Advances in Digital Imaging and Computer Vision Lecture and Lab 5-6 Κώστας Μαριάς Αναπληρωτής Καθηγητής Επεξεργασίας Εικόνας 21/2/2017 1
Σημειακή Επεξεργασία Εικόνας Point processing All/Erasmus students: Please read 3.2 from Gonzales/Woods 3 rd edition (not 3.2.4) and from 3.3 read 3.3.1 2
Περιεχόμενα Διάλεξης Βελτιστοποίηση εικόνας με σημειακή επεξεργασία στο χωρικό πεδίο Μετασχηματισμοί φωτεινότητας Ιστόγραμμα εικόνας και επεξεργασία ιστογράμματος Για την καλύτερη παρακολούθηση έχουμε 3 ειδών διαφάνειες: Βασική πληροφορία (για προπτυχιακούς), Παραδείγματα Matlab για προπτυχιακούς και προχωρημένα ερευνητικά θέματα (research) Basic Matlab Research 3
ΨΕΕ στο Χωρικό πεδίο Ο όρος χωρικό πεδίο αναφέρεται στο ίδιο το επίπεδο της εικόνας, καθώς και οι μέθοδοι επεξεργασίας εικόνας σε αυτή την κατηγορία βασίζονται στην άμεση χειραγώγηση των pixel σε μια εικόνα. Δύο κύριες κατηγορίες επεξεργασίας στο χωρικό πεδίο είναι οι μετασχηματισμοί έντασης και χωρικό φιλτράρισμα. Οι μετασχηματισμοί ένταση λειτουργούν σε μεμονωμένα pixels μιας εικόνας, κυρίως για το σκοπό της προσαρμογής της αντίθεσης και κατωφλίου εικόνας (thresholding). Το χωρικό φιλτράρισμα περιλαμβάνει εκτέλεση εργασιών, όπως η όξυνση της εικόνας, δουλεύοντας σε μια γειτονιά του κάθε pixel στην εικόνα. 4
ΨΕΕ στο Χωρικό πεδίο Οι επεξεργασίες στο χωρικό πεδίο μπορούν να περιγραφούν με τη γενική σχέση: g(x,y)=t [f(x,y)] Η εικόνα εισόδου είναι η f(x,y) ενώ η εικόνα εξόδου είναι η g(x,y) η οποία προκύπτει μέσω του τελεστή Τ ο οποίος ορίζεται σε γειτονιά του σημείου (x,y) σε μια ή σε περισσότερες εικόνες (π.χ. μέσος όρος για απομάκρυνση θορύβου). 5
Επεξεργασία ανα σημείο Στο προηγούμενο μάθημα εστιάσαμε σε χωρική επεξεργασία γύρω από γειτονιά κάθε pixel. Όταν αντί για γειτονιά ο μετασχηματισμός αφορά μόνο το έκαστο pixel, μιλάμε για σημειακή επεξεργασία Point processing). Σε αυτή τη περίπτωση μιλάμε για μετασχηματισμό αποχρώσεων του γκρίζου (grey level transformation T) όπου με βάση κάποιο μετασχηματισμό αλλάζουμε την ένταση κάθε pixel από g σε s: s=t(g) 6
ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΦΩΤΕΙΝΟΤΗΤΑΣ Ως φωτεινότητα (brightness) μιας εικόνας μπορεί να ορισθεί η μέση φωτεινότητα των εικονοστοιχείων της. Δηλαδή, για μια εικόνα διαστάσεων M γραμμές xn στήλες η φωτεινότητά της ισούται με: M B = 1 N I(n, m) M N n=1 m=1 Οι τεχνικές μετασχηματισμού φωτεινότητας βασίζονται σε συναρτήσεις μετασχηματισμού Τ(g) σύμφωνα με τη διαδικασία της σχέσης: s(k)=t(g(k)), όπου k=0,,l-1 τα grey levels Για 8bit εικόνες L-1=2 8-1=255 7
ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΦΩΤΕΙΝΟΤΗΤΑΣ Επειδή η επεξεργασία κάθε εικονοστοιχείου μιας εικόνας εξαρτάται από τη φωτεινότητα του ίδιου του εικονο στοιχείου, οι τεχνικές αυτής της κατηγορίας αναφέρονται και ως τεχνικές σημειακής επεξεργασίας (point processing). 8
ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΦΩΤΕΙΝΟΤΗΤΑΣ 9
ΑΡΝΗΤΙΚΗ ΕΙΚΟΝΑ Το αρνητικό μιας εικόνας 8bit παράγεται χρησιμοποιώντας τη συνάρτηση μετασχηματισμού η οποία είναι ίση με: s=t(g)= 255-g Η βασική ιδέα είναι η αντιστροφή των φωτεινοτήτων. 10
0 50 100 150 200 250 ΑΡΝΗΤΙΚΗ ΕΙΚΟΝΑ Η συνάρτηση μετασχηματισμού για το αρνητικό της εικόνας s μια αρχική εικόνα το αρνητικό της. s=t(g)= 255-g 0 50 100 150 200 250 g 11
ΑΥΞΗΣΗ ΤΗΣ ΑΝΤΙΘΕΣΗΣ Εικόνες χαμηλής αντίθεσης μπορούν να προκύψουν είτε από ανεπαρκή φωτισμό, είτε λόγω της μικρής δυναμικής περιοχής του οπτικού αισθητήρα είτε και λόγω λανθασμένης ρύθμισης των παραμέτρων λήψης των εικόνων. RMS contrast: Για μια εικόνα αποχρώσεων του γκρι διαστάσεων Ν Μ και φωτεινότητας Β, η αντίθεση της εικόνας ισούται με: M B = 1 M N m=1 N n=1 I(n, m) C = 1 M M N m=1 N n=1 I n, m B 2 12
ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΔΥΝΑΜΗΣ Η πρώτη κατηγορία τέτοιων συναρτήσεων βασίζεται στη οικογένεια των συναρτήσεων δύναμης: T g = 255 g γ όπου 0 g 1 και το γ ο εκθέτης. Συνεπώς, για μία εικόνα I i, j [0,255] έχουμε: I i, j = int 255 g i, j γ, οπου g i, j = I(i,j) 255 13
ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΔΥΝΑΜΗΣ T(g) Μορφές της Τ(g) για διάφορες τιμές του εκθέτη γ {4,3,2,1,1/2, } g Εφαρμογή των μετασχηματισμών δύναμης για διάφορες τιμές του γ https://en.wikipedia.org/wiki/gamma_correction 14
ΛΟΓΑΡΙΘΜΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ Χρησιμοποιούνται για να βελτιστοποιούν σκοτεινές και φωτεινές εικόνες αντίστοιχα. Ο λογαριθμικός μετασχηματισμός έχει τη ακόλουθη γενική μορφή: T g = b ln(1 + a g) και αν θεωρήσουμε ως προϋπόθεση ότι Τ(0) = 0 και Τ(255) = 255, τότε 255 b = ln(1 + 255 a) 15
T(g) ΛΟΓΑΡΙΘΜΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ Καμπύλες λογαριθμικού μετασχηματισμού για b=45.986 g Καμπύλες λογαριθμικού μετασχηματισμού για b = g 255 ln(1 + 255 a) 16
ΛΟΓΑΡΙΘΜΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ Παράδειγμα εφαρμογής του λογαριθμικού μετασχηματισμού grayimage = imread('cameraman.tif'); grayimage = double(grayimage); subplot(2,1,1); imshow(grayimage, []); axis on; title('original Image', 'FontSize', 15); % Take the log of it. Add 1 to avoid taking log of zero. logimage = log(grayimage+1); % Normalize to the range 0-1. normalizedimage = mat2gray(logimage); % Display it. subplot(2,1,2); imshow(normalizedimage, []); axis on; title('log Image', 'FontSize', 15); % If you want a uint8 version, then you can multiply by 255 % uint8image = uint8(255 * normalizedimage); msgbox('note how the coat has more details'); (α) Αρχική εικόνα. (β) Τελική εικόνα για α=1. 17
ΕΚΘΕΤΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ Σε αντιστοίχηση με τον λογαριθμικό μετασχηματισμό, ο εκθετικός μετασχηματισμός έχει την ακόλουθη έκφραση: T g = 1 a (eg b 1) Αν θέσουμε ως περιορισμό ότι Τ(0) = 0 και Τ(255) = 255, τότε το b μπορεί να υπολογισθεί πάλι από τη σχέση 255 a + 1 = e 255 b ln 255 a + 1 = 255 b 255 b = ln(1 + 255 a) 18
T(g) 0 50 100 150 200 250 ΕΚΘΕΤΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ 0 50 100 150 200 250 g Καμπύλες εκθετικού μετασχηματισμού για b = 255 ln(1+255 a) 19
ΕΚΘΕΤΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ Παράδειγμα εφαρμογής του εκθετικού μετασχηματισμού grayimage= imread('cameraman.tif'); grayimage= double(grayimage); subplot(2,1,1); imshow(grayimage, []); axis on; title('original Image', 'FontSize', 15); % Take the log of it. Add 1 to avoid taking log of zero. expimage=exp(grayimage/50)-1; % Normalize to the range 0-1. normalizedimage= mat2gray(expimage); % Display it. subplot(2,1,2); imshow(normalizedimage, []); axis on; title('expimage', 'FontSize', 15); (a) (β) Παράδειγμα εφαρμογής του εκθετικού μετασχηματισμού: (α) Αρχική εικόνα. (β) Τελική εικόνα για α=1. 20
ΕΚΘΕΤΙΚΟΣ ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΣ grayimage= imread('cameraman.tif'); grayimage= double(grayimage); subplot(2,1,1); imshow(grayimage, []); axis on; title('original Image', 'FontSize', 15); % Take the log of it. Add 1 to avoid taking log of zero. a=1; b=255/(log(1+255*a)); expimage=(1/a)* (exp(grayimage/b)-1); % Display it. subplot(2,1,2); imshow(expimage, []); axis on; title('expimage', 'FontSize', 15); 21
Ιστόγραμμα: Γενικά Το Ιστόγραμμα είναι γραφική απεικόνιση στατιστικών συχνοτήτων περιοχών τιμών ενός μεγέθους. Πρόκειται για τη συνηθέστερη επιλογή γραφικής παράστασης συνεχών μεταβλητών. Στα συνεχή δεδομένα, οι τιμές της μεταβλητής ομαδοποιούνται και οι ομάδες διατάσσονται στον οριζόντιο άξονα κατ αύξουσα σειρά. https://el.wikipedia.org/wiki/ιστόγραμμα Στη συνέχεια από κάθε ομάδα υψώνουμε ορθογώνια,το ύψος των οποίων αντιστοιχεί στη συχνότητα κάθε ομάδας. 22
Matlab ΤΟ ΙΣΤΟΓΡΑΜΜΑ ΜΙΑΣ ΕΙΚΟΝΑΣ Basic %Διαβάζουμε μια εικόνα της Matlab Im = imread('cameraman.tif'); %Δημιουργούμε μια άλλη με θόρυβο Gauss I = imnoise(im,'gaussian'); %Δείχνουμε τις δυο εικόνες με τα ιστογράμματά τους subplot(2,2,1);imshow(im,[ ]);title('αρχική εικόνα'); subplot(2,2,2);imshow(i,[ ]);title('εικόνα με θόρυβο Gauss'); subplot(2,2,3);imhist(im);title('iστόγραμμα αρχικής εικόνας'); subplot(2,2,4);imhist(i);title('iστόγραμμα εικόνας με θόρυβο Gauss ') 23
Matlab ΤΟ ΙΣΤΟΓΡΑΜΜΑ ΜΙΑΣ ΕΙΚΟΝΑΣ Basic 24
Ιστόγραμμα: Εικόνα https://el.wikipedia.org/wiki/ιστόγραμμα Σε ένα ιστόγραμμα, ο Χ άξονας αντιπροσωπεύει την κλίμακα έντασης (0 έως 255 σε ένα σύστημα των 8 bit). Ο Υ άξονας μετρά τον αριθμό από pixels στην εικόνα που έχουν μια ορισμένη τιμή έντασης (την αντίστοιχη του Χ άξονα). Τα ιστογράμματα επεξηγούν, με μορφή γραφήματος, τη φωτεινότητα και τα χαρακτηριστικά αντίθεσης μιας εικόνας, δηλαδή αν υπάρχουν και πόσα pixel με κάποια δεδομένη τιμή έντασης. Όμως δεν δίνει πληροφορίες για την θέση των pixel μέσα στην εικόνα! 25
ΕΠΕΞΕΡΓΑΣΙΑ ΙΣΤΟΓΡΑΜΜΑΤΟΣ Το ιστόγραμμα μιας εικόνας αποχρώσεων του γκρι περιέχει σημαντικές πληροφορίες για την εικόνα και για το λόγο αυτό είναι ένα από τα σημαντικότερα εργαλεία στην επεξεργασία ψηφιακών εικόνων. Μπορεί να χρησιμοποιηθεί για τη βελτιστοποίηση της εικόνας, την τροποποίηση των χαρακτηριστικών της, την μετατροπή της σε εικόνα με λιγότερες αποχρώσεις, την εξαγωγή χαρακτηριστικών της εικόνας κ.α. 26
ΤΟ ΙΣΤΟΓΡΑΜΜΑ ΜΙΑΣ ΕΙΚΟΝΑΣ Το ιστόγραμμα h της εικόνας Ι μας δείχνει τη συχνότητα κάθε έντασης του γκρίζου g στην εικόνα. Η τιμή του ιστογράμματος h(g), για την ένταση g ισούται με τον αριθμό των pixels της εικόνας I που έχουν ένταση g. Για μια εικόνα 8-bit το ιστόγραμμα h έχει g=1..256 τιμές συχνοτήτων από 0-255. h I (g) = number of pixels in I that have value g-1 In Matlab an array of length n has indices from 1 to n. In many computer languages, e.g. C or C++ an n-element array is indexed from 0 to n-1. 27
Matlab ΤΟ ΙΣΤΟΓΡΑΜΜΑ ΜΙΑΣ ΕΙΚΟΝΑΣ Basic %Συνάρτηση matlab για υπολογισμό ιστογράμματος % RGB εικόνας function h=histogram(i) [R C B]=size(I); % allocate the histogram h=zeros(256,1,b); % range through the intensity values for g=0:255 h(g+1,1,:) = sum(sum(i==g)); % accumulate end return; 28
ΕΞΙΣΟΡΡΟΠΗΣΗ ΙΣΤΟΓΡΑΜΜΑΤΟΣ Η τεχνική της εξισορρόπησης ιστογράμματος (histogram equalization) μετασχηματίζει τις γκρι φωτεινότητες μιας εικόνας έτσι ώστε αυτές να κατανέμονται ομοιόμορφα σ όλη την κλίμακα φωτεινοτήτων. Η εικόνα που προκύπτει με τον τρόπο αυτό είναι αυξημένης αντίθεσης σε σχέση με την αρχική. 29
ΕΞΙΣΟΡΡΟΠΗΣΗ ΙΣΤΟΓΡΑΜΜΑΤΟΣ Για την ανάπτυξη της μεθόδου έστω ότι έχουμε μια γκρι εικόνα I, διαστάσεων Μ γραμμες x N στήλες με L αποχρώσεις του γρι: {0,...,L-1}. Έστω h g = ng, το ιστόγραμμα της εικόνας Ι, όπου g = 0..L- 1 Ουσιαστικά το n g μας δίνει τη συχνότητα εμφάνισης της κάθε τιμής g στην εικόνα. Αν διαιρεθεί με τον συνολικό αριθμό pixels μας δίνει την πιθανότητα εμφάνισης του κάθε pixel: p g = n g M N Η γραφική απεικόνιση του p g έναντι του g είναι το γνωστό ιστόγραμμα 30
ΕΞΙΣΟΡΡΟΠΗΣΗ ΙΣΤΟΓΡΑΜΜΑΤΟΣ Ο μετασχηματισμός Τ ονομάζεται εξισορρόπηση ιστογράμματος (ΕΙ) και μας δίνει νέο ιστόγραμμα εικόνας: T g = L 1 ή g g =0 g T g = L 1 M N g =0 p g n g 31
Παράδειγμα εξισορρόπησης ιστογράμματος Μια εικόνα 3-bit με διαστάσεις 64x64 έχει: g h(g) p(g)=h(g)/mn Εφαρμόζοντας την εξίσωση ΕΙ: T g = L 1 g =0 p g g 0 T 0 = 8 1 g=0 p 0 = 7 0.19 = 1.33 1 1 T 1 = 7 g=0 p g = 7 (0.19 + 0.25) = 3.08 3 2 T 2 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 = 4.55 5 3 T 3 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 + 0.16 = 5.67 6 4 T 4 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 + 0.16 + 0.08 = 6.23 6 5 T 5 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 + 0.16 + 0.08 + 0.06 = 6.65 7 6 T 6 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 + 0.16 + 0.08 + 0.06 + 0.03 = 6.86 7 7 T 7 = 7 g=0 p g = 7 0.19 + 0.25 + 0.21 + 0.16 + 0.08 + 0.06 + 0.03 + 0.02 = 7 7 32 Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002
Παράδειγμα εξισορρόπησης ιστογράμματος Μια εικόνα 3-bit με διαστάσεις 64x64=4096 pixel g h(g) p(g)=h(g)/mn Μετά τον μετασχηματισμό ΕΙ βρίσκουμε τις νέες συχνότητες: SOS! Εξαιτίας της διακριτοποίησης το εξισορροπημένο ιστόγραμμα δεν είναι επίπεδο, σε κάθε περίπτωση όμως είναι διευρυμένο! T 0 1 h 1 = 790, T 1 3 h 3 T 2 5 h 5 = 850, p 1 = 0. 19 = 1023, p 3 = 0. 25 p 5 = 0. 21 T 3 6 T 4 6 h 6 = 656 + 329 = 985, p 6 = 985 = 0. 24 4096 T 5 7 T 6 7 h 7 = 245 + 122 + 81 = 448, p 7 = 448 = 0. 11 4096 T 7 7 Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002 33
ΕΞΙΣΟΡΡΟΠΗΣΗ ΙΣΤΟΓΡΑΜΜΑΤΟΣ Η διαδικασία εξισορρόπησης ιστογράμματος που περιγράψαμε αναφέρεται ως ολική εξισορρόπηση ιστογράμματος (global histogram equalization) σε αντίθεση με τεχνικές τοπικής εξισορρόπησης ιστο-ράμματος (local histogram equalization). 34
Η έννοια της Όξυνσης εικόνας Image sharpening All/Erasmus students: Please read 3.6 from Gonzales/Woods 3 rd edition 35
Όξυνση εικόνας Ο κύριος στόχος της όξυνσης είναι να αναδείξει τις μεταβάσεις στην ένταση. Χρήσεις της όξυνσης της εικόνας ποικίλλουν και περιλαμβάνουν εφαρμογές που κυμαίνονται από την ηλεκτρονική εκτύπωση και ιατρική απεικόνιση εως τη βιομηχανική επιθεώρηση και αυτόνομη καθοδήγηση σε στρατιωτικά συστήματα. Στις διαλέξεις 3-4 είδαμε ότι με χωρικό φιλτράρισμα π.χ. μέσου όρου σε μια οδηγούμαστε σε θόλωμα της εικόνας. Επειδή ο μέσος όρος επιτυγχάνεται με την ολοκλήρωση, είναι λογικό να συμπεράνουμε ότι όξυνση μπορεί να επιτευχθεί με χωρική διαφοροποίηση. 'Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition 36
Όξυνση εικόνας Η δύναμη της απόκρισης ενός τελεστή παραγώγου είναι ανάλογη με το βαθμό της έντασης ασυνέχειας της εικόνας στο σημείο στο οποίο εφαρμόζεται. Έτσι, η διαφοροποίηση της εικόνας ενισχύει τα άκρα και άλλες ασυνέχειες (όπως ο θόρυβος) ενώ δεν δίνει έμφαση σε περιοχές με αργά μεταβαλλόμενες εντάσεις. Η παράγωγος μιας εικόνας ορίζεται με διαφορές στους γείτονες κάθε pixel. Υπάρχουν διάφοροι τρόποι για να καθοριστούν αυτές οι διαφορές. 37
Για την πρώτη παράγωγο: Όξυνση εικόνας f = f(x + 1) f(x) x Απαιτούμε κάθε ορισμός της στην εικόνα να ικανοποιεί τις παρακάτω συνθήκες: (1) Να είναι μηδέν σε περιοχές σταθερής έντασης. (2) Να είναι μη μηδενικό στην αρχή μιας ράμπας/ή σκαλοπατιού. (3) Να είναι μη μηδενικό πάνω σε κάθε ράμπα έντασης. (1) (2) (1) (3) (1) 'Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition 38
Όξυνση εικόνας Ομοίως, κάθε ορισμός μιας δεύτερης παραγώγου 2 f = f x + 1 + f(x 1) 2 f(x) x2 (1) Να είναι μηδέν σε περιοχές σταθερής έντασης. (2) Να είναι μη μηδενικό στην αρχή ΚΑΙ ΣΤΟ ΤΕΛΟΣ μιας ράμπας/ή σκαλοπατιού. (3) Πρέπει να είναι μηδέν κατά μήκος ράμπας έντασης σταθερής κλίση. (1) (2) (1) (3) (2) (1) 'Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition 39
Επεξήγηση της πρώτης και δεύτερης παραγώγου μιας ψηφιακής συνάρτησης 1-D που αντιπροσωπεύει ένα τμήμα του οριζοντίου προφίλ έντασης από μια εικόνα (δηλαδή η ένταση κατά μήκος μιας γραμμής της εικόνας). Μορφή 1 ης και 2 ης παραγώγου f = f(x + 1) f(x) x 2 f = f x + 1 + f(x 1) 2 f(x) x2 'Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition 40
Ακμές εικόνας Οι ακμές σε ψηφιακές εικόνες συχνά είναι μορφής ράμπας ως προς τις μεταβάσεις στην ένταση. Στις περιπτώσεις αυτές η πρώτη παράγωγος της εικόνας θα οδηγήσει σε παχιές ακμές επειδή η παράγωγος είναι μη μηδενική κατά μήκος μιας ράμπας. Από την άλλη πλευρά, η δεύτερη παράγωγος θα παράξει μια διπλή ακμή πάχους ενός pixel, με ενδιάμεσα μηδενικά. Γι αυτό το λόγο συμπεραίνουμε ότι η δεύτερη παράγωγος τονίζει περισσότερο τις λεπτομέρειες πολύ καλύτερα από ότι η πρώτη παράγωγος. Επίσης είναι ευκολότερο να υλοποιήσουμε αριθμητικά και να εφαρμόσουμε τη δεύτερη παράγωγο. Για αυτούς τους λόγους τη χρησιμοποιούμε περισσότερο από την πρώτη για όξυνση της εικόνας. 41
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) Η πιο απλή ισοτροπική παράγωγος είναι η Λαπλασιανή (Laplacian) η οποία για μια συνάρτηση 2Δ (εικόνα) ορίζεται ως: 2 f x, y = 2 f(x,y) x 2 + 2 f(x,y) y 2 2 f(x, y) x 2 = f x + 1, y + f x 1, y 2 f x, y 2 f(x, y) y 2 = f x, y + 1 + f x, y 1 2 f x, y 42
Λαπλασιανή Μάσκα 2 f x, y = 2 f(x, y) x 2 + 2 f(x, y) y 2 = =f x + 1, y + f x 1, y + f x, y 1 + f x, y + 1 4f x, y f(x - 1, y - 1) f(x - 1, y) f(x - 1, y + 1) 0 1 0 f(x, y - 1) f(x,y) f(x, y + 1) 1-4 1 f(x + 1, y - 1) f(x + 1, y) f(x + 1, y + 1) 0 1 0 43
Λαπλασιανή Μάσκα 2 2 f x, y = 2 f(x, y) x 2 + 2 f(x, y) y 2 = =f x + 1, y + f x 1, y + f x, y 1 + f x, y + 1 + f x + 1, y + 1 + f x 1, y 1 + f x + 1, y 1 + f(x 1, y + 1) 8f x, y f(x - 1, y - 1) f(x - 1, y) f(x - 1, y + 1) 1 1 1 f(x, y - 1) f(x,y) f(x, y + 1) 1-8 1 f(x + 1, y - 1) f(x + 1, y) f(x + 1, y + 1) 1 1 1 All the mask coefficients sum to zero, as expected of a derivative operator. 44
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) Η Λαπλασιανή ως τελεστής παραγώγου ενισχύει ασυνέχειες έντασης στην εικόνα (π.χ. ακμές) ενώ παράλληλα αποσβένει περιοχές όπου οι εντάσεις μεταβάλλονται αργά. Το αποτέλεσμα είναι να έχουμε εικόνα με γκρίζες αποχρώσεις-γραμμές στις ακμές και ασυνέχειες της εικόνας στο προσκήνιο, ενώ το υπόλοιπο εμφανίζεται ως σκοτεινό υπόβαθρο χωρίς ιδιαίτερα χαρακτηριστικά. Τα χαρακτηριστικά του υποβάθρου μπορούν να «ανακτηθούν», μαζί με την επίδραση-όξυνση της Λαμπλασιανής απλά προσθέτοντας (ή αφαιρώντας) την Λαπλασσιανή εικόνα στην (από την) αρχική 45
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) g(x, y) = f(x, y) + c 2 f x, y f x, y και g(x, y) είναι οι εικόνες εισόδου και η βελτιωμένη εικόνα με όξυνση αντίστοιχα. Αν ο ορισμός που χρησιμοποιείται για τη Λαπλασιανή έχει αρνητικό συντελεστή κέντρο, τότε αφαιρούμε, αντί να προσθέσουμε τη Laplacian εικόνα για να έχουμε αποτέλεσμα όξυνσης=> c = 1 46
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) A=imread('moon.tif'); h=fspecial('laplacian'); A2=filter2(h,A); Asharp=mat2gray(mat2gray(A)-mat2gray(A2)); 0.1667 0.6667 0.1667 0.6667-3.3333 0.6667 0.1667 0.6667 0.1667 subplot(1,2,1), imshow(a),title('αρχική εικόνα φεγγάρι'); subplot(1,2,2), imshow(asharp),title('όξυνση εικόνας με Laplacian'); Matlab 47
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) 48
Όξυνση εικόνας με τη δεύτερη παράγωγο (Λαπλασιανή Laplacian) Με βάση τον κώδικα από το 4 ο εργαστήριο φτιάξτε ένα Λαπλασιανό φίλτρο και συγκρίνετε την απόδοση του φίλτρου αυτού με το έτοιμο φίλτρο της matlab. Στη συνέχεια θα χρησιμοποιήσουμε την εντολή filter2 για το υπόλοιπο εργαστήριο. 49
Σύγκριση των 2 φίλτρων (Λαπλασιανή Laplacian) A=imread('moon.tif'); h=fspecial('laplacian'); A2=filter2(h,A); Asharp=mat2gray(mat2gray(A)-mat2gray(A2)); w=ones(3);w(2,2)=-8; I =double(a); [m,n]=size(i); g=zeros(m,n); for x=2:m-1 for y=2:n-1 g(x,y)=w(1,1) *I(x-1, y-1)+ w(1,2)* I(x-1, y) +w(1,3)*i(x-1,y+1)+w(2,1)*i(x, y-1) + w(2,2)*i(x, y) + w(2,3)*i(x, y+1)+w(3,1)*i(x+1, y-1) + w(3,2)*i(x+1, y) + w(3,3)*i(x+1, y+1); end end Asharp2=mat2gray(mat2gray(I)-mat2gray(g)); subplot(1,3,1), imshow(a),title('αρχική εικόνα φεγγάρι'); subplot(1,3,2), imshow(asharp),title('όξυνση εικόνας με Laplacian matlab'); subplot(1,3,3), imshow(asharp2),title('όξυνση εικόνας με Laplacian homemade'); sum(sum(asharp-asharp2))/ (size(a,1)*size(a,2)) Matlab 50
Σύγκριση των 2 φίλτρων (Λαπλασιανή Laplacian) A=imread('moon.tif'); h=fspecial('laplacian'); A2=filter2(h,A); Asharp=mat2gray(mat2gray(A)-mat2gray(A2)); w=zeros(3,3); w(:,:)=1;w(2,2)=-8; g=filter2(w,a); Asharp2=mat2gray(mat2gray(A)-mat2gray(g)); subplot(1,3,1), imshow(a),title('αρχική εικόνα φεγγάρι'); subplot(1,3,2), imshow(asharp),title('όξυνση εικόνας με Laplacian matlab'); subplot(1,3,3), imshow(asharp2),title('όξυνση εικόνας με Laplacian homemade'); sum(sum(asharp-asharp2)) Δοκιμάστε το ίδιο με w= [0 1 0; 1-4, 1; 0 1 0]; Matlab 51
Όξυνση εικόνας με μέθοδο unsharp Είναι μια διαδικασία που έχει χρησιμοποιηθεί για πολλά χρόνια από τη βιομηχανία εκτύπωσης και εκδόσεων για να οξύνει εικόνες. Αποτελείται από την αφαίρεση μιας εξομαλυμένης έκδοσης μιας εικόνας από την αρχική. Η διαδικασία ονομάζεται unsharp masking, και αποτελείτε από τα παρακάτω βήματα: 1. Θόλωμα της αρχικής εικόνας: f(x, y) > f(x, y) 2. Αφαίρεση της θολωμένης από την αρχική για να πάρουμε τη μάσκα: gmask(x, y) = f(x, y) 3. Πρόσθεση της μάσκας στην αρχική: f(x, y) g(x, y) = f(x, y) + k gmask(x, y) k=1 unsharp filtering k>1 highboost filtering 52
Όξυνση εικόνας με μέθοδο unsharp A=imread('moon.tif'); w=ones(3,3)/9; g=filter2(w,a); gmask(x, y) = f(x, y) gmask=mat2gray(mat2gray(a)-mat2gray(g)); Isharp=mat2gray(mat2gray(A)+1*mat2gray(gmask)); subplot(1,2,1), imshow(a),title('αρχική εικόνα φεγγάρι'); subplot(1,2,2), imshow(isharp),title('όξυνση εικόνας με Unsharp'); f(x, y) Matlab g(x, y) = f(x, y) + k gmask(x, y) A gmask 53
Η πρώτη παράγωγος για μη γραμμική όξυνση εικόνας (Gradient-κλίση εικόνας) ΟΙ πρώτοι παράγωγοι στην επεξεργασία εικόνας μπορούν να υλοποιηθούν με χρήση του πλάτους του διανύσματος της κλίσης! Για μια εικόνα f(x, y), η κλίσης της f στις συντεταγμένες (x, y) ορίζεται ως ο πίνακας στήλη: f(x, y) f = grad f g x g y = x f(x, y) Το πλάτος του διανύσματος f είναι η εικόνα κλίσης: y M x, y = mag f = g x 2 + g y 2 54
Η πρώτη παράγωγος για μη γραμμική όξυνση εικόνας (Gradient-κλίση εικόνας) Το πλάτος του διανύσματος f είναι η εικόνα κλίσης η οποία μπορεί να προσεγγιστεί ως ακολούθως: M x, y = mag f = g x 2 + g y 2 g x + g y 55
Η πρώτη παράγωγος για μη γραμμική όξυνση εικόνας (Gradient-κλίση εικόνας) gradient image:m x, y = mag f = g x 2 + g y 2 g x + g y g x = f x + 1, y 1 + 2f x + 1, y + f x + 1, y + 1 f x 1, y 1 2f x 1, y f(x 1, y + 1) f(x - 1, y - 1) f(x - 1, y) f(x - 1, y + 1) -1-2 -1 f(x, y - 1) f(x,y) f(x, y + 1) 0 0 0 f(x + 1, y - 1) f(x + 1, y) f(x + 1, y + 1) 1 2 1 Sobel operator g x 56
Η πρώτη παράγωγος για μη γραμμική όξυνση εικόνας (Gradient-κλίση εικόνας) gradient image:m x, y = mag f = g x 2 + g y 2 g x + g y g y = f x 1, y + 1 + 2f x, y + 1 + f x + 1, y + 1 f x 1, y 1 2f x, y 1 f(x + 1, y 1) f(x - 1, y - 1) f(x - 1, y) f(x - 1, y + 1) -1 0 1 f(x, y - 1) f(x,y) f(x, y + 1) -2 0 2 f(x + 1, y - 1) f(x + 1, y) f(x + 1, y + 1) -1 0 1 Sobel operator g y 57
Η πρώτη παράγωγος για μη γραμμική όξυνση εικόνας (Gradient-κλίση εικόνας) I = imread('coins.png'); BW1 = edge(i,'sobel'); figure; imshowpair(i,bw1,'montage') title('sobel Filtering'); Matlab Να φτιάξετε το homemade φίλτρο Sobel στη συνέχεια. Ποιο δίνει καλύτερα αποτελέσματα? 58
Sobel filtering I = imread('coins.png'); sobelx=[-1-2 -1; 0 0 0; 1 2 1]; Ix=filter2(sobelx,I); sobely=sobelx'; Iy=filter2(sobely,I); figure, imshow(mat2gray(ix.^2+iy.^2)) figure, imshow(mat2gray(sqrt(ix.^2+iy.^2))) figure, imshow(mat2gray(abs(ix)+abs(iy))) 59
Thank you for your attention! 60
Αναφορές Peters, Richard Alan, II, "The Fourier Transform", Lectures on Image Processing, Vanderbilt University, Nashville, TN, April 2008, Available on the web at the Internet Archive, http://www.archive.org/details/lectures_on_image_processing. Christophoros Nikou, Ανοικτά Ακαδημαϊκά Μαθήματα, Intensity Transformations (Histogram Processing), University of Ioannina - Department of Computer Science, cnikou@cs.uoi.gr http://ecourse.uoi.gr/course/view.php?id=1126 Digital Image Processing, Rafael C.Gonzalez & Richard E. Woods, Addison-Wesley, 3rd edition Digital Image Processing, Rafael C. Gonzalez & Richard E. Woods, Addison-Wesley, 2002 61