Βελτίωση Ποιότητας Εικόνας: Επεξεργασία στο πεδίο της Συχνότητας

ΤΨΣ 150 Ψηφιακή Επεξεργασία Εικόνας Βελτίωση Ποιότητας Εικόνας: Επεξεργασία στο πεδίο της Τµήµα ιδακτικής της Τεχνολογίας και Ψηφιακών Συστηµάτων Πανεπιστήµιο Πειραιώς Εκτίµηση Απόκρισης Περιεχόµενα Βιβλιογραφία Περιεχόµενα Ενότητας Εισαγωγή ισδιάστατος Μετασχηµατισµός Fourier Φιλτράρισµα στο χώρο της Από χωρικά φίλτρα σε φίλτρα Χαµηλοπερατά Φίλτρα Υψιπερατά Φίλτρα Βιβλιογραφία: Πήτας [1999]: Κεφάλαιο 5 Gonzales [2002]: Chapter 4 Gonzales [2004]: Chapter 4 1

Εκτίµηση Απόκρισης Εισαγωγή Η επεξεργασία ψηφιακών εικόνων στο πεδίο της συχνότητας στοχεύει στην βελτίωση της λαµβάνοντας υπόψη την κατανοµή των συχνοτήτων της εικόνας: Στις εικόνες οι συχνότητες αντιπροσωπεύουν την ταχύτητα µεταβολής της φωτεινότητας ή του χρώµατος Υπάρχουν δύο κατευθύνσεις µεταβολής της φωτεινότητας ή του χρώµατος, η οριζόντια και η κάθετη. Επεξεργασία στο πεδίο της συχνότητας εφαρµόζεται µε την εφαρµογή φιλτραρίσµατος Εκτίµηση Απόκρισης Κάθε συνεχές µονοδιάστατο σήµα µπορεί να αναπαρασταθεί ως άθροισµα ηµιτονικών σηµάτων Κάθε εικόνα µπορεί να αναπαρασταθεί ως άθροισµα ηµιτονικών εικόνων Μια ψηφιακή ηµιτονική εικόνα Ι1 είναι µια εικόνα η οποία έχει στοιχεία: Ηµιτονικές Εικόνες u v I1( x, y) = 255 sin( 2π ( x + y) ) M N 0 x M-1, 0 y N-1 2

Εκτίµηση Απόκρισης Ηµιτονικές Εικόνες (ΙΙ) Η διπλανή εικόνα είναι µια ηµιτονική εικόνα η οποία περιγράφεται από τη σχέση: 20 10 I1( x, y) = 255 sin( 2π ( x + y) ) 1024 1024 0 x 1023, 0 y 1023 Η παραπάνω εικόνα διαστάσεων ΜxN = 1024x1024, έχει οριζόντια συχνότητα v = 10 Hz (έχουµε 10 περιοδικές επαναλήψεις των στοιχείων της εικόνας κατά την οριζόντια κατεύθυνση) και u = 20 Hz (έχουµε 20 περιοδικές επαναλήψεις των στοιχείων της εικόνας κατά την κάθετη κατεύθυνση) Εκτίµηση Απόκρισης Συνηµιτονικές Εικόνες και Μιγαδικές Εικόνες Μια συνηµιτονική εικόνα περιγράφεται από τη σχέση: u v I 2( x, y) = 255 cos( 2π ( x + y) ) M N 0 x M-1, 0 y N-1 Επειδή η διαφορά µιας ηµιτονικής από µια συνηµιτονική εικόνα εξαρτάται απλά από µια διαφορά φάσης (από ποια τιµή φωτεινότητας ή χρώµατος ξεκινά η εικόνα) πολλές φορές εκφράζουµε τυχαίες εικόνες ως άθροισµα µιγαδικών εκθετικών εικόνων. Από τη σχέση του Euler έχουµε: e 1a = e ja = cos( a) j sin( a), j = 1 Εποµένως µια µιγαδική εκθετική εικόνα (µη υπαρκτή ως φυσική οντότητα) ορίζεται ως: I 3( x, y) = 255 e ux vy j2π ( + ) M N, 0 x M-1, 0 y N-1 3

Εκτίµηση Απόκρισης ισδιάστατος Μετασχηµατισµός Fourier Έστω µια εικόνα f(x,y), µε x = 0, 1, 2,, M-1 και y = 0, 1, 2,,N-1 Ο δισδιάστατος διακριτός µετασχηµατισµός Fourier ορίζεται ως: F( M 1N 1 = x= 0 y= 0 f ( x, y) e ux vy j2π ( + ) M N, 0 u M 1 0 v N 1 Πρέπει να τονιστεί ότι τα (x, y) αποτελούν συντεταγµένες χώρου (καθορίζουν τις συντεταγµένες των pixels) ενώ τα ( αποτελούν συντεταγµένες συχνοτήτων οι οποίες εκφράζονται σε κύκλους ανά εικόνα. Για τον ιακριτό Μετασχηµατισµό Fourier συνήθως χρησιµοποιούµε την συντοµογραφία DFT (Discrete Fourier Transform). O ιακριτός Μετασχηµατισµός Fourier µας προσφέρει την δυνατότητα µετάβασης από το πεδίο χώρου µιας εικόνας (spatial domain) στο αντίστοιχο πεδίο συχνοτήτων της (frequency domain) αναλύοντας µια εικόνα ως άθροισµα µιγαδικών εκθετικών εικόνων. Αυτή η δυνατότητα είναι πολύ σηµαντική γιατί η επέµβαση στο πεδίο συχνοτήτων µιας εικόνας είναι ένας από τους σηµαντικότερους τρόπους τροποποίησης και επεξεργασίας της. Εκτίµηση Απόκρισης ισδιάστατος Μετασχηµατισµός Fourier (II) Το αποτέλεσµα του DFT µιας εικόνας f(x,y) διαστάσεων Μ x N, είναι επίσης ένας πίνακας διαστάσεων M x N. Εποµένως: F( = [ F( 0 u M-1, 0 v N-1] Στη πραγµατικότητα η µέγιστη οριζόντια συχνότητα που µπορεί να περιέχεται σε µια ψηφιακή εικόνα Μ x N είναι Ν/2 (ένας κύκλος τιµών φωτεινότητας ή χρώµατος της εικόνας ολοκληρώνεται εντός δύο pixel). Οµοίως η µέγιστη κάθετη συχνότητα που µπορεί να περιέχεται σε µια ψηφιακή εικόνα Μ x N είναι Μ/2. O Αντίστροφος ιακριτός Μετασχηµατισµός Fourier (IDFT - Inverse DFT) µας βοηθά να ανακτήσουµε την αρχική µας εικόνα από το πεδίο συχνοτήτων της. Ο µαθηµατικός του τύπος είναι ο ακόλουθος: f ( x, y) M 1N 1 = u= 0 v= 0 F( e ux vy j2π ( + ) M N, 0 x M 1 0 y N 1 4

Εκτίµηση Απόκρισης ισδιάστατος Μετασχηµατισµός Fourier (ΙII) Για τον υπολογισµό του DFT µιας εικόνας, στις πλείστες περιπτώσεις, χρησιµοποιείται ο αλγόριθµος FFT (Fast Fourier Transform), ένας αποδοτικός, υπολογιστικά, αλγόριθµος και ένας από τους πλέον δηµοφιλείς και χρησιµοποιούµενους αλγορίθµους Στη Matlab ο δισδιάστατος DFT, µιας εικόνας f, υπολογίζεται µε την εντολή F = fft2(f). Το αποτέλεσµα του IDFT είναι µια µιγαδική εικόνα g ( g = ifft2(f) ). Με δεδοµένο ότι εικόνες µε µιγαδικές τιµές για τα pixel δεν έχουν κανένα φυσικό νόηµα θα πρέπει να αποµονώσουµε το πραγµατικό µέρος της εικόνας g και µόνο αυτό να απεικονίσουµε. Εκτίµηση Απόκρισης Ιδιότητες Μετασχηµατισµού Fourier Μπορούµε να κατανοήσουµε τον πίνακα DFT καλύτερα µελετώντας µερικές ιδιότητες του. Κάθε εικόνα f που µελετάµε, αποτελείται από πραγµατικούς αριθµούς ή ακεραίους, οι οποίοι εκφράζουν τη φωτεινότητα ή το χρώµα της εικόνας σε συγκεκριµένα σηµεία της (pixels). Ωστόσο, o DFT της είναι γενικά µιγαδικός. Ο DFT µίας εικόνας µπορεί να γραφτεί σαν άθροισµα ενός πραγµατικού και ενός φανταστικού πίνακα: F = F real + 1F imag M 1N 1 u Freal ( f ( x, y) cos[2π ( x + M = x= 0 y= 0 M 1N 1 u Fimag ( = f ( x, y) sin[2π ( x + M x= 0 y= 0 v N v N y)] y)] 5

Εκτίµηση Απόκρισης Ιδιότητες Μετασχηµατισµού Fourier (ΙΙ) Εποµένως ο DFT F της εικόνας f έχει µέτρο (magnitude) και φάση (phase): 1 φ ( F( = F( e Το µέτρο του DFT ορίζεται ως: Η φάση δίνεται από τη σχέση: 2 real ( } + F( = { F { F ( } φ( = tan 1 F F imag real ( ( imag 2 Αν F είναι ο DFT F της εικόνας f τότε µε την εντολή Fm = abs(f) στη Matlab παίρνουµε το µέτρο του και µε την εντολή Α = angle(f) τη φάση (σε ακτίνια) Εκτίµηση Απόκρισης Ιδιότητες Μετασχηµατισµού Fourier (ΙΙΙ) 6

Εκτίµηση Απόκρισης Ιδιότητες Μετασχηµατισµού Fourier (ΙV) Εκτίµηση Απόκρισης Ιδιότητες Μετασχηµατισµού Fourier (V) 7

Εκτίµηση Απόκρισης Συµµετρία Μετασχηµατισµού Fourier Από τις ιδιότητες του DFT προκύπτει ότι ο DFT µιας εικόνας περιέχει πλεονασµατικές πληροφρίες, δηλαδή έχουµε τις ίδιες πληροφορίες περισσότερες από µία φορές (συµµετρία). Το επόµενο σχήµα παρουσιάζει τις συµµετρίες που ισχύουν στο µέτρο του DFT µιας εικόνας Συµµετρία ως προς το µέσο (συχνότητα (=(Μ/2,Ν/2)) Βλέπε σχήµα στα αριστερά Η κατανοµή των συχνοτήτων του DFT φαίνεται στο σχήµα στο κέντρο Πολλές φορές όµως για καλύτερη οπτική απεικόνιση θεωρούµε απεικόνιση µε κέντρο των αξόνων το µέσο του πίνακα (εντολή fftshift στη Matlab) - Βλέπε σχήµα στα δεξιά v v v (0, 0) (0, 0) low freqs low freqs (0, N-1) (-N/2, -N/2) high high (-N/2, N/2) u u high freqs u low (N-1, 0) low freqs low freqs (N-1, N-1) (N/2, -N/2) high high (N/2, N/2) Εκτίµηση Απόκρισης Ποιοτικές Ιδιότητες Μετασχηµατισµού Fourier Μερικές φορές είναι εύκολο να χάσουµε την έννοια του DFT και του περιεχοµένου συχνότητας της εικόνας για χάρη των µαθηµατικών. Ο DFT αποτελεί µια περιγραφή των περιεχόµενων συχνοτήτων σε µια εικόνα Κοιτάζοντας το DFT ή το φάσµα µιας εικόνας (απεικόνιση του µέτρου του DFT της εικόνας), µπορούµε να προσδιορίσουµε πολλά στοιχεία σχετικά µε την εικόνα. Οι φωτεινές περιοχές στην DFT εικόνα αντιστοιχούν στις συχνότητες οι οποίες έχουν µεγάλο µέτρο (ισχύ) στην πραγµατική εικόνα. Μεγάλες τιµές κοντά στο κέντρο του (µετατοπισµένου) DFT αντιστοιχούν σε µεγάλες οµαλές περιοχές της εικόνας ή σε ισχυρά φωτεινό φόντο. Από τη στιγµή που οι εικόνες είναι θετικές (τιµές φωτεινότητας ήχρώµατος στο διάστηµα [0 255]), κάθε εικόνα έχει µια µεγάλη κορυφή στο ( = (0, 0) που είναι ανάλογη µε τη µέση φωτεινότητα της εικόνας 8

Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της Στη χωρική επεξεργασία εικόνας µε χρήση µάσκας η µάσκα εφαρµόζεται επαναληπτικά σε όλα τα pixel της εικόνας. Η διαδικασία αυτή είναι γνωστή ως συνέλιξη και συµβολίζεται µε *. Για παράδειγµα το αποτέλεσµα g(x,y) της χωρικής επεξεργασίας της εικόνας f(x,y) µε τη µάσκα h(x,y) ορίζεται ως: g(x,y) = f(x,y)*h(x,y) Από τις ιδιότητες του µετασχηµατισµού Fourier προκύπτει ότι g(x,y) = IDFT{G(}, όπου G( = F( H( Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (ΙΙ) όπου F( = DFT{f(x,y)}, και H( = DFT{h(x,y)}, τέτοιο ώστε οι πίνακες F( και Η( να έχουν τις ίδιες διαστάσεις Ο πολλαπλασιασµός F( H( εκτελείται στοιχείο προς στοιχείο και δεν αντιπροσωπεύει τον κλασικό πολλαπλασιασµό πινάκων 9

Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (ΙΙΙ) Το φιλτράρισµα στο χώρο της συχνότητας µας δίνει τη δυνατότητα να σχεδιάζουµε φίλτρα τα οποία αποκόπτουν συγκεκριµένες συχνότητες οι περιοχές συχνοτήτων Αυτό είναι ιδιαίτερα σηµαντικό στις περιπτώσεις στις οποίες γνωρίζουµε την αιτία που προκαλεί υποβάθµιση της ποιότητας της εικόνας (π.χ. το grid που χρησιµοποιείται στις ακτινογραφίες X) Θεωρήστε το παράδειγµα της διπλανής εικόνας: Η εικόνα είναι µια ηµιτονική εικόνα µε συχνότητες u = 20 Hz και v = 10 Hz στην οποία έχει επιδράσει ένα ανεπιθύµητο τετραγωνικό πλέγµα Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (ΙV) Μπορούµε να αποκαταστήσουµε την εικόνα φιλτράροντας όλες τις συχνότητες της εικόνας οι οποίες είναι διάφορες από u = 20 Hz και v = 10 Hz Στην πραγµατικότητα ποτέ δεν µπορούµε να ξέρουµε επακριβώς τις συχνότητες που περιέχονται σε µια τυχαία εικόνα (η οποία έχει κάποιο νόηµα) Γνωρίζουµε όµως σε πολλές περιπτώσεις τις συχνότητες του θορύβου (ανεπιθύµητου σήµατος) που υποβαθµίζει τις εικόνες. Βελτίωση της εικόνας µε απαλοιφή της επίδρασης σε αυτές τις περιπτώσεις είναι γνωστή ως αποκατάσταση εικόνας (image restoration) 10

Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (V) (α) Αρχική Εικόνα f (β) Μετασχηµατισµός Fourier F Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (VI) (α) Εικόνα µε επίδραση θορύβου q (β) Μετασχηµατισµός Fourier Q 11

Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (VII) (α) Απόκριση συχνότητας φίλτρου Η (β) G = Q H Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (VIII) Η εικόνα του διπλανού σχήµατος προέκυψε από τον αντίστροφο µετασχηµατισµό Fourier του πίνακα G G = Q H Q = DFT (q) q η θορυβώδης εικόνα Η η επιθυµητή απόκριση συχνότητας του φίλτρου µε το οποίο επεξεργαζόµαστε την εικόνα q (a) g = IDFT(G) 12

Εκτίµηση Απόκρισης Φιλτράρισµα στο χώρο της (IΧ) Ορίζοντας κατευθείαν στο χώρο της συχνότητας τους πίνακες H µπορούµε να επεξεργαστούµε συγκεκριµένες περιοχές συχνοτήτων Υψιπερατό φιλτράρισµα => αποκοπή χαµηλών συχνοτήτων (π.χ. χρήση για ανάδειξη ακµών) Χαµηλοπερατό φιλτράρισµα => αποκοπή υψηλών συχνοτήτων (π.χ. χρήση για απαλοιφή θορύβου, λείανση εικόνας) Ζωνοφρακτικό φιλτράρισµα => αποκοπή ενδιάµεσων συχνοτήτων (π.χ. απαλοιφή θορύβου συγκεκριµένων συχνοτήτων όπως σε περιπτώσεις αποκατάστασης εικόνας) H για ζωνοφρακτικό φιλτράρισµα H για υψιπερατό φιλτράρισµα H για χαµηλοπερατό φιλτράρισµα Εκτίµηση Απόκρισης Πραγµατοποιείται µέσω του µετασχηµατισµού Fourier της µάσκας h η οποία εφαρµόζεται για χωρικό φιλτράρισµα. Υπάρχει ένα λεπτό σηµείο σε αυτή τη µεθοδολογία: Η εφαρµογή χωρικού φιλτραρίσµατος επιβάλλει συνέλιξη της εικόνας f, διαστάσεων MxN, µε την µάσκα h, διαστάσεων mxn µε m<<m, n<<n, µε βάση τη σχέση: g = f*h Ισοδύναµα G = F H όπου F=DFT{f}, H=DFT{h} Από χωρικά φίλτρα σε φίλτρα Για εφαρµογή του παραπάνω όµως πρέπει Η και F να έχουν την ίδια διάσταση Αλλά Η = DFT{h} έχει διαστάσεις mxn ενώ F=DFT{f} έχει διαστάσεις MxN. Για να µπορεί να εφαρµοστεί η σχέση G = F H για φιλτράρισµα στο χώρο της συχνότητας εκτελούνται τα παρακάτω βήµατα: Επεκτείνεται η µάσκα h µε µηδενικά ώστε να έχει διαστάσεις MxN Λαµβάνεται ο DFT της νέας µάσκας h δηλαδή Η = DFT{h} Εφαρµόζεται η σχέση G = F H Η φιλτραρισµένη εικόνα g = IDFT{G} 13

Εκτίµηση Απόκρισης Ο µετασχηµατισµός Fourier Η της µάσκας h = [1 0-1; 2 0-2; 1 0-1] για εφαρµογή σε µια εικόνα f διαστάσεων 1024 x 1024, δίνεται στο διπλανό σχήµα: Από χωρικά φίλτρα σε φίλτρα (ΙΙ) Παρατηρούµε ότι το συγκεκριµένο φίλτρο έχει υψηλή απόκριση στις χαµηλές κάθετες συχνότητες (v<<m/2) και στις ενδιάµεσες ψηλές οριζόντιες συχνότητες (u max N/4) Εκτίµηση Απόκρισης Χαµηλοπερατά Φίλτρα Το ιδεατό χαµηλοπερατό φίλτρο (IDLPF) έχει συνάρτηση µεταφοράς Η (µετασχηµατισµό Fourier της µάσκας h) της µορφής: 1, για D( D H ( = 0, για D( > D 0 0 Όπου D( είναι η απόσταση του σηµείου µε συχνότητες ( από το σηµείο (0,0), και D 0 είναι ένας θετικός αριθµός (συχνά αναφέρεται ως ακτίνα του χαµηλοπερατού φίλτρου) 14

Εκτίµηση Απόκρισης Ιδεατό χαµηλοπερατό φίλτρο Η επιλογή της τιµής του D 0 στο ιδεατό χαµηλοπερατό φίλτρο καθορίζει πόση από τη συνολική ισχύ της εικόνας θέλουµε να διατηρήσουµε Εκτίµηση Απόκρισης Χαµηλοπερατά Φίλτρα: Φίλτρο Butterworth Τα ιδεατά χαµηλοπερατά φίλτρα δεν είναι υλοποιήσιµα µε υλικό. Επιπλέον δηµιουργούν εικόνες µε δακτυλίδια (ringing effect) εξαιτίας της απότοµης µεταβολής µεταβολής της H ideal από την τιµή 1 στη τιµή 0. Τα χαµηλοπερατά φίλτρα Butterworth (BLPF) έχουν συνάρτηση µεταφοράς Η της µορφής (n είναι η τάξη του φίλτρου): 1 H ( = 2n D( 1+ D 0 15

Εκτίµηση Απόκρισης Σύγκριση ιδεατού και φίλτρου Butterworth Εκτίµηση Απόκρισης Χαµηλοπερατά Φίλτρα: Φίλτρα Gauss Τα χαµηλοπερατά φίλτρα Gauss (GLPF) έχουν συνάρτηση µεταφοράς Η της µορφής (D 0 είναι η τυπική απόκλιση του φίλτρου): H ( = e D( 0.5 D0 2 16

Εκτίµηση Απόκρισης Φίλτρα Gauss Εκτίµηση Απόκρισης Φίλτρα Gauss (II) 17

Εκτίµηση Απόκρισης Υψιπερατά Φίλτρα Υψιπερατά φίλτρα είναι φίλτρα τα οποία χρησιµοποιούνται για την ανάδειξη ακµών στις εικόνες Ο απλόυστερος τρόπος για τον υπολογισµό της συνάρτησης µεταφοράς ενός υψιπερατού φίλτρου είναι χρησιµοποιώντας τη σχέση Η high =1-H low όπου Η low η συνάρτηση µεταφοράς του αντίστοιχου χαµηλοπερατού φίλτρου., Εκτίµηση Απόκρισης Υψιπερατά Φίλτρα (ΙΙ) Με βάση τη προηγούµενη σχέση έχουµε: IHPF (Ideal High Pass Filter): H IHPF = 1 - H ILPF BHPF (Butterworth High Pass Filter): H BHPF = 1 - H BLPF GHPF (Gauss High Pass Filter): H GHPF = 1 - H GLPF Η µορφή των αντίστοιχων φίλτρων φαίνεται στο διπλανό σχήµα 18

Εκτίµηση Απόκρισης Υψιπερατά Φίλτρα (ΙΙΙ) Εκτίµηση Απόκρισης Υψιπερατά Φίλτρα (ΙV) 19

Εκτίµηση Απόκρισης Υψιπερατά Φίλτρα (V) Εκτίµηση Απόκρισης Εφαρµογές επεξεργασίας στο πεδίο της συχνότητας Στο διπλανό σχήµα επιδεικνύεται η χρήση του µετασχηµατισµού Fourier για τον εντοπισµού προτύπων στο πεδίο της συχνότητας Αναζήτηση του γράµµατος T στην εικόνα: Σχηµατισµός µάσκας h για το γράµµα Τ Υπολογισµός του επεκτεταµένου (στο µέγεθος της εικόνας) µετασχηµατισµού Fourier H της µάσκας h Πολλαπλασιασµός του Η µε το µετασχηµατισµό Fourier F της εικόνας f: G = F H Εντοπισµός του µεγίστου του πίνακα G 20

Εκτίµηση Απόκρισης Σύνοψη Το υλικό που παρουσιάστηκε σε αυτή την ενότητα αναφέρεται στη βελτίωση ποιότητας εικόνας στο πεδίο της συχνότητας. Ο σχεδιασµός φίλτρων στο πεδίο της συχνότητας παρέχει ταχύτητα εκτέλεσης αλλά και ακρίβεια και προβλεψιµότητας του τελικού αποτελέσµατος Ο διακριτός δισδιάστατος µετασχηµατισµός Fourier και οι ιδιότητες του παρέχουν το θεωρητικό υπόβαθρο για την επεξεργασία εικόνας στο πεδίο της συχνότητας Η επεξεργασία µιας εικόνας f στο πεδίο της συχνότητας περιγράφεται από το παρακάτω σχήµα: 21