Μάθημα 9 ο Κατάτμηση Εικόνας ΤΜΗΥΠ / ΕΕΣΤ
Εισαγωγή () Η κατάτμηση έχει ως στόχο να υποδιαιρέσει την εικόνα σε συνιστώσες περιοχές και αντικείμενα. Μία περιοχή αναμένεται να έχει ομοιογενή χαρακτηριστικά όπως ένταση, υφή κ.α. ΤΜΗΥΠ / ΕΕΣΤ 2
Εισαγωγή (2) Έστω R η εικόνα. Η κατάτμηση χωρίζει την R σε N διακριτές περιοχές R, R2, R N με βάση τον κανόνα κατάτμησης P(R) έτσι ώστε να ισχύουν τα παρακάτω: ΤΜΗΥΠ / ΕΕΣΤ 3
Εισαγωγή (3) a) Οι περιοχές πρέπει να καλύπτουν όλη την εικόνα: b) Κάθε R i είναι συνδεμένη περιοχή με βάση έναν προκαθορισμένο κανόνα. c) Οι περιοχές είναι μη επικαλυπτόμενες: R i R i, j, i d) Όλα τα pixels μίας περιοχής πρέπει να έχουν τις ίδιες ιδιότητες: P για e) Οι περιοχές είναι διακριτές: P j TRUE R i R i R FALSE j R N R i i i j,2,, για γειτονικές περιοχές ΤΜΗΥΠ / ΕΕΣΤ 4
Εισαγωγή (4) Μία περιοχή R είναι συνεκτική όταν για κάθε x, y και x, y A A B B υπάρχει μία διαδρομή x A, ya,, xi, yi xi, yi xi, yi,, xb, της οποίας τα στίγματα x i, y i ανήκουν στην R και κάθε x i, y i είναι στην άμεση γειτονιά του προηγούμενου x i, yi και του επόμενου x i, yi στίγματος της διαδρομής. y Τετραπλή και Οκταπλή γειτονιά ενός στίγματος (x,y) B ΤΜΗΥΠ / ΕΕΣΤ 5
Κατάτμηση με κατωφλίωση () Η απλούστερη μέθοδος κατάτμησης είναι αυτή της κατωφλίωσης. g x, y 0 αν f x, αλλιώς y T Μπορούμε να ορίσουμε ένα ή περισσότερα κατώφλια, ολικά ή τοπικά. ΤΜΗΥΠ / ΕΕΣΤ 6
Κατάτμηση με κατωφλίωση (2) Στην παρακάτω εικόνα η κατάτμηση με ένα ολικό κατώφλι είναι προφανής. ΤΜΗΥΠ / ΕΕΣΤ 7
Κατάτμηση με κατωφλίωση (3) Εάν το ιστόγραμμα έχει Ν περιοχές συγκέντρωσης, χρησιμοποιούμε Ν- κατώφλια που αντιστοιχούν στα τοπικά ελάχιστα μεταξύ των λοβών. ΤΜΗΥΠ / ΕΕΣΤ 8
Κατάτμηση με κατωφλίωση (4) Αρχική εικόνα Αρχική εικόνα Κατωφλιωμένη εικόνα με ολικό κατώφλι Κατωφλιωμένη εικόνα με τοπικά κατώφλια ΤΜΗΥΠ / ΕΕΣΤ 9
Κατάτμηση με κατωφλίωση (5) Σε κάποιες εφαρμογές είναι επιθυμητό να βρεθεί το περίγραμμα μιας περιοχής παρά η ίδια η περιοχή Για την ανίχνευση του περιγράμματος μίας περιοχής/αντικειμένου, εξετάζουμε την κατωφλιωμένη εικόνα και παρακολουθούμε τις μεταβάσεις μεταξύ των περιοχών. ΤΜΗΥΠ / ΕΕΣΤ 0
Κατάτμηση με κατωφλίωση (6) Εάν το ιστόγραμμα δεν έχει ξεκάθαρα τοπικά ελάχιστα, μπορούμε να χρησιμοποιήσουμε: Εξομάλυνση ιστογράμματος Αποκλεισμό των στοιχείων των ακμών από τον υπολογισμό του ιστογράμματος («τροποποιημένο ιστόγραμμα») Κατωφλίωση που μεταβάλλεται στον χώρο ΤΜΗΥΠ / ΕΕΣΤ
Κατωφλίωση με τη μέθοδο Otsu () - Για εικόνα δύο περιοχών (ένα κατώφλι): - Εύρεση του κατωφλίου που ελαχιστοποιεί τη λεγόμενη intra-class variance (ή within class variance). - Ισοδύναμα, το κατώφλι αυτό μεγιστοποιεί το inter-class variance. - Επέκταση για πολλαπλά κατώφλια ΤΜΗΥΠ / ΕΕΣΤ 2
Κατωφλίωση με τη μέθοδο Otsu (2) Weighted within-class variance: 2 w ( t ) q ( t ) 2 ( t ) q 2 ( t ) 2 2 ( t ) Class probabilities (για συγκεκριμένο threshold t) : t q ( t) P( i) 2 i Class mean values : ( t ) t ip() i 2 ( t ) q ( t) i I q ( t) P( i) it I it 2 ip() i q ( t) ΤΜΗΥΠ / ΕΕΣΤ 3
Κατωφλίωση με τη μέθοδο Otsu (3) Individual class variance: t 2 2 ( t) [ i ( t)] i q P () i ( t) I 2 2 2 ( t) [ i 2( t)] it q2 P () i ( t) Υλοποίηση της τεχνικής: Οι παραπάνω ποσότητες υπολογίζονται για όλα τα δυνατά κατώφλια t(με t από έως Ν) και τελικά επιλέγεται αυτό που ελαχιστοποιεί την 2 ( t w ) ΤΜΗΥΠ / ΕΕΣΤ 4
Κατωφλίωση με τη μέθοδο Otsu (4) Inter-class (or between-class) variance: ( t) q ( t)( ( t) ) q ( t)( ( t) ) 2 2 2 T 2 2 T T I i ip() i Total mean 2 2 2 T ( t) W ( t) ( t) constant Η ελαχιστοποίηση της Within-class variance ισοδυναμεί με μεγιστοποίηση της Inter-class variance. Η δεύτερη όμως ποσότητα μπορεί να υπολογιστεί αναδρομικά ως προς το κατώφλι. ΤΜΗΥΠ / ΕΕΣΤ 5
Τεχνικές συνένωσης / αύξησης περιοχών () Ξεκινάμε από «σπόρους» που είναι αντιπροσωπευτικοί των διαφορετικών περιοχών και αυξάνουμε συνενώνοντας τα γειτονικά στοιχεία που έχουν ίδια χαρακτηριστικά μέχρι να καλυφθεί όλη η εικόνα. Οι «σπόροι» επιλέγονται συνήθως από τον χρήστη (ένας τουλάχιστον για κάθε περιοχή της εικόνας). ΤΜΗΥΠ / ΕΕΣΤ 6
Τεχνικές συνένωσης / αύξησης περιοχών (2) Για κάθε περιοχή R, i,2,, N, σε κάθε i βήμα ελέγχουμε την οκταπλή γειτονιά του κάθε στίγματος του συνόρου της περιοχής για στίγματα που δεν έχουν ταξινομηθεί. Όταν βρεθεί ένα τέτοιο, ελέγχουμε την συνθήκη ομοιογενείας της περιοχής, P x TRUE R i Η αρχική επιλογή των «σπόρων» είναι σημαντική για την απόδοση του αλγορίθμου. ΤΜΗΥΠ / ΕΕΣΤ 7
Τεχνικές συνένωσης / αύξησης περιοχών (3) Οι αρχικοί «σπόροι» μπορούν να είναι: Εικονοστοιχεία που επιλέγονται με εποπτικό τρόπο από τον χρήστη Εικονοστοιχεία που αντιστοιχούν σε κορυφές του ιστογράμματος Όταν τελειώσει η διαδικασία μπορούμε να συνενώσουμε τις περιοχές που παρουσιάζουν παρόμοιες ιδιότητες. ΤΜΗΥΠ / ΕΕΣΤ 8
Τεχνικές συνένωσης / αύξησης περιοχών (4) Παραδείγματα συνθηκών ομοιογένειας περιοχών: -- Απόσταση των αριθμητικών μέσων σε σχέση με την τυπική απόκλιση: m m2 k i, i,2 m i n ( k, l) R i f ( k, l) f ( k, l) i m i n ( k, l) R i 2 ΤΜΗΥΠ / ΕΕΣΤ 9
ΤΜΗΥΠ / ΕΕΣΤ 20 Αν επιτρεπόταν η συνένωση στίγματος f(k,l) σε μια περιοχή R οι ανανεωμένες μέση τιμή και τυπική απόκλιση θα δινόταν από τις σχέσεις : i nm i l k f n m ), ( 2 2 ), ( i m i l k f n n n n Τεχνικές συνένωσης / αύξησης περιοχών (5)
Τεχνικές συνένωσης / αύξησης περιοχών (6) Η συνένωση είναι επιτρεπτή αν η ένταση f (k, l) του στίγματος είναι κοντά στη μέση τιμή m i της περιοχής R i : f ( k, l) m T ( k, l) i i Το κατώφλι T i μπορεί να ποικίλει ανάλογα με την περιοχή R i και την ένταση του στίγματος f (k, l). T i ( k, l) i m i T ΤΜΗΥΠ / ΕΕΣΤ 2
Τεχνικές διαίρεσης & συνένωσης () Διαίρεση: Ξεκινάμε με ολόκληρη την εικόνα και εκτελούμε τα παρακάτω Εξετάζουμε εάν είναι ομοιογενής η περιοχή. Εάν αυτό δεν ισχύει, την διαιρούμε σε 4 υποπεριοχές. Επαναλαμβάνουμε για τις υποπεριοχές. ΤΜΗΥΠ / ΕΕΣΤ 22
Τεχνικές διαίρεσης & συνένωσης (2) (α) Αρχική εικόνα. (β) Αναπαράσταση τετραδικού δέντρου. ΤΜΗΥΠ / ΕΕΣΤ 23
Τεχνικές διαίρεσης & συνένωσης (3) Πλεονέκτημα: η μέθοδος μπορεί να αναπαρασταθεί από ένα τετραδικό δέντρο. Μειονέκτημα: γειτονικές περιοχές που έχουν παρόμοιες ιδιότητες, μπορεί να μην συνενώνονται. ΤΜΗΥΠ / ΕΕΣΤ 24
Τεχνικές διαίρεσης & συνένωσης (4) Διαίρεση & συνένωση: Ξεκινάμε με ολόκληρη την εικόνα και εκτελούμε τα παρακάτω Εξετάζουμε εάν είναι ομοιογενής η περιοχή. Εάν αυτό δεν ισχύει, τη διαιρούμε σε 4 υποπεριοχές. Εάν δύο γειτονικές περιοχές είναι ομοιογενείς, συνενώνονται. Επαναλαμβάνουμε για τις υποπεριοχές. ΤΜΗΥΠ / ΕΕΣΤ 25
Τεχνικές διαίρεσης & συνένωσης (5) Πλεονέκτημα: οι περιοχές που ανιχνεύονται είναι πιο συμπαγείς. Μειονέκτημα: η διαδικασία δεν μπορεί πλέον να περιγραφεί από τετραδικό δέντρο. ΤΜΗΥΠ / ΕΕΣΤ 26
Παραδείγματα Αρχική εικόνα Αύξηση περιοχών Διαίρεση Διαίρεση & συνένωση ΤΜΗΥΠ / ΕΕΣΤ 27
Χαλάρωση περιοχών () Ορίζουμε ως διάνυσμα εμπιστοσύνης το p k k, p 2, p N p, όπου i η πιθανότητα το k-στο στίγμα να ανήκει στην περιοχή p k Ri, i,2,, N Αρχική τιμή για τις πιθανότητες που ονομάζονται επίσης βάρη εμπιστοσύνης. p (0) k k () i / N f( n, l) mi i f( n, l) mi k T p k ΤΜΗΥΠ / ΕΕΣΤ 28
Χαλάρωση περιοχών (2) Είναι σκόπιμο να χωρίσουμε τις περιοχές σε «συμβατές» και «ασύμβατες». Η συνάρτηση συμβατότητας είναι η εξής: -,0, Ri, Rj είναι ασύμβατες ri, j 0, Ri, Rj είναι ανεξάρτητες 0,, Ri, Rj είναι συμβατές Τα βάρη εμπιστοσύνης μπορούν να επαναπροσδιοριστούν με βάση την r i, j ΤΜΗΥΠ / ΕΕΣΤ 29
Χαλάρωση περιοχών (3) Ο αλγόριθμος χαλάρωσης περιοχών περιγράφεται από τις εξισώσεις: Δp N kl kl l n n i d r i,j p j k l j p n k i N p i n i k p n i k p p n i k n i Κάθε στίγμα λαμβάνει συνεισφορές εμπιστοσύνης από τα στίγματα που βρίσκονται στη γειτονιά του k ΤΜΗΥΠ / ΕΕΣΤ 30
Χαλάρωση περιοχών (4) Οι παράμετροι d kl καθορίζουν τις συνεισφορές στο στίγμα x k που προέρχονται από τα γειτονικά στίγματα x l. Πρέπει να ισχύει: dkl l Μπορεί επίσης να γίνει μια καλύτερη εκτίμηση των συναρτήσεων συμβατότητας από τις αρχικές πιθανότητες: N 2 0 0 N pk i pl i k kl i, j ln 2 2 N N 0 0 pk i pl i k l r 2 ΤΜΗΥΠ / ΕΕΣΤ 3
Εύρεση συνδεμένων μερών () Η εύρεση συνδεμένων μερών είναι η διαδικασία με την οποία ανιχνεύουμε τις διακριτές υποπεριοχές που έχουν κοινά χαρακτηριστικά και αποτελούν μία ενιαία περιοχή. ΤΜΗΥΠ / ΕΕΣΤ 32
Εύρεση συνδεμένων μερών (2) Οι αλγόριθμοι αυτοί χωρίζονται σε Τοπικής γειτονιάς η ιδέα της «φωτιάς στο γρασίδι» χαρακτηρισμός των στιγμάτων από την συνένωση των συντεταγμένων χρωματισμός μερών συρρίκνωση Διαίρει και βασίλευε διαίρεση και συνένωση ΤΜΗΥΠ / ΕΕΣΤ 33
Εύρεση συνδεμένων μερών (3) Αλγόριθμος «φωτιάς» (χρησιμοποιεί την ιδέα της φωτιάς στο γρασίδι): Η εικόνα σαρώνεται κατά γραμμές εως ότου βρεθεί το πρώτο στίγμα αντικειμένου. Στο στίγμα τίθεται φωτιά που διαδίδεται και στην οκταπλή γειτονιά του. Η διαδικασία επαναλαμβάνεται μέχρις ότου «καούν» όλα τα στίγματα του αντικειμένου. Η διαδικασία επαναλαμβάνεται έως ότου βρεθούν όλα τα αντικείμενα. ΤΜΗΥΠ / ΕΕΣΤ 34
Περιγραφή υφής () Η υφή μιας εικόνας είναι σημαντικό χαρακτηριστικό και είναι ένα μέτρο της τραχύτητας της ομαλότητας και της κανονικότητας. Οι τεχνικές χωρίζονται σε Στατιστικές τεχνικές βασίζονται στα ιστογράμματα, τις επεκτάσεις των περιοχών και τις ροπές Φασματικές τεχνικές βασίζονται στην ανίχνευση περιοδικότητας μέσω της αυτοσυσχέτισης ή της κατανομής ισχύος στο πεδίο συχνοτήτων Δομικές τεχνικές χρησιμοποιούν πρότυπα και κανόνες τοποθέτησης ΤΜΗΥΠ / ΕΕΣΤ 35
Κεντρικές ροπές Περιγραφή υφής (2) Μέση τιμή Μεταβλητότητα Κλίση (μέτρο της συμμετρίας) Κύρτωση (μεγάλη κύρτωση μεγάλη ουρά) 2 N k N f k p f f 2 fk p f fk k 3 3 N k 3 fk p f fk k N 4 4 4 fk pf fk3 k Εντροπία H N k p f f ln p f k f k ΤΜΗΥΠ / ΕΕΣΤ 36
Περιγραφή υφής (3) Πλεονέκτημα των ροπών: υπολογιστική απλότητα Μειονέκτημα: δεν μπορούν να εκφράσουν τα χωρικά χαρακτηριστικά της υφής (το πώς δηλαδή μεταβάλλεται στο χώρο κάποιο χαρακτηριστικό) ΤΜΗΥΠ / ΕΕΣΤ 37
Περιγραφή υφής (4) Τα χωρικά χαρακτηριστικά μπορούν να εκφραστούν με περιγραφείς που κάνουν χρήση των ιστογραμμάτων των διαφορών επιπέδου του γκρι για συγκεκριμένες αποστάσεις από το εκάστοτε κεντρικό στίγμα d = [d, d 2 ] g(d) = f(k,l)-f(k+ d, l+ d 2 ) p g (g,d): υπάρχει ένα διακεκριμένο ιστόγραμμα για κάθε απόσταση d ΤΜΗΥΠ / ΕΕΣΤ 38
Περιγραφή υφής (5) Χρησιμοποιούνται διάφορα μέτρα υφής που εξάγονται από το p g (g,d), όπως: μέση τιμή, μεταβλητότητα, αντίθεση, εντροπία κ.λπ. Η χωρική οργάνωση της υφής σχετίζεται επίσης με τις στατιστικές μήκους διαδρομών (το μήκος διαδρομής l των στιγμάτων με ένταση f σε μια διεύθυνση θ ) - Έμφαση κοντών/μακρών διαδρομών - Κατανομή επιπέδων του γκρί - Κατανομή μήκους διαδρομών - Ποσοστά διαδρομών ΤΜΗΥΠ / ΕΕΣΤ 39
Περιγραφή υφής (6) Μέτρα υφής που εξάγονται από το ιστόγραμμα των διαφορών επιπέδων του γκρι: Μέση τιμή d N k g k p g ( g, d) k Μεταβλητότητα N 2 2 d gk d pg gk d k ( ) (, ) Εντροπία H N p ( g, d) ln p ( g, d) d g k g k k ΤΜΗΥΠ / ΕΕΣΤ 40
Περιγραφή υφής (7) Χαρακτηριστικά υφής που υπολογίζονται από τα μήκη διαδρομών των επιπέδων του γκρι: Έμφαση κοντών διαδρομών A N N R N( l, fk, ) 2 TR k l k Έμφαση μακρών διαδρομών A N N R 2 2 k N( l, fk, ) TR k l Κατανομή επιπέδων του γκρι A N N R 3 N( l, fk, ) TR k l ΤΜΗΥΠ / ΕΕΣΤ 4 2
Περιγραφή υφής (8) Χαρακτηριστικά υφής που υπολογίζονται από τα μήκη διαδρομών των επιπέδων του γκρι: Κατανομή μήκους διαδρομών A N R N 4 N( l, fk, ) TR l k 2 Ποσοστά διαδρομών A N N R 5 N( l, fk, ) NN2 k l ΤΜΗΥΠ / ΕΕΣΤ 42
Περιγραφή υφής (9) Η τραχύτητα της υφής μπορεί να περιγραφεί από: τους πίνακες σύμπτωσης (co-occurrence matrices) την συνάρτηση αυτοσυσχέτισης 2 το περιοδόγραμμα C : c p( f, f, d) d kl k l N N2 R ff f(, i j) f( ik, jl) (2N )(2N ) in jn 2 Pff ( u, v) F( u, v) NN 2 ΤΜΗΥΠ / ΕΕΣΤ 43 2
και πολλές άλλες τεχνικές. Level set method K-means mutli-threshold Geometric modeling of the objects Probabilistic modeling Watershed transformation etc ΤΜΗΥΠ / ΕΕΣΤ 44