Kατάτμηση εικόνας. Σήμερα!

Kατάτμηση εικόνας Σήμερα! Κατωφλίωση (binarization) Καθολικό ό( (global) κατώφλι LocalΤhresholding Φωτισμός και Ανακλαστικότητα Τεχνικές ανίχνευσης ακμών Τελεστές κλίσης (gradient operators) (gradient operators) τελεστές προσανατολισμού (compass operators) Εντοπισμός Περιγράμματος 1

Κατωφλίωση (binarization) Μια απλή μέθοδος κατάτμησης εικόνας είναι η τεχνική της κατωφλίωσης. Η τεχνική αυτή εφαρμόζεται όταν οι τιμές των pixels του αντικειμένου προς διαχωρισμό διαφέρουν των άλλων Κατά την κατωφλίωση, από την αρχική ασπρόμαυρη εικόνα δημιουργείται μια μονόχρωμη εικόνα me όλα τα pixels του αντικειμένου μαύρα και τα υπόλοιπα λευκά ή το αντίστροφο. Κατωφλίωση (binarization) Όταν το διάστημα τιμών φωτεινότητας ενός αντικειμένου διαφέρει από αυτό της υπόλοιπης εικόνας, αρκεί η τροποποίηση του ιστογράμματος. Όταν το ιστόγραμμα αποτελείται από δύο λοβούς εντελώς διαχωρισμένους μεταξύ τους, ορίζεται κατώφλι Τ 0 στο μέσον του κενού διαστήματος. Στη συνέχεια εφαρμόζουμε στην αρχική εικόνα τροποποίηση του ιστογράμματος, ώστε όλα τα pixels που στην αρχική εικόνα έχουν τιμή μικρότερη από το κατώφλιο Τ 0, στη νέα εικόνα γίνονται μαύρα. Αντίθετα, όσα pixels έχουν τιμή μεγαλύτερη από Τ 0, στη νέα εικόνα γίνονται λευκά. 2

Παράδειγμα Καθολικό (global) κατώφλι Όταν χρησιμοποιούμε μια μοναδική τιμή κατωφλίου, βάσει της οποίας γίνεται η σύγκριση των τιμών της φωτεινότητας όλων των pixels της εικόνας, η τεχνική αυτή καλείται κατωφλίωση ημε καθολικό (global) κατώφλι 3

Κατάλληλες εικόνες για καθολική κατωφλίωση Βασική προϋπόθεση κατά τη φωτογράφηση, ώστε να είναι δυνατή η κατωφλίωση με καθολικό κατώφλι, είναι ολόκληρη η σκηνή να φωτίζεται ομοιόμορφα. Ομοιόμορφες συνθήκες φωτισμού μπορούμε να έχουμε μέσα σε ένα φωτογραφικό εργαστήριο. Αυτό είναι δύσκολο στις φωτογραφήσεις σε εξωτερικούς χώρους ή όταν ο φωτισμός προέρχεται από ακτινοβολίες, π.χ λήψεις ακτινογραφιών ή άλλων ιατρικών εικόνων. Διόρθωση Φωτεινότητας Όταν το ιστόγραμμα δεν διαχωρίζεται σε δυο λοβούς δεν μπορεί να εφαρμοστεί άμεσα η τεχνική του global κατωφλίου Mια μέθοδος είναι να διορθώσουμε τη φωτεινότητά της. Η διόρθωση αυτή είναι δυνατή όταν η πηγή φωτισμού είναι προσπελάσιμη. Για να γίνει αντιληπτός ο τρόπος διόρθωσης της φωτεινότητας, πρέπει να δούμε πώς προσδιορίζεται η τιμή της σε κάθε σημείο της λαμβανόμενης εικόνας. 4

Φωτισμός και Ανακλαστικότητα Ανακλαστικότητα της επιφάνειας ενός φωτιζόμενου αντικειμένου είναι ο λόγος της ποσότητας του φωτός που ανακλάται από αυτήν προς την ποσότητα φωτός που προσπίπτει σ αυτή. Ο φωτισμός και η ανακλαστικότητα ενός σημείου της σκηνής καθορίζουν τη φωτεινότητα του αντίστοιχου σημείου της εικόνας, που θα δημιουργηθεί. Γι αυτό η φωτεινότητα f(x,y) σε κάθε σημείο (x,y) της εικόνας που προκύπτει περιγράφεται ως το γινόμενο δύο συναρτήσεων: f (x,y) =s(x,y)*r(x,y) Η συνάρτηση s(x,y) εξαρτάται από το φωτισμό της σκηνής, και η r(x,y) από την ανακλαστικότητα της. Φωτισμός και Ανακλαστικότητα Αν ένα αντικείμενο διαφέρει σε ανακλαστικότητα απότοπεριβάλλοντου, περιβάλλον του, οι τιμές της r(x,y) στα pixels του αντικείμενου θα είναι σε διαφορετική περιοχή από τα υπόλοιπα pixels της εικόνας. Όταν ο φωτισμός της σκηνής είναι ομοιόμορφος, η s(x,y) είναι σταθερή (s(x,y) = c) και η φωτεινότητα είναι ανάλογη της ανακλαστικότητας r(x,y) f(x,y) = cr(x,y) Τοτε, η κατατομή της f(x,y) είναι ίδια με αυτή της r(x,y) και οι τιμές της φωτεινότητας των pixels του αντικείμενου βρίσκονται σε διαφορετικό διάστημα από των υπολοίπων pixels της εικόνας. 5

Φωτισμός και Ανακλαστικότητα Όταν όμως ο φωτισμός δεν είναι ομοιόμορφος, η s(x,y) δεν είναι σταθερή, και ηφ φωτεινότητα της εικόνας f(x,y) δεν είναι ανάλογη πλέον της κατατομής της r(x,y). Οι τιμές φωτεινότητας των pixels που αντιστοιχούν στο αντικείμενο και αυτές της υπόλοιπης εικόνας μοιράζονται σε κοινά διαστήματα και ο διαχωρισμός τους με την άμεση χρήση της κατωφλίωσης είναι αδύνατος. Φωτισμός και Ανακλαστικότητα 6

Αdaptive Τhresholding Έχει αναπτυχθεί ένας μεγάλος αριθμός τεχνικών με τις οποίες αντιμετωπίζεται η κατωφλίωση εικόνων με διαφορετικές συνθήκες φωτισμού ή η ανακλαστικότητα του αντικειμένουκαι της υπόλοιπης σκηνής δεν διαφέρουν σημαντικά. Για παράδειγμα, στην περίπτωση που η σκηνή δεν φωτίζεται ομοιόμορφα και δεν είναι δυνατή η προσπέλαση της πηγής φωτισμού,, χρησιμοποιείται,, πολλές φορές με επιτυχία, η τεχνική της χρήσης προσαρμοζόμενου κατωφλίου (adaptive thresholding). Σύμφωνα με τη μέθοδο αυτή, η τιμή του κατωφλίου επιλέγεται διαφορετική για κάθε pixel της εικόνας. Παράδειγμα 7

Αdaptive Τhresholding Φροντίζουμε ώστε η τιμή αυτού να προσαρμόζεται στη φωτεινότητα της περιοχής γύρω από κάθε pixel χωριστά. Για το pixel (k,m) ως τιμή κατωφλίου Τ(k,m) τη μέση τιμή της φωτεινότητας των pixels μιας περιοχής L L της w γύρω από το (k,m). Το κατώφλι επιλέγεται από τη σχέση: Η τιμή της C εξαρτάται από το πλήθος Q των σταθμών κβάντισης και από το θόρυβο που υπάρχει στο έντυπο. Τεχνικές ανίχνευσης ακμών Ακμές είναι οι περιοχές της εικόνας στις οποίες εμφανίζονται μεγάλες μεταβολές της φωτεινότητας. Αυτό σημαίνει ότι στα σημεία των ακμών, η παράγωγος της φωτεινότητας, είναι αυξημένη. Ο εντοπισμός των ακμών αποτελεί μια από τις τεχνικές βελτίωσης της εικόνας. Δημιουργούνται στα σημεία που αντιστοιχούν στις οριακές επιφάνειες και η ανίχνευσή τους αποτελεί εργαλείο για την κατάτμηση της εικόνας. Δεν μπορεί να δοθεί μαθηματικός ορισμός. Εντοπίζονται υπολογίζοντας την παράγωγο σε όλα τα σημεία και ξεχωρίζοντας εκείνα, με τις πιο μεγάλες τιμές. 8

Παραγώγιση συνάρτησης δύο μεταβλητών Έστω πραγματική συνάρτηση z = f(x,y) και έστω Α ένα σημείο με συντεταγμένες (x A, y A ). Όταν στο σημείο Α υπάρχουν οι μερικές παράγωγοι της f(x,y) και είναι συνεχείς σε μια περιοχή του σημείου αυτού, τότε η f(x,y) λέγεται παραγωγίσιμη στο σημείο Α. Η κλίση (gradient) της f(x,y) στο σημείο Α, συμβολίζεται με grad f(x,y) A, καιορίζεταιωςτο το διάνυσμα: Θεώρημα Όταν στο σημείο Α(x A,y A ) η συνάρτηση f(x,y) είναι παραγωγίσιμη, τότε το διάνυσμα grad f(x,y) A έχει την κατεύθυνση προς την οποία ο ρυθμός μεταβολής της f(x,y) είναι μέγιστος, και το μέτρο της grad f(x,y) A δίνει την τιμή του μέγιστου ρυθμού μεταβολής της f(x,y) στο Α. 9

παράγωγος κατά κατεύθυνση (directional derivative) παράγωγος κατά κατεύθυνση (directional derivative) Στο σημείο Α, για τη συνάρτησηση f(x,y) μπορεί να οριστεί η παράγωγος κατά κατεύθυνση (directional derivative). Στο σχήμα με αρχή το σημείο Α, έχει οριστεί ένα μοναδιαίο διάνυσμα r θ = (Δx i +Δy j ), το οποίο σχηματίζει γωνία θ με το άξονα Οx. Η παράγωγος στο σημείο Α της f(x,y) κατά την κατεύθυνση του διανύσματος r θ ορίζεται ως: 10

παράγωγος κατά κατεύθυνση (directional derivative) Όταν η f(x,y) είναι παραγωγίσιμη στο Α, τότε η παράγωγος κατά κατεύθυνση, υπάρχει και είναι συνεχής, για κάθε γωνία θ. Η παράγωγος κατά αντίθετες κατευθύνσεις έχει αντίθετες τιμές. παράγωγος κατά κατεύθυνση (directional derivative) Η παράγωγος κατά κατεύθυνση ισούται με το ρυθμό μεταβολής της f(x,y) στο Α κατά την κατεύθυνση του r θ. Επομένως, υπολογίζοντας την παράγωγο κατά τις κατευθύνσεις που σχηματίζουν γωνίες θ, με 0 θ < 2π, και λαμβάνοντας το μέγιστο αυτών των τιμών, έχουμε το μέγιστο ρυθμό μεταβολής της f(x,y) στο Α. Επειδή όμως σε αντίθετες κατευθύνσεις η παράγωγος αυτή λαμβάνει αντίθετες τιμές, ο μέγιστος ρυθμός μεταβολής της f(x,y) μπορεί να υπολογιστεί περιορίζοντας τη μεταβολή της θ από 0 έως 180 και όχι έως 360. 11

Θεώρημα Όταν στο σημείο Α(x A,y A ) η συνάρτηση f(x,y) είναι παραγωγίσιμη, τότε το μέγιστο της απόλυτης τιμής της παραγώγου της f(x,y) στο Α κατά το διάνυσμα rθ, για 0 θ < π, ισούται με το μέγιστο του ρυθμού μεταβολής της f(x,y) στο ίδιο σημείο Α. Παραγώγιση συνάρτησης δύο μεταβλητών Από τα προηγούμενα θεωρήματα προκύπτουν δύο μέθοδοι για τον προσδιορισμό του μέγιστου ρυθμού μεταβολής της f(x,y) σε ένα σημείο Α: 1. Υπολογίζουμε τις μερικές παραγώγους ως προς x και y της συνάρτησης και προσδιορίζουμε το μέτρο της κλίσης στο Α. 2. Υπολογίζουμε την απόλυτη τιμή της κατά κατεύθυνση παραγώγου για μια σειρά διαδοχικών κατευθύνσεων και το μέγιστο των τιμών, που θα προκύψουν, δίνει το μέγιστο ρυθμό μεταβολής της f(x,y). 12

Παραγώγιση φωτεινότητας ψηφιακής εικόνας Αν επιχειρήσουμε να υπολογίσουμε την παράγωγο του σήματος στην ψηφιακή εικόνα, θα διαπιστώσουμε ότι υπάρχουν δύο βασικά εμπόδια: Η τιμή του σήματος είναι γνωστή μόνο στα pixels της εικόνας, δηλαδή σε ένα πεπερασμένο πλήθος σημείων του πεδίου ορισμού. Σε κάθε pixel, η τιμή του σήματος είναι το άθροισμα της πραγματικής φωτεινότητας, του θορύβου κβάντισης, αλλά πιθανόν και άλλου θορύβου, από τον οποίο σε μερικές περιπτώσεις έχει προσβληθεί η εικόνα. Παραγώγιση φωτεινότητας ψηφιακής εικόνας Το πρώτο εμπόδιο μας απαγορεύει να υπολογίσουμε άμεσα τις τιμές των παραγώγων με τη χρήση ορίων. Έτσι, αναγκαζόμαστε να εκτιμήσουμε την τιμή των μερικών παραγώγων ή της παραγώγου ως προς κατεύθυνση σε ένα σημείο Α, χρησιμοποιώντας τις πεπερασμένες διαφορές των γειτονικών pixelς του Α. 13

Παραγώγιση φωτεινότητας ψηφιακής εικόνας Για παράδειγμα, θεωρήστε την ψηφιακή εικόνα v με τιμές στα pixels της v(k,m), όπου και ένα σημείο Α, που συμπίπτει με τη θέση του (k,m) pixel της. Η μερική παράγωγος ως προς x στο A μπορεί να προσεγγιστεί από τη v x (k,m), που υπολογίζεται από τη σχέση: Η v x (k,m) ισούται ακριβώς με την παράγωγο, αν η φωτεινότητα μεταβάλλεται γραμμικά με την απομάκρυνση x στο σημείο Α, αλλά αποκλίνει από αυτή σε κάθε άλλη περίπτωση. Παραγώγιση φωτεινότητας ψηφιακής εικόνας Η απόκλιση της v x (k,m) από την τιμή της παραγώγου γίνεται ακόμη πιο μεγάλη αν λάβουμε υπόψη μας το θόρυβο. Αν μάλιστα η ισχύς του θορύβου είναι σημαντική, η v x (k,m) κατά τον υπολογισμό της στα διάφορα σημεία γίνεται ασταθής και αποκλίνει αισθητά από τον πραγματικό ρυθμό μεταβολής της φωτεινότητας. Αυτό γίνεται φανερό αν θεωρήσουμε την τιμή των pixels της εικόνας ως το άθροισμα της φωτεινότητας και του θορύβου: v(k,m) = φ(k,m) + η(k,m) Τότε η διαφορά τιμών των δύο γειτονικών pixels 14

Παραγώγιση φωτεινότητας ψηφιακής εικόνας Η διαφορά των γειτονικών pixels της εικόνας φ(k,m+1) φ(k,m) φ(k,m) είναι μικρή. Δεν συμβαίνει το ίδιο και με το θορύβου, η(k,m+1) η(k,m), που συνήθως είναι στατιστικώς ανεξάρτητα. Το σφάλμα διαιρείται με τη μικρή απόσταση d κάνοντας την απόκλιση ακόμη πιο σημαντική. Για να αντιμετωπισθεί η επίδραση του θορύβου, προηγείται φιλτράρισμα του θορύβου. Μάσκα Διαφόρισης Παραγώγιση και φιλτράρισμα θορύβου μπορούν να συνδυαστούν σε ένα βήμα: Στη σχέση αυτή υπολογίζεται η εκτίμηση της παραγώγου στο σημείο Α(k,m). Για την εκτίμηση της τιμής χρησιμοποιούνται όλα τα pixels μιας περιοχής με μέγεθος (2L+1) (2L+1) γύρω από το (k,m) Οι τιμές των pixels πολλαπλασιάζονται με τους συντελεστές μ(i,j), στοιχεία ενός (2L+1) (2L+1) πίνακα Μ, ο οποίος καλείται μάσκα διαφόρισης, και οι τιμές τους εξαρτώνται από τη διεύθυνση θ. 15

Μάσκα Διαφόρισης Η προηγούμενη σχέση παριστάνει τη συσχέτιση (correlation) της εικόνας v με τη μάσκα Μ στο pixel (k,m). Αυτή μπορεί να εφαρμοστεί για όλα τα pixels της εικόνας v εκτιμώντας την τιμή της παραγώγου κατά την κατεύθυνση r θ. Όταν επιχειρήσουμε να εφαρμόσουμε τη σχέση σε ένα από τα ακραία σημεία της εικόνας, εμφανίζονται στοιχεία της ακολουθίας ν με δείκτες έξω από την εικόνα. Τα στοιχεία αυτά δεχόμαστε ότι έχουν τιμή μηδέν. Τεχνικές Ανίχνευσης Ακμών Υπάρχει μεγάλο πλήθος τεχνικών ανίχνευσης ακμών Καθεμιά είναι κατάλληλη για διαφορετικές εικόνες ανάλογα με το επίπεδο θορύβου και το ρυθμό μεταβολής της φωτεινότητας. Επίσης, διαφέρουν και στην ακρίβεια εντοπισμού της θέσης μιας ακμής στην εικόνα. Μπορούν να χωριστούν σε δύο ομάδες: Η πρώτη βασίζεται στην εκτίμηση της κλίσης και οι μάσκες διαφόρισης που χρησιμοποιούνται ονομάζονται τελεστές κλίσης (gradient operators). H δεύτερη ομάδα υπολογίζει τις παραγώγους κατά κατεύθυνση και οι μάσκες διαφόρισης ονομάζονται τελεστές προσανατολισμού (compass operators). 16

Τελεστές κλίσης (gradient operators) Στις μεθόδους αυτές, σε κάθε pixel v(k,m) της εικόνας v, γίνεται η εκτίμηση της κλίσης και στη συνέχεια υπολογίζεται το μέτρο της, g(k,m). Σε μια συνεχή δυσδιάστατη συνάρτηση το διάνυσμα της κλίσης στο Α υπολογίζεται από τις μερικές παραγώγους του σήματος ως προς x και y. Για τον υπολογισμό των τιμών αυτών των παραγώγων χρησιμοποιούνται δύο μάσκες διαφόρισης, η H x και η H y, γνωστές ως τελεστές κλίσης. Ο πρώτος τελεστής εκτιμά τη μερική παράγωγο ως προς x, και ο δεύτερος τη μερική παράγωγο ως προς y τελεστές κλίσης (gradient operators) αλγόριθμος 17

τελεστές κλίσης (gradient operators) τελεστές κλίσης (gradient operators) 18

Robert vs. Sobel Οι τελεστές του Robert έχουν μικρό μέγεθος, (2 2), και ελαττώνουν τις πράξεις. Οι τελεστές του Robert δημιουργούν περισσότερες λεπτές γραμμές στη θέση των ακμών. Στην ενθόρυβη εικόνα, οι τελεστές του Robert δημιουργούν αστάθεια, δηλαδή αναδεικνύουν πάρα πολλά σημεία με μεγάλες τιμές κλίσης, τα οποία δεν έχουν καμιά σχέση με τις ακμές της εικόνας. Αντίθετα, οι τελεστές Sobel ανιχνεύουν τις ακμές της ενθόρυβης εικόνας με μεγαλύτερη επιτυχία. 19

τελεστές προσανατολισμού (compass operators) Στην τεχνική αυτή χρησιμοποιείται ένας αριθμός από μάσκες διαφόρισης, με τις οποίες σε κάθε σημείο της εικόνας γίνεται η εκτίμηση της παραγώγου σε ισάριθμο πλήθος κατευθύνσεων. Για μάσκες με μέγεθος 3 3 η παραγώγιση μπορεί να γίνει κατά οχτώ διαφορετικές κατευθύνσεις, οι οποίες διαφέρουν μεταξύ τους κατά 45. Για μεγαλύτερες μάσκες η μεταβολή της γωνίας μπορεί να γίνει μικρότερη. Για τον υπολογισμό της μέγιστης κλίσης, χρησιμοποιούνται οι μάσκες διαφόρισης και υπολογίζονται οι τιμές της παραγώγου στην αντίστοιχη κατεύθυνση. τελεστές προσανατολισμού (compass operators) 20

τελεστές προσανατολισμού (compass operators) Εντοπισμός Περιγράμματος Μετά την ανίχνευση των ακμών σε μια εικόνα είναι ανάγκη να εντοπιστούν τα περιγράμματα των περιοχών της. Αν η περιοχή που μας ενδιαφέρει μπορεί να διαχωριστεί με κατωφλίωση από την υπόλοιπη εικόνα, ο εντοπισμός του περιγράμματος επιτυγχάνεται σχετικά εύκολα. Σε αντίθετη περίπτωση, το περίγραμμα της περιοχής υπολογίζεται συνδέοντας τις σημαντικές ακμές της εικόνας. Ο θόρυβος όμως της εικόνας και ο ανομοιόμορφος φωτισμός διασπούν τη συνέχεια των ακμών και συγχρόνως δημιουργούν ψευδείς ακμές. 21

Εντοπισμός Περιγράμματος Μετά την κατωφλίωση η περιοχή που μας ενδιαφέρει έχει χρώμα διαφορετικό από την υπόλοιπη εικόνα Στην περίπτωση αυτή το περίγραμμα της είναι το σύνολο των pixels της εικόνας που ανήκουν στην περιοχή και ταυτόχρονα γειτνιάζουν με ένα ή περισσότερα pixels εκτός της περιοχης. Εντοπισμός Περιγράμματος 22

Εντοπισμός Περιγράμματος 23