Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση

Transcript

1 ΤΨΣ 50 Ψηφιακή Επεξεργασία Εικόνας Κατάτµηση Εικόνων: Ανίχνευση Ακµών και Κατάτµηση µε Κατωφλίωση Τµήµα ιδακτικής της Τεχνολογίας και Ψηφιακών Συστηµάτων Πανεπιστήµιο Πειραιώς Περιεχόµενα Βιβλιογραφία Περιεχόµενα Ενότητας Εισαγωγή Ανίχνευση Ακµών Εντοπισµός Ορίου Περιοχών Κατάτµηση µε Κατωφλίωση Βιβλιογραφία: Πήτας [999]: Κεφάλαιο 0 onzales [00]: Chapter 0 Sections onzales [004]: Chapter 0 Sections

2 Κατάτµηση Εικόνας Η ανάλυση εικόνας αναφέρεται στη διαδικασία εξαγωγής πληροφοριών από την εικόνα: Η έξοδος της διαδικασίας ανάλυσης εικόνων σε αντίθεση µε της διαδικασίες βελτίωσης και αποκατάστασης δεν είναι εικόνα αλλά πληροφορίες υψηλότερου επιπέδου Κατάτµηση ονοµάζουµε τη διαδικασία διαίρεσης της εικόνας σε οµοιόµορφες περιοχές οι οποίες ιδανικά αντιστοιχούν σε αντικείµενα π.χ. πρόσωπα που υπάρχουν στην εικόνα Η κατάτµηση αποτελεί σχεδόν πάντα το πρώτο στάδιο της διαδικασίας ανάλυσης εικόνων Επιτυχηµένη κατάτµηση οδηγεί σχεδόν πάντα σε αποτελεσµατική ανάλυση εικόνων Η αυτοµατοποιηµένη κατάτµηση εικόνων είναι ένα πολύ δύσκολο πρόβληµα αν δεν υπάρχει κάποιο προηγούµενη γνώση για το τι περιέχει η εικόνα Παράδειγµα κατάτµησης εικόνας: Κατάτµηση αεροφωτογραφιών που καταγράφουν την τροχαία κίνηση στους δρόµους Αποτέλεσµα της κατάτµησης θα πρέπει να είναι περιοχές που αντιστοιχούν στο δρόµο και τα επιµέρους αυτοκίνητα Κατηγορίες Αλγορίθµων Κατάτµηση Εικόνας Η κατάτµηση εικόνας µπορεί να επιτευχθεί µε αναγνώριση είτε των σηµείων ασυνέχειας της εικόνας απότοµη µεταβολή της φωτεινότητας ή του χρώµατος είτε της οµοιοµορφίας ανάµεσα στις τιµές των piel της εικόνας Με βάση τις παραπάνω ιδιότητες υπάρχουν δύο κατηγορίες αλγορίθµων: Αλγόριθµοι εντοπισµού ορίου περιοχών boundar based segmentation Αλγόριθµοι βασισµένοι σε περιοχές region based segmentation Αλγόριθµοι εντοπισµού ορίου περιοχών: Ανίχνευση Ακµών - Συνένωση Ακµών Εντοπισµός Αντικείµένων µε τον Μετασχηµατισµό Hough Αλγόριθµοι βασισµένοι σε περιοχές: Κατωφλίωση thresholding Επέκταση περιοχών region growing ιαίρεση και συνένωση περιοχών splitting and merging Κατάτµηση µε βάση τον µετασχηµατισµό Watershed

3 3 Ανίχνευση Σηµείων Ασυνέχειας Η ανίχνευση σηµείων ασυνέχειας στη φωτεινότητα της εικόνας πραγµατοποιείται µε τη βοήθεια του υπολογισµού της κλίσης gradient της εικόνας. Η κλίση µιας διδιάστατης συνάρτησης σε κάθε σηµείο είναι ένα διάνυσµα δύο στοιχείων: Η ένταση της κλίσης µέτρο δίνεται από τη σχέση: Η τιµή του µέτρου προσεγγίζεται σε πολλές περιπτώσεις από την υπολογιστικά απλούστερη σχέση: + + mag + Ανίχνευση Σηµείων Ασυνέχειας ΙΙ Η κατεύθυνση κατά την οποία η µέγιστη κλίση λαµβάνει χώρα δίνεται από τη τιµή της γωνίας: Στη περίπτωση που η συνάρτηση δεν είναι συνεχής όπως συµβαίνει µε τις ψηφιακές εικόνες η κλίση της εικόνας υπολογίζεται µε τη βοήθεια των τελεστών Sobel: οι οποίοι εφαρµόζονται επαναληπτικά σε κάθε piel της εικόνας για τον υπολογισµό της µεταβολής της φωτεινότητας στην κάθετη και οριζόντια κατεύθυνση αντίστοιχα. tan a s s

4 Ανίχνευση Σηµείων Ασυνέχειας ΙΙΙ Η εφαρµογή των τελεστών Sobel ισοδυναµεί µε τις σχέσεις: µέσω των οποίων υπολογίζεται η κατεύθυνση στην οποία η κλίση έχει το µεγαλύτερο µέτρο καθώς και το µέτρο: a tan mag + + Για piel τα οποία αποτελούν σηµεία ασυνέχειας στη φωτεινότητα ισχύει: mag > T όπου T µια τιµή η οποία είτε δίνεται από το χρήστη είτε υπολογίζεται αυτόµατα από τις ιδιότητες της εικόνας Παράδειγµα Υπολογισµού της Κλίσης της Εικόνας ra Scale Image Vertical Derivative Υλοποίηση σε Matlab είναι η αρχική εικόνα: ηµιουργία µάσκας Sobel S: S special Sobel ; ηµιουργία µάσκας Sobel S: SS ; Υπολογισµός : imilters; Υπολογισµός : imilters; Συνολική κλίση εικόνας: abs+abs; Horizontal Derivative Image radient 4

5 Image radient Piels belonging to edges Εντοπισµός Σηµείων Ασυνέχειας Οι τιµές της κλίσης της εικόνας κυµαίνονται στο συγκεκριµένο παράδειγµα στο διάστηµα [0 3.4]. Επιλέγοντας Τ 0.46 προκύπτει η εικόνα µε τα σηµεία ασυνέχειας της φωτεινότητας Η επιλογή του κατωφλίου T υπολογίζεται αυτόµατα µε βάση το ιστόγραµµα της εικόνας της κλίσης. Στη Μatlab χρησιµοποιούµε τη συνάρτηση grathesh Tgrathresh; Η εικόνα Β µε τα σηµεία ασυνέχειας προκύπτει µε κατωφλίωση της κλίσης µε την εντολή imbw BimbwT; Εντοπισµός Σηµείων σε Γραµµές Οι τελεστές Sobel S και S µπορούν να χρησιµοποιηθούν για τη ανίχνευση οριζόντιων και κάθετων γραµµών αντίστοιχα. Εφαρµόζεται είτε η µάσκα S είτε η µάσκα S ανάλογα αν αναζητούνται οριζόντιες ή κάθετες γραµµές και µετά εκτελείται κατωφλίωση Οι µάσκες του διπλανού σχήµατος χρησιµοποιούνται για την ανίχνευση σηµείων σε διαγώνιες γραµµές 5

6 Ανίχνευση Ακµών Ακµή edge είναι ένα σύνολο από σηµεία ασυνέχειας τα οποία καθορίζουν το όριο ανάµεσα σε δύο οµοιόµορφες περιοχές Υπάρχουν σηµεία ασυνέχειας της φωτεινότητας τα οποία δεν αντιστοιχούν σε ακµές π.χ. Θόρυβος salt & pepper δηµιουργεί τυχαία σηµεία ασυνέχειας Τεχνικές που χρησιµοποιούνται για τον εντοπισµό σηµείων ασυνέχειας χρησιµοποιούνται και για την ανίχνευση ακµών Η επιλογή του κατωφλίου είναι κρίσιµη επειδή µπορεί να απαλείψει σηµεία ασυνέχειας τα οποία δεν ανήκουν σε ακµές Ανίχνευση Ακµών ΙΙ Ο υπολογισµός της κλίσης της εικόνας πρώτης παραγώγου και κατόπιν εφαρµογή κατωφλίωσης για επιλογή των µεγίστων της κλίσης είναι ο συνηθέστερος τρόπος για υπολογισµό ακµών Ο εντοπισµός των σηµείων στα οποία αλλάζει πρόσηµο η δεύτερη παράγωγος της εικόνας zero crossings µας δίνει επίσης σηµεία ασυνέχειας τα οποία πιθανόν να ανήκουν σε ακµές. Η παραπάνω τεχνική δεν χρησιµοποιείται συχνά αυτόνοµα γιατί είναι επιρρεπής σε θόρυβο Η διαδοχική εφαρµογή των τελεστών Sobel οδηγεί στον υπολογισµό της κλίσης 6

7 Ανίχνευση Ακµών ΙΙΙ Στο διπλανό σχήµα επιδεικνύεται η διαφορά ως προς την ανοχή προς το θόρυβο της χρήσης της πρώτης και της δεύτερης παραγώγου: Με δεδοµένο ότι στη περίπτωση της πρώτης παραγώγου τα σηµεία που ανήκουν σε ακµές επιλέγονται µε κατωφλίωση ενώ στην περίπτωση της δεύτερης παραγώγου υπολογίζεται η αλλαγή προσήµου zero crossing είναι φανερό ότι η δεύτερη παράγωγος είναι σαφώς πιο ευαίσθητη στο θόρυβο. Με βάση τα παραπάνω είναι φανερό πως είναι επιθυµητό πριν την εφαρµογή της ανίχνευσης ακµών να εφαρµόζονται τεχνικές απαλοιφής θορύβου Στην περίπτωση της ανίχνευσης ακµών µε χρήση της δεύτερης παραγώγου ο συνδυασµός φιλτραρίσµατος για απαλοιφή θορύβου µε τη δεύτερη παράγωγο οδηγεί σε µια τεχνική γνωστή ως Laplacian o aussian. Laplacian o aussian Lo Η µάσκα της τεχνικής Lo φαίνεται στο διπλανό σχήµα Μια παραλλαγή της διπλανής µάσκας λαµβάνεται στη Matlab µε χρήση της εντολής hspecial Lo ; Ανίχνευση ακµών µε χρήση της Laplacian o aoussian µπορεί να γίνει είτε µε εφαρµογή φιλτραρίσµατος µε χρήση της παραπάνω µάσκας εντολή imilter και στη συνέχεια κατωφλίωση του αποτελέσµατος είτε µε απευθείας εφαρµογή της εντολής edge 7

8 Τεχνικές Ανίχνευσης Ακµών ra Scale Image Edge detection using Laplacian o aussian Edge detection using Sobel method Edge detection using Cann method Στο διπλανό σχήµα επιδεικνύεται η ανίχνευση ακµών στη Matlab µε χρήση της εντολής edge και µε εφαρµογή των µεθόδων: Sobel: bedge sobel ; Laplacian o aussian: bedge Lo Cann: bedge cann Η τεχνική Cann αποτελεί βελτίωση της Sobel µε εκλέπτυνση ακµών και σύνδεση των piel των ακµών Εντοπισµός Ορίου Περιοχών Η ανίχνευση ακµών από µόνη της δεν µπορεί να χρησιµεύσει στην κατάτµηση εικόνων. Γειτονικές ακµές πρέπει να συνδυαστούν για να ορίσουν τα όρια boundaries περιοχών. 8

9 Σύνδεση Ακµών Υπάρχουν τρεις τεχνικές για συνένωση ακµών: Τοπική επεξεργασία. Γειτονικά Piels της εικόνας ακµών τα οποία έχουν παρόµοια τιµή στο µέτρο της παραγώγου αλλά και στη κατεύθυνση γωνία α συνδέονται µεταξύ τους Ολική επεξεργασία µε αναζήτηση γράφων ελαχίστου κόστους. Τα επιµέρους τµήµατα ακµών που A έχουν ανιχνευθεί θεωρείται ότι διαµορφώνουν ένα γράφο. Αναζητούνται κλειστές διαδροµές ελαχίστου κόστους µέσα στο γράφο. Οι διαδροµές αυτές θεωρείται ότι ανήκουν σε όρια περιοχών Μετασχηµατισµός Hough. Με βάση τα piel των ακµών αναζητούνται αντικείµενα τα οποία περιγράφονται από κλειστές µαθηµατικές σχέσεις π.χ. Γραµµές κύκλοι και ελλείψεις Ο συνδυασµός γραµµών µπορεί να προσεγγίσει πολλά άλλα σχήµατα. Εποµένως η ανίχνευση ακµών µε τον µετασχηµατισµό Hough είναι µια από τις πλέον διαδεδοµένες τεχνικές για το σχηµατισµό ορίων σε περιοχές Μετασχηµατισµός Hough Ανίχνευση γραµµών: Η εξίσωση της γραµµής στις πολικές συντεταγµένες δίνεται από τη σχέση: cosθ+cosθρ Οι παράµετροι θ και ρ καθορίζουν µοναδικά µια γραµµή Για την εύρεση των γραµµών µε τον µετασχηµατισµό Hough: Βρίσκουµε όλες τις δυνατές γραµµές που µπορεί να περνάνε από κάθε piel µιας ακµής ενηµερώνοντας τα αντίστοιχα πεδία του πίνακα θρ βλέπε σχήµα Βρίσκουµε τα κελιά του πίνακα ζεύγη θρ τα οποία έχουν τι µέγιστη τιµή. Τα ζεύγη αυτά περιγράφουν τις γραµµές που υπάρχουν στην εικόνα. 9

10 Μετασχηµατισµός Hough II Κατάτµηση µε Κατωφλίωση Βασική ιδέα Τα αντικείµενα ή οι διακεκριµένες περιοχές σε µια εικόνα χαρακτηρίζονται από ένα σχετικά οµοιόµορφο χρώµα ή τιµή φωτεινότητας Κάθε αντικείµενο µε σχετικά µεγάλο µέγεθος δηµιουργεί µια κατανοµή piel στο ιστόγραµµα της εικόνας γύρω από τη µέση τιµή φωτεινότητας του µ Ο. Αν σ Ο είναι η τυπική απόκλιση φωτεινότητας από τη µέση φωτεινότητα του αντικείµένου τότε η περιοχή που καλύπτει το αντικείµενο µπορεί να προσεγγιστεί από την περιοχή µε τιµή της δυαδικής εικόνας b. αν µ O 3* σ O < < µ O + 3* σ O b 0 αλλού 0

11 Ολική Κατωφλίωση Αν η εικόνα µας περιέχει ένα µόνο αντικείµενο σε σχετικά οµοιόµορφο φόντο background τότε αρκεί να βρούµε µια τιµή κατωφλίου T για την οποία θα ισχύει ότι αν >T τότε το piel µε συντεταγµένες ανήκει στο αντικείµενο αλλιώς ανήκει στο φόντο Έχει γίνει η υπόθεση ότι το αντικείµενο είναι φωτεινότερο από το φόντο. Αν ισχύει το αντίστροφο τότε αν <T τότε το piel µε συντεταγµένες ανήκει στο αντικείµενο αλλιώς ανήκει στο φόντο. Από το ιστόγραµµα της διπλανής εικόνας προκύπτει ότι: Η µεγάλη κατανοµή piel αντιστοιχεί στο φόντο περισσότερα piel ανήκουν στο φόντο Το αντικείµενο είναι φωτεινότερο από το φόντο µέση φωτεινότητα του αντικειµένου περίπου ίση µε 80 ενώ µέση φωτεινότητα του φόντου περίπου ίση µε 00 Κατάλληλες επιλογές για το κατώφλι Τ είναι τιµές φωτεινότητας που βρίσκονται ανάµεσα τις δύο κατανοµές Ολική Κατωφλίωση ΙΙ Ολικής κατωφλίωσης είναι η εφαρµογή της ίδιας τιµής κατωφλίου Τ σε όλη την εικόνα. Στη διπλανή εικόνα φαίνεται το αποτέλεσµα της Χρησιµοποιήθηκε τιµή κατωφλίου Τ 37 η οποία βρίσκεται ενδιάµεσα από τις µέσες τιµές φωτεινότητας για το αντικείµενο 80 και το φόντο 00. Ορισµένα piel που έχουν επηρεαστεί από θόρυβο έχουν ταξινοµηθεί εσφαλµένα άσπρες κουκκίδες στο φόντο και µαύρες κουκκίδες στο αντικείµενο Τα παραπάνω piel µπορούν εύκολα να «διορθωθούν» δεδοµένου ότι έχουν διαφορετική τιµή από τη «γειτονία» του µε την εφαρµογή βαθυπερατού φιλτραρίσµατος Σε σχέση µε την ολική κατωφλίωση πρέπει να σηµειωθεί ότι: Εφαρµόζεται δύσκολα σε εικόνες µε περισσότερα του ενός αντικείµενα. Για να έχει αποτέλεσµα πρέπει να γνωρίζουµε εκ των προτέρων αν το αντικείµενο είναι πιο φωτεινό από το φόντο ή το αντίστροφο

12 Τοπική Κατωφλίωση Όταν η εικόνα έχει επηρεαστεί σε αρκετά µεγάλο βαθµό από θόρυβο η αποτελεσµατικότητα της ολικής κατωφλίωσης είναι µικρή. Όπως φαίνεται στο ιστόγραµµα της διπλανής εικόνας είναι δύσκολο να ξεχωρίσεις τις κατανοµές αντικειµένου και φόντου. Κατά συνέπεια είναι δύσκολη η εκτίµηση της τιµής του κατωφλίου Στην περίπτωση αυτή εφαρµόζεται τοπική κατωφλίωση: Το κατώφλι T δεν είναι ίδιο για όλη την εικόνα αλλά αλλάζει ανάλογα µε την περιοχή εποµένως Τ Τ: b 0 αν αν T < T Τοπική Κατωφλίωση II Οι δίπλα εικόνες δείχνουν το αποτέλεσµα της: Εφαρµογής ολικής κατωφλίωσης µε κατώφλι T8 πάνω εικόνα Εφαρµογή τοπικής κατωφλίωσης µε κατώφλι Τ Τ το οποίο υπολογίζεται µε βάση τα στατιστικά της εικόνας σε µια γειτονιά της εικόνας κάτω αριστερά εικόνα Είναι φανερό ότι τα αποτελέσµατα της χρήσης τοπικής κατωφλίωσης είναι σαφώς καλύτερα µε δεδοµένο ότι τα piels τα οποία έχουν ταξινοµηθούν εσφαλµένα µπορούν εύκολα να διορθωθούν µε βαθυπερατό φιλτράρισµα κάτω δεξιά εικόνα

13 Σύνοψη Το υλικό που παρουσιάστηκε σε αυτή την ενότητα αναφέρεται στη κατάτµηση εικόνων µε χρήσης τεχνικών: Ανίχνευσης ακµών Ολικής ή τοπικής κατωφλίωσης Αµφότερες οι δύο παραπάνω κατηγορίες επιτυγχάνουν αξιόλογα αποτελέσµατα µόνο σε ειδικές κατηγορίες εικόνων: Η κατάτµηση µε ανίχνευση ακµών είναι αποτελεσµατική σε εικόνες που περιέχουν σχετικά απλά αντικείµενα τα οποία µπορούν να προσεγγιστούν µε ευθείες ή απλά γεωµετρικά σχήµατα όπως κύκλοι και ελλείψεις Η κατάτµηση µε κατωφλίωση είναι αποτελεσµατική σε εικόνες µε οµοιόµορφο φόντο και µικρό <4 αριθµό αντικείµένων στο προσκήνιο oreground. Εικόνες από περιβάλλοντα τηλεδιάσκεψης ή εικόνες από φωτογραφίες διαβατηρίου µπορούν να κατατµηθούν αποτελεσµατικά µε κατωφλίωση Η χρήση τεχνικών απαλοιφής θορύβου είναι εξαιρετικά υποβοηθητικό προστάδιο επεξεργασίας για αποτελεσµατική κατάτµηση εικόνων µε ανίχνευση ακµών ή κατωφλίωση 3