Ε.Α.Υ. Υπολογιστική Όραση. Κατάτμηση Εικόνας

Transcript

1 Ε.Α.Υ. Υπολογιστική Όραση Κατάτμηση Εικόνας Γεώργιος Παπαϊωάννου 2015

2 ΚΑΤΩΦΛΙΩΣΗ

3 Κατωφλίωση - Γενικά Είναι η πιο απλή μέθοδος segmentation εικόνας Χωρίζουμε την εικόνα σε 2 (binary) ή περισσότερες στάθμες με βάση κριτήρια διαχωρισμού Συχνά το εφαρμόζουμε σε ακμές

4 Κατωφλίωση Με Βάση το Ιστόγραμμα Μπορούμε να εξάγουμε χρήσιμη πληροφορία από τη μορφή του ιστογράμματος για το που να ορίσουμε το κατώφλι Άνω 15% Σημαντικά χαμηλότερες συγκεντρώσεις

5 Ο ΑΝΙΧΝΕΥΤΗΣ ΑΚΜΩΝ CΑΝΝΥ

6 Canny Edge Detector Ο Canny edge detector προσπαθεί να απομονώσει ακμές που Να αποτελούν υποψήφια περιγράμματα χρήσιμων περιοχών της εικόνας Ιδιότητες: Απόρριψη μικρών και απομονωμένων ακμών Καταστολή θορύβου Ελάττωση πάχους ακμών κρατάμε μόνο τις τοπικές κορυφές της μετάπτωσης

7 Πηγή: Wikipedia Canny Edge Detector - Παράδειγμα

8 Canny Edge Detector - Βήματα Εξομάλυνση της εικόνας και απομάκρυνση θορύβου Έτσι, ανιχνεύονται μόνο σημαντικές μεταπτώσεις φωτεινότητας Εφαρμογή ενός διαφορικού τελεστή ώστε: Να βρεθεί το μέτρο της κλίσης (gradient) Να βρεθεί η γωνία της κλήσης Maximum Value Suppression για εκλέπτυνση Κατωφλίωση της εικόνας: μια συντηρητική και μια ισχυρή Συνένωση σημαντικών ακμών και απόρριψη των υπολοίπων με υστέρηση

9 Canny E.D. Εξομάλυνση και Διαφόριση Εφαρμόζουμε ένα φίλτρο Gauss για την εξομάλυνση II (xx, yy) = GG(xx, yy) II(xx, yy) Εφαρμόζουμε ένα διαφορικό τελεστή για να βρούμε τις μερικές παραγώγους: gg xx = II, gg xx yy = II yy Π.χ. μπορούμε να χρησιμοποιήσουμε τις μάσκες Sobel:

10 Canny E.D. Εξομάλυνση και Διαφόριση Η ακτίνα (τυπική απόκλιση και αντίστοιχα μέγεθος μάσκας) του φίλτρου πρέπει να είναι συγκρίσιμη με το μέγεθος του διαφορικού τελεστή Αρχική εικόνα Sobel+Gauss (σ=0.8) Sobel+Gauss (σ=2.5) Sobel+Gauss (σ=5.1)

11 Canny E.D. Gradient Κρατάμε το μέτρο και τη γωνία του gradient: II (xx, yy) = gg xx, gg yy MM xx, yy aa xx, yy MM xx, yy = gg xx 2 + gg yy 2 aa xx, yy = aaaaaaaaa(gg yy, gg xx )

12 Canny E.D. Εκλέπτυνση (1) Για κάθε Pixel, βρίσκουμε τις γειτονικές τιμές πάνω στο gradient, Με βάση τη γωνία a Αν το μέτρο Μ στο τρέχον Pixel είναι μεγαλύτερο από αυτό των γειτόνων, κρατάμε το Pixel, αλλιώς το απορρίπτουμε (μηδενίζουμε) Ο υπολογισμός των τιμών στην κατεύθυνση του gradient μπορεί να γίνει με: παρεμβολή από τα πλησιέστερα Pixels (ακριβέστερο αλλά αργό) Επιλογή διακριτής διεύθυνσης (4 συνολικά)

13 Canny E.D. Εκλέπτυνση (2) Παράδειγμα:

14 Canny E.D. Εκλέπτυνση (3) Παράδειγμα:

15 Canny E.D. Κατώφλι (1) Θέλουμε να κρατήσουμε σίγουρα τις ακμές που ξεπερνάνε σε ένταση ένα ψηλό κατώφλι ΤΤ ΗΗ Πιθανά μας ενδιαφέρουν και ακμές χαμηλότερης έντασης (TT HH > ΙΙ > ΤΤ LL ) που όμως συνδέονται με ισχυρές ακμές! Δημιουργούμε 2 σύνολα: ΙΙ ΤΤ ΗΗ II(xx, yy) ΙΙ ΗΗ xx, yy = 0, II xx, yy TT HH ooooooooooooooooo TT HH > ΙΙ > ΤΤ LL ΙΙ LL xx, yy = II xx, yy ΙΙ ΗΗ xx, yy 0, II xx, yy TT LL ooooooooooooooooo

16 Canny E.D. Κατώφλι (2) Παράδειγμα: Binary(II LL ) Binary(II HH )

17 Canny E.D. Hysteresis Thresholding Κρατάμε όλα τα Pixels της ΙΙ ΗΗ Κρατάμε ένα Pixel της ΙΙ LL, μόνο αν είναι γειτονικό σε κάποιο της ΙΙ ΗΗ

18 Αποτελέσματα Canny E.D.

19 Αποτελέσματα Canny E.D.

20 Αποτελέσματα Canny E.D.

21 HOUGH TRANSFORM

22 Ολική Ανίχνευση Μορφών Συχνά προσπαθούμε να βρούμε δομή μέσα σε μια εικόνα Συνήθως εικόνα ακμών Θέλουμε να ανιχνεύσουμε στοιχειώσεις γεωμετρικές δομές και Να τις συσχετίσουμε Αναγνώριση μορφών

23 Ο Μετασχηματισμός Hough Πρόκειται για μια μέθοδο ψηφοφορίας που μας λέει αν τα Pixels που έχουμε κείνται επί καμπυλών που χαρακτηρίζονται από κάποιο συγκεκριμένο σχήμα Απλούστερη περίπτωση: Ευθείες

24 H.T.: Παραμετροποίηση (1) Ας πάρουμε την απλή εξίσωση ευθείας στο επίπεδο: yy = aaaa + bb bb = aaaa + yy Οι παράμετροι a,b ορίζουν κι αυτές ένα επίπεδο, τον παραμετρικό χώρο (xx, yy) bb yy = aaaa + bb aa

25 H.T.: Παραμετροποίηση (2) Από ένα σημείο στο επίπεδο της εικόνας περνάνε άπειρες ευθείες Οι παράμετροι των άπειρων ευθειών σχηματίζουν μια ευθεία στον παραμετρικό χώρο yy bb xx aa

26 H.T.: Παραμετροποίηση (3) Για 2 σημεία, από τις άπειρες διερχόμενες ευθείες από αυτά μόνο μία είναι κοινή: Εκφράζεται ως τομή των ευθειών παραμέτρων (κοινό σημείο) στον παραμετρικό χώρο: yy bb xx aa

27 H.T.: Η Κεντρική Ιδέα (1) Όταν παραπάνω από 2 σημεία είναι συνευθειακά, δηλαδή βρίσκονται στο ίδιο ευθύγραμμο τμήμα, τότε οι παραμετρικές τους ευθείες περνάνε όλες από το ίδιο σημείο Ψηφίζουν την ίδια παραμετρική συντεταγμένη περισσότερες φορές απ ότι άλλες!

28 H.T.: Η Κεντρική Ιδέα (2) bb 3 ψήφοι aa 3 συνευθειακά σημεία

29 H.T.: Η Κεντρική Ιδέα (3) Επειδή: τα εικονοστοιχεία είναι διακριτά Οι ακμές δεν είναι ακριβώς ευθύγραμμες δεν υπάρχει απόλυτη σύμπτωση με μια μαθηματική ευθεία Διακριτοποιούμε τον παραμετρικό χώρο σε κελιά

30 H.T.: Παρατήρηση (1) Επειδή η παράμετρος a (κλίση) μπορεί να πάρει τιμές ±, χρησιμοποιούμε μια άλλη μορφή της εξίσωσης επιπέδου: Ως προς γωνία θ και απόσταση ρ από την αρχή των αξόνων: yy ρρ ρρ = xx cos θθ + yy sin θθ θθ xx

31 H.T.: Παρατήρηση (2) Πηγή:

32 Ο Αλγόριθμος του Hough Δημιούργησε και μηδένισε έναν συσσωρευτή Α ΜΧΝ κελιών για τις διακριτές παραμέτρους (θθ, ρρ) Για κάθε Pixel ακμής (xx, yy): Για κάθε διακριτή τιμή της παραμέτρου θθ Υπολόγισε την εξίσωση ρρ = xx cos θθ + yy sin θθ Αύξησε το κελί του Α που περιέχει το ζεύγος θθ, ρρ Επέβαλε κατώφλι στον Α (ελάχιστος αριθμός Pixels πάνω σε μια γραμμή)

33 H.T. Παράδειγμα (1) Hough Transform Canny Edge Detector

34 H.T. Παράδειγμα (2)

35 H.T. Παράδειγμα (3)

36 Συνδεσιμότητα Γραμμών Για να κρατήσουμε τα Pixels που πατάνε πάνω σε συνεχόμενα τμήματα, μετά την εκτέλεση του H.T.: Για κάθε γραμμή (ζεύγος παραμέτρων), μετά την κατωφλίωση: Βρες τα Pixels που πατάνε σε κάθε γραμμή Ταξινόμησέ τα κατά μήκος της γραμμής Μέτρησε τις αποστάσεις ανά δύο Πρόσθεσε Pixel σε ένα τμήμα όσο η απόστασή του από το προηγούμενο είναι μικρότερη από ένα κατώφλι (διάκενο) Κράτησε το τμήμα αν έχει μήκος μεγαλύτερο του επιθυμητού

37 ΑΝΑΠΑΡΑΣΤΑΣΗ ΠΕΡΙΓΡΑΜΜΑΤΟΣ

38 Γιατί Χρειαζόμαστε μια Αναπαράσταση; Μας δίνει τη δυνατότητα να περιγράψουμε και να κωδικοποιήσουμε τη μορφή του σχήματος Μετά, μπορούμε να συγκρίνουμε αναπαραστάσεις Αναγνώριση (ταυτοποίηση) σχημάτων Κατηγοριοποίηση σχημάτων Απλοποίηση Κατάτμηση

39 Είσοδος και Έξοδος Ως είσοδο παίρνουμε τη δυαδική (0/1) αναπαράσταση είτε ενός περιγράμματος είτε μιας περιοχής (π.χ. από κατωφλίωση) Η έξοδος είναι μια υπογραφή (signature) που χαρακτηρίζει το σχήμα Τυπικά, μια ακολουθία τιμών

40 Κριτήρια Καταλληλότητας Αναπαράστασης Ανεξαρτησία από μετατόπιση, περιστροφή και κλιμάκωση σχήματος Ανεκτικότητα στη λεπτομέρεια και το θόρυβο Διαχωρισιμότητα σχημάτων

41 Περιγράμματα Raster Για την αρχική περιγραφή ενός περιγράμματος ψηφιακής εικόνας (raster), μια κοινή διαδικασία είναι η παρακολούθηση περιγράμματος (boundary tracing) Εφαρμόζεται σε επίπεδο κελιού (Π.χ. Pixel) Αποδίδει ένα κλειστό όριο

42 Παρακολούθηση Περιγράμματος (1) Για κάθε Pixel cc, παίρνουμε τους 8 γείτονές του nn kk, kk = 0 7 Ξεκινάμε από το άνω αριστερό άκρο (θα δούμε πώς στη συνέχεια): cc = cc 0, το οποίο και το καταχωρούμε Διαλέγουμε ως πρώτο υπό εξέταση σημείο ένα σίγουρα ανοιχτό (τιμή 0): bb = το αριστερό του cc 0 bb cc 0

43 Παρακολούθηση Περιγράμματος (2) Διατρέχουμε κυκλικά όλους τους γείτονες του cc ξεκινώντας από το bb, μέχρι να συναντήσουμε ενεργό Pixel nn kk Αν cc== cc 0 KAI nn kk είναι o επόμενος του cc 0, έχουμε ολοκληρώσει το περίγραμμα bb cc 0 cc 0 bb Αλλιώς: θέτουμε cc= nn kk και bb = nn kk 1 και επαναλαμβάνουμε bb cc 0

44 Κώδικας Αλυσίδας (1) Για την περιγραφή της παραπάνω ακολουθίας σημείων χρησιμοποιείται ένας κώδικας αλυσίδας: Κωδικοποιούνται οι 4 ή 8 κατευθύνσεις με έναν αριθμό Αποδίδεται ένας αριθμός σε κάθε μετάπτωση Συνδέουμε και το τελευταίο με το πρώτο cc

45 Κώδικας Αλυσίδας (2) Στον παραπάνω κώδικα οι αρίθμηση εξαρτάται από το αρχικό σημείο Μπορούμε να κανονικοποιήσουμε τον κώδικα, παίρνοντας πάντα εκείνη την κυκλική αντιμετάθεση του κώδικα που αναπαριστά το μικρότερο αριθμό: 90 o normalize normalize

46 Κώδικας Αλυσίδας (3) Στον παραπάνω κώδικα οι αρίθμηση εξαρτάται από τον προσανατολισμό του σχήματος Αφαιρούμε αυτή την εξάρτηση αν καταγράψουμε τις αλλαγές κατεύθυνσης: ή dd ii = cc ii cc ii 1 mmmmmm 4 dd ii = cc ii cc ii 1 mmmmmm 8

47 Κώδικας Αλυσίδας (3) cc

48 Πολυγωνικά Περιγράμματα (1) Η αναπαράσταση ενός περιγράμματος σημείο προς σημείο: Είναι δαπανηρή: μεγάλες αλυσίδες Είναι ευαίσθητη στο θόρυβο και μικροδιαταραχές Είναι ευαίσθητη στην κλίμακα του σχήματος (διαφορετικό μήκος) Μπορούμε να φτιάξουμε πολυγωνικά περιγράμματα Αραιή δειγματοληψία του περιγράμματος Γραμμική προσέγγιση μεταξύ δειγμάτων

49 Πολυγωνικά Περιγράμματα (2) Ένας τρόπος παραγωγής: Διαδικασία διαχωρισμού Ξεκινάμε από έναν αριθμό από ισαπέχοντα (στην αλυσίδα) σημεία (π.χ. 3-4) Σταδιακή πολυγωνική προσέγγιση του σχήματος, π.χ. με εισαγωγή κόμβου στο μακρινότερο σημείο από τμήμα, μέχρι ένα επίπεδο σφάλματος

50 Πολυγωνικά Περιγράμματα (3) Τα πολυγωνικά περιγράμματα μπορούμε στη συνέχεια: Να τα δειγματοληπτήσουμε με άλλο ρυθμό (π.χ ομοιόμορφα) Να τα εξομαλύνουμε (κινούμενος μέσος όρος, παρεμβολή κλπ)

51 Άλλες Υπογραφές Περιγράμματος (1) Γενικεύοντας τους διαφορικούς κώδικες για 4 και 8 γειτονία, στις πολυγωνικές αναπαραστάσεις μπορούμε να μετρήσουμε: Τη γωνία στροφής (προσημασμένη) των διαδοχικών ευθυγράμμων τμημάτων

52 Άλλες Υπογραφές Περιγράμματος (2) Μια χρήσιμη υπογραφή για αναγνώριση βασικών σχημάτων είναι το διάγραμμα αποστάσεων (π.χ. από το κέντρο βάρους του σχήματος): ρρ ρρ θθ θθ ρρ θθ ρρ θθ