Matlab command: corner http://www.mathworks.com/help/images/ref/corner.html Μια εισαγωγή-outube: http://www.outube.com/watch?v=vkwdzwerfc4 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 1/45
Τι είναι σημεία kepoints ενδιαφέροντος Σημεία που μπορούν να χρησιμοποιηθούν για αντιστοίχιση εικόνων? Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ /45
ke-points - διεργασίες Ανίχνευση δηλ. που βρίσκονται Περιγραφή δηλ. τι είναι αυτά Ομοιότητα δηλ. απόφαση αν δυο ke-points είναι ίδια Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 3/45
Τι ιδιότητες θέλουμε να έχουν?? Διακρισιμότητα: Δηλ. ένα χαρακτηριστικό να μπορεί σωστά να βρεθεί και να αντιστοιχηθεί Να είναι ανεξάρτητο σε κλιμάκωση περιστροφή αφινικούς μετασχ. Φωτισμό κλπ. Ένα χαρακτηριστικό παράδειγμα : Γωνία Μία χαρακτηριστικό εφαρμογή: Ευθυγράμμιση και συνένωση εικόνων Μία περιοχή με μεταβολή της έντασης σε δύο διαφορετικές διευθύνσεις Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 4/45
Σημεία ενδιαφέροντος Σταθερή περιοχή Δεν μπορεί να χρησιμοποιηθεί για αντιστοίχηση Ακμές Δίνουν πληροφορία 1ας διάστασης -the aperture problem- Γωνίες -corner!!!!!! Aperture problem http://web.mit.edu/persci/demos/motion&form/demos/one-square/one-square.html Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 5/45
Moravec corner detector 1980 - Προπομπός του Harris detector Για μετακίνηση του παραθύρου σε κάθε διεύθυνση έχουμε μεταβολή στην ένταση Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 6/45
Moravec corner detector επίπεδη Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 7/45
Moravec corner detector επίπεδη Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 8/45
Moravec corner detector επίπεδη ακμή Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 9/45
Moravec corner detector επίπεδη ακμή γωνία Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 10/45
Moravec corner detector Επιλέγουμε 4 μετακινήσεις του παραθύρου : uv = 10 11 01-1 1 Υπολογίζουμε: E u v w u v Συνάρτηση παραθύρου Ένταση στη θέση +u+v Ένταση στη θέση w = 1 μέσα 0 έξω Βρίσκουμε το min{e} Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 11/45
Moravec corner detector: μειονεκτήματα Λόγω του δυαδικού παραθύρου έχουμε «θόρυβο» Οι μετατοπίσεις είναι μόνο σε γωνίες 45*n Μόνο το ελάχιστο του Ε χρησιμοποιείται Λύση των παραπάνω προβλημάτων με τον Harris corner detector 1988 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 1/45
Harris corner detector Για το πρόβλημα του θορύβου λόγω του δυαδικού παραθύρου Χρησιμοποιούμε την Gaussian function Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 13/45
ΔΠΜΣ ΗΕΠ Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector 14/45 Harris corner detector w C w B w A Bv Cuv Au v u E v u w v u E v O u v u w Βρίσκουμε μικρές μετατοπίσεις με ανάπτυξηtalor Για το πρόβλημα των μετατοπίσεων μόνο σε γωνίες 45*n
ΔΠΜΣ ΗΕΠ Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector 15/45 M είναι πίνακας και υπολογίζεται από τις παραγώγους v u v u v u E M Mu u T w M Για τις μετατοπίσεις αυτές έχουμε
ΔΠΜΣ ΗΕΠ Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector 16/45 w M u T Mu είναι μια τετραγωνική συνάρτηση Αναλύουμε το σχήμα της συνάρτησης μέσα από τις ιδιότητες του M Mu u Eu v T
Harris corner detector Για το πρόβλημα της επιλογής μόνο του ελαχίστου της Εuv Μελετάμε «όλο» το σχήμα της Εuv Ποια Η μεταβολή μορφή θέλουμε?? της Εuv για τις 3 περιπτώσεις μετατόπισης uv: 100 80 60 40 0 0 10 5 0 0 4 6 8 10 1 100 80 60 40 0 0 10 5 0 0 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 17/45 flat edge corner 4 6 8 10 1 E 100 80 60 40 0 0 10 u 5 0 0 4 6 8 10 v 1
Συνοψίζουμε: Προσέγγιση για μικρές μετατοπίσεις [uv] u E u v u v M v Ο πίνακας M είναι και υπολογίζεται από τις παραγώγους M w Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 18/45
Ανάλυση με ιδιοτιμές Μελέτη της Ε με ιδιοανάλυση u E u v u v M v 1 ιδιοτιμές του M Ορθογώνια βάση Για Euv =Τ= σταθερά Έλλειψη Διεύθυνση της μεγαλης μεταβολής Διεύθυνση της μικρής μεταβολής E 100 80 60 40 0 ma -1/ min -1/ 0 10 u 5 0 0 4 6 8 10 v 1 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 19/45
Ταξινόμηση βάσει των ιδιοτιμών Ταξινόμηση των piels βάσει των ιδιοτιμών του πίνακα Μ Edge >> 1 Corner 1 και μεγάλες 1 ~ ; E αυξάνει σε όλες τις διευθύνσεις 1 και μικρές Επίπεδη περιοχή Flat Edge 1 >> 1 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 0/45
Υπολογισμός των ιδιοτιμών Εάν M a a 00 10 a a 01 11 a 00 a 10 λ a a 11 01 λ 0 λ α00 α11 λ α00α11 α10α01 0 λ a 00 a11 a 00 a11 4a10a 01 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 1/45
Χρειάζεται να βρούμε τις ιδιοτιμές?? OX Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ /45
Harris corner detector Βασίζεται στην τιμή R??? R detm k tracem det M 1 trace M 1 k = 0.04-0.06 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 3/45
Harris corner detector Τελικά Η τιμή R εξαρτάται από τις ιδιοτιμές R είναι θετική για γωνίες -corners R είναι αρνητική με μεγάλη τιμή για ακμές R είναι μικρή για σταθερές περιοχές Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 4/45
Harris corner detector- Σύνοψη 1. Υπολογίζουμε τις παραγώγους G G. Υπολογίζουμε τα γινόμενα σε κάθε piel 3. Υπολογίζουμε τα αθροίσματα των γινομένων σε κάθε piel S G ' S G ' S G ' Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 5/45
ΔΠΜΣ ΗΕΠ Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector 6/45 4. Σχηματίζουμε τον πίνακα σε κάθε piel 5. Υπολογίζουμε το μέγεθος R 6. Κατωφλιοποιούμε το R; Εφαρμόζουμε «nonma suppression» δηλ. επιλέγουμε τοπικό μέγιστο S S S S M trace det M k M R Harris corner detector- Σύνοψη
Εικόνες εισόδου Τιμή του R Κατωφλιοποίηση του R Τοπικά μέγιστα του Τελική R εικόνα Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 7/45
Harris corner detector- Ιδιότητες Ανεξαρτησία σε περιστροφή Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 8/45
Harris corner detector- Ιδιότητες Ανεξαρτησία σε μετατόπιση έντασης Ανεξαρτησία σε Κλιμάκωση έντασης Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 9/45
Harris corner detector- Ιδιότητες Δεν είναι ανεξάρτητο σε Χωρική κλιμάκωση Ακμή αντί γωνίας!! Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 30/45
Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 31/45
Δημιουργία πανοράματος Απαιτείται match/align/register στις εικόνες Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 33/45
Δημιουργία πανοράματος 1 Ανιχνεύουμε χαρακτηριστικά σημεία στις εικόνες Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 34/45
Δημιουργία πανοράματος 1. Ανιχνεύουμε χαρακτηριστικά σημεία στις εικόνες Βρίσκουμε τα αντίστοιχα ζεύγη matching pair 1 Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 35/45 1 left h h h 11 1 31 h h h 1 3 h h h 13 3 33 right
Δημιουργία πανοράματος 1 Ανιχνεύουμε χαρακτηριστικά σημεία στις εικόνες Βρίσκουμε τα αντίστοιχα ζεύγη 3 Βρίσκουμε τις παραμέτρους του μετασχηματισμού affine matching pair 1 left h h h 11 1 31 h h h 1 3 h h h 13 3 33 1 right Οκτώβριος 013 Σ. Φωτόπουλος ΨΕΕ Harris Corner detector ΔΠΜΣ ΗΕΠ 36/45