D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2):91-110, 2004.

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2):91-110, 2004."

Ακακαλλις Βενιζέλος
6 χρόνια πριν
Προβολές:

1 D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2):91-110, 2004.

2 Εισαγωγικά: SIFT~Harris Harris Detector: Δεν είναι ανεξάρτητος της κλίμακας (scale invariant) Όλα τα pixels θεωρούνται edges Σε μικρότερη κλίμακα είναι Corners!

3 SIFT: Τι περιλαμβάνει Α. Ανίχνευση ακροτάτων στο scale-space Β. Εντοπισμός key-points Γ. Προσδιορισμός προσανατολισμού Δ. Περιγραφή -Keypoints detector descriptor ( ) Τοπική περιγραφή Μία εικόνα 500x500 δημιουργεί 2000 σημεία

4 Α. Ανίχνευση ακροτάτων στο scalespace Ψάχνουμε σε όλες τις κλίμακες (scale-space)να βρούμε σταθερά χαρακτηριστικά Για την δημιουργία των κλιμάκων (scale-space) χρησιμοποιούμε DoG filter (difference of Gaussian)

5 DoG filtering Συνέλιξη με variable-scale Gaussian Difference-of-Gaussian (DoG) filter Συνέλιξη με DoG filter

6 Γιατί DoG είναι ανεξάρτητο της κλίμακας Από την εξίσωση διάχυσης G σ σ 2 G υπολογίζουμε 2 G σ G σ G(x, y,kσ) G(x,y,σ) kσ -σ G(x, y,kσ) G(x, y,σ) ( k -1)σ 2 2 G Τελικά υπολογίζεται η κανονικοποιημένη Laplacian

7 Χώρος κλίμακας scale-space διπλασιάζεται στην επόμενη octave 2 2 σ 0 Υποδειγματοληψεία k s =2 2σ 0 k=2 (1/s) Για s=4 k=1.2 s Lk σ 2 Lk σ L kσ Συνέλιξη με Gaussian σ 0 Lσ Ο διαχωρισμός σε «οκτάβες» δεν είναι υποχρεωτικός αλλά είναι αποδοτικός

8 Ανίχνευση ακροτάτων στο scale-space L D

9 Εντοπισμός του key-point (σημείου ενδιαφέροντος ) 2 D k Dk D X είναι το ακρότατο (μέγιστο ή ελάχιστο) μεταξύ των 26 γειτόνων

10 Ποιο είναι το βέλτιστο βήμα στη δειγματοληψία του scale Είναι αδύνατον να έχουμε όλα τα scales Πειραματικά βρίσκεται η βέλτιστη τιμή s=4

11 Β. Ακριβής εντοπισμός του key-point Προσαρμόζεται μία 3D τετραγωνική συνάρτηση για εύρεση του μεγίστου

12 x ) f ''( )x f '( ) f ( (x) f 3 1 ˆ x ) ( x x x x x f ) ( ' x x f ( ˆ) 2 x f Aναπτυξη Taylor

14 Απόρριψη σημείων ακμής (όπως στο Harris corner detector) 2 D 2 x H(D) 2 D yx 2 D xy 2 D 2 y Hessian matrix Let Δεν διαγράφονται σημεία όταν 2 Tr(H) (r 1) Det(H) r 2 r=10

15 Απόρριψη σημείων χαμηλής αντίθεσης (low contrast) Εάν D(xi ) το keypoint απορρίπτεται

16 Maxima in D keypoints

17 Απόρριψη σημείων χαμηλής αντίθεσης

18 Απόρριψη σημείων ακμής

19 Γ. Προσδιορισμός διεύθυνσης Προσδιορίζουμε μια «προεξάρχουσα» διεύθυνση. Για ένα keypoint, L is the Gaussian-smoothed image στο πιο κοντινό scale: m θ (Lx, Ly) histogram (36 bins)

20 Προσδιορισμός διεύθυνσης

21 Προσδιορισμός διεύθυνσης

22 Προσδιορισμός διεύθυνσης

23 Προσδιορισμός διεύθυνσης σ=1.5*scale of the keypoint

24 Προσδιορισμός διεύθυνσης

25 Προσδιορισμός διεύθυνσης

26 SIFT keypoints + διεύθυνση Εντοπισμός key points Διεύθυνση key points

27 2 ο παράδειγμα Αρχική εικόνα 233x89 pixels 832 αρχική επιλογή 729 μετα από απορριψη ακμών 536 Μετα από απόρριψη χαμηλού D

28 Δ. Τελική περιγραφή του key point 1. Προσδιορίζουμε ένα παράθυρο 16x16 σημείων γύρω από το key point 2. Διαιρούμε σε 4x4 κελιά 3. Υπολογίζουμε το ιστόγραμμα των gradients «orientation histograms» (8 bins) 4. Τελικό διάνυσμα 8 διευθύνσεις x 16 κελλια = 128 dimensions 5. Κανονικοποιούμε, αποκόπτουμε (clip) τιμές > 0.2, ξανακανονικοποιούμε

30 Αντιστοίχιση χαρακτηριστικών SIFT Για ένα σημείο x μίας εικόνας: Βρίσκουμε το x 1 και το x 2 που έχουν τις μικρότερες αποστάσεις. Εάν d(x,x 1 ) / d(x,x 2 ) < 0.8 το x αντιστοιχεί στο x 1

32 Αναγνώριση εικόνας SIFT Features

33 Αναγνώριση εικόνας

34 Ανάκτηση εκόνας > 5000 images change in viewing angle

35 Ανάκτηση εκόνας 22 correct matches

36 Ανάκτηση εκόνας change in viewing angle + scale change > 5000 images

37 Αυτόματη συρραφή εικόνων

38 Αυτόματη συρραφή εικόνων

39 Αυτόματη συρραφή εικόνων

40 Αυτόματη συρραφή εικόνων

41 Αυτόματη συρραφή εικόνων

Σχετικά έγγραφα

D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2):91-110, 2004.

D. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, 60(2):91-110, 2004. 1/45 Τι είναι ο SIFT-Γενικά Scale-invariant feature transform detect and