Ειδικά Θέµατα Υπολογιστικής Όρασης & Γραφικής. Εµµανουήλ Ζ. Ψαράκης & Αθανάσιος Τσακαλίδης Πολυτεχνική Σχολή Τµήµα Μηχανικών Η/Υ & Πληροφορικής

Transcript

1 Ειδικά Θέµατα Υπολογιστικής Όρασης & Γραφικής Εµµανουήλ Ζ. Ψαράκης & Αθανάσιος Τσακαλίδης Πολυτεχνική Σχολή Τµήµα Μηχανικών Η/Υ & Πληροφορικής

2 Σύνθεση Πανοράµατος Εµµανουήλ Ζ. Ψαράκης Πολυτεχνική Σχολή Τµήµα Μηχανικών Η/Υ & Πληροφορικής 2

3 Σύνθεση Πανοράµατος 3

4 Σύνθεση Πανοράµατος Πώς µπορούµε να συνθέσουµε ένα πανόραµα; πρέπει να αντιστοιχίσουµε (στοιχίσουµε) εικόνες... 4

5 Σύνθεση Πανοράµατος Αντιστοίχιση µε χρήση Χαρακτηριστικών (Features) Εντοπισµός Χαρακτηριστικών στις δύο εικόνες... 5

6 Σύνθεση Πανοράµατος Αντιστοίχιση µε χρήση Χαρακτηριστικών (Features) Εντοπισµός Χαρακτηριστικών στις δύο εικόνες Εύρεση Αντίστοιχων Χαρακτηριστικών 6

7 Σύνθεση Πανοράµατος Αντιστοίχιση µε χρήση Χαρακτηριστικών (Features) Εντοπισµός Χαρακτηριστικών στις δύο εικόνες Εύρεση Αντίστοιχων Χαρακτηριστικών Χρήση των Αντίστοιχων σηµείων για Στοίχιση 7

8 Σύνθεση Πανοράµατος Πρώτο Πρόβληµα Εντόπισε το ίδιο σηµείο ανεξάρτητα στις δύο εικόνες Δύσκολη αν όχι ακατόρθωτη η αντιστοίχιση... Χρειαζόµαστε κάτι επιπλέον... έναν επαναλαµβανόµενο ανιχνευτή 8

9 Σύνθεση Πανοράµατος Δεύτερο Πρόβληµα Εντόπισε για κάθε σηµείο το σωστό αντίστοιχό του... ; Χρειαζόµαστε έναν αξιόπιστο και ξεχωριστό περιγραφέα 9

10 Σύνθεση Πανοράµατος l Τα χαρακτηριστικά σηµεία χρησιµοποιούνται επίσης στη: Στοίχιση Εικόνων (Image alignment) 3-Δ ανακατασκευή Ιχνηλάτιση κίνησης (Motion tracing) Αναγνώριση αντικειµένων (Object recognition) Δεικτοδότηση και ανάκτηση από βάση δεδοµένων (Indexing and database retrieval) Καθοδήγηση ροµπότ (Robot navigation) 10

11 Σύνθεση Πανοράµατος Επιθυµούµε να: Ανιχνεύουµε τα ίδια ενδιαφέροντα σηµεία ανεξάρτητα από τις Γεωµετρικές και Φωτοµετρικές αλλαγές (παραµορφώσεις) της εικόνας... 11

12 Ανιχνευτές (Detectors) l Γεωµετρικά Περιστροφής Οµοιότητας (περιστροφή + οµοιόµορφη κλιµάκωση) Συγγένειας 12

13 Ανιχνευτές (Detectors) l Φωτοµετρικά Μοντέλο γραµµικών παραµορφώσεων Iˆ ( x, y) ai ( x, y) β 13

14 Σύνθεση Πανοράµατος Επιλέγοντας «σωστά» Χαρακτηριστικά... l Ποιό είναι ένα «καλό Χαρακτηριστικό»; Ικανοποιεί την υπόθεση της «brightness constancy» Έχει υφή (αλλά δεν µεταβάλλεται πάρα πολύ). Δεν παραµορφώνεται πολύ µε το πέρασµα του χρόνου. 14

15 Σύνθεση Πανοράµατος Κοµµάτια µε µικρή διακρισιµότητα: Διακριτά κοµµάτια: Ανιχνευτής Γωνίας : ανιχνεύει σηµεία µε διακριτούς γείτονες κατάλληλους για επιβεβαίωση αντιστοιχίσεων. 15

16 Επισκόπιση Μαθήµατος l l l Ανιχνευτής Γωνιών του Harris (Corner Detector) Περιγραφή Ανάλυση Επιθυµητές Ιδιότητες Ανιχνευτών (Detectors). Αναισθησία σε: Περιστροφή Αλλαγή Κλίµακας Φωτοµετρικές Παραµορφώσεις Επιθυµητές Ιδιότητες Περιγραφέων (Descriptors). Αναισθησία σε: Περιστροφή Αλλαγή Κλίµακας Φωτοµετρικές Παραµορφώσεις 16

17 Ανιχνευτής του Harris-Βασική Ιδέα Απαιτήσεις: Θα πρέπει να αναγνωρίζουµε το «σηµείο» κοιτάζοντας µέσα από ένα µικρό παράθυρο. Ολίσθηση του παραθύρου προς οποιαδήποτε κατεύθυνση θα πρέπει να έχει ως αποτέλεσµα την έντονη αλλαγή της φωτεινότητας. 17

18 Ανιχνευτής του Harris-Βασική Ιδέα Επίπεδη περιοχή: καµιά αλλαγή. Ακµή : καµιά αλλαγή κατά την κατεύθυνση της ακµής. Γωνία : Σηµαντικές αλλαγές προς όλες τις κατευθύνσεις. 18

19 Ανιχνευτής του Harris-Βασική Ιδέα Βασίζεται στην ιδέα της αυτοσυσχέτισης (auto-correlation) Σηµαντικές Διαφορές προς όλες τις ατευθύνσεις Ενδιαφέρον Σηµείο 19

20 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 20

21 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 21

22 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 22

23 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 23

24 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 24

25 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 25

26 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 26

27 Ανιχνευτής του Harris-Βασική Ιδέα Demo ενός σηµείου (+) µε ξεχωριστούς γείτονες. - 27

28 Ανιχνευτής του Harris-Βασική Ιδέα Ιδανικές Συνθήκες: l Μητρώο Αυτο-συσχέτισης Περιέχει «πληροφορία» για τη δοµή της γειτονιάς Χρήση Μέτρου βασισµένου στις ιδιοτιµές του µητρώου l Δύο (2) µη µηδενικές ιδιοτιµές ενδιαφέρον σηµείο l Μία (1) µη µηδενική ιδιοτιµή ακµές l Μηδέν (0) µη µηδενικές ιδοτιµές οµοιόµορφη περιοχή 28

29 Ανιχνευτής του Harris-Βασική Ιδέα Πραγµατικές Συνθήκες: l Ανίχνευση Ενδιαφέροντος Σηµείου Ορισµός κατωφλίου στις ιδιοτιµές Τοπικό µέγιστο για τοπικότητα (local maximum for localization) 29

30 Ανιχνευτής του Harris-Βασική Ιδέα Υλοποίηση της Βασικής Ιδέας: Συνάρτηση αυτο-συσχέτισης για ένα σηµείο και µια ολίσθησή του κατά ( Δx, Δy) : ( x, y) f xy ( Δx, Δy) = ( I( x, y ) I( x + Δx, y + Δy)) ( x, y ) W 2 30

31 Προσέγγιση Taylor και Μητρώο Αυτο-Συσχέτισης: Δ Δ + = + Δ + Δ y x y x I y x I y x I y y x x I y x )), ( ), ( ( ), ( ), ( ( ) 2 ), ( ), ( ), ( ), ( Δ Δ = Δ Δ W y x y x xy y x y x I y x I y x f Υλοποίηση της Βασικής Ιδέας: Άρα: 31 Υπολογιστική Όραση Ανιχνευτής του Harris-Βασική Ιδέα

32 Ορίζοντας: το µητρώο Αυτο-Συσχέτισης = W y x y W y x y x W y x y x W y x x y x I y x I y x I y x I y x I y x I C ), ( 2 ), ( ), ( ), ( 2 )), ( ( ), ( ), ( ), ( ), ( )), ( ( Υλοποίηση της Βασικής Ιδέας: και το Διάνυσµα, έχουµε: t y x ] [ Δ Δ Δ = Δ = Δ Δ C f t xy ) ( 32 Υπολογιστική Όραση Ανιχνευτής του Harris-Βασική Ιδέα

33 Ανιχνευτής του Harris-Βασική Ιδέα Μέση αλλαγή φωτεινότητας για ολίσθηση Δ: f xy ( Δ) = w( x, y )( I( x + Δx, y + Δy) I( x, y ( x, y ) W )) 2 Συνάρτηση Παραθύρου Ολισθηµένη Εικόνα Αρχική Εικόνα 33

34 Ανιχνευτής του Harris-Βασική Ιδέα f xy ( Δ) t = ΔCΔ Έστω και λ 1, λ 2 οι ιδιοτιµές του C. Έλλειψη: f xy (Δ) = c Κατεύθυνση της γρηγορότερης αλλαγής (λ max ) -1/2 (λ min )-1/2 Κατεύθυνση της πιο αργής αλλαγής 34

35 Ανιχνευτής του Harris-Βασική Ιδέα Κατηγοριοποίηση των σηµείων της εικόνας βάσει των ιδιοτιµών του Μητρώου C: λ 2 Ακµή λ 2 >> λ 1 Γωνία :λ 1 και λ 2 >>0, λ 1 ~ λ 2 ; Η f αυξάνει προς όλες τις κατευθύνσεις λ 1 και λ 2 µικρές. Η f είναι «σχεδόν» σταθερή Επίπεδη περιοχή Ακµή λ 1 >> λ 2 λ 1 35

36 Ανιχνευτής του Harris-Βασική Ιδέα det( C) trace( C) = λ1λ 2 = λ + λ 1 2 Μέτρο απόκρισης «Γωνίας»: R ( C) = det( C) - (trace( C)) όπου εµπειρική σταθερά, =

37 Ανιχνευτής του Harris-Βασική Ιδέα Το R(C) εξαρτάται αποκλειστικά από τις ιδιοτιµές του µητρώου Αυτο-Συσχέτισης. Το R(C) παίρνει µεγάλες (θετικές) τιµές σε γωνίες. Το R(C) είναι αρνητικό στις ακµές. Το R(C) είναι µικρό σε οµοιόµορφες περιοχές φωτεινότητας. 37

38 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών λ 2 Ακµή : R<0 Γωνία : R>0 Επίπεδη περιοχή: R <ε Ακµή : R<0 λ 1 38

39 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών Μη διακριτά τµήµατα: Η βαθµίδα (ανάδελτα) της εικόνας σε µη διακριτά τµήµατά της είναι: είτε µηδενική είτε έχει ένα κύριο στοιχείο. 39

40 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών Διακριτά τµήµατα: Η βαθµίδα (ανάδελτα) της εικόνας σε διακεκριµένα τµήµατά της έχει δύο κύρια στοιχεία: ran ( C) = 2 40

41 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών R( C) >> 0 41

42 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών R( C) < 0 42

43 Ανιχνευτής του Harris-Ανάλυση Ιδιοτιµών R( C) < ε 43

44 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Ο Αλγόριθµος: Βρίσκει σηµεία που έχουν µεγάλες τιµές του «µέτρου» R(C) (R(C) > T (κατώφλι)). Κρατάει τα τοπικά µέγιστα της R(C). 44

45 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 45

46 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 46

47 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 47

48 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 48

49 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 49

50 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 1. Φιλτράρισµα της εικόνας µε ένα Gaussian φίλτρο: 2. Υπολογισµός της βαθµίδας της εικόνας. I( x, y) G 1 2 2σ d ( x) = e 3. Για κάθε pixel της εικόνας και για παράθυρο εύρους γίνεται ο υπολογισµός τoυ µητρώου Αυτο-Συσχέτισης: και τoυ «µέτρου»: C = R(C) x, y W I( x, y) I( x, y) 4. Επιλογή των καλύτερων υποψήφιων χαρακτηριστικών. t σ w 2π x 2 50

51 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 1. Φιλτράρισµα της εικόνας µε ένα Gaussian φίλτρο: G 1 2 2σ d ( x) = e 2π x 2 51

52 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια I( x, y) 2. Υπολογισµός του ανάδελτα της εικόνας. 52

53 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 3. Για κάθε pixel της εικόνας και για παράθυρο εύρους γίνεται ο υπολογισµός: τoυ µητρώου Αυτο-Συσχέτισης: και του «µέτρου»: R(C) C = σ w I x, y W ( x, y) I( x, y) t 53

54 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 4. Επιλογή των καλύτερων υποψήφιων χαρακτηριστικών. 54

55 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 55

56 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 56

57 Υπολογιστική Όραση Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια 57

58 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Αναισθησία σε Περιστροφές; 58

59 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Αναισθησία σε Περιστροφές; Η έλλειψη περιστρέφεται αλλά το σχήµα της (δηλαδή οι ιδιοτιµές) παραµένουν οι ίδιες!!! Το «µέτρο» R(C) είναι αναίσθητο σε περιστροφές της εικόνας. 59

60 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Αναισθησία σε Φωτοµετρικές Παραµορφώσεις; 60

61 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Αναισθησία σε Φωτοµετρικές Παραµορφώσεις; Αναισθησία σε αλλαγές της λαµπερότητας (brightness): Iˆ ( x, y) = I( x, y) + β αλλα ευαισθησία σε αλλαγές της αντίθεσης (contrast) Iˆ ( x, y) = αi( x, y) 61

62 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Αναισθησία σε αλλαγές Κλίµακας; 62

63 Ανιχνευτής του Harris-Αλγόριθµος (R. Harris, 1988) λόγια l Ευαισθησία σε αλλαγές Κλίµακας Αλλαγή Κλίµακας Όλα τα σηµεία κατηγοριοποιούνται ως «ακµές» Γωνία! 63