ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ «ΣΥΣΤΗΜΑΤΑ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ: ΘΕΩΡΙΑ, ΥΛΟΠΟΙΗΣΕΙΣ, ΕΦΑΡΜΟΓΕΣ»

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΕ «ΣΥΣΤΗΜΑΤΑ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ: ΘΕΩΡΙΑ, ΥΛΟΠΟΙΗΣΕΙΣ, ΕΦΑΡΜΟΓΕΣ» ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ «Εκτίμηση βάθους σκηνής από κάμερα τοποθετημένη σε αυτοκίνητο που κινείται» ΚΑΠΡΙΝΙΩΤΗΣ ΑΧΙΛΛΕΑΣ Επιβλέπων Καθηγητής: Δερματάς Ευάγγελος, Αναπληρωτής Καθηγητής Φεβρουάριος 014, Πάτρα

2 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΕ «ΣΥΣΤΗΜΑΤΑ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ ΚΑΙ ΕΠΙΚΟΙΝΩΝΙΩΝ: ΘΕΩΡΙΑ, ΥΛΟΠΟΙΗΣΕΙΣ, ΕΦΑΡΜΟΓΕΣ» «Εκτίμηση βάθους σκηνής από κάμερα τοποθετημένη σε αυτοκίνητο που κινείται» ΚΑΠΡΙΝΙΩΤΗΣ ΑΧΙΛΛΕΑΣ ΔΙΠΛΩΜΑΤΟΥΧΟΣ ΗΛΕΚΤΡΟΛΟΓΟΣ ΜΗΧΑΝΙΚΟΣ & ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΕΠΙΒΛΕΠΟΝ ΜΕΛΟΣ ΔΕΠ: ΔΕΡΜΑΤΑΣ ΕΥΑΓΓΕΛΟΣ, ΑΝΑΠΛΗΡΩΤΗΣ ΚΑΘΗΓΗΤΗΣ ΤΡΙΜΕΛΗΣ ΕΞΕΤΑΣΤΙΚΗ ΕΠΙΤΡΟΠΗ: Δερματάς Ευάγγελος Μπερμπερίδης Κωνσταντίνος Ψαράκης Εμμανουήλ Αναπληρωτής Καθηγητής Καθηγητής Επίκουρος Καθηγητής... ΗΜΕΡΟΜΗΝΙΑ: 6/0/014

3 3

4 Περίληψη Στη διπλωματική αυτή εργασία αναλύεται η εκτίμηση του βάθους μίας άκαμπτης σκηνής από κάμερα τοποθετημένη σε αυτοκίνητο που κινείται. Στο κεφάλαιο 1 γίνεται μία εισαγωγή στον τομέα της Υπολογιστικής Όρασης και δίνονται μερικά παραδείγματα εφαρμογών της. Στο κεφάλαιο περιγράφονται βασικές αρχές της προβολικής γεωμετρίας που χρησιμοποιείται ως μαθηματικό υπόβαθρο για τα επόμενα κεφάλαια. Στο κεφάλαιο 3 γίνεται λόγος για το θεωρητικό μοντέλο της κάμερας, των παραμέτρων της και των παραμορφώσεων που υπεισέρχονται στο μοντέλο αυτό. Στο κεφάλαιο 4 αναφέρεται η διαδικασία βαθμονόμησης της κάμερας, μαζί με την υλοποίησή της. Στο κεφάλαιο 5 παρουσιάζονται γενικές κατηγορίες των στερεοσκοπικών αλγορίθμων που χρησιμοποιούνται, καθώς και τα κατάλληλα μέτρα ομοιότητάς τους. Στο κεφάλαιο 6 γίνεται αναφορά στον ανιχνευτή γωνιών Harris και γίνεται η εφαρμογή του τόσο ως προς την ανίχνευση των γωνιών, όσο και ως προς την αντιστοίχιση των εικόνων. Στο κεφάλαιο 7 αναλύεται η θεωρία του αλγόριθμου SIFT και δίνεται ένα παράδειγμα ανίχνευσης και αντιστοίχισης χαρακτηριστικών. Στο κεφάλαιο 8 επισημαίνονται οι βασικές αρχές της επιπολικής γεωμετρίας, καθώς η σημασία της διόρθωσης των εικόνων. Στο κεφάλαιο 9 αναφέρεται η συνολική διαδικασία που ακολουθήθηκε, μαζί με την περιγραφή και την υλοποίηση των μεθόδων εκτίμησης βάθους που χρησιμοποιήθηκαν. 4

5 Abstract The current master s thesis analyzes the depth estimation of a rigid scene from a camera attached to a moving vehicle. The first chapter gives an introduction to the field of Computer Vision and provides some examples of its applications. The second chapter describes basic principles of projective geometry that are being used as mathematical background for the next chapters. The third chapter refers to the theoretical modeling of a camera, along with its parameters and the distortions that appear in this model. The forth chapter deals with the camera calibration procedure, along with its implementation. Chapter five presents general categories of stereoscopic algorithms, along with their similarity measures. Chapter six talks about Harris corner detector and its implementation in detecting corners and in the matching process as well. Chapter 7 analyzes the SIFT algorithm theory and gives an example of detecting and matching features. Chapter 8 highlights basic principles of epipolar geometry and stresses out the importance of image rectification. Chapter nine presents the procedure that has been followed, along with the description and implementation of the depth estimation methods that have been used. 5

6 Ευχαριστίες Στο σημείο αυτό, θα ήθελα να ευχαριστήσω θερμά τον επιβλέποντα καθηγητή μου κ. Δερματά Ευάγγελο, τόσο για την συνεχή και πολύτιμη καθοδήγησή του, όσο και για την ουσιαστική επίβλεψη που μου παρείχε καθ όλη τη διάρκεια εκπόνησης της διπλωματικής μου εργασίας. Επίσης θα ήθελα να ευχαριστήσω τον κ. Ψαράκη Εμμανουήλ για τις εύστοχες παρατηρήσεις και διορθώσεις επί του κειμένου. Τέλος, θα ήθελα να ευχαριστήσω την οικογένειά μου, για την αδιάκοπη στήριξη και συμπαράσταση καθ όλη τη διάρκεια των σπουδών μου. 6

7 Περιεχόμενα Κεφάλαιο 1. Εισαγωγή... 9 Κεφάλαιο. Προβολική Γεωμετρία Εισαγωγή Ομογενείς Συντεταγμένες Η αρχή της δυϊκότητας Τρισδιάστατος προβολικός χώρος Ευκλείδεια Γεωμετρία Η διαστρωμάτωση της τρισδιάστατης γεωμετρίας Προβολικό Επίπεδο Επίπεδο συγγένειας Μετρικό Επίπεδο Ευκλείδειο Επίπεδο Επισκόπηση των Επιπέδων... 1 Κεφάλαιο 3. Το Μοντέλο της κάμερας Το μοντέλο κάμερας μικρής οπής Παράμετροι Κάμερας Εσωγενείς Παράμετροι Εξωγενείς Παράμετροι Μη γραμμικές παραμορφώσεις Κεφάλαιο 4. Βαθμονόμηση Κάμερας Γενικά Κατηγορίες μεθόδων εύρεσης παραμέτρων Μέθοδος Zhang Εφαρμογή μεθόδου Zhang Κεφάλαιο 5. Κατηγορίες Στερεοσκοπικών Αλγορίθμων Ταξινόμηση των Στερεοσκοπικών Αλγορίθμων Μέτρα Ομοιότητας Τοπικοί Αλγόριθμοι Εκτίμηση υπο-εικονοστοιχείων και αβεβαιότητα Καθολικοί Αλγόριθμοι Δυναμικός Προγραμματισμός

8 Κεφάλαιο 6. Εύρεση γωνιών και αντιστοίχιση Εισαγωγή Harris Corner Detector Εφαρμογή του Harris Corner Detector Κεφάλαιο 7. Ο Αλγόριθμος SIFT Θεωρία του Αλγόριθμου SIFT Ανίχνευση ακρότατων στον χώρο των κλιμακώσεων Εντοπισμός των σημείων κλειδιών Εκχώρηση Προσανατολισμού Ο περιγραφέας του σημείου κλειδιού Κεφάλαιο 8. Επιπολική Γεωμετρία Η Επιπολική Γεωμετρία Ο Επιπολικός Περιορισμός Ο Θεμελιώδης Πίνακας Ο Ουσιώδης Πίνακας Ανάκτηση παραμέτρων από τον ουσιώδη πίνακα Μέθοδοι εκτίμησης του θεμελιώδους πίνακα Γραμμικές μέθοδοι Επαναληπτικές μέθοδοι Σθεναρές μέθοδοι Διόρθωση εικόνων Κεφάλαιο 9. Εκτίμηση Βάθους Εισαγωγή Μέθοδοι εκτίμησης βάθους Βασική αντιστοίχιση μπλοκ Εκτίμηση υπο-εικονοστοιχείου Δυναμικός Προγραμματισμός Image Pyramiding Συνδυασμός Pyramiding και Δυναμικού Προγραμματισμού Περιγραφή διαδικασίας και αποτελέσματα Κεφάλαιο 10. Συμπεράσματα Βιβλιογραφία

9 Κεφάλαιο 1. Εισαγωγή Η Υπολογιστική Όραση (Computer Vision) είναι ο κλάδος που περιλαμβάνει μεθόδους για απόκτηση, επεξεργασία και ανάλυση εικόνων και γενικά πολυδιάστατων δεδομένων από τον πραγματικό κόσμο, προκειμένου να παραχθεί αριθμητική ή συμβολική πληροφορία π.χ. με τη μορφή αποφάσεων. Είναι ένας ραγδαία εξελισσόμενος κλάδος που έχει γνωρίσει μεγάλη άνθηση τις τελευταίες δεκαετίες με ευρύτατο φάσμα εφαρμογών. Στο Σχήμα 1.1 απεικονίζεται η σχέση της Υπολογιστικής Όρασης με άλλους γνωστούς κλάδους [1]. Σχήμα 1.1: Κλάδοι που συσχετίζονται με την υπολογιστική όραση. Με την Υπολογιστική Όραση προσπαθούμε να περιγράψουμε τον κόσμο που βλέπουμε σε μία ή περισσότερες εικόνες και να ανακατασκευάσουμε τις ιδιότητές του, όπως Σχήμα, φωτισμό και κατανομή χρώματος. Για τους ανθρώπους κάτι τέτοιο μπορεί να γίνει χωρίς καμία ιδιαίτερη προσπάθεια, αλλά δεν ισχύει το ίδιο και για τους αλγόριθμους της Υπολογιστικής Όρασης που είναι επιρρεπείς σε σφάλματα. Παρ όλα αυτά, τα αποτελέσματα που λαμβάνονται είναι συνήθως ικανοποιητικά και έτσι η Υπολογιστική Όραση χρησιμοποιείται σε πληθώρα εφαρμογών. Συνήθεις εφαρμογές περιλαμβάνουν: 9

10 Αναγνώριση (recognition): Καθορισμός για το αν μία εικόνα περιέχει συγκεκριμένα χαρακτηριστικά, αντικείμενα, εκτίμηση θέσης ή προσανατολισμού συγκεκριμένου αντικειμένου σε σχέση με μία κάμερα, οπτική αναγνώριση χαρακτήρων (OCR), αναγνώριση προσώπου κ.α. Ανάλυση κίνησης (motion analysis): Καθορισμός περιστροφής και μετατόπισης κάμερας από ακολουθία εικόνων που παράγεται από την κάμερα, ιχνηλάτηση κίνησης ενός συνήθους μικρότερου συνόλου σημείων ενδιαφέροντος ή αντικειμένων (π.χ. αυτοκίνητα ή άνθρωποι) στην ακολουθία εικόνων (tracking), καθορισμός κίνησης κάθε σημείου της εικόνας σε σχέση με το επίπεδο της εικόνας (optical flow). Ανακατασκευή σκηνής (scene reconstruction): Δεδομένης μίας ή περισσοτέρων εικόνων μίας σκηνής ή βίντεο, η ανακατασκευή σκηνής στοχεύει στον υπολογισμό του τρισδιάστατου μοντέλου της σκηνής (στην απλούστερη περίπτωση σύνολο τρισδιάστατων σημείων). Αποκατάσταση εικόνας (image restoration): Αφαίρεση θορύβου (θόρυβος αισθητήρα, θόλωμα κίνησης κ.α.) από εικόνες. Σε απλές περιπτώσεις χρησιμοποιούνται για αυτό το σκοπό διάφοροι τύποι φίλτρων, όπως κατωδιαβατά ή median φίλτρα. Ίσως η πιο αξιοσημείωτη εξέλιξη στην Υπολογιστική Όραση τα τελευταία χρόνια είναι η αυξανόμενη αλληλεπίδραση με τα γραφικά υπολογιστή (computer graphics), κυρίως στον διεπιστημονικό τομέα της μοντελοποίησης και της δημιουργίας εικόνας από μοντέλο, βάση εικόνων (image-based modeling and rendering, Σχήμα 1.α, 1.β). Άλλα πρόσφατα παραδείγματα αποτελούν οι αλγόριθμοι χαρτογράφησης τόνου (tone mapping algorithms, Σχήμα 1.γ) που χρησιμοποιούνται για τη μετατροπή εικόνων μεγάλου δυναμικού εύρους σε οπτικώς παρουσιάσιμα αποτελέσματα, σύνθεση υφής (texture synthesis, Σχήμα 1.δ), τεχνικές βασισμένες σε χαρακτηριστικά (feature-based, Σχήμα 1.ε) και αναγνώριση με βάση κατάτμηση περιοχών (region segmentation, Σχήμα 1.στ) []. (α) (β) (γ) 10

11 (δ) (ε) (στ) Σχήμα 1.: Πρόσφατα παραδείγματα αλγορίθμων Υπολογιστικής Όρασης: (α) image-based rendering, (β) image-based modeling, (γ) διαδραστική χαρτογράφηση τόνου, (δ) σύνθεση υφής, (ε) feature-based recognition, (στ) region-based recognition. Η παρούσα διπλωματική εργασία σχετίζεται με το πρόβλημα της Δομής από Κίνηση για καρέ (two-frame structure from motion), το οποίο περιλαμβάνει την ταυτόχρονη ανάκτηση της τρισδιάστατης κίνησης της κάμερας και της τρισδιάστατης δομής της σκηνής από μία συλλογή δισδιάστατων χαρακτηριστικών. Το πρόβλημα της Δομής από Κίνηση είναι παρόμοιο με αυτό της Στερεοσκοπικής Όρασης (Stereo Vision, όπου κάμερες με σταθερή απόσταση μεταξύ τους, λαμβάνουν εικόνες της ίδιας σκηνής), καθώς και στις δύο περιπτώσεις πραγματοποιούνται οι αντιστοιχίες μεταξύ των εικόνων και η τρισδιάστατη ανακατασκευή της σκηνής. 11

12 Κεφάλαιο. Προβολική Γεωμετρία Στο κεφάλαιο αυτό περιγράφονται βασικά στοιχεία προβολικής γεωμετρίας και γίνεται αναφορά σε έννοιες που θα χρησιμοποιηθούν σε επόμενα κεφάλαια. Η σημασία της προβολικής γεωμετρίας έγκειται στο γεγονός ότι μέσω αυτής μοντελοποιείται η λειτουργία μίας κάμερας και συγκεκριμένα μέσω του προβολικού μετασχηματισμού (προοπτική προβολή) που αυτή εκτελεί. Ιδιαίτερα επισημαίνονται η διαστρωμάτωση της γεωμετρίας και οι μετασχηματισμοί των επιπέδων της..1 Εισαγωγή Οι προβολικοί μετασχηματισμοί είναι κάτι με το οποίο είμαστε όλοι εξοικειωμένοι. Κοιτάζοντας μία εικόνα παρατηρούμε ότι το Σχήμα των αντικειμένων δεν είναι πάντα το ίδιο με αυτό που αντιλαμβανόμαστε στον τρισδιάστατο χώρο. Για παράδειγμα, τα μήκη δύο κάθετων ακτινών ενός κύκλου φαίνονται άνισα μετά από τον προβολικό μετασχηματισμό. Γενικά, γωνίες, αποστάσεις ή αναλογίες αποστάσεων δεν διατηρούνται και δίνεται η εντύπωση ότι δεν διατηρείται η γεωμετρία μετά από τον προβολικό μετασχηματισμό. Ωστόσο, μία σημαντική ιδιότητα που διατηρείται είναι η ευθύτητα (straightness), δηλαδή να διατηρούνται οι ευθείες γραμμές. Αποδεικνύεται ότι αυτή είναι η πιο γενική απαίτηση κατά την αντιστοίχιση και ότι ο προβολικός μετασχηματισμός ενός επιπέδου μπορεί να οριστεί ως οποιαδήποτε αντιστοίχιση των σημείων στο επίπεδο που διατηρεί τις ευθείες γραμμές. Από την άλλη μεριά, η Ευκλείδεια γεωμετρία περιγράφει τον τρισδιάστατο κόσμο με επιτυχία. Οι μετρήσεις που κάνουμε, όσον αφορά μήκη, γωνίες, παραλληλισμό και ορθογωνιότητα, έχουν νόημα, διότι διατηρούνται μετά από μία αλλαγή στις συντεταγμένες, η οποία χαρακτηρίζεται ως Ευκλείδειος μετασχηματισμός (περιστροφή και μετατόπιση). Ωστόσο, η Ευκλείδεια γεωμετρία υστερεί σε κάποιες παραδοχές, όπως αυτή της τομής δύο ευθειών. Δύο ευθείες (σε δισδιάστατη γεωμετρία) τέμνονται σχεδόν πάντα σε ένα σημείο, εκτός και αν είναι παράλληλες. Σε αυτή την περίπτωση λέμε ότι οι ευθείες τέμνονται στο άπειρο, το οποίο με τη σειρά του αποτελεί μία βολική υπόθεση. Αυτό μπορεί να αντιμετωπιστεί με την προσθήκη σημείων στο άπειρο στα οποία τέμνονται οι παράλληλες ευθείες τα οποία καλούμε ιδεατά σημεία (ideal points). Έτσι με την προσθήκη των ιδεατών σημείων, ο Ευκλείδειος χώρος μετασχηματίζεται στον προβολικό χώρο, ο οποίος αποτελεί ένα πιο κατάλληλο πλαίσιο εργασίας όσον αφορά την περιγραφή προβολών. Η προβολική γεωμετρία αποτελεί μία επέκταση της Ευκλείδειας γεωμετρίας (ή αντίστροφα η Ευκλείδεια γεωμετρία αποτελεί μία ειδική περίπτωση της προβολικής), η οποία περιγράφει όχι μόνο περιστροφές και μετατοπίσεις, αλλά μία ευρύτερη κατηγορία μετασχηματισμών, συμπεριλαμβανομένης της προοπτικής προβολής που εκτελεί μία κάμερα. Μεταξύ προβολικής και Ευκλείδειας γεωμετρίας υπάρχουν δύο ακόμη γεωμετρίες: η ομοιότητα και η συγγένεια (affine) [3,4]. 1

13 . Ομογενείς Συντεταγμένες Έστω ότι θεωρούμε ένα σημείο στον δισδιάστατο Ευκλείδειο χώρο που αντιπροσωπεύεται από ένα διατεταγμένο ζευγάρι πραγματικών αριθμών ( xy, ). Αν προστεθεί μία επιπλέον συντεταγμένη στο τέλος, θα έχουμε το ( xy,,1), που αντιπροσωπεύει το ίδιο σημείο στον προβολικό χώρο. Επίσης η κλιμάκωση του σημείου με ένα μη μηδενικό παράγοντα k ( kx, ky, k ), θα μας δώσει πάλι το ίδιο σημείο. Γενικά, η τριπλή συντεταγμένη ( x, y, z ) του σημείου στο προβολικό επίπεδο καλούνται ομογενείς συντεταγμένες (homogeneous coordinates) ή αλλιώς προβολικές συντεταγμένες του σημείου ( xy, ) με την προϋπόθεση ότι τα x, y, z δεν μπορούν να είναι όλα μηδέν. Ο μετασχηματισμός του σημείου ( kx, ky, k ) από τις προβολικές συντεταγμένες στις Ευκλείδειες συντεταγμένες πραγματοποιείται με τη διαίρεση αυτού με το k ώστε να προκύψει το ( xy, ). Από τα παραπάνω προκύπτει εύκολα ότι δεν υπάρχει σημείο του Ευκλείδειου χώρου που να αντιστοιχεί στο σημείο ( xy,,0), διότι αν διαιρέσουμε με την τελευταία συντεταγμένη θα προκύψει το σημείο ( x/ 0, y / 0). Συνεπώς τα σημεία στο άπειρο αντιπροσωπεύονται με τις ομογενείς συντεταγμένες στις οποίες η τελευταία συντεταγμένη είναι μηδέν. Από τα παραπάνω μπορούμε να συμπεράνουμε ότι η διαδικασία αυτή μπορεί να επεκταθεί σε οποιαδήποτε διάσταση. Ο Ευκλείδειος χώρος n n μπορεί να επεκταθεί στον προβολικό χώρο αντιπροσωπεύοντας τα σημεία ως ομογενή διανύσματα. Τα σημεία στο άπειρο στον δισδιάστατο προβολικό χώρο σχηματίζουν μία ευθεία που καλείται ευθεία στο άπειρο (line at infinity), ενώ στις τρεις διαστάσεις σχηματίζουν ένα επίπεδο στο άπειρο (plane at infinity)..3 Η αρχή της δυϊκότητας Όπως αναφέρθηκε προηγουμένως η γεωμετρία των σημείων και των ευθειών είναι δισδιάστατη και το προβολικό επίπεδο βρίσκεται στον προβολικό χώρο ένα σημείο του. Έστω που αντιπροσωπεύεται από ένα διάνυσμα τριών στοιχείων m [ x y w] T. Μία ευθεία l αντιπροσωπεύεται επίσης από ένα διάνυσμα τριών στοιχείων. Ορίζουμε ότι ένα σημείο m βρίσκεται στην ευθεία l αν και μόνο αν: T lm (.1) 0 Ωστόσο, η παραπάνω εξίσωση μπορεί να ερμηνευτεί ως ότι η ευθεία l διέρχεται μέσω του σημείου m. Αυτή η συμμετρία στην εξίσωση δείχνει ότι στο προβολικό επίπεδο δεν υπάρχει τυπική διαφορά μεταξύ σημείων και ευθειών. Αυτό είναι γνωστό ως αρχή της δυϊκότητας (duality). Η ευθεία l που διέρχεται από δύο σημεία m1, m δίνεται από το εξωτερικό τους γινόμενο m1 m. Αυτό μπορεί να γραφεί ως: 13

14 l [ m ] m, όπου 1 0 w1 y1 [ m1 ] w1 0 x 1 y1 x1 0 (.) και το σημαίνει ότι το αριστερό και το δεξί μέρος είναι ίσα μέχρι ένα μη μηδενικό βαθμωτό πολλαπλασιασμό. Η διπλή διατύπωση δίνει την τομή δύο ευθειών. Όλες οι γραμμές που διέρχονται από ένα συγκεκριμένο σημείο σχηματίζουν μία λεπτή δέσμη ευθειών (pencil of lines). Αν δύο ευθείες l 1, l είναι ξεχωριστά στοιχεία της δέσμης ευθειών, τότε όλες οι υπόλοιπες ευθείες δίνονται από την ακόλουθη εξίσωση: l l l (.3) 1 1 όπου 1, βαθμωτά μεγέθη. Να σημειωθεί ότι σημασία έχει μόνο ο λόγος 1 [5]..4 Τρισδιάστατος προβολικός χώρος Η γεωμετρία των σημείων, ευθειών και των επιπέδων στον χώρο είναι τρισδιάστατη και ο τρισδιάστατος προβολικός χώρος είναι ο προβολικός χώρος σημείο του 3 3. Έστω ένα που αντιπροσωπεύεται από ένα διάνυσμα τεσσάρων στοιχείων M [ X Y Z W] T. Η διπλή οντότητα ενός σημείου στο 3 είναι ένα επίπεδο το οποίο αντιπροσωπεύεται επίσης από ένα διάνυσμα τεσσάρων στοιχείων. Το σημείο M βρίσκεται στο επίπεδο αν και μόνο αν: T M 0 (.4) Μία ευθεία μπορεί να δοθεί από το γραμμικό συνδυασμό δύο σημείων 1 1 ή από την τομή δύο επιπέδων 1..5 Ευκλείδεια Γεωμετρία Μία κωνική τομή (conic) είναι μία καμπύλη που περιγράφεται από μία εξίσωση δευτέρου βαθμού στο επίπεδο. Στην Ευκλείδεια γεωμετρία οι κωνικές τομές διακρίνονται κυρίως σε τρεις κατηγορίες: υπερβολές, ελλείψεις και παραβολές. Συνήθως οι τρεις αυτές κατηγορίες των κωνικών τομών προκύπτουν ως τμήματα κωνικών τομών που δημιουργούνται από επίπεδα διαφορετικών προσανατολισμών. Ωστόσο, αποδεικνύεται ότι στην δισδιάστατη προβολική γεωμετρία οι παραπάνω κατηγορίες κωνικών τομών είναι ισοδύναμες μετά από εφαρμογή προβολικών μετασχηματισμών, για παράδειγμα μία έλλειψη μπορεί να πάρει τη μορφή ενός κύκλου. 14

15 Η εξίσωση μίας κωνικής τομής σε μη ομογενείς συντεταγμένες είναι: ax bxy cy dx ey f 0 (.5) δηλαδή ένα πολυώνυμο δευτέρου βαθμού. Η παραπάνω εξίσωση σε ομογενείς συντεταγμένες (με x x1 / x3, y x / x3 ) γίνεται: ή αλλιώς σε μορφή πίνακα: ax bx x cx dx x ex x fx (.6) όπου ο πίνακας συντελεστών C γράφεται ως: T x Cx 0 (.7) a b / d / C b / c e / d / e / f (.8) Παρατηρούμε ότι ο παραπάνω πίνακας συντελεστών είναι συμμετρικός. Όπως στην περίπτωση της ομογενούς απεικόνισης των σημείων και ευθειών, μόνο οι αναλογίες των στοιχείων του πίνακα είναι σημαντικές. Ο πίνακας C έχει πέντε βαθμούς ελευθερίας και αποτελεί την ομογενή αναπαράσταση μίας κωνικής τομής. Ας θεωρήσουμε δύο κύκλους στην δισδιάστατη Ευκλείδεια γεωμετρία. Αλγεβρικά ένας κύκλος περιγράφεται από μία εξίσωση δευτέρου βαθμού. Γνωρίζουμε επίσης ότι γεωμετρικά δύο κύκλοι τέμνονται το πολύ σε δύο σημεία. Εκ πρώτης όψεως, αυτό ίσως να προκαλεί σύγχυση, διότι αλγεβρικά η τομή δύο καμπυλών δευτέρου βαθμού ισοδυναμεί με επίλυση δύο τετραγωνικών εξισώσεων που οδηγούν σε τέσσερις λύσεις. Η λύση σε αυτό το ζήτημα δίνεται από το γεγονός ότι οι δύο κύκλοι τέμνονται σε δύο μιγαδικά σημεία. Η εξίσωση ενός κύκλου σε ομογενείς συντεταγμένες ( x, y, w ) είναι της μορφής: ( x aw) ( y bw) r w (.9) Η εξίσωση αυτή αντιπροσωπεύει ένα κύκλο με κέντρο εκφρασμένο σε ομογενείς συντεταγμένες ως ( 0, 0, 0) T T x y w ( a, b,1). Μπορούμε εύκολα να συμπεράνουμε ότι T T τα σημεία ( x, y, w) (1, i,0) βρίσκονται σε κάθε κύκλο. Με άλλα λόγια, κάθε κύκλος διέρχεται από τα σημεία (1, i,0) T και συνεπώς αυτά βρίσκονται στην τομή δύο οποιωνδήποτε κύκλων. Τα δύο αυτά σημεία βρίσκονται στην ευθεία στο άπειρο, δεδομένου ότι η τελευταία συντεταγμένη είναι μηδενική και ονομάζονται κυκλικά σημεία (circular points) του επιπέδου. Να σημειωθεί ότι παρόλο που τα κυκλικά σημεία είναι μιγαδικά, ικανοποιούν το ζεύγος πραγματικών εξισώσεων: x y w 0, 0. 15

16 Αυτή η παρατήρηση μας επιτρέπει τον τρόπο ορισμού της Ευκλείδειας γεωμετρίας. Η Ευκλείδεια γεωμετρία μπορεί να προκύψει από την προβολική γεωμετρία ξεχωρίζοντας αρχικά μία ευθεία στο άπειρο και ακολούθως τα δύο κυκλικά σημεία που βρίσκονται επί της ευθείας. Επίσης, σύμφωνα με όσα έχουν ειπωθεί, ένας κύκλος μπορεί να οριστεί ως οποιαδήποτε κωνική τομή που διέρχεται από τα δύο κυκλικά σημεία. Ωστόσο, το Ευκλείδειο επίπεδο μπορεί να αντιστοιχιστεί σε προβολικό, καθορίζοντας οποιαδήποτε ευθεία και δύο οποιαδήποτε μιγαδικά σημεία που βρίσκονται επί της ευθείας, ως ευθεία στο άπειρο και ως κυκλικά σημεία αντίστοιχα. Από τη σχέση (.5) μπορεί να προκύψει ότι μία κωνική τομή ορίζεται μονοσήμαντα από πέντε αυθαίρετα σημεία στο επίπεδο, ενώ γενικά ένας κύκλος καθορίζεται από τρία σημεία. Με άλλα λόγια ο κύκλος είναι μία κωνική τομή που διέρχεται από δύο ειδικά σημεία, δηλαδή τα κυκλικά σημεία, καθώς και από τρία άλλα σημεία. Συνεπώς, ξεχωρίζοντας δύο κυκλικά σημεία, λαμβάνουμε το σύνολο της γνωστής Ευκλείδειας γεωμετρίας. Παρόμοια ανάλυση μπορεί να γίνει και για την περίπτωση της τρισδιάστατης Ευκλείδειας γεωμετρίας. Εδώ θεωρούμε ότι δύο σφαίρες τέμνονται σε ένα κύκλο, όπως δύο γενικά ελλειψοειδή και όχι σε μία γενική καμπύλη τετάρτου βαθμού, όπως υποθέτει η άλγεβρα. Με αυτό το σκεπτικό, οδηγούμαστε στο συμπέρασμα ότι όλες οι σφαίρες σε ομογενείς συντεταγμένες ( X, Y, Z, T ) T με μία καμπύλη με εξισώσεις: X Y Z T, τέμνουν το επίπεδο στο άπειρο 0, 0. Αυτή η δευτέρου βαθμού καμπύλη βρίσκεται στο επίπεδο στο άπειρο, αποτελείται μόνο από μιγαδικά σημεία και είναι γνωστή ως απόλυτη κωνική τομή (absolute conic). Η έννοια αυτή θα χρησιμοποιηθεί αργότερα κατά την βαθμονόμηση της κάμερας. Η απόλυτη κωνική τομή ορίζεται από τις παραπάνω εξισώσεις μόνο στο ευκλείδειο σύστημα συντεταγμένων. Δεν θα μπούμε σε περισσότερες λεπτομέρειες για το πώς η απόλυτη κωνική τομή καθορίζει ολόκληρη την τρισδιάστατη Ευκλείδεια γεωμετρία, αλλά θα εξετάσουμε το ακόλουθο παράδειγμα. Η καθετότητα των ευθειών στο χώρο μπορεί να καθοριστεί από πλευράς της απόλυτης κωνικής τομής ως εξής: Επεκτείνοντας τις ευθείες μέχρις ότου αυτές να συναντήσουν το επίπεδο στο άπειρο, λαμβάνουμε δύο σημεία που ονομάζονται κατευθύνσεις των δύο ευθειών. Οι ευθείες είναι κάθετες αν οι δύο κατευθύνσεις είναι συζυγή σημεία σε σχέση με την απόλυτη κωνική τομή, όπως φαίνεται στο Σχήμα.1. Συνοπτικά, αν η απόλυτη κωνική τομή αντιπροσωπεύεται από ένα συμμετρικό 3x3 πίνακα και οι κατευθύνσεις είναι τα σημεία d1, d, τότε θα είναι συζυγή σε σχέση με την απόλυτη κωνική τομή αν ισχύει d d. T

17 Σχήμα.1: Στο επίπεδο στο άπειρο ( ), οι ορθογώνιες κατευθύνσεις d1, d είναι συζυγείς σε σχέση με την απόλυτη κωνική τομή..6 Η διαστρωμάτωση της τρισδιάστατης γεωμετρίας Όπως έχει αναφερθεί, υπάρχουν περιπτώσεις (όπως οι εικόνες) κατά τις οποίες δεν είναι δυνατό ή επιθυμητό να χρησιμοποιηθεί ολόκληρη η Ευκλείδεια δομή του τρισδιάστατου χώρου και αντί αυτής να γίνει χρήση της λιγότερο δομημένης και συνεπώς απλούστερης προβολικής γεωμετρίας. Ενδιάμεσα επίπεδα σχηματίζονται από τη συγγένεια και τη μετρική (metric) γεωμετρία. Η ιδέα της διαστρωμάτωσης συσχετίζεται με τις ομάδες μετασχηματισμών που εφαρμόζονται σε γεωμετρικές οντότητες και αφήνουν αμετάβλητες κάποιες ιδιότητες αυτών των στοιχείων. Με το προβολικό επίπεδο (stratum) συνδέεται η ομάδα των προβολικών μετασχηματισμών, με το επίπεδο συγγένειας συνδέεται η ομάδα των μετασχηματισμών συγγένειας, με το μετρικό επίπεδο συνδέεται η ομάδα των ομοιοτήτων και με το Ευκλείδειο επίπεδο συνδέεται η ομάδα των Ευκλείδειων μετασχηματισμών. Οι ομάδες αυτές είναι υποομάδες η μία της άλλης, δηλαδή η μετρική ομάδα είναι υποομάδα της συγγένειας και οι δύο είναι υποομάδες της προβολικής. Η πιο σημαντική παράμετρος που συσχετίζεται με αυτές τις ομάδες είναι η αμεταβλητότητά τους, δηλαδή είναι η ιδιότητα της διαμόρφωσης των γεωμετρικών οντοτήτων που δεν μεταβάλλεται από οποιονδήποτε μετασχηματισμό που ανήκει σε συγκεκριμένη ομάδα. Η ανάκτηση αυτών των οντοτήτων επιτρέπει την αναβάθμιση της δομής της γεωμετρίας σε υψηλότερο επίπεδο της διαστρωμάτωσης..6.1 Προβολικό Επίπεδο Το προβολικό επίπεδο είναι το λιγότερο δομημένο και συσχετίζεται με αυτό η μεγαλύτερη ομάδα μετασχηματισμών. Η ομάδα των προβολικών μετασχηματισμών ή ευθυγραμμίσεων είναι η πιο γενική ομάδα μετασχηματισμών. Ο προβολικός μετασχηματισμός του τρισδιάστατου χώρου μπορεί να αναπαρασταθεί από ένα αντιστρέψιμο πίνακα 4x4: 17

18 T P p p p p p p p p p p p p p p p p (.10) Ο πίνακας αυτός ορίζεται μόνο για μη μηδενικό παράγοντα κλίμακας και έχει 15 βαθμούς ελευθερίας. Στο σημείο αυτό, εισάγουμε την έννοια της διαγώνιας αναλογίας (cross-ratio) που είναι μία αμετάβλητη ιδιότητα μετά από εφαρμογή προβολικών μετασχηματισμών και ορίζεται ως εξής: Υποθέτουμε ότι τέσσερα σημεία M1, M, M3, M 4 είναι συγγραμμικά. Συνεπώς, ισχύει: συμπίπτει με το M M M ' M ). Η διαγώνια αναλογία ορίζεται ως: ' i i (υποθέτοντας ότι κανένα δεν { M1, M : M3, M 4} : (.11) Η διαγώνια αναλογία δεν εξαρτάται από την επιλογή των σημείων αναφοράς M, ' M και είναι αμετάβλητη από εφαρμογή της ομάδας των προβολικών μετασχηματισμών του 3. Στην πραγματικότητα η διαγώνια αναλογία μπορεί να θεωρηθεί ως η συντεταγμένη ενός τέταρτου σημείου στη βάση των πρώτων τριών, δεδομένου ότι μία προβολική βάση ορίζεται από τρία σημεία της προβολικής ευθείας Επίπεδο συγγένειας Στην ιεραρχία των ομάδων, το επίπεδο συγγένειας βρίσκεται μεταξύ της προβολικής και της μετρικής ομάδας. Περιέχει περισσότερη δομή από το προβολικό, αλλά λιγότερη από μετρικό ή Ευκλείδειο επίπεδο. Η γεωμετρία συγγένειας διαφέρει από την προβολική με τον προσδιορισμό του επιπέδου στο άπειρο. Με την αυστηρή έννοια, το επίπεδο αυτό δεν ανήκει στο χώρο συγγένειας και τα σημεία που περιέχονται σε αυτό δεν μπορούν να εκφραστούν μέσω των συνηθισμένων μη ομογενών συντεταγμένων που χρησιμοποιούνται για τον συγγενικό, μετρικό και Ευκλείδειο τρισδιάστατο χώρο. Ο μετασχηματισμός συγγένειας με χρήση ομογενών συντεταγμένων, μπορεί να γραφεί ως M ' T M, όπου A 18

19 T A a11 a1 a13 a14 a1 a a3 a 4 a31 a3 a33 a (.1) Ο μετασχηματισμός συγγένειας έχει 1 ανεξάρτητους βαθμούς ελευθερίας. Να σημειωθεί ότι αν και η θέση των σημείων στο επίπεδο στο άπειρο μπορεί να αλλάξει με την εφαρμογή μετασχηματισμού συγγένειας, εντούτοις παραμένουν μέσα σε αυτό. Γενικά, ξεκινώντας από μία προβολική αναπαράσταση, αυθαίρετοι προβολικοί μετασχηματισμοί δεν αφήνουν αμετάβλητο το επίπεδο στο άπειρο. Σε αυτή την περίπτωση, η αναβάθμιση της γεωμετρικής δομής από προβολική σε συγγένειας συνεπάγεται πρώτα την εύρεση της θέσης του επιπέδου στο άπειρο για την συγκεκριμένη προβολική αναπαράσταση που εξετάζεται. Αυτό μπορεί να επιτευχθεί όταν είναι γνωστές κάποιες ιδιότητες συγγένειας της σκηνής. Μόλις γίνει γνωστό το επίπεδο στο άπειρο, τότε η προβολική αναπαράσταση μπορεί να αναβαθμιστεί σε συγγένεια, με την εφαρμογή μετασχηματισμού που φέρνει το επίπεδο στο άπειρο στην κανονική του μορφή ( [0 0 01] )..6.3 Μετρικό Επίπεδο Το μετρικό επίπεδο αντιστοιχεί στην ομάδα των ομοιοτήτων. Αυτοί οι μετασχηματισμοί αντιστοιχούν σε Ευκλείδειους μετασχηματισμούς (δηλαδή ορθοκανονικοί μετασχηματισμοί + μετατόπιση) που συμπληρώνονται από μία κλιμάκωση. Όταν δεν είναι διαθέσιμο κανένα άλλο μέτρο σύγκρισης, τότε αυτό είναι το υψηλότερο επίπεδο γεωμετρικής δομής που μπορεί να ανακτηθεί από εικόνες. Ένας μετρικός μετασχηματισμός αντιπροσωπεύεται από μία περιστροφή, μία μετατόπιση και μία κλιμάκωση ως εξής: ' r11 r1 r13 X t14 ' s r1 r r 3 Y t 4 ' r31 r3 r 33 Z t 34 (.13) όπου s είναι ο συντελεστής κλιμάκωσης, r ij οι συντελεστές ενός ορθοκανονικού πίνακα περιστροφής R και [ t14 t4 t 34] T το διάνυσμα της μετατόπισης. Οι συντελεστές r ij σχετίζονται με 6 ανεξάρτητους περιορισμούς 3 rik rjk ij, (1 i j,1 j 3) με ij την συνάρτηση δέλτα Kronecker. Αυτό αντιστοιχεί με τη σχέση πινάκων T R R RR T και συνεπώς R R k1 1 T. Ο ορθοκανονικός πίνακας R έχει 3 βαθμούς 19

20 ελευθερίας. Χρησιμοποιώντας ομογενείς συντεταγμένες, η σχέση (.13) μπορεί να γραφεί ως M ' T M, όπου M T M 1 sr11 sr1 sr13 t X r11 r1 r13 s t X 1 sr1 sr sr3 t Y r1 r r3 s ty 1 sr31 sr3 sr33 t Z r31 r3 r33 s t Z s (.14) Ο μετρικός μετασχηματισμός έχει 7 ανεξάρτητους βαθμούς ελευθερίας, 3 για προσανατολισμό, 3 για μετατόπιση και 1 για κλιμάκωση. Στην περίπτωση αυτή, υπάρχουν δύο νέες αμετάβλητες ιδιότητες που είναι τα σχετικά μήκη και οι γωνίες. Οι μετασχηματισμοί ομοιότητας εκτός του ότι αφήνουν αμετάβλητο το επίπεδο στο άπειρο, επιπλέον μετασχηματίζουν μία συγκεκριμένη κωνική τομή στον εαυτό της, δηλαδή στην απόλυτη κωνική τομή που αναλύθηκε προηγουμένως. Για αναβάθμιση από προβολική ή αναπαράσταση συγγένειας σε μετρική, πρέπει να ανακτηθεί η απόλυτη κωνική τομή. Δεδομένου ότι αυτή βρίσκεται στο επίπεδο στο άπειρο, πρέπει πρώτα να καθοριστεί το επίπεδο αυτό. Ωστόσο, μπορούμε να ανακτήσουμε και τις δύο οντότητες ταυτόχρονα χρησιμοποιώντας το απόλυτο διπλό quadric μορφή: *, το οποίο μπορεί να αναπαρασταθεί ως απλό quadric με κανονική * (.15) Από την παραπάνω σχέση παρατηρούμε ότι το απόλυτο διπλό quadric είναι ένας πίνακας 4x4 με τάξη 3. Γενικά, στον τρισδιάστατο προβολικό χώρο 3, ένα quadric είναι ο τόπος όλων των σημείων M που ικανοποιούν την ομογενή quadratic T εξίσωση: M QM 0, όπου Q είναι ένα 4x4 συμμετρικός πίνακας, που ορίζεται μέχρι μία κλίμακα. Μόλις προσδιοριστεί η απόλυτη κωνική τομή, η γεωμετρία μπορεί να αναβαθμιστεί από προβολική ή συγγένειας σε μετρική φέρνοντάς το στην κανονική (μετρική) θέση..6.4 Ευκλείδειο Επίπεδο Το Ευκλείδειο επίπεδο δεν διαφέρει πολύ από το μετρικό επίπεδο, όπως παρουσιάστηκε προηγουμένως και η διαφορά τους αυτή έγκειται στο γεγονός ότι εδώ η κλιμάκωση είναι σταθερή ( s 1) και συνεπώς διατηρούνται αμετάβλητα όχι μόνο 0

21 τα σχετικά μήκη, αλλά και τα απόλυτα. Ο Ευκλείδειος μετασχηματισμός έχει την ακόλουθη μορφή: T E r11 r1 r13 tx r1 r r3 t Y r31 r3 r33 t Z (.16) Ο Ευκλείδειος μετασχηματισμός έχει 6 βαθμούς ελευθερίας, 3 για τον προσανατολισμό και 3 για την μετατόπιση..6.5 Επισκόπηση των Επιπέδων Οι ιδιότητες των διαφόρων επιπέδων που παρουσιάστηκαν, συνοψίζονται στον πίνακα.1. Σημειώνονται επίσης οι βαθμοί ελευθερίας, οι μετασχηματισμοί και οι αμετάβλητες ιδιότητες για κάθε επίπεδο. Στη συνέχεια, στο Σχήμα., δίνεται ένα παράδειγμα ενός αντικειμένου που είναι ισοδύναμο με ένα κύβο για τα διαφορετικά γεωμετρικά επίπεδα. Επίπεδο Βαθμοί Μετασχηματισμός Αμετάβλητες Ιδιότητες Ελευθερίας Προβολικό 15 p11 p1 p13 p14 p1 p p3 p 4 TP p31 p3 p33 p34 p41 p4 p43 p44 Διαγώνια Αναλογία Συγγένεια 1 a11 a1 a13 a14 Σχετικές αποστάσεις a1 a a3 a κατά μήκος 4 TA κατεύθυνσης. a31 a3 a33 a34 Επίπεδο στο Άπειρο Μετρικό 7 sr11 sr1 sr13 tx Σχετικές αποστάσεις sr1 sr sr3 t και γωνίες. Y TM Απόλυτη Κωνική sr31 sr3 sr33 tz Τομή r11 r1 r13 tx Ευκλείδειο 6 r1 r r3 t Y T Απόλυτες Αποστάσεις E r31 r3 r33 tz Πίνακας.1: Αριθμός βαθμών ελευθερίας, μετασχηματισμοί και αμετάβλητες ιδιότητες που αντιστοιχούν στα διάφορα γεωμετρικά επίπεδα. 1

22 Σχήμα.1: Σχήματα που ισοδυναμούν με κύβο για τα διάφορα γεωμετρικά επίπεδα.

23 Κεφάλαιο 3. Το Μοντέλο της κάμερας Στο κεφάλαιο αυτό περιγράφεται η μοντελοποίηση της κάμερας. Αρχικά αναλύεται το μοντέλο μικρής οπής για την κάμερα και εν συνεχεία παρουσιάζονται οι παράμετροι της κάμερας. Τέλος, αναφέρονται οι παρεκκλίσεις από το γραμμικό μοντέλο της κάμερας και πως αυτές μπορούν να αντιμετωπιστούν. 3.1 Το μοντέλο κάμερας μικρής οπής Μία κάμερα είναι μία αντιστοίχιση μεταξύ του τρισδιάστατου κόσμου (χώρος αντικειμένων) και μίας δισδιάστατης εικόνας. Το μοντέλο που χρησιμοποιείται συνήθως στην υπολογιστική όραση για το πώς μία κάμερα απεικονίζει μία τρισδιάστατη σκηνή, είναι το μοντέλο μικρής οπής (pinhole camera model). Το μοντέλο μικρής οπής περιγράφει τη μαθηματική σχέση μεταξύ των συντεταγμένων ενός τρισδιάστατου σημείου και της προβολής του στο επίπεδο της εικόνας, μέσω μίας ιδανικής κάμερας μικρής οπής, όπου το διάφραγμα της κάμερας περιγράφεται ως ένα σημείο χωρίς χρήση φακών για εστίαση φωτός. Το μοντέλο δεν περιλαμβάνει γεωμετρικές στρεβλώσεις ή θόλωμα από κακή εστίαση αντικειμένων που προκαλούνται από φακούς και πεπερασμένου μεγέθους διαφράγματα. Επίσης, δεν λαμβάνει υπόψη ότι οι περισσότερες φωτογραφικές μηχανές έχουν μόνο διακριτές συντεταγμένες εικόνας. Αυτό σημαίνει ότι το μοντέλο μικρής οπής μπορεί να χρησιμοποιηθεί μόνο ως μία πρώτη προσέγγιση για την απεικόνιση μίας τρισδιάστατης σκηνής σε δισδιάστατη εικόνα. Η ισχύς του εξαρτάται από την ποιότητα της κάμερας και γενικά μειώνεται από το κέντρο της εικόνας προς τα άκρα καθώς αυξάνονται τα φαινόμενα παραμόρφωσης των φακών [6,7]. Κάποια φαινόμενα τα οποία το μοντέλο μικρής οπής δεν λαμβάνει υπόψη μπορούν να αντισταθμιστούν, για παράδειγμα η εφαρμογή κατάλληλων μετασχηματισμών συντεταγμένων στις συντεταγμένες της εικόνας και άλλα φαινόμενα, είναι αρκετά μικρά και μπορούν να αγνοηθούν αν χρησιμοποιηθεί κάμερα υψηλής ποιότητας. Γι αυτό το λόγο το μοντέλο μικρής οπής αποτελεί μία λογική επιλογή για την χρήση του στην υπολογιστική όραση. Σχήμα 3.1: Σχηματισμός εικόνας σε κάμερα μικρής οπής. 3

24 Στο Σχήμα 3.1 απεικονίζεται ο σχηματισμός της εικόνας μίας φωτογραφικής μηχανής μικρής οπής. Αποτελείται από δύο επιφάνειες, όπου στην πρώτη έχει ανοιχτεί μία μικρή οπή και μέσω αυτής κάποιες από τις ακτίνες του φωτός που εκπέμπονται ή αντανακλώνται από τη διέλευση ενός αντικειμένου, σχηματίζουν μία αντεστραμμένη εικόνα αυτού του αντικειμένου στην δεύτερη επιφάνεια. Το Σχήμα 3. δείχνει το γεωμετρικό μοντέλο μίας κάμερας μικρής οπής. Αποτελείται από ένα επίπεδο R που ονομάζεται επίπεδο αμφιβληστροειδούς (retinal plane) ή επίπεδο εικόνας στο οποίο η εικόνα σχηματίζεται μέσω μίας λειτουργίας που καλείται προοπτική προβολή και αποτελείται από ένα σημείο C που καλείται οπτικό κέντρο και βρίσκεται σε απόσταση f από το επίπεδο εικόνας, όπου f είναι το εστιακό μήκος του οπτικού συστήματος. Σε αυτή τη θέση βρίσκεται επίσης το διάφραγμα της κάμερας. Το σημείο C χρησιμοποιείται για τον σχηματισμό της εικόνας m στο επίπεδο αμφιβληστροειδούς του τρισδιάστατου σημείου M ως την τομή της ευθείας (C,M) με το επίπεδο R. Αυτή είναι η πράσινη γραμμή και καλείται γραμμή προβολής του σημείου Μ στην κάμερα. Η προβολή του σημείου Μ στο επίπεδο εικόνας σημειώνεται ως m και δίνεται από την τομή της γραμμής προβολής με το επίπεδο R. Ο άξονας Χ3 δείχνει προς την διεύθυνση σκόπευσης της κάμερας και αναφέρεται ως οπτικός άξονας. Το σημείο O που βρίσκεται στην τομή του οπτικού άξονα με το επίπεδο της εικόνας ονομάζεται κύριο σημείο (principal point) ή κέντρο εικόνας. Το επίπεδο που είναι παράλληλο στο επίπεδο εικόνας και περιέχει το οπτικό κέντρο καλείται κυρίως επίπεδο ή εστιακό επίπεδο της κάμερας [8]. Σχήμα 3.: Το μοντέλο κάμερας μικρής οπής. Έστω ότι επιλέγουμε σύστημα συντεταγμένων C(x,y,z) για τον τρισδιάστατο χώρο και c(u,v) για το επίπεδο R όπως φαίνεται στο Σχήμα 3.3. Από το Σχήμα αυτό φαίνεται καθαρά ότι η σχέση μεταξύ των συντεταγμένων εικόνας και των συντεταγμένων του τρισδιάστατου χώρου μπορεί να γραφεί ως: 4

25 η οποία μπορεί να ξαναγραφεί γραμμικά ως: f u v (3.1) z x y x U f y V 0 f 0 0 (3.) z S όπου u U / S και / v V S αν S 0 (3.3) Αυτές οι εξισώσεις μάς επιτρέπουν να εκλάβουμε τα U,V,S ως προβολικές συντεταγμένες ενός σημείου στο επίπεδο εικόνας. Αν S 0, δηλαδή z 0, τότε το τρισδιάστατο σημείο βρίσκεται στο εστιακό επίπεδο της κάμερας. Συνεπώς, οι συντεταγμένες u, v δεν μπορούν να καθοριστούν και το αντίστοιχο σημείο βρίσκεται στο άπειρο. Αυτό δείχνεται στο Σχήμα 3.4 όπου το σημείο Μ έχει τοποθετηθεί αυθαίρετα κοντά στο εστιακό επίπεδο. Τέτοια σημεία με S 0 καλούνται σημεία στο άπειρο του επιπέδου εικόνας και S 0 είναι η εξίσωση της ευθείας στο άπειρο αυτού του επιπέδου. Σχήμα 3.3: Μετασχηματισμός συντεταγμένων για το εστιακό επίπεδο και το επίπεδο εικόνας. 5

26 Σχήμα 3.4: Όταν το Μ πλησιάζει στο εστιακό επίπεδο, η προοπτική προβολή του m στο επίπεδο εικόνας τείνει στο άπειρο. Να σημειωθεί ότι οι εξισώσεις 3. είναι προβολικές δηλαδή καθορίζονται μέχρι ένα συντελεστή κλίμακας και μπορούν να ξαναγραφούν με χρήση των προβολικών συντεταγμένων του M(X,Y,Z,T): X U f Y V 0 f 0 0 (3.4) Z S T Οι παραπάνω σχέσεις εκφράζουν το γεγονός ότι η σχέση μεταξύ των συντεταγμένων εικόνας και χώρου είναι γραμμική με προβολικές συντεταγμένες και μπορεί σε μορφή πινάκων ως: ~ ~ ~ m (3.5) P M όπου m ~ [ U, V, S] T και ~ M [ X, Y, Z, T] T. Μία κάμερα μπορεί να θεωρηθεί ως ένα σύστημα που εκτελεί ένα γραμμικό προβολικό μετασχηματισμό από τον προβολικό 3 χώρο P στο προβολικό επίπεδο P. Αυτό είναι ένα από τα πολλά παραδείγματα όπου η χρήση της προβολικής γεωμετρίας επιφέρει απλοποιήσεις, δηλαδή αντί να χρησιμοποιηθούν οι μη γραμμικές σχέσεις (3.1), γίνεται χρήση της γραμμικής σχέσης (3.5). Συνεπώς η κυρία ιδιότητα αυτού του μοντέλου είναι ότι η σχέση μεταξύ των συντεταγμένων του χώρου και των συντεταγμένων των εικονοστοιχείων είναι προβολικά γραμμική. Αυτή η ιδιότητα είναι ανεξάρτητη από την επιλογή του συστήματος των συντεταγμένων στο επίπεδο εικόνας ή από τον τρισδιάστατο χώρο. Ο πίνακας P ονομάζεται προβολικός πίνακας (projection matrix) και περιέχει όλες τις πληροφορίες που χρειαζόμαστε για να προσδιορίσουμε την προβολή οποιουδήποτε σημείου του χώρου στην εικόνα, μέσω της κάμερας. 6

27 3. Παράμετροι Κάμερας Στο προηγούμενο υποκεφάλαιο είδαμε τον προβολικό πίνακα στην απλούστερη μορφή του, δεδομένου ότι είχαμε επιλέξει ένα ειδικό σύστημα συντεταγμένων για τον χώρο και την εικόνα. Οι προβολικές εξισώσεις που περιγράφηκαν ισχύουν μόνο όταν όλες οι αποστάσεις υπολογίζονται στο πλαίσιο αναφοράς της κάμερας και οι συντεταγμένες της εικόνας έχουν την αρχή τους στο κύριο σημείο. Ωστόσο, σε πραγματικές συνθήκες οι θέσεις των σημείων σε μια εικόνα μετρούνται σε εικονοστοιχεία, η αρχή των αξόνων είναι στην πάνω αριστερή γωνία της εικόνας, η θέση και ο προσανατολισμός της κάμερας γενικά είναι τυχαίος και υπάρχουν παραμορφώσεις οι οποίες οφείλονται κυρίως στην κάμερα. Συνεπώς για να καθοριστεί η σχέση μεταξύ των συντεταγμένων ενός σημείου του τρισδιάστατου χώρου και των συντεταγμένων της προβολής του στην εικόνα έτσι ώστε να μπορούν να γίνουν μετρήσεις, πρέπει να γνωρίζουμε τις παραμέτρους της κάμερας. Αυτές διακρίνονται σε εσωγενείς (intrinsic), οι οποίες συσχετίζουν το σύστημα συντεταγμένων της κάμερας με το εξιδανικευμένο σύστημα συντεταγμένων που περιγράφηκε στο προηγούμενο υποκεφάλαιο και σε εξωγενείς (extrinsic), οι οποίες συσχετίζουν το σύστημα συντεταγμένων της κάμερας με ένα σταθερό σύστημα συντεταγμένων και καθορίζουν τη θέση και τον προσανατολισμό του στο χώρο [9,10] Εσωγενείς Παράμετροι Όπως αναφέρθηκε οι εσωγενείς παράμετροι ορίζονται ως οι παράμετροι που είναι απαραίτητες για να συσχετιστούν οι συντεταγμένες εικονοστοιχείου ενός σημείου της εικόνας με τις αντίστοιχες συντεταγμένες στο επίπεδο αναφοράς της κάμερας. Το επίπεδο εικόνας της κάμερας γενικά είναι διαφορετικό (Σχήμα 3.5) από αυτό που περιγράφηκε στο προηγούμενο υποκεφάλαιο διότι βρίσκεται σε απόσταση f 1 από την οπή (είχαμε υποθέσει ότι η κάμερα εστιάζει στο άπειρο και έτσι η απόσταση μεταξύ του διαφράγματος και του επιπέδου της εικόνας ισούται με το εστιακό μήκος) και οι συντεταγμένες (u,v) εκφράζονται συνήθως σε μονάδες εικονοστοιχείων. Επιπλέον, τα εικονοστοιχεία μπορεί να είναι ορθογώνια και όχι τετραγωνικά, επομένως η κάμερα έχει δύο επιπλέον παραμέτρους κλίμακας k και l για τις οποίες ισχύει: x u kf kf u z x v lf lf v z (3.6) 7

28 όπου u, v οι συντεταγμένες για το κανονικοποιημένο επίπεδο εικόνας ( f 1). Το f είναι η απόσταση εκφρασμένη για παράδειγμα σε μέτρα και το εικονοστοιχείο έχει διαστάσεις 1 1, όπου k και l εκφράζονται σε pixels m 1. Οι παράμετροι k, l, f δεν k l είναι ανεξάρτητες και μπορούν να αντικατασταθούν από τις μεγεθύνσεις kf και lf εκφρασμένες σε μονάδες pixel. Σχήμα 3.5: Πραγματικό και κανονικοποιημένο σύστημα συντεταγμένων εικόνας. Γενικά, η αρχή του συστήματος συντεταγμένων της κάμερας είναι μία γωνία c του επιπέδου εικόνας (στην περίπτωση του Σχήματος 3.5 η κάτω αριστερή, ή μερικές φορές η πάνω αριστερή όταν οι συντεταγμένες της εικόνας είναι οι δείκτες γραμμών και στηλών του εικονοστοιχείου) και όχι το κέντρο του. Έτσι προστίθενται δύο παράμετροι, u 0 και v 0, που καθορίζουν τη θέση (σε μονάδες pixel) του κέντρου εικόνας c 0 στο σύστημα συντεταγμένων του επιπέδου εικόνας. Συνεπώς οι εξισώσεις (3.6) αντικαθίστανται από τις: u u u v vv0 0 (3.7) Επίσης το σύστημα συντεταγμένων της κάμερας μπορεί να είναι λοξό, λόγω κατασκευαστικού λάθους και έτσι η γωνία θ μεταξύ των δύο αξόνων της εικόνας να μην ισούται με 90 μοίρες (χωρίς ωστόσο να διαφέρει πολύ από αυτήν την τιμή). Σε αυτή την περίπτωση οι εξισώσεις (3.7) μετασχηματίζονται ως εξής: 8

29 u u cot v u0 (3.8) v v v0 sin Οι παραπάνω εξισώσεις μπορούν να γραφούν με τη μορφή πίνακα ως εξής: m K m, όπου u m v, 1 u m v και 1 K cot u0 0 v 0 sin (3.9) Ο 3x3 πίνακας K είναι άνω τριγωνικός και καλείται πίνακας βαθμονόμησης της κάμερας. Συνδυάζοντας τις παραπάνω εξισώσεις έχουμε τελικά: cot u0 0x u 1 y v 0 v0 0 z sin z (3.10) Οι πέντε παράμετροι α, β, θ, u 0, v 0 καλούνται εσωγενείς παράμετροι της κάμερας. 3.. Εξωγενείς Παράμετροι Όπως ορίστηκε προηγουμένως το ομογενές διάνυσμα συντεταγμένων M ( x, y, z,1) T του τρισδιάστατου σημείου Μ αποτελεί μέρος ενός σταθερού συστήματος συντεταγμένων. Πρακτικά όμως το σύστημα συντεταγμένων της κάμερας δεν συμπίπτει αναγκαστικά με το σταθερό σύστημα συντεταγμένων του χώρου. Η αλλαγή των συντεταγμένων μεταξύ του συστήματος συντεταγμένων της κάμερας και του σταθερού συστήματος συντεταγμένων του χώρου είναι ένας άκαμπτος μετασχηματισμός (rigid transformation) και μπορεί να γραφεί ως εξής: M C R t M T 03 1 W (3.11) όπου M W είναι το διάνυσμα των ομογενών συντεταγμένων του σημείου Μ στο σταθερό σύστημα συντεταγμένων του χώρου και M C αντίστοιχα για το σύστημα συντεταγμένων της κάμερας. R είναι ένας πίνακας περιστροφής 3x3 και το t είναι ένα 3x1 διάνυσμα παράλληλης μετατόπισης. Αντικαθιστώντας την σχέση (3.11) στην (3.10) έχουμε: 9

30 cot u0 0 x u 1 R t y v 0 v0 0 sin 0 T z 3 1 z P (3.1) Αυτή είναι η πιο γενική μορφή της εξίσωσης της προοπτικής προβολής. Ο πίνακας προοπτικής προβολής P καλείται πίνακας της κάμερας. Η γνώση του πίνακα P καθορίζει τη θέση του οπτικού κέντρου της κάμερας στο σταθερό σύστημα συντεταγμένων του χώρου. Ο πίνακας περιστροφής R καθορίζεται από τρεις ανεξάρτητες παραμέτρους (για παράδειγμα γωνίες Euler). Προσθέτοντας αυτές τις παραμέτρους με τις τρεις συντεταγμένες του διανύσματος t, λαμβάνουμε ένα σύνολο έξι εξωγενών παραμέτρων (extrinsic parameters), που καθορίζουν τη θέση και τον προσανατολισμό της κάμερας σε σχέση με το σταθερό σύστημα συντεταγμένων του χώρου. Να σημειωθεί ότι το βάθος z στην παραπάνω σχέση, δεν είναι ανεξάρτητο T T T από τα N, Μ, διότι αν τα p1, p, p 3 αντιστοιχούν στις τρεις γραμμές του πίνακα P, τότε θα ισχύει ότι z p3m. Ο πίνακας προοπτικής προβολής μπορεί να γραφεί αναλυτικά ως συνάρτηση των T T T πέντε εσωγενών παραμέτρων, των τριών γραμμών r 1, r, r 3 του πίνακα R και των τριών συντεταγμένων t 1, t, t 3 του διανύσματος t ως εξής: T T T r1 cot r u0r3 t1 cott u0t 3 T T P r v0r3 t v0t 3 sin sin T r3 t 3 (3.13) 3.3 Μη γραμμικές παραμορφώσεις Το μοντέλο κάμερας μικρής οπής (γραμμικό μοντέλο) όπως παρουσιάστηκε σε προηγούμενο υποκεφάλαιο περιγράφει με ικανοποιητική ακρίβεια την συμπεριφορά μίας κάμερας. Ωστόσο, οι σύγχρονες κάμερες διαθέτουν φακό (ή πιθανώς ένα σύστημα φακών) που συλλέγει το φως από μία ευρεία περιοχή και το ξαναεστιάζει στο επίπεδο εικόνας. Πρακτικά, αυτό οδηγεί σε ένα αριθμό αποκλίσεων από το μοντέλο μικρής οπής. Ωστόσο, υπάρχει μία απόκλιση από το μοντέλο μικρής οπής που χρήζει αναφοράς και είναι η ακτινική παραμόρφωση (radial distortion). Εξαιτίας της ατελούς κατασκευής των φακών της κάμερας, δεν υφίσταται πάντα η απαιτούμενη καμπυλότητα με αποτέλεσμα η εικόνα να εμφανίζει ακτινική παραμόρφωση, δηλαδή τα σημεία στην εικόνα δεν βρίσκονται στη θέση που προβλέπει το γραμμικό μοντέλο, αλλά υφίστανται ακτινική μετατόπιση ως προς το 30

31 κύριο σημείο της εικόνας. Η ακτινική παραμόρφωση ταξινομείται συνήθως ως μία από τις ακόλουθες δύο περιπτώσεις: Παραμόρφωση Barrel: Η μεγέθυνση της εικόνας μειώνεται με την απόσταση από τον οπτικό άξονα (αρνητική μετατόπιση). Παραμόρφωση Pincushion: Η μεγέθυνση της εικόνας αυξάνεται με την απόσταση από τον οπτικό άξονα (θετική μετατόπιση). Οι παραπάνω περιπτώσεις απεικονίζονται στο Σχήμα 3.6 [11]. (α) (β) (γ) Σχήμα 3.6: (α) Αρχική εικόνα, (β), (γ) περιπτώσεις ακτινικής παραμόρφωσης. Η μίξη των δύο αυτών περιπτώσεων που μερικές φορές αναφέρεται ως παραμόρφωση moustache (moustache distortion) ή σύνθετη παραμόρφωση (complex distortion) είναι λιγότερο συνηθισμένη, αλλά όχι σπάνια. Ξεκινάει όπως η παραμόρφωση barrel κοντά στο κέντρο της εικόνας και σταδιακά μετατρέπεται σε pincushion προς την περιφέρεια της εικόνας, κάνοντας οριζόντιες γραμμές στο πάνω μισό του πλαισίου όπως φαίνεται στο Σχήμα 3.7. Σχήμα 3.7: Παραμόρφωση moustache. 31

32 Η ακτινική παραμόρφωση και η εφαπτομενική παραμόρφωση (Σχήμα 3.8, [1]) που προκαλείται όταν τα φυσικά στοιχεία του φακού και το επίπεδο εικόνας δεν είναι παράλληλα (γνωστή και ως παραμόρφωση εκκεντρότητας), μπορούν να διορθωθούν με το ακόλουθο μοντέλο. Το κανονικό μοντέλο για την ακτινική και για την παραμόρφωση εκκεντρότητας αντιστοιχίζει τις παραμορφωμένες συντεταγμένες εικόνας ( x, y ), που είναι παρατηρήσιμες, με τις μη παραμορφωμένες d d συντεταγμένες του επιπέδου εικόνας ( x, y ), οι οποίες δεν είναι φυσικώς μετρήσιμες, σύμφωνα με την εξίσωση: 4 6 u d d 1 d d 3 d 1 d d d d 3 d x x x ( K r K r K r...) [ P( r x ) P x y ][1 Pr...] 4 6 u d d 1 d d 3 d d d 1 d d 3 d y y y ( K r K r K r...) [ P ( r y ) P x y ][1 Pr...] (3.11) όπου u u xd xd cx, yd yd cy, d d d r x y. Τα K 1, K, K 3 είναι οι συντελεστές της ακτινικής παραμόρφωσης τα P 1, P, P 3 οι συντελεστές της παραμόρφωσης εκκεντρότητας και r d η ακτίνα ενός σημείου της εικόνας από το κέντρο της παραμόρφωσης ( c, c ) (υποτίθεται ότι είναι το κύριο σημείο). Συνήθως μοντελοποιούνται μόνο λίγες παράμετροι παραμόρφωσης καθώς οι όροι υψηλότερης τάξης είναι συγκριτικά ασήμαντοι. Συνεπώς, το πρόβλημα της βαθμονόμησης της παραμόρφωσης του φακού ανάγεται πρακτικά στην ανάκτηση των σημαντικών συντελεστών παραμόρφωσης κατά μήκους του κέντρου παραμόρφωσης ( c, c ). x y x y Σχήμα 3.8: Εφαπτομενική παραμόρφωση. 3

33 Στο Σχήμα 3.9 απεικονίζεται ένα παράδειγμα ακτινικής παραμόρφωσης. Στο Σχήμα 3.9(α) διακρίνεται εύκολα η εικόνα στην οποία εμφανίζεται ακτινική παραμόρφωση, καθώς οι γραμμές που ήταν κανονικά ευθείες, έχουν γίνει καμπύλες στην εικόνα (κόκκινη διακεκομμένη γραμμή). Στο Σχήμα 3.9(β) μετά από την εφαρμογή ενός αντίστροφου μοντέλου ακτινικής παραμόρφωσης, οι γραμμές που ήταν κανονικά ευθείες αντιστοιχούν σωστά στις ευθείες γραμμές της εικόνας [13,14]. (α) (β) Σχήμα 3.9: Ακτινική παραμόρφωση: (α) Εικόνα με ακτινική παραμόρφωση, (β) Διορθωμένη εικόνα. 33

34 Κεφάλαιο 4. Βαθμονόμηση Κάμερας Στο κεφάλαιο αυτό παρουσιάζονται γενικές κατηγορίες βαθμονόμησης της κάμερας, καθώς και ταξινόμηση αυτών ανάλογα με μέθοδο βαθμονόμησης που χρησιμοποιείται. Μετά, ακολουθεί η περιγραφή της μεθόδου του Zhang, μαζί με την υλοποίησή της, χρησιμοποιώντας 6 εικόνες βαθμονόμησης. 4.1 Γενικά Γενικά, η βαθμονόμηση της κάμερας είναι ένα απαραίτητο βήμα στην τρισδιάστατη υπολογιστική όραση προκειμένου να εξαχθεί μετρική πληροφορία από δισδιάστατες εικόνες. Βαθμονόμηση κάμερας (camera calibration) ονομάζεται η διαδικασία εύρεσης των παραμέτρων της κάμερας (εσωγενών και εξωγενών). Η διαδικασία αυτή είναι απαραίτητη καθώς οι παραμορφώσεις που εισάγονται στις πραγματικές κάμερες, έχουν ως αποτέλεσμα οι συντεταγμένες ενός σημείου του χώρου να μη συμπίπτουν με τις συντεταγμένες της προβολής του στην εικόνα. Πρακτικά, δεν είναι συχνά δυνατή η βαθμονόμηση μίας κάμερας άπαξ και δια παντός. Τέτοια παραδείγματα αποτελούν μία κάμερα που κινείται (πάνω σε ένα κινούμενο όχημα) ή όταν αλλάζουν οι εσωγενείς παράμετροι (π.χ. κάμερα παρακολούθησης με zoom). Επιπλέον, σε κάποιες περιπτώσεις, η βαθμονομημένη πληροφορία απλά δεν είναι διαθέσιμη, όπως για παράδειγμα ο υπολογισμός της κίνησης μίας κάμερας από μία αλληλουχία βίντεο ή η κατασκευή ενός μοντέλου εικονικής πραγματικότητας από αρχείο βιντεοσκοπήσεων, όπου η κίνηση και η εσωγενής πληροφορία βαθμονόμησης είναι άγνωστες. Ας εξετάσουμε την έννοια της βαθμονομημένης κάμερας από μία διαφορετική σκοπιά. Όπως έχει αναφερθεί σε προηγούμενο κεφάλαιο, η Ευκλείδεια γεωμετρία του τρισδιάστατου κόσμου ορίζεται με τον προσδιορισμό ενός επιπέδου στο άπειρο στον τρισδιάστατο προβολικό χώρο και της απόλυτης κωνικής τομής που βρίσκεται στο επίπεδο αυτό. Για μία κάμερα που δεν βρίσκεται στο επίπεδο στο άπειρο, το επίπεδο στο άπειρο αντιστοιχίζεται ένα προς ένα με το επίπεδο της εικόνας και αυτό συμβαίνει διότι οποιοδήποτε σημείο της εικόνας ορίζει μία ακτίνα στον χώρο που τέμνει το επίπεδο στο άπειρο σε ένα μοναδικό σημείο. Συνεπώς, το επίπεδο στο άπειρο δεν παρέχει καμία επιπλέον πληροφορία για την εικόνα. Ωστόσο, η απόλυτη κωνική τομή, ως κωνική τομή του επιπέδου στο άπειρο, πρέπει να προβάλει σε μία κωνική τομή στην εικόνα. Αυτή η προκύπτουσα καμπύλη εικόνας ονομάζεται Εικόνα της Απόλυτης Κωνικής Τομής (Image of the Absolute Conic - IAC). Όταν είναι γνωστή η θέση της Εικόνας της Απόλυτης Κωνικής Τομής, τότε λέμε ότι η κάμερα είναι βαθμονομημένη. Στην περίπτωση όπου δεν γνωρίζουμε κάτι σχετικά με τη βαθμονόμηση της κάμερας ή της σκηνής, το μόνο που είναι εφικτό είναι μία προβολική ανακατασκευή. Η προβολική ανακατασκευή όμως είναι ανεπαρκής για πολλές εφαρμογές, όπως για παράδειγμα στην γραφική με υπολογιστές (computer graphics), δεδομένου ότι 34

35 περιλαμβάνει παραμορφώσεις του μοντέλου που δείχνουν παράξενες για έναν άνθρωπο που έχει συνηθίσει τον Ευκλείδειο κόσμο. Προκειμένου λοιπόν να ληφθεί μία ανακατασκευή του μοντέλου στην οποία τα αντικείμενα έχουν το σωστό (Ευκλείδειο) Σχήμα, είναι απαραίτητο να καθοριστεί η βαθμονόμηση της κάμερας. Η βαθμονόμηση της κάμερας είναι επαρκής για να προσδιοριστεί η Ευκλείδεια δομή της σκηνής, η οποία όπως έχουμε αναφέρει σε προηγούμενο κεφάλαιο είναι ισοδύναμη με τον καθορισμό του επιπέδου στο άπειρο και της απόλυτης κωνικής τομής. 4. Κατηγορίες μεθόδων εύρεσης παραμέτρων Η βαθμονόμηση της κάμερας μπορεί να ταξινομηθεί σύμφωνα με αρκετά διαφορετικά κριτήρια. Για παράδειγμα: Γραμμική ή μη γραμμική βαθμονόμηση κάμερας (συνήθως διαφοροποιούνται στην μοντελοποίηση της παραμόρφωσης των φακών). Εσωγενής ή εξωγενής βαθμονόμηση κάμερας. Η εσωγενής βαθμονόμηση ασχολείται μόνο με τη λήψη των φυσικών και οπτικών παραμέτρων της κάμερας, ενώ η εξωγενής βαθμονόμηση ασχολείται με τη μέτρηση της θέσης και του προσανατολισμού της κάμερας στην σκηνή. Έμμεση (implicit) ή άμεση (explicit) βαθμονόμηση. Η έμμεση βαθμονόμηση είναι η διαδικασία της βαθμονόμησης μίας κάμερας χωρίς τον άμεσο υπολογισμό των φυσικών της παραμέτρων. Αν και τα αποτελέσματα μπορούν να χρησιμοποιηθούν για τρισδιάστατες μετρήσεις καθώς και για την παραγωγή των συντεταγμένων της εικόνας, εντούτοις δεν χρησιμεύουν για μοντελοποίηση της κάμερας, αφού οι ληφθείσες παράμετροι δεν αντιστοιχούν με τις φυσικές τους. Μέθοδοι που χρησιμοποιούν γνωστά τρισδιάστατα σημεία ως πρότυπα βαθμονόμησης ή ακόμη και μία μειωμένη ομάδα τρισδιάστατων σημείων, σε σχέση με άλλες που χρησιμοποιούν γεωμετρικές ιδιότητες στην σκηνή, όπως ευθείες διαφυγής (vanishing lines) ή άλλα χαρακτηριστικά [15]. Αυτές οι διαφορετικές προσεγγίσεις μπορούν επίσης να ταξινομηθούν σε σχέση με την μέθοδο βαθμονόμησης που χρησιμοποιείται για την εκτίμηση των παραμέτρων του μοντέλου της κάμερας ως εξής: 1. Τεχνικές μη γραμμικής βελτιστοποίησης. Μία τεχνική βαθμονόμησης γίνεται μη γραμμική όταν συμπεριλαμβάνεται στο μοντέλο της κάμερας οποιοδήποτε είδος ατέλειας των φακών. Σε αυτή την περίπτωση, οι παράμετροι της κάμερας λαμβάνονται συνήθως μέσω επαναλήψεων, με τον περιορισμό ελαχιστοποίησης μίας καθορισμένης συνάρτησης. Η συνάρτηση ελαχιστοποίησης είναι συνήθως η απόσταση μεταξύ των εικονιζόμενων σημείων και των μοντελοποιημένων προβολών που λαμβάνονται από την επανάληψη. Το πλεονέκτημα αυτών των επαναληπτικών τεχνικών είναι ότι σχεδόν οποιοδήποτε μοντέλο μπορεί να βαθμονομηθεί και η ακρίβεια αυξάνεται συνήθως με αύξηση του αριθμού επαναλήψεων έως τη σύγκλισή 35

36 τους. Ωστόσο, αυτές οι τεχνικές απαιτούν μία καλή αρχική υπόθεση προκειμένου να εξασφαλιστεί η σύγκλιση.. Γραμμικές τεχνικές που υπολογίζουν τον πίνακα μετασχηματισμού. Αυτές οι τεχνικές χρησιμοποιούν τη μέθοδο των ελαχίστων τετραγώνων για την εξαγωγή του πίνακα μετασχηματισμού που συσχετίζει τρισδιάστατα σημεία με τις δισδιάστατες προβολές τους. Το πλεονέκτημα εδώ είναι η απλότητα του μοντέλου, η οποία συνεπάγεται μία απλή και γρήγορη βαθμονόμηση. Το μειονέκτημα είναι ότι οι γραμμικές τεχνικές δεν μπορούν να χρησιμοποιηθούν για μοντελοποίηση της παραμόρφωσης των φακών, κάτι που συνεπάγεται μία πρόχειρη ακρίβεια του συστήματος. Επιπλέον, μερικές φορές είναι δύσκολο να εξαχθούν οι παράμετροι από τον πίνακα λόγω της έμμεσης βαθμονόμησης που χρησιμοποιείται. 3. Τεχνικές δύο βημάτων. Αυτές οι τεχνικές χρησιμοποιούν μία γραμμική βελτιστοποίηση για τον υπολογισμό μερικών παραμέτρων και ως δεύτερο βήμα υπολογίζονται επαναληπτικά οι υπόλοιπες παράμετροι. Οι τεχνικές αυτές επιτρέπουν μία γρήγορη βαθμονόμηση ελαττώνοντας τον αριθμό τον επαναλήψεων. Επιπλέον, η σύγκλιση είναι σχεδόν εγγυημένη λόγω της γραμμικής υπόθεσης που προκύπτει από το πρώτο βήμα. Οι τεχνικές δύο βημάτων εκμεταλλεύονται τα πλεονεκτήματα των μεθόδων που περιγράφτηκαν προηγουμένως. Τέλος, ας σημειωθεί ότι υπάρχουν και οι μέθοδοι για αυτοβαθμονόμηση (selfcalibration). Οι τεχνικές αυτής της κατηγορίας δεν χρησιμοποιούν κάποιο αντικείμενο βαθμονόμησης. Απλά με την κίνηση της κάμερας σε μία στατική σκηνή, η ακαμψία της σκηνής παρέχει δύο γενικούς περιορισμούς στις εσωγενείς παραμέτρους της κάμερας από μία μετατόπισή της, μόνο με χρήση πληροφορίας της εικόνας. Συνεπώς, αν οι εικόνες τραβηχτούν από την ίδια κάμερα με σταθερές εσωγενείς παραμέτρους, οι αντιστοιχίσεις μεταξύ τριών εικόνων είναι επαρκείς για την ανάκτηση των εσωγενών και των εξωγενών παραμέτρων οι οποίες μας επιτρέπουν την ανακατασκευή τρισδιάστατης δομής μέχρι το επίπεδο της ομοιότητας. Αν και αυτή η προσέγγιση είναι αρκετά ευέλικτη, δεν είναι ακόμη ώριμη λόγω των πολλών παραμέτρων που πρέπει να εκτιμηθούν και συνεπώς δεν μπορούμε πάντα να λάβουμε αξιόπιστα αποτελέσματα [16]. 4.3 Μέθοδος Zhang Η μέθοδος Zhang είναι μία δημοφιλής τεχνική που χρησιμοποιείται για την βαθμονόμηση της κάμερας. Η μοναδική απαίτηση για την κάμερα είναι η παρατήρηση ενός επίπεδου πρότυπου από τουλάχιστον δύο διαφορετικούς προσανατολισμούς. Το πρότυπο μπορεί να τυπωθεί σε ένα εκτυπωτή λέιζερ και να επισυναφθεί σε μία "λογική" επίπεδη επιφάνεια. Είτε η κάμερα είτε το επίπεδο πρότυπο μπορούν να κινηθούν με το χέρι. Η κίνηση δεν χρειάζεται να είναι γνωστή. Αυτή η προσέγγιση βρίσκεται μεταξύ της φωτογραμμετρικής βαθμονόμησης και της αυτοβαθμονόμησης, διότι χρησιμοποιείται δισδιάστατη μετρική πληροφορία και όχι τρισδιάστατη ή καθαρά έμμεση. Η προτεινόμενη τεχνική έχει εξεταστεί τόσο με 36

37 προσομείωση σε υπολογιστή όσο και με πραγματικά δεδομένα με πολύ καλά αποτελέσματα. Σε σύγκριση με κλασικές τεχνικές, αυτή η προσέγγιση είναι αρκετά πιο ευέλικτη και συγκρινόμενη με την αυτοβαθμονόμηση, παρουσιάζει μεγαλύτερη σθεναρότητα [17]. Σε αντιστοιχία με τη σχέση (3.1) που περιγράφτηκε στο προηγούμενο κεφάλαιο έχουμε: sm A[ R t] M με c u0 A 0 v (4.1) όπου s είναι ένας αυθαίρετος παράγοντας κλιμάκωσης, ( Rt, ) είναι οι εξωγενείς παράμετροι, A είναι ο εσωγενής πίνακας της κάμερας με ( u0, v 0) τις συντεταγμένες του κύριου σημείου, c την παράμετρο που περιγράφει την λοξότητα των δύο αξόνων της εικόνας uv, και τα σημεία mmσε, ομογενείς συντεταγμένες. Χωρίς απώλεια της γενικότητας, υποθέτουμε ότι το πρότυπο επιπέδου βρίσκεται πάνω στο Z 0 του συστήματος συντεταγμένων του χώρου. Αν συμβολίσουμε την i η στήλη του πίνακα περιστροφής R ως r i, από την σχέση (4.1) προκύπτει: X u X Y s v Ar1 r r3 t Ar1 r t Y (4.) Για το τρισδιάστατο σημείο M ισχύει M [ X, Y] T και σε ομογενείς συντεταγμένες M [ X, Y,1] T, αφού το Z ισούται πάντα με μηδέν. Συνεπώς, ένα σημείο μοντέλου M και η εικόνα του m συσχετίζονται με την ομογραφία H : sm H M με H Ar r t (4.3) 1 Ο 3x3 πίνακας H ορίζεται μέχρι ένα παράγοντα κλιμάκωσης. Δεδομένης μίας εικόνας από το πρότυπο του επιπέδου, μπορεί να εκτιμηθεί μία ομογραφία H h h h 1 3. Αντικαθιστώντας στην σχέση (4.3) έχουμε: h h h Ar r t (4.4) όπου είναι μία αυθαίρετη σταθερά. Έχοντας υπόψη ότι τα r 1, r είναι ορθοκανονικά έχουμε: h A T T 1 1 A h 0 h A A h h A A h T T 1 T T (4.5) (4.6) 37

38 όπου T A είναι η συντόμευση για 1 ( A ) T ή T ( A ) 1. Οι δύο τελευταίες σχέσεις αποτελούν τους δύο βασικούς περιορισμούς για τις εσωγενείς παραμέτρους, δεδομένης μίας ομογραφίας. Επειδή μία ομογραφία έχει 8 βαθμούς ελευθερίας και υπάρχουν 6 εξωγενείς παράμετροι (3 για περιστροφή και 3 για μετατόπιση), λαμβάνουμε μόνο περιορισμούς για τις εσωγενείς παραμέτρους. Για την επίλυση της βαθμονόμησης κάμερας, ξεκινάμε με μία αναλυτική λύση που ακολουθείται από μία τεχνική μη γραμμικής βελτιστοποίησης, η οποία βασίζεται στο κριτήριο της μέγιστης πιθανοφάνειας. Στο τελευταίο στάδιο, λαμβάνουμε υπόψη την παραμόρφωση των φακών, παρέχοντας αναλυτικές και μη γραμμικές λύσεις. Για τη λύση σε κλειστή μορφή θεωρούμε τον ακόλουθο πίνακα: 1 c cv0 u0 B11 B1 B13 T 1 c c 1 c( cv0 u0 ) v 0 B A A B1 B B 3 B31 B3 B 33 cv0 u0 c( cv0 u0 ) v0 ( cv0 u0 ) v 0 1 (4.7) Να σημειωθεί ότι ο πίνακας B είναι συμμετρικός και καθορίζεται από ένα διάνυσμα b το οποίο ουσιαστικά περιγράφει την εικόνα της απόλυτης κωνικής τομής: T b B, B, B, B, B, B (4.8) Συνεπώς, οι βασικοί περιορισμοί (4.5) και (4.6) μπορούν να ξαναγραφούν ως ομογενείς εξισώσεις με χρήση του διανύσματος b ως εξής: T v1 ( v11 v ) T b 0 (4.9) με vij hi 1hj1, hi 1hj hi hj1, hi hj, hi 3hj1 hi 1hj3, hi 3hj hi hj3, hi 3h j3. Για n εικόνες του πρότυπου επιπέδου, έχουμε n τέτοιες εξισώσεις όπως της σχέσης (4.9): Vb 0 (4.10) όπου V είναι ένας n 6 πίνακας. Η λύση της σχέσης (4.10) είναι γνωστή ως T ιδιοδιάνυσμα του VV που σχετίζεται με την μικρότερη ιδιοτιμή. Μόλις εκτιμηθεί το διάνυσμα b, μπορεί να υπολογιστεί ο εσωγενής πίνακας της κάμερας A και στην συνέχεια από τη σχέση (4.3) να υπολογιστούν οι εξωγενείς παράμετροι για κάθε εικόνα. Η παραπάνω λύση λαμβάνεται μέσω της ελαχιστοποίησης μίας αλγεβρικής απόστασης η οποία δεν έχει κάποια φυσική σημασία, αλλά μπορεί να βελτιωθεί με την διαδικασία της μέγιστης πιθανοφάνειας. Έστω ότι έχουμε n εικόνες ενός πρότυπου επιπέδου με m σημεία πάνω σε αυτό. Υποθέτουμε ότι στα σημεία της εικόνας έχει υπεισέλθει ανεξάρτητος και πανομοιότυπος κατανεμημένος θόρυβος. Η T 38

39 εκτίμηση της μέγιστης πιθανοφάνειας μπορεί να γίνει ελαχιστοποιώντας την ακόλουθη συνάρτηση: n m mij m( A, Ri, ti, M j ) (4.11) i1 j1 όπου m( A, Ri, ti, M j ) είναι η προβολή του σημείου M j στην i εικόνα, σύμφωνα με την σχέση (4.3). Η περιστροφή R παραμετροποιείται από ένα διάνυσμα 3 παραμέτρων που συμβολίζεται με r, το οποίο είναι παράλληλο με τον άξονα περιστροφής και του οποίου το μέγεθος ισούται με την γωνία περιστροφής. Η ελαχιστοποίηση της σχέσης (4.11) είναι ένα πρόβλημα μη γραμμικής ελαχιστοποίησης, το οποίο επιλύεται με τον αλγόριθμο Levenberg-Marquardt και απαιτεί μία τυχαία υπόθεση των A,{ R, t i 1.. n} η οποία μπορεί εξαχθεί από την διαδικασία που περιγράφτηκε προηγουμένως. i i Μέχρι στιγμής δεν έχουμε λάβει υπόψη την παραμόρφωση των φακών της κάμερας. Στην συνάρτηση παραμόρφωσης κυριαρχούν κυρίως οι ακτινικοί όροι και συνήθως κυριαρχούν ο πρώτος ή οι δύο πρώτοι όροι. Έστω ( uv, ) οι ιδεατές (χωρίς παραμόρφωση) συντεταγμένες των εικονοστοιχείων της εικόνας και ( uv, ) οι αντίστοιχες πραγματικές συντεταγμένες της εικόνας. Ομοίως, ( xy, ) και ( xy, ) είναι οι ιδεατές και πραγματικές (παραμορφωμένες) κανονικοποιημένες συντεταγμένες της εικόνας αντίστοιχα. Ισχύει: x x x[ k ( x y ) k ( x y ) ] 1 y y y[ k ( x y ) k ( x y ) ] 1 (4.1) όπου k 1, k είναι οι συντελεστές της ακτινικής παραμόρφωσης. Το κέντρο της ακτινικής παραμόρφωσης είναι το ίδιο με το κύριο σημείο. Με u u0 x cy και v v y έχουμε: 0 u u ( u u )[ k ( x y ) k ( x y ) ] (4.13) 0 1 v v ( v v )[ k ( x y ) k ( x y ) ] (4.14) 0 1 Καθώς η ακτινική παραμόρφωση αναμένεται να είναι μικρή, θα μπορούσαν να εκτιμηθούν οι υπόλοιπες 5 εσωγενείς παράμετροι με χρήση της διαδικασίας εκτίμησης μέγιστης πιθανοφάνειας που περιγράφηκε προηγουμένως, αγνοώντας απλώς την παραμόρφωση. Μία στρατηγική είναι να εκτιμηθούν τα k 1 και k αφού έχει προηγηθεί η εκτίμηση των υπόλοιπων παραμέτρων. Έπειτα από τις (4.13) και (4.14) προκύπτουν δύο εξισώσεις για κάθε σημείο σε κάθε εικόνα: ( u u0)( x y ) ( u u0)( x y ) k1 u u ( v v0)( x y ) ( v v0)( x y ) k v v (4.15) 39

40 Δεδομένων m σημείων σε n εικόνες, προκύπτουν mn εξισώσεις ή σε μορφή T πίνακα Dk d, όπου k k, k. Η γραμμική λύση ελαχίστων τετραγώνων δίνεται από την σχέση: 1 1 ( T T k D D) D d (4.16) Μόλις εκτιμηθούν τα k 1 και k, μπορεί να βελτιωθεί η εκτίμηση των υπόλοιπων παραμέτρων επιλύοντας την σχέση (4.11) με αντικατάσταση του όρου m( A, Ri, ti, M j ) με τις (4.13) και (4.14). Μπορεί να γίνει εναλλαγή των δύο αυτών διαδικασιών μέχρις ότου επιτευχθεί σύγκλιση. Πειραματικά, έχει βρεθεί ότι η σύγκλιση της παραπάνω τεχνικής της εναλλαγής είναι αργή. Μία φυσική επέκταση της σχέσης (4.11) είναι να εκτιμηθεί ολόκληρο το σύνολο των παραμέτρων ελαχιστοποιώντας την ακόλουθη συνάρτηση: n m mij m( A, k1, k, Ri, ti, M j ) (4.17) i1 j1 όπου m( A, k1, k, R, t, M ) είναι η προβολή του σημείου M j στην εικόνα i i i j σύμφωνα με την σχέση (4.3), όπου συμπεριλαμβάνεται παραμόρφωση σύμφωνα με τις (4.13) και (4.14). Μία αρχική υπόθεση για τα k 1 και k, μπορεί να εξαχθεί με την τεχνική που περιγράφτηκε στην τελευταία παράγραφο ή απλώς θέτοντάς τα ίσα με μηδέν. Συνοπτικά, η διαδικασία βαθμονόμησης που περιγράφτηκε έχει ως εξής: 1. Εκτύπωση και επισύναψη ενός πρότυπου σε μία επίπεδη επιφάνεια.. Λήψη μερικών εικόνων του πρότυπου επιπέδου από διαφορετικούς προσανατολισμούς μετακινώντας είτε το επίπεδο είτε την κάμερα. 3. Ανίχνευση των χαρακτηριστικών σημείων στις εικόνες. 4. Εκτίμηση των πέντε εσωγενών και όλων των εξωγενών παραμέτρων με χρήση της λύσης κλειστής μορφής. 5. Εκτίμηση των συντελεστών της ακτινικής παραμόρφωσης, επιλύοντας τα γραμμικά ελάχιστα τετράγωνα (4.16). 6. Βελτίωση των παραμέτρων με ελαχιστοποίηση της (4.17). 4.4 Εφαρμογή μεθόδου Zhang Για την υλοποίηση της μεθόδου του Zhang χρησιμοποιήθηκε το toolbox του Jean- Yves Bouguet το οποίο στηρίζεται σε αυτή τη μέθοδο κατά το μεγαλύτερο μέρος του [18]. Για το σκοπό αυτό, χρησιμοποιήθηκαν 6 εικόνες μίας επίπεδης σκακιέρας τραβηγμένες από διαφορετικούς προσανατολισμούς σε σχέση με την κάμερα. Το πρότυπο της σκακιέρας είναι ένας βολικός στόχος για τη βαθμονόμηση, καθώς ικανοποιεί κάποιες απαιτήσεις για σωστή βαθμονόμηση. Για καλύτερη ακρίβεια βαθμονόμησης συνήθως χρησιμοποιούνται 10 με 0 εικόνες. Οι εικόνες που χρησιμοποιήθηκαν για τη βαθμονόμηση δείχνονται στο Σχήμα

41 Σχήμα 4.1: Εικόνες βαθμονόμησης. Προϋπόθεση για τη βαθμονόμηση της κάμερας είναι να εξαχθούν οι γωνίες του πλέγματος για κάθε εικόνα. Για το σκοπό αυτό, γίνεται χρήση ενός αυτόματου μηχανισμού που βασίζεται στη μέθοδο εύρεσης γωνιών Harris (αναλύεται σε επόμενο κεφάλαιο) με ακρίβεια περίπου 0.1 pixel. Αφού ορίσουμε το μέγεθος του παραθύρου που θα χρησιμοποιηθεί (στην περίπτωσή μας 11x11), επιλέγουμε τις τέσσερις ακραίες γωνίες του ορθογωνίου πλέγματος. Η πάνω αριστερή γωνία επιλέγεται ως αρχή των συντεταγμένων του πλαισίου αναφοράς του πλέγματος. Χρησιμοποιώντας τα προτεινόμενα μεγέθη για το μήκος και πλάτος κάθε τετραγώνου και υποθέτοντας ότι δεν υπάρχουν παραμορφώσεις, λαμβάνουμε τα αποτελέσματα που παρουσιάζονται στο Σχήμα

42 Σχήμα 4.: Εξαγόμενες γωνίες. Έχοντας υπολογίσει τις γωνίες για κάθε εικόνα, ξεκινά η διαδικασία της βαθμονόμησης, η οποία αποτελείται από μία αρχικοποίηση και μετά από μία μη γραμμική βελτιστοποίηση. Κατά την αρχικοποίηση υπολογίζεται μία λύση κλειστής μορφής για τις εσωγενείς παραμέτρους χωρίς να λαμβάνονται υπόψη τυχόν παραμορφώσεις. Το βήμα της μη γραμμικής βελτιστοποίησης ελαχιστοποιεί το συνολικό σφάλμα της επαναπροβολής για όλες τις παραμέτρους βαθμονόμησης. Η βελτιστοποίηση πραγματοποιείται με επαναληπτική μέθοδο καθόδου κατά την κλίση (gradient descent) με άμεσο υπολογισμό του Ιακωβιανού πίνακα. Initialization of the intrinsic parameters - Number of images: 6 Calibration parameters after initialization: Focal Length: fc = [ ] Principal point: cc = [ ] Skew: alpha_c = [ ] => angle of pixel = degrees Distortion: kc = [ ] Main calibration optimization procedure - Number of images: 6 Gradient descent iterations: done Estimation of uncertainties...done 4

43 Calibration results after optimization (with uncertainties): Focal Length: fc = [ ] ± [ ] Principal point: cc = [ ] ± [ ] Skew: alpha_c = [ ] ± [ ] => angle of pixel axes = ± degrees Distortion: kc = [ ] ± [ ] Pixel error: err = [ ] Τα στοιχεία του διανύσματος fc αντιστοιχούν στα α και β του πίνακα A (σχέση 4.1) και εκφράζονται σε μονάδες οριζόντιων και καθέτων pixels. Το διάνυσμα της παραμόρφωσης kc περιλαμβάνει δύο συντελεστές που αντιστοιχούν σε εφαπτομενική παραμόρφωση και τρεις συντελεστές ακτινικής παραμόρφωσης, όπως στο μοντέλο των Heikkilä και Silven [19]. Οι τιμές και είναι οι τυπικές αποκλίσεις του σφάλματος επαναπροβολής (σε pixel) στις διευθύνσεις x και y αντίστοιχα. Παρατηρούμε ότι το σφάλμα επαναπροβολής δεν σημαντικό στην περίπτωσή μας, αλλά μπορεί να γίνει μία μικρή μείωση αν επαναληφτεί η διαδικασία εξαγωγής των γωνιών με διαφορετικό παράθυρο. Για παράδειγμα, για παράθυρο 15x15 έχουμε: Re-extraction of the grid corners on the images (after first calibration) Main calibration optimization procedure - Number of images: 6 Gradient descent iterations: done Estimation of uncertainties...done Calibration results after optimization (with uncertainties): Focal Length: fc = [ ] ± [ ] Principal point: cc = [ ] ± [ ] Skew: alpha_c = [ ] ± [ ] => angle of pixel axes = ± degrees Distortion: kc = [ ] ± [ ] Pixel error: err = [ ] Τα Σχήματα 4.3 και 4.4 απεικονίζουν τις καινούργιες τρισδιάστατες θέσεις των πλεγμάτων σε σχέση με την κάμερα και τον χώρο αντίστοιχα. 43

44 Σχήμα 4.3: Εξωγενείς παράμετροι από την οπτική γωνία της κάμερας. Σχήμα 4.4: Εξωγενείς παράμετροι από την άποψη του χώρου. 44

45 Έχοντας υπολογίσει τις εσωγενείς παραμέτρους, μπορούμε να θεωρήσουμε μία επιπλέον όψη του πλέγματος και να υπολογίσουμε μόνο τις εξωγενείς παραμέτρους που σχετίζονται με αυτή την εικόνα (Σχήμα 4.5). Σχήμα 4.5: Πρόσθετη εικόνα για υπολογισμό εξωγενών παραμέτρων. Ακολουθώντας την ίδια διαδικασία που περιγράφτηκε προηγουμένως για τον υπολογισμό των γωνιών (με παράθυρο 13x13), λαμβάνουμε τα εξής αποτελέσματα: Computation of the extrinsic parameters from an image of a pattern The intrinsic camera parameters are assumed to be known (previously computed) Extrinsic parameters: Translation vector: Tc_ext = [ ] Rotation vector: omc_ext = [ ] Rotation matrix: Rc_ext = [ ] Pixel error: err = [ ] Υπενθυμίζουμε ότι για ένα σημείο του χώρου P με συντεταγμένες ( X, Y, Z ) στο πλέγμα αναφοράς ( O, X, Y, Z ) (Σχήμα 4.6) και με συντεταγμένες ( X, Y, Z ) στο επίπεδο αναφοράς της κάμερας ισχύει: c c c 45

46 X c X Y c Rc _ ext Y Tc _ ext Z c Z (4.18) Σχήμα 4.6: Πλέγμα αναφοράς ( O, X, Y, Z ) και εξαγόμενα χαρακτηριστικά. 46

47 Κεφάλαιο 5. Κατηγορίες Στερεοσκοπικών Αλγορίθμων Στο κεφάλαιο αυτό, παρουσιάζονται γενικές κατηγορίες των αλγορίθμων που ταυτοποιούν τις σωστές αντιστοιχίσεις καθώς και τα κατάλληλα μέτρα ομοιότητάς τους. 5.1 Ταξινόμηση των Στερεοσκοπικών Αλγορίθμων Οι πρώτοι αλγόριθμοι στερεοσκοπικής αντιστοίχισης ήταν αλγόριθμοι αντιστοίχισης χαρακτηριστικών (feature-based). Αρχικά εξήγαγαν ένα σύνολο πιθανών ταυτόσημων θέσεων στις εικόνες, χρησιμοποιώντας είτε τελεστές ενδιαφέροντος είτε ανιχνευτές ακμών και στη συνέχεια αναζητούσαν για αντίστοιχες θέσεις σε άλλες εικόνες με χρήση μίας μετρικής βασισμένη στην περιοχή ενδιαφέροντος. Αυτός ο περιορισμός σε αραιές αντιστοιχίσεις οφείλονταν εκ μέρη σε περιορισμούς υπολογιστικών πόρων, αλλά καθοδηγούνταν επίσης από την επιθυμία να περιοριστούν οι απαντήσεις που παράγονται από στερεοσκοπικούς αλγόριθμους σε αντιστοιχίες με υψηλή ακρίβεια. Σε μερικές εφαρμογές υπήρχε η επιθυμία να αντιστοιχιστούν σκηνές με δυνητικά πολλούς διαφορετικούς φωτισμούς στις οποίες οι ακμές να ήταν ίσως τα μόνα σταθερά χαρακτηριστικά. Δυστυχώς αυτοί οι αλγόριθμοι απαιτούν αρκετές κοντινές-χωρικά απόψεις κάμερας προκειμένου να ανακτηθούν σταθερά χαρακτηριστικά. Πρόσφατη έρευνα σε αυτόν τον τομέα, εστιάζει στην εξαγωγή χαρακτηριστικών με τη μεγαλύτερη σθεναρότητα και επαναληψιμότητα και εν συνεχεία τη χρήση αυτών των χαρακτηριστικών για την εύρεση επιπλέον αντιστοιχιών. Μέχρι σήμερα, μία από τις πιο επιτυχημένες τεχνικές για ανίχνευση και περιγραφή τοπικών χαρακτηριστικών είναι ο αλγόριθμος SIFT (Scale Invariant Feature Transform). Η αναλυτική περιγραφή αυτού του αλγόριθμου γίνεται σε επόμενο κεφάλαιο. Ενώ οι αραιοί αλγόριθμοι αντιστοίχισης που περιγράφτηκαν εξακολουθούν να χρησιμοποιούνται περιστασιακά, οι περισσότεροι αλγόριθμοι στερεοσκοπικής αντιστοίχισης σήμερα εστιάζουν σε πυκνή αντιστοίχιση, δεδομένου ότι αυτό απαιτείται για εφαρμογές όπως η δημιουργία εικόνας από ένα μοντέλο ή για μοντελοποίηση. Αυτό το πρόβλημα είναι πιο απαιτητικό από την αραιή αντιστοίχιση δεδομένου ότι το να υπονοηθούν τιμές βάθους σε περιοχές χωρίς καθόλου υφή, απαιτεί ένα ορισμένο αριθμό εικασιών. Η ταξινόμηση των αλγόριθμων πυκνής αντιστοίχισης βασίζεται στην παρατήρηση ότι οι αλγόριθμοι αυτοί γενικά εκτελούν κάποιο υποσύνολο των ακόλουθων τεσσάρων βημάτων: 1. Υπολογισμός Κόστους Αντιστοίχισης. Συσσώρευση Κόστους (υποστήριξη) 3. Υπολογισμός Ανομοιότητας και Βελτιστοποίηση 4. Βελτίωση Ανομοιότητας 47

48 Για παράδειγμα, ο κλασικός αλγόριθμος του αθροίσματος των τετραγώνων των διαφορών (SSD) μπορεί να περιγραφτεί ως εξής: 1. Το Κόστος Αντιστοίχισης είναι η τετραγωνισμένη διαφορά των τιμών έντασης για δεδομένη Ανομοιότητα.. Η Συσσώρευση γίνεται αθροίζοντας το Κόστος Αντιστοίχισης μέσω τετραγωνικών παραθύρων με σταθερή Ανομοιότητα. 3. Οι Ανομοιότητες υπολογίζονται επιλέγοντας την ελάχιστη (νικηφόρα) συσσωρευμένη τιμή σε κάθε εικονοστοιχείο. Με βάση την ταξινόμηση που έχει προταθεί από τους Scharstein και Szeliski [0], οι αλγόριθμοι πυκνής αντιστοίχισης μπορούν περαιτέρω να υποδιαιρεθούν σε δύο ευρείς κατηγορίες: τοπικοί (local) και καθολικοί (global). Στους τοπικούς αλγόριθμους (βασισμένοι σε χρήση παραθύρου), όπου ο υπολογισμός της ανομοιότητας σε ένα δεδομένο σημείο εξαρτάται μόνο από τις τιμές εντάσεων εντός ενός πεπερασμένου παραθύρου, γίνονται συνήθως έμμεσες υποθέσεις ομαλότητας συσσωρεύοντας την υποστήριξη. Αφετέρου, οι καθολικοί αλγόριθμοι κάνουν σαφείς υποθέσεις ομαλότητας και εν συνεχεία επιλύουν ένα καθολικό πρόβλημα βελτιστοποίησης. Τυπικά τέτοιοι αλγόριθμοι δεν εκτελούν το βήμα της συσσώρευσης, αλλά αναζητούν ένα καθορισμό της ανομοιότητας (βήμα 3) που ελαχιστοποιεί μία συνάρτηση κόστους η οποία αποτελείται από όρους δεδομένων (βήμα 1) και εξομάλυνσης. Στα επόμενα υποκεφάλαια θα γίνει αναφορά στους τοπικούς και καθολικούς αλγόριθμους με μεγαλύτερη λεπτομέρεια. Ενδιάμεσα αυτών των δύο κατηγοριών υπάρχουν κάποιοι επαναληπτικοί αλγόριθμοι που δεν καθορίζουν ρητά καθολική συνάρτηση για ελαχιστοποίηση, αλλά συμπεριφέρονται παρόμοια με επαναληπτικούς αλγόριθμους βελτιστοποίησης. Οι ιεραρχικοί αλγόριθμοι (coarse-to-fine) μοιάζουν με αυτούς τους επαναληπτικούς αλγόριθμους, αλλά συνήθως λειτουργούν πάνω σε μία πυραμίδα εικόνας, όπου τα αποτελέσματα από τα επίπεδα χαμηλότερης ανάλυσης χρησιμοποιούνται για να περιορίσουν μία πιο τοπική αναζήτηση στα επίπεδα υψηλότερης ανάλυσης. Η μέθοδος του image pyramiding παρουσιάζεται και υλοποιείται στο κεφάλαιο Μέτρα Ομοιότητας Η πρώτη συνιστώσα κάθε αλγόριθμου πυκνής αντιστοίχισης είναι ένα μέτρο ομοιότητας που συγκρίνει τις τιμές των εικονοστοιχείων προκειμένου να αποφασίσει πόσο πιθανό είναι αυτές να αντιστοιχιστούν. Τα πιο συνηθισμένα κόστη αντιστοίχισης που βασίζονται σε εικονοστοιχεία είναι τα αθροίσματα των τετραγώνων των διαφορών των εντάσεων (Sum of Squared Differences - SSD), τα αθροίσματα της απόλυτης διαφοράς των εντάσεων (Sum of Absolute Differences - SAD) και η κανονικοποιημένη ετεροσυσχέτιση (Normalized Cross Correlation - NCC). Η συνάρτηση SSD δίνεται από την σχέση: 48

49 l r (5.7) x, yw SSD( x, y, d) ( I ( x, y) I ( x, y d)) Για την περίπτωση της απόλυτης διαφοράς των εντάσεων SAD έχουμε: SAD( x, y, d) Il( x, y) Ir( x, y d) (5.8) x, yw και για την περίπτωση της κανονικοποιημένης ετεροσυσχέτισης NCC: NCC( x, y, d) x, yw I ( x, y) I ( x, y d) l I ( x, y) I ( x, y d) l r x, yw x, yw r (5.9) όπου τα I l, I r είναι οι τιμές έντασης στην αριστερή και στην δεξιά εικόνα αντίστοιχα, ( xy, ) είναι οι συντεταγμένες του εικονοστοιχείου, d η τιμή της εξεταζόμενης ανομοιότητας και W η συσσωρευμένη περιοχή υποστήριξης (τετραγωνικό, ορθογώνιο, σταθερού μεγέθους ή προσαρμοστικό παράθυρο). Κατά την παρουσία θορύβου στην εικόνα το μέτρο ομοιότητας SAD μπορεί να είναι πιο σθεναρό από το SSD σε λανθασμένες αντιστοιχίες (outliers) εντός παραθύρου, με τη επιβολή αργότερου ρυθμού σφάλματος σε σχέση με τον τετραγωνικό όρο του SSD. Η κανονικοποιημένη ετεροσυσχέτιση συμπεριφέρεται παρόμοια με το SSD και γενικά λειτουργεί καλά όταν οι προς αντιστοίχιση εικόνες έχουν παρθεί από διαφορετικές πόζες π.χ. κατά τη δημιουργία εικόνων με μεγάλο δυναμικό εύρος. Μερικά μέτρα ομοιότητας είναι αναίσθητα σε αλλαγές του κέρδους της κάμερας, για παράδειγμα μετρικές βασισμένες στην κλίση της εικόνας, αποκρίσεις φάσης και τράπεζας φίλτρων, φίλτρα που απομακρύνουν τακτικούς ή σθεναρούς μέσους, περιγραφείς πυκνών χαρακτηριστικών και μη παραμετρικές μετρικές όπως ο μετασχηματισμός rank και ο μετασχηματισμός census. Ο μετασχηματισμός census, ο οποίος μετατρέπει κάθε εικονοστοιχείο εντός ενός κινούμενου παραθύρου σε ένα διάνυσμα bit που αντιπροσωπεύει ποια γειτονικά στοιχεία βρίσκονται πάνω ή κάτω από το κεντρικό εικονοστοιχείο, έχει αποδειχτεί ότι είναι αρκετά σθεναρός σε μη στατικές λήψεις και σε αλλαγές φωτισμού μεγάλης κλίμακας. 49

50 5.3 Τοπικοί Αλγόριθμοι Οι τοπικοί και οι βασιζόμενοι σε παράθυρο αλγόριθμοι συσσωρεύουν το κόστος αντιστοίχισης αθροίζοντας ή υπολογίζοντας το μέσο όρο μίας περιοχής υποστήριξης στο χώρο ανομοιοτήτων εικόνας (Disparity Space Image - DSI) C( x, y, d ). Συσσώρευση δύο διαστάσεων υλοποιείται με χρήση τετραγωνικών παραθύρων ή κλασικά με γκαουσιανή συνέλιξη, με ολισθαίνοντα παράθυρα, με παράθυρα προσαρμοζόμενου μεγέθους ή με τα αποτελέσματα κατάτμησης που βασίζεται στο χρώμα. Βασικό στοιχείο είναι η επιλογή σωστού παραθύρου, δεδομένου ότι τα παράθυρα πρέπει να είναι αρκετά μεγάλα ώστε να περιέχουν επαρκή υφή, αλλά ταυτόχρονα να είναι και αρκετά μικρά έτσι ώστε να μην συμπεριληφθούν περιοχές με διαφορετικό βάθος. Μία εναλλακτική μέθοδος για συνάθροιση είναι η επαναληπτική διάδοση (iterative diffusion), δηλαδή η επανειλημμένη προσθήκη στο κόστος κάθε εικονοστοιχείου με τις σταθμισμένες τιμές των αντίστοιχων γειτονικών του. Γενικά στους τοπικούς αλγόριθμους, η κύρια έμφαση δίνεται στον υπολογισμό του κόστους αντιστοίχισης καθώς και στα βήματα συσσώρευσης του κόστους. Ο υπολογισμός των τελικών ανομοιοτήτων είναι επουσιώδης και συνίσταται απλά στην επιλογή εκείνης της ανομοιότητας που συσχετίζεται με την ελάχιστη τιμή του κόστους σε κάθε εικονοστοιχείο. Συνεπώς, αυτοί οι αλγόριθμοι εκτελούν μία τοπική βελτιστοποίηση "ο νικητής τα παίρνει όλα (winner-take-all)" σε κάθε εικονοστοιχείο. Ο περιορισμός αυτής της προσέγγισης (και πολλών άλλων αλγόριθμων αντιστοίχισης) έγκειται στο γεγονός πως η μοναδικότητα των αντιστοιχιών εφαρμόζεται μόνο για μία εικόνα, ενώ τα σημεία στην άλλη εικόνα πιθανόν να αντιστοιχιστούν σε πολλαπλά σημεία. 5.4 Εκτίμηση υπο-εικονοστοιχείων και αβεβαιότητα Οι περισσότεροι αλγόριθμοι στερεοσκοπικής αντιστοίχισης υπολογίζουν ένα σύνολο εκτιμήσεων ανομοιότητας σε κάποιο διακριτοποιημένο χώρο, παραδείγματος χάριν για ακέραιες ανομοιότητες. Για εφαρμογές όπως πλοήγηση ρομπότ ή εντοπισμός ανθρώπων οι αλγόριθμοι αυτοί είναι απόλυτα επαρκείς. Ωστόσο, για δημιουργία εικόνας από ένα μοντέλο, τέτοιες κβαντισμένες απεικονίσεις μπορούν να οδηγήσουν σε απωθητικά στην όψη αποτελέσματα. Για να διορθωθεί αυτή η κατάσταση, πολλοί αλγόριθμοι εφαρμόζουν ένα στάδιο βελτίωσης υπο-εικονοστοιχείου μετά το αρχικό στάδιο της διακριτής αντιστοίχισης. Εκτιμήσεις ανομοιότητας υπο-εικονοστοιχείων μπορούν να υπολογιστούν με διάφορους τρόπους, συμπεριλαμβανομένων επαναληπτικής κλίσης καθόδου (gradient descent) και προσαρμογή καμπύλης στα κόστη αντιστοίχισης σε διακριτά επίπεδα ανομοιότητας. Αυτό παρέχει έναν εύκολο τρόπο να αυξηθεί η ανάλυση του στερεοσκοπικού αλγόριθμου με μικρό επιπλέον υπολογισμό. Εκτός από υπολογισμούς υπο-εικονοστοιχείων υπάρχουν και άλλες μέθοδοι για την μετεπεξεργασία των υπολογισμένων ανομοιοτήτων. Οι αποκλεισμένες περιοχές 50

51 (occlusions) μπορούν να ανιχνευθούν με χρήση διασταύρωσης (cross-checking), δηλαδή συγκρίνοντας τους χάρτες ανομοιοτήτων αριστερό-με-δεξί και δεξί-μεαριστερό. Ένα άλλο είδος μετεπεξεργασίας είναι η συσχέτιση εμπιστοσύνης (confidence) με τις εκτιμήσεις βάθους κάθε εικονοστοιχείου (Σχήμα 5.3), δηλαδή πόσο σθεναρό είναι το ελάχιστο στο χώρο ανομοιοτήτων εικόνας (DSI) στη νικηφόρα ανομοιότητα. (α) (β) (γ) Σχήμα 5.3: Αβεβαιότητα στην εκτίμηση στερεοσκοπικού βάθους: (α) αρχική εικόνα, (β) εκτιμώμενος χάρτης βάθους (μπλε είναι πιο όμοιο), (γ) εκτιμώμενη εμπιστοσύνη (κόκκινο για μεγαλύτερη). Περιοχές με περισσότερη υφή έχουν μεγαλύτερη εμπιστοσύνη. 5.5 Καθολικοί Αλγόριθμοι Σε αντίθεση με τους τοπικούς αλγόριθμους, οι οποίοι υπολογίζουν την ανομοιότητα σχεδόν ανεξάρτητα σε κάθε εικονοστοιχείο, οι καθολικοί αλγόριθμοι στερεοσκοπικής αντιστοίχισης εκτελούν συνήθως μία επαναληπτική βελτιστοποίηση σε ολόκληρη την εικόνα και παραβλέπουν το βήμα της συσσώρευσης. Στόχος είναι η εύρεση μιας συνάρτησης ανομοιότητας d που ελαχιστοποιεί την καθολική συνάρτηση ενέργειας: E( d) E ( d) E ( d) (5.10) d όπου ο όρος δεδομένων E ( d ), εκτιμά το πόσο καλά συμφωνεί η συνάρτηση d ανομοιότητας d με το ζεύγος των εικόνων. Χρησιμοποιώντας το χώρο ανομοιοτήτων εικόνας (DSI) έχουμε: s E ( d) C( x, y, d( x, y)) (5.11) d ( xy, ) όπου C είναι το (αρχικό ή συσσωρευμένο) κόστος αντιστοίχισης στο χώρο ανομοιοτήτων εικόνας. 51

52 Ο όρος εξομάλυνσης Es ( d ) κωδικοποιεί τις υποθέσεις εξομάλυνσης του αλγόριθμου. Συνήθως για λόγους ταχύτητας, ο όρος εξομάλυνσης περιορίζεται στις διαφορές μεταξύ των ανομοιοτήτων των γειτονικών εικονοστοιχείων, E ( d) ( d( x, y) d( x 1, y)) ( d( x, y) d( x, y 1)) s (5.1) ( xy, ) όπου ρ είναι κάποια γνησίως αύξουσα συνάρτηση των διαφορών ανομοιότητας. Μόλις καθοριστεί η καθολική ενέργεια, μπορούν να χρησιμοποιηθούν διάφοροι αλγόριθμοι για την εύρεση ενός (τοπικού) ελαχίστου. Συνήθεις προσεγγίσεις που συσχετίζονται με regularization και τυχαία πεδία Μαρκόφ (Markov Random Fields - MRFs) περιλαμβάνουν τεχνικές continuation και simulated annealing. Πιο πρόσφατα, έχουν προταθεί τεχνικές όπως μέγιστης ροής (max-flow) και τομής γράφων (graphcut) για την επίλυση ειδικής κατηγορίας προβλημάτων καθολικής βελτιστοποίησης. Αυτές οι μέθοδοι είναι πιο αποδοτικές από τεχνικές simulated annealing με καλά αποτελέσματα. 5.6 Δυναμικός Προγραμματισμός Μία διαφορετική κατηγορία αλγόριθμων καθολικής βελτιστοποίησης βασίζεται στον δυναμικό προγραμματισμό. Σε αντίθεση με την δισδιάστατη βελτιστοποίηση της σχέσης (5.10) η οποία υπάγεται σε προβλήματα που λύνονται σε πολυωνυμικό μη ντετερμινιστικό χρόνο (NP-hard) για συνήθεις κατηγορίες εξομαλυμένων συναρτήσεων, ο δυναμικός προγραμματισμός μπορεί να υπολογίσει το καθολικό ελάχιστο για ανεξάρτητες γραμμές εικονοστοιχείων σε πολυωνυμικό χρόνο. Αρχικά ο δυναμικός προγραμματισμός χρησιμοποιήθηκε στην στερεοσκοπική όραση σε αραιές τεχνικές βασισμένες σε ακμές. Πιο πρόσφατες μέθοδοι εστιάζουν σε προβλήματα πυκνής (βασισμένα στην ένταση) βελτιστοποίησης γραμμών εικονοστοιχείων. Σε αυτές τις μεθόδους υπολογίζεται το μονοπάτι ελαχίστου κόστους όλων των αντίστοιχων κοστών κατά ζεύγη μεταξύ δύο αντίστοιχων γραμμών. Μερική απόφραξη αντιμετωπίζεται, αναθέτοντας μία ομάδα εικονοστοιχείων της μίας εικόνας σε ένα μόνο εικονοστοιχείο στην άλλη εικόνα. Ένα τέτοιο παράδειγμα φαίνεται στο Σχήμα 5.4. Προβλήματα με το στερεοσκοπικό δυναμικό προγραμματισμό περιλαμβάνουν την επιλογή του κατάλληλου κόστους για τα αποκλεισμένα εικονοστοιχεία και την επιβολή της μονοτονικότητας (monotonicity) ή του περιορισμού σύμφωνης εμφάνισης σημείων (ordering constraint). 5

53 Σχήμα 5.4: Στερεοσκοπική Αντιστοίχιση με χρήση Δυναμικού Προγραμματισμού. Για κάθε ζεύγος αντίστοιχων γραμμών, επιλέγεται το ελάχιστο μονοπάτι όλων των αντίστοιχων κοστών κατά ζεύγη. Με μικρά γράμματα συμβολίζονται οι εντάσεις κατά μήκος κάθε γραμμής και με κεφαλαία το μονοπάτι που επιλέχτηκε. Οι αντιστοιχίσεις σημειώνονται με M, ενώ τα μερικώς αποκλεισμένα σημεία σημειώνονται με L και R και αντιστοιχούν σε σημεία που είναι ορατά μόνο στην αριστερή και στην δεξιά εικόνα αντίστοιχα. 53

54 Κεφάλαιο 6. Εύρεση γωνιών και αντιστοίχιση Στο κεφάλαιο αυτό γίνεται αναφορά στον ανιχνευτή γωνιών Harris και γίνεται εφαρμογή σε επιλεγμένα παραδείγματα, τόσο ως προς την ανίχνευση των γωνιών, όσο και ως προς την αντιστοίχιση αυτών μεταξύ των δύο όψεων. 6.1 Εισαγωγή Στην υπολογιστική όραση καθώς και στην επεξεργασία εικόνας, η έννοια της ανίχνευσης χαρακτηριστικών (feature detection) αναφέρεται σε μεθόδους που στοχεύουν στην εξαγωγή πληροφορίας από μία εικόνα και την λήψη τοπικών αποφάσεων για κάθε σημείο της εικόνας, για το αν υπάρχει κάποιο χαρακτηριστικό της εικόνας σε αυτό το σημείο ή όχι, για ένα δεδομένο τύπο. Πολλές εφαρμογές απαιτούν την συσχέτιση δύο ή περισσότερων εικόνων προκειμένου να εξαχθεί πληροφορία από αυτές, για παράδειγμα αν έχουμε στη διάθεσή μας δύο διαδοχικά καρέ ενός βίντεο από μία κινούμενη κάμερα, είναι δυνατό να εξαχθεί το βάθος των αντικειμένων της σκηνής και η ταχύτητα της κάμερας. Μία brute force μέθοδος (σύγκριση καθενός εικονοστοιχείου στις δύο εικόνες) είναι υπολογιστικά απαγορευτική για τις περισσότερες εφαρμογές. Αντί αυτού, γίνονται αντιστοιχίσεις μόνο σε θέσεις της εικόνας που θεωρούνται ενδιαφέρουσες. Τέτοια σημεία αναφέρονται ως σημεία ενδιαφέροντος και εντοπίζονται από ανάλογο ανιχνευτή. Έτσι η σχέση μεταξύ των εικόνων βασίζεται μόνο σε αυτά τα σημεία. Αυτή η τεχνική μειώνει δραστικά τον απαιτούμενο χρόνο υπολογισμού. Έχουν προταθεί διάφοροι ανιχνευτές σημείων ενδιαφέροντος με ποικίλους ορισμούς για το ποια σημεία παρουσιάζουν ενδιαφέρον σε μία εικόνα. Κάποιοι ανιχνευτές βρίσκουν σημεία με υψηλή τοπική συμμετρία, άλλοι βρίσκουν επιφάνειες με διαφορετική υφή, ενώ άλλοι εντοπίζουν γωνίες. Η ανίχνευση γωνιών (corner detection) αποτελεί μία προσέγγιση που χρησιμοποιείται στα πλαίσια συστημάτων υπολογιστικής όρασης για την εξαγωγή συγκεκριμένων χαρακτηριστικών και συμπερασμάτων για το περιεχόμενο μίας εικόνας. Οι γωνίες παρουσιάζουν ενδιαφέρον καθώς σχηματίζονται από δύο ή και παραπάνω ακμές (edges) και οι ακμές καθορίζουν συνήθως το όριο μεταξύ δύο διαφορετικών αντικειμένων ή μέρη του ίδιου αντικειμένου. Μία γωνία μπορεί επίσης να οριστεί ως ένα σημείο για το οποίο υπάρχουν δύο κυρίαρχες και διαφορετικές κατευθύνσεις ακμών στην τοπική γειτονιά του σημείου [1]. Είναι επιθυμητό για έναν ανιχνευτή γωνιών να ικανοποιεί τα παρακάτω κριτήρια: 1. Να ανιχνεύονται όλες οι "πραγματικές γωνίες".. Να μην ανιχνεύονται "λανθασμένες γωνίες". 3. Τα γωνιακά σημεία να είναι καλώς εντοπισμένα. 4. Να έχει υψηλό ρυθμό επαναληψιμότητας (καλή ευστάθεια). 5. Να είναι σθεναρός σε σχέση με το θόρυβο. 6. Να είναι υπολογιστικά αποδοτικός. 54

55 Μέχρι σήμερα, έχουν προταθεί πολλοί διαφορετικοί ανιχνευτές γωνιών, αλλά το φαινομενικά απλό πρόβλημα της ανίχνευσης γωνιών εξακολουθεί να είναι ένα ανοιχτό πρόβλημα, καθώς δεν υπάρχει κάποιος καθολικά "καλός" ανιχνευτής. Υπάρχουν διάφορες προσεγγίσεις για την ανίχνευση γωνιών. Ωστόσο, οι κύριες κατηγορίες ανίχνευσης γωνιών σε επίπεδο γκρι είναι η ανίχνευση γωνιών βασισμένη σε πρότυπο (template based) και η ανίχνευση γωνιών βασισμένη στη γεωμετρία (geometry based). H πρώτη περιλαμβάνει τον καθορισμό της ομοιότητας ή της συσχέτισης μεταξύ ενός δεδομένου προτύπου μεγέθους n n και όλων των υποπαραθύρων μεγέθους n n σε μία δεδομένη εικόνα. Η ανίχνευση γωνιών βασισμένη στη γεωμετρία βασίζεται στην μέτρηση των διαφορικών γεωμετρικών χαρακτηριστικών των γωνιών. Αυτές οι μέθοδοι διαχωρίζονται σε τρεις κατηγορίες: σε ανίχνευση γωνιών που σχετίζεται με ακμές (edge-related), σε τοπολογική ανίχνευση γωνιών και σε ανίχνευση γωνιών με αυτοσυσχέτιση (auto-correlation) []. 6. Harris Corner Detector Σε αυτό το σημείο παρουσιάζεται ο αλγόριθμος γωνιών Harris (Harris Corner Detector), γνωστός και ως τελεστής Plessey. Οι Chris Harris και Mike Stephens ανέπτυξαν αυτόν τον συνδυαστικό ανιχνευτή γωνιών και ακμών το 1988 για την αντιμετώπιση των περιορισμών του τελεστή Moravec. Το αποτέλεσμα είναι ένας ικανοποιητικός ανιχνευτής από πλευράς ανίχνευσης και ρυθμού επαναληψιμότητας, αλλά με υψηλότερο υπολογιστικό κόστος. Παρά το υψηλό υπολογιστικό κόστος και την ευαισθησία του στο θόρυβο, ο αλγόριθμος αυτός χρησιμοποιείται πρακτικά σε ευρεία κλίμακα. Οι Harris και Stephens βελτίωσαν τον αλγόριθμο του Moravec με τη λήψη των ακόλουθων διορθωτικών μέτρων: Ο Moravec θεώρησε μετατοπίσεις μόνο για διακριτές γωνίες 45 μοιρών, ενώ ο Harris λαμβάνει υπόψη όλες τις δυνατές κατευθύνσεις. Ο Moravec χρησιμοποίησε δυαδικό ορθογώνιο παράθυρο, ενώ ο Harris χρησιμοποιεί ένα κυκλικό γκαουσιανό παράθυρο για εξομάλυνση, μειώνοντας έτσι το θόρυβο. Ο ανιχνευτής Harris διαχωρίζει με μεγαλύτερη ακρίβεια γωνίες από ακμές. Οι Harris και Stephens θεωρούν το αποτέλεσμα της παραγώγου της γωνίας σε σχέση με την κατεύθυνση, αντί για την χρήση των μετατοπισμένων σημείων όπως ο Moravec. Ο ανιχνευτής γωνιών Harris βασίζεται στην τοπική συνάρτηση αυτοσυσχέτισης ενός σήματος, όπου αυτή η συνάρτηση μετράει τις τοπικές αλλαγές του σήματος με ελαφρώς μετατοπισμένα σημεία σε διαφορετικές κατευθύνσεις. Δεδομένης μίας μετατόπισης ( xy, ) και ενός σημείου η συνάρτηση αυτοσυσχέτισης ορίζεται ως: W i i i i (6.1) E( x, y) [ I( x, y ) I( x x, y y)] 55

56 όπου I( x, y ) συμβολίζει την συνάρτηση της εικόνας και ( x, y ) είναι τα σημεία στο i i παράθυρο W με κέντρο το ( xy, ). Ο όρος I( x x, y y) μπορεί να προσεγγιστεί με το ανάπτυγμα Taylor: i i i i x I( xi x, yi y) [ I( xi, yi ) [ I x( xi, yi) I y( xi, yi)]] y (6.) όπου Ix( xi, y i) και I y( xi, y i) είναι οι μερικές παράγωγοι ως προς x και y αντίστοιχα. Οι μερικές παράγωγοι μπορούν να υπολογιστούν από την εικόνα με χρήση φίλτρου όπως [ 1,0,1] και [ 1,0,1] T. Αντικαθιστώντας την (6.) στην (6.1) έχουμε: ( I x( xi, yi )) I x( xi, yi ) I y ( xi, y ) i W W x x E( x, y) [ x y] [ x y] M ( x, y) I x( xi, yi ) I y ( xi, yi ) ( I y ( xi, yi )) y y W W (6.3) A C όπου M ( x, y) C B ο συμμετρικός πίνακας αυτοσυσχέτισης που συμβολίζει την δομή της έντασης στην τοπική γειτονιά. Οι ιδιοτιμές του πίνακα είναι ανάλογες με τις κύριες καμπυλότητες της επιφάνειας των εικόνων και σχηματίζουν μία περιστροφικά αμετάβλητη περιγραφή του πίνακα. Ωστόσο, τα στοιχεία του πίνακα που υπολογίζονται με χρήση μόνο των οριζόντιων και κάθετων κλίσεων, δεν είναι αμετάβλητα σε περιστροφή. Έστω 1 και οι ιδιοτιμές του πίνακα. Με βάση αυτές διακρίνουμε τις ακόλουθες περιπτώσεις: Αν τα 1 και έχουν πολύ μικρές τιμές, τότε το εικονοστοιχείο ( xy, ) δεν παρουσιάζει χαρακτηριστικά ενδιαφέροντος (ομοιόμορφη περιοχή). Αν μία από τις ιδιοτιμές έχει μεγάλη θετική τιμή και η άλλη μικρή, τότε έχει βρεθεί ακμή. Αν τα 1 και έχουν μεγάλες θετικές τιμές, τότε έχει ανιχνευθεί γωνία. Οι διαφορετικές αυτές περιπτώσεις για τον τελεστή του Harris απεικονίζονται στο Σχήμα

57 (α) (β) (γ) Σχήμα 6.1: Οι διαφορετικές περιπτώσεις του τελεστή Harris: (α) Εσωτερική περιοχή (μικρή καμπυλότητα σε οποιαδήποτε κατεύθυνση), (β) Ακμή (μικρή καμπυλότητα κατά μήκος της ακμής, μεγάλη καμπυλότητα κάθετα στην ακμή), (γ) Γωνία (μεγάλη καμπυλότητα σε όλες τις κατευθύνσεις). Ωστόσο, ο ακριβής υπολογισμός των ιδιοτιμών είναι υπολογιστικά δαπανηρός, δεδομένου ότι απαιτείται υπολογισμός τετραγωνικής ρίζας και αντί αυτού οι Harris και Stephens πρότειναν την ακόλουθη συνάρτηση: R M k trace M det( ) ( ( )) (6.4) όπου k είναι μία ρυθμιζόμενη παράμετρος ευαισθησίας προς καταστολή λανθασμένης αναγνώρισης γωνιών. Εμπειρικά, η παράμετρος αυτή τίθεται συνήθως k για καλύτερα αποτελέσματα. Οι γωνίες καθορίζονται ως τοπικά μέγιστα της σχέσης (6.4). Πρακτικά, εξάγεται συνήθως ένας μεγάλος αριθμός γωνιών. Σε αυτή την περίπτωση είναι επιθυμητό να περιοριστεί πρώτα ο αριθμός των γωνιών προτού να γίνει η αντιστοίχιση τους. Μία δυνατότητα είναι η επιλογή γωνιών με τιμή R πάνω από ένα ορισμένο κατώφλι. Το κατώφλι αυτό μπορεί να ρυθμιστεί ώστε να προκύψει ο επιθυμητός αριθμός χαρακτηριστικών [3,4,5]. 6.3 Εφαρμογή του Harris Corner Detector Σε αυτό το υποκεφάλαιο παρουσιάζονται τα αποτελέσματα της εφαρμογής του αλγόριθμου Harris σε δύο ζεύγη στερεοσκοπικών εικόνων, τόσο για εξαγωγή χαρακτηριστικών όσο και για αντιστοίχιση. Η εικόνα του σπιτιού είναι από την βάση δεδομένων [6] και η εικόνα του γραφείου από το Matlab R013α. Η επεξεργασία έγινε με την βοήθεια του Computer Vision System Toolbox. 57

58 Σχήμα 6.: Εικόνα σπιτιού από ελαφρώς διαφορετική οπτική γωνία. Σχήμα 6.3: Οι γωνίες που ανιχνεύτηκαν από τον αλγόριθμο. 58

59 Σχήμα 6.4: Αντιστοίχιση γωνιών. Σχήμα 6.5: Εικόνα γραφείου από ελαφρώς διαφορετική οπτική γωνία. 59

60 Σχήμα 6.6: 300 γωνίες που ανιχνεύτηκαν από τον αλγόριθμο στην αριστερή εικόνα γραφείου. Σχήμα 6.7: 300 γωνίες που ανιχνεύτηκαν από τον αλγόριθμο στην δεξιά εικόνα γραφείου. 60

61 Σχήμα 6.8: 89 αντιστοιχίσεις γωνιών. Παρατηρούμε ότι ο αλγόριθμος Harris δουλεύει γενικά καλά ως προς εντοπισμό των γωνιών. Ωστόσο, υπάρχουν κάποιες λανθασμένες αντιστοιχίσεις οι οποίες όμως μπορούν να περιοριστούν με χρήση σθεναρών μεθόδων που αναλύονται σε επόμενο κεφάλαιο. Σε ορισμένες περιπτώσεις μπορεί να χρειαστούν κάποιες δοκιμές στα ορίσματα της συνάρτησης που κάνει το matching μέχρις ότου να λάβουμε ένα ικανοποιητικό αριθμό αντιστοιχίσεων. Για παράδειγμα κατά την αντιστοίχιση των γωνιών του σπιτιού τέθηκε MaxRatio=1. 61

62 Κεφάλαιο 7. Ο Αλγόριθμος SIFT Στο κεφάλαιο αυτό, γίνεται λόγος για τον αλγόριθμο χαρακτηριστικών αμετάβλητης κλιμάκωσης (Scale-Invariant Feature Transform - SIFT). Ο αλγόριθμος αυτός ονομάζεται έτσι διότι μετασχηματίζει δεδομένα εικόνων σε αμετάβλητης κλιμάκωσης συντεταγμένες σχετικές με τοπικά χαρακτηριστικά. Οι ιδιότητες αυτών των χαρακτηριστικών τα καθιστούν κατάλληλα για την αντιστοίχιση διαφορετικών εικόνων ενός αντικειμένου ή μίας σκηνής. 7.1 Θεωρία του Αλγόριθμου SIFT Τα εξαγόμενα χαρακτηριστικά του αλγόριθμου είναι ιδιαίτερα ευδιάκριτα, καθώς βασίζονται σε ιδιότητες τοπικής κλίσης χωρικής κλίμακας εικόνων και εντοπίζονται στο πεδίο του χώρου (spatial domain) και της συχνότητας (frequency domain) των εικόνων. Τα χαρακτηριστικά αυτά είναι αμετάβλητα σε κλιμάκωση και περιστροφή της εικόνας, σθεναρά σε ένα σημαντικό εύρος προσθήκης θορύβου και εν μέρει σε αλλαγές της τρισδιάστατης οπτικής γωνίας της κάμερας καθώς και αλλαγών στη φωτεινότητα. Το κόστος της εξαγωγής των χαρακτηριστικών ελαχιστοποιείται με χρήση διαδοχικού φιλτραρίσματος (cascade filtering) με το οποίο οι πιο ακριβές λειτουργίες εφαρμόζονται μόνο στις περιοχές που περνούν έναν αρχικό έλεγχο [7,8]. Τα βασικά στάδια υπολογισμού που χρησιμοποιούνται για την παραγωγή των χαρακτηριστικών είναι τα ακόλουθα: 1) Ανίχνευση ακρότατων στον χώρο των κλιμακώσεων: Στο πρώτο στάδιο του υπολογισμού γίνεται αναζήτηση σε όλες τις κλιμακώσεις και σε όλα τα σημεία των εικόνων, με χρήση μίας συνάρτησης διαφοράς Γκαουσιανών (difference-of-gaussian), προκειμένου να εντοπιστούν πιθανά σημεία ενδιαφέροντος που είναι αμετάβλητα σε κλιμάκωση και προσανατολισμό. ) Εντοπισμός των σημείων κλειδιών (keypoints) : Σε κάθε υποψήφιο σημείο εφαρμόζεται κατάλληλο μοντέλο για τον προσδιορισμό θέσης και κλιμάκωσης. Τα σημεία κλειδιά επιλέγονται με βάση την σταθερότητά τους. 3) Εκχώρηση προσανατολισμού: Σε κάθε σημείο κλειδί εκχωρούνται ένας ή περισσότεροι προσανατολισμοί με βάση τις τοπικές διευθύνσεις κλίσεων της εικόνας (image gradient). 4) Περιγραφέας σημείων-κλειδιών : Μέτρηση των τοπικών κλίσεων της εικόνας στην επιλεγμένη κλιμάκωση της περιοχής γύρω από κάθε σημείο κλειδί. Ένα σημαντικό στοιχείο αυτής της μεθόδου είναι η παραγωγή ενός μεγάλου αριθμού χαρακτηριστικών που καλύπτει την εικόνα σε ολόκληρο το φάσμα των κλιμακώσεων 6

63 και των σημείων. Για παράδειγμα, για μία τυπική εικόνα μεγέθους 500x500 εικονοστοιχείων, θα εξαχθούν περίπου 000 σταθερά χαρακτηριστικά (αυτός ο αριθμός εξαρτάται από το περιεχόμενο της εικόνας και από τις επιλογές διαφόρων παραμέτρων). Στο Σχήμα 7.1(α) φαίνεται μία εικόνα με ανάλυση 51x384 και δίπλα 7.1(β) τα χαρακτηριστικά SIFT που εντοπίστηκαν. Συνολικά ο αλγόριθμος ανίχνευσε 101 σημεία κλειδιά. Ακολούθως, στο Σχήμα 7. γίνεται η αντιστοίχιση του Σχήματος 7.1(α) με ένα από τα κουτιά της σκηνής, όπου συνολικά βρέθηκαν 80 αντιστοιχίσεις. Ο κώδικας που χρησιμοποιήθηκε για την εύρεση των σημείων κλειδιών και των αντιστοιχίσεων είναι από [9]. (α) (β) Σχήμα 7.1: Εντοπισμός των χαρακτηριστικών SIFT: (α) αρχική εικόνα, (β) η εικόνα με τα χαρακτηριστικά που βρέθηκαν. Σχήμα 7.: Αντιστοίχιση με ένα από τα κουτιά της σκηνής. 63

64 7. Ανίχνευση ακρότατων στον χώρο των κλιμακώσεων Το πρώτο στάδιο της ανίχνευσης των σημείων κλειδιών είναι ο προσδιορισμός των σημείων και των κλιμακώσεων που μπορούν να εκχωρηθούν επαναληπτικά από διαφορετικές όψεις του ίδιου αντικειμένου. Ο χώρος κλιμάκωσης μίας εικόνας ορίζεται ως μία συνάρτηση L( x, y, ) που παράγεται από τη συνέλιξη μίας Γκαουσιανής μεταβλητής κλιμάκωσης G( x, y, ) με μία εικόνα εισόδου I( x, y ) : με Γκαουσιανή συνάρτηση: L( x, y, ) G( x, y, ) I( x, y) (7.1) G( x, y, ) 1 ( x y )/ e (7.) Για την αποτελεσματική ανίχνευση σταθερών σημείων κλειδιών στον χώρο των κλιμακώσεων, χρησιμοποιούνται τα ακρότατα της συνάρτησης της διαφοράς Γκαουσιανών (DoG) σε συνέλιξη με την εικόνα, όπου η συνάρτηση της διαφοράς Γκαουσιανών υπολογίζεται από τη διαφορά δύο γειτονικών κλιμακώσεων που διαφέρουν κατά ένα σταθερό πολλαπλασιαστικό παράγοντα k: D( x, y, ) ( G( x, y, k ) G( x, y, )) I( x, y) L( x, y, k) L( x, y, ) (7.3) Ένας λόγος για την επιλογή αυτής της συνάρτησης είναι ότι η συνάρτηση D( x, y, ) μπορεί να υπολογιστεί από μία απλή αφαίρεση εικόνων, αφού οι εξομαλυμένες εικόνες L πρέπει να υπολογιστούν για κάθε περίπτωση περιγραφής χαρακτηριστικών στον χώρο των κλιμακώσεων. Επιπλέον, η συνάρτηση της διαφοράς Γκαουσιανών παρέχει μία καλή προσέγγιση της κανονικοποιημένης Λαπλασιανής της με τον. Επίσης έχει αποδειχτεί ότι τα μέγιστα και ελάχιστα της παράγοντα G παράγουν πιο σταθερά χαρακτηριστικά εικόνας συγκριτικά με ένα ευρύ φάσμα άλλων συναρτήσεων, όπως κλίσης, Hessian και γωνιών Harris. Αποδεικνύεται ότι για την συνάρτηση της διαφοράς Γκαουσιανών ισχύει: G( x, y, k ) G( x, y, ) ( k 1) G (7.4) Από την (7.4) παρατηρούμε ότι ο παράγοντας που απαιτείται για την αμεταβλητότητα της κλιμάκωσης της Λαπλασιανής, υπάρχει σε όλες τις κλιμακώσεις της συνάρτησης της διαφοράς Γκαουσιανών που διαφέρουν κατά ένα σταθερό παράγοντα. Ο παράγοντας ( k 1) είναι σταθερός σε όλες τις κλιμακώσεις και για αυτό δεν επηρεάζει τον εντοπισμό των ακρότατων. 64

65 Στο Σχήμα 7.3 φαίνεται ο τρόπος κατασκευής της συνάρτησης D( x, y, ). Στην αριστερή στήλη η αρχική εικόνα συνελίσσεται σταδιακά με Γκαουσιανές για την εξαγωγή εικόνων που διαφέρουν κατά ένα σταθερό παράγοντα k στον χώρο των κλιμακώσεων. Οι εικόνες μετά τη συνέλιξη ομαδοποιούνται σε οκτάβες, όπου κάθε οκτάβα αντιστοιχεί σε διπλασιασμό της τιμής του σ. Στην συνέχεια οι εικόνες γειτονικής κλίμακας αφαιρούνται για να προκύψουν οι εικόνες διαφοράς Γκαουσιανών στην δεξιά στήλη. Μετά από κάθε οκτάβα, η Γκαουσιανή εικόνα υποδειγματοληπτείται κατά ένα συντελεστή και η διαδικασία επαναλαμβάνεται. Σχήμα 7.3: Δημιουργία των διαφορών των Γκαουσιανών. Προκειμένου να ανιχνευθούν τα τοπικά μέγιστα και ελάχιστα της συνάρτησης D( x, y, ), κάθε σημείο συγκρίνεται με τα οχτώ γειτονικά του στην παρούσα εικόνα και με τα εννέα γειτονικά του στην πάνω και κάτω κλίμακα όπως φαίνεται στο Σχήμα 7.4. Το εικονοστοιχείο αυτό θα επιλεγεί μόνο αν η τιμή του είναι μεγαλύτερη από αυτές των γειτονικών του ή αν είναι μικρότερή τους και χαρακτηρίζεται ως υποψήφιο σημείο κλειδί (keypoint). 65

66 Σχήμα 7.4: Η ανίχνευση των ακρότατων των εικόνων της διαφοράς των Γκαουσιανών γίνεται με σύγκριση της τιμής του εικονοστοιχείου (σημειωμένου με X) με τα 6 γειτονικά του (σημειωμένα με κύκλους) στην τρέχουσα και στις δύο γειτονικές κλιμακώσεις. Ωστόσο, πριν από τη διαδικασία ανίχνευσης των ακρότατων, η εικόνα προκειμένου να αξιοποιηθεί πλήρως, μπορεί να επεκταθεί και να παράξει περισσότερα σημεία κλειδιά από την αρχική, διπλασιάζοντας το μέγεθος της εικόνας εισόδου με χρήση γραμμικής παρεμβολής. Αυτός ο διπλασιασμός αυξάνει τον αριθμό των σταθερών σημείων κλειδιών κατά ένα παράγοντα 4, αλλά περαιτέρω αύξηση διαστάσεων δεν οδηγεί σε επιπλέον βελτίωση. 7.3 Εντοπισμός των σημείων κλειδιών Με το που βρεθεί ένα υποψήφιο σημείο κλειδί, το επόμενο βήμα είναι η εκτέλεση μίας λεπτομερούς προσαρμογής στα γειτονικά δεδομένα για εντοπισμό, κλιμάκωση και αναλογία των πρωτευουσών καμπυλοτήτων. Αυτή η πληροφορία επιτρέπει να απορριφθούν σημεία με χαμηλή αντίθεση (που είναι ευαίσθητα σε θόρυβο) ή που είναι ανεπαρκώς εντοπισμένα κατά μήκος μίας ακμής. Οι Brown και Lowe (00) πρότειναν μία μέθοδο για την προσαρμογή μίας τρισδιάστατης τετραγωνικής συνάρτησης στα τοπικά εικονοστοιχεία για τον προσδιορισμό της παρεμβαλλόμενης θέσης των σημείων κλειδιών. Η τεχνική αυτή χρησιμοποιεί το ανάπτυγμα Taylor της συνάρτησης D( x, y, ), μετατοπισμένης στο τοπικό εικονοστοιχείο: T D 1 T D D( p) D p p p p p (7.5) 66

67 όπου p ( x, y, ) T είναι η μετατόπιση από αυτό το εικονοστοιχείο. Η νέα θέση του ακρότατου p υπολογίζεται με παραγώγιση αυτής της συνάρτησης ως προς p και θέτοντάς την ίση με μηδέν: 1 D D p (7.6) p p Αν η μετατόπιση p είναι μεγαλύτερη από 0.5 σε οποιαδήποτε διάσταση, τότε το ακρότατο βρίσκεται πιο κοντά σε διαφορετικό σημείο κλειδί. Σε αυτή την περίπτωση το σημείο κλειδί αλλάζει και η παρεμβολή εκτελείται σε αυτό το σημείο. Η τελική μετατόπιση προστίθεται στη θέση του σημείου κλειδιού προκειμένου να εκτιμηθεί η θέση του ακρότατου. Προκειμένου να απορριφτούν σημεία κλειδιά που είναι ευαίσθητα στο θόρυβο, απορρίπτονται όλα τα ακρότατα για να τα οποία ισχύει: Dp ( ) 0.03 (υποθέτοντας τιμές εικονοστοιχείων στο διάστημα [0,1]). 7.4 Εκχώρηση Προσανατολισμού Αναθέτοντας σταθερό προσανατολισμό σε κάθε σημείο κλειδί με βάση τις τοπικές διευθύνσεις κλίσεων της εικόνας, ο περιγραφέας του σημείου κλειδιού μπορεί να αναπαρασταθεί σε σχέση με αυτόν τον προσανατολισμό και συνεπώς να επιτευχθεί αμεταβλητότητα σε περιστροφή εικόνας. Η κλιμάκωση του σημείου κλειδιού χρησιμοποιείται για την επιλογή της εξομαλυμένης Γκαουσιανής εικόνας L με την πλησιέστερη κλιμάκωση, έτσι ώστε όλοι οι υπολογισμοί να εκτελούνται με τρόπο ανεξαρτήτως κλιμάκωσης. Για κάθε φιλτραρισμένη εικόνα L( x, y ), σε αυτή την κλιμάκωση, υπολογίζονται το πλάτος κλίσης m( x, y ) και ο προσανατολισμός ( xy, ) χρησιμοποιώντας τις διαφορές εικονοστοιχείων: m( x, y) ( L( x 1, y) L( x 1, y)) ( L( x, y 1) L( x, y 1)) (7.7) 1 L( x, y 1) L( x, y 1) ( xy, ) tan ( ) ( L( x 1, y) L( x 1, y) (7.8) Στη συνέχεια διαμορφώνεται ένα ιστόγραμμα προσανατολισμού από τους προσανατολισμούς κλίσεων των σημείων δειγματοληψίας μέσα σε μία περιοχή γύρω από το σημείο κλειδί. Το ιστόγραμμα προσανατολισμού έχει 36 θέσεις που καλύπτουν το φάσμα των 360 μοιρών των προσανατολισμών. Κάθε δείγμα που προστίθεται στο ιστόγραμμα σταθμίζεται από το πλάτος κλίσης του και από ένα 67

68 σταθμισμένο-γκαουσιανό κυκλικό παράθυρο με που είναι 1.5 φορές αυτό της κλίμακας του σημείου κλειδιού. Οι κορυφές στο ιστόγραμμα προσανατολισμού αντιστοιχούν σε κυρίαρχες κατευθύνσεις των τοπικών κλίσεων. Αφού εντοπιστεί η υψηλότερη κορυφή, κάθε άλλη τοπική κορυφή που βρίσκεται μέσα στο 80% της υψηλότερης κορυφής, λαμβάνεται υπόψη για τη δημιουργία ενός σημείου κλειδιού με αυτόν τον προσανατολισμό. Συνεπώς, για θέσεις με πολλαπλές κορυφές ιδίου πλάτους, δημιουργούνται πολλαπλά σημεία κλειδιά στην ίδια θέση και κλιμάκωση αλλά με διαφορετικούς προσανατολισμούς. Περίπου μόνο σε ένα 15% των σημείων εκχωρούνται πολλαπλοί προσανατολισμοί, αλλά αυτά τα σημεία συνεισφέρουν σε σημαντικό βαθμό για την σταθερότητα της αντιστοίχισης. 7.5 Ο περιγραφέας του σημείου κλειδιού Σε αυτό το βήμα υπολογίζεται ένας περιγραφέας για το σημείο κλειδί, ο οποίος είναι ιδιαίτερα χαρακτηριστικός και αμετάβλητος στις υπόλοιπες αποκλίσεις, όπως αλλαγές σε φωτεινότητα ή αλλαγές της τρισδιάστατης οπτικής γωνίας. Αρχικά, δειγματολειπτούνται τα μέτρα και οι προσανατολισμοί των κλίσεων της εικόνας γύρω από τη θέση του σημείου κλειδιού, χρησιμοποιώντας την κλιμάκωση του σημείου κλειδιού για την επιλογή του θολώματος της Γκαουσιανής. Στη συνέχεια χρησιμοποιείται μία σταθμισμένη Γκαουσιανή συνάρτηση με ίσο με το μισό του πλάτους του παραθύρου του περιγραφέα, για να εκχωρήσει ένα βάρος στο μέτρο κάθε σημείου δειγματοληψίας, όπως φαίνεται στο κυκλικό παράθυρο του Σχήματος 7.5(α). Στο Σχήμα 7.5(β) απεικονίζεται ο περιγραφέας του σημείου κλειδιού. Τα δείγματα των κλίσεων συσσωρεύονται σε ιστογράμματα προσανατολισμού, συνοψίζοντας τα περιεχόμενα σε υποπεριοχές 4x4, με το μήκος του κάθε βέλους να αντιστοιχεί στο άθροισμα των μέτρων των κλίσεων κοντά σε αυτή τη διεύθυνση εντός της περιοχής. Το Σχήμα 7.5 δείχνει πίνακα περιγραφέα x που έχει προκύψει από ένα σετ δειγμάτων 8x8. Έχει αποδειχτεί ότι επιτυγχάνονται καλύτερα αποτελέσματα με πίνακα ιστογραμμάτων 4x4 με 8 θέσεις προσανατολισμού το καθένα. Συνεπώς, το διάνυσμα χαρακτηριστικών για κάθε σημείο κλειδί περιέχει 4x4x8=18 στοιχεία. 68

69 (α) (β) Σχήμα 7.5: (α) Τα μέτρα και οι προσανατολισμοί των κλίσεων των σημείων κλειδιών, (β) Ο περιγραφέας του σημείου κλειδιού. 69

70 Κεφάλαιο 8. Επιπολική Γεωμετρία Στο κεφάλαιο αυτό περιγράφονται οι βασικές αρχές της επιπολικής γεωμετρίας, με ιδιαίτερη αναφορά στο θεμελιώδη πίνακα. Ακολουθεί η περιγραφή διαφόρων τεχνικών για την εκτίμηση του θεμελιώδους πίνακα και τέλος επισημαίνεται η σημασία της διόρθωσης των εικόνων. 8.1 Η Επιπολική Γεωμετρία Δύο προοπτικές εικόνες μίας μοναδικής άκαμπτης σκηνής ή αντικειμένου σχετίζονται μεταξύ τους με την λεγόμενη επιπολική γεωμετρία (epipolar geometry), η οποία περιγράφεται από έναν 3x3 ιδιάζων πίνακα. Αν οι εσωγενείς παράμετροι των εικόνων (π.χ. εστιακό μήκος, συντεταγμένες κύριου σημείου κ.α.) είναι γνωστές, τότε δουλεύουμε με τις κανονικοποιημένες συντεταγμένες εικόνας και ο πίνακας είναι γνωστός ως ουσιώδης πίνακας (essential matrix), ενώ σε αντίθετη περίπτωση δουλεύουμε με τις συντεταγμένες των εικονοστοιχείων της εικόνας και ο πίνακας είναι γνωστός ως θεμελιώδης πίνακας (fundamental matrix). Ο πίνακας αυτός περιέχει όλη τη γεωμετρική πληροφορία που είναι απαραίτητη για την εξακρίβωση των αντιστοιχιών μεταξύ των δύο εικόνων, από τις οποίες μπορεί να συναχθεί η τρισδιάστατη δομή της σκηνής. Όταν οι εσωγενείς παράμετροι είναι γνωστές αλλά όχι οι εξωγενείς (η περιστροφή και η μετατόπιση των εικόνων), τότε το πρόβλημα αυτό είναι γνωστό ως δομή από κίνηση (structure from motion) και μελετάται εκτενώς στην Υπολογιστική Όραση. 8. Ο Επιπολικός Περιορισμός Όπως αναφέρθηκε η επιπολική γεωμετρία είναι η εσωτερική προβολική γεωμετρία μεταξύ δύο εικόνων μίας σκηνής. Είναι ανεξάρτητη από τη δομή της σκηνής και εξαρτάται μόνο από τις εσωγενείς παραμέτρους των καμερών και από τη σχετική τους θέση. Στην περίπτωση της στερεοσκοπικής αντιστοίχισης, έχοντας δεδομένο ένα εικονοστοιχείο από τη μία εικόνα προσπαθούμε να το ταυτοποιήσουμε με το αντίστοιχό του από την άλλη εικόνα. Ωστόσο, λόγω του επιπολικού περιορισμού, η αναζήτηση των ταυτοποιήσεων περιορίζεται σε μία απλή ευθεία (επιπολική) και όχι σε ολόκληρη την εικόνα. Θεωρούμε δύο προοπτικές εικόνες μίας σκηνής από ένα στερεοσκοπικό ζεύγος καμερών (ή ισοδύναμα υποθέτουμε ότι η σκηνή είναι σταθερή και απεικονίζεται με μία κάμερα από δύο διαφορετικές θέσεις). Το Σχήμα 8.1 δείχνει ένα τρισδιάστατο σημείο M που προβάλλεται από δύο κάμερες, των οποίων η σχετική τους θέση αντιπροσωπεύεται από μία περιστροφή R (rotation) και μία μεταφορά t (translation). ' Έστω C και C τα οπτικά κέντρα των καμερών αντίστοιχα. Δεδομένου ενός σημείου m στην πρώτη εικόνα, το αντίστοιχο σημείο του στην δεύτερη εικόνα περιορίζεται πάνω σε μία ευθεία που ονομάζεται επιπολική ευθεία (epipolar line) του σημείου m 70

71 και συμβολίζεται ως ' l m. Η ευθεία ' l m είναι η τομή του επιπέδου (επιπολικό ' ' επίπεδο), το οποίο ορίζεται από τα m, C και C με το επίπεδο της δεύτερης εικόνας. Όλες οι επιπολικές ευθείες των σημείων στην πρώτη εικόνα διέρχονται από ένα κοινό σημείο e ' που καλείται επίπολο (epipole). Το επίπολο e ' είναι η τομή της ευθείας ' CC με το επίπεδο εικόνας ' [30]. Η υπολογιστική σημασία στην αντιστοίχιση διαφορετικών όψεων είναι ότι για ένα σημείο της πρώτης εικόνας, η αντιστοιχία του στην δεύτερη εικόνα πρέπει να βρίσκεται επί της επιπολικής ευθείας στην δεύτερη εικόνα και συνεπώς ο χώρος αναζήτησης ελαττώνεται από τις δύο διαστάσεις σε μία διάσταση. Αυτό είναι γνωστό ως επιπολικός περιορισμός (epipolar constraint). Αλγεβρικά, προκειμένου να γίνει αντιστοίχιση μεταξύ των σημείων m και m ' από την πρώτη και δεύτερη εικόνα αντίστοιχα, πρέπει να ικανοποιείται η ακόλουθη εξίσωση: με 1 T m' Fm 0 (8.1) T F K ' t RK, όπου ( Rt, ) είναι ο άκαμπτος μετασχηματισμός (περιστροφή και μετατόπιση), F ο θεμελιώδης πίνακας και t είναι ο αντισυμμετρικός πίνακας: 0 tz t y ' t tz 0 t x. Γεωμετρικά, ο όρος Fm καθορίζει την επιπολική ευθεία l m ty tx 0 του σημείου m στην δεύτερη εικόνα και ουσιαστικά η σχέση (8.1) μας λέει ότι η αντιστοιχία ενός σημείου m στην δεύτερη εικόνα βρίσκεται πάνω στην επιπολική ευθεία l '. m Σχήμα 8.1: Επιπολική γεωμετρία. 71

72 8.3 Ο Θεμελιώδης Πίνακας Όπως αναφέρθηκε, ο θεμελιώδης πίνακας μπορεί να υπολογιστεί μόνο από τις αντιστοιχίες μεταξύ των σημείων των εικόνων, χωρίς καμία γνώση εσωγενών ή εξωγενών παραμέτρων της κάμερας. Έστω ότι ο προβολικός πίνακας στην πρώτη θέση της κάμερας είναι P και στην δεύτερη θέση P '. Το επίπολο είναι η εικόνα του κέντρου της άλλης κάμερας και ισχύει: Δεδομένου του σημείου και e ' μπορεί να γραφτεί ως: e PC ', e' P' C (8.) m ', η επιπολική ευθεία ' m ' ' l m που διέρχεται από τα σημεία l e m' Fm (8.3) Γεωμετρικά, ο θεμελιώδης πίνακας αντιπροσωπεύει την αντιστοίχιση από το δισδιάστατο προβολικό επίπεδο της πρώτης εικόνας με την δέσμη των επιπολικών ευθειών που έχει ως κέντρο το επίπολο e '. Συνεπώς αντιπροσωπεύει την αντιστοίχιση από τον δισδιάστατο προβολικό χώρο σε μονοδιάστατο και για αυτό το λόγο πρέπει να έχει τάξη. Για κάθε σημείο m (εκτός από το επίπολο e ), η επιπολική ευθεία επίπολο ' lm Fm περιέχει το επίπολο e '. Συνεπώς από τη σχέση (8.1) το T T e ' ικανοποιεί την σχέση e' ( Fm) ( e' F) m 0, για όλα τα m. Αυτό T συνεπάγεται ότι e' F 0, δηλαδή το e ' είναι το αριστερό μηδενικό διάνυσμα του F. Ομοίως, ισχύει Fe 0, δηλαδή το e είναι το δεξί μηδενικό διάνυσμα του F. Θεωρούμε την περίπτωση όπου η κάμερα στην πρώτη θέση της ταυτίζεται με το σύστημα συντεταγμένων του χώρου, ενώ η δεύτερη θέση έχει προκύψει μετά από μία μετατόπιση t και μία περιστροφή R. Για τους προβολικούς πίνακες θα ισχύει: και για τα επίπολα θα ισχύει: P K[ I 0], P' K '[ R t] (8.4) m ' T Rt T 0 e P KR t, e' P ' K ' t 1 1 (8.5) Θεωρούμε δύο σημεία πάνω στην οπτική ακτίνα CM : το κέντρο της κάμερας με 0 συντεταγμένες και την προβολή του σημείου M στο άπειρο της οπτικής ακτίνας 1 με συντεταγμένες 0 προκύψουν τα σημεία: 1 K m. Προβάλλοντας τα σημεία αυτά στην δεξιά πλευρά, θα 7

73 K m K m 1 P' K '[ R t] K ' t, P' K '[ R t] K ' RK m (8.6) Έχοντας υπολογίσει τα σημεία αυτά, μπορούμε να υπολογίσουμε την επιπολική ευθεία: l ( K ' t) ( K ' RK m) K ' ( t ( RK m)) K ' t RK m (8.7) ' 1 T 1 T 1 m F K ' t RK e' K ' RK. Οι ιδιότητες του θεμελιώδους πίνακα 1 1 T όπου συνοψίζονται στον πίνακα 8.1. Ο θεμελιώδης πίνακας έχει τάξη και 7 βαθμούς ελευθερίας. Αντιστοίχιση σημείων Επιπολικές ευθείες Αν m και m ' είναι σημεία T αντιστοίχισης τότε m' Fm 0. l Fm η επιπολική ευθεία που ' m αντιστοιχεί στο m. T l F m' η επιπολική ευθεία που m αντιστοιχεί στο m '. Επίπολα Υπολογισμός από πίνακες κάμερας PP, ' Fe 0 T F e' 0 P K[ I 0], P' K '[ R t] 1 T F K ' t RK Πίνακας 8.1: Ιδιότητες θεμελιώδους πίνακα. 8.3 Ο Ουσιώδης Πίνακας Ο ουσιώδης πίνακας είναι η ειδική περίπτωση του θεμελιώδους πίνακα όπου είναι κανονικοποιημένες οι συντεταγμένες της εικόνας. Ο θεμελιώδης πίνακας μπορεί να θεωρηθεί ως γενίκευση του ουσιώδους πίνακα στην οποία αφαιρείται η υπόθεση της βαθμονομημένης κάμερας. Ο ουσιώδης πίνακας έχει λιγότερους βαθμούς ελευθερίας και πρόσθετες ιδιότητες, σε σχέση με το θεμελιώδη πίνακα. Έστω ένα ζεύγος κανονικοποιημένων πινάκων κάμερας P [ I 0] και P' [ R t]. Ο θεμελιώδης πίνακας που αντιστοιχεί σε αυτό το κανονικοποιημένο ζεύγος κάμερας ονομάζεται ουσιώδης πίνακας με μορφή: E TR (8.8) όπου T είναι ο αντισυμμετρικός πίνακας που ικανοποιεί τη σχέση Tv t v για όλα τα διανύσματα v. Η σχέση που ορίζει τον ουσιώδη πίνακα είναι: 73

74 T m' Em 0 (8.9) όπου m είναι το σημείο εικόνας σε κανονικοποιημένες συντεταγμένες. Αντικαθιστώντας στην παραπάνω σχέση το m προκύπτει 1 K m T T 1 m' K ' EK m 0. Συγκρίνοντας αυτή τη σχέση με την (8.1) για τον θεμελιώδη πίνακα, συνεπάγεται ότι η σχέση μεταξύ θεμελιώδους και ουσιώδους πίνακα είναι: E K ' T FK (8.10) Ο ουσιώδης πίνακας εξαρτάται μόνο από τις εξωγενείς παραμέτρους της κάμερας και έχει μόνο πέντε βαθμούς ελευθερίας αφού ο πίνακας περιστροφής R και η μετακίνηση t έχουν από τρεις βαθμούς ελευθερίας, μείον ένας για την αβεβαιότητα της κλίμακας. Ο μειωμένος αριθμός βαθμών ελευθερίας μεταφράζεται σε επιπλέον περιορισμούς που ικανοποιούνται από τον ουσιώδη πίνακα σε σύγκριση με το θεμελιώδη πίνακα. Ως αποτέλεσμα αυτού του περιορισμού είναι ότι ένας πίνακας 3 3 είναι ουσιώδης πίνακας αν και μόνο αν δύο από τις ιδιάζουσες τιμές του είναι ίσες και η τελευταία μηδενική. 8.4 Ανάκτηση παραμέτρων από τον ουσιώδη πίνακα Όπως αναφέρθηκε προηγουμένως, ο ουσιώδης πίνακας μπορεί να υπολογιστεί είτε απευθείας από τη σχέση (8.9) με χρήση των κανονικοποιημένων συντεταγμένων της εικόνας, είτε από τον θεμελιώδη πίνακα (σχέση 8.10). Με δεδομένο τον ουσιώδη πίνακα μπορούμε να εξαγάγουμε δύο λύσεις για την μετατόπιση και την περιστροφή χρησιμοποιώντας στοιχειώδεις πράξεις πινάκων [31]. Έστω R ( r1 r r3 ), όπου r i είναι η i η στήλη του πίνακα περιστροφής. Τότε έχουμε ότι: E ( t r t r t r ) (8.11) 1 3 Κάθε στήλη του ουσιώδους πίνακα είναι ορθογώνια με το t και έτσι το t είναι παράλληλο με το εξωτερικό γινόμενο δύο οποιονδήποτε στηλών. Συγκεκριμένα, έστω E ( e1 e e3 ), όπου e i είναι η i η στήλη του ουσιώδους πίνακα, τότε θα έχουμε: e e ( t r ) ( t r ) [ r r t] t ( r t) t (8.1) Ομοίως ισχύει e e3 ( r1 t) t και e3 e1 ( r t) t. Για καλύτερη αριθμητική ακρίβεια επιλέγεται το μεγαλύτερο από τα τρία εξωτερικά γινόμενα και στη συνέχεια ακολουθεί η κλιμάκωσή του για την εξαγωγή της μετατόπισης. Ο κατάλληλος παράγοντας κλιμάκωσης μπορεί να προσδιοριστεί από το άθροισμα των τετραγώνων των στοιχείων του ουσιώδους πίνακα που ισούται με ( tt ), όπως φαίνεται και από την ακόλουθη σχέση: 74

75 t r1 t r t r3 3( t t) ( t t) ( t t) (8.13) Συνεπώς, αν ( e e ) είναι το μεγαλύτερο από τα τρία πιθανά ανά ζεύγη εξωτερικά i j γινόμενα, τότε η παρακάτω σχέση δίνει τις δύο πιθανές λύσεις για την μετατόπιση: t e e 1 Trace( EE ) i j T e e i j (8.14) Ακολούθως θα υπολογίσουμε τον πίνακα περιστροφής R. Αρχικά συμβολίζουμε τον πίνακα των συμπολλαπλασιαστών (cofactors) του ουσιώδους πίνακα E ( e1 e e3 ) ως: Cofactors ( E) ( e e e e e e ) T, (8.15) ο οποίος με χρήση της σχέσης (8.1) μπορεί να γραφεί ως: Cofactors ( E) (( r t) t ( r t) t ( r t) t) T (8.16) 1 3 έτσι ώστε κάθε γραμμή του πίνακα των συμπολλαπλασιαστών να είναι παράλληλη της μετατόπισης. Η παραπάνω σχέση μπορεί να ξαναγραφεί με τη μορφή: Cofactors ( E) ( t( R t) ) T ή Cofactors ( E) (( tt ) R) T T T (8.17) T (8.18) Με χρήση της σχέσης T T tt ( t t) I προκύπτει: TE T R ( tt T ) R ( t t) R (8.19) Τελικά έχουμε: ( t t) R Cofactors ( E) T TE (8.0) Η παραπάνω σχέση αποτελεί έναν απλό τρόπο υπολογισμού των δύο τιμών του πίνακα περιστροφής R, δεδομένων των δύο τιμών της μετατόπισης t. Υπάρχουν ακριβώς δύο λύσεις για την μετατόπιση και την περιστροφή, δεδομένου ενός συγκεκριμένου ουσιώδους πίνακα. Αν αντιστραφεί το πρόσημο του ουσιώδους πίνακα, τότε προκύπτει ένα επιπλέον ζεύγος λύσεων στο οποίο η μετατόπιση και ο προσανατολισμός συνδυάζονται κατά ζεύγη με διαφορετικό τρόπο. 8.5 Μέθοδοι εκτίμησης του θεμελιώδους πίνακα Η σημασία του θεμελιώδους πίνακα οφείλεται στο γεγονός ότι αντιπροσωπεύει συνοπτικά ολόκληρη την επιπολική γεωμετρία της στερεοσκοπικής όρασης. Ο θεμελιώδης πίνακας μπορεί να εκτιμηθεί από τις αντιστοιχίες των σημείων μεταξύ δύο εικόνων. Η δυσκολία κατά την εκτίμησή του οφείλεται στο γεγονός ότι συχνά 75

76 προκύπτει ένα ποσοστό λανθασμένων αντιστοιχίσεων για ένα δεδομένο σύνολο αντιστοιχούντων σημείων. Συνεπώς, είναι επιτακτική ανάγκη να χρησιμοποιηθούν ακριβείς τεχνικές για την εκτίμησή του. Ακολούθως παρουσιάζονται μερικές δημοφιλείς μέθοδοι για την εκτίμηση του θεμελιώδους πίνακα, οι οποίες μπορούν να ταξινομηθούν σε γραμμικές μεθόδους (linear methods) και σε επαναληπτικές μεθόδους (iterative methods), οι οποίες αντιμετωπίζουν τον κακό εντοπισμό των σημείων που οφείλεται σε θόρυβο κατά την κατάτμηση της εικόνας και σε σθεναρές μεθόδους (robust methods) για την ελαχιστοποίηση των λανθασμένων αντιστοιχίσεων (outliers). Ιδιαίτερη έμφαση δίνεται στις τελευταίες [3]. Έστω ένα σημείο m [ u, v ] T στην πρώτη εικόνα και το αντίστοιχό του m i i i [ u, v ] T ' ' ' i i i στην δεύτερη εικόνα. Τα σημεία αυτά πρέπει να ικανοποιούν τη σχέση (8.1), η οποία μπορεί να γραφεί ως μία γραμμική και ομογενής εξίσωση με τους 9 άγνωστους συντελεστές του πίνακα F ως: όπου u και ' ' ' ' ' ' [,,,,,,,,1] T i uiui viui ui uivi vivi vi ui vi f F F F F F F F F F [ 11, 1, 13, 1,, 3, 31, 3, 33] T με ij i γραμμή και την j στήλη. u f 0 (8.1) T i F το στοιχείο του πίνακα F για την Με δεδομένα n σημεία αντιστοίχισης από την σχέση (8.1) προκύπτει το ακόλουθο γραμμικό σύστημα: Un f 0, όπου U [ 1,..., ] T n u u n. Αυτό το σύνολο των γραμμικών ομογενών εξισώσεων σε συνδυασμό με τον περιορισμό της τάξης του πίνακα F μάς επιτρέπει να εκτιμήσουμε την επιπολική γεωμετρία Γραμμικές μέθοδοι Λύση με 7 σημεία αντιστοίχισης: Όπως έχει αναφερθεί προηγουμένως ο θεμελιώδης πίνακας έχει μόνο 7 βαθμούς ελευθερίας και συνεπώς 7 είναι ο ελάχιστος αριθμός των αντιστοιχούντων σημείων που απαιτείται για την επίλυση της επιπολικής γεωμετρίας. Σε αυτή την περίπτωση n 7 και rank( U7) 7. Με παραγοντοποίηση ιδιαζουσών τιμών (singular value decomposition), προκύπτουν τα διανύσματα f και 1 f που αποτελούν το εύρος τιμών του πυρήνα του U 7. Ο πυρήνας είναι ο γραμμικός συνδυασμός των f και 1 f που αντιστοιχεί στους πίνακες F 1 και F αντίστοιχα. Λόγω της ομοιογένειας των εξισώσεων, η λύση είναι ένα σύνολο πινάκων της μορφής: F af (1 a) F (8.) 1 Δεδομένου ότι η ορίζουσα του θεμελιώδους πίνακα πρέπει να είναι μηδενική, δηλαδή det[ af (1 a) F ] 0, προκύπτει ένα κυβικό πολυώνυμο το οποίο λύνεται ως προς 1 a. Ο μέγιστος αριθμός των πραγματικών λύσεων είναι 3 και για κάθε λύση a ο 76

77 θεμελιώδης πίνακας δίνεται από την παραπάνω σχέση. Το πλεονέκτημα αυτής της μεθόδου είναι ότι ο θεμελιώδης πίνακας μπορεί να εκτιμηθεί χρησιμοποιώντας μόνο 7 σημεία, αλλά αυτό γίνεται μειονέκτημα όταν κάποια σημεία είναι κακώς εντοπισμένα. Επιπλέον, αυτή η μέθοδος δεν μπορεί να χρησιμοποιηθεί για περισσότερα από 7 σημεία. Μέθοδος 8 σημείων: Πρακτικά, έχουμε ως δεδομένα πάνω από 7 αντιστοιχίες σημείων. Αν αγνοήσουμε τον περιορισμό της δεύτερης τάξης, τότε μπορεί να χρησιμοποιηθεί μία μέθοδος ελαχίστων τετραγώνων για την επίλυση της παρακάτω σχέσης: η οποία μπορεί να ξαναγραφεί ως: ' T mi Fmi (8.3) i min ( ) F min f n U f (8.4) Η μέθοδος των ελαχίστων τετραγώνων είναι η πιο κλασσική μέθοδος για την επίλυση της παραπάνω σχέσης, απαιτώντας ένα από τα στοιχεία του θεμελιώδους πίνακα να είναι μονάδα. Αυτή η απλοποίηση μπορεί να υποτεθεί διότι ο θεμελιώδης πίνακας καθορίζεται πάντα μέχρι ένα παράγοντα κλιμάκωσης. Χωρίς απώλεια της γενικότητας, υποθέτουμε ότι το τελευταίο στοιχείο του διανύσματος f (δηλαδή f F ) δεν είναι μηδέν και συνεπώς μπορούμε να θέσουμε f9 1. Έτσι 9 33 προκύπτει ' ' ' T ' T ' ' ' ' 9 T T n n n n 9 n 9 9 U f U f c f U U f c U f c c, όπου πίνακας n 8 που αποτελείται από τις 8 πρώτες στήλες του στήλη του U n και ' U n είναι ένας U n, c 9 είναι η ένατη ' f το διάνυσμα που περιέχει τα 8 πρώτα στοιχεία του f. Η λύση που προκύπτει μετά από το μηδενισμό της πρώτης παραγώγου είναι: f ( U U ) U c. ' ' T ' 1 ' T n n n 9 Το πρόβλημα με αυτή τη μέθοδο είναι ότι δεν γνωρίζουμε εκ των προτέρων ποιος συντελεστής δεν είναι μηδέν. Μία λύση είναι η δοκιμή όλων των συνδυασμών, θέτοντας κάθε φορά έναν από τους 9 συντελεστές του θεμελιώδους πίνακα μονάδα και να κρατήσουμε την καλύτερη εκτίμηση. Μία παραλλαγή της μεθόδου των 8 σημείων είναι η χρήση της ιδιοανάλυσης (eigen analysis) για την επίλυση της σχέσης (8.4), η οποία καλείται επίσης και ορθογώνια τεχνική ελαχίστων τετραγώνων. Σε αυτή τη μέθοδο υπάρχει περιορισμός στη νόρμα του διανύσματος f και συγκεκριμένα ισχύει f 1. Σε σύγκριση με την προηγούμενη μέθοδο κανένας συντελεστής του θεμελιώδους πίνακα δεν υπερισχύει σε σχέση με τους υπόλοιπους. Έτσι η σχέση (8.4) μετατρέπεται σε ένα πρόβλημα ελαχιστοποίησης χωρίς περιορισμούς μέσω των πολλαπλασιαστών Lagrange: min F( f, ) (8.5) f 77

78 όπου F( f, ) U f (1 f ) και είναι ο πολλαπλασιαστής Lagrange. n Θέτοντας την πρώτη παράγωγο του F( f, ) ως προς f να είναι μηδέν, έχουμε U U f T n n πίνακα f. Συνεπώς, η λύση f είναι ένα μοναδιαίο ιδιοδιάνυσμα του 9 9 UU και T n n η αντίστοιχη ιδιοτιμή. Δεδομένου ότι θέλουμε να ελαχιστοποιήσουμε το F( f, ), η λύση είναι το μοναδιαίο ιδιοδιάνυσμα του πίνακα UU που αντιστοιχεί στην μικρότερη ιδιοτιμή. Η διαφορά μεταξύ αυτής μεθόδου και T n n των κλασσικών ελαχίστων τετραγώνων έγκειται στον τρόπο υπολογισμού του σφάλματος μεταξύ αντιστοιχιών και επιπολικών ευθειών, καθώς είναι πιο ρεαλιστική μία ορθογώνια απόσταση μέχρι την επιπολική ευθεία. Αναλυτική μέθοδος με περιορισμό δεύτερης τάξης: Αυτή η μέθοδος επιβάλλει τον περιορισμό της δεύτερης τάξης κατά την ελαχιστοποίηση, αλλά εξακολουθεί να δίνει T T αναλυτική λύση. Χωρίς απώλεια της γενικότητας, υποθέτουμε ότι f [ g, f8, f9], όπου g είναι ένα διάνυσμα που περιέχει τα πρώτα εφτά στοιχεία του f. Έστω c 8 και c 9 οι δύο τελευταίες στήλες του πίνακα U n και B ο n 7 πίνακας που αποτελείται από εφτά πρώτες στήλες του U. Από τη σχέση U f 0, έχουμε: n Bg f8c8 f9c9 (8.6) Λύνοντας ως προς g με τα ελάχιστα τετράγωνα προκύπτει g f B B B c f B B B c T 1 T T 1 T 8( ) 8 9( ) 9, όπου 8 n f και f 9 το όγδοο και ένατο στοιχείο του f αντίστοιχα. Για τις τιμές των f 8 και f 9 μπορεί να υπολογιστεί ο θεμελιώδης πίνακας F χρησιμοποιώντας τον αλγόριθμο των 7 σημείων που περιγράφτηκε προηγουμένως. Δεδομένου ότι μία εξίσωση τρίτου βαθμού έχει τουλάχιστον μία πραγματική ρίζα, θα προκύψει τουλάχιστον μία λύση για τον θεμελιώδη πίνακα F. Αυτή η λύση καθορίζεται μέχρι ένα παράγοντα κλιμάκωσης και το διάνυσμα f κανονικοποιείται έτσι ώστε η νόρμα του να είναι 1. Αν προκύψουν τρεις πραγματικές ρίζες, επιλέγεται εκείνη που ελαχιστοποιεί την νόρμα διανύσματος του U f σύμφωνα με f 1. Από αυτή τη μέθοδο προκύπτει ένας πίνακας δεύτερης τάξης. Ωστόσο, τα αποτελέσματα αυτής της μεθόδου δεν βελτιώνουν αισθητά αυτά των προηγούμενων μεθόδων. Γενικά, οι γραμμικές μέθοδοι είναι πολύ γρήγορες, αλλά παρουσιάζουν φτωχή ακρίβεια παρουσία θορύβου. Μπορούν να ληφθούν καλύτερα αποτελέσματα χρησιμοποιώντας επαναληπτικούς αλγόριθμους. n 8.5. Επαναληπτικές μέθοδοι Οι επαναληπτικές μέθοδοι μπορούν να ταξινομηθούν σε δύο ομάδες. Η πρώτη ομάδα βασίζεται στην ελαχιστοποίηση των αποστάσεων μεταξύ σημείων και επιπολικών ευθειών σύμφωνα με το ακόλουθο κριτήριο: 78

79 ' ' d mi Fmi d mi F mi (8.7) i min ( (, ) (, )) F Έστω d m l ' ' ( i, i) l Fm [ l, l, l ] T και ' ' ' ' i i 1 3 ' T ' i i m l l l ' ' 1 1 ' T mi Fmi, c ' i ' i T l F m [ l, l, l ]. Χρησιμοποιώντας τις σχέσεις i ' ' ' i 1 T 1 3 c l l και παραπάνω κριτήριο μπορεί να ξαναγραφεί ως: ' T T T ' i i i i m Fm m F m, το ' T wi mi Fmi (8.8) i min ( ) F όπου w i 1 1 l l l l ' ' 1 1 1/. Μία πρώτη προσέγγιση είναι η απευθείας εφαρμογή της επαναληπτικής μεθόδου Newton-Raphson χρησιμοποιώντας την τεχνική των ελαχίστων τετραγώνων ως αρχική λύση. Επαναληπτική γραμμική μέθοδος: Από την ομοιότητα των σχέσεων (8.3) και (8.8) προκύπτει ότι μπορεί να χρησιμοποιηθεί μία σταθμισμένη γραμμική μέθοδος ελαχίστων τετραγώνων για τον υπολογισμό των βαρών w. Υποθέτοντας ότι αρχικά ισχύει wi 1 για όλα τα βάρη, εφαρμόζεται ο αλγόριθμος 8 σημείων για μία αρχική εκτίμηση του θεμελιώδους πίνακα. Στη συνέχεια τα βάρη i w i υπολογίζονται από αυτή την αρχική λύση και ακολούθως εφαρμόζονται τα σταθμισμένα γραμμικά ελάχιστα τετράγωνα για βελτίωση της λύσης. Η διαδικασία αυτή επαναλαμβάνεται αρκετές φορές. Ωστόσο, η εφαρμογή αυτής της μεθόδου δεν βελτιώνει σημαντικά τα αποτελέσματα της γραμμικής μεθόδου, διότι δεν λαμβάνεται υπόψη ο περιορισμός δεύτερης τάξης για τον θεμελιώδη πίνακα. Μη γραμμική ελαχιστοποίηση στον παραμετρικό χώρο: Η μέθοδος της μη γραμμικής ελαχιστοποίησης στον παραμετρικό χώρο αντιμετωπίζει το παραπάνω πρόβλημα. Αυτή η μέθοδος βασίζεται στην παραμετροποίηση του θεμελιώδους πίνακα λαμβάνοντας υπόψη ότι έχει τάξη για τον καθορισμό μίας από τις δυνατές παραμετροποιήσεις. Η επανάληψη της μεθόδου επιτρέπει τον υπολογισμό ενός καλύτερου θεμελιώδους πίνακα δεύτερης τάξης. Για παράδειγμα, ας συμβολίσουμε τις στήλες του θεμελιώδους πίνακα ως c1, c, c 3. Ο περιορισμός δεύτερης τάξης είναι ισοδύναμος με την συνθήκη:, τέτοια ώστε c 0 1c 1 c 0 (8.9) 1 j j j για j0, j1, j [1,3], όπου 1, είναι βαθμωτά μεγέθη. Μία παραμετροποίηση του θεμελιώδους πίνακα βασισμένη στις παραμέτρους του επιπολικού μετασχηματισμού είναι: 79

80 a b ax by F c d cx dy ' ' ' ' ax cy bx dy F 33 (8.30) με F ax by x cx dy y ' ' 33 ( ) ( ) και, xy τις συντεταγμένες του πρώτου επιπόλου, ' ' x y τις συντεταγμένες του δεύτερου επιπόλου, και τα τέσσερα στοιχεία,,,, που απέμειναν από τα i1 i j1 j a b c d c, c, l, l, τα οποία παραμετροποιούν τον επιπολικό μετασχηματισμό αντιστοιχίζοντας μία επιπολική ευθεία της δεύτερης εικόνας στην αντίστοιχή της στην πρώτη εικόνα. Για την επιλογή της πιο κατάλληλης παραμετροποίησης συμβολίζουμε το διάνυσμα f που περιέχει τα στοιχεία του πίνακα F και τα i0, j 0 επιλέγονται έτσι ώστε να μεγιστοποιηθεί η τάξη του 9 8 Ιακωβιανού πίνακα: i0j0 J df i j 0 0 (8.31) dp όπου p x y x y a b c d ' ' [,,,,,,, ] T. Αυτό επιτυγχάνεται μεγιστοποιώντας τη νόρμα του διανύσματος του οποίου οι συντεταγμένες είναι οι ορίζουσες των εννέα 8 8 υποπινάκων του Ιακωβιανού πίνακα J. Αποδεικνύεται ότι αυτή η νόρμα έχει τιμή ' ' ( ad bc) x y 1 x y 1. Τέλος για την ελαχιστοποίηση της (8.8) μπορεί να χρησιμοποιηθεί οποιαδήποτε διαδικασία ελαχιστοποίησης όπως ο αλγόριθμος Levenberg-Marquardt. Ωστόσο, δεν λαμβάνεται καλή εκτίμηση διότι η διασπορά των σημείων δεν είναι ίδια και η τεχνική των ελαχίστων τετραγώνων υποθέτει ότι είναι συγκρίσιμη. Αυτό το μειονέκτημα ξεπερνιέται με τη δεύτερη ομάδα των επαναληπτικών μεθόδων που βασίζονται σε τεχνική κλίσης (Gradient-Based Technique). Τεχνική βασισμένη σε κλίση: Σε αυτή την μέθοδο ελαχιστοποιείται το ακόλουθο σταθμισμένο άθροισμα τετραγώνων: όπου fi 'T i i και m Fm fi f i (8.3) i min / F f i είναι η διασπορά του f i. Το παραπάνω κριτήριο έχει την επιθυμητή ιδιότητα τα fi / f i να ακολουθούν με προσέγγιση πρώτης τάξης την κανονική κατανομή, αφού η διασπορά τους έχει τιμή 1. Επειδή τα σημεία εξάγονται με ανεξάρτητο τρόπο από τον ίδιο αλγόριθμο, υποθέτουμε στα σημεία της εικόνας υπεισέρχεται ανεξάρτητος και πανομοιότυπος κατανεμημένος γκαουσιανός θόρυβος, δηλαδή οι πίνακες των συνδιασπορών τους δίνονται από τη σχέση (1,1), όπου το επίπεδο του θορύβου που μπορεί να είναι m ' diag i mi άγνωστο. Με προσέγγιση πρώτης τάξης, η διασπορά του T T fi fi fi fi ' ' f ' i m l i m 1 l l1 l i mi mi mi mi [ ], όπου ' ' f i δίνεται από τη σχέση l Fm [ l, l, l ] T ' ' ' ' i i

81 και ' i T l F m [ l, l, l ]. Δεδομένου ότι ο πολλαπλασιασμός κάθε όρου με μία i T 1 3 σταθερά δεν επιδρά στην ελαχιστοποίηση, η σχέση (8.3) γίνεται: ' T mi Fmi gi (8.33) i min ( ) / F όπου g l l l l είναι η κλίση του f i. Η τεχνική βασισμένη σε κλίση δίνει i ' ' 1 1 καλύτερα αποτελέσματα σε σχέση με τις γραμμικές μεθόδους και της πρώτης ομάδας των επαναληπτικών μεθόδων. Αν και οι επαναληπτικές μέθοδοι έχουν μεγαλύτερη ακρίβεια από τις γραμμικές, είναι αρκετά χρονοβόρες και δεν μπορούν να εξαλείψουν πιθανές λανθασμένες αντιστοιχίσεις. Το πρόβλημα αυτό αντιμετωπίζεται με τις σθεναρές μεθόδους Σθεναρές μέθοδοι Στο σημείο αυτό παρουσιάζονται τρεις δημοφιλείς σθεναρές μέθοδοι: οι Μ-Εκτιμητές (M-Estimators), ο αλγόριθμος LMedS (Least-Median-Squares) και ο αλγόριθμος RANSAC (RANdom SAmple Consensus) οι οποίες χρησιμοποιούνται παρουσία outliers και κακώς εντοπισμένων σημείων. Μ-Εκτιμητές: Οι Μ-Εκτιμητές προσπαθούν να μειώσουν το αποτέλεσμα των outliers σταθμίζοντας το υπόλοιπο κάθε σημείου. Έχουν προταθεί διάφορες συναρτήσεις βάρους, κάθε μία από τις οποίες δίνει μία καινούργια παραλλαγή της μεθόδου. Οι Μ- Εκτιμητές είναι σθεναροί σε outliers που οφείλονται σε κακό εντοπισμό, αλλά δεν είναι σθεναροί σε λανθασμένες αντιστοιχίσεις, διότι εξαρτώνται σε μεγάλο βαθμό από την αρχική υπόθεση η οποία προκύπτει συνήθως από τα ελάχιστα τετράγωνα. Έστω r i η διαφορά μεταξύ της i ης παρατήρησης και της κατάλληλης τιμής της. Οι Μ- Εκτιμητές προσπαθούν να μειώσουν το αποτέλεσμα των outliers αντικαθιστώντας τα τετραγωνικά υπόλοιπα r i με μία άλλη συνάρτηση υπολοίπων: i (8.34) i min ( r ) όπου μία συμμετρική, θετικά ορισμένη συνάρτηση με μοναδικό ελάχιστο στο μηδέν. Το πρόβλημα αυτό μπορεί να αντιμετωπιστεί ως επαναληπτικό επανασταθμισμένο πρόβλημα ελαχίστων τετραγώνων. Έστω p [ p1,..., p ] T p το προς εκτίμηση διάνυσμα παραμέτρων. Ο Μ-Εκτιμητής του p που βασίζεται στη συνάρτηση ( r i ) είναι το διάνυσμα p, το οποίο είναι η λύση των ακόλουθων p εξισώσεων: ri ( ri ) 0, για j 1,..., p p i j (8.35) 81

82 d( x) όπου η παράγωγος ( x) καλείται συνάρτηση επιρροής. Αν ορίσουμε μία dx ( x) συνάρτηση βάρους wx ( ), τότε η σχέση (8.35) γίνεται x ri w( ri) ri 0, για j 1,..., p (8.36) p i j Το ίδιο σύστημα εξισώσεων μπορεί να προκύψει αν λύσουμε το ακόλουθο επαναληπτικό επανασταθμισμένο πρόβλημα ελαχίστων τετραγώνων: ( k1) w ri ri (8.37) i min ( ) όπου ο εκθέτης ( k ) υποδηλώνει τον αριθμό της επανάληψης. Ένας σθεναρός Μ-Εκτιμητής πρέπει να πληροί τους ακόλουθους περιορισμούς: Να έχει φραγμένη συνάρτηση επιρροής. Να είναι μοναδικός. Αυτό απαιτεί κάθε συνάρτηση να είναι κυρτή στη μεταβλητή p. Αυτός ο περιορισμός της καμπυλότητας είναι ισοδύναμος με (.) την να είναι μη αρνητικά ορισμένη. p (.) Όταν η είναι μοναδική, η συνάρτηση πρέπει να έχει κλίση δηλαδή p (.) 0. Αυτό αποτρέπει την αναζήτηση σε ολόκληρο τον χώρο των p παραμέτρων. Στη βιβλιογραφία συναντάται μία πληθώρα Μ-Εκτιμητών. Ενδεικτικά, μία συνήθης συνάρτηση βάρους που χρησιμοποιείται για την εκτίμηση της επιπολικής γεωμετρίας είναι: 1 ri wi / ri ri ri (8.38) Αν γίνει μία καλή εκτίμηση της τυπικής απόκλισης του σφάλματος στα σωστά δεδομένα (inliers), τότε τα δεδομένα των οποίων το σφάλμα είναι μεγαλύτερο από ένα ορισμένο αριθμό τυπικών αποκλίσεων, μπορούν να θεωρηθούν ως outliers. Η σθεναρή εκτίμηση της τυπικής απόκλισης σχετίζεται με τη διάμεσο των απολύτων τιμών των υπολοίπων και δίνεται από τη σχέση: 1.486[1 5 / ( n p)] median ri (8.39) όπου n είναι το μέγεθος του συνόλου των δεδομένων. i 8

83 Least Median of Squares (LMedS): Η μέθοδος LMedS εκτιμά τις παραμέτρους επιλύοντας το μη γραμμικό πρόβλημα ελαχιστοποίησης: min median r (8.40) i i Έχει αποδειχτεί ότι αυτή η μέθοδος είναι πολύ σθεναρή σε λανθασμένες αντιστοιχίσεις, καθώς και σε outliers που οφείλονται σε κακό εντοπισμό. Ωστόσο, το πρόβλημα LMedS δεν μπορεί να αναχθεί σε σταθμισμένο πρόβλημα ελαχίστων τετραγώνων όπως στην περίπτωση των Μ-Εκτιμητών, αλλά λύνεται με αναζήτηση στο χώρο των πιθανών εκτιμήσεων που έχει παραχθεί από τα δεδομένα. Δεδομένου ότι αυτός ο χώρος είναι αρκετά μεγάλος, μπορεί να αναλυθεί μόνο ένα τυχαίο υποσύνολο των δεδομένων. Ακολουθεί ο αλγόριθμος που εφαρμόζεται για τη σθεναρή εκτίμηση του θεμελιώδους πίνακα. ' Δεδομένων n σημείων ( mi, mi) i 1,..., n : 1. Χρήση τεχνικής τύπου Monte Carlo για την επιλογή m τυχαίων υποδειγμάτων των p 7 διαφορετικών σημείων.. Για κάθε υποδείγμα με δείκτη J, χρησιμοποιείται η τεχνική λύσης με 7 σημεία αντιστοίχισης που περιγράφηκε στο υποκεφάλαιο για τον υπολογισμό του θεμελιώδους πίνακα F. Προκύπτουν το πολύ 3 λύσεις. 3. Για κάθε F J, υπολογίζεται η μεσαία τιμή των τετραγώνων των υπολοίπων σε σχέση με ολόκληρο το σύνολο των σημείων και συμβολίζεται ως δηλαδή ' T ' j i j i i J i i1,..., n J M J, M median[ d ( m, F m ) d ( m, F m )]. Εδώ χρησιμοποιούνται οι αποστάσεις μεταξύ σημείων και επιπολικών ευθειών, αλλά μπορούν να χρησιμοποιηθούν και άλλα μέτρα σφάλματος ανάλογα με την ακρίβεια που απαιτείται. 4. Διατήρηση της εκτίμησης F J για την οποία η M J είναι ελάχιστη από όλα τα m των M J. Ένα υποδείγμα θεωρείται καλό αν περιέχει p καλές αντιστοιχίες. Υποθέτοντας ότι ολόκληρο το σύνολο των αντιστοιχιών μπορεί να περιέχει ένα κλάσμα από outliers, η πιθανότητα τουλάχιστον ένα από τα m υποδείγματα να είναι καλό, δίνεται από τη σχέση: p m P 1 [1 (1 ) ] (8.41) Απαιτώντας η πιθανότητα P να είναι περίπου 1, μπορεί να υπολογιστεί το m για δεδομένες τιμές των p, : log(1 P) m p log[1 (1 ) ] (8.4) Ο αλγόριθμος μπορεί να επιταχυνθεί σημαντικά με τεχνική παράλληλης επεξεργασίας, δεδομένου ότι κάθε υποδείγμα μπορεί επεξεργαστεί ανεξάρτητα από τα άλλα. 83

84 Η απόδοση του αλγόριθμου LMedS είναι φτωχή παρουσία γκαουσιανού θορύβου. Ως απόδοση ορίζεται ο λόγος μεταξύ της μικρότερης δυνατής διασποράς για τις εκτιμώμενες παραμέτρους και πραγματικής διασποράς από τη μέθοδο. Για την αντιστάθμιση αυτού του ελαττώματος, διεξάγεται μία επιπλέον διαδικασία σταθμισμένων ελαχίστων τετραγώνων. Η σθεναρή εκτίμηση της τυπικής απόκλισης δίνεται από τη σχέση (8.39), 1.486[1 5 / ( n p)] M J, όπου M J είναι ο ελάχιστος μέσος που εκτιμήθηκε από τον LMedS. Με βάση την μπορούμε να εκχωρήσουμε ένα βάρος για κάθε αντιστοίχιση: w i 1 r (.5 ) 0 ώ i (8.43) όπου ' T ' i i i i i r d ( m, Fm ) d ( m, F m ). Οι αντιστοιχίσεις με w 0 είναι outliers και δεν λαμβάνονται υπόψη. 5. Βελτίωση του θεμελιώδους πίνακα F με επίλυση του σταθμισμένου προβλήματος ελαχίστων τετραγώνων: i min wr i i (8.44) i Με αυτό τον τρόπο ο θεμελιώδης πίνακας έχει εκτιμηθεί με ακρίβεια και είναι σθεναρός, διότι τα outliers έχουν ανιχνευτεί και απορριφθεί από τον αλγόριθμο. Όπως αναφέρθηκε στην παραπάνω διαδικασία, για ένα υποδείγμα παράγονται 7 σημεία τα οποία όμως μπορεί να είναι πολύ κοντά μεταξύ τους. Σε μία τέτοια περίπτωση η εκτίμηση της επιπολικής γεωμετρίας από αυτά τα σημεία είναι ασταθής και το αποτέλεσμα χωρίς αξία. Για επιτευχθεί μεγαλύτερη σταθερότητα, επιλέγεται μία μέθοδος συχνά τυχαίας επιλογής που βασίζεται σε τεχνικές bucketing. Αρχικά υπολογίζεται η ελάχιστη και η μέγιστη τιμή των συντεταγμένων των σημείων στην πρώτη εικόνα και στη συνέχεια η περιοχή χωρίζεται σε κάδους (buckets) b b. Το Σχήμα 8. δείχνει μία τέτοια περίπτωση όπου b 8. Σε κάθε κάδο εμπεριέχεται ένα σύνολο σημείων και έμμεσα ένα σύνολο αντιστοιχίσεων που εμπίπτει σε αυτό. Οι κάδοι χωρίς αντιστοιχίσεις αποκλείονται. Για την παραγωγή ενός υποδείγματος 7 σημείων, επιλέγονται πρώτα τυχαία 7 κάδοι διαφορετικοί μεταξύ τους και μετά επιλέγεται τυχαία μία αντιστοίχιση σε κάθε επιλεγμένο κάδο. 84

85 Σχήμα 8.: Απεικόνιση τεχνικής bucketing. Αν υποθέσουμε ότι οι λανθασμένες αντιστοιχίσεις κατανέμονται ομοιόμορφα στο χώρο, ότι κάθε κάδος έχει τον ίδιο αριθμό αντιστοιχιών και η τυχαία επιλογή είναι ομοιόμορφη, τότε ο αριθμός των υποδειγμάτων που απαιτείται δίνεται από τη σχέση (8.4). Αν όμως ο αριθμός των αντιστοιχιών είναι διαφορετικός σε κάθε κάδο, τότε ένας κάδος με πολλές αντιστοιχίσεις έχει μεγαλύτερη πιθανότητα να επιλεγεί από έναν με λιγότερες αντιστοιχίσεις. Αν έχουμε συνολικά l κάδους, χωρίζουμε το διάστημα [0 1] σε l διαστήματα τέτοια ώστε το πλάτος του i ου διαστήματος να είναι ίσο με ni / n, όπου i n i ο αριθμός των αντιστοιχίσεων που περιέχεται στον i ο κάδο. i Μία γεννήτρια τυχαίων αριθμών ομοιόμορφα κατανεμημένων στο διάστημα [0 1] παράγει έναν αριθμό που ανήκει στο i ο διάστημα, από το οποίο συμπεραίνουμε ότι έχει επιλεγεί ο i ος κάδος. Συναίνεση Τυχαίων Δειγμάτων (RANdom SAmple Consensus - RANSAC): Ο αλγόριθμος RANSAC των Fischler και Bolles 1981, είναι μία ευρέως χρησιμοποιούμενη τεχνική στην υπολογιστική όραση για σθεναρή εκτίμηση παραμέτρων. Η ιδέα είναι να βρούμε μέσω τυχαίας δειγματοληψίας ενός ελάχιστου υποσυνόλου δεδομένων, το σύνολο των παραμέτρων που συνάδει με ένα υποσύνολο δεδομένων όσο το δυνατόν περισσότερο. Ο συνεχής έλεγχος απαιτεί από το χρήστη να θέσει ένα κατώφλι στα σφάλματα, κάτι που επιδρά στην εκ των προτέρων γνώση της ακρίβειας της εκτίμησης. Όπως είναι προφανές, οι τεχνικές των LMedS και RANSAC είναι παρόμοιες. Αρχικά και οι δύο τεχνικές βασίζονται στην τυχαία επιλογή του συνόλου των σημείων που χρησιμοποιούνται για τον υπολογισμό του θεμελιώδους πίνακα F με χρήση μίας γραμμικής μεθόδου. Μία διαφορά μεταξύ των δύο τεχνικών είναι ότι ο LMedS υπολογίζει για κάθε F τη διάμεση τιμή των αποστάσεων μεταξύ σημείων και επιπολικών ευθειών και ο θεμελιώδης πίνακας που επιλέγεται πρέπει να ελαχιστοποιεί αυτή την τιμή, ενώ ο RANSAC υπολογίζει για κάθε F τον αριθμό των inliers και ο θεμελιώδης πίνακας που επιλέγεται μεγιστοποιεί αυτή την τιμή. Μόλις εξαλειφθούν τα outliers, ο θεμελιώδης πίνακας υπολογίζεται εκ νέου με στόχο την απόκτηση μίας καλύτερης προσέγγισης. Μία άλλη διαφορά είναι ότι στον αλγόριθμο 85

86 RANSAC ο χρήστης θέτει το κατώφλι για το συνεχή έλεγχο, ενώ στον LMedS αυτό το κατώφλι υπολογίζεται αυτόματα. Επιπλέον, ο LMedS είναι πιο περιοριστικός από τον RANSAC καθώς εξαλείφει περισσότερα σημεία. Ωστόσο, ο LMedS δεν μπορεί να αντιμετωπίσει την περίπτωση όπου το ποσοστό των outliers είναι μεγαλύτερο του 50%, σε αντίθεση με τον RANSAC. Επίσης, ο αλγόριθμος LMedS μπορεί να δίνει καλύτερα αποτελέσματα από τον RANSAC όσον αφορά την ακρίβεια, αλλά δεν μοντελοποιεί πάντα σωστά την επιπολική γεωμετρία. Αξίζει επίσης να επισημανθεί ότι γενικά για την εκτίμηση του θεμελιώδους πίνακα, ένα σημείο κλειδί είναι η κανονικοποίηση των δεδομένων. Έχει αποδειχτεί ότι ο υπολογισμός του θεμελιώδους πίνακα δεν πρέπει να γίνεται απευθείας στα δεδομένα σε εικονοστοιχεία, λόγω της πιθανής αβεβαιότητας που προκύπτει από μεγάλα νούμερα. Υπάρχουν δύο μέθοδοι για την κανονικοποίηση δεδομένων: Στην πρώτη μέθοδο τα δεδομένα κανονικοποιούνται στο διάστημα [ 1, 1]. Η δεύτερη μέθοδος προτάθηκε από τον R. Hartley και βασίζεται σε δύο μετασχηματισμούς: Αρχικά τα σημεία τοποθετούνται έτσι ώστε το κέντρο βάρους τους να βρίσκεται στην αρχή των συντεταγμένων. Έπειτα, τα σημεία κλιμακώνονται έτσι ώστε η μέση τιμή των αποστάσεων των σημείων από την αρχή των συντεταγμένων να είναι. Έχει αποδειχτεί ότι αυτή η μέθοδος παράγει καλύτερη ακρίβεια από την προηγούμενη. 8.6 Διόρθωση εικόνων Η διαδικασία της διόρθωσης των εικόνων (image rectification) χρησιμοποιείται συχνά ως βήμα προεπεξεργασίας για τον υπολογισμό της ανομοιότητας (disparity) που εξετάζεται στο επόμενο κεφάλαιο. Όπως έχουμε αναφέρει η επιπολική γεωμετρία περιορίζει την αναζήτηση των πιθανών αντιστοιχίσεων κατά μήκος των επιπολικών ευθειών, αλλά οι τυχαίες κατευθύνσεις αυτών των ευθειών καθιστούν δύσκολη τη σύγκριση των εικονοστοιχείων. Ο σκοπός της διόρθωσης των εικόνων είναι να ευθυγραμμιστούν οριζόντια οι επιπολικές ευθείες των δύο εικόνων της κάμερας. Αυτό μπορεί να επιτευχθεί με χρήση γραμμικών μετασχηματισμών που περιστρέφουν, μετατοπίζουν και στρεβλώνουν τις εικόνες της κάμερας. Η σημασία της διόρθωσης των εικόνων είναι ότι το πρόβλημα της αντιστοίχισης των σημείων που περιλαμβάνει γενικά μία δισδιάστατη αναζήτηση, ελαττώνεται σε μονοδιάστατη αναζήτηση πάνω σε μία κοινή ευθεία που μπορεί εύκολα να προσδιοριστεί. Έτσι, για δύο σημεία p και ' p που βρίσκονται στην ίδια ευθεία αναζήτησης για την αριστερή και δεξιά εικόνα με συντεταγμένες ( xy, ) και ' d x x ' ( x, y ) αντίστοιχα, ορίζεται ως ανομοιότητα η διαφορά και η γεωμετρία της κάμερας αποκτά κανονική μορφή. Το Σχήμα 8.3 δείχνει τη διαδικασία της διόρθωσης των εικόνων [33]. 86

87 (α) (β) (γ) Σχήμα 8.3: Η αρχή της διόρθωσης των εικόνων: (α) Τα διορθωμένα επίπεδα εικόνας (διακεκομμένες γραμμές) σε σχέση με τα αρχικά, (β) Εικόνες πριν από τη διόρθωση, (γ) Εικόνες μετά από τη διόρθωση. 87

88 Κεφάλαιο 9. Εκτίμηση Βάθους Στο κεφάλαιο αυτό γίνεται αναλυτική περιγραφή της διαδικασίας που ακολουθήθηκε για την υλοποίηση των μεθόδων που χρησιμοποιήθηκαν για την εκτίμηση του βάθους της σκηνής, μαζί με τα αποτελέσματά τους. 9.1 Εισαγωγή Στο Σχήμα 9.1 παρουσιάζεται η δομή του στερεοσκοπικού συστήματος. Υποθέτουμε ότι η κίνηση της κάμερας είναι μόνο στον οριζόντιο άξονα, χωρίς περιστροφή και χωρίς μεταβολή των εσωγενών παραμέτρων (pure translation). Με γνωστή την ταχύτητα του αυτοκινήτου και συνεπώς της απόστασης s (ή αλλιώς baseline) που διανύθηκε μεταξύ των δύο καρέ (frames) έχουμε από την ομοιότητα των τριγώνων: x x x f z s 1 1, x x x f z (9.1) Αντικαθιστώντας και λύνοντας ως προς z προκύπτει: z f sx1 x x 1 (9.) όπου x1 x είναι η ανομοιότητα και f το εστιακό μήκος. Παρατηρούμε ότι η απόσταση z είναι αντιστρόφως ανάλογη της ανομοιότητας. z x x 1 f f x s Σχήμα 9.1: Υπολογισμός του βάθους z από ένα σταθερό σημείο P. P 88

89 9. Μέθοδοι εκτίμησης βάθους Όπως έχει αναφερθεί η στερεοσκοπική όραση είναι η διαδικασία ανάκτησης του βάθους από τις εικόνες της κάμερας, συγκρίνοντας δύο ή περισσότερες όψεις της ίδιας σκηνής. Το αποτέλεσμα του στερεοσκοπικού υπολογισμού είναι ένας χάρτης ανομοιότητας (disparity map), ο οποίος απεικονίζει το πόσο μακριά βρίσκεται κάθε σημείο της φυσικής σκηνής από την κάμερα. Με γνώση του χάρτη ανομοιότητας και των εσωγενών παραμέτρων της κάμερας, καθίσταται δυνατή η επαναπροβολή των εικονοστοιχείων της εικόνας σε τρισδιάστατα σημεία. Προϋπόθεση για τον υπολογισμό του χάρτη ανομοιότητας είναι η διόρθωση των στερεοσκοπικών εικόνων. Αρχικά αναφέρεται η μέθοδος της βασικής αντιστοίχισης μπλοκ, που είναι ο τυπικός αλγόριθμος για στερεοσκοπική όραση υψηλής ταχύτητας σε συστήματα hardware. Ακολούθως, εφαρμόζεται δυναμικός προγραμματισμός (dynamic programming) για βελτίωση της ακρίβειας και image pyramiding για βελτίωση της ταχύτητας. Στη συνέχεια συνδυάζονται dynamic programming με image pyramiding και ακρίβεια υπο-εικονοστοιχείου (sub-pixel accuracy) κάτι που επιφέρει ελαφρώς καλύτερη τρισδιάστατη όψη, αλλά με υψηλότερο υπολογιστικό κόστος [34] Βασική αντιστοίχιση μπλοκ Η κύρια ιδέα της αντιστοίχισης μπλοκ (Block Matching) είναι ένας έλεγχος ομοιότητας μεταξύ δύο ίσου μεγέθους μπλοκ (πίνακες n m) στην αριστερή και δεξιά εικόνα (area-based stereo). Για κάθε εικονοστοιχείο στην δεξιά εικόνα, εξάγεται γύρω από αυτό ένα μπλοκ εικονοστοιχείων 7 7 και γίνεται αναζήτηση κατά μήκος της ίδιας γραμμής στην αριστερή εικόνα για εκείνο το μπλοκ που αντιστοιχεί καλύτερα σε αυτό. Για τη θέση του εικονοστοιχείου στην πρώτη εικόνα γίνεται αναζήτηση σε ένα εύρος εικονοστοιχείων και για τη σύγκριση των περιοχών των εικόνων χρησιμοποιείται το άθροισμα των απολύτων διαφορών (SAD). Επειδή οι εικόνες έχουν διορθωθεί, η αναζήτηση πραγματοποιείται μόνο κατά στήλες. Για την εκτέλεση αυτού του Block Matching μεταξύ κάθε μπλοκ και της περιοχής ενδιαφέροντος χρησιμοποιείται το αντικείμενο Template Matcher System. Η αριστερή εικόνα χρώματος F L και η δεξιά εικόνα χρώματος αναπαρασταθούν στον χρωματικό χώρο RGB ως: F ( i, j) ( R ( i, j) G ( i, j) B ( i, j)) L L L L F ( i, j) ( R ( i, j) G ( i, j) B ( i, j)) R R R R F R μπορούν να (9.3) με k k 1 SADcolor ( x, y, ) ( RR ( x i, y j) RL ( x i, y j) nm ik jk G ( x i, y j) G ( x i, y j) B ( x i, y j) B ( x i, y j) ) R L R L (9.4) 89

90 όπου είναι ένα offset που περιγράφει τη διαφορά ( x x ) μεταξύ των θέσεων των στηλών στην αριστερή και στη δεξιά εικόνα. Η ανομοιότητα D δύο μπλοκ στις δύο εικόνες ορίζεται ως: D min { SAD ( x, y, )} (9.5) dmax color L R όπου d max μία προκαθορισμένη μέγιστη ανομοιότητα. Χρησιμοποιώντας βασική αντιστοίχιση μπλοκ μπορεί να ανακτηθεί σωστά το σχήμα της στερεοσκοπικής σκηνής, ωστόσο, εμφανίζεται σχεδόν παντού θόρυβος και κακή εκτίμηση βάθους, κυρίως όταν δεν υπάρχουν εξέχοντα χαρακτηριστικά στην εικόνα. Επιπλέον, η διαδικασία αντιστοίχισης υπόκειται σε θόρυβο, δεδομένου ότι κάθε εικονοστοιχείο επιλέγει την ανομοιότητά του ανεξαρτήτως από τα άλλα εικονοστοιχεία. Για λόγους εμφάνισης, ο χάρτης βάθους έχει κορεστεί ώστε να περιέχει μόνο θετικές τιμές [35]. 9.. Εκτίμηση υπο-εικονοστοιχείου Οι εκτιμήσεις ανομοιότητας που υπολογίζονται με αντιστοίχιση μπλοκ παίρνουν ακέραιες τιμές και έτσι ο χάρτης ανομοιότητας παρουσιάζει φαινόμενα περιγραμματισμού (contouring effects), όπου δεν υπάρχουν ομαλές μεταβάσεις μεταξύ περιοχών διαφορετικής ανομοιότητας. Αυτό το πρόβλημα μπορεί να βελτιωθεί ενσωματώνοντας στην μετρική αντιστοίχισης υπολογισμό υπο-εικονοστοιχείου. Τώρα, ως ανομοιότητα θεωρούνται το ελάχιστο κόστος καθώς και οι τιμές των δύο γειτονικών κοστών, σε αντίθεση με πριν που λαμβάναμε υπόψη μόνο το ελάχιστο κόστος. Σε αυτές τις τρεις τιμές προσαρμόζεται μία παραβολή και λύνεται αναλυτικά ως προς το ελάχιστο για να προκύψει η διόρθωση υπο-εικονοστοιχείου Δυναμικός Προγραμματισμός Η βασική αντιστοίχιση μπλοκ δημιουργεί μία εικόνα ανομοιότητας με θόρυβο, η οποία μπορεί να βελτιωθεί με την εισαγωγή ενός περιορισμού εξομάλυνσης (smoothness constraint). Επίσης, η βασική αντιστοίχιση μπλοκ επιλέγει τη βέλτιστη ανομοιότητα για κάθε εικονοστοιχείο μόνο με βάση τη δική του συνάρτηση κόστους. Τώρα, ένα εικονοστοιχείο μπορεί να έχει τοπικά ανομοιότητα με πιθανώς υποβέλτιστο κόστος για αυτή. Αυτό το επιπλέον κόστος πρέπει να αντισταθμιστεί αυξάνοντας την συμφωνία στην ανομοιότητα αυτού του εικονοστοιχείου με των γειτονικών του. Συγκεκριμένα, κάθε εκτίμηση ανομοιότητας πρέπει να βρίσκεται με τιμές 3 από αυτές των γειτονικών του, όπου οι γείτονές του είναι τα παρακείμενα εικονοστοιχεία κατά μήκος μίας γραμμής στην εικόνα. Το πρόβλημα της εύρεσης των βέλτιστων εκτιμήσεων ανομοιότητας για μία γραμμή εικονοστοιχείων, γίνεται πρόβλημα εύρεσης βέλτιστου μονοπατιού από τη μία πλευρά της εικόνας στην άλλη. Για να βρεθεί το βέλτιστο μονοπάτι, χρησιμοποιείται η μετρική της αντιστοίχισης μπλοκ ως συνάρτηση κόστους και περιορίζοντας τις ανομοιότητες ώστε να αλλάζουν μόνο για μία 90

91 συγκεκριμένη τιμή μεταξύ των παρακείμενων εικονοστοιχείων. Αυτό το πρόβλημα μπορεί να λυθεί αποτελεσματικά με χρήση του δυναμικού προγραμματισμού [36,37]. Ο δυναμικός προγραμματισμός εφαρμόζεται ξεχωριστά σε κάθε γραμμή, αλλά εισάγει σφάλματα θολώνοντας τις ακμές γύρω από τα όρια των αντικειμένων λόγω του περιορισμού εξομάλυνσης. Επιπλέον, δε γίνεται εξομάλυνση μεταξύ γραμμών και για αυτό το λόγο μπορεί να εμφανιστεί ένα μοτίβο αυλακώσεων σε κάποια σημεία. Παρά τους περιορισμούς αυτούς, το αποτέλεσμα βελτιώνεται σημαντικά, με το θόρυβο να αφαιρείται σχεδόν πλήρως και με καλύτερη ανακατασκευή αντικειμένων που βρίσκονται στο προσκήνιο Image Pyramiding Ενώ ο δυναμικός προγραμματισμός βελτιώνει την ακρίβεια της στερεοσκοπικής εικόνας, η βασική αντιστοίχιση μπλοκ είναι μία δαπανηρή διαδικασία και ο δυναμικός προγραμματισμός μόνο επιβαρύνει αυτή την κατάσταση. Μία λύση είναι η χρήση image pyramiding και τηλεσκοπικής αναζήτησης για την καθοδήγηση της αντιστοίχισης μπλοκ [38]. Για ολόκληρο το μέγεθος της εικόνας, γίνεται αναζήτηση σε ένα εύρος εικονοστοιχείων για την ορθή ανίχνευση των ανομοιοτήτων στην εικόνα. Αν το μέγεθος της εικόνας μειωθεί στο μισό, αυτή η αναζήτηση περιορίζεται στα εικονοστοιχεία της εικόνας του ενός τετάρτου της περιοχής που σημαίνει ότι αυτό το βήμα θα στοίχιζε λιγότερο κατά ένα παράγοντα 8 (Σχήμα 9.). Έπειτα, μετά από αυτή τη μείωση μεγέθους, εκτιμάται η ανομοιότητα που χρησιμοποιείται ως βάση για την αναζήτηση στην μεγαλύτερη εικόνα και συνεπώς η αναζήτηση τώρα γίνεται σε μικρότερο εύρος ανομοιοτήτων. Χρησιμοποιείται πυραμίδα εικόνας τετάρτου επιπέδου, καθώς και τα αντικείμενα Pyramid και Geometric Scaler System. Το εύρος αναζήτησης της ανομοιότητας είναι μόνο σε εικονοστοιχεία κάθε επιπέδου, καθιστώντας το έτσι πάνω από 5 φορές πιο γρήγορο από αυτό της βασικής αντιστοίχισης μπλοκ και με συγκριτικά καλύτερα αποτελέσματα. Οι ανομοιότητες Dl ( 1) στο επίπεδο ( l 1) μπορούν να προκύψουν από τις ανομοιότητες Dl () του προηγούμενου επιπέδου () l, εφαρμόζοντας έναν τροποποιημένο αλγόριθμο αντιστοίχισης μπλοκ στην εικόνα του επιπέδου ( l 1). Ο χώρος αναζήτησης της ανομοιότητας κάθε μπλοκ στο επίπεδο ( l 1) προκύπτει από την ανομοιότητα του αντίστοιχου μπλοκ στο επίπεδο () l με ένα συντελεστή ανοχής D T. Αυτή η παράμετρος καθορίζει το πλάτος D του ελαττωμένου χώρου αναζήτησης [ D, D ] και ελέγχει την εξομάλυνση του χάρτη ανομοιότητας. MIN MAX D l (9.6) ( 1) ( ) l DT D MIN D(0) D ( l) l 1 () l DMIN ( l 1) D ( l 1) l 1 (9.7) 91

92 D MAX D(0) D ( l) l 1 () l DMAX ( l 1) D ( l 1) l 1 (9.8) Όταν επιλεγεί μικρή τιμή για το συντελεστή ανοχής D T, η διαφορά μεταξύ των τελικών ανομοιοτήτων και της μέσης ανομοιότητας στο επίπεδο 0, θα είναι πολύ μικρή. Σχήμα 9.: Μία συνήθης πυραμίδα εικόνας. Κάθε επίπεδο έχει τη μισή ανάλυση (πλάτος και ύψος) και συνεπώς το ένα τέταρτο των εικονοστοιχείων του γονικού επιπέδου Συνδυασμός Pyramiding και Δυναμικού Προγραμματισμού Με αυτή την τεχνική, συνδυάζονται ο δυναμικός προγραμματισμός με image pyramiding, όπου ο δυναμικός προγραμματισμός εκτελείται στην έξοδο εκτιμήσεων ανομοιότητας για κάθε επίπεδο πυραμίδας. Τα αποτελέσματα αυτού του συνδυασμού είναι άμεσα συγκρίσιμα με τα αποτελέσματα υψηλότερης ποιότητας που 9

93 παράγονται από τις προηγούμενες μεθόδους, έχοντας μικρότερο υπολογιστικό κόστος από αυτό της βασικής αντιστοίχισης μπλοκ. Επίσης, είναι δυνατό να χρησιμοποιηθούν μέθοδοι υπο-εικονοστοιχείου με δυναμικό προγραμματισμό και έτσι να προκύψει ο συνδυασμός των τριών προηγουμένων τεχνικών. Όπως πριν, η βελτίωση υπο-εικονοστοιχείου ελαττώνει τα φαινόμενα περιγραμματισμού και βελτιώνει αισθητά την ακρίβεια. 9.3 Περιγραφή διαδικασίας και αποτελέσματα Σε αυτό το υποκεφάλαιο περιγράφεται η διαδικασία που ακολουθήθηκε για την υλοποίηση των τεχνικών εκτίμησης βάθους που περιγράφηκαν προηγουμένως, μαζί με τα αποτελέσματά τους σε επιλεγμένα παραδείγματα. Αρχικά γίνεται διόρθωση σε μη βαθμονομημένες εικόνες, χωρίς καμία γνώση των εσωγενών παραμέτρων της κάμερας, έτσι ώστε τα σημεία αντιστοίχισης να έχουν τις ίδιες συντεταγμένες γραμμής και ακολουθεί η εξαγωγή του χάρτη ανομοιότητας. Η υλοποίηση έγινε με το Computer Vision System Toolbox στο Matlab R013a και η βάση δεδομένων που χρησιμοποιήθηκε είναι από [39]. Βήμα 1: Εισαγωγή του στερεοσκοπικού ζεύγους εικόνων (Σχήματα 9.3, 9.4). Βήμα : Εύρεση γωνιών με τον αλγόριθμο Harris-Stephens, όπου τέθηκε MinQuality = (Σχήματα 9.5, 9.6). Βήμα 3: Εύρεση θεωρητικών αντιστοιχιών των σημείων με χρήση της μετρικής SSD, όπου τέθηκε MatchThreshold = 10 (Σχήμα 9.7). Βήμα 4: Εξάλειψη outliers με χρήση της μεθόδου RANSAC, όπου τέθηκε NumTrials = 000, DistanceThreshold = 0.0, Confidence = (τα inliers πρέπει να ικανοποιούν τον επιπολικό περιορισμό, Σχήμα 9.8). Βήμα 5: Διόρθωση εικόνων με χρήση προβολικών μετασχηματισμών (Σχήματα 9.9, 9.10, 9.11). Βήμα 6: Δημιουργία χάρτη ανομοιότητας, όπου τέθηκε disparityrange = 5 (Σχήματα 9.1, 9.13, 9.14, 9.15). 93

94 (α) (β) Σχήμα 9.3: (α) αριστερή εικόνα, (β) δεξιά εικόνα. Σχήμα 9.4: Σύνθετη εικόνα. 94

95 Σχήμα 9.5: Γωνίες που ανιχνεύτηκαν στην αριστερή εικόνα. Σχήμα 9.6: Γωνίες που ανιχνεύτηκαν στην δεξιά εικόνα. 95

96 Σχήμα 9.7: 153 θεωρητικές αντιστοιχίσεις σημείων. Οι περισσότερες αντιστοιχίσεις είναι σωστές, αλλά υπάρχουν ακόμη outliers. Σχήμα 9.8: Μετά την εξάλειψη των outliers από τον αλγόριθμο, παρέμειναν 104 inliers. 96

97 Σχήμα 9.9: Τα inliers στις πλέον διορθωμένες εικόνες. Σχήμα 9.10: Τα inliers πλέον βρίσκονται στις ίδιες γραμμές, το οποίο σημαίνει ότι οι επιπολικές ευθείες είναι παράλληλες με τον άξονα x. 97

98 Σχήμα 9.11: Οι περιοχές επικάλυψης των διορθωμένων εικόνων έχουν πλέον περικοπεί. Σχήμα 9.1: Χάρτης ανομοιότητας με Basic Block Matching. Είναι εμφανής η παρουσία σημείων με θόρυβο. 98

99 Σχήμα 9.13: Χάρτης ανομοιότητας με δυναμικό προγραμματισμό. Σχήμα 9.14: Χάρτης ανομοιότητας με συνδυασμό πυραμίδας τετάρτου επιπέδου και δυναμικού προγραμματισμού. 99

100 Σχήμα 9.15: Χάρτης ανομοιότητας με συνδυασμό πυραμίδας τετάρτου επιπέδου, δυναμικού προγραμματισμού και ακρίβεια υπο-εικονοστοιχείου. Για την περίπτωση της μίας κάμερας, με τις υποθέσεις που έχουμε κάνει δεν λαμβάνουμε ικανοποιητικά αποτελέσματα. Εφαρμόζοντας την παραπάνω διαδικασία, υπολογίζουμε τον χάρτη ανομοιότητας (Σχήμα 9.17) για το ακόλουθο παράδειγμα του Σχήματος 9.16: (α) (β) Σχήμα 9.16: (α) αριστερή εικόνα, (β) δεξιά εικόνα. 100

101 Σχήμα 9.17: Χάρτης ανομοιότητας με συνδυασμό πυραμίδας τετάρτου επιπέδου, δυναμικού προγραμματισμού και ακρίβεια υπο-εικονοστοιχείου. Παρατηρούμε ότι το αποτέλεσμα δεν είναι ικανοποιητικό, καθώς υπάρχουν αρκετές λανθασμένες περιοχές. Αυτό οφείλεται στο γεγονός ότι οι εικόνες παρουσιάζουν αλλαγή στη φωτεινότητα, με αποτέλεσμα να επηρεάζεται η ποιότητα του χάρτη βάθους. Αυτό μπορεί να αντιμετωπιστεί αν εφαρμόσουμε στις εικόνες histogram specification ως στάδιο προεπεξεργασίας, δηλαδή να καθορίζεται εκ των προτέρων το επιθυμητό ιστόγραμμα. Εφαρμόζοντας histogram specification στην αριστερή εικόνα, προκύπτουν τα ακόλουθα αποτελέσματα (Σχήματα 9.18, 9.19): Σχήμα 9.18: Αριστερή εικόνα με το ιστόγραμμα της δεξιάς. 101

102 Σχήμα 9.19: Χάρτης ανομοιότητας με συνδυασμό πυραμίδας τετάρτου επιπέδου, δυναμικού προγραμματισμού και ακρίβεια υπο-εικονοστοιχείου, μετά το histogram specification. 10