Transcript

1

2 ΕΥΧΑΡΙΣΤΙΕΣ Θα ήθελα να ευχαριστήσω πολύ τον επιβλέποντα καθηγητή κ.μ.γ.στρίντζη, για την εμπιστοσύνη που μου έδειξε στην εκπόνηση της παρούσας διπλωματικής εργασίας, καθώς και τους κ. Ν.Γραμμαλίδη και Κ.Δημητρόπουλο, ερευνητές του Ινστιτούτου Πληροφορικής και Τηλεματικής για την στενή συνεργασία και την πολύτιμη βοήθεια που μου προσέφεραν καθ όλη τη διάρκεια πραγματοποίησής της. 2

3 3

4 Περίληψη Καθημερινά όλοι ερχόμαστε αντιμέτωποι με αντικείμενα ή σκηνές τις οποίες θέλουμε με κάποιον τρόπο να απαθανατίσουμε, με σκοπό την περεταίρω μελέτη ή ίσως απλά την διατήρησή τους. Γι αυτό το λόγο έχει αναπτυχθεί και εξελιχθεί ο τομέας της φωτογραφίας (δισδιάστατη απεικόνιση). Άλλες φορές πάλι επιθυμούμε αυτό το αντικείμενο ή τη σκηνή να το μελετήσουμε από πολλαπλές οπτικές γωνίες, είτε για τη διεξοδικότερη κατανόησή του, είτε απλά για να το θαυμάσουμε στην πιο αληθινή του μορφή, την τρισδιάστατη. Για να γίνει αυτό απαιτείται μία σειρά διαδικασιών έτσι ώστε απ την απλή επίπεδη φωτογραφία να καταλήξουμε σε αυτό που ονομάζουμε τρισδιάστατο μοντέλο ενός αντικειμένου ή μιας σκηνής. Η ανάγκη, τη σημερινή εποχή, για δημιουργία τρισδιάστατων μοντέλων είναι επιτακτική, καθώς χρησιμοποιούνται σε όλο το φάσμα των τεχνολογιών και επιστημών. Η υψηλή ποιότητα και η φωτορεαλιστική φύση αυτών των μοντέλων βρίσκουν εφαρμογή σε διάφορους τομείς όπως η εικονική πραγματικότητα, τα ηλεκτρονικά παιχνίδια, η διαφήμιση, η αρχιτεκτονική εσωτερικών και εξωτερικών χώρων, ο κινηματογράφος και η τηλεόραση, η ιατρική και η εκπαίδευση. Είναι γεγονός, ότι όσο αναπτύσσονται οι παραπάνω κλάδοι γίνεται ολοένα και μεγαλύτερη η χρήση της τρισδιάστατης τεχνολογίας. Σκοπός αυτής της διπλωματικής είναι να δώσει στον αναγνώστη να καταλάβει, πώς από ένα απλό σύνολο φωτογραφιών που μπορεί να ληφθεί από οποιοδήποτε άτομο, μπορεί να προκύψει ένα πολύ ικανοποιητικό τρισδιάστατο μοντέλο του αντικειμένου προς ανακατασκευή. Αυτό μπορεί να είναι από ένα απλό στερεό, έως κάποιο τοπίο μεγάλης πολυπλοκότητας. Γίνεται ουσιαστικά μια πλήρης ανάλυση της διαδικασίας ανακατασκευής και των απαραίτητων γνώσεων και τεχνολογιών που χρησιμοποιούνται για το σκοπό αυτό. Για την κατανόηση της διαδικασίας, πραγματοποιείται ένα παράδειγμα-εφαρμογή, που περιλαμβάνει την πλήρη αναπαράσταση ενός τοπίου. Στη συνέχεια, γίνεται σύγκριση του αποτελέσματος με τα αντίστοιχα πρότυπα τοπίων που παρουσιάζονται στο γνωστό πρόγραμμα Google Earth. 4

5 Abstract In our everyday life we come across various objects or scenes that we, somehow, want to capture, in order to study further or maybe just to preserve them. Photography has been developed and evolved just for this reason (2-Dimentional display). In other occasions we desire to study this object or scene from multiple angles, either for deeper comprehension, or simply to admire its realistic form, the 3-Dimensional one. To achieve this, a series of processes is required, so that from a simple planar picture we can with the three-dimensional model of an object or a scene. The need for 3D models, in today s era, is imperative, as long as they are used across the range of technologies and sciences. The exceptional quality and the photorealistic nature of these models have appliance in various fields, such as virtual reality, video games, advertising, indoor and outdoor architecture, cinema and television, medicine and education. The fact is that as these industries evolve, the usage of three-dimensional technology grows. The aim of this thesis is to allow the reader to understand how a simple set of photos, which can be taken by any individual, can obtain a very satisfactory 3D model of the reconstructed object. This can vary from a simple solid, to a landscape of great complexity. A throughout analysis of the reconstruction procedure, the necessary knowledge and technologies used for this purpose, is done. In order to understand the process, an example-application that includes the full reconstruction of a landscape, has been created. In the, the results of the proposed approach are being compared to the landscape models presented in the popular program Google Earth. 5

6 Περιεχόμενα Περίληψη 4 Abstract 5 1. Εισαγωγή 8 2.Τρισδιάστατη ανακατασκευή μοντέλου 2.1 Γεωμετρία Εισαγωγή Το μοντέλο της κάμερας τύπου «οπής» (pinhole camera) Πίνακας Προοπτικής Προβολής και Εξωτερικές Παράμετροι της (Ιδανικής) Κάμερας οπής Εσωτερικές παράμετροι της κάμερας Η βαθμονόμηση DLT (Direct Linear Transform) Επιπολική γεωμετρία Γεωμετρία δύο όψεων Γεωμετρία δύο μη βαθμονομημένων όψεων Ο Θεμελιώδης Πίνακας (F-matrix) Ο αλγόριθμος των εφτά σημείων Ο γραμμικός αλγόριθμος των οχτώ σημείων Χαρακτηριστικά Σημεία (Features) Εισαγωγή Σημεία Ενδιαφέροντος Ορισμός σημείου ενδιαφέροντος Τύποι σημείων ενδιαφέροντος Αλγόριθμοι ανίχνευσης σημείων Η Διαφορά των Γκαουσιανών (Difference of Gaussians) Ο αφινικός ανιχνευτής περιοχών Harris SIFT (Scale-Invariant Feature Transformation) Αναζήτηση Πλησιέστερου Γείτονα (ΝΝS) «Δομή από Κίνηση» (Structure from Motion) Εισαγωγή Μέθοδοι βελτιστοποίησης και τεχνικές στατιστικής Η μέθοδος ρύθμισης δέσμης (Bundle Adjustment) Συμφωνία τυχαίου δείγματος (RANSAC) Σύνοψη Παρουσίαση του Google Earth 3.1 Ψηφιακό Υψομετρικό Μοντέλο Εδάφους (DEM) 46 6

7 3.2 Η λειτουργία του Google Earth και σύγκριση με την μέθοδο της διπλωματικής Η Ερευνητική διαδικασία 4.1 Εισαγωγή Το αντικείμενο της εφαρμογής Τα στοιχεία της έρευνας Τα εργαλεία της εργασίας Ανάπτυξη των εφαρμογών Διαμόρφωση του δείγματος Διόρθωση προσανατολισμού των τμημάτων Διόρθωση κλίμακας και μετατόπιση Ένωση των τμημάτων και τοποθέτηση στην πραγματική τους θέση Δημιουργία υψομετρικού μοντέλου εδάφους Ένωση μοντέλων εδάφους και κάστρου Δημιουργία εικονικού κόσμου VRML Παρατηρήσεις Συμπεράσματα- Προοπτικές 69 Παράρτημα Ι 71 Παράρτημα ΙΙ 90 Βιβλιογραφία 92 7

8 Κεφάλαιο 1 Εισαγωγή 1 Εισαγωγή Η τρισδιάστατη απεικόνιση από εικόνες αναφέρεται σε τεχνικές που δημιουργούν ένα 3D μοντέλο ενός πραγματικού αντικειμένου ή μιας σκηνής έχοντας σαν είσοδο 2D εικόνες αυτού του αντικειμένου ή της σκηνής. Συνδέει αναλυτικές και αυτόματες τεχνικές της όρασης υπολογιστών με συνθετικές και διαδραστικές τεχνικές των γραφικών υπολογιστών. Η υψηλή ποιότητα και η φωτορεαλιστική φύση αυτών των μοντέλων βρίσκουν εφαρμογή σε διάφορους τομείς όπως η εικονική πραγματικότητα, τα ηλεκτρονικά παιχνίδια, η διαφήμιση, η αρχιτεκτονική εσωτερικών και εξωτερικών χώρων, ο κινηματογράφος και η τηλεόραση, κ.α. Για τη διευκόλυνση του αναγνώστη, η παρούσα διπλωματική είναι χωρισμένη σε τρία βασικά κεφάλαια. Το πρώτο περιλαμβάνει την ανάλυση των τεχνικών που απαιτούνται για την ανακατασκευή ενός τρισδιάστατου μοντέλου. Είναι χωρισμένο σε τρείς θεματικές ενότητες. Η πρώτη περιλαμβάνει τη γεωμετρία της τρισδιάστατης απεικόνισης στον τομέα των υπολογιστών. Παρέχει κάποιες βασικές γνώσεις για την κάμερα τύπου «οπής» και την επιπολική γεωμετρία, ενώ παρουσιάζει, επίσης, τη γεωμετρία δύο μη βαθμονομημένων όψεων και τους αλγόριθμους που χρησιμοποιούνται. Η δεύτερη θεματική ενότητα, αναφέρεται στον εντοπισμό σημείων των εικόνων που έχουν κάποια χαρακτηριστικά γνωρίσματα (χαρακτηριστικά σημεία) και σε μεθόδους για την εύρεση αντιστοιχιών μεταξύ τους, που θα χρησιμοποιηθούν στη συνέχεια για την εύρεση της θέσης των 3D σημείων τα οποία προβάλλονται σε αυτές τις θέσεις των εικόνων. Αυτό γίνεται στην τρίτη θεματική ενότητα που παρουσιάζει μεθόδους «δομής από κίνηση» (structure from motion), δηλαδή εκτίμησης και βελτιστοποίησης της εκτίμησης της 3D θέσης και της γεωμετρίας των καμερών, με την χρήση αυτών των αντιστοιχιών μεταξύ χαρακτηριστικών σημείων σε πολλαπλές όψεις μιας σκηνής. 8

9 Κεφάλαιο 1 Εισαγωγή 7 Στο δεύτερο κεφάλαιο, παρουσιάζεται η διαδραστική πλατφόρμα του Google Earth, καθώς και η έννοια των Ψηφιακών Μοντέλων Εδάφους (Digital Terrain Models, DTM), και γίνεται μια σύγκριση με την προτεινόμενη μέθοδο της παρούσας εργασίας. Τέλος το τρίτο κεφάλαιο, που ουσιαστικά αποτελεί και το βασικό αντικείμενο της διπλωματικής, περιλαμβάνει την αναλυτική περιγραφή της μεθοδολογίας που σχεδιάστηκε και εκτελέστηκε, τα δεδομένα και τα αποτελέσματα αυτής, καθώς επίσης και αναφορά για μελλοντική έρευνα στο χώρο. Στο παράρτημα της εργασίας παρουσιάζεται ο κώδικας των προγραμμάτων που αναπτύχθηκαν στα πλαίσια αυτής της διπλωματικής, καθώς επίσης και σύντομη περιγραφή τους. Εισαγωγή στην τρισδιάστατη ανακατασκευή Για την καλύτερη κατανόηση του συγγράμματος, παρατίθεται στην εισαγωγή μια συνοπτική αναφορά των βημάτων που ακολουθήθηκαν για την δημιουργία 3D μοντέλου από εικόνες. Έχοντας συγκεντρώσει τις φωτογραφίες που απεικονίζουν το αντικείμενο μελέτης ακολουθούνται τα παρακάτω βήματα: 1. Αρχικά γίνεται ανίχνευση των σημείων ενδιαφέροντος και η εξαγωγή των χαρακτηριστικών σημείων για κάθε εικόνα με τη μέθοδο SIFT. 2. Υπολογισμός ενός πίνακα αντιστοιχίσεων των σημείων μεταξύ των εικόνων (ανά δύο) με τη βοήθεια αλγορίθμων αναζήτησης πλησιέστερου γείτονα (NNS). 3. Απομάκρυνση εσφαλμένων αντιστοιχιών με τη βοήθεια του RANSAC και του αλγορίθμου των οχτώ σημείων. 4. Υπολογισμός των παραμέτρων των καμερών και δημιουργία του θεμελιώδη πίνακα. Υπολογισμός εσωτερικών παραμέτρων με τη μέθοδο DLT και με τη βοήθεια του RANSAC. Ελαχιστοποίηση του σφάλματος προβολής των παραμέτρων των καμερών με τη μέθοδο Bundle Adjustment. 5.Τέλος, γίνεται η τριγωνοποίηση των σημείων από τα οποία απαρτίζεται το μοντέλο. 9

10 Κεφάλαιο 1 Εισαγωγή Οι καινοτομίες της έρευνας Έχοντας ως σκοπό τη βελτίωση της λεπτομέρειας και της διαδικασίας παραγωγής των τρισδιάστατων τοπίων που παρουσιάζονται στο Google Earth, αναπτύχθηκε μια μεθοδολογία βασισμένη σε προγράμματα που ήδη υπάρχουν αλλά και σε νέα που δημιουργήθηκαν γι αυτό το σκοπό. Στο κεφάλαιο αυτό θα παρουσιαστούν αποκλειστικά οι νέες μέθοδοι που συντάχθηκαν, ώστε να μπορέσουμε να καταλήξουμε στο επιθυμητό αποτέλεσμα. Ενώ υπήρχε η δυνατότητα να παράγουμε αυτόματα, από ένα σύνολο φωτογραφιών, τμήματα του τρισδιάστατου μοντέλου μελέτης, παρουσιάστηκε μια σειρά προβλημάτων τα οποία έπρεπε να αντιμετωπιστούν. Για το λόγο αυτό, ήταν επιτακτική η ανάγκη ανάπτυξης νέου λογισμικού που να αξιοποιεί τα εξαγόμενα (output) των προηγούμενων μεθόδων, προς επίτευξη ενός άρτιου αποτελέσματος. 1. Το πρώτο πρόβλημα που παρουσιάστηκε ήταν η παραγωγή ορισμένων ελαττωματικών τρισδιάστατων μοντέλων από τα βοηθητικά προγράμματα, εξαιτίας της μη αποτελεσματικής χρήσης του δείγματος (φωτογραφίες). Το πρόβλημα εντοπίστηκε σε ορισμένα τμήματα του μοντέλου, στα οποία ο αριθμός των αντιστοιχιών των χαρακτηριστικών σημείων των εικόνων, που εντοπίστηκαν από τα βοηθητικά προγράμματα, δεν επαρκούσε για τη δημιουργία ενός σωστού μοντέλου. Για το σκοπό αυτό δημιουργήθηκε λογισμικό με τη βοήθεια του οποίου καταφέρνουμε να απεικονίσουμε τις αντιστοιχίσεις αυτών των χαρακτηριστικών για ένα οποιοδήποτε ζεύγος εικόνων, σημειώνοντας τες πάνω στις ίδιες τις εικόνες. Από εδώ και στο εξής, είμαστε εις θέση να αναλύουμε τα κοινά σημεία που εμφανίζονται σε κάθε ζεύγος εικόνων. Διαθέτοντας τις αντιστοιχίσεις σημείων κάθε ζεύγους δημιουργήσαμε πιο αποτελεσματικές ομάδες δεδομένων εισόδου, απορρίπτοντας εικόνες, στις οποίες διακρίναμε, οπτικά, ότι δεν επαρκούσε ο αριθμός των αντιστοιχιών τους με άλλες. 2. Το δεύτερο πρόβλημα παρουσιάστηκε στο σύστημα αναφοράς των τμηματικών μοντέλων, που εξάγονται από τα βοηθητικά προγράμματα. Εξαιτίας του γεγονότος ότι τα 3D σημεία στα μοντέλα αυτά ανήκουν σε διαφορετικά συστήματα συντεταγμένων, δημιουργήθηκε πρόγραμμα για την τοποθέτησή τους σε ένα κοινό σύστημα αναφοράς. Η επιλογή των αξόνων έγινε βασιζόμενοι στο πραγματικό τοπίο και σε ορισμένα γνωστά 10

11 Κεφάλαιο 1 Εισαγωγή 7 επίπεδα (π.χ. η κατακόρυφη διεύθυνση ενός πύργου), ώστε κάθε τμήμα να μεταφερθεί σε ένα κοινό σύστημα συντεταγμένων. 3. Επόμενο πρόβλημα που κληθήκαμε να αντιμετωπίσουμε ήταν η διαφορά στην κλίμακα κάθε παραγόμενου, από τα βοηθητικά προγράμματα, μοντέλου. Για το σκοπό αυτό αναπτύχθηκε πρόγραμμα μετατροπής της κλίμακας κάθε τμήματος στην πραγματική του. Ταυτόχρονα με την αλλαγή της κλίμακας, πραγματοποιείται και η μετατόπιση του κάθε τμήματος στην πραγματική του θέση. Η πραγματική κλίμακα και θέση υπολογίζεται με βάση την κάτοψη του τοπίου, χρησιμοποιώντας για το σκοπό αυτό εικόνες από την εφαρμογή Google Maps. Αφού κάθε τμήμα του μοντέλου έχει διορθωθεί, όλα τα τελειοποιημένα κομμάτια ενώνονται με τη βοήθεια ενός ακόμα λογισμικού για την παραγωγή του συνολικού μοντέλου. Στη συνέχεια, με τη βοήθεια υψομετρικών δεδομένων εδάφους, που προέρχονται από κάποια γεωγραφική υπηρεσία, προχωράμε στη δημιουργία ενός μοντέλου εδάφους του τοπίου μελέτης. Για την επίτευξη της διαδικασίας αυτής δημιουργήθηκε πρόγραμμα ανακατασκευής μοντέλου εδάφους με αρκετά μεγάλη ακρίβεια. Διαθέτοντας το πλήρες κτίσμα και το αντίστοιχο έδαφος, δημιουργήσαμε το ολοκληρωμένο μοντέλο του τοπίου μελέτης και το μετατρέψαμε σε μορφή VRML, η οποία μπορεί να χρησιμοποιηθεί ευρέως σε πολλές εφαρμογές. 11

12 Κεφάλαιο 1 Εισαγωγή Διάγραμμα Ροής της Διπλωματικής 12

13 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 2.1 Γεωμετρία Εισαγωγή Στο κεφάλαιο αυτό παρουσιάζονται κάποια βασικά στοιχεία της επιπολικής γεωμετρίας, η οποία αποτελεί βάση της τρισδιάστατης ανακατασκευής και απεικόνισης 3D μοντέλων από πολλαπλές εικόνες. Περιγράφονται επίσης τα χαρακτηριστικά της κάμερας που χρησιμοποιείται και ο τρόπος λειτουργίας και βαθμονόμησής της (μέθοδος βαθμονόμησης DLT). Στο τέλος του κεφαλαίου γίνεται αναφορά στη γεωμετρία δύο μη βαθμονομημένων όψεων (επιπολική γεωμετρία) και στους αλγορίθμους που χρησιμοποιούνται σε αυτήν την περίπτωση για την ανάκτησή της (εύρεση θεμελιώδους πίνακα F, αλγόριθμοι των 7 και των 8 σημείων). Οι προαναφερθέντες αλγόριθμοι χρησιμοποιήθηκαν στα πλαίσια της διπλωματικής για την βαθμονόμηση και εύρεση της σχετικής θέσης των καμερών/όψεων Το μοντέλο της κάμερας τύπου «οπής» (pinhole camera) Σ αυτό το τμήμα παρουσιάζεται το μοντέλο της κάμερας «οπής» (pinhole camera), της κλασσικής δηλαδή φωτογραφικής μηχανής που χρησιμοποιείται συνήθως για τη λήψη φωτογραφιών και κάποια χαρακτηριστικά αυτής. Το μοντέλο της κάμερας αυτής μπορεί να παρουσιάσει ιδανικά την προοπτική προβολή, η γνώση της οποίας είναι απαραίτητη για την κατανόηση της λήψης φωτογραφιών και της αποτύπωσής τους. 13

14 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Εικόνα 1:Το μοντέλα της κάμερας τύπου «οπής καρφίτσας» Στην παραπάνω εικόνα παρουσιάζεται το μοντέλο μιας κάμερας «οπής». Υπάρχει ένα επίπεδο F (το επίπεδο όπου βρίσκεται η κάμερα) σε μια σταθερή απόσταση f μπροστά από ένα επίπεδο εικόνας Ι. Το επίπεδο εικόνας Ι λέγεται επίσης και αμφιβληστροειδικό επίπεδο. Μια ιδανική οπή C βρίσκεται στο επίπεδο F. Θεωρούμε ότι υπάρχει ένα κάλυμμα τοποθετημένο έτσι ώστε μόνο το φώς που διέρχεται από την οπή μπορεί να φτάσει στο επίπεδο της εικόνας Ι. Οι ακτίνες του φωτός που εκπέμπονται ή ανακλώνται από ένα αντικείμενο διέρχονται μέσω της οπής και σχηματίζουν μια ανεστραμμένη εικόνα του αντικειμένου αυτού επάνω στο επίπεδο της εικόνας. Κάθε σημείο στο αντικείμενο, το αντίστοιχο σημείο στην εικόνα και η οπή της κάμερας ανήκουν σε μια ευθεία γραμμή. Αυτό το είδος προβολής από τον τρισδιάστατο χώρο στο επίπεδο λέγεται προοπτική προβολή. Έτσι λοιπόν, το γεωμετρικό μοντέλο μιας τέτοιας κάμερας αποτελείται από ένα επίπεδο εικόνας Ι και ένα σημείο C επάνω στο επίπεδο F. Το σημείο C ονομάζεται οπτικό κέντρο ή σημείο εστίασης. Το επίπεδο F που διέρχεται από το C και είναι παράλληλο στο επίπεδο Ι, ονομάζεται εστιακό 14

15 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 επίπεδο. Η απόσταση μεταξύ του οπτικού κέντρου και του επιπέδου της εικόνας είναι το εστιακό μήκος του οπτικού συστήματος. Η γραμμή που διέρχεται από το οπτικό κέντρο C και είναι κάθετη στο επίπεδο Ι της εικόνας ονομάζεται οπτικός άξονας και τέμνει το Ι σε ένα σημείο c,το οποίο ονομάζεται κύριο σημείο. Είναι προφανές ότι και το εστιακό επίπεδο είναι κάθετο στον οπτικό άξονα. Η εμπειρία έχει δείξει ότι ένα τόσο απλό σύστημα μπορεί να αποτυπώσει ακριβώς τη γεωμετρία και την οπτική των περισσότερων μοντέρνων μηχανών Vidicon και CCD. Εικόνα 2: Το μοντέλο της κάμερας τύπου «οπής καρφίτσας» με ένα εικονικό επίπεδο εικόνας Παρακάτω προκύπτουν οι εξισώσεις της προοπτικής προβολής. Το σύστημα συντεταγμένων (c,x,y) για το επίπεδο της εικόνας ορίζεται έτσι ώστε η αρχή των αξόνων να βρίσκεται στο σημείο c (τομή του οπτικού άξονα με το επίπεδο της εικόνας) καθώς και οι άξονες να καθορίζονται από το σύστημα ανίχνευσης και δειγματοληψίας της κάμερας. Επιλέγουμε το σύστημα συντεταγμένων (C,X,Y,Z) για τον τρισδιάστατο χώρο όπως φαίνεται στην εικόνα 1, όπου η αρχή των αξόνων βρίσκεται στο οπτικό κέντρο και ο άξονας Ζ ταυτίζεται με τον οπτικό άξονα της κάμερας. Οι άξονες Χ και Υ είναι παράλληλοι αλλά με αντίθετη διεύθυνση με τους 15

16 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου άξονες x και y της εικόνας. Το σύστημα συντεταγμένων (C,X,Y,Z) ονομάζεται πρότυπο σύστημα συντεταγμένων της κάμερας ή απλά σύστημα συντεταγμένων της κάμερας. Από τον ανωτέρω ορισμό της κάμερας και του συστήματος συντεταγμένων της εικόνας είναι φανερό ότι η σχέση μεταξύ των συντεταγμένων της δισδιάστατης εικόνας και του τρισδιάστατου χώρου μπορεί να γραφεί ως x X y f = =. Y Z Πρέπει να σημειωθεί επίσης ότι, από γεωμετρική άποψη, δεν υπάρχει διαφορά αν αντικατασταθεί το επίπεδο της εικόνας με ένα εικονικό επίπεδο εικόνας (virtual image plane) από την άλλη πλευρά του εστιακού επιπέδου (εικόνα 2). Στην πραγματικότητα, αυτό το νέο σύστημα είναι αυτό που χρησιμοποιούν συνήθως οι άνθρωποι. Σε αυτό το νέο σύστημα συντεταγμένων, ένα σημείο της εικόνας (x,y) έχει τρισδιάστατες συντεταγμένες (x,y,f), εάν η κλίμακα του συστήματος συντεταγμένων της εικόνας είναι ίδια με αυτή του τρισδιάστατου συστήματος συντεταγμένων Πίνακας Προοπτικής Προβολής και Εξωτερικές Παράμετροι της (Ιδανικής) Κάμερας οπής Η σχέση μεταξύ των τρισδιάστατων συντεταγμένων και των συντεταγμένων της εικόνας μπορεί να ξαναγραφεί σαν γραμμική σχέση πινάκων: U f = V 0 S 0 0 f X 0 Y 0, Z 0 1 όπου x=u/s, και y=v/s εάν S 0. Δεδομένου ενός διανύσματος x=[x,y, ] T, χρησιμοποιούμε το x ~ για να δηλώσουμε το επαυξημένο διάνυσμα προσθέτοντας τη μονάδα ως τελευταίο στοιχείο. Έστω P ο πίνακας 3x4 16

17 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 P = f f , 0 που ονομάζεται πίνακας προοπτικής προβολής της κάμερας. Δεδομένου ενός τρισδιάστατου σημείου M=[ X, Y, Z ] T και το σημείο στην εικόνα m=[x,y] Τ, η (2.2) μπορεί να γραφτεί σε μορφή πίνακα sm~ ~ = PM, όπου s = S είναι ένα αυθαίρετο, μη μηδενικό μέγεθος. Για ένα πραγματικό σημείο εικόνας, το S δεν πρέπει να είναι ίσο με το μηδέν. Σε περίπτωση που S=0, τότε Ζ=0, που σημαίνει ότι το τρισδιάστατο σημείο βρίσκεται στο εστιακό επίπεδο της κάμερας, και οι συντεταγμένες της εικόνας x και y δεν είναι καθορισμένες. Για όλα τα σημεία που βρίσκονται στο εστιακό επίπεδο, εκτός από το οπτικό κέντρο, τα αντίστοιχα τους σημεία στο επίπεδο της εικόνας είναι στο άπειρο. Για το οπτικό κέντρο C, έχουμε U=V=S=0 (άρα και s=0) αφού X=Y=Z=0. Εικόνα 3: Παγκόσμιο σύστημα συντεταγμένων και εξωτερικές παράμετροι της κάμερας 17

18 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Μέχρι στιγμής, θεωρείται ότι τα τρισδιάστατα σημεία εκφράζονται στο σύστημα συντεταγμένων της κάμερας. Στην πράξη, μπορούν να εκφραστούν σε οποιοδήποτε τρισδιάστατο σύστημα συντεταγμένων, το οποίο συχνά αναφέρεται ως παγκόσμιο σύστημα συντεταγμένων. Όπως φαίνεται στην εικόνα 3, πηγαίνουμε από το παλιό σύστημα συντεταγμένων με κέντρο τον οπτικό άξονα C (σύστημα συντεταγμένων της κάμερας), στο νέο σύστημα συντεταγμένων με κέντρο το σημείο Ο (παγκόσμιο σύστημα συντεταγμένων), με μια περιστροφή R που ακολουθείται από μια μετακίνηση t=co. Στη συνέχεια, για ένα σημείο, οι συντεταγμένες που εκφράζονται στο σύστημα της κάμερας Mc και αυτές που εκφράζονται στο παγκόσμιο σύστημα Mw, συνδέονται μεταξύ τους με τη σχέση M c =RM w + t ή πιο συμπτυγμένα ~ ~ M = D c M w όπου D είναι ο ευκλείδειος μετασχηματισμός του τρισδιάστατου χώρου: R D = O T 3 t 1, με O [0,0,0] 3 = T Ο πίνακας R και το διάνυσμα t περιγράφουν τον προσανατολισμό και τη θέση της κάμερας σε σχέση με το νέο παγκόσμιο σύστημα συντεταγμένων και ονομάζονται εξωγενείς παράμετροι της κάμερας. Προκύπτει m ~ ~ ~ = PM = PD. c M w Έτσι, ο νέος πίνακας προοπτικής προβολής δίνεται από τον τύπο P new = PD. 18

19 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 Αυτό δείχνει πώς αλλάζει ο πίνακας προοπτικής προβολής Ρ όταν αλλάζει το σύστημα συντεταγμένων στον τρισδιάστατο χώρο: απλά πολλαπλασιάζουμε από τα δεξιά με τον αντίστοιχο ευκλείδειο μετασχηματισμό Εσωτερικές παράμετροι της κάμερας Το κομμάτι αυτό εξετάζει τον μετασχηματισμό στο σύστημα συντεταγμένων της εικόνας. Είναι πολύ σημαντικό σε πρακτικές εφαρμογές επειδή: Δεν είναι γνωστή η αρχή του επιπέδου της εικόνας εκ των προτέρων. Γενικά δεν συμπίπτει με το σημείο τομής του οπτικού άξονα και του επιπέδου της εικόνας. Οι μονάδες των αξόνων του συστήματος συντεταγμένων της εικόνας δεν είναι απαραίτητα ίσες και καθορίζονται από τα ποσοστά δειγματοληψίας των συσκευών απεικόνισης. Οι δύο άξονες της πραγματικής εικόνας μπορεί να μη σχηματίζουν ορθή γωνία. Εικόνα 4: Εσωτερικές παράμετροι της κάμερας 19

20 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Θεωρούμε την εικόνα 4. Το αρχικό σύστημα συντεταγμένων της εικόνας (c,x,y) έχει κέντρο το κύριο σημείο c και έχει τις ίδιες μονάδες και στους δύο άξονες x και y. Το σύστημα συντεταγμένων (o,u,v) είναι το σύστημα στο οποίο τοποθετούμε τα pixels σε μια εικόνα. Έχει τις πιο πολλές φορές ως κέντρο την επάνω αριστερή γωνία της εικόνας, η οποία δεν είναι συνήθως το κύριο σημείο c. Τα pixels δεν είναι συνήθως τετράγωνα. Χωρίς απώλεια γενικότητας, ο άξονας u υποτίθεται ότι είναι παράλληλος του άξονα x. Οι μονάδες των αξόνων u και v θεωρούνται ku και kv αντίστοιχα σε σχέση με τη μονάδα που χρησιμοποιείται στο (c,x,y). Οι άξονες u και v μπορεί να μην είναι ακριβώς ορθογώνιοι και γι αυτό θεωρούμε τη γωνία μεταξύ τους θ. Τέλος, θεωρούμε ότι οι συντεταγμένες του σημείου c στο (o,u,v) είναι [u0,v0] T. Αυτές οι πέντε παράμετροι (f, u0, v0, ku, kv) δεν εξαρτώνται από τη θέση και τον προσανατολισμό της κάμερας και γι αυτό ονομάζονται εσωτερικές παράμετροι της κάμερας και περιλαμβάνονται σε ένα 3x3 υποπίνακα Κ που οδηγεί σε μια πιο πολύπλοκη μορφή για τον πίνακα P σε σχέση με αυτή που δόθηκε στην ενότητα : P = [ K 0]. Σε πολλές περιπτώσεις, οι τιμές τους παρέχονται από τους κατασκευαστές των καμερών και μπορούν να χρησιμοποιηθούν άμεσα στην διαδικασία της 3D ανακατασκευής που χρησιμοποιήθηκε. Όμως, όταν αυτό δεν είναι δυνατόν, ή η ακρίβεια τους δεν είναι ικανοποιητική, είναι δυνατόν να γίνει εκτίμηση των τιμών τους, από την διαδικασία της εξωτερικής μετατόπισης που περιγράφεται παρακάτω, η οποία εκτιμά πλήρως όλα τα στοιχεία του πίνακα P Η βαθμονόμηση DLT (Direct Linear Transform) Η διαδικασία της βαθμονόμησης αποσκοπεί στην εύρεση των εσωτερικών και εξωτερικών παραμέτρων βαθμονόμησης (στοιχεία του πίνακα προβολής P). Για το σκοπό αυτό χρησιμοποιείται ένα σύνολο χαρακτηριστικών σημείων για τα οποία είναι γνωστή η 3D θέση τους στο χώρο αλλά και η θέση τους στην εικόνα. Η μέθοδος βαθμονόμησης DLT, που περιγράφεται παρακάτω, μπορεί να χρησιμοποιηθεί για την βαθμονόμηση των καμερών αλλά και την βελτίωση της εκτίμησης των εσωτερικών παραμέτρων βαθμονόμησης. Πιο συγκεκριμένα, έστω ένα σύνολο αντιστοιχιών x i u i μεταξύ των τρισδιάστατων σημείων αναφοράς xi και των δισδιάστατων σημείων στην 20

21 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 εικόνα ui. Η βαθμονόμηση της κάμερας αποτελείται από τον καθορισμό του πίνακα προοπτικής προβολής της κάμερας P, που περιέχει τις εσωτερικές και εξωτερικές παραμέτρους της κάμερας. Οι μη γραμμικές στρεβλώσεις δε λαμβάνονται υπ όψιν προς το παρόν. Από την εξίσωση προβολής κάθε σημείου λui=pxi, έχουμε δυο γραμμικές εξισώσεις ως στοιχεία pij λαμβάνοντας την αναλογία του πρώτου στοιχείου με το τρίτο και του δεύτερου με το τρίτο για να εξαλείψουμε την άγνωστη μεταβλητή λ: xi 0 yi 0 zi x i 0 y i 0 z i 0 1 u x i v x i i i u y i v y i i i u z i v z i i i u i v i p 12 = 0, όπου συγκεντρώνουμε τα pij του 3x4 πίνακα P στο διάνυσμα-στήλη p12. Για n αντιστοιχίες σημείων, προκύπτει ένα ομογενές γραμμικό σύστημα εξισώσεων A2 n 12 p12 = 0 Αφού το σύστημα είναι ομογενές, υπάρχουν μόνο έντεκα βαθμοί ελευθερίας. Η μετατροπή του συστήματος σε μη-ομογενές μπορεί να πραγματοποιηθεί προσθέτοντας κάποιον επιπρόσθετο περιορισμό: p34=1, που μετατρέπει το ομογενές σύστημα σε ένα ανομοιογενές AX=b. p12 =1, που λύνεται απ ευθείας από την ανάλυση ιδαζουσών τιμών (Singular Value Dicomposition, SVD) p31 + p32 + p33 = 1, όπου γίνεται ένα γραμμικό σύστημα με περιορισμούς. Οι περιορισμοί αυτοί που προτάθηκαν από τους Faugeras και Toscani έχουν το πλεονέκτημα της διατήρησης της στερεότητας (rigidity) κατά την ανάλυση. Επειδή από κάθε αντιστοιχία σημείων προκύπτουν 2 εξισώσεις, απαιτούνται 6 ή περισσότερα σημεία για την επίλυση του συστήματος. Ο πιο βολικός τρόπος είναι μέσω μιας ανάλυσης ιδιαζουσών τιμών του πίνακα A 2 n 12 με κανονικοποιημένο το διάνυσμα x. Αυτό δίνει μια καλή αρχική εκτίμηση του πίνακα της κάμερας. Ο αλγόριθμος συνοψίζεται ως εξής: 21

22 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Αλγόριθμος (Η βαθμονόμηση DLT) Με δεδομένες τουλάχιστον έξι 2D- 3D αντιστοιχίες xi ui για i=1,...,n και ν 6, υπολόγισε τις εσωτερικές παραμέτρους Κ της κάμερας και την περιστροφή R και την μετατόπιση t της κάμερας σε σχέση με τα σημεία xi. 1. Υπολόγισε έναν 2D μετασχηματισμό ομοιότητας Τu, τέτοιον ώστε τα σημεία ui να μεταφέρονται στο κέντρο βάρος τους και να αλλάξει η κλίμακα κατάταξης τους, ώστε η μέση απόσταση να ισούται με 2. Ομοίως υπολόγισε έναν 3D μετασχηματισμό ομοιότητας Τx για xi, έτσι ώστε η μέση απόσταση να ισούται με Εφάρμοσε = Τu ui και =Τx xi. 3. Σχημάτισε τον A ~ x~i 2n 12 πίνακα με κανονικοποιημένα σημεία u~ i και x~ i. 4. Λύσε για p~ 12 παίρνοντας το μοναδιαίο διάνυσμα που αντιστοιχεί στη μικρότερη μοναδιαία τιμή του A ~ 2n Μετέτρεψε το p~ 12 στον πίνακα P ~. 1~ 6. Αναίρεσε την κανονικοποίηση με P= T x PTu. 7. Αποσύνθεσε P για να ληφθούν οι εσωτερικές παράμετροι Κ και οι εξωτερικοί παράμετροι R και t. H λύση είναι μοναδική. Παρατηρήση: Όταν τα σημεία είναι συνεπίπεδα, η μέθοδος βαθμονόμησης αποτυγχάνει λόγω της μικρής τάξης του πίνακα A 2 n Επιπολική γεωμετρία Η επιπολική γεωμετρία είναι η γεωμετρία της στερεοσκοπικής όρασης. Όταν δύο φωτογραφικές μηχανές βλέπουν μια τρισδιάστατη σκηνή από δύο διαφορετικές θέσεις, υπάρχει ένας αριθμός γεωμετρικών σχέσεων μεταξύ των τρισδιάστατων σημείων και των προβολών τους στις δισδιάστατες εικόνες που οδηγούν σε περιορισμούς μεταξύ των σημείων της εικόνας. Αυτές οι σχέσεις προκύπτουν βασιζόμενοι στην υπόθεση ότι οι κάμερες μπορεί να προσεγγιστούν από το μοντέλο της κάμερας «οπής καρφίτσας». 22

23 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 Εικόνα 5: Τυπική περίπτωση χρήσης της επιπολικής γεωμετρίας. Δύο κάμερες λαμβάνουν μια εικόνα της ίδιας σκηνής από διαφορετικές οπτικές γωνίες. Η επιπολική γεωμετρία στη συνέχεια περιγράφει τη σχέση μεταξύ των δύο όψεων που προκύπτουν Γεωμετρία δύο όψεων Η παρακάτω εικόνα παρουσιάζει δύο κάμερες που κοιτάνε το σημείο Χ. Στις πραγματικές κάμερες, το επίπεδο της εικόνας βρίσκεται πίσω από το εστιακό σημείο και παράγει μια στραμμένη εικόνα. Εδώ, ωστόσο, το πρόβλημα της προβολής απλοποιείται με την τοποθέτηση ενός εικονικού επιπέδου εικόνας μπροστά από το εστιακό σημείο κάθε κάμερας για να παράγει μια μη περιστρεμμένη εικόνα. Τα ΟL και OR παριστάνουν τα εστιακά σημεία της κάθε κάμερας. Το Χ αντιπροσωπεύει το σημείο ενδιαφέροντος και στις δύο κάμερες. Τα σημεία xl και xr είναι οι προβολές του Χ στα επίπεδα των δύο εικόνων αντίστοιχα. 23

24 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Εικόνα 6: Επιπολική γεωμετρία δύο όψεων Κάθε κάμερα λαμβάνει μια 2D εικόνα του τρισδιάστατου κόσμου. Αυτή η μετατροπή από 3D σε 2D αναφέρεται ως προοπτική προβολή (perspective projection) και περιγράφεται από το μοντέλο κάμερας «οπής καρφίτσας» που αναλύθηκε παραπάνω. Επιπολικό σημείο Δεδομένου ότι τα δύο σημεία εστίασης των καμερών είναι διαφορετικά, κάθε εστιακό σημείο προβάλλεται σε ξεχωριστό σημείο στο επίπεδο της εικόνας της άλλης κάμερας. Αυτά τα δύο σημεία που σημειώνονται με el και er ονομάζονται επιπολικά σημεία. Και τα δύο αυτά σημεία στα αντίστοιχα επίπεδα εικόνας καθώς και τα εστιακά σημεία OL και OR βρίσκονται στην ίδια τρισδιάστατη γραμμή. Επιπολική Γραμμή Η γραμμή OL-X φαίνεται από την αριστερή κάμερα ως ένα σημείο επειδή είναι στην ίδια ευθεία με το εστιακό σημείο της κάμερας αυτής. Ωστόσο, η δεξιά κάμερα βλέπει αυτή τη γραμμή ως μια γραμμή στο δικό της επίπεδο εικόνας. Η γραμμή αυτή (er-xr) στη δεξιά κάμερα ονομάζεται επιπολική γραμμή. Αντίστοιχα, η γραμμή OR-X που φαίνεται από την δεξιά κάμερα ως σημείο, από την αριστερή φαίνεται ως επιπολική γραμμή el-xl. Μια επιπολική γραμμή είναι μια συνάρτηση του τρισδιάστατου σημείου Χ, δηλαδή υπάρχει ένα σύνολο επιπολικών γραμμών και στις δύο εικόνες εάν το Χ κινείται στις θέσεις όλων των τρισδιάστατων σημείων. 24

25 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 Δεδομένου ότι η τρισδιάστατη γραμμή OL-X διέρχεται από το εστιακό σημείο OL της κάμερας, η αντίστοιχη επιπολική γραμμή στη δεξιά εικόνα πρέπει να διέρχεται από το επιπολικό σημείο er (το ίδιο και για τις επιπολικές γραμμές στην αριστερή εικόνα). Αυτό σημαίνει ότι όλες οι επιπολικές γραμμές σε μία εικόνα πρέπει να τέμνονται με το επιπολικό σημείο σ αυτήν την εικόνα. Στην πραγματικότητα, κάθε γραμμή που τέμνεται με το επιπολικό σημείο είναι μια επιπολική γραμμή, αφού μπορεί να προέρχεται από κάποιο τρισδιάστατο σημείο. Εικόνα 7: Παράδειγμα επιπολικής γεωμετρίας: Δύο κάμερες με τα αντίστοιχα εστιακά σημεία O L και Ο R παρατηρούν ένα σημείο P. Η προβολή του Ρ σε κάθε ένα επίπεδο εικόνας σημειώνεται με p L και p R. Τα σημεία Ε L και E R είναι τα επιπολικά σημεία. Επιπολικό επίπεδο Ως εναλλακτική απεικόνιση, θεωρούμε τα σημεία X, OL & OR τα οποία σχηματίζουν ένα επίπεδο, το επιπολικό επίπεδο. Το επίπεδο αυτό τέμνει το επίπεδο εικόνας κάθε κάμερας, σχηματίζοντας γραμμές, τις επιπολικές γραμμές. Όλα τα επιπολικά επίπεδα και οι επιπολικές γραμμές τέμνουν το επιπολικό σημείο ανεξάρτητα από τη θέση του Χ. Τριγωνοποίηση Εάν η σχετική θέση και περιστροφή των δύο καμερών είναι γνωστή, η αντίστοιχη επιπολική γεωμετρία οδηγεί σε δύο παρατηρήσεις: 25

26 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Εάν η το σημείο προβολής xl είναι γνωστό, τότε η επιπολική γραμμή er-xr είναι επίσης γνωστή και το σημείο Χ προβάλλεται επάνω στη δεξιά εικόνα, σε ένα σημείο xr το οποίο πρέπει να βρίσκεται επάνω στη συγκεκριμένη επιπολική γραμμή. Αυτό σημαίνει ότι για κάθε σημείο που παρατηρείται σε μια εικόνα, το ίδιο σημείο πρέπει να παρατηρείται και στην άλλη εικόνα επάνω σε γνωστή επιπολική γραμμή. Αυτό αποτελεί έναν επιπολικό περιορισμό τον οποίον πρέπει να ικανοποιούν τα αντίστοιχα σημεία των εικόνων και σημαίνει ότι είναι δυνατόν να ελεγχθεί εάν δύο σημεία αναφέρονται πραγματικά στο ίδιο τρισδιάστατο σημείο. Επιπολικοί περιορισμοί μπορούν επίσης να περιγραφούν και από τον θεμελιώδη πίνακα (f-matrix) μεταξύ των δύο καμερών. Εάν τα σημεία xl και xr είναι γνωστά, οι γραμμές προβολής τους είναι επίσης γνωστές. Εάν τα δύο σημεία των δύο εικόνων αντίστοιχα αναφέρονται στο ίδιο τρισδιάστατο σημείο Χ, οι γραμμές προβολής τους θα πρέπει να τέμνονται ακριβώς στο Χ. Αυτό σημαίνει ότι το Χ μπορεί να υπολογιστεί από τις συντεταγμένες των δύο σημείων των εικόνων. Η διαδικασία αυτή ονομάζεται τριγωνοποίηση Γεωμετρία δυο μη βαθμονομημένων όψεων Η μελέτη της γεωμετρίας των δύο όψεων είναι θεμελιώδης καθώς οι δύο όψεις είναι η ελάχιστη προϋπόθεση για την τριγωνοποίηση της χαμένης τρίτης διάστασης των σημείων της εικόνας. Συχνά ονομάζεται στερεοσκοπική όραση, όταν οι εικόνες λαμβάνονται από διαφορετικές οπτικές γωνίες συγχρόνως, ή εκτίμηση κίνησης, εάν οι δύο εικόνες λαμβάνονται κατά σειρά. Η γενική προσέγγιση είναι η κατανόηση των γεωμετρικών περιορισμών για τα σημεία της εικόνας σε διαφορετικές όψεις που προέρχονται από το ίδιο φυσικό σημείο στο χώρο. Αυτοί οι περιορισμοί μπορούν να χρησιμοποιηθούν για την εύρεση των αντιστοιχίσεων των σημείων και την τριγωνοποίηση. 26

27 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Ο Θεμελιώδης Πίνακας (F-matrix) Αλγεβρικά, χωρίς απώλεια της γενικότητας, μπορούμε πάντα να επιλέγουμε την απλούστερη απεικόνιση συντεταγμένων, ταυτίζοντας το πλαίσιο συντεταγμένων με αυτό της πρώτης όψης, έτσι ώστε ο πίνακας προβολής της πρώτης όψης να είναι P3x4 = ( I,0 ) και της δεύτερης γίνεται ένας γενικός P 3 4 = ( A, a). Επίσης υπάρχει η αντιστοίχιση των σημείων u u σε δύο όψεις ενός σημείου x στο χώρο. Η γραμμή οπίσθιας προβολής του σημείου u, ορίζεται από το κέντρο της κάμερας c=(0,1) T 1 T και τη διεύθυνση x = ( I u,0), το σημείο της γραμμής στο άπειρο. Οι εικόνες των δύο αυτών σημείων στη δεύτερη όψη είναι αντίστοιχα e =(A,a)c=a και u = ( A, a) x = Au. Η επιπολική γραμμή δίνεται από τη σχέση I =e u = a Au. Χρησιμοποιώντας τον αντισυμμετρικό πίνακα [α]x που συνδέεται με το διάνυσμα α για να αναπαραστήσει το παραγόμενο διάνυσμα, εάν ορίσουμε F=[a]xA, τον οποίο ονομάζουμε θεμελιώδη πίνακα, τότε έχουμε I =Fu. Καθώς το σημείο u βρίσκεται στη γραμμή Ι, επαληθεύει ότι ισχύει u ΤΙ =0. Έτσι προκύπτει η θεμελιώδης σχέση της επιπολικής γεωμετρίας της αντιστοιχίας των σημείων δύο εικόνων u και u : u TFu=0. Ιδιότητες του F Περιορισμός τάξης: Ο θεμελιώδης πίνακας F είναι μοναδικός και είναι δευτέρας τάξης εξαιτίας της συνιστώσας γινομένου ενός αντισυμμετρικού πίνακα που έχει τάξη δύο. Γεωμετρικά, το σύνολο όλων των επιπολικών γραμμών διέρχεται από το ίδιο κοινό σημείο, το επιπολικό σημείο. Επιπολική γεωμετρία: Ο πυρήνας του F είναι το επιπολικό σημείο στο πρώτο επίπεδο εικόνας. Για να υπολογίσουμε το άλλο επιπολικό σημείο, αρκεί να αναστραφεί ο πίνακας F, ώστε F T e =0. Καθώς u TFu=0 είναι η επιπολική γεωμετρία μεταξύ της πρώτης και της δεύτερης όψης, 27

28 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου αναστρέφοντας την εξίσωση δίνει την ίδια εναλλαγή όψεων. Η επιπολική γραμμή στο επίπεδο της δεύτερης εικόνας είναι Fu και F T u είναι του επιπέδου της πρώτης εικόνας. Βαθμοί ελευθερίας: Οι βαθμοί ελευθερίας είναι 7. Αλγεβρικά, ο F έχει 3x3=9 ομογενή στοιχεία, γεγονός που δημιουργεί μόνο 8 βαθμούς ελευθερίας. Επιπροσθέτως, είναι μοναδικός, οπότε απομένουν μόνο εφτά βαθμοί ελευθερίας. Γεωμετρικά, κάθε επιπολικό σημείο υπολογίζεται για δύο βαθμούς ελευθερίας, πράγμα που σημαίνει τέσσερις βαθμούς για δύο σημεία. Τα δύο pencils (οικογένειες επιπολικών επιπέδων, που προκύπτουν από την εναλλαγή της θέσης των τρισδιάστατων σημείων) των αντίστοιχων επιπολικών γραμμών είναι σε ομογραφική αντιστοιχία μιας διάστασης, που υπολογίζεται για τρεις βαθμούς ελευθερίας. Τα επιπολικά σημεία μαζί με τα pencils αποτελούν σύνολο εφτά βαθμών ελευθερίας για τον F. Συστηματικά, για ένα σύστημα δύο μη βαθμονομημένων όψεων, κάθε όψη ή κάμερα έχει 11 βαθμούς ελευθερίας, έτσι ώστε δύο όψεις αριθμούν 22 βαθμούς ελευθερίας. Ολόκληρο το μη βαθμονομημένο σύστημα καθορίζεται από ένα προβολικό μετασχηματισμό που αριθμεί 4x4-1 βαθμούς ελευθερίας, ώστε οι συνολικοί βαθμοί ελευθερίας ενός συστήματος δύο μη βαθμονομημένων όψεων είναι εφτά από 2x11-(4x4-1) =7. Το σημαντικό είναι ότι ο θεμελιώδης πίνακας έχοντας ακριβώς 7 βαθμούς ελευθερίας είναι μια τέλεια ελάχιστη παραμετροποίηση δύο μη βαθμονομημένων όψεων! Προβολική ανακατασκευή: Ο θεμελιώδης πίνακας ή η επιπολική γεωμετρία ισοδυναμούν στον προσδιορισμό των δύο πινάκων προβολής των δύο όψεων σε έναν προβολικό μετασχηματισμό, ο οποίος ισοδυναμεί σε μια προβολική ανακατασκευή δύο μη βαθμονομημένων όψεων. Δεδομένου του F, μια πιθανή επιλογή για το ζεύγος των πινάκων προβολής είναι (Ι,0), και ([e ]xf,e ), που μπορεί να επαληθευτεί από τον ορισμό του F. Τότε η αντιστοιχία κάθε σημείου εικόνας μπορεί να ανακατασκευαστεί από έναν προβολικό μετασχηματισμό των δύο πινάκων προβολής. 28

29 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Ο αλγόριθμος των εφτά σημείων Ο θεμελιώδης πίνακας έχει εφτά βαθμούς ελευθερίας. Δεδομένου ότι κάθε αντιστοιχία σημείου ενεργοποιεί μια μεταβλητή, περιμένουμε ότι η αντιστοιχία εφτά σημείων επαρκεί για να οδηγηθούμε σε λύση. Κάθε αντιστοιχία σημείου σε δύο όψεις u u παράγει μία εξίσωση στα άγνωστα στοιχεία του F από την u TFu=0, (u u, u v, u, v u, v v, v, u, v, 1)f9=0, όπου f9=(f1,, f9) T είναι το διάνυσμα με τα εννέα στοιχεία του θεμελιώδη πίνακα F. Για αντιστοιχίες εφτά σημείων, λαμβάνουμε ένα γραμμικό ομογενές σύστημα εφτά εξισώσεων A7x9f9 = 0, το οποίο δεν είναι ακόμα ικανό να μας οδηγήσει σε μια μοναδική λύση. Αλλά μια μονοδιάστατη οικογένεια λύσεων που παραμετροποιείται από το x/t δίνεται από τη σχέση f9=xa+tb, όπου a και b είναι τα δύο δεξιά μοναδικά διανύσματα που αντιστοιχούν στις δύο μικρότερες μοναδικές τιμές του Α7x9. Στη συνέχεια προστίθεται η μεταβλητή δεύτερης τάξης του F που είναι το αποτέλεσμα της Det(F(x,t)) = 0. Αναπτύσσοντας αυτή την ορίζουσα, παίρνουμε μια εξίσωση τρίτου βαθμού ως προς x και t, ax 3 + bx 2 t + cxt 2 + dt 3 = 0. Κάθε λύση του x/t της εξίσωσης τρίτου βαθμού δίνει μια λύση στο f9 και κατά συνέπεια μια λύση στο θεμελιώδη πίνακα. Η εξίσωση τρίτου βαθμού μπορεί να έχει είτε μία είτε τρεις πραγματικές λύσεις. Αλγόριθμος των επτά σημείων Με δεδομένες επτά αντιστοιχίες σημείων της εικόνας ui ui για i=1,...,7 υπολόγισε το θεμελιώδη πίνακα F μεταξύ των δύο όψεων. 29

30 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 1. Σχημάτισε τον πίνακα A Κατασκεύασε μια μονοδιάστατη οικογένεια λύσεων στο f9 με γραμμικό συνδυασμό των δύο μοναδιαίων διανυσμάτων a και b που αντιστοιχούν στις δύο μικρότερες μοναδιαίες τιμές του Α. 3. Λύσε την εξίσωση τρίτου βαθμού σε κλειστή μορφή με τους συντελεστές να λαμβάνονται από τα a και b. 4. Λάβε ένα διάνυσμα λύσης f από κάθε πραγματική λύση της εξίσωσης τρίτου βαθμού. 5. Μετέτρεψε το f9 σε μορφή πίνακα F. Υπάρχουν το πολύ τρείς πιθανές λύσεις για τον F. Παρατηρήσεις Όταν τα εφτά σημεία είναι συνεπίπεδα, θα υπάρχει άπειρο πλήθος λύσεων στον θεμελιώδη πίνακα, ανεξάρτητα από οποιοδήποτε επιπρόσθετο σημείο που είναι συνεπίπεδο με τα εφτά σημεία. Τα εφτά σημεία και τα δύο κέντρα της κάμερας συνιστούν ένα σύνολο εννέα σημείων που αποτελεί μια δευτεροβάθμια επιφάνεια. Εάν η επιφάνεια αυτή είναι κανονική και όχι ευθειογενής, θα υπάρχει μόνο μια λύση. Εάν η επιφάνεια είναι ευθειογενής, για παράδειγμα ένα μονόχωνο υπερβολοειδές, τότε θα υπάρχουν τρεις λύσεις. Η ασάφεια των πολλαπλών λύσεων δε μπορεί να λυθεί, ανεξάρτητα από οποιοδήποτε πρόσθετο σημείο που ανήκει στην ίδια ευθειογενή δευτεροβάθμια. Η λύση θα είναι μοναδική εάν παρουσιαστεί ένα όγδοο σημείο που δεν ανήκει στην ευθειογενή αυτή δευτεροβάθμια επιφάνεια Ο γραμμικός αλγόριθμος των οχτώ σημείων Εάν προσθέσουμε μια ακόμα αντιστοιχία σημείων και αγνοήσουμε τη μεταβλητή της τάξης στον θεμελιώδη πίνακα F, η λύση μπορεί να προκύψει εύκολα από το απλό γραμμικό σύστημα A8x9f9 = 0. Το σημαντικό είναι ότι ο αλγόριθμος των οχτώ σημείων είναι πολύ απλός και αριθμητικά σταθερός. 30

31 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 Αλγόριθμος ( Ο γραμμικός θεμελιώδης πίνακας οκτώ σημείων) Με δεδομένες τουλάχιστον οκτώ αντιστοιχίες σημείων της εικόνας ui ui για i=1,...,n, και n 8, υπολόγισε το θεμελιώδη πίνακα F μεταξύ των δύο όψεων. 1. Μετασχημάτισε τα σημεία της εικόνας σε κάθε πλάνο εικόνας, με =Αu και u ~ =Α u, έτσι ώστε το νέφος σημείων σε κάθε επίπεδο εικόνας να κεντραριστεί στο κέντρο βάρους και να αλλάξει η κλίμακα του, με αποτέλεσμα η μέση απόσταση από το κέντρο βάρους να ισούται με Εφάρμοσε τη γραμμική μέθοδο A ~ ~ 8 9f 9 = 0 στα μετασχηματισμένα σημεία. 3. Λάβε το σωστό μοναδιαίο διάνυσμα που αντιστοιχεί στη μικρότερη ~ μοναδιαία τιμή ως το διάνυσμα λύσης f9. ~ 4. Μετέτρεψε το f9 σε πίνακα μορφής F. 5. Επέβαλε περιορισμό δευτέρας τάξης, θέτοντας ως τη μικρότερη μοναδιαία τιμή του ~ F μηδέν, ανασυνθέτοντας τον πίνακα ~ F 2. T~ 6. Αναίρεσε την κανονικοποίηση για να ληφθεί ο F= F A. Η λύση είναι μοναδική. A Χαρακτηριστικά σημεία (Features) Το κεφάλαιο αυτό περιγράφει την εξαγωγή χαρακτηριστικών στοιχείων από εικόνες ως ιδανικά γεωμετρικά σημεία που χρησιμοποιούνται για περαιτέρω ανάλυση τρισδιάστατης γεωμετρίας. Συνήθως αυτά τα σημεία αντιστοιχούν σε σημεία σημαντικών μεταβολών χρώματος και φωτεινότητας της εικόνας (πχ. γωνίες), έτσι ώστε να είναι δυνατός ο εντοπισμός του ίδιου χαρακτηριστικού σημείου σε διαφορετικές θέσεις εικόνων από πολλαπλές όψεις που παρουσιάζουν μικρές αποκλίσεις. Για την αποτελεσματική εύρεση του αντίστοιχου σημείου ενός χαρακτηριστικού σημείου Α σε μια εικόνα αναφοράς, εξάγονται όλα τα χαρακτηριστικά σημεία από την εικόνα αναφοράς και επιλέγεται ως υποψήφιο αντίστοιχο σημείο Β, το σημείο που χαρακτηρίζεται από την μεγαλύτερη ομοιότητα με το Α. Αν α) το σφάλμα αντιστοίχισης ε είναι μικρό και επιπλέον β)το σφάλμα του δεύτερου καλύτερου υποψηφίου 31

32 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου σημείου Γ είναι αρκετά μεγαλύτερο από το ε, τότε το σημείο Β επιλέγεται ως αντίστοιχο του Α στην εικόνα αναφοράς Εισαγωγή Η θέση (x,y) ενός pixel σε μια ψηφιακή φωτογραφία είναι απλά ένα γεωμετρικό σημείο στο επίπεδο της εικόνας, αν αγνοήσουμε την τιμή της έντασης του. Αυτά τα σημεία πρέπει να διακρίνονται έτσι ώστε να μπορούν να ανιχνευτούν και να αντιστοιχιστούν σε διαφορετικές εικόνες. Η ένταση κάθε pixel είναι ως εκ τούτου η ταυτότητα του ή τα χαρακτηριστικά του. Ωστόσο, η ένταση αυτή είναι μια σύνθετη συνάρτηση πολλών παραμέτρων κατά τον σχηματισμό της εικόνας. Ο στόχος είναι η αναγνώριση αυτών των διαφορετικών pixels από τα χαρακτηριστικά της τιμής της έντασης τους, φυσικά όχι από ένα μεμονωμένο pixel αλλά μαζί με τη γύρω περιοχή Σημεία Ενδιαφέροντος Ορισμός σημείου ενδιαφέροντος Η εύρεση σημείων ενδιαφέροντος ή χαρακτηριστικών σημείων είναι μια από τις πιο βασικές εργασίες στην όραση υπολογιστών. Είναι ίσως ο πιο διαδεδομένος τρόπος εξαγωγής πληροφοριών κίνησης από μια σειρά εικόνων. Ένα pixel σε μια εικόνα I(x) στο x θεωρείται σημείο ενδιαφέροντος όταν μπορεί να αναγνωριστεί σε μια άλλη εικόνα I (x ) σε μια διαφορετική όψη Τύποι σημείων ενδιαφέροντος Ακμές Οι ακμές είναι σημεία όπου υπάρχει ένα όριο (ή μια ακμή) μεταξύ δύο περιοχών της εικόνας. Σε γενικές γραμμές, μια ακμή μπορεί να έχει μια σχεδόν αυθαίρετη μορφή και μπορεί να περιέχει κόμβους. Στην πράξη, οι ακμές συνήθως ορίζονται ως ένα σύνολο σημείων στην εικόνα που έχουν 32

33 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου 7 μια μεγάλη τιμή κλίσης. Επιπλέον, μερικοί κοινοί αλγόριθμοι, στη συνέχεια ενώνουν τα σημεία μεγάλης κλίσης ώστε να σχηματίσουν μια πιο ολοκληρωμένη περιγραφή της ακμής. Αυτοί οι αλγόριθμοι συνήθως θέτουν κάποιες μεταβλητές σχετικά με τις ιδιότητες μιας ακμής, όπως είναι το σχήμα, η ομαλότητα και η τιμή της κλίσης (gradient). Γωνίες / σημεία ενδιαφέροντος Οι όροι γωνίες και σημεία ενδιαφέροντος χρησιμοποιούνται συνήθως για τον ίδιο σκοπό και αναφέρονται στα χαρακτηριστικά μιας εικόνας που μοιάζουν με σημεία, τα οποία έχουν μια τοπική δισδιάστατη δομή. Το όνομα «γωνία» προέκυψε καθώς οι πρώτοι αλγόριθμοι εκτέλεσαν για πρώτη φορά την ανίχνευση ακμών και στη συνέχεια ανάλυσαν τις ακμές για να βρουν γρήγορες αλλαγές στη διεύθυνση (γωνίες). Αυτοί οι αλγόριθμοι στη συνέχεια αναπτύχθηκαν, ώστε η ρητή ανίχνευση ακμών να μην είναι πια απαραίτητη, για παράδειγμα αναζητώντας υψηλά επίπεδα καμπυλότητας στην κλίση της εικόνας. Στη συνέχεια παρατηρήθηκε ότι οι λεγόμενες γωνίες ανιχνεύονταν επίσης σε σημεία της εικόνας που δεν ήταν γωνίες με την παραδοσιακή έννοια (για παράδειγμα μια μικρή φωτεινή κουκίδα σε ένα σκούρο φόντο μπορεί να ανιχνευτεί). Αυτά τα σημεία είναι συχνά γνωστά ως σημεία ενδιαφέροντος, αλλά από παράδοση χρησιμοποιείται ο όρος γωνία. Τόποι (blobs) /περιοχές ενδιαφέροντος ή σημεία ενδιαφέροντος Τα blobs παρέχουν μια συμπληρωματική περιγραφή των δoμών μιας εικόνας όσον αφορά τις περιοχές, καθώς οι γωνίες αναφέρονται πιο πολύ σε σημεία. Παρ όλα αυτά, οι περιγραφείς τους συχνά περιέχουν ένα προτεινόμενο σημείο (ένα τοπικό μέγιστο της απόκρισης ενός τελεστή ή το κέντρο βάρους) που σημαίνει ότι πολλοί περιγραφείς τέτοιων περιοχών μπορεί να θεωρηθούν ως τελεστές σημείων ενδιαφέροντος. Οι περιγραφείς blob μπορούν να ανιχνεύσουν περιοχές σε μια εικόνα οι οποίες είναι πολύ ομαλές για να ανιχνευτούν από περιγραφείς γωνιών. 33

34 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Κορυφογραμμές Για επιμήκη αντικείμενα, η έννοια της κορυφογραμμής είναι ένα φυσικό εργαλείο. Ένας περιγραφέας κορυφογραμμής υπολογισμένος από μια ασπρόμαυρη εικόνα, μπορεί να θεωρηθεί ως μια γενίκευση ενός εσωτερικού άξονα. Από πρακτικής άποψης, μια κορυφογραμμή, μπορεί να θεωρηθεί ως μια μονοδιάστατη καμπύλη που παριστάνει έναν άξονα συμμετρίας και επιπλέον έχει ένα χαρακτηριστικό του τοπικού πλάτους της κορυφογραμμής που σχετίζεται με κάθε σημείο της. Δυστυχώς όμως είναι αλγοριθμικά πιο δύσκολο να εξάγεις χαρακτηριστικά κορυφογραμμών σε σχέση με αυτά των ακμών, γωνιών και περιοχών. Παρ όλα αυτά οι περιγραφείς κορυφογραμμών χρησιμοποιούνται συχνά στην εξαγωγή δρόμων από αεροφωτογραφίες και στην ανίχνευση αιμοφόρων αγγείων σε ιατρικές εικόνες Αλγόριθμοι ανίχνευσης σημείων Για την ανίχνευση των χαρακτηριστικών σημείων χρησιμοποιούνται αλγόριθμοι που αποσκοπούν στην υπολογιστική εξαγωγή πληροφοριών από εικόνες και στην διαπίστωση, εάν ένα σημείο της εικόνας είναι χαρακτηριστικό σημείο, ή όχι. Το αποτέλεσμα θα είναι ένα υποσύνολο σημείων της εικόνας, με μορφή μεμονωμένων σημείων ή συνεχών καμπυλών. Εικόνα 8: Παράδειγμα ανίχνευσης σημείων ενδιαφέροντος σε εικόνα 34

35 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Η Διαφορά των Γκαουσιανών (Difference of Gaussians-DoG) Στην όραση υπολογιστών η διαφορική του Gauss είναι ένας αλγόριθμος βελτίωσης της ασπρόμαυρης εικόνας, ο οποίος περιλαμβάνει τον διαχωρισμό μιας θολής έκδοσης μιας πρωτότυπης ασπρόμαυρης εικόνας από μια άλλη λιγότερο θολή έκδοση της αρχικής. Οι θαμπές εικόνες παράγονται από τη συνέλιξη της αρχικής ασπρόμαυρης εικόνας με τους πυρήνες της συνάρτησης του Gauss έχοντας διαφορετικές τυπικές αποκλίσεις. Το θόλωμα μιας εικόνας που δημιουργείται χρησιμοποιώντας ένα πυρήνα της συνάρτησης του Gauss αποκόπτει μόνο τις πληροφορίες υψηλής συχνότητας. Διαχωρίζοντας μια εικόνα από την άλλη, διατηρείται η πληροφορία που βρίσκεται μεταξύ του φάσματος συχνοτήτων που υπάρχει στις δύο θολές εικόνες. Έτσι, η διαφορική του Gauss είναι ένα ζωνοπερατό φίλτρο που αποκόπτει τα πάντα εκτός από ένα τμήμα χωρικών συχνοτήτων που εμφανίζονται στην αρχική ασπρόμαυρη εικόνα. Η συνάρτηση της Διαφοράς των Γκαουσιανών. H DoG είναι μια μητρική κυματική συνάρτηση μηδενικού συνολικού αθροίσματος, που μοιάζει με κυματοσυνάρτηση τύπου Μεξικάνικου Καπέλου, αφαιρώντας μια «ανοιχτή» Γκαουσιανή από μια πιο «στενή». H συνάρτηση περιγράφεται σε μαθηματική μορφή ως εξής: σε μία διεύθυνση, ενώ σε δύο διευθύνσεις περιγράφεται από τον τύπο : 35

36 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου Ο αλγόριθμος DoG χρησιμοποιείται για να αυξήσει την ορατότητα των ακμών και άλλων λεπτομερειών που υπάρχουν σε μια ψηφιακή εικόνα. Μεγάλη ποικιλία εναλλακτικών φίλτρων όξυνσης ακμών λειτουργούν ενισχύοντας τις λεπτομέρειες που έχουν υψηλή συχνότητα, καθώς όμως ο τυχαίος θόρυβος έχει επίσης υψηλή χωρική συχνότητα, πολλά από αυτά τα φίλτρα τείνουν να ενισχύσουν και τον θόρυβο, γεγονός που μπορεί να είναι ανεπιθύμητο. Ο αλγόριθμος DoG απομακρύνει τις λεπτομέρειες υψηλής συχνότητας που συχνά περιλαμβάνουν τυχαίο θόρυβο. Αυτή η προσέγγιση είναι μία από τις πιο κατάλληλες για την επεξεργασία εικόνων υψηλού θορύβου. Ένα σημαντικό μειονέκτημα της εφαρμογής του αλγορίθμου είναι η μείωση της συνολικής αντίθεσης (contrast) της εικόνας. Εικόνα 9: Παράδειγμα πριν (αριστερά) και μετά (δεξιά) την εφαρμογή του DoG Ο αφινικός ανιχνευτής περιοχών Harris Ο ανιχνευτής περιοχών Harris μπορεί αναγνωρίσει παρόμοιες περιοχές μεταξύ εικόνων που σχετίζονται μεταξύ τους μέσω αφινικών μετασχηματισμών και έχουν διαφορετικό φωτισμό. Αυτοί οι αφινικά αμετάβλητοι περιγραφείς έχουν τη δυνατότητα να αναγνωρίζουν παρόμοιες περιοχές σε εικόνες που έχουν ληφθεί από διαφορετικά οπτικά σημεία και σχετίζονται μεταξύ τους με κάποιο απλό γεωμετρικό μετασχηματισμό: κλίμακας, περιστροφής και διάτμησης. Αυτό που πρέπει να κατανοηθεί είναι ότι το σχέδιο αυτών των σημείων ενδιαφέροντος τα καθιστά συμβατά κατά μήκος εικόνων που έχουν ληφθεί από διαφορετικές όψεις. 36

37 Κεφάλαιο 2 Τρισδιάστατη Ανακατασκευή Μοντέλου SIFT (Scale-Invariant Feature Transformation) Η αντιστοίχιση των εικόνων είναι μια θεμελιώδης πτυχή πολλών προβλημάτων στην όραση υπολογιστών (computer vision), συμπεριλαμβανομένης της αναγνώρισης αντικειμένου ή σκηνής, της τρισδιάστατης αναδόμησης από πολλαπλές εικόνες καθώς και του εντοπισμού κίνησης. Αυτό το κομμάτι περιγράφει τα χαρακτηριστικά γνωρίσματα της εικόνας που έχουν συγκεκριμένες ιδιότητες οι οποίες τα καθιστούν κατάλληλα για την αντιστοίχιση διαφορετικών εικόνων ενός αντικειμένου ή μιας σκηνής. Τα γνωρίσματα αυτά είναι αναλλοίωτα στην αλλαγή της κλίμακας ή την περιστροφή μιας εικόνας και μερικώς αμετάβλητα στην αλλαγή του φωτισμού και της οπτικής γωνίας της κάμερας. Είναι πολύ καλά εντοπισμένα στους τομείς του χώρου και της συχνότητας, μειώνοντας την πιθανότητα «σφάλματος εντοπισμού» λόγω παραμόρφωσης ή θορύβου. Μεγάλος αριθμός χαρακτηριστικών μπορεί να εξαχθεί από απλές εικόνες με αποδοτικούς αλγορίθμους, όπως αυτοί που αναφέρθηκαν παραπάνω. Επιπλέον, τα χαρακτηριστικά αυτά γνωρίσματα είναι ιδιαίτερα διακριτά, γεγονός που επιτρέπει σε ένα απλό γνώρισμα να αντιστοιχηθεί επιτυχώς με πολύ μεγάλη πιθανότητα μέσα σε μια τεράστια βάση δεδομένων των χαρακτηριστικών, αποτελώντας τη βάση στην αναγνώριση αντικειμένων και σκηνών. Παρακάτω παρατίθενται τα βασικά επίπεδα της μεθόδου SIFT [4] που προτάθηκε από τον Lowe για την ανθεκτική στο θόρυβο εξαγωγή αυτών των χαρακτηριστικών γνωρισμάτων: 1. Εντοπισμός ακρότατων κλίμακας-χώρου: Το πρώτο στάδιο της υπολογιστικής διαδικασίας ερευνά σε όλες τις κλίμακες και θέσεις της εικόνας. Εφαρμόζεται αποτελεσματικά με τη χρήση της συνάρτησης της Διαφοράς των Γκαουσιανών (DoG) για να εντοπίσει πιθανά σημεία ενδιαφέροντος που είναι αμετάβλητα σε κλίμακα και προσανατολισμό. 2. Εντοπισμός θέσης σημείων κλειδιών (keypoints): Σε κάθε υποψήφια θέση, ένα λεπτομερές μοντέλο εφαρμόζεται για τον προσδιορισμό της θέσης και της κλίμακας. Τα σημεία κλειδιά επιλέγονται με βάση το μέτρο της σταθερότητας τους. 3. Ορισμός προσανατολισμού: Ένας ή περισσότεροι προσανατολισμοί ορίζονται σε κάθε θέση σημείου κλειδιού με βάση τις τοπικές 37