Διπλωματική Εργασία. του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΡΓΑΣΤΗΡΙΟ ΕΝΣΥΡΜΑΤΗΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΣ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Αθανάσιου Μιχαήλ του Δημητρίου Αριθμός Μητρώου: 5848 Θέμα «Τρισδιάστατη αναπαράσταση του χώρου από ψηφιακό σήμα video» Επιβλέπων Ευάγγελος Δερματάς Συνεξεταστής Ιωάννης Μουρτζόπουλος Αριθμός Διπλωματικής Εργασίας: Πάτρα, Ιούλιος

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Τρισδιάστατη αναπαράσταση του χώρου από ψηφιακό σήμα video» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Αθανάσιου Μιχαήλ του Δημητρίου Αριθμός Μητρώου: 5848 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../.../.. Ο Επιβλέπων Ο Διευθυντής του Τομέα Ευάγγελος Δερματάς Επίκουρος καθηγητής Νίκος Φακωτάκης Καθηγητής 2

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Τρισδιάστατη αναπαράσταση του χώρου από ψηφιακό σήμα video» Φοιτητής: Επιβλέπων: Περίληψη Η εργασία αυτή πραγματοποιήθηκε σε αποκλειστική συνεργασία του φοιτητή Αθανάσιου Μιχαήλ και του επίκουρου καθηγητή Ευάγγελου Δερματά του πανεπιστημίου Πατρών. Το θέμα αποφασίστηκε από κοινού των προαναφερόμενων προσώπων, στα πλαίσια των προπτυχιακών σπουδών του φοιτητή. Οι λόγοι που οδήγησαν σε αυτό είναι πολλοί. Όχι μόνο η ραγδαία αύξηση των ψυχαγωγικών εφαρμογών που χρησιμοποιούν τρισδιάστατες τεχνικές αλλά και η απόκτηση όλο και μεγαλύτερης σημασίας σε επιστημονικούς τομείς όπως της ιατρικής κίνησαν το ενδιαφέρον του φοιτητή. Επίσης, πρόσφατες χρήσεις σε υποβοηθητικά συστήματα οδηγών όπως στερεοσκοπικές ή κάμερες κοντινού εύρους αλλά και σε βιομηχανικές εφαρμογές με ρομπότ, καθιστούν γενικότερα τον τομέα υπολογιστικής όρασης ιδιαίτερα σπουδαίο. Πολλά προβλήματα απεικόνισης και προσανατολισμού στο χώρο μπορούν να λυθούν με μια χωρική αντίληψη από τον άνθρωπο. Για την αναπαράσταση στις τρεις διαστάσεις θα βασιστούμε στην παθητική στερεοσκόπιση και τη βαθμωτή δομή από κίνηση με Multi-View- Stereo. Στην υπολογιστική όραση η 3D ανακατασκευή είναι η διαδικασία της σύλληψης του σχήματος και της εμφάνισης πραγματικών αντικειμένων. Θα παρουσιαστούν οι διάφορες μέθοδοι εκτίμησης βάθους (ανάκτησης τρίτης διάστασης από δισδιάστατη ψηφιακή εικόνα). Θα δοθεί έμφαση στο γεωμετρικό υπόβαθρο και η παραπομπή σε αρκετές σημαντικές εργασίες όπου αυτό κρίνεται αναγκαίο. Θα αναφερθούμε τόσο στην μοντελοποίηση της κάμερας όσο και στην βαθμονόμησή της, βήμα απαραίτητο για μια ρεαλιστική αναπαράσταση. Στη συνέχεια περνάμε στην ψηφιακή επεξεργασία των εικόνων και την ανάδειξη σημείων ενδιαφέροντος επί αυτών. Ύστερα εξηγούνται οι βασικές αρχές τις επιπολικής γεωμετρίας κι έπειτα δίνεται βαρύτητα στη σθεναρότητα μεθόδων εκτίμησης. Παρουσιάζεται η διόρθωση των εικόνων με αντιπροσωπευτικά πειραματικά αποτελέσματα και τελικά φτάνουμε στην αραιή και πυκνή ανακατασκευή στις τρεις διαστάσεις. Κατά τη διάρκεια διεκπεραίωσης της εργασίας αφιερώθηκε αρκετός χρόνος για το θεωρητικό της μέρος, ώστε ο αναγνώστης να μπορέσει να κατανοήσει εύκολα τις βασικές αρχές και τα βασικά στάδια αναπαράστασης ενός τρισδιάστατου χώρου. Ταυτόχρονα απεικονίζονται γραφικά αποτελέσματα που τεκμηριώνουν τη θεωρία ή οδηγούν σε χρήσιμα συμπεράσματα. Ευχαριστώ τον επιβλέποντα καθηγητή μου κ. Δερματά για τη συνεργασία και την υπομονή του. 3

4 Diploma Thesis: «3-D representation of space from digital video signal» Student: Supervisor: Abstract The current thesis has been written in an exclusive collaboration of the student Athanasios Michail and Assistant Professor Evangelos Dermatas of the University of Patras. The subject was decided jointly by the above persons in the context of the undergraduate study. There are many reasons for this decision. Not only the rapidly growth of entertainment applications using three-dimensional techniques but also the acquisition of more and more importance in the science sector, such as medicine, caught the student s attention. Also, recent usages in Driver Assistance Systems like Stereoscopic or Near Range Cameras and industrial applications with robots, make the general sector of Computer Vision particularly important. Many specific depiction and spatial orientation problems can be solved by the spatial perception by humans. For the representation in three dimensions we will rely on stereoscopic vision and structure from motion in combination with Multi-View-Stereo. In Computer Vision the 3D reconstruction means a process of capturing the shape and appearance of real objects. We will present the various depth estimation methods (third dimension recovery from two-dimensional digital image). Emphasis will be placed at the geometric background and it will be referred to several important works where necessary. Both modeling of a camera and its calibration are mentioned. This is a necessary step for a realistic representation. Then we introduct digital image processing, highlighting the points of interest at captured frames. As a next step, we explain the basic principles of epipolar geometry and emphasize on the robust estimation methods. After we present the chapter of image rectification, we finally reach the dense reconstruction in three dimensions. A lot of time was spent to the theoretical part during this work, so that the reader can easily understand the basic principles and key stages of the representation of three-dimensional space. Simultaneously to this, graphed results are illustrated. They can substantiate the theory or lead to useful conclusions. I would like to thank my supervisor Professor Evangelos Dermatas for his cooperation and patience. 4

5 Στους γονείς μου Ελένη και Δημήτριο και στον αδερφό μου Αλέξανδρο 5

6 Περιεχόμενα Κεφάλαιο 1: Εισαγωγή 1.1 Πρόλογος Mέθοδοι εκτίμησης βάθους στην τρισδιάστατη ανακατασκευή Παθητική στερεοσκόπιση Δομή από κίνηση Ενεργή τριγωνοποίηση Χρόνος πτήσης Σχήμα από σκίαση και φωτομετρική στερεοσκόπιση Σχήμα από υφή και σχήμα από περίγραμμα Σχήμα από μη-εστίαση / αποεστίαση Σχήμα από σιλουέτα Υβριδικές τεχνικές Προκλήσεις Η στερεοσκοπική όραση Στερεοσκοπική όραση στον άνθρωπο Κεφάλαιο 2: Προβολική Γεωμετρία 2.1 Εισαγωγή Ομογενείς συντεταγμένες Το προβολικό επίπεδο Ο προβολικός τρισδιάστατος χώρος Διαστρωμάτωση της προβολικής γεωμετρίας Κεφάλαιο 3: Μοντελοποίηση της κάμερας 3.1 Το μοντέλο μικρής οπής Οι εσωγενείς και εξωγενείς παράμετροι της κάμερας Οι εσωγενείς (intrinsic) παράμετροι Οι εξωγενείς (extrinsic) παράμετροι Παρεκκλίσεις από το γραμμικό μοντέλο Κανονικοποίηση της εικόνας Κεφάλαιο 4: Εύρεση των παραμέτρων της κάμερας 4.1 Εισαγωγή Μέθοδοι εύρεσης των παραμέτρων της κάμερας Λύση κλειστής μορφής Σύνοψη Πειραματικά αποτελέσματα Μέθοδος Zhang Εφαρμογή του μοντέλου του Heikkilä

7 Κεφάλαιο 5: Εντοπισμός και αντιστοίχηση σημείων ενδιαφέροντος 5.1 Κατάτμηση εικόνας (image segmentation) Εντοπισμός γωνιών Ο Αλγόριθμος του Harris Ο Αλγόριθμος SURF Ο Αλγόριθμος FAST Εντοπισμός ακμών Μέθοδος Sobel Μέθοδος Canny Μέθοδος Prewitt Πρώτα συμπεράσματα Εντοπισμός ευθειών Ο μετασχηματισμός Hough Περίληψη Κεφάλαιο 6: Επιπολική Γεωμετρία 6.1 Εισαγωγή Ορισμός επιπολικού περιορισμού Ανάλυση επιπολικού περιορισμού Ο essential πίνακας και η θεμελιώδης μήτρα Ιδιότητες essential πίνακα Κεφάλαιο 7: Σθεναρές μέθοδοι εκτίμησης 7.1 Εισαγωγή - Ανεπάρκεια της μεθόδου ελαχίστων τετραγώνων Μ-εκτιμητές Μέθοδος RANSAC Αποτελέσματα αλγορίθμων Παρατηρήσεις Κεφάλαιο 8: Διόρθωση εικόνας 8.1 Μη-ιδανική στερεοσκοπική διάταξη Μη-βαθμονομημένη διόρθωση στερεοσκοπικής εικόνας Βήμα προς βήμα διόρθωση Κεφάλαιο 9: Τρισδιάστατη ανακατασκευή στερεοσκοπικού ζεύγους εικόνων 9.1 Εισαγωγή Βαθμονόμηση της κάμερας με το Camera Calibration Toolbox του Matlab Ανάκτηση του χάρτη βάθους Mέθοδοι ανάκτησης χάρτη βάθους Αποτελέσματα στερεοσκοπικής λήψης Σκηνή Σκηνή

8 9.4.3 Σκηνή Κεφάλαιο 10: Τρισδιάστατη ανακατασκευή βαθμωτής δομής από κίνηση και Multi-View-Stereo 10.1 Εισαγωγή Προληπτική αντιστοίχιση χαρακτηριστικών Βαθμωτή δομή από κίνηση (Ιncremental SfM) Πειραματικά αποτελέσματα αραιής αναπαράστασης από βίντεο Multi-View-Stereo (MVS) Ο αλγόριθμος ομαδοποίησης εικόνων Πειραματικά αποτελέσματα πυκνής αναπαράστασης από βίντεο Κεφάλαιο 11: Συμπεράσματα Βιβλιογραφία

9 Κεφάλαιο 1 Εισαγωγή 1.1 Πρόλογος Τρισδιάστατος κινηματογράφος, τρισδιάστατες τηλεοράσεις, τρισδιάστατα γραφικά σε υπολογιστές έως και σε κινητές συσκευές όπως τηλέφωνα ή φορητούς υπολογιστές. Μπορεί κανείς να πει πως η τεχνολογίες και εφαρμογές που βασίζονται στην αναπαράσταση σε τρεις διαστάσεις έχουν «ανθίσει» τα τελευταία χρόνια. Η ραγδαία και ασταμάτητη εξέλιξη των υπολογιστών στις ημέρες μας έχει ως αποτέλεσμα την ικανότητα αποθήκευσης και επεξεργασίας τεράστιων ποσοτήτων πληροφοριών και αυτά σε όλο και συντομότερο απαιτούμενο χρόνο. Αυτή η συνεχής πορεία και το ασταμάτητο ενδιαφέρον που προκύπτει, μας οδηγούν σε εντυπωσιακές ανακαλύψεις. Η τρισδιάστατη τεχνολογία δεν προσκοπεί μονάχα στην ψυχαγωγία μας αλλά παίζει έναν τόσο σημαντικό ρόλο σε επιστημονικό επίπεδο, που αρκετές φορές αποτελεί μέχρι ζήτημα επιβίωσης. Ο τομέας της ιατρικής (κυρίως η μικροχειρουργική), της ρομποτικής και της αυτοματοποίησης στις βιομηχανίες αποτελούν χαρακτηριστικά παραδείγματα συνεχούς βελτίωσης που βασίζονται σε τεχνολογίες τριών διαστάσεων. Αυτόνομα οχήματα εξερεύνησης χώρου στον αγροτικό και διαστημικό τομέα χρησιμοποιούνται όλο και περισσότερο, δίνοντας έμφαση στην αναπαράσταση του περιβάλλοντος χώρου στις τρεις διαστάσεις. Μια τέτοια οπτικοποίηση ή ακόμα καλύτερα ανακατασκευή ενός τέτοιου χώρου, θα αποτελέσει το κύριο αντικείμενο απασχόλησης στην εργασία αυτή. Η εξέλιξη αποτελεί αναπόσπαστο χαρακτηριστικό της ανθρώπινης φύσης. Έτσι, κατανοώντας πως πρέπει να εξελιχθεί και να βελτιστοποιηθεί αυτή η τεχνολογία, έχουν καταβληθεί πολλές προσπάθειες στην τρισδιάστατη ανακατασκευή χώρου. Οι διάφορες μέθοδοι που έχουν αναπτυχθεί εξαρτώνται κατά κύριο κανόνα από την προσέγγιση του συγκεκριμένου προβλήματος κάθε φορά και από τα τεχνολογικά μέσα που χρειάζεται να χρησιμοποιηθούν στην εκάστοτε περίπτωση. Μπορεί να βασίζεται σε ενεργές μεθόδους, όπου μια ειδική συσκευή όπως μια πηγή φωτός, πομπός υπερήχων ή ένα laser αποστέλλει μια δέσμη ενέργειας προς το αντικείμενο-στόχο και καταγράφοντας την επιστρεφόμενη δέσμη, επεξεργάζονται το σήμα. Στη συνέχεια με χρήση κατάλληλων αλγορίθμων εκτιμάται η απόσταση κάθε σημείου του αντικειμένου-στόχου. Επίσης μπορεί να βασίζεται σε παθητικές μεθόδους όπου γίνεται απλώς χρήση ενός μέσου καταγραφής όπως είναι η εικονοληψία από μια κάμερα. 9

10 1.2 Mέθοδοι εκτίμησης βάθους (range extraction) στην τρισδιάστατη ανακατασκευή Σχήμα 1.1 Οι ταξινόμηση των μεθόδων εξαγωγής πληροφοριών σε τρισδιάστατο σχήμα. Το ανθρώπινο σύστημα όρασης αποτελείται από μια σύνθετη δομή. Βοηθά τον άνθρωπο να προσανατολιστεί στο περιβάλλον του. Οι περισσότεροι άνθρωποι που μπορούν και βλέπουν είναι σε θέση να ξεχωρίζουν χρώματα, ιδιότητες αντικειμένων (σχήμα, μέγεθος), να υπολογίζουν αποστάσεις μεταξύ διάφορων αντικειμένων κοκ. Η ικανότητα αντίληψης του βάθους στην ουσία δεν αποτελεί χαρακτηριστικό του ματιού. Το μάτι είναι το μέσο καταγραφής. Ο εγκέφαλος από την άλλη, παίζει το ρόλο της αλγοριθμικής μηχανής καθώς επεξεργάζεται την πληροφορία με την οποία τροφοδοτείται από τα οπτικά νεύρα του κάθε ματιού. Λαμβάνει τις πληροφορίες από κάθε μάτι και τις ενώνει σε μία εικόνα, ερμηνεύοντας τις μικρές διαφορές μεταξύ κάθε άποψης (μία από κάθε μάτι) ως βάθος [1]. Αυτό παράγει μια τρισδιάστατη εικόνα η οποία έχει ύψος, μήκος και βάθος. Δηλαδή ο εγκέφαλός μας τροφοδοτείται από ένα στερεοσκοπικό ζεύγος καταγραφής εικόνας το οποίο είναι τα δύο μάτια στη συνήθη περίπτωση ενός διόφθαλμου ανθρώπου. Εκμεταλλεύοντας αυτόν το μηχανισμό, με συνδυασμό σύγχρονων τεχνολογικών δυνατοτήτων, έχουν αναπτυχθεί διάφορες μέθοδοι για τον προσδιορισμό του βάθους σε μια εικόνα. Συνοψίζονται στο σχήμα 1.1 και παρουσιάζονται στις επόμενες παραγράφους Παθητική στερεοσκόπιση (passive stereo) Ας υποθέσουμε ότι έχουμε δύο εικόνες οι οποίες λαμβάνονται ταυτόχρονα από δύο ξεχωριστές απόψεις. Μία τέτοια διάταξη αναφέρεται ως στερεοσκοπική. Η βασική ιδέα 10

11 πίσω από τρισδιάστατη στερεοσκοπική ανακατασκευή είναι απλή: με δεδομένες τις δύο προβολές του ίδιου σημείου της πραγματικής σκηνής πάνω στις δύο εικόνες, η τρισδιάστατη θέση του βρίσκεται ως το σημείο τομής των δύο ακτινών προβολής. Επαναλαμβάνοντας μια τέτοια διαδικασία για αρκετά σημεία, αποδίδει το 3D-σχήμα και τη διαμόρφωση των αντικειμένων. Σημειώνουμε ότι αυτή η ανακατασκευή ονομάζεται τριγωνοποίηση (triangulation) και απαιτεί πλήρη γνώση των καμερών: τις (σχετικές) θέσεις τους και κατευθύνσεις αλλά και ρυθμίσεις όπως το εστιακό μήκος (focal length) [23]. Ο καθορισμός αυτών των παραμέτρων ονομάζεται βαθμονόμηση της κάμερας. Περισσότερα, σχετικά με τις παραμέτρους της κάμερας, στο κεφάλαιο 3. Το δυσκολότερο και πιο χρονοβόρο ζήτημα στη στερεοσκοπική ανακατασκευή είναι αναμφίβολα η αντιστοίχιση των σημείων της μιας εικόνας στο αντίστοιχο της άλλης. Συχνά λύνεται σε δύο στάδια. Πρώτα αναζητούνται οι αντιστοιχίες για εκείνα τα σημεία για τα οποία κρίνονται εύκολες. Ύστερα γίνεται η αναζήτηση για τα πιο περίπλοκα σημεία όπου τα αντίστοιχά τους στην άλλη εικόνα προσδιορίζονταi δυσκολότερα. Βέβαια, ειδικά κατά τη διάρκεια των τελευταίων ετών (αλλά και νωρίτερα), έχουν αναπτυχθεί διάφοροι αλγόριθμοι των οποίων τις παραμέτρους μπορεί να αλλάξει κανείς εύκολα σε ένα περιβάλλον όπως το Matlab της MathWorks. Αυτό γίνεται ώστε να αλλάζει η ευαισθησία ή η ακρίβεια αναζήτησης κατά την επεξεργασία δεδομένων μιας ψηφιακής εικόνας Δομή από κίνηση (structure from motion) Στην παθητική στερεοσκοπική τεχνική χρησιμοποιούνται συνήθως δύο συγχρονισμένες κάμερες. Αν η σκηνή είναι στατική οι δύο εικόνες θα μπορούσαν να ληφθούν από την ίδια κάμερα ανατοποθετώντας την από μια πρώτη θέση σε μία δεύτερη καταγράφοντας έτσι μια ακολουθία εικόνων. Είναι αυτονόητο ότι εφαρμόζοντας μια τέτοια τεχνική, θα μπορούσε κανείς να "πάρει" περισσότερες από δύο εικόνες καθώς μετακινείται η κάμερα. Οι αντιστοιχίες των σημείων από τη μία εικόνα στην άλλη (point correspondences) καθίστανται πολύ ευκολότερες αν τα χρονικά διαστήματα μεταξύ των λήψεων είναι πολύ μικρά. Επίσης, έχοντας έτσι περισσότερες προβολές, λαμβάνεται ένα πιο πλήρες μοντέλο της σκηνής. Επιπλέον μείζονος σημασίας είναι και το γεγονός ότι όταν είναι διαθέσιμες πολλαπλές λήψεις μιας στατικής σκηνής, τότε δεν χρειάζεται πλέον η εκ των προτέρων βαθμονόμηση της κάμερας. Μπορεί να χρησιμοποιηθεί μια διαδικασία αυτοβαθμονόμησης αντί αυτού. Αυτό-βαθμονόμηση σημαίνει ότι οι εσωγενείς και εξωγενείς παράμετροι (κοίτα κεφ. 3) της κάμερας εξάγονται απευθείας από τις εικόνες Ενεργή τριγωνοποίηση (active triangulation) Η εύρεση σημείων αντιστοίχισης μπορεί να διευκολυνθεί με την αντικατάσταση μιας από της κάμερες, σε μια στερεοσκοπική διάταξη, από μία συσκευή προβολής. Ως εκ τούτου, μπορούμε να συνδυάσουμε μια πηγή φωτισμού με μια κάμερα. Για παράδειγμα δύναται κανείς να προσδιορίσει μια κηλίδα επί μιας επιφάνειας ενός αντικειμένου με ένα laser. Το σημείο αυτό ανιχνεύεται από την κάμερα σχετικά εύκολα. 11

12 Γνωρίζοντας τη θέση και τον προσανατολισμό της ακτίνας λέιζερ και της ακτίνας προβολής της κάμερας, το τρισδιάστατο σημείο προσδιορίζεται ως το σημείο τομής τους. Σε αυτήν την περίπτωση η δέσμη laser θα πρέπει να κατευθύνεται σε διαφορετικά σημεία της επιφάνειας κάθε φορά που λαμβάνεται μια εικόνα [23]. Με αυτόν τον τρόπο οι τρισδιάστατες συντεταγμένες του κάθε σημείου εξάγονται για ένα σημείο κάθε φορά. Η υλοποίηση και εκτέλεση αυτής της διαδικασίας σάρωσης απαιτεί ποιοτικές και ταυτόχρονα ακριβές μηχανικές συσκευές (π.χ. καθοδήγηση περιστρεφόμενων καθρεπτών που αντανακλούν την ακτίνα λέιζερ σε ελεγχόμενες κατευθύνσεις). Επίσης οι ακτίνες θα πρέπει να είναι γνωστές με μεγάλη ακρίβεια καθώς σε διαφορετική περίπτωση υπεισέρχονται ανακρίβειες στις υπολογιζόμενες συντεταγμένες. Ένα τελευταίο πρόβλημα είναι ότι τέτοιες διατάξεις επιδιώκονται να "τρέχουν" γρήγορα κάνοντας υπολογισμούς και εξάγοντας τα αποτελέσματα σε ελάχιστο χρονικό διάστημα κάθε φορά. Συνήθως μπορούν να περάσουν αρκετά δευτερόλεπτα ή και λεπτά ώστε να ληφθεί μια εικόνα για μια προβολή laser. Πλέον υπάρχουν βέβαια απεικονιστές μεγάλης ταχύτητας, σημαίνουν όμως και υψηλό κόστος. Προκειμένου να αντιμετωπιστούν τέτοιου είδους προβλήματα έχει γίνει σημαντική έρευνα για αντικαταστατικές διατάξεις. Μία τέτοια είναι ότι μια ακτίνα λέιζερ μετατρέπεται σε ένα επίπεδο, π.χ. βάζοντας ένα κυλινδρικό φακό μπροστά από τη δέσμη. Αντί μιας προβαλλόμενης κηλίδας πάνω σε μια επιφάνεια, η τομή του προκύπτον επιπέδου με την επιφάνεια θα σχηματίσει μια καμπύλη. Επίσης κάποιος μπορεί να σχεδιάσει πρότυπα που προσδιορίζονται για την προβολή τους πάνω σε ένα αντικείμενο-στόχο. Τέτοια μπορεί να περιέχουν τοπικούς χωροταξικούς κώδικες ώστε να γίνει η ταυτοποίηση των στοιχείων του πρότυπου προβολής. Ένα παράδειγμα φαίνεται στο σχήμα 1.2. Το σχήμα απεικονίζει ένα πρόσωπο πάνω στο οποίο προβάλλεται ένα και μοναδικό πρότυπο, το οποίο μοιάζει με μια σκακιέρα. Το στιλ του είναι τέτοιο ώστε κάθε του στήλη να αποτελείται από ένα χαρακτηριστικό μοτίβο. Περιέχει συνδυασμούς από μικρά μαύρα ή λευκά τετράγωνα. Η χρήση αυτού του προτύπου απαιτεί μόνο την απόκτηση μιας μοναδικής εικόνας. Σχήμα 1.2 Παράδειγμα μιας ενεργούς τεχνικής βάθους. Αριστερά: Το πρότυπο προβολής. Δεξιά: Το προβαλλόμενο πρότυπο πάνω σε ένα πρόσωπο. (Moons, Vergauwen, Van Gool: "3D reconstruction from multiple images" [23]) 12

13 Τέτοιου είδους τεχνικές, με ειδικά σχεδιασμένα μοτίβα ως πρότυπα, αναφέρονται ως τεχνικές δομής φωτός (structured light techniques) Χρόνος πτήσης (time of flight) Η βασική αρχή λειτουργίας των time-of-flight-αισθητήρων είναι η μέτρηση του χρόνου ενός διαμορφωμένου σήματος (συνήθως ενός φωτός λέιζερ) που χρειάζεται να ταξιδέψει πριν επιστρέψει στον αισθητήρα. Κατανοεί κανείς ότι είναι ανάλογος με την απόσταση από το αντικείμενο. Αποτελεί μία ενεργή προσέγγιση. Ανάλογα με τον χρησιμοποιούμενο τύπο κυμάτων οι συσκευές ονομάζονται radars (ηλεκτρομαγνητικά κύματα χαμηλής συχνότητας), sonars (ηχητικά κύματα) ή optical radars (οπτικά κύματα) Σχήμα από σκίαση και φωτομετρική στερεοσκόπιση (shape from shading and photometric stereo) Με τις τεχνικές σχήματος από σκίαση χειριζόμαστε συνήθως λείες και άμορφες επιφάνειες. Χωρίς τη χρήση δομής από φως ή time of flight οι αναφερόμενες μέθοδοι υλοποιούνται δύσκολα ή και καθόλου. Παθητικές μέθοδοι, όπως η στερεοσκοπική, δυσκολεύονται στην εξαγωγή αναγκαίων αντιστοιχιών. Ωστόσο ο άνθρωπος μπορεί να εκτιμήσει ένα συνολικό σχήμα αρκετά καλά, ακόμη και από μία μόνο εικόνα κάτω από ελεγχόμενες συνθήκες φωτεινότητας. Σήμερα δύσκολα βρίσκεται αλγόριθμος που μπορεί να επιτύχει ικανοποιητική απόδοση σε υπολογιστή. Συνήθως γίνονται αρκετές απλοποιήσεις των συνθηκών, ώστε να υπάρξει μια έστω μέτρια απολαβή. Η αναγκαιότητα συνδυασμού πληροφοριών από διάφορα μέσα μπορεί να αποφευχθεί με τη χρήση πηγών φωτός με διαφορετικές θέσεις. Ενεργοποιούνται μία μετά την άλλη. Οι πιο πρόσφατες παρατηρούμενες εντάσεις πάνω στα τμήματα μιας επιφάνειας αποδίδουν έναν μοναδικό δυνατό προσανατολισμό. Βεβαίως, οι παραδοχές, εξακολουθούν να διευκολύνουν τέτοιου είδους προσεγγίσεις, καθώς εισάγονται και σφάλματα όπως ο θόρυβος κατά των μετρήσεων. Για μια Lambertian επιφάνεια αρκούν τρεις διαφορετικές κατευθύνσεις φωτισμού για να εξαλειφθούν αβεβαιότητες σχετικά με την κανονική κατεύθυνση. Οι τρεις κώνοι τέμνονται σε μια μοναδική ευθεία η οποία αποτελεί το επιδιωκόμενο κανονικό τμήμα [23]. Μια τέτοιου είδους photometric-stereo-τεχνική είναι πιο ευσταθής από μια αντίστοιχη σχήματος από σκίαση. Πρέπει να τονιστεί όμως πως απαιτεί και ένα ειδικότερο εξοπλισμό Σχήμα από υφή και σχήμα από περίγραμμα (shape from structure and shape from contour) Η μέθοδος σχήματος από υφή υποθέτει ότι μια επιφάνεια καλύπτεται από μια ομοιογενή υφή, δηλαδή μία επιφάνεια προτύπου με στατιστική ή γεωμετρική κανονικότητα. Οι τοπικές ανομοιογένειες της απεικονιζόμενης υφής (π.χ. ανισοτροπία στη στατιστική του 13

14 προσανατολισμού των άκρων για μια ισοτροπική υφή ή αποκλίσεις από υποτιθέμενη περιοδικότητα) θεωρούνται ως αποτέλεσμα της προβολής. Στο σχήμα από περίγραμμα γίνονται παρόμοιες υποθέσεις σχετικά με το πραγματικό σχήμα (συνήθως επίπεδο) των αντικειμένων. Παρατηρώντας μια έλλειψη, η υπόθεση που μπορεί να γίνει είναι ότι παρατηρείται ένας κύκλος και η λοξότητα και οι γωνίες κλίσης μπορούν να προσδιοριστούν Σχήμα από μη-εστίαση / αποεστίαση (shape from non-focus / defocus) Οι κάμερες έχουν περιορισμένο βάθος πεδίου (depth of field). Μόνο τα σημεία σε μια συγκεκριμένη απόσταση απεικονίζονται με μια εστιασμένη προβολή στο επίπεδο της εικόνας. Συχνά μια ανακρίβεια ή παρενόχληση μπορεί να αξιοποιηθεί διότι δίνει και αυτή μια πολύτιμη πληροφορία σχετικά με την απόσταση από το φακό του καταγραφικού μέσου. Το επίπεδο αποεστίασης έχει ήδη χρησιμοποιηθεί για τη δημιουργία χαρτών βάθους. Καθώς τα σημεία μπορεί να είναι θολά, επειδή βρίσκονται πιο κοντά ή πιο μακριά από τη φωτογραφική μηχανή απ' ότι στη θέση εστίασης, η μέθοδος αυτή συνδυάζει συνήθως περισσότερες από μια εικόνες που λαμβάνονται από την ίδια θέση, αλλά με ξεχωριστά εστιακά μήκη κάθε φορά Σχήμα από σιλουέτα (shape from silhouette) Πρόκειται για μια παθητική προσέγγιση. Έστω ένα αντικείμενο πάνω σε ένα περιστρεφόμενο τραπέζι. Σε τακτά χρονικά διαστήματα περιστροφής θα λαμβάνεται μια εικόνα. Σε καθεμιά εικόνα θα προσδιορίζεται το περίγραμμα του αντικειμένου. Συνήθως χρησιμοποιείται ένα απλό φόντο, όπως ένα ομοιογενές μπλε ή πράσινο ύφασμα, ώστε να διευκολύνεται η διαδικασία αναγνώρισης του περιγράμματος. Η σιλουέτα σχηματίζει έναν κώνο ακτινών προβολής και αυτό συμβαίνει για κάθε προσανατολισμό της κάμερας. Η διασταύρωση αυτών με το φόντο αποδίδει ένα προσεγγιστικό σχήμα. Ιδιαίτερη βαρύτητα δίνεται στην εξαγωγή του περιγράμματος με μεγάλη ακρίβεια. Τέλος, πρόκειται για μια ιδιαίτερα οικονομική μέθοδο από άποψη εξοπλισμού. Για τον περιορισμό χρόνου τις περισσότερες φορές τοποθετούνται περισσότερες κάμερες γύρω από το αντικείμενο και πολλές εικόνες λαμβάνονται ταυτόχρονα, με αποτέλεσμα την αύξηση της πολυπλοκότητας και του οικονομικού κόστους Υβριδικές τεχνικές (hybrid techniques) Οι προαναφερόμενες μέθοδοι έχουν δυνατά και αδύναμα σημεία. Για το λόγο αυτό σε πολλές περιπτώσεις κρίνεται χρήσιμο να εκμεταλλευτούν συνδυασμοί πολλαπλών τεχνικών. 14

15 Ένα παράδειγμα αποτελεί ο συνδυασμός του σχήματος από σιλουέτα με στερεοσκόπιση. Οι δύο αυτές τεχνικές είναι παθητικές και χρησιμοποιούν περισσότερες από μία κάμερες. Το οπτικό κέλυφος που παράγεται από τις σιλουέτες παρέχει ένα εύρος βάθους (depth range) πάνω στο οποίο η στερεοσκοπική μέθοδος δύναται να βελτιώσει την προσέγγιση των επιφανειών μεταξύ των άκμων. Επίσης και άλλες μέθοδοι, όπως εκείνη του δομημένου φωτός, συνδυάζονται με τη στερεοσκοπική μέθοδο για να ληφθούν ακριβέστερα αποτελέσματα. Δυστυχώς δεν υπάρχει ένα ενιαίο σύστημα απόκτησης τρισδιάστατων δεδομένων το οποίο να μπορεί να χειριστεί όλα τα είδη αντικειμένων ή επιφανειών. Διάφανες ή γυαλιστερές επιφάνειες (π.χ. γυαλί, μέταλλα), λεπτές και μικρές δομές όπως τρίχες ή καλώδια καθώς και επαναλαμβανόμενες (π.χ. πλακάκια στο πάτωμα) προκαλούν προβλήματα, ανάλογα με το σύστημα που χρησιμοποιείται. Στην επόμενη ενότητα θα παρουσιάσουμε περαιτέρω τις προκλήσεις απέναντι στις οποίες καλούνται να σταθούν οι σύγχρονοι ερευνητές και προγραμματιστές. 1.3 Προκλήσεις Όπως είδαμε στις προηγούμενες παραγράφους, υπάρχουν ποικίλες τεχνικές για τη δημιουργία τρισδιάστατων μοντέλων. Εξαρτώνται, βέβαια, κάθε φορά από τη γεωμετρία και τα χαρακτηριστικά υλικού του εκάστοτε αντικειμένου ή της κάθε σκηνής. Σε κάποιες περιπτώσεις "ταιριάζει" καλύτερα η μία, σε κάποιες άλλες μια διαφορετική τεχνική. Ένας τομέας ο οποίος έχει ανθίσει τα τελευταία έτη είναι ο λεγόμενος τομέας του city modeling - η μοντελοποίηση μιας πόλης. Αποτελεί ακραίους όρους από συνθήκες υπό τις οποίες πρέπει να συγκεντρωθούν δεδομένα, στα οποία οι πόλεις αντιπροσωπεύονται από απολύτως ανεξέλεγκτα και μεγάλης κλίμακας περιβάλλοντα. Σε τέτοιες και σε παρόμοιες περιπτώσεις παραμένουν πολλά προβλήματα προς επίλυση. Ας προσπαθήσουμε να συγκεντρώσουμε τα κυριότερα από αυτά, που αποτελούν ταυτόχρονα και τα μεγαλύτερα εμπόδια στις περισσότερες εφαρμογές: Πολλά αντικείμενα έχουν πολύπλοκα σχήματα. Η σάρωση αυτών απαιτεί μεγάλη ακρίβεια συνδυασμένη με ευέλικτες συσκευές σάρωσης που καθιστούν δυνατή τη σύλληψη στενών προεξοχών και κοιλοτήτων ή λεπτών τομών. Εκτός από τo 3D-σχήμα, τα χαρακτηριστικά του υλικού των αντικειμένων αποτελούν αναπόσπαστο στοιχείο που πρέπει να συμπεριλαμβάνεται στις περισσότερες περιπτώσεις. Αυτά ποικίλουν από μεταλλικά, υφασμάτινα ή πέτρινα χαρακτηριστικά έως ξύλινα ή κεραμικά. Υπάρχουν μικροσκοπικά αντικείμενα έως ολόκληρες περιοχές όπως γεωγραφικές εκτάσεις ή ολόκληρες πόλεις που σαρώνονται. Ιδανικά θα θέλαμε όλο αυτό το φάσμα μεγεθών να συλλαμβάνεται με την ίδια τεχνική. Κάτι τέτοιο μέχρι σήμερα δεν υφίσταται. Πολλές φορές τα αντικείμενα είναι πολύτιμα ή εύθραυστα και η διαδικασία σάρωσης θα πρέπει να γίνει "hands off". Η συσκευή ή συσκευές θα πρέπει να κινηθούν γύρω από το αντικείμενο, χωρίς να το αγγίξουν. 15

16 Σε αρκετές περιπτώσεις πρέπει να συγκεντρώνονται τεράστιες μάζες δεδομένων. Θα πρέπει να συλλαμβάνονται αποτελεσματικά και αξιόπιστα κάθε φορά. Απαιτείται τεχνική κατάρτιση για εκείνους που αναλαμβάνουν την ψηφιοποίηση. Εκτός από τη βιομηχανία, υπάρχουν και εφαρμογές σε πολλούς άλλους τομείς και καθίσταται αναγκαίο ένα καταρτισμένο προσωπικό. Πολλές εφαρμογές απαιτούν ύψιστες ακρίβειες που σημαίνει συνάμα υψηλής και τελευταίας τεχνολογίας συσκευές. Αυτό έχει ως αποτέλεσμα μεγάλο οικονομικό κόστος, πράγμα που πρέπει σε πάρα πολλές περιπτώσεις να περιοριστεί στο ελάχιστο. Παρ' όλα αυτά καταβάλλονται προσπάθειες βελτίωσης σε καθημερινή βάση σε όλους τους τομείς. Φυσικό επακόλουθο αυτού είναι να εξελίσσονται συνεχώς οι υπάρχουσες τεχνικές ή και να εφευρεθούν νέες. Έτσι οι προκλήσεις δεν βρίσκουν τέλος, καθώς λύνοντας το ένα πρόβλημα προκύπτει αμέσως το επόμενο. Το γεγονός αυτό είναι που μας κάνει αισιόδοξους για τέτοιες εφαρμογές και που τις καθιστά αναπόσπαστο κομμάτι των σύγχρονων τεχνολογιών στην υπολογιστική όραση Η στερεοσκοπική όραση Ως στερεοσκοπική όραση εννοούμε τη διαδικασία ανάκτησης βάθους μιας σκηνής από τις εικόνες μιας κάμερας. Αυτό πετυχαίνεται με τη σύγκριση δύο ή περισσότερων προβολών της ίδιας σκηνής. Η απλή, διοπτρική στερεοσκόπιση χρησιμοποιεί μονάχα δύο εικόνες, που λαμβάνονται συνήθως από παράλληλα τοποθετημένες κάμερες. Αυτές διαχωρίζονται μεταξύ τους με τέτοιον τρόπο ώστε η διάταξή τους να μοιάζει με την ανθρώπινη αντίληψη (το ένα μάτι πλάι στο άλλο), δηλαδή με μια οριζόντια απόσταση μεταξύ τους γνωστή ως «βασική ευθεία» (baseline). Η απόδοση αυτού του στερεοσκοπικού υπολογισμού είναι ένας χάρτης ανισότητας (disparity map). Αποτελεί συνώνυμο μιας εικόνας εύρους η οποία μας λέει σε ποια απόσταση βρίσκεται κάθε σημείο της εικόνας από τον φακό της κάμερας Στερεοσκοπική όραση στον άνθρωπο Στους ανθρώπους και στα ζώα, με στερεοσκοπική όραση, τα μάτια είναι τοποθετημένα το ένα δίπλα στο άλλο με μια μικρή διαφορά απόστασης μεταξύ τους. Κατά μέσο όρο, στον άνθρωπο, η απόσταση αυτή είναι 65mm. Αυτό οδηγεί σε μια σύλληψη, ελαφρώς διαφορετικής εικόνας του κάθε ματιού χωριστά. Η διαφορά αυτή είναι γνωστή ως διοπτρική ανισότητα (binocular disparity). Ο εγκέφαλος επεξεργάζεται αυτές τις δύο εικόνες με τέτοιον τρόπο που μας επιτρέπει να δούμε λίγο γύρω από στερεά αντικείμενα χωρίς να χρειάζεται να μετακινηθεί το κεφάλι μας. Αυτό επιτυγχάνεται κατ 'ουσία με αντιστοίχιση των ομοιοτήτων μεταξύ των δύο εικόνων και στη συνέχεια των διαφορών στην αντίληψή μας για μια σκηνή (Σχήμα 1.3). Οι διαφορές αυτές είναι συνήθως μικρές αλλά μείζονος σημασίας καθώς επηρεάζουν το αποτέλεσμα, που στην περίπτωση αυτή είναι η δημιουργία της τρισδιάστατης εικόνας. 16

17 Σχήμα 1.3 Τροφοδότηση του ανθρώπινου εγκεφάλου με πληροφορίες μέσω των οπτικών νεύρων. Oliver Sack - The Mind s Eye 17

18 Κεφάλαιο 2 Προβολική Γεωμετρία 2.1 Εισαγωγή Στο κεφάλαιο αυτό θα αναπτυχθούν μερικά βασικά στοιχεία που αφορούν την προβολική γεωμετρία. Κρίνονται απαραίτητα για την κατανόηση των ακόλουθων κεφαλαίων. Στα μαθηματικά, προβολική γεωμετρία είναι η μελέτη των γεωμετρικών ιδιοτήτων που είναι αμετάβλητες κάτω από προβολικούς μετασχηματισμούς. Αυτό σημαίνει ότι σε σύγκριση με τη στοιχειώδη γεωμετρία, η προβολική γεωμετρία έχει μια διαφορετική ιδιαιτερότητα: τον Προβολικό Χώρο και ένα επιλεκτικό σετ βασικών γεωμετρικών σχεδίων. Η βασική ιδέα είναι ότι ο Προβολικός Χώρος έχει περισσότερα σημεία απ ότι ο Ευκλείδειος Χώρος σε μια συγκεκριμένη διάσταση και ότι οι γεωμετρικοί μετασχηματισμοί επιτρέπεται να μετακινήσουν τα επιπλέον σημεία ("points at infinity") σε βασικά σημεία και το αντίστροφο. Η προβολική γεωμετρία είναι λιγότερο περιοριστική από την ευκλείδεια. Είναι εγγενώς μημετρική και τα δεδομένα της είναι ανεξάρτητα από οποιαδήποτε μετρική δομή. Από μαθηματικής άποψης, λόγω της γενικότητας και της απλότητάς της δεν είμαστε αναγκασμένοι να ασχολούμαστε σε πολλές περιπτώσεις με εξαιρέσεις και οριακές καταστάσεις όπως θα κάναμε στην περίπτωση της ευκλείδειας γεωμετρίας. Αν θεωρήσουμε τον Ευκλείδειο Χώρο ως έναν υπόχωρο του Προβολικού και κάνουμε χρήση των θεωρημάτων της προβολικής γεωμετρίας, προκύπτουν γραμμικά συστήματα εξισώσεων. Έτσι μας δημιουργείται η ευκαιρία να εκμεταλλευτούμε διάφορες, πολύ ικανές, μεθόδους της γραμμικής άλγεβρας. Το τελευταίο δεν ισχύει στην περίπτωση της ευκλείδειας γεωμετρίας για την περιγραφή ενός 3D-χώρου, διότι θα δημιουργούνταν μηγραμμικές εξισώσεις πράγμα που προσπαθούμε να αποφύγουμε στην περίπτωσή μας. Η φωτογραφική μηχανή (κάμερα), την οποία θα χρησιμοποιήσουμε για την απεικόνιση της δομής του χώρου, εκτελεί ουσιαστικά έναν προβολικό μετασχηματισμό. Αυτός ο μετασχηματισμός είναι η προοπτική προβολή (perspective projection ή perspectivity) από τον τρισδιάστατο στον δισδιάστατο προβολικό χώρο. Επομένως η προβολική γεωμετρία είναι το φυσικό πλαίσιο μέσα στο οποίο μπορούμε να μοντελοποιήσουμε τη λειτουργία της κάμερας και να αναπτύξουμε την έννοια της τρισδιάστατης όρασης. 2.2 Ομογενείς συντεταγμένες n Ένα σημείο του n-διάστατου προβολικού χώρου P, περιγράφεται από ένα διάνυσμα n+1 συντεταγμένων x = [x 1, x 2,..., x n+1 ], όπου τουλάχιστον ένα από τα x i είναι διάφορο του μηδενός. Οι αριθμοί αυτοί ονομάζονται ομογενείς συντεταγμένες του σημείου, και έχουν 18

19 την εξής βασική ιδιότητα: δύο σημεία x = [x 1, x 2,..., x n+1 ] και y = [y 1, y 2,..., y n+1 ] ταυτίζονται, αν και μόνο αν υπάρχει μη μηδενική σταθερά λ, ώστε να ισχύει η σχέση x i =λy i για κάθε i=1,2,...,n+1. Άρα η αντιστοίχιση σημείων με διανύσματα συντεταγμένων δεν γίνεται ένα προς ένα, καθώς άπειρα διανύσματα συντεταγμένων περιγράφουν το κάθε σημείο. Αυτά τα διανύσματα διαφέρουν μεταξύ τους κατά μια πολλαπλασιαστική σταθερά. Έστω τώρα ότι έχουμε έναν προβολικό χώρο n-διαστάσεων. Απαιτούμε κάθε σημείο να αναλύεται με μοναδικό τρόπο σε γραμμικό συνδυασμό των διανυσμάτων της βάσης του χώρου. Όπως είπαμε νωρίτερα, κάθε σημείο-διάνυσμα έχει άπειρες αναπαραστάσεις. Σε αυτά συμπεριλαμβάνονται και τα σημεία που ορίζουν την προβολική βάση. Εμείς στοχεύουμε στη ανάλυση του κάθε διανύσματος με μοναδικό τρόπο. Η βάση του προβολικού χώρου n διαστάσεων αποτελείται από n+2 διανύσματα, έτσι ώστε μεταξύ τους να μην υπάρχει κανένας συνδυασμός n+1 γραμμικά εξαρτημένων διανυσμάτων. Αναζητείται λοιπόν λύση στο πρόβλημα της μοναδικότητας της αναπαράστασης κάθε διανύσματος βάσης. Την απάντηση δίνει η χρήση ενός επιπλέον διανύσματος που θα καθορίσει τις συντεταγμένες των άλλων διανυσμάτων ενώ απαιτούμε να ισχύει η σχέση x x... x x. 1 2 n1 n2 2.3 Το προβολικό επίπεδο Μια βασική αρχή της προβολικής γεωμετρίας που είναι εναντιωματική της ευκλείδειας, είναι ότι οποιεσδήποτε ευθείες του προβολικού επιπέδου (άρα και παράλληλες μεταξύ τους) τέμνονται σε ένα σημείο. Μια περαιτέρω ανάλυση της παραπάνω πρότασης θα γίνει προσεχώς καθώς παρατηρούμε το σχήμα Στο σχήμα βλέπουμε ότι καθώς οι κόκκινες (παράλληλες μεταξύ τους) ευθείες προεκτείνονται όλο και περισσότερο προς το άπειρο, κάπου θα τεμθούν. Αυτό το «κάπου», για να γινόμαστε συγκεκριμένοι, είναι το άπειρο. Κατανοούμε ότι υπάρχουν άπειρα ζεύγη παράλληλων τέτοιων ευθειών όπως είναι και οι πράσινες. Άρα τα και τα σημεία τομής στο άπειρο (τα λεγόμενα points at infinity) πληθαίνουν κι αυτά με τη σειρά τους. Επακόλουθο του παραπάνω σκεπτικού είναι η δημιουργία μιας ευθείας πάνω στην οποία βρίσκονται όλα αυτά τα infinity points. Η ευθεία αυτή ονομάζεται ευθεία στο άπειρο (line at infinity). 19

20 Σχήμα Line at infinity. Δημιουργείται από τα άπειρα σε πλήθος σημεία στο άπειρο. Πάμε τώρα να κατανοήσουμε πως συσχετίζεται το προβολικό με το ευκλείδειο επίπεδο καθώς και την έννοια της δυικότητας. Έστω ένα σημείο στο προβολικό επίπεδο. Αυτό θα περιγράφεται από ένα διάνυσμα [x, y, z], όπου τουλάχιστον μία από τις συντεταγμένες θα είναι διάφορη του μηδενός. Όλα τα σημεία για τα οποία ισχύει z 0 ανήκουν όχι μονάχα στο προβολικό αλλά και στο ευκλείδειο επίπεδο. Για z=0 προκύπτει ένα δισδιάστατο [x,y] επίπεδο που αποτελείται από ευθείες οι οποίες δεν τέμνουν το καρτεσιανό επίπεδο (βλέπε σχήμα 2.3.2). Μπορεί κανείς να υπολογίσει της ευκλείδειες συντεταγμένες μέσα από τις συντεταγμένες [x, y, z] του σχήματος Η ευθεία που διέρχεται από το σημείο με συντεταγμένες [x, y, z] θα συναντήσει το πάνω επίπεδο (z=1) σε κάποιο σημείο. Πως θα βρεθεί όμως το τελευταίο αυτό σημείο του επιπέδου z=1; Καθώς μας παρέχεται η δυνατότητα μετατροπής (βλέπε παράγραφο 2.2, πολλαπλασιαστής λ) και γνωρίζουμε με σιγουριά ότι z=1 θα επιδιώξουμε να έχουμε συντεταγμένες της μορφής [x, y, 1]. Άρα λοιπόν πολλαπλασιάζουμε με 1/z: 1 x y z x y [ x, y, z] [,, ] [,, 1] z z z z z z Έτσι λοιπόν οι συντεταγμένες ενός ζεύγους [X,Y] στον ευκλείδειο χώρο θα ισούνται με X x z και Y y, ενώ υποθέτουμε ότι z 0. Με αυτόν τον τρόπο μπορούμε να περάσουμε z από ομογενείς τρισδιάστατες συντεταγμένες σε συνήθεις καρτεσιανές δισδιάστατες συντεταγμένες. 20

21 Σχήμα Δύο παράλληλα επίπεδα (z=0 και z=1) στις τρεις διαστάσεις. Οι περισσότερες ευθείες που διέρχονται από την αρχή των αξόνων τέμνουν το μπλε επίπεδο. Μονάχα οι οριζόντιες ευθείες (οι κόκκινες), οι οποίες αποτελούν το κόκκινο επίπεδο, δεν το τέμνουν. Αφού η προβολική γεωμετρία υποθέτει πως οποιαδήποτε οικογένεια παράλληλων μεταξύ τους ευθειών τέμνονται σε ένα σημείο και γνωρίζοντας πως το ίδιο συμβαίνει και για τις υπόλοιπες ευθείες, λέμε ότι: Οποιεσδήποτε δύο ευθείες τέμνονται σε ένα σημείο Οποιαδήποτε δύο σημεία εντάσσονται σε μια ευθεία Οι προηγούμενες προτάσεις αποτελούν την αρχή της δεινότητας ή αλλιώς quality of points and lines. Στο σημείο αυτό αξίζει να σημειωθεί η σημασία του προβολικού επιπέδου, καθώς με την προβολική γεωμετρία μπορεί και μοντελοποιείται η διαδικασία της δημιουργίας μιας εικόνας από μια κάμερα. Περισσότερα πάνω σ'αυτό θα πούμε στο επόμενο κεφάλαιο όπου θα ασχοληθούμε με τη μοντελοποίηση της φωτογραφικής μηχανής. Ένας μετασχηματισμός συντεταγμένων στο προβολικό επίπεδο περιγράφεται από τη σχέση m Tm όπου Τ είναι ένας αντιστρέψιμος 3 3 πίνακας, ο οποίος είναι ορισμένος ως προς μια πολλαπλασιαστική σταθερά. Συμπερασματικά όλοι οι πίνακες ct, με τη σταθερά c 0, ουσιαστικά περιγράφουν τον ίδιο μετασχηματισμό. Λέμε λοιπόν πως ο πίνακας Τ περιέχει 8 ανεξάρτητες μεταβλητές. Αν τώρα έχουμε τη δυνατότητα να εξάγουμε δύο περιορισμούς από κάθε δυάδα σημείων ( m και m ), απαιτούνται 4 αντιστοιχίες σημείων για να οριστεί ένας μετασχηματισμός. 21

22 Μια κωνική τομή ορίζεται ως ο γεωμετρικός τόπος των σημείων εκείνων τα οποία σχηματίζουν ευθείες με σταθερό αναρμονικό λόγο ως προς 4 σταθερά σημεία, τα οποία δεν είναι ανά 3 συνευθειακά. Εδώ τίθεται για πρώτη φορά το ερώτημα για το τι είναι αυτός ο αναρμονικός λόγος ή αλλιώς cross ratio. Είναι μια αναλλοίωτη ποσότητα σε κάθε προβολικό χώρο και ορίζεται πάνω σε 4 συνευθειακά σημεία. Την έννοια «αναλλοίωτη» κατανοούμε καλύτερα εξηγώντας ότι το cross ratio διατηρείται, όταν τα τέσσερα σημεία που το ορίζουν υποβληθούν σε κάποιον τυχαίο προβολικό μετασχηματισμό. Υποθέτοντας τώρα 4 τέτοια σημεία, έστω m1, m2, m3, m 4, ο αναρμονικός λόγος ορίζεται ως: Cr( m, m, m, m ) D 13 D D23 D14D23 D 24 D D όπου D ij είναι η ευκλείδεια απόσταση των σημείων m, m. Σύμφωνα με την αρχή της δυικότητας (βλέπε παραπάνω), ο αναρμονικός λόγος επεκτείνεται και μπορεί να χαρακτηρίσει μια δέσμη τεσσάρων ευθειών, δηλ. ευθείες που τέμνονται σε κοινό σημείο. Κάθε τυχαία ευθεία θα τέμνει τη δέσμη σε 4 σημεία (ένα για κάθε ευθεία της δέσμης) με τον ίδιο αναρμονικό λόγο. Επίσης επεκτείνεται και στην περίπτωση μιας δέσμης επιπέδων, η οποία αποτελείται από τέσσερα επίπεδα. Παρομοίως και σε αυτήν την περίπτωση μια τυχαία ευθεία θα τέμνει τη δέσμη επιπέδων σε 4 σημεία με ίδιο cross ratio. T Η εξίσωση μιας κωνικής τομής είναι m Cm 0 όπου C ένας συμμετρικός 3x3 πίνακας που ορίζεται ως μια πολλαπλασιαστική σταθερά. Στην προβολική γεωμετρία δε γίνεται διάκριση μεταξύ των διαφορετικών κωνικών τομών (κύκλος, παραβολή, έλλειψη κτλ.). Αυτό συμβαίνει διότι στην περίπτωση ενός μετασχηματισμού επιπέδου, μέσω προβολικού, υπάρχει η δυνατότητα οποιαδήποτε κωνική τομή να μετατραπεί σε οποιαδήποτε άλλη. Με το όνομα conics αναφερόμαστε γενικώς σε όλες. i j 2.4 Ο προβολικός τρισδιάστατος χώρος Έστω ένα σημείο του τρισδιάστατου προβολικού χώρου. Αυτό θα περιγράφεται από ένα T διάνυσμα συντεταγμένων x 1, x2, x3, x4 με την προϋπόθεση τουλάχιστον μία από τις συντεταγμένες να είναι διάφορη του μηδενός. Επιπλέον όλα τα διανύσματα τα οποία διαφέρουν μόνο κατά μια πολλαπλασιαστική σταθερά περιγράφουν το ίδιο σημείο. Όσον αφορά ένα σημείο με συντεταγμένες x 1, x2, x3 του ευκλείδειου χώρου, αυτό θα έχει κανονικοποιημένες ομογενείς συντεταγμένες x1, x2, x3,1 στον προβολικό χώρο. Για το πλήθος σημείων του προβολικού χώρου όπου x4 0 οι αντίστοιχες ευκλείδειες παίρνουν 1 2 τη μορφή x, x, x x x x (παρόμοια όπως στην προηγούμενη παράγραφο). Η αρχή της δυικότητας ισχύει και στον 3D χώρο. Ορίζει ότι ένα επίπεδο (plane) αντιστοιχεί σε ένα σημείο του τρισδιάστατου χώρου. Πιο συγκεκριμένα ισχύει η αμοιβαιότητα: T Σημεία με ομογενείς συντεταγμένες x1, x2, x3, x 4 Ευθείες με εξισώσεις u1 x1 u2 x2 u3 x3 u4 x4 0 22

23 Έστω το διάνυσμα συντεταγμένων u=u1, u2, u3, u 4. Όπως και στο δισδιάστατο χώρο έτσι και εδώ, όλα τα διανύσματα λu όπου λ=ct 0, περιγράφουν το ίδιο επίπεδο. Θα συναντήσουμε επίσης και την line at infinity (ευθεία στο άπειρο) του δισδιάστατου προβολικού χώρου υπό την έννοια του «επιπέδου στο άπειρο» σε 3D. Αυτό το επίπεδο αποτελείται από τα σημεία εκείνα για τα οποία η 4 η συντεταγμένη είναι μηδέν και επομένως δεν μπορούν να οριστούν για αυτά ευκλείδειες συντεταγμένες. Η εξίσωση ενός τέτοιου πεδίου είναι 0,0,0,1 T και τέμνονται πάνω του τα επίπεδα και οι ευθείες που θεωρούνται παράλληλες στον ευκλείδειο χώρο. Αντιλαμβάνεται κανείς ότι κάθε σημείο του επιπέδου αυτού ανήκει στην ευθεία στο άπειρο κάποιου επιπέδου του τρισδιάστατου προβολικού χώρου. 2.5 Διαστρωμάτωση (stratisfaction) της προβολικής γεωμετρίας Συνήθως ο κόσμος γίνεται αντιληπτός ως ένας ευκλείδειος 3D χώρος. Σε ορισμένες περιπτώσεις (π.χ. ξεκινώντας από εικόνες) δεν είναι εφικτό ή επιθυμητό να χρησιμοποιηθεί η πλήρης ευκλείδεια δομή του 3D χώρου. Μπορεί να είναι ενδιαφέρον να ασχοληθεί μόνο με τη λιγότερο δομημένη και έτσι απλούστερη προβολική γεωμετρία. Τα ενδιάμεσα στρώματα αποτελούνται από την affine και μετρική γεωμετρία. Η απλούστερη είναι η προβολική, ακολουθεί η affine, μετά η μετρική και τέλος η ευκλείδεια δομή. Αυτή η έννοια της διαστρωμάτωσης συνδέεται στενά με τις ομάδες των μετασχηματισμών που ενεργούν σε γεωμετρικές οντότητες και το να αφήνουν αμετάβλητες ορισμένες ιδιότητες των διατάξεων των εν λόγω στοιχείων. Με τον προβολικό χώρο σχετίζεται η ομάδα (group) των προβολικών μετασχηματισμών, με τον affine σχετίζεται η ομάδα των affine μετασχηματισμών, με το μετρικό η ομάδα μετασχηματισμών ομοιότητας και με τον ευκλείδειο χώρο σχετίζεται η ομάδα των ευκλείδειων μετασχηματισμών. Κάθε ένα διαδοχικό επίπεδο (stratum) είναι πιο δομημένο από το προηγούμενο και μας παρέχει περισσότερη πληροφορία. Αξιοσημείωτο εδώ, ότι κάθε ομάδα αποτελεί υπο-ομάδα της άλλης (πχ. η μετρική είναι υπο-ομάδα της affine και οι δύο μαζί αποτελούν υπο-ομάδα της προβολικής). Έτσι η ιεραρχία των παραπάνω ομάδων συνοψίζεται ως εξής: προβολική affine μετρική ευκλείδεια Κάθε χώρος είναι μια γενικότερη περίπτωση των υποχωρών του. Ο λόγος για τη χρήση αυτής της ταξινόμησης είναι ότι κατά την εύρεση της τρισδιάστατης δομής του χώρου συνήθως δεν έχουμε κάποιο δεδομένο σύστημα συντεταγμένων στο χώρο και έτσι ορίζουμε εμείς αυθαίρετα ένα τέτοιο. Ο αυθαίρετος αυτός ορισμός ισοδυναμεί με το να πούμε ότι βρίσκουμε τη δομή του χώρου μετασχηματισμένη από έναν μετασχηματισμό, ο οποίος φέρνει το "πραγματικό" σύστημα συντεταγμένων σε αυτό που αυθαίρετα θεωρήσαμε εμείς. Ανάλογα με την ποσότητα των πληροφοριών (περιορισμών) που διαθέτουμε, μπορούμε να θέσουμε περιορισμούς στον μετασχηματισμό αυτό, μειώνοντας έτσι τους βαθμούς ελευθερίας του. Μπορούμε δηλαδή να αποκτήσουμε μια αναπαράσταση για την τρισδιάστατη δομή του χώρου η οποία περιέχει περισσότερη πληροφορία και είναι πιο κοντά στην πραγματικότητα. Καθώς ο κόσμος που προσπαθούμε να αναπαραστήσουμε είναι ευκλείδειος, θα θέλαμε να μπορούμε να βρούμε την αναπαράσταση σε ευκλείδειο επίπεδο, δηλαδή να υπόκειται μόνο σε έναν ευκλείδειο 23

24 μετασχηματισμό, που αποτελείται από μια περιστροφή και μια μετατόπιση. Όπως θα δούμε παρακάτω αυτό συνήθως δεν είναι δυνατό. Έτσι, ανάλογα με τους περιορισμούς που διαθέτουμε, μπορούμε να έχουμε την αναπαράσταση του χώρου μετασχηματισμένη από έναν αυθαίρετο προβολικό, affine ή μετρικό μετασχηματισμό. Μια σημαντική πτυχή που σχετίζεται με αυτές τις ομάδες είναι οι αναλλοίωτες γεωμετρικές ιδιότητές τους. Μια αναλλοίωτη είναι η ιδιότητα της διαμόρφωσης των γεωμετρικών σωμάτων που δεν επηρεάζεται από οποιαδήποτε εφαρμογή των μετασχηματισμών που ανήκουν σε μια συγκεκριμένη ομάδα. Οι αναλλοίωτες ιδιότητες αντιστοιχούν επομένως στις μετρήσεις που μπορεί να κάνει κανείς θεωρώντας κάποιο συγκεκριμένο στρώμα της γεωμετρίας. Αυτές οι σταθερές συχνά σχετίζονται με γεωμετρικά σώματα που παραμένουν αμετάβλητα, τουλάχιστον στο σύνολό τους ως οντότητα, με βάση τους μετασχηματισμούς μιας συγκεκριμένης ομάδας. Ο προσδιορισμός των αναλλοίωτων επιτρέπει την "αναβάθμιση" μιας γεωμετρικής δομής σε μια υψηλότερου επιπέδου. Όσο περισσότερες είναι οι ιδιότητες ενός χώρου που παραμένουν αναλλοίωτες, τόσο πιο δομημένος είναι ο συγκεκριμένος χώρος και άρα περιέχει περισσότερη πληροφορία. Πριν κλείσουμε το κεφάλαιο αυτό, ας δούμε αναλυτικότερα το κάθε επίπεδο αναπαράστασης χώρου και συγκεκριμένα του τρισδιάστατου, καθώς αυτός συγκεντρώνει το ενδιαφέρον μας στην εργασία αυτή: i. Προβολικό επίπεδο (projective stratum) Ο τρισδιάστατος προβολικός χώρος είναι ο γενικότερος από όλους και ο λιγότερο δομημένος. Για αυτόν το λόγο έχει τις λιγότερες αναλλοίωτες ιδιότητες και τις περισσότερες ομάδες μετασχηματισμών που συνδέονται με αυτόν. Οι μόνες ιδιότητες οι οποίες διατηρούνται αναλλοίωτες από τους προβολικούς μετασχηματισμούς είναι η συγγραμμικότητα, η επαφή (tangency), η σύμπτωση (incidence) και ο αναρμονικός λόγος (cross ratio). Η αναπαράσταση του χώρου μονάχα μέχρι αυτό το επίπεδο θεωρείται ανεπαρκής διότι ούτε οι αποστάσεις ούτε ο λόγος αποστάσεων παίζουν ρόλο σε αυτό το επίπεδο (stratum). Οι μετασχηματισμοί αυτού του χώρου περιγράφονται από αντιστρέψιμους 4x4 πίνακες, οι οποίοι είναι ορισμένοι ως προς μια πολλαπλασιαστική σταθερά και επομένως διαθέτουν 15 βαθμούς ελευθερίας. Η αναπαράσταση ενός τέτοιου αντιστρέψιμου πίνακα έχει ως εξής: T P p p p p p p p p p p p p p p p p (2.1) ii. Affine επίπεδο (affine stratum) Το επόμενο επίπεδο είναι το affine και παρεμβάλλεται μεταξύ του προβολικού και του μετρικού. Οι μετασχηματισμοί σε αυτό το επίπεδο διατηρούν την παραλληλία ευθειών και επιπέδων καθώς και τους λόγους μήκους ευθύγραμμων τμημάτων που βρίσκονται σε παράλληλες ευθείες. Αυστηρά θεωρητικά, το επίπεδο στο άπειρο δεν ανήκει στον affine χώρο. Αυτό είναι επακόλουθο του γεγονότος ότι για τα σημεία του επιπέδου αυτού δεν ορίζονται οι μη ομογενείς συντεταγμένες. Τα παράλληλα επίπεδα (εδώ εννοούμε plains και όχι stratum) θα τέμνονται στο άπειρο. Είπαμε όμως ότι αυτό το επίπεδο δε 24

25 συμπεριλαμβάνεται αυστηρά στο χώρο. Άρα η παραλληλία ορίζεται με τη συνήθη έννοιά της. Αυτό σημαίνει ότι για να είναι οι affine μετασχηματισμοί σε θέση να διατηρούν την παραλληλία, πρέπει να μετασχηματίζουν όλα τα σημεία του επιπέδου στο άπειρο σε σημεία του ίδιου επιπέδου. Χρησιμοποιώντας τον περιορισμό αυτό προκύπτει ο πίνακας μετασχηματισμών: T A a11 a12 a13 a14 a21 a22 a23 a 24 a31 a32 a33 a (2.2) Ο πίνακας αυτός ορισμένος ως προς μια πολλαπλασιαστική σταθερά (δηλαδή οποιοσδήποτε πίνακας c TA, c περιγράφει τον ίδιο μετασχηματισμό). Παρατηρούμε ότι ο μετασχηματισμός αυτός έχει 12 β.ε. Οι προβολικοί μετασχηματισμοί δεν αφήνουν αναλλοίωτο το επίπεδο στο άπειρο. Για να «περάσουμε» από projective σε affine, ή καλύτερα, να αναβαθμίσουμε τη δομή του χώρου από projective σε affine πρέπει να ορίσουμε το επίπεδο στο άπειρο μέσα στον προβολικό χώρο και έπειτα να εφαρμόσουμε τον κατάλληλο μετασχηματισμό ώστε να πάρει την T. κανονική του μορφή iii. Μετρικό επίπεδο (metric stratum) Το μετρικό επίπεδο είναι το πιο σημαντικό για την εφαρμογή που εξετάζουμε, καθώς λόγω της «αρχής της αβεβαιότητας» είναι το υψηλότερο επίπεδο αναπαράστασης που μπορεί να ανακτηθεί από μια εικόνα έχουμε εφόσον δεν είμαστε σε θέση να γνωρίζουμε κάποια συγκεκριμένη απόσταση επί της σκηνής. Τι είναι λοιπόν αυτή η αρχή της αβεβαιότητας; Έστω ότι παρατηρούμε μια εικόνα όπου απεικονίζεται ένα αντικείμενο, π.χ. μία ξύλινη δοκός. Γίνεται κατανοητό πως δεν είμαστε σε θέση να βγάλουμε συμπέρασμα για το μέγεθος του αντικειμένου, διότι αυτό θα μπορούσε να είναι μια μεγάλη δοκός που απεικονίζεται σε μεγάλη απόσταση από το φακό λήψης. Επίσης θα μπορούσε να είναι μια μικρή δοκός σε μικρή απόσταση από το φακό λήψης και να παριστάνεται στη φωτογραφία στο ίδιο μέγεθος όπως στην πρώτη περίπτωση. Το μετρικό επίπεδο αντιστοιχεί στην ομάδα μετασχηματισμών ομοιότητας. Αυτοί αποτελούνται από μια περιστροφή, μια μετατόπιση και τέλος μια κλιμάκωση (scaling) του χώρου. Επομένως σε μη-ομογενείς συντεταγμένες ο μετασχηματισμός ομοιότητας έχει τη μορφή: x r11 r12 r13 x x0 y s r r r y y z r31 r32 r 33 z z 0 T όπου s είναι ο συντελεστής κλιμάκωσης (μεγέθυνσης ή σμίκρυνσης), x y z το διάνυσμα της μετατόπισης και R r είναι ένας πίνακας περιστροφής, δηλαδή ένας ij ορθοκανονικός πίνακας 3x3. Οι συντελεστές r ij του πίνακα R σχετίζονται με 6 ανεξάρτητους 25

26 περιορισμούς: 3 rr δ,(1 i j,1 j 3), όπου δ ij η συνάρτηση Kronecker. Αυτό ik jk k1 ij T T 1 T αντιστοιχεί στη σχέση R R RR I και έτσι R R. Θυμίζουμε ότι ο R είναι ένας πίνακας T περιστροφής αν και μόνο αν ισχύει RR I και detr 1. Ειδικότερα ο ορθοκανονικός αυτός πίνακας έχει 3 βαθμούς ελευθερίας. Χρησιμοποιώντας ομογενείς συντεταγμένες ο μετασχηματισμός γίνεται: T M sr11 sr12 sr13 x0 sr21 sr22 sr23 y 0 sr31 sr32 sr33 z (2.3) Από τον παραπάνω πίνακα συμπεραίνουμε ότι ένας μετρικός μετασχηματισμός έχει: 3 β.ε. (περιστροφή) + 3 β.ε. (μετατόπιση) + 1 β.ε. (κλιμάκωση) = 7 βαθμούς ελευθερίας Οι μετασχηματισμοί που ανήκουν στην ομάδα των μετασχηματισμών ομοιότητας, εκτός από τις ιδιότητες που διατηρούν οι προβολικοί και affine μετασχηματισμοί, διατηρούν και 2 επιπλέον αναλλοίωτες ιδιότητες: τις γωνίες και τα σχετικά μήκη σε οποιαδήποτε διεύθυνση. Επιπλέον μετασχηματίζουν τα σημεία του επιπέδου στο άπειρο σε σημεία του ίδιου επιπέδου και αφήνουν αναλλοίωτο το absolute conic. Αυτό το conic περιγράφεται από την εξίσωση Χ 2 +Y 2 +Z 2 =0 και W=0 και παριστάνει ένα φανταστικό κύκλο στο άπειρο επίπεδο. Παραμένει αναλλοίωτο σε μετρικούς μετασχηματισμούς και το conic αυτό παίζει σημαντικό ρόλο καθώς αποτελεί εργαλείο αναβάθμισης της δομής του χώρου από προβολική σε μετρική. Η γνώση του ισοδυναμεί με γνώση των παραμέτρων της κάμερας. Η εξίσωσή του στον 3D-χώρο είναι: (2.4) και περιγράφει ουσιαστικά ένα εκφυλισμένο quadric στον τρισδιάστατο χώρο. Για να αναβαθμίσουμε την αναπαράσταση του χώρου από προβολική σε μετρική πρέπει να εντοπίσουμε το absolute conic στον τρισδιάστατο προβολικό χώρο. Αφού κατορθωθεί τούτο, στη συνέχεια πρέπει να βρεθεί ένας κατάλληλος μετασχηματισμός ο οποίος να το φέρνει στην κανονική του μορφή (2.4). Για να γίνει αυτό μπορούμε αρχικά να βρούμε το επίπεδο στο άπειρο όπως περιγράφηκε πριν και στη συνέχεια χρησιμοποιώντας επιπλέον γνώση για τη δομή του χώρου (π.χ. γωνίες και λόγους μηκών), να βρούμε την εξίσωση του absolute conic ή να βρούμε την εξίσωση αυτή χωρίς πρώτα να βρούμε το επίπεδο στο άπειρο. Με αυτόν τον τρόπο θα προκύψει ένας μετρικός χώρος [11]. 26

27 iv. Ευκλείδειο επίπεδο (Euclidean stratum) Το ευκλείδειο επίπεδο αναπαράστασης της δομής του χώρου είναι το πιο δομημένο από τα υπόλοιπα. Δεν διαφέρει πολύ από τη μετρική γεωμετρία όπως την έχουμε ορίσει προηγουμένως. Η διαφορά είναι ότι οι ευκλείδειοι μετασχηματισμοί διατηρούν αναλλοίωτα και τα απόλυτα μήκη (absolute lenghts) και όχι μονάχα τους λόγους μηκών. Αποτελούνται από μια περιστροφή και μια μετατόπιση. Ένας τέτοιος μετασχηματισμός έχει τη μορφή: r11 r TΕ 21 r31 0 r12 r22 r32 0 r13 r23 r33 0 x0 y0 z0 1 (2.5) και έχει 3 β.ε. (περιστροφή) + 3 β.ε. (μετατόπιση) = 6 βαθμούς ελευθερίας Για να αναβαθμίσουμε τη δομή του χώρου από προβολική σε ευκλείδεια μπορούμε πρώτα να την αναβαθμίσουμε σε μετρική και έπειτα, χρησιμοποιώντας τον περιορισμό που προκύπτει από τη γνώση κάποιου μήκους, να την αναβαθμίσουμε σε ευκλείδεια. Τονίζουμε ότι στην εφαρμογή που υλοποιούμε στην εργασία τούτη, δε φτάνουμε στην αναπαράσταση σε ευκλείδειο επίπεδο. Θα κλείσουμε αυτό το κεφάλαιο δίνοντας συνοπτικά τον ακόλουθο πίνακα με τα χαρακτηριστικά των επιπέδων που αναφέραμε: Επίπεδο Projective DoF Trans. Matrix 15 Παραμόρφωση Αναλλοίωτες Intersection, Tangency of surface, Cross-ratio P 1 Parallelism, Centroid, Plane at infinity Affine 12 A 0T Metric 7 sr t 0T 1 Relative distance, Angle, Absolute Conic Euclidean 6 R 0T Absolute distance t 1 Πίνακας 2.1. Χαρακτηριστικά των διάφορων γεωμετρικών επιπέδων. Ο P είναι ένας 4x4 αντιστρέψιμος πίνακας. Ο Α είναι ένας 3x4 πίνακας. Ο R είναι ένας 3x3 rotation matrix. Το s είναι ο συντελεστής κλιμάκωσης και το t είναι ένα 3D διάνυσμα μετατόπισης. 27

28 Στις παραπάνω παραγράφους, βασιστήκαμε στις πηγές [4], [5], [6] και [7] της βιβλιογραφίας. 28

29 Κεφάλαιο 3 Μοντελοποίηση της κάμερας 3.1 Το μοντέλο μικρής οπής Μια φωτογραφική μηχανή μπορεί να μοντελοποιηθεί με διάφορους τρόπους, ανάλογα με τις ιδιότητες τις οποίες θέλουμε να περιγράψουμε, το βαθμό ακρίβειας που επιθυμούμε, και την εφαρμογή για την οποία προορίζεται το μοντέλο. Έρχοντας στην περίπτωση της 3D απεικόνισης χώρου αυτό που έχει ενδιαφέρον είναι ο τρόπος που απεικονίζονται τα διάφορα σημεία του χώρου στην εικόνα. Στο σχήμα 3.1 φαίνεται η γεωμετρική ερμηνεία της κάμερας μικρής οπής. Αποτελεί την πιο απλή μορφή κάμερας και είναι γνωστή από την αρχαιότητα (camera obscura - «σκοτεινό δωμάτιο»). Η κάμερα οπής αποτελείται από ένα φωτοστεγανό κουτί. Στη μία πλευρά αυτού του κουτιού υπάρχει μια μικρή οπή μέσω της οποίας διέρχονται ακτίνες φωτός της σκηνής που προβάλλονται ως εικόνες στην άλλη άκρη του κουτιού. Σχήμα 3.1 Το μοντέλο μικρής οπής για την κάμερα. Η ιδανική κάμερα οπής ορίζεται ως μια τέτοια, της οποίας η διάμετρος του διαφράγματος (pinhole) τείνει στο μηδέν. Παρατηρούμε την αντεστραμμένη παράσταση του ειδώλου. 29

30 Αν τώρα θεωρήσουμε την οπή ως σημειακή, η συσκευή που προκύπτει υλοποιεί απόλυτα το μαθηματικό μοντέλο προβολής και κατά κανόνα οι αλγόριθμοι της υπολογιστικής όρασης θεωρούν ότι οι εικόνες έχουν ληφθεί με αυτό τον τρόπο. Στην πράξη μια τέτοια σημειακή οπή δεν υλοποιείται και το μέγεθός της σχετίζεται με την ποσότητα του φωτός που προσπίπτει στην επιφάνεια προβολής. Παρατηρώντας το παραπάνω σχήμα βλέπουμε ότι οι διερχόμενες από την οπή οπτικές ακτίνες, προσπίπτοντας στο επίπεδο της εικόνας, δημιουργούν ένα ανεστραμμένο είδωλο του αντικειμένου. Όταν αναφερόμαστε σε ένα συγκεκριμένο σημείο του χώρου, η απεικόνιση γίνεται όπως φαίνεται στο σχήμα 3.2. Σχήμα 3.2 Προβολή ενός σημείου M του 3D-χώρου στην εικόνα (σημείο m). Το επίπεδο εικόνας που συμβολίζεται με R ονομάζεται και επίπεδο ίριδας (retinal plane). Το σημείο C είναι η εστία της κάμερας ή το οπτικό κέντρο και παριστάνει το σημείο στο οποίο βρίσκεται η μικρή οπή. Η απόσταση του C από το επίπεδο της εικόνας ονομάζεται εστιακή απόσταση (focus length) και το συμβολίζουμε με f. Φανταζόμαστε τώρα ένα παράλληλο επίπεδο στο επίπεδο εικόνας το οποίο περιέχει το σημείο C. Ένα τέτοιο ονομάζεται εστιακό επίπεδο και η κάθετη σε αυτό ευθεία που το συνδέει με το επίπεδο εικόνας ονομάζεται οπτικός άξονας. Αξίζει να σημειωθεί ότι στην πραγματική κάμερα περιέχονται συστοιχίες φακών που εισάγουν μη-γραμμικές παραμορφώσεις, με αποτέλεσμα τα σημεία M, C, m να μην είναι συνευθειακά (βλέπε [8]). Όσο πιο απλές γραμμικές εξισώσεις για την περιγραφή της λειτουργίας της κάμερας, αποτελούν τον κύριο στόχο μας. Στην ουσία η κάμερα είναι μια συσκευή που εκτελεί έναν προβολικό μετασχηματισμό από τον τρισδιάστατο προβολικό χώρο, P 3, στο δισδιάστατο προβολικό P 2, ο οποίος είναι το επίπεδο εικόνας. Αν προσπαθήσουμε να περιγράψουμε τις σχέσεις των ευκλείδειων συντεταγμένων ενός σημείου στον τρισδιάστατο χώρο με αυτές της προβολής του στην εικόνα, οι σχέσεις που προκύπτουν είναι μη γραμμικές. Όπως βλέπουμε και στο σχήμα 3.3, θεωρώντας ένα σημείο Μ(x,y,z) στο σύστημα συντεταγμένων (C,x,y,z), οι σχέσεις που προκύπτουν είναι οι εξής: 30

31 Σχήμα 3.3. Μετασχηματισμός συντεταγμένων. u m x y f και vm f (3.1) z z όπου τα u m, v m μετρώνται από το κύριο σημείο της εικόνας (principal point). Το τελευταίο αποτελείται από το σημείο τομής του οπτικού άξονα με το επίπεδο της εικόνας. Τα αρνητικά πρόσημα εισάγονται διότι το είδωλο της εικόνας εμφανίζεται αντεστραμμένο. Χρησιμοποιώντας τις μη γραμμικές σχέσεις (3.1) προκύπτουν συστήματα τα οποία επιλύονται δύσκολα. Εδώ γίνεται για πρώτη φορά (σε μαθηματική λογική) εμφανής ο σημαντικός ρόλος της προβολικής γεωμετρίας. Με αυτή τη λογική έστω ότι θεωρούμε το σημείο Μ ως ένα σημείο που ανήκει στον τρισδιάστατο προβολικό χώρο P 3. Θα έχει συντεταγμένες M( X, Y, Z, T ). Το σημείο m θα ανήκει στο δισδιάστατο προβολικό χώρο P 2 με συντεταγμένες m( U, V, S ). Άρα μπορούμε να γράψουμε: X U f Y m V 0 f 0 0 (3.2) Z S T U V X Y Z όπου τώρα um, vm, x, y και z. Όταν S=0 το σημείο m βρίσκεται επί S S T T T της γραμμής στο άπειρο του επιπέδου της εικόνας, και αυτό συμβαίνει όταν το M βρίσκεται επί του εστιακού επιπέδου. Μέσω της (3.2) βλέπουμε ότι ο μετασχηματισμός των προβολικών συντεταγμένων ενός σημείου από το χώρο P 3 στο χώρο P 2 γράφεται υπό τη μορφή πινάκων ως εξής: m P M (3.3) 31

32 Ο πίνακας Ρ ονομάζεται πίνακας προβολής (projection matrix) και περιέχει όλες τις πληροφορίες που χρειαζόμαστε για να προσδιορίσουμε την προβολή οποιουδήποτε σημείου του χώρου στην εικόνα, μέσω της κάμερας. Επίσης, όπως θα διαπιστώσουμε στη συνέχεια, ο πίνακας P περιέχει και τις πληροφορίες εκείνες που χρειαζόμαστε για να προσδιορίσουμε τις εσωτερικές παραμέτρους της κάμερας καθώς και τη θέση της στο χώρο [10]. 3.2 Οι εσωγενείς και εξωγενείς παράμετροι της κάμερας Παρατηρώντας τη μορφή του πίνακα P στην προηγούμενη παράγραφο, διαπιστώνουμε πως αυτή είναι αρκετά απλή. Αυτό είναι αποτέλεσμα κάποιων εξιδανικεύσεων που κάναμε. Μία απ αυτές είναι η υπόθεση ότι η κάμερα βρίσκεται την αρχή του συστήματος συντεταγμένων του τρισδιάστατου χώρου και μάλιστα οι κατευθύνσεις των αξόνων της κάμερας (οι 2 άξονες επί του επιπέδου της εικόνας και ο οπτικός άξονας) συμπίπτουν με τις κατευθύνσεις των αξόνων του τρισορθογώνιου συστήματος συντεταγμένων του χώρου. Άλλη μια υπόθεση που κάναμε σιωπηλά είναι ότι οι αποστάσεις μετρώνται όλες με την ίδια μονάδα μέτρησης με αρχικό σημείο συντεταγμένων το κύριο σημείο της εικόνας (principal point). Καθώς στην πράξη η θέση και ο προσανατολισμός της κάμερας είναι τυχαίος και δεν συμπίπτει με την αρχή του συστήματος των αξόνων του χώρου και επίσης οι θέσεις των σημείων σε μια εικόνα μετρώνται σε pixels, καταλαβαίνει εύκολα κανείς ότι οι υποθέσεις αυτές δεν ανταποκρίνονται στην πραγματικότητα. Θα πρέπει λοιπόν να βρούμε έναν τρόπο να πραγματοποιήσουμε μετρήσεις από την εικονοληψία μιας κάμερας. Το πρόβλημά μας τώρα ανάγεται στην αντιστοίχιση των συντεταγμένων ενός σημείου του 3D-χώρου σε συντεταγμένες της προβολής του στην εικόνα. Λύση εδώ δίνει η γνώση των παραμέτρων της κάμερας καθώς μέσα απ αυτές καθορίζονται τέτοιες σχέσεις, ώστε να γίνει κατορθωτή μια τέτοια αντιστοίχιση. Οι παράμετροι μιας κάμερας χωρίζονται στις εσωγενείς (intrinsic) και στις εξωγενείς (extrinsic). Οι πρώτες παραμένουν αμετάβλητες καθώς εξαρτώνται μονάχα από την ίδια τη συσκευή και οι δεύτερες εξαρτώνται τόσο από τη θέση της κάμερας όσο και από τον προσανατολισμό της σε κάθε λήψη Οι εσωγενείς (intrinsic) παράμετροι Για να αναπαραστήσουμε την τρισδιάστατη δομή του χώρου με εικονοληψία μέσω μιας κάμερας είναι σημαντική η γνώση των εσωγενών της παραμέτρων. Η κάμερα κινείται ελεύθερα στο χώρο έχοντας τυχαίο προσανατολισμό. Εμείς θα προσπαθήσουμε να μετασχηματίσουμε τις συντεταγμένες καθενός σημείου της λαμβανόμενης εικόνας σε συντεταγμένες που θα λαμβάναμε από μια «ιδεατή» κανονικοποιημένη κάμερα. Λέγοντας κανονικοποιημένη εννοούμε βεβαίως πως έχει μοναδιαία εστιακή απόσταση, θεωρώντας ίσα και μοναδιαία διανύσματα στους δύο άξονες ενώ το principal point υποτίθεται ως αρχή του συστήματος συντεταγμένων. Θέλουμε λοιπόν να βρούμε το μετασχηματισμό εκείνο, ο οποίος θα μετατρέπει τις κανονικοποιημένες συντεταγμένες ενός σημείου στις πραγματικές συντεταγμένες εικόνας. Στη συνέχεια, εφαρμόζοντας τον αντίστροφο μετασχηματισμό στις συντεταγμένες της εικόνας θα πάρουμε την εικόνα που θα έδινε η κανονικοποιημένη κάμερα. Ο πίνακας προβολής P n για την κανονικοποιημένη κάμερα είναι: 32

33 P n (3.4) Έτσι θα θελήσουμε να χρησιμοποιήσουμε τα δεδομένα που παίρνουμε από μια εικόνα κατά τρόπο ανεξάρτητο από τα συγκεκριμένα χαρακτηριστικά της κάμερας. Στην πράξη, εσωτερικά της κάμερας, γίνεται μια δεύτερη αντιστροφή η οποία έχει ως αποτέλεσμα να λαμβάνουμε την εικόνα στην σωστή της μορφή και όχι αντεστραμμένη όπως στο σχήμα 3.1. Το γεγονός αυτό ισοδυναμεί με το να θεωρήσουμε ότι το επίπεδο της εικόνας βρίσκεται μπροστά από την εστία της κάμερας και όχι από πίσω της. Ως αποτέλεσμα τούτου έχουμε την απομάκρυνση του αρνητικού πρόσημου από τις σχέσεις (3.1) και (3.2). Τελικά θα προκύψει ένα νέο μοντέλο συστήματος συντεταγμένων, αυτό του σχήματος 3.4. Σχήμα 3.4 Το κανονικοποιημένο σύστημα συντεταγμένων. Λέμε ότι η απόσταση μεταξύ δύο διαδοχικών αισθητήρων στις διευθύνσεις u και v είναι δu και δv αντίστοιχα. Τότε: u f x δu z u0 και v v0 f y (3.5) δv z f με δu και δv να μετρώνται σε m/pixel και το f σε m. Συμβολίζουμε δu με α f u και δv με a v, με a u /a v να τείνει στη μονάδα. Αυτές οι ποσότητες εκφράζουν την εστιακή απόσταση μετρημένη σε οριζόντια και κατακόρυφα pixels αντίστοιχα. Έχει παρατηρηθεί ότι στις 33

34 κάμερες με CCD αισθητήρες είναι δυνατόν οι αισθητήρες των pixels να μην είναι ακριβώς τετράγωνοι, γι αυτό και γίνεται αυτή η διάκριση. Αν συγκρίνουμε τις σχέσεις (3.5) με τις σχέσεις (3.1) θα δούμε ότι οι λόγοι x/z, y/z στις τελευταίες, αποτελούν τις συντεταγμένες της προβολής του Μ για μια κάμερα με f=1 και την αρχή του συστήματος συντεταγμένων στο κύριο σημείο της εικόνας (principal point). Πρόκειται δηλαδή για τις συντεταγμένες της προβολής του Μ στην κανονικοποιημένη «ιδεατή» κάμερα. Συμβολίζοντας τις κανονικοποιημένες συντεταγμένες με (u n,v n ) θα προκύψουν οι παρακάτω σχέσεις: u u0 auun, v v0 avvn (3.6) Επομένως ο μετασχηματισμός από τις συντεταγμένες ενός σημείου στην εικόνα, στις κανονικοποιημένες του συντεταγμένες είναι: u u u 0 0 n και n au av v v v (3.7) Χρησιμοποιώντας προβολικές συντεταγμένες οι σχέσεις (3.7) γίνονται: 1 u0 0 a a u u u u n 1 v0 v n 0 v av a v (3.8) Ο 3x3 πίνακας της σχέσης (3.8) είναι ο πίνακας ενός γραμμικού προβολικού μετασχηματισμού του επιπέδου. Στη βιβλιογραφία αναφέρεται ως homography, με την ιδιότητα να σχετίζει τις συντεταγμένες pixel μεταξύ δύο εικόνων. Αν εφαρμοστεί σε καθένα από τα pixels της μιας εικόνας, τότε η δεύτερη που θα προκύψει θα είναι μια αντεστραμμένη έκδοση αυτής. Οπότε μετασχηματίζοντας τον homography πίνακα στον αντίστροφό του, έχουμε το μετασχηματισμό που μεταφέρει τα σημεία από τις συντεταγμένες τους της κανονικοποιημένης εικόνας στις πραγματικές τους συντεταγμένες (pixel coordinates): au 0 u0 H 0 av v 0 (3.9) Ο πίνακας H αναφέρεται ως πίνακας των εσωγενών παραμέτρων. Γνωρίζοντας ότι P=HP n και έχοντας βρει τις μορφές τους [σχέσεις (3.4) και (3.9)], θα δημιουργηθεί ένας πίνακας που μας δίνει τις pixel coordinates της προβολής ενός σημείου, όταν το σύστημα συντεταγμένων της κάμερας ταυτίζεται με το αδρανειακό σύστημα συντεταγμένων. Έχουμε λοιπόν: 34

35 au 0 u au 0 u0 0 P HP n 0 av v av v0 0 (3.10) Έστω ότι θελήσαμε να πάρουμε κάποιες μετρήσεις σε επίπεδο metric από οποιαδήποτε ληφθείσα εικόνα μιας κάμερας, όπως για παράδειγμα να υπολογίσουμε τη γωνία μεταξύ δύο οπτικών ακτινών. Σε μια τέτοια περίπτωση θα πρέπει να έχουμε γνώση των a u, a v, u 0 και v 0, οι οποίες ονομάζονται εσωγενείς (intrinsic) παράμετροι της κάμερας. Αποδεικνύεται ότι η γνώση των παραμέτρων αυτών ισοδυναμεί με τη γνώση της εικόνας του absolute conic. Αφού το τελευταίο αποτελεί απαραίτητο στοιχείο για να αναβαθμίσουμε τη δομή ενός χώρου από προβολική σε μετρική, συνεπάγεται πως και η γνώση των εσωγενών παραμέτρων μιας κάμερας κρίνεται απαραίτητη για να συμβεί κάτι τέτοιο Οι εξωγενείς (extrinsic) παράμετροι Στην πραγματικότητα τα πράγματα δεν είναι τόσο απλά όπως περιγράφηκαν στην προηγουμένη παράγραφο. Το σύστημα συντεταγμένων της κάμερας (C,x,y,z) στην πράξη δε συμπίπτει με το σύστημα συντεταγμένων του χώρου (O,x,y,z), όπως εικάστηκε. Έστω ότι έχουμε μια σειρά από λήψεις της ίδιας σκηνής από διαφορετικές οπτικές γωνίες. Το πολύ μια από αυτές τις λήψεις είναι δυνατόν να ικανοποιεί τον παραπάνω περιορισμό. Αυτό σημαίνει ότι πρέπει να βρεθεί μια σχέση που να συσχετίζει ή συνδέει τις συντεταγμένες ενός σημείου στο χώρο Μ(x,y,z) του συστήματος (O,x,y,z) με τις συντεταγμένες της προβολής του στην εικόνα. Συνδυάζοντας τις σχέσεις (3.3) και (3.10) προκύπτει ότι όταν έχουμε τις συντεταγμένες ενός σημείου εκφρασμένες στο σύστημα της κάμερας (C,x,y,z), ο μετασχηματισμός που αναζητούμε δίνεται από τη σχέση: m HP M (3.11) Στο σχήμα 3.5 το σύστημα της κάμερας μπορεί να μετασχηματιστεί στο σύστημα του χώρου με τη βοήθεια μιας περιστροφής R και μιας μετατόπισης t. Οι ευκλείδειες συντεταγμένες του σημείου Μ στο (C,x,y,z) θα είναι: n M RMt (3.12) 35

36 Σχήμα 3.5 Σύστημα συντεταγμένων κάμερας C και χώρου O. Χρησιμοποιώντας προβολικές συντεταγμένες και συμβολίζοντας με T τον προβολικό μετασχηματισμό θα ισχύει ότι: όπου M TM (3.13) R t T T 03 1 (3.14) Για να προσδιορίσουμε τον πίνακα προβολής θα συνδυάσουμε τώρα τις σχέσεις (3.11) και (3.13) από τις οποίες θα πάρουμε: m HP TM (3.15) Επομένως ο πίνακας P HPn T αποτελεί τον πίνακα προβολής για τη γενικότερη περίπτωση, όπου η κάμερα βρίσκεται σε οποιαδήποτε τυχαία θέση στο χώρο. Από τις (3.10) και (3.14) μπορούμε πλέον να γράψουμε: n αur1 u0r3 αut x u0tz P α 2 v0 3 α ty v0t vr r v z r3 t z (3.16) 36

37 όπου r i είναι τα διανύσματα γραμμής του πίνακα R και t=[t x t y t z ] T. Η μορφή αυτή του P θα φανεί πολύ χρήσιμη, κυρίως κατά τη διαδικασία της εύρεσης των παραμέτρων της κάμερας. Οι παράμετροι R και t λέγονται εξωγενείς παράμετροι της κάμερας. Ο πίνακας R είναι ένας ορθοκανονικός πίνακας περιστροφής με 3 βαθμούς ελευθερίας, οι οποίοι είναι οι γωνίες περιστροφής γύρω από τους τρεις άξονες. Συνεπώς εισάγονται 6 επιπλέον βαθμοί ελευθερίας από αυτούς τους εξωγενείς παράγοντες (δηλ. 6 άγνωστοι για κάθε νέα θέση της κάμερας) [10]. 3.3 Παρεκκλίσεις από το γραμμικό μοντέλο Το γραμμικό μοντέλο της κάμερας μικρής οπής που περιγράφηκε στις προηγούμενες παραγράφους είναι απλό, περιγράφοντας με αρκετά καλή ακρίβεια τη συμπεριφορά της κάμερας. Εξαιτίας της απλότητάς του, το μοντέλο αυτό χρησιμοποιείται σε περιπτώσεις όταν έχουμε εφαρμογές όπου απαιτείται η εκτίμηση των παραμέτρων της κάμερας ή ο μετασχηματισμός των συντεταγμένων των σημείων της εικόνας στο κανονικοποιημένο σύστημα συντεταγμένων σε πραγματικό χρόνο. Ακόμη σε περίπτωση που χρησιμοποιούμε αλγόριθμους αυτό-βαθμονόμησης (self-calibration), λόγω της ύπαρξης πολλών αγνώστων, το μοντέλο αυτό χρησιμοποιείται για λόγους αριθμητικής ευστάθειας. Παρόλα αυτά, στην πραγματικότητα τα οπτικά της κάμερας αλλά και ο τρόπος κατασκευής της, προκαλούν μη γραμμικές παραμορφώσεις εισάγοντας έτσι συστηματικά σφάλματα. Αυτά πρέπει να τα λάβουμε υπόψη, αν θέλουμε να έχουμε μεγάλο βαθμό ακρίβειας. Οι παραμορφώσεις αυτές μοντελοποιούνται συνήθως ως ακτινική και εφαπτομενική παραμόρφωση. Ανάλογα με το βαθμό ακρίβειας που επιθυμούμε στην κάθε μας περίπτωση και τις απαιτήσεις υπολογιστικής ταχύτητας του αλγορίθμου, μπορούμε να χρησιμοποιήσουμε περισσότερους ή λιγότερους όρους οι οποίοι περιγράφουν τις παραμορφώσεις αυτές. Στην εργασία αυτή θεωρούμε τρεις τύπους παραμορφώσεων. Ο πρώτος προκαλείται από ατελές σχήμα φακού και εκδηλώνεται με ακτινικό σφάλμα θέσης και μόνο, ενώ ο δεύτερος και ο τρίτος τύπος παραμόρφωσης εν γένει προκαλούνται από ατελή κατασκευή των οπτικών μιας κάμερας αλλά και λόγω ακατάλληλης συναρμολόγησης των διάφορων τμημάτων της, δημιουργώντας τόσο ακτινικά όσο και εφαπτομενικά σφάλματα στις θέσεις ενός σημείου [2]. 1. Η ακτινική παραμόρφωση προκαλεί μία προς τα μέσα ή προς τα έξω μετατόπιση ενός σημείου εικόνας από την ιδανική θέση του. Αυτό το είδος της παραμόρφωσης που προκαλείται κυρίως από ατελή ακτινική καμπύλη των στοιχείων του φακού. Μια αρνητική ακτινική μετατόπιση των σημείων εικόνας, αναφέρεται στη διεθνή βιβλιογραφία ως barrel distortion. Προκαλεί εξωτερικά σημεία να πλησιάζουν όλο και περισσότερο μεταξύ τους και μείωση της κλίμακας. Μια θετική ακτινική μετατόπιση αναφέρεται ως pincushion distortion. Προκαλεί την εξάπλωση εξωτερικών σημείων και αύξηση της κλίμακας. Αυτό το είδος της παραμόρφωσης είναι αυστηρά συμμετρικό γύρω από τον οπτικό άξονα. 37

38 Σχήμα 3.6 Επίδραση της ακτινικής παραμόρφωσης. (α: αρνητική, β: θετική) 2. Decentering Distortion: Τα κέντρα καμπυλότητας των φακών της κάμερας δεν είναι πάντα συγγραμμικά. Ως αποτέλεσμα δημιουργείται μια άλλη συνήθης μορφή παραμόρφωσης, η παραμόρφωση εκκεντρότητας ή αλλιώς decentering distortion. Η παραμόρφωση αυτή συνεισφέρει τόσο στην ακτινική όσο και στην εφαπτομενική παραμόρφωση. 3. Thin Prism Distortion: Εδώ εισάγεται μια ακόμη μορφή παραμόρφωσης αυτή του λεπτού πρίσματος ή thin prism distortion. Η ονομασία της προέρχεται από το γεγονός της δυνατότητας να μοντελοποιηθεί με την προσθήκη ενός πρίσματος στο οπτικό σύστημα. Οι παραπάνω μορφές παραμόρφωσης μπορούν να μοντελοποιηθούν συνολικά, εισάγοντας μη γραμμικούς (πολυωνυμικούς) όρους στο γραμμικό μοντέλο για την κάμερα. Στη διεθνή βιβλιογραφία υπάρχουν διάφοροι τρόποι με τους οποίους γίνεται η μοντελοποίηση, θεωρώντας είτε απόκλιση από τις κανονικοποιημένες συντεταγμένες είτε από τις συντεταγμένες pixel [9]. Εμείς θα θεωρήσουμε ότι οι σχέσεις (3.6) μεταβάλλονται ως εξής: u u a u δu 0 u( n ) και v n v v0 a ( v δv) (3.17) όπου οι ποσότητες δu και δv διορθώνουν τις συντεταγμένες των σημείων της εικόνας, έτσι ώστε οι σχέσεις (3.17) να δίνουν τις πραγματικές συντεταγμένες που παρατηρούμε στην εικόνα. Οι ποσότητες αυτές περιλαμβάνουν και την ακτινική και την εφαπτομενική παραμόρφωση ως εξής: δu u ( k r k r...) 2 p u v p ( r 2 u ) (3.18) n n n 2 n δv v ( k r k r...) 2 p u v p ( r 2 v ) (3.19) n n n 1 n όπου r 2 =u n 2 +v n 2. Οι όροι με συντελεστές k 1,k 2,... περιγράφουν την ακτινική παραμόρφωση, ενώ οι όροι με συντελεστές p 1,p 2 περιγράφουν την εφαπτομενική παραμόρφωση. Σε περίπτωση που θέλουμε ιδιαίτερα αυξημένη ακρίβεια μπορούμε να προσθέσουμε 38

39 περισσότερους όρους, κυρίως στην ακτινική παραμόρφωση, όμως αυτό συνήθως δεν επιφέρει κάποια αξιόλογη βελτίωση στα αποτελέσματα (δηλαδή στο σφάλμα ανάμεσα στις πραγματικές συντεταγμένες των σημείων και σε αυτές που προβλέπει το μοντέλο). Λόγω της αύξησης της πολυπλοκότητας, σε αρκετές περιπτώσεις εμφανίζεται και υποβάθμιση των αποτελεσμάτων καθώς οι αλγόριθμοι που υπολογίζουν τις παραμέτρους αυτές συγκλίνουν δυσκολότερα. Αυτό θα παρατηρηθεί στο επόμενο κεφάλαιο καθώς θα εξάγουμε τα αποτελέσματα του πειράματός μας. Συμπεριλαμβάνοντας και τις παραπάνω μη-γραμμικές παραμορφώσεις μιας εικόνας, έχοντας ολοκληρωμένο το μοντέλο της κάμερας, καταλήγουμε στις εσωγενείς παραμέτρους της: a, a, u, v, k, k,..., p, p u v o Αυτές οι παράμετροι ονομάζονται επίσης και φυσικές παράμετροι επειδή έχουν κάποια φυσική σημασία και σχετίζονται με τα πραγματικά χαρακτηριστικά της κάμερας. Κλείνοντας την παράγραφο αυτή κρίνεται αναγκαίο να αναφερθούμε σε μια ακόμη γραμμική παραμόρφωση. Είναι δυνατόν οι άξονες της εικόνας να μην είναι απολύτως ορθογώνιοι γεγονός που μπορεί να συμβεί αν για παράδειγμα οι αισθητήρες της κάμερας δεν είναι τοποθετημένοι με ακρίβεια σε απόλυτα ορθογώνια διάταξη. Αυτό έχει σαν αποτέλεσμα μια γραμμική παραμόρφωση, η οποία μπορεί να εισαχθεί εύκολα στο γραμμικό μοντέλο, μεταβάλλοντας τις σχέσεις (3.6) ως εξής: u u a u 0 u n και v v0 avvn sun (3.20α) όπου s ο συντελεστής λοξότητας (skew). Ο πίνακας των εσωγενών παραμέτρων πλέον τώρα γίνεται: au s u0 0 av v (3.20β) Παρατηρώντας αρκετά πειραματικά αποτελέσματα συμπεραίνουμε πως ο παραπάνω παράγοντας είναι αμελητέος. Συνεπώς μπορεί να αγνοηθεί, διευκολύνοντάς μας έτσι κυρίως κατά την αριθμητική επίλυση των εξισώσεων κατά την εύρεση των παραμέτρων της κάμερας. 3.4 Κανονικοποίηση της εικόνας Η γνώση των εσωγενών παραμέτρων της κάμερας κρίνεται απαραίτητη για να μπορούμε να μετασχηματίσουμε τις συντεταγμένες των σημείων εικόνας, που είναι εκφρασμένες σε pixels, στο κανονικοποιημένο σύστημα συντεταγμένων της ιδεατής κάμερας η οποία έχει μοναδιαία εστιακή απόσταση. Αν δεν λάβουμε υπόψη τις μη γραμμικές παραμορφώσεις χρησιμοποιούμε το απλό γραμμικό μοντέλο, το οποίο θα περιγράφεται από τις σχέσεις (3.7) και (3.8). Στην άλλη περίπτωση που έχουμε το μη γραμμικό μοντέλο, αυτό περιγράφεται 39

40 από τις σχέσεις ( ) και η διαδικασία μετασχηματισμού των συντεταγμένων περιπλέκεται. Με συνδυασμό των σχέσεων ( ) προκύπτουν οι εξής σχέσεις για την εύρεση των u n και v n : u u a ( k u 2k u v k u v k u k u v 3p u 2 p u v p v u ) (3.21) u 2 n 2 n n 2 n n 1 n 1 n n 2 n 1 n n 2 n n v v a ( k v 2k u v k u v k v k u v 3p v 2 p u v p u v ) (3.22) v 2 n 2 n n 2 n n 1 n 1 n n 1 n 2 n n 1 n n Οι σχέσεις αυτές δεν επιδέχονται αναλυτική λύση, καθώς αποτελούν σύστημα 5 ου βαθμού. Πρέπει λοιπόν να αναζητήσουμε προσεγγιστικές λύσεις. Για την αντιμετώπιση αυτού του προβλήματος υπάρχουν διάφορες προσεγγίσεις. Για παράδειγμα είναι δυνατόν να χρησιμοποιήσουμε τη μέθοδο Νewton-Raphson, με αρχική προσέγγιση τις τιμές που δίνει το απλό γραμμικό μοντέλο χωρίς παραμόρφωση και να βρούμε τη λύση επαναληπτικά. Όμως η μέθοδος αυτή είναι χρονοβόρα καθώς απαιτεί αρκετές επαναλήψεις και σε κάθε επανάληψη πρέπει να υπολογίζεται η Ιακωβιανή του συστήματος. Είναι φυσιολογικό να μας ενδιαφέρει τόσο η ταχύτητα όσο και η ακρίβεια του αλγορίθμου καθώς η εύρεση των κανονικοποιημένων συντεταγμένων επαναλαμβάνεται όλα τα σημεία (feature points) που χρησιμοποιούμε. Επομένως ένας αποδοτικός αλγόριθμος κρίνεται απαραίτητος. Έχουν προταθεί και άλλες επαναληπτικές μέθοδοι για τη λύση του παραπάνω προβλήματος. Μια απ αυτές είναι η επαναληπτική μέθοδος του Melen κατά την οποία χρησιμοποιούνται δύο επαναλήψεις και η απόδοση ακρίβειας κυμαίνεται κοντά στα 0.1 pixel. Ωστόσο δεν παύει να είναι χρονοβόρα. Μια μη επαναληπτική μέθοδος έχει προταθεί από τον Heikkilä [2], η οποία χρησιμοποιεί τις εσωγενείς παραμέτρους της κάμερας και δημιουργεί ένα αντίστροφο μοντέλο, το οποίο μετασχηματίζει τις συντεταγμένες των pixel που περιέχουν και παραμόρφωση σε κανονικοποιημένες, μη παραμορφωμένες συντεταγμένες. Η διαδικασία εύρεσης του μοντέλου γίνεται offline και μόνο μια φορά, ενώ κατά τη διάρκεια της επεξεργασίας των δεδομένων η διόρθωση των συντεταγμένων γίνεται με αναλυτικό (explicit) τρόπο και εξαιτίας αυτού είναι ταχύτατη. Το μοντέλο που χρησιμοποιείται είναι το εξής: u u u ( a r a r ) 2 a u v a ( r 2 u ) n v n G v1 v1( a1r a2r ) 2 a4u1v 1 a3( r 2 v1 ) (3.23) όπου 2 2 G 1 ( a r a u a v a ) r 1 (3.24) Στις παραπάνω σχέσεις οι ποσότητες u 1 και v 1 είναι οι τιμές για τις κανονικοποιημένες συντεταγμένες που δίνει το γραμμικό μοντέλο και προκύπτουν από τις ακόλουθες σχέσεις: u u0 v v0 u1 και v1 (3.25) a a u v ενώ r u v. Οι παράμετροι ενός τέτοιου μοντέλου που πρέπει να υπολογιστούν, 1 1 λοιπόν, είναι 8 (α 1,α 2,...α 8 ). Για τον υπολογισμό των παραμέτρων αυτών ακολουθούνται τα εξής βήματα: Δημιουργούμε ένα πλέγμα δοκιμαστικών σημείων (u ni,v ni ), i=1,2,...n στο σύστημα 40

41 συντεταγμένων της κανονικοποιημένης κάμερας. Έχοντας υπολογίσει τις εσωγενείς παραμέτρους της κάμερας μπορούμε τώρα να βρούμε τις συντεταγμένες τους (u i,v i ), i=1,2,...n στο σύστημα συντεταγμένων της εικόνας (pixel coordinates). Χρησιμοποιώντας στη συνέχεια αυτά τα γνωστά σημεία, σε συνδυασμό με τις σχέσεις ( ), βρισκόμαστε σε θέση να υπολογίσουμε τις παραμέτρους (α 1,α 2,...α 8 ) έτσι ώστε το συνολικό προκύπτον σφάλμα να είναι ελάχιστο. Αυτό κατορθώνεται είτε με επαναληπτική βελτιστοποίηση ελαχίστων τετραγώνων, είτε απευθείας: Παρατηρώντας τις σχέσεις (3.23) και (3.24) βλέπουμε ότι πολλαπλασιάζοντας και τα 2 μέλη της (3.23) με G και φέρνοντας τους αγνώστους α i στο πρώτο μέλος, οι σχέσεις που προκύπτουν αποτελούν ένα γραμμικό σύστημα ως προς τα α i : Tb e όπου e u u, v v, u u, v v,..., u u, v v n1 11 n1 11 n2 12 n2 12 nn 1N nn 1N και b a 1, a2,..., a8 ενώ T είναι ο πίνακας των συντελεστών των αγνώστων. Επειδή έχουμε περισσότερα σημεία από τον ελάχιστο απαιτούμενο αριθμό (4), η βέλτιστη λύση υπό την έννοια των ελαχίστων T T τετραγώνων δίνεται από τη σχέση b ( T T) 1 T e. H μέθοδος του αντίστροφου μοντέλου για την εύρεση των κανονικοποιημένων συντεταγμένων των σημείων της εικόνας δίνει μικρότερο σφάλμα (τάξη 0.01 pixel) και είναι ταυτόχρονα και ταχύτερη. Για τους λόγους αυτούς στην εργασία μας θα χρησιμοποιηθεί αυτή η μέθοδος. 41

42 Κεφάλαιο 4 Εύρεση των παραμέτρων της κάμερας 4.1 Εισαγωγή Στο κεφάλαιο αυτό θα παρουσιαστούν οι κύριες μέθοδοι εύρεσης των παραμέτρων της κάμερας. Στη συνέχεια θα παρουσιαστούν τα πειραματικά αποτελέσματα στα οποία καταλήγουμε, χρησιμοποιώντας δική μας κάμερα. Η εύρεση παραμέτρων της κάμερας ή βαθμονόμηση της κάμερας αναφέρεται στη διεθνή βιβλιογραφία ως camera calibration και είναι μια από τις πιο σημαντικές διαδικασίες για την εύρεση της τρισδιάστατης δομής του χώρου. Για να φτάσει κανείς σε σημείο να κανονικοποιήσει τις συντεταγμένες των σημείων μιας εικόνας κρίνεται απαραίτητη η γνώση των παραμέτρων της κάμερας. Σε πειραματικό στάδιο θα δειχθεί ότι και η παραμικρή απόκλιση από τις πραγματικές τιμές των παραμέτρων επάγεται συστηματικά σφάλματα. Όταν γνωρίζουμε τις παραμέτρους αυτές σημαίνει πως γνωρίζουμε την αναπαράσταση του absolut conic. Είμαστε δηλαδή σε θέση να προσδιορίσουμε τη δομή του χώρου σε μετρικό επίπεδο. Μπορούμε να βρούμε τη δομή του χώρου σε προβολικό επίπεδο και χωρίς αυτές. Σε αυτήν την περίπτωση όμως υπάρχει το ενδεχόμενο η αναπαράσταση να μην έχει καμία ομοιότητα με την πραγματική δομή του γνωστού μας ευκλείδειου χώρου. 4.2 Μέθοδοι εύρεσης των παραμέτρων της κάμερας Η βαθμονόμηση της κάμερας έχει μελετηθεί εκτενώς τα τελευταία 30 χρόνια και έχουν προταθεί πολλές λύσεις, από τις οποίες οι πιο αποτελεσματικές βασίζονται σε πρότυπα βαθμονόμησης. Σημειώνουμε πως είναι δυνατό, ακόμη και χωρίς τέτοια πρότυπα, να εκτελεσθεί η βαθμονόμηση. Ειδικότερα, τον τελευταίο καιρό έχουν δημιουργηθεί αποδοτικοί αλγόριθμοι που χρησιμοποιούν ελάχιστες πληροφορίες, όσον αφορά τη βαθμονόμηση δύο καμερών για εξωγενείς παραμέτρους [12], [13]. Ωστόσο, μια αποδοτική βαθμονόμηση των συστημάτων πολλαπλών καμερών (multi-camera systems), εξακολουθεί να αποτελεί δύσκολο πρόβλημα. Τεχνικές camera calibration που αφορούν ζεύγη καμερών δεν ανάγονται εύκολα σε συστήματα πολλαπλών καμερών λόγω ευαισθησίας τους σε σφάλματα και χρονοβόρων υπολογισμών που περιλαμβάνουν πίνακες περιστροφής. Η γενική μεθοδολογία για την εύρεση των παραμέτρων της κάμερας περιλαμβάνει: τη λήψη φωτογραφιών από στόχους των οποίων τα σημεία έχουν γνωστές συντεταγμένες 42

43 τον προσδιορισμό των συντεταγμένων των απεικονίσεων των σημείων αυτών στις εικόνες (pixel coordinates) την εύρεση των παραμέτρων της κάμερας οι οποίες μας δίνουν με την καλύτερη δυνατή προσέγγιση τις παρατηρούμενες απεικονίσεις Συνήθως οι στόχοι-πρότυπα βαθμονόμησης (calibration patterns) αποτελούνται από ένα ή περισσότερα επίπεδα επάνω στα οποία έχουμε σχεδιάσει ασπρόμαυρα τετράγωνα. Αυτό είναι σημαντικό καθώς μας διευκολύνει πάρα πολύ στην εξαγωγή των σημείων ενδιαφέροντος (των γωνιών των τετράγωνων) ώστε αυτή να γίνεται εύκολα και με ακρίβεια με αλγόριθμους επεξεργασίας εικόνων. Τα σημεία του πρότυπου βαθμονόμησης δεν προβάλλονται πάντα με απόλυτη ακρίβεια στα pixels που θα έπρεπε. Αυτό εξηγείται απλά αν σκεφτεί κανείς ότι εισάγεται ηλεκτρονικός θόρυβος λόγω των διατάξεων της κάμερας και λόγω του θορύβου κβαντισμού που παρατηρείται στις εικόνες. Επιπλέον τούτου, οι αλγόριθμοι εντοπισμού γωνιών παρουσιάζουν συνήθως μια μικρή απόκλιση (της τάξης των 1-2 pixels) μεταξύ του πραγματικού σημείου της γωνίας και του σημείου το οποίο δίνουν στην απόκρισή τους. Αυτό καθιστά αναγκαία τη χρήση πολλών σημείων για την επίλυση των εξισώσεων και συγκεκριμένα περισσοτέρων από τον αριθμό αγνώστων. Έτσι θεωρούμε ότι τα σφάλματα δεν είναι συστηματικά και αποτελούν θόρυβο με μέση τιμή μηδέν και συνεπώς κερδίζουμε όσον αφορά την ακρίβεια. Η επίλυση του συστήματος εξισώσεων δεν έχει ακριβή λύση και για αυτό απαιτούνται μέθοδοι ελαχιστοποίησης. Οι μέθοδοι εύρεσης των παραμέτρων της κάμερας κατατάσσονται σε κατηγορίες ανάλογα: με το μοντέλο της κάμερας. Σε περιπτώσεις όπου δεν απαιτείται υψηλή ακρίβεια ή όπου η χρησιμοποιούμενη κάμερα έχει πολύ μικρές παραμορφώσεις, μπορούμε να χρησιμοποιήσουμε το απλό γραμμικό μοντέλο. Συνήθως όμως χρειάζεται να λάβουμε υπόψη και κάποιους όρους μη γραμμικής παραμόρφωσης. με το αν χρησιμοποιείται δισδιάστατο ή τρισδιάστατο πρότυπο βαθμονόμησης (calibration pattern) για την εξαγωγή των παραμέτρων με το αν η βελτιστοποίηση που χρησιμοποιούμε είναι επαναληπτική ή όχι. Στην πρώτη περίπτωση συνήθως χρησιμοποιούμε γραμμικά ελάχιστα τετράγωνα ενώ στη δεύτερη, πιο ακριβείς επαναληπτικές μεθόδους που παίρνουν και περισσότερο χρόνο για την υλοποίησή τους. με το αν η βελτιστοποίηση γίνεται ως προς τα στοιχεία του πίνακα προβολής Ρ (ή κάποιου άλλου βοηθητικού πίνακα) ή ως προς τις εσωγενείς και εξωγενείς παραμέτρους. Οι πρώτες μέθοδοι λέγονται έμμεσες (implicit) γιατί η εξαγωγή των παραμέτρων γίνεται από τα στοιχεία του πίνακα, ενώ οι δεύτερες λέγονται άμεσες (explicit) γιατί η εξαγωγή των παραμέτρων γίνεται κατευθείαν από τις παρατηρήσεις. Ανεξάρτητα από το είδος του πρότυπου βαθμονόμησης που χρησιμοποιούμε, στις περισσότερες περιπτώσεις οι αλγόριθμοι εύρεσης των παραμέτρων χωρίζονται σε δύο στάδια. Στο πρώτο στάδιο, χρησιμοποιώντας το απλό γραμμικό μοντέλο και γραμμικά ελάχιστα τετράγωνα, γίνεται μια πρώτη εκτίμηση για τις εσωγενείς παραμέτρους α u, α v, u 0, 43

44 v 0. Συνήθως στοχεύουμε στο να διατηρήσουμε το σύστημα των εξισώσεων γραμμικό. Οπότε στο στάδιο αυτό χρησιμοποιούμε έμμεσες μεθόδους, δηλαδή η ελαχιστοποίηση γίνεται ως προς τα στοιχεία κάποιου βοηθητικού πίνακα. Στη συνέχεια, από τα στοιχεία αυτά εξάγουμε τις εσωγενείς παραμέτρους. Αυτή η διαδικασία είναι εξαιρετικά γρήγορη και δίνει μια πρώτη προσέγγιση των παραμέτρων αυτών. Η προσέγγιση αυτή συνήθως δεν είναι ικανοποιητική για τις περισσότερες εφαρμογές. Παρ' όλα αυτά απαιτείται στο δεύτερο στάδιο της μεθόδου. Σε αυτό το στάδιο χρησιμοποιούμε το πλήρες μοντέλο για την κάμερα (συμπεριλαμβανομένων και των μη γραμμικών όρων) και με τη χρήση μιας επαναληπτικής μεθόδου ελαχιστοποίησης, βρίσκουμε τις τελικές τιμές για το σύνολο των εσωγενών παραμέτρων του πλήρους μοντέλου. Επειδή οι επαναληπτικές αυτές μέθοδοι γενικά έχουν πολύ μικρή περιοχή σύγκλισης, απαιτείται να έχουμε μια αρκετά καλή πρώτη προσέγγιση της λύσης και αυτό το σκοπό εξυπηρετεί η λύση που προκύπτει από το πρώτο, γραμμικό στάδιο. Ως πρώτη προσέγγιση των συντελεστών παραμόρφωσης συνήθως θεωρούμε το μηδέν. Εκτός από το γεγονός ότι στο δεύτερο στάδιο της μεθόδου χρησιμοποιούμε το ακριβέστερο, πλήρες μοντέλο για την κάμερα, τα δυο στάδια της παραπάνω μεθόδου διαφέρουν και ως προς το κριτήριο βελτιστοποίησης. Συγκεκριμένα, κατά τη βελτιστοποίηση θα θέλαμε να βρούμε το σύνολο εκείνων των παραμέτρων, για τις οποίες όταν προβάλλουμε στις εικόνες τα σημεία του προτύπου, η απόσταση των επαναπροβαλλόμενων στην εικόνα σημείων από τα σημεία τα οποία παρατηρούμε στις εικόνες θα είναι ελάχιστη. Στο πρώτο στάδιο, με σκοπό να προκύψουν γραμμικές εξισώσεις, χρησιμοποιούμε ένα κριτήριο το οποίο δεν έχει το παραπάνω φυσικό νόημα, με αποτέλεσμα να υποβαθμίζονται περισσότερο τα αποτελέσματα. Μια απ'τις πρώτες μεθόδους αναπτύχθηκε το 1982 και είναι γνωστή ως μέθοδος του Hall και έχει τρισδιάστατο πρότυπο βαθμονόμησης [8], [10], [14]. Αυτή πλέον θεωρείται αρκετά παλιά και ξεπερασμένη. Παρ' όλα αυτά αποφασίσαμε να παρουσιάσουμε, τουλάχιστον σε θεωρητικά πλαίσια, τη μέθοδο αυτή. Εκτενέστερα και σε επίπεδο προγραμματισμού θα ασχοληθούμε με μια λίγο πιο πρόσφατη μέθοδο (1999) που ακούει στο όνομα μέθοδος του Zhang. Σε αυτήν την περίπτωση έχουμε επίπεδο πρότυπο βαθμονόμησης όπου υπεισέρχονται σφάλματα λιγότερο του 1/3 της μεθόδου Hall [15], [16]. i. Μέθοδος του Hall Η μέθοδος εύρεσης των παραμέτρων της κάμερας Hall βασίζεται στο γραμμικό μοντέλο για την κάμερα. Είναι μια έμμεση μέθοδος αφού στη βελτιστοποίηση χρησιμοποιούμε τα στοιχεία του πίνακα προβολής. Η σχέση προβολής των σημείων του χώρου είναι: u p p p p X Y v p21 p22 p23 p 24 (4.1) Z s p31 p32 p33 p 34 1 όπου (X,Y,Z) είναι οι ευκλείδειες συντεταγμένες των σημείων του στόχου αναφοράς και (X,Y,Z,1) είναι οι ομογενείς τους συντεταγμένες. Οι συντεταγμένες σε pixels των σημείων επί της εικόνας (u,v) για τις οποίες είναι δυνατό να τις μετρήσουμε, είναι: 44

45 u u και s v v (4.2) s Από τις σχέσεις αυτές βλέπουμε ότι μπορούμε να εξάγουμε δύο περιορισμούς για τα στοιχεία του πίνακα Ρ από κάθε σημείο επί της εικόνας: p X p Y p Z p u p X p Y p Z p p X p Y p Z p v p X p Y p Z p και (4.3) Όπως έχει προαναφερθεί, η εύρεση του πίνακα Ρ είναι δυνατόν να γίνει μόνο ως προς ένα πολλαπλασιαστικό παράγοντα (δηλαδή ο πίνακας έχει 11 βαθμούς ελευθερίας). Επομένως, μπορούμε να θέσουμε αυθαίρετα το στοιχείο p 34 =1. Mε αυτόν τον τρόπο αναζητούμε μια μοναδική λύση για τα υπόλοιπα 11 στοιχεία του πίνακα. Βρισκόμαστε σε τώρα σε θέση να γράψουμε τις σχέσεις (4.3) ως εξής: u p11x p12y p13z p14 p31x p32y p33z (4.4) v p21x p22y p23z p24 p31x p32y p33z Στις σχέσεις αυτές οι ποσότητες u,v είναι οι συντεταγμένες σε pixel της προβολής του κάθε σημείου του πρότυπου βαθμονόμησης, τις οποίες μπορούμε να μετρήσουμε επί της εικόνας. Οι Χ,Υ,Ζ είναι οι συντεταγμένες του σημείου αυτού στον τρισδιάστατο ευκλείδειο χώρο, οι οποίες είναι εκ των προτέρων γνωστές. Επομένως, οι σχέσεις (4.4) αποτελούν γραμμικές εξισώσεις ως προς τα στοιχεία του Ρ. Αν έχουμε αρκετά σημεία, μπορούμε να δημιουργήσουμε ένα σύστημα εξισώσεων, και να υπολογίσουμε τα p ij. Επειδή κάθε σημείο της εικόνας μάς παρέχει 2 ανεξάρτητες εξισώσεις και έχουμε 11 αγνώστους, χρειαζόμαστε τουλάχιστον 6 σημεία για να υπάρχει μία μοναδική λύση. Στην πράξη όμως χρησιμοποιούμε αρκετά σημεία παραπάνω, ούτως ώστε να μειωθεί η επίδραση του θορύβου στις μετρήσεις μας. Το σύστημα που δημιουργείται αν χρησιμοποιούμε Ν σημεία της εικόνας είναι: p11 p 12 X1 Y1 Z u1 X1 u1y 1 u1 Z1 p 13 u X1 Y1 Z1 1 v1x1 v1y1 v1z 1 p 14 v 1 p 21 u 2 p22 v2 p 23 XN YN ZN un XN unyn un ZN p24 un XN YN ZN 1 vn XN vnyn vn Z N p 31 v N p32 p34 (4.5) Παρατηρούμε ότι το σύστημα (4.5) είναι της μορφής Ax=b, όπου Α είναι ένας πίνακας διαστάσεων 2Ν 11, το διάνυσμα x περιέχει 11 αγνώστους (p 11...p 33 ) ενώ το διάνυσμα b 45

46 αποτελείται από 2N στοιχεία. Αποδεικνύεται εύκολα ότι αυτός ο πίνακας είναι πλήρους τάξης μόνο αν τα σημεία τα οποία χρησιμοποιούμε είναι μη συνεπίπεδα. Αυτό αιτιολογεί την απαίτηση ενός τρισδιάστατου προτύπου βαθμονόμησης της μεθόδου Hall. Έστω τώρα 1 η λύση x ( A T T A) A b η οποία είναι σε κλειστή μορφή. Η τελευταία ελαχιστοποιεί το τετράγωνο του σφάλματος στη σχέση (4.5) καθώς το σύστημα των εξισώσεων είναι υπερορισμένο. Εμείς, όμως, ουσιαστικά στοχεύουμε στο να ελαχιστοποιήσουμε την απόκλιση των συντεταγμένων των προβολών των σημείων στην εικόνα που δίνονται από τις σχέσεις (4.1) και (4.2) από τις πραγματικές προβολές, τις συντεταγμένες των οποίων μετράμε πάνω στην εικόνα. Όμως αυτό θα σήμαινε ότι η προς ελαχιστοποίηση συνάρτηση θα γινόταν μη γραμμική και επομένως θα χανόταν η απλότητα της μεθόδου. Καταλαβαίνει έτσι κανείς ότι το προηγούμενο κριτήριο που ελαχιστοποιεί το τετράγωνο σφάλματος δεν έχει το φυσικό νόημα που απαιτούμε. Στο κεφάλαιο 3 φτάσαμε στον προσδιορισμό μιας χρήσιμης σχέσης, της (3.16). Αυτή υπενθυμίζεται εδώ: αur1 u0r3 αut x u0tz P αvr2 v0r3 αvty v0t z r3 t z (4.6) Σε αυτό το σημείο τίθεται το ερώτημα του ποιός είναι ο σκοπός ή στόχος μας. Είναι ο υπολογισμός των εσωγενών και εξωγενών παραμέτρων της κάμερας, ακριβώς μέσω αυτού του πίνακα P. Με βάση τη μορφή του πίνακα αυτού και χρησιμοποιώντας περιορισμούς ορθοκανονικότητας που ισχύουν για τα διανύσματα r i, μπορούμε να καταλήξουμε σε αυτές τις παραμέτρους. Πρέπει, όμως, να κάνουμε χρήση ενός τεχνάσματος. Παρατηρούμε ότι πρέπει r 3 1. Με βάση τον περιορισμό αυτό βρίσκουμε κατευθείαν τον παράγοντα με τον οποίο πρέπει να πολλαπλασιαστεί ο πίνακας ο οποίος έχει βρεθεί από τη λύση τoυ συστήματος ώστε να έρθει στη μορφή (4.6). Συμβολίζουμε αυτόν τον κανονικοποιημένο πίνακα ως: a A a a A 1 14 A 2 24 A 3 34 όπου τα a i είναι διανύσματα γραμμής, δηλαδή πίνακες διαστάσεων 1 3. Μέσω απλών υπολογισμών καταλήγουμε στα εξής αποτελέσματα: Για τις εσωγενείς παραμέτρους: T T T 1/2 T 1/2 u aa, v aa, a ( aa u ), a ( aa v ) (4.7) Για τις εξωγενείς παραμέτρους: u v r1 1 ( a1 u0a ) 3, r2 1 ( a2 v0a ) 3, r3 a3 (4.8) a a u v 46

47 1 t ( A u A ) 1 ( ), tz A34 x , ty A24 v0a34 au av Η γραμμικότητα της μεθόδου του Hall έχει το πλεονέκτημα ότι δεν απαιτεί χρήση μη γραμμικών μεθόδων βελτιστοποίησης. Όμως έχει τα μειονεκτήματα της χρήσης του απλού γραμμικού μοντέλου, του ότι η βελτιστοποίηση δεν γίνεται ως προς τις παραμέτρους της κάμερας, αλλά ως προς τον πίνακα P και του ότι η βελτιστοποίηση αυτή δεν έχει το φυσικό νόημα που θα θέλαμε. Ως επακόλουθο τα αποτελέσματα της μεθόδου αυτής στις περισσότερες περιπτώσεις δεν είναι αρκετά ακριβή ii. Μέθοδος του Zhang Η μέθοδος αυτή, όπως προαναφέρθηκε, χρησιμοποιεί ένα επίπεδο πρότυπο βαθμονόμησης. Σε σχεδόν όλες τις περιπτώσεις το πρότυπο αυτό αποτελείται από ένα σχέδιο σκακιέρας, τυπωμένο σε ένα χαρτί το οποίο τοποθετείται σε μια επίπεδη επιφάνεια. Στην εφαρμογή της μεθόδου Zhang χρησιμοποιούνται συνεπίπεδα σημεία, πράγμα το οποίο στη μέθοδο Hall δεν είναι εφικτό. Αυτό είναι αρκετά σημαντικό, καθώς η μέθοδος του Ηall χρησιμοποιεί μη επίπεδο πρότυπο βαθμονόμησης του οποίου απαιτείται να γνωρίζουμε με μεγάλη ακρίβεια τις συντεταγμένες. Αυτό κάτι απαιτεί πολύ προσεκτική κατασκευή του πρότυπου και είναι ταυτοχρόνως δύσκολο και χρονοβόρο. Η μέθοδος του Zhang ακολουθεί τη διαδικασία των δυο βημάτων η οποία περιγράφηκε και στην εισαγωγή. Στο πρώτο στάδιο θεωρούμε το γραμμικό μοντέλο της κάμερας και βρίσκουμε μια πρώτη προσέγγιση των εσωγενών παραμέτρων. Στη συνέχεια, θεωρώντας το πλήρες μοντέλο της κάμερας, χρησιμοποιούμε μια μη γραμμική μέθοδο βελτιστοποίησης για να βρούμε το σύνολο των παραμέτρων του πλήρους μοντέλου. Χωρίς απώλεια της γενικότητας υποθέτουμε ότι το επίπεδο το οποίο αποτελεί το πρότυπο βαθμονόμησης είναι το επίπεδο Ζ=0. Η σχέση που θα δίνει την προβολή ενός σημείου του επιπέδου αυτού στο επίπεδο της εικόνας θα είναι: u m s v PM Ar1 r2 r3 t 1 X Y 0 1 au 0 u0 όπου Α ο πίνακας 0 av v 0 των εσωγενών παραμέτρων, r i είναι τα διανύσματα του πίνακα περιστροφής των εξωγενών παραμέτρων και t το διάνυσμα θέσης των εξωγενών παραμέτρων. Αγνοώντας τη μηδενική συντεταγμένη, η παραπάνω σχέση γράφεται: u X m s v Ar1 r2 t Y 1 1 (4.9) 47

48 Τα σημεία του επιπέδου του πρότυπου βαθμονόμησης μπορούμε να τα περιγράψουμε με 2 T M XY, M XY,,1 T, αν θεωρήσουμε το επίπεδο του (ευκλείδειες) συντεταγμένες ή στόχου σαν ένα προβολικό επίπεδο. Έχουμε ήδη αναφέρει ότι η κάμερα εκτελεί έναν προβολικό μετασχηματισμό από τον τρισδιάστατο προβολικό χώρο στον δισδιάστατο προβολικό χώρο του επιπέδου της εικόνας. Στη συγκεκριμένη περίπτωση που εξετάζουμε, όπου λαμβάνουμε εικόνες ενός επιπέδου, εκτελούμε έναν δισδιάστατο προβολικό μετασχηματισμό (homography) από το επίπεδο του πρότυπου βαθμονόμησης στο επίπεδο της εικόνας. Ο μετασχηματισμός αυτός περιγράφεται από τον αντιστρέψιμο 3 3 πίνακα: H A r r t (4.10) 1 2 Δύναται πλέον ο προσδιορισμός του πίνακα Η αν έχουμε δεδομένη μια εικόνα του επιπέδου βαθμονόμησης και την αντιστοιχία των συντεταγμένων των σημείων του επιπέδου αυτού με τις συντεταγμένες των προβολών του στην εικόνα. Έτσι γνωρίζοντας τον πίνακα H=[h 1 h 2 h 3 ] σε συνδυασμό με τις (4.9) και (4.10) προκύπτει η σχέση (4.11). Στη συνέχεια, χρησιμοποιώντας τις συνθήκες ορθοκανονικότητας των διανυσμάτων r 1 και r 2 καταλήγουμε στις σχέσεις (4.12) και (4.13): όπου λ είναι μια αυθαίρετη σταθερά. h h h λar r t (4.11) T T h A A 1 1 h2 0 (4.12) T T 1 T T 1 h A A h h A A h (4.13) Οι δύο τελευταίες σχέσεις αποτελούν δύο περιορισμούς για τις εσωγενείς παραμέτρους. Μπορούμε να τους εξάγουμε από μια εικόνα του επιπέδου βαθμονόμησης. Πράγματι, ο προβολικός μετασχηματισμός Η έχει 8 βαθμούς ελευθερίας που σημαίνει ότι από την εύρεσή του μπορούν να προκύψουν 8 περιορισμοί. Οι εξωγενείς παράμετροι έχουν 3 περιστροφικούς και 3 μετατοπικούς βαθμούς ελευθερίας ανά εικόνα, άρα μπορούμε να εξάγουμε μόνο 2 περιορισμούς για τις εσωγενείς παραμέτρους ανά εικόνα Λύση κλειστής μορφής Για να προσδιορίσουμε τη λύση σε κλειστή μορφή, βασιζόμενοι στον Zhengyou Zhang, θα ξεκινήσουμε με μια αναλυτική λύση. Αυτή η αρχική εκτίμηση θα ακολουθείται από μια τεχνική μη γραμμικής βελτιστοποίησης βασιζόμενη στο κριτήριο μέγιστης πιθανότητας. Έστω 48

49 B11 B12 B13 T 1 B A A B21 B22 B 23 B 31 B32 B 33 1 γ v0γ u0β α α β α β 2 γ γ 1 γ( v0γ u0β) v α β α β β α β β 2 2 v0γ u0β γ( v0γ u0β) v0 ( v0γ u0β) v α β α β β α β β (4.14) Σημειώνουμε ότι ο πίνακας B είναι συμμετρικός και ορίζεται από το 6D-διάνυσμα b=[b 11 B 12 B 22 B 13 B 23 B 33 ]. Έστω η i-οστή στήλη του διανύσματος H είναι h i =[h i1 h i2 h i3 ] T. Τότε θα έχουμε: T h Bh T v b i j ij με vij h i1hj1, hi 1hj2 hi 2hj1, hi 2hj2, hi 3hj1 hi 1hj3, hi 3hj2 hi 2hj3, hi 3hj3. Συνεπώς οι δύο θεμελιώδεις περιορισμοί (4.12) και (4.13), από ένα δεδομένο homography, μπορούν να ξαναγραφούν σαν δύο ομογενείς εξισώσεις ως: T T v12 ( v11 v22) T b 0 (4.15) Έχοντας λοιπόν n εικόνες του επιπέδου, βρισκόμαστε σε θέση να δημιουργήσουμε το σύστημα Vb=0, όπου V ένας 2n 6 πίνακας. Πρόκειται για ένα υπερ-ορισμένο σύστημα του οποίου η βέλτιστη λύση είναι το ιδιοδιάνυσμα του πίνακα V T V που αντιστοιχεί στη μικρότερη ιδιοτιμή. Μόλις εκτιμηθεί το b μπορούμε να υπολογίσουμε όλες τις εσωγενείς παραμέτρους της κάμερας ως ακολούθως: Ο πίνακας B εκτιμάται ανά έναν παράγοντα κλιμάκωσης, π.χ. B=λA -T A με λ αυθαίρετο παράγοντα. Δίχως δυσκολία τώρα, μπορούμε να εξάγουμε τις εσωγενείς παραμέτρους της κάμερας από τον πίνακα B: 49

50 v B11B 22 B12 0 B B λb α β γ u 33 2 B13 v0( B12B 13 B11B 23) B λ B γv α 11 λb B B B12 2 B12αβ 0 13 B B λ B α λ 2 11 Μόλις είναι γνωστός ο A, οι εξωγενείς παράμετροι υπολογίζονται εύκολα. Από τη σχέση (4.11) έχουμε: όπου r r 1 λa h λa h 2 2 r r r t λa h Βεβαίως, εξαιτίας του θορύβου στα δεδομένα, ο υπολογισμένος 1 1 A h A h λ 1 2 πίνακας R=[r 1 r 2 r 3 ] σε γενικές γραμμές δεν ικανοποιεί τις ιδιότητες ενός πίνακα περιστροφής. Η παραπάνω λύση βρίσκεται με την ελαχιστοποίηση μιας απόστασης η οποία όμως δεν έχει φυσικό νόημα. Μπορούμε να τη βελτιστοποιήσουμε με τη διαδικασία υπολογισμού της μέγιστης πιθανότητας (maximum likehood estimation). Μας δίνονται n εικόνες ενός πρότυπου επιπέδου το οποίο έχει m σημεία. Υποθέτουμε πως τα σημεία διακόπτονται από ανεξάρτητα και πανομοιότυπα κατανεμημένο θόρυβο. Ο υπολογισμός της μέγιστης πιθανότητας μπορεί να γίνει με την ελαχιστοποίηση της ακόλουθης συνάρτησης: n m 2 m mˆ ij ( A, k1, k2, Ri, ti, Mj) (4.16) i1 j1 όπου mˆ ( A, R, t, M ) είναι η προβολή του σημείου M j στην εικόνα i. Μια περιστροφή R i i j δίνεται από ένα διάνυσμα με 3 παραμέτρους που υποδηλώνεται από το r το οποίο είναι παράλληλο στον άξονα περιστροφής και του οποίου το μέγεθος είναι ίσο με τη γωνία περιστροφής. Η ελαχιστοποίηση της (4.16) αποτελεί ένα μη γραμμικό πρόβλημα στο οποίο δίνει λύση ο αλγόριθμος Levenberg-Marquardt, ο οποίος έχει αποδειχθεί ότι έχει την ταχύτερη σύγκλιση, όπως εφαρμόζεται στο [47]. Απαιτεί μια πρώτη εκτίμηση των A, 50

51 {Ri,ti i=1,2,...n} η οποία μπορεί να ληφθεί χρησιμοποιώντας την τεχνική που περιγράψαμε παραπάνω. Σε όλα τα προηγούμενα δεν έχουμε λάβει υπόψη κάτι πολύ σημαντικό: την παραμόρφωση του φακού της κάμερας. Μια τυπική κάμερα συνήθως παρουσιάζει σημαντική παραμόρφωση του φακού, ειδικά ακτινική παραμόρφωση. Εδώ εξετάζουμε μόνο τους 2 πρώτους όρους της ακτινικής παραμόρφωσης. Η συνάρτηση παραμόρφωσης καθορίζεται ολοκληρωτικά από τις συνιστώσες της ακτινικής παραμόρφωσης και κυρίως από τον πρώτο όρο. Οφείλουμε να σημειώσουμε ότι έχει βρεθεί, πως ένα πιο αναλυτικό μοντέλο όχι μόνο δε θα βοηθούσε παραπάνω αλλά αντιθέτως, θα δυσκόλευε σημαντικά τους υπολογισμούς εισάγοντας σφάλματα λόγω αριθμητικής αστάθειας. Έστω (u,v) οι ιδεατές συντεταγμένες pixel της εικόνας και (uˈ,vˈ) οι πραγματικές συντεταγμένες της εικόνας που παρατηρήθηκαν. Επίσης, (x,y) και (xˈ,yˈ) είναι οι ιδεατές (δίχως παραμόρφωση) και πραγματικές (με παραμόρφωση) κανονικοποιημένες συντεταγμένες της εικόνας. Έχουμε: x x x[k1 (x 2 y 2 ) k2 (x 2 y 2 )2 ] y y y[k1 (x 2 y 2 ) k2 (x 2 y 2 )2 ] όπου k οι συντελεστές ακτινικής παραμόρφωσης. Το κέντρο της ακτινικής παραμόρφωσης ταυτίζεται με το principal point. Από τις σχέσεις u u0 αx γy και v v0 βy μας προκύπτουν οι ακόλουθες σχέσεις: u u (u u0 )[k1 (x 2 y 2 ) k2 (x 2 y 2 )2 ] (4.17) v v (v v0 )[k1 (x2 y 2 ) k2 (x 2 y 2 )2 ] (4.18) Εναλλακτική εκτίμηση της ακτινικής παραμόρφωσης. Καθώς η ακτινική παραμόρφωση αναμένεται να είναι μικρή, θα περίμενε κανείς να καθορίσει τις 5 εσωγενείς παραμέτρους με την τεχνική που αναφέρθηκε προηγουμένως στο παρόν κεφάλαιο. Αυτό θα γινόταν αγνοώντας την παραμόρφωση. Ένας τρόπος είναι, τότε, να εκτιμηθούν οι παράμετροι k1 και k2 αφού έχουν βρεθεί οι υπόλοιπες παράμετροι. Στο σημείο αυτό, από τις (4.17) και (4.18), έχουμε δύο εξισώσεις για κάθε σημείο σε κάθε εικόνα: (u u0 )(x 2 y 2 ) (u u0 )(x 2 y 2 )2 k1 u u (v v0 )(x y ) (v v0 )(x y ) k2 v v Δοθέντων m σημείων σε n εικόνες μπορούμε, συγκεντρώνοντας όλες τις εξισώσεις μαζί, να αποκτήσουμε 2mn εξισώσεις. Σε μορφή πίνακα αυτό θα αντιστοιχούσε σε Dk=d, όπου k=[k1,k2]t. Η γραμμική λύση ελαχίστων τετραγώνων δίνεται από τη σχέση: k (DT D) 1 DT d (4.19) Από τη στιγμή που εκτιμηθούν τα k1,k2 μπορούμε να βελτιστοποιήσουμε τον υπολογισμό των άλλων παραμέτρων λύνοντας τη σχέση (4.16) αντικαθιστώντας τις (4.17), (4.18) στη ˆ (A,Ri, ti, Mj ). Μπορούμε να εναλλάσσουμε αυτές τις δύο διαδικασίες ώσπου να θέση του m παρατηρηθεί σύγκλιση. 51

52 Πλήρης υπολογισμός της μέγιστης πιθανότητας (complete maximum likehood estimation). Έχει βρεθεί πειραματικά πως η παραπάνω τεχνική έχει αργή σύγκλιση. Μια φυσική επέκταση της (4.16) είναι τότε ο προσδιορισμός του πλήρους σετ των παραμέτρων ελαχιστοποιώντας την ακόλουθη συνάρτηση: n m m mˆ ij ( A, k1, k2, Ri, ti, Mj) (4.20) i1 j1 όπου mˆ ( A, k, k, R, t, M ) είναι η προβολή του σημείου M j στην εικόνα i σύμφωνα με τις 1 2 i i j (4.9) και (4.10) ακολουθούμενη από την παραμόρφωση των σχέσεων (4.17) και (4.18). Ομοίως με νωρίτερα η ελαχιστοποίηση της (4.20) αποτελεί ένα μη γραμμικό πρόβλημα στο οποίο δίνει και πάλι λύση ο αλγόριθμος Levenberg-Marquardt Σύνοψη Η προτεινόμενη διαδικασία για να επιτύχουμε γρήγορα και αξιόπιστα τον προσδιορισμό των παραμέτρων, σύμφωνα με τον Z. Zhang [15], είναι: 1. Τύπωσε ένα πρότυπο και προσάρτησέ το σε μια επίπεδη επιφάνεια. 2. Πάρε μερικές εικόνες του μοντέλου του επιπέδου (προτύπου) κάτω από διάφορους προσανατολισμούς (θέσεις), μετακινώντας είτε την κάμερα είτε το επίπεδο (πρότυπο). 3. Βρες τα χαρακτηριστικά σημεία στις εικόνες. 4. Προσδιόρισε τις 5 εσωγενείς παραμέτρους και όλες τις εξωγενείς παραμέτρους χρησιμοποιώντας τη λύση κλειστής μορφής όπως παρουσιάζεται στην παράγραφο Προσδιόρισε τους συντελεστές της ακτινικής παραμόρφωσης λύνοντας τη γραμμική μορφή των ελαχίστων τετραγώνων (4.19). 6. Βελτίωσε όλες τις παραμέτρους, συμπεριλαμβανομένων και των παραμέτρων παραμόρφωσης του φακού, ελαχιστοποιώντας την (4.20) Η μέθοδος του Zhang δίνει πολύ ικανοποιητικά αποτελέσματα όπως θα διαπιστώσουμε και στη συνέχεια. Επιπλέον πλεονεκτεί στο ότι χρειάζεται ιδιαίτερα απλό πρότυπο βαθμονόμησης σε αντίθεση με άλλες μεθόδους όπως αυτής του Hall. 52

53 4.4 Πειραματικά αποτελέσματα Παρακάτω θα παρουσιάσουμε τα αποτελέσματα που λήφθηκαν κατά τη βαθμονόμηση μιας κάμερας. Αναφέρεται ότι στο κεφάλαιο 9 (πυκνή ανακατασκευή χώρου) γίνεται εκ νέου μια βαθμονόμηση κάμερας, με την οποία έγιναν οι λήψεις των εικόνων για την τρισδιάστατη ανακατασκευή Μέθοδος Zhang Στην εφαρμογή της μεθόδου μοντελοποιείται η ακτινική παραμόρφωση του φακού. Τόσο η προσομοίωση σε υπολογιστή όσο σε και πραγματικά δεδομένα έχουν χρησιμοποιηθεί για να δοκιμάσουν την προτεινόμενη τεχνική και έχουν ληφθεί πολύ καλά αποτελέσματα. Σε σύγκριση με κλασικές τεχνικές που χρησιμοποιούν ακριβό εξοπλισμό, όπως δύο ή τρία ορθογώνια επίπεδα, η τεχνική του Zhang είναι εύκολη και ευέλικτη. Για την εφαρμογή της μεθόδου χρησιμοποιήθηκε ο κώδικας του J. Y. Bouguet [18]. Ο λόγος είναι ότι απαιτείται ο προγραμματισμός μιας μεθόδου επαναληπτικής βελτιστοποίησης για ένα πρόβλημα με πάνω από 100 αγνώστους. Παράλληλα, για την εξαγωγή αξιόπιστων αποτελεσμάτων απαιτείται η χρήση αρκετών εικόνων, στις οποίες είναι απαραίτητη η εξαγωγή των σημείων ενδιαφέροντος. Η εύρεση των γωνιών των τετράγωνων του πρότυπου για κάθε μια από τις φωτογραφίες έγινε με τον αλγόριθμο Harris (Harris Corner Detector). Το λογισμικό εύρεσης των παραμέτρων της κάμερας δίνει τη δυνατότητα επιλογής του αριθμού των παραμέτρων που θα χρησιμοποιήσουμε. Έτσι μπορούμε να έχουμε από κανένα έως και 3 όρους ακτινικής παραμόρφωσης και από κανέναν έως 2 όρους εφαπτομενικής παραμόρφωσης ενώ μπορεί και να γίνει χρήση ενός συντελεστή λοξότητας. Τελικά το αποδοτικότερο μοντέλο είναι αυτό του Heikkilä (δυο όροι ακτινικής και δυο όροι εφαπτομενικής παραμόρφωσης) [2]. Το πρότυπό μας αποτελείται από 8 x 8 τετράγωνα τυπωμένα πάνω σε σκληρό χαρτί διαστάσεων 17cm x 17cm. Αυτό σημαίνει ότι συνολικά θα έχουμε 8x8x4=256 γωνίες. Υποθέτουμε πάντα ότι το πρότυπο βρίσκεται σε επίπεδο όπου Ζ=0. Έχουν ληφθεί πέντε φωτογραφίες από μια κοινότυπη κάμερα PULNiX CCD με φακό 6mm. H ανάλυση των εικόνων είναι 640x480 pixels. Παρουσιάζονται στη συνέχεια οι δύο πρώτες εικόνες. Μπορεί να παρατηρήσει κανείς μια σημαντική παραμόρφωση του φακού της κάμερας. 53

54 CalibIm1 CalibIm2 Οι γωνίες ανιχνεύθηκαν ως το σημείο τομής των ευθείων γραμμών που τοποθετούνται σε κάθε τετράγωνο. Οι συντεταγμένες των γωνιών είναι διαθέσιμες εδώ [17]. Παρακάτω θα δείξουμε τις δύο πρώτες εικόνες με τα εντοπισμένα σημεία που υποδεικνύονται ως +. 54

55 Marked Corners 1 Marked Corners 2 Τρέχοντας το Camera Calibration Toolbox στο MATLAB λαμβάνουμε τα εξής αποτελέσματα: Calibration results after optimization (with uncertainties): Focal Length: fc = [ ] ± [ ] Principal point: cc = [ ] ± [ ] Skew: alpha_c = [ ] ± [ ] => angle of pixel axes = ± degrees Distortion: kc = [ ] ± [ ] Pixel error: err = [ ] 55

56 Να λοιπόν τι μας λέει η βαθμονόμηση (calibration): - Έχουμε τετράγωνο pixel (aspect ratio = 1). - Το εστιακό μήκος είναι pixels. - Το κέντρο της εικόνας βρίσκεται στο σημείο ( , ) (pixels). - Υπάρχει σημαντική ακτινική παραμόρφωση k1 = , k2 = Το σφάλμα επαναπροβολής των σημείων είναι περίπου pixels Οι πίνακες Η i για i=1,2,...5 για τις πέντε εικόνες συμπεριλαμβάνουν πληροφορίες για τον rotation matrix R καθώς και τον translation vector t. Συνολικά: α γ β u o v o k 1 k [H 1 ]= [H 2 ]= [H 3 ]=

57 [H 4 ]= [H 5 ]= Οι εκτιμώμενες παράμετροι παραμόρφωσης μας επιτρέπουν να διορθώσoυμε την παραμόρφωση στις αρχικές εικόνες. Παρακάτω, δείχνουμε τις πρώτες δύο διορθωμένες εικόνες και δίπλα τους οι αντίστοιχες αρχικές για λόγους σύγκρισης. Βλέπουμε ότι η κυρτότητα στις αρχικές εικόνες έχει πλέον ισιώσει. CalibIm1 UndistortIm1 CalibIm2 UndistortIm2 57

58 Η γραφική παράσταση για το σφάλμα του επαναπροσδιορισμού που συμβαίνει τρέχοντας τον αλγόριθμο φαίνεται παραδειγματικά παρακάτω: Οι εξωγενείς παράμετροι με επίκεντρο την κάμερα και τον εξωτερικό κόσμο αντίστοιχα θα είναι: Εφαρμογή του μοντέλου του Heikkilä Στην παράγραφο αυτή θα ασχοληθούμε και με το αποδοτικό μοντέλο του Janne Heikkilä του πανεπιστημίου Oulu. Για τα ίδια πρότυπα βαθμονόμησης, πειραματιζόμενοι, θα καταλήξουμε στο συμπέρασμα του Heikkilä [2]. Αυτό σημαίνει ότι οι δύο όροι ακτινικής και δύο εφαπτομενικής παραμόρφωσης θα μας δώσουν το μικρότερο reprojection error. Επίσης, οι φυσικές παράμετροι (χαρακτηριστικά) της κάμερας προσεγγίζονται αρκετά πιο αξιόπιστα με το αν παίρναμε περισσότερους όρους παραμορφώσεων ή λιγότερους. Με βάση τα πέντε πρότυπα-εικόνες από τον Zhang [17] σε συνδυασμό με την τεχνική του Heikkilä [2] και το εργαλείο Camera Calibration Toolbox του MATLAB, εξάγουμε τα εξής: 58

59 Calibration results after optimization (with uncertainties): Focal Length: fc = [ ] ± [ ] Principal point: cc = [ ] ± [ ] Skew: alpha_c = [ ] ± [ ] => angle of pixel axes = ± degrees Distortion: kc = [ ] ± [ ] Pixel error: err = [ ] Note: The numerical errors are approximately three times the standard deviations (for reference). Pixel error: err = [ ] (all active images) Παρατηρούμε τώρα ότι στις παραμέτρους kc εμφανίζονται 4 τιμές διάφορες του μηδενός. Οι πρώτες δύο αναφέρονται στην ακτινική παραμόρφωση και οι άλλες δύο στην εφαπτομενική παραμόρφωση. Παραθέτουμε στη συνέχεια τις επαναπροβολές επί της κάθε μία εικόνας και το νέο διάγραμμα του σφάλματος επαναπροσδιορισμού: 59

60 Οι εξωγενείς παράμετροι με επίκεντρο την κάμερα και τον εξωτερικό κόσμο αντίστοιχα θα είναι: 60

61 Κεφάλαιο 5 Εντοπισμός και αντιστοίχηση σημείων ενδιαφέροντος 5.1 Κατάτμηση εικόνας (image segmentation) Σε αυτή τη φάση της εργασίας μας περνάμε πλέον στην επεξεργασία των εικόνων. Θα ασχοληθούμε εκτενώς με τον εντοπισμό και την αντιστοίχηση σημείων ενδιαφέροντος. Τίθεται το ερώτημα του ποιά είναι αυτά τα σημεία. Όπως και στο προηγούμενο κεφάλαιο τα σημεία αυτά μπορεί να είναι οι γωνίες (corners) σε μια εικόνα. Εντοπίζονται εύκολα και σχετικά αξιόπιστα. Είναι εύκολο να καταλάβουμε ότι τέτοια σημεία σε μια εικόνα έχουν ενδιαφέρον (τουλάχιστον για κάποιον που τις επεξεργάζεται) [19]. Σε τέτοια σημεία μπορούν να «συμβαίνουν» πολλά πράγματα. Μεγάλο ενδιαφέρον μπορεί να υπάρχει επίσης σε ακμές (edges) που με τη σειρά τους αυτά να σημαίνουν για παράδειγμα το πέρας ενός αντικειμένου ή ένα εξόγκωμά του, επίσης μια τομή περισσότερων αντικειμένων κά. Ένα τελευταίο σημαντικό στοιχείο στην επεξεργασία εικόνας αποτελούν οι ευθείες (lines). 5.2 Εντοπισμός γωνιών Ο όρος γωνία σχετίζεται με τη συμπεριφορά της φωτεινότητας της εικόνας που είναι συνάρτηση δύο μεταβλητών και γενικά υποδηλώνει σημεία επί της εικόνας στα οποία η καμπυλότητα της συνάρτησης φωτεινότητας αποκτά ένα τοπικό μέγιστο. Τα σημεία αυτά είναι δυνατόν να αντιστοιχούν στις προβολές επί της εικόνας τόσο των πραγματικών γωνιών αντικειμένων όσο και σημείων σε περιοχές με έντονη υφή (texture). Όπως είναι λογικό, πολλοί αλγόριθμοι εντοπισμού τέτοιον σημείων έχουν αναπτυχθεί. Τέτοιοι αλγόριθμοι προϋποθέτουν το αντίστοιχο μαθηματικό και γεωμετρικό υπόβαθρο καθώς είναι ευνόητο ότι βασιζόμενοι πάνω σε τέτοιου είδους υπολογισμούς και μετατροπές θα γίνεται κάθε φορά η επεξεργασία μιας εικόνας σε περιβάλλον υπολογιστή Ο Αλγόριθμος του Harris Στην εργασία [19] αποδεικνύεται ότι οι γωνίες που εντοπίζονται σε μια εικόνα με τον αλγόριθμο του Harris, εντοπίζονται και στις υπόλοιπες εικόνες που απεικονίζουν το ίδιο χαρακτηριστικό, ληφθείσες από ελάχιστη διαφορετική θέση. Έτσι είναι δυνατόν να γίνει αντιστοίχηση των σημείων ενδιαφέροντος (γωνίες) σε δύο παρόμοιες εικόνες που απεικονίζουν τα ίδια σημεία. Εκτός αυτού οι λοιποί λόγοι επιλογής του συγκεκριμένου 61

62 αλγόριθμου είναι η δυνατότητα εντοπισμού των περισσότερων γωνιών που υπάρχουν σε μια εικόνα. Επίσης ο εντοπισμός με ικανοποιητική ακρίβεια, σθεναρότητα στο θόρυβο και αποφυγή εντοπισμού λανθασμένων σημείων (σημεία τα οποία στην πραγματικότητα δεν αποτελούν γωνίες). Αξίζει να τονίσουμε ότι πρώτα ο αλγόριθμος του Moravec εφάρμοζε ως κριτήριο την τοπική αυτοσυσχέτιση για τον αν ένα σημείο θα αποτελέσει γωνία. Ο αλγόριθμος του Harris στην ουσία αποτελεί βελτίωση αυτού. Πάμε λοιπόν τώρα να προσεγγίσουμε το πρόβλημά μας από μια μαθηματική σκοπιά. Ο αλγόριθμος Harris κάνει χρήση του αναπτύγματος Taylor [20]. Αυτό συμβαίνει για να προσεγγιστούν τιμές δεύτερης παραγώγου. Το τελευταίο κρίνεται αναγκαίο διότι, καθώς οι γωνίες αποτελούν εκ φύσεως δεύτερης τάξης χαρακτηριστικά μιας εικόνας, ένας απευθείας υπολογισμός της δεύτερης παραγώγου (κάνοντας χρήση μασκών συνέλιξης) θα ήταν ευαίσθητος στο θόρυβο της εικόνας. Έτσι θα υπάρχει κακή απόδοση όσον αφορά το θόρυβο. Για κάθε σημείο, το μέτρο γωνιότητας που χρησιμοποιεί ο αλγόριθμος του Harris δίνεται από τον εξής πίνακα: Iˆ C I I 2 x x y I I x y Iˆ 2 y (5.1) όπου I x, I y είναι οι παράγωγοι της εικόνας I στην x και y διεύθυνση αντίστοιχα και το σύμβολο " ˆ " υποδηλώνει τη συνέλιξη με την Gaussian μάσκα. Εδώ λαμβάνει χώρα η ομαλοποίηση (smoothing) ώστε να αυξηθεί η σθεναρότητα του αλγορίθμου όσον αφορά το θόρυβο. Στην εργασία [21] αποδεικνύεται ότι οι δυο ιδιοτιμές (eigenvalues) του πίνακα C είναι ανάλογες με τις κύριες καμπυλότητες της επιφάνειας της εικόνας με την ιδιότητα των συναρτήσεών τους να παραμένουν αναλλοίωτες σε περιστροφές. Αποδεικνύεται πως όταν το ίχνος (trace) του πίνακα είναι μεγάλο τότε στο σημείο εκείνο υπάρχει μια ακμή ενώ όταν η τιμή της ορίζουσας είναι μεγάλη υπάρχει είτε μια ακμή είτε μια γωνία. Συμπεραίνουμε ότι τα σημεία στα οποία και οι δύο ιδιοτιμές του πίνακα είναι μεγάλες, κρίνονται ως γωνίες. Για λόγους εξοικονόμησης χρόνου, αντί του παραπάνω κριτηρίου, χρησιμοποιείται συνήθως η σχέση (5.2): x y x y x y Δ Iˆ Iˆ I I k( Iˆ Iˆ ) (5.2) Έχοντας ορίσει κάποια τιμή κατωφλίου, προσδιορίζουμε τα σημεία για τα οποία η παραπάνω ποσότητα ξεπερνά αυτό το κατώφλι ως γωνίες. Το k παίρνει εμπειρικά την τιμή k=0.04. Ο όρος που περιέχει τη σταθερά αυτή χρησιμοποιείται για πρόληψη αναγνώρισης σημείων ακμών ως γωνίες, γεγονός ανεπιθύμητο στην περίπτωσή μας. Ως μάσκες παραγώγισης για την υλοποίηση του αλγορίθμου χρησιμοποιούνται οι εξής: dx και dy T dx (5.3) Κρίνεται αναγκαία η επιλογή παραμέτρων του αλγορίθμου, για τις οποίες οι «βέλτιστες» τιμές ορίστηκαν μέσω διαδικασίας δοκιμών. Συγκεκριμένα, το παράθυρο Gaussian 62

63 συνέλιξης έχει μέγεθος 5x5 και τυπική απόκλιση σ=5/6, ενώ το κατώφλι για την αναγνώριση κάποιου σημείου ως γωνίας ορίστηκε ίσο με 0.04 (όταν οι τιμές για τα pixels της εικόνας είναι κανονικοποιημένες στο διάστημα [0,1]). Αφού εφαρμοστεί η παραπάνω διαδικασία και εντοπιστούν τα σημεία για τα οποία το μέτρο Δ παίρνει τιμές μεγαλύτερες του κατωφλίου, έχουν εντοπιστεί προσεγγιστικά οι γωνίες της εικόνας. Λέμε προσεγγιστικά, διότι ουσιαστικά το κριτήριο αυτό λαμβάνει τιμές μεγαλύτερες του κατωφλίου σε μια περιοχή γύρω από την πραγματική γωνία. Στο επόμενο βήμα ελέγχουμε ένα «παράθυρο», ή καλύτερα μια περιοχή, γύρω από αυτές τις καθορισμένες τιμές. Με αυτόν τον τρόπο ορίζουμε ως το μοναδικό pixel στο οποίο θεωρούμε ότι υπάρχει γωνία, το μέγιστο που εμφανίζεται στο «παράθυρο» αυτό. Θα παρουσιάσουμε τον εντοπισμό των γωνιών με κατώφλι (threshold) 0.04 και τιμή παραθύρου γειτονικών τιμών [5 5]. Οι απεικονιζόμενες γωνίες περιορίζονται στο μέγιστο των 450: Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο Harris. Το παράθυρο αναζήτησης ορίστηκε στο [5 5] Στη συνέχεια ο εντοπισμός των γωνιών αλλάζοντας το παράθυρου αναζήτησης σε [25 25]. Οι απεικονιζόμενες γωνίες και πάλι, περιορίζονται στο μέγιστο των 450: 63

64 Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο Harris. Το παράθυρο αναζήτησης ορίστηκε στο [25 25] Συμπεραίνουμε ότι, επιλέγοντας μια μεγαλύτερη ανεκτικότητα όσον αφορά το παράθυρο αναζήτησης, οι υπολογισμένες γωνίες απλώνονται αισθητά περισσότερο στην εικόνα. Παρ' όλα αυτά οι τιμές που επιλέγουμε για τις παραμέτρους του αλγορίθμου πρέπει να εξαρτώνται κάθε φορά από την κάθε περίπτωση. Σημειώνουμε ότι για μικρότερο όριο γωνιών, π.χ. από 450 σε 150, θα υπολογισθούν περίπου οι ίδιες γωνίες και στις δύο περιπτώσεις, ανεξάρτητα από το παράθυρο που θα επιλέξουμε: Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο Harris. Το παράθυρο αναζήτησης ορίστηκε στο [5 5] 64

65 Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο Harris. Το παράθυρο αναζήτησης ορίστηκε στο [25 25] Αυτό συμβαίνει διότι οι 150 πιο εύκολα υπολογισμένες γωνίες και στις δύο περιπτώσεις συμπίπτουν. Κρίνεται, λοιπόν, σημαντικός και ο ρόλος του θεσμένου ανώτατου ορίου γωνιών. Αυτό μπορεί να έχει για παράδειγμα υπολογιστικό όφελος, ώστε να γίνεται πιο γρήγορα η επεξεργασία εικόνας Ο Αλγόριθμος SURF Ο αλγόριθμος SURF (Speeded-Up Robust Features) υλοποιεί έναν ανιχνευτή για τον προσδιορισμό σημείων ενδιαφέροντος σε μια εικόνα. Παρουσιάστηκε για πρώτη φορά από τον Herbert Bay το 2006 [26]. Μπορεί να χρησιμοποιηθεί σε εργασίες computer vision, όπως την αναγνώριση αντικειμένου ή την τρισδιάστατη ανακατασκευή. Με βάση αυτόν το αλγόριθμο αναπτύσσεται μια νέα μέθοδος για την δημιουργία ενός περιγραφέα. Αρχικά γίνεται η εύρεση σημείων ενδιαφέροντος σε μια εικόνα. Τα σημεία μοναδικότητας παραμένουν ανεπηρέαστα σε διάφορες μεταβολές όπως η αλλαγή κλίμακας ή μεγέθους. Επίσης δεν επηρεάζονται από την περιστροφή και την αλλαγή φωτισμού. Έπειτα, η γειτονιά κάθε σημείου ενδιαφέροντος αναπαρίσταται από ένα χαρακτηριστικό διάνυσμα. Τα χαρακτηριστικά διανύσματα μιας εικόνας συγκρίνονται με τα αντίστοιχα μιας άλλης ώστε να βρεθούν κοινά σημεία ενδιαφέροντος μεταξύ των δύο εικόνων. Πρώτα ο ανιχνευτής χρησιμοποιεί τον Γρήγορο Εσσιανό Πίνακα (Fast Hessian Matrix), ο οποίος βασίζεται στους υπολογισμούς του Hessian πίνακα για κάθε ένα σημείο επί της εικόνας [26]. 'Έπειτα εξάγεται από τον πίνακα η τοποθεσία και ο χώρος κλιμάκωσης και δημιουργούνται τετραγωνικά φίλτρα. Αυτά έχουν μέγεθος 9x9 και υπολογίζουν προσεγγιστικά τη παράγωγο δεύτερης τάξης της Γκαουσιανής συνάρτησης και αναπαριστούν τη μικρότερη κλίμακα μεγέθους. 65

66 Στο επόμενο στάδιο καταβάλλεται προσπάθεια να βρεθεί ένας αξιόπιστος προσανατολισμός βασισμένος στη γύρω περιοχή ενός συγκεκριμένου σημείου ενδιαφέροντος κάθε φορά. Ο ιδανικός προσανατολισμός υπολογίζεται από τη σύγκριση των αθροισμάτων των αποκρίσεων που περιγράφονται από τα τετραγωνικά παράθυρα. Ο προσανατολισμός του σημείου δίνεται από το μεγαλύτερο άθροισμα από τις συγκρινόμενες αντιστοιχίες. Στη συνέχεια κατασκευάζεται μια τετραγωνική περιοχή γύρω από το συγκεκριμένο σημείο που έχει συγκεντρώσει το ενδιαφέρον. Η περιοχή αυτή ευθυγραμμίζεται με τον προϋπολογισμένο προσανατολισμό του ίδιου σημείου. Έτσι παράγεται το διάνυσμα του περιγραφέα το οποίο ουσιαστικά είναι ένας πίνακας με αντιστοιχίες. Στις παραγράφους 7.4 και 8.2 γίνεται χρήση του παραπάνω αλγορίθμου Ο Αλγόριθμος FAST Ο αλγόριθμος FAST (features from accelerated segment test) βασίζεται στο κριτήριο AST (accelerated segment test), το οποίο αποτελεί μια έκδοση του SUSAN [27]. Αντί να γίνεται αξιολόγηση ενός κυκλικού δίσκου, θεωρούνται μόνο τα pixels σε έναν κύκλο Bresenham ακτίνας r γύρω από το υποψήφιο σημείο. Αν n συνεχόμενα pixels είναι φωτεινότερα από το κεντρικό κατά τουλάχιστον t ή είναι όλα πιο σκοτεινά από το κεντρικό κατά t, τότε το pixel στο κέντρο θεωρείται χαρακτηριστικό σημείο. Αναφέρεται ότι η δοκιμή αυτή οδηγεί σε σταθερούς και αξιόπιστους προσδιορισμούς χαρακτηριστικών σημείων. Μολονότι η τιμή της ακτίνας r μπορεί αρχικά να λάβει οποιαδήποτε τιμή, ο αλγόριθμος FAST χρησιμοποιεί την τιμή r=3. Το γεγονός αυτό σημαίνει έναν κύκλο περιφέρειας 16 pixels. Πολλά τεστ έχουν δείξει ότι τα καλύτερα αποτελέσματα προκύπτουν για τιμή του n=9. Η τιμή αυτή είναι η ελάχιστη μέσα στην οποία δεν ανιχνεύονται ακμές. Ας υπολογίσουμε τις γωνίες με βάση αυτόν τον αλγόριθμο. Αρχικά επιλέξαμε την ελάχιστη ποιότητα βάθμωσης (0<Q<1) ίση με την προτεινόμενη τιμή Q=0.1. Έτσι προσδιορίζεται η ελάχιστη αποδεκτή ποιότητα των γωνιών ως ποσοστό της μέγιστης τιμής γωνίας στην εικόνα. Την τιμή της παραμέτρου t την ορίσαμε ίση με t=0.2. Αποτελεί την ελάχιστη διαφορά που έχει μια γωνία και η περιβάλλουσα περιοχή της, σε ποσοστό της μέγιστης τιμής της εικόνας. Επίσης τονίζουμε πως παρουσιάζονται 450 γωνίες σε πλήθος κάθε φορά. Υπολογίστηκαν συνολικά 1262 γωνίες: 66

67 Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο FAST. Τιμές παραμέτρων Q=0.1, t=0.2 Στην ακόλουθη εικόνα θα παραμετρήσουμε τα Q και t δίνοντάς τους τις τιμές 0.9 και 0.6 αντίστοιχα: Σχήμα υπολογισμένες γωνίες με τον αλγόριθμο FAST. Τιμές παραμέτρων Q=0.9, t=0.6 Αξίζει να σημειωθεί πως μόλις 47 γωνίες κατάφεραν να υπολογιστούν με αυτές τις τιμές των παραμέτρων. Συμπερασματικά μπορούμε να πούμε ότι πρόκειται για έναν εξαιρετικά γρήγορο αλγόριθμο. Στην πρώτη περίπτωση (υπολογισμός 1262 γωνιών) καθώς και στη δεύτερη (47 67

68 γωνίες) δεν έγινε αισθητή κάποια διαφορά στο χρόνο επεξεργασίας και εμφάνισης των αποτελεσμάτων. Η ακρίβειά του είναι επίσης ικανοποιητική. 5.3 Εντοπισμός ακμών Ως αναγνώριση ακμών θεωρούνται διάφορες μαθηματικές μέθοδοι που έχουν ως σκοπό τον εντοπισμό σημείων σε μια ψηφιακή εικόνα στην οποία συμβαίνουν ξαφνικές αλλαγές στη φωτεινότητα, ή καλύτερα, παρουσιάζει ασυνέχειες. Ο σκοπός ανίχνευσης απότομων αλλαγών όσον αφορά τη φωτεινότητα, είναι η σύλληψη σημαντικών συμβάντων και αλλαγών που μπορεί να συμβαίνουν σε διάφορα πράγματα στον πραγματικό κόσμο. Κάτω από μερικές παραδοχές για ένα μοντέλο σχηματισμού μιας εικόνας, μπορεί να αποδειχθεί ότι ασυνέχειες στη φωτεινότητα της εικόνας είναι δυνατό να αντιστοιχούν σε [28]: ασυνέχειες σε βάθος αλλαγές σε ιδιότητες των υλικών ασυνέχειες στον προσανατολισμό επιφάνειας διακυμάνσεις στο φωτισμό της σκηνής Συνήθεις αλγόριθμοι για τον υπολογισμό ακμών σε μια εικόνα είναι οι Sobel, Canny και Prewitt. Η εικόνα, της οποίας τις ακμές θα υπολογίσουμε, είναι η ακόλουθη (πρώτα μετατράπηκε σε grayscale image): GB eye Ltd. 68

69 5.3.1 Μέθοδος Sobel Με την τεχνική αυτή υπολογίζονται ακμές χρησιμοποιώντας την προσέγγιση Sobel για την παράγωγο. Επιστρέφει τις ακμές στα σημεία εκείνα όπου η κλίση της εικόνας είναι μέγιστη. Το όριο ευαισθησίας (sensitivity threshold) αφήνεται να υπολογιστεί αυτόματα από το Matlab. Εάν θέλουμε, υπάρχει η δυνατότητα ρύθμισής του για κάθε αλγόριθμο. Σχήμα 5.7 Ακμές εικόνας με τη μέθοδο Sobel Μέθοδος Canny Στις περισσότερες περιπτώσεις είναι σπάνιο να βρεθεί ένας ανιχνευτής ακμών, καλύτερος του Canny. Παρόλο που αναπτύχθηκε στις πρώτες μέρες ανάπτυξης της υπολογιστικής όρασης (computer vision), μπορεί κανείς να πει ότι παραμένει ακόμη και μέχρι σήμερα μέτρο σύγκρισης για κάθε νέο αλγόριθμο. Ο John Canny εξέτασε το μαθηματικό πρόβλημα του να προκύψει το βέλτιστο φίλτρο εξομάλυνσης δεδομένων των κριτηρίων ανίχνευσης, εντοπισμού και ελαχιστοποίησης των πολλαπλών αποκρίσεων σε μια μοναδική ακμή [29]. Έδειξε ότι το βέλτιστο φίλτρο, κάτω από αυτές τις προϋποθέσεις, είναι το άθροισμα τεσσάρων εκθετικών όρων. Ο ίδιος εισήγαγε την έννοια της μη-μέγιστης καταστολής. Αυτό σημαίνει ότι δεδομένων των φίλτρων προ-εξομάλυνσης, τα σημεία ακμής ορίζονται ως σημεία όπου το μέγεθος της κλίσης υποθέτει ένα τοπικό μέγιστο στη διεύθυνση κλίσης. Η έρευνα για τη διασταύρωση με το μηδέν της δεύτερης παραγώγου κατά μήκος της διεύθυνσης κλίσης, προτάθηκε για πρώτη φορά από τον Haralick [30]. Ας δούμε το αποτέλεσμα αυτού του φίλτρου στην πράξη: 69

70 Σχήμα 5.8 Ακμές εικόνας με τη μέθοδο Canny Μέθοδος Prewitt Ο Prewitt operator [31] στην ουσία υπολογίζει την κλίση της έντασης μιας εικόνας σε κάθε σημείο της. Αποδίδει την κατεύθυνση της μεγαλύτερης δυνατής αύξησης, από φωτεινό σε σκοτεινό, καθώς και το ρυθμό μεταβολής σε αυτήν την διεύθυνση. Καταλαβαίνει κανείς ότι έτσι γίνεται φανερό πόσο απότομες ή ομαλές είναι οι αλλαγές της εικόνας στα εκάστοτε σημεία. Με αυτόν τον τρόπο υπολογίζεται η πιθανότητα ενός σημείου να είναι μέρος μιας ακμής. Από μαθηματική σκοπιά, η κλίση μιας συνάρτησης 2 μεταβλητών (στη συγκεκριμένη περίπτωση η συνάρτηση έντασης της εικόνας) είναι ένα δισδιάστατο διάνυσμα σε κάθε σημείο της εικόνας. Οι συνιστώσες του διανύσματος δίνονται από τις παραγώγους στις οριζόντιες και κάθετες διευθύνσεις. Σε κάθε σημείο της εικόνας το διάνυσμα κλίσης δείχνει στην κατεύθυνση της πιθανότερης αύξησης της έντασης. Το μήκος του διανύσματος κλίσης αντιστοιχεί στο ρυθμό μεταβολής σε αυτήν την κατεύθυνση. Αυτό συνεπάγεται ότι το αποτέλεσμα αυτής της μεθόδου, σε ένα σημείο μιας εικόνας το οποίο βρίσκεται σε μια περιοχή σταθερής έντασης, είναι ένα μηδενικό διάνυσμα. Σε ένα σημείο που βρίσκεται επί μιας ακμής θα είναι ένα διάνυσμα που δείχνει πάνω στην ακμή, από σκοτεινότερες σε φωτεινότερες τιμές. Το αποτέλεσμα στην επιλεγμένη εικόνα θα είναι το εξής: 70

71 Σχήμα 5.9 Ακμές εικόνας με τη μέθοδο Prewitt 5.4 Πρώτα συμπεράσματα Παρουσιάζοντας τα αποτελέσματα για τις παραπάνω 3 μεθόδους μπορούμε να δούμε ότι εκείνη του Canny μας εμφανίζει τις περισσότερες λεπτομέρειες πάνω σε μια εικόνα. Αξίζει όμως να σημειωθεί ότι δεν κρίνεται πάντοτε για όλες τις περιπτώσεις η καταλληλότερη. Θα μπορούσε, για παράδειγμα, μια εικόνα να έχει στο μεγαλύτερο μέρος της ένα φόντο αποτελούμενο από μικρές ίνες (τρίχες ή κλωστές). Αυτή η πληροφορία συνήθως μας είναι άχρηστη και αντί αυτού θα θέλαμε να λάβουμε πληροφορία χρήσιμη μόνο για κάποιο αντικείμενο που βρίσκεται στην εικόνα αλλά είναι αισθητά μικρότερο και με λιγότερες λεπτομέρειες σε σχέση με το φόντο της εικόνας. Επίσης, τρέχοντας τους κώδικες για τις διάφορες μεθόδους, παρατηρήσαμε ότι η μέθοδος του Canny απαιτεί τον περισσότερο χρόνο για την επεξεργασία της εικόνας. Παρακάτω θα εμφανίσουμε 2 παραδείγματα. Το πρώτο αφορά μια εικόνα δύο νομισμάτων από απόσταση περίπου 35cm από τον στόχο με ινοειδή φόντο: 71

72 Σχήμα 5.10 Λήψη εικόνας από απόσταση 35cm με ινοειδή φόντο. Εμφανίζονται οι ακμές τις με τις τρεις μεθόδους Παρατηρούμε ότι η μέθοδος του Canny αναγνωρίζει υπερβολικά πολλές ακμές, οι οποίες δε μας βοηθούν στη συγκεκριμένη περίπτωση που θα θέλαμε να για αναγνώριση προτύπου, π.χ. ενός νομίσματος των 2. Σε δεύτερη φάση θα λάβουμε μια παρόμοια φωτογραφία με σχετικά ομοιόμορφο και γυαλιστερό φόντο. Η απόσταση σε αυτή την περίπτωση μειώθηκε σε περίπου 20cm από τον στόχο: 72

73 Σχήμα 5.11 Λήψη εικόνας από απόσταση 20cm με γυαλιστερό φόντο. Εμφανίζονται οι ακμές τις με τις τρεις μεθόδους Και σε αυτήν την περίπτωση οι άλλες δύο μέθοδοι μας επιστρέφουν πιο ικανοποιητικά αποτελέσματα, τουλάχιστον για το γυμνό μάτι. Βεβαίως, τα αποτελέσματα εξαρτώνται και από τις επιλεχθείσες τιμές των παραμέτρων κάθε φορά. Η αναγνώριση ακμών κρίνεται σημαντική για τον υπολογισμό ευθείων/γραμμών. Αυτό το βήμα θα παρουσιάσουμε στη συνέχεια. 5.5 Εντοπισμός ευθειών Έχουμε πλέον κατανοήσει πως ένα πρόβλημα που προκύπτει συχνά στην ψηφιακή επεξεργασία εικόνας είναι η αναγνώριση απλών σχημάτων, όπως ευθείων, κύκλων ή ελλείψεων. Η αναγνώριση ακμών χρησιμοποιείται ως ένα βήμα προ-επεξεργασίας ώστε να συγκεντρωθούν σημεία που βρίσκονται πάνω σε μια επιθυμητή καμπύλη στον χώρο εικόνας. Ωστόσο ενδέχεται να λείπουν σημεία ή pixels πάνω στις επιθυμητές καμπύλες καθώς και να υπάρξουν χωρικές αποκλίσεις μεταξύ των ιδανικών γραμμών/κύκλων/ελλείψεων και των σημείων ακμών που περιέχουν σφάλμα (θόρυβο). Μέσα σε αυτά συμπεριλαμβάνονται ατέλειες δεδομένων της εικόνας και του ανιχνευτή ακμών. Κρίνεται αναγκαία μια ομαδοποίηση των σημείων ακμών σε υποψήφια αντικείμενα. Αυτό συμβαίνει εκτελώντας μια σαφή διαδικασία "ψηφοφορίας" πάνω σε ένα σύνολο παραμετροποιημένων αντικειμένων. 73

74 5.5.1 Ο μετασχηματισμός Hough Ο κλασικός μετασχηματισμός Hough ασχολήθηκε με τον προσδιορισμό γραμμών σε μια εικόνα. Στη συνέχεια επεκτάθηκε στον προσδιορισμό θέσεων αυθαίρετων σχημάτων, συνήθως κύκλων ή ελλείψεων. Όπως χρησιμοποιείται παγκοσμίως σήμερα, ο μετασχηματισμός Hough, εφευρέθηκε από τους R. Duda και H. Peter το Από εκείνους ονομάστηκε "Γενικευμένος Μετασχηματισμός Hough" [32]. Αναγνωρίζει ευθείες χρησιμοποιώντας την παραμετρική αναπαράσταση μιας ευθείας [33]: ρ x cosθ y sinθ (5.4) όπου η μεταβλητή ρ είναι η απόσταση μεταξύ του σημείου προέλευσης και της γραμμής κατά μήκος ενός διανύσματος το οποίο είναι κάθετο στη γραμμή. Η θ είναι η γωνία μεταξύ του άξονα x και αυτού του διανύσματος. Η συνάρτηση Hough δημιουργεί έναν πίνακα του οποίου οι τιμές στις γραμμές και στήλες αντιστοιχούν σε αξίες των τιμών ρ και θ αντίστοιχα. Αφού υπολογίσουμε τις ακμές με τη μέθοδο του Canny στη φωτογραφία που επιλέξαμε, στη συνέχεια χρησιμοποιούμε τη συνάρτηση hough του Matlab. Έτσι μας επιστρέφονται τα διανύσματα ρ και θ και ο πίνακας H που τα περιέχει ως γραμμές και στήλες αντίστοιχα Αφού υπολογίσαμε το μετασχηματισμό Hough, μπορούμε να χρησιμοποιήσουμε τη συνάρτηση houghpeaks για να βρούμε τις τιμές αιχμής στο χώρο των παραμέτρων. Αυτές οι αιχμές αντιπροσωπεύουν πιθανές γραμμές στην εικόνα. Απεικονίζουμε το αποτέλεσμα, όπου οι αιχμές παριστάνονται με πράσινα τετράγωνα: Σχήμα 5.1 Υπολογισμός τιμών αιχμής. Αριστερά για λήψη φωτογραφίας 1 Megapixel και δεξιά για λήψη με 5 Megapixels Αφού εντοπιστούν οι ακραίες αυτές τιμές στο μετασχηματισμό Hough, μπορούμε να χρησιμοποιήσουμε τη συνάρτηση houghlines. Με αυτόν τον τρόπο βρίσκουμε τα άκρα των τμημάτων γραμμών που αντιστοιχούν σε αιχμές στο μετασχηματισμό Hough. Η συνάρτηση αυτή συμπληρώνει αυτόματα μικρά κενά στα τμήματα της γραμμής. Αυτά τα κενά τα ορίσαμε στον κώδικά μας και στις δύο περιπτώσεις ίσα με 3 pixels. Επίσης ως ελάχιστο μήκος pixels για τις ευθείες τα 7 pixels. Οι παράμετροι 74

75 αυτές μπορούν να οριστούν αυθαίρετα, φθάνει κανείς να είναι ικανοποιημένος με το αποτέλεσμα: Σχήμα 5.2 Εμφάνιση των υπολογισμένων ευθειών επί της εικόνας. Αριστερά για λήψη φωτογραφίας 1 Megapixel και δεξιά για λήψη με 5 Megapixels. Οι παράμετροι παρέμειναν και στις δύο περιπτώσεις οι ίδιες. Με κόκκινο έχει εντοπιστεί η μεγαλύτερη σε μήκος ευθεία σε κάθε εικόνα. 5.6 Περίληψη Η κατάτμηση της εικόνας αποτελεί ένα ουσιαστικό πρώτο βήμα στα περισσότερα αυτοματοποιημένα εικονογραφικά προβλήματα αναγνώρισης προτύπων και αναγνώρισης σκηνής. Το φάσμα των μεθόδων στον τομέα της ψηφιακής επεξεργασίας μιας εικόνας είναι ευρύ. Καθίσταται λοιπόν αναγκαία η επιλογή του καταλληλότερου τρόπου προσέγγισης από τις ιδιαιτερότητες του συγκεκριμένου προβλήματος που εξετάζεται κάθε φορά. Στο κεφάλαιο αυτό έγινε μια προσπάθεια να παρουσιαστούν στον αναγνώστη οι αντιπροσωπευτικές τεχνικές που χρησιμοποιούνται στην πράξη, όπως και τα διαδοχικά στάδια που είναι απαραίτητα ώστε να προχωρήσουμε σε περαιτέρω επεξεργασία, όπως είναι η ανακατασκευή ενός χώρου από ληφθείσες διαδοχικές εικόνες. 75

76 Κεφάλαιο 6 Επιπολική Γεωμετρία 6.1 Εισαγωγή Η επιπολική γεωμετρία είναι ένα μαθηματικό μοντέλο της γεωμετρίας που αντιπροσωπεύει τις γεωμετρικές σχέσεις μεταξύ πολλών εικόνων κάμερας του ίδιου αντικειμένου [1]. Με τη βοήθειά της μπορούν να περιγραφούν αντίστοιχα σημεία (corresponding points), δηλαδή σημεία τα οποία παράγει ένα μοναδικό σημείο αντικειμένου στις δύο εικόνες της κάμερας. Παρά το γεγονός ότι τα θεμέλια μιας τέτοιας γεωμετρίας εξετάστηκαν το 1883 από τον Guido Hauck και το 1908 από τον Horst von Sanden, η επιπολική γεωμετρία ήρθε να επιβληθεί με την αυτόματη επεξεργασία των ψηφιακών εικόνων και ιδίως στον τομέα της μηχανικής όρασης (machine vision) απόκτησε ιδιαίτερη σημασία. Ειδικότερα η επιπολική γεωμετρία χρησιμοποιείται για την απόσπαση 3D πληροφοριών από εικόνες. Υποστηρίζει την εκχώρηση αντιστοίχησης σημείων ενδιαφέροντος και μειώνει την προσπάθεια αναζήτησης σημαντικά. Επίσης μας επιτρέπει να μετασχηματίσουμε τις δυο εικόνες της σκηνής, οι οποίες έχουν ληφθεί από τυχαίες θέσεις, σε εκείνες που θα λαμβάναμε από ένα κανονικοποιημένο σύστημα δύο καμερών στο οποίο οι δύο κάμερες έχουν παράλληλους οπτικούς άξονες και η σχετική μεταξύ τους περιστροφή είναι μηδενική. Μια φωτογραφική μηχανή μπορεί να μοντελοποιηθεί γεωμετρικά με το μοντέλο κάμερας μικρής οπής, όπως είδαμε στην παράγραφο 3.1. Σε ένα τέτοιο μοντέλο κάθε σημείο του καταγεγραμμένου αντικειμένου, το κέντρο της προβολής της εικόνας και το αντίστοιχο σημείο του βρίσκονται σε μια ευθεία γραμμή κατά την εγγραφή. Εάν το σημείο αντικειμένου έχει ληφθεί δύο φορές από διαφορετικές θέσεις καθίσταται δυνατός ο υπολογισμός (σε μια επακόλουθη αξιολόγηση μέσω των προσανατολισμών των καμερών) του σημείου τομής των δύο γραμμών και επομένως των συντεταγμένων του σημείου του αντικειμένου. Έτσι μπορούμε να κάνουμε μια τρισδιάστατη αναπαράσταση όταν προσδιοριστούν στις δύο εικόνες τα σημεία ενός object point. Η επιπολική γεωμετρία χρησιμοποιείται για να υποστηρίξει το ακόλουθο localization: με γνωστό (δεδομένο) το σημείο στην πρώτη εικόνα και γνωστή την επιπολική γεωμετρία, η περιοχή αναζήτησης στη δεύτερη εικόνα περιορίζεται σε μια γραμμή (από δισδιάστατο σε μονοδιάστατο χώρο έρευνας). Αφού περνάμε σε μονοδιάστατο χώρο έρευνας διαπιστώνει εύκολα κανείς ότι κερδίζουμε σε χρόνο. Εμείς θα χρησιμοποιήσουμε τις κανονικοποιημένες συντεταγμένες για τις γωνίες επί των εικόνων. Έτσι θα διευκολυνθούμε στους υπολογισμούς αφού με αυτόν τον τρόπο απλοποιούνται αρκετά οι προκύπτουσες σχέσεις. Αυτό μπορεί να γίνει χωρίς βλάβη της γενικότητας διότι από τις συντεταγμένες της εικόνας είναι δυνατή η μετάβαση στις κανονικοποιημένες συντεταγμένες εφόσον γνωρίζουμε τις εσωγενείς παραμέτρους της κάμερας. 76

77 Για πιο λεπτομερή και διεξοδική κατανόηση των ακόλουθων παραγράφων, ο αναγνώστης παροτρύνεται στη βιβλιογραφία των [2], [3], [4], [6] καθώς και [22], [23]. 6.2 Ορισμός επιπολικού περιορισμού Έστω ότι μια κανονικοποιημένη κάμερα λαμβάνει δύο εικόνες μιας στατικής σκηνής από δύο θέσεις. Η κίνηση ανάμεσα σ'αυτές περιγράφεται από μια μετατόπιση t και μια περιστροφή R. Έστω τώρα η εστία της κάμερας (κέντρο) στην πρώτη εικόνα ότι βρίσκεται στο σημείο C ενώ στη η εστία της κάμερας στην δεύτερη εικόνα στο σημείο C' όπως φαίνεται στο σχήμα 7.1. Η μετατόπιση t θα είναι σε αυτήν την περίπτωση t=cc'. Σχήμα 6.1 Σημείο Μ τρισδιάστατου χώρου και προβολές πάνω στις εικόνες. Τα σημεία Μ, C και C' συνεπίπεδα. Το σημείο M του τρισδιάστατου χώρου έχει προβολές m και m αντίστοιχα πάνω στις δύο εικόνες. Είναι προφανές ότι τα σημεία M, C και C' είναι όλα πάνω στο ίδιο επίπεδο. Η ευθεία που συνδέει τα σημεία Μ και C θα περιέχει την προβολή του σημείου Μ και την προβολή της εστίας της κάμερας 1 C. Αντίστοιχα, η ευθεία που συνδέει τα σημεία Μ και C' θα περιέχει την προβολή του σημείου Μ και την προβολή της εστίας της κάμερας 2 C' (κοίτα σχ. 6.2). Για την πρώτη περίπτωση έχουμε θεωρήσει την τομή του επιπέδου των Μ, C και C' με το επίπεδο της εικόνας της δεύτερης κάμερας ενώ για τη δεύτερη περίπτωση με το επίπεδο της εικόνας της πρώτης κάμερας. 77

78 Σχήμα 6.2 Επιπολικές γραμμές και επίπολα. Η ορολογία των γεωμετρικών οντοτήτων του παραπάνω σχήματος βάση του [24] αποτελείται από: The epipole (επίπολο): είναι το σημείο τομής της ευθείας που ενώνει τα κέντρα της κάμερας (baseline) με το επίπεδο της εικόνας. Ισοδύναμα, το επίπολο είναι η εικόνα στην μια όψη του κέντρου της κάμερας της άλλης όψης. Μπορεί να οριστεί επίσης ως το σημείο εκμηδενίσεως (vanishing point) της κατεύθυνσης της βασικής γραμμής (baseline). The epipolar plane (επιπολικό επίπεδο): είναι ένα επίπεδο που περιέχει την αρχική/βασική γραμμή. Υπάρχει μια μονοπαραμετρική οικογένεια (a pencil) των επιπολικών επιπέδων. The epipolar line (επιπολική ευθεία): είναι η τομή ενός επιπολικού επιπέδου με το επίπεδο της εικόνας. Όλες οι επιπολικές ευθείες τέμνονται στο επίπολο. Το επιπολικό επίπεδο τέμνει τα αριστερά και δεξιά επίπεδα εικόνας στις επιπολικές ευθείες και ορίζει την αντιστοιχία μεταξύ των γραμμών. Στο σημείο αυτό ορίζεται ο επιπολικός περιορισμός (epipolar constraint): "Αν η προβολή ενός σημείου του τρισδιάστατου χώρου στην μια κάμερα (π.χ. στην κάμερα 1) είναι το σημείο m, τότε η προβολή του ίδιου σημείου του χώρου στην άλλη κάμερα (κάμερα 2) βρίσκεται πάνω στην επιπολική γραμμή που αντιστοιχεί στο σημείο αυτό." Αυτό οδηγεί στον ισοδύναμο ορισμό του localization που δείξαμε στην παράγραφο 6.1 και προϋποθέτει τη γνώση της επιπολικής γεωμετρίας. 78

79 6.3 Ανάλυση επιπολικού περιορισμού Είναι ευνόητο ότι για να είναι δυνατή η χρήση του επιπολικού περιορισμού σε μορφή διάφορων αλγορίθμων θα πρέπει να εκφραστεί ανάλογο μαθηματικό μοντέλο για αυτόν. Έχοντας δύο σημεία για κάθε μία από τις επιπολικές ευθείες μπορούμε να προσδιορίζουμε τις εξισώσεις αυτών των ευθειών. Το πρώτο σημείο θα είναι το επίπολο το οποίο είναι η προβολή του οπτικού κέντρου της άλλης κάμερας. Αν ο πίνακας προβολής της κάμερας στην πρώτη θέση είναι P 1 και στη δεύτερη P 2, τότε οι συντεταγμένες των εστιών της κάμερας (C, C') σε προβολικές συντεταγμένες θα είναι: 1 P 1 p1 C και 1 1 P2 p 2 C ' (6.1) 1 όπου P i η αριστερή 3x3 υπομήτρα του προβολικού πίνακα P i και p i η 4η στήλη του πίνακα αυτού. Επομένως τα δύο επίπολα θα είναι: 1 P2 p 2 e1 P 1 και 1 1 P1 p 1 e2 P 2 (6.2) 1 Το δεύτερο σημείο σε κάθε ευθεία θα είναι η προβολή του σημείου στο άπειρο της οπτικής ακτίνας που διέρχεται από το οπτικό κέντρο της άλλης κάμερας και από το σημείο Μ. Το σημείο αυτό δίνεται από τη σχέση: 1 P1 m M 1 για την οπτική ακτίνα CM (6.3) 0 και 1 P2 m M 2 για την οπτική ακτίνα CM (6.4) 0 Οι προβολές των σημείων αυτών στις εικόνες θα είναι οι εξής: 1 P2 m 1 m1 P 1 P1 P2 m και 0 1 P1 m 1 m2 P2 P2 P1 m (6.5) 0 αντίστοιχα και οι επιπολικές ευθείες θα δίνονται από τις σχέσεις: ep P p e m P P P m (6.6) και ep P p e m P P P m (6.7) στην πρώτη και στη δεύτερη εικόνα αντίστοιχα. Από τις δύο τελευταίες σχέσεις γίνεται εμφανές κάτι που είδαμε νωρίτερα ορίζοντας το πρόβλημα του επιπολικού προσδιορισμού. Αν δηλαδή γνωρίζουμε την επιπολική γεωμετρία και έχουμε εντοπίσει την προβολή ενός 79

80 σημείου Μ σε μια από τις δυο εικόνες τότε η προβολή του σημείου στην άλλη εικόνα γνωρίζουμε ότι κινείται πάνω σε μια ορισμένη ευθεία. Αυτήν την ευθεία μπορούμε να την υπολογίσουμε χωρίς να απαιτείται η γνώση των τρισδιάστατων συντεταγμένων του Μ. Θα παρουσιάσουμε τώρα την ειδική μορφή που παίρνουν οι παραπάνω εξισώσεις όταν θεωρούμε ότι το σύστημα συντεταγμένων της κάμερας στην πρώτη λήψη ταυτίζεται με το αδρανειακό σύστημα συντεταγμένων, ενώ το δεύτερο είναι αυτό που προκύπτει από μια μετατόπιση t και μια περιστροφή R. Αυτή τη διάταξη θα χρησιμοποιήσουμε στο επόμενο κεφάλαιο για την εύρεση της επιπολικής γεωμετρίας, καθώς δεν περιορίζει την γενικότητα. Οι πίνακες προβολής σε αυτήν την περίπτωση είναι: P , P T T 2 R R t (6.8) Οι σχέσεις (6.2) για τα επίπολα τώρα πλέον (στο κανονικοποιημένο σύστημα συντεταγμένων) μετατρέπονται στις ακόλουθες: 1 P2 p 2 t e1 P1 P 1 1 t (6.9) 1 και 1 P1 p 1 T T 03 T e P R R t R t (6.10) ενώ οι (6.6), (6.7) για τις επιπολικές ευθείες γίνονται: 1 P2 p 2 1 ep1 e1 m 1 P1 P1 P2 m trm (6.11) 1 και 1 P1 p 1 1 T T ep2 e2 m2 P2 P2 P1 m R tr m (6.12a) 1 και επειδή εργαζόμαστε σε προβολικές συντεταγμένες, δεν παίζει ρόλο το αρνητικό πρόσημο στη σχέση (6.12a). Μπορούμε, επομένως, να γράψουμε: T T T ep2 R tr m R ( tm ) (6.12b) 6.4 Ο essential πίνακας και η θεμελιώδης μήτρα Στην παράγραφο αυτήν θα γίνει μια σύντομη παρουσίαση του essential πίνακα και της σχέσης του με τη θεμελιώδη μήτρα (fundamental matrix), βασιζόμενη στην εργασία [25] του Zhengyou Zhang και των συνεργατών του. Ο essential πίνακας περιγράφει πλήρως την επιπολική γεωμετρία και μπορούμε μέσω αυτού να υπολογίσουμε την μετατόπιση της κάμερας που συνέβη κατά τις δύο λήψεις μιας εικόνας. 80

81 Η επιπολική ευθεία πάνω στην πρώτη εικόνα που αντιστοιχεί σε ένα σημείο m της δεύτερης εικόνας δίνεται από τη σχέση (6.11). Τονίζουμε ότι, όπως και την παράγραφο 6.3, θεωρούμε ότι το σύστημα συντεταγμένων της κάμερας στην πρώτη λήψη ταυτίζεται με το αδρανειακό σύστημα συντεταγμένων, ενώ το δεύτερο είναι αυτό που προκύπτει από μια μετατόπιση t και μια περιστροφή R. Άρα για την επιπολική ευθεία επί της δεύτερης εικόνας που αντιστοιχεί σε σημείο m της πρώτης θα ισχύει: mep2 0mtRm 0 (6.13) Αν ορίσουμε τον Τ ως έναν αντισυμμετρικό πίνακα ορισμένο από το t τέτοιον ώστε Tx tx για όλα τα 3D-διανύσματα x, η σχέση (6.13) θα γίνει όπου T T mep2 0 m TRm 0m Em 0 (6.14) E=TR (6.15) είναι ο essential πίνακας που περιγράφει την επιπολική γεωμετρία της διάταξης δύο καμερών. Επίσης όταν έχουμε t t t t T ισχύει ότι 0 t3 t2 T t3 0 t 1 (6.16) t2 t1 0 Προσθέτουμε ακόμη ότι η συσχέτιση της θεμελιώδους μήτρας F με τον essential πίνακα, T 1 όπως φαίνεται στο [25], προκύπτει από το γεγονός ότι F H TRH, άρα T 1 F H EH (6.17) ή αντίστοιχα T E H FH (6.18) όπου H ο πίνακας των εσωγενών παραμέτρων της πρώτης κάμερας και εσωγενών παραμέτρων της δεύτερης κάμερας. H ο πίνακας Η γεωμετρία ενός στερεοσκοπικού συστήματος (επιπολική γεωμετρία) κωδικοποιείται πλήρως στη θεμελιώδη μήτρα F. Είναι τέτοια ώστε τα σημεία ανταπόκρισης να βρίσκονται υποχρεωτικά επί των επιπολικών γραμμών [6]. Συνεπώς, αν η θεμελιώδης μήτρα F είναι γνωστή, το πρόβλημα αντιστοίχισης μειώνεται από 2D-αναζήτηση σε ένα 1D-πρόβλημα αναζήτησης ( 6.6) Ιδιότητες essential πίνακα Ορισμένες ιδιότητες του essential πίνακα είναι ιδιαίτερα χρήσιμες. Δύναται από αυτές να συμπεράνουμε διάφορα πράγματα για τη φύση του εξεταστέου προβλήματος. Οι σημαντικότερες ιδιότητες αυτού του πίνακα είναι: 81

82 Ο πίνακας Ε έχει μηδενική ορίζουσα λόγω του γεγονότος ότι είναι μηδενική και η ορίζουσα του πίνακα Τ. Ο πίνακας Ε έχει 9 στοιχεία και 5 βαθμούς ελευθερίας (3 για περιστροφή και 2 για μετατόπιση). Το γινόμενο E TR είναι ορισμένο ως προς μια πολλαπλασιαστική σταθερά. Τούτο, με τη σειρά του, σημαίνει ότι ο πίνακας Ε είναι ορισμένος ως προς μια πολλαπλασιαστική σταθερά. Έτσι δεν καθορίζεται η κλίμακα του πίνακα Τ και το διάνυσμα μετατόπισης μεταξύ ενός ζεύγους λήψεων εικόνων δεν μπορεί να προσδιοριστεί προς το μέτρο παρά μονάχα προς την κατεύθυνση. 82

83 Κεφάλαιο 7 Σθεναρές μέθοδοι εκτίμησης 7.1 Εισαγωγή - Ανεπάρκεια της μεθόδου ελαχίστων τετραγώνων Ας υποθέσουμε ότι έχουμε βρει τις αντιστοιχίες σημείων ενδιαφέροντος μεταξύ δύο εικόνων. Η εμφάνιση σφαλμάτων (ασυμφωνίες στην αντιστοίχιση των σημείων) μοιάζει αναπόφευκτη όπως θα δούμε και σε παράδειγμα του επόμενου κεφαλαίου. Η γενική προσέγγιση για την εκτίμηση των σημείων είναι σε πρώτη φάση η μέθοδος των ελαχίστων τετραγώνων. Παρουσιάζονται όμως προβλήματα. Η μέθοδος αυτή δεν παρουσιάζει καθόλου ή ελάχιστη σθεναρότητα σε περίπτωση έκτοπων. Τέτοια "προβληματικά" δεδομένα επηρεάζουν σε σημαντικό βαθμό το αποτέλεσμα. Άλλη μια εξαιρετικά δύσκολη περίπτωση θα ήταν αν υπάρξει δημιουργία πολλαπλών δομών δεδομένων. Αν δηλαδή ήταν συγκεντρωμένα περισσότερα σημεία κοντά το ένα στο άλλο, ώστε να σχηματίζουν μια ομάδα κάθε φορά, απομακρυσμένη όμως η μια ομάδα από την άλλη. Κάτι τέτοιο καθιστά ιδιαίτερα δύσκολη την ταξινόμηση του κάθε σημείου. Σχήμα 7.1 Το πρόβλημα ευαισθησίας της μεθόδου ελαχίστων τετραγώνων στα έκτοπα Κατανοεί κανείς ότι απαιτείται μια διαφορετική προσέγγιση. Συγκεκριμένα απαιτούνται μέθοδοι που εμφανίζουν σθεναρότητα σε τυχόν λανθασμένα δεδομένα. 83

84 Σχήμα 7.2 Αποτέλεσμα βέλτιστης λύσης προσεγγιστικής μεθόδου που εμφανίζει σθεναρότητα σε έκτοπα. Η κλίση της ευθείας διαφέρει κατά περίπου 12% από αυτήν του προηγούμενου σχήματος 7.2 Μ-εκτιμητές Ο ορισμός των Μ-εκτιμητών υποκινήθηκε από τη σθεναρή στατιστική, η οποία συνέβαλε στη δημιουργία τέτοιων εκτιμητών. Αποτελούν μια ευρεία κατηγορία εκτιμητών που λαμβάνονται ως τα ελάχιστα των αθροισμάτων των συναρτήσεων δεδομένων. Αυτό σημαίνει πως η μέθοδος των ελαχίστων τετραγώνων είναι ουσιαστικά ένας Μ-εκτιμητής καθώς η μέθοδος αυτή ορίζεται ως ένα ελάχιστο των αθροισμάτων υπολοίπων [34]. Οι παρατηρήσεις φιλτράρονται και τους αποδίδεται ένας συντελεστής βαρύτητας. Όσο μεγαλύτερη είναι η πιθανότητα ένα δεδομένο να είναι λανθασμένο, τόσο χαμηλότερος συντελεστής του αποδίδεται. Άλλος ένας δημοφιλής Μ-εκτιμητής είναι ο εκτιμητής μέγιστης πιθανοφάνειας. Για πεπερασμένα δείγματα κρίνεται συνήθως αναποτελεσματικός. Για αρκετά, συνήθη προβλήματα αποδίδει καλά όσον αφορά μεγάλα δείγματα, όντας ως μια προσέγγιση εκ των υστέρων (a posteriori). Το κύριο πλεονέκτημα αυτών των εκτιμητών είναι ότι σε κάθε επανάληψη αξιολογούνται όλα τα δεδομένα εκ νέου. Αυτό σημαίνει ότι οι συντελεστές βαρύτητας επαναπροσδιορίζονται κάθε φορά για κάθε παρατήρηση. Αποτέλεσμα αυτού μπορεί να είναι, ενώ μια μέτρηση σε προηγούμενη επανάληψη να έχει θεωρηθεί ως έκτοπο ή λανθασμένη, ξαφνικά να αποτελέσει ένα ισχυρό δεδομένο. Θα μπορούσε επίσης να γίνει και το ακριβώς αντίστροφο. Παρουσιάζεται δηλαδή έτσι μια σθεναρότητα. 84

85 7.3 Μέθοδος RANSAC Ως μέθοδο συμφωνίας τυχαίου δείγματος (RANdom SAmple Consensus) καταλαβαίνει κανείς μια επαναληπτική μέθοδο για την εκτίμηση των παραμέτρων ενός μαθηματικού μοντέλου από ένα σύνολο των παρατηρούμενων δεδομένων τα οποία περιέχουν έκτοπα. Αποτελεί μια μη-ντετερμινιστική προσέγγιση, υπό την έννοια ότι παράγει ένα λογικό αποτέλεσμα με μια ορισμένη πιθανότητα. Η τελευταία, βέβαια, αυξάνεται καθώς επιτρέπονται περισσότερες επαναλήψεις του αλγορίθμου. Παρουσιάστηκε από τους Fischler και Bolles τον Ιούνιο του 1981 στο SRI International [35]. Αντί να χρησιμοποιείται μεγάλος αριθμός δεδομένων, καταβάλλεται προσπάθεια τα δείγματα να περιοριστούν στα ελάχιστα δυνατά. Μετά τη λήψη των δειγμάτων και την εκτίμηση των παραμέτρων για καθένα δείγμα, επιλέγεται η βέλτιστη από τις προκύπτουσες λύσεις. Έτσι, για παράδειγμα, για την εύρεση των παραμέτρων μιας ευθείας θα χρησιμοποιηθούν 2 σημεία, για ένα επίπεδο 3 σημεία (κοίτα πίνακα 7.1) κοκ. Αυτό συμβαίνει πάντοτε βάσει ενός κριτηρίου. Ανάλογα με το χρησιμοποιούμενο κριτήριο προκύπτουν και οι διαφορετικές μορφές των μεθόδων της οικογένειας RANSAC. Οι κυριότερες από αυτές: Κλασικός RANSAC: Δέχεται ως εισόδους το σύνολο των αντιστοιχίσεων από τον αλγόριθμο αντιστοίχισης. Επίσης ορίζεται το κατώφλι απόστασης. Αποτελεί την επιτρεπομένη απόσταση των υπόλοιπων μετρήσεων από τη λύση. Ορίζεται ωστόσο κι ο αριθμός επαναλήψεων όπως και το ποσοστό βεβαιότητας (συνήθως πάνω από 95%). Όσες από τις μετρήσεις δεν συμφωνούν με τη βέλτιστη λύση (περισσότερες συμφωνίες) θεωρούνται αποκλίνουσες. MAPSAC (MAximum a Posteriori SAmple Consensus): Παρουσιάζει μεγαλύτερη σθεναρότητα από τον RANSAC. Και εδώ ορίζεται ένα κατώφλι απόστασης. Όμως για κάθε λύση αθροίζονται οι αποστάσεις των υπόλοιπων δεδομένων από τη συγκεκριμένη λύση. Ως βέλτιστη λύση θα προκύψει εκείνη για την οποία ελαχιστοποιείται το άθροισμα αυτό. LMedS (Least Median of Squares): Υπολογίζεται η μέση τιμή του τετραγώνου της απόστασης των υπόλοιπων μετρήσεων από τη λύση για κάθε τυχαίο δείγμα. Ως βέλτιστη ορίζεται η λύση στην οποία αντιστοιχεί ο ελάχιστος μεσαίος. Ο αλγόριθμος αυτός απαιτεί οι έγκυρες μετρήσεις να πλειοψηφούν επί των λανθασμένων, ώστε να ληφθούν αξιόπιστα αποτελέσματα. MSAC (M-estimator SAmple Consensus): Στον κλασικό RANSAC το μοντέλο που υπολογίζεται μπορεί να είναι πολύ ανακριβές, εάν για παράδειγμα οριστεί πολύ υψηλό το φράγμα σφάλματος. Έτσι αυξάνονται ραγδαία οι λύσεις που αποκτούν την ίδια ελάχιστη τιμή του αθροίσματος. Στην χειρότερη περίπτωση δεν είναι δυνατόν να αναγνωριστούν καθόλου έκτοπα. Η επέκταση του RANSAC, ο MSAC χρησιμοποιεί μια τροποποιημένη συνάρτηση, με την οποία τα έκτοπα λαμβάνουν μια συγκεκριμένη «τιμωρία». Τιμές μικρότερες του φράγματος, λαμβάνουν μια ετικέτα «λάθους» και όχι την τιμή 0 όπως στον RANSAC. Έτσι αποφεύγεται το σφάλμα του όσο ένα σημείο συμβάλλει στην ελαχιστοποίηση του αθροίσματος, τόσο καλύτερα ταιριάζει στο μοντέλο. 85

86 Ο αριθμός των επαναλήψεων του αλγορίθμου RANSAC μπορεί να ρυθμιστεί έτσι ώστε, τουλάχιστον μία φορά, να επιλεχθεί ένα υποσύνολο των δεδομένων χωρίς καθόλου έκτοπα με μια ορισμένη πιθανότητα p. Αν s είναι ο αριθμός των σημείων δεδομένων που απαιτούνται για τον υπολογισμό ενός μοντέλου, και το ε είναι η σχετική αναλογία των έκτοπων στα δεδομένα, τότε η πιθανότητα ότι σε n επαναλήψεις θα επιλέγεται τουλάχιστον ένα έκτοπο κάθε φορά θα είναι (1-(1-ε)s)n και για να παίρνει το πολύ την τιμή 1-p, θα πρέπει να επιλεχθεί αρκετά μεγάλος ο αριθμός των επαναλήψεων n. Για την ακρίβεια log(1 p) s απαιτούνται τουλάχιστον log(1 (1 ε) ) επαναλήψεις. Επομένως ο αριθμός επαναλήψεων εξαρτάται από το ποσοστό των έκτοπων, το πλήθος των παραμέτρων της συνάρτησης μοντέλου και τη δοσμένη πιθανότητα σχεδιασμού ενός υποσυνόλου χωρίς έκτοπο. Είναι ανεξάρτητος από τον συνολικό αριθμό των μετρήσεων. Στον ακόλουθο πίνακα συγκεντρώνονται οι απαιτούμενες επαναλήψεις σε εξάρτηση από το ποσοστό έκτοπων και του πλήθους των αναγκαίων σημείων, που χρειάζονται για τον προσδιορισμό του μοντέλου. Η πιθανότητα p έχει οριστεί ίση με 99%. Πλήθος Παράδειγμα απαιτούμενων σημείων Ποσοστό έκτοπων 10% 20% 30% 40% 50% 60% 70% Ευθεία Επίπεδο Θεμελιώδης μήτρα F Πίνακας 7.1 Αριθμός απαιτούμενων επαναλήψεων της μεθόδου RANSAC με p=99% 7.4 Αποτελέσματα αλγορίθμων Στον πίνακα 7.2 παρουσιάζονται τα αποτελέσματα που λάβαμε για τον καθένα αλγόριθμο. Εφαρμόστηκαν σε περιβάλλον Matlab σε υπολογιστή με χαρακτηριστικά επεξεργαστή Intel Dual Core i5 2.53GHz, μνήμη 8GB DDR3. Οι εικόνες έχουν ανάλυση 1024x768pixels. Το κατώφλι απόστασης κρατήθηκε σταθερό στην τιμή 0.1. Τα σημεία ενδιαφέροντος συγκεντρώθηκαν κάνοντας χρήση της μεθόδου SURF, η οποία περιγράφεται στην παράγραφο 5.3. Ο αλγόριθμος αντιστοίχησης σημείων (SAD - άθροισμα απόλυτων διαφορών) μας αποδίδει συνολικά 305 υποθετικά σύμφωνα σημεία στις εικόνες. 86

87 Ζεύγος εικόνων Μέθοδος (p=99.99%) Inliers σε κάθε εικόνα Outliers σε κάθε εικόνα Χρόνος επεξεργασίας RANSAC, 1000 επαναλήψεις LMedS, 1000 επαναλήψεις MSAC, 1000 επαναλήψεις sec sec sec. Μέθοδος (p=70%) RANSAC, 1000 επαναλήψεις LMedS, 1000 επαναλήψεις MSAC, 1000 επαναλήψεις Πίνακας 7.2 Inliers σε κάθε εικόνα Αποτελέσματα των αλγορίθμων Outliers σε κάθε εικόνα Χρόνος επεξεργασίας sec sec sec. 7.5 Παρατηρήσεις Ως σχόλιο των επεξεργασιών του ζεύγους εικόνων μπορούμε να πούμε ότι τα inlier points που υπολογίζονται ισάριθμα σε κάθε εικόνα φαίνονται να είναι αρκετά. Παρατηρούμε όμως επίσης ότι και τα έκτοπα είναι αρκετά. Παραμετρίζοντας τους διάφορους αλγόριθμους φτάσαμε στο συμπέρασμα ότι αυτό συσχετίζεται λιγότερο με το ποσοστό p και περισσότερο με το ορισμένο κατώφλι απόστασης. Πιο συγκεκριμένα, για ορισμένο κατώφλι 0.01 (το 10% του 0.1 από νωρίτερα) τα σημεία inlier για τους αλγόριθμους RANSAC και MSAC κυμαίνονται από 75 έως 90, δηλαδή στο ήμισυ από νωρίτερα. Ανάλογα αυξάνονται και τα σημεία τα οποία ορίζονται ως έκτοπα. Αξιοσημείωτο είναι επίσης το γεγονός ότι ο χρόνος επεξεργασίας για τις δύο αυτές μεθόδους σε αυτήν την περίπτωση σχεδόν τριπλασιάστηκε, δίχως να έγινε ιδιαίτερα αισθητή η διαφορά του χρόνου για την επεξεργασία σε σχέση με το ποσοστό p. Όσον αφορά τη μέθοδο LMedS o χρόνος επεξεργασίας παρέμεινε περίπου ο ίδιος καθώς υπολογίζονται κάθε φορά τουλάχιστον 50% inlier points σε σχέση με τα υποθετικά σύμφωνα σημεία. Αυτό σημαίνει ότι θα πλειοψηφούν τουλάχιστον κατά ένα από τα έκτοπα. Τόσο για τις τιμές p=99.99%, p=70% όσο και για τις p=50% και p=40% τα έκτοπα υπολογίζονται ίσα με 152, ένα λιγότερο από τα inliers την κάθε φορά. 87

88 Κεφάλαιο 8 Διόρθωση εικόνας 8.1 Μη-ιδανική στερεοσκοπική διάταξη Η διόρθωση εικόνας αναφέρεται στην ξένη βιβλιογραφία ως Image Rectification. Είναι μια διαδικασία μετασχηματισμού που χρησιμοποιείται για την προβολή δύο ή περισσότερων φωτογραφιών πάνω σε ένα κοινό επίπεδο εικόνας. Διορθώνει την παραμόρφωση (image distortion) μετατρέποντας το σύστημα εικόνας σε ένα πρότυπο (standard) σύστημα συντεταγμένων. Χρησιμοποιείται στην στερεοσκοπική όραση για να απλοποιηθεί το πρόβλημα αντιστοίχισης σημείων μεταξύ εικόνων. Επίσης χρησιμοποιείται και σε γεωγραφικά συστήματα πληροφοριών (Geographical Information Systems) για τη συγχώνευση εικόνων που λαμβάνονται από διαφορετικές οπτικές γωνίες σε ένα κοινό σύστημα συντεταγμένων χάρτη [1]. Σχήμα 8.1 Ο χώρος αναζήτησης πριν (1) και μετά (2) τη διόρθωση εικόνας (rectification). Bart van Andel - Inkscape Ρίχνοντας μια ματιά στο σχήμα 8.1 παρατηρούμε ότι η αναζήτηση αντιστοίχισης ενός σημείου από τη μια εικόνα στην άλλη, γίνεται κατά μήκος μιας οριζόντιας γραμμής. Αυτό που πετυχαίνουμε, στην ουσία, είναι να ευθυγραμμίσουμε τις ευθείες e 1 m και e 2 m' του σχήματος 6.2 ώστε οι επιπολικές γραμμές να είναι πλέον παράλληλες με την ευθεία CC'. 88

89 Μια τέτοια διαδικασία κρίνεται απαραίτητη όταν δεν είμαστε σε θέση να λάβουμε δύο ή περισσότερες ακριβείς εικόνες χωρίς περιστροφή μεταξύ τους. Αυτό μπορεί για παράδειγμα να συμβαίνει όταν δεν είναι δυνατόν να τοποθετηθούν έτσι όπως πρέπει δυο κάμερες ή όταν λάβουμε τις εικόνες μας από την ίδια κάμερα, οπότε γίνεται κατανοητό πως είναι σχεδόν αδύνατο να ληφθούν οι εικόνες όπως θα θέλαμε, ειδικά στην περίπτωση της μιας κάμερας. 8.2 Μη-βαθμονομημένη διόρθωση (uncalibrated rectification) στερεοσκοπικής εικόνας Η στερεοσκοπική διόρθωση εικόνας προβάλλει εικόνες επάνω σε ένα κοινό επίπεδο εικόνας κατά τέτοιο τρόπο ώστε τα αντίστοιχα σημεία να έχουν τις ίδιες συντεταγμένες σειράς. Αυτή η διαδικασία είναι χρήσιμη για την στερεοσκοπική όραση, επειδή το 2-D πρόβλημα αντιστοίχισης ανάγεται σε ένα πρόβλημα 1-D. Χρησιμοποιείται συχνά ως ένα βήμα προ-επεξεργασίας για τον υπολογισμό της disparity (διαφορά/ανισότητα μεταξύ εικόνων καταγεγραμμένες από διαφορετικές απόψεις) ή δημιουργία ανάγλυφων εικόνων. Στη συγκεκριμένη παράγραφο θα παρουσιάσουμε γραφικά τα αποτελέσματα ενός αλγορίθμου που χρησιμοποιήθηκε στο περιβάλλον του λογισμικού του Matlab. Εδώ λοιπόν φορτώσαμε δύο εικόνες. Σε αυτές απεικονίζεται η ίδια σκηνή από δύο ελαφρώς διαφοροποιημένες οπτικές γωνίες. Κάτι τέτοιο σημαίνει στην πράξη "στερεοσκοπική όραση" και βρίσκει πλήθος εφαρμογών σε σύγχρονες τεχνολογίες. Παραδειγματικά αναφέρουμε στερεοσκοπικές κάμερες σε αυτοκίνητα για μέτρηση απόστασης ή τρισδιάστατη ανακατασκευή χώρου από αυτόνομα οχήματα με ιδιαίτερο ενδιαφέρον στον γεωργικό τομέα. Φορτώνοντας μια ακόλουθη εικόνα τότε αυτή με τη σειρά της θα διορθωνόταν σε σύγκριση με την προηγούμενη. Στην επόμενη παράγραφο παρουσιάζεται βήμα προς βήμα η διαδικασία που ακολουθήθηκε Βήμα προς βήμα διόρθωση Ως αποτέλεσμα σύγκρισης μιας ακολουθίας απεικονίσεων σκηνής, θα προκύψουν συνεχόμενες εικόνες (frames) τα οποία δεν αποτελούν τίποτα άλλο παρά ένα βίντεο. Ας δούμε λοιπόν πως θα υλοποιήσουμε και θα διορθώσουμε πρακτικά ένα στερεοσκοπικό ζεύγος εικόνων, το οποίο μπορεί να αποτελεί δύο συνεχόμενα frames ενός βίντεο. Στο σημείο αυτό αναφέρουμε ότι η θεμελιώδης μήτρα υπολογίστηκε απορρίπτοντας τις λανθασμένες αντιστοιχίσεις του στερεοσκοπικού ζεύγους με τον αλγόριθμο RANSAC. Βήμα 1ο: Διαβάζουμε τις εικόνες. Τις εμφανίζουμε δίπλα-δίπλα. Στη συνέχεια παριστάνονται με σύνθετο χρωματισμό (κόκκινο - κυανό), αναδεικνύοντας τις διαφορές pixels μεταξύ τους. 89

90 Υπάρχει μια προφανής μετατόπιση μεταξύ των εικόνων, όσον αφορά προσανατολισμό και θέση. Ο στόχος της διόρθωσης είναι να μετατρέψει τις εικόνες, ευθυγραμμίζοντάς τες έτσι, ώστε τα αντίστοιχα σημεία να εμφανίζονται στις ίδιες σειρές και στις δύο εικόνες. Βήμα 2ο: Συλλογή σημείων ενδιαφέροντος από την κάθε εικόνα. Η διαδικασία της διόρθωσης απαιτεί μια σειρά από σημεία αντιστοιχιών μεταξύ των δύο εικόνων. Για να δημιουργήσουμε αυτές τις αντιστοιχίες θα συλλεχθούν σημεία ενδιαφέροντος και από τις δύο εικόνες. Στη συνέχεια θα επιλεχθεί το match potential - η δυνητικότητα της αντιστοίχισης. Στο συγκεκριμένο παράδειγμα θα κάνουμε χρήση της συνάρτησης detectsurffeatures. Αυτή η συνάρτηση συμπεριλαμβάνεται στο Computer Vision System Toolbox του Matlab. Για περισσότερες πληροφορίες, ο αναγνώστης παραπέμπεται στην παράγραφο 5.2. Έτσι γίνεται δυνατό να βρούμε ενδιαφέροντα χαρακτηριστικά σημεία σαν μια σταγόνα πάνω στις δύο εικόνες. 90

91 Στις παραπάνω εικόνες απεικονίζονται οι θέσεις και οι κλίμακες των 100 ισχυρότερων χαρακτηριστικών (features) SURF στις Ι1 και Ι2. Σημειώνεται ότι δεν συνδυάζονται όλα τα χαρακτηριστικά σημεία, είτε διότι τα σημεία δεν ανιχνεύθηκαν και στις δύο εικόνες είτε επειδή ορισμένα από αυτά τα σημεία δεν παρουσιάζονται και στις δύο εικόνες λόγω μετακίνησης της κάμερας. Το τελευταίο συμβαίνει συνήθως στα άκρα μιας εικόνας. Έχουμε σημειώσει χρωματιστά 2 εσφαλμένα αντιστοιχισμένα σημεία. Βήμα 3ο: Εύρεση υποθετικών σημείων αντιστοιχίας. Χρησιμοποιούμε τις συναρτήσεις extractfeatures και matchfeatures. Έτσι βρίσκουμε υποθετικές αντιστοιχίες περισσότερων σημείων. Για κάθε σταγόνα, υπολογίζουμε τα διανύσματα χαρακτηριστικών SURF. Για τον προσδιορισμό των δεικτών των matching 91

92 features (σύμφωνα χαρακτηριστικά) χρησιμοποιήσαμε το άθροισμα των απόλυτων διαφορών (sum of absolute differences - SAD). Έπειτα ανακτήσαμε τις θέσεις των σύμφωνων σημείων για κάθε εικόνα. Τελικά εμφανίζουμε τα σημεία που ταιριάζουν επί της σύνθετης εικόνας, που συνδυάζει το στερεοσκοπικό ζεύγος. Σημειώνουμε ότι συνήθως οι περισσότερες από τις αντιστοιχίες φαίνεται να είναι σωστές. Παρ όλα αυτά, για να δείξουμε ότι δεν συμβαίνει πάντα κάτι τέτοιο, "τρέξαμε" τον ίδιο αλγόριθμο σε ένα δεύτερο στερεοσκοπικό ζεύγος. Παρατηρεί κανείς ότι εξακολουθούν να υπάρχουν ορισμένα έκτοπα (outliers). Σύμφωνα με τον Hawkins (1980), που πρώτος έδωσε έναν ορισμό: «Έκτοπη είναι μία παρατήρηση που αποκλίνει τόσο πολύ από τις άλλες παρατηρήσεις, ώστε να μας εξεγείρει τις υποψίες ότι δημιουργήθηκε από διαφορετικό μηχανισμό.» 92

93 Στη μεγεθυσμένη άποψη μπορούμε να παρατηρήσουμε ότι οι αντιστοίχιση είναι πολύ επιτυχημένη. Δεν φαίνεται να υπάρχουν outliers. Ας αναδείξουμε όμως ότι μπορεί και να εμφανιστούν λανθασμένα matched points, σε ένα δεύτερο παράδειγμα: 93

94 Είναι εμφανές ότι αποκλείεται να είναι σωστή η συγκεκριμένη αντιστοίχιση (με κίτρινο χρώμα περιγεγραμμένη). Βήμα 4ο: Αφαίρεση των έκτοπων χρησιμοποιώντας επιπολικούς περιορισμούς. Τα σωστά συμφωνημένα σημεία πρέπει να πληρούν τους επιπολικούς περιορισμούς. Αυτό σημαίνει ότι ένα σημείο πρέπει να βρίσκεται πάνω στην επιπολική γραμμή η οποία προσδιορίζεται από το αντίστοιχο σημείο του στην άλλη εικόνα. Ο υπολογισμός της θεμελιώδους μήτρας έγινε με χρήση της συνάρτησης estimatefundamentalmatrix. Έτσι πολύ απλά και γρήγορα ο προγραμματιστής ή επεξεργαστής μπορεί να υπολογίσει τα έκτοπα που "συναντούν" τον επιπολικό περιορισμό. Πάμε να δούμε ποιές επιπτώσεις θα προκύψουν στα ζεύγη εικόνων μας: 94

95 Οι αντιστοιχίες έχουν μειωθεί σε πλήθος σε σχέση με τις υποθετικές που υπολογίσαμε στο προηγούμενο βήμα. 95

96 Παρατηρείται ξεκάθαρα ότι η ασυμφωνία σε σχέση με τα υποθετικά σύμφωνα σημεία του βήματος 3, έχει πλέον εξαφανιστεί. Βήμα 5ο: Αποκατάσταση/διόρθωση εικόνων (image rectification). Θα επιχειρήσουμε τη διόρθωση των εικόνων κάνοντας χρήση μετασχηματισμών προβολικής γεωμετρίας (κοίτα Matlab imwarp, tform). Θυμίζουμε ότι στο κόκκινο κανάλι παριστάνεται η αριστερή εικόνα ενώ στο κυανό η δεξιά. Στη συνέχεια παρουσιάζονται οι διορθωμένες εικόνες αναδεικνύοντας τις αντιστοιχίες σημείων επί των εικόνων: 96

97 Έπειτα γίνεται η περικοπή της περιοχής επικάλυψης (overlapping area). Μπορεί κανείς να χρησιμοποιήσει στερεοσκοπικά γυαλιά (κόκκινο-κυανό) για να δει το 3D αποτέλεσμα: 97

98 Η αντίληψη του βάθους είναι καταπληκτικά αισθητή. Μπορεί κανείς έυκολα να διακρίνει τις αποστάσεις (κοντά / μακριά) των διάφορων αντικειμένων από τον φακό της κάμερας. Ένα τελευταίο σχόλιο: Χρησιμοποιώντας απλά στερεοσκοπικά γυαλιά μπορούμε να δούμε ότι η διόρθωση πετυχαίνει πάρα πολύ καλά στην πρώτη περίπτωση. Στη δεύτερη περίπτωση δυσκολευόμαστε να παρατηρήσουμε τρισδιάστατα χαρακτηριστικά. Συμπεραίνουμε τελικά ότι η επιτυχία μιας μη-βαθμονομημένης διόρθωσης εικόνων μπορεί να εξαρτάται από: το μέγεθος της οθόνης που προβάλλεται η εικόνα. Η απόσταση μεταξύ των δύο φακών καταγραφής πρέπει να είναι συσχετισμένη με το μέγεθος του αναπαραγωγικού μέσου που θα χρησιμοποιηθεί εν τέλει. Αυτό σημαίνει 98

99 ότι οι 3D-ταινίες που προσδιορίζονται για κινηματογραφική προβολή (μεγάλες οθόνες) καταγράφονται από στερεοσκοπική κάμερα με απόσταση φακών (interaxial) μεγαλύτερη από μια αντίστοιχη κάμερα για προβολή σε μια οθόνη Η/Υ. Όσον αφορά τα ανθρώπινα μάτια, η απόσταση μεταξύ τους είναι περίπου 65mm. Μια συνήθης απόσταση κέντρων τον καταγραφικού μέσου είναι 30mm. Στο σημείο αυτό σημειώνουμε ένα γενικό κανόνα που χρησιμοποιείται στην τρισδιάστατη ανακατασκευή: 30 Times Rule of Thumb: "Το κοντινότερο που μπορεί κανείς να φέρει ένα αντικείμενο στη στερεοσκοπική κάμερα είναι 30 επί το interaxial" (interaxial = απόσταση μεταξύ των κέντρων των δύο φακών της κάμερας) Για μεγάλες οθόνες και την κινηματογραφία χρησιμοποιείται συνήθως ο κανόνας 100 επί το interaxial τον χρόνο που χρειάζεται ο ανθρώπινος εγκέφαλος να συνδυάσει τις δύο απόψεις. την αντιπαλότητα του αμφιβληστροειδούς (retinal rivalry). Προκαλείται από τη διαφοροποίηση φωτεινότητας. Αυτό συμβαίνει όταν το ένα μάτι βλέπει κάτι το οποίο δεν μπορεί να αντιληφθεί ταυτόχρονα το άλλο μάτι. Πρέπει να σκεφτούμε ότι το κάθε μάτι βλέπει την ίδια τη σκηνή από ελαφρώς διαφοροποιημένη άποψη. Πρακτικά αυτό σημαίνει ότι ο ένας φακός κατά μια βιντεοσκόπηση, καταγράφει πληροφορία (ουσιαστικά pixels) η οποία την ίδια χρονική στιγμή δεν καταγράφεται από το δεύτερο φακό - για παράδειγμα όταν μία μπάλα ντίσκο (αποτελούμενη από πολλούς μικρούς καθρέπτες) γυρίζει γύρω από τον άξονά της. Σε μια τέτοια περίπτωση το φως αντανακλάται σε κάθε frame σε διαφορετική θέση της παρατηρούμενης εικόνας. Ως αποτέλεσμα ο αριστερός φακός καταγράφει μια ανάκλαση φωτός η οποία θα καταγραφεί σε κάποια χρονική στιγμή μετά από τον δεξί φακό, αν η δέσμη φωτός κινείται από αριστερά προς δεξιά. Επίσης θα μπορούσε μια ανάκλαση να παρατηρηθεί από τη μία εικόνα (π.χ. αριστερή) ενώ να λείψει εντελώς από την άλλη (π.χ. δεξιά). Τέτοιες ασυναρτησίες δημιουργούν συγκρούσεις και ως λογικό αποτέλεσμα έχουν επιπτώσεις στην τρισδιάστατη αντίληψη, καθώς ο ανθρώπινος εγκέφαλος είναι συνηθισμένος σε μια κανονική αντίληψη μιας σκηνής από τον οπτικό μας μηχανισμό (μάτια). την πληροφορία χρώματος και την εστίαση. Όταν η παρατηρούμενη εικόνα έχει μικρή πληροφορία χρωμάτων, για παράδειγμα είναι σκοτεινή ή πολλά αντικείμενα είναι μαύρα, είναι δύσκολο να δημιουργηθεί η αίσθηση του βάθους. Στην πραγματικότητα ο άνθρωπος καθώς παρατηρεί μια σκηνή, ανακτά περισσότερη πληροφορία όσον αφορά την εστίαση και τα χρώματα για κοντινά αντικείμενα. Τα πιο απομακρυσμένα φαίνονται σκοτεινά και θολά. 99

100 Κεφάλαιο 9 Τρισδιάστατη ανακατασκευή στερεοσκοπικού ζεύγους εικόνων 9.1 Εισαγωγή Στο ένατο κεφάλαιο θα περάσουμε πλέον στο κομμάτι της ανακατασκευής μιας σκηνής στις τρεις διαστάσεις από ένα στερεοσκοπικό ζεύγος εικόνων. Αφού εντοπιστούν οι σχετικές αντιστοιχίες των δισδιάστατων εικόνων, μετά τη βαθμονόμηση της κάμερας, θα βρισκόμαστε σε θέση να υπολογίσουμε αποστάσεις των σημείων από τον φακό. Αυτό σημαίνει ότι ήδη αποκτά σημασία η τρίτη διάσταση. Όμως μια τέτοια αναπαράσταση θα προκύψει πολύ αραιή και ίσως με μεγάλες αποκλίσεις από τις πραγματικές τιμές βάθους. Ακολούθως περνάμε από το στάδιο της διόρθωσης των εικόνων. Στο σημείο αυτό κρίνεται απαραίτητο να δοθεί η ικανότητα μιας πυκνής ανακατασκευής. Αυτό θα το πετύχουμε δημιουργώντας τον λεγόμενο πυκνό χάρτη βάθους (dense depth map) της σκηνής. Οι κυριότερες τεχνικές για την ανάκτηση ενός τέτοιου «πίνακα» πληροφοριών παρουσιάζονται στην παράγραφο Το υπολογιστικό κόστος είναι αρκετά έως πολύ μεγάλο καθώς το καθένα εικονοστοιχείο επεξεργάζεται, αναζητώντας για αυτό μια αντιστοιχία στην άλλη εικόνα. Σαν πρώτο βήμα βαθμονομήσαμε την κάμερά μας. Στη συνέχεια έγινε η αναγνώριση σημείων ενδιαφέροντος και διορθώθηκαν οι εικόνες. Τέλος, θα παρουσιάσουμε τα αποτελέσματα για τρεις περιπτώσεις στερεοσκοπικής λήψης εικόνων. 100

101 9.2 Βαθμονόμηση της κάμερας με το Camera Calibration Toolbox του Matlab Σχήμα 9.1 Οι εικόνες Im1, Im2,..., Im20 (ανάλυση 1024x768 = 1Megapixel), που χρησιμοποιήθηκαν για τη βαθμονόμηση της κάμερας. Μία από αυτές (Im18) κρίθηκε ακατάλληλη Για τη βαθμονόμηση ακολουθήσαμε την ίδια διαδικασία όπως στην παράγραφο 4.3. Από τις είκοσι εικόνες η Im18 δεν συμπεριλήφθηκε για λόγους ακριβείας για την εξαγωγή γωνιών και εν συνεχεία στη βαθμονόμηση της κάμερας. Αυτό επιλέχθηκε αυτομάτως από τον βαθμονομητή κάμερας του Matlab. Το πρότυπό μας τώρα αποτελείται από 8 x 5 τετράγωνα τυπωμένα πάνω σε χαρτί, λίγο μικρότερων διαστάσεων από μία κόλλα A4. Αυτό σημαίνει ότι συνολικά θα έχουμε (8+1)x(5+1)=54 γωνίες. Υποθέτουμε ότι το πρότυπο βρίσκεται σε επίπεδο όπου Ζ=0. Οι φωτογραφίες λήφθηκαν από μια κάμερα Samsung i8 με φακό mm. Το εστιακό μήκος είναι σε κάθε εικόνα 6.6mm. H ανάλυση των εικόνων είναι 1024x768 pixels. Η ευαισθησία ISO είναι 200 και η ταχύτητα κλείστρου ποικίλει από 1/30 sec - 1/10sec. 101

102 Σχήμα 9.2 Χαρακτηριστικό παράδειγμα των εξαγόμενων γωνιών στην εικόνα Im07.jpg Η βαθμονόμηση μας επιστρέφει όλα τα αποτελέσματα στον πίνακα cameraparams.mat. Από εκεί μπορούμε να διαβάσουμε όλα τα χαρακτηριστικά διανύσματα, όπως rotation matrix κτλ. Το μέσο σφάλμα επαναπροσδιορισμού φαίνεται στην στο σχήμα 9.3. Σχήμα 9.3 Μέσο σφάλμα επαναπροσδιορισμού για τις 19 εικόνες βαθμονόμησης 102

103 9.3 Ανάκτηση του χάρτη βάθους Σε αυτήν τη φάση ακολουθήσαμε τα βήματα της παραγράφου ώστε να υπολογίσουμε τις διορθωμένες εικόνες. Πλέον το σύστημα θα μετασχηματιστεί έτσι, ώστε η εύρεση του βάθους να υπολογίζεται με αρκετή ευκολία. Ως βάθος εννοείται εδώ η απόσταση των σημείων της εικόνας από τον φακό της κάμερας. Η ανισότητα (disparity) σε αυτό το σημείο αποκτά μεγάλη σημασία. Αποτελεί τη διαφορά προβολής ενός σημείου στις δύο εικόνες επί της οριζόντιας συντεταγμένης. Το μέγεθος της ανισότητας αποτελεί αρκετά ισχυρό κριτήριο ώστε από αυτό να καθορίζεται το βάθος μιας σκηνής. Είναι λογικό ότι τα σημεία με μεγαλύτερη ανισότητα θα βρίσκονται πιο κοντά στο καταγραφικό μέσο παρά αυτά με μικρότερη ανισότητα. Ακριβώς αυτή είναι και η λογική που ακολουθεί ο αλγόριθμός μας κατά την επεξεργασία των εικόνων. Η χρήση τους κρίνεται σκόπιμη σε αρκετές εφαρμογές, συμπεριλαμβανομένων των εξής: την προσομοίωση ρηχών βαθών του πεδίου, όπου κάποια σημεία της απεικονισμένης σκηνής είναι εκτός εστίασης. Τότε γίνεται η χρήση του χάρτη βάθους ώστε να θολώσει επιλεκτικά μια εικόνα. το Z-buffering, μια τεχνική που μπορεί να υλοποιηθεί ώστε να υπάρξει αποτελεσματικότερη απόδοση τρισδιάστατων σκηνών. Επίσης είναι μια τεχνική που χρησιμοποιείται για τον εντοπισμό αποκρυμμένων σημείων στη σκηνή. Σημαντική βαρύτητα δίνεται συγκεκριμένα στις εφαρμογές real-time, όπως των ηλεκτρονικών παιχνιδιών όπου πρέπει να επιτυγχάνεται γρήγορη αποδοχή ολοκληρωμένων αποδοτικών μοντέλων. την ανάκτηση πληροφορίας απόστασης που απαιτείται για τη δημιουργία στερεοσκοπικών εφαρμογών, για παράδειγμα αυτές που προορίζονται να δημιουργήσουν την ψευδαίσθηση της 3D-προβολής μέσω στερεοσκόπισης. την προσομοίωση πυκνών, ημιδιάφανων μέσων μέσα σε μια σκηνή όπως μπορεί να είναι η ομίχλη ή ο καπνός Με γνωστά τον χάρτη βάθους και τις εσωγενείς παραμέτρους της κάμερας βρισκόμαστε σε θέση να προβάλλουμε τα στοιχεία της εικόνας σε 3D-σημεία [21, 24] Μέθοδοι ανάκτησης χάρτη βάθους Κατά τη διάρκεια πειραματισμού χρησιμοποιήσαμε διάφορες μεθόδους για τη δημιουργία του χάρτη βάθους. Αρχικά κάναμε τους απαραίτητους γεωμετρικούς μετασχηματισμούς σε ένα στερεοσκοπικό ζεύγος εικόνων. Στη συνέχεια ανακτήσαμε τον χάρτη βάθους υλοποιώντας μεθόδους του Computer Vision System Toolbox του Matlab, όπως το Basic Block Matching, Sub-pixel Estimation, Dynamic Programming, Image Pyramiding καθώς και 4-level-Pyramid with dynamic programming and sub-pixel accuracy. Για το Basic Block Matching, αξίζει να σημειωθεί ότι αποτελεί μια γρήγορη μέθοδο με βασικότερο μειονέκτημα την εισαγωγή αρκετού θορύβου. Αυτό έχει ως αποτέλεσμα ανακρίβειες στο τρισδιάστατο μοντέλο. Με τον δυναμικό προγραμματισμό καταφέραμε να εξομαλύνουμε αυτές τις ανακρίβειες και κερδίσαμε αισθητά σε ακρίβεια, θυσιάζοντας όμως περισσότερο χρόνο για την επεξεργασία. Τελικά θα παρουσιάσουμε τα αποτελέσματα 103

104 κάνοντας χρήση όλων των μεθόδων, εισάγοντας επιπλέον και την εκτίμηση sub-pixel ώστε να εξομαλυνθούν οι μεταβάσεις μεταξύ περιοχών διαφορετικής ανισότητας. Στον πίνακα 9.1 παρουσιάζουμε τις χρονομετρήσεις που έγιναν κατά τη διάρκεια του προγραμματισμού με τις ακριβέστερες μεθόδους. Σημειώνουμε ότι ανακτήσαμε τον μέσο όρο για περισσότερα από 10 ζεύγη εικόνων, η απόκλιση χρόνου κυμαίνεται στο ±2%. Μέγεθος κάθε εικόνας Μέθοδος Χρόνος επεξεργασίας (εύρος ανισότητας = 4) Χρόνος επεξεργασίας (εύρος ανισότητας = 15) 1 MP 8m:20sec 24m:10sec 4-level-Pyramid with dynamic programming 3MP 42m:30sec 120m:45sec 1MP 4-level-Pyramid with 4m:24sec 11m:3sec dynamic programming 3MP and sub-pixel accuracy 22m: 17sec 63m:42sec Πίνακας 9.1 Χαρακτηριστικοί χρόνοι για την εύρεση του χάρτη βάθους με τις πιο αξιόπιστες μεθόδους. Φτάσαμε στο συμπέρασμα της σημαντικότητας του ορισμένου εύρους ανισότητας. Όσο το αυξάναμε, τόσο περισσότερο χρονοβόρος γινόταν ο κώδικας στην διεξαγωγή του. Το αποτέλεσμα δεν ήταν πάντοτε τόσο ικανοποιητικό ώστε να μπορούμε να πούμε ότι σε γενικές γραμμές αξίζει μια πιο χρονοβόρα προσέγγιση. Όμως για φωτογραφίες από μεγαλύτερη απόσταση μπορεί κανείς να παρατηρήσει ότι αποκτά μια πιο πλήρη αναπαράσταση αυξάνοντάς το. 9.4 Αποτελέσματα στερεοσκοπικής λήψης Εύκολη μοιάζει πλέον η υπόθεση ανακατασκευής σε τρεις διαστάσεις. Εν συνεχεία θα παρουσιαστούν τα αποτελέσματα για τρία ζεύγη εικόνων. Υπολογίστηκαν σε υπολογιστή με επεξεργαστή Intel 2.53GHz με μνήμη 8GB DDR3. Στην πρώτη περίπτωση φωτογραφήθηκε μια σταθερή σκηνή από πολύ κοντινή απόσταση. Στη δεύτερη περίπτωση φωτογραφήθηκε στο προσκήνιο ένα τραπέζι με διάφορα αντικείμενα από την ίδια απόσταση της βαθμονόμησης της κάμερας από το πρότυπο σκακιέρας. Έπειτα θα εμφανίσουμε την τρισδιάστατη αναπαράσταση μιας σκηνής, της οποίας το κοντινότερο αντικείμενο βρίσκεται σε απόσταση 3 μέτρων από τον φακό. 104

105 9.4.1 Σκηνή 1 - απόσταση 30cm Σε αυτήν την εικονοληψία συνέβαλλε ο φίλος μου ο Ρόκυ, οποίος παρέμεινε υπομονετικά σταθερός κατά την καταγραφή. Λήφθηκαν οι δύο εικόνες από απόσταση περίπου 30cm. Τα αποτελέσματα του αλγόριθμου για εύρος ανισότητας ίσο με 15, φαίνονται στον πίνακα 9.2. Ζεύγος εικόνων Χάρτης βάθους Ανακατασκευή Μεγέθυνση Πίνακας 9.2 Γραφικά αποτελέσματα για το πρώτο ζεύγος εικόνων 105

106 Η εστίαση του φακού σε αυτές τις εικόνες έχει γίνει σε κοντινότερο σημείο απ ότι συνέβη στη βαθμονόμηση της κάμερας. Από τις μετρήσεις επί του τρισδιάστατου διαγράμματος παρατηρούμε ότι το μέγεθος του κρανίου του σκύλου μετράται στο Matlab στα 98x95cm ενώ στην πραγματικότητα είναι 16x15cm. Άλλο ένα αισθητά μεγάλο σφάλμα είναι η αναπαράσταση του βάθους της σκηνής. Όσο βαθύτερα υπάρχουν τα υπολογισμένα pixels, τόσο μεγαλύτερη είναι η ανακρίβεια που υπεισέρχεται στις μετρήσεις. Τελικά συμπεραίνουμε ότι απ' την μία η ανακατασκευή έχει πετύχει οπτικά, οι γεωμετρικές όμως αποστάσεις αποκλίνουν από την πραγματικότητα Σκηνή 2 - απόσταση 1m Από απόσταση 1 μέτρου τραβήχτηκαν δύο φωτογραφίες πλάι η μια στην άλλη. Ο φακός εστίασε στα 2.5 μέτρα. Σχόλια για αυτήν την περίπτωση ακολουθούν μετά την προβολή του πίνακα 9.3. Ζεύγος εικόνων Χάρτης βάθους Ανακατασκευή 106

107 Μεγέθυνση Πίνακας 9.3 Γραφικά αποτελέσματα για το δεύτερο ζεύγος εικόνων Το πιο απομακρυσμένο αντικείμενο της σκηνής αποτελεί η πόρτα. Εδώ μας εξέπληξε η ακρίβεια με την οποία αναπαριστάνεται αυτή - συγκεκριμένα το μήκος της. Από το μέρος του ύψους της πόρτας που αναπαριστάνεται μοιάζει να έχει υπολογιστεί κι αυτό σωστά. Το βάθος στο οποίο έχουν υπολογιστεί τα εικονοστοιχεία της δεν είναι αρκετά σωστό. Μην ξεχνάμε ότι πρόκειται για μια αναπαράσταση από δύο μονάχα λήψεις. Ωστόσο το μέγεθος του καλαθιού με τα φρούτα καθώς και του βιβλίου είναι πέντε φορές μεγαλύτερα από τα πραγματικά. Μπορούμε επίσης να παρατηρήσουμε ότι έχει αναπαρασταθεί σχεδόν πλήρως η εικόνα. Επίσης έχει υπολογιστεί με ακρίβεια το μέγεθος των γλαστρών στο πίσω μέρος της εικόνας Σκηνή 3 - απόσταση 3m Στην τελευταία σκηνή μπορέσαμε να δούμε ότι για μια πυκνότερη αναπαράσταση αξίζει να θυσιάσουμε περισσότερο χρόνο, θέτοντας το όριο εύρους disparity ίσο με 15, όπως συνέβη άλλωστε και στις προηγούμενες εικόνες. Ωστόσο στην συγκεκριμένη περίπτωση παρατηρήσαμε ότι για μια μικρή τιμή disparity range (π.χ. 4) προκύπτει μια πολύ αραιή αναπαράσταση. Θα πρέπει βέβαια να τονίσουμε ότι στη σκηνή 3 οι εικόνες λήφθηκαν με οριζόντια απόσταση 12cm της μιας άποψης από την άλλη, ενώ στις σκηνές 1 και 2 η απόσταση αυτή κρατήθηκε στα 6.5cm, δηλαδή όσο η μέση απόσταση μεταξύ των δύο ματιών ενός ανθρώπου. Έτσι είναι ευνόητο ότι αυξάνει ο βαθμός δυσκολίας για την επιτυχία στη διόρθωση εικόνας. Αυτός είναι κι άλλωστε ο λόγος για τον οποίο μετατοπίσαμε την κάμερα αρκετά. Βλέπουμε, πρακτικά, ότι θα πρέπει να είμαστε προσεκτικοί όταν αναθέτουμε τιμές στις παραμέτρους των αλγορίθμων. Εδώ χρειάστηκε να αυξήσουμε το όριο αναζήτησης για την απόσταση αντιστοίχισης μεταξύ δύο σύμφωνων σημείων, καθώς τιμές μικρότερες του 10 δεν απέδιδαν ικανοποιητική αναπαράσταση της σκηνής. Η εστίαση του φακού έγινε στα 3.5 μέτρα. 107

108 Ζεύγος εικόνων Χάρτης βάθους Ανακατασκευή Μεγέθυνση Πίνακας 9.4 Γραφικά αποτελέσματα για το τρίτο ζεύγος εικόνων Το μεγαλύτερο κομμάτι της εικόνας έχει αναπαρασταθεί ικανοποιητικά. Το πιάνο που βρίσκεται στο αριστερό μέρος της εικόνας, σε απόσταση 3 μέτρων από τον φακό, έχει τις σωστές διαστάσεις. Το ίδιο συμβαίνει και με τα λίγο πιο απομακρυσμένα αντικείμενα όπως το ύψος της καρέκλας ή του τραπεζιού. Όσο, βέβαια, βαθύτερα βρίσκονται τα αντικείμενα 108

109 (πιο μακριά από την απόσταση εστίασης του φακού) τόσο αυξάνουν οι αποκλίσεις των απεικονιζόμενων διαστάσεων από τις πραγματικές. 109

110 Κεφάλαιο 10 Τρισδιάστατη ανακατασκευή βαθμωτής δομής από κίνηση και Multi-View-Stereo 10.1 Εισαγωγή Η δομή από κίνηση (SfM - Structure from Motion) έχει χρησιμοποιηθεί με επιτυχία για την ανακατασκευή των ολοένα και πιο ανεξέλεγκτων συλλογών από εικόνες. Παρά το γεγονός ότι τέτοιες τεράστιες συλλογές δεδομένων μπορούν να μειωθούν σε υποσύνολα εικόνων, το κοινώς γνωστό κόστος O(n 4 ) της βαθμωτής (incremental) SfM εξακολουθεί να είναι υψηλό για απεικονίσεις μεγάλων σκηνών. Πριν μερικά χρόνια παρουσιάστηκε μια μέθοδος O(n 3 ) κάνοντας χρήση ενός συνδυασμού διακριτής και συνεχούς βελτιστοποίησης [36]. Παρ' όλα αυτά, παραμένει κρίσιμο για την SfM το να επιτευχθεί χαμηλή πολυπλοκότητα και υψηλή επεκτασιμότητα. Ένα από τα λογισμικά που χρησιμοποιήσαμε είναι το VisualSFM. Στα πλαίσια αυτού, ο αναγνώστης παραπέμπεται στην εργασία [37] του Changchang Wu του πανεπιστημίου της Ουάσινγκτον καθώς και στην [38] των Snavely, Seitz και Szeliski. Η βελτίωση της αποτελεσματικότητας της SfM προσπαθείται να επιτευχθεί από περισσότερες συνεισφορές, οι κυριότερες των οποίων είναι: με την εισαγωγή μιας προληπτικής αντιστοίχισης σημείων η οποία μπορεί να μειώσει τα ζεύγη που ταιριάζουν έως και 95% ενώ, ταυτοχρόνως, ανακτά επαρκή σύμφωνα σημεία για την αναπαράσταση με την ανάλυση της πολυπλοκότητας του χρόνου των μεθόδων προσαρμογής πακέτων (Bundle Adjustment) Η κύρια ιδέα για πυκνή αναπαράσταση είναι να αποσυνθέσουμε τη συλλογή εικόνων σε μια σειρά από επικαλυπτόμενα σύνολα των φωτογραφιών. Αυτά θα μπορούν να υποβληθούν σε επεξεργασία παράλληλα και να συγχωνευθούν οι προκύπτουσες ανακατασκευές. Αυτό το πρόβλημα αλληλοεπικάλυψης συμπλεγμάτων διαμορφώνεται ως μια περιορισμένη βελτιστοποίηση και λύνεται επαναληπτικά Προληπτική αντιστοίχιση χαρακτηριστικών Η αντιστοίχιση των χαρακτηριστικών στοιχείων μιας εικόνας είναι το πιο χρονοβόρο βήμα της δομής από κίνηση. Η πλήρης αντιστοίχηση χρειάζεται χρόνο O(n 2 ) για n εικόνες εισόδου. Ωστόσο αρκεί να υπολογιστεί ένα υποσύνολο που ταιριάζει, με αποτέλεσμα ο συνολικός χρόνος που απαιτείται να μειώνεται σε O(n). Η διαδικασία «ταιριασμού» μπορεί 110

111 να γίνει παράλληλα σε πολλαπλά GPUs για μεγαλύτερη ταχύτητα [39]. Κι όμως αυτή η διαδικασία εξακολουθεί να είναι ένα τρωτό σημείο, αν σκεφθεί κανείς τις αρκετές χιλιάδες χαρακτηριστικά σημεία που περιέχουν οι εικόνες. Ένα μεγάλο μέρος του χρόνου επεξεργασίας μπορεί να σωθεί αν καταφέρουμε να εντοπίσουμε τα καλά ζεύγη αποτελεσματικά και με σθεναρότητα σε σφάλματα. Με την αξιοποίηση των κλιμάκων των αμετάβλητων χαρακτηριστικών [40], προτείνεται η ακόλουθη προληπτική αντιστοίχιση χαρακτηριστικών [37]: 1) Ταξινόμηση των χαρακτηριστικών της κάθε εικόνας κατά φθίνουσα σειρά. Αυτή είναι μια προεπεξεργασία που γίνεται μία φορά. 2) Δημιουργία μιας λίστας ζευγών από τα σημεία που χρειάζεται να συνδυαστούν, είτε χρησιμοποιώντας όλα τα ζεύγη είτε ένα υποσύνολο αυτών. 3) Για καθένα ζεύγος εικόνων (παράλληλα), κάντε τα εξής: (α) αντιστοιχίστε τα πρώτα h χαρακτηριστικά των δύο εικόνων (β) αν το πλήθος των συνδυασμών του υποσυνόλου είναι μικρότερο από t h, επέστρεψε και παράλειψε το επόμενο βήμα (γ) κάνε κανονική αντιστοίχιση και γεωμετρική εκτίμηση όπου h είναι η παράμετρος για το μέγεθος του υποσυνόλου και t h είναι το threshold για τον αναμενόμενο αριθμό των αντιστοιχίσεων. Στα παραπάνω γίνεται χρήση του αλγόριθμου του πλησιέστερου γείτονα με έλεγχο του λόγου απόστασης [40] και απαιτεί τα σύμφωνα σημεία να υπολογιστούν αμοιβαίως ως τέτοια Βαθμωτή δομή από κίνηση (Ιncremental SfM) Στην παράγραφο αυτή θα προσπαθήσουμε να παρουσιάσουμε τη σχεδίαση της μεθόδου δομής από κίνηση. Έχει, πρακτικά, ένα γραμμικό χρόνο εκτέλεσης. Το γεγονός ότι η προσαρμογή πακέτου μπορεί να πετύχει σε χρόνο O(n), δίνει την ευκαιρία ώθησης του χρόνου βαθμωτής ανακατασκευής πιο κοντά σε στον O(n). Όπως παρουσιάζεται στην εικόνα παρακάτω, ο αλγόριθμος προσθέτει μία εικόνα σε κάθε επανάληψη και ύστερα «τρέχει» είτε μία πλήρη προσαρμογή πακέτου ΒΑ (Βundle Adjustment) είτε ένα μερικό BA. Μετά από το BA και το φιλτράρισμα, λαμβάνουμε μια άλλη επιλογή μεταξύ συνέχισης με την επόμενη επανάληψη και ενός βήματος ανα-τριγωνισμού. 111

112 Σχήμα 10.1 Ένας βρόχος της προτεινόμενης βαθμωτής SfM, ο οποίος επαναλαμβάνεται έως ότου δεν προστίθενται εικόνες για την ανακατασκευή Λόγω των σχετικών θέσεων της κάμερας, η βαθμωτή SfM παρουσιάζει προβλήματα λόγω των συσσωρευμένων σφαλμάτων που προκύπτουν από τις σχετικές θέσεις της κάμερας. Ο περιορισμός μεταξύ δύο θέσεων της κάμερας παρέχεται από τα τριγωνοποιημένα σημεία ενδιαφέροντος. Επειδή οι αρχικά εκτιμώμενοι προσανατολισμοί (ακόμη και ύστερα από μερικό BA) δύναται να μην είναι αρκετά ακριβείς, μερικά σωστά υπολογισμένα σημεία δέχεται να αποτύχουν την τριγωνοποίηση για κάποιο κατώφλι τριγωνοποίησης ή και φίλτρου. Χάνονται έτσι σωστές αντιστοιχίσεις. Για την αντιμετώπιση αυτού του προβλήματος ο Changchang Wu προτείνει την εκ νέου τριγωνοποίηση ή ανα-τριγωνοποίηση των σημείων που αποδείχθηκαν ως ασύμφωνα. Αυτό θα πρέπει να γίνεται τακτικά (με καθυστέρηση) κατά την διάρκεια της βαθμωτής SfM. Μια καλή ένδειξη για πιθανή κακή συσχέτιση μεταξύ δύο εικόνων είναι μια χαμηλή αναλογία μεταξύ των κοινών τους και των σύμφωνων σημείων. Προκειμένου να περιμένει κανείς έως ότου σταθεροποιηθούν περισσότερο, γίνεται η ανα-τριγωνοποίηση των σημείων με χαμηλή αναλογία σύμφωνα/κοινά. Αυτό συμβαίνει σύμφωνα με μια γεωμετρική ακολουθία. Για την ανάκτηση περισσότερων σημείων μπορούμε επίσης να αυξήσουμε το όριο για τα λάθη προβολής κατά την ανα-τριγωνοποίηση Πειραματικά αποτελέσματα αραιής αναπαράστασης από βίντεο Μετά από τη σύντομη περιγραφή που προηγήθηκε, είναι καιρός να παρουσιάσουμε τα αποτελέσματα για το βίντεο που τραβήχτηκε. Σαν πρώτο βήμα, αφού έγινε η βιντεοσκόπηση της σκηνής με ειδικό software ανακτήσαμε εικόνες από το βίντεο. Οι εικόνες αυτές εισήχθηκαν στο λογισμικό του VisualSFM. Εκεί πραγματοποιήθηκε η διαδικασία των παραπάνω παραγράφων. Στο αρχείο nv.ini μπορεί κανείς να αλλάξει παραμέτρους όπως την αναλογία εστιακού μήκους και μέγιστου πλάτους-ύψους για 112

113 εικόνες μεγάλου εύρους. Εκεί επίσης μπορεί να προσαρμοστούν το Bundle adjustment καθώς και παράμετροι για την πυκνή αναπαράσταση. Σχήμα 10.2 Τέσσερα χαρακτηριστικά στιγμιότυπα του βίντεο που λήφθηκε σε ανάλυση 1080p Θα πρέπει να αναφερθεί ότι η εξαγωγή των σημείων ενδιαφέροντος των εικόνων γίνεται με τον αλγόριθμο SIFT (Scale-Invariant Feature Transform) που πρωτοπαρουσιάστηκε από τον David G. Lowe το 1999 [41]. Το αποτέλεσμα που θα λάβουμε θα είναι μια αραιή τρισδιάστατη αναπαράσταση όπως φαίνεται στα σχήματα 10.3 και 10.4, όπου επεξεργάστηκαν 50 και 300 στιγμιότυπα του βίντεο αντίστοιχα. Σχήμα 10.3 Αραιή τρισδιάστατη αναπαράσταση για 50 στιγμιότυπα FULL HD 113

114 Σχήμα 10.4 Αραιή τρισδιάστατη αναπαράσταση για 300 στιγμιότυπα FULL HD Επίσης, για λόγους πληρότητας παρουσιάζεται ο πίνακας 10.1 όπου συγκεντρώνουμε του χρόνους εκτέλεσης για το παράδειγμά μας. Η hardware που χρησιμοποιήσαμε είναι: Βιντεοσκόπηση: Smartphone Nokia Lumia 920 με οπτικό σταθεροποιητή εικόνας Επεξεργασία: Σταθερός Η/Υ με επεξεργαστή Intel - 8MB cache, 8GB και κάρτα γραφικών NVidia GeForce GTX 780 3GB αρχιτεκτονικής CUDA με 2304 μονάδες επεξεργασίας (παράλληλη επεξεργασία χρησιμοποιώντας την GPU, αυξάνοντας έτσι την απόδοση του συστήματος) Ανάλυση βίντεο Επεξεργασμένα frames SIFT Αραιή ανακατασκευή SfM (BA) 50 4sec 44sec (41.8sec) 1920x1080p sec 326.6sec (286.5sec) Πίνακας 10.1 Χρόνοι εκτέλεσης για 50 εικόνες (αναπαράσταση σημείων) και για 300 εικόνες (αναπαράσταση σημείων) 114

115 10.5 Multi-View-Stereo (MVS) Ουσιαστικά μπορούμε να ανακατασκευάσουμε ψηφιακά ολόκληρο τον κόσμο. Αυτό μπορεί να επιτευχθεί λόγω των πολύ σημαντικών τεχνολογικών εξελίξεων και βελτιώσεων. Αλγόριθμοι αντιστοίχισης όπως ο SIFT παρέχουν ακριβείς ταιριασμούς, αλγόριθμοι δομής από κίνηση χρησιμοποιούν τις αντιστοιχίσεις αυτές για τον υπολογισμό του προσανατολισμού της κάμερας. Ακόμη, οι μέθοδοι MVS (Multi-View Stereo) [42] λαμβάνουν τέτοιες εικόνες με προσανατολισμό ως είσοδο και παράγουν πυκνά 3D μοντέλα με ακρίβεια σχεδόν του ίδιου επιπέδου με laser scanners [43]. Οι αλγόριθμοι MVS βασίζονται στην ιδέα του συσχετισμού των μετρήσεων από πολλές εικόνες ταυτόχρονα ώστε να αντληθούν πληροφορίες για μια τρισδιάστατη επιφάνεια. Πολλοί απ' αυτούς τους αλγόριθμους στοχεύουν σε σφαιρική ανακατασκευή του μοντέλου, χρησιμοποιώντας όλες τις διαθέσιμες εικόνες ταυτόχρονα. Όμως αυτή η προσέγγιση συχνά δεν καθίσταται εφικτή. Αντί αυτού, είναι σημαντικό να επιλεχθεί το σωστό υποσύνολο εικόνων και να συγκροτηθεί σε διαχειρίσιμα κομμάτια. Στην επόμενη παράγραφο θα παρουσιαστεί ένας σχετικός αλγόριθμος που προτάθηκε από τους Y. Furukawa, B. Curless, S. M. Seitz και R. Szeliski [42] Ο αλγόριθμος ομαδοποίησης εικόνων Ένα ζεύγος εικόνων I l και I m ορίζεται ως γειτονικό αν υπάρχει ένα σημείο SfM που είναι ορατό και στις δύο εικόνες. Ομοίως, ένα σετ εικόνων είναι γειτονικό αν υπάρχει ένα ζεύγος εικόνων (ένα από κάθε σετ) που είναι γείτονες. Τέλος, ένα ζεύγος σημείων SfM P j και P κ ορίζεται γειτονικό εάν 1) έχουν παρόμοια ορατότητα, δηλ. τα ορατά σετ εικόνων V j και V k είναι γειτονικά σύμφωνα με τον παραπάνω ορισμό και 2) οι προβαλλόμενες θέσεις των P j, Vj Vk P κ βρίσκονται μέσα σε r 1 pixels σε κάθε εικόνα ( ), όπου r1 =64. Στο σχήμα 10.5 παρουσιάζεται η προσέγγιση του αλγόριθμου. Αποτελείται από τέσσερα στάδια. Τα πρώτα δύο αφορούν την προ-επεξεργασία ενώ τα δύο τελευταία επαναλαμβάνονται σε βρόχο. 115

116 Σχήμα 10.5 Ο αλγόριθμος ομαδοποίησης εικόνων, αποτελούμενος από 4 βήματα. Συνοπτικά: Βήμα 1: Η απόκτηση ακριβών μετρήσεων των σημείων προβολής είναι το κλειδί για την επιτυχία της διαδικασίας της ομαδοποίησης. Μη ανιχνευμένα ή μη αντιστοιχισμένα χαρακτηριστικά εικόνας οδηγούν σε σφάλματα. Η λήψη πιο αξιόπιστων εκτιμήσεων προβολής πραγματοποιείται με τη συσσώρευση δεδομένων πάνω από μια τοπική γειτονιά. Η θέση συγχωνευμένου σημείου είναι ο μέσος όρος των γειτόνων του. Αυτό το βήμα μειώνει σημαντικά τον αριθμό των σημείων SfM και βελτιώνει τον χρόνο εκτέλεσης των υπόλοιπων τριών βημάτων. Βήμα 2: Ξεκινώντας με το πλήρες σετ εικόνων, γίνεται η δοκιμή κάθε εικόνας. Η τελευταία αφαιρείται αν ο περιορισμός επικάλυψης εξακολουθεί να ισχύει μετά την αφαίρεση. Η δοκιμή απομάκρυνσης γίνεται για όλες τις εικόνες απαριθμούμενες κατά αύξουσα σειρά της ανάλυσης εικόνας (αριθμός pixels). Αυτό γίνεται ώστε οι εικόνες χαμηλής ανάλυσης να αφαιρεθούν νωρίτερα. Και αυτό το βήμα επιταχύνει τον αλγόριθμο. Βήμα 3: Εδώ επιβάλλεται ο περιορισμός μεγέθους (size constraint) από τη διάσπαση σε ομάδες (clusters), αγνοώντας την επικάλυψη εικόνων. Συγκεκριμένα, μια ομάδα εικόνων διαιρείται σε μικρότερα μέρη εάν παραβιάζει τον περιορισμό μεγέθους. Η διαίρεση ενός cluster εκτελείται από τον αλγόριθμο Normalized-Cuts που περιγράφεται στο [44]. Επαναλαμβάνεται έως ότου ο περιορισμός ικανοποιείται για όλες τις ομάδες. Βήμα 4: Ο περιορισμός επικάλυψης δύναται να έχει παραβιαστεί στο βήμα 3. Τώρα προσθέτουμε εικόνες σε κάθε ομάδα προκειμένου να καλυφθούν περισσότερα SfM σημεία και να αποκατασταθεί η επικάλυψη. 'Ύστερα από την προσθήκη μιας 116

117 εικόνας, ο περιορισμός μεγέθους μπορεί να παραβιαστεί. Έτσι τα δύο τελευταία βήματα (3,4) επαναλαμβάνονται μέχρι να ικανοποιηθούν και οι δύο περιορισμοί Πειραματικά αποτελέσματα πυκνής αναπαράστασης από βίντεο Αφού λάβαμε τα αποτελέσματα του λογισμικού SfM, δημιουργήσαμε σχετικό αρχείο το οποίο φορτώθηκε στο CMPMVS (ελεύθερο λογισμικό, βλ. [45]). Εκεί πραγματοποιήθηκε η διαδικασία της παραγράφου Χαρακτηριστικά στιγμιότυπα των ανακτημένων βίντεο φαίνονται στη συνέχεια: Σχήμα 10.6 Μοντάζ της πρωτότυπης εικόνας, των αντιστοιχισμένων σημείων από SfM, σκιασμένης και επιφάνειας με υφή. Επάνω από 50 επεξεργασμένες εικόνες και κάτω από

118 Παρατηρούμε ότι στην αναπαράσταση από επεξεργασία 300 εικόνων τα αντικείμενα στο κέντρο της σκηνής φαίνονται αισθητά καλύτερα από την πρώτη περίπτωση. Ολοκληρώνοντας θα παρουσιάσουμε, γραφικά, τα αποτελέσματα του αλγόριθμου του Furukawa (σχήμα 10.7) και στη συνέχεια, σε μορφή πίνακα, τους χαρακτηριστικούς χρόνους εκτέλεσης (πίνακας 10.2). Για την εμφάνιση των τρισδιάστατων εικόνων με υφή χρησιμοποιήσαμε σχετικό αρχείο που παράγεται από το λογισμικό CMPMVS. Στη συνέχεια το αρχείο αυτό εισήχθηκε στο περιβάλλον του MeshLab, ένα εργαλείο που αναπτύχθηκε με την υποστήριξη του 3D-CoForm project. Σχήμα 10.7 Αποτελέσματα στο MeshLab (δυνατότητα μέτρησης αποστάσεων) ύστερα από την εισαγωγή εξαγόμενου αρχείου από το CMPMVS. α) Από επεξεργασία 50 εικόνων και β) από επεξεργασία 300 εικόνων 118