ΤΡΙΣΔΙΑΣΤΑΤΗ ΑΝΑΚΑΤΑΣΚΕΥΗ ΧΩΡΟΥ ΑΠΟ ΕΝΑ ΜΙΚΡΟ ΑΡΙΘΜΟ ΦΩΤΟΓΡΑΦΙΩΝ

Transcript

1 ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΠΑΝΕΠΙΣΤΗΜΙΟΥ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΜΕ ΘΕΜΑ: ΤΡΙΣΔΙΑΣΤΑΤΗ ΑΝΑΚΑΤΑΣΚΕΥΗ ΧΩΡΟΥ ΑΠΟ ΕΝΑ ΜΙΚΡΟ ΑΡΙΘΜΟ ΦΩΤΟΓΡΑΦΙΩΝ Των προπτυχιακών φοιτητών του τμήματος: ΦΛΩΡΟΥ ΡΑΦΑΕΛΛΑΣ Α.Μ.:5798 & ΧΑΤΟΥΠΗ ΣΤΑΥΡΟΥ Α.Μ.:5804 ΕΠΙΒΛΕΠΩΝ: Α. ΚΑΘΗΓΗΤΗΣ Ε. ΔΕΡΜΑΤΑΣ ΑΡΙΘΜΟΣ ΔΙΠΛΩΜΑΤΙΚΗΣ: ΠΑΤΡΑ, ΟΚΤΩΒΡΗΣ 2011

2 ` ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα: ΤΡΙΣΔΙΑΣΤΑΤΗ ΑΝΑΚΑΤΑΣΚΕΥΗ ΧΩΡΟΥ ΑΠΟ ΕΝΑ ΜΙΚΡΟ ΑΡΙΘΜΟ ΦΩΤΟΓΡΑΦΙΩΝ Των φοιτητών του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Πάτρας: Φλώρου Ραφαέλλας (Α.Μ. 5798) & Χατούπη Σταύρου (Α.Μ. 5804) Παρουσιάστηκε δημόσια και εξετάσθηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις 14/10/2011 ` Ο Επιβλέπων Ο Διευθυντής του Τομέα

3 Πρόλογος Πρόλογος Η παρούσα διπλωματική εργασία αναπτύχθηκε στα πλαίσια των προπτυχιακών σπουδών του τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρών. Θέμα της είναι η τρισδιάστατη ανακατασκευή του χώρου από τουλάχιστον δύο φωτογραφίες του και αποτελεί μέρος του τομέα της Υπολογιστικής Όρασης. Συγκεκριμένα αναλύεται διεξοδικά η περίπτωση της στερεοσκοπικής όρασης, στην οποία η κάμερα μεταξύ δύο διαδοχικών λήψεων της ίδιας σκηνής, έχει μηδενική σχετική περιστροφή ως προς την αρχική της θέση και μικρή μετατόπιση, περίπου 5 εκατοστά. Με τον τρόπο αυτό, προσπαθούμε να προσομοιώσουμε τη λειτουργία της ανθρώπινης όρασης καθώς πολλές εφαρμογές της Τεχνητής Νοημοσύνης το κρίνουν απαραίτητο. Είναι λογικό ότι ο κάθε άνθρωπος θεωρεί τη στερεοσκοπική όραση αυτονόητη γιατί κινείται στον τρισδιάστατο κόσμο. Όταν αυτός όμως καταγράφεται από μία κάμερα, αυτόματα περνάει στο δισδιάστατο επίπεδο. Και πάλι είναι δυνατόν να εξάγουμε πληροφορίες βάθους από μία μόνο εικόνα, όμως γίνεται καθαρά εμπειρικά και βασίζεται στη σύγκριση διάφορων υφών, σχημάτων και μεγεθών. Ο ηλεκτρονικός υπολογιστής αναγνωρίζει την εικόνα σαν ένα οποιοδήποτε αρχείο. Δεν μπορεί να εξάγει κανένα συμπέρασμα για το τι απεικονίζει στον πραγματικό κόσμο. Χρειάζεται το συνδυασμό τουλάχιστον δύο εικόνων της ίδιας σκηνής από διαφορετικές θέσεις για να μπορέσει να αναγνωρίσει για παράδειγμα το βάθος της σκηνής που απεικονίζεται. Αυτή τη διαδικασία περιγράφει αναλυτικά η εργασία. Στο πρώτο κεφάλαιο εισάγουμε την έννοια και τη χρησιμότητα της στερεοσκοπικής όρασης. Στο δεύτερο κεφάλαιο παρουσιάζονται οι βασικές αρχές της προβολικής γεωμετρίας. Στο τρίτο κεφάλαιο αναφερόμαστε στη μοντελοποίηση της κάμερας και τις παραμέτρους που τη χαρακτηρίζουν. Στο τέταρτο κεφάλαιο αναλύεται η διαδικασία της βαθμονόμησης της κάμερας. Στο πέμπτο κεφάλαιο εξηγείται η διαδικασία αντιστοίχησης των σημείων ενδιαφέροντος στις δύο εικόνες. Στο έκτο κεφάλαιο αναλύονται οι βασικές αρχές της επιπολικής γεωμετρίας. Στο έβδομο κεφάλαιο παρουσιάζεται η πειραματική διαδικασία για την εύρεση του βάθους της σκηνής. Στο όγδοο κεφάλαιο παρουσιάζεται συνοπτικά η τρισδιάστατη ανακατασκευή του χώρου και παρουσιάζονται τα αντίστοιχα πειραματικά αποτελέσματα. Στο ένατο κεφάλαιο διατυπώνουμε τα συμπεράσματα της όλης διαδικασίας. Τόσο το θεωρητικό όσο και το πειραματικό μέρος αυτής της εργασίας καλύπτουν σε ένα μεγάλο ποσοστό τα βασικά στάδια ανακατασκευής του τρισδιάστατου χώρου. Τα αποτελέσματα της πειραματικής διαδικασίας αποδεικνύουν ότι οι υπάρχουσες μέθοδοι λειτουργούν ικανοποιητικά αλλά υπάρχουν πολλά περιθώρια βελτίωσης στο θέμα της Υπολογιστικής Όρασης. Στο σημείο αυτό να ευχαριστήσουμε τον επιβλέποντα καθηγητή μας κ. Δερματά για τη συνεργασία του και την κατανόησή του. i

4

5 Αbstract Abstract The current thesis has been written as part of the undergraduate studies for the department of Electrical and Computer Engineering of Patras University. Its objective is the three-dimensional (3D) reconstruction from two, at least, photographs, which is part of computer vision. More specifically, this thesis analyzes in detail the case of stereo vision when the camera, among two successive shots of the same image, has zero relative rotation compared to its initial position and an average translation of about 5 cm. In this way, it attempts to simulate human vision since this is essential for many Artificial Intelligence applications. Humans take stereo vision for granted since they live in a three-dimensional world. However, this world becomes two-dimensional when recorded by a camera. We can still get information about the image depth but this is empirically done based on comparing various heights, shapes and sizes. Images are identified by the computer as any other file. Computers cannot draw conclusions about what is depicted in the real world. They need to combine at least two images of the same scene and of different positions to identify the image s depth. This process is described in the current thesis. The first chapter describes stereo vision and why it is so useful. The second chapter provides the basic principles of projective geometry, the mathematical background for passing from the twodimensional level to the three-dimensional. The third chapter refers to camera modeling and its parameters (instrisic and extrinsic). Chapter four analyzes the camera calibration process. Chapter five explains the matching process of points of interest in both pictures. The sixth chapter provides the basic principles of epipolar geometry. The seventh chapter shows the experimental procedure that we followed in order to estimate the depth of the scene. Chapter eight shows how the 3D reconstruction is finally done. Chapter nine talks about our conclusions and how the results could improve. Both theoretical and experimental parts of this project cover the key points of 3d reconstruction. The results of the experiments show that the existing methods are satisfying but could improve more. We want to thank our supervisor professor Mr. Dermatas for his collaboration and his understanding. ii

6

7 Στη μνήμη της γιαγιάς Ασπασίας iii

8

9 Περιεχόμενα Κεφάλαιο 1 : Εισαγωγή 1.1 Πρόλογος Παθητικές μέθοδοι Στερεοσκοπική Όραση Δομή από κίνηση Κεφάλαιο 2: Προβολική Γεωμετρία Εισαγωγή Ομογενείς συντεταγμένες Το προβολικό επίπεδο Ο προβολικός τρισδιάστατος χώρος Μετασχηματισμοί και διαστρωμάτωση της προβολικής γεωμετρίας Κεφάλαιο 3: Μοντελοποίηση της κάμερας Το μοντέλο μικρής οπής για την κάμερα Οι εσωγενείς και εξωγενείς παράμετροι της κάμερας Οι εσωγενείς παράμετροι Ορισμός εσωγενών παραμέτρων Μη γραμμικές παραμορφώσεις Αντιμετώπιση μη γραμμικών παραμορφώσεων Εξωγενείς παράμετροι Αντιστοιχία του μαθηματικού υπόβαθρου με τα αποτελέσματα του Matlab Εσωγενείς παράμετροι Εξωγενείς παράμετροι Κεφάλαιο 4: Βαθμονόμηση κάμερας- Εύρεση παραμέτρων Εισαγωγή Μέθοδοι εύρεσης των παραμέτρων Μέθοδος Hall Μέθοδος Zhang Πειραματική διαδικασία Τεχνικά χαρακτηριστικά φωτογραφικής μηχανής Εφαρμογή μεθόδου Zhang και αποτελέσματα Strereo calibration Πώς οι παραμορφώσεις του φακού επηρεάζουν τις εσωγενείς παραμέτρους.. 43 Κεφάλαιο 5: Εντοπισμός γωνιών και αντιστοίχηση σημείων ενδιαφέροντος στις εικόνες Εισαγωγή Κριτήρια επιλογής αλγορίθμου εντοπισμού γωνιών Harris Corner Detector Εφαρμογή του Harris corner detector Αντιστοίχιση των γωνιών στις φωτογραφίες Κεφάλαιο 6: Επιπολική Γεωμετρία Εισαγωγή. 56 iv

10

11 6.2 Επιπολική Γεωμετρία Επίπολο ή επιπολικό σημείο, επιπολική γραμμή, επιπολικό επίπεδο Επιπολικός περιορισμός και τριγωνισμός (triangulation). 6.3 Essential πίνακας και θεμελιώδης μήτρα 6.4 Απλοποιημένες περιπτώσεις Κεφάλαιο 7: Υπολογισμός βάθους από στερεοσκοπικό ζεύγος Εισαγωγή. 7.2 Μέθοδοι απόρριψης λανθασμένων αντιστοιχίσεων RANSAC μέθοδοι 7.3 Πλήρης αλγόριθμος υπολογισμού βάθους Πειραματική διαδικασία και αποτελέσματα Κεφάλαιο 8: Τρισδιάστατη ανακατασκευή Εισαγωγή Διόρθωση εικόνων Disparity Map (Χάρτης βάθους) Τρισδιάστατη ανακατασκευή ( 3D reconstruction) Πειραματική διαδικασία Διόρθωση εικόνων Disparity Maps Τρισδιάστατη ανακατασκευή Εφαρμογή του αλγορίθμου για σκηνές μεγαλύτερου βάθους. 90 Κεφάλαιο 9: Συμπεράσματα Βιβλιογραφία 98 Παράρτημα- Υλοποίηση Matlab v

12

13 Κεφάλαιο 1: Εισαγωγή Κεφάλαιο 1: Εισαγωγή 1.1 Πρόλογος Το αντικείμενο της παρούσας διπλωματικής εργασίας είναι η τρισδιάστατη ανακατασκευή ενός αντικειμένου ή ενός χώρου, χρησιμοποιώντας δύο φωτογραφίες του (stereo vision) και αποτελεί εξειδίκευση του πεδίου της Υπολογιστικής Όρασης (Computer vision). To computer vision είναι ο κλάδος της τεχνητής νοημοσύνης που προσπαθεί να προσομοιώσει την ανθρώπινη όραση. Στόχος είναι να παράσχει στον υπολογιστή όλες τις λειτουργίες που χαρακτηρίζουν την ανθρώπινη όραση. Ο συγκεκριμένος κλάδος έχει μεγάλη άνθιση τα τελευταία χρόνια λόγω των πολλών εφαρμογών, όπου η γνώση της τρισδιάστατης δομής ενός αντικειμένου ή ενός χώρου κρίνεται απαραίτητη. Μερικές μόνο από τις εφαρμογές (σχήμα 1.1) που προϋποθέτουν γνώση του computer vision είναι οι ακόλουθες : Έλεγχος διαδικασιών (πχ. βιομηχανικά ρομπότ) Πλοήγηση (πχ. κινούμενα ρομπότ, αυτόνομα οχήματα) Μοντελοποίηση αντικειμένων ή χώρων τόσο σε ιατρικές όσο και μηχανικές εφαρμογές (πχ. 3D επεικόνιση εμβρύου, μοντελοποίηση τοπογραφικών) Αυτόματος έλεγχος (πχ. σε βιομηχανικές εφαρμογές) Ανίχνευση συμβάντων (πχ. καταμέτρηση αυτοκινήτων ή οπτική παρακολούθηση γεγονότων) Σχήμα 1.1: Παραδείγματα εφαρμογών του computer vision (a-b) Επιθεώρηση μηχανών (c) Λιανική (d) Ιατρική επεικόνιση (e) Αυτοκινητιστική ασφάλεια (f) Επίβλεψη και ασφάλεια αυτοκινητόδρομων 1

14 Κεφάλαιο 1: Εισαγωγή Η ραγδαία εξέλιξη των ηλεκτρονικών υπολογιστών συνέβαλε στην επίτευξη του στόχου για ακριβή και ποιοτική αναπαράσταση αντικειμένων. Είναι δυνατό πλέον, μέσω κατάλληλων αλγορίθμων (σχήμα 1.2), να απεικονιστούν σύνθετες τρισδιάστατες σκηνές σε πραγματικό χρόνο, το οποίο κάποια χρόνια πριν ήταν ανέφικτο, καθώς επίσης και η επεξεργασία ψηφιακών εικόνων πολύ υψηλής ανάλυσης, που συνεπάγεται μεγάλο όγκο δεδομένων. Αυτή η εξέλιξη προκαλεί μια σημαντική αξίωση για πιο σύνθετα και ρεαλιστικά μοντέλα. Το πρόβλημα είναι ότι ακόμα κι αν τα εργαλεία που είναι διαθέσιμα γίνονται περισσότερο ισχυρά, η σύνθεση των ρεαλιστικών τρισδιάστατων μοντέλων είναι δύσκολη και χρονοβόρα, με αποτέλεσμα να είναι και δαπανηρή. Σχήμα 1.2: Μερικά παραδείγματα από αλγορίθμους του computer vision και πρακτικές εφαρμογές τους (a) Αλγόριθμοι Δομής από Κίνηση μπορούν να ανακατασκευάσουν ένα τρισδιάστατο μοντέλο μιας πολύπλοκης σκηνής, από μεγάλο πλήθος επικαλυπτόμενων φωτογραφιών. (b) Λεπτομερές 3D μοντέλο που έχει ανακατασκευαστεί με χρήση αλγορίθμων αντιστοίχισης από ένα πλήθος φωτογραφιών. (c) Αλγόριθμος εντοπισμού ανθρώπων που περνάνε μπροστά από κάποιο background. (d) Αλγόριθμος ανίχνευσης προσώπων και μαλλιών, συνδυασμένος με τα χρώματα και τις υφές των ρούχων, βρίσκει πόσα άτομα υπάρχουν στην εικόνα. Για όλα αυτά, έχει καταβληθεί μεγάλη ερευνητική προσπάθεια στον τομέα της τρισδιάστατης ανακατασκευής του χώρου. Διάφορες μέθοδοι έχουν αναπτυχθεί οι οποίες χωρίζονται σε ενεργές και παθητικές μεθόδους. Οι ενεργές, για παράδειγμα, περιλαμβάνουν τη χρήση συσκευών (πχ. laser πομπός υπερήχων, φωτεινές πηγές) οι οποίες αποστέλλουν μια δέσμη ενέργειας στο αντικείμενο- στόχο και με βάση την ποσότητα και την επεξεργασία της επιστρεφόμενης ενέργειας, υπολογίζουν σε ποια απόσταση βρίσκεται. Οι παθητικές μέθοδοι αντιθέτως, χρησιμοποιούν συσκευές καταγραφής (πχ. μια κάμερα). Εμείς θα ασχοληθούμε με την παθητική μέθοδο της 'δομής από κίνηση' (structure from motion) και συγκεκριμένα με μια πιο εξειδικευμένη μέθοδο αυτής της κατηγορίας, τη στερεοσκοπική όραση. 2

15 Κεφάλαιο 1: Εισαγωγή 1.2 Παθητικές Μέθοδοι Αυτό που επιδιώκουμε μέσω των παθητικών μεθόδων είναι να πάρουμε μέσα από την εικόνα γεωμετρικές πληροφορίες, όπως είναι το βάθος. Έχοντας ως δεδομένες εικόνες του αντικειμένου, από διαφορετικές σκοπιές, μας παρέχεται αρκετή γνώση για την τρισδιάστατη αναπαράσταση του. Αν μας παρέχεται εκ των προτέρων κάποια πληροφορία για την σκηνή τότε είμαστε σε θέση να βγάλουμε βάθος ακόμα και από μία μόνο φωτογραφία (αυτό δεν θα μας απασχολήσει εδώ). Δεδομένα που μπορεί γενικά να μας αποκαλύπτουν στοιχεία σχετικά με το βάθος και την απόσταση των αντικείμενων που απεικονίζονται είναι η υφή, οι ακμές, η σκίαση, οι μεταβολές του φωτισμού κλπ. Ανάλογα με τα στοιχεία των εικόνων που αποφασίζουμε να χρησιμοποιήσουμε για την εξαγωγή της επιθυμητής πληροφορίας, οι κύριες παθητικές μέθοδοι εύρεσης απόστασης μπορούν να υπαχθούν στις εξής κατηγορίες: Στερεοσκοπική Όραση (Stereo Vision), Δομή από Κίνηση (Structure from Motion), Σχήμα από Σκίαση (Shape from Shading), Βάθος από Εστίαση (Range from Focus), Βάθος από Μη Εστίαση (Depth from Defocus), Σχήμα από Υφή (Shape from Texture). Στην παρούσα εργασία θα ασχοληθούμε κατά βάση με την στερεοσκοπική όραση, η οποία αποτελεί ουσιαστικά μια εξειδίκευση της δομής από κίνηση. Στη συνέχεια αναφερόμαστε στις δύο αυτές μεθόδους που είναι εξάλλου και οι πιο ισχυρές Στερεοσκοπική όραση Ένα στερεοσκοπικό ζεύγος εικόνων προκύπτει από δυο κάμερες οι οποίες έχουν προκαθορισμένη σχετική θέση, και συγκεκριμένα, η δεύτερη κάμερα έχει μετακινηθεί σε σχέση με την πρώτη μόνο κατά μια πλευρική μετατόπιση. Η διάταξη αυτή των καμερών, προσομοιώνει ουσιαστικά την διάταξη στην οποία είναι τοποθετημένα τα μάτια στον άνθρωπο. Αυτή η τεχνική έχει βασιστεί στην ικανότητα του ανθρώπου να αντιλαμβάνεται τα τρισδιάστατα χαρακτηριστικά του περιβάλλοντος. Όπως προαναφέρθηκε, μερικές μόνο από τις πληροφορίες που χρησιμοποιεί ο ανθρώπινος εγκέφαλος για την εκτίμηση της απόστασης αντικειμένων είναι η υφή, οι ακμές, η προοπτική της σκηνής, η απόκρυψη αντικειμένων, οι μεταβολές φωτεινότητας, οι σκιές, αλλά και οι διαφορές που παρουσιάζονται στις δύο εικόνες του ανθρώπινου στερεοσκοπικού ζεύγους που προκύπτουν ξεχωριστά από το κάθε μάτι. Η χρήση του τελευταίου είναι καταλυτικής σημασίας στην Στερεοσκοπική Όραση. Αναγνωρίζοντας προβολές του ίδιου σημείου στις δύο εικόνες και παίρνοντας την διαφορά που προκύπτει από την θέση στην πρώτη εικόνα και την αντίστοιχη θέση στην δεύτερη έχουμε ένα στοιχείο που αποδίδει το βάθος. Η διαφορά της θέσης των αναγνωρισμένων σημείων της σκηνής στις εικόνες, υπάρχει λόγω της διαφορετικής θέσης που έχουν οι κάμερες στον χώρο. Η στερεοσκοπική όραση είναι μία πολύ ισχυρή τεχνική λόγω κυρίως της απαίτησης να υπάρχει συγκεκριμένη διάταξη των δύο καμερών. Η μέθοδος αυτή υστερεί στο στάδιο της αντιστοίχισης των χαρακτηριστικών σημείων στις δύο εικόνες που είναι οι προβολές του ίδιου σημείου της σκηνής. 3

16 Κεφάλαιο 1: Εισαγωγή Δομή από Κίνηση Όπως προαναφέρθηκε, η τεχνική της δομής από κίνηση είναι μία γενίκευση της Στερεοσκοπικής Όρασης. Εδώ χρησιμοποιούνται δυο τουλάχιστον κάμερες, ή μια κάμερα η οποία κινείται ελεύθερα στο χώρο και καταγράφει στοιχεία της σκηνής, οπότε προκύπτουν τυχαίες σχετικές θέσεις της κάμερας για κάθε εικόνα. Και πάλι, το στοιχείο που θα μας δώσει την λύση είναι η μεταβολή στις θέσεις στις οποίες προβάλλονται κάποια αναγνωρισμένα χαρακτηριστικά σημεία ενδιαφέροντος της σκηνής. Η Δομή από Κίνηση είναι μία τεχνική που έχει πολλά πλεονεκτήματα, σε σχέση με την στερεοσκοπική όραση, επειδή είναι πιο γενική περίπτωση και δε χρειάζεται συγκεκριμένη διάταξη στις κάμερες. Όμως αντιμετωπίζει και αυτή το ίδιο πρόβλημα στο στάδιο της αντιστοίχισης. 4

17 Κεφάλαιο 2: Προβολική Γεωμετρία Κεφάλαιο 2: Προβολική Γεωμετρία 2.1 Εισαγωγή Στο κεφάλαιο που ακολουθεί θα προσπαθήσουμε να παρουσιάσουμε, σε έναν ικανοποιητικό βαθμό, τα βασικότερα σημεία της προβολικής γεωμετρίας, πάνω στην οποία στηριζόμαστε για την πραγματοποίηση της συγκεκριμένης εργασίας. Ο άνθρωπος κινείται, δραστηριοποιείται και γενικά αποτελεί μέρος ενός τρισδιάστατου κόσμου, ο οποίος περιγράφεται με μεγάλη ακρίβεια από την Ευκλείδεια γεωμετρία. Σύμφωνα με αυτή τη γεωμετρία, δύο ευθείες που βρίσκονται στο ίδιο επίπεδο και δεν τέμνονται είναι παράλληλες, γωνίες που τέμνονται καθορίζουν τις μεταξύ τους γωνίες και οι πλευρές των αντικειμένων έχουν συγκεκριμένα μήκη. Επιπλέον, αυτές οι αρχές δεν αλλάζουν όταν εφαρμόζονται ευκλείδειοι μετασχηματισμοί (μετατόπιση και περιστροφή). Από την στιγμή λοιπόν που ο κόσμος μας περιγράφεται τόσο καλά από την ευκλείδεια γεωμετρία θα ήταν λογικό να πιστεύαμε ότι είναι και η μοναδική γεωμετρία. Παρόλα αυτά, στα πλαίσια της εργασίας μας και της επεξεργασίας εικόνων, η ευκλείδεια γεωμετρία δεν είναι αποτελεσματική, από τη στιγμή που γνωστά μήκη και γωνίες δεν διατηρούνται και παράλληλες γραμμές μπορεί να τέμνονται. Θεωρώντας όμως τον Ευκλείδειο χώρο σαν έναν υποχώρο του προβολικού και χρησιμοποιώντας τα θεωρήματα της προβολικής γεωμετρίας τότε προβλήματα όπως, η μη γραμμικότητα των εξισώσεων με χρήση των ευκλείδειων συντεταγμένων, αντιμετωπίζονται, αφού τα συστήματα που προκύπτουν είναι γραμμικά. Επίσης, θετικό στοιχείο είναι και το γεγονός ότι από μαθηματικής απόψεως η προβολική γεωμετρία είναι απλούστερη της ευκλείδειας, ούσα γενικότερη. Τέλος, σε θεωρητικό επίπεδο, η προβολική γεωμετρία υπερέχει της ευκλείδειας στην επεξεργασία εικόνων διότι επιτρέπει έναν μεγαλύτερο αριθμό μετασχηματισμών, πέραν της μετατόπισης και της περιστροφής, συμπεριλαμβανομένης της προοπτικής προβολής από τον τρισδιάστατο στον δισδιάστατο προβολικό χώρο. Καταλήγουμε, λοιπόν, στο συμπέρασμα πως μέσω της προβολικής γεωμετρίας θα καταφέρουμε να μοντελοποιήσουμε την λειτουργία της κάμερας και να αναπτύξουμε το οικοδόμημα της τρισδιάστατης όρασης. 2.2 Ομογενείς συντεταγμένες Έστω ότι έχουμε ένα σημείο (x, y) στο ευκλείδειο επίπεδο. Για να περιγράψουμε το ίδιο σημείο στο προβολικό επίπεδο αρκεί να προσθέσουμε μία τρίτη συντεταγμένη, μη μηδενική, έστω (x, y, 1). Η τελευταία συντεταγμένη μπορεί να πάρει οποιαδήποτε τιμή εκτός του μηδενός, άρα έχουμε το σημείο (x, y, w) με w 0. Παρατηρούμε λοιπόν, ότι μπορούμε πολύ εύκολα να περάσουμε από την αναπαράσταση του ενός επιπέδου στην άλλη. Ένας ορισμός της προβολικής γεωμετρίας είναι ότι δύο σημεία του n-διάστατου προβολικού χώρου, P n, που περιγράφονται από τα διανύσματα n+1 συντεταγμένων x = [x1, x2,, xn+1 ] και y = [y1, y2,, yn+1 ] ταυτίζονται αν και μόνο αν υπάρχει σταθερά k 0, ώστε να ισχύει xi = kyi, για κάθε 1 i n+1. Επομένως προκύπτει πως κάθε σημείο περιγράφεται από άπειρα διανύσματα συντεταγμένων, τα οποία διαφέρουν μεταξύ τους κατά μία πολλαπλασιαστική σταθερά k και ονομάζονται ομογενείς συντεταγμένες του σημείου. Έτσι για παράδειγμα, στον Ρ2 έχουμε ότι το (x, y, 1) και το (kx, ky, k), με k 0, είναι ομογενείς συντεταγμένες του ίδιου σημείου. Από ένα σημείο του προβολικού 5

18 Κεφάλαιο 2: Προβολική Γεωμετρία επιπέδου (kx, ky, k) μπορούμε να ανακτήσουμε τις ευκλείδειες συντεταγμένες του αν διαιρέσουμε με το k και αφαιρέσουμε την τελευταία συντεταγμένη 1, για να προκύψει (x, y). Από την παραπάνω πρόταση γίνεται αντιληπτό πως δεν υπάρχει σημείο του ευκλείδειου χώρου που να μπορεί να παρασταθεί στο προβολικό επίπεδο από τις συντεταγμένες (x, y, 0). Αν ωστόσο προσπαθήσουμε να διαιρέσουμε με την τελευταία συντεταγμένη προκύπτει το σημείο (x/0, y/0) που είναι το άπειρο. Όλα τα σημεία με μηδενική την τελευταία από τις ομογενείς συντεταγμένες λέγονται σημεία στο άπειρο. Φυσικά, όλα όσα είπαμε παραπάνω μπορούν να γενικευτούν για οποιαδήποτε n διάσταση. Τα σημεία στο άπειρο στον P2 διαμορφώνουν μια γραμμή, την οποία ονομάζουμε γραμμή στο άπειρο. Αντίστοιχα στις τρεις διαστάσεις διαμορφώνουν ένα επίπεδο, το οποίο καλούμε επίπεδο στο άπειρο. Στα προβλήματα υπολογιστικής όρασης, ο προβολικός χώρος τριών διαστάσεων, Ρ3 χρησιμοποιείται ως ο καταλληλότερος τρόπος αναπαράστασης του πραγματικού τρισδιάστατου κόσμου και αντίστοιχα οι εικόνες αντιπροσωπεύονται ιδανικά από το προβολικό επίπεδο, Ρ2, το οποίο θα αναλύσουμε στην επόμενη παράγραφο. 2.3 Το προβολικό επίπεδο Ένα σημείο του προβολικού επιπέδου ή προβολικού χώρου δύο διαστάσεων περιγράφεται από ένα διάνυσμα συντεταγμένων [x1, x2, x3]t, όπου τουλάχιστον μία από τις τρεις συντεταγμένες είναι διάφορη του μηδενός. Όπως είπαμε και στην προηγούμενη παράγραφο εάν x3 0, τότε το σημείο υπάρχει και στο ευκλείδειο επίπεδο και έχει συντεταγμένες (x1/x3, x2/x3). Μία ευθεία μπορεί να περιγραφεί στο προβολικό επίπεδο με την εξής σχέση: Ax1 + Bx2 + Cx3 = 0 ή αλλιώς ut p = pt u, όπου u = [A, B, C] και p = [x1, x2, x3]. Παρατηρούμε πως στο προβολικό επίπεδο μία ευθεία όπως η u = [A, B, C] και ένα σημείο όπως το p = [x1, x2, x3] δεν έχουν κάποια τυπική διαφορά, αφού και τα δύο περιγράφονται με ένα διάνυσμα τριών συντεταγμένων. Το φαινόμενο αυτό λέγεται αρχή της δυικότητας (principal of duality), είναι ένα από τα σημαντικότερα χαρακτηριστικά της προβολικής γεωμετρίας και ισχύει και για προβολικούς χώρους περισσοτέρων διαστάσεων. Τα σημεία στο άπειρο ή αλλιώς ιδεατά σημεία που παρουσιάστηκαν στην προηγούμενη παράγραφο, δεν έχουν κάποια ιδιαίτερη μεταχείριση στο προβολικό επίπεδο, αφού έχουν συντεταγμενες και μπορούν να χρησιμοποιηθούν σε υπολογισμούς όπως τα υπόλοιπα σημεία. Ο μετασχηματισμός συντεταγμένων στο προβολικό επίπεδο είναι ο πολλαπλασιασμός των ομογενών συντεταγμένων ενός σημείου, με έναν μη μοναδιαίο, αντιστρέψιμο, 3x3 πίνακα Τ, όπως φαίνεται και από την παρακάτω σχέση:. Για c 0 ο πίνακας ct περιγράφει τον ίδιο μετασχηματισμό με τον Τ. Επομένως ο Τ περιέχει 8 ανεξάρτητες μεταβλητές και για να οριστεί ένας μετασχηματισμός απαιτούνται 4 αντιστοιχίες σημείων (δεδομένου ότι είμαστε σε θέση να εξάγουμε 2 περιορισμούς από κάθε ζεύγος σημείων, ). Κατά τον προβολικό μετασχηματισμό δεν διατηρούνται ούτε οι αποστάσεις, ούτε οι λόγοι των αποστάσεων. Παρόλα αυτά ένα σημαντικό στοιχείο που διατηρείται και μπορεί να χρησιμοποιηθεί σαν εργαλείο είναι ο λόγος των λόγων των αποστάσεων ή όπως κοινώς ονομάζεται το cross ratio. Για να αντιληφθούμε καλύτερα τον όρο ας υποθέσουμε πως έχουμε τέσσερα συνευθειακά σημεία και κανένα δεν συμπίπτει με τα σημεία και, τότε i = +λ. Ως cross ratio ορίζεται: (2.1) 6

19 Κεφάλαιο 2: Προβολική Γεωμετρία όπου Dij είναι η ευκλείδεια απόσταση μεταξύ των σημείων i j. Με βάση την αρχή της δυικότητας το cross ratio μπορεί να οριστεί και για τέσσερις ευθείες τεμνόμενες στο ίδιο σημείο. Στην περίπτωση αυτή στον παραπάνω ορισμό χρησιμοποιούμε τους λόγους των ημιτόνων των γωνιών που σχηματίζονται μεταξύ τους. Στο προβολικό επίπεδο, όπως και στο ευκλείδειο, έχουμε κωνικές τομές. Η διαφορά είναι πως στο προβολικό επίπεδο όλες οι κωνικές τομές (κύκλοι, ελλείψεις, παραβολές και υπερβολές) είναι ισοδύναμες, δηλαδή είναι δυνατόν μια οποιαδήποτε κωνική τομή να μετατραπεί σε μία άλλη. Ο γενικός όρος που χρησιμοποιείται για να τις περιγράψει όλες είναι ο conics. Ένα conic, στην προβολική γεωμετρία, ορίζεται ως ο γεωμετρικός τόπος των σημείων με σταθερό cross ratio ως προς 4 σταθερά σημεία, εκ των οποίων τα 3 δεν μπορούν να είναι συνευθειακά και δίνεται από την εξίσωση :, όπου C είναι ένας συμμετρικός πίνακας 3x3 και ορίζεται ως προς μία πολλαπλασιαστική σταθερά. Άλλα στοιχεία τα οποία διατηρούνται κατά τον προβολικό μετασχηματισμό (πέραν του cross ratio, του οποίου και είδαμε τη χρησιμότητα) είναι η συγγραμικότητα, η επαφή (tangency) και η σύμπτωση (incidence). 2.4 Ο προβολικός τρισδιάστατος χώρος Στα πλαίσια της εργασίας μας, η μελέτη του τρισδιάστατου προβολικού χώρου είναι εξίσου σημαντική με αυτήν του προβολικού επιπέδου. Και πως θα μπορούσε να είναι διαφορετικά, από τη στιγμή που ο ευκλείδειος χώρος στον οποίο υπάρχουμε είναι υποχώρος του προβολικού χώρου τριών διαστάσεων. Οι έννοιες που χαρακτηρίζουν το προβολικό επίπεδο, όπως είναι λογικό, επεκτείνονται και στον τρισδιάστατο προβολικό χώρο. Έτσι ένα σημείο του προβολικού τρισδιάστατου χώρου περιγρά-φεται από ένα διάνυσμα συντεταγμένων [x1, x2, x3, x4]t, όπου τουλάχιστον μία από τις τέσσερις συντεταγμένες είναι διάφορη του μηδενός, και αν αυτό το διάνυσμα πολλαπλασιαστεί με οποιαδή-ποτε σταθερά περιγράφει το ίδιο σημείο. Ομοίως με το προβολικό επίπεδο, ένα σημείο του ευκλείδειου χώρου [x1, x2, x3 ]T μπορεί να παρασταθεί στον προβολικό τρισδιάστατο χώρο με τις ομογενείς συντεταγμένες (x1, x2, x3, 1), ενώ αντίστροφα, ένα σημείο του προβολικού τρισδιάστατου χώρου (x1, x2, x3, x4), με x4 0, μπορεί να παρασταθεί στον ευκλείδειο χώρο με το σημείο (x1/x4, x2/x4, x3/x4). Η αρχή της δυικότητας βρίσκει εφαρμογή, στον προβολικό τρισδιάστατο χώρο, μέσω της εξίσωσης: όπου το επίπεδο με διάνυσμα συντεταγμένων είναι ισοδύναμο με το σημείο του προβολικού τρισδιάστατου χώρου x = [x1, x2, x3, x4]t, όπως ακριβώς ισχύει στο προβολικό επίπεδο με τη γραμμή και το σημείο. Για οποιαδήποτε σταθερά k το διάνυσμα ku περιγράφει το ίδιο επίπεδο. Κατ αντιστοιχία των γραμμών στο άπειρο, στον προβολικό τρισδιάστατο χώρο, έχουμε τα επίπεδα στο άπειρο, τα οποία αποτελούνται από σημεία που έχουν μηδενική την 4η συντεταγμένη και κατ επέκταση δεν αναπαρίστανται στον ευκλείδειο χώρο. Πάνω στο επίπεδο αυτό τέμνονται τα επίπεδα και οι ευθείες εκείνες οι οποίες θεωρούνται παράλληλες στον ευκλείδειο χώρο. Ο μετασχηματισμός συντεταγμένων του προβολικού τρισδιάστατου χώρου περιγράφεται από αντιστρέψιμους πίνακες 4x4, οι οποίοι είναι ορισμένοι ως προς μία πολλαπλασιαστική σταθερά. Κατά τους μετασχηματισμούς παραμένει αμετάβλητο το cross ratio επιπέδων, το οποίο στην περίπτωση 4 επιπέδων που τέμνονται στην ίδια ευθεία, ορίζεται ως το cross ratio των 4 σημείων τομής τους με μία τυχαία ευθεία. Τέλος, στον προβολικό τρισδιάστατο χώρο οι γεωμετρικές μορφές της τρίτης τάξης ονομάζονται quadrics και περιγράφονται με συμμετρικούς πίνακες 4x4, οι οποίοι είναι ορισμένοι ως προς μια πολλαπλασιαστική σταθερά. 7

20 Κεφάλαιο 2: Προβολική Γεωμετρία 2.5 Μετασχηματισμοί και διαστρωμάτωση της προβολικής γεωμετρίας Όπως είπαμε και στην αρχή του κεφαλαίου θεωρούμε πως η Ευκλείδεια γεωμετρία είναι ένας υποχώρος της προβολικής γεωμετρίας. Για την ακρίβεια, ανάμεσά τους μεσολαβούν δύο ακόμα γεωμετρίες, η μετρική (similarity) και η affine. Άρα, μπορούμε να ορίσουμε τη διαστρωμάτωση (stratification) της προβολικής γεωμετρίας, από τον απλούστερο προς τον πιο δομημένο χώρο ως εξής: προβολική affine μετρική ευκλείδεια. Κάθε επίπεδο (stratum), όπως προείπαμε, είναι πιο δομημένο από το προηγούμενο και κατά συνέπεια μας παρέχει περισσότερες πληροφορίες. Κάθε χώρος δηλαδή, είναι μια γενικότερη περίπτωση των υποχώρων του. Στον ορισμό αυτής της διαστρωμάτωσης σημαντικό ρόλο παίζει η ομάδα μετασχηματισμών κάθε χώρου. Πιο συγκεκριμένα, με τον προβολικό χώρο σχετίζεται η ομάδα προβολικών μετασχηματισμών, με τον affine χώρο, η ομάδα affine μετασχηματισμών, με τον μετρικό χώρο η ομάδα μετασχηματισμών ομοιότητας και με τον ευκλείδειο χώρο η ομάδα ευκλείδειων μετασχηματισμών. Όπως είναι λογικό και οι ομάδες μετασχηματισμών ακολουθούν την ίδια διαστρωμάτωση. Για κάθε χώρο υπάρχουν κάποιες ιδιότητες οι οποίες παραμένουν αναλλοίωτες από την ομάδα μετασχηματισμών. Αυτές οι ιδιότητες ονομάζονται invariants, στη διεθνή βιβλιογραφία και είναι αυτές που χαρακτηρίζουν κάθε χώρο. Όσο περισσότερες είναι οι invariants που παραμένουν αναλλοίωτες από τον μετασχηματισμό, τόσο πιο δομημένος είναι ο χώρος, και άρα μας παρέχει περισσότερες πληροφορίες. Στη συνέχεια θα αναφερθούμε ξεχωριστά σε κάθε υποχώρο ή επίπεδο (stratum), όπως συνηθίζεται να λέγεται και συγκεκριμένα στο χώρο των τριών διαστάσεων, ο οποίος μας ενδιαφέρει στη συγκεκριμένη εργασία. Α) Προβολικό επίπεδο (stratum) Στον προβολικό χώρο έχουμε ήδη αναφερθεί αναλυτικά σε αυτό το κεφάλαιο. Είναι ο γενικότερος από όλους και κατά συνέπεια ο λιγότερο δομημένος. Ο προβολικός μετασχηματισμός είναι ένας αντιστρέψιμος 4x4 πίνακας, ο οποίος είναι ορισμένος ως προς μια πολλαπλασιαστική σταθερά. Έχει 15 βαθμούς ελευθερίας και όπως είπαμε οι μόνες ιδιότητες που παραμένουν αναλλοίωτες είναι το cross ratio, η συγγραμικότητα, η επαφή (tangency) και η σύμπτωση (incidence). Αντιθέτως το μήκος (length), η γωνία (angle), ο λόγος των μηκών (ratio of lengths) και η παραλληλία ευθειών και επιπέδων (parallelism) δεν διατηρούνται με αποτέλεσμα να μην έχουμε αρκετά δεδομένα για τη δομή του προβολικού χώρου. Β) Affine επίπεδο (stratum) Το επόμενο επίπεδο είναι το affine. Είναι περισσότερο δομημένο από το προβολικό και διατηρεί δύο παραπάνω ιδιότητες αναλλοίωτες σε σχέση με αυτό. Η μία ιδιότητα είναι η παραλληλία ευθειών και επιπέδων και η άλλη είναι ο λόγος των μηκών των ευθύγραμμων τμημάτων που βρίσκονται πάνω σε παράλληλες ευθείες. Ο affine μετασχηματισμός καταφέρνει να διατηρήσει την παραλληλία, αφού μετασχηματίζει όλα τα σημεία του επιπέδου στο άπειρο σε 8

21 Κεφάλαιο 2: Προβολική Γεωμετρία σημεία του ίδιου επιπέδου. Έτσι η γενική μορφή του affine μετασχηματισμού δίνεται από τον πίνακα: Ο πίνακας αυτός έχει 12 βαθμούς ελευθερίας και είναι ορισμένος ως προς μια πολλαπλασιαστική σταθερά. Ο μετασχηματισμός αυτός επιφέρει μετατόπιση (translation), περιστροφή (rotation), κλιμάκωση (scaling) και στρέβλωση (shearing) των αξόνων. Οι invariants που δεν διατηρούνται είναι το μήκος, η γωνία, ο λόγος των μηκών, η θέση και ο προσανατολισμός. Γ) Μετρικό επίπεδο (stratum) Το μετρικό επίπεδο σχετίζεται με την ομάδα μετασχηματισμών ομοιότητας. Οι μετασχηματισμοί αυτοί επιφέρουν μετατόπιση, περιστροφή και κλιμάκωση. Μπορούν να εκφραστούν ως, όπου R πίνακας περιστροφής, t διάνυσμα μετατόπισης και s οποιοσδήποτε συντελεστής κλιμάκωσης (μεγέθυνσης/σμίκρυνσης). Από την εξίσωση αυτή δεν επηρεάζονται οι γωνίες και οι λόγοι των μηκών αλλά αλλάζουν η θέση, ο προσανατολισμός και το μήκος. Ο μετασχηματισμός, χρησιμοποιώντας ομογενείς συντεταγμένες, δίνεται από τον πίνακα: Είναι και αυτός ορισμένος ως προς μια πολλαπλασιαστική σταθερά. Ο ΤΜ έχει 7 βαθμούς ελευθερίας. Το συγκεκριμένο επίπεδο είναι και το πιο σημαντικό στα πλαίσια αυτής της εργασίας λόγω της αρχής της αβεβαιότητας. Από τη στιγμή που δεν είμαστε σε θέση να γνωρίζουμε αν οι εικόνες που εξετάζουμε απεικονίζουν ένα μεγάλο αντικείμενο σε μεγάλη απόσταση ή ένα μικρό αντικείμενο σε μικρή απόσταση, το μετρικό επίπεδο είναι το υψηλότερο επίπεδο αναπαράστασης που μπορούμε να έχουμε. Δ) Ευκλείδειο επίπεδο (stratum) Το ευκλείδειο επίπεδο είναι το πιο δομημένο από όλα και κατ επέκταση αυτό που μας δίνει τις περισσότερες πληροφορίες. Ο ευκλείδειος μετασχηματισμός επιφέρει μία μετατόπιση και μία περιστροφή και μπορεί να παρασταθεί με την εξίσωση, όπου R ο πίνακας περιστροφής και t διάνυσμα μετατόπισης. Ο μετασχηματισμός αυτός δεν επηρεάζει καμία invariant, παρά μόνο τη θέση και τον προσανατολισμό. Ο πίνακας για τους μετασχηματισμούς αυτούς είναι ο εξής: 9

22 Κεφάλαιο 2: Προβολική Γεωμετρία και έχει 6 βαθμούς ελευθερίας (3 για τη μετατόπιση και 3 για την περιστροφή). Παρακάτω δίνεται ένας πίνακας πού δίνει συγκεντρωτικά τους μετασχηματισμούς που επιτρέπονται σε κάθε stratum και τις ιδιότητες που παραμένουν αναλλοίωτες κατά την πραγματοποίηση αυτών των μετασχηματισμών: Σχήμα 2.1: επιτρεπόμενοι μετασχηματισμοί και invariants για κάθε επίπεδο (stratum). Η φυσική σημασία των διαφορετικών επιπέδων αναπαράστασης μπορεί να γίνει κατανοητή από το σχήμα 2.2. Στο σχήμα αυτό όλες οι δομές που εμφανίζονται είναι ισοδύναμες με έναν κύβο, για το καθένα επίπεδο. 10

23 Κεφάλαιο 2: Προβολική Γεωμετρία Σχήμα 2.2: Αναπαραστάσεις ενός κύβου στα διάφορα επίπεδα 11

24 Κεφάλαιο 3: Μοντελοποίηση της κάμερας Κεφάλαιο 3: Μοντελοποίηση της κάμερας 3.1 Το μοντέλο μικρής οπής για την κάμερα Μια φωτογραφική μηχανή (κάμερα) μπορεί να μοντελοποιηθεί με πολλούς τρόπους, ανάλογα με τις ιδιότητες τις οποίες θέλουμε να περιγράψουμε, το βαθμό ακρίβειας που επιθυμούμε, και την εφαρμογή για την οποία προορίζεται το μοντέλο. Στην περίπτωση της τρισδιάστατης επεικόνισης χώρου, αυτό που μας ενδιαφέρει είναι ο τρόπος με τον οποίο τα σημεία του χώρου απεικονίζονται στην εικόνα. Συνήθως για την τρισδιάστατη ανακατασκευή εικόνων, το μοντέλο κάμερας που χρησιμοποιείται είναι αυτό της μικρής οπής (pinhole camera model) και παρουσιάζεται στο παρακάτω σχήμα: Σχήμα 3.1: Pinhole model To μοντέλο μικρής οπής περιγράφει τη μαθηματική σχέση μεταξύ των συντεταγμένων ενός σημείου του χώρου και την προβολή του πάνω στο επίπεδο της εικόνας μιας ιδανικής κάμερας μικρής οπής, όπου το διάφραγμά της περιγράφεται σαν σημείο και δεν υπάρχει κανένας φακός για να εστιάσει στο φως. Το συγκεκριμένο μοντέλο, δεν περιλαμβάνει για παράδειγμα γεωμετρικές παραμορφώσεις ή θόλωση λόγω λανθασμένης εστίασης στα αντικείμενα που προκαλούνται από τους φακούς και τα πεπερασμένου μεγέθους ανοίγματά τους. Επίσης, δε λαμβάνει υπόψη ότι οι περισσότερες πραγματικές φωτογραφικές μηχανές έχουν μόνο διακριτές συντεταγμένες. Αυτό σημαίνει ότι το μοντέλο μικρής οπής μπορεί να χρησιμοποιηθεί μόνο ως μία πρώτη προσέγγιση για την απεικόνιση μιας σκηνής 3D σε 2D. Η ισχύς του εξαρτάται από την ποιότητα της κάμερας και γενικά μειώνεται από το κέντρο της εικόνας προς τα άκρα καθώς αυξάνονται οι παραμορφώσεις που δημιουργούνται από τους φακούς. Το pinhole μοντέλο της φωτογραφικής μηχανής, πολλές φορές, μπορεί να προσπεράσει προβλήματα που θα προκύψουν εφόσον αυτά είναι μικρά και αυτό επιτυγχάνεται κυρίως αν χρησιμοποιείται μία κάμερα υψηλής ποιότητας. Αυτό σημαίνει ότι το μοντέλο αυτό συχνά μπορεί να χρησιμοποιηθεί για να περιγράψει με αρκετά καλή ακρίβεια την λειτουργία της κάμερας στην υπολογιστική όραση. Οι οπτικές ακτίνες που προέρχονται από ένα αντικείμενο του χώρου μπροστά στην κάμερα, διέρχονται από μια μικρή οπή που υπάρχει σε μια αδιαφανή οθόνη, και προσπίπτοντας στο επίπεδο της εικόνας, δημιουργούν ένα ανεστραμμένο είδωλο του αντικειμένου όπως στο ακόλουθο σχήμα: 12

25 Κεφάλαιο 3: Μοντελοποίηση της κάμερας Σχήμα 3.2: Ανεστραμμένο είδωλο Για να πάρουμε την απεικόνιση m στο επίπεδο της εικόνας ενός συγκεκριμένου σημείου Μ, του τρισδιάστατου χώρου P3, παίρνουμε την τομή της οπτικής ακτίνας με το επίπεδο της εικόνας, το οποίο και ονομάζεται επίπεδο ίριδας (retinal plane) και συμβολίζεται στο σχήμα με R. Η οπτική ακτίνα είναι η φανταστική γραμμή η οποία διέρχεται από τα σημεία M και C (πράσινη γραμμή), όπου το C είναι το οπτικό κέντρο, ή αλλιώς εστία της κάμερας, και αντιστοιχεί στο σημείο το οποίο βρίσκεται η υποτιθέμενη «μικρή οπή», δια μέσου της οποίας διέρχονται οι οπτικές ακτίνες για να αποτυπωθούν στο επίπεδο της εικόνας. H απόσταση του C από το επίπεδο της εικόνας ονομάζεται εστιακή απόσταση, και συμβολίζεται με f. Η απόσταση αυτή είναι σταθερή και προφανώς δεν εξαρτάται από τα Μ και m. Το επίπεδο το οποίο περιέχει το σημείο C και είναι παράλληλο στο επίπεδο της εικόνας ονομάζεται εστιακό επίπεδο, και τέλος η ευθεία η κάθετη στα δυο αυτά επίπεδα, η οποία διέρχεται και από το C ονομάζεται οπτικός άξονας. Σχήμα 3.3: Προβολή ενός σημείου Όπως προαναφέρθηκε, μία πραγματική κάμερα, περιέχει συστοιχίες φακών οι οποίες, εκτός των άλλων, εισάγουν και μη γραμμικές παραμορφώσεις, που έχουν σαν αποτέλεσμα τα σημεία M, C, m να μην είναι συνευθειακά. Παρόλα αυτά, το απλουστευμένο αυτό μοντέλο μπορεί να περιγράψει με αρκετά καλή ακρίβεια την λειτουργία της κάμερας. Η κάμερα είναι μια συσκευή η οποία εκτελεί έναν προβολικό μετασχηματισμό από τον τρισδιάστατο προβολικό χώρο P3 στο δισδιάστατο προβολικό χώρο P2, δηλαδή στο επίπεδο της εικόνας. Κύριο χαρακτηριστικό και πλεονέκτημα του pinhole μοντέλου κάμερας είναι ότι αν το 13

26 Κεφάλαιο 3: Μοντελοποίηση της κάμερας συνδυάσουμε με τη χρήση προβολικής γεωμετρίας, προκύπτουν πολύ απλές γραμμικές εξισώσεις που περιγράφουν τη λειτουργία της κάμερας. Αντίθετα, με τη χρήση ευκλείδειας γεωμετρίας, και συγκεκριμένα αν προσπαθούσαμε να περιγράψουμε τις σχέσεις των ευκλείδειων συντεταγμένων ενός σημείου στον τρισδιάστατο χώρο με αυτές της προβολής του στην εικόνα, οι σχέσεις που προκύπτουν είναι μη γραμμικές. Έστω ότι έχουμε ένα σημείο Μ(x,y,z) στο τρισδιάστατο ευκλείδειο σύστημα συντεταγμένων με αρχή αξόνων το C. Το σημείο που προκύπτει από την προβολή του Μ είναι το m(u,v) στο επίπεδο της εικόνας. Σχήμα 3.4: μετασχηματισμός συντεταγμένων Αν δούμε το σχήμα 3.4 από ψηλά και με τον άξονα των Y να έχει την αρνητική κατεύθυνση προς τα κάτω, θα προκύψει το σχήμα: Σχήμα 3.5: Η γεωμετρία της Pinhole κάμερας όπως φαίνεται από τον άξονα Y Oι μη-γραμμικές σχέσεις που θα προκύψουν από την ομοιότητα των τριγώνων είναι οι ακόλουθες: όπου τα um, vm μετρώνται από το σημείο τομής του οπτικού άξονα με το επίπεδο της εικόνας(το σημείο αυτό ονομάζεται κύριο σημείο της εικόνας ή principal point) Επίσης μπορούν να γραφτούν στη μορφή: 14

27 Κεφάλαιο 3: Μοντελοποίηση της κάμερας um vm = - (f/z) x y (3.1) Όπως προαναφέρθηκε, οι σχέσεις είναι μη γραμμικές γι αυτό και όταν χρησιμοποιούνται στην περαιτέρω μαθηματική ανάλυση, καθιστούν την επίλυση των συστημάτων που προκύπτουν δύσκολη τόσο αναλυτικά όσο και αριθμητικά. Αυτός είναι και ο λόγος που χρησιμοποιούμε προβολικές αντί για ευκλείδειες συντεταγμένες. Πράγματι, αν θεωρήσουμε το σημείο σαν σημείο του P3 με συντεταγμενες (Χ,Υ,Ζ,1), και το σημείο σαν σημείο του P2 με συντεταγμένες (U,V,S), η παραπάνω σχέση γράφεται: (3.2) με um=u / S, vm=v / S και x=x / T, y=y / T, z=z / T. Όταν S = 0 το σημείο βρίσκεται επί της γραμμής στο άπειρο του επιπέδου της εικόνας και αυτό συμβαίνει όταν το βρίσκεται επί του εστιακού επιπέδου. Η σχέση (3.2) επιδεικνύει το γεγονός ότι ο μετασχηματισμός των προβολικών συντεταγμένων ενός σημείου από τον χώρο P3 στον χώρο P2, δηλαδή στην εικόνα, μπορεί να γραφεί με τη μορφή πινάκων σαν = P (3.3) Ο πίνακας Ρ ονομάζεται πίνακας προβολής (projection matrix) και περιέχει όλες τις πληροφορίες που χρειαζόμαστε για να προσδιορίσουμε την προβολή οποιουδήποτε σημείου του χώρου στην εικόνα, μέσω της κάμερας. Επίσης, όπως θα δούμε παρακάτω, ο πίνακας P περιέχει και τις πληροφορίες εκείνες που χρειαζόμαστε για να βρούμε τις εσωτερικές παραμέτρους τις κάμερας καθώς και τη θέση της στο χώρο. 3.2 Οι εσωγενείς και εξωγενείς παράμετροι της κάμερας Η μορφή του Ρ που φαίνεται στην σχέση (3.2) είναι εξαιρετικά απλή και αυτό οφείλεται στο ότι έχουμε χρησιμοποιήσει κάποιες εξιδανικεύσεις. Συγκεκριμένα, θεωρήσαμε ότι: η κάμερα βρίσκεται στην αρχή του συστήματος συντεταγμένων του τρισδιάστατου χώρου, και μάλιστα οι κατευθύνσεις των αξόνων της κάμερας (οι 2 άξονες επί του επιπέδου της εικόνας και ο οπτικός άξονας) συμπίπτουν με τις κατευθύνσεις των αξόνων του τρισορθογώνιου συστήματος συντεταγμένων του χώρου. όλες οι αποστάσεις μετρώνται στις ίδιες μονάδες η αρχή της μέτρησης για τις συντεταγμένες στην εικόνα είναι το principal point. Αυτές οι απλουστεύσεις όμως δεν είναι ιδιαίτερα χρήσιμες σε πραγματικές συνθήκες, καθώς συνήθως οι θέσεις των σημείων σε μια εικόνα μετρώνται σε pixels και μάλιστα η αρχή των αξόνων συνήθως θεωρείται το πάνω αριστερά pixel της εικόνας. Επίσης, η θέση και ο προσανατολισμός της κάμερας στη γενική περίπτωση είναι τυχαίος, και δεν συμπίπτει με την αρχή του συστήματος των αξόνων του χώρου. Για να είμαστε σε θέση να πραγματοποιήσουμε μετρήσεις από τις εικόνες που λαμβάνουμε από 15

28 Κεφάλαιο 3: Μοντελοποίηση της κάμερας την κάμερα, πρέπει να γνωρίζουμε τις παραμέτρους της κάμερας, καθώς αυτές καθορίζουν την σχέση μεταξύ των συντεταγμένων ενός σημείου στον τρισδιάστατο χώρο και των συντεταγμένων της προβολής του στην εικόνα. Οι παράμετροι εκείνες οι οποίες εξαρτώνται μόνο από την ίδια την κάμερα, και δεν αλλάζουν μεταξύ διαφορετικών λήψεων, ονομάζονται εσωγενείς (intrinsic) ενώ εκείνες που εξαρτώνται από την θέση και τον προσανατολισμό της κάμερας σε κάθε λήψη ονομάζονται εξωγενείς (extrinsic). Τα παραπάνω συγκεντρώνονται στο σχήμα που ακολουθεί: Σχήμα 3.6: Εσωγενείς και εξωγενείς παράμετροι της κάμερας Οι εσωγενείς παράμετροι Ορισμός εσωγενών παραμέτρων Αν χρησιμοποιήσουμε αλγόριθμο αυτοβαθμονόμησης, δε χρειάζεται να γνωρίζουμε από πριν τις εσωγενείς παραμέτρους της κάμερας, καθώς υπολογίζονται αυτόματα ταυτόχρονα με τη δομή του χώρου. Στην παρούσα εργασία δε θα χρησιμοποιηθεί τέτοιος αλγόριθμος, επομένως είναι σημαντικό να υπολογίσουμε όσο το δυνατόν ακριβέστερα αυτές τις παραμέτρους αφού μόνο τότε μας δίνεται η δυνατότητα να λάβουμε με την καλύτερη δυνατή ακρίβεια μία τρισδιάστατη αναδημιουργία του αντικειμένου. Το ζητούμενο είναι έχοντας ως δεδομένες τις παραμέτρους της κάμερας να μετασχηματίσουμε τις συντεταγμένες κάθε σημείου της εικόνας, κατά τέτοιο τρόπο, ώστε να πάρουμε τις συντεταγμένες εκείνες που θα μας έδινε μια ιδανική κανονικοποιημένη κάμερα. Έτσι είμαστε σε θέση να χρησιμοποιήσουμε τα δεδομένα που παίρνουμε από μία εικόνα, ανεξάρτητα από τα συγκεκριμένα χαρακτηριστικά της κάμερας. Για παράδειγμα, σε μια πραγματική κάμερα, το εστιακό μήκος μπορεί να είναι οποιοδήποτε και επιπλέον το πιο πιθανό είναι οι συντεταγμένες της εικόνας να μην αντιστοιχούν στις συντεταγμένες του ορθογώνιου εστιακού επιπέδου. Είναι δυνατόν οι άξονες της εικόνας να μην είναι απολύτως ορθογώνιοι. Κάτι τέτοιο μπορεί να συμβεί, αν οι αισθητήρες της κάμερας δεν είναι τοποθετημένοι με ακρίβεια σε απόλυτα ορθογώνια διάταξη. Αυτό έχει ως αποτέλεσμα μία γραμμική παραμόρφωση η οποία μπορεί να συμπεριληφθεί εύκολα 16

29 Κεφάλαιο 3: Μοντελοποίηση της κάμερας στο γραμμικό μοντέλο που ήδη αναλύσαμε. Σημαντική διευκρίνιση είναι ότι στο σχήμα που απεικονίζεται το pinhole model, το είδωλο κάθε αντικειμένου, δημιουργείται στο επίπεδο της εικόνας, ανεστραμμένο. Είναι προφανές όμως, ότι η φωτογραφία που προκύπτει από μία κάμερα, δεν έχει ανεστραμμένο το είδωλο. Αυτό σημαίνει ότι εσωτερικά της κάμερας γίνεται μια δεύτερη αντιστροφή, η οποία έχει ως αποτέλεσμα να παίρνουμε την εικόνα, όπως τη βλέπουμε στο φυσικό κόσμο. Ισοδύναμα λοιπόν, μπορούμε να υποθέσουμε ότι το επίπεδο της εικόνας βρίσκεται μπροστά και όχι πίσω από την εστία της κάμερας Aπό το σχήμα που ακολουθεί μπορούμε να εξάγουμε το μετασχηματισμό που πρέπει να εφαρμόσουμε για να δημιουργήσουμε το κανονικοποιημένο σύστημα συντεταγμένων της εικόνας. Προφανώς ο μετασχηματισμός αυτός θα προκύψει συναρτήσει των εσωγενών παραμέτρων της κάμερας (fc,cc,alpha_c,kc). Σχήμα 3.7: Το κανονικοποιημένο σύστημα συντεταγμένων Θεωρούμε ότι το σύστημα συντεταγμένων του χώρου (Ο,x,y,z), ταυτίζεται με το σύστημα συντεταγμένων της κάμερας (C,x,y,z). Έστω M ένα σημείο στο χώρο που περιγράφεται από το διάνυσμα με συντεταγμένες Μ(x,y,z) στο επίπεδο αναφοράς της κάμερας. Η προβολή αυτού του σημείου στο επίπεδο της εικόνας θα έχει συντεταγμένες (u,v) οι οποίες παίρνουν μόνο θετικές τιμές και μετρώνται σε pixel. Έστω ότι έχουμε δύο αισθητήρες. Αν η απόστασή τους στη διεύθυνση u είναι δu και στη διεύθυνση v είναι δv μπορούμε να πούμε ότι: (3.4) και (3.5) όπου τα δu και δv μετρώνται σε m/pixel και το f σε m. Οι λόγοι x/z και y/z που εμφανίζονται στις σχέσεις (3.4) και (3.5), αποτελούν τις συντεταγμένες της προβολής του Μ στην κανονικοποιημένη, ιδανική κάμερα, δηλαδή μια κάμερα με f=1 και με την αρχή του συστήματος συντεταγμένων στο principal point. Έστω ότι οι κανονικοποιημένες συντεταγμένες του Μ είναι οι (un,vn). Έχουμε: (3.6) και (3.7) Ο μετασχηματισμός λοιπόν που χρησιμοποιούμε για να αντιστοιχίσουμε τις συντεταγμένες ενός σημείου στην εικόνα, στις κανονικοποιημένες συντεταγμένες του είναι ο ακόλουθος: (3.8) και (3.9) 17

30 Κεφάλαιο 3: Μοντελοποίηση της κάμερας Χρησιμοποιώντας προβολικές συντεταγμένες, οι σχέσεις αυτές γράφονται ως εξής: (3.10) Ο 3x3 πίνακας που εμφανίζεται στην παραπάνω εξίσωση είναι ο πίνακας ομογραφίας, δηλαδή ενός προβολικού μετασχηματισμού του επιπέδου. Ο αντίστροφος αυτού του πίνακα, ονομάζεται πίνακας εσωγενών παραμέτρων και συμβολίζεται με Η. Δίνει το μετασχηματισμό που χρησιμοποιείται για να μεταφέρουμε τα σημεία από τις συντεταγμένες τους στην κανονικοποιημένη εικόνα, στις πραγματικές συντεταγμένες τους: (3.11) Παρατηρούμε ότι ο ίδιος πίνακας προκύπτει αν γράψουμε τις σχέσεις (3.6) και (3.7) σε προβολικές συντεταγμένες. Ο πίνακας προβολής της κανονικοποιημένης κάμερας είναι ο: (3.12) Συνδυάζοντας τους πίνακες Η και Pn, προκύπτει ο πίνακας P της κάμερας: (3.13) Ο πίνακας αυτός, δίνει τις συντεταγμένες pixel της προβολής ενός σημείου, όταν το σύστημα της κάμερας ταυτίζεται με το αδρανειακό σύστημα συντεταγμένων. Οι παράμετροι αu,αv,u0 και v0 ονομάζονται εσωγενείς (intrinsic) παράμετροι της κάμερας. Η γνώση των εσωγενών παραμέτρων ισοδυναμεί με τη γνώση της εικόνας του absolute conic, το οποίο είναι το απαραίτητο στοιχείο για την αναβάθμιση της δομής του χώρου από προβολική σε μετρική. 18

31 Κεφάλαιο 3: Μοντελοποίηση της κάμερας Μη γραμμικές παραμορφώσεις Τα οπτικά της κάμερας, αλλά και ο τρόπος κατασκευής της προκαλούν και μη γραμμικές παραμορφώσεις, εισάγοντας έτσι συστηματικά σφάλματα, τα οποία πρέπει να λάβουμε υπόψη, αν θέλουμε να έχουμε μεγάλο βαθμό ακρίβειας. Ανάλογα με το βαθμό ακρίβειας που επιθυμούμε στην εφαρμογή μας και ανάλογα με τις απαιτήσεις μας για ταχύτητα στον αλγόριθμο, μπορούμε να χρησιμοποιήσουμε περισσότερους ή λιγότερους όρους οι οποίοι θα περιγράφουν τις παραμορφώσεις. Στις περισσότερες περιπτώσεις, τα αποτελέσματα αυτών των παραμορφώσεων είναι αμελητέα κάτω από κανονικές περιστάσεις απόκτησης των εικόνων. Α) Ακτινική παραμόρφωση Μία από τις πιο σημαντικές παραμορφώσεις είναι η ακτινική παραμόρφωση, η οποία σε μικρά εστιακά μήκη έχει ακόμα πιο αξιοπρόσεκτη επίδραση. Οι φακοί της κάμερας σε πολλές περιπτώσεις, λόγω της ατελούς κατασκευής τους, δεν έχουν πάντα την απαιτούμενη καμπυλότητα. Αυτό έχει ως αποτέλεσμα τα σημεία στην εικόνα να μην βρίσκονται στη θέση που προβλέπει το γραμμικό μοντέλο, αλλά υφίστανται ακτινική μετατόπιση, ως επί των πλείστων ως προς το κύριο σημείο της εικόνας. Όταν η μετατόπιση αυτή είναι θετική, τότε έχουμε ακτινική παραμόρφωση με μετατόπιση τύπου pincushion, ενώ όταν είναι αρνητική, η έχουμε μετατόπιση τύπου barrel (σχήμα 3.8). Σχήμα 3.8: α) Γραμμικό μοντέλο, β) Ακτινική παραμόρφωση τύπου pincushion, γ) Ακτινική παραμόρφωση τύπου barrel Μερικές φορές μπορεί να υπάρξει μία μίξη των δύο τύπων ακτινικής παραμόρφωσης, γνωστής και ως παραμόρφωση μουστάκι (moustache distortion ή complex distrortion). Είναι λιγότερο συχνή, αλλά όχι σπάνια. Ξεκινά όπως η barrel κοντά στο κέντρο της εικόνας και σταδιακά μετατρέπεται σε pincushion προς την περιφέρειατης εικόνας, κάνοντας οριζόντιες γραμμές στο πάνω μισό του πλαισίου, σαν το μουστάκι που απεικονίζεται ακολούθως: Σχήμα 3.9: Moustache distortion 19

32 Κεφάλαιο 3: Μοντελοποίηση της κάμερας Β)Χρωματική εκτροπή Είναι ακτινική παραμόρφωση που εξαρτάται από το μήκος κύματος και ονομάζεται πλευρική χρωματική εκτροπή, πλευρική γιατί εμφανίζεται ακτινικά και χρωματική επειδή εξαρτάται από το χρώμα. Σε περιοχές με υψηλή αντίθεση (high contrast) μπορεί να δημιουργήσει είδωλο στο εξωτερικό τμήμα της εικόνας. Δεν πρέπει να συγχέεται με την αξονική (διαμήκη) εκτροπή, η οποία προκαλεί αλλοιώσεις σε όλη την εικόνα και δημιουργεί μωβ είδωλα. (α) (β) Σχήμα 3.9: α) πλευρική χρωματική εκτροπή, β) αξονική εκτροπή Γ) Παραμόρφωση λεπτού πρίσματος Επίσης εξαιτίας της ατελούς κατασκευής των οπτικών της κάμερας αλλά και εξαιτίας της ανακριβούς συναρμολόγησης των διαφόρων τμημάτων της, εισάγεται μια ακόμη μορφή παραμόρφωσης, η παραμόρφωση λεπτού πρίσματος, η οποία λέγεται έτσι γιατί μπορεί να μοντελοποιηθεί με την προσθήκη ενός λεπτού πρίσματος στο οπτικό σύστημα. Η παραμόρφωση αυτή εισάγει επίσης ακτινική και εφαπτομενική παραμόρφωση. Δ) Παραμόρφωση εκκεντρότητας Τέλος, τα κέντρα καμπυλότητας των φακών της κάμερας δεν είναι πάντα συγγραμμικά, και αυτό έχει σαν αποτέλεσμα μια άλλη συνήθη μορφή παραμόρφωσης, την παραμόρφωση εκκεντρότητας (decentering distortion). Η παραμόρφωση αυτή συνεισφέρει τόσο στην ακτινική, όσο και στην εφαπτομενική παραμόρφωση. Οι μη γραμμικές εσωγενείς παράμετροι (πχ. στρέβλωση του φακού) είναι επίσης σημαντικές αν και δεν μπορούν να συμπεριληφθούν στο γραμμικό μοντέλο της κάμερας, όπως περιγράφηκε πιο πάνω. Από την άλλη υπάρχουν πολλοί σύγχρονοι αλγόριθμοι βαθμονόμησης κάμερας που περιλαμβάνουν την εκτίμηση αυτών των ενδογενών παραμέτρων Αντιμετώπιση μη γραμμικών παραμορφώσεων Είναι δυνατό να ακυρωθεί το μεγαλύτερο μέρος της επίδρασης της ακτινικής παραμόρφωσης με τη στρέβλωση της εικόνας. Οι συντεταγμένες στις μη παραμορφωμένες συντε- 20

33 Κεφάλαιο 3: Μοντελοποίηση της κάμερας ταγμένες του επιπέδου της εικόνας (x,y) μπορούν να ληφθούν από τις παρατηρηθείσες συντεταγμένες εικόνας (x0,y0 )από την ακόλουθη εξίσωση: (3.14) (3.15) όπου Κ1 και Κ2 είναι η πρώτη και δεύτερη παράμετρος της ακτινική παραμόρφωσης και (3.16) Μερικές φορές είναι απαραίτητο να επιτραπεί το κέντρο της ακτινικής παραμόρφωσης να είναι διαφορετικό από το κύριο σημείο. Όταν το εστιακό μήκος της κάμερας αλλάζει (μέσω του ζουμ ή της εστίασης) οι παράμετροι Κ1 και Κ2 θα ποικίλουν επίσης οπότε θα έχουμε: (3.17) (3.18) Λόγω των αλλαγών στο σύστημα φακών αυτό είναι μόνο μια προσέγγιση, εκτός εάν τα ψηφιακά ζουμ είναι ακριβή. Εναλλακτικά για να χρησιμοποιήσουμε τους προηγούμενους συμβολισμούς, θεωρούμε ότι οι σχέσεις (3.6) και (3.7) γράφονται συμπεριλαμβανομένων των διορθώσεων στις συντεταγμένες των σημείων της εικόνας ως εξής: (3.19) όπου δu και δv είναι οι ποσότητες διόρθωσης έτσι ώστε αυτές οι σχέσεις να δίνουν τις πραγματικές συντεταγμένες που παρατηρούμε στην εικόνα. Αυτές οι ποσότητες περιλαμβάνουν τόσο την ακτινική όσο και την εφαπτομενική παραμόρφωση ως ακολούθως: (3.20) (3.21) όπου. Οι όροι με συντελεστές k1,k2, περιγράφουν την ακτινική παραμόρφωση, ενώ οι όροι με συντελεστές p1,p2 περιγράφουν την εφαπτομενική παραμόρφωση. Σε περίπτωση που θέλουμε ιδιαίτερα αυξημένη ακρίβεια μπορούμε να προσθέσουμε περισσότερους όρους, κυρίως στην ακτινική παραμόρφωση, όμως αυτό συνήθως δεν επιφέρει κάποια αξιόλογη βελτίωση στα αποτελέσματα (δηλαδή στο σφάλμα ανάμεσα στις πραγματικές συντεταγμένες των σημείων και σε αυτές που προβλέπει το μοντέλο), ενώ λόγω της αύξησης της πολυπλοκότητας, σε αρκετές περιπτώσεις εμφανίζεται και υποβάθμιση των αποτελεσμάτων, καθώς οι αλγόριθμοι που υπολογίζουν τις παραμέτρους αυτές συγκλίνουν δυσκολότερα. Αυτό το γεγονός θα το δούμε σε επόμενο κεφάλαιο, κατά την παρουσίαση των πειραματικών αποτελεσμάτων. Έχοντας ολοκληρωμένο το μοντέλο της κάμερας, συμπεριλαμβανομένων και των παραπάνω μηγραμμικών παραμορφώσεων της εικόνας, έχουμε το εξής σύνολο των εσωγενών παραμέτρων της κάμερας : αu, αv, u0, v0, k1,k2,, p1,p2 Οι παράμετροι αυτές ονομάζονται και φυσικές παράμετροι, γιατί έχουν κάποια φυσική σημασία, και σχετίζονται με τα πραγματικά χαρακτηριστικά της κάμερας. 21