Υπολογισµός 3D σχήµατος και κίνησης από 2D προβολές

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ Υπολογισµός 3D σχήµατος και κίνησης από D προβολές ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ του Μιχάλη Κοζυράκη Επιβλέπων: Αναστάσιος Ντελόπουλος, Επίκουρος Καθηγητής Θεσσαλονίκη, Φεβρουάριος 005

2 Περιεχόµενα Κεφαλαίο Εισαγωγή Γενικά οµή της εργασίας Κεφαλαίο... 8 Κίνηση στον τρισδιάστατο χώρο Προβολές (Χρήσιµα Μαθηµατικά Στοιχεία) Περιστροφή, Μετατόπιση τρισδιάστατων σηµείων και Προοπτική (perspective) Προβολή Μετατόπιση τρισδιάστατου σηµείου. 9.. Περιστροφή τρισδιάστατου σηµείου Προοπτική προβολή Επιπολική Γεωµετρία (Epipolar Geometr) Βασικές ιδιότητες του Θεµελιώδους πίνακα ( essential matri )... 3 Κεφάλαιο Αλγόριθµος Ανακατασκευής Περιγραφή του αλγορίθµου Ανάκτηση της σχετικής θέσης (περιστροφή και µετατόπιση) Ευκλείδειοι περιορισµοί, ανακατασκευή τρισδιάστατης δοµής. 3. Μειονεκτήµατα του αλγορίθµου ανακατασκευής... 4

3 3.3 Σφάλµατα ως προς τη οµή, την Κίνηση και τις παραµέτρους του Συστήµατος Κεφάλαιο Επιλογή χαρακτηριστικών σηµείων και Αντιστοίχιση Επιλογή σηµείων (Feature Selection) Αντιστοίχιση σηµείων (racking) Κεφάλαιο Πειραµατικές οκιµές Πειραµατική δοκιµή του αλγορίθµου ανακατασκευής Πείραµα για «ιδανικά» σηµεία Πείραµα για σηµεία στα οποία προστίθεται θόρυβος Εικονικό πείραµα υπό συνθήκες θορύβου Πειράµατα Monte Carlo ιάφορα πειράµατα Monte Carlo Χρήσιµα συµπεράσµατα Επιλογή σηµείων και Μεταφορά Πειραµατική χρήση των αλγορίθµων Μη αυτόµατη επιλογή σηµείων και µεταφορά Εύρεση τρισδιάστατου σχήµατος Κεφάλαιο Ανακεφαλαίωση Συµπεράσµατα Βιβλιογραφία

4 Κεφάλαιο Εισαγωγή. Γενικά Η ανάκτηση του τρισδιάστατου σχήµατος ενός αντικειµένου και της κίνησης της κάµερας ταυτόχρονα, από µια αλληλουχία εικόνων είναι ένα σηµαντικό θέµα και βρίσκει ευρεία εφαρµογή σε πολλά αντικείµενα όπως στην εύρεση της πορείας και της θέσης (προσανατολισµός), στον χειρισµό των ροµπότ, στη Φωτογραµµετρία, στην επεξεργασία Ψηφιακής εικόνας και βίντεο. Παρότι το συνολικό «αντίστροφο πρόβληµα» του υπολογισµού της δοµής και κίνησης στερών αντικειµένων δεν έχουν αναλυθεί πλήρως, σηµαντική ερευνητική διεργασία έχει γίνει για την αντιµετώπιση ορισµένων πτυχών του. ηµοσιεύσεις που προέρχονται κυρίως από τον τοµέα της «Όρασης µε Υπολογιστές» έχουν συνεισφέρει ενδιαφέρουσες προσεγγίσεις στον υπολογισµό του εξωτερικού σχήµατος τρισδιάστατων αντικειµένων, συνήθως µε την παραδοχή ότι αυτά είναι µη παραµορφώσιµα στερεά. Την τελευταία δεκαετία το θέµα του Υπολογισµού Τρισδιάστατης οµής και Κίνησης κινούµενων αντικειµένων έχει γίνει µείζον αντικείµενο µελέτης και έρευνας στις περιοχές της Όρασης Υπολογιστών και της Επεξεργασίας Ψηφιακής Εικόνας και Βίντεο. Ιδιαίτερη έµφαση έχει δοθεί τα τελευταία χρόνια µετά τις ανακοινώσεις για τα πρότυπα αντικειµενοστραφούς κωδικοποίησης βίντεο MPEG-4 και MPEG-7. Ιστορικά, το πρώτο ενδιαφέρον στο θέµα παρουσιάστηκε από τις τοπογραφικές εφαρµογές στα πλαίσια της Φωτογραµµετρίας. Έκτοτε, και µε έµφαση την τελευταία δεκαετία, έχει πραγµατοποιηθεί αρκετή δουλειά για την επίλυση του 4

5 προβλήµατος που συναντάται υπό τον γενικό όρο «το πρόβληµα οµής από Κίνηση» (Structure From Motion problem - SFM). Στο πρόβληµα αυτό κατά κανόνα θεωρείται ότι τα αντικείµενα είναι µη παραµορφώσιµα στερεά. Οι προσεγγίσεις στο θέµα διαφέρουν σε σχέση µε (α) το θεωρούµενο µοντέλο προβολής, (β) τα χαρακτηριστικά που παρακολουθούνται, (γ) τις µετρήσεις που δίνονται ως είσοδο στο σύστηµα ανακατασκευής και (δ) την τεχνική επεξεργασίας των δεδοµένων. Όσον αφορά το µοντέλο προβολής, δυο κυρίως µοντέλα θεωρούνται στην επίλυση τέτοιων προβληµάτων, αυτά της προοπτικής (perspective) και της παράλληλης (orthographic). Ως πιο κοντινό στην πραγµατικότητα λαµβάνεται το µοντέλο της προοπτικής προβολής, το οποίο όµως αποτυγχάνει όταν το αντικείµενο βρίσκεται µακριά από την κάµερα, ενώ ταυτόχρονα οδηγεί σε µη γραµµικές λύσεις. Επίσης, έχουν προταθεί και κάποια ενδιάµεσα µοντέλα, τα οποία εκµεταλλεύονται τα πλεονεκτήµατα των ακραίων περιπτώσεων, δηλαδή της προοπτικής και παράλληλης προβολής. Για να καταστεί δυνατός ο υπολογισµός τρισδιάστατης δοµής και κίνησης στερεών αντικειµένων, παρακολουθείται η προβαλλόµενη κίνηση (D) κινούµενων χαρακτηριστικών (3D) των αντικειµένων στον τρισδιάστατο χώρο. Τα χαρακτηριστικά που παρακολουθούνται σε τέτοιες εφαρµογές είναι διαφόρων ειδών, για παράδειγµα σηµεία, γραµµές ή καµπύλες. Η παρακολούθηση σηµείων είναι η πιο δηµοφιλής µέθοδος και είναι αυτή που χρησιµοποιήσαµε στην παρούσα εργασία. Οι µετρήσεις εισόδου στο σύστηµα υπολογισµού τρισδιάστατης κίνησης και σχήµατος µπορούν να χωριστούν γενικά σε τρεις κατηγορίες: αντιστοιχίσεις µεµονωµένων σηµείων (feature correspondences), πεδία κίνησης (motion fields) και πεδίο οπτικής ροής (optical flow fields). Η επιλογή και εξαγωγή των µετρήσεων αυτών συνδέεται ευθέως µε τη µέθοδο υπολογισµού της δισδιάστατης κίνησης. Σε πραγµατικές εφαρµογές τρισδιάστατου υπολογισµού δοµής και κίνησης, είναι τις περισσότερες φορές αναγκαίες και άλλες βοηθητικές εφαρµογές, όπως η κατάτµηση εικόνας ή η παρακολούθηση κινούµενων αντικειµένων ως ολότητες. Ακόµη περισσότερο ενδιαφέρον υπάρχει για υπολογισµό τρισδιάστατης κίνησης και δοµής παραµορφώσιµων (deformable) στερεών αντικειµένων, αφού στην πραγµατικότητα τα περισσότερα αντικείµενα ενδιαφέροντος σε τέτοιες εφαρµογές δεν είναι απόλυτα στερεά. Η επιστηµονική δουλειά που έχει πραγµατοποιηθεί διεθνώς στο θέµα είναι µάλλον φτωχή και οι επιστηµονικές αναφορές περιορισµένες. 5

6 Για το πρόβληµα του υπολογισµού του τρισδιάστατου σχήµατος και κίνησης από δισδιάστατες προβολές έχουν προταθεί πολλοί αλγόριθµοι οι οποίοι διαφέρουν σε κάποια χαρακτηριστικά τους, όπως το θεωρούµενο µοντέλο προβολής (προοπτική ή παράλληλη), τα χαρακτηριστικά που παρακολουθούνται και οι µετρήσεις που δίνονται ως είσοδο στο σύστηµα ανακατασκευής. Ο αλγόριθµος που µελετήσαµε σε αυτήν την εργασία βασίζεται στο µοντέλο της προοπτικής (perspective) προβολής. Έτσι, χρησιµοποιώντας τις προοπτικές προβολές τρισδιάστατων σηµείων πάνω σε δυο εικόνες του ίδιου αντικειµένου από δυο διαφορετικές όψεις, ανακτήσαµε την τρισδιάστατη δοµή του. Μοναδική είσοδος για το σύστηµα του αλγορίθµου είναι ένα σύνολο αντιστοιχισµένων σηµείων στις δυο εικόνες και έξοδος είναι η κατεύθυνση της µετατόπισης καθώς και η γωνία και ο άξονας περιστροφής. Ο ελάχιστος αριθµός σηµείων, που απαιτεί ο αλγόριθµος, είναι οκτώ σε κάθε µια από τις δυο εικόνες.. οµή της εργασίας Στη συγκεκριµένη εργασία, ασχολούµαστε εκτενώς µε την ανάπτυξη του αλγορίθµου ανακατασκευής που προτάθηκε από τους Longuet-Higgins το 98 [7]. Επίσης, περιγράφουµε συνοπτικά και κάποιους άλλους αλγορίθµους επιλογής χαρακτηριστικών σηµείων και µεταφοράς και, τέλος, χρησιµοποιούµε αλγόριθµο (teture mapping) για την ανακατασκευή της δοµής της τρισδιάστατης εικόνας. Αρχικά, στο δεύτερο κεφάλαιο, παραθέτουµε κάποια βασικά µαθηµατικά στοιχεία, που χρησιµοποιούµε παρακάτω για την ανάλυση του αλγορίθµου. Τα στοιχεία αυτά αφορούν τη µετατόπιση και περιστροφή σηµείων στο χώρο, καθώς και την προοπτική τους προβολή στο επίπεδο των δυο διαστάσεων. Βασική αναφορά γίνεται, επίσης, στην «Επιπολική Γεωµετρία» ( Epipolar Geometr ) και ιδιαίτερα στον «επιπολικό περιορισµό» ( Epipolar Constraint ) και τον «Θεµελιώδη Πίνακα» (Essential Matri ) που εξάγεται από αυτόν. Μέσω της «Επιπολικής Γεωµετρίας» εξάγουµε µια ακριβή γεωµετρική σχέση, που συσχετίζει τα αντίστοιχα σηµεία των δυο διαφορετικών όψεων. Στη συνέχεια, στο τρίτο κεφάλαιο, αναλύουµε τον αλγόριθµο ανακατασκευής. Ο αλγόριθµος αυτός δέχεται σαν είσοδο ένα σετ αντιστοιχισµένων σηµείων πάνω σε δύο δισδιάστατες εικόνες, του ίδιου αντικειµένου από δυο διαφορετικές όψεις και, 6

7 βασιζόµενος πάνω σε αρχές της «Πολικής Γεωµετρίας», υπολογίζει τη σχετική µετατόπιση και περιστροφή που υπάρχει ανάµεσα στις δυο εικόνες. Επίσης, ο αλγόριθµος υπολογίζει τα σχετικά βάθη των σηµείων, που αποτελούν βασικό παράγοντα για την ανακατασκευή της τρισδιάστατης δοµής της εικόνας. Το τέταρτο κεφάλαιο, αφιερώνεται στη σύντοµη περιγραφή των αλγορίθµων επιλογής και µεταφοράς σηµείων (Feature Selection and racking). Ο αλγόριθµος επιλογής εντοπίζει τα χαρακτηριστικά σηµεία πάνω στην πρώτη εικόνα, σύµφωνα µε κάποια κριτήρια και στη συνέχεια µε τη βοήθεια του αλγορίθµου µεταφοράς τα ίδια σηµεία εντοπίζονται και στην δεύτερη εικόνα. Έτσι, εφαρµόζουµε τον αλγόριθµο ανακατασκευής για τα σηµεία που έχουµε σηµειώσει πάνω στις δυο εικόνες. Στη συνέχεια, στο πέµπτο κεφάλαιο, παρουσιάζονται πειράµατα για την επιβεβαίωση της καλής λειτουργίας του αλγορίθµου ανακατασκευής, τα οποία αφορούν περιπτώσεις χωρίς θόρυβο αλλά και περιπτώσεις που η αντιστοίχιση των σηµείων δεν γίνεται µε ιδανικό τρόπο, υπό την επίδραση θορύβου. Ακόµα, µελετάται και η συµπεριφορά του αλγορίθµου στις µεταβολές διάφορων χαρακτηριστικών, όπως η µετατόπιση, η γωνία και ο άξονας περιστροφής. Επίσης, παρουσιάζονται πειράµατα που εφαρµόζονται οι αλγόριθµοι επιλογής και µεταφοράς των σηµείων, καθώς και ένα συνολικό παράδειγµα που παρουσιάζει τη λύση του συνολικού προβλήµατος του υπολογισµού του τρισδιάστατου σχήµατος και κίνησης από δισδιάστατες προβολές. Τέλος, στο έκτο κεφάλαιο γίνεται µια ανακεφαλαίωση και παρουσιάζονται συνοπτικά κάποια χρήσιµα συµπεράσµατα που βγαίνουν από την εργασία αυτή. 7

8 Κεφάλαιο Κίνηση στον τρισδιάστατο χώρο Προβολές (Χρήσιµα Μαθηµατικά Στοιχεία) Σε αυτό το κεφάλαιο γίνεται µια συνοπτική αναφορά σε µερικά µαθηµατικά στοιχεία που αφορούν την προβολή τρισδιάστατων σηµείων στο επίπεδο καθώς και την περιστροφή και µετατόπιση τους. Επίσης, γίνεται εκτενέστερη αναφορά σε κάποια βασικά στοιχεία γεωµετρίας, που συσχετίζουν σηµεία δισδιάστατων εικόνων µε την τρισδιάστατη θέση τους. Μελετώντας την περίπτωση της ρυθµισµένης φωτογραφικής µηχανής (calibrated camera), θα παρουσιάσουµε, συνοπτικά, βασικές έννοιες της Γεωµετρίας δυο όψεων, γνωστή σαν Επιπολική Γεωµετρία ( Epipolar Geometr ) []. Το ζεύγος των συντεταγµένων της προβολής ενός σηµείου και τα δυο οπτικά κέντρα της φωτογραφικής µηχανής συνδέονται µε µια σχέση, που µπορεί να γραφεί σαν αλγεβρικός περιορισµός, που περιλαµβάνει τις θέσεις της φωτογραφικής µηχανής (µετακίνηση και περιστροφή) και τις συντεταγµένες της εικόνας, αλλά όχι την τρισδιάστατη θέση των σηµείων. Εποµένως, δίνοντας αρκετά σηµεία, ο περιορισµός µπορεί να χρησιµοποιηθεί για να επιλύσουµε ως προς τις θέσεις της κάµερας. Εάν αυτές είναι γνωστές, τότε γίνεται εύκολα και ο υπολογισµός της τρισδιάστατης θέσης των σηµείων από την Τριγωνοµετρία. Το ενδιαφέρον χαρακτηριστικό του περιορισµού αυτού είναι ότι παρόλο που είναι µη γραµµικός ως προς τις άγνωστες θέσεις της φωτογραφικής µηχανής, µπορεί να επιλυθεί µε δυο γραµµικά βήµατα. Εποµένως, όταν δεν υπάρχει θόρυβος ή αβεβαιότητα, κάποιος µπορεί να ανακτήσει τη µετατόπιση και περιστροφή της φωτογραφικής µηχανής καθώς και τη θέση των 8

9 σηµείων στο χώρο µε δεδοµένα δυο εικόνες που έχουν τραβηχτεί από ρυθµισµένη φωτογραφική µηχανή και µε µερικά βήµατα απλής γραµµικής άλγεβρας. Το µόνο που χρειαζόµαστε είναι οκτώ ή περισσότερα ζεύγη σηµείων πάνω στις δυο εικόνες.. Περιστροφή, Μετατόπιση τρισδιάστατων σηµείων και Προοπτική (perspective) προβολή Σε αυτό το σηµείο καλό είναι να γίνει αναφορά σε κάποια µαθηµατικά στοιχεία, τα οποία συναντώνται παρακάτω, που θα βοηθήσει στην καλύτερη κατανόηση κάποιων σηµείων της εργασίας [4]... Μετατόπιση τρισδιάστατου σηµείου Η µετατόπιση τρισδιάστατου σηµείου κατά ένα διάνυσµα υλοποιείται πολύ εύκολα µε την πρόσθεση των αντίστοιχων συνιστωσών ] Συγκεκριµένα, η µετατόπιση Q του σηµείου = [ t, t, t z, ισούται µε: P ] = [,, z κατά Q = P t = + t z t z + t = + t z + t z.. Περιστροφή τρισδιάστατου σηµείου Η περιστροφή ενός σηµείου του τρισδιάστατου χώρου καθορίζεται από δύο, µεταξύ τους ανεξάρτητα στοιχεία:. Τον άξονα περιστροφής. Ο άξονας περιστροφής είναι άξονας που διέρχεται από την αρχή του συστήµατος συντεταγµένων και η κατεύθυνση του προσδιορίζεται από µοναδιαίο διάνυσµα u. 9

10 . Τη γωνία περιστροφής α. Ο πίνακας, λοιπόν, που περιγράφει την περιστροφή τρισδιάστατου σηµείου γύρω από άξονα u = u, u, u ] και κατά γωνία α φαίνεται παρακάτω, χωρίς να [ z γίνεται αναφορά στον τρόπο µε τον οποίο παράγεται: ( cos a) u + cos a R = ( cos a) u u (sin a) u ( cos a) u zu (sin a) u z ( cos a) u u ( cos a) u ( cos a) u u z + (sin a) u + cos a (sin a) u z ( cos a) u u ( cos a) u u z z ( cos a) u z (sin a) u + (sin a) u + cos a (.) Έτσι, η περιστροφή Q του σηµείου P ] = [,, z κατά γωνία α γύρω από άξονα u, ισούται µε: Q = R P..3 Προοπτική προβολή Όπως είναι γνωστό, ένα από τα επιµέρους προβλήµατα της µοντελοποίησης γένεσης των προβολών αναφέρεται στην παραγωγή ενός θεωρητικού µοντέλου για τη γένεση των προβολών. Ο τύπος της προβολής είναι ίσως ο σηµαντικότερος παράγοντας διαφοροποίησης του συνολικού µοντέλου γένεσης των προβολών. Ο τύπος που χρησιµοποιήθηκε στη συγκεκριµένη εργασία, είναι η προοπτική προβολή [3]. Στην προοπτική προβολή, το σηµείο = [ X Y Z ] προβάλλεται στο [ ] σύµφωνα µε τις X = f και Z X =, Y = f, όπου f είναι η απόσταση του επιπέδου Z προβολής από το φακό. Το µειονέκτηµα της προοπτικής προβολής είναι ότι δεν µπορούµε να γνωρίζουµε πόσο µακριά είναι το αντικείµενο µιας και η συντεταγµένη z των τρισδιάστατων σηµείων χάνεται. Έτσι, µε δεδοµένη την προοπτική προβολή των 0

11 σηµείων, δεν µπορούµε να ανακτήσουµε το µέγεθος του αντικειµένου παρά µόνο τη σχετική απόσταση των σηµείων του από το φακό (σχετικά βάθη). Επίσης, δεν µπορούµε να ανακτήσουµε το διάνυσµα µετατόπισης, αλλά µόνο το µοναδιαίο του και έτσι µπορούµε να γνωρίζουµε µόνο προς ποια κατεύθυνση µετατοπίστηκε το αντικείµενο και όχι πόσο µετατοπίστηκε αυτό. Έτσι, αφού όπως είπαµε η προοπτική προβολή συνεπάγεται την απώλεια του απόλυτου βάθους και τη συγκράτηση µόνο του σχετικού, µπορούµε να θεωρήσουµε, για απλούστευση των πράξεων και χωρίς βλάβη της γενικότητας, f = για τις παραπάνω σχέσεις.. Επιπολική Γεωµετρία (Epipolar Geometr) Έστω δυο εικόνες που απεικονίζουν την ίδια σκηνή από δυο ξεχωριστά σηµεία του χώρου. Αν υποθέσουµε ότι η φωτογραφική µηχανή είναι ρυθµισµένη, οι οµογενείς συντεταγµένες της εικόνας και οι χωρικές συντεταγµένες X ενός σηµείου, συνδέονται µε τη σχέση: λ = X (.) Οι δισδιάστατες συνιστώσες διαφέρουν από τις πραγµατικές τρισδιάστατες ενός σηµείου κατά έναν άγνωστο αριθµό λ R + (βάθος). Για απλότητα, θα υποθέσουµε ότι η εικόνα είναι στατική, δηλαδή ότι δεν υπάρχουν κινούµενα αντικείµενα και ότι τα αντίστοιχα σηµεία στις δυο εικόνες είναι διαθέσιµα. Αν ονοµάσουµε, τα αντίστοιχα σηµεία των δυο διαφορετικών όψεων, αυτά θα σχετίζονται µεταξύ τους µε µια ακριβή γεωµετρική σχέση που περιγράφεται σε αυτήν την ενότητα. Όπως γνωρίζουµε, ένα ορθοκανονικό σύστηµα αναφοράς συνδέεται µε κάθε φωτογραφική µηχανή µε την αρχή των συντεταγµένων, o, στο οπτικό κέντρο και τον άξονα-z ευθυγραµµισµένο µε τον οπτικό άξονα, δηλαδή τον κάθετο στο επίπεδο της µηχανής. Η σχέση µεταξύ των τρισδιάστατων συντεταγµένων ενός σηµείου το οποίο «φαίνεται» από τη λήψη των δυο φωτογραφικών µηχανών (του ίδιου αντικειµένου από δυο διαφορετικές όψεις), µπορεί να περιγραφεί µε έναν αυστηρά ορισµένο

12 µετασχηµατισµό. Χωρίς βλάβη της γενικότητας, υποθέτουµε ότι η µια µηχανή είναι σταθερή, ενώ η άλλη µετακινείται και περιστρέφεται σύµφωνα µε έναν Ευκλείδειο µετασχηµατισµό g = ( R, ) SE(3). Αν ονοµάσουµε τις τρισδιάστατες συντεταγµένες ενός σηµείου P που σχετίζεται µε τις απεικονίσεις των δυο φωτογραφικών µηχανών 3 X και R µετασχηµατισµό µε τον ακόλουθο τρόπο: X R 3, αυτές σχετίζονται µε έναν X = RX + (.3) 3 οι οµογενείς συντεταγµένες της προβολής του ίδιου Έστω, R σηµείου p στο επίπεδο των δυο εικόνων. Επειδή X i = λ, i =,, η εξίσωση (.3) µπορεί να γραφεί µε όρους δισδιάστατων συνταγµένων i και βαθών λ ι, ως: i i = λ λ R + (.4) Προκειµένου να απαλείψουµε τα βάθη λ ι από την εξίσωση (.4), πολλαπλασιάζουµε και τους δυο όρους µε ) και λαµβάνοντας υπόψη ότι ) = = 0, παίρνουµε: ) λ ) = Rλ (.5) Να σηµειώσουµε εδώ ότι ο συµβολισµός ) αντιπροσωπεύει τον τετραγωνικό 0 t3 t πίνακα ) t = t3 0 t, όπου = t. Έτσι, όταν θέλουµε να υπολογίσουµε t 0 t t 3 το εξωτερικό γινόµενο δυο διανυσµάτων και, αρκεί να υπολογίσουµε το γινόµενο του πίνακα ) µε το διάνυσµα. ) Επειδή το διάνυσµα = είναι κάθετο στο διάνυσµα, το εσωτερικό ) ) γινόµενο, = είναι µηδέν. Πολλαπλασιάζοντας και τα δυο µέλη της ) εξίσωσης µε έχει σαν αποτέλεσµα ο όρος Rλ να είναι µηδέν. Επειδή λ > 0, έχουµε αποδείξει τον πολικό περιορισµό ( Epipolar Constraint ), ο οποίος διατυπώνεται παρακάτω:

13 Έστω δυο εικόνες, του ίδιου σηµείου p από δυο διαφορετικές όψεις µε σχετική θέση ( R, ), όπου R SO(3) είναι η σχετική περιστροφή και σχετική µετατόπιση. Τότε τα, ικανοποιούν τη συνθήκη: 3 R είναι η R 0, ή R ) 0 (.6), = = Ο πίνακας ) E = R 33 R που εµφανίζεται στην εξίσωση (.6) ονοµάζεται Θεµελιώδης Πίνακας ( essential matri ) και κωδικοποιεί τη σχετική θέση των δυο φωτογραφικών µηχανών. Πίνακες αυτής της µορφής ανήκουν σε ένα ειδικό σύνολο πινάκων στο Ε. 33 R που ονοµάζεται Θεµελιώδες Σύνολο και δηλώνεται µε το σύµβολο Ε { R R SO( 3), R } 3 = ) 33 R.. Βασικές ιδιότητες του Θεµελιώδους πίνακα ( essential matri ) Σε αυτήν την ενότητα παραθέτουµε κάποια λήµµατα και θεωρήµατα, χωρίς την απόδειξή τους, που περιγράφουν βασικές ιδιότητες του Θεµελιώδους Πίνακα []. Το παρακάτω θεώρηµα [Huang και Faugeras. 989], περιγράφει την αλγεβρική δοµή των Θεµελιωδών Πινάκων όσον αφορά την ανάλυση χαρακτηριστικών τιµών (Singular Value Decomposition, SVD). Θεώρηµα (Χαρακτηρισµός του Θεµελιώδους Πίνακα): Ένας µη µηδενικός πίνακας E R 33, είναι Θεµελιώδης Πίνακας αν και µόνο αν ο E έχει ανάλυση χαρακτηριστικών τιµών (SVD) E = UΣV µε Σ = diag{ σ, σ,0} για σ R + και U, V SO(3). 3

14 Με δεδοµένα έναν πίνακα περιστροφής R SO(3) και ένα διάνυσµα 3 µετατόπισης R, είναι εύκολο να κατασκευάσουµε ένα Θεµελιώδη Πίνακα ) E = R. Η αντίστροφη διαδικασία, του να ανακτήσουµε το και το R από ένα δεδοµένο πίνακα E, είναι λιγότερο προφανής. Χρησιµοποιώντας την ανάλυση χαρακτηριστικών τιµών, καταλήγουµε σε δυο λύσεις για το ζεύγος ( R, ). Το ερώτηµα, που τίθεται εδώ, είναι αν αυτές είναι οι µοναδικές λύσεις και η απάντηση δίνεται από το παρακάτω θεώρηµα για την απόδειξη του οποίου χρησιµοποιούµε το λήµµα που προηγείται: Λήµµα: Θεωρούµε έναν αυθαίρετο αντισυµµετρικό πίνακα ) SO(3), µε Αν για ένα πίνακα περιστροφής R SO(3), ο ) R R = I ή ) uπ R = e, όπου ) u =. Επιπλέον, ) ) e u ) π =. 3 R. είναι επίσης αντισυµµετρικός, τότε Θεώρηµα (Ανάκτηση της θέσης από τον Θεµελιώδη Πίνακα): Υπάρχουν ακριβώς δυο σχετικές θέσεις ( R, ) µε R SO(3) και 3 R που αντιστοιχούν σε έναν µη µηδενικό Θεµελιώδη Πίνακα E Ε. Απόδειξη: Αν υποθέσουµε ότι τα ζεύγη ( R, ) SE(3) και ( R, ) SE(3) είναι ) ) ) και τα δυο λύσεις της εξίσωσης R = E, τότε έχουµε R = R. Αυτό συνεπάγεται ) ) = R R. Επειδή οι, είναι και οι δυο αντισυµµετρικοί πίνακες και ο R R είναι πίνακας περιστροφής, από το προηγούµενο λήµµα, έχουµε ότι ( R, ) = ( R ) uπ ή ( R, ) = ( e R ),, µε u = πίνακα Ε, υπάρχουν ακριβώς δυο ζεύγη ( ),. Εποµένως, δεδοµένου ενός Θεµελιώδους ) R, τέτοια ώστε R = E. Επιπλέον, αν ο E έχει SVD: E = UΣV µε, V SO(3) U, η ακόλουθη σχέση δίνει τις δυο ξεχωριστές λύσεις: ) ( R ) = ( UR ( + π ) ΣU, UR ( + ) V ), Z Z π ) ( R ) = ( UR ( π ) ΣU, UR ( ) V ), Z Z π (.7) 4

15 R Z = e µε 3θ όπου ( θ ) e ) 3 e 3 = [ 0,0, ] R. Αυτές οι δυο λύσεις µαζί συχνά αναφέρονται σαν «συνεστραµµένο ζεύγος» λόγω του τρόπου µε τον οποίο αυτές συνδέονται γεωµετρικά, όπως φαίνεται στην Εικόνα.. Μια φυσικά αποδεκτή λύση µπορεί να επιλεχθεί αν υποθέσουµε ότι τα ανακατασκευασµένα τρισδιάστατα σηµεία πρέπει να είναι ορατά, δηλαδή να είναι µπροστά από τη φωτογραφική µηχανή, εποµένως να έχουν θετικά «βάθη». Εικόνα. υο ζευγάρια «σκηνών» της φωτογραφικής µηχανής (,) και (, ) παράγουν τον ίδιο Θεµελιώδη Πίνακα (essential matri). Η «σκηνή» και η διαφέρουν κατά µια µετατόπιση και µια περιστροφή κατά 80 γύρω από τον z-άξονα, ενώ τα δυο ζεύγη «σκηνών» αντιστοιχούν στις ίδιες δισδιάστατες συντεταγµένες. Έτσι για το ίδιο ' σετ δισδιάστατων ζευγών συντεταγµένων και =, οι ανακατασκευασµένες δοµές ενδέχεται να είναι διαφορετικές. Σηµειώνεται εδώ ότι µε βάση τη «σκηνή» το σηµείο ' p έχει αρνητικό «βάθος». 5

16 Κεφάλαιο 3 Αλγόριθµος Ανακατασκευής Στο προηγούµενο κεφάλαιο, είδαµε ότι τα αντίστοιχα σηµεία των δυο εικόνων σχετίζονται µέσω του επιπολικού περιορισµού ( Epipolar Constraint ), ο οποίος εµπεριέχει την άγνωστη σχετική θέση µεταξύ των δυο φωτογραφικών µηχανών. Εποµένως, µε δεδοµένο έναν αριθµό αντιστοιχιών σηµείων, θα µπορούσαµε να χρησιµοποιήσουµε τους επιπολικούς περιορισµούς ώστε να προσπαθήσουµε να ανακτήσουµε τη θέση της φωτογραφικής µηχανής. Σε αυτό το κεφάλαιο, παρουσιάζεται µια απλή λύση σε αυτό το πρόβληµα. Αποτελείται από δυο βήµατα: Αρχικά, ένας πίνακας E κατασκευάζεται από έναν αριθµό επιπολικών περιορισµών και στη συνέχεια, η σχετική µετατόπιση και περιστροφή εξάγονται από τον E. Παρόλα αυτά, επειδή ο πίνακας E, που κατασκευάστηκε από πληροφορία αντιστοίχισης του επιπολικού περιορισµού, ενδέχεται να µην είναι Θεµελιώδης Πίνακας ( essential matri ), χρειάζεται να προβληθεί στο χώρο των Θεµελιωδών Πινάκων πριν να εξάγουµε τη σχετική θέση των φωτογραφικών µηχανών χρησιµοποιώντας την εξίσωση (.6). Αν και ο γραµµικός αλγόριθµος που προτείνεται δεν είναι ο καταλληλότερος όταν στις µετρήσεις υπεισέρχεται θόρυβος, είναι σηµαντικός για την απεικόνιση του χώρου των Θεµελιωδών Πινάκων. 6

17 3. Περιγραφή του Αλγορίθµου Σε αυτήν την ενότητα γίνεται µια αναλυτική περιγραφή του αλγορίθµου ανακατασκευής της σχετικής θέσης των φωτογραφικών µηχανών []. Επίσης, παρουσιάζεται η µέθοδος ανάκτησης της τρισδιάστατης θέσης των σηµείων των εικόνων, ενώ στο Κεφαλαίο 5 δίνεται σχετικό πείραµα που επαληθεύει τη λειτουργία του αλγορίθµου. 3.. Ανάκτηση της σχετικής θέσης (Περιστροφή και Μετατόπιση) ) Έστω E = R ο Θεµελιώδης Πίνακας που συνδέεται µε τον επιπολικό περιορισµό (.6). Τα στοιχεία αυτού του 33 πίνακα γράφονται ως εξής: e E = e e 3 e e e 3 e e e R (3.) και, επίσης, γράφεται σαν διάνυσµα: [ e e e e e e e e e ] S E = R (3.) Επιπλέον, δηλώνουµε ως γινόµενο του Kronecker δυο διανυσµάτων και 3, το a =, ή πιο συγκεκριµένα, αν r = [ z] R και r = z, τότε: [ ] 3 R 9 [ z z z z z z ] a = (3.3) R 7

18 Επειδή ο επιπολικός περιορισµός E 0 = είναι γραµµικός ως προς τα στοιχεία του πίνακα E, χρησιµοποιώντας τις παραπάνω διαπιστώσεις, µπορούµε να το ξαναγράψουµε σαν το εσωτερικό γινόµενο του a και του S E : a E S = 0 (3.4) Αυτός είναι απλά άλλος ένας τρόπος για να γράψουµε την εξίσωση (.6), που δίνει έµφαση στη γραµµική εξάρτηση του «επιπολικού περιορισµού» µε τα στοιχεία του Θεµελιώδους πίνακα. Στη συνέχεια, µε δεδοµένο ένα σύνολο αντίστοιχων j j σηµείων, ), για j =,,..., n, ορίζουµε έναν πίνακα X ( µε τα σηµεία αυτά ως εξής: όπου η j-γραµµή n [ a a a ] X =..., 9 R n, που σχετίζεται j j j a είναι το γινόµενο Kronecker του κάθε ζεύγους (, ) περίπτωση της απουσίας θορύβου, το διάνυσµα S E ικανοποιεί τη σχέση:. Στην S XE = 0 (3.5) S Αυτή η γραµµική εξίσωση µπορεί τώρα να επιλυθεί ως προς το διάνυσµα E. Για να είναι µοναδική η λύση (ως προς έναν αριθµό, αποκλείοντας την τετριµµένη S λύση E = 0), ο βαθµός του πίνακα X 9n R πρέπει να είναι ακριβώς οκτώ. Τα πράγµατα θα ήταν έτσι στην περίπτωση που θα είχαµε n 8 ιδανικά ζεύγη αντιστοιχισµένων σηµείων. Παρόλα αυτά, στην πραγµατικότητα, επειδή οι αντιστοιχίες υπόκεινται σε σφάλµατα, ενδέχεται να µην υπάρχει λύση στην εξίσωση (3.4). Σε αυτήν την περίπτωση, µπορούµε να επιλέξουµε το S E που ελαχιστοποιεί το σφάλµα ελαχίστων τετραγώνων της συνάρτησης S XE [6]. Αυτό επιτυγχάνεται S επιλέγοντας το E να είναι το ιδιοδιάνυσµα του πίνακα X X που αντιστοιχεί στην µικρότερη ιδιοτιµή του. Υπάρχει, επίσης, ενδιαφέρον στην περίπτωση που ο βαθµός του X είναι µικρότερος του οκτώ, ακόµα κι αν ο αριθµός των σηµείων είναι µεγαλύτερος από εννέα. Αυτή η περίπτωση συναντάται όταν τα σηµεία δεν βρίσκονται σε εντελώς τυχαία διάταξη, για παράδειγµα, όταν όλα βρίσκονται πάνω στο ίδιο επίπεδο. 8

19 Παρόλα αυτά, ακόµα και στην περίπτωση της απουσίας θορύβου, για να S αποτελεί ένα διάνυσµα E λύση του προβλήµατος δεν φτάνει να ανήκει στο µηδενικό χώρο (null space) του X. Στην πραγµατικότητα, πρέπει να ικανοποιεί έναν S επιπλέον περιορισµό, δηλαδή ο πίνακας E, που είναι ισοδύναµος µε τον E, να ανήκει στο χώρο των Θεµελιωδών πινάκων ( space of essential matrices ). Η προσαρµογή αυτής της δοµής στον περιορισµό του µηδενικού χώρου του X είναι κάτι πολύ δύσκολο. Εποµένως, σαν µια πρώτη προσέγγιση, υπολογίζουµε το µηδενικό χώρο του X, αγνοώντας την εσωτερική δοµή του Θεµελιώδους πίνακα, παίρνοντας έναν πίνακα, ας πούµε F, ο οποίος κατά πάσα πιθανότητα δεν ανήκει στον χώρο των Θεµελιωδών πινάκων Ε, και στη συνέχεια προβάλλουµε τον πίνακα F πάνω στο χώρο των Θεµελιωδών πινάκων. Μεταξύ όλων των σηµείων που βρίσκονται στο χώρο των Θεµελιωδών πινάκων Ε 33 R, το E έχει τη µικρότερη απόσταση Frobenius (ή ευκλείδεια απόσταση) από το F. Παρόλα αυτά, το σφάλµα ελαχίστων τετραγώνων ενδέχεται να µην είναι το µικρότερο για το E, µεταξύ όλων των σηµείων του Ε. Παρακάτω δίνεται ένα θεώρηµα, χωρίς απόδειξη, το οποίο εξηγεί την προβολή αυτή πάνω στο χώρο των Θεµελιωδών Πινάκων: 33 Θεώρηµα: Έστω ένας πραγµατικός πίνακας F R µε ανάλυση χαρακτηριστικών τιµών (SVD) λ λ3 = Udiag{ λ, λ, λ3 V, µε, V SO(3) F }} U, λ, τότε ο Θεµελιώδης πίνακας E Ε που ελαχιστοποιεί το σφάλµα E F δίνεται από τη σχέση: Udiag{ σ, σ,0} f E =, µε σ ( + ) = λ λ. Ο δείκτης f δηλώνει το Frobenius µέτρο ενός πίνακα. Αυτό είναι το τετραγωνικό µέτρο του αθροίσµατος των τετραγώνων όλων των στοιχείων του πίνακα. Όπως έχουµε ήδη επισηµάνει, ο «επιπολικός περιορισµός» µας επιτρέπει να ανακτήσουµε τον Θεµελιώδη πίνακα ως προς έναν βαθµωτό αριθµό. Λόγω του ότι ο «επιπολικός περιορισµός» είναι οµογενής ως προς τον E, δεν διαφοροποιείται πολλαπλασιάζοντάς τον µε µια µη µηδενική σταθερά. Μια τυπική επιλογή για να ξεπεράσουµε αυτήν την αµφιβολία είναι να υποθέσουµε µια µοναδιαία µετατόπιση, πράγµα που σηµαίνει ότι = E =. Έτσι, αυτόν τον πίνακα E τον ονοµάζουµε κανονικοποιηµένο Θεµελιώδη πίνακα. 9

20 Τέλος, σε αυτό το σηµείο είναι καλό να κάνουµε µια αναφορά στα ζεύγη λύσεων που προκύπτουν από τον αλγόριθµο. Σύµφωνα µε το θεώρηµα που αναφέρεται στην ανάκτηση της θέσης της φωτογραφικής µηχανής από τον Θεµελιώδη Πίνακα, κάθε κανονικοποιηµένος Θεµελιώδης Πίνακας E δίνει δυο πιθανές θέσεις ( R, ). Επιπλέον, επειδή το πρόσηµο του E είναι αυθαίρετο, από τον πίνακα ± E εξάγονται τέσσερα διαφορετικά ζεύγη λύσεων. Στην πραγµατικότητα, όµως, τα τρία από αυτά µπορούν να αποκλειστούν επιβάλλοντας τον περιορισµό των θετικών βαθών. Συνοψίζοντας όλα τα παραπάνω, καταλήγουµε σε έναν απλό αλγόριθµο για τον υπολογισµό της περιστροφής και µετατόπισης. Το µόνο δεδοµένο που χρησιµοποιούµε είναι ένας αριθµός σηµείων στην αρχική εικόνα και τα αντίστοιχα σηµεία στη δεύτερη εικόνα. Έτσι, µια συνοπτική περιγραφή του αλγορίθµου [7] σε τρία βήµατα παρουσιάζεται παρακάτω:,, j,,..., n n 8 πάνω σε δυο εικόνες που απεικονίζουν το ίδιο αντικείµενο από δυο διαφορετικές j j Για ένα δεδοµένο σύνολο σηµείων αντιστοιχίας ( ) = ( ) όψεις, αυτός ο αλγόριθµος ανακατασκευάζει το ζεύγος (, ) SE(3) ικανοποιεί τη σχέση: ) j j R = 0, j =,,..., n R, που. Υπολογισµός µιας πρώτης προσέγγισης του Θεµελιώδους πίνακα (essential matri) n9 Κατασκευάζουµε πίνακα X [ a a ] R και... j που, όπως έχουµε πει και παραπάνω: a n = από τις αντιστοιχίες j j j j a = 9 R Βρίσκουµε το διάνυσµα S 9 E R µοναδιαίου µήκους, τέτοιο ώστε το S XE να ελαχιστοποιείται. Αυτό επιτυγχάνεται κάνοντας ανάλυση χαρακτηριστικών τιµών (SVD) του πίνακα X = U X Σ V και ορίζοντας το X X S E να είναι η ένατη στήλη του V X. Στη συνέχεια, σχηµατίζουµε τον πίνακα E από τον S E, όπως 0

21 περιγράψαµε στις σχέσεις (3.) και (3.). Σηµειώνουµε ότι, γενικά, αυτός ο πίνακας δεν θα βρίσκεται µέσα στο χώρο των Θεµελιωδών πινάκων.. Προβολή πάνω στο χώρο των Θεµελιωδών πινάκων Κάνουµε ανάλυση χαρακτηριστικών τιµών (SVD) του πίνακα E, ο οποίος ανακτήθηκε από τα δεδοµένα σηµεία, ως εξής: E = Udiag σ, σ, } V { σ 3 όπου σ σ σ 0 και U, V SO(3). Γενικά, επειδή ο E µπορεί να µην 3 είναι Θεµελιώδης πίνακας σ σ και σ 3 0. Αλλά η προβολή του πάνω στον κανονικοποιηµένο χώρο Θεµελιωδών πινάκων είναι UΣ V, όπου Σ = diag{,,0 }. 3. Ανάκτηση της περιστροφής και µετατόπισης από τον Θεµελιώδη πίνακα Σε αυτό το σηµείο χρειαζόµαστε µόνο τους πίνακες U και V για να εξάγουµε τους R και από τον Θεµελιώδη πίνακα ως εξής: όπου π R = ± U R Z V, ) π = U R Z ± ΣU 0 ± 0 π R = Z ± m

22 3.. Ευκλείδειοι περιορισµοί και ανακατασκευή τρισδιάστατης δοµής Ο αλγόριθµος οκτώ σηµείων που περιγράψαµε παραπάνω χρησιµοποιεί σαν είσοδο ένα σύνολο οκτώ ή περισσοτέρων αντιστοιχιών σηµείων και επιστρέφει τη σχετική θέση (περιστροφή και µετατόπιση) µεταξύ των δυο φωτογραφικών µηχανών, µε τη µετατόπιση, πάντως, να υπολογίζεται κατά αναλογία ενός αυθαίρετου + βαθµωτού αριθµού γ R. Αυτό, όπως ήδη έχουµε πει, σηµαίνει ότι ο αλγόριθµος δίνει σαν έξοδο µόνο την κατεύθυνση της µετατόπισης και όχι το απόλυτο διάνυσµα αυτής. Χωρίς βλάβη της γενικότητας, µπορούµε να υποθέσουµε αυτόν τον αριθµό να είναι γ =, το οποίο είναι ισοδύναµο µε την αναγωγή της µετατόπισης σε µοναδιαίο µήκος. Έτσι, η σχετική θέση και η αντιστοιχία σηµείων µπορούν να χρησιµοποιηθούν για την ανάκτηση της θέσης των σηµείων στον τρισδιάστατο χώρο, ανακατασκευάζοντας τα βάθη σε σχέση µε κάθε καρέ της φωτογραφικής µηχανής. Σε αυτό το σηµείο επανερχόµαστε στη βασική εξίσωση (.3), που περιγράφει την περιστροφή και µετατόπιση, όπου υποθέτουµε ότι η σχετική θέση ( R, ) έχει ανακατασκευαστεί και ότι η µετατόπιση είναι ορισµένη ως προς τον αριθµό γ. Ως συνάρτηση των σηµείων των εικόνων και των βαθών η εξίσωση (.3) γράφεται ως εξής: j j j j λ = λ R + γ, j =,,..., n (3.6) Σηµειώνουµε, εδώ, ότι επειδή τα ( R, ) είναι γνωστά οι εξισώσεις που προκύπτουν από την (3.6) είναι γραµµικές ως προς τη βαθµίδα δοµής λ και ως προς τη βαθµίδα κίνησης γ και εποµένως, µπορούν εύκολα να επιλυθούν. Για κάθε σηµείο, τα λ,λ είναι τα βάθη του µε αναφορά στο πρώτο και στο δεύτερο καρέ της φωτογραφικής µηχανής, αντίστοιχα. Το ένα από αυτά είναι, εποµένως, πλεονάζον. Για παράδειγµα, αν το λ είναι γνωστό, το λ είναι απλά µια συνάρτηση των ( R, ). Γι αυτό το λόγο µπορούµε να απαλείψουµε, για παράδειγµα,το λ από την εξίσωση (3.6) πολλαπλασιάζοντας και τις δυο πλευρές µε ) και έτσι έχουµε: j j j j λ ) R + γ = 0, j,,..., n (3.7) =

23 Η εξίσωση (3.7) είναι ισοδύναµη µε την παρακάτω γραµµική εξίσωση: M j λ j = j ) j j ) j λ [ R ] 0 γ =, (3.8) j j j j 3 όπου [ ] M ) = R ) R και j λ j λ = R, για j =,,..., n. Για να γ j έχουµε µια µοναδική λύση, ο πίνακας M πρέπει να είναι βαθµού ένα. Αυτό δεν συµβαίνει µόνο όταν ) 0, για παράδειγµα όταν το σηµείο βρίσκεται, πάνω = στο ευθύγραµµο τµήµα που ενώνει τα δυο οπτικά κέντρα. Σηµειώνουµε ότι όλες οι n εξισώσεις έχουν το ίδιο γ. Τώρα, ορίζουµε ένα r λ = n n+ διάνυσµα [ λ λ λ γ ]... Τ R και έναν πίνακα 3 n( n+ ) M R ως εξής: M ) R 0 = ) R O 0 0 ) n R 0 n ) n R n ) ) M ) n ) n Τότε η εξίσωση: M r λ = 0 καθορίζει όλα τα άγνωστα βάθη ως προς µια κοινή κλίµακα. Η γραµµική εκτίµηση ελαχίστων τετραγώνων του λ r είναι απλά το ιδιοδιάνυσµα του πίνακα M M αντιστοιχεί στην µικρότερη ιδιοτιµή του. Σηµειώνουµε ότι αυτή η ασάφεια της κλίµακας είναι φυσική, διότι χωρίς κάποια προηγούµενη γνώση για τη σκηνή και την κίνηση της κάµερας, δεν µπορούµε να διακρίνουµε αν σε µια σκηνή η κάµερα κινήθηκε κάποια απόσταση, ή αν κινήθηκε διπλάσια απόσταση σε µια σκηνή διπλάσιου µεγέθους αλλά δυο φορές πιο µακριά. Η ανάκτηση των βαθών, µε τη µέθοδο που περιγράψαµε, είναι καθοριστική για την εύρεση του τρισδιάστατου σχήµατος καθώς δίνεται µια, κατ αναλογία πάντα, άποψη για την απόσταση των σηµείων των εικόνων από τη φωτογραφική µηχανή. που 3

24 Όµως, εκτός από αυτή τη χρησιµότητα, ο καθορισµός των βαθών µας επιτρέπει να καταλήξουµε στο αποδεκτό ζεύγος λύσεων ( R, ). Όπως έχουµε επισηµάνει και προηγούµενα, στην περιγραφή του αλγορίθµου, από τον Θεµελιώδη Πίνακα εξάγονται τέσσερις λύσεις για το ζεύγος ( R, ). Για την επιλογή του σωστού ζεύγους λύσεων, ακολουθούµε την εξής διαδικασία: Αρχικά, υπολογίζουµε τα βάθη για κάθε ζεύγος λύσης χωριστά και στη συνέχεια, παρατηρούµε τα πρόσηµα των βαθών λ,λ. Το ζεύγος εκείνο, για το οποίο όλα τα βάθη και των δυο εικόνων είναι θετικά, είναι το αποδεκτό. 3. Μειονεκτήµατα του Αλγόριθµου ανακατασκευής Παρά την απλότητα του, ο αλγόριθµος ανακατασκευής, όταν χρησιµοποιείται στην πράξη, υποφέρει από κάποια µειονεκτήµατα, τα οποία περιγράφονται παρακάτω. Αριθµός σηµείων Ο αριθµός σηµείων, οκτώ, που αξιώνεται από τον αλγόριθµο, είναι περισσότερο για ευκολία και απλότητα της παρουσίασης. Στην πραγµατικότητα ο πίνακας E (ως συνάρτηση του ( R, )) έχει µόνο πέντε βαθµούς ελευθερίας, συνολικά: τρεις για την περιστροφή και δυο για τη µετατόπιση (ως προς έναν βαθµωτό αριθµό). Χρησιµοποιώντας κάποιες επιπρόσθετες αλγεβρικές ιδιότητες του πίνακα E, µπορούµε να µειώσουµε τον ελάχιστο απαραίτητο αριθµό σηµείων. Για παράδειγµα, γνωρίζοντας ότι η ορίζουσα του E είναι µηδενική, µπορούµε να µετατρέψουµε τη συνθήκη rank ( X ) = 8 στην rank ( X ) = 7, και να πάρουµε δυο λύσεις E από τον µηδενικό χώρο του X. Παρόλα αυτά, συνήθως S S 9 and E R υπάρχει µόνο ένα a R τέτοιο ώστε det ( E + ae ) = 0. Εποµένως, επτά σηµεία αρκούν για να έχουµε έναν σχετικά απλούστερο αλγόριθµο. Στην πραγµατικότητα, ένας γραµµικός αλγόριθµος υφίσταται για µόνο έξι σηµεία, αν χρησιµοποιούνται πιο περίπλοκες αλγεβρικές εξισώσεις του «Θεµελιώδους πίνακα». Για αυτόν τον λόγο, 4

25 δεν θα αποτελούσε έκπληξη, το γεγονός κάποιος να χρειάζεται µόνο πέντε σηµεία σε τυχαία θέση για να ανακατασκευάσει τα ( R, ). Μπορεί να αποδειχθεί, ότι υπάρχουν µέχρι και δέκα λύσεις, αν και οι λύσεις αυτές δεν µπορούν να εξαχθούν σε κλειστή µορφή. Επιπλέον, για κάποιες συγκεκριµένες κινήσεις, κάποιος χρειάζεται µόνο τέσσερα σηµεία για να προσδιορίσει τον ανάλογο «Θεµελιώδη πίνακα». Για παράδειγµα, οι επίπεδες κινήσεις και οι κινήσεις που χαρακτηρίζονται από κάποια συµµετρία έχουν αυτήν την πλεονεκτική ιδιότητα. Επειδή οι πίνακες E και περιορισµών, γενικά δίνουν = 4 E ικανοποιούν το ίδιο σύνολο πολικών πιθανές λύσεις για το ζεύγος ( ) R,. Παρόλα αυτά, αυτό δεν αποτελεί πρόβληµα, διότι µόνο µια από τις λύσεις εγγυάται ότι όλα τα βάθη όλων των τρισδιάστατων ανακατασκευασµένων σηµείων είναι θετικά, µε αναφορά και στις δυο εικόνες. Αυτό σηµαίνει ότι, γενικά, τρεις από τις τέσσερις λύσεις θα είναι χωρίς φυσικό νόηµα και για αυτόν τον λόγο, µπορούν να απορριφθούν. Απαίτηση δοµής: «τυχαία θέση» Για να δουλεύει ο αλγόριθµος ανακατασκευής σωστά, η συνθήκη που υπαγορεύει ότι τα δοθέντα οκτώ σηµεία πρέπει να βρίσκονται σε «τυχαία θέση» είναι πολύ σηµαντική. Μπορεί εύκολα να δειχθεί αν αυτά τα σηµεία σχηµατίζουν συγκεκριµένους εκφυλισµένους σχηµατισµούς, που ονοµάζονται «κρίσιµες επιφάνειες», ο αλγόριθµος θα αποτύχει. Μια τέτοια περίπτωση µε πρακτικό ενδιαφέρον προκύπτει όταν όλα τα σηµεία τυχαίνει να βρίσκονται στο ίδιο επίπεδο µέσα στον τρισδιάστατο χώρο. Απαίτηση κίνησης: «επαρκώς παραλλαγµένη» Κατά την εξαγωγή του πολικού περιορισµού, έχουµε υποθέσει ότι E 0, το οποίο µας επέτρεψε να εξάγουµε τον αλγόριθµο οκτώ σηµείων, στον οποίο ο «Θεµελιώδης πίνακας» κανονικοποιείται ( E = ). Εξαιτίας της δοµής του «Θεµελιώδους πίνακα», E = 0 = 0. Εποµένως, ο αλγόριθµος οκτώ σηµείων 5

26 απαιτεί ότι η µετατόπιση δεν θα είναι µηδενική ( 0). Η µετατόπιση επιφέρει παραλλαγή στο επίπεδο της εικόνας. Στην πράξη, εξαιτίας του θορύβου, ο αλγόριθµος, πιθανώς, να επιστρέφει µια απάντηση, ακόµα κι αν δεν υπάρχει καθόλου µετατόπιση. Παρόλα αυτά, σε αυτήν την περίπτωση η κατεύθυνση της µετατόπισης που υπολογίζεται θα είναι χωρίς νόηµα. Εποµένως, κάποιος θα πρέπει να εξετάζει κάθε περίπτωση µε πολλή προσοχή για να είναι σίγουρος ότι υπάρχει «επαρκής παραλλαγή» για τον σωστό ορισµό των συνθηκών του αλγορίθµου. Πάντως, έχει παρατηρηθεί πειραµατικά ότι ακόµα και για καθαρά περιστροφική κίνηση, που σηµαίνει = 0, η «ψευδής» µετατόπιση που δηµιουργείται από τον θόρυβο στις διαστάσεις της εικόνας είναι αρκετή για τον αλγόριθµο οκτώ σηµείων, ώστε να επιστρέψει µια σωστή εκτίµηση του πίνακα περιστροφής R. Απειροελάχιστη αλλαγή του οπτικού κέντρου Αποτελεί συχνά σηµείο τριβής σε διάφορες εφαρµογές, αν οι δύο όψεις, που χρησιµοποιεί ο αλγόριθµος ανακατασκευής, έχουν αποκτηθεί από µια κινούµενη φωτογραφική µηχανή ή από δυο σταθερές. Η εξαγωγή του πολικού περιορισµού και ο σχετικός αλγόριθµος οκτώ σηµείων δεν αλλάζει, από τη στιγµή που τα οπτικά κέντρα των φωτογραφικών µηχανών είναι ξεχωριστά και ευδιάκριτα. Στο όριο, όπου τα δυο οπτικά κέντρα βρίσκονται σε απειροελάχιστη απόσταση µεταξύ τους, ο «πολικός περιορισµός» παίρνει µια παρόµοια αλλά, στην ουσία, διαφορετική µορφή, που ονοµάζεται «συνεχής πολικός περιορισµός». Η περίπτωση αυτή του «συνεχούς πολικού περιορισµού» έχει περισσότερη σηµασία σε εφαρµογές στην όραση ροµπότ (τεχνητή όραση), όπου υπάρχει ενδιαφέρον για ανάκτηση των γραµµικών και γωνιακών ταχυτήτων της κάµερας. Πολλαπλές υποθέσεις κίνησης Στην περίπτωση πολλών κινούµενων αντικειµένων στη σκηνή, τα σηµεία της εικόνας µπορεί να µην ικανοποιούν, πλέον, τον ίδιο «πολικό περιορισµό». Για παράδειγµα, αν γνωρίζουµε ότι υπάρχουν δυο ανεξάρτητα κινούµενα αντικείµενα µε 6

27 κινήσεις, ας πούµε ( R, ) και (, ) R, τότε οι δυο εικόνες ( ), ενός σηµείου p πάνω σε ένα από αυτά τα κινούµενα αντικείµενα ικανοποιούν σε αντιστοιχία την εξίσωση: ( E )( E ) 0 = (3.9) συσχετίζοντας µε το γεγονός ότι το σηµείο p κινείται σύµφωνα µε την κίνηση ή την ) ) κίνηση. Στην εξίσωση (3.9) E = R και E = R. Από την εξίσωση (3.9) είναι ακόµα εφικτή η ανάκτηση των E και E, αν αρκετά σηµεία είναι ορατά πάνω και στα δυο αντικείµενα. Περισσότερη προσοχή χρειάζεται στην περίπτωση που έχουµε περισσότερες από δυο ανεξάρτητες κινήσεις αντικειµένων. 3.3 Σφάλµατα ως προς τη οµή, την Κίνηση και τις παραµέτρους του Συστήµατος Στην ενότητα αυτή γίνεται θεωρητική ανάλυση των σφαλµάτων που εισάγει ο αλγόριθµος ανακατασκευής []. Στην πραγµατικότητα, οι προοπτικές προβολές των σηµείων διαφθείρονται από θόρυβο. Ο θόρυβος συµπεριλαµβάνει σφάλµατα στον εντοπισµό των σηµείων, σφάλµατα που εισάγονται κατά τον κβαντισµό και σφάλµατα που προέρχονται από λάθος ρυθµίσεις του συστήµατος. Όλα αυτά τα σφάλµατα οδηγούν σε λάθη στη λύση των παραµέτρων κίνησης και στη τρισδιάστατη δοµή της σκηνής. Έχει παρατηρηθεί ότι τα σφάλµατα που προκαλούνται από τις στρογγυλοποιήσεις στον υπολογιστή είναι, γενικά, πολύ λιγότερο σηµαντικά από αυτά που αναφέρθηκαν παραπάνω. Έτσι, υποθέτουµε ότι ο θόρυβος εισάγεται αποκλειστικά από τις διαταραχές στις δισδιάστατες συντεταγµένες της προβολής των σηµείων. Παρόλα αυτά, µε το ίδιο επίπεδο θορύβου, τα σφάλµατα αποτελεσµάτων δεν είναι πάντα τα ίδια για διαφορετικές δοµές της σκηνής, διαφορετική κίνηση και διαφορετικές ρυθµίσεις των παραµέτρων του συστήµατος. Το ερώτηµα είναι, πως σχετίζονται και σε ποιο βαθµό επηρεάζουν την αξιοπιστία των υπολογισµών. Οι παράγοντες που θα εξετάσουµε, που επηρεάζουν την αξιοπιστία των υπολογισµών χωρίζονται σε τρεις κατηγορίες: 7

28 ) οµή της σκηνής, ) Κίνηση, 3) Παράµετροι Συστήµατος. ) οµή της σκηνής S Το 9-διάστατο µοναδιαίο διάνυσµα E (εξίσωση 3.) προσδιορίζεται αν και µόνο αν ο βαθµός του πίνακα X είναι τουλάχιστον ίσος µε οκτώ. Υποθέτοντας ότι η σχετική κίνηση οφείλεται στην κίνηση της κάµερας, η συνθήκη για να είναι ο βαθµός του πίνακα X ίσος µε οκτώ περιγράφεται ως εξής: Τα σηµεία που χρησιµοποιεί ο αλγόριθµος δεν πρέπει να βρίσκονται πάνω σε οποιαδήποτε τετραγωνική επιφάνεια που περνάει από τo κέντρο προβολής της κάµερας στις δυο χρονικές στιγµές. Για να ικανοποιηθεί αυτή η συνθήκη χρειάζονται το λιγότερο οκτώ σηµεία. Περισσότερα σηµεία βοηθούν στην αποτελεσµατικότερη αντιµετώπιση του θορύβου. Αν ένα σύνολο. από σηµεία είναι τέτοιο ώστε ο βαθµός του πίνακα X να είναι µικρότερος από οκτώ, λέµε ότι η δοµή είναι εκφυλισµένη. Για να βεβαιωθούµε ότι η δοµή µας απέχει πολύ από την εκφυλισµένη, διαισθητικά, η δοµή των σηµείων θα πρέπει να είναι τέτοια ώστε να είναι πολύ «ανώµαλα» τοποθετηµένα. Φυσικά, αν το σύνολο των προβολών των σηµείων είναι περιορισµένο µόνο σε ένα µικρό κοµµάτι της εικόνας, τότε µόνο ένα µικρό κοµµάτι της ανάλυσης της εικόνας χρησιµοποιείται. Αυτό θα οδηγήσει µε βεβαιότητα σε λιγότερο αξιόπιστες λύσεις. Έτσι, η διαµόρφωση των σηµείων θα πρέπει να είναι τέτοια ώστε οι προβολές να καλύπτουν όσο το δυνατόν µεγαλύτερο τµήµα της εικόνας. Άλλος ένα παράγοντας είναι ο αριθµός των σηµείων. Είναι πολύ αποτελεσµατικό να µειώσουµε το σφάλµα των λύσεων χρησιµοποιώντας περισσότερα σηµεία παραπάνω από τα ελάχιστα οκτώ που απαιτούνται. Επειδή ένα πολύ αλλαγµένο από το θόρυβο διάνυσµα µπορεί να µεταβάλλει αρκετά τη λύση από την αντίστοιχη σωστή, είναι επιθυµητό να επιλέγουµε αξιόπιστα ζεύγη σηµείων για την εκτίµηση των παραµέτρων κίνησης. και i Είναι ξεκάθαρο ότι τα σχετικά βάθη µπορούν να υπολογιστούν µόνο αν τα X είναι γραµµικώς ανεξάρτητα, που σηµαίνει: X R X 0. Όταν 0 όλα i i τα σηµεία ικανοποιούν τη συνθήκη εκτός από ένα το πολύ. Στην πραγµατικότητα X R X = 0 αν και µόνο αν RX = 0. Έστω X P τέτοιο ώστε RX P = 0. Αν i i i X i 8

29 το X P τυχαίνει να είναι το διάνυσµα ενός σηµείου, το βάθος αυτού του σηµείου δεν µπορεί να προσδιοριστεί. Για αυτά τα σηµεία των οποίων οι προβολές προσεγγίζουν το X P, τα αντίστοιχα βάθη δεν µπορούν να προσδιοριστούν µε αξιοπιστία υπό την παρουσία θορύβου. ) Παράµετροι κίνησης Όπως αναφέρθηκε νωρίτερα, µια κίνηση αντιπροσωπεύει µια περιστροφή ακολουθούµενη από µια µετατόπιση. Πλάτος της µετατόπισης: Αν το πλάτος της µετατόπισης είναι µηδενικό η λύση της κατεύθυνσης της µετατόπισης είναι αυθαίρετη και τα βάθη των σηµείων δεν µπορούν να προσδιοριστούν. Όταν το είναι κοντά στο µηδέν, η κατεύθυνση της µετατόπισης,, δεν µπορεί να προσδιοριστεί µε αξιοπιστία και εποµένως, ούτε τα βάθη των σηµείων. Κατεύθυνση της µετατόπισης: Αυτός είναι ο πιο ενδιαφέρον παράγοντας που σχετίζεται µε την αξιοπιστία των λύσεων. Η κατεύθυνση της µετατόπισης X R X προσδιορίζεται από τη σχέση ( ) 0 i i =, ή µε άλλα λόγια, το διάνυσµα είναι κάθετο στο εξωτερικό γινόµενο X R. i X i Γενικά, µια µετατόπιση, κάθετη στο επίπεδο της εικόνας, επιτρέπει πιο σταθερή εκτίµηση της κατεύθυνσης της µετατόπισης από µια µετατόπιση, παράλληλη στο επίπεδο της εικόνας. Η σχέση αυτή µπορεί να εξηγηθεί ως εξής: Μια µετατόπιση σε βάθος θα προκαλέσει λιγότερες αλλαγές στις εικόνες από µια µετατόπιση παράλληλη στο επίπεδο της εικόνας και µε το ίδιο πλάτος µετατόπισης. Με άλλα λόγια, η z-συνιστώσα της µετατόπισης είναι πολύ ευαίσθητη σε σφάλµατα της παρατηρούµενης πληροφορίας. Εποµένως, η z-συνιστώσα της µετατόπισης δεν µπορεί να είναι προσδιορισµένη αξιόπιστα. Με µια σχετικά µεγάλη διαταραχή στην z-συνιστώσα, η κατεύθυνση µιας µετατόπισης κάθετης στο επίπεδο της εικόνας δεν επηρεάζεται τόσο σηµαντικά όσο µια µετατόπιση παράλληλη στο επίπεδο της εικόνας. 9

30 Παράµετροι περιστροφής: Για τον υπολογισµό του σφάλµατος στις παραµέτρους περιστροφής, χρησιµοποιούµε το σχετικό σφάλµα του πίνακα περιστροφής, εκτός αν απαιτείται να δοθεί ιδιαίτερη προσοχή στον άξονα και τη γωνία περιστροφής. Η συσχέτιση µεταξύ περιστροφής και µετατόπισης είναι πολύ περίπλοκη, για αυτό καλό θα ήταν να δίναµε κάποια στοιχεία. Αρχικά, σκεφτόµαστε πως µπορεί η περιστροφή να διαχωριστεί από την µετατόπιση. Μια περιστροφή γύρω από τον οπτικό άξονα, είναι εύκολο να διαχωριστεί από τη µετατόπιση από τον αλγόριθµο επειδή δεν υπάρχει µετατόπιση που να δίνει παρόµοια µετακίνηση στην εικόνα. Τι γίνεται όµως µε µια περιστροφή γύρω από άξονα παράλληλο στο επίπεδο της εικόνας, ας πούµε τον άξονα-χ; Ας µελετήσουµε δυο περιπτώσεις. Στην πρώτη, κάποιος περιστρέφει το κεφάλι του γύρω από κάθετο άξονα που περνάει µέσα από το σώµα του. Στη δεύτερη, µετατοπίζει το κεφάλι του κατά την κατεύθυνση περιστροφής της πρώτης περίπτωσης. Αν κοιτάζει σε έναν τοίχο παράλληλο στο πρόσωπό του, το πεδίο µετακίνησης στο µάτι του είναι σχεδόν το ίδιο για τις δυο περιπτώσεις. Αυτό υπονοεί ότι είναι δύσκολο να διαχωρίσουµε την περιστροφή από τη µετατόπιση. Στην πραγµατικότητα, υπάρχουν µικρές διαφορές µεταξύ περιστροφής και µετατόπισης σε συνθήκες προβολών. Ο γραµµικός αλγόριθµος υιοθετεί αυτού του είδους τις διαφορές, επειδή οι κατευθύνσεις των διανυσµάτων της εικόνας καθορίζουν τη βασική παράµετρο E. Παρόλα αυτά, οι διαφορές δεν είναι και τόσο µεγάλες, ειδικά για διανύσµατα µικρών µετατοπίσεων ή στο κέντρο των εικόνων. Έτσι ο αλγόριθµος µπορεί εύκολα να µπερδέψει τη µετατόπιση µε την περιστροφή υπό την παρουσία θορύβου. Σαν αποτέλεσµα, η λύση είναι πιο ευαίσθητη στον θόρυβο στην περίπτωση παράλληλης στο επίπεδο της εικόνας µετατόπισης, από τη περίπτωση κάθετης στο επίπεδο της εικόνας µετατόπισης. Παροµοίως, η περιστροφή µε άξονα περιστροφής παράλληλο στο επίπεδο της εικόνας είναι ευαίσθητη στο θόρυβο παραπάνω από άλλες περιστροφές. Παρόλα αυτά, επειδή η µετακίνηση, στις περισσότερες περιπτώσεις, προκαλείται από µετατόπιση, τα αποτελέσµατα που προκαλεί η µετατόπιση είναι αυτά που επικρατούν. Αν η κατεύθυνση της µετατόπισης δεν µπορεί να καθοριστεί αξιόπιστα, γενικά ούτε η περιστροφή µπορεί, επειδή ο πίνακας περιστροφής R υπολογίζεται χρησιµοποιώντας τη µετατόπιση. Εποµένως, µια ασταθής σχέση για τον υπολογισµό της µετατόπισης είναι επίσης ασταθής και για τον υπολογισµό της περιστροφής. 30

31 Μετά τον υπολογισµό της µετατόπισης, οι διαφορετικές περιστροφές υπονοούν και διαφορετική αξιοπιστία για τις παραµέτρους περιστροφής που υπολογίζουµε; Αν θεωρήσουµε τα σχετικά σφάλµατα µε όρους άξονα και γωνίας περιστροφής, διαφορετικοί τύποι περιστροφής επηρεάζουν την αξιοπιστία αυτών των δυο παραµέτρων µε διαφορετικό τρόπο. Γενικά, συγκρίνοντας τις δυο περιπτώσεις, αυτήν που ο άξονας περιστροφής είναι κάθετος στο επίπεδο της εικόνας και αυτήν που ο άξονας περιστροφής είναι παράλληλος στο επίπεδο της εικόνας, βγάζουµε το συµπέρασµα ότι ο άξονας περιστροφής µπορεί να υπολογιστεί πιο αξιόπιστα για την πρώτη περίπτωση και η γωνία περιστροφής µπορεί να υπολογιστεί πιο αξιόπιστα στην δεύτερη. Τα παραπάνω αντίθετα φαινόµενα στον άξονα και τη γωνία περιστροφής κάνουν το σφάλµα στον πίνακα R να είναι λιγότερο ευαίσθητο στον τύπο της κίνησης. Από την άλλη µεριά, η περιστροφή προσδιορίζεται µετά τη µετατόπιση. Τα σφάλµατα στις υπολογισµένες παραµέτρους µετατόπισης επίσης προκαλούν σφάλµατα στις παραµέτρους περιστροφής. Όταν τα σφάλµατα στη µετατόπιση είναι ο κύριος λόγος για τα σφάλµατα στις παραµέτρους περιστροφής, τα αποτελέσµατα που προκαλούνται από διαφορετικές περιστροφές δεν είναι σηµαντικές. Τέλος, εµπειρικές παρατηρήσεις έχουν δείξει ότι µεγάλα διανύσµατα µετακίνησης, γενικά, θα έχουν σαν αποτέλεσµα πιο αξιόπιστες λύσεις από τα µικρά διανύσµατα, υπό την ύπαρξη θορύβου. Για να έχουµε µεγάλα διανύσµατα µετακίνησης, η κίνηση θα πρέπει να είναι µεγάλη και η σκηνή να είναι κοντά στο φακό της φωτογραφικής µηχανής. 3) Παράµετροι Συστήµατος Ας υποθέσουµε ότι η ανάλυση και το µήκος του φακού είναι ρυθµισµένα και σταθερά. Η εναποµένουσα γεωµετρική παράµετρος του συστήµατος του µοντέλου µας είναι το µέγεθος της εικόνας. Υποθέτουµε ότι το µέγεθος της εικόνας µειώνεται κατά ένα παράγοντα, ας πούµε δύο. Για να καλύπτει η εικόνα την ίδια σκηνή µε πριν, η σκηνή πρέπει να αποµακρυνθεί από τη φωτογραφική µηχανή στην κατεύθυνση της z-συνιστώσας τόσο ώστε να είναι δυο φορές πιο µακριά από πριν. Αυτό διπλασιάζει την απόσταση από τη φωτογραφική µηχανή µέχρι τη σκηνή και µειώνει την διακύµανση του βάθους, που είναι ένας µη σταθερός παράγοντας. Αν η σκηνή δεν αποµακρυνθεί, η φωτογραφική 3

32 µηχανή θα καλύπτει µια µικρότερη περιοχή της σκηνής, κάτι που συνήθως µειώνει την διακύµανση του βάθους. Επιπλέον, το πιο «στενό» πεδίο όρασης κάνει το ποσοστό της σκηνής που είναι ορατό και στις δυο εικόνες µικρότερο, ενώ η «ποσότητα» κίνησης, βέβαια, παραµένει η ίδια. Έτσι, ισοδύναµα, η ανάλυση µειώνεται. Αυτό µπορεί να αντισταθµιστεί επιτρέποντας µικρότερη κίνηση µεταξύ των δυο εικόνων. Παρόλα αυτά, η µικρή µετατόπιση έχει σαν αποτέλεσµα πιο ασταθείς εκτιµήσεις. Με λίγα λόγια, ένα µικρό µέγεθος εικόνας (ή ένα «στενό» πεδίο όρασης) είναι ασταθές. Για συµβατικούς αισθητήρες εικόνας, το µέγεθος της εικόνας είναι αµετάβλητο. Το µήκος του φακού είναι η παράµετρος που µεταβάλλει το πεδίο της όρασης. Μείωση του µεγέθους της εικόνας είναι ισοδύναµη µε αύξηση του µήκους του φακού και αντίστροφα. 3

33 Κεφάλαιο 4 Επιλογή χαρακτηριστικών σηµείων και Αντιστοίχιση Σε αυτό ο το κεφάλαιο, θα γίνει µια περιγραφή της διαδικασίας υπολογισµού του τρισδιάστατου σχήµατος, η οποία αναλύεται στη επιλογή των κατάλληλων σηµείων στην πρώτη εικόνα και στη µεταφορά τους (αντιστοίχιση) στα αντίστοιχα της δεύτερης εικόνας και στη συνέχεια στην εφαρµογή του αλγορίθµου ανακατασκευής που παρουσιάστηκε στο Κεφάλαιο 3. Με αυτήν την περιγραφή, θα ολοκληρωθεί η µελέτη της διαδικασίας υπολογισµού τρισδιάστατου σχήµατος και κίνησης από δισδιάστατες προβολές, η οποία παρουσιάζεται πειραµατικά στο Κεφάλαιο Επιλογή σηµείων (Feature Selection) Όταν έχουµε µια συλλογή από εικόνες, για παράδειγµα, µια αλληλουχία φωτογραφιών που συνθέτουν ένα βίντεο, το πρώτο βήµα που κάνουµε είναι να επιλέξουµε υποψήφια χαρακτηριστικά (επιλέγουµε σηµεία) σε µια ή περισσότερες εικόνες, σαν προετοιµασία της µεταφοράς και «ταιριάσµατός» τους µε τα αντίστοιχα στις άλλες εικόνες. Η περιγραφή των χαρακτηριστικών σηµείων, βασίζεται στον υπολογισµό της κλίσης (gradient) της εικόνας []. Για αυτό, πριν την περιγραφή ενός αλγορίθµου για την επιλογή χαρακτηριστικών σηµείων, καλό θα ήταν να αναφερθεί πως υπολογίζεται 33

34 34 η κλίση µιας εικόνας (gradient) ( ) ( ) ( ) [ ],,, R = I I I, όπου ( ) ( ) I I,, = και ( ) ( ) I I,, =. Η παράγωγος µιας εικόνας (image gradient) στο σηµείο (piel) [ ] Ζ δίνεται από τις παρακάτω σχέσεις: [ ] [ ] [ ] [ ] [ ] [ ] [ ] = = = =,,, w w k w w l l g k g l k I g g I I (4.) [ ] [ ] [ ] [ ] [ ] [ ] [ ] = = = =,,, w w k w w l l g k g l k I g g I I Στις σχέσεις (4.) οι συναρτήσεις ( ) g και ( ) g είναι ( ) σ π σ e g = και ( ) σ πσ σ e g =. Ένας απλός αλγόριθµος, που χρησιµοποιείται για την εξαγωγή των χαρακτηριστικών σηµείων µιας εικόνας, είναι ο ακόλουθος: Με δεδοµένη µια εικόνα ( ) I,, ακολουθούνται τα παρακάτω βήµατα για να διαπιστώσουµε αν ένα σηµείο (piel) ), ( είναι χαρακτηριστικό σηµείο: ) Ορίζεται ένα κατώφλι R τ και ένα παράθυρο W συγκεκριµένου µεγέθους, και υπολογίζεται η κλίση της εικόνας (image gradient) ), ( I I χρησιµοποιώντας τις εξισώσεις (4.) ) Σε όλα τα σηµεία (piels) µέσα στο παράθυρο W γύρω από το ), ( υπολογίζεται ο πίνακας: = I I I I I I G

35 3) Αν η µικρότερη χαρακτηριστική τιµή σ ( ) είναι µεγαλύτερη από το προκαθορισµένο κατώφλι τ, τότε σηµειώνεται το σηµείο (piel) σαν ένα χαρακτηριστικό σηµείο. G Μια παραλλαγή του παραπάνω αλγορίθµου είναι το πολύ γνωστό κριτήριο του Harris, η βασική ιδέα του οποίου είναι να περάσει από το κατώφλι η ποσότητα: C ( G) = det( G) + k trace ( G) (4.) όπου το k R είναι ένας, συνήθως µικρός, βαθµωτός αριθµός. Εµπειρικά, έχει αποδειχθεί ότι µια καλή τιµή είναι k = Αν θεωρήσουµε ένα σηµείο της εικόνας µε συντεταγµένες ] = [, τότε στο κριτήριο του Harris µπορούµε να γράψουµε C ( G) = C( ). Η επιλογή που βασίζεται σε µια απλή γενική σταθερά, παρόλα αυτά, δεν είναι καλή ιδέα, διότι µια περιοχή της εικόνας µπορεί να περιέχει αντικείµενα µε σηµαντική σύσταση, ενώ µια άλλη περιοχή µπορεί να εµφανίζεται πιο οµογενής και εποµένως, µπορεί να µην προκαλεί την επιλογή. Μια πρόταση για την αντιµετώπιση του προβλήµατος αυτού, είναι να χωριστεί η εικόνα σε τµήµατα (για παράδειγµα 00 τµήµατα των 6448 piels το καθένα, για µια εικόνα διαστάσεων ), ταξινοµώντας τα χαρακτηριστικά σηµεία σύµφωνα µε την ποιότητα τους, C (), σε κάθε περιοχή και µετά επιλέγοντας όσο περισσότερα χαρακτηριστικά σηµεία επιθυµούµε, δεδοµένου ότι ξεπερνούν ένα κατώτατο κατώφλι (για να αποφύγουµε την αναγκαστική επιλογή σηµείων όταν δεν υπάρχουν). Για παράδειγµα, ένας τυπικός αριθµός σηµείων που επιλέγονται αρχικά είναι 00 έως 500. Επιπλέον, για να αποφύγουµε το συσχετισµό πολλών χαρακτηριστικών µε το ίδιο σηµείο, επιβάλλεται ένας ελάχιστος διαχωρισµός µεταξύ των χαρακτηριστικών. Ας θεωρήσουµε, για παράδειγµα, ένα µικρό λευκό κοµµάτι µε µια µαύρη κουκκίδα στη µέση. Κάθε παράθυρο µεγέθους, ας πούµε, κεντραρισµένο σε ένα σηµείο µε µέγιστη απόσταση 5 σηµεία (piels) από τη µαύρη κουκκίδα, θα ικανοποιεί τις παραπάνω απαιτήσεις και θα ξεπερνά το κατώφλι. Παρόλα αυτά, θέλουµε να επιλέξουµε µόνο ένα χαρακτηριστικό σηµείο για αυτήν την κουκκίδα. Εποµένως, όταν το καλύτερο χαρακτηριστικό σηµείο έχει επιλεχθεί, σύµφωνα µε το κριτήριο C (), χρειάζεται να περιορίσουµε την επιλογή χαρακτηριστικών στη γειτονιά του. 35

36 Feature selection on first file (picture) features detected Εικόνα 4. Στην Εικόνα 4. βλέπουµε παράδειγµα εντοπισµένων χαρακτηριστικών σηµείων. Όπως φαίνεται, συγκεκριµένες περιοχές της εικόνας συγκεντρώνουν περισσότερα χαρακτηριστικά σηµεία από άλλες. Για να προωθήσουµε την οµοιόµορφη επιλογή, χωρίζουµε την εικόνα σε τµήµατα και επιλέγουµε έναν αριθµό χαρακτηριστικών σηµείων σε κάθε τµήµα, µέχρι να ξεπεράσουν ένα ελάχιστο κατώφλι. Η επιλογή του κριτηρίου ποιότητας, του µεγέθους του παραθύρου, του κατωφλίου, του µεγέθους του τµήµατος χωρισµού της εικόνας και του ελάχιστου διαχωρισµού, είναι όλα µέρος της διαδικασίας σχεδίασης. εν υπάρχει σωστή ή λανθασµένη επιλογή σε αυτό το στάδιο και κανείς θα µπορούσε να πειραµατιστεί µε ποικίλες επιλογές για να εξασφαλίσει τα καλύτερα αποτελέσµατα. Η συνολική διαδικασία επιλογής χαρακτηριστικών σηµείων συνοψίζεται στον παρακάτω αλγόριθµο: 36

37 Αλγόριθµος: Επιλογή χαρακτηριστικών σηµείων ) Υπολογίζουµε την κλίση της εικόνας I = [, ] I I (όπως προηγουµένως). ) Επιλέγουµε ένα µέγεθος για το παράθυρο W () (π.χ. 77). Υπολογίζουµε την ποιότητα κάθε σηµείου (piel) χρησιµοποιώντας το κριτήριο ποιότητας C () που ορίζεται στη σχέση (4.). 3) Επιλέγουµε ένα κατώφλι τ και ταξινοµούµε όλα τα σηµεία που ξεπερνούν το κατώφλι C () > τ, µε βάση το C () και κατά φθίνουσα σειρά. 4) Επιλέγουµε ένα µέγεθος τµήµατος (π.χ. 6448) και χωρίζουµε την εικόνα σε τµήµατα. Μέσα σε κάθε τµήµα επιλέγουµε ένα ελάχιστο διάστηµα διαχωρισµού (π.χ., 0 piels) και τον µέγιστο αριθµό χαρακτηριστικών σηµείων που µπορούν να επιλεχθούν µέσα σε κάθε τµήµα (π.χ., 5). Επιλέγουµε το σηµείο µε την µεγαλύτερη τιµή C () και αποθηκεύουµε τη θέση του. ιαπερνούµε τη λίστα των χαρακτηριστικών σηµείων µε φθίνουσα σειρά ποιότητας. Αν το σηµείο δεν πέφτει µέσα στο ελάχιστο διάστηµα διαχωρισµού προηγούµενα επιλεγµένων σηµείων, τότε το επιλέγουµε. Αλλιώς το απορρίπτουµε. 5) Σταµατάµε όταν ο αριθµός των επιλεγµένων σηµείων έχει ξεπεράσει το µέγιστο, ή όταν όλα τα σηµεία που έχουν ξεπεράσει το κατώφλι έχουν απορριφθεί. 4. Αντιστοίχιση σηµείων (racking) Όταν έχουµε επιλέξει τα υποψήφια χαρακτηριστικά σηµεία, ο σκοπός είναι να τα µεταφέρουµε ή να τα ταιριάξουµε σε διαφορετικές εικόνες. Οι αλγόριθµοι που πραγµατοποιούν αυτήν τη διαδικασία χωρίζονται σε δυο µεγάλες κατηγορίες: σε αυτούς που αφορούν µεγάλη µετατόπιση και σε αυτούς που χρησιµοποιούνται όταν η 37

38 µετατόπιση µεταξύ των δυο εικόνων είναι η ελάχιστη. Τέτοιες περιπτώσεις έχουµε στις συνεχόµενες εικόνες που αποτελούν διαδοχικά καρέ ενός βίντεο. Σε αυτήν εδώ την ενότητα περιγράφεται ένας αλγόριθµος που αναφέρεται σε περιπτώσεις που έχουµε πολύ µικρή µετακίνηση, για παράδειγµα µια αλληλουχία εικόνων που παίρνουµε από µια κινούµενη κάµερα. Να τονιστεί ότι ο αλγόριθµος αυτός χρησιµοποιείται σε περιπτώσεις µικρής µετακίνησης ανάµεσα σε διαφορετικές εικόνες, που βασίζεται καθαρά σε ένα µοντέλο µετατόπισης. Έτσι, για να βοηθήσει ο αλγόριθµος στην επίλυση του προβλήµατος της αναπαραγωγής του τρισδιάστατου µοντέλου από δυο δισδιάστατες εικόνες, πρέπει να έχουµε και τις ενδιάµεσες εικόνες αυτών των δυο, ώστε να συµπληρώνεται η αλληλουχία για τη δηµιουργία βίντεο. Ο αλγόριθµος, τότε, εφαρµόζεται διαδοχικά σε κάθε δυο συνεχόµενες εικόνες, ενώ τα σηµεία που τελικά χρησιµοποιούνται για την ανακατασκευή, είναι αυτά της τελευταίας εικόνας και τα αντίστοιχα της πρώτης. Ο εν λόγω αλγόριθµος περιγράφεται παρακάτω: Η µετατόπιση d R ενός χαρακτηριστικού σηµείου R µεταξύ συνεχόµενων εικόνων (frames) µπορεί να υπολογιστεί ελαχιστοποιώντας το άθροισµα της διαφοράς τετραγώνων (SSD) µεταξύ δυο εικόνων I i () και I i + ( + ) σε ένα d µικρό παράθυρο γύρω από το χαρακτηριστικό σηµείο. Για την περίπτωση δυο όψεων, i = και i + =, µπορούµε να ψάξουµε για την µετατόπιση που επιλύει το ακόλουθο πρόβληµα ελαχιστοποίησης (για πολλές όψεις από κινούµενη κάµερα, θεωρούµε αντιστοιχία δυο όψεων κάθε φορά): [ I ( ~ + d) I( ~ ) ] min E ( d) = (4.3) d ~ W ( ) Η κλειστής µορφής λύση για αυτό το πρόβληµα δίνεται από τη σχέση: d = G b (4.4) όπου W ( ) I W ( ) I I G =, W ( ) I I W ( ) I b = W ( ) W ( ) I I t I I t, 38

39 και I t = I I είναι µια προσέγγιση της προσωρινής παραγώγου, που υπολογίζεται σαν µια πρώτης τάξεως διαφορά µεταξύ των δυο όψεων. Ας σηµειωθεί ότι ο G είναι ο ίδιος πίνακας που χρησιµοποιήσαµε για να υπολογίσουµε την ποιότητα ενός σηµείου και εποµένως είναι σίγουρα αντιστρέψιµος, αν και για τη µεταφορά ίσως να θελήσουµε να επιλέξουµε ένα διαφορετικό µέγεθος παραθύρου και ένα διαφορετικό κατώφλι. Για να αποκοµίσουµε ικανοποιητικά αποτελέσµατα, πρέπει να βελτιώσουµε αυτό το αρχικό πλάνο, µε τον τρόπο που φαίνεται παρακάτω. Πρώτον, όταν η µετατόπιση των σηµείων µεταξύ όψεων ξεπερνάει τα δυο µε τρία σηµεία (piels), οι πρώτης τάξης διαφορές τιµών σηµείων δεν µπορούν να χρησιµοποιηθούν για τον υπολογισµό προσωρινών παραγώγων, όπως έχει προταθεί για το I t. Το προτεινόµενο πλάνο µεταφοράς και αντιστοίχισης, πρέπει να εφαρµοστεί µε έναν επαναληπτικό τρόπο. Αυτό µπορεί να γίνει κατασκευάζοντας µια «πυραµίδα εικόνων», οµαλοποιώντας και εφαρµόζοντας υπoδειγµατοληψία στην αρχική, αυθεντική εικόνα, παίρνοντας, ας πούµε, 3 I, I, I και 4 I, µεγέθους , 3040, 600, 8060, αντίστοιχα. Μετά, το βασικό πλάνο που µόλις περιγράφηκε εφαρµόζεται πρώτα στο πιο χαµηλό επίπεδο στο ζεύγος εικόνων 4 4 ( ) I, I, µε αποτέλεσµα µια εκτίµηση της µετατόπισης d 4 = G b. Αυτή η 4 µετατόπιση διπλασιάζεται και το παράθυρο W () µετατοπίζεται στο W ( + d ) του επόµενου επιπέδου ( I 3 ) µέσω µιας «διαστρέβλωσης» της εικόνας ~ 4 d 3 3 I ( ) = I ( + ). Στη συνέχεια, εφαρµόζουµε το ίδιο πλάνο για το ζεύγος 3 ~ 3 3 ( I, ) για να υπολογίσουµε τη µετατόπιση d. Ο αλγόριθµος επαναλαµβάνεται I µέχρι το τελικό επίπεδο, όπου εφαρµόζεται στο ζεύγος I ( ) και ~ d I ( ) = I ( + ). Όταν υπολογιστεί η µετατόπιση d, η συνολική εκτιµούµενη µετατόπιση δίνεται από 3 4 = d + d + 4d 8d. Στις περισσότερες αλληλουχίες d + που έχουν «τραβηχτεί» από κάµερα, δύο έως τέσσερα επίπεδα της πυραµίδας είναι συνήθως αρκετά. εύτερον, µε τον ίδιο τρόπο που εφαρµόσαµε την επανάληψη στα διαφορετικά επίπεδα, µπορούµε να εφαρµόσουµε την επανάληψη διαδοχικά στο καλύτερο επίπεδο της εικόνας. Σε αυτήν την επανάληψη, το i+ d υπολογίζεται ανάµεσα στην I ( ) και στην εικόνα στην οποία έχει εφαρµοστεί παρεµβολή ~ i i (interpolation) I ( ) = I ( + d d ). Συνήθως πέντε µε έξι επαναλήψεις αυτού 39

40 του είδους είναι αρκετές, για να έχουµε ένα σφάλµα εντοπισµού της θέσης του σηµείου της τάξης του ενός δέκατου του piel µε µέγεθος παραθύρου 77. Feature selection on first file (picture) features detected racking on last file (picture) features tracked Εικόνα 4. 40

41 Στην Εικόνα 4. βλέπουµε ένα παράδειγµα χαρακτηριστικών σηµείων, που επιλέγονται στην πρώτη εικόνα και µεταφέρονται και αντιστοιχίζονται σε συνεχόµενες εικόνες. Φαίνονται τα σηµεία που µεταφέρονται επιτυχώς µέχρι την τελευταία εικόνα της ακολουθίας βίντεο. Παρακάτω δίνεται µια σύνοψη του αλγορίθµου µεταφοράς χαρακτηριστικών σηµείων: Αλγόριθµος: Μεταφορά χαρακτηριστικών σηµείων ) Εντοπίζουµε ένα σύνολο από υποψήφια χαρακτηριστικά σηµεία στην πρώτη εικόνα χρησιµοποιώντας τον αλγόριθµο επιλογής χαρακτηριστικών σηµείων. ιαλέγουµε µέγεθος για το παράθυρο της µεταφοράς, το οποίο µπορεί να είναι διαφορετικό από το παράθυρο της επιλογής των σηµείων. ) ιαλέγουµε ένα µέγιστο αριθµό επιπέδων (π.χ. k = 3) και κατασκευάζουµε µια πυραµίδα από εικόνες, εξοµαλύνοντας και κάνοντας υπoδειγµατοληψία στις εικόνες. 3) Ξεκινώντας από το χαµηλότερο επίπεδο k της πυραµίδας (µικρότερη εικόνα) επαναλαµβάνουµε τα ακόλουθα βήµατα µέχρι να φτάσουµε στο καλύτερο επίπεδο (µεγαλύτερη εικόνα). - Υπολογίζουµε το d k G k k = b για το ζεύγος εικόνων I, I ). - Μετακινούµε το παράθυρο W () κατά ~ k k k δεύτερη εικόνα I ( ) = I ( + d ) - Ανανεώνουµε την τιµή της µετατόπισης ( k d κάνοντας παρεµβολή στη d k d + d και τον δείκτη k k. Επαναλαµβάνουµε τα παραπάνω βήµατα µέχρι k = 0. d = d και ανανεώνουµε επαναληπτικά i+ d d + d µε το - Τώρα θέτουµε d i+ G ~ i = b να υπολογίζεται από το ζεύγος I, I ) µέχρι η µετατόπιση ( να είναι «µικρή» (π.χ. το µέτρο της να είναι µικρότερο από ένα επιλεγµένο κατώφλι), ή διαλέγουµε ένα συγκεκριµένο αριθµό επαναλήψεων, για παράδειγµα, i = 5. i d 4

42 4) Αξιολογούµε την ποιότητα των χαρακτηριστικών σηµείων χρησιµοποιώντας το κριτήριο του Harris (εξίσωση 4.) και επιβεβαιώνουµε ότι κάθε χαρακτηριστικό σηµείο που έχει µεταφερθεί ξεπερνά το επιλεγµένο κατώφλι. Ανανεώνουµε το σετ των σηµείων που µεταφέρθηκαν επιτυχώς, παίρνουµε την επόµενη εικόνα και πηγαίνουµε ξανά στο βήµα τρία. 4

43 Κεφάλαιο 5 Πειραµατικές οκιµές Σε αυτό το κεφάλαιο θα παρουσιάσουµε κάποια πειράµατα, που έγιναν µε τη βοήθεια του προγράµµατος Matlab και αφορούν όλους τους αλγορίθµους που παρουσιάσαµε στα προηγούµενα κεφάλαια. Αρχικά, θα εξετάσουµε πειραµατικά τη λειτουργία του αλγορίθµου ανακατασκευής για περιπτώσεις απουσίας αλλά και ύπαρξης θορύβου και θα εξάγουµε κάποια χρήσιµα συµπεράσµατα. Στη συνέχεια, θα ασχοληθούµε µε την πειραµατική λειτουργία των αλγορίθµων επιλογής σηµείων (Feature Selection) και µεταφοράς (racking). Τέλος, µε τη βοήθεια κώδικα Matlab για teture mapping σε συνδυασµό µε τους παραπάνω αλγορίθµους θα επιχειρήσουµε να εξάγουµε το τρισδιάστατο σχήµα ενός αντικειµένου από δυο δισδιάστατες εικόνες του. 5. Πειραµατική δοκιµή του Αλγορίθµου ανακατασκευής Σε αυτήν την ενότητα δοκιµάζουµε τον αλγόριθµο ανακατασκευής για κάποια σηµεία, τα οποία εξ αρχής γνωρίζουµε πόσο έχει αλλάξει η θέση τους, δηλαδή γνωρίζουµε πόσο περιστράφηκαν και πόσο µετατοπίστηκαν στο χώρο. Θεωρώντας, όµως, ως δεδοµένα µόνο τη θέση των αρχικών και τελικών σηµείων, θα επαληθεύσουµε τα αποτελέσµατα του αλγορίθµου συγκρίνοντάς τα µε την µετατόπιση και περιστροφή που, ουσιαστικά, εµείς επιβάλλαµε. 43

44 Στη συνέχεια θα παρουσιαστούν δυο πειράµατα: Στο πρώτο θεωρούµε ότι τα σηµεία είναι «ιδανικά», δηλαδή δεν υπεισέρχεται θόρυβος ενώ στο δεύτερο θα µελετήσουµε τη λειτουργία του αλγορίθµου σε καταστάσεις ύπαρξης θορύβου. Να σηµειώσουµε ότι για τα πειράµατα χρησιµοποιήθηκε το πρόγραµµα Matlab Version a Release Πείραµα για «ιδανικά» σηµεία Για το πείραµα αυτό χρησιµοποιείται το plg-αρχείο dolphins.plg. Τα plgαρχεία περιέχουν τις τρισδιάστατες συνιστώσες σηµείων που πιθανώς αναπαριστούν κάποιο τρισδιάστατο σχήµα. Το συγκεκριµένο αρχείο παριστά ένα δελφίνι. Για να επαληθεύσουµε την καλή λειτουργία του αλγορίθµου, χρησιµοποιούµε τα τρισδιάστατα σηµεία που «διαβάζουµε» από το αρχείο dolphins.plg ως τα σηµεία της πρώτης εικόνας ( X ) και τα ίδια σηµεία περιεστραµµένα και µετατοπισµένα, ως τα σηµεία της δεύτερης εικόνας ( X ). Ουσιαστικά, σε αυτό το πείραµα είναι σαν να επιλέγουµε κάποια σηµεία πάνω σε µια εικόνα που αναπαριστά ένα δελφίνι και ακριβώς τα ίδια σηµεία, χωρίς καµιά απόκλιση, πάνω σε µια δεύτερη εικόνα, του ίδιου δελφινιού από µια διαφορετική όψη, που «τραβήχτηκε» την ίδια χρονική στιγµή µε την πρώτη. Τα δισδιάστατα αυτά σηµεία των δυο εικόνων θα χρησιµοποιηθούν ως δεδοµένα για την επαλήθευση του αλγορίθµου. Στην περίπτωση που θα εξετάσουµε, η µετατόπιση γίνεται κατά διάνυσµα = [ ], ενώ η περιστροφή γύρω από τον άξονα u [ 3 4 8] 834 = κατά γωνία theta = π 4. ηλαδή, ο πίνακας περιστροφής, από τη σχέση (.) είναι: R = (5.) Η τρισδιάστατη απεικόνιση των αρχικών και τελικών σηµείων ( X και Χ) γίνεται στο ίδιο διάγραµµα ώστε να φανεί και οπτικά η περιστροφή και µετατόπισή 44

45 τους. Αυτό φαίνεται στην Εικόνα 5., όπου µε κόκκινο χρώµα είναι τα αρχικά σηµεία και µε πράσινο τα µετατοπισµένα και περιεστραµµένα. X (red) - X (green) z Εικόνα 5. Η προβολή των σηµείων στο επίπεδο που σχηµατίζουν οι άξονες, φαίνεται στην Εικόνα 5.. Η εικόνα αυτή θα µας βοηθήσει παρακάτω, όταν επιχειρήσουµε να συγκρίνουµε τα πραγµατικά και τα ανακατασκευασµένα σηµεία. 45

46 6000 X (red) - X (green) Εικόνα 5. Στη συνέχεια, αφού πάρουµε τις προοπτικές προβολές των τρισδιάστατων σηµείων, εφαρµόζουµε τον αλγόριθµο [7], που περιγράψαµε αναλυτικά στο Κεφάλαιο 3 για τα δισδιάστατα, πλέον, σηµεία. Το αποτέλεσµα είναι να έχουµε τέσσερα διαφορετικά ζεύγη λύσεων ( R, ), τα οποία φαίνονται παρακάτω: R = = , R = = ,

47 R 3 = = , R 4 = = , Για να επιλέξουµε το σωστό ζεύγος λύσεων ( R, ), υπολογίζουµε, για κάθε ένα από τα τέσσερα ξεχωριστά, τα βάθη των σηµείων X, X. Το πλήθος των θετικών πρόσηµων των βαθών δίνεται από του δείκτες λύσης ( i =,,3, 4) και j :αριθµός εικόνας ( =, ) k i j, όπου i : αριθµός ζεύγους j και δίνονται παρακάτω: k = 85, k = 0 k = 0, k = 85 k = 85, k3 3 = 85 k 4 = 0, k4 = 0 Παρατηρούµε ότι για το τρίτο ζεύγος λύσεων ( 3, 3) ( ), για όλα τα σηµεία αυτή είναι η σωστή και αποδεκτή λύση. R όλα τα βάθη X και για όλα τα σηµεία X, είναι θετικά, άρα Στη συνέχεια για τα βάθη αυτά του αποδεκτού ζεύγους λύσεων, υπολογίζουµε τα ανακατασκευασµένα τρισδιάστατα αρχικά και τελικά σηµεία. Τα αρχικά ( X rec) σχεδιάζονται µε κόκκινο χρώµα στην Εικόνα 5.3 και τα τελικά ( X rec) µε πράσινο χρώµα στην ίδια εικόνα. 47

48 Xrec (red) - Xrec (green).5.5 z Εικόνα 5.3 Παραθέτουµε σε αυτό το σηµείο και την προβολή των ανακατασκευασµένων τρισδιάστατων σηµείων στο επίπεδο που σχηµατίζουν οι άξονες, στην Εικόνα 5.4, ώστε να γίνει ευκολότερη η σύγκριση µε τα πραγµατικά σηµεία της Εικόνας 5.. Πρέπει να σηµειώσουµε, βέβαια, ότι τα δισδιάστατα αυτά σηµεία των προβολών πάνω στο επίπεδο, δεν έχουν καµιά σχέση µε την προοπτική προβολή των σηµείων, η οποία χρησιµοποιείται στον αλγόριθµο ανακατασκευής. Ο µόνος λόγος για τον οποίο δίνεται το διάγραµµα των προβολών των σηµείων πάνω στο επίπεδο είναι επειδή κρίνεται ευκολότερη η οπτική σύγκριση δισδιάστατων παρά τρισδιάστατων σηµείων. 48

49 3.5 Xrec (red) - Xrec (green) Εικόνα 5.4 Τα αποτελέσµατα που δίνει ο αλγόριθµος, αν ονοµάσουµε thetarec, urec και rec τη γωνία περιστροφής, τον άξονα περιστροφής και το διάνυσµα µετατόπισης (αναφερόµαστε στα ανακατασκευασµένα), αντίστοιχα, παρατίθενται παρακάτω: π thetarec = = rad urec = rec =

50 Παρατηρώντας τα παραπάνω αποτελέσµατα, αλλά και συγκρίνοντας οπτικά τις εικόνες 5. και 5. µε τις 5.3 και 5.4, εύκολα διαπιστώνουµε ότι η ανακατασκευή είναι επιτυχής. Ωστόσο, αν συγκρίνουµε τις συντεταγµένες των πραγµατικών και ανακατασκευασµένων σηµείων, θα διαπιστώσουµε ότι οι τιµές δεν είναι ίδιες αλλά ανάλογες, µε σταθερό βέβαια λόγο. Αυτό συµβαίνει και για τα διανύσµατα urec, rec. Αν τα συγκρίνουµε µε τα αρχικά u,, θα διαπιστώσουµε πολύ εύκολα την αναλογία. Πιο συγκεκριµένα είναι: urec = u rec = Στο ίδιο συµπέρασµα µπορούµε να καταλήξουµε και αν παρατηρήσουµε τους άξονες των παραπάνω εικόνων. Οι άξονες δεν έχουν την ίδια διαβάθµιση, αλλά υπάρχει µια σταθερή αναλογία που τους συνδέει. Το παραπάνω συµπέρασµα ήταν, βέβαια, αναµενόµενο, αφού και από τη θεωρητική ανάλυση είχαµε καταλήξει στο συµπέρασµα ότι χωρίς αρχική πληροφορία για τη σκηνή και την κίνηση της κάµερας, µπορούµε να βγάλουµε συµπέρασµα για την τρισδιάστατη δοµή και κίνηση, µε αβεβαιότητα µιας βαθµωτής ποσότητας. Όσον αφορά τη γωνία περιστροφής, υπολογίστηκε µε ακρίβεια µέσω του αλγόρίθµου. Ας σηµειώσουµε, εδώ ότι τα διανύσµατα u, έχουν µοναδιαίο µέτρο. 5.. Πείραµα για σηµεία στα οποία προστίθεται θόρυβος Στην προηγούµενη ενότητα, µελετήσαµε τη λειτουργία του αλγορίθµου για την ιδανική περίπτωση επιλογής σηµείων πάνω σε δυο εικόνες, χωρίς την παραµικρή προσθήκη θορύβου ή λάθους σε αυτές. Όµως σε πραγµατικές συνθήκες, όταν επιχειρούµε να επιλέξουµε τα ίδια σηµεία πάνω σε δυο φωτογραφίες του ίδιου αντικειµένου από διαφορετική όψη, τα πράγµατα δεν είναι ακριβώς έτσι. Η µη ακριβής επιλογή των σηµείων οδηγεί σε αποκλίσεις όσον αφορά τα αποτελέσµατα 50

51 ανακατασκευής. Σε αυτήν εδώ την ενότητα, λοιπόν, θα εξετάσουµε τη λειτουργία του ίδιου αλγορίθµου που χρησιµοποιήσαµε και πριν, αλλά σε συνθήκες ύπαρξης θορύβου Εικονικό πείραµα υπό συνθήκες θορύβου Σε αυτήν την ενότητα θα επιχειρήσουµε να επαναλάβουµε το πείραµα µε το δελφίνι για «ιδανικά» σηµεία, δηλαδή χωρίς την ύπαρξη θορύβου, µε τη διαφορά ότι θα προσθέσουµε θόρυβο στα σηµεία της δεύτερης εικόνας. Αυτό το πείραµα θα βοηθήσει στη δοκιµή λειτουργίας του αλγορίθµου σε συνθήκες θορύβου µε βάση ένα µοντέλο που πλησιάζει κατά πολύ τις συνθήκες ενός πραγµατικού προβλήµατος. Στην συγκεκριµένη περίπτωση, τα αρχικά σηµεία του δελφινιού, έχουν περιστραφεί γύρω από άξονα u [ 3 4 8] µετατοπιστεί κατά διάνυσµα [ ] = κατά γωνία theta = π 4 και έχουν = Στην Εικόνα 5.5 φαίνονται µε κόκκινο χρώµα τα αρχικά και µε πράσινο τα µετατοπισµένα σηµεία. X (red) - X (green) z Εικόνα 5.5 5

52 Στις προβολές των µετατοπισµένων και περιεστραµένων σηµείων, που φαίνονται µε πράσινο χρώµα στην Εικόνα 5.5, προστίθεται θόρυβος τυπικής απόκλισης σ = 0.. Εφαρµόζοντας τώρα τον αλγόριθµο ανακατασκευής παίρνουµε τα εξής αποτελέσµατα: thetarec = π. 4 rad [ ] urec = 6446 [ ] trec = 865 Παρατηρούµε ότι η ανακατασκευασµένη γωνία περιστροφής διαφέρει πάρα πολύ από την πραγµατική της τιµή, ενώ τα ανακατασκευασµένα διανύσµατα περιστροφής και µετατόπισης δεν είναι σε καµία περίπτωση ανάλογα µε τα πραγµατικά. Η αποτυχία του αλγορίθµου σε αυτήν την περίπτωση, λοιπόν, είναι φανερή και επιβεβαιώνεται από την παρουσίαση των ανακατασκευασµένων σηµείων στην Εικόνα 5.6, που καµία σχέση δεν έχουν µε τη πραγµατική µορφή των σηµείων που δίνεται στην Εικόνα 5.5. Εικόνα 5.6 5

53 Σε αυτό το σηµείο θα επαναλάβουµε το παραπάνω πείραµα ακριβώς στις ίδιες συνθήκες µε τη διαφορά ότι ο θόρυβος µειώνεται κατά δέκα φορές. Έτσι, έχουµε τυπική απόκλιση θορύβου σ = Τα αρχικά και τελικά σηµεία, ή, καλύτερα, τα σηµεία της πρώτης και της δεύτερης εικόνας, φαίνονται σε κοινό διάγραµµα στην Εικόνα 5.7 µε κόκκινο και πράσινο χρώµα, αντίστοιχα. X (red) - X (green) z Εικόνα 5.7 Μετά την εκτέλεση του πειράµατος µε την εφαρµογή του αλγορίθµου ανακατασκευής, παίρνουµε τα εξής αποτελέσµατα: thetarec = π rad [ ] urec = 749 [ ] trec =

54 Παρατηρούµε ότι αν και η τιµή της γωνίας ανακατασκευής δεν είναι ίδια µε την πραγµατική, πλησιάζει αρκετά σε αυτήν. Το ίδιο ισχύει και για τα ανακατασκευασµένα διανύσµατα περιστροφής και µετατόπισης, τα οποία αν και δεν είναι ανάλογα µε τα πραγµατικά, θα λέγαµε ότι προσεγγίζουν µια τέτοια αναλογία. Έτσι, συµπεραίνουµε ότι το τελικό αποτέλεσµα είναι αρκετά βελτιωµένο, τώρα που µειώθηκε ο θόρυβος και αυτή η σαφής βελτίωση φαίνεται και από την παρουσίαση των ανακατασκευασµένων σηµείων στην Εικόνα 5.8: Xrec (red) - Xrec (green).5.5 z Εικόνα 5.8 Τέλος, από την παράθεση των δισδιάστατων απεικονίσεων των Εικόνων 5.7 και 5.8, που φαίνονται στις Εικόνες 5.9 και 5.0, διαπιστώνουµε ότι το τελικό αποτέλεσµα «µοιάζει» αρκετά µε το επιθυµητό, αλλά ταυτόχρονα απέχει από αυτό. Έτσι και πειραµατικά καταλήγουµε στο συµπέρασµα ότι σε συνθήκες υψηλού θορύβου, ο αλγόριθµος ανακατασκευής δεν λειτουργεί µε σωστό τρόπο. 54

55 4500 X (red) - X (green) z Εικόνα Xrec (red) - Xrec (green).5 z Εικόνα

56 5... Πειράµατα Monte Carlo Σε αυτό το σηµείο, εκτελώντας πειράµατα Monte Carlo, θα επιχειρήσουµε να βγάλουµε κάποια συµπεράσµατα για τη συµπεριφορά του αλγορίθµου, όταν τα δισδιάστατα σηµεία της δεύτερης εικόνας δεν ταυτίζονται απόλυτα µε αυτά της πρώτης. Το πείραµα Monte Carlo, σε αυτήν την περίπτωση, συνίσταται στην επαναλαµβανόµενη προσθήκη θορύβου στα ίδια σηµεία, ώστε να πάρουµε µια στατιστική εικόνα για τη συµπεριφορά του αλγορίθµου. Πιο συγκεκριµένα, παίρνουµε µερικά τυχαία σηµεία, τα οποία περιστρέφουµε και µετατοπίζουµε. Στη συνέχεια, παίρνουµε τη δισδιάστατη προοπτική προβολή τους και στα σηµεία της δεύτερης εικόνας (τα περιεστραµένα και µετατοπισµένα), προσθέτουµε θόρυβο κανονικής κατανοµής τυπικής απόκλισης σ. Η διαδικασία της προσθήκης θορύβου επαναλαµβάνεται 50 φορές (περίπου τόσες απαιτούν τα πειράµατα Monte Carlo ) και στη συνέχεια, συγκρίνουµε κάποιο αποτέλεσµα µε το αντίστοιχο αποτέλεσµα στην περίπτωση απουσίας θορύβου. Εδώ επιλέχθηκε το στοιχείο (,) του πίνακα περιστροφής. Στο συγκεκριµένο πείραµα η µετατόπιση των σηµείων γίνεται κατά διάνυσµα [ 45 ] = 3 και η περιστροφή κατά γωνία theta = π 4 γύρω από άξονα [ 9 ] u = 6. Αρχικά παίρνουµε N = 8 σηµεία και προσθέτουµε θόρυβο µε τυπική απόκλιση = 0. σ. Αν ονοµάσουµε R (,) το στοιχείο (,) υπάρχει θόρυβος και N (, ) R το µέσο όρο των στοιχείων (,) του πίνακα R όταν δεν του πίνακα R για τις 50 επαναλήψεις του πειράµατος όταν προστίθεται ο θόρυβος, τα αποτελέσµατα του πειράµατος, για τις παραπάνω τιµές είναι: R (,) = R N (,) = Παρατηρούµε ότι η απόκλιση είναι αρκετά µεγάλη, της τάξεως του.3%, πράγµα που δείχνει ότι ο αλγόριθµος υστερεί στην περίπτωση ύπαρξης θορύβου. Αν αντί για N = 8 σηµεία, πάρουµε περισσότερα, για παράδειγµα, N = 0 και 56

57 ταυτόχρονα διατηρήσουµε ίδιες όλες τις υπόλοιπες παραµέτρου του προηγούµενου πειράµατος, παίρνουµε: R (,) = R N (,) = Είναι φανερό, ότι η αύξηση του αριθµού των αρχικών σηµείων, βελτιώνει το αποτέλεσµα του αλγορίθµου, ενώ αν αυξήσουµε κι άλλο τον αριθµό των σηµείων, για παράδειγµα, N = 50, η αξιοπιστία του αποτελέσµατος είναι πολύ κοντά στα επιθυµητά επίπεδα, µε απόκλιση περίπου 3%. R (,) = R N (,) = Στην περίπτωση, τώρα, µείωσης της τυπικής απόκλισης του θορύβου που προσθέτουµε στα σηµεία, το αποτέλεσµα, όπως είναι αναµενόµενο, πλησιάζει και πάλι την επιθυµητή τιµή. Αυτό διαπιστώνεται εύκολα αν επαναλάβουµε το πρώτο πείραµα για σ = (ισχύει N = 8 ): R (,) = R N (,) = Αν µειώσουµε κι άλλο την τυπική απόκλιση του θορύβου, για παράδειγµα σ = 0.0 η βελτίωση του τελικού αποτελέσµατος γίνεται ακόµα πιο φανερή και η απόκλιση από την επιθυµητή τιµή είναι µόλις % περίπου : R (,) = R N (,) =

58 Από τα παραπάνω πειράµατα διαπιστώνουµε, λοιπόν, ότι ο αλγόριθµος που χρησιµοποιούµε δεν είναι και ο καλύτερος σε συνθήκες ύπαρξης θορύβου. Παρόλά αυτά, κάτω από ορισµένες προϋποθέσεις µπορεί να δώσει αρκετά ικανοποιητικά αποτελέσµατα. Αυτό συµβαίνει όταν η τυπική απόκλιση του θορύβου δεν είναι πολύ µεγάλη, ή όταν έχουµε πολλά αρχικά σηµεία ως δεδοµένα στον αλγόριθµό µας. Επειδή, όµως, σε πραγµατικές συνθήκες τα σηµεία είναι δεδοµένα και δεν µπορούµε φυσικά να µειώσουµε το θόρυβο που περιέχουν, εκείνο που προσπαθούµε σε κάθε πρόβληµα να πετύχουµε είναι να έχουµε όσο το δυνατόν περισσότερα αρχικά σηµεία, που θα µας οδηγήσουν σε πιο σωστά αποτελέσµατα. Για να δείξουµε πόσο σηµαντικό είναι να έχουµε ως δεδοµένα όσο το δυνατόν περισσότερα σηµεία, εκτελούµε διαδοχικά πειράµατα, παρόµοια µε τα προηγούµενα, για συνεχώς αυξανόµενο αριθµό σηµείων και για θόρυβο σταθερής τυπικής απόκλισης. Ξεκινάµε από οκτώ αρχικά σηµεία και µε βήµα πέντε, φτάνουµε στα ενενήντα οκτώ. Τα σηµεία αυτά περιστρέφονται γύρω από άξονα u = [ 3 6 3] κατά γωνία = π 0 theta και µετατοπίζονται κατά διάνυσµα [ ] = 3 4. Στις προβολές των σηµείων αυτών, τώρα, προστίθεται θόρυβος τυπικής απόκλισης σ = 0.5. Εκτελώντας, σε αυτό το σηµείο, τα διαδοχικά πειράµατα παίρνουµε τα αποτελέσµατα που φαίνονται στο ιάγραµµα 5., στο οποίο παρατηρούµε µε πράσινο χρώµα την επιθυµητή τιµή του αποτελέσµατος, η οποία έχει υπολογιστεί για µηδενικό θόρυβο, ενώ µε κόκκινο φαίνονται οι τιµές του πειράµατος για κάθε πείραµα χωριστά, δηλαδή για την αυξανόµενη τιµή του αρχικού αριθµού σηµείων. Τέλος, µε µπλε χρώµα παρουσιάζεται η τυπική απόκλιση από την πραγµατική τιµή του πειράµατος. Από το διάγραµµα αυτό, λοιπόν, παρατηρούµε ότι όσο αυξάνεται ο αριθµός των αρχικών σηµείων τόσο πλησιάζει και η τιµή του πειράµατος στην επιθυµητή. Αρχικά, ο ρυθµός βελτίωσης του αποτελέσµατος είναι πολύ µεγάλος, ενώ µετά τα πενήντα τρία, περίπου, αρχικά σηµεία, το αποτέλεσµα είναι πολύ ικανοποιητικό και συνεχίζει να βελτιώνεται µε αργό ρυθµό. Αυτό γίνεται ακόµα πιο φανερό στο ιάγραµµα 5., στο οποίο φαίνεται ένα τµήµα του ιαγράµµατος 5. σε µεγέθυνση. 58

59 VARIANCE OF ELEMEN (,) OF ROAION MARIX EFFECS OF NUMBER OF FEAURE CORRESPONDENCES (s = 0.5) NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.. ιακύµανση του στοιχείου R(,) ως προς τον αριθµό των ζευγών σηµείων. Άξονας περιστροφής: [ ] [ 3 ] u = 3 6 3, γωνία περιστροφής: theta = π 0, µετατόπιση: = 4. Αριθµός σηµείων 8:5:98. Τυπική απόκλιση θορύβου σ = EFFECS OF NUMBER OF FEAURE CORRESPONDENCES (s = 0.5) VARIANCE OF ELEMEN (,) OF ROAION MARIX NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.. Μεγέθυνση τµήµατος του διαγράµµατος

60 Εκτελούµε την ίδια διαδικασία άλλη µια φορά, µε τις ίδιες τιµές για την µετατόπιση, τον άξονα και τη γωνία περιστροφής αλλά µειώνοντας την τυπική απόκλιση του θορύβου σε σ = Τα αντίστοιχα διαγράµµατα που προκύπτουν (5.3 και 5.4) φαίνονται παρακάτω: VARIANCE OF ELEMEN (,) OF ROAION MARIX EFFECS OF NUMBER OF CORRESPONDENCES (s = 0.5) NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.3 ιακύµανση του στοιχείου R(,) ως προς τον αριθµό των ζευγών σηµείων. Άξονας περιστροφής: [ ] [ 3 ] u = 3 6 3, γωνία περιστροφής: theta = π 0, µετατόπιση: = 4. Αριθµός σηµείων 8:5:98. Τυπική απόκλιση θορύβου σ =

61 VARIANCE OF ELEMEN (,) OF ROAION MARIX EFFECS OF NUMBER OF CORRESPONDENCES (s = 0.5) NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.4 Μεγέθυνση τµήµατος του διαγράµµατος 5.3 Αυτό που µπορούµε να παρατηρήσουµε από τα διαγράµµατα 5.3 και 5.4 σε αντιδιαστολή µε τα διαγράµµατα 5. και 5. είναι ότι η µείωση της τυπικής απόκλισης του θορύβου έχει σαν αποτέλεσµα τη γρηγορότερη σύγκλιση της τιµής του στοιχείου (,) του πίνακα περιστροφής στην επιθυµητή τιµή. Έτσι, βλέπουµε ότι για περίπου είκοσι τρία σηµεία και πάνω, τα αποτελέσµατα του αλγορίθµου είναι πολύ ικανοποιητικά για την περίπτωση θορύβου τυπικής απόκλισης σ = Επίσης, από τα µεγεθυσµένα διαγράµµατα 5. και 5.4, παρατηρούµε ότι υπάρχει µια πόλωση στο αποτέλεσµα, η οποία, όµως, είναι πολύ µικρή και στις δυο περιπτώσεις και δεν επηρεάζει την αξιοπιστία του αλγορίθµου. Παρακάτω παραθέτουµε ακόµα δυο διαγράµµατα (5.5 και 5.6) που παρουσιάζουν τη µεταβολή του σχετικού σφάλµατος του πίνακα περιστροφής για αυξανόµενο αριθµό σηµείων αντιστοιχίας. Παρατηρούµε ότι για αριθµό αρχικών σηµείων οκτώ το σφάλµα είναι πολύ µεγάλο και για τις δυο περιπτώσεις ( σ = 0. 5 και σ = 0. 5) ενώ ακολουθώντας καθοδική πορεία φτάνει, για ενενήντα οκτώ αρχικά σηµεία αντιστοιχίας, να είναι % για σ = 0. 5 και µόλις 6.5% για σ =

62 EFFECS OF NUMBER OF FEAURE CORRESPONDENCES (s = 0.5) RELAIVE ERROR OF ROAION MARIX NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.5 Σχετικό σφάλµα του πίνακα περιστροφής ως προς τον αριθµό των ζευγών σηµείων. Άξονας περιστροφής: [ ] µετατόπιση: [ ] u = 3 6 3, γωνία περιστροφής: theta = π 0, = 3 4. Αρ. σηµείων 8:5:98. Τυπική απόκλιση θορύβου σ = EFFECS OF NUMBER OF FEAURE CORRESPONDENCES (s = 0.5) 0.7 RELAIVE ERROR OF ROAION MARIX NUMBER OF FEAURE CORRESPONDENCES ιάγραµµα 5.6 Σχετικό σφάλµα του πίνακα περιστροφής ως προς τον αριθµό των ζευγών σηµείων. Άξονας περιστροφής: [ ] µετατόπιση: [ ] u = 3 6 3, γωνία περιστροφής: theta = π 0, = 3 4. Αρ σηµείων 8:5:98. Τυπική απόκλιση θορύβου σ =

63 5. ιάφορα πειράµατα Monte Carlo - Χρήσιµα συµπεράσµατα Σε αυτήν την ενότητα θα πραγµατοποιήσουµε διάφορα πειράµατα Monte Carlo, τα οποία θα µας βοηθήσουν να εξάγουµε µερικά πολύ χρήσιµα συµπεράσµατα. Τα πειράµατα θα βασιστούν πάνω στο αρχικό πείραµα µε το δελφίνι της ενότητας 5..., το οποίο θα επαναλάβουµε αρκετές φορές, µεταβάλλοντας διαφορετικά χαρακτηριστικά κάθε φορά, ώστε να παρατηρήσουµε τη συµπεριφορά του αλγορίθµου στις µεταβολές αυτές. Πείραµα ο Στο πείραµα αυτό θα µεταβάλλουµε το πλάτος της µετατόπισης, για να δούµε πως αυτό επηρεάζει το σχετικό σφάλµα του πίνακα περιστροφής. Η περιστροφή γίνεται γύρω από τον άξονα u ] = [ 4 6 κατά γωνία theta = π 0, ενώ το διάνυσµα περιστροφής είναι ] = [ k k k µε το k να µεταβάλλεται από 4 έως 50 µε βήµα. Τα αποτελέσµατα που παίρνουµε φαίνονται στα παρακάτω διαγράµµατα. Συγκεκριµένα, στο ιάγραµµα 5.7 βλέπουµε τη µεταβολή του σχετικού σφάλµατος του πίνακα περιστροφής για την περίπτωση θορύβου τυπικής απόκλισης σ = 0. 05, ενώ στο ιάγραµµα 5.8 έχουµε θόρυβο τυπικής απόκλισης σ = 0.. Από τα διαγράµµατα παρατηρούµε ότι υπάρχει µια αυξοµείωση στις τιµές του σχετικού σφάλµατος, αλλά, βέβαια, είναι τόσο µικρές οι µεταβολές αυτές που µπορούµε να βγάλουµε το συµπέρασµα ότι ουσιαστικά η µεταβολή του πλάτους της µετατόπισης δεν επηρεάζει το σχετικό σφάλµα του πίνακα περιστροφής. Για τις περιπτώσεις θορύβου τυπικής απόκλισης σ = και σ = 0., η διακύµανση του σχετικού σφάλµατος είναι από.5% έως.5% και από 3.5% έως 6.5%, αντίστοιχα. Βλέπουµε ξανά ότι η αύξηση της τυπικής απόκλισης του θορύβου συνεπάγεται και µεγαλύτερο σχετικό σφάλµα. 63

64 0.06 EFFECS OF MAGNIUDE OF RANSLAION (s = 0.05) RELAIVE ERROR OF ROAION MARIX MAGNIUDE OF RANSLAION ιάγραµµα 5.7. Σχετικό σφάλµα του πίνακα περιστροφής ως προς το πλάτος της µετατόπισης. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: = π 0 theta, µετατόπιση: = [ k k k] µε k = 4 : : 50. Τυπική απόκλιση θορύβου σ = EFFECS OF MAGNIUDE OF RANSLAION (s = 0.) RELAIVE ERROR OF ROAION MARIX MAGNIUDE OF RANSLAION ιάγραµµα 5.8 Σχετικό σφάλµα του πίνακα περιστροφής ως προς το πλάτος της µετατόπισης. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: = π 0 theta, µετατόπιση: = [ k k k] µε k = 4 : : 50. Τυπική απόκλιση θορύβου σ =

65 Πείραµα ο Στο δεύτερο πείραµα θα µεταβάλλουµε την κατεύθυνση της µετατόπισης, για να δούµε πως αυτή επηρεάζει το σχετικό σφάλµα του πίνακα περιστροφής. Η περιστροφή γίνεται γύρω από τον άξονα theta = π 0, ενώ το διάνυσµα περιστροφής είναι u ] = [ 4 6 κατά γωνία ] = [ 50 k 0 k µε το k να µεταβάλλεται από 0 έως µε βήµα 50. Με λίγα λόγια, µεταβάλλουµε σταδιακά τη διεύθυνση της µετατόπισης από παράλληλη στο επίπεδο προβολής σε κάθετη προς αυτό. Ταυτόχρονα, βέβαια, µεταβάλλεται λίγο και το πλάτος της µετατόπισης, όµως αυτό, όπως είδαµε και στο προηγούµενο πείραµα, δεν επηρεάζει την τιµή του σχετικού σφάλµατος του πίνακα περιστροφής. Στα παρακάτω διαγράµµατα φαίνονται τα αποτελέσµατα του πειράµατος. Στο ιάγραµµα 5.9 έχουµε θόρυβο τυπικής απόκλισης σ = 0. 05, ενώ στο ιάγραµµα 5.0 έχουµε σ = 0.. Και τα δυο διαγράµµατα είναι λίγο πολύ όµοια. Το συµπέρασµα που βγαίνει είναι ότι το σχετικό σφάλµα του πίνακα περιστροφής παρουσιάζει αυξοµειώσεις καθώς η διεύθυνση της µετατόπισης αλλάζει από παράλληλη σε κάθετη στο επίπεδο της εικόνας. Βέβαια, και πάλι οι τιµές του σχετικού σφάλµατος είναι µικρές, από.5% έως 3.5% και από 3.5% έως 6% για σ = και σ = 0., αντίστοιχα, οπότε αν και παρατηρείται µια ελαφρώς αυξανόµενη τάση στο σχετικό σφάλµα του πίνακα περιστροφής, αυτή δεν είναι ικανή να επηρεάσει σηµαντικά τα αποτελέσµατα του αλγορίθµου. Τα αποτελέσµατα αυτά φαίνεται να έρχονται σε αντίθεση µε τη θεωρητική ανάλυση του σφάλµατος που προκαλεί η µεταβολή της κατεύθυνσης της µετατόπισης, που έγινε στο Κεφάλαιο 3. Μπορούµε να δικαιολογήσουµε αυτή τη διαφοροποίηση, επειδή οι µεταβολές του σχετικού σφάλµατος του πίνακα περιστροφής είναι πολύ µικρές. Επίσης, στη θεωρητική ανάλυση του Κεφαλαίου 3 µιλούσαµε για πιο σταθερή εκτίµηση της κατεύθυνσης της µετατόπισης για µια µετατόπιση κάθετη στο επίπεδο της εικόνας από µια µετατόπιση, παράλληλη σε αυτό, ενώ στο πείραµα που έγινε εδώ αξιολογήσαµε το σχετικό σφάλµα του πίνακα περιστροφής. 65

66 0.035 EFFECS OF DIRECION OF RANSLAION (s = 0.05) RELAIVE ERROR OF ROAION MARIX DIRECION OF RANSLAION ιάγραµµα 5.9 Σχετικό σφάλµα του πίνακα περιστροφής ως προς την κατεύθυνση της µετατόπισης. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: = π 0 theta, µετατόπιση: = [ 50 k 0 k] µε k = 0 : : 50. Τυπική απόκλιση θορύβου σ = EFFECS OF DIRECION OF RANSLAION RELAIVE ERROR OF ROAION MARIX DIRECION OF RANSLAION ιάγραµµα 5.0 Σχετικό σφάλµα του πίνακα περιστροφής ως προς την κατεύθυνση της µετατόπισης. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: = π 0 theta, µετατόπιση: = [ 50 k 0 k] µε k = 0 : : 50. Τυπική απόκλιση θορύβου σ = 0. 66

67 Πείραµα 3 ο Σε αυτό το πείραµα θα µεταβάλλουµε τη γωνία περιστροφής, για να δούµε πως αυτή επηρεάζει το σχετικό σφάλµα του πίνακα περιστροφής. Η µετατόπιση που επιβάλλουµε είναι [ ] γίνεται γύρω από τον άξονα [ ] k µεταβάλλεται από έως 5 µε βήµα 0.5. = , ενώ η περιστροφή u = 4 6 κατά γωνία theta = k * pi / 00, όπου το Στα παρακάτω διαγράµµατα φαίνονται τα αποτελέσµατα του πειράµατος. Στο ιάγραµµα 5. έχουµε θόρυβο τυπικής απόκλισης σ = 0. 05, ενώ στο ιάγραµµα 5. έχουµε σ = 0.. Και τα δυο διαγράµµατα δείχνουν ότι υπάρχουν κάποιες µικρές αυξοµειώσεις στο σχετικό σφάλµα του πίνακα περιστροφής καθώς µεταβάλλεται η γωνία περιστροφής, οι οποίες όµως δεν έχουν κάποια σηµαντική επίδραση, αφού το σφάλµα κυµαίνεται από 3.5% έως 6% και από 6% έως % για σ = και σ = 0., αντίστοιχα EFFECS OF ROAION ANGLE (s = 0.05) RELAIVE ERROR OF ROAION MARIX ROAION ANGLE ιάγραµµα 5. Σχετικό σφάλµα του πίνακα περιστροφής ως προς τη γωνία περιστροφής. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: k * pi / 00 theta = (rad) µε k = : 0.5 :5, µετατόπιση: = [ ]. Τυπική απόκλιση θορύβου σ =

68 0. EFFECS OF ROAION ANGLE (s = 0.) RELAIVE ERROR OF ROAION MARIX ROAION ANGLE ιάγραµµα 5. Σχετικό σφάλµα του πίνακα περιστροφής ως προς τη γωνία περιστροφής. Άξονας περιστροφής: u ] = [ 4 6, γωνία περιστροφής: k * pi / 00 theta = (rad) µε k = : 0.5 :5, µετατόπιση: = [ ]. Τυπική απόκλιση θορύβου σ = Επιλογή σηµείων και µεταφορά Στη συνέχεια, θα εξετάσουµε δυο πειραµατικές περιπτώσεις που, στην πρώτη, γίνεται αυτόµατη επιλογή των σηµείων µε τη χρήση συγκεκριµένου αλγορίθµου, ενώ, στη δεύτερη, η επιλογή των σηµείων γίνεται χειροκίνητα και στις δυο εικόνες, δηλαδή δεν χρησιµοποιούνται οι αλγόριθµοι επιλογής σηµείων και αντιστοίχισης. Για τους αλγόριθµους επιλογής σηµείων (Feature Selection) και Μεταφοράς Αντιστοίχισης (racking), έχει χρησιµοποιηθεί κώδικας προγραµµατισµού σε Matlab 68

69 5.3. Πειραµατική χρήση των αλγορίθµων Για την πειραµατική επαλήθευση των αλγορίθµων της προηγούµενης ενότητας χρησιµοποιήθηκε η αλληλουχία µιας σειράς εικόνων που συνθέτουν ένα βίντεο. Εφαρµόστηκε στην πρώτη από αυτές ο αλγόριθµος επιλογής χαρακτηριστικών σηµείων. Στη συνέχεια, εφαρµόστηκε ο αλγόριθµος µεταφοράς για το ζεύγος της πρώτης και δεύτερης εικόνας και βρήκαµε τα σηµεία της πρώτης εικόνας που µεταφέρονται επιτυχώς στη δεύτερη. Τον ίδιο αλγόριθµο εφαρµόζουµε και στις υπόλοιπες εικόνες ανά δύο µέχρι να φτάσουµε στην τελευταία εικόνα, οπότε και γνωρίζουµε ποια σηµεία της πρώτης εικόνας έχουν µεταφερθεί επιτυχώς στην τελευταία. Αυτά είναι και τα σηµεία που θα χρησιµοποιήσουµε για τον υπολογισµό της κίνησης, αρχικά, και της ανακατασκευής του τρισδιάστατου σχήµατος, στη συνέχεια. Η πρώτη εικόνα µαζί µε τα σηµεία τα οποία επέλεξε ο αλγόριθµος επιλογής χαρακτηριστικών σηµείων φαίνεται στη Εικόνα 5., ενώ η τελευταία εικόνα µαζί µε τα σηµεία που µεταφέρθηκαν επιτυχώς σε αυτήν µέσα από τη διαδοχική εφαρµογή του αλγορίθµου µεταφοράς φαίνεται στην Εικόνα 5.. Τέλος, ξανά η πρώτη εικόνα µε τα αντίστοιχα σηµεία της τελευταίας φαίνεται στην Εικόνα 5.3. Feature selection on file A jpg features detected Εικόνα 5. 69

70 racking on file A jpg features tracked Εικόνα 5. Coreresponding points on file A jpg features plotted Εικόνα

71 Τα σηµεία που φαίνονται στις Εικόνες 5. και 5.3, δηλαδή τα 03 σηµεία που µεταφέρθηκαν επιτυχώς στην τελευταία εικόνα και τα αντίστοιχα 03 της πρώτης εικόνας, χρησιµοποιούνται από τον αλγόριθµο ανακατασκευής για τον υπολογισµό της τρισδιάστατης κίνησης, αλλά και των σχετικών βαθών των σηµείων. Τα αποτελέσµατα που δίνει ο αλγόριθµος για το µοναδιαίο διάνυσµα µετατόπισης, για τη γωνία περιστροφής και για τον άξονα περιστροφής είναι κατά αντιστοιχία: [ ] trec = 7605 thetarec =. 867 [ ] urec = 3484 Για να επαληθεύσουµε τα αποτελέσµατα των αλγορίθµων επιλογής και µεταφοράς αλλά και του αλγορίθµου ανακατασκευής, σχεδιάζουµε σε κοινό διάγραµµα τα αρχικά δισδιάστατα σηµεία της εικόνας και τις προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων σηµείων. Αν αυτά συµπίπτουν, τα αποτελέσµατα είναι σωστά. Στα παρακάτω διαγράµµατα φαίνονται τα σηµεία αυτά. Οι τελείες µε πράσινο χρώµα αναπαριστούν τα αρχικά δισδιάστατα σηµεία δεδοµένα του προβλήµατος, ενώ οι κόκκινοι κύκλοι αναπαριστούν τις προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων σηµείων. Στο ιάγραµµα 5.3 βλέπουµε τα σηµεία για την πρώτη εικόνα (Εικόνα 5.3) και στο ιάγραµµα 5.4 τα σηµεία που αντιστοιχούν στη δεύτερη εικόνα (Εικόνα 5.). 7

72 ιάγραµµα 5.3 Αρχικά δισδιάστατα σηµεία (πράσινες τελείες) και προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων (κόκκινοι κύκλοι) της Εικόνας ιάγραµµα 5.4 Αρχικά δισδιάστατα σηµεία (πράσινες τελείες) και προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων (κόκκινοι κύκλοι) της Εικόνας 5. 7

73 Για να εξετάσουµε την επίδραση των παραµέτρων των αλγορίθµων επιλογής και µεταφοράς σηµείων µεταβάλλουµε κάποιες από αυτές και παρατηρούµε την αντίστοιχη µεταβολή που προκαλούν στο αποτέλεσµα. Αρχικά, µεταβάλλουµε το µέγεθος του παραθύρου W () του αλγορίθµου επιλογής. Συγκεκριµένα το αυξάνουµε έτσι ώστε οι διαστάσεις του να είναι 9 9. Παρατηρούµε ότι τα χαρακτηριστικά σηµεία που εντοπίζει τώρα ο αλγόριθµος είναι περισσότερα (470 αντί για 43) ενώ τα σηµεία που µεταφέρονται στην τελευταία εικόνα αυξάνονται σε 8 από 03. Έτσι, η αύξηση του αριθµού των τελικών σηµείων οδηγεί σε βελτίωση των αποτελεσµάτων του αλγορίθµου ανακατασκευής. Αυτή η συµπεριφορά των αλγορίθµων ήταν αναµενόµενη, διότι η αύξηση του µεγέθους του παραθύρου W () οδηγεί στον πιο ακριβή υπολογισµό του κριτηρίου Harris (εξίσωση 4.), επειδή συµπεριλαµβάνονται περισσότερα γειτονικά σηµεία στην εύρεση της ποιότητας των σηµείων της εικόνας. Η επόµενη παράµετρος που µπορούµε να µεταβάλλουµε και να εξετάσουµε την επίδρασή της στα αποτελέσµατα είναι το µέγεθος του παραθύρου του αλγορίθµου µεταφοράς. Αυτό το µειώνουµε και του δίνουµε τις διαστάσεις 4 4. Παρατηρούµε ότι ο αριθµός των τελικών σηµείων ελαττώνεται (73 από 03). Κάποιες άλλες παράµετροι, οι οποίες είναι πολύ βασικές για τους αλγορίθµους, και η µεταβολή τους επηρεάζει σηµαντικά τη συµπεριφορά τους, είναι τα κατώφλια που χρησιµοποιούνται. Έτσι, το κατώφλι του αλγορίθµου επιλογής, όσο µικρότερο είναι τόσο περισσότερα χαρακτηριστικά σηµεία επιλέγονται στην πρώτη εικόνα, αλλά και τόσο µεγαλύτερα είναι τα ενδεχόµενα σφάλµατα επιλογής. Αντίθετα, όσο αυξάνουµε το κατώφλι τόσο λιγότερα χαρακτηριστικά σηµεία παίρνουµε, αλλά είναι καλύτερης ποιότητας. Όσον αφορά το κατώφλι του αλγορίθµου µεταφοράς, όσο µικρότερο είναι αυτό τόσο περισσότερα χαρακτηριστικά σηµεία κρατούνται κατά τη διάρκεια της µεταφοράς. Τέλος, ένας παράγοντας που µπορεί να επηρεάσει το αποτέλεσµα είναι ο αριθµός των επιπέδων της πυραµίδας. Όταν η µετατόπιση µεταξύ των εικόνων είναι µικρή, δηλαδή στην περίπτωση που οι εικόνες αποτελούν αλληλουχία βίντεο, ο αριθµός αυτός δεν χρειάζεται να είναι µεγάλος, ενώ όσο αυξάνεται η µετατόπιση µεταξύ των εικόνων τόσο πρέπει να αυξάνεται και ο αριθµός των επιπέδων της πυραµίδας για να έχουµε καλύτερα αποτελέσµατα στη µεταφορά των σηµείων από τη µια εικόνα στην άλλη. 73

74 5.3. Μη αυτόµατη επιλογή σηµείων και µεταφορά Στις περιπτώσεις που έχουµε δυο µόνο εικόνες, στις οποίες υπάρχει µεγάλη µετατόπιση και περιστροφή, δεν µπορούµε να χρησιµοποιήσουµε τον αλγόριθµο µεταφοράς της προηγούµενης ενότητας, διότι, όπως είπαµε, αυτός εφαρµόζεται µόνο για περιπτώσεις µικρής µετατόπισης µεταξύ των εικόνων. Έτσι, η διαδικασία της επιλογής σηµείων και µεταφοράς γίνεται χειροκίνητα. Αρχικά, επιλέγουµε τα σηµεία πάνω στην πρώτη εικόνα και µετά επιλέγουµε τα αντίστοιχα σηµεία στη δεύτερη µε όσο το δυνατόν µεγαλύτερη ακρίβεια και προσέχοντας να αποφύγουµε σφάλµατα στις αντιστοιχίσεις. Αυτά τα σηµεία, στη συνέχεια, χρησιµοποιούνται από τον αλγόριθµο ανακατασκευής για τον υπολογισµό της τρισδιάστατης κίνησης και των σχετικών βαθών, για αυτό, όσο περισσότερα σηµεία επιλέξουµε τόσο καλύτερα θα είναι τα αποτελέσµατα της ανακατασκευής. Οι εικόνες που χρησιµοποιούµε για αυτή τη διαδικασία φαίνονται στην Εικόνα 5.4(α) και (b). (α) Εικόνα 5.4 (b) Στην επιλογή των σηµείων, προσέχουµε τα σηµεία που επιλέγουµε στην πρώτη εικόνα να είναι ορατά και στην δεύτερη, έτσι ώστε να γίνει, στη συνέχεια, η αντιστοίχισή τους. Η επιλογή που έγινε στη συγκεκριµένη περίπτωση καθώς και η αρίθµηση των σηµείων φαίνονται στις παρακάτω δυο εικόνες. 74

75 Εικόνα Εικόνα 5.6

76 Μετά την εφαρµογή του αλγορίθµου, εξάγονται τα εξής αποτελέσµατα για το µοναδιαίο διάνυσµα µετατόπισης, τον άξονα και τη γωνία περιστροφής: [ ] trec = 5366 [ ] urec = 3484 thetarec = Τα αποτελέσµατα αυτά µας πληροφορούν ότι η δεύτερη εικόνα σε σχέση µε την πρώτη έχει µετατοπιστεί κατά τη διεύθυνση του µοναδιαίου διανύσµατος trec και έχει περιστραφεί γύρω από το µοναδιαίο διάνυσµα urec (άξονας περιστροφής) κατά γωνία thetarec. 5.4 Εύρεση τρισδιάστατου σχήµατος Εφαρµόζοντας έτοιµο κώδικα για την ανακατασκευή του τρισδιάστατου σχήµατος και χρησιµοποιώντας τον αλγόριθµο του Κεφαλαίου 3 για την ανακατασκευή της τρισδιάστατης κίνησης, επιτύχαµε να επιλύσουµε το συνολικό πρόβληµα του υπολογισµού του τρισδιάστατου σχήµατος και κίνησης από δισδιάστατες προβολές. Παρουσιάζουµε σε αυτήν την ενότητα ένα παράδειγµα του υπολογισµού αυτού. Έχοντας τις δυο εικόνες (Εικόνα 5.4) και εφαρµόζοντας τους κατάλληλους αλγορίθµους παίρνουµε τελικά το τρισδιάστατο σχήµα του αντικειµένου. Για να φανεί ποιο είναι αυτό, «φωτογραφίσαµε» το αποτέλεσµα από µερικές διαφορετικές όψεις, οι οποίες φαίνονται στην Εικόνα 5.7. Παρατηρούµε ότι υπάρχουν κάποιες ατέλειες στις εικόνες, που συνίστανται κυρίως στην εξοµάλυνση κάποιων επιφανειών. Αυτές οφείλονται στο γεγονός ότι κάποια σηµεία της πρώτης εικόνας δεν φαίνονται στη δεύτερη, λόγω του ότι καλύπτονται από κάποιες άλλες επιφάνειες που εµφανίζονται στην δεύτερη όψη. Για να επαληθευτεί και ο αλγόριθµος ανακατασκευής της κίνησης, παίρνουµε από το 76

77 ανακατασκευασµένο σχήµα την όψη που αντιστοιχεί στην Εικόνα 5.4(α) (πρώτη εικόνα) και περιστρέφοντας την γύρω από τον άξονα και τη γωνία που µας έδωσε η ανακατασκευή της ενότητας 5.3., καταλήγουµε στην όψη του τρισδιάστατου αντικειµένου που αντιστοιχεί στην Εικόνα 5.4(b) (δεύτερη εικόνα). Οι αντίστοιχες όψεις, λοιπόν, της ανακατασκευής φαίνονται στην Εικόνα 5.8. Εικόνα

78 (α) Εικόνα 5.8 (b) Για να επαληθεύσουµε την ορθότητα του υπολογισµού του τρισδιάστατου σχήµατος, εκτός από τα οπτικά αποτελέσµατα της Εικόνας 5.8 που συµφωνούν µε την Εικόνα 5.4, σχεδιάζουµε σε κοινό διάγραµµα τα αρχικά δισδιάστατα σηµεία της εικόνας και τις προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων σηµείων. Αν αυτά συµπίπτουν, τα αποτελέσµατα είναι σωστά. Στα παρακάτω διαγράµµατα φαίνονται τα σηµεία αυτά. Οι τελείες µε πράσινο χρώµα αναπαριστούν τα αρχικά δισδιάστατα σηµεία δεδοµένα του προβλήµατος, ενώ οι µπλε κύκλοι αναπαριστούν τις προοπτικές προβολές των ανακατασκευασµένων τρισδιάστατων σηµείων. Στο ιάγραµµα 5.5 βλέπουµε τα σηµεία για την πρώτη εικόνα (Εικόνα 5.4(α)) και στο ιάγραµµα 5.6 τα σηµεία που αντιστοιχούν στη δεύτερη εικόνα (Εικόνα 5.(b)). 78