ΑΝΤΙΣΤΟΙΧΙΣΗ ΣΗΜΕΙΩΝ ΜΕ ΤΗΝ ΜΕΘΟΔΟ RANSAC

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ Δημήτριος Κωνσταντινίδης ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΑΝΤΙΣΤΟΙΧΙΣΗ ΣΗΜΕΙΩΝ ΜΕ ΤΗΝ ΜΕΘΟΔΟ RANSAC Επιβλέπων: Επίκουρος Καθηγητής Αναστάσιος Ντελόπουλος Θεσσαλονίκη, Ιούλιος 009

2

3 Σελίδα i ΠΕΡΙΛΗΨΗ Ένα πολύ σημαντικό πρόβλημα στο τομέα της υπολογιστικής όρασης είναι η τρισδιάστατη ανακατασκευή μοντέλων από δισδιάστατες εικόνες. Οι εφαρμογές της τρισδιάστατης ανακατασκευής μοντέλων είναι αμέτρητες κυρίως σε περιπτώσεις ανάλυσης περιεχομένου των εικόνων και χαρτογράφησης χώρου. Ένα σημαντικό κομμάτι της λύσης αυτού του προβλήματος είναι η αντιστοίχιση σημείων μεταξύ των εικόνων. Με άλλα λόγια, τα σημεία ενδιαφέροντος που εντοπίζονται στις εικόνες από διάφορους αλγορίθμους πρέπει να συσχετιστούν για να προκύψει η πληροφορία της θέσης των πραγματικών σημείων στο χώρο ώστε να είναι δυνατή η τρισδιάστατη ανακατασκευή. Ένας πολύ δημοφιλής αλγόριθμος αντιστοίχισης σημείων είναι ο RANSAC, ο οποίος δοσμένου ενός συνόλου αντιστοιχιών μπορεί και υπολογίζει ένα πίνακα μεταφοράς και περιστροφής που χαρακτηρίζει την πλειοψηφία των αντιστοιχισμένων σημείων. Αυτός ο πίνακας περιγράφει τη μετατόπιση των σημείων από τη μία εικόνα στην άλλη και επομένως περιγράφει την αλλαγή της θέσης λήψης των εικόνων. Έτσι αποτελεί τον συνδετικό κρίκο για την τρισδιάστατη ανακατασκευή του περιεχομένου των εικόνων.

4 Σελίδα ii SUMMARY A very important problem in the field of computer vision is the three-dimensional model reconstruction from two-dimensional images. The applications of 3-D reconstruction are numerous and especially, in cases such as image analysis and cartography. A very important part of the solution to this problem is feature correspondence between images. n other words, various algorithms track features in images and these features should be correlated in order to generate all the appropriate information of the position of these features in the real world and reconstruct the 3-D model. A very popular algorithm that matches features is RANSAC. Given a set of correspondences, RANSAC can compute a matrix of displacement and rotation that characterize the majority of correspondences. This matrix describes the displacement of the features from one image to another and therefore, it describes the displacement of the position, from which these images were taken. n that way, it constitutes the binding link in the 3-D reconstruction of the content of the images.

5 Σελίδα iii

6 Σελίδα iv ΠΡΟΛΟΓΟΣ Η παρούσα διπλωματική εργασία πραγματεύεται την αντιστοίχιση σημείων σε καρέ βίντεο με ένα δημοφιλή αλγόριθμο γενικής χρήσης που ονομάζεται RANSAC. Ο αλγόριθμος RANSAC υπολογίζει ένα πίνακα μεταφοράς και περιστροφής της θέσης της κάμερας κατά την λήψη των εικόνων παίρνοντας ως είσοδο τις αντιστοιχίες σημείων. Ο σκοπός της αντιστοίχισης σημείων είναι η δημιουργία τρισδιάστατων μοντέλων του περιεχομένου των εικόνων με πολλές πρακτικές εφαρμογές στη συνέχεια. Σε αυτό το σημείο θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή μου, κ. Αναστάσιο Ντελόπουλο για την εμπιστοσύνη που έδειξε προς το πρόσωπό μου κατά την ανάθεση της παρούσας διπλωματικής καθώς και για την πολύ σημαντική υποστήριξη κατά την ανάπτυξη της. Οι συμβουλές του και οι γνώσεις του πάνω στο θέμα της διπλωματικής αποδείχθηκαν παραπάνω από χρήσιμες και με οδήγησαν αποφασιστικά και αποτελεσματικά να τη φέρω εις πέρας. Τέλος θα ήθελα να ευχαριστώ και την οικογένεια μου για την αμέριστη συμπαράστασή της καθ όλη τη διάρκεια των σπουδών μου. Θεσσαλονίκη, Ιούλιος 009 Δημήτριος Κωνσταντινίδης

7 Σελίδα v

8 Σελίδα vi ΠΕΡΙΕΧΟΜΕΝΑ. ΕΙΣΑΓΩΓΗ Διατύπωση Προβλήματος..... Κατηγοριοποίηση και ταξινόμηση λύσεων...3 Δομή διπλωματικής.. 5. ΦΙΛΟΣΟΦΙΑ ΑΛΓΟΡΙΘΜΟΥ RANSAC Εισαγωγικά. 7. Γενική χρήση αλγορίθμου Παράμετροι αλγορίθμου RANSAC Πλεονεκτήματα και μειονεκτήματα Ειδική χρήση αλγορίθμου ΜΕΘΟΔΟΛΟΓΙΑ ΕΦΑΡΜΟΓΗΣ Βασικές λειτουργίες Αντιστοίχιση σημείων Αλγόριθμος RANSAC Αλγόριθμος 8-σημείων ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ Πείραμα : Σύγκριση αλγορίθμων εντοπισμού σημείων (features) Αλγόριθμος Harris...4

9 Σελίδα vii 4.. Αλγόριθμος SFT Συμπεράσματα Πείραμα : Εξάρτηση βέλτιστης λύσης από το κατώφλι κανονικοποιημένης συσχέτισης Συμπεράσματα Πείραμα 3: Εξάρτηση βέλτιστης λύσης από το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης Συμπεράσματα Πείραμα 4: Εξάρτηση βέλτιστης λύσης από το κατώφλι αποδοχής των inliers Συμπεράσματα Πείραμα 5: Εξάρτηση βέλτιστης λύσης από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC Συμπεράσματα Πλεονεκτήματα και μειονεκτήματα εφαρμογής...37 ΒΙΒΛΙΟΓΡΑΦΙΑ

10 Σελίδα ΚΕΦΑΛΑΙΟ ΕΙΣΑΓΩΓΗ. Διατύπωση προβλήματος Το πρόβλημα που επιχειρήθηκε να επιλυθεί στη παρούσα διπλωματική είναι η αντιστοίχιση σημείων με τον αλγόριθμο RANSAC μεταξύ δύο εικόνων που απεικονίζουν το ίδιο αντικείμενο ή τοπίο από διαφορετική οπτική γωνία και η επιλογή των κατάλληλων αντιστοιχιών για τον υπολογισμό της κίνησης της κάμερας κατά την διαδικασία λήψης τους. Τα σημεία που επιλέγονται στις δύο εικόνες δεν προέκυψαν τυχαία αλλά πρόκειται για σημεία με έντονο περιεχόμενο φωτεινότητας και τοποθετημένα σε τέτοιες θέσεις στην εικόνα ώστε να διαφέρουν αρκετά από τα γειτονικά τους με αποτέλεσμα να είναι εύκολος ο εντοπισμός τους σε μια άλλη εικόνα παρόμοιου περιεχομένου. Στη συνέχεια, το πρόβλημα γενικεύτηκε όταν η είσοδος δεν είναι πλέον δύο εικόνες αλλά μια ροή βίντεο και η επεξεργασία γίνεται στα καρέ του βίντεο ανά δυάδες. Η λύση αυτού του προβλήματος είναι πολύ σημαντική για την μετέπειτα κατασκευή ενός τρισδιάστατου μοντέλου του περιεχομένου των εικόνων. Γνωρίζοντας, δηλαδή, την θέση από την οποία έχουν τραβηχτεί οι εικόνες μπορούν ύστερα από κατάλληλη επεξεργασία να υπολογιστούν οι συντεταγμένες των σημείων του περιεχομένου των εικόνων στο τρισδιάστατο χώρο επιτρέποντας με αυτό τον τρόπο την ανακατασκευή στο χώρο του περιεχομένου των εικόνων. Φυσικά η τρισδιάστατη ανακατασκευή αντικειμένων, χώρων ή τοπίων μπορεί να βρει αμέτρητες εφαρμογές ιστορικού περιεχομένου με την ανακατασκευή ιστορικών κτιρίων ή μουσειακών εκθεμάτων που έχουν καταστραφεί και υπάρχουν μόνο φωτογραφίες τους, τεχνολογικού περιεχομένου δίνοντας τη δυνατότητα σε ρομπότ να κινούνται μόνα τους στο χώρο αποφεύγοντας εμπόδια και ταυτόχρονα χαρτογραφώντας το χώρο στον οποίο κινήθηκαν, ακόμη και ιατρικού περιεχομένου επιτρέποντας την καλύτερη διάγνωση και αντιμετώπιση ασθενειών.. Κατηγοριοποίηση και ταξινόμηση λύσεων Αρχικά το πρόβλημα μπορεί να χωριστεί σε τέσσερα τμήματα: Στο πρώτο τμήμα βρίσκεται ο εντοπισμός των κατάλληλων σημείων ενδιαφέροντος στις εικόνες, γνωστά στην αγγλική ορολογία ως features, που θα επιτρέψει μια επιτυχημένη συσχέτισή τους. Για αυτό το πρόβλημα έχουν προταθεί διάφοροι αλγόριθμοι και οι οποίοι χωρίζονται σε δύο κατηγορίες:

11 Σελίδα Στη πρώτη κατηγορία ανήκουν οι αλγόριθμοι εντοπισμού «γωνιών» (corner detection algorithms) δηλαδή αυτοί που επιλέγουν ως σημεία (features) αυτά που ξεχωρίζουν σε σχέση με τα γειτονικά τους ως προς το έντονο περιεχόμενο φωτεινότητας. Οι πιο διαδεδομένοι αλγόριθμοι είναι ο Harris και ο Canny ενώ περισσότερα για την λειτουργία τους περιγράφονται στο άρθρο του Han Wang και Michael Brady [] ή ακόμα και στα άρθρα των ίδιων των δημιουργών των αλγορίθμων [], [3]. Παρόλο που οι αλγόριθμοι αυτής της κατηγορίας κάνουν καλές επιλογές σημείων για την αντιστοίχιση μεταξύ εικόνων, δεν θεωρούνται τόσο αποτελεσματικοί γιατί τείνουν να εντοπίζουν σημεία σε συγκεκριμένες περιοχές μιας εικόνας και όχι σε όλη την εικόνα. Στη δεύτερη κατηγορία ανήκουν οι αλγόριθμοι εντοπισμού εξέχοντων σημείων (salient point detectors). Ο πιο διαδεδομένος αλγόριθμος είναι ο SFT. Αυτοί οι αλγόριθμοι υπολογίζουν σημεία με ιδιαίτερα χαρακτηριστικά όπως το ότι είναι αμετάβλητα στις αλλαγές κλίμακας και περιστροφής και έχουν υψηλή αντίθεση (contrast). Τα σημεία αυτά συνοδεύονται και από ένα διάνυσμα περιγραφής τους, το οποίο βοηθάει στον ευκολότερο εντοπισμό των αντιστοιχίσεων τους σε άλλες εικόνες. Οι αλγόριθμοι αυτοί δίνουν συνήθως καλύτερες συσχετίσεις σημείων από ότι οι αλγόριθμοι της πρώτης κατηγορίας αλλά είναι πιο πολύπλοκοι και δαπανηροί σε χρόνο εκτέλεσης όπως εξηγείται στο άρθρο των N. Sebe και Q. Tian [4]. Στο δεύτερο τμήμα βρίσκεται ο υπολογισμός των αντιστοιχιών μεταξύ των σημείων. Τα κριτήρια που χρησιμοποιούνται για τον υπολογισμό των αντιστοιχιών εξαρτώνται από την χρονική διαφορά λήψεων των δύο εικόνων. Έτσι και αυτό το πρόβλημα μπορεί να χωριστεί στις παρακάτω υποπεριπτώσεις βασισμένες στο βιβλίο των Yi Ma και Stefano Soatto [5]: Όταν οι εικόνες έχουν ληφθεί σε κοντινή χρονική διαφορά η μία από την άλλη οπότε είναι η περίπτωση του small baseline τότε ως κριτήριο αντιστοίχισης σημείων χρησιμοποιείται το άθροισμα των διαφορών τετραγώνων (Sum of Squared Differences). Για κάθε σημείο (feature) μιας εικόνας επιλέγεται ένα παράθυρο γύρω από αυτό και για κάθε σημείο του παραθύρου υπολογίζεται η διαφορά τετραγώνων των φωτεινοτήτων των σημείων αυτών σε σχέση με τις φωτεινότητες των σημείων ενός δεύτερου παραθύρου ίδιου μεγέθους γύρω από κάθε σημείο (feature) μιας άλλης εικόνας. Όταν οι εικόνες έχουν ληφθεί σε σχετικά μεγάλη χρονική διαφορά η μία από την άλλη οπότε είναι η περίπτωση του large baseline τότε ως κριτήριο αντιστοίχισης σημείων χρησιμοποιείται η κανονικοποιημένη συσχέτιση (Normalized Cross- Correlation). Ο λόγος που το κριτήριο διαφέρει είναι ότι σε αυτή τη περίπτωση δεν αλλάζει μόνο η θέση των σημείων λόγω της μετακίνησης της κάμερας αλλά μπορεί να αλλάξει και η φωτεινότητα των σημείων. Έτσι, απαιτείται ένα πιο αυστηρό και πολύπλοκο κριτήριο για την αντιμετώπιση του προβλήματος της αντιστοίχισης. Σύμφωνα λοιπόν με την κανονικοποιημένη συσχέτιση, για κάθε σημείο (feature) μιας εικόνας επιλέγεται ένα παράθυρο γύρω από αυτό και για κάθε σημείο του

12 Σελίδα 3 παραθύρου υπολογίζεται η διαφορά των κανονικοποιημένων ως προς τη διασπορά φωτεινοτήτων τους σε σχέση με τις κανονικοποιημένες φωτεινότητες των σημείων ενός δεύτερου παραθύρου ίδιου μεγέθους γύρω από κάθε σημείο (feature) μιας άλλης εικόνας. Τέλος, υπάρχει και μία ακόμη περίπτωση, της ροής εικόνας (optical flow). Αυτή η περίπτωση χρησιμοποιείται αποκλειστικά όταν πρόκειται για ροή βίντεο όπου οι διαφορές μεταξύ συνεχόμενων καρέ είναι τόσο μικρές που δεν εντοπίζονται εύκολα. Η ροή εικόνας διαφέρει τρομερά από τις προηγούμενες περιπτώσεις στο ότι εκείνες χρησιμοποιούνται για τον υπολογισμό ενός πίνακα μεταφοράς και περιστροφής ενώ αυτή χρησιμοποιείται για τον υπολογισμό ενός διανύσματος ταχυτήτων των σημείων πάνω στην εικόνα όπως περιγράφεται στο βιβλίο των J.L. Barron, D.J. Fleet και S.S.Beaucherin [6]. Στο τρίτο τμήμα βρίσκεται η επιλογή του αλγορίθμου μετατροπής δισδιάστατων εικόνων σε τρισδιάστατα μοντέλα. Αυτοί οι αλγόριθμοι διακρίνονται σε τρεις κατηγορίες ανάλογα με το αν εντοπίζουν σημεία πάνω στις εικόνες και λύνουν γεωμετρικό πρόβλημα, αν παρακολουθούν περιγράμματα, δηλαδή ολόκληρες περιοχές σημείων ή αν παρακολουθούν σκιές. Στη παρούσα διπλωματική θα εφαρμοστεί η πρώτη κατηγορία αλγορίθμων για τον εντοπισμό όσο το δυνατόν περισσότερων ζευγών σημείων από το σύνολο των αντιστοιχιών για να περιγραφεί με το καλύτερο δυνατό τρόπο η σχετική μετατόπιση της μιας εικόνας σε σχέση με την άλλη. Ο βασικός αλγόριθμος που χρησιμοποιείται για να ταιριάξει τις αντιστοιχίες σε ένα κοινό μοντέλο είναι ο RANSAC ο οποίος είναι ένας γενικός αλγόριθμος και βρίσκει εφαρμογή σε πολλές περιπτώσεις δημιουργίας ενός μοντέλου από ένα σύνολο δεδομένων. Η βασική λειτουργία του αλγορίθμου RANSAC είναι η επιλογή ενός μικρότερου του αρχικού σετ δεδομένων, η δημιουργία ενός μοντέλου βάσει του επιλεγμένου σετ και ο υπολογισμός του αριθμού των δεδομένων εισόδου που ικανοποιούν το υπολογισμένο μοντέλο. Οι βασικές διαφοροποιήσεις του αλγορίθμου RANSAC οφείλονται στον τρόπο που επιλέγεται η βέλτιστη λύση σύμφωνα με το άρθρο των A.J. Lacey, Ν. Pinitkarn και Ν.Α. Thacker [7] αλλά και με το βιβλίο των Peter Meer, Doron Mintz [8]: RANSAC: Η εκτίμηση της βέλτιστης λύσης προκύπτει από το μέγεθος του «σετ συμφωνίας» (consensus set). Δηλαδή επιλέγεται ως τελικό μοντέλο αυτό στο οποίο συμφωνεί το μεγαλύτερο σετ δεδομένων. MSAC: Η εκτίμηση της βέλτιστης λύσης προκύπτει από την ελαχιστοποίηση μιας συνάρτησης σφάλματος-κόστους που συνήθως υπολογίζει την απόκλιση ολόκληρου του αρχικού σετ δεδομένων από το μοντέλο που υπολογίστηκε. Αυτή η μέθοδος δίνει γενικά καλύτερα αποτελέσματα από την απλή μέθοδο RANSAC. MLESAC: Η εκτίμηση της βέλτιστης λύσης προκύπτει από την μεγιστοποίηση της αρέσκειάς της. Δηλαδή υπολογίζει την απόσταση του αρχικού σετ δεδομένων από το σετ δεδομένων που προκύπτει από το μοντέλο και την ελαχιστοποιεί. Μοιάζει αρκετά με την μέθοδο MSAC αλλά βασίζεται σε κατανομές των δεδομένων

13 Σελίδα 4 εισόδου, οι οποίες δεν είναι γνωστές στις περισσότερες περιπτώσεις. Μια λεπτομερής περιγραφή του αλγορίθμου αλλά και των πλεονεκτημάτων της έναντι άλλων αλγορίθμων φαίνεται στο άρθρο των P.H.S Torr και A. Zisserman [9]. R-RANSAC: Αυτή η μέθοδος διαφοροποιείται αρκετά σε σχέση με τις υπόλοιπες εξαιτίας του γεγονότος ότι επιλέγει αρχικά ένα μικρό σετ δεδομένων, υπολογίζει ένα αρχικό μοντέλο και στη συνέχεια προσπαθεί να βελτιώσει όσο το δυνατόν περισσότερο το μοντέλο προσθέτωντας και αφαιρώντας δεδομένα. Είναι γενικά μια πολύ γρήγορη μέθοδος αναζήτησης βέλτιστου μοντέλου αλλά έχει το μειονέκτημα ότι μπορεί να επιλέξει αρχικά στη τύχη μια πολύ καλή λύση και να κολλήσει σε αυτή ενώ μπορεί να μην είναι η βέλτιστη όπως εξηγείται στο άρθρο του O. Chum και J. Matis [0]. PROSAC: Αυτός ο αλγόριθμος διαφοροποιείται από τους προηγούμενους στο ότι δεν επιλέγει ένα σταθερό σε μέγεθος σετ δεδομένων αλλά συνέχεια το αυξάνει σύμφωνα με το άρθρο των Ο. Chum και J. Matas []. Λειτουργεί πιο γρήγορα σε σχέση με τον απλό αλγόριθμο RANSAC αλλά υποθέτει ότι υπάρχει κάποια γνώση των δεδομένων εισόδου του, γεγονός σπάνια εφικτό στις περισσότερες περιπτώσεις. Στο τέταρτο και τελευταίο τμήμα βρίσκεται ο υπολογισμός του πίνακα περιστροφής και μετατόπισης των δύο εικόνων που είναι και το μοντέλο στο οποίο προσπαθεί να ταιριάξει τα δεδομένα εισόδου του ο αλγόριθμος RANSAC. Υπάρχουν και εδώ δύο υποπεριπτώσεις ανάλογα με τις γνώσεις της κάμερας λήψης των εικόνων όμως ο αλγόριθμος που χρησιμοποιείται για τον υπολογισμό των πινάκων και στις δύο περιπτώσεις είναι κοινός και ονομάζεται αλγόριθμος 8-σημείων όπως περιγράφεται στο βιβλίο των Yi Ma και Stefano Soatto [5]: Αν είναι γνωστά στοιχεία για την κάμερα όπως η εστίαση, το μέγεθος και σχήμα των pixels που χρησιμοποιεί και το κέντρο του φακού τότε μπορεί να υπολογιστεί ο πίνακας E, γνωστός και ως essential matrix. Αυτός ο πίνακας εκφράζει τα σημεία των εικόνων σε φυσικές μονάδες μέτρησης. Η περίπτωση όπου είναι γνωστές οι εσωτερικές παράμετροι της κάμερας ονομάζεται calibrated. Αν δεν είναι γνωστά τα στοιχεία της κάμερας τότε δεν μπορεί να υπολογιστεί ο πίνακας E και γι αυτό υπολογίζεται ο πίνακας F, γνωστός και ως fundamental matrix. Αυτός ο πίνακας εκφράζει τα σημεία των εικόνων σε μονάδες pixel καθώς δεν διαθέτει τις κατάλληλες πληροφορίες για να τα ανάγει σε φυσικές μονάδες μέτρησης. Η περίπτωση όπου δεν είναι γνωστές οι εσωτερικές παράμετροι της κάμερας ονομάζεται uncalibrated. Σε αυτή την διπλωματική επιλέχθηκε να χρησιμοποιηθούν οι αλγόριθμοι εύρεσης σημείων (features) στις εικόνες και των δύο κατηγοριών με κύρια έμφαση στον αλγόριθμο Harris και να συγκριθούν τα αποτελέσματα τους. Ως κριτήριο αντιστοίχισης σημείων επιλέχθηκε η κανονικοποιημένη συσχέτιση. Όπως θα φανεί παρακάτω τα αποτελέσματα που προκύπτουν είναι αρκετά καλά παρόλο που σε περιπτώσεις εικόνων που έχουν ληφθεί

14 Σελίδα 5 σε τόσο κοντινό χρονικό διάστημα η μία από την άλλη, όπως είναι η επεξεργασία καρέ (frames) βίντεο προτείνεται η ροή εικόνας (optical flow). Ο λόγος που δεν χρησιμοποιήθηκε η ροή εικόνας είναι ότι η έξοδος της εφαρμογής έπρεπε να είναι ένας πίνακας μεταφοράς και περιστροφής για να μπορεί η εφαρμογή να χρησιμοποιηθεί σε πιο γενικές περιπτώσεις. Ως κύριος αλγόριθμος υπολογισμού μοντέλου χρησιμοποιήθηκε μια παραλλαγή του RANSAC, ο MSAC ο οποίος υπολογίζει τη βέλτιστη λύση ελαχιστοποιώντας μια συνάρτηση απόστασης των σημείων από το υπολογισμένο μοντέλο. Τέλος, το μοντέλο που υπολογίζεται είναι ο πίνακας περιστροφής και μεταφοράς F (fundamental matrix) αφού θεωρήθηκε ότι δεν είναι γνωστές οι εσωτερικές παράμετροι της κάμερας όπως η εστίαση, το σχήμα και το μέγεθος των pixels ή ακόμα και αν ήταν γνωστά θα μπορούσαν να είχαν μεταβληθεί κατά την διάρκεια λήψης του βίντεο αν παραδείγματος χάριν έκανε zoom ο χρήστης της κάμερας. Η διαφορά του πίνακα F από τον προαναφερθέντα πίνακα E οφείλεται στο ότι ο πίνακας F έχει ενσωματωμένη μέσα του την πληροφορία της κάμερας και δεν είναι δυνατό να την αποχωριστεί. Η μαθηματική σχέση που συνδέει τους πίνακες F και Ε είναι: F -T = K * E * K (.) όπου K ο πίνακας των εσωτερικών παραμέτρων της κάμερας και έχει την μορφή: f *s K = 0 0 X f * s f * s 0 θ Y ox o Y (.) Στον παραπάνω πίνακα, f είναι το μήκος εστίασης (focal length), s X και s Y είναι οι διαστάσεις των pixel ως προς τους αντίστοιχους άξονες, o X και ο Υ είναι η θέση του κέντρου των αισθητηρίων της κάμερας λόγω κατασκευής και s θ είναι η γωνία που σχηματίζουν τα pixel. Αν τα pixel είναι τετράγωνα τότε η τιμή του s θ είναι μηδέν. Ο πίνακας K συνήθως δεν είναι γνωστός αλλά υπάρχουν διάφοροι μέθοδοι που χρησιμοποιούνται για τον υπολογισμό του όπως φωτογράφιση γνωστών σε μέγεθος αντικειμένων..3 Δομή Διπλωματικής Στο επόμενο κεφάλαιο θα γίνει μια λεπτομερής περιγραφή της φιλοσοφίας του αλγορίθμου RANSAC ως γενική μαθηματική εφαρμογή. Θα μελετηθεί η λειτουργία του, ο τρόπος με τον οποίο καταλήγει σε λογικά αποτελέσματα και τα πλεονεκτήματα και τα μειονεκτήματά του έναντι άλλων μεθόδων που προσπαθούν να ταιριάξουν δεδομένα εισόδου σε μοντέλο. Τέλος, θα εξηγηθεί η λειτουργία του στη πιο συγκεκριμένη περίπτωση του υπολογισμού του πίνακα μεταφοράς και περιστροφής μεταξύ δύο εικόνων.

15 Σελίδα 6 Στο τρίτο κεφάλαιο θα γίνει μια αναλυτική περιγραφή της εφαρμογής που αναπτύχθηκε στα πλαίσια της παρούσας διπλωματικής. Θα εξηγηθεί η λειτουργία όλων των αλγορίθμων που συντελούν στον υπολογισμό του τελικού μοντέλου του πίνακα μεταφοράς και περιστροφής καθώς και τα σημεία που έπρεπε να προσεχθούν ιδιαιτέρως για την ομαλή λειτουργία της εφαρμογής. Τέλος, στο τέταρτο κεφάλαιο θα γίνει μια λεπτομερής παρουσίαση των πειραματικών αποτελεσμάτων της εφαρμογής. Θα συγκριθούν οι δύο βασικοί αλγόριθμοι εύρεσης σημείων ενδιαφέροντος και θα αναφερθούν οι παράγοντες που τους επηρεάζουν. Επίσης, θα περιγραφούν λεπτομερώς οι παράγοντες που επηρεάζουν το τελικό αποτέλεσμα της εφαρμογής καθώς και τα συμπεράσματα που προέκυψαν κατά την διάρκεια των πειραμάτων.

16 Σελίδα 7 ΚΕΦΑΛΑΙΟ ΦΙΛΟΣΟΦΙΑ ΑΛΓΟΡΙΘΜΟΥ RANSAC. Εισαγωγικά Ο αλγόριθμος RANSAC που χρησιμοποιήθηκε στη παρούσα διπλωματική για τον υπολογισμό του πίνακα μεταφοράς και περιστροφής F (fundamental matrix) λαμβάνοντας ως δεδομένα εισόδου τις αντιστοιχίες των σημείων (features) μεταξύ δύο εικόνων είναι ένας αλγόριθμος γενικής χρήσεων που χρησιμοποιείται σε ένα πλήθος μαθηματικών κυρίως εφαρμογών όπως ανάλυση και επεξεργασία εικόνων, μοντελοποίηση αντικειμένων, ταξινόμηση δεδομένων και αυτόματη χαρτογραφία. Ο RANSAC είναι συντομογραφία του «Random Sample Consensus» και δημοσιεύτηκε αρχικά από τους Fischler και Bolles το 98 []. Πρόκειται για μια επαναληπτική μέθοδος για τον υπολογισμό παραμέτρων ενός μαθηματικού μοντέλου από ένα σετ δεδομένων. Ο RANSAC είναι ένας μη-ντετερμινιστικός αλγόριθμος με την έννοια ότι παράγει ένα λογικό αποτέλεσμα μόνο με μια συγκεκριμένη πιθανότητα, η οποία αυξάνει με τον αριθμό των επαναλήψεων. Παρόλα αυτά, είναι πολύ δημοφιλής γιατί είναι ένας απλός αλγόριθμος που δουλεύει πολύ καλά στη πράξη χωρίς να χρειάζεται να γίνουν υποθέσεις για τα δεδομένα εισόδου του. Η βασική ιδέα του αλγορίθμου είναι ότι τα δεδομένα εισόδου του αποτελούνται από «inliers», δηλαδή από δεδομένα που η κατανομή τους μπορεί να εξηγηθεί βάσει κάποιων παραμέτρων ενός μοντέλου και από «outliers», δηλαδή από δεδομένα που δεν ταιριάζουν σε ένα συγκεκριμένο μοντέλο. Επιπλέον, θεωρείται ότι τα δεδομένα μπορεί να έχουν πειραχθεί από θόρυβο. Τα outliers μπορεί να έχουν προέλθει από υψηλές τιμές θορύβου ή από λανθασμένες μετρήσεις ή ακόμα και από λανθασμένες υποθέσεις σχετικά με την ερμηνεία των δεδομένων. Ο RANSAC επίσης υποθέτει ότι δοσμένου ενός μικρού αριθμού inliers, υπάρχει διαδικασία υπολογισμού των παραμέτρων ενός μοντέλου στο οποίο αυτά ταιριάζουν. Δηλαδή, ακόμα και αν ο θόρυβος έχει επηρεάσει μεγάλο ποσοστό των δεδομένων εισόδου, ο αλγόριθμος RANSAC είναι ικανός να βρει λύση.. Γενική χρήση αλγορίθμου Ο αλγόριθμος RANSAC λειτουργεί λαμβάνοντας ως είσοδο ένα σετ δεδομένων, ένα μοντέλο με παραμέτρους, οι οποίες πρέπει να υπολογιστούν και κάποιες παραμέτρους εμπιστοσύνης. Στη συνέχεια επιτυγχάνει τον σκοπό του επιλέγοντας επαναληπτικά ένα τυχαίο σετ των αρχικών δεδομένων που τα θεωρεί ως υποθετικά inliers και στη συνέχεια τα ελέγχει με την ακόλουθη διαδικασία:

17 Σελίδα 8. Προσπαθεί να ταιριάξει ένα μοντέλο στα υποθετικά inliers, δηλαδή προσπαθεί να ορίσει τις ελεύθερες παραμέτρους του μοντέλου από το σετ δεδομένων.. Όλα τα υπόλοιπα δεδομένα που δεν έχουν επιλεγεί ως υποθετικά inliers για τον σχηματισμό του μοντέλου εξετάζονται αν ταιριάζουν στο μοντέλο και αν ταιριάζουν σε μεγάλο βαθμό θεωρούνται και αυτά υποθετικά inliers. Αυτός ο έλεγχος γίνεται με μια διαδικασία αξιολόγησης που κρίνει με την βοήθεια ενός ορίου αν κάποια δεδομένα είναι inliers ή outliers. 3. Το υποθετικό μοντέλο θεωρείται αρκετά καλό αν σχετικά μεγάλος αριθμός των δεδομένων αποτελούν υποθετικά inliers. 4. Το μοντέλο στη συνέχεια επαναπροσδιορίζεται από όλα τα υποθετικά inliers αφού είχε υπολογιστεί μόνο για το αρχικό σετ δεδομένων. 5. Τελικά το μοντέλο βαθμολογείται υπολογίζοντας το σφάλμα των inliers σε σχέση με το μοντέλο. Η παραπάνω διαδικασία επαναλαμβάνεται συγκεκριμένες φορές αφού ο αριθμός των επαναλήψεων ορίζεται στην αρχή της εκτέλεσης και κάθε φορά παράγει ένα μοντέλο που είτε απορρίπτεται επειδή υπάρχουν πολύ λίγα inliers είτε γίνεται δεκτό μαζί με μια τιμή σφάλματος των inliers. Στο τέλος, το καλύτερο μοντέλο θεωρείται αυτό με την μικρότερη τιμή σφάλματος..3 Παράμετροι αλγορίθμου RANSAC Οι κύριες παράμετροι του αλγορίθμου RANSAC είναι η πιθανότητα p σε μια επανάληψη να επιλέξει ο αλγόριθμος δεδομένα που είναι όλα inliers, ο αριθμός των επαναλήψεων του αλγορίθμου και ο αριθμός των επαναλήψεων του αλγορίθμου για την εύρεση ενός μη-εκφυλισμένου σετ δεδομένων. Εκφυλισμένο σετ δεδομένων ορίζεται ένα σύνολο δεδομένων που δεν μπορεί να ταιριάξει σε κανένα μοντέλο. Κάτι τέτοιο μπορεί να οφείλεται στο γεγονός ότι κάποια δεδομένα μπορεί να μην τηρούν τους περιορισμούς που απαιτούνται για τον υπολογισμό του μοντέλου. Παραδείγματος χάριν, για τον υπολογισμό του πίνακα F (fundamental matrix) θα πρέπει τα δεδομένα να είναι ανεξάρτητα, δηλαδή να μην υπάρχουν κοινά σημεία στις αντιστοιχίες. Σε αντίθετη περίπτωση, είναι αδύνατος ο υπολογισμός του πίνακα F. Αν ο αλγόριθμος βρει ένα τέτοιο σετ δεδομένων τότε επιλέγει άλλο, τόσες φορές όσες χρειάζεται για να βρει ένα μη-εκφυλισμένο σετ που μπορεί να ταιριάξει σε ένα μοντέλο. Η τελευταία λοιπόν παράμετρος καθορίζει τον αριθμό προσπαθειών του αλγορίθμου και τερματίζει την διαδικασία αν ο αλγόριθμος ύστερα από τόσες προσπάθειες δεν καταλήξει σε μη-εκφυλισμένο σετ δεδομένων. Έτσι αποφεύγεται η περίπτωση να κολλήσει ο αλγόριθμος σε ατέρμων βρόγχο. Σε αυτό το σημείο πρέπει να γίνει μια παρατήρηση. Ο αλγόριθμος RANSAC δουλεύει καλύτερα σε θεωρητικό επίπεδο από ότι σε πρακτικό. Αυτό οφείλεται στη πιθανότητα p εύρεσης ενός σετ δεδομένων που αποτελείται μόνο από inliers. Κάτι τέτοιο συμβαίνει γιατί δεν μπορεί να οριστεί με βεβαιότητα μια τέτοια πιθανότητα καθώς δεν είναι γνωστός ο

18 Σελίδα 9 αριθμός των inliers στο αρχικό σετ δεδομένων εισόδου του αλγορίθμου RANSAC. Η πιθανότητα p εκφράζει κυρίως την επιθυμία να βρεθεί σετ δεδομένων χωρίς outliers σε μια επανάληψη και επομένως πρόκειται για την πιθανότητα η λύση του αλγορίθμου να είναι η βέλτιστη. Η πιθανότητα p και ο αριθμός των επαναλήψεων είναι άρρηκτα συνδεδεμένα μεταξύ τους σύμφωνα με τα άρθρα των D. Capel [3] και Ο. Chuma, J. Mattas [4]. Η πιθανότητα ο αλγόριθμος RANSAC να αποτύχει να βρει ένα σετ δεδομένων μεγέθους που αποτελείται μόνο από inliers ύστερα από k επαναλήψεις δίνεται από την σχέση: ( ) k η = p = P (.) Η μεταβλητή P ορίζεται ως η πιθανότητα να επιλεγεί ένα δείγμα m inliers από ένα σετ N αρχικών δεδομένων εισόδου και υπολογίζεται: P = m j= 0 N j j m ε όπου ε = /N είναι το ποσοστό των inliers (.) Έτσι προκύπτει ότι ο απαραίτητος αριθμός επαναλήψεων για να διασφαλιστεί η πιθανότητα η είναι: log( η) k = log(- P ) (.3) Η ικανοποίηση της συνθήκης της εξίσωσης (.3) οδηγεί στο πρόωρο τερματισμό του αλγορίθμου. Έτσι, αυξάνεται η ταχύτητα εκτέλεσής του αφού θεωρείται ότι έχει βρεθεί η βέλτιστη λύση..4 Πλεονεκτήματα και μειονεκτήματα Τα πλεονεκτήματα και μειονεκτήματα του αλγορίθμου RANSAC έχουν αναλυθεί από ένα πλήθος άρθρων όπως αυτά των P.H.S. Torr και P.A. Beardsley [5], V. Nguyen, A. Martinelli [6] και K.A. Berthe, Y. Yan, S. Dembele [7]. Ένα πολύ σπουδαίο προτέρημά του αλγορίθμου RANSAC είναι ότι μπορεί να κάνει εύρωστη εκτίμηση των παραμέτρων του μοντέλου, δηλαδή μπορεί να υπολογίσει με μεγάλη ακρίβεια τις παραμέτρους του μοντέλου ακόμα και όταν στο σετ δεδομένων του υπάρχει μεγάλο ποσοστό outliers, σημείων δηλαδή που δεν ικανοποιούν κάποιο μοντέλο. Επίσης, ο αλγόριθμος RANSAC είναι ένας απλός στην υλοποίηση γενικός αλγόριθμος διχοτόμησης και μπορεί να χρησιμοποιηθεί με πολλά είδη σημείων αν είναι γνωστό το μοντέλο τους. Τέλος, ο RANSAC υπερέχει άλλων αλγορίθμων βελτιστοποίησης στο ότι δεν έχει πρωτεύον σκοπό να αυξήσει

19 Σελίδα 0 την ποσότητα των δεδομένων για την λύση ενός προβλήματος αλλά χρησιμοποιεί το ελάχιστο δυνατό σετ δεδομένων δίνοντας του την δυνατότητα να βρει μια λύση που δεν περιέχει outliers. Ένα μεγάλο μειονέκτημα του αλγορίθμου RANSAC είναι ότι δεν έχει άνω όριο εύρεσης λύσης. Αυτό σημαίνει ότι δεν υπάρχει συγκεκριμένο χρονικό διάστημα μέσα στο οποίο θα υπολογιστούν οι βέλτιστες τιμές των παραμέτρων του μοντέλου. Αν λοιπόν μπει περιορισμός στον αριθμό των επαναλήψεων η λύση που θα έχει βρεθεί μπορεί να μην είναι η βέλτιστη. Ένα ακόμη μειονέκτημα του αλγορίθμου RANSAC είναι ότι απαιτεί τον ορισμό κατωφλίων που εξαρτώνται από το πρόβλημα, γεγονός αρκετά δύσκολο αν η φύση του προβλήματος είναι αρκετά περίπλοκη ή δεν διατίθενται αρκετές γνώσεις πάνω στο πρόβλημα. Τέλος, ο RANSAC μπορεί να υπολογίσει ένα μοντέλο για ένα συγκεκριμένο σετ δεδομένων και επομένως αν ένα σετ δεδομένων ταιριάζει σε δύο ή περισσότερα μοντέλα, ο αλγόριθμος μπορεί να αποτύχει να βρει κάποιο από αυτά..5 Ειδική χρήση αλγορίθμου Πέρα όμως από την γενική του μορφή, ο αλγόριθμος RANSAC αποκτά ειδική μορφή για τον υπολογισμό του πίνακα μεταφοράς και περιστροφής F (fundamental matrix) που εκφράζει την κίνηση της κάμερας κατά την λήψη μιας εικόνας από διαφορετικές οπτικές γωνίες. Στη συγκεκριμένη λοιπόν εφαρμογή, τα δεδομένα εισόδου είναι τα ζεύγη αντιστοιχιών των σημείων (features) δύο διαδοχικών εικόνων και το μοντέλο στο οποίο προσπαθεί ο αλγόριθμος να τα ταιριάξει είναι ο πίνακας μεταφοράς και περιστροφής F που υπολογίζεται από τον αλγόριθμο 8-σημείων. Διάφορα άρθρα και βιβλία έχουν γραφεί για την αντιμετώπιση του συγκεκριμένου προβλήματος με κύριους εκπροσώπους τον R.. Hartley [8], [9], [0], [] και τον A. Zisserman []. Συνοπτικά ο γενικός αλγόριθμος RANSAC μετασχηματίζεται στην παρακάτω διαδικασία για την περίπτωση αντιστοίχισης σημείων:. Επιλέγει σε κάθε επανάληψη ένα τυχαίο σετ 8 ζευγών σημείων από το αρχικό σύνολο ζευγών και τα οποία θεωρεί ως υποθετικά inliers. Η επιλογή 8 σημείων δεν είναι τυχαία αλλά είναι η ελάχιστη δυνατή για τον υπολογισμό του πίνακα F.. Προσπαθεί να υπολογίσει τον πίνακα F (fundamental matrix) διαστάσεων 3x3 από τα υποθετικά inliers μέσω του αλγορίθμου 8-σημείων. 3. Όλα τα υπόλοιπα ζεύγη αντιστοιχιών που δεν έχουν επιλεγεί ως υποθετικά inliers για τον σχηματισμό του πίνακα F εξετάζονται αν ταιριάζουν μέσω της απόστασης Sampson s που συμβολίζεται με d και εκφράζει την απόσταση των πραγματικών σημείων από τις προβολές τους μέσω του πίνακα F. Αν για κάποιο ζεύγος σημείων η απόσταση αυτή είναι πολύ μικρή και κάτω από ένα όριο τότε θεωρείται ότι και αυτό το ζεύγος ανήκει στα υποθετικά inliers.

20 Σελίδα 4. Ο πίνακας μεταφοράς και περιστροφής F θεωρείται αρκετά καλός αν σχετικά μεγάλος αριθμός αντιστοιχιών σημείων αποτελούν υποθετικά inliers. 5. Τελικά ο πίνακας F αξιολογείται αθροίζοντας το σφάλμα όλων των ζευγών σημείων, δηλαδή υπολογίζοντας την απόσταση των πραγματικών σημείων από τις προβολές τους που προκύπτουν από την λύση της γεωμετρίας επιπόλων με τον πίνακα F που υπολογίστηκε. Σύμφωνα με την γεωμετρία επιπόλων, ένα σημείο είναι κοινό σε δύο εικόνες και ο πίνακας μετασχηματισμού του είναι ο F αν ισχύει η παρακάτω εξίσωση: T x = * F * x 0 (.4) 6. Ο πίνακας F με την μικρότερη τιμή σφάλματος επιλέγεται ως βέλτιστος πίνακας και στη συνέχεια επαναπροσδιορίζεται από όλα τα υποθετικά inliers αφού είχε υπολογιστεί μόνο για το αρχικό σετ των 8 σημείων. Περισσότερη ανάλυση πάνω στη λειτουργία του αλγορίθμου RANSAC για την ειδική περίπτωση αντιστοίχισης σημείων γίνεται στο επόμενο κεφάλαιο.

21 Σελίδα

22 Σελίδα 3 ΚΕΦΑΛΑΙΟ 3 ΜΕΘΟΔΟΛΟΓΙΑ ΕΦΑΡΜΟΓΗΣ 3. Βασικές λειτουργίες Σε αυτό το σημείο θα γίνει μια περιγραφή των βασικών λειτουργιών του προγράμματος που αναπτύχθηκε στα πλαίσια της διπλωματικής. Η ανάλυση θα ξεκινήσει από το πρώτο τμήμα του προβλήματος που είναι η αντιστοίχιση σημείων μεταξύ δύο εικόνων και θα περάσει στη συνέχεια στον τρόπο εύρεσης του πίνακα μεταφοράς και περιστροφής F μέσω του αλγορίθμου RANSAC. 3.. Αντιστοίχιση σημείων Το κριτήριο στο οποίο βασίστηκε ο υπολογισμός των αντιστοιχισμένων σημείων μεταξύ δύο εικόνων είναι η κανονικοποιημένη ως προς τη διασπορά συσχέτιση. Η κανονικοποιήμενη συσχέτιση υπολογίζεται σε ένα τετραγωνικό παράθυρο μεγέθους από 5x5 έως x pixels γύρω από τα υπολογισμένα μέσω του αλγορίθμου Harris σημεία (features) των εικόνων. Το μέγεθος του παραθύρου πρέπει να είναι περιττό ώστε να είναι κεντραρισμένο στο σημείο ενδιαφέροντος. Όσο μεγαλύτερο είναι το μέγεθος του παραθύρου τόσο πιο αποτελεσματική είναι η αντιστοίχιση των σημείων των εικόνων αλλά και τόσο πιο μεγάλος είναι ο χρόνος εκτέλεσης του προγράμματος. Για κάθε σημείο της πρώτης εικόνας, οι τιμές των φωτεινοτήτων των σημείων του παραθύρου κανονικοποιούνται ως προς τη μέση τιμή και τη διασπορά και υπολογίζονται οι διαφορές τους από τις κανονικοποιημένες τιμές φωτεινότητας των σημείων παραθύρου ίδιου μεγέθους γύρω από κάθε σημείο της δεύτερης εικόνας. Πιο συγκεκριμένα, αν θεωρηθεί ότι η μέση τιμή φωτεινότητας ενός παραθύρου δίνεται από την σχέση: N x W ( x) ( x) (3.) όπου N W (x) ο αριθμός των σημείων του παραθύρου ενώ η διασπορά από την σχέση: ( ( x) ) σ (3.) x W ( x) τότε η κανονικοποιήμενη συσχέτιση δίνεται από την σχέση [5]:

23 Σελίδα 4 ) ( ) ( ) ( x W x x x NCC σ σ (3.3) Αν αυτή η σχέση αναπτυχθεί στο τετράγωνο τότε απλοποιείται σημαντικά λαμβάνοντας υπόψην ότι το άθροισμα των κανονικοποιημένων ως προς τη μέση τιμή και διασπορά φωτεινοτήτων είναι : ( ) ( ) ( )( ) ( )( ) ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( x W x x W x x W x x W x x x NCC x x x x NCC σ σ σ σ σ σ ( )( ) ) ( ) ( ) ( x W x x x NCC σ σ (3.4) Από την σχέση (3.4) αφαιρούνται οι αριθμοί από μπροστά αφού δεν παίζουν κανένα ρόλο στη συνέχεια. Η τιμή της κανονικοποιημένης συσχέτισης (NCC) κυμαίνεται από - έως και όπου θεωρείται ότι υπάρχει τέλεια συσχέτιση στις τιμές των σημείων των δύο παραθύρων ενώ - θεωρείται ότι τα δύο παράθυρα είναι πλήρως ασυσχέτιστα. Αν οι εικόνες έχουν χρώμα τότε σε κάθε σημείο αντιστοιχούν τρεις τιμές φωτεινοτήτων, μία για το κόκκινο, μία για το πράσινο και μία για το μπλε. Επομένως η μέση τιμή φωτεινότητας, η διασπορά αλλά και η κανονικοποιημένη συσχέτιση (NCC) δεν είναι μονοδιάστατες τιμές αλλά αντιστοιχούν σε διανύσματα τριών διαστάσεων (3x). Η διαδικασία υπολογισμού της κανονικοποιημένης συσχέτισης έχει πολυπλοκότητα O(N*N) όπου Ν είναι ο αριθμός των σημείων της πρώτης εικόνας και Ν ο αριθμός των σημείων της δεύτερης εικόνας καθώς η έξοδος είναι ένας πίνακας τιμών κανονικοποιημένης συσχέτισης διαστάσεων ΝxΝ. Όπως εύκολα προκύπτει, αυτή η διαδικασία μπορεί να είναι πολύ χρονοβόρα ειδικά όταν ο αριθμός των σημείων είναι πολύ μεγάλος. Υπάρχει όμως τρόπος να μειωθεί ο χρόνος εκτέλεσης της διεργασίας αν οριστεί μια μέγιστη επιτρεπτή απόσταση αναζήτησης αντιστοιχιών. Σε αυτή τη περίπτωση δεν θα χρειάζεται να ερευνηθούν όλα τα σημεία της άλλης εικόνας για αντιστοίχιση αλλά όσα ανήκουν σε μια συγκεκριμένη περιοχή αναζήτησης. Υπάρχει όμως ο κίνδυνος να μην εντοπιστούν αρκετές αντιστοιχίες αν οι εικόνες έχουν μεταβληθεί σημαντικά.

24 Σελίδα 5 Η επιλογή των ζευγών σημείων μεταξύ των δύο εικόνων γίνεται ορίζοντας ένα κατώφλι συσχέτισης και ακολουθώντας την παρακάτω διαδικασία: Για κάθε σημείο της πρώτης εικόνας υπολογίζεται η τιμή της κανονικοποιημένης συσχέτισης (NCC) και για τις τρεις συνιστώσες χρώματος με αναφορά κάθε σημείο της δεύτερης εικόνας εφόσον πρόκειται για εικόνα με χρώμα. Αν για κανένα σημείο της δεύτερης εικόνας η κανονικοποιημένη συσχέτιση δεν ξεπερνά το κατώφλι τότε θεωρείται ότι δεν υπάρχει αντιστοιχία για το σημείο της πρώτης εικόνας. Δηλαδή, δεν μπορεί να βρεθεί κατάλληλο σημείο στη δεύτερη εικόνα που να έχει προέλθει ύστερα από μετακίνηση ή περιστροφή του σημείου της πρώτης εικόνας. Αν υπάρχουν ένα ή περισσότερα σημεία στη δεύτερη εικόνα που ξεπερνούν το κατώφλι τότε επιλέγεται το καλύτερο από τον τύπο: ( NCC thresh) + ( NCC thresh) + ( NCC thresh) max (3.5) R G B όπου thresh είναι η τιμή του κατωφλίου, κοινή ως προς και τις τρεις χρωματικές συνιστώσες και NCC R, NCC G, NCC B οι υπολογισμένες τιμές κανονικοποιημένης συσχέτισης για το κόκκινο, πράσινο και μπλε χρώμα αντίστοιχα. Η τιμή του κατωφλίου thresh ορίζεται συνήθως στην περιοχή [0.5-] αφού συγκρίνεται με την τιμή της κανονικοποιημένης συσχέτισης και η οποία δεν μπορεί να ξεπεράσει την μονάδα. Όσο μεγαλύτερη είναι η τιμή του κατωφλίου, τόσο καλύτερες είναι οι αντιστοιχίες σημείων αφού το κατώφλι θεωρείται ως κάτω όριο ομοιότητας σημείων. Παρόλα αυτά, η τιμή του κατωφλίου δεν μπορεί να είναι πολύ κοντά στη μονάδα γιατί ο αλγόριθμος σε αυτή τη περίπτωση δεν θα είναι ελαστικός σε σφάλματα και τα ζεύγη που θα προκύπτουν θα είναι λίγα με αποτέλεσμα ο υπολογισμός του πίνακα μεταφοράς και περιστροφής F να βασίζεται σε μικρό αριθμό inliers και να υπάρχουν αμφιβολίες αν πρόκειται για τον βέλτιστο πίνακα που χαρακτηρίζει τη μετατόπιση της θέσης λήψης των δύο εικόνων. Η ίδια διαδικασία θα εφαρμοστεί και ανάποδα, δηλαδή για κάθε σημείο της δεύτερης εικόνας θα εντοπιστούν τα σημεία της πρώτης εικόνας που η συσχέτισή τους ξεπερνά το κατώφλι αν υπάρχουν και από αυτά θα επιλεγεί το καλύτερο από την προαναφερθείσα σχέση (3.5). Στο τέλος, τα τελικά ζεύγη σημείων θα επιλεγούν ως τα κοινά ζεύγη που προέκυψαν από τις παραπάνω δύο διαδικασίες. Ο λόγος που γίνεται αυτός ο διπλός έλεγχος είναι ότι μπορεί να υπάρχουν σημεία της μιας εικόνας που αντιστοιχίζονται σε περισσότερα από ένα σημεία της άλλης εικόνας. Ύστερα όμως από την επιλογή των κοινών ζευγών που προέκυψαν από τις παραπάνω διαδικασίες, οι τελικές αντιστοιχίες που θα προκύψουν θα είναι μοναδικές, δηλαδή ένα σημείο της μιας εικόνας θα αντιστοιχίζεται το πολύ σε ένα μόνο σημείο της άλλης εικόνας. Ο λόγος που δεν είναι επιθυμητή η αντιστοιχία ενός σημείου σε πολλά είναι ότι δεν μπορεί

25 Σελίδα 6 να υπολογιστεί ο πίνακας μεταφοράς και περιστροφής F αν βρεθούν δύο τέτοια σημεία μέσα στο τυχαία επιλεγμένο σετ δεδομένων καθώς απαιτούνται 8 ανεξάρτητα σημεία για τον υπολογισμό του πίνακα F σύμφωνα με τον αλγόριθμο 8-σημείων [5]. 3.. Αλγόριθμος RANSAC Αφού λοιπόν σχηματιστούν όλες οι διαφορετικές αντιστοιχίες σημείων τότε αυτό το σύνολο των δεδομένων αποτελεί την είσοδο στον αλγόριθμο RANSAC. Ο RANSAC με την σειρά του, εκτελείται N φορές όπου ο αριθμός N έχει οριστεί πριν την εκτέλεση του αλγορίθμου και σε κάθε επανάληψη επιλέγει 8 τυχαία ζεύγη σημείων από το σύνολο των σημείων εισόδου και τα χρησιμοποιεί για να υπολογίσει ένα πίνακα μεταφοράς και περιστροφής F με την βοήθεια του αλγορίθμου 8-σημείων. Ο αλγόριθμος 8-σημείων λειτουργεί παρόμοια και για περισσότερα σημεία αλλά όχι για λιγότερα γιατί τότε δεν μπορεί να βρεθεί μοναδικός πίνακας F αφού ο πίνακας F έχει 8 θέσεις ελευθερίας. Στη πραγματικότητα πρέπει να οριστούν 9 μεταβλητές αφού είναι πίνακας 3x3 στοιχείων αλλά υπάρχει ο περιορισμός ότι η ορίζουσα του πίνακα F πρέπει να είναι μηδέν για να συγκλίνει ως λύση του προβλήματος της γεωμετρίας επιπόλων [5], [] Αλγόριθμος 8-σημείων Ο αλγόριθμος των 8-σημείων λειτουργεί ως εξής [8]:. Αρχικά κανονικοποιεί τα σημεία των δύο εικόνων κεντροποιώντας τα με μέση απόσταση γύρω από το κέντρο ίση με. Αυτή η διαδικασία θεωρείται ότι βελτιώνει την απόδοση των εξισώσεων πάνω στα δεδομένα σε τέτοιες περιπτώσεις όπως ο υπολογισμός του πίνακα F.. Στη συνέχεια με τα κανονικοποιημένα δεδομένα υπολογίζεται ένας πίνακας A διαστάσεων k x 9 όπου k ο αριθμός των σημείων που τοποθετούνται στην είσοδο του αλγορίθμου 8-σημείων. Η j γραμμή του πίνακα Α αποτελείται από τα στοιχεία: [ x~ * ~, j j x x~ * ~, j j y x~, j j y~ * ~, j x y~ * ~, j j y y~, ~ j, ~ j, ] (3.6) j x y Το σύμβολο tilde πάνω από τα στοιχεία δείχνει ότι είναι κανονικοποιημένα. Οι γραμμές του πίνακα Α προκύπτουν από το γινόμενο Kronecker x x όπου x είναι το διάνυσμα των συντεταγμένων ενός σημείου της πρώτης εικόνας και x το διάνυσμα των συντεταγμένων ενός σημείου της δεύτερης εικόνας. 3. Στον πίνακα Α εφαρμόζεται στη συνέχεια η απόσπαση ιδιοτιμών (Singular Value Decomposition). Αυτό σημαίνει ότι υπολογίζονται οι τρεις πίνακες από τους οποίους αποτελείται ο Α με τον μεσαίο S να είναι διαγώνιος: T A = U *S* V (3.7)

26 Σελίδα 7 Το σύμβολο T πάνω από τον πίνακα V δείχνει ότι είναι ανάστροφος. Ύστερα από αυτή την διαδικασία μπορεί να ληφθεί μια πρώτη εκτίμηση του πίνακα F ως η ένατη στήλη του πίνακα V. Η ένατη στήλη του πίνακα V αντιπροσωπεύει το ιδιοδιάνυσμα με την χαμηλότερη ιδιοτιμή του πίνακα Α Τ * Α. Αυτό το ιδιοδιάνυσμα είναι η τιμή που ελαχιστοποιεί την συνάρτηση: A *F S = 0 (3.8) που αποτελεί μια παραλλαγή του περιορισμού επιπόλων (epipolar constraint): T x = S * F * x 0 (3.9) S Το διάνυσμα F διαστάσεων 9x στη συνέχεια παίρνει την μορφή πίνακα 3x3 με τα στοιχεία του διατεταγμένα όπως φαίνεται παρακάτω: F F = F F S S 4 S 7 F F F S S 5 S 8 F F F S 3 S 6 S 9 (3.0) 4. Στη συνέχεια εφαρμόζεται στον υπολογισμένο πίνακα F ο περιορισμός τάξης- (rank- constraint), δηλαδή τίθεται η μικρότερη ιδιοτιμή του ίση με 0. Ο λόγος που συμβαίνει αυτό είναι ότι ο πίνακας F γράφεται ως γινόμενο πινάκων με την μορφή: F ˆ -T = K * T * R * K (3.) όπου ο πίνακας Κ αναφέρεται στον πίνακα εσωτερικών παραμέτρων της κάμερας, ο πίνακας Τ είναι το διάνυσμα της μετατόπισης της θέσης λήψης των εικόνων και με το σύμβολο ^ αποκτά την μορφή: Tˆ 0 = T3 T T 0 T 3 T T 0 (3.) και ο πίνακας R είναι ο πίνακας περιστροφής της θέσης λήψης των εικόνων. Ενώ όλοι οι πίνακες είναι τρίτης τάξης, ο πίνακας Τˆ είναι δευτέρας τάξης με αποτέλεσμα να είναι και ο πίνακας F δευτέρας τάξης. Για να γίνει λοιπόν ο πίνακας F δευτέρας τάξης εφαρμόζεται και πάλι η απόσπαση ιδιοτιμών (SVD) όπως στην

27 Σελίδα 8 εξίσωση (3.7) και λαμβάνονται οι πίνακες U, της μορφής: F S F και V F όπου ο πίνακας S F είναι SF 3 = diag{ σ, σ, σ } όπου σ σ σ 0 (3.3) 3 Στο παραπάνω πίνακα τίθεται το στοιχείο σ 3 που αποτελεί και την μικρότερη ιδιοτιμή ίσο με 0 και με ίδιους τους πίνακες U F και V F προκύπτει ο νέος πίνακας F από την σχέση: F F T F F = U *S * V (3.4) όπου = diag{ σ, σ,0} (3.5) SF 5. Τέλος, ο πίνακας F που υπολογίστηκε στο βήμα 4 αποκανονικοποιείται. Επειδή τα δεδομένα που εισήχθησαν στον αλγόριθμο 8-σημείων αρχικά κανονικοποιήθηκαν, ο πίνακας F υπολογίστηκε για τα κανονικοποιημένα δεδομένα και όχι για τα αρχικά δεδομένα εισόδου. Έτσι θα πρέπει τώρα να λάβει την σωστή του τιμή. Αν H είναι ο 3x3 πίνακας κανονικοποίησης των σημείων της πρώτης εικόνας, δεδομένου ότι τα σημεία εκφράζονται σε ομογενείς συντεταγμένες και H ο 3x3 πίνακας κανονικοποίησης των σημείων της δεύτερης εικόνας τότε ο τελικός πίνακας F θα προκύψει από την παρακάτω εξίσωση: F = H H (3.6) T * F * Ο πίνακας F της εξίσωσης (3.6) αποτελεί και την έξοδο του αλγορίθμου 8-σημείων. Αφού λοιπόν υπολογιστεί ο πίνακας F ορίζεται ένα κατώφλι για να βρεθούν ποιά ζεύγη σημείων ανήκουν στο μοντέλο, δηλαδή ικανοποιούν τον περιορισμό επιπόλων (epipolar T constraint) x * F * x οπότε και ονομάζονται inliers και ποιά ζεύγη δεν ικανοποιούν τον περιορισμό και ονομάζονται outliers. Ο έλεγχος αυτός γίνεται με την επίλυση της παρακάτω εξίσωσης που εκφράζει το σφάλμα προβολής (reprojection error) [5]: n j j φ (x) = x~i x i (3.7) j= i= όπου το x ~ εκφράζει το υπολογισμένο σημείο προβολής ενώ το x εκφράζει το πραγματικό σημείο προβολής. Ουσιαστικά, η παραπάνω εξίσωση δείχνει την απόκλιση του αντιστοιχισμένου σημείου της δεύτερης εικόνας από το σημείο που θα προέκυπτε αν προβαλλόταν το σημείο της πρώτης εικόνας στη δεύτερη με το μοντέλο του πίνακα μεταφοράς και περιστροφής F. Επειδή όμως μια τέτοια εξίσωση είναι δύσκολο να ελαχιστοποιηθεί, χρησιμοποιείται μια απλοποιημένη πρώτης τάξης προσέγγιση της η οποία

28 Σελίδα 9 οδηγεί σε απλούστερους αλγορίθμους βελτιστοποίησης ενώ διατηρεί μια ισχυρή γεωμετρική ερμηνεία. Αυτή η συνάρτηση που ονομάζεται απόσταση Sampson s (Sampson s distance) φαίνεται παρακάτω για την j αντιστοιχία σημείων [5], [9]: d j jt j ( x * F * x ) j = (3.8) T F * x + F * x j Οι διπλές κάθετες γραμμές στα διανύσματα του παρονομαστή δηλώνουν το μέτρο του διανύσματος που περιέχουν. Η απόσταση Sampson s συγκλίνει πάντα σε τοπικό ακρότατο καθώς το κάτω όριό της είναι το 0. Η ερμηνεία της παραπάνω συνάρτησης είναι ότι όσο πιο πολύ ταιριάζει ένα ζεύγος σημείων στο μοντέλο που υπολογίστηκε, τόσο πιο πολύ θα ικανοποιεί τον περιορισμό επιπόλων και επομένως τόσο πιο πολύ θα τείνει ο αριθμητής στο μηδέν. Ο παρονομαστής της συνάρτησης (3.8) εκφράζει τις γραμμές επιπόλων στις οποίες πρέπει να ανήκει η προβολή τόσο του σημείου της πρώτης εικόνας στη δεύτερη όσο και της δεύτερης στη πρώτη για να θεωρείται αντιστοιχία. Με αυτό τον τρόπο διατηρείται και η γεωμετρική ερμηνεία του προβλήματος. Οι γραμμές επιπόλων δίνονται από τις εξισώσεις: = F T * x και = F * x (3.9) Για μια καλύτερη ερμηνεία τόσο των γραμμών επιπόλων όσο και των προβολών δίνεται παρακάτω ένα σχήμα της γεωμετρίας επιπόλων: Σχήμα 3.: Μοντέλο γεωμετρίας επιπόλων Στο παραπάνω σχήμα ο και ο είναι οι θέσεις της κάμερας που φωτογραφίζουν το σημείο p. Τα σημεία x και x είναι οι προβολές του σημείου p πάνω στο πέτασμα της κάμερας και επομένως πάνω στις εικόνες που προκύπτουν. Τα σημεία e και e λέγονται

29 Σελίδα 0 επίπολα και είναι οι τομές των πλάνων των εικόνων με τον κοινό άξονα που συνδέει τις θέσεις της κάμερας. Τέλος, με και απεικονίζονται οι γραμμές επιπόλων που συνδέουν τα αντίστοιχα σημεία προβολής με τα επίπολα. Σύμφωνα λοιπόν με την γεωμετρία επιπόλων δύο σημεία είναι αντίστοιχα αν κείτονται πάνω στις αντίστοιχες γραμμές επιπόλων. Για όσα ζεύγη σημείων η απόσταση Sampson s d που υπολογίζεται από την εξίσωση (3.8) είναι μικρότερη του κατωφλίου τότε αυτά θεωρούνται inliers και σχηματίζουν το σετ συμφωνίας (consensus set). Όσο πιο κοντά στο μηδέν είναι η τιμή του κατωφλίου, τόσο πιο μικρή είναι η ανοχή του αλγορίθμου στα σφάλματα. Επομένως, σε αυτή τη περίπτωση κρατούνται μόνο οι καλύτερες αντιστοιχίες σημείων ως inliers και επομένως ο αριθμός τους μικραίνει. Παρόλα αυτά χρειάζονται κάποιες ανοχές γιατί η απόσταση d είναι συνήθως μεγαλύτερη του μηδενός αφού το μοντέλο του πίνακα μεταφοράς και περιστροφής F είναι βέλτιστο και όχι ιδανικό και η συνάρτηση της απόστασης Sampson s (3.8) αποτελεί προσέγγιση της συνάρτησης σφάλματος προβολής (3.7). Στη συνέχεια επιλέγονται τυχαία άλλα 8 σημεία από το σύνολο των δεδομένων που δεν αποκλείεται να συμπίπτουν με τα παλιά και η ίδια διαδικασία επαναλαμβάνεται ξανά. Για την εύρεση της καλύτερης λύσης χρησιμοποιείται η παρακάτω απλή συνάρτηση σφάλματος που υπολογίζεται ως άθροισμα των επιμέρους σφαλμάτων όλων των ζευγών σημείων: C = n c j j= (3.0) Τα επιμέρους σφάλματα υπολογίζονται από τις παρακάτω εξισώσεις: c j c j j = d αν d j < thresh ή = thresh αν thresh d j >= (3.) Όπως φαίνεται από την εξίσωση (3.) τα δεδομένα που θεωρούνται inliers επιβαρύνονται με το σφάλμα που προκύπτει από τον υπολογισμό της απόστασης Sampson s της εξίσωσης (3.8) ενώ τα δεδομένα που θεωρούνται outliers επιβαρύνονται με ένα σταθερό κόστος που είναι ίσο με το κατώφλι. Ο λόγος που τα outliers δεν επιβαρύνονται και αυτά με το κόστος της απόστασης Sampson s είναι ότι δεν είναι επιθυμητό να επηρεάζουν τα outliers σε μεγάλο βαθμό την συνάρτηση κόστους και επομένως το τελικό μοντέλο. Μερικά outliers που απέχουν αρκετά από ένα βέλτιστο μοντέλο και τα οποία μπορεί να οφείλονται σε θόρυβο και όχι σε πραγματικά δεδομένα μπορεί να οδηγήσουν το μοντέλο σε απόρριψη. Για να αποφευχθεί η παραπάνω περίπτωση τα outliers βαθμολογούνται ομοιόμορφα και το μοντέλο που υπολογίζεται από τον αλγόριθμο RANSAC γίνεται πιο ανθεκτικό στα σφάλματα και στο θόρυβο.

30 Σελίδα Στο τέλος των επαναλήψεων έχει κρατηθεί η καλύτερη λύση, δηλαδή αυτή που ελαχιστοποιεί την συνάρτηση σφάλματος των εξισώσεων (3.0) και (3.). Αν ο αλγόριθμος ολοκληρώσει τις επαναλήψεις τότε θεωρείται ότι δεν ήταν επιτυχημένη η εύρεση βέλτιστου μοντέλου και έτσι επιστρέφεται το καλύτερο μοντέλο που υπολογίστηκε μέχρι εκείνη τη στιγμή. Αυτό οφείλεται στο γεγονός ότι ο αλγόριθμος RANSAC τερματίζει αν διαπιστωθεί ότι έχει βρεθεί η καλύτερη δυνατή λύση και δεν υπάρχουν περιθώρια βελτίωσης. Ο έλεγχος εύρεσης βέλτιστης λύσης γίνεται με την παρακάτω διαδικασία: Σε κάθε επανάληψη μετριέται ο αριθμός των inliers και outliers που προέκυψαν από την εφαρμογή του μοντέλου στα δεδομένα εισόδου και υπολογίζεται ο μέσος όρος των επαναλήψεων που απαιτούνται για την εύρεση της βέλτιστης λύσης από την εξίσωση: log(- p) N = (3.) log( pnooutliers) όπου το p συμβολίζει την πιθανότητα να βρεθεί σε μια επανάληψη ένα σετ δεδομένων χωρίς outliers και ορίζεται στην αρχή της εκτέλεσης του αλγορίθμου και το pnooutliers συμβολίζει το ποσοστό των outliers μέσα στο αρχικό σετ δεδομένων όπως προκύπτει από την εφαρμογή του μοντέλου στα δεδομένα εισόδου και υπολογίζεται σε κάθε επανάληψη. Η πιθανότητα p παίρνει συνήθως την αυθαίρετη τιμή 0.99 δηλώνοντας ότι αυτή είναι η πιθανότητα να βρει ο αλγόριθμος μια χρήσιμη λύση. Αν ο αριθμός των επαναλήψεων του αλγορίθμου RANSAC φτάσουν τον αριθμό N που υπολογίστηκε στην εξίσωση (3.) τότε θεωρεί ο αλγόριθμος ότι έχει βρεθεί η βέλτιστη λύση και τερματίζεται η εκτέλεσή του. Έτσι αυξάνεται η ταχύτητα εκτέλεσης του αλγορίθμου και αποφεύγονται άσκοπες επαναλήψεις. Αν όμως ο αλγόριθμος ολοκληρώσει όλες τις επαναλήψεις τότε θεωρείται ότι απέτυχε να βρει την βέλτιστη λύση και επιστρέφει την καλύτερη λύση που έχει υπολογιστεί μέχρι εκείνη τη χρονική στιγμή. Στο τελικό βήμα του αλγορίθμου, επαναπροσδιορίζεται ο πίνακας μεταφοράς και περιστροφής F (fundamental matrix) εκτελώντας ξανά τον αλγόριθμο 8-σημείων με είσοδο αυτή τη φορά όλα τα ζεύγη σημείων που αποτελούν το σετ συμφωνίας (consensus set) της τελικής βέλτιστης λύσης αφού αρχικά είχε υπολογιστεί μόνο για 8 σημεία. Επειδή όμως το θέμα της διπλωματικής είναι η αντιστοίχιση σημείων με την μέθοδο RANSAC σε ροή βίντεο, ο αλγόριθμος παίρνει ως είσοδο το αρχείο βίντεο και το χωρίζει σε καρέ (frames) που τα διαχειρίζεται ανά δύο και εκτελεί την προαναφερθείσα διαδικασία. Έτσι υπολογίζεται ένας πίνακας μεταφοράς και περιστροφής F για κάθε δυάδα καρέ του βίντεο.

31 Σελίδα Μια παρατήρηση που μπορεί να γίνει σε αυτό το σημείο είναι ότι ο αλγόριθμος RANSAC στην μορφή με την οποία παρουσιάστηκε πιο πάνω θεωρεί ότι οι εικόνες που επεξεργάζεται είναι στατικές. Με άλλα λόγια, είτε το περιεχόμενο της εικόνας μετακινείται ενιαία ως ένα αναπόσπαστο σύνολο σημείων είτε μένει ακίνητο και μετακινείται η κάμερα. Δηλαδή, δεν υπάρχουν κινούμενα αντικείμενα μέσα στην εικόνα ή αν υπάρχουν εκλαμβάνονται ως θόρυβος. Αυτό συμβαίνει γιατί η έξοδος του αλγορίθμου είναι ένας πίνακας μεταφοράς και περιστροφής όλης της εικόνας. Περισσότερα όμως πάνω σε αυτό το θέμα θα εξηγηθούν στο επόμενο κεφάλαιο όπου αναπτύσσονται τα προβλήματα που παρουσιάστηκαν κατά την ανάπτυξη της εφαρμογής.

32 Σελίδα 3 ΚΕΦΑΛΑΙΟ 4 ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ Μια σημαντική παρατήρηση που πρέπει να γίνει στην αρχή είναι ότι ο αλγόριθμος RANSAC βασίζεται εν μέρει στην τύχη, με την έννοια ότι τα δεδομένα που επιλέγονται ως υποθετικά inliers για τον σχηματισμό του μοντέλου του πίνακα μεταφοράς και περιστροφής F είναι τυχαία. Αυτό έχει ως αποτέλεσμα και τα μοντέλα που υπολογίζονται σε κάθε επανάληψη πάνω στα ίδια δεδομένα εισόδου να διαφέρουν σε διαφορετικές εκτελέσεις του αλγορίθμου. Για αυτό το λόγο, δεν είναι ποτέ γνωστό σε ποια επανάληψη ο αλγόριθμος RANSAC θα βρει την βέλτιστη λύση. Με την ίδια λογική, ακόμη και το τελικό μοντέλο που υπολογίζεται μπορεί να διαφέρει σε διαφορετικές εκτελέσεις του αλγορίθμου, με αποτέλεσμα να μην υπάρχει κοινή βάση σύγκρισης του βέλτιστου μοντέλου. Για την ανάλυση των αποτελεσμάτων που θα παρουσιαστούν παρακάτω θα χρησιμοποιηθεί ως κριτήριο σύγκρισης των μοντέλων το σφάλμα προσέγγισης που δίνεται από τις εξισώσεις (3.0) και (3.). Το πρόγραμμα στο οποίο βασίστηκαν τα παρακάτω πειράματα αναπτύχθηκε στη γλώσσα προγραμματισμού C και στο ολοκληρωμένο περιβάλλον ανάπτυξης Dev-C Εκτός όμως από τις βασικές βιβλιοθήκες συναρτήσεων χρειάστηκε να εγκατασταθεί και η βιβλιοθήκη OpenCV έκδοση.pre με συναρτήσεις κατάλληλες για επεξεργασία εικόνας και βίντεο. Αυτή η βιβλιοθήκη μπορεί να βρεθεί στη σελίδα Παρόλα αυτά, για να τρέξει η βιβλιοθήκη OpenCV μέσω του περιβάλλοντος Dev-C++ πρέπει να γίνουν κάποιες αλλαγές. Από το περιβάλλον Dev-C++ και επιλέγοντας Tools-> Compiler Options πρέπει να προστεθεί στην καρτέλα Compiler στο linker command line η εντολή (-lhighgui lcv lcxcore lcvaux) έτσι ώστε να μπορεί ο linker να συμπεριλάβει την βιβλιοθήκη OpenCV κατά τον σχηματισμό του προγράμματος. Επίσης θα πρέπει να μπορέσει και ο compiler να αναγνωρίσει τις νέες εντολές της βιβλιοθήκης. Αυτό γίνεται προσθέτοντας στην καρτέλα Directories του Tools-> Compiler Options τις κατάλληλες διευθύνσεις στις οποίες είναι εγκατεστημένη η βιβλιοθήκη OpenCV. Το βίντεο εισόδου που επεξεργάζεται η εφαρμογή τραβήχτηκε από ψηφιακή φωτογραφική μηχανή. Πρόκειται για το μοντέλο DSC-W70 της Sony με φακό ευρείας γωνίας 8mm, οπτικό zoom 5x και ψηφιακό zoom 0x. Το μέγιστο διάφραγμα της είναι F3.3-F5.. Η ανάλυσή της είναι 0. Mpixels ενώ η ανάλυση του βίντεο είναι 640x480.

33 Σελίδα 4 Το βίντεο εισόδου που εισάγεται στο πρόγραμμα πρέπει να είναι ασυμπίεστο και τύπου avi, αλλιώς δεν μπορεί να γίνει η επεξεργασία του από τη γλώσσα προγραμματισμού C. Αυτό οφείλεται στο γεγονός ότι δεν υπάρχει κάποιος ενσωματωμένος αποκωδικοποιητής βίντεο στη C που να μπορεί να διαχειριστεί ένα κωδικοποιημένο βίντεο εισόδου. 4. Πείραμα : Σύγκριση αλγορίθμων εντοπισμού σημείων (features) Όπως έχει προαναφερθεί υπάρχουν δύο ειδών αλγόριθμοι για τον εντοπισμό σημείων ενδιαφέροντος (features) στις εικόνες. Αυτοί είναι οι αλγόριθμοι εντοπισμού γωνιών με κύριο αντιπρόσωπο τον αλγόριθμο Harris και οι αλγόριθμοι εντοπισμού εξεχόντων σημείων με κύριο αντιπρόσωπο τον αλγόριθμο SFT. 4.. Αλγόριθμος Harris Ο αλγόριθμος Harris όπως υλοποιήθηκε στη παρούσα διπλωματική δίνει σημεία ενδιαφέροντος που εξαρτώνται από δύο παράγοντες. Ο πρώτος παράγοντας είναι η ελάχιστη απόσταση μεταξύ σημείων και ο δεύτερος η ποιότητα (quality). Η ελάχιστη απόσταση μεταξύ σημείων λειτουργεί ως φίλτρο που καθορίζει βάσει της απόστασης των σημείων στην εικόνα ποια σημεία θα κοπούν και ποια θα περάσουν. Αν δύο επιλεγμένα σημεία είναι πολύ κοντά, τότε επιλέγεται το σημείο με την μεγαλύτερη τιμή και το άλλο κόβεται. Για να γίνει πιο ξεκάθαρη η χρήση της ποιότητας, σημειώνεται ότι ο αλγόριθμος Harris δίνει μια τιμή σε κάθε σημείο της εικόνας και βρίσκει ανάμεσα σε αυτές τις τιμές το ολικό μέγιστο. Στη συνέχεια επιλέγει τα σημεία ενδιαφέροντος βάσει της ποιότητας που παίρνει τιμές από 0 έως. Από το σύνολο των σημείων επιλέγονται αυτά που ο λόγος της τιμής τους ως προς το ολικό μέγιστο είναι μεγαλύτερος ή ίσος της ποιότητας. Δηλαδή, όσο μικρότερη είναι η τιμή της ποιότητας, τόσο πιο πολλά σημεία επιλέγονται αλλά αυτά τα σημεία δεν είναι όλα τόσο σημαντικά. Σε αυτό το πείραμα μεταβλήθηκε η τιμή της ποιότητας με σκοπό να φανούν οι μεταβολές στον αριθμό των σημείων που εντοπίζονται πάνω στις εικόνες. Στη πρώτη περίπτωση η ποιότητα έλαβε τη τιμή 0. και εντοπίστηκαν 64 σημεία ενδιαφέροντος. Στη δεύτερη περίπτωση η ποιότητα έλαβε τη τιμή 0.00 και βρέθηκαν 34 σημεία ενδιαφέροντος. Οι εικόνες που προέκυψαν απεικονίζουν και στις δύο περιπτώσεις το πρώτο καρέ του βίντεο εισόδου με ανάλυση 640x480.

34 Σελίδα 5 Εικόνα 4.: Σημεία ενδιαφέροντος αλγορίθμου Harris με ποιότητα (quality) 0. Εικόνα 4.: Σημεία ενδιαφέροντος αλγορίθμου Harris με ποιότητα (quality) 0.00

35 Σελίδα 6 Στη συνέχεια απεικονίζεται η εξάρτηση του αριθμού των σημείων ενδιαφέροντος από την ποιότητα. Το παρακάτω διάγραμμα προήλθε από την εκτέλεση της εφαρμογής πάνω στο πρώτο καρέ του βίντεο μεταβάλλοντας τη τιμή της ποιότητας. Διάγραμμα 4.: Απεικόνιση της εξάρτησης του αριθμού των σημείων ενδιαφέροντος από την ποιότητα Όπως φαίνεται από το διάγραμμα, η ποιότητα είναι αντιστρόφως ανάλογη του αριθμού των σημείων ενδιαφέροντος (features). Για μεγάλες τιμές της ποιότητας, όμως, ο αριθμός των σημείων δεν μειώνεται σημαντικά αφού έχουν βρεθεί τα πιο σημαντικά σημεία της εικόνας. Όπως έχει προαναφερθεί η διαδικασία υπολογισμού των αντιστοιχιών από την κανονικοποιημένη συσχέτιση είναι πολύ χρονοβόρα όταν ο αριθμός των σημείων είναι πολύ μεγάλος. Έτσι, θα πρέπει να αποφεύγονται πολύ χαμηλές τιμές της ποιότητας του αλγορίθμου Harris. 4.. Αλγόριθμος SFT Ο αλγόριθμος SFT είναι πιο περίπλοκος στον υπολογισμό των σημείων ενδιαφέροντος πάνω στην εικόνα αφού ψάχνει για σημεία με ιδιαίτερα χαρακτηριστικά που δεν επηρεάζονται από τις μεταβολές της κλίμακας, της αντίθεσης ή της περιστροφής. Ο αριθμός των σημείων που υπολογίζει εξαρτάται από πολλούς παράγοντες που δεν είναι στα πλαίσια αυτής της διπλωματικής να εξηγηθούν. Με τις καθορισμένες (default) τιμές παραμέτρων

36 Σελίδα 7 υπολογίζει 73 σημεία ενδιαφέροντος στο πρώτο καρέ του βίντεο όπως φαίνεται στη παρακάτω εικόνα: Εικόνα 4.3: Σημεία ενδιαφέροντος αλγορίθμου SFT 4..3 Συμπεράσματα Παρόλο που και οι δύο αλγόριθμοι δεν διαφέρουν σημαντικά στην επιλογή σημείων, ο αλγόριθμος SFT θεωρείται πιο αποτελεσματικός στον υπολογισμό του πίνακα μεταφοράς και περιστροφής F με την μέθοδο RANSAC καθώς παράγει καλύτερες αντιστοιχίες που βασίζονται σε διανύσματα περιγραφής των σημείων και όχι μόνο στη φωτεινότητα. Το μεγάλο του μειονέκτημα όμως είναι ο χρόνος που απαιτείται για τον υπολογισμό των σημείων ενδιαφέροντος, γεγονός που επιβαρύνει σημαντικά το συνολικό χρόνο εκτέλεσης του προγράμματος. Από την άλλη πλευρά, αρνητικό είναι και το γεγονός ότι ο αλγόριθμος Harris τείνει να εντοπίζει σημεία σε συγκεκριμένες περιοχές της εικόνας, ιδιαίτερα όταν ο αριθμός τους είναι μικρός, όπως φαίνεται στην εικόνα 4.. Η ύπαρξη συγκεντρωμένων σημείων ενδιαφέροντος οδηγεί σε κάποια επιφυλακτικότητα αν ο τελικός πίνακας μεταφοράς και περιστροφής που προκύπτει από την εφαρμογή χαρακτηρίζει όλη την εικόνα και όχι την συγκεκριμένη περιοχή που εντοπίζονται τα σημεία ενδιαφέροντος. Σε αυτό το σημείο είναι σωστό να γίνει μια αναφορά στο τρόπο απεικόνισης των αποτελεσμάτων στην έξοδο της εφαρμογής. Τα κόκκινα X που είναι σημειωμένα πάνω στις

37 Σελίδα 8 εικόνες αντιπροσωπεύουν τις θέσεις των inliers, δηλαδή των σημείων που ικανοποιούν το μοντέλο. Εκτός όμως από τα κόκκινα X εμφανίζονται από πάνω τους και κάποιοι αριθμοί. Η χρησιμότητα αυτών των αριθμών έγκειται στη παρακολούθηση συγκεκριμένων σημείων καθώς η εφαρμογή εκτελείται. Τα επόμενα πειράματα που θα εκτελεστούν έχουν σκοπό να φανερώσουν την εξάρτηση της βέλτιστης λύσης που υπολογίζει η εφαρμογή από ορισμένες παραμέτρους. Ονομαστικά, οι κύριοι παράγοντες που επηρεάζουν το αποτέλεσμα της εφαρμογής είναι το κατώφλι κανονικοποιημένης συσχέτισης, το μέγεθος του παραθύρου της κανονικοποιημένης συσχέτισης, το κατώφλι αποδοχής των inliers και ο αριθμός των επαναλήψεων του αλγορίθμου RANSAC. Ως είσοδος όλων των παρακάτω πειραμάτων τέθηκε το βίντεο εισόδου που αναφέρθηκε στην αρχή με ανάλυση εικόνας 640x480 και 383 καρέ. Τα παρακάτω πειράματα εκτελέστηκαν με αλγόριθμο εντοπισμού σημείων τον αλγόριθμο Harris με ποιότητα σταθερή και ίση με 0.. Παρόλο που αυτή η τιμή της ποιότητας δίνει μικρό αριθμό σημείων (features) επιτρέπει την γρήγορη εκτέλεση του αλγορίθμου καθώς επίσης και την ανάδειξη ορισμένων προβλημάτων που θα εξηγηθούν στη συνέχεια. 4. Πείραμα : Εξάρτηση βέλτιστης λύσης από το κατώφλι κανονικοποιημένης συσχέτισης Ο σκοπός του συγκεκριμένου πειράματος είναι να φανεί η εξάρτηση του αριθμού των inliers της βέλτιστης λύσης αλλά και του σφάλματος του τελικού μοντέλου που υπολογίζει η εφαρμογή από το κατώφλι κανονικοποιημένης συσχέτισης. Για το λόγο αυτό, η εφαρμογή εκτελέστηκε δύο φορές με τιμές κατωφλίου 0.8 και 0.9 αντίστοιχα. Οι υπόλοιπες παράμετροι που επηρεάζουν το τελικό αποτέλεσμα ήταν σταθερές και τέθηκαν και στις δύο περιπτώσεις ίσες με 0.0 για το κατώφλι αποδοχής των inliers, για το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης και 000 για τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC. Τα αποτελέσματα που προέκυψαν φαίνονται στο πίνακα 4. για διάφορα καρέ του βίντεο. Αριθμός Καρέ Τιμή κατωφλίου 0.8 Τιμή κατωφλίου 0.9 Αριθμός inliers Σφάλμα μοντέλου Αριθμός inliers Σφάλμα μοντέλου , , , , , ,00000 Πίνακας 4.: Εξάρτηση αριθμού inliers και σφάλματος μοντέλου από το κατώφλι κανονικοποιημένης συσχέτισης

38 Σελίδα 9 Στη συνέχεια παρουσιάζονται τα διαγράμματα της εξάρτησης του αριθμού των inliers και του σφάλματος του βέλτιστου μοντέλου από την τιμή του κατωφλίου κανονικοποιημένης συσχέτισης. Αυτά τα διαγράμματα προέκυψαν από την εκτέλεση του αλγορίθμου με διάφορες τιμές κατωφλίου ενώ τα αποτελέσματα προέκυψαν από την εφαρμογή του μέσου όρου στα καρέ από 0 έως 7 όπως απεικονίζονται στο πίνακα 4. για να μην βασίζονται στη τυχαία επιλογή σημείων του αλγορίθμου RANSAC. Οι υπόλοιπες παράμετροι παρέμειναν σταθερές κατά την διάρκεια του πειράματος και με ίδιες τιμές όπως ορίστηκαν παραπάνω. Διάγραμμα 4.: Εξάρτηση του αριθμού των inliers από το κατώφλι συσχέτισης Διάγραμμα 4.3: Εξάρτηση του σφάλματος του μοντέλου από το κατώφλι συσχέτισης

39 Σελίδα Συμπεράσματα Η τιμή του κατωφλίου κανονικοποιημένης συσχέτισης επηρεάζει σημαντικά το αποτέλεσμα του αλγορίθμου RANSAC. Όπως φαίνεται από τα παραπάνω διαγράμματα η αύξηση της τιμής του κατωφλίου οδηγεί σε μείωση των inliers καθώς λιγότερα ζεύγη σημείων γίνονται αποδεκτά ως αντιστοιχίες από τον αλγόριθμο εύρεσης αντιστοιχιών με την χρήση της κανονικοποιημένης συσχέτισης και επομένως, τα δεδομένα εισόδου του αλγορίθμου RANSAC είναι μειωμένα. Παρόλα αυτά, η αύξηση της τιμής του κατωφλίου οδηγεί σε μείωση του σφάλματος του τελικού μοντέλου και επομένως σε καλύτερους πίνακες μεταφοράς και περιστροφής F. Αυτό οφείλεται στο γεγονός ότι οι αντιστοιχίες που γίνονται αποδεκτές, είναι καλύτερες και οδηγούν σε μια γενικά πιο βέλτιστη λειτουργία του αλγορίθμου. Όμως, η τιμή του κατωφλίου δεν πρέπει να αυξηθεί αλόγιστα γιατί τότε μπορεί να μην υπάρχουν αρκετές αντιστοιχίες για να προκύψει μοντέλο ενώ όπως φαίνεται από το διάγραμμα 4.3 το σφάλμα μοντέλου επηρεάζεται ελάχιστα για μεγάλες τιμές του κατωφλίου. Παρόλο που είναι επιθυμητό το μοντέλο να παρουσιάζει όσο μικρότερο σφάλμα γίνεται, θα πρέπει και ο αριθμός των inliers να είναι αρκετά υψηλός έτσι ώστε η ποιότητα του μοντέλου να μην είναι αμφισβητήσιμη. Αυτό οφείλεται στο γεγονός ότι όταν ένα μοντέλο ικανοποιείται από πολλά σημεία, τότε υπάρχει μεγάλη βεβαιότητα ότι αυτό το μοντέλο εκφράζει το σύνολο των σημείων. Μια συνηθισμένη τιμή για το κατώφλι κανονικοποιημένης συσχέτισης είναι 0.9, η οποία όπως φαίνεται από τα διαγράμματα 4. και 4.3 δίνει αρκετά χαμηλό σφάλμα μοντέλου ενώ ο αριθμός των inliers διατηρείται αρκετά υψηλός. 4.3 Πείραμα 3: Εξάρτηση βέλτιστης λύσης από το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης Ο σκοπός του πειράματος ήταν να φανεί η εξάρτηση του σφάλματος του τελικού μοντέλου που υπολογίζει η εφαρμογή από το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης. Για το λόγο αυτό, η εφαρμογή εκτελέστηκε δύο φορές με μέγεθος παραθύρου και αντίστοιχα. Οι υπόλοιπες παράμετροι που επηρεάζουν το τελικό αποτέλεσμα ήταν σταθερές και τέθηκαν και στις δύο περιπτώσεις ίσες με 0.9 για το κατώφλι κανονικοποιημένης συσχέτισης, 0.0 για το κατώφλι αποδοχής των inliers και 000 για τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC. Τα αποτελέσματα που προέκυψαν φαίνονται στο πίνακα 4. για διάφορα καρέ του βίντεο.

40 Σελίδα 3 Αριθμός Καρέ Μέγεθος παραθύρου Μέγεθος παραθύρου Σφάλμα μοντέλου Σφάλμα μοντέλου ,0003 0,0000 0, , , , , Πίνακας 4.: Εξάρτηση σφάλματος μοντέλου από το μέγεθος παραθύρου Στη συνέχεια παρουσιάζεται το διάγραμμα της εξάρτησης του σφάλματος του βέλτιστου μοντέλου από το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης. Αυτό το διάγραμμα προέκυψε από την εκτέλεση του αλγορίθμου με διάφορες τιμές μεγέθους παραθύρου ενώ τα αποτελέσματα προέκυψαν από την εφαρμογή του μέσου όρου στα καρέ από 0 έως 7 όπως απεικονίζονται στο πίνακα 4.. Οι υπόλοιπες παράμετροι παρέμειναν σταθερές κατά την διάρκεια του πειράματος και με ίδιες τιμές όπως ορίστηκαν στην αρχή. Διάγραμμα 4.4: Εξάρτηση σφάλματος μοντέλου από το μέγεθος παραθύρου

41 Σελίδα Συμπεράσματα Το μέγεθος παραθύρου που χρησιμοποιείται για τον υπολογισμό της κανονικοποιημένης συσχέτισης μεταξύ ενός σημείου της πρώτης εικόνας και ενός της δεύτερης παίζει σημαντικό ρόλο στον υπολογισμό του βέλτιστου μοντέλου του αλγορίθμου RANSAC. Όπως έχει προαναφερθεί το μέγεθος του παραθύρου συνήθως κυμαίνεται μεταξύ 5 και pixels και πρέπει να είναι περιττός αριθμός ώστε το παράθυρο να είναι κεντραρισμένο στο σημείο ενδιαφέροντος. Μια αύξηση του μεγέθους του παραθύρου δίνει καλύτερες αντιστοιχίες σημείων επειδή μεγαλύτερη έκταση της εικόνας και άρα περισσότερα σημεία συμμετέχουν στον υπολογισμό της κανονικοποιημένης συσχέτισης. Με αυτό το τρόπο, μεταβολές της εικόνας γίνονται ευκολότερα αντιληπτές και οι αντιστοιχίες σημείων που υπολογίζονται οδηγούν σε μικρότερα σφάλματα στους πίνακες F (fundamental matrices) που προκύπτουν ως έξοδοι του αλγορίθμου RANSAC. Βέβαια, μια αύξηση του μεγέθους του παραθύρου επιβραδύνει σημαντικά την διαδικασία υπολογισμού της κανονικοποιημένης συσχέτισης καθώς η πολυπλοκότητα της όσο αναφορά το μέγεθος Ν του παραθύρου είναι O(N ) για δύο σημεία και αν ο αλγόριθμος πρέπει να επεξεργαστεί μεγάλο αριθμό σημείων σε πολλές εικόνες όπως είναι τα καρέ ενός βίντεο τότε ο χρόνος εκτέλεσης του αλγορίθμου αυξάνεται σημαντικά. Όπως φαίνεται από το διάγραμμα 4.4, η βελτίωση του σφάλματος φτάνει σε κάποια οριακή τιμή και περαιτέρω αύξηση του μεγέθους του παραθύρου βελτιώνει ελάχιστα το σφάλμα του μοντέλου. Μια πολύ συνηθισμένη τιμή για το μέγεθος του παραθύρου είναι, η οποία οδηγεί σε ένα μοντέλο με αρκετά μικρό σφάλμα ενώ ταυτόχρονα διατηρεί την γρήγορη απόκριση του αλγορίθμου. 4.4 Πείραμα 4: Εξάρτηση βέλτιστης λύσης από το κατώφλι αποδοχής των inliers Το κατώφλι αποδοχής των inliers καθορίζει ποιες αντιστοιχίες σημείων ικανοποιούν το μοντέλο σύμφωνα με την απόσταση Sampson s της εξίσωσης (3.8). Οι αντιστοιχίες σημείων για τις οποίες η απόσταση d είναι κάτω από το κατώφλι θεωρούνται inliers, αλλιώς θεωρούνται outliers. Ο σκοπός λοιπόν αυτού του πειράματος είναι να ανιχνεύσει την εξάρτηση του αριθμού των inliers αλλά και του σφάλματος του μοντέλου από τις μεταβολές της τιμής του κατωφλίου αποδοχής των inliers. Το πείραμα εκτελέστηκε για τιμές κατωφλίου αποδοχής των inliers ίσες με 0.0 και 0. αντίστοιχα. Οι υπόλοιπες παράμετροι που επηρεάζουν το τελικό αποτέλεσμα ήταν σταθερές και τέθηκαν και στις δύο περιπτώσεις ίσες με 0.9 για το κατώφλι κανονικοποιημένης συσχέτισης, για το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης και 000 για τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC.

42 Σελίδα 33 Αυτό το πείραμα διαφοροποιήθηκε σε σχέση με τα προηγούμενα εξαιτίας του γεγονότος ότι η εφαρμογή δεν επεξεργάστηκε κάθε καρέ του βίντεο αλλά κάθε 5 ο καρέ. Ο λόγος αυτής της αλλαγής είναι για να φανεί πιο ξεκάθαρα η επιρροή του κατωφλίου αποδοχής των inliers τόσο στον αριθμό των inliers όσο και στο σφάλμα του τελικού μοντέλου αφού μεγαλύτερες μεταβολές της εικόνας οδηγούν σε λιγότερο ακριβή μοντέλα με περισσότερα όμως περιθώρια βελτίωσης. Τα αποτελέσματα του πειράματος απεικονίζονται στο πίνακα 4.3 για διάφορα καρέ του βίντεο. Αριθμός καρέ Τιμή κατωφλίου 0.0 Τιμή κατωφλίου 0. Αριθμός inliers Σφάλμα μοντέλου Αριθμός inliers Σφάλμα μοντέλου , , , , ,000 0, , ,00003 Πίνακας 4.3: Εξάρτηση αριθμού inliers και σφάλματος μοντέλου από το κατώφλι αποδοχής των inliers Στη συνέχεια παρουσιάζονται τα διαγράμματα της εξάρτησης του αριθμού των inliers και του σφάλματος του βέλτιστου μοντέλου από το κατώφλι αποδοχής των inliers. Αυτά τα διαγράμματα προέκυψαν από την εκτέλεση του αλγορίθμου με διάφορες τιμές κατωφλίου ενώ τα αποτελέσματα προέκυψαν από την εφαρμογή του μέσου όρου στα καρέ από 5 έως 5 ανά πεντάδα όπως απεικονίζονται στο πίνακα 4.3. Οι υπόλοιπες παράμετροι παρέμειναν σταθερές κατά την διάρκεια του πειράματος και με ίδιες τιμές όπως ορίστηκαν στην αρχή. Διάγραμμα 4.5: Εξάρτηση του αριθμού των inliers από το κατώφλι αποδοχής των inliers

43 Σελίδα 34 Διάγραμμα 4.6: Εξάρτηση του σφάλματος του μοντέλου από το κατώφλι αποδοχής των inliers 4.4. Συμπεράσματα Όπως μπορεί να γίνει εύκολα αντιληπτό, μια σχετικά μεγάλη τιμή του κατωφλίου αποδοχής των inliers αυξάνει τις ανοχές του μοντέλου, επιτρέποντας όλο και περισσότερα ζεύγη σημείων που αρχικά θεωρούνταν outliers, να γίνονται δεκτά ως inliers. Η αύξηση, επομένως, του κατωφλίου έχει ως αποτέλεσμα από την μία την αύξηση του αριθμού των inliers, δηλαδή των ζευγών σημείων που ικανοποιούν το μοντέλο, αλλά από την άλλη, οδηγεί σε χειρότερα βέλτιστα μοντέλα αφού το σφάλμα, με τον τρόπο που υπολογίζεται στις εξισώσεις (3.0) και (3.) αυξάνεται σημαντικά. Παρόλα αυτά, όπως φαίνεται στο διάγραμμα 4.5 υπάρχει ελάχιστη μεταβολή στον αριθμό των inliers και αυτό οφείλεται στο ότι ο αριθμός τους είναι σχεδόν ίσος με το σύνολο των αντιστοιχιών. Αυτό το γεγονός δείχνει ότι το μοντέλο του πίνακα μεταφοράς και περιστροφής που υπολογίστηκε είναι το βέλτιστο. Από το διάγραμμα 4.6 προκύπτει ότι για πολύ μικρές τιμές του κατωφλίου, οι μεταβολές του σφάλματος είναι ελάχιστες και το σφάλμα πλησιάζει το κάτω όριό του που είναι το μηδέν ενώ για περαιτέρω αύξηση της τιμής του κατωφλίου, το σφάλμα αυξάνεται σχεδόν γραμμικά. Μια παρατήρηση που πρέπει να γίνει σε αυτό το σημείο είναι ότι πρέπει να αποφεύγονται μικρές τιμές κατωφλίου. Ο λόγος είναι ότι ο αλγόριθμος μπορεί να μην

44 Σελίδα 35 καταφέρει να βρει ικανοποιητικό μοντέλο, δηλαδή μοντέλο με τουλάχιστον 8 inliers και να καταλήξει σε ένα πίνακα F με λιγότερα inliers, ο οποίος να μην έχει καμία αξία αφού ούτε τα δεδομένα που τον δημιούργησαν δεν τον ικανοποιούν. Με λίγα λόγια, είναι καλό να μειωθεί όσο το δυνατόν περισσότερο το σφάλμα του πίνακα F, αλλά πρέπει να δοθεί ιδιαίτερη προσοχή στον αριθμό των inliers για να υπάρχει μια αίσθηση βεβαιότητας για την ποιότητα και χρησιμότητα του τελικού μοντέλου. Μια συνηθισμένη τιμή για το κατώφλι είναι το 0.0 που δίνει πολύ καλά αποτελέσματα χωρίς να ριψοκινδυνέψει ιδιαίτερα να καταλήξει σε αβέβαια αποτελέσματα. 4.5 Πείραμα 5: Εξάρτηση βέλτιστης λύσης από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC Ο σκοπός του πειράματος είναι να δειχθεί η εξάρτηση του σφάλματος του πίνακα μεταφοράς και περιστροφής F από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC. Το πείραμα εκτελέστηκε για αριθμό επαναλήψεων ίσο με 500 και 000 αντίστοιχα. Οι υπόλοιπες παράμετροι που επηρεάζουν το τελικό αποτέλεσμα ήταν σταθερές και τέθηκαν και στις δύο περιπτώσεις ίσες με 0.9 για το κατώφλι κανονικοποιημένης συσχέτισης, για το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης και 0.0 για το κατώφλι αποδοχής των inliers. Για να φανεί καλύτερα η επιρροή του αριθμού των επαναλήψεων στο τελικό μοντέλο χρειάστηκε να εφαρμοστεί ο αλγόριθμος σε κάθε 0 ο καρέ του βίντεο. Τα αποτελέσματα που προέκυψαν από την εκτέλεση του πειράματος απεικονίζονται στο πίνακα 4.4 για μερικά καρέ. Αριθμός καρέ Αριθμός επαναλήψεων 500 Αριθμός επαναλήψεων 000 Σφάλμα μοντέλου Σφάλμα μοντέλου 30 0, , , , , , , , , , , , Πίνακας 4.4: Εξάρτηση σφάλματος μοντέλου από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC Στη συνέχεια παρουσιάζεται το διάγραμμα της εξάρτησης του σφάλματος του βέλτιστου πίνακα μεταφοράς και περιστροφής F από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC. Αυτό το διάγραμμα προέκυψε από την εκτέλεση του αλγορίθμου με διάφορες τιμές αριθμού επαναλήψεων ενώ τα αποτελέσματα προέκυψαν από την εφαρμογή του μέσου όρου στα καρέ από 30 έως 90 ανά δεκάδα όπως απεικονίζονται στο

45 Σελίδα 36 πίνακα 4.4. Οι υπόλοιπες παράμετροι παρέμειναν σταθερές κατά την διάρκεια του πειράματος και με τις αρχικές τους τιμές. Διάγραμμα 4.7: Εξάρτηση του σφάλματος του μοντέλου από τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC 4.5. Συμπεράσματα Ο αριθμός των επαναλήψεων του αλγορίθμου RANSAC παίζει πολύ σημαντικό ρόλο για την εύρεση της βέλτιστης λύσης. Μια αύξηση του αριθμού των επαναλήψεων βελτιώνει την απόδοση του αλγορίθμου κυρίως όταν ο αριθμός των inliers σε σχέση με τον αριθμό των αντιστοιχιών είναι μικρός γιατί επιτρέπει στον αλγόριθμο να πειραματιστεί με περισσότερα υποσύνολα δεδομένων και αυξάνει την πιθανότητα εύρεσης σετ δεδομένων που αποτελείται μόνο από inliers. Με άλλα λόγια, μια αύξηση του αριθμού των επαναλήψεων του αλγορίθμου RANSAC οδηγεί συνήθως σε μοντέλα με μικρότερα σφάλματα. Στη περίπτωση όμως καρέ βίντεο όπου οι εικόνες διαφέρουν ελάχιστα, ο αλγόριθμος RANSAC βρίσκει συνήθως βέλτιστη λύση πριν ολοκληρωθεί ο αριθμός των επαναλήψεων οπότε δεν υπάρχουν πολλά περιθώρια βελτίωσης της απόδοσης του αλγορίθμου από την αύξηση του αριθμού των επαναλήψεων. Όπως επαληθεύεται και από το διάγραμμα 4.7, οι τιμές των σφαλμάτων μεταβάλλονται τυχαία και δεν επηρεάζονται από τον αριθμό των επαναλήψεων του αλγορίθμου. Μια καλύτερη αίσθηση της επιρροής του αριθμού των επαναλήψεων μπορεί να αποκτήσει κανείς αν αυξήσει ακόμη περισσότερο το κενό ανάμεσα στα καρέ που

46 Σελίδα 37 επεξεργάζεται ο αλγόριθμος. Βέβαια, σε αυτή τη περίπτωση υπάρχουν άλλοι κίνδυνοι όπως ο πρόωρος τερματισμός της εφαρμογής εξαιτίας της πιθανότητας να μην εντοπιστούν αρκετές αντιστοιχίες ανάμεσα στα καρέ του βίντεο. Μια συνηθισμένη τιμή για τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC είναι το 000, αν και στη περίπτωση της επεξεργασίας καρέ βίντεο, είναι υπερβολικά μεγάλος αριθμός αφού ο αλγόριθμος καταλήγει σε βέλτιστη λύση πολύ νωρίτερα. 4.6 Πλεονεκτήματα και μειονεκτήματα εφαρμογής Κατά την διαδικασία ανάπτυξης της εφαρμογής εμφανίστηκαν αρκετά πλεονεκτήματα αλλά και κάποια προβλήματα που είχαν σχέση κυρίως με την φύση των αλγορίθμων που χρησιμοποιήθηκαν. Σε αυτό το σημεία θα γίνει μια ανάλυση τόσο των πλεονεκτημάτων όσο και των μειονεκτημάτων της εφαρμογής και θα εκφραστούν τα τελικά συμπεράσματα.. Ένα πολύ σπουδαίο πλεονέκτημα της εφαρμογής ήταν ότι αναπτύχθηκε ως γενικός αλγόριθμος εύρεσης αντιστοιχιών ανάμεσα σε δύο οποιεσδήποτε εικόνες. Αυτός ήταν και ο λόγος για τον οποίο δεν εφαρμόστηκε η θεωρία της ροής εικόνας (optical flow) που δίνει καλύτερα αποτελέσματα σε περιπτώσεις ροής βίντεο όπου τα καρέ μεταβάλλονται ελάχιστα. Αντιθέτως, χρησιμοποιήθηκε ο πίνακας μεταφοράς και περιστροφής F (fundamental matrix) που είναι πιο γενικός και χρησιμοποιείται στη πλειοψηφία των περιπτώσεων αντιστοίχισης σημείων σε εικόνες.. Επιπλέον, από την εκτέλεση της εφαρμογής μπορεί κανείς εύκολα να συμπεράνει την επιτυχία του αλγορίθμου RANSAC στην εύρεση ενός πίνακα μεταφοράς και περιστροφής F. Το ποσοστό των inliers, δηλαδή των δεδομένων που ικανοποιούν το υπολογισμένο μοντέλο είναι συντριπτικά υψηλό, γεγονός που τονίζει την αξία του αλγορίθμου RANSAC στην εύρεση των παραμέτρων ενός μοντέλου που συμφωνεί με τα δεδομένα εισόδου του. 3. Επίσης, το σφάλμα του τελικού μοντέλου του πίνακα μεταφοράς και περιστροφής που υπολογίζει ο αλγόριθμος RANSAC προσεγγίζει το 0, γεγονός που δείχνει ότι το μοντέλο είναι πράγματι βέλτιστο και ικανοποιεί την πλειοψηφία των δεδομένων εισόδου του αφού ο αριθμός των outliers είναι ελάχιστος. 4. Ένα ακόμη εκπληκτικό συμπέρασμα είναι η ταχύτητα με την οποία ο αλγόριθμος RANSAC καταλήγει σε βέλτιστο μοντέλο. Στις περισσότερες των περιπτώσεων αρκούν λίγες επαναλήψεις για την εύρεση του βέλτιστου πίνακα F και τον τερματισμό του αλγορίθμου. 5. Ένα σημαντικό πρόβλημα είναι το γεγονός ότι αν και ο πίνακας μεταφοράς και περιστροφής είναι σωστός, είναι υπερβολικός με την έννοια ότι αφού τα σημεία

47 Σελίδα 38 στα καρέ του βίντεο κινούνται ελάχιστα θα επαρκούσε ένα απλό διάνυσμα ταχυτήτων για την περιγραφή τους και όχι ο υπολογισμός ενός ολόκληρου πίνακα μεταφοράς και περιστροφής που έχει μπλεγμένη μέσα του και την πληροφορία των εσωτερικών παραμέτρων της κάμερας από την οποία λήφθηκαν οι εικόνες. 6. Ένα άλλο πρόβλημα είναι η διαχείριση των κινούμενων αντικειμένων μέσα στην εικόνα. Ο τρόπος με τον οποίο είναι κατασκευασμένος ο αλγόριθμος RANSAC αυτής της εφαρμογής επιτρέπει τον υπολογισμό ενός πίνακα F που αντιπροσωπεύει την κίνηση όλης της εικόνας ως προς την κάμερα ή την κίνηση της κάμερας ως προς μια στατική εικόνα. Αν υπάρχουν περισσότερα του ενός κινούμενα αντικείμενα μέσα στην εικόνα, τα οποία κινούνται τυχαία στο χώρο, τότε απαιτούνται παραπάνω πίνακες F για την περιγραφή τους. Για τον λόγο αυτό, η εφαρμογή θεωρεί ότι αν υπάρχουν άλλα κινούμενα αντικείμενα στην εικόνα τότε αυτά θεωρούνται θόρυβος και δεν λαμβάνονται υπόψη στον υπολογισμό του πίνακα F. Για την καλύτερη κατανόηση του προβλήματος της ύπαρξης κινούμενων αντικειμένων στις εικόνες παρατίθενται παρακάτω δύο ζεύγη εικόνων που προήλθαν από τα καρέ 49 και 50 του βίντεο με τιμές παραμέτρων: 0.9 για το κατώφλι κανονικοποιημένης συσχέτισης, για το μέγεθος του παραθύρου κανονικοποιημένης συσχέτισης, 0.0 για το κατώφλι αποδοχής των inliers και 000 για τον αριθμό των επαναλήψεων του αλγορίθμου RANSAC. Εικόνα 4.4: Σημεία ενδιαφέροντος του αλγορίθμου Harris με ποιότητα 0. για το καρέ 49

48 Σελίδα 39 Εικόνα 4.5: Απεικόνιση των inliers του βέλτιστου υπολογισμένου μοντέλου για το καρέ 49 Εικόνα 4.6: Σημεία ενδιαφέροντος του αλγορίθμου Harris με ποιότητα 0. για το καρέ 50

49 Σελίδα 40 Εικόνα 4.5: Απεικόνιση των inliers του βέλτιστου υπολογισμένου μοντέλου για το καρέ 50 Αυτό που κάνει αυτές τις εικόνες ιδιαίτερες είναι η παρουσία των ανθρώπων που κινούνται προς διαφορετική κατεύθυνση από την κάμερα και το στατικό τοπίο. Όπως εύκολα διακρίνεται και στις δύο εικόνες ο αλγόριθμος Harris έχει εντοπίσει σημεία ενδιαφέροντος πάνω στους ανθρώπους όμως στη πρώτη περίπτωση ο αλγόριθμος RANSAC τα θεώρησε θόρυβο και δεν τα έλαβε υπόψη στον υπολογισμό του μοντέλου διότι εμφανίστηκαν ξαφνικά και κινήθηκαν σημαντικά ως προς τα υπόλοιπα σημεία. Στη δεύτερη περίπτωση όμως η κίνηση των ανθρώπων ήταν μηδαμινή και αυτό το γεγονός επέτρεψε στον αλγόριθμο RANSAC να τα λάβει υπόψη του στον υπολογισμό του πίνακα F και να τα θεωρήσει ως στατικά. Αν και υπάρχουν λοιπόν κινούμενα αντικείμενα στην εικόνα, η μέθοδος που εφαρμόζεται δεν αντιμετωπίζει δυσκολίες στον υπολογισμό του πίνακα μεταφοράς και περιστροφής F. Ο αλγόριθμος RANSAC θα μπορούσε να διαχειριστεί και κινούμενα αντικείμενα μέσα στην εικόνα αν είχε την δυνατότητα να εντοπίσει ποια σημεία ανήκουν σε ποιο αντικείμενο και να υπολόγιζε διαφορετικό πίνακα μεταφοράς και περιστροφής F για κάθε τέτοιο κινούμενο αντικείμενο. Παρόλο που υπάρχει αυτή η δυνατότητα, είναι κάπως περιοριστική, με την έννοια ότι ο αλγόριθμος που χρησιμοποιείται για τον εντοπισμό των κινούμενων αντικειμένων μέσα στην εικόνα