Αυτόματη Αξιολόγηση και Συγχώνευση 2D Xαρτών Κατάληψης Πλέγματος με Χρήση Περιγραφέων Εικόνας

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Τομέας Ηλεκτρονικής και Υπολογιστών Διπλωματική Εργασία Αυτόματη Αξιολόγηση και Συγχώνευση 2D Xαρτών Κατάληψης Πλέγματος με Χρήση Περιγραφέων Εικόνας Εκπόνηση: Πρωτοπαπάς Μάριος AEM: 7317 Επίβλεψη: Πέτρου Λουκάς Αναπ. Καθηγητής Δρ. Τσαρδούλιας Εμμανουήλ Θεσσαλονίκη, Νοέμβριος 2016

2

3 iii Περίληψη Η ρομποτική αποτελεί έναν επιστημονικό κλάδο με ραγδαία ανάπτυξη στην εποχή που διανύουμε. Η χρήση αυτόνομων ρομποτικών οχημάτων για την εκτέλεση πολύπλοκων εργασιών είναι πλέον εφικτή. Απαραίτητη συνθήκη για την διεκπεραίωση κάποιας διαδικασίας από ρομποτικά οχήματα είναι η ορθή αντίληψη και χαρτογράφηση του περιβάλλοντος στο οποίο κινούνται. Επιπρόσθετα, η ορθή σύντηξη της πληροφορίας που αντιλαμβάνονται πολλαπλά ρομποτικά οχήματα είναι ένας άλλος παράγοντας για την ολοκλήρωση μιας εργασίας. Το πρόβλημα με το οποίο καταπιάνεται η διπλωματική αυτή εργασία είναι η εξεύρεση τρόπου αυτόματης αξιολόγησης ενός χάρτη που παράγεται από κάποιο ρομποτικό όχημα σε σχέση με μια πραγματική κάτοψη ενός χώρου. Επίσης εξετάζεται η περίπτωση συγχώνευσης χαρτών από ρομποτικά οχήματα που εξερευνούν τον ίδιο χώρο. Συγκεκριμένα, αναπτύχθηκε μια τεχνική ευθυγράμμισης δύο χαρτών με τη χρήση μεθόδων εξαγωγής τοπικών χαρακτηριστικών και περιγραφέων εικόνας. Η εφαρμογή που αναπτύχθηκε περιλαμβάνει τη χρήση υφιστάμενων αλγορίθμων ανίχνευσης και περιγραφής τοπικών χαρακτηριστικών, τρόπους αντιστοίχισης τους καθώς και μια διαδικασία απαλοιφής τυχόν λάνθασμένων αντιστοιχίσεων για την σωστή εκτίμηση του μετασχηματισμού των δύο χαρτών και την ευθυγράμμιση τους. Επιπρόσθετα αναπτύχθηκαν περιγραφείς τοπικών χαρακτηριστικών ειδικότερα για το πρόβλημα αντιστοίχισης σε χάρτες κατάληψης πλέγματος αξιοποιώντας την χωρική πληροφορία που προσφέρει η συγκεκριμένη αναπαράσταση χάρτη. Εν συνεχεία, προτείνονται μετρικές αξιολόγησης της ευθυγράμμισης που επιτεύχθηκε και πραγματοποιείται συγχώνευση των δύο χαρτών σε μία ενιαία αναπαράσταση. Τέλος πραγματοποιήθηκαν μια σειρά από πειράματα σε αντιπροσωπευτικά περιβάλλοντα με εξαγωγή στατιστικών στοιχείων για τον προσδιορισμό της αποτελεσματικότητας κάθε υφιστάμενου αλγορίθμου που χρησιμοποιήθηκε. Η εφαρμογή που αναπτύχθηκε περιλαμβάνει γραφική διεπαφή, ούτως ώστε ο χρήστης αυτής να μπορεί εύκολα να αξιοποιήσει την προτεινόμενη μέθοδο, να επιλέξει μέσα από μια σειρά παραμέτρων αυτές που επιθυμεί και να επιβεβαιώσει οπτικά το αποτέλεσμα της διαδικασίας.

4 iv Abstract Automatic Evaluation and Merging of 2D Occupancy Grid Maps using Image Descriptors Robotics is a scientific discipline with rapid development in the modern world. e use of autonomous robotic vehicles to perform complex tasks is now more than possible. A necessary condition for the completion of a given task by robotic vehicles, is the correct perception and mapping of the environment they navigate in. Another factor of concern is the proper fusion of information perceived by multiple robotic vehicles. e problem addressed in this thesis, is the automatic evaluation of a map produced by a robotic vehicle compared to a reference map. Also, the concept of map merging by robotic vehicles exploring the same area is examined. Specifically, a technique for the alignment of two maps has been developed, using feature extraction methods and visual descriptors. e application developed includes the use of existing feature detection and description algorithms, various feature matching methods, and a process of determining inliers for the correct estimation of the transformation of the two maps and therefore their alignment. Moreover, the development of feature descriptors in particular for feature matching problem in occupancy grid maps is proposed, utilizing the spatial information provided by this representation map. A er the maps are aligned, the result is evaluated using certain evaluation metrics and they are merged into one single representation. Finally, a series of experiments is performed in representative environments, extracting statistical data to determine the effectiveness of every existing algorithm used. e application developed includes a graphical interface, in order to easily utilize the proposed method, choose from a number of feature algorithms and parameters and visually confirm the outcome of the procedure. Marios Protopapas Electrical and Computer Engineering Department Aristotle University of essaloniki, Greece November 2016

5 v Ευχαριστίες Αρχικά, θα ήθελα να ευχαριστήσω τον καθηγητή Λουκά Πέτρου για την ανάθεση και επίβλεψη της παρούσας αυτής εργασίας. Συνάμα θα ήθελα να εκφράσω την ευγνωμοσύνη μου στους καθηγητές Λουκά Πέτρου και Ανδρέα Συμεωνίδη για την ευκαιρία που μου έδωσαν να είμαι μέλος της ομάδας P.A.N.D.O.R.A. τα τελευταία 3 χρόνια, όπου διεύρυνα σημαντικά τους ορίζοντες μου και ασχολήθηκα με τον εξαιρετικά ενδιαφέρον τομέα της ρομποτικής. Επίσης ιδιαίτερες ευχαριστίες στον συνεπιβλέπων της διπλωματικής αυτής Δρ. Εμμανουήλ Τσαρδούλια για τις πολύτιμες συμβουλές του και την καθοδήγηση του καθόλη την διάρκεια της χρονιάς αυτής και την άψογη συνεργασία μας. Ένα ξεχωριστό ευχαριστώ στους γονείς μου για την αμέριστη συμπαράσταση και υπομονή που επέδειξαν στην διάρκεια των σπουδών μου που χωρίς αυτούς δεν θα είχα την ευκαιρία αυτή. Τέλος, θα ήθελα να ευχαριστήσω όλα τα παιδιά που υπήρξαν μέλη της ομάδας ρομποτικής P.A.N.D.O.R.A. τα τελευταία τρία χρόνια για την άψογη συνεργασία μας και τις υπέροχες στιγμές που ζήσαμε, καθώς και τους φίλους μου που υπήρξαν δίπλα μου καθόλη τη διάρκεια της πραγματοποίησης της εργασίας αυτής.

6 vi Πίνακας Περιεχομένων 1 Εισαγωγή Περιγραφή του Προβλήματος Σκοπός - Συνεισφοϱά της Διπλωματικής Εργασίας Διάρθρωση της Αναφοράς Επισκόπηση Ερευνητικής Περιοχής Μέθοδοι Αξιολόγησης 2D Χαρτών Κατάληψης Πλέγματος Μέθοδοι Αυτόματης Συγχώνευσης 2D Χαρτών Κατάληψης Πλέγματος Θεωρητικό υπόβαθρο - Εργαλεία Χάρτες Κατάληψης Πλέγματος Τοπικά χαρακτηριστικά εικόνας SIFT - SCALE INVARIANT FEATURE TRANSFORM SURF (Speeded-Up Robust Features) ORB (Oriented FAST and Rotated BRIEF) Harris Corner Detector GFTT - Good Features to Track FAST - Features from accelerated segment test Αντιστοίχιση Χαρακτηριστικών Εικόνας - Feature Matching Τρόποι αντιστοίχισης O αλγόριθμος RANSAC Γεωμετρικοί Μετασχηματισμοί Εύρεση Μετασχηματισμού Ομοιότητας μεταξύ δύο εικόνων Εργαλεία Λογισμικού ROS - Robot Operating System OpenCV Qt Περιγραϕή Υλοποίησης Αρχιτεκτονική του Συστήματος Περιγραφή GUI Γραφικό Στοιχείο Προβολής Λειτουργίες - Πληροφορίες σε καρτέλες Περιγραφή Υλοποίησης Απαιτήσεις του Προβλήματος Υποθέσεις και περιορισμοί του προβλήματος Διαδικασία Υλοποίησης Υλοποίηση Περιγραφέων Εικόνας για αντιστοίχιση χαρτών κατάληψης πλέγματος Περιγραφή Τοπικών Χαρακτηριστικών με εξαγωγή στατιστικών στοιχείων σε μία ακτίνα

7 vii Αριθμός τομών με τα εμπόδια στην περιφέρεια ενός κύκλου Μέσο Μήκος ακτίνων τοπικού χαρακτηριστικού από τα εμπόδια Επιλογή Κατάλληλου Μετασχηματισμού για Ευθυγράμμιση 2D OGMs Εκτίμηση Μετασχηματισμού Ομοιότητας με τη χρήση RANSAC Περιγραφή Αλγορίθμου Εύρεση των σημείων (inliers) που ανήκουν στο μοντέλο Δυναμική ανανέωση του αριθμού των επαναλήψεων Αρχικοποίηση Παραμέτρων Εισόδου Μετρικές Αξιολόγησης Μέσο Τετραγωνικό Σφάλμα Εμποδίων Αναγωγή του OMSE σε μετρική ποιότητας Mετρική Επικύϱωσης Προεπεξεργασία Χαρτών Προσδιορισμός συντελεστή κλιμάκωσης Πειραματικά Αποτελέσματα Περιγραφή Πειράματος Ορισμός Περιβαλλόντων για Πειράματα Εκτέλεση Πειράματος Αξιολόγηση Χάρτη σε σχέση με ένα χάρτη αναφοράς Πίνακες Αποτελεσμάτων Συγχώνευση Χαρτών με μεγάλο ποσοστό επικάλυψης Πίνακες Αποτελεσμάτων Συγχώνευση Χαρτών με μερική επικάλυψη Πίνακες Αποτελεσμάτων Συγκεντρωτικά Αποτελέσματα Παρατηρήσεις επί των Αποτελεσμάτων Σύνοψη - Συμπεράσματα Ανακεφαλαίωση Συμπεράσματα Προβλήματα Μελλοντικές Επεκτάσεις Βιβλιογραφία 87

8 viii Λίστα Σχημάτων 3.1 Αναπαράσταση του εργαστηρίου Αρχιτεκτονικής και υπολογιστών από OGM Αναπαράσταση Difference of Gaussians Αναζήτηση ακρότατων στην Difference of Gaussians Υπολογισμός ιστογράμματος προσανατολισμού για τα SIFT σημεία ενδιαφέροντος Προσέγγιση των δεύτερων τάξεων Gaussian παραγώγων με την χρήση box filters Υπολογισμός προσανατολισμού τοπικών χαρακτηριστικών με τη χρήση wavelets Απλή αντιστοίχηση χαρακτηριστικών εικόνας χρησιμοποιώντας τον αλγόριθμο SIFT Εύρεση σημείων που ανήκουν σε μια γραμμή με το αλγόριθμο RANSAC Είδη μετασχηματισμών στο δισδιάστατο επίπεδο χώρο Qt Creator Διάγραμμα αρχιτεκτονικής της εφαρμογής To GUI της εφαρμογής Γραφικό στοιχείο Προβολής Αντιστοίχισης Τοπικών Χαρακτηριστικών OGMs Γραφικό στοιχείο Προβολής τελικών ζευγαριών αντιστοίχισης μετά την εφαρμογή RANSAC Αποτέλεσμα Συγχώνευσης Χαρτών Kαρτέλες πληροφοριών και ρύθμισης παραμέτρων της εφαρμογής μας Ακολουθία Βημάτων Αξιολόγησης-Συγχώνευσης OGMs Παράδειγμα μη σωστής αντιστοίχισης με SIFT features Ακτινική Κατάτμηση του περιβάλλοντα χώρου ενός τοπικού χαρακτηριστικού Μέσο μήκος ακτίνων ενός τοπικού χαρακτηριστικού από τα εμπόδια Δημιουργία θορύβου από τον αλγόριθμο χαρτογράφησης και χαρακτηρισμός τοπικών χαρακτηριστικων SIFT Περιβάλλον Περιβάλλον Περιβάλλον Περιβάλλον 1 - Αξιολόγηση Περιβάλλον 2 - Αξιολόγηση Περιβάλλον 3 - Αξιολόγηση Περιβάλλον 1 - Συγχώνευση Περιβάλλον 2 - Συγχώνευση Περιβάλλον 3 - Συγχώνευση Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη) Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη) Περιβάλλον 1 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Περιβάλλον 1 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης

9 5.14 Περιβάλλον 2 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Περιβάλλον 2 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης Περιβάλλον 3 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Περιβάλλον 3 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης Περιβάλλον 1 - Συγχώνευση: Τελικές Αντιστοιχίσεις Περιβάλλον 1 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Περιβάλλον 2 - Συγχώνευση: Τελικές Αντιστοιχίσεις Περιβάλλον 2 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Περιβάλλον 3 - Συγχώνευση: Τελικές Αντιστοιχίσεις Περιβάλλον 3 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Τελικές Αντιστοιχίσεις Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Αποτέλεσμα Συγχώνευσης Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Τελικές Αντιστοιχίσεις Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Αποτέλεσμα Συγχώνευσης Περιβάλλον 1 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 2 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 3 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 1 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 2 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 3 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Ποσοστό ορθών ευθυγραμμίσεων Περιβάλλον 1 - Αξιολόγηση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 2 - Αξιολόγηση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 3 - Αξιολόγηση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 1 - Συγχώνευση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 2 - Συγχώνευση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 3 - Συγχώνευση: Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Κατανομή Χρόνου Εκτέλεσης Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Κατανομή Χρόνου Εκτέλεσης 80 ix

10 x Λίστα Πινάκων 5.1 Παραμέτροι Πειράματος Περιβάλλον 1 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 2 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 3 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 1 - Αξιολόγηση: Tελικός αριθμός σωστών αντιστοιχίσεων Περιβάλλον 2 - Αξιολόγηση: Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 3 - Αξιολόγηση: Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 1 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 2 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 3 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 1 - Αξιολόγηση: Πoσοστό Επικάλυψης Περιβάλλον 2 - Αξιολόγηση: Πoσοστό Επικάλυψης Περιβάλλον 3 - Αξιολόγηση: Πoσοστό Επικάλυψης Περιβάλλον 1 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 2 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 3 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 1 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 2 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 3 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 1 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 2 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 3 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 1 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 2 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 3 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 1 - Συγχώνευση: Πoσοστό Επικάλυψης Περιβάλλον 2 - Συγχώνευση: Πoσοστό Επικάλυψης Περιβάλλον 3 - Συγχώνευση: Πoσοστό Επικάλυψης Περιβάλλον 1 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 2 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 3 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec) Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Μέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE)

11 5.33 Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Tελικός αριθμός ορθών αντιστοιχίσεων Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Πoσοστό Επικάλυψης Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Πoσοστό Επικάλυψης Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Χρόνοι Εκτέλεσης (sec) Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Χρόνοι Εκτέλεσης (sec).. 71 xi

12 1 Κεφάλαιο 1 Εισαγωγή Η ρομποτική είναι ένας κλάδος που αναπτύσσεται ραγδαία τα τελευταία χρόνια. Τα αυτόνομα ρομποτικά συστήματα στην υπηρεσία του ανθρώπου δεν αποτελούν πλέον σενάρια επιστημονικής φαντασίας, αλλά αν και στα πρώτα τους στάδια, ήδη έχουν βρει το δρόμο τους προς τη μαζική κατανάλωση. Σίγουρα ο δρόμος για την αποτελεσματική χρήση και διεπαφή μεταξύ ρομπότ και ανθρώπου είναι ακόμα μακρύς. Πολλά είναι τα ανοικτά μέτωπα που πρέπει να αντιμετωπιστούν (ενεργειακή αυτονομία, φορητότητα, ακρίβεια αισθητήρων κ.α.) αλλά ίσως ο πιο σημαντικός τομέας για την σωστή απόδοση των αυτόνομων ρομποτικών συστημάτων είναι η τεχνητή νοημοσύνη. Για να αλληλεπιδράσουν με ανθρώπους καθώς και μεταξύ τους τα ρομποτικά συστήματα χρειάζονται ένα πλήθος προηγμένων δεξιοτήτων. Πολλές από αυτές τις δεξιότητες απαιτούν χωρική πληροφορία σε σχέση με το ίδιο το σύστημα, το περιβάλλον με το οποίο αλληλεπιδρούν καθώς και για άλλα τυχόν συνεργαζόμενα συστήματα και σημεία ενδιαφέροντος. Αυτή η πληροφορία αποθηκεύεται σε χάρτη. Ακόμα και αν υπάρχει οποιαδήποτε εκ των προτέρων πληροφορία, η χαρτογράφηση είναι απαραίτητη για να αντιμετωπιστούν δυναμικά περιβάλλοντα. Οι χάρτες που παράγονται από τα ρομποτικά συστήματα παρέχουν σε αυτά την δυνατότητα να εκτελούν συγκεκριμένες λειτουργίες, όπως για παράδειγμα την αυτόνομη πλοήγηση σε ένα χώρο χρησιμοποιώντας τεχνικές κατασκευής μονοπατιού. Επιπρόσθετα, ένας χάρτης είναι το κύριο οπτικό βοήθημα για τον τηλεχειρισμό του συστήματος παρέχοντας τις απαραίτητες πληροφορίες για διάφορα χαρακτηριστικά ενδιαφέροντος στο χώρο όπως γωνίες, διάδρομοι, διάφορα αντικείμενα κ.α. Διαφαίνεται λοιπόν πόσο κρίσιμη είναι η σωστή χαρτογράφηση για την εύρυθμη λειτουργία ενός ρομποτικού συστήματος. Για την σωστή αξιολόγηση της ορθής λειτουργίας ενός συστήματος χαρτογράφησης θα πρέπει τα αποτελέσματα αυτής (οι χάρτες) να μπορούν να αναλυθούν και να αξιολογηθούν με ένα συστηματικό, καλά ορισμένο, επαναλαμβανόμενο και εύκολα παραγόμενο τρόπο. Τα τελευταία χρόνια έχει γίνει αντιληπτή από την επιστημονική κοινότητα η χρησιμότητα των συστημάτων πολλαπλών ρομποτικών οχημάτων για την εξερεύνηση-χαρτογράφηση ενός χώρου αφού οι διεργασίες μπορούν να γίνονται κατανεμημένα και σε πολύ λιγότερο χρόνο. Συνεπάγεται λοιπόν, ότι ειδικά όσον αφορά την χαρτογράφηση, πρέπει να εξευρεθεί τρόπος ώστε η χωρική πληροφορία που σχηματίζουν τα πολλαπλά οχήματα μέσω της κατασκευής χαρτών, να μπορεί να συνενωθεί σε ένα ενιαίο χάρτη που να περιλαμβάνει όλη την χωρική και όχι μόνο πληροφορία του περιβάλλοντος που έχει καλυφθεί. Το πρόβλημα αυτό ονομάζεται συγχώνευση χαρτών και είναι μια απαραίτητη λειτουργία που προϋποθέτει ένα σύστημα πολλαπλών οχημάτων. Μελετώντας την βιβλιογραφία που υπάρχει, καθώς και διάφορες υλοποιήσεις γίνεται εύκολα αντιληπτό πως οι μέθοδοι αξιολόγησης και συγχώνευσης χαρτών είναι δύο διαδικασίες

13 2 Κεφάλαιο 1. Εισαγωγή που αλληλοκαλύπτονται σε αρκετά σημεία, ειδικά στα πρώτα τους βήματα. Διαφαίνεται ότι ένα απαραίτητο βήμα για την αξιολόγηση ενός παραγόμενου από ένα αλγόριθμο χαρτογράφησης χάρτη, είναι η σύγκριση του με ένα χάρτη αναφοράς π.χ. μία πραγματική κάτοψη ενός χώρου. Αντίστοιχη σύγκριση θα πρέπει να γίνει στην περίπτωση συγχώνευσης δύο χαρτών (π.χ. παραγόμενων από δύο ρομποτικά οχήματα στο ίδιο χώρο). Η διαδικασία αυτή είναι ευρύτερα γνωστή στο χώρο της υπολογιστικής όρασης ως ευθυγράμμιση εικόνων (image registration). 1.1 Περιγραφή του Προβλήματος Το πρόβλημα με το οποίο καταπιάνεται η συγκεκριμένη διπλωματική, αποτελείται από δύο σκέλη. Το πρώτο σκέλος είναι η δημιουργία μιας καλά ορισμένης διαδικασίας για την αυτόματη αξιολόγηση ενός χάρτη παραγόμενου από αλγόριθμο χαρτογράφησης, τόσο ποιοτικά όσο και ποσοτικά, σε σύγκριση με ένα χάρτη αναφοράς, μια πραγματική κάτοψη του περιϐάλλοντος που έχει χαρτογραφηθεί. Το δεύτερο σκέλος του προβλήματος είναι η εξεύρεση τρόπου αυτόματης συγχώνευσης δύο χαρτών που περιήλθαν από ρομποτικά οχήματα τα οποία χαρτογραφούν τον ίδιο χώρο, εφόσον παρουσιάζουν κάποιο ποσοστό επικάλυψης. Και στις δύο περιπτώσεις καμία άλλου είδους πληροφορία δεν θα είναι διαθέσιμη σαν είσοδος στην διαδικασία. Θεωρείται ότι τα ρομποτικά οχήματα δεν γνωρίζουν την θέση τους στο χώρο με την έναρξη της εξερεύνησης τους. Συγκεκριμένα, θα παρατεθεί μια πρόταση αυτόματης ευθυγράμμισης δύο χαρτών με τη χρήση τοπικών χαρακτηριστικών (local features) και περιγραφέων εικόνας (image descriptors) με σκοπό την περαιτέρω αξιολόγηση ή συγχώνευση. 1.2 Σκοπός - Συνεισφοϱά της Διπλωματικής Εργασίας Σκοπός της συγκεκριμένης διπλωματικής εργασίας είναι να διερευνήσει κατά πόσον η αυτόματη ευθυγράμμιση εικόνων μπορεί να χρησιμοποιηθεί σαν τεχνική για αυτόματη αξιολόγηση και συγχώνευση χαρτών. Συγκεκριμένα διερευνήθηκε και υλοποιήθηκε τεχνική αυτόματης ευθυγράμμισης χαρτών με την χρήση τοπικών χαρακτηριστικών και περιγραφέων εικόνας. Επιλέχθηκαν διάφορα τοπικά χαρακτηριστικά και περιγραφείς εικόνας που χρησιμοποιούνται ευρέως στο τομέα της υπολογιστικής όρασης όπως για παράδειγμα ο αλγόριθμος SIFT για την εύρεση χαρακτηριστικών σημείων και την περιγραφή τους, ανίχνευση γωνιών και χρήση τους ως ενδιαφέροντα χαρακτηριστικά κ.α. Επίσης προτείνεται η ανάπτυξη και χρήση περιγραφέων εικόνας ειδικά για την περίπτωση αντιστοίχισης χαρτών κατάληψης πλέγματος (occupancy grid maps - OGMs) σε συνδυασμό με τους υφιστάμενους αλγορίθμους ανίχνευσης χαρακτηριστικών. Εξετάστηκαν οι τρόποι ταυτοποίησης των περιγραφέων αυτών καθώς και τρόποι απόρριψης λανθασμένων αντιστοιχίσεων με την χρήση αλγορίθμων όπως ο αλγόριθμος RANSAC (Random Consensus Set), ευρέως γνωστός για την αντιστοίχηση δεδομένων σε κάποιο πρότυπο και για την επιτυχία του στην απόρριψη ακραίων-λανθασμένων δεδομένων. Επιπρόσθετα προτείνεται η ανάπτυξη μιας εφαρμογής όπου μέσα από το γραφικό περιβάλλον θα δίνεται η δυνατότητα στον εκάστοτε χρήστη να ευθυγραμμίσει δύο χάρτες, με αυτόματο ή μη τρόπο, παρέχοντας του μια σειρά παραμέτρων και επιλογών που ανάλογα

14 1.3. Διάρθρωση της Αναφοράς 3 θα επηρεάσουν το αποτέλεσμα της ευθυγράμμισης. Εάν είναι δυνατή η ευθυγράμμιση ο χρήστης θα μπορεί να δει το αποτέλεσμα της συγχώνευσης των δύο χαρτών καθώς και την αξιολόγηση της συγχώνευσης αυτής χρησιμοποιώντας απλές μετρικές αξιολόγησης όπως για παράδειγμα το Μέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE). Τέλος πραγματοποιήθηκαν μια σειρά από πειράματα σε ένα σύνολο χαρτών και σε ένα εύρος συνδυασμών παραμέτρων και παρουσιάζονται τα αποτελέσματα αυτών των πειραμάτων, καθώς και τα εξαχθέντα συμπεράσματα που προέκυψαν. 1.3 Διάρθρωση της Αναφοράς Η διάρθρωση της παρούσας διπλωματικής εργασίας είναι η εξής: Κεφάλαιο 2: Παρατίθεται η ανασκόπηση της ερευνητικής περιοχής αναφορικά με τα αντικείμενα στα οποία επιδιώκει να παρουσιάσει λύσεις η διπλωματική εργασία. Κεφάλαιο 3: Περιγράφονται τα βασικά θεωρητικά στοιχεία στα οποία βασίστηκε η παρούσα υλοποίηση, καθώς επίσης και οι διάφορες τεχνικές και τα εργαλεία που χρησιμοποιήθηκαν. Κεφάλαιο 4: Περιγράφεται η όλη διαδικασία υλοποίησης της αξιολόγησης-συγχώνευσης χαρτών. Συγκεκριμένα περιγράφεται η αλληλουχία βημάτων για την ευθυγράμμιση των χαρτών με τη χρήση τοπικών χαρακτηριστικών και περιγραφέων εικόνας, ο τρόπος απαλοιφής λάνθασμένων αντιστοιχίσεων και εύρεσης του μετασχηματισμού ομοιότητας των δύο χαρτών, οι μετρικές αξιολόγησης που υλοποιήθηκαν, καθώς και τρόποι περιγραφής των τοπικών χαρακτηριστικών με χρήση γεωμετρικών στατιστικών στοιχείων. Τέλος παρατίθενται μέθοδοι προεπεξεργασίας των δύο χαρτών για την βελτίωση της αντιστοίχισης και την επίτευξη σωστής αξιολόγησης και συγχώνευσης. Κεφάλαιο 5: Γίνεται περιγραφή των πειραμάτων που διεξήχθησαν με αναφορά στις παραμέτρους και στο σετ των χαρτών που χρησιμοποιήθηκαν καθώς και παρουσίαση των αποτελεσμάτων, σχολιασμός και εξαγωγή συμπερασμάτων. Κεφάλαιο 6: Γίνεται μια σύνοψη της όλης εργασίας, παρουσιάζονται τα τελικά συμπεράσματα και τυχόν προβλήματα που προέκυψαν στην εκπόνηση της διπλωματικής εργασίας. Τέλος προτείνονται μελλοντικές επεκτάσεις για την βελτίωση της εφαρμογής που υλοποιήθηκε.

15 4 Κεφάλαιο 2 Επισκόπηση Ερευνητικής Περιοχής 2.1 Μέθοδοι Αξιολόγησης 2D Χαρτών Κατάληψης Πλέγματος H χαρτογράφηση ενός χώρου από ένα ρομποτικό όχημα χρησιμοποιώντας αλγορίθμους SLAM είναι ένα πρόβλημα που έχει καλυφθεί και υλοποιηθεί ευρέως. Σε αντίθεση με αυτό, η αξιολόγηση ενός παραγόμενου από ένα τέτοιο αλγόριθμο χάρτη συγκρίνοντας τον με ένα χάρτη αναφοράς είναι κάτι που δεν έχει εξερευνηθεί πλήρως και ακόμα υπάρχουν διαφωνίες στο επιστημονικό κόσμο όσον αφορά την διαδικασία αξιολόγησης ενός χάρτη, τις διάφορες μετρικές αξιολόγησης που θα χρησιμοποιηθούν, καθώς και στο τρόπο ορισμού ενός χάρτη αναφοράς. Μία από τις πρώτες συστηματικές προσεγγίσεις σχετικά με την αξιολόγηση ενός παραγόμενου χάρτη έγινε από τον Lee [1] όπου στην διατριβή του όρισε 5 ιδιότητες που μία μετρική αξιολόγησης θα πρέπει να τηρεί. 1. Η μετρική πρέπει να είναι καλά ορισμένη. Αυτό σημαίνει πως δεν πρέπει να βασίζεται στην υποκειμενική κρίση ενός ανθρώπου αλλά να είναι καλά μαθηματικά ορισμένη, ούτως ώστε να παράγει αποτελέσματα που να μπορούν να γίνουν εύκολα κατανοητά και να μπορούν να χρησιμοποιηθούν για την σύγκριση των παραγόμενων χαρτογραφήσεων από διαφορετικούς αλγορίθμους και τεχνικές. 2. Η μετρική πρέπει να έχει ένα εύρος πεδίου τιμών. Ο αλγόριθμος αξιολόγησης θα πρέπει να επιστρέφει μια μετρική η οποία να ορίζεται σε ένα συγκεκριμένο αριθμητικό πεδίο τιμών και όχι μια μετρική τύπου boolean. 3. Η μετρική πρέπει να αντικατοπτρίζει τον σκοπό της χαρτογράφησης. 4. Η μετρική πρέπει να ισορροπεί μεταξύ κάλυψης και λεπτομέρειας. Αυτό εξαρτάται φυσικά από το είδος της εφαρμογής και των αναγκών ενός χάρτη που επιθυμούμε να παράγουμε. Γενικά πρέπει να υπάρχει ένας συγκεκριμένος αριθμός μετρικών που να αξιολογούν συνολικά την κάλυψη του χώρου από ένα ρομποτικό όχημα, καθώς και την λεπτομέρεια της παραγόμενης χαρτογράφησης, δίνοντας το κατάλληλο βάρος στο είδος της μετρικής που επιθυμείτε, ανάλογα με τον σκοπό της εκάστοτε εφαρμογής. 5. Η μετρική πρέπει να είναι εφαρμόσιμη κατά την διάρκεια κατασκευής του χάρτη. Στο [2] oι Kummerle, Steder και άλλοι, προτείνουν μία μέθοδο η οποία δεν συγκρίνει τους ίδιους τους χάρτες, αλλά το παραγόμενο μονοπάτι, εκτιμώμενο από τον αλγόριθμο SLAM σε σύγκριση με ένα μονοπάτι αναφοράς. Αυτή η μέθοδος είναι μια εξαιρετική μετρική αξιολόγησης εάν εκπληρώνονται οι απαιτούμενες προϋποθέσεις που απαιτεί. Προφανώς στην

16 2.1. Μέθοδοι Αξιολόγησης 2D Χαρτών Κατάληψης Πλέγματος 5 συγκεκριμένη μέθοδο δεν απαιτείται ένας χάρτης ως σημείο αναφοράς αλλά ένα μονοπάτι. Αυτό συνήθως απαιτεί ανθρώπινη εμπλοκή ή μια καλή υποδομή tracking για την παραγωγή του μονοπατιού αναφοράς. Στο [3] oι Wulf, Nuchter και άλλοι, προτείνουν μια παρόμοια μέθοδο όπου το μονοπάτι αναφοράς παράγεται χρησιμοποιώντας την τεχνική Monte Carlo Localization των 3D σαρώσεων εργαζόμενοι πάνω σε χάρτες αναφοράς όπως έτοιμες κατόψεις χώρων ή κτιρίων. Οι μετρικές που εξάγονται βασίζονται στο μέσο τετραγωνικό σφάλμα των αποστάσεων όλων των σημείων μεταξύ του παραγόμενου από το SLAM χάρτη και του MCL καθώς επίσης και στην διαφορά του προσανατολισμού των αντίστοιχων σημείων. Ακόμα μία μέθοδος σύγκρισης μονοπατιών προτείνεται από τους Burgard και άλλους στο [4], η οποία βασίζεται και πάλι στη μέτρηση του σφάλματος της παραγόμενης τροχιάς. Αρχικά εισάγεται μια μετρική αθροίσματος των τετραγωνικών διαφορών των αποστάσεων των θέσεων, μεταξύ παραγόμενης και τροχιάς αναφοράς, παρόμοια όπως σε προηγούμενα αναφερόμενα παραδείγματα. Αποδεικνύεται όμως πως η χρήση μιας τέτοιας μετρικής είναι υποβέλτιστη μιας και εξαρτάται από την χρονική στιγμή όπου το όχημα πραγματοποιεί μια λάθος εκτίμηση της τροχιάς, χωρίς να λαμβάνει υπόψιν την μη εισαγωγή περαιτέρω σφαλμάτων, με αποτέλεσμα την αύξηση του σφάλματος σε συνάρτηση με το χρόνο. Ακολούθως προτείνεται μια βελτιωμένη μετρική που λαμβάνει υπόψη της την ενέργεια παραμόρφωσης που απαιτείται για την μεταφορά της εκτιμώμενης θέσης στην πραγματική θέση. Αυτό μπορεί να γίνει παρόμοια με την λογική χαρτογράφησης με την χρήση γράφων [5], θεωρώντας τις θέσεις σαν μάζες και τις συνδέσεις μεταξύ τους σαν ελατήρια. Αντί λοιπόν να συγκρίνονται οι πραγματικές και οι εκτιμώμενες θέσεις (ορισμένες σε ένα αδρανειακό πλαίσιο αναφοράς) χρησιμοποιούνται οι σχετικοί μετασχηματισμοί μετατόπισης μεταξύ δύο θέσεων. Σε αυτή την περίπτωση, το σφάλμα θα υπολογίζεται πάντα στο σημείο που έχει πραγματοποιηθεί χωρίς να συσσωρεύεται, ανεξάρτητα από το πότε και που συνέβη κατά την διαγραφή της τροχιάς από το ρομπότ. O Birk στο [6] υπολογίζει ένα ενδιαφέρον χαρακτηριστικό ως μετρική αξιολόγησης ενός χάρτη. Οι προηγούμενες μέθοδοι που αναφέρθηκαν είχαν ως κοινό σημείο το ότι αναφερόντουσαν σε σφάλματα τα οποία κατανέμονταν ομοιόμορφα σε όλο το χάρτη, δηλαδή προσδιόριζαν μετρικές αξιολόγησης στο σύνολο του χάρτη. Αυτός ο τρόπος αξιολόγησης δεν είναι πλήρως αντιπροσωπευτικός σε όλες τις περιπτώσεις, όπως για παράδειγμα σε περιπτώσεις όπου μόνο συγκεκριμένα κομμάτια του χάρτη διαφέρουν σε σχέση με τον χάρτη αναφοράς. Στο άρθρο αυτό αναλύεται μια μορφή αξιολόγησης ενός δομικού λάθους. Συγκεκριμένα προσδιορίζεται μία μετρική η οποία ποσοτικοποιεί τον βαθμό στον οποίο ένας χάρτης μπορεί να κατατμηθεί σε υποχάρτες όπου τα συγκεκριμένα τμήματα έχουν κάποια διαφορά (π.χ. διαφορετικό προσανατολισμό) σε σχέση με τα αντίστοιχα τμήματα του χάρτη αναφοράς. Διαφαίνεται λοιπόν ότι στην βιβλιογραφία έχουν προταθεί αρκετές μετρικές αξιολόγησης μιας χαρτογράφησης. Γενικά όμως δεν έχει αναπτυχθεί κάποια λύση ευρείας αποδοχής. Αυτό οφείλεται στις διαφορετικές απαιτήσεις που ζητούν οι διάφορες εφαρμογές και στο ότι οι μετρικές που προτείνονται περιορίζονται συχνά σε συγκεκριμένες συνθήκες. Συνοψίζοντας οι διάφορες μέθοδοι αξιολόγησης των παραγόμενων χαρτογραφήσεων μπορούν να διακριθούν σε τρεις κατηγορίες: 1. Μέθοδοι που αξιοποιούν το παραγόμενο μονοπάτι. Αυτές οι μέθοδοι χρησιμοποιούν το αποτέλεσμα του εντοπισμού της τροχιάς του ρομπότ που παράγεται από κάποιο αλγόριθμο SLAM και το συγκρίνουν με κάποιο καλά ορισμένο μονοπάτι αναφοράς.

17 6 Κεφάλαιο 2. Επισκόπηση Ερευνητικής Περιοχής 2. Μέθοδοι που αξιοποιούν την εύρεση χαρακτηριστικών σημείων. Οι συγκεκριμένες προσεγγίσεις συγκρίνουν την θέση συγκεκριμένων αναγνωρισμένων σημείων του χάρτη με την καλά ορισμένη θέση αυτών στον χάρτη αναφοράς. 3. Μέθοδοι που αξιοποιούν την τοπολογική δομή ενός χάρτη. Αυτές οι μέθοδοι χρησιμοποιούν την τοπολογική δομή ενός χάρτη βρίσκοντας τον τοπολογικό του γράφο και χρησιμοποιώντας αλγορίθμους ταύτισης των δύο παραγόμενων γράφων εξάγουν μετρικές αξιολόγησης στο αποτέλεσμα τους. Για την χρήση της μεθόδου αξιολόγησης μονοπατιού απαιτούνται δεδομένα αναφοράς για το ρομπότ, ενώ οι δύο άλλες προσεγγίσεις χρειάζονται δεδομένα αναφοράς για το περιβάλλον (χάρτης). Τα δεδομένα αναφοράς του ρομπότ είναι εξαρτημένα από το μονοπάτι που τελικά ακολούθησε το ρομπότ (π.χ. όπως καθορίζεται από ένα αλγόριθμο εξερεύνησης) και δεν περιέχουν πληροφορία για το ποσοστό κάλυψης του περιβάλλοντος. Επίσης πρέπει να συλλέγονται συνέχεια με κάθε καινούργια εξερεύνηση που πραγματοποιεί το ρομποτικό όχημα. Από την άλλη τα δεδομένα αναφοράς του περιβάλλοντος χρειάζεται να συλλεχθούν μια μόνο φορά και μπορούν να εφαρμοσθούν σε χάρτες που δημιουργούνται από πολλά και διαφορετικά ρομπότ. Ακόμη μόνο με αυτά τα δεδομένα είναι δυνατό να εξαχθεί μια εκτίμηση για το ποσοστό κάλυψης της ενδιαφερόμενης περιοχής. Στο [7] ο Schwertfeger αναπτύσσει μια μέθοδο αξιολόγησης με την χρήση χαρακτηριστικών σημείων εισάγοντας τεχνητούς δείκτες/σημεία στον χάρτη τα οποία χρησιμοποιούνται ως καθοδηγητικά σημεία μιας και μπορούν να αναγνωριστούν εύκολα στους παραγόμενους χάρτες. Η μόνη πληροφορία που απαιτείται για την αξιολόγηση της χαρτογράφησης του ρομπότ είναι η αληθινή θέση (στο χάρτη αναφοράς) των καθοδηγητικών σημείων. Με την συγκεκριμένη τεχνική μπορούν να εξαχθούν μετρικές όπως Καθολική Ακρίβεια, Τοπικές Ακρίβειες, Τοπικές Συνοχές, Κάλυψη και ποιότητα ανάλυσης του χάρτη. Επίσης στο [7] ο Schwertfeger αναλύει και μια δομική μέθοδο, όπου εξάγοντας τον τοπολογικό γράφο του χάρτη αναφοράς και συγκρίνοντας τον με τον αντίστοιχο γράφο της παραγόμενης από το SLAM χαρτογράφησης, εξάγει διάφορες μετρικές ομοιότητας πάνω στους ταυτισμένους από κάποιο αλγόριθμο κόμβους των δύο αυτών γράφων. Συγκρίνοντας τις δύο αυτές μεθόδους εξάγεται το συμπέρασμα πως η δομική προσέγγιση αξιολόγησης έχει αρκετά πλεονεκτήματα έναντι της προσέγγισης αξιολόγησης με την εισαγωγή τεχνητών σημείων. Καταρχάς δεν υπάρχει η εξάρτηση της ανίχνευσης τέτοιων χαρακτηριστικών σημείων. Στην περίπτωση της μεθόδου των καθοδηγητικών σημείων αυτά τα τεχνητά σημεία θα πρέπει να τοποθετηθούν στο περιβάλλον με σχετικά υψηλή πυκνότητα. Επίσης ο παραγόμενος χάρτης πρέπει να διαθέτει αρκετά καλή ανάλυση ούτως ώστε να ανιχνευθούν αυτά τα χαρακτηριστικά, σε αντίθεση με την δομική προσέγγιση, η οποία ξεφεύγει από το επίπεδο των κατειλημμένων κελιών στο χάρτη και απλά χρησιμοποιεί την τοπολογική πληροφορία των εξαγόμενων γράφων για να πραγματοποιήσει την αξιολόγηση. Να σημειωθεί ότι όπως αναφέρεται στη διατριβή αυτές οι δύο προσεγγίσεις δίνουν παρόμοια αποτελέσματα οπόταν είναι στην ευχέρεια του εκάστοτε χρήστη ή ανάλογα της εφαρμογής να αποφασίσει ποια μέθοδο θα χρησιμοποιήσει. Η απόφαση μπορεί να ληφθεί λαμβάνοντας υπόψη την δυσκολία τοποθέτησης των καθοδηγητικών σημείων στο περιβάλλον καθώς και την δυσκολία υπολογισμού ενός ακριβούς χάρτη αναφοράς για την τοπολογική προσέγγιση.

18 2.2. Μέθοδοι Αυτόματης Συγχώνευσης 2D Χαρτών Κατάληψης Πλέγματος Μέθοδοι Αυτόματης Συγχώνευσης 2D Χαρτών Κατάληψης Πλέγματος Όπως προαναφέρθηκε στο Κεφάλαιο 1 με τον όρο αυτόματη συγχώνευση χαρτών εννοούμε την συνένωση χαρτών που έχουν παραχθεί από διαφορετικά ρομποτικά οχήματα στο ίδιο χώρο σε ένα ενιαίο χάρτη αφού προσδιοριστεί το αλληλοκαλυπτόμενο μέρος τους. Όπως αναφέρει ο Konolidge το πρόβλημα της συγχώνευσης χαρτών είναι ένα ενδιαφέρον και δύσκολο πρόβλημα που δεν έχει λάβει την ίδια προσοχή σε σχέση με το πρόβλημα εντοπισμού θέσης και κατασκευής ενός χάρτη [8]. Οι Birk και Carpin στο [9], παρουσιάζουν μια ευριστική μέθοδο για την καθοδήγηση της εύρεσης του μετασχηματισμού που δίνει την καλύτερη συγχώνευση. Ουσιαστικά προτείνεται μια στοχαστική επαναληπτική μέθοδος όπου σε κάθε επανάληψη υπολογίζεται ο σχετικός μετασχηματισμός των δύο χαρτών, καθοδηγούμενος από μία ευριστική μετρική. Ο προσδιορισμός του σχετικού μετασχηματισμού υλοποιείται με τη χρήση μιας μετρική ομοιότητας εικόνων που πρώτος εισήγαγε ο Birk στο [10]. Επιπλέον παρουσιάζεται μια ειδική συνάρτηση για την επικύρωση της ορθότητας του αποτελέσματος. Οι Blanco, Gonzalez-Jimenez και Fernandez-Madrigal στο [11] παρουσιάζουν μία μέθοδο ευθυγράμμισης OGMs με την αντιστοίχιση τοπικών χαρακτηριστικών εικόνας ανάγοντας το πρόβλημα σε μία ειδική περίπτωση προβλήματος ευθυγράμμισης εικόνας γνωστό ως image registration στο πεδίο της υπολογιστικής όρασης. Παρουσιάζεται ένας τροποποιημένος αλγόριθμος RANSAC για την εύρεση των σωστών αντιστοιχίσεων μεταξύ των τοπικών χαρακτηριστικών των χαρτών. Για την εξαγωγή τοπικών χαρακτηριστικών χρησιμοποιούνται καθιερωμένοι αλγόριθμοι από το χώρο του computer vision όπως Harris, SIFT, SURF. Στο [12] ο Rapp Μ. και άλλοι προτείνουν μια μέθοδο ευθυγράμμισης χαρτών πλέγματος βασισμένη σε τοπικά χαρακτηριστικά με χρήση τεχνικών επεξεργασίας εικόνας. Συγκεκριμένα προτείνουν την χρήση ενός ειδικού περιγραφέα βασισμένου σε στατιστικά στοιχεία τα οποία εξάγονται ακτινικά από τον περιβάλλοντα χώρο ενός σημείου ενδιαφέροντος. Όπως αναφέρεται τα αποτελέσματα του συγκεκριμένου περιγραφέα είναι συγκρίσιμα με ευρέως χρησιμοποιούμενους περιγραφείς. Για την ευθυγράμμιση των χαρτών χρησιμοποιείται μια προσέγγιση με γράφους ορίζοντας μια συνάρτηση βελτιστοποίησης βάσει των αντιστοιχίσεων που έχουν γίνει. Η συνάρτηση αυτή χρησιμοποιείται για την βελτίωση των σχετικών μετασχηματισμών πολλαπλών χαρτών πλέγματος.

19 8 Κεφάλαιο 3 Θεωρητικό υπόβαθρο - Εργαλεία Στο παρόν κεφάλαιο θα παρατεθεί το θεωρητικό υπόβαθρο στο οποίο βασίζονται οι τεχνικές αυτόματης ευθυγράμμισης εικόνων και το οποίο είναι απαραίτητο για την κατανόηση αυτών. Συγκεκριμένα, θα γίνει μια συνοπτική αναφορά στην εξαγωγή χαρακτηριστικών ενδιαφέροντος σε μία εικόνα, θα παρουσιαστεί ο τρόπος εξαγωγής συγκεκριμένων ευρέως χρησιμοποιούμενων χαρακτηριστικών, καθώς και τρόποι αντιστοίχησης των εξαχθέντων περιγραφέων μεταξύ δύο εικόνων με απώτερο σκοπό την ευθυγράμμιση τους. Τέλος, θα παρουσιαστούν τα εργαλεία στα οποία βασίστηκε η υλοποίηση και η διεκπεραίωση των απαιτούμενων πειραμάτων. 3.1 Χάρτες Κατάληψης Πλέγματος Οι αλγόριθμοι χαρτογϱάφησης που χρησιμοποιήθηκαν για την εξαγωγή των χαρτών στην παρούσα εργασία, χρησιμοποιούν σαν δομή αναπαράστασης της χωρικής πληροφορίας χάρτες κατάληψης πλέγματος (Occupancy Grid Map - OGM). Οπόταν κρίνεται σκόπιμο να γίνει μια συνοπτική αναφορά σε αυτούς. Ως χάρτη κατάληψης πλέγματος ορίζουμε μια αναπαράσταση χωρικής πληροφορίας χρησιμοποιώντας ένα πλέγμα κελιών αντιστοιχίζοντας σε κάθε x y συντεταγμένη μια δυαδική τιμή κατάληψης που ορίζει εάν η συγκεκριμένη θέση είναι κατειλημμένη από κάποιο εμπόδιο ή όχι. Ο συνεχής πραγματικός χώρος αναπαρίσταται μέσω ενός διακριτού ομοιόμορφου πλέγματος (grid). Κάθε στοιχείο του πλέγματος διαθέτει μια μεταβλητή που αποτελεί την πιθανότητα το συγκεκριμένο κελί να είναι κατειλημμένο. Συνήθως τα OGMs αποτελούν μία δισδιάστατη τομή του τρισδιάστατου πραγματικού χώρου, έτσι κάθε κελί του πλέγματος αντιστοιχεί σε μία τετραγωνική επιφάνεια. Όσο μεγαλύτερο σε επιφάνεια είναι το θεμελιώδες κελί τόσο μικρότερη ακρίβεια και ποιότητα έχει ο παραγόμενος χάρτης (resolution = pixels/meter). H οπτική αναπαράσταση ενός OGM γίνεται με την αντιστοίχιση της πιθανότητας ενός κελιού να είναι ελεύθερο με την τιμή της φωτεινότητας ενός εικονοστοιχείου (pixel) μιας gray-scale εικόνας. Συγκεκριμένα ο ελεύθερος χώρος αναπαρίσταται με λευκό χρώμα (πιθανότητα 0), ο ανεξερεύνητος με γκρι (πιθανότητα 0.5) ενώ τα εμπόδια με μαύρο (πιθανότητα 1). Ο τρόπος υπολογισμού και ανανέωσης της πιθανότητας ενός κελιού να είναι κατειλημμένο συνήθως υλοποιείται ως λογαριθμικός λόγος πιθανοτήτων που είναι αποτέλεσμα της συνάρτησης logit όταν ως είσοδος δοθεί η πιθανότητα. Η συνάρτηση logit είναι η αντίστροφη συνάρτηση της σιγμοειδούς και ορίζεται ως: logit(p) = log p 1 p (3.1)

20 3.2. Τοπικά χαρακτηριστικά εικόνας 9 Σχήμα 3.1: Αναπαράσταση του εργαστηρίου Αρχιτεκτονικής και υπολογιστών από OGM. 3.2 Τοπικά χαρακτηριστικά εικόνας Ως τοπικά χαρακτηριστικά ορίζονται όλα εκείνα τα χαρακτηριστικά, τα οποία περιέχουν πληροφορίες σχετικά με τη δομή, την υφή και την εμφάνιση της εικόνας. Συνήθως σχετίζονται με κάποια ιδιότητα της εικόνας όπως για παράδειγμα το χρώμα, οι ακμές ή οι γωνίες. Ουσιαστικά δηλαδή κωδικοποιούν τη δομή της εικόνας σε χωρικές γειτονιές, αποτελούμενες από ένα σύνολο από χαρακτηριστικά επιλεγμένα σε συγκεκριμένες κατευθύνσεις και κλίμακες. Η εξαγωγή τοπικών χαρακτηριστικών συνοψίζεται σε δυο στάδια, στην εύρεση σημείων ενδιαφέροντος σε περιοχές της εικόνας και στην έκφραση ενός κατάλληλου διανύσματος το οποίο περιγράφει ικανοποιητικά κάθε τέτοιο σημείο. Ένα τοπικό χαρακτηριστικό θεωρείται καλό όταν δεν είναι ευαίσθητο σε θόρυβο και σε αλλαγές της οπτικής γωνίας. Είναι δεδομένο ότι θέλουμε να είμαστε σε θέση να αναγνωρίσουμε το ίδιο σημείο ενδιαφέροντος,

21 10 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία ανεξαρτήτως οπτικής γωνίας. Γι αυτό άλλωστε τα τοπικά χαρακτηριστικά που βασίζονται σε παραγώγους παρουσιάζουν τα καλύτερα αποτελέσματα. Μερικές από τις ιδιότητες που συνθέτουν ένα καλό τοπικό χαρακτηριστικό είναι η ανθεκτικότητα τους σε εναλλαγές της φωτεινότητας, καθώς επίσης και σε μεταβολές αναφορικά με κλίμακα, μεταφορά και περιστροφή. Όπως αναφέραμε παραπάνω, τα τοπικά χαρακτηριστικά υπολογίζονται σε δύο βασικά βήματα. Ο εντοπισμός σημείων ενδιαφέροντος, ο οποίος αποτελεί και το πρώτο βήμα, αναφέρεται σε μεθόδους που εντοπίζουν τις πληροφορίες σχετικά με την εικόνα, για αυτό άλλωστε και αναφέρονται ως detectors. Στο δεύτερο βήμα επιχειρείται να βρεθεί μια αντιπροσωπευτική αναπαράσταση για κάθε σημείο ενδιαφέροντος, η οποία εκτός των άλλων καθιστά εφικτή και τη μεταξύ τους σύγκριση. Συνήθως η συγκεκριμένη αναπαράσταση υπολογίζεται σε κάποια δεδομένη κλίμακα και κατεύθυνση. Οι μεθοδολογίες που υλοποιούν το δεύτερο βήμα του αλγορίθμου αναφέρονται ως descriptors SIFT - SCALE INVARIANT FEATURE TRANSFORM Ένας από τους πλέον διαδεδομένους αλγορίθμους στο πεδίο της υπολογιστική όρασης είναι ο SIFT, [13], ο οποίος μας επιτρέπει να εντοπίζουμε σημεία ενδιαφέροντος σε μια εικόνα τα οποία είναι ανθεκτικά σε αλλαγές αναφορικά με κλίμακα και περιστροφή. Η εξαγωγή και η περιγραφή SIFT τοπικών χαρακτηριστικών συνοψίζεται σε τέσσερα βασικά βήματα. 1. Ανίχνευση ακρότατων στο χώρο της κλιμάκωσης (Scale-space extrema detection) 2. Εντοπισμός σημείων ενδιαφέροντος (Keypoint localization) 3. Καθορισμός προσανατολισμού (Orientation assignment) 4. Περιγραφή των σημείων ενδιαφέροντος (Keypoint descriptor) Ανίχνευση ακρότατων στο χώρο της κλιμάκωσης (Scale-space extrema detection): Ο αλγόριθμος SIFT για εξαγωγή χαρακτηριστικών εικόνας, μετασχηματίζει μια εικόνα σε μια μεγάλη συλλογή διανυσμάτων χαρακτηριστικών, κάθε ένα από τα οποία είναι αμετάβλητο σε μετατόπιση, κλιμάκωση, περιστροφή εικόνας, μερικώς αμετάβλητο σε αλλαγές φωτισμού και εύρωστο σε τοπικές γεωμετρικές παραμορφώσεις. Μια γκαουσιανή πυραμίδα κατασκευάζεται από την εικόνα εισόδου, με επαναλαμβανόμενη ομαλοποίηση και υποδειγματοληψία και μια πυραμίδα διαφοράς γκαουσιανών (Difference of Gaussians/DoG pyramid) υπολογίζεται από τις διαφορές μεταξύ των γειτονικών επιπέδων της πυραμίδας. Μετά, λαμβάνονται τα σημεία ενδιαφέροντος, από σημεία όπου από τις τιμές της διαφοράς των γκαουσιανών προκύπτουν ακρότατα, τόσο με βάση τις χωρικές συντεταγμένες της εικόνας, όσο και με βάση το επίπεδο της κλίμακας στην πυραμίδα. G(x, y, σ) = 1 (x 2 +y 2 ) 2πσ 2 e 2σ 2 (3.2) Αν θεωρήσουμε μια εικόνα I(x, y) και k έναν σταθερό πολλαπλασιαστικό παράγοντα τότε η συνάρτηση DoG (Difference of Gaussians) προκύπτει από τη σχέση 3.3 D(x, y, σ) = (G(x, y, kσ) G(x, y, σ)) I(x, y) (3.3) Εντοπισμός σημείων ενδιαφέροντος (Keypoint localization): Σε αυτό το στάδιο, ο κύριος στόχος είναι ο εντοπισμός τοπικών ελαχίστων/μεγίστων του

22 3.2. Τοπικά χαρακτηριστικά εικόνας 11 Σχήμα 3.2: Αναπαράσταση Difference of Gaussians. προαναφερθέντος συνόλου, δηλαδή της D(x, y, ), τα οποία θα είναι και τα υποψήφια σημεία ενδιαφέροντος. Η διαδικασία που ακολουθείται είναι η εξής: κάθε ένα pixel της εικόνας συγκρίνεται με τους 8 γείτονές του στην τρέχουσα εικόνα, με τους 9 γείτονες στην προηγούμενη καθώς και με τους 9 γείτονές του στην επόμενη κλίμακα. Ένα pixel χαρακτηρίζεται ως ακρότατο μόνο αν αυτό είναι μεγαλύτερο από όλα τα γειτονικά του ή μικρότερο από όλα αυτά. Η πιθανότητα μιας αντιστοίχισης να είναι σωστή, μπορεί να οριστεί παίρνοντας το λόγο της απόστασης από τον κοντινότερο γείτονα προς την απόσταση από το δεύτερο κοντινότερο. Μια οπτική αναπαράσταση της DoG, καθώς και της εύρεσης ακρότατων φαίνεται στα σχήματα 3.2 και 3.3. Όταν ένα υποψήφιο σημείο ενδιαφέροντος έχει βρεθεί, συγκρίνοντας ένα pixel με τα γειτονικά του, το επόμενο βήμα είναι να προσδιοριστεί ακριβώς η θέση του, η κλίμακα και ο λόγος καμπυλότητάς του. Αυτή η πληροφορία επιτρέπει σε πιθανά σημεία κλειδιά να απορριφθούν, αν έχουν χαμηλή αντίθεση ή δεν διαφέρουν σημαντικά από τα γειτονικά τους, (άρα είναι ευαίσθητα σε θόρυβο) ή αν βρίσκονται κακώς τοποθετημένα κατά μήκος μιας ακμής. Καθορισμός προσανατολισμού (Orientation assignment): Στο τρίτο βήμα εκχωρείται σε κάθε σημείο ενδιαφέροντος ένας σταθερός προσανατολισμός, ο οποίος βασίζεται στις τοπικές ιδιότητες της εικόνας. Με αυτό τον τρόπο κάθε σημείο ενδιαφέροντος μπορεί πλέον να αναπαρασταθεί σχετικά με αυτόν τον προσανατολισμό επιτυγχάνοντας έτσι ανθεκτικότητα σε περιστροφικές αλλαγές της εικόνας.

23 12 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία Σχήμα 3.3: Αναζήτηση ακρότατων στην Difference of Gaussians Περιγραφή των σημείων κλειδιών (Keypoint descriptor): Τέλος για κάθε σημείο ενδιαφέροντος δημιουργείται ένα ιστόγραμμα προσανατολισμού (Histogram of Oriented Gradients (HOG)) από τις κατευθύνσεις των παραγώγων σε μια περιοχή γύρω από αυτό. Κάθε ιστόγραμμα προσανατολισμού που προκύπτει έχει 36 στάθμες, οι οποίες καλύπτουν και τις 360 μοίρες του εύρους προσανατολισμού. Συγκεκριμένα για κάθε σημείο ενδιαφέροντος υπολογίζονται οι κατευθύνσεις των παραγώγων σε παράθυρα 4 4 γύρω από αυτό και δημιουργείται για κάθε ένα παράθυρό ιστόγραμμα 8 στάθμεων. Κατά συνέπεια ο SIFT descriptor έχει διαστάσεις = 128. Στο σχήμα 3.4 απεικονίζεται ο υπολογισμός του ιστογράμματος προσανατολισμού (HOG) για κάθε σημείο ενδιαφέροντος, όπως αναλύθηκε παραπάνω. Σχήμα 3.4: Υπολογισμός ιστογράμματος προσανατολισμού για τα SIFT σημεία ενδιαφέροντος

24 3.2. Τοπικά χαρακτηριστικά εικόνας SURF (Speeded-Up Robust Features) To 2006 οι Βay, H., Tuytelaars, T. και Van Gool, L. [14], παρουσίασαν ένα αλγόριθμο εντοπισμού τοπικών χαρακτηριστικών βασισμένο στο SIFT με ταχύτερη υλοποίηση και συγκρίσιμα αποτελέσματα. Η προσέγγιση που ακολούθησαν ήταν να προσεγγίσουν την συνάρτηση Laplacian of Gaussian (LoG) χρησιμοποιώντας box filters τα οποία ουσιαστικά αποτελούνται από ένα πυρήνα συγκεκριμένου μεγέθους (στην περίπτωση μας 9x9) με τιμή τον μέσο όρο των pixels σε ένα καθορισμένο ορθογώνιο. Χρησιμοποιώντας την τεχνική των ολοκληρωτικών εικόνων (integral images) που πρώτοι πρότειναν οι P. Viola and M. Jones [15] η συνέλιξη των συγκεκριμένων φίλτρων με την εικόνα μπορεί να επιτευχθεί σε αποδοτικό χρόνο αφού μπορεί να πραγματοποιηθεί παράλληλα για διαφορετικές κλίμακες. Σχήμα 3.5: Προσέγγιση των δεύτερων τάξεων Gaussian παραγώγων με την χρήση box filters Για την εύρεση προσανατολισμού χρησιμοποιούνται οι αποκρίσεις των συνελίξεων με κυματίδια (wavelets) στην οριζόντια και κάθετη κατεύθυνση σε μια συγκεκριμένου μεγέθους γειτονιά (διαφορετική για κάθε κλίμακα). Μια γραφική αναπαράσταση των συγκεκριμένων αποκρίσεων φαίνεται στο σχήμα 3.6. O κυρίαρχος προσανατολισμός υπολογίζεται απο το άθροισμα όλων των αποκρίσεων μέσα σε ένα κινούμενο παράθυρο προσανατολισμού γωνίας 60 μοιρών. Όπως και πριν οι αποκρίσεις αυτές μπορούν να υπολογιστούν με χρήση integral images για διάφορες κλίμακες. Για την περιγραφή των εξαχθέντων χαρακτηριστικών ο SURF χρησιμοποιεί και πάλι τις αποκρίσεις των συνελίξεων με τα wavelets γύρω από μια γειτονιά από το σημείο. Η περιοχή διαιρείται σε 4x4 υποπεριοχές και σε κάθε υποπεριοχή υπολογίζονται οι οριζόντιες και κάθετες αποκρίσεις wavelets σχηματίζοντας ένα διάνυσμα 4 στοιχείων. Εντάσσοντας όλες τις υποπεριοχές σχηματίζεται το τελικό διάνυσμα 64 διαστάσεων. Για περισσότερη διακριτικότητα υπάρχει η επιλογή για το εκτεταμένο διάνυσμα των 128 διαστάσεων. Εν κατακλείδι, ο SURF προσθέτοντας νέα χαρακτηριστικά και καινούργιες τεχνικές βελτιώνει την ταχύτητα εκτέλεσης του αλγορίθμου σε κάθε βήμα. Αναλύσεις που πραγματοποιήθηκαν δείχνουν ότι εκτελείται 3 φορές γρηγορότερα από τον SIFT με συγκρίσιμες αποδόσεις

25 14 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία Σχήμα 3.6: Υπολογισμός προσανατολισμού τοπικών χαρακτηριστικών με τη χρήση wavelets αντιστοίχισης. Αποδεικνύεται ότι ο SURF αποδίδει αρκετά καλά σε περιπτώσεις εικόνων με ύπαρξη θορύβου και περιστροφής αντικειμένων. Μειονέκτημα του η μη καλή αντιστοίχιση χαρακτηριστικών σε εικόνες που παρουσιάζουν διαφορές στην φωτεινότητα τους ORB (Oriented FAST and Rotated BRIEF) Στο [16] οι Ethan Rublee, Vincent Rabaud, Kurt Konolige και Gary R. Bradski το 2011 παρουσίασαν ένα εναλλακτικό αλγόριθμο σε σχέση με τον SIFT και SURF. O συγκεκριμένος αλγόριθμος είναι υπολογιστικά πιο αποδοτικός από τους τελευταίους και παρουσιάζει παρόμοια ποσοστά σωστών αντιστοιχίσεων και παράλληλα επηρεάζεται πολύ λιγότερο από τυχόν θόρυβο που μπορεί να υπάρχει στην εικόνα. Επιπρόσθετα, είναι ανοιχτός για χρήση προς όλους σε αντίθεση με τους προηγούμενους. Ο ΟRB αποτελεί ουσιαστικά μια μίξη του FAST [17] αλγορίθμου για ανίχνευση σημείων ενδιαφέροντος (keypoint detector) και του ΒRIEF [18] περιγραφέα (descriptor) με αρκετές τροποποιήσεις ώστε να ενισχύσουν την αποδοτικότητα του. Αρχικά χρησιμοποιεί τον FAST για την εξαγωγή σημείων ενδιαφέροντος και εφαρμόζει την μετρική του Ηarris [19] για τις γωνίες για να εντοπίσει τα καλύτερα Ν σημεία. Με την χρήση πυραμίδας κλιμάκωσης παράγει σημεία σε διάφορα επίπεδα ώστε να διασφαλίσει την ανθεκτικότητα στην κλίμακα. Για να είναι ανθεκτικός και στην περιστροφή, υπολογίζεται ένα ισοζυγισμένο κεντροειδές σε μία περιοχή γύρω από το σημείο ενδιαφέροντος, χρησιμοποιώντας τις τιμές φωτεινότητας των pixels. H κατεύθυνση του διανύσματος που σχηματίζεται μεταξύ του κεντροειδούς και του σημείου περιγράφει τον προσανατολισμό. Για την περιγραφή των σημείων ενδιαφέροντος όπως αναφέρθηκε χρησιμοποιείται ο ΒRIEF περιγραφέας. Σύμφωνα με τον αλγόριθμο αυτό, γύρω από μια γειτονιά ενός σημείου ενδιαφέροντος πραγματοποιείται μια σειρά από δυαδικά τεστ πάνω στην φωτεινότητα των pixels. Το διάνυσμα περιστροφής αποτελείται άρα από την τιμή των αποτελεσμάτων αυτών των δυαδικών τιμών, δηλαδή από μια ακολουθία 0 και 1. Μόνος του ο ΒRIEF παρουσιάζει φτωχή

26 3.3. Αντιστοίχιση Χαρακτηριστικών Εικόνας - Feature Matching 15 απόδοση όσο αφορά την περιστροφή. Ο ΟRB προτείνει ένα κατευθυνόμενο περιγραφέα χρησιμοποιώντας τον προσανατολισμό των τοπικών χαρακτηριστικών που υπολογίστηκαν προηγουμένως. Τέλος όπως αναφέρεται δημιουργείται ένας αλγόριθμος ο οποίος έχει συγκρίσιμα αποτελέσματα με τους ευρέα χρησιμοποιημένους SIFT και SURF αλγορίθμους με ξεκάθαρα όμως ποιο ταχύτατη υλοποίηση καθιστώντας τον κατάλληλο για χρήση σε εφαρμογές πραγματικού χρόνου και μικρής καταναλώσεως. Επίσης, η ανοχή που παρουσιάζει στο θόρυβο επιτρέπει την αντιστοίχηση περισσότερων σημείων. Το μειονέκτημα του, όπως αναφέρουν οι συγγραφείς, είναι ότι σε σύγκριση με τους προηγούμενους δεν παρουσιάζει την ίδια ανθεκτικότητα στην κλίμακα κάτι το οποίο θα αντιληφθούμε και στην δική μας υλοποίηση Harris Corner Detector Οι Harris και Stephens στο άρθρο τους [19] παρουσίασαν μια από τις πρώτες μεθόδους εύρεσης γωνιών βασισμένοι στην παρατήρηση ότι οι γωνίες αποτελούν περιοχές σε μία εικόνα με μεγάλη διακύμανση στην φωτεινότητα προς όλες τις κατευθύνσεις. Για κάθε σημείο στην εικόνα υπολογίζονται οι ιδιοτιμές των δεύτερων παραγώγων σε μια συγκεκριμένη περιοχή γύρω από το σημείο. Τα ιδιοδιανύσματα που προκύπτουν εκφράζουν τις δύο κατευθύνσεις με τις μεγαλύτερες αλλαγές στην φωτεινότητα. Ακολούθως, ένα σημείο χαρακτηρίζεται ως γωνία εάν πρόκειται για σημείο με μεγάλες τιμές ιδιοτιμών, εκφράζοντας έτσι μεγάλη διακύμανση σε δύο κατευθύνσεις GFTT - Good Features to Tra Οι Shi και Τomasi σε δημοσίευση τους με τίτλο Good Features to Track [20] παρουσίασαν μια τροποποιημένη μέθοδο ανίχνευσης γωνιών βασιζόμενη στην μέθοδο που πρότεινε ο Harris. Τροποποιώντας απλά τον τρόπο αξιολόγησης ενός σημείου ως γωνία (βασιζόμενοι και πάλι στην εύρεση ιδιοτιμών από την τιμή των δεύτερων παραγώγων) πέτυχαν καλύτερα αποτελέσματα και την εξαγωγή περισσότερων χαρακτηριστικών σημείων FAST - Features from accelerated segment test O αλγόριθμος FAST [17] αποτελεί ακόμα μία μέθοδο ανίχνευσης γωνιών. Μεγαλύτερο του πλεονέκτημα σε σύγκριση με άλλους αλγορίθμους είναι η υπολογιστική του επίδοση και όπως λέει και το όνομα του είναι ταχύτερος ειδικά σε σχέση με άλλες μεθόδους ανίχνευσης χαρακτηριστικών όπως SIFT και Harris καθιστώντας τον κατάλληλο για χρήση σε real-time εφαρμογές. 3.3 Αντιστοίχιση Χαρακτηριστικών Εικόνας - Feature Mat ing To πρώτο βήμα για την ευθυγράμμιση δύο εικόνων ήταν η εξαγωγή και περιγραφή τοπικών χαρακτηριστικών από τις εικόνες τα οποία περιγράφουν μοναδικά την εικόνα και είναι ανθεκτικά σε μεταβολές που μπορεί να υπάρξουν στην εικόνα όπως περιστροφή, κλίμακα, θόρυβο, αλλαγές στην φωτεινότητα.

27 16 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία Το επόμενο βήμα είναι η ταύτιση συγκεκριμένων χαρακτηριστικών από τη μία εικόνα στην άλλη. Δηλαδή δεδομένου ενός χαρακτηριστικού στην μία εικόνα πρέπει να εξευρεθεί η καλύτερη του αντιστοίχιση σε ένα χαρακτηριστικό της άλλης εικόνας. Για να γίνει αυτό πρέπει να προσδιοριστεί μία μετρική ομοιότητας μεταξύ οποιασδήποτε αντιστοίχισης χαρακτηριστικών. Μια απλή και ευρέως χρησιμοποιούμενη μετρική είναι το Άθροισμα των τετραγωνικών διαφορών (SSD - Sum of Squared Differences) εφαρμοζόμενο σε οποιαδήποτε αντιστοίχιση διανυσμάτων περιγραφέων δύο features. SSD(f1, f2) = N (f1 i f2 i ) 2 (3.4) Μπορεί εύκολα να αντιληφθεί κανείς ότι η εξίσωση 3.4 δεν είναι παρά ο γενικός ορισμός μιας μετρικής απόστασης. Στην πραγματικότητα ως μετρική ομοιότητας μπορεί να χρησιμοποιηθεί οποιαδήποτε μετρική απόστασης όπως για παράδειγμα η Ευκλείδια απόσταση, απόσταση Manha an κ.α. Ακόμα η χρήση εξαρτάται και από τον τύπο του διανύσματος του περιγραφέα. Για παράδειγμα ο ORB περιγραφέας αποτελείται από δυαδικά στοιχεία, γεγονός που προσφέρει σαν καλή μετρική ομοιότητας την απόσταση Hamming [21] Τρόποι αντιστοίχισης Ο πιο απλός τρόπος αντιστοίχισης χαρακτηριστικών από τη μία εικόνα στην άλλη είναι μια απλή εξουθενωτική μέθοδος αναζήτησης ή αλλιώς μια Brute-force αναζήτηση. Ουσιαστικά ξεκινώντας από ένα χαρακτηριστικό στην μία εικόνα, υπολογίζουμε την μετρική ομοιότητας για κάθε χαρακτηριστικό στην άλλη εικόνα και το αντιστοιχούμε στο χαρακτηριστικό με την μικρότερη απόσταση. Η γραμμική μέθοδος αναζήτησης αυξάνει αρκετά τον χρόνο υλοποίησης του αλγόριθμου αντιστοίχισης και σε περιπτώσεις με σημαντικό αριθμό χαρακτηριστικών μπορεί να κριθεί ασύμφορη, ειδικά σε περιπτώσεις υλοποιήσεων όπου ο χρόνος υλοποίησης παίζει σημαντικό ρόλο. Εναλλακτικά μπορούν να χρησιμοποιηθούν προσεγγιστικές τεχνικές εύρεσης καλύτερου γείτονα, όπου μειώνουν σημαντικά το χρόνο εκτέλεσης χωρίς να ρίχνουν σημαντικά την απόδοση της αντιστοίχισης. Ένα παράδειγμα μιας συλλογής τέτοιων αλγορίθμων αποτελεί ο FLANN (Fast Approximate Nearest Neighbor) [22]. Η τεχνική αυτή, η εύρεση δηλαδή από ένα σύνολο σημείων του καλύτερου γείτονα, δεν εξασφαλίζει πάντα την σωστή αντιστοίχιση. Για παράδειγμα συγκεκριμένα χαρακτηριστικά μπορεί να παρουσιάζονται πολλαπλές φοϱές μέσα στην εικόνα. Η αντιστοίχηση χρησιμοποιώντας τους περιγραφείς δεν λαμβάνει υπόψη της την γεωμετρία του χώρου, με αποτέλεσμα πολλαπλές εμφανίσεις των ίδιων χαρακτηριστικών να μπορούν να αντιστοιχιστούν σε λάθος (όσον αφορά τον χώρο) χαρακτηριστικά στην άλλη εικόνα. Το πρόβλημα εντείνεται ιδιαίτερα στην περίπτωση μας όπου συχνά οι χάρτες παρουσιάζουν επαναλαμβανόμενα μοτίβα, όπως τοίχους σε συγκεκριμένες γωνίες κ.α. Επίσης η ύπαρξη θορύβου στους αλγόριθμους χαρτογράφησης συμβάλλει στην μη σωστή αντιστοίχιση αφού όπως αναφέρθηκε δεν παρουσιάζουν όλοι οι περιγραφείς ανθεκτικότητα στο θόρυβο. Στην εικόνα 3.7 φαίνεται το αποτέλεσμα της αρχικής αντιστοίχισης χαρακτηριστικών μεταξύ ενός χάρτη αναφοράς και ενός χάρτη παραγόμενου από αλγόριθμο χαρτογράφησης. Είναι ξεκάθαρο ότι πρέπει να εξευρεθεί τρόπος για απαλοιφή των λανθασμένων αντιστοιχίσεων, ούτως ώστε η εύρεση του μετασχηματισμού μεταξύ των δύο εικόνων να μπορεί να υλοποιηθεί με σωστές γεωμετρικές αντιστοιχίσεις. i=1

28 3.3. Αντιστοίχιση Χαρακτηριστικών Εικόνας - Feature Matching 17 Σχήμα 3.7: Απλή αντιστοίχηση χαρακτηριστικών εικόνας χρησιμοποιώντας τον αλγόριθμο SIFT Ένας απλοϊκός τρόπος για απαλοιφή λανθασμένων αντιστοιχίσεων είναι η χρήση ενός μέγιστου ορίου για την απόσταση μεταξύ των χαρακτηριστικών. Θέτοντας το όριο σε μια μικρή τιμή μπορούν να απορριφθούν ένας σημαντικός αριθμός λανθασμένων αντιστοιχίσεων. Το πρόβλημα της συγκεκριμένης πρότασης έγκειται στον προσδιορισμό αυτού του ορίου. Εάν είναι αρκετά μεγάλο θα συμπεριληφθούν και λανθασμένες αντιστοιχίσεις, ενώ αν είναι αρκετά μικρό υπάρχει κίνδυνος απόρριψης σωστών αντιστοιχίσεων. Ο Lowe στο [13] προτείνει ένα λόγο απόρριψης συγκρίνοντας την απόσταση του πρώτου καλύτερου γείτονα από τον δεύτερο. Συγκρίνοντας τις συναρτήσεις πυκνότητας-πιθανότητας των σωστών και λανθασμένων αντιστοιχίσεων σε ένα μεγάλο σετ δεδομένων, προέκυψε το συμπέρασμα πως αν ο λόγος απόστασης μεταξύ πρώτου και δεύτερου καλύτερου γείτονα είναι μεγαλύτερος από 0.8 μπορούν να απορριφθούν το 90% των λανθασμένων αντιστοιχίσεων και ταυτόχρονα μόνο το 5% των σωστών. Μία άλλη τεχνική για την εύρεση των σωστών αντιστοιχίσεων είναι η συμμετρική αντιστοίχιση. Η εύρεση του καλύτερου γείτονα γίνεται αμφίδρομα ξεκινώντας πρώτα από την μία εικόνα σαν αναφορά και ακολούθως με τη δεύτερη. Αν ένα ζευγάρι χαρακτηριστικών αντιστοιχηθεί και στις δύο περιπτώσεις τότε μόνο θεωρείται σωστή η αντιστοίχιση. Οι πιο πάνω τεχνικές αν και βοηθούν στην απόρριψη ενός σημαντικού αριθμού λανθασμένων αντιστοιχίσεων δεν μπορούν να διασφαλίσουν την μη ύπαρξη τους. Η εύρεση σωστού μετασχηματισμού μεταξύ των δύο εικόνων, απαιτεί συγκεκριμένο πλήθος σωστών αντιστοιχίσεων και η ύπαρξη έστω και μίας λανθασμένης αντιστοίχισης μπορεί να αποβεί καταστροφική. Πρέπει λοιπόν να εξευρεθεί μία πιο αποτελεσματική μέθοδος που θα διασφαλίζει την ύπαρξη μόνο σωστών αντιστοιχίσεων.

29 18 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία O αλγόριθμος RANSAC O αλγόριθμος RANSAC (Random sample consensus) είναι μια επαναληπτική μέθοδος για τον υπολογισμό παραμέτρων ενός μαθηματικού μοντέλου από ένα σετ δεδομένων που περιέχει ακραία στοιχεία (outliers). Μπορεί δηλαδή να θεωρηθεί ως μία μέθοδος ανίχνευσης και ενδεχομένως απόρριψης ακραίων στοιχείων από ένα σετ δεδομένων, στοιχείων δηλαδή που δεν συμβαδίζουν με τα υπόλοιπα, όσον αφορά συγκεκριμένες ιδιότητες και παραμέτρους που πρέπει να πληρούν τα δεδομένα ενός συγκεκριμένου μοντέλου. Ο αλγόριθμος πρωτοεκδόθηκε από τους Fischler, Bolles [23] για την επίλυση του προβλήματος εντοπισμού θέσης και συγκεκριμένα την εύρεση των σημείων στο χώρο που προβάλλονται σε μια εικόνα σε ένα σετ από γνωστά σημεία θέσεων. Η βασική υπόθεση του αλγορίθμου είναι πως τα δεδομένα αποτελούνται από inliers, στοιχεία όπου η κατανομή τους μπορεί να ερμηνευτεί απο ένα σετ παραμέτρων και από outliers, ακραίων στοιχείων που δεν εμπίπτουν στο συγκεκριμένο μοντέλο παραμέτρων. Οι ακραίες τιμές μπορούν να προκύψουν για παράδειγμα, από την ύπαρξη μεγάλων τιμών θορύβου στα δεδομένα ή από λανθασμένες μετρήσεις και υποθέσεις όσον αφορά την ερμηνεία των δεδομένων. Επιπλέον ο RANSAC υποθέτει πως δεδομένου ενός συνήθως μικρού αριθμού inliers, υπάρχει διαδικασία που μπορεί να εκτιμήσει τις παραμέτρους ενός μοντέλου στο οποίο εμπίπτουν τα δεδομένα. Ένα απλό παράδειγμα χρήσης του αλγορίθμου είναι ο προσδιορισμός των δισδιάστατων στοιχείων από ένα σετ δεδομένων που ανήκουν σε μία γραμμή. Εάν για παράδειγμα χρησιμοποιηθεί μια απλή μέθοδος ελαχίστων τετραγώνων, το αποτέλεσμα μπορεί να παράξει μια γραμμή στην οποία δεν θα ανήκουν όλα τα inliers. Αυτό συμβαίνει γιατί η μέθοδος αυτή χρησιμοποιεί όλα τα στοιχεία (ακραία και μη) για την εξαγωγή του αποτελέσματος. Από την άλλη ο RANSAC μπορεί να παράξει ένα μοντέλο το οποίο υπολογίζεται μόνο με την χρήση των inliers, δεδομένου ότι η πιθανότητα επιλογής μόνο inliers από τα δεδομένα είναι επαρκώς υψηλή. Σχήμα 3.8: Εύρεση σημείων που ανήκουν σε μια γραμμή με το αλγόριθμο RANSAC Το παράδειγμα του RANSAC διατυπώνεται πιο τυπικά ως εξής: Δοθέντος ενός μοντέλου που απαιτεί τουλάχιστον n σημεία για να καθορίσει τις ελεύθερες παραμέτρους του, και ένα σετ δεδομένων Ρ τέτοιο ώστε ο αριθμός των σημείων στο Ρ να

30 3.3. Αντιστοίχιση Χαρακτηριστικών Εικόνας - Feature Matching 19 είναι μεγαλύτερος από n [Ρ n], τυχαία διαλέγει ένα υποσύνολο S1 των n δεδομένων από Ρ και καθορίζει το μοντέλο. Χρησιμοποιεί το μοντέλο Μ1 για να καθορίσει το υποσύνολο S1* των σημείων στο Ρ που είναι μέσα στην ανεκτικότητα λάθους του Μ1. Το σετ S1* καλείται το σετ συμφωνίας (consensus σετ) του S1. Αν το πλήθος (S1*) είναι μεγαλύτερο από κάποιο όριο t, το οποίο είναι συνάρτηση της εκτίμησης του αριθμού των χονδρικών λαθών στο Ρ, χρησιμοποιεί το S1* για να υπολογίσει ένα νέο μοντέλο M1*. Αν το πλήθος (S1*) είναι μικρότερο από t, τυχαία διαλέγει ένα νέο υποσύνολο S2 και επαναλαμβάνει την παραπάνω διαδικασία. Αν μετά από κάποιο προκαθορισμένο αριθμό προσπαθειών δεν έχει βρεθεί σύμφωνο σετ με t ή περισσότερα μέλη, είτε λύνουμε το μοντέλο με το μεγαλύτερο σύμφωνο σετ που έχει βρεθεί ή τελειώνει με αποτυχία. Ο RANSAC περιέχει 3 απροσδιόριστες παραμέτρους: 1. H ανοχή λάθους (error tolerance) που χρησιμοποιείται για να καθορίσει αν ένα σημείο είναι συμβατό με ένα μοντέλο. 2. Ο αριθμός των υποσυνόλων που είναι να δοκιμάσει (επαναλήψεις) 3. Το κατώφλι t (threshold) το οποίο είναι ο αριθμός των συμβατών σημείων που χρειάζονται για να θεωρηθεί ότι το σωστό μοντέλο έχει βρεθεί. Συνοπτικά ο αλγόριθμος μπορεί να περιγραφεί με 4 βήματα: 1. Τυχαία επιλογή των ελάχιστων (σε πλήθος) σημείων που απαιτούνται για τον καθορισμό του μοντέλου. 2. Επίλυση των παραμέτρων του μοντέλου 3. Καθορισμός του πλήθους των σημείων από το σετ που ανήκουν στο μοντέλο (πλήθος των inliers). 4. Αν ο λόγος του αριθμού των inliers προς τον συνολικό αριθμό των σημείων του σετ ξεπερνά ένα προκαθορισμένο όριο r, γίνεται επανεκτίμηση των παραμέτρων του μοντέλου χρησιμοποιώντας όλους τους inliers που έχουν βρεθεί και τερματίζει. 5. Επανάληψη των βημάτων (1)-(4) (μέγιστος αριθμός επαναλήψεων Ν) Γεωμετρικοί Μετασχηματισμοί Ένας μετασχηματισμός είναι μία μονοσήμαντη απεικόνιση Τ ενός συνόλου Α σε ένα άλλο συνολο Β (f : A B). Πρόκειται για μια 1-1 συνάρτηση όπου το πεδίο ορισμού και τιμών της αποτελείται από ένα σύνολο σημείων σε ένα διανυσματικό χώρο. Οι γεωμετρικοί μετασχηματισμοί μπορούν να ταξινομηθούν σύμφωνα με την διάσταση των στοιχείων τους (π.χ. σε επίπεδους και τρισδιάστατους), καθώς και σύμφωνα με τις ιδιότητες που διατηρούν. Στην εικόνα 3.9 παρουσιάζονται τα είδη των μετασχηματισμών και η εφαρμογή τους σε μία δισδιάστατη εικόνα. Αναφορικά οι διάφοροι μετασχηματισμοί που μπορούν να χρησιμοποιηθούν στις δύο διαστάσεις είναι: Μετασχηματισμός Μετατόπισης: Διατήρηση των αποστάσεων καθώς και του προσανατολισμού των γωνιών. Επιτρέπεται μετατόπιση στους 2 άξονες (2 βαθμοί ελευθερίας).

31 20 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία Ισομετρικός Μετασχηματισμός: Διατήρηση αποστάσεων και γωνιών. Επιτρέπεται περιστροφή και μετατόπιση (3 βαθμοί ελευθερίας). Μετασχηματισμός Ομοιότητας: Διατήρηση γωνιών και λόγου μεταξύ αποστάσεων. Επιτρέπεται περιστροφή, μετατόπιση και ομοιογενής κλιμάκωση (4 βαθμοί ελευθερίας). Oμοπαράλληλος (affine) μετασχηματισμός: Διατήρηση παραλληλισμού. Επιτρέπεται περιστροφή, μετατόπιση, κλιμάκωση και στους δύο άξονες και μία απόκλιση των δύο αξόνων από την ορθογωνικότητα (shearing) (6 βαθμοί ελευθερίας). Μετασχηματισμός Προβολής: Διατήρηση συγγραμμικότητας. Επιτρέπεται περιστροφή, μετατόπιση, κλιμάκωση και στους δύο άξονες, μία απόκλιση των δύο αξόνων από την ορθογωνικότητα (shearing) και δύο προβολικές παράμετροι (8 βαθμοί ελευθερίας). Σχήμα 3.9: Είδη μετασχηματισμών στο δισδιάστατο επίπεδο χώρο Εύρεση Μετασχηματισμού Ομοιότητας μεταξύ δύο εικόνων Θα επικεντρώσουμε την ανάλυση μας στην εύρεση του μετασχηματισμού ομοιότητας, μιας και ο συγκεκριμένος μετασχηματισμός ικανοποιεί τις απαιτήσεις μας για την ευθυγράμμιση των δύο χαρτών. Όπως αναφέρθηκε προηγουμένως, ο μετασχηματισμός ομοιότητας παρουσιάζει 4 βαθμούς ελευθερίας, περιλαμβάνει δηλαδή 4 γεωμετρικούς παραμέτρους: 2 μετατοπίσεις, 1 περιστροφή και ομοιόμορφη κλιμάκωση. Ξεκινώντας από τους πίνακες μετασχηματισμού των παραμέτρων που μας ενδιαφέρουν: [ ] cos θ sin θ R(rotation) = (3.5) sin θ cosθ [ ] s 0 S(scaling) = (3.6) 0 s [ ] tx T (translation) = (3.7) ty

32 3.4. Εργαλεία Λογισμικού 21 Παίρνουμε τον τελικό πίνακα μετασχηματισμού: [ ] cos θs sin θs tx T = sin θs cosθs ty Εάν ορίσουμε a = cos θ, b = sin θ, c = tx και d = ty: [ ] a b c T = b a d Λύνοντας για a, b, c, d προκύπτει το σύστημα εξισώσεων: x 1 y a x 1 y 1 x b x 2 y c = y 1 x 2 (3.10) y 2 x d y 2 Από την σχέση 3.10 είναι φανερό πως για την επίλυση του συστήματος εξισώσεων και την εύρεση του μετασχηματισμού ομοιότητας μεταξύ δύο εικόνων απαιτούνται μόνο 2 ζεύγη σημείων από κάθε εικόνα. Στο Κεφάλαιο 4 θα παρουσιαστεί η λεπτομερής περιγραφή για την εύρεση του μετασχηματισμού Ομοιότητας μεταξύ των δύο εικόνων με τη χρήση του αλγόριθμου RANSAC. 3.4 Εργαλεία Λογισμικού ROS - Robot Operating System Το ROS (Robot Operating System)[24] είναι ένα so ware framework για ανάπτυξη ρομποτικών εφαρμογών, το οποίο παρέχει λειτουργικότητες που μοιάζουν με αυτές ενός λειτουργικού συστήματος σε ένα ετερογενές σύνολο υπολογιστών. Η δημιουργία του ROS ξεκίνησε το 2007 από το Stanford Artificial Intelligence Laboratory και από το 2008 η ανάπτυξη συνεχίστηκε κυρίως από την Willow Garage [25]. Το ROS παρέχει βασικές υπηρεσίες λειτουργικών συστημάτων, όπως hardware abstraction, χαμηλού επιπέδου έλεγχο συσκευών, ανταλλαγή μηνυμάτων μεταξύ διεργασιών και διαχείριση πακέτων. Η αρχιτεκτονική του βασίζεται σε γράφο, όπου η επεξεργασία γίνεται στους κόμβους, οι οποίοι μπορούν να λάβουν και να στείλουν μία πληθώρα διαφορετικών μηνυμάτων. Η βιβλιοθήκη είναι προσανατολισμένη στην χρήση της σε περιβάλλοντα Unix και συγκεκριμένα σε Ubuntu, Debian (supported) καθώς και σε άλλα Unix-based λειτουργικά (ΟS-X, Gentoo) σε πειραματικές εκδόσεις. Μερικά από τα βασικά δομικά στοιχεία του ROS είναι τα παρακάτω: Pa ages: Τα πακέτα (packages) είναι η βασική μονάδα οργάνωσης του λογισμικού στο ROS. Ένα πακέτο μπορεί να περιέχει εκτελέσιμες διαδικασίες (nodes), configuration files, datasets κτλ. Messages: Αρχεία τύπου *.msg τα οποία αποτελούν ένα από τα δύο δομικά στοιχεία επικοινωνίας μεταξύ κόμβων. Κάθε τύπος message ορίζει ένα topic, στο οποίο γίνονται post όλα τα μηνύματα αυτού του τύπου, ανεξαρτήτως αποστολέα. Κάθε κόμβος έχει την δυνατότητα παρακολούθησης των topics και λήψης των πληροφοριών που γίνονται post. (3.8) (3.9)

33 22 Κεφάλαιο 3. Θεωρητικό υπόβαθρο - Εργαλεία Services: Ένα service λειτουργεί με την μορφή μίας υπηρεσίας ενός κόμβου Α. Όταν κάποιος κόμβος Β θελήσει μία πληροφορία από τον κόμβο Α, για την οποία έχει οριστεί service, ο Β αποστέλλει «ερώτημα» στον Α και ο Α με την σειρά του αποστέλλει την πληροφορία στον Β. Η διαφορά με τα messages είναι ότι η επικοινωνία γίνεται αυστηρά μεταξύ δύο κόμβων και η πληροφορία δεν είναι δημόσια διαθέσιμη σε κάποιο δημόσιο topic. Σε επίπεδο αρχιτεκτονικής του ROS, τα βασικά τμήματα είναι: Nodes: Ένας κόμβος (node) αποτελεί ένα process, το οποίο μπορεί να εκτελεστεί. Ένα ρομποτικό σύστημα μπορεί να αποτελείται από πολλούς κόμβους. Για παράδειγμα ένας κόμβος μπορεί να ορίζει την λειτουργία της γραφικής διεπαφής (GUI), ένας άλλος την εκτέλεση συγκεκριμένου αλγορίθμου ταυτοποίησης, ενώ ένας τρίτος την λήψη των ΟGMs από κάποιο τύπο αρχείου. Master: Ο ROS Master είναι η δομή που ουσιαστικά δημιουργεί και συντηρεί τον αρχιτεκτονικό γράφο του συστήματος. Χωρίς αυτόν, δύο κόμβοι δεν θα μπορούσαν να ανταλλάξουν μηνύματα, ή να καλέσουν services. Αυτή η δομή έχει πολλά και σημαντικά πλεονεκτήματα. Πρώτον, οι κόμβοι μπορούν να αναπτυχθούν ανεξάρτητα, δεδομένου του ότι θα χρησιμοποιούν ένα καθορισμένο τύπο μηνυμάτων. Κάθε κόμβος μπορεί να αναπτυχθεί στην κατάλληλη γλώσσα προγραμματισμού, εφόσον το σύστημα μηνυμάτων λειτουργεί για διάφορες γλώσσες και λειτουργικά συστήματα. Ο διαχωρισμός των λειτουργιών σε κόμβους που είναι εξειδικευμένοι στην λύση ενός προβλήματος, προσδίδει ευελιξία στον σχηματισμό ενός ρομποτικού συστήματος. Για παράδειγμα ένας κόμβος ευθυγράμμισης εικόνων που κάνει subscribe σε ένα topic εικόνας, και δημοσιεύει το τελικό αποτέλεσμα της ευθυγράμμισης βάσει συγκεκριμένου αλγορίθμου, σε ένα διαφορετικό topic, μπορεί ανά πάσα στιγμή να αντικατασταθεί από κάποιον άλλο κόμβο που παρέχει παρόμοια λειτουργικότητα και χρησιμοποιεί τις ίδιες διεπαφές. Τα δεδομένα της εικόνας μπορεί να έρχονται κατευθείαν από κάποια κάμερα ή μπορεί να φορτώνονται από συγκεκριμένα τύπου αρχεία για το σκοπό αυτό από ένα άλλο κόμβο που δημοσιεύει στο συγκεκριμένο topic. Αυτό σημαίνει ότι βασικοί αλγόριθμοι ρομποτικής μπορούν να αναπτύσσονται ανεξάρτητα από τις ιδιότητες και τον εξοπλισμό ενός ρομποτικού συστήματος. Οι πιο πάνω λόγοι έχουν κάνει το ROS ελκυστικό και ευρέως χρησιμοποιούμενο από χιλιάδες χρήστες ανά τον κόσμο που ασχολούνται με την ανάπτυξη εφαρμογών στο τομέα της ρομποτικής. Έτσι αποφασίσαμε να αξιοποιήσουμε το λογισμικό αυτό στην εφαρμογή μας ούτως ώστε να εκμεταλλευτούμε τα πλεονεκτήματα που προσφέρει και εν τέλει να δημοσιεύσουμε τον πηγαίο κώδικα της διπλωματικής αυτής στην κοινότητα του ROS με σκοπό την χρήση του από άλλες ερευνητικές ομάδες και αυτόνομους χρήστες που ασχολούνται με παραπλήσια προβλήματα OpenCV H OpenCV (Open Source Computer Vision) είναι μια βιβλιοθήκη ανοιχτού κώδικα που υλοποιεί διάφορες μεθόδους που χρησιμοποιούνται στο γνωστικό αντικείμενο του computer vision. Περιλαμβάνει κλάσεις για αποθήκευση και επεξεργασία εικόνων, όπως αλλαγή κωδικοποίησης, φίλτρα και εργαλεία οπτικοποίησης. Για παράδειγμα υπάρχουν μέθοδοι που πραγματοποιούν εξομάλυνση μιας εικόνας για μείωση θορύβου, που κβαντίζουν μια εικόνα με βάση ένα όριο, που βρίσκουν χαρακτηριστικά μιας εικόνας, όπως την μέγιστη και ελάχιστη τιμή και άλλες που εντοπίζουν σημεία ενδιαφέροντος, όπως ακμές και γωνίες [26].

34 3.4. Εργαλεία Λογισμικού Qt H Qt [27] αποτελεί ένα framework βιβλιοθηκών και εργαλείων (βασισμένο στην γλώσσα προγραμματισμού C++) που επιτρέπει την ανάπτυξη ισχυρών και διαδραστικών εφαρμογών που μπορούν να λειτουργήσουν σε μια σωρεία υπολογιστικών πλατφόρμων. Διαθέτει πολλά εργαλεία που βοηθούν τον προγραμματιστή. Μερικά από αυτά είναι το QtCreator, QtAssistant, qmake κ.α. Το βασικότερο για τον μέσο προγραμματιστή είναι το QtCreator, το οποίο είναι ένα λογισμικό που επιτρέπει την δημιουργία GUIs με γραφικό τρόπο, γεγονός που καθιστά την κατασκευή μίας διεπαφής πολύ εύκολη. Μία άποψη του QtCreator φαίνεται στην εικόνα Σχήμα 3.10: Qt Creator Η τελευταία έκδοση του Qt Framework είναι το Qt5 και συγκεκριμένα η έκδοση 5.7 (16 Ιουνίου 2016). H Qt5 χρησιμοποιήθηκε στην εφαρμογή μας για την ανάπτυξη του γραφικού διεπαφής (GUI). Στο επόμενο κεφάλαιο θα αναλυθεί και θα περιγραφεί ο τρόπος λειτουργίας και ανάπτυξης του GUI.

35 24 Κεφάλαιο 4 Περιγραϕή Υλοποίησης Στο κεφάλαιο αυτό θα γίνει μία περιγραφή της υλοποίησης των τεχνικών που αναπτύχθηκαν στο Κεφάλαιο 3 με την χρήση των διάφορων λογισμικών εργαλείων. Συγκεκριμένα θα παρουσιαστεί η αρχιτεκτονική του συστήματος, το γραφικό περιβάλλον διεπαφής, καθώς και η υλοποίηση των διάφορων αλγορίθμων για την αξιολόγηση - συγχώνευση χαρτών κατάληψης πλέγματος. 4.1 Αρχιτεκτονική του Συστήματος Όπως αναφέρθηκε η ανάπτυξη της εφαρμογής μας έγινε με τη χρήση του ROS για την εκμετάλλευση των πλεονεκτημάτων που προσφέρει. Η εφαρμογή αποτελείται από τρεις κύριους κόμβους (ROS nodes), οι οποίοι εκτελούν συγκεκριμένες λειτουργίες και με την βοήθεια των δομών επικοινωνίας που παρέχει το ROS (messages, services) επιτρέπει την επικοινωνία μεταξύ των κόμβων και την συνεργασία τους για την εξαγωγή του αποτελέσματος. Επίσης, λόγω της ανεξαρτησίας που προσφέρει το ROS κάθε κόμβος μπορεί να δουλέψει αυτόνομα, για παράδειγμα ο κόμβος που εκτελεί την αξιολόγηση μπορεί να λειτουργήσει χωρίς το κόμβο για το GUI δίνοντας απλά τις παραμέτρους που απαιτεί για την λειτουργία του μέσω ενός ROS Service. Οι τρεις κόμβοι που συνθέτουν την εφαρμογή μας είναι οι εξής: ogm_server. O εξυπηρετητής του συστήματος. Είναι υπεύθυνος για τον συντονισμό μεταξύ των υπολοίπων κόμβων. ogm_evaluation O πυρήνας της εφαρμογής. Στο κόμβο αυτό εκτελούνται οι διαδικασίες αξιολόγησης και συγχώνευσης ανάλογα με τις παραμέτρους που θα του δοθούν από το ogm server ogm_gui. Το frontend της εφαρμογής. Αποτελεί την γραφική διεπαφή με το χρήστη δίνοντας του οπτική πληροφορία και την δυνατότητα να φορτώσει χάρτες, να επιλέξει τρόπους αξιολόγησης ή συγχώνευσης ρυθμίζοντας τις διάφορες παραμέτρους και να παρουσιάσει το αποτέλεσμα της διαδικασίας αυτής. Στο σχήμα 4.1 φαίνεται μια σχηματική αναπαράσταση των κόμβων που συνθέτουν την εφαρμογή μας και τους τρόπους επικοινωνίας μεταξύ τους. Με την αξιοποίηση των ros services και messages πραγματοποιείται η επικοινωνία μεταξύ των κόμβων. Συγκεκριμένα υπάρχουν τα εξής services: 1. requestmaps: To συγκεκριμένο service δημιουργείται από το κόμβο του GUI και εξυπηρετείται από τον ogm_server. Μέσω αυτού το GUI ζητά από το ogm_server να του αποσταλούν οι χάρτες που έχουν φορτωθεί στην εφαρμογή.

36 4.1. Αρχιτεκτονική του Συστήματος 25 Σχήμα 4.1: Διάγραμμα αρχιτεκτονικής της εφαρμογής 2. GuiRequestEvaluation: Με αυτό το service η γραφική διεπαφή ζητά από το ogm_server να πραγματοποιήσει αξιολόγηση των δύο χαρτών. Σαν ορίσματα δίνονται η μέθοδος της αξιολόγησης (αν πρόκειται για απλή εφαρμογή του OMSE εαν έχει πραγματοποιηθεί χειροκίνητη ευθυγράμμιση ή αν επιθυμείτε αυτόματη αξιολόγηση και ευθυγράμμιση μέσω features), και οι διάφοροι παράμετροι που απαιτούνται για την υλοποίηση της μεθόδου όπως για παράδειγμα η επιλογή detector, descriptor, τρόπου αντιστοίχισης, εφαρμογή φίλτρων εξομάλυνσης κ.α. 3. ServerRequestEvaluation: Mε αυτό το service γίνεται η εσωτερική επικοινωνία μεταξύ του κόμβου του ogm_server και του κόμβου ogm_εvaluation. Περιέχει πανομοιότυπες παραμέτρους με το GuiRequestEvaluation. Αρχικοποιείται με την εξυπηρέτηση του GuiRequestEvaluation. Το service περιέχει σαν ορίσματα επιστροφής τις τιμές των μετρικών αξιολόγησης καθώς και τα οπτικά αποτελέσματα της ευθυγράμμισης και συγχώνευσης που πραγματοποιήθηκε. Επιπρόσθετα μέσω ενός ros topic ο κόμβος ogm_server κάνει publish τους δύο χάρτες και αντίστοιχα subscribe ο κόμβος της γραφικής διεπαφής ούτως ώστε κάθε αλλαγή που πραγματοποείται στους χάρτες να είναι αξιοποιήσιμη άμεσα από το GUI.

37 26 Κεφάλαιο 4. Περιγραϕή Υλοποίησης H δημιουργία του κόμβου ogm_server και η ύπαρξη των παρόμοιων services έγινε με γνώμονα να μπορεί να λειτουργήσει η εφαρμογή και χωρίς την γραφική διεπαφή αν κάποιος το επιθυμεί. Με την αρχικοποίηση του service guirequestevaluation μπορεί να τρέξει το πρόγραμμα ανεξάρτητα εάν υπάρχει το GUI. 4.2 Περιγραφή GUI Σκοπός ενός γραφικού περιβάλλοντος είναι η αναπαράσταση πλήθους απαραίτητων πληροφοριών ώστε ο χρήστης να μπορεί εύκολα να χρησιμοποιήσει την εφαρμογή, να μπορεί να δει εύκολα τα παραγόμενα αποτελέσματα με τέτοιο τρόπο ώστε να μπορεί να κατανοήσει την ορθότητα τους. Το γραφικό περιβάλλον που αναπτύχθηκε αποτελείται από τρία βασικά τμήματα. Στο σχήμα 4.2 υπάρχει μία απεικόνιση του συνόλου του γραφικού περιβάλλοντος. Σχήμα 4.2: To GUI της εφαρμογής To πρώτο κομμάτι (κίτρινο παραλληλόγραμμο) αποτελεί το κεντρικό μενού επιλογών από το οποίο ο χρήστης μπορεί να φορτώσει στο GUI τους δύο χάρτες που επιθυμεί να αξιολογήσει, είτε απευθείας μέσω ενός πλαισίου διαλόγου ή να φορτώσει τους προκαθορισμένους χάρτες που φορτώνει ο ogm _server με την έναρξη της λειτουργίας του. Το δεύτερο κομμάτι (κόκκινο παραλληλόγραμμο) αποτελεί ένα γραφικό στοιχείο (widget) που περιέχει διάφορες καρτέλες σε κάθε μία από τις οποίες εμφανίζονται πληροφορίες και παραμέτροι που πρέπει να ρυθμιστούν για την διεξαγωγή της αξιολόγησης.

38 4.2. Περιγραφή GUI 27 Το τρίτο κομμάτι, (πράσινο παραλληλόγραμμο) αποτελεί το γραφικό στοιχείο προβολής των δύο χαρτών που πρόκειται να αξιολογηθούν. Αποτελείται από τρία γραφικά στοιχεία προβολής που μπορούν να εναλλαχτούν από το κουμπί επιλογών στο πάνω μέρος Γραφικό Στοιχείο Προβολής To γραφικό στοιχείο προβολής της εφαρμογής, αποτελείται από μία σειρά γραφικών στοιχείων ελεγχόμενα από ένα κουμπί στο πάνω μέρος ούτως ώστε ο χρήστης να μπορεί να εναλάσσεται μεταξύ των προβολών και να βλέπει τα διάφορα οπτικά αποτελέσματα μετά από κάθε βήμα στην διαδικασία. Η αρχική προβολή με τίτλο Maps Alignment περιέχει τους δύο αρχικούς χάρτες (σχήμα 4.2). Οι δύο χάρτες αποτελούν ουσιαστικά ανεξάρτητα γραφικά στοιχεία καθώς παρέχεται η δυνατότητα στον χρήστη για μετακίνηση του ενός χάρτη ούτως ώστε να μπορεί να ευθυγραμμιστεί με το δεύτερο. Συγκεκριμένα μπορεί με τη χρήση των λειτουργιών που παρέχονται στην αρχική καρτέλα, να μετακινήσει-περιστρέψει-κλιμακώσει τον χάρτη για να ευθυγραμμιστεί με τον δεύτερο και στην συνέχεια π.χ. να υπολογιστεί κάποια μετρική αξιολόγησης. Σχήμα 4.3: Γραφικό στοιχείο Προβολής Αντιστοίχισης Τοπικών Χαρακτηριστικών OGMs Στα υπόλοιπα γραφικά στοιχεία προβολής εμφανίζονται τα αποτελέσματα της αυτόματης ευθυγράμμισης με τη χρήση τοπικών χαρακτηριστικών όπως η αρχική ευθυγράμμιση (σχήμα 4.3, τα παραμένων ζεύγη στοιχείων μετά την εφαρμογή RANSAC για την εκτίμηση του μετασχηματισμού των δύο χαρτών (σχήμα 4.4), καθώς και το αποτέλεσμα της τελικής τους συγχώνευσης (σχήμα 4.5).

39 28 Κεφάλαιο 4. Περιγραϕή Υλοποίησης Σχήμα 4.4: Γραφικό στοιχείο Προβολής τελικών ζευγαριών αντιστοίχισης μετά την εφαρμογή RANSAC Σχήμα 4.5: Αποτέλεσμα Συγχώνευσης Χαρτών

40 4.3. Λειτουργίες - Πληροφορίες σε καρτέλες Λειτουργίες - Πληροφορίες σε καρτέλες Όπως προαναφέρθηκε, στο γραφικό περιβάλλον υπάρχουν τρεις καρτέλες στις οποίες οπτικοποιούνται πολλές από τις σημαντικότερες πληροφορίες του πειράματος, όπως και πολλές λειτουργικότητες που επιτρέπουν αλληλεπίδραση με το σύστημα. Κάποια στιγμιότυπα των τριών αυτών καρτελών φαίνονται στην εικόνα 4.6 Σχήμα 4.6: Kαρτέλες πληροφοριών και ρύθμισης παραμέτρων της εφαρμογής μας Οι λειτουργικότητες που υπάρχουν στις καρτέλες αυτές είναι οι εξής: Στην πρώτη από αριστερά καρτέλα εμφανίζονται πληροφορίες που αφορούν τους δύο χάρτες όπως οι διαστάσεις τους και η ανάλυση των κελιών του χάρτη πλέγματος (meters/pixels). Eπίσης παρέχεται η δυνατότητα χειροκίνητης ευθυγράμμισης του επάνω χάρτη με τον κάτω δίνοντας στο χρήστη λειτουργίες μετατόπισης στους δύο άξονες, περιστροφής και ομοιόμορφης κλιμάκωσης. Στην μεσαία καρτέλα δίνεται η δυνατότητα στο χρήστη να ορίσει τις διάφορες παραμέτρους που απαιτούνται για την ευθυγράμμιση και εν τέλει αξιολόγηση - συγχώνευση των δύο χαρτών με τη χρήση τοπικών χαρακτηριστικών. Συγκεκριμένα ο χρήστης μπορεί να επιλέξει αν θέλει να πραγματοποιηθεί προεπεξεργασία εικόνας στους δύο χάρτες (αφαίρεση θορύβου με χρήση Gaussian ή και median φίλτρου), να υπολογίσει την χρήσιμη κλιμάκωση μεταξύ των δύο χαρτών. Επίσης μπορεί να επιλέξει και να συνδυάσει μέσα από λίστες επιλογών, διαφορετικούς αλγορίθμους εξαγωγής και περιγραφής τοπικών χαρακτηριστικών, τρόπους αντιστοίχισης των εξαχθέντων χαρακτηριστικών και να ορίσει τις παραμέτρους του αλγόριθμου RANSAC για εύρεση του μετασχηματισμού ομοιότητας. Τέλος εμφανίζεται το αποτέλεσμα της μετρικής αξιολόγησης ΟΜSE (Obstacle Mean Square Error) [28].

41 30 Κεφάλαιο 4. Περιγραϕή Υλοποίησης Στην δεξιά καρτέλα ο χρήστης μπορεί να ορίσει τις παραμέτρους για την μετρική αξιολόγησης OMSE και να εξάγει το αποτέλεσμα αυτής αφού ευθυγραμμίσει χειροκίνητα τους δύο χάρτες. Δίνεται η δυνατότητα δύο μεθόδων για τον υπολογισμό της μετρικής: με χρήση ενός πίνακα απόστασης από τα εμπόδια με την υλοποίηση ενός αλγορίθμου Brushfire, καθώς και με απλή εύρεση του κοντινότερου γείτονα (Νearest Neighbor). Σαν μετρική απόστασης μπορεί να χρησιμοποιηθεί η απόσταση Μanha an και η ευκλείδια απόσταση. 4.4 Περιγραφή Υλοποίησης Όπως προαναφέρθηκε το θέμα που πραγματεύεται η συγκεκριμένη εργασία, είναι η αξιολόγηση - συγχώνευση χαρτών παραγόμενων από ρομποτικά συστήματα με τη χρήση κάποιου αλγόριθμου χαρτογράφησης. Πριν προχωρήσουμε σε πιο ενδελεχή ανάλυση των βημάτων της προτεινόμενης υλοποίησης μας, κρίνεται απαραίτητο να παρατεθούν οι όποιες απαιτήσεις παρουσιάζει το πρόβλημα της εργασίας αυτής και τυχόν υποθέσεις και παραδοχές που έχουν γίνει για την υλοποίηση της Απαιτήσεις του Προβλήματος H ύπαρξη ενός αλγόριθμου χαρτογράφησης (SLAM) ούτως ώστε να είναι εφικτό να παραχθεί ένας χάρτης από ένα ρομποτικό όχημα που εξερευνά ένα περιβάλλον. Η ύπαρξη ενός χάρτη αναφοράς ούτως ώστε να μπορεί να χρησιμοποιηθεί ως μέσο σύγκρισης για την αξιολόγηση του παραγόμενου χάρτη. Ο χάρτης αναφοράς πρέπει να ναι καλά ορισμένος και να περιγράφει το περιβάλλον με όσο το δυνατόν περισσότερη ακρίβεια και αξιοπιστία. Εάν πρόκειται για φυσικό περιβάλλον θα πρέπει ο χάρτης αναφοράς να έχει παραχθεί με την χρήση αισθητήρων υψηλής ακρίβειας ή να χρησιμοποιηθεί κάποια αρχιτεκτονική κάτοψη ενός χώρου όπως εγκρίθηκε από κάποια πολεοδομική αρχή. Οι παραγόμενοι χάρτες πρέπει να είναι μετρικοί, έτσι ώστε να μπορεί να γίνει εύκολη εφαρμογή αλγορίθμων και γενικότερα επεξεργασία εικόνας. Επίσης η ακρίβεια των χαρτών πρέπει να είναι όσο το δυνατόν μεγαλύτερη έτσι ώστε να υπάρχει η ελάχιστη έλλειψη πληροφορίας. H ύπαρξη κάποιας καλά ορισμένης μετρικής που θα χρησιμοποιηθεί στην όλη διαδικασία, είτε πρόκειται για αξιολόγηση ενός χάρτη σε σχέση με ένα χάρτη αναφοράς, ή στην περίπτωση συγχώνευσης χαρτών από ρομποτικά οχήματα που χαρτογραφούν στο ίδιο χώρο. Εφόσον πρόκειται για αυτόματη διαδικασία αξιολόγησης-συγχώνευσης δεν πρέπει να υπάρχει παρέμβαση στη όλη διαδικασία παρά μόνο για επιλογή των διαφόρων παραμέτρων που απαιτούνται για την εκτέλεση του αλγορίθμου και οπτική επιβεβαίωση - επικύρωση του αποτελέσματος στο τέλος της εκτέλεσης. Επιπρόσθετα, δεν πρέπει να υπάρχει καμία γνώση του συστήματος αναφοράς των δύο χαρτών. Στην υλοποίηση του αλγορίθμου δεν χρησιμοποιείται η θέση των ρομποτικών οχημάτων στην αρχή της εξερεύνησης.

42 4.5. Διαδικασία Υλοποίησης 31 Τα τοπικά χαρακτηριστικά που χρησιμοποιούνται θα πρέπει να εξάγονται αυτόματα τόσο στον χάρτη αναφοράς όσο και στο παραγόμενο χάρτη και δεν πρόκειται για ειδικά χαρακτηριστικά που έχουν τοποθετηθεί ή οριστεί στο χάρτη Υποθέσεις και περιορισμοί του προβλήματος Όπως σε κάθε εργασία ή ερευνητική μελέτη, γίνονται κάποιες υποθέσεις οι οποίες λαμβάνονται ως δεδομένα είτε υπάρχουν ως περιορισμοί, αφού η αντιμετώπιση προβλημάτων στην γενικότερη δυνατή μορφή τους κρίνεται από μη ρεαλιστική έως αδύνατη. Οι υποθέσεις / περιορισμοί της διπλωματικής αυτής εργασίας είναι οι παρακάτω: Λόγω της δυσκολίας δημιουργίας χαρτών αναφοράς - κατόψεων σε πραγματικούς χώρους, οι χάρτες αναφοράς που χρησιμοποιήθηκαν στην πραγματοποίηση της εργασίας αυτής είναι τεχνητοί και έχουν δημιουργηθεί με κάποιο λογισμικό. Αντίστοιχα οι παραγόμενοι χάρτες αποτελούν προϊόν προσομοίωσης με τη χρήση κάποιου εργαλείου, στην περίπτωση μας αξιοποιήθηκε ο STDR simulator [29]. Οι χάρτες που χρησιμοποιήθηκαν είναι δισδιάστατοι, πρόκειται για κατόψεις χώρων (χάρτες αναφοράς), και για χάρτες που έχουν δημιουργηθεί με τη χρήση αλγορίθμων χαρτογράφησης. Οι χάρτες είναι μετρικοί της μορφής χαρτών κατάληψης κελιών OGM (Occupancy Grid Map). O αλγόριθμος χαρτογράφησης που χρησιμοποιήθηκε για την εξαγωγή των χαρτών είναι το CRSM SLAM (Critical Rays Scan Match SLAM) [28]. Λόγω της φύσης του προβλήματος και του αλγορίθμου που χρησιμοποιείται δεν υπάρχει εγγύηση για την ορθότητα του αποτελέσματος. Συγκεκριμένα για να γίνει σωστή συγχώνευση πρέπει οι χάρτες να έχουν ένα ποσοστό επικάλυψης το οποίο δεν μπορεί να προσδιοριστεί ποσοτικά (π.χ. ως ποσοστό της περιοχής των δυο χαρτών). Η ορθή ευθυγράμμιση εξαρτάται από τη πληροφορία που υπάρχει μέσα στην περιοχή επικάλυψης και εάν είναι εφικτό να εξαχθούν τοπικά χαρακτηριστικά τα οποία μπορούν να περιγραφούν μοναδικά για την σωστή αντιστοίχιση τους. Ικανή και αναγκαία συνθήκη για την σωστή ευθυγράμμιση είναι ο προσδιορισμός δύο σωστών αντιστοιχίσεων. 4.5 Διαδικασία Υλοποίησης Στο σχήμα 4.7 παρουσιάζεται το διάγραμμα ροής της διαδικασίας που περιγράφεται στην εργασία αυτή. Συνοπτικά η διαδικασία ξεκινάει με την λήψη των 2 ΟGMs που πρόκειται να ευθυγραμμιστούν (χάρτης αναφοράς και παραγόμενος χάρτης εάν πρόκειται για αξιολόγηση - 2 παραγόμενοι χάρτες από ρομποτικά οχήματα που εξερευνούν τον ίδιο χώρο εάν πρόκειται για συγχώνευση). Εν συνεχεία πραγματοποιείται προεπεξεργασία στις δύο εικόνες χαρτών, όπως για παράδειγμα αφαίρεση τυχόν θορύβου που έχει εισαχθεί από τους αλγόριθμους χαρτογράφησης για τον καλύτερο εντοπισμό των τοπικών χαρακτηριστικών. Το επόμενο βήμα είναι η εξαγωγή των τοπικών χαρακτηριστικών και η περιγραφή τους με τη χρήση υφιστάμενων αλγορίθμων feature detection από το χώρο της υπολογιστικής όρασης. Ακολούθως πραγματοποιείται αντιστοίχιση των περιγραφέων κάθε σημείου που έχει εντοπιστεί ανάμεσα στις δύο εικόνες. Οι αντιστοιχίσεις αυτές χρησιμοποιούνται για την εκτίμηση του σχετικού

43 32 Κεφάλαιο 4. Περιγραϕή Υλοποίησης μετασχηματισμού ομοιότητας των δύο χαρτών. Αφού εξαχθεί ο μετασχηματισμός εξάγονται μετρικές αξιολόγησης μεταξύ του μετασχηματισμένου χάρτη και του χάρτη αναφοράς. Τέλος πραγματοποιείται συγχώνευση των δύο χαρτών και εάν είναι εφικτό επικυρώνεται το αποτέλεσμα. Σχήμα 4.7: Ακολουθία Βημάτων Αξιολόγησης-Συγχώνευσης OGMs 4.6 Υλοποίηση Περιγραφέων Εικόνας για αντιστοίχιση χαρτών κατάληψης πλέγματος Οι διάφοροι αλγόριθμοι περιγραφής τοπικών χαρακτηριστικών εικόνας στοχεύουν στο να περιγράψουν μοναδικά ένα χαρακτηριστικό χρησιμοποιώντας τεχνικές που καθιστούν την περιγραφή ανθεκτική σε διάφορες μεταβολές που μπορεί να συμβούν σε ένα αντικείμενο σε μία εικόνα όπως περιστροφή,κλιμάκωση, αλλαγές στην φωτεινότητα, θόρυβος. Οι συγκεκριμένοι περιγραφείς που παρουσιάστηκαν στο Κεφάλαιο 3 παρουσιάζουν πολύ καλά αποτελέσματα σε αλγορίθμους εντοπισμού αντικειμένων, τα οποία μπορούν να υπάρχουν σε μία εικόνα και μπορούν να περιγραφούν μοναδικά με τη διαδικασία αυτή. Στο πρόβλημα αντιστοίχισης τοπικών χαρακτηριστικών που εξάγονται από OGM παρουσιάζονται κάποιες ιδιομορφίες οι οποίες μπορούν να καταστήσουν το πρόβλημα της αντιστοίχισης πιο δύσκολο. Συγκεκριμένα, οι χάρτες που χρησιμοποιούνται σε αλγορίθμους χαρτογϱάφησης είναι συνήθως τεχνητοί και αποτελούνται από κλειστούς τοίχους και διαδρόμους που σχηματίζουν λαβύρινθους, με επαναλαμβανόμενα πρότυπα τέτοιων διατάξεων μέσα στο χάρτη. Αυτό έχει σαν αποτέλεσμα πολλά εξαχθέντα χαρακτηριστικά να επαναλαμβάνονται μέσα στο χάρτη και η περιγραφή τους με τους υπάρχοντες αλγορίθμους να μην είναι μοναδική. Συνεπάγεται ότι στην διαδικασία της αντιστοίχισης κάποιες αντιστοιχίσεις χαρακτηριστικών θα είναι λανθασμένες γιατί παρόλο που η οπτική τους απόσταση είναι αρκετά μικρή, η γεωμετρική τους απόσταση και η σχετική τους θέση στους δύο χάρτες μπορεί να μην ανταποκρίνεται στην πραγματικότητα. Στο σχήμα 4.8 φαίνεται ένα παράδειγμα μη σωστής αντιστοίχισης χαρακτηριστικών στην ίδια εικόνα. Τα τοπικά χαρακτηριστικά που σημειώνονται με κύκλο έχουν αντιστοιχηθεί εσφαλμένα ως προς την γεωμετρική τους θέση. Στην προσπάθεια απαλοιφής τέτοιων αντιστοιχίσεων δημιουργήθηκε ένας νέος περιγραφέας με τη χρήση γεωμετρικών χαρακτηριστικών. Η λογική πίσω από την δημιουργία του καινούργιου περιγραφέα, είναι η χρήση των γεωμετρικών στοιχείων που περιβάλλουν ένα τοπικό χαρακτηριστικό (στην περίπτωση μας η ύπαρξη εμποδίων ή όχι) για την περιγραφή του.

44 4.6. Υλοποίηση Περιγραφέων Εικόνας για αντιστοίχιση χαρτών κατάληψης πλέγματος 33 Σχήμα 4.8: Παράδειγμα μη σωστής αντιστοίχισης με SIFT features Επιπρόσθετα, στόχος είναι ο συνδυασμός των προτεινόμενων περιγραφέων με υφιστάμενα τοπικά χαρακτηριστικά που όπως περιγράφηκε παρουσιάζουν ανθεκτικότητα στις διάφορες μεταβολές που μπορούν να υπάρξουν στην εικόνα και η σύγκριση τους με άλλους περιγραφείς όσο αφορά την αποτελεσματικότητα τους για σωστή αντιστοίχιση εξαχθέντων features σε χάρτες κατάληψης πλέγματος Περιγραφή Τοπικών Χαρακτηριστικών με εξαγωγή στατιστικών στοιχείων σε μία ακτίνα Για την διατήρηση της ανθεκτικότητας των περιγραφέων στην περιστροφή αποφασίστηκε να χρησιμοποιηθεί μια περιοχή γύρω από μια ακτίνα από κάθε εξαχθέν τοπικό χαρακτηριστικό. Η ιδέα είναι η εξαγωγή στατιστικών στοιχείων από τον περιβάλλοντα χώρο ενός τοπικού χαρακτηριστικού χρησιμοποιώντας ακτινικές διευθύνσεις. Ο περιβάλλον χώρος του τοπικού χαρακτηριστικού υποδιαιρείται σε κυκλικές περιοχές συγκεκριμένου μήκους ακτίνας όπως φαίνεται στο σχήμα 4.9 Το σύνολο των δεδομένων που βρίσκονται στο i-οστό δακτύλιο δίνεται από τον τύπο: V pi = (I(x, y) R : r i < p (x, y) T r i+1 ) (4.1) όπου i = 0,..., n 1, r i η εκάστοτε ακτίνα, και I(x, y) η τιμή ενός pixel στην θέση x, y. Για το εύρος κάθε δακτυλίου χρησιμοποιούνται δύο παράμετροι, a και r. H παράμετρος α καθορίζει τον λόγο του εύρους κάθε δακτυλίου, a = r i+1 r i r i r i 1. Για a > 1 το εύρος των δακτυλίων αυξάνει και αντίστοιχα για a < 1 μειώνεται ενώ για a = 1 το εύρος ανά δακτύλιο παραμένει σταθερό. Η παράμετρος r = r n ορίζει την συνολική ακτίνα των δακτυλίων. Είναι φανερό πως η ικανότητα αντιστοίχισης του συγκεκριμένου περιγραφέα αυξάνει αν το r και το n αρχικοποιηθούν με μεγάλες τιμές, καθώς έτσι ο περιγραφέας θα περιέχει περισσότερη πληροφορία σχετικά με την δομή του περιβάλλοντα χώρου. Για την περιγραφή του σημείου ενδιαφέροντος p εξάγονται τα εξής στατιστικά στοιχεία για κάθε δακτύλιο: H ελάχιστη τιμή min(v pi )

45 34 Κεφάλαιο 4. Περιγραϕή Υλοποίησης Σχήμα 4.9: Ακτινική Κατάτμηση του περιβάλλοντα χώρου ενός τοπικού χαρακτηριστικού H μέγιστη τιμή max(v pi ) H μέση τιμή mean(v pi ) Η διάμεση τιμή median(v pi ) H τυπική απόκλιση σ(v pi ) Το μέγεθος του περιγραϕέα θα ισούται με το γινόμενο του αριθμού των δακτυλίων επί των 5 στατιστικών στοιχείων που εξάγονται ανά δακτύλιο Αριθμός τομών με τα εμπόδια στην περιφέρεια ενός κύκλου Ένα άλλο στατιστικό στοιχείο που θα μπορούσε να βοηθήσει στην μοναδική περιγραφή ενός τοπικού χαρακτηριστικού είναι, παρόμοια με προηγουμένως, σε μία ακτινική γειτονιά να χρησιμοποιηθεί ως τιμή περιγραφής ο αριθμός των τομών της κυκλικής περιφέρειας μιας συγκεκριμένης ακτίνας. Ο υπολογισμός των τομών γίνεται με τον εξής τρόπο: Ορίζοντας μια κυκλική περιφέρεια συγκεκριμένης ακτίνας ελέγχονται οι τιμές των pixels πάνω στην περιφέρεια. Ο αλγόριθμος αρχίζει περπατώντας πάνω στην κυκλική περιφέρεια. Εάν εξευρεθεί σημείο που αντιπροσωπεύει εμπόδιο θεωρείται ότι έχει εισέλθει στην κοινή περιοχή όπου η κυκλική περιφέρεια διασταυρώνεται με κάποιο εμπόδιο. Μόλις βρεθεί σημείο που αντιπροσωπεύει ελεύθερο χώρο, τότε θεωρείται πως έχει εξέλθει της κοινής περιοχής και ο αριθμός των τομών αυξάνεται κατά ένα. Ο αριθμός των κυκλικών τομέων καθώς και το εύρος αυτών, ορίζονται αντίστοιχα όπως περιγράφηκε στην προηγούμενη ενότητα Μέσο Μήκος ακτίνων τοπικού χαρακτηριστικού από τα εμπόδια Ένα τρίτο είδος στατιστικού στοιχείου που εξάγεται είναι το μέσο μήκος ακτίνας ενός τοπικού χαρακτηριστικού από τα πλησιέστερα εμπόδια. Ο τρόπος υπολογισμού του συγκεκριμένου στατιστικού γίνεται με τη μέθοδο της ρίψης ακτίνων (ray casting). Συγκεκριμένα από το σημείο P i (x i, y i ) το οποίο αντιστοιχεί στην θέση ενός σημείου ενδιαφέροντος, χαράσσονται νοητά ευθύγραμμα τμήματα σε n διαφορετικές

46 4.6. Υλοποίηση Περιγραφέων Εικόνας για αντιστοίχιση χαρτών κατάληψης πλέγματος 35 κατευθύνσεις θ j = 2πj, 0 < j < n και επεκτείνονται έως ότου το τρέχον σημείο επέκτασης n να αντιστοιχεί σε μη εξερευνημένη περιοχή, σε εμπόδιο ή μέχρι ο αριθμός των επεκτάσεων γίνει μεγαλύτερος ενός μέγιστου ορίου ακτίνας. Το μήκος των ακτίνων που η απόληξη τους έχει φτάσει σε εμπόδιο η ανεξερεύνητη περιοχή αθροίζεται και υπολογίζεται ο μέσος όρος αυτών. meanrays = 1 n n r j (4.2) H διαδικασία αυτή επαναλαμβάνεται για διάφορα μέγιστα όρια ακτίνας τα οποία υπολογίζονται παρόμοια με τις προηγούμενες μεθόδους περιγραφής που αναφέρθηκαν. Το τελικό μήκος του διανύσματος του περιγραφέα ισούται με τον αριθμό των μέγιστων ακτίνων που θα χρησιμοποιηθούν και είναι παραμετροποιήσιμο. Συνοψίζοντας, παρουσιάστηκαν τρεις κατηγορίες περιγραφής ενός τοπικού χαρακτηριστικού με τη χρήση γεωμετρικών στοιχείων γύρω από μία γειτονιά από το σημείο ενδιαφέροντος. Κοινό σημείο των περιγραφέων είναι η χρησιμοποίηση ακτινικών περιοχών ως περιβάλλοντα χώρου για την χαρακτήριση του περιγραφέα ως ανθεκτικού σε μεταβολές στην περιστροφή (rotation invariant). Στο κεφάλαιο 5 θα παρουσιαστούν τα πειράματα που διεξάχθησαν με τη χρήση των τριών περιγραφέων, και ως αυτόνομοι αλλά και σε συνδυασμό μεταξύ τους. j=1 Σχήμα 4.10: Μέσο μήκος ακτίνων ενός τοπικού χαρακτηριστικού από τα εμπόδια

47 36 Κεφάλαιο 4. Περιγραϕή Υλοποίησης 4.7 Επιλογή Κατάλληλου Μετασχηματισμού για Ευθυγράμμιση 2D OGMs Η επιλογή του κατάλληλου δισδιάστατου μετασχηματισμού για την ευθυγράμμιση των δύο χαρτών είναι κρίσιμη για τον καθορισμό του βέλτιστου αποτελέσματος. Για παράδειγμα, εάν επιλεγεί μετασχηματισμός με λιγότερους ή περισσότερους βαθμούς ελευθερίας η ευθυγράμμιση μπορεί να μην επιτευχθεί ή να είναι υποβέλτιστη. Όπως αναφέρθηκε το σύνολο των χαρτών που χρησιμοποιήθηκαν στην συγκεκριμένη εργασία προέκυψαν από τη χρήση του αλγόριθμου CRSM SLAM [28]. H βασική μέθοδος του συγκεκριμένου αλγορίθμου, όπως επίσης και άλλων αλγόριθμων που βασίζονται στις μετρήσεις αποστάσεων από αισθητήρες laser, είναι η διαδοχική αντιστοίχιση των σαρώσεων του αισθητήρα με τον ήδη υπάρχοντα χάρτη για τον υπολογισμό του κατάλληλου μετασχηματισμού σε κάθε διαδοχική σάρωση. Ο τρόπος υλοποίησης της εκάστοτε αντιστοίχισης γίνεται με χρήση του γενετικού αλγορίθμου RRHC (Random Restart Hill Climbing). O συγκεκριμένος αλγόριθμος υπολογίζει το μετασχηματισμό λαμβάνοντας υπόψη του, τις μετατοπίσεις στους δύο άξονες και τον προσανατολισμό των απολήξεων των ακτίνων κάθε εκάστοτε μέτρησης. Επιπρόσθετα παρατηρώντας τους χάρτες που προέκυψαν, εξάγεται το συμπέρασμα ότι ο τελικός χάρτης μπορεί να έχει διαφορά στην κλιμάκωση σε σχέση με τον χάρτη αναφοράς που χρησιμοποιήθηκε. Αυτό ίσως να οφείλεται στο τρόπο αναπαράστασης της πιθανότητας κατάληψης και στο resolution που επιλέχθηκε. Η αναλογία των αποστάσεων διατηρείται όποταν η κλιμάκωση θεωρείται ομοιόμορφη και στους δύο άξονες. Παρατηρείται επίσης ότι σε γενικά πλαίσια η απόκλιση από την ορθογωνικότητα των δύο αξόνων (shearing) δεν υφίσταται οπόταν δεν υπάρχει λόγος επιλογής affine μετασχηματισμού που επιτρέπει την μεταβολή αυτής της παραμέτρου. Εν κατακλείδι, συμπεραίνεται πως οι επιτρεπόμενες μεταβολές ανάμεσα στους δύο χάρτες είναι οι μετατοπίσεις στους δύο άξονες, ενδεχόμενη περιστροφή και ομοιόμορφη κλιμάκωση. Άρα κρίνεται ότι ο μετασχηματισμός που θα πρέπει να εκτιμηθεί ανάμεσα σε ένα ζεύγος χαρτών είναι ο μετασχηματισμός ομοιότητας. 4.8 Εκτίμηση Μετασχηματισμού Ομοιότητας με τη χρήση RANSAC Στο Κεφάλαιο 3 παρουσιάστηκε ο επαναληπτικός αλγόριθμος RANSAC σαν μία εύρωστη μέθοδος για τον υπολογισμό ενός μοντέλου από ένα σετ δεδομένων που περιέχει ακραία στοιχεία (outliers). Στο παρόν σημείο θα παρουσιαστεί ο τρόπος αξιοποίησης του αλγόριθμου RANSAC, για την εκτίμηση του Μετασχηματισμού Ομοιότητας μεταξύ των δύο χαρτών χρησιμοποιώντας τις αντιστοιχίσεις των σημείων που εξάχθηκαν με τις προηγούμενες μεθόδους Περιγραφή Αλγορίθμου Στην περίπτωση αυτή η είσοδος στον αλγόριθμό μας είναι τα αντιστοιχούντα ζεύγη σημείων, το μοντέλο που πρέπει να προσδιοριστεί είναι ο μετασχηματισμός ομοιότητας τους και το κατώφλι για να θεωρηθεί ένα σημείο ότι πληρoί τις παραμέτρους του μοντέλου (inlier), είναι η απόσταση του ενός σημείου από το αντίστοιχο του σημείο, μετασχηματισμένο από το μοντέλο. Επίσης ως είσοδος δίνεται ένας συντελεστής αυτοπεποίθησης που χρησιμοποιείται

48 4.8. Εκτίμηση Μετασχηματισμού Ομοιότητας με τη χρήση RANSAC 37 για την δυναμική ανανέωση του αριθμού των επαναλήψεων μέχρις ότου βρεθεί το μοντέλο που πληρoί τις παραμέτρους με το μέγιστο αριθμό inliers. Να σημειωθεί ότι η χρήση του RANSAC για την εκτίμηση μετασχηματισμού μεταξύ σημείων είναι ιδιαίτερα δημοφιλής και χρησιμοποιείται κατά κόρον σε τεχνικές feature matching στον χώρο του computer vision. H χρήση του επικεντρώνεται κυρίως σε προβλήματα ανίχνευσης αντικειμένων σε μία οπτική σκηνή. Στην περίπτωση ανίχνευσης αντικειμένων λόγω του ότι οι διάφορες εικόνες που χρησιμοποιούνται προέρχονται από διαφορετικές θέσεις λήψεων, απαιτείται η εκτίμηση μετασχηματισμών μεγαλύτερων βαθμών ελευθερίας και συγκεκριμένα μετασχηματισμού ορθογραφικής προβολής (homography) που αποτελεί μια ειδική περίπτωση μετασχηματισμού προβολής μεταξύ δύο επιπέδων στο χώρο με μηδενική z συνιστώσα. Για τον λόγο αυτό δεν χρησιμοποιήθηκε κάποιος έτοιμος αλγόριθμος, αλλά αποφασίστηκε η τροποποίηση ενός υφιστάμενου αλγορίθμου homography estimation από την βιβλιοθήκη OpenCV, για τον υπολογισμό μετασχηματισμού ομοιότητας που όπως αναφέρθηκε κρίθηκε κατάλληλος για την σωστή ευθυγράμμιση χαρτών κατάληψης πλέγματος. Παρακάτω παρατίθεται ο βασικός αλγόριθμος για την εκτίμηση του μετασχηματισμού ομοιότητας. Η διαδικασία αρχίζει με την επιλογή δύο τυχαίων σημείων από το σετ δεδομένων αφού για τον υπολογισμό ενός μετασχηματισμού ομοιότητας απαιτούνται τουλάχιστον 2 σημεία. Στην συνέχεια υπολογίζεται ο μετασχηματισμός καθώς και ο αριθμός των inliers που αντιστοιχούν στο συγκεκριμένο μοντέλο. Ακολούθως ανανεώνεται ο αριθμός των επαναλήψεων, εάν κριθεί απαραίτητο και επαναλαμβάνεται όλη η διαδικασία μέχρι να μην μπορεί πλέον να ανανεωθεί ο αριθμός των επαναλήψεων ή να φτάσει κάποιο μέγιστο αριθμό που ο χρήστης θα ορίσει. Αλγόριθμος 4.1 Εκτίμηση Μετασχηματισμού Ομοιότητας με τη χρήση RANSAC 1: function S T (from, to, threshold, confidence, maxiters) 2: niters maxiters 3: for i 1, niters do 4: if numofp oints 2 then 5: points S (from, to) Επιλογή 2 τυχαίων σημείων 6: model K (points) Υπολογισμός Μετασχηματισμού 7: inliers I (points,model,threshold) 8: if numof Inliers maxn umof Inliers then 9: bestinliers inliers 10: bestm odel model 11: maxn umof Inliers numof Inliers 12: prob numofp oints numofinliers numofp oints 13: niters U N I (confidence,prob,maxiters) 14: return bestmodel Πιθανότητα inlier Εύρεση των σημείων (inliers) που ανήκουν στο μοντέλο Για να καθοριστεί μία αντιστοίχιση σημείων ως inlier, υπολογίζεται η απόσταση του ενός σημείου από το άλλο σημείο αφού μετασχηματιστεί στις νέες συντεταγμένες που το προβάλλουν στον άλλο χάρτη, υπολογίζοντας το Άθροισμα των Τετραγωνικών Διαφορών όπως

49 38 Κεφάλαιο 4. Περιγραϕή Υλοποίησης στην εξίσωση 4.3. distanceerror(p 1i, T [p 2i ]) = (x 1 x 2 ) 2 + (y 1 y 2 ) 2 (4.3) όπου p 1i, p 2i η θέση των αντιστοιχίσεων σε κάθε χάρτη, T [] η εφαρμογή του μετασχηματισμού σε ένα σημείο και x 1, y 1 οι συντεταγμένες του μετασχηματισμένου σημείου στο χάρτη 1. Αλγόριθμος 4.2 Εύρεση Inliers 1: function I (points, model, threshold) 2: for all points do 3: a model[0] points[0] points[1] 4: b model[1] points[0] points[1] 5: error a a + b b 6: if error threshold threshold then 7: inliers points[i] 8: return inliers

50 4.8. Εκτίμηση Μετασχηματισμού Ομοιότητας με τη χρήση RANSAC Δυναμική ανανέωση του αριθμού των επαναλήψεων Εάν οριστεί ως q η πιθανότητα σωστής δειγματοληψίας από το σύνολο των δεδομένων των ελαχίστων στοιχείων που απαιτούνται για σωστό προσδιορισμό του μοντέλου, τότε η πιθανότητα επιλογής ενός σετ ελαχίστων στοιχείων που να περιέχουν τουλάχιστον ένα outlier είναι φυσικά 1 q. Αν δειγματοληπτηθούν n ελάχιστα υποσύνολα σημείων τότε η πιθανότητα ότι όλα τα υποσύνολα έχουν μολυνθεί από outliers είναι (1 q) n. Ο αριθμός των επαναλήψεων n θα πρέπει να είναι αρκετά μεγάλος ούτως ώστε η πιθανότητα (1 q) n να είναι μικρότερη ή ίση από ένα συγκεκριμένο κατώφλι πιθανότητας ϵ ή διαφορετικά ο λόγος αυτοπεποίθησης (confidence rate), (1 q) n ϵ. Αν λύσουμε ως προς n προκύπτει η εξίσωση 4.4. log ϵ n log(1 q) (4.4) Αλγόριθμος 4.3 Ανανέωση του αριθμού των επαναλήψεων 1: function U N I (confidence, prob, maxiters) log (1 confidence) 2: n log (1 prob) 2 3: if n maxiters then niters n 4: else niters maxiters 5: return niters Αρχικοποίηση Παραμέτρων Εισόδου Ο αλγόριθμος επιδέχεται εκτός από τις αντιστοιχίσεις τρεις άλλες παραμέτρους: 1. threshold: Η μέγιστη απόσταση μεταξύ ενός σημείου από το αντίστοιχο μετασχηματισμένο σημείο στον άλλο χάρτη. Στην βιβλιογραφία αναφέρεται πως ένα καλό εύρος τιμών για την παράμετρο αυτή είναι μεταξύ των τιμών [1, 10]. Για την επιλογή της τιμής παρατηρείται ότι όσο μεγαλύτερη τεθεί αυτή η απόσταση αυξάνεται η πιθανότητα χαρακτηρισμού περισσοτέρων αντιστοιχίσεων ως inliers. Περισσότερα inliers αυξάνουν την πιθανότητα λανθασμένης εκτίμησης, ενώ επιλογή πιο αυστηρού κατωφλίου αυξάνει την πιθανότητα μη εύρεσης ικανοποιητικού αριθμού inliers για τον υπολογισμό του μετασχηματισμού. Σαν default τιμή στην εφαρμογή μας τέθηκε η τιμή 3 όπου κρίνεται ως ένα αρκετά αυστηρό όριο για την εξαγωγή των απαιτούμενων inliers. 2. confidence: O συντελεστής αυτός εκφράζει την πιθανότητα ένα τυχαία επιλεγόμενο σετ ελαχίστων σημείων να περιέχει μόνο inliers, δηλαδή ορίζει την αυτοπεποίθηση που αναμένουμε για την σωστή επιλογή σημείων. Αρχικοποιείται με τιμή όσο το δυνατό πλησιέστερη στη μονάδα ούτως ώστε να εξασφαλίζει την σωστή επιλογή σημείων ανά επανάληψη και την ορθή ανανέωση του αριθμού των επαναλήψεων. 3. maxiters: O αρχικός αριθμός των μέγιστων επαναλήψεων του αλγορίθμου. Η σημασία της παραμέτρου είναι περισσότερο όσο αφορά το χρόνο εκτέλεσης της διαδικασίας, μιας και ο αριθμός αυτός ανανεώνεται σε κάθε επανάληψη σύμφωνα με τον τύπο 4.4.

51 40 Κεφάλαιο 4. Περιγραϕή Υλοποίησης 4.9 Μετρικές Αξιολόγησης Μέσο Τετραγωνικό Σφάλμα Εμποδίων Η πρώτη μετρική είναι το μέσο τετραγωνικό σφάλμα της θέσης των εμποδίων που θα εντοπίσει ο αλγόριθμος χαρτογράφησης. Η μέθοδος υπολογισμού του έγκειται στην εύρεση της μέσης τιμής της τετραγωνικής διαφοράς απόστασης κάθε σημείου του χάρτη που δημιουργείται, σε σχέση με το κοντινότερο σημείο του στον χάρτη αναφοράς. Με μαθηματικούς όρους έστω M G ο χάρτης αναφοράς, o Gi M G τα εμπόδια που υπάρχουν στον χάρτη αναφοράς, M ο παραγόμενος από τον αλγόριθμο χαρτογράφησης χάρτης, και o i M τα εμπόδια του. Λέγοντας εμπόδια εννοούμε όλα τα εικονοστοιχεία τα οποία αντιστοιχούν σε κατειλημμένο χώρο. Στην εξίσωση 4.5 φαίνεται ο μαθηματικός τύπος υπολογισμού του μέσου τετραγωνικού σφάλματος εμποδίων. OMSE = 1 o i o i M Dist 2 (o i, o ), o M G argmin o Dist(o i, o ) (4.5) O τρόπος υπολογισμού της μετρικής βασίζεται στη χρήση ενός πίνακα απόστασης ίδιου μεγέθους με τον εκάστοτε χάρτη. Ο πίνακας περιέχει σαν τιμές την απόσταση κάθε σημείου που αντιπροσωπεύει ελεύθερο χώρο από το πλησιέστερο σημείο που αντιπροσωπεύει εμπόδιο. Ο υπολογισμός του πίνακα απόστασης γίνεται με τη χρήση του αλγορίθμου Βrushfire [28], του οποίου η κεντρική ιδέα είναι η εκκίνηση του από συγκεκριμένα σημεία του χώρου και η εξάπλωση του προς όλες τις κατευθύνσεις υπό κάποια συνθήκη. Ο αλγόριθμος τερματίζει εάν ισχύσει κάποια προκαθορισμένη συνθήκη. Στην περίπτωσή μας ισχύουν οι εξής συνθήκες: Σημεία Εκκίνησης: Τα κελιά τα οποία αντιστοιχούν σε εμπόδια Συνθήκη Εξάπλωσης: Εξάπλωση γίνεται σε πλησίον κελί εάν αντιστοιχεί σε ελεύθερο χώρο. Συνθήκη τερματισμού: Εάν καμία άλλη εξάπλωση δεν είναι δυνατή (η εξάπλωση έχει γίνει σε όλο τον ελεύθερο χώρο) Αναγωγή του OMSE σε μετρική ποιότητας Όπως αναφέρθηκε στο Κεφάλαιο 2 μία μετρική αξιολόγησης πρέπει να είναι καλά ορισμένη με ένα καθορισμένο εύρος τιμών. Το ΟMSE που ορίστηκε στην προηγούμενη υποενότητα, αν και αποτελεί ένα τρόπο αξιολόγησης εκτιμώντας το μέσο τετραγωνικό σφάλμα των εμποδίων δεν μπορεί να χρησιμοποιηθεί αυτούσιο σαν μετρική λόγω του ότι δεν έχει συγκεκριμένο εύρος τιμών. Νοουμένου ότι πρόκειται για αποστάσεις θεωρητικά μπορεί να αυξάνεται επ άπειρον. Επιπρόσθετα για την σωστή ανάγνωση της μετρικής αυτής απαιτείται σωστή ευθυγράμμιση, κάτι που όπως αναφέρθηκε δεν είναι πάντοτε εφικτό. Απαιτείται λοιπόν η εύρεση ενός τρόπου κανονικοποίησης της συγκεκριμένης μετρικής για να θεωρηθεί ως αξιόπιστη. Στο [30], εισάγεται μια μετρική ποιότητας της ακρίβειας μίας χαρτογράφησης που μπορεί να χρησιμοποιηθεί στην περίπτωση μας. Συγκεκριμένα, ορίζεται σαν μετρική ποιότητας ενός παραγόμενου χάρτη σε ένα εύρος τιμών μεταξύ 0 και 1, η πιο κάτω σχέση: k 1 N Q = exp( d i ) (4.6) W 2 + H 2 N i=1

52 4.10. Mετρική Επικύϱωσης 41 όπου d i η απόσταση ενός σημείου ελέγχου μεταξύ των δύο χαρτών όπως για παράδειγμα τα σημεία των γωνιών μεταξύ χάρτη αναφοράς και παραγόμενου, και W, H το μήκος και το πλάτος του χάρτη αναφοράς και k σταθερά. Η λογική είναι η κανονικοποίηση των αποστάσεων με την μέγιστη απόσταση στο χάρτη αναφοράς, την διαγώνιο του. Επίσης με τη χρήση της εκθετικής συνάρτησης επιτυγχάνεται περαιτέρω κανονικοποίηση σε ένα εύρος 0-1. Τιμές κοντά στην μονάδα εκφράζουν καλή ποιότητα ευθυγράμμισης των 2 χαρτών. Στην περίπτωση μας η σχέση 4.6 μπορεί να μετασχηματισθεί ως εξής: k Q = exp( OMSE) (4.7) W 2 + H2 όπου W, H ορίζουν τώρα τις διαστάσεις της κοινής επικαλυπτόμενης περιοχής και OM SE το μέσο τετραγωνικό σφάλμα εμποδίων όπως ορίστηκε από τη σχέση 4.5. Σε πειράματα που διεξήχθησαν, φαίνεται πως η πιο πάνω μετρική αποτελεί μια καλή ένδειξη της ποιότητας ενός χάρτη καθώς και της ορθότητας της ευθυγράμμισης που πραγματοποιήθηκε Mετρική Επικύϱωσης Ένα μειονέκτημα της χρήσης του αλγόριθμου RANSAC για τον υπολογισμό του μετασχηματισμού των δύο χαρτών είναι η αδυναμία προσδιορισμού της ορθότητας του αποτελέσματος της ευθυγράμμισης. Για παράδειγμα το σύνολο των αντιστοιχίσεων που θα προκύψει μπορεί να μην περιέχει τον ελάχιστο αριθμό ορθών αντιστοιχίσεων για τον υπολογισμό του μοντέλου λόγω κακής περιγραφής των εξαχθέντων χαρακτηριστικών ή και λόγω μη ικανοποιητικής επικάλυψης μεταξύ των δύο χαρτών. Ένας τρόπος για επικύρωση του αποτελέσματος είναι η χρήση της παρακάτω μετρικής: acceptance(m1, m2) = 1 dis(m1, m2) agr(m1, m2) + dis(m1, m2) όπου m1, m2 οι δύο χάρτες. Οι συναρτήσεις agr(m1, m2) και dis(m1, m2) εκφράζουν την συμφωνία και αντίστοιχα διαφωνία ανάμεσα στα κελιά των δύο χαρτών και ορίζονται ως εξής: (4.8) agr(m1, m2) = #{p = (x, y) m1[p] = m2[p] C} (4.9) dis(m1, m2) = #{p = (x, y) m1[p] m2[p] C} (4.10) όπου C το σύνολο των ελεύθερων και κατειλημμένων κελιών ανά χάρτη, m1[p] η τιμή του κελιού στο χάρτη m1 στη θέση p = (x, y) και # το πλήθος των τιμών που ικανοποιούν την συνθήκη. Η μετρική υπολογίζεται μόνο στα αλληλοκαλυπτόμενα μέρη των δύο χαρτών όπως αυτά θα προκύψουν μετά την ευθυγράμμιση. Αν το περιεχόμενο του κελιού στην θέση p = (x, y) στους χάρτες m1, m2 έχει άγνωστη τιμή τότε δεν λαμβάνεται υπόψη. Για κάθε ελεύθερο ή κατειλημμένο κελί στην ίδια θέση και στους δύο χάρτες η συνάρτηση agr() αυξάνει. Αντίστοιχα αν ένα κελί στην θέση p είναι ελεύθερο στο ένα χάρτη και κατειλημμένο στον άλλο και αντίστροφα, αυξάνει η dis(). Αν η τιμή της μετρικής πλησιάζει στο 1 τότε κατά πάσα πιθανότητα οι δύο χάρτες έχουν ευθυγραμμιστεί με ορθό τρόπο.

53 42 Κεφάλαιο 4. Περιγραϕή Υλοποίησης 4.11 Προεπεξεργασία Χαρτών Οι χάρτες κατάληψης πλέγματος που παράγονται από αλγόριθμους χαρτογράφησης και ειδικά από χαρτογραφήσεις που προέρχονται από αντιστοιχίσεις σαρώσεων που έχουν ληφθεί με laser αισθητήρες εναποθέτουν στην παραγόμενη εικόνα μεμονωμένα κελιά ανεξερεύνητου χώρου τα οποία μπορούν να ερμηνευτούν σαν θόρυβος υψηλής συχνότητας στην εικόνα. Η ύπαρξη του θορύβου μπορεί να χαρακτηρίσει ως σημεία ενδιαφέροντος, σημεία στο μέσο του ελεύθερου χώρου μιας και οι πλείστοι αλγόριθμοι εξαγωγής features βασίζονται στις εναλλαγές συχνότητας για να χαρακτηρίσουν ένα σημείο ως ιδιάζον. Αυτό μπορεί να επιφέρει αρκετές λάθος αντιστοιχίσεις μεταξύ των δύο εικόνων και να δυσχεραίνει τη διαδικασία της ευθυγράμμισης. Ένα παράδειγμα ανίχνευσης παρασιτικών σημείων λόγω θορύβου φαίνεται στο σχήμα Σχήμα 4.11: Δημιουργία θορύβου από τον αλγόριθμο χαρτογράφησης και χαρακτηρισμός τοπικών χαρακτηριστικων SIFT Για την αποτροπή ανίχνευσης νόθων χαρακτηριστικών σημείων μπορούν να χρησιμοποιηθούν τεχνικές εξομάλυνσης από το πεδίο της επεξεργασίας εικόνας (blurring), με την εφαρμογή Gaussian και median φίλτρων. Στο [11] οι συγγραφείς διεξήγαγαν μια σειρά από πειράματα για να μετρήσουν την επαναληψιμότητα (repeatability) τεσσάρων μεθόδων ανίχνευσης τοπικών χαρακτηριστικών σε OGMs. Όπως σημειώνουν από τα αποτελέσματα τους διαφαίνεται πως αλγόριθμοι που χαρακτηρίζουν ως τοπικά χαρακτηριστικά εντοπίζοντας περιοχές (blobs) στην εικόνα επωφελούνται από την εφαρμογή φίλτρων με μεγάλο μέγεθος, ενώ αλγόριθμοι που βασίζονται στην ανίχνευση γωνιών επιτρέπουν καλή επαναληψιμότητα με την εφαρμογή μικρών ή και καθόλου φίλτρων εξομάλυνσης.

54 4.12. Προσδιορισμός συντελεστή κλιμάκωσης Προσδιορισμός συντελεστή κλιμάκωσης Τα OGMs που παράγονται από αλγόριθμους χαρτογράφησης συνήθως παρουσιάζουν διαφορές στην κλίμακα που σε κάποιες περιπτώσεις είναι αρκετά μεγάλες. Οι αλγόριθμοι εξαγωγής χαρακτηριστικών αν και κάποιοι έχουν υλοποιηθεί με γνώμονα την ανθεκτικότητα στην κλιμάκωση (SIFT), σε περιπτώσεις μεγάλων διαφορών το αποτέλεσμα της αντιστοίχισης μπορεί να κριθεί μη ικανοποιητικό. Είναι λογικό ότι εάν οι χάρτες τηρούν παρόμοιες αναλογίες στις αποστάσεις το αποτέλεσμα της αντιστοίχισης χαρακτηριστικών θα είναι καλύτερο. Οι λόγοι των διαστάσεων των δύο ΟGMs δεν μπορούν να χρησιμοποιηθούν για την εύρεση του συντελεστή κλιμάκωσης, επειδή λόγω του ότι ο παραγόμενος χάρτης περιβάλλεται από άγνωστο ανεξερεύνητο χώρο οι συγκεκριμένοι λόγοι δεν εκφράζουν τον πραγματικό συντελεστή κλιμάκωσης, αφού δεν αντιπροσωπεύουν το χρήσιμο μέρος του χάρτη, τον εξερευνημένο δηλαδή χώρο αποτελούμενο από ελεύθερη επιφάνεια και τα διάφορα εμπόδια. Μια μέθοδος προσεγγιστικού υπολογισμού του συντελεστή κλιμάκωσης είναι ο υπολογισμός της μέσης απόστασης κάθε σημείου ελεύθερου χώρου από το πλησιέστερο εμπόδιο. Ο υπολογισμός της μέσης απόστασης μπορεί να γίνει με την αξιοποίηση του αλγορίθμου Brushfire όπως και για τον υπολογισμό του ΟMSE. O μαθηματικός τύπος υπολογισμού της συγκεκριμένης απόστασης δίνεται από τη σχέση 4.11 Mean = i=w,j=h i,j:map i,j >0.5 Brush[i, j] (4.11) Eπομένως ο συντελεστής κλιμάκωσης προσεγγίζεται ως ο λόγος της μέσης απόστασης των δύο χαρτών: scalingf actor = meandist1 meandist2 Σε δοκιμές που διεξήχθησαν έχουν παρατηρηθεί τα εξής ως προς την ορθότητα του αποτελέσματος: Η τιμή που υπολογίζεται από την προτεινόμενη μέθοδο ισούται με το πραγματικό συντελεστή κλιμάκωσης σε περίπτωση υπολογισμού της σε ένα ζεύγος ίδιων χαρτών με διαφορά μόνο στην κλιμάκωση. Όσο μεγαλύτερος σε έκταση είναι ο ελεύθερος χώρος που έχει χαρτογραφηθεί τόσο καλύτερο και το αποτέλεσμα της συγκεκριμένης μεθόδου. H ύπαρξη σημαντικού ποσοστού ανεξερεύνητου χώρου καθώς και η ύπαρξη θορύβου λόγω μη ικανοποιητικής σάρωσης από τον αισθητήρα laser δυσχεραίνει την αποτελεσματικότητα της μεθόδου.

55 44 Κεφάλαιο 5 Πειραματικά Αποτελέσματα 5.1 Περιγραφή Πειράματος Σκοπός του πειράματος είναι ο συνδυασμός των διάφορων παραμέτρων της υλοποίησης μας, για την διεξαγωγή ευθυγράμμισης ενός συνόλου από ζευγάρια χαρτών και η εξαγωγή συμπερασμάτων. Το πείραμα χωρίζεται σε δύο κατηγορίες: 1η Περίπτωση είναι η αξιολόγηση ενός χάρτη, παραγόμενου από αλγόριθμο χαρτογράφησης σε σχέση με μία πραγματική κάτοψη, 2η Περίπτωση είναι η προσπάθεια συγχώνευσης δύο χαρτών από ρομποτικά οχήματα που εξερευνούν τον ίδιο χώρο. Ειδικότερα, με το τέλος του πειράματος θα θέλαμε να προσδιορίσουμε την αποδοτικότητα των διαφόρων αλγορίθμων εξαγωγής (detectors) και περιγραφής (descriptors) χαρακτηριστικών, στο πρόβλημα της αξιολόγησης και συγχώνευσης OGM. Επιπρόσθετα, θα εξαχθούν συμπεράσματα για το πως η μεταβολή ορισμένων παραμέτρων, επηρεάζει την αποδοτικότητα του εκάστοτε αλγορίθμου. Η υλοποίηση μας περιλαμβάνει μια πληθώρα παραμέτρων, η κάθε μια με ένα διαφορετικό εύρος τιμών. Οι συνδυασμοί που μπορούν να προκύψουν είναι τεράστιοι στον αριθμό, έτσι έγινε μια προσεκτική επιλογή των βασικών παραμέτρων ούτως ώστε να πραγματοποιηθεί ένας ικανοποιητικός αριθμός πειραμάτων και να εξαχθούν χρήσιμα συμπεράσματα. Οι παράμετροι που θα χρησιμοποιηθούν - αναφερθούν στο παρόν κεφάλαιο είναι οι εξής: 1. detector: O αλγόριθμος εξαγωγής χαρακτηριστικών που θα χρησιμοποιηθεί. 2. descriptor: O αλγόριθμος περιγραφής τοπικών χαρακτηριστικών. 3. mat er: O αλγόριθμος αντιστοίχισης features. 4. mat ingmethod: Ο τρόπος αντιστοίχισης. 5. ransacerror: Το κατώφλι που θα χρησιμοποιηθεί στον RANSAC για την εύρεση inliers. 6. ransaciter: O αριθμός των μέγιστων επαναλήψεων για τον τερματισμό του RANSAC. 7. gaussiankernel: To μέγεθος του gaussian φίλτρου 8. mediankernel: To μέγεθος του median φίλτρου 9. distancenormomse: H μετρική απόστασης που θα χρησιμοποιηθεί από την μετρική αξιολόγησης OMSE.

56 5.1. Περιγραφή Πειράματος 45 Παράμετρος detector descriptor Τιμή matcher matchingmethod ransacerror 3 ransaciter 2000 gaussiankernel 0,3,5,7,9,11,13,15 mediankernel 0,3,5,7,9,11,13,15 distancenormomse Manha an Distance Πίνακας 5.1: Παραμέτροι Πειράματος SIFT, SURF, FAST, STAR, ORB, GFTT, HARRIS SIFT, SURF, ORB, ANNULAR STATISTICS, CIRCLE INTERSEC- TIONS, MEAN RAYS, ANNULAR+RAYS, ALL CUSTOMS BruteForce, BruteForce-Hamming SIMPLE Στον πίνακα 5.1 φαίνονται οι παράμετροι και οι τιμές τους όπως ορίστηκαν για το συγκεκριμένο πείραμα. Παρατηρήσεις σχετικά με τις επιλεχθέντες παραμέτρους: Στο πείραμα χρησιμοποιήθηκαν 7 αλγόριθμοι εξαγωγής τοπικών χαρακτηριστικών και 8 περιγραφείς. Oι περιγραφείς που υλοποιήθηκαν στην συγκεκριμένη διπλωματική χρησιμοποιήθηκαν σε συνδυασμούς για να εξαχθούν περαιτέρω συμπεράσματα για τη ικανότητα περιγραφής τους. Χρησιμοποιήθηκαν οι εξής συνδυασμοί: 1. ANNULAR STATISTICS: Εξαγωγή στατιστικών στοιχείων σε μία ακτίνα (Κεφάλαιο 4.6.1) με μήκος διανύσματος CIRCLE INTERSECTIONS: Αριθμός τομών με τα εμπόδια στην περιφέρεια ενός κύκλου (Κεφάλαιο 4.6.2) με μήκος διανύσματος MEAN RAYS: Μέσο μήκος ακτίνων από τα εμπόδια (Κεφάλαιο 4.6.3) με μήκος διανύσματος ANNULAR+RAYS: Συνδυασμός των ΑNNULAR STATISTICS με τους ΜΕΑΝ RAYS (μήκος διανύσματος 48). 5. ALL CUSTOMS: Συνδυασμός και των τριών περιγραφέων που υλοποιήθηκαν (μήκος διανύσματος 56). Ο αριθμός των κύκλων στους οποίους θα γίνει εξαγωγή στατιστικών στοιχείων επιλέχθηκε ως 8 και το μέγιστο μήκος ακτίνας επιλέχθηκε ως το 1 της μικρότερης διάστασης 5 κάθε χάρτη. Η επιλογή των συγκεκριμένων τιμών έγινε με γνώμονα να εκτελούνται οι περιγραφείς σε λογικούς χρόνους και να καλύπτουν ένα σημαντικό μέρος του χάρτη για καλύτερη ακρίβεια περιγραφής. Σαν μέθοδος αντιστοίχισης επιλέχθηκε η απλή εξουθενωτική μέθοδος (BruteForce) με τη χρήση της Ευκλείδιας απόστασης ως μετρικής ομοιότητας μεταξύ των αντιστοιχίσεων. Στην περίπτωση των ORB descriptors χρησιμοποιήθηκε σαν μετρική ομοιότητας η απόσταση Hamming μιας και πρόκειται για δυαδικούς descriptors και έτσι ενδείκνυται από τη βιβλιογραφία.

57 46 Κεφάλαιο 5. Πειραματικά Αποτελέσματα To κατώφλι απόστασης για να θεωρηθεί μια αντιστοίχιση ως inlier ορίστηκε ως 3 σε ένα εύρος ζώνης [1-10] το οποίο χρησιμοποιείται ως default τιμή σε αλγορίθμους εκτίμησης μοντέλων με χρήση RANSAC στην ΟPENCV. 5.2 Ορισμός Περιβαλλόντων για Πειράματα Τα πειράματα που έγιναν, πραγματοποιήθηκαν ως επί το πλείστον σε αρχεία καταγραφής του αισθητήρα LRF Hokuyo τα οποία λήφθηκαν σε προσομοιωμένους χώρους. Όπως έχει αναφερθεί, η προσομοίωση έγινε με το εργαλείο STDR simulator. Προκειμένου να εξαχθούν συμπεράσματα σε διαφορετικές συνθήκες, τα επιλεγμένα περιβάλλοντα έχουν τα εξής χαρακτηριστικά: Περιβάλλον 1: Ανοιχτοί χώροι με πληθώρα χαρακτηριστικών σημείων και επαναλαμβανόμενα μοτίβα εμποδίων (Κάτοψη στην εικόνα 5.1). Περιβάλλον 2: Στενοί χώροι με ύπαρξη διαδρόμων και πολλών μοναδικών σχημάτων εμποδίων (Κάτοψη στην εικόνα 5.2). Περιβάλλον 3: Κάτοψη από πρότυπο πίστας που χρησιμοποιείται στο διαγωνισμό RoboCup - RoboRescue (Κάτοψη στην εικόνα 5.3). Σχήμα 5.1: Περιβάλλον 1

58 5.2. Ορισμός Περιβαλλόντων για Πειράματα 47 Σχήμα 5.2: Περιβάλλον 2 Σχήμα 5.3: Περιβάλλον 3

59 48 Κεφάλαιο 5. Πειραματικά Αποτελέσματα 5.3 Εκτέλεση Πειράματος Συνολικά εκτελέστηκαν 8 διαφορετικές σειρές πειραμάτων για αξιολόγηση και συγχώνευση των σετ χαρτών από τα 3 περιβάλλοντα που επιλέχθησαν. Από τον ορισμό του εύρους τιμών των παραμέτρων προέκυψαν 3520 διαφορετικοί συνδυασμοί, άρα κάθε πείραμα αποτελείται από αντίστοιχες σε αριθμό εκτελέσεις του προγράμματος. Κάθε πιθανός συνδυασμός εκτελέστηκε 3 φορές στο σύνολο για τον καλύτερο προσδιορισμό ενός μέσου χρόνου εκτέλεσης. Οι μέσοι χρόνοι εκτέλεσης που παρουσιάζονται στην ενότητα των αποτελεσμάτων αναφέρονται σε υπολογιστή που φέρει τετραπύρηνο επεξεργαστή Intel Core i5-4210u, 1.7 GHz. Στα σχήματα 5.4, 5.5, 5.6 φαίνονται τα σετ χαρτών που χρησιμοποιήθηκαν για αξιολόγηση και αντίστοιχα στα σχήματα τα σετ χαρτών που χρησιμοποιήθηκαν για συγχώνευση. (αʹ) Επιφάνεια: 67.5 m 2 Ανάλυση Χάρτη: 0.02(βʹ) Επιφάνεια: 97.5 m 2 Ανάλυση Χάρτη: 0.02 m/pixel m/pixel Σχήμα 5.4: Περιβάλλον 1 - Αξιολόγηση

60 5.3. Εκτέλεση Πειράματος 49 (αʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel (βʹ) Επιφάνεια: 89.4 m 2 Ανάλυση Χάρτη: 0.02 m/pixel Σχήμα 5.5: Περιβάλλον 2 - Αξιολόγηση

61 50 Κεφάλαιο 5. Πειραματικά Αποτελέσματα (αʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.03 m/pixel (βʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel Σχήμα 5.6: Περιβάλλον 3 - Αξιολόγηση (αʹ) Επιφάνεια: 98.3 m 2 (βʹ) Επιφάνεια: 91.3 m Ανάλυση Χάρτη: Ανάλυση Χάρτη: 0.02 m/pixel m/pixel Σχήμα 5.7: Περιβάλλον 1 - Συγχώνευση

62 5.3. Εκτέλεση Πειράματος 51 (αʹ) Επιφάνεια: 89.4 m 2 Ανάλυση Χάρτη: 0.02 (βʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel m/pixel Σχήμα 5.8: Περιβάλλον 2 - Συγχώνευση

63 52 Κεφάλαιο 5. Πειραματικά Αποτελέσματα (αʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02(βʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel m/pixel Σχήμα 5.9: Περιβάλλον 3 - Συγχώνευση (αʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02(βʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel m/pixel Σχήμα 5.10: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη)

64 5.3. Εκτέλεση Πειράματος 53 (βʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel (αʹ) Επιφάνεια: m 2 Ανάλυση Χάρτη: 0.02 m/pixel Σχήμα 5.11: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη)

65 54 Κεφάλαιο 5. Πειραματικά Αποτελέσματα 5.4 Αξιολόγηση Χάρτη σε σχέση με ένα χάρτη αναφοράς Στα σχήματα 5.12, 5.14 και 5.16 φαίνονται οι τελικές αντιστοιχίσεις χαρακτηριστικών που χρησιμοποιήθηκαν για την ευθυγράμμιση και στα σχήματα 5.13, 5.15 και 5.17 τα τελικά αποτελέσματα της συγχώνευσης όπως προέκυψαν από το καλύτερο αποτέλεσμα της μετρικής αξιολόγησης OMSE. Σχήμα 5.12: Περιβάλλον 1 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Σχήμα 5.13: Περιβάλλον 1 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης

66 5.4. Αξιολόγηση Χάρτη σε σχέση με ένα χάρτη αναφοράς 55 Σχήμα 5.14: Περιβάλλον 2 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Σχήμα 5.15: Περιβάλλον 2 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης

67 56 Κεφάλαιο 5. Πειραματικά Αποτελέσματα Σχήμα 5.16: Περιβάλλον 3 - Αξιολόγηση: Τελικές Αντιστοιχίσεις Σχήμα 5.17: Περιβάλλον 3 - Αξιολόγηση: Αποτέλεσμα Συγχώνευσης

68 5.4. Αξιολόγηση Χάρτη σε σχέση με ένα χάρτη αναφοράς Πίνακες Αποτελεσμάτων Παρακάτω παρατίθενται τα συγκεντρωτικά καλύτερα αποτελέσματα σε μορφή πινάκων για κάθε συνδυασμό detector, descriptor. Στους πίνακες 5.2, 5.3, 5.4 παρουσιάζονται οι τιμές των καλύτερων αποτελεσμάτων της μετρική αξιολόγησης ΟMSE και αντίστοιχα στους πίνακες 5.5, 5.6, 5.7 ο αριθμός των αντιστοιχίσεων που εκτιμήθηκαν ως inliers και χρησιμοποιήθηκαν για την εύρεση του τελικού μετασχηματισμού. Στους πίνακες 5.8, 5.9 και 5.10 φαίνονται οι τιμές των παραμέτρων για την επίτευξη του καλύτερου αποτελέσματος, ενώ στους πίνακες 5.11, 5.12 και 5.13 το ποσοστό επικάλυψης των δύο χαρτών για κάθε περίπτωση. Τα αποτελέσματα επικυρώθηκαν με τη χρήση της μετρικής επικύρωσης, καθώς και της μετρικής ποιότητας όπως παρουσιάστηκαν στο Κεφάλαιο 4. Τέλος στους πίνακες 5.14, 5.15 και 5.16 παρουσιάζονται οι μέσοι χρόνοι εκτέλεσης για κάθε καλύτερο συνδυασμό αποτελέσματος. descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR SURF Πίνακας 5.2: Περιβάλλον 1 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT HARRIS ORB SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.3: Περιβάλλον 2 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN GFTT NaN HARRIS NaN ORB SIFT NaN NaN NaN NaN STAR SURF NaN NaN NaN Πίνακας 5.4: Περιβάλλον 3 - Αξιολόγηση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE)

69 58 Κεφάλαιο 5. Πειραματικά Αποτελέσματα descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR SURF Πίνακας 5.5: Περιβάλλον 1 - Αξιολόγηση: Tελικός αριθμός σωστών αντιστοιχίσεων descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT HARRIS ORB SIFT NaN 7.0 NaN STAR NaN SURF NaN Πίνακας 5.6: Περιβάλλον 2 - Αξιολόγηση: Tελικός αριθμός ορθών αντιστοιχίσεων descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN GFTT NaN HARRIS NaN ORB SIFT NaN 11.0 NaN NaN NaN STAR SURF NaN 11.0 NaN 10.0 NaN Πίνακας 5.7: Περιβάλλον 3 - Αξιολόγηση: Tελικός αριθμός ορθών αντιστοιχίσεων detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance ORB SIFT Πίνακας 5.8: Περιβάλλον 1 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance HARRIS ANNULAR STATISTICS Πίνακας 5.9: Περιβάλλον 2 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος

70 5.4. Αξιολόγηση Χάρτη σε σχέση με ένα χάρτη αναφοράς 59 detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance STAR ORB Πίνακας 5.10: Περιβάλλον 3 - Αξιολόγηση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR SURF Πίνακας 5.11: Περιβάλλον 1 - Αξιολόγηση: Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT HARRIS ORB SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.12: Περιβάλλον 2 - Αξιολόγηση: Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR SURF Πίνακας 5.13: Περιβάλλον 3 - Αξιολόγηση: Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR SURF Πίνακας 5.14: Περιβάλλον 1 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec)

71 60 Κεφάλαιο 5. Πειραματικά Αποτελέσματα descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT HARRIS ORB SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.15: Περιβάλλον 2 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN GFTT NaN HARRIS NaN ORB SIFT NaN NaN NaN NaN STAR SURF NaN NaN NaN Πίνακας 5.16: Περιβάλλον 3 - Αξιολόγηση: Χρόνοι Εκτέλεσης (sec) 5.5 Συγχώνευση Χαρτών με μεγάλο ποσοστό επικάλυψης Στα σχήματα 5.18, 5.20 και 5.22 φαίνονται οι τελικές αντιστοιχίσεις χαρακτηριστικών που χρησιμοποιήθηκαν για την ευθυγράμμιση και στα σχήματα 5.19, 5.21 και 5.23 τα τελικά αποτελέσματα της συγχώνευσης όπως προέκυψαν από το καλύτερο αποτέλεσμα της μετρικής αξιολόγησης OMSE. Σχήμα 5.18: Περιβάλλον 1 - Συγχώνευση: Τελικές Αντιστοιχίσεις

72 5.5. Συγχώνευση Χαρτών με μεγάλο ποσοστό επικάλυψης 61 Σχήμα 5.19: Περιβάλλον 1 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Σχήμα 5.20: Περιβάλλον 2 - Συγχώνευση: Τελικές Αντιστοιχίσεις

73 62 Κεφάλαιο 5. Πειραματικά Αποτελέσματα Σχήμα 5.21: Περιβάλλον 2 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Σχήμα 5.22: Περιβάλλον 3 - Συγχώνευση: Τελικές Αντιστοιχίσεις

74 5.5. Συγχώνευση Χαρτών με μεγάλο ποσοστό επικάλυψης 63 Σχήμα 5.23: Περιβάλλον 3 - Συγχώνευση: Αποτέλεσμα Συγχώνευσης Πίνακες Αποτελεσμάτων Παρακάτω παρατίθενται τα συγκεντρωτικά καλύτερα αποτελέσματα σε μορφή πινάκων για κάθε συνδυασμό detector, descriptor. Στους πίνακες 5.17, 5.18, 5.19 παρουσιάζονται οι τιμές των καλύτερων αποτελεσμάτων της μετρική αξιολόγησης ΟMSE, και αντίστοιχα στους πίνακες 5.20, 5.21, 5.22 ο αριθμός των αντιστοιχίσεων που εκτιμήθηκαν ως inliers και χρησιμοποιήθηκαν για την εύρεση του τελικού μετασχηματισμού. Στους πίνακες 5.23, 5.24 και 5.25 φαίνονται οι τιμές των παραμέτρων για την επίτευξη του καλύτερου αποτελέσματος, ενώ στους πίνακες 5.26, 5.27 και 5.28 το ποσοστό επικάλυψης των δύο χαρτών για κάθε περίπτωση. Τα αποτελέσματα επικυρώθηκαν με τη χρήση της μετρικής επικύρωσης, καθώς και της μετρικής ποιότητας όπως παρουσιάστηκαν στο Κεφάλαιο 4. Τέλος στους πίνακες 5.29, 5.30 και 5.31 παρουσιάζονται οι μέσοι χρόνοι εκτέλεσης για κάθε καλύτερο συνδυασμό αποτελέσματος. descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN NaN STAR SURF Πίνακας 5.17: Περιβάλλον 1 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE)

75 64 Κεφάλαιο 5. Πειραματικά Αποτελέσματα descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT NaN HARRIS ORB NaN SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.18: Περιβάλλον 2 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB NaN SIFT NaN STAR SURF NaN Πίνακας 5.19: Περιβάλλον 3 - Συγχώνευση: Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN 48.0 NaN STAR SURF Πίνακας 5.20: Περιβάλλον 1 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT NaN HARRIS ORB NaN SIFT NaN 8.0 NaN STAR NaN SURF NaN Πίνακας 5.21: Περιβάλλον 2 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων

76 5.5. Συγχώνευση Χαρτών με μεγάλο ποσοστό επικάλυψης 65 descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB NaN SIFT NaN STAR SURF NaN Πίνακας 5.22: Περιβάλλον 3 - Συγχώνευση: Tελικός αριθμός ορθών αντιστοιχίσεων detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance FAST ORB Πίνακας 5.23: Περιβάλλον 1 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance GFTT SURF Πίνακας 5.24: Περιβάλλον 2 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance SURF ORB Πίνακας 5.25: Περιβάλλον 3 - Συγχώνευση: Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN NaN STAR SURF Πίνακας 5.26: Περιβάλλον 1 - Συγχώνευση: Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT NaN HARRIS ORB NaN SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.27: Περιβάλλον 2 - Συγχώνευση: Πoσοστό Επικάλυψης

77 66 Κεφάλαιο 5. Πειραματικά Αποτελέσματα descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB NaN SIFT NaN STAR SURF NaN Πίνακας 5.28: Περιβάλλον 3 - Συγχώνευση: Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN NaN STAR SURF Πίνακας 5.29: Περιβάλλον 1 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST NaN GFTT NaN HARRIS ORB NaN SIFT NaN NaN STAR NaN SURF NaN Πίνακας 5.30: Περιβάλλον 2 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS CIRCLE INTERSECTIONS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB NaN SIFT NaN STAR SURF NaN Πίνακας 5.31: Περιβάλλον 3 - Συγχώνευση: Χρόνοι Εκτέλεσης (sec)

78 5.6. Συγχώνευση Χαρτών με μερική επικάλυψη Συγχώνευση Χαρτών με μερική επικάλυψη Στα σχήματα 5.24, 5.26 φαίνονται οι τελικές αντιστοιχίσεις χαρακτηριστικών που χρησιμοποιήθηκαν για την ευθυγράμμιση και στα σχήματα 5.25, 5.27 τα τελικά αποτελέσματα της συγχώνευσης όπως προέκυψαν από το καλύτερο αποτέλεσμα της μετρικής αξιολόγησης OMSE. Σχήμα 5.24: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Τελικές Αντιστοιχίσεις Σχήμα 5.25: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Αποτέλεσμα Συγχώνευσης

79 68 Κεφάλαιο 5. Πειραματικά Αποτελέσματα Σχήμα 5.26: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Τελικές Αντιστοιχίσεις Σχήμα 5.27: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Αποτέλεσμα Συγχώνευσης

80 5.6. Συγχώνευση Χαρτών με μερική επικάλυψη Πίνακες Αποτελεσμάτων Παρακάτω παρατίθενται τα συγκεντρωτικά καλύτερα αποτελέσματα σε μορφή πινάκων για κάθε συνδυασμό detector, descriptor. Στους πίνακες 5.32, 5.33 παρουσιάζονται οι τιμές των καλύτερων αποτελεσμάτων της μετρική αξιολόγησης ΟMSE, και αντίστοιχα στους πίνακες 5.34, 5.35 ο αριθμός των αντιστοιχίσεων που εκτιμήθηκαν ως inliers και χρησιμοποιήθηκαν για την εύρεση του τελικού μετασχηματισμού. Στους πίνακες 5.36, 5.37 φαίνονται οι τιμές των παραμέτρων για την επίτευξη του καλύτερου αποτελέσματος, ενώ στους πίνακες 5.38, 5.39 το ποσοστό επικάλυψης των δύο χαρτών για κάθε περίπτωση. Τα αποτελέσματα επικυρώθηκαν με τη χρήση της μετρικής επικύρωσης όπως παρουσιάστηκε στο Κεφάλαιο 4. Τέλος στους πίνακες 5.40 και 5.41 παρουσιάζονται οι μέσοι χρόνοι εκτέλεσης για κάθε καλύτερο συνδυασμό αποτελέσματος. descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN NaN NaN GFTT NaN NaN NaN NaN ORB NaN NaN NaN SIFT NaN NaN STAR NaN NaN SURF NaN NaN NaN NaN Πίνακας 5.32: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Μέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR NaN SURF Πίνακας 5.33: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Mέσο Τετραγωνικό Σφάλμα Εμποδίων (ΟΜSE)

81 70 Κεφάλαιο 5. Πειραματικά Αποτελέσματα descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN NaN NaN GFTT NaN 7.0 NaN NaN NaN ORB NaN NaN NaN SIFT NaN NaN STAR 3.0 NaN 3.0 NaN SURF NaN NaN NaN NaN Πίνακας 5.34: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Tελικός αριθμός ορθών αντιστοιχίσεων descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR NaN SURF Πίνακας 5.35: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Tελικός αριθμός ορθών αντιστοιχίσεων detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance ORB SIFT Πίνακας 5.36: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος detector descriptor gaussiankernel2 mediankernel2 OMSE quality meanextime overlapaera matches acceptance SURF ALL CUSTOMS SURF ANNULAR STATISTICS SURF ANNULAR+RAYS Πίνακας 5.37: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Παράμετροι για την επίτευξη του καλύτερου αποτελέσματος descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN NaN NaN GFTT NaN NaN NaN NaN ORB NaN NaN NaN SIFT NaN NaN STAR NaN NaN SURF NaN NaN NaN NaN Πίνακας 5.38: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Πoσοστό Επικάλυψης

82 5.6. Συγχώνευση Χαρτών με μερική επικάλυψη 71 descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR NaN SURF Πίνακας 5.39: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Πoσοστό Επικάλυψης descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST NaN NaN NaN NaN GFTT NaN NaN NaN NaN ORB NaN NaN NaN SIFT NaN NaN STAR NaN NaN SURF NaN NaN NaN NaN Πίνακας 5.40: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Χρόνοι Εκτέλεσης (sec) descriptor ALL CUSTOMS ANNULAR STATISTICS ANNULAR+RAYS MEAN RAYS ORB SIFT SURF detector FAST GFTT HARRIS ORB SIFT NaN STAR NaN SURF Πίνακας 5.41: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Χρόνοι Εκτέλεσης (sec)

83 72 Κεφάλαιο 5. Πειραματικά Αποτελέσματα 5.7 Συγκεντρωτικά Αποτελέσματα Παρακάτω παρατίθενται ορισμένες συγκεντρωτικές γραφικές παραστάσεις επί του συνόλου των συνδυασμών για κάθε πείραμα που εκτελέστηκε για την εξαγωγή πιο γενικών συμπερασμάτων. Συγκεκριμένα στα σχήματα παρουσιάζεται το ποσοστό των σωστών ευθυγραμμίσεων για κάθε διαφορετικό detector/descriptor ούτως ώστε να γίνει εύκολα αντιληπτή η αποτελεσματικότητα κάθε αλγορίθμου εξαγωγής τοπικών χαρακτηριστικών, καθώς και η αποτελεσματικότητα περιγραφής τους. Ακολούθως στα σχήματα παρουσιάζεται η κατανομή του μέσου χρόνου εκτέλεσης κάθε διαφορετικού detector/descriptor, στο σύνολο των περιπτώσεων όπου έχει χρησιμοποιηθεί έκαστος. Σχήμα 5.28: Περιβάλλον 1 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων

84 5.7. Συγκεντρωτικά Αποτελέσματα 73 Σχήμα 5.29: Περιβάλλον 2 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων Σχήμα 5.30: Περιβάλλον 3 - Aξιολόγηση: Ποσοστό ορθών ευθυγραμμίσεων

85 74 Κεφάλαιο 5. Πειραματικά Αποτελέσματα Σχήμα 5.31: Περιβάλλον 1 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων Σχήμα 5.32: Περιβάλλον 2 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων

86 5.7. Συγκεντρωτικά Αποτελέσματα 75 Σχήμα 5.33: Περιβάλλον 3 - Συγχώνευση: Ποσοστό ορθών ευθυγραμμίσεων Σχήμα 5.34: Περιβάλλον 1 - Συγχώνευση (μερική επικάλυψη): Ποσοστό ορθών ευθυγραμμίσεων

87 76 Κεφάλαιο 5. Πειραματικά Αποτελέσματα Σχήμα 5.35: Περιβάλλον 2 - Συγχώνευση (μερική επικάλυψη): Ποσοστό ορθών ευθυγραμμίσεων Σχήμα 5.36: Περιβάλλον 1 - Αξιολόγηση: Κατανομή Χρόνου Εκτέλεσης