ΑΝΑΓΝΩΡΙΣΗ ΑΝΤΙΚΕΙΜΕΝΩΝ ΜΕ ΤΕΧΝΗΤΗ ΟΡΑΣΗ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΗΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΑΝΑΓΝΩΡΙΣΗ ΑΝΤΙΚΕΙΜΕΝΩΝ ΜΕ ΤΕΧΝΗΤΗ ΟΡΑΣΗ Εκπόνηση Κιάτος Μάριος Επιβλ. Καθηγήτρια Ζωή Δουλγέρη Θεσσαλονίκη Δεκέμβριος 2015

2

3 Ευχαριστίες Ολοκληρώνοντας την παρούσα Διπλωματική Εργασία, θα ήθελα πρωτίστως να ευχαριστήσω την Καθηγήτρια κα. Ζωή Δουλγέρη που μου έδωσε την ευκαιρία να ασχοληθώ με το αντικείμενο της ρομποτικής σε πρακτικό επίπεδο, παρέχοντας τον κατάλληλο εξοπλισμό, τις συμβουλές και την καθοδήγηση, ώστε να καταπιαστώ με πρακτικά προβλήματα του πραγματικού κόσμου στον τομέα αυτό. Επίσης, θερμές ευχαριστίες οφείλω να αποδώσω στον συνεργάτη έρευνας κ. Ανδρέα Δουμάνογλου. Οι πολύτιμες συμβουλές του, καθώς και η συνεπέστατη καθοδήγηση του, ήταν βασικοί παράγοντες ώστε να έλθει σε πέρας η διπλωματική αυτή. Ακόμη, θα ήθελα να ευχαριστήσω τον υποψήφιο διδάκτορα του τμήματος Δημήτρη Παπαγεωργίου, για την συνεργασία και τον χρόνο που αφιέρωσε βοηθώντας στην διεκπεραίωση αυτής της εργασίας. Τέλος, θα ήθελα να ευχαριστήσω την οικογένεια μου, διότι χωρίς την ψυχολογική και οικονομική της στήριξη δεν θα είχα καταφέρει να ολοκληρώσω τις σπουδές μου. Κιάτος Μάριος Θεσσαλονίκη, Δεκέμβριος 2015

4

5 Περίληψη Η παρούσα διπλωματική εργασία στοχεύει στην ανάπτυξη ενός συστήματος αναγνώρισης αντικειμένων το οποίο αξιοποιεί τις πρόσθετες πληροφορίες ανίχνευσης και βαθμονόμησης που παρέχονται από ένα ρομποτικό σύστημα σε συνδυασμό με ένα μεγάλο αριθμό δεδομένων εκπαίδευσης για τη δημιουργία υψηλής πιστότητας μοντέλων για ένα σύνολο οικιακών αντικειμένων με υφή. Θα παρουσιάσουμε πως αυτά τα μοντέλα μπορούν να χρησιμοποιηθούν για εξαιρετικά ακριβή ανίχνευση και εντοπισμό αντικειμένων σε ένα σύστημα ρομποτικής αντίληψης, που ενσωματώνει ταυτόχρονα κατάτμηση της εικόνας, ταξινόμηση αντικειμένων και εύρεση της πόζας. Το σύστημα μπορεί να χειριστεί επικαλύψεις αντικειμένων, αλλαγές στις συνθήκες φωτισμού, πολλαπλά αντικείμενα και πολλές εμφανίσεις του ίδιου αντικειμένου.

6

7 Abstract This diploma thesis aims to develop an object recognition system that leverages the additional sensing and calibration information provided by a robotic system combined with a large number of training data to create high-fidelity models for an entire household objects with texture. We will present how these models can be used for highly sensitive detection and identification of objects in a robotics perception system, incorporating both the image segmentation, classification items and finding the pose. The system can handle objects occlusions, changes in lighting conditions, multiple objects and multiple instances of the same object.

8 Περιεχόμενα 1 Εισαγωγή Σκοπός διπλωματικής εργασίας Δομή διπλωματικής εργασίας Επισκόπηση τεχνικών αναγνώρισης αντικειμένων Αναγνώριση μεμονωμένων αντικειμένων μέσω μοντέλων και αντιστοίχισης Αναγνώριση αντικειμένων με τεχνικές αναγνώρισης προτύπων και νευρωνικών δικτύων Αναγνώριση αντικειμένων με τμηματικές αναπαραστάσεις Αναγνώριση αντικειμένων με παραμορφώσιμα μοντέλα Τεχνικές που θα χρησιμοποιηθούν στην διπλωματική Αισθητήρες βάθους Στερεοσκοπικές κάμερες Time of flight To δομημένο φως - Structured light Δισδιάστατη ανάλυση Τρισδιάστατη Ανάλυση Asus Xtion Pro Live Διαδικασία εκπαίδευσης Συλλογή δεδομένων Εκτίμηση πόζας αντικειμένου Δημιουργία τρισδιάστατου μοντέλου πλέγματος Εξαγωγή μάσκας Εξαγωγή χαρακτηριστικών γνωρισμάτων του αντικειμένου Αναγνώριση και εντοπισμός αντικειμένων Κατάτμηση Εικόνας... 33

9 5.2 Ταξινόμηση αντικειμένων Ανάκτηση πόζας Γεωμετρική επαλήθευση πόζας Έλεγχος συνοχής της σκηνής Συγχώνευση υποθέσεων Σύνοψη διαδικασίας Πειράματα O ρομποτικός βραχίονας KUKA LWR Το ρομποτικό χέρι BarrettHand Βαθμονόμηση βραχίονα-τεχνητής όρασης Software Στρατηγική προσέγγισης και λαβής αντικειμένων Πειραματικά αποτελέσματα και αξιολόγηση Βιβλιογραφία... 57

10 1 Εισαγωγή 1.1 Σκοπός διπλωματικής εργασίας H αναγνώριση αντικειμένων σε μη δομημένες σκηνές αποτελεί πρόκληση για τον τομέα της τεχνητής όρασης. Μια σημαντική εφαρμογή της τεχνητής όρασης εντοπίζεται στην ρομποτική, όπου η ικανότητα για γρήγορη και ακριβή αναγνώριση αντικειμένων, τα οποία μας ενδιαφέρουν, είναι ζωτικής σημασίας για την εκτέλεση καθηκόντων σε καθημερινές σκηνές, όπως τα νοικοκυριά και τα γραφεία. Αυτό το πρόβλημα αντίληψης στην ρομποτική έχει ορισμένα μοναδικά χαρακτηριστικά που το διαφοροποιούν από όλα τα υπόλοιπα προβλήματα της τεχνητής όρασης. Ένα σύστημα αναγνώρισης αντικειμένων πρέπει να είναι σε θέση να διαχειρίζεται έναν μεγάλο αριθμό διαφορετικών αντικειμένων. Ένας τρόπος αντιμετώπισης αυτού του προβλήματος είναι με την εισαγωγή ιεραρχίας στα αντικείμενα. Πιο συγκεκριμένα, γίνεται αναγνώριση κατηγοριών αντί για αναγνώριση μεμονωμένων αντικειμένων. Η προσέγγιση αυτή παραμένει ένα δύσκολο πρόβλημα, αν και υπάρχουν ορισμένες προτεινόμενες λύσεις. Αντίθετα, ένα ρομπότ που βρίσκεται σε ένα συγκεκριμένο περιβάλλον έχει να διαχειριστεί έναν σχετικά μικρό αριθμό αντικειμένων. Για αυτό το λόγο, γίνεται αναγνώριση μεμονωμένων αντικειμένων, συλλέγοντας έναν μεγάλο αριθμό δεδομένων για κάθε αντικείμενο. Η συλλογή των δεδομένων γίνεται με την χρήση διαφόρων αισθητηρίων, όπως κάμερες και αισθητήρες βάθους. Τα πραγματικά περιβάλλοντα περιέχουν αρκετά αντικείμενα τα οποία ενδέχεται να αποκρύπτονται. Τα ρομπότ συχνά πρέπει να αποφύγουν ή να χειριστούν αντικείμενα. Αυτό σημαίνει ότι ένα ρομποτικό σύστημα αντίληψης πρέπει αρχικά να αναγνωρίζει τα αντικείμενα και στη συνέχεια να εντοπίζει την θέση τους στον χώρο. Επιπρόσθετα, ένα ρομπότ που αντιδρά γρήγορα στις μεταβολές του περιβάλλοντος, πρέπει να έχει σύστημα αντίληψης που λειτουργεί σε σχεδόν πραγματικό χρόνο. Στα πλαίσια αυτής της διπλωματικής εργασίας θα παρουσιάσουμε μια προσέγγιση για αναγνώριση και εντοπισμό της θέσης μεμονωμένων αντικειμένων σε καθημερινές περίπλοκες σκηνές χρησιμοποιώντας έγχρωμες εικόνες και πληροφορίες για το βάθος τους. 1.2 Δομή διπλωματικής εργασίας Στο Κεφάλαιο 2 γίνεται μια επισκόπηση των βασικών τεχνικών αναγνώρισης αντικειμένων. Στο Κεφάλαιο 3 περιγράφονται οι αισθητήρες βάθους και οι τεχνικές απεικόνισης βάσει των οποίων ταξινομούνται. Δίνεται έμφαση στην τεχνική του δομημένου φωτός, στην οποία ανήκει ο αισθητήρας Asus Xtion Live Pro με τον οποίο λαμβάνουμε δεδομένα που χρησιμοποιούνται από το σύστημα αναγνώρισης αντικειμένων που υλοποιήθηκε.

11 Στο Κεφάλαιο 4 περιγράφεται η διαδικασίας εκπαίδευσης του συστήματος. Γίνεται μια ανάλυση όλων των βημάτων που απαιτούνται για την εξαγωγή των χαρακτηριστικών γνωρισμάτων και την δημιουργία των αντίστοιχων 3Δ μοντέλων. Στο Κεφάλαιο 5 αναλύεται η διαδικασία αναγνώρισης αντικειμένων. Πιο συγκεκριμένα, περιγράφουμε τα στάδια που χρειάζονται για την αναγνώριση και τον εντοπισμό των αντικειμένων στον χώρο. Στο Κεφάλαιο 6 γίνεται μια παρουσίαση των πειραμάτων που πραγματοποιήθηκαν. Επίσης, γίνεται μια αναφορά στον ρομποτικό βραχίονα KUKA LWR+4 και στο ρομποτικό χέρι BarrettHand. Τέλος, κάνουμε μια αξιολόγηση του συστήματος που αναπτύχθηκε με βάση τα πειράματα που έγιναν. 2

12 2 Επισκόπηση τεχνικών αναγνώρισης αντικειμένων Τις δύο πρώτες δεκαετίες της έρευνας πάνω στο πεδίο της αναγνώρισης αντικειμένων [1] υπήρχαν δύο κυρίαρχα ρεύματα, αντίστοιχα της άνωθεν (bottom-up) και της κάτωθεν (top-down) προσέγγιση της όρασης. Τα κάτωθεν μοντέλα θεωρούν ότι μια εικόνα μπορεί να αναλυθεί σε πρωτογενή σχήματα (κύλινδροι, σφαίρες) και αναζητούν τρόπους για την σύνδεση των ανιχνεύσιμων σχημάτων μέσω περιπλοκότερων μοντέλων για τα αντικείμενα. Τα άνωθεν μοντέλα χρησιμοποιώντας τρισδιάστατες αναπαραστάσεις των αντικειμένων, ανάγουν το πρόβλημα της αναγνώρισης στην εκτίμηση των παραμέτρων της προβολής του μοντέλου στην εικόνα. Στις αρχές της προηγούμενης δεκαετίας, καθώς οι περιορισμοί των παραπάνω προσεγγίσεων έγιναν αντιληπτοί, ξεκίνησαν οι πρώτες προσπάθειες αφενός για να ληφθεί υπόψη η ποικιλία της εμφάνισης που ενδέχεται να παρουσιάζουν τα αντικείμενα μια κατηγορίας και αφετέρου για την κατασκευή τέτοιων μοντέλων με μικρότερη ανθρώπινη παρέμβαση. Σύντομα η αναγνώριση αντικειμένων στράφηκε προς τα στατιστικά μοντέλα για αναπαράσταση αντικειμένων, αντίστοιχα αυτών που έχουν επικρατήσει στην τεχνολογία φωνής και τεχνικές εκμάθησης μηχανών για την αυτόματη κατασκευή τους από δεδομένα εκπαίδευσης. Οι τεχνικές αναγνώρισης αντικειμένων μπορούν να ταξινομηθούν βάση του εύρους του προβλήματος που καλύπτουν, των μοντέλων των αντικειμένων που χρησιμοποιούν και των αλγοριθμικών τεχνικών στις οποίες βασίζονται. 2.1 Αναγνώριση μεμονωμένων αντικειμένων μέσω μοντέλων και αντιστοίχισης Βάση αυτής της προσέγγισης, τα αντικείμενα που βρίσκονται σε μια δισδιάστατη εικόνα αναγνωρίζονται χρησιμοποιώντας αποθηκευμένες αναπαραστάσεις τρισδιάστατων αντικειμένων ή συνδυασμούς δισδιάστατων όψεων (Σχήμα 2.1). Οι βασικές συνιστώσες του προβλήματος είναι η κατασκευή των αναπαραστάσεων, η παραγωγή ενός περιορισμένου πλήθους υποθέσεων δεδομένης μια εικόνας και η εκτίμηση της πιστότητας των παρατηρήσεων στις προβλέψεις του μοντέλου. Για την αναζήτηση της θέσης του αντικειμένου μπορούν να χρησιμοποιηθούν άνωθεν τεχνικές pruning για να περιορίσουν τις δυνατές ερμηνείες των παρατηρήσεων βάσει των περιορισμών που εισάγει η γεωμετρία του αντικειμένου, ή κάτωθεν τεχνικές όπως ο μετασχηματισμός Hough [18], όπου ένα σύνολο από σημεία ενδιαφέροντος ψηφίζει για τις δυνατές θέσεις του αντικειμένου. Έχοντας κάποιες υποψήφιες τοποθεσίες, η εκτίμηση της πιστότητας των παρατηρήσεων επιτυγχάνεται βάσει κάποιου κατάλληλου μέτρου της απόστασης μεταξύ των χαρακτηριστικών παρατηρήσεων και του μοντέλου. 3

13 Αν και οι προσεγγίσεις αυτές έχουν δώσει ικανοποιητικά αποτελέσματα σε πρακτικές εφαρμογές (π.χ. επισκόπηση εξαρτημάτων σε βιομηχανικές γραμμές συναρμολόγησης, ανάκληση αντικειμένων από μια βάση δεδομένων), το πεδίο των εφαρμογών τους είναι περιορισμένο σε συγκεκριμένα αντικείμενα αντί για κατηγορίες αντικειμένων. Όμως, η εμπειρία που έχει συσσωρευτεί έχει αποδειχθεί ωφέλιμη για την διατύπωση και επίλυση νέων προβλημάτων που προκύπτουν σε σύγχρονες τεχνικές αναγνώρισης αντικειμένων. [2] Σχήμα 2.1: Αναγνώριση αντικειμένων μέσω αντιστοίχισης μοντέλων 2.2 Αναγνώριση αντικειμένων με τεχνικές αναγνώρισης προτύπων και νευρωνικών δικτύων Οι τεχνικές αυτές ξεκίνησαν από την έρευνα στον χώρο των νευρωνικών δικτύων, όπου το πρόβλημα της ανίχνευσης αντιμετωπίζεται μέσω της παράλληλης κατανεμημένης επεξεργασίας της πληροφορίας. Ξεκινώντας από την εξαγωγή ενός συνόλου χαρακτηριστικών, τα οποία είναι αναλλοίωτα ως προς ανεπιθύμητες πηγές ποικιλίας στην εμφάνιση, όπως φωτισμός, η ανίχνευση ενός αντικειμένου, εκφράζεται ως ένα πρόβλημα αναγνώρισης προτύπων. Με άλλα λόγια, δεδομένου ενός συνόλου χαρακτηριστικών μέσα στο εξεταζόμενο παράθυρο, ζητείται να ληφθεί απόφαση για το εάν υπάρχει ένα αντικείμενο. Τα προβλήματα που καλούνται να αντιμετωπίσουν τέτοιες τεχνικές, αφορούν την εξαγωγή κατάλληλων χαρακτηριστικών για τα αντικείμενα, την αποδοτική υλοποίηση των αλγορίθμων ανίχνευσης καθώς και όλα τα προβλήματα του πεδίου της αναγνώρισης προτύπων. Ένα βασικό πλεονέκτημα αυτών των μεθόδων είναι η ταχύτητα με την οποία μπορεί να γίνει η διαδικασία της ανίχνευσης. Ωστόσο υπάρχουν δύο κύρια προβλήματα. Το βασικότερο είναι ότι για την εκμάθηση τους χρειάζεται συνήθως ένα σύνολο εκπαίδευσης της τάξης των μερικών χιλιάδων εικόνων, καθώς περιλαμβάνεται ένα μεγάλο πλήθος παραμέτρων που πρέπει να εκμαθευτούν. Αντίθετα, εμείς ως άνθρωποι αρκούμαστε σε μια εικόνα για να επιτύχουμε ικανοποιητικά αποτελέσματα. Επίσης μια τέτοια προσέγγιση δεν είναι εύκολο να αντιμετωπίσει επικαλύψεις με άλλα αντικείμενα και γενικότερα προβλήματα που δεν συμπεριλαμβάνονται στο σύνολο εκπαίδευσης. [2] 4

14 2.3 Αναγνώριση αντικειμένων με τμηματικές αναπαραστάσεις Τα μοντέλα που ανήκουν στην κατηγορία των τμηματικών ταξινομητών βασίζουν την ανίχνευση των αντικειμένων τους στην ανίχνευση χαρακτηριστικών σημείων των αντικειμένων (Σχήμα 2.2). Θεωρείται εύκολο να χρησιμοποιηθεί στατιστική πληροφορία για τη χωρική διάταξη των τμημάτων, ώστε να εισαχθεί και η γεωμετρική γνώση στη διαδικασία ανίχνευσης. Η προσέγγιση αυτή συνδυάζει την αποδοτικότητα του κάτωθεν μοντέλου της όρασης, στο οποίο από επιμέρους τμήματα αναγνωρίζονται περιπλοκότερα αντικείμενα, με τους περιορισμούς που εισάγει η πρότερη γνώση των άνωθεν μοντέλων απλοποιώντας την αναζήτηση σε συνδυασμούς που θα μπορούσαν να έχουν προκύψει από το αντικείμενο. Το βασικό της μειονέκτημα είναι ότι αντί για το αντικείμενο καθαυτό, μοντελοποιούνται τα τμήματα του και οι αλληλεξαρτήσεις τους που θεωρούνται χρήσιμες για την ανίχνευση τους, παρέχοντας έτσι ένα μοντέλο περιορισμένων δυνατοτήτων για άλλες λειτουργίες, όπως για παράδειγμα την αναγνώριση της ταυτότητας ενός αντικειμένου. [2] Σχήμα 2.2: Αναγνώριση αντικειμένων μέσω τμηματικών αναπαραστάσεων 2.4 Αναγνώριση αντικειμένων με παραμορφώσιμα μοντέλα Αυτή η προσέγγιση βασίζεται στην χρήση ενός παραμετρικού μοντέλου των παραμορφώσεων της εμφάνισης και γεωμετρίας ενός πρωτότυπου αντικειμένου, το οποίο καλύπτει όλη την ποικιλία που χαρακτηρίζει μια κατηγορία αντικειμένων (Σχήμα 2.3). Δεδομένης μιας νέας εικόνα και μιας αρχικοποίησης, το πρόβλημα αναγνώρισης ανάγεται στην μεταβολή των παραμέτρων του μοντέλου ώστε αυτό να αναπαράγει τις παρατηρήσεις. Οι δύο βασικές συνιστώσες της προσέγγισης αυτής είναι η μοντελοποίηση της παραμόρφωσης και η εκτίμηση των παραμέτρων των μοντέλων. Ως πρώτες 5

15 προσπάθειες στην κατεύθυνση της μοντελοποίησης της παραμόρφωσης του σχήματος μπορούν να θεωρηθούν αφενός οι τεχνικές όπως τα παραμορφώσιμα πρότυπα (Deformable Templates) αφετέρου η αναγνώριση μέσω συνδυασμού των όψεων. Τα μοντέλα αυτά θεωρούν ότι οι παρατηρήσεις που προέρχονται από το αντικείμενο μπορούν να μοντελοποιηθούν από την χωρική παραμόρφωση του αντικειμένου ακολουθούμενη από την παραμόρφωση της φωτεινότητας του. Το βασικό πρόβλημα με αυτά τα μοντέλα είναι ότι καθώς χρησιμοποιείται ένας επαναληπτικός αλγόριθμος δεν είναι εφικτό να ερευνήσει κανείς όλες τις θέσεις, κλίμακες της εικόνας. Συνεπώς, τέτοιες μέθοδοι δεν είναι κατάλληλες για την εξαρχής ανίχνευση αντικειμένων, αλλά μπορούν να χρησιμοποιηθούν για την λήψη της τελικής απόφασης. Για αυτό χρησιμοποιούνται κυρίως για αναγνώριση αντικειμένων θεωρώντας γνωστό ότι στη θέση που αρχικοποιούνται υπάρχει ένα αντικείμενο μίας συγκεκριμένης κατηγορίας. Μια άλλη εφαρμογή τους είναι η παρακολούθηση των αντικειμένων (tracking) κατά την οποία χρησιμοποιείται η πρόβλεψη βάσει της προηγούμενη θέσης του μοντέλου για να ξεκινήσει η αναζήτηση της τρέχουσας. [2] Σχήμα 2.3: Αναγνώριση μέσω παραμορφώσιμων μοντέλων των αντικειμένων 2.5 Τεχνικές που θα χρησιμοποιηθούν στην διπλωματική Στην παρούσα εργασία θα χρησιμοποιηθούν τεχνικές αναγνώρισης μεμονωμένων αντικειμένων μέσω μοντέλων και αντιστοιχίσεων. Πιο συγκεκριμένα, θα κάνουμε χρήση ενός 3Δ μοντέλου πλέγματος για κάθε αντικείμενο σε συνδυασμό με ένα σύνολο χαρακτηριστικών γνωρισμάτων που εξάγονται από τοπικούς περιγραφείς της εικόνας. Για τον προσδιορισμό της θέσης θα κάνουμε χρήση των δεδομένων του 3Δ μοντέλο πλέγματος σε συνδυασμό με τα χαρακτηριστικά γνωρίσματα που έχουμε για το κάθε αντικείμενο. 6

16 3 Αισθητήρες βάθους Στον τομέα της τεχνητής όρασης, σε αρκετές περιπτώσεις η τρισδιάστατη απεικόνιση αντικειμένων βασίζεται σε σύνολα σημείων για την εξαγωγή των απαραίτητων πληροφοριών. Βάσει αυτών των πληροφοριών και με χρήση κατάλληλων αλγορίθμων, μας δίνεται η δυνατότητα για την αναπαραγωγή του φυσικού αντικειμένου σε ένα ψηφιακό τρισδιάστατο επίπεδο. Τα σημεία τα οποία σχετίζονται με το συγκεκριμένο μοντέλο προσδιορίζονται ως προς το σύστημα αξόνων του αισθητηρίου που χρησιμοποιείται. Οι συντεταγμένες των σημείων που σχετίζονται με ένα μοντέλο, περιλαμβάνονται σε μια οντότητα η οποία ονομάζεται νέφος σημείων (point cloud). Στο νέφος σημείων περιέχονται όλες οι συντεταγμένες οι οποίες βοηθούν στην αναπαράσταση της εξωτερικής επιφάνειας ενός τρισδιάστατου αντικειμένου. Βιομηχανίες, όπως η κατασκευαστική, χρησιμοποιεί το νέφος σημείων για αντίστροφη μηχανική, διασφάλιση της ποιότητας, παραμετροποίηση και σχεδίαση προϊόντων. Χρησιμοποιώντας υπολογιστικές τεχνικές (computer-aided design - CAD), μπορούμε να σαρώσουμε και να αναλύσουμε την ακρίβεια ή την τυποποίηση ενός φυσικού αντικειμένου. Στην ιατρική τεχνολογία, και πιο συγκεκριμένα στην ιατρική απεικόνιση χρησιμοποιούνται τα νέφη σημείων, π.χ. στην τρισδιάστατη αξονική τομογραφία (CAT) για την συμπίεση δεδομένων και την μετατροπή τους σε τρισδιάστατα υπολογιστικά μοντέλα. Η τρισδιάστατη ανακατασκευή ενός αντικειμένου δεν είναι η μόνη χρήση του νέφος σημείων. Όταν συλλέγουμε πληροφορίες για την επιφάνεια ενός αντικειμένου, μπορούμε να αποθηκεύσουμε επιπλέον πληροφορίες στο νέφος σημείων όπως το χρώμα της επιφάνειας, την υφή της, κλπ, με αποτέλεσμα την δημιουργία ενός νέφους σημείων μεγαλύτερης διάστασης. Αυτή η επιπρόσθετη πληροφορία επιτρέπει στον χρήστη να έχει μεγαλύτερη ευελιξία στην επεξεργασία των ανακατασκευασμένων εικόνων και επιφανειών. Η ανακατασκευασμένη επιφάνεια που περιέχει και την πληροφορία του χρώματος, δίνει μια πιο ρεαλιστική αναπαράσταση του αντικειμένου στον τρισδιάστατο ψηφιακό χώρο. Για τον σχηματισμό των εικόνων βάθους χρησιμοποιούνται διάφοροι αισθητήρες, οι οποίοι παρέχουν πληροφορία σχετικά με την απόσταση των σημείων ενός αντικειμένου από την κάμερα. Η απεικόνιση βάθους είναι η διαδικασία κατά την οποία σχηματίζεται μια εικόνα στην οποία το χαρακτηριστικό που μας ενδιαφέρει είναι η απόσταση των σημείων από την κάμερα. Πρέπει να αναφέρουμε ότι στην απεικόνιση βάθους, η τιμή του κάθε εικονοστοιχείου είναι η απόσταση του σημείου του αντικειμένου που αντιπροσωπεύεται από το συγκεκριμένο εικονοστοιχείο σε σχέση με το σύστημα λήψης της απεικόνισης. Ο τρόπος σχηματισμού αυτών των εικόνων είναι ένα κριτήριο για τον διαχωρισμό των τεχνικών απόκτησης δεδομένων βάθους. Ανάλογα με την τεχνική που χρησιμοποιείται για τον σχηματισμό των εικόνων βάθους υπάρχουν διάφοροι αισθητήρες που χωρίζονται στις παρακάτω κατηγορίες. 7

17 3.1 Στερεοσκοπικές κάμερες Οι στερεοσκοπικές κάμερες (Σχήμα 3.1) βασίζονται στον τρόπο που λειτουργεί η ανθρώπινη όραση. Αποτελούνται από δύο ολόιδιους αισθητήρες RGB που βρίσκονται συνήθως σε απόσταση μερικών εκατοστών μεταξύ τους και λαμβάνουν ελαφρώς διαφορετικές εικόνες, δηλαδή οι οπτικοί φακοί των αισθητηρίων παρατηρούν τον χώρο από δύο διαφορετικές οπτικές γωνίες. Επεξεργάζοντας τις διαφορές μεταξύ των εικόνων είναι δυνατόν να υπολογιστούν οι αποστάσεις των σημείων του χώρου από την κάμερα. Πιο συγκεκριμένα, εφαρμόζεται η μέθοδος του τριγωνισμού στα ζεύγη εικόνων που παράγονται. Τέτοιες κάμερες απαιτούν άριστη βαθμονόμηση (calibration) και επίσης πολύ καλό φωτισμένο περιβάλλον. Όταν τα αντικείμενα προς εξέταση έχουν απλή υφή ή η σκηνή δεν περιέχει πολλά αντικείμενα ο αλγόριθμος αδυνατεί να βρει σημεία ενδιαφέροντος και αντιστοιχίες μεταξύ των σημείων των δύο εικόνων, δίνοντας έτσι λανθασμένα αποτελέσματα. Αυτές οι αιτίες κάνουν τις στερεοσκοπικές κάμερες λιγότερο ακριβείς στον σχηματισμό εικόνων βάθους. [3] Σχήμα 3.1: Παράδειγμα στερεοσκοπικής κάμερας 3.2 Time of flight H βασική ιδέα πίσω από αυτήν την τεχνική απεικόνισης βάθους είναι ο χρόνος που χρειάζεται μια δέσμη φωτός ή ένας παλμός να διανύσει μια άγνωστη απόσταση. Συσκευές που κάνουν χρήση αυτής της τεχνικής, εκπέμπουν ένα κύμα φωτός, ορατό ή μη, το οποίο ανακλάται από το αντικείμενο και στην συνέχεια το ανακλώμενο κύμα ανιχνεύεται από τον αισθητήρα. Στην πράξη μετριέται η διαφορά φάσης μεταξύ των δύο κυμάτων και από αυτήν μπορεί να υπολογιστεί ο χρόνος t σύμφωνα με την σχέση (Σχήμα 3.2): t = Δφ 2πf Από την στιγμή που η ταχύτητα του φωτός c είναι μια γνωστή σταθερά η απόσταση του αντικειμένου, στο οποίο ανακλάστηκε το κύμα, από το σύστημα υπολογίζεται ως εξής [4]: d = c Δφ 2 2πf 8

18 Σχήμα 3.2: Σχηματική αναπαράσταση της μέτρησης του βάθους με την τεχνική time of flight Τέτοιοι αισθητήρες δεν επηρεάζονται από τις συνθήκες φωτισμού και δίνουν πολύ ακριβείς μετρήσεις. Το Microsoft Kinect 2 (Σχήμα 3.3) είναι ένα παράδειγμα ενός τέτοιου αισθητήρα. Σχήμα 3.3: Microsoft Kinect To δομημένο φως - Structured light H απεικόνιση του βάθους με δομημένο φως είναι μια παραλλαγή της στερεοσκοπικής μεθόδου. Η διαφορά με την στερεοσκοπική μέθοδο, που χρησιμοποιεί δύο κάμερες, είναι ότι αυτή βασίζεται στην εκπομπή φωτός με ένα συγκεκριμένο πρότυπο. Πιο συγκεκριμένα, ένα πολύ καλά καθορισμένο πρότυπο (πλέγμα, κουκίδες ή οριζόντιες γραμμές) προβάλλεται πάνω στην σκηνή από μια θέση, και στη συνέχεια απεικονίζεται σε μια άλλη γνωστή θέση. Το πρότυπο αυτό όταν παρατηρείται από άλλη οπτική γωνία, διάφορη του προβολέα εμφανίζεται παραμορφωμένο. Αναλύοντας την παραμόρφωση μπορεί να αποκτηθεί η απόσταση των σημείων του αντικειμένου από την κάμερα επιστρέφοντας ένα σύνολο από σημεία με συντεταγμένες (x, y, z) ή αλλιώς ένα νέφος σημείων στον τρισδιάστατο χώρο. Ο φωτισμός μπορεί να είναι ορατό ή υπέρυθρο φως, ενώ το πρότυπο προβολής είναι συνήθως ένα πλέγμα που για το ορατό φως είναι ένα δίχρωμος τύπος σκακιέρας. Το μαθηματικό μοντέλο υπολογισμού της απόστασης της συγκεκριμένης τεχνικής αναλύεται σε δύο και τρεις διαστάσεις όπως παρουσιάζεται παρακάτω: 9

19 3.3.1 Δισδιάστατη ανάλυση Το σύστημα σε δύο διαστάσεις έχει την διάταξη που φαίνεται στο Σχήμα 3.4: Σχήμα 3.4: Σχηματική αναπαράσταση του τρόπου μέτρησης βάθους στην μέθοδο structured light στο 2d χώρο Η κάμερα βρίσκεται στο σημείο Ο, η πηγή φωτός στο σημείο L και το σημείο παρατήρησης είναι το σημείο Ρ. Η απόσταση μεταξύ της πηγής και της κάμερας είναι σταθερή και γνωστή με b. Επίσης, γνωρίζουμε και την γωνία a. Συνεπώς, η γωνία β μπορεί να υπολογιστεί με χρήση της προβολικής γεωμετρίας. Αναλύοντας το τρίγωνο OLP, η απόσταση d του σημείου P = (Χ ο, Ζ ο ) από την κάμερα μπορεί να υπολογιστεί από τον νόμο τον ημιτόνων ως εξής: d sina = b sinγ όπου γ = π (α + β) => sin(π γ) = sinγ και καταλήγουμε στην: Συνεπώς η απόσταση d είναι: d sina = b sin (π γ) = d = b sina sin (a + β) b sin (a + β) Τελικά από την απόσταση d προκύπτει η θέση του σημείου P με συντεταγμένες: Χ ο = d cosβ Ζ ο = h = d sinβ O άξονας Z συμπίπτει με τον οπτικό άξονα της κάμερας και το επίπεδο της εικόνας βρίσκεται στο Ζ = h. Έτσι η απόσταση μπορεί να καθοριστεί από την γωνία β. [5] 10

20 3.3.2 Τρισδιάστατη Ανάλυση Στη γενική περίπτωση του τρισδιάστατου χώρου έχουμε την διάταξη του Σχήματος 3.5: Σχήμα 3.5: Σχηματική αναπαράσταση του τρόπου μέτρησης βάθους στην μέθοδο structured light στο 3d χώρο Η κάμερα βρίσκεται στο σημείο Ο και έχει σύστημα συντεταγμένων ΧΥΖ. Το επίπεδο εικόνας είναι το επίπεδο Ζ = f. Η απόσταση b και η γωνία α είναι γνωστά. Το σημείο του αντικειμένου P = (X o, Y o, Z o ) προβάλλεται στο σημείο p(x, y) στο επίπεδο της εικόνας. Ο άξονας της κάμερας είναι ο άξονας Z και το οπτικό κέντρο της πηγής φωτός είναι στον άξονα Y. Οι γωνίες α και γ καθορίζουν την διεύθυνση της ακτίνας φωτός στον τρισδιάστατο χώρο. Με βάση τα όμοια τρίγωνα στον τρισδιάστατο χώρο και στο επίπεδο της εικόνας έχουμε: Από τα ορθογώνια τρίγωνα: και επομένως προκύπτει: X o x = Y o y = Z o f Z o tan a = b Y o Ζ ο = Y ο y f = (b Y o) tan a Y o ( f + tan a) = b tan a y Τέλος, η θέση του σημείου προσδιορίζεται από τις παρακάτω συντεταγμένες: 11

21 Χ ο = Y ο = Z ο = b x tan a f + y tan a b y tan a f + y tan a b f tan a f + y tan a Παρατηρούμε ότι η γωνία γ δεν παίζει ρόλο στον υπολογισμό του σημείου Ρ, καθώς υποθέσαμε ότι η δέσμη φωτός είναι επίπεδη όταν υπολογίσαμε το σημείο Ρ. [5] 3.4 Asus Xtion Pro Live Το Asus Xtion Live Pro (Σχήμα 3.6) είναι ένας αισθητήρας βάθους ο οποίος βασίζεται στην τεχνική του δομημένου φωτός και λαμβάνει εικόνες βάθους και χρώματος. Ο αισθητήρας αυτός αποτελείται από δύο τμήματα. Το μηχανικό κομμάτι που είναι η βάση του και διαθέτει έναν μηχανισμό που επιτρέπει στο Xtion να αλλάζει οριζόντια την κλίση του. Το τμήμα αυτό στηρίζει το κυρίως κομμάτι του αισθητήρα στο οποίο βρίσκονται οι αισθητήρες και οι κάμερες. Πιο αναλυτικά, περιέχει: RGB κάμερα Πομπό υπέρυθρων (IR emitter) Υπέρυθρο αισθητήρα βάθους Μια σειρά από μικρόφωνα Σχήμα 3.6: Asus Xtion Live Pro Στη συνέχεια θα αναλύσουμε τα μέρη του αισθητήρα Xtion που μας ενδιαφέρουν για την οπτική λήψη δεδομένων και αναπαράσταση και όχι για την ακουστική. H έγχρωμη κάμερα είναι υπεύθυνη για την λήψη των έγχρωμων δεδομένων. Η λειτουργία της βασίζεται στον εντοπισμό των τριών βασικών χρωμάτων, του κόκκινου, του πράσινου και του μπλε. Η ροή δεδομένων που μεταδίδεται από την RGB κάμερα έχει μια διαδοχή από καρέ της εικόνας. Πιο αναλυτικά, έχει την δυνατότητα λήψης 30 καρέ το δευτερόλεπτο με ανάλυση εικόνας 640x480 εικονοστοιχεία, ή 60 καρέ το δευτερόλεπτο με ανάλυση εικόνας 320x240 εικονοστοιχεία. Αυτό σημαίνει ότι ο μέγιστος αριθμός των σημείων για τον οποίο μπορεί να υπολογιστεί η απόσταση τους από την 12

22 κάμερα είναι Το οπτικό πεδίο της έγχρωμης κάμερας είναι 58 οριζόντια και 45 κάθετα. Η χειροκίνητη αλλαγή της κλίσης της βάσης μπορεί να φτάσει μέχρι και τις 90. H πηγή laser (IR emitter) εκπέμπει μια δέσμη φωτός η οποία χωρίζεται σε πολλαπλές δέσμες μέσω του φαινομένου της περίθλασης για να προβάλλει ένα προκαθορισμένο μοτίβο από σημεία πάνω στην σκηνή. Αυτό το μοτίβο συλλαμβάνεται από τον υπέρυθρο αισθητήρα βάθους και συσχετίζεται έναντι ενός προτύπου αναφοράς. Το πρότυπο αναφοράς αποκτάται από την απεικόνιση του χώρου σε μια γνωστή απόσταση από τον αισθητήρα και αποθηκεύεται στην μνήμη του αισθητήρα. Όταν ένα σημείο προβάλλεται σε ένα αντικείμενο της σκηνής, η απόσταση του οποίου από τον αισθητήρα είναι μικρότερη ή μεγαλύτερη από την απόσταση του επιπέδου αναφοράς, η θέση του προβαλλόμενου σημείου στην υπέρυθρη εικόνα θα μετακινηθεί στην διεύθυνση προς την νοητή γραμμή που ενώνει την θέση της κάμερας με την θέση της πηγής υπέρυθρων. Τέλος, πρέπει να σημειώσουμε ότι το εύρος λειτουργίας του πομπού υπέρυθρων είναι από 0.8 μέτρα μέχρι 3.5 μέτρα. 13

23 4 Διαδικασία εκπαίδευσης Η εκπαίδευση του συστήματος αναγνώρισης αντικειμένων αποτελείται από τα παρακάτω στάδια: Συλλογή δεδομένων. Στο στάδιο αυτό συλλέγουμε δεδομένα του αντικειμένου με σκοπό την επεξεργασία τους σε επόμενα στάδια. Εκτίμηση της πόζας αντικειμένου, δηλαδή εύρεση της θέσης και του προσανατολισμού του αντικειμένου στο 3Δ χώρο. Δημιουργία του 3Δ μοντέλου πλέγματος και του συνολικού νέφους σημείων του αντικειμένου. Εξαγωγή της μάσκας του αντικειμένου για κάθε όψη. Εξαγωγή χαρακτηριστικών γνωρισμάτων και δημιουργία ενός τρισδιάστατου μοντέλου χαρακτηριστικών γνωρισμάτων. 4.1 Συλλογή δεδομένων Για κάθε αντικείμενο τα δεδομένα που χρησιμοποιήσαμε κατά την διαδικασία της εκπαίδευσης είναι το βάθος και η χρωματική πληροφορία από πολλές όψεις του (i = 1,., N I, όπου N I το σύνολο των όψεων), όπως φαίνεται από το Σχήμα 4.1. Για την συλλογή των δεδομένων χρησιμοποιήθηκε ένα turntable έτσι ώστε να μπορούμε πάρουμε πληροφορίες για όλες τις όψεις του αντικειμένου μόνο με την περιστροφή του και την τοποθέτηση του αντικειμένου πάνω σ αυτό. Επίσης, κατά τη διαδικασία αυτή δίνουμε και μια ταυτότητα y l, l = 1,, N L (όπου N L ο αριθμός των αντικειμένων που υπάρχουν στην βάση που θα δημιουργηθεί), στο κάθε αντικείμενο ώστε να μπορούμε να το ξεχωρίσουμε από τα υπόλοιπα αντικείμενα που θα χρησιμοποιήσουμε. Σχήμα 4.1: Απεικόνιση διαφόρων όψεων ενός wash N go 14

24 4.2 Εκτίμηση πόζας αντικειμένου H πόζα ενός αντικειμένου ορίζεται ως η θέση και ο προσανατολισμός του στον τρισδιάστατο χώρο. Το πρόβλημα που καλούμαστε να λύσουμε είναι ο υπολογισμός της πόζας του αντικειμένου ως προς το σύστημα συντεταγμένων της κάμερας. Προφανώς, τα σημεία του αντικειμένου είναι εκφρασμένα ως προς το σύστημα συντεταγμένων του κόσμου (world coordinate system-wcs). Ο υπολογισμός της πόζας βασίζεται στην αντιστοίχιση του συνόλου των σημείων του αντικειμένου στον τρισδιάστατο χώρο και των αντίστοιχων προβολών τους πάνω στο πλαίσιο της κάμερας. Επειδή ο προσδιορισμός των τρισδιάστατων σημείων του αντικειμένου καθώς και των προβολών τους είναι σχετικά δύσκολη διαδικασία, θα λύσουμε το αντίστροφο πρόβλημα, δηλαδή τον υπολογισμό της πόζας της κάμερας. Για την εκτίμηση των έξι βαθμών ελευθερίας της πόζας (6DOF) είναι αναγκαία η χρήση των παραμέτρων βαθμονόμησης (calibration parameters) της κάμερας. Σχήμα 4.2: Σχηματική αναπαράσταση του προβλήματος εύρεσης της πόζας της κάμερας Πιο συγκεκριμένα, όταν γνωρίζουμε ένα σύνολο 3Δ σημείων εκφρασμένων στο WCS και των αντίστοιχων προβολών τους πάνω στην εικόνα, μπορούμε να βρούμε την πόζα, δηλαδή τον προσανατολισμό και την μετατόπιση της κάμερας(r και t) ως προς το WCS (Σχήμα 4.2). Παρακάτω φαίνεται και μαθηματικά το πρόβλημα εύρεσης της πόζας: 15

25 u f x 0 c x r 11 r 12 r 13 t X 1 [ v] = [ 0 f y c y ] [ r 21 r 22 r 23 t Y 2 ] [ ] r 31 r 32 r 33 t Z 3 1 Όπου (u, v) το 2Δ σημείο πάνω στο επίπεδο της κάμερας, (X, Y, Z) το αντίστοιχο 3Δ σημείο, f x, f y είναι οι εστιακές αποστάσεις κατά μήκος των αξόνων x, y και (c x, c y ) το κύριο σημείο της κάμερας [6]. Για την εύρεση των τρισδιάστατων σημείων και των αντίστοιχων προβολών τους,χρησιμοποιούνται πολύ καλά προκαθορισμένα μοτίβα (patterns). O συνηθέστερος τύπος μοτίβου που χρησιμοποιείται είναι η σκακιέρα (Σχήμα 4.3) όμως στη συγκεκριμένη εργασία χρησιμοποιήθηκε ένα άλλο μοτίβο, η δημιουργία του οποίου βασίζεται στο οπτικό σύστημα AprilTags. Σχήμα 4.3: Σκακιέρα Σχήμα 4.4: AprilTags Το μοτίβο που επιλέχθηκε αποτελείται από ετικέτες (tags) της μορφής του Σχήματος 4.4. Όπως φαίνεται και από το Σχήμα 4.4, υπάρχουν διάφορες οικογένειες ετικετών. Στην παρούσα εργασία χρησιμοποιείται η οικογένεια Tag36h11. Οι ετικέτες αυτές αποτελούν ένα δισδιάστατο barcode. Η κάθε ετικέτα φέρει ένα ποσοστό πληροφορίας και έχει μια συγκεκριμένη ταυτότητα (Σχήμα 4.6). Το λογισμικό ανίχνευσης AprilTag υπολογίζει την ακριβή 3Δ θέση, τον προσανατολισμό και την ταυτότητα των ετικετών σε σχέση με την κάμερα. Πιο συγκεκριμένα, αυτό το λογισμικό ανίχνευσης προσπαθεί να βρει τετράγωνα που να έχουν πιο σκούρο το εσωτερικό από ότι το εξωτερικό τους. Για το λόγο αυτό, οι ετικέτες έχουν μαύρα και άσπρα σύνορα [7]. 16

26 Εμείς επιλέγουμε ένα μοτίβο (Σχήμα 4.5) με μέγεθος 7 στήλες και 10 γραμμές. Οι πλευρές των ετικετών έχουν μήκος 4 εκατοστά και περιθώριο ανάμεσα τους 1 εκατοστό. Σχήμα 4.5: Μοτίβο με Apriltags σε σμίκρυνση μεγέθους 7x10 με μήκος πλευράς ετικέτας 4cm και με περιθώριο 1cm Εξαιτίας του turntable που χρησιμοποιήθηκε για την λήψη δεδομένων, το παραπάνω μοτίβο έπρεπε να κοπεί καταλλήλως, όπως φαίνεται στο Σχήμα 4.5, ώστε το πλάτος και το ύψος του να ταιριάζουν με την διάμετρό του turntable. Αρχικά υπολογίζουμε τα δισδιάστατα σημεία κάνοντας χρήση του ανιχνευτή ετικετών του συστήματος AprilTag. Για κάθε εντοπιζόμενη ετικέτα υπολογίζονται τα 2Δ σημεία των κορυφών της, καθώς και η ταυτότητα που της αντιστοιχεί. Στη συνέχεια, με βάση την ταυτότητα της κάθε ετικέτας, υπολογίζουμε την αντίστοιχη τρισδιάστατη πληροφορία. Ο υπολογισμός των 3Δ σημείων βασίζεται στην τοποθέτηση του WCS στην πάνω αριστερή κορυφή της ετικέτας που έχει ταυτότητα 0. Οι άξονες του WCS ορίζονται ως εξής: ο άξονας x βρίσκεται πάνω στο επίπεδο του μοτίβου και έχει φορά από αριστερά προς τα δεξιά κατά μήκος της διάστασης του πλάτους, ο άξονας y βρίσκεται κι αυτός πάνω στο επίπεδο του μοτίβου και έχει φορά από πάνω προς τα κάτω κατά μήκος της διάστασης του ύψους και ο z θα είναι κάθετος στο επίπεδο του μοτίβου έτσι ώστε να ικανοποιείται ο κανόνας του δεξιόστροφου κοχλία. Από την διάταξη των αξόνων γίνεται κατανοητό ότι κάθε σημείο πάνω στο μοτίβο έχει μηδενική τιμή κατά μήκος του άξονα z. 17

27 Σχήμα 4.6: Απεικόνιση ταυτοτήτων των εντοπιζόμενων ετικετών Άρα, για τον υπολογισμό των τρισδιάστατων σημείων η μόνη πληροφορία που χρειάζεται είναι η ταυτότητα της κάθε ετικέτας. Έτσι, αν id είναι η ταυτότητα της κάθε ετικέτας, width είναι το πλάτος του μοτίβου, tagsize είναι το μήκος της πλευράς της ετικέτας και tagborder είναι το περιθώριο ανάμεσα στις ετικέτες, η διαδικασία που ακολουθείται για τον υπολογισμό των κορυφών της κάθε ετικέτας είναι η εξής: Αρχικά, υπολογίζουμε την γραμμή (row) και την στήλη (col) της ετικέτας: id = width row + col Στη συνέχεια, υπολογίζουμε τις συντεταγμένες (x, y, z) της πάνω αριστερής κορυφής της κάθε ετικέτας που εντοπίστηκε ως εξής: x = col (tagsize + tagborder) y = row (tagsize + tagborder) Προφανώς, η συντεταγμένη στον άξονα z έχει μηδενική τιμή. Και,τέλος, υπολογίζουμε τις συντεταγμένες όλων των κορυφών της ετικέτας με φορά αντίθετη από τη φορά του ρολογιού, δηλαδή: P 1 = (x, y, 0) P 2 = (x + tagsize, y, 0) P 3 = (x + tagsize, y + tagsize, 0) P 4 = (x, y + tagsize, 0) 18

28 Επομένως, αφού έχουμε υπολογίσει τα δισδιάστατα και τα τρισδιάστατα σημεία είμαστε έτοιμοι να υπολογίσουμε τον πίνακα μετασχηματισμού, δηλαδή την πόζα της κάμερας. Επιπλέον, κρίθηκε απαραίτητο να γίνει μια εκτίμηση του κέντρου (a, b) και της ακτίνας r του κύκλου του turntable. Πιο συγκεκριμένα, υπολογίστηκαν οι μέγιστες και οι ελάχιστες τιμές κατά x και y από το σύνολο των 3Δ σημείων των κορυφών όλων των όψεων. Έτσι, το κέντρο υπολογίστηκε ως ο μέσος όρος των ακραίων τιμών και η ακτίνα η μέγιστη τιμή της διαφοράς των ακραίων τιμών. Δηλαδή, αν xmax, ymax είναι οι μέγιστες τιμές και xmin, ymin είναι οι ελάχιστες τιμές: (a, b) = ( xmax+xmin 2, ymax+ymin ) 2 2r = max (xmax xmin, ymax ymin) Τέλος αξίζει να τονίσουμε τον λόγο που δεν χρησιμοποιήσαμε την σκακιέρα αντί του μοτίβου με τα ΑprilTags. Το μειονέκτημα στην χρήση της σκακιέρας είναι ότι είναι απαραίτητος ο εντοπισμός όλων των κορυφών των τετραγώνων για τον υπολογισμό των 3Δ σημείων, σε αντίθεση με τα AprilTags που όπως είδαμε αρκεί μόνο η γνώση της ταυτότητας της κάθε ετικέτας για τον υπολογισμό των 3Δ σημείων. Στο Σχήμα 4.7 φαίνεται ένα περιληπτικό διάγραμμα ροής του κώδικα που αναπτύχθηκε για την εκτίμηση της πόζας. Start Load rgb image Find 2d and 3d points 3rdparty Apriltag library Estimate pose cv::solvepnpransac End Σχήμα 4.7: Διάγραμμα ροής του κώδικα που αναπτύχθηκε για την εύρεση πόζας 19

29 4.3 Δημιουργία τρισδιάστατου μοντέλου πλέγματος Για τη δημιουργία του τρισδιάστατου μοντέλου πλέγματος χρησιμοποιείται για κάθε όψη η χρωματική πληροφορία, ο χάρτης βάθους (Σχήμα 4.8) και η πόζα που υπολογίστηκε στο προηγούμενο βήμα. Στην αρχή, για κάθε όψη υπολογίζουμε το αντίστοιχο νέφος σημείων (Σχήμα 4.9). Η δημιουργία του νέφους βασίζεται στην πληροφορία του βάθους. Εάν (x, y) είναι το 2Δ σημείο, (c x, c y ) είναι το κύριο σημείο της κάμερας, f x, f y είναι οι εστιακές αποστάσεις και depth είναι η απόσταση του 3Δ σημείου από την κάμερα, τότε ο υπολογισμός του 3Δ σημείου (X, Y, Z) γίνεται με βάση τις παρακάτω εξισώσεις: Ζ = depth/1000 X = (x c x ) Z/f x Y = (y c y ) Z/f y Σχήμα 4.8: Έγχρωμη εικόνα και ο αντίστοιχος χάρτης βάθους Σχήμα 4.9: Νέφος σημείων 20

30 Πριν την δημιουργία του κάθε νέφους σημείων εκτελούμε ένα βήμα φιλτραρίσματος των ασυνεχειών του βάθους, καθώς οι ασυνέχειες στον χάρτη βάθους οδηγούν σε λανθασμένες μετρήσεις. Έτσι, για κάθε 3x3 γειτονιά p του χάρτη βάθους βρίσκουμε την μέγιστη τιμή ως max {(max p p mid ), (min p p mid )}, όπου p mid είναι το κεντρικό εικονοστοιχείο της γειτονιάς. Κρατάμε εκείνα τα σημεία p mid που στην γειτονιά τους έχουν μέγιστη τιμή μικρότερη από ένα κατώφλι (εμείς χρησιμοποιήσαμε την τιμή 15 για το όριο) [8]. Αυτά τα νέφη σημείων είναι εκφρασμένα ως προς το σύστημα συντεταγμένων της κάμερας. Συνεπώς, το επόμενο βήμα είναι να συνδυάσουμε όλα τα νέφη σημείων που δημιουργήθηκαν μαζί με τις αντίστοιχες πόζες τους έτσι ώστε να τα ευθυγραμμίσουμε σε ένα ενιαίο σύστημα συντεταγμένων, το WCS. Από την εκτίμηση της πόζας γνωρίζουμε για κάθε όψη την μετατόπιση και τον προσανατολισμό της κάμερας ως προς το WCS. Άρα, αν ένα οποιοδήποτε σημείο έχει συντεταγμένες (x, y, z) ως προς το σύστημα συντεταγμένων της κάμερας και H = [R t] είναι ο πίνακας της πόζας, τότε το νέο σημείο στο WCS θα έχει συντεταγμένες (x, y, z ) = (x, y, z) H. X Y Z Σχήμα 4.10: Απεικόνιση του μετασχηματισμένου νέφους σημείων στο WCS Παρατηρούμε στο Σχήμα 4.10 ότι στο νέφος σημείων υπάρχει αρκετή άχρηστη πληροφορία. Η χρήσιμη πληροφορία είναι μόνο τα σημεία που ανήκουν στο αντικείμενο. Έτσι, κάνοντας χρήση της εκτίμησης του κύκλου του turntable που έγινε στην προηγούμενη ενότητα, μπορούμε να απομακρύνουμε όλα τα σημεία που βρίσκονται έξω από τον κύκλο. Επίσης, από την στιγμή που έχουμε μετασχηματίσει το νέφος σημείων στο WCS, στο οποίο αναφέραμε ότι ο άξονας z είναι κάθετος στο επίπεδο του μοτίβου και για να ισχύει ο κανόνας του δεξιόστροφου κοχλία έχει φορά από πάνω προς τα κάτω, μπορούμε να απομακρύνουμε όλα τα σημεία που βρίσκονται κάτω από το αντικείμενο εφαρμόζοντας απλά ένα κατώφλι για τις τιμές των σημείων κατά μήκους του άξονα z. Έτσι, αν (x, y, z) είναι ένα σημείο του μετασχηματισμένου νέφους σημείων, (a, b) είναι το κέντρο και r η ακτίνα του κύκλου που ορίζεται από το turntable και threshold το κατώφλι για τον άξονα z τότε φιλτράρουμε το αρχικό νέφος σημείων με βάση με την παρακάτω σχέση: (x a) 2 + (y b) 2 < r και z < threshold 21

31 Υ Ζ Χ Σχήμα 4.11: Φιλτραρισμένο νέφους σημείων Έτσι, για κάθε όψη δημιουργείται ένα φιλτραρισμένο νέφος σημείων (Σχήμα 4.11). Όταν αθροίσουμε όλα αυτά τα νέφη σημείων προκύπτει ένα συνολικό νέφος σημείων, όπως απεικονίζεται στο Σχήμα Σχήμα 4.12: Συνολικό νέφος σημείων Όπως φαίνεται στο σχήμα 4.12, στο νέφος σημείων υπάρχουν σημεία τα οποία δεν ανήκουν στο αντικείμενο. Έτσι, για να τα απομακρύνουμε θα εφαρμόσουμε στο συνολικό νέφος σημείων έναν αλγόριθμό ομαδοποίησης ευκλείδειας απόστασης και θα κρατήσουμε την μεγαλύτερη ομάδα που αντιστοιχεί στο πραγματικό αντικείμενο. Το κατώφλι που επιλέχθηκε για να ανήκουν δύο ή περισσότερα σημεία στην ίδια ομάδα είναι η ευκλείδεια απόστασή τους να είναι ίση ή μικρότερη από 1mm. Για λόγους που θα γίνουν κατανοητοί στο κεφάλαιο 6, μετακινήσαμε το WCS στο κέντρο βάρους του αντικειμένου (Σχήμα 4.13). Αυτό έγινε πολύ απλά βρίσκοντας αρχικά το κέντρο βάρους του συνολικού νέφους σημείων, που προέκυψε από την διαδικασία της ομαδοποίησης και στη συνέχεια μετατοπίζοντας το WCS με βάση τις τιμές του κέντρου βάρους. 22

32 Υ Χ Υ Χ Ζ Σχήμα 4.13: Συνολικό νέφος σημείων πριν και μετά την μετατόπιση του συστήματος συντεταγμένων Ζ To επόμενο και τελευταίο βήμα αυτού του σταδίου, είναι η δημιουργία του τρισδιάστατου μοντέλου πλέγματος (Σχήμα 4.14). Για τη δημιουργία του 3Δ μοντέλου, θα χρησιμοποιήσουμε έναν αλγόριθμο που κάνει τριγωνοποιήση. Αυτό σημαίνει, ότι η επιφάνεια του παραγόμενου μοντέλου θα αποτελείται από τρίγωνα. Για το λόγο αυτό, επιλέγουμε τον αλγόριθμο ανοικοδόμησης Poisson [12]. O αλγόριθμος αυτός δέχεται ως είσοδο ένα νέφος σημείων καθώς και τα αντίστοιχα κάθετα διανύσματα [19] των σημείων και δημιουργεί το 3Δ μοντέλο πλέγματος. Σχήμα 4.14: 3Δ μοντέλο πλέγματος 23

33 Στο Σχήμα 4.15 παρουσιάζεται το διάγραμμα ροής για την δημιουργία του 3Δ μοντέλου πλέγματος. Start For eah frame Load rgb, depth, pose Create point cloud Find largest cluster pcl::euclideancluster Extraction Transform point cloud pcl::transform PointCloud globalcloud +=cloud Generate 3d mesh model pcl::poisson End Σχήμα 4.15: Διάγραμμα ροής για την δημιουργία ενός 3Δ μοντέλου πλέγματος 4.4 Εξαγωγή μάσκας Αφού έχουμε δημιουργήσει το 3Δ μοντέλο πλέγματος του αντικειμένου, πρέπει να είμαστε σε θέση να εξάγουμε για κάθε εικόνα, δηλαδή για κάθε όψη, την μάσκα του αντικειμένου. Μια μάσκα είναι μια δυαδική εικόνα (αποτελείται δηλαδή μόνο από 0 και 1) και χρησιμοποιείται συνήθως για δεικτοδότηση περιοχών ενδιαφέροντος. Στο στάδιο αυτό, θα γίνει χρήση ενός εργαλείου που είναι γνωστό ως Visualization Toolkit (VTK). Το VTK είναι ένα open-source εργαλείο εμφάνισης γραφικών, η δομή του οποίου έχει αντικειμενοστραφή χαρακτήρα. Οι βιβλιοθήκες του περιλαμβάνουν έναν μεγάλο αριθμό C++ κλάσεων, ενώ η διεπαφή μπορεί να δεχθεί κώδικα και σε γλώσσες Java και Python. Για την εξαγωγή της μάσκας, θα κάνουμε χρήση της εικονικής κάμερας του VTK. Για αυτό το λόγο, πρέπει να γίνει μια εκτίμηση των παραμέτρων του Xtion στην εικονική κάμερα. Αρχικά, ορίζουμε 24

34 το πόσο κοντά και το πόσο μακριά θα βλέπει η εικονική κάμερα. Έτσι, ορίζεται ως znear = το κοντινότερο κάθετο επίπεδο στην κάμερα και zfar = 100 το επίπεδο στην μέγιστη απόσταση. Επίσης, ορίζουμε την οπτική γωνία (Σχήμα 4.16) της εικονικής κάμερας ως εξής: angle = f ovy 180/π όπου f ovy = 2 atan ( (height/2)/fy), height είναι το ύψος της εικόνας που δίνει το Xtion και f y είναι η εστιακή απόσταση του Xtion κατά τον άξονα y. [10] Σχήμα 4.16: H οπτική γωνία της κάμερας μπορεί να μετρηθεί κάθετα, οριζόντια και διαγώνια Ακόμη ένας μετασχηματισμός που πρέπει να γίνει είναι να ταυτίζεται το σύστημα συντεταγμένων της εικονικής κάμερας μ αυτόν του Xtion. Στην εικονική κάμερα του VTK οι άξονες είναι ο x δεξιά, ο y προς τα πάνω και ο z από την κάμερα προς τα έξω, ενώ στο Xtion ο x είναι δεξιά, o y προς τα κάτω και ο z προς την οθόνη (Σχήμα 4.17). Επομένως, είναι εμφανές ότι πρέπει να μετασχηματίσουμε τους άξονες της εικονικής κάμερας κάνοντας μια στροφή 180 μοίρες γύρω από τον άξονα x. Y Z X X Z VTK Y Xtion Σχήμα 4.17: Σχηματική αναπαράσταση των αξόνων της εικονικής κάμερας και του Xtion 25

35 Η διαδικασία εξαγωγής της μάσκας είναι σχετικά απλή. Το μόνο που έχουμε να κάνουμε είναι να μετασχηματίσουμε το 3Δ μοντέλο πλέγματος του αντικειμένου σύμφωνα με την αντίστοιχη πόζα και στην συνέχεια να προβάλουμε το μετασχηματισμένο 3Δ μοντέλο πλέγματος πάνω στην εικονική κάμερα (Σχήμα 4.18). Σχήμα 4.18: Προβολή του 3Δ μοντέλου πλέγματος πάνω στο επίπεδο της εικονικής κάμερας Αυτό που έχουμε σαν αποτέλεσμα από την προβολή του μοντέλου πάνω στην κάμερα είναι μια εικόνα στις αποχρώσεις του γκρι. Για να δημιουργηθεί η μάσκα τοποθετείται 0 στα εικονοστοιχεία που η παραπάνω εικόνα έχει μηδενικές τιμές και 1 σε όλες τις υπόλοιπες περιπτώσεις (Σχήμα 4.19). Σχήμα 4.19: Μάσκα του αντικειμένου Επιπλέον, κάνοντας χρήση του z buffer [11] της εικονικής κάμερας, ο οποίος διαχειρίζεται τις συντεταγμένες βάθους της εικόνας, θα πρέπει να είμαστε σε θέση να εξάγουμε τον αντίστοιχο χάρτη βάθους. Σ αυτόν τον buffer είναι αποθηκευμένες οι τιμές του άξονα z του 3Δ μοντέλου πλέγματος πριν γίνει η προβολή του στο επίπεδο της εικόνας. Αν zbuff είναι ο z buffer, (x, y) είναι η θέση που θέλουμε 26

36 να υπολογίσουμε την τιμή του βάθους, width είναι το πλάτος της εικόνας και znear, zfar όπως ορίστηκαν παραπάνω, τότε για τον υπολογισμό του βάθους depth ακολουθείται η παρακάτω διαδικασία: zvalue = zbuff[y width + x] depth(y, x) = (zfar znear)/(zvalue (zfar znear) zfar) depth(x, y) = depth(x, y) 1000 Τέλος, στο Σχήμα 4.20 απεικονίζεται περιληπτικά το διάγραμμα ροής του κώδικα που αναπτύχθηκε για την εξαγωγή της μάσκας. Start Load rgb, depth, pose, 3d mesh model Initialize VTK virtual camera Set znear, zfar, viewangle Transform the position of camera using pose Align the axes of VTK and Xtion before transform the position of camera Save depth image Render 3d model Save rgb image Create binary mask cv::threshold End Σχήμα 4.20: Διάγραμμα ροής για την εξαγωγή μάσκας για κάθε όψη του αντικειμένου 4.5 Εξαγωγή χαρακτηριστικών γνωρισμάτων του αντικειμένου H διαδικασία εξαγωγής χαρακτηριστικών γνωρισμάτων αποτελεί αναπόσπαστο κομμάτι της φάσης της προ-επεξεργασίας πολλών αλγορίθμων αναγνώρισης προτύπων. Κατά καιρούς έχουν παρουσιαστεί μελέτες, που ενισχύουν το κεντρικό ρόλο που διαδραματίζουν τα χαρακτηριστικά γνωρίσματα σε απαιτητικές διαδικασίες τεχνητής όρασης. Οι διαδικασίες εξαγωγής γνωρισμάτων διακρίνονται σε χαμηλού επιπέδου και υψηλού επιπέδου. Ως χαμηλού επιπέδου ορίζονται όλα εκείνα τα γνωρίσματα, που μπορούν να εξαχθούν άμεσα από μια εικόνα, χωρίς να απαιτείται καμία πληροφορία σχετικά με το σχήμα τους. Κατά συνέπεια, στη πρώτη κατηγορία ανήκουν όλοι οι ανιχνευτές καμπυλών και ακμών, όπως αυτού των Sobel, Canny και Harris [20], [21], [22]. Στη δεύτερη κατηγορία ανήκουν οι τεχνικές που ανιχνεύουν γνωστά γεωμετρικά χαρακτηριστικά (π.χ. τετράγωνα, κύκλους, ελλείψεις) στην 27

37 εικόνα. Χαρακτηριστικό τους γνώρισμα αποτελεί η χωρική πληροφορία που παρέχουν για κάθε ένα από τα αντικείμενα μιας σκηνής. Στην (Lowe, 2001) γίνεται χρήση του μετασχηματισμού Hough, ο οποίος είναι σε θέση να εξάγει απλές γραμμές, και με την επέκταση του, κύκλους και ελλείψεις. Ωστόσο, στο φυσικό περιβάλλον, οι σκηνές είναι πολύ πιο περίπλοκες καθώς οι σκηνές μεταβάλλονται δυναμικά, ο φωτισμός δεν είναι βέλτιστος, το ένα αντικείμενο μπορεί να αποκρύπτει το άλλο κ.α. Σε τέτοιες περιπτώσεις, η τεχνική εξαγωγής χαρακτηριστικών γνωρισμάτων πρέπει να διαθέτει την κατάλληλη ευρωστία, για να ανταπεξέλθει στις απαιτήσεις μια διαδικασίας αναγνώρισης προτύπων. Επομένως, μια διαδικασία εξαγωγής χαρακτηριστικών γνωρισμάτων υψηλού επιπέδου, θα πρέπει να είναι ανεξάρτητη από τις συνθήκες φωτισμού της σκηνής, την πιθανή περιστροφή ή μετακίνηση του αντικειμένου και την κλιμάκωση του σχήματος του. Επίσης, πρέπει να είναι σε θέση να εξαλείφει τον πιθανό θόρυβο στην εικόνα, καθώς και να παρέχει αρκετή πληροφορία για περιοχές της σκηνής που επικαλύπτονται. Μια τεχνική με τις προαναφερθείσες ιδιότητες παρουσιάζεται στην (Lowe, 2004). Πρόκειται για τον αλγόριθμο SIFT (Scale-Invariant Feature Transform), ο οποίος εξάγει διακριτά χαρακτηριστικά γνωρίσματα που μπορούν να χρησιμοποιηθούν σε διαδικασίες αναγνώρισης προτύπων. Για αυτό το λόγο στην εφαρμογή που υλοποιήσαμε θα κάνουμε χρήση του αλγορίθμου SIFT. Πριν κάνουμε μια περιγραφή του αλγορίθμου SIFT ας δούμε με ένα παράδειγμα το βασικό πλεονέκτημα του ως προς τους άλλους αλγορίθμους ανίχνευσης χαρακτηριστικών γνωρισμάτων. Όπως αναφέραμε και παραπάνω, ο αλγόριθμος ανίχνευσης Harris εντοπίζει γωνίες στην εικόνα. Είναι προφανές ότι αν περιστρέψουμε την εικόνα θα εντοπίσουμε τις ίδιες γωνίες με πριν. Τι συμβαίνει όμως όταν αλλάζει η κλίμακα της εικόνας, δηλαδή όταν κάνουμε μεγέθυνση ή σμίκρυνση της εικόνας; Για παράδειγμα ας δούμε τι συμβαίνει σε μια απλή εικόνα (Σχήμα 4.21). Μια γωνία σε μια εικόνα μέσα σε ένα μικρό παράθυρο είναι περίπου επίπεδη όταν μεγεθύνεται στο ίδιο παράθυρο. Αυτό έχει σαν αποτέλεσμα ο αλγόριθμος ανίχνευσης Harris να μην είναι ανεξάρτητος της κλίμακας. Σχήμα 4.21 Εύρεση γωνιών με τον αλγόριθμο Harris σε μια μικρή εικόνα και στην αντίστοιχη μεγεθυμένη Επομένως τα βασικά χαρακτηριστικά του SIFT είναι: Εξαγωγή διακριτών και αμετάβλητων χαρακτηριστικών γνωρισμάτων o σωστή αντιστοιχία σε μια μεγάλη βάση χαρακτηριστικών γνωρισμάτων από πολλές εικόνες Ανεξαρτησία ως προς την κλιμάκωση του σχήματος και την περιστροφή ή μετακίνηση του αντικειμένου Ευρωστία στην o αλλαγή της οπτικής γωνίας o προσθήκη θορύβου o αλλαγή της φωτεινότητας 28

38 SIFT (Scale-Invariant Feature Transform) Ο αλγόριθμος SIFT (Lowe, 2004), αποτελείται από έναν ανιχνευτή χαρακτηριστικών γνωρισμάτων και από έναν περιγραφέα (descriptor). Αρχικά, ο ανιχνευτής γνωρισμάτων εντοπίζει σημεία που φέρουν διακριτή πληροφορία, ανεξάρτητη από πιθανές μεταβολές της εικόνας (π.χ. περιστροφή, αλλαγή φωτισμού, κ.α.). Με τη χρήση μιας γκαουσιανής κατανομής, η εικόνα μετασχηματίζεται από το χρωματικό χώρο στο χώρο κλιμάκωσης που προτάθηκε από τον Lindeberg (1994). Στη συνέχεια, η συνάρτηση διαφοράς του Gauss (DoG) συνδυαζόμενη με μια παρεμβολή στο χώρο κλιμάκωσης, παράγουν τα σημεία ενδιαφέροντος. Ο περιγραφέας είναι άμεσα συνδεδεμένος με τη διαδικασία ανάθεσης ενός προσανατολισμού, σε κάθε σημείο ενδιαφέροντος, όπως αυτό έχει προκύψει από τον ανιχνευτή γνωρισμάτων. Συγκεκριμένα, ο περιγραφέας είναι ένα διάνυσμα, το μέτρο και η διεύθυνση του οποίου, υπολογίζονται από πληροφορίες της γειτονιάς του εκάστοτε σημείου ενδιαφέροντος. Τα καλύτερα αποτελέσματα προκύπτουν όταν λαμβάνεται πληροφορία από μια γειτονιά εικονοστοιχείων 4x4. Η διεύθυνση του διανύσματος τυποποιείται έτσι ώστε να λαμβάνει προσανατολισμούς ανά 45 μοίρες. Με αυτό τον τρόπο, τοπικές πληροφορίες ενός αντικείμενου προσδιορίζονται με έναν και μοναδικό τρόπο, γεγονός που εξασφαλίζει τη μοναδικότητα κάθε χαρακτηριστικού σημείου ενός αντικειμένου. Η αποδοτικότητα του περιγραφέα ελέγχεται κατά τη διαδικασία της σύγκρισης της αρχικής εικόνας με την τελική. Η τελευταία μπορεί να προκύψει είτε από περιστροφή είτε από μετατόπιση της αρχικής σε οποιονδήποτε άξονα. Κατά τη διάρκεια της παραπάνω διαδικασίας, τα διανύσματα των περιγραφέων των δυο εικόνων ελέγχονται για τυχόν ομοιότητες. Το γεγονός ότι η ευρωστία που παρουσιάζεται είναι αξιοσημείωτη, καθιστά τον SIFT έναν από τους καλύτερους αλγορίθμους ανίχνευσης χαρακτηριστικών γνωρισμάτων που έχουν προταθεί. [13] Στο σχήμα 4.22 φαίνεται πως αν αλλάξουμε την θέση του αντικειμένου τα χαρακτηριστικά γνωρίσματα που υπολογίστηκαν με τον αλγόριθμο SIFT στην πρώτη εικόνα εντοπίζονται και στην δεύτερη. Σχήμα 4.22: Αντιστοιχίες μεταξύ χαρακτηριστικών γνωρισμάτων SIFT 29

39 Από την παραπάνω ανάλυση γίνεται κατανοητή η αναγκαιότητα της χρήσης του αλγορίθμου SIFT στην εξαγωγή χαρακτηριστικών γνωρισμάτων. Έτσι, για κάθε όψη i υπολογίζονται τα χαρακτηριστικά γνωρίσματα του αντικειμένου. Κάνοντας χρήση της μάσκας που υπολογίστηκε στο προηγούμενο στάδιο, κάνουμε κατάτμηση της εικόνας (Σχήμα 4.23) και κρατάμε μόνο τα εικονοστοιχεία που σχετίζονται με το αντικείμενο. Σχήμα 4.23: Απεικόνιση της κατατμημένης εικόνας μετά την εφαρμογή της μάσκας στην αρχική εικόνα Το επόμενα βήμα είναι η εξαγωγή των χαρακτηριστικών γνωρισμάτων από την εικόνα που περιέχει μόνο το αντικείμενο. Κάνοντας χρήση του αλγόριθμου SIFT υπολογίζονται τα 2Δ σημεία ενδιαφέροντος (Σχήμα 4.24) {x ir }, r = 1,., N R (όπου Ν R ο αριθμός των 2Δ σημείων ενδιαφέροντος) και οι αντίστοιχοι περιγραφείς {f ιr }. Σχήμα 4.24: Απεικόνιση των 2Δ σημείων ενδιαφέροντος 30

40 Για την δημιουργία ενός τρισδιάστατου μοντέλου χαρακτηριστικών γνωρισμάτων, πρέπει να προβάλουμε τα 2Δ σημεία ενδιαφέροντος πάνω στο τρισδιάστατο μοντέλο πλέγματος. Αφού έχουν υπολογιστεί για κάθε όψη τα χαρακτηριστικά γνωρίσματα, γίνεται χρήση της αντίστοιχης πόζας και του χάρτη βάθους που υπολογίστηκε από την εικονική κάμερα για τον προσδιορισμό του αντίστοιχου 3Δ σημείου ενδιαφέροντος. Είναι προφανές ότι ο περιγραφέας που αντιστοιχεί στο 2Δ σημείο θα είναι ίδιος και για το αντίστοιχο 3Δ. Έτσι, αν (x, y) είναι το 2Δ σημείο, pose είναι ο 4x4 πίνακας της πόζας, depth o χάρτης βάθους, (c x, c y ) το κύριο σημείο της κάμερας και f x, f y οι εστιακές αποστάσεις, για τον υπολογισμό του 3Δ σημείου ακολουθείται η παρακάτω διαδικασία: αρχικά, υπολογίζεται το 3Δ (X, Y, Z) σημείο ως προς το σύστημα συντεταγμένων της κάμερας με βάση τις παρακάτω εξισώσεις: Z = depth(y, x)/1000 X = (x c x ) Z/f x Y = (y c y ) Z/f y και στη συνέχεια μετασχηματίζεται στο WCS με βάση την πόζα: (X, Y, Z, 1) = (X, Y, Z, 1) pose 1 Τέλος, στο σχήμα 4.25 φαίνεται το περιληπτικό διάγραμμα ροής για την εύρεση των χαρακτηριστικών γνωρισμάτων του αντικειμένου. 31

41 Start For each frame Load rgb, pose, binary mask and depth(depth refers to rendering) End Compute sift features(keypoints, descriptors) from rgb image cv::sift project 2d keypoints onto mesh model Use inverse matrix of pose and depth image Save 3d keypoints, sift descriptors Σχήμα 4.25: Διάγραμμα ροής για την εύρεση χαρακτηριστικών γνωρισμάτων 32

42 5 Αναγνώριση και εντοπισμός αντικειμένων Κατά τη διάρκεια του testing, μας δίνεται μια έγχρωμη εικόνα (ενδεχομένως να περιέχει πολλά αντικείμενα) και το νέφος σημείων της με στόχο την ανάκτηση της ταυτότητας και της πόζας για κάθε αντικείμενο. Αρχικά, το σύστημα κάνει κατάτμηση και ομαδοποίηση της σκηνής σε πιθανά αντικείμενα χρησιμοποιώντας ένα επίπεδο και την πληροφορία του βάθους. Στη συνέχεια, εξάγουμε από την εικόνα τα τοπικά χαρακτηριστικά γνωρίσματα με βάση τον αλγόριθμο SIFT και κάνουμε χρήση του ταξινομητή Naive Bayes Nearest Neighbor, ώστε να τα ταιριάξουμε με τα μοντέλα των αντικειμένων που δημιουργήθηκαν στην διαδικασία της εκπαίδευσης. Αυτή η διαδικασία δημιουργεί μια λίστα με υποθέσεις από πιθανά αντικείμενα και αντιστοιχίζει σε κάθε μια υπόθεση μια πιθανότητα. Για την υπόθεση με την μεγαλύτερη πιθανότητα, χρησιμοποιούμε τα χαρακτηριστικά γνωρίσματα και το τρισδιάστατο μοντέλο πλέγματος για να εκτιμήσουμε την πόζα του αντικειμένου. Μετέπειτα, εκτελούνται μια σειρά από βήματα για γεωμετρική επαλήθευση ώστε να ταιριάξουν τα μοντέλα που δημιουργήσαμε στην εκπαίδευση με την παρατηρούμενη σκηνή. Τέλος, γίνεται ένας έλεγχος της συνοχής της σκηνής και συγχώνευση παρόμοιων υποθέσεων. 5.1 Κατάτμηση Εικόνας Το πρώτο στάδιο για τον εντοπισμό αντικειμένων είναι η κατάτμηση της εικόνας με στόχο την εξαγωγή μασκών που ανήκουν σε υποψήφια αντικείμενα. Στην αρχή, προσπαθούμε να εντοπίσουμε μεγάλες επίπεδες επιφάνειες, καθώς υποθέτουμε ότι τα αντικείμενα πρέπει να βρίσκονται πάνω σε ένα τραπέζι ή στο έδαφος. Για αυτό το λόγο, θα εφαρμόσουμε τον αλγόριθμο RANSAC. Η μέθοδος RANSAC, είναι μια επαναληπτική μέθοδος για υπολογισμό παραμέτρων ενός μοντέλου (στην δικιά μας περίπτωση υπολογίζει τις παραμέτρους ενός επιπέδου) από ένα σύνολο δεδομένων παρατήρησης (νέφος σημείων) το οποίο περιέχει εσφαλμένες τιμές (όλα τα σημεία που δεν ανήκουν στο επίπεδο). Είναι μια μη-ντετερμινιστική τεχνική υπό την έννοια ότι παράγει ένα λογικό αποτέλεσμα με ορισμένη πιθανότητα, όπου αυτή η πιθανότητα αυξάνεται καθώς εκτελούνται περισσότερες επαναλήψεις [14]. Συνεπώς, ο αλγόριθμος RANSAC δέχεται σαν είσοδο το νέφος σημείων και παράγει στην έξοδο τις παραμέτρους των επιπέδων που εντοπίζει (Σχήμα 5.1). Ένα επίπεδο ορίζεται από την εξίσωση Αx + By + Cz + D = 0, άρα οι παράμετροι που υπολογίζονται είναι οι A, B, C, D. 33

43 Σχήμα 5.1: Απεικόνιση του επιπέδου που εντοπίστηκε με τον αλγόριθμο RANSAC Στη συνέχεια, πρέπει να εντοπίσουμε ποια μέρη του νέφους σημείων βρίσκονται πάνω από τα επίπεδα (Σχήμα 5.2) που εκτίμησε ο αλγόριθμος RANSAC. Για την υλοποίηση αυτής της διαδικασίας, κάνουμε την παραδοχή ότι για να βρίσκεται ένα σημείο πάνω από ένα επίπεδο πρέπει να απέχει από αυτό λιγότερο από 0.5 μέτρα και περισσότερο από 0.01 μέτρα. Έτσι, για κάθε σημείο υπολογίζουμε την απόσταση του από το κάθε επίπεδο και ελέγχουμε αν βρίσκεται μεταξύ των οριακών τιμών. Σχήμα 5.2: Απεικόνιση των σημείων που βρίσκονται πάνω από το επίπεδο που εντοπίστηκε 34

44 Το επόμενο βήμα για την κατάτμηση της εικόνας, είναι η εύρεση διακριτών νεφών σημείων, που θα αντιστοιχούν σε υποψήφια αντικείμενα. Για κάθε νέφος σημείων (ένα για κάθε επίπεδο) που υπολογίστηκε στην προηγούμενη διαδικασία εκτελείται ένας αλγόριθμος ομαδοποίησης ευκλείδειας απόστασης με στόχο την δημιουργία ομάδων, που θα αντιστοιχούν στα διακριτά νέφη σημείων. Για να ανήκουν δύο ή περισσότερα σημεία στην ίδια ομάδα, πρέπει να έχουν απόσταση μικρότερη ή ίση από 0.01 μέτρα. Τέλος, προβάλουμε τα νέφη σημείων που υπολογίστηκαν πάνω στην αρχική εικόνα για να εξάγουμε τις μάσκες (Σχήμα 5.3) των υποψήφιων αντικείμενων. Σχήμα 5.3: Μάσκα υποψήφιου αντικειμένου και η αντίστοιχη κατατμημένη εικόνα 5.2 Ταξινόμηση αντικειμένων Για κάθε test εικόνα, η διαδικασία της κατάτμησης παράγει ένα σύνολο από μάσκες. Συνδυάζοντας την περιοχή ενδιαφέροντος που υποδεικνύεται από την κάθε μάσκα και την αρχική έγχρωμη εικόνα παράγεται μια κατατμημένη εικόνα I m, m = 1,, M (όπου Μ το σύνολο από μάσκες). Για κάθε τέτοια εικόνα εξάγουμε τα χαρακτηριστικά γνωρίσματα χρησιμοποιώντας τον αλγόριθμο ανίχνευσης SIFT (Σχήμα 5.4). Το αποτέλεσμα της εφαρμογής αυτού του αλγορίθμου είναι ο υπολογισμός των 2Δ σημείων ενδιαφέροντος και των αντίστοιχων περιγραφέων τους. 35

45 Σχήμα 5.4: Απεικόνιση των 2Δ σημείων ενδιαφέροντος που υπολογίστηκαν με τον SIFT Στη συνέχεια, χρησιμοποιείται ο αλγόριθμος ταξινόμησης Naive Bayes Nearest Neighbor [15] για να ταιριάξουμε τα χαρακτηριστικά γνωρίσματα που ανιχνεύθηκαν στην κάθε κατατμημένη εικόνα με τα χαρακτηριστικά γνωρίσματα που υπολογίστηκαν κατά τη διάρκεια της εκπαίδευσης. Η πιθανότητα μια κατατμημένη εικόνα να αντιστοιχεί σε ένα αντικείμενο με ταυτότητα y δεδομένου του συνόλου των περιγραφέων της εικόνας {f r } δίνεται από τον παρακάτω τύπο: P(y/{f r }) P(f r /y) Η πιθανότητα αυτή είναι ομοιόμορφη ως προς τις ταυτότητες των αντικείμενων και οι περιγραφείς των χαρακτηριστικών γνωρισμάτων είναι υπό συνθήκη ανεξάρτητοι για κάθε αντικείμενο. Για να μοντελοποιήσουμε την P(f r /y) χρησιμοποιούμε την ακόλουθη εκτίμηση που βασίζεται στην πυκνότητα πυρήνα: αν f l1,, f lnr είναι οι περιγραφείς που αντιστοιχούν στο μοντέλο χαρακτηριστικών γνωρισμάτων ενός αντικειμένου με ταυτότητα y l, τότε: P(f r /y l ) = 1 N R K(f r f li ) Όπου K(f r f li ) = exp ( f r f li 2 2 /2(σ 2 )) είναι μια γκαουσιανή Parzen συνάρτηση πυρήνα. Η ιδέα για την χρήση του NBNN είναι ότι οι SIFT περιγραφείς είναι διανύσματα υψηλών διαστάσεων και ως εκ τούτου αραιά κατανεμημένα στον χώρο. Από την στιγμή που η συνάρτηση πυρήνα K() μειώνεται εκθετικά με την απόσταση μεταξύ των περιγραφέων f r και των κοντινότερων γειτόνων τους f lnn(r), μπορεί να γίνει μια καλή εκτίμηση της πιθανότητας P(f r /y). Επομένως, η λογαριθμική πιθανότητα να δοθεί η ταυτότητα y l σε ένα υποψήφιο αντικείμενο με περιγραφείς χαρακτηριστικών γνωρισμάτων {f r }, μπορεί να υπολογιστεί από τον παρακάτω τύπο: r N R i=1 36

46 logp(y l /{f r }) = 1 N R f r f lnn(r) 2 2 Όπου f lnn(r) = argmin f r f li 2 2 είναι οι κοντινότεροι γείτονες του περιγραφέα fr που εντοπίζονται στο μοντέλο χαρακτηριστικών γνωρισμάτων κάθε αντικειμένου. Η παραπάνω λογαριθμική πιθανότητα μας επιτρέπει να δημιουργήσουμε έναν πίνακα κατάταξης (σε φθίνουσα σειρά) από τις πιο πιθανές υποθέσεις του υποψήφιου αντικειμένου. Άρα η διαδικασία ταξινόμησης αντικειμένων περιλαμβάνει τα ακόλουθα βήματα: r εξαγωγή των χαρακτηριστικών γνωρισμάτων και των περιγραφέων για κάθε κατατμημένη εικόνα. εύρεση των κοντινότερων γειτόνων των περιγραφέων από τα μοντέλα χαρακτηριστικών γνωρισμάτων των αντικειμένων που δημιουργήθηκαν στην εκπαίδευση. υπολογισμός των λογαριθμικών πιθανοτήτων για κάθε υποψήφιο αντικείμενο. δημιουργία πίνακα κατάταξης από τις πιο πιθανές υποθέσεις. 5.3 Ανάκτηση πόζας Για κάθε μία από τις πιο πιθανές υποθέσεις ενός υποψήφιου αντικειμένου, προσδιορίζουμε την πιο πιθανή πόζα που του αντιστοιχεί. Έτσι, για κάθε σύνολο σημείων ενδιαφέροντος και περιγραφέων (x mr, f mr ) που εξάχθηκαν από την κάθε κατατμημένη εικόνα, βρίσκουμε πάλι τους κοντινότερους γείτονες f lnn(r) του κάθε περιγραφέα f mr από το 3Δ μοντέλο χαρακτηριστικών γνωρισμάτων. Αφού κάθε περιγραφέας f lnn(r) έχει και μια αντίστοιχη 3Δ τοποθεσία z lnn(r), έχουμε την δυνατότητα να ταιριάξουμε τα 2Δ σημεία ενδιαφέροντος x mr με την πραγματική 3Δ τοποθεσία τους z lnn(r). Αν γνωρίζαμε την πραγματική πόζα p m του αντικειμένου, θα ικανοποιούνταν η σχέση x mr = p m z lnn(r), δηλαδή κάθε 2Δ σημείο ενδιαφέροντος x mr είναι η προβολή του 3Δ σημείου z lnn(r) πάνω στο επίπεδο της κάμερας. Όμως, επειδή ίσως να έχουμε λανθασμένες αντιστοιχίες 2Δ με 3Δ σημείων, αντί να υπολογίσουμε την ακριβή πόζα του αντικειμένου, θα κάνουμε μία εκτίμηση της πόζας που ελαχιστοποιεί το τετραγωνικό σφάλμα ανάμεσα στα 2Δ σημεία ενδιαφέροντος και στις 2Δ προβολές των αντίστοιχων 3Δ σημείων. Πιο συγκεκριμένα, αν θεωρήσουμε x = p z την 2Δ προβολή του 3Δ σημείου z πάνω στο επίπεδο της εικόνας σύμφωνα με την πόζα της κάμερας p, το πρόβλημα βελτιστοποίησης που καλούμαστε να λύσουμε είναι: p m = min x mr Proj(z lnn(r), p) r Αυτό το πρόβλημα είναι μη γραμμικό εξαιτίας της προβολής. Θα το λύσουμε χρησιμοποιώντας τον μη γραμμικό αλγόριθμο ελαχίστων τετραγώνων Levenberg-Marquardt [16], [17]. Επειδή κάνουμε χρήση των κοντινότερων γειτόνων για να δημιουργήσουμε τις 2Δ-3Δ αντιστοιχίες, είναι πιθανό κάποιες αντιστοιχίες να είναι λανθασμένες. Για αυτό το λόγο επιλέγουμε να 37

47 εφαρμόσουμε πάλι τον αλγόριθμο RANSAC. Για κάθε επανάληψη του RANSAC, λύνουμε την παραπάνω εξίσωση σε ένα τυχαίο δείγμα 2Δ-3Δ αντιστοιχιών. Για κάθε πόζα, μετράμε τον αριθμό των αντιστοιχιών που επαληθεύονται από αυτήν κάνοντας μια αξιολόγηση: f(p m ) = ( x mr Proj(z lnn(r), p m ) < RANSAC ) r και κρατάμε την πόζα με τον μεγαλύτερο αριθμό αντιστοιχιών μετά από N RANSAC επαναλήψεις. 5.4 Γεωμετρική επαλήθευση πόζας Κάθε πιθανή πόζα{(y mn, p mn )}(όπου (y mn, p mn ) αντιστοιχεί στη n-οστή πιθανή ταυτότητα και πόζα για το m-οστό υποψήφιο αντικείμενο) που υπολογίστηκε στο προηγούμενο στάδιο υπόκειται σε ένα βήμα γεωμετρικής επαλήθευσης. Προβάλουμε όλα τα 2Δ σημεία x mr ενδιαφέροντος που εντοπίστηκαν στην κατατμημένη εικόνα (οι αντίστοιχοι περιγραφείς είναι f mr ) πάνω στο 3Δ μοντέλο πλέγματος, χρησιμοποιώντας την πιθανή πόζα, για να λάβουμε την 3Δ θέση z mr του κάθε περιγραφέα f mr. Αυτό περιλαμβάνει ορισμένα χαρακτηριστικά γνωρίσματα τα οποία δεν ταίριαξαν στο αντικείμενο κατά τη διάρκεια της αρχικής ανάκτησης της πόζας. Στη συνέχεια, ψάχνουμε στο 3Δ μοντέλο χαρακτηριστικών γνωρισμάτων για ζευγάρια 3Δ σημείων ενδιαφέροντος και περιγραφέων (z mnr, f mnr ), έτσι ώστε η 3Δ θέση z mr να βρίσκεται μέσα σε μια τοπική γειτονιά ( pose ) του z mnr και ο περιγραφέας f mr μέσα σε μια τοπική γειτονιά ( Feature ) του f mnr. Πιο συγκεκριμένα, απαιτούμε: z mnr z mr pose f mnr f mr Feature Οι πόζες ταξινομούνται με βάση των αριθμών των αντιστοιχιών μεταξύ των 3Δ σημείων ενδιαφερόντων της test εικόνας και των 3Δ σημείων του μοντέλου χαρακτηριστικών γνωρισμάτων του αντικειμένου. Η σημαντικότητα του σταδίου της γεωμετρικής επαλήθευσης της πόζας έγκειται στο να διαβεβαιώσουμε ότι τα περισσότερα χαρακτηριστικά γνωρίσματα που ανιχνεύθηκαν στην εικόνα μπορούν να εξηγηθούν από την συγκεκριμένη υπόθεση για το αντικείμενο και την πόζα. Αυτό μας επιτρέπει να διορθώσουμε κάποιες λανθασμένες αντιστοιχίσεις που έγιναν κατά τη διάρκεια της διαδικασίας ταξινόμησης. Επίσης, βοηθά στο να απορριφτούν σφάλματα στην ταξινόμηση αντικειμένων και την ανάκτηση της πόζας. Η έξοδος αυτού του βήματος είναι μία πιθανή πόζα για το κάθε υποψήφιο αντικείμενο. Τέλος, εκτελούμε πάλι τον αλγόριθμο Levenberg-Marquardt για εύρεση βέλτιστης πόζας χρησιμοποιώντας όλα τις συνεπείς αντιστοιχίες 2Δ-3Δ. Αν στο τέλος αυτής της διαδικασίας υπάρχουν πολλαπλές υποθέσεις για την πόζα και την ταυτότητα του αντικειμένου, κρατάμε την υπόθεση που εξασφαλίζει τις πιο συνεπείς αντιστοιχίες μεταξύ 2Δ-3Δ σημείων ενδιαφέροντος στην κατατμημένη εικόνα. 38

48 5.5 Έλεγχος συνοχής της σκηνής Στο στάδιο αυτό ελέγχουμε αν κάθε υπόθεση (y m, p m ) που έγινε είναι συνεπής με το αρχικό νέφος σημείων. Αυτό γίνεται με την προβολή του 3Δ όγκου οριοθέτησης (bounding volume) του κάθε πιθανού αντικειμένου πάνω στην παρατηρούμενη εικόνα. Έτσι, αν η προβολή του όγκου οριοθέτησης καταλαμβάνει ένα ποσοστό P A της εικόνας, το ίδιο ή μεγαλύτερο ποσοστό πρέπει να καταλαμβάνει και η προβολή του παρατηρούμενου νέφους σημείων. To ποσοστό που χρησιμοποιήθηκε στην παρούσα υλοποίηση είναι P A = 30%. 5.6 Συγχώνευση υποθέσεων Στο τελευταίο στάδιο της αναγνώρισης αντικειμένων ελέγχουμε όλες τις πιθανές υποθέσεις για επικαλύψεις. Αν δύο υποθέσεις έχουν την ίδια ετικέτα, δηλαδή αντιστοιχούν στο ίδιο αντικείμενο, και οι όγκοι οριοθέτησης επικαλύπτονται, τότε συγχωνεύουμε τις δύο υποθέσεις κρατώντας την πόζα με τα πιο συνεπή χαρακτηριστικά γνωρίσματα. Πιο συγκεκριμένα, ελέγχουμε αν η επικάλυψη των όγκων οριοθέτησης είναι μεγαλύτερη από 20% και κρατάμε την υπόθεση με τις περισσότερες αντιστοιχίσεις 2Δ- 3Δ σημείων. Αυτό το βήμα μας βοηθά να εξαλείψουμε λανθασμένες αντιστοιχίσεις εξαιτίας υπερβολικής κατάτμησης, όπου ένα αντικείμενο χωρίζεται σε δύο ομάδες αντικείμενων με αποτέλεσμα να παράγονται δύο υποθέσεις με περίπου ίδιες πόζες. 5.7 Σύνοψη διαδικασίας Επομένως, για κάθε test εικόνα παράγεται ένα σύνολο από πόζες που αντιστοιχούν σε υποψήφια αντικείμενα. Αυτή η πόζα μας δίνει την πληροφορία για την μετατόπιση και την περιστροφή του συστήματος συντεταγμένων του αντικειμένου (το οποίο βρίσκεται στο κέντρο βάρους του 3Δ μοντέλου πλέγματος του κάθε αντικειμένου) ως προς το σύστημα συντεταγμένων της κάμερας (Σχήμα 5.5). Τέλος, στο Σχήμα 5.6 απεικονίζεται περιληπτικά το διάγραμμα ροής για την ανίχνευση και τον εντοπισμό των αντικειμένων. 39

49 Σχήμα 5.5: Προβολή του 3Δ μοντέλου πλέγματος του αντικειμένου που εντοπίστηκε πάνω στο επίπεδο της κάμερας 40

50 Start cv::sift Grab rgb, depth detect Compute Sift features Create point cloud Find planes pcl::sacsegmentation For each plane Find regions above plane For each region above plane Find the corresponding sift features pcl::euclideancluster Extraction Find NN of sift descriptors cv::flannbased Matcher create log likelihood list Find 2d and 3d corresponding points Merge hypotheses End For the top scoring likelihoods Find NN of sift descriptors Find pose cv::solvepnpransac Geometric pose verification Project 2d keypoints onto 3d model of potential object YES If matches!= 0 NO Find NN of 3d points and descriptors Scene consistency End Find pose Σχήμα 5.6: Διάγραμμα ροής για την αναγνώριση και τον εντοπισμό αντικειμένων 41