ΟΠΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΓΙΑ ΥΠΟΣΤΗΡΙΞΗ ΑΥΤΟΝΟΜΗΣ ΠΤΗΣΗΣ ΕΛΙΚΟΠΤΕΡΟΥ

ΟΠΤΙΚΗ ΑΝΑΓΝΩΡΙΣΗ ΓΙΑ ΥΠΟΣΤΗΡΙΞΗ ΑΥΤΟΝΟΜΗΣ ΠΤΗΣΗΣ ΕΛΙΚΟΠΤΕΡΟΥ ιοµήδης Κατζουράκης 1, Νίκος Βιτζηλαίος 2, Νίκος Τσουρβελούδης 2 1 Biomechanical Engineering Group, Mechanical, Maritime and Materials Engineering, Technical University of Delft, The Netherlands d.katzourakis@tudelft.nl 2 Εργαστήριο Ευφυών Συστηµάτων και Ροµποτικής, Τµήµα Μηχανικών Παραγωγής και ιοίκησης, Πολυτεχνείο Κρήτης vitzilaios@dpem.tuc.gr, nikost@dpem.tuc.gr Περίληψη Στην εργασία αυτή παρουσιάζεται η υλοποίηση µιας µεθόδου µηχανικής όρασης για την υποστήριξη αυτόνοµης πτήσης ελικοπτέρου. Η µέθοδος, διαµέσου ενός εικονολήπτη (κάµερας) χαµηλού κόστους, αναγνωρίζει πρότυπες εικόνες (ορόσηµα) εκµεταλλευόµενη τον αλγόριθµο SIFT. Για την οµαλή ροή παρακολούθησης ανάµεσα σε δύο διαδοχικές SIFT ταυτοποιήσεις χρησιµοποιείται ο αλγόριθµος οπτικής ροής Lucas-Kanade. Η υλοποίηση της µεθόδου βασίζεται στην Ελευθέρου Λογισµικού Βιβλιοθήκη Υπολογιστικής Όρασης (OpenCV). Το λογισµικό έχει υλοποιηθεί σε C/C++ και αλληλεπιδρά µε τον ελεγκτή αυτόνοµης πλοήγησης ελικοπτέρου που είναι υλοποιηµένος σε Matlab. Λέξεις κλειδιά: αυτόνοµη πτήση ελικοπτέρου, µηχανική όραση, SIFT, OpenCV, SIFT, Lucas-Kanade οπτική ροή 1 Εισαγωγή O αλγόριθµος SIFT (Scale Invariant Feature Transform ή Ανεπηρέαστο από Κλίµακα Μετασχηµατισµό Χαρακτηριστικών) χρησιµοποιείται για την ανίχνευση χαρακτηριστικών σηµείων-κλειδιών (keypoints) σε εικόνες. Ο πρωταρχικός στόχος του αλγόριθµου SIFT είναι η αναγνώριση προτύπων µορφών µέσα σε µια εικόνα. Ο SIFT θεωρείται ιδιαίτερα εύρωστος και τα κλειδιά που αναγνωρίζει µπορούν να παραµένουν αναλλοίωτα σε µία σειρά από ασαφείς παραµορφώσεις, προσθήκες θορύβου και αλλαγών φωτισµού (Lowe, 2004). Ο SIFT είναι διαδεδοµένος στην κοινότητα της µηχανικής όρασης για αυτόνοµες εναέριες και επίγειες εφαρµογές (Katzourakis κ.α. 2009, Mondragon κ.α. 2007, Campoy κ.α. 2009,). Στην παρούσα εργασία παρουσιάζεται η ανάπτυξη ενός συστήµατος όρασης για την ενίσχυση της αυτόνοµης πλοήγησης ενός µη-επανδρωµένου ελικοπτέρου, βασισµένη κυρίως σε αδρανειακούς αισθητήρες και GPS δεδοµένα. Το σύστηµα όρασης είναι βασισµένο σε λογισµικό από τον Hess (2010) και αξιοποιεί τον αλγόριθµο SIFT για να εντοπίσει την πρότυπη µορφή προς αναζήτηση. Το σύστηµα αξιοποιεί προηγµένα εργαλεία, όπως τον αλγόριθµο RANSAC (Fischler κ.α., 1981) και τον αλγόριθµο οπτικής ροής Lucas-Kanade (L-K) (Lucas κ.α., 1981). Οι Mondragon κ.α. (2007) και Campoy κ.α. (2009) έχουν επίσης χρησιµοποιήσει το λογισµικό από τον

Hess (2010) για τις υλοποιήσεις τους. Στην συνέχεια αυτής της εργασίας παρουσιάζεται το ελικόπτερο ως πειραµατική πλατφόρµα, η υλοποίηση της µεθόδου, καθώς και κάποια στιγµιότυπα από την εφαρµογή της µεθόδου στην αναζήτηση προτύπων. Σχήµα 1 Μη επανδρωµένο ελικόπτερο Raptor 60 TUC Edition εξοπλισµένο µε σύστηµα µηχανικής όρασης. 2 Πλατφόρµα Υλοποίησης Ένα µη-επανδρωµένο ελικόπτερο έχει αναπτυχθεί για δοκιµές καινοτόµων τεχνικών στην αυτόνοµη πλοήγηση (Σχήµα 1) στο Εργαστήριο Ευφυών Συστηµάτων και Ροµποτικής, του Πολυτεχνείου Κρήτης. Το ελικόπτερο είναι εφοδιασµένο µε µία αδρανειακή µονάδα µέτρησης, δέκτη GPS, οδηγό σερβό-µηχανισµών και ένα κεντρικό υπολογιστή µε δίσκο στερεάς κατάστασης για την ασφαλή λειτουργία του συστήµατος πλοήγησης (Vitzilaios κ.α., 2009). Η κάµερα για την όραση, µια Philips 1300NC, έχει τοποθετηθεί σε ένα ειδικά ανεπτυγµένο σύστηµα ελέγχου του προσανατολισµού της µε την χρήση σερβοµηχανισµών (Katzourakis κ.α., 2009), ελεγχόµενο µε σειριακή διεπαφή διαµέσου ενός ολοκληρωµένου κυκλώµατος για USB σε σειριακή επικοινωνία. 3 Υλοποίηση Μεθόδου Η µέθοδος έχει αναπτυχθεί µε την βιβλιοθήκη ελευθέρου λογισµικού υπολογιστικής όρασης (OpenCV, 2010) σε γλώσσα προγραµµατισµού C/C++. Η υλοποίηση αφορά την αναγνώριση πρότυπων αντικειµένων µε την χρήση του αλγορίθµου SIFT (Lowe, 2004). Ο SIFT αξιοποιώντας την Gaussian διαφορά από τις εικόνες σε διαφορετικές κλίµακες, παραµένει ανεπηρέαστος από αλλαγές στην κλίµακα. Επίσης, αναθέτοντας µια ή περισσότερες κατευθύνσεις για κάθε θέση κλειδί, µε βάση τις τοπικές κατευθύνσεις κλίσης (gradient) της εικόνας, µπορεί να προσφέρει αµεταβλητότητα περιστροφής και µετάθεσης, και εν µέρει αµεταβλητότητα σε αλλαγές φωτισµού και ασαφούς ή 3D προβολής (Lowe, 2004). H εφαρµογή του SIFT σε µία εικόνα παρέχει ένα σύνολο από κλειδιά που αναπαριστούν σηµεία ενδιαφέροντος, προκειµένου να συγκριθούν µε κλειδιά από µια βάση δεδοµένων του αντικείµενου προς αναζήτηση. Στην παρούσα υλοποίηση, αυτά τα κλειδιά χρησιµοποιούνται για την αντιστοίχηση της πρότυπης εικόνας «SIFT πρότυπο» και της πλέον πρόσφατης δειγµατοληπτηµένης εικόνας (frame). Τα αντιστοιχισµένα κλειδιά-σηµεία αναφέρονται ως «κοινά σηµεία». To διάγραµµα ροής του προγράµµατος αναγνώρισης «SIFT προτύπων» και ταυτοποίησης «πρότυπων ιστογραµµάτων» παρουσιάζεται στο Σχήµα 2.

Σχήµα 2 ιάγραµµα ροής του προγράµµατος αναγνώρισης «SIFT προτύπων» και ταυτοποίησης «πρότυπων ιστογραµµάτων» 3.1 Ταυτοποίηση µε SIFT Η δοµή της µεθόδου που υλοποιήθηκε αναπαρίσταται στο Σχήµα 2 και περιγράφεται συνοπτικά στην συνέχεια. Αν τα SIFT χαρακτηριστικά (κλειδιά) για την δειγµατοληπτηµένη εικόνα είναι περισσότερα από ένα κατώφλι, τότε το πρόγραµµα (Σχήµα 2), θα προσπαθήσει να ταιριάξει τα κλειδιά του «SIFT προτύπου» µε την εικόνα. Ένα πρότυπο επιλέγεται προς αναζήτηση κάθε φορά από µία βάση δεδοµένων στην RAM του υπολογιστή. Η παραπάνω διαδικασία είναι υπολογιστικά πολύπλοκη και για αυτό έχει χρησιµοποιηθεί µία παραλλαγή του αλγορίθµου K-D tree, ονοµαζόµενη µέθοδος αναζήτησης «best-bin-first» (Beis κ.α., 1997): µέθοδος λακωνική σε πολυπλοκότητα αλλά συνάµα αποτελεσµατική στους πλησιέστερους γείτονες. Το πρόγραµµα αντιστοιχεί τα SIFT χαρακτηριστικά µεταξύ προτύπου και εικόνας διαµέσου του K-D tree, αν ικανοποιείται ένα προκαθορισµένο κατώφλι για την τετραγωνισµένη αναλογία των αποστάσεων. Έπειτα εκτελείται ο αλγόριθµος RANSAC (Fischler κ.α., 1981) για τον υπολογισµό του βέλτιστου ασαφή µετασχηµατισµού (affine transform) εικόνας µεταξύ των αντίστοιχων SIFT χαρακτηριστικών του προτύπου και της εικόνας. Ο αλγόριθµος RANSAC, προέρχεται επίσης από την υλοποίηση του Hess (2010) του και χρησιµοποιείται για την εξαγωγή γεωµετρικών πληροφοριών µεταξύ των αντιστοίχων SIFT χαρακτηριστικών του προτύπου και της εικόνας. Ο RANSAC προσπαθεί να απορρίψει τις µη-έγκυρες τιµές από τα δεδοµένα µέσω µιας διαδικασίας επαναληπτικής επιλογής ενός τυχαίου υποσυνόλου από τα

αρχικά σηµεία. Αυτά είναι που χρησιµοποιούνται για την απόκτηση ενός µοντέλου το οποίο αξιολογείται για την συνέπειά του σε όλο το αρχικό σύνολο σηµείων. Όταν ολοκληρωθεί η διαδικασία, το πρόγραµµα βρίσκει τις 4 ακµές του «SIFT προτύπου» και τα εµφανίζει στη εικόνα της γραφικής διεπαφής χρήστη (GUI) ως top_left, top_right, bottom_left και bottom_right (Σχήµα 3, κέντρο). Σχήµα 3 Εφαρµογή του αλγορίθµου οπτικής ροής Lucas-Kanade για την οµαλή παρακολούθηση µεταξύ διαδοχικών SIFT αναγνωρίσεων. Η αντιστοιχία των SIFT χαρακτηριστικών µεταξύ του προτύπου και του frame («κοινά σηµεία») αποθηκεύεται σε δύο διανύσµατα. Χρησιµοποιείται επίσης ένας ακόµα πίνακας όπου αποθηκεύονται οι «αποστάσεις» των «κοινών σηµείων» από τις 4 ακµές του «SIFT προτύπου» στο frame που υπολογίστηκε µε τον RANSAC (top_left, top_right, bottom_left και bottom_right). Στην συνέχεια, όταν έρθει η νέα εικόνα (frame) και το νήµα (thread) που εκτελεί τον SIFT δεν έχει επιστρέψει (και δεν έχουν περάσει περισσότεροι από 3 κύκλοι χωρίς SIFT εντοπισµό) ώστε να έχουµε τις 4 νέες ακµές από τον RANSAC, οι νέες θέσεις των τελευταίων διαθέσιµων «κοινών σηµείων» εντοπίζονται διαµέσου του L-K αλγορίθµου. Χρησιµοποιώντας αυτές τις νέες θέσεις των «κοινών σηµείων» και τις «αποστάσεις» τους από τις 4 ακµές υπολογίζεται η νέα θέση των 4 ακµών. Το διάγραµµα ροής µε τον αλγόριθµο οπτικής ροής L-K για την οµαλή παρακολούθηση µεταξύ διαδοχικών SIFT αναγνωρίσεων βρίσκεται στο Σχήµα 3. 3.2 Ταυτοποίηση Πρότυπων Ιστογραµµάτων και επικοινωνία µε Matlab Όπως αναφέρθηκε στην εισαγωγή, το πρόγραµµα εκτελεί ακόµα µία λειτουργία εκτός από την αναγνώριση SIFT προτύπων. Κάνει ταυτοποίηση ιστογράµµατος από αποθηκευµένα «πρότυπα ιστογράµµατος». To πρόγραµµα χωρίζει την εικόνα σε επικαλυπτόµενα (στο κέντρο) τετράγωνα µεγέθους 20 εικονοστοιχείων και υπολογίζει το Hue ιστόγραµµα της εικόνας και του «προτύπου ιστογράµµατος». Έπειτα συγκρίνει τα δύο ιστογράµµατα, του προτύπου και του τµήµατος της εικόνας. Αν αυτή η σύγκριση δώσει τιµή πάνω από ένα συγκεκριµένο κατώφλι τότε θεωρεί ότι αυτή πρόκειται για σωστή ταυτοποίηση και υπερθέτει το «πρότυπο ιστογράµµατος» στο τµήµα του εικόνας που έγινε η ταυτοποίηση (Σχήµα 2, κάτω δεξιά στο κόκκινο πλαίσιο). Το πρόγραµµα αλληλεπιδρά µε το Matlab µέσω του χώρου εργασίας της, επικοινωνώντας έτσι µε τον ελεγκτή αυτόνοµης πτήσης. Το σχήµα 4 παρουσιάζει

διαγραµµατικά την ροή της επικοινωνίας του συστήµατος µηχανικής όρασης και του ελεγκτή πλοήγησης. Σχήµα 4 Ροή της πληροφορίας µεταξύ των συστηµάτων όρασης και πλοήγησης. 4 Στιγµιότυπα Εφαρµογής της Μεθόδου Στο Σχήµα 5 απεικονίζονται στιγµιότυπα της γραφική διεπαφής (GUI) του προγράµµατος. Το GUI αποτελείται από ένα παράθυρο για την SIFT αναζήτηση (αριστερά) και ένα για την αντιστοίχηση ιστογράµµατος (δεξιά). Το «πρότυπο SIFT» προς αναζήτηση βρίσκεται δεξιά µέσα στο µπλε πλαίσιο. Σχήµα 5 Στιγµιότυπο εφαρµογής του προγράµµατος µε το SIFT πρότυπο στο µπλε πλαίσιο. Οι 4 ακµές του προτύπου (Top_Left,Top_right κλπ) θα καθορίσουν τον προσανατολισµό τού κατά την SIFT αναζήτηση. Τα «πρότυπα ιστογράµµατος», βρίσκονται εντός του πλαισίου µε το πορτοκαλί χρώµα. Στα αριστερό κόκκινο πλαίσιο, φαίνονται 2 διακριτά στιγµιότυπα (µε διαφορά δειγµατολήπτης µερικών εικόνων) όπου το SIFT πρότυπο είναι κατά το µεγαλύτερο βαθµό διακριτό από την κάµερα. Στο δεξί κόκκινο πλαίσιο το πρότυπο είναι κατά τον µεγαλύτερο βαθµό οπτικά αποκλεισµένο. Και στις 2 περιπτώσεις η µέθοδος επιτυγχάνει µέσο ρυθµό ανανέωσης της τάξης των 13 εικόνων ανά δευτερόλεπτο, µε ανάλυση 320x240, σε υπολογιστή Intel Core 2 Duo 2.5 GHz µε Windows XP και 3.5 Gb RAM.

5 Συµπεράσµατα Στην παρούσα εργασία παρουσιάστηκε συνοπτικά ένα σύστηµα µηχανικής όρασης για χρήση σε µη-επανδρωµένα ελικόπτερα. Το πρόγραµµα αποσκοπεί στην αύξηση των διαθέσιµων πληροφοριών κατά την αυτόνοµη πλοήγηση βοηθώντας στο βέλτιστο προσανατολισµό του ελικοπτέρου χρησιµοποιώντας γνωστά ορόσηµα ως πρότυπες εικόνες προς εντοπισµό. Το λογισµικό έχει αναπτυχθεί µε την χρήση της OpenCV και αλληλεπιδρά µε τον ελεγκτή του ελικοπτέρου διαµέσου της Matlab engine. Προκαταρκτικές δοκιµές της µεθόδου δίνουν ελπιδοφόρα αποτελέσµατα για την χρήση σε αυτόνοµη πτήση. 6 ΒΙΒΛΙΟΓΡΑΦΙΑ Beis J., Lowe D. G. (1997), Shape indexing using approximate nearestneighbour search in high-dimensional spaces, in Conference on Computer Vision and Pattern Recognition, pp. 1000 1006, Puerto Rico, 1997. Campoy P., Correa J. F., Mondragón Ι., Carol M., Olivares Μ., Mejías L., Artied J. (2009), Computer Vision Onboard UAVs for Civilian Tasks, Journal of Intelligent and Robotic Systems, vol. 54, no. 1-3, pp. 105-135, 2009. Fischler M. A., Bolles R. C. (1981), Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography, Communications of the ACM, vol. 24, no. 6, pp. 381-395, 1981. Hess R. (2010), ιαθέσιµο: http://web.engr.oregonstate.edu/~hess/ Katzourakis D., Vitzilaios N., Tsourveloudis N. (2009), Vision Aided Navigation for Unmanned Helicopters, in the Proc. of the IEEE 17 th Mediterranean Conference on Control & Automation, June 2009, pp. 1245-1250. Lowe D. G. (2004), Distinctive image features from scale-invariant keypoints, International Journal of Computer Vision, vol. 60, no. 2, pp. 91-110, 2004. Lucas B. D., Kanade T. (1981), An iterative image registration technique with an application to stereo vision, in Proc. of the 7th IJCAI, pp. 674 679, Vancouver, Canada, 1981. Mondragon I. F., Campoy P., Correa J. F., Mejias L. (2007), Visual Model Feature Tracking for UAV Control, in IEEE International Symposium on Intelligent Signal Processing, 2007, pp. 1-6. OpenCV (2010) Open Source Computer Vision Library. ιαθέσιµο: http://opencv.willowgarage.com/wiki/ Vitzilaios N. I., Tsourveloudis N. C. (2009), An Experimental Test Bed for Small Unmanned Helicopters, Journal of Intelligent and Robotic Systems, vol. 54, no. 5, pp. 769-794, 2009.