ΤΟΜΕΑΣ: ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ (Τ. & Τ.Π.) Διπλωματική Εργασία

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ (Τ. & Τ.Π.) Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών ΛΥΜΠΕΡΗ ΔΗΜΗΤΡΙΟΥ του ΓΕΩΡΓΙΟΥ Αριθμός Μητρώου: 7043 Θέμα «Μελέτη κινδύνου σύγκρουσης αυτοκινούμενου οχήματος με μεθόδους μηχανικής όρασης» Επιβλέπων Αν. Καθηγητής Ε. ΔΕΡΜΑΤΑΣ Αριθμός Διπλωματικής Εργασίας: Πάτρα, Σεπτέμβριος 2015

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Μελέτη κινδύνου σύγκρουσης αυτοκινούμενου οχήματος με μεθόδους μηχανικής όρασης» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Λυμπέρη Δημητρίου του Γεωργίου Αριθμός Μητρώου:7043 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Ο Διευθυντής του Τομέα Ε. Δερματάς Ν. Φακωτάκης Αναπληρωτής καθηγητής Καθηγητής 2

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Μελέτη κινδύνου σύγκρουσης αυτοκινούμενου οχήματος με μεθόδους μηχανικής όρασης» Φοιτητής: Επιβλέπων: Λυμπέρης Δημήτριος Ευάγγελος Δερματάς Αναπληρωτής καθηγητής ΠΕΡΙΛΗΨΗ Η παρούσα εργασία έχει ως αντικείμενο τη μελέτη κινδύνου σύγκρουσης αυτοκινούμενου οχήματος και στόχο τη δημιουργία και εφαρμογή των κατάλληλων αλγορίθμων για την προσομοίωση ενός πραγματικού συστήματος. Η μέθοδος που θα εφαρμοστεί βασίζεται αποκλειστικά και μόνο στην μηχανική όραση και την ανάπτυξη αλγορίθμου που στηρίζεται στην εκτίμηση της οπτικής ροής. Η προσομοίωση γίνεται με τη χρήση μίας και μοναδικής κάμερας, όπως είναι και η βασική απαίτηση. Η στρατηγική ελέγχου αναπτύσσεται μέσα από τις πληροφορίες που αποσπώνται από την οπτική ροή, η οποία υπολογίζεται με επεξεργασία εικόνας, ενώ ταυτόχρονα γίνεται χρήση συγκεκριμένων τεχνικών για την τελική αποφυγή της σύγκρουσης. Στο κεφάλαιο 1 γίνεται η μελέτη της σχετικής με το θέμα βιβλιογραφίας, παρουσιάζονται παρόμοιες και διαφορετικές τεχνικές, ενώ αναφέρονται και τα αποτελέσματα και οι αξιολογήσεις που έγιναν από τους μελετητές. Στο κεφάλαιο 2 αναλύεται η θεωρία πάνω στην οποία στηρίζεται η παρούσα εργασία, και πιο συγκεκριμένα δίνεται ο ορισμός της οπτικής ροής, οι τρόποι αναπαράστασης της και οι διαφορετικές τεχνικές υπολογισμού της, ενώ γίνεται και σχετική σύγκριση ανάμεσα τους. 3

4 Στο κεφάλαιο 3 εφαρμόζεται η θεωρία και η συσσωρευμένη γνώση όπως αυτή προκύπτει από επιστημονικές εργασίες και εφαρμογές. Γίνεται εισαγωγή στα εργαλεία που χρησιμοποιήθηκαν για την εκτέλεση της εργασίας, προτείνεται συγκεκριμένη τεχνική και αναλύεται ο αλγόριθμος που στηρίζεται πάνω της, ενώ τέλος παρουσιάζονται τα αποτελέσματα της προσομοίωσης και γίνεται αξιολόγηση τους. Abstract The subject of this diploma thesis is the study of the collision danger of an autonomous vehicle and the main goal is to develop and apply proper algorithms in order to simulate a real system. The applied method is depending only in the mechanical vision by estimating optical flow. The main demand is the use of a single camera. The control strategy is being developed through the extracted information from the optical flow, which is calculated by using image processing, while some particular technics are being used for the desired obstacle avoidance. 4

5 Ευχαριστίες Η παρούσα εργασία εκπονήθηκε στο τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών του Πανεπιστημίου Πατρων και αποτελεί τον επίλογο της φοιτητικής μου περιόδου. Θα ήθελα αρχικά να ευχαριστήσω τον επιβλέποντα καθηγητή μου κ. Ε. Δερματά για την παρότρυνση του να ασχοληθώ με το συγκεκριμένο θέμα αλλά και για τις χρήσιμες συμβουλές του καθόλη τη διάρκεια της εργασίας. Ένα ευχαριστώ και στους φίλους που δημιούργησα όλα αυτά τα χρόνια για τις πολλές ευχάριστες στιγμές που περάσαμε και που κάναμε εν τέλη τα φοιτητικά χρόνια μια όμορφη ανάμνηση. Τέλος, το μεγαλύτερο ευχαριστώ είναι προς την οικογένεια μου, τον αδερφό και τους γονείς μου, που μου παρείχαν την απαραίτητη στήριξη και καθοδήγηση καθ όλο το μήκος της ζωής μου ως τώρα, και που με τις πολύτιμες συμβουλές τους βοήθησαν στην αντιμετώπιση όλων των δυσκολιών. 5

6 ΠΕΡΙΕΧΟΜΕΝΑ Περίληψη... 3 Εικόνες... 8 Σχήματα... 8 Εισαγωγή Μελέτη και επισκόπηση της βιβλιογραφίας Εισαγωγή Επισκόπηση σχετικών επιστημονικών άρθρων Souhila και Karim Low και Wyeth Thomas Jurriaans Loianno Σύνοψη Ανάλυση της θεωρίας Ορισμός της οπτικής ροής Προσέγγιση της οπτικής ροής μέσω βιολογικών μηχανισμών Προσέγγιση της οπτικής ροής μέσω της τεχνολογίας Τρόπος αναπαράστασης οπτικής ροής Τεχνικές εκτίμησης οπτικής ροής Correlation Based Methods Energy Based Methods Feature tracking Διαφορικές τεχνικές Σύγκριση τεχνικών αραιούς ( sparse ) και πυκνής ( dense ) αναπαράστασης πεδίου οπτικής ροής Ορισμός και ανάλυση του time to collision (TTC) Σύνοψη Προτεινόμενη τεχνική, προσομοίωση και αξιολόγηση Λειτουργικό σύστημα, περιβάλλον εργασίας και περιφερειακά Λειτουργικό σύστημα Visual Library

7 3.1.3 Γλώσσα προγραμματισμού Χαρακτηριστικά Hardware Ανάπτυξη του αλγορίθμου Εφαρμογή και αξιολόγηση της τεχνικής Υποθέσεις και συνθήκες περιβάλλοντος Προσομοίωση Αξιολόγηση Μελλοντικές βελτιώσεις Σύνοψη Συμπεράσματα Παράρτημα Βιβλιογραφία

8 ΕΙΚΟΝΕΣ Εικόνα 1-1: Υπολογισμός FOE Πηγή:[4] Εικόνα 2-1: Εδώ φαίνονται 2 διαδοχικά frames κατά τα οποία ένα όχημα ακολουθείται από κάμερα κατά την κίνηση του. Πηγή:[12] Εικόνα 3-1: Αρχική θέση εκκίνησης κάμερας Εικόνα 3-2: Η κάμερα πλησιάζει το εμπόδιο Εικόνα 3-3: Η κάμερα πλησιάζει το αντικείμενο περισσότερο Εικόνα 3-4: Στάσιμη κάμερα κοντά στο αντικείμενο Εικόνα 3-5: Αρχική θέση πριν τη στροφή Εικόνα 3-6: Αριστερόστροφη στρέψη με εμφάνιση διανυσμάτων οπτικής ροής Εικόνα 3-7: Εμφάνιση outliers χωρίς τη χρήση φίλτρων ΣΧΗΜΑΤΑ Σχήμα 1-1: Μπλοκ διάγραμμα πλοήγησης και αποφυγής εμποδίων Πηγή:[4] Σχήμα 1-2: Τριγωνοποίηση Delaunay Πηγή:[20] Σχήμα 1-3: Αναπαράσταση της μάσκας μπροστά από το ελικόπτερο Πηγή:[2] Σχήμα 2-1: Οπτική ροή στον αμφιβληστροειδή χιτώνα Πηγή:[5] Σχήμα 2-2: Pinhole camera model. Πηγή:[6] Σχήμα 2-3: Απλό παράδειγμα αναπαράστασης οπτικής ροής. Πηγή: [5] Σχήμα 2-4 : Πεδίο οπτικής ροής ( αραιή αναπαράσταση) των παραπάνω frames με αντιστοίχιση σημείων σύμφωνα με τον αλγόριθμο Lucas-Kanade. Πηγή: [12] Σχήμα 2-5 : Πεδίο οπτικής ροής (πυκνή αναπαράσταση) των παραπάνω frames, υπολογισμένο με τον αλγόριθμο Horn-Schunk Σχήμα 2-6: Time to Collision. Πηγή: [6]

9 ΕΙΣΑΓΩΓΗ Τα τελευταία χρόνια οι αυτοματοποιημένες εργασίες είναι ένα κλειδί στη διευκόλυνση της ζωής των ανθρώπων, σε πολλούς τομείς της καθημερινότητας τους. Ως εκ τούτου η χρήση κινητών robots και δει αυτόνομων, αλλά και η μεμονωμένη χρήση αισθητήρων που εφαρμόζονται στα robots είναι ευρέως διαδεδομένη. Συνεπώς, η ανάπτυξη νέων συστημάτων αυτόνομης κίνησης τους αλλά και η βελτιστοποίηση των ήδη υπαρχόντων, είναι ένας κλάδος που φαίνεται να παρουσιάζει μεγάλο ενδιαφέρον, με βάση την πλούσια βιβλιογραφία. Οι πραγματικού χρόνου εφαρμογές απαιτούν σύγχρονη τεχνολογία ώστε να εφαρμόζονται στα αυτόνομα κινητά robots. Η βασική απαίτηση είναι το αυξημένο επίπεδο απόκρισης και αξιοπιστίας του συστήματος με στόχο την βέλτιστη αυτονομία του. Αυτό επιτυγχάνεται κυρίως με ισχυρά, ως προς την υπολογιστική τους δύναμη, ηλεκτρονικά μέρη. Συνακόλουθος στόχος είναι η υλοποίηση με κατά το δυνατόν ευρέως διαθέσιμα απάρτια έτσι ώστε να επιτυγχάνεται η οικονομικότητα της κατασκευής. Η αυτονομία σημαίνει ότι το robot πρέπει να βασίζεται στην ικανότητα του να λαμβάνει επαρκείς πληροφορίες πλοήγησης από τους αισθητήρες του και να παίρνει αποφάσεις από μόνο του σχετικά με τις άμεσες κινήσεις του. Η πραγματική επιτυχία της αυτονομίας συμβαίνει όταν το robot είναι σε άγνωστο περιβάλλον και μέσα σε αυτό να καταφέρει να χτίσει ένα χάρτη πλοήγησης, παρατηρώντας στοιχεία του περιβάλλοντος, και στη συνέχεια να χρησιμοποιεί τον χάρτη αυτό για τις κινήσεις του στο χώρο[1]. Στη βιβλιογραφία το πρόβλημα αυτό είναι γνωστό ως Simultaneous Localization And Mapping ή, εν συντομία, SLAM. Η πλοήγηση, σύμφωνα με τα παραπάνω, είναι μια διαδικασία δύσκολη λόγω πολλών και πολύπλοκων προβλημάτων. Μερικά από αυτά είναι οι περιορισμοί στην υπολογιστική δύναμη του συστήματος, οι δυσκολίες στον εντοπισμό, την αναγνώριση και την παρακολούθηση των αντικειμένων και την μετάφραση των στοιχείων του περιβάλλοντος προκειμένου να αποφευχθεί η σύγκρουση με τα αντικείμενα. Το αντικείμενο της παρούσας εργασίας είναι η μελέτη κινδύνου σύγκρουσης ενός αυτόνομου οχήματος και στόχος της η δημιουργία και εφαρμογή των κατάλληλων αλγορίθμων για την προσομοίωση ενός πραγματικού συστήματος. Ένα τέτοιο σύστημα μπορεί να έχει εφαρμογή σε αυτοκίνητα προς αποφυγή σύγκρουσης με προπορευόμενα οχήματα, πεζούς αλλά και αντικείμενα στο 9

10 περιβάλλον τους, καθώς και άλλες χρήσεις όπως σε robots καθαρισμού χώρων, robots-καθοδηγητών για επισκέπτες μουσείων κλπ, robots για χαρτογράφηση περιοχής υψηλού και μη κινδύνου, και γενικά σε εφαρμογές που η ανθρώπινη καθοδήγηση δεν είναι απαραίτητη ή επιθυμητή.. Η γενική απαίτηση για την προσέγγιση και λύση του προβλήματος στην παρούσα εργασία είναι η χρήση μεθόδου μηχανικής όρασης, και συγκεκριμένα μίας και μοναδικής κάμερας έτσι ώστε να διατηρηθεί το κόστος μελλοντικής κατασκευής του ολοκληρωμένου συστήματος χαμηλό, αλλά και για να γίνει εφαρμογή της επεξεργασίας εικόνας και video για τον εντοπισμό των πλεονεκτημάτων που προσφέρει στη γενική λύση του προβλήματος. Τα στάδια για τη διαδικασία επίλυσης του προβλήματος συνοψίζονται ως εξής: Ανάλυση του γενικότερου προβλήματος σε πραγματικές συνθήκες. Μελέτη διαφορετικών προσεγγίσεων σύμφωνα με τη διεθνή βιβλιογραφία. Επιλογή λειτουργικού συστήματος, κατάλληλων περιφερειακών, και γλώσσας ανάπτυξης κώδικα για την προσομοίωση. Κατασκευή αλγόριθμου βασισμένου εξ' ολοκλήρου σε μέθοδο οπτικού εντοπισμού εμποδίων και αποφυγής τους σε πραγματικό χρόνο και μάλιστα επαρκώς ευέλικτου ώστε να είναι εφικτή η ανεξαρτησία του από το διαθέσιμο κάθε φορά hardware. Ανάλυση του αποτελέσματος του παραχθέντος κώδικα και διατύπωση σκέψεων για τη βελτίωση του ώστε να είναι εφικτή η ενσωμάτωση του σε πραγματικό σύστημα. Προτάσεις για μελλοντική αντιμετώπιση τυχόν προβλημάτων 10

11 1 ΜΕΛΕΤΗ ΚΑΙ ΕΠΙΣΚΟΠΗΣΗ ΤΗΣ ΒΙΒΛΙΟΓΡΑΦΙΑΣ Στο κεφάλαιο αυτό να θα γίνει η επισκόπηση και η παρουσίαση της μελέτης της βιβλιογραφίας και συγκεκριμένα επιστημονικών άρθρων και εργασιών που ασχολήθηκαν με την αποφυγή σύγκρουσης αυτόνομου οχήματος αέρος ή εδάφους. Η βασική μέθοδος που ακολουθήθηκε στην βιβλιογραφία που μελετήθηκε, είναι αυτή της μηχανικής όρασης και ειδικότερα της οπτικής ροής, ενώ θα γίνει αναφορά και σε διαφορετικές προσεγγίσεις, ώστε να γίνει η απαραίτητη σύγκριση και να εντοπιστούν τυχόν πλεονεκτήματα και μειονεκτήματα κάθε μεθόδου. 1.1 ΕΙΣΑΓΩΓΗ Για την αξιόπιστη πλοήγηση αυτόνομου οχήματος στο χώρο θα μπορούσαν να χρησιμοποιηθούν αισθητήρες όπως GPS για τον εντοπισμό της ακριβής θέσης του και συνεπώς για τη βοήθεια της χαρτογράφησης, sonars και lasers για τον υπολογισμό της απόστασής του από κάποιο αντικείμενο, πλήρες ενσωματωμένο σύστημα Kinect αισθητήρα για τον υπολογισμό του βάθους πεδίου, διπλές κάμερες για την 3-D αναπαράσταση του χώρου πλοήγησης, μεταξύ άλλων. Όλοι αυτοί οι αισθητήρες ωστόσο έχουν, ανάλογα με το επιδιωκόμενο αποτέλεσμα, διάφορα μειονεκτήματα: Μεγάλο κόστος, αυξημένος όγκος και βάρος του τελικού προϊόντος, πολυπλοκότητα στην ανάπτυξη του σχετικού αλγορίθμου πράγματα των οποίων επιδιώκεται η αποφυγή. Στη συνέχεια παρουσιάζονται εν συντομία 2 από αυτά, τα sonars και τα lasers, που αποτελούν πιθανές εναλλακτικές λύσεις για την αντιμετώπιση του προβλήματος της αποφυγής εμποδίου.[2] Sonars: Παράγουν ακουστικά κύματα και χρησιμοποιούν την αντήχηση για τον υπολογισμό της απόστασης από το αντικείμενο. Συγκεκριμένα, εφόσον είναι γνωστή η ταχύτητα του ακουστικού κύματος, υπολογίζεται η απόσταση sonar αντικείμενο - sonar και μεταφράζεται καταλλήλως. Τα πλεονεκτήματα που παρουσιάζουν τα sonars είναι τα εξής: Χαμηλό κόστος, Χαμηλή κατανάλωση ισχύος, Μέτρια απαιτούμενη υπολογιστική προσπάθεια. Στα μειονεκτήματα που έχουν περιλαμβάνονται και: 11

12 Περιορισμός στην γωνιακή και ακτινική ανάλυση όπως και στο εύρος της απόστασης που μπορεί να μετρηθεί. Μεγάλες συχνότητες μπορούν να προκαλέσουν μεγάλο θόρυβο ανάλογα με το έδαφος και το περιβάλλον που παράγεται η αντήχηση, μειώνοντας την ισχύ του μεταφερόμενου σήματος. Lasers : Γενικώς προτιμώνται από τα sonars για τους εξής λόγους: Υψηλή ακρίβεια, Καλή ανάλυση, Απλή χρήση, Εύκολη παραγωγή ισχυρών φωτεινών δεσμών με σχετικά μικρές ανάγκες παροχής ισχύος, Οι υπέρυθρες δέσμες μπορούν να χρησιμοποιηθούν διακριτικά, Δυνατότητα καλής εστίασης έτσι ώστε να παράγουν στενές δέσμες, Μεγάλη ευελιξία καθώς η κατεύθυνση της δέσμης μπορεί να ελέγχεται απευθείας από το σύστημα ελέγχου. Ωστόσο τα μειονεκτήματα που παρουσιάζουν είναι: Μεγάλο κόστος συγκριτικά με τα sonars και τις κάμερες Μπορούν να σκανάρουν γωνία μέχρι 180 ο ενώ οι κάμερες μέχρι 360 ο Μια διαδεδομένη και αρκετά αποτελεσματική μέθοδος, σύμφωνα με τη βιβλιογραφία, είναι η χρήση μονής κάμερας κάνοντας χρήση της οπτικής ροής και των πλεονεκτημάτων που προσφέρει ο υπολογισμός της. Βασικά πλεονεκτήματα που προσφέρει η χρήση αυτού του αισθητήρα είναι: Α. Οι κάμερες πλέον όχι μόνο γίνονται φθηνότερες και περισσότερο ποιοτικές ως προς την ανάλυση τους, αλλά είναι και πραγματικά μικροσκοπικές σε μέγεθος οπότε και μπορούν να ενσωματωθούν στο αυτόνομο όχημα πολύ εύκολα, Β. Ο υπολογισμός της οπτικής ροής είναι εφικτό να γίνει με τη χρήση μίας και μοναδικής κάμερας, γεγονός που μειώνει την υπολογιστική πολυπλοκότητα του συστήματος, 12

13 Γ. Μεγάλη σημασία έχουν επίσης και η χαμηλή κατανάλωση ενέργειας, το μικρό τους βάρος αλλά και οι πολύπλευρες προσεγγίσεις που μπορούν να χρησιμοποιηθούν μέσω αυτών. Εκτός από την τεχνική της οπτικής ροής, άλλες τεχνικές που έχουν εφαρμοστεί κατά καιρούς επικεντρώνονται σε διαφορετικά χαρακτηριστικά και πληροφορίες που μπορούν να δοθούν μέσω της μηχανικής όρασης. Η αναγνώριση του χρώματος και της υφής έχει χρησιμοποιηθεί για την διάτμηση του επιπέδου του εδάφους στις εικόνες ώστε να γίνεται εντοπισμός του εμπρόσθιου ελεύθερου χώρου 1. Η μέθοδος του εντοπισμού των ακμών των εμποδίων έχει εφαρμοστεί σε περιβάλλοντα τύπου διαδρόμου λόγω των πολλών συνιστωσών ευθείας γραμμής και της συνθήκης στατικού φωτισμού 2. Όλες αυτές οι μέθοδοι χρησιμοποιούν διαφορετικές πτυχές της εικόνας ώστε να δουλεύουν ικανοποιητικά στα διάφορα περιβάλλοντα που εφαρμόζονται. Ωστόσο αντιμετωπίζουν προβλήματα όταν καλούνται να εφαρμοστούν σε πιο γενικά περιβάλλοντα όπου παρατηρούνται σφάλματα λόγω των υποθέσεων που χρησιμοποιούνται εξ' αρχής από τις τεχνικές αυτές. Για παράδειγμα, η αναγνώριση της υφής υποθέτει πως η υφή του εδάφους παραμένει μόνιμα σταθερή, η αναγνώριση χρώματος υποθέτει ότι το χρώμα του αντικειμένου θα είναι πάντα διαφορετικό από αυτό του εδάφους ενώ ο εντοπισμός των ακμών απαιτεί αυστηρό μοντέλο συνιστωσών μνήμης και ένα καλό σύστημα SLAM. 1.2 ΕΠΙΣΚΟΠΗΣΗ ΣΧΕΤΙΚΩΝ ΕΠΙΣΤΗΜΟΝΙΚΩΝ ΑΡΘΡΩΝ Αρχικά γίνεται αναφορά στην μελέτη που άσκησε τη μεγαλύτερη επιρροή στην παρούσα εργασία, ώστε να γίνει η εισαγωγή και η κατανόηση συγκεκριμένων εννοιών απαραίτητων για τη πορεία της εργασίας, ενώ στη συνέχεια θα παρουσιαστούν και διαφορετικές ή παρόμοιες προσεγγίσεις άλλων μελετητών Souhila και Karim Οι Kahlouche Souhila και Achour Karim [4] ασχολήθηκαν με την αποφυγή εμποδίων μέσω της οπτικής ροής και η στρατηγική που ανέπτυξαν αναφέρεται στην ισορροπία της δεξιάς και αριστερής οπτικής ροής κατά την κίνηση του ρομπότ, με σκοπό την αποφυγή σύγκρουσης και την ασφαλή πλοήγηση. 1 Cheng and Zelinsky, 1998 όπως αναφέρεται στο [3] 2 Ohyaet al., 1997 όπως αναφέρεται στο [3] 13

14 Στο σχήμα 1 αποτυπώνεται η γενική ιδέα αντιμετώπισης του προβλήματος πλοήγησης και με λίγα λόγια περιγράφονται τα διάφορα στάδια. Στο επόμενο κεφάλαιο γίνεται εκτενέστερη ανάλυση της απαιτούμενης θεωρίας. Σχήμα 1-1: Μπλοκ διάγραμμα πλοήγησης και αποφυγής εμποδίων Πηγή:[4] Σύμφωνα με το μπλοκ διάγραμμα, η στρατηγική για αποφυγή εμποδίων είναι η εξής: Αρχικά μια σειρά από εικόνες λαμβάνεται από την χρησιμοποιούμενη κάμερα. Εν συνεχεία το σύστημα υπολογίζει τα διανύσματα της οπτικής ροής από τα ζεύγη εικόνων που λαμβάνονται. Για να γίνει ο προσανατολισμός του robot, ο υπολογισμός του σημείου εστίασης ( Focus of expansion-foe) στο επίπεδο της εικόνας είναι απαραίτητος διότι η πληροφορία από το σημείο αυτό χρειάζεται για το balance-strategy. Η πληροφορία σχετικά με το βάθος πεδίου, αναφέρεται στο αν το αντικείμενο είναι μπροστά η σχετικά κοντά στο όχημα, έτσι ώστε το robot να μπορεί να λαμβάνει απόφαση σχετικά με την αποφυγή του εμποδίου η όχι. Στην πραγματικότητα ο υπολογισμός της οπτικής ροής περιέχει πληροφορίες για το FOE, το χρόνο μέχρι τη σύγκρουση (time to contact-ttc) αλλά και το βάθος πεδίου. Παρακάτω περιγράφονται οι έννοιες αυτές αναλυτικότερα όπως προκύπτουν από την εργασία των Souhila και Karim [4] Οπτική ροή και κανόνες ελέγχου Για τον υπολογισμό της οπτικής ροής χρησιμοποιήθηκε η διαφορική μέθοδος των Horn-Schunk, και πάνω στην οπτική ροή βασίζονται οι αποφάσεις πλοήγησης για την ισορροπία ανάμεσα στη δεξιά και αριστερή ροή. Καθώς ένα σημείο παρατήρησης κινείται στον χώρο, το πρότυπο της φωτεινότητας που ανακλάται στο σημείο αυτό αλλάζει συνεχώς, δημιουργώντας έτσι οπτική ροή. Το robot μπορεί να 14

15 χρησιμοποιήσει αυτή τη πληροφορία για να επιτύχει συγκεκριμένου τύπου ροή. Για παράδειγμα, για να διατηρήσει προσανατολισμό στο περιβάλλον, δεν απαιτείται κανένα είδος ροής. Εφόσον εντοπιστεί κάποια ροή, τότε το robot πρέπει να μεταβάλλει τις δυνάμεις που παρήχθησαν από τους τελεστές του ( πχ φτερά, ρόδες ή πόδια), ώστε να την ελαχιστοποιήσει, σύμφωνα με τον κανόνα ελέγχου 3 ΔF internal = f(δflow) Συνεπώς, η μεταβολή των εσωτερικών δυνάμεων του robot είναι μια συνάρτηση της μεταβολής της οπτικής ροής (από μηδενική ροή έως κάποια ροή). [4] Focus of Expansion (FOE) Για τη μεταφορική κίνηση της κάμερας, τα διανύσματα της κίνησης της εικόνας απομακρύνονται από ένα μοναδικό σημείο και αντιστοιχούν στην προβολή των διανυσμάτων μεταφοράς του επιπέδου της εικόνας. Το σημείο αυτό ονομάζεται Focus of Expansion. Yπολογίζεται με βάση τον κανόνα ότι, τα διανύσματα ροής είναι προσανατολισμένα σε συγκεκριμένες κατευθύνσεις, σχετικές με το FOE. Ειδικότερα, η οριζόντια συνιστώσα hl του διανύσματος ροής L στα αριστερά του FOE, στοχεύει προς τα αριστερά, ενώ ταυτόχρονα η οριζόντια συνιστώσα hr του διανύσματος ροής R στα δεξιά του FOE στοχεύει προς τα δεξιά, όπως παρουσιάζεται και στην εικόνα 1. Εικόνα 1-1: Υπολογισμός FOE Πηγή:[4] Σε ένα πλήρες πεδίο οπτικής ροής, η οριζόντια τοποθεσία του FOE, που αντιστοιχεί στη θέση όπου η πλειοψηφία των οριζόντιων συνιστωσών αποκλίνουν 4, μπορεί να υπολογιστεί χρησιμοποιώντας μια απλή αριθμητική μέθοδο που να αντιστοιχίζει τα σημεία των οριζόντιων συνιστωσών που επικεντρώνονται στην τοποθεσία κάθε εικόνας. Στο σημείο που η απόκλιση αυτή γίνει μέγιστη, η 3 Andrew, P.D.; William H. & Lelise P. K., 1998 όπως αναφέρεται στο [4] 4 Negahdaripour, S. & Horn, K.P., 1989, όπως αναφέρεται στο [4] 15

16 διαφορά μεταξύ των συνιστωσών hl στα αριστερά του FOE και του αριθμού των συνιστωσών hr στα δεξιά του FOE θα ελαχιστοποιηθεί. Παρομοίως μπορεί να γίνει εκτίμηση της κάθετης τοποθεσίας του FOE αναγνωρίζοντας τη θέση στην οποία η πλειοψηφία των κάθετων συνιστωσών αποκλίνουν. [4] Time to - contact (TTC) Ο χρόνος μέχρι τη σύγκρουση (time-to-contact ή time-to-collision) μπορεί να υπολογιστεί από την οπτική ροή που εξάγεται από τις διαδοχικές εικόνες μονής κάμερας που λαμβάνονται κατά τη διάρκεια της κίνησης. Η ταχύτητα των εικόνων μπορεί να περιγραφεί ως μια συνάρτηση των παραμέτρων της κάμερας και να χωριστεί σε 2 μέρη, εξαρτώμενη από τις περιστροφικές Vr και τις μεταφορικές συνιστώσες Vt της ταχύτητας της κάμερας V αντίστοιχα. Το περιστροφικό κομμάτι του πεδίου ροής μπορεί να υπολογιστεί από συγκεκριμένα δεδομένα όπως την περιστροφή της κάμερας και το εστιακό μήκος. Μόλις η ολική οπτική ροή υπολογιστεί το Vt μπορεί να οριστεί εξάγοντας το Vr από το V. Από την οπτική ροή λόγω μεταφορικής κίνησης το TTC μπορεί να υπολογιστεί ως εξής 5 : TTC = Δ i V t Το Δi είναι η απόσταση ενός σημείου (xi, yi), στο επίπεδο της εικόνας, από το FOE Βάθος πεδίου Χρησιμοποιώντας την οπτική ροή που έχει υπολογιστεί από δύο διαδοχικές εικόνες, μπορεί να βρεθεί η πληροφορία που αφορά το βάθος πεδίου από κάθε διάνυσμα ροής συνδυάζοντας τον υπολογισμό του χρόνου μέχρι τη σύγκρουση και την ταχύτητα του οχήματος κατά την οποία λαμβάνονται και οι διαδοχικές εικόνες. X = V T όπου το Χ είναι το βάθος, V η ταχύτητα του οχήματος και Τ είναι το TTC που υπολογίστηκε για κάθε διάνυσμα της οπτικής ροής. [4] 5 Tresilian, J., 1990, όπως αναφέρεται στο [4] 16

17 Η στρατηγική για την αποφυγή εμποδίων Η κεντρική ιδέα είναι η παράλλαξη της κίνησης, κατά τη μεταφορική κίνηση του robot, όπου τα κοντινότερα αντικείμενα παράγουν μεγαλύτερη κίνηση στο μάτι της κάμερας απ ότι τα αντικείμενα που βρίσκονται πιο μακριά. Επίσης βασίζεται στα πλεονεκτήματα της προοπτικής όπου, τα κοντινότερα αντικείμενα περιέχονται σε μεγαλύτερο βαθμό στο οπτικό πεδίο πολώνοντας τη μέση τιμή προς τη συσχετιζόμενη ροή. Το όχημα απομακρύνεται από την πλευρά με την μεγαλύτερη ροή. Αυτός ο κανόνας ελέγχου παρουσιάζεται στον εξής τύπο: όπου: Δ(F L -F R ) είναι η διαφορά των δυνάμεων στις 2 πλευρές του οχήματος και w L, w R είναι τα αθροίσματα των μεγεθών της οπτικής ροής στο οπτικό πεδίο της πλευράς που κινείται το όχημα.[4] Το αποτέλεσμα της συνολικής στρατηγικής που περιγράφτηκε κρίθηκε ικανοποιητικό και με το ρομπότ να πλοηγείται με ασφάλεια στο χώρο του πειράματος. Ωστόσο αυτό που παρατηρήθηκε από τους Souhila και Karim είναι ότι οι συνθήκες φωτισμού είναι κρίσιμης σημασίας για τον εντοπισμό εμποδίου διότι η εικόνα που λαμβάνεται σε κατάσταση χαμηλού φωτισμού περιέχει αρκετό θόρυβο με αποτέλεσμα η εκτίμηση της οπτικής ροής να παράγει σφάλματα. [4] Low και Wyeth Οι Toby Low και Gordon Wyeth [3] στη δική τους μελέτη ασχολήθηκαν με την οπτική ροή σαν μέθοδο αναγνώρισης εμποδίων, αλλά την χρησιμοποίησαν ως υποσύστημα ενός μεγαλύτερου συστήματος που αφορά οπτικές μεθόδους. Μάλιστα, έκαναν και συγκρίσεις μεταξύ της αποτελεσματικότητας της οπτικής ροής έναντι της χρήσης sonars και lasers. Βασικός τους στόχος ήταν η εκμετάλλευση των πληροφοριών που παρέχει το περιβάλλον τριών διαστάσεων για την παραγωγή ενός χάρτη απόστασης. Με βάση αυτό έγινε και η παραπάνω σύγκριση. 17

18 Η επιλεγμένη μέθοδος για τον υπολογισμό της οπτικής ροής ήταν η βασισμένη στα κυριότερα χαρακτηριστικά της εικόνας μέθοδος και όχι κάποια διαφορική. Σύμφωνα με αυτή, τα χαρακτηριστικά που επιλέχθηκαν για να γίνει ανίχνευση είναι οι γωνίες των αντικειμένων, κάνοντας χρήση του αλγορίθμου των Harris and Stephens [33]. Στη συνέχεια για τον υπολογισμό της ροής και την εξαγωγή των διανυσμάτων έγινε αντιστοίχιση των χαρακτηριστικών αυτών στις διαδοχικές εικόνες. Τέλος, μετά και τον υπολογισμό του TTC, δημιουργήθηκε ο χάρτης των εμποδίων, χρησιμοποιώντας τις πληροφορίες του TTC σαν μετρητή εγγύτητας. Στη διαδικασία εξαγωγής των απαιτούμενων από το τρισδιάστατο περιβάλλον, παρουσιάστηκαν 3 σημαντικά προβλήματα: Πρώτον το ρομπότ έπρεπε να κινείται με μικρή ταχύτητα προκειμένου να είναι ομαλή η κίνηση και ως εκ τούτου παρήχθησαν φτωχά και τραχιά δεδομένα οπτικής ροής. Αυτό το έλυσαν με την ανάλυση και την ανίχνευση στοιχείων μέσα από 5 συνεχόμενες επιτυχημένες εικόνες. Δεύτερο πρόβλημα ήταν τα σφάλματα περιστροφής και ταλαντώσεων, το οποίο και αντιμετώπισαν με τη χρήση γυροσκοπίου πάνω στο ρομπότ. Τρίτο πρόβλημα ήταν οι παραμορφώσεις λόγω του φακού της κάμερας, το οποίο λύθηκε με calibration της κάμερας. Τα πειράματα που διεξήχθησαν ήταν δυο. Πρώτον σε ευθεία γραμμή ανάμεσα από δύο τεχνητά εμπόδια και φόντο χωρίς γωνίες. Δεύτερον σε αργή καμπυλωτή κίνηση κατά την οποία το ρομπότ έκανε μια δεξιόστροφη αργή κίνηση ανάμεσα σε πραγματικά εμπόδια. Συνοπτικά στα πειράματα αυτά η χρήση της οπτικής ροής ήταν πολύ πιο αποτελεσματική από το sonar στον υπολογισμό της απόστασης και ως εκ τούτου του χρόνου πριν τη σύγκρουση, για την τελική αποφυγή του εμποδίου. Αυτό όμως δε συνέβη και έναντι της χρήσης laser, το οποίο αποδεικνύεται περισσότερο ικανό στον υπολογισμό της απόστασης. Ωστόσο η διαφορά της απόδοσης της οπτικής ροής έναντι του laser μηδενίζεται σε περιπτώσεις όπου η ανάλυση της κάμερας ήταν μεγαλύτερη αλλά και η ταχύτητα του οχήματος αυξημένη, στην οποία περίπτωση το laser δεν απέδωσε εξ ίσου αποτελεσματικά. Υπήρχαν αρκετά σφάλμα στην τεχνική που ακολούθησαν αλλά ήταν αποδεκτά καθώς ο αλγόριθμος τους δεν δημιουργήθηκε για την αυτόνομη λειτουργία του αλλά ως μέρος ενός γενικότερου αλγορίθμου βασισμένου στην όραση. Ωστόσο εξήχθησαν πολύτιμες πληροφορίες και σύμφωνα με την άποψη τους με το συνδυασμό μεθόδων αναγνώρισης χρώματος, υφής και ακμών, 18

19 μπορεί να παραχθεί ένα ολοκληρωμένο και αξιόπιστο σύστημα βασισμένο στη γενικότερη μέθοδο της μηχανικής όρασης. [3] Thomas Η Teyvonia Thomas [20] αντιμετώπισε το ίδιο πρόβλημα με την παρούσα εργασία βασιζόμενη στην παραλλαγή της κίνησης, η οποία είναι η γωνιακή αλλαγή δύο σταθερών σημείων κατά μήκος δύο διαφορετικών οπτικών γραμμών, λόγω της κίνησης του παρατηρητή. Κατά την κίνηση, τα μακρινά αντικείμενα φαίνονται να κινούνται πιο αργά απ' ότι τα κοντινότερα δίνοντας έτσι μια ιδέα του βάθους. Ο αλγόριθμος αραιής οπτικής ροής που αναπτύχθηκε, επικεντρώνονταν κυρίως σε δύο βήματα, την επιλογή χαρακτηριστικών σημείων και την παρακολούθηση τους. Η επιλογή των σημείων έγινε με τη χρήση του αλγορίθμου Shi-Tomashi, ενώ η παρακολούθηση τους με τη χρήση του αλγορίθμου Pyramidal Lucas-Kanade. Στη συνέχεια έγινε χρήση της τριγωνοποίησης του Delaunay προκειμένου να εντοπιστούν οι γειτονιές των σημείων που παίρνουν μέρος στην οπτική ροή. Η μέθοδος αυτή δημιουργεί τριγωνικές ομάδες κορυφών ώστε η ελάχιστη γωνία όλων των γωνιών της τριγωνοποίησης να μεγιστοποιηθεί. Το παρακάτω σχήμα παρουσιάζει την τριγωνοποίηση. Σχήμα 1-2: Τριγωνοποίηση Delaunay Πηγή:[20] Η τριγωνοποίηση έγινε κατά τέτοιο τρόπο ώστε κανένας κύκλος που περνά από τρία σημεία της τριγωνοποίησης, να μην περιέχει άλλο σημείο στο σετ των κορυφών. 19

20 Έπειτα υπολογίστηκε η αλλαγή της τοπικής κλίμακας για κάθε χαρακτηριστικό σημείο με βάση την εξής λογική: - Καθώς το ρομπότ κινείται προς το εμπόδιο, η απόσταση μεταξύ των γειτονικών χαρακτηριστικών σημείων μικραίνει - Ο εντοπισμός της τοπικής κλίμακας για κάθε χαρακτηριστικό σημείο δύο διαδοχικών frames γίνεται με την ακόλουθη εξίσωση: Έπειτα οριοθετείται η τιμή της τοπικής κλίμακας ώστε s_i(j) > γ_s (γ_s = 0,1 max(s_i(j)). Τέλος υπολογίζεται το TTC με την ακόλουθη εξίσωση: t_i(j) = 1/ s_i(j) Ένα από τα προβλήματα που εμφανίστηκαν ήταν η σταθεροποίηση του βίντεο. Καθώς το ρομπότ κινούνταν στο έδαφος, παράγονταν ταλαντώσεις στην κάμερα με αποτέλεσμα να παραχθούν σφάλματα κατά τον υπολογισμό της οπτικής ροής. Άλλο πρόβλημα ήταν φτωχή υφή των εισαγόμενων εικόνων, το οποίο αντιμετωπίστηκε τοποθετώντας εφημερίδες στους τοίχους αλλά και με χρήση εμποδίων με πλούσια υφή, ώστε να είναι ευκολότερος ο εντοπισμός χαρακτηριστικών σημείων. Τέλος, άλλο πρόβλημα που παρουσιάστηκε ήταν η θολή εικόνα λόγω της υψηλής σχετικά ταχύτητας του ρομπότ, που αντιμετωπίστηκε απλά προγραμματίζοντας το ρομπότ να κινείται με μικρότερη ταχύτητα, κάτι που όμως δεν είναι ρεαλιστικό σε πραγματικές συνθήκες Jurriaans Ο Robrecht Jurriaans [21] ασχολήθηκε με την αυτόνομη πλοήγηση στον αέρα ενός ΑR.Drone επίσης με τη χρήση μίας μόνο κάμερας υπολογίζοντας την οπτική ροή. Οι αλγόριθμοι χρησιμοποιήθηκαν ήταν οι: Shi-Tomashi, RANSAC και Hartley. 20

21 Μέσω του αλγόριθμου Shi-Tomashi έγινε ο εντοπισμός των χαρακτηριστικών σημείων για την ανίχνευση τους σε κάθε διαδοχική εικόνα. Ο αλγόριθμος RANSAC με τη σειρά του χρησιμοποιήθηκε για την εκτίμηση του θεμελιώδους πίνακα, ο οποίος περιέχει τη σχέση μεταξύ των δύο frames με την οποία μπορεί να δοθεί η τοποθεσία κάθε εικονοστοιχείου από το ένα frame στο επόμενο. Σε περίπτωση που η φυσική σχέση μεταξύ των δύο frames είναι γνωστή, ο θεμελιώδης πίνακας μπορεί να χρησιμοποιηθεί για την δημιουργία του ουσιώδους πίνακα, ο οποίος παρέχει την ίδια πληροφορία, αλλά σε φυσικές συντεταγμένες αντί σε συντεταγμένες εικονοστοιχείων. Μετά τον υπολογισμό του θεμελιώδους πίνακα, οι εικόνες μπορούν να διορθωθούν με τη χρήση του αλγόριθμου του Hartley, χωρίς να κρίνεται απαραίτητο το calibration. Αυτό που ουσιαστικά κάνει ο αλγόριθμος αυτός είναι να βρίσκει τις ομογραφίες που τοποθετούν τα epipoles στο άπειρο ενώ ελαχιστοποιεί τις υπολογισμένες ανισότητες. Αυτό γίνεται ταιριάζοντας σημεία μεταξύ των ζευγαριών εικόνων. Το πρόβλημα που προκύπτει είναι ότι ο αλγόριθμος αυτός δεν υπολογίζει την κλίμακα. Αυτό έχει ως αποτέλεσμα το ότι η τριών διαστάσεων ανακατασκευή μπορεί να προσδιοριστεί μόνο ως μια μετασχηματιζόμενη προβολή. Αυτό σημαίνει επίσης ότι διαφορετικές προβολές ενός αντικειμένου μπορεί να εμφανίζεται με τον ίδιο τρόπο όταν γίνεται η διαμόρφωση των χαρακτηριστικών σημείων. Πειραματικά τώρα, έγινε χρήση κάμερας ανάλυσης 320x240 pixels, υπολογίστηκε η οπτική ροή της οποίας τα διανύσματα χρησιμοποιήθηκαν για τον υπολογισμό του θεμελιώδους πίνακα ο οποίος με τη σειρά του ήταν η είσοδος για τον αλγόριθμο του Hartley. Ο χάρτης ανομοιοτήτων που παράχθηκε ήταν χαμηλής ποιότητας και με πολλά χαμένα εικονοστοιχεία, λόγω της αραιής αναπαράστασης της οπτικής ροής που χρησιμοποιήθηκε. Για την αύξηση της απόδοσης τοποθετήθηκε υφή στους τοίχους αλλά και έγινε χρήση κάμερας μεγαλύτερης ανάλυσης, με το συνδυαστικό αποτέλεσμα αυτών να είναι ο καλύτερος εντοπισμός χαρακτηριστικών σημείων. Οι περιορισμοί που υπήρχαν κατά την πειραματική διαδικασία με τη χρήση κάμερας χαμηλής ανάλυσης ήταν αρκετοί. Παρ' όλο που ο αλγόριθμος ήταν ικανός να δημιουργεί χάρτη ανομοιοτήτων, δεν ήταν τόσο σθεναρός όσο της κλασικής μεθόδου στερεοσκοπικής όρασης. Εξαιτίας των δεδομένων ταχύτητας που υπάρχουν κατά την εφαρμογή της πλοήγησης σε συνθήκες πραγματικού χρόνου, ο χρησιμοποιούμενος αλγόριθμος για την στερεοσκοπική όραση μονής κάμερας, πρέπει να εφαρμοστεί κατά τέτοιο τρόπο ώστε να δίνει βάση στη σθεναρότητά του. Αυτό σημαίνει ότι ο υπολογισμός του RANSAC πρέπει να τερματίζεται μετά από μικρότερο αριθμό επαναλήψεων. Έτσι γίνεται δύσκολο 21

22 για τον αλγόριθμο αυτό να χρησιμοποιηθεί σε συνθήκες που υπάρχει έλλειψη πλούσιας υφής στο περιβάλλον. Άλλος περιορισμός είναι ότι δε μπορεί να υπολογιστεί το βάθος πεδίου εφόσον δεν υπολογίζεται οποιαδήποτε κλίμακα, οπότε είναι περισσότερο αλγόριθμος αναγνώρισης μονοπατιού απ' ότι αναγνώρισης απόστασης. Αυτοί οι περιορισμοί επηρεάζουν τη δημιουργία χάρτη ανομοιοτήτων. Μετά τη χρήση όμως κάμερας υψηλότερης ανάλυσης η εφαρμογή του RANSAC ήταν πιο αποδοτική αφού τα στοιχεία θορύβου που απορρίπτονταν ήταν περισσότερα, οπότε και ο χάρτης ανομοιοτήτων ήταν καλύτερης ποιότητας. [21] Loianno Ο Giuseppe Loianno [2] στη δική του εργασία, ασχολήθηκε επίσης με τον έλεγχο οχήματος αέρος με βάση την οπτική ροή. Η κάμερα που χρησιμοποίησε για το σκοπό αυτό ήταν μια παγκατευθυντική γωνίας θέασης 150 μοιρών στην οποία έγινε calibration πριν τη χρήση της. Η διαδικασία που ακολούθησε για τον υπολογισμό της οπτικής ροής είναι η εξής: Προσδιορισμός των χαρακτηριστικών σημείων. Η μέθοδος που ακολούθησε ήταν ο προσδιορισμός αυστηρού αριθμού σημείων σε ολόκληρο το πλάνο της εικόνας και σε σημεία που επιλέχτηκαν από τον ίδιο. Η κλασική μέθοδος των Shi-Tomashi δεν επιλέχθηκε διότι όπως αναφέρει, για την σίγουρη εφαρμογή του όλου αλγόριθμου, πρέπει το περιβάλλον να είναι ακριβώς το ίδιο, αλλιώς ο εντοπισμός σημείων θα μπορούσε να είναι αμφίρροπος όσο αφορά τη δεξιά και αριστερή πλευρά της εικόνας και να απαιτηθεί μεγαλύτερη υπολογιστική ισχύς. Mask on the feature points. Για την αποφυγή της λανθασμένης εκτίμησης της οπτικής ροής και της θέσης του ρομπότ, έπρεπε να εφαρμοστεί μια μάσκα για να μην συμπεριλαμβάνονται χαρακτηριστικά σημεία τα οποία θα συνέβαλαν σε λανθασμένη εκτίμηση. Συγκεκριμένα, σημεία μπροστά και πίσω από το ελικόπτερο θα μπορούσαν να αφαιρεθούν. Οπότε για να γίνει αυτό χρησιμοποιήθηκαν δύο μάσκες των 50 μοιρών, όπου κάθε μία καλύπτει 25 μοίρες στις δύο κατευθύνσεις γύρω από τον άξονα Ζ αναφορικά με τον Χ, όπως φαίνεται στην ακόλουθη εικόνα. 22

23 Σχήμα 1-3: Αναπαράσταση της μάσκας μπροστά από το ελικόπτερο Πηγή:[2] Υπολογισμός οπτικής ροής. Για τον υπολογισμό της οπτικής ροής χρησιμοποιήθηκε ο αλγόριθμος Pyramidal Lucas-Kanade Optical flow mask. Εξαιτίας της παρουσίας θορύβου κατά τον υπολογισμό της οπτικής ροής αλλά και τον λανθασμένων αντιστοιχιών χαρακτηριστικών σημείων, εφαρμόστηκε μία μάσκα για την αποφυγή αυτών των outliers. Η μάσκα αυτή απορρίπτει τη ροή που είναι έξω από το εύρος των 120 και 240 μοιρών γύρω από τον άξονα Ζ. Υπολογισμός σχετικού χάρτη βάθους πεδίου. Η προσέγγιση εδώ έγινε με βάση την οπτική ροή λόγω μεταφορικής και περιστροφικής κίνησης. Βασικός σκοπός ήταν η αφαίρεση της ροής που αποδίδονταν στην περιστροφική καθώς δε συμμετείχε στην εύρεση του βάθους πεδίου. Το συμπέρασμα που βγήκε ήταν ότι το κυριότερο πρόβλημα που εμφανίστηκε ήταν τα σφάλματα λόγω ταλαντώσεων. Η γνώμη του Giussepe Loianno είναι ότι σε περίπτωση που είχε εφαρμοστεί κάποιο φίλτρο που δρούσε απευθείας πάνω στα χαρακτηριστικά ενδιαφέροντος, το αποτέλεσμα θα ήταν μερικώς αποδεκτό. Συγκεκριμένα φίλτρα όπως συχνότητας και μέσης τιμής δίνουν καλύτερα αποτελέσματα, αλλά η καθυστέρηση που εισάγεται είναι αρκετά μεγάλη για την αντιμετώπιση πραγματικών προβλημάτων. [2] 1.3 ΣΥΝΟΨΗ Στο κεφάλαιο αυτό παρουσιάστηκαν τα σχετικότερα άρθρα και εργασίες που ακολουθούν τη μέθοδο της οπτικής ροής, με διαφορετικές προσεγγίσεις του κάθε μελετητή στην ανάπτυξη του εκάστοτε αλγορίθμου. Η λειτουργία κάθε προσέγγισης ήταν εμφανής, στις συνθήκες στις οποίες υποβλήθηκαν τα πειράματα, με άλλες προσεγγίσεις να είναι περισσότερο αποτελεσματικές από κάποιες άλλες, ενώ φάνηκαν και τα πλεονεκτήματα αλλά και τα μειονεκτήματα που παρουσίασε η 23

24 κάθε προσέγγιση ξεχωριστά. Σε κάθε περίπτωση η ενημέρωση και η γνώση που παρείχαν αυτές οι μελέτες και οι εργασίες είναι πολύτιμη για μελλοντικές βελτιώσεις και εφαρμογή παραλλαγών τους. 24

25 2 ΑΝΑΛΥΣΗ ΤΗΣ ΘΕΩΡΙΑΣ Στο κεφάλαιο αυτό θα παρουσιαστεί όλη η θεωρία πάνω στην οποία στηρίζεται η παρούσα εργασία. Θα δοθεί ο ορισμός της οπτικής ροής, ο τρόπος αναπαράστασης της και οι διάφορες τεχνικές υπολογισμού της. Εκτενέστερη αναφορά και ανάλυση θα γίνει σε μεθόδους διαφορικών τεχνικών πάνω στις οποίες θα γίνει και η σχετική εφαρμογή, αλλά και στις διαφορές που παρουσιάζουν μεταξύ τους ΟΡΙΣΜΟΣ ΤΗΣ ΟΠΤΙΚΗΣ ΡΟΗΣ Ως οπτική ροή ορίζεται η φαινομενική μετατόπιση που αντιλαμβάνεται κάποιος παρατηρητής μιας σκηνής η οποία οφείλεται στην σχετική κίνηση του παρατηρητή και των αντικειμένων που συνθέτουν την σκηνή. Τα παραδείγματα που ακολουθούν βοηθούν στην κατανόηση του ορισμού που δόθηκε. Έστω ένας παρατηρητής ταξιδεύει με αυτοκίνητο και κοιτάζει έξω από το παράθυρο. Όλα τα αντικείμενα που βλέπει να προσπερνάει το αυτοκίνητο (κτήρια, δέντρα, άλλα αυτοκίνητα) φαίνεται να κινούνται προς τα πίσω. Αντίθετα ένα αεροπλάνο φαίνεται να κινείται προς τα εμπρός. Η σχετική αυτή μετατόπιση που παρατηρείται ονομάζεται οπτική ροή. Αξίζει να σημειωθεί εδώ ότι υπάρχουν εξαρτήσεις μεταξύ του μέτρου της οπτικής ροής που παρατηρείται και της σχετικής θέσης των αντικειμένων, καθώς επίσης και της ταχύτητας με την οποία κινούνται τα αντικείμενα. Για παράδειγμα η ταχύτητα είναι ανάλογη του μέτρου της οπτικής ροής, δηλαδή εάν διπλασιαστεί η ταχύτητα με την οποία κινείται ο παρατηρητής διπλασιάζεται και το μέτρο της οπτική ροής. Αντίθετα, η απόσταση από το αντικείμενο είναι αντιστρόφως ανάλογη του μέτρου της οπτικής ροής, δηλαδή εάν διπλασιαστεί η απόστασή του από κάποιο αντικείμενο που παρακολουθεί, το μέτρο της οπτικής ροής θα υποδιπλασιαστεί. Υποτίθεται τώρα ότι μία κάμερα καταγράφει έναν χώρο στον οποίο κινούνται κάποια σώματα. Αν παρατηρηθούν δύο διαδοχικά πλαίσια του βίντεο θα γίνει εμφανές ότι τα σώματα 6 Στηριγμένο στο [5] 25

26 βρίσκονται σε διαφορετική θέση στο δεύτερο πλαίσιο σε σχέση με το πρώτο. Η οπτική ροή περιγράφει την μετατόπιση αυτή. Αριθμητικά, το μέτρο της οπτικής ροής αντιπροσωπεύει το κατά πόσα εικονοστοιχεία (pixels) μετατοπίστηκε το κάθε σώμα σε χρόνο t t = 1 fps (2.1) όπου fps (frames per sec) είναι η ταχύτητα δειγματοληψίας της κάμερας Προσέγγιση της οπτικής ροής μέσω βιολογικών μηχανισμών Έχοντας 7 κατά νου ότι πάντα η τεχνολογία προσπαθεί να αντιγράψει τους βιολογικούς μηχανισμούς και το ανθρώπινο σώμα προκειμένου να δώσει λύση σε προβλήματα και να δημιουργήσει καινούριες τεχνικές και μεθόδους, σε αυτό το σημείο θα δοθεί ένας ορισμός της οπτικής ροής ο οποίος βασίζεται στη βιολογία: Ως οπτική ροή για μία σκηνή η οποία προβάλλεται στον αμφιβληστροειδή χιτώνα του ματιού, ορίζεται η αλλαγή του τρόπου πρόσπτωσης των ακτίνων του φωτός στον αμφιβληστροειδή κάτι το οποίο δίνει στον άνθρωπο την εντύπωση της κίνησης της σκηνής. Ο παραπάνω ορισμός γίνεται εύκολα κατανοητός παρατηρώντας το σχήμα 2.1. Αυτό που παρατηρείται είναι ότι μετακινώντας στην σκηνή μας ένα εξάγωνο και ένα αστέρι, η θέση που προβάλλονται στον αμφιβληστροειδή χιτώνα του ματιού αλλάζει, δημιουργώντας έτσι την εντύπωση της κίνησης. 7 Στηριγμένο στο [5] 26

27 Σχήμα 2-1: Οπτική ροή στον αμφιβληστροειδή χιτώνα Πηγή:[5] Προσέγγιση της οπτικής ροής μέσω της τεχνολογίας Μια 8 κινητή κάμερα παράγει συχνότητα διαδοχικών εικόνων ή πλαισίων βίντεο/frames. Κάθε frame αποτελεί την προβολή μιας σκηνής τριών διαστάσεων πάνω σε μία 2 διαστάσεων παράταξη εικονοστοιχείων. Έστω ένα πλάνο ενός τραπεζιού με τη γωνία του τραπεζιού να είναι το σημείο ενδιαφέροντος. Η μεταφορά της κάμερας θα παράγει μικρές μετατοπίσεις του σημείου αυτού στα επακόλουθα frames. Αν το τραπέζι είναι μακριά από την κάμερα, αυτές οι μετατοπίσεις θα είναι μικρές, ενώ αν είναι κοντά θα είναι μεγάλες. Το μήκος του διανύσματος της μετατόπισης αυτής είναι ένα μέσο μέτρησης του σχετικού βάθους της σκηνής όπου βρίσκεται το αντικείμενο. Υπολογίζοντας αυτές τις μετατοπίσεις για ένα συγκεκριμένο αριθμό σημείων, υπάρχει η ικανότητα κατασκευής της εικονικής κίνησης της σκηνής, που είναι γνωστή ως οπτική ροή. Προκειμένου να περιγραφεί πως προβάλλεται ο έξω κόσμος στο επίπεδο μιας εικόνας εισάγεται το μοντέλο μιας pinhole κάμερας, όπως παρουσιάζεται στο παρακάτω σχήμα. 8 Στηριγμένο στο [6] 27

28 Σχήμα 2-2: Pinhole camera model. Πηγή:[6] Η σχέση μεταξύ των στοιχείων του πραγματικού κόσμου (X,Y,Z) και των προβαλλόμενων στοιχείων (u, v) περιγράφεται με την ακόλουθη σχέση, όπου το f είναι το εστιακό μήκος της κάμερας. u = f ( X Y ), v = f (Y X ) (2.2) Τρόπος αναπαράστασης οπτικής ροής Στο 9 μέρος αυτό παρουσιάζονται οι πιο διαδεδομένοι τρόποι αναπαράστασης της οπτικής ροής. Στην απλή περίπτωση, που λίγα κινητά σώματα ή μόνο κάποια εικονοστοιχεία κινούνται σε κάθε πλαίσιο, μικρό μέγεθος πλαισίου και με εύκολα παρατηρήσιμες κινήσεις, μπορεί να αναπαρασταθεί η οπτική ροή με βέλη τα οποία έχουν μήκος και κατεύθυνση ανάλογα με το μέτρο και την κατεύθυνση της οπτικής ροής που εκτιμήθηκε. Ο τρόπος αναπαράστασης της οπτικής ροής σε επίπεδο εικονοστοιχείου, μπορεί να παρουσιαστεί με το πολύ απλό παράδειγμα του παρακάτω σχήματος. Αν παρατηρηθεί η μετακίνηση του κάθε εικονοστοιχείου μεταξύ δύο διαδοχικών πλαισίων και το συμβολιστεί όπως ακριβώς περιγράφηκε παραπάνω, το αποτέλεσμα είναι αυτό που φαίνεται στο σχήμα Στηριγμένο στο [5] 28

29 Σχήμα 2-3: Απλό παράδειγμα αναπαράστασης οπτικής ροής. Πηγή: [5] 2.2 ΤΕΧΝΙΚΕΣ ΕΚΤΙΜΗΣΗΣ ΟΠΤΙΚΗΣ ΡΟΗΣ Correlation Based Methods Η 10 τεχνική της συσχέτισης βασίζεται στην αντιστοίχιση 2 διαδοχικών εικόνων με σκοπό τον υπολογισμό της αλλαγής της οπτικής ροής. Η βασική αρχή είναι η εξής : Πρώτα, το σύστημα λαμβάνει 2 διαδοχικές εικόνες Ι1 και Ι2 από την κάμερα. Για κάθε σημείο (Χ,Υ) στην εικόνα Ι1, το σύστημα χρησιμοποιεί το σημείο (Χ,Υ) ως κέντρο για τη δημιουργία ενός ταιριαστού παραθύρου μεγέθους (2n+1)x(2n+1). Έπειτα, στην εικόνα Ι2 το σύστημα επίσης χρησιμοποιεί κάθε σημείο (Χ,Υ) για τη δημιουργία άλλου παραθύρου μεγέθους (2N+1)x(2Ν+1) 11. Μεταξύ των 2 περιοχών που καλύπτονται από τα 2 παράθυρα, είναι πιθανό να υπολογιστεί η ταχύτητα της οπτικής ροής. Με αυτή τη μέθοδο ο υπολογισμός θα έχει μεγάλη ακρίβεια. Ωστόσο απαιτεί τεράστιο υπολογιστικό χρόνο και υψηλό κόστος. 10 Στηριγμένο στο [34] 11 Qian F, 2006, όπως αναφέρεται στο [34] 29

30 2.2.2 Energy Based Methods Αυτή 12 η προσέγγιση χρησιμοποιεί την τοπική ενέργεια προς ανακάλυψη των στοιχείων ενδιαφέροντος. Το κυριότερο πλεονέκτημα αυτής της μεθόδου είναι η δυνατότητα να βρεθεί μεγαλύτερη ποικιλία τύπων ακμών, από αυτά που τυπικά βρίσκονται χρησιμοποιώντας αντισυμμετρικά γραμμικά φίλτρα. Ωστόσο η τεχνική αυτή έχει το μειονέκτημα ότι λόγω της χρήσης ανάλυσης Fourier η υπολογιστική διαδικασία είναι αρκετά πολύπλοκη και κάνει το σύστημα αργό Feature tracking Αυτού του είδους ο αλγόριθμος δεν αναλαμβάνει την εξέταση ολόκληρης της εικόνας αλλά μόνο ανιχνεύσιμα εικονοστοιχεία χρησιμοποιούνται για τον υπολογισμό της οπτικής ροής. Συγκεκριμένα τα καλύτερα στοιχεία της εικόνας είναι οι γωνίες αφού δίνουν ακριβείς πληροφορίες σχετικά με το 2- D επίπεδο. Το Edge and Corner detector του Harris [33] χρησιμοποιείται για το διαχωρισμό των γωνιών από τις ακμές. Χρησιμοποιεί τον στιγμιαίο πίνακα ορισμένο ως εξής: (2.3) όπου: Ix και Iy είναι η κλίση της εικόνας στις κατευθύνσεις χ,y της πρώτης εικόνας Ι είναι η μέση τιμή Η δυναμική των χαρακτηριστικών στοιχείων υπολογίζεται ως εξής: (2.4) Αυτή η παράμετρος είναι πολύ χρήσιμη για τον διαχωρισμό των γωνιών από τις ακμές. Μεγάλες θετικές τιμές υποδεικνύουν γωνίες ενώ μεγάλες αρνητικές τιμές υποδεικνύουν ακμές. Οι καλές γωνίες στην εικόνα παράγουν πολλαπλά γειτονικά εικονοστοιχεία με μεγάλη δυναμική χαρακτηριστικών. Η πιο μεγάλη επιλέγεται ενώ οι υπόλοιπες τιμολογούνται ως μηδενικές. Τέλος όταν 12 Στηριγμένο στο [9] 30

31 μια δεύτερη εικόνα είναι διαθέσιμη, η συσχέτιση της εικόνας βασίζεται σε μια ψευδο-κανονική συνάρτηση του Movarec [33]: Το εικονοστοιχείο με τη μεγαλύτερη τιμή συσχέτισης χρησιμοποιείται για τον υπολογισμό της μετατόπισης ανάμεσα στις 2 εικόνες Διαφορικές τεχνικές Οι διαφορικές τεχνικές χρησιμοποιούν τις χρονικές ή/και τις χωρικές, πρώτης ή μεγαλύτερης τάξης παραγώγους, μίας ακολουθίας πλαισίων προκειμένου να εκτιμήσουν την οπτική ροή. Σε αυτό το σημείο θα οριστεί ο συμβολισμός που από εδώ και στο εξής θα χρησιμοποιείται όταν θα γίνεται αναφορά στη μαθηματική αναπαράσταση της έντασης των εικονοστοιχείων μιας εικόνας και των χρονικών και χωρικών παραγώγων της. Έστω δύο εικόνες οι οποίες αντιστοιχούν σε δύο διαδοχικά πλαίσια ενός βίντεο. Με Ι 1 (x, y, t1) και Ι 2 (x, y, t2), συμβολίζεται η ένταση (Ιntensity) του κάθε (x,y) εικονοστοιχείου την χρονική στιγμή ti= 1,2 του πρώτου και του δεύτερου πλαισίου αντίστοιχα. Έστω ότι το δεύτερο πλαίσιο έχει αρκετά μικρή χρονική διαφορά από το πρώτο πλαίσιο. Δηλαδή: t 2 = t 1 + Δt (2.5) Η χρονική παράγωγος ορίζεται ως η διαφορά της έντασης των εικονοστοιχείων των δύο πλαισίων I t = I 2 (x, y, t 2 ) I 1 (x, y, t 1 ) (2.6) Η πρώτη χωρική παράγωγος μπορεί να υπολογιστεί ως προς τους δύο άξονες του δισδιάστατου χώρου. Δηλαδή για κάθε εικόνα υπάρχουν δύο χωρικές παράγωγοι, μία ως προς χ και μία ως προς y : (2.7) (2.8) 31

32 Για τον υπολογισμό των χωρικών παραγώγων δεύτερης τάξης μιας εικόνας περιπτώσεις : υπάρχουν τρεις (2. 9) (2.10) (2.11) Έστω ότι κάποιο εικονοστοιχείο το οποίο βρίσκεται στη θέση (x,y) την χρονική στιγμή t και έχει ένταση I(x,y,t) στο πρώτο πλαίσιο ενός βίντεο, στο επόμενο πλαίσιο δηλαδή μετά από χρόνο Δt θα έχει μετακινηθεί κατά Δx, Δy. Επομένως : I(x,y,t)=I(x+Δx, y+δy, t+δt) (2.12) Έστω τώρα ότι η κίνηση είναι αρκετά μικρή, έτσι ώστε οι δύο πρώτοι όροι του αναπτύγματος Taylor να αποτελούν μια καλή προσέγγιση, η σχέση (2.12) γράφεται ως εξής: (2.13) Συνδυάζοντας τις σχέσεις (2.12) και (2.13) προκύπτει ότι : (2.14) Η παραπάνω σχέση μπορεί να γραφτεί ως εξής: (2.15) Εάν ληφθεί υπόψιν ότι η ταχύτητα ισούται με την μετατόπιση προς τον αντίστοιχο χρόνο, δηλαδή vx=δx/δt, προκύπτει ότι: 32

33 (2.16) Χρησιμοποιώντας τον συμβολισμό που περιγράφηκε στην αρχή της παραγράφου, η παραπάνω εξίσωση γράφεται: (2.17) και ταυτίζεται με την εξίσωση της οπτικής ροής. Η εξίσωση αυτή, είναι μια εξίσωση με δύο αγνώστους, κάτι το οποίο σημαίνει ότι έχει άπειρο αριθμό λύσεων, άρα δεν μπορεί να βρεθεί μοναδική λύση. Το πρόβλημα αυτό αντιμετωπίζεται από την εκάστοτε τεχνική, εισάγοντας κάποιους περιορισμούς ή υποθέσεις ώστε από την απειρία λύσεων να απομονωθεί μία Τεχνική των Lucas-Kanade Η τεχνική Lucas-Kanade[10] είναι ίσως η πιο διαδεδομένη διαφορική τεχνική και χρησιμοποιείται ευρέως για την εκτίμηση της οπτικής ροής σε πολλές σύγχρονες εφαρμογές. Αναπτύχθηκε από τους Bruce D. Lucas και Takeo Kanade. Η τεχνική χωρίζει το πλαίσιο σε επικαλυπτόμενα μπλοκ και για κάθε ένα από τα μπλοκ εκτιμά την οπτική ροή λύνοντας τις εξισώσεις που θα περιγραφούν αμέσως μετά, με την μέθοδο των ελαχίστων τετραγώνων. Οι υποθέσεις που πρέπει να ισχύουν ώστε να λειτουργεί αποδοτικά η τεχνική παρατίθενται παρακάτω. Η οπτική ροή σε μία περιοχή είναι σταθερή και ομοιόμορφη. Αυτό σημαίνει ότι σε όλα τα εικονοστοιχεία του κάθε μπλοκ μπορεί να ανατίθεται κοινή ταχύτητα. Τα πλαίσια δεν υπόκεινται σε φωτομετρικές παραμορφώσεις. Αυτό σημαίνει ότι η ένταση των εικονοστοιχείων που ανήκουν στις περιοχές που κινούνται, αλλά και στο φόντο (background), παραμένει σταθερή στα πλαίσια που μελετώνται. Δηλαδή δεν αλλάζει ο φωτισμός της σκηνής ή οι αντανακλαστικές ιδιότητες των σωμάτων που απαρτίζουν την σκηνή. Κάθε μπλοκ περιέχει κίνηση και προς τις δύο κατευθύνσεις. Αυτό σημαίνει ότι σε κάθε μπλοκ, προκειμένου να εκτιμηθεί σωστά η οπτική ροή, θα πρέπει η κίνηση των εικονοστοιχείων να γίνεται και ως προς τον άξονα x x αλλά και ως προς τον άξονα y y 33

34 Καθώς η τεχνική αυτή βασίζεται στο ανάπτυγμα Taylor, οι κινήσεις των σωμάτων της σκηνής πρέπει να είναι αρκετά μικρές ώστε οι δύο πρώτοι όροι του αναπτύγματος να αποτελούν μία καλή προσέγγιση. Αντίστοιχα, αν πρόκειται για βίντεο, η συχνότητα δειγματοληψίας της κάμερας να είναι αρκετά υψηλή. Επομένως στις περιπτώσεις μεγάλων κινήσεων η τεχνική δεν θα μπορεί να εκτιμά σωστά την οπτική ροή. Έστω ότι ένα μπλοκ ενός πλαισίου αποτελείται από N εικονοστοιχεία. Σύμφωνα με την πρώτη υπόθεση, μπορεί σε όλα τα εικονοστοιχεία του μπλοκ να ανατεθεί κοινή ταχύτητα. Αυτό σημαίνει, ότι η εξίσωση της οπτικής ροής που περιγράφεται από την σχέση (2.18), θα ικανοποιείται για καθένα από τα qi εικονοστοιχεία του μπλοκ, με i= 1,2..., N, δηλαδη: (2.18) Το γραμμικό σύστημα (2.18) μπορεί να γραφεί σε μητρική μορφή ως ακολούθως: με: Αu=b, (2.19) (2.20) Το σύστημα που περιγράφεται από την Σχέση (2.20), αποτελείται από N εξισώσεις και μόλις δύο αγνώστους. Δηλαδή είναι ένα υπερ-καθορισμένο (over-determined) σύστημα καθώς το N ποτέ δεν επιλέγεται να είναι ίσο η μικρότερο του δύο. Η τεχνική των Lucas-Kanade όπως αναφέρθηκε και προηγουμένως, επιλύει το σύστημα της Σχέσης(2.20) με την μέθοδο των ελαχίστων τετραγώνων. Για το σκοπό αυτό, ορίζεται η συνάρτηση κόστους η οποία πρέπει και να ελαχιστοποιηθεί: 34

35 (2.21) αν αναπτυχθεί η τετραγωνική ταυτότητα, γράφεται ως εξής: Πιο αναλυτικά: (2.22) όπου Μ είναι περιοχή όλων των εικονοστοιχείων τα οποία ανήκουν στο μπλοκ το οποίο εξετάζεται. Εάν υπολογιστούν οι μερικές παράγωγοι πρώτης τάξης της σχέσης 2.22 ως προς ux και uy θα προκύψει : (2.23) Αφού εξισωθούν οι σχέσεις 2.23 και 2.24 με το μηδέν προκύπτει: (2.24) 35

36 (2.25) το οποίο οδηγεί στο 2Χ2 σύστημα εξισώσεων το οποίο λύνει για κάθε μπλοκ η τεχνική των Lucas- Kanade: (2.26) ή ισοδύναμα : (2.27) Η λύση της παραπάνω εξίσωσης καταχωρείται ως η τιμή της οπτικής ροής ή αλλιώς της ταχύτητας που κινούνται όλα τα εικονοστοιχεία τα οποία ανήκουν στο μπλοκ το οποίο εξετάζεται Τεχνική των Horn-Shunk Η τεχνική εκτίμησης της οπτικής ροής των Horn-Schunk[11] αναπτύχθηκε το 1981 από τους B.K.P.Horn και B.G. Schunk. Είναι μία καθολική τεχνική. Δηλαδή σε αντίθεση με την τεχνική των Lucas-Kanade, που περιγράφτηκε στην προηγούμενη παράγραφο, η οποία σε κάθε βήμα εκτιμούσε την οπτική ροή σε ένα μπλοκ της εικόνας, η τεχνική των Horn-Schunk εκτιμά την οπτική ροή σε ολόκληρη την εικόνα με επαναληπτικό τρόπο. Οι υποθέσεις που πρέπει να ισχύουν ώστε να λειτουργεί αποδοτικά η τεχνική είναι οι ακόλουθες: πρέπει να υπάρχει ομαλότητα στην μεταβολή της οπτικής ροής σε ολόκληρη σχεδόν την εικόνα. Με τον όρο ομαλότητα εννοούμε ότι η οπτική ροή θα αλλάζει αργά και δεν θα υπάρχουν ασυνέχειες στη κίνηση. οι επιφάνειες που συμμετέχουν στην κίνηση πρέπει να είναι επίπεδες. 36

37 ο φωτισμός πρέπει να είναι ομοιόμορφος σε ολόκληρη την σκηνή Η τεχνική προσπαθεί να ελαχιστοποιήσει παραμορφώσεις στην οπτική ροή και προτιμάει τις λύσεις οι οποίες είναι περισσότερο ομαλές. Αρχικά λαμβάνεται η βασική εξίσωση (2.17), της οπτικής ροής και ορίζεται η παρακάτω συνάρτηση τετραγωνικού σφάλματος: Ορίζεται τώρα, στην περιοχή ενδιαφέροντος Μ τη συνάρτηση κόστους: (2.28) (2.29) η οποία εάν ελαχιστοποιηθεί ως προς τις συνιστώσες της ταχύτητας, εξασφαλίζει ελάχιστο ρυθμό μεταβολής της φωτεινότητας της εικόνας. Επίσης ορίζεται η συνάρτηση ομαλότητας της ταχύτητας: (2.30) και η συνάρτηση κόστους: (2.31) η οποία εάν ελαχιστοποιηθεί ως προς τις συνιστώσες της ταχύτητας, εξασφαλίζει την ομαλότητα στην οπτική ροή η οποία απαιτείται μέσω του περιορισμού που δόθηκε στην αρχή της παραγράφου. Μπορεί να οριστεί και η ακόλουθη συνάρτηση κόστους, η οποία εξαρτάται από τις τιμές της οπτικής ροής ux και uy. (2.32) 37

38 όπου το α είναι μία σταθερά βάρους. Αυξάνοντας την τιμή της σταθεράς α αυξάνεται το βάρος στον όρο ο οποίος εκφράζει την ομαλότητα της οπτικής ροής. Ο σκοπός της τεχνικής των Horn-Schunk είναι να ελαχιστοποιηθεί η ακόλουθη συνάρτηση κόστους της Σχέσης (2.33), δηλαδή: (2.33) Χρησιμοποιώντας τις εξισώσεις των Euler-Langrange, παίρνουμε: (2.34) (2.35) όπου το 2 u συμβολίζει τον τελεστή Laplace, δηλαδή: (2.36) Στην πράξη οι ποσότητες 2 uxκαι 2 uy υπολογίζονται αριθμητικά χρησιμοποιώντας την μέθοδο των πεπερασμένων διαφορών και μπορούν να γραφούν ως εξής : (2.37) (2.38) όπου u`x και u`y είναι οι σταθμισμένοι όροι των ταχυτήτων ux και uy αντίστοιχα, υπολογισμένοι στη γειτονιά 3Χ3 του κάθε εικονοστοιχείου (i,j) με χρήση του ακόλουθου φίλτρου: (2.39) 38

39 Χρησιμοποιώντας τις σχέσεις 2.37 και 2.38, οι σχέσεις 2.34 και 2.35 εκφράζονται στη μορφή που φαίνεται παρακάτω: (2.40) (2.41) Η κατάληξη είναι ένα γραμμικό σύστημα δύο εξισώσεων με δύο αγνώστους το οποίο μπορεί να λυθεί για κάθε εικονοστοιχείο της εικόνας εξ ου και ο χαρακτηρισμός της τεχνικής ως καθολικής. Αναφέρθηκε στην αρχή της παραγράφου ότι η τεχνική εκτιμά την οπτική ροή σε όλη την εικόνα με επαναληπτικό τρόπο. Η ανάγκη αυτή προκύπτει καθώς το να εφαρμοστεί η παραπάνω λύση με χρήση κάποιας κλασικής τεχνικής όπως της απαλοιφής Gauss-Jordan, για κάθε εικονοστοιχείο της εικόνας έχει μεγάλο κόστος. Ο πίνακας που αντιστοιχεί στις Σχέσεις (2.40) και (2.41) είναι ένας αραιός και μεγάλος πίνακας καθώς το πλήθος των γραμμών του και των στηλών του είναι διπλάσιο από το πλήθος των γραμμών και των στηλών της εικόνας. Για αυτό το λόγο λοιπόν επιλέγεται η επαναληπτική μέθοδος των(gauss-seidelmethod) προκειμένου να λυθεί το σύστημα. Προκύπτει έτσι η επαναληπτική καθολική τεχνική των Horn-Schunk όπως αυτή εκφράζεται από τις ακόλουθες σχέσεις: (2.42) (2.43) Όπου k+1 είναι η επόμενη επανάληψη ενώ k είναι επανάληψη της οποίας τα αποτελέσματα υπολογίστηκαν τελευταία. Στα σημεία όπου η χωρική παράγωγος δεν μπορεί να δώσει κάποια πληροφορία, όπως είναι τα σημεία μιας επιφάνειας που κινείται η οποία στο εσωτερικό της έχει το ίδιο χρώμα, η οπτική ροή που θα εκτιμηθεί στις αρχικές επαναλήψεις θα είναι ίση με μηδέν. Παρ όλα αυτά, η οπτική ροή που θα 39

40 έχει εκτιμηθεί στην περίμετρο της επιφάνειας αυτής, με την πάροδο των επαναλήψεων θα μεταδοθεί και στο εσωτερικό της. Αυτό θα γίνει με την προϋπόθεση ότι στην περίμετρο της επιφάνειας η οπτική ροή που έχει εκτιμηθεί έχει την ίδια τιμή σε όλα τα σημεία της περιμέτρου. Σε περιπτώσεις στις οποίες δεν ισχύει το παραπάνω, δεν μπορεί να προβλεφθεί η συμπεριφορά της τεχνικής. Η διαδικασία της μετάδοσης της οπτικής ροής με την πάροδο των επαναλήψεων, μπορεί να παρομοιαστεί με τα φαινόμενα μετάδοσης της λύσης της εξίσωσης της θερμότητας για ένα ομοιόμορφο επίπεδο κυκλικό δίσκο. Η διαδικασία της μετάδοσης της οπτικής ροής στα εσωτερικά σημεία μιας επιφάνειας, βοηθάει στην επιλογή του αριθμού των επαναλήψεων που θα χρειαστεί η τεχνική. Ο αριθμός των επαναλήψεων θα πρέπει να είναι μεγαλύτερος από τον αριθμό των εικονοστοιχείων που ανήκουν στην μεγαλύτερη επιφάνεια με τις παραπάνω ιδιότητες. Στην περίπτωση όπου δεν είναι γνωστή εκ των προτέρων αυτή η πληροφορία, μία ασφαλής επιλογή του αριθμού των επαναλήψεων είναι η μεγαλύτερη εκ των δύο διαστάσεων του πλαισίου που δίνεται σαν είσοδος στην τεχνική Σύγκριση τεχνικών αραιούς ( sparse ) και πυκνής ( dense ) αναπαράστασης πεδίου οπτικής ροής Σε αυτό το σημείο λόγω της κύριας μελέτης πάνω στις διαφορικές τεχνικές και συγκεκριμένα στις Lukas-Kanade και Horn-Schunk θα γίνει αναφορά στον τρόπο που αναπαριστώνται οι δύο μέθοδοι αυτοί ως οπτική ροή, δηλαδή σε αραιή η πρώτη και πυκνή η δεύτερη και θα γίνει μια σύγκριση ανάμεσα τους. Πρώτα όμως παρουσιάζεται ένα παράδειγμα απεικόνισης της κάθε μεθόδου : 40

41 Εικόνα 2-1: Εδώ φαίνονται 2 διαδοχικά frames κατά τα οποία ένα όχημα ακολουθείται από κάμερα κατά την κίνηση του. Πηγή:[12] Σχήμα 2-4 : Πεδίο οπτικής ροής ( αραιή αναπαράσταση) των παραπάνω frames με αντιστοίχιση σημείων σύμφωνα με τον αλγόριθμο Lucas-Kanade. Πηγή: [12] 41

42 Σχήμα 2-5 : Πεδίο οπτικής ροής (πυκνή αναπαράσταση) των παραπάνω frames, υπολογισμένο με τον αλγόριθμο Horn-Schunk. Πηγή: [12] Πυκνή αναπαράσταση (dense optical flow) Ο αλγόριθμος Horn-Schunk θεωρεί ένα παράθυρο mxn μέσα στην εικόνα ώστε να υπολογίσει την οπτική ροή στο κεντρικό της σημείο. Επομένως γίνεται δειγματοληψία ενός ομοιόμορφου πλέγματος σημείων με τα αντίστοιχα διανύσματα της οπτικής ροής. Στο σχήμα 2.5 φαίνεται ένα τέτοιο πυκνό πεδίο οπτικής ροής, στο οποίο κάθε διάνυσμα συνδέει το σημείο του πλέγματος στην υπολογισμένη θέση του αντίστοιχου σημείου της σχετικής εικόνας. Η χρήση της πυκνής αναπαράστασης δείχνει ότι υπάρχουν σαφείς διαφορές στην κίνηση μεταξύ του αντικειμένου και του background. Η πυκνή αναπαράσταση μπορεί να είναι πιο ευαίσθητη στο πρόβλημα του διαφράγματος της κάμερας, δηλαδή να είναι πιο επιρρεπής στο να επιλέξει ακμές από τμήματα ευθειών γραμμών κατά την εισαγόμενη αλληλουχία βίντεο, κάτι που θα έχει ως αποτέλεσμα τον υπολογισμό ασαφούς κίνησης. Επίσης, άκαμπτα κινούμενα αντικείμενα τα οποία είναι μεγαλύτερα σε μέγεθος από το χρησιμοποιούμενο παράθυρο στο οποίο γίνεται η ανάλυση της εικόνας, μπορεί να εισάγει στοιχεία θορύβου στο πεδίο οπτικής ροής, απαιτώντας έτσι μια διαφορετική πολυεπίπεδη προσέγγιση για τη λύση. Ωστόσο η χρήση της πυκνής αναπαράστασης ευνοεί την ανάλυση των διανυσμάτων της οπτικής ροής σαν σύνολο στοχαστικής διαδικασίας. Οι στατικές θέσεις διανυσμάτων οπτικής ροής που δεν εξαρτώνται από κανένα αλγόριθμο εντοπισμού και παρακολούθησης στοιχείων και έχουν σταθερή συμπεριφορά σαν τυχαίες μεταβλητές για τη στοχαστική διαδικασία σε χρόνο t Αραιή αναπαράσταση ( sparse optical flow ) Η μεγαλύτερη διαφορά που παρατηρείται όταν έχουμε να κάνουμε με την αραιή αναπαράσταση είναι η χρήση της μεθόδου εντοπισμού των σημείων ενδιαφέροντος στην εικόνα, πριν όμως τον υπολογισμό της οπτικής ροής. Στο σχήμα 2.4 φάνηκε ένα παράδειγμα της αραιής αναπαράστασης στο 42

43 οποίο χρησιμοποιήθηκε η τεχνική του Harris [33] για τον εντοπισμό των σημείων ενδιαφέροντος κατά την οποία επιλέχθηκαν τα εικονοστοιχεία τα οποία περιέχουν τις πιο σχετικές και απαραίτητες πληροφορίες, ενώ στη συνέχεια η οπτική ροή υπολογίστηκε με χρήση μιας πολυεπίπεδης έκδοσης του αλγορίθμου των Lucas-Kanade. Αυτή η προσέγγιση εξασφαλίζει μεγάλη σθεναρότητα στο πρόβλημα του διαφράγματος, οπότε και ελαττώνει σημαντικά τα σημεία που παράγουν θόρυβο. Η αραιή αναπαράσταση οπτικής ροής ελαττώνει τις λανθασμένες εκτιμήσεις των διανυσμάτων ροής όταν τα frames από την αλληλουχία βίντεο που είναι υπό ανάλυση, έχουν μια σχετική αναλογία των ομογενών περιοχών. 2.3 ΟΡΙΣΜΟΣ ΚΑΙ ΑΝΑΛΥΣΗ ΤΟΥ TIME TO COLLISION (TTC) Το time to collision (TTC) είναι ένα μέγεθος που παρουσιάζει ενδιαφέρον σε πολλά πεδία έρευνας, από πειραματική ψυχολογία μέχρι τη ρομποτική. Γενικώς το TTC για δύο σώματα σε ένα χώρο είναι ο λόγος της μεταξύ τους απόστασης και της σχετικής τους ταχύτητας. Αναφορικά με τις κάμερες, το TTC μπορεί να οριστεί ως ο χρόνος που απαιτείται για ένα αντικείμενο στον πραγματικό κόσμο να φτάσει στο επίπεδο της κάμερας, υποθέτοντας πως η σχετική ταχύτητα παραμένει σταθερή καθ' όλη τη διάρκεια της κίνησης. Καθώς το TTC είναι ο λόγος της απόστασης προς την ταχύτητα, χρησιμοποιώντας μια pinhole camera, γίνεται ανάλογο του υπολογισμού του λόγου του μεγέθους ενός αντικειμένου στο επίπεδο της εικόνας προς τη χρονική παράγωγο. Έχει προταθεί ότι ανάλογη διεργασία γίνεται στο σύστημα της ανθρώπινης όρασης καθώς γίνονται ενέργειες που περιλαμβάνουν τον υπολογισμό του TTC, όπως την αποφυγή σύγκρουσης η το πιάσιμο ενός κινούμενου αντικειμένου [14-16]. Ένα από τα βασικά πλεονεκτήματα του ορισμού του TTC είναι ότι μπορεί να εξαχθεί εξ' ολοκλήρου από τα δεδομένα της εικόνας, χωρίς να κρίνεται απαραίτητος ο υπολογισμός φυσικών μεγεθών όπως η απόσταση ή η ταχύτητα. Συνεπώς η ανάγκη για πολύπλοκο και υπολογιστικά ακριβό calibration της κάμερας, 3D ανακατασκευή της σκηνής και εκτίμηση της κίνησης της κάμερας, έχει εξαληφθεί. Χάρη στην σχετική απλότητα και την υπολογιστική αποτελεσματικότητα, η ιδέα της εκτίμησης του TTC ταιριάζει απόλυτα σε συστήματα πραγματικού χρόνου, όπου ταχύτατες αποφάσεις πρέπει να λαμβάνονται μπροστά στον κίνδυνο επικείμενης σύγκρουσης. Για αυτό το λόγο, η εκτίμηση του TTC μπορεί να είναι απολύτως χρήσιμη για την αποφυγή εμποδίων και την αναγνώριση κινδύνου σύγκρουσης από οχήματα ή άτομα. [13] 43

44 Ο λόγος του μεγέθους του αντικειμένου στην εικόνα και ο ρυθμός επέκτασης έχουν χρησιμοποιηθεί για την εκτίμηση του TTC, για παράδειγμα, στον υπολογισμό της αλλαγής της κλίμακας σε ένα κλειστό περίγραμμα χρησιμοποιώντας στιγμιότυπα σε περιοχές της εικόνας, ή το πεδίο κίνησης. Η ακριβής αρχικοποίηση είναι μια μεγάλη πρόκληση κατά τη χρήση περιγράμματος για τον ορισμό της περιοχής ενδιαφέροντος της εικόνας. Αυτό οδηγεί σε ένα μεγαλύτερο πρόβλημα ακρίβειας κατά τον ορισμό του μεγέθους του αντικειμένου στην εικόνα προκειμένου να γίνει εκτίμηση του TTC. Οι αλγόριθμοι κατάτμησης της εικόνας και της αναγνώρισης αντικειμένων είναι πολύπλοκοι και έτσι υπολογιστικά ασύμφοροι, και εσφαλμένη κατάτμηση μπορεί να οδηγήσει σε ανακριβή εκτίμηση του TTC. Για να ξεπεραστεί το πρόβλημα αναγνώρισης του μεγέθους του αντικειμένου, η εκτίμηση του TTC θα μπορούσε να επαναπροσδιοριστεί με βάση το πεδίο κίνησης και των παραγώγων του, την διαβάθμιση της εικόνας, την υπολειπόμενη κίνηση από την παραλλαγή της κίνησης, την αντιστοίχιση κλιμακωτά αμετάβλητων χαρακτηριστικών ή λύνοντας παραμετρικές εξισώσεις της κίνησης του αντικειμένου. Όλες αυτές οι προσεγγίσεις υποθέτουν ότι τα αντικείμενα είναι άκαμπτα επίπεδα σώματα που κινούνται αναφορικά με το οπτικό πεδίο της κάμερας. Κάποιες προσεγγίσεις όπως των Horn & Schunk [11], είναι περισσότερο κατάλληλες όταν ένα ολόκληρο επίπεδο κινείται αναφορικά με την κάμερα και παράγει ανακριβείς εκτιμήσεις του TTC καθώς ένα μικρότερο επίπεδο σώμα μπροστά από ένα στατικό φόντο πλησιάζει την κάμερα. Τέτοιες υποθέσεις αποτυγχάνουν σε περιπτώσεις όπου ημιεπίπεδα εμπόδια όπως οι πεζοί μπλέκονται στην σκηνή. Μια άλλη πρόκληση που αντιμετωπίζει μια τυπική προσέγγιση εκτίμησης του TTC είναι η περίπτωση που η κίνηση του αντικειμένου είναι υπό γωνία προς την κάμερα και όχι μετωπική. Επιπλέον, προκειμένου να εκτιμηθεί το TTC με ακρίβεια για διάφορες περιπτώσεις κίνησης, σε εφαρμογές τύπου αποφυγής σύγκρουσης, είναι σημαντικό να προσδιοριστεί εάν ένα αντικείμενο κινείται κατά μήκος της τροχιάς, θα συγκρουστεί στην πραγματικότητα με την πλατφόρμα της κάμερας. Αυτό οδηγεί στον προσδιορισμό μιας ασφαλούς ζώνης περιμετρικά της κάμερας, και κάθε αντικείμενο που κινείται με πιθανότητα να διαπεράσει αυτή τη ζώνη να θεωρείται κίνδυνος. [13] Θεωρώντας το γενικότερο πρόβλημα κατά το οποίο το όχημα κινείται προς ένα τοίχο ή ένα επίπεδο αντικείμενο, παρουσιάζεται παρακάτω η αντιμετώπιση του. τ = Ζ V όπου τ είναι το ΤΤC, Z η απόσταση από το αντικείμενο και V η ταχύτητα του αντικειμένου. 44

45 Χρησιμοποιώντας μια απλή pinhole camera η προβολή του αντικειμένου στο επίπεδο της εικόνας μπορεί να υπολογισθεί ως εξής: y = f Y Z όπου y είναι η προβολή του αντικειμένου και Y το πραγματικό μέγεθος του αντικειμένου. Σχήμα 2-6: Time to Collision. Πηγή: [6] Ακολούθως υπολογίζεται η παράγωγος της προβολής: Οπότε το TTC βρίσκεται ως εξής: Έτσι το TTC υπολογίζεται απλά ως: τ = y y 2.4 ΣΥΝΟΨΗ Στο κεφάλαιο αυτό παρουσιάστηκε η ανάλυση της σχετικής θεωρίας. Δόθηκε ο ορισμός της οπτικής ροής, ο τρόπος αναπαράστασης της και οι τεχνικές υπολογισμού της. Αναλυτικότερα παρουσιάστηκαν οι διαφορικές τεχνικές των Lucas-Kanade και Horn- Schunk και έγινε η σχετική 45

46 σύγκριση μεταξύ τους, ενώ έγιναν εμφανή τα στοιχεία ιδιαιτερότητας κάθε μίας τεχνικής, ώστε να γίνει η καταλληλότερη επιλογή για την παρούσα εργασία. 46

47 3 ΠΡΟΤΕΙΝΟΜΕΝΗ ΤΕΧΝΙΚΗ, ΠΡΟΣΟΜΟΙΩΣΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ Το κεφάλαιο αυτό πραγματεύεται την εφαρμογή της θεωρίας στην πράξη και επιλέγεται η καταλληλότερη τεχνική με βάση τις υπάρχουσες συνθήκες. Αρχικά γίνεται εισαγωγή στα εργαλεία που χρησιμοποιήθηκαν για την εκτέλεση της εργασίας, όπως το λειτουργικό σύστημα και το hardware, ενώ στη συνέχεια παρουσιάζεται η ανάπτυξη του σχετικού αλγορίθμου και τα στάδια εκτέλεσης της προτεινόμενης μεθόδου. Τέλος εμφανίζονται τα αποτελέσματα της προσομοίωσης και γίνεται αξιολόγηση της τεχνικής που χρησιμοποιήθηκε. 3.1 ΛΕΙΤΟΥΡΓΙΚΟ ΣΥΣΤΗΜΑ, ΠΕΡΙΒΑΛΛΟΝ ΕΡΓΑΣΙΑΣ ΚΑΙ ΠΕΡΙΦΕΡΕΙΑΚΑ Λειτουργικό σύστημα Το Ubuntu Linux είναι το λειτουργικό που επιλέχθηκε, το οποίο είναι βασισμένο εξ' ολοκλήρου στο λειτουργικό Linux, ελεύθερο στην πρόσβαση και με την υποστήριξη τόσο επαγγελματιών όσο και συγκεκριμένης κοινότητας. Αναπτύχθηκε από μία μεγάλη κοινότητα ανθρώπων και είναι μια διανομή βασισμένη στο Debian, που είναι γνωστή ως μια από τις πιο αξιόπιστες διανομές Linux. Το πλεονέκτημα του Ubuntu από το Debian είναι ότι το πρώτο έχει καλύτερη υποστήριξη σε hardware και πιο φιλικό περιβάλλον εργασίας. Η έκδοση που χρησιμοποιήθηκε είναι η LTS Visual Library Ως βιβλιοθήκη για την επεξεργασία εικόνας επιλέχθηκε το Open Source Computer Vision Library - OpenCV της εταιρίας Intel, αφού είναι open-source, υποστηρίζει πολλές πλατφόρμες και παρέχει μεγάλες υπολογιστικές διευκολύνσεις. Ο κύριος στόχος της βιβλιοθήκης είναι οι εφαρμογές της επεξεργασίας εικόνας σε πραγματικό χρόνο. Μερικά παραδείγματα ενδιαφέροντος είναι: Human- 47

48 Computer Interaction (HCI); Object Identification, Segmentation and Recognition; Face Recognition; Motion tracking; Mobile Rbotics κτλ. Έχει διεπαφές σε C, C++, Python και Java ενώ υποστηρίζεται από Windows, Linux, Mac OS, ios και Android. Οι βιβλιοθήκες του OpenCV χωρίζονται σε 5 κατηγορίες οι οποίες είναι: CXCORE, περιέχει δομές δεδομένων, αλγεβρικούς πίνακες, μετασχηματισμούς δεδομένων, διαχείριση σφαλμάτων μνήμης, σχεδιασμό και βασικά μαθηματικά. CV, περιέχει επεξεργασία εικόνας και structure analysis, motion, tracking, αναγνώριση προτύπων και camera calibration. ML είναι η machine learning βιβλιοθήκη. HighGui, περιέχει user interface, image/video storage and recall. CVCAM είναι η βιβλιοθήκη της διεπαφής της κάμερας. Τέλος οι γραμμένες σε βελτιστοποιημένες C/C++ βιβλιοθήκες μπορούν να κάνουν χρήση του πλεονεκτήματος της multi-core επεξεργασίας Γλώσσα προγραμματισμού Η γλώσσα προγραμματισμού που επιλέχθηκε είναι η C, αφενός διότι υποστηρίζεται απολύτως από το OpenCV, αλλά είναι επίσης αποτελεσματική, γρήγορη και σχετικά εύκολη στην κατανόηση. Επιπλέον έχει το πλεονέκτημα της σχετικής φορητότητας με την έννοια ότι προγράμματα γραμμένα σε C μπορούν να μεταγλωττιστούν ώστε να τρέξουν σε οποιοδήποτε υπολογιστικό σύστημα, ενώ επίσης μπορεί να γίνει εύκολα ενσωμάτωση της σε ολοκληρωμένα συστήματα. 48

49 3.1.4 Χαρακτηριστικά Hardware Η προσομοίωση έγινε σε προσωπικό υπολογιστή με τη χρήση εξωτερικής USB web κάμερας. Η web κάμερα που χρησιμοποιήθηκε είναι το μοντέλο VX-1000 της Microsoft. Παράμετροι της κάμερας: Type: portable webcam Resolution: 640 x 480 Video frame rate (max): 30 fps Resolution (still): 0.3 megapixels Focus type: Manual focus Image sensor: CMOS Field of View: 55 o diagonal field of view Connection: USB Τα χαρακτηριστικά του προσωπικού υπολογιστή που χρησιμοποιήθηκε, όπως προκύπτουν από τη σχετική αναφορά του λειτουργικού συστήματος, είναι τα εξής: Επεξεργαστής: Pentium Dual-Core 2.80 Ghz x 2 Μνήμη: 4 Gb Γραφικά: Gallium 0.4 on NV84 OS type: 64-bit 49

50 3.2 ΑΝΑΠΤΥΞΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ Ο αλγόριθμος που θα χρησιμοποιηθεί βασίζεται στην αραιή αναπαράσταση οπτικής ροής που περιγράφηκε στο προηγούμενο κεφάλαιο, και μπορεί να χωριστεί σε δύο επιμέρους προβλήματα: Το πρόβλημα επιλογής κατάλληλων χαρακτηριστικών στοιχείων Το πρόβλημα αντιστοίχισης ή πρόβλημα ανίχνευσης και παρακολούθησης Πρόβλημα επιλογής στοιχείων: Ο αλγόριθμος της οπτικής ροής απαιτεί την εύρεση πολύ ιδιαίτερων και ξεχωριστών σημείων, αλλιώς τα σημεία κινδυνεύουν να μη βρεθούν σε κάθε επακόλουθη εικόνα. Πρόβλημα αντιστοίχισης: Για την εκτίμηση της οπτικής ροής ενός σημείου σε μια αλληλουχία εικόνων, η θέση του σημείου αυτού πρέπει να είναι γνωστή και στις δύο εικόνες ( αλλιώς η διαφορά της θέσης των δύο σημείων δε μπορεί να υπολογιστεί ). Οπότε, δεδομένου ενός σημείου στην πρώτη εικόνα, αυτό το σημείο πρέπει να αντιστοιχιστεί στο ίδιο ακριβώς σημείο στη δεύτερη εικόνα. Αλγόριθμοι για τον εντοπισμό και την ανίχνευση/παρακολούθηση των σημείων υπάρχουν ήδη στις βιβλιοθήκες του OpenCV. Για τον εντοπισμό των σημείων γίνεται χρήση του αλγορίθμου Shi- Tomashi (ο οποίος εξηγείται παρακάτω) και για την παρακολούθηση τους γίνεται χρήση του αλγορίθμου τύπου πυραμίδας των Lucas-Kanade. Οι δύο αυτοί αλγόριθμοι είναι οι πιο γνωστοί και χρησιμοποιούνται ευρέως για τη λύση του προβλήματος εντοπισμού και παρακολούθησης των στοιχείων εξ ου και η επιλογή τους. Παρακάτω παρουσιάζεται το block διάγραμμα του γενικού αλγορίθμου που χρησιμοποιήθηκε, η ανάλυση των επιπέδων του, ενώ στο τέλος της εργασίας υπάρχει και ο συνολικός κώδικας σε C που αναπτύχθηκε. Capture μέσω κάμερας Επιλογή πρώτου frame Επιλογή κατάλληλων στοιχείων προς Επιλογή δευτέρου frame Εφαρμογή στρατηγικής αποφυγής σύγκρουσης Υπολογισμός και Σχεδιασμός της Οπτικής Ροής Εισαγωγή κατάλληλων φίλτρων Ανίχνευση των στοιχείων του πρώτου frame στο δεύτερο Διάγραμμα 3-1: Απλοποιημένο μπλοκ διάγραμμα του αλγορίθμου ελέγχου 50

51 -Capture μέσω κάμερας: Γίνεται χρήση του high-level GUI του OpenCV μέσω της συνάρτησης: CvCapture* cvcapturefromcam(); -Επιλογή πρώτου frame: Η ρουτίνα αναλαμβάνει μέσω κάμερας να εκτελέσει διαδικασία απόκτησης frame/ image acquisition και έπειτα γίνεται προσαρμογή του χρώματος της ώστε να είναι συμβατή με το format του OpenCV: frame = cvqueryframe( ); allocateondemand( &frame1_1c, frame_size, IPL_DEPTH_8U, 1 ); (Εντοπίζεται η εικόνα, η οποία καλείται να έχει ένα κανάλι χρώματος με 8-bit χρωματικό βάθος. Αυτό είναι το format εικόνας που υποστηρίζεται επί τω πλείστων από τους αλγόριθμους του OpenCV.) cvconvertimage(frame, frame1_1c, 0); (Εδώ γίνεται η μετατροπή που ειπώθηκε από πάνω) - Επιλογή κατάλληλων στοιχείων προς ανίχνευση: Εδώ γίνεται χρήση του αλγορίθμου Shi-Tomashi : Όπου: cvgoodfeaturestotrack(frame1_1c, eig_image, temp_image, frame1_features, &number_of_features,.01,.01, NULL); frame1_1c είναι η εικόνα που εισάγεται eig_image και temp_image είναι ο χώρος εργασίας του αλγορίθμου frame1_features είναι τα περιεχόμενα σημεία εντοπισμού number_of_features είναι ο επιθυμητός αριθμός στοιχείων προς επιλογή Το πρώτο.01 ορίζει την ελάχιστη ποιότητα των στοιχείων της εικόνας που απαιτείται Το δεύτερο.01 ορίζει την ελάχιστη απόσταση μεταξύ των σημείων ενδιαφέροντος -Επιλογή δεύτερου frame: Ακολουθείται η ίδια ακριβώς διαδικασία όπως και παραπάνω με τις εξής πλέον συναρτήσεις: frame = cvqueryframe( ); allocateondemand( &frame2_1c, frame_size, IPL_DEPTH_8U, 1 ); cvconvertimage(frame, frame2_1c, 0); 51

52 -Ανίχνευση των στοιχείων του πρώτου frame στο δεύτερο/ υπολογισμός οπτικής ροής: Γίνεται χρήση του αλγορίθμου τύπου Πυραμίδας των Lucas-Kanade: Pyramidal Lucas-Kanade Εν συντομία η μέθοδος της Πυραμίδας λειτουργεί ως εξής: Ο αλγόριθμος πρώτα δειγματοληπτεί και τις δύο εικόνες, πρώτη και δεύτερη, σε διαφορετικά επίπεδα, όπου το κάθε επίπεδο είναι μισής ανάλυσης από το προηγούμενο. Από το τρίτο και το υψηλότερο επίπεδο, και από τις δύο εικόνες, όπου και τα επίπεδα με τη χαμηλότερη ανάλυση, εξάγεται ένα διάνυσμα που περιγράφει την αλλαγή μεταξύ της πρώτης και δεύτερης εικόνας. Εφόσον η ανάλυση της εικόνας είναι μικρή, οι υπολογισμοί είναι ταχύτατοι, αλλά το αποτέλεσμα του διανύσματος δεν είναι απόλυτα ακριβές. Παρ' όλα αυτά, αυτό το διάνυσμα χρησιμοποιείται για μια αρχική εκτίμηση στο επίπεδο ακριβώς από κάτω, το οποίο έχει μεγαλύτερη ανάλυση. Συνεχίζοντας τη διαδικασία αυτή στην αυθεντική εικόνα, το νέο διάνυσμα με αρκετή ακρίβεια πλέον, περιγράφει την αλλαγή στην δεύτερη εικόνα. Αυτή η μέθοδος περιγράφεται ως μέθοδος πυραμίδας. cvcalcopticalflowpyrlk(frame1_1c, frame2_1c, pyramid1, pyramid2, frame1_features, frame2_features, number_of_features, optical_flow_window, 5, optical_flow_found_feature, optical_flow_feature_error, optical_flow_termination_criteria, 0 ); frame1_1c είναι το πρώτο frame με τα γνωστά σημεία/χαρακτηριστικά frame2_1c είναι το δεύτερο frame στο οποίο πρέπει να βρεθούν τα σημεία/χαρακτηριστικά του πρώτου frame pyramid1 and pyramid2 είναι ο χώρος εργασίας του αλγορίθμου frame1_features είναι τα σημεία/χαρακτηριστικά του πρώτου frame frame2_features είναι η εξαγόμενη τοποθεσία των σημείων του πρώτου frame number_of_features είναι ο αριθμός των σημείων στη σειρά του frame1_features optical_flow_window είναι το μέγεθος του παραθύρου για την αποφυγή του προβλήματος του διαφράγματος της κάμερας 5 είναι ο μέγιστος αριθμός πυραμίδων που χρησιμοποιούνται. 52

53 optical_flow_termination_criteria αυτό το κριτήριο λέει στον αλγόριθμο για πόση ώρα να συνεχίζει να ψάχνει στοιχεία αντιστοίχισης και με τις παραμέτρους του μπορούν να μεταβληθεί ο λόγος της ταχύτητας του αλγορίθμου προς την ακρίβεια του 0 είναι για τον τερματισμό των βελτιώσεων Στη συνέχεια για τον υπολογισμό του μεγέθους και της κατεύθυνσης της οπτικής ροής χρησιμοποιείται το εξής: p.x = (int) frame1_features[i].x; p.y = (int) frame1_features[i].y; q.x = (int) frame2_features[i].x; q.y = (int) frame2_features[i].y; angle = atan2( (double) p.y - q.y, (double) p.x - q.x ); hypotenuse = sqrt( square(p.y - q.y) + square(p.x - q.x) ); -Εισαγωγή κατάλληλων φίλτρων: Κατά τον υπολογισμό και πριν το σχεδιασμό της οπτικής ροής έγινε η επιλογή εφαρμογής συγκεκριμένων φίλτρων ώστε να υπάρχει μερική ισορροπία στον υπολογισμό της ροής και να αφαιρεθούν στοιχεία σφαλμάτων και στοιχεία που προκαλούν καθυστέρηση στον αλγόριθμο. Αρχικά έγινε φιλτράρισμα υπερμεγέθους υποτείνουσας, ώστε να εντοπιστούν τα πιο ασταθή σημεία. Ακολουθεί εκτίμηση της μέσης οπτικής ροής και φιλτράρισμα των στοιχείων με βάση την εκτίμηση αυτή και απαίτηση να επιλεγούν μόνο τα στοιχεία που προσεγγίζουν τη μέση τιμή της υποτείνουσας. Η χρήση του φίλτρου αυτού βοηθάει στην γενικότερη προσέγγιση που έγινε για την εκτίμηση του time to collision αλλά και σε μια μέτρια σταθεροποίηση της εικόνας. Τέλος δημιουργείται ένα παράθυρο στο κέντρο της εικόνας μέσα στο οποίο απαιτείται ο υπολογισμός του time to collision Κατά την εφαρμογή του αλγόριθμου σε αυτοκινούμενο όχημα, θα υπάρχουν ταλαντώσεις στην κάμερα που θα δημιουργήσουν πρόβλημα στην επεξεργασία της εικόνας λόγω αποσταθεροποίησης 53

54 της, κάτι που μόνο μερικώς αντιμετωπίζεται από τα φίλτρα που έχουν ενσωματωθεί. Επομένως κρίνεται απαραίτητη η εισαγωγή επιπλέον φίλτρου που θα αντιμετωπίζει το πρόβλημα αυτό. Στην παρούσα εργασία λόγω προσομοίωσης στον υπολογιστή δεν είχε νόημα η εφαρμογή τόσο εξειδικευμένου φίλτρου, ωστόσο χρησιμοποιήθηκε όπως αναφέρθηκε πιο πάνω ένα είδος φιλτραρίσματος με βάση την εκτίμηση της μέσης ροής. Παρ' όλα αυτά θα γίνει αναφορά σε τρόπους αντιμετώπισης αυτού του προβλήματος για μελλοντική χρήση. Επειδή η κάμερα κάνει μεταφορική κίνηση και ταυτόχρονα τρέμει, χρειάζεται να βρεθεί η μέση μετατόπιση μεταξύ των frames και στη συνέχει να μετασχηματιστούν τα frames αυτά με βάση τη διαφορά που παρατηρήθηκε λόγω της μετατόπισης. Αυτό γίνεται υπολογίζοντας τη μέση τιμή της μέσης κίνησης μεταξύ των frames και ένας τρόπος να γίνει είναι με τη χρήση φίλτρου Kalman [18], το οποίο παρέχεται από το OpenCV με την κυριότερη συνάρτηση να είναι η εξής. CvKalman* cvcreatekalman(int dynam_params, int measure_params, int control_params=0 ) Χρησιμοποιώντας τοπικά στοιχεία ενδιαφέροντος υψηλού επιπέδου. Το OpenCV περιέχει την τεχνική SURF ( Speeded-Up Robust Features), οπότε πρώτα γίνεται εξαγωγή των σημείων μέσω του SURF cvextractsurf(const CvArr* image, const CvArr* mask, CvSeq** keypoints, CvSeq** descriptors, CvMemStorage* storage, CvSURFParams params) Στη συνέχεια μετά από κατασκευή του Kd-Tree (επίσης παρέχεται στο OpenCV) γίνεται ταύτιση των δύο frames ώστε να βρεθούν ζευγάρια αντιστοιχισμένων σημείων. Έπειτα τα ζευγάρια αυτά τροφοδοτούνται στο cvfindhomografy για τον υπολογισμό της ομογραφίας των frames και τέλος γίνεται διαστροφή ανάλογα με τις ομογραφίες για σταθεροποίηση. cvfindhomography(const CvMat* src_points, const CvMat* dst_points, CvMat* homography, int method=0, double ransacreprojthreshold=3, CvMat* mask=0 ) Η τεχνική αυτή μπορεί ωστόσο να καθυστερεί αρκετά τον αλγόριθμο. Χρησιμοποιώντας τη μέθοδο του phase-correlation [19] σε περίπτωση μόνο μεταφορικής κίνησης ανάμεσα στα δύο frames. Το OpenCV περιέχει DFT/FFT, IFFT (μετασχηματισμούς Fourier). 54

55 -Εφαρμογή στρατηγικής αποφυγής σύγκρουσης: Κατά το τελευταίο φιλτράρισμα όπως αναφέρθηκε πιο πάνω εφαρμόζεται και η ειδικότερη στρατηγική, κατά την οποία υπολογίζεται το time to collison. Σύμφωνα με αυτή, καθώς κινείται η κάμερα προς το αντικείμενο (ή το ανάποδο λόγω προσομοίωσης), τα στοιχεία ενδιαφέροντος που έχουν εντοπιστεί στο κέντρο της εικόνας αποκτούν όλο και μεγαλύτερη απόσταση μεταξύ τους (σε σχέση με την αρχική τους θέση που λόγω μεγάλης απόστασης από την κάμερα είναι συγκεντρωμένα πολύ κοντά μεταξύ τους), λόγω του expansion. Δηλαδή τα διανύσματα τους και συγκεκριμένα τα κάθετα, στα οποία έχει εστιαστεί το ενδιαφέρον της παρούσας εργασίας, γίνονται πιο ευδιάκριτα. Οπότε γίνεται επαναλαμβανόμενη άθροιση της απόστασης αυτής, και όταν το μέγεθος ξεπεράσει μια συγκεκριμένη τιμή (η οποία προήλθε μετά από πολυάριθμα test για καλή απόκριση) δίνεται σήμα κινδύνου σύγκρουσης στο monitor. Σε πρακτική εφαρμογή αυτό θα σημάνει την ανάγκη ανάληψης δράσης με σκοπό την αποφυγή του εμποδίου. 3.3 ΕΦΑΡΜΟΓΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΤΗΣ ΤΕΧΝΙΚΗΣ Στην ενότητα αυτή θα γίνει αναφορά στις υποθέσεις και τις συνθήκες υπό τις οποίες έγινε η προσομοίωση, τα αποτελέσματα της και τα προβλήματα που εμφανίστηκαν κατά τη διάρκεια της Υποθέσεις και συνθήκες περιβάλλοντος Στην παρούσα εργασία για λόγους οικονομίας χρόνου και κόστους, έγινε χρήση της διαφορικής μεθόδου για τον υπολογισμό της οπτικής ροής. Παρ' όλο που απαιτεί εξοπλισμό χαμηλού κόστους και ελάχιστο υπολογιστικό χρόνο, συγκριτικά με άλλες μεθόδους σύμφωνα με την ανάλυση της βιβλιογραφίας και της θεωρίας που έγινε σε προηγούμενο κεφάλαιο, η συχνότητα σφαλμάτων είναι αρκετά μεγάλη καθώς είναι επιρρεπής σε δεδομένα υψηλού θορύβου. Επίσης ο υπολογισμός της οπτικής ροής εξαρτάται αρκετά από τις συνθήκες φωτισμού καθώς μπορεί να επηρεαστεί ο αλγόριθμος στον εντοπισμό κατάλληλων σημείων. Τέλος η κάμερα λόγω του χαμηλού της κόστους δεν έχει την επιθυμητή ανάλυση και την ικανότητα ποιοτικής σταθεροποίησης της εικόνας σε σχέση με ακριβότερες κάμερες. Συγκεκριμένα οι συνθήκες και παραδοχές κάτω από τις οποίες έγιναν οι δοκιμές: Συνθήκες φωτισμού: τα πειράματα έγιναν υπό συνθήκες λευκού φωτισμού ικανοποιητικής ένταση αλλά όχι υπερβολικής καθώς σε περιπτώσεις υπερβολικής ή ασθενούς έντασης η 55

56 προβαλλόμενη εικόνα του αντικειμένου εμφανίζεται με μεγάλη αλλοίωση και δε γίνεται ικανοποιητική αναγνώριση στοιχείων. Περιβάλλον φόντου: Το περιβάλλον στο οποίο έγιναν τα πειράματα ήταν αρκετά καθαρό από στοιχεία τα οποία θα μπορούσαν να επηρεάσουν το αποτέλεσμα. Αυτό σημαίνει ότι για φόντο χρησιμοποιήθηκε μονόχρωμος τοίχος. Με τον τρόπο αυτό ο υπολογισμός της οπτικής ροής έγινε με μεγαλύτερη ακρίβεια χωρίς την παρουσία στοιχείων που θα προσέθεταν θόρυβο. FOE: Το focus of expansion σε πραγματικές εφαρμογές δεν εμφανίζεται πάντα στο κέντρο της εικόνας. Ωστόσο για λόγους απλούστευσης θεωρήθηκε ότι το FOE βρισκόταν στο κέντρο της εικόνας όπου και κινούνταν η κάμερα. Εμπόδιο: Ως εμπόδιο θεωρήθηκε ένα χαρτί που περιείχε διακριτά σημεία προς εντοπισμό, με την έννοια της χρωματικής αντίθεσης των στοιχείων που εμφάνιζε. Έτσι εξασφαλίστηκε ικανοποιητική απόδοση του αλγορίθμου σε μεγάλο ποσοστό και με λίγα σφάλματα αφού ο εντοπισμός και η παρακολούθηση των σημείων ενδιαφέροντος ήταν εύκολος. Επισημαίνεται ότι το εμπόδιο ήταν ένα και μοναδικό στο χώρο Προσομοίωση Κατά την προσομοίωση που έγινε, η κάμερα κινούνταν σε ευθεία γραμμή προς το αντικείμενο, το οποίο βρισκόταν διαρκώς στο κέντρο της εικόνας, ενώ δοκιμάστηκε επίσης και ταυτόχρονη κίνηση αντικειμένου και κάμερας αλλά και στρέψη της από ουδέτερο σημείο απευθείας ενάντια στο εμπόδιο. Η ταχύτητα από και προς την κάμερα δεν ήταν μεγάλη προκειμένου να υπάρξει αποδοτικός και ασφαλής υπολογισμός της οπτικής ροής. Επίσης να διευκρινιστεί πως λόγω του ότι η εστίαση της κάμερας είναι χειροκίνητη και όχι αυτόματη, εστίαση έγινε κατά την αρχική της θέση, οπότε κατά την κίνηση της προς το εμπόδιο εμφανίζεται περισσότερο θολή η εικόνα. Σύμφωνα με τον κώδικα που παρουσιάζεται στο παράρτημα έχει δοθεί εντολή να λαμβάνεται σήμα κινδύνου danger όταν το αντικείμενο πλησιάσει πολύ κοντά στην κάμερα, ενώ σε περίπτωση απομάκρυνσης του ή σταθερής απόστασης από την κάμερα στέλνεται μήνυμα cool στο monitor. Στις παρακάτω εικόνες εμφανίζεται το πείραμα επί το έργω. Στην εικόνα 3.1 εμφανίζεται το στάσιμο αντικείμενο απέναντι από την κάμερα η οποία είναι σε θέση εκκίνησης. Εφόσον δεν υπάρχει κίνηση, το σήμα που δίνεται στο monitor είναι cool. Είναι σημαντικό το αντικείμενο να βρίσκεται αρκετά μακριά από την θέση εκκίνησης της κάμερας με σκοπό τα σημεία να είναι περισσότερο συγκεντρωμένα στο κέντρο και να γίνει πιο εμφανής η διάχυση τους 56

57 κατά την κίνηση. Εδώ λόγω του περιορισμένου μήκους του καλωδίου USB δεν ήταν δυνατή περαιτέρω απομάκρυνση από το αντικείμενο, ωστόσο το πείραμα αποδείχθηκε πετυχημένο. Πλέον η κίνηση έχει ξεκινήσει και η κάμερα πλησιάζει το αντικείμενο, ενώ όπως φαίνεται το πρώτο σήμα danger έκανε την εμφάνιση του. Εικόνα 3-1: Αρχική θέση εκκίνησης κάμερας Εικόνα 3-2: Η κάμερα πλησιάζει το εμπόδιο 57

58 Στη συνέχεια η κάμερα πλησιάζει ακόμα περισσότερο το αντικείμενο όπως φαίνεται στην παρακάτω εικόνα με το σήμα κινδύνου να συνεχίζει να εμφανίζεται. Εδώ φαίνεται καθαρά και το πρόβλημα της μη αυτόματης εστίασης. Εικόνα 3-3: Η κάμερα πλησιάζει το αντικείμενο περισσότερο Στο σημείο αυτό η κάμερα σταματά ακριβώς εκεί που έφτασε στην τελευταία εικόνα πριν τη σύγκρουση, οπότε και το εμπόδιο και η κάμερα είναι πλέον ακίνητα. Όπως φαίνεται στην εικόνα 3.4 λόγω αυτής της στασιμότητας και της έλλειψης συνεπώς οπτικής ροής, το σήμα που δίνεται στο monitor είναι πλέον cool, όπως ήταν αναμενόμενο. 58

59 Εικόνα 3-4: Στάσιμη κάμερα κοντά στο αντικείμενο Επόμενη δοκιμή είναι η στρέψη της κάμερας από σημείο κοντά στο αντικείμενο αριστερόστροφα προς το αντικείμενο με σκοπό να φανούν τα διανύσματα της οπτικής ροής. Αυτό εμφανίζεται στις εικόνες 3.5 και 3.6. Εικόνα 3-5: Αρχική θέση πριν τη στροφή 59

60 Εικόνα 3-6: Αριστερόστροφη στρέψη με εμφάνιση διανυσμάτων οπτικής ροής Στην εικόνα 3.7 φαίνεται το αποτέλεσμα της απουσίας των φίλτρων μέγιστης επιτρεπόμενης υποτείνουσας και μέσης οπτικής ροή, όπου η παρουσία των outliers είναι εμφανής. Εικόνα 3-7: Εμφάνιση outliers χωρίς τη χρήση φίλτρων 60