Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΣΥΣΤΗΜΑΤΩΝ ΑΥΤΟΜΑΤΟΥ ΕΛΕΓΧΟΥ ΕΡΓΑΣΤΗΡΙΟ ΑΥΤΟΜΑΤΙΣΜΟΥ ΚΑΙ ΡΟΜΠΟΤΙΚΗΣ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Κουκουλά Νίκου του Αθανασίου Αριθμός Μητρώου: 6554 Θέμα «Aνίχνευση θέσης κινούμενου ρομπότ» Επιβλέπων Τζές Αντώνιος Αριθμός Διπλωματικής Εργασίας: Πάτρα, Φεβρουάριος 2013

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Aνίχνευση θέσης κινούμενου ρομπότ» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Κουκουλά Νίκου του Αθανασίου Αριθμός Μητρώου: 6554 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Τζές Αντώνιος Καθηγητής Ο Διευθυντής του Τομέα Κούσουλας Νικόλαος Καθηγητής

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Aνίχνευση θέσης κινούμενου ρομπότ» Φοιτητής: Κουκουλάς Νίκος του Αθανασίου Επιβλέπων: Τζές Αντώνιος

4 Περίληψη Αντικείμενο της παρούσας εργασίας είναι η υψομετρική ανίχνευση θέσης κινούμενου ρομπότ. Για τον υπολογισμό της θέσης του ρομπότ χρησιμοποιήθηκε ένα στερεοσκοπικό σύστημα δύο ίδιων παράλληλων καμερών. Οι εσωτερικές παράμετροι των δύο καμερών και το μήκος της βασικής γραμμής είναι γνωστά. Θεωρείται για ευκολία ότι όλος ο όγκος του ρομπότ αναπαριστάται απο ένα σημείο P με συντεταγμένες ( X, Y, Z) ώς προς σύστημα συντεταγμένων με αρχή το κέντρο προβολής της αριστερής κάμερας. Για τον εντοπισμό του ρομπότ αποκτήθηκαν δύο ακολουθίες βίντεο, μια για κάθε κάμερα, στις οποίες έγινε κατάτμηση κίνησης με την μέθοδο διαφοράς διαδοχικών καρέ. Στη συνέχεια ακολούθησε επεξεργασία εικόνας στα καρέ και των δύο ακολουθιών για την εξαγωγή των περιοχών που απεικονίζουν το αντικείμενο στο επίπεδο της εικόνας. Κατόπιν, υπολογίστηκαν οι θέσεις των κέντρων βάρους των περιοχών για τις δύο ακολουθίες, Pl ( xl, y l ) και Pr ( xr, y r ) αντίστοιχα. Τα σημεία αυτά αναπαριστούν το σημείο P στην αριστερή και στη δεξιά ακολουθία εικόνων. Ακολούθησε αντιστοίχιση σημείων μεταξύ των δύο ακολουθιών με βάση την επιπολική γεωμετρία. Τα σημεία στα οποία βρέθηκε αντιστοιχία χρησιμοποιήθηκαν για τον υπολογισμό της θέσης του σημείου P με την μέθοδο της τριγωνοποίησης. ii

5 Abstract The object of this thesis is the position detection of a moving robot. To calculate the position of the robot a stereoscopic system of two identical parallel cameras was used. The intrinsic parameters of the cameras and the length of the baseline are given. To simplify the problem it is assumed that the entire robot can be represented by a point P with ( X, Y, Z ) coordinates with respect to the coordinate system of the left camera center of projection. To detect the robot two video image sequences were acquired, one for each camera, to which motion segmentation was applied with the frame differencing method. After that, image proseccing was implemented to the frame sequences in order to find the region that represents the robot in the image plane. The centroids of the regions were calculated in the two sequences, Pl ( xl, y l ) and Pr ( xr, yr ) respectively. Those points represent the point P in the image planes of the left and right camera. Finally the restriction of epipole geometry was used to find matches between those points. Using those matches the coordinates of P were calculated with the triangulation method. iii

6 Ευχαριστίες Θα ήθελα να ευχαριστήσω την οικογένεια μου για την στηριξή τους σε όλη την διάρκεια των σπουδών μου. Ευχαριστώ τον επιβλέποντα καθηγητή της διπλωματικής μου εργασίας Αντώνη Τζέ για την βοήθεια που μου προσέφερε σε όλα τα στάδια της διεκπεραίωσης της εργασίας καθώς και για την ευκαιρία που μου έδωσε να συνεργαστώ μαζί του. Ευχαριστώ τον υποψήφιο διδάκτωρ του ΕΜΠ Κώστα Μπουρούση για τις πληροφορίες που μου έδωσε πάνω στο αντικείμενο της υπολογιστικής όρασης. Τέλος ευχαριστώ όλους τους φίλους που με στήριξαν στην σύνθεση της παρούσης διπλωματικής εργασίας. iv

7 Π Ε Ρ Ι Ε Χ Ο Μ Ε Ν Α Περίληψη ii Abstract iii Ευχαριστίες iv 1 Εισαγωγή Γενικά Διάρθρωση της διπλωματικής εργασίας Τεχνικές υπολογισμού απόστασης και εφαρμοσμένες τεχνολογίες Τεχνικές μέτρησης της απόστασης (Ranging Techniques) Εφαρμοσμένες τεχνολογίες Ακουστικές Οπτικές Ηλεκτρομαγνητικές Βασικά στοιχεία θεωρίας όρασης με υπολογιστή (Computer Vision) Εντοπισμός κινούμενου αντικειμένου Γνωρίσματα εικόνας Κατάτμηση κίνησης Μαθηματική αναπαράσταση εικόνας Αναπαράσταση κάμερας Κάμερα κυρτού φακού Κάμερα-οπή Προοπτική προβολή (perspective transform) Πίνακας εσωτερικών παραμέτρων της κάμερας Στερεοσκοπία και επιπολική γεωμετρία Υλοποίηση αλγορίθμου στερεοσκοπικής όρασης για ανίχνευση κινούμενου αντικειμένου Απόκτηση εικόνας (image acquisition) Διαφορά των καρέ (frame differencing) Επεξεργασίας εικόνας Επεξεργασία περιοχών και εύρεση κέντρων βάρους (centroids) Το πρόβλημα της αντιστοιχίας v

8 4.6 Εφαρμογή της τεχνικής τριγωνοποίησης για την εύρεση απόστασης και camera calibration Πειραματικές μετρήσεις Πείραμα πρώτο: Ευθύγραμμη κίνηση ταμπλέτας σε ιμάντα μεταφοράς τοποθετημένο παράλληλα στο σύστημα των δύο καμερών Πείραμα δεύτερο: Ευθύγραμμη κίνηση ταμπλέτας σε ιμάντα μεταφοράς τοποθετημένο διαγώνια ως προς το σύστημα των δύο καμερών Πείραμα τρίτο: Ευθύγραμμη κίνηση ταμπλέτας σε ιμάντα μεταφοράς τοποθετημένο κάθετα ως προς το σύστημα των δύο καμερών Συμπεράσματα 58 Παράρτημα Α: Κώδικας 59 Παράρτημα B: Σχήματα 62 Βιβλιογραφία 64 vi

9 1 Εισαγωγή 1.1 Γενικά Η είσοδος της ανθρωπότητας στον 21ο αιώνα συνδυάστηκε αδιαμφισβήτητα με την σταδιακή εμφάνιση των ρομπότ στο επιστημονικό προσκήνιο. Η ραγδαία ανάπτυξη των ικανοτήτων των υπολογιστών αλλά και η υλοποίηση εξελιγμένων αισθητήρων κατά τον προηγούμενο αιώνα μετέτρεψε ένα μέχρι πρότινος άπιαστο όνειρο σε πραγματικότητα αναφορικά με την ικανοποίηση των αναγκών μας, από ρομπότ πλήρως αυτοματοποιημένα τα οποία απαιτούν για την διεκπεραίωση των καθηκόντων τους ελάχιστη ή ακόμη και μηδενική επίβλεψη από τον άνθρωπο. Για να καταστεί εφικτό αυτό, οι επιστήμονες καλούνται να δώσουν στα ρομπότ εκτός από υπολογιστική ικανότητα, αισθητήρια όργανα ανάλογα με αυτά των ανθρώπων, ώστε να μπορούν αυτά να λειτουργούν αυτόνομα σε πραγματικές συνθήκες και να επεξεργάζονται πραγματικές πληροφορίες online. Κατά τη διαδικασία αυτή ένα από τα πρωταρχικά ερωτήματα που τίθενται είναι η εύρεση της θέσηςαπόστασης ενός αντικειμένου από το ρομπότ. Οι απαντήσεις που δόθηκαν σε αυτό το πρόβλημα είναι πολλές και υλοποιούνται με χρήση διαφορετικών αισθητήρων και αντίστοιχων τεχνικών μέτρησης της απόστασης. Να σημειώσουμε ότι η εύρεση της απόστασης χρησιμοποιείται για την επίλυση διαφόρων προβλημάτων πραγματικού χρόνου, όπως η αποφυγή εμποδίων ή η αλληλεπίδραση με το αντικείμενο για την επίτευξη ενός στόχου. Από τις πολλές τεχνικές και μεθόδους που έχουν αναπτυχθεί για τον υπολογισμό της απόστασης ενός αντικειμένου, αυτές που απαιτούν την μικρότερη υπολογιστική πολυπλοκότητα είναι αυτές της τριγωνοποίησης (triangulation). Η μέθοδος της τριγωνοποίησης όπως θα δούμε στην συνέχεια έχει το πλεονέκτημα ότι υλοποιείται κατά κύριο λόγο με οπτικές τεχνολογίες (κάμερες, laser). Η επιλογή των τεχνολογιών αυτών ενδείκνυται στο παρόν πρόβλημα όπου το αντικείμενορομπότ κινείται. Αυτό συμβαίνει γιατί οι τεχνικές παρατήρησης και εντοπισμού ενός ρομπότ που βασίζονται στην οπτική προσέγγιση με χρήση κάμερας έχουν αναπτυχθεί ταχύτερα λόγω της εκτεταμένης ανάπτυξης της επιστήμης της επεξεργασίας εικόνας. Πλεονεκτούν άλλων επιλογών καθώς δεν απαιτούν ιδιαίτερο εξοπλισμό και εξασφαλίζουν μεγάλη ακρίβεια σε σχέση πάντα με το κόστος και τις δυνατότητες του εξοπλισμού. Το αντικείμενο της παρούσας εργασίας είναι η εύρεση της θέσης ενός κινούμενου αντικειμένου-ρομπότ από ένα σύστημα δύο καμερών το οποίο θεωρητικά αποτελεί τα ``μάτια`` ενός δεύτερου ρομπότ. Το σύστημα των δύο καμερών κατά το χρονικό παράθυρο του υπολογισμού είναι ακίνητο. Η μέθοδος που αναπτύχθηκε απαιτεί καταρχάς τον εντοπισμό του κινούμενου αντικειμένου και από τις δύο κάμερες. Για το λόγο αυτό χρησιμοποιήθηκαν τεχνικές απόκτησης και επεξεργασίας εικόνας (image acquisition and image processing). Αφού εντοπιστεί το αντικείμενο και εξακριβωθεί ότι είναι το ίδιο και για τις δύο κάμερες χρησιμοποιείται η τεχνική μέτρησης της απόστασης για να εξάγουμε τα αποτελέσματα μας. Πρέπει να τονίσουμε ότι στο πρόβλημα αυτό όπως και σε αντίστοιχα, η εύρεση της απόστασης του αντικειμένου-ρομπότ μπορεί να γίνει ιδιαίτερα πολύπλοκη. Η δυσκολία έγκειται αρχικά στο ότι το περιβάλλον είναι άγνωστο και έτσι δεν μπορούμε να βασιστούμε σε κάποιο είδος μνήμης του συστήματος. Ταυτόχρονα θα πρέπει να λάβουμε υπόψη μας ότι το αντικείμενο είναι κινούμενο και μπορεί να παρουσιάσει ιδιαίτερα απότομες μεταβολές στην κίνηση και την ταχύτητα του που μπορεί να οδηγήσουν τα αισθητήρια όργανα μας (web camera) σε σφάλματα. Τέλος πρέπει να σημειώσουμε ότι οι δυνατότητες του εξοπλισμού τον οποίο διαθέτουμε αποτέλεσαν τον σημαντικότερο παράγοντα σφαλμάτων στους υπολογισμούς μας. 1

10 1.2 Διάρθρωση της διπλωματικής εργασίας Η παρούσα εργασία αποτελείται από έξι κεφάλαια συμπεριλαμβανομένου του παρόντος. Το περιεχόμενο των κεφαλαίων που ακολουθούν είναι το εξής: Στο δεύτερο κεφάλαιο αναλύουμε τεχνικές που έχουν αναπτυχθεί για τον υπολογισμό της θέσης ενός αντικειμένου. Στη συνέχεια παραθέτουμε περιληπτικά εφαρμοσμένες τεχνολογίες για την αντιμετώπιση αυτού του προβλήματος. Στο τρίτο κεφάλαιο αιτιολογούμε την επιλογή της στερεοσκοπικής μεθόδου και την επίλυση με τεχνική τριγωνοποίησης για την λύση του προβλήματος της θέσης ενός κινούμενου εναέριου ρομπότ. Παραθέτουμε όλη την θεωρία που χρησιμοποιήσαμε για την εξαγωγή των συντεταγμένων ( X, Y, Z ) του κινούμενου ρομπότ. Αυτή περιλαμβάνει θεωρία ανίχνευσης βασικών γνωρισμάτων (features) εικόνας, κατάτμησης κίνησης (motion segmentation), μοντελοποίηση εικόνας στην υπολογιστική όραση, μοντελοποίηση κάμερας στην υπολογιστική όραση, στερεοσκοπία και επιπολική γεωμετρία. Στο τέταρτο κεφάλαιο γίνεται η ανάλυση του αλγορίθμου για τον υπολογισμό της θέσης του κινούμενου ρομπότ που περιλαμβάνει τα εξής βήματα: Απόκτηση εικόνας (image acquisition), κατάτμηση κίνησης με frame differencing, επεξεργασία εικόνας (image processing), επεξεργασία περιοχών και εύρεση κέντρων βάρους, αντιστοίχιση καρέ μεταξύ των ακολουθιών βίντεο, βαθμονόμηση κάμερας και εφαρμογή της τεχνικής τριγωνοποίησης για τον υπολογισμό της θέσης του ρομπότ. Δίνονται παραδείγματα για την εφαρμογή του κάθε βήματος. Στο πέμπτο κεφάλαιο γίνεται παρουσίαση και ανάλυση των πειραματικών αποτελεσμάτων του συστήματος ανίχνευσης θέσης που υλοποιήσαμε. Στο έκτο κεφάλαιο σχολιάζεται η απόδοση του συστήματος και αναλύονται οι αδυναμίες του. Έπειτα προτείνονται λύσεις για μελλοντική βελτίωση της λειτουργίας του συστήματος. 2

11 2 Τεχνικές υπολογισμού απόστασης και εφαρμοσμένες τεχνολογίες Καθότι ο υπολογισμός της απόστασης ενός αντικειμένου ή ρομπότ αποτελεί ένα σύνθετο πρόβλημα το οποίο απασχολεί ιδιαίτερα τους ερευνητές, έχουν αναπτυχθεί πολλές τεχνικές (distance measurement techniques) για την επίλυση του. Αρχικά θα αναφερθούμε στις πιο γνωστές από αυτές οι οποίες χρησιμοποιούνται ευρέως και σε ρομπότ. Οι τεχνικές είναι οι εξής : time of flight (TOF), proximity (εγγύτητας), triangulation (τριγωνοποίησης), phase modulation (μετατόπιση φάσης), frequency modulation (μετατόπιση συχνότητας), interferometry (παρεμβαλομετρία), swept focus, return signal intensity (έντασης ανακλώμενου σήματος). Έπειτα θα αναφέρουμε εφαρμοσμένες τεχνολογίες που βασίζονται στις τεχνικές αυτές και επιλύουν το δεδομένο πρόβλημα. 2.1 Τεχνικές μέτρησης της απόστασης (Ranging Techniques) TIME OF FLIGHT Η τεχνική αυτή αναφέρεται στον χρόνο που χρειάζεται προκειμένου ένας παλµός ενέργειας (pulse) να μεταβεί από τον ποµπό στο αντικείμενο προς παρατήρηση και να επιστρέψει πίσω πάλι στον ποµπό. Η ενέργεια αυτή συνήθως προέρχεται από υπερηχητικά σήµατα (Ultrasonic) ή radio signals ή από δέσµες φωτός. Οι παράµετροι που χρησιµοποιούνται για τον υπολογισµό της απόστασης είναι η ταχύτητα του ήχου (1 foot/millisecond περίπου), και η ταχύτητα του φωτός (1 foot/nanosecond). Η τεχνική αυτή ουσιαστικά µετράει τον χρόνο ενός κύκλου µεταξύ της διάχυσης ενός παλµού ενέργειας και της επιστροφής της ηχούς του, η οποία απορρέει από την αντανάκλαση της ενέργειας στο αντικείµενο. Από την φυσική είναι γνωστό ότι η απόσταση αυτή υπολογίζεται από τον τύπο: d u t, δηλαδή η ταχύτητα του κύµατος ενέργειας πολλαπλασιασµένη µε τον χρόνο που απαιτείται για να διανύσει την απόσταση αυτή. Στην προκειμένη περίπτωση βέβαια, πρέπει να προσέξουµε το γεγονός ότι ο υπολογισμός μας δίνει τον χρόνο που απαιτείται για να διανύσει την διπλάσια απόσταση. Για αυτόν τον λόγο ο χρόνος αυτός πρέπει να µειωθεί στο µισό προκειµένου να αντιπροσωπεύει τον πραγµατικό χρόνο. Τα πλεονεκτήµατα της µεθόδου αυτής είναι: Έχουµε απ ευθείας µεταφορά ενέργειας από τον ποµπό στο αντικείµενο και πάλι πίσω στον αποδέκτη (µια ευθεία γραµµή). Στην πραγµατικότητα ποµπός και αποδέκτης µπορεί να είναι η ίδια συσκευή, εν έχουµε πολυπλοκότητα στους υπολογισµούς και δεν βασιζόµαστε σε παραδοχές για τις ιδιότητες του αντικειµένου, Αντιµετωπίζουµε στο ελάχιστο το "missing parts" πρόβληµα, αφού η απόσταση µεταξύ των ποµπών είναι ελάχιστη. Τα προβλήµατα "missing parts" προκύπτουν επειδή κάποια µέρη ενός αντικειµένου γίνονται αντιληπτά µόνο από µια συγκεκριµένη οπτική γωνία 3

12 Ακρίβεια αποτελέσµατος. Κύριο µειονέκτηµα της µεθόδου αυτής είναι ότι μεγάλο μέρος της ενέργειας που εστάλη χάνεται, λόγω της διάχυσης. Μόνο ένα µικρό τµήµα της συνολικής ενέργειας επιστρέφει. Η υπόλοιπη ενέργεια είτε απορροφάται από το αντικείµενο (ανάλογα με την επιφάνειά του), είτε διαχέεται σε διαφορετικές γωνίες είτε πηγαίνει σε άλλα αντικείµενα και επιστρέφει πάλι στον ποµπό δηµιουργώντας έτσι θόρυβο. Προκειµένου να δώσουµε µια µερική λύση στο πρόβληµα, πραγµατοποιούµε επαναλαµβανόµενες µετρήσεις, με στόχο έτσι να εξαλείψουµε τους θορύβους αυτούς, όταν βέβαια οι τιµές τους κυµαίνονται σε λογικά επίπεδα. Σε πολλές περιπτώσεις βέβαια δεν επιστρέφεται καθόλου ενέργεια από το αντικείµενο πίσω στον ποµπό οπότε δεν μπορούμε να εξάγουμε καθόλου αποτελέσματα. PROXIMITY Οι αισθητήρες εγγύτητας σχεδιάστηκαν πρωταρχικά ώστε να είναι σε θέση να αντιλαµβάνονται την παρουσία αντικειµένων κοντά στον ανιχνευτή. Οι αισθητήρες αυτοί δέχονται πληροφορίες για το κοντινό τους περιβάλλον (συνήθως το εύρος τους κυµαίνεται από µια ίντσα έως µερικά πόδια), επεκτείνοντας την τεχνική δια αφής. Αργότερα, µε την ανάπτυξη της τεχνολογίας, η απόδοσή τους αυξήθηκε πολύ και χρησιµοποιούνται πλέον σε αρκετές εφαρµογές. Η αξιοπιστία των χαρακτηριστικών τους, τα καθιστά ιδανικά για χρήση σε εξωτερικό χώρο, όπου οι συνθήκες δεν είναι ευνοϊκές, παρέχοντας απόκριση υψηλής ταχύτητας και ικανοποιητικό χρόνο εγγύησης. Η ικανότητά τους να «βλέπουν» µέσα από πολλά είδη υλικών (ακόµα και µη συµπαγή), επιτρέπει την λειτουργία τους ακόµα και όταν είναι βυθισµένοι (π.χ. σε περιπτώσεις πληµµυρών). Οι συσκευές που χρησιµοποιούν την τεχνική proximity είναι πολύ χρήσιµες σε περιπτώσεις ανίχνευσης αντικειµένων που κινούνται µε µεγάλη ταχύτητα, όταν η επαφή µε τα αντικείµενα αυτά µπορεί να προκαλέσει ζηµιά ή όταν απαιτείται διαχωρισµός µεταξύ µεταλλικών και µη αντικειµένων. Υπάρχουν ποικίλα είδη αισθητήρων εγγύτητας, ανάλογα µε τον τρόπο λειτουργίας τους : permanent-magnetic sensors, inductive sensors, ultrasonic proximity sensors, optical proximity sensors. TRIANGULATION Η τεχνική αυτή χρησιµοποιείται από παλιά στην πλοήγηση των πλοίων, σε έρευνες και σε µηχανολογικές εφαρµογές. Πρόκειται για µια απλή τριγωνοµετρική µέθοδο για τον υπολογισµό αποστάσεων και γωνιών που απαιτούνται προκειµένου να καθοριστεί η θέση ενός αντικειµένου. Μια σηµαντική τριγωνοµετρική αρχή που χρησιµοποιείται κατά κόρον είναι ο νόµος των ηµιτόνων, σύµφωνα µε τον οποίον, όταν γνωρίζουµε µια πλευρά του τριγώνου και δύο γωνίες του, µπορούµε να υπολογίσουµε τις υπόλοιπες δύο πλευρές και την τρίτη γωνία από τις σχέσεις: B Asin sin και Asin sin( ) Τα συστήµατα που χρησιµοποιούν την τεχνική της τριγωνοποίησης χωρίζονται σε παθητικά και ενεργά (passive and active). Passive: στα συστήµατα αυτά τοποθετούνται ανιχνευτές όπως TV κάµερες ή φωτοανιχνευτές στις θέσεις P1και P2. Και οι δύο αισθητήρες στοχεύουν στο ίδιο αντικείµενο, στο σηµείο P3, δηµιουργώντας έτσι ένα τρίγωνο. Η απόσταση µεταξύ των ανιχνευτών όσο και οι γωνίες αυτών µπορούν να µετρηθούν και στην συνέχεια να υπολογιστεί η απόσταση του 4

13 αντικείµενου ενδιαφέροντος. Τα συστήµατα αυτά απαιτούν ειδικές καταστάσεις φωτεινότητας και κατά συνέπεια αν το περιβάλλον είναι πολύ σκοτεινό, πρέπει να παραχθεί τεχνητό φως. Επιπλέον αυτά τα συστήµατα αντιµετωπίζουν προβλήµατα ανταπόκρισης (correspondence), τα οποία απορρέουν από την δυσκολία να ταιριάξουν τα σηµεία που βλέπουν από τον αισθητήρα µε τα σηµεία που φαίνονται από τον άλλο αισθητήρα. Active: τα συστήµατα αυτά τοποθετούν σε ένα σηµείο (P1 ή P2) µία ελεγχόµενη δέσµη φωτός (π.χ. Laser), η οποία κατευθύνεται στο σηµείο παρατήρησης P3. Ένας αισθητήρας τοποθετείται στην γωνία και «στοχεύει» στην P3. Στέλνοντας ενέργεια από το laser βρίσκει στον στόχο και επιστρέφει. Έτσι µπορούµε να υπολογίσουµε την απόσταση από το νόµο των ηµιτόνων. Εδώ δεν απαιτείται επιπλέον τεχνητό φως και δεν παρατηρείται το πρόβληµα ανταπόκρισης (correspondence). Τα συστήµατα αυτά ωστόσο αντιµετωπίζουν προβλήµατα που απορρέουν από την αντανάκλαση και την απορρόφηση του φωτός από τα αντικείµενα. Η µέθοδος αυτή έχει και τα µειονεκτήµατά της. Τα πιο σηµαντικά είναι οι ανακρίβειες στις τριγωνοµετρικές µετρήσεις και τα προβλήµατα "missing parts". Αυτά τα προβλήµατα όπως προείπαµε, προκύπτουν επειδή κάποια µέρη ενός αντικειµένου γίνονται αντιληπτά µόνο από µια συγκεκριµένη οπτική γωνία. Οι πιο σηµαντικές µέθοδοι που χρησιµοποιούνται στην τεχνική της τριγωνοποίησης είναι οι εξείς: Stereo disparity: Όταν βλέπουµε ένα τρισδιάστατο αντικείµενο από δύο πλευρές, τότε η εικόνα του θα στρίψει σφαιρικά, όταν το δούµε από την δεύτερη οπτική γωνία. Αυτή η διαφορά της εικόνας ενός αντικειµένου είναι γνωστή ως disparity και είναι αντιστρόφως ανάλογη µε την απόσταση του αντικειµένου. Πρακτικά χρησιµοποιούµε δύο ίδιες κάµερες (ή µία η οποία κινείται σφαιρικά), παράγοντας έτσι δύο διαφορετικές εικόνες. Η τοποθέτηση των δύο καµερών είναι σηµαντική και τις τοποθετούµε ακριβώς µπροστά (σε ευθεία) από το αντικείµενο. Έτσι, µετράµε την διαφορά των δύο µετρήσεων (της εικόνας από τις δύο κάµερες ) και υπολογίζουµε την πραγµατική απόσταση του αντικειµένου. Προκειµένου να ολοκληρωθεί η παραπάνω διαδικασία, απαιτούνται 4 βήµατα. Το πρόβληµα που παρουσιάζεται εδώ έγκειται στην διαδικασία «ταιριάσµατος» του σηµείου που εντοπίστηκε στην πρώτη εικόνα µε αυτό της δεύτερης εικόνας. Αυτή η προσπάθεια ταιριάσµατος ονοµάζεται correspondence. Η διαδικασία αυτή είναι αρκετά πολύπλοκη και δαπανηρή και γίνονται προσπάθειες να βρεθούν µέθοδοι που θα µειώσουν τα έξοδά της. Active Triangulation: Εδώ στην θέση της µιας κάµερας έχουµε ένα laser ( ή LED) δηλ. µία λεπτή δέσµη φωτός που στοχεύει στο αντικείµενο ενδιαφέροντος. Η υπάρχουσα κάµερα είναι τοποθετηµένη εξωτερικά από την πηγή, σε γνωστή απόσταση. Η γωνία Φ µειώνεται καθώς το αντικείµενο είναι πιο κοντά στο laser και στην κάµερα. Από τις τριγωνοµετρικές σχέσεις µεταξύ των γωνιών αυτών, υπολογίζεται και η απόσταση του αντικειµένου. Structured Light (Active Triangulation): Όσον αφορά αυτή την τεχνική, έχουµε µια ενεργή πηγή φωτός που παράγει µια δέσµη φωτός πάνω στην επιφάνεια του αντικειµένου, ενώ η κάµερα παρατηρεί την πορεία της. Έτσι υπολογίζεται η απόσταση σύµφωνα και µε τις διαστρεβλώσεις που προκαλούνται από την διαφορετικότητα του βάθους του υπόβαθρου (background). Η µέθοδος αυτή χρησιµοποιείται για να µειώσει την πολυπλοκότητα των υπολογισµών και να βελτιώσει την αξιοπιστία της ανάλυσης των τρισδιάστατων αντικειµένων. Η τεχνική αυτή χρησιµοποιείται ευρέως σε ροµπότ πλοήγησης. 5

14 Known Target Size: Εδώ χρησιµοποιούµε το stadimeter, ένα όργανο το οποίο µετράει τις αποστάσεις αντικειµένων των οποίων τα ύψη είναι γνωστά, µεταξύ 50 και 200 πόδια, καλύπτοντας έτσι αποστάσεις από 200 έως yards. Το stadimeter µετράει την γωνία που σχηµατίζεται από το αντικείµενο και την µετατρέπει σε απόσταση. Αξίζει να αναφέρουµε ότι η γωνία αυτή µεγαλώνει καθώς η απόσταση µικραίνει. Οι υπολογισµοί που γίνονται είναι απλή γεωµετρία. PHASE MODULATION Για την μέθοδο αυτή απαιτείται ένα συνεχές κύµα ενέργειας (σε αντίθεση µε την TOF όπου απαιτούνταν µόνο ένας παλµός ενέργειας). Η µέθοδος αυτή αναφέρεται στην µετατόπιση φάσης του σήµατος λόγω αντανάκλασης. Αρχικά στέλνουµε ενέργεια κατευθυνόµενη προς τον στόχο. Μέρος της ενέργειας αντανακλάται από το εµπόδιο και επιστρέφει πάλι πίσω. Η ενέργεια αυτή συγκρίνεται µε την αρχική ενέργεια και υπολογίζεται η διαφορά φάσης. Από αυτήν την διαφορά φάσης µπορούµε να υπολογίσουµε την απόσταση που διάνυσε ο παλµός ενέργειας. Η ακρίβεια στον υπολογισµό της απόστασης πλησιάζει την ακρίβεια της µεθόδου Time of Flight. Ταυτόχρονα, µπορούµε να επιτύχουµε µεγαλύτερη αξιοπιστία αν πραγµατοποιήσουµε πολλές µετρήσεις. Ωστόσο, οφείλουµε να παραδεχτούµε ότι η όλη διαδικασία είναι αρκετά χρονοβόρα κάτι το οποίο αποτελεί το σηµαντικότερο µειονέκτηµα της µεθόδου αυτής. FREQUENCY MODULATION (FM) Πρόκειται για µια εναλλακτική µέθοδο από την Phase Modulation, η οποία χρησιµοποιείται ευρέως σε εφαρµογές radar. Τα FM radar περιλαµβάνουν την µεταφορά ενός συνεχούς ηλεκτροµαγνητικού κύµατος, διαµορφωµένο από ένα περιοδικό τριγωνικό σήµα του οποίου η συχνότητα κυµαίνεται κατά f0. Εικόνα 2.1:Σχέση σήματος αναφοράς και ανακλόμενου σήματος 6

15 Η συνάρτηση που δείχνει την µεταβολή της συχνότητας του σήµατος που αποστέλλεται είναι: f () t f at (1) 0 Το σήµα αυτό αντανακλάται από τον στόχο και φτάνει στον δέκτη σε χρόνο t + T, όπου T 2d c (2) όπου d= απόσταση και c= ταχύτητα του κύματος Το ανακλώµενο αυτό σήµα συγκρίνεται µε ένα σήµα αναφοράς το οποίο λαµβάνεται απ ευθείας από τον ποµπό. Η µέθοδος αυτή έχει το πλεονέκτηµα (συγκρινόµενη µε την Frequency Modulation), ότι δεν χρησιµοποιεί πολλές µετρήσεις, και έτσι η µία αυτή µέτρηση δεν µπορεί να είναι διφορούµενη. INTERFEROMETRY Η µέθοδος αυτή µπορεί να επιτύχει πολύ µεγάλη ακρίβεια στον υπολογισµό αποστάσεων, ιδίως όταν λαµβάνει χώρα κάτω από ελεγχόµενες συνθήκες εργαστηρίου. Ωστόσο, µε την πρόοδο στον τοµέα της οπτικής, γίνεται προσπάθεια να εφαρµοστεί η µέθοδος αυτή και σε συνθήκες εκτός εργαστηρίου. Εδώ, χρησιµοποιείται λέιζερ που παράγει κύµατα φωτός. Αρχικά το φως αυτό διασπάται σε δύο µέρη: µια ακτίνα αναφοράς (reference beam) και µια ακτίνα output. Η ακτίνα αναφοράς κατευθύνεται στον µετρητή fringe, ενώ το δεύτερο µέσω του αέρα φτάνει στον ανακλαστήρα του αντικειµένου. Το επιστρεφόµενο σήµα στέλνεται πίσω, όπου συνδυάζεται µε το σήµα αναφοράς (reference beam) στον µετρητή fringe. Γνωρίζοντας τον συνολικό αριθµό των fringes και το µήκος κύµατος της πηγής φωτός στον αέρα, µπορούµε να υπολογίσουµε µε µεγάλη ακρίβεια την απόσταση του αντικειµένου που έχει διανύσει κατά µήκος της γραµµής. Ουσιαστικά δηλαδή µε την µέθοδο αυτήν δεν υπολογίζουµε απόλυτες αποστάσεις, αλλά την σχετική απόσταση που έχει διανύσει ένα αντικείµενο από την προηγούµενή του θέση. Κύριο µειονέκτηµα της µεθόδου αυτής αποτελεί το γεγονός ότι δεν µπορεί να υπολογίσει µεγάλες αποστάσεις. Το µέγιστο βέβαια όριο έχει να κάνει µε την ποιότητα της πηγής που χρησιµοποιείται. Επίσης έχουµε περιορισµούς από περιβαλλοντικούς παράγοντες όπως επίσης και από τα χαρακτηριστικά συστατικά. SWEPT FOCUS Η µέθοδος αυτή χρησιµοποιεί µια video camera µε φακό µικρού βάθους ώστε να παράγει µια εικόνα που να εστιάζει σε µία συγκεκριµένη περιοχή του αντικειµένου κάθε φορά. Με την βοήθεια του υπολογιστή ο φακός αυτός µπορεί να τοποθετηθεί µε ακρίβεια σε πολλές θέσεις ώστε να έχουµε διαφορετικές όψεις. Αυτή η απόσταση µεταξύ του φακού και της εικόνας του ανιχνευτή είναι σχετική µε την απόσταση που ζουµάρει η κάµερα. Έτσι αν ο φακός έχει τοποθετηθεί έτσι ώστε να ζουµάρει στο αντικείµενο, τότε η απόσταση του αντικειµένου προκύπτει από την θέση του φακού. Κύριο πλεονεκτήµατα της µεθόδου αυτής είναι η ακρίβειά της. Παράλληλα, δεν αντιµετωπίζει το πρόβληµα των missing parts και λειτουργεί παθητικά στο φυσικό φως. Από τα παραπάνω δικαιολογείται η χρήση της σε εφαρµογές κινούµενων αντικειµένων και τρισδιάστατη αναπαράσταση εικόνων. RETURN SIGNAL INTENSITY Τέτοιου είδους µέθοδοι υπολογίζουν την απόσταση ενός αντικειµένου σύµφωνα µε την συµπεριφορά της ενέργειας που αντανακλάται από την επιφάνεια του αντικειµένου. Από το νόµο των αντίστροφων τετραγώνων έχουµε: 7

16 B B L L ( 2 ) (3) 1 όπου: L1 = η απόσταση του πιο αποµακρυσµένου ποµπού από το αντικείµενο L2= η απόσταση του πλησιέστερου ποµπού από το αντικείµενο. Και σε αυτήν την µέθοδο δεν αντιµετωπίζουµε το πρόβληµα των Missing parts. 2.2 Εφαρμοσμένες τεχνολογίες Ακουστικές Οι τεχνολογίες αυτές χρησιμοποιούν ακουστικά κύματα υψηλής συχνότητας για να υπολογίσουν την θέση ενός αντικειμένου. Χρησιμοποιούνται για ανίχνευση αντικειμένων που βρίσκονται τόσο κάτω από την επιφάνεια της θάλασσας όσο και αντικείμενα που κινούνται στον αέρα. Για τις εναέριες εφαρμογές τα συστήματα αισθητήρων αναπτύχθηκαν με την βοήθεια ακουστικών σημάτων στο εύρος των αντιληπτών ακουστικών συχνοτήτων. Στις υπόλοιπες εφαρμογές όμως η χρήση υπερηχητικής ενέργειας έχει επικρατήσει. Η Ultrasonic Energy αναφέρεται σε ηχητικά σήματα που είναι πάνω από το όριο των ηχητικών σημάτων που ανήκουν στο φάσμα της ανθρώπινης ακοής. Οι υπερηχητικοί ποµποί µεταδίδουν συχνότητες συνήθως µεγαλύτερες των Hz, προερχόµενες τόσο από µηχανικές όσο και από ηλεκτρονικές πηγές. Η τεχνολογία αυτή µπορεί να εφαρµοστεί χρησιµοποιώντας τεχνικές triangulation, time of flight, phase lift ή και συνδυασµό αυτών. Η κατεύθυνση και η ταχύτητα ενός κινούµενου αντικειµένου µπορεί να υπολογιστεί από την µετατόπιση Doppler στην συχνότητα της επιστρεφόµενης ενέργειας που προκύπτει από αντικείµενα που κινούνται µπροστά από τον παρατηρητή. Μετατόπιση Doppler 10Hz είναι απαραίτητη για να υπολογιστεί η ταχύτητα ενός αντικειµένου. Συνήθως, οι µέθοδοι της τριγωνοποιήσης (triangulation) και time of flight στέλνουν ενέργεια σε παλµούς (pulse) και είναι πιο αποτελεσµατικές σε µεγαλύτερες αποστάσεις για πλοήγηση και κατευθυνσιοδότηση, ενώ είναι αποτελεσµατικές και σε µικρότερες αποστάσεις όσον αφορά την αναγνώριση αντικειµένων. Η απόδοση των υπερηχητικών συστηµάτων επηρεάζεται σηµαντικά από φυσικά φαινόµενα και τα χαρακτηριστικά του αισθητήρα. Υψίστης σηµασίας είναι και η εξασθένηση του ήχου λόγω απόστασης. Καθώς ένα ακουστικό σήµα ταξιδεύει και αποµακρύνεται από την πηγή, η έντασή του µειώνεται και µάλιστα µε ρυθµό αντιστρόφως ανάλογο του τετραγώνου της απόστασης, εξαιτίας της απορρόφησης του ήχου από τον αέρα. Συνοψίζοντας, το μέγιστο εύρος για έναν υπερηχητικό αισθητήρα εξαρτάται απο την ενέργεια που αποστέλεται και την συχνότητα λειτουργίας. Για να επιτύχουμε μεγαλύτερο εύρος χρειαζόμαστε υψηλές συχνότητες. Εκτός απο τη συχνότητα την ενέργεια και την απόσταση υπάρχουν και άλλοι εξωτερικοί παράγοντες που επηρεάζουν τον σύστημα καθώς μεταβάλουν την ταχύτητα του ήχου. Οι πιό σημαντικές είναι η θερμοκρασία, η κατεύθυνση και η ταχύτητα του αέρα που επηρεάζουν την ηχητική ενέργεια (push or delay effect), αποπροσανατολίζουν το κέντρο της ακτίνας απο την κατεύθυνση του στόχου και ενισχύουν την ηχώ οδηγόντας το κύμα σε μακρύτερη πορεία λόγω αντανάκλασης. Οι αισθητήρες υπερήχων αποτελούν μία πρακτική μέθοδο και η απλή κατασκευή των πομπών τους καθιστά αξιόπιστους και οικονομικούς. Έτσι παρέχεται η δυνατότητα περαιτέρω αναπτυξής των συστημάτων αυτών με αποτέλεσμα την βελτίωση της αποτελεσματικότητάς τους. Τα παραπάνω πλεονεκτήµατα σε συνδυασµό µε την εκτεταµένη χρήση των αισθητήρων υπερήχων στις κάµερες, καθιστούν τις ακουστικές τεχνολογίες ευρέως εφαρμόσιμες σε συστήµατα που σχεδιάζονται για 8

17 βοήθεια τυφλών και συστήµατα που έχουν να κάνουν γενικά µε την ιατρική. Σημαντικό μειονέκτημα αποτελεί η εξάρτηση της απόδοσης απο εξωτερικούς παράγοντες, και η ευαισθησία στον θόρυβο Οπτικές Οι πιο διαδεδοµένες πηγές οπτικών σηµάτων είναι τα LED και τα laser. Προκειµένου να επιλέξουµε την κατάλληλη πηγή για την εφαρµογή µας, ελέγχουµε δύο κυρίως παράγοντες: την πυκνότητα και το µήκος κύµατος. Οι δίοδοι SLDs (Super luminescent diodes) ανακαλύφθηκαν πρόσφατα και µπορεί κανείς να τις χαρακτηρίσει ως έναν ενδιάµεσο σταθµό µεταξύ των διόδων laser και των πιο απλών LED. Η κατασκευή και των τριών παραπάνω πηγών οπτικών σηµάτων είναι περίπου ίδια και έχει να κάνει µε τις οπές και τα ηλεκτρόνια (p-n). Τα LED παράγουν συνεχή οπτικά σήµατα και οι ποµποί λειτουργούν µεταξύ 800 και 900 nanometers. Οι δίοδοι Laser, από την άλλη εκπέµπουν σήµατα που «παλινδροµούν» αρκετές φορές. Προς το παρόν, η πλειοψηφία των συσκευών υπολογισµού απόστασης που βασίζεται σε οπτικές τεχνολογίες χρησιµοποιεί πηγές laser, καθώς τέτοια συστήµατα φαίνεται να είναι τα πιο αξιόπιστα και πιο γρήγορα. Τα Laser εφαρµόζονται σε όλες σχεδόν τις τεχνικές: triangulation, time of flight, phase modulation, interferometry και return signal intensity. Η εκτεταµένη χρήση των laser δικαιολογείται από τα πλεονεκτήµατα που αυτά έχουν. Πρώτα από όλα, είναι αποδοτικά για ανίχνευση αντικειµένων που βρίσκονται σε µεγάλες αποστάσεις καθώς παράγουν φωτεινή και πυκνή δέσµη φωτός. Επιπρόσθετα, είναι σχεδόν ανεπηρέαστα από θορύβους Ηλεκτρομαγνητικές Η τεχνολογία αυτή στηρίζεται στα Radar (Radio Detecting and Ranging) στον υπολογισµό δηλαδή της απόστασης αλλά και άλλων χαρακτηριστικών των αντικειµένων µέσω της αντανάκλασης των ηλεκτροµαγνητικών κυµάτων και της ηχούς. Η µέθοδος αυτή χρησιµοποιείται τόσο για πλοία, όσο και για την πρόβλεψη του καιρού. Κύριο πλεονέκτηµα της ηλεκτροµαγνητικής τεχνολογίας είναι το γεγονός ότι µπορεί να χρησιµοποιηθεί και σε µη κατάλληλες συνθήκες όπως σκόνη, χαλάζι κτλ. Στις µέρες µας, χρησιµοποιούνται δύο κυρίως είδη Radar, τα Microwave Radar και τα Millimeter Wave Radar. 9

18 3 Βασικά στοιχεία θεωρίας όρασης με υπολογιστή (Computer Vision) Για να επιλύσουμε το πρόβλημα της εύρεσης της απόστασης και εν συνεχεία του ύψους του κινούμενου αντικειμένου-ρομπότ πρέπει να επιλύσουμε μία σειρά απο διαδοχικά υποπροβλήματα. Πρώτα από όλα πρέπει να εντοπίσουμε το κινούμενο αντικείμενο. Κατόπιν πρέπει να υπολογιστεί η απόσταση του. Όπως προαναφέραμε στην εισαγωγή η οπτική προσέγγιση για τον εντοπισμό του ρομπότ πλεονεκτεί έναντι άλλων μεθόδων καθώς μας προσφέρει ταυτόχρονη λύση και στο πρόβλημα υπολογισμού της θέσης του. Πιο συγκεκριμένα για τον εντοπισμό του κινούμενου αντικειμένου (object of interest OOI) χρησιμοποιείται η κατάτμηση κίνησης (motion segmentation). Στην συνέχεια για τον υπολογισμό της απόστασης η πλέον διαδεδομένη τεχνική επίλυσης του προβλήματος βασίζεται στην αντίστοιχη φυσική διαδικασία, την στερεοσκοπική όραση (stereo vision). Χρησιμοποιούνται δύο κάμερες που καταγράφουν τον ίδιο χώρο από διαφορετικές σκοπιές. Οι κάμερες βρίσκονται σε συγκεκριμένη γεωμετρία μεταξύ τους, αποτελώντας ένα σύστημα. Από τις προβολές των σημείων στις κάμερες υπολογίζονται οι τρισδιάστατες συντεταγμένες τους. Ο επιστημονικός τομέας που ασχολείται με την μαθηματική μελέτη της οπτικής ονομάζεται επιπολική γεωμετρία (epipolar geometry). Με την χρήση της γεωμετρίας αυτής ο υπολογισμός της θέσης ενός αντικειμένου όταν έχει εντοπισθεί και από τις δύο κάμερες ανάγεται στην επίλυση του προβλήματος τριγωνοποίησης (triangulation problem). 3.1 Εντοπισμός κινούμενου αντικειμένου Γνωρίσματα εικόνας Ένα υπολογιστικό σύστημα συνδεδεμένο με οπτικούς αισθητήρες (κάμερες) δέχεται ως είσοδό του την μαθηματικά κωδικοποιημένη μορφή των εικόνων. Ανάλογα με τα ζητούμενα αποτελέσματα της επεξεργασίας εικόνας ο υπολογιστής καλείται να εντοπίσει στοιχεία τα οποία περιέχουν εξειδικευμένες πληροφορίες. Τα στοιχεία αυτά καλούνται γνωρίσματα (features) χρησιμοποιούνται για να χαρακτηρίσουν εικόνες, ακολουθίες βίντεο ή ακόμα και αντικείμενα των εικόνων. Για να φτάσουμε στο στάδιο αυτό ξεκινούμε εξάγοντας γνωρίσματα χαμηλού επιπέδου. Με βάση αυτά εξάγεται η πληροφορία υψηλότερου επιπέδου υπολογίζοντας νέα χαρακτηριστικά με μεγαλύτερη σημασιολογική πληροφορία. Κάποια από τα βασικά γνωρίσματα χαμηλού επιπέδου που επεξεργάζονται για τον εντοπισμό αντικειμένων σε παρεμφερείς εφαρμογές είναι τα εξής Χρώμα : Αποτελεί ίσως την πιο άμεσα εξαγόμενη πληροφορία μιας εικόνας. Όπως τα υπόλοιπα γνωρίσματα, έτσι και το χρώμα μπορεί να μοντελοποιηθεί με διάφορους τρόπους. Στη γενικότερη περίπτωση, προσπαθούμε η μοντελοποίηση που θα κάνουμε να περιέχει όσο το δυνατόν περισσότερη πληροφορία, ανάλογα με την εφαρμογή. Έτσι το χρώμα μοντελοποιείται συνήθως από έναν μικρό αριθμό βασικών χρωμάτων (RGB) ή μέσω του χρωματικού ιστογράμματος. 10

19 Υφή : Όμοια με το χρώμα αντιμετωπίζεται και η υφή μιας εικόνας. Διάφορα μοντέλα έχουν προταθεί για τη μοντελοποίηση της καθώς είναι ένα μέγεθος που συνδέεται άμεσα με την εγκυρότητα των υπολογισμών μας, ειδικά σε περιπτώσεις εκτίμησης κίνησης. Σχήμα : Ενώ μπορεί γενικά να θεωρηθεί ως γνώρισμα υψηλότερου επιπέδου, μοντελοποιείται και αυτό σε χαμηλό επίπεδο με βάση τις ιδιότητες της εικόνας όπως για παράδειγμα τις ακμές, το εμβαδό, τη θέση κλπ. Το περίγραμμα αντικειμένων ενδιαφέροντος μιας εικόνας εξάγεται και μοντελοποιείται σε υψηλότερο επίπεδο. Κίνηση : Αποτελεί πολύ σημαντικό γνώρισμα για τις περισσότερες εφαρμογές του κλάδου και εξάγεται από δύο ή περισσότερα καρέ μιας ακολουθίας βίντεο. Μέχρι και σήμερα, έχει αναπτυχθεί ένας μεγάλος αριθμός μεθόδων για τον υπολογισμό της κίνησης καθώς η εκτίμηση της αποτελεί βάση πολλών εφαρμογών, όπως για παράδειγμα ο υπολογισμός της τρισδιάστατης κίνησης ενός αντικειμένου και η παρακολούθηση τροχιάς. Πρότυπα : Μια συνηθισμένη τακτική σε κάποιες από τις κατηγορίες εφαρμογών είναι η εξαγωγή προτύπων αντί χαρακτηριστικών από ακολουθίες εικόνων τα οποία στη συνέχεια χρησιμοποιούνται αυτούσια, μετασχηματισμένα ή και παραμορφωμένα σε διαδικασίες εντοπισμού και αναγνώρισης. Ως παράδειγμα αναφέρουμε την εξαγωγή προτύπων από εικόνες με ανθρώπινα πρόσωπα. Μετασχηματισμοί : Ενδιαφέροντα γνωρίσματα για εφαρμογές μηχανικής όρασης προκύπτουν και από το μετασχηματισμό των εικόνων ή συγκεκριμένων περιοχών τους. Για παράδειγμα ο μετασχηματισμός Fourier δίνει πληροφορίες για το συχνοτικό περιεχόμενο των εικόνων Κατάτμηση κίνησης Η κατάτμηση κίνησης (motion segmentation) έχει να κάνει με τον διαχωρισμό του κινούμενου αντικειμένου για το οποίο ενδιαφερόμαστε (object of interest-ooi) από την εικόνα του φόντου. Λαμβάνοντας υπόψη το γεγονός ότι το αντικείμενο είναι κινούμενο, μας συμφέρει να χρησιμοποιήσουμε λήψη ακολουθίας βίντεο. Η λήψη βίντεο ενδείκνυται καθώς επιτρέπει την εφαρμογή του αλγορίθμου και σε online καταστάσεις. Ο αλγοριθμός μας επιθυμούμε να είναι εύρωστος (robust) στον θόρυβο και στις αλλαγές του φόντου και του φωτισμού. Μερικές απο τις σύγχρονες τεχνικές που εφαρμόζονται στην ανάλυση ακολουθίας βίντεο παρουσιάζονται παρακάτω: Αφαίρεση του φόντου (Background subtraction) Η αφαίρεση του φόντου αποτελεί μια απλή λύση στην κατάτμηση εικόνας. Μια στατική εικόνα η οποία δεν περιέχει το ΟΟΙ επιλέγεται ως το μοντέλο του φόντου και η εικόνα της κίνησης βρίσκεται από μια pixel προς pixel διαφορά μεταξύ διαδοχικών καρέ και του μοντέλου φόντου. Η μέθοδος αυτή δεν είναι κατάλληλη όταν το φόντο αλλάζει δυναμικά και κινείται. Υπάρχουν διάφορες παραλλαγές της μεθόδου αυτής που περιλαμβάνουν διαφορετικούς τρόπους υπολογισμού του μοντέλου του φόντου. Μια από αυτές είναι η διαμόρφωση του μοντέλου του φόντου από τα pixel εκείνα που διατηρούν τις τιμές τους μεταξύ πολλών διαδοχικών καρέ της ακολουθίας βίντεο που έχουμε λάβει. Η μέθοδος αυτή στην δεδομένη της μορφή εμφανίζει μειονεκτήματα και ιδιαίτερα στην εφαρμογή της σε online προβλήματα. 11

20 Οπτική ροή (Optical flow) Οι τεχνικές της οπτικής ροής βασίζονται στην υπόθεση ότι η ένταση των pixels σε μία ακολουθία εικόνων παραμένει αμετάβλητη. Με την οπτική ροή όμως είναι αδύνατον να προσδιορίσουμε την ταχύτητα της εικόνας στην διεύθυνση κάθετη με την βάθμωση της έντασης της εικόνας. Η αδυναμία αυτή είναι γνωστή ως το πρόβλημα του ανοίγματος (aperture problem). Η οπτική ροή είναι πολύ πολύπλοκη υπολογιστικά και απαιτεί η εσωτερική κίνηση των χαρακτηριστικών των καρέ να είναι μικρή. Ταυτόχρονα η υλοποίηση της σε πραγματικό χρόνο είναι δύσκολη και απαιτεί εξειδικευμένο υλικό. Τα πλεονεκτήματα της τεχνικής αυτής είναι ότι μπορεί να πετύχει την κατάτμηση των κινούμενων αντικειμένων ακόμη και αν η κάμερα κινείται. Η οπτική ροή μπορεί ακόμη να διαχωρίσει την κίνηση μεταξύ ενός σώματος στερεού που δεν αλλάζει το σχήμα του και ενός που αλλάζει, διότι η κίνηση του σώματος που δεν αλλάζει παρουσιάζει μικρή συνεχή ροή. Στατιστικές μέθοδοι (Statistical Methods) Οι στατιστικές μέθοδοι γενικά απορρέουν από την βασική τεχνική της αφαίρεσης φόντου. Υπολογίζουν τα στατιστικά μεμονωμένων pixels ή μίας ομάδας από pixels και χρησιμοποιούν την πληροφορία για να ταξινομήσουν τις περιοχές μιας εικόνας ώς περιοχές που ανήκουν στο φόντο ή στο προσκήνιο. Συχνά χρησιμοποιούνται γκαουσιανές για την μοντελοποίηση και στην συνέχεια η ενημέρωση του μοντέλου γίνεται με δυναμική διαδικασία προσέγγισης. Ένας άλλος τρόπος είναι η χρήση των μεγίστων και των ελαχίστων τιμών έντασης, και η μέγιστη απόκλιση αυτών των τιμών που προκύπτει από τα διάφορα καρέ, ως στατιστικές παράμετροι για την μοντελοποίηση του φόντου. Η τεχνική αυτή είναι εύρωστη σε αλλαγές των συνθηκών του φόντου. 3.2 Μαθηματική αναπαράσταση εικόνας Στην θεωρία επεξεργασίας εικόνας (image processing) μια εικόνα αναπαρίσταται μαθηματικά με την μορφή ενός πίνακα. Στην περίπτωση που η εικόνα δεν έχει χρώμα, ο πίνακας έχει δύο διαστάσεις και αποτελεί την απεικόνιση I, όπου σε κάθε σημείο της εικόνας που ανήκει στην περιοχή του 2 αντιστοιχίζεται μια θετική τιμή φωτεινότητας. I x y I x y (3.1) 2 : ;(, ) (, ) Στην περίπτωση της ψηφιακής εικόνας τόσο το επίπεδο όσο και οι τιμές της φωτεινότητας είναι διακριτές. Για παράδειγμα μια εικόνα μπορεί να περιέχει τα στοιχεία-pixels της περιοχής ( 2 [1,640] [1, 480] και να παίρνει τιμές φωτεινοτήτων στο διάστημα [0,255] grayscale κωδικοποίηση). Έτσι η εικόνα μπορεί να αναπαρασταθεί σαν ένας πίνακας ή ένα τρισδιάστατο γράφημα. Ανάλογα με την κωδικοποίηση ο πίνακας μπορεί να σχεδιαστεί ώστε οι αριθμοί να αντιπροσωπεύουν κβαντισμένες ποσότητες φωτεινότητας. Η απεικόνιση αυτή αποτελεί την πιο κατανοητή από τον άνθρωπο. Στην περίπτωση που η εικόνα είναι έγχρωμη, τότε έχουμε τρείς πίνακες έναν για κάθε βασικό χρώμα (RGB-κόκκινο, πράσινο και μπλε). Έτσι σε κάθε στοιχείο της εικόνας αντιστοιχίζονται τρείς τιμές χρωματικότητας. 12

21 3.3 Αναπαράσταση κάμερας Κατά την λειτουργία της κάμερας, φώς από το περιβάλλον συγκεντρώνεται σε μία επιφάνεια (ccd chip,φιλμ) και αποτυπώνεται σε αυτήν. Κατά τη διαδικασία αυτή προβάλλεται ο τρισδιάστατος χώρος σε μια δισδιάστατη εικόνα. Η απεικόνιση αυτή μειώνει της διαστάσεις των δεδομένων που λαμβάνει η κάμερα από τρείς σε δύο. Κάθε στοιχείο της απεικόνισης αντιστοιχεί σε μία τιμή φωτεινότητας της πραγματικής σκηνής Κάμερα κυρτού φακού Η κάμερα είναι ένα οπτικό σύστημα που χρησιμοποίει μια διάταξη φακών για να καθοδηγήσει το φώς, να αλλάξει δηλαδή η διεύθυνση μετάδοσης του φωτός, μέσω των φαινομένων της διάθλασης, της περίθλασης και της ανάκλασης έτσι ώστε να το κατευθύνει στην επιφάνεια του αισθητήρα (CCD, CMOS) ή στο φιλμ. Για λόγους απλότητας τα φαινόμενα της περίθλασης και της ανάκλασης των φακών της κάμερας συνήθως αγνοούνται, καταλήγοντας έτσι στο μοντέλο κάμερας λεπτού φακού (thin lens camera) Εικόνα 3.1:Μοντέλο κάμερας κυρτού φακού Τα χαρακτηριστικά στοιχεία του φακού είναι το οπτικό κέντρο C, η εστία F που βρίσκεται σε απόσταση f (εστιακή απόσταση-focal length) πίσω από το φακό, ο οπτικός άξονας που είναι η κάθετη στο επίπεδο του φακού ευθεία που διέρχεται από το οπτικό κέντρο και την εστία, και ένα πέτασμα που ονομάζεται επίπεδο προβολής που είναι κάθετο στην οπτική ευθεία και η απόστασή του από το φακό είναι μεταβλητή. Η λειτουργία του φακού στηρίζεται σε δύο ιδιότητες. Η πρώτη είναι ότι κάθε ακτίνα που εισέρχεται στο φακό και είναι παράλληλη με τον οπτικό άξονα διαθλάται έτσι ώστε να τέμνει τον οπτικό άξονα στο σημείο ακριβώς που βρίσκεται η εστία. Η δεύτερη είναι ότι κάθε ακτίνα που 13

22 εισέρχεται στο οπτικό κέντρο του φακού δεν διαθλάται. Το σημείο Α του σχήματος προβάλλεται στο σημείο τομής Α των δύο γραμμών: της τεθλασμένης που ξεκινάει από το Α, εισέρχεται κάθετα στο φακό, διαθλάται και διέρχεται από την εστία, και της ευθείας που ξεκινάει από το Α και διέρχεται από το οπτικό κέντρο. Από την ομοιότητα των τριγώνων ACB και ACB και αυτή των τριγώνων DCF και ABF προκύπτει η θεμελιώδης εξίσωση του λεπτού φακού: f CB CB (3.2) Αν το σημείο τομής βρίσκεται πάνω στο επίπεδο του πετάσματος προβολής τότε το είδωλο Α του σημείου Α είναι εστιασμένο. Σε άλλη περίπτωση το Α προβάλλεται στο πέτασμα ως μία περιοχή σημείων (μη εστιασμένο είδωλο). Καθώς η θεμελιώδης εξίσωση εξαρτάται μόνο από την απόσταση του σημείου από το φακό, εξάγεται ότι κάθε σημείο του επιπέδου που βρίσκεται σε απόσταση CB από τον φακό θα προβάλλεται εστιασμένο στο πέτασμα προβολής όταν αυτό βρίσκεται σε απόσταση CB. Αν και η άμεση συνέπεια της διαδικασίας προβολής είναι το είδωλο να εμφανίζεται πίσω από την κάμερα ανεστραμμένο, στην μαθηματική μελέτη του μοντέλου το πέτασμα προβολής τοποθετείται μπροστά απο το φακό σε απόσταση f έτσι ώστε η εικόνα να μην αντιστρέφεται. Όσο η απόσταση CB μεγαλώνει τόσο η CΒ μικραίνει και τείνει στην f. Στην πράξη για αντικείμενα που δεν είναι υπερβολικά κοντά στην κάμερα θεωρείτε ίση με f Κάμερα-οπή Το μοντέλο της κάμερας-οπής (pinhole camera) αποτελεί μία απλούστευση του μοντέλου της κάμερας λεπτού φακού, καθώς αγνοεί τα φαινόμενα οπτικής παραμόρφωσης ή θολότητας των μη εστιασμένων ειδώλων. Τα φαινόμενα αυτά οφείλονται στη γεωμετρία των φακών και είναι έντονα στις περιοχές μακριά από το κέντρο της προβαλλόμενης εικόνας. Στο μοντέλο αυτό δεν υπάρχει φακός αλλά στη θέση του βρίσκεται μία μικρή οπή που λειτουργεί όπως το οπτικό κέντρο του φακού. Όσο πιο μικρή η διάμετρος, τόσο πιο καθαρή αλλά και σκοτεινή είναι η προβαλλόμενη εικόνα στο επίπεδο προβολής. Φωτογραφικές μηχανές με πολύ μικρή διάμετρο κλείστρου, καθώς και το μάτι σε περιβάλλον έντονου φωτισμού λειτουργούν σαν κάμερες οπής. Το μαθηματικό μοντέλο της κάμεραςοπής ονομάζεται μοντέλο σημειακής προοπτικής προβολής. Εικόνα 3.2:Μοντέλο κάμερας οπής και προοπτική προβολή 14

23 3.3.3 Προοπτική προβολή (perspective transform) T Αν το σημείο p του σχήματος με συντεταγμένες X, Y, Z προβληθεί στο επίπεδο προβολής T στο σημείο χ με συντεταγμένες xy, τότε από τις ομοιότητες τριγώνων προκύπτει X Y x f, y f (3.3) Z Z Εικόνα 3.3:Μοντέλο κάμερας λεπτής οπής με ανεστραμμένο επίπεδο προβολής Ο μετασχηματισμός εκφράζει μαθηματικά το μοντέλο της κάμερας οπής. Τις περισσότερες φορές υιοθετείται το μοντέλο της εμπρόσθιας κάμερας, στην οποία το επίπεδο προβολής βρίσκεται μπροστά από την κάμερα, έτσι ώστε να αποφευχθεί το αρνητικό πρόσημο του μετασχηματισμού ο οποίος γίνεται: X Y x f, y f Z Z (3.4) Οι εξισώσεις εκφράζουν τον μετασχηματισμό της ιδανικής προοπτικής προβολής 3 2 f X Z : ; f Y X (3.5) 15

24 Εικόνα 3.4:Μοντέλο κάμερας λεπτής οπής με ορθό επίπεδο προβολής Σε ομογενείς συντεταγμένες ο μετασχηματισμός γράφεται X X fx f Y Y fy 0 f 0 0 Z Z Z (3.6) f Όπου ο P 0 f 0 0 είναι ο πίνακας της κάμερας (camera matrix) για το μοντέλο κάμερας οπής με κεντρική προβολή (central projection) σε ομογενείς συντεταγμένες δηλαδή υποθέτουμε ότι στο σημείο p (principal point) βρίσκεται η αρχή του συστήματος συντεταγμένων. Εικόνα 3.5:Γεωμετρία pinhole μοντέλου 3.4 Πίνακας εσωτερικών παραμέτρων της κάμερας Στην θεωρία της κεντρικής προβολή υποθέτουμε ότι η αρχή των αξόνων συντεταγμένων βρίσκεται στο κέντρο της εικόνας. Στην πράξη, σε πολλά υπολογιστικά συστήματα χρησιμοποιούμε σαν αρχή την πάνω ή την κάτω αριστερή γωνία της εικόνας. Έχουμε λοιπόν τον μετασχηματισμό 16

25 T x y όπου τα σημεία x x y z f x z p f y z p p και p y αποτελούν τις συντεταγμένες του κέντρου εικόνας με βάση το σύστημα συντεταγμένων που έχουμε επιλέξει για την εικόνα 3.4. Αυτή η εξίσωση σε ομογενείς συντεταγμένες εκφράζεται: X X fx Zp f 0 px 0 x Y Y fy Zp y 0 f py 0 Z Z Z (3.7) f 0 px K 0 f py (3.8) Ο Κ ονομάζεται πίνακας calibration της κάμερας. Το διάνυσμα X Y Z 1 T θεωρείται ως προς σύστημα συντεταγμένων με αρχή των αξόνων το κέντρο της κάμερα και τον άξονα z να διέρχεται από το κεντρικό σημείο του επιπέδου της εικόνας (principal point). 3.5 Στερεοσκοπία και επιπολική γεωμετρία Η στερεοσκοπία βασίζεται στην Επιπολική γεωμετρία (Epipolar Geometry). Για να εξηγήσουμε την βασική θεωρία της γεωμετρίας αυτής θα ξεκινήσουμε με ένα παράδειγμα. Εικόνα 3.6:Επιπολική Γεωμετρία τυχαίου προσανατολισμού 17

26 Στην εικόνα 3.6 βλέπουμε την γενική περίπτωση τυχαίου προσανατολισμού ενός συστήματος δύο καμερών. Η κάθε μια από τις δύο κάμερες έχει τα δικά της επίπεδα προβολής ( 1 και 2 ), κέντρα προβολής ( C 1 και 2 C ) και συστήματα συντεταγμένων x, y, z x, y, z Τα δύο σημεία P 1 και P 2 είναι οι προβολές του σημείου του χώρου P στα δύο επίπεδα προβολής. Το e 1 είναι η προβολή του C 2 πάνω στο επίπεδο 1 και αντίστοιχα το e 2 είναι η προβολή του C 1 στο επίπεδο 2. Τα e 1 και e 2 ονομάζονται επίπολα ή επιπολικά σημεία (epipoles). Το επίπεδο που ορίζεται από τα σημεία: P, C 1 και C 2 ονομάζεται επιπολικό επίπεδο. Τα ευθύγραμμα τμήματα P1 e 1 και P2 e 2 ονομάζονται επιπολικές γραμμές. Για να καταλάβουμε τη χρησιμότητα της επιπολικής γεωμετρίας ας θεωρήσουμε ότι υπάρχει μόνο η αριστερή κάμερα C 1. Τότε, παρατηρώντας το σημείο P μέσα από την κάμερα C 1 βλέπουμε την προβολή του P 1 αλλά δεν μπορούμε να υπολογίσουμε την απόσταση του P από το C 1. Το P μπορεί να βρίσκεται σε οποιοδήποτε σημείο της ημιευθείας C1 P 1. Τώρα αν θεωρήσουμε ότι υπάρχει και η δεξιά κάμερα C 2 παρατηρούμε ότι η προβολή αυτής της ημιευθείας στο επίπεδο 2 της C 2 είναι η επιπολική γραμμή P2 e 2. Δηλαδή η εικόνα όλων των πιθανών θέσεων ενός σημείου παρατηρούμενο από τη μια κάμερα είναι η επιπολική γραμμή που σχηματίζεται από την προβολή του σημείου στο επίπεδο προβολής της άλλης κάμερα και το επιπολικό σημείο της. Το γεγονός αυτό είναι γνωστό ως επιπολικός περιορισμός. Στην όραση με υπολογιστή (computer vision) έχουμε δύο κάμερες που κοιτούν την ίδια σκηνή από διαφορετικές θέσεις. Για να υπολογίσουμε το βάθος κάθε σημείου της σκηνής, θα πρέπει πρώτα να ταυτίσουμε κάθε προβαλλόμενο σημείο στο 1 στο αντίστοιχο του 2. Ο επιπολικός περιορισμός βοηθάει πολύ τον αλγόριθμο ταύτισης καθώς πλέον το αντίστοιχο σημείο δεν είναι κάποιο από τα σημεία του επιπέδου 2 (δισδιάστατη αναζήτηση) αλλά κάποιο από τα σημεία της επιπολικής γραμμής του 2 (μονοδιάστατη αναζήτηση). 18

27 Εικόνα 3.7:Επιπολική γεωμετρία κανονικού προσανατολισμού Για ελαχιστοποίηση των αριθμητικών πράξεων, χρησιμοποιούμε το μοντέλο κανονικού προσανατολισμού που φαίνεται στην εικόνα 3.7. Σύστημα λήψης κανονικού προσανατολισμού ονομάζουμε το σύστημα στο οποίο οι δύο οπτικοί άξονες Cz 1 1και Cz 2 2 είναι παράλληλοι και οι δύο οριζόντιοι άξονες των εικόνων Cx 1 1και Cx 2 2 ταυτίζονται. Σε αυτή την περίπτωση τα προβαλλόμενα σημεία P 1 και P 2 βρίσκονται πάνω στην ίδια επιπολική γραμμή που είναι πάντα παράλληλη προς τον οριζόντιο άξονα, άρα τα P 1 και P 2 έχουν το ίδιο y, γεγονός που μας διευκολύνει να βρούμε το βάθος του σημείου μόνο από τη διαφορά των x των σημείων P 1 και P 2. Αυτή η διαφορά σε εικονοστοιχεία του σημείου P 1 στο πρώτο επίπεδο προβολής από το αντίστοιχο σημείο P 2 στο άλλο επίπεδο προβολής ονομάζεται στερεοσκοπική ανομοιότητα (stereo disparity) του σημείου P και συμβολίζεται με το γράμμα d. Ο υπολογισμός της ανομοιότητας και του βάθους του σημείου P φαίνεται καλύτερα στην εικόνα αν εξετάσουμε την κάτοψη του συστήματος κανονικού προσανατολισμού που προκύπτει από τις εικόνες 3.7 και

28 Εικόνα 3.8:Κάτοψη συστήματος κανονικού προσανατολισμού με παράλληλες κάμερες Οι δείκτες l και r είναι για τα μεγέθη της αριστερής και δεξιάς κάμερας αντίστοιχα. Η απόσταση ανάμεσα στις δύο κάμερες ονομάζεται βασική γραμμή (baseline) και συμβολίζεται με το γράμμα b. Η αρχή των αξόνων του συστήματος συντεταγμένων του πραγματικού κόσμου X, Y, Z βρίσκεται στο κέντρο της βασικής γραμμής. Από τα όμοια τρίγωνα με την εξίσωση της προοπτική προβολής προκύπτει: ClMP και ClLp l και σύμφωνα Z b X 2 f x l Από τα όμοια τρίγωνα Cr NP και CrRp r προκύπτει: Z b X 2 f x r Λύνοντας την ως προς Χ και αντικαθιστώντας στην έχουμε: 20

29 Και τελικά προκύπτει το βάθος Ζ του σημείου Ρ: Z xl b b Z xr f f 2 2 Z x Z x b f r Z x Z x b f r l l b b Z f f x x d l r (3.9) Δηλαδή βρίσκουμε το βάθος ενός σημείου Ρ της σκηνής από την ανομοιότητά του d ( x x ), την εστιακή απόσταση f (κοινή θεωρητικά αν οι δύο κάμερες είναι ίδιου τύπου) και την βασική γραμμή b. Το βάθος αποτελεί ουσιαστικά την κάθετη απόσταση του σημείου Ρ από την βασική γραμμή. Όλα τα μεγέθη μετρώνται με βάση το σύστημα της αριστερής κάμερας εκτός από το x r που υπολογίζεται στο σύστημα συντεταγμένων της δεξιάς κάμερας. Η εστιακή απόσταση μετριέται σε μονάδες οριζόντιας διάστασης pixel. Τελικώς από το Ζ μπορούμε να υπολογίσουμε το Υ από την σχέση: l r Y y Z (3.10) f Για να υπολογίσουμε την συντεταγμένη Χ λύνουμε τις σχέσεις και ως προς x l και x r αντίστοιχα και διαιρώντας τες έχουμε : b f ( X ) xl 2 Z xl 2X b x b f r ( X ) xr 2X b 2 Z b( xl xr) X 2 ( x x ) Για το σύστημα αριστερών συντεταγμένων επιλέγουμε: l r b X (3.11) xl d 21

30 4 Υλοποίηση αλγορίθμου στερεοσκοπικής όρασης για ανίχνευση κινούμενου αντικειμένου Ο αλγόριθμος που σχεδιάστηκε για την επίλυση του προβλήματος αναλύεται στα εξής διαδοχικά βήματα. Κατά πρώτον γίνεται η λήψη μιας ακολουθίας βίντεο και από τις δύο κάμερες. Εν συνεχεία εφαρμόζουμε μια τεχνική κατάτμησης κίνησης (motion segmentation), την διαφορά διαδοχικών καρέ (frame differencing), ώστε να εντοπίσουμε τυχόν κινούμενα αντικείμενα. Επειδή τα αποτελέσματα που θα πάρουμε περιέχουν θόρυβο εφαρμόζουμε επεξεργασία εικόνας (image processing) κατάλληλη ώστε να απομακρύνουμε περιττά στοιχεία και να διατηρήσουμε βασικές πληροφορίες που καθιστούν την αναζήτηση περιοχών ενδιαφέροντος εύκολη από άποψη υπολογιστικής πολυπλοκότητας. Η διαδικασία αυτή ονομάζεται blob detection και μας επιτρέπει να εντοπίζουμε περιοχές σε μία ψηφιακή φωτογραφία με συγκεκριμένα χαρακτηριστικά. Καταλήγουμε έτσι σε ονοματισμένες περιοχές (labeled regions) τις οποίες επεξεργαζόμαστε ανάλογα με τις πληροφορίες που έχουμε για το αντικείμενο που αναζητούμε. Βρίσκουμε τα κέντρα (centroids) των περιοχών που αντιπροσωπεύουν τα ανιχνευμένα αντικείμενα και στις δύο ακολουθίες βίντεο και στη συνέχεια ελέγχουμε αν υπάρχει αντιστοιχία (match) μεταξύ των σημείων αυτών στα αντίστοιχα χρονικά καρέ που έχουν αποκτήσει οι δύο κάμερες. Αν συμβεί αυτό τότε προχωρούμε στην εφαρμογή της στερεοσκοπικής τεχνικής για την εύρεση της απόστασης. 4.1 Απόκτηση εικόνας (image acquisition) Καθώς το αντικείμενο ενδιαφέροντος είναι κινούμενο η λήψη ακολουθίας βίντεο όπως προαναφέραμε διευκολύνει τον εντοπισμό του. Για την λήψη της ακολουθίας βίντεο χρησιμοποιήθηκαν δύο όμοιες κάμερες Logitech HD webcam C525. Οι δύο κάμερες είναι τοποθετημένες σε στερεοσκοπικό σύστημα κανονικού προσανατολισμού (παράλληλες κάμερες). Η απόσταση μεταξύ τους (baseline) είναι περίπου b 41cm (δεν γνωρίζουμε την ακριβή απόσταση των κέντρων προβολής) και μπορούμε να την μεταβάλουμε αν το επιλέξουμε. Η ομοιότητα από την πλευρά του υλικού hardware (αισθητήρας CMOS) και των χαρακτηριστικών των φακών (lens) είναι απαραίτητη για πολλούς λόγους. Αρχικά καθιστά τις εσωτερικές παραμέτρους των καμερών ίδιες (θεωρητικά). Έτσι απλοποιείται η υπολογιστική πολυπλοκότητα στην εφαρμογή της στερεοσκοπικής μεθόδου για τον υπολογισμό της απόστασης. Κατά κύριο λόγο όμως διευκολύνει ιδιαίτερα την διαδικασία της απόκτησης εικόνας. Αυτό συμβαίνει γιατί στην διαδικασία ταυτόχρονης λήψης βίντεο από δύο κάμερες επιθυμούμε η βιντεοσκόπηση να ξεκινά ταυτόχρονα και στις δύο και στη συνέχεια να υπάρχει χρονική ταύτιση μεταξύ αντίστοιχων καρέ. Αν παραδείγματος χάριν έχουμε λάβει μία ακολουθία 500 καρέ σε κάθε μία από τις δύο κάμερες, θέλουμε ο χρόνος που αποκτήσαμε το καρέ υπ αριθμόν 1 στην πρώτη κάμερα να είναι ο ίδιος με αυτόν που αποκτήσαμε το καρέ 1 στην δεύτερη κάμερα και ούτω καθεξής, θεωρώντας ως αρχή του χρόνου την στιγμή που ξεκινάει η λήψη. Η ταύτιση αυτή απλοποιεί ιδιαίτερα τον αλγόριθμο σε online συνθήκες καθώς εξασφαλίζει κατά το δυνατόν ότι οι θέσεις των αντικειμένων στον πραγματικό κόσμο (3D) είναι ίδιες στα αντίστοιχα καρέ. Με το υλικό που διαθέτουμε ωστόσο η απόλυτη χρονική ταύτιση δεν είναι 100% εφικτή. 22