Διπλωματική Εργασία. του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 1 Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Παγώνη Μελετίου του Ιωάννη Αριθμός Μητρώου: 6336 Θέμα «Εύρεση θέσης αυτοκινήτου με ψηφιακή επεξεργασία σήματος βίντεο»

2 2 Επιβλέπων Καθηγητής: Ευάγγελος Δερματάς Αριθμός Διπλωματικής Εργασίας: Πάτρα, Ιανουάριος 2011

3 3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Εύρεση θέσης αυτοκινήτου με ψηφιακή επεξεργασία σήματος βίντεο» του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Παγώνη Μελετίου Αριθμός Μητρώου: 6336 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις 31/01/2011 Ο Επιβλέπων Αναπληρωτής Καθηγητής Ευάγγελος Δερματάς Ο Διευθυντής του Τομέα Καθηγητής Νικόλαος Φακωτάκης

4 4 Εισαγωγή Κάθε λεπτό κατά μέσο όρο τουλάχιστον ένα άτομο πεθαίνει εξαιτίας μιας σύγκρουσης οχημάτων. Σε αυτοκινητιστικά δυστυχήματα ακόμα τραυματίζονται τουλάχιστον 10 εκατομμύρια άνθρωποι κάθε χρόνο, 2-3 εκατομμύρια από αυτούς σοβαρά. Με στόχο την μείωση των τραυματισμών και της σοβαρότητας των ατυχημάτων, οι αισθητήρες συγκρούσεων έχουν προσελκύσει το ενδιαφέρον των κατασκευαστών αυτοκινήτων, των προμηθευτών, αλλά και των πανεπιστημίων. Διάφορες εθνικές και διεθνείς έρευνες έχουν γίνει τα τελευταία χρόνια με στόχο την ανακάλυψη νέων τεχνολογιών για τη βελτίωση της ασφάλειας και της πρόβλεψης ατυχημάτων. Στατιστικές έρευνες για τα αυτοκινητιστικά δυστυχήματα απέδειξαν ότι η μεγαλύτερη απειλή για έναν οδηγό είναι η σύγκρουση με κάποιον άλλον όχημα. Συνεπώς η ανάπτυξη συστημάτων βοηθείας για τους οδηγούς που έχουν σαν σκοπό την ειδοποίηση και ενημέρωσή τους για τα περιβάλλοντα οδήγησης και την πιθανή σύγκρουση με άλλα οχήματα έχει προσελκύσει μεγάλο ενδιαφέρον. Σε αυτά τα συστήματα η σθεναρή και αξιόπιστη ανίχνευση οχημάτων είναι το πρώτο βήμα. Σκοπός της παρούσας εργασίας είναι η μελέτη, η ανάπτυξη καθώς και η μερική εφαρμογή κάποιων μεθόδων για την ανίχνευση θέσης κάποιου οχήματος. Ιδιαίτερη βάση δόθηκε στη μελέτη και την ανάλυση της οπτικής ροής που θεωρείται βασική συγκριτικά με τις υπόλοιπες μεθόδους. Για τα πειραματικά αποτελέσματα χρησιμοποιήθηκε βίντεο που τραβήχτηκε από κάμερα τοποθετημένη σε κινούμενο όχημα.

5 5 Περιεχόμενα ΚΕΦΑΛΑΙΟ 1ο Ανάλυση έγχρωμης εικόνας 1.1 Εισαγωγή Χρωματικοί χώροι RGB χώρος HSV - HLS χώροι Χρωματικό μοντέλο CMY Χρωματικός χώρος XYZ Χρωματικοί χώροι L*u*v και L*a*b ΚΕΦΑΛΑΙΟ 2ο Τεχνικές ανίχνευσης θέσης αυτοκινήτου στο δρόμο 2.1 Περίληψη Βήματα ανίχνευσης θέσης αυτοκινήτων Μέθοδοι αναγνώρισης πιθανής θέσης οχημάτων Μέθοδοι βασισμένες στην υπάρχουσα γνώση Μέθοδοι βασισμένες στη στερεοσκοπική όραση Μέθοδοι βασισμένες στην κίνηση Μέθοδοι επαλήθευσης παρουσίας οχημάτων σε μια εικόνα Μέθοδοι βασισμένες σε πρότυπα Μέθοδοι βασισμένες στην εμφάνιση Στοιχεία που πρέπει να χαρακτηρίζουν το σύστημα αναγνώρισης προπορευόμενων οχημάτων ΚΕΦΑΛΑΙΟ 3ο Υπολογισμός της οπτικής ροής 3.1 Εισαγωγή Παραδείγματα κίνησης και δομών Οπτική ροή Ιεραρχική διαδικασία Θέματα και προβλήματα Έκταση και σκοπός Τεχνικές οπτικής ροής Διαφορικές μέθοδοι Γενικές μέθοδοι Τοπικά μοντέλα Μοντέλα επιφάνειας Μοντέλα περιγράμματος Μέθοδοι με πολλούς περιορισμούς Ιεραρχικές προσεγγίσεις...52

6 Μέθοδοι βασισμένες στη συχνότητα Φιλτράρισμα επιλεκτικού προσανατολισμού Φιλτράρισμα βασισμένο στη φάση Ιεραρχικές προσεγγίσεις Μέθοδοι βασισμένες στη συσχέτιση Ταίριασμα βασισμένο στη συσχέτιση Ιεραρχικές προσεγγίσεις Μέθοδοι πολλαπλών κινήσεων Γραμμές διεργασιών Διανομείς μικτής ταχύτητας Παραμετρικά μοντέλα Μέθοδοι χρονικής βελτίωσης...70 ΚΕΦΑΛΑΙΟ 4ο Ανίχνευση και εντοπισμός πραγματικού χρόνου πολλαπλών οχημάτων από κινούμενο όχημα Εισαγωγή...71 Γενική εποπτεία οπτικού συστήματος...72 Το σύστημα αυστηρού πραγματικού χρόνου...73 Ανίχνευση και εντοπισμός οχημάτων Αναγνώριση περαστικών οχημάτων Αναγνώριση απομακρυσμένων οχημάτων Αναγνώριση μέσω εντοπισμού On-line δημιουργία μοντέλου Έλεγχος συμμετρίας Αντικειμενική λειτουργία Ρυθμίσεις προσαρμοστικού παραθύρου Εντοπισμός πίσω φώτων οχημάτων Ανάλυση χρωμάτων του δρόμου Ανίχνευση ορίων και διαγραμμίσεων του δρόμου...88 ΚΕΦΑΛΑΙΟ 5ο Πειραματικά αποτελέσματα Μέθοδος εκτίμησης οπτικής ροής Lucas-Kanade...92 Πειραματικά αποτελέσματα αλγορίθμου Lucas-Kanade...95 Περιγραφή της μεθόδου με χρήση πυραμίδας...98 Πειραματικά αποτελέσματα αλγορίθμου Lucas-Kanade με χρήση πυραμίδων Μέθοδος Random Walks για κατάτμηση της εικόνας Εισαγωγή Έκθεση του αλγορίθμου Πειραματικά αποτελέσματα αλγορίθμου Συμπεράσματα ΠΑΡΑΡΤΗΜΑ ΒΙΒΛΙΟΓΡΑΦΙΑ...134

7 7 ΚΕΦΑΛΑΙΟ 1ο 1.Ανάλυση έγχρωμης εικόνας 1.1 Εισαγωγή Το χρώμα παρέχει πολύ σημαντική πληροφορία για την αναγνώριση αυτοκινήτου αφού μπορεί να οδηγήσει σε σημαντική απλούστευση της διαδικασίας αναγνώρισης, αν και η αξιοποίηση της χρωματικής πληροφορίας αυξάνει την πολυπλοκότητα του προβλήματος μας. Θα παρουσιαστεί στη συνέχεια ο τρόπος αναπαράστασης έγχρωμων ψηφιακών εικόνων, ο οποίος βασίζεται στη χρήση των χρωματικών χώρων. 1.2 Χρωματικοί χώροι Με τον όρο χρωματικός χώρος εννοούμε ένα μοντέλο που χρησιμοποιείται για την αναπαράσταση του χρώματος με τη μορφή τιμών έντασης. Ο χρωματικός χώρος ορίζει τον τρόπο με τον οποίο αναπαρίσταται η χρωματική πληροφορία. Σκοπός του είναι να διευκολύνεται ο ορισμός των χρωμάτων στα πλαίσια της τυποποίησης. Στην ουσία, ένα χρωματικό μοντέλο είναι ένα τρισδιάστατο σύστημα συντεταγμένων και ένα υποσύστημα μέσα σε αυτό όπου κάθε χρώμα αναπαρίσταται από ένα σημείο. Σήμερα, τα περισσότερα μοντέλα είναι προσαρμοσμένα στα φυσικά εξαρτήματα υπολογιστικών συστημάτων (π.χ. οθόνες και εκτυπωτές) ή σε εφαρμογές όπου είναι επιθυμητή η διαχείριση των χρωμάτων (π.χ. Graphic animation). Στην πρώτη κατηγορία ανήκουν το μοντέλο RGB (Red, Green,

8 8 Blue) για έγχρωμες οθόνες και κάμερες, το μοντέλο CMY (Cyan, Magenta, Yellow) για έγχρωμους εκτυπωτές και το μοντέλο YIQ (luminance, Inphase, Quadrature) που είναι το πρότυπο για την τηλεοπτική μετάδοση. Στη δεύτερη κατηγορία έχουμε το μοντέλο HSI (Hue, Saturation, Intensity) και το HSV (Hue, Saturation, Value). Στη συνέχεια παρουσιάζουμε τους ευρύτερα χρησιμοποιούμενους χρωματικούς χώρους και τα χαρακτηριστικά τους RGB χώρος Ο RGB χώρος είναι ένας τρισδιάστατος χρωματικός χώρος του οποίου οι συνιστώσες είναι οι τιμές έντασης του κόκκινου (Red), του πράσινου (Green) και του μπλε (Blue), οι οποίες συνθέτουν το εκάστοτε χρώμα. Το κάθε χρώμα μπορεί να αναπαρασταθεί από μία μίξη συγκεκριμένων τιμών έντασης των παραπάνω τριών χρωματικών συνιστωσών. Οι διάφορες χρωματικές αποχρώσεις μπορούν να αναπαρασταθούν σε σύστημα τριών διαστάσεων, αν φανταστούμε ότι κάθε άξονας αντιστοιχεί σε μία χρωματική συνιστώσα. Άρα ο RGB χώρος μπορεί να αναπαρασταθεί από έναν κύβο, όπως φαίνεται στην παρακάτω εικόνα.

9 9 Σχηματική απεικόνηση του RGB χρωματικού κύβου Χρωματική απεικόνιση του RGB χρωματικού κύβου

10 10 Ο χώρος αυτός μοιάζει αρκετά στη φυσική αντίληψη των χρωμάτων από τον άνθρωπο, καθώς είναι προσθετικός και βασίζεται στην μίξη επιμέρους βασικών αποχρώσεων για τη δημιουργία των τελικών χρωμάτων. Στο matlab η αναπαράσταση μιας RGB εικόνας διαστάσεων Μ x Ν γίνεται με έναν πίνακα τριών διαστάσεων M x N x 3 που περιέχει pixel χρώματος. Κάθε pixel είναι μια τριπλέτα χρωμάτων που αντιστοιχεί στις συνιστώσες του κόκκινου, του πράσινου και του μπλε για το συγκεκριμένο σημείο. Μια RGB εικόνα, δηλαδή, μπορεί να αναπαρασταθεί ως μια στοίβα απο τρεις gray-scale εικόνες οι οποίες όταν τροφοδοτηθούν στις εισόδους για κόκκινο, πράσινο και μπλε μιας έγχρωμης οθόνης παράγουν μια έγχρωμη εικόνα. Οι τρεις επιμέρους εικόνες που αποτελούν την RGB εικόνα αναφέρονται ως χρωματικές συνιστώσες. Σχηματική απεικόνιση των pixel σε μια RGB εικόνα που σχηματίζονται απο τα αντίστοιχα pixel των τριών χρωματικών συνιστωσών HSV - HLS χώροι Οι χώροι HSV και HLS είναι μετασχηματισμοί του χώρου RGB και χρησιμοποιούνται γιατί μπορούν και περιγράφουν τα χρώματα με πιο φυσικό τρόπο. Ο χώρος HSV περιλαμβάνει

11 11 τις συνιστώσες του χρωματικού τόνου (Hue), της χρωματικής καθαρότητας (Saturation) και η τιμή της φωτεινότητας (Value). Ο τόνος προσδιορίζει αυτό που χονδρικά αντιλαμβανόμαστε ως χρώμα και παίρνει τιμές γωνίας που κυμαίνονται από 0ο έως 360ο και αυξάνει με φορά αντίθετη από τους δείκτες του ρολογιού. Η μηδενική γωνία τόνου αντιστοιχεί στο κόκκινο χρώμα. Η καθαρότητα συμβολίζει το ποσό του γκρι (οριακά άσπρο, ή μαύρο) που αναμιγνύεται στο χρώμα. Η μηδενική καθαρότητα σημαίνει και μηδενικός τόνος, δηλαδή μόνο αποχρώσεις του γκρι. Η καθαρότητα και η τιμή φωτεινότητας είναι κανονικοποιημένα μεγέθη και παίρνουν τιμές από 0 έως 1. Ο χώρος HLS περιλαμβάνει τις ίδιες δύο πρώτες συνιστώσες με τον HSV, δηλαδή τον τόνο και την καθαρότητα. Η τρίτη συνιστώσα (θα αναφέρεται τώρα σαν δεύτερη) είναι σε αυτή την περίπτωση η φωτεινότητα (Lightness). Ο ρόλος κάθε συνιστώσας αλλάζει ελαφρά σε σχέση με τον χώρο HSV. Μπορεί ο τόνος να έχει μεν την ίδια έννοια, αλλά εδώ μία γωνία 0ο αντιστοιχεί σε μπλε χρώμα, ενώ το κόκκινο χρώμα βρίσκεται σε γωνία 120ο. Όπως συμβαίνει και στο HSV μοντέλο, τα συμπληρωματικά χρώματα απέχουν γωνία 180ο. Η καθαρότητα στο HLS μοντέλο υποδηλώνει την «αγνότητα» του τόνου. Όταν η καθαρότητα μειώνεται, ο τόνος γίνεται πιο γκρι. Η μηδενική τιμή καθαρότητας σημαίνει απόχρωση του γκρι. Τέλος, η φωτεινότητα υποδηλώνει το ποσό μαύρου ή λευκού που περιέχεται σε ένα χρώμα. Αυξανόμενη φωτεινότητα προσθέτει λευκό στον τόνο, ενώ αντίστοιχα όσο μειώνεται η φωτεινότητα προστίθεται μαύρο στον τόνο. Από την διακύμανση των τιμών των συνιστωσών του HSV χώρου, μπορούμε να συμπεράνουμε ότι αυτός μπορεί να αναπαρασταθεί ως ένας κώνος (παρακάτω εικόνα (α)), τον οποίο μπορούμε για καλύτερη διάκριση μεταξύ των χρωμάτων να τον σχεδιάσουμε ως επτάεδρο, όπως φαίνεται στην εικόνα (γ). Αντιστοίχως, ο HLS χώρος μπορεί να παρασταθεί ως ένας διπλός κώνος (εικόνα (β)), ο οποίος για τον λόγο που προαναφέραμε σχεδιάζεται ως δωδεκάεδρο στην εικόνα (δ).

12 12

13 13 Ο HLS χώρος μπορεί να συναντηθεί και ως HSI χώρος, με την φωτεινότητα (Lightness) να αντικαθίσταται από την ισοδύναμη έννοια ένταση (Intensity) Χρωματικό μοντέλο CMY Το χρωματικό μοντέλο CMY (Cyan, Magenta, Yellow) σχετίζεται με το RGB, γιατί πρόκειται στην ουσία για συμπληρωματικά μοντέλα με τις ίδιες βασικές αρχές και ιδιότητες. Όπως έχουμε αναφέρει, το RGB χρησιμοποιείται στις οθόνες των υπολογιστών, των οποίων η επιφάνεια στην οποία αναπαράγονται τα χρώματα, είναι μαύρη. Γι αυτό και η αρχή των αξόνων (0, 0, 0) στο RGB είναι το μαύρο. Δηλαδή ξεκινώντας από το μαύρο και προσθέτοντας κατάλληλες ποσότητες κόκκινου, πράσινου και μπλε, λαμβάνουμε όλα τα

14 14 χρώματα. Το CMY επινοήθηκε για τις ανάγκες των εκτυπωτών στους οποίους και χρησιμοποιείται. Η διαφορά με το RGB είναι ότι στο CMY η επιφάνεια που αναπαράγονται τα χρώματα είναι το χαρτί, το οποίο είναι άσπρο, σε αντίθεση με τη μαύρη οθόνη των υπολογιστών. Έτσι, οποιαδήποτε αναπαραγωγή χρωμάτων ξεκινάει έχοντας ως βάση το λευκό. (α) Αθροιστική πρόσμιξη χρωμάτων στο RGB μοντέλο, (β) Αφαιρετική πρόσμιξη χρωμάτων στο CMY μοντέλο Στη θεωρία είναι δυνατό να δημιουργήσουμε κάθε χρωματική απόχρωση χρησιμοποιώντας τα RGB και CMY μοντέλα χρώματος. Στην πράξη όμως, τα τρία βασικά χρώματα γαλάζιο, μοβ και κίτρινο δεν υπάρχουν διαθέσιμα ως αμιγή χρώματα, αλλά είναι πάντοτε λερωμένα με μια συγκεκριμένη αναλογία χρώματος από τα άλλα βασικά χρώματα. Το αποτέλεσμα είναι ότι δεν είναι δυνατό να τυπωθεί καθαρό μαύρο και περιορίζεται ο αριθμός των ικανών για εκτύπωση χρωμάτων. Με σκοπό να υπερπηδηθεί αυτό το πρόβλημα, το χρωματικό μοντέλο CMY έχει επεκταθεί για να σχηματίσει το μοντέλο CMYK. Η διαφορά μεταξύ των δύο αυτών μοντέλων είναι ελάχιστη. Στην πράξη όμως το αποτέλεσμα είναι σημαντικό. Επιπρόσθετα στα τρία βασικά χρώματα γαλάζιο, μοβ και κίτρινο, το μοντέλο χρωμάτων CMYK επίσης περιέχει και το μαύρο. Οι χρωματικοί χώροι που παρουσιάστηκαν ως τώρα, είναι μοντέλα που μπορούν να παρουσιάσουν διάφορες μορφές, που εξαρτώνται από τις συσκευές που τους χρησιμοποιούν, δηλαδή οι οθόνες και οι σαρωτές όσον αφορά το RGB και οι εκτυπωτές, τα μελάνια και το χαρτί όσον αφορά το CMYK μοντέλο. Αυτή τους η εξάρτηση είναι που οδήγησε στην ανάπτυξη χρωματικών χώρων που να είναι ανεξάρτητοι από τις συσκευές

15 15 και κατά συνέπεια να θεωρούνται ως αληθινές εκφράσεις των χρωμάτων, όπως αυτά γίνονται αντιληπτά από το ανθρώπινο μάτι. Οι ανεξάρτητοι των συσκευών χρωματικοί χώροι ήταν το αποτέλεσμα δουλειάς που έγινε το 1931 από την Διεθνή Επιτροπή Φωτισμού (Commission Internationale d'eclairage CIE) και γι αυτό ονομάζονται επίσης και χρωματικοί χώροι βασισμένοι στην CIE. Στη συνέχεια θα παρουσιαστούν κάποιοι τέτοιοι χρωματικοί χώροι Χρωματικός χώρος XYZ Ο χρωματικός χώρος ΧΥΖ, είναι ο θεμελιώδης χρωματικός χώρος που βασίζεται στην CIE. Ο χώρος αυτός χρησιμοποιεί 3 υποθετικές βασικές συνιστώσες, η πρόσμιξη των οποίων εκφράζει τα διάφορα χρώματα. Η χρήση τριών συνιστωσών έχει να κάνει με την φυσική λειτουργία της όρασης. Μετά από πειραματισμούς, η CIE κατέληξε σε ένα σύνολο θεμελιωδών μεγεθών ΧΥΖ, τα οποία συμφωνούν με τον τρόπο που συμπεριφέρεται ο αμφιβληστροειδής στη διεργασία της όρασης. Η CIE κατέληξε στα θεμελιώδη μεγέθη, έτσι ώστε κάθε τιμή του ορατού φωτός να αντιστοιχεί σε μια θετική ανάμιξη των Χ, Υ και Ζ και με τρόπο τέτοιο που το Υ να συσχετίζεται περίπου στην εμφανή φωτεινότητα ενός χρώματος. Γενικά, οι συνιστώσες Χ, Υ, Ζ που χρησιμοποιούνται για την περιγραφή ενός χρώματος εκφράζονται ως εκατοστιαίες αναλογίες που μεταβάλλονται από το 0% έως, σε μερικές περιπτώσεις, ελάχιστα πάνω από το 100%.

16 16 Γραφική αναπαράσταση της CIE XYZ δομής Χρωματικοί χώροι L*u*v και L*a*b Ένα πρόβλημα που προκύπτει από την έκφραση των χρωμάτων στους χώρους ΧΥΖ ή Yxy είναι ότι τα μοντέλα αυτά είναι μη γραμμικά. Επομένως δεν είναι δυνατόν να εκτιμήσουμε με ακρίβεια την αντιληπτή συνάφεια δύο χρωμάτων χρησιμοποιώντας τις σχετικές τους θέσεις στους δύο αυτούς χώρους. Χρώματα που βρίσκονται κοντά το ένα στο άλλο στον ΧΥΖ χώρο μπορεί να φαίνονται πολύ διαφορετικά στους παρατηρητές, ενώ αντίστοιχα χρώματα που οι παρατηρητές βρίσκουν παρόμοια μπορεί να βρίσκονται πολύ μακριά στον ΧYΖ χώρο. Αυτά που αναφέρθηκαν στην προηγούμενη παράγραφο, οδήγησαν στην ανάπτυξη δύο ακόμη χρωματικών χώρων. Ο χώρος L*u*v είναι ένας μη γραμμικός μετασχηματισμός του ΧΥΖ χώρου για τη δημιουργία ενός αντιληπτά γραμμικού χρωματικού χώρου. Ο χώρος

17 17 L*a*b είναι ένας μη γραμμικός μετασχηματισμός (συγκεκριμένα μία προσέγγιση τρίτης τάξης) του χρωματικού συστήματος του Munsell. Τα δύο μοντέλα έχουν σχεδιαστεί για να αντιστοιχίσουν την αντιληπτή χρωματική διαφορά σε ποσοτική απόσταση στον χρωματικό χώρο. Τα χρωματικά διαγράμματα για τους δύο αυτούς χώρους φαίνονται στη παρακάτω εικόνα.

18 18 (γ) Ο κύβος RGB αφού έχει μετατραπεί στο L*u*v σύστημα (α) Ιδωμένος από τον άξονα U (β) Ιδωμένος από τον άξονα V (γ) Ο χώρος L*a*b

19 19 Μέχρι στιγμής παρουσιάστηκαν μερικοί από τους πιο σημαντικούς και ευρέως χρησιμοποιημένους χρωματικούς χώρους. Υπάρχουν βεβαίως και άλλοι, όπως για παράδειγμα ο YCbCr, o YIQ και o YUV, αλλά είναι δευτερεύουσας σημασίας. Είναι φανερό ότι κάθε χρωματικός χώρος παρουσιάζει τα δικά του πλεονεκτήματα και μειονεκτήματα και κανένας δεν αποτελεί ιδανική επιλογή για όλες τις εφαρμογές. Η επιλογή πρέπει να βασίζεται στις ιδιαιτερότητες που παρουσιάζει η εφαρμογή που επιλέγεται σε κάθε περίπτωση. ΚΕΦΑΛΑΙΟ 2ο 2.Τεχνικές ανίχνευσης θέσης αυτοκινήτου στο δρόμο 2.1 Περίληψη Η ανάπτυξη συστημάτων οδικής βοήθειας που σκοπό έχουν να προειδοποιούν τον οδηγό για το περιβάλλον οδήγησης αλλά και για πιθανές συγκρούσεις με άλλα οχήματα έχει προσελκύσει μεγάλο ενδιαφέρον τελευταία. Σε αυτά τα συστήματα η σθεναρή και αξιόπιστη ανίχνευση οχημάτων είναι ένα κρίσιμο βήμα. Στο κεφάλαιο αυτό επικεντρωνόμαστε σε συστήματα στα οποία η κάμερα τοποθετείτε μέσα στα οχήματα. Αρχικά μας απασχολεί η ανίχνευση οχημάτων στο δρόμο μέσω οπτικών αισθητήρων, ενώ στη συνέχεια ασχολούμαστε και με ενεργητικούς και παθητικούς αισθητήρες που καθορίζουν το επίπεδο για τη βασισμένη σε όραση ανίχνευση οχημάτων. Ακόμα μέθοδοι που σκοπό έχουν τη γρήγορη υπόθεση της θέσης οχημάτων καθώς επίσης και την επιβεβαίωση της ύπαρξης οχημάτων στις θέσεις αυτές αναλύονται παρακάτω.

20 Βήματα ανίχνευσης θέσης αυτοκινήτων Τα συστήματα ανίχνευσης πάνω στο όχημα έχουν υψηλές υπολογιστικές απαιτήσεις, καθώς χρειάζεται να επεξεργαστούν τις αποκτούμενες εικόνες στον πραγματικό χρόνο ή κοντά σε αυτόν έτσι ώστε να υπάρχει ο απαραίτητος χρόνος για να αντιδράσει ο οδηγός. Το να ψάχνεις ολόκληρη την εικόνα για να εντοπίσεις τις πιθανές θέσεις ενός οχήματος είναι απαγορευτικό για εφαρμογές πραγματικού χρόνου. Η πλειοψηφία των μεθόδων που αναφέρονται στη βιβλιογραφία ακολουθούν δύο βασικά βήματα: 1. Ανίχνευση πιθανών θέσεων οχημάτων σε μια εικόνα και 2. Επιβεβαίωση της παρουσίας των οχημάτων στις πιθανές θέσεις που έχουν ανιχνευθεί. Παρόλο που υπάρχει μερική ταύτιση στις μεθόδους που χρησιμοποιούνται για κάθε βήμα, αυτή η ταξινόμηση παρέχει ένα καλό πλαίσιο για περαιτέρω έρευνα. Παρακάτω παρατίθενται οι βασικές μεθόδους για το κάθε προαναφερθέν βήμα Μέθοδοι αναγνώρισης πιθανής θέσης οχημάτων Οι μέθοδοι αυτοί μπορούν να διαχωριστούν σε 3 κατηγορίες ανάλογα με τον τρόπο που προσεγγίζονται: Μέθοδοι βασισμένες στην ήδη υπάρχουσα γνώση Μέθοδοι βασισμένες στην στερεοσκοπική όραση και Μέθοδοι βασισμένες στη κίνηση Στόχος των μεθόδων αυτών είναι να βρούνε υποψήφιο όχημα σε μια εικόνα γρήγορα για περαιτέρω διερεύνηση. Οι μέθοδοι βασισμένες στην ήδη υπάρχουσα γνώση χρησιμοποιούν a-priori γνώση για να ελέγξουν την ύπαρξη οχημάτων σε μια εικόνα, σε αντίθεση με τη δεύτερη κατηγορία που χρησιμοποιεί ως αναφορά τη σχετική κίνηση η

21 21 οποία υπολογίζεται μέσω της οπτικής ροής (optical flow),που θα αναλυθεί αργότερα. Η τελευταία κατηγορία χρησιμοποιεί προκαθορισμένα πρότυπα οχημάτων και εκτελεί συσχέτιση μεταξύ της εικόνας και του προτύπου Μέθοδοι βασισμένοι στην υπάρχουσα γνώση Μερικές από τις πιο αντιπροσωπευτικές προσεγγίσεις χρησιμοποιούν πληροφορία για τη συμμετρία, το χρώμα, τις σκιές, τα γεωμετρικά χαρακτηριστικά (π.χ γωνίες, οριζόντιες/κάθετες ακμές), την υφή και τα φώτα των οχημάτων. 1) Συμμετρία: Η συμμετρία αποτελεί μία απο τις υπογραφές των αντικειμένων που έχουν φτιαχτεί απ τον άνθρωπο και είναι ένα ισχυρότατο χαρακτηριστικό που χρησιμοποιείται στον εντοπισμό και την αναγνώριση αντικειμένων [17]. Εικόνες οχημάτων που έχουν ληφθεί απο την μπροστινή ή την πίσω όψη είναι γενικά συμμετρικές ως προς τον κάθετο άξονα. Η παρατήρηση αυτή χρησιμοποιείται ως βάση για την αναγνώριση αντικειμένων σε αρκετές μελέτες. Ένα σημαντικό ζήτημα που προκύπτει όταν υπολογίζεται η συμμετρία απο τις εικόνες φωτεινοτήτων (grey), είναι η παρουσία ομογενών περιοχών. Σε αυτές τις περιοχές, ο υπολογισμός της συμμετρίας είναι ευαίσθητος στον θόρυβο. 2) Χρώμα: Παρόλο που λίγα υπάρχοντα συστήματα χρησιμοποιούν μόνο την χρωματική πληροφορία για την αναγνώριση οχημάτων, αποτελεί ένα πολύ χρήσιμο χαρακτηριστικό για εντοπισμό εμποδίων, ακολούθηση λωρίδων στους δρόμους κτλ. Διάφορα πρωτότυπα συστήματα εξετάζουν την χρησιμοποίηση της χρωματικής πληροφορίας ως ένα χαρακτηριστικό στοιχείο για την ακολούθηση λωρίδων (και κατ επέκταση δρόμων) είτε για την τμηματοποίηση (διαχωρισμό) οχημάτων απο το

22 22 περιβάλλον [18]. Με βάση τον RGB χρωματικό χώρο εργάστηκε ο Buluswar ο οποίος χρησιμοποίησε μία μι παραμετρική, βασισμένη σε εκπαίδευση προσέγγιση για την τμηματοποίηση και εντοπισμό αντικειμένων. Ένα πολυπαραμετρικό δέντρο απόφασης (multivariate decision tree) χρησιμοποιήθηκε για να μοντελοποιήσει το αντικείμενο στον RGB χρωματικό χώρο από έναν αριθμό παραδειγμάτων εκπαίδευσης. Η δυσκολία να εκτιμηθεί η διαφορά δύο χρωμάτων από την απόστασή τους στον RGB χρωματικό χώρο ώθησε τον Guo et al. [18] να διαλέξει τον L*a*b χρωματικό χώρο. Ο L*a*b χρωματικός χώρος παρουσιάζει το πλεονέκτημα ότι αντιστοιχεί τις διαφορές μεταξύ των χρωμάτων σε ίσες Ευκλείδειες αποστάσεις μεταξύ τους. 3) Σκιές: Η πληροφορία σχετικά με τις σκιές στηρίχθηκε στο γεγονός ότι στις εικόνες φωτεινότητας, η περιοχή κάτω από τα οχήματα είναι σαφώς πιο σκοτεινή από οποιαδήποτε άλλη περιοχή σε ένα ασφαλτοστρωμένο δρόμο. Η ένταση της φωτεινότητας της σκιάς εξαρτάται από την φωτεινότητα της εικόνας, η οποία με την σειρά της εξαρτάται απο τις καιρικές συνθήκες. Για το λόγο αυτό, οι τιμές των κατωφλίων δεν μπορούν να είναι σταθερές. Για την τμηματοποίηση της σκιασμένης περιοχής χρειάζονται ένα μέγιστο και ένα ελάχιστο όριο. Συνεπώς, γίνεται φανερό ότι είναι δύσκολο να βρεθεί το ελάχιστο όριο για μια σκιασμένη περιοχή. Το μέγιστο όριο μπορεί να εκτιμηθεί αναλύοντας την εικόνα φωτεινοτήτων (grey-level) του ελεύθερου χώρου οδήγησης του δρόμου δηλαδή ακριβώς μπροστά απο το προπορευόμενο όχημα. Ο Tzomakas ακολούθησε την ίδια ιδέα ώστε να προσδιορίσει τις τιμές των κατωφλίων. Συγκεκριμένα, θεώρησε μια κανονική κατανομή για την ένταση του ελεύθερου χώρου οδήγησης. Η μέση τιμή και η απόκλιση της κατανομής υπολογίστηκαν με το κριτήριο της μέγιστης πιθανοφάνειας. Το μέγιστο όριο των σκιασμένων περιοχών ορίστηκε ως το όριο όπου οι τιμές φωτεινότητας του δρόμου έφθιναν στο μηδέν, από τα δεξιά της μέσης τιμής, το οποίο προσεγγίστηκε ως m-3σ, όπου m είναι η μέση τιμή και σ η τυπική απόκλιση. Ας σημειωθεί ότι η υπόθεση της κατανομής για τα εικονοστοιχεία του δρόμου δεν είναι πάντα αληθής.

23 23 4) Γωνίες: Εκμεταλλευόμενος το γεγονός ότι τα οχήματα έχουν κατά κανόνα ορθογώνιο σχήμα με τέσσερις γωνίες (πάνω-αριστερή, πάνω- δεξιά, κάτω-αριστερή και κάτω-δεξιά), ο Bertozzi πρότεινε μία μέθοδο βασισμένη στις γωνίες για να εντοπίσει τις πιθανές θέσεις οχημάτων. Τέσσερα πρότυπα (templates), καθένα απο τα οποία ανταποκρίνεται σε μία απο τις τέσσερις γωνίες, χρησιμοποιούνται για να ανιχνεύσουν όλες τις γωνίες στην εικόνα. Ακολούθως, εφαρμόζεται μια μέθοδος που να βρίσκει τις γωνίες που ταιριάζουν μεταξύ τους (π.χ μία σωστά ανιχνευμένη πάνωαριστερή γωνία πρέπει να έχει μία κάτω-δεξιά γωνία με την οποία να ταιριάζει). 5) Οριζόντιες/κάθετες ακμές: Διαφορετικές όψεις ενός οχήματος, ειδικά η μπροστινή και πίσω όψη, περιέχουν πολλές οριζόντιες και κάθετες δομές όπως το πίσω τζάμι, οι προφυλακτήρες κτλ. Η χρησιμοποίηση των οριζοντίων και καθέτων ακμών έχει αποδειχθεί ένα ισχυρό χαρακτηριστικό για την ύπαρξη οχήματος σε μια εικόνα. Στο παρακάτω σχήμα οι κάθετες και οριζόντιες ακμές εξάγονται ξεχωριστά χρησιμοποιώντας τη Sobel μάσκα. Στη συνέχεια δύο φίλτρα εξαναγκασμού εφαρμόζονται στις ακμές αυτές για να διαχωριστούν τα οχήματα από το περιβάλλον. Τα φίλτρα αυτά δημιουργούνται με βάση προηγούμενη γνώση για τα οχήματα. Στη συνέχεια, εφαρμόζεται μία προσέγγιση πολλαπλών σταδίων η οποία συνδυάζει υποδειγματοληψία της εικόνας και λείανση, ώστε να εξάγει με περισσότερη αξιοπιστία τις πιθανές θέσεις ύπαρξης οχημάτων. Χρησιμοποιούνται τρία επίπεδα ανάλυσης, (360 x 248), (180 x 124), και (90 x 62). Σε κάθε επίπεδο γίνεται επεξεργασία της εικόνας ως εξής: (α) κατωδιαβατό φιλτράρισμα της εικόνας, (β) εντοπισμός καθέτων ακμών, (γ) εντοπισμός οριζοντίων ακμών, (δ) ανίχνευση τοπικών μεγίστων και ελαχίστων (local maxima and local minima). Οι κορυφές και οι πεδιάδες που προκύπτουν δίνουν σημαντική πληροφορία για την ύπαρξη οχημάτων στην εικόνα. Ξεκινώντας απο το πιο χοντρικό στάδιο

24 24 εντοπίζονται όλα τα τοπικά μέγιστα στο στάδιο αυτό. Παρόλο που στην εικόνα χαμηλής ανάλυσης έχουν εξαλειφθεί οι λεπτομέρειες οι κύριες οριζόντιες και κάθετες δομές έχουν διατηρηθεί. Μετά τον εντοπισμό των τοπικών μεγίστων στο χοντρικό στάδιο τα τοπικά αυτά μέγιστα ανιχνεύονται στο επόμενο πιο λεπτομερές στάδιο. Τα αποτελέσματα αυτού του σταδίου τελικώς ανιχνεύονται στο τελευταίο στάδιο (το πιο λεπτομερές) όπου και προκύπτουν οι υποθέσεις για την ύπαρξη οχημάτων. Παράδειγμα της διαδικασίας αυτής φαίνεται στο παρακάτω σχήμα: Προσέγγιση πολλαπλών σταδίων στις εικόνεα ανάλυσης (90x62),(180x124) και (360x248), αντίστοιχα. α) Κατωδιαβατο φιλτράρισμα της εικόνας, β) εντοπισμός κάθετων ακμών, γ) εντοπισμός οριζόντιων ακμών, δ) ανίχνευση τοπικών μεγίστων και ελαχίστων 6) Υφή: Η παρουσία ενός οχήματος σε μια εικόνα προκαλεί τοπικές αλλαγές στην ένταση της φωτεινότητας. Λόγω της ομοιότητας που παρουσιάζουν τα οχήματα μεταξύ τους, η αλλαγή της έντασης της φωτεινότητας ακολουθεί ένα συγκεκριμένο πρότυπο υφής (texture). Η πληροφορία αυτή της υφής χρησιμοποιείται ως υπόδειγμα για να περιοριστεί το εύρος των περιοχών στις οποίες ψάχνουμε για πιθανά οχήματα.

25 25 Αρχικά, χρησιμοποιήθηκε η εντροπία ως ένα μέτρο της αναγνώρισης της υφής. Για κάθε εικονοστοιχείο της εικόνας, επιλέγεται ένα μικρό παράθυρο γύρω από αυτό και η εντροπία του παραθύρου εκλαμβάνεται ως η εντροπία του εικονοστοιχείου. Μόνο οι περιοχές με υψηλή εντροπία επιλέγονται για περαιτέρω επεξεργασία. 7) Φανάρια οχημάτων: Οι περισσότερες από τις μεθόδους που παρουσιάστηκαν παραπάνω είναι ακατάλληλες για εντοπισμό οχημάτων το βράδυ είναι αδύνατο να εντοπίσεις σκιές, οριζόντιες/κάθετες ακμές ή γωνίες σε εικόνες που έχουν ληφθεί βραδυνές ώρες. Ένα εξέχον οπτικό χαρακτηριστικό κατά τη διάρκεια της νύχτας είναι τα φώτα των αυτοκινήτων. Ο Cucchiara στην εργασία του χρησιμοποίησε μορφολογική ανάλυση για να εντοπίσει τα ζευγάρια των φαναριών σε μια περιορισμένη περιοχή ενδιαφέροντος. Ο μορφολογικός αυτός επεξεργαστής λάμβανε επίσης υπ όψιν του το σχήμα, το μέγεθος καθώς και την ελάχιστη απόσταση μεταξύ των οχημάτων Μέθοδοι βασισμένες στη στερεοσκοπική όραση Υπάρχουν δύο μέθοδοι που κάνουν χρήση της στερεοσκοπικής όρασης. Στη πρώτη μέθοδο χρησιμοποιούμε τις στερεοσκοπικές πληροφορίες για την ανίχνευση της πιθανής θέσης ενός οχήματος. Αυτό επιτυγχάνεται με τον λεγόμενο χάρτη διαφοράς. Αντίθετα στη δεύτερη μέθοδο χρησιμοποιούμε ένα μετασχηματισμό αντίστροφης προοπτικής ή αλλιώς ''Αντίστροφη προοπτική χαρτογράφησης''. Και στις δύο μεθόδους θεωρούμε ότι οι παράμετροι της κάμερας έχουν ήδη υπολογιστεί κατά τη διάρκεια της βαθμονόμησης.

26 26 Χάρτης διαφοράς: Η διαφορά ανάμεσα στην αριστερή και δεξιά εικόνα μεταξύ των αντίστοιχων pixel καλείται διαφορά. Οι διαφορές όλων των στοιχείων μιας εικόνας διαμορφώνουν το χάρτη διαφοράς. Εάν οι παράμετροι της στερεοσκοπικής εγκατάστασης είναι γνωστές, τότε ο χάρτης αυτός μπορεί να μετατραπεί σε ένα τρισδιάστατο χάρτη της εικόνας. Ο υπολογισμός του χάρτη διαφοράς είναι αρκετά επίπονος και χρονοβόρος εξαιτίας της απαίτησης λύσης του προβλήματος της επικάλυψης κάθε εικονοστοιχείου. Το πρόβλημα αυτό λύνεται με τη χρησιμοποίηση ισχυρού υπολογιστικού μηχανήματος. Μόλις ο χάρτης διαφοράς είναι διαθέσιμος όλα τα εικονοστοιχεία μέσα σε μια περιοχή ενδιαφέροντος καθορίζονται και υπολογίζονται σε ένα ιστόγραμμα διαφορών. Αν ένα εμπόδιο βρίσκεται μέσα στη περιοχή ενδιαφέροντος, τότε εμφανίζεται μια αιχμή στο ιστόγραμμα. Αντίστροφη προοπτική χαρτογράφησης: Ο όρος αυτός δεν ανταποκρίνεται σε πραγματική αντιστροφή της προοπτικής της χαρτογράφησης, αφού κάτι τέτοιο είναι μαθηματικά αδύνατο. Αντίθετα δείχνει μια αναστροφή με τον επιπρόσθετο περιορισμό ότι αντιστρόφως χαρτογραφήθηκαν σημεία που βρίσκονταν στο οριζόντιο επίπεδο. Αν θεωρήσουμε σημείο p στον τρισδιάστατο χώρο, τότε η προοπτική χαρτογράφησης προϋποθέτει μια γραμμή που διέρχεται από το σημείο αυτό και το κέντρο της προβολής Ν (βλέπε σχήμα). Για να βρούμε την εικόνα του σημείου τέμνουμε τη γραμμή σύμφωνα με το επίπεδο της εικόνας. Η αντίστροφη προοπτική χαρτογράφησης βασίζεται στην εξής διαδικασία: Για ένα σημείο p στην εικόνα θα εντοπίζεται η συσχετιζόμενη ακτίνα μέσω του Ν, προς το οριζόντιο επίπεδο. Η τομή της ακτίνας με το οριζόντιο επίπεδο είναι το αποτέλεσμα της αντίστροφης χαρτογράφησης που εφαρμόζεται στο σημείο p της εικόνας. Αν συνθέσουμε ταυτόχρονα τόσο τη προοπτική όσο και την αντίστροφη προοπτική το οριζόντιο επίπεδο έχει αντιστοιχιστεί στον εαυτό του, ενώ ανυψωμένα κομμάτια της σκηνής εμφανίζονται παραμορφωμένα.

27 27 Γεωμετρία του χάρτη προοπτικής Μέθοδοι βασισμένες στην κίνηση Όλες οι μέθοδοι που περιγράφτηκαν μέχρι τώρα χρησιμοποιούν χωρικά χαρακτηριστικά για τον διαχωρισμό μεταξύ των οχημάτων και του περιβάλλοντος. Ένα άλλο χαρακτηριστικό το οποίο μπορεί να χρησιμοποιηθεί για τον εντοπισμό των οχημάτων είναι η σχετική κίνηση η οποία υπολογίζεται μέσω της οπτικής ροής (optical flow),όπως αναφέραμε και προηγουμένως. Η οπτική ροή μπορεί να μας δώσει πολύ σημαντικές πληροφορίες για την πιθανή θέση ενός οχήματος. Τα οχήματα που πλησιάζουν από την αντίθετη κατεύθυνση παράγουν μια αποκλίνουσα ροή, η οποία μπορεί να διακριθεί από τη ροή που παράγει το ίδιο το όχημα. Επίσης η προσπέραση ενός οχήματος καθώς επίσης και η εκκίνηση προπορευόμενου οχήματος δημιουργεί μια συγκλίνουσα ροή. Για να χρησιμοποιηθούν αυτές οι παρατηρήσεις στην ανίχνευση εμποδίων η εικόνα υποδιαιρείται

28 28 πρώτα σε μικρότερες εικόνες. Μία μέση ταχύτητα υπολογίζεται για την μικρότερη υποεικόνα. Οι υποεικόνες με μεγάλη διαφορά ταχύτητας από τη γενική εκτίμηση της ταχύτητας σημειώνονται ως πιθανά εμπόδια. Ας αναπαραστήσουμε την ένταση της φωτεινότητας σε ένα σημείο (x, y) σε συνάρτηση με το χρόνο t ως Ε(x, y, t). Τα εικοστοιχεία στην εικόνα μοιάζουν να κινούνται λόγω της σχετικής κίνησης μεταξύ της κάμερας και της σκηνής. Το διάνυσμα πεδίου o(x,y) της κίνησης αυτής είναι γνωστό ως οπτική ροή. Η απόδοση διαφόρων μεθόδων για την εύρεση της οπτικής ροής o(x,y) από την εικόνα Ε(x,y,t), χρησιμοποιεί κάποιες επιλεγμένες εικόνες. Οι περισσότερες μέθοδοι υπολογίζουν τις χρονικές χωρικές παραγώγους των εικόνων και γι' αυτό αναφέρονται ως ξεχωριστές τεχνικές. Η επιλογή μιας αξιόπιστης εκτίμησης οπτικής ροής από την κινούμενη κάμερα δεν είναι εύκολη διαδικασία. Ο Giachetti ανέπτυξε μερικές από τις καλύτερες πρώτης και δεύτερης τάξης διαφορικές μεθόδους και τις εφάρμοσε σε μια χαρακτηριστική ακολουθία εικόνας από ένα κινούμενο όχημα σε στενό και ευθύ δρόμο. Ουσιαστικά, κατάφεραν τον επανασχεδιασμό των σημείων μεταξύ δύο συνεχόμενων στιγμιοτύπων, ελαχιστοποιώντας την παρακάτω απόσταση: όπου (x',y') και (x,y) είναι τα δύο σημεία στις χρονικές στιγμές t' και t αντίστοιχα. Το μέγεθος του παραθύρου εργασίας είναι n x n.

29 29 Σύγκριση οπτικών ροών υπολογισμένων με διαφορετικούς αλγορίθμους. (α)καρέ βιντεοσκόπησης, (b) η θεωρητική οπτική ροή υπολογισμένη σε μια επίπεδη επιφάνεια, (c) οπτική ροή υπολογισμένη με τη μέθοδο της πρώτης παραγώγου, (d) οπτική ροή υπολογισμένη με τη μέθοδο της δεύτερης παραγώγου, (e) οπτική ροή υπολογισμένη χρησιμοποιώντας πολυβάθμιες διαφορικές τεχνικές, (f) οπτική ροή υπολογισμένη με μεθόδους συσχέτισης

30 Μέθοδοι επαλήθευσης παρουσίας οχημάτων σε μια εικόνα Κατά τη διάρκεια των μεθόδων αυτών εκτελούνται δοκιμές για να επιβεβαιωθεί η ακρίβεια των υποθέσεων που πραγματοποιήθηκαν με τις προαναφερθέντες τρεις μεθόδους. Μπορούμε να διακρίνουμε δύο βασικές κατηγορίες για τις μεθόδους αυτές: 1. Μέθοδοι βασισμένες σε πρότυπα και 2. Μέθοδοι βασισμένες στην εμφάνιση Οι μέθοδοι που βασίζονται σε πρότυπα χρησιμοποιούν προκαθορισμένα σχέδια από τις διάφορες κατηγορίες οχημάτων και στη συνέχεια πραγματοποιούν τη σύγκριση. Αντίθετα οι μέθοδοι που βασίζονται στην εμφάνιση διακρίνουν τα χαρακτηριστικά της κλάσης των οχημάτων από ένα σύνολο εικόνων εκπαίδευσης, οι οποίες πρέπει να περιλαμβάνουν την ποικιλότητα εμφάνισης των οχημάτων. Κάθε εικόνα εκπαίδευσης περιλαμβάνει ένα σύνολο από τοπικές αλλά και γενικές μεταβλητές. Στη συνέχεια η απόφαση για την ταξινόμηση σε όχημα και μη όχημα λαμβάνεται είτε από έναν ταξινομητή (νευρωνικό δίκτυο ή SVM) είτε από μοντελοποίηση της πιθανότητας εμφάνισης των χαρακτηριστικών κάθε κλάσης Μέθοδοι βασισμένες σε πρότυπα Οι μέθοδοι που είναι βασισμένες σε πρότυπα χρησιμοποιούν προκαθορισμένα πρότυπα οχημάτων και εκτελούν συσχέτιση μεταξύ της εικόνας και του προτύπου. Μερικά από τα πρότυπα αναπαριστούν τα οχήματα με λεπτομέρεια, ενώ άλλα χρησιμοποιούν μικρότερη λεπτομέρεια. Αναφέρεται ότι λόγω της φύσης της μεθόδου οι περισσότερες εργασίες στην βιβλιογραφία παρουσιάζουν ποσοτικά αποτελέσματα και επιδεικνύουν την απόδοση των συστημάτων μέσω παραδειγμάτων. Παράδειγμα μιας εργασίας είναι αυτή του Parodi ο οποίος προτείνει προσέγγιση βασισμένη στην παρουσία πινακίδων και πίσω τζαμιών οχημάτων. Τα πρότυπα αυτά λογίζονται ως μι λεπτομερειακά. Στην εργασία του δεν παρουσιάζονται καθόλου ποσοτικά αποτελέσματα. Ο Handmann πρότεινε ένα πρότυπο βασισμένο στην παρατήρηση ότι η μπροστινή και πίσω όψη των οχημάτων

31 31 έχουν ένα σχήμα U (π.χ μια οριζόντια ακμή, δύο κάθετες ακμές και δύο γωνίες που ενώνουν την οριζόντια με τις κάθετες ακμές). Υπέθετε δηλαδή την ύπαρξη οχήματος όταν έβρισκε στην εικόνα κάποιο σχήμα U. Γενικά οι μέθοδοι των προτύπων χρησιμοποιούν μια προγενέστερη γνώση για τα οχήματα και πιο συγκεκριμένα τα θεωρούν ως συμμετρικά, και θεωρούν πως οριοθετούνται από ένα ορθογώνιο, το οποίο ικανοποιεί κάποιους περιορισμούς. Το μοντέλο λειτουργεί ως εξής: αρχικά η περιοχή ανίχνευσης ελέγχεται για την παρουσία δύο γωνιών που ουσιαστικά αντιπροσωπεύουν τα κάτω άκρα του ορθογωνίου. Η ύπαρξη των γωνιών αυτών επιβεβαιώθηκε χρησιμοποιώντας το μέγεθος και την προοπτική. Στην συνέχεια ακολουθώντας την ίδια διαδικασία ανιχνεύουμε και την κορυφή. Μόλις ανιχνευθεί πλήρως το ορθογώνιο,σημειώνεται η παρουσία οχήματος στην περιοχή. Όπως καταλαβαίνουμε η διαδικασία αυτή αν και αρκετά γρήγορη δε μπορεί να μας προσδώσει ασφαλή συμπεράσματα,αφού αρκετά άλλα αντικείμενα πληρούν τις παραπάνω προδιαγραφές Μέθοδοι βασισμένες στην εμφάνιση Οι μέθοδοι αυτές χρησιμοποιούνται κυρίως για την επιβεβαίωση ύπαρξης οχήματος στις περιοχές ενδιαφέροντος. Χρησιμοποιούν δύο κατηγορίες ταξινόμησης, όχημα και μι όχημα. Η κατασκευή ενός αξιόπιστου συστήματος αναγνώρισης προτύπων προϋποθέτει την εύρεση του βέλτιστου κατωφλίου απόφασης μεταξύ των κατηγοριών στις οποίες ταξινομούνται. Δεδομένης της ποικιλίας των οχημάτων που υπάρχουν, αντιλαμβανόμαστε ότι η εύρεση του κατωφλίου αυτού δεν είναι απλή. Μια εφικτή προσέγγιση είναι να ορίσουμε το κατώφλι απόφασης με εκπαίδευση, χρησιμοποιώντας ορισμένα χαρακτηριστικά παραδείγματα. Τα παραδείγματα αυτά που χρησιμοποιούνται προς εκπαίδευση θα πρέπει να αντιπροσωπεύουν την μεγάλη ποικιλία των οχημάτων. Συνήθως γίνεται και εκπαίδευση για τα μι οχήματα ώστε να βελτιωθεί η απόδοση της μεθόδου. Έτσι συγκεντρώνουμε ένα μεγάλο αριθμό εικόνων που θα χρησιμοποιηθούν για εκπαίδευση, οι οποίες αντιπροσωπεύουν γενικά ή ειδικά χαρακτηριστικά. Ακολούθως ορίζεται το κατώφλι απόφασης εκπαιδεύοντας έναν ταξινομητή είτε μοντελοποιώντας την κατανομή πιθανότητας των χαρακτηριστικών σε κάθε κατηγορία. Οι διάφορες μέθοδοι εξαγωγής χαρακτηριστικών γνωρισμάτων έχουν ερευνηθεί στα

32 32 πλαίσια της ανίχνευσης οχημάτων. Με βάση τη μέθοδο που χρησιμοποιείται, τα χαρακτηριστικά γνωρίσματα μπορούν να ταξινομηθούν είτε ως τοπικά είτε ως γενικά. Τα γενικά γνωρίσματα λαμβάνονται με τη εξέταση όλων των εικονοστοιχείων της εικόνας. Ένα σοβαρό πρόβλημα με τις γενικές προσεγγίσεις χαρακτηριστικών γνωρισμάτων είναι ότι είναι ευαίσθητες στις τοπικές ή γενικές ποικιλότητες της εικόνας (π.χ αλλαγές θέσης και φωτισμού). Από την άλλη μεριά οι τοπικές προσεγγίσεις είναι λιγότερο ευαίσθητες στις αλλαγές αυτές. 2.3 Στοιχεία που πρέπει να χαρακτηρίζουν το σύστημα αναγνώρισης προπορευόμενων οχημάτων Ένα σύστημα αναγνώρισης προπορευόμενων οχημάτων, θα πρέπει όπως είναι προφανές να πληρεί κάποιες προδιαγραφές οι οποίες το καθιστούν κατάλληλο για μελλοντική χρήση σε πραγματικές εφαρμογές. Έτσι, μπορούμε να συνοψίσουμε τις κυριότερες από αυτές, οι οποίες είναι: Η ταχύτητα απόκρισης του συστήματος: Η αναγνώριση θα πρέπει να γίνεται σε πραγματικό χρόνο. Η αξιοπιστία του συστήματος: Η αναγνώριση θα πρέπει να χαρακτηρίζεται από υψηλή αξιοπιστία και θα πρέπει να ελαχιστοποιείται η πιθανότητα αποτυχίας αναγνώρισης οχημάτων, ειδικά σε κρίσιμες στιγμές (π.χ κατά τη διαδικασία πέδησης του προπορευόμενου οχήματος). Η ελαχιστοποίηση εσφαλμένων αναγνωρίσεων: Αυτές αφορούν την λανθασμένη αναγνώριση του περιβάλλοντος ως όχημα.

33 33 ΚΕΦΑΛΑΙΟ 3ο 3.Υπολογισμός της οπτικής ροής 3.1 Εισαγωγή Ένα βασικό πρόβλημα στην επεξεργασία ακολουθιών εικόνων είναι ο υπολογισμός της οπτικής ροής, μία προσέγγιση της κίνησης της εικόνας που ορίζεται ως η προβολή των ταχυτήτων των τριών διαστάσεων των σημείων της επιφάνειας πάνω στο επίπεδο απεικόνισης ενός οπτικού αισθητήρα. Η οπτική ροή είναι συχνά μια βολική και χρήσιμη αναπαράσταση της κίνησης των εικόνων. Παρόλα αυτά υπάρχουν και άλλοι περιγραφείς κίνησης, μερικές φορές πιο γενικοί από την οπτική ροή, όπως τα παραμετρικά μοντέλα κίνησης ή περιγραφείς προσαρμοσμένοι σε κλειστά πλαίσια Παραδείγματα κίνησης και δομών Παραδοσιακά προσεγγίσεις για την κίνηση εικόνων έχουν χρησιμοποιηθεί για συμπεράσματα της ίδιας της κίνησης και των δομών της σκηνής. Για το σκοπό αυτό διαφορετικά παραδείγματα κίνησης και δομών έχουν αναπτυχθεί, μερικές φορές χρησιμοποιώντας την οπτική ροή ως ενδιάμεση αναπαράσταση της κίνησης, αντιστοιχιών μεταξύ των χαρακτηριστικών της εικόνας, συσχετίσεων ή ιδιοτήτων των δομών της έντασης. Αυτά τα παραδείγματα γενικά ταξινομούνται σε τρεις βασικές κατηγορίες: Ταχύτητα: Τρισδιάστατη κίνηση και δομή σκηνών μπορεί να συναχθεί από δισδιάστατα πεδία ταχύτητας, συσχετίζοντας τη κίνηση και τις παραμέτρους της δομής με την οπτική

34 34 ροή. Αυτές οι παράμετροι περιλαμβάνουν στιγμιαία μετάφραση, ποσοστά περιστροφής και πιθανώς επιφανειακές παραμέτρους ή σχετικό βάθος. Ανισότητα: Οι ανισότητες εικόνων, είτε καθιερώθηκαν ως αντιστοιχίες χαρακτηριστικών εικόνων είτε ως τοπικές συσχετίσεις, μπορεί να χρησιμοποιηθούν για να υπολογιστούν τα τρισδιάστατα διανύσματα μετάφρασης, οι μήτρες περιστροφής, και τα γνωρίσματα της επιφάνειας. Ένταση: Οι εντάσεις των εικόνων και οι παράγωγοί τους μερικές φορές χρησιμοποιούνται απευθείας για να βρούμε τις παραμέτρους της κίνησης και της δομής,αποφεύγοντας έτσι μια σαφή ενδιάμεση αναπαράσταση της κίνησης της εικόνας, όπως είναι η οπτική ροή και τα πεδία ανισοτήτων Οπτική ροή Η αρχική υπόθεση για τη μέτρηση της κίνησης της εικόνας είναι ότι η ένταση των δομών των τοπικών μεταβαλλόμενων περιοχών εικόνας είναι περίπου σταθερή με τη κίνηση για τουλάχιστον κάποιο μικρό χρονικό διάστημα. Επίσημα, αν I(x,t) είναι η συνάρτηση της έντασης της εικόνας τότε,,όπου δx είναι η μετατόπιση της τοπικής περιοχής εικόνας στο (x,t) μετά από χρόνο δt. Επεκτείνοντας το αριστερό μέρος αυτής της εξίσωσης σε μια σειρά Taylor έχουμε ως αποτέλεσμα την:,όπου

35 35 και It είναι οι πρώτης τάξεως παραγώγους του Ι(x,t) και O2 είναι οι δεύτερης αλλά και μεγαλύτερης τάξης όροι,που μπορούν να θεωρηθούν αμελητέοι. Αφαιρώντας τον όρο Ι(x,t) και από τα δύο μέρη, αγνοώντας τους όρους δεύτερης αλλά και μεγαλύτερης τάξης και διαιρώντας με δt έχουμε: όπου v=(u,υ) είναι η ταχύτητα της εικόνας. Η εξίσωση (1.3) είναι γνωστή ως η περιορισμένη εξίσωση οπτικής ροής, και ορίζει μια τοπική περιοριστική γραμμή (constraint line) στη κίνηση της εικόνας,όπως φαίνεται στη παρακάτω εικόνα. Η περιοριρισμένη εξίσωση οπτικής ροής ορίζει μια γραμμή στο διάστημα ταχύτητας

36 36 Στο σχήμα η ταχύτητα ορίζεται ως το κάθετο διάνυσμα στη περιοριστική γραμμή, και αυτό είναι, η ταχύτητα με το μικρότερο μέγεθος στη περιοριστική γραμμή. Αυτός ο περιορισμός δεν είναι επαρκής για τον υπολογισμό και των δύο στοιχείων της ταχύτητας, καθώς η περιορισμένη εξίσωση της οπτικής ροής είναι μια γραμμική εξίσωση με δύο αγνώστους v=(u,υ). Δηλαδή, μόνο το στοιχείο κίνησης στη κατεύθυνση της τοπικής κλίσης της συνάρτησης της έντασης της εικόνας μπορεί να υπολογιστεί. Αυτό το φαινόμενο είναι γνωστό ως το ''πρόβλημα ανοίγματος'' [ULLMAN 1979] και μόνο σε μέρη εικόνας όπου υπάρχει επαρκής δομή έντασης (ή γκαουσιανή καμπυλότητα) μπορεί η κίνηση να υπολογιστεί πλήρως με τη χρήση της περιορισμένης εξίσωσης της οπτικής ροής. Μια τέτοια περίπτωση φαίνεται και στη παρακάτω εικόνα: Από τις οπές 1 και 3 μόνο οι κανονικές ταχύτητες των άκρων που διαμορφώνουν το τετράγωνο μπορούν να υπολογιστούν,λόγω της έλλειψης τοπικής δομής. Μέσα στην 2 οπή,στο γωνιακό σημείο,η κίνηση μπορεί να υπολογιστεί πλήρως αφού υπάρχει επαρκής τοπική δομή.

37 37 Για παράδειγμα η ταχύτητα επιφάνειας που είναι ομογενής ή περιέχει υφή με ενιαίο προσανατολισμό δε μπορεί να αναπαρασταθεί οπτικά. Επειδή η κανονική ταχύτητα είναι στη κατεύθυνση της χωρικής κλίσης της εξίσωσης (1.3) μας επιτρέπεται να γράψουμε: Έτσι, η μέτρηση των παραγώγων χρόνου και χώρου μας επιτρέπει την αποκατάσταση της κανονικής ταχύτητας της εικόνας. Από αυτόν τον ορισμό είναι εμφανές ότι η οπτική ροή για να αναπαριστά ακριβώς κίνηση εικόνας, ένας αριθμός από συνθήκες πρέπει να ικανοποιούνται. Αυτές είναι: ομοιόμορφος φωτισμός λαμπερτιανή (Lambertian) ανακλαστικότητα καθαρή επίπεδη μετάφραση προς το επίπεδο εικόνας Ρεαλιστικά, αυτές οι συνθήκες δεν ικανοποιούνται ποτέ πλήρως σε ένα τοπίο. Αντίθετα, υποθέτουμε ότι οι συνθήκες αυτές ικανοποιούνται τοπικά στη σκηνή και άρα τοπικά και στο επίπεδο εικόνας. Ο βαθμός στον οποίο αυτές οι συνθήκες ικανοποιούνται μερικά καθορίζει την εγκυρότητα με την οποία η οπτική ροή προσεγγίζει την κίνηση της εικόνας. Η οπτική ροή μπορεί επίσης να υπολογιστεί ως μια ανισότητα τομέα όπου, δοσμένων δύο στερεοφωνικών εικόνων ή δύο γειτονικών εικόνων σε μια ακολουθία, ενδιαφέροντα χαρακτηριστικά των εικόνων εξάγονται και ταιριάζονται μέσω της αντίστοιχης διαδικασίας. Επίσης οπτικά γεγονότα όπως η επικάλυψη, διαφανής κίνηση και εύκαμπτα αντικείμενα μπορεί να αυξήσουν την πολυπλοκότητα στη μέτρηση της οπτικής ροής Ιεραρχική διαδικασία Παραδοσιακά, η οπτική ροή υπολογιζόταν χρησιμοποιώντας μόνο μία κλίμακα απόφασης, συνήθως οριζόμενη απο έναν οπτικό αισθητήρα [Horn and Schunck 1981], οδηγώντας στο πρόβλημα της μέτρησης μεγάλης κίνησης εικόνας. Στη περίπτωση αυτή, τα χαμηλά ποσοστά δειγματοληψίας και η επίδραση φαινομένων που προκαλούν τα συνεχόμενα σήματα υψηλής ανάλυσης μιας εικόνας να είναι δυσδιάκριτα, καθιστούν την εξίσωση (1.3)

38 38 ακατάλληλη για τον υπολογισμό της οπτικής ροής. Ένας γενικός τρόπος καταστρατήγησης αυτού του προβλήματος είναι η χρησιμοποίηση τεχνικών οπτικής ροής σε ιεραρχικό χονδροειδές προς λεπτό πλαίσιο. Τα ιεραρχικά πλαίσια επιτρέπουν στις εικόνες να αποσυντίθονται σε διαφορετικές κλίμακες απόφασης σε μορφές γκαουσιανών ή Laplace πυραμίδων. Λόγω της χαμηλής συχνότητας αναπαράσταση σε ''χονδροειδές'' αποφάσεις, η εξίσωση (1.3) είναι εφαρμόσιμη στη περίπτωση της μεγάλης κίνησης εικόνας [Kearney et al.1987]. Εκτός από την διαχείριση των γρήγορων εικόνων, η ιεραρχική διαδικασία επίσης προσφέρει αυξημένη υπολογιστική αποδοτικότητα. Σε τέτοια πλαίσια, η ταχύτητα ή οι εκτιμήσεις μετατόπισης κλιμακώνονται μέσα από ένα επίπεδο απόφασης ως αρχικές εκτιμήσεις που υπόκειντε σε τελειοποίηση. Σε πιο τραχύ επίπεδο οι αρχικές εκτιμήσεις υπολογίζονται και στη συνέχεια προβάλλονται σε ένα πιο λεπτό επίπεδο απόφασης και ''εξευγενίζονται'' άλλη μια φορά. Οι τελικές εκτιμήσεις λαμβάνονται όταν ο εξευγενισμός φτάσει στο πιο λεπτό επίπεδο απόφασης. Η ιεραρχική διαδικασία είναι εφαρμόσιμη στις περισσότερες τεχνικές οπτικής ροής Θέματα και προβλήματα Μεγάλη πρόοδος έχει γίνει στον υπολογισμό της οπτικής ροής αλλά ακόμα και τώρα, η ακριβής εκτίμηση της παραμένει δύσκολη εξαιτίας πολλών θεωρητικών και πρακτικών θεμάτων. Θεωρητικά πιστεύουμε ότι η οπτική ροή, ως μια προσέγγιση της κίνησης της εικόνας, καθορίζει σε μεγάλο βαθμό το κάτω όριο για την ακρίβεια. Επιπλέον, οι ιδιότητες της σκηνής, όπως η ανακλαστικότητα και ενημερωτικά γεγονότα εικόνας όπως η διαφάνεια και η απόφραξη δεν είχαν, μέχρι πρόσφατα, επαρκώς αντιμετωπιστεί στα περισσότερα μοντέλα κίνησης εικόνας. Οπτική ροή και κίνηση εικόνας. Η ερμηνεία της μεταβολής της έντασης ως καθαρή σχετική κίνηση είναι περιοριστική αφού η ταχύτητα είναι μια γεωμετρική ποσότητα ανεξάρτητη από τις συνθήκες φωτισμού. Ως εκ τούτου, η εκτίμηση της οπτικής ροής από τη μεταβολή της έντασης απλά προσεγγίζει τη κίνηση εικόνας. Συνθήκες που μπορούν να κάνουν την οπτική ροή να διαφέρει από τη κίνηση της εικόνας είναι η απουσία υφής, στην οποία περίπτωση η οπτική ροή είναι μηδέν, και όταν το πραγματικό πεδίο κίνησης παραβιάζει το

39 39 μοντέλο φωτεινότητας που χρησιμοποιείται για την προσέγγισή της. Τονισμένα μέρη, σκιές, μεταβολές φωτισμού, ημιδιαφανείς επιφάνειες είναι φαινόμενα που εμποδίζουν την υπόθεσή μας και έχουν μελετηθεί σε περιορισμένο βαθμό. Αποφράζουσες επιφάνειες και ανεξάρτητα κινούμενα αντικείμενα. Το πρόβλημα που δημιουργείται από τις αποφράζουσες επιφάνειες αυτή τη στιγμή αντιμετωπίζεται από την ερευνητική κοινότητα. Η απόφραξη είναι δύσκολο να αναλυθεί, παρά το γεγονός ότι η απόφραξη συνιστά μια σημαντική πηγή οπτικών πληροφοριών: η οπτική ροή στα όρια της απόφραξης μπορεί να χρησιμοποιηθεί για τον καθορισμό της κατεύθυνσης της μετάφρασης [Longuet-Higgins and Prazdny 1980] και για τη τμηματοποίηση της σκηνής σε ανεξάρτητες κινούμενες επιφάνειες [Adiv 1985]. Η δυσκολία στη διαχείριση της απόφραξης έγκειται στο γεγονός ότι οι επιφάνειες εικόνας μπορούν να εμφανίζονται ή να εξαφανίζονται εγκαίρως, παραπλανώντας τις διαδικασίες εντοπισμού και προκαλώντας διάφορα τεχνουργήματα στις παραγώγους τις έντασης. Διαφάνεια. Κινήσεις διαφάνειας που δημιουργήθηκαν από φυσικές ημιδιαφανείς επιφάνειες βρίσκονται επίσης και στις εικόνες. Το πρόβλημα που κυρίως τίθεται από τις διαφανείς κινήσεις αυτές είναι αυτό της αντιμετώπισης των πολλαπλών διανομών κίνησης. Πρόσφατα μικτοί διανομείς και αρχές επαλληλίας έχουν εφαρμοστεί στις διαφανείς κινήσεις. Προφιλτράρισμα και διαφοροποίηση. Χρονική εξομάλυνση απαιτείται έτσι ώστε να αποφεύγεται η επίδραση η οποία προκαλεί τα συνεχόμενα σήματα υψηλής ανάλυσης μιας εικόνας να γίνονται δυσδιάκριτα, ενώ ταυτόχρονα η αριθμητική διαφοροποίηση πρέπει να γίνεται προσεχτικά. Η συχνή δήλωση για απαίτηση των μεθόδων διαφοροποίησης η ένταση της εικόνας να είναι σχεδόν γραμμική με κινήσεις μικρότερες της μιας χωρικής μονάδας ανά εικονοστοιχείο, ανακύπτει από το γεγονός ότι χρησιμοποιούνται μόνο δύο εικονοστοιχεία, υπάρχει φτωχή αριθμητική διαφοροποίηση ή η είσοδος εικόνας διαφθείρεται από τη χρονική επίδραση που προκαλεί τα συνεχόμενα σήματα υψηλής ανάλυσης μιας εικόνας να γίνονται δυσδιάκριτα. Με δύο εικονοστοιχεία, οι παράγωγοι υπολογίζονται με τη χρήση απλών προς τα πίσω διαφορών που είναι έγκυρες μόνο όταν η είσοδος έχει δειγματοληφθεί ιδιαίτερα πολύ και η δομή έντασης είναι σχεδόν γραμμική. Όταν η χρονική επίδραση που αναφέραμε προηγουμένως δε μπορεί να αποφευχθεί, οι ιεραρχικές μεθόδους μπορούν να αποφέρουν καλύτερα αποτελέσματα.

40 40 Μετρήσεις αξιοπιστίας. Η ανάγκη για αξιόπιστες μετρήσεις έτσι ώστε να υποδεικνύουν την αξιοπιστία των υπολογισμένων ταχυτήτων δε πρέπει να υποεκτιμάται. Αυτές οι μετρήσεις εμπιστοσύνης μπορούν να χρησιμοποιηθούν για τη δημιουργία των κατωφλίων των πεδίων της οπτικής ροής ή για να προσδιορίσουν τη στατική στάθμη στην μετάεπεξεργασία των μετρήσεων. Οι περισσότερες τρέχουσες μέθοδοι διαφοροποίησης δεν προσδίδουν μετρήσεις εμπιστοσύνης. Ακρίβεια. Οι ιεραρχικές μέθοδοι συσχέτισης αποτελούν εύρωστα συστήματα μέτρησης κίνησης για ακολουθίες εικόνων με σημαντικές αλλαγές αντίθεσης ή με μεγάλες μετατοπίσεις και σοβαρή επίδραση η οποία προκαλεί τα συνεχόμενα σήματα υψηλής ανάλυσης μιας εικόνας να γίνονται δυσδιάκριτα. Οι ιεραρχικές μέθοδοι βασισμένες στη διαφοροποίηση (χρησιμοποιώντας στρέβλωση εικόνας ή εγγραφή) μπορεί να προσδώσουν μια εναλλακτική στις μεθόδους συσχέτισης. Ένας προφανής τρόπος για να αξιολογήσουμε τους υπολογισμούς της οπτικής ροής και την ίδια στιγμή να αποφύγουμε μια ποσοτική ανάλυση είναι να χρησιμοποιήσουμε τα υπολογισμένα πεδία οπτικής ροής στον υπολογισμό της κίνησης και των δομών και να εξετάσουμε την ακρίβεια των παραμέτρων της τρισδιάστατης κίνησης Έκταση και σκοπός Υπάρχουν διάφορα υπολογιστικά μοντέλα για τον υπολογισμό της ταχύτητας εικόνων, που μπορούν να ταξινομηθούν στις παρακάτω κύριες ομάδες: μέθοδοι διαφοροποίησης βασισμένες στη ένταση μέθοδοι φιλτραρίσματος βασισμένες στη συχνότητα μέθοδοι βασισμένες στη συσχέτιση Επίσης υπάρχουν μέθοδοι για τον υπολογισμό των ασυνεχών ή πολλαπλών αποτιμήσεων οπτικής ροής, και τεχνικές για την εκτέλεση χρονικών τελειοποιήσεων των εκτιμήσεων της κίνησης όσο περισσότερες πληροφορίες καθίστανται διαθέσιμες μέσω της διαδικασίας απόκτησης εικόνας. Αυτές οι μέθοδοι ταξινομούνται στις παρακάτω κατηγορίες:

41 41 μέθοδοι πολλαπλής κίνησης μέθοδοι χρονικών τελειοποιήσεων Οι περισσότερες από αυτές τις προσεγγίσεις μπορούν να γίνουν κατανοητές ως αποτέλεσμα τριών εννοιολογικών σταδίων διαδικασίας: προ-φιλτράρισμα(βαθυπερατό ή ζωνοδιαβατό) έτσι ώστε να εξάγουμε δομές σημάτων ενδιαφέροντος και να ενισχύσουμε την αναλογία σήματος προς θόρυβο εξαγωγή μετρήσεων των βασικών δομών εικόνας, όπως οι παράγωγοι χρόνου και χώρου ή οι τοπικές επιφάνειες συσχέτισης και η ολοκλήρωση μετρήσεων είτε με συστηματοποίηση,ή με συσχέτιση ή τουλάχιστον με τον υπολογισμό τετραγώνων Μια από τις πιο βασικές χρήσεις της οπτικής ροής είναι ο υπολογισμός της τρισδιάστατης κίνησης και δομής. Τυπικά οι αλγόριθμοι ανακατασκευής είναι ελλιπείς στις συνθήκες και επομένως η ακρίβεια στον υπολογισμό της οπτικής ροής είναι μεγάλης σημασίας. Για να κατορθώσουμε πιο ακριβείς υπολογισμούς της οπτικής ροής απαιτείται όχι απλά μεγάλη προσοχή στις λεπτομέρειες, αλλά και να λαμβάνουμε υπόψιν μας τις ρεαλιστικές ιδιότητες των εικόνων. 3.2 Τεχνικές οπτικής ροής Παρακάτω αναλύονται οι εξής κατηγορίες τεχνικών οπτικής ροής: 1. Διαφορικές μέθοδοι βασισμένες στην ένταση 2. Μέθοδοι πολλαπλών περιορισμών 3. Μέθοδοι βασισμένες στη συχνότητα 4. Μέθοδοι βασισμένες στη συσχέτιση 5. Μέθοδοι πολλαπλής κίνησης και 6. Μέθοδοι χρονικών τελειοποιήσεων Να σημειώσουμε ότι τα όρια μεταξύ κάθε κατηγορίας μεθόδων δεν είναι πάντα τόσο εμφανή.

42 Διαφορικές μέθοδοι Οι διαφορικές τεχνικές υπολογίζουν την ταχύτητα της εικόνας από τις παραγώγους χρόνου και χώρου των εντάσεων της εικόνας. Το πεδίο ορισμού της εικόνας ως εκ τούτου υποτίθεται ότι είναι συνεχές (ή διαφορικό) στο χώρο και στο χρόνο. Οι γενικές και τοπικές πρώτης και δεύτερης τάξεως μέθοδοι που βασίζονται στην εξίσωση (1.3) μπορούν να χρησιμοποιηθούν για τον υπολογισμό της οπτικής ροής. Οι γενικές μέθοδοι χρησιμοποιούν την (1.3) με έναν επιπλέον γενικό περιορισμό, συνήθως έναν όρο συστηματοποίησης ομαλότητας, για να υπολογίσουν πυκνές οπτικές ροές πάνω σε μεγάλες περιοχές εικόνας. Οι τοπικές μέθοδοι χρησιμοποιούν πληροφορίες κανονικών ταχυτήτων σε τοπικές ''γειτονιές'' για να εκτελέσουν μια τουλάχιστον τετραγωνική ελαχιστοποίηση ώστε να βρουν το κατάλληλο v. Το μέγεθος της γειτονιάς για την απόκτηση μιας εκτίμησης της ταχύτητας καθορίζει αν κάθε ατομική τεχνική είναι τοπική ή γενική Γενικές μέθοδοι Συχνά, μια αποκλειστική χρήση της (1.3) χρησιμοποιείται συνδυαστικά με έναν όρο συστηματοποίησης. Συνδυαστικά, σχηματίζουν μια λειτουργία που ελαχιστοποιείται πάνω στο πεδίο ορισμού της εικόνας. Έχει αποδειχθεί ότι οι γειτονικές ταχύτητες, αν συσχετίζονται στην ίδια επιφάνεια αντικειμένου, πρέπει να είναι σχεδόν ταυτόσημες. Αυτοί οι περιορισμοί χρησιμοποιήθηκαν για να ορισθεί μια λειτουργία λάθους: πάνω στο πεδίο ορισμού ενδιαφέροντος D, όπου v=(u,υ). Ομοιόμορφος φωτισμός (τουλάχιστον τοπικά) στο πεδίο ορισμού ενδιαφέροντος, ορθογραφικές προβολές, και καθαρή μεταγραφική κίνηση παράλληλη στη σκηνή είναι συνθήκες που πρέπει να πραγματοποιηθούν ώστε η υπόθεση για σταθερή φωτεινότητα να ικανοποιηθεί. Αυτές οι υποθέσεις μειώνουν το σύνολο των αποδεκτών οπτικών γεγονότων

43 43 σε περιορισμένες περιπτώσεις ρεαλιστικών μεταβαλλόμενων εικόνων και παρακινούν την έρευνα για περιορισμούς, παράγοντας έτσι περισσότερο εφαρμόσιμες εξισώσεις. Για παράδειγμα η κίνηση μπορεί να προκαλέσει μια αλλαγή στη τάση των χαρακτηριστικών σε μια τοπική γειτονιά εικόνας. Ο Schunk [1985] υπολόγισε το παραπάνω συμπέρασμα μεταβάλλοντας την (1.3), χρησιμοποιώντας τη συνεχή εξίσωση από τη δυναμική των ρευστών και τη θεωρία μεταφοράς για να καταλήξει τελικά στην: Αυτή η εξίσωση είναι ισοδύναμη με την (1.3), εκτός από έναν επιπλέον όρο που περιέχει την οπτική απόκλιση που εκφράζει την επέκταση ή την συμπίεση της γειτονιάς μιας εικόνας, καθώς υποβάλλεται σε μια ''συγγενική'' μετατροπή. Ο Nagel [1989] υποστήριξε ότι η περιορισμένη εξίσωση οπτικής ροής πρέπει να βασίζεται αποκλειστικά στις γεωμετρικές ιδιότητες της τρισδιάστατης σκηνής, παράγοντας την: όπου P είναι ένα τρισδιάστατο σημείο περιβάλλοντος, η τρισδιάστατη ταχύτητα ορίζεται ως η παράγωγός του, και z είναι μια κάθετη μονάδα κατά μήκος του άξονα γραμμή της όψης. Αυτή η εξίσωση υποθέτει μια γνωστή γεωμετρία σκηνής. Ο Mukawa [1990] προτείνει μια συστηματοποιημένη μέθοδο για τον υπολογισμό της οπτικής ροής με έναν γενικό περιορισμό ομαλότητας και άλλους περιορισμούς που μοντελοποιούν τόσο τη διάχυση όσο και κατοπτρικές επιδράσεις φωτεινότητας για ένα κινούμενο αντικείμενο σε σκηνή με μία πηγή φωτισμού. Ο όρος ο οποίος συστηματοποιήθηκε είναι:

44 44 Ο πρώτος όρος ενσωματώνει το περιορισμό ομαλότητας των Horn και Schunk. Ο δεύτερος όρος είναι η περιορισμένη εξίσωση οπτικής ροής με έναν επιπλέον όρο q που εκφράζει τη διαφορά διάχυσης και κατοπτρικού φωτισμού με το χρόνο. Ο τρίτος και τέταρτος όρος παρουσιάζουν τη σχέση μεταξύ των χωρικών παραγώγων φωτεινότητας και των παραγώγων των αρχικών εντάσεων εικόνας: qx = ci x q y = ci y,όπου c είναι μια λειτουργία που περιλαμβάνει τον υπολογισμό των αναλογιών διάχυσης φωτεινότητας σε διάφορες χρονικές στιγμές. Ο τέταρτος όρος διασφαλίζει ότι το c ποικίλει ομαλά. Οι όροι λ, μ, v είναι απλά περιορισμοί που σταθμίζουν τη σχετική σημασία του κάθε όρου στην ελαχιστοποίηση Τοπικά μοντέλα Τοπικά μοντέλα ταχύτητας που υποθέτουν απλά πρότυπα κίνησης είναι επίσης σύνηθα. Για παράδειγμα, οι Lucas και Kanade χρησιμοποίησαν ένα τοπικό μοντέλο περιορισμού για το v το οποίο λύνεται ως μια σταθμισμένη τουλάχιστον τετραγωνική λύση της εξίσωσης (1.3). Οι εκτιμήσεις ταχύτητας υπολογίζονται ελαχιστοποιώντας την:

45 45,όπου W(x) υποδηλώνει ένα παράθυρο λειτουργίας, R είναι μια χωρική γειτονιά. Λύσεις για το v αποκτούνται σε κλειστή μορφή. Το πρόβλημα ανοίγματος μπορεί να λυθεί αναλυτικά διαφοροποιώντας τις περιορισμένες εξισώσεις της οπτικής ροής ώστε να αποκτήσουμε εξισώσεις που περιλαμβάνουν δεύτερης τάξης παραγώγους της έντασης. Αυτοί οι περιορισμοί γενικά δίνουν δύο ή περισσότερες εξισώσεις για τις δύο συνιστώσες του v, και όταν δεν έχουν πρόσημο, μπορούν να χρησιμοποιηθούν για την απόκτηση μιας πλήρης εκτίμησης της κίνησης. Για παράδειγμα, ο Uras et al.[1988] χρησιμοποίησε τον περιορισμό: που είχε σαν αποτέλεσμα την αναλυτική έκφραση και των δύο συνιστωσών του v σε ένα μόνο σημείο της εικόνας. Ο Nagel [1987] έδειξε ότι σημεία εικόνας με μεγάλη γκαουσιανή καμπύλωση, όπως οι γκρίζες γωνίες, επιτρέπουν την ανάκτηση της πλήρης ταχύτητας σε κλειστή μορφή. Άλλη μια τοπική προσέγγιση,που αποφεύγει την ανάγκη για εκτίμηση όλων των παραγώγων έντασης μαζί, χρησιμοποιεί το θεώρημα της γκαουσιανής απόκλισης για να μετατρέψει τη περιορισμένη συνάρτηση οπτικής ροής στην: όπου S και V υποδηλώνουν τη τοπική ολοκλήρωση πάνω στις επιφάνειες και στους όγκους της έντασης των δεδομένων. Το μέγεθος της επιφάνειας και του όγκου των

46 46 γειτονιών πρέπει να είναι επαρκές ώστε να ξεπεράσει το πρόβλημα του ανοίγματος Μοντέλα επιφάνειας Πρωτοποριακή εργασία από τους Longuet-Higgins και Prazdny [1980] εξετάζει το τύπο του πεδίου της οπτικής ροής για ένα κινούμενο μονόφθαλμο παρατηρητή σε ένα άκαμπτο σκηνικό. Παράγουν τη γνωστή εξίσωση ταχύτητας της εικόνας σχετίζοντας τη τρισδιάστατη κίνηση και τις παραμέτρους βάθους σε μια δισδιάστατη κίνηση εικόνας (προσεγγιστικά ως η οπτική ροή). Δείχνουν ότι αυτοί οι παράμετροι μπορούν να ανακτηθούν από την οπτική ροή και τις πρώτης και δεύτερης τάξης παραγώγους της. Έχει αποδειχθεί ότι δύο επίπεδα με διακριτούς προσανατολισμούς επιφάνειας που είναι δεσμευμένα σε διαφορετικές τρισδιάστατες κινήσεις μπορεί να έχουν το ίδιο πεδίο οπτικής ροής. Ένας αριθμός από επίπεδες τεχνικές κίνησης βασίζεται στο ότι η κανονική ταχύτητα είναι διαθέσιμη. Η λειτουργική μέθοδος ταχύτητας των Waxman και Wohn υποθέτει ότι η ταχύτητα σε ένα σημείο κυρτής επιφάνειας μπορεί να προσεγγιστεί από μιας δεύτερης τάξης επέκταση της σειράς Taylor για αυτό το σημείο. Για ταχύτητα v=(u,υ), έχουμε: Χρησιμοποιώντας τη περιοριστική εξίσωση της κανονικής ταχύτητας, μια γραμμική εξίσωση με δώδεκα αγνώστους,τις δύο συνιστώσες του v, και τις πρώτης και δεύτερης τάξης παραγώγους τους, αποκτάται. Αν δοθούν δώδεκα ή και παραπάνω κανονικές ταχύτητες σε μια τοπική γειτονιά σε μια κυρτή επιφάνεια, αυτοί οι παράμετροι μπορούν να ανακτηθούν. Σε περίπτωση που η τοπική επιφάνεια είναι επίπεδη, τότε:

47 47 επιτρέποντας στην (2.8) να γραφτεί ως εξίσωση με οχτώ αγνώστους. Ως εκ τούτου, μόνο οχτώ κανονικές ταχύτητες απαιτούνται για να ανακτηθεί η ταχύτητα της επίπεδης επιφάνειας. Οι Murray και Buxton [1984] παρήγαν μια σχέση μεταξύ των παραμέτρων των κανονικών ταχυτήτων μιας επίπεδης επιφάνειας, οδηγώντας σε μια γραμμική εξίσωση της μορφής:,όπου τα διανύσματα c και p περιέχουν εκφράσεις των συντεταγμένων της κανονικής ταχύτητας εικόνας, των παραμέτρων της τρισδιάστατης κίνησης και της επίπεδης επιφάνειας. Δοσμένων οχτώ κανονικών ταχυτήτων, τα διανύσματα του p μπορούν να καθοριστούν και η πλήρης ταχύτητα υπολογίζεται ως: Επιπλέον μαθηματικός χειρισμός του p αποδίδει εξισώσεις για την ανάκτηση των παραμέτρων της τρισδιάστατης κίνησης και τον προσανατολισμό επιφάνειας. Αν το πρόβλημα ανοίγματος δε μπορεί να ξεπεραστεί για κάποιες τοποθεσίες εικόνας σε μια

48 48 γειτονιά, αλλά οι παράμετροι επιφάνειας μπορούν να υπολογιστούν, τότε, κάποιο συμπέρασμα μπορεί να βρεθεί για καθεμία από αυτές τις τοποθεσίες Μοντέλα περιγράμματος Πολλές διαφορικές προσεγγίσεις στην εκτίμηση της κίνησης εικόνας βασίζονται στη παρουσία των περιγραμμάτων ή των άκρων σε μια ακολουθία εικόνων. Τα υπολογιστικά επίπεδα αυτών των μεθόδων αποτελούνται από την εξαγωγή των σχετικών περιγραμμάτων εικόνας με τις τεχνικές προφιλτραρίσματος, ακολουθούμενες από έναν διαφορικό υπολογισμό της κίνησης της εικόνας. Κατ' ουσίαν, τα περιγράμματα ή τα άκρα παρουσιάζουν δυνατές αναλογίες σήματος-θορύβου, πράγμα που διευκολύνει την εξαγωγή τους. Επιπλέον, ο υπολογισμός της οπτικής ροής στα άκρα συχνά οδηγεί σε αραιά πεδία ροής (συνήθως 10% του πεδίου ή και λιγότερο, ανάλογα με τη τάση των άκρων). Ο Hildreth [1984] πρότεινε έναν περιορισμό ομαλότητας να εφαρμόζεται στις εκτιμήσεις της κανονικής ταχύτητας κατά μήκος των περιγραμμάτων που έχουν εξαχθεί από τις μεταβαλλόμενες εικόνες. Για ένα περίγραμμα S, η κανονική ταχύτητα πρέπει να ελαχιστοποιεί: Αν τουλάχιστον δύο εκτιμήσεις κανονικής ταχύτητας κατά μήκος του S είναι διαφορετικές, τότε η ελαχιστοποίηση του προηγούμενου ολοκληρώματος αποδίδει μοναδικό πεδίο ταχύτητας στο περίγραμμα S (βλέπε παρακάτω εικόνα).

49 49 Αν τουλάχιστον δύο εκτιμήσεις κανονικής ροής κατά μήκος ενός περιγράμματος είναι διαφορετικές, τότε η πλήρης ταχύτητα του περιγράμματος μπορεί να υπολογιστεί μοναδικά. Στη πράξη, η λειτουργία ελαχιστοποιείται κατά μήκος περιγραμμάτων. Το β είναι ένας σταθμισμένος παράγοντας και εκφράζει τη τετραγωνική διαφορά μεταξύ της υπολογισμένης κανονικής ταχύτητας και της προβλεπόμενης από τη λύση. Η μέθοδος του Buxton [1984] για τον υπολογισμό της οπτικής ροής βασίζεται σε ένα

50 50 μοντέλο κίνησης των άκρων σε ακολουθίες εικόνων. Παρατήρησαν ότι η αναλογία σήματος θορύβου ενισχύεται σε μέρη σημαντικών χαρακτηριστικών εικόνας όπως στα άκρα. Η προσέγγισή τους καθοδηγούμενη από ψυχοσωματικά γεγονότα του χωρικού και χρονικού φιλτραρίσματος σε διαδικασίες ανθρώπινης πρώιμης όρασης, είναι άμεση προέκταση χειριστή ανίχνευσης κεντρικού περιβάλλοντος άκρων των Marr και Hildreth [1980]. Υπολόγισαν τις χωροχρονικές μηδενικές διελεύσεις τυλίγοντας την: με μία ακολουθία εικόνων, όπου ο πρώτος όρος είναι ο χειριστής d'alembert και ο δεύτερος όρος είναι μια γκαουσιανή λειτουργία, που δίνεται από την: όπου οι παράμετροι a και u ελέγχουν την ταχύτητα του φακέλου. Οι κανονικές ταχύτητες μπορούν τότε να εκτιμηθούν στις μηδενικές διελεύσεις, υπολογίζοντας τις μερικές πρώτης τάξεως παράγωγους του S(x,t) ως: με έναν τουλάχιστον τετραγωνικό υπολογισμό. Η επιλογή για τις τιμές των παραμέτρων a και u γίνεται εκ των προτέρων, καθώς η διανομή των άκρων στην εικόνα είναι άγνωστη. Οι Duncan και Chou όρισαν έναν ανιχνευτή χρονικών ακρών που ελαχιστοποιούσε τις επιδράσεις των χρονικών μεταβολών στο φωτισμό [1992]. Ο ανιχνευτής άκρων είναι η δεύτερης τάξης χρονική παράγωγος της γκαουσιανής λειτουργίας:

51 51 η οποία τυλίγεται στο χρόνο με την ακολουθία εικόνων για να παράγει μια σειρά από μηδενικές διελεύσεις προκαλούμενες από κινούμενα άκρα. Θεωρητικά,αλλά και πειραματικά οι συγγραφείς έδειξαν ότι οι μεταβολές στον φωτισμό δε δημιουργούν μηδενικές διελεύσεις στην S(x,t). Κεντρικές διαφορές χρησιμοποιούνται για τον υπολογισμό των πρώτης τάξεως παραγώγων της S (χρόνου) σε τοπικές γειτονιές. Οι κανονικές ταχύτητες υπολογίζονται ως: που είναι ισοδύναμη με τη συνηθισμένη περιορισμένη εξίσωση οπτικής ροής. Πετυχημένα πειράματα έχουν παρουσιαστεί με σύνθετες εικόνες που περιέχουν σημαντικές μεταβολές φωτισμού. Μια διαφορετική μέθοδος για τον εντοπισμό άκρων μέσω των μηδενικών διελεύσεων είναι η χρήση ακτινικής διάταξης των DOG χειριστών. Στην ακτινική διάταξη, οι χρονικές διαφορές στις αντιδράσεις των χειριστών προσδίδουν επαρκείς πληροφορίες προς τη διαπίστωση της κανονικής ταχύτητας. Ένα σταθερό μοντέλο μπορεί να εφαρμοστεί στους διανομείς κανονικής ταχύτητας ώστε να αποκτηθεί η πλήρης ταχύτητα Μέθοδοι με πολλούς περιορισμούς Οι μέθοδοι αυτές χρησιμοποιούν πολλές περιπτώσεις των εξισώσεων (1.3) ή (2.6) για να εξάγουν σαφείς εκφράσεις για την κίνηση της εικόνας σε μονά σημεία εικόνας. Ο Liu et al. [1993] χρησιμοποίησε τις εξισώσεις (1.2) και (2.6): επέκτειναν τη χωροχρονική εικόνα με πολυώνυμα Hermite και βρήκαν λύσεις για το v χρησιμοποιώντας πρότυπα τουλάχιστον τετραγωνικά.

52 52 Λειτουργίες εκτός από (ή μαζί με) την ένταση μπορούν να αντικατασταθούν στη περιορισμένη εξίσωση της οπτικής ροής για να αποκτήσουμε συστήματα με πολλούς περιορισμούς. Αυτές οι λειτουργίες μπορούν να θεωρηθούν ως έξοδος χειρισμών που εφαρμόζονται στις εντάσεις των εικόνων. Για παράδειγμα, αποκρίσεις ζευγαριών ανεξάρτητων γραμμικών φίλτρων μπορούν να χρησιμοποιηθούν μαζί με τη περιορισμένη εξίσωση οπτικής ροής γι' αυτόν το σκοπό. Ο Mitiche et al. [1987] χρησιμοποίησε ένα σύστημα εξισώσεων με πολλούς περιορισμούς κατασκευασμένο από την περιορισμένη εξίσωση οπτικής ροής για το ίδιο σημείο για ένα σύνολο από διαφορετικές εικόνες, που είχαν προέλθει από την πρωτότυπη, παρήγαγε εφαρμόζοντας λειτουργίες για να υπολογίζει τις τοπικές τιμές για την αντίθεση, το μέσο όρο, τη μεταβλητότητα, την εντροπία, τη διάμεσο, και τη περιεκτικότητα σε ενέργεια. Παρόλα αυτά, το πρόβλημα ανοίγματος δε μπορεί να λυθεί όταν αντιμετωπίζουμε ιδιομορφίες στο σύστημα εξισώσεων με τους πολλούς περιορισμούς : αυτό συμβαίνει για συγκεκριμένες δομές έντασης, συμπεριλαμβανομένων των περιοχών ομοιόμορφης έντασης, των πολύ δομημένων, της περιοδικής υφής κτλ Ιεραρχικές προσεγγίσεις Οι διαφορικές μέθοδοι οπτικής ροής επίσης παρουσιάζουν προβλήματα με τις μεγάλες δισδιάστατες εικόνες, λόγω των χαμηλών ποσοστών δειγματοληψίας, παραβιάζοντας έτσι το θεώρημα δειγματοληψίας του Shannon. Αυτού του είδους τα προβλήματα μπορούν να αμβλυνθούν εφαρμόζοντας τις διαφορικές μεθόδους με κάποιο συγκεκριμένο τρόπο. Η στρέβλωση εικόνας μπορεί να χρησιμοποιηθεί ώστε οι εικόνες να κρατηθούν καλά εγγεγραμμένες στη σκάλα του ενδιαφέροντος έτσι ώστε αριθμητικές διαφοροποιήσεις να μπορούν να εκτελεσθούν. Η χρησιμοποίηση ενός παραμετρικού μοντέλου που βασίζεται σε συγγενείς μετατροπές, στην ακαμψία σκηνικού, στην επιπεδότητα επιφάνειας ή στη γενική κίνηση σε μια περιοχή εικόνας επιτρέπει σε κάποιον τόσο να κρίνει τη ποιότητα που ταιριάζει στα δεδομένα (ίσως χωρίζοντας την περιοχή αν αυτό είναι απαραίτητο), όσο και να γεμίσει το αραιό πεδίο οπτικής ροής με τις υπολογισμένες παραμέτρους.

53 Μέθοδοι βασισμένες στη συχνότητα Μια δεύτερη κατηγορία τεχνικών οπτικής ροής βασίζεται στη χρήση φίλτρων συντονισμένης ταχύτητας. Αυτές οι τεχνικές χρησιμοποιούν ευαίσθητα φίλτρα προσανατολισμού στο πεδίο ορισμού Fourier μεταβαλλόμενων εικόνων. Μεταξύ των πλεονεκτημάτων που έχουν οι συγκεκριμένες τεχνικές, βρέθηκε ότι μηχανισμοί ευαίσθητοι στη κίνηση, λειτουργώντας με χωροχρονικά προσανατολισμένη ενέργεια στο διάστημα Fourier μπορούν να υπολογίσουν τη κίνηση σε σήματα εικόνων για τα οποία αντιπαραβαλλόμενες προσεγγίσεις απέτυχαν. Για παράδειγμα, η κίνηση τυχαίων πρότυπων τελειών μπορεί να είναι δύσκολο να συλληφθεί από τις μεθόδους βασισμένες στα χαρακτηριστικά ή τη συσχέτιση,ενώ, στο διάστημα Fourier, η εκ του αποτελέσματος προσανατολισμένη ενέργεια μπορεί πιο εύκολα να αποσπαστεί για να υπολογιστεί η κίνηση. Ο μετασχηματισμός Fourier ενός μεταφρασμένου δισδιάστατου σήματος έντασης που ορίστηκε στην (1.1) είναι: όπου, είναι ο μετασχηματισμός Fourier του I(x,0) και το x υποδηλώνει τη θέση στο χώρο. Το δ είναι μια Dirac συνάρτηση δέλτα και κ,ω υποδηλώνουν χωροχρονική συχνότητα. Αυτό αποδίδει τη περιορισμένη εξίσωση οπτικής ροής στο διάστημα συχνότητας: που δείχνει ότι η ταχύτητα του μεταφρασμένου δισδιάστατου προτύπου είναι μια λειτουργία της χωροχρονικής συχνότητάς του και σχηματίζει ένα επίπεδο μέσω της προέλευσης του διαστήματος Fourier.

54 Φιλτράρισμα επιλεκτικού προσανατολισμού Οι Adelson και Bergen [1985] πρότειναν μια κατηγορία υπολογιστικών καθεστώτων που εκμεταλλεύεται το γεγονός ότι το να ανιχνεύσεις τη κίνηση σε μια εικόνα είναι ισοδύναμο με το να εντοπίσεις το χωροχρονικό προσανατολισμό της. Το Gabor φιλτράρισμα παρουσιάζεται ως μια τεχνική για τον εντοπισμό χωροχρονικής ενέργειας. Ένα φίλτρο Gabor είναι μια γκαουσιανή λειτουργία πολλαπλασιασμένη από ένα ημίτονο ή συνημίτονο κύμα. Για παράδειγμα η λειτουργία: είναι ένα τρισδιάστατο συνημίτονο (περιττό) φίλτρο Gabor, όπου (κ,ω) είναι η κεντρική συχνότητα στην οποία η απόκριση του πλάτους παίρνει τη μεγαλύτερη τιμή. Οι Adelson και Bergen παρατήρησαν ότι η απόκριση προτύπου τέτοιων φίλτρων επηρεάζεται από την αντίθεση του σήματος: ερεθίσματα με χαμηλή αντίθεση παράγουν χαμηλή απόκριση πλάτους και αντίστροφα. Επειδή η μέτρηση της ταχύτητας είναι ανεξάρτητη της αντίθεσης πλατών, προτάθηκε η χρήση των αναλογιών αποκρίσεων από διαφορετικά φίλτρα για τον υπολογισμό των εκτιμήσεων ταχύτητας. Ο Jahne [ 1990] απέδειξε ότι η ανίχνευση του χωροχρονικού προσανατολισμού είναι ανάλογη στην ανάλυση της ιδιοτιμής του τανυστή αδράνειας. Για παράδειγμα, ένα σημείο προέλευσης διαστήματος Fourier αντιστοιχεί σε μια περιοχή σταθερής έντασης και αντιστοιχεί σε μηδενική ιδιοτιμή στο διάστημα τανυστή. Επίσης, μια γραμμή στο διάστημα συχνότητας είναι ένα χωρικά προσανατολισμένο πρότυπο κινούμενο με σταθερή ταχύτητα και η κανονική του ταχύτητα μπορεί να αποκτηθεί με το ιδιοδιάνυσμα που αντιστοιχεί στη μηδενική ιδιοτιμή του. Τελικά, ένα επίπεδο προέλευσης εκφράζει ένα χωρικά διανεμημένο πρότυπο κινούμενο με σταθερή ταχύτητα και το ιδιοδιάνυσμα που σχετίζεται με τη μέγιστη ιδιοτιμή του τανυστή αδράνειας δίνει τη πλήρη ταχύτητα του προτύπου.

55 Φιλτράρισμα βασισμένο στη φάση Η μέθοδος αναπτύχθηκε από τους Fleet και Jepson [1990] και ορίζει συνιστώσα ταχύτητας από την άποψη της στιγμιαίας ταχύτητας του επιπέδου περιγράμματος φάσης στην έξοδο των ζωνοδιαβατών φίλτρων Gabor συντονισμένης ταχύτητας. Αυτά τα φίλτρα χρησιμοποιούνται για να αποσυνθέσουν τα σήματα εισόδου σύμφωνα με τη κλίμακα, τη ταχύτητα και τον προσανατολισμό. Κάθε έξοδος φίλτρου είναι σύνθετης αποτίμησης και μπορεί να εκφραστεί ως:,όπου ρ(x,t) και φ(x,t) είναι το πλάτος και η φάση αντίστοιχα του σήματος εξόδου. Η συνιστώσα της δισδιάστατης ταχύτητας στη κατεύθυνση φυσιολογική στο επίπεδο περιγραμμάτων φάσης δίνεται από την :,όπου είναι η χρονική παράγωγος της φάσης και είναι η χωρική κλίση της. Οι παράγωγοι της φάσης υπολογίζονται χρησιμοποιώντας τη ταυτότητα:

56 56,όπου είναι ο συζυγής μιγαδικός του R(x,t) και Im είναι το φανταστικό μέρος ενός συζυγή αριθμού. Οι Fleet και Jepson συσχέτισαν τη ταχύτητα με τις πληροφορίες τοπικής φάσης εξαιτίας της σχετικής αναισθησίας του σήματος φάσης στις μεταβολές του πλάτους λόγω των αλλαγών των σκηνικών φωτισμού. Αυτές οι στρεβλώσεις είναι συνήθως συνέπεια της γεωμετρίας της προοπτικής προβολής. Συνιστώσα ταχύτητας μπορεί να αποκτηθεί από την έξοδο κάθε καναλιού συντονισμένης ταχύτητας με τη προϋπόθεση ότι το σήμα φάσης είναι σταθερό. Συνήθως αστάθειες σχετίζονται με τις γειτονιές μέσω ιδιομορφιών στη φάση που μπορεί να ανιχνευθούν με μια δήλωση περιορισμού ότι η απόσταση μεταξύ της στιγμιαίας συχνότητας και της μέγιστης συχνότητας συντονισμού του φίλτρου πρέπει να είναι η ελάχιστη. Τέτοιος περιορισμός, όταν υπάρχει, είναι επαρκής για να αποφεύγουμε τον υπολογισμό ταχύτητας σε ιδιομορφίες φάσης. Επειδή κάθε κανάλι θεωρείται ανεξάρτητο, μπορεί να υπάρχουν πολλαπλές μετρήσεις σε μία μόνο τοποθεσία εικόνας. Τότε, αν υπάρχει επαρκής αριθμός εκτιμήσεων, η ολική ταχύτητα ανακύπτει σε ένα συγκεκριμένο σημείο ή σε μια μικρή γειτονιά λύνοντας ένα γραμμικό σύστημα εξισώσεων σχετίζοντας τις μετρήσεις με ένα μοντέλο οπτικής ροής. Όπως είναι σχηματισμένη μέχρι σήμερα, η μέθοδος των Fleet και Jepson δεν προσφέρει αξιόπιστες μετρήσεις. Υπάρχει επίσης η απαίτηση για μεγάλο αριθμό φίλτρων ώστε να καλυφθεί το διάστημα συχνότητας. Η φάση είναι περισσότερο εύρωστη από τόσο τις παραγώγους έντασης όσο και τις αποκρίσεις φίλτρων βασισμένων στην ενέργεια για μεταβαλλόμενες σκηνές φωτισμού. Αυτό μπορεί να φανεί και διαισθητικά θεωρώντας ένα σήμα της μορφής A cos(ωt+φ). Αλλάζοντας το πλάτος Α του σήματος θα αλλάξουν και οι τιμές των παραγώγων του ή η απόκριση ενός φίλτρου βασισμένου στην ενέργεια (τετραγωνισμένου πλάτους), αλλά θα υπάρχει πολύ μικρή επίδραση στη φάση του σήματος ή στις παραγώγους της. Οι μέθοδοι βασισμένοι στη φάση απαντούν επίσης και στις συνιστώσες ταχύτητας πολλαπλής κίνησης εξαιτίας απόφραξης ή διαφάνειας, αν και μια κατάλληλη μέθοδος μέτρησης ολοκλήρωσης, όπως ένα μοντέλο σύνθετης ταχύτητας, απαιτείται για να υπολογιστούν τελικά οι πλήρεις ταχύτητες. Τυπικά, οι μέθοδοι βασισμένες στη συχνότητα δε προσφέρουν ένα μέσο για την ανάθεση εμπιστοσύνης στις υπολογισμένες ταχύτητες.

57 Ιεραρχικές προσεγγίσεις Ο Heeger [1980] παρουσίασε ένα υπολογιστικό μοντέλο για την εκτίμηση της ταχύτητας εικόνας που χρησιμοποιεί τετραγωνισμένα ζευγάρια χωροχρονικών φίλτρων Gabor. Μια οικογένεια τέτοιων φίλτρων ενέργειας, συντονισμένων στην ίδια χωρική μπάντα συχνοτήτων αλλά σε διαφορετικούς χωρικούς προσανατολισμούς είναι ορισμένη. Το μέγεθος της αρμονικής χωρικής συχνότητας είναι, γι αυτό το λόγο, αμετάβλητο και άλλα σύνολα φίλτρων μπορούν να σχεδιαστούν για διαφορετικά κανάλια συχνοτήτων. Παρόλα αυτά ένα απλό σύνολο τέτοιων φίλτρων μπορεί να δημιουργηθεί μέσω μιας γκαουσιανής πυραμίδας προκειμένου να καλυφθούν διαφορετικά κανάλια. Για ένα μεταφραστικό δισδιάστατο πρότυπο, οι αποκρίσεις τέτοιων φίλτρων επικεντρώνονται σε ένα επίπεδο στο διάστημα συχνότητας. Το θεώρημα Parseval χρησιμοποιείται για να παραχθούν οι αναμενόμενες αποκρίσεις R(v) των φίλτρων ενέργειας gabor για ένα μεταφραστικό ερέθισμα:,όπου Οι μεταβλητές σ(x,y,t) είναι οι τυπικές αποκλίσεις των φίλτρων Gabor.

58 Μέθοδοι βασισμένες στη συσχέτιση Η αριθμητική διαφοροποίηση μερικές φορές δεν είναι πρακτική λόγω της μικρής χρονικής υποστήριξης (μόνο λίγα εικονοστοιχεία) ή του μικρού λόγου σήματος-θορύβου. Σε αυτές τις περιπτώσεις, οι διαφορικές προσεγγίσεις ή οι προσεγγίσεις συχνότητας μπορεί να μην είναι κατάλληλες και είναι φυσικό να αναζητούμε πιο ταιριαστές μεθόδους Ταίριασμα βασισμένο στη συσχέτιση Τυπικά, καλά, ταιριαστά χαρακτηριστικά, όπως τα γωνιακά σημεία, είναι αραιά ενώ φτωχά, εύκολα αταίριαστα χαρακτηριστικά,όπως τα άκρα είναι πιο πυκνά. Ακόμα και όταν ευλόγως μοναδικά χαρακτηριστικά είναι διαθέσιμα, ο υπολογισμός της ακριβούς αντιστοιχίας μπορεί να είναι προβληματικός. Επίσης ακόμα πιο πολύπλοκα θέματα είναι η απόφραξη (σύγκλιση) χαρακτηριστικών που μπορεί να οδηγήσει σε λάθος ταιριάσματος. Οι προσεγγίσεις ταιριάσματος βασισμένες στη συσχέτιση είναι λιγότερο ευαίσθητες σε αυτά τα προβλήματα : δεν βασίζονται στη παρουσία σημαντικών χαρακτηριστικών εικόνας και το μεταβλητό μέγεθος του παράθυρου συσχέτισης μπορεί να χρησιμοποιηθεί κοντά στα σύνορα της απόφραξης για να αντιμετωπίσει τις πολλαπλές κινήσεις. Αυτές οι προσεγγίσεις ορίζουν το εκτόπισμα (που είναι μια χονδρική εκτίμηση της ταχύτητας) ως μια μετατόπιση που αποδίδει το καλύτερο ταίριασμα ανάμεσα στις συνεχείς μεταβαλλόμενες περιοχές εικόνας. Οι περισσότερες από αυτές τις προσεγγίσεις προέρχονται από υπολογιστικές στερεοσκοπικές απόψεις, όπου το ζήτημα είναι να συσχετίσεις περιοχές εικόνας ενός ζεύγους εικόνων που έχουν ληφθεί από διαφορετικές θέσεις παρακολούθησης, κάτω από προβολές προοπτικής. Το ταίριασμα περιοχών εικόνας συχνά οδηγεί στη μεγιστοποίηση της μέτρησης ομοιότητας. Συγκεκριμένα ένας συντελεστής συσχέτισης μεταξύ δύο λειτουργιών f και g ορίζεται ως το ολοκλήρωμα του γινομένου τους: Η εύρεση του δx που μεγιστοποιεί το ολοκλήρωμα οδηγεί στην εύρεση της μετατόπισης

59 59 μεταξύ των f και g, αν f(x+δx)=g(x). Ο Sutton το 1983 πρότεινε μια μέθοδος συσχέτισης που επιτρέπει τη γραμμική παραμόρφωση μικρών περιοχών εικόνας. Μια διγραμμική ανακατασκευή της επιφάνειας έντασης υπολογίζεται για τοπικές περιοχές εικόνας Ω. Η μετατόπιση μιας τέτοιας επιφάνειας έντασης κάτω από γραμμική παραμόρφωση εκφράζεται ως: όπου το πρώτο μέλος αποτελεί τη θέση της παραμορφωμένης γειτονιάς Ω, d είναι η μετατόπιση του Ω στον χρόνο και το ανάδελτα του d είναι οι παράμετροι παραμόρφωσης. Ο συντελεστής συσχέτισης περιγράφει τις τετραγωνικές διαφορές ανάμεσα στις περιοχές Ω και Ω. Με σκοπό να αποφύγουμε τα υπολογιστικά κόστη των επαναλαμβανόμενων ελαχιστοποιήσεων των λειτουργιών, ο Little το 1988 πρότεινε ότι η χρήση των μερικών επικαλύψεων περιοχών για ταίριασμα είναι επαρκής για να προσεγγίσει έναν ισοτροπικό όρο ομαλότητας που επιβλήθηκε στις εκτιμήσεις ανισότητας. Η προσέγγιση της λειτουργίας όπου φ είναι ένας χειριστής συσχέτισης, φαίνεται να είναι σωστή όσο η επέκταση της περιοχής ταιριάσματος γίνονται μεγαλύτερη.

60 Ιεραρχικές προσεγγίσεις Στη παρουσία μεγάλων ανομοιοτήτων, οι μη ιεραρχικοί αλγόριθμοι συσχέτισης γίνονται ευαίσθητοι σε λανθασμένα ταιριάσματα, εξαιτίας της αύξησης στην αναζήτηση χώρων που απαιτούνται για να αντιμετωπιστεί η γρηγορότερη κίνηση. Επιπλέον, η συσχέτιση περιοχών εικόνας είναι, γενικά, υπολογιστικά εντατική. Με σκοπό τη μείωση των υπολογισμών και της πιθανότητας αναντιστοιχιών, κάποιος μπορεί να χρησιμοποιήσει χονδροειδείς εκτιμήσεις της κίνησης για να κατευθύνει τη διαδικασία ταιριάσματος. Το μέγεθος των παραθύρων συσχέτισης είναι μια σημαντική παράμετρος για την αντιστοιχία περιοχών. Για παράδειγμα εντός ενός παραθύρου συσχέτισης πρέπει να υπάρχει αρκετή ποικιλία στο σήμα για να προσδιορίσει με αξιοπιστία την ανομοιότητα. Παρόλα αυτά η μεταβλητότητα της ανομοιότητας αυτής εντός του ίδιου παραθύρου πρέπει να παραμένει αμελητέα όσο οι τοπικές αντιστοιχίες λειτουργούν βάσει της υπόθεσης ενός σταθερού μοντέλου ταχύτητας. Το βέλτιστο μέγεθος παραθύρου τότε εξαρτάται από τη κατασκευή του υποκείμενου σήματος.

61 61 Οι τεχνικές ιεραρχικών αντιστοιχιών μπορούν να βελτιώσουν την ακρίβεια των ανισοτήτων Ιεραρχική αποσύνθεση εικόνας: οι αρχικές εικόνες αποσυντίθονται σε μια ιεραρχική σειρά από κανάλια συχνοτήτων πριν από τον υπολογισμό της οπτικής ροής λειτουργώντας σε διάφορα κανάλια συχνοτήτων εξαγόμενων από τις προς επεξεργασία εικόνες. Τα κανάλια χαμηλών συχνοτήτων χρησιμοποιούνται για τον υπολογισμό των μεγάλων ανισοτήτων που μπορεί να προκύψουν προσθέτοντας κανάλια υψηλών συχνοτήτων στη διαδικασία ταιριάσματος. Η μέθοδος του Anandan [1989] βασίζεται σε μια πυραμίδα Laplace και σε μία στρατηγική ταιριάσματος βασισμένη στο SSD (άθροισμα τετραγωνισμένων διαφορών). Η πυραμίδα Laplace επιτρέπει τον υπολογισμό των μεγάλων ανισοτήτων εικονοστοιχίων και βοηθάει στην ενίσχυση της δομής της εικόνας, όπως στα άκρα,που θεωρείται σημαντικό για το ταίριασμα.

62 62 Το SSD μέτρο ορίζεται ως: όπου W(i,j) υποδηλώνει μια λειτουργία στάθμισης και d περιορίζεται σε μια τετραγωνική γειτονιά μεγέθους (2n+1)*(2n+1) επικεντρωμένη στο x. Τα ελάχιστα SSD αρχικά τοποθετούνται σε ακέραια ακρίβεια εντός μικρών περιοχών εικόνας. Οι μετατοπίσεις υποεικονοστοιχείων τότε υπολογίζονται βρίσκοντας την ελάχιστη τετραγωνική προσέγγιση σε μια επιφάνεια SSD σχετικά με την ακέραια τοποθέτηση που ελαχιστοποιεί καλύτερα την S(x,d). Έμπιστες μετρήσεις πηγάζουν από την αρχή καμπυλότητας της επιφάνειας SSD και χρησιμοποιούνται ως βάρη στη λειτουργία: η οποία πρέπει να ελαχιστοποιηθεί για ολόκληρη τη περιοχή ταχύτητας εικόνας D. Όπου, e max και e min οι κανονικοποιημένες αρχικές κατευθύνσεις της μέγιστης και της ελάχιστης καμπυλότητας και d 0 υποδηλώνει τις μετατοπίσεις που λαμβάνονται από την ελαχιστοποίηση του S(x,d) στη πυραμίδα Laplace (συνήθως τρία επίπεδα χρησιμοποιούνται). Στο πιο τραχύ επίπεδο, όπου η μεγαλύτερη κίνηση θεωρείται ότι είναι μικρότερη της μιας χωρικής μονάδας ανά εικονοστοιχείο, τα ελάχιστα SSD τοποθετούνται σε ακρίβεια υποεικονοστοιχείου βρίσκοντας τα ελάχιστα της επιφάνειας συσχέτισης SSD και εξομαλύνονται χρησιμοποιώντας επαναληπτικές εξισώσεις που βασίζονται στη (2.34). Στη συνέχεια χρησιμοποιώντας ένα αλληλεπικαλυπτόμενο σύστημα προβολής, αυτές οι μετατοπίσεις προβάλλονται στο επόμενο επίπεδο πυραμίδας. Το ταίριασμα και η

63 63 εξομάλυνση πραγματοποιούνται με τέτοιο τρόπο σε κάθε επίπεδο πυραμίδας από το πιο τραχύ στο πιο λεπτό επίπεδο, ώστε η αρχική εικόνα να αποδίδει το τελικό πεδίο οπτικής ροής. Η προσέγγιση του Singh [1992] είναι παρόμοια με τη μέθοδο του Anandan [1989] αφού χρησιμοποιεί επίσης τις ελαχιστοποιήσεις SSD και έναν υπολογισμό δύο επιπέδων. Το πρώτο επίπεδο αποτελείται από τον υπολογισμό των τιμών SSD με τρία συνεχόμενα υψιπερατά φίλτρα εικόνας. Η επιφάνεια των τριών εικονοστοιχείων SSD υπολογίζεται ως: Η επιφάνεια S στη συνέχεια μετατρέπεται σε μια κατανομή πιθανοτήτων, που ορίζεται ως:,όπου: Το δεύτερο βήμα στον αλγόριθμο Singh πολλαπλασιάζει τη ταχύτητα χρησιμοποιώντας έναν γειτονικό εξομαλυντικό περιορισμό. Το σωστό επίπεδο ανισοτήτων ελαχιστοποιεί τη λειτουργία: που εκφράζει την απαίτηση ενός ομαλά μεταβαλλόμενου πεδίου ανισοτήτων κατά μήκος του D. Επίσης τα d, d αποτελούν τις προσεγγίσεις της ταχύτητας υποεικονοστοιχείων c a και το μέσο όρο αυτών αντίστοιχα σε μικρές περιοχές εικόνας. Ο Singh προτείνει τη χρήση μιας πυραμίδας Laplace με μια στρατηγική όμοια με αυτή του Anandan για τον υπολογισμό μεγαλύτερων ταχυτήτων.

64 Μέθοδοι πολλαπλών κινήσεων Πολλά φαινόμενα μπορούν να προκαλέσουν πολλαπλές κινήσεις εικόνας. Ανάμεσα τους, η απόφραξη (σύγκλιση) και η διαφάνεια είναι σημαντικές όσον αναφορά την εμφάνιση και τη σημασία τους σε ρεαλιστικές εικόνες. Επιπλέον, το πληροφοριακό περιεχόμενό τους είναι χρήσιμο για μετέπειτα στάδια επεξεργασίας, όπως στη τμηματοποίηση της κίνησης και στη τρισδιάστατη ανακατασκευή της επιφάνειας. Τα όρια σύγκλισης περιγράφονται από την μερική απόφραξη μιας επιφάνειας από μια άλλη, ενώ η διαφάνεια ορίζεται ως η απόφραξη μιας επιφάνειας από διαφανές υλικό. Σε ρεαλιστικές εικόνες, μπορούμε να δούμε την απόφραξη ως τη πιο συχνή αιτία ασυνεχής κίνησης Γραμμές διεργασιών Άλλες λειτουργίες που προσπαθούν να προσεγγίσουν τις ασυνεχείς κινήσεις έχουν επίσης αναπτυχθεί. Μια στρατηγική για την αντιμετώπιση της απόφραξης περιλαμβάνει τη χρήση διεργασιών δυαδικών γραμμών που ρητά μοντελοποιούν τις ασυνέχειες έντασης. Ο Koch [1989] χαλάρωσε την επιβολή ενός περιορισμού ομαλότητας στα εικονοστοιχεία αυτά τα οποία περιέχουν μια μεγάλη χωρική κλίση. Αυτό εμποδίζει την ομαλότητα σε ασυνέχειες και υποθέτει ότι οι ασυνέχειες κίνησης συμβαίνουν στην ίδια τοποθεσία με τις ασυνέχειες έντασης. Η μη δυαδική αναστολή της ομαλότητας δια μέσου των καμπυλών έντασης προτάθηκε από τον Nagel [1986]. Αυτή η προσέγγιση βασίζεται στην ελαχιστοποίηση της λειτουργίας: όπου

65 65 όπου η ποσότητα αντιπροσωπεύει τη χωρική μεταβολή του v σε κατεύθυνση κάθετη στη κλίση της εικόνας, και ελαχιστοποιείται δια μέσου των καμπυλών έντασης. Αυτή η λειτουργία είναι γνωστή ως η προσανατολισμένη περιοριστική ομαλότητα. Η διαδικασία ελαχιστοποίησης μπορεί να εφαρμοστεί χρησιμοποιώντας πεπερασμένες διαφορές ή πεπερασμένα στοιχεία. Αυτή η προσέγγιση προσανατολισμένης ομαλότητας έχει πρόσφατα επεκταθεί στο χρονικό πεδίο ορισμού. Κλειστές καμπύλες μπορούν επίσης να χρησιμοποιηθούν για τον διαχωρισμό περιοχών εικόνας με διαφορετικές ταχύτητες. Ο Schnorr [1992] προτείνει μια μέθοδος που αποτελείται από τον ορισμό μιας τέτοιας καμπύλης, οριοθετώντας μια αυθαίρετη έκταση γύρω στη περιοχή όπου η ύπαρξη ενός ανεξάρτητου κινούμενου οχήματος υποθέτεται, δημιουργώντας έτσι δύο πεδία ορισμού Ω. Δοθέντων δύο πεδίων ταχυτήτων v, η κλειστή καμπύλη ορίζοντας δύο πεδία ορισμού είναι επαναληπτικά τελειοποιημένη ελαχιστοποιώντας τη λειτουργία: όπου και

66 66 είναι οι μετρημένες ταχύτητες εντός των αντίστοιχων πεδίων ορισμού τους Ω. Παρόλα αυτά, η υπόθεση μιας εκ των προτέρων γνώσης για τη θέση ενός ανεξάρτητου κινούμενου αντικειμένου περιορίζει τη γενικότητα της μεθόδου αυτής Διανομείς μικτής ταχύτητας Άλλη μια στρατηγική για την εκτίμηση των ασυνεχειών της οπτικής ροής είναι η ρητή δημιουργία ενός μοντέλου για τους διανομής μικτής ταχύτητας (συνήθως δύο) σε κάθε σημείο εικόνας. Μια μέθοδος εκτίμησης της ασυνεχής κίνησης σε τοπική βάση, παρουσιάζεται από τον Schunk [1989] και χρησιμοποιεί την περιοριστική εξίσωση οπτικής ροής (1.3) για τον υπολογισμό διάφορων περιοριστικών γραμμών στο διάστημα ταχύτητας για μικρές χωρικές γειτονιές. Συμπλέγματα των τομών των γραμμών αυτών μαζί με τη περιοριστική γραμμή του κεντρικού σημείου της γειτονιάς αναλύονται για να καθοριστεί το μικρότερο σύμπλεγμα που περιέχει τουλάχιστον τα μισά σημεία τομής. Το μεσαίο σημείο του συμπλέγματος αυτού λοιπόν ορίζει την εκτίμηση κίνησης v. Αν δύο πρότυπα κίνησης είναι παρόντα εντός μιας γειτονιάς, τότε ως v θεωρείται το επικρατέστερο. Έτσι η ταχύτητα μπορεί να οριστεί σωστά πέραν των ορίων κίνησης. Η περιοριστική γραμμή από το κεντρικό σημείο της περιοχής εικόνας θεωρείται τέμνουσα με τις περιοριστικές γραμμές γειτονικών σημείων εικόνας

67 67 Παρόλα αυτά το μέγεθος της γειτονιάς πρέπει να περιλαμβάνει σημαντικές μεταβολές στη περιοριστική γραμμή, καθώς βρίσκοντας συνεχώς τέμνουσες περιοριστικές γραμμές μπορεί να προκαλέσει διάφορα προβλήματα συνθηκών, αλλιώς αυτό απλά θα αποτελεί άλλη μια εκδήλωση του προβλήματος ανοίγματος. Όταν πολλαπλές κινήσεις εμφανίζονται εντός μιας απλής περιοχής εικόνας, μια τουλάχιστον τετραγωνική λύση του προβλήματος συμπλεγμάτων περιοριστικής γραμμής οπτικής ροής οδηγεί σε μια μέσο όρο εκτίμηση των πολλαπλών κινήσεων. Παρατηρώντας αυτή τη δυσκολία, ο Black [ ] αναδιατύπωσε το πρόβλημα της εκτίμησης της οπτικής ροής χρησιμοποιώντας εκτιμητές ευρωστίας. Αυτό το πλαίσιο εργασίας αποτελείται από την ελαχιστοποίηση μιας λειτουργίας που εκφράζει τις διάφορες παραδοχές που γίνονται για την κίνηση εικόνας: όπου είναι ο περιορισμός χρονικής συνέπειας, είναι η περιοριστική εξίσωση της οπτικής ροής και είναι ο περιορισμός χωρικής συνέπειας (ο όρος χωρικής ομαλότητας). Ακόμα το v μπάρα αποτελεί μια πρόβλεψη του v σε χρόνο t + 1, ενώ επίσης p, p, p D S T είναι οι εκτιμητές ευρωστίας, λορεντζιανοί και Μ-εκτιμητές αντίστοιχα. Η χρήση τους έχει ως κίνητρο το γεγονός ότι οι διανομείς πολλαπλής κίνησης εντός μιας απλής περιοχής εικόνας δεν είναι γκαουσιανοί και ότι υπολογίζονται σε γεγονότα που δεν

68 68 έχουν μοντελοποιηθεί από την υπόθεση σταθερής φωτεινότητας. Η ευρωστία αυτών των στατιστικών εκτιμητών χαρακτηρίζεται από τη σχετική αναισθησία τους σε αποκλίσεις από το στατιστικό μοντέλο παραδοχής σε κάποιο πακέτο μετρήσεων, επιτρέποντας έτσι τον υπολογισμό ασυνεχών οπτικών ροών. Στη παρακάτω εικόνα η συνάρτηση επιρροής της διανομής λορετζιανής πιθανότητας τείνει στο μηδέν γρήγορα για αποκλίσεις από τη μέση τιμή. Αυτές θεωρούνται ακραίες τιμές. (a) Ένας τουλάχιστον τετραγωνικός σπασμός μέσα από ένα σύννεφο πόντων (b) Ένας σπασμός ευρωστίας μέσα από το ίδιο σύννεφο πόντων Άλλες προσεγγίσεις για τη μέτρηση των πολλαπλών κινήσεων υπάρχουν: η διανομή προτύπων κίνησης μπορεί να χαρακτηρισθεί ως μια επαλληλία διανομών δεδομένων. Οι Shizawa και Mase [1991] εφάρμοσαν μια αρχή επαλληλίας στις πολλαπλές κινήσεις και έδειξαν ότι ήδη υπάρχοντες αλγόριθμοι οπτικής ροής, τρισδιάστατης κίνησης και δομής κτλ., μπορούν να γενικευθούν για να αντιμετωπίσουν πολλούς διανομείς κίνησης. Όμοια, οι πολλαπλές κινήσεις μπορούν να θεωρηθούν ως ένα σύνολο στρωμάτων, το καθένα από τα οποία θα περιγράφει μια συγκεκριμένη κίνηση σε ένα συγκεκριμένο πεδίο. Τεχνικές για το διαχωρισμό αυτών των στρωμάτων έχουν προταθεί από πολλούς συγγραφείς Παραμετρικά μοντέλα Τα παραμετρικά μοντέλα γενικά περιγράφουν κίνηση εικόνας με δισδιάστατα πολυώνυμα διάφορων τάξεων στις συντεταγμένες εικόνας και προσδίδουν δυνατούς περιορισμούς στη

69 69 κίνηση, πράγμα που συνήθως έχει ως αποτέλεσμα το έγκυρο συμπέρασμα της οπτικής ροής. Αυτά τα μοντέλα κατέχουν κάποιες επιθυμητές ιδιότητες: η κίνηση μεγάλων περιοχών εικόνας μπορεί να περιγραφεί με ένα απλό σύνολο παραμέτρων, λόγω της αυξημένης ελαστικότητας της αναπαράστασης. Επιπλέον, τα παραμετρικά μοντέλα είναι κατάλληλα για τη περιγραφή ασυνεχής οπτικής ροής, καθώς κάθε τμήμα περιοχής μπορεί να περιγραφεί με ένα συγκεκριμένο σύνολο από παραμέτρους κίνησης. Χρησιμοποιώντας τη ταξινόμηση του Bergen [1992] οι μέθοδοι της οπτικής ροής μπορούν να κατηγοριοποιηθούν ως : παραμετρικές ημιπαραμετρικές και μη παραμετρικές Τα παραμετρικά μοντέλα περιγράφουν πλήρως την ατομική κίνηση με μια δισδιάστατη εξίσωση. Για παράδειγμα, σχετικά μοντέλα προσεγγίζουν τη ταχύτητα εικόνας ως: που είναι ευλόγως έγκυρη όταν οι επιφάνειες είναι μακριά από τον παρατηρητή ή όταν η περιοχή εικόνας που αναλύεται είναι μικρή. Αυτό μοντελοποιεί την οπτική ροή ως επαλληλία ομοιόμορφης κίνησης και περιστροφής, διαστολής και διάτμησης. Αυτό είναι το μοντέλο που χρησιμοποίησαν οι Fleet και Jepson [1990,1992] για να ενσωματώσουν συνιστώσες ταχύτητας σε τοπικές περιοχές. Ο Adiv [1985] επίσης χρησιμοποιεί αυτό το μοντέλο για να τμηματοποιήσει και να ταιριάξει τις μετρήσεις της ταχύτητας σε τοπικά επίπεδα κομμάτια στο πρώτο επίπεδο του αλγορίθμου του. Ένα δεύτερο μοντέλο υποθέτει την επίπεδη φύση τοπικών επιφανειών:

70 70 που είναι γνωστή ως η λειτουργική μέθοδος ταχύτητας των Waxman και Wohn [1985] που την επέκτειναν για να συμπεριλάβουν δεύτερης τάξης καμπυλωτές επιφάνειες. Τόσο στη (2.44) όσο και στη (2.45) τα a είναι γειτονικές κεντρικές ταχύτητες ή πρώτης και δεύτερης τάξης παράγωγοι ταχύτητας. Αυτές οι παράμετροι περιγράφουν πλήρως το πεδίο επίπεδης επιφάνειας ταχύτητας. Τα μη παραμετρικά μοντέλα είναι αυτά που τυπικά χρησιμοποιούνται στη παγκόσμια ανάκτηση οπτικής ροής. Τα ημιπαραμετρικά μοντέλα χρησιμοποιούν ένα συνδυασμό των παραμετρικών και μη μοντέλων. Ο Bergen τοποθετεί άκαμπτα μοντέλα κίνησης σε αυτή τη κατηγορία. Η άκαμπτη κίνηση προκύπτει από αυστηρώς κινούμενα αντικείμενα σκηνής στο πλαίσιο προβολής της προοπτικής. Η απευθείας κίνηση και οι μέθοδοι δομής είναι παραδείγματα αυτού του μοντέλου: ο Hanna [1991, 1993] έδειξε ότι η υπόθεση ακαμψίας μπορεί να χρησιμοποιηθεί για να ξεπεραστεί το πρόβλημα του ανοίγματος στις περισσότερες περιπτώσεις. Αυτά τα παραμετρικά μοντέλα παρουσιάζονται σε ενοποιημένα ιεραρχικά πλαίσια εργασίας. Η ιεραρχία αποδίδει αυξημένη υπολογιστική εγκυρότητα και επίσης επιτρέπει αυξημένη ακρίβεια και ευρωστία μέσω των βελτιώσεων και των διαστρεβλώσεων της εικόνας Μέθοδοι χρονικής βελτίωσης Οι περισσότερες από τις προηγούμενες μεθόδους υπολογισμού οπτικής ροής δεν ενσωματώνουν εκτιμήσεις κίνησης από προηγούμενους υπολογισμούς εντός μιας απορροφούμενης ακολουθίας εικόνων: δοσμένων δύο ή περισσότερων εικόνων, η οπτική ροή υπολογίζεται μόνο για μία από τις εικόνες. Πρόσφατα, υπήρχε κάποιο ενδιαφέρον στο στοιχειώδη υπολογισμό της οπτικής ροής. Τα πλεονεκτήματα είναι η στιγμιαία πρόσβαση στις καλύτερες δυνατές εκτιμήσεις ταχύτητας, η βελτίωση ακρίβειας καθώς η ολοκλήρωση της οπτικής ροής στο χρόνο πραγματοποιείται, η υπολογιστική εγκυρότητα που κερδίζεται ανανεώνοντας τις εκτιμήσεις με το τρέχων εικονοστοιχείο, και η ικανότητα προσαρμογής σε ασυνεχής οπτική ροή καθώς ο παρατηρητής ή τα αντικείμενα σκηνής απότομα αλλάζουν τη κίνησή τους. Ο αλγόριθμος του Black [1992] μπορεί επίσης να θεωρηθεί ως ένα στοιχειώδες μοντέλο, αφού ελαχιστοποιεί την αντικειμενική λειτουργία που ενσωματώνει την αντιστροφή της

71 71 έντασης της εικόνας και την χωροχρονική συνοχή σε ένα εύρωστης εκτίμησης πλαίσιο εργασίας. Η χρονική συνέχεια επιτρέπει τη πρόβλεψη της επόμενης ταχύτητας εικόνας, υποθέτοντας ομοιόμορφη επιτάχυνση. Η διαστρέβλωση με δισδιάστατη παρεμβολή χρησιμοποιείται για την εκτίμηση της επιτάχυνσης. Οι Black και Anandan [1991] χρησιμοποίησαν μια μέθοδο τυχαίου πεδίου Markov (MRF) σε μια αναδιατύπωση της προσέγγισης του Black. Ο MRF αλγόριθμος είναι παράλληλος,τοπικός και ανιχνεύει τα όρια απόφραξης με ένα στοιχειώδη τρόπο, αλλά όπως διατυπώθηκε, μπορεί μόνο να αντιμετωπίσει ακέραιες κινήσεις. ΚΕΦΑΛΑΙΟ 4ο 4.Ανίχνευση και εντοπισμός πραγματικού χρόνου πολλαπλών οχημάτων από κινούμενο όχημα 4.1 Εισαγωγή Ένα πραγματικού χρόνου οπτικό σύστημα έχει αναπτυχθεί για να αναλύει έγχρωμα βίντεο τραβηγμένα από μία κάμερα τοποθετημένη σε όχημα που κινήται σε αυτοκινητόδρομο. Το σύστημα χρησιμοποιεί ένα συνδυασμό πληροφοριών για τα χρώματα, τις γωνίες και την κίνηση για να αναγνωρίσει και να εντοπίσει τα όρια του δρόμου, τις διαγραμμίσεις του δρόμου και τα υπόλοιπα οχήματα πάνω σε αυτόν. Το σύστημά μας αναλύει ολόκληρη τη σκηνή του αυτοκινητόδρομου. Δεν απαιτεί καμία αρχικοποίηση από άνθρωπο. Οι πληροφορίες των βίντεο επεξεργάζονται σε πραγματικό χρόνο χωρίς κάποιο εξειδικευμένο hardware. Το μόνο που απαιτείται είναι μια βίντεο

72 72 κάμερα και ένας χαμηλού κόστους ηλεκτρονικός υπολογιστής. Για λόγους ασφαλείας τα βοηθούμενα από κάμερα οχήματα πρέπει να αντιδρούν σε επικίνδυνες καταστάσεις αμέσως. Όχι μόνο πρέπει το σύστημά μας να κάνει την επεξεργασία υπερβολικά γρήγορα, αλλά πρέπει και να εξασφαλίζει την άμεση αντίδραση σε αυστηρά κλάσματα του χρόνου κάτω από όλες τις συνθήκες (αυστηρά πραγματικού χρόνου σύστημα). Ένα τέτοιο σύστημα μπορεί να προβλέψει εκ των προτέρων πόσο θα διαρκέσουν οι υπολογισμοί του. Για τον λόγο αυτό χρησιμοποιούνται τα πλεονεκτήματα ενός συστήματος αυστηρού πραγματικού χρόνου που ονομάζεται ''Maruti'', όπου ο προγραμματισμός του εξασφαλίζει πριν από κάθε εκτέλεση ότι τα απαιτούμενα χρονικά όρια θα καλυφθούν και το σύστημα θα αντιδράσει έγκαιρα. 4.2 Γενική εποπτεία οπτικού συστήματος Δοθούσας μιας εισόδου ακολουθίας βίντεο τραβηγμένα από κινούμενο όχημα το οπτικό σύστημα δίνει ως έξοδο μια ελεγχόμενη από υπολογιστή περιγραφή των παραμέτρων του δρόμου, της τοποθεσίας και του μεγέθους των υπολοίπων οχημάτων στις εικόνες. Αυτή η περιγραφή στη συνέχεια χρησιμοποιείται για να εντοπιστούν οι θέσεις των οχημάτων στο περιβάλλον και οι αποστάσεις τους από το βοηθούμενο από κάμερα όχημα. Το οπτικό σύστημα αποτελείται από τέσσερις κύριες συνιστώσες: τον ανιχνευτή οχημάτων τον ανιχνευτή δρόμου τον ιχνηλάτη και τον συντονιστή της διαδικασίας Κάθε φορά που ο ανιχνευτής οχημάτων εντοπίσει κάποιο πιθανό όχημα, ο συντονιστής της διαδικασίας δημιουργεί μια διαδικασία εντοπισμού για κάθε πιθανό όχημα και παρέχει στον ιχνηλάτη τις απαραίτητες πληροφορίες για το μέγεθος και τη τοποθεσία του πιθανού οχήματος. Για κάθε διαδικασία εντοπισμού ο ιχνηλάτης αναλύει την ιστορία των εντοπισμένων περιοχών σε προηγούμενα πλαίσια εικόνας και αποφασίζει πόσο πιθανό είναι να υπάρχει κάποιο αυτοκίνητο στην εικόνα αυτή. Αν η πιθανότητα να περιέχει κάποιο όχημα είναι μεγάλη τότε ο ιχνηλάτης δίνει ως έξοδο το μέγεθος και τη τοποθεσία του

73 73 υποτιθέμενου οχήματος στην εικόνα. Αν η πιθανότητα αυτή είναι μικρή τότε η διαδικασία εντοπισμού τερματίζει. 4.3 Το σύστημα αυστηρού πραγματικού χρόνου Ο απόλυτος στόχος του οπτικού μας συστήματος είναι να παρέχει ένα σύστημα ελέγχου αυτοκινήτων με την αναγκαία ανάλυση του μεταβαλλόμενου περιβάλλοντός του, έτσι ώστε να μπορεί να αντιδράσει σε μια επικίνδυνη κατάσταση αμέσως. Ένα σύστημα αυστηρού πραγματικού χρόνου εγγυάται εκ των προτέρων ότι το σύστημα θα αντιδράσει έγκαιρα σε κάθε κατάσταση. Για να γίνει δυνατή αυτή η εγγύηση το σύστημα αναλύει τις απαιτήσεις πόρων και χρόνου κάθε υπολογιστικής διαδικασίας. Η χρονική ορθότητα του συστήματος εξασφαλίζεται εάν είναι δυνατή η κατασκευή ενός εφικτού προγράμματος. Το οπτικό μας σύστημα μπορεί για παράδειγμα να χρησιμοποιεί όπως είδη αναφέρθηκε το σύστημα αυστηρού πραγματικού χρόνου Maruti [6]. Το Maruti είναι ένα δυναμικό σύστημα αυστηρού πραγματικού χρόνου που μπορεί να ανταποκριθεί σε ''on-line'' απαιτήσεις. Είτε τις προγραμματίζει και τις εκτελεί αν οι απαραίτητοι πόροι είναι διαθέσιμοι, είτε τις απορρίπτει. Βάζουμε σε εφαρμογή την επεξεργασία κάθε πλαισίου εικόνας ως μια περιοδική λειτουργία που αποτελείται από διάφορες υπό-υπολειτουργίες (π.χ ανίχνευση απομακρυσμένων οχημάτων,εντοπισμός οχημάτων κτλ.). Από τη στιγμή που το Maruti είναι επίσης ένα ''αντιδραστικό'' σύστημα, επιτρέπει την αλλαγή λειτουργιών on-line. Για παράδειγμα, το σύστημά μας μπορεί να αλλάξει από την συνηθισμένη κυκλική εκτέλεση σε μια διαφορετική κατάσταση λειτουργίας. Με αυτόν τον τρόπο υποστηρίζεται και ο τελευταίος στόχος μας για βελτίωση της ασφάλειας της κυκλοφορίας. 4.4 Ανίχνευση και εντοπισμός οχημάτων Τα δεδομένα εισόδου του οπτικού συστήματος αποτελούνται από ακολουθίες εικόνων που έχουν τραβηχθεί από κάμερα τοποθετημένη στο αμάξι μας, ακριβώς πίσω από το μπροστινό τζάμι. Οι εικόνες δείχνουν το περιβάλλον μπροστά από το αυτοκίνητο - το

74 74 δρόμο, άλλα οχήματα, γέφυρες και δέντρα δίπλα από τον δρόμο. Πρωταρχικός στόχος του συστήματος είναι να διακρίνει τα αυτοκίνητα από τα υπόλοιπα σταθερά και κινούμενα αντικείμενα στην εικόνα και να τα αναγνωρίσει ως αυτοκίνητα. Αυτό αποτελεί μια πρόκληση,καθώς οι συνεχείς αλλαγές τοπίων στο δρόμο και διαφορετικές συνθήκες φωτισμού που εξαρτιόνται από την ώρα της ημέρας και τον καιρό δεν είναι γνωστά εκ των προτέρων. Επίσης η αναγνώριση των οχημάτων που ξαφνικά εισέρχονται στην σκηνή είναι δύσκολη. Τα αυτοκίνητα και τα φορτηγά εισέρχονται στην εικόνα με πολύ διαφορετικές ταχύτητες, εμφανίσεις και διαφορετικά μεγέθη. Παρακάτω θα αναλυθούν οι τρόποι εντοπισμού των οχημάτων ανάλογα με τη θέση τους Αναγνώριση περαστικών οχημάτων Όταν άλλα αυτοκίνητα προσπερνάνε το βοηθούμενο από κάμερα αυτοκίνητο, είναι συνήθως πολύ κοντά και γι αυτό το λόγο καλύπτουν μεγάλα μέρη των πλαισίων εικόνας. Προκαλούν μεγάλες αλλαγές στη φωτεινότητα σε μεγάλη μερίδα της εικόνας έναντι μικρό αριθμό πλαισίων. Μπορούμε να αξιοποιήσουμε αυτά τα στοιχεία για να αναγνωρίσουμε τα περαστικά οχήματα. Στη παρακάτω εικόνα φαίνεται η διαφορά στη φωτεινότητα που προκαλείται από ένα περαστικό όχημα: Ένα περαστικό όχημα ανιχνεύθηκε με τη διαφοροποίηση εικόνας Μεγάλες αλλαγές στη φωτεινότητα έναντι μικρών αριθμών πλαισίων εντοπίζεται

75 75 αφαιρώντας το τωρινό πλαίσιο εικόνας j από ένα προηγούμενο πλαίσιο k και ελέγχοντας αν το άθροισμα της απόλυτης τιμής των διαφορών φωτεινότητας υπερβαίνει ένα κατώφλι κατάλληλου μέρους της εικόνας. Το μέρος (ή αλλιώς περιοχή) R των ακολουθιών εικόνας I(x,y) σε πλαίσιο j υποτίθεται ότι περιέχει περαστικό όχημα όταν: όπου θ είναι ένα καθορισμένο κατώφλι. Η κίνηση ενός οχήματος από τη μία εικόνα στην άλλη πλησιάζεται κατά προσέγγιση από μία μετατόπιση από i/d εικονοστοιχεία, όπου d είναι ο αριθμός των πλαισίων από τότε που το περαστικό όχημα έχει ανιχνευθεί και i είναι μια σταθερά που εξαρτάται από την αναλογία πλαισίων. Αν μεγάλες αλλαγές στη φωτεινότητα ανιχνεύονται σε συνεχόμενες εικόνες, τότε ένα γκρι κλίμακας πρότυπο Τ του μεγέθους που αντιστοιχεί στο υποτιθέμενο μέγεθος του περαστικού οχήματος δημιουργείται από ένα μοντέλο εικόνας Μ χρησιμοποιώντας τη μέθοδο που παρουσιάζεται στα [8,9]. Ο συντελεστής κανονικοποιημένου δείγματος συσχέτισης r χρησιμοποιείται ως μέτρηση του πόσο πολύ η περιοχή R και το πρότυπο εικόνας Τ συσχετίζονται ή ταιριάζουν:,όπου p T ο αριθμός των εικονοστοιχείων στο πρότυπο εικόνας Τ που έχει μη μηδενικές τιμές φωτεινότητας. Ο συντελεστής κανονικοποιημένου δείγματος συσχέτισης r είναι αδιάστατος και με απόλυτη τιμή πάντα μικρότερη της μονάδας. Η περιοχή R και το

76 76 πρότυπο εικόνας Τ είναι τέλεια συσχετισμένα όταν r=1. Ένας μεγάλος συντελεστής συσχέτισης πιστοποιεί ότι ένα περαστικό όχημα έχει ανιχνευθεί. Το μοντέλο Μ επιλέγεται από μία σειρά από μοντέλα που περιέχουν εικόνες με τα πίσω μέρη διαφόρων ειδών οχημάτων (βλέπε παρακάτω σχήμα). Δύο εικόνες μοντέλων Κάποιες φορές ο συντελεστής συσχέτισης είναι πολύ μικρός (π.χ r<0,2) για να έχει νόημα,παρόλο που κάποιο όχημα έχει ανιχνευθεί. Σε αυτή τη περίπτωση δε παίρνουμε απόφαση από μία μόνο εικόνα, αλλά αντίθετα χρησιμοποιούμε τα αποτελέσματα των μεταγενέστερων εικόνων Αναγνώριση απομακρυσμένων οχημάτων Οχήματα τα οποία προσεγγίζονται από το βοηθούμενο από κάμερα όχημα συνήθως εμφανίζονται σε μακρινές αποστάσεις ως ορθογώνια αντικείμενα. Γενικά υπάρχει πολύ μικρή σχετική κίνηση μεταξύ αυτών των οχημάτων και του υποβοηθούμενου από κάμερα αυτοκινήτου. Έτσι, οποιαδήποτε μέθοδος βασίζεται μόνο στην διαφορά των πλαισίων εικόνας (όπως προηγουμένως) θα αποτύχει να ανιχνεύσει τα οχήματα αυτά. Γι' αυτό το λόγο χρησιμοποιούμε μια μέθοδος βασισμένη στα χαρακτηριστικά για να ανιχνεύσουμε τα απομακρυσμένα οχήματα. Ψάχνουμε για ορθογώνια οχήματα αξιολογώντας τα κάθετα και τα οριζόντια άκρα της εικόνας:

77 77 Ένα παράδειγμα μιας εικόνας με απομακρυσμένα οχήματα και ο χάρτης κατωφλίων ακρών της Τα οριζόντια άκρα του χάρτη H(x,y,t) και τα κάθετα άκρα του χάρτη V(x,y,t) καθορίζονται από μια πεπερασμένη προσέγγιση διαφοράς της κλίσης της φωτεινότητας. Αφού οι άκρες της κορυφής και του πάτου του πίσω μέρους των οχημάτων είναι περισσότερο έντονες στα δεδομένα μας, χρησιμοποιούμε διαφορετικά κατώφλια για τα οριζόντια και τα κάθετα άκρα (η αναλογία κατωφλίων είναι 7:5). Λόγω του περιορισμού μας για σύστημα σε πραγματικό χρόνο, ο αλγόριθμος αναγνώρισης αποτελείται από δύο διαδικασίες, μία χονδρική και μία τελειοποιημένη έρευνα. Η δεύτερη έρευνα πραγματοποιείται μόνο για μικρές περιοχές των άκρων του χάρτη και μόνο αν θεωρηθεί απαραίτητο απ τη χονδρική έρευνα που πραγματοποιείται σε ολόκληρο το πλαίσιο εικόνας. Συγκεκριμένα η έρευνα αυτή ψάχνει τα κατώφλια των ακρών του χάρτη για προεξέχουσες κορυφές. Όταν βρεθούν τέτοιες κορυφές σε κάποια μέρη της εικόνας, η τελειοποιημένη διαδικασία ξεκινά στη περιοχή αυτή. Επειδή η χονδρική έρευνα παίρνει ένα αξιόλογο ποσό χρόνου(αφού επεξεργάζεται ολόκληρο το πλαίσιο εικόνας), καλείται μόνο κάθε δέκατο πλαίσιο. Στην τελειοποιημένη έρευνα οι κάθετες και οριζόντιες προβολές των διανυσμάτων v και w των οριζόντιων και κάθετων άκρων H και V στη περιοχή υπολογίζονται ως εξής :

78 78 Η παρακάτω εικόνα παρουσιάζει τα οριζόντια και τα κάθετα άκρα των χαρτών H και V,καθώς επίσης και τις προβολές των διανυσμάτων v και w:

79 79 a:η εικόνα με τη μαρκαρισμένη περιοχή έρευνας b:ο χάρτης άκρων της εικόνας c:ο οριζόντιος χάρτης άκρων Η της εικόνας.η στήλη στα δεξιά δείχνει τις τιμές των κάθετων προβολών v των οριζόντιων ακρών υπολογισμένες για τη περιοχή έρευνας που φαίνεται στην a d:ο κάθετος χάρτης ακρών V. Η σειρά στο κάτω μέρος δείχνει τα διανύσματα οριζόντιων προβολών w e:καθορίζοντας τα κατώφλια των τιμών των προβολών αποδίδεται το περίγραμμα του πιθανού οχήματος f:ένα πρότυπο αυτοκίνητο του υποτιθέμενου μεγέθους επικαλύπτεται στην περιοχή της εικόνας που φαίνεται στην e; ο συντελεστής αυτοσυσχέτισης είναι 0,74 Το κατώφλι επιλογής μεγάλων τιμών των προβολών είναι ίσο με το μισό της μεγαλύτερης

80 80 τιμής προβολής σε κάθε κατεύθυνση. Το διάνυσμα προβολής των κάθετων ακρών βρίσκεται ξεκινώντας από τα αριστερά, αλλά και από τα δεξιά μέχρι να βρεθεί ένα εισερχόμενο διάνυσμα που να βρίσκεται κάτω από τα κατώφλια και στις δύο περιπτώσεις. Οι θέσεις των εισόδων αυτών καθορίζουν τις θέσεις των αριστερών και δεξιών πλευρών του πιθανού αντικειμένου. Όμοια διαδικασία ακολουθείται και για την εύρεση του διανύσματος προβολής των οριζόντιων ακρών και συγκεκριμένα ξεκινώντας από την κορυφή και από το πάτο ψάχνοντας το διάνυσμα εισόδου που βρίσκεται κάτω από τα κατώφλια και των δύο περιπτώσεων. Για να σιγουρευτούμε ότι το πιθανό αντικείμενο είναι αυτοκίνητο, μια αντικειμενική λειτουργία αξιολογείται ως εξής: Αρχικά, η αναλογία εικόνας των οριζόντιων και κάθετων πλευρών υπολογίζεται για να ελεγχθεί αν είναι κοντά στη μονάδα ώστε να ισχυριστούμε ότι ένα αυτοκίνητο έχει ανιχνευθεί. Στη συνέχεια το πρότυπο αυτοκίνητο συσχετίζεται με το πιθανό αντικείμενο μαρκαρισμένο από τα τέσσερα γωνιακά σημεία της εικόνας. Αν η συσχέτιση αποδώσει μεγάλη τιμή, τότε το αντικείμενο αναγνωρίζεται ως αυτοκίνητο. Το σύστημα δίνει ως έξοδο τα στοιχεία ότι ένα αυτοκίνητο έχει ανιχνευθεί, τη θέση του στην εικόνα και το μέγεθός του Αναγνώριση μέσω εντοπισμού Στα προηγούμενα κομμάτια περιγράψαμε μεθόδους για αναγνώριση οχημάτων από μονές εικόνες ή ζευγάρια εικόνων. Αν ένα αντικείμενο δε μπορεί να αναγνωρισθεί από μία ή δύο μόνο εικόνες αμέσως, το σύστημά μας αξιολογεί ακόμα μερικά συνεχόμενα πλαίσια εικόνας και χρησιμοποιεί τις ικανότητες εντοπισμού για να αναγνωρίσει οχήματα. Ο συντονιστής της διαδικασίας (που αναφέρθηκε και προηγουμένως) δημιουργεί μια ξεχωριστή διαδικασία εντοπισμού για κάθε πιθανό αυτοκίνητο. Χρησιμοποιεί τις αρχικές παραμέτρους για τη θέση και το μέγεθος του πιθανού οχήματος,που έχουν αποφασιστεί

81 81 από τον ανιχνευτή οχημάτων και βεβαιώνεται πως καμία άλλη διαδικασία δεν ανιχνεύει την ίδια περιοχή εικόνας. Ο ιχνηλάτης δημιουργεί ένα ''παράθυρο εντοπισμού'' που περιέχει το πιθανό όχημα και χρησιμοποιείται για να αξιολογήσει τους χάρτες των άκρων, χαρακτηριστικά και πρότυπα σε μεταγενέστερα πλαίσια εικόνας. Η θέση και το μέγεθος του παραθύρου εντοπισμού σε μεταγενέστερα πλαίσια αποφασίζεται με τη χρήση ενός απλού περιοδικά επαναλαμβανόμενου φίλτρου: το παράθυρο εντοπισμού στο τωρινό πλαίσιο περιέχει το πιθανό αυτοκίνητο που βρέθηκε στο προηγούμενο πλαίσιο μαζί με ένα σύνορο που περιβάλλει το αυτοκίνητο. Το μέγεθος αυτού του συνόρου αποφασίζεται προσαρμοστικά. Ως επόμενο βήμα, ένα πρότυπο του μεγέθους που αντιστοιχεί στο υποτιθέμενο μέγεθος του οχήματος δημιουργείται από ένα αποθηκευμένο μοντέλο εικόνας, όπως περιγράφτηκε και στη πρώτη μέθοδο (Αναγνώριση περαστικών οχημάτων). Το πρότυπο συσχετίζεται με τη περιοχή της εικόνας που υποτίθεται ότι περιέχει το όχημα. Αν η κανονικοποιημένη συσχέτιση της περιοχής αυτής της εικόνας και του προτύπου είναι μεγάλη και η τυπική ταχύτητα του οχήματος καθώς και οι χαρακτηριστικές παράμετροι έχουν βρεθεί, τότε αναφέρεται ότι κάποιο όχημα έχει ανιχνευθεί. Να αναφέρουμε ότι ο κανονικοποιημένος συντελεστής συσχέτισης είναι αμετάβλητος σε σταθερής σκάλας παράγοντες φωτεινότητας και γι αυτό το λόγο προσαρμόζεται σε συνθήκες φωτισμού ενός συγκεκριμένου πλαισίου εικόνας. Αν ένα αντικείμενο έχει αναγνωριστεί ως αυτοκίνητο, ένα μοντέλο δημιουργείται ''on-line'' περικόπτοντας το μόλις εντοπισμένο όχημα On-line δημιουργία μοντέλου Το περίγραμμα του οχήματος που βρέθηκε καθορίζει το σύνορο της περιοχής της εικόνας που θα αποκοπεί από τη σκηνή. Αυτή η αποκομμένη περιοχή στη συνέχεια χρησιμοποιείται ως μοντέλο εικόνας οχήματος,από το οποίο δημιουργούνται πρότυπα που αντιπαραβάλλονται με μελλοντικές εικόνες. Τα πρότυπα που δημιουργούνται από τέτοια μοντέλα συνήθως συσχετίζονται υπερβολικά καλά (περίπου 90%), ακόμα και αν το μέγεθός τους στην ουσία διαφέρει από το αποκομμένο μοντέλο και ακόμα και μετά από μερικά πλαίσια εικόνας να έχουν περάσει από τότε που το μοντέλο δημιουργήθηκε. Όσο τα πρότυπα αυτά αποδίδουν μεγάλους συντελεστές συσχέτισης, το όχημα εντοπίζεται σωστά με μεγάλη πιθανότητα. Όταν τα πρότυπα αποδίδουν μικρό συντελεστή συσχέτισης συμπεραίνεται αυτόματα ότι το περίγραμμα του οχήματος δεν έχει βρεθεί σωστά. Τότε η

82 82 αξιολόγηση των μεταγενέστερων πλαισίων είτε ανακτά τα σωστά όρια του οχήματος είτε τερματίζει την διαδικασία εντοπισμού Έλεγχος συμμετρίας Επιπρόσθετα στην συσχέτιση του εντοπισμένου κομματιού της εικόνας με ένα προηγούμενα αποθηκευμένο η αποκομμένο πρότυπο, το σύστημα ελέγχει επίσης και τη μερίδα της αριστερής-δεξιάς συμμετρίας συσχετίζοντας τα αριστερά και δεξιά μισά της εικόνας. Υψηλής συμμετρίας κομμάτια εικόνας με τυπικά χαρακτηριστικά οχήματος δηλώνουν ότι το όχημα έχει εντοπιστεί σωστά Αντικειμενική λειτουργία Σε κάθε πλαίσιο, η αντικειμενική λειτουργία αξιολογεί πόσο πιθανό είναι το εντοπισμένο αντικείμενο να είναι αυτοκίνητο. Ελέγχει τους ''πιστωτικούς πόντους και τους πόντους ποινής'' που συσχετίζονται με κάθε διαδικασία. Οι πόντοι αυτοί εξαρτιόνται από την αναλογία εικόνας, το μέγεθος και αν είναι εφαρμόσιμη και από την συσχέτιση του παραθύρου εντοπισμού της διαδικασίας. Για παράδειγμα, αν ο κανονικοποιημένος συντελεστής συσχέτισης είναι μεγαλύτερος από 0,6 για ένα αυτοκίνητο προτύπου μεγαλύτερου από 30 Χ 30 εικονοστοιχεία, δέκα πιστωτικοί πόντοι προστίθενται στους συσσωρευμένους πιστωτικούς πόντους της διαδικασίας,ενώ οι συνολικοί πόντοι ποινής της διαδικασίας μηδενίζονται. Αν ο κανονικοποιημένος συντελεστής συσχέτισης μιας διαδικασίας είναι αρνητικός,τότε οι πόντοι ποινής της διαδικασίας αυξάνονται κατά πέντε μονάδες. Αναλογίες εικόνας από 0,7 έως 1,4 θεωρούνται να είναι αναλογίες εικόνας αυτοκινήτων. Αν οι συνολικοί πιστωτικοί πόντοι είναι πάνω από ένα κατώφλι(δέκα μονάδες) και ξεπερνάνε τους πόντους ποινής,τότε θεωρούμε ότι το εντοπισμένο αντικείμενο είναι αυτοκίνητο. Η επιλογή των τιμών για τις πιστωτικές μονάδες και τους πόντους ποινής,αν και φαίνεται κάπως αυθαίρετη, στη πραγματικότητα έχουν επιλεχθεί μετά από προσεχτική πειραματική ανάλυση.

83 83 Ένα εντοπισμένο αυτοκίνητο παύει πια να αναγνωρίζεται αν οι πόντοι της ποινής ξεπεράσουν τους πιστωτικούς με ένα συγκεκριμένο αριθμό μονάδων(τρεις για την ακρίβεια). Η διαδικασία εντοπισμού τότε τερματίζει. Μια διαδικασία επίσης τερματίζει αν δεν έχουν βρεθεί αρκετά σημαντικά άκρα εντός του παραθύρου εντοπισμού για μερικά συνεχόμενα εικονοστοιχεία. Με αυτόν το τρόπο διασφαλίζουμε ότι ένα παράθυρο εντοπισμού απομακρυσμένου οχήματος δεν ''εκτρέπεται'' από το αυτοκίνητο αυτό και ξεκινάει να εντοπίζει κάτι άλλο. Ο συντελεστής διαδικασιών διασφαλίζει ότι δύο διαδικασίες εντοπισμού δεν θα ανιχνεύσουν αντικείμενα που βρίσκονται πολύ κοντά το ένα με το άλλο στην εικόνα. Αυτό μπορεί να συμβεί αν ένα αυτοκίνητο περάσει ένα άλλο και στη συνέχεια το απορροφήσει. Σε αυτή τη περίπτωση, ο συντονιστής διαδικασιών τερματίζει μία από τις δύο διαδικασίες. Διαδικασίες που εντοπίζουν μη αναγνωρισμένα αντικείμενα τερματίζονται από μόνες τους αν η αντικειμενική λειτουργία αποδώσει χαμηλές τιμές για πολλά συνεχόμενα εικονοστοιχεία εικόνας. Αυτό εξασφαλίζει ότι κίνηση από το αντίθετο ρεύμα ή αντικείμενα που εμφανίζονται στα πλάγια μέρη του δρόμου, όπως οι πινακίδες, δεν θα εντοπίζονται και λανθασμένα να αναγνωρίζονται ως αυτοκίνητα Ρυθμίσεις προσαρμοστικού παραθύρου Οι ρυθμίσεις αυτές είναι απαραίτητες αν -αφού ένα όχημα έχει εντοπιστεί και αναγνωριστεί για λίγο- το σωστό περίγραμμά του δεν έχει βρεθεί. Αυτό μπορεί να συμβεί, για παράδειγμα, αν το πίσω παράθυρο του αυτοκινήτου θεωρηθεί λανθασμένα ως ολόκληρο το πίσω μέρος του αυτοκινήτου, επειδή το κάτω μέρος του αυτοκινήτου δεν έχει περιληφθεί στο τρέχων παράθυρο εντοπισμού (η κάμερα μπορεί να έχει μετακινηθεί προς τα πάνω απότομα). Σε μια τέτοια περίπτωση ψάχνουμε την εκτεταμένη αριστερά και δεξιά πλευρά του αυτοκινήτου για σημαντικά κατακόρυφα άκρα. Συγκεκριμένα τις τιμές των εικονοστοιχείων του χάρτη των κατακόρυφων άκρων που βρίσκονται μεταξύ της κάτω αριστερά γωνίας του αυτοκινήτου με το κάτω αριστερά σύνορο του παραθύρου, και της κάτω δεξιά γωνίας του αυτοκινήτου με το κάτω δεξιά σύνορο του παραθύρου αθροίζονται και συγκρίνονται με το αντίστοιχο άθροισμα στη κορυφή(πάνω μέρος αυτοκινήτουπαραθύρου). Αν το άθροισμα του πάτου είνα πολύ μεγαλύτερο από αυτό της κορυφής,τότε το παράθυρο ματατοπίζεται προς τα κάτω. Αντίστοιχα, αν η αναλογία εικόνας είναι πολύ

84 84 μικρή τότε οι σωστές θέσεις των πλευρών του αυτοκινήτου βρίσκονται ψάχνοντας την εκτεταμένη κορυφή και πάτο του αυτοκινήτου για σημαντικά οριζόντια άκρα, όπως φαίνεται στη παρακάτω εικόνα. Στη πρώτη σειρά οι αριστερές και δεξιές γωνίες του αυτοκινήτου βρίσκονται στην ίδια θέση εξαιτίας της χαμηλής αντίθεσης μεταξύ των πλευρών του αυτοκινήτου και του υπόβαθρου(πρώτη εικόνα). Ο χάρτης κατακόρυφων άκρων που δημιουργείται λόγω της χαμηλής αυτής αντίθεσης φαίνεται στην δεύτερη εικόνα. Σημαντικά οριζόντια άκρα(χάρτης τρίτης εικόνας) βρίσκονται στα αριστερά των γωνιών και το παράθυρο μετατοπίζεται στα αριστερά(τέταρτη εικόνα). Στη δεύτερη σειρά, η μετατόπιση παραθύρου αντισταθμίζει την πτωτική κίνηση δέκα εικονοστοιχείων της κάμερας λόγω της άνισης πεζοδρόμησης. Στη τρίτη σειρά το αυτοκίνητο περνάει κάτω από μια γέφυρα, και η διαδικασία εντοπισμού επανέρχεται σιγά σιγά. Το παράθυρο εντοπισμού δεν περιλαμβάνει πια ολόκληρο το αυτοκίνητο και ο χάρτης των κατακόρυφων άκρων είναι γι αυτό το λόγο ατελής(δεύτερη εικόνα). Παρόλα αυτά σημαντικά οριζόντια άκρα (τρίτη εικόνα) βρίσκονται στα αριστερά των γωνιών και το παράθυρο μετατοπίζεται προς τα αριστερά. Στη τελευταία σειρά, ένα περαστικό όχημα εντοπίζεται μερικώς. Πρώτα οι κάτω γωνίες προσαρμόζονται και μετά η αριστερή του πλευρά.

85 85 Οι ρυθμίσεις παραθύρου είναι χρήσιμες για να καλύψουν το περίγραμμα ενός οχήματος, ακόμα και αν τα χαρακτηριστικά αναζήτησης παρουσιάσουν προβλήματα κατωφλίου λόγω της μικρής αντίθεσης μεταξύ οχήματος και περιβάλλοντος. Τέλος, εξασφαλίζουν ότι ο ιχνηλάτης δεν θα χάσει κάποιο αμάξι ακόμα και αν ο δρόμος καμπυλώνει Εντοπισμός πίσω φώτων οχημάτων Ο αλγόριθμος εντοπισμού των πίσω φώτων ψάχνει για φωτεινά σημεία σε περιοχές εικόνας που είναι πιο πιθανό να περιέχουν πίσω φώτα, και συγκεκριμένα, στη μέση 3/5 και κοντά στις πλευρές των παραθύρων εντοπισμού. Για να μειωθεί ο χρόνος αναζήτησης, μόνο τα κόκκινα στοιχεία του κάθε πλαισίου εικόνας αναλύονται, πράγμα που είναι αρκετό για τον εντοπισμό των πίσω φώτων. Ο αλγόριθμος ανιχνεύει τα πίσω φώτα ψάχνοντας για ένα ζευγάρι από φωτεινές περιοχές εικονοστοιχείων στο παράθυρο εντοπισμού που υπερβαίνουν ένα συγκεκριμένο κατώφλι. Για να βρει το ζευγάρι αυτό των φώτων και το κεντροειδές του κάθε φωτός, ο αλγόριθμος εκμεταλλεύεται τη συμμετρία των πίσω φώτων σεβόμενος τον κατακόρυφο άξονα του παράθυρου εντοπισμού. Με αυτόν τον τρόπο μπορεί να εξαλείψει λανθασμένους υποψηφίους για πίσω φώτα που οφείλονται σε άλλες επιδράσεις, όπως είναι οι κατοπτρικές ανακλάσεις και τα φώτα στο φόντο. Για παράθυρα που εντοπίζουν οχήματα σε μικρότερη των 10 μέτρων απόσταση, ένα κατώφλι που βρίσκεται πολύ κοντά στη τιμή 255 του πιο φωτεινού δυνατού σημείου (πχ250) χρησιμοποιείται, επειδή σε τόσο μικρές αποστάσεις τα φωτεινά πίσω φώτα προκαλούν ''ακμάζοντες επιδράσεις'' σε CCD κάμερες, ειδικά σε φτωχά φωτισμένες περιοχές αυτοκινητόδρομων,τη νύχτα ή σε τούνελ. Για μικρότερα παράθυρα εντοπισμού που περιέχουν οχήματα σε απόσταση μεγαλύτερη των 10 μέτρων, ένα χαμηλότερο κατώφλι της τάξεως των 200 επιλέγεται εμπειρικά.

86 Ανάλυση χρωμάτων του δρόμου Στις προηγούμενες ενότητες συζητήσαμε τεχνικές για την ανίχνευση και τον εντοπισμό οχημάτων βασιζόμενοι στη φωτεινότητα της εικόνας. Οι χάρτες των άκρων περιείχαν πληροφορίες σχετικά με τα όρια του δρόμου και τα εμπόδια πάνω σε αυτόν, καθώς επίσης και για τις αλλαγές στο φωτισμό του δρόμου, τις λακκούβες, τους λεκέδες από το λάδι, τα σημάδια ολισθήσεων των ελαστικών κτλ. Αφού είναι πολύ δύσκολο να βρεθούν καλές τιμές κατωφλιών για την εξάλειψη των μη απαραίτητων πληροφοριών για τα άκρα, επιπλέον πληροφορίες παρέχονται από τα χρωματικά στοιχεία της εικόνας εισόδου που χρησιμοποιούνται για να οριστούν αυτές οι τιμές κατωφλίου δυναμικά. Συγκεκριμένα ένα στατιστικό μοντέλο για τα ''χρώματα του δρόμου'' έχει αναπτυχθεί και χρησιμοποιείται για να ταξινομήσει τα εικονοστοιχεία που απεικονίζουν το δρόμο και να τα διακρίνει από τα εικονοστοιχεία που απεικονίζουν εμπόδια όπως άλλα οχήματα. Για να αποκτήσουμε ένα αξιόπιστο στατιστικό μοντέλο των χρωμάτων του δρόμου, περιοχές εικόνων αναλύονται αποτελούμενες εξολοκλήρου από εικονοστοιχεία του δρόμου, για παράδειγμα, η ορισμένη από μαύρη γραμμή περιοχή δρόμου της εικόνας που ακολουθεί, και περιοχές που επίσης περιέχουν αυτοκίνητα, πινακίδες και διαγραμμίσεις δρόμων (όπως η ορισμένη από άσπρη γραμμή περιοχή της ίδιας εικόνας). Το να συγκρίνεις τις εκτιμήσεις για τις μέσες τιμές και τη διακύμανση των κόκκινων, των πράσινων και των μπλε εικονοστοιχείων του δρόμου με αντίστοιχες εκτιμήσεις εικονοστοιχείων που δεν αντιστοιχούν σε δρόμο, δεν αποδίδει ένα επαρκές κριτήριο ταξινόμησης. Παρόλα αυτά μια HSV(απόχρωση,κόρος,αξία γκρι) παρουσίαση του χρώματος της εικόνας εισόδου αποδίδει μια πιο αποτελεσματική ταξινόμηση. Η παρακάτω εικόνα παρουσιάζει μια τέτοια απεικόνιση.

87 87 Η ορισμένη από τη μαύρη γραμμή περιοχή του δρόμου στην εικόνα πάνω πάνω χρησιμοποιείται για να εκτιμήσει την μέση τιμή και τη διακύμανση του χρώματος των δρόμων στις τέσσερις εικόνες από κάτω.η μεσαία αριστερά εικόνα απεικονίζει τα στοιχεία απόχρωσης του χρώματος της εικόνας από πάνω, η μεσαία δεξιά απεικονίζει το στοιχείο του κόρου.οι εικόνες στον πάτο είναι το γκρι-κλίμακας στοιχείο και η σύνθετη εικόνα,η οποία είναι αποτέλεσμα του αθροίσματος των οριζόντιων και κατακόρυφων χαρτών των άκρων φωτεινότητας,και των εικόνων της απόχρωσης και του κόρου. Συνδυάζοντας τις πληροφορίες απόχρωσης και κόρου αποδίδεται μια παρουσίαση εικόνας που ενισχύει τα χρήσιμα και καταστέλλει τα ανεπιθύμητα χαρακτηριστικά. Επιπλέον, συνδυάζοντας τις πληροφορίες απόχρωσης και κόρου με τους οριζόντιους και κατακόρυφους χάρτες άκρων σε μια ''σύνθετη εικόνα'', προσδίδει στο σύστημα μια παρουσίαση δεδομένων που είναι πολύ χρήσιμη για την ανάλυση σκηνών του αυτοκινητοδρόμου. Η προηγούμενη εικόνα εμφανίζει τη σύνθετη αυτή εικόνα κάτω δεξιά. Η παρακάτω εικόνα τώρα δείχνει ότι τα εικονοστοιχεία κατωφλίου στη σύνθετη εικόνα με τη μέση τιμή (μέση τιμή 3*τυπική απόκλιση) αποδίδει 96% σωστή ταξινόμηση.

88 88 Επιπλέον, ένα στατιστικό μοντέλο για ''τα χρώματα του ουρανού κατά τη διάρκεια της ημέρας'' έχει υπολογιστεί και χρησιμοποιείται για να διακρίνει σκηνές κατά τη διάρκεια της ημέρας από σκηνές σε τούνελ ή κατά τη διάρκεια της νύχτας. 4.6 Ανίχνευση ορίων και διαγραμμίσεων του δρόμου Τα όρια του δρόμου καθώς και οι διαγραμμίσεις του ανιχνεύονται από χωρικό αναδρομικό τουλάχιστον τετραγωνικό φίλτρο (RLS) [10] με κύριο στόχο τη καθοδήγηση για την εύρεση των οχημάτων. Ένα γραμμικό μοντέλο (y=ax+b) χρησιμοποιείται για να εκτιμήσει τη κλίση a και το αντιστάθμισμα (όφσετ) b των γραμμών και των ορίων του δρόμου. Αυτό το πρώτης τάξεως μοντέλο αποδείχθηκε επαρκές για την καθοδήγηση στην αναζήτηση οχημάτων. Για την αρχικοποίηση του φίλτρου, το αριστερό και δεξιό όριο της εικόνας ελέγχεται για μια συλλογή από εικονοστοιχεία που δε ταιριάζουν στο στατιστικό μοντέλο των ''χρωμάτων του δρόμου'' και γι' αυτό το λόγο ταξινομούνται ως πιθανά αρχικά σημεία για γραμμές και όρια δρόμου. Αφού αποκτήσουμε τις αρχικές εκτιμήσεις για τα a και b, ο αλγόριθμος ανίχνευσης ορίων συνεχίζει να ψάχνει για εικονοστοιχεία που δεν ικανοποιούν το μοντέλο των ''χρωμάτων του δρόμου'' κάθε δέκατη στήλη εικόνων. Επιπλέον, κάθε τέτοιο εικονοστοιχείο θα πρέπει να συνοδεύεται παρακάτω από λίγα εικονοστοιχεία που ικανοποιούν το μοντέλο

89 89 των χρωμάτων του δρόμου. Αυτός ο περιορισμός προσδίδει μια συνθήκη παύσης της αναζήτησης εικονοστοιχείων γραμμών στις περιπτώσεις όπου η γραμμή απορροφάται από κάποιο όχημα. Η αναζήτηση της κάθε στήλης περιορίζεται στα σημεία γύρω από την εκτίμηση για τη y θέση των εικονοστοιχείων γραμμής και η περιοχή αναζήτησης εξαρτάται από τη τρέχουσα εκτίμηση της κλίσης (μια ευρεία περιοχή αναζήτησης για μεγάλη κλίση). Το RLS φίλτρο που δίνεται στις εξισώσεις που ακολουθούν (1-7) ενημερώνει τη νιοστή εκτίμηση για τη κλίση και την αντιστάθμιση από την ακριβώς προηγούμενη εκτίμησή τους μαζί με μια εκ των προτέρων εκτίμηση του λάθους που σταθμίζεται από ένα συντελεστή κέρδους. wn = (an, bn )T ξn kn Επίσης κάνει μια εκτίμηση για την y θέση του επόμενου εικονοστοιχείου στα όρια μιας δοσμένης x θέσης στην εικόνα. Ο αλγόριθμος αρχικοποιείται θέτοντας: P0 = δ 1, Ι δ10 3=, 0 0, w 0ε (a 0,=b 0) T = Για κάθε επανάληψη n=0,1,2,3,... αντιστοιχίζεται στων 10 βημάτων χρονικά διαστήματα κατά μήκος του x-άξονα, Όπου: Pn = Φ n1 είναι η αντίστροφη μήτρα συσχέτισης με:

90 90 Φ n n ε= uiuit δ + Ι i= 1 ενώ η εκ των υστέρων εκτίμηση λάθους καθώς και το συσσωρευτικό λάθος να συμβολίζονται αντίστοιχα ως e, ε. n n Οι παράμετροι λαθών καθορίζουν αμέσως πόσο καλά τα σημεία δεδομένων αντιπροσωπεύουν μια γραμμή και έτσι δίνουν τη συνθήκη παύσης της αναζήτησης σε περίπτωση που κανένα νέο σημείο δε μπορεί να βρεθεί ώστε να ταιριάζει σε γραμμή με μικρό σφάλμα. Ο δικός μας αλγόριθμος αποδίδει την ακριβή αναδρομική λύση στο πρόβλημα βελτιστοποίησης: όπου ο όρος δ P wn P2 είναι αποτέλεσμα της αρχικοποίησης που αναφέραμε παραπάνω. Χωρίς το αναδρομικό φίλτρο, η τουλάχιστον τετραγωνική λύση θα έπρεπε να υπολογιστεί εκ νέου κάθε φορά που ένα καινούργιο σημείο γραμμής θα είχε βρεθεί, πράγμα ιδιαίτερα χρονοβόρο. Η παρακάτω εικόνα δείχνει την γραμμή που έχει ανιχνευθεί και τα σημεία ορίων ως μαύρα ''+'' σύμβολα και δείχνει τις γραμμές που ταιριάζουν σε αυτά τα σημεία. Η γραφική δείχνει την κλίση της γραμμής 2, ενημερωμένη μετά από κάθε καινούργια ανίχνευση σημείου γραμμής.

91 91 Η RLS ανίχνευση γραμμών και ορίων Η RLS γραμμή και η ανίχνευση ορίων

92 92 ΚΕΦΑΛΑΙΟ 5ο 5.Πειραματικά αποτελέσματα 5.1 Μέθοδος εκτίμησης οπτικής ροής Lucas-Kanade Η Μέθοδος Lucas-Kanade είναι ακόμα μια από τις δημοφιλέστερες εκδόσεις των διαφορικών μεθόδων δύο-πλαισίων για την εκτίμηση κινήσεων μεταξύ δύο καρέ(frames) ενός video. Ανήκει στη κατηγορία των διαφορικών μεθόδων διότι βασίζεται σε προσέγγιση Taylor του φωτεινού σήματος εικόνας, και συνεπώς χρησιμοποιεί μερικές παραγώγους στο χώρο και στο χρόνο. Τέτοιες μέθοδοι προσπαθούν να υπολογίσουν την κίνηση μεταξύ δύο πλαισίων εικόνας που λαμβάνονται κατά περιόδους t και τt+ δt σε κάθε θέση εικονοστοιχείου. Έστω μια ακολουθία I(x,y,z,t) και ένα εικονοστοιχείο στη θέση (x,y,z,t) με φωτεινότητα I(x,y,z,t) στην εικόνα αναφοράς. Στο επόμενο καρέ (εικόνα ελέγχου) το εικονοστοιχείο αυτό θα έχει μετακινηθεί κατά δx,δy,δz,δt, οπότε η διατήρηση της φωτεινότητας δίνει: Υποθέτοντας ότι η μετακίνηση είναι αρκετά μικρή, μπορούμε να αναπτύξουμε την παραπάνω εξίσωση κατά Taylor και να πάρουμε:

93 93 όπου H.O.T. σημαίνει όροι υψηλότερης τάξεως, οι οποίοι είναι αρκετά μικροί και μπορούν να αγνοηθούν. Από αυτές τις εξισώσεις προκύπτει ότι: ή όπου οδηγεί στην: όπου V,V,V είναι οι x,y και z συνιστώσες της ταχύτητας ή αλλιώς η οπτική ροή για την Χ Υ Z εικόνα I(x,y,z,t) και όλοι οι όροι d είναι οι παράγωγοι της εικόνας στο σημείο (x,y,z,t) στις αντίστοιχες κατευθύνσεις. Οι παραπάνω παράγωγοι μπορούν να γραφούν και ως Ι,Ι, Ι x y z και Ι, οπότε η παραπάνω σχέση γράφεται: t Αυτή είναι μια εξίσωση με τρεις αγνώστους και ως εκ τούτου δεν μπορεί να λυθεί υπό αυτήν τη μορφή. Το γεγονός αυτό είναι γνωστό ως πρόβλημα ανοίγματος (έχει ήδη αναλυθεί) από τους αλγορίθμους οπτικής ροής. Για να βρεθεί το πεδίο οπτικής ροής ένα άλλο σύνολο εξισώσεων απαιτείται, με κάποιον επιπρόσθετο περιορισμό. Η λύση όπως δίνεται από τους Lucas και Kanade είναι μια μη επαναληπτική μέθοδος που υποθέτει μια τοπικά σταθερή οπτική ροή.

94 94 Υποθέτοντας ότι η ροή (V,V,V ) είναι σταθερή σε ένα μικρό παράθυρο γύρω από ένα Χ Υ t εξεταζόμενο εικονοστοιχείο διαστάσεων m x m x m με m > 1, και αριθμώντας τα εικονοστοιχεία εντός του παραθύρου από 1,...n μπορούμε να διατυπώσουμε το εξής σύνολο εξισώσεων: Με τις εξισώσεις αυτές έχουμε παραπάνω από τρεις εξισώσεις για τρεις αγνώστους και συνεπώς το σύστημα εξισώσεων γίνεται: ή Το σύστημα εξισώσεων πλέον είναι υπερορισμένο. Έτσι, εφαρμόζουμε για την επίλυσή του τη μέθοδο των ελαχίστων τετραγώνων: ή

95 95 ή με τα αθροίσματα να εκτείνονται από i=1 ως n. Αυτό σημαίνει ότι η οπτική ροή μπορεί να βρεθεί με τον υπολογισμό των παραγώγων της εικόνας και στις τέσσερις διαστάσεις (τρεις αν πρόκειται για δισδιάστατη εικόνα). Μια συνάρτηση στάθμισης W (i, j, k), πρέπει να προστεθεί για να δώσει περισσότερη προεξοχή στο κεντρικό εικονοστοιχείο του παραθύρου. Οι γκαουσσιανές συναρτήσεις προτιμώνται για αυτόν το λόγο, χωρίς βέβαια να αποκλείονται και άλλου τύπου συναρτήσεις. Εκτός από για τον υπολογισμό των τοπικών μετατοπίσεων, το πρότυπο ροής μπορεί επίσης να επεκταθεί για να καθορίσει τις παραμορφώσεις εικόνας. Ένα από τα χαρακτηριστικά του αλγορίθμου Lucas-Kanade, αλλά και άλλων τοπικών αλγορίθμων οπτικής ροής, είναι ότι δεν είναι ικανός να παράξει ένα ιδιαίτερα πυκνό πεδίο των διανυσμάτων οπτικής ροής. Με άλλα λόγια η χρήσιμη πληροφορία του πεδίου ροής μειώνεται γρήγορα στις περιοχές των συνόρων μεταξύ αντικειμένων και στο εσωτερικό μεγάλων ομογενών περιοχών χωρίς ιδιαίτερη υφή, όπου δε μπορεί να ανιχνευθεί ισχυρή κίνηση. Το πλεονέκτημα της εν λόγω μεθόδου είναι ότι είναι αρκετά εύρωστη απέναντι στον θόρυβο. 5.2 Πειραματικά αποτελέσματα αλγορίθμου Lucas-Kanade Πρώτο βήμα για την υλοποίηση του συγκεκριμένου αλγορίθμου είναι το διάβασμα δύο συνεχόμενων εικόνων στη matlab. Αυτό γίνεται με την παρακάτω εντολή:

96 96 >> I1=imread('car.png'); >> I2=imread('car2.png'); Για να εμφανίσουμε τις παραπάνω εικόνες χρησιμοποιούμε την εντολή imshow και παίρνουμε για παράδειγμα τις παρακάτω εικόνες: Επειδή όμως ο αλγόριθμος Lucas-Kanade απαιτεί οι εικόνες να είναι γκρί κλίμακας χρησιμοποιώντας τη παρακάτω εντολή παίρνουμε τις εικόνες: >> im1=rgb2gray(i1);

97 97 Στη συνέχεια εφαρμόζουμε τον αλγόριθμο του Lucas-Kanade (που παρουσιάζεται και στο παράρτημα) και παίρνουμε την εξής εικόνα: >> uv=lucaskanade(im1,im2,4); >> imshow(uv); Όπως βλέπουμε το αποτέλεσμα δεν είναι ιδιαίτερα κατατοπιστικό αφού η παρουσία θορύβων εξαιτίας των δέντρων, της πινακίδας, των κτιρίων κτλ., καθιστά δύσκολο τον εντοπισμό του οχήματος που πλησιάζει από την αντίθετη κατεύθυνση. Παρακάτω παρουσιάζουμε άλλο ένα καρέ εικόνων και το αποτέλεσμα του αλγορίθμου μας για να προσπαθήσουμε να βγάλουμε πιο ασφαλή συμπεράσματα για τον αλγόριθμό μας:

98 98 Για άλλη μια φορά η μέθοδος επηρεάζεται από εξωτερικούς θορύβους και ενώ ναι μεν μπορεί να διαπιστώσει κανείς την ύπαρξη κάποιου πιθανού οχήματος στο κάτω δεξιά μέρος της εικόνας, μπορεί εύκολα να διαπιστώσει κανείς ότι η ύπαρξη κτιρίων στο αριστερό μέρος της εικόνας οδηγεί σε λάθος συμπεράσματα για πιθανή θέση κάποιου οχήματος και σε αυτό το σημείο. Όπως βλέπουμε η ανάγκη για τη χρησιμοποίηση ενός καλύτερου αλγορίθμου είναι επιτακτική. Για τον λόγο αυτό θα χρησιμοποιήσουμε την μέθοδο Lucas-Kanade πάλι, αλλά αυτή τη φορά με τη χρήση πυραμίδων (δηλαδή περισσότερα υπολογιστικά επίπεδα). 5.3 Περιγραφή της μεθόδου με χρήση πυραμίδας Ακολουθεί ο ορισμός της αναπαράστασης μια γενικής εικόνας μεγέθους n x n,. Έστω ότι x y I = I είναι το μηδενικό επίπεδο της εικόνας, η οποία θεωρείται ότι είναι υψηλής ανάλυσης. 0 Το πλάτος και το ύψος της εικόνας σε αυτό το επίπεδο ορίζονται ως n, = n, n,=n. x0 x y0 y Η αναπαράσταση των πυραμίδων δημιουργείται σταδιακά με ένα επαναληπτικό μοτίβο : υπολογισμός του I από το I, του I από το I, κτλ

99 99 Έστω ότι L = 1, 2,.. είναι το γενικό επίπεδο της πυραμίδας και έστω το I L-1 εικόνα στο επίπεδο L-1. Τα n εικόνα I L-1 x(l-1), και n y(l-1), αποτελεί την, αποτελούν το πλάτος και το ύψος του I τότε ορίζεται ως ακολούθως : Για συμβολικούς λόγους ορίζουμε ως τιμές της εικόνας σε σημεία που είναι ένα εικονοστοιχείο γύρω από την εικόνα Ι L-1 :.Η L-1

100 100 Τότε η παραπάνω εξίσωση ορίζεται μόνο για τιμές των x και y τέτοιες ώστε : 0 2x n x(l-1) 1 και 0 2y n y(l-1) 1, και επομένως το πλάτος n και το ύψος n του I x y L είναι οι μεγαλύτεροι ακέραιοι που ικανοποιούν τις εξής 2 συνθήκες : Οι εξισώσεις αυτές χρησιμοποιούνται για να δημιουργήσουν με ένα επαναληπτικό μοτίβο τις αναπαραστάσεις των εικόνων I και J με τη χρήση πυραμίδων : { IL } L=0,..,Lm και { JL } L=0,..,Lm Η τιμή του Lm είναι το ύψος της πυραμίδας και πρακτικά οι τιμές του είναι 2, 3, 4. Για εικόνες τυπικού μεγέθους, συνήθως δεν υπάρχει λόγος για μετάβαση πάνω από το επίπεδο 4. Για παράδειγμα, για μια εικόνα μεγέθους 640*480, οι εικόνες I 1,I 2,I 3 και I 4 έχουν μέγεθος αντίστοιχα 320*240, 160*120, 80*60, 40*30. Η κεντρική ιδέα γύρω από την αναπαράσταση των εικόνων με πυραμίδες, είναι η δυνατότητα διαχείρισης εικόνων μεγάλου μεγέθους (συνήθως μεγαλύτερου από το πλαίσιο ολοκλήρωσης). Γι αυτό το λόγο το ύψος της πυραμίδας πρέπει να επιλέγεται ανάλογα με τη μέγιστη αναμενόμενη οπτική ροή της εικόνας.

101 Πειραματικά αποτελέσματα αλγορίθμου Lucas-Kanade με χρήση πυραμίδων Στη συγκεκριμένη περίπτωση χρησιμοποιήσαμε τον δεύτερο αλγόριθμο του παραρτήματος. Στη περίπτωσή μας χρησιμοποιήσαμε τρία υπολογιστικά επίπεδα (ύψος πυραμίδας=3) και για το ίδιο καρέ εικόνων όπως προηγουμένως πήραμε το εξής αποτέλεσμα: >> uv=hierarchicallk(im1,im2,3,2,2,1);

102 102 Παρατηρούμε ότι το μέτρο των διανυσμάτων αυξάνεται αισθητά στις άκρες του οχήματος καθώς σε αυτά τα σημεία είναι έντονη η μεταβολή φωτεινότητας στην εικόνα. Ένα ακόμα χαρακτηριστικό είναι η απότομη μεταβολή της κατεύθυνσης των διανυσμάτων στα σημεία αυτά. Παρόλα αυτά βλέπουμε πάλι πως ο θόρυβος από τις σκιές και τα κτίρια στο πλάι του δρόμου οδηγεί στα ίδια αποτελέσματα με τις άκρες του οχήματος. Ας δούμε τώρα πάλι τα αποτελέσματα που θα προκύψουν σε ένα διαφορετικό καρέ εικόνων:

103 103 Στη περίπτωση αυτή όπου το όχημά μας πλησιάζει με πολύ χαμηλή ταχύτητα ένα ακίνητο όχημα παρατηρούμε ότι οι εντάσεις των διανυσμάτων στα κρίσιμα σημεία είναι αισθητά πιο ήπιες. Οι άκρες του οχήματος, όπως επίσης και τα φώτα του δρόμου και ο τοίχος που βρίσκεται στο πλάι του δρόμου προκαλούν μια μικρή αύξηση στο μέτρο των διανυσμάτων. 5.5 Μέθοδος Random Walks για κατάτμηση της εικόνας Εισαγωγή Η κατάτμηση της εικόνας έχει συχνά οριστεί ως το πρόβλημα εντοπισμού περιοχών εικόνας σχετικών με το περιεχόμενο (π.χ ομοιογένεια εικόνας). Παρόλα αυτά, σύγχρονες

104 104 προσεγγίσεις για τη κατάτμηση της εικόνας έχουν προσφέρει διαδραστικές μεθόδους που σιωπηρά ορίζουν το πρόβλημα κατάτμησης σε σχέση με μια συγκεκριμένη εργασία του περιεχομένου εντοπισμού. Αυτή η προσέγγιση στη κατάτμηση εικόνας απαιτεί τη καθοδήγηση του χρήστη του αλγορίθμου κατάτμησης για να ορίσει το επιθυμητό περιεχόμενο που θα εξαχθεί. Ένας πρακτικός διαδραστικός αλγόριθμος κατάτμησης πρέπει να παρέχει τέσσερις ιδιότητες: 1. γρήγορους υπολογισμούς 2. γρήγορη επεξεργασία 3. ικανότητα να παράγει μια αυθαίρετη κατάτμηση με αρκετή διαδραστικότητα 4. διαισθητικές κατατμήσεις Ο αλγόριθμος Random Walks παρουσιάζει όλες αυτές τις δυνατότητες. Ακόμα απαιτεί την λύση ενός αραιού, συμμετρικού, θετικά ορισμένου συστήματος γραμμικών εξισώσεων που μπορεί να επιλυθεί γρήγορα μέσα από μια πληθώρα μεθόδων. Ο αλγόριθμος μπορεί να εκτελέσει γρήγορη επεξεργασία χρησιμοποιώντας τη προηγούμενη λύση ως την αρχικοποίηση σε μια επαναληπτική μήτρα επίλυσης. Στη προσέγγιση του αλγορίθμου αυτού η εικόνα θεωρείται ως ένα αμιγώς διακριτό αντικείμενο ένα διάγραμμα με ένα σταθερό αριθμό κορυφών και ακμών. Κάθε ακμή(άκρο) αποδίδεται με μία πραγματική τιμή βάρους που αντιστοιχεί στη πιθανότητα ενός τυχαίου περιπατητή (random walker) να περάσει το άκρο αυτό (π.χ ένα μηδενικό βάρος σημαίνει ότι ο περιπατητής μπορεί να μη περάσει από την ακμή αυτή). Το πλεονέκτημα του σχηματισμού του προβλήματος σε διάγραμμα είναι ότι αμιγώς συνδυαστικοί φορείς μπορούν να χρησιμοποιηθούν χωρίς να απαιτούν διακριτοποίηση και επομένως δεν επισύρουν λάθη διακριτοποίησης ή ασάφειες. Ο σχηματισμός του αλγορίθμου σε διάγραμμα επιτρέπει επίσης την εφαρμογή του σε εικόνες παραλλαγής χώρου[13]. Υπό το πρίσμα της σύνδεσης μεταξύ του random walks σε διαγράμματα και τη θεωρία διακριτών δυναμικών, κάποιος μπορεί να υπολογίσει τη πιθανότητα

105 105 xis όπου ένας τυχαίος περιπατητής ξεκινώντας από ένα εικονοστοιχείο u πρώτα φτάνει στο i 'σημείο αναφοράς' με ετικέτα s, λύνοντας το πρόβλημα θεωρίας κυκλώματος που αντιστοιχεί σε ένα συνδυαστικό ανάλογο του προβλήματος Dirichlet [7]. Αυτό μπορεί να συμβεί γειώνοντας όλα τα σημεία αναφοράς που ανήκουν σε ετικέτες διαφορετικές του s και καθιερώνοντας μια μονάδα πηγής τάσης ίση με τη γη για να έχουν όλα τα σημεία αναφοράς ετικέτας s μια πιθανή μονάδα. Τα ηλεκτρικά δυναμικά εγκατεστημένα σε κάθε χωρίς σημείο αναφοράς κόμβο παρέχουν τις πιθανότητες ότι ένας περιπατητής που προέρχεται από αυτόν τον κόμβο θα φτάσει πρώτος το σημείο με την ετικέτα s. Αυτά τα ηλεκτρικά δυναμικά μπορούν να υπολογιστούν μέσα από τη λύση ενός συστήματος αραιών γραμμικών εξισώσεων. Το ολόκληρο Κ αντικειμένων γράφημα μπορεί να υπολογιστεί βρίσκοντας τα δυναμικά που έχουν εγκατασταθεί αλλάζοντας σε ' on ' κάθε συλλογή κόμβων με ετικέτα και σε ' off ' τους υπόλοιπους κόμβους. Επομένως, ένα σύστημα κ-1 γραμμικών εξισώσεων πρέπει να λυθεί. Από την ιδιότητα της γραμμικότητας, τα δυναμικά που έχουν υπολογιστεί πρέπει να έχουν άθροισμα ίσο με τη μονάδα. Αυτό μας επιτρέπει να αποφύγουμε την λύση ενός από τα συστήματα, αφαιρώντας το άθροισμα των υπολογισμένων δυναμικών από τη μονάδα για να βρούμε τη τελευταία είσοδο στο ολοκληρωμένο κ-αντικειμένων γράφημα. Μια συνάρτηση που λύνει το πρόβλημα του Dirichlet για ένα δοσμένο σύνολο οριακών συνθηκών είναι γνωστή ως αρμονική. Οι παρακάτω εικόνες δείχνουν τις αρμονικές συναρτήσεις (και την ακόλουθη κατάτμηση) που επιτυγχάνεται για ένα 4x4 γράφημα με μοναδιαία βάρη στην παρουσία τριών σημείων αναφοράς με διαφορετικές ετικέτες.

106 106 (α) σημεία αναφοράς με κατάτμηση β) πιθανότητα κάποιος 'τυχαίος περιπατητής' να ξεκινήσει από κάθε κόμβο και να φτάσει πρώτος στο σημείο αναφοράς L2.

107 107 γ) πιθανότητα κάποιος 'τυχαίος περιπατητής' να ξεκινήσει από κάθε κόμβο και να φτάσει πρώτος στο σημείο αναφοράς L2 (δ) πιθανότητα κάποιος 'τυχαίος περιπατητής' να ξεκινήσει από κάθε κόμβο και να φτάσει πρώτος στο σημείο αναφοράς L3

108 108 Επιπλέον ιδιότητες της προσέγγισης random walks είναι οι εξής: κάθε τμήμα του γραφήματος εγγυημένα είναι συνδεδεμένο με σημεία αναφοράς της ίδιας ετικέτας οι πιθανότητες των κ-αντικειμένων σε κάθε εικονοστοιχείο είναι ισοδύναμες με το μέσο όρο των βαρών των κ-αντικειμένων των γειτονικών εικονοστοιχείων, με τα βάρη δοσμένα από τα δυναμικά πολώσεως των 'περιπατητών' η λύση για τα δυναμικά είναι μοναδική η αναμενόμενη κατάτμηση για μια εικόνα καθαρού θορύβου, δοσμένης από ανεξάρτητες, ίσων μέσων, τυχαίων μεταβλητών, είναι ισοδύναμη με αυτή που λαμβάνεται από την ουδέτερη κατάτμηση Έκθεση του αλγορίθμου Παρόλο που ο αλγόριθμος random walks παρακινήθηκε στην εισαγωγή τοποθετώντας τυχαίους περιπατητές σε εικονοστοιχεία και παρατηρώντας σε ποια σημεία αναφοράς φτάνουν πρώτοι, μια τέτοια μέθοδος υπολογισμών δεν είναι καθόλου πρακτική. Ευτυχώς οι εγκατεστημένες συνδέσεις μεταξύ τυχαίων περιπατητών και της θεωρίας δυναμικών μας προσφέρει μια απλή, βολική μέθοδο για τον αναλυτικό υπολογισμό των επιθυμητών πιθανοτήτων. Παρακάτω περιγράφονται τρεις πλευρές του αλγορίθμου: Η παραγωγή των βαρών του γραφήματος, η δημιουργία του συστήματος εξισώσεων για να λυθεί το πρόβλημα και οι πρακτικές λεπτομέρειες της εφαρμογής. Ξεκινάμε περιγράφοντας μια ακριβή έννοια του γράφου. Ένας γράφος [14] αποτελείται από ένα ζευγάρι G=(V,E) με κόμβους u V και ακμές e E V V. Μια ακμή e, εκτείνεται με δύο κόμβους, u και u, που υποδηλώνεται ως e. Ένας σταθμισμένος γράφος αντιστοιχεί i j ij μία τιμή σε κάθε ακμή του, που ονομάζεται βάρος. Το βάρος μιας ακμής υποδηλώνεται ως w( e ) ή w. Ο βαθμός της κορυφής είναι: ij ij

109 109 Με σκοπό να ερμηνεύσουμε το w ως τη κλίση που επηρεάζει την επιλογή ενός τυχαίου ij περιπατητή, απαιτούμε w >0. ij 1. Βάρη ακμών Για να παρουσιάσουμε τη δομή μιας εικόνας από τα βάρη ακμών τυχαίων περιπατητών, κάποιος πρέπει να ορίσει μια συνάρτηση που θα καθορίζει μια αλλαγή στις εντάσεις των βαρέων των ακμών. Αυτό είναι ένα σύνηθες χαρακτηριστικό των γράφων που βασίζονται σε αλγορίθμους για ανάλυση εικόνων και διάφορες σταθμισμένες συναρτήσεις συνήθως χρησιμοποιούνται στη βιβλιογραφία. Επιπλέον έχει προταθεί [11] η χρησιμοποίηση μιας συνάρτησης που θα μεγιστοποιεί την εντροπία των τελικών βαρέων. Για εμπειρικούς λόγους στον αλγόριθμο αυτό προτιμήθηκε η χρήση της τυπικής γκαουσιανής σταθμισμένης συνάρτησης που δίνεται από την: όπου g υποδεικνύει την ένταση της εικόνας στο εικονοστοιχείο i i Η τιμή του β παρουσιάζει τη μοναδική ελεύθερη παράμετρο σε αυτόν τον αλγόριθμο. Έχει φανεί χρήσιμο να κανονικοποιούμε τις τετραγωνικές κλίσεις της (1) πριν την εφαρμογή της. Φυσικά, η συνάρτηση αυτή μπορεί να μετασχηματιστεί για να αντιμετωπιστούν χρωματικά ή γενικών διανυσμάτων αξίας δεδομένα. Επιπλέον, για συγκεκριμένα πεδία ορισμού του προβλήματος, η (1) μπορεί να μετασχηματιστεί για να εφαρμόσει πληροφορίες περιεχομένων, συντελεστές φίλτρων ή άλλα χαρακτηριστικά εικόνας. 2. Συνδυαστικό πρόβλημα Dirichlet Το συνδυαστικό πρόβλημα Dirichlet έχει την ίδια λύση με τις επιθυμητές πιθανότητες του τυχαίου περιπατητή. Το ολοκλήρωμα Dirichlet μπορεί να οριστεί ως:

110 110 για ένα πεδίο u και μια περιοχή Ω. Αυτό το ολοκλήρωμα εμφανίζεται σε πολλές φυσικές καταστάσεις, όπως τη μεταφορά θερμότητας, στην ηλεκτροστατική και στον αλγόριθμο random walks. Η αρμονική συνάρτηση είναι μια συνάρτηση που ικανοποιεί την εξίσωση Laplace: Το πρόβλημα εύρεσης της αρμονικής αυτής συνάρτησης έγκειται στην εύρεση των τιμών ορίων και ονομάζεται πρόβλημα Dirichlet. Η αρμονική συνάρτηση που ικανοποιεί τις οριακές συνθήκες ελαχιστοποιεί το ολοκλήρωμα Dirichlet, αφού η εξίσωση Laplace είναι η εξίσωση Eure-Lagrange για το ολοκλήρωμα Dirichlet [12].Ορίζουμε τη συνδυαστική μήτρα Laplace[15] ως: όπου L έχει βρεθεί από τις κορυφές u και u. ij i j Ορίζουμε την m x n μήτρα συχνοτήτων ακμών-κόμβων ως: για κάθε κορυφή u και ακμή e,όπου κάθε ακμή έχει αυθαίρετα αποκτήσει κάποιο κ ij προσανατολισμό. Όσο για τη μήτρα (5) από πάνω, χρησιμοποιείται για να δηλώσει ότι η μήτρα συχνοτήτων έχει ευρεθεί από τον κόμβο u και την κορυφή e. κ ij

111 111 Ορίζουμε την m x m συστατική μήτρα, C, ως μια διαγώνια μήτρα με τα βάρη κάθε κορυφής τοποθετημένα στη διαγώνιο. Η συστατική μήτρα μπορεί να ερμηνευτεί ως μια αναπαράσταση ενός μέτρου με την έννοια ότι ορίζει ένα σταθμισμένο εσωτερικό γινόμενο στο διάνυσμα χώρου. Ένας συνδυαστικός σχηματισμός του ολοκληρώματος Dirichlet (2) είναι: και μια συνδυαστική αρμονική συνάρτηση είναι μια συνάρτηση x που ελαχιστοποιεί την (6). Αφού η L είναι θετικά ημιορισμένη, τα μόνα κρίσιμα σημεία της D[x] θα είναι ελάχιστα. Χωρίζοντας τις κορυφές σε δύο μέρη, V (μαρκαρισμένοι/με σημεία αναφοράς M κόμβοι) και V U (κόμβοι χωρίς σημεία αναφοράς), έτσι ώστε η ένωσή τους να δίνει το V και η τομή τους να είναι μηδέν. Σημειώνουμε ότι το V M περιλαμβάνει όλα τα σημεία αναφοράς ανεξαρτήτως ετικέτας. Μπορούμε να αποσυνθέσουμε την εξίσωση (6) στη: όπου οι τιμές των x αντιστοιχούν στα δυναμικά των κόμβων με(χ ) ή και χωρίς(x ) M U σπόρους αντίστοιχα. Διαφοροποιώντας D[x ] ως προς x και βρίσκοντας το U U κρίσιμο σημείο αποδίδει: που είναι ένα σύστημα με V U αγνώστους. Αν ο γράφος είναι συνδεδεμένος ή αν κάθε συνδεδεμένο στοιχείο περιέχει ένα σημείο αναφοράς, τότε η εξίσωση (8) δεν θα είναι μοναδική.

112 112 Ορίζουμε ένα διάνυσμα \V \ x 1 για κάθε ετικέτα, s, σε κόμβο u ως: Μ j Για το λόγο αυτό, για μια ετικέτα s, η λύση για το συνδυαστικό πρόβλημα Dirichlet μπορεί να βρεθεί λύνοντας την: για μια ετικέτα ή για όλες τις ετικέτες. Αφού οι πιθανότητες σε κάθε κόμβο θα έχουν άθροισμα ίσο με τη μονάδα, δηλαδή: μόνο Κ-1 αραιά γραμμικά συστήματα πρέπει να λυθούν, όπου Κ είναι ο συνολικός αριθμός των ετικέτων. 3. Αναλογία κυκλώματος Αν και ο αλγόριθμος δημιουργήθηκε για τις ανάγκες και τους όρους του random walks, είναι γνωστό ότι υπάρχουν πολλές ομοιότητες μεταξύ του random walks και των ηλεκτρικών κυκλωμάτων. Άλλωστε μπορούμε να σημειώσουμε ότι η (6) μπορεί επίσης να ερμηνευτεί ως η ισχύς στη θεωρία κυκλωμάτων. 4. Σχέση με τη διάχυση Μια θεμελειώδης διαφορά μεταξύ της εξίσωσης διάχυσης και της εξίσωσης Laplace είναι ότι η διάχυση παρουσιάζει μια παροδική διαδικασία που συμβαίνει στο χρόνο, ενώ η εξίσωση Laplace περιγράφει μια σταθερής κατάστασης διανομή. Αυτή η ευθύς σχέση φαίνεται εξετάζοντας τις εξισώσεις μαζί:

113 113 Αυτοί οι δύο σχηματισμοί κυκλώματος διαφέρουν στο ότι οι πηγές τάσης έχουν αντικατασταθεί από πυκνωτές φορτισμένους σε τιμές που αναπαριστούν μια αρχική κατάσταση. Στη περίπτωση δύο ετικετών και άπειρο χρόνο οι δύο σχηματισμοί μπορούν να κατασκευαστούν ώστε να δίνουν τα ίδια αποτελέσματα αν ένα σημείο αναφοράς θεωρηθεί ως μια άπειρη πηγή τυχαίων περιπατητών και το άλλο σημείο αναφοράς ως ένας άπειρος ''νεροχύτης'' τυχαίων περιπατητών(σωματίδια διάχυσης). Παρ όλες τις μαθηματικές ομοιότητες μεταξύ των εξισώσεων Laplace και διάχυσης, αυτοί οι αλγόριθμοι είναι πολύ διαφορετικοί. Συγκεκριμένα, η διάχυση συνήθως χρησιμοποιείται ως ένας αλγόριθμος βελτίωσης της εικόνας στον οποίο οι αρχικές γκρι-κλίμακας τιμές θεωρούνται ως αρχικές συνθήκες και η λύση βρίσκεται μετά από προκαθορισμένο διάστημα χρόνου. Αντίθετα, περιγράφουμε έναν αλγόριθμο κατάτμησης σημείων αναφοράς που δε κάνει χρήση αρχικών συνθηκών και εξετάζει τη σταθερής κατάστασης διανομή δυναμικών με σκοπό να ορίσει τα όρια κατάτμησης. 5. Μοντέλο εικόνας Σε αντίθεση με πολλούς δημοφιλείς αλγόριθμους κατάτμησης, η προσέγγιση κατάτμησης του τυχαίου περιπατητή δεν πηγάζει αποκλειστικά από κάποιο μοντέλο εικόνας. Σε ένα τέτοιο μοντέλο,κάθε αντικείμενο στην εικόνα αναμένεται να είναι σταθερής τιμής(π.χ ένταση, χρώμα κτλ.). Αν και απλοϊκά, τέτοια μοντέλα παραμένουν δημοφιλή και παραδόξως αποτελεσματικά. Παρόλα αυτά τρία προβλήματα αμέσως παρουσιάζονται: α. Η εικόνα μπορεί να φθαρεί με θόρυβο β. Γειτονικά αντικείμενα μπορεί να έχουν την ίδια τιμή, με αποτέλεσμα τη χαμηλή αντίθεση ή την απουσία ορίων γ. Υπάρχει ασάφεια όταν υπάρχουν παραπάνω τμήματα σταθερών περιοχών από

114 114 τα γκρουπ σημείων αναφοράς(ετικέτες) στην εικόνα. Η σταθμισμένη συνάρτηση (1) υπονοεί ότι η εικόνα έχει τμήματα σταθερής έντασης. Παρόλο που ένα τέτοιο μοντέλο έχει λογική σε πολλές γκρι-κλίμακας εικόνες, άλλα μοντέλα, όπως κάποιο με σταθερά τμήματα υφής ή χρώματος μπορούν να χρησιμοποιηθούν για να ορίσουν τις συγγένειες στην (1) όπου χρειάζονται. 6. Σύνοψη αλγορίθμου Για να συνοψίσουμε, τα βήματα του αλγορίθμου είναι: Με τη χρησιμοποίηση της (1), χαρτογραφούμε τις εντάσεις εικόνων σε βάρη άκρων δικτυωτά. Αποκτούμε ένα ζευγάρι, V, μαρκαρισμένων (με ετικέτες) εικονοστοιχείων με Κ M ετικέτες, είτε διαδραστικά είτε αυτόματα. Λύνουμε την (11) απευθείας για την εύρεση δυναμικών ή λύνουμε την (10) για κάθε ετικέτα εκτός από την τελική, f (για υπολογιστική ακρίβεια). Θέτουμε: Αποκτούμε την τελική κατάτμηση αναθέτοντας σε κάθε κόμβο την ετικέτα που αντιστοιχεί στο: Πειραματικά αποτελέσματα αλγορίθμου Παρακάτω θα παρουσιάσουμε τι αποτελέσματα δίνει ο αλγόριθμος random walks σε μία από τις εικόνες του βίντεο μας. Έστω ότι έχουμε τη παρακάτω εικόνα:

115 115 Στη συνέχεια διαβάζουμε την εικόνα, τη μετατρέπουμε σε διπλής ακρίβειας και υπολογίζουμε το μέγεθός της με τις εντολές στη matlab : >> img=im2double(imread('image.png')); >> [X Y]=size(img); Ακολούθως ορίζουμε τις δύο θέσεις σημείων αναφοράς, προσέχοντας να μην είναι κεντρικά σε κάποιο αντικείμενο. Τα παραπάνω ορίζονται για παράδειγμα ως: >> s1x=50; s1y=200; >> s2x=200; s2y=100; Στη συνέχεια εφαρμόζουμε τον αλγόριθμο random walks(βλέπε παράρτημα) που αναλύσαμε προηγουμένως. Ο αλγόριθμος αυτός παράγει μια κατάτμηση εικόνας, δοσμένης μια δισδιάστατης εικόνας, των επιθυμητών σημείων αναφοράς αλλά και των ετικετών της: >> [mask,probabilities]=random_walker(img,[sub2ind([x Y],s1y,s1x),sub2ind([X Y],s2y,s2x)],[1,2]); Ως εισόδους ο αλγόριθμος αυτός βλέπουμε ότι παίρνει την εικόνα, τις τοποθεσίες των σημείων αναφοράς εισόδου (δοσμένες ως δείκτες εικόνας με χρήση της εντολής sub2ind), αλλά και τις ετικέτες των αντικειμένων για κάθε σημείο αναφοράς. Ως έξοδοι του συστήματος έχουμε μία 'μάσκα' που περιέχει μια ετικέτα(επισήμανση) του

116 116 κάθε εικονοστοιχείου(pixel) με τιμές από 1-Κ, δηλώνοντας τη συμμετοχή του κάθε αντικειμένου του κάθε εικονοστοιχείου, καθώς και τις ζητούμενες πιθανότητες(το pixel(i,j) έχει ανήκει στην ετικέτα 'κ' με πιθανότητες (i,j,k)). Αμέσως μετά απεικονίζουμε τις δύο τοποθεσίες των σημείων αναφοράς στην εικόνα: Μπορούμε ακόμα να απεικονίσουμε την μάσκα εξόδου του αλγορίθμου:

117 117 Αλλά και το περίγραμμα της μάσκας αυτής: Τέλος είναι δυνατή η αναπαράσταση των ζητούμενων πιθανοτήτων. Στη περίπτωσή μας κάτι τέτοιο φαίνεται παρακάτω:

118 118 Η παραπάνω εικόνα δείχνει την πιθανότητα κάθε εικονοστοιχείου, ένας random walker ο οποίος ξεκίνησε από αυτό το εικονοστοιχείο να φτάσει το σημείο αναφοράς προσκηνίου(πράσινο σημείο). Όπως βλέπουμε ο αλγόριθμος λειτουργεί σωστά, όπως αναμενόταν για δύο μόνο σημεία αναφοράς. Για να βγάλουμε πιο ασφαλή συμπεράσματα θα μελετήσουμε τον αλγόριθμο για περισσότερα σημεία αναφοράς και θα προσπαθήσουμε να δημιουργήσουμε έναν κύκλο από σημεία αναφοράς γύρω από το αντικείμενο που μας ενδιαφέρει με στόχο όλα τα υπόλοιπα σημεία εκτός του σημείου αυτού που βρίσκεται πάνω στο όχημα να έχουν μαύρο υπόβαθρο στη τελική εικόνα που περιγράφει τις ζητούμενες πιθανότητες κάθε εικονοστοιχείου να φτάσουν στο σημείο αναφοράς προσκηνίου. Αφού πραγματοποιήσαμε τα παραπάνω πήραμε τα εξής αποτελέσματα:

119 119 Η μάσκα εξόδου του αλγορίθμου μας αυτή τη φορά απεικονίζεται ως εξής: Ενώ το περίγραμμα αυτής μετασχηματίζεται στην παρακάτω εικόνα: