Abstract Traffic accidents are one of the main reasons for the loss of human lives worldwide. Their increasing number has led to the realization that

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΡΓΑΣΤΗΡΙΟ ΕΝΣΥΡΜΑΤΗΣ ΤΗΛΕΠΙΚΟΙΝΩΝΙΑΣ Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογισ τών της Πολυτεχνικής Σχολής του Πανεπισ τημίου Πατρών Αθανάσ ιου Ραπτάκη Παναγιώτου Αριθμός Μητρώου: Θέμα «Ανάπτυξη Προηγμένου Συστήματος Υποβοήθησης οδηγού για την αυτόματη αναγνώριση του οδικού δικτύου από βιντεοσκοπίσεις.» Επιβλέπων Ευάγγελος Δερματάς Αριθμός Διπλωματικής Εργασίας: Πάτρα, Ιούλιος 2016

2 ΠΙΣΤΟΠΟΙΗΣΗ Πισ τοποιείται ότι η Διπλωματική Εργασ ία με θέμα «Ανάπτυξη Προηγμένου Συστήματος Υποβοήθησης οδηγού για την αυτόματη αναγνώριση του οδικού δικτύου από βιντεοσκοπίσεις.» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογισ τών Αθανάσ ιου Ραπτάκη Παναγιώτου Αριθμός Μητρώου: Παρουσ ιάσ τηκε δημόσ ια και εξετάσ τηκε σ το Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογισ τών σ τις / / Ο Επιβλέπων Ο Διευθυντής του Τομέα

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Ανάπτυξη Προηγμένου Συστήματος Υποβοήθησης οδηγού για την αυτόματη αναγνώριση του οδικού δικτύου από βιντεοσκοπίσεις.» Φοιτητής: Επιβλέπων: Περίληψη Τα αυτοκινητισ τικά δυσ τυχήματα αποτελούν μια από τις κυριότερες αιτίες θανάτου παγκοσ μίως. Ο αυξανόμενος αριθμός τους οδήγησ ε σ την σ υνειδητοποίησ η ότι η χρήσ η προηγμένης τεχνολογίας για την κατασ κευή ασ φαλέσ τερων οχημάτων είναι απαραίτητη για την μείωσ η των ατυχημάτων και κατά σ υνέπεια των θανάτων που οφείλονται σ ε αυτά. Από τη σ τιγμή που οι τεχνολογικές εξελίξεις επέτρεψαν την ενσ ωμάτωσ η φθηνών, χαμηλής κατανάλωσ ης σ υσ τημάτων με μεγάλη επεξεργασ τική ταχύτητα σ ε οχήματα, κατέσ τη προφανές ότι περίπλοκες τεχνικές υπολογισ τικής όρασ ης μπορούσ αν πλέον να χρησ ιμοποιηθούν για την υποβοήθησ η της οδήγησ ης. Στα πλαίσ ια αυτής της διπλωματικής εργασ ίας μελετήθηκαν εμπορικά και ερευνητικά Προηγμένα Συσ τήματα Υποβοήθησ ης Οδηγού (ΠΣΥΟ) και αναπτύχθηκε ένας αλγόριθμος εντοπισ μού δρόμου βασ ισ μένος σ ε οπτική πληροφορία. Ως τώρα το πρόβλημα του εντοπισ μού δρόμου αντιμετοπιζόταν κυρίως με σ υσ τήματα αναγνώρισ ης λωρίδων κυκλοφορίας, τα οποία ωσ τόσ ο παρέχουν χρήσ ιμη βοήθεια μόνο σ ε περίπτωσ η οδήγησ ης σ ε αυτοκινητοδρόμους ή καλά σ υντηρημένους δρόμους. Ως εκ τούτου, η μοντέρνα έρευνα έχει εσ τιάσ ει σ τη δημιουργία ενός πιο γενικού αλγόριθμου αναγνώρισ ης του drivable path με σ τόχο τη σ θεναρή ανίχνευσ η του δρόμου σ τα περιβάλλοντα όλων των ειδών, σ ε όλες τις σ τιγμές της μέρας και κάτω από διαφορετικές και σ υχνά αντίξοες σ υνθήκες. Κατά την εκπώνησ η αυτής της διπλωματικής εργασ ίας αναπτύχθηκε ένα σ ύσ τημα εντοπισ μού δρόμου βασ ισ μένο σ ε οπτική πληροφορία η οποία λαμβάνεται από έγχρωμη κάμερα εντός του αυτοκινήτου, τοποθετημένη σ τον ανεμοθώρακα. Ο προτεινόμενος αλγόριθμος ανιχνεύει το δρόμο σ υνδυάζοντας χωροχρονική πληροφορία οπτικής ροής HSC1 και πληροφορία υφής. Η διαδικασ ία της κατάτμησ ης εικόνας βασ ίζεται σ την απουσ ία υφής σ την επιφάνεια του οδοσ τρώματος και εκμεταλεύτεται την ιδιότητα του αλγορίθμου HSC1 να παρέχει αραιή λύσ η όταν εκτελείται για λίγες επαναλήψεις. Το προτεινόμενο σ υσ τήμα αναπτύχθηκε με σ τόχο την ανθεκτικότητα σ ε αλλαγές της φωτεινότητας,τις καιρικές σ υνθήκες, καθώς και σ την οδήγησ η σ ε απαιτητικά περιβάλλοντα. Τέλος, τα αποτελέσ ματα της κατάτμησ ης αξιολογήθηκαν ποιοτικά και ποσ οτικά καθώς και έγινε σ ύγκρισ η με τα αντίσ τοιχα της είδη υπάρχουσ ας βιβλιογραφίας.

4

5 Abstract Traffic accidents are one of the main reasons for the loss of human lives worldwide. Their increasing number has led to the realization that the use of advanced technology for manufacturing safer vehicles is imperative for limiting casualties. Since technological breakthroughs allowed the incorporation of cheap, low consumption systems with high processing speeds in vehicles, it became apparent that complex computer vision techniques could be used to assist drivers in navigating their vehicles. In the context of this diploma thesis both commercially available and still in research areas of Advanced Driver Assistance Systems (ADAS) where studied and a novel road detection algorithm based on optical data was developed. Until now the problem of road detection was tackled mainly with lane detection systems, which however provide usefull assistance only in case of driving in highways or well maintained roads. Therefore, the modern research has focused in the development of a more general drivable path detection algorithm, with the purpose of robust road detection in all kinds of environments, at any time of the day and under different and often adverse weather conditions. As part of this diploma thesis, a novel Road Detection system based on the information captured by an on-board monocular colour video camera, placed on an elevated position on the windshield of the vehicle was developed. The proposed algorithm combines spatiotemporal information through the HSC1 optical flow and texture information in order to detect the Road Surface. The image segmentation process is based on the lack of texture on the Road Surface and on the sparseness of the HSC1 flow when implemented for a low number of iterations. A special focus on the Robustness to the changes of illumination and weather conditions, as well as to diverse driving environments has also been given during the implementation of this algorithm. The results were evaluated qualitatively and quantitatively on a publicly available, manually annotated video dataset and also compared with the respective results of proposed methods found in relevant literature.

6

7 Περιεχόμενα Περίληψη III Abstract V Περιεχόμενα i List of Figures iii List of Tables v Κεφάλαιο 1 - Advanced Driver Assistance Systems (ADAS) Προηγμένα Συσ τήματα Υποβοήθησ ης Οδηγού (ΠΣΥΟ) Εισ αγωγή Η ανάγκη για την ανάπτυξη των ΠΣΥΟ Υποσ υσ τήματα βασ ισ μένα σ ε όρασ η που χρησ ιμοποιούνται σ ε εμπορικές εφαρμογές σ ήμερα Αναγνώρισ η Πινακίδων Οδικής Κυκλοφορίας Traffic Sign Recognition (TSR) Αναγνώρισ η Λωρίδας Κυκλοφορίας - Road Lane Recognition Εντοπισ μός Οχήματος - Vehicle Detection Ανίχνευσ η Υπνηλίας Οδηγού Driver Drowsiness Detection Συσ τήματα Εντοπισ μού Πεζών και Δικύκλων Pedestrian and Cyclist Detection Systems Συσ τήματα Νυχτερινής Ορασ ης - Night Vision Systems Συσ τήματα βασ ισ μένα σ ε υπολογισ τική όρασ η που βρίσ κονται ακόμα σ ε ερευνητικό σ τάδιο Εντοπισ μός Φωτεινών σ ηματοδοτών - Traffic Lights Recognition Αναγνώρισ η Βλέμματος του Οδηγού - Driver Gaze Detection Εντοπισ μός Δρόμου - Road Detection Γενική δομή ενός ΠΣΥΟ βασ ισ μένου σ ε υπολογισ τική όρασ η Κεφάλαιο 2 - Βιβλιογραφική Ανασ κόπησ η Μέθοδοι που βασ ίζονται σ τη διαγράμμισ η του οδοσ τρώματος Χρήσ η χρωματικής πληροφορίας ή πληροφορίας φωτεινότητας Σύνθετες μέθοδοι οπτικής ροής και σ τερεοσ κοπικής όρασ ης Κεφάλαιο 3 - Χρωματικά κανάλια αναλλοίωτα σ τη μεταβολή φωτεινότητας Εισ αγωγή Ανίχνευσ η και Απομάκρυνσ η Σκιών Το σ ύσ τημα απεικόνισ ης της ψηφιακής κάμερας και η διαφορά με το οπτικό σ ύσ τημα του ανθρώπου Εγχρωμη όρασ η και Χρωματική Σταθερότητα Η θεωρία Retinex i

8 3.3.3 Χρωματική σ ταθερότητα με βάσ η τη φυσ ιολογία Αναγνώρισ η αντικειμένων με βάσ η το χρώμα Το μοντέλο της ανάκλασ ης Μοντέλο ουδέτερης αντανάκλασ ης - Νeutral Interface Reflection NIR Xρωματικά αμετάβλητο μοντέλο c1c2c Κεφάλαιο 4 - Χωροχρονική Πληροφορία Εισ αγωγή Οπτική Ροή Η κλασ ική μέθοδος των Horn and Schunck Υπολογισ μός του Μέτρου της Οπτικής Ροής Κεφάλαιο 5 - Πληροφορία Υφής και Εντροπία Υφή Στατισ τική προσ έγγισ η της Υφής - Εντροπία Εντροπία Κεφάλαιο 6 - Μέθοδος του Otsu και Μορφολογική Επεξεργασ ία Εικόνας Μέθοδος του Otsu Μορφολογική Επεξεργασ ία Εικόνας Εισ αγωγή σ τη Μορφολογική Επεξεργασ ία Εικόνας Μαθηματική Μορφολογία Image Erosion Image Dilation Image Closing Κεφάλαιο 7 - Συνοπτική περιγραφή του αλγορίθμου Εντοπισ μού Δρόμου Επισ κόπισ η του Συσ τήματος Κεφάλαιο 8 - Ποσ οτική και Ποιοτική Αξιολόγησ η του Συσ τήματος Ανίχνευσ ης Δρόμου σ ε μεικτές περιβαλλοντικές σ υνθήκες Μετρικές Αξιολόγησ ης της Απόδοσ ης των Συσ τημάτων Ευαισ θησ ία σ την ύπαρξη σ κιών Επίδρασ η Ghosting Effect του αλγορίθμου οπτικής ροής Horn Schunck Επίδρασ η του Ghosting Effect κατά την αλλαγή σ κηνής Ανωμαλίες σ την επιφάνεια του δρόμου και Ευαισ θησ ία σ την απότομη μεταβολή της φωτεινότητας Σφάλματα που υποβαθμίζουν την Ορθότητα των αποτελεσ μάτων False Positives Επιλογή βέλτισ της ανάλυσ ης βίντεο και βέλτισ των παραμέτρων του αλγορίθμου Οπτικής Ροής Βιβλιογραφία ii

9 List of Figures 1 Τα αυτοκινητισ τικά δυσ τυχήματα αποτελούν την πρώτη αιτία θανάτου σ τους νέους από 15 έως 29 ετών Distribution of global injury mortality by cause (2012) Η ασ φάλεια των οχημάτων έχει βελτιωθεί τα τελευταία χρόνια, κυρίως εξαιτίας της προόδου που έχει σ ημειωθεί σ τα σ υσ τήματα παθητικής ασ φάλειας Πλάνο δράσ ης του Euro NCAP για την περαιτέρω ανάπτυξη και καθιέρωσ η των σ υσ τημάτων ενεργητικής ασ φάλειας σ τα εμπορικά αυτοκίνητα (a) Το σ ύσ τημα Opel Eye χρησ ιμοποιεί κάμερα ώσ τε να αναγνωρίζει πινακίδες ορίων ταχύτητας και να ειδοποιεί τον οδηγό. (b) Το Traffic sign recognition system της Mobileye αναγνωρίζει πινακίδες ορίων ταχύτητας και ειδοποιεί τον οδηγό για υπέρβασ η του ορίου ταχύτητας Το βραβευμένο σ ύσ τημα της Skoda "Lane Assistant" βοηθά τον οδηγό να παραμείνει σ την επιθυμητή λωρίδα κυκλοφορίας (a) το Audi Pre Sense Front Plus χρησ ιμοποιεί σ ύσ τημα Radar μεγάλου βεληνεκούς σ ε σ υνδυασ μό με κάμερα προσ αρμοσ μένη σ τον ανεμοθώρακα του αυτοκινήτου. (b) Η σ ειρά Mobileye 5 σ υνδέεται μέσ ω blue tooth με εφαρμογή σ το smartphone του χρήσ τη και περιέχει μεταξύ άλλων δυνατοτήτων vehicle detection υποσ ύσ τημα. (c) Το βραβευμένο από το EURO NCAP σ ύσ τημα της FIAT City Brake Control βασ ίζεται σ ε τεχνολογία LIDAR. (d) Η τεχνολογία LIDAR ανιχνεύει εμπόδια εκπέμποντας παλμούς αόρατου φωτός και υπολογίζοντας το time of flight (a) Το σ ύσ τημα Driver Drowsiness Detection της Bosch χρησ ιμοποιεί πληροφορίες από αισ θητήρα σ το τιμόνι, την lane-assist camerα, την ταχύτητα και τα φλάς του αυτοκινήτου ώσ τε να ανιχνεύσ ει πιθανή υπνηλία του οδηγού. (b)προσ πάθεια της Volvo για ανάπτυξη Driver Gaze Detection σ υσ τήματος (a) Το σ ύσ τημα Mobileye Pedestrian Collision Warning (PCW). (b) To σ ύσ τημα Volvo City Safety παρέχει δυνατότητα αναγνώρισ ης πεζών, ποδηλατών και οχημάτων χρησ ιμοποιώντας ταυτόχρονα κάμερα και Radar (a) Το σ ύσ τημα SUBARU eyesight βασ ίζεται σ ε μια σ τερεοσ κοπική κάμερα και πρόσ φατα απέκτησ ε τη δυνατότητα ανίχνευσ ης πεζών. (b) Pedestrian Detection σ ύσ τημα της Volvo (a) Το Night vision assistant της Audi εντοπίζει πεζούς και τους επισ ημαίνει με κίτρινο χρώμα σ την οθόνη. (b) Το σ ύσ τημα Night view assist plus της Mercedes-Benz εντοπίζει ανθρώπους και ζώα κατά τη νυχτερινή οδήγησ η Οργάνωσ η ενός ΠΣΥΟ βασ ισ μένου αποκλεισ τικά σ ε μεθόδους υπολογισ τικής όρασ ης Η ίδια σ κηνή σ ε διαφορετικά χρωματικά κανάλια. Κάθε γραμμή περιέχει την αυθεντική εικόνα και την φωτεινότητα κάθε καναλιού: η πρώτη γραμμή απεικονίζει την RGB εικόνα, η δεύτερη την L*a*b*, η τρίτη την HSV, η τέταρτη την YCbCr και η πέμπτη την c1c2c3 εικόνα iii

10 14 Διαπισ τώνουμε ότι η οπτική ροή του καναλιού c1 είναι πολύ λιγότερο ευαίσ θητη σ την ύπαρξη σ κιών, αντανακλάσ εων και οριζόντιων και κάθετων patches διαφορετικού χρώματος σ την επιφάνεια του οδοσ τρώματος Παραδείγματα οπτικής ροής σ ε διάφορά frames της βάσ ης diplodoc για grayscale εικόνα (a) Παραδείγματα τεχνητής υφής. (b) Παραδείγματα Υφών μέσ ω φωτογράφισ ης της φυσ ικής σ κηνής Σύγκρισ η σ ε διάφορα τμήματα της εικόνας της εντροπίας του μέτρου της οπτικής ροής (a) Η αρχική εικόνα για κατάτμησ η. (b) Η εικόνα της εντροπίας του μέτρου της οπτικής ροής της αρχικής εικόνας. (c)το ισ τόγραμμα της εικόνας εντροπίας. (d) Η διαδική εικόνα που προκύπτει ως αποτέλεσ μα της κατοφλοίωσ ης με τη μέθοδο του Otsu Παράδειγμα erosion χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο Παράδειγμα dilation χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο Παράδειγμα μορφολογικού κλεισ ίματος χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο a) Η αρχική περιοχή που ταξινομείται ως δρόμος χρησ ιμοποιώντας τη μέθοδο του Otsu. b) Η τελική λύσ η μετά από την διαδικασ ία μορφολογικού κλεισ ίματος χρησ ιμοποιώντας δίσ κο 10 pixel ως δομικό σ τοιχείο Διάγραμμα ροής του προτεινόμενου αλγορίθμου Εντοπισ μού Δρόμου green: True Positive, red: False Positive, yellow: False Negative Απόδοσ η του προτεινόμενου σ υσ τήματος Αναγνώρισ ης Δρόμου, frame προς frame, για όλα τα sequences της βάσ ης DIPLODOC Παραδείγματα όπου τα σ κιασ μένα τμήματα του οδοσ τρώματος ταξινομούνται λανθασ μένα σ την κατηγορία μη-δρόμος. Η πρώτη σ τήλη απεικονίζει το αρχικό frame και το αποτέλεσ μα κατάτμησ ης με μπλέ χρώμα, η δεύτερη και τρίτη σ τήλη απεικονίζουν το μέτρο της οπτικής ροής και την εντροπία του μέτρου της οπτικής ροής του αντίσ τοιχου frame Στις παραπάνω εικόνες απεικονίζονται δύο διαδοχικά frames και σ την τρίτη σ τήλη απεικονίζεται η οπτική ροή που παράγεται από αυτά. Παρατειρούμε ότι τα είδωλα των αυτοκινήτων και της μαχανής παραμένουν σ την οπτική ροή, ακόμα και όταν τα οχήματα έχουν αποχωρήσ ει από τη σ κηνή, υποβαθμίζοντας έτσ ι την κατάτμησ η Στα παραπάνω παραδείγματα παρατηρούμε ότι κατά την απότομη αλλαγή σ κηνής, τo είδωλο του αυτοκινήτου το οποίο παραμένει σ την οπτική ροή από προηγούμενες σ κηνές υποβαθμίζει την ποιότητα της κατάτμησ ης Στα παραπάνω frames η ποιότητα της κατάτμησ ης υποβαθμίζεται εξαιτίας: a) Αντανάκλασ ης λόγω ανωμαλιών σ την επιφάνεια του δρόμου d) προειδοποιητικού Road Marking BUS g) Road patch διαφορετικού χρώματος j) Road patch διαφορετικού χρώματος σ την δεξιά σ τροφή m) γραμμής διαγράμμισ ης σ τα δεξιά του δρόμου p) απότομης αύξησ ης της φωτεινότητας Παραδείγματα όπου false Positives υποβαθμίζουν την Ορθότητα των αποτελεσ μάτων iv

11 32 Σε αυτές τις εικόνες βλέπουμε το βήμα του αλγορίθμου μας πριν το σ τάδιο του image closing. Παρατηρούμε ότι κομμάτια θάμνων, τοίχων πεζοδρομίων και διαζωμάτων είναι σ υνδεδεμένα με το σ ύνολο του δρόμου Quality, Completeness και Correctness για κάθε frame του Sequence Quality, Completeness και Correctness για κάθε frame του Sequence Quality, Completeness και Correctness για κάθε frame του Sequence Quality, Completeness και Correctness για κάθε frame του Sequence Quality, Completeness και Correctness για κάθε frame του Sequence Απόδοσ η του προτεινόμενου αλγορίθμου για κάθε frame όλων των video της βάσ ης DIPLODOC List of Tables 2 + εκφράζει αμεταβλητότητα και - εκφράζει ευαισ θησ ία του χρωματικού καναλιού σ τη σ υνθήκη φωτισ μού Συνολική απόδοσ η του προτεινόμενου αλγορίθμου RD σ ε σ ύγκρισ η με τα [27],[32] και [13] Περιγραφή περιβαλλοντικών Συνθηκών σ τις ροές βίντεο της βάσ ης DIPLODOC Απόδοσ η του προτεινόμενου σ υσ τήματος Αναγνώρισ ης Δρόμου σ τις ροές βίντεο της βάσ ης DIPLODOC Απόδοσ η του αλγορίθμου για video διαφορετικής ανάλυσ ης με (α,k)= (25,5) Επίδρασ η των παραμέτρων οπτικής ροής (α, k) σ την απόδοσ η του αλγορίθμου για resolution: 228x Αριθμός frames χωρίς λύσ η για το sequence 4 για διαφορετικές τιμές των παραμέτρων (α, k) v

12 Κεφάλαιο 1 - Advanced Driver Assistance Systems (ADAS) Προηγμένα Συσ τήματα Υποβοήθησ ης Οδηγού (ΠΣΥΟ) 1.1 Εισαγωγή Αυτό το κεφάλαιο έχει σ τόχο να εισ άγει τον αναγνώσ τη σ τα προηγμένα σ υσ τήματα υποβοήθησ ης οδηγού (ΠΣΥΟ). Ξεκινά με μια ανασ κόπησ η σ τατισ τικών σ τοιχείων σ χετικά με τα ατυχήματα που σ υμβαίνουν σ τους δρόμους παγκοσ μίως, τα οποία σ τοιχειοθετούν την ανάγκη για περαιτέρω προληπτική δράσ η, με σ κοπό τη δημιουργία ασ φαλέσ τερων αυτοκινήτων και παρουσ ιάζονται μια σ ειρά σ υσ τημάτων τεχνολογίας αιχμής, τα οποία είναι εμπορικώς διαθέσ ιμα. Στη σ υνέχεια παρουσ ιάζεται μια ανασ κόπησ η σ υσ τημάτων βασ ισ μένων σ ε οπτική πληροφορία, τα οποία έχουν είδη υλοποιηθεί από after-market vendors καθώς και σ υσ τήματα βασ ισ μένα σ ε οπτική πληροφορία τα οποία βρίσ κονται ακόμα σ ε ερευνητικό σ τάδιο. Ακόμη, παρουσ ιάζονται τα μέρη ενός πλήρους σ υσ τήματος υποβοήθησ ης οδηγού, το οποίο λειτουργεί αποκλεισ τικά μέσ ω οπτικής πληροφορίας, σ υμπεριλαμβάνοντας και σ ύντομες περιγραφές των αναφερόμενων υποσ υσ τημάτων Η ανάγκη για την ανάπτυξη των ΠΣΥΟ Κατά τις τελευταίες δεκαετίες, τα αυτοκινητισ τικά δυσ τυχήματα έχουν αναδειχθεί ως μια από τις κυριότερες αιτίες για την απώλεια ανθρώπινης ζωής. Μελέτες του Παγκόσ μιου Οργανισ μού Υγείας δημοσ ιευμένες το 2015 [1], αναφέρουν ότι τα αυτοκινητισ τικά δυσ τυχήματα αποτελούν την αιτία θανάτου 1.25 εκατομμυρίων ανθρώπων παγκοσ μίως κάθε χρόνο και μάλισ τα αποτελούν την πρώτη αιτία θανάτου σ τους νέους από 15 έως 29 ετών. Figure 1: Τα αυτοκινητισ τικά δυσ τυχήματα αποτελούν την πρώτη αιτία θανάτου σ τους νέους από 15 έως 29 ετών. 1

13 Το μέγεθος του προβλήματος γίνεται εμφανές από το γεγονός ότι κατά το έτος 2012 τα αυτοκινητισ τικά δυσ τυχήματα ήταν η κύρια αιτία θανατηφόρων τραυματισ μών, αντιπροσ ωπεύοντας το 24% των θανάτων που σ υμβαίνουν παγκοσ μίως και σ χετίζονται με τραυματικές κακώσ εις. Επιπρόσ θετα, το European New Car Assesment Programme (EURO NCAP) αναφέρει σ την έκθεσ η σ τόχων του μέχρι το 2020 [2], ότι το 2012 σ την Ευρωπαϊκή Ενωσ η σ χεδόν άτομα τραυματίσ τηκαν σ οβαρά σ ε αυτοκινητισ τικά δυσ τυχήματα και άτομα κατέληξαν σ ε θάνατο. Για κάθε θάναντο σ τους Ευρωπαικούς δρόμους εκτιμάται ότι αναλογούν 4 άτομα με μόνιμη αναπηρία, 8 άτομα με σ οβαρό και 50 άτομα με ήσ σ ονος σ ημασ ίας τραυματισ μό. Το κόσ τος για την κοινωνία είναι τεράσ τιο και αντιπροσ ωπεύει περίπου 130 δισ εκατομμύρια ευρώ το Figure 2: Distribution of global injury mortality by cause (2012) Ενθαρρυντικό γεγονός αποτελεί η σ τασ ιμότητα των θανάτων από αυτοκινητισ τικά δυσ τυχήματα μετά το έτος 2007, παρά την αύξησ η του παγκόσ μιου πληθυσ μού κατά 4% μεταξύ 2010 και 2013 και την ταυτόχρονη αύξησ η των καταγεγραμμένων οχημάτων κατά 16%. Figure 3: Η ασ φάλεια των οχημάτων έχει βελτιωθεί τα τελευταία χρόνια, κυρίως εξαιτίας της προόδου που έχει σ ημειωθεί σ τα σ υσ τήματα παθητικής ασ φάλειας. 2

14 Αυτή η πολύ μικρή αύξησ η σ τα αυτοκινητισ τικά δυσ τυχήματα αποδεικνύει ότι οι προσ πάθειες που σ υντελούνται τις τελευταίες δεκαετίες για την πρόληψη των τροχαίων ατυχημάτων αποτρέπουν αποτελεσ ματικά θανάτους που υπό άλλες σ υνθήκες θα είχαν σ υμβεί [1]. Παρ όλο που η σ χετική σ τασ ιμότητα των θανάτων από αυτοκινητισ τικά δυσ τυχήματα είναι ενθαρρυντικό γεγονός, δεν υπάρχουν ενδείξεις μειωσ ής τους. Για την ακρίβεια ο ΠΟΥ προέβλεψε ότι το έτος 2015 οι θάνατοι από τροχαία ατυχήματα θα αγγίξουν το και το έτος 2030 θα ανέλθουν σ ε [3]. Επομένως, σ τόχος για την επόμενη δεκαετία θα πρέπει να είναι η καταπολέμησ η αυτού του φαινομένου. Η ασ φάλεια των οχημάτων έχει βελτιωθεί τα τελευταία χρόνια, κυρίως εξαιτίας της προόδου που έχει σ ημειωθεί σ τα σ υσ τήματα παθητικής ασ φάλειας, τα οποία περιλαμβάνονται σ ε όλα τα εμπορικά οχήματα. Τέτοια σ υσ τήματα περιέχουν ζώνες ασ φαλείας αερόσ ακους, βελτιώσ εις σ το σ ώμα των οχημάτων, οι οποίες αυξάνουν την ασ φάλεια επιβατών και πεζών κατά τη διάρκεια σ υγκρούσ εων [4]. Η πρόοδος των σ υσ τημάτων παθητικής ασ φαλείας έχει αδιαμφισ βήτητη σ υνεισ φορά μέχρι σ ήμερα, παρόλάυτά η απόδοσ η τους φαίνεται ότι έχει φτάσ ει σ το μέγισ το, καθώς δεν μπορούν να δώσ ουν λύσ εις για την παεραιτέρω μείωσ η των θανάτων που οφείλονται σ ε σ φάλματα του οδηγού. Μια πρόσ φατη μελέτη που διεξήχθη από τη National Highway Traffic Safety Administration (NHTSA) των ΗΠΑ ανέδειξε ότι απ όλα τα ατυχήματα που σ χετίζονται με τον οδηγό, το 41% σ υνέβησ αν εξαιτίας σ φαλμάτων αναγνώρισ ης και το 34% εξαιτίας σ φαλμάτων απόφασ ης [4]. Το σ υμπέρασ μα που βγαίνει από τη λεπτομερή ανάλυσ η των δεδομένων που σ χετίζονται με ατυχήματα είναι ότι η περαιτέρω μείωσ η των ατυχημάτων πρέπει να βασ ισ τεί σ ε ενεργές μεθόδους, λύσ εις τεχνολογίας αιχμής που είναι γενικά γνωσ τές ως Advanced Driver Assistance Systems (ADAS) ή Προηγμένα Συσ τήματα Υποβοήθησ ης Οδηγού (ΠΣΥΟ). Τα ΠΣΥΟ αποτελούν νέες αναδυόμενες τεχνολογίες με κύριο σ κοπό την παροχή αυτοματοποιημένων σ υμβουλών σ τον οδηγό με σ τόχο την αύξησ η της οδηγηκής ασ φάλειας. Κινούμενο σ ε αυτό το γενικό πλαίσ ιο, το Euro NCAP σ την έκθεσ ή του 2015 ROADMAP θέτει ως προτεραιότητα την ανάπτυξη σ υσ τημάτων αποφυγής σ υγκρούσ εων (Crash Avoidance Systems) [2]. Κατά το Euro NCAP η υοθέτησ η σ υσ τημάτων αποφυγής σ υγκρούσ εων σ υναντά σ ημαντικές δυσ κολίες όπως: πολύ μεγάλη ποικιλία σ υσ τημάτων με ελάχισ τα να προσ φέρονται ως standard και με πολύ μικρό ποσ οσ τό επιλογής των προαιρετικών σ υσ τημάτων από τους καταναλωτές. Από την οπτική της απόδοσ ης των σ υσ τημάτων, οι ψευδώς αληθείς ενεργοποιήσ εις παραμένουν ένα μείζον πρόβλημα για την αποδοχή των σ υσ τημάτων από τους καταναλωτές. Στα επόμενα χρόνια η ανάγκη για πιο πολλές ενσ ωματωμένες τεχνολογίες που θα υποσ τηρίζουν την (μερικώς) αυτοματοποιημένη οδήγησ η θα κατασ τήσ ει την αποφυγή σ υγκρούσ εων πιο σ θεναρή και φθηνή, ώσ τε να υιοθετηθεί σ τον ευρωπαικό σ τόλο οχημάτων. Για την ανάπτυξη περαιτέρω εμπισ τοσ ύνης από τους καταναλωτές σ ε προηγμένες τεχνολογίες, το EURO NCAP σ κοπεύει να προσ αρμόσ ει την αξιολόγησ η των οχημάτων ώσ τε να αντανακλά την πραγματική σ υνεισ φορά των παθητικών και ενεργών μέτρων ασ φαλείας σ τη γενική απόδοσ η ενός οχήματος. Η έλλειψη ανιχνευσ ιμότητας της απόδοσ ης των σ υσ τημάτων, ο περίπλοκος ρόλος του οδηγού και η ασ υνέπεια σ τη Διεπαφή Ανθρώπου Μηχανής (Human Machine Interface) που διέπει τη βιομηχανία περιπλέκουν ακόμη περισ σ ότερο την αναγνώρισ η των πραγματικών δυνατοτήτων των σ υσ τημάτων αποφυγής σ υγκρούσ εων. Η ιδέα του αυτοματοποιημένου και αυτο-οδηγούμενου αυτοκινήτου καθοδηγεί 3

15 τις σ ύγχρονες τάσ εις, σ την ανάπτυξη των ΠΣΥΟ [2]. Η ταχύτατη ανάπτυξη των ηλεκτρονικών σ υσ τημάτων ασ φαλείας έχει κατασ τήσ ει την ιδέα εφικτή και πρωτότυπα σ υσ τήματα είναι δυνατό να οδηγήσ ουν σ ε ελεγχόμενες σ υνθήκες. Η αυτοκινητοβιομηχανία είναι ενεργή σ ε αυτό τον τομέα αλλά και νέοι παίκτες όπως η Google έχουν αναπτύξει πρωτότυπα σ υσ τήματα. Τα επόμενα χρόνια τα αυτο-οδηγούμενα αυτοκίνητα δεν θα έχουν μόνο τη δυνατότητα να αισ θάνονται, να αποφεύγουν και να μετριάζουν τις σ υνέπειες μιας σ ύγκρουσ ης αλλά θα μπορούν και να λειτουργούν με περισ σ ότερο ασ φαλή τρόπο. Σε αυτή την κατεύθυνσ η το EURO NCAP έχει αναγγείλει δράσ εις που ξεκινούν από το 2016 όπως τα Advanced Rewards για τεχνολογίες σ την κατεύθυνσ η της μερικούς αυτοματοποιημένης οδήγησ ης (πχ virtual co-pilot) αλλά και τη νέα μέθοδο αξιολόγησ ης δύο βαθμίδων (two star rating). Σύμφωνα με αυτή τη μέθοδο θα γίνεται μια βασ ική αξιολόγησ η σ τα οχήματα που πληρούν τις βασ ικές προδιαγραφές ασ φαλείας, ενώ μια δεύτερη αξιολόγησ η θα αντικατοπτρίζει τις επιδόσ εις των οχημάτων που είναι εφοδιασ μένα με προαιρετικά σ υσ τήματα ασ φαλείας. Figure 4: Πλάνο δράσ ης του Euro NCAP για την περαιτέρω ανάπτυξη και καθιέρωσ η των σ υσ τημάτων ενεργητικής ασ φάλειας σ τα εμπορικά αυτοκίνητα. Πιο σ υγκεκριμένα, προωθούνται νέα σ υσ τήματα ΑΕΒ (Autonomus Emergency Breaking) τα οποία θα βελτισ τοποιηθούν για να αντιμετωπίσ ουν τα πιο σ υχνά σ ενάρια θανατηφόρων προσ κρούσ εων. Τα σ ενάρια αυτά περιλαμβάνουν προσ κρούσ εις μεταξύ αυτοκινήτων (ΑΕΒ C2C), προσ κρούσ εις με ευπαθείς χρήσ τες του δρόμου κυρίως πεζούς και δικυκλισ τές (AEB VRU) και προσ κρούσ εις κατά τη διασ ταύρωσ η οχημάτων (AEB Intersection). Εμφασ η επίσ ης δίνεται μέσ α σ το έτος 2016 σ την ανάπτυξη τεχνολογίας Lateral Assist η οποία θα περιλαμβάνει σ υσ τήματα τα οποία βοηθούν τον οδηγό να παραμείνει σ τη λωρίδα κυκλοφορίας του ή να αλλάξει λωρίδα με ασ φάλεια. Σε αυτό τον τομέα μελλοντικά έμφασ η θα δοθεί σ την πρόληψη μη ηθελημένης αποχώρησ ης από το δρόμο, καθώς και αποφυγή μετωπικών σ υγκρούσ εων. Για να αντιμετωπισ τούν τα ατυχήματα εξαιτίας υπερβολικής ταχύτητας και μειωμένης ικανότητας οδήγησ ης (impaired driving), προωθείται η ανάπτυξη σ υσ τημάτων παρακολούθησ ης της κατάσ τασ ης του οδηγού, αυτόματη αναγνώρισ η 4

16 πινακίδων οδικής κυκλοφορίας, ψηφιακοί χάρτες και αυτόματη επιβολή ορίων ταχύτητας. Τέλος είναι πολύ σ ημαντικό να αναφέρουμε ότι σ ύμφωνα με την NTSA και την IIHS (Insurance Institute for Highway Safety) δέκα κατασ κευασ τές οχημάτων σ τη Βόρεια Αμερική δεσ μεύτηκαν να παρέχουν την τεχνολογία AEB ως σ τάνταρ χαρακτηρισ τικό σ ε όλα τα νέα οχήματα που κατασ κευάζονται [5],[6]. 1.2 Υποσυστήματα βασισμένα σε όραση που χρησιμοποιούνται σε εμπορικές εφαρμογές σήμερα Το γεγονός ότι υποσ υσ τήματα τεχνολογίας αιχμής ΠΣΥΟ περιλαμβάνονται σ ε εμπορικά οχήματα, αναδεικνύει τη σ τροφή προς τη χρήσ η μεθόδων υπολογισ τικής όρασ ης. Ενας αυξανόμενος αριθμός ΠΣΥΟ βασ ίζεται είτε σ τη σ υγχώνευσ η (fussion) πολλών αισ θητήρων, σ υμπεριλαμβανομένων καμερών, είτε σ ε σ τερεοσ κοπικές κάμερες. Στην πραγματικότητα, από τα ΠΣΥΟ τα οποία παρουσ ιάζονται σ το παρακάτω πίνακα μόνο η αυτοματοποιημένη κλήσ η έκτακτης ανάγκης δεν περιλαμβάνει υποσ ύσ τημα το οποίο να βασ ίζεται σ ε οπτική πληροφορία. Η χρήσ η καμερών ήταν παραμελημένη σ το παρελθόν κυρίως εξαιτίας του ότι οι αλγόριθμοι υπολογισ τικής όρασ ης απαιτούσ αν πολύ ισ χυρούς και ακριβούς επεξεργασ τές. Το παραπάνω, σ ε σ υνδυασ μό με το υψηλό κόσ τος των ποιοτικών καμερών, αύξαναν υπερβολικά το κόσ τος ενός ΠΣΥΟ βασ ισ μένου σ ε υπολογισ τική όρασ η, με αποτέλεσ μα να μην είναι εφικτή η εμπορική τους χρήσ η. Πρόσ φατα, η αυξανόμενη ισ χύς των ολοκληρωμένων ψηφιακών σ υσ τημάτων επεξεργασ ίας σ ήματος, σ ε σ υνδυασ μό με την ανάπτυξη φτηνών μικρών βιντεοκαμερών με καλή ποιότητα λήψης, οδήγησ ε σ την υλοποίησ η σ υσ τημάτων τα οποία λειτουργούν μόνο με πληροφορία προερχόμενη από κάμερες. Τέτοια σ υσ τήματα σ υχνά εσ τιάζουν μόνο σ ε ένα από τα προβλήματα υποβοήθησ ης του οδηγού, καθώς η λύσ η όλων των διαφορετικών προβλημάτων με μόνο ένα σ ύσ τημα είναι ακόμα ένα πολύ δύσ κολο πρόβλημα. Σε αυτό το τμήμα παρουσ ιάζονται τα πιο χαρακτηρισ τικά παραδείγματα υποσ υσ τημάτων τα οποία βασ ίζονται σ ε οπτική πληροφορία. Advanced Safety Technology Blind Spot Monitoring Advanced Safety Technology Σύσ τημα βασ ισ μένο σ ε ραντάρ ή κάμερα το οποίο προειδοποιεί τον οδηγό κατά την αλλαγή λωρίδας για την πιθανή ύπαρξη οχήματος σ τη νεκρή γωνία. Advanced Safety Technology Opel Side Blind Spot Alert (SBSA) Mazda Rear Vehicle Monitoring system (RVM) Audi Side Assist

17 Lane Support Systems Speed Alert Systems Autonomous Emergency Braking Attention Assist Automatic Emergency Call Pre-crash Systems Lane Departure Warning: σ υσ τήματα βασ ισ μένα σ ε κάμερες τα οποία προειδοποιούν τον οδηγό για την ανεπιθύμητη μετάβασ η σ ε άλλη λωρίδα κυκλοφορίας. Lane Keep Assist: σ υσ τήματα βασ ισ μένα σ ε κάμερα τα οποία αποτρέπουν το αυτοκίνητο να αλλάξει λωρίδα κυκλοφορίας. Γνωσ τό και ως Intelligent Speed Assist (ISA), το σ ύσ τημα προειδοποιεί τον οδηγό για την υπέρβασ η του ορίου ταχύτητας, η ένα χειροκίνητα επιλεγμένο όριο ταχύτητας. Συσ τήματα βασ ισ μένα σ ε radar ή lidar τα οποία δρούν αυτόνομα (autonomus) για την αποφυγή ή το μετριασ μό ατυχήματος σ ε κρίσ ιμες σ υνθήκες (Emergency) χρησ ιμοποιώντας τα φρένα (Braking). Συσ τήματα ανίχνευσ ης υπνηλίας τα οποία προειδοποιούν τον οδηγό, ώσ τε να τον αποτρέψουν να κοιμηθεί προτρέποντας για διαλείμματα κατά την οδήγησ η. Συσ τήματα τα οποία σ τέλνουν αυτοματοποιημένο μήνυμα σ ε ένα τηλεφωνικό κέντρο έκτακτης ανάγκης σ τη περίπτωσ η σ ύγκρουσ ης του οχήματος. Συσ τήματα τα οποία προβλέπουν ένα ατύχημα, ώσ τε να βελτισ τοποιήσ ουν τα σ υσ τήματα προσ τασ ίας όπως ζώνες ασ φαλείας ή αερόσ ακους Skoda Lane Assistant Audi Active Lane Assist Ford Lane Keeping Alert Seat Lane Assist Ford Lane Keeping Aid Infiniti Lane Departure Prevention (LDP) Opel Eye Volkswagen Lane Assist No rewards until the time of writing BMW Pedestrian Warning with City Brake Activation FIAT City Brake Control Mitsubishi Forward Collision Mitigation Skoda Front Assistant Audi Pre Sense Front Audi Pre Sense Front Plus Volkswagen Front Assist Ford Active City Stop Ford Forward Alert Mercedes-Benz Collision Prevention Assist Volkswagen City Emergency Brake Honda Collision Mitigation Brake System Mercedes-Benz PRE-SAFE Brake Volvo City Safety 2011-Ford Driver Alert 2011-Mercedes-Benz Attention Assist Ford SYNC Emergency Assistance BMW Assist Advanced ecall Citroën Localized Emergency Call Peugeot Connect SOS Skoda Crew Protect Assist Audi Pre-Sense Basic Volkswagen Proactive Occupant Protection Mercedes-Benz PRE-SAFE 6

18 Vision Enhancement Systems Other Safety Systems Συσ τήματα τα οποία βελτιώνουν την όρασ η του οδηγού, ακόμα και σ ε αντίξοες σ υνθήκες φωτισ μού και καιρού, όπως νυχτερινή οδήγησ η ή οδήγησ η υπό ομίχλη Opel Adaptive Forward Lighting (AFL) Audi Secondary Collision Brake Assist Ford MyKey Seat Multi Collision Brake Volkswagen Multi Collision Brake Αναγνώριση Πινακίδων Οδικής Κυκλοφορίας Traffic Sign Recognition (TSR) Οι πινακίδες οδικής κυκλοφορίας παρέχουν σ ημαντικές πληροφορίες σ χετικά με το περιβάλλον οδήγησ ης και βοηθούν τους οδηγούς να λάβουν ορθές αποφάσ εις για την ασ φαλή πλοήγησ η των οχημάτων τους. Η αυτόματη αναγνώρισ η των πινακίδων οδικής κυκλοφορίας αποτελεί το πιο κοινό θέμα έρευνας σ χετικά με ΠΣΥΟ τις τελευταίες δεκαετίες. Σε αυτό τον επισ τημονικό τομέα, ένας μεγάλος αριθμός δημοσ ιεύσ εων και εργασ τηριακών σ υσ τημάτων έχουν είδη παρουσ ιασ τεί χρησ ιμοποιώντας επεξεργασ ία εικόνας και αλγόριθμους μηχανικής μάθησ ης. Πρόσ φατα, η αναγνώρισ η πινακίδων οδικής κυκλοφορίας (TSR) έχει εγκατασ ταθεί σ ε Speed Alert Systems, όπως το σ ύσ τημα Opel Eye, το Road Sign Information function (RSI) της Volvo, το Traffic Sign Assist της Mercedes-Benz, το Sign Assist της Volkswagen και το υποσ ύσ τημα TSR ως μέρος του Accident Avoidance and Driver Assist Technologies της FORD. Αξιόλογο after-market σ ύσ τημα TSR επίσ ης έχει αναπτύξει η Mobileye το οποίο επιπρόσ θετα αναγνωρίζει πινακίδες οδικής κυκλοφορίας LED. (a) (b) Figure 5: (a) Το σ ύσ τημα Opel Eye χρησ ιμοποιεί κάμερα ώσ τε να αναγνωρίζει πινακίδες ορίων ταχύτητας και να ειδοποιεί τον οδηγό. (b) Το Traffic sign recognition system της Mobileye αναγνωρίζει πινακίδες ορίων ταχύτητας και ειδοποιεί τον οδηγό για υπέρβασ η του ορίου ταχύτητας. Παρότι κάποιες εκδόσ εις TSR είναι διαθέσ ιμες εμπορικά, η τεχνολογία δεν θα θεωρείται ώριμη έως ότου μπορέσ ει να αντιμετωπίσ ει τα παρακάτω δύσ κολα προβλήματα: 7

19 a) Τα σ υσ τήματα TSR εντοπίζουν και αναγνωρίζουν μόνο πινακίδες ορίων ταχύτητας και απαγόρευσ ης προσ πέρασ ης. Παρότι είναι πολύ χρήσ ιμα για τα ΠΣΥΟ, αποτελούν ακόμα υπεραπλοποιημένες εκδοχές ενός πλήρους σ υσ τήματος που θα περιλαμβάνει όλες τις πιθανές πινακίδες. b) Τα σ υσ τήματα που είναι εμπορικά διαθέσ ιμα δεν είναι πάντα λειτουργικά καθώς η αποδοσ ή τους εξαρτάται από τον καιρό και τις σ υνθήκες φωτισ μού. Παρότι αυτό το πρόβλημα είναι πολύ γνωσ τό σ τη κοινότητα υπολογισ τικής όρασ ης, αποτελεί ακόμα ένα μεγάλο εμπόδιο για τη χρήσ η τέτοιων σ υσ τημάτων για αυτόνομη οδήγησ η ή ακόμα και για αξιόπισ τη προειδοποίησ η των οδηγών. Τα παραπάνω προβλήματα είναι ο λόγος που τα σ υσ τήματα Αναγνώρισ ης Πινακίδων Οδικής Κυκλοφορίας βασ ισ μένα σ ε υπολογισ τική όρασ η δεν θεωρούνται αξιόπισ τα για εμπορικές εφαρμογές. Αυτός είναι ο λόγος που η έρευνα σ ε αυτό τον τομέα παρουσ ιάζει μεγάλο ενδιαφέρον [7]. Αξίζει να σ ημειώσ ουμε ότι το TSR μπορεί να λυθεί χρησ ιμοποιώντας GPS σ ε σ υνεργασ ία με ακριβείς και δυναμικά μεταβαλλόμενους χάρτες. Αυτή η απλή και αποτελεσ ματική λύσ η είναι η αιτία που η αυτοκινητοβιομηχανία έχει ελαχισ τοποιήσ ει την προσ πάθειά της για ανάπτυξη σ υσ τημάτων TSR Αναγνώριση Λωρίδας Κυκλοφορίας - Road Lane Recognition Μια από τις πλέον ώριμες τεχνολογίες οπτικής όρασ ης για ΠΣΥΟ είναι η Αναγνώρισ η Λωρίδας Κυκλοφορίας. Η παρουσ ία της είναι ζωτική για τα Lane Support σ υσ τήματα, καθώς παρέχει την βασ ική πληροφορία που είναι αναγκαία ώσ τε αυτά να επιτελέσ ουν το έργο τους. Η Αναγνώρισ η Λωρίδας Κυκλοφορίας χρησ ιμοποιείται κυρίως κατά την οδήγησ η σ ε αυτοκινητοδρόμους, ή σ ε καλοδιατηρημένους ασ τικούς ή επαρχιακούς δρόμους. Η τεχνολογία που χρησ ιμοποιείται είναι πολύ απλή, καθώς υπάρχουν αρκετοί σ θεναροί αλγόριθμοι για ανίχνευσ η γραμμών σ ε εικόνες, με ευρύτερα χρησ ιμοποιούμενο τον μετασ χηματισ μό Hough [8]. Εμπορικά διαθέσ ιμες λύσ εις περιέχουν το Opel Eye το οποίο περιέχει lane departure warning υποσ ύσ τημα, το Infinity με το Lane Departure Prevention υποσ ύσ τημα, το Lane Assist System της Volkswagen, το Lane Keeping Aid της Volvo, το Lane Departure & Sway warning της SUBARU Eyesight, το Lane Departure Warning της Honda, το Lane Tracking Package της Mercedes Benz, το Lane Departure Warning της BMW, το Lane Assist της Seat, το Lane Assistant της Skoda, και το Active Lane Assist της Audi. Figure 6: Το βραβευμένο σ ύσ τημα της Skoda "Lane Assistant" βοηθά τον οδηγό να παραμείνει σ την επιθυμητή λωρίδα κυκλοφορίας 8

20 Τα σ υσ τήματα Lane Assist είναι ανεκτίμητης αξίας για οδήγησ η σ ε αυτοκινητοδρόμους, αλλά αποτυγχάνουν να αποδώσ ουν τα αναμενόμενα κατά την οδήγησ η σ ε αδόμητους ή κακά σ υντηρημένους δρόμους, όπου οι λωρίδες του δρόμου δεν είναι ορατές. Σε αυτές τις περιπτώσ εις, τέτοια σ υσ τήματα δεν παρέχουν εναλλακτικό τρόπο διατήρησ ης της λωρίδας κυκλοφορίας και άρα δεν μπορούν να παρέχουν χρήσ ιμες υπηρεσ ίες σ τον οδηγό. Σε τέτοια σ ενάρια, ένα υποσ ύσ τημα Ανίχνευσ ης Δρόμου θα παρείχε πολύ πιο αξιόπισ τες πληροφορίες Εντοπισμός Οχήματος - Vehicle Detection Ο εντοπισ μός Οχήματος αποτελεί τον θεμέλιο λίθο για πολλά σ υσ τήματα ΠΣΥΟ, καθώς παρέχει πληροφορία για πιθανούς κινδύνους, όπως επικείμενες σ υγκρούσ εις. Ως εκ τούτου υποσ υσ τήματα Εντοπισ μού Οχημάτων μπορούν να χρησ ιμοποιηθούν σ ε σ υσ τήματα Autonomous Emergency Braking (AEB), σ ε pre-crush σ υσ τήματα και επίσ ης σ ε blind-spot detection σ υσ τήματα. Πολλά σ υσ τήματα χρησ ιμοποιούν εναλλακτικές τεχνικές ώσ τε να πετύχουν εντοπισ μό οχημάτων, όπως τεχνολογία Radar. Συσ τήματα που βρίσ κονται διαθέσ ιμα σ το εμπόριο και λειτουργούν με Radar είναι το Collision Prevention Assist της Mercedes Benz, Active Blind spot Assist της Mercedes Benz, Forward Collision Warning with Brake Support της Ford, Blind Spot Information System with Cross-Traffic Alert της Ford, Active City Stop της Ford,Mitsubishi Forward Collision Mitigation, και το Traffic Jam Assist της Audi. Εναλλακτικά χρησ ιμοποιείται τεχνολογία Light Detection And Ranging (LIDAR) όπως το City Brake Contol της FIAT και το City Emergency Braking της Volkswagen. Τα Radar επιλέγονται εξαιτίας της καλής μέτρησ ης της απόσ τασ ης όταν υπάρχει επαρκής ανακλασ τικότητα Radar σ τα αντικείμενα μπροσ τά από το όχημα. Ωσ τόσ ο, τα Radar επηρεάζονται αρνητικά από λάσ πη, χιόνι ή φύλλα τα οποία παρεμβάλλονται σ το οπτικό πεδίο και σ υμπεριφέρονται προβληματικά κατά την είσ οδο άλλων αυτοκινήτων σ τη λωρίδα κυκλοφορίας του οχήματος, ή όταν το όχημα παίρνει μια κλεισ τή σ τροφή. Αντίσ τοιχα, τα LIDAR παρέχουν μέτρησ η αποσ τάσ εων μέρα και νύχτα, αλλά οι αισ θητήρες τους χάνουν την απόδοσ ή τους όταν λερωθούν από λάσ πη, χιόνι και αποτυγχάνουν να λειτουργήσ ουν σ ε αντίξοες σ υνθήκες όπως ομίχλη και έντονες βροχοπτώσ εις. Τα παραπάνω μειονεκτήματα αυτών των δύο τεχνολογιών, αποτελούν την αιτία που όλο και περισ σ ότεροι κατασ κευασ τές οχημάτων τις χρησ ιμοποιούν σ ε σ υνεργασ ία με κάμερες. Ενα τέτοιο σ ύσ τημα βραβευμένο από το EURO NCAP είναι το Audi pre sense front plus το οποίο χρησ ιμοποιεί δύο Radar μεγάλου βεληνεκούς σ ε σ υνδυασ μό με κάμερα προσ αρμοσ μένη σ τον ανεμοθώρακα του αυτοκινήτου ώσ τε να υπολογίζει την πιθανότητα πρόσ κρουσ ης με άλλα αυτοκίνητα. Στο πρώτο και δεύτερο σ τάδιο, το σ ύσ τημα παρέχει οπτικά και ακουσ τικά ερεθίσ ματα καθώς και ερεθίσ ματα αφής σ τον οδηγό με σ κοπό να τον παρακινήσ ει σ ε δράσ η, ενώ ταυτόχρονα προετοιμάζει τα φρένα του αυτοκινήτου. Αν ο οδηγός παραμείνει αδρανής το σ ύσ τημα αυτόματα θα εφαρμόσ ει την κατάλληλη δύναμη σ τα φρένα ώσ τε να αποφευχθεί η σ ύγκρουσ η. Άλλα παραδείγματα σ υσ τημάτων που χρησ ιμοποιούν ταυτόχρονα κάμερες και Radar είναι το Pilot Assist της Volvo, το City Safe της Volvo, Collision Mitigation Braking System της Honda και το Presafe Brake της Mercedes Benz. Αξίζει να σ ημειώσ ουμε ότι τα σ υσ τήματα Mobileye 560, Forward collision Alert του Opel Eye 9

21 και τα σ υσ τήματα Pre-Collision του Subaru eyesight περιέχουν λειτουργία εντοπισ μού οχημάτων βασ ισ μένη αποκλεισ τικά σ ε σ ύσ τημα όρασ ης, κάτι το οποίο είναι ιδιαίτερα δύσ κολο επίτευγμα αν λάβουμε υπόψη όλες τις πιθανές σ υνθήκες οδήγησ ης. (a) (b) (c) Figure 7: (a) το Audi Pre Sense Front Plus χρησ ιμοποιεί σ ύσ τημα Radar μεγάλου βεληνεκούς σ ε σ υνδυασ μό με κάμερα προσ αρμοσ μένη σ τον ανεμοθώρακα του αυτοκινήτου. (b) Η σ ειρά Mobileye 5 σ υνδέεται μέσ ω blue tooth με εφαρμογή σ το smartphone του χρήσ τη και περιέχει μεταξύ άλλων δυνατοτήτων vehicle detection υποσ ύσ τημα. (c) Το βραβευμένο από το EURO NCAP σ ύσ τημα της FIAT City Brake Control βασ ίζεται σ ε τεχνολογία LIDAR. (d) Η τεχνολογία LIDAR ανιχνεύει εμπόδια εκπέμποντας παλμούς αόρατου φωτός και υπολογίζοντας το time of flight. (d) Ανίχνευση Υπνηλίας Οδηγού Driver Drowsiness Detection Η χρήσ η κάμερας τοποθετημένης σ το εσ ωτερικό του οχήματος με κατεύθυνσ η τον οδηγό είναι μια από τις πλέον αξιόπισ τες μεθόδους αξιολόγησ ης του βαθμού εγρήγορσ ης του οδηγού. Αυτή η μέθοδος μπορεί να χρησ ιμοποιηθεί για την ανίχνευσ η πιθανής υπνηλίας του οδηγού και την εκπομπή ηχητικού προειδοποιητικού μηνύματος για τη διακοπή της οδήγησ ης με σ κοπό να κάνει ένα διάλειμμα. Ωσ τόσ ο τα περισ ότερα εμπορικά σ υσ τήματα δεν έχουν χρησ ιμοποιήσ ει αυτή την προσ έγγισ η, αλλά μια πολύ πιο έμμεσ η, τη χρήσ η πληροφοριών σ χετικά με τον τρόπο οδήγησ ης ώσ τε να καθορισ τεί αν ο οδηγός έχει μειωμένη εγρήγορσ η. To Ford Driver Alert χρησ ιμοποιεί μια κάμερα 10

22 προσ αρμοσ μένη σ το μπροσ τά μέρος του αυτοκινήτου ώσ τε να ανιχνεύσ ει υπερβολικές και απότομες διορθώσ εις σ την κίνησ η του αυτοκινήτου, τα οποία είναι χαρακτηρισ τικά νυσ ταγμένου οδηγού. Το Mercedes-Attention Assist χρησ ιμοποιεί την ίδια ιδέα αλλά χωρίς κάμερα καθώς οι πληροφορίες για τη γωνία του τιμονιού παρέχονται από ευαίσ θητο αισ θητήρα. Το σ ύσ τημα της Volvo Driver Alert Control χρησ ιμοποιεί κάμερα ώσ τε να σ υγκρίνει τη διαγράμμισ η του δρόμου με τις κινήσ εις του τιμονιού ώσ τε να ανιχνεύσ ει πιθανή κόπωσ η του οδηγού σ ε περίπτωσ η που το όχημα δεν ακολουθεί το δρόμο ομοιόμορφα. (a) (b) Figure 8: (a) Το σ ύσ τημα Driver Drowsiness Detection της Bosch χρησ ιμοποιεί πληροφορίες από αισ θητήρα σ το τιμόνι, την lane-assist camerα, την ταχύτητα και τα φλάς του αυτοκινήτου ώσ τε να ανιχνεύσ ει πιθανή υπνηλία του οδηγού. (b)προσ πάθεια της Volvo για ανάπτυξη Driver Gaze Detection σ υσ τήματος. Στην τρέχουσ α βιβλιογραφία προτείνονται πολύ πιο άμεσ ες λύσ εις, όπως πχ παρακολουθώντας το βλέμμα και τη σ τάσ η της κεφαλής του οδηγού [9]. Ωσ τόσ ο, αυτή η μέθοδος ερευνάται ακόμα με αποτελέσ ματα που δεν είναι αρκετά σ θεναρά για την εμπορική εφαρμογή της, καθώς υπάρχουν πολλές προκλήσ εις να αντιμετωπισ τούν όπως κακός φωτισ μός, απόκρυψη των ματιών από γυαλιά ηλίου κλπ Συστήματα Εντοπισμού Πεζών και Δικύκλων Pedestrian and Cyclist Detection Systems Σύμφωνα με το EURO NCAP [2] από το σ ύνολο των θανάτων σ τους ευρωπαϊκούς δρόμους κάθε χρόνο, κατά μέσ ο όρο, το 22% αφορά πεζούς, το 7% ποδηλάτες και το 20% αναβάτες μοτοσ υκλετών και μοτοποδηλάτων. Κατά την τελευταία δεκαετία, οι θάνατοι και οι σ οβαροί τραυματισ μοί των ευπαθών χρησ τών δρόμου (Vulnerable Road Users) δεν ακολουθούν την γενική πτωτική τάσ η. Η απαίτησ η μεγαλύτερης ενεργητικής ασ φάλειας πεζών και ποδηλατισ τών οδήγησ αν σ ε θεαματική αύξησ η των διαθέσ ιμων λύσ εων που προσ φέρει η αυτοκινητοβιομηχανία σ ε αυτό τον τομέα. Για παράδειγμα, το βραβευμένο από το EURO NCAP σ ύσ τημα Pedestrian Warning with City Brake Activation της BMW έχει σ κοπό να προειδοποιήσ ει τον οδηγό για επικείμενη πρόσ κρουσ η με κάποιον πεζό και να τον παρακινήσ ει σ ε δράσ η. Το σ ύσ τημα βασ ίζεται σ ε κάμερα τοποθετημένη πίσ ω από τον καθρέφτη σ τον ανεμοθώρακα του αυτοκινήτου. Σε ταχύτητες από 10km/h έως 60km/h το σ ύσ τημα προειδοποιεί τον 11

23 οδηγό για επικείμενη σ ύγκρουσ η με πεζό και ταυτόχρονα προετοιμάζει τα φρένα για ταχύτερη απόκρισ η. Ως έσ χατο μέσ ο, το αυτοκίνητο θα φρενάρει αυτόνομα λίγο πριν τη σ ύγκρουσ η αν ο οδηγός δεν ανταποκριθεί σ την προειδοποίησ η. Εναλλακτικό σ ύσ τημα που βασ ίζεται μόνο σ ε μία κάμερα είναι το Pedestrian Collision Warning της Mobileye (PCW) το οποίο περιλαμβάνεται και σ το Mobileye Shield +TM με δυνατότητα εντοπισ μού πεζών και ποδηλατών. Δυνατότητα ανίχνευσ ης πεζών περιλαμβάνει και το Subaru Eyesight το οποίο χρησ ιμοποιεί αποκλεισ τικά μια σ τερεοσ κοπική κάμερα προσ αρμοσ μένη σ τον ανεμοθώρακα του αυτοκινήτου. (a) Figure 9: (a) Το σ ύσ τημα Mobileye Pedestrian Collision Warning (PCW). (b) To σ ύσ τημα Volvo City Safety παρέχει δυνατότητα αναγνώρισ ης πεζών, ποδηλατών και οχημάτων χρησ ιμοποιώντας ταυτόχρονα κάμερα και Radar. (b) Αξίζει να σ ημειώσ ουμε ότι πολλές εταιρείες έχουν αναπτύξει υποσ υσ τήματα αναγνώρισ ης πεζών χρησ ιμοποιώντας ταυτόχρονα κάμερες και Radar. Παραδείγματα τέτοιων εμπορικών λύσ εων είναι το City Safety (Pedestrians, Cyclists) της Volvo, το Pre-SAFE BRAKE της Mercedes Benz (σ υνδυασ μός σ τερεοσ κοπικής κάμερας και Radar), το Pre-Collision Assist with Pedestrian Detection της Ford, και το Pedestrian Collision Mitigation Steering System της Honda. (a) Figure 10: (a) Το σ ύσ τημα SUBARU eyesight βασ ίζεται σ ε μια σ τερεοσ κοπική κάμερα και πρόσ φατα απέκτησ ε τη δυνατότητα ανίχνευσ ης πεζών. (b) Pedestrian Detection σ ύσ τημα της Volvo (b) 12

24 1.2.6 Συστήματα Νυχτερινής Ορασης - Night Vision Systems Ενα σ ύσ τημα Νυχτερινής Ορασ ης σ ε σ υνδυασ μό με υποσ υσ τήματα Εντοπισ μού Πεζών, προσ φέρει ενίσ χυσ η της όρασ ης κατά τις δύσ κολες σ υνθήκες της νυχτερινής οδήγησ ης και άρα μπορεί να αποδειχθεί σ ωτήριο για τον οδηγό. H Mercedes-Benz προσ φέρει το σ ύσ τημα Night View Assist PLUS το οποίο φωτίζει τη σ κηνή χρησ ιμοποιώντας δύο infrared LED spotlights και μια ειδική close-range infrared camera σ ε σ υνδυασ μό με μια long-range infrared camera (thermal imaging camera). Εχει τη δυνατότητα να εντοπίζει ανθρώπους σ ε απόσ τασ η 160 μέτρων και ζώα σ ε απόσ τασ η 100 μέτρων. Μόλις εντοπισ τεί κάποιος κίνδυνος, οι άνθρωποι και τα ζώα επισ ημαίνονται με κόκκινο χρώμα σ την οθόνη του οχήματος. Στην περίπτωσ η που αναγνωρισ τεί ένας άνθρωπος ένα spotlight αναβοσ βήνει ώσ τε να ειδοποιήσ ει τον οδηγό και τον πεζό για τον κίνδυνο. Αντίθετα, το σ ύσ τημα της BMW Night Vision with Dynamic light spot ακολουθεί μια παθητική μέθοδο χρησ ιμοποιώντας infrared camera και παρουσ ιάζει ως κίτρινες θερμικές εικόνες τα ανθρωπόμορφα αντικείμενα που εντοπίζονται. Με παρόμοιο τρόπο λειτουργεί το σ ύσ τημα Night vision assistant της Audi καθώς χρησ ιμοποιεί μια far infrared camera (FIR) και παρουσ ιάζει με κίτρινο χρώμα τους εντοπισ μένους ανθρώπους σ την οθόνη του σ υσ τήματος ενώ ταυτόχρονα ειδοποιεί τον οδηγό μέσ ω ηχητικού σ ήματος. Συσ τήματα νυχτερινής όρασ ης έχουν επίσ ης κατασ κευάσ ει η Toyota και η Honda αλλά αυτά είναι διαθέσ ιμα μόνο σ την Ιαπωνική αγορά. (b) (a) Figure 11: (a) Το Night vision assistant της Audi εντοπίζει πεζούς και τους επισ ημαίνει με κίτρινο χρώμα σ την οθόνη. (b) Το σ ύσ τημα Night view assist plus της Mercedes-Benz εντοπίζει ανθρώπους και ζώα κατά τη νυχτερινή οδήγησ η. 13

25 1.3 Συσ τήματα βασ ισ μένα σ ε υπολογισ τική όρασ η που βρίσ κονται ακόμα σ ε ερευνητικό σ τάδιο. Η πλειοψηφία των σ υσ τημάτων που παρουσ ιάσ τηκαν σ το προηγούμενο τμήμα της εργασ ίας έχουν ενσ ωματωθεί σ ε εμπορικές εφαρμογές έπειτα από εξονυχισ τική έρευνα σ χετικά με τη σ θεναρότητα και την αξιοπισ τία τους. Ως εκ τούτου υπάρχουν και σ υσ τήματα τα οποία δεν είναι αρκετά ώριμα ώσ τε να σ υμπεριληφθούν σ ε εμπορικά οχήματα. Σε αυτό το σ ημείο είναι επιτακτικό να επισ ημάνουμε ότι ακόμα και τα εμπορικώς διαθέσ ιμα σ υσ τήματα έχουν τους περιορισ μούς τους. Παράγοντες-περιορισ μοί που χειροτερεύουν την απόδοσ η ενός ΠΣΥΟ βασ ισ μένου σ ε υπολογισ τική όρασ η είναι οι κακές καιρικές σ υνθήκες, η περιορισ μένη ορατότητα, οι ξαφνικές αλλαγές σ το φωτισ μό και η πυκνή κίνησ η σ το δρόμο. Σε αυτή την ενότητα παρουσ ιάζονται κάποιοι ανοικτοί τομείς έρευνας σ χετικά με ΠΣΥΟ, βασ ισ μένα σ ε υπολογισ τική όρασ η Εντοπισμός Φωτεινών σηματοδοτών - Traffic Lights Recognition Μια από τις πλέον παραμελημένες πλευρές των ΠΣΥΟ είναι ο εντοπισ μός των φωτεινών σ ηματοδοτών. Λαμβάνοντας υπόψη ότι μεγάλος αριθμός σ οβαρών ατυχημάτων προκαλούνται από παραβίασ η των φωτεινών σ ηματοδοτών σ υμπεραίνουμε ότι περισ σ ότερη έμφασ η πρέπει να δοθεί σ την έρευνα σ τον τομέα αυτό. Ο εντοπισ μός φωτεινών σ ηματοδοτών δεν είναι ένα εύκολο ζήτημα εξαιτία της πολύ πυκνής παρουσ ίας κόκκινων και πράσ ινων φωτεινών πηγών σ τις πόλεις. Αυτό έχει ως σ υνέπεια τη σ ημαντική αύξησ η του ποσ οσ τού ψευδώς θετικών αξιολογήσ εων των σ υσ τημάτων αναγνώρισ ης φωτεινών σ ηματοδοτών Αναγνώριση Βλέμματος του Οδηγού - Driver Gaze Detection Σε προηγούμενη ενότητα αναφερθήκαμε σ τo πρόβλημα της έλλειψης προσ οχής του οδηγού. Ωσ τόσ ο, τα εμπορικά οχήματα δεν έχουν χρησ ιμοποιήσ ει υπολογισ τική όρασ η για την αντιμετώπισ η αυτού του ζητήματος. Η τρέχουσ α έρευνα σ τοχεύει σ τη χρήσ η καμερών εσ ωτερικά του οχήματος, οι οποίες θα παρακολουθούν τον οδηγό, έτσ ι ώσ τε να εντοπίζουν όχι μόνο την πιθανή κατάσ τασ η υπνηλίας, αλλά και για να ακολουθούν το βλέμμα του. Ο σ κοπός είναι να σ υσ χετισ τεί το βλέμμα του οδηγού με το περιβάλλον οδήγησ ης προειδοποιώντας για πιθανή έλλειψη σ υγκέντρωσ ης σ ε ένα κρίσ ημο σ ημείο. Παρολάυτά, οι προσ πάθειες σ ε αυτόν τον τομέα είναι ακόμα σ ε πρώιμο σ τάδιο και απέχουν πολύ από το να χρησ ιμοποιηθούν σ ε εμπορικά οχήματα Εντοπισμός Δρόμου - Road Detection Η αναγνώρισ η λωρίδων κυκλοφορίας είναι όπως αναφέραμε και νωρίτερα από τις πλέον ώριμες τεχνολογίες των εμπορικώς διαθέσ ιμων ΠΣΥΟ. Ωσ τόσ ο, παρέχουν χρήσ ιμη βοήθεια μόνο σ την περίπτωσ η οδήγησ ης σ ε αυτοκινητοδρόμους ή καλά σ υντηρημένους δρόμους. Αυτές όμως δεν είναι οι πιο σ υνηθισ μένες σ υνθήκες οδήγησ ης, καθώς πολλοί 14

26 δρόμοι σ τερούνται ευδιάκριτης διαγράμμισ ης ή δεν έχουν καθόλου διαγράμμισ η. Η οδήγησ η σ ε αδόμητους ή άσ τρωτους επαρχιακούς δρόμους αποτελεί ακόμα μεγάλη πρόκλησ η, όπως αποδείκτηκε και σ τα DARPA challenges [10]. Η έρευνα έχει εσ τιάσ ει σ τη δημιουργία ενός πιο γενικού αλγόριθμου αναγνώρισ ης του drivable path με σ τόχο τη σ θεναρή ανίχνευσ η του δρόμου σ τα περιβάλλοντα όλων των ειδών, σ ε όλες τις σ τιγμές της μέρας και κάτω από διαφορετικές σ υνθήκες. 1.4 Γενική δομή ενός ΠΣΥΟ βασισμένου σε υπολογιστική όραση Μέχρι σ τιγμής τα εμπορικά οχήματα περιέχουν σ υσ τήματα όρασ ης σ ε σ υνδυασ μό με άλλους αισ θητήρες, ή μεμονωμένα υποσ υσ τήματα τα οποία είναι επαρκώς σ θεναρά για να χρησ ιμοποιηθούν σ ε σ ενάρια οδήγησ ης του πραγματικού κόσ μου. Παρακάτω, φαίνεται μια σ θεναρή μορφή οργάνωσ ης ενός ΠΣΥΟ βασ ισ μένου αποκλεισ τικά σ ε μεθόδους υπολογισ τικής όρασ ης όπως προτείνεται σ το [11]. Figure 12: Οργάνωσ η ενός ΠΣΥΟ βασ ισ μένου αποκλεισ τικά σ ε μεθόδους υπολογισ τικής όρασ ης. Η σ υνεχής πρόοδος σ τον τομέα της αυτόματης υποβοήθησ ης και προειδοποίησ ης του οδηγού, δείχνει ότι δεν είμασ τε πολύ μακριά από την ανάπτυξη πολύ αξιόπισ των ΠΣΥΟ σ ε τυπικές σ υνθήκες οδήγησ ης. Σε τέτοια σ υσ τήματα η πλειονότητα των υποσ υσ τημάτων θα υλοποιούνται χρησ ιμοποιώντας μεθόδους υπολογισ τικής όρασ ης. 15

27 Κεφάλαιο 2 - Βιβλιογραφική Ανασκόπηση 2.1 Μέθοδοι που βασίζονται στη διαγράμμιση του οδοστρώματος Μια δημοφιλής προσ έγγισ η σ το ζήτημα της ανίχνευσ ης δρόμου είναι η χρήσ η της διαγράμμισ ης των λωρίδων κυκλοφορίας. Σε αυτή την προσ έγγισ η οι διαγραμμίσ εις του οδοσ τρώματος εντοπίζονται ώσ τε να αποκτηθεί πληροφορία για τα όρια του δρόμου με σ κοπό να διευκολυνθεί η διαδικασ ία κατάτμησ ης. Οι μέθοδοι που βασ ίζονται σ τη διαγράμμισ η του οδοσ τρώματος είναι σ υνήθως γρήγορες και απλές, χρησ ιμοποιούν εικόνες του γκρι ή βίντεο. Μια πρωτοπόρα εργασ ία παρουσ ιάζει γρήγορη χαρτογράφησ η από τρεις διασ τάσ εις σ ε δύο διασ τάσ εις, ακολουθούμενη από οριζόντια ανίχνευσ η ακμών [14]. Μετέπειτα εργασ ίες βασ ισ μένες σ την ανίχνευσ η ακμών παρουσ ιάζονται σ τα [15], [16], [17]. Οι παραπάνω προσ εγγίσ εις σ υχνά αποτυγχάνουν να αποδώσ ουν ικανοποιητικά σ ε πιο περίπλοκα περιβάλλοντα όπως επαρχιακούς μη-δομημένους δρόμους ή κακά σ υντηριμένους ασ τικούς δρόμους. 2.2 Χρήση χρωματικής πληροφορίας ή πληροφορίας φωτεινότητας Μια δεύτερη δημοφιλής μέθοδος ανίχνευσ ης οδοσ τρώματος είναι η χρήσ η χρωματικής πληροφορίας ή πληροφορίας φωτεινότητας με σ κοπό το διαχωρισ μό του οδοσ τρώματος, σ ε σ υνδυασ μό με κάποια εξαγωγή χαρακτηρισ τικών όπως ανίχνευσ η ακμών ώσ τε να εξαχθούν τα όρια του οδοσ τρώματος. Τέτοιες προσ πάθειες παρουσ ιάζονται σ τα [18], [19] χρησ ιμοποιώντας μη κατευθυνόμενη και κατευθυνόμενη κατάτμησ η Bayes αντίσ τοιχα. Ο μετασ χηματισ μός Watershed σ ε πληροφορία ακμών χρησ ιμοποιείται ώσ τε να διαχωρισ τεί ο δρόμος από το φόντο [20]. Η πληροφορία ακμών για ανίχνευσ η ορίων έχει χρησ ιμοποιηθεί σ τα [21] - [24]. Στο [22] πληροφορίες ακμών και εμβαδού σ υνδυάζονται ώσ τε να επιτευχθούν γρήγορα και σ θεναρά αποτελέσ ματα σ ε σ κηνές ασ τικής κυκλοφορίας. Τέτοιοι αλγόριθμοι είναι σ υνήθως γρήγοροι και ακριβείς σ ε καλά ελεγχόμενα περιβάλλοντα, ωσ τόσ ο δεν έχουν ελεγχθεί ενδελεχώς σ ε δυσ μενείς σ υνθήκες και κατά σ υνέπεια η ακρίβειά τους σ ε κακώς ορισ μένα όρια δρόμου δεν είναι εγγυημένη. Ενα πολύ δύσ κολο ζήτημα που σ υχνά χειροτερεύει τα αποτελέσ ματα τέτοιων μεθόδων αποτελεί η παρουσ ία σ κιών η οποία είναι πολύ σ υνηθισ μένη σ τις σ κηνές δρόμου που σ υναντούμε σ τη πραγματική ζωή. 2.3 Σύνθετες μέθοδοι οπτικής ροής και στερεοσκοπικής όρασης Για τη βελτίωσ η της ακρίβειας ανίχνευσ ης του δρόμου και τη σ θεναρότητα σ τις σ κιές, αρκετοί ερευνητές χρησ ιμοποίησ αν πιο σ ύνθετες μεθόδους, επεξεργαζόμενοι πληροφορίες σ χετικές με την οπτική ροή [25], [26] και τη σ τερεοσ κοπική όρασ η μέσ ω ζευγών καμερών [27] - [31]. Ανάμεσ α σ τις πιο πρόσ φατες μεθόδους σ τερεοσ κοπικής όρασ ης μια ομογραφική προσ έγγισ η περιλαμβάνεται σ το πεδίο του δρόμου και διατυπώνεται ως πρόβλημα μέγισ της a posteriori πιθανότητας σ ε ένα τυχαίο πεδίο Markov και παρουσ ιάζεται σ το [31]. Αυτή η διατύπωσ η επιτρέπει την υλοποίησ η ενός 16

28 αλγορίθμου βελτισ τοποίησ ης ο οποίος εναλλάσ σ εται μεταξύ ανίχνευσ ης δρόμου και μάθησ ης των βέλτισ των παραμέτρων μέσ ω του τρέχοντος ζεύγους σ τερεοσ κοπικών εικόνων. Στα [32] - [34], η a-priori γνώσ η του μοντέλου του δρόμου χρησ ιμοποιείται ώσ τε να αξιολογηθούν περιοχές ενδιαφέροντος ως δρόμος. Επιπρόσ θετα, πολλοί ερευνητές προτείνουν τη χρήσ η χρωματικά αμετάβλητων χρωματικών καναλιών, όπως ο πολύ γνωσ τός χροματικός χώρος HSI [35], ή το βασ ισ μένο σ ε εκπαίδευσ η χρωματικά αμετάβλητο χρωματικό χώρο που προτείνεται σ το [12], χρησ ιμοποιούμενο παράλληλα με σ τοχασ τικό ταξινομητή ώσ τε να πετύχει κατάτμησ η δρόμου. Η μέθοδος που βασ ίζεται σ το [12], χρησ ιμοποιείται ακόμα σ το [30], ώσ τε να κάνει δυνατή την εκτίμησ η της σ τάσ ης του κεφαλιού μέσ ω σ τερεοσ κοπικής κάμερας χρησ ιμοποιώντας registration χωρίς εξαγωγή χαρακτηρισ τικών (featureless registration) μεταξύ των ανιχνευμένων δρόμων από δύο ταυτόχρονα Frame που αποκτώνται από σ τερεοσ κοπικό ζευγάρι καμερών. Ενας αλγόριθμος κατευθυνόμενης εκπαίδευσ ης χρησ ιμοποιείται ώσ τε να δημιουργηθεί ένα πιθανοτικό μοντέλο δρόμου το οποίο θα σ υνδυάζει οπτική πληροφορία και a posteriori πιθανότητα, ώσ τε να δημιουργεί ένα roadness map σ το [36]. Τέλος, αξίζει να σ ημειώσ ουμε τη μέθοδο των George K. Siogas και Evangelos S. Dermatas σ το [13] όπου προτείνεται ένας πλήρως αυτόματος αλγόριθμος ο οποίος σ υνδυάζει χρονική και χωρική πληροφορία, χρησ ιμοποιώντας τον efficient Random Walker αλγόριθμο ως εργαλείο κατάτμησ ης. Ακόμη, προτείνουν μια νέα τεχνική αυτόματης επιλογής σ πόρων, χρησ ιμοποιώντας χαρακτηρισ τικά τα οποία παράγονται μέσ ω ενός ανθεκτικού σ τις σ κιές αλγορίθμου οπτικής ροής, χρησ ιμοποιώντας το κανάλι c1 του χρωματικού χώρου c1c2c3 σ ε σ υνδυασ μό με a-priori γνώσ η από το αποτέλεσ μα κατάτμησ ης προηγούμενων frames. Από την μελέτη της βιβλιογραφίας πολλά σ ημαντικά σ υμπεράσ ματα μπορούν να εξαχθούν: Η ακρίβεια των αλγορίθμων ανίχνευσ ης δρόμου εξαρτάται κυρίως από την πολυπλοκότητα του φόντου και τη δυσ κολία των περιβαλλοντικών σ υνθηκών. Αλγόριθμοι που υπεραπλουσ τεύουν το πρόβλημα μειώνουν το χρόνο απόκρισ ης αλλά τείνουν να παράγουν κακά αποτελέσ ματα σ ε αντίξοες σ υνθήκες, περίπλοκα, ή αδόμητα περιβάλλοντα. Η χρησ ιμοποίησ η εκτεταμένου αριθμού χαρακτηρισ τικών, όπως περιγραφείς βάθους ή κίνησ ης, αυξάνουν τη σ θεναρότητα αλλά έχουν ως σ υνέπεια πιο αργούς χρόνους επεξεργασ ίας, ιδιαίτερα για βίντεο μεγάλης ανάλυσ ης. Πολλές από τις προσ εγγίσ εις δεν χρησ ιμοποιούν πληροφορίες που αντλούνται από τη φύσ η του προβλήματος. Για παράδειγμα, χρησ ιμοποίησ η video αντί για μεμονωμένα frame, η χρήσ η πληροφορίας σ χετικά με τη θέσ η της κάμερας σ το όχημα ώσ τε να εσ τιάσ ει η ανίχνευσ η δρόμου σ ε προσ δοκώμενες υποψήφιες περιοχές (πχ. αποκλείοντας την ανώτερη πλευρά ενός frame). Τα βίντεο που χρησ ιμοποιούνται για αξιολόγησ η πολύ σ πάνια γίνονται δημόσ ια διαθέσ ιμα και σ υνήθως τείνουν να εξαιρούν αντίξοες σ υνθήκες, όπως ισ χυρή βροχόπτωσ η, ομίχλη, χιόνι, νυχτερινή οδήγησ η κλπ. 17

29 Σε εξαιρετικές καιρικές σ υνθήκες και καλά δομημένα περιβάλλοντα όπως αυτοκινητόδρομοι με διακριτές διαγραμμίσ εις, το πρόβλημα της ανίχνευσ ης του δρόμου μπορεί να λυθεί αποτελεσ ματικά με ελάχισ το υπολογισ τικό κόσ τος. Ωσ τόσ ο, καθώς οι καιρικές σ υνθήκες χειροτερεύουν και τα περιβάλλοντα γίνονται περισ σ ότερο πολύπλοκα, πχ. σ τενοί δρόμοι σ ε πόλεις με κίνησ η, ασ τικοί δρόμοι με ανωμαλίες σ το ασ φαλτικό σ κυρόδεμα, κλπ, το πρόβλημα της ανίχνευσ ης δρόμου γίνεται όλο και δυσ κολότερο. Επιπρόσ θετες επιδράσ εις όπως η αντανάκλασ η του δρόμου σ τον ανεμοθώρακα, ο μεγάλος αριθμός σ κιών, η νυκτερινή οδήγησ η, ξένα σ ωματίδια σ το φακό της κάμερας κλπ, καθώς και η απαίτησ η για απόκρισ η πραγματικού χρόνου και οικονομικής αποδοτικότητας, καθισ τούν το πρόβλημα της ανίχνευσ ης δρόμου με μια μόνη κάμερα σ το όχημα ακόμα μεγαλύτερη πρόκλησ η. 18

30 Κεφάλαιο 3 - Χρωματικά Κανάλια Αναλλοίωτα στη Μεταβολή Φωτεινότητας 3.1 Εισαγωγή Η ιδέα του αναλλοίωτου σ τη μεταβολή της φωτεινότητας είναι εξαιρετικής σ ημασ ίας για εφαρμογές οπτικής όρασ ης που προσ παθούν να λύσ ουν προβλήματα του πραγματικού κόσ μου όπως είναι τα σ υσ τήματα ανίχνευσ ης δρόμου. Ενα Σύσ τημα Ανίχνευσ ης Δρόμου επιβάλλεται να είναι σ θεναρό σ ε αλλαγές των περιβαλλοντικών σ υνθηκών, καθώς τα οπτικά χαρακτηρισ τικά της σ κηνής του πραγματικού κόσ μου ποικίλουν έντονα. Ενα αξιόπισ το σ ύσ τημα πρέπει να είναι σ θεναρό υπό όλες τις καιρικές σ υνθήκες, υπό όλες τις σ υνθήκες φωτεινότητας και να ανταπεξέρχεται σ ε περιβάλλοντα με πολύ διαφορετικά χαρακτηρισ τικά. Για παράδειγμα, η ανίχνευσ η του δρόμου μπορεί να γίνεται σ ε ένα ηλιόλουσ το πρωϊνό ή σ ε ένα σ κοτεινό τούνελ, σ ε ένα επαρχιακό δρόμο (rural areas) ή σ ε μια ασ τική περιοχή (urban road). Ιδιαίτερης σ ημασ ίας είναι και η καλή λειτουργία του σ υσ τήματος κάτω από αντίξοες σ υνθήκες όπως βροχόπτωσ η, έντονες φωτοσ κιάσ εις, νυχτερινή οδήγησ η κλπ. Είναι επιθυμητό το σ ύσ τημα ανίχνευσ ης του δρόμου να προσ αρμόζεται σ ε απότομες αλλαγές φωτεινότητας γρήγορα και αν είναι δυνατόν χωρίς να χρησ ιμοποιεί κάποιο μοντέλο δρόμου ή κάποια διαδικασ ία εκπαίδευσ ης. 3.2 Ανίχνευση και Απομάκρυνση Σκιών Η ανίχνευσ η και απομάκρυνσ η σ κιών αποτελεί από τα πλέον δύσ κολα προβλήματα σ τα σ υσ τήματα ανίχνευσ ης δρόμου. Αιτία αυτού είναι ότι δεν διαθέτουμε την απαιτούμενη πληροφορία για τη δομή της εικόνας. Δηλαδή, η γεωμετρία της σ κηνής, τα υλικά των επιφανειών και η πλήρης περιγραφή της ροής του φωτός μέσ α σ τη σ κηνή δεν είναι γνωσ τά. Ως αποτέλεσ μα η διάκρισ η μεταξύ μιας σ κιάς και μιας αλλαγής σ το χρώμα των υλικών του οδοσ τρώματος ή ενός εμποδίου, να είναι μια πολύ δύσ κολη διαδικασ ία. Για την επίλυσ η προβλημάτων όπου παρατηρούνται απότομες αλλαγές φωτεινότητας σ τη σ κηνή ή έντονες φωτοσ κιάσ εις έχουν προταθεί πολλές προσ εγγίσ εις σ τη βιβλιογραφία [37], [38], με τις περισ σ ότερες από αυτές να σ υνισ τούν τη χρήσ η χρωματικών καναλιών τα οποία είναι περισ σ ότερο σ θεναρά σ τις μεταβολές φωτεινότητας σ ε σ ύγκρισ η με το κανάλι RGB. To κύριο πρόβλημα του χρωματικού καναλιού RGB όταν χρησ ιμοποιείται σ ε εφαρμογές πραγματικού κόσ μου αποτελεί η υψηλή σ υσ χέτισ η μεταξύ των καναλιών του, το οποίο το καθισ τά ευπαθές σ ε μεταβολές της φωτεινότητας. Για τη δημιουργία του σ υσ τήματος αναγνώρισ ης δρόμου σ ε αυτή τη διπλωματική έχουμε χρησ ιμοποιήσ ει το σ χετικά νέο κανάλι c1c2c3 [39] εξαιτίας της αμεταβλητότητας του σ τη μεταβολή της φωτεινότητας. 19

31 3.3 Το σύστημα απεικόνισης της ψηφιακής κάμερας και η διαφορά με το οπτικό σύστημα του ανθρώπου. Ο άνθρωπος αντιλαμβάνεται τα αντικείμενα λόγο τoυ φωτός που ανακλάται από την επιφάνεια τους [46]. Συνήθως το ανακλώμενο φως των περισ σ ότερων ματ αντικειμένων φτάνει σ τα μάτια μας αφού πρώτα σ κεδάζεται-διασ κορπίζεται σ το περιβάλλον. Αντίθετα, με την ανάκλασ η ενός λείου αντικειμένου, οι ακτίνες του φωτός εκτρέπονται σ ε τυχαίες κατευθύνσ εις εξαιτίας ατελειών σ το μέσ ο διάδοσ ης. Οταν τα ανθρώπινα μάτια δεσ μεύσ ουν το φως διαμορφώνεται η αντίληψη για το αντικείμενο από τον εγκέφαλό μας. Παρότι η ψηφιακή κάμερα έχει πολλά κοινά χαρακτηρισ τικά με τα ανθρώπινα μάτια η λειτουργία της είναι διαφορετική. Ενα από τα πλεονεκτήματα του ανθρώπινου οπτικού σ υσ τήματος είναι ότι το μάτι μπορεί να αντιληφθεί το χρώμα ανεξάρτητα από την τιμή της φωτεινότητας σ το περιβάλλον Εγχρωμη όραση και Χρωματική Σταθερότητα Η έγχρωμη όρασ η είναι μια διαδικασ ία με την οποία οι οργανισ μοί και οι μηχανές είναι δυνατόν να διακρίνουν αντικείμενα βασ ιζόμενοι σ τα διαφορετικά μήκη κύματος του φωτός που ανακλάται, μεταδίδεται ή εκπέμπεται από ένα αντικείμενο. Ο άνθρωπος αντιλαμβάνεται το φως μέσ ω του οφθαλμού όπου δύο τύποι φωτοϋποδοχέων ραβδία και κωνία σ τέλνουν σ ήματα σ τον οπτικό φλοιό ο οποίος με τη σ ειρά του επεξεργάζεται αυτές τις πληροφορίες σ ε υποκειμενική αντίληψη του χρώματος. Η Χρωματική Σταθερότητα είναι η ιδιότητα του ανθρώπινου ματιού η οποία εξασ φαλίζει ότι το αντιλαμβανόμενο χρώμα των αντικειμένων παραμένει σ χετικά σ ταθερό υπό ποικίλες σ υνθήκες φωτισ μού. Για παράδειγμα, άνθρωποι με φυσ ιολογικές οπτικές δεξιότητες αντιλαμβάνονται το φύλλωμα ενός δέντρου πάντα ως πράσ ινο ανεξάρτητα από το αν είναι μεσ ημέρι όπου ο φωτισ μός είναι λευκός, ή σ ούρουπο όπου ο φωτισ μός είναι κόκκινος. Η χρωματική σ ταθερότητα είναι μια υποκειμενική σ ταθερότητα και παραμένει σ χετικά σ ταθερή σ ε σ υνθήκες κανονικών φυσ ιολογικών διακυμάνσ εων. Το φαινόμενο ερμηνεύτηκε από τον N.Daw [48],[49] χρησ ιμοποιώντας τα Double opponent κύτταρα, αργότερα ο E.Land ανέπτυξε τη θεωρία retinex theory για να το ερμηνεύσ ει [52]. Ωσ τόσ ο για ένα CCD/CMOS αισ θητήρα της ψηφιακής κάμερας το χρώμα είναι ισ χυρά σ υσ χετισ μένο με την τιμή της φωτεινότητας σ το περιβάλλον, καθώς η κάμερα δεν μπορεί να πάρει ως δεδομένο την εμφάνισ η της εικόνας, οπότε αγνοεί την περιβαλλοντική τιμή της φωτεινότητας Η θεωρία Retinex Η θεωρία Retinex ασ χολείται με την επανόρθωσ η των επιδράσ εων του φωτισ μού σ την εικόνα [52]. Ο κύριος σ τόχος είναι να αποσ υνθέσ ουμε την εικόνα S σ ε δύο διαφορετικές εικόνες, την εικόνα της ανάκλασ ης R και την εικόνα του φωτισ μού L, έτσ ι ώσ τε σ ε κάθε σ ημείο (x, y) της εικόνας να ισ χύει ότι: S(x, y) = R(x, y) L(x, y). Τα οφέλη ενός τέτοιου διαχωρισ μού είναι η αφαίρεσ η των επιδράσ εων του φωτισ μού (εμπρόσ θιου ή οπίσ θιου) και η βελτίωσ η των λήψεων που περιέχουν χωρικά μεταβαλλόμενο φωτισ μό όπως εικόνες που απεικονίζουν ταυτόχρονα εσ ωτερικούς και εξωτερικούς χώρους. Είναι γνωσ τό ότι η ανάκτησ η του φωτισ μού μιας δεδομένης εικόνας αποτελεί ένα κακώς ορισ μένο μαθηματικό πρόβλημα και οι αλγόριθμοι που προτείνονται σ τη βιβλιογραφία ποικίλλουν προς τις προτεινόμενες μεθόδους για τη λύσ η του. Η μεθοδολογία Retinex 20

32 αναπτύχθηκε πρώτη φορά από τον Land [52] κατά την έρευνα ορόσ ημο πάνω σ το ανθρώπινο σ ύσ τημα όρασ ης (Land, 1977). Κατά τη διάρκεια των πειραμάτων του απέδειξε ότι το ανθρώπινο οπτικό σ ύσ τημα είναι ικανό να αναγνωρίζει πρακτικά και να ταιριάζει τα χρώματα κάτω από μεγάλου εύρους διαφορετικούς φωτισ μούς, το οποίο αναφέρεται και ως Φαινόμενο Χρωματικής Σταθερότητας (Color Constancy Phenomenon). Στην πραγματικότητα, τα ευρήματα του Land δείχνουν ότι ακόμα και όταν αισ θητήρια σ ήματα του αμφιβλησ τροειδούς που προέρχονταν από διαφορετικές χρωματικές ομάδες υπό διαφορετικούς φωτισ μούς είναι ταυτόσ ημα, τα υποκείμενα της έρευνας ήταν ικανά να ονοματίσ ουν το χρώμα ανάκλασ ης της επιφάνειας. Αξίζει να σ ημειώσ ουμε ότι η δυνατότητα να εξάγουμε την εικόνα φωτεινότητας μέσ ω ενός αλγορίθμου επανόρθωσ ης των επιδράσ εων του φωτισ μού είναι ικανή αλλά όχι αναγκαία ώσ τε να αποκτήσ ουμε την ιδιότητα της χρωματικής σ ταθερότητας Χρωματική σταθερότητα με βάση τη φυσιολογία Κατά τη φυσ ιολογία για την ύπαρξη χρωματικής σ ταθερότητας πισ τεύεται ότι περιλαμβάνονται εξειδικευμένοι νευρώνες σ τον κύριο οπτικό φλοιό, οι οποίοι υπολογίζουν την τοπική αναλογία της δρασ τηριότητας των κωνίων, ο οποίος είναι ο ίδιος υπολογισ μός με τον αλγόριθμο retinex που χρησ ιμοποιεί ο Land ώσ τε να επιτύχει χρωματική σ ταθερότητα. Αυτά τα εξειδικευμένα κύτταρα ονομάζονται διπλά-αντίπαλα κύτταρα (double oponent cells) διότι υπολογίζουν ταυτόχρονα και την αντιπαλότητα του χρώματος και τη χωρική αντιπαλότητα [50], [51]. Τα διπλά-αντίπαλα κύτταρα (double opponent cells) πρώτα περιγράφηκαν από τον Nigel Daw σ τον αμφιβλισ τροειδή των χρυσ όψαρων [48]. Η χρωματική σ ταθερότητα λειτουργεί μόνο αν το προσ πίπτων φως περιέχει μια γκάμα από μήκη κύματος. Τα διαφορετικά κωνία του ματιού ανιχνεύουν διαφορετικές αλλά αλληλοκαλυπτόμενες περιοχές μήκους κύματος του φωτός που ανακλάται από τη σ κηνή. Από αυτή την πληροφορία το οπτικό σ ύσ τημα προσ παθεί να προσ εγγίσ ει το πραγματικό χρώμα του αντικειμένου ή την ανάκλασ ή του: τα μήκη κύματος του φωτός που ένα αντικείμενο ανακλά (reflectance). Αυτή η ανάκλασ η καθορίζει σ ε μεγάλο βαθμό το αντιλαμβανόμενο χρώμα Αναγνώριση αντικειμένων με βάση το χρώμα Η χρωματική πληροφορία αποτελεί ένα πολύ δυνατό εργαλείο σ την αναγνώρισ η των αντικειμένων. Ο σ κοπός της αναγνώρισ ης αντικειμένων με βάσ η το χρώμα είναι η σ θεναρή αναγνώρισ η αντικειμένων ανεξάρτητα από την αλλαγή σ τη γωνία θέασ ης, τη γεωμετρία του σ ώματος και του φωτισ μού. Μια απλή αλλά αποτελεσ ματική τεχνική αποτελεί η αναπαράσ τασ η και το ταίριασ μα της εικόνας με τη χρήσ η ισ τογραμμάτων χρώματος όπως προτείνουν οι Swain και Ballard [40]. Η εργασ ία τους αποτελεί μια σ ημαντική σ υμβολή σ τη χρήσ η χρώματος σ την αναγνώρισ η αντικειμένων. Ωσ τόσ ο, παρουσ ιάζει το μειονέκτημα ότι όταν οι σ υνθήκες φωτισ μού αλλάξουν, η ακρίβεια της αναγνώρισ ης υποβαθμίζεται σ ημαντικά. Η παραπάνω μέθοδος επεκτάθηκε από τους Funt και Finlayson [41], οι οποίοι βασ ίσ τηκαν σ τη θεωρεία retinex του Land [42], ώσ τε να κάνουν τη μέθοδο ανεξάρτητη από το φωτισ μό, αναθέτοντας χρωματικά αμετάβλητους περιγραφείς επιφάνειας (αναλογίες χρώματος) υπολογισ μένους από γειτονικά σ ημεία. Ωσ τόσ ο, η μέθοδός τους βασ ίζεται σ την παραδοχή ότι τα γειτονικά σ ημεία ανήκουν όλα σ την ίδια επίπεδη επιφάνεια. Εξαιτίας αυτού, οι 21

33 χρωματικά αμετάβλητοι περιγραφείς επιφάνειας επηρεάζονται αρνητικά από απότομες μεταβολές του προσ ανατολισ μού της επιφάνειας του αντικειμένου, δηλαδή από τη γεωμετρία του αντικειμένου. Οι Healey και Slater [43] και Finlayson et al. [44] χρησ ιμοποιούν χρωματικά-αμετάβλητες ροπές χρωματικών κατανομών για την αναγνώρισ η αντικειμένων. Οι παραπάνω μέθοδοι είναι ευαίσ θητες σ την απόκρυψη και το σ υνωσ τισ μό των αντικειμένων σ τη σ κηνή, καθώς οι ροπές ορίζονται ως ενδογενής ιδιότητα του αντικειμένου ως τέτοιο. Γενικά, σ ε ολισ τικές μεθόδους (global methods) τα κριμένα μέρη ενός αντικειμένου εμποδίζουν την αναγνώρισ η. Οι Slater και Healey [45] παρακάμπτουν αυτό το πρόβλημα υπολογίζοντας τα χαρακτηρισ τικά του χρώματος σ ε μικρές περιοχές του αντικειμένου αντί για ολόκληρο το αντικείμενο σ υνολικά. Από τα παραπάνω σ υμπεραίνουμε ότι η επιλογή χρωματικού χώρου βασ ίζεται όχι μόνο σ τη σ θεναρότητα σ τον μεταβαλλόμενο φωτισ μό της σ κηνή (πχ. πολλαπλές πηγές φωτός με διαφορετικές κατανομές φασ ματικής ισ χύος), αλλά και σ τη σ θεναρότητα σ τις αλλαγές της κατεύθυνσ ης της επιφάνειας των αντικειμένων (πχ. γεωμετρία του αντικειμένου) και σ τη σ θεναρότητα σ το κρύψιμο και το σ υνωσ τισ μό των αντικειμένων σ τη σ κηνή. Ακόμη, τα χρωματικά μοντέλα θα πρέπει να είναι σ υνοπτικά - concise, μεροληπτικά discriminatory και σ θεναρά σ την παρουσ ία θορύβου. Για τους παραπάνω λόγους οι T.Gevers και A.W.M. Smeulders [39] ορίζουν τα παρακάτω κριτήρια για την αξιολόγησ η χρωματικών μοντέλων για το σ κοπό της αναγνώρισ ης αντικειμένων: Σθεναρότητα σ την αλλαγή της κατεύθυνσ ης θέασ ης Σθεναρότητα σ την αλλαγή της γεωμετρίας του σ ώματος Σθεναρότητα σ την αλλαγή της κατεύθυνσ ης του φωτισ μού Σθεναρότητα σ την αλλαγή της κατανομής φασ ματικής ισ χύος (SPD) του φωτισ μού Επιπρόσ θετα τα μεροληπτικά χρωματικά κανάλια εμφανίζουν τις παρακάτω ιδιότητες: Υψηλή μεροληπτική ισ χύ Σθεναρότητα σ το κρύψιμο και το σ υνωσ τισ μό των αντικειμένων Σθεναρότητα σ τη παρουσ ία θορύβου σ τις εικόνες Οι T.Gevers και A.W.M. Smeulders [39] κάνοντας την παραδοχή του μοντέλου διχρωμικής ανάκλασ ης (dichromatic reflectance), αποδεικνύουν και επιβεβαιώνουν πειραματικά ότι το κανονικοποιημένο χρώμα rgb, o κορεσ μός-saturation S και η χροιά-hue H καθώς και τα σ χετικά νέα κανάλια c1c2c3 και l1l2l3 είναι όλα αμετάβλητα σ την αλλαγή της γωνίας θέασ ης, τη γεωμετρία του σ ώματος και το φωτισ μό. Ακόμη, αποδεικνύεται ότι η χροιά H και το κανάλι l1l2l3 είναι αμετάβλητα σ τις αντανακλάσ εις (highlights). Τέλος, προτείνουν το νέο χρωματικά σ ταθερό κανάλι m1m2m3, ώσ τε να λύσ ουν το πρόβλημα της μεταβολής της κατανομής φασ ματικής ισ χύος (SPD) του φωτισ μού. Στον παρακάτω πίνακα μπορούμε να δούμε σ υνοπτικά τις ιδιότητες των διαφόρων χρωματικών καναλιών όπως αυτές παρουσ ιάζονται απο τους T.Gevers και A.W.M. Smeulders [39]. 22

34 viewing direction Surface orientation highlightsillumination direction Illumination intensity IlluminationInter-reflection color I RGB rgb S c1c2c H l1l2l m1m2m Table 2: + εκφράζει αμεταβλητότητα και - εκφράζει ευαισ θησ ία του χρωματικού καναλιού σ τη σ υνθήκη φωτισ μού 3.4 Το μοντέλο της ανάκλασης Για να κατανοήσ ουμε την επίδρασ η φαινομένων που δυσ χεραίνουν τη διαδικασ ία αναγνώρισ ης του δρόμου όπως σ κιές και αντανακλάσ εις (highlights), αλλά και για να την αξία των χρωματικά αμετάβλητων χρωματικών χώρων, αξίζει να μελετήσ ουμε το φαινόμενο της ανάκλασ ης και τις επιδράσ εις των διαφορετικών παραγόντων σ τις τιμές φωτεινότητας που καταγράφει ο αισ θητήρας μιας ψηφιακής κάμερας. Επειτα, παρουσ ιάζουμε το χρωματικά αμετάβλητο χώρο c1c2c3 όπως αυτός ορίζεται από τους Gevers και Smeulders σ το [39]. Εσ τω μια απειροσ τή επιφάνεια ενός μη ομογενούς διηλεκτικού υλικού. Για τη λήψη μιας ψηφιακής εικόνας της απειροσ τής επιφάνειας η οποία φωτίζεται από πηγή φωτός με φασ ματική κατανομή υσ χύος SPD e(λ). Η κάμερα έχει αισ θητήρες κόκκινου, πράσ ινου και μπλέ φωτός με φασ ματικές αποκρίσ εις f R (λ), f G (λ), f B (λ) αντίσ τοιχα. Οι μετρούμενες τιμές από τους αισ θητήρες δίνονται σ ύμφωνα με το shafer απο τη σ χέσ η: ˆ ˆ C = m b (n, s) f c (λ)e(λ)c b (λ)dλ + m s (n, s, v) f c (λ)e(λ)c s (λ)dλ λ με C = {R, G, B} να δίνει την απόκρισ η του C th αισ θητήρα. Ακόμα, c b (λ) καιc s (λ) είναι το albedo και η ανάκλασ η Fresnel αντίσ τοιχα. Το λ αναπαρισ τά το μήκος κύματος, n είναι το κάθετο διάνυσ μα σ τη απειροσ τή επιφάνεια, s είναι η κατεύθυνσ η της πηγής φωτός, και v είναι η κατεύθυνσ η του παρατηρητή. Οι όροι m b και m s αναπαρισ τούν τις γεωμετρικές εξαρτήσ εις της ανακλώμενης σ υνισ τώσ ας από τη γεωμετρία του σ ώματος και της επιφάνειας αντίσ τοιχα. Με άλλα λόγια το φως που φτάνει σ την κάμερα αποτελείται από δύο σ υνισ τώσ ες. Η πρώτη σ υνισ τώσ α είναι η ανάκλασ η σ ώματος, η οποία περιγράφει το φως που ανακλάται αφού πρώτα αλληλεπιδράσ ει με το albedo της επιφάνειας. Ο δεύτερος όρος ονομάζεται και ανάκλασ η διεπαφής (interface reflection) ο οποίος περιγράφει το μέρος του φωτός που ανακλάται απευθείας από την επιφάνεια, προκαλώντας αντανακλάσ εις. λ 23

35 3.4.1 Μοντέλο ουδέτερης αντανάκλασης - Νeutral interface reflection NIR Εσ τω το μοντέλο ουδέτερης αντανάκλασ ης, σ το οποίο η ανάκλασ η της επιφάνειας c s (λ) = c s έχει σ ταθερή τιμή ανεξάρτητη από το μήκος κύματος και η πηγή φωτός έχει ίσ η ενεργειακή πυκνότητα e(λ) = e για όλα τα μήκη κύματος σ το ορατό φάσ μα. Προκύπτει ότι οι μετρούμενες τιμές των αισ θητήρων υπό την παραδοχή λευκού φωτισ μού δίνονται από τη σ χέσ η: C w = em b (n, s)k c + em s (n, s, v)c s ˆ λ f c (λ)dλ για C w ɛ {R w, G w, B w } δίνουν την απόκρισ η του κόκκινου, πράσ ινου και μπλέ αισ θητήρα αντίσ τοιχα. Ακόμα, k c = λ f c(λ)c b (λ)dλ είναι η σ υμπαγής μορφή που εξαρτάται μόνο από τους αισ θητήρες και το albedo της επιφάνειας. Αν η υπόθεσ η του λευκού φωτός ισ χύει τότε: ˆ ˆ ˆ f R (λ)dλ = f G (λ)dλ = f B (λ)dλ = f λ λ Η ανάκλασ η από μη ομογενή διηλεκτρικά υλικά υπό λευκό φωτισ μό δίνεται από C w = em b (n, s)k c + em s (n, s, v)c s f. λ Ο όρος της ανάκλασ ης του σ ώματος είναι : C b = em b (n, s)k c για C b ɛ {R b, G b, B b } δίνουν την απόκρισ η του κόκκινου, πράσ ινου και μπλέ αισ θητήρα αντίσ τοιχα μιας απειροσ τής ματ επιφάνειας υπό λευκό φωτισ μό. Σύμφωνα με τον όρο ανάκλασ ης του σ ώματος, το χρώμα εξαρτάται από το kc που σ υμβολίζει την απόκρισ η των αισ θητήρων και της επιφάνειας, την έντασ η του φωτισ μού e και τη γεωμετρία του αντικειμένου m b (n, s). Αν μια ματ επιφάνεια, η οποία είναι ομοιόμορφα χρωματισ μένη (με σ ταθερό albedo), περιέχει μια ποικιλία καθέτων διανυσ μάτων n, τότε τα μετρούμενα χρώματα θα δημιουργήσ ουν μια επιμήκη σ υσ τάδα σ το RGB χρωματικό χώρο, όπου η κατεύθυνσ η της λωρίδας καθορίζεται από το k c και η έκτασ η της από τις μεταβολές των καθέτων n σ ε σ χέσ η με την κατεύθυνσ η του φωτισ μού s. Ως αποτέλεσ μα, μία ομοιόμορφα χρωματισ μένη επιφάνεια η οποία είναι κυρτή (μεταβαλλόμενος προσ ανατολισ μός επιφάνειας) έχει μεγάλη διακύμανσ η των τιμών RGB που μετράνε οι αισ θητήρες της ψηφιακής κάμερας. Το ίδιο μπορεί να αποδειχθεί και για την φωτεινότητα I Xρωματικά αμετάβλητο μοντέλο c1c2c3 Ορίζουμε το παρακάτω χρωματικό μοντέλο: ( ) R c1 = arctan, max {G, B} ( ) G c2 = arctan, max {R, B} 24

36 ( ) B c3 = arctan, max {R, G} υποδηλώνοντας τις γωνίες του διανύσ ματος ανάκλασ ης του σ ώματος (angles of the body reflection vector) και κατά σ υνέπεια είναι αμετάβλητο για ματ θαμπή επιφάνεια (matte dull surface) ( ) ( ) em b (n, s)k R k R c 1 (R b, G b, B b ) = arctan = arctan, max {em b (n, s)k G, em b (n, s)k B } max {k G, k B } ( ) ( ) em b (n, s)k G k G c 2 (R b, G b, B b ) = arctan = arctan, max {em b (n, s)k R, em b (n, s)k B } max {k R, k B } ( ) ( ) em b (n, s)k B k B c 3 (R b, G b, B b ) = arctan = arctan, max {em b (n, s)k R, em b (n, s)k G } max {k R, k G } και εξαρτάται μόνο από τους αισ θητήρες και το albedo της επιφάνειας. Προφανώς σ την πράξη η παραδοχή ότι τα αντικείμενα αποτελούνται από ματ θαμπές επιφάνειες δεν είναι πάντοτε ρεαλισ τική. Στον παρακάτω πίνακα μπορούμε να επιβεβαιώσ ουμε τις ιδιότητες διαφορετικών χρωματικών καναλιών παρατηρώντας την αρχική εικόνα και τη φωτεινότητα του κάθε καναλιού. 25

37 Figure 13: Η ίδια σ κηνή σ ε διαφορετικά χρωματικά κανάλια. Κάθε γραμμή περιέχει την αυθεντική εικόνα και την φωτεινότητα κάθε καναλιού: η πρώτη γραμμή απεικονίζει την RGB εικόνα, η δεύτερη την L*a*b*, η τρίτη την HSV, η τέταρτη την YCbCr και η πέμπτη την c1c2c3 εικόνα. 26

38 Κεφάλαιο 4 - Χωροχρονική Πληροφορία 4.1 Εισαγωγή Για την υλοποίησ η του αλγορίθμου ανίχνευσ ης δρόμου εκμεταλλευόμασ τε χωροχρονική πληροφορία ώσ τε να εντοπίσ ουμε τα εικονοσ τοιχεία που δεν ανήκουν σ το δρόμο όπως εμπόδια, οχήματα, πεζούς, δέντρα κλπ. Αυτού του τύπου ο εντοπισ μός είναι δύσ κολος να υλοποιηθεί χωρίς σ τερεοσ κοπική όρασ η, η οποία παρέχει πληροφορία για τη δομή της εικόνας. Για να αποκτήσ ουμε χωροχρονική πληροφορία χρησ ιμοποιούμε τον κλασ ικό αλγόριθμο οπτικής ροής Horn and Schunck. Το χαρακτηρισ τικό που εκμεταλλευόμασ τε είναι η απουσ ία υφής σ την επιφάνεια του οδοσ τρώματος. Αυτό έχει σ αν σ υνέπεια ότι ένας αραιός αλγόριθμος οπτικής ροής υπολογίζει χαμηλά επίπεδα κίνησ ης σ τα εικονοσ τοιχεία που αντισ τοιχούν σ το δρόμο. Εξαιτίας της προηγούμενης ιδιότητας είναι δυνατός ο αποτελεσ ματικός διαχωρισ μός του δρόμου από εμπόδια, διαγράμμισ η και όρια σ κιών. Αξίζει να σ ημειώσ ουμε ότι αυτή η σ υμπεριφορά του αλγορίθμου θα χαρακτηριζόταν ως ελαττωματική αν το ζητούμενο ήταν ο ακριβής υπολογισ μός της οπτικής ροής, ωσ τόσ ο αποδεικνύεται πολύ χρήσ ιμη για το διαχωρισ μό των σ τοιχείων του δρόμου και μή-δρόμου. Ενας κλασ ικός αλγόριθμος που σ υμπεριφέρεται όπως προείπαμε, ιδιαίτερα αν σ ταματήσ ει μετά από λίγες επαναλήψεις, είναι ο κλασ ικός αλγόριθμος Horn and Schunck. Αυτή η μέθοδος είναι αρκετά γρήγορη για εφαρμογές όπως ο εντοπισ μός οδοσ τρώματος. Το κύριο μειονέκτημα της μεθόδου για αυτή την εφαρμογή είναι ότι βασ ίζεται σ ε εικόνες κλίμακας του γκρι. Ο αλγόριθμος βασ ίζεται σ τη παραδοχή ότι η φωτεινότητα της εικόνας δεν παρουσ ιάζει ασ υνέχειες, με σ υνέπεια να πάσ χει από υψηλή ευαισ θησ ία σ τις σ κιές και σ τις αλλαγές της φωτεινότητας. 4.2 Οπτική Ροή Μια πολύ σ ημαντική μεθοδολογία για την εξαγωγή πληροφορίας σ χετικά με την κίνησ η ενός αντικειμένου είναι ο υπολογισ μός της οπτικής Ροής. Η οπτική ροή σ ύμφωνα με το [53] αποτελεί την προσ έγγισ η της κίνησ ης της εικόνας που ορίζεται ως η προβολή των ταχυτήτων των τρισ διάσ τατων σ ημείων μιας επιφάνειας σ το πεδίο φωτογράφησ ης του οπτικού σ υσ τήματος αισ θητήρων. Για τη λύσ η αυτού του προβλήματος έχει προταθεί μεγάλη ποικιλία αλγορίθμων ο καθένας με τα δικά του πλεονεκτήματα και μειονεκτήματα. Ενας γενικός κανόνας που πηγάζει από τη σ χετική βιβλιογραφία [54] είναι ότι υπάρχει σ υμβιβασ μός μεταξύ ταχύτητας επεξεργασ ίας και ακρίβειας. Οι αλγόριθμοι οπτικής ροής που προσ φέρουν πυκνά (dense) και ακριβή αποτελέσ ματα σ υνήθως έχουν αποτρεπτική υπολογισ τική πολυπλοκότητα για εφαρμογές πραγματικού χρόνου. Αντίθετα, γρηγορότεροι αλγόριθμοι που παράγουν αραιά (sparse) αποτελέσ ματα δεν είναι αξιόπισ τοι ώσ τε να παρέχουν ακριβείς υπολογισ μούς, οι οποίοι θα μπορούσ αν να χρησ ιμοποιηθούν για εφαρμογές όπως η διαμέρισ η εικόνων βασ ισ μένη σ την κίνησ η των αντικειμένων. Σε αυτή τη διπλωματική έχουμε χρησ ιμοποιήσ ει τον πυκνό αλγόριθμο που προτάθηκε από τους Horn and Schunck [55]. Αυτός ο αλγόριθμος βασ ίζεται σ την παραδοχή ότι η οπτική ροή είναι ομαλή σ ε όλη την εικόνα. Η μέθοδος προσ παθεί να ελαχισ τοποιήσ ει τις μεταβολές της οπτικής ροής επαναληπτικά ευνοώντας λύσ εις οι 27

39 οποίες παράγουν πιο ομαλή οπτική ροή. Για τη λύσ η του προβλήματος οι Horn and Schunck θέτουν ορισ μένους περιορισ μούς, όπως ότι η επιφάνεια της εικόνας είναι επίπεδη και άρα δεν υπάρχουν μεταβολές της φωτεινότητας εξαιτίας σ κιών. Επιπλέον, θεωρούν ότι το προσ πίπτον φως είναι ομοιόμορφο σ ε όλη την επιφάνεια και κατά σ υνέπεια η μετρούμενη φωτεινότητα σ ε ένα σ ημείο της εικόνας είναι ανάλογη της ανακλασ τικότητας της επιφάνειας σ ε κάθε σ ημείο του αντικειμένου. Τέλος, για να εξασ φαλισ τεί ότι η φωτεινότητα της εικόνας είναι διαφορίσ ιμη, γίνεται η αποδοχή ότι η ανακλασ τικότητα του αντικειμένου μεταβάλλεται ομαλά και δεν παρουσ ιάζει χωρικές ασ υνέχειες. (a) frame 160 (b) οπτική ροή της φωτεινότητας (c) οπτική ροή του καναλιού c1 (d) frame 450 (e) οπτική ροή της φωτεινότητας (f) οπτική ροή του καναλιού c1 (g) frame 360 (h) οπτική ροή της φωτεινότητας (i) οπτική ροή του καναλιού c1 Figure 14: Διαπισ τώνουμε ότι η οπτική ροή του καναλιού c1 είναι πολύ λιγότερο ευαίσ θητη σ την ύπαρξη σ κιών, αντανακλάσ εων και οριζόντιων και κάθετων patches διαφορετικού χρώματος σ την επιφάνεια του οδοσ τρώματος. 28

40 (a) Οπτική ροή σ το frame 160 (b) Μέτρο οπτικής ροής σ το frame 160 (c) Οπτική ροή σ το frame 450 (d) Μέτρο οπτικής ροής σ το frame 450 (e) Οπτική ροή σ το frame 750 (f) Μέτρο οπτικής ροής σ το frame 750 Figure 15: Παραδείγματα οπτικής ροής σ ε διάφορά frames της βάσ ης diplodoc για grayscale εικόνα Η κλασική μέθοδος των Horn and Schunck Εσ τω η φωτεινότητα της εικόνας E(x, y, t) σ το σ ημείο x, y της εικόνας τη χρονική σ τιγμή t. Οταν ένα σ ημείο της εικόνας κινείται απειροσ τά μεταξύ δύο διαδοχικών frame t και t + 1, η φωτεινότητα του παραμένει σ ταθερή, έτσ ι ώσ τε : de dt = 0 29

41 χρησ ιμοποιώντας τον κανόνα της αλυσ ίδας για διαφόρησ η βλέπουμε ότι E dx x dt + E dy y dt + E t = 0 Εσ τω u = dx dt και v = dy dt, παρατηρούμε ότι έχουμε μια γραμμική εξίσ ωσ η με δύο αγνώσ τους u και v E x u + E y v + E t = 0 όπου τα E x, E y και E t είναι οι μερικές παράγωγοι της φωτεινότητας ως προς το x, y και t αντίσ τοιχα. Η σ χέσ η (E x, E y )(u, v) = E t αποτελεί την εξίσ ωσ η περιορισ μού της οπτικής ροής (optical flow constraint equation) και δεν μπορεί να λυθεί σ ημείο προς σ ημείο καθώς ο αριθμός των παραμέτρων που πρέπει να υπολογισ τούν είναι μεγαλύτερος από τον αριθμό των γραμμικώς ανεξάρτητων εξισ ώσ εων. Αυτή η αορισ τία αποκαλείται aperture problem και αποτελεί το λόγο που το πρόβλημα της οπτικής ροής είναι ένα κακώς ορισ μένο πρόβλημα. Από τα παραπάνω γίνεται αντιληπτή η αναγκαιότητα να εισ άγουμε περισ σ ότερους περιορισ μούς ώσ τε να υπολογίσ ουμε την οπτική ροή. Για το λόγο αυτό χρησ ιμοποιούμε το τετράγωνο του μέτρου της κλίσ ης της οπτικής ροής ως μέτρο της ομαλότητας. Οι λαπλασ ιανές του u και v ορίζονται ως: 2 u= 2 u u x y και 2 2 v= 2 v v x y 2 Συνδυάζοντας τις δύο παραπάνω παραδοχές της σ ταθερότητας της τιμής της φωτεινότητας και της ομαλότητας της οπτικής ροής σ ε όλη την εικόνα, το πρόβλημα αντιμετωπίζεται ως ένα πρόβλημα μεταβολλών. Το επιθυμούμενο διανυσ ματικό πεδίο (u, v) ορίζεται ως αυτό που ελαχισ τοποιεί τη σ υνάρτησ η ενέργειας: E = [(I x u + I y v + I t ) 2 + a 2 ( u 2 + v 2 )]d x d y Η οπτική ροή υπολογίζεται ελαχισ τοποιώντας το άθροισ μα E των σ φαλμάτων του ρυθμού μεταβολής της φωτεινότητας της εικόνας και του μέτρου, της απόκλισ ης από την ομαλότητα, της οπτικής ροής. I x, I y και I t είναι οι παράγωγοι της greyscale εικόνας κατά την οριζόντια κάθετη και χρονική διάσ τασ η. I x 1 4 (I i,j+1,k I i,j,k +I i+1,j+1,k I i+1,j,k +I i,j+1,k+1 I i,j,k+1 +I i+1,j+2,k+1 I i+1,j,k+1 ), I y 1 4 (I i+1,j,k I i,j,k +I i+1,j+1,k I i,j+1,k +I i+1,j,k+1 I i,j,k+1 +I i+1,j+1,k+1 I i,j+1,k+1 ), I t 1 4 (I i,j,k+1 I i,j,k +I i+1,j,k+1 I i+1,j,k +I i,j+1,k+1 I i,j+1,k +I i+1,j+1,k+1 I i+1,j+1,k ), Η ελαχισ τοποίησ η της σ χέσ ης E οδηγεί σ την παρακάτω εξίσ ωσ η Euler-Lagrange: 30

42 I x (I x u + I y v + I t ) a 2 u = 0 I y (I x u + I y v + I t ) a 2 v = 0 όπου = 2 x y 2 Η λαπλασ ιανή μπορεί να προσ εγγισ τεί εύκολα χρησ ιμοποιώντας μια απλή μάσ κα η οποία αφαιρεί την τιμή ενός σ ημείου από το σ ταθμισ μένο μέσ ο όρο των σ ημείων της γειτονιάς του. Τέλος, η οριζόντια και κατακόρυφη οπτική ροή u(k + 1), v(k + 1) υπολογίζονται σ ε κάθε pixel από την παρακάτω επαναληπτική μέθοδο: u k+1 = u k I x(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y v k+1 = v k I y(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y τα u(k), v(k) σ υμβολίζουν τις μέσ ες τιμές των προηγούμενων εκτιμήσ εων της οπτικής ροής σ το χ και y άξονα αντίσ τοιχα. To α είναι μια σ ταθερά κανονικοποίησ ης η οποία οδηγεί σ ε ομαλότερη οπτική ροή όταν αυξάνεται, k είναι ο αριθμός των επαναλήψεων. Οταν τα k και a έχουν μικρές τιμές ο αλγόριθμος παράγει αραιά αποτελέσ ματα, τα οποία γίνονται πυκνά καθώς αυτές οι τιμές αυξάνονται. 4.3 Υπολογισμός του Μέτρου της Οπτικής Ροής Οπως αναφέραμε νωρίτερα ο αλγόριθμός μας επιδιώκει να εκμεταλλευτεί την απουσ ία υφής σ την επιφάνεια του οδοσ τρώματος και την ιδιότητα ότι ένας αραιός αλγόριθμος οπτικής ροής υπολογίζει χαμηλά επίπεδα κίνησ ης σ τα εικονοσ τοιχεία που αντισ τοιχούν σ το δρόμο. Με αυτό το τέχνασ μα γίνεται δυνατό να διαχωρίσ ουμε αποτελεσ ματικά τα εικονοσ τοιχεία που αντισ τοιχούν σ το δρόμο από εμπόδια, διαγράμμισ η και σ κιές. Μετά τον υπολογισ μό των διανυσ μάτων οριζόντιας και κάθετης οπτικής ροής (u, v) ο αλγόριθμος υπολογίζει το μέτρο της οπτικής ροής: V = u 2 + v 2 Παρατηρώντας τα παραδείγματα του figure 14 διαπισ τώνουμε ότι η οπτική ροή του καναλιού c1 είναι πολύ λιγότερο ευαίσ θητη σ την ύπαρξη σ κιών, αντανακλάσ εων και οριζόντιων και κάθετων patches διαφορετικού χρώματος σ την επιφάνεια του οδοσ τρώματος. Ακόμη, είναι εύκολο να σ υμπεράνουμε ότι το μέτρο της οπτικής ροής του καναλιού c1 αν και μας δίνει χρήσ ιμες πληροφορίες δεν αρκεί από μόνο του ώσ τε να διαχωρίσ ουμε αξιόπισ τα τα σ τοιχεία του δρόμου από τα εμπόδια. Για το σ κοπό αυτό χρησ ιμοποιούμε τοπική πληροφορία υφής η οποία περιέχεται σ το μέτρο της οπτικής ροής ώσ τε να ενισ χύσ ουμε την αποδοτικότητα του αλγορίθμου μας. Αυτή η διαδικασ ία περιγράφεται αναλυτικά σ το επόμενο κεφάλαιο αυτής της εργασ ίας. 31

43 Κεφάλαιο 5 - Πληροφορία Υφής και Εντροπία 5.1 Υφή Μια σ ημαντική προσ έγγισ η σ την περιγραφή περιοχών μιας εικόνας είναι η ποσ οτικοποίησ η του περιεχομένου της υφής. Παρότι δεν υπάρχει επίσ ημος ορισ μός της υφής, διαισ θητικά αυτός ο περιγραφέας παρέχει μετρήσ εις ιδιοτήτων όπως σ τιλπνότητα, τραχύτητα, τακτικότητα (smoothness, coarseness, regularity) [56]. Εικόνα υφής αποτελούν μετρήσ εις σ χεδιασ μένες ώσ τε να ποσ οτικοποιούν την αντιληπτή υφή μιας εικόνας και είναι μια από τις μεθόδους που βοηθούν σ την τμηματοποίησ η ή ταξινόμησ η των εικόνων. Η εικόνα υφής μας δίνει πληροφορίες σ χετικά με τη χωρική κατανομή των χρωμάτων ή των εντάσ εων μιας εικόνας ή μιας καθορισ μένης περιοχής της εικόνας. Υφές μπορούν είτε να δημιουργηθούν τεχνητά είτε μέσ ω της φυσ ικής σ κηνής η οποία φωτογραφίζεται. Αξιοσ ημείωτο είναι επίσ ης ότι η ύπαρξη υφής εξαρτάται και από την κλίμακα σ την οποία παρατηρούμε μια εικόνα. (a) (b) Figure 16: (a) Παραδείγματα τεχνητής υφής. (b) Παραδείγματα Υφών μέσ ω φωτογράφισ ης της φυσ ικής σ κηνής Στατιστική προσέγγιση της Υφής - Εντροπία Οι τρείς κύριες προσ εγγίσ εις σ την επεξεργασ ία εικόνας για την περιγραφή της υφής είναι η σ τατισ τική, η δομική και η φασ ματική [56]. Η σ τατισ τική προσ έγγισ η της υφής προσ εγγίζει το ζήτημα σ αν ποσ οτική μέτρησ η της διάταξης των φωτεινοτήτων σ ε μια περιοχή και τις χαρακτηρίζει ως σ τιλπνές, τραχιές, κοκκώδεις κλπ. Αυτή η προσ έγγισ η χρησ ιμοποιείται εύκολα καθώς οι φυσ ικές υφές σ χηματίζονται από πρότυπα ακανόνισ των υποσ τοιχείων (patterns of irregular subelements). Το μέτρο της υφής που χρησ ιμοποιήσ αμε σ ε αυτή την εργασ ία είναι η τοπική Εντροπία του μέτρου της οπτικής ροής του δρόμου. Ο υπολογισ μός της εντροπίας βασ ίζεται σ το ισ τόγραμμα φωτεινότητας μιας περιοχής της εικόνας. 32

44 5.1.2 Εντροπία Η εντροπία Η ενός σ υσ τήματος ορίζεται ως: H = M 1 k=0 p k log 2 (p k ) όπου Μ είναι ο αριθμός επιπέδων του γκρί και p k είναι η πιθανότητα ένα εικονοσ τοιχείο να έχει επίπεδο του γκρί k. Κατά τη θεωρία πληροφορίας η εντροπία μιας τυχαίας μεταβλητής αντιπροσ ωπεύει τη μέσ η αβεβαιότητα ή τον αριθμό τον bits κατά μέσ ο όρο που είναι αναγκαία ώσ τε να περιγραφεί η τυχαία μεταβλητή [56]. Στην επεξεργασ ία εικόνας η εντροπία είναι μέτρο της μεταβλητότητας ή τυχαιότητας των φωτεινοτήτων σ την εικόνα. Η εντροπία έχει τιμή μηδέν για μια ομοιόμορφη εικόνα, δηλαδή όταν όλα τα εικονοσ τοιχία μιας περιοχής έχουν την ίδια τιμή φωτεινότητας. Αυτή η ιδιότητα μας είναι χρήσ ιμη για το διαχωρισ μό των εικονοσ τοιχείων του δρόμου μέσ ω της εντροπίας του μέτρου της οπτικής ροής. Τα εικονοσ τοιχεία που αντισ τοιχούν σ το δρόμο έχουν όχι μόνο πολύ μικρό μέτρο οπτικής ροής, αλλά το μέτρο της οπτικής τους ροής παρουσ ιάζει πολύ μικρή μεταβλητότητα. Η εντροπία του μέτρου της οπτικής ροής σ τα εικονοσ τοιχεία του δρόμου είναι σ χεδόν μηδενική. Αντίθετα, το μέτρο της οπτικής ροής του μη-δρόμου (δέντρα, οροφές κτηρίων) εμφανίζει μεγάλη μεταβλητότητα, με άλλα λόγια παρουσ ιάζει και μεγάλες τιμές εντροπίας. (a) Αρχική εικόνα (b) Μέτρο Οπτικής Ροής (c) Εντροπία μέτρου Οπτικής Ροής Figure 17 Από την παραπάνω εικόνα κόψαμε τμήματα σ τα οποία υπολογίσ αμε την εντροπία της οπτικής ροής. Τα αποτελέσ ματα φαίνονται παρακάτω: 33

45 (a) Εντροπία οδοσ τρώματος = (b) Εντροπία δέντρου = (c) Εντροπία Σκιάς = (d) Εντροπία πολυκατοικίας = (e) Εντροπία ουρανού = (f) Εντροπία Αυτοκινήτου = Figure 18: Σύγκρισ η σ ε διάφορα τμήματα της εικόνας της εντροπίας του μέτρου της οπτικής ροής. Συγκρίνοντας σ ε διάφορα τμήματα της εικόνας την εντροπία του μέτρου της οπτικής ροής παρατηρούμε ότι είναι εύκολο να ανιχνεύσ ουμε το οδόσ τωμα εξαιτίας της μεγάλης διαφοράς της εντροπίας του μέτρου της οπτικής ροής του δρόμου με όλη την υπόλοιπη σ κηνή. Κατ επέκτασ η, θα ήταν αποτελεσ ματικό να χρησ ιμοποιήσ ουμε μια αυτόματη μέθοδο κατοφλίωσ ης όπως τη μέθοδο του Otsu ώσ τε να διαχωρίσ ουμε το δρόμο από την υπόλοιπη σ κηνή. 34

46 Κεφάλαιο 6 - Μέθοδος του Otsu και Μορφολογική Επεξεργασία Εικόνας 6.1 Μέθοδος του Otsu H μέθοδος του Otsu είναι μια μέθοδος αυτόματης επιλογής κατωφλίου από ισ τογράμματα επιπέδου του γκρι. Η μέθοδος είναι μη παραμετρική (non parametric) και χωρίς επίβλεψη (unsupervised method) [57]. Το βέλτισ το κατώφλι επιλέγεται βασ ισ μένο σ ε ένα κριτήριο διαχωρισ μού το οποίο μεγισ τοποιεί τη διαχωρισ ιμότητα των προκυπτουσ ών κλάσ εων. Η βασ ική ιδέα είναι ότι δύο κλάσ εις καλά κατωφλιωμένες θα πρέπει να είναι διακριτές με βάσ η τη φωτεινότητα των εικονοσ τοιχείων που τις αποτελούν. Αντισ τρόφως και το κατώφλι που διαχωρίζει βέλτισ τα τις κλάσ εις ως προς τις τιμές φωτεινότητας τους θα είναι το βέλτισ το κατώφλι. Η διαδικασ ία είναι πολύ απλή καθώς χρησ ιμοποιεί αθροισ τικές ροπές του ισ τογράμματος επιπέδου του γκρι μόνο μηδενικής και πρώτης τάξης (class Variance-διακύμανσ η, class means-μέσ ος όρος). Η διαχωρισ ιμότητα των κλάσ εων οφείλεται και σ τη παραδοχή ότι οι εικόνες της εντροπίας έχουν διμοδικό ισ τόγραμμα. Ιδανικά, το ισ τόγραμμα έχει μια βαθιά και απότομη κοιλάδα ανάμεσ α σ ε δύο κορυφές οι οποίες αναπαρισ τούν τα αντικείμενα και το φόντο και άρα το κατώφλι μπορεί να τοποθετηθεί σ τον πάτο αυτής της κοιλάδας. Τέλος, επειδή η μέθοδος του Otsu βασ ίζεται σ τη διμοδική μορφή του ισ τογράμματος το αποτέλεσ μα της κατωφλίωσ ης είναι αναλλοίωτο σ ε αυθαίρετους μετασ χηματισ μούς των επιπέδων του γκρι της εικόνας όπως μετατόπισ η και διασ τολή, με αποτέλεσ μα το αποτέλεσ μα της κατωφλίωσ ης να είναι ανεξάρτητο από το τρόπο της κανονικοποίησ ης της εικόνας εντροπίας. Ο αλγόριθμος του Otsu μπορεί να σ υνοψισ τεί σ τα παρακάτω βήματα: 1. Υπολογίζουμε το κανονικοποιημένο ισ τόγραμμα της εικόνας εισ όδου. Ορίζουμε τα σ τοιχεία του ισ τογράμματος ως p i, με i = 0, 1, 2,..., L Υπολογίζουμε τα αθροίσ ματα P 1 (k), για k = 0, 1, 2,..., L 1, χρησ ιμοποιώντας την εξίσ ωσ η P 1 (k) = Σp i με i = 0,..., k. 3. Υπολογίζουμε τους μέσ ους όρους της φωτεινότητας m(k), για k = 0, 1, 2,..., L 1, χρησ ιμοποιώντας την εξίσ ωσ η m(k) = Σip i με i = 0,..., k. 4. Υπολογίζουμε τον ολικό μέσ ο όρο της φωτεινότητας, m G, όπου m G = Σip i, με i = 0 εως L Υπολογίζουμε την διακύμανσ η variance μεταξύ των κλάσ εων σ B (k) 2, για k = 0, 1, 2,..., L 1, χρησ ιμοποιώντας την εξίσ ωσ η: σ 2 B(k) = [m GP 1 (k) m(k)] 2 P 1 (k)[1 P 1 (k)] 6. Καθορίζουμε το κατώφλι του Otsu, k, ως την τιμή του k για την οποία το σ B (k) 2 μεγισ τοποιείται. Αν το μέγισ το δεν είναι μοναδικό καθορίζουμε το k από το μέσ ο όρο των k τα οποία αντισ τοιχούν σ ε μέγισ τα. 35

47 Μετά τον υπολογισ μό του κατωφλίου του Otsu k η εικόνα εισ όδου κατωφλιώνεται σ ύμφωνα με τη σ χέσ η: G(x, y) = 1 αν F (x, y) > k 0 αν F (x, y) k (a) (b) (c) (d) Figure 19: (a) Η αρχική εικόνα για κατάτμησ η. (b) Η εικόνα της εντροπίας του μέτρου της οπτικής ροής της αρχικής εικόνας. (c)το ισ τόγραμμα της εικόνας εντροπίας. (d) Η διαδική εικόνα που προκύπτει ως αποτέλεσ μα της κατοφλοίωσ ης με τη μέθοδο του Otsu. 6.2 Μορφολογική Επεξεργασία Εικόνας Εισαγωγή στη Μορφολογική Επεξεργασία Εικόνας Η λέξη μορφολογία δηλώνει ένα κλάδο της βιολογίας που ασ χολείται με τη μορφή και τη δομή ζώων και φυτών [56]. Την ίδια λέξη χρησ ιμοποιούμε σ τα πλαίσ ια της μαθηματικής μορφολογίας ως εργαλείο εξαγωγής τμημάτων εικόνας η οποία είναι χρήσ ιμη σ την αναπαράσ τασ η και περιγραφή του σ χήματος μια περιοχής, όπως όρια, σ κελετός, και το κυρτό κέλυφος. Επίσ ης, ενδιαφέρον παρουσ ιάζουν μορφολογικές τεχνικές για πρόή μεταεπεξεργασ ία, όπως μορφολογικό φιλτράρισ μα, λέπτυνσ η και κλάδεμα. Στην επόμενη παράγραφο περιοριζόμασ τε σ την παρουσ ίασ η των ζητημάτων μαθηματικής μορφολογίας τα οποία χρησ ιμοποιήθηκαν για τις ανάγκες αυτής της 36

48 εργασ ίας, χωρίς να γίνεται εκτενής αναφορά σ ε όλους τους μορφολογικούς τελεσ τές. Πολλές από τις ιδέες που εισ άγονται μπορούν να εφαρμοσ τούν σ ε n-διάσ τατο ευκλείδιο χώρο Ε n. Ωσ τόσ ο, το ενδιαφέρον μας θα περιορισ τεί σ ε διαδικές εικόνες των οποίων τα σ τοιχεία ανοίκουν σ τον Z Μαθηματική Μορφολογία Η γλώσ σ α την μαθηματικής μορφολογίας είναι η θεωρεία σ υνόλων [56]. Ως τέτοια η μορφολογία προσ φέρει μία ενοποιημένη και ισ χυρή προσ έγγισ η σ ε πολυάριθμα προβλήματα επεξεργασ ίας εικόνας. Τα σ ύνολα της μαθηματικής μορφολογίας αναπαρισ τούν αντικείμενα σ την εικόνα. Για παράδειγμα, το σ ύνολο όλων των λευκών εικονοσ τοιχείων μια εικόνας αποτελεί την πλήρη μορφολογική περιγραφή της εικόνας. Στις διαδικές εικόνες είναι μέλη του 2-D ακέραιου χώρου Z 2, όπου κάθε σ τοιχείο είναι ένα δισ διάσ τατο διάνυσ μα, του οποίου οι σ υντεταγμένες είναι οι (x, y) σ υνισ τώσ ες του λευκού (ή μαύρου ανάλογα με την παραδοχή) εικονοσ τοιχείου σ την εικόνα Image Erosion Ξεκινούμε την σ υζήτησ η για τη μορφολογία μελετώντας δύο τελεσ τές: Erosion και Dilation. Αυτοί οι τελεσ τές είναι θεμελειώδεις για την μορφολογική επεξεργασ ία. Στην πραγματικότητα πολλοί μορφολογικοί αλγόριθμοι βασ ίζονται σ ε αυτούς τους πρωτόλοιους τελεσ τές. Εσ τω A και Β σ ύνολα σ το Z 2, το erosion του A από το B, με σ ύμβολο A B, ορίζεται ως : A B = {z (B) z A}. Με άλλα λόγια η εξίσ ωσ η δείχνει ότι το erosion του A από το B είναι το σ ύνολο όλων των σ ημείων z τέτοιων ώσ τε το B, μετατοπισ μένο κατά z, να περιέχονται σ το A. To B θεωρούμε ότι είναι το δομικό σ τοιχείο. Εξαιτίας του ότι η παραδοχή ότι το B πρέπει να περιέχεται σ το A είναι ισ οδύναμη με το ότι το B δεν μοιράζεται κανένα κοινό σ τοιχείο με το background μπορούμε να εκφράσ ουμε το erosion με την ακόλουθη μορφή: A B = {z (B) z A c = }. όπου το A c είναι το complement του A και είναι το κενό σ ύνολο. (a) (b) Figure 20: Παράδειγμα erosion χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο. 37

49 Από το παράδειγμα βλέπουμε ότι το erosion σ υρρικνώνει ή λεπταίνει τα αντικείμενα σ ε μία διαδική εικόνα. Στην πραγματικότητα, μπορούμε να αντιμετωπίσ ουμε το erosion ως διαδικασ ία μορφολογικού φιλτραρίσ ματος κατά την οποία οι λεπτομέρειες της εικόνας που είναι μικρότερες από το δομικό σ τοιχείο φιλτράρονται (απομακρύνονται) από την εικόνα Image Dilation Με A και B σ ύνολα που ανήκουν σ το Z 2, το dilation του A και B, με σ ύμβολο A B, ορίζεται ώς: Α Β = { z ( ˆB) z A } Η εξίσ ωσ η βασ ίζεται σ τον κατοπρισ μό του B ως προς την αρχή του και μετατώπισ η του κατοπτρισ μού κατά z. Το dilation του A ως προς B είναι το σ ύνολο όλων των z ώσ τε το ˆΒ και το A να υπερθέτονται σ ε τουλάχισ τον ένα σ ημείο. Βασ ισ μένο σ ε αυτή την ερμηνεία η εξίσ ωσ η μπορεί να γραφτεί ισ οδύναμα ως εξής: Α Β = { z [( ˆB) z A] Α } Οπως και πριν, θεωρούμε ότι το B είναι το δομικό σ τοιχείο και το A είναι το σ ύνολο σ το οποίο εφαρμόζεται ο μετασ χηματισ μός. (a) (b) Figure 21: Παράδειγμα dilation χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο. Αντίθετα με το erosion το οποίο είναι τελεσ τής σ υρρίκνωσ ης ή λέπτυνσ ης, το dilation μεγαλώνει ή χοντραίνει τα αντικείμενα σ ε μια διαδική εικόνα. Ο τρόπος και η έκτασ η της πάχυνσ ης ελέγχεται από το σ χήμα του δομικού σ τοιχείου που χρησ ιμοποιείται Image Closing Οπως είδαμε σ ε προηγούμενες παραγράφους, το dilation επεκτείνει τα σ τοιχεία μια εικόνας και το erosion τα σ υρρικνώνει. Το μορφολογικό κλείσ ιμο τείνει να εξομαλύνει τμήματα περιγραμμάτων και γενικά αναμειγνύει σ τενά χάσ ματα και μακριούς λεπτούς κόλπους, εξαφανίζει μικρές τρύπες και γεμίζει οπές σ το περίγραμμα. Το μορφολογικό κλείσ ιμο του A από το δομικό σ τοιχείο B, με σ ύμβολο Α Β ορίζεται ως: Α Β = (Α Β) B 38

50 το οποίο σ ημαίνει ότι το μορφολογικό κλείσ ιμο του A από το B είναι απλά το dilation του A από το B, ακολουθούμενο από το erosion του αποτελέσ ματος από το B. (a) (b) Figure 22: Παράδειγμα μορφολογικού κλεισ ίματος χρησ ιμοποιώντας ένα δίσ κο ως δομικό σ τοιχείο. Το μορφολογικό κλείσ ιμο έχει μια απλή γεωμετρική ερμηνεία. Εσ τω ότι το δομικό σ τοιχείο B είναι μια επίπεδη κινούμενη μπάλα. Τα όρια του Α Β σ χηματίζονται από τα σ ημεία του B καθώς το Β κυλάει σ το εξωτερικό περίγραμμα του A. Γεωμετρικά, το σ ημείο w είναι σ τοιχείο του Α Β αν και μόνο αν (B) z Α Ø για κάθε (B)z το οποίο περιέχει το w. (a) (b) Figure 23: a) Η αρχική περιοχή που ταξινομείται ως δρόμος χρησ ιμοποιώντας τη μέθοδο του Otsu. b) Η τελική λύσ η μετά από την διαδικασ ία μορφολογικού κλεισ ίματος χρησ ιμοποιώντας δίσ κο 10 pixel ως δομικό σ τοιχείο. Από το παράδειγμα της Εικόνας 23 μπορούμε να κατανοήσ ουμε ότι η μορφολογική επεξεργασ ία της τελικής περιοχής του οδοσ τρώματος αυξάνει την πληρότητα της λύσ ης που παρέχει ο αλγοριθμός μας. Χρησ ιμοποιώντας μορφολογικό κλείσ ιμο γεμίζουμε τις τρίπες της αρχικής εκτίμησ ης παράγοντας ένα ποιοτικά καλύτερο αποτέλεσ μα κατάτμησ ης. Παρόλαυτά, είναι πολύ σ ημαντικό να επισ ημάνουμε ότι η μορφολογική επεξεργασ ία περιορίσ τηκε σ το ελάχισ το δυνατό, σ ε ένα μορφολογικό κλείσ ιμο, ώσ τε να μην αλλοιώνονται τα χαρακτηρισ τικά του περιγράμματος του δρόμου και να μην αναμιγνύεται εσ φαλμένα το σ ύνολο δρόμος με τυχών εμπόδια ή το background. 39

51 Κεφάλαιο 7 - Συνοπτική περιγραφή του αλγορίθμου Εντοπισμού Δρόμου 7.1 Επισκόπηση του Συστήματος Το σ ύσ τημα εντοπισ μού δρόμου που αναπτύχθηκε σ τα πλαίσ ια της διπλωματικής εργασ ίας βασ ίζεται σ την πληροφορία που λαμβάνεται από μία έγχρωμη κάμερα που τοποθετείται εντός του οχήματος. Η κάμερα τοποθετείται σ το επάνω μέρος του παρμπρίζ, έτσ ι ώσ τε να μην εμποδίζει τη θέα του οδηγού και να περικλείει σ το οπτικό της πεδίο όσ ο περισ σ ότερο γίνεται από τον δρόμο που βρίσ κεται ακριβώς μπροσ τά από το αυτοκίνητο. Η ακριβής θέσ η και κλίσ η της κάμερας είναι σ ημαντική μόνο για την αρχικοποίησ η της εκ των πρωτέρων γνωσ τής πληροφορίας, δηλαδή του μέρους της εικόνας που θεωρείται πολύ πιθανό να ανήκει σ τον δρόμο και του μέρους της εικόνας που θεωρείται σ χεδόν απίθανο να ανήκει σ τον δρόμο. Figure 24: Διάγραμμα ροής του προτεινόμενου αλγορίθμου Εντοπισ μού Δρόμου. Τα πλάνα της βιντεοσ κόπησ ης εξετάζονται σ ε ζεύγη σ υνεχόμενων καρέ, για την εξαγωγή χωροχρονικής πληροφορίας μέσ ω της οποίας υπολογίζεται το περιεχόμενο της υφής της φυσ ικής σ κηνής. Στη σ υνέχεια, ανιχνεύονται οι ομοιόμορφες περιοχές χωρίς υφή με μεγάλη επιφάνεια οι οποίες ταξινομούνται σ την κατηγορία δρόμος ενώ τα υπόλοιπα εικονοσ τοιχία της εικόνας ταξινομούνται σ το background. 40

52 Ποιό σ υγκεκριμένα το προτεινόμενο σ ύσ τημα αποτελείται από τα παρακάτω βήματα: a) Υποδειγματολειψία της αρχικής εικόνας Αρχικά, η εικόνα σ υρρικνώνεται αλλάζοντας το μεγεθός της σ το 95% της αρχικής ανάλυσ ης χρησ ιμοποιώντας bicubic interpolation. Αυτός ο μετασ χηματισ μός προσ τέθηκε σ τον αλγόριθμο, διότι αυξάνει την πληρότητα της κατάτμησ ης ειδικά σ ε σ κηνές με απότομες μεταβολές φωτεινότητας ή με σ υνεφιασ μένο καιρό όπως για παράδειγμα το sequence 4. b) Μετασχηματισμός στο χρωματικό κανάλι c1 Μετασ χηματίζουμε διαδοχικά ζεύγη εικόνων από καρέ σ τους χρόνους t 1 και t από το RGB σ το πρώτο κανάλι του χρωματικού χώρου c1c2c3, για μεγαλύτερη ανθεκτικότητα σ ε φωτοσ κιάσ εις ή απότομες αλλαγές φωτεινότητας. ( ) R(i, j) c1(i, j) = arctan max {G(i, j), B(i, j)} όπου τα R, G,B είναι η κόκκινη πράσ ινη και μπλέ φωτεινότητα του εικονοσ τοιχείου (i, j). c) Υπολογισμός του μέτρου της Οπτικής Ροής Τα κανάλια c1 των δύο καρέ χρησ ιμοποιούνται για τον υπολογισ μό του μέτρου της οπτικής ροής Horn Schunk του καναλιού c1 σ το χρονικό σ ημείο t. Αυτή η μέθοδος ονομάζεται HSC1 flow (Horn Schunck optical flow using the c1 color channel) [109]. Γενικά, ο αλγόριθμος Horn Schunk βασ ίζεται σ την παραδοχή ότι η οπτική ροή μεταβάλεται ομαλά σ χεδόν παντού σ την εικόνα. Η οπτική ροή υπολογίζεται ελαχισ τοποιώντας το άθροισ μα Ε των σ φαλμάτων του ρυθμού μεταβολής της φωτεινότητας της εικόνας και του μέτρου, της απόκλισ ης από την ομαλότητα, της οπτικής ροής. E = [(I x u + I y v + I t ) 2 + a 2 ( u 2 + v 2 )]d x d y I x, I y και I t είναι οι παράγωγοι της greyscale εικόνας κατά την οριζόντια κάθετη και χρονική διάσ τασ η. I x 1 4 (I i,j+1,k I i,j,k +I i+1,j+1,k I i+1,j,k +I i,j+1,k+1 I i,j,k+1 +I i+1,j+2,k+1 I i+1,j,k+1 ), I y 1 4 (I i+1,j,k I i,j,k +I i+1,j+1,k I i,j+1,k +I i+1,j,k+1 I i,j,k+1 +I i+1,j+1,k+1 I i,j+1,k+1 ), I t 1 4 (I i,j,k+1 I i,j,k +I i+1,j,k+1 I i+1,j,k +I i,j+1,k+1 I i,j+1,k +I i+1,j+1,k+1 I i+1,j+1,k ), Η οριζόντια και κατακόρυφη οπτική ροή u(k + 1), v(k + 1) υπολογίζονται σ ε κάθε pixel από την παρακάτω επαναληπτική μέθοδο: 41

53 u k+1 = u k I x(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y v k+1 = v k I y(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y τα u(k), v(k) είναι οι μέσ ες τιμές των προηγούμενων εκτιμήσ εων της οπτικής ροής σ το χ και y άξονα αντοίσ τοιχα. Toα είναι μια σ ταθερά κανονικοποίησ ης η οποία οδηγεί σ ε ομαλότερη οπτική ροή όταν αυξάνεται. Επειτα από διερεύνησ η που παρουσ ιάζεται σ το επόμενο κεφάλαιο οι βέλτισ τες τιμές για (a, k) προσ διορίσ τηκαν σ ε α = 25 και k = 5 iteration και όλες οι πράξεις έγιναν με double αριθμούς. Μετά τον υπολογισ μό των διανυσ μάτων οριζόντιας και κάθετης οπτικής ροής (u, v) υπολογίζεται το μέτρο της οπτικής ροής V = u 2 + v 2. Τέλος, κανονικοποιούμε το μέτρο της ροής σ την κλίμακα από 0 έως 1. Οπως φαίνεται σ την παραπάνω εικόνα παρότι το κανάλι c1 είναι ανθεκτικό σ τις σ κιές, το μέτρο της οπτικής ροής εξακολουθεί να είναι μεγάλο σ τις περιοχές του δρόμου όπου υπάρχουν σ κιές. d) Υπολογισμός της Εντροπίας του μέτρου της Οπτικής Ροής Οπως αναφέραμε σ ε προηγούμενο κεφάλαιο δεχόμασ τε την παραδοχή ότι ο δρόμος χαρακτηρίζεται από την απουσ ία υφής. Για να διαχωρίσ ουμε το δρόμο από τα εμπόδια και τις άλλες περιοχές της εικόνας που ανείκουν σ το background υπολογίζουμε την εντροπία του μέτρου της οπτικής ροής της εικόνας. Η εντροπία υπολογίζεται τοπικά χρισ ημοποιώντας ένα κυλιώμενο παράθυρο μεγέθους 3χ3. Σε μια γειτονιά 3χ3 υπολογίζεται το τοπικό ισ τόγραμμα και τέλος ανατίθεται σ το κεντρικό pixel της γειτονιάς η τιμή της εντροπίας H: H = M 1 k=0 p k log 2 (p k ) η πιθανότητα p παράγεται από το ισ τόγραμμα της περιοχής (3χ3). Οπως αναλύσ αμε και σ ε προηγούμενα κεφάλαια, αναμένουμε το μέτρο της οπτικής ροής σ την επιφάνεια του δρόμου να είναι πολύ μικρό. e) Κατοφλίωση της Εντροπίας του μέτρου της Οπτικής Ροής με τη μέθοδο του Otsu Η εντροπία του μέτρου της οπτικής ροής HSC1 κατοφλοιώνεται χρησ ιμοποιώντας την τεχνική του Otsu, ώσ τε να διαχωρισ τούν οι περιοχές υψηλής εντροπίας που αντισ τοιχούν σ τις περιοχές μη-δρόμου (εμπόδια) από τις περιοχές χαμηλής εντροπίας (επιφάνειες χωρίς υφή) οι οποίες αντισ τοιχούν σ ε υποψήφιες περιοχές του δρόμου. Η εικόνα έχει πολλές περιοχές χωρίς υφή, όπως για παράδειγμα τον ουρανό, τα πλατιά πεζοδρόμια, οι τοίχοι μεγάλης επιφάνειας και άρα μια απλή κατοφλοίωσ η της εικόνας δεν είναι αρκετή ώσ τε να διαχωρίσ ουμε το δρόμο για παράδειγμα από τον ουρανό. 42

54 f) Αξιοποίηση a priori γνώσης και Διαδικασία Hole Filling μέσω μορφολογικού φιλτραρίσματος. Για να απομονώσ ουμε μόνο το τμήμα του δρόμου χρησ ιμοποιούμε a priori γνώσ η όπως ότι ο δρόμος βρίσ κεται σ το κάτω τμήμα της εικόνας και ο ουρανός σ το πάνω τμήμα της εικόνας. Ακολουθούμε επίσ ης την σ ύμβασ η ότι πιθανά τμήματα του δρόμου είναι περιοχές με μεγάλη επιφάνεια. Οπότε εφαρμόζουμε την παρακάτω μέθοδο: 1. Σε κάθε περιοχή της binary εικόνας που προκύπτει από την κατοφλίωσ η του Otsu αναθέτουμε ένα label. 2. Υπολογίζουμε τα κεντροειδή των περιοχών και όσ α απέχουν έως 180 pixel από τον ουρανό ταξινομούνται σ την κατηγορία μη δρόμος. 3. Υπολογίζουμε την επιφάνεια των υποψήφιων περιοχών και απορρίπτουμε όσ ες περιοχές αποτελούνται από λίγοτερα από 900 pixel. Αυτό κυρίως το βήμα μας εξυπηρετεί ώσ τε να διαγράφουμε περιοχές που πιθανά είναι πινακίδες κάγκελα, μικρά ομοιογενή κομάτια τοίχου, προσ τατευτικές μπάρες, κοντά σ το όριο του δρόμου και είναι πολύ εύκολο να αναμηχθούν με το δρόμο σ ε ένα από τα επόμενα σ τάδια hole filling. 4. Για να κλείσ ουμε τις τρύπες που εμφανίζονται σ το προηγούμενο σ τάδιο ώσ τε να λύσ ουμε το πρόβλημα με μεγαλύτερη πληρότητα χρησ ιμοποιούμε μορφολογικό κλείσ ιμο image closing της εικόνας χρησ ιμοποιώντας ενα δίσ κο 10 pixel. 5. Αν και το παραπάνω σ τάδιο δεν είναι επερκές για να κλείσ ουν οι τρύπες τότε υπολογίζουμε το σ υμπλήρωμα του βήματος 4. Τέλος εντάσ ουμε τις νησ ίδες με επιφάνεια μικρότερη από ενα κατόφλι εμβαδoύ σ την αρχική εκτίμησ η του δρόμου αναθέτοντας το κατάληλο label. 43

55 Κεφάλαιο 8 - Ποσοτική και Ποιοτική Αξιολόγηση του Συστήματος Εντοπισμού Δρόμου σε μεικτές περιβαλλοντικές συνθήκες 8.1 Μετρικές Αξιολόγησης της Απόδοσης των Συστημάτων Το προτεινόμενο σ ύσ τημα αξιολογήθηκε ποιοτικά χρησ ιμοποιώντας πέντε βίντεο της βάσ ης δεδομένων DIPLODOC [58]. Τα βίντεο της βάσ ης DIPLODOC περιλαμβάνουν σ χόλια σ χετικά με το ground truth και αποτελούνται από σ κηνές με μικτές περιβαλλοντικές σ υνθήκες. Είναι αξιοσ ημείωτο ότι τα σ χόλια καθώς και τα landmarks του ground truth της βάσ ης δεδομένων έχουν δημιουργηθεί από ανθρώπινο σ χολιασ τή και ως εκ τούτου παρουσ ιάζουν ένα βαθμό υποκειμενικότητας. Ο αλγόριθμος αξιολογήθηκε χρησ ιμοποιώντας τις μετρήσ εις ποιότητας της κατάτμησ ης που προτείνονται σ το [27] και παρουσ ιάζονται σ την επόμενη παράγραφο. Figure 25: green: True Positive, red: False Positive, yellow: False Negative. Εσ τω true positive (TP) ο αριθμός των εικονοσ τοιχείων που ταξινομήθηκαν ορθά ως δρόμος, false positive (FP) ο αριθμός των εικονοσ τοιχείων τα οποία ταξινομήθηκαν λανθασ μένα ως δρόμος και false negative (FN) ο αριθμός των εικονοσ τοιχείων τα οποία λανθασ μένα ταξινομήθηκαν ως μη- δρόμος. Οι μετρήσ εις ποιότητας της κατάτμησ ης που παρουσ ιάζονται σ το [27] έχουν ως εξής: Πληρότητα - Completeness: CM = TP / (TP+FN), αναπαρισ τά το ποσ οσ τό των εικονοσ τοιχείων τα οποία ορθά ταξινομήθηκαν σ την κατηγορία δρόμος, σ ύμφωνα με το ground truth. Ορθότητα - Correctness: CR = TP / (TP+FP), αποτελεί το ποσ οσ τό των σ ωσ τά ταξινομημένων εικονοσ τοιχείων δρόμου επί της σ υνολικής περιοχής που ταξινομήθηκε ως δρόμος. Ποιότητα - Quality: g =TP / (TP+FP+FN), σ υνδυάζει πληροφορία σ χετικά με την Πληρότητα και την Ορθότητα σ ε μια μοναδική μέτρησ η. 44

56 Method in [27] Method in [32] Method in [13] Proposed Method Mean 85% ~90% N/A 92.8% 82.4% Quality - g Std N/A N/A 3.6% 9.9% Min N/A 60% 74.0% 48.9% Max N/A 95% 99.1% 98.0% Completeness - CM Mean N/A N/A 95.7% 84.8% Std N/A N/A 3.5% 10.1% Min N/A N/A N/A 49.3% Max N/A N/A N/A 99.9% Mean N/A N/A 96.9% 96.8% Correctness - CR Std N/A N/A 2.7% 3.3% Min N/A N/A N/A 83.5% Max N/A N/A N/A 99.9% Table 3: Συνολική απόδοσ η του προτεινόμενου αλγορίθμου RD σ ε σ ύγκρισ η με τα [27],[32] και [13]. Στο [27] αναφέρονται πειράματα βασ ισ μένα σ τη σ τερεοσ κοπική όρασ η κατά τα οποία επιτυγχάνεται μέσ η ποιότητα μεταξύ 85% και 95%, κατά τη διάρκεια των 5 βίντεο. Τα παραπάνω αποτελέσ ματα επιτυγχάνονται χωρίς η Πληρότητα(CM) και η Ορθότητα(CR) να πέσ ουν κάτω από 90%. Στην πραγματικότητα, το trade-off μεταξύ της πληρότητας και της ορθότητας σ χεδόν έφτασ ε το 95% κατά μήκος της διαγώνιου της γραφικής παράσ τασ ης των δύο μετρήσ εων. Στο [32] οι Lombardi et al αναφέρουν ότι σ ύσ τημα με μόνο μία κάμερα, το οποίο χρησ ιμοποιεί μέθοδο μεταγωγής μοντέλων (switching), πέτυχε ποιοτικά αποτελέσ ματα τα οποία κυμάνθηκαν απο 60% σ ε 90% κατά τη διάρκεια ολόκληρης της ροής βίντεο. Δυσ τυχώς, οι μέσ ες τιμές των μετρήσ εων ποιότητας δεν αναφέρονται. Αντ αυτού, η ποιότητα παρουσ ιάζεται μέσ ω τριών γραφικών παρασ τάσ εων για διαφορετικές πειραματικές διατάξεις και για όλα τα frames. Στο [13] οι G.K. Siogkas και E.S. Dermatas ανέπτυξαν σ ύσ τημα αναγνώρισ ης δρόμου βασ ισ μένο σ τον αλγόριθμο Random Walker χρησ ιμοποιώντας αυτόματη χωροχρονική επιλογή σ πόρων. Οταν η απόδοσ η του προτεινόμενου σ υσ τήματος μετράται frame προς frame η ποιότητα κυμαίνεται μεταξύ 74% και 99%. Η ακρίβεια του προτεινόμενου αλγορίθμου εμφανίζει σ θεναρότητα σ ε όλες τις αλληλουχίες του DIPLODOC, με μέσ η ποιότητα κατάτμησ ης πάνω από 92%, με μόνο μια μικρή ανεπάρκεια σ το sequence 3 όπου η ποιότητα πέφτει σ το 89.9% επηρεασ μένο από το χαμηλό ποσ οσ τό πληρότητας 93.5%, εξαιτίας αυξημένων false negative. Η τυπική απόκλισ η (Std) της ποιότητας ποτέ δεν αυξάνεται πάνω από 3.7%. Το σ ύσ τημα αναγνώρισ ης δρόμου που προτείνουμε επιτυγχάνει διακύμανσ η της ποιότητας μεταξύ 48.9% και 98.0% με μέσ ο όρο 82.4%. Η τυπική απόκλισ η (Std) της ποιότητας είναι 9.9%. Οπως φαίνεται από τις παρακάτω γραφικές παρασ τάσ εις, η κακή ποιότητα οφείλεται σ το χαμηλό ποσ οσ τό πληρότητας. Η πληρότητα κυμαίνεται από 49.3% μέχρι 99.9% με μέσ ο όρο 84.8%. Η τυπική απόκλισ η της πληρότητας είναι 45

57 10.1%. Αντίθετα, η Ορθότητα του αλγορίθμου είναι αρκετά σ θεναρή με μέσ ο όρο 96.8% και κυμαίνεται απο 83.5% ως 99.9% με πολύ χαμηλή τυπική απόκλισ η 3.3%. Από τα παραπάνω σ υμπεραίνουμε ότι κύρια αιτία για τη μέτρια απόδοσ η του σ υσ τήματός μας είναι η χαμηλή πληρότητα των αποτελεσ μάτων η οποία οφείλεται σ το μεγάλο αριθμό False Negative. Οπως θα αναλύσ ουμε σ ε επόμενη παράγραφο η χαμηλή πληρότητα οφείλεται κυρίως σ την ευαισ θησ ία του προτεινόμενου αλγορίθμου σ την ύπαρξη σ κιών και επίσ ης σ το ghosting effect που εισ άγει ο αλγόριθμος οπτικής ροής. Τέλος παραθέτουμε παραδείγματα όπου ο αλγόριθμος παρουσ ιάζει μεγάλο ποσ οσ τό false negatives εξαιτίας απότομης μεταβολής φωτεινότητας ή highlights και ανωμαλιών του δρόμου όπως road patches διαφορετικού χρώματος, road marking όπως λευκές γραμμές και γράμματα. All Sequences Quality Frame Completeness Frame Correctness Frame Figure 26: Απόδοσ η του προτεινόμενου σ υσ τήματος Αναγνώρισ ης Δρόμου, frame προς frame, για όλα τα sequences της βάσ ης DIPLODOC. Ο υπολογισ μός της απόδοσ ης γίνεται frame προς frame και σ ε όλα τα βίντεο της βάσ ης DIPLODOC, χρησ ιμοποιώντας τις καλύτερες παραμέτρους του σ υσ τήματος οι οποίες είναι: resize του frame προς κατάτμησ η σ το 95% του αρχικού μεγέθους (228x304), υπολογισ μός της οπτικής ροής για a=25 και αριθμό επαναλήψεων k=5. Για μια πιο ποιοτική αξιολόγισ η των αποτελεσ μάτων, κάθε βίντεο πρέπει να αξιολογηθεί ξεχωρισ τά, καθώς οι σ υνθήκες οδήγησ ης διαφέρουν σ ημαντικά από βιντεο σ ε βίντεο όπως φαίνεται σ τον πίνακα 4. 46

58 Sequence Number Frames Environment/Traffic Vehicles Shadows Lighting Suburban/Light 4 Yes Sunny Suburban/None 0 Yes Sunny Suburban/Light 2 Yes Sunny 4 61 Urban/dense >6 No Gloomy Highway/light 2 No Sunny Table 4: Περιγραφή περιβαλλοντικών Συνθηκών σ τις ροές βίντεο της βάσ ης DIPLODOC. Οπως φαίνεται σ τον Πίνακα 5, ο προτεινόμενος αλγόριθμος επιτυγχάνει μέσ η ποιότητα κατάτμησ ης πάνω απο 82% με εξαίρεσ η το sequence 3 όπου η μέσ η ποιότητα πέφτει σ το 79.3% εξαιτίας της χαμηλής πληρότητας (81.8%). Η τυπική απόκλισ η της ποιότητας δεν ξεπερνά το 4.9% σ τα sequence 2 και 5. Αντίθετα, σ τα sequence 1, 3 και 4 φτάνει μέχρι και 12.8%. Αυτό οφείλεται σ την εξίσ ου υψηλή τυπική απόκλισ η της Πληρότητας η οποία σ τα sequence 1, 3 και 4 φτάνει το 13.9%. Την ίδια σ τιγμή η τυπική απόκλισ η της Ορθότητας κυμαίνεται απο 0.3% έως 3.8%. Τα παραπάνω σ τοιχεία μας οδηγούν σ το σ υμπέρασ μα ότι η υποβάθμισ η της ποιότητας του αλγορίθμου οφείλεται σ τον μεγάλο αριθμό false negatives. Αυτό σ υμβαίνει εξαιτίας εγγενών αδυναμιών του προτεινόμενου αλγορίθμου, όπως η ευαισ θησ ία σ την ύπαρξη σ κιών και το ghosting effect που εισ άγει ο αλγόριθμος οπτικής ροής. Τέλος, αξίζει να σ ημειώσ ουμε ότι κάποια σ φάλματα είναι υποκειμενικά καθώς η κατάταξη των εικονοσ τοιχείων του οδοσ τρώματος σ ε δρόμο και μη- δρόμο υλοποιήθηκε από ανθρώπινο ταξινομητή. Sequence Number All Mean 83.5% 85.2% 79.3% 82.7% 83.1% 82.4% Quality - g Std 9.5% 4.9% 12.8% 8.3% 4.2% 9.9% Min 61.0% 70.8% 47.2% 36.3% 73.2% 48.9% Max 97.9% 95.6% 93.4% 96.7% 93.1% 98.0% Mean 86.2% 87.2% 81.8% 83.5% 83.8% 84.8% Completeness - CM Std 9.1% 5.3% 13.9% 8.4% 4.4% 10.1% Min 61.3% 72.0% 47.3% 36.3% 73.6% 49.3% Max 99.9% 98.4% 97.2% 97.4% 94.7% 99.9% Mean 96.3% 97.3% 96.3% 98.8% 99.1% 96.8% Correctness - CR Std 3.8% 2.3% 2.5% 0.3% 0.8% 3.3% Min 83.5% 90.1% 90.3% 97.7% 91.7% 83.5% Max 99.9% 99.9% 99.9% 100% 99.9% 99.9% Table 5: Απόδοσ η του προτεινόμενου σ υσ τήματος Αναγνώρισ ης Δρόμου σ τις ροές βίντεο της βάσ ης DIPLODOC. 47

59 8.2 Ευαισθησία στην ύπαρξη σκιών Ενας από τους βασ ικούς λόγους υποβάθμισ ης της ποιότητας του προτεινόμενου αλγορίθμου είναι η πολύ μεγάλη ευαισ θησ ία που εμφανίζει σ την ύπαρξη σ κιών. Παρότι χρησ ιμοποιήσ αμε οπτική ροή από το χρωματικά αμετάβλητο χρωματικό κανάλι c1 αυτό δεν ήταν αρκετό ώσ τε να προσ δώσ ει σ θεναρότητα σ την ύπαρξη σ κιών. Η ευαισ θησ ία αυτή οφείλεται σ το ότι ο αλγόριθμος μας βασ ίζεται σ τον υπολογισ μό της εντροπίας του μέτρου της οπτικής ροής HSC1. Το κυριότερο μειονέκτημα το αλγορίθμου Horn and Shuck είναι οτι βασ ίζεται σ ε εικόνες κλίμακας του γκρί, εξαιτίας της παραδοχής οτι η φωτεινότητα της εικόνας είναι ομαλή (brightness smoothness assumption), το οποίο σ υνεπάγεται υψηλή ευαισ θησ ία σ τις σ κιές και τις απότομες μεταβολές φωτεινότητας. Παρ ότι το μέτρο της οπτικής ροής σ την επιφάνεια του δρόμου είναι ομοιόμορφο και με πολύ μικρή τιμή και ως σ υνέπεια έχει σ χεδόν μηδενική εντροπία, αυτό δεν ισ χύει σ τα τμήματα του δρόμου που παρουσ ιάζεται μια σ κιά. Οπως φαίνεται και σ τις παρακάτω εικόνες οι σ κιές παρουσ ιάζουν μέτρο οπτικής ροής HSC1 με πολύ υψηλή υφή οπότε και ταξινομούνται λανθασ μένα ως μη δρόμος. Για παράδειγμα, ο αλγόριθμος δεν έχει τρόπο να διαχωρίσ ει μέσ ω της υφής του μέτρου της ροής HSC1 ένα δέντρο από τη σ κιά του που βρίσ κεται σ το οδόσ τρωμα. (a) frame 2 (b) (c) (d) frame 644 (e) (f) (g) frame 697 (h) (i) Figure 27: Παραδείγματα όπου τα σ κιασ μένα τμήματα του οδοσ τρώματος ταξινομούνται λανθασ μένα σ την κατηγορία μη-δρόμος. Η πρώτη σ τήλη απεικονίζει το αρχικό frame και το αποτέλεσ μα κατάτμησ ης με μπλέ χρώμα, η δεύτερη και τρίτη σ τήλη απεικονίζουν το μέτρο της οπτικής ροής και την εντροπία του μέτρου της οπτικής ροής του αντίσ τοιχου frame. 48

60 8.3 Επίδραση Ghosting Effect του αλγορίθμου οπτικής ροής Horn Schunck Άλλος ένας παράγοντας που σ υμβάλει καθορισ τικά σ την υποβάθμισ η της ποιότητας της προτεινόμενης μεθόδου ανίχνευσ ης δρόμου είναι το ghosting effect του αλγορίθμου οπτικής ροής Horn Schunck. Το ghosting effect αποτελεί την εμφάνισ η ψευδών ειδώλων μη μηδενικής ροής για ένα ή περισ σ ότερα frames αφότου το αντικείμενο που αρχικά τα δημιούργησ ε έχει απομακρυνθεί από τη σ κηνή. Το φαινόμενο αυτό αποτελεί κοινή ανεπάρκεια τέτοιων αλγορίθμων και οφείλεται σ το ότι η οπτική ροή υπολογίζεται επαναληπτικά χρησ ιμοποιώντας πληροφορία από όλα τα προηγούμενα αποτελέσ ματα της οπτικής ροής. u k+1 = u k I x(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y v k+1 = v k I y(i x u k + I y v k + I t ) a 2 + I 2 x + I 2 y Από την παραπάνω επαναληπτική μέθοδο βλέπουμε ότι η οπτική ροή κατά την υλοποίησ η (k + 1) εξαρτάται από την οπτική ροή κατά τη παρελθοντική υλοποίησ η k, το οποίο μας οδηγεί σ το σ υμπέρασ μα ότι η επαναληπτική μέθοδος λειτουργεί ουσ ιασ τικά σ αν ένα σ ύσ τημα με μνήμη. Ακόμη, σ την υλοποίησ η μας χρησ ιμοποιούμε πολύ μικρό αριθμό επαναλήψεων (5) ώσ τε να διατηρήσ ουμε την ιδιότητα του αλγορίθμου Horn Schunck να παράγει αραιά (sparse) αποτελέσ ματα σ ε επιφάνειες χωρίς υφή. Το φαινόμενο γίνεται ακόμα πιο εμφανές όταν οι παράγωγοι της εικόνας Ix, Iy, It έχουν πολύ μικρές τιμές οπότε οι παρελθοντικές τιμές της οπτικής ροής u(k) και v(k) και το βάρος α παίζουν τον καθορισ τικό ρόλο σ τον υπολογισ μό του αποτελέσ ματος. Σε αυτό το σ ημείο αξίζει να θυμήσ ουμε ότι η οπτική ροή υπολογίζεται ελαχισ τοποιώντας το άθροισ μα Ε των σ φαλμάτων του ρυθμού μεταβολής της φωτεινότητας της εικόνας (data term) και του μέτρου, της απόκλισ ης από την ομαλότητα, της οπτικής ροής (smothness term). E = [(I x u + I y v + I t ) 2 + a 2 ( u 2 + v 2 )]d x d y Με άλλα λόγια ο αριθμός α αποτρέπει απότομες μεταβολές της εκτίμησ ης της οπτικής ροής όταν οι παράγωγοι είναι σ χεδόν μηδενικές επηρεάζοντας έτσ ι πόσ ο ομαλή θα είναι η εκτίμησ η. 49

61 (a) frame 171 (b) frame 172 (c) (d) frame 668 (e) frame 669 (f) Figure 28: Στις παραπάνω εικόνες απεικονίζονται δύο διαδοχικά frames και σ την τρίτη σ τήλη απεικονίζεται η οπτική ροή που παράγεται από αυτά. Παρατειρούμε ότι τα είδωλα των αυτοκινήτων και της μαχανής παραμένουν σ την οπτική ροή, ακόμα και όταν τα οχήματα έχουν αποχωρήσ ει από τη σ κηνή, υποβαθμίζοντας έτσ ι την κατάτμησ η Επίδραση του Ghosting Effect κατά την αλλαγή σκηνής Για να μελετήσ ουμε την επίδρασ η του ghosting effect κατά την απότομη αλλαγή των σ κηνών εκτελέσ αμε τον αλγόριθμό μας για όλα τα frames της βάσ ης DIPLODOC. Αυτό που παρατηρούμε είναι ότι σ ε ορισ μένες περιπτώσ εις τα είδωλα οχημάτων από προηγούμενες σ κηνές υποβαθμίζουν την ποιότητα της κατάτμησ ης. Το φαινόμενο αυτό είναι αισ θητό κατά τη μετάβασ η από το sequence 1 σ το sequence 2 για 15 frames( ) και από το sequence 4 σ το sequence 5 για περίπου 40 frames. (a) frame 453 (b) Figure 29: Στα παραπάνω παραδείγματα παρατηρούμε ότι κατά την απότομη αλλαγή σ κηνής, τo είδωλο του αυτοκινήτου το οποίο παραμένει σ την οπτική ροή από προηγούμενες σ κηνές υποβαθμίζει την ποιότητα της κατάτμησ ης. 50

62 (a) frame 65 (b) (c) (d) frame 328 (e) (f) (g) frame 435 (h) (i) (j) frame 479 (k) (l) (m) frame 669 (n) (o) (p) frame 752 (q) (r) Figure 30: Στα παραπάνω frames η ποιότητα της κατάτμησ ης υποβαθμίζεται εξαιτίας: a) Αντανάκλασ ης λόγω ανωμαλιών σ την επιφάνεια του δρόμου d) προειδοποιητικού Road Marking BUS g) Road patch διαφορετικού χρώματος j) Road patch διαφορετικού χρώματος σ την δεξιά σ τροφή m) γραμμής διαγράμμισ ης σ τα δεξιά του δρόμου p) απότομης αύξησ ης της φωτεινότητας