Αναγνώριση Προπορευόµενου Οχήµατος µε Ψηφιακή Επεξεργασία Εικόνας

Transcript

1 Αναγνώριση Προπορευόµενου Οχήµατος µε Ψηφιακή Επεξεργασία Εικόνας Ευάγγελος Σκόδρας Τµήµα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Πανεπιστήµιο Πατρών, Πάτρα Abstract Developing on-board automotive driver assistance systems aiming to alert drivers about possible collision with other vehicles has attracted a lot of attention lately. In these systems, robust and reliable vehicle detection is a critical step. In this work a vehicle detection system is developed based on video frames grabbed by a camera mounted on the vehicle. Vehicle detection is mainly based on the detection of its red rear-lights. First we detect all red pixels of the frame and create the corresponding binary image (mask). Then we detect the areas that possibly constitute vehicle s rear-lights by performing morphological binary image processing. Based on that, we determine the boundary of the vehicle. To verify the presence of the vehicle in this area, we perform a symmetry test based on sub-image similarity. Experimental results are very promising. Directions for future improvements are given. Keywords: Collision warning, computer vision, digital image processing, vehicle detection 1. Εισαγωγή Κάθε λεπτό, κατά µέσο όρο, τουλάχιστον ένας άνθρωπος χάνει τη ζωή του σε ένα αυτοκινητιστικό δυστύχηµα. Επίσης, τουλάχιστον 10 εκατοµµύρια το χρόνο τραυµατίζονται σοβαρά. Εκτιµάται ότι τα έξοδα νοσηλείας, οι ζηµιές που προκαλούνται και τα διάφορα άλλα έξοδα που προκύπτουν, αυξάνουν κατά 1%-3% το παγκόσµιο ακαθάριστο προϊόν. Με στόχο τη µείωση των τραυµατισµών και της σοβαρότητας των συγκρούσεων, η πρόβλεψη µίας πιθανής σύγκρουσης προσελκύει όλο και περισσότερο το ενδιαφέρον στους κατασκευαστές οχηµάτων και τους ερευνητές. Τα στατιστικά στοιχεία των αυτοκινηστικών δυστυχηµάτων δείχνουν ότι οι σηµαντικότεροι κίνδυνοι προέρχονται από τα άλλα οχήµατα. Μία από τις σηµαντικότερες αιτίες πρόκλησης αυτοκινητιστικών δυστυχηµάτων είναι αυτή της προσωρινής απόσπασης της προσοχής του οδηγού λόγω διαφόρων εξωτερικών παραγόντων. Η ανάπτυξη ενός ενσωµατωµένου στο όχηµα συστήµατος υποβοήθησης του οδηγού που να τον προειδοποιεί για πιθανές συγκρούσεις µε άλλα οχήµατα βρίσκεται στο κέντρο του ενδιαφέροντος. Στα συστήµατα αυτά ο αξιόπιστος εντοπισµός οχηµάτων αποτελεί το µείζον θέµα.

2 32 3 rd Panhellenic Scientific Student Conference on Informastics Ο εντοπισµός και η παρακολούθηση των οχηµάτων βρίσκει πολλές εφαρµογές, όπως σε περιπτώσεις κίνησης µε µεγάλη ταχύτητα στους αυτοκινητόδροµους, κίνησης στην πόλη µε χαµηλές ταχύτητες και µικρές αποστάσεις µεταξύ των οχηµάτων, αυτόµατης πλοήγησης του οχήµατος βασισµένης αποκλειστικά στην οπτική πληροφορία που λαµβάνεται από το περιβάλλον, κά. Οι λόγοι που οδήγησαν στη ραγδαία αύξηση της έρευνας στο πεδίο αυτό είναι, εκτός των άλλων, και η διαθεσιµότητα προηγµένων τεχνολογιών µηχανικής όρασης, όπως και η αλµατώδης αύξηση στις ταχύτητες επεξεργασίας των υπολογιστικών συστηµάτων που κατέστησε δυνατή την όλη επεξεργασία σε πραγµατικό χρόνο. Η εργασία αυτή έχει ως στόχο την ανάπτυξη συστήµατος αναγνώρισης προπορευόµενων οχηµάτων, σε εικόνες από ψηφιακές βιντεοσκοπήσεις που λαµβάνονται από κινούµενο αυτοκίνητο. Το σύστηµα αυτό µπορεί να αποτελέσει το πρώτο στάδιο ενός ενσωµατωµένου συστήµατος εντοπισµού και παρακολούθησης προπορευό- µενων οχηµάτων, µε σκοπό την υποβοήθηση του οδηγού. 2. Ανασκόπηση Μεθόδων Αναγνώρισης Οχηµάτων Οι µέθοδοι που χρησιµοποιούνται για την αναγνώριση οχηµάτων χωρίζονται σε τέσσερις µεγάλες κατηγορίες. 2.1 Μέθοδοι βασισµένες στην υπάρχουσα γνώση Οι µέθοδοι αυτές χρησιµοποιούν a-priori γνώση για να ελέγξουν την ύπαρξη οχηµάτων σε µια εικόνα. Μερικές από τις πιο αντιπροσωπευτικές προσεγγίσεις χρησιµοποιούν πληροφορία για τη συµµετρία (Sun et al, 2006), το χρώµα (Buluswar et al, 1998), τις σκιές (Handmann, 2000), τα γεωµετρικά χαρακτηριστικά (Srinivasa, 2002) (π.χ γωνίες, οριζόντιες/κάθετες ακµές), την υφή και τα φώτα των οχηµάτων. 2.2 Μέθοδοι βασισµένες στη κίνηση Όλες οι προηγούµενες µέθοδοι χρησιµοποιούν χωρικά χαρακτηριστικά για τον διαχωρισµό µεταξύ των οχηµάτων και του περιβάλλοντος. Ένα άλλο χαρακτηριστικό το οποίο µπορεί να χρησιµοποιηθεί για τον εντοπισµό των οχηµάτων είναι η σχετική κίνηση η οποία υπολογίζεται µέσω της οπτικής ροής (optical flow). Η οπτική ροή µπορεί να προσφέρει σηµαντική πληροφορία για τον εντοπισµό οχηµάτων. Για παράδειγµα, τα οχήµατα που κινούνται στο αντίθετο ρεύµα του δρόµου σχηµατίζουν µία αποκλίνουσα ροή, η οποία µπορεί να διαχωριστεί ποσοτικά από τη ροή που δηµιουργείται από την ιδιοκίνηση του οχήµατος. Από την άλλη πλευρά, τα µπροστινά οχήµατα που εκκινούν ή αυτά που προσπερνάνε δηµιουργούν µια συγκλίνουσα ροή.

3 STUDENT EUREKA Μέθοδοι βασισµένες σε πρότυπα Οι µέθοδοι που είναι βασισµένες σε πρότυπα χρησιµοποιούν προκαθορισµένα πρότυπα οχηµάτων και εκτελούν συσχέτιση µεταξύ της εικόνας και του προτύπου. Ορισµένα από τα πρότυπα αναπαριστούν τα οχήµατα µε λεπτοµέρεια, ενώ άλλα χρησιµοποιούν µικρότερη λεπτοµέρεια. 2.4 Μέθοδοι βασισµένες στην εµφάνιση Οι µέθοδοι αυτές χρησιµοποιούνται κυρίως για την επιβεβαίωση ύπαρξης οχήµατος στις περιοχές ενδιαφέροντος. Χρησιµοπούν δύο κατηγορίες ταξινόµησης, όχηµα και µη όχηµα. Η ανάπτυξη ενός αξιόπιστου συστήµατος αναγνώρισης προτύπων προϋποθέτει την εύρεση του βέλτιστου κατωφλίου απόφασης µεταξύ των κατηγοριών στις οποίες ταξινοµούνται. εδοµένης της ποικιλίας των οχηµάτων που υπάρχουν, αντιλαµβανόµαστε ότι η εύρεση του κατωφλίου αυτού δεν είναι απλή. 3. Προτεινόµενη προσέγγιση για την αναγνώριση προπορευόµενων οχηµάτων Η µεθοδολογία µε βάση την οποία εργαστήκαµε χρησιµοποιεί ένα συνδυασµό των µεθόδων βασισµένων στην υπάρχουσα γνώση και εκµεταλλεύεται ορισµένα από τα κυρίαρχα χαρακτηριστικά των οχηµάτων (Σχήµα 1). Αρχικά, θεωρούµε ως δεδοµένο ότι υπάρχει κάποιο όχηµα στις εικόνες που εξετάζουµε. Το πρώτο στάδιο της εργασίας µας αφορά στην αναζήτηση των πίσω (κόκκινων) φαναριών, τα οποία υπάρχουν σε όλα ανεξαρτήτως τα οχήµατα. Η αναζήτηση αυτή βασίστηκε στην εύρεση των κόκκινων εικονοστοιχείων (pixels) στην εικόνα, µέσα στα οποία περιλαµβάνονται και τα κόκκινα πίσω φανάρια του οχήµατος. ηµιουργούµε µια δυαδική (binary) εικόνα όπου τα κόκκινα εικονοστοιχεία της εικόνας έχουν την τιµή 1 ενώ όλα τα υπόλοιπα την τιµή 0. Στο δεύτερο στάδιο εκτελούµε µια µορφολογική επεξεργασία στη δυαδική εικόνα ώστε να απορρίψουµε τα αντικείµενα τα οποία δεν πληρούν ορισµένα χωρικά χαρακτηριστικά και κρατάµε ως πιθανά φανάρια µόνο αυτά τα οποία είναι όµοια µεταξύ τους. Ακολούθως, µε βάση τα κέντρα των πιθανών φαναριών που εντοπίσαµε, σχεδιάζουµε (στην αρχική εικόνα) ένα ορθογώνιο παραλληλόγραµµο, το οποίο περικλείει τα πιθανά οχήµατα που θέλουµε να εντοπίσουµε. Η επιβεβαίωση ύπαρξης κάποιου οχήµατος στις περιοχές (ορθογώνια παραλληλόγραµµα) που δηµιουργούνται, γίνεται µε έλεγχο συµµετρίας ως προς τον κάθετο άξονα που περνάει απο το κέντρο τους. Ο έλεγχος συµµετρίας πραγµατοποιείται χωρίζοντας το ορθογώνιο παραλληλόγραµµο σε δυό υποεικόνες σύµφωνα µε τον άξονα συµµετρίας και εξετάζοντας την οµοιότητα των υποεικόνων αυτών. Για τις υποεικόνες στις οποίες ο συντελεστής οµοιότητας πληρεί τις προϋποθέσεις που θέτουµε, θεωρούµε ότι υπάρχει όχηµα στη θέση εκείνη. Τέλος, για

4 34 3 rd Panhellenic Scientific Student Conference on Informastics Σχήµα 1. ιάγραµµα ροής της προτεινόµενης προσέγγισης τα οχήµατα τα οποία εντοπίζονται, υπολογίζεται προσεγγιστικά η απόσταση τους. Ακολουθεί µια αναλυτική παρουσίαση του κάθε σταδίου της προτεινόµενης προσέγγισης (Σκόδρας, 2009). 3.1 Εντοπισµός κόκκινων εικονοστοιχείων Το πρώτο στάδιο της επεξεργασίας αφορά στον εντοπισµό των κόκκινων εικονοστοιχείων στην εικόνα. Αν υπάρχει κάποιο προπορευόµενο όχηµα στην εικόνα, τότε στα κόκκινα εικονοστοιχεία θα συµπεριλαµβάνονται και τα κόκκινα πίσω φώτα του. Εξυπακούεται ότι οι εικόνες που επεξεργαζόµαστε είναι RGB και ότι όσο πιο µεγάλο βάθος χρώµατος και ανάλυση έχουν οι εικόνες, τόσο καλύτερα αποτελέσµατα προκύπτουν, σε βάρος βέβαια της πολυπλοκό-τητας και του χρόνου επεξεργασίας. Χρειαζόµαστε ένα χώρο που να έχει µεγάλη διακριτική ικανότητα µεταξύ των χρωµάτων αφού αυτά παίζουν καθοριστικό ρόλο στην αναγνώριση. Επίσης, επιθυµούµε να παρουσιάζει ανθεκτικότητα στις µεταβολές των συνθηκών κάτω από τις οποίες έχει ληφθεί η βιντεοσκόπηση (συνθήκες φωτισµού, σκιάσεις, κά) και στο µέτρο που αυτό είναι δυνατό να µην παρουσιάζει µεγάλη πολυπλοκότητα η οποία αυξάνει το χρόνο επεξεργασίας. Σύµφωνα µε τις προδιαγραφές που θέσαµε παραπάνω και µετά από αρκετές δοκιµές καταλήξαµε στο συµπέρασµα ότι το καλύτερο για την εφαρµογή µας είναι ένας συνδυασµός των χρωµατικών χώρων RGB και HSV (Gonzalez et al, 2004; Παπαµάρκος, 2003) καθώς από µόνος του κανένας από τους δύο δεν οδηγεί σε αξιόπιστα αποτελέσµατα. Ο RGB χρωµατικός χώρος εγγυάται ότι δεν υπάρχει διαστρέβλωση στην αρχική χρωµατική πληροφορία. Έχει όµως το µειονέκτηµα ότι οι συνιστώσες του είναι άµεσα συσχετισµένες, γεγονός που κάνει δύσκολη την εκτίµηση της απόστασης δύο χρωµάτων από την απόσταση τους στον χρωµατικό χώρο RGB. Επίσης, είναι ευαίσθητος σε αλλαγές του φωτισµού, δηλαδή κάθε

5 STUDENT EUREKA καιρική αλλαγή ακόµα και η βιντεοσκόπηση σε διαφορετικές ώρες της µέρας συµβάλλουν στην αλλαγή των χρωµατικών πληροφοριών µιας RGB εικόνας. Χρησιµοποιώντας µόνο µία συνιστώσα δεν θα µπορούσαµε να έχουµε αξιόπιστα αποτελέσµατα, αφού και στην µέγιστη τιµή της να είναι η κόκκινη συνιστώσα το τελικό χρώµα εξαρτάται και απο τις τιµές των άλλων δύο συνιστωσών. Το παραπάνω πρόβληµα αντιµετωπίζεται χρησιµοποιώντας τις αναλογίες των τριών συνιστωσών κάθε εικονοστοιχείου, οι οποίες κατωφλιώνονται κατάλληλα, καθώς και την ελάχιστη διαφορά (απόσταση) που θα πρέπει να έχουν µεταξύ τους. Ρυθµίζουµε δηλαδή το ποσό του κόκκινου που περιέχεται σε κάθε εικονοστοιχείο, το οποίο σε συνδυασµό µε την κατωφλίωση στον HSV χρωµατικό χώρο, µας δίνει τα επιθυµητά αποτελέσµατα. Ο χρωµατικός χώρος HSV καθώς και οι παραλλαγές του (HIS και HLS) είναι ο πιο δηµοφιλής χώρος για εφαρµογές που σχετίζονται µε την εύρεση έγχρωµων εικονοστοιχείων. Ο χώρος HSV είναι πολύ ανθεκτικός στις µεταβολές των καιρικών συνθηκών γιατί δεν επηρεάζεται σηµαντικά η χρωµατική πληροφορία από τις διαφορές στη φωτεινότητα της σκηνής και τις φωτοσκιάσεις. Επίσης, η κάθε συνιστώσα του µας δίνει διαφορετικό είδος πληροφορίας και προσεγγίζει τον τρόπο που οι άνθρωποι αντιλαµβάνονται το χρώµα. Στόχος του αλγορίθµου που αναπτύχθηκε είναι ο κατ αρχήν προσεγγιστικός εντοπισµός των κόκκινων εικονοστοιχείων στην εικόνα (Σχήµα 2). Μετά από αρκετούς πειραµατισµούς π.χ. εξισορρόπηση ιστογράµµατος ώστε να αυξηθεί η φωτεινότητα σε εικόνες µε χαµηλό φωτισµό, διαπιστώσαµε ότι δεν χρειάζεται κάποια προεπεξεργασία στην εικόνα και ότι το βέλτιστο αποτέλεσµα επιτυγχάνεται διατηρώντας αναλλοίωτη την αρχική εικόνα και κατ επέκταση τη χρωµατική της πληροφορία. Η κατωφλίωση που χρησιµοποιήθηκε στον RGB και HSV χρωµατικό χώρο είναι εµπειρική, ενώ οι τιµές της διορθώθηκαν µε βάση τα πειραµατικά αποτελέσµατα σε εικόνες µε διαφορετικές συνθήκες (π.χ. διαφορετικά επίπεδα φωτισµού) και από διαφορετικές κάµερες. Σχήµα 2. ιάγραµµα ροής εντοπισµού κόκκινων εικονοστοιχείων Στη συνέχεια η εικόνα µετασχηµατίζεται σε δυαδική όπου τα 1 αντιπροσωπεύουν τα κόκκινα εικονοστοιχεία που εντοπίστηκαν και τα 0 όλα τα υπόλοιπα. Η δυαδική αυτή εικόνα προέκυψε εφαρµόζοντας τον τελεστή OR στις δύο επιµέρους δυαδικές

6 36 3 rd Panhellenic Scientific Student Conference on Informastics εικόνες που προέκυψαν από την κατωφλίωση στους χρωµατικούς χώρους RGB και HSV. Αποτελέσµατα της διαδικασίας αυτής δείχνονται στο Σχήµα 3. Σχήµα 3. Πριν και µετά τον εντοπισµό των κόκκινων εικονοστοιχείων 3.2 Μορφολογική επεξεργασία δυαδικών εικόνων Σκοπός του σταδίου αυτού είναι η έξαγωγή ορισµένων χαρακτηριστικών από τη δυαδική (binary) εικόνα η οποία προέκυψε κατά το προηγούµενο στάδιο, τα οποία θα βοηθήσουν στην αναγνώριση των φαναριών του προπορευόµενου οχήµατος (και κατ επέκταση και του ίδιου του οχήµατος). Τα αντικείµενα τα οποία θα επιλεγούν στο τέλος της επεξεργασίας ως πιθανά φανάρια αυτοκινήτων είναι εκείνα τα οποία µοιάζουν περισσότερο ανά δύο µεταξύ τους. Αρχικά βάζουµε µία ετικέτα (label) σε κάθε αντικείµενο της εικόνας και τα απαριθµούµε. Τα χαρακτηριστικά τα οποία χρησιµοποιούµε διακρίνονται σε δύο µεγάλες κατηγορίες: τα χωρικά χαρακτηριστικά (spatial features) και τα γεωµετρικά χαρακτηριστικά (geometrical features). Ως χωρικά χαρακτηριστικά επιλέχθηκαν η µέγιστη και η ελάχιστη επιτρεπτή απόσταση την οποία µπορούν να έχουν τα πιθανά φανάρια καθώς και η µέγιστη γωνία η οποία επιτρέπεται να σχηµατίζουν µεταξύ τους. Η µέγιστη και ελάχιστη επιτρεπτή απόσταση των φαναριών (εκφρασµένη σε εικονοστοιχεία σε σχέση µε τη διάσταση της εικόνας) καθορίστηκε µε βάση τα πραγµατικά χαρακτηριστικά των συγκεκριµένων εικόνων. Συγκεκριµένα η µέγιστη απόσταση δεν µπορεί να είναι µεγαλύτερη απο το 1/2 του µήκους της εικόνας (ακόµα και στη χειρότερη περίπτωση που το προπορευόµενο όχηµα βρίσκεται ακριβώς µπροστά από αυτό που έχει την κάµερα), ενώ η ελάχιστη δεν µπορεί να είναι µικρότερη από το 1/30 του µήκους της εικόνας (διότι στην περίπτωση αυτή βρίσκεται σε πολύ µεγάλη απόσταση ώστε να µπορεί να αναγνωριστεί). Η γωνία µεταξύ των αντικειµένων βασίζεται στο γεγονός ότι τα αντικείµενα τα οποία αποτελούν πιθανά φανάρια οχηµάτων είναι στην ίδια ευθεία µεταξύ τους (εφόσον η εικόνα είναι οριζόντια γεγονός που επιδιώξαµε σε προηγούµενο στάδιο). Σε καθένα από τα παραπάνω έχουµε λάβει υπ όψιν ένα περιθώριο ασφαλείας για τυχόν µικρά

7 STUDENT EUREKA σφάλµατα (στη γωνία µεταξύ αντικειµένων µία απόκλιση µέχρι και 5 ο µοίρες είναι αποδεκτή). 3.3 Εύρεση ορίων οχήµατος Έχοντας ως δεδοµένο τα αντικείµενα που αποτελούν πιθανά πίσω φανάρια κάποιου οχήµατος, βρίσκουµε προσεγγιστικά τα όρια του αντίστοιχου οχήµατος (αν υπάρχει). Χρησιµοποιούµε ως δεδοµένο τα κέντρα των αντικειµένων που έχουν προκύψει από την µορφολογική επεξεργασία της δυαδικής εικόνας και τα οποία αποτελούν πιθανά κέντρα των πίσω φαναριών κάποιου οχήµατος. Για να γίνει αντιληπτή η αναγκαιότητα εύρεσης των ορίων των οχηµάτων θα προτρέξουµε στο επόµενο στάδιο τη διαδικασίας αναγνώρισης. Συγκεκριµένα η επιβεβαίωση για την ύπαρξη ενός οχήµατος σε µια θέση προϋποθέτει να περικλειστεί το πιθανό όχηµα της αρχικής εικόνας σε ένα ορθογώνιο παραλληλόγραµµο. Όσο µεγαλύτερη είναι η ακρίβεια µε την οποία περικλείεται το όχηµα τόσο βελτιώνονται τα µετέπειτα αποτελέσµατα. Ως πλαϊνά όρια του οχήµατος θεωρούµε τις κατακόρυφες ευθείες οι οποίες διέρχονται από τα κέντρα των φαναριών του. Η παραδοχή αυτή απλοποιεί το πρόβληµα και βελτιώνει τα αποτελέσµατα. Για την εύρεση των οριζοντίων πλευρών του παραλληλογράµµου θεωρούµε το πάνω και κάτω όριο του οχήµατος το οποίο βρίσκεται, όπως περιγράφεται παρακάτω: Γνωρίζουµε ότι στα αυτοκίνητα η αναλογία του πλάτους και του ύψους είναι συγκεκριµένη και κυµαίνεται σε ένα µικρό διάστηµα τιµών, ανάλογα µε τον τύπο του αυτοκινήτου. Έχοντας ως δεδοµένο την απόσταση των κέντρων των φαναριών, η οποία είναι ανάλογη του πλάτους του αυτοκινήτου, θεωρούµε προσεγγιστικά ως πάνω όριο την ευθεία η οποία βρίσκεται σε απόσταση ίση µε το 1/2 της απόστασης των φαναριών από το κέντρο τους και προς τα πάνω. Ως κάτω όριο θεωρούµε προσεγγιστικά την εικόνα η οποία βρίσκεται σε απόσταση ίση µε τα 3/5 της απόστασης των φαναριών από το κέντρο τους και προς τα κάτω. Αποτελέσµατα της εύρεσης των ορίων ενός οχήµατος µε βάση τα παραπάνω, δείχνονται στο Σχήµα 4. y 1/2 3/5 Σχήµα 4. Προσδιορισµός των ορίων των οχηµάτων

8 38 3 rd Panhellenic Scientific Student Conference on Informastics 3.4 Έλεγχος συµµετρίας µε οµοιότητα εικόνων Το επόµενο στάδιο περιλαµβάνει την επιβεβαίωση της ύπαρξης οχήµατος στις περιοχές ενδιαφέροντος. Το χαρακτηριστικό που χρησιµοποιείται για την επαλήθευση ύπαρξης κάποιου οχήµατος είναι η συµµετρία. Η συµµετρία είναι κυρίαρχο χαρακτηριστικό κάθε αντικειµένου και για το λόγο αυτό χρησιµοποιείται συχνά για τον εντοπισµό και αναγνώριση αντικειµένων στη µηχανική όραση (computer vision). Εικόνες οχηµάτων που απεικονίζουν την µπροστινή ή πίσω όψη τους είναι γενικά συµµετρικές ως προς τον κάθετο άξονα. Τον άξονα συµµετρίας των οχηµάτων αποτελεί η κατακόρυφη ευθεία που διέρχεται από το µέσο του οχήµατος. Στην περίπτωσή µας ο άξονας ως προς τον οποίον ελέγχεται η συµµετρία είναι η µεσοκάθετος του ευθύγραµµου τµήµατος που ενώνει τα πίσω φανάρια του οχήµατος. Ο άξονας αυτός διχοτοµεί το ορθογώνιο παραλληλόγραµµο σε δύο νέα ορθογώνια παραλληλόγραµµα (υποεικόνες) ιδίων διαστάσεων (Σχήµα 5). Σχήµα 5. Προσδιορισµός της περιοχής ενδιαφέροντος (ορίων) οχήµατος. ιχοτόµηση της περιοχής εδιαφέροντος και κατοπτρισµός της µιας από τις δύο. Για να ελέγξουµε τη συµµετρία της περιοχής του πιθανού οχήµατος αρκεί να ελέγξουµε κατά πόσο µοιάζουν µεταξύ τους οι δύο εικόνες που προέκυψαν από τη διχοτόµηση του παραλληλογράµµου. Θεωρούµε την κατοπτρική εικόνα της µιας από τις δύο υποεικόνες και τη συγκρίνουµε µε την άλλη, ώστε να βρούµε ένα µέτρο της οµοιότητάς τους. Ως µέτρα οµοιότητας χρησιµοποιήσαµε το µέσο απόλυτο σφάλµα, την απόλυτη διαφορά ιστογραµµάτων και τη ετεροσυσχέτιση. Σχήµα 6. Εντοπισµός περιοχής ενδιαφέροντος και υπολογισµός µέτρων οµοιότητας Για κάθε µία από τις µεθόδους επιλέξαµε ένα κατώφλι µε βάση το οποίο χωρίζαµε τις αναγνωρισµένες περιοχές σε οχήµατα ή περιβάλλον (µη οχήµατα). Το κατώφλι που επιλέχθηκε για κάθε µέθοδο είναι εµπειρικό, αφού δεν ήταν δυνατόν να καταλήξουµε σε κάποια στατιστικά µεγέθη που να κάνουν σε όλες τις περιπτώσεις τον βέλτιστο διαχωρισµό. Για την επίτευξη του καλύτερου αποτελέσµατος, για την

9 STUDENT EUREKA επιβεβαίωση ύπαρξης κάποιου οχήµατος, χρησιµοποιήθηκε ο συνδυασµός και των τεσσάρων µεθόδων που περιγράφτηκαν (Σχήµα 6). Για να επιβεβαιωθεί δηλαδή η ύπαρξη οχήµατος σε κάποια από τις περιοχές ενδιαφέροντος θα πρέπει οι τιµές των συντελεστών οµοιότητας που προκύπτουν από κάθε µέθοδο, να βρίσκονται πάνω από το αντίστοιχο κατώφλι που ορίστηκε. 3.5 Εκτίµηση απόστασης προπορευόµενου οχήµατος Ο ακριβής υπολογισµός της απόστασης αυτής δεν είναι εφικτός καθώς ένα καρέ δεν µπορεί από µόνο του να µας δώσει αρκετή πληροφορία για τον προσδιορισµό της. Η απαίτηση για ακριβή υπολογισµό θα οδηγούσε στη χρήση άλλων µεθόδων, π.χ. στερεοσκοπικών. Η χρήση στερεοσκοπικών µεθόδων θα απαιτούσε τη χρήση δύο καµερών τοποθετηµένων σε µία µικρή οριζόντια απόσταση µεταξύ τους, κάτι που ξεφεύγει από τα όρια της παρούσας εργασίας. Για τον προσεγγιστικό υπολογισµό της απόστασης βασιζόµαστε στην υπόθεση ότι το πλάτος των αυτοκινήτων είναι ίδιο για όλα τα αυτοκίνητα (στην πραγµατικότητα κυµαίνεται σε ένα διάστηµα από 1,6m - 1,9m). Έτσι, έχοντας ως δεδοµένο την απόσταση σε εικονοστοιχεία των φαναριών που εντοπίσαµε (η οποία είναι ανάλογη του πλάτους του αυτοκινήτου), χρησιµοποιήσαµε εικόνες όπου ήταν γνωστή η πραγµατική απόσταση για να βρούµε την µεταξύ τους αναλογία. Η απόσταση των προπορευόµενων οχηµάτων, δηλαδή, εκτιµάται ανάλογα µε την απόσταση των δύο πίσω φαναριών σε εικονοστοιχεία. 4. Πειραµατικά αποτελέσµατα Ορισµένα από τα αποτελέσµατα της εφαρµογής του αλγορίθµου παρουσιάζονται στον πίνακα που ακολουθεί. Στον ίδιο πίνακα σχολιάζονται και οι περιπτώσεις αδυναµίας αναγνώρισης των οχηµάτων. Εικόνες (καρέ βιντεοσκόπησης) Εύρεση κόκκινων εικοστοιχείων Εντοπισµός πιθανών πίσω Έλεγχος συµµετρίας Συνολική αναγνώριση οχήµατος Παρατηρήσεις Η αναγνώριση είναι επιτυχής

10 40 3 rd Panhellenic Scientific Student Conference on Informastics Επιτυχής αναγνώριση. Τα πίσω φανάρια του αυτοκίνητου στα δεξιά είναι µαύρου χρώµατος και δεν εντοπίστηκαν Η αναγνώριση είναι επιτυχής Η αναγνώριση είναι επιτυχής Η αναγνώριση είναι επιτυχής Αδυναµία εντοπισµού επειδή το όχηµα είναι κόκκινου χρώµατος - - εν εντοπίστηκε το κόκκινο χρώµα των πίσω φαναριών λόγω της απόστασης των οχηµάτων Η αναγνώριση είναι επιτυχής (ίδια εικόνα µε παραπάνω µε αναµµένα τα φώτα του stop) 5. Συµπεράσµατα Προτάσεις Βελτίωσης Έχοντας περιγράψει αναλυτικά κάθε στάδιο του συστήµατος αναγνώρισης και έχοντας παρουσιάσει ορισµένα αντιπροσωπευτικά πειραµατικά αποτελέσµατα είµαστε πλέον σε θέση να εξαγάγουµε ορισµένα συµπεράσµατα καθώς και να αναλύσουµε ορισµένες από τις αδυναµίες του αλγορίθµου.

11 STUDENT EUREKA Κατ αρχήν, το αποτέλεσµα της ανίχνευσης µπορεί να χαρακτηριστεί πολύ ικανοποιητικό δεδοµένης της δυσκολίας του προβλήµατος. Το µόνο στάδιο το οποίο επιδέχεται βελτιώσεων, είναι αυτό του εντοπισµού των κόκκινων εικονοστοιχείων, καθώς τα υπόλοιπα δίνουν πολύ αξιόπιστα αποτελέσµατα. Στις εικόνες όπου τα οχήµατα βρίσκονται στη διαδικασία πέδησης (είναι αναµµένα τα φώτα του stop), οι πιθανότητες σωστής αναγνώρισης αυξάνονται ραγδαία. Το συγκεκριµένο στοιχείο είναι πολύ θετικό, διότι η αναγνώριση στο στάδιο αυτό είναι πολύ σηµαντική για την αποφυγή πιθανής σύγκρουσης. Πρέπει επίσης να επισηµανθεί ότι µε τη χρήση µεµονωµένων καρέ χάνουµε πολύτιµη πληροφορία, η οποία προκύπτει απο την αλληλουχία των εικόνων. Η πληροφορία αυτή πρέπει να περιληφθεί σε µελλοντική εξέλιξη της εργασίας. Μία ακόµα σηµαντική παρατήρηση είναι ότι το σύστηµα είναι ιδανικό για εφαρµογές πραγµατικού χρόνου αφού ο συνολικός χρόνος επεξεργασιίας είναι αρκετά µικρός. Αναφέρουµε χαρακτηριστικά ότι για µια εικόνα όπου εντοπίζονται ένα µε τρία πιθανά ζεύγη φαναριών ο χρόνος επεξεργασίας δεν υπερβαίνει τα 2.5 δευτερόλεπτα (περιβάλλον matlab) για µία RGB εικόνα διαστάσεων 500x700 εικονοστοιχείων σε υπολογιστικό σύστηµα Intel Pentium M 1.86 GHz, 1 GB RΑΜ). Η υλοποίηση σε γλώσσα C ή η υλοποίηση σε ειδικά σχεδιασµένο υλικό (FPGA, IC) µπορεί να µειώσει σηµαντικά τον χρόνο αυτό. Ένα στοιχείο που ενισχύει το παραπάνω συµπέρασµα είναι ότι δεν χρειάζεται να χρησιµοποιηθούν όλες οι εικόνες του βίντεο για αναγνώριση, αλλά µόνο ορισµένες από αυτές οι οποίες λαµβάνονινται σε τακτά χρονικά διαστήµατα αφού για πρακτικούς λόγους ένα όχηµα δεν µπορεί να βρεθεί κοντά από τη µια στιγµή στην άλλη, αλλά χρειάζεται κάποιος χρόνος, ενώ ο συνήθης ρυθµός καρέ στο βίντεο είναι 30 καρέ ανα δευτερόλεπτο. Τέλος, το σύστηµά µας µπορεί εύκολα να επεκταθεί και στον εντοπισµό οχηµάτων το βράδυ, τη στιγµή που οι περισσότερες από τις υπάρχουσες µεθόδους κρίνονται ακατάλληλες για το σκοπό αυτό (αφού τα περισσότερα χαρακτηριστικά των οχηµάτων δεν είναι ορατά κατά τη διάρκεια της νύκτας). Μία απο τις πιο σηµαντικές αδυναµίες του αλγορίθµου είναι αυτή της µη αναγνώρισης κόκκινων οχηµάτων. Το πρόβληµα αυτό δεν είναι ανυπέρβλητο καθώς υπάρχει δυνατότητα επέκτασης του αλγορίθµου για τα συγκεκριµένα οχήµατα. Μια πρόταση για την επίλυσή του θα µπορούσε να είναι η εξής: έχοντας εντοπίσει τα κόκκινα εικονοστοιχεία της εικόνας, εξετάζουµε αν το µέγεθος τουλάχιστον µίας περιοχής κόκκινων εικονοστοιχείων που εντοπίστηκε είναι αρκετά µεγάλο ώστε να µπορεί να υπάρχει κάποιο κόκκινο όχηµα. Ακολούθως, έχοντας κάποιες εικόνες - πρότυπα σχήµατος όπως αυτά µιας τυπικής πίσω όψης οχήµατος, εξετάζουµε κατά πόσο ταιριάζουν µε τις περιοχές κόκκινων εικονοστοιχείων. Μια διαφορετική προσέγγιση θα µπορούσε να είναι ο υπολογισµός της οπτικής ροής στις περιοχές των κόκκινων εικονοστοιχείων, ώστε να µπορέσουµε, σύµφωνα µε τη σχετική ταχύτητα των εικονοστοιχείων, να διαπιστώσουµε αν πρόκειται για όχηµα.

12 42 3 rd Panhellenic Scientific Student Conference on Informastics Μιά ακόµα αδυναµία προκύπτει απο την µέθοδο την οποία επιλέξαµε για να εργαστούµε. Αναφερόµαστε στα οχήµατα στα οποία κάποιο από τα πίσω φανάρια του είναι κατεστραµµένο ή έχει αλλαγµένο χρώµα. Τα οχήµατα αυτά είναι αδύνατον να αναγνωριστούν µε τη µεθοδολογία που ακολουθεί η παρούσα εργασία και θα ήταν απαραίτητη µια τελείως διαφορετική προσέγγιση ώστε να λυθεί το πρόβληµα αυτό. Παρατηρήσαµε τέλος, ότι δεν είναι δυνατή η γενίκευση του συγκεκριµένου αλγορίθµου για όλες τις εικόνες που λαµβάνονται από διαφορετικές βιντεοκάµερες. Χαρακτηριστικά αναφέρουµε ότι στις εικόνες από τη βιντεοσκόπηση µε την οποία εργαστήκαµε κατά κόρον, το ποσοστό επιτυχίας άγγιζε το 70 %, ενώ για άλλες εικόνες τα ποσοστά ήταν χαµηλότερα. Το γεγονός αυτό οφείλεται κυρίως στο πρώτο στάδιο της µεθόδου µας και συγκεκριµένα στα κατώφλια µε βάση τα οποία επιλέγουµε τα κόκκινα εικονοστοιχεία. Μια τέτοια γενίκευση για όλες τις κάµερες δεν κρίνεται απαραίτητη διότι στο ολοκληρωµένο σύστηµα θα χρησιµοποιείται µια συγκεκριµένη βιντεοκάµερα, µε βάση τα χαρακτηριστικά της οποίας µπορούν να οριστούν τα διάφορα κατώφλια, για την επίτευξη του βέλτιστου αποτελέσµατος. Ευχαριστίες Η υποστήριξη και καθοδήγηση του Καθ. Ευάγγ. ερµατά και του µεταπτυχιακού φοιτητή Γ. Σιόγκα υπήρξε καθοριστική για την επιτυχή εκπόνηση της εργασίας. Αναφορές 1. Buluswar S.D. and Draper B.A., Color Machine Vision for Autonomous Vehicles, International Journal for Engineering Applications of Artificial Intelligence, Gonzalez R.C., Woods R.E. and Eddins S.L., Digital Image Processing using Matlab, Pearson Prentice Hall, Handmann U., Kalinke T., Tzomakas C., Werner M., and Seelen W., An Image Processing System For Driver Assistance, Image and Vision Computing, vol. 18, no. 5, Srinivasa N., A Vision-Based Vehicle Detection and Tracking Method for Forward Collision Warning, IEEE Intelligent Vehicle Symposium, Sun Z., Bebis G. and Miller R., On-road Vehicle Detection: A Review, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 28, no. 5, pp , May Παπαµάρκος Ν., Ψηφιακή Επεξεργασία και Ανάλυση Εικόνας, Εκδόσεις ΠΘ, Σιόγκας Γ., Αναγνώριση Σηµάτων Οδικής Κυκλοφορίας σε Αντίξοες Συνθήκες, ιπλωµατική Εργασία, ΤΗΜΤΥ, Παν/µιο Πατρών, Σκόδρας Ε., Αναγνώριση Προπορευόµενου Οχήµατος µε Ψηφιακή Επεξεργασία Εικόνας, ιπλωµατική Εργασία, ΤΗΜΤΥ, Πανεπιστήµιο Πατρών, 2009