Μεταπτυχιακό Πρόγραμμα Σπουδών Ολοκληρωμένα Συστήματα Υλικού και Λογισμικού

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Τμήμα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Μεταπτυχιακό Πρόγραμμα Σπουδών Ολοκληρωμένα Συστήματα Υλικού και Λογισμικού Μεταπτυχιακή Διπλωματική Εργασία Εκτίμηση Απόστασης Οχημάτων με βάση Πινακίδες Κυκλοφορίας Σταθερών Διαστάσεων Συγγραφέας: Βασίλειος Καραγιάννης Αριθμός Μητρώου: Επιβλέπων καθηγητής: Θεόδωρος Αντωνακόπουλος Καθηγητής Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας υπολογιστών Τριμελής Επιτροπή: Θεόδωρος Αντωνακόπουλος Ευάγγελος Δερματάς Εμμανουήλ Ψαράκης Πάτρα, Φεβρουάριος, 2017

2 Περίληψη Τα Ευφυή Συστήματα Μεταφορών έχουν γίνει αναπόσπαστο μέρος κάθε σύγχρονου αυτοκινήτου, επειδή παρέχουν βοήθεια προς τους οδηγούς σε συνθήκες πραγματικού χρόνου. Σύμφωνα με μια μελέτη [1], το 90% των συγκρούσεων προς το πίσω μέρος του μπροστινού αυτοκινήτου, μπορούν να αποφευχθούν αν ο οδηγός ειδοποιηθεί ένα δευτερόλεπτο νωρίτερα. Για το λόγο αυτό, στην παρούσα εργασία εστιάζουμε στο πρόβλημα της παρακολούθησης του μπροστινού οχήματος μέσω μίας ψηφιακής κάμερας και την εκτίμηση της απόστασης του. Η παρούσα εργασία περιλαμβάνει μια επισκόπηση της βιβλιογραφίας σχετικά με τις τεχνολογίες που επί του παρόντος χρησιμοποιούνται για την εκτίμηση της απόστασης και επίσης, επισημαίνει τα πλεονεκτήματα και τα μειονεκτήματα τους. Επιπλέον, σχεδιάζουμε ένα νέο αλγόριθμο για την παρακολούθηση οχημάτων και εκτίμηση απόστασης με βάση τις πινακίδες κυκλοφορίας που είναι, σύμφωνα με το νόμο, σε ευδιάκριτο σημείο στο πίσω μέρος του κάθε οχήματος. Ο αλγόριθμος ανιχνεύει τις πινακίδες βασιζόμενος στο ορθογώνιο σχήμα και το χρωματισμό τους και υπολογίζει την απόσταση με βάση τις τυποποιημένες διαστάσεις που έχουν επιβληθεί από κάθε χώρα. Επιπλέον, χρησιμοποιούμε ένα επεξεργαστή χαμηλής κατανάλωσης ARM και μια κάμερα χαμηλού κόστους ανάλυσης 640x480 για να ελέγξουμε την απόδοσή του. Η παρακολούθηση του μπροστινού οχήματος δουλεύει για αποστάσεις έως και 9,6 μέτρων από την κάμερα, έχει σφάλμα περίπου 5% της εκτιμώμενης απόστασης και ο επεξεργαστής ARM μπορεί να επεξεργαστεί τουλάχιστον 20 εικόνες ανά δευτερόλεπτο σε μια ακολουθία βίντεο. Τα αποτελέσματα το καθιστούν ιδανικό για εφαρμογές που πρέπει να λειτουργούν σε πραγματικό χρόνο, αλλά επιτρέπουν επίσης τη δυνατότητα αύξησης της ανάλυσης εικόνας, προκειμένου να επιτευχθούν μεγαλύτερες αποστάσεις κατά τη διάρκεια της παρακολούθησης, εξακολουθώντας να είναι σε θέση να λειτουργεί σε πραγματικό χρόνο. Λέξεις-κλειδιά: Ευφυή Συστήματα Μεταφορών, Προηγμένη Βοήθεια σε Συστήματα Οδήγησης, Παρακολούθηση Οχημάτων, Εκτίμηση Απόστασης, Ανίχνευση Πινακίδων Κυκλοφορίας, Εφαρμογές σε Πραγματικό Χρόνο. Σελίδα 2 του 24

3 Πίνακας περιεχομένων ΕΙΣΑΓΩΓΗ ΠΡΟΒΛΗΜΑ ΔΟΜΗ ΤΗΣ ΕΡΓΑΣΙΑΣ... 6 ΑΛΓΟΡΙΘΜΟΣ ΕΝΤΟΠΙΣΜΟΥ ΟΧΗΜΑΤΩΝ ΚΑΙ ΕΚΤΙΜΗΣΗΣ ΑΠΟΣΤΑΣΗΣ ΠΕΡΙΛΗΨΗ ΑΛΓΟΡΙΘΜΟΥ ΟΙ ΜΕΘΟΔΟΙ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ Αρχική Επεξεργασία Ανιχνευτής Γωνιών Ανιχνευτής Ορθογωνίων Ανιχνευτής Περιγράμματος Δυναμική Περιοχή Ενδιαφέροντος Εκτίμηση Απόστασης ΣΤΑΔΙΑ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ Ανίχνευση Υποψήφιων Επαλήθευση Οχημάτων Παρακολούθηση και Εκτίμηση Απόστασης ΣΥΜΠΕΡΑΣΜΑΤΑ ΒΙΒΛΙΟΓΡΑΦΙΚΕΣ ΑΝΑΦΟΡΕΣ Σελίδα 3 του 24

4 Κατάλογος Σχημάτων Εικόνα 1: Συνοπτικό διάγραμμα ροής του αλγορίθμου... 8 Εικόνα 2: Αρχική εικόνα (a), αποκομμένη εικόνα (b), ασπρόμαυρη εικόνα (c) Εικόνα 3: Κοινή γωνία 90 μοιρών Εικόνα 4: Μάσκα ανίχνευσης γωνιών Εικόνα 5: 4 τύποι γωνίες Εικόνα 6: Τύποι γωνίες Εικόνα 7: Κωδικός δείγματος του ανιχνευτή ορθογωνίου Εικόνα 8: Περίγραμμα των πινακίδων κυκλοφορίας Εικόνα 9: Προσαρμοσμένο κατώφλι Εικόνα 10: Αποστάσεις σε συνθήκες οδήγησης Εικόνα 11: Πινακίδες σε γνωστές αποστάσεις και το μέγεθος τους σε εικονοστοιχεία Εικόνα 12: Μεταβολή DE, ανάλογα με το μπροστινό όχημα Εικόνα 13: Υψηλότερη και την χαμηλότερη τιμή του DE Εικόνα 14: Στατική περιοχή ενδιαφέροντος για 640x480 εικόνα Εικόνα 15: Ανίχνευση του υποψηφίου (a), την επαλήθευση του υποψηφίου (b) Εικόνα 16: Γωνίες από τον εντοπισμό των υποψηφίων (a), γωνίες από την επαλήθευση οχημάτων (b) Σελίδα 4 του 24

5 Εισαγωγή Τα τροχαία ατυχήματα μπορεί να έχουν τραγικές εκβάσεις, όπως τραυματισμοί, μόνιμες βλάβες ή ακόμα και θάνατο. Τα περισσότερα τροχαία ατυχήματα συμβαίνουν λόγω της απόσπασης της προσοχής του οδηγού και λόγω απροσεξίας στο δρόμο. Για την πρόληψη των ατυχημάτων, κάθε προσπάθεια γίνεται από επιχειρήσεις της αυτοκινητοβιομηχανίας και ερευνητικές ομάδες, που στρέφουν την προσοχή τους στην ανάπτυξη ευφυών συστημάτων μεταφορών και προηγμένα συστήματα υποστήριξης οδήγησης. Στόχος αυτής της εργασίας είναι η ανάπτυξη ενός συστήματος που μπορεί να χρησιμοποιηθεί για την παρακολούθηση του μπροστινού οχήματος και τη μέτρηση της απόστασής του με επεξεργασία εικόνας που προέρχεται από μία κάμερα εγκατεστημένη στο αυτοκίνητο. Μια τέτοια εφαρμογή μπορεί να χρησιμοποιηθεί ως μια ενσωματωμένη λύση για οχήματα που παρέχουν εφαρμογές όπως αυτόματο σταμάτημα, συστήματα προειδοποίησης κρούσης ή ακόμα και αυτόνομη οδήγηση. 1.1 Πρόβλημα Σύμφωνα με τον κώδικα οδικής κυκλοφορίας, ανάλογα με την ταχύτητα του οχήματος, υπάρχει μια ελάχιστη απόσταση που κάθε οδηγός θα πρέπει να κρατήσει από το μπροστινό όχημα. Εάν για οποιοδήποτε λόγο ένα όχημα ξαφνικά σταματήσει, οι οδηγοί που ακολουθούν θα πρέπει να έχουν αρκετό χώρο για να επιβραδύνουν και να ακινητοποιήσουν τα οχήματά τους, χωρίς να θέτουν σε κίνδυνο τη ζωή τους. Αυτή η εργασία εστιάζει στην ανάπτυξη ενός συστήματος που ανιχνεύει το μπροστινό όχημα, υπολογίζει την απόστασή του και μπορεί ενδεχομένως να ξεκινήσει μια διαδικασία με βάση την τιμή της εκτιμώμενης απόστασης (π.χ. προειδοποιητικό ήχο όταν η απόσταση είναι επικίνδυνα μικρή). Τρέχουσες υλοποιήσεις [3], [4], [5], [6], [7] βασίζονται σε χαρακτηριστικά που μπορούν να επηρεαστούν από τις συνθήκες φωτισμού (π.χ. σκιά του οχήματος) και η καταλληλότητά τους για εφαρμογές σε πραγματικό χρόνο μπορεί να αμφισβητηθεί επειδή τα αποτελέσματα που σχετίζονται με την αποτελεσματικότητα του χρόνου είναι είτε φτωχά είτε απουσιάζουν. Οι απαιτήσεις των εφαρμογών που λειτουργούν σε πραγματικό χρόνο είναι αρκετά δύσκολο να τηρηθούν σε ενσωματωμένα συστήματα σε οχήματα, επειδή η διαθεσιμότητα των πόρων του υλικού είναι συνήθως περιορισμένη. Σελίδα 5 του 24

6 1.2 Δομή της Εργασίας Η εργασία είναι οργανωμένη σε 6 κεφάλαια με την ακόλουθη δομή. Ωστόσο, η συγκεκριμένη έκδοση αποτελεί μία περίληψη της εργασίας στην ελληνική γλώσσα και δεν ακολουθεί την ίδια δομή. Το κεφάλαιο 2 περιλαμβάνει μια επισκόπηση της βιβλιογραφίας σχετικά με τις παρόμοιες εργασίες. Περιγράφουμε τρόπους για την ανίχνευση του μπροστινού οχήματος και τη μέτρηση της απόστασης του σύμφωνα με ήδη υπάρχουσες εφαρμογές. Επιπλέον, σχολιάζουμε την αποτελεσματικότητά τους, επισημαίνοντας πλεονεκτήματα και μειονεκτήματα. Το κεφάλαιο 3 σχετίζεται με την υλοποίηση ενός νέου αλγορίθμου για τον εντοπισμό του μπροστινού οχήματος και την εκτίμηση της απόστασης του. Η λειτουργία του περιγράφεται παρέχοντας σχήματα, δείγματα κώδικα και διευκρινίσεις για κάθε στάδιο του αλγορίθμου και περιλαμβάνοντας γενικές παρατηρήσεις και σχόλια σχετικά με την αποτελεσματικότητά της. Το κεφάλαιο 4 παρουσιάζει μια λεπτομερή ανάλυση των πιθανών σφαλμάτων που μπορεί να προκύψουν κατά την εκτίμηση της απόστασης. Λαμβάνουμε υπόψη όλους τους παράγοντες που επηρεάζουν την μέτρηση απόστασης και υπολογίζουμε το φάσμα των πιθανών σφαλμάτων. Επιπλέον, το κεφάλαιο 4 περιλαμβάνει πληροφορίες που σχετίζονται με τη μέγιστη απόσταση για την οποία ο αλγόριθμος είναι σε θέση να ανιχνεύσει και να ακολουθήσει το μπροστινό όχημα. Το κεφάλαιο 5 περιέχει τα πειραματικά αποτελέσματα του αλγορίθμου που δοκιμάζεται σε έναν επεξεργαστή χαμηλής κατανάλωσης ARM χρησιμοποιώντας 640x480 βίντεο από διάφορες συνθήκες οδήγησης. Τα αποτελέσματα είναι απόρροια της αξιολόγησης του αλγορίθμου με βάση την απόδοση χρόνου, την αξιοπιστία και την ακρίβεια. Τέλος, το Κεφάλαιο 6 συνοψίζει την εργασία, παρέχοντας συνολικά συμπεράσματα για την υλοποίηση του αλγορίθμου και δηλώνοντας μελλοντικά βήματα για περαιτέρω έρευνα στον τομέα της παρακολούθησης και της εκτίμησης της απόστασης του μπροστινού οχήματος. Σελίδα 6 του 24

7 Αλγόριθμος Εντοπισμού Οχημάτων και Εκτίμησης Απόστασης Αυτό το κεφάλαιο περιγράφει τον αλγόριθμο που αναπτύχθηκε για τις ανάγκες αυτής της εργασίας. Ο αλγόριθμος είναι γραμμένος χρησιμοποιώντας τη γλώσσα προγραμματισμού C++ και την πλατφόρμα ανάπτυξης Eclipse. Η γλώσσα C++ επιλέχθηκε επειδή η τελική εφαρμογή προορίζεται για να λειτουργεί σε ενσωματωμένα συστήματα που συνήθως προγραμματίζονται σε C/C++. Επιπλέον, η βιβλιοθήκη OpenCV χρησιμοποιείται για τη σύλληψη εικόνας από την κάμερα και για τους τύπους δεδομένων που υποστηρίζουν μεταβλητές εικόνας. Ο προτεινόμενος αλγόριθμος, που περιγράφεται στη συνέχεια, χρησιμοποιεί την εικόνα από μία κάμερα για να ανιχνεύσει το προπορευόμενο όχημα με βάση την ύπαρξη των πινακίδων κυκλοφορίας. Σύμφωνα με το νόμο, υπάρχουν πινακίδες σταθερών διαστάσεων σε εμφανές σημείο στο πίσω μέρος του κάθε οχήματος και δεν είναι ρεαλιστικό να υποθέσουμε ότι θα μπορούσαν να υπάρχουν πινακίδες στο δρόμο χωρίς όχημα. Αυτός είναι ο λόγος για τον οποίο οι πινακίδες είναι ένα ιδανικό χαρακτηριστικό για να ανιχνευτεί το μπροστινό όχημα. Ακόμα κι αν είναι ένα λεωφορείο, ένα φορτηγό ή ένα αυτοκίνητο οι πινακίδες κυκλοφορίας είναι πάντα εκεί και οι διαστάσεις είναι πάντα ίδιες. Η προσέγγισή μας στο πρόβλημα της εκτίμησης απόστασης περιλαμβάνει: Ανίχνευση των πινακίδων κυκλοφορίας που επαληθεύει την ύπαρξη οχήματος. Παρακολούθηση των πινακίδων με μια δυναμική περιοχή ενδιαφέροντος. Υπολογισμός της απόσταση με βάση το μήκος των πινακίδων. 3.1 Περίληψη Αλγορίθμου Ο αλγόριθμος έχει σχεδιαστεί λαμβάνοντας υπόψη αποδοτικότητα χρόνου και αξιοπιστία. Κάνει χρήση πολλαπλών καρέ για τον εντοπισμό ενός οχήματος ώστε να μην μπορεί να εξαπατηθεί από τυχαία χαρακτηριστικά του δρόμου που μοιάζουν με ένα αυτοκίνητο. Επιπλέον, χρησιμοποιεί πληροφορία από τις προηγούμενες εικόνες, προκειμένου να μειωθεί ο χρόνος επεξεργασίας και να παραχθεί αποτέλεσμα όσο το δυνατόν συντομότερα. Χρησιμοποιεί μια δυναμική περιοχή Σελίδα 7 του 24

8 ενδιαφέροντος που επικεντρώνεται στην επεξεργασία μόνο των πινακίδων κυκλοφορίας, ώστε να κρατήσει τους υπολογισμούς στο ελάχιστο. Υπάρχουν τρία στάδια στη διαδικασία εκτίμησης της απόστασης του προπορευόμενου οχήματος (σχήμα 34): Ανίχνευση των υποψηφίων. Επαλήθευση των οχημάτων. Παρακολούθηση και εκτίμηση της απόστασης. Εικόνα 1: Συνοπτικό διάγραμμα ροής του αλγορίθμου Κάθε εικόνα που προέρχεται από την κάμερα χρησιμοποιείται για ένα από τα παραπάνω στάδια. Αρχικά, όλες οι εικόνες χρησιμοποιούνται για την ανίχνευση ενός υποψηφίου οχήματος. Όταν ένα υποψήφιο όχημα εντοπιστεί, οι ακόλουθες Σελίδα 8 του 24

9 εικόνες από την κάμερα χρησιμοποιούνται για επαλήθευση. Μετά την επιτυχή επαλήθευση του υποψηφίου, όλες οι εικόνες χρησιμοποιούνται για την παρακολούθηση και εκτίμηση απόστασης μέχρις ότου το μπροστινό όχημα απομακρυνθεί από το οπτικό πεδίο της κάμερας. Οι μέθοδοι που χρησιμοποιούνται στα τρία στάδια του αλγορίθμου είναι οι ακόλουθες: Ανίχνευση γωνιών. Ανίχνευση ορθογωνίων. Ανίχνευσης περιγράμματος. Δυναμική περιοχή ενδιαφέροντος για το επόμενο καρέ. Εκτίμηση απόστασης. Εν συνεχεία, οι παραπάνω λειτουργίες περιγράφονται με δείγματα κώδικα και μετά, τα τρία στάδια του αλγορίθμου αναλύονται μαζί με την λειτουργία τους, ώστε να ολοκληρωθεί η περιγραφή του αλγορίθμου. 3.2 Οι Μέθοδοι του Αλγορίθμου Στην ενότητα αυτή, περιγράφουμε τη διαδικασία κατά την οποία κάθε καρέ από την κάμερα περνάει, μέχρι να έχει υπολογιστεί η τελική εκτίμηση απόστασης Αρχική Επεξεργασία Η αρχική εικόνα λαμβάνεται από την κάμερα (έγχρωμη). Πριν από την επεξεργασία κάθε καρέ, χαράζεται μια περιοχή ενδιαφέροντος. Αυτή η περιοχή είναι το τμήμα της εικόνας που αντιστοιχεί στο μπροστινό μέρος του οχήματος. Με αυτό τον τρόπο, τα αντικείμενα τα οποία δεν είναι μπροστά από το όχημα αποκόπτονται και επίσης, το υπόλοιπο της επεξεργασίας θα πραγματοποιηθεί σε μικρότερη εικόνα. Για να μειωθούν οι υπολογισμοί ακόμη περισσότερο η περιοχή ενδιαφέροντος μετατρέπεται σε ασπρόμαυρη. Οι ασπρόμαυρες εικόνες απαιτούν σημαντικά λιγότερο χρόνο για επεξεργασία σε σύγκριση με έγχρωμες εικόνες. Τα βήματα της αρχικής επεξεργασίας φαίνονται στο σχήμα 35. Σελίδα 9 του 24

10 Εικόνα 2: Αρχική εικόνα (a), αποκομμένη εικόνα (b), ασπρόμαυρη εικόνα (c) Ανιχνευτής Γωνιών Όταν η περιοχή ενδιαφέροντος είναι ασπρόμαυρη, περνά στον ανιχνευτή γωνιών. Ο ανιχνευτής γωνιών που χρησιμοποιούμε είναι αυτοσχέδιος και βρίσκει μόνο 90 μοιρών γωνίες. Αυτός ο ανιχνευτής στοχεύει στην εύρεση των τεσσάρων γωνιών των πινακίδων κυκλοφορίας. Άλλοι ανιχνευτές γωνίας που ανιχνεύουν οτιδήποτε μοιρών γωνίες δεν είναι κατάλληλοι για την εφαρμογή αυτή, διότι μια κοινή εικόνα Σελίδα 10 του 24

11 ενός αυτοκινήτου σε αστικό φόντο θα μπορούσε να έχει χιλιάδες γωνίες και θα απαιτούσε πάρα πολύ χρόνο για επεξεργασία. Για την ανίχνευση των γωνιών των πινακίδων, στηριζόμαστε στις ιδιότητες των γωνιών 90 μοιρών. Όπως φαίνεται στο Σχήμα 36, σε μια γωνιά 90 μοιρών το εξωτερικό χρώμα είναι πιο σκούρο από το χρώμα μέσα στη γωνία. Με άλλα λόγια, τα εικονοστοιχεία στο εξωτερικό της γωνίας έχουν χαμηλότερες τιμές από τα εικονοστοιχεία στο εσωτερικό. Αυτή είναι μια θεμελιώδης ιδιότητα και ισχύει πάντα σε όλες τις γωνιές των πινακίδων κυκλοφορίας. Εικόνα 3: Κοινή γωνία 90 μοιρών Για τον προσδιορισμό αυτών των γωνιών χρησιμοποιούμε μια μάσκα που ελέγχει τις τιμές των εικονοστοιχείων εντός της εικόνας και εάν τα εξωτερικές εικονοστοιχεία είναι πιο σκούρα από τα εσωτερικά, η γωνία αποθηκεύεται μαζί με τα χαρακτηριστικά της. Η μάσκα είναι 10x10 και ελέγχει 4 εικονοστοιχεία για κάθε πλευρά της πιθανής γωνία. Η μάσκα παρουσιάζεται στο σχήμα 37. Σελίδα 11 του 24

12 Εικόνα 4: Μάσκα ανίχνευσης γωνιών Η μάσκα ελέγχει αν οι τιμές όλων των άνω εικονοστοιχείων ( "a" στο σχήμα 37) είναι χαμηλότερες από τις τιμές των εικονοστοιχείων από κάτω ( "1" στο σχήμα 37). Εάν η συνθήκη ικανοποιείται, τότε θα ελέγξει τις τιμές των εικονοστοιχείων d και 4. Εάν και αυτή η συνθήκη ικανοποιείται, μια γωνιά τύπου 1 βρίσκεται. Υπάρχουν 4 τύποι γωνιών σε ένα ορθογώνιο όπως φαίνεται στο σχήμα 38. Εικόνα 5: 4 τύποι γωνίες Ανιχνευτής Ορθογωνίων Ο ανιχνευτής ορθογωνίων είναι μια μέθοδος που έχει ως είσοδο έναν πίνακα με γωνίες. Επεξεργάζεται όλα τα πεδία του πίνακα και βρίσκει ποιες από τις γωνίες μπορούν να σχηματίσουν ορθογώνια. Για να σχηματιστεί ένα ορθογώνιο απαιτεί δύο γωνίες, άνω αριστερά και κάτω δεξιά ή επάνω δεξιά και κάτω αριστερά. Επειδή ο τύπος της γωνίας είναι το πρώτο πεδίο του πίνακα γωνίών, αυτό σημαίνει ότι Σελίδα 12 του 24

13 γωνίες των τύπων 1 και 3 ή 2 και 4 μπορεί ενδεχομένως να σχηματίσουν ορθογώνια. Το Σχήμα 43 δείχνει τα είδη γωνιών. Εικόνα 6: Τύποι γωνίες Οι προϋποθέσεις που πρέπει να πληρούνται ώστε ένα ζευγάρι γωνίων να σχηματίσει ορθογώνιο είναι οι εξής: Πρέπει να είναι φυσικά δυνατό. Εννοώντας ότι για να σχηματιστεί ένα ορθογώνιο με τύπου 1 και 3 γωνίες, η σειρά της γωνίας τύπου 1 πρέπει να έχει μικρότερη τιμή από την σειρά του τύπου 3 και η στήλη του τύπου 1 πρέπει να έχει μικρότερη τιμή από τη στήλη του τύπου 3. Αντίστοιχα, το ίδιο πρέπει να ισχύει για γωνίες τύπου 2 και 4. Υπάρχει μέγιστη και ελάχιστη τιμή για το πλάτος του ορθογωνίου. Αυτό συμβαίνει επειδή υπάρχει ένα φάσμα στο μέγεθος των πινακίδων στις εικόνες από την κάμερα. Δεν μπορούν όλα τα μεγέθη να θεωρηθούν ως υποψήφιοι για πινακίδες. Ο λόγος μήκος προς πλάτος είναι σταθερός. Δεχόμαστε μόνο ορθογώνια που θα μπορούσαν να είναι πινακίδες. Ο λόγος μήκος προς πλάτος των πινακίδων κυκλοφορίας πρέπει να είναι μεταξύ 3 και 6. Ορθογώνια με διαφορετικό λόγο αγνοούνται. Σελίδα 13 του 24

14 Τα φωτεινά χρώματα από τις δύο γωνίες που σχηματίζουν το ορθογώνιο πρέπει να έχουν περίπου ίδια τιμή. Το τέταρτο πεδίο του πίνακα γωνίών περιέχει την τιμή του χρώματος για κάθε γωνία. Και οι τέσσερις γωνίες των πινακίδων κυκλοφορίας έχουν το ίδιο χρώμα (λευκό) στο εσωτερικό. Για να σχηματιστεί ένα ορθογώνιο από δύο γωνίες, οι δύο αυτές γωνίες πρέπει να έχουν περίπου το ίδιο χρώμα στο εσωτερικό, αλλιώς αγνοούνται. Εάν ένα ορθογώνιο έχει αναγνωριστεί ως πινακίδες, κατά τη διάρκεια της παρακολούθησης, δεν επιτρέπεται να αλλάξει το μήκος του απότομα. Αυτό οφείλεται στο γεγονός ότι ένα αυτοκίνητο που αυτή τη στιγμή ακολουθείται δεν μπορεί να αλλάξει την απόστασή του στιγμιαία. Το μέγεθος των πλακών του μπροστινού οχήματος αλλάζει βαθμιαία με την πάροδο του χρόνου και το μήκος των πινακίδων αναμένεται να έχει χαμηλή απόκλιση μεταξύ διαδοχικών καρέ. Ένα δείγμα κώδικα του ανιχνευτή ορθογωνίων παρουσιάζεται στο σχήμα 44. Το δείγμα είναι από την ανίχνευση των ορθογωνίων από τύπου 1 και 3 γωνίες. Εικόνα 7: Κωδικός δείγματος του ανιχνευτή ορθογωνίου Σελίδα 14 του 24

15 3.2.4 Ανιχνευτής Περιγράμματος Ο ανιχνευτής περιγράμματος παίρνει ως είσοδο έναν πίνακα με ορθογώνια και την ασπρόμαυρη περιοχή ενδιαφέροντος. Σκοπός του είναι να ελέγξει αν υπάρχει ένα σκοτεινό περίγραμμα γύρω από κάθε ορθογώνιο που θα μπορούσε να ταυτιστεί με το μαύρο περίγραμμα των πινακίδων κυκλοφορίας. Όπως φαίνεται στο σχήμα 46, όλες οι πινακίδες έχουν ένα σκούρο περίγραμμα ανεξάρτητα από το χρώμα ή τον τύπο του οχήματος. Εικόνα 8: Περίγραμμα των πινακίδων κυκλοφορίας. Για να ελέγξει εάν υπάρχει ένα μαύρο περίγραμμα στα ορθογώνια που έχουν βρεθεί από τον ανιχνευτή ορθογωνίων μετατρέπουμε την εικόνα σε δυαδικό. Η μετατροπή σε δυαδικό ωστόσο, χρειάζεται μια τιμή κατωφλίου η οποία δεν είναι σταθερή διότι εξαρτάται από τις συνθήκες φωτισμού που επικρατούν εκείνη τη στιγμή. Για να ξεπεραστεί αυτό το πρόβλημα χρησιμοποιούμε μια μέθοδο με προσαρμοζόμενο κατώφλι. Στο πέμπτο πεδίο του πίνακα ορθογωνίου έχουμε κρατήσει την τιμή των άσπρων εικονοστοιχείων μέσα στις γωνίες. Η τιμή αυτή αντιστοιχεί στο λευκό μέρος των πινακίδων και είναι η ιδανική τιμή για το κατώφλι που λειτουργεί κάτω από οποιοδήποτε φωτισμό. Δεν έχει σημασία πόσο σκοτεινές είναι οι πινακίδες, αν γνωρίζουμε την ακριβή τιμή του άσπρου μέρους, μπορούμε να εκτελέσουμε τη μετατροπή σε δυαδικό με επιτυχία. Το σχήμα 48 δείχνει ένα παράδειγμα της μεθόδου για δυαδική μετατροπή με προσαρμοζόμενο κατώφλι. Σελίδα 15 του 24

16 Εικόνα 9: Προσαρμοσμένο κατώφλι Μετά τη μετατροπή σε δυαδικό όλα τα εικονοστοιχεία είναι μαύρα ή άσπρα με τιμές 0 ή 1 αντίστοιχα. Ψάχνουμε για συνεχή μαύρα εικονοστοιχεία γύρω από το ορθογώνιο, προκειμένου να ελέγξουμε αν υπάρχει μαύρο περίγραμμα Δυναμική Περιοχή Ενδιαφέροντος Για να φτάσουμε σε αυτό το σημείο, σημαίνει ότι υπάρχει ακριβώς ένα ορθογώνιο που είναι πιθανός υποψήφιος για την ύπαρξη πινακίδων κυκλοφορίας. Ο υποψήφιος έχει περάσει τις ακόλουθες δοκιμές: Έχει τουλάχιστον δύο γωνίες που σχηματίζονται ένα ορθογώνιο. Το ορθογώνιο είναι σωστού σχήματος ως αναφορά το λόγο μήκος/πλάτος. Το ορθογώνιο έχει σκούρο περίγραμμα. Για να επαληθεύσουμε αυτό το ορθογώνιο ως πινακίδες, μπορούμε να το εντοπίσουμε μέσα στο χρόνο. Χρησιμοποιούμε πολλαπλά διαδοχικά καρέ προκειμένου να βεβαιωθούμε ότι το ίδιο ορθογώνιο δεν είναι ένα τυχαίο σχήμα που σχηματίζεται από το φόντο, αλλά ένα ορθογώνιο σχήμα που πραγματικά ταξιδεύει μαζί με το μπροστινό όχημα. Χρησιμοποιούμε μια δυναμική περιοχή ενδιαφέροντος για τα επόμενα καρέ που ακολουθεί τον υποψήφιο και σιγουρεύει ότι η κίνηση του είναι σταθερή σε βάθος χρόνου Εκτίμηση Απόστασης Για να φτάσουμε σε αυτό το στάδιο, σημαίνει ότι οι πινακίδες του μπροστινού οχήματος έχουν εντοπιστεί με επιτυχία και οι συντεταγμένες και οι διαστάσεις τους είναι γνωστές. Για την εκτίμηση της απόστασης βασιζόμαστε στις σταθερές Σελίδα 16 του 24

17 διαστάσεις τους. Το Σχήμα 51 δείχνει μία τυπική κατάσταση ενός αυτοκινήτου και ένα άλλο αυτοκίνητο που προηγείται. Εικόνα 10: Αποστάσεις σε συνθήκες οδήγησης Για την υπολογίζουμε την απόσταση BC πρέπει να υπολογίσουμε πρώτα κάποια άλλα μήκη. Αρχικά, βρίσκουμε το μήκος ΑΒ. Το μήκος αυτό είναι μια ευθεία γραμμή από την κάμερα στις πινακίδες. Για να βρούμε αυτή την απόσταση, πραγματοποιούμε ένα πείραμα. Δημιουργούμε ένα αντίγραφο των πινακίδων και το βάζουμε σε γνωστές αποστάσεις από την κάμερα. Στη συνέχεια, μετράμε τα μήκη σε εικονοστοιχεία στις φωτογραφίες. Το Σχήμα 52 δείχνει τις εικόνες που λαμβάνονται από την κάμερα μαζί με το μήκος τους σε εικονοστοιχεία. Εικόνα 11: Πινακίδες σε γνωστές αποστάσεις και το μέγεθος τους σε εικονοστοιχεία Σελίδα 17 του 24

18 Αυτό το πείραμα αποδεικνύει ότι η απόσταση ενός αντικειμένου από την κάμερα είναι αντιστρόφως ανάλογη των εικονοστοιχείων που αντιστοιχούν στο μήκος του αντικειμένου στην εικόνα. Το Μήκος DE δεν είναι σταθερό για κάθε όχημα. Στην πραγματικότητα αυτό το μήκος εξαρτάται από το μπροστινό αυτοκίνητο. DE είναι το κατακόρυφο μήκος από τις πινακίδες στο έδαφος. Το Σχήμα 53 δείχνει αυτό το μήκος και το πώς αλλάζει ανάλογα με τη θέση των πινακίδων του προπορευόμενου αυτοκινήτου. Εικόνα 12: Μεταβολή DE, ανάλογα με το μπροστινό όχημα Αν και το DE δεν είναι σταθερό, μπορούμε να εκτιμήσουμε ένα εύρος των πιθανών τιμών του. Η χαμηλότερη τιμή του προκύπτει από ένα όχημα με χαμηλές πινακίδες, και η μεγαλύτερη τιμή του προκύπτει από όχημα που οι πινακίδες του είναι τοποθετημένες ψηλά. Το σχήμα 54 δείχνει και τις δύο αυτές περιπτώσεις. Σύμφωνα με το σχήμα χρησιμοποιούμε μια μέση τιμή για το DE και αργότερα, υπολογίζουμε τα όρια του σφάλματος που μπορεί να προκύψουν όταν το DE είναι διαφορετικό. Εικόνα 13: Υψηλότερη και την χαμηλότερη τιμή του DE Σελίδα 18 του 24

19 Οι τιμές στο σχήμα 54 είναι πραγματικές μετρήσεις από πραγματικά οχήματα. Στο DE αποδίδεται στη συνέχεια η τιμή 65 εκατοστά. Μέχρι στιγμής, γνωρίζουμε τα μήκη ΑΒ και DE (σχήμα 51). Το μήκος AE είναι το ύψος της κάμερας από το έδαφος και, ακόμη και αν διαφέρει για κάθε όχημα, αφού εγκατασταθεί το σύστημα σε ένα αυτοκίνητο, το AE παραμένει σταθερό. Γι αυτό το μήκος, μπορούμε είτε να χρησιμοποιούν μια μέση τιμή ή μπορούμε να μετρήσουμε το ΑΕ χειροκίνητα. Η τιμή αυτή χρειάζεται να μετρηθεί μόνο μία φορά, διότι δεν αναμένεται να αλλάξει μετά την εγκατάσταση. Για το λόγο αυτό, μετράμε το μήκος ΑΕ και το εισάγουμε στον αλγόριθμο όπου αποθηκεύεται και χρησιμοποιείται. Αυτό είναι μέρος της διαδικασίας βαθμονόμησης που πρέπει να διεξαχθεί μόνο μια φορά, έτσι ώστε ο αλγόριθμος να προσαρμοστεί στο συγκεκριμένο όχημα ξενιστή και την κάμερα. Αφού το ΑΕ θεωρείται πλέον γνωστό, το AD μπορεί να υπολογίζεται με την αφαίρεση DE από ΑΕ. Σε αυτό το σημείο, γνωρίζουμε ήδη AB και AD έτσι μπορούμε να χρησιμοποιήσουμε το Πυθαγόρειο Θεώρημα για τον υπολογισμό BD. Στη συνέχεια θα πρέπει να βρούμε το CD. Το CD όπως και το AE είναι ιδιότητες του αυτοκινήτου ξενιστή. Μπορούμε είτε να μετρήσουμε το CD χειροκίνητα μία φορά κατά τη διάρκεια της διαδικασίας βαθμονόμησης, ή μπορούμε να χρησιμοποιούν μια μέση τιμή και να γίνει εκτίμηση του σφάλματος που μπορεί να προκύψει όταν η πραγματική τιμή είναι διαφορετική. Η προτεινόμενη μέθοδος για κάθε αυτοκίνητο είναι να ολοκληρωθεί η διαδικασία βαθμονόμησης έτσι ώστε ο αλγόριθμος να προσαρμοστεί στο συγκεκριμένο μοντέλο οχήματος ξενιστή. Με αυτό τον τρόπο, η μέτρηση απόστασης θα είναι πολύ πιο ακριβής. Τέλος, αφού το CD θεωρείται γνωστό από τη διαδικασία της βαθμονόμησης, το ζητούμενο μήκος BC ισούται με BD - CD. 3.3 Στάδια του Αλγορίθμου Σε αυτήν την ενότητα εξηγούμε πώς όλες οι μέθοδοι του αλγορίθμου χρησιμοποιούνται κατά τη διάρκεια της εκτέλεσης. Ο αλγόριθμος έχει τρία στάδια (σχήμα 34): Ανίχνευση των υποψήφιων. Επαλήθευση των οχημάτων. Παρακολούθηση και εκτίμηση απόστασης. Σελίδα 19 του 24

20 Κάθε στάδιο χρησιμοποιεί τις λειτουργίες με ελαφρώς διαφορετικό τρόπο Ανίχνευση Υποψήφιων Αυτή είναι η αρχική και η προεπιλεγμένη λειτουργία του αλγορίθμου. Κατά το στάδιο αυτό υπάρχει μια σταθερή περιοχή ενδιαφέροντος. Αυτή η περιοχή αντιστοιχεί στο μπροστινό μέρος του αυτοκινήτου. Το μέγεθος της περιοχής έχει οριστεί σε 250x250 που κρίθηκε ικανοποιητικό μετά από τη δοκιμή σε 640x480 εικόνες. Σημειώστε ότι ο σκοπός είναι να ανιχνευθούν μόνο πινακίδες, άρα δεν χρειάζεται να είναι ορατό ολόκληρο το αυτοκίνητο. Το σχήμα 55 δείχνει την στατική περιοχή ενδιαφέροντος κατά τη διάρκεια της ανίχνευσης των υποψηφίων. Εικόνα 14: Στατική περιοχή ενδιαφέροντος για 640x480 εικόνα Το στάδιο αυτό διαρκεί μέχρι ένα καρέ να βρει υποψήφιες πινακίδες. Όταν συμβαίνει αυτό, ο αλγόριθμος χρησιμοποιεί τις συντεταγμένες του υποψηφίου για να καθορίσει μια νέα δυναμική περιοχή ενδιαφέροντος και ξεκινάει το στάδιο επαλήθευσης. Το Σχήμα 54 δείχνει έναν πιθανό υποψήφιο. Σελίδα 20 του 24

21 Εικόνα 15: Ανίχνευση του υποψηφίου (a), την επαλήθευση του υποψηφίου (b) Επαλήθευση Οχημάτων Σε αυτό το στάδιο, υπάρχουν ήδη διαθέσιμες υποψήφιες πινακίδες και ο σκοπός τώρα είναι να επιβεβαιωθεί ότι είναι πινακίδες κυκλοφορίας και να ξεκινήσει το επόμενο στάδιο. Σε αυτό το στάδιο οι μέθοδοι του αλγορίθμου χρησιμοποιούν πληροφορίες από το προηγούμενο στάδιο ώστε να ανιχνεύεται πάντα το ίδιο ορθογώνιο σχήμα σε όλα τα διαδοχικά καρέ. Ο ανιχνευτής γωνίας αναζητά γωνίες που μοιάζουν σε χρώμα με τον αρχικό υποψήφιο. Το Σχήμα 57 δείχνει τη διαφορά των γωνιών στα δύο στάδια. Σημειώστε τη διαφορά στην ποσότητα των γωνιών που βρέθηκαν. Εικόνα 16: Γωνίες από τον εντοπισμό των υποψηφίων (a), γωνίες από την επαλήθευση οχημάτων (b) Σελίδα 21 του 24

22 Ο ανιχνευτής ορθογωνίων λειτουργεί με τον ίδιο τρόπο όπως και στην προηγούμενη φάση, αλλά σε αυτό το στάδιο έχει μία ακόμη συνθήκη. Ορθογώνια σε αυτό το στάδιο δεν επιτρέπεται να αλλάξουν μέγεθος απότομα. Το πλήθος των καρέ που χρησιμοποιείται για τη διαδικασία επαλήθευσης είναι άμεσα συνδεδεμένο με την αξιοπιστία του αλγορίθμου. Όσο περισσότερα διαδοχικά πλαίσια χρησιμοποιούνται για επαλήθευση τόσο πιο βέβαιο είναι ότι ένα ορθογώνιο είναι πραγματικά πινακίδες. Ωστόσο, η διαδικασία επαλήθευσης είναι χρονοβόρα και δεν θέλουμε να ελέγξει πάρα πολλά διαδοχικά καρέ Παρακολούθηση και Εκτίμηση Απόστασης Αυτό είναι το τελικό στάδιο του αλγορίθμου. Για να φτάσουμε σε αυτό το στάδιο, σημαίνει ότι οι πινακίδες έχουν εντοπιστεί και επιβεβαιωθεί στο πεδίο του χρόνου. Το στάδιο αυτό αποσκοπεί στην παρακολούθηση του μπροστινού οχήματος και τον υπολογισμό της απόστασής του. Όλες οι μέθοδοι σε αυτό το στάδιο λειτουργούν με χαλαρωμένα κριτήρια επειδή γνωρίζουμε ήδη ακριβώς που βρίσκονται οι πινακίδες. Αυτό το στάδιο λοιπόν, δεν ασχολείται με επιβεβαίωση παρά μόνο με την παρακολούθηση. Σε κάθε καρέ εντοπίζονται οι πινακίδες κυκλοφορίας και υπολογίζεται η απόσταση του μπροστινού αυτοκινήτου με βάση το μήκος των πινακίδων σε εικονοστοιχεία. Σελίδα 22 του 24

23 Συμπεράσματα Σε αυτή την εργασία, επικεντρωνόμαστε στο πρόβλημα της ανίχνευσης μπροστινών οχημάτων και την εκτίμηση της απόστασή τους. Με τη γνώση αυτής της απόστασης ένα ηλεκτρονικό σύστημα μπορεί ενδεχομένως να ειδοποιήσει τον οδηγό χρησιμοποιώντας ηχητικά μηνύματα όταν ένα μπροστινό όχημα είναι επικίνδυνα κοντά. Σε σύγκριση με άλλες υλοποιήσεις, ο αλγόριθμος μας εκμεταλλεύεται το πεδίο του χρόνου. Κάνουμε χρήση πολλαπλών διαδοχικών πλαισίων για να επιβεβαιώσουμε ένα μπροστινό όχημα, προκειμένου να αυξηθεί η αξιοπιστία. Επιπλέον, για να εκτιμηθεί η απόσταση μεταξύ των δύο οχημάτων χρησιμοποιούμε ένα τυποποιημένο χαρακτηριστικό το οποίο είναι το ίδιο για όλα τα οχήματα, τις πινακίδες κυκλοφορίας. Μαζί με τον αλγόριθμο, περιλαμβάνεται μια πλήρης ανάλυση των σφαλμάτων και των επιδόσεων. Ο αλγόριθμος αξιολογείται με βάση αποδοτικότητα χρόνου, αξιοπιστία και ακρίβεια. Ιδιαίτερη έμφαση δίνεται στην απόδοση του χρόνου δεδομένου ότι η εφαρμογή προορίζεται να τρέχει σε πραγματικό χρόνο. Ο αλγόριθμος δοκιμάστηκε σε επεξεργαστή ARM επιτυγχάνοντας ρυθμό επεξεργασίας τουλάχιστον 20 καρέ ανά δευτερόλεπτο και χρησιμοποιώντας κάμερα με ανάλυση 640x480 για την οποία επιτυγχάνεται η μέγιστη απόσταση επιτυχημένης εφαρμογής στα 9,6 μέτρα από την κάμερα. Σελίδα 23 του 24

24 Βιβλιογραφικές Αναφορές [1] Kim, G. and Cho, J.S., Vision-based vehicle detection and inter-vehicle distance estimation for driver alarm system. Optical review, 19(6), pp [2] Wang, W., Yang, S., Li, Y. and Ding, W., 2015, June. A rough vehicle distance measurement method using monocular vision and license plate. In Cyber Technology in Automation, Control, and Intelligent Systems (CYBER), 2015 IEEE International Conference on (pp ). IEEE. [3] Chen, Y., Das, M. and Bajpai, D., 2007, May. Vehicle tracking and distance estimation based on multiple image features. In Computer and Robot Vision, CRV'07. Fourth Canadian Conference on (pp ). IEEE. [4] Jayalath, A.N. and Wang, Z., 2013, November. Vision based inter-vehicle distance estimation with extended outlier correspondence. In th International Conference on Image and Vision Computing New Zealand (IVCNZ 2013) (pp ). IEEE. [5] Chen, C.H., Chen, T.Y., Huang, D.Y. and Feng, K.W., 2015, November. Front Vehicle Detection and Distance Estimation Using Single-Lens Video Camera. In 2015 Third International Conference on Robot, Vision and Signal Processing (RVSP) (pp ). IEEE. [6] Arenado, M.I., Oria, J.M.P., Torre-Ferrero, C. and Rentería, L.A., Monovisionbased vehicle detection, distance and relative speed measurement in urban traffic. IET Intelligent Transport Systems, 8(8), pp [7] Wu, C.F., Lin, C.J. and Lee, C.Y., Applying a functional neurofuzzy network to real-time lane detection and front-vehicle distance measurement. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 42(4), pp [8] Karagiannis, V., Chatzimisios, P., Vazquez-Gallego, F. and Alonso-Zarate, J., A survey on application layer protocols for the internet of things. Transaction on IoT and Cloud Computing, 3(1), pp [9] Karagiannis, V., Area Limitations on Smart Grid Computer Networks. International Journal of Wireless and Microwave Technologies (IJWMT), 6(3), p.71. [10] cited 24/8/2016 [11] cited 24/8/2016 [12] cited 24/8/2016 [13] cited 24/8/2016 [14] cited 24/8/2016 [15] cited 24/8/2016 Σελίδα 24 του 24