ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ : Τ Σ Α Ε Δ Ε

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ - ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ : Τ Σ Α Ε Δ Ε του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Α Κ Ν : Θέμα Σύστημα υπολογιστικής όρασης για την αναγνώριση της οδικής σήμανσης Επιβλέπων Καθηγητής Αθανάσιος Σκόδρας Αριθμός Διπλωματικής Εργασίας: Πάτρα, Οκτώβριος 2018

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η διπλωματική εργασία με θέμα Σύστημα υπολογιστικής όρασης για την αναγνώριση της οδικής σήμανσης του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Αντωνίου Καραγεωργίου του Νικολάου (Α.Μ.: ) παρουσιάτηκε δημόσια και εξετάστηκε στο τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις / / Ο Επιβλέπων Ο Διευθυντής του Τομέα Αθανάσιος Σκόδρας Καθηγητής Δημοσθένης Καζάκος Επίκουρος Καθηγητής

4

5 Αριθμός Διπλωματικής Εργασίας: Θέμα:Σύστημα υπολογιστικής όρασης για την αναγνώριση της οδικής σήμανσης Φοιτητής: Καραγεωργίου Αντώνιος Επιβλέπων: Αθανάσιος Σκόδρας Περίληψη Πολλά αυτοκινητιστικά ατυχήματα οφείλονται στην έλλειψη προσοχής και την κούραση του οδηγού. Σε αρκετές περιπτώσεις ο οδηγός είναι αφηρημένος ή η προσοχή του αποσπάται και μπορεί να μην δει κάποια πινακίδα οδικής κυκλοφορίας ή να βγει από τη λωρίδα του χωρίς να το αντιληφθεί. Για αυτό το λόγο σε αυτή την εργασία προτείνεται ένα σύστημα εντοπισμού των λωρίδων και των πινακίδων οδικής κυκλοφορίας με στόχο την έγκαιρη προειδοποίηση του οδηγού. Το σύστημα χρησιμοποιεί τη βιβλιοθήκη OpenCV και μπορεί να εγκατασταθεί πολύ εύκολα σε κάποιον μικροεπεξεργαστή για να χρησιμοποιηθεί σε εφαρμογές πραγματικού χρόνου. Επιπλέον, μπορεί να πληροφορεί τον οδηγό για δεδομένα όπως η ταχύτητά του οχήματος, οι στροφές του κινητήρα κ.α.

6 Abstract Many car accidents happened due to the lack of attention or fatigue of the driver. In many occasions the driver gets distracted and as a result he might miss a traffic sign or let the car unintentionally change lane. Therefore, as a solution, we propose a computer vision system that can detect traffic lanes and signs in time, in order to alert the driver. The proposed system uses OpenCv library and as a result it can be easily integrated to a microprocessor for a real time application. Furthermore, the system connects with the vehicle inside network providing useful information to the driver, such as speed, or rpm.

7 Ευχαριστίες Σ αυτό το σημείο θα ήθελα να ευχαριστήσω όσους ήταν μαζί μου και με βοήθησαν όλον αυτό το καιρό. Πρώτα από όλα την οικογένειά μου, που με στήριξε και συνεχίζει να με στηρίζει και να με ενθαρρύνει σε ότι και να κάνω. Στη συνέχεια τους φίλους μου, καινούργιους και παλιούς, που ήταν μαζί μου σε όλη αυτή τη διαδρομή. Last but not least, θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή Αθανάσιο Σκόδρα για την πολύτιμη βοήθειά του κατά τη διάρκεια εκπόνησης αυτής της διπλωματικής εργασίας.

8

9 ΠΕΡΙΕΧΟΜΕΝΑ Κατάλογος σχημάτων Ακρωνύμια xiii xvii 1 Εισαγωγή Εισαγωγή Ιστορική αναδρομή Πρώτα συστήματα ασφαλείας Τύποι αισθητήρων στην αυτοκινητοβιομηχανία Ultrasonic Sensors Radar Lidar Κάμερα Συνδυασμός αισθητήρων ADAS(Advance Driver Assistance Systems) TSR(Traffic Sign Recognition) Adaptive Cruise Control LDW(Lane Departure Warning) EBA(Emergency Brake Assist) PPS(Pedestrian Protection System) Blindspot monitoring Crosswind Assist Pre-sense side protection Διάρθρωση εργασίας Αναγνώριση λωρίδων κυκλοφορίας 21 ix

10 x 2.1 Εισαγωγή Χρήσιμη Θεωρία Χρωματικοί χώροι, Μέρος 1ο RGB CMYK Grayscale Εντοπισμός ακμών Στάδιο 1:Εφαρμογή φίλτρου Στάδιο 2:Παραγώγιση Στάδιο 3:Εντοπισμός ακμών Τελεστής Laplacian of Gaussian Αλγόριθμος εντοπισμού ακμών Canny Μετασχηματισμός Hough Παρόμοιες εργασίες Υλοποίηση συστήματος αναγνώρισης λωρίδων Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Εισαγωγή Χρήσιμη θεωρία Χρωματικοί χώροι, Μέρος 2ο HSV HSL Κυκλικός μετασχηματισμός Hough Fast Radial Symmetry Transform(FRST) Αλγόριθμοι εξαγωγής χαρακτηριστικών Scale Invariant Feature Transform(SIFT) Speeded-Up Robust Feature(SURF) Oriented FAST and Rotated BRIEF(ORB) Histogram of Oriented Gradients(HOG) features Support Vector Machine(SVM) Γραμμικοί ταξινομητές Μη-γραμμικοί ταξινομητές Παρόμοιες Εργασίες Εντοπισμός πινακίδων κυκλοφορίας Στάδιο προ-επεξεργασίας Στάδιο επεξεργασίας Αναγνώριση πινακίδων κυκλοφορίας Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II Εισαγωγή Πρωτόκολλο CAN bus Πλεονεκτήματα CAN bus Μηνύματα CAN Data frame

11 xi Remote frame Error frame Overload frame Τεχνικά στοιχεία Διαχείριση σφαλμάτων On Board Diagnostics(OBD) OBD-II connector Μηνύματα EOBD EOBD fault codes Μode 01 και Σύνδεση με τη θύρα OBD Λήψη δεδομένων μέσω της θύρας OBD Δημιουργία προγράμματος για τη λήψη δεδομένων από τη θύρα OBD Συμπεράσματα, προτάσεις για μελλοντική βελτίωση 101 Βιβλιογραφία 103

12 xii

13 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ 1.1 Ιστορική αναδρομή στο σχεδιασμού του αυτοκινήτου [1] Κατηγορίες αισθητήρων που διαθέτουν τα σημερινά οχήματα [2] Αισθητήρας Radar της Bosch [3] Συστήματα υποβοήθησης που χρησιμοποιούν τα Radar [4] D αναπαράσταση του περιβάλλοντος χώρου με τη χρήση Lidar Συστήματα υποβοήθησης του οδηγού που χρησιμοποιούν Lidar [5] Συστήματα υποβοήθησης οδηγού που χρησιμοποιούν κάμερες [6] Συνδιασμός αισθητήρων σε ένα ADAS [5] Τύποι ADAS και χρησιμοποιούμενοι αισθητήρες [5] Επίπεδα αυτονομίας για τα οχήματα [4] Σύστημα αναγνώρισης πινακίδων Εφαρμογή σε κινητό για την αναγνώριση πινακίδων [7] Παράδειγμα εφαρμογής ACC Εφαρμογή συστήματος LKA Απότομο φρενάρισμα με και χωρίς EBA Αερόσακος προστασίας πεζών τοποθετημένος στο καπό του αυτοκινήτου Σύστημα εντοπισμού πεζών Σύστημα εντοπισμού τυφλών σημείων Σύστημα Cross Traffic Alert Σύστημα Cross Wind Assist Σύστημα προστασίας επιβατών από πλαϊνή σύγκρουση [8] 20 xiii

14 xiv ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ 2.1 Παράδειγμα των τριών συνιστωσών του μοντέλου RGB RGB Cube Παράδειγμα των τεσσάρων συνιστωσών του μοντέλου CMYK Μετατροπή έγχρωμης εικόνας σε κλίμακα του γκρι Τύποι ακμών Φίλτρο μέσης τιμής Φίλτρο Gauss Κατανομή φωτεινότητας πριν και μετά την εφαρμογή της μεθόδου heq Κατανομή φωτεινότητας πριν και μετά την εφαρμογή της μεθόδου heq Αναγνώριση ακμών με τον τελεστή Robert s Αναγνώριση ακμών με τον τελεστή Prewitt Αναγνώριση ακμών με τον τελεστή Sobel Αναγνώριση ακμών με το τελεστή Laplacian Non-maxima suppression Laplacian of Gaussian Μετατροπή εικόνας από κλίμακα του γκρι σε δυαδική με τη μέθοδο otsu Παράδειγμα εντοπισμού ακμών με τη μέθοδο Canny Μετασχηματισμός ευθείας από το χώρο xy στο χώρο mc Χρήση πολικών συντεταγμένων για την αναπαράσταση ευθείας Εντοπισμός ευθείας με τον αλγόριθμο Hough Φίλτρα ευθειών που χρησιμοποιήθηκαν στο [9] Κατηγορίες ευθειών στο [9] Αναγνώριση λωρίδων:στάδιο προ-επεξεργασίας Εντοπισμός ακμών για διαφορετικά κατώφλια Εντοπισμός ευθειών με το μετασχηματισμό Hough Πρόβλεψη θέσης οχήματος Οδήγηση σε περιφερειακό δρόμο Οδήγηση σε αυτοκινητόδρομο Οδήγηση σε αυτοκινητόδρομο νύχτα Οδήγηση σε περιφερειακό δρόμο Οδήγηση σε αυτοκινητόδρομο Οδήγηση σε αυτοκινητόδρομο νύχτα Το HSV μοντέλο στο καρτεσιανό σύστημα Μετατροπή εικόνας από RGB σε HSV Το HSL μοντέλο στο καρτεσιανό σύστημα Μετατροπή εικόνας από RGB σε HSL Χώρος παραμέτρων του κυκλικού μετασχηματισμού Hough Τοποθεσία των p +ve (p) και p ve (p) για μια ακτίνα n=2. Ο διακεκομένος κύκλος δείχνει όλα τα σημεία που μπορούν να επηρεαστούν από την παράγωγο του σημείου p σε ακτίνα n Εφαρμογή FRST για διαφορετικές ακτίνες [10]

15 ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ xv 3.8 Συνεισφορά της μήτρας A n στη παράγωγο ενός σημείου, σ=0.25n και n= SIFT scale space SIFT:Εύρεση τοπικού μεγίστου για κάθε επίπεδο SIFT descriptor Σχήματα α και β:διακριτοποιημένη και περικομμένη δεύτερη παράγωγος ενός Gaussian φίλτρου ως προς την y και xy κατεύθυνση, αντίστοιχα. Σχήματα γ και δ προσέγγιση των φίλτρων α και β. Τα γκρι κελιά είναι μηδέν Haar-wavelets που χρησιμοποιούνται από τον αλγόριθμο SURF Προσανατολισμοί σημείων γύρω από το σημείο ενδιαφέροντος Χρήση προσήμου της Laplacian για τον προσδιορισμό των συγκρίσιμων σημείων από τον αλγόριθμο SURF Παράδειγμα υπολογισμού Histogram of Gradients Παράδειγμα ταξινόμησης δεδομένων δυο διαστάσεων σε δυο κατηγορίες Υπολογισμός της βέλτιστης διαχωριστικής ευθείας Μετατροπή παραδειγμάτων από μη γραμμικά σε γραμμικά Χρήση του kernel trick για την εκπαίδευση μη γραμμικού ταξινομητή Κατηγορίες διαχωρισμού πινακίδων κυκλοφορίας Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας, εντοπισμός μπλε πινακίδων Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας, εντοπισμός κόκκινων πινακίδων Επεξεργασία της συνιστώσας H του μοντέλου HSV σε διαφορετικά στάδια Εικόνα για τον εντοπισμό των μπλε πινακίδων Εικόνα για τον εντοπισμό των κόκκινων πινακίδων Πινακίδες οδικής κυκλοφορίας Διαγραφή περιοχών με εμβαδόν πολύ μεγάλο ή πολύ μικρό για πινακίδα Εντοπισμός πινακίδων με τον κυκλικό μετασχηματισμό Hough Εντοπισμός πινακίδων με τον αλγόριθμο FRST Βάση δεδομένων πινακίδων οδικής σήμανσης Στάδια ταξινομητή μπλε πινακίδων Στάδια ταξινομητή κόκκινων πινακίδων Επιτυχημένη αναγνώριση μιας πινακίδας Περιπτώσεις πινακίδων που δεν εντοπίστηκαν Χρήση του αλγορίθμου SURF για την αναγνώριση των πινακίδων Χρήση του αλγορίθμου ORB για την αναγνώριση των πινακίδων Χρήση του SVM για την ταξινόμηση των εντοπισμένων πινακίδων σε περιβάλλον και πινακίδες οδικής κυκλοφορίας.. 86

16 xvi ΚΑΤΑΛΟΓΟΣ ΣΧΗΜΑΤΩΝ 3.40 Πίνακας αποτελεσμάτων συστήματος αναγνώρισης πινακίδων κυκλοφορίας CAN bus: Data frame CAN bus: Remote frame Διασύνδεση κόμβων συνδεδεμένους στο δίαυλο CAN bus OBD-II connectors Λειτουργία επαφών OBD-II connector Συσκευές διασύνδεσης με τη θύρα OBD Διασύνδεση μικροϋπολογιστών με τη θύρα OBD Λήψη και προβολή δεδομένων μέσω της θύρας OBD

17 ΑΚΡΩΝΥΜΙΑ ABS Anti-Lock Brakes. ACC Adaptive Cruise Control. ADAS Advance Driver Assistance Systems. AEBS Automatic Emergency Braking System. ALDL Assembly Line Diagnostic Link. BRIEF Binary Robust Independent Elementary Features. CAN Controller Area Network. CARB California Air Resources Board. CCD Charge Coupled Device. CMOS Complementary Metal Oxide Semiconductor. CMY Cyan Magenta Yellow. CMYK Cyan Magenta Yellow Black. CRC Cyclic Redudancy Check. CTA Cross Traffic Alert. CWA Cross Wind Assist. DoG Difference of Gaussian. DSC Dynamic Stability Control. DTC Diagnostics Trouble Codes. EBA Emergency Brake Assist. ECU Electronic Control Unit. xvii

18 xviii Ακρωνύμια EOBD European On-Board Diagnostics. ESC Electronic Stability Control. ESP Electronic Stability Program. FAST Features from Accelerated Segment Test. FIR Far InFraRed. FMCW Frequency Modulated Continuous Wave. FRST Fast Radial Symmetry Transform. HEQ Histogram EQualization. HOG Histogram of Oriented Gradients. HSB Hue Saturation Brightness. HSL Hue Saturation Lightness. HSV Hue Saturation Value. IR InFraRed. LDW Lane Departure Warning. Lidar Light Detection And Ranging. LKA Lane Keeping Assist. LoG Laplacian of Gaussian. MSER Maximally Stable External Regions. NIR Near InFraRed. OBD On-Board Diagnostics. ofast FAST keypoint Orientation. ORB Oriented FAST and Rotated BRIEF. PPS Pedestrian Protection System. RADAR RAdio Direction And Ranging. rbrief Rotation aware BRIEF. RGB Red Green Blue. ROI Region Of Interest. SAE Society of Automotive Engineers. SAS Steering Angle Sensor. SIFT Scale Invariant Feature Transform. SONAR Sound Navigation And Ranging. SURF Speeded-Up Robust Features.

19 Ακρωνύμια xix SVM Support Vector Machine. TSR Traffic Sign Recognition. U-SURF Upright SURF.

20 xx Ακρωνύμια

21 ΚΕΦΑΛΑΙΟ 1 ΕΙΣΑΓΩΓΗ 1.1 Εισαγωγή Αυτό το κεφάλαιο ξεκινάει με μια σύντομη ιστορική αναδρομή για το αυτοκίνητο. Στη συνέχεια περιγράφονται κάποια από τα πρώτα συστήματα ασφαλείας που εφαρμόστηκαν στα οχήματα και οι παράγοντες που οδήγησαν στην ανάπτυξή τους. Στο τέλος γίνεται μια σύντομη περιγραφή στους διαθέσιμους αισθητήρες και στα συστήματα ασφάλειας και υποβοήθησης του οδηγού που τους χρησιμοποιούν. 1.2 Ιστορική αναδρομή Το 1769 κατασκευάστηκε από τον Nicolas-Joseph Cugnot το πρώτο όχημα που μπορούσε να κινηθεί μόνο του. Το όχημα αυτό είχε τρεις τροχούς και για να κινηθεί χρησιμοποιούσε μια ατμομηχανή, ενώ είχε μέγιστη ταχύτητα τα 4 km h. Παρόλα αυτά, το όχημα παρέμεινε σαν πρωτότυπο και δεν κατασκευάστηκαν άλλα εξαιτίας των προβλημάτων που είχε. Σχεδόν έναν αιώνα αργότερα, το 1881, ο Γάλλος εφευρέτης Gustave Trouvé παρουσίασε το πρώτο τρίτροχο όχημα που κινούταν με ηλεκτρισμό και σαν πηγή χρησιμοποιούσε επαναφορτιζόμενες μπαταρίες. Για πολλούς ο πρώτος κατασκευαστής πραγματικού αυτοκινήτου θεωρείται ο Karl Benz. Το 1878 ο Karl Benz ξεκίνησε να σχεδιάζει έναν κινητήρα εσωτερικής καύσης και έναν χρόνο αργότερα πήρε δίπλωμα ευρεσιτεχνίας για αυτόν τον κινητήρα. Το 1885 κατασκεύασε το πρώτο όχημα που κινούταν με βενζίνη και πήρε δίπλωμα ευρεσιτεχνίας για αυτό το Συνολικά πουλήθηκαν 1

22 2 Εισαγωγή 25 τέτοια οχήματα από το 1888 μέχρι και το Το πρώτο αυτοκίνητο μαζικής παραγωγής ήταν το Ford Model T που παρουσιάστηκε το 1908 και το 1913 έγινε το πρώτο αυτοκίνητο που κατασκευαζόταν σε κινούμενη γραμμή παραγωγής. Μέχρι το 1927 είχαν πουληθεί περίπου αυτοκίνητα Model T. Ο σχεδιασμός του εσωτερικού αλλά και του εξωτερικού του οχήματος άλλαζε με τη πάροδο του χρόνου (Σχήμα 1.1). Τα οχήματα ανάλογα με το σχεδιασμό και τα χαρακτηριστικά τους μπορούν να κατηγοριοποιηθούν σε περιόδους. Οι σημαντικότερες περίοδοι περιγράφονται συνοπτικά στις επόμενες παραγράφους μαζί με κάποια αυτοκίνητα ορόσημα για την αντίστοιχη περίοδο. Η περίοδος από το τέλος του Πρώτου Παγκοσμίου Πολέμου (1919) μέχρι και το 1929 ονομάστηκε Vintage Era. Σε αυτή τη περίοδο κυριαρχούσαν τα αυτοκίνητα με τον κινητήρα μπροστά. Κάποια αυτοκίνητα αυτής της περιόδου ήταν τα Austin-7, Lancia Lambda, Bugatti Type 35. Η επόμενη περίοδος ονομάστηκε περίοδος πριν τον Δεύτερο Παγκόσμιο Πόλεμο, ξεκίνησε από το 1930 και διήρκησε μέχρι το Σε αυτή τη περίοδο τα περισσότερα αυτοκίνητα ήταν τελείως κλειστά ενώ στο πίσω μέρος διέθεταν αποθηκευτικό χώρο. Μέχρι το 1930 τα περισσότερα μηχανολογικά εξαρτήματα που χρειαζόταν ένα αυτοκίνητο είχαν εφευρεθεί. Κάποια γνωστά αυτοκίνητα αυτής της περιόδου ήταν τα Volkswagen Beetle, Rolls-Royce Phantom III, Bugatti Type 57. Η επόμενη περίοδος ονομάστηκε μεταπολεμική περίοδος. Ο σχεδιασμός των αυτοκινήτων άρχισε να απομακρύνεται από τον στρατιωτικό προσανατολισμό της προηγούμενης περιόδου. Κάποια γνωστά αυτοκίνητα αυτής της περιόδου είναι τα Mini Cooper, Jaguar E-Type, Porsche 911, Ford Mustang, Chevrolet Camaro. Η μοντέρνα περίοδος στον τομέα των αυτοκινήτων ξεκίνησε πριν από χρόνια περίπου. Κάποια χαρακτηριστικά αυτής της περιόδου είναι η γρήγορη εξάπλωση των μπροσθιοκίνητων και τετρακίνητων αυτοκινήτων και οι κινητήρες πετρελαίου. Ένα από τα πλεονεκτήματα των αυτοκινήτων της μοντέρνας περιόδου είναι η χαμηλότερη κατανάλωση τους. Επιπλέον, με το τέλος του 20ου αιώνα ξεκίνησαν κάποιοι διαγωνισμοί ανάμεσα στους κατασκευαστές των αυτοκινήτων όπως European Car of the Year, Japan, North American Car of the Year, World Car of the Year. Το αυτοκίνητο με τη μεγαλύτερη επιρροή για τον 20ο αιώνα ψηφίστηκε το Ford Model T. Τα αυτοκίνητα του μέλλοντος θα περιλαμβάνουν συνδυασμό πηγών ενέργειας και υλικών που αναπτύσσονται με στόχο την αύξηση της αποδοτικότητας και της μείωσης των ρύπων. Με την αύξηση των τιμών στα καύσιμα η έρευνα επικεντρώνεται στη μείωση της κατανάλωσης καυσίμου, στα υβριδικά και ηλεκτρικά αυτοκίνητα. Τέλος, πολλά συστήματα όπως πλοήγηση σε πραγματικό χρόνο, φωνητικές εντολές, αυτόνομη οδήγηση δεν είναι προϊόν επιστημονικής φαντασίας αλλά πραγματικότητα.

23 Πρώτα συστήματα ασφαλείας 3 Σχήμα 1.1: Ιστορική αναδρομή στο σχεδιασμού του αυτοκινήτου [1] Η μαζική παραγωγή αυτοκινήτων ξεκίνησε τις αρχές του 20ου αιώνα. Στην Αμερική είχαν παραχθεί περίπου αυτοκίνητα μέχρι το Αρκετά χρόνια αργότερα, το 1935, ο αριθμός των οχημάτων είχε αυξηθεί σχεδόν 90 φορές και ήταν περίπου Η αύξηση αυτή συνεχίστηκε και τα επόμενα χρόνια. Τη δεκαετία του 1960, λιγότερο από το 25% των Αμερικάνων πολιτών δεν είχε αυτοκίνητο και το 2000 ο αριθμός έφτασε κοντά στο 10%. Το ίδιο ισχύει και για την Ευρώπη. Στην Ελλάδα το αυτοκίνητο δεν είχε την ίδια εξάπλωση όπως στο εξωτερικό. Το 1990 περίπου το 20% των κατοίκων είχε αυτοκίνητο, ενώ το 2000 το ποσοστό αυτό έγινε 30%. Το 2016 περίπου το 50% των Ελλήνων είχε αυτοκίνητο. 1.3 Πρώτα συστήματα ασφαλείας Η αύξηση των οδηγών είχε ως αποτέλεσμα την αύξηση των ατυχημάτων που οφείλονται σε οχήματα. Τα πρώτα στοιχεία σχετικά με τον αριθμό των θανατηφόρων ατυχημάτων για την Αμερική αναφέρονται στο έτος 1899 όπου περίπου 30 θάνατοι οφείλονταν σε αυτοκίνητα. Δέκα χρόνια αργότερα ο αριθμός αυτός είχε γίνει 1,600 ενώ το 1920 οι θάνατοι που

24 4 Εισαγωγή οφείλονταν σε αυτοκινητιστικά ατυχήματα ήταν 12,000. Αυτά τα γεγονότα είχαν σαν αποτέλεσμα την ανάπτυξη συστημάτων ασφαλείας και κανόνων οδικής κυκλοφορίας για τα αυτοκίνητα με στόχο την ασφάλεια όχι μόνο των επιβατών του οχήματος αλλά και των πεζών. Το 1901 ξεκίνησαν να εφαρμόζονται τα πρώτα όρια ταχύτητας στην Αμερική, 20 km h εντός πόλης και 30 km h εκτός των πόλεων. Τα πρώτα οχήματα δεν διέθεταν υαλοκαθαριστήρες, αλλά εφευρέθηκαν αρκετά αργότερα,το 1903 από έναν αγρότη που ζούσε στην Alabama. Το 1921 κατασκευάστηκε στη Γερμανία το πρώτο όχημα που διέθετε υδραυλικά φρένα. Οι δρόμοι στην Αμερική δεν διέθεταν φανάρια μέχρι και το Η General Motors έκανε το πρώτο crash test με εμπόδιο το Πολλά από τα συστήματα προστασίας των επιβατών που διαθέτουν τα σημερινά αυτοκίνητα δεν ήταν διαθέσιμα πριν 50 χρόνια. Το 1951 εφευρέθηκαν οι αερόσακοι με στόχο την προστασία των επιβατών από τα ατυχήματα. Η Volvo το 1959 εισήγαγε τις ζώνες ασφαλείας τριών σημείων. Το 1973 η General Motors έγινε η πρώτη εταιρία που εγκατέστησε αερόσακους σε οχήματα μαζικής παραγωγής. Ένα από τα πιο γνωστά συστήματα ασφαλείας στα αυτοκίνητα είναι το ABS (anti-lock brakes). Το ABS αναπτύχθηκε αρχικά για την αεροπορία και έχει ως στόχο να αποτρέψει την ολίσθηση των τροχών κατά το φρενάρισμα. Ο τρόπος λειτουργίας του είναι αρκετά απλός. Όταν τα σύστημα ανιχνεύσει ότι κάποιος τροχός κινείται με μικρότερη ταχύτητα από το όχημα τότε ελευθερώνει την πίεση στα φρένα για να αποτραπεί η ολίσθηση. Στα πρώτα συστήματα, η ανίχνευση γινόταν με ένα σφόνδυλο συνδεδεμένο σε κάθε ρόδα του οχήματος μέσω ενός τυμπάνου. Όταν το όχημα επιβράδυνε μειωνόταν και η ταχύτητα του τυμπάνου. Στο κανονικό φρενάρισμα, το τύμπανο και ο σφόνδυλος κινούνται με την ίδια ταχύτητα, αλλά αν υπάρχει ολίσθηση το τύμπανο θα έχει διαφορετική ταχύτητα από το σφόνδυλο. Αυτή η διαφορά ταχύτητας, ανοίγει μια βαλβίδα μειώνοντας τη πίεση του φρένου και αποτρέποντας την ολίσθηση του οχήματος. Το πρώτο όχημα με παρόμοιο τύπο ABS παρήχθη το Τα πιο σύγχρονα συστήματα χρησιμοποιούν αισθητήρες σε κάθε τροχό που συγκρίνουν τη ταχύτητα του τροχού με την ταχύτητα του οχήματος. Το πρώτο όχημα με το ηλεκτρονικό ABS κατασκευάστηκε το Ένα πιο πρόσφατο σύστημα ασφαλείας είναι το σύστημα ηλεκτρονικής ευστάθειας γνωστό και ως ESC(Electronic Stability Control), ESP( Electronic Stability Program), DSC(Dynamic Stability Control). Το σύστημα αυτό βελτιώνει την ευστάθεια του οχήματος εντοπίζοντας την απώλεια πρόσφυσης. Όταν εντοπιστεί απώλεια πρόσφυσης το σύστημα φρενάρει τον κατάλληλο τροχό με στόχο να βοηθήσει τον οδηγό να στρίψει καλύτερα. Τα πρώτα αυτοκίνητα που χρησιμοποιούσαν αυτό το σύστημα κατασκευάστηκαν τα τέλη της δεκαετίας του 1980.

25 Τύποι αισθητήρων στην αυτοκινητοβιομηχανία Τύποι αισθητήρων στην αυτοκινητοβιομηχανία Οι μηχανικοί που δουλεύουν στο τομέα της αυτοκινητοβιομηχανίας έχουν στη διάθεσή τους διαφορετικούς τύπους αισθητήρων ώστε να κάνουν την οδήγηση πιο ασφαλή. Οι πιο σημαντικές κατηγορίες αισθητήρων (Σχήμα 1.2) αναλύονται στη συνέχεια ώστε στην επόμενη ενότητα να παρουσιαστούν κάποια από τα πιο γνωστά συστήματα υποβοήθησης του οδηγού. Σχήμα 1.2: Κατηγορίες αισθητήρων που διαθέτουν τα σημερινά οχήματα [2] Ultrasonic Sensors Οι πιο απλοί και οικονομικοί αισθητήρες που μπορούν να χρησιμοποιηθούν για την ανίχνευση εμποδίων είναι οι υπερηχητικοί. Οι υπερηχητικοί αισθητήρες χρησιμοποιούν έναν πομπό ο οποίος στέλνει μικρούς ηχητικούς παλμούς και ο δέκτης μετράει το χρόνο που χρειάζεται ο παλμός μέχρι να φτάσει στο αντικείμενο, να ανακλαστεί και να γυρίσει πίσω. Η απόσταση του αντικειμένου υπολογίζεται εύκολα, με βάση τον τύπο: d = Uηχ t 2 όπου η ταχύτητα του ήχου είναι περίπου 340 m s και t ο χρόνος που χρειάζεται ο παλμός μέχρι πάει στο αντικείμενο και να γυρίσει στο δέκτη. Ωστόσο, οι περιβαλλοντικές συνθήκες, υγρασία, βροχή μπορεί να επηρεάσουν την ταχύτητα του ήχου και αν χρησιμοποιούνται πολλοί αισθητήρες πρέπει να είναι αρκετά μακριά ώστε να μην προκαλεί παρεμβολές ο ένας στον άλλο. Οι αισθητήρες αυτοί χρησιμοποιούνται συνήθως για εφαρμογές μικρής απόστασης και σε χαμηλές ταχύτητες, όπως είναι η υποβοήθηση στο παρκάρισμα και ο εντοπισμός οχημάτων στα τυφλά

26 6 Εισαγωγή σημεία Radar Το Radar χρησιμοποιείται για την ανίχνευση αντικειμένων για περισσότερο από έναν αιώνα. Το 1904 ο Γερμανός εφευρέτης Christian Huelsmeyer πήρε δίπλωμα ευρεσιτεχνίας για μια πρώιμη υλοποίηση του Radar την οποία ονόμασε telemobiloscope και μπορούσε να εντοπίσει πλοία σε απόσταση 3 χιλιομέτρων. Χρησιμοποιούσε ένα κατευθυντικό πομπό με μήκος κύματος 40 50cm και ξεχωριστό δέκτη. Στις πρώτες εκδόσεις ήταν δυνατός μόνο ο εντοπισμός του στόχου ενώ στη συνέχεια μπορούσε να γίνει και μια εκτίμηση για την απόσταση του στόχου. Τα Radar χρησιμοποιούνται κυρίως για δυο συστήματα, τα συστήματα αυτόματου φρεναρίσματος AEBS (Automatic Emergency Braking System) και για την διατήρηση της ταχύτητας του οχήματος ACC (Adaptive Cruise Control). Οι αισθητήρες που χρησιμοποιούνται έχουν εμβέλεια m. Η συχνότητα του κύματος είναι περίπου τα 77GHz αυξάνοντας την ακρίβεια του αισθητήρα, την ανάλυση του αντικειμένου και με μήκος κύματος 3.9mm η κεραία έχει πολύ μικρό μέγεθος. Στα αυτοκίνητα χρησιμοποιούνται κυρίως ο τύπος Radar Frequency Modulated Continuous Wave (FMCW) επειδή συνδυάζει υψηλή ανάλυση και αντίληψη βάθους και μπορεί να ανιχνεύει αντικείμενα όπως πεζοί και ποδήλατα. Σε αυτό τον τύπο Radar, ο πομπός και ο δέκτης λειτουργούν ταυτόχρονα. Ο πομπός χρησιμοποιεί έναν ημιτονοειδή φορέα με συχνότητα που μεταβάλλεται περιοδικά με το χρόνο. Το σήμα που φεύγει από τον πομπό ανακλάται στο αντικείμενο και επιστρέφει με διαφορετική συχνότητα στο δέκτη. Για τη μέτρηση της απόστασης συγκρίνεται η συχνότητα του πομπού με τη συχνότητα του δέκτη με βάση τη σχέση: R = C 0 F 2(df/dt), (1.1) όπου C 0 η ταχύτητα του φωτός, F η διαφορά των δυο συχνοτήτων και df dt η αλλαγή της συχνότητας του πομπού ανά μονάδα χρόνου, ή χρησιμοποιώντας το χρόνο που χρειάζεται το κύμα μέχρι να πάει στο αντικείμενο και πίσω με βάση τη σχέση : R = C 0 t 2 (1.2) Με βάση το φαινόμενο Doppler μπορεί να υπολογιστεί η ταχύτητα του αντικειμένου αν αυτό κινείται. Ένα παράδειγμα αισθητήρα Radar είναι ο LR4 της Bosch (Σχήμα 1.3). Χρησιμοποιεί 6 κεραίες, τέσσερις για αποστάσεις μέχρι 250m με γωνία θέασης ±6 και δυο για αποστάσεις μέχρι 5m με γωνία θέασης ±20. Μπορεί να διακρίνει μέχρι 24 ξεχωριστά αντικείμενα.

27 Τύποι αισθητήρων στην αυτοκινητοβιομηχανία 7 Σχήμα 1.3: Αισθητήρας Radar της Bosch [3] Τα Radar μπορούν να χρησιμοποιηθούν από πάρα πολλά συστήματα ασφαλείας και υποβοήθησης που διαθέτουν τα σύγχρονα αυτοκίνητα όπως φαίνεται και στο σχήμα (Σχήμα 1.4). Σχήμα 1.4: Συστήματα υποβοήθησης που χρησιμοποιούν τα Radar [4] Lidar Τα Lidar (Light Detection and Ranging) είναι η πιο πρόσφατη ανάπτυξη της τεχνολογίας παρακολούθησης και αποτελούν μια αναβάθμιση των Sonar και Radar. Αντί για ήχο και ραδιοκύματα χρησιμοποιούν παλμούς φωτός για να σαρώσουν το περιβάλλον. Αναπτύχθηκαν από τη NASA και τον Αμερικανικό στρατό αρκετά χρόνια πιο πριν για τη μέτρηση αποστάσεων από τους δορυφόρους και το φεγγάρι. Η πρώτη εμπορική εφαρμογή τους ήρθε το 1995 όπου χρησιμοποιήθηκαν σε μια γεωλογική

28 8 Εισαγωγή μελέτη. Η αρχή λειτουργίας τους είναι παρόμοια με τα Sonar, μόνο που αντί για ηχητικά κύματα χρησιμοποιούνται παλμοί φωτός. Σε κάθε δευτερόλεπτο στέλνουν και λαμβάνουν δεδομένα από εκατοντάδες παλμούς Laser. Ένας υπολογιστής καταγράφει το σημείο αντανάκλασης κάθε παλμού μετατρέποντας το σε ένα νέφος σημείων και κατ επέκταση σε μια 3D αναπαράσταση του περιβάλλοντος χώρου (Σχήμα 1.5). Ένα σύστημα Lidar αποτελείται από τέσσερα βασικά χαρακτηριστικά, τον πομπό που στέλνει τους παλμούς Laser, το δέκτη που λαμβάνει τος αντανακλάσεις των παλμών, ένα σύστημα ανάλυσης των δεδομένων εισόδου και τέλος έναν υπολογιστή για τη 3D αναπαράσταση του περιβάλλοντος χώρου σε πραγματικό χρόνο. Τα συστήματα Lidar μπορούν να αναγνωρίσουν ταυτόχρονα πολλά στατικά και κινούμενα εμπόδια και η απόδοσή τους είναι το ίδιο καλή ακόμη και σε ακραίες καιρικές συνθήκες. Όπως και τα Radar μπορούν να χρησιμοποιηθούν από τα περισσότερα συστήματα ασφαλείας και υποβοήθησης που διαθέτουν τα σύγχρονα αυτοκίνητα (Σχήμα 1.6). Σχήμα 1.5: 3D αναπαράσταση του περιβάλλοντος χώρου με τη χρήση Lidar Κάμερα Οι κάμερες σε αντίθεση με τους προηγούμενους αισθητήρες είναι παθητικά συστήματα. Ο τύπος και η ανάλυση της κάμερας παίζουν πολύ σημαντικό ρόλο στις δυνατότητές της. Όπως και το ανθρώπινο μάτι, οι κάμερες είναι ευάλωτες σε ακραίες καιρικές συνθήκες και στις εναλλαγές του φωτισμού. Όμως η κάμερα είναι ο μόνος τύπος αισθητήρα που μπορεί να αποθηκεύσει πληροφορίες για το χρώμα, την υφή και αντικείμενα με πολύ μεγάλη λεπτομέρεια. Αυτά τα χαρακτηριστικά σε συνδυασμό με την υψηλή ανάλυση και το χαμηλό κόστος καθιστούν τις κάμερες βασική επιλογή για ένα ADAS (Σχήμα 1.7). Υπάρχουν διαφορετικοί τύποι κάμερας και αυτό δίνει στο σχεδιαστή του συστήματος να επιλέξει την κατάλληλη ανάλογα με το σύστημα που αναπτύσσει. Οι πιο συνηθισμένοι τύποι ψηφιακής κάμερας είναι η CMOS(Complementary Metal Oxide Semiconductor) και η CCD(Charge

29 Τύποι αισθητήρων στην αυτοκινητοβιομηχανία 9 Σχήμα 1.6: Συστήματα υποβοήθησης του οδηγού που χρησιμοποιούν Lidar [5] Coupled Device). Οι CCD κάμερες μετατρέπουν ένα αναλογικό φωτεινό σήμα σε ψηφιακό σήμα. Οι κάμερες περιέχουν ένα πλέγμα από pixel, καθένα από τα οποία αποτελείται από ένα ημιαγωγικό στοιχείο που λειτουργεί ως πυκνωτής. Ο πυκνωτής που αντιστοιχεί σε κάθε pixel φορτίζεται ανάλογα με την ισχύ του φωτός που πέφτει πάνω του. Όταν φορτιστούν όλοι οι πυκνωτές σε μια σειρά, ένα κύκλωμα ελέγχου αναγκάζει κάθε πυκνωτή να μεταφέρει την αποθηκευμένη του ενέργεια στον επόμενο. Ο τελευταίος πυκνωτής κάθε σειράς μεταφέρει το συνολικό φορτίο σε έναν ενισχυτή που μετατρέπει το φορτίο σε τάση, το δειγματοληπτεί, το ψηφιοποιεί και το αποθηκεύει στη μνήμη. Η βασική διαφορά των CMOS με τους CCD είναι ότι στο CMOS κάθε pixel έχει το δικό του ενισχυτή για τη μετατροπή του φορτίου του πυκνωτή. Μετά τη μετατροπή η διαδικασία αποθήκευσης είναι παρόμοια με τους CCD. Οι περισσότερες συσκευές χρησιμοποιούν CMOS αισθητήρες επειδή είναι πιο οικονομικοί και λιγότερο ενεργοβόροι. Ένας άλλος τύπος κάμερας είναι οι IR (infrared) κάμερες που χρησιμοποιούνται συνήθως για τη νυχτερινή όραση. Υπάρχουν δύο εκδόσεις αυτού του τύπου, Near InfraRed (NIR) και Far InfraRed(FIR) και οι δυο χρησιμοποιούν αισθητήρες που ανιχνεύουν τη θερμότητα των αντικειμένων. Οι NIR τεχνολογία χρησιμοποιεί μια πηγή υπέρυθρης ακτινοβολίας για να φωτίσουν το δρόμο και με αυτό το τρόπο ανιχνεύει και κάποια αντικείμενα που δεν ανιχνεύει η FIR τεχνολογία. Ένας άλλος τύπος κά-

30 10 Εισαγωγή Σχήμα 1.7: Συστήματα υποβοήθησης οδηγού που χρησιμοποιούν κάμερες [6] μερας είναι οι 3D κάμερες, που μπορούν να δώσουν και πληροφορίες για την απόσταση από τα αντικείμενα που υπάρχουν στην εικόνα. Μπορούν να χρησιμοποιηθούν και στο εσωτερικό του αυτοκινήτου για τον έλεγχο της κατάστασης του οδηγού. Τέλος, συνδυάζοντας περισσότερες κάμερες περιμετρικά του αυτοκινήτου και με την εφαρμογή κατάλληλων αλγορίθμων μπορεί να δημιουργηθεί μια εικόνα 360 γύρω από το αυτοκίνητο βοηθώντας τον οδηγό σε περιπτώσεις που η ορατότητα δεν είναι καλή Συνδυασμός αισθητήρων Οι αισθητήρες παρουσιάζουν μια συνεχή βελτίωση, τόσο στη μείωση του του μεγέθους όσο και στην αύξηση της απόδοσης. Ωστόσο δεν υπάρχει ένας αισθητήρας που μπορεί μόνος του να εξασφαλίσει την ασφαλή οδήγηση. Για αυτό το λόγο οι κατασκευαστές αυτοκινήτων συνδυάζουν τους παραπάνω αισθητήρες (Σχήμα 1.8). Για παράδειγμα για τον εντοπισμό ενός εμποδίου μπροστά από το όχημα μπορούν να χρησιμοποιηθούν οι κάμερες και με τη βοήθεια των Lidar και Radar να γίνει μια ακριβέστερη εκτίμηση της απόστασης του εμποδίου αν αυτό βρίσκεται μακριά από το όχημα ενώ αν βρίσκεται πιο κοντά μπορούν να χρησιμοποιηθούν οι υπερηχητικοί αισθητήρες. Οι οδηγικές συνθήκες αλλάζουν συνεχώς και γι αυτό το λόγο πρέπει οι αισθητήρες που θα χρησιμοποιηθούν να μπορούν να δουλεύουν αποδοτικά σε αστικό, επαρχιακό περιβάλλον και σε αυτοκινητόδρομους ανεξάρτητα από τις καιρικές συνθήκες. Για την αυτόνομη οδήγηση πρέπει οι αισθητήρες να εντοπίζουν τους κινδύνους με υψηλή αξιοπιστία και να υπάρχουν επιπλέον αισθητήρες σε περίπτωση που κάποιος πάθει κάποια βλάβη.

31 ADAS(Advance Driver Assistance Systems) 11 Σχήμα 1.8: Συνδιασμός αισθητήρων σε ένα ADAS [5] 1.5 ADAS(Advance Driver Assistance Systems) Σύμφωνα με μελέτες, τα περισσότερα αυτοκινητιστικά ατυχήματα οφείλονται σε ανθρώπινα λάθη. Τα ADAS αναπτύχθηκαν με στόχο τη βελτίωση των ήδη υπαρχόντων συστημάτων για μεγαλύτερη ασφάλεια. Τα αυτοματοποιημένα συστήματα που διαθέτουν πολλά από τα σημερινά αυτοκίνητα έχει αποδειχτεί ότι έχουν ελαττώσει τη θνησιμότητα στα ατυχήματα, μειώνοντας τα ανθρώπινα λάθη. Διαθέτουν κατάλληλο εξοπλισμό και αλγορίθμους με στόχο την έγκαιρη πρόβλεψη ενός ατυχήματος και ειδοποίηση του οδηγού, ενώ σε κάποιες περιπτώσεις μπορούν να εφαρμόσουν διορθωτικές ενέργειες. Στον παρακάτω πίνακα (Σχήμα 1.9) αναφέρονται κάποια από τα πιο σημαντικά ADAS και τους αισθητήρες που χρησιμοποιούν. Σχήμα 1.9: Τύποι ADAS και χρησιμοποιούμενοι αισθητήρες [5] Η Ένωση Μηχανικών Αυτοκινήτων (Society of Automotive Engineers, SAE) έχει ορίσει έξι επίπεδα ανάλογα με την αυτονομία κάθε οχήματος

32 12 Εισαγωγή (Σχήμα 1.10). Στο επίπεδο 0 δεν υπάρχει καμία αυτονομία ενώ στο επίπεδο 5 ανήκουν τα πλήρως αυτόνομα οχήματα. Όσο μεγαλώνει η αυτονομία του οχήματος, τα ADAS παίζουν ένα πολύ σημαντικό ρόλο. Σχήμα 1.10: Επίπεδα αυτονομίας για τα οχήματα [4] Στις υπό-ενότητες που ακολουθούν αναλύονται κάποια από τα σημαντικότερα και με μεγαλύτερη χρήση ADAS TSR(Traffic Sign Recognition) Κατά την οδήγηση ο οδηγός πρέπει να κοιτάει σε πολλά σημεία ταυτόχρονα. Πρέπει να προσέχει το δρόμο και το όχημα μπροστά του, τα οχήματα που βρίσκονται πίσω του ενώ παράλληλα πρέπει να διατηρεί τη ταχύτητα του οχήματος στα επιτρεπτά όρια. Οι αυτοκινητοβιομηχανίες για να βοηθήσουν τον οδηγό στη περίπτωση που δεν είδε κάποιο σήμα οδικής κυκλοφορίας ανέπτυξαν συστήματα αυτόματης αναγνώρισης των σημάτων μειώνοντας τη πιθανότητα ο οδηγός να χάσει κάποια πινακίδα. Τα TSR συστήματα αποτελούνται από μια κάμερα που σαρώνει το δρόμο μπροστά, έναν μικροεπεξεργαστή και το κατάλληλο λογισμικό για την επεξεργασία της εικόνας με στόχο τον εντοπισμό της πινακίδας την οποία στη συνέχεια προβάλουν στον πίνακα οργάνων του οχήματος (Σχήμα 1.11). Η πιο συχνή χρήση αυτών των συστημάτων είναι για την αναγνώριση των ορίων ταχύτητας και δουλεύουν σε συνδυασμό με τα δεδομένα από του GPS. Η πρώτη γενιά των TSR συστημάτων αναπτύχθηκε από την Mobileye και την Continental AG. Τα πρώτα οχήματα που χρησιμοποιούσαν τέτοια συστήματα κατασκευάστηκαν από τη BMW και τη Mercedes-Benz το 2008 και 2009 αντίστοιχα. Οι δυνατότητές τους ήταν περιορισμένες, αφού αναγνώριζαν μόνο πινακίδες με όρια ταχύτητας. Η δεύτερη γενιά των TSR αναγνώριζε εκτός από τα όρια ταχύτητας και τις πινακίδες που σχετίζονται με την απαγόρευση προσπέρασης. Η Opel ήταν η πρώτη εταιρία που εφάρμοσε αυτή τη τεχνολογία το 2008 και ακολούθησε η VW το 2011 και η Volvo το Τα TSR συστήματα είναι διαθέσιμα σχεδόν σε όλα τα καινούρια αυτοκίνητα σε κάποια είναι διαθέσιμα ακόμη και στο βασικό εξοπλισμό. Εναλλακτικά, υπάρχουν εφαρμογές για το κινητό που χρησι-

33 ADAS(Advance Driver Assistance Systems) 13 Σχήμα 1.11: Σύστημα αναγνώρισης πινακίδων μοποιούν την κάμερά του για την αναγνώριση των πινακίδων. Μια τέτοια εφαρμογή είναι η Cover art Roadly dashcam and speed camera [7] (Σχήμα 1.12) η οποία εντοπίζει τις πινακίδες κυκλοφορίας και ειδοποιεί τον οδηγό αν κάνει κάποια παράβαση. Σχήμα 1.12: Εφαρμογή σε κινητό για την αναγνώριση πινακίδων [7] Adaptive Cruise Control Το cruise control είναι ένα σύστημα το οποίο διατηρεί την ταχύτητα του οχήματος σταθερή χωρίς να χρειάζεται ο οδηγός να πατάει το πεντάλ του γκαζιού ή του φρένου. Ο οδηγός ρυθμίζει την επιθυμητή ταχύτητα και όταν η ταχύτητα του αυτοκινήτου χαμηλώνει τότε επιταχύνει μόνο του μέχρι να ξαναφτάσει την επιθυμητή ταχύτητα. Με παρόμοιο τρόπο λειτουργεί και όταν το όχημα επιβραδύνει. Το cruise control μειώνει την κατανάλωση του οχήματος και ξεκουράζει τον οδηγό σε πολύωρα ταξίδια. Το Adaptive Cruise Control είναι η εξέλιξη του απλού Cruise Control αφού εκτός από το να διατηρεί σταθερή την ταχύτητα φροντίζει να διατηρεί και μια συγκεκριμένη απόσταση από το προπορευόμενο όχημα (Σχήμα 1.13). Τόσο η ταχύτητα όσο και η απόσταση καθορίζονται από το χρήστη. Το αυτοκίνητο μπορεί να επιταχύνει και να επιβραδύνει μόνο του όταν απο-

34 14 Εισαγωγή μακρύνεται ή όταν πλησιάζει το μπροστινό όχημα. Σε κάποια αυτοκίνητα το ACC μπορεί να ακινητοποιήσει πλήρως το αυτοκίνητο όταν σταματήσει και το μπροστινό και να το ξεκινήσει πάλι όταν αρχίσει να κινείται το μπροστινό. Η εκτίμηση της απόστασης από το προπορευόμενο όχημα μπορεί να γίνει με τα Lidar, Radar ή με τη κάμερα. Σχήμα 1.13: Παράδειγμα εφαρμογής ACC LDW(Lane Departure Warning) Το σύστημα προειδοποίησης αλλαγής λωρίδας προειδοποιεί τον οδηγό όταν το όχημα αρχίσει να βγαίνει από τη λωρίδα του. Το σύστημα απενεργοποιείται όταν ο οδηγός κάνει μια προσπέραση και το φλας είναι αναμμένο. Έχει σχεδιαστεί για την αποφυγή συγκρούσεων που οφείλονται σε σφάλματα του οδηγού, όταν κάτι αποσπάσει την προσοχή του ή λόγο κούρασης. Υπάρχουν τρεις κατηγορίες συστημάτων αυτού του τύπου. Τα συστήματα της πρώτης κατηγορίας απλά ειδοποιούν τον οδηγό όταν υπάρχει κίνδυνος το όχημα να βγει από τη λωρίδα του. Στη δεύτερη κατηγορία το σύστημα προειδοποιεί τον οδηγό και αν αυτός δεν κάνει κάποια ενέργεια για να διορθώσει την πορεία του τότε το όχημα δρα μόνο του και επαναφέρεται στη σωστή θέση. Στη τρίτη κατηγορία ανήκουν τα πιο προηγμένα συστήματα που αναλαμβάνουν πλήρως την οδήγηση αλλά ζητούν επιβεβαίωση από τον οδηγό ανά τακτά χρονικά διαστήματα και απενεργοποιούνται αν ο οδηγός δεν ακουμπήσει το τιμόνι ή αν συμβεί κάποια πιο δύσκολη κατάσταση. Για τη λειτουργία του το σύστημα χρησιμοποιεί κυρίως μια κάμερα που βρίσκεται στο μπροστινό μέρος του αυτοκινήτου. Σε κάποιες περιπτώσεις χρησιμοποιούνται και οι αισθητήρες απόστασης με στόχο να βγάλουν τα εμπόδια που βρίσκονται κοντά στο αυτοκίνητο

35 ADAS(Advance Driver Assistance Systems) 15 από την εικόνα και να μην μπερδέψουν τον αλγόριθμο αναγνώρισης λωρίδων. Τα πρώτα αυτοκίνητα με σύστημα αναγνώρισης λωρίδων βγήκαν στην αγορά τις αρχές του Το 2005 η Citroën χρησιμοποίησε έναν μηχανισμό δόνησης στο κάθισμα του οδηγού σαν μέσο προειδοποίησης όταν το όχημα παρεκκλίνει από την πορεία του. Το 2006 κατασκευάστηκαν τα πρώτα αυτοκίνητα που εφαρμόζουν μια μικρή ροπή στο τιμόνι ώστε ο οδηγός στη συνέχεια να επαναφέρει το όχημα στη σωστή του θέση. Το 2007 η Infiniti συνδύασε το LDW σύστημά της με το σύστημα πρόσφυσης με στόχο να βοηθήσει να βοηθήσει τον οδηγό στη διατήρηση της σωστής θέσης στη λωρίδα εφαρμόζει μια μικρή πίεση στο φρένο του κατάλληλου τροχού. Πλέον τα περισσότερα από τα οχήματα διαθέτουν το σύστημα προειδοποίησης αλλαγής λωρίδας και σε αρκετά ανήκει στον βασικό εξοπλισμό. Τα πρώτα οχήματα με το σύστημα Lane Keeping Assist (LKA) κατασκευάστηκαν μετά το Τα οχήματα αυτής της κατηγορίας μπορούν να επαναφέρουν και να διατηρήσουν μόνα τους το όχημα στην σωστή θέση μέσα στη λωρίδα (Σχήμα 1.14). Η Tesla συνδυάζει τα LKA και ACC ονομάζοντας το νέο σύστημα Autopilot. Το σύστημα αυτό πέρα από τη διατήρηση της λωρίδας μπορεί να αλλάξει λωρίδα χωρίς να ακουμπήσει ο οδηγός το τιμόνι απλά και μόνο ανάβοντας το δεξί ή το αριστερό φλας. Αρκετά από τα ακριβά οχήματα που κυκλοφορούν στους δρόμους διαθέτουν την τεχνολογία LKA. Σχήμα 1.14: Εφαρμογή συστήματος LKA EBA(Emergency Brake Assist) Ο όρος EBA αναφέρεται σε μια τεχνολογία των φρένων στην αυτοκινητοβιομηχανία η οποία αυξάνει την πίεση τους σε κάποια έκτακτη ανάγκη. Αυτά τα συστήματα ενεργοποιούνται αυτόματα όταν χρειάζεται μεγαλύτερη δύναμη στο φρενάρισμα για να αποφευχθεί ένα ατύχημα. Μια έρευνα της Mercedes-Benz το 1992 κατέληξε στο συμπέρασμα ότι περισσότερο από το 90% των οδηγών δεν φρενάρουν με αρκετή δύναμη όταν

36 16 Εισαγωγή βρεθούν αντιμέτωποι με κάποιο κίνδυνο. Πολλοί από τους οδηγούς δεν είναι προετοιμασμένοι για την προσπάθεια που χρειάζεται σε ένα απότομο φρενάρισμα ούτε για την ανάδραση που επιστρέφει στο πόδι τους εξαιτίας του ABS. Στην πιο απλή εκδοχή του, το σύστημα ερμηνεύει το τρόπο που πατάει ο οδηγός το πεντάλ του φρένου, δηλαδή τη δύναμη, για να αντιληφθεί αν χρειάζεται να κάνει κάποιο απότομο φρενάρισμα και σε αυτή τη περίπτωση εφαρμόζει τη μέγιστη πίεση στα φρένα μέχρι να ενεργοποιηθεί το ABS (Σχήμα 1.15). Η πιο σύνθετη εκδοχή χρησιμοποιεί τους αισθητήρες που διαθέτει το αυτοκίνητο για να προβλέψει αν το όχημα πρόκειται να συγκρουστεί με κάποιο εμπόδιο και εφαρμόζει κατάλληλη πίεση στα φρένα. Η απλή εκδοχή του συστήματος χρησιμοποιήθηκε πρώτα από τη Mercedes-Benz το 1996 ενώ το 1998 έγινε η πρώτη εταιρία που το χρησιμοποίησε σαν βασικό εξοπλισμό σε όλα τα μοντέλα της. Αρκετές εταιρίες όπως η Volvo και η BMW ακολούθησαν αυτή τη στρατηγική λίγο αργότερα. Τα περισσότερα από τα σημερινά αυτοκίνητα χρησιμοποιούν τη πρώτη έκδοση του EBA ενώ αρκετά χρησιμοποιούν και τη βελτιωμένη έκδοση AEBS. Σχήμα 1.15: Απότομο φρενάρισμα με και χωρίς EBA PPS(Pedestrian Protection System) Τα ατυχήματα με πεζούς είναι η δεύτερη πηγή τραυματισμών και θανάτων από αυτοκινητιστικά ατυχήματα στην Ευρώπη. Στα περισσότερα ατυχήματα οι πεζοί συγκρούονται με το μπροστινό μέρος του οχήματος. Γι αυτό το λόγο γίνεται έρευνα στα συστήματα προστασία πεζών (PPS) για την αύξηση της ασφάλειας κατά την οδήγηση. Υπάρχουν δύο κατηγο-

37 ADAS(Advance Driver Assistance Systems) 17 ρίες συστημάτων προστασίας των πεζών. Στη πρώτη κατηγορία ανήκουν τα συστήματα που ενεργούν αφού γίνει η σύγκρουση και στη δεύτερη τα συστήματα που προβλέπουν την σύγκρουση. Για την ανίχνευση της σύγκρουσης με πεζούς χρησιμοποιούνται αισθητήρες που βρίσκονται τοποθετημένοι περιμετρικά του αυτοκινήτου. Σε κάποια αυτοκίνητα υπάρχει ένας αερόσακος τοποθετημένος κοντά στο παρμπρίζ που ενεργοποιείται όταν εντοπιστεί σύγκρουση (Σχήμα 1.16). Για την πρόβλεψη της σύγκρουσης με πεζούς μπορούν να χρησιμοποιηθούν σχεδόν όλοι οι αισθητήρες που διαθέτει το όχημα αλλά συνήθως χρησιμοποιούνται μόνο οι κάμερες, κανονική και υπέρυθρη. Όταν το σύστημα εντοπίσει επικείμενη σύγκρουση τότε ειδοποιεί τον οδηγό ή ακόμη μπορεί και να φρενάρει μόνο του (Σχήμα 1.17). Σχήμα 1.16: Αερόσακος προστασίας πεζών τοποθετημένος στο καπό του αυτοκινήτου Σχήμα 1.17: Σύστημα εντοπισμού πεζών Blindspot monitoring Το σύστημα αυτό χρησιμοποιείται για να ειδοποιήσει τον οδηγό όταν υπάρχει κάποιο όχημα στα τυφλά σημεία του αυτοκινήτου. Τα τυφλά σημεία συνήθως είναι οι περιοχές στα πλαϊνά του οχήματος που δεν καλύπτονται από τους καθρέπτες (Σχήμα 1.18). Η προειδοποίηση μπορεί να είναι κάποια φωτεινή ένδειξη, κάποιος ήχος ή κάποια δόνηση. Σε αρκε-

38 18 Εισαγωγή τές περιπτώσεις συνδυάζεται με ένα άλλο σύστημα που ονομάζεται Cross Traffic Alert και ειδοποιεί τον οδηγό αν πλησιάζει κάποιο όχημα όταν κάνει όπισθεν. Ο George Platzer δημοσίευσε το 1995 μια εργασία [11] στην οποία απέδειξε ότι με κατάλληλη ρύθμιση των πλαϊνών καθρεπτών μπορούν να εξαλειφθούν τα τυφλά σημεία. Χρησιμοποιώντας μαθηματικούς τύπος βρήκε μια ακολουθία βημάτων που βοηθούν στην εξάλειψη των τυφλών σημείων χωρίς τη χρήση αισθητήρων. Ωστόσο, η μέθοδός του δεν είναι ιδιαίτερα γνωστή. Τα συστήματα και οι απαραίτητοι αισθητήρες μπορεί να εγκατασταθούν από τον κατασκευαστή του αυτοκινήτου ή από το χρήστη αργότερα. Ανεξάρτητα από τον κατασκευαστή και το σύστημα που χρησιμοποιεί, ο τρόπος λειτουργίας είναι παρόμοιος. Το σύστημα επιβλέπει τις λωρίδες δεξιά και αριστερά του οχήματος κυρίως τα σημεία κοντά στους ώμους που είναι δύσκολο να δει ο οδηγός. Στα περισσότερα αυτοκίνητα υπάρχει ένα φως στον καθρέπτη που τον ειδοποιεί αν υπάρχει όχημα στην τυφλή γωνία. Το σύστημα Cross Traffic Alert χρησιμοποιείται συνήθως όταν το όχημα βγαίνει από μια θέση στάθμευσης με την όπισθεν. Ειδοποιεί τον οδηγό αν πλησιάζει κάποιο όχημα ή πεζός κοντά στο πίσω μέρος του αυτοκινήτου. Οι αισθητήρες απόστασης εντοπίζουν το όχημα και ειδοποιούν τον οδηγό με κάποια ηχητική ένδειξή ή με κάποιο φωτάκι στον καθρέπτη ή στο ταμπλό (Σχήμα 1.19). Οι αισθητήρες μπορούν να εντοπίσουν οχήματα σε απόσταση μέχρι και 50m. Σχήμα 1.18: Σύστημα εντοπισμού τυφλών σημείων Σχήμα 1.19: Σύστημα Cross Traffic Alert Crosswind Assist Οι ξαφνικοί άνεμοι μπορούν να δημιουργήσουν αστάθειες σε μεγάλα οχήματα όπως SUV ή station wagon και σε κάποιες περιπτώσεις μπορεί να είναι πολύ επικίνδυνοι. Οι ξαφνικοί άνεμοι δεν είναι επικίνδυνοι από μόνοι τους αλλά οι διορθωτικές ενέργειες του οδηγού μπορεί να γίνουν επικίνδυνες ειδικά αν το όχημα κινείται με μεγάλη ταχύτητα. Το σύστημα αυτό δουλεύει σε συνδυασμό με το σύστημα ευστάθειας με στόχο

39 ADAS(Advance Driver Assistance Systems) 19 να μειώσει τη μετατόπιση του οχήματος από κάποιο ισχυρό άνεμο. Το σύστημα εφαρμόζοντας κατάλληλη πίεση στα φρένα της αντίθετης πλευράς από αυτή που χτυπάει ο άνεμος αποτρέπει να φύγει το όχημα από την πορεία του (Σχήμα 1.20). Σχήμα 1.20: Σύστημα Cross Wind Assist Pre-sense side protection Τα συστήματα Pre-sense χρησιμοποιούν πληροφορίες από τους διάφορους αισθητήρες του αυτοκινήτου για να προβλέψουν αν πρόκειται να συμβεί κάποιο ατύχημα. Σε αυτή τη περίπτωση οι ζώνες ασφαλείας τεντώνουν με ειδικό μηχανισμό και ταυτόχρονα κλείνουν τα παράθυρα και η ηλιοροφή. Το σύστημα αυτό στην καινούρια του έκδοση ενεργοποιείται όταν πρόκειται να συγκρουστεί κάποιο όχημα στα πλαϊνά του αυτοκινήτου. Εκτός από τις λειτουργίες του απλού συστήματος μπορεί να συνδυαστεί με το σύστημα ανάρτησης ώστε να σηκώσει το όχημα από τη πλευρά της σύγκρουσης (Σχήμα 1.21). Τότε, το σημείο της σύγκρουσης μεταφέρεται από τη πόρτα στο κάτω μέρος του οχήματος που είναι πιο ανθεκτικό. Η ανύψωση της ανάρτησης βοηθάει στη μείωση των επιπτώσεων της σύγκρουσης στο όχημα και τους επιβάτες σχεδόν κατά 50%.

40 20 Εισαγωγή Σχήμα 1.21: Σύστημα προστασίας επιβατών από πλαϊνή σύγκρουση [8] 1.6 Διάρθρωση εργασίας Στο Κεφάλαιο 2 περιγράφεται το σύστημα αναγνώρισης των λωρίδων κυκλοφορίας. Στο πρώτο τμήμα του κεφαλαίου αναλύεται η θεωρία που είναι απαραίτητη για την κατανόηση της μεθόδου που προτείνεται στη συνέχεια. Το Κεφάλαιο 3 περιλαμβάνει το σύστημα εντοπισμού και αναγνώρισης πινακίδων οδικής σήμανσης. Για την καλύτερη κατανόηση του προτεινόμενου αλγορίθμου, η πρώτη ενότητα του κεφαλαίου περιλαμβάνει το θεωρητικό υπόβαθρο. Στη συνέχεια περιγράφονται περιληπτικά κάποιες λύσεις που έχουν προταθεί για την επίλυση του εξεταζόμενου προβλήματος ενώ στο τέλος παρουσιάζονται η μέθοδος που προτείνεται μαζί με κάποια πειραματικά αποτελέσματα. Στο Κεφάλαιο 4 γίνεται μια σύντομη ανάλυση του δικτύου που υπάρχει στο εσωτερικό των αυτοκινήτων και πως μπορούμε να εξάγουμε πληροφορίες από αυτό με στόχο τη χρήση του από το σύστημα υπολογιστικής όρασης.

41 ΚΕΦΑΛΑΙΟ 2 ΑΝΑΓΝΩΡΙΣΗ ΛΩΡΙΔΩΝ ΚΥΚΛΟΦΟΡΙΑΣ 2.1 Εισαγωγή Αυτό το κεφάλαιο ασχολείται με την αναγνώριση των λωρίδων κυκλοφορίας μέσω μιας κάμερας. Στις ενότητες που ακολουθούν αρχικά γίνεται μια σύντομη ανάλυση της απαραίτητης θεωρίας ενώ στη συνέχεια περιγράφονται κάποιες εργασίες που έχουν δημοσιευθεί για την επίλυση αυτού του προβλήματος. Τέλος, αναλύεται ο αλγόριθμος που ακολουθήθηκε για την επίλυση του προβλήματος της αναγνώρισης λωρίδων μαζί με πειραματικά αποτελέσματα που επιβεβαιώνουν την ορθή λειτουργία του. 2.2 Χρήσιμη Θεωρία Χρωματικοί χώροι, Μέρος 1ο Ο όρος χρωματικός χώρος αναφέρεται στο μοντέλο που χρησιμοποιείται για να αναπαραστήσει τις πληροφορίες χρώματος με τη μορφή τιμών έντασης. Ο χρωματικός χώρος είναι γνωστός και με το όρο χρωματικό μοντέλο. Πρόκειται στην ουσία για τον συνδυασμό ενός συστήματος συντεταγμένων και ενός υποσυστήματος. Με αυτό το τρόπο, κάθε χρώμα αντιστοιχεί σε ένα σημείο στο σύστημα συντεταγμένων. Κάποια από τα πιο συνηθισμένο χρωματικά μοντέλα περιγράφονται στη συνέχεια. 21

42 22 Αναγνώριση λωρίδων κυκλοφορίας RGB Κάθε εικόνα αποτελείται από τρεις πίνακες και κάθε πίνακας αντιστοιχεί σε ένα από τα βασικά χρώματα, κόκκινο, πράσινο, μπλε (Σχήμα 2.1). Κάθε πίνακας έχει ίδιες διαστάσεις με την ανάλυση της εικόνας και οι τιμές του ξεκινούν από μηδέν και η μέγιστη τιμή εξαρτάται από την μέγιστη τιμή του βάθους χρώματος,bit depth, color depth. Στις περισσότερες εικόνες το βάθος χρώματος είναι 8-bit δηλαδή για κάθε ένα από τα βασικά χρώματα υπάρχουν 256 αποχρώσεις, άρα συνολικά μπορούν να αναπαρασταθούν χρώματα. Το μηδέν και στις τρεις συνιστώσες αντιστοιχεί στο μαύρο ενώ η μέγιστη τιμή και στις τρεις συνιστώσες αντιστοιχεί στο λευκό. Το RGB μοντέλο χρησιμοποιείται κυρίως στις οθόνες επειδή η τιμή μηδέν του μοντέλου και η απουσία τάσης στην οθόνη εκφράζει το μαύρο και στις δυο περιπτώσεις. Ωστόσο, ακόμη και αν προβάλουμε την ίδια εικόνα σε δυο οθόνες διαφορετικών κατασκευαστών τα χρώματα μπορεί να διαφέρουν σε κάποιο βαθμό. Το μοντέλο RGB μπορεί να παρομοιαστεί με έναν κύβο όπου κάθε άξονας αντιστοιχεί σε ένα από τα τρία βασικά χρώματα (Σχήμα 2.2). Σχήμα 2.1: Παράδειγμα των τριών συνιστωσών του μοντέλου RGB Σχήμα 2.2: RGB Cube

43 Χρήσιμη Θεωρία 23 CMYK Το χρωματικό μοντέλο CMY(Cyan, Magenta, Yellow) έχει τις ίδιες ιδιότητες με το RGB με τη μόνη διαφορά ότι το μηδέν και στις τρεις συνιστώσες αντιστοιχεί στο λευκό και όχι στο μαύρο. Αυτό το μοντέλο χρησιμοποιείται από τους εκτυπωτές όπου η επιφάνεια αποτύπωσης των χρωμάτων είναι λευκή όπως και η μηδενική τιμή του μοντέλου. Το σημαντικότερο μειονέκτημα του είναι ότι τα βασικά του χρώματα δεν είναι το ίδιο καθαρά με του RGB και αυτό έχει ως αποτέλεσμα να περιορίζεται ο αριθμός των διαθέσιμων χρωμάτων. Για την αντιμετώπιση αυτού του προβλήματος χρησιμοποιείται μια αναβαθμισμένη έκδοση του μοντέλου, στην οποία εκτός από τα βασικά χρώματα προστίθεται και το μαύρο, που δεν αναπαρίσταται ικανοποιητικά από το προϋπάρχον μοντέλο. Το νέο μοντέλο ονομάζεται CMYK, όπου το K αντιστοιχεί στο μαύρο (Σχήμα 2.3). Το νέο μοντέλο έχει καλύτερα χρώματα και είναι οικονομικότερο για τους εκτυπωτές αφού για το μαύρο δεν χρειάζονται πλέον και τα τρία χρώματα. Σχήμα 2.3: Παράδειγμα των τεσσάρων συνιστωσών του μοντέλου CMYK Grayscale Σε αυτό το χρωματικό μοντέλο, κάθε pixel έχει μια μόνο τιμή και όχι τρεις όπως στις προηγούμενες περιπτώσεις. Το μηδέν αντιστοιχεί στο μαύρο ενώ η μέγιστη τιμή στο λευκό (Σχήμα 2.4). Ο χώρος αυτός χρησιμοποιείται όταν θέλουμε να επεξεργαστούμε την εικόνα γιατί σε αντίθεση με τους προηγούμενους κάθε εικονοστοιχείο έχει μόνο μια τιμή. Για τη μετατροπή μια έγχρωμης εικόνας σε κλίμακα του γκρι πολλαπλασιάζουμε κάθε χρώμα με ένα συντελεστή. Ένας αρκετά συνηθισμένος τύπος για αυτή τη μετατροπή είναι ο παρακάτω: Y = R G B (2.1) Εντοπισμός ακμών Ο εντοπισμός ακμών είναι μια από τις σημαντικότερες περιοχές της επεξεργασίας εικόνας. Ωστόσο, παρόλο που έχει γίνει εκτενής έρευνα

44 24 Αναγνώριση λωρίδων κυκλοφορίας Σχήμα 2.4: Μετατροπή έγχρωμης εικόνας σε κλίμακα του γκρι σε αυτό το αντικείμενο, το πρόβλημα του εντοπισμού ακμών δεν έχει επιλυθεί πλήρως. Πολλές εφαρμογές υπολογιστικής όρασης όπως εντοπισμός και αναγνώριση αντικειμένων, εντοπισμός κίνησης, υπολογισμός βάθους από ζεύγος καμερών βασίζονται σε καλές ακμές και για αυτό το λόγο το στάδιο του εντοπισμού ακμών είναι τόσο σημαντικό. Οι αλγόριθμοι εντοπισμού ακμών εφαρμόζονται σε εικόνες στη κλίμακα του γκρι, εφόσον έχει προηγηθεί απομάκρυνση περιττών πληροφοριών και του θορύβου με τη χρήση κάποιου φίλτρου. Οι ακμές είναι περιοχές στην εικόνα όπου η φωτεινότητα αλλάζει απότομα ή εμφανίζει ασυνέχειες. Οι ακμές σε μια εικόνα μπορούν να αντιστοιχούν σε ασυνέχειες στο βάθος, ασυνέχειες στον προσανατολισμό της επιφάνειας, αλλαγές στις ιδιότητες του υλικού ή στο φωτισμό της πραγματικής εικόνας. Μια ακμή στην ιδανική περίπτωση μπορεί να μοντελοποιηθεί με μια βηματική συνάρτηση. Σε μια πραγματική εικόνα όμως, οι αλλαγές στη φωτεινότητα δεν είναι απότομες αλλά αλλάζουν σταδιακά. Γι αυτό το λόγο μπορούν να μοντελοποιηθούν με μια συνάρτηση ράμπας. Στο παρακάτω σχήμα φαίνονται όλοι οι πιθανοί τύποι ακμών (Σχήμα 2.5). Οι περισσότεροι αλγόριθμοι εντοπισμού ακμών αποτελούνται από τρία στάδια. Στο πρώτο στάδιο εφαρμόζεται ένα φίλτρο με σκοπό την απομάκρυνση του θορύβου. Ο θόρυβος μπορεί να οφείλεται σε θόρυβο που εισάγεται από την κάμερα όπως στη δειγματοληψία, στη κβάντιση ή στην εστίαση ενώ μπορεί να οφείλεται και σε ελαττώματα της επιφάνειας του αντικειμένου. Στο δεύτερο στάδιο γίνεται η παραγώγιση και εμφανίζονται τα σημεία ασυνέχειας. Τέλος, στο στάδιο του εντοπισμού, χρησιμοποιώντας κατάλληλα κατώφλια επιλέγονται τα πιο σημαντικά σημεία ασυνέχειας. Στάδιο 1:Εφαρμογή φίλτρου Το πιο απλό φίλτρο που μπορεί να χρησιμοποιηθεί είναι το φίλτρο μέσης τιμής. Σε αυτή τη περίπτωση, η τιμή κάθε pixel αντικαθίσταται

45 Χρήσιμη Θεωρία 25 Σχήμα 2.5: Τύποι ακμών από τη μέση τιμή των γειτονικών του pixel. Αν θεωρήσουμε ότι f είναι η εικόνα που θέλουμε να εφαρμόσουμε το φίλτρο και g ένα 3x3 φίλτρο, τότε προκύπτει η φιλτραρισμένη εικόνα h. h(x, y) = f(x, y) g(x, y) = i=1 j=1 i= 1 j= 1 f(x + i, y + i)g(i, j) (2.2) Στη περίπτωση του φίλτρου μέσης τιμής, κάθε στοιχείο του πίνακα g είναι 1/9. Στην παρακάτω εικόνα (Σχήμα 2.6) φαίνεται το αποτέλεσμα της εφαρμογή φίλτρου median φίλτρου διαφορετικών διαστάσεων στην αρχική εικόνα. Σχήμα 2.6: Φίλτρο μέσης τιμής Το πιο συχνά εφαρμοζόμενο φίλτρο βασίζεται στη κατανομή Gauss. Το βάρος κάθε pixel σε ένα Gaussian φίλτρο είναι ανάλογο της απόστασης του pixel από το κέντρο. Ο πίνακας g υπολογίζεται με βάση την παρακάτω συνάρτηση.

46 26 Αναγνώριση λωρίδων κυκλοφορίας g(x, y) = e (x2 +y 2 ) 2σ 2, (2.3) η σταθερά σ είναι η τυπική απόκλιση της κατανομής. Στην εικόνα που ακολουθεί φαίνεται το αποτέλεσμα της εφαρμογής ενός φίλτρου Gauss για διαφορετικές τιμές της τυπικής απόκλισης (Σχήμα 2.7). Σχήμα 2.7: Φίλτρο Gauss Ένα διαφορετικό είδος φίλτρου, είναι η μέθοδος Histogram Equalization που χρησιμοποιεί το ιστόγραμμα της εικόνας για να αυξήσει την αντίθεσή της. Αυτή η μέθοδος χρησιμοποιείται κυρίως όταν τα pixel της εικόνας έχουν κοντινές τιμές φωτεινότητας με στόχο τη καλύτερη κατανομή τους στο ιστόγραμμα. Ωστόσο, έχει το μειονέκτημα ότι μπορεί να ενισχύσει το θόρυβο του περιβάλλοντος μειώνοντας την ισχύ του σήματος. Μπορεί να χρησιμοποιηθεί σε εφαρμογές που επεξεργάζονται ακτινογραφίες, θερμικές ή δορυφορικές εικόνες. Για την εφαρμογή της μεθόδου θεωρούμε ότι έχουμε μια εικόνα σε κλίμακα του γκρι x και n i ο αριθμός εμφανίσεων της φωτεινότητας i. Τότε, η πιθανότητα εμφάνισης της φωτεινότητας i δίνεται από τον τύπο: p x (i) = p(x = i) = n i, 0 i < L, (2.4) n L είναι η μέγιστη δυνατή τιμή της φωτεινότητας, συνήθως 255, n ο συνολικός αριθμός pixel στην εικόνα. Στην συνέχεια ορίζουμε την αθροιστική συνάρτηση κατανομής: cdf x (i) = i p x (j) (2.5) j=0 και την κανονικοποιούμε στο διάστημα [0, 1]. Η καινούρια εικόνα προκύπτει από την ανάθεση στη φωτεινότητα κάθε pixel την καινούρια τιμή με βάση την αθροιστική συνάρτηση κατανομής, newimage(x, y) = cdf x (oldimage(x, y)) (2.6)

47 Χρήσιμη Θεωρία 27 Στις παρακάτω εικόνες φαίνεται το ιστόγραμμα πριν και μετά την εφαρμογή της μεθόδου histogram equalization(heq) (Σχήμα 2.8) στην εικόνα (Σχήμα 2.9). Σχήμα 2.8: Κατανομή φωτεινότητας πριν και μετά την εφαρμογή της μεθόδου heq Σχήμα 2.9: Κατανομή φωτεινότητας πριν και μετά την εφαρμογή της μεθόδου heq Στάδιο 2:Παραγώγιση Η παράγωγος ενός σήματος συνεχούς χρόνου υπολογίζεται από τον τύπο: F = df dx = lim f (x) F (x x) x 0 x (2.7)

48 28 Αναγνώριση λωρίδων κυκλοφορίας Όμως η εικόνα είναι ένα σήμα συνεχούς χρόνου οπότε το Δx θα είναι 1 και ο παραπάνω τύπος απλοποιείται στο τύπο: F = df = f(x) F (x 1), backward difference (2.8) dx Εναλλακτικά μπορούν να χρησιμοποιηθούν και οι παρακάτω τύποι: F = df = f(x) F (x + 1), forward difference (2.9) dx F = df = f(x + 1) F (x 1), central difference (2.10) dx Μια εικόνα είναι στην ουσία μια συνάρτηση δυο μεταβλητών x, y άρα μπορούμε να χρησιμοποιήσουμε τον τελεστή ανάδελτα ( ) για να περιγράψουμε την παράγωγο της εικόνας. Έστω f η δοσμένη εικόνα, τότε η παράγωγος της εικόνας ως προς τις δυο συντεταγμένες, το μέτρο και η κατεύθυνσή της δίνονται από τους τύπους: F [ ] F (x,y) x F (x,y) = y F (x, y) = [ ] fx f y, βάθμωση, παράγωγος της εικόνας (2.11) (f x ) 2 + (f y ) 2, μέτρο της παραγώγου (2.12) ϑ = tan 1 F x f y, κατεύθυνση της παραγώγου (2.13) Χρησιμοποιώντας τη κατεύθυνση της παραγώγου υπολογίζεται το κανονικό διάνυσμα της ακμής, κάθετο στην ακμή και με βάση το μέτρο διακρίνεται πόσο ισχυρή είναι η ακμή. Για τον υπολογισμό της παραγώγου μια εικόνας οι εξισώσεις διαφορών αντικαθίστανται συνήθως με πίνακες. Η συνέλιξη αυτών των πινάκων με την εικόνα δίνει την παράγωγο της. Οι πιο γνωστοί πίνακες που χρησιμοποιούνται για τον υπολογισμό της παραγώγου μια εικόνας περιγράφονται στις επόμενες παραγράφους. Τeλεστής Robert s Η μήτρα Robert s είναι μια από τις πρώτες μεθόδους που χρησιμοποιήθηκαν για την αναγνώριση ακμών και προτάθηκε από τον Lawrence Roberts το Η βασική ιδέα πίσω από τη μήτρα Robert s για την προσέγγιση της παραγώγου μια εικόνας είναι το άθροισμα των διαφορών ανάμεσα σε δυο διαγώνια γειτονικά pixel. Οι μήτρες Robert s για τον υπολογισμό της παραγώγου ως προς τη x και y κατεύθυνση είναι : [ ] [ ] (2.14) Παρά την απλότητα του μετασχηματισμού τα αποτελέσματα είναι αρκετά καλά όπως φαίνεται και στο σχήμα 2.10.

49 Χρήσιμη Θεωρία 29 Σχήμα 2.10: Αναγνώριση ακμών με τον τελεστή Robert s Τελεστής Prewitt Όπως και η μήτρα Robert s χρησιμοποιείται για τον προσεγγιστικό υπολογισμό της παραγώγου μιας εικόνας. Χρησιμοποιώντας τις μήτρες Prewitt μπορεί να υπολογιστεί το μέτρο και η κατεύθυνση της παραγώγου για κάθε pixel. Η παράγωγος προκύπτει από τη συνέλιξη της εικόνας με ένα φίλτρο στην οριζόντια κατεύθυνση και άλλο ένα στην κάθετη. Σε αντίθεση με τις μήτρες Robert s, οι μήτρες Prewitt είναι 3x , οριζόντια κατεύθυνση (2.15) , κάθετη κατεύθυνση (2.16) Η χρήση των πινάκων του Prewitt υπολογίζει περισσότερες ακμές σε σχέση με τη μέθοδο του Roberts, χωρίς να αυξάνεται πάρα πολύ η πολυπλοκότητα (Σχήμα 2.11). Σχήμα 2.11: Αναγνώριση ακμών με τον τελεστή Prewitt Τελεστής Sobel Οι μήτρες Sobel παρουσιάστηκαν από τους Irwin Sobel και Gary Feldman σε ένα συνέδριο το Πρόκειται για δύο 3x3 πίνακες που χρησιμοποιούνται για τον προσεγγιστικό υπολογισμό της παραγώγου μιας εικόνας, όπως φαίνεται και στο σχήμα , οριζόντια κατεύθυνση (2.17) 1 0 1

50 30 Αναγνώριση λωρίδων κυκλοφορίας , κάθετη κατεύθυνση (2.18) Σχήμα 2.12: Αναγνώριση ακμών με τον τελεστή Sobel Τελεστής Laplacian Οι μήτρες Laplacian χρησιμοποιούνται, όπως και οι προηγούμενες, με στόχο τον εντοπισμό των ακμών σε μια εικόνα (Σχήμα 2.13). Η βασική διαφορά τους όμως σε σχέση με τις προηγούμενες είναι ότι υπολογίζουν τη παράγωγο δεύτερης τάξης και όχι πρώτης. Μια άλλη διαφορά είναι ότι δεν εντοπίζει ακμές προς οποιαδήποτε κατεύθυνση, αλλά είτε ακμές που απομακρύνονται από το κέντρο είτε ακμές που πλησιάζουν το κέντρο. Για να το πετύχει αυτό χρησιμοποιεί δύο πίνακες, , θετικός τελεστής, εντοπίζει τις ακμές που απομακρύνονταιαπό το κέντρο (2.19) , αρνητικός τελεστής, εντοπίζει τις ακμές που πλησιάζουντο κέντρο (2.20) Σχήμα 2.13: Αναγνώριση ακμών με το τελεστή Laplacian

51 Χρήσιμη Θεωρία 31 Στάδιο 3:Εντοπισμός ακμών Κανινικοποιημένο μέτρο της παραγώγου Το μέτρο της παραγώγου στο pixel με συντεταγμένες (x, y) δίνεται από τον τύπο: M(x, y) = Fx 2 (x, y) + Fy 2 (x, y. Το κανονικοποιημένο μέτρο της παραγώγου σε κλίμακα από το 0 έως το 100 ορίζεται: N(x, y) = M(x, y) max i=1,...,n,j=1,...,n M(i, j) (2.21) Για να εντοπιστούν οι ακμές χρησιμοποιείται ένα κατώφλι Τ στη συνάρτηση Ν ώστε να διαχωρίσει τα pixel σε ακμές και μη-ακμές. X(m, n) = { 1, N(m, n) > T 0, αλλιώς (2.22) Non-maxima suppression Στη προηγούμενη περίπτωση χρησιμοποιήθηκε μόνο το μέτρο της παραγώγου για τη διάκριση ενός σημείου σε ακμή ή όχι. Η κατεύθυνση της παραγώγου είναι πάντα κάθετη στην ακμή και η φωτεινότητα αλλάζει περισσότερο προς αυτή τη κατεύθυνση. Με βάση αυτή τη παραδοχή, αν η φωτεινότητα ενός σημείου δεν αλλάζει αρκετά προς την κατεύθυνση της παραγώγου, τότε πιθανόν αυτό το σημείο να μην ανήκει στην ακμή. Μαθηματικά αυτό μεταφράζεται ως εξής: M(x, y) = { M(x, y), 0, αλλιώς M(x, y) > M(x, y )καιm(x, y) > M(x, y ) (2.23) τα M(x, y ) και M(x, y ) είναι το μέτρο της παραγώγου αριστερά και δεξιά από την ακμή στη διεύθυνση της παραγώγου. Πλέον, τα σημεία που δεν ανήκουν στην ακμή δεν θα διαγραφούν. Στη συνέχεια χρησιμοποιούμε τον τύπο για την κανονικοποίηση του μέτρου της παραγώγου για να δημιουργήσουμε τον χάρτη ακμών Ε. Τέλος, είναι πολύ σημαντικό να υπάρχουν συγκεκριμένες τιμές για τη κατεύθυνση της παραγώγου. Για παράδειγμα μπορούμε να χωρίσουμε τον μοναδιαίο κύκλο σε 8 τμήματα δημιουργώντας πιθανές γωνίες για την κατεύθυνση της παραγώγου τις 0,45,90,,270,315, (Σχήμα 2.14). Τελεστής Laplacian of Gaussian Ο τελεστής Laplacian of Gaussian προτάθηκε από τους Marr και Hildreth [12] και χρησιμοποιείται ευρέως για την αναγνώριση ακμών. Ο αλγόριθμος ξεκινάει με την εφαρμογή ενός Gaussian φίλτρου για την απομάκρυνση του θορύβου. Στη συνέχεια υπολογίζεται η λαπλασιανή(laplacian)

52 32 Αναγνώριση λωρίδων κυκλοφορίας Σχήμα 2.14: Non-maxima suppression της εικόνας και με την εύρεση των μηδενισμών της εντοπίζονται οι ακμές. Η αναλυτική έκφραση σε μια και δυο διαστάσεις είναι η ακόλουθη: LoG(x, y) 2 g(x, y) = 2 g x g y 2 = 1 x 2 g xx (x) = (1 x2 σ 2 )e 2σ 2 (2.24) πσ 2 (1 x2 + y 2 2σ 2 )e x 2 +y 2 2σ 2 (2.25) Για τον εντοπισμό των ακμών στην εικόνα, αρχικά γίνεται η συνέλιξη της εικόνας με τη LoG. Στην νέα εικόνα που θα προκύψει μετά τη συνέλιξη εντοπίζονται τα σημεία που αλλάζει πρόσημο(zero crossings) η εικόνα και με βάση αυτά εντοπίζονται και οι ακμές. Υπάρχουν τέσσερις τύποι zero crossings στην εικόνα +,-, +,0,-, -,+, -,0,+. Για την επιλογή ισχυρών zero crossing μπορεί να χρησιμοποιηθεί ένα κατώφλι στη κλίση του zero crossing. Για παράδειγμα, έστω ότι έχουμε την πρώτη περίπτωση zero crossing, δηλαδή +,- και πιο συγκεκριμένα α,-β η κλίση υπολογίζεται από τον τύπο α+β. Η παραπάνω διαδικασία μπορεί να μοντελοποιηθεί σε τρία βήματα: 1. Υπολογισμός της μάσκας LoG για ένα δεδομένο σ χρησιμοποιώντας τη δεύτερη εξίσωση της ενότητας, 2. Συνέλιξη της μάσκας με την εικόνα, 3. Εντοπισμός Zero crossing, (αʹ) Σάρωση κάθε σειράς και καταγραφή ως ακμή το σημείο του zero crossing, (βʹ) Επανάληψη του παραπάνω βήματος για κάθε στήλη Ένα δισδιάστατο φίλτρο μπορεί να διασπαστεί σε δυο μονοδιάστατα και να εφαρμοστεί στην εικόνα σε δυο βήματα, πρώτα προς τη μια κατεύθυνση και μετά ως προς την άλλη. Αυτό μειώνει σημαντικά τον αριθμό των πράξεων, αφού για μια εικόνα με m pixel το πλήθος των πράξεων από m 2 γίνεται 2m. Ωστόσο, αυτή η ιδιότητα δεν μπορεί να εφαρμοστεί στο LoG. Αλλά η συνέλιξη της εικόνας με το δισδιάστατο μπορεί να

53 Χρήσιμη Θεωρία 33 διασπαστεί σε τέσσερις συνελίξεις της εικόνας με ένα μονοδιάστατο LoG. Ακόμη και σε αυτή τη περίπτωση, το πλήθος των πολλαπλασιασμών είναι 4m και όχι m 2 που για μεγάλες εικόνες είναι αρκετά μικρότερος. LoG(x, y) = g(y) g(x) + g(y) g(x) (2.26) y2 x2 Ο νέος αλγόριθμος αποτελείται από τα εξής βήματα: 1. Συνέλιξη της εικόνας με τη δεύτερη παράγωγο του φίλτρου g yy (y) κατά μήκος κάθε στήλης, 2. Συνέλιξη της εικόνας που προέκυψε από το βήμα 1 με το φίλτροg(x) κατά μήκος κάθε γραμμής και έστω I x η εικόνα που προκύπτει, 3. Συνέλιξη της αρχικής εικόνας με το φίλτρο g(y) κατά μήκος κάθε στήλης, 4. Συνέλιξη της εικόνας που προέκυψε από το βήμα 3 με τη δεύτερη παράγωγο του φίλτρου g xx (x) κατά μήκος κάθε γραμμής και έστω I y η εικόνα που προκύπτει 5. Προσθέτουμε τις εικόνες I x και I y. Σχήμα 2.15: Laplacian of Gaussian Αλγόριθμος εντοπισμού ακμών Canny Ο αλγόριθμος εντοπισμού ακμών Canny [13] προτάθηκε από τον John F. Canny το 1986 και είναι ένας από τους πιο γνωστούς αλγορίθμους σε αυτό το τομέα. Ο Canny καθόρισε τρία κριτήρια που πρέπει να πληρεί η έξοδος του αλγορίθμου του, 1. Καλός εντοπισμός. Η πιθανότητα μη αναγνώρισης μιας ακμής θα πρέπει να είναι μικρή, όπως επίσης και η πιθανότητα εσφαλμένης αναγνώρισης της. 2. Σωστή τοποθεσία ακμής. Η θέση της ακμής που εντοπίστηκε θα πρέπει να βρίσκεται όσο το δυνατόν πιο κοντά στην θέση της πραγματικής ακμής. 3. Κάθε ακμή θα πρέπει να εντοπίζεται μόνο μια φορά. Όταν μια ακμή

54 34 Αναγνώριση λωρίδων κυκλοφορίας εντοπιστεί περισσότερες φορές, τότε μόνο μια θα πρέπει να χαρακτηριστεί ως σωστή ενώ όλες οι υπόλοιπες ως λάθος. Η συνάρτηση που ικανοποιεί τα παραπάνω τρία κριτήρια αποτελείται από το άθροισμα τεσσάρων εκθετικών όρων, αλλά μπορεί να προσεγγιστεί με τη παράγωγο της Gaussian συνάρτησης. Ο αλγόριθμος εντοπισμού ακμών Canny μπορεί να υλοποιηθεί ακολουθώντας τα παρακάτω τρία βήματα: 1. Υπολογισμός της παραγώγου της εικόνας f(x, y) που προκύπτει από τη συνέλιξη της εικόνας με τη πρώτη παράγωγο του Gaussian στις x και y διευθύνσεις. f x (x, y) = f(x, y) ( x (x 2 +y 2 )e 2σ σ2 2 (2.27) f y (x, y) = f(x, y) ( y (x 2 +y 2 ) )e 2σ σ2 2 (2.28) 2. Εφαρμογή non-maxima suppression στο μέτρο της παραγώγου 3. Εφαρμογή κατωφλιού υστέρησης στο μέτρο της παραγώγου που προέκυψε από το παραπάνω βήμα. Σάρωση της εικόνας από τα αριστερά προς τα δεξιά και από πάνω προς τα κάτω. Αν το μέτρο της παραγώγου σε ένα pixel είναι μεγαλύτερο από το πάνω κατώφλι τότε αυτό το pixel ανήκει σε μια ακμή. Τότε επαναληπτικά ελέγχονται όλοι οι γείτονές του (4 ή 8) και αν το μέτρο της παραγώγου κάποιου γείτονα είναι υψηλότερο από το χαμηλό κατώφλι τότε ανήκει στην ακμή. Μέθοδος Otsu Η επιλογή του κατάλληλου κατωφλίου στον αλγόριθμο Canny παίζει πολύ σημαντικό ρόλο, αφού με βάση αυτό επιλέγονται οι ακμές που θα παραμείνουν και αυτές που θα διαγραφούν. Η τιμή του κατωφλίου μπορεί να προκύψει εμπειρικά μετά δοκιμές ή χρησιμοποιώντας έναν αλγόριθμο εντοπισμού του κατάλληλου κατωφλίου. Σύμφωνα με τη μέθοδο του Otsu [14] μια εικόνα αποτελείται από το προσκήνιο και το παρασκήνιο. Για τη διάκριση ενός pixel σε προσκήνιο και παρασκήνιο υπολογίζεται ένα κατώφλι ώστε η διακύμανση των pixel δεξιά και αριστερά να είναι ελάχιστη. Η βασική χρήση της είναι για τη μετατροπή μιας εικόνας από κλίμακα του γκρι σε δυαδική, δηλαδή μια εικόνα μόνο με μηδέν και ένα. Ωστόσο, μπορούμε να χρησιμοποιήσουμε το κατώφλι που προέκυψε από αυτή τη μέθοδο ως το κατώφλι του αλγορίθμου Canny. Στη μέθοδο Otsu γίνεται μια αναζήτηση για την εύρεση του κατωφλίου που ελαχιστοποιεί τη διακύμανση της φωτεινότητας μέσα στην κατηγορία, προσκήνιο ή παρασκήνιο. Το άθροισμα των διακυμάνσεων ορίζεται ως : σ w 2 (t) = w 0 (t) σ 0 2 (t) + w 1 (t) σ 1 2 (t) (2.29) Τα βάρη w 0 και w 1 είναι οι πιθανότητες εμφάνισης μιας από τις δύο κατηγορίες διαχωρισμένες από το κατώφλι t ενώ σ 0 2 (t) και σ 1 2 (t)

55 Χρήσιμη Θεωρία 35 είναι οι διακυμάνσεις κάθε κατηγορίας. Οι πιθανότητες w 0 (t) και w 1 (t) υπολογίζονται χρησιμοποιώντας το ιστόγραμμα: t 1 w 0 (t) = p(i) (2.30) i=0 L 1 w 1 (t) = p(i), (2.31) όπου p(i) ο αριθμός pixel με φωτεινότητα i και L ο αριθμός κατηγοριών του ιστογράμματος. Ο Otsu απέδειξε ότι η ελαχιστοποίηση της διακύμανσης εντός της κατηγορίας είναι ίδια με τη μεγιστοποίησή της διακύμανσης ανάμεσα στις δυο κατηγορίες: i=t σ b 2 (t) = w 0 (µ 0 µ T ) 2 +w 1 (µ 1 µ T ) 2 = w 0 (t) w 1 (t) [µ 0 (t) µ 1 (t)] 2 (2.32) Η μέση τιμή για κάθε τάξη υπολογίζεται με βάση τους τύπους: µ 0 = µ 1 = t 1 i=0 i p(i) w 0 (t) L 1 i=t i p(i) w 1 (t) (2.33) (2.34) t 1 µ T = i p(i) (2.35) i=0 (2.36) Ο αλγόριθμος υπολογισμού που χωρίζει με βέλτιστο τρόπο μια εικόνα σε δύο κατηγορίες είναι ο παρακάτω: 1. Υπολογισμός του ιστογράμματος και της πιθανότητας εμφάνισης κάθε κατηγορίας. 2. Αρχικοποίηση των w i (0) και µ i (0) 3. Επανάληψη για όλες τις δυνατές τιμές κατωφλίου (αʹ) Ενημέρωση των w i και µ i (βʹ) Υπολογισμός του σ b 2 (t) 4. Το ζητούμενο κατώφλι αντιστοιχεί στο μέγιστο σ b 2 (t) Στο παρακάτω σχήμα (Σχήμα 2.16) φαίνεται στα αριστερά η αρχική εικόνα και στα δεξιά η δυαδική εικόνα που προέκυψε μετά την εφαρμογή της μεθόδου otsu. Στο παρακάτω σχήμα (Σχήμα 2.17) εμφανίζονται οι ακμές που υπολογίστηκαν για την πρώτη εικόνα με βάση τον αλγόριθμο Canny για διαφορετικά κατώφλια.

56 36 Αναγνώριση λωρίδων κυκλοφορίας Σχήμα 2.16: Μετατροπή εικόνας από κλίμακα του γκρι σε δυαδική με τη μέθοδο otsu Σχήμα 2.17: Παράδειγμα εντοπισμού ακμών με τη μέθοδο Canny Μετασχηματισμός Hough Οι Richard O. Duda και Peter E.Hart [15] πρότειναν ένα τρόπο για να χρησιμοποιηθεί ο μετασχηματισμός Hough για να αναπαραστήσει καμπύλες στο επίπεδο, όπως ευθείες, κύκλους ή παραβολές. Εφαρμόζεται σε ένα σύστημα με λιγότερες εξισώσεις-περιορισμούς από αγνώστους. Κάθε περιορισμός ψηφίζει μια λύση. Η λύση με τις περισσότερες ψήφους επιλέγεται στο τέλος. Για τον εντοπισμό γραμμών σε μια εικόνα χρησιμοποιείται ο μετασχηματισμός Hough για την αντιστοίχιση των ακμών σε ευθείες. Η εξίσωση της ευθείας δίνεται από τον τύπο : y = m x + c, (2.37) όπου m είναι η κλίση και c το σημείο τομής της ευθείας με τον άξονα y. Επιλύοντας ως προς τη σταθερά c η παραπάνω εξίσωση γίνεται : c = mx + y (2.38) Η εξίσωση αυτή δίνει μια ευθεία στο χώρο c, m με x και y τη κλίση και το σημείο τομής της ευθείας με τον άξονα c αντίστοιχα. Με αυτό τον τρόπο ένα σημείο στο xy επίπεδο μετατρέπεται σε μια ευθεία στο mc επίπεδο (Σχήμα 2.18). Έστω ότι έχουμε n σημεία στο xy επίπεδο. Με

57 Παρόμοιες εργασίες 37 βάση την παραπάνω εξίσωση μετατρέπονται σε n ευθείες στο mc επίπεδο. Κάθε ευθεία μπορεί να τέμνεται με οποιαδήποτε άλλη ευθεία μόνο σε ένα σημείο. Το σημείο τομής των ευθειών στο mc επίπεδο αντιστοιχεί στη κλίση και το σημείο τομής με τον y άξονα στο xy επίπεδο. Με τη βοήθεια ενός πίνακα, για κάθε σημείο του mc επιπέδου αποθηκεύεται ο αριθμός των ευθειών που τμήθηκαν σε αυτό το σημείο. Χρησιμοποιώντας αυτόν τον πίνακα επιλέγονται τα k μέγιστα σημεία και μετατρέπονται σε ευθείες στο χώρο xy. Σχήμα 2.18: Μετασχηματισμός ευθείας από το χώρο xy στο χώρο mc Το βασικό μειονέκτημα αυτού του αλγορίθμου είναι ότι η εξίσωση της ευθείας που χρησιμοποιείται δεν μπορεί να αναπαραστήσει ευθείες παράλληλες στον άξονα y γιατί η κλίση γίνεται άπειρη. Για την επίλυση αυτού του προβλήματος η εξίσωση της ευθείας αντικαθίσταται από τη νέα εξίσωση p = xcosθ + ysinθ, (2.39) θ είναι η γωνία ανάμεσα στην ευθεία p και τον άξονα x (Σχήμα 2.19). Η ευθεία p ξεκινά από την αρχή των αξόνων και είναι κάθετη στην ευθεία που αναγνωρίζει. Χρησιμοποιώντας τη νέα εξίσωση τα p, θ έχουν πεπερασμένες τιμές. Επιπλέον, η γωνία θ δεν χρειάζεται να υπολογιστεί εξαρχής αλλά μπορεί να χρησιμοποιηθεί η γωνία της βάθμωσης που υπολογίστηκε στο προηγούμενο στάδιο. Η διαδικασία επιλογής των p ευθειών είναι όμοια με πριν, με την μόνη διαφορά ότι ο πίνακας mc γίνεται pθ. Για την επιλογή των ευθειών κρατάμε τα n σημεία με τις περισσότερες ψήφους (Σχήμα 2.20). 2.3 Παρόμοιες εργασίες Η αναγνώριση λωρίδων είναι ένα από τα πρώτα αντικείμενα που μελετήθηκαν σχετικά με την αυτόνομη οδήγηση. Γι αυτό το λόγο έχουν δημοσιευτεί αρκετές εργασίες που προτείνουν μεθόδους ώστε να γίνεται γρηγορότερα και αποδοτικότερα η αναγνώριση των διαγραμμίσεων στους δρόμους. H διαδικασία αναγνώρισης λωρίδων μπορεί να χωριστεί

58 38 Αναγνώριση λωρίδων κυκλοφορίας Σχήμα 2.19: Χρήση πολικών συντεταγμένων για την αναπαράσταση ευθείας Σχήμα 2.20: Εντοπισμός ευθείας με τον αλγόριθμο Hough σε 3 κατηγορίες, region-based, feature-based και model-based. Στη πρώτη κατηγορία μεθόδων, δηλαδή τις μεθόδους region-based, το πρόβλημα της αναγνώρισης λωρίδων θεωρείται ως ένα πρόβλημα κατηγοριοποίησης. Το πρόβλημα αυτό αποτελείται από το τμήμα εξαγωγής παραμέτρων, απόσυσχέτιση και μείωση των παραμέτρων, ομαδοποίηση και διαχωρισμός. Σε αυτή τη μέθοδο μπορεί να χρησιμοποιηθεί το χρώμα ή συνδυασμός χρώματος και υφής για το διαχωρισμό σε εικόνες δρόμου ή μη-δρόμου. Στη δεύτερη κατηγορία, αρχικά εξάγονται κάποια χαρακτηριστικά, όπως ακμές και στη συνέχεια αυτά τα χαρακτηριστικά ομαδοποιούνται με βάση κάποιους κανόνες δημιουργώντας κάποιες δομές. Η τρίτη και τελευταία κατηγορία είναι και αυτή που χρησιμοποιείται πιο συχνά. Χρησιμοποιεί γεωμετρικά μοντέλα για τον χαρακτηρισμό μιας γραμμής. Αυτή η προσέγγιση έχει ως στόχο να ταυτοποιήσει μια εικόνα με ένα υποθετικό μοντέλο δρόμου. Το απλούστερο μοντέλο δρόμου είναι η ευθεία γραμμή. Ένα πιο σύνθετο μοντέλο περιγραφής γραμμών είναι το B-spline το οποίο επιτρέπει τη περιγραφή καμπυλών. Ο Li Sha Sha [16] προτείνει μια μέθοδο για αναγνώριση λωρίδων

59 Παρόμοιες εργασίες 39 σε δρόμους ταχείας κυκλοφορίας αλλά και σε αστικά κέντρα. Η εικόνα υπόκειται σε ένα στάδιο προεπεξεργασίας για την εξάλειψη του θορύβου. Αρχικά μετατρέπεται σε κλίμακα του γκρι για την αύξηση της δυναμικής περιοχής και της αντίθεσης στην εικόνα. Στη πλειοψηφία των γκρι εικόνων, οι τιμές βρίσκονται στις χαμηλότερες περιοχές, οπότε ο συγγραφέας χρησιμοποιεί τη μέθοδο Histogram equalization για να αυξήσει την αντίθεση στην εικόνα και να τονιστούν λίγο περισσότερο οι λεπτομέρειες. Στη συνέχεια εφαρμόζεται ένα median φίλτρο για την απομάκρυνση του θορύβου. Οι λωρίδες κυκλοφορίας είναι λευκές γραμμές, γι αυτό το λόγο χρησιμοποιεί ένα κατώφλι ώστε τα pixel με τιμή χαμηλότερη από το κατώφλι να μηδενίζονται. Με αυτό το βήμα μειώνεται σημαντικά ο χρόνος επεξεργασίας. Για την αναγνώριση των ακμών χρησιμοποιεί τον αλγόριθμο Canny. Ο Takialddin Al Smadi [17] προτείνει ένα σύστημα αναγνώρισης που ειδοποιεί τον οδηγό όταν το όχημά του πλησιάζει μια από τις δυο λωρίδες. Πιο συγκεκριμένα στο σύστημα που ανέπτυξε ακούγεται ένας ήχος όταν το αυτοκίνητο πλησιάσει πιο κοντά από 20 εκατοστά από τη λωρίδα και αυτός ο ήχος επαναλαμβάνεται ανά δυο δευτερόλεπτα μέχρι να διορθωθεί η πορία του αυτοκινήτου. Η μεθοδολογία που ακολούθησε μοιάζει αρκετά με τη παραπάνω, αφού ξεκινάει μετατρέποντας την εικόνα σε κλίμακα του γκρι και στη συνέχεια κόβει και κρατάει το 1/3 του frame που περιμένει να εμφανιστούν οι λωρίδες. Η βασικά διαφορά αφορά το μετασχηματισμό Hough ο οποίος έχει τροποποιηθεί ώστε να είναι πιο γρήγορος και καταλληλότερος για εφαρμογές πραγματικού χρόνου. Τέλος, χρησιμοποιώντας τη γωνία θ του χώρου των παραμέτρων του μετασχηματισμού Hough μπορεί να προβλέψει αν το αυτοκίνητο θα πλησιάζει πολύ τα όρια των λωρίδων και αν για 10 συνεχόμενα frame περάσει ένα κατώφλι ηχεί ένα προειδοποιητικό μήνυμα. Οι Xiaodong Miao, Shunming Li, Huan Shen [9] προτείνουν ένα σύστημα αναγνώρισης λωρίδων σε πραγματικό χρόνο. Ο αλγόριθμος που προτείνουν αποτελείται από 5 τμήματα. Αρχικά, γίνεται εντοπισμός των ακμών χρησιμοποιώντας τον αλγόριθμο Canny σε μια γκρι εικόνα. Στη συνέχεια διαφοροποιείται από τις δυο παραπάνω εργασίες. Για να απομακρύνουν το θόρυβο χρησιμοποιούν μάσκες 3x3 με 3 στοιχεία ανά μάσκα σε διαφορετικές θέσεις (Σχήμα 2.21). Για κάθε μια από τις μάσκες γίνεται η συνέλιξή της με μια περιοχή στην εικόνα και υπολογίζεται η ενέργειά της. Αν περισσότερες ενέργειες έχουν ίδια τιμή, τότε υπάρχει μια προτεραιότητα ανάμεσα στις μάσκες. Με βάση τις ενέργειες η 3x3 περιοχή της εικόνας χωρίζεται σε αριστερή και δεξιά γραμμή ή σε θόρυβο. Το τρίτο βήμα είναι η αναζήτηση των αριστερών και δεξιών λωρίδων. Ο αλγόριθμος χρησιμοποιεί παράθυρα 3x3 για να υπολογίσει τη κατεύθυνση των pixel, η οποία είναι διαφορετική για τις αριστερές και τις δεξιές λωρίδες (Σχήμα 2.22). Η αναζήτηση αυτή γίνεται μια φορά για την αριστερή λωρίδα και άλλη μια φορά για τη δεξιά. Στη συνέχεια ο αλγόριθμος προσπαθεί να συνδέσει τα διάφορα τμήματα της γραμμής που υπολογίσαμε στο προη-

60 40 Αναγνώριση λωρίδων κυκλοφορίας γούμενο βήμα χρησιμοποιώντας τη κατεύθυνση ανάμεσα σε δυο διαδοχικές ακμές. Τέλος, με τον αλγόριθμο k-means οι ακμές που έμειναν χωρίζονται σε αριστερές, δεξιές ή θόρυβο. Σχήμα 2.21: Φίλτρα ευθειών που χρησιμοποιήθηκαν στο [9] Σχήμα 2.22: Κατηγορίες ευθειών στο [9] Οι F. Samadzadegan, A. Sarafraz a, M. Tabibi [18] προτείνουν μια μέθοδο για αναγνώριση λωρίδων σε ακολουθίες εικόνων από μια κάμερα που βρίσκεται στο παρμπρίζ του αυτοκινήτου. Αρχικά η εικόνα μετατρέπεται σε κλίμακα του γκρι και στη συνέχεια δημιουργείται μια πυραμίδα τριών επιπέδων. Χρησιμοποιώντας τις παραμέτρους που υπολογίστηκαν στο προηγούμενο frame, εντοπίζεται η περιοχή ενδιαφέροντος (ROI, Region Of Interest) στο πιο πάνω επίπεδο της πυραμίδας. Στο ανώτερο επίπεδο και στο εσωτερικό της περιοχής ενδιαφέροντος υπολογίζονται οι ακμές χρησιμοποιώντας τον αλγόριθμο Sobel και με τη βοήθεια του randomized Hough transform γίνεται μια εκτίμηση για τη κλίση και τη κατεύθυνση της ευθείας. Με τη βοήθεια γενετικών αλγορίθμων υπολογίζονται οι δυο υπόλοιπες παράμετροι της καμπύλης. Στη συνέχεια ακολουθείται η ίδια διαδικασία για τον υπολογισμό των τεσσάρων παραμέτρων και στα χαμηλότερα επίπεδα. Οι παράμετροι που υπολογίστηκαν στο χαμηλότερο επίπεδο, θα χρησιμοποιηθούν στο επόμενο frame. Το μοντέλο καμπύλης που χρησιμοποιείται είναι η παραβολή. Ο Albert S. Huang [19] αναλύει το σύστημα αναγνώρισης λωρίδων που χρησιμοποίησε το MIT στο όχημα Talos για να συμμετάσχει στον αγώνα DARPA Urban Challenge το Αρχικά, το όχημα ήταν εξοπλισμένο με 5 κάμερες και 13 Lidar. Το σύστημα συνδύαζε πληροφορίες από τη κάμερα τα Lidar και το GPS για να εντοπίσει επιτυχώς τις λωρίδες κυκλοφορίας. Με τη βοήθεια αισθητήρων υπολόγιζε τη θέση και τη κατεύθυνση του αυτοκινήτου με στόχο να εντοπίζει και να αφαιρεί τις ευθείες που οφείλονταν στον ήλιο. Τα Lidar εντόπιζαν εμπόδια στη πορεία του αυτοκινήτου που πιθανόν να δημιουργούσαν εσφαλμένες ευθείες και να μπέρδευαν το σύστημα. Επιπλέον τα Lidar εντόπιζαν τα πεζοδρόμια και τα κράσπεδα για τον υπολογισμό των ορίων του δρόμου. Ο υπολογιστής

61 Υλοποίηση συστήματος αναγνώρισης λωρίδων 41 του αυτοκινήτου έτρεχε δυο αλγορίθμους ταυτόχρονα για τον υπολογισμό των λωρίδων. Ο πρώτος αλγόριθμος χρησιμοποιούσε μια μήτρα για την εύρεση της λωρίδας με δεδομένα το χρώμα και το πλάτος. Ο δεύτερος αλγόριθμος βρίσκει τα πιθανά όρια του χρώματος των λωρίδων στο δρόμο και στη συνέχεια υπολογίζει τα κέντρα των γραμμών με βάση τη παραδοχή ότι τα όρια περικλείουν μια πιο φωτεινή περιοχή. 2.4 Υλοποίηση συστήματος αναγνώρισης λωρίδων Σε αυτή την ενότητα περιγράφεται η μέθοδος που προτείνουμε για την αναγνώριση των λωρίδων κυκλοφορίας από ένα κινούμενο όχημα. Στις παραγράφους που ακολουθούν αναλύεται αρχικά ο αλγόριθμος που εντοπίζει τις διαγραμμίσεις στους δρόμους ενώ στη συνέχεια μια βελτιωμένη έκδοση του που κάνει μια εκτίμηση για τη θέση του οχήματος μέσα στη λωρίδα χρησιμοποιώντας μόνο την κάμερα. Τέλος, παρουσιάζονται τα αποτελέσματα εκτέλεσης και των δυο αλγορίθμων σε πραγματικές συνθήκες. Η κάμερα που χρησιμοποιήθηκε βρίσκεται στο πάνω μέρος του παρμπρίζ ώστε να έχει την καλύτερη δυνατή θέαση. Η ανάλυση της κάμερας είναι Για την ανάπτυξη του αλγορίθμου χρησιμοποιήθηκε η βιβλιοθήκη OpenCv και πιο συγκεκριμένα η έκδοση 3.4 για τη γλώσσα προγραμματισμού python ενώ η έκδοση 2.9 για την γλώσσα C++. Ο αλγόριθμος αποτελείται από τρία τμήματα, προ-επεξεργασία της εικόνας, επεξεργασία και εμφάνιση των αποτελεσμάτων. Στο πρώτο στάδιο, η εικόνα που επιστρέφει η κάμερα μετατρέπεται σε κλίμακα του γκρι (Σχήμα 2.23βʹ) για να επιταχύνουμε τη διαδικασία. Γνωρίζουμε ότι οι λωρίδες βρίσκονται στο κάτω μέρος της εικόνας, οπότε για να επιταχύνουμε ακόμη περισσότερο τη διαδικασία αλλά και για να αποφύγουμε την αναγνώριση ευθειών πάνω στο καπό του αυτοκινήτου κρατείται μόνο ένα τμήμα της εικόνας (Σχήμα 2.23γʹ). Για την απομάκρυνση του θορύβου χρησιμοποιούμε ένα gaussian φίλτρο 5x5. Τέλος, για την αύξηση της αντίθεσης ανάμεσα στις λωρίδες και το οδόστρωμα μπορούμε να χρησιμοποιήσουμε τη μέθοδο histogram equalization (Σχήμα 2.23δʹ). Στο δεύτερο στάδιο χρησιμοποιούμε τη γκρι εικόνα που προέκυψε από το προηγούμενο στάδιο ώστε να εντοπίσουμε τις ακμές (Σχήμα 2.24αʹ) και στη συνέχεια με τη βοήθεια του μετασχηματισμού Hough να εντοπίσουμε τις ευθείες (Σχήμα 2.25αʹ). Για τον εντοπισμό των ακμών χρησιμοποιήθηκε ο αλγόριθμος Canny επειδή έχει καλύτερη απόδοση σε σχέση με τους υπόλοιπους. Ο αλγόριθμος Canny για να λειτουργήσει χρειάζεται ένα χαμηλό και ένα υψηλό κατώφλι, το υψηλό θεωρούμε ότι είναι τρεις φορές μεγαλύτερο από το χαμηλό. Για την επιλογή του κατάλληλου χαμηλού κατωφλίου παρατηρήσαμε ότι είχε εξάρτηση από τη φωτεινότητα της εικόνας αφού σε σκηνές με διαφορετικό φωτισμό δεν έβγαζε παρόμοια

62 42 Αναγνώριση λωρίδων κυκλοφορίας (αʹ) RGB image (βʹ) Grayscale image (γʹ) Cropped image (δʹ) Equalized image Σχήμα 2.23: Αναγνώριση λωρίδων:στάδιο προ-επεξεργασίας αποτελέσματα. Για να κάνουμε μια εκτίμηση της φωτεινότητας της εικόνας χρησιμοποιήθηκε του ιστόγραμμα της. Με βάση τη σταθμισμένη μέση τιμή του ιστογράμματος προκύπτει το χαμηλό κατώφλι. Σε αυτή τη περίπτωση διακρίνουμε τρία πιθανά κατώφλια που αντιστοιχούν σε χαμηλό, μέσο και υψηλό φωτισμό. Στις περισσότερες περιπτώσεις αυτή η μέθοδος λειτουργεί αρκετά αποδοτικά αλλά παρατηρήσαμε ότι το κατώφλι που προκύπτει με τη μέθοδο Otsu εντοπίζει καλύτερες ακμές (Σχήμα 2.24αʹ), αφού παίρνει 255 διαφορετικές τιμές και όχι μόνο 3 (Σχήμα 2.24βʹ). Ο εντοπισμός ακμών στην εικόνα μετά το histogram equalization περιείχε αρκετό θόρυβο και γι αυτό δεν χρησιμοποιήθηκε (Σχήμα 2.24γʹ). Εφόσον εντοπιστούν οι ακμές, εφαρμόζουμε τον μετασχηματισμό Hough για τον εντοπισμό των ευθειών (Σχήμα 2.25αʹ). Για κάθε ευθεία ο μετασχηματισμός Hough επιστρέφει το αρχικό και το τελικό σημείο και με βάση αυτά μπορούμε να προσδιορίσουμε την κλίση της ευθείας. Από όλες τις ευθείες που εντοπίστηκαν κρατάμε αυτές με κλίση [-80, -15] για την αριστερή και μεσαία λωρίδα, αυτές με κλίση [15, 80] για τη δεξιά λωρίδα και διαγράφουμε όλες τις υπόλοιπες (Σχήμα 2.25βʹ). Για κάθε κατηγορία (δεξιά, αριστερή, μεσαία) αν κάποια από τις ευθείες είναι πολύ μακριά σε σχέση με τις υπόλοιπες τη διαγράφουμε. Μετά από αυτό το βήμα, έχουμε ένα διάνυσμα με σημεία για κάθε λωρίδα. Με τη μέθοδο των ελαχίστων τετραγώνων προσδιορίζουμε τη βέλτιστη καμπύλη, πολυώνυμο δευτέρου βαθμού, που περνάει από όλα τα σημεία (Σχήμα 2.25γʹ). (αʹ) Κατώφλι Otsu, 108 (βʹ) Κατώφλι με βάση το ιστόγραμμα, 90 (γʹ) Εικόνα μετά από histogram equalization Σχήμα 2.24: Εντοπισμός ακμών για διαφορετικά κατώφλια

63 Υλοποίηση συστήματος αναγνώρισης λωρίδων 43 (αʹ) Όλες οι ευθείες (βʹ) Ευθείες με κατάλληλη κλίση (γʹ) Προσέγγιση ευθειών με καμπύλες Σχήμα 2.25: Εντοπισμός ευθειών με το μετασχηματισμό Hough Για τον σχεδιασμό της καμπύλης, χρησιμοποιούμε τους συντελεστές του πολυωνύμου που υπολογίστηκαν στο προηγούμενο βήμα. Η OpenCv δεν διαθέτει συνάρτηση για τον σχεδιασμό καμπυλών, οπότε χρησιμοποιούμε την εξίσωση της καμπύλης για τον υπολογισμό των σημείων που ανήκουν στη καμπύλη και μετά σχεδιάζουμε αυτά τα σημεία. Σε αρκετές περιπτώσεις παρατηρήσαμε ότι παρόλο που ο αλγόριθμος Canny εντόπιζε ακμές ο μετασχηματισμός Hough δεν εντόπιζε τις αντίστοιχες ευθείες. Το φαινόμενο ήταν πιο έντονο κυρίως στις στροφές και όταν η διαγράμμιση ήταν διακεκομμένη. Για αυτό το λόγο χωρίσαμε την περικομμένη εικόνα σε μικρότερα τμήματα διαστάσεων ( ) όπως φαίνεται και στο Σχήμα 2.26βʹ. Το στάδιο της προ-επεξεργασίας παραμένει κοινό αλλά για κάθε ένα από τα κουτιά εφαρμόζουμε το στάδιο επεξεργασίας που χρησιμοποιήσαμε και πριν. Για την αριστερή και δεξιά λωρίδα θεωρούμε ότι ανήκει στα υπό-τμήματα [2, 3, 4, 10] και [7, 8, 17, 18] αντίστοιχα. Μετά από δοκιμές παρατηρήσαμε ότι τα κουτιά στα οποία ανήκει η μεσαία λωρίδα είναι διαφορετικά ανάλογα με τη θέση του αυτοκινήτου στο δρόμο. Για αυτό το λόγο χωρίσαμε τη μεσαία λωρίδα σε τρεις κατηγορίες. Στη πρώτη κατηγορία [4, 5, 12, 13] ο οδηγός βρίσκεται πολύ κοντά στη δεξιά λωρίδα και πρέπει να στρίψει αριστερά για να διορθώσει την πορεία του (Σχήμα 2.26γʹ), στη δεύτερη κατηγορία [5, 6, 13, 14] το όχημα βρίσκεται στο κέντρο της λωρίδας του (Σχήμα 2.26βʹ), ενώ στη τρίτη κατηγορία [6, 7, 14, 15] ο οδηγός βρίσκεται πολύ κοντά στην αριστερή λωρίδα και πρέπει να στρίψει δεξιά για να διορθώσει την πορεία του. Ωστόσο, σε περιπτώσεις που οδηγός πρέπει να στρίψει δεξιά για να διορθώσει τη πορεία του ο αλγόριθμος εντοπίζει την αριστερή λωρίδα σαν μεσσία και θεωρεί ότι πρέπει να στρίψει αριστερά για να έρθει στο κέντρο της λωρίδας (Σχήμα 2.26αʹ). Για να δοκιμάσουμε το σύστημα που προτείνουμε, εξετάσαμε το σύστημα σε διαφορετικές οδικές και καιρικές συνθήκες. Στις παρακάτω εικόνες παρουσιάζονται ενδεικτικά κάποιες από τις δοκιμές που κάναμε. Στα Σχήματα 2.27, 2.28, 2.29 χρησιμοποιούμε τον πρώτο αλγόριθμο που δεν κάνει εκτίμηση της θέσης του οχήματος με βάση τις λω-

64 44 Αναγνώριση λωρίδων κυκλοφορίας (αʹ) Όχημα πολύ κοντά στη δεξιά λωρίδα (βʹ) Όχημα στο κέντρο της λωρίδας (γʹ) Όχημα πολύ κοντά στην αριστερή λωρίδα Σχήμα 2.26: Πρόβλεψη θέσης οχήματος (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.27: Οδήγηση σε περιφερειακό δρόμο ρίδες. Κατά την οδήγηση στον περιφερειακό δρόμο η διαγράμμιση είναι συνεχόμενη και ο αλγόριθμος δουλεύει αρκετά αποδοτικά (Σχήμα 2.27). Ακόμη και στις στροφές (2.27βʹ, 2.27γʹ, 2.27δʹ) προσεγγίζει ικανοποιητικά τη στροφή. Τα αποτελέσματα, όμως δεν είναι εξίσου καλά στη περίπτωση του αυτοκινητόδρομου όπου η γραμμές είναι διακεκομμένες (Σχήμα 2.28). Σε αρκετές περιπτώσεις αναγνωρίζει μόνο τη μια λωρίδα (Σχήματα 2.28αʹ, 2.28δʹ) και όταν το αυτοκίνητο είναι ανάμεσα στα κενά τις διαγράμμισης δεν εντοπίζει λωρίδες (Σχήμα 2.28γʹ). Ωστόσο, στον αυτοκινητόδρομο αλλά το βράδυ (Σχήμα 2.29) ο αλγόριθμος εντοπίζει περισσότερες ευθείες σε σχέση με τις πρωινές ώρες. Η φωτεινότητα είναι χαμηλή οπότε δεν εντοπίζονται ψευδείς ακμές εξαιτίας αντανακλάσεων ή σκιών. Στα Σχήματα 2.30, 2.31, 2.32 χρησιμοποιήσαμε τον αλγόριθμο που βρίσκει τη θέση του οχήματος με βάση τη κάμερα. Παρατηρούμε ότι σε σύγκριση με τη προηγούμενη μέθοδο, ο αλγόριθμος ναι μεν εντοπίζει πιο εύκολα τις ευθείες αλλά ακριβώς για αυτό το λόγο κατά την προσέγγιση με καμπύλη των μικρότερων ευθειών χάνει σε ακρίβεια σε σχέση με την αρχική μέθοδο. Σε αυτή τη περίπτωση η αναγνώριση γίνεται σε μικρότερα τμήματα της εικόνας με διαφορετικά κατώφλια για κάθε τμήμα, οπότε μαζί με τις χρήσιμες ευθείες εντοπίζει και μικρότερες, εξαιτίας του θορύβου, που χειροτερεύουν το συνολικό αποτέλεσμα. Αν συνδυάσουμε τη λογική του εντοπισμού της θέσης του οχήματος με τον πρώτο αλγόριθμο έχουμε τα αποτελέσματα του πρώτου αλγόριθμου με μια εκτίμηση για την θέση του οχήματος. Στον καινούριο αλγόριθμο το στάδιο της προ-επεξεργασίας παραμένει κοινό με τις προηγούμενες

65 Υλοποίηση συστήματος αναγνώρισης λωρίδων 45 (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.28: Οδήγηση σε αυτοκινητόδρομο (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.29: Οδήγηση σε αυτοκινητόδρομο νύχτα περιπτώσεις. Στο στάδιο της επεξεργασίας εντοπίζουμε τις ακμές πριν χωρίσουμε την εικόνα στα τμήματα (100x100). Στη συνέχεια χωρίζουμε την εικόνα σε τμήματα και εφαρμόζουμε το μετασχηματισμό Hough για κάθε τμήμα. Στη συνέχεια ορίζουμε τα τμήματα που αντιστοιχούν σε κάθε λωρίδα όπως στον προηγούμενο αλγόριθμο και στο τέλος προσεγγίζουμε τις ευθείες με μια καμπύλη και με βάση τη θέση της μεσαίας λωρίδας εκτιμούμε τη θέση του οχήματος. Ο αλγόριθμος και στις δυο περιπτώσεις μπορεί να χρησιμοποιηθεί από εφαρμογή πραγματικού χρόνου αφού ο χρόνος επεξεργασίας κάθε καρέ είναι περίπου 20-25ms δηλαδή περισσότερα από 30 καρέ το δευτερόλεπτο.

66 (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.30: Οδήγηση σε περιφερειακό δρόμο (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.31: Οδήγηση σε αυτοκινητόδρομο (αʹ) (βʹ) (γʹ) (δʹ) (εʹ) Σχήμα 2.32: Οδήγηση σε αυτοκινητόδρομο νύχτα

67 ΚΕΦΑΛΑΙΟ 3 ΕΝΤΟΠΙΣΜΟΣ ΚΑΙ ΑΝΑΓΝΩΡΙΣΗ ΠΙΝΑΚΙΔΩΝ ΚΥΚΛΟΦΟΡΙΑΣ 3.1 Εισαγωγή Σε αυτό το κεφάλαιο της εργασίας, προτείνεται μια μέθοδος για την επίλυσης του προβλήματος εντοπισμού και αναγνώρισης πινακίδων κυκλοφορίας από ένα κινούμενο όχημα. Στην πρώτη ενότητα αναφέρεται εν συντομία η θεωρία που χρειάζεται για την κατανόηση του αλγορίθμου που προτείνεται. Στις επόμενες ενότητες, αρχικά γίνεται μια αναφορά σε εργασίες που έχουν ως στόχο την επίλυση αυτού του προβλήματος ενώ στη συνέχεια περιγράφεται ο αλγόριθμος που αναπτύξαμε. Στη τελευταία ενότητα παρατίθενται παραδείγματα που επιβεβαιώνουν τη σωστή λειτουργία του αλγορίθμου. 3.2 Χρήσιμη θεωρία Χρωματικοί χώροι, Μέρος 2ο HSV Το χρωματικό μοντέλο HSV(Hue, Saturation, Value) ή αλλιώς HSB(Hue, Saturation, Brightness) αναπτύχθηκε τη δεκαετία του 70 με στόχο να προ- 47

68 48 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας σομοιώσει τον τρόπο που ο άνθρωπος αντιλαμβάνεται τα χρώματα. Το Hue(απόχρωση) είναι το χρώμα που γίνεται αντιληπτό λόγω του μήκους κύματος και παίρνει τιμές στο διάστημα [0, 360]. Το Saturation(καθαρότητα) αναφέρεται στο ποσοστό του γκρι που περιέχεται στο χρώμα, παίρνει τιμές από το 0 μέχρι και το 1, με το 0 να είναι το γκρι και το 1 το βασικό χρώμα. Τέλος, το Value(τιμή) έχει και αυτό τιμές στο διάστημα [0, 1] και αναφέρεται στη φωτεινότητα του χρώματος, με το 0 να είναι το μαύρο και το 1 το χρώμα που προκύπτει από τους άλλους δυο συντελεστές. Στο τρισδιάστατο καρτεσιανό σύστημα, το χρωματικό μοντέλο HSV, αναπαρίστανται με έναν κώνο (Σχήμα 3.1αʹ) ή με έναν κύλινδρο (Σχήμα 3.1βʹ). Χρησιμοποιώντας κυλινδρικές συντεταγμένες, το Hue αντιστοιχίζεται στη γωνία ϕ, το Value στο ύψος z και το Saturation στην ακτίνα ρ. (αʹ) HSV cone (βʹ) HSV cube Σχήμα 3.1: Το HSV μοντέλο στο καρτεσιανό σύστημα Έστω ότι έχουμε μια εικόνα 8-bit, δηλαδή για κάθε ένα από τα βασικά χρώματα έχουμε 255 αποχρώσεις. Η μετατροπή από το ένα μοντέλο στο άλλο μπορεί να γίνει χρησιμοποιώντας τους παρακάτω τύπους:

69 Χρήσιμη θεωρία 49 HSV RGB C = V S X = C (1 (H/60 ) mod 2 1 ) m = V C (C, X, 0), 0 H < 60 (X, C, 0), 60 H < 120 (0, C, X), 120 H < 180 (R, G, B ) = (0, X, C), 180 H < 240 (X, 0, C), 240 H < 300 (C, 0, X), 300 H < 360 R = (R + m) 255 G = (G + m) 255 B = (B + m) 255 (3.1) RGB HSV R = R/255 G = G/255 B = B/255 C max = max (R, G, B ) C min = min (R, G, B ) = C max C min 0, = 0 60 ( G B H = mod 6), C max = R 60 ( B R + 2), C max = G 60 ( R G + 4), C max = B { 0, C max = 0 S = C max, C max 0 V = C max (3.2) Αν μετατρέψουμε μια εικόνα στο χρωματικό μοντέλο HSV και στη συνέχεια εμφανίσουμε κάθε μια από τις τρεις συνιστώσες τότε προκύπτει το παρακάτω σχήμα (Σχήμα 3.2).

70 50 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.2: Μετατροπή εικόνας από RGB σε HSV HSL Το χρωματικό μοντέλο HSL(Hue, Saturation, Lightness) μοιάζει αρκετά με το HSV. Η βασική διαφορά των δυο μοντέλων είναι ότι στη περίπτωση του HSL η μέγιστη φωτεινότητα δίνει λευκό ενώ στο HSV εξαρτάται και από τις υπόλοιπες δυο συνιστώσες. Μια άλλη διαφορά εντοπίζεται στη θέση του κάθε χρώματος. Στο HSL ένα βασικό χρώμα, δηλαδή με καθαρότητα 1, έχει φωτεινότητα 50% ενώ στο HSV η αντίστοιχη συνιστώσα είναι 100%. Όπως και το HSV, το HSL στο τρισδιάστατο καρτεσιανό σύστημα αναπαρίσταται με ένα κύλινδρο (Σχήμα 3.3αʹ) ή διπλό κώνο (Σχήμα 3.3βʹ). (αʹ) HSL cylinder (βʹ) HSL double cone Σχήμα 3.3: Το HSL μοντέλο στο καρτεσιανό σύστημα Αν μετατρέψουμε μια εικόνα στο χρωματικό μοντέλο HSL και στη συνέχεια εμφανίσουμε κάθε μια από τις τρεις συνιστώσες τότε προκύπτει το παρακάτω σχήμα (Σχήμα 3.4). Η μετατροπή από το ένα μοντέλο στο άλλο μπορεί να γίνει χρησιμοποιώντας τους παρακάτω τύπους 3.3, 3.4.

71 Χρήσιμη θεωρία 51 Σχήμα 3.4: Μετατροπή εικόνας από RGB σε HSL RGB HSL R = R/255 G = G/255 B = B/255 C max = max (R, G, B ) C min = min (R, G, B ) = C max C min 0, = 0 60 ( G B H = mod 6), C max = R 60 ( B R + 2), C max = G 60 ( R G + 4), C max = B S = L = C max C min { 2 0, = 0 1 2L 1, 0 (3.3)

72 52 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας HSL RGB C = (1 2L 1 ) S X = C (1 (H/60 ) mod 2 1 ) m = L C/2 (C, X, 0), 0 H < 60 (X, C, 0), 60 H < 120 (0, C, X), 120 H < 180 (R, G, B ) = (0, X, C), 180 H < 240 (X, 0, C), 240 H < 300 (C, 0, X), 300 H < 360 R = (R + m) 255 G = (G + m) 255 B = (B + m) 255 (3.4) Κυκλικός μετασχηματισμός Hough Ο μετασχηματισμός Hough που χρησιμοποιήθηκε στην προηγούμενη ενότητα για την αναγνώριση των γραμμών μπορεί να χρησιμοποιηθεί και για τον εντοπισμό κύκλων. Ο τρόπος λειτουργίας του μοιάζει αρκετά με την αντίστοιχη έκδοση για τις γραμμές με τη μόνη διαφορά ότι αλλάζουν οι εξισώσεις. Για τη σχεδίαση ενός κύκλου στο καρτεσιανό σύστημα συντεταγμένων, χρησιμοποιείται ο τύπος: (x x 0 ) 2 + (y y 0 ) 2 r 2 0 = 0 (3.5) Σε αυτή τη περίπτωση υπάρχουν τρεις άγνωστοι, x0, y0, r0. Επομένως, ο χώρος των παραμέτρων θα είναι τρισδιάστατος (Σχήμα 3.5). Για την εύρεση των κύκλων χρησιμοποιείται ένας πίνακας τριών διαστάσεων x0, y0, r0, όπου σε κάθε κελί του αποθηκεύεται η συχνότητα εμφάνισης των αντίστοιχων παραμέτρων. Για να γεμίσουμε το πίνακα με τιμές, για κάθε pixel της εικόνας υπολογίζουμε την ακτίνα του κύκλου που δημιουργείται μεταβάλλοντας τις παραμέτρους x0, y0 και αυξάνουμε τη τιμή του αντίστοιχου κελιού κατά 1. Αφού γεμίσει ο πίνακας συχνοτήτων, βρίσκοντας τα n μέγιστα στοιχεία τα εφαρμόζουμε στην εξίσωση του κύκλου, εντοπίζουμε τους n κύκλους στην αρχική εικόνα. Για να βελτιωθεί η απόδοση του αλγορίθμου μπορούν να χρησιμοποιηθούν και σε αυτή τη περίπτωση πολικές συντεταγμένες ώστε να εκμεταλλευτούμε τα δεδομένα που υπολογίστηκαν στο στάδιο του εντοπισμού ακμών, γωνία θ. Οι νέες εξισώσεις του κύκλου είναι:

73 Χρήσιμη θεωρία 53 x 0 = x rcosθ (3.6) y 0 = y rsinθ (3.7) Χρησιμοποιώντας τις δυο παραπάνω εξισώσεις για να γεμίσει ο πίνακας συχνοτήτων δεν χρειάζεται μια διπλή επανάληψη, αλλά μόνο μια, όπου για κάθε pixel μεταβάλλεται μόνο η ακτίνα. Σχήμα 3.5: Χώρος παραμέτρων του κυκλικού μετασχηματισμού Hough Fast Radial Symmetry Transform(FRST) Στην εργασία [10] προτείνεται μια τεχνική για την ανίχνευση περιοχών ενδιαφέροντος σε μια σκηνή χρησιμοποιώντας την ακτινική συμμετρία. Είναι αρκετά πιο γρήγορος από άλλες τεχνικές που χρησιμοποιούν την ακτινική συμμετρία και ενδείκνυται για εφαρμογές πραγματικού χρόνου. Ο μετασχηματισμός υπολογίζεται για μία ή περισσότερες ακτίνες N ανάλογα με το μέγεθος του χαρακτηριστικού που ψάχνουμε. Η τιμή του μετασχηματισμού σε ακτίνα nεn δηλώνει τη συνεισφορά της παραγώγου στην ακτινική συμμετρία σε μια απόσταση n από κάθε σημείο. Σε κάθε ακτίνα n δημιουργείται μια εικόνα προβολής προσανατολισμού O n και μια εικόνα προβολής του μέτρου του M n. Για τη δημιουργία των εικόνων εξετάζεται η παράγωγος g σε κάθε σημείο p για το οποίο καθορίζεται ένα θετικά επηρεασμένο pixel p +ve (p) και ένα αρνητικά επηρεασμένο pixel p ve (p) (Σχήμα 3.6). Το θετικά επηρεασμένο pixel ορίζεται ως το pixel στο οποίο δείχνει η κατεύθυνση της παραγώγου, ενώ το αρνητικά επηρεασμένο pixel ως το pixel προς την αντίθετη κατεύθυνση της παραγώγου. Οι συντεταγμένες των θετικών και αρνητικά επηρεασμένων pixel δίνονται από τους τύπους 3.8, 3.9

74 54 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.6: Τοποθεσία των p +ve (p) και p ve (p) για μια ακτίνα n=2. Ο διακεκομένος κύκλος δείχνει όλα τα σημεία που μπορούν να επηρεαστούν από την παράγωγο του σημείου p σε ακτίνα n p +ve (p) = p + round( g(p) n) g(p) (3.8) p ve (p) = p round( g(p) n) g(p) (3.9) Οι εικόνες του προσανατολισμού και του μέτρου είναι αρχικά μηδέν. Για κάθε ζεύγος pixel το σημείο p +ve (p) αυξάνεται κατά 1 στην εικόνα προβολής προσανατολισμού (O n ) και κατά g(p) στην εικόνα προβολής μέτρου M n, ενώ για το σημείο p ve (p) μειώνεται κατά 1 στην εικόνα προβολής O n και κατά g(p) στην εικόνα προβολής M n, δηλαδή: O n (p +ve (p)) = O n (p +ve (p)) + 1 (3.10) O n (p ve (p)) = O n (p ve (p)) 1 (3.11) M n (p +ve (p)) = M n (p +ve (p)) + g(p) (3.12) M n (p ve (p)) = M n (p ve (p)) g(p) (3.13) Η ακτινική συνεισφορά σε ακτίνα n ορίζεται ως η συνέλιξη S n = F n A n (3.14) όπου (3.15) F n (p) = O n (p) (a) Mn (p), (3.16) O n (p) = M n (p) = O n max p ( O n (p) ), (3.17) M n max p ( M n (p) ), (3.18)

75 Χρήσιμη θεωρία 55 η σταθερά α δηλώνει την αυστηρότητα ως προς την ακτίνα και ο πίνακας A n είναι μια Gaussian μήτρα δυο διαστάσεων. Ο πλήρης μετασχηματισμός ορίζεται ως το άθροισμα όλων το συμμετρικών συνεισφορών για όλες τις ακτίνες: S = nεn S n Αν η παράγωγος υπολογιστεί ώστε να δείχνει από το σκοτεινό στο φωτεινό τότε η εικόνα εξόδου S θα έχει θετικές τιμές στις φωτεινές ακτινικές περιοχές και αρνητικές τιμές για τις σκοτεινά ακτινικές περιοχές (Σχήμα 3.7). Σχήμα 3.7: Εφαρμογή FRST για διαφορετικές ακτίνες [10] Για τη χρήση του μετασχηματισμού πρέπει αρχικά να ορίσουμε κάποιες παραμέτρους, τις ακτίνες N = n 1, n 2,..., τη Gaussian μήτρα A n και τη σταθερά ως προς την αυστηρότητα της ακτίνας α. Επιπλέον, ο αλγόριθμος μπορεί να ρυθμιστεί ώστε να αγνοεί μικρές περιοχές ή ακόμη να ψάχνει μόνο για φωτεινές ή σκοτεινές περιοχές. Για την εύρεση των συμμετρικών περιοχών δεν είναι απαραίτητο να χρησιμοποιήσουμε ένα συνεχόμενο εύρος ακτινών. Όπως φαίνεται και από την παραπάνω εικόνα (Σχήμα 3.7) μπορούμε να χρησιμοποιήσουμε τις ακτίνες 1,3,5 για να περιγράψουμε το εύρος N = 1,..., 5 με αρκετά καλή ακρίβεια. Αν γνωρίζουμε εκ των προτέρων την ακτίνα του αντικειμένου που ψάχνουμε τότε μπορούμε να τη χρησιμοποιήσουμε κατευθείαν, όπως στο Σχήμα 3.7 όπου για n=5 εντοπίζουμε τα μάτια. Η μήτρα A n χρησιμοποιείται για να διαδώσει την επιρροή των θετικά και αρνητικά επηρεασμένων pixel σαν συνάρτηση του n, (Σχήμα 3.8). Η παράμετρος α καθορίζει την αυστηρότητα της ακτίνας στην ακτινική συμμετρία κατά την επιστροφή μιας περιοχής με υψηλή τιμή. Η αύξηση της τιμής της σταθεράς α οδηγεί στην διαγραφή μη συμμετρικών περιοχών, όπως ευθείες. Η επιλογή α = 2 είναι αρκετά καλή για τις περισσότερες εφαρμογές.

76 56 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.8: Συνεισφορά της μήτρας A n σ=0.25n και n=10 στη παράγωγο ενός σημείου, Αλγόριθμοι εξαγωγής χαρακτηριστικών Σε αυτή την ενότητα περιγράφονται οι πιο γνωστοί αλγόριθμοι που χρησιμοποιούνται στον τομέα της υπολογιστικής όρασης για την εξαγωγή χαρακτηριστικών σε εικόνες. Στόχος τους είναι η εύρεση των μοναδικών χαρακτηριστικών της εικόνας που τη διαφοροποιούν από κάποια άλλη. Αυτοί οι αλγόριθμοι, χρησιμοποιούνται συνήθως για τον εντοπισμό αντικειμένων σε μεγαλύτερες εικόνες, συρραφή εικόνων, δημιουργία χαρτών βάθους κ.α. Scale Invariant Feature Transform(SIFT) Ο SIFT είναι από τους πιο γνωστούς αλγορίθμους σε αυτό το τομέα και χρησιμοποιείται για τον εντοπισμό και την περιγραφή χαρακτηριστικών σε μια εικόνα. Δημοσιεύτηκε το 2004 από τον David Lowe [20] και είναι κατοχυρωμένος με δίπλωμα ευρεσιτεχνίας στον Καναδά από το University of British Columbia. Ο αλγόριθμος αποτελείται από τέσσερα στάδια για τον εντοπισμό των χαρακτηριστικών και ένα πέμπτο στάδιο για τη ταύτιση των χαρακτηριστικών. 1. Scale-space extrema detection: Στο πρώτο στάδιο της μεθόδου γίνεται μια αναζήτηση σε διαφορετικές κλίμακες και τοποθεσίες στην εικόνα. Είναι αρκετά αποδοτικό επειδή χρησιμοποιεί τη Gaussian συνάρτηση διαφορών για τον εντοπισμό σημείων που είναι αμετάβλητα στην αλλαγή της κλίμακας και του προσανατολισμού. 2. Keypoint localization: Για κάθε υποψήφια τοποθεσία, εξάγεται ένα αρκετά λεπτομερές μοντέλο για το καθορισμό της τοποθεσίας και της κλίμακας. Τα Keypoints επιλέγονται με βάση τη σταθερότητά τους. 3. Orientation assignment: Στη θέση κάθε Keypoint ανατίθενται ένας ή περισσότεροι προσανατολισμοί βασισμένοι στην κατεύθυνση της παραγώγου. Όλες οι μελλοντικές ενέργειες εφαρμόζονται σε δεδομένα που έχουν μετασχηματιστεί σε σχέση με τα δεδομένα που εξήχθησαν δηλαδή προσανατολισμός, κλίμακα και θέση για κάθε χαρακτηριστικό ώστε να είναι αμετάβλητες σε οποιοδήποτε μετασχηματισμό. 4. Keypoint descriptor: Η παράγωγος της τοπικής εικόνας μετριέται

77 Χρήσιμη θεωρία 57 στην επιλεγμένη κλίμακα στην περιοχή γύρω από κάθε Keypoint. Αυτά μετατρέπονται σε μια αναπαράσταση που επιτρέπει αλλαγές σε παραμόρφωση και φωτισμό. Scale-space extrema detection Για να μπορεί ο αλγόριθμος να εντοπίσει τα ίδια Keypoint ανεξάρτητα από το μέγεθος της εικόνας, στο πρώτο βήμα του αλγορίθμου εφαρμόζονται στην εικόνα ένα φίλτρο διαφορετικών διαστάσεων. Με αυτό το τρόπο δημιουργείται ο χώρος των κλιμάκων (scale space). Το φίλτρο που εφαρμόζεται στηρίζεται στη κατανομή Gauss. G(x, y, σ) = 1 2πσ 2 e (x 2 +y 2 ) 2σ 2 (3.19) Οι διαστάσεις του φίλτρου εξαρτώνται από τη σταθερά σ, οπότε αλλάζοντας τις τιμές της σταθεράς δημιουργούνται διαφορετικές εικόνες, έστωl(x, y, σ) Ο χώρος των κλιμάκων αποτελείται από τις εικόνες L. Η καινούρια εικόνα προκύπτει από τη συνέλιξη του φίλτρου με την παλιά εικόνα. L(x, y, σ) = L(x, y, σ) I(x, y) (3.20) Για την αποτελεσματική αναγνώριση ευσταθών keypoints προτάθηκε από τον Lowe το 1999 ο υπολογισμός του μεγίστου της συνάρτησης D(x, y, σ) που προκύπτει από τη διαφορά δύο γειτονικών εικόνων στο scale space, η μέθοδος αυτή ονομάζεται DoG(Difference of Gaussuian) (Σχήμα 3.9). D(x, y, σ) = (G(x, y, σ) G(x, y, kσ)) I(x, y) = L(x, y, σ) L(x, y, kσ) (3.21) Η συνάρτηση D επιλέχτηκε γιατί είναι πολύ απλός ο υπολογισμός της, αφού χρειάζεται μόνο μια αφαίρεση. Μετά τον υπολογισμό των εικόνων D, ο αλγόριθμος ψάχνει τα τοπικά μέγιστα για κάθε επίπεδο. Κάθε σημείο συγκρίνεται με τα 8 γειτονικά του αλλά και με τα 9 αντίστοιχα του προηγούμενου και επόμενου επιπέδου (Σχήμα 3.10). Η εργασία προτείνει κάποιες βέλτιστες τιμές για τις σταθερές του πρώτου βήματος. Αρχικά, προτείνεται η χρήση τεσσάρων οκτάδων(octave). Σε κάθε οκτάβα γίνεται διπλασιασμός του σ 0. Για αρχικό σ προτείνεται το 1.6, σ 0 = 1.6, πέντε επίπεδα σε μια οκτάβα και k = 2. Ένα επίπεδο από το επόμενο διαφέρουν κατά k, δηλαδή στο επίπεδο 1 έχουμε L(x, y, σ) στο επίπεδο 2 L(x, y, kσ) στο επίπεδο 3 L(x, y, k 2 σ) κτλ. Keypoint localization Αφού εντοπιστεί η θέση ενός keypoint το επόμενο βήμα είναι η επανεξέτασή του ώστε να έχουμε ακριβέστερα αποτελέσματα. Για να το πετύχουν αυτό εφάρμοσαν τη σειρά Taylor στη συνάρτηση D με στόχο τον εντοπισμό της τοποθεσία του keypoint με μεγαλύτερη ακρίβεια.

78 58 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.9: SIFT scale space Σχήμα 3.10: SIFT:Εύρεση τοπικού μεγίστου για κάθε επίπεδο D(x) = D + DT x x xt 2 D x, (3.22) x2 όπου x = (x, y, σ) T είναι το υπό εξέταση σημείο. Για την εύρεση του μεγίστου ˆx παραγωγίζουμε άλλη μια φορά την παραπάνω εξίσωση και βρίσκουμε τις ρίζες της. ˆx = 2 D 1 x 2 D x (3.23) Αν η τιμή του μεγίστου D(ˆx) είναι μικρότερη από ένα κατώφλι(0.03 στην εργασία) τότε απορρίπτεται. Η μέθοδος DoG είναι αρκετά ευαίσθητη στις ακμές και γι αυτό το λόγο πρέπει να απομακρυνθούν. Για την διαγραφή των ακμών χρησιμοποιείται μια τεχνική παρόμοια με

79 Χρήσιμη θεωρία 59 τη μέθοδο στο Harris corner detector. Υπολογίζεται η Hessian(H) που δείχνει την τιμή της καμπυλότητας σε μια κατεύθυνση παράλληλη και κάθετη προς την ακμή. Μια μη καλά ορισμένη κορυφή της συνάρτησης DoG θα έχει μεγάλη κλίση στη κατεύθυνση της ακμής και μικρή στη κάθετη κατεύθυνση. Η μήτρα H υπολογίζεται στη θέση και τη κλίμακα του keypoint: [ ] Dxx D H = xy D xy D yy (3.24) Το keypoint απορρίπτεται αν ο λόγος των ιδιοτιμών είναι μικρότερος από ένα κατώφλι. T r(h) 2 (r + 1)2 < Det(H) r (3.25) Η τιμή r που προτείνεται στην εργασία είναι 10. Orientation assignment Για την εξασφάλιση της λειτουργίας του αλγορίθμου ακόμη και σε περιστροφή της εικόνας, ανατίθεται ένας προσανατολισμός για κάθε keypoint. Για τον υπολογισμό της κατεύθυνσης λαμβάνεται υπόψιν η θέση του σημείου, τα γειτονικά σημεία και οι παράμετροι τους. Δημιουργείται ένα ιστόγραμμα με 36 περιοχές για την κάλυψη των 360. Σε κάθε δείγμα που προστίθεται στο ιστόγραμμα εφαρμόζεται ένα βάρος ανάλογα με το μέτρο της παραγώγου του και ενός Gaussian βάρους με σ 1.5 φορές το σ που αντιστοιχεί στη κλίμακα του σημείου. Η περιοχή του ιστογράμματος με τη μεγαλύτερη τιμή και όλες οι περιοχές με τιμή μεγαλύτερη του 80% της μέγιστης περιοχής χρησιμοποιούνται για τον υπολογισμό του προσανατολισμού. Για περιοχές με περισσότερες της μιας κορυφής θα υπάρχουν περισσότερα keypoints για την ίδια περιοχή αλλά με διαφορετικούς προσανατολισμούς. Keypoint descriptor Με τις προηγούμενες διαδικασίες υπολογίστηκε η θέση, η κλίμακα και ο προσανατολισμός για κάθε keypoint. Το επόμενο βήμα είναι ο προσδιορισμός ενός διανύσματος μοναδικό για κάθε σημείο ενδιαφέροντος. Για κάθε keypoint δεσμεύεται μια περιοχή 16x16 και χωρίζεται σε 16 τμήματα μεγέθους 4x4. Για κάθε υπό-περιοχή δημιουργείται ένα ιστόγραμμα με 8 τιμές, (Σχήμα 3.11). Με αυτό το τρόπο δημιουργείται ένα διάνυσμα 128 τιμών, που ονομάζεται descriptor, που χαρακτηρίζει κάθε keypoint. Keypoint matching Για να γίνει η ταύτιση ανάμεσα στα keypoint δυο εικόνων χρησιμοποιούνται τα γειτονικά pixel. Σε αρκετές περιπτώσεις, εξαιτίας του θορύβου ή κάποιας άλλη αιτίας η δεύτερη καλύτερη ταύτιση είναι αρκετά κοντά στη πρώτη. Αν ο λόγος της καλύτερης απόστασης προς τη δεύτερη καλύτερη απόσταση είναι μεγαλύτερος του 0.8 τότε και οι δυο

80 60 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.11: SIFT descriptor απορρίπτονται. Με αυτό το τρόπο διαγράφεται το 90% των εσφαλμένων ταυτίσεων και μόνο το 5% των σωστών. Speeded-Up Robust Feature(SURF) Στη προηγούμενη ενότητα περιγράφτηκε ο αλγόριθμος SIFT για την αναγνώριση και παραμετροποίηση keypoint. Παρά την καλή απόδοση του αλγορίθμου, είχε το μειονέκτημα ότι ήταν αρκετά αργός και υπήρξε η ανάγκη για μια πιο γρήγορη εκδοχή του. Το 2006 οι Bay H., Tuytelaars T. και Van Gool L δημοσίευσαν μια εργασία με τίτλο Speeded-Up Robust Feature(SURF) [21]. Όπως προκύπτει και από το τίτλο του αλγορίθμου, πρόκειται για μια γρηγορότερη έκδοση του αλγορίθμου SIFT. Ο αλγόριθμος SURF βασίζεται στον πίνακα Hessian αλλά χρησιμοποιείται μια προσέγγιση για τον υπολογισμό του που ονομάζεται Fast- Hessian. Ο descriptor περιγράφει την απόκριση ενός Haar-wavelet γύρω από τη γειτονία του keypoint. Και στις δυο περιπτώσεις χρησιμοποιούνται integral images για να είναι πιο γρήγοροι οι υπολογισμοί. Οι integral images επιτρέπουν την γρήγορη υλοποίηση τετραγωνικών φίλτρων. Μια integral j y i=0 j=0 image υπολογίζεται με βάση τον τύπο I Σ ((x, y)) = i x I(i, j). Επιπλέον, το διάνυσμα του descriptor περιλαμβάνει 64 τιμές και όχι 128, μειώνοντας το χρόνο υπολογισμού. Fast-Hessian Detector Η ορίζουσα της Hessian χρησιμοποιείται τόσο για την εύρεση της τοποθεσίας του keypoint αλλά και την εύρεση της κλίμακας. Η Hessian μήτρα υπολογίζεται όπως και στον αλγόριθμο SIFT, δηλαδή με βάση τον τύπο: H(x, y, σ) = [ ] Lxx (x, y, σ) L xy (x, y, σ), (3.26) L xy (x, y, σ) L yy (x, y, σ)

81 Χρήσιμη θεωρία 61 όπου L είναι το αποτέλεσμα της συνέλιξης της εικόνας με τη δεύτερη παράγωγο ενός gaussian φίλτρου, 2 g(σ). Για την επιτάχυνση της διαδικασίας x 2 χρησιμοποιούνται τα box filters που αποτελούν μια καλή προσέγγιση των φίλτρων Gauss δεύτερης τάξης. Τα 9x9 box fiters (Σχήματα 3.12γʹ,3.12δʹ) αποτελούν μια προσέγγιση των Gaussian φίλτρων δεύτερης τάξης,σ = 1.2, (Σχήματα 3.12αʹ,3.12βʹ). (αʹ) (βʹ) (γʹ) (δʹ) Σχήμα 3.12: Σχήματα α και β:διακριτοποιημένη και περικομμένη δεύτερη παράγωγος ενός Gaussian φίλτρου ως προς την y και xy κατεύθυνση, αντίστοιχα. Σχήματα γ και δ προσέγγιση των φίλτρων α και β. Τα γκρι κελιά είναι μηδέν. Για τη δημιουργία του scale space, σε αντίθεση με τον αλγόριθμο SIFT, εφαρμόζεται το φίλτρο κάθε επιπέδου απευθείας στην αρχική εικόνα. Αυτό το στάδιο μπορεί να γίνει και παράλληλα, δηλαδή ταυτόχρονη δημιουργία όλων των επιπέδων, για μεγαλύτερη ταχύτητα αλλά δεν εξετάζεται στην εργασία. Για την εύρεση των σημείων ενδιαφέροντος, χρησιμοποιείται η μέθοδος non-maximum suppression σε μια γειτονιά 3x3x3. Orientation Assignment Για την εύρεση του προσανατολισμού του descriptor χρησιμοποιείται η απόκριση των Haar-wavelet στην x και y διεύθυνση (Σχήμα 3.13), για μια γειτονιά ακτίνας 6s, όπου s η κλίμακα του εκάστοτε επιπέδου. Το μήκος της κάθε πλευράς του φίλτρου είναι 4s. Σχήμα 3.13: Haar-wavelets που χρησιμοποιούνται από τον αλγόριθμο SURF Μετά τον υπολογισμό της συνέλιξης του φίλτρου με την εικόνα, εφαρμόζεται ένα Gaussian φίλτρο με σ = 2.5s γύρω από το σημείο ενδιαφέροντος. Στη συνέχεια τοποθετούνται σε ένα σύστημα συντεταγμένων όπως το παρακάτω, (Σχήμα 3.14). Για τον προσδιορισμό του κυρίαρχου προσανατολισμού χρησιμοποιείται ένα κινούμενο παράθυρο προσανατολισμού, με γωνία 60 στο εσωτερικό του οποίου αθροίζονται όλα τα σημεία. Σε

82 62 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας ορισμένα προβλήματα δεν χρειάζεται ο προσδιορισμός του προσανατολισμού. Σε αυτή τη περίπτωση ο αλγόριθμος ονομάζεται U-SURF(Upright SURF) και είναι πιο γρήγορος από τον κανονικό. Σχήμα 3.14: Προσανατολισμοί σημείων γύρω από το σημείο ενδιαφέροντος Descriptor Components Για την εξαγωγή του descriptor, σχεδιάζεται ένα τετράγωνο παράθυρο (πλευράς 20s) το οποίο προσανατολίζεται με βάση τον κυρίαρχο προσανατολισμό που υπολογίστηκε στο προηγούμενο βήμα. Στη περίπτωση του U-SURF δεν χρειάζεται η αλλαγή του προσανατολισμού του παραθύρου. Το παράθυρο χωρίζεται σε μικρότερες υποπεριοχές μεγέθους 4x4. Για κάθε υποπεριοχή υπολογίζεται η απόκριση των Haar wavelet στη κάθετη d y και οριζόντια d x κατεύθυνση και σχηματίζεται ένα διάνυσμα v = ( d x, d y, d x, d y ). Με αυτό το τρόπο δημιουργείται ο descriptor για όλες τις 4x4 υποπεριοχές μήκους 64. Με τη μείωση του μεγέθους του descriptor αυξάνεται η ταχύτητα του αλγορίθμου. Για μεγαλύτερη διακριτική ικανότητα, ο descriptor έχει επεκταθεί σε μέγεθος περιέχοντας 128 στοιχεία. Τα αθροίσματα d x, d x και dy, d y υπολογίζονται 2 φορές ανάλογα με το πρόσημο του d y και του d x αντίστοιχα. Μια άλλη σημαντική βελτίωση είναι η χρήση του προσήμου της Laplacian, ίχνος Hessian μήτρας, για την ανάδειξη του σημείου ενδιαφέροντος. Η μήτρα Hessian υπολογίζεται στο προηγούμενο βήμα, οπότε δεν προστίθεται επιπλέον υπολογιστικό κόστος. Το πρόσημο της Laplacian διακρίνει φωτεινές περιοχές σε σκοτεινό περιβάλλον και το αντίστροφο. Στο στάδιο της αντιστοίχισης, συγκρίνονται μόνο οι περιοχές που ανήκουν στην ίδια κατηγορία(σχήμα 3.15). Αυτή η πληροφορία επιταχύνει την απόκριση του αλγορίθμου χωρίς να μειώνει την απόδοσή του. Συμπεράσματα Ο αλγόριθμος SURF έχει πολλά χαρακτηριστικά που βελτιώνουν τη ταχύτητά του σε κάθε βήμα. Σύμφωνα με πειραματικά δεδομένα, είναι τρεις φορές γρηγορότερος από τον SIFT ενώ η απόδοσή του

83 Χρήσιμη θεωρία 63 Σχήμα 3.15: Χρήση προσήμου της Laplacian για τον προσδιορισμό των συγκρίσιμων σημείων από τον αλγόριθμο SURF. είναι συγκρίσιμη με τον SIFT. O SURF είναι καλός για εικόνες που έχουν θολά αντικείμενα αλλά όχι τόσο καλός σε αλλαγές φωτεινότητας και διαφορετικά σημεία θέασης. Oriented FAST and Rotated BRIEF(ORB) Οι αλγόριθμοι SIFT και SURF που αναλύθηκαν στις προηγούμενες ενότητες είναι κατοχυρωμένοι, που σημαίνει ότι σε κάποια εμπορική εφαρμογή θα πρέπει να πληρωθούν οι ιδιοκτήτες. Επιπλέον, έχουν αρκετό υπολογιστικό κόστος για την εξαγωγή των χαρακτηριστικών. Γι αυτούς του λόγους οι Ethan Rublee, Vincent Rabaud, Kurt Konolige και Gary R. Bradski πρότειναν το 2011 έναν αλγόριθμο [22] ώστε να λειτουργήσει σαν μια εναλλακτική για τους SIFT και SURF. Αυτή η μέθοδος, χρησιμοποιεί τον αλγόριθμο FAST για εξαγωγή των χαρακτηριστικών και τον αλγόριθμο BRIEF για την εξαγωγή του descriptor μαζί με κάποιες τροποποιήσεις για την βελτίωση της απόδοσης. ofast:fast Keypoint Orientation Ο αλγόριθμος FAST δέχεται ως είσοδο ένα κατώφλι ανάμεσα στο κεντρικό pixel και τα γειτονικά του σε κάποια ακτίνα, στην εργασία χρησιμοποιείται ακτίνα 9 pixel. Ωστόσο, ο FAST δεν μετράει τη γωνιότητα και έχει μεγάλες τιμές κατά μήκος των ακμών. Γι αυτό το λόγο χρησιμοποιείται η λογική ταξινόμησης του αλγορίθμου Harris με στόχο τη ταξινόμηση των N καλύτερων σημείων ενδιαφέροντος. Ο αλγόριθμος FAST δεν εξάγει χαρακτηριστικά σε διαφορετικές κλίμακες και γι αυτό χρησιμοποιείται μια πυραμίδα κλιμάκων(scale pyramid) και εξάγονται τα χαρακτηριστικά σε κάθε επίπεδο. Για τον προσδιορισμό της κατεύθυνσης της γωνίας χρησιμοποιείται η μέθοδος intensity centroid. Αυτή η μέθοδος χρησιμοποιεί ένα κομμάτι της εικόνας με κέντρο τη γωνία. Ο Rosin [23] ορίζει τις ροπές του κομματιού της εικόνας ως: m pq = (x p y q I(x, y)) (3.27) x,y Με βάση αυτές υπολογίζεται το κέντρο βάρους:

84 64 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας C = ( m 10 m 00, m 01 m 00 ) (3.28) Το διάνυσμα από τη γωνία(κέντρο κομματιού) μέχρι το κέντρο βάρους δίνουν τον προσανατολισμό του κομματιού, θ = atan2(m 01, m 10 ). Για την βελτίωση της απόδοσης του αλγορίθμου στις περιστροφές πρέπει τα (x, y) του σημείου να είναι στο εσωτερικό ενός κύκλου ακτίνας r. rbrief:rotation-aware BRIEF Ο BRIEF descriptor χρησιμοποιείται για να περιγράψει ένα κομμάτι μιας εικόνας μέσω ενός διανύσματος δυαδικών τιμών (0 ή 1). Για τη δημιουργία του διανύσματος εφαρμόζονται στην υπό εξέταση περιοχή της εικόνας binary tests. Έστω p η περιοχή της εικόνας. Ένα binary test ορίζεται ως: τ(p; x, y) := { 1 :p(x) < p(y) 0 :p(x) p(y) (3.29) Το σημείο ενδιαφέροντος ορίζεται ως διάνυσμα από n binary tests, δηλαδή : f n (p) := 1 i n 2 i 1 τ(p; x i, y i ) (3.30) Τα σημεία (x i, y i ) που θα εφαρμοστεί ο έλεγχος μπορούν να επιλεχθούν με διαφορετικές κατανομές. Για τον αλγόριθμο ORB χρησιμοποιείται η Gaussian κατανομή, επειδή έχει την καλύτερη απόδοση σε σχέση με τις υπόλοιπες. Το μέγεθος του διανύσματος είναι n = 256. Πριν την εφαρμογή των ελέγχων η εικόνα φιλτράρεται χρησιμοποιώντας μια integral image όπου κάθε σημείο ελέγχου είναι ένα παράθυρο 5x5 ενός κομματιού 31x31. Ένα από τα μειονεκτήματα του αλγορίθμου BRIEF είναι η αδυναμία του να αναγνωρίσει αντικείμενα που έχουν περιστραφεί. Για την αντιμετώπιση αυτού του προβλήματος, το διάνυσμα περιστρέφεται με βάσει τον προσανατολισμό του keypoint. Για κάθε σετ n binary tests στην τοποθεσία (x i, y i ) ορίζεται ένας πίνακας S, 2*n: ( ) x1, x S = 2,..., x n y 1, y 2,..., y n (3.31) Χρησιμοποιώντας τη γωνία θ που δείχνει τον προσανατολισμό του κομματιού ορίζεται ο πίνακας στροφής R θ. Η περιστραμμένη έκδοση του πίνακα S, S theta : και η συνάρτηση ελέγχου γίνεται : S θ = R θ S (3.32)

85 Χρήσιμη θεωρία 65 g n (p, θ) := f n (p) (x i, y i )ϵs θ (3.33) Η γωνία διακριτοποιείται με βήμα 12 για τη δημιουργία ενός προ-υπολογισμένου πίνακα BRIEF. Όσο ο προσανατολισμός του keypoint, θ, παραμένει σταθερός από τις διάφορες οπτικές γωνίες, χρησιμοποιούνται τα στοιχεία του πίνακα S θ για τον υπολογισμό του descriptor. Ένα σημαντικό πλεονέκτημα του BRIEF είναι ότι κάθε χαρακτηριστικό έχει μεγάλη διασπορά και μέση τιμή κοντά στο 0.5. Όμως με τη δημιουργία του πίνακα S θ, δηλαδή το προσανατολισμό του στη κατεύθυνση του keypoint χάνει αυτή την ιδιότητα και αποκτά καλύτερη κατανομή. Μεγάλη διασπορά σημαίνει ότι το χαρακτηριστικό είναι πιο διακριτό αφού αποκρίνεται διαφορετικά σε κάθε είσοδο. Μια άλλη επιθυμητή ιδιότητα είναι η μη-συσχέτιση των binary tests επειδή κάθε test συμβάλει στο αποτέλεσμα. Ο ORB κάνει μια άπληστη (greedy) αναζήτηση με στόχο την εύρεση από όλα τα binary tests εκείνων που έχουν μεγάλη διασπορά, μέση τιμή κοντά στο 0.5 και είναι ασυσχέτιστα. Το αποτέλεσμα ονομάζεται rbrief. Συμπεράσματα Με βάση τα πειραματικά αποτελέσματα, ο αλγόριθμος ORB είναι πιο γρήγορος από τους SIFT και SURF και ταυτόχρονα ο descriptor του ORB είναι καλύτερος από τον αντίστοιχο του SURF. Ο αλγόριθμος ORB ενδείκνυται για συσκευές χαμηλής υπολογιστικής ισχύς. Histogram of Oriented Gradients(HOG) features Τα HOG features μετατρέπουν μια εικόνα τριών διαστάσεων σε μια ακολουθία χαρακτηριστικών μήκους n και μπορούν να χρησιμοποιηθούν για την αναγνώριση αντικειμένων. Αυτή η μέθοδος χρησιμοποιεί τη κατανομή(histogramm) των κατευθύνσεων της παραγώγου (oriented gradients) σαν χαρακτηριστικά. Η βάθμωση μιας εικόνας, δηλαδή η παράγωγος της στη x και y διεύθυνση, έχει μεγάλη τιμή στις περιοχές που αλλάζει απότομα η φωτεινότητα (ακμές και γωνίες) και περιέχει χρήσιμες πληροφορίες. Στις παρακάτω ενότητες αναλύεται η διαδικασία εξαγωγής αυτών των χαρακτηριστικών. Υπολογισμός παραγώγου εικόνας Για τον υπολογισμό της παραγώγου υπολογίζουμε την παράγωγο της εικόνας στην κάθετη και οριζόντια διεύθυνση. Όπως και στις μεθόδους εντοπισμού ακμών, η παράγωγος προκύπτει από τη συνέλιξη της εικόνας με μια κατάλληλη μήτρα. Για να μην είναι ο αλγόριθμος υπολογιστικά πολύπλοκος χρησιμοποιήθηκε η πιο απλή μορφή πινάκων παραγώγισης δηλαδή:

86 66 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας [ ] , 0 (3.34) 1 Η χρήση πιο πολύπλοκων πινάκων, όπως Sobel, αυξάνει το χρόνο εκτέλεσης του αλγορίθμου χωρίς να βελτιώνει αισθητά την απόδοσή του. Το μέτρο και η κατεύθυνση της βάθμωσης δίνονται από τους τύπους: g = gx 2 + gy 2 (3.35) ( ) gy θ = atan (3.36) g x Υπολογισμός του Histogram of Gradients Η εικόνα χωρίζεται σε μικρότερα τμήματα, έστω κουτιά 8x8. Για κάθε μικρότερο τμήμα υπολογίζεται το ιστόγραμμά του με βάση τη κατεύθυνση της βάθμωσής του κάθε pixel στο εσωτερικό του. Το ιστόγραμμα έχει εύρος ή και είναι χωρισμένο σε επιμέρους τμήματα. Συνήθως επιλέγεται το εύρος και χωρίζεται σε 9 τμήματα, δηλαδή 0 20, 20 40,..., Στην παρακάτω εικόνα (Σχήμα 3.16) εμφανίζεται ένα παράδειγμα για τον τρόπο υπολογισμού του ιστογράμματος. Όπως φαίνεται από το παράδειγμα, με τη κατεύθυνση της βάθμωσης επιλέγεται το τμήμα του ιστογράμματος ενώ το μέτρο της βάθμωσης προστίθεται στην υπάρχουσα τιμή του τμήματος. Σχήμα 3.16: Παράδειγμα υπολογισμού Histogram of Gradients

87 Χρήσιμη θεωρία 67 Block normalization Η παράγωγος μιας εικόνας είναι ευαίσθητη στις αλλαγές φωτισμού. Το ιστόγραμμα που υπολογίστηκε στο προηγούμενο βήμα θα πρέπει να παραμένει αμετάβλητο στις αλλαγές φωτισμού. Αν το ιστόγραμμα κανονικοποιηθεί, θα σταματήσει να είναι ευαίσθητο στις αλλαγές φωτεινότητας. Για να έχει καλύτερα αποτελέσματα η κανονικοποίηση, γίνεται σε μεγαλύτερα κουτιά. Στην προηγούμενη παράγραφο το ιστόγραμμα υπολογίστηκε σε κουτιά 8x8 οπότε η κανονικοποίηση θα γίνει σε κουτιά 16x16. Το κανονικοποιημένο διάνυσμα θα περιέχει 36 τιμές αντί για 9. Για την κανονικοποίηση μπορούν να χρησιμοποιηθεί κάποια από τις παρακάτω συναρτήσεις: L2-norm:f = v v 2 + e 2 (3.37) v L1-norm:f = v 2 + e 2 (3.38) v L1-sqrt:f = (3.39) v + e Το v είναι το μη-κανονικοποιημένο διάνυσμα, ενώ το v είναι το μέτρο του, το e είναι μια μικρή σταθερά. Αναγνώριση αντικειμένων Για τον υπολογισμό του τελικού διανύσματος για ολόκληρη την εικόνα ενώνουμε όλα τα μικρότερα διανύσματα που προέκυψαν από την κανονικοποίηση. Το μέγεθος του τελικού διανύσματος εξαρτάται από τις διαστάσεις της εικόνας και των υπό-περιοχών που χωρίστηκε για τον υπολογισμό του ιστογράμματος και την κανονικοποίηση. Αυτό το διάνυσμα μπορεί να χρησιμοποιηθεί για την αναγνώριση αντικειμένων αν συνδυαστεί με έναν αλγόριθμο μηχανικής μάθησης. Τα HOG features συνήθως χρησιμοποιούνται για την εκπαίδευση ενός SVM(Support Vector Machine) ταξινομητή, αλλά μπορεί να συνδυαστεί και με άλλους ταξινομητές Support Vector Machine(SVM) Στη μηχανική μάθηση τα SVM είναι μοντέλα επιβλεπόμενης εκπαίδευσης (supervised learning) που αναλύουν και ταξινομούν διαφόρους τύπους δεδομένων. Δέχονται ως είσοδο δεδομένα τα οποία είναι χωρισμένα σε δυο ή περισσότερες κατηγορίες και βρίσκουν το βέλτιστο υπέρ-επίπεδο που τα χωρίζει. Τα SVM μπορούν να ταξινομήσουν δεδομένα με γραμμικό και μη-γραμμικό τρόπο το ίδιο αποδοτικά. Γραμμικοί ταξινομητές Τα δεδομένα εισόδου ενός SVM είναι διανύσματα p στοιχείων χωρισμένα σε κατηγορίες. Σκοπός της εκπαίδευσης είναι η εύρεση των (p 1)

88 68 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας συντελεστών που ορίζουν το υπέρ-επίπεδο που χωρίζει τα δεδομένα. Εφόσον ολοκληρωθεί η εκπαίδευση, κάθε νέο δεδομένο θα μπορεί να ταξινομηθεί σε κάποια από τις κατηγορίες χρησιμοποιώντας τους συντελεστές του υπέρ-επιπέδου. Για να περιγράψουμε το τρόπο εύρεσης του βέλτιστου υπέρ-επιπέδου θα χρησιμοποιήσουμε ένα απλό παράδειγμα διαχωρισμού τεσσάρων παραδειγμάτων σε δύο κατηγορίες στο δισδιάστατο επίπεδο. Για να λυθεί το πρόβλημα, πρέπει να βρεθεί η βέλτιστη ευθεία που ισαπέχει και από τις δυο ομάδες και λειτουργεί ως κριτήριο απόφασης, όπως φαίνεται και στο σχήμα Με βάση το κριτήριο απόφασης αν το εσωτερικό γινόμενο του διανύσματος ενός τυχαίου σημείου με τη μεσοκάθετο της διαχωριστικής ευθείας είναι μεγαλύτερο από μια σταθερά τότε ανήκει στη μια κατηγορία αλλιώς στην άλλη. Σχήμα 3.17: Παράδειγμα ταξινόμησης δεδομένων δυο διαστάσεων σε δυο κατηγορίες w ū c (3.40) w ū + b 0 (3.41) Επομένως, πρέπει να υπολογίσουμε το κανονικό διάνυσμα w που είναι κάθετο στη διαχωριστική ευθεία και τη σταθερά b. Με βάση τη παραπάνω ανισότητα 3.41 και χρησιμοποιώντας τα δοσμένα παραδείγματα εξάγουμε τους περιορισμούς: w x 1 + b 1 (3.42) w x 2 + b 1 (3.43)

89 Χρήσιμη θεωρία 69 Ορίζοντας μια νέα μεταβλητή μπορούμε να μετασχηματίσουμε τις δυο εξισώσεις των περιορισμών σε μια: y i = { 1, για τη πρώτη κατηγορία παραδειγμάτων 1, για τη δεύτερη κατηγορία παραδειγμάτων (3.44) επομένως η νέα εξίσωση είναι: y i ( x i w + b) 1 0 (3.45) και για τα σημεία που ανήκουν πάνω στις κόκκινες ευθείες: y i ( x i w + b) 1 = 0 (3.46) Στη συνέχεια, θα υπολογίσουμε την απόσταση ανάμεσα στις δύο κόκκινες ευθείες, έστω width. Θέλουμε αυτή η απόσταση να είναι η μέγιστη δυνατή. Για τον υπολογισμό της απόστασης θα χρησιμοποιήσουμε δυο σημεία x 1 και x 2 που ανήκουν στις κόκκινες ευθείες, όπως φαίνεται και στο σχήμα Με βάση το σχήμα, η απόσταση υπολογίζεται από τον τύπο: Σχήμα 3.18: Υπολογισμός της βέλτιστης διαχωριστικής ευθείας width = ( x 1 x 2 ) w w (3.47) Χρησιμοποιώντας την εξίσωση 3.46 ο υπολογισμός του πλάτους υπολογίζεται από τον τύπο: width = 2 w (3.48) Επομένως, για τη μεγιστοποίηση του πλάτους, αρκεί να βρεθεί το μέγιστο του 1 w η αλλιώς το ελάχιστο του w το οποίο είναι ίδιο με το

90 70 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας ελάχιστο του 1 2 w 2. Για την ελαχιστοποίηση της συνάρτησης 1 2 w 2 θα χρησιμοποιήσουμε τη συνάρτηση Lagrange 3.49 την οποία στη συνέχεια πρέπει να ελαχιστοποιήσουμε. L = 1 2 w 2 i a i [y i ( x i w + b) 1] (3.49) Για την εύρεση του ελαχίστου της συνάρτησης Lagrange, υπολογίσουμε τις μερικές παραγώγους ως προς w και b και τις εξισώνουμε με το μηδέν. L w = w a i y i x i = 0 w = a i y i x i i i (3.50) L b = a i y i = 0 a i y i = 0 i i (3.51) Αν εφαρμόσουμε τις παραπάνω εξισώσεις 3.51 στην αρχική εξίσωση Lagrange 3.49, τότε προκύπτει μια νέα εξίσωση 3.54 με μόνους αγνώστους τους συντελεστές Lagrange a i. L = 1 2 i a i y i x i 2 i a i [y i ( x i i a i y i x i + b) 1] (3.52) L = 1 a i y i x i a j y j x j a i y i x i a j y j x j a i y i b + a i 2 i j i j i i (3.53) L = a i 1 a i a j y i y j x i x j (3.54) 2 i i j Από την παραπάνω εξίσωση παρατηρούμε ότι το πρόβλημα βελτιστοποίησης εξαρτάται μόνο από το εσωτερικό γινόμενο των x i και x j. Αν εφαρμόσουμε την εξίσωση 3.51 στην αρχική συνάρτηση απόφασης 3.41, τότε προκύπτει μια νέα συνάρτηση απόφασης με μόνους αγνώστους τους συντελεστές Lagrange. a i y i x i ū + b = i { 0, ανήκει στη κατηγορία 1 αλλιώς, ανήκει στη κατηγορία 2 (3.55) Μη-γραμμικοί ταξινομητές Στη προηγούμενη ενότητα τα δεδομένα είναι γραμμικώς διαχωρίσιμα οπότε είναι δυνατή η εύρεση των συντελεστών που τα διαχωρίζουν.

91 Χρήσιμη θεωρία 71 Ωστόσο, σε κάποιες περιπτώσεις τα δεδομένα είναι μη-γραμμικά διαχωρίσιμα και η παραπάνω μέθοδος δεν μπορεί να χρησιμοποιηθεί. Η τεχνική που χρησιμοποιείται συνήθως είναι η μετατροπή των δεδομένων σε μεγαλύτερη τάξη μέχρι να γίνουν γραμμικώς διαχωρίσιμα, Σχήματα 3.19 και Μια μέθοδος που χρησιμοποιείται συνήθως ονομάζεται kernel trick. Με τη χρήση κατάλληλων συναρτήσεων, τα δεδομένα μετατρέπονται σε έναν νέο εικονικό χώρο και αποφεύγεται η ανάγκη εκμάθησης μη-γραμμικών συναρτήσεων και ορίων απόφασης από γραμμικούς αλγόριθμους εκπαίδευσης. Για όλα τα δεδομένα εισόδου x, x του χώρου X μπορούν να εκφραστούν μέσω της συνάρτησης k(x, x ) σαν εσωτερικά γινόμενα ενός νέου χώρου V. Η συνάρτηση k : X X R ονομάζεται kernel function. Οι πράξεις διευκολύνονται αρκετά αν η συνάρτηση k μπορεί να γραφτεί στη μορφή ϕ : X V που ικανοποιεί τη συνθήκη : k(x, x ) = ϕ(x), ϕ(x ) v (3.56) Σχήμα 3.19: Μετατροπή παραδειγμάτων από μη γραμμικά σε γραμμικά Σχήμα 3.20: Χρήση του kernel trick για την εκπαίδευση μη γραμμικού ταξινομητή

92 72 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Με τη χρήση της kernel function δεν χρειάζεται να γνωρίζουμε το μετασχηματισμό Φ από τον ένα χώρο στον άλλο. Οι συναρτήσεις 3.58 είναι κάποιες από τις πιο συνηθισμένες kernel function. k(ū, v) = ū v + 1 n (3.57) { k(x, x ) = exp x } i x j (3.58) σ 3.3 Παρόμοιες Εργασίες Ο εντοπισμός και η αναγνώριση σημάτων οδικής κυκλοφορίας είναι το αντικείμενο μελέτης πολλών ερευνητών τα τελευταία χρόνια. Οι εξελίξεις στο τομέα των ηλεκτρονικών υπολογιστών επιτρέπουν πλέον τον εντοπισμό και την αναγνώριση σε πραγματικό χρόνο και από συσκευές πολύ μικρού μεγέθους. Ο εντοπισμός πινακίδων βασίζεται σε δύο κύρια χαρακτηριστικά τους: το χρώμα και το σχήμα. Όσον αφορά το χρώμα ο φυσικός φωτισμός συνήθως μπερδεύει και αλλοιώνει το αποτέλεσμα για αυτό έχουν προταθεί αρκετές μέθοδοι που είναι ανεξάρτητοι της φωτεινότητας. Στο δεύτερο χαρακτηριστικό, δηλαδή το σχήμα, υπάρχουν δυο κύριες κατηγορίες μεθόδων, η model-based και οι μέθοδοι feature-based, δηλαδή παρόμοιοι με τη Viola-Jones. Οι αλγόριθμοι στην πρώτη κατηγορία βασίζονται στην αναγνώριση ακμών με στόχο τη δημιουργία κανονικών πολυγώνων ή κύκλων, ενώ στη δεύτερη περίπτωση εξάγονται κάποια διακριτά χαρακτηριστικά και με τη βοήθεια απλών ταξινομητών κατατάσσονται σε κατηγορίες με βάση κάποια μοτίβα. Στο τομέα της αναγνώρισης μιας πινακίδας μετά τον εντοπισμό της υπάρχουν διαφορετικοί τρόποι για την ταυτοποίηση ενός αντικειμένου αλλά μπορούν να χωριστούν σε δυο κατηγορίες. Η πρώτη μέθοδος βασίζεται στην εξαγωγή διακριτών χαρακτηριστικών για το αρχικό αντικείμενο και για το υπό εξέταση αντικείμενο και στη συνέχεια συγκρίνονται αυτά τα χαρακτηριστικά για να διαπιστωθεί αν τα αντικείμενα είναι όμοια. Η δεύτερη μέθοδος βασίζεται στην εκπαίδευση ενός γραμμικού ταξινομητή με αρκετά δείγματα από κάθε κατηγορία και στη συνέχεια εξέταση του καινούριου αντικειμένου χρησιμοποιώντας τον ταξινομητή. Στη βιβλιογραφία υπάρχουν αρκετές εργασίες που χρησιμοποιούν κάποια από αυτές τις μεθόδους. Υπάρχουν εργασίες που συνδυάζουν τον εντοπισμό και την αναγνώριση των σημάτων οδικής κυκλοφορίας, κάποιες από τις οποίες περιγράφονται συνοπτικά στη συνέχεια. Οι Jun MIURA, Tsuyoshi KANDA, Shusaku NAKATANI και Yoshiaki SHIRAI [24] πρότειναν ένα σύστημα εντοπισμού και αναγνώρισης πινακίδων που χρησιμοποιεί δυο κάμερες και έναν υπολογιστή με ειδική μονάδα επεξεργασίας εικόνας. Η μια κάμερα χρησιμοποιεί έναν φακό με μεγάλη γωνία θέασης (wide-camera) και η δεύτερη ένα φακό με μεγάλο zoom (telecamera). Η wide-camera εντοπίζει υποψήφιες πινακίδες χρησιμοποιώντας

93 Παρόμοιες Εργασίες 73 πληροφορίες για το χρώμα και το σχήμα και μετά χρησιμοποιεί τις ακμές για να λάβει επιπλέον πληροφορίες για την υποψήφια πινακίδα και να απορρίψει τους λάθος υποψήφιους. Ο αλγόριθμος προβλέπει τη θέση της πινακίδας στο επόμενο καρέ, θεωρώντας ως δεδομένο ότι το αυτοκίνητο κινείται σε ευθεία γραμμή ανάμεσα σε δυο frames, και κατευθύνει τη tele-camera στην αναμενόμενη θέση της πινακίδας ώστε να λάβει μια πιο κοντινή εικόνα της πινακίδας. Χρησιμοποιώντας την πιο κοντινή εικόνα γίνεται αναγνώριση της πινακίδας. Οι A. de la Escalera, J.M Armingol, M. Mata [25] πρότειναν μια μέθοδο αναγνώρισης πινακίδων για εφαρμογή σε συστήματα υποβοήθησης του οδηγού αλλά και σε αυτόνομα οχήματα. Αρχικά η εικόνα μετατρέπεται σε HSI με στόχο να χρησιμοποιηθούν οι όροι hue και saturation για να εντοπιστούν οι πινακίδες που περιέχουν κόκκινο. Με τη βοήθεια γενετικών αλγορίθμων επιλέγονται οι σωστές πινακίδες και απορρίπτονται οι πινακίδες που έχουν εντοπιστεί εσφαλμένα. Οι Jack Greenhalgh Majid Mirmehdi [26] πρότειναν μια μέθοδο για τον εντοπισμό και την αναγνώριση πινακίδων που αποτελείται από δυο στάδια. Στο πρώτο στάδιο γίνεται ο εντοπισμός ενώ στο δεύτερο γίνεται η αναγνώριση χρησιμοποιώντας τα HOG features και ένα γραμμικό ταξινομητή SVM. Για το πρώτο στάδιο χρησιμοποιείται οι περιοχές MSER (maximally stable external regions). Για την εύρεση των MSER γίνεται αρχικά μετατροπή της εικόνας σε κλίμακα του γκρι. Στη συνέχεια επιλέγοντας διαφορετικά κατώφλια γίνεται binarization στην εικόνα, δηλαδή τα pixel με τιμές μεγαλύτερες ή ίσες του κατωφλίου γίνονται 1 ενώ τα υπόλοιπα 0. Για κάθε επίπεδο εντοπίζονται τα κομμάτια της εικόνας που δημιουργούν κάποιο κλειστό σχήμα. Τα κομμάτια που διατηρούν το σχήμα τους σε όλα τα διαφορετικά κατώφλια επιλέγονται ως MSER. Χρησιμοποιώντας κάποια γεωμετρικά χαρακτηριστικά όπως μήκος, πλάτος, περίμετρος γίνεται διαγραφή των MSER που δεν πληρούν ορισμένες προϋποθέσεις. Για τα σήματα με μπλε ή κόκκινο περιβάλλον δεν χρησιμοποιείται η κλίμακα του γκρι για τον εντοπισμό των MSER αλλά ένας νέος χώρος Blue-Red με τις τιμές για κάθε pixel να προκύπτουν από το τύπο: R Ω RB = max( R + G + B, B R + G + B ) (3.59) Στη συνέχεια, χρησιμοποιώντας τα MSER που έμειναν γίνεται η αναγνώριση των πινακίδων. Στο στάδιο της αναγνώρισης, εξετάζεται αν η περιοχή ενδιαφέροντος είναι όντως πινακίδα και όχι περιβάλλον και αν ναι κατατάσσεται στην κατάλληλη κατηγορία. Για το διαχωρισμό των ROI (περιοχών ενδιαφέροντος) σε κατηγορίες, εξάγονται τα χαρακτηριστικά HOG της περιοχής. Στο επόμενο βήμα ταξινομούνται σε κατηγορίες με τη βοήθεια αλγορίθμων μηχανικής μάθησης και πιο συγκεκριμένα ενός SVM ταξινομητή, ο οποίος δημιουργεί ένα υπέρ-επίπεδο για να διαχωρίσει τα δεδομένα σε κατηγορίες (Σχήμα 3.21).

94 74 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας Σχήμα 3.21: Κατηγορίες διαχωρισμού πινακίδων κυκλοφορίας Για την εκπαίδευση του ταξινομητή, δημιούργησαν τεχνητά δείγματα εφαρμόζοντας διάφορα φίλτρα γεωμετρικής παραμόρφωσης σε πινακίδες κυκλοφορίας. Οι Sebastian Houben, Johannes Stallkamp, Jan Salmen, Marc Schlipsing Christian Igel [27] προτείνουν μια μέθοδο για τη βαθμολόγηση αλγορίθμων που αναγνωρίζουν πινακίδες κυκλοφορίας. Το σύστημα που πρότειναν βαθμολογούσε μόνο το κομμάτι του εντοπισμού και όχι της αναγνώρισης. Για την αξιολόγηση του συστήματος επιλέχτηκαν εικόνες με διαφορετικές οδηγικές και καιρικές συνθήκες. Το τελικό αρχείο εικόνων περιέχει 900 εικόνες και συνολικά 1206 πινακίδες. Οι πινακίδες χωρίζονται σε τρεις κατηγορίες, πινακίδες απαγόρευσης, υποχρεωτικής πορείας και κινδύνου. Η έξοδος των αλγορίθμων εντοπισμού αντικειμένων είναι συνήθως κάποια περιοχή ενδιαφέροντος S. Η περιοχή S συγκρίνεται με την αναμενόμενη περιοχή G χρησιμοποιώντας το συντελεστή ομοιότητας Jaccard: J(S, G) = S G [0, 1] (3.60) S G χρησιμοποιώντας μια δυαδική συνάρτηση κόστους. Οι συμμετέχοντες μπορούν να ανεβάσουν τα αποτελέσματα του αλγορίθμου τους στην ιστοσελίδα, να επιλέξουν την κατηγορία σημάτων που θέλουν και να δουν άμεσα το ποσοστό επιτυχίας τους. Τέλος, παρέχονται κάποιοι βασικοί αλγόριθμοι σαν βοήθεια προς τους χρήστες για τον τρόπο χρήσης των δεδο-

95 Παρόμοιες Εργασίες 75 μένων που παρέχονται. Οι Safat B. Wali, Mahammad A. Hannan, Aini Hussain και Salina A. Samad [28] πρότειναν ένα σύστημα για τον εντοπισμό και αναγνώριση σημάτων οδικής σήμανσης. Η μεθοδολογία που εξέτασαν είναι ισχυρή σε μεταβολές του φωτισμού, περιστροφή, μετατόπιση και αλλαγή στην οπτική γωνία, ενώ προσφέρει χαμηλό υπολογιστικό κόστος και μικρό ποσοστό αποτυχημένης αναγνώρισης. Η επεξεργασία βασίζεται σε τρία στάδια, προ-επεξεργασία της εικόνας, εντοπισμός και αναγνώριση. Ο αλγόριθμος λειτουργεί στο χρωματικό χώρο RGB και ξεκινάει με την εξαγωγή του σχήματος και στη συνέχεια χρησιμοποιείται ένα SVM ταξινομητής. Το μειονέκτημά της είναι ότι σχεδιάστηκε μόνο για την αναγνώριση τριών πινακίδων, Stop, απαγόρευση στάθμευσης και απαγορευτική πορεία. Για τον εντοπισμό των σημάτων ο αλγόριθμος ψάχνει σχήματα που μοιάζουν με κύκλους. Μετά τον εντοπισμό των περιοχών ενδιαφέροντος, κάθε μια περνά από τον εκπαιδευμένο SVM για κατάταξη σε κάποια από τις διαθέσιμες κατηγορίες. Ο παραπάνω αλγόριθμος έχει αρκετά καλά ποσοστά επιτυχίας 95.71% και χρόνο επεξεργασίας 0.43s. Ο μεγάλος χρόνος επεξεργασίας μπορεί να οφείλεται στη μεγάλη ανάλυση της εικόνας 3264 * Οι Long Chen, Qingquan Li, Ming Li και Qingzhou Mao [29] προτείναν έναν αλγόριθμο για αναγνώριση και εντοπισμό πινακίδων ανεπτυγμένο για ευφυή οχήματα. Για τον εντοπισμό η εικόνα μετατρέπεται στο χρωματικό χώρο HSV και με την εφαρμογή κατωφλίων για κάθε συνιστώσα του χρωματικού μοντέλου μετατρέπεται σε δυαδική εικόνα στην οποία σχηματίζονται κάποιες συνδεδεμένες περιοχές. Με τη βοήθεια του αλγορίθμου AdaBoost διαγράφονται οι περιοχές που δεν είναι υποψήφια σήματα. Τέλος, με τον αλγόριθμο SURF γίνεται η αναγνώριση της πινακίδας. Οι Γεώργιος Σιόγκας και Ευάγγελος Δερματάς [30] πρότειναν ένα σύστημα εντοπισμού, παρακολούθησης(tracking) και κατηγοριοποίησης πινακίδων οδικής κυκλοφορίας. Στο στάδιο της προ-επεξεργασίας η εικόνα μετατρέπεται στο χρωματικό χώρο L*a*b επειδή είναι πιο ανθεκτικός στις αλλαγές της φωτεινότητας. Με τη βοήθεια του αλγορίθμου Otsu ο όρος της φωτεινότητας L* μετατρέπεται σε μια δυαδική εικόνα Lbo. Στη συνέχεια δημιουργούνται τέσσερις επιπλέον δυαδικές εικόνες εφαρμόζοντας τον αλγόριθμο Otsu στο θετικό και αρνητικό μέρος των a* και b*. Στο στάδιο της επεξεργασίας, χρησιμοποιείται ο αλγόριθμος FRST για την εξαγωγή συμμετρικών σχημάτων. Για τη μείωση του χρόνου επεξεργασίας οι πληροφορίες για τα σήματα που εντοπίστηκαν στο τωρινό frame μεταφέρονται και στο επόμενο. Στο στάδιο της αναγνώρισης των σημάτων, οι εντοπισμένες περιοχές μετατρέπονται σε μέγεθος 64x64. Για την επιτάχυνση της διαδικασίας ορίζονται τέσσερις κατηγορίες πινακίδων, κόκκινες κυκλικές, κόκκινες τριγωνικές, μπλε κυκλικές και μπλε παραλληλόγραμμες. Για την κατηγοριοποίηση των πινακίδων χρησιμοποιείται η μέθοδος

96 76 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας NCC(Normalized Cross Correlation). Τα πειραματικά δεδομένα αποτελούνταν από βίντεο ανάλυσης 720x576 από την Πάτρα. 3.4 Εντοπισμός πινακίδων κυκλοφορίας Σε αυτή την ενότητα περιγράφεται ένα σύστημα που προτείνουμε για τον εντοπισμό των πινακίδων κυκλοφορίας. Η μέθοδος αποτελείται από τρία στάδια, προ-επεξεργασία, επεξεργασία και εμφάνιση των αποτελεσμάτων. Στο στάδιο της επεξεργασίας εξετάζεται η απόδοση δυο τεχνικών για τον εντοπισμό των πινακίδων βασιζόμενες στα γεωμετρικά χαρακτηριστικά τους. Στην τελευταία ενότητα του κεφαλαίου παρουσιάζονται σε συνδυασμό με το σύστημα αναγνώρισης πινακίδων ορισμένα παραδείγματα που επιβεβαιώνουν την ορθή λειτουργία του αλγορίθμου Στάδιο προ-επεξεργασίας Το στάδιο της προ-επεξεργασίας έχει ως στόχο την προετοιμασία της εικόνας για το στάδιο της επεξεργασίας. Όπως και με τις λωρίδες κυκλοφορίας οι πινακίδες βρίσκονται σε μια συγκεκριμένη περιοχή της εικόνας, στο πάνω μέρος. Επομένως το πρώτο βήμα του αλγορίθμου είναι η περικοπή του πάνω μέρους της εικόνας (Σχήμα 3.22αʹ). Στη συνέχεια το πάνω τμήμα της εικόνας μετατρέπεται στο χρωματικό χώρο HSV για να εκμεταλλευτούμε καλύτερα τις ιδιότητες των χρωμάτων των πινακίδων. Τα χρώματα των πινακίδων κόκκινο, μπλε και κίτρινο φαίνονται πιο φωτεινά στη συνιστώσα S του μοντέλου HSV σε σχέση με τα γειτονικά αντικείμενα και διευκολύνει τον εντοπισμό τους, όπως φαίνονται και στο σχήμα 3.22γʹ. Με την εφαρμογή ενός κατωφλίου στην εικόνα μπορούμε να διαγράψουμε τα λιγότερο φωτεινά αντικείμενα μειώνοντας σημαντικά το χρόνο επεξεργασίας (Σχήμα 3.22δʹ), έστω thr_s η εικόνα που θα προκύψει. (αʹ) RGB image (βʹ) Cropped image (γʹ) S component of(δʹ) Threshold S HSV component Σχήμα 3.22: Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας Για να κρατήσουμε μόνο τις περιοχές με χρώματα που αντιστοιχούν σε πινακίδες θα χρησιμοποιήσουμε τον όρο H του μοντέλου HSV. Με βάση την εικόνα H ορίσαμε δυο νέες εικόνες H_red και H_blue για τον εντοπισμό μόνο των κόκκινων και μπλε πινακίδων αντίστοιχα. Για τη δημιουργία της H_blue εφαρμόζουμε τη μέθοδο histogram equalization στις

97 Εντοπισμός πινακίδων κυκλοφορίας 77 συνιστώσες Red και Blue της RGB εικόνας, το αποτέλεσμα αυτής της πράξης φαίνεται στο σχήμα 3.23βʹ. Στη συνέχεια με την εφαρμογή κατωφλιών στην εικόνα φεύγουν οι περισσότερες περιοχές που δεν αντιστοιχούν σε πινακίδες (Σχήμα 3.23γʹ). Για τη δημιουργία της τελικής εικόνας για τον εντοπισμό των μπλε πινακίδων εφαρμόζεται η λογική πράξη and ανάμεσα στην H_blue και την thr_s (Σχήμα 3.23δʹ). Για τη δημιουργία της H_red εικόνας ακολουθείται η ίδια διαδικασία, με τη διαφορά ότι η μέθοδος histogram equalization εφαρμόζεται και στις τρεις συνιστώσες του RGB μοντέλου (Σχήμα 3.24βʹ), και το συνολικό αποτέλεσμα μετά τη λογική πράξη and φαίνεται στο σχήμα 3.24δʹ. Αν δεν εφαρμόσουμε τη μέθοδο histogram equalization στην RGB εικόνα, δεν είναι εύκολο να χρησιμοποιήσουμε τη συνιστώσα H (Σχήμα 3.25αʹ). Ομοίως, αν την εφαρμόσουμε μετά τη μετατροπή στο μοντέλο HSV η εικόνα που προκύπτει είναι πολύ φωτεινή και δεν μπορεί να χρησιμοποιηθεί (Σχήμα 3.25βʹ). (αʹ) H component (βʹ) H component(γʹ) Εφαρμογή κατωφλίου στην (δʹ) H_blue and thr_s after heq in RB H_blue Σχήμα 3.23: Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας, εντοπισμός μπλε πινακίδων (αʹ) H component (βʹ) H component(γʹ) Εφαρμογή κατωφλίου στην (δʹ) H_red and thr_s after heq in RGB H_red Σχήμα 3.24: Εντοπισμός πινακίδων:στάδιο προ-επεξεργασίας, εντοπισμός κόκκινων πινακίδων Στα παρακάτω σχήματα (Σχήματα ) φαίνονται οι εικόνες μετά από το στάδιο της προ-επεξεργασίας. Στο σχήμα 3.26 φαίνονται οι εικόνες που θα χρησιμοποιηθούν για την αναζήτηση των μπλε πινακίδων ενώ στο σχήμα 3.27 οι εικόνες που θα χρησιμοποιηθούν για την αναζήτηση των κόκκινων πινακίδων. Για να μειώσουμε ακόμη περισσότερο το χρόνο επεξεργασίας μπορούμε να διαγράψουμε τα αντικείμενα στην εικόνα που είναι πολύ μικρά ή πολύ μεγάλα για να είναι πινακίδες (Σχήμα 3.28βʹ), αν και κάποιες φορές μαζί τα μεγάλα αντικείμενα τυχαίνει να διαγράφονται και οι

98 78 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας (αʹ) H component (βʹ) Εφαρμογή heq στο H μετά τη μετατροπή σε HSV (γʹ) Εφαρμογή heq μόνο στις συνιστώσες(δʹ) Εφαρμογή heq στις συνιστώσες RGB RB και μετά μετατροπή σε HSV και μετά μετατροπή σε HSV Σχήμα 3.25: Επεξεργασία της συνιστώσας H του μοντέλου HSV σε διαφορετικά στάδια πινακίδες επειδή έχουν κοντινές τιμές φωτεινότητας (Σχήμα 3.28δʹ). Τέλος, για να επιταχυνθεί ακόμη περισσότερο το στάδιο της επεξεργασίας μπορεί να μειωθεί η ανάλυση της εικόνας Στάδιο επεξεργασίας Στο στάδιο της επεξεργασίας γίνεται ο εντοπισμός των πινακίδων κυκλοφορίας με βάση τα γεωμετρικά χαρακτηριστικά τους. Οι πινακίδες έχουν συμμετρικά σχήματα, κύκλους, ισόπλευρα τρίγωνα, τετράγωνα όπως φαίνεται και στο σχήμα Για τον εντοπισμό των σχημάτων χρησιμοποιήθηκε στη πρώτη περίπτωση ο κυκλικός μετασχηματισμός Hough και στη δεύτερη περίπτωση η τεχνική Fast Radial Symmetry Transform. Οι δύο μέθοδοι εντοπισμού των σχημάτων εφαρμόζονται ξεχωριστά στην H_blue και στην H_red. Οι ακτίνες του κύκλου που θα εντοπίσει ο μετασχηματισμός ανήκουν στο διάστημα [15, 35]. Εφαρμόσαμε τον κυκλικό μετασχηματισμό Hough στις εικόνες που παρουσιάσαμε στο στάδιο της προ-επεξεργασίας και τα αποτελέσματα φαίνονται στο σχήμα Για τον αλγόριθμο FRST η OpenCv δεν διαθέτει κάποια υλοποιημένη συνάρτηση οπότε χρησιμοποιήθηκε η αντίστοιχη συνάρτηση από το github [31], [32]. Ο αλγόριθμος

99 Εντοπισμός πινακίδων κυκλοφορίας 79 (αʹ) (βʹ) (γʹ) Σχήμα 3.26: Εικόνα για τον εντοπισμό των μπλε πινακίδων (αʹ) (βʹ) (γʹ) Σχήμα 3.27: Εικόνα για τον εντοπισμό των κόκκινων πινακίδων FRST δέχεται ως είσοδο το σ για τη Gaussian μήτρα A n, το συντελεστή αυστηρότητας της ακτινικής συμμετρίας α και τέλος αν ψάχνουμε φωτεινά ή σκοτεινά σημεία. Η ακτίνα παίρνει δύο διαδοχικές τιμές 20 και 30 pixel. Για να μπορούμε να συγκρίνουμε την απόδοση των δυο αλγορίθμων εφαρμόσαμε τον αλγόριθμο FRST στις ίδιες εικόνες με τον κυκλικό μετασχηματισμό Hough και παραθέτουμε τα αποτελέσματα στην εικόνα Συγκρίνοντας τα αποτελέσματα από την εκτέλεση και των δυο αλγορίθμων παρατηρούμε ότι και οι δύο εντοπίζουν τις πινακίδες αλλά εντοπίζουν ταυτόχρονα και αρκετές περιοχές που δεν αντιστοιχούν σε πινακίδες και θα πρέπει να διαγραφούν. Το στάδιο της διαγραφής των περιοχών που δεν αντιστοιχούν σε πινακίδες ανήκει στο στάδιο της αναγνώρισης των πινακίδων που αναλύεται στην επόμενη ενότητα. Όσον αφορά τους εσφαλμένους εντοπισμούς πινακίδων οδικής σήμανσης παρατηρούμε ότι ο αλγόριθμος FRST είναι πιο επιρρεπής σε σφάλματα. (αʹ) Πινακίδες αναγγελίας κινδύνου (βʹ) Ρυθμιστικές Πινακίδες Σχήμα 3.29: Πινακίδες οδικής κυκλοφορίας

100 80 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας (αʹ) Εικόνα πριν το κα-(βʹτώφλι κατώφλι τώφλι Εικόνα μετά το(γʹ) Εικόνα πριν το κα-(δʹ) Εικόνα μετά το κατώφλι Σχήμα 3.28: Διαγραφή περιοχών με εμβαδόν πολύ μεγάλο ή πολύ μικρό για πινακίδα (αʹ) (βʹ) (γʹ) (δʹ) Σχήμα 3.30: Εντοπισμός πινακίδων με τον κυκλικό μετασχηματισμό Hough (αʹ) (βʹ) (γʹ) (δʹ) Σχήμα 3.31: Εντοπισμός πινακίδων με τον αλγόριθμο FRST 3.5 Αναγνώριση πινακίδων κυκλοφορίας Στη προηγούμενη ενότητα εντοπίστηκαν περιοχές στην εικόνα που μπορεί να περιέχουν πινακίδες. Σε αυτή την ενότητα θα εξεταστούν αυτές οι περιοχές ούτως ώστε να διαπιστωθεί αν όντως περιέχουν πινακίδες, και ποιά πινακίδα περιέχουν ή αν πρόκειται για εσφαλμένο εντοπισμό. Για την αναγνώριση των πινακίδων θα συγκριθεί η απόδοση τριών τεχνικών, των αλγορίθμων SURF, ORB και το συνδυασμό ενός SVM ταξινομητή με τα HoG features. Για τους αλγορίθμους SURF και ORB χρησιμοποιούμε μια βάση δεδομένων από πινακίδες οδικής σήμανσης που αποτελείται από δυο κατηγορίες, μπλε πινακίδες (Σχήμα 3.32αʹ) και κόκκινες πινακίδες (Σχήμα 3.32βʹ). Για κάθε μια από τις πινακίδες της βάσης εξάγονται τα Keypoints και στη συνέχεια υπολογίζεται ο αντίστοιχος Descriptor. Για την ταυτοποίηση κάθε περιοχής στη μπλε και κόκκινη εικόνα ο descriptor της

101 Αναγνώριση πινακίδων κυκλοφορίας 81 συγκρίνεται με τον descriptor κάθε πινακίδας στη αντίστοιχη βάση και υπολογίζεται η μεταξύ τους απόσταση. Αν η μικρότερη απόσταση είναι μικρότερη από ένα κατώφλι τότε η υπό εξέταση περιοχή αντιστοιχεί σε πινακίδα και πιο συγκεκριμένα σε αυτή με τη οποία έχει την ελάχιστη απόσταση. Όπως είναι λογικό, ο descriptor μιας περιοχής που εντοπίστηκε στην εικόνα για τις μπλε πινακίδες θα συγκριθεί μόνο με τις μπλε πινακίδες. (αʹ) Μπλε πινακίδες (βʹ) Κόκκινες πινακίδες Σχήμα 3.32: Βάση δεδομένων πινακίδων οδικής σήμανσης Για να χρησιμοποιήσουμε το ταξινομητή SVM η διαδικασία είναι διαφορετική από την προηγούμενη. Στο πρώτο στάδιο, πρέπει να μετατρέψουμε την εικόνα σε ένα διάνυσμα. Με βάση αυτό το διάνυσμα, ο ταξινομητής κατατάσσει την εντοπισμένη περιοχή σε κάποια από τις διαθέσιμες κατηγορίες, οι οποίες φαίνονται στα σχήματα 3.34, Η αποτελεσματικότητα του ταξινομητή εξαρτάται από την εκπαίδευση του. Για την εκπαίδευση πρέπει να χρησιμοποιηθούν αρκετά δείγματα από όλες τις κατηγορίες, και όσο πιο διαφορετικά είναι τα δείγματα μεταξύ τους τόσο καλύτερη θα είναι η εκπαίδευση. Για την εκπαίδευση του ταξινομητή χρησιμοποιήσαμε περίπου εικόνες περιβάλλοντος και 6000 εικόνες από πινακίδες. Για την εξαγωγή των εικόνων εκπαίδευσης εφαρμόσαμε το συνδυασμό Hough και SURF σε βίντεο, συνολικής διάρκειας 150 λεπτών, από περιφερειακούς δρόμους, αυτοκινητόδρομο και αστικό περιβάλλον. Μετά από αυτή τη διαδικασία προέκυψαν συνολικά εικόνες, περιοχές με περιβάλλον ή πινακίδα, από τις οποίες κρατήσαμε όλες τις εικόνες που περιείχαν σήματα οδικής κυκλοφορίας, περίπου 6000 εικόνες και από περιβάλλον. Στη συνέχεια χωρίσαμε τις εικόνες με πινακίδες σε υπό-κατηγορίες για την εκπαίδευση του ταξινομητή. Για κάθε μια από τις περιοχές αλλάξαμε τις διαστάσεις σε 64x64, 48x48, 32x32 ανάλογα με το επίπεδο στο οποίο ανήκουν και στη συνέχεια υπολογίσαμε τα HOG features. Με αυτό το τρόπο, κάθε μια από τις περιοχές που εντοπίστηκαν, μπορεί να περιγραφεί με ένα διάνυσμα με βάση τα HOG features, το πλήθος των τιμών του διανύσματος εξαρτάται από τις διαστάσεις της εικόνας. Χρησιμοποιήσαμε διαφορετικά μεγέθη διανυσμάτων επειδή τα δείγματα λιγοστεύουν όσο τα χωρίζουμε σε επιμέρους κατηγορίες. Για τη καλύτερη

102 82 Εντοπισμός και αναγνώριση πινακίδων κυκλοφορίας λειτουργία του αλγορίθμου χρησιμοποιήθηκε ξεχωριστός ταξινομητής για την μπλε (Σχήμα 3.33) και για την κόκκινη (Σχήμα 3.34) εικόνα. Blue image Enviroment Traffic Sign Turn Sign Turn left, TL Turn right, TR Turn either, TLR Go straight, GF Keep sign Keep left, GL Keep right, GR Keep either, GLR Various blue signs Bus Stop, B Pedestrian crossing, Ped Parking, Park Σχήμα 3.33: Στάδια ταξινομητή μπλε πινακίδων Για την εκπαίδευση του ταξινομητή χρησιμοποιήθηκε αρχικά η συνάρτηση που είναι ενσωματωμένη στη βιβλιοθήκη OpenCV. Ωστόσο, το μέγιστο ποσοστό επιτυχίας ακόμη και στο πρώτο επίπεδο, δηλαδή αν η υπό εξέταση περιοχή είναι περιβάλλον ή πινακίδα ήταν σχετικά μικρό, περίπου 80%. Για αυτό το λόγο, χρησιμοποιήθηκε η βιβλιοθήκη της Python scikitlearn [33], [34] που όπως αποδείχτηκε έχει καλύτερη απόδοση. Σε κάθε μια από τις κατηγοριοποιήσεις, το ποσοστό επιτυχίας ήταν μεγαλύτερο από 95%. Για την εκπαίδευση και αξιολόγηση του ταξινομητή το 70% των παραδειγμάτων χρησιμοποιήθηκε για την εκπαίδευση και το 30% για την αξιολόγηση. Επαναλάβαμε τη διαδικασία εκπαίδευσης αρκετές φορές και κρατήσαμε τον ταξινομητή με το μεγαλύτερο ποσοστό επιτυχίας. Για την εξέταση της απόδοσης του προτεινόμενου αλγορίθμου, χρησιμοποιήσαμε εικόνες από διαφορετικές περιοχές και καιρικές συνθήκες που δεν χρησιμοποιήθηκαν στην εκπαίδευση του ταξινομητή. Στο πρώτο στάδιο γίνεται ο εντοπισμός των υποψήφιων πινακίδων με τον κυκλικό μετασχηματισμό Hough και στην συνέχεια εφαρμόζεται ο ORB

103 Αναγνώριση πινακίδων κυκλοφορίας 83 (Σχήμα 3.38) ή ο SURF (Σχήμα 3.37) με στόχο την αναγνώριση των πινακίδων. Εναλλακτικά μπορούμε να υπολογίσουμε τα HOG features για κάθε περιοχή και στη συνέχεια να χρησιμοποιήσουμε το SVM για την αναγνώριση της πινακίδας (Σχήμα 3.39). Δίπλα στις εντοπισμένες πινακίδες έχει τυπωθεί σε συντομογραφία το όνομα της πινακίδας. Για την καλύτερη παρουσίαση της απόδοσης κάθε τεχνικής, τα αποτελέσματα φαίνονται συγκεντρωτικά στον πίνακα Όλες οι τεχνικές που χρησιμοποιήθηκαν, σε κάποιες περιπτώσεις αναγνωρίζουν εσφαλμένα το περιβάλλον ως πινακίδες, για αυτό το λόγο μια πινακίδα θα θεωρηθεί ότι αναγνωρίστηκε επιτυχώς μόνο αν αναγνωριστεί τουλάχιστον 2 φορές σε 10 διαδοχικά καρέ (Σχήμα 3.35). Με βάση το συγκεντρωτικό πίνακα παρατηρούμε ότι την καλύτερη απόδοση την έχει ο αλγόριθμος FRST για τον εντοπισμό των πινακίδων και η τεχνική SVM για την αναγνώριση των πινακίδων. Ωστόσο, αρκετές από τις πινακίδες είχαν αλλοιωθεί ή ήταν κρυμμένες στα φυλλώματα των δέντρων και γι αυτό το λόγο δεν εντοπίστηκαν (Σχήμα 3.36). Όσον αφορά το τμήμα της αναγνώρισης, ο αλγόριθμος ORB δεν ενδείκνυται για εικόνες με μικρή ανάλυση ενώ ο αλγόριθμος SURF αποδίδει σχετικά καλά. Η απόδοση του ταξινομητή SVM βασίζεται κυρίως στην εκπαίδευσή του. Το δεύτερο βίντεο έχει κυρίως εικόνες με πινακίδες κινδύνου που ήταν λίγες σε σχέση με τις υπόλοιπες κατηγορίες και για αυτό δεν έχει αρκετές σωστές κατηγοριοποιήσεις. Τα βίντεο 3 και 4 τραβήχτηκαν απογευματινές ώρες με βροχή και για αυτό η απόδοση είναι σχετικά χαμηλή. Διευκρινίζεται ότι, από κάθε βίντεο επιλέξαμε κάποια καρέ για να δημιουργήσουμε τον πίνακα, αλλά μπορεί σε γειτονικά καρέ το αποτέλεσμα των αλγορίθμων να ήταν διαφορετικό. Ως προς τη ταχύτητα των παραπάνω μεθόδων όλες μπορούν να χρησιμοποιηθούν σε εφαρμογές πραγματικού χρόνου αφού μπορούν να επεξεργαστούν περισσότερα από 10 fps. Η μέθοδος FRST είναι καλύτερη από τον κυκλικό μετασχηματισμό Hough αλλά επειδή δεν είναι ενσωματωμένη στη βιβλιοθήκη OpenCV είναι αρκετά πιο αργή, 3-4 φορές πιο αργή. Οι αλγόριθμοι SURF και ORB έχουν παρόμοιο χρόνο εκτέλεσης, αλλά όσο αυξάνεται η βάση δεδομένων με τις πινακίδες ή οι υπό εξέταση περιοχές αυξάνεται κατά πολύ και ο χρόνος επεξεργασίας, σε κάποιες περιπτώσεις χρειάστηκαν και μερικά δευτερόλεπτα για την επεξεργασία κάθε καρέ. Ο συνδυασμός του SVM με τα HOG features είναι ο ταχύτερος από τους τρεις αλγορίθμους και ο χρόνος απόκρισης δεν αυξάνεται καθόλου όταν αυξάνονται οι πινακίδες που μπορεί να αναγνωρίσει, όμως όπως είναι λογικό, όσο αυξάνονται οι υπό εξέταση περιοχές αυξάνεται και ο χρόνος επεξεργασίας αλλά χωρίς να κάνει απαγορευτική τη χρήση του σε εφαρμογές πραγματικού χρόνου.

104 Red image Enviroment Traffic Sign Forbid Sign Speed limit, SP 20,30,40,...,120 Turn is not allowed No Left turn, NL No Right turn, NR No U-turn, NU Various forbid signs No overtaking, NPas Tool Post, T Maximum height, hei Can t enter, Stop, No Parking Stop, S Enter is not allowed, NE Can t park here, NP Can t stop here, NSNP Danger signs Pedestrian Crossing, Dped Right hand curve, DR Left hand curve, DL Other danger, D Uneven road, BR Side road left, DlL Side road right, DlR Crossroads, DlLR Σχήμα 3.34: Στάδια ταξινομητή κόκκινων πινακίδων

105 (αʹ) Σωστή αναγνώριση (βʹ) Σωστή αναγνώριση (γʹ) Σωστή αναγνώριση Σχήμα 3.35: Επιτυχημένη αναγνώριση μιας πινακίδας (αʹ) (βʹ) (γʹ) Σχήμα 3.36: Περιπτώσεις πινακίδων που δεν εντοπίστηκαν (αʹ) Λάθος αναγνώριση (βʹ) Σωστή αναγνώριση (γʹ) Λάθος αναγνώριση (δʹ) Σωστή αναγνώριση (εʹ) Λάθος αναγνώριση (στʹ) Σωστή αναγνώριση Σχήμα 3.37: Χρήση του αλγορίθμου SURF για την αναγνώριση των πινακίδων

106 (αʹ) Λάθος αναγνώριση (βʹ) Λάθος αναγνώριση (γʹ) Λάθος αναγνώριση (δʹ) Λάθος αναγνώριση (εʹ) Λάθος αναγνώριση (στʹ) Λάθος αναγνώριση Σχήμα 3.38: Χρήση του αλγορίθμου ORB για την αναγνώριση των πινακίδων (αʹ) Λάθος αναγνώριση, σωστή κατηγοριοποίηση (βʹ) Σωστή αναγνώριση (γʹ) Λάθος αναγνώριση (δʹ) Σωστή αναγνώριση (εʹ) Λάθος αναγνώριση, σωστή κατηγοριοποίηση (στʹ) Σωστή αναγνώριση Σχήμα 3.39: Χρήση του SVM για την ταξινόμηση των εντοπισμένων πινακίδων σε περιβάλλον και πινακίδες οδικής κυκλοφορίας

107 Video Hough FRST ORB SURF SVM 36 Βίντεο 1 48 = = = = = Βίντεο 2 48 = = = = = Βίντεο 3 14 = = = = = Βίντεο 4 17 = = = = = 0.38 Συγκεντρωτικά 99 αποτελέσματα 127 = = = = = 0.56 Σχήμα 3.40: Πίνακας αποτελεσμάτων συστήματος αναγνώρισης πινακίδων κυκλοφορίας

108

109 ΚΕΦΑΛΑΙΟ 4 ΛΗΨΗ ΠΛΗΡΟΦΟΡΙΩΝ ΓΙΑ ΤΗΝ ΚΑΤΑΣΤΑΣΗ ΤΟΥ ΟΧΗΜΑΤΟΣ ΜΕΣΩ ΤΗΣ ΘΥΡΑΣ OBD-II 4.1 Εισαγωγή Τα σύγχρονα οχήματα βασίζονται σε μικροϋπολογιστές για να μπορούν να λειτουργήσουν και να κινηθούν. Κάθε όχημα μπορεί να αποτελείται μέχρι και από 70 ECU (Electronic Control Unit). Κάθε ECU ελέγχει ένα ξεχωριστό κομμάτι του οχήματος, όπως κινητήρας, αναρτήσεις, ηχοσύστημα κτλ. Για την σωστή λειτουργία του αυτοκινήτου, όλοι αυτοί οι υπολογιστές πρέπει να επικοινωνούν μεταξύ τους. Για αυτό το λόγο όλα τα σύγχρονα οχήματα διαθέτουν ένα δίκτυο στο εσωτερικό τους με το οποίο επικοινωνούν τα επιμέρους τμήματά τους. Τα οχήματα που κατασκευάζονται μετά το 2001 είναι υποχρεωτικό να διαθέτουν στο εσωτερικό της καμπίνας μια θύρα από την οποία μπορεί ο οδηγός να λαμβάνει πληροφορίες για την κατάσταση του οχήματός του. Σε αυτή την ενότητα περιγράφονται οι βασικές αρχές του δικτύου στο εσωτερικό του οχήματος και ο τρόπος με τον οποίο μπορούμε να λαμβάνουμε πληροφορίες από αυτό. 89

110 90 Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II 4.2 Πρωτόκολλο CAN bus Στα πρώτα οχήματα, όλα τα επιμέρους τμήματα ήταν συνδεδεμένα μεταξύ τους σημείο προς σημείο. Αυτό είχε σαν αποτέλεσμα, να υπάρχει ένας μεγάλος όγκος καλωδίων αυξάνοντας σημαντικά την πολυπλοκότητα. Η προσθήκη ενός νέου τμήματος αλλά και η επισκευή ενός ήδη υπάρχοντος ήταν αρκετά δύσκολη διαδικασία. Για αυτό το λόγο η Bosch ξεκίνησε το 1983 την ανάπτυξη ενός πρωτοκόλλου με στόχο τη διασύνδεση των επιμέρους τμημάτων του οχήματος. Το δίκτυο αυτό ονομάστηκε CAN(Controller Area Network). Το 1986 δημοσιεύτηκε στο συνέδριο Society of Automotive Engineers(SAE) στο Detroit, Michigan. Το 1993 υιοθετήθηκε σαν πρωτόκολλο με ISO Το πρώτο όχημα με σύστημα δικτύωσης CAN κατασκευάστηκε το 1993 από την Mercedes-Benz. Το πρωτόκολλο CAN Bus αναβαθμίζετε συνεχώς και το 2012 η Bosch παρουσίασε το CAN FD 1.0 ή αλλίως CAN with flexible data rate. Το νέο πρωτόκολλο επιτρέπει την αποστολή διαφορετικού μεγέθους δεδομένων και αύξηση της ταχύτητας αν κριθεί αναγκαίο Πλεονεκτήματα CAN bus Το πρωτόκολλο CAN bus υιοθετήθηκε και από άλλους κατασκευαστές πέρα τη Mercedes-Benz. Είναι ένα από τα 5 πρωτόκολλα που χρησιμοποιούνται στο σύστημα OBD-II που διαθέτουν όλα τα σύγχρονα αυτοκίνητα. Η χρήση του συστήματος EOBD είναι υποχρεωτική για όλα τα αυτοκίνητα που πωλούνται στην Ευρώπη μετά το 2001(κινητήρας βενζίνης) και το 2004(κινητήρας πετρελαίου). Επιπλέον, μπορεί να χρησιμοποιηθεί και σε άλλες εφαρμογές εκτός από την διασύνδεση των επιμέρους υπολογιστών του αυτοκινήτου, όπως σε προσθετικά μέλη, σκάφη αναψυχής. Η γρήγορη ανάπτυξη του οφείλεται στα: 1. Χαμηλό Κόστος: Η επικοινωνία ανάμεσα σε όλες τις μονάδες γίνεται από το ίδιο δίκτυο μέσω δυο καλωδίων. 2. Centralized: Επιτρέπει την ταυτόχρονη διάγνωση και επισκευή σε όλες τις ECU. 3. Robust: Το σύστημα είναι σθεναρό όταν κάποιο υποσύστημα εμφανίσει κάποιο σφάλμα ή από την ηλεκτρονική παρεμβολή. 4. Αποδοτικό: Τα μηνύματα ανάμεσα στις ECU έχουν κάποια προτεραιότητα ανάλογα με τον κωδικό τους, ID. Αυτό σημαίνει ότι τα μηνύματα με υψηλή προτεραιότητα μεταδίδονται χωρίς να διακοπούν. 5. Ευέλικτο: Κάθε ECU περιέχει ένα κύκλωμα που της επιτρέπει να λαμβάνει και να μεταδίδει μηνύματα ενώ ταυτόχρονα μπορεί να αντιληφθεί αν προορίζονται ή όχι για αυτή. Αυτό διευκολύνει τις τροποποιήσεις στη λειτουργία κάποιας ECU αλλά και στην προσθήκη επιπλέον συσκευών όπως Data loggers.

111 Πρωτόκολλο CAN bus Μηνύματα CAN Στο πρωτόκολλο CAN όλοι οι κόμβοι δέχονται όλα τα μηνύματα που μεταδίδονται Δεν γίνεται να σταλθεί μήνυμα σε ένα συγκεκριμένο κόμβο χωρίς να το λάβουν οι υπόλοιποι. Ωστόσο, με κατάλληλα φίλτρα, στο υλικό, ο κάθε κόμβος μπορεί να αντιδρά μόνο με τα σημαντικά γι αυτόν μηνύματα. Οποιοσδήποτε κόμβος μπορεί να στείλει δεδομένα όταν δει ότι ο δίαυλος είναι κενός, άρα μπορεί να σταλθούν ταυτόχρονα παραπάνω από ένα μηνύματα. Αν ένας κόμβος με χαμηλή προτεραιότητα στείλει μήνυμα ταυτόχρονα με ένα κόμβο μεγαλύτερης προτεραιότητας τότε σταματά την αποστολή του δικού του μηνύματος και γίνεται δέκτης. Όταν τελειώσει η αποστολή του μηνύματος, τότε ο κόμβος ξαναστέλνει το δικό του μήνυμα. Η προτεραιότητα καθορίζεται από το Arbitration Field. Ο κόμβος με το μικρότερο Arbitraion field διαθέτει υψηλότερη προτεραιότητα. Τα μηνύματα δεν έχουν κάποια διεύθυνση, αλλά το περιεχόμενό τους καθορίζει τη διεύθυνσή τους. Τα μηνύματα χωρίζονται σε τέσσερις κατηγορίες: 1. Data frame 2. Remote Frame 3. Error Frame 4. Overload Frame Data frame Το Data Frame είναι ο πιο ευρέως χρησιμοποιούμενος τύπος μηνύματος του CAN bus. Στην ουσία χρησιμοποιείται για να σταλθεί ένα μήνυμα από τον ένα κόμβο στον άλλο. Το πρώτο τμήμα του μηνύματος περιέχει το Arbitration field που χρησιμοποιείται για να καθορίσει την προτεραιότητα του μηνύματος όταν ανταγωνίζονται παραπάνω από δυο κόμβοι για το δίαυλο. Είναι διαφορετικό για τις εκδόσεις CAN 2.0A και CAN 2.0B ενώ δεν σχετίζεται απαραίτητα με το περιεχόμενο του μηνύματος. Τα δεδομένα βρίσκονται στο πεδίο Data field και μπορούν να έχουν μέγεθος μέχρι και 8-byte. Το τμήμα CRC χρησιμοποιείται για την ανίχνευση λαθών. Τέλος, το acknowledgement slot χρησιμοποιείται για την επιβεβαίωση ότι έστω και ένας κόμβος έλαβε το μήνυμα, όχι όμως απαραίτητα ο κόμβος για τον οποίο προοριζόταν. Αν το acknowledgement slot παραμείνει κενό όταν το μήνυμα επιστρέψει πίσω στο πομπό τότε ξαναστέλνει το μήνυμα. Το παρακάτω σχήμα (Σχήμα 4.1) δείχνει ένα στιγμιότυπο του Data frame για τις εκδόσεις CAN 2.0A και CAN 2.0B.

112 92 Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II Σχήμα 4.1: CAN bus: Data frame Remote frame Το Remote frame χρησιμοποιείται πιο σπάνια από το Data frame. Διαθέτει και αυτό arbitration field αλλά το μήνυμα δεν περιέχει δεδομένα. Χρησιμοποιείται όταν κάποιος κόμβος ζητά κάποια δεδομένα από τους υπόλοιπους κόμβους που είναι συνδεδεμένοι στο δίαυλο. Αν για παράδειγμα ο κόμβος Α μεταδώσει ένα Remote Frame με το Arbitration Field να έχει τιμή 234, τότε ο κόμβος B μπορεί να στείλει δεδομένα με το Arbitration Field να είναι επίσης 234. Το παρακάτω σχήμα (Σχήμα 4.2) δείχνει ένα στιγμιότυπο του Remote frame. Σχήμα 4.2: CAN bus: Remote frame Error frame Το Error frame είναι ένας ειδικός τύπος μηνύματος που παραβιάζει του κανόνες ενός μηνύματος CAN. Μεταδίδεται όταν κάποιο κόμβος ανιχνεύσει ένα σφάλμα και βοηθάει και τους υπόλοιπους κόμβους να ανιχνεύσουν αυτό το σφάλμα.

113 Πρωτόκολλο CAN bus 93 Overload frame Το Overload frame στέλνεται από έναν κόμβο όταν είναι απασχολημένος. Ωστόσο, οι σύγχρονοι ελεγκτές το χρησιμοποιούν πολύ σπάνια Τεχνικά στοιχεία Όλοι οι κόμβοι που είναι συνδεδεμένοι μέσω του δικτύου CAN bus επικοινωνούν μεταξύ τους μέσω δυο καλωδίων, CAN high και CAN low. Κάθε κόμβος συνδέεται παράλληλα με το δίαυλο όπως φαίνεται και στο σχήμα 4.3. Το CAN bus 2.0 υποστηρίζει ταχύτητες μέχρι και 1 Mbit sec αρκεί το μήκος του καλωδίου να μην ξεπερνάει τα 40m. Το μέγιστο μήκος καλωδίου είναι το 1km αλλά η ταχύτητα πέφτει σε 50 kbit sec. Το CAN FD υποστηρίζει ταχύτητες μέχρι και 10 Mbit sec. Σχήμα 4.3: Διασύνδεση κόμβων συνδεδεμένους στο δίαυλο CAN bus Διαχείριση σφαλμάτων Η διαχείριση σφαλμάτων είναι ενσωματωμένη στο πρωτόκολλο CAN. Κάθε συσκευή στο δίκτυο προσπαθεί να εντοπίσει αν υπάρχει σφάλμα στο μήνυμα. Αν κάποιος κόμβος βρει ένα σφάλμα, τότε στέλνει ένα Error Flag, που διαγράφει οποιοδήποτε μήνυμα υπάρχει στο κανάλι. Οι υπόλοιποι κόμβοι εντοπίζουν το σφάλμα που προκάλεσε το Error Flag και κάνουν κατάλληλες ενέργειες. Το πρωτόκολλο CAN bus διαθέτει πέντε μεθόδους για τον εντοπισμό σφαλμάτων: 1. Bit Monitoring: Κάθε πομπός συγκρίνει το μήνυμα που στάλθηκε με αυτό που ήθελε να στείλει και αν διαφέρουν στέλνει ένα Bit Error σήμα. 2. Bit Stuffing: Για κάθε 5-Bit ίδιας στάθμης στέλνεται ένα έκτο Bit αντίθετης στάθμης, ο δέκτης παρακάμπτει το 6ο Bit. Αν υπάρξουν παραπάνω από 5 bit της ίδιας στάθμης τότε στέλνεται ένα σήμα Stuff Error.

114 94 Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II 3. Frame Check: Κάποια τμήματα του μηνύματος έχουν καθορισμένη μορφή, αν ο δέκτης εντοπίσει κάποια διαφορά τότε στέλνεται σήμα Frame Error. 4. Acknowledgement Check: Κάθε φορά που κάποιος κόμβος στέλνει ένα μήνυμα περιμένει μια απάντηση στο Acknowledgement μέρος του μηνύματος. Αν δεν υπάρχει υποτελές Bit εκεί τότε στέλνεται σήμα Acknowledgement Error. 5. Cyclic Redundancy Check: Κάθε μήνυμα έχει ένα πεδίο 15-Bit για έλεγχο λαθών, αν ο κόμβος υπολογίσει διαφορετικό CRC από αυτό του μηνύματος τότε στέλνεται CRC Error 4.3 On Board Diagnostics(OBD) Ο όρος OBD χρησιμοποιείται στην αυτοκινητοβιομηχανία και αναφέρεται στην ικανότητα ενός οχήματος να εκτελέσει διαγνωσικό έλεγχο και να επιστρέψει τα αποτελέσματα. Ο ιδιοκτήτης του οχήματος ή κάποιος τεχνικός μπορεί μέσω τς θύρας OBD να έχει πρόσβαση σε όλα τα υποσυστήματα του αυτοκινήτου. Οι πρώτες εκδόσεις του συστήματος χρησιμοποιούσαν μια ενδεικτική λυχνία στο ταμπλό του οχήματος για να ειδοποιήσουν τον οδηγό όταν υπήρχε κάποιο πρόβλημα χωρίς όμως να παρέχονται επιπλέον πληροφορίες για τη φύση του προβλήματος. Οι πιο καινούριες εκδόσεις παρέχουν μια θύρα ψηφιακής επικοινωνίας που στέλνει δεδομένα σε πραγματικό χρόνο καθώς και μια σειρά από κωδικούς διάγνωσης (Diagnostics Trouble Codes, DTC), που επιτρέπουν την άμεση αναγνώριση του προβλήματος. Η Volkswagen ήταν η πρώτη εταιρία που παρήγαγε όχημα με δυνατότητα διάγνωσης της κατάστασής του το 1968, αν και περιοριζόταν στο σύστημα καύσης. Η General Motors εισήγαγε το 1980 ένα πιο εξελιγμένο σύστημα (Assembly Line Diagnostic Link, ALDL) που μπορούσε να αναπαραστήσει DTC μέσω μοτίβων από μια ενδεικτική λυχνία στο καντράν του αυτοκινήτου. Η πρώτη υποχρεωτική χρήση μιας βασικής μορφής OBD, έγινε από την CARB(California Air Resources Board) για τα οχήματα που θα πωλούνταν στη Καλιφόρνια μετά το Ο στόχος της CARB ήταν ο έλεγχος των καυσαερίων των αυτοκινήτων. Το 1996 το σύστημα OBD-II γίνεται υποχρεωτικό για όλα τα οχήματα που προορίζονται για την Αμερική, ενώ κάποια χρόνια αργότερα, 2001, έγινε υποχρεωτικό και για τα οχήματα που θα πωλούνταν στην Ευρώπη. Το OBD-II στάνταρ καθορίζει το βύσμα και τις επαφές του βύσματος (Σχήμα 4.4), τα διαθέσιμα πρωτόκολλα επικοινωνίας και τη δομή του μηνύματος. Επιπλέον, παρέχεται μια λίστα με παραμέτρους του οχήματος για παρακολούθηση καθώς και ο τρόπος κωδικοποίησης για αυτά τα δεδομένα. Τέλος, παρέχεται μια λίστα με προκαθορισμένους κωδικούς σφαλμάτων, DTC. Με τη δημιουργία του προτύπου OBD-II, η ίδια συ-

115 On Board Diagnostics(OBD) 95 σκευή ανάγνωσης παραμέτρων μπορεί να συνδεθεί με όλα τα οχήματα. Ο βασικός λόγος που οδήγησε στη δημιουργία του προτύπου OBD-II είναι η διευκόλυνση του ελέγχου καυσαερίων επειδή ο εξοπλισμός γινόταν όλο και πιο πολύπλοκος. Οι πρώτες εκδόσεις περιείχαν κωδικούς που σχετίζονταν μόνο με τον έλεγχο των καυσαερίων, αλλά αργότερα όλο και περισσότεροι κατασκευαστές άρχισαν να χρησιμοποιούν τη θύρα OBD-II για τη διάγνωση και προγραμματισμό και άλλων συστημάτων OBD-II connector Το πρότυπο SAE J1962 παρέχει δύο τύπους βυσμάτων, που ονομάζονται type A (Σχήμα 4.4αʹ) και type B (Σχήμα 4.4βʹ). Και στις δυο περιπτώσεις πρόκειται για ένα θηλυκό βύσμα, με 16 επαφές(2*8) σε μορφή D. Και οι δυο τύποι έχουν ένα κενό ανάμεσα ανάμεσα από τις δυο σειρές επαφών αλλά στη περίπτωση του τύπου B το κενό διακόπτεται (Σχήμα 4.4βʹ). Παρατηρούμε ότι ο τύπος Β μπορεί να συνδεθεί σε τύπο Α, αλλά όχι το αντίστροφο. Ο τύπος Α χρησιμοποιείται σε οχήματα με τάση λειτουργίας τα 12V, ενώ ο τύπος Β σε οχήματα με τάση λειτουργίας τα 24V κάτι που δικαιολογεί και τη διαφορά ως προς τα κατασκευαστικά χαρακτηριστικά τους. (αʹ) Type A (βʹ) Type B Σχήμα 4.4: OBD-II connectors Όσον αφορά τη χρήση κάθε επαφής από τις 16, το πρότυπο παρέχει συγκεκριμένη λειτουργία μόνο για τις 9, ενώ για όλες τις υπόλοιπες μπορεί να επιλέξει ο κατασκευαστής (Σχήμα 4.5). Τα pins με προκαθορισμένες λειτουργίες είναι τα 2, 4, 5, 6, 7, 10, 14, 15, 16. Τα pins 2 και 10 χρησιμοποιούνται για θετική και αρνητική τάση για το σήμα PWM αντίστοιχα. Τα pins 4 και 5 αντιστοιχούν στη στη γείωση του οχήματος και του σήματος. Τα pins 6 και 14 αντιστοιχούν στα σήματα CAN-High και CAN-Low. Οι επαφές 7 και 15 αντιστοιχούν στα σήματα K-Line και L- Line με βάση τα πρότυπα ISO και ISO ενώ η επαφή 15 χρησιμοποιείται για τη τροφοδοσία της συσκευής.

116 96 Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II Σχήμα 4.5: Λειτουργία επαφών OBD-II connector Μηνύματα EOBD Το πρότυπο EOBD(European On Board Diagnostics) είναι το αντίσοιχο του OBD-II αλλά για την Ευρώπη. Το τεχνικό κομμάτι του EOBD είναι το ίδιο με το OBD-II αφού χρησιμοποιείται το ίδιο βύσμα και το ίδιο πρωτόκολλο μετάδοσης μηνυμάτων. Υπάρχουν 10 διαφορετικές διαγνωστικές λειτουργίες μέσω της θύρας OBD. 01 Εμφάνιση δεδομένων οχήματος 02 Εμφάνιση στιγμιότυπου δεδομένων οχήματος 03 Εμφάνιση αποθηκευμένων DTC 04 Εκκαθάριση DTC και αποθηκευμένων τιμών 05 Έλεγχος των αισθητήρων μέτρησης οξυγόνου 06 Έλεγχος των υπολοιπων αισθητήρων 07 Εμφάνιση άλυτων DTC 08 Διαδικασία ελέγχου του συστήματος 09 Πληροφορίες οχήματος 0A Μόνιμα DTC Η επικοινωνία μέσω της θύρας OBD βασίζεται στο πρωτόκολλο CAN bus. Ο χρήστης στέλνει ένα μήνυμα μέσω της της θύρας ζητώντας από το δίκτυο να του επιστρέψει κάποιο δεδομένο. Στις επόμενες δυο υπό-ενότητες περιγράφεται ο τύπος μηνύματος για εντοπισμό σφαλμάτων και για τη λήψη δεδομένων του οχήματος. EOBD fault codes Ένα μήνυμα για τον εντοπισμό σφαλμάτων μέσω της θύρας EOBD αποτελείται από πέντε τμήματα. Το πρώτο τμήμα αντιστοιχεί σε ένα γράμμα και χρησιμοποιείται για να περιγράψει την κατηγορία του σφάλματος, 1. P: (powertrain) δηλαδή το σύστημα μετάδοσης όπως κινητήρας, κιβώτιο ταχυτήτων 2. C: (Chasis) 3. B: (Body) 4. U: (User network)

117 On Board Diagnostics(OBD) 97 Το δεύτερο τμήμα αποτελείται από ένα νούμερο, 1. 0: Generic fault 2. 1: Manufacturer fault Το τρίτο τμήμα αποτελείται από ένα χαρακτήρα και περιγράφει το υποσύστημα που υπάρχει το σφάλμα, για παράδειγμα P00xx αναφέρεται στο υποσύστημα μέτρησης καυσίμου και αέρα και στον έλεγχο των καυσαερίων. Οι τελευταίοι δυο χαρακτήρες καθορίζουν το σφάλμα στο αντίστοιχο υποσύστημα. Μode 01 και 02 Με βάση το πρότυπο SAE J1979 κάποια PID έχουν προκαθορισμένη λειτουργία. Με βάση το πρότυπο για αυτά τα PID παρέχεται και ο τρόπος μετάφρασης των δεδομένων. Για παράδειγμα, ο κωδικός 4 αντιστοιχεί στο φορτίο του κινητήρα, επιστρέφει 1 byte δεδομένων το οποίο μεταφράζεται στο δεκαδικό ως A Ο κωδικός 12 αντιστοιχεί στις στροφές του κινητήρα, επιστρέφει 2 byte τα οποία μεταφράζονται ως 255A+B 4. Ωστόσο, κάθε κατασκευαστής μπορεί να εισάγει επιπλέον PID για την επικοινωνία με τα υπόλοιπα υποσυστήματα Σύνδεση με τη θύρα OBD Για τη σύνδεση μέσω της θύρας OBD υπάρχουν διαφορετικές συσκευές. Η πιο δημοφιλής είναι η ELM327 (Σχήμα 4.6αʹ). Πρόκειται μια συσκευή η οποία συνδέεται στη θύρα του οχήματος και μεταδίδει τα δεδομένα μέσω Bluetooth. Έχει περιορισμένες δυνατότητες και δεν εξασφαλίζει τη συνεχή επικοινωνία με το όχημα, αλλά για απλές εφαρμογές η απόδοσή της είναι αρκετά ικανοποιητική. Υπάρχουν συσκευές που εκτός από τη σύνδεση με τη θύρα OBD διαθέτουν μικροεπεξεργαστή και οθόνη για την εμφάνιση των μηνυμάτων, παρέχοντας περισσότερες δυνατότητες (Σχήμα 4.6βʹ). Τέλος, υπάρχουν πρόσθετα εξαρτήματα που μπορούν να συνδυαστούν με μικροεπεξεργαστές όπως το Arduino (Σχήμα 4.7αʹ) και το Raspberry Pi (Σχήμα 4.7βʹ) για τη δημιουργία προγραμμάτων χρησιμοποιώντας τα δεδομένα του οχήματος Λήψη δεδομένων μέσω της θύρας OBD Για τη λήψη δεδομένων από το δίκτυο του οχήματος, υπάρχουν αρκετές εφαρμογές τόσο για τον υπολογιστή (Σχήμα 4.8αʹ) όσο και για το κινητό [35] (Σχήμα 4.8βʹ). Επιπλέον, κάποιες από τις γλώσσες προγραμματισμού, C, python, java, διαθέτουν βιβλιοθήκες για τη δημιουργία προγραμμάτων που χρησιμοποιούν τα δεδομένα του οχήματος. Για το λειτουργικό σύστημα Linux υπάρχει η εφαρμογή-βιβλιοθήκη can-utils που

118 98 Λήψη πληροφοριών για την κατάσταση του οχήματος μέσω της θύρας OBD-II (αʹ) ELM327 (βʹ) OBD scanner Σχήμα 4.6: Συσκευές διασύνδεσης με τη θύρα OBD (αʹ) OBD2 Arduino shield (βʹ) OBD2 Raspberry Pi hat Σχήμα 4.7: Διασύνδεση μικροϋπολογιστών με τη θύρα OBD επιτρέπει στο χρήστη το πλήρη έλεγχο του οχήματός του από τον υπολογιστή. Με αυτή την εφαρμογή μπορεί να δει όλα τα πακέτα-μηνύματα που στέλνονται στο δίκτυο ακόμη και να τροποποιήσει κάποια. Το πρόγραμμα Wireshark επιτρέπει την παρακολούθηση των πακέτων που στέλνονται στο δίκτυο χωρίς όμως να επιτρέπει στο χρήστη τη δυνατότητα τροποποίησης. Τέλος, στο διαδίκτυο υπάρχουν αρκετά tutorial για το πως μπορεί ο χρήστης να χρησιμοποιήσει τη θύρα OBD για να ελέγξει απομακρυσμένα το όχημά του. 4.4 Δημιουργία προγράμματος για τη λήψη δεδομένων από τη θύρα OBD Η γλώσσα προγραμματισμού Python είναι από τις γλώσσες που διαθέτουν μια αρκετά καλή βιβλιοθήκη που υλοποιεί το κομμάτι επικοινωνίας με το αυτοκίνητο. Είναι συμβατή με τον αντάπτορα ELM327, ακόμη και με την Bluetooth έκδοσή του. Επιπλέον, έχει αποθηκευμένα αρκετά από τα standard PID μαζί με την αντίστοιχη συνάρτηση μετατροπής των δεδομένων από το δυαδικό στο δεκαδικό σύστημα. Ωστόσο, ο χρήστης

119 Δημιουργία προγράμματος για τη λήψη δεδομένων από τη θύρα OBD 99 (αʹ) Εφαρμογή για τον υπολογιστή (βʹ) Εφαρμογή για το κινητό Σχήμα 4.8: Λήψη και προβολή δεδομένων μέσω της θύρας OBD μπορεί να στείλει και άλλα PID αρκεί να έχει τη κατάλληλη συνάρτηση μετατροπής. Στο πρώτο στάδιο της εφαρμογής, γίνεται αναζήτηση για τον αντάπτορα σύνδεσης με τη θύρα OBD-II και στη συνέχεια υλοποιείται η σύνδεση. Εφόσον επιτευχθεί η σύνδεση ο χρήστης μπορεί να ζητήσει οποιοδήποτε δεδομένο θέλει, αρκεί να υποστηρίζεται από το όχημά του. Ένα από τα μειονεκτήματα χρήσης του ELM327 είναι ότι δεν παρέχει σταθερή ταχύτητα μετάδοσης των δεδομένων. Για παράδειγμα, μπορεί τη πρώτη φορά να χρειαστεί 50ms από τη στιγμή αίτησης για τα δεδομένα και την αμέσως επόμενη να χρειαστεί 100 ή ακόμη και 300ms. Ένα άλλο μειονέκτημα είναι ότι σε κάποιες περιπτώσεις μπορεί να μην επιστρέψει καθόλου δεδομένα ή να χάσει τη σύνδεση. Αυτά τα δύο πολύ σημαντικά μειονεκτήματα, κάνουν δύσκολη τη χρήση του σε εφαρμογές πραγματικού χρόνου που χρειάζονται σταθερότητα. Ωστόσο, το χαμηλό του κόστος και με κατάλληλη τροποποίηση του προγράμματος υπέρ-καλύπτουν τα μειονεκτήματά του. Η λήψη δεδομένων για την κατάσταση του οχήματος και πιο συγκεκριμένα για την κίνησή του είναι αρκετά χρήσιμα αν συνδυαστούν με το σύστημα αναγνώρισης της οδικής σήμανσης που προτείνετε στις προηγούμενες ενότητες. Το πρώτο στοιχείο που μπορούμε να χρησιμοποιήσουμε είναι η ταχύτητα του οχήματος. Αν η ταχύτητα του οχήματος δεν ξεπεράσει κάποιο κατώτατο όριο, όπως τα 30 km h το σύστημα δεν θα ενεργοποιείται. Επιπλέον, μπορούμε να ρυθμίσουμε τα fps της κάμερα με βάση τη ταχύτητα. Όταν το όχημα κινείται με χαμηλή ταχύτητα δεν διανύει πολύ μεγάλη απόσταση ανά καρέ, αυτό σημαίνει ότι ανάμεσα σε δυο διαδοχικές εικόνες δεν θα έχουν αλλάξει πολλά πράγματα, άρα το σύστημα θα μπορεί να παραλείψει κάποια. Όσο αυξάνεται η ταχύτητα του οχήματος θα αυξάνονται και τα fps που επεξεργάζεται. Ένα άλλο δεδομένο που θα ήταν αρκετά χρήσιμο είναι η γωνία στροφής του τιμονιού. Με βάση τη γωνία μπορούμε να εκτιμήσουμε τη πορεία του οχήματος, να τη συγκρίνουμε με τις λωρίδες που εντοπίστηκαν και να ειδοποιήσουμε τον οδηγό όταν το όχημα κινδυνεύει να βγει από τη λωρίδα του. Ωστόσο, ο κωδικός PID για τον αι-