ιπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ : ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΕΡΓΑΣΤΗΡΙΟ ΗΛΕΚΤΡΟΝΙΚΩΝ ΕΦΑΡΜΟΓΩΝ ιπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Πρωτονοτάριου Ιωάννη του Κωνσταντίνου Αριθμός Μητρώου: 6072 Θέμα «Ανάπτυξη Συστήματος Ενσωματωμένων Αισθητήρων για Ασύρματη Μετάδοση Εικόνας και εδομένων» Επιβλέπων Καλύβας Γρηγόριος Αριθμός ιπλωματικής Εργασίας: Πάτρα, Φεβρουάριος 2011

2

3 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η ιπλωματική Εργασία με θέμα «Ανάπτυξη Συστήματος Ενσωματωμένων Αισθητήρων για Ασύρματη Μετάδοση Εικόνας και εδομένων» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Πρωτονοτάριου Ιωάννη του Κωνσταντίνου Αριθμός Μητρώου:6072 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων: Ο ιευθυντής του Τομέα: Καλύβας Γρηγόριος Αναπληρωτής Καθηγητής Χούσος Ευθύμιος Καθηγητής

4

5 Αριθμός ιπλωματικής Εργασίας: «Ανάπτυξη Συστήματος Ενσωματωμένων Αισθητήρων για Ασύρματη Μετάδοση Εικόνας και εδομένων» Φοιτητής: Πρωτονοτάριος Ιωάννης Επιβλέπων: Καλύβας Γρηγόριος

6

7 Ευχαριστίες Θα ήθελα να ευχαριστήσω όλους όσους με βοήθησαν και με στήριξαν σε αυτό το διάστημα εκπόνησης της διπλωματικής μου εργασίας. Καταρχάς θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή κ. Γρηγόριο Καλύβα για την άψογη συνεργασία και βοήθεια που μου προσέφερε κατά τη διάρκεια της συνεργασίας μας. Επίσης όλους τους μεταπτυχιακούς φοιτητές του εργαστηρίου ηλεκτρονικών εφαρμογών καθώς και τον κ. Χατζηγιαννάκη για τις πολύτιμες συμβουλές του. Τέλος, θα ήθελα να ευχαριστήσω την οικογένειά μου για την αμέριστη συμπαράστασή που μου έδειξε σε όλη την ακαδημαϊκή μου πορεία. Πρωτονοτάριος Ιωάννης

8

9 Περίληψη Η ανάγκη για την έγκαιρη αντιμετώπιση καταστροφών στις μέρες μας αυξάνεται συνεχώς. Ο λόγος είναι ότι η συχνότητα των ηθελημένων καταστροφών (εμπρησμοί, τρομοκρατικές ενέργειες) έχει αυξηθεί. Ο σχεδιασμός και η παραγωγή συστημάτων ασφαλείας που θα εποπτεύουν ένα χώρο χωρίς να παραβιάζουν τα προσωπικά δεδομένα είναι ένα νέο πεδίο έρευνας. Ένα σημαντικό κομμάτι ενός τέτοιου συστήματος είναι η αναγνώριση φωτιάς μόνο με τη χρήση οπτικών αισθητήρων. Στη παρούσα διπλωματική εργασία μελετάμε διάφορες προηγούμενες τεχνικές αναγνώρισης φωτιάς και περιγράφουμε ένα επιθυμητό σύστημα. Στη συνέχεια παρουσιάζουμε τα κομμάτια του συστήματος που αναπτύξαμε και τα εργαλεία που χρησιμοποιήθηκαν, όπως το ασύρματο δίκτυο και τη βιβλιοθήκη ανοικτού λογισμικού OpenCv. Το σύστημά μας έχει στόχο να ειδοποιήσει ένα κέντρο ελέγχου για μία πιθανή εκδήλωση φωτιάς. Αυτό το πετυχαίνει επεξεργάζοντας τα δεδομένα που λαμβάνει από μία δικτυακή κάμερα και δημιουργώντας στιγμιότυπα που θα επιτρέψουν στους χειριστές του κέντρου να επαληθεύσουν την ύπαρξη της φωτιάς. Το σύστημα έχει τη δυνατότητα εκτός από την ασύρματη αποστολή των δεδομένων, να τα αποθηκεύσει τοπικά στη περίπτωση που δεν καταστεί δυνατή ή αποστολή, ώστε να ανακτηθούν αργότερα από το συνεργείο διάσωσης.

10

11 Abstract The need of prompt disaster relief actions is increasing rapidly today. The main reason is that the frequency of the intentional disasters (fires, terror acts) has increased. The design and production of unattended surveillance/alarm systems that respect the privacy and civil liberties of people is a new field of research. Fire detection using only video sensors is an integral component of such a system. In the present diploma thesis we study the various different approaches of video fire detection and we describe our systems' goals. Then we describe the main components of our system and the various tools that were used, such as the wireless network architecture and the open-source library OpenCv. The system suggested triggers an alarm and notifies a central station in the event of a fire break-out. This is carried through by processing data from an ip-camera and by creating a video with the frames that will allow the personnel at the station to verify the fire. The system also has the use of a "black box". If for any reason the communication is not possible, data is preserved until it is physically recuperated by the rescue team.

12

13 Περιεχόμενα 1 Εισαγωγή Αντιμετώπιση καταστροφών Περιγραφή συστήματος Παρουσίαση επιμέρους στοιχείων του συστήματος Embeded platform - PC/ Η αρχιτεκτονική PC/ ISIS XPe Acti ACM Ασύρματο δίκτυο Τεχνικές αναγνώρισης φωτιάς Προηγούμενες Προσεγγίσεις Απαιτήσεις εφαρμογής Η βιβλιοθήκη μηχανικής όρασης OpenCv Εισαγωγή στην OpenCv Διαθέσιμες εκδόσεις Τα δομικά στοιχεία της OpenCv Τα πλεονεκτήματα της OpenCv Εφαρμογές της OpenCv Μηχανική Όραση Τεχνικές αφαίρεσης φόντου

14 4 Περιεχόμενα 5 Αναλυτική περιγραφή του συστήματος που αναπτύχθηκε Αναγνώριση κίνησης Έλεγχος χρώματος Επιτυχής αναγνώριση και αντιμετώπιση Χρόνος αποστολής βίντεο A 59

15 Κατάλογος σχημάτων 1.1 Η βασική αρχιτεκτονική του συστήματος Ένα σύστημα βασισμένο στην αρχιτεκτονική PC/ Το αναπτυξιακό κιτ Οι είσοδοι-έξοδοι του αναπτυξιακού Η αρχιτεκτονική του ISIS board H acti ACM Το MeshMAX Το Tsunami MP Κατάσταση αναμονής του συστήματος Επικοινωνία με το κέντρο μετά το συμβάν Ο ρυθμός μεταγωγής σε συνάρτηση με την απόσταση Το SNR με οπτική επαφή Το SNR στα 750 μέτρα χωρίς οπτική επαφή Παράδειγμα εικόνας με χρώμα φωτιάς Τα συστατικά μέρη της OpenCv Το πώς βλέπει ο υπολογιστής το τμήμα μιας εικόνας Η δισδιάστατη εικόνα είναι συνάρτηση της γωνίας θέασης Το διάγραμμα ροής του αλγορίθμου Η κίνηση του χεριού αναγνωρίζεται και σημειώνεται με λευκό χρώμα στη μάσκα που δημιουργείται Αναγνώριση των επιθυμητών χρωμάτων

16 6 Κατάλογος σχημάτων 5.4 Λανθασμένη αναγνώριση χρώματος φωτιάς, που διορθώνεται με την αναγνώριση κίνησης

17 Κεφάλαιο 1 Εισαγωγή 1.1 Αντιμετώπιση καταστροφών Τα τελευταία χρόνια είμαστε μάρτυρες μίας διαρκώς αυξανόμενης συχνότητας τρομοκρατικών επιθέσεων κατά απλών πολιτών, σε μέσα μαζικής μεταφοράς και δημόσιους χώρους συγκέντρωσης. Πέραν της πρόληψης πρέπει να είμαστε σε θέση να αντιμετωπίσουμε αυτές τις καταστροφές άμεσα και αποτελεσματικά. Σε αυτή τη κατεύθυνση αναπτύχθηκε το σύστημα που θα παρουσιαστεί στη παρούσα διπλωματική εργασία. Είναι ένα σύστημα που έχει ως σκοπό και στόχο να κάνει μια γρήγορη αξιολόγηση του συμβάντος και να ενημερώσει το σωστικό συνεργείο για τον αριθμό και τη κατάσταση των θυμάτων. Παραδείγματος χάριν σε μια έκρηξη βόμβας σε ένα τρένο, το σύστημά μας θα μαζέψει απαραίτητες πληροφορίες που θα χρειαστεί το συνεργείο διάσωσης όπως τη θέση και τον αριθμό των επιβατών του κάθε βαγονιού και θα τις αποστείλει, αν είναι δυνατόν, σε ένα απομακρυσμένο κέντρο ελέγχου. Αν δεν είναι δυνατή η αποστολή τους, θα αποθηκευτούν τοπικά για να ανακτηθούν αργότερα από το συνεργείο διάσωσης, θα παίξουν δηλαδή το ρόλο του "μαύρου κουτιού". Προφανώς το σύστημα θα λειτουργεί και σε άλλες περιπτώσεις όπως σε μία φυσική καταστροφή, ή γενικά στο να αναγνωρίσει μια οποιαδήποτε 7

18 8 Εισαγωγή φωτιά που προκλήθηκε κατά λάθος ή επίτηδες. Το σύστημα αυτό μπορεί να βρει χρήση σε μέσα μαζικής μεταφοράς (οχήματα και σταθμούς) και αλλά δημόσια μέρη που συγκεντρώνεται κόσμος. Μπορεί να περιγραφεί γενικά ως ένα σύστημα αυτόματης παρακολούθησης, μιας και δεν απαιτεί τη διαρκή παρουσία ανθρώπου. Μπορεί να βοηθήσει στα στα αρχικά στάδια του συμβάντος, που είναι και τα πιο κρίσιμα, άρα να αποτελέσει τη βάση για τη συνολική χάραξη της πορείας δράσης του σωστικού συνεργείου. Επιπροσθέτως είναι καλύτερο από τα κλασσικά συστήματα παρακολούθησης στο ότι δεν είναι παρεμβατικό όσον αφορά τα προσωπικά δεδομένα των πολιτών που εποπτεύει. Αυτό διασφαλίζεται από το γεγονός ότι θα αποθηκεύσει και θα στείλει δεδομένα μόνο όταν υπάρξει συμβάν. 1.2 Περιγραφή συστήματος Το σύστημα που αναπτύχθηκε έχει στόχο να χρησιμοποιηθεί σε δημόσιους χώρους ή χώρους συγκέντρωσης πλήθους, όπως μέσα μαζικής μεταφοράς, τρένα, πλοία, κλπ. Το μέσο που επιλέχθηκε για την ενημέρωση του σωστικού συνεργείου στο σύστημα που αναπτύχθηκε είναι το βίντεο λόγω της πληρότητας της πληροφορίας του. Για τη σύλληψη του βίντεο χρησιμοποιείται μια δικτυακή κάμερα για λόγους ποιότητας εικόνας, ασφάλειας, ευκολίας στις καλωδιώσεις καθώς και ευκολιών στη μετατροπή και αποστολή του βίντεο. Η κάμερα αυτή είναι υψηλής ανάλυσης, με δυνατότητα σύλληψης βίντεο μέχρι και στα 30 καρέ ανά δευτερόλεπτο. Η ενσύρματη σύνδεση της μέσω ethernet προσφέρει αρκετό bandwidth ικανό για την απροβλημάτιστη μεταφορά του βίντεο προς επεξεργασία. Η καρδία του συστήματος είναι μια ενσωματωμένη πλατφόρμα αρχιτεκτονικής PC/104 με εξαιρετικές επεξεργαστικές δυνατότητες και χαμηλή κατανάλωση. Τα συστήματα αρχιτεκτονικής PC/104 είναι ει-

19 Περιγραφή συστήματος 9 Train Coach WiFi/WiMAX WiMAX IP camera IP camera Switch PC/104 Control Center Σχήμα 1.1: Η βασική αρχιτεκτονική του συστήματος. δικού σκοπού, και εγγυώνται τη σωστή λειτουργία τους σε ακραίες συνθήκες. Συγκεκριμένα η πλατφόρμα που χρησιμοποιήσαμε λειτουργεί από τους 0 έως και τους 70 βαθμούς Κελσίου. Είναι εξοπλισμένη με τον ισχυρό επεξεργαστή Intel Atom και με 2 GB μνήμης DDR2. Το σύστημα αφορά μέσα μεταφοράς, γεγονός που υπαγορεύει τη χρησιμοποίηση ασύρματου δικτύου για τη μεταφορά του βίντεο στο κέντρο ελέγχου και το σωστικό συνεργείο. Στο σενάριο χρησιμοποίησης του συστήματος σε υπόγειες σήραγγες τρένου το περιβάλλον στο οποίο θα κληθεί να λειτουργήσει το ασύρματο δίκτυο είναι εξαιρετικά ιδιαίτερο. Λόγω αυτού του ιδιαίτερου περιβάλλοντος χρησιμοποιήθηκε υλικό ικανό για συνδέσεις μεγάλης απόστασης καθώς και υψηλής ταχύτητας. Η ικανότητα αυτή επιβεβαιώθηκε με μετρήσεις σε τούνελ

20 10 Εισαγωγή αυτοκινητόδρομων μεγάλου μήκους χωρίς οπτική επαφή των κόμβων και ιδιαίτερων χαρακτηριστικών όπως μεγάλη κλίση και αυξημένη κίνηση. Συγκεκριμένα, κάθε χώρος υπό παρακολούθηση καλύπτεται από τον απαιτούμενο αριθμό καμερών που συνδέονται μέσω ενσύρματου δικτύου ethernet με την ενσωματωμένη πλατφόρμα αρχιτεκτονικής PC/104. Η πλατφόρμα επικοινωνεί ασύρματα μέσω δικτύου WiFi με μια συσκευή που έχει 2 ασύρματες διεπαφές, μια WiFi και μια WiMAX. Με τη χρήση του WiMAX δικτύου επικοινωνεί το σύστημα με το σταθμό βάσης και το κέντρο ελέγχου. Όλα τα στοιχεία του συστήματος παρουσιάζονται λεπτομερώς στο επόμενο κεφάλαιο. Η ενσωματωμένη πλατφόρμα επεξεργάζεται το βίντεο που παίρνει από τις κάμερες με έναν αλγόριθμο αναγνώρισης φωτιάς σε πραγματικό χρόνο. Όταν ο αλγόριθμος αναγνωρίσει φωτιά, δημιουργεί ένα βίντεο αποτελούμενο από τα καρέ στα οποία έχει αναγνωριστεί η φωτιά και αυτό αποστέλλεται στο κέντρο ελέγχου για να εξεταστεί η κατάσταση και να παρθούν τα απαραίτητα μέτρα. Ο αλγόριθμος αυτός, που είναι και το σημαντικότερο κομμάτι της παρούσας διπλωματικής εργασίας περιγράφεται αναλυτικά στο τελευταίο κεφάλαιο.

21 Κεφάλαιο 2 Παρουσίαση επιμέρους στοιχείων του συστήματος 2.1 Embeded platform - PC/ Η αρχιτεκτονική PC/104 Το PC/104 είναι ένα πρότυπο ενσωματωμένου υπολογιστικού συστήματος που ορίζει τη μορφή καθώς και το δίαυλο επικοινωνίας του και ελέγχεται από τη κοινοπραξία PC/104 [13]. Το πρότυπο αυτό χρησιμοποιείται για ειδικού σκοπού ενσωματωμένα υπολογιστικά περιβάλλοντα, όπου οι εφαρμογές εξαρτώνται από την αξιοπιστία στην επεξεργασία των δεδομένων παρά το ακραίο περιβάλλον στο οποίο καλούνται να λειτουργήσουν. Η συγκεκριμένη μορφή του κάνει δυνατή τη πώληση του από διανομείς COTS (Consumer out-of the Shelf) γεγονός που μειώνει το κόστος αφού δεν απαιτείται εκ νέου σχεδιασμός του κάθε συστήματος. Σχεδιάστηκε πρώτη φορά από την Ampro το 1987, και τυποποιήθηκε αργότερα από τη κοινοπραξία PC/104 το Επίσης συντάχθηκε ένα πρότυπο για την IEEE, το IEEE P996.1, αλλά ποτέ δεν επικυρώθηκε. 11

22 12 Παρουσίαση επιμέρους στοιχείων του συστήματος Σχήμα 2.1: Ένα σύστημα βασισμένο στην αρχιτεκτονική PC/104. Σε αντίθεση με το δημοφιλές πρότυπο ATX που υλοποιεί το δίαυλο PCI και χρησιμοποιείται από σχεδόν όλα τα PCs, το PC/104 δε χρησιμοποιεί μια κύρια πλακέτα για να στηρίζει τις κάρτες επέκτασης, αλλά επιτρέπει στη κάθε μια να ενωθεί με τη γειτονική της, δημιουργώντας έτσι μια στοίβα. Αυτή η μέθοδος έχει σαν αποτέλεσμα μια πιο συμπαγή και στιβαρή κατασκευή από αυτή των PCs. Το μέγεθος της πλακέτας που ορίζει το πρότυπο του PC/104 είναι in. ( mm), ενώ το ύψος περιορίζεται από το μέγεθος των συνδετήρων, ώστε να εξασφαλίζεται ότι δεν θα υπάρχουν επιπλοκές με τις γειτονικές πλακέτες. Ένα τυπικό σύστημα περιλαμβάνει μια μητρική πλακέτα, έναν μετατροπέα αναλογικού σήματος σε ψηφιακό, καθώς και άλλα περιφερειακά όπως δέκτη GPS, ελεγκτές IEEE και USB. PC/104 O δίαυλος PC/104 έχει εξελιχθεί με τα χρόνια. Ο πρώτος που τυποποιήθηκε το 1992 χρησιμοποιούσε 104 ακίδες, αποτελούμενες απο όλες τις ακίδες του διαύλου ISA καθώς και επιπρόσθετες ακίδες για γείωση ώστε να διασφαλιστεί η αξιοπιστία του διαύλου. Ο χρονισμός των σημάτων καθώς και τα επίπεδα τάσης είναι ίδια με του διαύλου ISA αλλά με χαμηλότερες απαιτήσεις

23 Embeded platform - PC/ ρεύματος. PC/104-Plus Η επόμενη έκδοση είναι ή PC/104-Plus όπου προστέθηκε υποστήριξη για το δίαυλο PCI, εκτός από τον ISA. Το όνομα προέρχεται από αυτό το γεγονός ακριβώς, ότι έχει επιπρόσθετα(plus) και το δίαυλο PCI. Αναπτύχθηκε το PCI-104 Στο πρότυπο PCI-104 υλοποιείται ο δίαυλος PCI αλλά όχι και ο ISA έτσι ώστε να αυξηθεί ο διαθέσιμος χώρος στη πλακέτα για άλλο υλικό. Αυτό το πρότυπο είναι μη συμβατό με το PC/104 και αναπτύχθηκε το PCI/104-Express Στο πρότυπο αυτό υλοποιείται επιπροσθέτως ο δίαυλος x16 PCI Express (PCIe) εκτός από τον PCI. Ο συνδετήρας του, 156 ακίδων, είναι συμβατός με το PC/104 το EPIC καθώς και το EBX. Αναπτύχθηκε το EBX Το πρότυπο Embedded Board expandable είναι ένα πρότυπο υπολογιστή που υλοποιείται σε μία μόνο πλακέτα διαστάσεων 5.75 x Το EBX βασίζεται στο IEEE-P996(ISA), PC/104, PC/104-Plus, PCI και PCMCIA. EPIC Το πρότυπο Embedded Platform for Industrial Computing είναι ένα πρότυπο υπολογιστή που υλοποιείται σε μία μόνο πλακέτα όπως και το EBX αλλά είναι μικρότερό του. EPIC Express Αυτό το πρότυπο είναι βασισμένο στο EPIC με τη μόνη διαφορά ότι υποστηρίζει PCI Express ISIS XPe H καρδιά του συστήματος εντοπίζεται στο αναπτυξιακό ενσωματωμένο κιτ της Eurotech [14], ISIS XPe develompment kit. Αυτό όπως βλέπουμε και στο σχήμα 2.2 αποτελείται από:

24 14 Παρουσίαση επιμέρους στοιχείων του συστήματος Τη κύρια πλακέτα Την οθόνη NEC 8.4" Τον αισθητήρα αφής της οθόνης Τη πλακέτα του αισθητήρα αφής Μια κάρτα ήχου Τη πλακέτα εισόδου-εξόδου με όλες τις υπάρχουσες επαφές - σχήμα 2.3 Σε αυτή τη πλακέτα και συγκεκριμένα στη θύρα ethernet συνδέεται η κάμερα ή ένα switch στο οποίο μπορούν να συνδεθούν πολλές κάμερες. Άλλοι αισθητήρες μπορούν να συνδεθούν στις σειριακές θύρες ή στις θύρες USB, όπου συνδέεται το WiFi dongle για την επικοινωνία με το ασύρματο δίκτυο. Το κιτ αυτό προσφέρει ένα έτοιμο περιβάλλον ανάπτυξης εφαρμογών που μας γλυτώνει από σπατάλη πολύτιμου χρόνου. Είναι σχεδιασμένο με βάση την αρχιτεκτονική PC/104 και υποστηρίζει τα εξής χαρακτηριστικά: PC/104-Plus (PCI bus). PC/104 (ISA bus). PCI Express Mini Card socket. 10/100 Ethernet with MDI/MDI-X. 24-bit LVDS (8.4" 800x600 FDP). Analogue VGA interface. Intel High Definition Audio. Parallel ATA (IDE) port.

25 Embeded platform - PC/ Σχήμα 2.2: Το αναπτυξιακό κιτ.

26 16 Παρουσίαση επιμέρους στοιχείων του συστήματος Σχήμα 2.3: Οι είσοδοι-έξοδοι του αναπτυξιακού. 4 USB 2.0 ports. Bootable PATA NAND Flash. GPS receiver (προαιρετικά). One RS232/485/422 serial port. Touchscreen controller (Eurotech s TSC1). PS/2 mouse and keyboard SDIO socket. Το συγκεκριμένο κιτ είχε και το δέκτη GPS για το προσδιορισμό της θέσης του, ώστε σε περίπτωση ατυχήματος να είναι και αυτή η πληροφορία διαθέσιμη στο σωστικό συνεργείο. Στο σύστημα που αναπτύχθηκε στη παρούσα διπλωματική εργασία δεν έγινε χρήση αυτού του δέκτη. Είναι εφοδιασμένο με τον επεξεργαστή της Intel ATOM χρονισμένο στα 1.6GHz και το chipset US15W SCH. O πρώτος καταναλώνει 2 W ενώ το δεύτερο 2.3 W πράγμα που το καθιστά πολύ

27 Acti ACM Σχήμα 2.4: Η αρχιτεκτονική του ISIS board. συμφέρον από άποψη κατανάλωσης αλλά και ικανό να τροφοδοτηθεί και μόνο από μπαταρία. Συνολικά το αναπτυξιακό καταναλώνει 20W λόγω και της οθόνης. Έχει ενσωματωμένη nand μνήμη 2GB αρκετή για να φιλοξενήσει το λειτουργικό σύστημα Windows XP Embedded αλλά και την εφαρμογή που αναπτύχθηκε. Επίσης αυτή η μνήμη θα χρησιμοποιηθεί για να αποθηκευτούν τα δεδομένα τοπικά πριν σταλθούν στο σταθμό βάσης. Στο σχήμα 2.4 παρουσιάζεται ακριβώς η αρχιτεκτονική του ISIS board. Συμπερασματικά, το αναπτυξιακό κιτ ISIS XPe μας προσφέρει μια αναπτυξιακή πλατφόρμα αρχιτεκτονικής x86 σε πολύ μικρό μέγεθος αλλά με αυξημένες δυνατότητες και επεξεργαστική ισχύ κρατώντας ταυτόχρονα τη κατανάλωση σε πολύ χαμηλά επίπεδα.

28 18 Παρουσίαση επιμέρους στοιχείων του συστήματος Σχήμα 2.5: H acti ACM-5601.

29 Acti ACM Acti ACM-5601 Η κάμερα που χρησιμοποιήθηκε για τη σύλληψη του έγχρωμου βίντεο στο σύστημά μας είναι της Acti corp. [15], το μοντέλο ACM- 5601(Σχήμα 2.5). Είναι μια συσκευή τελευταίας τεχνολογίας στο χώρο της ψηφιακής σύλληψης και αποστολής βίντεο. Έχει τη δυνατότητα να συμπιέζει και να μεταδίδει βίντεο σε πραγματικό χρόνο ποιότητας SXGA( ) καταναλώνοντας ένα λογικό εύρος ζώνης ενός δικτύου TCP/IP. Αυτό το επιτυγχάνει γιατί είναι σχεδιασμένη για το πρότυπο Ethernet και εξοπλισμένη με τον ισχυρό επεξεργαστή ARM9 SoC που προσφέρει αρκετή ισχύ ώστε να είναι δυνατή η ροή βίντεο σε πραγματικό χρόνο συμπιεσμένο κατά τα πρότυπα του MPEG4 ή MJPEG σε ανάλυση megapixel. Είναι εφοδιασμένη με τον προηγμένο αισθητήρα προοδευτικής σάρωσης CMOS της Aptina, μεγέθους mm που απαιτεί ελάχιστο φωτισμό 0.5 lux. Στη μέγιστη ανάλυση συλλαμβάνει βίντεο με 8 καρέ ανά δευτερόλεπτο, ενώ σε ανάλυση VGA( ) με 30 καρέ ανά δευτερόλεπτο. Έχει ψηφιακή έξοδο και είσοδο ήχου για αμφίδρομη μεταφορά και προσφέρει τη δυνατότητα για αναγνώριση κίνησης σε επίπεδο υλικού. Έχει ψηφιακή είσοδο και έξοδο μέσω των οποίων μπορεί να επικοινωνήσει με άλλες συσκευές, παραδείγματος χάριν με εξωτερικούς αισθητήρες που θα της δώσουν σήμα να αρχίσει να καταγράφει και να στέλνει βίντεο στο δίκτυο. Τέλος, έχει τη δυνατότητα τροφοδοσίας μέσω του καλωδίου ethernet, PoE, πράγμα που τη καθιστά ιδανική για την εγκατάσταση στο βαγόνι ή και γενικά σε απομακρυσμένη τοποθεσία από άλλη πηγή τροφοδοσίας. Για το δικό μας σύστημα επιλέχθηκε η VGA ανάλυση ώστε να έχουμε υψηλό ρυθμό σύλληψης καρέ (30/sec) ώστε να είναι δυνατή ή αναγνώριση της κίνησης σε μικρό χρονικό διάστημα αλλά και τα δεδομένα προς επεξεργασία να είναι μικρότερα σε μέγεθος λόγω της περιορισμένης επεξεργαστικής ισχύος. Η κάμερα συνδέεται σε switch όπως και το ενσωματωμένο PC/104 άλλα και το MESHMax 5054 που θα πε-

30 20 Παρουσίαση επιμέρους στοιχείων του συστήματος ριγραφεί στην επόμενη ενότητα. Με τη σωστή διευθυνσιοδότηση όταν ο αλγόριθμος που αναπτύχθηκε τρέχει, επικοινωνεί το ενσωματωμένο με τη κάμερα μέσω του ενσωματωμένου http server και λαμβάνει τη ροή των καρέ. 2.3 Ασύρματο δίκτυο Ο απώτερος στόχος του συστήματος είναι να στείλει ένα βίντεο συγκεκριμένου μεγέθους στο σταθμό βάσης για ανάλυση και εκτίμηση της κατάστασης και του συμβάντος στο βαγόνι. Για αυτό το λόγο χρησιμοποιήθηκαν διάφορες συσκευές που περιγράφονται αναλυτικά παρακάτω για τη σύσταση ενός ασύρματου δικτύου ικανού να στείλει τα απαραίτητα δεδομένα μέσα σε ένα ιδιαίτερο περιβάλλον, όπως είναι αυτό του της σήραγγας του μετρό. H ιδιαιτερότητά του έγκειται στο ότι οι σταθμοί του δικτύου που πρέπει να επικοινωνήσουν σχεδόν πάντα δεν έχουν οπτική επαφή. Το σήμα υπόκειται σε συνεχείς αντανακλάσεις με αποτέλεσμα το φαινόμενο multipath που εισαγάγει θόρυβο με τη μορφή του intersymbol interference [16]. Οι αντανακλάσεις οφείλονται στο περιβάλλον (τοιχώματα του τούνελ, αμαξίδια, ράγες) με αποτέλεσμα να υποβαθμίζεται η ποιότητα του σήματος σημαντικά. Για το λόγο αυτό, διενεργήθηκαν μετρήσεις στα τούνελ της περιμετρικής Πατρών που μας δίνουν σαφείς ενδείξεις για το αν η εφαρμογή του συστήματος είναι εφικτή. Κάθε βαγόνι θα είναι εφοδιασμένο με το ενσωματωμένο PC/104 που θα είναι συνδεδεμένο με τις δικτυακές κάμερες που θα το εποπτεύουν. Το ενσωματωμένο θα έχει ένα WiFi USB dongle για να επικοινωνεί με το MeshMAX 5054 της Proxim [17]. Η εν λόγω συσκευή, σχήμα 2.6, συνδυάζει τρεις διαφορετικές ασύρματες διεπαφές. Μια b/g WiFi στην οποία συνδέεται και το PC/104, μια WORP στην ελεύθερη περιοχή των 5 GHz για την επικοινωνία με το σταθμό βάσης, και μια WiFi Mesh a για την επικοινωνία της συσκευής

31 Ασύρματο δίκτυο 21 με τα άλλα MeshMAX Κάθε συρμός θα έχει 2 MeshMAX 5054 σε κάθε άκρη. Σχήμα 2.6: Το MeshMAX 5054 Οι σταθμοί βάσης θα έχουν τα Tsunami MP.11 (Σχήμα 2.7) για την επικοινωνία με τους συρμούς. Αυτή επιτυγχάνεται με τη χρήση του πρωτοκόλλου WORP (Wireless Outdoor Router Protocol) που είναι σχεδιασμένο για τη βελτιστοποίηση των συνδέσεων point-to-point και point-to-multipoint εξωτερικού χώρου. Διασφαλίζει ότι δεν θα υπάρξουν συγκρούσεις πακέτων και προσφέρει βελτιωμένο bandwidth, περισσότερους κόμβους ταυτόχρονα συνδεδεμένους στο σταθμό βάσης, ασύμμετρο εύρος και δυνατότητα εμφάνισης στατιστικών της κάθε σύνδεσης. Οι κεραίες που χρησιμοποιήθηκαν ήταν μια sector 17dBi στο σταθμό βάσης και μια panel 18dBi στο κόμβο με το ενσωματωμένο και το MeshMAX Ουσιαστικά, κάθε κόμβος ή MeshMAX 5054 συνδέεται με βάση το πρωτόκολλο WORP σε ένα σταθμό βάσης, και μέσω WiFi συνδέεται το ενσωματωμένο σύστημα στο MeshMAX Η δυνατότητα αυτή του MeshMAX 5054 να έχει 3 διαφορετικά radio μας επιτρέπει να τοποθετήσουμε σε κάθε βαγόνι μόνο ένα ενσωματωμένο σύστημα και

32 22 Παρουσίαση επιμέρους στοιχείων του συστήματος Σχήμα 2.7: Το Tsunami MP.11 κάμερες που επικοινωνούν έμμεσα με το σταθμό βάσης, μειώνοντας έτσι το κόστος. Η βασική αρχιτεκτονική παρουσιάστηκε στο σχήμα 1.1. Αν υπάρξει κάποιο συμβάν, στη περίπτωση αυτής της διπλωματικής φωτιά, τότε τα σχήματα 2.8 και 2.9 παρουσιάζουν τη πορεία που θα ακολουθήσουν τα δεδομένα. Το κυρίως τούνελ στο οποίο έγιναν οι μετρήσεις είναι μήκους 800 μέτρων, 7 μέτρων ύψους και 9 μέτρων πλάτους με καμπύλη τέτοια ώστε η οπτική επαφή να χάνεται στα 200 μέτρα περίπου. Οι μετρήσεις περιλάμβαναν αποστολή TCP πακέτων ανά 10 δευτερόλεπτα και η μέγιστη ταχύτητα μεταφοράς σε συνάρτηση με την απόσταση των 2 κόμβων παρουσιάζεται στο παρακάτω πίνακα : Ο λόγος σήματος προς θόρυβο(snr) όσο υπήρχε οπτική επαφή μεταξύ των κόμβων ήταν της τάξης των 70 db και μειώθηκε ως τα 42 db στα 750 μέτρα χωρίς οπτική επαφή, όπως βλέπουμε και στα σχήματα 2.11 και 2.12.

33 Ασύρματο δίκτυο 23 Σχήμα 2.8: Κατάσταση αναμονής του συστήματος. Σχήμα 2.9: Επικοινωνία με το κέντρο μετά το συμβάν.

34 24 Παρουσίαση επιμέρους στοιχείων του συστήματος Σχήμα 2.10: Ο ρυθμός μεταγωγής σε συνάρτηση με την απόσταση. Σχήμα 2.11: Το SNR με οπτική επαφή.

35 Ασύρματο δίκτυο 25 Σχήμα 2.12: Το SNR στα 750 μέτρα χωρίς οπτική επαφή.

36 26 Παρουσίαση επιμέρους στοιχείων του συστήματος

37 Κεφάλαιο 3 Τεχνικές αναγνώρισης φωτιάς Η αναγνώριση φωτιάς μέσω βίντεο μπορεί να είναι πολύ χρήσιμη σε περιπτώσεις όπου οι κλασσικές μέθοδοι δε μπορούν να χρησιμοποιηθούν. Αισθητήρες θερμοκρασίας, καπνού και σωματιδίων χρησιμοποιούνται συχνά για την αναγνώριση φωτιάς(davis et al. [10],Cleary et al.[9]). Αυτές οι μέθοδοι απαιτούν οι αισθητήρες να είναι κοντά στη φωτιά για να την αναγνωρίσουν. Επίσης δεν είναι πάντα αξιόπιστες μιας και δεν αναγνωρίζουν την ίδια τη φωτιά αλλά παράγωγά της. Οι περισσότερες αναγνωρίζουν καπνό, ο οποίος θα μπορούσε να παραχθεί και με άλλους τρόπους, όπως από ένα τσιγάρο ή να έχει μεταφερθεί από αλλού. Επίσης υπάρχουν μέθοδοι οπτικής αναγνώρισης που βασίζονται μόνο σε φασματική ανάλυση που συνεπάγεται χρήση ακριβού εξοπλισμού. Αυτές οι μέθοδοι εκτός από τη περιορισμένη χρήση τους λόγω του κόστους πάλι έχουν μικρή αποτελεσματικότητα μιας και αναγνωρίζουν χρώμα μόνο, άρα δημιουργούν λανθασμένους συναγερμούς σε περιπτώσεις αντικειμένων ίδιου χρώματος με τη φωτιά, όπως ο ήλιος. Τα παραπάνω έχουν οδηγήσει πολλούς ερευνητές να αναπτύξουν μεθόδους αναγνώρισης φωτιάς χρησιμοποιώντας για είσοδο μόνο βί- 27

38 28 Τεχνικές αναγνώρισης φωτιάς ντεο από απλές κάμερες του εμπορίου, όπως webcams ή ip κάμερες. Αυτές δεν απαιτείται να είναι υψηλής ανάλυσης η να συλλαμβάνουν καρέ με πολύ υψηλό ρυθμό. Επίσης με τις σύγχρονες βιβλιοθήκες για επεξεργασία εικόνας οι απαιτήσεις για επεξεργαστικούς και αποθηκευτικούς πόρους είναι περιορισμένες. Επίσης οι κάμερες παρακολούθησης CCTV είναι ευρέως διαδεδομένες πράγμα που καθιστά αυτές τις μεθόδους ένα ανέξοδο μέσο μιας και δεν απαιτείται επιπλέον εγκατάσταση εξοπλισμού. 3.1 Προηγούμενες Προσεγγίσεις Η πρώτη μέθοδος, Healey et al., 1993 [1] χρησιμοποιεί τη χρωματική πληροφορία της εικόνας και τη πιθανή κίνηση για να εξάγουν το αποτέλεσμα. Συγκεκριμένα κατά την αρχικοποίηση της κάμερας δημιουργούνται πολύγωνα που εξαρτώνται κυρίως από την απόσταση της από τη περιοχή που εποπτεύεται, πράγμα που καθιστά αυτή τη μέθοδο δύσκολη στην εφαρμογή της και επιλεκτική, μιας και η κάμερα πρέπει να είναι σε σταθερή θέση. Μια επόμενη μέθοδος, Foo, 1995 [2] εξάγει αποτέλεσμα χρησιμοποιεί στατιστικές μεθόδους που εφαρμόζονται σε ασπρόμαυρο βίντεο τραβηγμένο με κάμερες υψηλής ταχύτητας. Αυτή απαιτεί πάλι η κάμερα να είναι σταθερή και το βασικότερο, μπορεί να εφαρμοστεί σε περιοχές που δεν υπάρχει σχεδόν τίποτα άλλο που θα μπορούσε να χαρακτηριστεί ως φωτιά. Επίσης δεν μπορεί να εφαρμοστεί με κάμερες κανονικής ταχύτητας των 30 καρέ ανά δευτερόλεπτο, όπως είναι οι περισσότερες του εμπορίου. Μια άλλη μέθοδος, Plumb, 1996 [3] χρησιμοποιεί αισθητήρες θερμότητας που αλλάζουν ένταση ανάλογα με τη θερμοκρασία. Μια κάμερα που συλλαμβάνει ασπρόμαυρο βίντεο χρησιμοποιείται για να ελέγχει αυτές τις αλλαγές έντασης στις διάφορες περιοχές που συμβαίνουν. Έχοντας πληροφορία από πολλούς αισθητήρες για τη ροή

39 Προηγούμενες Προσεγγίσεις 29 της θερμότητας το σύστημα μπορεί με ακρίβεια να εντοπίσει τη θέση της φωτιάς. Αυτή η μέθοδος έχει μεγάλη ακρίβεια, αλλά απαιτεί πολλούς αισθητήρες και σωστή αρχικοποίηση τους. Η μέθοδος που προτείνεται από τους Phillips et al., 2002 [4] χρησιμοποιεί μόνο έγχρωμο βίντεο και δεν απαιτεί ή κάμερα να είναι σταθερή. Μπορεί να ανιχνεύσει τη φωτιά σε σχεδόν οποιοδήποτε περιβάλλον αρκεί να γίνεται χρήση μιας κάμερας με δυνατότητα σύλληψης καρέ στο ρυθμό των 30 ανά δευτερόλεπτο. Αρχικά ελέγχει αν υπάρχει χρώμα φωτιάς στο καρέ που επεξεργάζεται συγκρίνοντας το με τιμές χρώματος που έχει βρει από μια διαδικασία εκμάθησης με εικόνες που περιέχουν φωτιά. Στη συνέχεια, ελέγχει αν αυτές οι περιοχές έχουν κίνηση και αν αυτή η κίνηση παραμένει τότε με μια πιθανότητα ανακοινώνεται η ύπαρξη φωτιάς. Μια πιο πολύπλοκη μέθοδος προτείνεται από τους Yamagishi et al., 1999 [5] όπου στο πρώτο βήμα εξάγεται το περίγραμμα της φωτιάς χρησιμοποιώντας τη χρωματική πληροφορία ενός μοντέλου στο HSV σύστημα. Οι συντεταγμένες κάθε μιας περιοχής μετατρέπονται σε πολικές, και τοποθετούνται σε μια σειρά. Μετά, εξάγεται από αυτή τη σειρά η πληροφορία από τη διακύμανση των τιμών αυτών ως χρονική και τοπική συνάρτηση. Ο μετασχηματισμός Fourrier αυτής της συνάρτησης γίνεται μετά η είσοδος σε ένα νευρωνικό δίκτυο. Η μέθοδος δίνει καλά αποτελέσματα, αλλά δεν δύναται να χρησιμοποιηθεί σε σύστημα πραγματικού χρόνου, μιας και η υπολογιστική πολυπλοκότητα είναι πολύ υψηλή. Επίσης υπάρχει σχετική δουλειά όπως των Phillips et al. από τους Celik et al., 2007 [6] και άλλους που χρησιμοποιούν μόνο πληροφορία από έγχρωμη κάμερα και μετά από εξαγωγή του προσκηνίου και έλεγχο χρώματος έχουν καλά ποσοστά επιτυχίας. Άλλες μέθοδοι χρησιμοποιούν δορυφορικές εικόνες και βίντεο, σε συστήματα όμως που βρίσκουν εφαρμογή μόνο για αναγνώριση φωτιάς σε δάση, άρα χωρίς σημαντικές πληροφορίες για τη δική μας εφαρμογή. Επίσης

40 30 Τεχνικές αναγνώρισης φωτιάς πολλά συστήματα χρησιμοποιούν και αισθητήρες σωματιδίων για να αυξήσουν το ποσοστό επιτυχίας τους, αλλά και αυτή η περίπτωση δεν ισχύει στο δικό μας σύστημα μιας και η μόνη είσοδος θα είναι η κάμερα. 3.2 Απαιτήσεις εφαρμογής Το σύστημά μας προβλέπει την ύπαρξη αισθητήρων εικόνας σε κάθε βαγόνι ώστε να είναι δυνατή η παρακολούθηση όλων των πιθανών περιοχών εκδήλωσης φωτιάς. Αυτό σημαίνει ότι οι κάμερες θα είναι σε σταθερά σημεία και η περιοχή εποπτείας θα έχει σταθερό φωτισμό. Το μεγάλο πρόβλημα που καλείται να αντιμετωπίσει ο αλγόριθμός μας είναι ότι από τη φύση του το περιβάλλον του βαγονιού αλλάζει συνεχώς. Ο κόσμος μπαινοβγαίνει και κινείται συνεχώς και υπάρχουν συνεχείς αναταραχές της κάμερας λόγω της κίνησης του βαγονιού. Αυτά τα στοιχεία μας οδηγούν στο να επιλέξουμε έναν αλγόριθμο που θα πρέπει να μην επηρεάζεται από τη γενική κίνηση της εικόνας καθώς και να αναγνωρίζει τη διαφορά μεταξύ κινούμενης περιοχής χρώματος φωτιάς και της πραγματικής φωτιάς. Ένα χαρακτηριστικό παράδειγμα είναι ένα παιδί που φοράει μια μπλούζα στο χρώματα της φωτιάς όπως αυτό της εικόνας 3.1. Όταν εισέλθει στο βαγόνι, ο αλγόριθμος θα αναγνωρίσει τη κίνηση στο κάδρο άρα θα ελέγξει τη περιοχή στην οποία υπάρχει κίνηση για τα ζητούμενα χρώματα. Το παιδί με τη μπλούζα αυτή θα πρέπει να μην αναγνωριστεί ως φωτιά. Γιαυτό το λόγο ο αλγόριθμος φροντίζει να ελέγχει τη πιθανή περιοχή για κάποιο συγκεκριμένο χρονικό διάστημα. Ο αλγόριθμος που αναπτύχθηκε έχει βάση τον αλγόριθμο που προτείνεται από τον Phillips et al., 2002 [4]. Το πρώτο του βήμα είναι ο έλεγχος για κίνηση με τη τεχνική αφαίρεσης φόντου όπως αναφέρεται στο τέλος του κεφαλαίου 4. Οι απαιτήσεις για αυτό το βήμα είναι σημαντικές. Πρέπει ο αλγόριθμος να αναγνωρίζει τη κίνηση στο κάδρο

41 Απαιτήσεις εφαρμογής 31 Σχήμα 3.1: Παράδειγμα εικόνας με χρώμα φωτιάς. αλλά όχι τη συνολική κίνηση από αναταράξεις τις κάμερας. Την ίδια στιγμή το φόντο του κάδρου είναι μόνιμα το ίδιο, χωρίς σημαντικές περιοδικές αλλαγές όπως θα μπορούσε να συμβαίνει σε ένα κάδρο σε εξωτερικό χώρο. Το δεύτερο βήμα είναι ο έλεγχος του χρώματος των pixel της περιοχής με κίνηση. Για αυτό το βήμα πρέπει να δοθούν στον αλγόριθμο οι σωστές περιοχές χρώματος ώστε η αναγνώριση του χρώματος της φωτιάς να είναι όσο το δυνατόν ακριβέστερη. Σε ένα περιβάλλον με πολύ κόσμο τα χρώματα που θα ελέγξει ο αλγόριθμος είναι πολλά, άρα αυξάνεται και η πιθανότητα λάθους. Αν αναγνωριστεί επιτυχώς χρώμα φωτιάς σε περιοχή με κίνηση, τότε το καρέ υπό επεξεργασία χαρακτηρίζεται ως πιθανό καρέ φωτιάς. Το ενδεχόμενο σε μια περιοχή που έχουμε κίνηση να υπάρξουν τα χρώματα της φωτιάς σε ένα περιβάλλον όπως αυτό του βαγονιού ή κάποιον άλλο χώρο συγκέντρωσης είναι πολύ πιθανό. Για αυτό το λόγο δεν θεωρούμε ότι υπάρχει φωτιά από το πρώτο κιόλας καρέ που

42 32 Τεχνικές αναγνώρισης φωτιάς παίρνει το χαρακτηρισμό αυτό. Αν αυτός ο χαρακτηρισμός δοθεί και στα επόμενα συνεχόμενα καρέ, τότε έχουμε και επιτυχή αναγνώριση φωτιάς. Ο αριθμός των συνεχόμενων καρέ που απαιτείται ώστε να αναγνωριστεί τελικά η φωτιά εξαρτάται από το περιβάλλον και το πόσο ευαίσθητο θέλουμε να είναι το σύστημά μας. Ο αλγόριθμος και τα βήματά του περιγράφονται αναλυτικά στο κεφάλαιο 5.

43 Κεφάλαιο 4 H βιβλιοθήκη ανοικτού λογισμικού μηχανικής όρασης OpenCv 4.1 Εισαγωγή στην OpenCv H OpenCv είναι μια βιβλιοθήκη μηχανικής όρασης (computer vision) ανοικτού λογισμικού που αναπτύχθηκε αρχικά από την Intel και είναι ελεύθερη για εμπορική και ερευνητική χρήση υπο την άδεια ανοικτού λογισμικού BSD. Αυτό σημαίνει ότι μπορεί να γίνει ελεύθερη χρήση όλης η μέρους της βιβλιοθήκης για την ανάπτυξη ενός εμπορικού η ερευνητικού προϊόντος από τον οποιοδήποτε [11]. Η βιβλιοθήκη είναι ανεξάρτητη πλατφόρμας και είναι γραμμένη σε optimized C. Αποτελείται απο περισσότερες από 500 συναρτήσεις σε C και διάφορες κλάσεις σε C++. Έχει σχεδιαστεί με στόχο την αποτελεσματική εκμετάλλευση των υπολογιστικών πόρων και με έμφαση στις εφαρμογές πραγματικού χρόνου.η Intel έχει επίσης αναπτύξει ένα σύνολο ρουτινών χαμηλού προγραμματιστικού επιπέδου, το Integraded Performance Primitives(IPP), το οποίο χρησιμοποιείται σε πολλές αλγοριθμικές περιοχές και αν είναι εγκατεστημένο η OpenCv 33

44 34 Η βιβλιοθήκη μηχανικής όρασης OpenCv θα το χρησιμοποιήσει για να επιταχύνει τα προγράμματα που τη χρησιμοποιούν. Πρέπει να σημειωθεί ότι αυτό το σύνολο ρουτινών δεν είναι απαραίτητο για τη χρήση της OpenCv Διαθέσιμες εκδόσεις και υποστηριζόμενα λειτουργικά συστήματα Η OpenCv είναι διαθέσιμη σε Linux, Mac OS και Windows. Η τελευταία της έκδοση, 2.1.0, μπορεί να βρεθεί στο Sourceforge. Η πρωτη έκδοση ανακοινώθηκε το 2000 στο συνέδριο Computer Vision and Pattern Recognition και από τότε ενημερώνεται συνεχώς Τα δομικά στοιχεία της OpenCv H OpenCv περιέχει πάνω από 500 συναρτήσεις κατάλληλες για πολλές διαφορετικές εφαρμογές στους τομείς της οπτικής επεξεργασίας, όπως ιατρικές εφαρμογές που αφορούν εικόνα και βίντεο, κλειστό κύκλωμα παρακολούθησης, ασφάλεια, ρομποτική, ρύθμιση κάμερας,διεπαφή χρήστη και υπολογιστή. Επειδή υπάρχει ισχυρή συσχέτιση μεταξύ μηχανικής όρασης και μηχανικής εκμάθησης, η OpenCv περιέχει και μια βιβλιοθήκη μηχανικής εκμάθησης γενικού σκοπού (MLL - Machine Learning Library). Αυτή η ειδική βιβλιοθήκη εστιάζει στην αναγνώριση προτύπων με στατιστικές μεθόδους και στην ομαδοποίηση. Χρησιμοποιείται σε οποιοδήποτε πρόβλημα μηχανικής όρασης λόγω της γενικής μορφής της. Η OpenCv δομείται κυρίως από 5 συστατικά μέρη, 4 από τα οποία παρουσιάζονται στο σχήμα 4.1. Το πρώτο στο σχήμα με την ονομασία CV, αναπαριστά τους βασικούς αλγορίθμους για επεξεργασία εικόνας αλλά και τους υψηλού επιπέδου για τη μηχανική όραση. Το δεύτερο, ML, αναπαριστά τη βιβλιοθήκη μηχανικής μάθησης που περιλαμβάνει εργαλεία για ομαδοποίηση και στατιστική ταξινόμηση. Το τρίτο, HighGUI, αναπαριστά τις ρουτίνες εισόδου-εξόδου, τις συναρτήσεις

45 Εισαγωγή στην OpenCv 35 Σχήμα 4.1: Τα συστατικά μέρη της OpenCv για τη προβολή και την αποθήκευση των βίντεο και γενικά ό,τι έχει να κάνει με τη διεπαφή χρήστη-εφαρμογής. Τέλος, το CxCore περιέχει τις βασικές δομές δεδομένων όπως το IplImage, τη βασική δομή στην OpenCv που περιγράφει με λεπτομέρεια το κάθε καρέ προς επεξεργασία. Το τελευταίο δομικό μέρος της OpenCv είναι το CvAux που περιέχει αλγορίθμους που δε χρησιμοποιούνται πολύ γιατί είναι σε πειραματικό στάδιο ή που έχουν απλά εγκαταλειφθεί Τα πλεονεκτήματα της OpenCv To βασικότερο πλεονέκτημα της OpenCv είναι η ταχύτητα. Αυτός είναι και ο βασικός λόγος που δημιουργήθηκε εξ αρχής γιατί η Intel ήθελε να δείξει πόσο προχωρημένοι ήταν οι επεξεργαστές τις που μπορούσαν να επεξεργάζονται βίντεο σε πραγματικό χρόνο. Το δεύτερο είναι ότι ενώ είναι ελεύθερο λογισμικό υποστηρίζεται από εταιρίες όπως η Intel, η IBM πανεπιστήμια όπως το Stanford,

46 36 Η βιβλιοθήκη μηχανικής όρασης OpenCv το MIT και πλήθος άλλων οργανισμών και εργαστηριών που βοηθούν συνεχώς στην ανάπτυξή της. Ένα άλλο πλεονέκτημα είναι ότι δεν απαιτεί περίπλοκα μηχανήματα και εξοπλισμούς, αφού και η πιο απλή webcam είναι αρκετή για είσοδο εικόνας και ο πιο απλός προσωπικός υπολογιστής είναι ικανός για την επεξεργασία της Εφαρμογές της OpenCv Οι επιστήμονες και οι ακαδημαϊκοί που ασχολούνται με τη μηχανική όραση γνωρίζουν πραγματικά τις δυνατότητες της και το ευρύ φάσμα στο οποίο χρησιμοποιείται. Οι περισσότεροι γνωρίζουν κάποια από τα πλεονεκτήματα της μηχανικής όρασης και λίγες εφαρμογές της. Οι πιο γνωστές εφαρμογές της είναι στα συστήματα παρακολούθησης και σε εικόνες και βίντεο στο διαδίκτυο. Η πραγματική δύναμή της φαίνεται σε περιοχές που δεν είναι ευρέως γνωστό ότι χρησιμοποιείται όπως σε διεπαφές παιχνιδιών και σε άλλες εντυπωσιακές όπως στους περισσότερους εναέριους χάρτες και χάρτες δρόμων (όπως στο Google Street View) όπου χρησιμοποιούν κατά κόρον τεχνικές συγκόλλησης εικόνων και ευθυγράμμισης και διόρθωσης της εικόνας από παραμορφώσεις που εισαγάγει ο φακός. Άλλες χρήσεις της είναι σε μη-επανδρωμένα οχήματα (γενικά στη ρομποτική) ή βιοϊατρικές αναλύσεις. Ένας σημαντικός κλάδος στον οποίο κερδίζει έδαφος είναι η βιομηχανία. Σχεδόν όλα τα προϊόντα που παράγονται μαζικά έχουν επιθεωρηθεί σε κάποιο στάδιο της παραγωγής από συστήματα μηχανικής όρασης. Από την πρώτη της έκδοση τον Ιανουάριο του 1999, η OpenCv έχει χρησιμοποιηθεί σε πολλές εφαρμογές, προϊόντα και ερευνητικές μελέτες. Αυτές οι εφαρμογές περιλαμβάνουν τον συγκερασμό εικόνων σε δορυφορικούς και διαδικτυακούς χάρτες, τη μείωση του θορύβου σε ιατρικές εικόνες, τα αυτόματα συστήματα ελέγχου και ασφαλείας, στρατιωτικές εφαρμογές και μη-επανδρωμένα οχήματα (εναέρια, υπο-

47 Μηχανική Όραση 37 βρύχια, επίγεια). Έχει χρησιμοποιηθεί ακόμα σε αναγνώριση ήχου και μουσικής. Η OpenCv ήταν ένα βασικό συστατικό του συστήματος όρασης του ρομπότ από το πανεπιστήμιο Stanford, του "Stanley", το οποίο κέρδισε το DARPA Grand Challenge αγώνα δρόμου ρομπότ στην έρημο. 4.2 Μηχανική Όραση Η μηχανική όραση είναι ο μετασχηματισμός της πληροφορίας από μια εικόνα ή ένα βίντεο σε μία απόφαση είτε σε μία καινούργια αναπαράσταση. Όλοι αυτοί οι μετασχηματισμοί γινονται για την επίτευξη κάποιου συγκεκριμένου στόχου. Μια απόφαση μπορεί να είναι "αυτή η εικόνα έχει 2 πρόσωπα μέσα" ή "αυτό το αντικείμενο βρίσκεται στη βάση των γνωστών αντικειμένων". Μια καινούργια αναπαράσταση είναι η μετατροπή μιας έγχρωμης εικόνας σε ασπρόμαυρη, ή ο υπολογισμός των ιστογραμμάτων μιας εικόνας ή η αφαίρεση της γενικής κίνησης της κάμερας από μια ακολουθία εικόνων. Είναι δύσκολο να κατανοήσουμε το πώς δουλεύει η μηχανική όραση γιατί δεν γνωρίζουμε ακριβώς πώς λειτουργεί η ανθρώπινη. Είμαστε όντα που χρησιμοποιούμε την όραση για να κάνουμε πάρα πολλά πράγματα ασυναίσθητα. Ο ανθρώπινος εγκέφαλος διαιρεί το σήμα της όρασης σε πολλά κανάλια που διοχετεύουν διαφορετικά είδη πληροφοριών μέσα στον εγκέφαλο. Ο εγκέφαλος έχει ένα σύστημα προσοχής που διαπιστώνει ποια είναι τα σημαντικότερα μέρη μιας εικόνας υποβαθμίζοντας την υπόλοιπη. Υπάρχουν πολλά πράγματα σχετικά με την όραση που δεν έχουν κατανοηθεί ακόμη πλήρως. Υπάρχουν πολλές συσχετισμένες είσοδοι που προέρχονται από αισθητήρες που ελέγχονται από μύες αλλά και από τις υπόλοιπες αισθήσεις, επιτρέποντας έτσι στον εγκέφαλο να συνδυάσει τις πληροφορίες και να τις συσχετίσει με τις εμπειρίες που αποκτήθηκαν μέσω διάφορων βιωμάτων από την στιγμή της γέννησης μας. Οι διάφορες πληροφορίες μέσα

48 38 Η βιβλιοθήκη μηχανικής όρασης OpenCv Σχήμα 4.2: Το πώς βλέπει ο υπολογιστής το τμήμα μιας εικόνας στον εγκέφαλό μας περνούν όλα τα στάδια της επεξεργασίας συμπεριλαμβανομένων και του μηχανισμού που ελέγχει την ποσότητα του φωτός που περνά μέσα στην ίριδα του ματιού και φτάνει στην επιφάνεια του αμφιβληστροειδή, επιτρέποντας την λειτουργία των δικών μας αισθητήρων, των ματιών. Στα συστήματα μηχανικής όρασης όμως, ο υπολογιστής λαμβάνει ένα πίνακα αριθμών από μια κάμερα ή από το δίσκο. Πρέπει να φροντίσει να αναγνωρίσει ένα αντικείμενο με βάση ένα σύστημα αναγνώρισης προτύπων, ίσως να καθορίσει στη κάμερα την εστίαση, το χρόνο κλείστρου και άλλες λεπτομέρειες που το ανθρώπινο μάτι έχει μάθει εμπειρικά να κάνει. Το σχήμα 4.2 δείχνει την εικόνα ενός αυτοκινήτου. Στο πλαίσιο βλέπουμε το καθρέφτη του οδηγού. Ο υπολογιστής όμως "βλέπει" κάτι εντελώς διαφορετικό. Βλέπει ένα πίνακα αριθμών που περιγράφουν

49 Μηχανική Όραση 39 τη ζητούμενη πληροφορία μαζί με πολύ θόρυβο. Η διαδικασία μηχανικής όρασης έγκειται στο να μετατρέψουμε αυτή τη θορυβώδη πληροφορία σε κάτι εκμεταλλεύσιμο, και ειδικά στη πληροφορία "καθρέφτης οδηγού". Το πραγματικό πρόβλημα της μηχανικής όρασης παρουσιάζεται στο επόμενο σχήμα, 4.3. Το πρόβλημα όπως αντιλαμβανόμαστε είναι πρακτικά αδύνατο να λυθεί. Δοθείσης μιας δισδιάστατης αναπαράστασης ενός τρισδιάστατου κόσμου, δεν υπάρχει μοναδικός τρόπος να ανακατασκευάσουμε το τρισδιάστατο σήμα. Ένα τέτοιο πρόβλημα δεν μπορεί να έχει μοναδική λύση, ή και ακόμα κάποια λύση. Η δισδιάστατη εικόνα θα μπορούσε να αναπαριστά ένα άπειρο συνδυασμό από τρισδιάστατες σκηνές ακόμη και αν τα δεδομένα δεν ήταν αλλοιωμένα από θόρυβο και παραμορφώσεις. Όμως τα δεδομένα είναι αλλοιωμένα από θόρυβο και παραμορφώσεις που προέρχονται από διάφορες αλλαγές στο περιβάλλοντα κόσμο όπως αλλαγές καιρού, φωτισμού, ανακλάσεων, κίνησης γενικής ή μερικής καθώς από ατέλειες ή αστοχίες του υλικού, των καμερών, των φακών τους, του αισθητήρα, της συμπίεσης πριν τη δική μας επεξεργασία κ.α.. Το πρόβλημα αυτό, στο σχεδιασμό πρακτικών συστημάτων, μπορεί να ξεπεραστεί μερικώς με την επιπλέον γνώση που μας παρέχεται από τις παράπλευρες πληροφορίες. Παραδείγματος χάριν, ένα ρομπότ που κινείται και πρέπει να βρει και να μετακινήσει ένα συρραπτικό μέσα σε ένα κτήριο. Το ρομπότ χρησιμοποιεί το δεδομένο ότι το γραφείο είναι ένα αντικείμενο που βρίσκεται σε ένα δωμάτιο του κτηρίου και ότι το συρραπτικό συνήθως βρίσκεται μέσα σε ένα γραφείο. Αυτή η πληροφορία μας λέει ότι τα συρραπτικά πρέπει να έχουν μέγεθος κατάλληλο για να χωράνε μέσα σε ένα γραφείο. Επίσης αποκλείονται όλα τα άλλα μέρη πέραν του γραφείου για να ψάξει το ρομπότ, όπως ένα παράθυρο ή ένας διάδρομος. Το βασικότερο δεδομένο είναι ότι το ρομπότ θα έχει πρόσβαση σε μια βάση δεδομένων με φωτογραφίες από αληθινά συρραπτικά, άρα θα αποκλείσει περίεργα ή τεράστια γιατί ο

50 40 Η βιβλιοθήκη μηχανικής όρασης OpenCv Σχήμα 4.3: Η δισδιάστατη εικόνα είναι συνάρτηση της γωνίας θέασης

51 Μηχανική Όραση 41 άνθρωπος έχει τη τάση να βγάζει τα συνηθισμένα όταν πρόκειται για τέτοιες περιπτώσεις. Επίσης η θέση του αντικειμένου στη φωτογραφία είναι πάντα στο κέντρο, σε συγκεκριμένες δηλαδή συντεταγμένες, πράγμα που μας δείχνει ότι υπάρχει μια ασυνείδητη και υπονοούμενη πληροφορία όταν τη φωτογραφία τη παίρνει άνθρωπος. Αυτές ακριβώς τις πληροφορίες από τα συμφραζόμενα μπορούμε να μοντελοποιήσουμε με τεχνικές εκμάθησης μηχανών. Οι κρυμμένες μεταβλητές όπως το μέγεθος μπορούν να συσχετιστούν με τις τιμές τους μέσα σε ένα σύνολο εκμάθησης, και να χρησιμοποιηθούν μετά. Εναλλακτικά, μπορούμε να προσπαθήσουμε να μετρήσουμε τις κρυμμένες μεταβλητές χρησιμοποιώντας επιπρόσθετους αισθητήρες. Η χρήση ενός laser μας δίνει τη δυνατότητα να μετρήσουμε με ακρίβεια την απόσταση ή το μέγεθος ενός αντικειμένου. Το επόμενο πρόβλημα που αντιμετωπίζει η μηχανική όραση είναι ο θόρυβος. Συνήθως αντιμετωπίζουμε το θόρυβο με τη χρήση στατιστικών μεθόδων στο χρόνο. Άλλες τεχνικές αντιμετωπίζουν το θόρυβο ή τις διαστρεβλώσεις με την οικοδόμηση των επεξηγηματικών μοντέλων που μαθαίνονται άμεσα από τα διαθέσιμα στοιχεία. Παραδείγματος χάριν, οι παραμορφώσεις που εισαγάγει ένας φακός στην εικόνα, ένα γνωστό πρόβλημα, διορθώνονται σχεδόν τελείως αρκεί να γνωρίζουμε τις παραμέτρους ενός απλού πολυωνύμου ειδικού για τη περιγραφή αυτών των παραμορφώσεων. Οι ενέργειες ή οι αποφάσεις που προσπαθεί να πάρει η μηχανική όραση βασισμένη στα δεδομένα από φωτογραφικές μηχανές εκτελείται στα πλαίσια ενός συγκεκριμένου σκοπού ή ενός στόχου. Μπορεί να θελήσουμε να αφαιρέσουμε το θόρυβο από μια εικόνα ούτως ώστε το σύστημα ασφαλείας μας να μας ειδοποιήσει εάν κάποιος προσπαθεί να σκαρφαλώσει σε ένα φράκτη ή επειδή χρειαζόμαστε ένα σύστημα παρακολούθησης που να μετρά πόσοι άνθρωποι περνούν μέσω μιας περιοχής σε ένα λούνα παρκ.

52 42 Η βιβλιοθήκη μηχανικής όρασης OpenCv Προϊόντα λογισμικού μηχανικής όρασης για ρομπότ που περιπλανώνται μέσα σε κτήρια γραφείων είναι λογικό να υιοθετήσουν διαφορετικές στρατηγικές από τα αντίστοιχα για ακίνητες κάμερες ασφαλείας επειδή τα δύο συστήματα έχουν μεγάλες διαφορές στα περιβάλλοντα που λειτουργούν και στους στόχους που θέλουν να επιτύχουν. Ο γενικός κανόνας είναι: όσο πιο περιορισμένο είναι το πλαίσιο περιγραφής του προβλήματος, τόσο περισσότερο μπορούμε να απλοποιήσουμε το πρόβλημα άρα και να οδηγηθούμε σε μια αξιόπιστη λύση. Η OpenCv στοχεύει στη παροχή των βασικών εργαλείων που απαιτούνται για να λυθούν τα προβλήματα της μηχανικής όρασης. Σε μερικές περιπτώσεις, οι υψηλού επιπέδου λειτουργίες της βιβλιοθήκης είναι επαρκείς για να λύσουν τα πιο σύνθετα προβλήματα της μηχανικής όρασης. Ακόμα και όταν δεν έχουμε μια τέτοια περίπτωση, τα βασικά συστατικά της βιβλιοθήκης είναι αρκετά πλήρη για να επιτρέψουν την εξεύρεση μιας πλήρους λύσης σε σχεδόν οποιοδήποτε πρόβλημα μηχανικής όρασης. Στην τελευταία περίπτωση, υπάρχουν διάφορες επιβεβαιωμένες μέθοδοι εκμετάλλευσης της βιβλιοθήκης, όλες με αρχικό βήμα να χρησιμοποιηθούν όσο το δυνατόν περισσότερες συναρτήσεις της βιβλιοθήκης είναι δυνατόν. Το επόμενο βήμα μετά από αυτή τη πρόχειρη λύση είναι να δούμε που υπάρχουν αδυναμίες και να προσπαθήσουμε να τις διορθώσουμε με τη δική μας εφευρετικότητα και βασισμένοι στο συγκεκριμένο πρόβλημα που όντως έχουμε. Μετά μπορούμε να συγκρίνουμε την υπό ανάπτυξη λύση μας με την αρχική για να δούμε το ποσοστό της βελτίωσης. Οι περαιτέρω αδυναμίες μπορούν να αντιμετωπιστούν στα πλαίσια ανάπτυξης ολόκληρου του συστήματος, όχι μεμονωμένα στο κομμάτι που αναπτύχθηκε τελευταίο και ήταν προς ενσωμάτωση Τεχνικές αφαίρεσης φόντου Ένα από τα προβλήματα που θα κληθούμε να λύσουμε είναι αυτό της αναγνώρισης κίνησης στο βίντεο, ώστε να αυξήσουμε το ποσοστό

53 Μηχανική Όραση 43 επιτυχίας του αλγορίθμου. Αυτό επιτυγχάνεται μέσω της εξαγωγής του φόντου. Υπάρχουν διάφορες τεχνικές εξαγωγής φόντου (background subtraction): Running Gaussian Average Temporal median filter Mixture of Gaussians Kernel density estimation(kde) Sequential KD approximation Coocurence of image variations Eigenbackgrounds Η πρώτη, όπως προτείνεται από τους Wren et al. [8], ορίζει στις τελευταίες n τιμες κάθε pixel μια συνάρτηση πυκνότητας πιθανότητας (Probability Density Function - PDF). Για να μην ορίζεται σε κάθε νέο καρέ από την αρχή η PDF, υπολογίζεται ένας τρέχοντας μέσος όρος(μ.ο.): µ t = αi t + (1 α)µ t 1 όπου I t είναι η τρέχουσα τιμή του pixel και µ t είναι ο προηγούμενος Μ.Ο..Το α είναι μια εμπειρική σταθερά που συνήθως ορίζει τη σχέση μεταξύ ταχύτητας ανανέωσης και σταθερότητας. H άλλη παράμετρος της PDF, η τυπική απόκλιση, σ t δεν ορίζεται ακριβώς στο [8] αλλά υπολογίζεται παρομοίως. Εκτός από τη ταχύτητα αυτή η μέθοδος έχει και το καλό της μικρής κατανάλωσης μνήμης: για κάθε pixel χρειάζονται μόνο οι δύο παράμετροι (µ 1, σ t ) αντί ενός πίνακα με τις τελευταίες n τιμές του pixel που θα χρειάζονταν κανονικά. Σε κάθε καρέ, αν για τη τιμή I t του pixel ισχύει η παρακάτω ανισότητα μπορεί να χαρακτηριστεί ως pixel που ανήκει στο προσκήνιο

54 44 Η βιβλιοθήκη μηχανικής όρασης OpenCv (foreground) και όχι στο φόντο, πράγμα που σημαίνει ότι έχουμε κίνηση. I t µ t > σ t Όλα τα άλλα pixel που δεν ικανοποιούν αυτή τη σχέση χαρακτηρίζονται ως φόντο. Στη δεύτερη μέθοδο υπολογίζεται η μέση τιμή των τελευταίων n καρέ συνολικά και όχι pixel προς pixel. Μπορεί επίσης να γίνεται δειγματοληψία σε μικρότερο ρυθμό από τη ροή των εισερχόμενων καρέ. Το μεγάλο μειονέκτημα αυτής της μεθόδου είναι ότι απαιτεί να είναι γνωστές οι τιμές των τελευταίων pixel και ότι δεν υπάρχει μια τυπική απόκλιση όπως πριν για να γίνει εύκολα η αφαίρεση για τον υπολογισμό του προσκηνίου. Στη περίπτωση που στο φόντο υπάρχουν συνεχείς αλλαγές όπως παραδείγματος χάριν τα κύματα σε μια παραλία, ένα δέντρο που κινείται από τον αέρα και καλύπτει ένα σπίτι ή όταν χιονίζει, οι προηγούμενες μέθοδοι αναγνωρίζουν αυτή την αλλαγή σαν προσκήνιο. Η Mixture of Gaussians διορθώνει αυτό το πρόβλημα υιοθετώντας ένα μοντέλο παρασκηνίου με πολλές τιμές. Δίνει σε κάθε "διαφορετικό" φόντο άλλη Γκαουσιανή κατανομή και με ορισμένα κριτήρια επιτυγχάνει πολύ καλά αποτελέσματα. Μια προσέγγιση των τελευταίων n τιμών της PDF του φόντου μπορεί να δοθεί με τη μορφή ιστογράμματος. Λόγω του ότι το ιστόγραμμα είναι βηματικό, η μοντελοποίηση δεν είναι πολύ καλή. Μπορούμε να έχουμε ένα εξομαλυμένο, συνεχές ιστόγραμμα αν μοντελοποιήσουμε τη κατανομή του φόντου με βάση τη μη-παραμετρική μέθοδο Kernel Density Estimation. Και αυτή η μέθοδος όπως τη προηγούμενη χρησιμοποιεί ένα σύνολο Γκαουσιανών αλλά με πολλές διαφορές. Η επόμενη, Sequential Kernel Density Approximation είναι παρόμοια με τη προηγούμενη με τη διαφορά ότι είναι επαναληπτική, αυξάνοντας την υπολογιστική πολυπλοκότητα και τις απαιτήσεις τις μνήμης κατά πολύ.

55 Μηχανική Όραση 45 Οι τελευταίες δυο μέθοδοι υλοποιούν την αφαίρεση του προσκηνίου χρησιμοποιώντας τις πληροφορίες που παίρνουν από τις χωρικές διαφορές ανάμεσα στα διαφορετικά καρέ. Κατά την αρχικοποίηση, ορίζονται πολύγωνα ή ολόκληρο το καρέ(τελευταία μέθοδος) που ελέγχονται στη συνέχεια για το αν και πόσο αλλάζουν. Όσα παραμένουν σχετικά ίδια, αναγνωρίζονται ως φόντο. Λόγω τις πλατφόρμας που χρησιμοποιούμε με τις περιορισμένες επεξεργαστικές αλλά και αποθηκευτικές δυνατότητες επιλέγουμε τη πρώτη μέθοδο μιας και έχει με βάση τον Piccardi [7] χρονική πολυπλοκότητα O(1) μιας και η κατηγοριοποίηση των pixel στο προσκήνιο ή στο φόντο εξαρτώνται μόνο από 2 μεταβλητές. Το ίδιο ισχύει και στη κατανάλωση μνήμης ενώ στην ακρίβεια αυτή η μέθοδος είναι σχετικά μέτρια αλλά αρκετή για τους σκοπούς της εφαρμογής μας.

56 46 Η βιβλιοθήκη μηχανικής όρασης OpenCv

57 Κεφάλαιο 5 Αναλυτική περιγραφή του συστήματος που αναπτύχθηκε Η κύρια λειτουργία του συστήματος μας είναι η επεξεργασία εικόνων που λαμβάνουμε από τη κάμερα Acti ACM-5601 σε πραγματικό χρόνο μέσω της βιβλιοθήκης OpenCv που περιγράψαμε στο κεφάλαιο 4. Η είσοδος των δεδομένων προς επεξεργασία γίνεται μέσω του ενσωματωμένου στη κάμερα http server, ο οποίος είναι υπεύθυνος για την ομαλή ροή του βίντεο, που είναι συμπιεσμένο κατά τα πρότυπα του ΜPEG-4. Οι εικόνες αποθηκεύονται ως δομές IplImage, που είναι ο βασικός πίνακας που χρησιμοποιεί η OpenCv. Τα βασικά χαρακτηριστικά της είναι το μέγεθος σε pixel της εικόνας, ο αριθμός των καναλιών που χρησιμοποιούνται για το χρώμα και το μέγεθος που προσφέρουμε σε κάθε κανάλι για την αποθήκευση της πληροφορίας του χρώματος. Οι περισσότερες συναρτήσεις υποστηρίζουν ένα έως τέσσερα κανάλια και υπάρχουν διάφορες που αναλαμβάνουν τις μετατροπές μεταξύ IplImages διαφορετικών καναλιών ή μεγεθών. Η αναγνώριση της φωτιάς επιτυγχάνεται βασικά μέσω της επιτυχούς αναγνώρισης του χρώματος της σε οποιοδήποτε pixel (εικονοστοιχείο) του frame (φωτοπλαισίου) που είναι υπό επεξεργασία. Αυτό το βήμα από μόνο του δεν είναι αρκετό γιατί το χρώμα που αναζη- 47