ΕΙΣΑΓΩΓΗ Έντονη ερευνητική δραστηριότητα για την ανακάλυψη του τέλειου αλγορίθμου πρόβλεψης πυρκαγιάς Χρήση ενσωματωμένων συστημάτων Στόχος της εργασίας είναι η σχεδίαση και η υλοποίηση ενός αυτόνομου συστήματος για την οπτική παρακολούθηση και αναγνώριση του φαινομένου της πυρκαγιάς
ΠΕΡΙΛΗΨΗ Δημιουργία αυτόνομου συστήματος για ανίχνευση πυρκαγιών με χρήση ψηφιακού επεξεργαστή σήματος (DSP) Δυνατότητα εντοπισμού φλόγας και καπνού Απουσία κεντρικού υπολογιστικού συστήματος για επεξεργασία των δεδομένων
ΑΝΙΧΝΕΥΣΗ ΦΩΤΙΑΣ Χαοτικό φαινόμενο, με ακανόνιστο σχήμα Βασικό χαρακτηριστικό της φωτιάς είναι το χρώμα Ανίχνευση είτε με χρήση του RGB μοντέλου είτε του YUV Η ανίχνευση με βάση το χρώμα οδηγεί σε μεγάλο ποσοστό λανθασμένων συμπερασμάτων
ΑΝΙΧΝΕΥΣΗ ΦΩΤΙΑΣ Ανίχνευση κίνησης Έρευση της νέας θέσης την χρονική στγμή t+1 ενός block στο οποίο ανιχνεύτηκε φωτιά Χρονική ανάλυση κίνησης Aνίχνευση του τρεμοπαίξιμου της φωτιάς (1Hz εως 10 Ηz). Ανάλυση χωρικής πολυπλοκότητας Ανίχνευση της κατανομής των χρωμάτων ως προς τον χώρο Αφαίρεση θορύβου Εξέταση των γειτονικών blocks για υπάρξη φωτιάς
ΑΝΙΧΝΕΥΣΗ ΚΑΠΝΟΥ Χαρακτηριστικό γνώρισμα το χρώμα Ανίχνευση κίνησης, στο θετικό κατακόρυφο αξονα συντεταγμένων Ανίχνευση έντονων ακμών Ανίχνευση της αύξησης του φαινομένου Χρήση αισθητήρων που ανιχνεύουν την κίνηση του αέρα
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση φωτιάς για την συγκεκριμένη εφαρμογή βασίζεται στους εξής αλγορίθμους Εξέταση των YUV συνιστωσών κάθε πλαισίου εικόνας Ανάλυση κίνησης Αφαίρεση θορύβου
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Ο τύπος που δίνει την πιθανότητα ύπαρξης φωτιάς είναι ο εξής: =
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Μετατροπή απο RGB->YUV Aρχική εικόνα σε μορφή bitmap. Mαθηματικός τύπος μετατροπής απο RGB YUV = 66 R 129 G 25 B 128 8 16 U = 38 R 74 G 112 B 128 8 128 V= 112 94 18 128 8 128 Διαίρεση του πλαισίου σε ζώνες με μέγεθος 4x4 8x8 16x16 Επέκταση πλαισίου στους άξονες x x και y y κάτα block_x<<2 και block_y<<2 Υποστήριξη αναλύσεων VGA QVGA QQVGA
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση φωτιάς με βάση τον χρωματικό κανόνα πρέπει να επαληθεύει τους παρακάτω κανόνες : Για κάθε ζώνη εξάγεται ένα ποσοστό που δίνεται απο τον τύπο _ Βιβλιογραφία: Computer Vision Based Fire Detection in Color Images, IEEE Conference on Soft Computing in Industrial Applications, 2008, pages 258-263, Authors: Celik Turgay, Temasek Laboratories, Kai-Kuang Ma, National Technological University of Singapore
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Aν έστω και ένα εικονοστοιχείο σε μια ζώνη θεωρηθεί πιθανό για ύπαρξη φωτιάς εκτελείται ο αλγόριθμός ανίχνευσης κίνησης Βασίζεται στην τεχνική του motion estimation, τα διανύσματα κίνησης υπολογίζονται βάση της μεθόδου SAD και το παράθυρο αναζήτησης είναι διαστάσεων,,
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Μετά το πέρας της εξέτασης όλων των blocks εκτελείται ο αλγόριθμος αφαίρεσης θορύβου Εξετάζονται τα 8 γειτονικά blocks και εξάγεται ένα ποσοστό από τον μαθηματικό τύπο
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση καπνού για την συγκεκριμένη εφαρμογή βασίζεται στους εξής αλγορίθμους Ανάλυση των YUV συνιστωσών κάθε πλαισίου εικόνας Ανάλυση κίνησης Εύρεση έντονων ακμών Μελέτη της αύξησης του φαινομένου του καπνού
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η πιθανότητα για την ύπαρξη καπνού προκύπτει από τον μαθηματικό τύπο =
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση καπνού με βάση τον χρωματικό κανόνα πρέπει να επαληθεύει τους εξής κανόνες 1. 1 2. Y U T1 and Y V T1 and T3 Y T4 T1=30 T3=30 T4=235 Εξάγεται ένα ποσοστό,για τον αριθμό των pixels που επαληθεύουν το συγκεκριμένο κανόνα μέσα σε ένα block, από τον τύπο
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Ο αλγόριθμος ανάλυσης κίνησης, ακολουθεί την ίδια λογική με τον αντίστοιχο αλγόριθμο που εκτελείται κατά την διαδικασία ανίχνευσης φωτιάς, με την διαφορά ότι επιτρέπεται κίνηση μόνο στον θετικό κατακόρυφο άξονα Ο αλγόριθμος ανίχνευσης ισχυρών ακμών πρέπει να επαληθεύει την εξής μαθηματική σχέση, με Τ5=4 Προκύπτει ένα ποσοστό εικονοστοιχείων που επαληθεύουν την συγκεκριμένη μαθηματική σχέση, από τον τύπο
ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Για τον αλγόριθμο αύξησης του φαινομένου του καπνού πρέπει να ισχύουν οι εξής μαθηματικές σχέσεις: 1.,, =,,,, 1 2. 6 =,,, _ 7, με Τ6=5 και Τ7=10 Βιβλιογραφία: Wildfire Smoke Detection Using Computational Intelligence Techniques, IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, CISMA 2011, pages 1-6, Angelo Genovese, Ruggero Donida Labati, Vincezo Piuri, Fabio Scotti, Deptartment of Information Technology, Milan, Italy
ΕΝΣΩΜΑΤΩΜΕΝΟ ΣΥΣΤΗΜΑ SοC της Texas Instrument που εμπεριέχει Επεξεργαστή γενικού σκοπού, ARM cortex A8 Επεξεργαστή ειδικού σκοπού για επεξεργασία σήματος, TMS320C64x+ Επεξεργαστή ειδικού σκοπού για εφαρμογές γραφικών, POWERVR SGX 530
ΓΕΝΙΚΗ ΔΟΜΗ SOC
ΕΝΣΩΜΑΤΩΜΕΝΟ ΣΥΣΤΗΜΑ, OMAP3530
ΕΠΕΞΕΡΓΑΣΤΗΣ ΓΕΝΙΚΟΥ ΣΚΟΠΟΥ, ARM CORTEX A8
ΕΠΕΞΕΡΓΑΣΤΗΣ ΕΙΔΙΚΟΥ ΣΚΟΠΟΥ, DSP TMS320C64X+
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Χρήση της διαδικασίας του cross-compiling για τη δημιουργία εκτελέσιμων συμβατά με την αρχιτεκτονική armv7 Εγκατάσταση λειτουργικού γενικού σκοπού, μεταγλώττιση, εγκατάσταση του πυρήνα και των κατάλληλων modules και δημιουργία των κατάλληλων αρχείων φόρτωσης του λειτουργικού
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Στον επεξεργαστή ειδικού σκοπού τρέχει λειτουργικό πραγματικού χρόνου Εμπεριέχει πυρήνα πραγματικού χρόνου, με υποστήριξη πολλαπλών διεργασιών, με χρήση διακοπών (lightweight pre-emptible threads) και κοινής στοίβας Υποστήριξη API για την δημιουργία βελτιστοποιημένων εφαρμογών Παροχή υπηρεσιών γραμμένων σε C που παρέχουν διαφάνεια όσο αφορά τις διεργασίες πραγματικού χρόνου
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Επικοινωνία με μηχανισμούς IPC Εκμετάλλευση πόρων πολυπύρηνων συστημάτων Δυνατότητα στους προγραμματιστές να χειρίζονται διακοπές μέσω ISRs Παροχή εργαλείων για την παρακολούθηση και ανάλυση όλων των διεργασιών
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Επικοινωνία ARM+DSP μέσω του μηχανισμού που ονομάζεται DSPLINK Η ενδοεπικοινωνία μπορεί να γίνει με τους εξής τρόπους Με επικοινωνία που βασίζεται σε διάφορα πρωτόκολλα Με επικοινωνία η οποία βασίζεται στις δομικές μονάδες Εφαρμογές που χρησιμοποιούν αυτό τον μηχανισμό μπορούν εύκολα να μεταφερθούν σε άλλες πλατφόρμες
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Δημιουργία κατάλληλων δυναμικών βιβλιοθηκών για την λήψη και αποκωδικοποίηση δεδομένων απο την κάμερα, που πρέπει να είναι συμβατές με την αρχιτεκτονική Armv7 Oι βιβλιοθήκες είναι οι εξής : libcurl jpeg library.
ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Εφαρμογή της τεχνικής της διοχέτευσης ( pipeline ) με στόχο στην αύξηση της ρυθμοαπόδοσης στο 100%
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Ποσοστό σωστής λήψης απόφασης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 100% Ποσοστό σωστής λήψης απόφασης 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 80% Ποσοστό σωστής λήψης απόφασης 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ
ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΛΗΨΗΣ ΔΕΔΟΜΕΝΩΝ ΑΠΟ ΤΗΝ ΚΑΜΕΡΑ Λήψη δεδομένων απο την κάμερα Λήψη δεδομένων απο την κάμερα 300 Ανάλυση Χρόνος σε fps 320x240 17.3 160x120 69.2 80x60 276.8 250 200 150 Πλαίσια ανά δευτερόλεπτο (fps) 100 50 0 320x240 160x120 80x60
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗΣ ΔΕΔΟΜΕΝΩΝ Αποκωδικοποίηση δεδομένων Αποκωδικοποίηση δεδομένων Ανάλυση Χρόνος σε fps 320x240 11.52 160x120 46.08 80x60 184.32 200 180 160 140 120 100 80 60 40 20 0 320x240 160x120 80x60 Πλαίσια ανά δευτερόλεπτο (fps)
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΜΕΤΑΦΟΡΑΣ ΔΕΔΟΜΕΝΩΝ ΑΠΟ ΚΑΙ ΠΡΟΣ ΤΟ DSP Μεταφορά δεδομένων απο και προς το DSP Mεταφορά δεδομένων DSP+ARM 18 Ανάλυση Χρόνος σε fps 320x240 2.873 160x120 11.49 80x60 17.48 16 14 12 10 8 Πλαίσια ανα δευτερόλεπτο (fps) 6 4 2 0 320x240 160x120 80x60
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΑΙΣΙΟΥ Κόστος επεξεργασίας πλαισίου, ανάλυση 80x60 120 Αλγόριθμοι επεξεργασίας πλαισίου 100 Αλγόριθμος Χρόνος σε fps 80 Επέκταση πλαισίου 102.64 Mετατροπή RGB YUV 66.66 60 40 20 Πλαίσια ανα δευτερόλεπτο (fps) Διαίρεση πλαισίου σε ζώνες 78.25 0 Επέκταση πλαισίου Μετατροπή απο το RGB μοντελό στο YUV μοντέλο Διαίρεση πλαισίου σε ζώνες
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΑΙΣΙΟΥ ΒΙΝΤΕΟ 120 100 102.04 80 78.25 60 66.66 71.4 Επέκταση πλαισίου για όλες τις αναλύσεις 40 43.47 Διαίρεση πλαισίου σε ζώνες για όλες τις αναλύσεις 31.25 20 17.85 Μετατροπή απο το RGB μοντελό στο YUV μοντέλο για όλες τις αναλύσεις 11 7.8 0 80x60 160x120 320x240
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ Κόστος αλγορίθμων ανίχνευσης φωτιάς, ανάλυση 80x60 Αλγόριθμος Eφαρμογή χρωματικού 38.46 κανόνα Ανίχνευση κίνησης 1.42 Ανίχνευση θορύβου 156.25 Χρόνος σε fps Συνδυασμός εφαρμογής χρωματικού κανόνα και ανίχνευσης κίνησης 4.4 Συνδυασμός εφαρμογής χρωματικού κανόνα, ανίχνευσης κίνησης και αφαίρεσης θορύβου 3.8
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 45 Χρόνοι εκτέλεσης αλγορίθμων φωτιάς για όλες τις αναλύσεις 40 38.46 35 30 25 25.64 Ανάλυση χρωματικού κανόνα Ανάλυση κίνησης 20 15 10 5 0 6.41 4.4 3.8 1.42 1.33 1.29 0.35 0.0875 0.3225 0.33 80x60 160x120 320x240 Συνδυασμός εφαρμογής χρωματικού κανόνα και ανίχνευσης κίνησης Συνδυασμός εφαρμογής χρωματικού κανόνα, ανίχνευσης κίνησης και αφαίρεση θορύβου
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΝΙΧΝΕΥΣΗΣ ΚΑΠΝΟΥ Κόστος αλγορίθμων ανίχνευσης καπνού, ανάλυση 80x60 Αλγόριθμος Εφαρμογή χρωματικού κανόνα 32.26 Ανίχνευση κίνησης 1.42 Ανίχνευση έντονων ακμών 65.48 Ανίχνευση αύξησης φαινομένου 64.1 Χρόνος σε fps 70 60 50 40 30 20 10 Πλαίσια ανα δευτερόλεπτο(fps) Συνδυασμός χρωματικού κανόνα και ανίχνευση κίνησης Συνδυασμός χρωματικού κανόνα, ανίχνευση κίνησης και ανίχνευσης έντονων ακμών Συνδυασμός χρωματικού κανόνα, ανίχνευση κίνησης,ανίχνευσης έντονων ακμών και αύξησης φαινομένου 4.36 4.26 4.08 0
ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΝΙΧΝΕΥΣΗΣ ΚΑΠΝΟΥ 70 65.78 64.1 60 Eφαρμογής χρωματικού κανόνα 50 Aνίχνευσης κίνησης Ανίχνευση εντονών ακμών 40 30 32.26 25 Ανίχνευση αύξησης του φαινομένου του καπνού Συνδυασμός χρωματικού κανόνα και ανίχνευσης κίνησης 20 Συνδυασμός χρωματικού κανόνα,ανίχνευσης κίνησης και ανίχνευσης έντονων ακμών 10 0 8.26 6.25 4.36 4.26 4.08 1.42 1.29 2.05 2.065 0.35 1.17 1.04 0.0875 0.33 0.32 0.26 80x60 160x120 320x240 Συνδυασμός χρωματικού κανόνα,ανίχνευσης κίνησης,ανίχνευσης έντονων ακμών και αυξησης φαινομένου
ΣΥΜΠΕΡΑΣΜΑΤΑ - ΕΡΓΑΣΙΑ ΜΕΛΛΟΝΤΙΚΗ Οι αλγόριθμοι ανίχνευσης πυρκαγιάς, οδηγούν σε σωστή λήψης απόφασης σε ποσοστά που ξεπερνούν το 80% Ευλολία στην εισαγωγή νέων αλγορίθμων για αύξηση της απόδοσης Οι χρόνοι εκτέλεσης μπορούν να βελτιωθούν με χρήση κρυφής μνήμης. Μπορεί να χρησιμοποιηθεί ειδικός ελεγκτής ελέγχου διεπαφής του επεξεργαστή ψηφιακού σήματος με την κάμερα, χωρίς την χρήση του επεξεργαστή γενικού σκοπού. Με αυτό τον τρόπο χρησιμοποιούνται οι ελεγκτές άμεσης πρόσβασης στην μνήμη, μειώνοντας τον αριθμό προσβάσεων στην εξωτερική μνήμη. Μια ακόμη σημαντική προσθήκη αφορά την χρήση αισθητήρων. Οι αισθητήρες αυτοί μπορούν να δώσουν μετρήσεις που αφορούν ποσοστά υγρασίας, θερμότητας και κίνησης του ανέμου. Σε συνδυασμό με την οπτική ανάλυση, η σωστή λήψη αποφάσεων μπορεί να φτάσει το 100%. Προσθήκη δυνατότητας αυτόματης προσαρμογής των διάφορων κατωφλίων ανάλογα με τις υπάρχουσες συνθήκες περιβάλλοντος