ΑΝΙΧΝΕΥΣΗ ΦΩΤΙΑΣ. Χαοτικό φαινόμενο, με ακανόνιστο σχήμα Βασικό χαρακτηριστικό της φωτιάς είναι το χρώμα

Transcript

1

2 ΕΙΣΑΓΩΓΗ Έντονη ερευνητική δραστηριότητα για την ανακάλυψη του τέλειου αλγορίθμου πρόβλεψης πυρκαγιάς Χρήση ενσωματωμένων συστημάτων Στόχος της εργασίας είναι η σχεδίαση και η υλοποίηση ενός αυτόνομου συστήματος για την οπτική παρακολούθηση και αναγνώριση του φαινομένου της πυρκαγιάς

3 ΠΕΡΙΛΗΨΗ Δημιουργία αυτόνομου συστήματος για ανίχνευση πυρκαγιών με χρήση ψηφιακού επεξεργαστή σήματος (DSP) Δυνατότητα εντοπισμού φλόγας και καπνού Απουσία κεντρικού υπολογιστικού συστήματος για επεξεργασία των δεδομένων

4 ΑΝΙΧΝΕΥΣΗ ΦΩΤΙΑΣ Χαοτικό φαινόμενο, με ακανόνιστο σχήμα Βασικό χαρακτηριστικό της φωτιάς είναι το χρώμα Ανίχνευση είτε με χρήση του RGB μοντέλου είτε του YUV Η ανίχνευση με βάση το χρώμα οδηγεί σε μεγάλο ποσοστό λανθασμένων συμπερασμάτων

5 ΑΝΙΧΝΕΥΣΗ ΦΩΤΙΑΣ Ανίχνευση κίνησης Έρευση της νέας θέσης την χρονική στγμή t+1 ενός block στο οποίο ανιχνεύτηκε φωτιά Χρονική ανάλυση κίνησης Aνίχνευση του τρεμοπαίξιμου της φωτιάς (1Hz εως 10 Ηz). Ανάλυση χωρικής πολυπλοκότητας Ανίχνευση της κατανομής των χρωμάτων ως προς τον χώρο Αφαίρεση θορύβου Εξέταση των γειτονικών blocks για υπάρξη φωτιάς

6 ΑΝΙΧΝΕΥΣΗ ΚΑΠΝΟΥ Χαρακτηριστικό γνώρισμα το χρώμα Ανίχνευση κίνησης, στο θετικό κατακόρυφο αξονα συντεταγμένων Ανίχνευση έντονων ακμών Ανίχνευση της αύξησης του φαινομένου Χρήση αισθητήρων που ανιχνεύουν την κίνηση του αέρα

7 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση φωτιάς για την συγκεκριμένη εφαρμογή βασίζεται στους εξής αλγορίθμους Εξέταση των YUV συνιστωσών κάθε πλαισίου εικόνας Ανάλυση κίνησης Αφαίρεση θορύβου

8 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Ο τύπος που δίνει την πιθανότητα ύπαρξης φωτιάς είναι ο εξής: =

9 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Μετατροπή απο RGB->YUV Aρχική εικόνα σε μορφή bitmap. Mαθηματικός τύπος μετατροπής απο RGB YUV = 66 R 129 G 25 B U = 38 R 74 G 112 B V= Διαίρεση του πλαισίου σε ζώνες με μέγεθος 4x4 8x8 16x16 Επέκταση πλαισίου στους άξονες x x και y y κάτα block_x<<2 και block_y<<2 Υποστήριξη αναλύσεων VGA QVGA QQVGA

10 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση φωτιάς με βάση τον χρωματικό κανόνα πρέπει να επαληθεύει τους παρακάτω κανόνες : Για κάθε ζώνη εξάγεται ένα ποσοστό που δίνεται απο τον τύπο _ Βιβλιογραφία: Computer Vision Based Fire Detection in Color Images, IEEE Conference on Soft Computing in Industrial Applications, 2008, pages , Authors: Celik Turgay, Temasek Laboratories, Kai-Kuang Ma, National Technological University of Singapore

11 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Aν έστω και ένα εικονοστοιχείο σε μια ζώνη θεωρηθεί πιθανό για ύπαρξη φωτιάς εκτελείται ο αλγόριθμός ανίχνευσης κίνησης Βασίζεται στην τεχνική του motion estimation, τα διανύσματα κίνησης υπολογίζονται βάση της μεθόδου SAD και το παράθυρο αναζήτησης είναι διαστάσεων,,

12 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ

13 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Μετά το πέρας της εξέτασης όλων των blocks εκτελείται ο αλγόριθμος αφαίρεσης θορύβου Εξετάζονται τα 8 γειτονικά blocks και εξάγεται ένα ποσοστό από τον μαθηματικό τύπο

14 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση καπνού για την συγκεκριμένη εφαρμογή βασίζεται στους εξής αλγορίθμους Ανάλυση των YUV συνιστωσών κάθε πλαισίου εικόνας Ανάλυση κίνησης Εύρεση έντονων ακμών Μελέτη της αύξησης του φαινομένου του καπνού

15 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η πιθανότητα για την ύπαρξη καπνού προκύπτει από τον μαθηματικό τύπο =

16 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Η ανίχνευση καπνού με βάση τον χρωματικό κανόνα πρέπει να επαληθεύει τους εξής κανόνες Y U T1 and Y V T1 and T3 Y T4 T1=30 T3=30 T4=235 Εξάγεται ένα ποσοστό,για τον αριθμό των pixels που επαληθεύουν το συγκεκριμένο κανόνα μέσα σε ένα block, από τον τύπο

17 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Ο αλγόριθμος ανάλυσης κίνησης, ακολουθεί την ίδια λογική με τον αντίστοιχο αλγόριθμο που εκτελείται κατά την διαδικασία ανίχνευσης φωτιάς, με την διαφορά ότι επιτρέπεται κίνηση μόνο στον θετικό κατακόρυφο άξονα Ο αλγόριθμος ανίχνευσης ισχυρών ακμών πρέπει να επαληθεύει την εξής μαθηματική σχέση, με Τ5=4 Προκύπτει ένα ποσοστό εικονοστοιχείων που επαληθεύουν την συγκεκριμένη μαθηματική σχέση, από τον τύπο

18 ΣΧΕΔΙΑΣΗ ΣΥΣΤΗΜΑΤΟΣ Για τον αλγόριθμο αύξησης του φαινομένου του καπνού πρέπει να ισχύουν οι εξής μαθηματικές σχέσεις: 1.,, =,,,, =,,, _ 7, με Τ6=5 και Τ7=10 Βιβλιογραφία: Wildfire Smoke Detection Using Computational Intelligence Techniques, IEEE International Conference on Computational Intelligence for Measurement Systems and Applications, CISMA 2011, pages 1-6, Angelo Genovese, Ruggero Donida Labati, Vincezo Piuri, Fabio Scotti, Deptartment of Information Technology, Milan, Italy

19 ΕΝΣΩΜΑΤΩΜΕΝΟ ΣΥΣΤΗΜΑ SοC της Texas Instrument που εμπεριέχει Επεξεργαστή γενικού σκοπού, ARM cortex A8 Επεξεργαστή ειδικού σκοπού για επεξεργασία σήματος, TMS320C64x+ Επεξεργαστή ειδικού σκοπού για εφαρμογές γραφικών, POWERVR SGX 530

20 ΓΕΝΙΚΗ ΔΟΜΗ SOC

21 ΕΝΣΩΜΑΤΩΜΕΝΟ ΣΥΣΤΗΜΑ, OMAP3530

22 ΕΠΕΞΕΡΓΑΣΤΗΣ ΓΕΝΙΚΟΥ ΣΚΟΠΟΥ, ARM CORTEX A8

23 ΕΠΕΞΕΡΓΑΣΤΗΣ ΕΙΔΙΚΟΥ ΣΚΟΠΟΥ, DSP TMS320C64X+

24 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ

25 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Χρήση της διαδικασίας του cross-compiling για τη δημιουργία εκτελέσιμων συμβατά με την αρχιτεκτονική armv7 Εγκατάσταση λειτουργικού γενικού σκοπού, μεταγλώττιση, εγκατάσταση του πυρήνα και των κατάλληλων modules και δημιουργία των κατάλληλων αρχείων φόρτωσης του λειτουργικού

26 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Στον επεξεργαστή ειδικού σκοπού τρέχει λειτουργικό πραγματικού χρόνου Εμπεριέχει πυρήνα πραγματικού χρόνου, με υποστήριξη πολλαπλών διεργασιών, με χρήση διακοπών (lightweight pre-emptible threads) και κοινής στοίβας Υποστήριξη API για την δημιουργία βελτιστοποιημένων εφαρμογών Παροχή υπηρεσιών γραμμένων σε C που παρέχουν διαφάνεια όσο αφορά τις διεργασίες πραγματικού χρόνου

27 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Επικοινωνία με μηχανισμούς IPC Εκμετάλλευση πόρων πολυπύρηνων συστημάτων Δυνατότητα στους προγραμματιστές να χειρίζονται διακοπές μέσω ISRs Παροχή εργαλείων για την παρακολούθηση και ανάλυση όλων των διεργασιών

28 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Επικοινωνία ARM+DSP μέσω του μηχανισμού που ονομάζεται DSPLINK Η ενδοεπικοινωνία μπορεί να γίνει με τους εξής τρόπους Με επικοινωνία που βασίζεται σε διάφορα πρωτόκολλα Με επικοινωνία η οποία βασίζεται στις δομικές μονάδες Εφαρμογές που χρησιμοποιούν αυτό τον μηχανισμό μπορούν εύκολα να μεταφερθούν σε άλλες πλατφόρμες

29 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Δημιουργία κατάλληλων δυναμικών βιβλιοθηκών για την λήψη και αποκωδικοποίηση δεδομένων απο την κάμερα, που πρέπει να είναι συμβατές με την αρχιτεκτονική Armv7 Oι βιβλιοθήκες είναι οι εξής : libcurl jpeg library.

30 ΥΛΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΟΣ Εφαρμογή της τεχνικής της διοχέτευσης ( pipeline ) με στόχο στην αύξηση της ρυθμοαπόδοσης στο 100%

31 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Ποσοστό σωστής λήψης απόφασης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου

32 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 100% Ποσοστό σωστής λήψης απόφασης 90% 80% 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου

33 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 80% Ποσοστό σωστής λήψης απόφασης 70% 60% 50% 40% 30% 20% 10% 0% Χρωματική ανάλυση Αλγόριθμός κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης και κίνησης Συνδυασμός αλγορίθμων χρωματικής ανάλυσης, κίνησης και αφαίρεσης θορύβου

34 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ

35 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ

36 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ

37 ΠΕΙΡΑΜΑΤΙΚΗ ΑΞΙΟΛΟΓΗΣΗ ΑΛΓΟΡΙΘΜΩΝ ΚΑΠΝΟΥ

38 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΛΗΨΗΣ ΔΕΔΟΜΕΝΩΝ ΑΠΟ ΤΗΝ ΚΑΜΕΡΑ Λήψη δεδομένων απο την κάμερα Λήψη δεδομένων απο την κάμερα 300 Ανάλυση Χρόνος σε fps 320x x x Πλαίσια ανά δευτερόλεπτο (fps) x x120 80x60

39 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΠΟΚΩΔΙΚΟΠΟΙΗΣΗΣ ΔΕΔΟΜΕΝΩΝ Αποκωδικοποίηση δεδομένων Αποκωδικοποίηση δεδομένων Ανάλυση Χρόνος σε fps 320x x x x x120 80x60 Πλαίσια ανά δευτερόλεπτο (fps)

40 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΜΕΤΑΦΟΡΑΣ ΔΕΔΟΜΕΝΩΝ ΑΠΟ ΚΑΙ ΠΡΟΣ ΤΟ DSP Μεταφορά δεδομένων απο και προς το DSP Mεταφορά δεδομένων DSP+ARM 18 Ανάλυση Χρόνος σε fps 320x x x Πλαίσια ανα δευτερόλεπτο (fps) x x120 80x60

41 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΑΙΣΙΟΥ Κόστος επεξεργασίας πλαισίου, ανάλυση 80x Αλγόριθμοι επεξεργασίας πλαισίου 100 Αλγόριθμος Χρόνος σε fps 80 Επέκταση πλαισίου Mετατροπή RGB YUV Πλαίσια ανα δευτερόλεπτο (fps) Διαίρεση πλαισίου σε ζώνες Επέκταση πλαισίου Μετατροπή απο το RGB μοντελό στο YUV μοντέλο Διαίρεση πλαισίου σε ζώνες

42 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΕΠΕΞΕΡΓΑΣΙΑΣ ΠΛΑΙΣΙΟΥ ΒΙΝΤΕΟ Επέκταση πλαισίου για όλες τις αναλύσεις Διαίρεση πλαισίου σε ζώνες για όλες τις αναλύσεις Μετατροπή απο το RGB μοντελό στο YUV μοντέλο για όλες τις αναλύσεις x60 160x x240

43 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ Κόστος αλγορίθμων ανίχνευσης φωτιάς, ανάλυση 80x60 Αλγόριθμος Eφαρμογή χρωματικού κανόνα Ανίχνευση κίνησης 1.42 Ανίχνευση θορύβου Χρόνος σε fps Συνδυασμός εφαρμογής χρωματικού κανόνα και ανίχνευσης κίνησης 4.4 Συνδυασμός εφαρμογής χρωματικού κανόνα, ανίχνευσης κίνησης και αφαίρεσης θορύβου 3.8

44 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΦΩΤΙΑΣ 45 Χρόνοι εκτέλεσης αλγορίθμων φωτιάς για όλες τις αναλύσεις Ανάλυση χρωματικού κανόνα Ανάλυση κίνησης x60 160x x240 Συνδυασμός εφαρμογής χρωματικού κανόνα και ανίχνευσης κίνησης Συνδυασμός εφαρμογής χρωματικού κανόνα, ανίχνευσης κίνησης και αφαίρεση θορύβου

45 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΝΙΧΝΕΥΣΗΣ ΚΑΠΝΟΥ Κόστος αλγορίθμων ανίχνευσης καπνού, ανάλυση 80x60 Αλγόριθμος Εφαρμογή χρωματικού κανόνα Ανίχνευση κίνησης 1.42 Ανίχνευση έντονων ακμών Ανίχνευση αύξησης φαινομένου 64.1 Χρόνος σε fps Πλαίσια ανα δευτερόλεπτο(fps) Συνδυασμός χρωματικού κανόνα και ανίχνευση κίνησης Συνδυασμός χρωματικού κανόνα, ανίχνευση κίνησης και ανίχνευσης έντονων ακμών Συνδυασμός χρωματικού κανόνα, ανίχνευση κίνησης,ανίχνευσης έντονων ακμών και αύξησης φαινομένου

46 ΜΕΤΡΗΣΕΙΣ ΧΡΟΝΩΝ ΕΚΤΕΛΕΣΗΣ ΑΛΓΟΡΙΘΜΩΝ ΑΝΙΧΝΕΥΣΗΣ ΚΑΠΝΟΥ Eφαρμογής χρωματικού κανόνα 50 Aνίχνευσης κίνησης Ανίχνευση εντονών ακμών Ανίχνευση αύξησης του φαινομένου του καπνού Συνδυασμός χρωματικού κανόνα και ανίχνευσης κίνησης 20 Συνδυασμός χρωματικού κανόνα,ανίχνευσης κίνησης και ανίχνευσης έντονων ακμών x60 160x x240 Συνδυασμός χρωματικού κανόνα,ανίχνευσης κίνησης,ανίχνευσης έντονων ακμών και αυξησης φαινομένου

47 ΣΥΜΠΕΡΑΣΜΑΤΑ - ΕΡΓΑΣΙΑ ΜΕΛΛΟΝΤΙΚΗ Οι αλγόριθμοι ανίχνευσης πυρκαγιάς, οδηγούν σε σωστή λήψης απόφασης σε ποσοστά που ξεπερνούν το 80% Ευλολία στην εισαγωγή νέων αλγορίθμων για αύξηση της απόδοσης Οι χρόνοι εκτέλεσης μπορούν να βελτιωθούν με χρήση κρυφής μνήμης. Μπορεί να χρησιμοποιηθεί ειδικός ελεγκτής ελέγχου διεπαφής του επεξεργαστή ψηφιακού σήματος με την κάμερα, χωρίς την χρήση του επεξεργαστή γενικού σκοπού. Με αυτό τον τρόπο χρησιμοποιούνται οι ελεγκτές άμεσης πρόσβασης στην μνήμη, μειώνοντας τον αριθμό προσβάσεων στην εξωτερική μνήμη. Μια ακόμη σημαντική προσθήκη αφορά την χρήση αισθητήρων. Οι αισθητήρες αυτοί μπορούν να δώσουν μετρήσεις που αφορούν ποσοστά υγρασίας, θερμότητας και κίνησης του ανέμου. Σε συνδυασμό με την οπτική ανάλυση, η σωστή λήψη αποφάσεων μπορεί να φτάσει το 100%. Προσθήκη δυνατότητας αυτόματης προσαρμογής των διάφορων κατωφλίων ανάλογα με τις υπάρχουσες συνθήκες περιβάλλοντος

48