Σήματα, Έλεγχος και Ρομποτική

Αυτόνομο σύστημα οπτικής και ηχητικής αναγνώρισης για τον εντοπισμό εγκλωβισμένων επιζώντων σε περίπτωση φυσικής καταστροφής Κατασκευή και εφαρμογή στον διαγωνισμό Robocup-RoboRescue 2008. Σήματα, Έλεγχος και Ρομποτική Μαλλιάκας Παναγιώτης Λάμαρης Κωνσταντίνος Παπάζογλου Ανέστης Συμονίδης Δημήτριος pmaliak@hotmail.com ironlam@gmail.com mourgos23@gmail.com mitso_23@hotmail.com Προπτυχιακοί φοιτητές, P.A.N.D.O.R.A., ΙΕΕΕ Robotics Chapter Team of AUTH Τμήμα Ηλεκτρολόγων Μηχανικών Μηχανικών Υπολογιστών Α.Π.Θ. http://robotics.ee.auth.gr robochapter@ee.auth.gr Περίληψη Στην εργασία αυτή περιγράφεται η υλοποίηση του συστήματος αναγνώρισης ήχου και εικόνας του ρομποτικού οχήματος της ομάδας P.A.N.D.O.R.A. του Τ.Η.Μ.Μ.Υ. πολυτεχνικής σχολής του ΑΠΘ, το οποίο συμμετείχε στο διαγωνισμό Robocup-Roborescue το 2008. Ο διαγωνισμός έχει ως σκοπό τον εντοπισμό εγκλωβισμένων θυμάτων σε περιβάλλον που έχει υποστεί φυσική καταστροφή από ρομποτικά οχήματα. Λέξεις κλειδιά: κάμερα, μικρόφωνο, αναγνώριση ήχου, αναγνώριση εικόνας. 1. Εισαγωγή Στόχος του συστήματος ήχου-εικόνας είναι η ανίχνευση της θέσης εγκλωβισμένων θυμάτων στην αρένα η οποία προσομοιώνει το περιβάλλον φυσικής καταστροφής, και ο προσδιορισμός της κατάστασης στην οποία αυτά βρίσκονται αφού προσεγγιστούν από το όχημα (σχήμα 1). διάχυτος ήχος. Όταν το ρομπότ βρίσκεται σε στάση, εντοπίζεται η ηχητική πηγή. Όταν το όχημα βρίσκεται μπροστά στο θύμα, αντιλαμβάνεται αν μιλάει ή όχι, ή αν φωνάζει. Ομοίως, η αναγνώριση εικόνας περιλαμβάνει δυο στάδια. Το πρώτο στάδιο αποσκοπεί στην εύρεση ύπαρξης θύματος ή μη στο οπτικό πεδίο του ρομπότ, ενώ το δεύτερο στην αναγνώριση της κατάστασης στην οποία βρίσκεται (αναίσθητο ή μη), εφόσον υπάρξει θετικό αποτέλεσμα από το πρώτο στάδιο. 2. Ορισμός Προβλήματος,Απαιτήσεις Διαγωνισμού Τα θύματα, τα οποία βρίσκονται στην αρένα είναι ανθρωπόμορφες κούκλες (σχήμα 2) Σχήμα 2 Τα θύματα επίσης εκπέμπουν τους εξής ήχους: Shouting (95-100db) (δυνατές φωνές) Crying (85-90db) (κλάματα) Moaning (75-80db) (μουρμουρητό) Σχήμα 1 Οι ήχοι εκπέμπονται από μαγνητοφωνάκια ή από mp3 players συνδεδεμένα με κάποιο ηχείο. Συγκεκριμένα το σύστημα ήχου εκτελεί τρεις λειτουργίες. Κατά την κίνηση του ρομπότ αναγνωρίζεται 1

3. Επιλογή Υλικού Τα υλικά που χρησιμοποιήθηκαν για την υλοποίηση του συστήματος εικόνας, είναι μια κάμερα Logitech QuickCam Pro με τα εξής χαρακτηριστικά: Αισθητήρα με ανάλυση 960x720 pixels μέχρι και 1.3 Megapixels (HD-1280x960) (με αναβάθμιση λογισμικού), και ποιοτικός φακός Carl Zeiss.Η κάμερα συνδέεται με το pc του οχήματος (μέσω USB), όπου και γίνεται η εκτέλεση του αλγορίθμου καθώς οι απαιτήσεις σε υψηλή ανάλυση και ευκρίνεια της εικόνας είναι μεγάλη. Πάνω στη βάση της κάμερας του οχήματος, η οποία βρίσκεται στην κεφαλή ενός ρομποτικού βραχίονα, έχουν τοποθετηθεί 3 μικρόφωνα όπως φαίνεται στο σχήμα 3. Τα δύο εμπρός με κλίση 90 μοιρών μεταξύ τους, και τα πίσω με κλίση 135 μοιρών Σμε κάθε ένα από τα άλλα δύο ώστε να αναγνωρίζουν ήχους που προέρχονται από εμπρός, πίσω, αριστερά και δεξιά του ρομπότ. Σχήμα 4 Η συστοιχία των μικροφώνων συνδέεται με έναν τελεστικό ενισχυτή (LM 324) για την ενίσχυση των σήματων και τα 3 κανάλια ήχου εισέρχονται στον μικροελεγκτή AVR atmega128 ο οποίος διαθέτει έναν A/ D converter με 3 κανάλια εισόδου. Πάνω στον μικροελεγκτή τρέχει το λογισμικό επεξεργασίας των ηχητικών σημάτων. Ο μικροελεγκτής με τη σειρά του είναι συνδεδεμένος με το pc του οχήματος μέσω ενός RS-232 to USB cable όπου και στέλνει στην υπομονάδα τεχνητής νοημοσύνης (σχεδιαστής ενεργειών, planner) τα αποτελέσματα της επεξεργασίας του ήχου. 4. Σχεδιαστής Ενεργειών (planner) Σχήμα 3 Τα μικρόφωνα είναι τύπου electret condenser με χαρακτηριστικά: Απόκριση: 100Hz - 16kHz Πρότυπο: Cardioid Ευαισθησία: -68 db ±3dB Σύνθετη αντίσταση: 600 Ω Τάση λειτουργίας: 1.35V Βάρος: 60g Το πολικό πρότυπο του μικροφώνου έχει τη λεγόμενη καρδιοειδή ( cardioid ) μορφή, η οποία χρησιμεύει για να εντοπίζεται ήχος μπροστά από το μικρόφωνο και όχι γύρω από αυτό όπως τα κοινά μικρόφωνα. Στο σχήμα 4 βλέπουμε το πολικό pattern του ενός καρδιοειδούς μικροφώνου για τις συχνότητες των 250, 1000 και 4000 Hz. Το οπτικοακουστικό σύστημα αναγνώρισης ελέγχεται από τον σχεδιαστή ενεργειών (planner) ένα πρόγραμμα που τρέχει στο pc του οχήματος και λαμβάνει απόφαση πότε και ποιό mode του συστήματος ήχου και εικόνας θα τρέξει. Οι διασυνδέσεις μεταξύ των υποσυστημάτων εικόνας, ήχου και planner εμφανίζονται στη παρακάτω μορφή αναπαράστασης πεπερασμένου αυτόματου (fsm) (σχήμα 5). 2

Θερμικό, CO2 Σχεδιαστής Ενεργειών(planner) Επιλογή Συστήματος ήχου Επιλογή Συστήματος εικόνας Σχήμα 6 SMode 1 SMode 2 SMode 3 Σχήμα 5 VMode 1 VMode 2 VMode 3 Η αλγοριθμική διαδικασία του σχεδιαστή ενεργειών έχει ως εξής: Καθώς κινείται το όχημα στο περιβάλλον της αρένας ο planner καλεί περιοδικά το πρώτο mode λειτουργίας του ήχου το οποίο ανιχνεύει την τυχόν ύπαρξη διάχυτου ήχου στην αρένα. Επίσης, καλεί περιοδικά το πρώτο mode λειτουργίας της εικόνας το οποίο ανιχνεύει τυχόν ύπαρξη κάποιου θύματος στο οπτικό πεδίο του ρομπότ. Επιπλέον, περιοδικά στέλνονται τιμές από το θερμικό αισθητήριο του οχήματος όπως και το αισθητήριο ένδειξης της περιεκτικότητας διοξειδίου του άνθρακα στον αέρα. Σε περίπτωση που σταλεί απάντηση από τον ήχο, την εικόνα ή τα υπόλοιπα αισθητήρια ότι υπάρχει κάποιο θύμα στο περιβάλλον το όχημα σταματά και καλούνται αντίστοιχα τα mode 2 του ήχου και της εικόνας για να εντοπιστεί η ακριβή θέση του θύματος ως προς το όχημα. Όταν εντοπιστεί η θέση αυτή, το όχημα προσεγγίζει το θύμα και καλούνται τα mode 3 του ήχου και της εικόνας αντίστοιχα που επιστρέφουν στον planner την κατάσταση στην οποία βρίσκεται το θύμα (δηλαδή αν είναι αναίσθητο, εν ζωή ή νεκρό). 5. Σύστημα επεξεργασίας εικόνας 5.1 Mode 1, διαπίστωση παρουσίας θύματος Η διαδικασία διαπίστωσης παρουσίας θύματος στο οπτικό πεδίο του ρομπότ παρουσιάζεται στο παρακάτω διάγραμμα ροής (σχήμα 6) Αρχικά γίνεται προσπάθεια να αφαιρεθεί τμήμα της εικόνας που δεν περιέχει πληροφορία (background). Εκμεταλλευόμενοι την ομοιομορφία του περιβάλλοντος χώρου, παίρνουμε δείγματα εικόνων από τον χώρο. Επιλέγοντας τμήματα του background εκτελούμε έναν αλγόριθμο min-max για να προσδιορίσουμε τον συνολικό αριθμό των κλάσεων χρώματος που εμπεριέχονται στα δείγματα, και έπειτα εκτελώντας έναν (ελαφρώς τροποποιημένο για καλύτερη ταχύτητα) αλγόριθμο ελαχίστων τετραγώνων υπολογίζουμε τα κέντρα και την διασπορά των χρωματικών συνιστωσών YCrCb. Φιλτράροντας τις προσδιορισμένες τιμές χρώματος δημιουργείται μία μάσκα αφαίρεσης pixel για κάθε επεξεργαζόμενη εικόνα. Η μάσκα αυτή αναλύεται και συνεχόμενες ομάδες από pixel προς αφαίρεση ομαδοποιούνται σε αντικείμενα. Αντικείμενα με μικρό μέγεθος αγνοούνται και αφαιρούνται από την μάσκα ως στατιστικό σφάλμα. Το τελικό αποτέλεσμα είναι η εφαρμογή της μάσκας στην εικόνα (Σχήμα 7). Σχήμα 7 Το αποτέλεσμα της προηγούμενης διεργασίας συγκρίνεται με cascades από haar-like features που υποστηρίζονται από την βιβλιοθήκη που χρησιμοποιήθηκε (opencv) για τυχόν εντοπισμό χαρακτηριστικών προσώπου. Η ανίχνευση με βάση τα εκπαιδευμένα cascades απαιτεί το πρόσωπο να βρίσκεται 3

σε σχεδόν κάθετη θέση σε ένα περιορισμένο εύρος κλίσης (περίπου 25 μοίρες). Για να καταστεί η επεξεργασία ανεξάρτητη της θέσης και της κλίσης της κάμερας ως προς το θύμα, η κάθε λαμβανόμενη εικόνα περιστρέφεται ανά διαστήματα 45 μοιρών ως προς το κέντρο της, δημιουργώντας με αυτόν τον τρόπο οκτώ εικόνες προς έλεγχο. Ο αλγόριθμος αποφαινόταν θετικά σε περίπτωση εύρεσης προσώπου σε ακριβώς μία από τις οκτώ ελεγχόμενες εικόνες. Σε περίπτωση εύρεσης προσώπου σε περισσότερες της μίας εικόνες, αυξανόταν η πιθανότητα ύπαρξης λάθους, και το αποτέλεσμα του αλγορίθμου επέστρεφε μικρότερη βεβαιότητα για την ύπαρξη θύματος. Το αποτέλεσμα της παρακάτω επεξεργασίας φαίνεται στο παρακάτω σχήμα (Σχήμα 8) όπου με κόκκινο ορθογώνιο υποδηλώνεται ο εντοπισμός του προσώπου του θύματος. αλγορίθμου χρησιμοποιήθηκαν οι χρωματικές συνιστώσες YCrCb έναντι των RGB διότι κάθε συνιστώσα του RGB εξαρτάται από την φωτεινότητα ενώ στο YCrCb η φωτεινότητα δίνεται μόνο από τη χρωματική συνιστώσα Υ. Επίσης οι χρωματικές συνιστώσες CrCb δίνουν μια καλή εκτίμηση για το εάν ένα pixel θα μπορούσε να ανήκει σε χρωματική κλάση δέρματος. Η μετατροπή από το σύστημα RGB σε ΥCrCb έγινε με την χρησιμοποίηση των εξής τύπων: Υ=0.257*R+0.504*G+0.098*B+16 Cb=0.148*R-0.291*G+0.439*B+128 Cr=0.439*R-0.368*G-0.071*B+128 Κατόπιν, εκμεταλλευόμενοι την παραδοχή ότι το ανθρώπινο δέρμα περιορίζεται σε ένα στενό εύρος χρωματικών συνιστωσών Cr-Cb και χρησιμοποιώντας μία διαδικασία παρόμοια με αυτήν της αφαίρεσης του background δημιουργούμε μάσκες για κάθε εικόνα που αντιπροσωπεύουν τα σημεία που αναγνωρίζονται ως δέρμα. Το τελικό αποτέλεσμα είναι η εφαρμογή της μάσκας στην εικόνα (Σχήμα 10). Σχήμα 8 5.2 Mode 2, Επιβεβαίωση παρουσίας θύματος Η επιβεβαίωση παρουσίας θύματος στην κατεύθυνση την οποία κοιτά η κάμερα της κεφαλής του βραχίονα επιτυγχάνεται με την εξής διαδικασία (Σχήμα 9). Σχήμα 9 Αρχικά εκτελείται ένας αλγόριθμος skin detection για την απόρριψη όσο το δυνατό περισσότερων non face αντικειμένων της εικόνας, καθώς το μεγαλύτερο ποσοστό της εικόνας αποτελείται από μη χρωματικές συνιστώσες δέρματος. Για την υλοποίηση του Σχήμα 10 Το αποτέλεσμα της εφαρμογής του αλγορίθμου skin detection έχει ως αποτέλεσμα την δημιουργία μιας δυαδικής εικόνας (binary image) όπου με μαύρο χρώμα είναι σημειωμένο οτιδήποτε δεν αναγνωρίζεται ως δέρμα ενώ με άσπρο χρώμα σημειώνονται τα σημεία των οποίων οι χρωματικές συνιστώσες ανήκουν στις χρωματικές κλάσεις δέρματος. Όπως είναι αναμενόμενο ο αλγόριθμος εντοπίζει αρκετά αντικείμενα που έχουν παρεμφερές χρώμα με το χρώμα του δέρματος. Στη συνέχεα εκτελείται ένας αλγόριθμος ομαδοποίησης ο όποιος κατατάσσει τα επιλεγμένα τμήματα του αλγορίθμου skin detection σε αντικείμενα. Αντικείμενα με πολύ μικρό μέγεθος αναγνωρίζονται ως στατιστικό λάθος και αφαιρούνται από την εικόνα. Το βασικό κριτήριο της απόρριψης είναι το μέγεθος και το σχήμα των τμημάτων αυτών. Γνωρίζοντας την απόσταση του θύματος από την κάμερα και υπολογίζοντας το εμβαδό των επιμέρους τμημάτων της εικόνας έχουμε την δυνατότητα να εκτιμήσουμε εάν ένα τμήμα θα μπορούσε να είναι μέλος ανθρώπινου σώματος. Τμήματα τα οποία έχουν μικρό μέγεθος απορρίπτονται θέτοντας κατάλληλο 4

threshold καθώς και τμήματα που έχουν υπερβολικά μεγάλο μέγεθος τα όποια δεν είχαν προηγουμένως αφαιρεθεί με την διαδικασία αφαίρεσης του background. Το τελικό αποτέλεσμα της εφαρμογής του αλγορίθμου φαίνεται στο παρακάτω σχήμα (Σχήμα 11). Σχήμα 11 5.3 Mode 3, Προσδιορισμός κατάστασης θύματος Ο προσδιορισμός κατάστασης του θύματος επεξηγείται στο παρακάτω διάγραμμα ροής (Σχήμα 12) εκτελούμε και για την τρίτη εικόνα σε σχέση με την δεύτερη. Τέλος συγκρίνοντας την διάφορα του ποσοστού των δυο μετατοπίσεων καθώς και την διάφορα των κέντρων μάζας δίνουμε μια εκτίμηση για το εάν είχαμε κίνηση και ποσό έντονη ήταν. Το τελευταίο στάδιο της επεξεργασίας εικόνας είναι η εκτίμηση για το εάν το θύμα βρίσκεται εγκλωβισμένο σε κοιλότητες η βρίσκεται σε προσβάσιμο σημείο. Θεωρώντας πως εάν ένα θύμα θα βρίσκεται εγκλωβισμένο σε κλειστό χώρο(κουτί) όπως ήταν στο χώρο του διαγωνισμού η μέση φωτεινότητα γύρω από το σημείο αυτό θα ήταν χαμηλότερη από την μέση φωτεινότητα όλης της εικόνας. Με το σκεπτικό αυτό υπολογίζουμε τον μέσο όρο φωτεινότητας σε όλα τα τμήματα της εικόνας με σκοπό την ανεύρεση του τμήματος της εικόνας με το χαμηλότερο μέσο όρο φωτεινότητας. Κατόπιν υπολογίζουμε την διαφορά του αθροίσματος των τετραγώνων των χρωματικών συνιστωσών της φωτεινότητας των σημείων γύρω από το σημείο με την χαμηλότερη μέση τιμή της φωτεινότητας και της αντίστοιχης μέσης τιμής της φωτεινότητας και ανάλογα με την τιμή αυτή μπορούμε να δώσουμε μια πρώτη εκτίμηση για το εάν το θύμα είναι εγκλωβισμένο η μη. Σε δεύτερο στάδιο έγινε η υπόθεση ότι εάν ένα θύμα είναι εγκλωβισμένο τότε θα υπάρχει αυξομείωση της έντασης του φωτισμού γύρω από τις κοιλότητες (τρύπα του κουτιού) με αποτέλεσμα να έχουμε σκιές. Με βάση αυτήν την παρατήρηση υλοποιήσαμε έναν αλγόριθμο ο οποίος υπολογίζει σε ποια τμήματα της εικόνας υπάρχουν ίδιες χρωματικές συνιστώσες CrCb με διαφορετικό Y. Στις περιοχές αυτές υπήρχε μεγάλη πιθανότητα εμφάνισης σκιάς οπότε ήταν ακόμα ένα κριτήριο εκτίμησης για το εάν το θύμα ήταν εγκλωβισμένο η μη. 6. Σύστημα Επεξεργασίας Ήχου Σχήμα 12 Εφόσον έχουμε θετικό αποτέλεσμα από το δεύτερο στάδιο γίνεται η προσπάθεια της αναγνώρισης της κατάστασης του θύματος. Θεωρώντας λογικό ένα άτομο που έχει τις αισθήσεις του να παρουσιάζει ένα έστω και μικρό δείγμα κίνησης, ελέγχουμε το πόσο έντονα παρατηρείται κίνηση στην εικόνα. Εντονότερες κινήσεις αυξάνουν την βεβαιότητα πως το θύμα δεν είναι αναίσθητο. Για το λόγο αυτό παίρνουμε τρία διαδοχικά δείγματα εικόνων και ελέγχουμε τι ποσοστό κίνησης έχουμε. Υπολογίζουμε την διάφορα του αθροίσματος των τετραγώνων της κάθε χρωματικής συνιστώσας ΥCrCb του κάθε pixel των δυο πρώτων frame και ανάλογα εάν ξεπερνάμε ένα συγκεκριμένο threshold θεωρούμε πως έχουμε κίνηση για το αντίστοιχο pixel. Κατόπιν υπολογίζουμε το ποσοστό μετατόπισης των pixel σε αναλογία με τα pixel που παρέμειναν σταθερά καθώς και το κέντρο βάρους τους. Την ιδία διαδικασία 6.1 Mode 1, Αναγνώριση ύπαρξης ήχου στην αρένα Κατά την κίνηση του ρομπότ αναγνωρίζεται διάχυτος ήχος. Αυτό επιτυγχάνεται μετρώντας την συνολική ενέργεια των ηχητικών σημάτων που δέχονται τα μικρόφωνα. Ακολουθείται η εξής διαδικασία: Δειγματοληπτούμε τον ήχο του περιβάλλοντος από τα τρία μικρόφωνα με συχνότητα δειγματοληψίας 8kHz και κβάντιση 8bit.Το πρώτο segment του ήχου, δηλαδή τα πρώτα 65msec (512 samples) δειγματοληπτούνται από το πρώτο μικρόφωνο (mic0). To επόμενο segment από το δεύτερο μικρόφωνο (mic1) και το τρίτο segment από το τρίτο μικρόφωνο (mic2). Η διαδικασία συνεχίζεται κυκλικά μέχρις ότου σε κάθε μικρόφωνο να αντιστοιχούνε 10 Segments ήχου. Η συνολική διάρκεια της δειγματοληψίας είναι 1.95sec. (Σχήμα 13) 5

Mode 1 START Δειγματοληψία 10 Segments ήχου για κάθε ένα από τα 3 κανάλια Xi(n), i=1,2,3 και εύρεση της ενέργειας του κάθε sample Xi(n)^2, i=1,2,3 Εύρεση της μέσης τιμής της ενέργειας για κάθε Segment e(i,j),i=1,2,3, j=1,..,10 Έλεγχος της μέσης τιμής της ενέργειας για κάθε Segment και για κάθε μικρόφωνο με ένα κατώφλι energythr Υπολογισμός του πλήθους των Segments(soundcount) για κάθε μικρόφωνο που ξεπέρασαν το energythr Soundcount>4 Yes No Υπολογισμός της μέσης τιμής της μέσης ενέργειας των 10 Segments του κάθε μικροφώνου Έξοδος ότι δεν υπάρχει ήχος στο περιβάλλον (soundyes=0) Σχήμα 13 Έπειτα υπολογίζεται η ενέργεια κάθε segment ήχου και αποφασίζεται ανάλογα με τον αριθμό των segments που η ενέργειά τους ξεπερνά ένα κατώφλι αν υπάρχει διάχυτος ήχος στο περιβάλλον του ρομπότ ή όχι (σχήμα 14). Έξοδος ότι υπάρχει ήχος στο περιβάλλον (soundyes=1) Σχήμα 14 6.2 Mode 2, Εύρεση κατεύθυνσης πηγής ήχου(θύμα) Όταν το ρομπότ βρίσκεται σε στάση, τα μικρόφωνα εντοπίζουν την ηχητική πηγή. Αυτό επιτεύχθηκε με την κατασκευή ενός αλγορίθμου ο οποίος δειγματοληπτεί ήχο για 4 second, υπολογίζει την ενέργεια κάθε μικροφώνου, περιστρέφει δεξιόστροφα ή αριστερόστροφα την κεφαλή του βραχίονα και δίνει στην έξοδό του την κατεύθυνση της ηχητικής πηγής σε γωνία ως προς την ευθεία του οχήματος εκείνη τη στιγμή σε μια περιοχή ±11 μοιρών (σχήμα 15). 6

Mode 2 START Κ=0 από ένα μικρόφωνο 5.85sec. Δηλαδή συνολικά 30 segments των 512 samples και υπολογίζεται η rms ενέργεια κάθε segment ήχου. Η μέση ενέργεια, averagerms όλων των segments εισάγεται στο πολυώνυμο 5 ου βαθμού του σχήματος 16. 110 Κ=Κ+1 No Δειγματοληψία 10 Segments ήχου για κάθε ένα από τα 3 κανάλια Xi(n), i=1,2,3 και εύρεση της ενέργειας του κάθε sample Xi(n)^2, i=1,2,3 Εύρεση της μέσης τιμής της ενέργειας για κάθε Segment e(i,j),i=1,2,3, j=1,..,10 Εύρεση της μέσης τιμής της ενέργειας για κάθε κανάλι, Ε(I,K), I=1,2,3 Δεξιά ή αριστερή περιστροφή της κεφαλής κατά x μοίρες ανάλογα με το ποιο κανάλι έχει μεγαλύτερη μέση ενέργεια E(I,K). Κ>1 Yes Υπολογισμός γωνίας ύπαρξης θύματος ως προς την ευθεία που βρίσκεται το όχημα από τις τιμές των μέσων ενεργειών E(I,K) Σχήμα 15 intensity db 105 100 95 90 85 80 75 70 65 60 0 10 20 30 40 50 60 70 80 90 rms energy Σχήμα 16 Από το παραπάνω πολυώνυμο προκύπτει η ένταση (finalintensity) του ήχου μετρούμενη σε db. Τέλος βάσει των δεδομένων του διαγωνισμού και την έξοδο του πολυωνύμου δίνεται η πιθανότητα να βρίσκεται το θύμα σε κάποια συγκεκριμένη κατάσταση (να μην μιλάει, να μιλάει ή να φωνάζει) Mode 3 START Αρχικά, δειγματοληπτείται ήχος όταν η κεφαλή έχει την φορά κίνησης του οχήματος. Λαμβάνοντας υπόψη ποιο κανάλι από τα τρία έχει τη μεγαλύτερη ενέργεια αλλά και τις διαφορές των ενεργειών των καναλιών μεταξύ τους, αποφασίζεται κατά πόσες μοίρες θα περιστραφεί η κεφαλή και προς ποια κατεύθυνση. Η παραπάνω διαδικασία εκτελείται ακόμα μία φορά και στο τέλος στέλνεται στον σχεδιαστή ενεργειών η τελική γωνία ως προς την ευθεία του οχήματος στην οποία θεωρείται ότι βρίσκεται το θύμα με μία επί τοις εκατό πιθανότητα λαμβάνοντας υπόψη και τις δύο διαδοχικές δειγματοληψίες. 6.3 Mode 3, Εύρεση της κατάστασης του θύματος Σε περίπτωση που έχει εντοπιστεί κάποιο θύμα μέσω και των υπόλοιπων αισθητήρων του οχήματος και αφού έχει προσεγγιστεί με το όχημα, ο planner γυρίζει τη κεφαλή του βραχίονα ώστε το θύμα να αντικρίζει το 2 ο μικρόφωνο (mic1) και καλεί το mode3 το οποίο ηχογραφεί τον ήχο που εκπέμπει το θύμα σε απόσταση 15-20cm περίπου από αυτό. Ύστερα από επεξεργασία του σήματος δίνεται ως έξοδος η πιθανότητα να βρίσκεται το θύμα σε μία από τις προαναφερόμενες καταστάσεις (βλ. ενότητα 2). Δειγματοληψία ήχου για 3*1.95sec Εύρεση της rms τιμής της ενέργειας κάθε Segment ήχου. Εύρεση της μέσης τιμής της rms ενέργειας όλων των Segments, averagerms. Εύρεση της έντασης του ήχου finalintensity μέσω του πολυωνύμου 5ου βαθμού Εύρεση της πιθανής κατάστασης του θύματος και αποστολή των δεδομένων στον planner. Σχήμα 17 Η αλγοριθμική διαδικασία της συνάρτησης mode 3 έχει ως εξής (σχήμα 17). Αρχικά, δειγματοληπτείται ήχος 7

7. Συμπεράσματα Όσον αφορά το σύστημα εικόνας, η παραπάνω επεξεργασία αποδίδει ικανοποιητικά στις ελεγχόμενες συνθήκες του διαγωνισμού, με εξαίρεση την ανίχνευση των ανθρώπινων μελών, καθώς για την εξομοίωση των θυμάτων χρησιμοποιούνται κούκλες που δεν έχουν απαραίτητα ανθρώπινα χαρακτηριστικά ή δεν αναγνωρίζονται σε μακρινές αποστάσεις. Παρ όλα αυτά σε πραγματικές συνθήκες αναμένουμε αυτή η λειτουργία να είναι πολύ πιο αποδοτική από τις υπόλοιπες καθώς ο στατιστικός έλεγχος δεν είναι πολύ επιτυχής σε άγνωστο περιβάλλον. Η περαιτέρω βελτίωση του αλγορίθμου θα μπορούσε να επιτευχτεί μέσο της εκπαίδευσης των cascades της βιβλιοθήκης της OpenCV για την αναγνώριση και άλλων μελών του σώματος περά του προσώπου. Επιπλέον θα μπορούσε μετά τον αλγόριθμο skin detection να υλοποιηθεί και ένας αλγόριθμος edge detection για την απόρριψη τον τμημάτων εικόνας που δεν έχουν το ωοειδές σχήμα προσώπου. Όσον αφορά το σύστημα ήχου, ο αλγόριθμος αποδίδει ικανοποιητικά στις ελεγχόμενες συνθήκες της αρένας. Σε κάποιες περιπτώσεις το όχημα εντόπιζε την πηγή του ήχου δίνοντας μικρότερη πιθανότητα από την αναμενόμενη, εξαιτίας των ανακλάσεων του ήχου στα τοιχώματα της αρένας. Για τη βελτίωση αυτής της κατάστασης η λύση είναι η αντικατάσταση του παρόντος μικροελεγκτή με έναν DSP ο οποίος θα έχει τρία κανάλια παράλληλης δειγματοληψίας και τη δυνατότητα να εντοπίζει την πηγή του ήχου αξιοποιώντας την ετεροσυσχέτιση (cross-correlation) μεταξύ των τριών ηχογραφούμενων σημάτων[1]. [7]Jacob Benesty, Jingdong Chen, Yiteng Huang(2008), Microphone Array Signal Processing,Springer publishing. [8]Martin Clifford (1977), Microphones-How they work and how to use them, TAB Books Publishing. [9] Ming-Hsuan Yang and Narendra Ahuja Detecting Human Faces in Color Images. Beckman Institute and Department of Electrical and Computer Engineering, University of Illinois at Urbana- Champaign. [10] Elad, M. Rejection Based face Detection EE368 digital Image Processing Lecture, Stanford University, Stanford, CA. May 19, 2003 Jayaram et al., 2004. [11] Jayaram, S., Schmugge, S., Shin, M.C., Tsap, L.V., 2004. Effect of colorspace transformation, the illuminance component, and color modeling on skin detection, Comput. Vision and Pattern Recognition, 2004 (CVPR 2004), Proc. 2004 IEEE Comput. Soc. Conf. on. 8.Βιβλιογραφία [1]Byoungho Kwon, Gyeongho Kim, Youngjin Park(2007), Sound Source Localization Methods with Considering of Microphone Placement in Robot Platform, 16th IEEE International Conference on Robot & Human Interactive Communication [2]Manolis C.Tsakiris(2008), Active noise control, second greek conference of electrical engineer students Athens. [3]Dhananjay V.Gadre(2001), Προγραμματίζοντας τον μικροελεγκτή AVR,εκδόσεις ΤΖΙΟΛΑ [4]Atmel atmega128 manual, [5] Vijay K. Madisetti, Douglas B. Williams (1999), Digital Signal Processing Handbook, CRC Press LLC. [6]Davide Rocchesso, Introduction to Sound Processing, ISBN 88-901126-1-1 8