ΑΤΕΙ ΚΡΗΤΗΣ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΕΠΙΣΤΗΜΩΝ Τμήμα Μηχανικών Μουσικής Τεχνολογίας & Ακουστικής ''Κοχλιακά εμφυτεύματα: προσομοίωση της ακοής μέσω εφαρμογής και απεικόνιση της διασποράς ηλεκτρικού πεδίου με τη Μέθοδο Πεπερασμένων Στοιχείων (ΜΠΣ)'' Νικόλαος Παπαχρήστου Επιβλέποντες καθηγητές: Παναγιώτης Ζέρβας, Waldo Nogueira Keywords λέξεις κλειδιά: κλειδιά Κοχλιακό εμφύτευμα (ΚΕ), Επεξεργασία σήματος, Μουσική αντίληψη
Περίγραμμα παρουσίασης 1. Εισαγωγή 2. Σκοπός της έρευνας 3. State of the art 4. Μεθοδολογία 5. Περιγραφή πρακτικού μέρους 6. Αποτελέσματα 7. Συμπεράσματα 8. Μελλοντική έρευνα
Εισαγωγή Κοχλιακά Εμφυτεύματα (ΚΕ): μια αποδεκτή μέθοδος αποκατάστασης της ακοής Τα ΚΕ σήμερα: βελτίωση της επικοινωνίας των χρηστών σε διάφορους τομείς Βελτίωση: Ήχος Μουσικής εμπειρίας Αναγνώρισης ήχων (μουσική, ομιλία)
Δομή ΚΕ Μικρόφωνο Πηνίο -κεραία Δέκτης Επεξεργαστής Συστοιχία ηλεκτροδίων
Ιστορικά Η ιδέα απευθείας διέγερσης του ακουστικού νεύρου προϋπήρχε ('30) Πρώτες συστηματικές έρευνες από τους Dr. Graeme Clark ('60), Jim Patrick και Ian Forster ('70) Χαρακτηριστικά: περιορισμένη πιστότητα ήχου αναπαραγωγή μόνο ομιλίας (1-22 ηλεκτρόδια) υψηλό κόστος πειραματικό στάδιο τεχνολογίας & συνεχόμενες καινοτομίες 1979 1985 1998 2008
Η τεχνολογία ΚΕ σήμερα: υψηλή πιστότητα ήχου: έως και 120 κανάλια, συνδυαστικές μέθοδοι επεξεργασίας και κωδικοποίησης του σήματος (CIS, SPEAK, ACE, HiRes) Εξέλιξη τεχνολογίας σε επίπεδο υλικού (hardware) και λογισμικού (software DSP), προορισμένη όχι μόνο για ομιλία αλλά και για μουσικό σήμα Οικονομικά πιο προσιτή
Σκοπός της έρευνας 1. Η παρουσίαση ενός μοντέλου για την προσομοίωση της ακουστικής εμπειρίας χρηστών ΚΕ 2. Η ανάπτυξη ενός μοντέλου για την αναπαράσταση της απόκρισης του κοχλία όταν διεγείρεται ηλεκτρικά 3. Η διερεύνηση των δυνατοτήτων των τεχνικών επεξεργασίας ήχου στη βελτίωση της μουσικής εμπειρίας και αντίληψης
State of the Art Γνωστικά πεδία Aκοολογία Ψυχοακουστική ΨΕΣ Αριθμητικές μέθοδοι Μέθοδοι Εργαλεία Στρατηγικές επεξεργασίας & Τεχνικές κωδικοποίησης Εφαρμογή Προσομοίωση της ακουστικής εμπειρίας Οπτική αναπαράσταση του φαινομένου Υλικό: Συσκευή ΚΕ, επεξεργαστής, μονάδα διεπαφής Λογισμικό: Εφαρμογή/Περιβ άλλον ανάπτυξης εφαρμογής (Matlab, Comsol)
Περιγραφή πρακτικού μέρους Μεθοδολογία Ηχητικά δείγματα: σήμα ομιλίας & μουσικό σήμα i. ii. NoFM Strategies (ACE, PACE) CIS HiRES f-120 Εικονικά κανάλια Υβριδικές Τεχνικές Διέγερσης Επεξεργασία/κωδικοποίηση Ακουστική Προσομείωση Επιλογή χρονικού παραθύρου προς αναπαράσταση Ανάλυση ΜΠΣ Οπτική Αναπαράσταση
Aνάπτυξη εφαρμογής Εκτέλεσηπαραμετροποίηση εφαρμογής i. Matlab Προσομοίωση της ακοής μέσω ΚΕ Φόρτωση δειγμάτων-παραμετροποίηση Ενεργοποίηση n-καναλιών Ανάπτυξη 3D μοντέλου ii. Σύνθεση 3D δομών Comsol Προσομοίωση εμπειρίας χρήστη Oπτικοποίηση της πληροφορίας Αναπαράσταση της απόκρισης σε ηλεκτρική διέγερση
Αποτελέσματα Κυματομορφή εισόδου και έξοδος για μουσικό σήμα (τσέλο) Χρονικό παράθυρο Τ Κυματομορφή σήματος ομιλίας και έξοδος του αντιστοιχητή (mapper) Υπολογισμός ηλεκτρικού δυναμικού V και μέτρο ηλεκτρικού πεδίου Ε στα μετρούμενα σημεία
Κατανομή του ηλεκτρικού πεδίου κατά μήκος του κοχλία Διάγραμμα νευρικής απόκρισης κατά μήκος των νευρικών ομάδων 1-24
Συμπεράσματα Παρουσίαση συστήματος προσομοίωσης ακοής μέσω διεπαφής και ανάπτυξη εφαρμογής οπτικής αναπαράστασης Συνδυασμός ακουστικής και οπτικής πληροφορίας για την πληρέστερη κατανόηση και διερεύνηση της επανάκτησης ακοής Μελέτη των φαινομένων που παρατηρούνται σε πολύ μικρή χρονική κλίμακα σε χρονικό παράθυρο Τstim Επιβεβαίωση του φαινομένου της επικάλυψης που παρατηρείται μεταξύ γειτονικών νευρικών ομάδων
Μελλοντική έρευνα Επέκταση της εργασίας σε: Μεγαλύτερα χρονικά παράθυρα ανάλυσης σημάτων ομιλίας και μουσικής: συνεχής αναπαράσταση κατά τη διάρκεια αναπαραγωγής σήματος Μεγαλύτερο συχνοτικό εύρος - περισσότερες ψυχοακουστικές ζώνες (barkbands) Μελέτη και εξαγωγή χαρακτηριστικών με σκοπό την ταξινόμηση- αυτόματη αναγνώριση χροιάς ή/και άλλων χαρακτηριστικών μέσω τεχνικών Μηχανικής Μάθησης (Machine Learning)
Σας ευχαριστώ!