«Επεξεργασία Εγκεφαλικών Αποκρίσεων με Τεχνικές Αναπαράστασης Πληροφορίας και Εφαρμογή σε Διεπαφές Εγκεφάλου-Υπολογιστή»

Transcript

1 Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης Τμήμα Πληροφορικής Μεταπτυχιακό Δίπλωμα Ειδίκευσης Κατεύθυνση: Ψηφιακά Μέσα Διπλωματική Εργασία Επιβλέπων Καθηγητής: Λάσκαρης Νικόλαος «Επεξεργασία Εγκεφαλικών Αποκρίσεων με Τεχνικές Αναπαράστασης Πληροφορίας και Εφαρμογή σε Διεπαφές Εγκεφάλου-Υπολογιστή» Χαραλάμπους Κωνσταντίνος Θεσσαλονίκη, Ιούνιος 2011

2 1

3 ΠΡΟΛΟΓΟΣ Σκοπός του παρόντος κειμένου είναι η πλήρης περιγραφή και παρουσίαση της διπλωματικής μου εργασίας στα πλαίσια του Μεταπτυχιακού στο τμήμα Πληροφορικής του Αριστοτελείου Πανεπιστημίου Θεσσαλονίκης στην κατεύθυνση Ψηφιακά Μέσα. Αντικείμενο της αποτέλεσε η σχεδίαση και η ανάπτυξη μίας νέας μεθόδου πρόβλεψης της απόφασης ενός χρήστη για κίνηση προς τα αριστερά ή δεξιά σε πολυκαναλικό σήμα. Η παραπάνω μέθοδος δοκιμάσθηκε και συγκρίθηκε σε σήματα ηλεκτροεγκεφαλογραφήματος από ανθρώπους που συμμετείχαν σε κατάλληλα σχεδιασμένο πείραμα κατά τη διάρκεια του οποίου πραγματοποιούσαν κάποια κίνηση προς τα αριστερά ή προς τα δεξιά. Η ενασχόλησή μου με τον τομέα των βιοϊατρικών σημάτων σχετίζεται άμεσα με το ενδιαφέρον μου για την λειτουργία του ανθρώπινου εγκεφάλου, η ερμηνεία και η κατανόηση του οποίου αποτελεί ένα διαρκώς εξελισσόμενο κλάδο και σχετίζεται άμεσα με την επιστήμη της νευροφυσιολογίας. Η κατανόηση του τρόπου λειτουργίας του ανθρώπινου εγκεφάλου μπορεί να βοηθήσει στην πρόληψη ασθενειών, στην θεραπεία και στην αποκατάσταση των ανθρώπων οι οποίοι έχουν υποστεί μερική βλάβη σε κάποιο κέντρο του εγκεφάλου. 2

4 ΕΥΧΑΡΙΣΤΙΕΣ Οφείλω να ευχαριστήσω τον επιβλέποντα καθηγητή μου κ. Νικόλαο Λάσκαρη ο οποίος μου έδωσε την ευκαιρία, μέσα από την ανάθεση του συγκεκριμένου θέματος διπλωματικής εργασίας, να αποκομίσω στενές σχέσεις με τον τομέα της επεξεργασίας βιοϊατρικών σημάτων και να εντείνω το ενδιαφέρον μου σε συναφή επιστημονικά πεδία. Μέσα στα πλαίσια της εργασίας μου κατάφερε επίσης να μου μεταδώσει τις αξίες της συνεργασίας και της προσωπική βελτίωσης με απώτερο σκοπό την επίτευξη ενός κοινού στόχου. Επίσης οφείλω να εκφράσω τις ιδιαίτερες ευχαριστίες μου στον υποψήφιο διδάκτορα κ. Σταύρο Δημητριάδη για τις πολύτιμες συμβουλές που μου παρείχε. Η συμβολή του κρίθηκε καταλυτική για την πραγματοποίηση της παρούσας εργασίας τόσο στο στάδιο του σχεδιασμού όσο και στο στάδιο της ανάπτυξης. Τέλος οφείλω να ευχαριστήσω τον μεταπτυχιακό φοιτητή κ. Ιωάννη Κοσταβέλη ο οποίος επίσης εργάζεται η υπό την επίβλεψη του κ. Λάσκαρη για τις πολύτιμες συμβουλές του και την ηθική υποστήριξή του. 3

5 ΠΕΡΙΕΧΟΜΕΝΑ ΠΡΟΛΟΓΟΣ... 2 ΕΥΧΑΡΙΣΤΙΕΣ... 3 ΠΙΝΑΚΑΣ ΣΧΗΜΑΤΩΝ... 6 ΠΕΡΙΛΗΨΗ... 9 ABSTRACT ΚΕΦΑΛΑΙΟ 1o ΚΕΦΑΛΑΙΟ 1o: ΘΕΜΕΛΙΩΔΕΙΣ ΕΝΝΟΙΕΣ ΤΩΝ B.C.I. ΣΥΣΤΗΜΑΤΩΝ ΚΑΤΗΓΟΡΙΕΣ B.C.I. ΣΥΣΤΗΜΑΤΩΝ ΜΕΘΟΔΟΙ ΚΑΤΑΓΡΑΦΗΣ ΣΗΜΑΤΟΣ ΤΟΥ ΕΓΚΕΦΑΛΟΥ Η ΦΥΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΓΝΩΣΤΕΣ ΠΕΙΡΑΜΑΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ ΚΕΦΑΛΑΙΟ 2o ΚΕΦΑΛΑΙΟ 2o: ΠΕΙΡΑΜΑΤΙΚΗ ΔΙΑΔΙΚΑΣΙΑ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ ΥΠΟΚΕΙΜΕΝΑ ΚΑΙ ΑΠΟΚΤΗΣΗ ΔΕΔΟΜΕΝΩΝ ΠΡΩΤΟΚΟΛΛΟ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ ΕΥΡΗΜΑΤΑ ΚΑΙ ΔΙΑΠΙΣΤΩΣΕΙΣ ΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ ΚΕΦΑΛΑΙΟ 3o ΚΕΦΑΛΑΙΟ 3o: ΓΝΩΣΤΕΣ ΤΕΧΝΙΚΕΣ ΤΑΞΙΝΟΜΗΣΗΣ ΓΙΑ EEG ΑΝΑΛΥΣΗ Η ΣΗΜΑΣΙΑ ΤΟΥ ΧΩΡΙΚΟΥ ΦΙΛΤΡΟΥ ΓΕΝΙΚΟ ΠΛΑΙΣΙΟ ΛΕΙΤΟΥΡΓΙΑΣ ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΤΩΝ CSP ΤΕΧΝΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ ΣΤΗΝ ΑΝΑΛΥΣΗ ΤΩΝ CSP ΕΠΕΚΤΑΣΕΙΣ ΤΟΥ ΑΡΧΙΚΟΥ CSP ΑΛΓΟΡΙΘΜΟΥ ΚΕΦΑΛΑΙΟ 4o ΚΕΦΑΛΑΙΟ 4o: ΝΕA ΜΕΘΟΔΟΣ ΤΑΞΙΝΟΜΗΣΗΣ ΔΙΕΡΕΥΝΗΤΙΚΗ ΑΝΑΛΥΣΗ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΤΑΞΙΝΟΜΗΣΗΣ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΕΜΦΑΝΙΣΗΣ ΕΜΠΟΔΙΟΥ ΑΡΙΣΤΕΡΑ / ΔΕΞΙΑ ΣΤΟ ΟΠΤΙΚΟ ΠΕΔΙΟ ΔΙΕΡΕΥΝΗΤΙΚΗ ΑΝΑΛΥΣΗ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΤΑΞΙΝΟΜΗΣΗΣ ΤΩΝ ΑΠΟΚΡΙΣΕΩΝ ΕΝΕΡΓΗΤΙΚΗΣ / ΠΑΘΗΤΙΚΗΣ ΠΑΡΑΤΗΡΗΣΗΣ ΚΕΦΑΛΑΙΟ 5o ΚΕΦΑΛΑΙΟ 5o: ΠΕΙΡΑΜΑΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ

6 5.1 ΣΥΓΚΡΙΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΑΡΙΣΤΕΡΗΣ / ΔΕΞΙΑΣ ΑΠΟΚΡΙΣΗΣ ΣΥΓΚΡΙΤΙΚΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΕΝΕΡΓΗΤΙΚΗΣ / ΠΑΘΗΤΙΚΗΣ ΚΑΤΑΣΤΑΣΗΣ ΚΕΦΑΛΑΙΟ 6o ΚΕΦΑΛΑΙΟ 6o: ΣΥΜΠΕΡΑΣΜΑΤΑ ΣΥΜΠΕΡΑΣΜΑΤΑ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΑΡΙΣΤΕΡΗΣ / ΔΕΞΙΑΣ ΑΠΟΚΡΙΣΗΣ ΣΥΜΠΕΡΑΣΜΑΤΑ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΕΝΕΡΓΗΤΙΚΗΣ / ΠΑΘΗΤΙ-ΚΗΣ ΚΑΤΑΣΤΑΣΗΣ ΜΕΛΛΟΝΤΙΚΕΣ ΠΡΟΕΚΤΑΣΕΙΣ ΠΑΡΑΡΤΗΜΑ A. ΜΗΧΑΝΕΣ ΔΙΑΝΥΣΜΑΤΩΝ ΥΠΟΣΤΗΡΙΞΗΣ Α.1 ΓΡΑΜΜΙΚΟΣ ΤΑΞΙΝΟΜΗΤΗΣ - ΔΙΑΧΩΡΙΣΙΜΗ ΠΕΡΙΠΤΩΣΗ Α.2 ΓΡΑΜΜΙΚΟΣ ΤΑΞΙΝΟΜΗΤΗΣ - ΜΗ ΔΙΑΧΩΡΙΣΙΜΗ ΠΕΡΙΠΤΩΣΗ Α.3 ΜΗ ΓΡΑΜΜΙΚΟΣ ΤΑΞΙΝΟΜΗΤΗΣ Β. SPARSITY PRESERVING PROJECTIONS B.1 ΕΙΣΑΓΩΓΗ B.2 SPARSITY PRESERVING PROJECTIONS ΒΙΒΛΙΟΓΡΑΦΙΑ

7 ΠΙΝΑΚΑΣ ΣΧΗΜΑΤΩΝ Σχήμα 1: Οι ρυθμοί των EEG κυματομορφών Σχήμα 2: Διάγραμμα ενός συστήματος BCI βασισμένο σε VEP Σχήμα 3: (a) Η ακολουθία διέγερσης των στόχων ενός BCI συστήματος βασισμένο σε t- VEP. Οι αναλαμπές των στόχων είναι αμοιβαία ανεξάρτητες. (b) Η προκλητή απόκριση σε μία απλή διέγερση Σχήμα 4: (a) Οι ακολουθίες διεγέρσεων για τους στόχους ενός BCI συστήματος βασισμένο σε f-vep. Οι αναλαμπές των στόχων έχουν διαφορετικές συχνότητες. (b) Το φάσμα της ενέργειας της προκλητής απόκρισης παράγεται από ένα στόχο που τρεμοπαίζει στα 10 Hz.. 17 Σχήμα 5: Οι ακολουθίες διέγερσης και οι προκλητές αποκρίσεις ενός BCI συστήματος βασισμένο σε c-vep. (a) Οι ακολουθίες των στόχων είναι ένας κύκλος διέγερσης. Κάθε ακολουθία παράγεται από μία δυαδική m-ακολουθία. Υπάρχει μία καθυστέρηση τεσσάρων πλαισίων ανάμεσα σε δύο διαδοχικές ακολουθίες. Όλοι οι στόχοι ενεργοποιούνται συγχρόνως, και ο κύκλος διέγερσης επαναλαμβάνεται συνεχώς. (b) Μία κυματομορφή της προκλητής απόκρισης. (c) Το φάσμα ισχύος της προκλητής απόκρισης. (d) Η αυτοσυσχέτιση της προκλητής απόκρισης Σχήμα 6: Το διεθνές σύστημα Οι θέσεις και η ονοματολογία των ηλεκτροδίων είναι: A= Λοβός του αυτιού, C= Επίκεντρο, Pg= Ρινοφαρυγγικό, P= πλευρική, F= μετωπική, FP= πολική μετωπική, O= ινιακή περιοχή Σχήμα 7: Σχηματική και χρονολογική αναπαράσταση της οπτικής διέγερσης Σχήμα 8: Συγχρονισμός/Αποσυγχρονισμός που σχετίζεται με γεγονός (event related) στα ηλεκτρόδια PO7 (αριστερά panel) και PO8 (δεξιά πάνελ) για Δεξιό (επάνω) και Αριστερό (κάτω) τοίχο για t = 1 s Σχήμα 9: Υπολογισμός της αναφοράς μέσης τιμής Σχήμα 10: Έλεγχος για απόρριψη καναλιού μέσω στατιστικών μέτρων Σχήμα 11: Φασματική ανάλυση της νοητής κίνησης του αριστερού και δεξιού χεριού. Όλες οι φασματικές αναλύσεις προέρχονται από τα ίδια δεδομένα αλλά χρησιμοποιούνται διαφορετικά χωρικά φίλτρα. Η διακριτική ικανότητα ανάμεσα στις δύο καταστάσεις ποσοτικοποιείται από τη τιμή r2. Το CAR σημαίνει κοινή μέση αναφορά (Common Average Reference) Σχήμα 12: Η επίδραση των χωρικών CSP φίλτρων. Η ανάλυση των CSP εκτελέστηκε προκειμένου να αποκτηθούν τέσσερα χωρικά φίλτρα τα οποία διακρίνουν την κίνηση του αριστερού από του δεξιού χεριού. Το γράφημα δείχνει ζωνοπερατά EEG σήματα μετά την εφαρμογή των CSP φίλτρων. Τα σήματα που προκύπτουν στα φίλτρα CSP:L1 και CSP:L2 έχουν μεγαλύτερη διασπορά κατά τη διάρκεια κίνησης του δεξιού χεριού (τα τμήματα που σκιάζονται με πράσινο) ενώ τα σήματα με τα φίλτρα CSP:R1 και CSP:R2 έχουν μεγαλύτερη διασπορά κατά τη κίνηση του αριστερού χεριού (τα τμήματα που σκιάζονται με κόκκινο) Σχήμα 13: Ένα απλό παράδειγμα των CSP φίλτρων στις δύο διαστάσεις. Αποτελείται από δύο σύνολα δειγμάτων σημειωμένα με κόκκινους σταυρούς και μπλε κύκλους που παράχθηκαν από Γκαουσιανές κατανομές. Στο (a), φαίνονται οι κατανομές των δειγμάτων πριν την εφαρμογή των CSP. Οι δύο ελλείψεις δείχνουν τις εκτιμώμενες συμμεταβλητότητες και οι διακοπτόμενες γραμμές δείχνουν την κατεύθυνση των προβολών των CSP wj (j = 1, 2). Στο (b), φαίνεται η κατανομή των δειγμάτων μετά την προβολή. Παρατηρούμε ότι και οι δύο οι κλάσεις είναι ασυσχέτιστες την ίδια στιγμή

8 Σχήμα 14: a) Μέσοι όροι από επιλεγμένα κανάλια για την περίπτωση του αριστερού εμπόδιου. b) Μέσοι όροι από επιλεγμένα κανάλια για την περίπτωση του δεξιού εμπόδιου.. 41 Σχήμα 15: Τοπογραφίες της EEG δραστηριότητας (πάνω) και μετρήσεις του SNR (κάτω) όταν το εμπόδιο εμφανίζεται από αριστερά Σχήμα 16: Τοπογραφίες της EEG δραστηριότητας (πάνω) και μετρήσεις του SNR (κάτω) όταν το εμπόδιο εμφανίζεται από δεξιά Σχήμα 17: Μετρήσεις του κριτηρίου RQ σε επιλεγμένα κανάλια και μετρήσεις RQ σε όλα τα κανάλια αλλά σε επιλεγμένες χρονικές στιγμές (τοπογραφίες) Σχήμα 18: Οι μετρήσεις του RQ στα συνθετικά κανάλια, καθώς και μία τοπογραφία που δείχνει τα ζεύγη των καναλιών τα οποία αφαιρέθηκαν Σχήμα 19: Μέση τιμή των αποκρίσεων στο συνθετικό κανάλι PO3-PO4 καθώς και τρία τυχαία επιλεγμένα Single Trials για αντικείμενο από αριστερά (a) και δεξιά(b) Σχήμα 20: RQ μετρήσεις σε επιλεγμένα κανάλια και RQ μετρήσεις σε όλα τα κανάλια αλλά σε επιλεγμένες χρονικές στιγμές Σχήμα 21: RQ μετρήσεις στα συνθετικά κανάλια καθώς επίσης και μία τοπογραφία που δείχνει τα ζεύγη των καναλιών τα οποία αφαιρέθηκαν Σχήμα 22: Μέση τιμή των αποκρίσεων στο συνθετικό κανάλι PO3-PO4 καθώς και τρία τυχαία επιλεγμένα Single Trials για εμπόδιο από αριστερά στη ενεργητική πνευματική κατάσταση (a) και την παθητική (b)

9 8

10 ΠΕΡΙΛΗΨΗ Η μελέτη, η κατανόηση και η ερμηνεία της εγκεφαλικής δραστηριότητας είναι το βασικό αντικείμενο της επιστήμης της νευροφυσιολογίας. Πιο πρόσφατα προστέθηκε και η πρόκληση της δημιουργίας ενός συστήματος επικοινωνίας μεταξύ του ανθρώπινου εγκεφάλου και του υπολογιστή που θα προσφέρει τη δυνατότητα της ερμηνείας μιας εντολής του χρήστη χρησιμοποιώντας τα εγκεφαλικά του κύματα και ενεργώντας βάσει αυτής. Στην παρούσα εργασία μελετάται η απόφαση του χρήση να κατευθυνθεί αριστερά ή δεξιά. Πιο συγκεκριμένα ο χρήστης παρακολουθεί ένα βίντεο όπου νοητικά οδηγεί ένα αυτοκίνητο και προσπαθεί στη πορεία αυτή να αποφύγει έναν τοίχο, ο οποίος τοίχος αναπαριστά το εμπόδιο, μετακινώντας το αυτοκίνητο είτε αριστερά είτε δεξιά. Σκοπός της εργασίας αυτής είναι η μελέτη και η αναπαράσταση του πολυκαναλικού σήματος του εγκεφαλογραφήματος καθώς και η συνολική μεταβολή και αντίδραση της εγκεφαλικής δραστηριότητας στη παρουσίαση του εμποδίου. Με τον τρόπο αυτό θα επιτραπεί η δόμηση μιας τέτοιας μεθόδου που θα παρέχει τη κατάλληλη διακριτική πληροφορία ώστε να επιτευχθεί ένα σύστημα αποκωδικοποίησης της απόφασης του χρήστη. Δοκιμάζοντας τις υπάρχοντες μεθοδολογίες στη σχετική βιβλιογραφία, δε βρέθηκε κάποια που να αποδίδει ικανοποιητικά αποτελέσματα. Με εφαλτήριο αυτό αναπτύχθηκε μια νέα μέθοδος ταξινόμησης της απόφασης του χρήστη, που παρουσιάζει πολύ ενδιαφέροντα αποτελέσματα και είναι σημαντικά καλύτερα από αυτά των υπολοίπων μεθόδων. Το κίνητρο για τη μελέτη αυτή αποτελεί το γεγονός ότι οι αποκρίσεις προκλητών δυναμικών περιγράφονται καλύτερα ως μικρής διάρκειας, εντοπισμένα στο χρόνο, πρότυπα σημάτων τα οποία εμφανίζονται σε γνωστές, τοπογραφικά προσδιορισμένες, θέσεις. Η προσέγγιση που παραθέτουμε είναι μία διαδικασία δύο βημάτων. Στο πρώτο στάδιο προσδιορίζουμε το κανάλι και ανιχνεύουμε το βέλτιστο χρονικά παράθυρο, όπου τα δύο είδη οπτικών αποκρίσεων ή οι δύο διαφορετικές πνευματικές καταστάσεις ξεχωρίζουν περισσότερο. Στο δεύτερο στάδιο, το στάδιο της ταξινόμησης εξάγουμε τα επιλεγμένα χαρακτηριστικά, δηλαδή τις διαδοχικές τιμές του σήματος από το επιλεγμένο κανάλι στο βέλτιστο χρονικό παράθυρο από όλα τα Single Trials και έπειτα εφαρμόζουμε γνωστές τεχνικές ταξινόμησης. Η μέθοδος η οποία αναπτύχθηκε συγκρίνεται σε δύο κατηγορίες προβλημάτων σε σχέση με τις υπάρχουσες μεθοδολογίες. Τα πειραματικά αποτελέσματα είναι παραπάνω από ικανοποιητικά, παρατηρείται ποσοστό βελτίωσης έως και 7% σε ορισμένες περιπτώσεις ενώ στη μεγάλη πλειοψηφία τα ποσοστά επιτυχίας ήταν έστω και με μικρή διάφορα μεγαλύτερα. 9

11 ABSTRACT Studying, understanding and also interpreting neural activity is the main purpose of neurophysiology. Recently has been added the challenge to create a communication system between human brain and computer that will offer the potential to interpret a user s command using only his brainwaves and give the appropriate feedback. In the present project we study user s decision to give direction left or right. More specifically a user is immersed in a video game where he drives a car and tries to avoid a wall, which represents an obstacle, by moving his gaze to the left or right. The purpose of this project to study and represent the multichannel EEG signals as well as the overall change and dynamics of neural activity. Thus, it will be possible to construct a method which will provide the appropriate discrete information in order to achieve a read out of user s decision. The motivation stems from the fact that Transient Evoked responses are best described as short-lasting, band-specific, signal patterns appearing at well known, topographically-defined locations. Our approach can be seen as a two-step process. In the first stage (the exploratory analysis for feature selection ), we specify the channel and detect the optimal temporal window, where two given types of visual responses (target appearing in the left or right of the screen) and two different mental states (attentive/passive task) are best separated. In the second stage (classification stage) we extract the selected features (consecutive signal values from the selected channel at the latencies of optimal temporal window) from all Single Trials and then apply standard classification methodologies. Τhe proposed methodology is being compared with current methods in two different tasks. The experimental results are more than satisfying; our proposed method achieves improvement up to 7% in some occasions while the majority of experimental results were better. 10

12 ΚΕΦΑΛΑΙΟ 1 o 11

13 ΚΕΦΑΛΑΙΟ 1 o : ΘΕΜΕΛΙΩΔΕΙΣ ΕΝΝΟΙΕΣ ΤΩΝ B.C.I. ΣΥΣΤΗΜΑΤΩΝ 1.1 ΚΑΤΗΓΟΡΙΕΣ B.C.I. ΣΥΣΤΗΜΑΤΩΝ Την τελευταία δεκαετία, οι διάφορες τεχνολογίες νευρωνικής προσθετικής έχουν ομαδοποιηθεί κάτω από το τίτλο Διεπαφή Εγκεφάλου Υπολογιστή (Brain Computer Interface, BCI). Τα BCI συστήματα μπορούν να διαιρεθούν σε τρεις βασικές κατηγορίες, ανάλογα με τον τρόπο εφαρμογής: αισθητήρια, γνωστικά, και κινητήρια. Τα αισθητήρια BCI συστήματα ενεργοποιούν αισθητήρια συστήματα του ανθρώπου και το επιτυγχάνουν μέσω της παραγωγής τεχνητών σημάτων, τα οποία αντικατοπτρίζουν φυσικές ποσότητες. Ο πιο κοινός τύπος αισθητήριου BCI [1], με περισσότερες από 50,000 εμφυτευμένες συσκευές είναι τα κοχλιακά εμφυτεύματα [2] τα οποία χρησιμοποιούν μικροσκοπικά μικρόφωνα και επεξεργασία σήματος προκειμένου να μεταφράσουν την πίεση του ηχητικού κύματος (φυσική ποσότητα) μέσα στο αυτί σε νευρωνικές πυροδοτήσεις (νευρωνική αναπαράσταση) οι οποίες εφαρμόζονται στο ακουστικό νεύρο του οργανισμού. Η ίδια σκέψη ακολουθείται και στη προσθετική αμφιβληστροειδούς, στην περίπτωση αυτή ασκείται στο οπτικό σύστημα η κατάλληλη διέγερση υποδεικνύοντας έτσι τη μορφολογία των αντικειμένων. Τα γνωστικά BCI προσπαθούν να επανεγκαταστήσουν νευρωνικές αλληλεπιδράσεις ανάμεσα σε νευρωνικά συστήματα τα οποία είτε έχουν υποστεί εσωτερική ζημιά στην εσωτερική λειτουργία εντός του δικτύου είτε δεν έχουν τη δυνατότητα να επικοινωνήσουν με άλλα δίκτυα. Τα γνωστικά έχουν χρησιμοποιηθεί στη θεραπεία του μεταιχμιακού συστήματος το οποίο μπορεί να πάσχει από έλλειψη βραχυπρόθεσμης ή μακροπρόθεσμης μνήμης όπως στην ασθένεια του Alzheimer [1]. Τα κινητήρια BCI από την άλλη προσπαθούν να ερμηνεύσουν την εγκεφαλική δραστηριότητα των κεντρικών ή των περιφερειακών συστημάτων ως εντολές για εξωτερικές συσκευές. Η βασική σκέψη είναι να παρακάμψουν το κατεστραμμένο ιστό (όπως π.χ. τραυματισμένος νωτιαίος μυελός) και να μεταφέρουν εντολές του κέντρου κίνησης είτε για να χρησιμοποιήσουν ένα υπολογιστή/πρόσθετο άκρο, είτε για να μεταφέρουν εντολές κίνησης μέσω ηλεκτρικής διέγερσης. Η επανάκτηση του ελέγχου από κινήσεις που είχαν χαθεί μέσω ενός περιφερειακού νευρικού συστήματος έχει πολλά κοινά στοιχεία με τη νευροτεχνολογία και τα BCI συστήματα. Τα αισθητήρια, γνωστικά, και κινητήρια BCI συστήματα που χρησιμοποιούνται για τον απευθείας έλεγχο των νευρώνων έχουν πολύ μεγαλύτερο αντίκτυπο στη φάση της ανάρρωσης. Εάν ολόκληρος ο εγκέφαλος ή κάποια μέρη του έχουν μείνει άθικτα από κάποια ασθένεια ή κάποιον τραυματισμό αλλά η δίοδος μετάδοσης από τα αισθητήρια όργανα (τριχοειδή κύτταρα στην ακοή ή φωτοληπτικά κύτταρα στην όραση) είναι κατεστραμμένα τότε το ερώτημα που αναδύεται είναι το εξής: Ποιος είναι ο καλύτερος τρόπος για την μεταγωγή διεγέρσεων στον αισθητικό φλοιό ή για την εξαγωγή πληροφορίας για την κινητική δραστηριότητα από τον κινητικό φλοιό; Η απάντηση αυτή έχει δύο μέρη, το πρώτο σχετίζεται με το σχεδιασμό και την υλοποίηση του συστήματος από την οπτική γωνία της μηχανικής, το οποίο μπορεί να 12

14 ερμηνεύσει τον ήχο και το φως σε ηλεκτρική διέγερση, τους νευρώνες ελέγχου της κίνησης, ή να ενεργοποιήσει ένα πρόσθετο μέλος. Το δεύτερο μέρος έχει σχέση με τις γνώσεις που προσφέρει η νευροφυσιολογία η οποία με τη σειρά της υπαγορεύει τα χωρικά και χρονικά χαρακτηριστικά των διεγέρσεων αυτών προκειμένου να μπορούν να μιμηθούν τις διεγέρσεις που δημιουργούνται από την αισθητήρια δίοδο προς τον εγκέφαλο, ή στη περίπτωση των κινητήριων BCI συστημάτων, να βοηθήσουν στη μοντελοποίηση των χωρικών και χρονικών αλληλεπιδράσεων της κινητικής δραστηριότητας στον κινητικό φλοιό. 1.2 ΜΕΘΟΔΟΙ ΚΑΤΑΓΡΑΦΗΣ ΣΗΜΑΤΟΣ ΤΟΥ ΕΓΚΕΦΑΛΟΥ Επιπλέον, ένα σημείο που αποτελεί ορόσημο στην ανάπτυξη BCI συστημάτων είναι το γεγονός πως υπάρχουν πλέον μέθοδοι που έχουν πρόσβαση σε χωρική κλίμακα στον εγκέφαλο όπως μέθοδο ηλεκτροφυσιολογίας για την εξαγωγή νευρωνικών ώσεων (spikes) (δυναμικά ενέργειας), η δυναμική τοπικού πεδίου (Local Field Potentials, LFPs), το ηλεκτροφλοιογράφημα (ElectroCorticoGram, ΕCoG) και το ηλεκτροεγκεφαλογράφημα (Electroencephalogram, EEG, ΗΕΓ). Στη μέγιστη δυνατή ανάλυση (resolution) πίνακες μικροηλεκτροδίων είναι σε θέση να αντιληφθούν τη μεμονωμένη δραστηριότητα πολλών νευρώνων ταυτόχρονα, ωστόσο είναι ιδιαίτερα επεμβατική τεχνική, αφού έρχονται σε απευθείας επαφή με τους ιστούς. Οι καταγραφές ECoG είναι λιγότερο επεμβατικές καθότι τα ηλεκτρόδια βρίσκονται πάνω στο φλοιό, τέλος τα EEG ηλεκτρόδια είναι τα λιγότερα επεμβατικά επειδή τοποθετούνται στο δέρμα της κεφαλής. Το να παράγουμε μοτίβα των αισθήσεων ή της πρόθεσης από ηλεκτροφυσιολογικές καταγραφές φέρει είτε τον περιορισμό της επιλογής ενός μοντέλου ή την αβέβαιη υπόθεση του σήματος που παράγεται ανάλογα με το επίπεδο της κλίμακας. Για παράδειγμα, οι πίνακες μικροηλεκτροδίων που αντιλαμβάνονται τα εξωκυτταρικά δυναμικά ενέργειας έχουν πολύ ακριβή πληροφορία για τη λειτουργία των νευρώνων αλλά ιδιαίτερα μικρή χωρική πληροφορία. Επειδή έχουν αναπτυχθεί τα BCI συστήματα, η οπτική γωνία πλέον από ένα νευρώνα έχει επεκταθεί για να συμπεριλάβει τη χρονικά εξαρτημένη επικοινωνία από σύνολα εκατοντάδων νευρώνων. Με τη χρήση μιας πολύ ευρύτερης κλίμακας, το ηλεκτροεγκεφαλογράφημα στο δέρμα του κρανίου (EEG) διατηρεί το άθροισμα του ρεύματος από δενδρίτες και άξονες εκατομμυρίων νευρώνων πάνω από την ηλεκτρική αντίσταση του φλοιού. Τα συνεχούς πλάτους μακροσκοπικά σήματα διαμορφώνονται στη κλίμακα του χρόνου αλλά δεν παρέχουν ιδιαίτερη μικροσκοπική πληροφορία και επηρεάζονται πολύ εύκολα από τον θόρυβο. Το ηλεκτροκορτικόγραφημα (ECoG), σε σύγκριση με το ηλεκτροεγκεφαλογράφημα, έχει το πλεονέκτημα ότι αποδίδει πιο αξιόπιστη χωρική πληροφορία (μικρότερα ηλεκτρόδια), είναι πολύ πιο ανθεκτικό στο θόρυβο, και παρέχει καλύτερη συχνοτική ανάλυση λόγω της εγγύτητάς του στο νευρικό ιστό. Εάν αναλυθεί η χρονική πορεία ενός καναλιού δεδομένων που συλλέγονται από το δέρμα της κεφαλής (EEG), παρατηρείται ότι χρονική δομή του σήματος είναι ιδιαίτερα πολύπλοκη, θυμίζοντας ένα μη συγκλίνων δυναμικό σύστημα, ή την έξοδο 13

15 πολύπλοκων συστημάτων που διεγέρθηκαν από λευκό θόρυβο. Ένα από τα χαρακτηριστικά των σημάτων αυτών είναι οι ταχείες διακυμάνσεις, οι οποίες στη διάλεκτο της ανάλυσης χρονοσειρών αναπαριστούν μη στάσιμα φαινόμενα. Ο χαρακτηρισμός και η εξαγωγή χαρακτηριστικών από τα EEG σήματα με συμβατική μοντελοποίηση είναι πολύ δύσκολο, και ο μεγάλος αριθμός δημοσιεύσεων που παραθέτουν μυριάδες μεθόδους εξηγεί πολύ καλά τη δυσκολία αυτή και υποδεικνύει ότι το πεδίο αυτό ακόμα αναζητεί μια καλή μεθοδολογία που να περιγράφει τα εγκεφαλικά κύματα. Το EEG θεωρείται μακροσκοπική μέτρηση της εγκεφαλικής δραστηριότητας, και η ανάλυση που προσφέρει δείχνει να συσχετίζεται με τη γνωστική κατάσταση και τις ασθένειες του εγκεφάλου όπως η επιληψία. Οι συχνοτικές μπάντες εκτείνονται από τα 0,1 ως τα 200 Hz, με 1 τύπους φασμάτων και οι φασματικές κορυφές συγκεντρώνονται σε ένα μικρό αριθμό συχνοτήτων όπου υπάρχουν EEG ρυθμοί (δέλτα, θήτα, άλφα, σίγμα, βήτα και γάμμα) όπως φαίνονται και στο σχ. 1. Σχήμα 1: Οι ρυθμοί των EEG κυματομορφών. Η έρευνα στα BCI συστήματα ξεκίνησε το 1970 με τα EEG σήματα όπου τα υποκείμενα μάθαιναν (και εξασκούνταν εκτενώς) να ελέγχουν την περιφερειακή δραστηριότητα του εγκεφάλου με ένα προκαθορισμένο τρόπο ώστε να μπορεί να 14

16 ταξινομηθεί από ένα αλγόριθμο αναγνώρισης προτύπων και να μετατραπεί σε ένα σύνολο διακριτών εντολών. Συχνά, οι διεπαφές που στηρίζονται σε EEG, χρησιμοποιούν προκλητά δυναμικά, τα οποία μπορούν να θεωρηθούν η κρουστική απόκριση του εγκεφάλου ως δυναμικό σύστημα. Τα δυναμικά με αιτία κάποιο γεγονός (Event Related Potentials, ERP) είναι πολύ σημαντικά κλινικά εργαλεία, αλλά βασίζονται στην επανάληψη των διεγέρσεων, και ίσως να μην είναι η πιο φυσική διεπαφή για έλεγχο της κίνησης σε πραγματικό χρόνο. Για το λόγο αυτό, η μέθοδος επικοινωνίας βασίζεται κυρίως στην επιλογή κάποιας κίνησης ενός κέρσορα (πάνω/ κάτω, αριστερά/ δεξιά) σε μια οθόνη υπολογιστή. Ο υπολογιστής παρουσιάζει στο χρήστη ένα σύνολο από δυνατότητες, και επιλέγει μία εξ αυτών μέσω της κίνησης του κέρσορα. Τα BCI συστήματα απαιτούν την εκπαίδευση του υποκειμένου μέσω ανάδρασης, και παράγουν ένα χαμηλό εύρος ζώνης αποδοτικής επικοινωνίας (15-25 bits/min) γεγονός που δυσχεραίνει την ταχύτητα με την οποία μπορεί να ολοκληρωθεί το έργο. Ωστόσο, χάρη στο μη επεμβατικό τους χαρακτήρα, τα BCI συστήματα έχουν ήδη δοκιμασθεί με επιτυχία σε παραπληγικούς ασθενείς. Αρκετές ομάδες σε όλο τον κόσμο έχουν επιδείξει λειτουργικές εκδόσεις διεπαφών βασισμένες σε EEG σήματα και έχουν προταθεί τυποποιημένα συστήματα λογισμικού. 1.3 Η ΦΥΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ Η διεπαφή εγκεφάλου-υπολογιστή (Brain Computer-Interface, BCI) μεταφράζει την ανθρώπινη πρόθεση σε σήμα ελέγχου προκειμένου να δημιουργήσει έναν απευθείας δίαυλο επικοινωνίας ανάμεσα στον ανθρώπινο εγκέφαλο και μία εξωτερική συσκευή. Λόγω του ότι μία BCI διεπαφή δεν εξαρτάται από τα φυσικά μονοπάτια εξόδου του εγκεφάλου όπως τα περιφερειακά νεύρα ή τους μύες, είναι σε θέση να παρέχει ένα νέο δίαυλο επικοινωνίας σε ανθρώπους με μερικές κινητικές δυσλειτουργίες [3], [4], [5]. Τα ηλεκτροεγκεφαλογραφήματα (EEG) που καταγράφονται στην επιφάνεια του κρανίου χρησιμοποιούνται ευρέως στα τρέχοντα συστήματα BCI και αυτό οφείλεται στη μη επεμβατική φύση τους καθώς και στο χαμηλό τους κόστος. Τα BCI συστήματα που βασίζονται σε οπτικά προκλητά δυναμικά (Visual Evoked Potentials, VEP) έχουν τραβήξει την προσοχή πολλών ερευνητών τις τελευταίες δεκαετίες [6], [7]. Τα οπτικά προκλητά δυναμικά (VEP) προκαλούν την αισθητήρια διέγερση του οπτικού πεδίου ενός υποκειμένου (subject), και αντανακλούν τους μηχανισμούς επεξεργασίας της οπτικής πληροφορίας στον εγκέφαλο. Η διέγερση στο κέντρο του οπτικού πεδίου προκαλεί μεγαλύτερα οπτικά προκλητά δυναμικά από ότι ένα περιφερειακό ερέθισμα. Ένα σύστημα BCI που βασίζεται σε οπτικά προκλητά δυναμικά αποτελεί ένα εργαλείο το οποίο μπορεί να προσδιορίσει ένα στόχο πάνω στον οποίο έχει επικεντρωθεί ο χρήστης, μέσω της ταυτόχρονης καταγραφής του EEG σήματος. Στο σχ. 2 φαίνεται το διάγραμμα ενός συστήματος BCI που βασίζεται 15

17 σε οπτικά προκλητά δυναμικά. Σε ένα BCI σύστημα βασισμένο σε VEP, κάθε στόχος κωδικοποιείται από μία μοναδική ακολουθία διεγέρσεων, η οποία με τη σειρά της προκαλεί ένα μοναδικό πρότυπο οπτικού προκλητού δυναμικού (VEP pattern). Με τον τρόπο αυτό ο στόχος μπορεί να ταυτοποιηθεί αναλύοντας τα χαρακτηριστικά του οπτικού προκλητού δυναμικού. Σχήμα 2: Διάγραμμα ενός συστήματος BCI βασισμένο σε VEP. 1.4 ΓΝΩΣΤΕΣ ΠΕΙΡΑΜΑΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Προκειμένου να είμαστε βέβαιοι ότι πετυχαίνουμε αξιόπιστη κατηγοριοποίηση, τα οπτικά προκλητά δυναμικά που παράγονται από διαφορετικές ακολουθίες διεγέρσεων θα πρέπει να είναι ορθογώνιες ή σχεδόν ορθογώνιες η μία ως προς την άλλη σε κάποιο πεδίο μετασχηματισμού. Η σχεδίαση της ακολουθίας διεγέρσεως αποτελεί ένα σημαντικό πρόβλημα για συστήματα BCI που βασίζονται σε οπτικά προκλητά δυναμικά. Ανάλογα με την κάθε προσέγγιση που χρησιμοποιείται για τη διαμόρφωση της ακολουθίας διέγερσης, τα συστήματα αυτά μπορούν να οργανωθούν σε τρεις κατηγορίες: διαμορφωμένα στο χρόνο (t-vep) [6], [7], [8], διαμορφωμένα στη συχνότητα (f-vep) [9], [10], [11], [12] και τέλος διαμορφωμένα με χρήση ψευδοτυχαίου κώδικα (c-vep) [13], [14], [15], [16]. Σε ένα t-vep BCI σύστημα οι ακολουθίες προβολών (flash sequences) των διαφόρων στόχων είναι αμοιβαία ανεξάρτητες. Αυτό μπορεί να επιτευχθεί με το να θέσουμε ως περιορισμό ότι οι ακολουθίες των προβολών για διαφορετικούς στόχους θα είναι μη επικαλυπτόμενες [7], ή κάνοντας τυχαία τη διάρκεια των καταστάσεων ON και OFF [8]. Η σύντομη διέγερση της προβολής εκμαιεύει οπτικά προκλητά δυναμικά αναλαμπών (Flash Visual Evoked Potentials, FVEP) τα οποία έχουν σύντομη διάρκεια. Στο σχ. 3 φαίνεται μία ακολουθία διέγερσης t-vep και η κυματομορφή ενός FVEP. 16

18 Σχήμα 3: (a) Η ακολουθία διέγερσης των στόχων ενός BCI συστήματος βασισμένο σε t-vep. Οι αναλαμπές των στόχων είναι αμοιβαία ανεξάρτητες. (b) Η προκλητή απόκριση σε μία απλή διέγερση. Σε ένα t-vep BCI σύστημα, το συγχρονισμένο σήμα πρέπει να περάσει από ένα EEG ενισχυτή για να σηματοδοτήσει την έναρξη της αναλαμπής για κάθε στόχο. Τα FVEPs είναι κλειδωμένα στη φάση και στο χρόνο στην έναρξη της οπτικής διέγερσης. Έτσι, από τη στιγμή που οι ακολουθίες των αναλαμπών για όλους τους στόχους είναι αμοιβαία ανεξάρτητες, αν υπολογίσουμε τη μέση τιμή από αρκετά μικρά τμήματα σύμφωνα με την έναρξη της αναλαμπής για ένα συγκεκριμένο στόχο, αυτό θα ενισχύσει τα FVEPs του συγκεκριμένου στόχου ενώ παράλληλα θα καταστείλει τις συνεισφορές των FVEPs που προκαλούνται από τους υπόλοιπους στόχους. Επιπλέον τα FVEPs στα οποία εστιάζουμε είναι μεγαλύτερα από ότι τα περιφερειακά, τότε ο στόχος του οποίου το μέσο πλάτος της κορυφής είναι μεγαλύτερο ταυτοποιείται ως ο στόχος στον οποίο συγκεντρωθήκαμε. Για να πετύχουμε αξιόπιστη ταυτοποίηση ενός στόχου σε ένα t-vep BCI σύστημα απαιτείται η μέση τιμή πολλών επαναλήψεων. Τέλος, για την αποφυγή της επικάλυψης δύο διαδοχικών FVEPs, τα t-vep BCI συστήματα έχουν χαμηλούς ρυθμούς διέγερσης (<4 Hz), έτσι τα t-vep BCI συστήματα έχουν χαμηλότερο ρυθμό μετάδοσης πληροφορίας (Information Transfer Rate, ITR) (< 30 bits/min). Το ITR είναι ένα μέτρο επίδοσης για BCI συστήματα [3]. Σε ένα BCI σύστημα βασισμένο στη διαμόρφωση της συχνότητας (f-vep BCI), ο κάθε στόχος παράγει λάμψη σε διαφορετική συχνότητα παράγοντας έτσι μία περιοδική ακολουθία προκλητών αποκρίσεων που έχει την ίδια θεμελιώδη συχνότητα με αυτή του ερεθίσματος καθώς και των αρμονικών του. Στο σχ. 4 φαίνεται μία ακολουθία διέγερσης ενός f-vep BCI συστήματος, και το φάσμα της ενέργειας προκλητής απόκρισης. Σχήμα 4: (a) Οι ακολουθίες διεγέρσεων για τους στόχους ενός BCI συστήματος βασισμένο σε f-vep. Οι αναλαμπές των στόχων έχουν διαφορετικές συχνότητες. (b) Το φάσμα της ενέργειας της προκλητής απόκρισης παράγεται από ένα στόχο που τρεμοπαίζει στα 10 Hz. 17

19 Η ανάλυση του φάσματος ισχύος χρησιμοποιείται ευρέως για ταυτοποίηση στόχων σε συστήματα BCI βασισμένα σε f-vep. Για ένα τμήμα EEG δεδομένων x που λαμβάνονται από ένα f-vep BCI σύστημα με συχνότητες τρεμοπαίγματος (flickering) f, f f αντίστοιχα, η ταυτοποίηση των στόχων μπορεί να υλοποιηθεί μέσω των ακόλουθων βημάτων: 1) Υπολογίζω το φάσμα της ισχύος P(f) του EEG σήματος x με τη χρήση του γρήγορου μετασχηματισμού Fourier (FFT) ή μέσω κάποια άλλης τεχνικής φασματικής ανάλυσης. 2) Υπολογίζω το λόγο του σήματος προς το θόρυβο (SNR) S για κάθε συχνότητα διέγερσης f. Εδώ το SNR ορίζεται ως το λόγο του P(f ) προς τη μέση τιμή των γειτονικών σημείων συχνοτήτων. 3) Ταυτοποιώ το στόχο συγκέντρωσης με το να επιλέξω το στόχο k, που αντιστοιχεί στη μέγιστη S. Λόγω του γεγονότος ότι η συχνότητα τρεμοπαίγματος των f-vep BCI είναι συνήθως μεγαλύτερη από 6 Hz, οι προκλητές αποκρίσεις από διαδοχικές λάμψεις του στόχου επικαλύπτονται, παράγουν μία περιοδική ακολουθία από VEPs -ένα σταθερής κατάστασης οπτικό προκλητό δυναμικό (Steady State VEP, SSVEP)- το οποίο είναι κλειδωμένο στη φάση με το στόχο που τρεμοπαίζει. Έτσι λοιπόν τα f-vep BCI συστήματα συχνά αναφέρονται και ως SSVEP BCI συστήματα. Τις τελευταίες δεκαετίες, τα f-vep BCI συστήματα έχουν δοκιμασθεί και έχουν επιδείξει μεγάλη ευστάθεια σε πολλές εργαστηριακές και κλινικές δοκιμές [10], [9], [11], [12]. Στα θετικά ενός f-vep BCI συστήματος μπορούμε να προσθέσουμε την απλή διαδικασία ρύθμισης του συστήματος, τη μικρή ή καθόλου εκπαίδευση του χρήστη, και το υψηλό ITR (30-60 bits/min). Σε ένα c-vep BCI σύστημα χρησιμοποιούνται ψευδοτυχαίες ακολουθίες. Η m- ακολουθία είναι η πιο ευρέως χρησιμοποιούμενη ακολουθία [17]. Μία δυαδική m- ακολουθία παράγεται χρησιμοποιώντας τους καταχωρητες μέγιστης γραμμικής ολίσθησης και ανατροφοδότησης, οι οποίοι έχουν ποικίλες ιδιότητες που τους καθιστούν πολύτιμα εργαλεία στη γραμμική και μη γραμμική ανάλυση συστημάτων. Η m-ακολουθία έχει μία συνάρτηση αυτοσυσχέτισης η οποία είναι μία πολύ καλή προσέγγιση της συνάρτησης μοναδιαίας ώσης, και είναι σχεδόν ορθογώνια στην ακολουθία χρονικής καθυστέρησης. Έτσι μία m-ακολουθία και η ακολουθία χρονικής καθυστέρησης μπορούν να χρησιμοποιηθούν σε ένα σύστημα c-vep BCI. Στο σχ. 5 φαίνονται διάφορες ακολουθίες διέγερσης ενός c-vep BCI συστήματος καθώς και η χρονική πορεία, το φάσμα, και η συνάρτηση αυτοσυσχέτισης της προκλητής απόκρισης. 18

20 Σχήμα 5: Οι ακολουθίες διέγερσης και οι προκλητές αποκρίσεις ενός BCI συστήματος βασισμένο σε c-vep. (a) Οι ακολουθίες των στόχων είναι ένας κύκλος διέγερσης. Κάθε ακολουθία παράγεται από μία δυαδική mακολουθία. Υπάρχει μία καθυστέρηση τεσσάρων πλαισίων ανάμεσα σε δύο διαδοχικές ακολουθίες. Όλοι οι στόχοι ενεργοποιούνται συγχρόνως, και ο κύκλος διέγερσης επαναλαμβάνεται συνεχώς. (b) Μία κυματομορφή της προκλητής απόκρισης. (c) Το φάσμα ισχύος της προκλητής απόκρισης. (d) Η αυτοσυσχέτιση της προκλητής απόκρισης. Όπως και με ένα t-vep σύστημα, έτσι και με ένα BCI σύστημα βασισμένο σε c-vep είναι απαραίτητο ένα σύγχρονο σήμα. Στην αρχή κάθε κύκλου διέγερσης, ένα σύγχρονο σήμα παρέχει ένα ερέθισμα για την ταυτοποίηση του στόχου, θα πρέπει να περάσει από ένα EEG ενισχυτή. Συνήθως χρησιμοποιείται μία μέθοδος που ταιριάζει πρότυπα (template matching method) για την ταυτοποίηση του στόχου. Για να αποκτήσουμε το πρότυπο, πρέπει να υλοποιηθεί ένα στάδιο εκπαίδευσης. Τα βήματα για την ταυτοποίηση του στόχου είναι τα ακόλουθα: 1) Κατά το στάδιο της εκπαίδευσης, ο χρήστης καλείται να επικεντρωθεί σε έναν από τους στόχους, όπου ο στόχος στον οποίο επικεντρώνεται συμβολίζεται με. Κατά τη διάρκεια κύκλων διέγερσης, συλλέγονται EEG δεδομένα, όπου = 1, 2. 2) Το πρότυπο ( ) αποκτείται υπολογίζοντας το μέσο όρο στους κύκλους. 3) Τα πρότυπα όλων των στόχων τα αποκτάμε μετατοπίζοντας το ( ): ( ) = ( ( )), όπου το ανάμεσα στο στόχο και το στόχο. υποδεικνύει τη χρονική καθυστέρηση 4) Για ένα τμήμα των EEG δεδομένων, ο συντελεστής συσχέτισης στο και στο πρότυπο υπολογίζεται ως εξής: = ( )( ανάμεσα ) 19

21 5) Ταυτοποίησε το στόχο στον οποίο επικεντρώνεται ο χρήστης επιλέγοντας το στόχο, K, για τον οποίο μεγιστοποιείται ο συντελεστής συσχέτισης ρ. Το πιο αντιπροσωπευτικό BCI σύστημα βασισμένο σε c-vep αναπτύχθηκε από τον Sutter [10], [9]. Το σύστημα του Sutter κατάφερε ένα πολύ υψηλό ρυθμό επικοινωνίας από 10 έως 12 λέξεις/λεπτό (>100 bits/min). Ωστόσο, τις τελευταίες δεκαετίες, έγιναν κάποιες άλλες μελέτες πάνω στα c-vep συστήματα και οι επιδόσεις των προτεινόμενων συστημάτων δεν ήταν ικανοποιητικές. Παραδείγματος χάριν, ο Momose σχεδίασε ένα c-vep BCI σύστημα με τέσσερις στόχους [15], [16]. Χρειάστηκαν πέντε δευτερόλεπτα προκειμένου το σύστημα να ταυτοποιήσει ένα στόχο (<20 bits/min). 20

22 ΚΕΦΑΛΑΙΟ 2 o 21

23 ΚΕΦΑΛΑΙΟ : ΠΕΙΡΑΜΑΤΙΚΗ ΔΙΑΔΙΚΑΣΙΑ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ Στο κεφάλαιο αυτό παρουσιάζεται η πειραματική διαδικασία [60] καθώς και η επεξεργασία που απαιτείται για να γίνει ο έλεγχος των δεδομένων σε ότι αφορά την ορθότητα καταγραφής και την ύπαρξη θορύβου. Όπως αναφέρθηκε σε προηγούμενο κεφάλαιο, τα περισσότερα BCI συστήματα βασίζονται στον αποσυντονισμό του άλφα και βήτα ρυθμού που σχετίζονται με γεγονότα (event related) κατά τη διάρκεια νοητών κινήσεων (motor imagery task). Άλλα συστήματα έχουν ασχοληθεί με δυναμικά που σχετίζονται με γεγονότα (event related potentials), όπως η κορυφή P300, τα αργά δυναμικά του φλοιού της κεφαλής, και τα σταθερής κατάστασης οπτικά προκλητά δυναμικά. Παρουσιάζουμε ένα BCI σύστημα το οποίο βασίζεται στη νευρολογική δραστηριότητα που διαμορφώνεται από τις οπτικές ενδείξεις και τη προετοιμασία της εκτέλεσης μίας κίνησης του ματιού αντίθετα του στόχου. Η αποστολή του χρήστη είναι να μετακινήσει σε ένα ηλεκτρονικό παιχνίδι ένα αυτοκίνητο προς τα αριστερά ή προς τα δεξιά προκειμένου να αποφύγει ένα τείχος. 2.1 ΥΠΟΚΕΙΜΕΝΑ ΚΑΙ ΑΠΟΚΤΗΣΗ ΔΕΔΟΜΕΝΩΝ Κανένα από τα υποκείμενα (subjects) που συμμετείχαν σε αυτή την έρευνα δεν είχε πρότερη εμπειρία σε ότι αφορά τη χρήση BCI συστημάτων. Τα EEG σήματα καταγράφηκαν από δύο κανάλια με τα ηλεκτρόδια να έχουν τοποθετηθεί στην δεξιά και στην αριστερή βρεγματική-ινιακή περιοχή (οι θέσεις των ηλεκτροδίων ήταν οι PO7, PO8 σύμφωνα με το 10/20 διεθνές σύστημα σχ. 6). Το ηλεκτρόδιο αναφοράς τοποθετήθηκε στη θέση Oz. Το σήμα ενισχύθηκε μέσω ενός 64 καναλιών Biosemi ενισχυτή και καταγράφει με ρυθμό δειγματοληψίας στα 512 Hz. Σχήμα 6: Το διεθνές σύστημα Οι θέσεις και η ονοματολογία των ηλεκτροδίων είναι: A= Λοβός του αυτιού, C= Επίκεντρο, Pg= Ρινοφαρυγγικό, P= Βρεγματικό, F= μετωπική, FP= πολική μετωπική, O= ινιακή περιοχή. 22

24 2.1.1 ΠΡΩΤΟΚΟΛΛΟ ΠΕΙΡΑΜΑΤΙΚΗΣ ΔΙΑΔΙΚΑΣΙΑΣ Το πρωτόκολλο εκπαίδευσης αποτελείται από πέντε συνεδρίες, η πρώτη είναι χωρίς καθόλου ανάδραση, άλλες δύο να παρέχουν συνεχή ανάδραση στο χρήστη και οι δύο τελευταίες όπου ο χρήστης παρακολουθεί χωρίς να κάνει καμία κίνηση. Οι διαφορετικές συνεδρίες διεξάγονταν σε διαφορετικές μέρες σε διάστημα μίας εβδομάδας. Η συνεδρία χωρίς ανάδραση χρησιμοποιήθηκε για τη ρύθμιση των παραμέτρων του συστήματος για τις επόμενες συνεδρίες με ανάδραση. Κατά τη διάρκεια κάθε συνεδρίας, τα υποκείμενα κοιτούσαν την οθόνη ενός υπολογιστή που είχε τοποθετηθεί σε απόσταση 100cm. Τα υποκείμενα ολοκλήρωσαν πέντε πειραματικές συνεδρίες, οι οποίες αποτελούνταν από πενήντα επαναλήψεις (trials) (25 στα αριστερά και 25 στα δεξιά τυχαία κατανεμημένες). Η διάρκεια κάθε δοκιμής (trial) ήταν πέντε δευτερόλεπτα, το χρονοδιάγραμμα της οποίας φαίνεται στ σχ. 7. Αποφασίστηκε τα υποκείμενα να υποβληθούν σε ένα πιο οικείο περιβάλλον, όπως αυτό του να οδηγούν ένα αυτοκίνητο και να αποφεύγουν τη σύγκρουση με τον τοίχο. Στη σκηνή της συνεχούς κίνησης, αρχικά το αυτοκίνητο θα τρέχει στη μεσαία από τις τρεις λωρίδες και τα υποκείμενα θα εστιάζουν το βλέμμα σε ένα σταυρόνημα που βρίσκεται στο τέλος του δρόμου. Στα δύο δευτερόλεπτα, ένας τοίχος με τη μορφή εμπόδιου, στη αριστερή ή τη δεξιά λωρίδα, θα αρχίσει να φαίνεται από το τέρμα του δρόμου. Στα τέσσερα δευτερόλεπτα, ο σταυρός εξαφανίζεται και τα υποκείμενα είχαν καθοδηγηθεί να κάνουν μια σακκαδική κίνηση στη κατεύθυνση αποφυγής του τοίχου. Στη περίπτωση της συνεδρίας με ανάδραση, το αυτοκίνητο κινήθηκε αριστερά ή δεξιά σύμφωνα με το αποτέλεσμα της ταξινόμησης των EEG σημάτων κατά τη διάρκεια της περιόδου πριν τη σακκαδική κίνηση. Έχοντας ως στόχο τη δημιουργία ενός πιο ρεαλιστικού περιβάλλοντος, εισήχθηκαν ο ήχος της μηχανής και τα εφέ της σύγκρουσης. Σχήμα 7: Σχηματική και χρονολογική αναπαράσταση της οπτικής διέγερσης. 23

25 2.1.2 ΕΥΡΗΜΑΤΑ ΚΑΙ ΔΙΑΠΙΣΤΩΣΕΙΣ Τα EEG σήματα ξεκινώντας από το στόχο τη χρονική στιγμή t = 0 μέχρι την εκτέλεση της κατάλληλης σακκαδικής κίνησης, μπορούν να χωριστούν σε τρεις υποπεριόδους: μία αισθητήρια περίοδο κατά την οποία η οπτική διέγερση εμφανίζεται στο υποκείμενο (ο τοίχος), μία περίοδος καθυστέρησης στην οποία το υποκείμενο περιμένει και προετοιμάζεται να κινηθεί προς την κατάλληλη κατεύθυνση, και μία περίοδο προετοιμασίας της σακκαδικής κίνησης κατά την οποία το υποκείμενο δέχεται μια προστακτική εντολή, την εξαφάνιση του σταυρού για να ξεκινήσει τη σακκαδική. Στην αισθητήρια περίοδο, υπήρξε ένας σημαντικός ετερόπλευρος συγχρονισμός στο εύρος των συχνοτήτων 4-10 Hz περίπου ms μετά την εμφάνιση του τοίχου (σχ. 8). Ωστόσο δε βρέθηκαν αλλαγές στην περίοδο καθυστέρησης. Στην περίοδο της σακκαδικής προετοιμασίας υπήρξε αποσυγχρονισμός στην άλφα μπάντα (8-12 Hz) αλλά δεν ήταν συστηματικός και έτσι δε θα μπορούσε να παρέχει πληροφορία στην ταξινόμηση. Σχήμα 8: Συγχρονισμός/Αποσυγχρονισμός που σχετίζεται με την εμφάνιση του τοίχου στα ηλεκτρόδια PO7 (αριστερά panel) και PO8 (δεξιά πάνελ) για Δεξιό (επάνω) και Αριστερό (κάτω) τοίχο για t = 1 s. 24

26 Η διαμόρφωση της δραστηριότητας στην αισθητήρια περίοδο κατά πάσα πιθανότητα σχετίζεται με τα παροδικά Οπτικά Προκλητά Δυναμικά (transient Visual Evoked Potentials). Είναι γνωστό ότι η αντιστροφή της σκακιέρας στο οπτικό πεδίο οδηγεί σε οπτικά προκλητά δυναμικά στην ινιακή περιοχή στα πρώτα 300 ms μετά τη διέγερση δημιουργώντας χαρακτηριστικές κορυφές, P1 ( ms) και N1 ( ms). Όταν η προσοχή εστιάζεται σε μία συγκεκριμένη περιοχή, η διέγερση που παρουσιάζεται στη περιοχή αυτή διαμορφώνεται λόγω της προσοχής δίνοντας μεγαλύτερα πλάτη στα οπτικά προκλητά δυναμικά, από τη διέγερση που παρουσιάζεται οπουδήποτε αλλού. Οι γεννήτριες των δυναμικών αυτών έχουν εντοπιστεί στη ραβδωτή και εξωραβδωτή περιοχή του φλοιού του εγκεφάλου. Τα μεγαλύτερα πλάτη εντοπίστηκαν στα ηλεκτρόδια PO7 και PO8 τα οποία είναι τοποθετημένα στη πλευρική βρεγματικό-ινιακή περιοχή. Παρόλο που έχουν γίνει προηγούμενες αναφορές σε άλλα BCI συστήματα τα οποία λειτουργούσαν με Steady- State VEP, τα transient VEP δεν έχουν χρησιμοποιηθεί μέχρι στιγμής σε BCI συστήματα. Τα transient VEP παρέχουν τα εξής πλεονεκτήματα: εμφανίζονται πολύ γρήγορα μετά τη διέγερση, διαμορφώνονται λόγω της προσοχής, και δεν απαιτούν απευθείας βλέμμα του χρήστη κατά τη διέγερση. Επιπλέον, τα ερεθίσματα που προκαλούν transient VEP είναι λιγότερο ενοχλητικά καθώς εναλλάσσονται με πολύ μικρότερο ρυθμό από αυτά που χρησιμοποιούνται στα Steady State VEP. Το πλάτος της κορυφής των transient VEP βρίσκεται στο ετερόπλευρο ημισφαίριο σε σχέση με το διεγερμένο ημιπεδίο. Ωστόσο, τα προκλητά δυναμικά στις αριστερές και δεξιές διεγέρσεις δεν είναι πάντα συμμετρικά σε σχέση με τη μέση γραμμή. Μερικές φορές το ομόπλευρο ημισφαίριο δίνει κορυφές σημαντικού πλάτους αλλά με αντίθετη πολικότητα. Μία τέτοια διαφορά, παρόλο που είναι διακριτή ανάμεσα στην αριστερή και δεξιά διέγερση, δε θα μπορούσε να ανιχνευθεί μέσα από τη φασματική ανάλυση. Η μεταβλητότητα αυτή στην κατανομή μπορεί να εξηγήσει τη διαφορά ανάμεσα στις αποκρίσεις από τις διεγέρσεις του αριστερού ή δεξιού τοίχου στο σχ. 8. Στη περίοδο της σακκαδικής προετοιμασίας βρέθηκε αποσυγχρονισμός στη δραστηριότητα της άλφα μπάντας στα ηλεκτρόδια της πλευρικής και ινιακής περιοχής. Στη προετοιμασία της σακκαδικής κίνησης για αριστερά ή δεξιά δεν υπήρξε στατιστικά σημαντική διαφορά και για το λόγο αυτό, η ταξινόμηση δε μπορεί να βασιστεί σε αυτό το εύρημα. Από την παραπάνω πειραματική διαδικασία εξάγονται δύο προβλήματα ταξινόμησης. Το πρώτο είναι ο διαχωρισμός των εγκεφαλικών αποκρίσεων για κάθε σακκαδική κίνηση (αριστερή σακκαδική/ δεξιά σακκαδική), τον οποίο θα αναφέρουμε ως πρόβλημα αριστερής / δεξιάς απόκρισης. Το δεύτερο είναι ο διαχωρισμός της ύπαρξης σακκαδικής κίνησης και της περίπτωσης όπου το υποκείμενο δε κάνει καμία κίνηση, το οποίο θα αναφέρουμε ως πρόβλημα ενεργητικής/ παθητικής κατάστασης. 25

27 2.2 ΕΠΕΞΕΡΓΑΣΙΑ ΔΕΔΟΜΕΝΩΝ Στην ενότητα αυτή παρουσιάζεται η μορφή των δεδομένων μετά την καταγραφή και η προεπεξεργασία που έγινε, η οποία θεωρείται απαραίτητη σε τέτοιου είδους καταγραφές. Για την επισκόπηση και την επεξεργασία των δεδομένων χρησιμοποιήθηκε η βιβλιοθήκη του EEGLAB [18], η οποία λειτουργεί στο περιβάλλον του MATLAB. Οι καταγραφές από τις τέσσερις συνεδρίες για κάθε υποκείμενο αποτελούνται από τέσσερα αρχεία τύπου BDF (Biosemi Data Format). Τα δεδομένα είναι συνεχείς καταγραφές των 64 καναλιών. Τα bdf αρχεία έχουν μία εσωτερική δομή, γνωστή ως γεγονός. Η δομή γεγονός αποτελείται από τέσσερα πεδία: Είδος (type), συγκεκριμενοποιεί τον τύπο του γεγονότος. Στη δική μας περίπτωση υπάρχουν δύο τύποι, η εμφάνιση εμποδίου στα αριστερά και η εμφάνιση εμποδίου στα δεξιά. Χρονική στιγμή, καταγράφει τη χρονική στιγμή που ξεκινά ένα γεγονός. Θεωρεί ως χρονική αρχή (t = 0) την στιγμή έναρξης της καταγραφής. Διάρκεια (duration), καταγράφει τη διάρκεια ενός γεγονότος. Στη δική μας περίπτωση εφόσον παραπάνω αναφέραμε ότι η σακκαδική κίνηση γίνεται στα 4 δευτερόλεπτα μετά την εμφάνιση του εμποδίου, θεωρούμε ότι η διάρκεια είναι 5 δευτερόλεπτα. Η παραπάνω δομή αποδεικνύεται ιδιαίτερα σημαντική για τη μελέτη των ΗΕΓ που σχετίζονται με γεγονότα (event related ΕΕG) συνεχούς καταγραφής και για την εξαγωγή εποχών δεδομένων (data epochs). Δηλαδή για το γεγονός που μας ενδιαφέρει, εφόσον γνωρίζουμε τη χρονική στιγμή που συμβαίνει, εφαρμόζουμε ένα χρονικό πλαίσιο γύρω από αυτό για όλα τα κανάλια. Παραδείγματος χάριν, θα μπορούσαμε να απομονώσουμε όλα τα γεγονότα εμφάνισης εμποδίου στα αριστερά με χρονικό πλαίσιο [-1 5] sec. Αυτό σημαίνει ότι κρατάμε τις καταγραφές όλων των καναλιών από ένα δευτερόλεπτο πριν την εμφάνιση του εμποδίου έως πέντε δευτερόλεπτα μετά. Το Single Trial είναι της μορφής X, όπου C είναι ο αριθμός των καναλιών και T η χρονική διάρκεια του καθενός. Επομένως η συλλογή όλων των Single Trials για την εμφάνιση του εμποδίου στα αριστερά θα είναι ένας τρισδιάστατος πίνακας Χ, όπου N ο αριθμός των επαναλήψεων που συνέβη το συγκεκριμένο γεγονός. Πριν τη δημιουργία των Single Trials, στα συνεχή δεδομένα είναι απαραίτητη μία προεπεξεργασία. Ως πρώτο βήμα, τα δεδομένα πρέπει να περάσουν από ένα ζωνοπερατό φίλτρο για να απομακρύνουμε το θόρυβο δικτύου (line noise). Συνεπώς, ένα επιθυμητό ζωνοπερατό φίλτρο θα ήταν αυτό των [1-45] Hz. 26

28 Ως δεύτερο βήμα, ακολουθεί η εκ νέου αναφορά (re-reference) των δεδομένων. Το ηλεκτρόδιο αναφοράς που χρησιμοποιείται στην καταγραφή ΗΕΓ δεδομένων αποκαλείται συνήθως κοινή αναφορά. Οι συνήθεις αναφορές για ΗΕΓ καταγραφές είναι το ηλεκτρόδιο στο αυτί (π.χ. το TP10 στο σύστημα), το ηλεκτρόδιο στο λοβό του αυτιού, ή στη μύτη. Τα συστήματα με ενεργά ηλεκτρόδια (π.χ. Biοsemi) μπορούν να καταγράφουν χωρίς αναφορά. Στην περίπτωση αυτή, πρέπει να γίνει επιλογή της αναφοράς post-hoc κατά την εισαγωγή των δεδομένων. Εάν για κάποιο λόγο αμεληθεί, τα δεδομένα θα επιβαρυνθούν με 40 db θορύβου. Η μετατροπή των δεδομένων από σταθερή ή κοινή αναφορά σε αναφορά μέσης τιμής είναι προτιμητέα από τους περισσότερους ερευνητές, ιδιαίτερα όταν η μάσκα ηλεκτροδίων καλύπτει σχεδόν ολόκληρο το κεφάλι (όπως σε μερικά συστήματα υψηλής ακρίβειας). Το πλεονέκτημα της αναφοράς μέσης τιμής βασίζεται στο γεγονός ότι τα εξωτερικά θετικά και αρνητικά ηλεκτρικά ρεύματα, αν τα αθροίσουμε συνολικά σε μια (ηλεκτρικά μονωμένη) σφαίρα, θα έχουν άθροισμα μηδέν (νόμος του Ohm). Αν υποθέσουμε ότι το ρεύμα που διαρρέει από το κεφάλι στο λαιμό και το σώμα είναι αμελητέο, τότε το άθροισμα των τιμών του ηλεκτρικού πεδίου σε όλα τα ηλεκτρόδια είναι μηδέν (υπόθεση της αναφοράς μέσης τιμής). Το πρόβλημα με την υπόθεση αυτή είναι ότι η αναφορά μέσης τιμής απαιτεί την ίση κατανομή των ηλεκτροδίων στο κεφάλι. Ωστόσο. Συνήθως δε συμβαίνει αυτό, καθότι οι ερευνητές τοποθετούν περισσότερα ηλεκτρόδια σε ορισμένες περιοχές του κρανίου και λιγότερα αλλού. Δίνεται ένα σχήμα για τη μετατροπή των δεδομένων σε αναφορά μέσης τιμής. Σχήμα 9: Υπολογισμός της αναφοράς μέσης τιμής. 27

29 Στο τελευταίο βήμα προεπεξεργασίας, ελέγχουμε κατά πόσο είναι ενθόρυβο το σήμα στο κάθε κανάλι. Ο έλεγχος γίνεται μέσω στατιστικών μέτρων και αν κάποιο κανάλι είναι ιδιαίτερα θορυβώδες το απομακρύνουμε. Το EEGLAB έχει ενσωματωμένη ρουτίνα η οποία παραθέτει τα αποτελέσματα σε ένα παράθυρο όπως στο παρακάτω σχήμα. Η ρουτίνα αυτή ζητά σαν είσοδο την παράμετρο ποσοστό περικοπής, η παράμετρος αυτή χρησιμοποιείται για τον επαναϋπολογισμό των στατιστικών μέτρων μετά την αφαίρεση των ουρών της κατανομής. Εάν P είναι το ποσοστό αυτό, τότε οι τιμές κάτω από το ποσοστό P και πάνω από το 1 P εξαιρούνται από τον υπολογισμό. Σχήμα 10: Έλεγχος για απόρριψη καναλιού μέσω στατιστικών μέτρων. Κάποιες εκτιμήσεις στατιστικών μεταβλητών τυπώνονται ως κείμενο στο κάτω πλαίσιο για να διευκολύνουν τη γραφική ανάλυση. Οι μεταβλητές αυτές είναι η μέση τιμή του σήματος, η τυπική απόκλιση, η κύρτωση καθώς και ο μέσος. Η τελευταία γραμμή κειμένου παραθέτει το αποτέλεσμα του τεστ Kolmogorov-Smirnov (εκτιμά το αν η κατανομή των δεδομένων ακολουθεί κατανομή ή όχι) με επίπεδο σημαντικότητας (significance level) p=0.05. Το πάνω αριστερά πλαίσιο δείχνει το ιστόγραμμα των δεδομένων (μπλε μπάρες), η οριζόντια κόκκινη γραμμή υποδεικνύει τη μέση τιμή των δεδομένων, η γαλάζια καμπύλη είναι μία κλιμακωμένη κανονική κατανομή. Το πάνω δεξιά πλαίσιο δείχνει το εμπειρικό διάγραμμα QQ. Απεικονίζει τα τεταρτημόρια των δεδομένων έναντι αυτών μίας κανονικής κατανομής. Η απεικόνιση του διαγράμματος QQ βοηθά για να αποφασίσουμε αν τα δεδομένα ακολουθούν κανονική κατανομή. Εάν τα δείγματα προέρχονται από κανονική κατανομή τότε το διάγραμμα θα είναι γραμμικό. Εμπειρικά, μπορούμε να πούμε ότι τα ενθόρυβα κανάλια ακολουθούν κατανομές πολύ διαφορετικές από τη κανονική κατανομή από ότι τα υπόλοιπα κανάλια. 28

30 ΚΕΦΑΛΑΙΟ 3 o 29

31 ΚΕΦΑΛΑΙΟ 3 o : ΓΝΩΣΤΕΣ ΤΕΧΝΙΚΕΣ ΤΑΞΙΝΟΜΗΣΗΣ ΓΙΑ EEG ΑΝΑΛΥΣΗ Λόγω του μεγάλου όγκου καταγραφής που παράγουν τα πολυκαναλικά ηλεκτροεγκεφαλογραφήματα (multichannel EEG recordings) δίνεται μία θολή εικόνα της εγκεφαλικής δραστηριότητας. Για το λόγο αυτό τα χωρικά φίλτρα αποτελούν ένα σημαντικό εργαλείο για την ανάλυση των σημάτων αυτών. Υπάρχουν ικανές τεχνικές από τη μηχανική μάθηση και την επεξεργασία σήματος που επιτρέπουν τη βελτιστοποίηση χωρο-χρονικών φίλτρων ξεχωριστό για κάθε υποκείμενο, τα οποία είναι εξαρτημένα από τα δεδομένα και όχι στατικά φίλτρα, π.χ. τα φίλτρα Laplace. Σκοπός του κεφαλαίου αυτού είναι η παρουσίαση μίας ιδιαίτερα δημοφιλούς μεθόδου γνωστή ως Κοινά Χωρικά Φίλτρα (Common Spatial Patterns) και η αναφορά διαφόρων εκδόσεών της. 3.1 Η ΣΗΜΑΣΙΑ ΤΟΥ ΧΩΡΙΚΟΥ ΦΙΛΤΡΟΥ Τα αρχικά ΗΕΓ σήματα έχουν φτωχή χωρική ανάλυση. Σε μία μελέτη προσομοίωσης [19] μόνο το μισό της συνεισφοράς σε κάθε ηλεκτρόδιο προέρχεται από πηγές με ακτίνα μικρότερη των 3 cm. Αυτό πρακτικά αποτελεί πρόβλημα εάν το σήμα που μας ενδιαφέρει είναι αδύναμο, ενώ άλλες πηγές παράγουν ισχυρά σήματα στο ίδιο εύρος συχνοτήτων όπως στον άλφα ρυθμό στον οπτικό φλοιό. Οι απαιτήσεις φτάνουν στα ύψη όταν αναφερόμαστε στην ανάλυση των ΗΕΓ σημάτων όπως γίνεται στα BCI συστήματα. Ενώ μερικές άλλες προσεγγίσεις προσπαθούν να επιτύχουν την απαιτούμενη ισχύ του σήματος μέσω εκπαίδευσης των υποκειμένων [20], [21], μία εναλλακτική λύση είναι η αξιολόγηση του συστήματος στα εκάστοτε χαρακτηριστικά του κάθε χρήστη [22], [23], [24]. Οι τελευταίες, βασισμένες στα δεδομένα προσεγγίσεις που υπολογίζουν χωρικά φίλτρα προσαρμοσμένα στο υποκείμενο έχουν αποδειχθεί πολύ χρήσιμες. Ως επίδειξη της σημασίας των χωρικών φίλτρων, το σχ. 11 δείχνει τη φασματική ανάλυση του ΗΕΓ σήματος της νοερής κίνησης του αριστερού και του δεξιού χεριού βάσει της καταγραφής στο δεξιό ημισφαίριο στον αισθητικοκινητικό φλοιό. Όλες οι απεικονίσεις παράγονται από τα ίδια δεδομένα αλλά με χρήση διαφορετικών χωρικών φίλτρων. Ενώ το μη επεξεργασμένο κανάλι δείχνει μία κορυφή γύρω από τα 9 Hz, η οποία παρέχει σχεδόν μηδαμινή διακριτική πληροφορία ανάμεσα στις δύο καταστάσεις, το διπολικό (bipolar) φίλτρο και το φίλτρο μέσης αναφοράς βελτιώνουν ελάχιστα τη διακριτική ικανότητα. Ωστόσο το φίλτρο Laplace, και ακόμη περισσότερο το CSP φίλτρο αποκαλύπτουν και μία δεύτερη φασματική κορυφή γύρω στα 12 Hz παρέχοντας ισχυρή διακριτική ικανότητα. Με περαιτέρω έρευνες μπορεί να ανιχνευθεί η χωρική προέλευση της κορυφής με μικρή διακριτική ικανότητα στον οπτικό φλοιό, ενώ η κορυφή με διακριτική ικανότητα προέρχεται από τον αισθητικοκινητικό (sensorimotor) ρυθμό. Αξίζει να σημειωθεί ότι σε πολλά 30

32 υποκείμενα τα συχνοτικά εύρη του οπτικού και αισθητικοκινητικού ρυθμού επικαλύπτονται ή ταυτίζονται απολύτως. Σχήμα 11: Φασματική ανάλυση της νοητής κίνησης του αριστερού και δεξιού χεριού. Όλες οι φασματικές αναλύσεις προέρχονται από τα ίδια δεδομένα αλλά χρησιμοποιούνται διαφορετικά χωρικά φίλτρα. Η διακριτική ικανότητα ανάμεσα στις δύο καταστάσεις ποσοτικοποιείται από τη τιμή r 2. Το CAR σημαίνει κοινή μέση αναφορά (Common Average Reference). 3.2 ΓΕΝΙΚΟ ΠΛΑΙΣΙΟ ΛΕΙΤΟΥΡΓΙΑΣ Στην ενότητα αυτή γίνεται μία επισκόπηση του ταξινομητή που χρησιμοποιείται. Έστω Χ R ότι είναι ένα μικρό τμήμα ενός EEG σήματος 1, το οποίο αντιστοιχεί σε ένα trial μιας νοητής κίνησης, το C συμβολίζει τον αριθμό των καναλιών και το T τον αριθμό των δειγματολειπτημένων χρονικών στιγμών σε ένα trial. Ο ταξινομητής είναι μία συνάρτηση που προβλέπει το είδος ενός trial X. Χάριν απλότητας ας εστιάσουμε στη δυαδική ταξινόμηση, δηλαδή στην ταξινόμηση ανάμεσα της κίνησης του αριστερού και δεξιού χεριού. Η έξοδος του ταξινομητή είναι μία πραγματική τιμή της οποίας το πρόσημο ερμηνεύεται ως η προβλεπόμενη κλάση στην οποία ανήκει το trial. Ο ταξινομητής γράφεται ως εξής: 1 Στα παρακάτω, χρησιμοποιούμε επίσης το συμβολισμό x(t) R, το οποίο υποδηλώνει το EEG σήμα σε μία συγκεκριμένη χρονική στιγμή t, έτσι το X αποτελεί μία συνένωση στηλών των x(t) ως X = [x(t), x(t + 1),, x(t + T 1)] για κάποια t αλλά ο δείκτης του χρόνου t παραβλέπεται. 31

33 f X; w, β = β logw XX w + β (3.1) Ο ταξινομητής πρώτα προβάλλει το σήμα μέσω J χωρικών φίλτρων w R, έπειτα υπολογίζει το λογάριθμο της ισχύος του προβαλλόμενου σήματος και τέλος συνδυάζει γραμμικά τα J διαστάσεων χαρακτηριστικά και προσθέτει την πόλωση (bias) β. Στην πραγματικότητα, κάθε προβολή δεσμεύει διαφορετική χωρική θέση, η διαμόρφωση της δραστηριότητας του ρυθμού δεσμεύεται από το λογάριθμο της ισχύος του σήματος. Σημειώνεται ότι είναι εφικτές διάφορες επεκτάσεις του σκεπτικού αυτού. Ένα παράδειγμα ενός διαφορετικού πειράματος μπορεί να απαιτούσε τη χρήση μη γραμμικών μεθόδων για την εξαγωγή των χαρακτηριστικών ή την ταξινόμηση [25]. Η απευθείας ελαχιστοποίηση του κριτηρίου [26], και η βελτιστοποίηση των βαρών του ταξινομητή [27] είναι αυτά τα οποία προτείνονται. Από την άλλη, οι μέθοδοι που είναι γραμμικοί στους στατιστικούς όρους δευτέρας τάξης, δηλαδή XX, όπως η παραπάνω εξίσωση χωρίς το λογάριθμο, αποτελούν θέμα συζήτησης στα [28], [29] και δείχνουν να έχουν κάποιες καλές ιδιότητες όπως κυρτότητα (convexity). Οι συντελεστές w και β προσδιορίζονται στατιστικά [30] από τα δείγματα εκπαίδευσης, δηλαδή τα ζεύγη των trials και ταμπελών {X, y } που συλλέγουμε στη φάση της βαθμονόμησης (calibration), η ταμπέλα y {+1, 1} ανταποκρίνεται σε μία νοητή κίνηση του αριστερού ή δεξιού χεριού αντιστοίχως, και n είναι ο αριθμός των trials. Τα Common Spatial Filters (CSP) χρησιμοποιούνται για τον προσδιορισμό των συντελεστών w του χωρικού φίλτρου. Στην παρακάτω ενότητα, συζητείται η μέθοδος λεπτομερώς και παρουσιάζονται κάποιες επεκτάσεις. Τα γραμμικά βάρη β προσδιορίζονται από την ανάλυση της γραμμικής διακρίνουσας του Fisher (LDA). 3.3 ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΑΝΑΛΥΣΗ ΤΩΝ CSP Τα CSP [31], [32] είναι μία τεχνική ανάλυσης πολυκαναλικών δεδομένων καταγραφής από δύο κλάσεις (καταστάσεις). Τα CSP παράγουν μία αποσύνθεση του σήματος, βασισμένη στα δεδομένα, με επίβλεψη η οποία παραμετροποιείται από ένα πίνακα W R (όπου C ο αριθμός των καναλιών), ο οποίος προβάλλει το σήμα x(t) R που ανήκει στον αρχικό χώρο στο x (t) R που βρίσκεται στον υποκατάστατο χώρο, ως εξής: x (t) = W x(t) (3.2) 32

34 Θεωρούμε κάθε στήλη διάνυσμα ℛ ( = 1,2,, ) του ως ένα χωρικό φίλτρο ή απλούστερα φίλτρο, πιο σημαντικό όμως θεωρούμε κάθε διάνυσμα στήλη ) ℛ ως ένα χωρικό πρότυπο ή ℛ ( = 1,2,, ) ενός πίνακα = ( απλούστερα ένα πρότυπο. Στην πραγματικότητα, αν σκεφτούμε ότι ένα σήμα ( ), κάθε παράγεται ως γραμμικός συνδυασμός από τον τότε ( ) = διάνυσμα χαρακτηρίζει το χωρικό πρότυπο της -οστής δραστηριότητας, επιπλέον το θα φιλτράρει όλες τις δραστηριότητες εκτός, πλην της -οστής δραστηριότητας λόγω της ορθογωνιότητας = η οποία ισχύει, όπου είναι η δέλτα του Kronecker =1 = =0. Οι πίνακες και συχνά στη βιβλιογραφία αποκαλούνται ως πίνακες σύνθεσης και αποσύνθεσης, ή εμπρόσθιοι και ανάδρομοι. Το κριτήριο βελτιστοποίησης το οποίο χρησιμοποιείται για το προσδιορισμό των CSP φίλτρων αναπτύσσεται λεπτομερώς στην ενότητα που ακολουθεί. Εν συντομία, τα CSP φίλτρα μεγιστοποιούν τη διασπορά (variance) του χωρικά φιλτραρισμένου σήματος στη μία κατάσταση, ενώ την ελαχιστοποιούν στην άλλη. Εφόσον η διασπορά ενός ζωνοπερατού φιλτραρισμένου σήματος ισούται με την ισχύ του εύρους, η ανάλυση των CSP εφαρμόζεται σε κατά προσέγγιση ζωνοπερατά σήματα προκειμένου να επιτύχουν μία αποτελεσματική διάκριση ανάμεσα στις δύο καταστάσεις. Το σχ. 12 δείχνει το αποτέλεσμα της εφαρμογής τεσσάρων CSP φίλτρων σε συνεχή ζωνοπερατά EEG δεδομένα. Τα διαστήματα της κίνησης του δεξιού χεριού είναι σκιασμένα με πράσινο και δείχνουν μεγαλύτερη διασπορά στα CSP:L1 και CSP:L2 φίλτρα, ενώ κατά τη διάρκεια της κίνησης του αριστερού χεριού (σκιασμένη με κόκκινο) η διασπορά είναι μεγαλύτερη στα CSP:R1 και CSP:R2 φίλτρα. Σχήμα 12: Η επίδραση των χωρικών CSP φίλτρων. Η ανάλυση των CSP εκτελέστηκε προκειμένου να αποκτηθούν τέσσερα χωρικά φίλτρα τα οποία διακρίνουν την κίνηση του αριστερού από του δεξιού χεριού. Το γράφημα δείχνει ζωνοπερατά EEG σήματα μετά την εφαρμογή των CSP φίλτρων. Τα σήματα που προκύπτουν στα φίλτρα CSP:L1 και CSP:L2 έχουν μεγαλύτερη διασπορά κατά τη διάρκεια κίνησης του δεξιού χεριού (τα τμήματα που σκιάζονται με πράσινο) ενώ τα σήματα με τα φίλτρα CSP:R1 και CSP:R2 έχουν μεγαλύτερη διασπορά κατά τη κίνηση του αριστερού χεριού (τα τμήματα που σκιάζονται με κόκκινο). 33

35 3.4 ΤΕΧΝΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ ΣΤΗΝ ΑΝΑΛΥΣΗ ΤΩΝ CSP Έστω Σ R και Σ R πως είναι οι εκτιμήσεις των πινάκων συμμεταβλητότητας των EEG σημάτων στις δύο καταστάσεις (π.χ. στην κίνηση του αριστερού και του δεξιού χεριού): Σ () = 1 F X X F (c {+, }) (3.3) Όπου F (c {+, }) είναι το σύνολο των δεικτών που αντιστοιχούν στα trials που ανήκουν σε κάθε κατάσταση και F δηλώνει το μέγεθος του συνόλου F. Η παραπάνω έκφραση δίνει μία εκτίμηση της συμμεταβλητότητας σε κάθε κατάσταση επειδή κάθε X είναι κανονικοποιημένο. Τότε η ανάλυση των CSP δίνεται από την ταυτόχρονη διαγωνιοποίηση των δύο πινάκων συμμεταβλητότητας W Σ () W = Λ (), (3.4) W Σ () W = Λ (), Όπου η κλιμάκωση του W συνήθως ορίζεται να είναι τέτοια ώστε Λ () + Λ () = Ι [31], από τεχνικής απόψεως αυτό μπορεί να επιτευχθεί λύνοντας το γενικευμένο πρόβλημα ιδιοτιμών Σ () w = λσ () w (3.5) Τότε η εξίσωση (4) ικανοποιείται όταν ο W αποτελείται από τα γενικευμένα ιδιοδιανύσματα w (j = 1,2,, C) της εξίσωσης (5) (ως διανύσματα στήλης) και τα λ () = w Σ () w είναι τα αντίστοιχα διαγώνια στοιχεία του Λ () (c {+, }), ενώ το () λ στην εξίσωση (5) ισούται με λ λ. Αξίζει να σημειωθεί ότι τα λ () 0 είναι η διασπορά στην κατάσταση C στο αντίστοιχο αντικατεστημένο κανάλι και λ () + λ () = 1. Έτσι μία μεγάλη τιμή στα λ () λ () κοντά στη μονάδα υποδεικνύει ότι το αντίστοιχο χωρικό φίλτρο w παράγει μεγάλη μεταβλητότητα στη θετική (αρνητική) κατάσταση και μικρή διασπορά στην αρνητική (θετική) κατάσταση, αντιστοίχως. Η αντίθεση αυτή ανάμεσα στις δύο κλάσεις είναι πολύ χρήσιμη στη διάκριση αυτών. Στο [32] δίνεται η εξήγηση ότι η παραπάνω αποσύνθεση παράγει μία κοινή βάση για τις δύο καταστάσεις επειδή το σήμα x (t) = W x(t) είναι ασυσχέτιστο στις δύο αυτές καταστάσεις, πράγμα το οποίο υπονοεί ανεξαρτησία για Γκαουσιανες τυχαίες μεταβλητές. Στο σχ. 13 εξηγείται πως δουλεύουν τα CSP στις δύο διαστάσεις. Τα CSP απεικονίζουν τα δείγματα του σχ. 13(a) σε αυτά του σχ. 13(b), η ισχυρή συσχέτιση ανάμεσα στους αρχικούς δύο άξονες αφαιρείται και αμφότερες οι κατανομές αποσυσχετίζονται ταυτόχρονα. Επιπλέον οι δύο κατανομές έχουν τη μέγιστη ανομοιότητα στους νέους άξονες. Οι διακοπτόμενες γραμμές στο σχ

36 δηλώνουν τη κατεύθυνση των προβολών των CSP. Αξίζει να σημειωθεί ότι τα δύο διανύσματα δεν είναι ορθογώνια μεταξύ τους, αλλά σχεδόν ορθογώνια στη κατεύθυνση όπου η αντίπαλη κλάση έχει τη μέγιστη διασπορά. Σχήμα 13: Ένα απλό παράδειγμα των CSP φίλτρων στις δύο διαστάσεις. Αποτελείται από δύο σύνολα δειγμάτων σημειωμένα με κόκκινους σταυρούς και μπλε κύκλους που παράχθηκαν από Γκαουσιανές κατανομές. Στο (a), φαίνονται οι κατανομές των δειγμάτων πριν την εφαρμογή των CSP. Οι δύο ελλείψεις δείχνουν τις εκτιμώμενες συμμεταβλητότητες και οι διακοπτόμενες γραμμές δείχνουν την κατεύθυνση των προβολών των CSP ( =, ). Στο (b), φαίνεται η κατανομή των δειγμάτων μετά την προβολή. Παρατηρούμε ότι και οι δύο οι κλάσεις είναι ασυσχέτιστες την ίδια στιγμή. Ένα γενικό πλάνο για τα CSP μας παρέχει το [33]. Ας αναλογιστούμε το γραμμικό μοντέλο: =, ~ 0, ( ) ( {+, }), ( {+, }) υποθέτουμε πως είναι ασυσχέτιστες Όπου οι πηγές Γκαουσιανές κατανομές με πίνακες συμμεταβλητότητας ( ) ( {+, }) για τις δύο καταστάσεις αντιστοίχως. Εάν οι εμπειρικές εκτιμήσεις ( ) είναι ικανοποιητικά ( ) κοντά στους πραγματικούς πίνακες συμμεταβλητότητας, η ταυτόχρονη διαγωνιοποίηση θα δώσει τον εκτιμητή μέγιστης πιθανοφάνειας του μετόπισθεν ). μοντέλου =( Ας ορίσουμε τους = ( ) ( ) = ( ) + ( ) και ως εξής: : διακριτική δραστηριότητα, (3.6) : κοινή δραστηριότητα, Όπου ο αντιστοιχεί στη διακριτική δραστηριότητα, δηλαδή στη διαμόρφωση της ισχύος ανάμεσα στις δύο καταστάσεις και ο αντιστοιχεί στη κοινή δραστηριότητα για την οποία δεν έχουμε ενδιαφέρον. Τότε μπορεί να επιτευχθεί μία λύση για το ακόλουθο πρόβλημα μεγιστοποίησης (πηλίκο του Rayleigh) λύνοντας το ίδιο γενικευμένο πρόβλημα ιδιοτιμών, 35

37 w S w max w R w S w (3.7) Διαπιστώνουμε εύκολα ότι κάθε γενικευμένο ιδιοδιάνυσμα w που αντιστοιχεί σε ένα τοπικό στάσιμο σημείο με την τιμή λ () λ () (με την προϋπόθεση ότι ισχύει λ () + λ () = 1 όπως προηγουμένως). Η μεγάλη θετική (ή αρνητική) τιμή αντιστοιχεί σε μεγάλη απόκριση στη πρώτη (ή δεύτερη) κατάσταση. Για το λόγο αυτό, η κοινή πρακτική σε ένα πρόβλημα ταξινόμησης είναι να χρησιμοποιήσουμε αρκετά ιδιοδιανύσματα από τα δύο άκρα του φάσματος των ιδιοτιμών ως χωρικά φίλτρα w στην εξίσωση (2). Εάν ο αριθμός των συντελεστών J είναι πολύ μικρός θα αποτύχει στο να συλλάβει πλήρως τη διάκριση ανάμεσα στις δύο κλάσεις, από την άλλη, θα ήταν πολύ πιθανή η υπερεκπαίδευση (overfit) στη περίπτωση που το J ήταν πολύ μεγάλο. Στη πράξη βρίσκουμε ότι για J = 6, δηλαδή για τρία διανύσματα και από τα δύο άκρα είναι συνήθως ικανοποιητικά. 3.5 ΕΠΕΚΤΑΣΕΙΣ ΤΟΥ ΑΡΧΙΚΟΥ CSP ΑΛΓΟΡΙΘΜΟΥ Στην αρχική του μορφή ο αλγόριθμος CSP είναι περιορισμένος στα δυαδικά προβλήματα. Μία γενική μεθοδολογία για την επέκταση του αλγορίθμου σε προβλήματα πολλών κλάσεων είναι η εφαρμογή του CSP σε ένα σύνολο δυαδικών υποπροβλημάτων (όλα τα πιθανά ανά δύο ζεύγη ή σε σχήμα ενός έναντι των υπολοίπων). Μία πιο άμεση μέθοδος είναι μέσω μίας προσεγγιστικής ταυτόχρονης διαγωνιοποίησης όπως προτάθηκε στο [34]. Ένα επιπλέον πεδίο προς διερεύνηση είναι αυτό της αυτόματης επιλογής των φασματικών φίλτρων. Ο αλγόριθμος Common Spatio-Spectral Pattern (CSSP) [35], λύνει το γνωστό CSP πρόβλημα στις EEG χρονοσειρές οι οποίες είναι επαυξημένες με καθυστερημένα αντίγραφα του αρχικού σήματος, πετυχαίνοντας με τον τρόπο αυτό ταυτόχρονη βελτιστοποίηση στα χωρικά φίλτρα σε συνδυασμό με απλά συχνοτικά φίλτρα. Πιο συγκεκριμένα, ο CSP εφαρμόζεται στο αρχικό σήμα x που συνενώνεται με την καθυστερημένη του έκδοση κατά τ, δηλαδή x(t τ). Αυτό ισούται με τη βελτιστοποίηση σε ένα επαυξημένο χωρικό πεδίο, όπου τα καθυστερημένα σήματα μεταχειρίζονται ως νέα κανάλια x(t) = (x(t), x(t τ) ). Συνεπώς, αυτό παράγει χωρικές προβολές w = w (), w (), οι οποίες αντιστοιχούν σε διανύσματα στο επαυξημένο χωρικό πεδίο. Οποιαδήποτε χωρική προβολή στο πεδίο της κατάστασης μπορεί να εκφραστεί ως συνδυασμός ενός χωρικού και ενός φασματικού φίλτρου τα οποία εφαρμόστηκαν στα δεδομένα ως εξής: 36

38 wx(t) = w () x (t) + w () x (t τ) = γ w () γ x (t) + w () γ x (t τ). Όπου το {γ } ορίζει ένα χωρικό φίλτρο και το (), 0,...,0, () ορίζει ένα FIR φίλτρο σε κάθε ηλεκτρόδιο c. Ακολούθως αυτή η τεχνική αυτόματα παραβλέπει ή δίνε έμφαση σε συγκεκριμένες συχνοτικές μπάντες σε κάθε ηλεκτρόδιο έτσι ώστε να είναι το βέλτιστο για τη διάκριση των δύο κλάσεων σημάτων. Ας σημειωθεί ότι προσδιορίζονται ανεξάρτητα χρονικά φίλτρα για κάθε κανάλι εισόδου. Ο αλγόριθμος Common Sparse Spectral Spatial Pattern [36], διαφεύγει του προβλήματος της χειροκίνητης επιλογής συχνοτικών μπαντών με ένα διαφορετικό τρόπο. Εδώ το χρονικό FIR φίλτρο βελτιστοποιείται ταυτόχρονα με ένα χωρικό φίλτρο. Σε αντίθεση με τον CSSP μόνο ένα χρονικό φίλτρο χρησιμοποιείται, αλλά αυτό δύναται να είναι μεγαλύτερης πολυπλοκότητας. Προκειμένου να ελέγχεται η πολυπλοκότητα του χρονικού φίλτρου, εισάγεται ένα σκεπτικό κανονικοποίησης το οποίο ευνοεί τις αραιές λύσεις για τους συντελεστές του FIR. Παρόλο που μερικές τιμές της παραμέτρου κανονικοποίησης δίνουν καλά αποτελέσματα στις περισσότερες περιπτώσεις, πρέπει να εφαρμοστεί ένα μοντέλο επιλογής για να έχουμε τις βέλτιστες επιδόσεις. Στο [37], προτείνεται μία επαναληπτική μέθοδος (SPEC-CSP) η οποία εναλλάσσεται ανάμεσα στη βελτιστοποίηση ενός χωρικού φίλτρου κατά την έννοια των CSP και τη βελτιστοποίηση των φασματικών βαρών. Ως αποτέλεσμα, λαμβάνουμε μία χωρική αποσύνθεση και ένα χρονικό φίλτρο τα οποία βελτιστοποιούνται αμοιβαία για το δοθέν πρόβλημα ταξινόμησης. Ενδιαφέρον παρουσιάζει και η σύνδεση της ανάλυσης των CSP με ένα μοντέλο διάκρισης. Η σύνδεση αυτή έχει από μόνη της θεωρητικό ενδιαφέρον και επιπλέον μπορεί να χρησιμοποιηθεί για την παραγωγή άλλων εκδοχών του αρχικού αλγορίθμου. Η ποσότητα S = Σ () Σ () μπορεί να ερμηνευθεί ως ο εμπειρικός μέσος E, [yxx ] των στατιστικών μετρήσεων ενός γραμμικού μοντέλου προσέγγισης: P(y X, V, b) = expyf(x; V, b) Z(X, V, b) f(x; V, b) = Tr[V XX ] + b, Όπου τα y {+1, 1} είναι οι ταμπέλες από τις αντίστοιχες δύο κλάσεις, ο πίνακας V R είναι ο πίνακας συντελεστών προσέγγισης, το b είναι η πόλωση, και 37

39 Z(X, V, b) = e (;,) + e (;,). Για την ακρίβεια, δοθέντος ενός συνόλου από trials και ταμπέλες {X, y } η πιθανοφάνεια του παραπάνω προβλήματος μπορεί να γραφτεί ως εξής: log P(y X, V, b) = Tr V y X X + b y n 2 Tr[V S ] log Z(X, V, b), log Z(X, V, b) Όπου για λόγους απλότητας υποθέσαμε ότι κάθε κλάση περιέχει ίσο αριθμό από trials. Δυστυχώς, λόγω του όρου της λογαριθμικής κανονικοποίησης Ζ(X, V, b) το πρόβλημα της μέγιστης πιθανοφάνειας δε μπορεί να επιλυθεί το ίδιο απλά όπως της ταυτόχρονης διαγωνιοποίησης. Μπορεί να τεθεί ένα άνω όριο στον όρο log Z(X, V, b), με την παρακάτω συνθήκη: Tr[V X X ] 1, Και να μεγιστοποιήσει το κατώτατο όριο της πιθανοφάνειας ως εξής: n max R 2 Tr[V S ], υπό τη συνθήκη Tr[V X X ] 1. 38

40 ΚΕΦΑΛΑΙΟ 4 o 39

41 ΚΕΦΑΛΑΙΟ 4 o : ΝΕA ΜΕΘΟΔΟΣ ΤΑΞΙΝΟΜΗΣΗΣ Στο κεφάλαιο αυτό παρουσιάζεται ένα νέο πλαίσιο λειτουργίας για τη διάκριση εγκεφαλικών σημάτων. Το πλαίσιο αυτό αποτελείται από δύο σκέλη. Η μορφή πίνακα των σημάτων υποδεικνύει πως δεν μπορούν να τροφοδοτήσουν τις γνωστές τεχνικές ταξινόμησης οι οποίες θεωρούν πως το κάθε δείγμα αποτελεί ένα διάνυσμα. Μέχρι στιγμής η πιο ευρέως διαδεδομένη μέθοδος που χρησιμοποιείται για τη ταξινόμηση EEG σημάτων είναι ο αλγόριθμος Common Spatial Patterns (CSP) [38], ο αλγόριθμος αυτός αποσκοπεί στην εύρεση χωρικά κωδικοποιημένης πληροφορίας. Tο στόχο αυτό επιτυγχάνει αποδίδοντας τα κατάλληλα βάρη στο κάθε κανάλι των EEG σημάτων. Στο κεφάλαιο αυτό, υιοθετούμε μία διαφορετική οπτική γωνία και αναπτύσσουμε μία μέθοδο η οποία εκμεταλλεύεται την πληροφορία διαφοροποίησης του σήματος απόκρισης που υπάρχει στο χρόνο. Το κίνητρο για τη μελέτη αυτή αποτελεί το γεγονός ότι οι αποκρίσεις προκλητών δυναμικών περιγράφονται καλύτερα ως μικρής διάρκειας, προσδιορισμένα στο χρόνο, πρότυπα σημάτων τα οποία εμφανίζονται σε γνωστές τοπογραφικά προσδιορισμένες θέσεις. Η προσέγγιση που παραθέτουμε είναι μία διαδικασία δύο βημάτων. Στο πρώτο στάδιο προσδιορίζουμε το κανάλι και ανιχνεύουμε το βέλτιστο χρονικά παράθυρο, όπου τα δύο είδη οπτικών αποκρίσεων ή οι δύο διαφορετικές πνευματικές καταστάσεις ξεχωρίζουν περισσότερο. Στο δεύτερο στάδιο, το στάδιο της ταξινόμησης εξάγουμε τα επιλεγμένα χαρακτηριστικά, δηλαδή τις διαδοχικές τιμές του σήματος από το επιλεγμένο κανάλι στο βέλτιστο χρονικό παράθυρο από όλα τα Single Trials και έπειτα εφαρμόζουμε γνωστές τεχνικές ταξινόμησης. Στο πρώτο στάδιο εφαρμόζουμε το συναρτησιακό RQ διαχωρισιμότητα [39], τη μετρική αυτή την εφαρμόζουμε σε κάθε κανάλι χωριστά και σε συνάρτηση με το χρόνο μέσω ενός κινούμενου παραθύρου. Με τον τρόπο αυτό, ανιχνεύουμε το κανάλι που μεταφέρει τη μεγαλύτερη διακριτική πληροφορία και επίσης επιλέγουμε τα χρονικά διαστήματα που μας ενδιαφέρουν. Έπειτα, οι τιμές των σημάτων στα συγκεκριμένα χρονικά διαστήματα σχηματίζουν τα διανύσματα χαρακτηριστικών για το δεύτερο στάδιο, όπου πρώτα εφαρμόζουμε μία μέθοδο ελάττωσης διαστάσεων. Παρακάτω δίνονται συγκριτικά αποτελέσματα από τη χρήση διαφόρων μεθόδων προκειμένου να καταλήξουμε στην καταλληλότερη μέθοδο ελάττωσης διαστάσεων και τέλος η μέθοδος ταξινόμησης των Support Vector Machines (SVM), η οποία παρουσιάζεται εκτενώς στο παράρτημα. 40

42 4.1 ΔΙΕΡΕΥΝΗΤΙΚΗ ΑΝΑΛΥΣΗ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΤΑΞΙΝΟΜΗΣΗΣ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ ΕΜΦΑΝΙΣΗΣ ΕΜΠΟΔΙΟΥ ΑΡΙΣΤΕΡΑ / ΔΕΞΙΑ ΣΤΟ ΟΠΤΙΚΟ ΠΕΔΙΟ Στην ενότητα αυτή παρουσιάζονται τα κύρια αποτελέσματα της μελέτης αναφορικά με τους δύο τύπους εγκεφαλικών αποκρίσεων που αντιστοιχούν Στην εμφάνιση ενός εμποδίου από αριστερά ή από δεξιά ενός σταυρονήματος. Αφού έγινε ένα πλήθος δοκιμών εξετάζοντας σε διαφορετικές ζώνες συχνοτήτων την ικανότητα διάκρισης, καταλήξαμε ότι η μπάντα που εμφανίζει τη μεγαλύτερη διαχωρισιμότητα είναι αυτή των [4-10] Hz. Το συχνοτικό εύρος αυτό θεωρείται δεδομένο από εδώ και πέρα. Συγκρίνοντας τους μέσους όρους, υπάρχουν προφανείς διαφορές ανάμεσα στους δύο τύπους των αποκρίσεων σε ότι αφορά τη χρονική εξέλιξη που απεικονίζεται σε συγκεκριμένα κανάλια. Στο ακόλουθο σχήμα, βλέπουμε τα ίχνη από επιλεγμένα κανάλια του υποκειμένου #1 τα οποία προκύπτουν από τους μέσους όρους 50 Single Trials για κάθε κατεύθυνση (αριστερά/ δεξιά). Από το σύνολο των 64 διαθέσιμων EEG καναλιών, αυτά που απεικονίζονται επιλέχθηκαν έχοντας ως κριτήριο το SNR (Signal to Noise Ratio). Σχήμα 14: α) Μέσοι όροι από επιλεγμένα κανάλια για την περίπτωση του αριστερού εμπόδιου. β) Μέσοι όροι από επιλεγμένα κανάλια για την περίπτωση του δεξιού εμπόδιου. Τα πειράματα εμπεριέχουν και τη συγκριτική μελέτη των δύο τύπων των εγκεφαλικών αποκρίσεων σε ότι αφορά το πολυκαναλικό σήμα σε διάφορες χρονικές στιγμές, έχοντας ως απώτερο σκοπό τον προσδιορισμό της διακριτικής πληροφορίας ως προς τα κανάλια αλλά και το χρονικό παράθυρο. Τα ακόλουθα δύο σχήματα απεικονίζουν τοπογραφίες σε επιλεγμένες χρονικές στιγμές. Το σχήμα 15 αντιστοιχεί σε εμπόδια που εμφανίζονται από αριστερά, ενώ στο σχήμα 16 από τα δεξιά. Σε κάθε σχήμα, η πρώτη γραμμή παραθέτει στιγμιότυπα της χωρικής κατανομής του ηλεκτρικού πεδίου, ενώ η δεύτερη γραμμή στιγμιότυπα μετρήσεων του SNR. Τα δύο σχήματα αιτιολογούν πλήρως την επιλογή των καναλιών στο προηγούμενο σχήμα. 41

43 Σχήμα 15: Τοπογραφίες της EEG δραστηριότητας (πάνω) και μετρήσεις του SNR (κάτω) όταν το εμπόδιο εμφανίζεται από αριστερά. Σχήμα 16: Τοπογραφίες της EEG δραστηριότητας (πάνω) και μετρήσεις του SNR (κάτω) όταν το εμπόδιο εμφανίζεται από δεξιά. Στηριζόμενοι στις μετρήσεις του κριτηρίου RQ και εφαρμόζοντας ένα κινούμενο ως προς το χρόνο παράθυρο, εξετάζουμε όλο το σύνολο των EEG καναλιών για όλα τα χρονικά διαστήματα. Το σχήμα που ακολουθεί παραθέτει μετρήσεις εξαρτημένες ως προς το χρόνο από τρία επιλεγμένα κανάλια (τα πιο αποδοτικά για τη διάκριση αριστερά/ δεξιά), καθώς και ένα επιπλέον αδιάφορο κανάλι (τυχαία επιλεγμένο). Το σχήμα αυτό επιπλέον περιέχει τοπογραφίες που δείχνουν τη χωρική κατανομή των RQ μετρήσεων σε επιλεγμένες χρονικές στιγμές. Όπως διαπιστώνουμε το ηλεκτρόδιο P6 είναι αυτό που παρέχει την μεγαλύτερη πληροφορία σε ότι αφορά τη διάκριση αριστερά/ δεξιά. Η τιμή διαχωρισημότητας, όπως αυτή μετράται από το RQ, κορυφώνεται στα 150 msec με τιμή 1.6. Προκειμένου να ελέγξουμε τη σημαντικότητα της τιμής αυτής εφαρμόζουμε το τεστ-αντιμετάθεσης (permutation test) [39], δηλαδή υπολογίζουμε την αντίστοιχη καμπύλη RQ αφού χωρίσαμε τυχαία 42

44 τα trials σε κλάσεις αριστερά/ δεξιά. Η καμπύλη που ονομάζεται P6 permut υποδεικνύει το επίπεδο των μετρήσεων RQ (μέση τιμή συν τρείς φορές την τυπική απόκλιση) για την περίπτωση που δεν υπάρχει πληροφορία διάκρισης. Σχήμα 17: Μετρήσεις του κριτηρίου RQ σε επιλεγμένα κανάλια και μετρήσεις RQ σε όλα τα κανάλια αλλά σε επιλεγμένες χρονικές στιγμές (τοπογραφίες). Το παραπάνω σχήμα μας δίνει μία πολύ καλή ιδέα για ποια κανάλια και σε ποιες χρονικές στιγμές θα έπρεπε να εφαρμόσουμε τεχνικές ταξινόμησης. Ωστόσο μια λεπτομερή μελέτη της κοινής συμπεριφοράς σε συγκεκριμένα κανάλια και χρονικές στιγμές αποτέλεσε έναυσμα για μία νέα ιδέα, αυτή της δημιουργίας συνθετικών καναλιών τα οποία θα σχηματίζουν ακόμα μεγαλύτερες διαφορές ανάμεσα στα δύο είδη των εγκεφαλικών αποκρίσεων (αριστερά/ δεξιά). Ωστόσο η έρευνα περιορίστηκε σε απλούς και αποδοτικούς ως προς το χρόνο συνδυασμούς προκειμένου να εφαρμοστούν στο μέλλον σε εφαρμογές πραγματικού χρόνου. Η διερεύνηση μας οδήγησε στο ακόλουθο συμπέρασμα: η διαφορά των συμμετρικών καναλιών ενισχύει την επιθυμητή ικανότητα διάκρισης. Έτσι τα νέα συνθετικά κανάλια που προκύπτουν είναι: P3-P4 P5-P6 PO3-PO4 Εφαρμόζοντας ξανά το κριτήριο RQ όπως προηγουμένως στα συνθετικά κανάλια, παρατηρούμε ότι οι δύο κατηγορίες αποκρίσεων ξεχωρίζουν ακόμα καλύτερα (η μέγιστη τιμή του RQ είναι πέντε φορές υψηλότερη). 43

45 Σχήμα 18: Οι μετρήσεις του RQ στα συνθετικά κανάλια, καθώς και μία τοπογραφία που δείχνει τα ζεύγη των καναλιών τα οποία αφαιρέθηκαν. Το παραπάνω σχήμα αποκαλύπτει ότι το συνθετικό κανάλι PO3-PO4 παρέχει τη μεγαλύτερη διακριτική πληροφορία. Για το λόγο αυτό επιβάλλεται να απεικονίσουμε το συγκεκριμένο κανάλι και στις δύο αποκρίσεις. Το ακόλουθο σχήμα παραθέτει τη μέση τιμή του συνθετικού καναλιού PO3-PO4 καθώς επίσης και τρία τυχαία επιλεγμένα Single Trials και από τους δύο τύπους αποκρίσεων. Σχήμα 19: Μέση τιμή των αποκρίσεων στο συνθετικό κανάλι PO3-PO4 καθώς και τρία τυχαία επιλεγμένα Single Trials για αντικείμενο από αριστερά (a) και δεξιά(b). 44

46 Έχοντας λοιπόν καταλήξει ότι το συνθετικό κανάλι PO3-PO4 παρέχει την καταλληλότερη για το πρόβλημά μας διακριτική πληροφορία, και σχηματίζοντας τον αντίστοιχο πίνακα δεδομένων X, όπου N ο αριθμός των Single Trials και T η χρονική διάρκεια των Single trials, επίσης θεωρούμε w το μήκος του παραθύρου και c = 1,2 οι κλάσεις, δηλαδή οι δύο τύποι των εγκεφαλικών αποκρίσεων, μπορούμε να υπολογίσουμε το κριτήριο RQ για όλες τις χρονικές στιγμές ως εξής: RQ(t) = D D VarD + VarD (4.1) Όπου με D συμβολίζουμε: D (k, j) = X(k, t + j) (4.2) Ενώ με D συμβολίζουμε τη μέση τιμή και VarD την τυπική απόκλιση. Έπειτα βρίσκουμε το t άρα και το αντίστοιχο χρονικό διάστημα- για το οποίο δίνει μέγιστη τιμή το κριτήριο RQ, δηλαδή t = max[rq(t)], t = 1,2,, T w (4.3) Τέλος, παράγουμε τον τελικό πίνακα δεδομένων D, όπου w πλέον είναι ο αριθμός των χαρακτηριστικών για το κάθε δείγμα εκτός του μήκους του παραθύρου. Δηλαδή, D(k, j) = X(k, t + j ), k = 1,2,, N, j = w 2,, w 2 (4.4) Έχοντας διασφαλίσει το κανάλι και το χρονικό διάστημα, μπορούμε να μεταβούμε στο δεύτερο στάδιο, εδώ αναζητούμε το συνδυασμό μιας μεθόδου μείωσης διαστάσεων και ταξινόμησης ο οποίος να μας παρέχει τα βέλτιστα αποτελέσματα. Λαμβάνοντας υπόψηv και τη μελλοντική χρήση της μεθόδου σε εφαρμογές πραγματικού χρόνου το πλήθος των επιλογών μειώνεται σημαντικά, σε αυτές όπου δεν απαιτείται προσαρμογή των παραμέτρων, ή ακόμα και αν είναι αναγκαίες τότε να είναι σταθερές τιμές σε όλα τα υποκείμενα. Τα προαναφερθέντα μας οδήγησαν στις εξής τεχνικές των οποίων τα αποτελέσματα παραθέτονται στο αντίστοιχο κεφάλαιο, Ανάλυση Πρωτευουσών Συνιστωσών (Principal Component Analysis, PCA) [40], Γενικευμένη Ανάλυση Διακρίνουσων (Generalized Discriminant Analysis, GDA) [41], και Προβολές Διατήρησης Αραιότητας (Sparsity Preserving Projections, SPP) [42], για την οποία γίνεται εκτενή αναφορά στο παράρτημα. Η μέθοδος ταξινόμησης στην οποία οδηγηθήκαμε μέσω εξαντλητικών πειραμάτων είναι τα γραμμικά SVM. 45

47 4.2 ΔΙΕΡΕΥΝΗΤΙΚΗ ΑΝΑΛΥΣΗ ΓΙΑ ΤΟ ΠΡΟΒΛΗΜΑ ΤΑΞΙΝΟΜΗΣΗΣ ΤΩΝ ΑΠΟΚΡΙΣΕΩΝ ΕΝΕΡΓΗΤΙΚΗΣ / ΠΑΘΗΤΙΚΗΣ ΠΑΡΑΤΗΡΗΣΗΣ Η προηγούμενη μεθοδολογία εφαρμόστηκε και για τη διάκριση ανάμεσα στις καταστάσεις ενεργητική αριστερά / παθητική αριστερά, όπου ενεργητική είναι η περίπτωση στην οποία μετά την εξαφάνιση του σταυρονήματος γίνεται η σακκαδική κίνηση και παθητική όταν απουσιάζει η σακκαδική. Η ενότητα αυτή διαπραγματεύεται τη διάκριση ανάμεσα στην ενεργητική και παθητική κατάσταση όταν το εμπόδιο εμφανίζεται στα αριστερά. Είναι ξεκάθαρο ότι αυτές οι δύο εγκεφαλικές αποκρίσεις είναι δυσκολότερο να διαχωριστούν. Εφαρμόσαμε το μέτρο διαχωρισιμότητας RQ σε κάθε κανάλι, έχοντας τις δύο καταστάσεις ενεργητική αριστερά / παθητική αριστερά, καθώς προσπαθούσαμε να βρούμε το κανάλι στο οποίο ξεχωρίζουν περισσότερο και το αντίστοιχο χρονικό διάστημα. Το επόμενο σχήμα δείχνει τις μετρήσεις αυτές σε τρία κανάλια τα πιο αποδοτικά-, αλλά και ένα μη αποδοτικό προκειμένου να αντιληφθούμε τη σημασία των τιμών αυτών. Το σχήμα αυτό περιέχει επίσης τοπογραφίες των μετρήσεων RQ σε επιλεγμένες χρονικές στιγμές. Σχήμα 20: RQ μετρήσεις σε επιλεγμένα κανάλια και RQ μετρήσεις σε όλα τα κανάλια αλλά σε επιλεγμένες χρονικές στιγμές. Πάλι για τους ίδιους λόγους όπως και στην προηγούμενη ενότητα δημιουργήσαμε τα ίδια συνθετικά κανάλια. Υπολογίσαμε το μέτρο RQ, αυτή τη φορά στα συνθετικά 46

48 κανάλια, παρατηρούμε τώρα πως οι δύο καταστάσεις ξεχωρίζουν περισσότερο όπως φαίνεται και στο επόμενο σχήμα. Σχήμα 21: RQ μετρήσεις στα συνθετικά κανάλια καθώς επίσης και μία τοπογραφία που δείχνει τα ζεύγη των καναλιών τα οποία αφαιρέθηκαν. Παρέχουμε επιπλέον ένα σχήμα προκειμένου να καταλάβουμε τη δυσκολία του προβλήματος αυτού ακόμα και με τη χρήση των συνθετικών καναλιών. Σε ότι αφορά το δεύτερο βήμα της μεθοδολογίας ισχύει ότι και στην προηγούμενη ενότητα. Σχήμα 22: Μέση τιμή των αποκρίσεων στο συνθετικό κανάλι PO3-PO4 καθώς και τρία τυχαία επιλεγμένα Single Trials για εμπόδιο από αριστερά στη ενεργητική παρατήρηση (a) και την παθητική παρατήρηση (b). 47