Συναισθηματική Υπολογιστική - ιεπαφές Εγκεφάλου / Υπολογιστή - Νευροανάδραση

Transcript

1 Συναισθηματική Υπολογιστική - ιεπαφές Εγκεφάλου / Υπολογιστή - Νευροανάδραση ρ Παναγιώτης Μπαμίδης Επίκ. Καθηγητής Ιατρική Σχολή, Α.Π.Θ.

2 Περίληψη Συναισθηματική υπολογιστική Ανάδραση, βιοανάδραση, νευρο-ανάδραση Νευρο-κυβερνητική προσαρμογή ιεπαφές εγκεφάλου-υπολογιστή υπολογιστή Σύγχρονες εφαρμογές και έρευνα

3 Before we begin Bamidis P.D. (1996), "Spatio-temporal evolution of Interictal Epileptic Activity: a study with unaveraged multichannel MEG data in association with MRIs", PhD Thesis, The Open University, Walton Hall, Milton Keynes, UK. Bamidis P.D., Hellstrand E., Lidholm H., Abraham-Fuchs K., Ioannides A.A. (1995), "MFT in complex partial epilepsy: Spatio-temporal temporal estimates of interictal activity", NeuroReport 7(1):17-23.

4 Brain Function Studies Much of brain research is fueled by the wish to unravel the foundations of thought and action... Konig & Verschure (2002), Science 296:

5 Affective Computing Computing (rational) Affect (non rational) Affective Computing: a contradiction?

6 Motivation In Artificial i Intelligence: In 1967 Herb Simon emphasised that t a general theory of thinking and problem solving needs to consider and incorporate the influences of emotion. In Human Computer Interaction (HCI): The communication with the machines needs to take into account the affective state of the user (captured by his/her voice, facial expressions, and other signals) In HCI and AI: the expression of computers when interacting with users must be natural and inspired in the way humans communicate, thus emotions should be present in such communication.

7 Picard (1997) Affective Computing: Computing that relates to, arises from, or deliberately influences emotions Recognise emotions Express emotions Have emotions

8 Introduction What if computers could Recognize Express Have emotions Why? Humans use emotions for Cognition Perception Decision-making Emotions could help computers in these tasks

9 Introduction: H-C Communication Emotions are essential in Communication Humans communicate with computers more and more Humans naturally communicate affectively

10 Affective computing Computing that relates to, arises from, or deliberately influences emotions Picard (1997), MIT Press, USA. Interacting with Computers, 14(2), Special Issue on Affective Computing (2002) Followed by Commentaries Special Issues, 16(3), (2004) Bamidis et al., (2004), Interacting Comput., 16(3): Why build an affective computer? At present, computer systems interact t with users in ways that t do not allow for the complexities of naturalistic social interaction Scheirer et al. (2002), Interacting Comput., 14(2): The MATLAB 3.5 f*** function story

11 Affective computing (2) In a typical experimental protocol, the computer frustrates the user on purpose. Use physiological measures as input to infer the user s emotional state Physiological measures EMG EOG & pupillometry Respiratory measures Blood pressure Galvanic Skin Response (GSR) ECG EEG MEG?? Other functional neuroimaging?? Emotional states Basic emotions: anger, happiness, sadness, anxiety etc More complex: frustration (psychologically linked with negative emotions from expectation factors) Mixture of autonomic nervous system manifestations and behaviour Other Interaction cues Learning, productivity, social relationships, overall well-being

12 Different Modalities Brain Activity (EEG) Acoustics and Voice Breathing (Respiration Rate) Heart Rate (ECG) Blood Volume Pulse (BVP) Skin Conductance (GSR) Muscle Tension (EMG) Temperature

13 Αναγνώριση Συναισθημάτων Βασικά κανάλια για την αναγνώριση του συναισθήματος αποτελούν: o Η έκφραση του προσώπου (καθολικά αναγνωρισμένες εκφράσεις προσώπου για το συναίσθημα, όπως χαρά, έκπληξη, φόβος, λύπη, θυμός και αγανάκτηση [Ekman, 1982]) o Το σώμα (χειρονομίες ρ μ ς και στάσεις του σώματος) o Ο τόνος της φωνής (Argyle, 1988) o Βιοσήματα : Φυσιολογικές συσχετίσεις του συναισθήματος { π.χ. σφυγμός, χτύπος καρδιάς δά ή ρυθμός αναπνοής, ηλεκτροδερμική αγωγιμότητα (ΕDA), Ηλεκτρομυογράφημα (EMG), Ηλεκτροκαρδιογράφημα (ECG) }

14 Different Modalities Brain Activity (EEG) Acoustics and Voice Acoustics and Voice Breathing (Respiration Rate) (Respiration Rate) Blood Volume Pulse (BVP) Skin Conductance (GSR) Heart Rate (ECG) Muscle Tension (EMG) Temperature Klados et al, A Short Review on Emotional Recognition Based on Biosignal Pattern Analysis. In L.M. Roa Romero (ed.), XIII Mediterranean Conference on Medical and Biological Engineering and Computing 2013, IFMBE Proceedings 41, pp DOI: / _195

15 Βιοσήματα

16 ECG (Electrocardiogram) 0 Measures heart activity 0 Features: Heart rate (HR), inter beat intervals (IBI) and heart rate variability (HRV). 0 Emotional cues: 0 Negative Emotions: Increasing HRV 0 Positive i Emotions: Decreasing HRV Klados et al, A Short Review on Emotional Recognition Based on Biosignal Pattern Analysis. In L.M. Roa Romero (ed.), XIII Mediterranean Conference on Medical and Biological Engineering and Computing 2013, IFMBE Proceedings 41, pp DOI: / _195

17 BVP (Blood Volume Pulse) 0 Photoplethysmography, th h bounces infra red light against a skin surface and measures the amount of reflected light. 0 Features: Heart Rate, Vascular Dilation (pinch), Vasoconstriction 0 Emotional cues: 0 Negative Emotions: Increasing BV 0 Positive Emotions: Decreasing BV Klados et al, A Short Review on Emotional Recognition Based on Biosignal Pattern Analysis. In L.M. Roa Romero (ed.), XIII Mediterranean Conference on Medical and Biological Engineering and Computing 2013, IFMBE Proceedings 41, pp DOI: / _195

18 SCR (Skin Conductance Response) 0 Measure e of skin s sability to conduct electricity eect cty 0 Linearly correlated with arousal 0 Represents changes in sympathetic nervous system and reflects emotional responses and cognitive ii activity ii 0 Features: Latency, Amplitude 0 Emotional cues: 0 Emotions with High Arousal: Increasing SCR 0 Emotions with Low Arousal : Decreasing SCR Klados et al, A Short Review on Emotional Recognition Based on Biosignal Pattern Analysis. In L.M. Roa Romero (ed.), XIII Mediterranean Conference on Medical and Biological Engineering and Computing 2013, IFMBE Proceedings 41, pp DOI: / _195

19 Unobtrusive Physiological monitoring using other information Emotion Recognition through: Video Analysis Bodily Expression Audio Analysis Facial Expression Ekman s Facial Action Coding System (FACS) emotion Affectivo Method and System for Measuring emotional Probabilities of a facial image. International Patent Application No. PCT/EP2010/ Vijay-Rozario S, James C, Amor J, Deliverable D2.4 - STATE OF THE ART OF TECHNOLOGIES,

20 Electrode Placement Standard System Spaced apart 10-20% Letter for region F - Frontal Lobe T - Temporal Lobe C - Center O - Occipital it Lobe Number for exact position Odd numbers - left Even numbers - right

21 EEG Electrode Placement A detailed view:

22 Proto cols DB Nervous System expressions Physiological Signal Processor Scenario, Interaction Protocol New Protocols Physical expressions Mental/Subjective expressions CNS, ANS Facial sound Motion tion Med dia Trans smission & Com mmunica Visual, Infrared Processor Speech, Sound, Prosody Processor Haptic Processor Narrative, Psychological Questionnaire Processor DB Integrator, Correlations Local User Profile DB Agent, Context Avatar UI adaptation

23 Overall architecture of the system of integrated emotion recognition

24 Το κυρίως μενού του ΕΛΠΙΔΑ Επιλογή είδους δραστηριοτήτων στα δεξιά (Modules) Βασικές επιλογές προγράμματος (Main buttons) αριστερά

25

26

27 Επεκτάσεις: συναισθηματικές εκφράσεις ανθρωπόμορφου ειδώλου

28 Videos / demos HCI and Avatars Avatar in autism education

29 Physiological Computing & BCI Goal is to transform bioelectrical signals from the human nervous system into real time computer input in order to enhance and enrich the interactive experience Allanson & Fairclough (2004), Interacting Comput., 16(4): [special issue] Two categories based on: flow of info b/w psychophysiology and h/w Type of computer processing required Biofeedback Biocybernetic adaptation

30 Biofeedback

31 Τι είναι η ανάδραση (Feedback) Ο όρος «ανάδραση» (ή ανατροφοδότηση) χρησιμοποιείται στα συστήματα αυτόματου ελέγχου για να δηλώσει πως ένα μέρος της εξόδου (ή μια πληροφορία για την έξοδο) του συστήματος επιστρέφει στην είσοδο με σκοπό τον έλεγχο ή την σταθεροποίηση της λειτουργίας του. Σε αυτή την περίπτωση το σύστημα ονομάζεται «σύστημα με ανάδραση» Ανάδραση ή «κλειστό σύστημα». Είσοδος Σύστημα Έξοδος

32 Τι είναι η βιοανάδραση (Biofeedback) Εάν θεωρήσουμε τον ανθρώπινο οργανισμό ως ένα σύστημα αυτομάτου ελέγχου, τότε ως συσκευές εισόδου πέρα από τα όργανα/συστήματα λήψης τροφής, νερού και αέρα μπορούμε να θεωρήσουμε πως είναι και τα αισθητήρια όργανα. Ως έξοδο του συστήματος θεωρούμε την Φυσιολογική δραστηριότητα του οργανισμού.

33 πολλοί ορισμοί για τον όρο «βιοανάδραση» β ρ η «Μια τεχνική που αποσκοπεί στον έλεγχο συγκεκριμένων συναισθηματικών καταστάσεων όπως το άγχος ή η κατάθλιψη μέσω της αυτό-εκπαίδευσης με την βοήθεια ηλεκτρονικών συσκευών, στο να τροποποιηθούν αυτόνομες λειτουργίες του σώματος όπως η πίεση του αίματος ή οι καρδιακοί παλμοί.» (Webster, 2005) «Μια τεχνική εκπαίδευσης η οποία επιτρέπει σε ένα πρόσωπο να αποκτήσει κάποια στοιχεία εκούσιου ελέγχου πάνω σε αυτόνομες λειτουργίες του σώματος. Στηρίζεται στην αρχή, ότι μια επιθυμητή αντίδραση μαθαίνεται όταν οι εισερχόμενες πληροφορίες δείχνουν πως μια συγκεκριμένη σκέψη ή πράξη παρήγαγε την επιθυμητή αντίδραση» (Hougton Mifflin Harcourt, 2009) «Η τεχνική της χρήσης συσκευών παρακολούθησης για την εξαγωγή πληροφοριών σχετικά με μια ακούσια λειτουργία του κεντρικού ή του αυτόνομου νευρικού συστήματος, όπως η πίεση του αίματος, με σκοπό την απόκτηση κάποιου εκούσιου ελέγχου πάνω στη λειτουργία αυτή» (Hougton Mifflin, 2005)

34 είδη βιοανάδρασης ανάλογα με το ποιες σωματικές λειτουργίες και αντιδράσεις παρακολουθούνται Ηλεκτρομυογραφική βιοανάδραση (EMG biofeedback) Θερμική βιοανάδραση (Temperature biofeedback) Εκπαίδευση για τον έλεγχο της Ηλεκτροδερμικής ραστηριότητας (Galvanic Skin Response training) Ηλεκτροεγκεφαλική βιοανάδραση (EEG biofeedback Neurofeedback) ή νευροανάδραση

35 Νευροανάδραση Η νευροανάδραση είναι μια τεχνική εκπαίδευσης του εγκεφάλου με άμεσο στόχο την επίτευξη της καλύτερης λειτουργίας του. Μη επεμβατική Αποτελεσματική θεραπεία σε ένα πλήθος ψυχιατρικών ασθενειών

36 Ηλεκτροεγκεφαλογραφία γρ φ Το ηλεκτροεγκεφαλογράφημα (ΗΕΓ) είναι ένα τεστ που μετράει και καταγράφει την εγκεφαλική δραστηριότητα, χρησιμοποιώντας αισθητήρες (ηλεκτρόδια) που τοποθετούνται στο κεφάλι και συνδέονται μέσω συρμάτων με τον ηλ. υπολογιστή, ο οποίος καταγράφει το αποτέλεσμα στην οθόνη ή το τυπώνει σε μορφή κυμάτων. Εγκεφαλικοί Ρυθμοί δέλτα θήτα άλφα βήτα γάμμα

37 Ποσοτική ΗΕΓ ΗΕΓ από 19 κανάλια Φασματική Ανάλυση Εξαγωγή ρυθμών Σύγκριση με κανονικοποιημένες βάσεις δεδομένων

38 Ερωτήματα Μπορούμε να κατεβάσουμε με κάποιον τρόπο τον Θήτα ρυθμό; Αν ναι πώς; Τι θα γίνει αν τον καταβάσουμε;

39 Περιοχές εφαρμογής της νευροανάδρασης ρ ιαταραχή διάσπασης της προσοχής υπερκινητικότητα (ADHD) Πρωτόκολλο 1: Ενίσχυση του SMR ρυθμού/ Συμπίεση του Θήτα ρυθμού Σε αυτό το πρωτόκολλο οι ασθενείς ενθαρρύνονται να αναπτύξουν τον έλεγχο της συμπεριφοράς τους μαθαίνοντας πως να αυξήσουν την παραγωγή του SMR ρυθμού (12-15 Hz) σε ένα από τα δυο ηλεκτρόδια που είναι τοποθετημένα ακριβώς επάνω από τον κινητικό φλοιό (C3 ή C4). Ταυτόχρονα θα πρέπει να συμπιέσουν την Θήτα δραστηριότητα Πρωτόκολλο 2: Συμπίεση του Θήτα/ Ενίσχυση του Βήτα 1 ρυθμού οι ασθενείς επιβραβεύτηκαν για την συμπίεση του Θήτα ρυθμού (4-8 Hz) με παράλληλη ενίσχυση της Βήτα 1 δραστηριότητας (16-20 Hz) Άγχος (Anxiety) / Καταπολέμηση μαθηματικού άγχους ιαταραχές λήψης ουσιών (εξαρτήσεις) ιαταραχές που ανήκουν στο φάσμα του αυτισμού Κατάθλιψη / Επιληψία / Βελτίωση της απόδοσης (υγιή άτομα)

40 Πού χρησιμοποιείται η Νευροανάδραση; ρ Αγχώδεις ιαταραχές ιαταραχές στην πρόληψη τροφής Καταθλιπτικές διαταραχές ΕΠ-Υ Εθισμός ιαταραχές στον Ύπνο Καλύτερη Μαθησιακή Απόδοση Καλύτερη Αθλητική Απόδοση

41 Παράδειγμα

42 mediamind

43 Biocybernetic adaptation Νευροπλοήγηση ιεπαφές φςεγκεφάλου-υπολογιστή γ (BCI)

44 ΔΙΕΠΑΦΕΣ ΕΓΚΕΦΑΛΟΥ-ΥΠΟΛΟΓΙΣΤΗ Brain Computer Interfaces Brain-computer interfaces (BCIs) EEG, MEG, fmri Virtual reality, neuroprosthetics SCI, CVA, ALS Στόχος η αποκατάσταση της κίνησης

45 Brain Computer Interfaces Εισαγωγή Βασικά BCIs: Διεπαφές Εγκεφάλου Υπολογιστή μεταφράζουν την σκέψη σε έλεγχο εξωτερικών συσκευών (υπολογιστές, αναπηρικά καροτσάκια) εφαρμογή σε βαριές αναπηρίες (πχ κάκωση νωτιαίου μυελού, πλαγιομυατροφική σκλήρυνση) η εγκεφαλική δραστηριότητα καταγράφεται με EEG, MEG, fmri,nirs

46 Εισαγωγή Brain Computer Interfaces Τομέας νευροεπιστημών από το 1970 Επίπεδο ωριμότητας σήμερα Μεταφράζει εγκεφαλική δραστηριότητα σε χρήση εξωτερικών συσκευών Κάκωση Νωτιαίου Μυελού, συσκευών Αγγειακά Εγκεφαλικά, Πλαγιομυατροφική Σλή Σκλήρυνση, Σύνδρομο Εγκλεισμού Αποκατάσταση κινητικότητας και επικοινωνίας

47 Εισαγωγή Κάκωση Νωτιαίου Μυελού νέα περιστατικά στις ΗΠΑ/χρόνο στις ΗΠΑ, στην Ευρώπη, 90εκ παγκοσμίως $4δς/ $4δις/χρόνο ο η αντιμετώπιση και διαχείρηση στις ΗΠΑ 38-40% τροχαία, 25% βία, ~15% αθλήματα, πτώσεις, εργατικά ατυχήματα 55% μεταξύ ετών Μακροχρόνια αναπηρία

48 Εγκεφαλικός Φλοιός στην ΚΝΜ Κυριότερο εργαλείο λί η fmri Ασυνήθιστα πρότυπα ενεργοποίησης Συνιστάται ο επανασχεδιασμός της τοποθέτησης των ηλεκτροδίων του BCI ανά ασθενή Μακροχρόνια εκπαίδευση σε motor-imagery BCI οδηγεί σε καλύτερη ενεργοποίηση από ότι σε υγιείς

49 Εγκεφαλικός Φλοιός στην ΚΝΜ υσκολοερμήνευτα αποτελέσματα στους ανθρώπους, καλύτερα σε πρωτεύοντα πειραματόζωα Συγκρουόμενες έρευνες Φυσιολογική ή ελαφρώς πιο αδύναμη ενεργοποίηση του κιναισθητικού φλοιού ραστικές αλλαγές στην αντιπροσώπευση των μελών στο φλοιό (σωματοτοπία)

50 ΚΙΝΑΙΣΘΗΤΙΚΟΣ ΦΛΟΙΟΣ output: σχεδιασμός, έλεγχος και ολοκλήρωση των εκούσιων κινητικών λειτουργιών input: επεξεργασία και ολοκλήρωση των αισθητικών πληροφοριών που προέρχονται από αυτές τις λειτουργίες 1. κινητικός φλοιός 1. πρωτογενής κινητικός φλοιός Μ1 2. προκινητικός φλοιός PMA dorsal (PMd), ventral (PMv) 3. συμπληρωματική κινητική περιοχή SMA pre-sma 2. σωματοαισθητικός φλοιός 1. πρωτογενής S1 2. δευτερογενής S2 3. φλοιός συνειρμικής σωματοαισθητικότητας SAC σωματοτοπογραφική διάταξη (ανθρωπάρια του Penfield) εκτενείς συνδέσεις μεταξύ τους, με βασικά γάγγλια, προμετωπιαίο φλοιό, κατώτερο μετωπιαίο φλοιό κ.α. αναγνωρίζεται ως μέρος του extended mirror neuron system εμπλέκεται στην παρατήρηση και εκμάθηση (κινητική μνήμη)

51 Εγκεφαλική ραστηριότητα Καλύτερα αποτελέσματα σε παραπληγικούς ασθενείς από ότι σε τετραπληγικούς ιαφορετική επίδραση της πνευματικής κούρασης από ότι σε υγιείς Υγιείς: αύξηση α-δραστηριότητας (8-13hz) KNM: μείωση BCI εφαρμογές: Motor-Imagery (MI) Φανταστική Κίνηση, Sensorymotor Rythm (SMR-BCI), εμφυτεύσιμα ηλεκτρόδια (invasive)

52 BCI Εισαγωγή Motor Imagery η έννοια αποδίδεται ως «φανταστική κίνηση» η εξάσκηση μιας κίνησης νοητικά χρησιμοποιείται στις νευροεπιστήμες, την φυσιοθεραπεία, την προπόνηση αθλητών η εξάσκηση μιας πραγματικής κίνησης: motor execution

53 Φανταστική Κίνηση (Motor-Imagery) Walking from thought h Χρήση πολλών ηλεκτροδίων Μετάφραση του ολοκληρωμένου ηλεκτροεγκεφαλογραφήματος EEG, κυρίως των καταγραφών πάνω από τον κιναισθητικό φλοιό Βοηθάει στην μακροχρόνια διατήρηση της φυσιολογικής ενεργοποίησης του φλοιού Συνδυάζεται με περιβάλλοντα Virtual Reality

54 EEG Electrode Placement A detailed view:

55 P300 (Evoked Potentials) occurs in response to a significant but low-probability event 300 milliseconds after the onset of the target stimulus found in 1965 by (Sutton et al., 1965; Walter, 1965) focus specific

56 P300 Experiments (Farwell and Donchin 1988) 95% accuracy at 1 character per 26s

57 Άλλες Μέθοδοι Πειραματικά μοντέλα με SMR, ERPs, SCPs και άλλα στοιχεία του EEG Μονοδιάστατα μελέτη συγκεκριμένων κινήσεων Εμφυτεύσιμα ηλεκρόδια δεν εφαρμόζονται σε ανθρώπους μελέτες σε ζώα Μεγάλη συμβολή στην μελέτη και πρόοδο των BCI ύσκολος ο σχεδιασμός πρακτικού BCI για αποκατάσταση κίνησης ης σε ασθενείς με ΚΝΜ

58 ΝΕΥΡΟΦΥΣΙΟΛΟΓΙΚΗ ΛΕΙΤΟΥΡΓΙΑ 8-30 hz (φάσμα alpha και beta EEG ρυθμών) mu rhythm: h 8-12 hz alpha ρυθμός κιναισθητικού φλοιού αναστολή της κίνησης κίνηση ή προετοιμασία για κίνηση ελάττωση εύρους mu ρυθμού (Event Related Desynchronization / ERD) ελάττωση ευερεθιστότητας μετά την κίνηση Event Related Synchronization / ERS) beta rhythm: hz ενδυνάμωση αισθητικού feedback phase-coupled με τον mu motor imagery και motor execution παρόμοια ενεργοποίηση φλοιού νευρολογική αποκατάσταση έλεγχος προσθετικών συσκευών neurofeedback επιδρά θετικά

59 Προοπτικές - Συζήτηση Αναπηρικό αμαξίδιο ελεγχόμενο με BCI (BCI-wheelchair) : πραγματικότητα, εμπορική εφαρμογή Έλεγχος οικιακού περιβάλλοντος με BCΙ: ορατός στόχος, παρέχει αυτονομία στους ασθενείς Ευρεία εφαρμογή τεχνολογιών τεχνητής χηής νοημοσύνης (Α.Ι.)

60 Προοπτικές - Συζήτηση Συνδυασμός neuroprostetics και brain-computer interface Εμφυτεύσιμα electrode-chips με νευροχειρουργικές τεχνικές για πραγματική αποκατάσταση κίνησης

61 Video / demo Robotic arm control