Συστήµατα καταγραφής συναισθηµάτων Affective Computing. Παπασωτήρης Γεώργιος ΓΤΠ61

Transcript

1 Συστήµατα καταγραφής συναισθηµάτων Affective Computing Παπασωτήρης Γεώργιος ΓΤΠ61 Τµήµα ΑΘΗ-1

2 Τα Συστήµατα καταγραφής συναισθηµάτων affective computing είναι υπολογιστικά συστήµατα, που µε χρήση ειδικών λογισµικών και κατάλληλων συσκευών, µπορούν να αναγνωρίζουν, να ερµηνεύουν αλλά και να προσοµοιώνουν ανθρώπινα συναισθήµατα.

3 Α. Ιστορική αναδροµή ΣΥΝΑΙΣΘΗΜΑ VS ΛΟΓΙΚΗ Τα συναισθήµατα εµπόδιο για µια ορθολογική σκέψη. Από τις λίγες εξαιρέσεις η µελέτη του αρβίνου το 1872: «Η έκφραση των Συναισθηµάτων στον Άνθρωπο και στα Ζώα» ΣΥΝΑΙΣΘΗΜΑ + ΛΟΓΙΚΗ Το συναίσθηµα αποτελεί τη βάση για µια ορθολογική συµπεριφορά. Η συναισθηµατική εµπειρία προκύπτει απ όλο το σώµα. Τα συναισθήµατα είναι σε «συνεχή διάλογο» µε το πολιτισµικό και το κοινωνικό περιβάλλον που ζούµε. Τα συναισθήµατα αποτελούν έναν κοινωνικό και δυναµικό µηχανισµό επικοινωνίας.

4 Το συναίσθηµα στην τεχνολογία Οι νέες απόψεις για το συναίσθηµα επηρέασαν και την έρευνα στο χώρο των νέων τεχνολογιών (τεχνητή νοηµοσύνη, αλληλεπίδραση ανθρώπου υπολογιστή). Rosalind Picard το βιβλίο της: «Affective Computing», 1997 Πρώτη χρησιµοποίησε τον όρο affective computing Σε συνεργασία µε την οµάδα της στο MIT καθόρισε σε µεγάλο βαθµό τις εξελίξεις στον τοµέα αυτό

5 Β. Συστήµατα καταγραφής συναισθηµάτων - affective computing στην πράξη Ανίχνευση της συναισθηµατικής πληροφορίας Αναγνώριση της συναισθηµατικής πληροφορίας Εφαρµογές συστηµάτων καταγραφής συναισθηµάτων affective computing

6 Ανίχνευση της συναισθηµατικής πληροφορίας Χρήση κατάλληλων συσκευών ( video κάµερες υψηλής ανάλυσης, µικρόφωνα, βιοαιθητήρες κ.α. ) Συλλογή δεδοµένων ( εκφράσεις προσώπου, στάση σώµατος, χειρονοµίες, οµιλία, θερµοκρασία σώµατος, καρδιακοί παλµοί, ιδρώτας ή αγωγιµότητα δέρµατος, κ.α.)

7 Ανίχνευση και καταγραφή των εκφράσεων του προσώπου (νεύµατα, χαµόγελο κ.α) µε την τεχνολογία affdex της εταιρίας Affectiva

8 Ανίχνευση και καταγραφή αγωγιµότητας του δέρµατος, θερµοκρασίας και κίνησης µε τη χρήση του βιοαισθητήρα Q sensor, τεχνολογία της εταιρίας Affectiva

9 Αναγνώριση της συναισθηµατικής πληροφορίας Βάση δεδοµένων µε κωδικοποιηµένες απεικονίσεις των ανθρώπινων συναισθηµάτων εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων Φυσικά δεδοµένα Αλγόριθµοι (λογισµικό) που επιτρέπουν την ταχεία και ακριβή ταυτοποίηση του συναισθήµατος

10 εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων Μύες του προσώπου για την κίνηση των φρυδιών και των µυών γύρω από το µάτι όταν εκφράζουν διαφορετικά συναισθήµατα. Τα έξι βασικά συναισθήµατα (θυµός, φόβος, αηδία, έκπληξη, χαρά, λύπη) Εκφράσεις του προσώπου απεικονισµένες από τον Paul Ekman

11 εδοµένα που είναι αποτέλεσµα προϋπάρχουσας έρευνας και µελέτης πάνω στην έκφραση των ανθρώπινων συναισθηµάτων Μοντέλο ερµηνείας της ανθρώπινης συµπεριφοράς του Ortony Μοντέλο περιγραφής της σχέσης µάθησης και συναισθηµάτων του James Russell

12 Καταγραφή φυσικών δεδοµένων Καταγραφή εκφράσεων προσώπου, οµιλίας, κινήσεων σώµατος από τον Peter Robinson του Πανεπιστηµίου του Cambridge

13 Αλγόριθµοι για την ταχεία και ακριβή ταυτοποίηση του συναισθήµατος LDC k-nearest neighbour (k-nn) Gaussian mixture model (GMM) Support vector machines (SVM) Decision tree algorithms and hidden Markov models (HMMs) Neural network processing

14 Γ. Εφαρµογές συστηµάτων καταγραφής συναισθηµάτων affective computing E-therapy E-learning Ροµποτική Gaming Τέχνη Βιοµηχανία - Εµπόριο

15 Mind-reading machines Ανάλυση σε πραγµατικό χρόνο των εκφράσεων του προσώπου και των κινήσεων του κεφαλιού, µε χρήση ψηφιακών video καµερών.

16 Συστήµατα mind-reading Σε µεγάλες αυτοκινητοβιοµηχανίες, σε αυτοκίνητα για τον εντοπισµό της νοητικής κατάστασης του οδηγού π.χ. υπνηλία, απόσπαση προσοχής, θυµός, κ.α.

17 Συστήµατα mind-reading Για εµπορικούς λόγους, για την ανάλυση των αντιδράσεων των µελλοντικών καταναλωτών στη δοκιµή νέων προϊόντων πριν αυτά δοθούν για κατανάλωση (Market test).

18 Συστήµατα mind-reading Στη ροµποτική για τη δηµιουργία ροµπότ µε δυνατότητα επικοινωνίας µε ανθρώπους µη-λεκτικά. Χρησιµοποιούνται για να βοηθηθούν παιδιά µε αυτισµό.

19 MindReading Glass Γυαλιά που ερµηνεύουν τις εκφράσεις του προσώπου και τις κινήσεις της κεφαλής του συνοµιλητή, παρέχοντας στον χρήστη πληροφορίες για τη συναισθηµατική κατάστασή του. Μεταφέρουν τη συναισθηµατική πληροφορία µε ήρεµες ειδοποιήσεις µέσω των ακουστικών. Βοηθηθούν άτοµα µε αυτισµό ή µε οπτικά προβλήµατα να αντιληφθούν τη συναισθηµατική κατάσταση του συνοµιλητή τους.

20 Συστήµατα mind-reading για e-therapy. Cardiocam: Σύστηµα καταγραφής καρδιακών παλµών, ρυθµού αναπνοής, πίεσης αίµατος, οξυγόνου και άγχους. Άµεσες µετρήσεις και καταγραφή σε ειδική πλατφόρµα για υπολογιστή (στο µέλλον και σε κινητό τηλέφωνο) υνατότητα αποστολής των δεδοµένων διαδικτυακά Από απόσταση παροχή πρωτοβάθµιας φροντίδας υγείας.

21 Συστήµατα mind-reading Για καταγραφή συναισθηµάτων ολόκληρων πληθυσµών. Μέσω διαδικτύου ανάλυση των εκφράσεων καθώς παρακολουθούν διαφηµίσεις προϊόντων. Σε αµερικανικές φυλακές ξεκίνησε η πειραµατική χρήση συστηµάτων που, όχι µόνο καταγράφουν τις δραστηριότητες των κρατουµένων, αλλά εντοπίζουν ύποπτες κινήσεις και ειδοποιούν τους φύλακες. Σε νοσοκοµείο της Νέας Υόρκης χρησιµοποιούνται πειραµατικά συστήµατα που υπενθυµίζουν στους γιατρούς και τις νοσοκόµες να πλένουν τα χέρια τους και τους ειδοποιούν όταν κάποιος ασθενής κινδυνεύει να πέσει από το κρεβάτι ή στριφογυρνά εξαιτίας του πόνου.

22 Συστήµατα µε Βιοµετρητές Καταγράφουν τις συναισθηµατικές εµπειρίες των ανθρώπων µε ένα προϊόν ή µια υπηρεσία. Παρακάµπτονται οι παραδοσιακοί µέθοδοι των συνεντεύξεων (όπου οι συµµετέχοντες έπρεπε να θυµούνται) Αντλούνται πληροφορίες για το πώς επιδρά στους καταναλωτές ηχρήση ενός προϊόντος ή µιας υπηρεσίας σε πραγµατικό χρόνο.

23 Καταγραφή συναισθηµατικής κατάστασης κατά τη διάρκεια ενός παιχνιδιού

24 Καταγραφή συναισθηµατικής κατάστασης µάνας και βρέφους κατά τη χρήση ενός νέου προϊόντος (βρεφικής πάνας)

25 Συστήµατα µεβιοµετρητές Συστήµατα αυτόµατης αναγνώρισης του άγχους στην καθηµερινότητα των ανθρώπων (µέτρηση αγωγιµότητας δέρµατος) Πρόληψη χρόνιων ψυχολογικών παθήσεων άγχους καθώς και άλλων σωµατικών παθήσεων που συνδέονται µε το άγχος.

26 Συστήµατα µε Βιοµετρητές Σύστηµα παρακολούθησης κοινωνικού άγχους σε κινητό Αισθητήρας βραχιόλι που µετρά την αγωγιµότητα του δέρµατος, διασυνδεδεµένος µε το κινητό µέσω Bluetooth ανιχνεύει και καταγράφει σε πραγµατικό χρόνο τα επίπεδα άγχους και διέγερσης κάθε φορά που ο χρήστης διαβάζει ένα , πραγµατοποιεί µια κλήση, παρακολουθεί µια εκδήλωση κ.α. Ο χρήστης µπορεί να δει: ποιο γεγονός του προκάλεσε µεγαλύτερο άγχος ποιο µέρος µιας εκδήλωσης του προκάλεσε µεγαλύτερο ενδιαφέρον.

27 Συστήµατα µεβιοµετρητές Συστήµατα ανάλυσης της ποιότητας του ύπνου (µέτρηση αγωγιµότητας δέρµατος, θερµοκρασίας και κίνησης) Η καταγραφή και µελέτη των βιοµετρήσεων κατά την διάρκεια του ύπνου σε υγιείς οµάδες, σε οµάδες ατόµων µε αυτισµό αλλά και σε οµάδες µε διαταραχές ύπνου έχει αποδειχθεί πώς συνδέονται άµεσα µε την ποιότητα του ύπνου αλλά και µε τη δυνατότητα βελτίωσης της µνήµης.

28 Συστήµατα µε Βιοµετρητές Externalization toolkit Πακέτο που περιλαµβάνει αισθητήρα καταγραφής καρδιακών παλµών και αγωγιµότητας δέρµατος που φοριέται ασύρµατα µε µορφή κοσµήµατος κρεµαστού ή στο χέρι, ή βρίσκεται ενσωµατωµένο σε παιχνίδια ή εργαλεία. ηµιουργεί το προφίλ διέγερσης (εκδηλώσεις ενδιαφέροντος) στην καθηµερινή ζωή ατόµων µε αυτισµό. Γονείς, δάσκαλοι και φροντιστές αποκτούν µια καλύτερη εικόνα της συµπεριφοράς των ατόµων µε αυτισµό και κατ επέκταση µια καλύτερη επικοινωνία µαζί τους.

29 Συστήµατα µε Βιοµετρητές Σύστηµα Icalm Χρησιµοποιείται για παιδιά µε αυτισµό και έλλειψης προσοχής. Χρησιµοποιεί βοιαισθητήρα ασύρµατο, εύκολο στη χρήση που φοριέται στον καρπό ή πάνω στον αστράγαλο που µετρά και καταγράφει την αγωγιµότητα του δέρµατος και την κίνηση. Ανιχνεύει τη φυσιολογική κατάσταση του χρήστη, παίζοντας σηµαντικό ρόλο για τον έλεγχο αλλά και την αποτελεσµατικότητα της θεραπευτικής αγωγής που χρησιµοποιείται.

30 Σύστηµα Icalm

31 Affective computing στην τέχνη Κιθάρα που αναγνωρίζει τα συναισθήµατα του καλλιτέχνη χρήστη της, µέσω της ανίχνευσης των κινήσεων του. Ασύρµατες συσκευές όπως wiimote, iphone κ.α. προσαρµοσµένες πάνω στην κιθάρα χρησιµοποιούνται για την µεταφορά σε πραγµατικό χρόνο των κινήσεων του καλλιτέχνη (και των αντίστοιχων συναισθηµάτων που αυτά αντιπροσωπεύουν) σε εξωτερικούς επεξεργαστές µουσικών εφέ. ηµιουργία νέων συναρπαστικών µουσικών τρόπων έκφρασης. Ο Rob Morris χρησιµοποιώντας Nintendo Wii controller

32 Affective computing και Gaming Ανίχνευση και αναγνώριση των συναισθηµάτων του παίκτη και προσαρµογή του παιχνιδιού σε αυτά τα συναισθήµατα. Yψηλής ανάλυσης, multi-channel, ασύρµατο neuroheadset, της εταιρίας Emotiv, που χρησιµοποιεί ένα σύνολο αισθητήρων για την ανίχνευση σκέψεων, συναισθηµάτων και εκφράσεων του χρήστη σε πραγµατικό χρόνο, µέσω ηλεκτρικών σηµάτων που παράγονται από τον εγκέφαλο. Ο χαρακτήρας µπορεί να µεταλλαχθεί για να προσαρµοστεί στα συναισθήµατα του χρήστη Μουσική, φωτισµός σκηνής και εφέ µπορούν να προσαρµοστούν σε πραγµατικό χρόνο Οι προγραµµατιστές µπορούν να προσαρµόσουν τη δυσκολία του παιχνιδιού ώστε να ταιριάζει σε κάθε κατάσταση

33 . Τα συστήµατα καταγραφής συναισθηµάτων - affective computing στο µέλλον Οι υπολογιστές έχουν αρχίσει να έχουν την ικανότητα να εκφράζουν και να αναγνωρίζουν ανθρώπινα συναισθήµατα. Θα τους δοθεί η δυνατότητα να έχουν συναισθήµατα; Θα ενισχύσουν τις ικανότητές τους στο να παίρνουν αποφάσεις; Προβληµατισµοί για το µέλλον Υπάρχει φόβος ότι µπορεί να καταργηθούν τα προσωπικά δεδοµένα; Οδεύουµε προς µια κοινωνία «Μεγάλου Αδερφού»;

34 pdf

35 Σας ευχαριστώ.