ΤΕΧΝΙΚΕΣ ΚΑΤΑΓΡΑΦΗΣ ΣΥΝΑΙΣΘΗΜΑΤΩΝ (EMOTIONS) ΑΠΟ ΤΗ ΧΡΗΣΗ ΠΟΛΥΜΕΣΙΚΟΥ ΠΕΡΙΕΧΟΜΕΝΟΥ στα πλαίσια του μαθήματος Πολυμέσα (ΓΤΠ61)
ΔΙΑΡΘΡΩΣΗ ΠΑΡΟΥΣΙΑΣΗΣ Ορισμοί Συναίσθημα και Πολυμέσα Αναγνώριση Συναισθήματος & Τεχνικές Καταγραφής Τελικές Παρατηρήσεις Καλκοπούλου Ελένη 2 / 28
ΟΡΙΣΜΟΙ 3 / 28
ΠΟΛΥΜΕΣΙΚΟ ΠΕΡΙΕΧΟΜΕΝΟ Περιεχόμενο που προέρχεται από συνδυασμό διαφορετικών μορφών περιεχομένου, όπως κείμενο, εικόνα, ήχος και βίντεο. 4 / 28
AFFECTED COMPUTING (ΣΥΝΑΙΣΘΗΜΑΤΙΚΗ ΥΠΟΛΟΓΙΣΤΙΚΗ) Όταν η χρήση του υπολογιστή σχετίζεται, προκύπτει ή σκόπιμα επηρεάζει το συναίσθημα ή άλλα συναισθηματικά φαινόμενα (Picard, n.d.). 5 / 28
ΣΥΝΑΙΣΘΗΜΑ ΚΑΙ ΠΟΛΥΜΕΣΑ 6 / 28
ΣΥΝΑΙΣΘΗΜΑΤΑ ΚΑΙ ΠΟΛΥΜΕΣΙΚΟ ΠΕΡΙΕΧΟΜΕΝΟ Σχέση συναισθήματος - προσώπου Μερικές από τις χιλιάδες εκφράσεις συνδέονται με συγκεκριμένα συναισθήματα. Άνθρωποι διαφορετικών πολιτισμών κατηγοριοποιούν τις εκφράσεις με παρόμοιο τρόπο σε έξι κατηγορίες και μιμούνται τις εκφράσεις αυτές στη καθημερινή τους ζωή. 7 / 28
Κατηγοριοποίηση των εκφράσεων του προσώπου σε 6 κατηγορίες συναισθημάτων Λύπη Θυμός Χαρά Φόβος Απέχθεια Έκπληξη ΣΥΝΑΙΣΘΗΜΑΤΑ ΚΑΙ ΠΟΛΥΜΕΣΙΚΟ ΠΕΡΙΕΧΟΜΕΝΟ * πηγή: (Ekman & Friesen, 1986) 8 / 28
ΣΥΝΑΙΣΘΗΜΑΤΑ ΚΑΙ ΠΟΛΥΜΕΣΙΚΟ ΠΕΡΙΕΧΟΜΕΝΟ *πηγή: (Sebe, και συν., 2004) 9 / 28
ΓΙΑΤΊ ΥΠΆΡΧΕΙ ΕΝΔΙΑΦΈΡΟΝ ΓΙΑ ΤΗΝ ΑΝΑΓΝΩΡΙΣΗ & ΚΑΤΑΓΡΑΦΗ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ Το συναίσθημα είναι βασικό στην ανθρώπινη εμπειρία, επηρεάζει τη γνωστική λειτουργία, την οπτική και τις καθημερινές εργασίες, όπως τη μάθηση, την επικοινωνία, την αντίληψη και τη λήψη αποφάσεων (Picard, n.d.; Αλέπης, 2009). Προϊόντας υψηλής vs χαμηλής ανάμιξης (Beatty & Kahle, 1988). Προϊόντα υψηλής ανάμιξης Προϊόντα χαμηλής ανάμιξης Έντονη προσπάθεια και αρκετό χρόνο από την πλευρά του καταναλωτή για να συλλέξει την κατάλληλη ποσότητα πληροφοριών για να επιλέξει ποιό προϊόν τελικά θα αγοράσει. Παθητικός καταναλωτής ο οποίος δεν ασχολείται πολύ με την διαδικασία συλλογής στοιχείων για το προϊόν που θέλει να αγοράσει. 10 / 28
ΕΡΕΥΝΗΤΙΚΕΣ ΠΕΡΙΟΧΕΣ Σχεδιασμός νέων τρόπων επικοινωνίας συναισθηματικών-γνωστικών καταστάσεων, ιδίως μέσω της δημιουργίας αισθητήρων που τοποθετούνται επάνω στο άτομο και νέων αλγορίθμων μηχανικής μάθησης, που αναλύουν από κοινού πολυτροπικά κανάλια πληροφόρησης Δημιουργία νέων τεχνικών για την έμμεση αξιολόγηση της απογοήτευσης, του άγχους και της διάθεσης του ατόμου, μέσα από την φυσική αλληλεπίδραση και συνομιλία Απόδειξη πώς οι υπολογιστές μπορούν να είναι περισσότερο συναισθηματικά ευφυείς, ιδιαίτερα ως προς την απογοήτευση ενός ατόμου με τρόπο που να μειώνει τα αρνητικά συναισθήματα Επινόηση προσωποποιημένων τεχνολογιών για τη βελτίωση της επίγνωση του ατόμου για τη συναισθηματική του κατάσταση και της επιλεκτικής του επικοινωνία με άλλους Αύξηση του βαθμού κατανόησης του κατά πόσο το συναίσθημα επηρεάζει την προσωπική υγεία και Πρωτοποριακές μελέτες που εξετάζουν ηθικά ζητήματα στην συναισθηματική υπολογιστική. 11 / 28
ΑΝΑΓΝΩΡΙΣΗ ΣΥΝΑΙΣΘΗΜΑΤΩΝ & ΤΕΧΝΙΚΕΣ ΚΑΤΑΓΡΑΦΗΣ 12 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΟΝ ΥΠΟΛΟΓΙΣΤΗ Από τις εκφράσεις του προσώπου Μέσω της φωνής Με επεξεργασία κειμένου - διαλόγων Με εφαρμογή συνδυαστικής μεθόδου Καλκοπούλου Ελένη Μεγάλη σημασία έχει, για κάθε κατηγορία, η επιλογή των κατάλληλων παραμέτρων για παρακολούθηση. * πηγή: (Ηλίου, 2011, σ. 8; Sebe, και συν., 2004) 13 / 28
Η διαδικασία αποτελείται, στη γενική της προσέγγιση, από τα παρακάτω στάδια: 1. Εντοπισμός του προσώπου (tracking) 2. Εξαγωγή & αναπαράσταση των χαρακτηριστικών του προσώπου: Μέθοδοι βασισμένες σε γεωμετρικά χαρακτηριστικά Μέθοδοι βασισμένες στην εμφάνιση 3. Αναγνώριση της έκφρασης ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΙΣ ΕΚΦΡΑΣΕΙΣ ΤΟΥ ΠΡΟΣΩΠΟΥ ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ *πηγή: (Wu, και συν., 2013; Στασινόπουλος, 2007) *Ανάκτηση εικόνας από: http://ibug.doc.ic. ac.uk/research/de tection-staticgeometric-facialfeatures/ 14 / 28
Εξαγωγή & αναπαράσταση των χαρακτηριστικών του προσώπου Μέθοδοι βασισμένες σε γεωμετρικά χαρακτηριστικά Σχετίζονται με το σχήμα και τη θέση των διαφόρων χαρακτηριστικών (π.χ. μάτια, στόμα, μύτη, φρύδια) Περιγράφονται με τη μορφή διανύσματος χαρακτηριστικών Μέθοδοι βασισμένες στην εμφάνιση Σχετίζονται με την υφή του προσώπου (π.χ. ρυτίδες, εξογκώματα, αυλάκια) Χρησιμοποιούν 2D φίλτρα για να εξάγουν το διάνυσμα χαρακτηριστικών ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΙΣ ΕΚΦΡΑΣΕΙΣ ΤΟΥ ΠΡΟΣΩΠΟΥ ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ *πηγή: (Στασινόπουλος, 2007) 15 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΙΣ ΕΚΦΡΑΣΕΙΣ ΤΟΥ ΠΡΟΣΩΠΟΥ Facial Action Coding System: μέθοδος μέτρησης και περιγραφής των κινήσεων του προσώπου Action Unit (AU): Μονάδα μέτρησης του FACS Με παρακολούθηση των ενεργών σημείων (AU) και συγκρίνοντας τις κινήσεις τους, τις συσπάσεις τους και τη δράση των μυών με διάφορα πρότυπα (εφαρμογή μεθόδων αναγνώρισης προτύπων) καταγράφεται το συναίσθημα. (Ηλίου, 2011, σ. 39; Wu, και συν., 2013) 16 / 28
ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΙΣ ΕΚΦΡΑΣΕΙΣ ΤΟΥ ΠΡΟΣΩΠΟΥ ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ *Ανάκτηση εικόνας από: http://androidand me.com/2011/09/n ews/facialrecognitioncoming-to-icecream-sandwich/ 17 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΑΠΟ ΤΙΣ ΕΚΦΡΑΣΕΙΣ ΤΟΥ ΠΡΟΣΩΠΟΥ *πηγή: (Wu, και συν., 2013) 18 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΜΕΣΩ ΤΗΣ ΦΩΝΗΣ Συνήθως στηρίζονται στα prosodic features (Wu, και συν., 2013), δηλ. στα χαρακτηριστικά της φωνής που σχετίζονται με τις ακουστικές ποιότητες του ήχου, όπως παύσεις, o τόνος, η ένταση και η ταχύτητα (Litnotes U.K., n.d.). Τα χαρακτηριστικά του σήματος ομιλίας καταγράφονται, έτσι ώστε να ταξινομηθούν στη συνέχεια και να μοντελοποιηθούν (Ηλίου, 2011, σ. 8), εφαρμόζοντας διαδικασίες αναγνώρισης προτύπων. Βάσεις δεδομένων προσποιούμενου λόγου (acted speech). 19 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΜΕΣΩ ΤΗΣ ΦΩΝΗΣ *πηγή: (Wu, και συν., 2013) 20 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΜΕ ΕΠΕΞΕΡΓΑΣΙΑ ΚΕΙΜΕΝΟΥ - ΔΙΑΛΟΓΩΝ Πρόβλημα ταξινόμησης βασισμένης στο περιεχόμενο Χρησιμοποιεί: δέντρα απόφασης, νευρωνικά δίκτυα, Naïve Bayesian ταξινομητές Περιγράφεται με τη μορφή διανύσματος χαρακτηριστικών Διαδικασία: 1. Μετατροπή του κειμένου σε μορφή που να μπορεί να εισαχθεί σε έναν αλγόριθμο ταξινόμησης (Επεξεργασία φυσικής γλώσσας - NLP) 2. Ανάπτυξη και εκπαίδευση των μοντέλων ταξινόμησης *πηγή: (Ηλίου, 2011, σ. 28-29) 21 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΣΥΝΔΥΑΣΤΙΚΗ ΜΕΘΟΔΟΣ Συνδυασμός σε: επίπεδο χαρακτηριστικών: κοινό διάνυσμα χαρακτηριστικών φωνής και προσώπου. διάσπαρτα δεδομένα => σπατάλη υπολογιστικών πόρων επίπεδο απόφασης: μοντελοποίηση των σημάτων και σύνδεση των αποτελεσμάτων της αναγνώρισης αδυναμία συνδυασμού συμπληρωματικών χαρακτηριστικών επίπεδο μοντέλου: εκμεταλλεύεται τη συσχέτιση των σημάτων (χρονική σχέση των σημάτων) υβριδική προσέγγιση *πηγή: (Wu, και συν., 2013) 22 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΣΥΝΔΥΑΣΤΙΚΗ ΜΕΘΟΔΟΣ 23 / 28
ΜΕΘΟΔΟΙ ΑΝΑΓΝΩΡΙΣΗΣ & ΚΑΤΑΓΡΑΦΗΣ ΤΩΝ ΣΥΝΑΙΣΘΗΜΑΤΩΝ ΣΥΝΔΥΑΣΤΙΚΗ ΜΕΘΟΔΟΣ *πηγή: (Wu, και συν., 2013) 24 / 28
ΤΕΛΙΚΕΣ ΠΑΡΑΤΗΡΗΣΕΙΣ 25 / 28
ΤΕΛΙΚΕΣ ΠΑΡΑΤΗΡΗΣΕΙΣ Τα συναισθήματα καταγράφονται πιο σωστά συνδυαστικά, από διαφορετικά χαρακτηριστικά και/ή διαφορετικές πηγές Διαφορετικά χαρακτηριστικά απαιτούν διαφορετική επεξεργασία για την πιο αντιπροσωπευτική πληροφορία για το συναίσθημα *πηγή: (Paleari & συν., 2013) 26 / 28
Ekman, P., & Friesen, W. V. (1986). A new pan cultural facial expression of emotion. Motivation and Emotion, 10 (2), 159-168. Litnotes U.K. (n.d.). Prosodic features of speech. Ανάκτηση Ιανουάριος 2014, από http://www.litnotes.co.uk/prosodicspeech.htm Paleari, M., Huet, B., & Chellali, R. (2013). Towards Multimodal Emotion Recognition: A New Approach. Στο CIVR '10 Proceedings of the ACM International Conference on Image and Video Retrieval (σσ. 174-181). China. Picard, R. W. (n.d.). Affective computing. Technical Report No. 321, M.I.T Media Laboratory, Cambridge. Sebe, N., Cohen, I., & Huang, T. S. (2004, 6). Multimodal Emotion Recognition. Ανάκτηση, από CireSeerX: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.110.1129&re p=rep1&type=pdf Wu, C.-H., Lin, J.-C., Wei, W.-L., & Cheng, K.-C. (2013). Emotion Recognition from Multi-Modal Information. Kaohsiung, Taiwan: 5th APSIPA Annual Conference. Αλέπης, Ε. (2009). Emotional Intelligence in Object Oriented Multimodal User Interfaces for Mobile and Distance Learning. Piraeus: University of Piraeus (Greece), Department of Informatics. Βερβέρη, Φ., & Πάκου, Ε. (n.d.). Η διερεύνηση του βαθμού ικανοποίησης των καταναλωτών από τα προϊόντα ιδιωτικής ετικέτας κατά την περίοδο της οικονομικής κρίσης. Ανάκτηση Ιανουάριος 2014, από http://eureka.lib.teithe.gr:8080/bitstream/handle/10184/4544/ververi- Pakou.pdf?sequence=1 Ηλίου, Θ. (2011). Αναγνώριση συναισθημάτων για τη βελτιστοποίηση της επικοινωνίας ανθρώπου - υπολογιστή. Διπλωματική εργασία. Στασινόπουλος, Β. (2007). Αναγνώριση μορφασμών με βάση τα ενεργά σημεία του προσώπου. Διπλωματική εργασία. ΒΙΒΛΙΟΓΡΑΦΙΚΕΣ ΑΝΑΦΟΡΕΣ 27 / 28
28 / 28