Ανάλυση Συναισθήματος σε Κοινωνικά ίκτυα σχετικά με τα Οικονομικά Μέτρα στην Ελλάδα

Transcript

1 Ανάλυση Συναισθήματος σε Κοινωνικά ίκτυα σχετικά με τα Οικονομικά Μέτρα στην Ελλάδα της Κρίσης Μπιρμπίλη Κωνσταντίνα ιπλωματική Εργασία που υπεβλήθη για τη μερική ικανοποίηση των απαιτήσεων για την απόκτηση Μεταπτυχιακού ιπλώματος Ειδίκευσης Σχολή Οργάνωσης και ιοίκησης Επιχειρήσεων Τμήμα Οικονομικών Επιστημών Μεταπτυχιακό ίπλωμα Ειδίκευσης στην «Εφαρμοσμένη Οικονομική και Ανάλυση εδομένων» Σεπτέμβριος 2016

2 Πανεπιστήμιο Πατρών, Τμήμα Οικονομικών Επιστημών Κωνσταντίνα Μπιρμπίλη 2016 Με την επιφύλαξη παντός δικαιώματος

3 Τριμελής Επιτροπή Επίβλεψης διπλωματικής εργασίας Επιβλέπων: Εμμανουήλ Τζαγκαράκης Επίκουρος Καθηγητής Μέλος Επιτροπής: Ιωάννης Βενέτης Αναπληρωτής Καθηγητής Μέλος Επιτροπής: Νικόλαος Γιαννακόπουλος Επίκουρος Καθηγητής Η παρούσα διπλωματική εργασία με τίτλο «Ανάλυση Συναισθήματος σε Κοινωνικά ίκτυα σχετικά με τα Οικονομικά Μέτρα στην Ελλάδα της Κρίσης» εκπονήθηκε από την Μπιρμπίλη Κωνσταντίνα, Α.Μ , για τη μερική ικανοποίηση των απαιτήσεων για την απόκτηση Μεταπτυχιακού ιπλώματος Ειδίκευσης στην «Εφαρμοσμένη Οικονομική και Ανάλυση εδομένων» από το Πανεπιστήμιο Πατρών και εγκρίθηκε από τα μέλη της τριμελούς επιβλέπουσας επιτροπής.

4 Ευχαριστίες Αρχικά θα ήθελα να ευχαριστήσω τον επιβλέποντα καθηγητή μου κύριο Μανώλη Τζαγκαράκη, που συνέβαλε πρακτικά και ουσιαστικά μέσα από την καθοδήγηση και τις συμβουλές του στην ολοκλήρωση αυτής της εργασίας. Ακόμα θα ήθελα να ευχαριστήσω τα μέλη της επιβλέπουσας επιτροπής, κύριους Βενέτη και Γιαννακόπουλο για τις πολύτιμες γνώσεις που μας μετέδωσαν κατά τη διάρκεια του μεταπτυχιακού. Τέλος, θα ήθελα να ευχαριστήσω την οικογένεια μου, που με υποστήριξε στην ολοκλήρωση αυτού του προγράμματος.

5 i Περίληψη Ο όρος ανάλυση (sentiment analysis) συναισθήματος αναφέρεται στον αυτόματο εντοπισμό και εξαγωγή απόψεων, συναισθημάτων και διαθέσεων από έγγραφα κειμένου. Ο βασικός στόχος της ανάλυσης συναισθήματος είναι ο χαρακτηρισμός της πολικότητας ενός συγκεκριμένου κειμένου αν η γνώμη που εκφράζεται σε αυτό ερμηνεύεται ως θετική, αρνητική, ή ουδέτερη. Η ανάλυση συναισθήματος στα κοινωνικά δίκτυα όπως το Facebook και το Twitter αποτελεί μία ραγδαία αναπτυσσόμενη περιοχή που συγκεντρώνει μεγάλο ενδιαφέρον από την ερευνητική κοινότητα. Στόχος της εργασίας αυτής είναι η ανάλυση συναισθήματος με τεχνικές μηχανικής μάθησης στο κοινωνικό δίκτυο Twitter για την κατηγοριοποίηση των απόψεων για τα οικονομικά μέτρα που ανακοινώνονται και συζητιούνται στην Ελλάδα της κρίσης, όπως αυτά παρουσιάζονται από την ελληνική ειδησεογραφία. Λέξεις κλειδιά: Ανάλυση Συναισθήματος, Εξόρυξη Γνώμης, Μέθοδοι Μηχανικής Μάθησης, Λεξικό Συναισθήματος, Συμπεριφορική Οικονομική

6 ii Abstract The term Sentiment Analysis refers to the automatic identification and extraction of opininons, sentiments and moods from text documents. The main objective of sentiment analysis is to characterize the polarity of a given text whether the opinion expressed in it is interpreted as positive, negative, or neutral. The sentiment analysis on social networks like Facebook and Twitter is a rapidly growing area that has gained great interest from the research community. The aim of this paper is the implementation of sentiment analysis with machine learning techniques in the microblogging platform of Twitter in order to categorize views on the economic reforms as they are announced and discussed amid the Greek Crisis and presented by the Greek news. Key words: Sentiment Analysis, Opinion Extraction, Machine Learning Methods, Sentiment Lexicon, Behavioral Economics

7 Περιεχόμενα 1 Εισαγωγή Ιστός Μέσα Κοινωνικής ικτύωσης και Μικρο- Ιστολόγια Μέσα Κοινωνικής ικτύωσης Μικρο- Ιστολόγια και Twitter Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης Ανάλυση Συναισθήματος σε Ελληνικό Κείμενο Στόχος Εργασίας ομή Εργασίας Μεθοδολογία Μηχανική Μάθηση Μηχανική Μάθηση και Ανάλυση εδομένων από Μικρο- Ιστολόγια Αλγόριθμοι Κατηγοριοποίησης Κατηγοριοποιητής Naive Bayes Μηχανή ιανυσμάτων Στήριξης (Support Vector Machine ή SVM) Ταξινόμηση με Χρήση Λεξικού Εφαρμογές Ανάλυσης Συναισθήματος Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος υσκολίες Ανάλυσης Περιεχομένου από το Twitter Σύγκριση Τεχνικών Επιβλεπόμενης Μάθησης & Λεξικολογικών Προσεγγίσεων iii

8 ΠΕΡΙΕΧΟΜΕΝΑ iv 3 Σχεδιασμός Και Υλοποίηση Συλλογή εδομένων Γλώσσα Προγραμματισμού R Προεπεξεργασία εδομένων Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης Εφαρμογή Αλγορίθμου Naive Bayes Εφαρμογή Αλγορίθμου Support Vector Machine Εφαρμογή Niosto Ανάλυση Συναισθήματος με τη Χρήση Λεξικού ημιουργία Λεξικού Υλοποίηση Εξειδικευμένου Λεξικού Συναισθήματος Εμπειρικά Αποτελέσματα Επιλογή εδομένων προς Κατηγοριοποίηση Πρόγραμμα Θεσσαλονίκης Ασφαλιστικό Νομοσχέδιο Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης Συλλογή εδομένων Περιλιπτικά Στατιστικά των εδομένων Κατηγοριοποίηση με τη χρήση μεθόδων Επιβλεπόμενης Μάθησης Κατηγοριοποίηση με τη χρήση της εφαρμογής Niosto Κατηγοριοποίηση με τη χρήση λεξικού Ανάλυση κοινής γνώμης σχετικά με το πρόγραμμα Θεσ/νικης Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου Συλλογή εδομένων Περιλιπτικά Στατιστικά των εδομένων

9 ΠΕΡΙΕΧΟΜΕΝΑ v Κατηγοριοποίηση με τη χρήση μεθόδων Επιβλεπόμενης Μάθησης Κατηγοριοποίηση με τη χρήση της εφαρμογής Niosto Κατηγοριοποίηση με τη χρήση λεξικού Ανάλυση κοινής γνώμης σχετικά με το ασφαλιστικό νομοσχέδιο Συμπεράσματα Προτεινόμενες βελτιώσεις Βιβλιογραφία 99

10 ΠΕΡΙΕΧΟΜΕΝΑ vi Κατάλογος Γραφημάτων

11 1.1 Facebook Screenshot Twitter Screenshot Η διαδικασία της κατηγοριοποίησης Μήτρα Σύγχυσης Περθώρια Ορίου Απόφασης Μήνυμα λογαριασμού ειδησεογραφικής ιστοσελίδας Μήνυμα προσωπικού λογαριασμού Εφαρμογή Tweet Collector Μήνυμα πριν και μετά την επεξαργασία του στελεχωτή ελληνικού κειμένου Στάδια Προεπεξεργασίας κειμένου ιάγραμμα ροής αλγορίθμου εκπαιδευόμενης μάθησης Document Term Matrix ιάγραμμα ροής Naive Bayes ιάγραμμα Ροής Support Vector Machine Αρχική οθόνη εφαρμογής Niosto Λίστα θετικά πολωμένων λέξεων από την εφαρμογή Niosto Λίστα αρνητικά πολωμένων λέξεων από την εφαρμογή Niosto Κατηγοριοποίηση μηνύματος με τη χρήση λεξικού συναισθήματος Οι 30 πιο συχνά εμφανιζόμενες λέξεις πριν την Επεξεργασία Κατανομή λέξεων/μήνυμα πριν την Επεξεργασία vii

12 viii 4.3 Οι 30 συχνότερα εμφανιζόμενες λέξεις μετά την επεξεργασία Κατανομή λέξεων/μήνυμα Κατανομή συνόλου εκπαίδευσης στις κατηγορίες πολικότητας Κατανομή συνόλου ελέγχου στις κατηγορίες πολικότητας Αποτελέσματα εφαρμογής Niosto Ακρίβεια προβλέψεων Niosto Κατηγοριοποίηση μηνύματος με τη χρήση λεξικού Παράδειγμα μη κατηγοριοποιημένου μηνύματος ημογραφικά στοιχεία χρηστών Twitter και ψηφοφόρων ΣΥΡΙΖΑ Χρήση λατινικών χαρακτήρων Οι 30 συχνότερα εμφανιζόμενες λέξεις Κατανομή λέξεων ανά μήνυμα πριν την προεπεξεργασία των δεδομένων Οι 30 πιο συχνές λέξεις μετά τον καθαρισμό των δεδομένων Κατανομή λέξεων ανά μήνυμα μετά την προεπεξεργασία των δεδομένων Κατανομή Συνόλου Εκπαίδευσης Κατανομή Συνόλου Ελέγχου Αποτελέσματα εφαρμογής Niosto Ακρίβεια προβλέψεων Niosto Παράδειγμα κατηγοριοποίησης αρνητικά πολωμένου μηνύματος Παράδειγμα Κατηγοριοποίησης θετικά πολωμένου μηνύματος ημοφιλέστερα θέματα αναφοράς των χρηστών

13 Κατάλογος Πινάκων ix

14 4.1 Συλλογή εδομένων Λέξεις που επισημαίνονται ανά μήνυμα Μήτρα Σύγχυσης Αποτελέσματα SVM Ποιότητα Αποτελεσμάτων SVM Μήτρα Σύγχυσης Ανάλυση Γνώμης για το Πρόγραμμα Θεσσαλονίκης Συλλογή εδομένων Λέξεις που επισημαίνονται ανά μήνυμα Μήτρα Σύγχυσης Αποτελέσματα SVM Ποιότητα Αποτελεσμάτων SVM Μήτρα Σύγχυσης Ανάλυση γνώμης για την ψήφιση του ασφαλιστικού νομοσχεδίου x

15 Κεφάλαιο 1 Εισαγωγή Οι άνθρωποι ανέκαθεν, όταν καλούνταν να πάρουν σημαντικές αποφάσεις βασίζονταν στη γνώμη του κοινωνικού περίγυρου τους. Πολύ πριν την εξάπλωση της τεχνολογίας οι ψηφοφόροι συζητούσαν την επιλογή τους με τον κύκλο τους κάθε φορά που πλησίαζαν εκλογές και οι καταναλωτές εμπιστεύονταν συγγενείς και φίλους πριν προχωρήσουν σε κάποια αγορά. Η έκρηξη των εφαρμογών του Ιστού 2.0, δημιούργησε μία πλούσια πηγή απόψεων εκφρασμένων από άτομα που δεν ανήκουν στο κοινωνικό μας περιβάλλον. Με τη διάδοση των νέων εφαρμογών αυξήθηκε ραγδαία το περιεχόμενο που παράγεται και δημοσιεύται καθημερινά στο διαδίκτυο, όχι από επαγγελματίες της Πληροφορικής αλλά από τους ίδιους τους χρήστες των εφαρμογών. Οι χρήστες εκφράζουν καθημερινά και συνεχώς την άποψη τους δημοσιεύοντας σχόλια, αξιολογήσεις, εικόνες και βίντεο, που εκτίθενται σε άτομα που δεν βρίσκονται στο άμεσο κοινωνικό περιβάλλον τους. Τόσο η ακαδημαϊκή κοινότητα, όσο και τα στελέχη των επιχειρήσεων πολύ σύντομα κατάλαβαν ότι αυτή η νέα πηγή περιεχομένου δίνει την δυνατότητα πρόσβασης σε νέα, μη καταγεγραμμένη μέχρι στιγμής και συνεπώς αναξιοποίητη πληροφορία, που μπορεί να χρησιμοποιηθεί 1

16 1.1 Ιστός για εμπορικούς, ερευνητικούς ή πολιτικούς σκοπούς. Οι επιχειρήσεις βρίσκονται πλέον αντιμέτωπες με τη δύναμη της κοινής γνώμης, που εκφρασμένη μέσα από διαδικτυακά σχόλια ε- πηρεάζει ολοένα και περισσότερο τις αποφάσεις των καταναλωτών. Ωστόσο μπορούν να εκμεταλλευτούν τα δεδομένα που βρίσκονται διαθέσιμα στο διαδίκτυο, ώστε να προσαρμόσουν τα χαρακτηριστικά των προϊόντων τους σύμφωνα με τις προτάσεις ή τις αξιολογήσεις των χρηστών. Ακόμα, οι σύμβουλοι ενός πολιτικού σε κρίσιμες περιόδους, όπως είναι για παράδειγμα οι προεκλογικές, μπορούν να μελέτησουν τη στάση των διαδικτυακών κοινοτήτων, ώστε να αξιολογήσουν την δημοφιλία του. Είναι, δηλαδή, δυνατό να μελετηθεί η στάση των διαδικτυακών κοινοτήτων απέναντι σε επίκαιρα ζητήματα που σχετίζονται με οποιοδήποτε θέμα ή γεγονός. Ως συνέπεια των παραπάνω, προέκυψε η ανάγκη εύρεσης τεχνικών εξόρυξης της καινούριας πληροφορίας και ανάλυσης της άποψης που εκφράζεται μέσα από διαδικτυακές πηγές. Το τελευταίο κομμάτι ονομάζεται εξόρυξη γνώμης ή ανάλυση συναισθήματος και αφορά τον προσδιορισμό του συναισθήματος ή της γνώμης του γράφοντος σχετικά με κάποιο θέμα. 1.1 Ιστός 2.0 Το 1999 στο άρθρο Κατακερματισμένο Μέλλον του Darcy Di Nucci, αναφέρεται πώς: Το διαδίκτυο που γνωρίζουμε σήμερα και περιορίζεται σε μια στατική εικόνα στην οθόνη του υπολογιστή μας, είναι μόνο ένα έμβρυο του μελλοντικού διαδικτύου. Οι πρώτες ενδείξεις του Ιστού 2.0 έχουν εμφανιστεί και μας δείχνουν σε τι μπορεί να εξελιχθεί αυτό το έμβρυο. Το διαδίκτυο δεν θα είναι στατικές εικόνες και γραφικά αλλά ένας

17 1.1 Ιστός μηχανισμός μετάδοσης και μία πηγή διαδραστικότητας. Θα βρίσκεται στην οθόνη του υπολογιστή και της τηλεόρασης σας, στο κινητό και τις παιχνιδομηχανές σας, στο αυτοκίνητο σας, ίσως ακόμα και στον φούρνο μικροκυμάτων σας.. Ο όρος Ιστός 2.0 (Web 2.0) που χρησιμοποίηθηκε πρώτη φορά το 1999, έγινε ευρύτερα γνωστός το 2004, κατά τη διάρκεια ενός συνεδρίου μεταξύ της O Reilly Media και της MediaLive International. Ουσιαστικά περιγράφει την εξέλιξη του διαδικτύου, το οποίο πλέον προσφέρει την δυνατότητα αλληλεπίδρασης των χρηστών του, χωρίς να απαιτούνται από αυτούς συγκεκριμένες τεχνικές γνώσεις. Αντίθετα λοιπόν από τον Ιστό 1.0, που βασιζόταν σε μία πηγή και πολλούς αποδέκτες, στον Ιστό 2.0 υπάρχουν πολλαπλές πηγές και πολλαπλοί αποδέκτες. Στον Ιστό 1.0 οι χρήστες ήταν παθητικοί δέκτες των πληφοριών που προσφέρονταν ήδη από τις ιστοσελίδες, ενώ στον Ιστό 2.0 δημιουργούν μόνοι τους και μοιράζονται το περιεχόμενο. Οι υπηρεσίες που προσφέρονται από τις εφαρμογές νέας γενιάς διευκολύνουν ο- λοένα και περισσότερο τη συνεργασία μεταξύ των χρηστών και τη διάχυση των πληροφοριών. Χαρακτηριστικές εφαρμογές είναι οι διαδικτυακοί τόποι συζητήσεων (forums), τα ιστολόγια και τα μέσα κοινωνικής δικτύωσης, ενώ χρησιμοποιώντας εργαλεία όπως η αναζήτηση, η παράθεση συνδέσμων, οι επισημάνσεις ή η συγγραφή και δημοσίευση κειμένων, οι χρήστες παράγουν ψηφιακό περιεχόμενο, το οποίο μπορούν να επεξεργαστούν, να μοιραστούν ή να διαγράψουν. Οι εφαρμογές αυτές διευκολύνουν την διάχυση της πληροφορίας και αναβαθμίζουν τον ρόλο του χρήστη.

18 1.2 Μέσα Κοινωνικής ικτύωσης και Μικρο- Ιστολόγια Μέσα Κοινωνικής ικτύωσης και Μικρο- Ιστολόγια Μέσα Κοινωνικής ικτύωσης Τα ηλεκτρονικά μέσα κοινωνικής δικτύωσης, είναι πλατφόρμες που επιτρέπουν την δημιουργία διακικτυακών, κοινωνικών σχέσεων των συνδεδεμένων, ενεργών χρηστών που μοιράζονται κοινά ενδιαφέροντα ή δραστηριότητες και έχουν ως στόχο την δημιουργία διαδικτυακών κοινοτήτων. Υλοποιούνται σε ιστοσελίδες ή εφαρμογές λογισμικού κινητών τηλεφώνων και παρέχουν υπηρεσίες επεξεργασίας και δημοσίευσης κειμένου, εικόνας ή βίντεο ενώ επιτρέπουν την επικοινωνία των χρηστών μέσω άμεσων γραπτών μηνυμάτων, κλήσεων ήχου ή βίντεο. ηλαδή ένας εγγεγραμμένος χρήστης κάποιας ηλεκτρονικής σελίδας κοινωνικής δικτύωσης, δημιουργεί μόνος του το προφίλ του σε αυτή και επιλέγει με ποιους άλλους χρήστες επιθυμεί να συνδεθεί, δημιουργώντας την δική του διαδικτυακή κοινότητα. Η ιδέα υπολογιστών που συνδέονταν μεταξύ τους, επιτρέποντας την αλληλεπίδραση των χρηστών υπήρχε ήδη από το 1970, αλλά οι πρώτες πλατφόρμες κοινωνικής δικτύωσης ("Friendster" και "MySpace") δημιουργήθηκαν στα πρώτα χρόνια της νέας χιλιετίας και πυροδότησαν την έκρηξη των σελίδων κοινωνικής δικτύωσης, όπως τις γνωρίζουμε σήμερα. Η δυναμική τους φάνηκε γρήγορα, αφού μέσα σε έναν μόλις χρόνο είχαν περισσότερους από τρία εκατομμύρια χρήστες, ανοίγοντας τον δρόμο για τη δημιουργία νέων σελίδων. Σήμερα το πιο δημοφιλές μέσο κοινωνικής δικτύωσης είναι το Facebook, που ιδρύθηκε το Το Facebook εισήγαγε πληθώρα νέων υπηρεσιών όπως η δυνατότητα σχολιασμού και αναπαραγωγής

19 1.2 Μέσα Κοινωνικής ικτύωσης και Μικρο- Ιστολόγια 5 του περιεχομένου που έχει δημοσιευτεί από άλλους χρήστες και η εκδήλωση του συναισθήματος που προκαλεί το δημοσιευμένο περιεχόμενο. Ταυτόχρονα έφερε επανάσταση στον χώρο της διαφήμισης επιτρέποντας την προβολή και διαφήμιση επιχειρήσεων, προϊόντων και υπηρεσίων με σχετικά χαμηλό κόστος μέσω ομάδων ή σελίδων που δημιουργούν οι επιχειρήσεις σε αυτό. Σύμφωνα με την αναφορά του ίδιου του Facebook για το δεύτερο τρίμηνο του 2016, οι χρήστες του ξεπερνούν τα 1,7 δισεκατομμύρια. Όσον αφορά τους Ελληνες χρήστες σύμφωνα με τα στατιστικά στοιχεία που δημοσιεύονται στον τύπο, ο συνολικός αριθμός τους αυξήθηκε, φτάνοντας τους χρήστες, εκ των οποίων τα 3,8 εκατομμύρια συνδέονται καθημερινά. Η διείσδυση του Facebook στην Ελλάδα είναι 34,41% συγκριτικά με τον συνολικό πληθυσμό της χώρας και 74,43% σε σχέση με τον συνολικό αριθμό των ελλήνων χρηστών του ιαδικτύου. Η δημογραφική ομάδα των ηλικιών αποτελεί την πλειοψηφία των χρηστών ( χρήστες) ακολουθούμενη από τους χρήστες ηλικίας ( χρήστες). Τέλος οι άνδρες χρήστες είναι περισσότεροι (56%) από τις γυναίκες (44%). Γράφημα 1.1: Facebook Screenshot

20 1.2 Μέσα Κοινωνικής ικτύωσης και Μικρο- Ιστολόγια Μικρο- Ιστολόγια και Twitter Ενα πολύ μεγάλο μέρος της πληροφορίας που δημιουργείται καθημέρινα στο διαδίκτυο, παράγεται από τα μικρο-ιστολόγια. Η διαφορά τους από τα ιστολόγια, έγκειται στον περιορισμό του μεγέθους του κειμένου, που ο χρήστης δύναται να δημοσιεύεσει σε αυτά. Οι χρήστες μπορούν να δημοσιεύσουν/ ανταλλάξουν σύντομα μηνύματα που μπορεί να περιέχουν κείμενο, εικόνες ή υπερσυνδέσμους. Το πιο δημοφιλές μικρο-ιστολόγιο, είναι το Twitter. Το Twitter ιδρύθηκε το 2006 και αφορά την δημοσίευση σύντομων μηνυμάτων, μεγέθους μέχρι 140 χαρακτήρων (tweets). Τα μηνύματα μπορεί να περιέχουν κείμενο, εικόνα, συνδέσμους από άλλες ιστοσελίδες ή αναφορές σε άλλους χρήστες. Οι χρήστες μπορούν να ακολουθούν άλλους χρήστες (follow, follower) και να αναδημοσιεύουν το περιεχόμενο τους (retweet). Η μεγαλύτερη καινοτομία που εισήγαγε το Twitter, είναι η δυνατότητα επισήμανσης του θέματος με το οποίο σχετίζεται το μήνυμα, χρησιμοποιώντας τον χαρακτήρα της δίεσης δίπλα από την λέξη που κατά περίπτωση θέλει ο χρήστης να επισημάνει (hashtag). Η λέξη τότε γίνεται και η ίδια σύνδεσμος, που αν επιλεχθεί οδηγεί σε μία λίστα μηνυμάτων, στα οποία επίσης περιέχεται. Ως συνέπεια αυτού, ήρθε η δυνατότητα παρακολούθησης των παγκόσμιων ή τοπικών δημοφιλών θεμάτων (trends), δηλαδή η καταγραφή των φορών που επισημάνθηκε σε παγκόσμιο ή τοπικό επίπεδο η εκάστοτε λέξη ή έκφραση. Με βάση τα δεδομένα που δημοσιεύει το ίδιο το Twitter, οι ενεργοί μηνιαίοι χρήστες του μέχρι τον Μάρτιο του 2016 ήταν 310 εκατομμύρια. Οι καταγεγραμμένοι Ελληνες χρήστες του Twitter μέχρι τον Αύγουστο του 2016 ήταν , αυξημένοι κατά περίπου σε σχέση με το Ο δημοφιλέστερος λογαριασμός Ελληνα χρήστη έχει ακόλουθους.

21 1.3 Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης 7 Γράφημα 1.2: Twitter Screenshot Γενικά οι χρήστες του Twitter είναι περισσότερο δραστήριοι σε σχέση με τους χρήστες του Facebook, αφού παράγουν περισσότερο περιεχόμενο. Χαρακτηριστικά οι χρήστες του Twitter δημοσιεύουν σε παγκόσμιο επίπεδο περίπου μηνύματα ανά δευτερόλεπτο, ανά λεπτό και 200 δισεκατομμύρια ανά έτος. Αντίστοιχα για το Facebook οι δημοσιεύσεις κειμένου (status updates) ανά λεπτό φτάνουν τις , ενώ κάθε λεπτό γίνονται και 510 σχόλια σε δημοσιεύσεις άλλων χρηστών. 1.3 Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης Μέσα από τη διάδοση των υπηρεσιών των ηλεκτρονικών μέσων κοινωνικής δικτύωσης και των μικρο-ιστολογίων, δημιουργήθηκε η ευκαιρία και κατά συνέπεια η ανάγκη αξιολόγησης και χρήσης του περιεχομένου που παράγουν και δημοσιεύουν οι χρήστες σε αυτά. Η Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης αποτελεί ένα πεδίο ευρείας μελέτης από αναλυτές και στελέχη επιχειρήσεων και στη βιβλιογραφία συναντώνται πολλοί ορισμοί για το αντικείμενο της.

22 1.3 Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης 8 Το 2003, οι Dave et al. αναφέρθηκαν στον όρο Εξόρυξη Γνώμης (opinion extraction) και τον όρισαν ως την διαδικασία επεξεργασίας ενός συνόλου δεδομένων αναζήτησης που σχετίζονται με ένα αντικείμενο και έχει ως στόχο τη δημιουργία μιας λίστας με τα κύρια γνωρίσματα τους και την εξαγωγή της συνολικής άποψης που επικρατεί για αυτά. Βέβαια ήδη από το 2001 είχε αναφερθεί ο όρος Ανάλυση Συναισθήματος (Jaquemin,2001), και είχε συσχετιστεί με τον εντοπισμό υποκειμενικών απόψεων μέσα από την επεξεργασία φυσικής γλώσσας (natural language processing). Σήμερα οι δύο αυτοί όροι θεωρούνται από την πλειοψηφία της ακαδημαϊκής κοινότητας ταυτόσιμοι και όταν χρησιμοποιούνται θεωρείται πως αναφέρονται στο ίδιο αντικείμενο. Συνοψίζοντας, η Ανάλυση Συναισθήματος (ή Εξόρυξη Γνώμης) είναι η διαδικασία μέσα από την οποία προσδιορίζεται η άποψη του συγγραφέα ενός κειμένου σχετικά με ένα ή περισσότερα ζητήματα και κατηγοριοποιείται ανάλογα με την πολικότητα της (ως θετική, αρνητική ή ουδέτερη). Η άποψη του συγγραφέα αντικατοπτρίζει τόσο την κρίση και την συναισθηματική κατάσταση του όσο και τον αντίκτυπο που αναμένει ή επιθυμεί να έχει το κείμενο του στο κοινό που το διαβάζει. (Σφακιανάκης,2016) Η Ανάλυση Συναισθήματος βασίζεται στην εφαρμογή ενός συνόλου μεθόδων, υλοποιήσιμων από λογισμικό υπολογιστή που ανιχνεύουν, μετρούν και αξιοποιούν στάσεις, συμπεριφορές, γνώμες και συναισθήματα που είναι διαθέσιμες σε διαδικτυακές πηγές. Αν και στην παρούσα εργασία η Ανάλυση Συναισθήματος βασίζεται σε δεδομένα από την πλατφόρμα του Twitter, πρέπει να αναφερθεί ότι εφαρμόζεται τόσο σε δεδομένα που προέρχονται από άλλα μέσα κοινωνικής δικτύωσης ή μικρο-ιστολόγια (π.χ. Facebook, Flicker), όσο και σε κριτικές χρηστών από ιστοσελίδες εμπορικού (π.χ. Amazon),

23 1.3 Ανάλυση Συναισθήματος ή Εξόρυξη Γνώμης 9 ταξιδιωτικού (π.χ. Trivago) ή άλλου περιεχομένου αλλά και σε κείμενα από οποιαδήποτε άλλη διαδικτυακή πηγή (π.χ. άρθρα ενημερωτικών ιστοσελίδων). Καθώς τα είδη των κειμένων στα οποία εφαρμόζεται η Ανάλυση Συναισθήματος είναι πολλά, έχουν αναπτυχθεί αντίστοιχες προσεγγίσεις με στόχο τη βέλτιστη εφαρμογή της. Η Ανάλυση Συναισθήματος εφαρμόζεται λοιπόν, σε τρία επίπεδα: Σε επίπεδο εγγράφου (document level), όπου γίνεται η υπόθεση πως κάθε κείμενο εκφράζει μία και μόνο άποψη για ένα συγκεκριμένο θέμα. Σε επίπεδο πρότασης (sentence level), όπου γίνεται κατηγοριοποίηση της άποψης που επικρατεί σε κάθε πρόταση. Σε επίπεδο χαρακτηριστικών (feature level), όπου κάθε πρόταση χωρίζεται σε πολωμένες φράσεις που αφορούν ένα συγκεκριμένο χαρακτηριστικό του υπό συζήτηση θέματος. Όσον αφορά την εφαρμογή της Ανάλυσης Συναισθήματος σε δεδομένα από το Twitter συναντάμε διαφορές στην βιβλιογραφία. Ο (Σφακιανάκης,2016) θεωρεί κάθε μήνυμα (tweet) ως ένα κείμενο που εκφράζει μία και μοναδική άποψη και εφαρμόζει τη μέθοδο σε επίπεδο εγγράφου, ενώ ο (Gebremeskel,2011) θεωρεί πως κάθε μήνυμα αποτελεί μία ξεχωριστή πρόταση και επιλέγει την εφαρμογή σε επίπεδο πρότασης. Στην παρούσα εργασία υιοθετούμε την άποψη πως κάθε tweet είναι μία πρόταση και εφαρμόζουμε την Αναλυση Συναισθήματος σε επίπεδο πρότασης.

24 1.4 Ανάλυση Συναισθήματος σε Ελληνικό Κείμενο Ανάλυση Συναισθήματος σε Ελληνικό Κείμενο Η εφαρμογή της Ανάλυσης Συναισθήματος σε κείμενα με περιεχόμενο στην αγγλική γλώσσα έχει μελετηθεί λεπτομερώς και έχει σημειώσει μεγάλη πρόοδο. Ωστόσο η εφαρμογή της μεθόδου σε κείμενα με ελληνικό περιεχόμενο είναι συγκριτικά αρκετά μικρότερη. Αν και το περιεχόμενο που παράγεται από τους Ελληνες χρήστες πολλαπλασιάζεται καθημερινά, η επεξεργασία του ελληνικού κειμένου και η εξαγωγή συμπερασμάτων από αυτό αποτελεί ένα εξαιρετικά δύσκολο έργο. Η ελληνική γλώσσα είναι πλούσια σε λεξιλόγιο και χαρακτηρίζεται από δύσκολους και εκτενείς γραμματικούς κανόνες. Η εφαρμογή οποιασδήποτε μεθόδου επεξεργασίας φυσικής γλώσσας σε αυτήν (natural language processing) απαιτεί βαθιά κατανόηση των κανόνων που την διέπουν αλλά και ικανότητα μετατροπής τους σε μία μορφή επεξεργάσιμη από τον υπολογιστή. Η ανάλυση συναισθήματος σε κείμενο που προέρχεται από ελληνικούς λογαριασμούς σε μέσα κοινωνικής δικτύωσης έχει επιχειρηθεί από τον (Kalamatianos,2015) και αφορούσε την εξόρυξη γνώμης από ελληνικά μηνύματα του Twitter με γενικό περιεχόμενο, κάνοντας χρήση ενός λεξικού συναισθήματος. Η κατηγοριοποίηση των παραδειγμάτων εκπαίδευσης έγινε χειροκίνητα από 2 κριτές και αφορούσε την ταξινόμηση τους σε 6 κατηγορίες (θυμός, αηδία, φόβος, χαρά, λύπη, έκπληξη). Μια ακόμα υλοποίηση επιχειρήθηκε από τον (Σφακιανάκη, 2016) και αφορούσε την ταξινόμηση μηνυμάτων πολιτικού περιεχομένου από το ελληνικό Twitter, χρησιμοποιώντας επίσης λεξικό συναισθήματος. Τέλος ο (Παπαστεργίου, 2010) υλοποίησε ένα σύστημα αναγνώρισης των θετικών, αρνητικών και ουδέτερων σχολίων των χρηστών της διαδικτυακής πλατφόρμας δημόσιας διαβούλευσης

25 1.5 Στόχος Εργασίας 11 νομοσχεδίων Opengov, προκειμένου να χαρτογραφήσει τις αντιδράσεις των πολιτών στην διαμόρφωση των κυβερνητικών πολιτικών. Στην έρευνα του έκανε χρήση διαφορετικών τεχνικών κατηγοριοποίησης, προκειμένου να εντοπίσει αυτή που έδινε τα πιο ακριβή αποτελέσματα. Αξίζει να σημειωθεί ότι η πλειοψηφία των σχετικών ερευνών που εντοπίσαμε, πραγματοποιήθηκε κατά την εκπόνηση διπλωματικών εργασιών και δεν αποτελούσε δημοσίευση σε κάποιο επιστημονικό περιοδικό ή συμμετοχή σε κάποιο συνέδριο. Σύμφωνα με όσα γνωρίζουμε μέχρι στιγμής δεν έχει επιχειρηθεί ταυτόχρονη εφαρμογή διαφορετικών μεθόδων κατηγοριοποίησης σε κείμενο από τους ελληνικούς λογαριασμούς των μέσων κοινωνικής δικτύωσης. Οι διαδικτυακές πηγές ελληνικού κειμένου (ειδικά αυτές που προέρχονται από τα μέσα κοινωνικής δικτύωσης) απαιτούν ακόμα πιο εξειδικευμένα εργαλεία και παρουσιάζουν μεγαλύτερες προκλήσεις στην προσπάθεια εξαγωγής συμπερασμάτων με υψηλή ακρίβεια. 1.5 Στόχος Εργασίας Τα τελευταία χρόνια ο προσδιορισμός της κοινής γνώμης σχετικά με ζητήματα που αφορούν την πολιτική, κοινωνική και οικονομική ζωή του τόπου μέσα από τα παραδοσιακά δημοσκοπικά μέσα έ- χει καταστεί μη αποτελεσματικός και παρωχημένος. Ταυτόχρονα, έχει παρατηρηθεί πώς τα αποτελέσματα ερευνών που βασίζονται σε ηλεκτρονικά διαθέσιμα δεδομένα, όπως οι τάσεις της Google (Google trends) ή το περιεχόμενο που δημοσιεύουν οι χρήστες στα μέσα κοινωνικής δικτύωσης και τα ιστολογία, εμφανίζουν ολοένα και περισσότερο βελτιωμένα αποτελέσματα, που αντικατοπτρίζουν με πιο αντιπροσωπευτικό τρόπο την κοινή γνώμη.

26 1.5 Στόχος Εργασίας 12 Καθώς οι επιλογές των ατόμων επηρεάζονται από τις συνθήκες που επικρατούν στο περιβάλλον τους και από τις αντιδράσεις όσων βρίσκονται σε αυτό, η εκμετάλλευση της συνεχώς διαθέσιμης πληροφόρησης που προσφέρουν τα μέσα κοινωνικής δικτύωσης επιτρέπει την αποτελεσματικότερη πρόβλεψη βασικών οικονομικών μεγεθών και την μέτρηση των επιδράσεων που έχουν οι υπο-σχεδιασμό οικονομικές πολιτικές στις διάφορες κοινωνικές ομάδες πριν καν εφαρμοστούν. Η έρευνα ανήκει στο πεδίο της Συμπεριφορικής Οικονομικής (Behavioral economics) που μελετά τις επιδράσεις ψυχολογικών, κοινωνικών, συναισθηματικών και γνωστικών παραγόντων στις οικονομικές αποφάσεις ατόμων και θεσμών και τις επιπτώσεις αυτών στις τιμές των προϊόντων, στα χρηματοοικονομικά μεγέθη και στην διανομή των πόρων στην οικονομία. ηλαδή μελετά τις επιδράσεις στα παραπάνω μεγέθη διαφορετικών μοντέλων συμπεριφορών, σε διαφορετικά περιβάλλοντα. Κύριο αντικείμενο μελέτης τους είναι τα όρια της ορθολογικής συμπεριφοράς των οικονομικών μονάδων (economic agents). Η Ανάλυση Συναίσθηματος αποτελεί το εργαλείο που αποκαλύπτει τα διάφορα μοντέλα συμπεριφορών που ακολουθούν διαφορετικές κοινωνικές μονάδες κάτω από διαφορετικές οικονομικές και πολιτικές συνθήκες και χρησιμοποιείται και ερευνάται ευρέως, εκμεταλλευόμενη την πληροφορία που δίνουν οι ίδιοι οι πολίτες μέσα από τους διαδικτυακούς λογαριασμούς τους. Ωστόσο, η έρευνα καλύπτει μόνο τις λατινογενείς και ευρέως χρησιμοποιούμενες γλώσσες, όπως τα Αγγλικά ή τα Ισπανικά. Αντίθετα λόγω της δυσκολίας και των ιδιαιτεροτήτων που παρουσιάζει η ελληνική γλώσσα, οι πρόσπαθειες εφαρμογής της Ανάλυσης Συναισθήματος σε ελληνικά κείμενα είναι αρκετά περιορισμένες. Καθώς οι Ελληνες χρήστες και τα μηνύματα που δημοσιεύουν στα μέσα κοινωνικής δικτύωσης πολλαπλασιάζονται καθημερινά, στόχος

27 1.6 ομή Εργασίας 13 της παρούσας εργασίας είναι η υλοποίηση ενός συστήματος εξόρυξης γνώμης, που θα χαρακτηρίζει την πολικότητα (αρνητικό, ουδέτερο, θετικό) μηνυμάτων, που προέρχονται από ελληνικούς λογαριασμούς της πλατφόρμας κοινωνικής δικτύωσης "Twitter" και σχετίζονται με πολιτικά και κοινωνικά γεγονότα ευρείας απήχησης και πιο συγκεκριμένα με την εξαγγελία του προγράμματος Θεσσαλονίκης από τον Αλέξη Τσίπρα στις 14/09/2014 και με την ψήφιση του ασφαλιστικού νομοσχεδίου στις 09/05/ ομή Εργασίας Η δομή της εργασίας στα τμήματα που ακολουθούν έχει ως εξής: Στο κεφάλαιο 2 αναφερόμαστε στη μεθοδολογία που χρησιμοποιείται για την εφαρμογή της ανάλυσης συναισθήματος. Ορίζουμε τις μεθόδους μηχανικής μάθησης και αναφερόμαστε στους αλγορίθμους εκπαιδευόμενης μάθησης που χρησιμοποιούνται για την κατηγοριοποίηση δεδομένων. Ακόμα αναφερόμαστε στις εναλλακτικές μεθόδους κατηγοριοποίησης κειμένου και πιο συγκεκριμένα στην εξόρυξη γνώμης με τη χρήση λεξικού συναισθήματος. Τέλος παρουσιάζουμε τις προκλήσεις που παρουσιάζονται κατά τις προσπάθειες κατηγοριοποίησης κειμένων. Στο κεφάλαιο 3 προχωρούμε στην δημιουργία εφαρμογής που συλλέγει δεδομένα από την πλατφόρμα του Twitter και αναφερόμαστε στο πλαίσιο υλοποίησης των αλγορίθμων που χρησιμοποιήσαμε για την ανάλυση των δεδομένων μας. Το κεφάλαιο 4 παρουσιάζει τα ποιοτικά χαρακτηριστικά των δεδομένων που χρησιμοποιήθηκαν και σχολιάζει τα αποτελέσματα των αλγορίθμων μετά την εφαρμογή τους σε δύο διαφορετικά σύνολα δεδομένων.

28 1.6 ομή Εργασίας 14 Τέλος στο κεφάλαιο 5 καταλήγουμε στα συμπεράσματα που προέκυψαν από την ανάλυση μας και αναφερόμαστε σε μελλοντικές βελτιώσεις των μεθόδων που ακολουθήθηκαν.

29 Κεφάλαιο 2 Μεθοδολογία 2.1 Μηχανική Μάθηση Η Εξόρυξη Γνώμης γίνεται μέσω συστημάτων μηχανικής μάθησης. Η μηχανική μάθηση είναι ένα πεδίο της Τεχνητής Νοημοσύνης, που εξελίχθηκε μέσα από τη μελέτη της Αναγνώρισης Προτύπων. Ορίζεται ως η αυτοματοποιημένη διαδικασία εξαγωγής προτύπων από μεγάλο όγκο δεδομένων με στόχο την διεξαγωγή προβλέψεων σε νέα δεδομένα. Αφορά αλγορίθμους που μπορούν να εκπαιδευτούν από κάποια αρχικά δεδομένα και να δημιουργήσουν ένα μοντέλο (πιθανοτική θεωρία). ιακρίνεται στις εξής κατηγορίες: Επιβλεπόμενη Μάθηση (Supervised Learning): έχεται ένα σύνολο δεδομένων εισόδου με γνωστές τις επιθυμητές εξόδους τους (σύνολο εκπαίδευσης ή training set). Προσπαθεί να φτιάξει ένα μοντέλο, που να συνάδει με αυτό από το οποίο προέκυψαν οι κλάσεις του συνόλου εκπαίδευσης, ώστε να κατηγοριοποιήσει τα υπόλοιπα δεδομένα (testing set). Στην οικογένεια των αλγορίθμων επιβλεπόμενης μάθησης ανήκουν οι Naive Bayes και Support Vector Machine (SVM). 15

30 2.2 Μηχανική Μάθηση και Ανάλυση εδομένων από Μικρο- Ιστολόγια16 Μη επιβλεπόμενη Μάθηση (Unsupervised Learning): Ο αλγόριθμος δέχεται δεδομένα χωρίς γνωστή κλάση/ έξοδο και προσπαθεί μόνος του να βρει τις κρυμμένες συσχετίσεις μεταξύ τους. Οι αλγόριθμοι συσταδοποίησης (clustering) είναι ανάμεσα στους πιο γνωστούς ταξινομητές μη επιβλεπόμενης μάθησης. Ημι-επιβλεπόμενη Μάθηση (Semi-supervised learning): Η εκπαίδευση των αλγορλιθμων γίνεται με δεδομένα που έχουν γνωστές και άγνωστες εξόδους. Παράδειγμα ταξινομητών ημι-επιβλεπόμενης μάθησης είναι διάφορα μοντέλα βασισμένα σε γράφους. Οι ταξινομητές διακρίνονται επίσης σε δυαδικούς (binary) και multilabel, ανάλογα με το αν μπορούν να επεξεργαστούν δεδομένα που ανήκουν σε δύο ή περισσότερες κατηγορίες. 2.2 Μηχανική Μάθηση και Ανάλυση εδομένων από Μικρο- Ιστολόγια Στην πλειοψηφία των περιπτώσεων η Ανάλυση Συναισθήματος γίνεται χρησιμοποιώντας αλγορίθμους επιβλεπόμενης μάθησης. Το μοντέλο θα ταξινομεί τα νέα παραδείγματα, με βάση τις ομοιότητες τους με τα παραδείγματα του συνόλου εκπαίδευσης. Ακόμα, είναι σημαντικό πώς οι αλγόριθμοι μηχανικής μάθησης, μπορούν να εκπαιδευτούν και να κάνουν προβλέψεις για κείμενο γραμμένο σε οποιαδήποτε γλώσσα, γεγονός που λύνει εν μέρει το πρόβλημα της έλλειψης εργαλείων για τα ελληνικά. Ωστόσο, λόγω της ιδιαιτερότητας της ελληνικής γλώσσας, που διαθέτει ποικιλία κλητικών τύπων, εκτενείς γραμματικούς κανόνες και πλούσιο λεξιλόγιο αλλά και λόγω της φύσης των δεδομένων που προέρχονται από τα μικροϊστολόγια (ιδιωματισμοί, συντομογραφίες,

31 2.3 Αλγόριθμοι Κατηγοριοποίησης 17 ορθογραφικά λάθη), το σύνολο εκπαίδευσης πρέπει να είναι αρκετά μεγάλο, ούτως ώστε να καλύπτει την πλειοψηφία των περιπτώσεων. Η κατασκευή μεγάλων συνόλων εκπαίδευσης είναι δύσκολο έργο, καθώς απαιτεί πολύ χρόνο μέχρι ο χρήστης να ταξινομήσει χειροκίνητα τα παραδείγματα. Ακόμα κάθε σύνολο δεδομένων εκπαίδευσης πρέπει να αφορά το ίδιο θέμα με το σύνολο των μη ταξινομημένων παραδειγμάτων, καθώς η τεχνική και το αποτέλεσμα εξαρτώνται από το εκάστοτε υπόεξέταση πεδίο (domain specific). 2.3 Αλγόριθμοι Κατηγοριοποίησης Η κατηγοριοποίηση είναι η εργασία εκμάθησης μιας συνάρτησης- στόχου (target function) f, η οποία απεικονίζει κάθε σύνολο χαρακτηριστικών x σε μία από τις προκαθορισμένες ετικέτες κατηγορίας y. Η συνάρτηση στόχος είναι γνωστή ως μοντέλο κατηγοριοποίησης (classification model). (Pang-ning, Steinbach, Kumar, 2006) Το πρόβλημα μπορεί ανήκει στον τομέα της προβλεπτικής μοντελοποίησης, στο οποίο το μοντέλο χρησιμοποιείται για την πρόβλεψη της ετικέτας (ή κλάσης ή κατηγορίας, πρόκειται για ταυτόσιμες έννοιες), μη γνωστών εγγραφών ή στην περιγραφική μοντελοποίηση, όπου το μοντέλο ως μέσο επεξήγησης των διαφορών που έχουν αντικείμενα που ανήκουν σε διαφορετικές κατηγορίες. Το παρακάτω σχήμα (γράφημα 2.1) εμφανίζει συνοπτικά την διαδικασία της κατηγοριοποίησης, κατά την οποία το μοντέλο δέχεται ως είσοδο ένα σύνολο χαρακτηριστικών από δεδομένα με γνωστή κλάση, για να προβλέψει την ετικέτα των μη ταξινομημένων δεδομένων. Κάθε τεχνική κατηγοριοποίησης βασίζεται σε έναν αλγόριθμο μάθησης, για να βρει το μοντέλο που περιγράφει καλύτερα τη σχέση

32 2.3 Αλγόριθμοι Κατηγοριοποίησης 18 Γράφημα 2.1: Η διαδικασία της κατηγοριοποίησης μεταξύ των χαρακτηριστικών κάθε εγγραφής (όπου στη συγκεκριμένη περίπτωση ως εγγραφές ορίζονται τα μηνύματα από την πλατφόρμα του Twitter) και της κατηγορίας στην οποία αυτή ανήκει. Το μοντέλο δηλαδή, πρέπει αφενός να ταιριάζει (fit) καλά στα δεδομένα εισόδου και αφεταίρου να προβλέπει σωστά τις κλάσεις των μη ταξινομημένων εγγραφών. Στην επιβλεπόμενη μάθηση (supervised learning), χρησιμοποιείται έ- να σύνολο εκπαίδευσης (training set), που αποτελείται από εγγραφές με γνωστές ετικέτες. Το μοντέλο κατηγοριοποίησης χρησιμοποιεί το σύνολο εκπαίδευσης, ώστε με τη σειρά του να εκπαιδευτεί και να προβλέψει σωστά τις κλάσεις μη ταξινομημένων εγγραφών, που ανήκουν στο σύνολο ελέγχου (test set). Η αποτελεσματικότητα του μοντέλου κατηγοριοποίησης θα κριθεί από το πλήθος των εγγραφών του συνόλου ελέγχου, για τις οποίες έγινε σωστή πρόβλεψη της κλάσης και αυτών για τις οποίες η πρόβλεψη ήταν λάθος. Το πλήθος των σωστών και των λάθων προβλέψεων τοποθετείται σε έναν πίνακα που είναι γνωστός ως μήτρα σύγχυσης (confusion matrix). Το γράφημα 2.2 παρουσιάζει το πλήθος των σωστά και λάθος ταξινομημένων θετικών και αρνητικών εγγραφών όπου οι στήλες αντιπροσωπεύουν τις σωστές και λάθος προβλέψεις κάθε κλάσης και οι γραμμές το πλήθος των πραγματικών παραδειγμάτων που ανήκει σε κάθε κλάση.

33 2.3 Αλγόριθμοι Κατηγοριοποίησης 19 Γράφημα 2.2: Μήτρα Σύγχυσης όπου, TP (true positives), είναι τα παραδείγματα που κατηγοριοποιήθηκαν σωστά ως θετικά FP (false positives), είναι τα παραδείγματα που κατηγοριοποιήθηκαν λάθος ως θετικά TN (true negatives), είναι τα παραδείγματα που κατηγοριοποιήθηκαν σωστά ως αρνητικά FN (false negatives), είναι τα παραδείγματα που κατηγοριοποιήθηκαν λάθος ως αρνητικά Άλλες μετρικές της ποιότητας των αποτελεσμάτων είναι οι: Συνολική Ακρίβεια (Accuracy), δηλαδή ο λόγος των σωστών προβλέψεων προς το άθροισμα σωστών και λάθος προβλέψεων Accuracy = TP TP + FP + TN + FP (2.1) Ακρίβεια (Precision), που είναι ο λόγος των σωστά τοποθετημένων παραδειγμάτων σε κάποια κλάση i προς το άθροισμα των σωστά και λάθος τοποθετημένων παραδειγμάτων σε αυτή την κλάση. Ουσιαστικά απαντά στο ερώτημα: Από το σύνολο των εγγραφών που τοποθετήθηκαν σε μία κλάση, πόσες ανήκουν όντως σε αυτή; Precision = TP TP + FP (2.2)

34 2.3 Αλγόριθμοι Κατηγοριοποίησης 20 Ανάκληση (Recall), δηλαδή ο λόγος των των παραδειγμάτων που τοποθετήθηκαν σωστά στην κλάση i προς το σύνολο των πραδειγμάτων που πραγματικά ανήκουν στην κλάση αυτή. Ουσιαστικά απαντά στο ερώτημα: Από όλες τις εγγραφές που πραγματικά ανήκουν σε μία κλάση, πόσες τοποθετήθηκαν με επιτυχία σε αυτή; Recall = TP TP + FN Κατηγοριοποιητής Naive Bayes Θεώρημα Bayes (2.3) Το θεώρημα του Bayes είναι ένα στατιστικό μοντέλο που συνδυάζει τις εκ των προτέρων γνώσεις για τις κατηγορίες με τα νέα δεδομένα και χρησιμοποιείται ως βάση για τον ταξινομητή Naive Bayes, που εφαρμόζεται ευρέως στην Ανάλυση Συναισθήματος. Εστω ότι τα μηνύματα που αποτελούν την βάση δεδομένων μας είναι η τυχαία μεταβλητή X και έστω ότι η κατηγορία της πολικότητας είναι η τυχαία μεταβλητή Y. Η από κοινού πιθανότητα P(X = x Y = y) εκφράζει την πιθανότητα η μεταβλητή X να πάρει την τιμή x και η μεταβλητή Y να πάρει την τιμή y. Η υπό συνθήκη πιθανότητα P(Y = y X = x), εκφράζει την πιθανότητα η μεταβλητή Y να πάρει την τιμή y, δεδομένου ότι η μεταβλητή X έχει πάρει την τιμή x. Σύμφωνα με την στατιστική, Η από κοινού πιθανότητα ορίζεται ως, P(X Y) = P(Y X) P(X) = P(X Y) P(Y) (2.4) Μετασχηματίζοντας τη σχέση (2.4), καταλήγουμε στην ακόλουθη σχέση,

35 2.3 Αλγόριθμοι Κατηγοριοποίησης 21 P(Y X) = P(X Y) P(Y) P(X) (2.5) που είναι το θεώρημα του Bayes και χρησιμοποιείται για την πραγματοποίηση των προβλέψεων, στις οποίες αναφερθήκαμε νωρίτερα. Η πιθανότητα P(Y) είναι η εκ των προτέρων πιθανότητα (prior probability) και η πιθανότητα P(Y X) είναι η εκ των υστέρων πιθανότητα. Κατηγοριοποίηση και Θεώρημα Bayes- Ο κατηγοριοποιητής Naive Bayes Στην ανάλυση συναισθήματος χρησιμοποιείται η κατηγοριοποίηση ε- πιβλεπόμενης μάθησης, κατά την οποία ο κατηγοριοποιητής εκπαιδεύεται από ένα σύνολο δεδομένων. Εφαρμόζοντας το θεώρημα του Bayes, κατά τη διάρκεια της εκπαίδευσης του ταξινομητή, μαθαίνουμε τις εκ των υστέρων πιθανότητες P(Y X) για κάθε συνδυασμό X και Y, βάσει των δεδομένων εκπαίδευσης που έχουν γνωστές εξόδους. Γνωρίζοντας αυτές τις πιθανότητες μπορεί να προβλεφθεί η κατηγορία Y που μεγιστοποιεί την εκ των υστέρων πιθανότητα P(Y X ) για ένα μήνυμα με σύνολο χαρακτηριστικών X. ηλαδή, εφαρμόζοντας το θεώρημα του Bayes, βρίσκουμε την εκ των υστέρων πιθανότητα της κλάσης Y, με δεδομένα τα χαρακτηριστικά X του συνόλου δεδομένων (P(Y X)) σε σχέση με την εκ των προτέρων πιθανότητα P(Y), την εξαρτώμενη από την κατηγορία πιθανότητα P(X Y) και την μαρτυρία P(X). Οι πιθανότητες P(X Y) και P(Y) έχουν παρατηρηθεί κατά τη φάση της εκπαίδευσης, ενώ η πιθανότητα P(X), είναι πάντα σταθερή και μπορεί να αγνοηθεί. Ωστόσο, προκειμένου να προβλεφθεί με ακρίβεια η εκ των υστέρων πιθανότητα για κάθε πιθανό συνδυασμό λέξεων (χαρακτηριστικών) και κατηγοριών, απαιτείται πολύ μεγάλο σύνολο

36 2.3 Αλγόριθμοι Κατηγοριοποίησης 22 εκπαίδευσης, ακόμα και όταν το πλήθος των λέξεων είναι μεσαίο. Για αυτό το λόγο γίνεται η απλοϊκή (naive) υπόθεση ότι με δεδομένη την κατηγορία y, τα χαρακτηριστικά κάθε εγγραφής είναι υπό συνθήκη ανεξάρτητα. Η υπόθεση αυτή αποτελεί τη βάση του απλοϊκού (Naive) Bayes ταξινομητή. Η έκφραση της υπόθεσης της υπό συνθήκη ανεξαρτησίας είναι: P(X Y = y) = d i=1 P(X i Y = y) (2.6) όπου, κάθε σύνολο χαρακτηριστικών X αποτελείται από (x 1,x 2,x 3,...,x d ) χαρακτηριστικά. Η τελική έκφραση του θεωρήματος του Bayes, θα είναι: P(Y X) = P(Y) d i=1 P(X i Y)/P(X) (2.7) ηλαδή, κάνοντας την υπόθεση της ανεξαρτησίας, χρειάζεται μόνο η εκτίμηση της υπο συνθήκη πιθανότητας για κάθε x i, δεδομένης της κατηγορίας Y. Άρα, δεν απαιτείται πλέον πολύ μεγάλο σύνολο εκπαίδευσης για να βρεθεί η πιθανότητα. Ακολουθούν συνοπτικά τα πλεονεκτήματα και τα μειονεκτήματα του ταξινομητή Naive Bayes: Λόγω της υπόθεσης της ανεξαρτησίας, τυχόν συσχετιζόμενα χαρακτηριστικά μειώνουν την απόδοση των απλοϊκών ταξινομητών Bayes. Ο ταξινομητής Naive Bayes είναι εύρωστος (robust), όταν υπάρχουν μη σχετικά χαρακτηριστικά Xi. Η κατανομή της P(Xi Y) είναι σχεδόν ομοιόμορφη και η εξαρτώμενη πιθανότητα του Xi από την κατηγορία Y δεν θα επηρεάσει τη συνολική εκ των υστέρων πιθανότητα.

37 2.3 Αλγόριθμοι Κατηγοριοποίησης 23 Όταν υπάρχουν απομονωμένα σημεία θορύβου, ο ταξινομητής Naive Bayes είναι εύρωστος (robust), αφού αυτά τα σημεία υπολογίζονται στον μέσο όρο κατά την εκτίμηση των υπο συνθήκη πιθανοτήτων Μηχανή ιανυσμάτων Στήριξης (Support Vector Machine ή SVM) Λόγω της πολυπλοκότητας του προβλήματος της ανάλυσης συναισθήματος, έχουν εφαρμοστεί πολλές προσεγγίσεις με στόχο την βελτίωση των αποτελεσμάτων. Η χρήση της Μηχανής ιανυσμάτων Υποστήριξης (Support Vector Machine ή SVM), δίνει αρκετά βελτιωμένα αποτελέσματα (συχνά καλύτερα από τον ταξινομητή Naive Bayes) και χρησιμοποιεί ένα υποσύνολο του συνόλου εκπαίδευσης για να περιγράψει το όριο της απόφασης. Για την κατανόηση της Μηχανής ιανυσμάτων Υποστήριξης θα χρησιμοποιήσουμε το σύνολο δεδομένων που περιγράφεται από το γράφημα (2.3). Γράφημα 2.3: Περθώρια Ορίου Απόφασης

38 2.3 Αλγόριθμοι Κατηγοριοποίησης 24 Παρατηρούμε πως υπάρχουν δύο υποσύνολα, που περιγράφονται από τους κύκλους και τα τρίγωνα και πως το σύνολο είναι γραμμικά διαχωρίσιμο. Επιλέγεται κάποιο υπερεπίπεδο (hyperplane), έτσι ώστε όλα τα τρίγωνα να βρίσκονται από τη μία πλευρά του και όλοι οι κύκλοι από την άλλη. Αξίζει να αναφερθεί πως υπάρχουν άπειρα υπερεπίπεδα και πως σε αυτή τη συγκεκριμένη περίπτωση δεν φαίνεται να υπάρχουν σφάλματα. Εξετάζοντας την περίπτωση των υπερεπιπέδων B1και B2, αρχικά πρέπει να αναφέρουμε ότι κάθε ένα από αυτά συνοδεύεται από ένα ζεύγος υπερεπιπέδων (b 11, b 12, b 21, b 22 ). Το b i1 προσεγγίζει το τελευταίο αντικείμενο του συνόλου των κύκλων και το b i2 προσεγγίζει το τελευταίο αντικείμενο του συνόλου των τριγόνων. Η απόσταση α- νάμεσα στα b i1 και b i2 ονομάζεται περιθώριο κατηγοριοποίησης και είναι μεγαλύτερη για το υπερεπίπεδο B1. Τα υπερεπίπεδα μέγιστου περιθωρίου των δειγμάτων εκπαίδευσης θεωρείται πως δίνουν καλύερα σφάλματα γενίκευσης. Για να το κατανοήσουμε καλύτερα μπορούμε πολύ απλά να σκεφτούμε πως για μικρότερα περιθώρια, οι όποιες διαταραχές των ορίων απόφασης θα επηρεάσουν περισσότερο το μοντέλο και ίσως οδηγήσουν σε προβλήματα υπερπροσαρμογής (overfitting). Εναλλακτικά μπορούμε να χρησιμοποιήσουμε την στατιστική αρχή της Ελαχιστοποίησης ομικού Ρίσκου (Structural Risk Minimization- SRM), που δίνει τη σχέση του σφάλματος γενίκευσης με το σφάλμα εκπαίδευσης και την πολυπλοκότητα του μοντέλου. Με πιθανότητα (1 n), στη χειρότερη περίπτωση το σφάλμα γενίκευσης ενός ταξινομητή είναι: όπου, R R E + φ ( h N, log(n) N ) (2.8)

39 2.4 Ταξινόμηση με Χρήση Λεξικού 25 h πολυπλοκοτητα ή χωριτικότητα του μοντέλου φ είναι μια μονότονα αύξουσα συνάρτηση της πολυπλοκότητας h R άνω όριο του σφάλματος γενίκευσης Re σφάλμα εκπαίδευσης N πλήθος των παραδειγμάτων εκπαίδευσης Βάσει της σχέσης προκύπτει ότι η χωρητικότητα ενός γραμμικού μοντέλου συσχετίζεται αντίστροφα με το περιθώριό του. ηλαδή μοντέλα με μικρότερα περιθώρια, έχουν μεγαλύτερη χωριτικότητα και προσαρμόζουν με μεγαλύτερη ευκολία τα σύνολα εκπαίδευσης σε σχέση με μοντέλα μεγαλύτερων περιθωρίων. Βέβαια δεν πρέπει να ξεχνάμε ότι όσο μικραίνουν τα περιθώρια τόσο μεγαλώνουν τα σφάλματα γενίκευσης. Τελικά στόχος του ταξινομητή είναι να διαλέξει το υπερεπίπεδο που αντιπροσωπεύει το ορθότερο όριο απόφασης για το σύνολο ε- λέγχου, μεγιστοποιώντας τα όρια απόφασης τόσο όσο χρειάζεται για να ελαχιστοποιηθούν τα σφάλματα γενίκευσης. 2.4 Ταξινόμηση με Χρήση Λεξικού Η ταξινόμηση με χρήση Λεξικού, βασίζεται στην δημιουργία μίας λίστας λέξεων (λεξικό), συνοδευόμενων από μία στάθμιση ανάλογα με την πολικότητα τους. Σε αντίθεση με τις μεθόδους επιβλεπόμενης μάθησης, δεν βασίζεται σε ένα σύνολο παραδειγμάτων με γνωστές κλάσεις αλλά χρησιμοποιεί το λεξικό συναισθήματος (sentiment lexicon), για να καθορίσει την πολικότητα των παραδειγμάτων ανάλογα με το προκαθορισμένο συναισθηματικό φορτίο των λέξεων που περιέχουν. Εύλογα θα παρατηρήσει κανείς πως το νόημα μίας λέξης μπορεί να αλλάξει ανάλογα με τα συμφραζόμενα που την συνοδεύουν. Πράγματι, η χρήση ενός γενικευμένου λεξικού συναισθήματος, δεν

40 2.4 Ταξινόμηση με Χρήση Λεξικού 26 δίνει ακριβή αποτελέσματα. Για τη λύση αυτού, έχει προταθεί η χρήση μιας ενισχυμένης μεθόδου που συνδυάζει το γενικευμένο λεξικό με ένα πιο εξειδικευμένο που αφορά το εκάστοτε θέμα που διαπραγματεύονται τα προς κατηγοριοποίηση παραδείγματα (Muhammad,2013). Στο εξειδικευμένο λεξικό η πολικότητα κάθε λέξης εξαρτάται από τις φορές που έχει εμφανιστεί σε θετικά, αρνητικά ή ουδέτερα παραδείγματα. Με αυτό τον τρόπο μπορούν να εντοπιστούν λέξεις οι οποίες αν και θεωρητικά ως μονάδες έχουν θετικό ή αρνητικό περιεχόμενο, το νόημα τους αλλάζει ανάλογα με τα συμφραζόμενα. Για παράδειγμα στο μήνυμα Ο καλύτερος δεξιός ηγετής που πέρασε από την Ελλάδα ο Αλέξης Τσίπρας, η λέξη καλύτερος ως μονάδα έχει θετικό νόημα. Ωστόσο ένας γνώστης της πολιτικής κατάστασης της Ελλάδας εντοπίζει την ειρωνία του μηνύματος, με συνέπεια το νόημα της λέξης τώρα να γινεται αρνητικό. Επιπλέον ο συνδυασμός γενικευμένου και εξειδικευμένου λεξικού, λύνει τα προβλήματα που δημιουργεί ο πλούτος της ελληνικής γλώσσσας. Πιο συγκεκριμένα λόγω της πληθώρας εκφράσεων που χρησιμοποιούνται στην ελληνική γλώσσα, υπάρχουν πολλοί διαφορετικοί τρόποι να εκφραστεί η ίδια άποψη. Συμπεριλαμβάνοντας συνώνυμες λέξεις ή εκφράσεις από το γενικευμένο στο εξειδικευμένο λεξικό, αυξάνεται η πιθανότητα κάποια σπάνια έκφραση που υπάρχει στο σύνολο εκπαίδευσης να αναγνωριστεί και στο σύνολο ελέγχου. Γενικά η ταξινόμηση μπορεί να γίνει βάσει συντακτικών και στατιστικών τεχνικών. Οι συντακτικές τεχνικές χρησιμοποιούν τους συντακτικούς κανόνες κάθε γλώσσας και εντοπίζουν τα μέρη του λόγου (ουσιαστικά, ρήματα, επίθετα κ.τ.λ.). Οι στατιστικές τεχνικές χρησιμοποιούν πιθανοτικές θεωρίες για να εντοπίσουν τις συσχετίσεις ανάμεσα στα δεδομένα. Οι στατιστικές τεχνικές είναι πιο διαδεδομένες

41 2.5 Εφαρμογές Ανάλυσης Συναισθήματος 27 καθώς οι συντακτικές συνδέονται άρρηκτα με την εκάστοτε γλώσσα και δεν είναι δυνατό να γενικευτούν. Οι δύο προσεγγίσεις αφορούν τόσο την ταξινόμηση μέσω λεξικού, όσο και μέσω αλγορίθμων μηχανικής μάθησης. Συνοψίζοντας, η ταξινόμηση δεδομένων που προέρχονται από μικροϊστολόγια ή μέσα κοινωνικής δικτύωσης με τη χρήση λεξικού είναι πιο εύκολη, αφού δεν απαιτείται η εκπαίδευση των δεδομένων, αλλά η αποτελεσματικότητα της κρίνεται από το βαθμό στον οποίο οι λέξεις που περιέχει το λεξικό συσχετίζονται με το σύνολο των υπόεξέταση δεδομένων. 2.5 Εφαρμογές Ανάλυσης Συναισθήματος Η Ανάλυση Συναισθήματος είναι ένα αντικείμενο που μελετάται ευρέως, καθώς όλοι οι μελετητές/ αναλυτές συμφωνούν πώς η ευρεία χρήση των ηλεκτρονικών μέσων κοινωνικής δικτύωσης και των μικροιστολογίων έχει δημιουργήσει μία τεράστια πηγή δεδομένων, που είναι διαθέσιμη για την εξόρυξη δεδομένων που σχετίζονται με διάφορα ζητήματα. Ακόμα, πρόκειται για μία διαδικασία που μπορεί να γίνεται συνεχώς, να ανανεώνεται ούτως ώστε να λαμβάνει υπ όψη νέες ανάγκες και να ενσωματώνει αυτόματα τα νέα δεδομένα. Επιπλεόν ο αναλυτής μπορεί να αποσπά μόνο τις συγκεκριμένες πληροφορίες που ο ίδιος επιθυμεί και του είναι χρήσιμες. Είναι φανερό πως η εξόρυξη γνώμης δίνει τη δυνατότητα να παρακολουθησούμε τη σκέψη των διαδικτυακών κοινοτήτων και να μελετήσουμε την κοινή γνώμη σχετικά με επίκαιρα ζητήματα ( εμπέλης,2014). Η χρήση της ανάλυσης συναισθήματος ως εργαλείου βελτίωσης της εμπορικής δραστηριότητας των επιχειρήσεων κερδίζει ολοένα και περισσότερο έδαφος σε σχέση με τα υπόλοιπα εργαλεία του Marketing.

42 2.5 Εφαρμογές Ανάλυσης Συναισθήματος 28 Οι (Boiy & Moens,2009) δημιούργησαν ένα σύστημα αξιολόγησης των απόψεων που εκφράζονται σε ιστολόγια και ιστοσελίδες και αφορούν συγκεκριμένα προϊόντα και τα χαρακτηριστικά τους. Μάλιστα υ- λοποιούν το σύστημα τους, έτσι ώστε να εφαρμόζεται σε αγγλικό, γαλλικό και ολλανδικό κείμενο. Οι συγγραφείς υποστηρίζουν ότι η διάδοση των εφαρμογών του Ιστού 2.0, έδωσε μεγάλη δύναμη στο κοινό και δημιούργησε μία νέα γενιά marketing (word-of-mouth marketing). Η εξόρυξη γνώμης αποτελεί την απάντηση στις νέες συνθήκες αφού επιτρέπει την εξαγωγή στατιστικών σε πραγματικό χρόνο και την έγκαιρη αντίδραση των επιχειρήσεων στις απαιτήσεις των χρηστών. Όσον αφορά την μεθοδολογία που ακολουθήθηκε και αφορά αλγορίθμους επιβλεπόμενης μάθησης, οι ερευνητές παρατήρησαν πως όσο πιο πολύπλοκη είναι η γραμματική κάθε γλώσσας τόσο πιο εξειδικευμένα χρειάζονται για την ανάλυση της. Όπως έχει ήδη αναφερθεί η ανάλυση συναισθήματος από διαδικτυακές πήγες τείνει να υποκαταστήσει πλήρως τα παραδοσιακά δημοσκοπικά μέσα, κάτι που γίνεται φανερό μέσα από το άρθρο του (Askitas,2015), ο οποίος προέβλεψε σωστά το αποτέλεσμα του ελληνικού δημοψηφίσματος της 5ης Ιουλίου 2015 χρησιμοποιώντας τα στοιχεία των πιο συχνών αναζητήσεων του Google. Παρόμοιες έ- ρευνες έχουν γίνει και για τις προεδρικές εκλογές των Η.Π.Α., όπου σύμφωνα με τους (Jahanbakhsh & Moon,2014) οι πολιτικές παρατάξεις ( ημοκράτες, Ρεπουμπλικάνοι) έχουν αναγνωρίσει την δυναμική των μέσων κοινωνικής δικτύωσης και επενδύουν ολοένα και περισσότερο στην προώθηση των υποψηφίων τους στα μέσα κοινωνικής δικτύωσης. Η διεθνής βιβλιογραφία στέκεται στο πώς η άμεση διάδοση των γεγονότων, που προσφέρει το Twitter σε συνδυασμό με τη δυνατότητα διασύνδεσης και συσπείρωσης που προσφέρει το Facebook, συνέ-

43 2.5 Εφαρμογές Ανάλυσης Συναισθήματος 29 βαλαν αποφασιστικά στην πορεία της Αραβικής Άνοιξης και στο πώς η αξιολόγηση των αντιδράσεων των χρηστών απέναντι στις ειδήσεις που διαδίδονται διαδικτυακά, μπορεί να οδηγήσει στην πρόβλεψη παρόμοιων μελλοντικών γεγονότων (GebreMeskel, 2011). Σύμφωνα με τον ορισμό της ανάλυσης συναισθήματος, η διαδικασία αφορά όχι μόνο τον προσδιορισμό του συναισθήματος του γράφοντος αλλά και του συναισθήματος που θέλει να μεταδώσει στο κοινό που τον ακολουθεί. Η έκρηξη της δημοφιλίας των μέσων κοινωνικής δικτύωσης δημιούργησε μια νέα γενιά χρηστών που ασκούν μεγάλη επιρροή στις διαδικτυακές κοινότητες (opinion leaders) και έχουν τη δύναμη να διαμορφώσουν τη συλλογική άποψη γύρω από κάποιο θέμα. Σε αυτό το πλαίσιο ερευνήθηκε ο τρόπος με τον οποίο αυτοί οι χρήστες επηρεάζουν την διαδικτυακή κοινότητα και πιο συγκεκριμένα ελέγχεται κατά πόσο οι δημοσιεύσεις τους μπορούν να προκαλέσουν πολλαπλάσιες δημοσιεύσεις από το κοινό που τους ακολουθεί (Στελλάτος, 2015). Όσον αφορά την εφαρμογή της σε ελληνικό κείμενο, όπως αναφέρθηκε στο τμήμα 1.4 έχει επιχειρηθεί η κατηγοριοποίση σχολίων προερχόμενων από την ελληνική πλατφόρμα ηλεκτρονικής διακυβέρνησης Opengov λόγω της χρησιμότητας που έχει για τον νομοθέτη η γνώση των αντιδράσεων των πολιτών για την κατάλληλη διαμόρφωση και προσαρμογή των νομοσχεδίων, ούτως ώστε αφενός να υπηρετούν το στόχο τους και αφεταίρου να μην προκαλούν μεγάλες αντιδράσεις κατά την εφαρμογή τους (Παπαστεργίου, 2010). Τέλος η Εξόρυξη Γνώμης είναι ένα ανεκτίμητο εργαλείο για τις επιχειρήσεις, που μελετώντας τις αξιολογήσεις και τα σχόλια των χρηστών μπορούν να προσαρμόσουν κατάλληλα τα προϊόντα και τις υπηρεσίες τους. Χαρακτηριστικά, αναφέρεται πως η αξιολόγηση των χρηστών μπορεί να επηρεάσει την δυνατότητα τιμολόγησης των

44 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 30 εμπόρων ( εμπέλης, 2014). 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος Η ανάλυση και κατηγοριοποίηση ενός κειμένου σύμφωνα με την πολικότητα του είναι ήδη για τον άνθρωπο μία πολύ δύσκολη εργασία. Σύμφωνα με έρευνες οι άνθρωποι συμφωνούν μόνο στο 79% της κατηγοριοποίησης ενός κειμένου ή μιας πρότασης. Είναι λογικό λοιπόν, το έργο της κατηγοριοποίησης να καθίσταται ακόμα πιο δύσκολο και απαιτητικό, όταν πραγματοποιείται από ένα πρόγραμμα ενός υπολογιστή. Οι λέξεις ως μονάδες μπορεί να έχουν θετική ή αρνητική σημασία. Ωστόσο η σημασία τους μεταβάλλεται ανάλογα με το σημασιολικό πλαίσιο στο οποίο εντάσσονται. Για παράδειγμα η λέξη ηγέτης, μπορεί να χρησιμοποιηθεί για να περιγράψει την ιδιότητα ενός προσώπου, π.χ. Στο πλευρό του Αλέξη Τσίπρα ο ηγέτης των Podemos, ή για να προσδώσει ένα θετικό χαρακτηριστικό, π.χ. Αν ο Αλέξης Τσίπρας καταφέρει και αλλάξει την agenda της Ευρωπαϊκής Ενωσης, τότε πραγματικά θα μείνει στην ιστορία ως η- γέτης. Η πολικότητα στην πρώτη περίπτωση θα χαρακτηριζόταν ως ουδέτερη και στη δεύτερη ως θετική. Τι θα συνέβαινε όμως αν η πρώτη πρόταση βρισκόταν στο σύνολο εκπαίδευσης και η δεύτερη στο σύνολο κατηγοριοποίησης; Θα κατάφερνε ο αλγόριθμος να τοποθετήσει τη δεύτερη φράση στη σωστή κατηγορία; Επιπλέον, δεν πρέπει να παραβλεφθεί το γεγονός πως μία φράση που υπολείπεται λοιπού σημασιολογικού πλαισίου, όπως π.χ.: Ο

45 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 31 Αλέξης Τσίπρας νίκησε τις εκλογές, θα φέρει θετικό περιεχόμενο για τους υποστηρικτές του και αρνητικό για τους μη υποστηρικτές του (Σφακιανάκης,2016). Οι (Pang & Lee, 2008) αναφέρουν πώς η χρήση συστημάτων μηχανικής μάθησης όπου ο αλγόριθμος μαθαίνει από ένα σύνολο δεδομένων με γνωστές εξόδους, βελτιώνει τα αποτελέσματα σε αυτές τις περιπτώσεις. Στην παρούσα εργασία μία από τις μεγαλύτερες προκλήσεις που έπρεπε να αντιμετωπιστούν κατά τη διάρκεια υλοποίησης του αλγορίθμου, ήταν η ύπαρξη ειρωνικών σχολίων. Προκειμένου να κατηγοριοποιηθεί σωστά ένα ειρωνικό σχόλιο, απαιτείται η γνώση των γενικότερων κοινωνικών, πολιτικών και οικονομικών συνθηκών και η κατανόηση της κουλτούρας των χρηστών που αποτελούν το κοινό του σχολίου. Για παράδειγμα το σχόλιο: Ωραία τα λέει ο Τσίπρας για κεντροδεξιός ηγέτης, περιέχει μεν τις λέξεις ωραία και ηγέτης, που μπορεί να πρόδιδαν το θετικό περιεχόμενο της φράσης, ωστόσο ένας γνώστης της πολιτικής κατάστασης της Ελλάδας, κατανοεί πως το σχόλιο είναι ειρωνικό και αρνητικά πολωμένο. Ο αλγόριθμος δεν μπορεί να κατανοήσει τον πραγματικό κόσμο και να αφομιώσει τέτοιου είδους πληροφορίες. Συνεπώς σχόλια ειρωνικού περιεχομένου θα κατηγοριοποιηθούν λάθος. Μέχρι στιγμής και σύμφωνα με όσα γνωρίζουμε δεν έχει αναφερθεί κάποια επαρκής λύση στη βιβλιογραφία. Η βιβλιογραφία στο σύνολο της αναφέρεται στη σημασία που έχει ο σωστός προσδιορισμός του αντικειμένου-στόχου. Ξεκικώντας μια διαδικασία εξόρυξης γνώμης είναι πολύ σημαντικό να προσδιοριστεί με ακρίβεια ποιο είναι το αντικείμενο- στόχος για το οποίο θέλουμε να εξάγουμε πληροφορίες. Ενα σχόλιο είναι πολύ πιθανό να περιέχει έμμεσες αναφορές σε κάποιο θέμα ή να αφορά περισσότερα του ενός αντικείμενα. Για παράδειγμα, εάν κάποιος πολιτικός αναλυτής θέλει να

46 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 32 εξετάσει την απήχηση που έχει ο Αλέξης Τσίπρας, κατά τη διάρκεια της προεκλογικής περιόδου, ένα σχόλιο όπως το ακόλουθο: Ν - ΠΑΣΟΚ κατάφεραν να αυξήσουν τα ελλείμματα και να μειώσουν τις συντάξεις, μπορεί να είναι αρνητικό για τους αναφερόμενους, ωστόσο έχει θετική ερμηνεία όσον αφορά τον Αλέξη Τσίπρα. Άρα θα πρέπει να κατηγοριοποηθεί έχοντας ως δεδομένο πως το αντικείμενο για το οποίο γίνεται η εξόρυξη γνώμης είναι ο Αλέξης Τσίπρας. Σε συνέχεια των παράπανω έρχεται η αναγκαιότητα προσδιορισμού του προσώπου εκφέρει την άποψη. Για παράδειγμα το μήνυμα : Αναγνώστου: Ο Τσίπρας είναι πατριάρχης του ψεύδους, περιέχει μεν μία αρνητική άποψη για τον Α. Τσίπρα, ωστόσο πρόκειται για απλή αναπαραγωγή της δήλωσης κάποιου τρίτου προσώπου από το λογαριασμό μιας ειδησεογραφικής ιστοσελίδας. Άρα το μήνυμα πρέπει να κατηγοριοποιηθεί ως ουδέτερο. Βέβαια δεν πρέπει να παραληφθούν περιπτώσεις όπως σχόλια που αναφέρουν τη γνώμη κάποιου τρίτου και εκφράζουν γνώμη πάνω σε αυτή ή αναφέρουν μια αντικειμενική είδηση και εκφράζουν άποψη πάνω στην είδηση. Ενα ακόμα σημαντικό ζήτημα είναι η διαχείριση της άρνησης. Η άρνηση επηρεάζει και μεταβάλλει την πολικότητα ενός σχολίου. Ω- στόσο δεν είναι πάντα εύκολο να εντοπιστεί και να αξιολογηθεί σωστά, αφού εκτός από τις απλές περιπτώσεις χρήσης αρνητικών συνδέσμων, επιρρημάτων κ.τ.λ. (π.χ. εν πιστεύω κανέναν πολιτικό ), υπάρχουν πολλοί άλλοι λεκτικοί σχηματισμοί που υποδηλώνουν άρνηση και μεταβάλλουν την πολικότητα του κειμένου. Για παράδειγμα η φράση Αδυνατώ να κατανοήσω γιατί είναι λαοφιλής, περιέχει το επίθετο λαοφιλής που ως μονάδα έχει θετική σημασία, αλλά η χρήση του ρήματος αδυνατώ, κάνει το νόημα της φράσης αρνητικό, χωρίς να έχει προηγηθεί άμεσα άρνηση. Αντίθετα, η φράση Αδυνατώ να καταλάβω γιατί δεν είναι λαοφιλής, περιέχει το αρ-

47 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 33 νητικό μόριο, αλλά σε συνδυασμό με το ρήμα αδυνατώ το νόημα της μετατρέπεται σε θετικό για το πρόσωπο στο οποίο αναφέρεται. Συνεπώς είναι κατανοητό πως κάθε κείμενο πρέπει να εξετάζεται διαφορετικά και σύμφωνα με τα μοναδικά χαρακτηριστικά του. Το ύφος των δημοσιεύσεων εξαρτάται από το προφίλ του συγγραφέα τους. Τα σχόλια που προέρχονται από προσωπικά προφιλ, τείνουν να έχουν περισσότερο θόρυβο (ορθογραφικά λάθη, ιδιωματισμοί, ειρωνεία, αστεία κ.τ.λ.) σε σχέση με σχόλια που προέρχονται από προφίλ δημοσιογραφικών ιστοσελίδων. Επιπλέον όπως έχει ήδη αναφερθεί, είναι σημαντικό να γνωρίζουμε το προφίλ του συγγραφέα του σχολίου και το αντικείμενο που σχολιάζει. Ωστόσο πρέπει να δοθεί προσοχή και στο θέμα το οποίο αφορά το σχόλιο. Όπως παρατηρεί ο (Liu,2012), σχόλια με περιεχόμενο που άπτεται της πολιτικής είναι δυσκολότερο να κατηγοριοποιηθούν, αφού πολύ συχνά είναι ειρωνικά, ενώ πολλές φορές συνδυάζουν κάποια αντικειμενική αναφορά ενός γεγονότος μαζί με τον σχολιασμό του. Τέλος, η σημαντικότερη πρόκληση που ανιμετωπίστηκε στην παρούσα εργασία είναι η εφαρμογή της Εξόρυξης Γνώμης σε δεδομένα σε ελληνική γλώσσα. Η έρευνα μέχρι στιγμής έχει επικεντρωθεί σε κείμενα γραμμένα σε λατινογενείς γλώσσες (όπως τα αγγλικά) και οι προσπάθειες εφαρρμογής της Ανάλυσης Συναισθήματος σε ελληνικά κείμενα είναι περιορισμένες. Προκειμένου να κατηγοριοποιηθούν σωστά τα παραδείγματα, πρέπει να περάσουν από μια διαδικασία προεπεξεργασίας που θα αφαιρεί όλο τον θόρυβο από τα δεδομένα. Η προεπεξεργασία διαφέρει από γλώσσα σε γλώσσα και όσον αφορά συγκεκριμένα τα ελληνικά είναι σημαντικό να γίνουν οι απαραίτητες προσαρμογές στο αντίστοιχο κομμάτι του κώδικα. Για παράδειγμα καθώς οι ελληνικές λέξεις είναι τονισμένες, οι τονισμένοι χαρακτήρες πρέπει να αντικατασταθούν με άτονους.

48 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 34 Η δυσκολία κατηγοριοποίησης ελληνικών σχολίων ενισχύθηκε και από την ανομοιότητα τους. Λόγω του πλούτου της ελληνικής γλώσσας ένα σχόλιο του συνόλου εκπαίδευσης μπορεί να είχε το ίδιο νόημα με κάποιο σχόλιο προς κατηγοριοποίηση, αλλά να χρησιμοποιούν ε- ντελώς διαφορετικές λέξεις. Όσο λιγότερες λέξεις έχουν κοινές, τόσο μειώνεται η ομοιότητα τους και κατά συνέπεια και η πιθανότητα σωστής πρόβλεψης. Ο (Παπαστεργίου,2010) προτείνει τη χρήση μεγαλύτερου συνόλου εκπαίδευσης ως λύση για τη βελτίωση της ακρίβειας πρόβλεψης υσκολίες Ανάλυσης Περιεχομένου από το Twitter Το Twitter συχνά χρησιμοποιείται ως πηγή απόψεων προς ανάλυση, αφού λόγω του περιορισμού στους χαρακτήρες, τα μηνύματα είναι σύντομα και περιεκτικά. Οι χρήστες αναφέρονται απευθείας στο θέμα που τους ενδιαφέρει, αποφεύγοντας περιττές αναφορές και πλεονασμούς. Ωστόσο αυτό το πλεονέκτημα του, συνιστά ταυτόχρονα και την αδυναμία του αφού οδηγεί σε μία σειρά από προβλήματα και δυσκολίες στην ανάλυση του κειμένου που προσφέρει στους αναλυτές. Αρχικά, χάρην συντομίας οι χρήστες χρησιμοποιούν συντομογραφίες (π.χ. σήμερα- σμρ), εκφράσεις αργκό (π.χ. τρολλάρω, γκουγκλάρω) και νεολογισμούς (π.χ. yolo, omg). Ακόμα συχνά εκφράζουν την ένταση των συναισθημάτων που θέλουν να εκφράσουν επαναλαμβάνοντας τους χαρακτήρες κάποιας λέξης (π.χ. τέεεελειαααα) ή κάποιο σημείο στίξης (πάμε όλοι Σύνταγμα!!!!!!!!) ενώ λόγω της ταχύτητας και της συχνότητας, που δημοσιεύουν τα μηνύματα οδηγούνται σε γραμματικά ή και συντακτικά λάθη. Μεγάλη πρόκληση για τον αναλυτή αποτελεί και η πολυγλωσσικότητα του περιεχομένου και πιο συγκεκριμένα η χρήση ελληνικών λέξεων γραμμένων με λατινικούς χαρακτήρες (Greeklish). Ειδικά οι λέ-

49 2.6 Προκλήσεις στην εφαρμογή της Ανάλυσης Συναισθήματος 35 ξεις που επισημαίνονται από τους χρήστες (hashtags), στη συντριπτική πλειοψηφία τους είναι γραμμένες με λατινικούς χαρακτήρες. Επιπλέον η χρήση συνδυασμών χαρακτήρων, που αναπαριστούν τις εκφράσεις του ανθρώπινου προσώπου για να εκδηλώσουν το α- ντίστοιχο συναίσθημα (emoticons) αλλά και η ύπαρξη υπερσυνδέσμων μέσα στο μήνυμα, το περιεχόμενο των οποίων δεν μπορει να εξαχθεί και να αναλυθεί μέσω ενός απλού μοντέλου ανάλυσης συναισθήματος συνιστούν σοβαρά ζητήματα που πρέπει να λαμβάνονται υπ οψη στην ανάλυση. Γενικά, έχει παρατηρηθεί πώς το περιεχόμενο και το ύφος του μηνύματος εξαρτάται από το θέμα με το οποίο σχετίζεται. Για παράδειγμα ένα μήνυμα για ένα μουσικό ή αθλητικό γεγονός που πιθανότατα δημοσιεύται στο λογαριασμό κάποιου νεαρού χρήστη, είναι πιο πιθανό να περιέχει νεολογισμούς ή εκφράσεις αργκό (εικόνα 2.5). Αντίθετα ένα μήνυμα από το λογαριασμό κάποιας ειδησεογραφικής σελίδας είναι συνοπτικό, έχει τυποποιημένο λεξιλόγιο και συνοδεύεται από τον αντίστοιχο σύνδεσμο(εικόνα 2.4). Γράφημα 2.4: Μήνυμα λογαριασμού ειδησεογραφικής ιστοσελίδας Γράφημα 2.5: Μήνυμα προσωπικού λογαριασμού Η έρευνα υποδεικνύει πως σε κάθε περίπτωση πριν την κατηγοριοποίηση των μηνυμάτων ανάλογα με την πολικότητα τους, το κείμενο πρέπει να υποστεί προεπεξεργασία, προκειμένου να εφαρμοστεί οποιαδήποτε διαδικασία μηχανικής μάθησης, ενώ είναι απαραίτητο

50 2.7 Σύγκριση Τεχνικών Επιβλεπόμενης Μάθησης & Λεξικολογικών Προσεγγίσεων36 να προσδιοριστεί με σαφή όρια το πεδίο στο οποίο εφαρμόζεται η Ανάλυση Συναισθήματος (domain specific). 2.7 Σύγκριση Τεχνικών Επιβλεπόμενης Μάθησης & Λεξικολογικών Προσεγγίσεων Η τελική αποτελεσματικότητα των τριών τεχνικών κατηγοριοποίησης (αλγόριθμος Naive Bayes, αλγόριθμος Support Vector Machine, χρήση Σύνθετου Λεξικού Συναισθήματος) θα κριθεί βάσει των μετρικών α- κρίβειας που αναφέρθηκαν νωρίτερα ανάλογα με τα αποτελέσματα που θα δώσουν στο Κεφάλαιο 4 της εργασίας. Ωστόσο είναι χρήσιμο να συνοψίσουμε τα πλεονεκτήματα και τα μειονεκτήματα κάθε μεθόδου. Γενικότερα η τελική ακρίβεια κάθε μεθόδου κρίνεται από τα επιμέρους χαρακτηριστικά κάθε συνόλου δεδομένων, από το αν γνωρίζουμε εκ των προτέρων τις κατηγορίες πολικότητας στις οποίες εμπίπτουν τα μηνύματα καθώς και από τον βαθμό στον οποίο το λεξικό συναισθήματος καλύπτει το περιεχόμενο των δεδομένων μας. 1. Προσεγγίσεις με λεξικά συναισθήματος. Γενικά οι μέθοδοι που κάνουν χρήση λεξικών συναισθήματος δεν χρειάζονται εκπαίδευση ενώ η χρήση προκατασκευασμένων λεξικών συναισθήματος διευκολύνει την ανάλυση. Ωστόσο συχνά, όταν συναντάμε μεγάλα σύνολα δεδομένων ο αριθμός των πολωμένων λέξεων των λεξικών θεωρείται πεπερασμένος, ενώ είναι πιθανό να υπάρχουν στα προκατασκευασμένα λεξικά λέξεις με επισήμανση πολικότητας διαφορετική από αυτή που προκύπτει στο σώμα κειμένου που εξετάζεται. Τέλος λόγω της ποικιλίας θεμάτων και τρόπων έκφρασης που υπάρχει στο διαδίκτυο είναι πολύ δύσκολη έως α- πίθανη η δημιουργία ενός διευρυμένου λεξικού που να ικανοποιεί ταυτόχρονα διαφορετικές ανάγκες ανάλυσης.

51 2.7 Σύγκριση Τεχνικών Επιβλεπόμενης Μάθησης & Λεξικολογικών Προσεγγίσεων37 2. Προσεγγίσεις επιβλεπόμενης μηχανικής μάθησης. Η επιλογή των μεθόδων επιβλεπόμενης μάθησης έγινε γιατί βάσει της βιβλιογραφίας παρουσίαζαν μεγαλύτερη ακρίβεια σε σχέση με τις μεθόδους μη επιβλεπόμενης μάθησης. Μία γενική εκτίμηση είναι ότι οι μέθοδοι επιβλεπόμενης μάθησης πετυχαίνουν ακρίβεια 80-84% (Πετρόπουλος,2016). Ωστόσο η υλοποίηση τους κρύβει πολλές προκλήσεις ενώ απαιτεί και αρκετό χρόνο. Η εκπαίδευση των δεδομένων απαιτεί τον περισσότερο χρόνο σε σχέση με όλες τις υπόλοιπες εργασίες. Το μέγεθος των παραδειγμάτων εκπαίδευσης μπορεί να διαφέρει ανάλογα με το σύνολο των δεδομένων, ενώ συχνά ακόμα και για τον ίδιο τον άνθρωπο είναι δύσκολο να τοποθετήσει ένα μήνυμα σε μια αυστηρά ορισμένη κατηγορία πολικότητας. Επιπλέον διαφορετικοί αλγόριθμοι πετυχαίνουν διαφορετικά επίπεδα ακρίβειας, όταν εφαρμόζονται σε διαφορετικά πεδία έρευνας. Συνεπώς κανένας αλγόριθμος δεν μπορεί να θεωρηθεί πανάκεια για όλα τα προβλήματα. Τέλος πρέπει πάντα να κατασκευάζεται ένα σύνολο εκπαίδευσης που να είναι αντιπροσωπευτικό του συνόλου ελέγχου, γεγονός που απαιτεί επιπλέον χρόνο για την υλοποίηση του συστήματος. Ο (Πετρόπουλος,2016) αναφέρει ότι υβριδικές μέθοδοι που συνδυάζουν τη χρήση λεξικών με τις τεχνικές επιβλεπόμενης μάθησης μπορεί να έχουν βελτιωμένη ακρίβεια.

52 Κεφάλαιο 3 Σχεδιασμός Και Υλοποίηση 3.1 Συλλογή εδομένων Το Twitter αποτελεί πρόσφορο έδαφος για την εφαρμογή της ανάλυσης συναισθήματος, όχι μόνο για την συντομία και την περιεκτικότητα του περιεχόμενου του αλλά και γιατί αυτό είναι διαθέσιμο προς χρήση από τους προγραμματιστές μέσω του πρωτοκόλλου API. Το API διακρίνεται σε Streaming, που επιτρέπει την συλλογή δεδομένων με συνεχή αιτήματα σε συνεχή και σχεδόν πραγματικό χρόνο, και REST API που παρέχει τη δυνατότητα πρόσβασης σε πληροφορίες όπως τα στοιχεία του χρήστη. Το Search API του REST δίνει πρόσβαση σε μηνύματα που δημοσιεύτηκαν στο διάστημα των τελευταίων 7 ημερών. Μία από τις ιδιαιτερότητες της παρούσας εργασίας είναι το γεγονός ότι το σύνολο δεδομένων δεν ήταν ήδη διαθέσιμο από κάποια πηγή, αλλά έπρεπε να οικοδομηθεί από την αρχή από εμάς σύμφωνα με τις ανάγκες της έρευνας μας. Για αυτό, σε συνεργασία με την Βλ. Τζίνοβιτς υλοποιήθηκε η εφαρμογή Tweet Collector, που χρησιμοποιεί το πρωτόκολλο Streaming API για να συλλέξει μηνύματα ανεξαρτήτως μεγέθους και χρονικού περιορισμού. Τα μηνύματα συλλέγονται 38

53 3.1 Συλλογή εδομένων 39 σε πραγματικό χρόνο, έπειτα από συνεχή αιτήματα που στέλνει η εφαρμογή στο Twitter. Η εφαρμογή επιτρέπει την αναζήτηση συγκεκριμένης φράσης ή συνδυασμού φράσεων, για την χρονική περίοδο που επιθυμεί ο χρήστης, χωρίς να θέτει περιορισμούς στον αριθμό των αποτελεσμάτων. Ακόμα, εκτός από το μήνυμα, επιστρέφει το όνομα και την ταυτότητα του χρήστη, τον μοναδικό αριθμό του μηνύματος, την ημερομηνία, ώρα και γλώσσα δημοσίευσης, την απήχηση και τον σύνδεσμο του. Τέλος η εφαρμογή μας δίνει στοιχεία σχετικά με το χρόνο που χρειάστηκε για να μαζέψει και να κατεβάσει τα μηνύματα. Γράφημα 3.1: Εφαρμογή Tweet Collector Η μεγαλύτερη πρόκληση που αντιμετωπίστηκε αναφορικά με τη συλλογή των δεδομένων, αφορά την εύρεση των κατάλληλων λέξεων αναζήτησης, που θα έφερναν ταυτόχρονα τα πιο σχετικά και τα περισσότερα αποτελέσματα. Οι παγκόσμιες τάσεις που εμφανίζονται

54 3.2 Γλώσσα Προγραμματισμού R 40 στην αρχική σελίδα του Twitter, αποτελούν μία καλή πηγή επιλογής λέξεων προς αναζήτηση, αφού δείχνουν ποια ζητήματα συζητούνται περισσότερο τη δεδομένη στιγμή από τους χρήστες. Ωστόσο καθώς στόχος της παρούσας εργασίας είναι η αξιολόγηση της κοινής γνώμης σε σχέση με πολιτικά γεγονότα που έλαβαν χώρα τα τελευταία δύο χρόνια, οι παρούσες τάσεις δεν είναι ενδεικτικές των ζητημάτων που συζητούσαν οι χρήστες κατά την εκάστοτε εξεταζόμενη περίοδο. Πραγματοποιήσαμε αρκετά πειράματα, με πολλές και διαφορετικές λέξεις κλειδιά μέχρι την κατασκευή του τελικού συνόλου δεδομένων. Επιπλέον καθώς τα τελευταία χρόνια οι πολιτικές και οικονομικές εξελίξεις στην Ελλάδα βρίσκονται διαρκώς στο επίκεντρο του ενδιαφέροντος των ξένων μέσων ενημέρωσης, συχνά οι αναζητήσεις ελληνικών όρων γραμμένων με λατινικούς χαρακτήρες φέρνουν μεγάλο αριθμό α- ποτελεσμάτων σε γλώσσες πέραν της ελληνικής (η πλειοψηφία των οποίων είναι γραμμένα στα Αγγλικά και τα Ισπανικά). Αυτό αποτέλεσε μία ακόμα πρόκληση, καθώς από το σύνολο των λέξεων που αναζητήθηκαν και αφορούσαν τις πολιτικές εξελίξεις στην Ελλάδα, έ- πρεπε να βρεθούν αυτές που είχαν χρησιμοποιηθεί περισσότερο από τους Ελληνες χρήστες. Και πάλι, τα συνεχή πειράματα ήταν αυτά που έφεραν τα επιθυμητά αποτελέσματα. 3.2 Γλώσσα Προγραμματισμού R Η υλοποίηση των αλγορίθμων της παρούσας διπλωματικής έγινε στη γλώσσα προγραμματισμού R. Πρόκειται για μία γλώσσα που χρησιμοποιείται κατά κόρον για στατιστικούς υπολογισμούς, εξόρυξη και ανάλυση δεδομένων. Μερικές από τις εργασίες που εκτελεί άπτονται προβλημάτων γραμμικής και μη γραμμικής μοντελοποίησης (li-

55 3.3 Προεπεξεργασία εδομένων 41 near & non linear modeling), συσταδοποίησης (clustering), περιγραφικής στατιστικής, κατηγοριοποίησης (classification), ανάλυσης χρονοσειρών κ.α.. Οι δυνατότητες που προσφέρει επεκτείνονται μέσω της χρήσης βιβλιοθηκών (libraries ή packages), που δημιουργούνται από τους προγραμματιστές- χρήστες της και παρέχουν επιπλέον εργαλεία ανάλυσης. Η R είναι ανοιχτό λογισμικό και διαθέσιμο δωρεάν σε όλους τους χρήστες. Στην εργασία μας χρησιμοποιήσαμε την πλατφόρμα του R Studio για την υλοποίηση του απαραίτητου κώδικα. 3.3 Προεπεξεργασία εδομένων Όπως έχει ήδη αναφερθεί, για την υλοποίηση της εργασίας δημιουργήσαμε τη δική μας βάση δεδομένων από μηνύματα που συλλέχθηκαν από την εφαρμογή Tweet Collector. Η εφαρμογή δίνει τα μηνύματα άθικτα, όπως έχουν δημοσιευτεί από το χρήστη, χωρίς να έχουν υ- ποστεί καμία επεξεργασία. Πριν την εφαρμογή οποιασδήποτε τεχνικής εξόρυξης γνώμης είναι απαραίτητο να καθαριστούν τα μηνύματα, από οποιονδήποτε περιττό θόρυβο δυσχαιρένει την κατηγοριοποίηση τους. Εχει ή- δη γίνει λόγος για τις συντομογραφίες, τα ορθογραφικά λάθη και τους ειδικούς χαρακτήρες που απροπροσανατολίζουν τους αλγορίθμους και οδηγούν σε λάθος συμπεράσματα. Η κανονικοποίηση των μηνυμάτων βελτιώνει την απόδοση του αλγορίθμου, επιταχύνει την κατηγοριοποίηση των μηνυμάτων και δίνει καλύτερα αποτελέσματα. Κατά συνέπεια η προεπεξεργασία αποτελεί ένα βήμα που δεν πρέπει να παραβλέπεται από κανέναν αναλυτή. Τα βήματα της προεπεξεργασίας των δεδομένων είναι τα εξής: 1. Μετατροπή πεζών σε κεφαλαίους χαρακτήρες Στα διαδικτυακά κείμενα πολύ συχνά οι χρήστες χρησιμοποιούν

56 3.3 Προεπεξεργασία εδομένων 42 κεφαλαίους χαρακτήρες για λόγους έμφασης (π.χ. ΟΛΟΙ οι πολιτικοί είναι κλέφτες). Αν και η χρήση τους φανερώνει την έ- νταση του συναισθήματος του χρήστη, δεν λέει τίποτα για την πολικότητα του. Επίσης, πριν την επεξεργασία, μετατροπή ή αφαίρεση οποιουδήποτε στοιχείου, είναι σημαντικό όλα τα μηνύματα να έρθουν στην ίδια μορφή. Συνεπώς το πρώτο βήμα της προεπεξεργασίας των δεδομένων είναι η μετατροπή όλων των πεζών σε κεφαλαίους χαρακτήρες. 2. Αντικατάσταση τονούμενων με άτονους χαρακτήρες Όσον αφορά την αντικατάσταση των τονούμενων με άτονους χαρακτήρες, η συζήτηση στην βιβλιογραφία είναι μεγάλη και αφορά το γεγονός ότι ο τόνος μίας λέξης μπορεί να αλλάξει τη σημασία της και άρα δεν πρέπει να παραβλέπεται κατά την ανάλυση. Στην παρούσα εργασία, γίνεται η υπόθεση ότι οι τόνοι επηρρεάζουν ελάχιστα την ανάλυση μας και άρα θα πρέπει να αφαιρεθούν. 3. Αφαίρεση υπερσυνδέσμων Αφού τα μηνύματα έρθουν σε όμοια μορφή, αφαιρούνται οι υπερσύνδεσμοι. Οι υπερ-σύνδεσμοι οδηγούν σε περιεχόμενο άλλων ιστοσελίδων. Αν και έχουν υπάρξει απόπειρες εξόρυξης γνώμης με τη χρήση τους, στην παρούσα εργασία δεν εξετάζεται η συμβολή τους στην πολικότητα των μηνυμάτων και συνεπώς αφαιρούνται. 4. Αφαίρεση ειδικών χαρακτήρων Εχει ήδη γίνει αναφορά στη χρήση ειδικών χαρακτήρων από τους χρήστες του Twitter, οι οποίοι κατά γενική ομολογία α- ποτελούν θόρυβο για το σύνολο δεδομένων. Οι αναφορές σε άλλους χρήστες οι χαρακτήρες RT που συμ-

57 3.3 Προεπεξεργασία εδομένων 43 βολίζουν την αναδημοσίευση κειμένου από άλλον χρήστη και οι χαρακτήρες της δίεσης (#,hashtag), που συνοδεύουν τις λέξεις κλειδιά στις οποίες αναφέρονται οι χρήστες είναι φανερό πως δεν προσφέρουν τίποτα όσον αφορά την κατηγοριοποίηση των μηνυμάτων σύμφωνα με την πολικότητα τους. Κατά συνέπεια πρέπει πάντα να αφαιρούνται πριν την εφαρμογή οποιουδήποτε αλγορίθμου. Αξίζει βέβαια να αναφερθεί πως στην περίπτωση των hashtags, αφαιρείται μόνο ο χαρακτήρας της δίεσης (#) και όχι η λέξη που συνοδεύει, αφού αποτελεί αναπόσπαστο στοιχείο της θεματικής ταυτότητας του μηνύματος. 5. Αφαίρεση σημείων στίξης Όπως συμβαίνει και με την χρήση των κεφαλαίων χαρακτήρων, οι χρήστες συχνά χρησιμοποιούν επαναλαμβανόμενα σημεία στίξης για να τονίσουν το περιεχόμενο του μηνύματος τους (π.χ. Παγκόσμιος ηγέτης ο Τσίπρας;;;;). Ωστόσο και σε αυτή την περίπτωση χρησιμεύουν μόνο στον εντοπισμό της έντασης του συναισθήματος και όχι στον εντοπισμό του μηνύματος αυτού καθεαυτού. Άρα, τα σημεία στίξης είναι περιττά και πρέπει να αφαιρούνται. 6. Αφαίρεση αριθμών Οι αριθμοί δεν παρέχουν καμία επιπλέον πληροφορία και δεν βοηθούν τη διαδικασία της εξόρυξης συναισθήματος, συνεπώς αφαιρούνται από κάθε σύνολο δεδομένων. 7. Αφαίρεση stop words Τα stop words είναι οι πολύ κοινά χρησιμοποιούμενες λέξεις μίας γλώσσας, το περιεχόμενο των οποίων δεν είναι συναισθηματικά φορτισμένο. Παραδείγματα τέτοιων λέξεων είναι τα άρθρα, οι σύνδεσμοι, οι προθέσεις, οι αντωνυμίες ή ακόμα και ορισμένα

58 3.3 Προεπεξεργασία εδομένων 44 ρήματα (π.χ. έχω, είμαι) και ουσιαστικά (π.χ. καρέκλα, μολύβι κ.λ.π.). Για τις πολύ διαδεδομένες λέξεις, όπως τα αγγλικά, οι γλώσσες προγραμματισμού, όπως η R που χρησιμοποιείται εδώ, έχουν ενσωματωμένες λίστες stop words, στις οποίες ο χρήστης μπορεί να προσθέσει κατά βούληση και άλλες λέξεις. Όσον αφορά τα ελληνικά, κυκλοφορούν στο διαδίκτυο διάφορες λίστες stop words, βασισμένες σε λεξικά της νέας ελληνικής. Στην παρούσα εργασία κάνουμε χρήσης της δημοσιευμένης στο GitHub λίστας του χρήστη xtsimpouris, από την οποία αφαιρέσαμε το δεν, αφού η χρήση του αντιστρέφει την πολικότητα του κειμένου. 8. Στελεχωτής ελληνικού κειμένου (Stemming) Το τελευταίο και πιο σημαντικό βήμα της προεπεξεργασίας των δεδομένων είναι το Stemming, δηλαδή η αφαίρεση των καταλήξεων και των προσφυμάτων των λέξεων. Η ελληνική γλώσσα είναι πολύ πλούσια όχι μόνο σε λεξιλόγιο αλλά και σε γραμματικούς κανόνες και εξαιρέσεις. Τα ρήματα έχουν 6 πρόσωπα, 7 χρόνους, 2 φωνές και 3 εγκλίσεις, τα ουσιαστικά κλίνονται σε 4 πτώσεις σε 2 αριθμούς ενώ τα επίθετα εκφράζονται σε 3 γένη και βρίσκονται πάντα σε συμφωνία με το ουσιαστικό που συνοδεύουν. Όλα τα μέρη του λόγου έχουν πολλούς κλητικούς τύπους, ενώ τα ρήματα ανάλογα με τον χρόνο στον οποίο κλίνονται μπορεί να παίρνουν προσαυξήσεις ή να έχουν ανώμαλους τύπους. Είναι φυσικό ένας αλγόριθμος να μην είναι σε θέση να καταλάβει την ομοιότητα διαφορετικών τύπων της ίδιας λέξης, για αυτό χρειάζεται να κόψουμε τις καταλήξεις και τις προσαυξήσεις των λέξεων και να κρατήσουμε μόνο τις ρίζες τους. Για τις ανάγκες της εργασίας υλοποιήσαμε έναν στελεχωτή ελληνικού κειμένου στην γλώσσα PHP. Η δημιουργία βασίστηκε στον ευρέως χρησιμοποιούμενο στελεχωτή του (Porter) και στον στε-

59 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 45 λέχωτη ελληνικής γλώσσας που δημιούργησαν οι (Tambouratzis & Carayannis, 2001). Ο Porter θεώρησε πως οι καταλήξεις των λέξεων της αγγλικής γλώσσας είναι ένας συνδυασμός από μικρότερες καταλήξεις, ενώ οι (Tambouratzis & Carayannis, 2001) θεωρούν ότι κάθε λέξη α- ποτελείται από μία ρίζα και μία κατάληξη. Ο στελεχωτής τους αφαιρεί τις καταλήξεις βάσει της ομοιότητας τους με μία αρχική λίστα που περιέχει γνωστές ελληνικές ρίζες και καταλήξεις. Ο στελεχωτής που υλοποιήσαμε αποτελεί συνδυασμό των δύο προσεγγίσεων και αφαιρεί μόνο την κατάληξη κάθε λέξης. Η εικόνα 3.2 δίνει ως παράδειγμα ένα μήνυμα πριν και μετά την αφαίρεση των καταλήξεων των λέξεων που περιέχει. Γράφημα 3.2: Μήνυμα πριν και μετά την επεξαργασία του στελεχωτή ελληνικού κειμένου Ακολουθούν παραδείγματα μηνυμάτων πριν, κατά τη διάρκεια και μετά την επεξεργασία: 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης Στη συγκεκριμένη εργασία γίνεται προσπάθεια κατηγοριοποίησης των μηνυμάτων των ελλήνων χρηστών του Twitter σε 3 κατηγο-

60 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 46 Γράφημα 3.3: Στάδια Προεπεξεργασίας κειμένου ρίες ανάλογα με την πολικότητα τους (θετική, αρνητική ή ουδέτερη). Οι λέξεις που περιέχονται σε κάθε μήνυμα, θεωρείται πως είναι τα χαρακτηριστικά του, βάσει των οποίων ο ταξινομητής θα προσπαθήσει να προβλέψει την κατηγορία στην οποία ανήκει. Το πρόβλημα μας δηλαδή ανήκει στην κατηγορία της προβλεπτικής μοντελοποίησης, όπου γίνεται χρήση ενός μοντέλου για την πρόβεψη εγγραφών με άγνωστες εξόδους (κλάσεις). Ενας αλγόριθμος επιβλεπόμενης μάθησης, αφού επεξεργαστεί και φέρει σε κατάλληλη μορφή όλα τα δεδομένα εισόδου, εκπαιδεύεται από ένα σύνολο εγγραφών με γνωστές εξόδους, προκειμένου να δημιουργήσει ένα μοντέλο πρόβλεψης. Στη συνέχεια χρησιμοποιεί το μοντέλο για να κατηγοριοποιήσει τις μη ταξινομημένες εγγραφές. Το γράφημα 3.4 παρουσιάζει σε ένα διάγραμμα ροής τα βήματα που ακολουθεί ο αλγόριθμος πριν οδηγηθεί στην κατηγοριοποίηση των νέων εγγραφών.

61 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 47 Γράφημα 3.4: ιάγραμμα ροής αλγορίθμου εκπαιδευόμενης μάθησης Εφαρμογή Αλγορίθμου Naive Bayes Η πρόβλεψη της κατηγορίας πολικότητας την οποία εκφράζει ένα μήνυμα κειμένου είναι ένα εξαιρετικά δύσκολο έργο. Το σύνολο των χαρακτηριστικών των εγγραφών είναι οι λέξεις που περιέχονται σε κάθε μήνυμα και η σχέση τους με τις κατηγορίες μπορεί να χαρακτηρισθεί ως μη ντετερμινιστική, δηλαδή οι κατηγορίες δεν μπορούν να προβλεφθούν με βεβαιότητα ακόμα και αν τα χαρακτηριστικά του συνόλου ελέγχου είναι ίδια με αυτά του συνόλου εκπαίδευσης. Για αυτό το λόγο, ακολουθώντας και τη βιβλιογραφία η πρώτη απόπειρα πρόβλεψης της πολικότητας των ελλήνων χρηστών έγινε χρησιμοποιώντας τον αλγόριθμο Naive Bayes. Για την υλοποίηση του αλγορίθμου του Naive Bayes θα γίνει χρήση των βιβλιοθηκών Text Mining (tm) και e1071 της R. Στη συνέχεια περιγράφουμε σε βήματα την εφαρμογή του αλγορίθμου. Βήμα 1ο: Εισαγωγή εδομένων.

62 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 48 Εισάγουμε στην R τη βάση δεδομένων με τα μηνύματα από την εφαρμογή Tweet Collector Βήμα 2ο: Προεπεξεργασία και καθαρισμός δεδομένων. Προχωράμε στην προεπεξεργασία και καθαρισμό των δεδομένων όπως αναφέρθηκε στο τμήμα 3.3. Επιγραμματικά αναφέρουμε πως μετατρέπουμε τους πεζούς χαρακτήρες σε κεφαλαίους, α- ντικαθιστούμε τους τονισμένους με άτονους, αφαιρούμε ειδικούς χαρακτήρες και υπερσυνδέσμους, αφαιρούμε τα stopwords και ο- λοκληρώνουμε την προεπεξεργασία με την εφαρμογή του στελεχωτή ελληνικής γλώσσας. Βήμα 3ο: ημιουργία Μήτρας Εγγράφων- Όρων (Document- Term Matrix) Πριν την εφαρμογή του αλγορίθμου, είναι απαραίτητος ο μετασχηματισμός των δεδομένων σε κατάλληλη μορφή, ώστε να διαβαστούν σωστά από τον Naive Bayes. Ο αλγόριθμος δέχεται τα δεδομένα ως ένα σώμα εγγράφων (corpus). Πριν εκπαιδευτεί, πρέπει να φέρουμε τα δεδομένα σε μορφή μήτρας εγγράφων- όρων (document- term matrix). Όπου έγγραφο είναι το κάθε μήνυμα του Twitter που περιέχεται στο σύνολο δεδομένων μας και όροι είναι όλες οι λέξεις που περιέχει το κάθε μήνυμα. Η μήτρα που δημιουργείται περιγράφει την συχνότητα εμφάνισης των λέξεων σε κάθε έγγραφο. Για να γίνει καλύτερα κατανοητή η έννοια ας μελετήσουμε το πολύ απλό παράδειγμα του γραφήματος 3.5. Εστω τα μηνύματα: μήνυμα 1: εν θα ψηφίσω ξανά ΣΥΡΙΖΑ μήνυμα 2: Θα ψηφίσω ξανά ΣΥΡΙΖΑ μήνυμα 3: Θα ψηφίσω βάσει της συνείδησης μου

63 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 49 Γράφημα 3.5: Document Term Matrix Κάθε λέξη που εμφανίζεται παίρνει την τιμή 1 και κάθε λέξη που δεν εμφανίζεται παίρνει την τιμή 0. Βέβαια συχνά αντί για [0,1] χρησιμοποιούνται οι συχνότητες εμφάνισης των λέξεων (term frequency/ tf) ή οι αντίστροφες συχνότητες εμφάνισης των λέξεων (term frequency- inverse document term frequency ή tf-idf). Τελικά η μήτρα θα περιγράφει ποια έγγραφα περιέχουν ποιες λέξεις και πόσες φορές αυτές εμφανίζονται. Η δημιουργία της μήτρας γίνεται μέσω της βιβλιοθήκης Text Mining. Ωστόσο πριν προχωρήσουμε στην εφαρμογή του Naive Bayes είναι απαραίτητο να μετατρέψουμε τα δεδομένα σε μία μορφή επεξεργάσιμη και από άλλες βιβλιοθήκες της R. Για αυτό μετατρέπουμε την document term matrix σε μορφή data frame (αντικείμενο της R) και στη συνέχεια σε απλή μήτρα (matrix). Βήμα 4ο: ημιουργία Συνόλων Εκπαίδευσης και Ελέγχου Όπως έχει ήδη αναφερθεί, ο Naive Bayes εκπαιδεύεται από το σύνολο εκπαίδευσης, προκειμένου να προβλέψει σωστά τα μη ταξινομημένα παραδείγματα του συνόλου ελέγχου. Γνωρίζουμε

64 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 50 ότι λόγω της υπόθεσης της ανεξαρτησίας, ο Naive Bayes δεν χρειάζεται πολύ μεγάλο πλήθος παραδειγμάτων προκειμένου να εκπαιδευτεί. Αξίζει να σημειώσουμε ότι η απλοϊκή υπόθεση της ανεξαρτήσιας του Naive Bayes, υποστηρίζει ότι κάθε λέξη είναι ανεξάρτητη από κάθε άλλη, δοσμένης της κλάσης της. ηλαδή κάθε λέξη συνεισφέρει ανεξάρτητα από κάθε άλλη στην πιθανότητα κάποιο νέο παράδειγμα να ανήκει σε μια κατηγορία. Στην πραγματικότητα βέβαια, πολλές λέξεις είναι εξαρτημένες μεταξύ τους. Για παράδειγμα είναι πολύ πιθανό μηνύματα που αναφέρουν την λέξη Τσίπρας να αναφέρουν και την λέξη Αλέξης. Σύμφωνα με τον (Ιωάννου,2014) ο Naive Bayes αν και δεν βρίσκει πάντα σωστά τις πιθανότητες κάθε κατηγορίας, μπορεί να αποφασίσει σωστά. Ενας γενικός κανόνας αναφέρει πως 100 παραδείγματα του συνόλου εκπαίδευσης είναι αρκετά προκειμένου να κάνει σωστές προβλέψεις ο ταξινομητής. Ωστόσο το πλήθος των εγγραφών πρέπει να λαμβάνεται υπ όψη στη δημιουργία του συνόλου ε- λέγχου. Στη βιβλιογραφία συχνά χρησιμοποιείται η αναλογία 70% για το σύνολο εκπαίδευσης και 30% για το σύνολο ελέγχου. Η επιλογή μεγάλων συνόλων εκπαίδευσης αν και μπορεί να διευκολύνει την κατηγοριοποίηση, είναι πιθανό να προκαλέσει προβλήματα υπερπροσαρμογής (overfitting), μειώνοντας την ακρίβεια πρόβλεψης. Συχνά για να ελαχιστοποιηθεί η απώλεια ακρίβειας, ο χρήστης πρώτα εκτιμά την ακρίβεια πρόβλεψης για ένα υποσύνολο του συνόλου εκπαίδευσης και στη συνέχεια προχωρά στην ταξινό-

65 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 51 μηση των νέων εγγραφών. Βήμα 5: Εφαρμογή Αλγορίθμου Naive Bayes Καλούμε την βιβλιοθήκη e1071 της R. Αφού έχουμε επιλέξει το μέγεθος του συνόλου εκπαίδευσης, το χρησιμοποιούμε ως όρισμα στη συνάρτηση της R, προκειμένου να δημιουργήσουμε το μοντέλο και να εκπαιδεύσουμε τον αλγόριθμο. Ο Naive Bayes υπολογίζει την εκ των προτέρων πιθανότητα για κάθε κατηγορία του συνόλου εκπαίδευσης και τις υπό- συνθήκη πιθανότητες του συνόλου ελέγχου, προκειμένου να βρει τις εκ των υστέρων πιθανότητες και να πραγματοποιήσει την πρόβλεψη. Το γράφημα 3.6 παρουσιάζει συνοπτικά τα βήματα στα οποία αναφέρθηκαμε παραπάνω.

66 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης 52 Γράφημα 3.6: ιάγραμμα ροής Naive Bayes

67 3.4 Εφαρμογή Αλγορίθμων Επιβλεπόμενης Μάθησης Εφαρμογή Αλγορίθμου Support Vector Machine Ο αλγόριθμος Support Vector Machine είναι αρκετά δημοφιλής στη λύση προβλημάτων κατηγοριοποίησης. Για την υλοποίηση του χρησιμοποιείται η βιβλιοθήκη R Text Tools της R. Η βιβλιοθήκη περιέχει και άλλους αλγορίθμους επιβλεπόμενης μάθησης, ωστόσο εμείς επιλέγουμε τον SVM. Τα βήματα της υλοποίησης είναι όμοια με αυτά που ακολουθήσαμε για τον Naive Bayes. Τα δεδομένα πρέπει να περάσουν από προεπεξεργασία και να έλθουν σε μορφή μήτρας, ώστε να είναι επεξεργάσιμα από την R Text Tools. Αφού τα διαχωρίσουμε σε παραδείγματα εκπαίδευσης και ελέγχου, ο SVM θα υπολογίσει την ευκλείδια απόσταση ανάμεσα στο τελευταίο αντικείμενο κάθε κατηγορίας και ένα υπερεπίπεδο διαχωρισμού, προκειμένου να αποφασίσει και προχωρήσει στην πρόβλεψη. Το γράφημα 3.7 περιγράφει την διαδικασία που ακολουθείται για την πραγματοποίηση της πρόβλεψης. Γράφημα 3.7: ιάγραμμα Ροής Support Vector Machine

68 3.5 Εφαρμογή Niosto Εφαρμογή Niosto Οι (Agathangelou et al.,2014) δημιούργησαν την εφαρμογή Niosto, έ- να εργαλείο εντοπισμού και εξόρυξης λέξεων που εκφράζουν γνώμη από δεδομένα κειμένου. Η εφαρμογή δέχεται ως είσοδο ένα αρχείο κειμένου και εφαρμόζει διάφορες τεχνικές εξόρυξης γνώσης προκειμένου να παράξει ένα σύνολο λέξεων που εκφράζουν θετική, αρνητική ή ουδέτερη γνώμη. Κίνητρο για τη δημιουργία της εφαρμογής ήταν η έλλειψη επαρκών και αντιπροσωπευτικών λεξικών συναισθήματος για γλώσσες πέραν της αγγλικής, ενώ στόχος των μελετητών ήταν η δημιουργία ενός συστήματος ανάλυσης συναισθήματος που θα χρειαζόταν ένα μικρό αρχικό δείγμα λέξεων με γνωστή πολικότητα, θα χρησιμοποιούσε τεχνικές μη επιβλεπόμενης μάθησης και θα μπορούσε να εφαρμοστεί σε γλώσσες πέραν της αγγλικής. Παρακάτω παραθέτουμε τα βήματα που ακολούθησαν οι Agathangelou et al για να πετύχουν την μέγιστη ακρίβεια στο λεξικό συναισθήματος που παράγεται από το Niosto. Βήμα 1ο: Αφαίρεση θορύβου. Η αφαίρεση περιττών χαρακτήρων και η εφαρμογή του στελεχωτή (stemming) λέξεων είναι απαραίτητη σε κάθε διαδικασία εξόρυξης γνώμης, προκειμένου να γίνουν τα παραδείγματα που πρόκειται να κατηγοριοποιηθούν συγκρίσιμα. Βήμα 2ο: Προετοιμασία βοηθητικής λίστας λέξεων (Auxiliary List Preparation). Η βοηθητική λίστα περιέχει λέξεις που εκφράζουν σύγκριση, αύξηση, μείωση ή άρνηση και επηρεάζουν την ακρίβεια πρόβλεψης του αλγορίθμου. Η λίστα χρησιμοποιείται στην εξαγωγή των λέξεων συναισθήματος.

69 3.5 Εφαρμογή Niosto 55 Βήμα 3ο: Εισαγωγή γενικών λέξεων συναισθήματος (Seed Import and Filtered Seed Extraction). Η εφαρμογή χρησιμοποιεί μία μικρή, αρχική πηγή λέξεων συναισθήματος και από αυτή αφαιρεί όσες λέξεις δεν εμφανίζονται στο σύνολο δεδομένων που εξετάζει. Στη συνέχεια, εξετάζει την ύπαρξη γραμματικών φαινομένων που μεταβάλλουν την πολικότητα των λέξεων (π.χ. ύπαρξη άρνησης : αυτή η ταινία δεν είναι καλή) και σε περίπτωση που όντως υπάρχουν τέτοια φαινόμενα, αλλάζει την πολικότητα τους στο λεξικό. Βήμα 4ο: Ελεγχος για λέξεις σύζευξης (Conjunction based extraction of opinion words). Λαμβάνοντας υπ οψη τις λέξεις και τις εκφράσεις που δηλώνουν σύζευξη,όπως ο σύνδεσμος και, το σύστημα αναγνωρίζει συνεχόμενες λέξεις συναισθήματος (π.χ. ο Ανδρέας είναι όμορφος και έξυπνος). Βήμα 5ο: ιπλή διάδοση (double propagation). Χρησιμοποιώντας την αρχική πηγή πολωμένων λέξεων εντοπίζονται τα αντικείμενα- στόχοι που συνοδεύουν (π.χ. καταπληκτικό φόρεμα, πολωμένη λέξη: καταπληκτικό, αντικείμενο στόχος: φόρεμα). Στη συνέχεια ακολουθώντας την ίδια λογική γίνεται έλεγχος για άγνωστες πολωμένες λέξεις που μπορεί να συνοδεύον τα αντικείμενα στόχους. Η διαδικασία θα επαναλαμβάνεται μέχρι να σταματήσει το σύστημα να βρίσκει νέες λέξεις συναισθήματος. Η διαδικασία βασίζεται στην υπόθεση ότι αφενός οι λέξεις που συνοδεύουν τα αντικείμενα στόχους θα εκφράζουν την ίδια άποψη για αυτά (π.χ. καταπληκτικό και κομψό φόρεμα) και αφεταίρου στην υπόθεση ότι λέξεις συναισθήματος που βρίσκονται σε συνεχόμενες προτάσεις εκφράζουν επίσης την ίδια πολικότητα.

70 3.5 Εφαρμογή Niosto 56 Βήμα 6ο: Επικύρωση λέξεων συναισθήματος (Opinion Word Validation). Μέχρι τώρα έχουν γίνει όλα τα απαραίτητα βήματα για την ανακάλυψη νέων λέξεων συναισθήματος, ωστόσο οι ερευνητές παρατήρησαν ότι οι λέξεις που προέρχονται από την μέθοδο της διπλής διάδοσης έχουν μικρότερη ακρίβεια. Για αυτό στο τελευταίο βήμα πριν την υλοποίηση της εφαρμογής επιλέγονται μόνο οι λέξεις που εκφράζουν συναίσθημα εντονότερο από έναν προκαθορισμένο βαθμό ς και έχουν συχνότητα εμφανίσης μεγαλύτερη από ένα προκαθορισμένο όριο θ. Με την ολοκλήρωση των παραπάνω βημάτων, υλοποιείται η εφαρμογή Niosto, που παρέχει μία λίστα με τις λέξεις συναισθήματος που εντοπίζονται σε κάθε σύνολο δεδομένων και οπτικοποιεί τα αποτελέσματα της ανάλυσης συναισθήματος και τις επιδόσεις του αλγορίθμου όσον αφορά την ακρίβεια πρόβλεψης. Στην εικόνα 3.8 παρουσιάζεται η αρχική οθόνη της εφαρμογής Γράφημα 3.8: Αρχική οθόνη εφαρμογής Niosto

71 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 57 Το αρχείο που δίνεται ως είσοδος στο Niosto περιέχει τα tweets, τα οποία είναι βαθμολογημένα από 1 έως 5, με το 1 να θεωρείται η πιο αρνητική βαθμολογία, το 0 ουδέτερη και το 5 η περισσότερο θετική. Η εφαρμογή Niosto, μας δίνει την δυνατότητα να διασταυρώσουμε τα αποτέλεσματα που λαμβάνουμε από την υλοποίηση των αλγορίθμων κατηγοριοποίησης μηχανικής μάθησης που παρουσίαστηκαν παραπάνω, ενώ αποτελεί πολύτιμο εργαλείο για την Ανάλυση Συναισθήματος με τη Χρήση Λεξικού που παρουσιάζεται στην επόμενη ενότητα. 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού ημιουργία Λεξικού Σύμφωνα με τον (Muhammad, 2013) η μέθοδος που δίνει τις περισσότερο ακριβείς προβλέψεις για την πολικότητα των μηνυμάτων είναι η δημιουργία ενός σύνθετου λεξικού συναισθήματος που περιέχει μία λίστα λέξεων με γενικά καθορισμένη πολικότητα και συμπληρώνεται από μία λίστα με λέξεις, η πολικότητα των οποίων έχει προκύψει από το συγκεκριμένο σύνολο δεδομένων (domain specific). Στην εργασία μας κάναμε χρήση του γενικευμένου λεξικού συναισθήματος των Αδάμ Τσακαλίδη (Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών), Συμεών Παπαδόπουλου (Ινστιτούτο Τεχνολογιών Πληροφορικής και Επικοινωνιών), Ουρανίας Βοσκάκη (Κέντρο Ελληνικής Γλώσσας), Κυριακής Ιωαννίδου (Κέντρο Ελληνικής Γλώσσας) και Χριστίνας Βοϊδίδου (Κέντρο Ελληνικής Γλώσσας), που βρίσκεται διαθέσιμο στο διαδίκτυο στο εναποθετήριο εργασιών ανοιχτού κώδικα

72 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 58 GitHub. Το λεξικό υλοποιήθηκε με την υποστήριξη του προγράμματος SocialSensor(Tsakalidis, Papadopoulos & Kompatsiaris 2014). Το λεξικό περιέχει 2324 λέξεις. Τέσσερις βαθμολογητές τις έχουν επισημειώσει σύμφωνα με το μέρος του λόγου στο οποίο ανήκει κάθε λέξη (part-of-speech tag), την υποκειμενικότητα (ισχυρή, ασθενής, καθόλου), την πολικότητα (θετική, αρνητική, ουδέτερη) και το συναίσθημα (θυμός, αηδία, φόβος, ευτυχία, λύπη και έκπληξη). Οι βαθμολογητές έχουν επισημειώσει την κάθε λέξη σύμφωνα με το νόημα που θεωρούν ότι θα έπαιρνε σε κάποια τυχαία πρόταση. Για τις ανάγκες της παρούσας εργασίας κάναμε χρήση των επισημειωμένων λέξεων μόνο σύμφωνα με την κατηγορία της πολικότητας τους. Αυτή η επιλογή έγινε καθώς οι υπόλοιπες κατηγορίες δεν ά- πτονταν του ερευνητικού ενδιαφέροντος της παρούσας εργασίας. Η πολικότητα παίρνει μία βαθμολογία από το -4 έως το 4, ανάλογα με την συμφωνία των βαθμολογητών. Για παράδειγμα, μία λέξη για την οποία και οι τέσσερις βαθμολογητές είχαν συμφωνήσει ότι έχει αρνητική πολικότητα βαθμολογείται με -4. Εάν οι τρεις έχουν συμφωνήσει ότι η πολικότητα της είναι αρνητική, η βαθμολογία της είναι -3. Αντίστοιχα μία λέξη για την οποία και οι τέσσερις βαθμολογητές συμφώνησαν πώς έχει θετική πολικότητα, βαθμολογείται με 4. Να σημειωθεί πως εάν για κάποια λέξη δύο βαθμολογητές θεωρούν πως έχει αρνητική και δύο πως έχει θετική πολικότητα, τότε βαθμολογείται με 0 και επισημειώνεται ως ουδέτερη. Παρόμοια λέξεις για την οποία τέσσερις ή τρεις βαθμολογητές συμφωνούν πώς είναι ουδέτερη, βαθμολογείται από εμάς με μηδέν. Όπως έχει ήδη γίνει κατανοητό λέξεις με βαθμολογία μικρότερη του μηδενός [-4,-1] θεωρείται πως έχουν αρνητική πολικότητα, λέξεις με βαθμολογία μεγαλύτερη του μηδενός [1,4] έχουν θετική πολικότητα και λέξεις με πολικότητα ίση με το μηδέν επισημειώνονται ως ουδέτερες.

73 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 59 Γενικά θεωρείται πως η διαβάθμιση της βαθμολογίας της πολικότητας κάθε λέξης (-4 έως +4) συμβάλλει στην αναγνώριση της εντάσεως του συναισθήματος που αυτή πρεσβεύει και κατά συνέπεια στην α- κριβέστερη απεικόνιση του συνολικού συναισθήματος της πρότασης (Σφακιανάκης,2016). Η βάση αυτής της υπόθεσης έγκειται στο γεγονός πώς δεν κουβαλούν όλες οι λέξεις (ακόμα και αν εκφράζουν την ίδια πολικότητα) την ίδια ένταση στο συναισθηματικό τους περιεχόμενο με αποτέλεσμα η ύπαρξη ακόμα και μίας λέξης με πολύ έντονο περιεχόμενο να καθορίζει και το συνολικό συναίσθημα της πρότασης. Ετσι οι λέξεις που εκφράζουν πολύ έντονο συναίσθημα αποκτούν μεγαλύτερο βάρος Υλοποίηση Εξειδικευμένου Λεξικού Συναισθήματος Προκειμένου να επεκτείνουμε το λεξικό συναισθήματος κάναμε χρήση της λίστας των λέξεων συναισθήματος που προκύπτουν από την εφαρμογή του Niosto. ίνοντας ως είσοδο στο Niosto το σύνολο εκπαίδευσης, δηλαδή τις κατηγοριοποιημένες εγγραφές, πήραμε μία λίστα με τις λέξεις συναισθήματος που εντόπισε το Niosto στα δεδομένα μας (εικόνα 3.9). Στη συνέχεια βαθμολογήσαμε τις λέξεις που μας έδωσε η εφαρμογή, με (-4) εάν η πολικότητα τους ήταν αρνητική και (4) εάν ήταν θετική. Για λόγους ακρίβειας, θεωρούμε απαραίτητη την εξακρίβωση της πολικότητας των περιεχομένων του εξειδικευμένου λεξικού που παρέχει η εφαρμογή. Ο μόνος τρόπος να γίνει αυτό είναι χειροκίνητα. ηλαδή αναζητήσαμε κάθε μία από τις λέξεις που υπήρχαν στο λεξικό του Niosto, στις εγγραφές του συνόλου εκπαίδευσης. Σε περιπτώσεις που θεωρήσαμε πώς το συναισθηματικό βάρος κάποιας λέξης στα κατηγοριοποιημένα παραδείγματα ήταν διαφορετικό από αυτό έδινε το Niosto, ταξινομούσαμε την λέξη σύμφωνα με την δική

74 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 60 Γράφημα 3.9: Λίστα θετικά πολωμένων λέξεων από την εφαρμογή Niosto Γράφημα 3.10: Λίστα αρνητικά πολωμένων λέξεων από την εφαρμογή Niosto μας κρίση. Επιπλέον θεωρήσαμε πως έπρεπε να επεκταθεί το εξειδικευμένο λεξικό συναισθήματος, πέραν των λέξεων που παρείχε το Niosto, με τις λέξεις που παρουσιάζονταν με την μεγαλύτερη συχνότητα στο σύνολο δεδομένων εκπαίδευσης. Αναζητήσαμε λοιπόν τις πιο συχνά εμφανιζόμενες λέξεις του συνόλου δεδομένων και ανατρέξαμε στα μηνύματα προκειμένου να εξακριβώσουμε την πολικότητα τους. Πρέπει να σημειώσουμε ότι αυτές οι λέξεις δεν είναι αποκλειστικά επίθετα ή ρήματα με συγκεκριμένο συναισθηματικό φορτίο που κατά πάσα πιθανότητα βρίσκονται ήδη σε ένα από τα δύο διαθέσιμα λεξικά (του Τσακαλίδη ή της εφαρμογής του Niosto), αλλά είναι πιθανό να είναι ονόματα ή τοποθεσίες, ρήματα με ουδέτερο περιεχόμενο και ουσιαστικά χωρίς συγκεκριμένη

75 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 61 πολικότητα, που όμως επαναλαμβάνονται σε μηνύματα που έχουν τοποθετηθεί στην ίδια κατηγορία συναισθήματος. Για παράδειγμα τα μηνύματα Ομιλία του Αλέξη Τσίπρα στην Καλαμάτα την Κυριακή, Καλαμάτα: Ο επόμενος σταθμός της περιοδείας του Αλέξη Τσίπρα, περιέχουν την λέξη Καλαμάτα. Πρόκειται για έναν γεωγραφικό προσδιορισμό χωρίς συγκεκριμένη πολικότητα. Ωστόσο καθώς παρατηρείται επανάληψη της λέξης σε μηνύματα που χαρακτηρίζονται ως ουδέτερα, η λέξη θα προστεθεί στο λεξικό συναισθήματος ως ουδέτερη. Άλλωστε αυτός είναι ο λόγος ύπαρξης του εξειδικευμένου λεξικού συναισθήματος. Να περιλαμβάνει λέξεις που κάτω από διαφορετικό πλαίσιο θα είχαν διαφορετικό νόημα ή θα ήταν ανάξιες μελέτης και αναφοράς. Το τελευταίο βήμα πριν την ολοκλήρωση του λεξικού συναισθήματος είναι ο έλεγχος διπλοεγγραφών. Σε περίπτωση που κάποια λέξη επαναλαμβάνεται και στα τρία (γενικευμένο, εξειδικευμένο Niosto, εξειδικευμένο βάσει των συχνότερα εμφανιζόμενων λέξεων) ή έστω στα δύο λεξικά, θα πρέπει να διαγράφονται οι επιπλέον εγγραφές της. Χρειάζεται ωστόσο προσοχή καθώς πάντα πρέπει να επιλέγεται η πολικότητα της στο πλέον εξειδικευμένο λεξικό. Στη συνέχεια πρέπει να περάσουμε το λεξικό συναισθήματος μέσα από τον στελεχωτή ελληνικής γλώσσας (stemming). Κατά την προεπεξεργασία του συνόλου δεδομένων μας, περάσαμε και τα μηνύματα μέσα από τον στελεχωτή με στόχο την μείωση του θορύβου και την διευκόλυνση της αναγνώρισης της ομοιότητας ανάμεσα στις λέξεις. Συνεπώς, προκειμένου να αναγνωριστούν οι πολωμένες λέξεις του λεξικού μέσα στο σώμα των μηνυμάτων, πρέπει να έχουν την ίδια μορφή. Άρα, είναι απαραίτητο να περάσει και το λεξικό από τη διαδικασία του στελεχωτή.

76 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 62 Αφού το περιεχόμενο του λεξικού και του συνόλου δεδομένων έ- χουν την ίδια μορφή, είναι δυνατή η εφαρμογή της μεθόδου. Όταν ακολουθούμε την ανάλυση συναισθήματος με βάση ένα λεξικό συναισθήματος, θεωρούμε ότι το κείμενο προς κατηογοριοποίηση είναι ένα σύνολο λέξεων, των οποίων η σύνταξη και η σειρά εμφάνισης μέσα στο παράδειγμα δεν μας απασχολεί. ηλαδή αντιμετωπίζουμε το μήνυμα σαν ένα σάκο από λέξεις (bag of words). Ξεκινάμε λοιπόν ελέγχοντας για κάθε λέξη που περιέχεται στα μηνύματα εάν βρίσκεται και στο λεξικό συναισθήματος. Εάν η λέξη ε- ντοπιστεί στο λεξικό τότε βαθμολογείται σύμφωνα με την βαθμολογία που έχει σε αυτό. Σε περίπτωση που ο αλγόριθμός μας δεν εντοπίσει την λέξη στο λεξικό, τότε θεωρεί πώς δεν έχει συναισθηματικό βάρος και δεν την προσμετρά στην συνολική βαθμολογία. Αν και η διαδικασία, σύμφωνα και με τις αναφορές της βιβλιογραφίας, έχει αρκετά καλά αποτελέσματα δεν πρέπει να ξεχνάμε τις περιπτώσεις της ανορθογραφίας. Όταν η ορθογραφία μιας λέξης είναι λάθος, τότε ακόμα και αν βρίσκεται στο λεξικό συναισθήματος δεν εντοπίζεται από τον αλγόριθμο. Η ανίχνευση ορθογραφικών λαθών ωστόσο δεν ανήκει στο πεδίο μελέτης μας και για αυτό δεν αναπτύσσεται κάποιο σύστημα που να εντοπίζει και να διορθώνει τα ορθογραφικά λάθη. Λόγω της ποικιλίας και της πολυπλοκότητας της ελληνικής γλώσσας, κάτι τέτοιο είναι εξαιρετικά δύσκολο και ίσως να αποτελεί αντικείμενο ξεχωριστής και εξειδικευμένης μελέτης πάνω στο θέμα. Προχωρώντας, κάθε μήνυμα θα έχει την δική του βαθμολογία α- νάλογα με τις επιμέρους βαθμολογίες των λέξεων που περιέχει. Η εικόνα 3.10, δίνει ένα παράδειγμα του τρόπου βαθμολόγησης των μηνυμάτων. Οι επιμέρους βαθμολογίες των πολωμένων λέξεων αθροίζονται και η συνολική πολικότητα προκύπτει από το αποτέλεσμα του αθροίσματος.

77 3.6 Ανάλυση Συναισθήματος με τη Χρήση Λεξικού 63 Εάν το άθροισμα των λέξεων είναι μεγαλύτερο από το μηδέν, τότε η βαθμολογία του μηνύματος ανάγεται σε (+1) και φέρει θετική πολικότητα Εάν το άθροισμα των λέξεων είναι μικρότερο από το μηδέν, τότε η βαθμολογία του μηνύματος ανάγεται σε (-1) και φέρει αρνητική πολικότητα Εάν το άθροισμα των λέξεων είναι ίσο με το μηδέν, η βαθμολογία του μηνύματος είναι (0) και είναι ουδέτερο. Γράφημα 3.11: συναισθήματος Κατηγοριοποίηση μηνύματος με τη χρήση λεξικού Με αυτόν τον τρόπο, ο προσδιορισμός της πολικότητας ενός μηνύματος γίνεται με μεγαλύτερη ακρίβεια αφού λαμβάνονται υπόψη οι επιμέρους εκφράσεις που έχουν χρησιμοποιηθεί και πιθανόν να έχουν αντικρουόμενα συναισθηματικά βάρη. Η χρήση λεξικών, εμπλουτισμένων με πιο εξειδικευμένες πολωμένες λέξεις βοηθά επίσης και στον εντοπισμό ειρωνικών ή σαρκαστικών μηνυμάτων.

78 Κεφάλαιο 4 Εμπειρικά Αποτελέσματα 4.1 Επιλογή εδομένων προς Κατηγοριοποίηση Σύμφωνα με τους Jahanbakhsh & Moon, ως πεδίο εφαρμογής της ανάλυσης συναισθήματος πρέπει να επιλέγεται ένα γεγονός με μετρήσιμο αποτέλεσμα, υψηλή κοινωνικό- οικονομική αξία και διαθέσιμα δεδομένα προς εκτίμηση. Η ελληνική πολιτική και οικονομική επικαιρότητα, όπως διαμορφώνεται τα τελευταία χρόνια προσφέρει αρκετά γεγονότα που πληρούν τα παραπάνω χαρακτηριστικά. Εμείς επιλέξαμε να εφαρμόσουμε την ανάλυση συναισθήματος στις αντιδράσεις των Ελλήνων χρηστών του Twitter, όπως καταγράφηκαν μέσα από τα σχόλια που δημοσιεύτηκαν και αφορούσαν δύο κομβικά γεγονότα που απασχόλησαν εκτενώς την εγχώρια οικονομική και πολιτική επικαιρότητα. Το πρώτο σημείο αναφοράς για εμάς αποτέλεσε η ανακοίνωση του προγράμματος Θεσσαλονίκης από τον Αλέξη Τσίπρα στις 9 Σεπτεμβρίου Η ομιλία του στη ΕΘ 2014, ήταν ουσιαστικά το σημείο εκκίνησης της προεκλογικής εκστρατείας του ΣΥΡΙΖΑ, ενώ λόγω της καθολικότητας των θεμάτων στα οποία αναφέρθηκε ο Α- 64

79 4.1 Επιλογή εδομένων προς Κατηγοριοποίηση 65 λέξης Τσίπρας, μπορούν να εξαχθούν συμπεράσματα σχετικά με την άποψη των πολιτών απέναντι στις προτεινόμενες πολιτικές του. Α- κόμα, καθώς η ΕΘ προηγήθηκε των εκλογών του Ιανουαρίου του 2015, όταν ο Αλέξης Τσίπρας εκλέχθηκε πρωθυπουργός της χώρας, τα δεδομένα που συλλέχθηκαν κατά την περίοδο διεξαγωγής της έκθεσης, μπορούν να χρησιμοποιηθούν για να συγκριθεί η στάση των πολιτών απέναντι στις πολιτικές του ΣΥΡΙΖΑ πριν και αφότου έγινε κυβέρνηση. Το δεύτερο γεγονός το οποίο μελετάμε είναι η ψήφιση του ασφαλιστικού νομοσχεδίου. Το νομοσχέδιο ψηφίστηκε από την βουλή στις 10 Μαϊου Πρόκειται για ένα γεγονός που κέντρισε το ενδιαφέρον, καθώς αναδιάρθρωσε το ασφαλιστικό σύστημα της χώρας και απασχόλησε ιδιαίτερα την κοινή γνώμη Πρόγραμμα Θεσσαλονίκης Το πρόγραμμα Θεσσαλονίκης αποτέλεσε ουσιαστικά το σημείο εκκίνησης της προεκλογικής εκστρατείας του ΣΥΡΙΖΑ. Αποτελείται από τέσσερις βασικούς πυλώνες, Αντιμετώπιση της ανθρωπιστικής κρίσης Μέτρα για την επανεκκίνηση της οικονομίας Σχέδιο ανάκτησης της εργασίας Παρεμβάσεις για τη θεσμική ανασυγκρότηση του κράτους και αφορά τις εξαγγελίες του κυβερνητικού προγράμματος της παράταξης. Καθώς εξετάζουμε τις αντιδράσεις των χρηστών απέναντι στο ασφαλιστικό νομοσχέδιο που ψηφίστηκε τον Μάϊο του 2016, θα αναφερθούμε περιλιπτικά στα βασικά σημεία των προεκλογικών εξαγγελιών του ΣΥΡΙΖΑ μόνο για τις ασφαλισικές μεταρρυθμίσεις, ό- πως ανακοινώθηκαν κατά τη διάρκεια της ΕΘ 2014:

80 4.1 Επιλογή εδομένων προς Κατηγοριοποίηση 66 ωρεάν ιατροφαρμακευτική περίθαλψη στους άνεργους νέους ωρεάν περίθαλψη από το ΕΣΥ(α βαθμια και β βαθμια) και δωρεάν φάρμακα Ρύθμιση ληξιπρόθεσμων οφειλών προς τα ασφαλιστικά ταμεία Ενιαίο ταμείο κύριας και επικουρικής σύνταξης Σταδιακή αύξηση οριών ηλικίας συνταξιοδότησης μέχρι το Ασφαλιστικό Νομοσχέδιο Τα 136 άρθρα του Ασφαλιστικού Νομοσχεδίου αφορούν την αναδιάρθρωση του ασφαλιστικού συστήματος της χώρας. Περιληπτικά, παρουσιάζουμε μερικά βασικά σημεία του νομοσχεδίου, ώστε να κατανοήσουμε καλύτερα τις αντιδράσεις των χρηστών. Οι συντάξεις προκύπτουν ως άθροισμα της Εθνικής και της Αναλογικής σύνταξης. Η Εθνική Σύνταξη καθορίζεται στα 384 ευρώ, με 20 έτη εργασίας και στα 346 ευρώ με 15 έτη εργασίας. Η αναλογική σύνταξη υπολογίζεται σύμφωνα με το μέσο όρο των αποδοχών από ολόκληρο τον εργασιακό βίο του ασφαλισμένου. Η ασφαλιστική εισφορά αυξάνεται κατά μιάμιση ποσοστιαία μονάδα. Η πληρωμή της θα μοιράζεται σε εργοδότη και εργαζόμενο. Οι εισφορές για την κύρια σύνταξη αυξάνονται 20% για όλους. Καταργείται το ΕΚΑΣ.

81 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης Συλλογή εδομένων Η ανακοίνωση του προγράμματος Θεσσαλονίκης έγινε από τον Αλέξη Τσίπρα στις 9 Σεπτεμβρίου Η περίοδος συλλογής δεδομένων είναι η 1-30 Σεπτεμβρίου Συλλέχθηκαν δεδομένα από τα μηνύματα των χρηστών καθ όλη τη διάρκεια του Σεπτέμβρη γιατί θέλαμε να εξετάσουμε την γενικότερη εικόνα που επικράτησε απέναντι στον ΣΥΡΙΖΑ στις μέρες που ακολούθησαν της ανακοίνωσης του προγράμματος. Ως λέξη- κλειδί της αναζήτησης επιλέχθηκε η deth14, καθώς έπειτα από πολλά πειράματα και έρευνα στο διαδίκτυο αποδείχθηκε πώς ήταν η φράση την οποία είχε επισημάνει η πλειοψηφία των χρηστών που ανάφερθηκε στο γεγονός. Η εφαρμογή Tweet Collector έκανε 70 αιτήματα και συνέλεξε 1280 μηνύματα μέσα σε 1 λεπτό και 8 δευτερόλεπτα, με ταχύτητα 0,5 ανά αίτημα. ΣΥΛΛΟΓΗ Ε ΟΜΕΝΩΝ ΑΝΑΖΗΤΗΣΗ Λέξη-Κλειδί deth14 Περίοδος 01/09/ /09/2014 ΑΠΟΤΕΛΕΣΜΑΤΑ Αιτήματα 70 Ταχύτητα 0,5 /αίτημα Χρόνος 1 8 Μηνύματα 1280 ΠΙΝΑΚΑΣ 4.1. Συλλογή εδομένων

82 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης Περιλιπτικά Στατιστικά των εδομένων Περιλιπτικά Στατιστικά πριν την Επεξεργασία Όπως έχει ήδη αναφερθεί προκειμένου να εκπαιδευτούν οι αλγόριθμοι και να προκύψουν ακριβή αποτελέσματα είναι απαραίτητο να επεξεργαστούν τα δεδομένα και να αφαιρεθεί ο περιττός θόρυβος. Ωστόσο πριν προχωρήσουμε στο βήμα της προεπεξεργασίας είναι σημαντικό να μελετήσουμε τα χαρακτηριστικά του συνόλου δεδομένου μας. Προφίλ μηνυμάτων Τα δεδομένα μας αποτελούνται από 1280 μηνύματα του Twitter, που αναφέρονται στην λέξη κλειδί "deth14". Ωστόσο, καθώς κατά τη διάρκεια της ΕΘ, πραγματοποιήθηκαν και άλλα γεγονότα πλην των ομιλιών των πολιτικών αρχηγών, εντοπίσαμε 63 μηνύματα που α- ναφέρονταν σε αθλητικές, καλλιτεχνικές και επιστημονικές δραστηριότητες που πραγματοποίηθηκαν στα πλαίσια της εκδήλωσης και τα αφαιρέσαμε αφού δεν προσέφεραν τίποτα στην ανάλυση μας. Επιπλέον λόγω του έντονου διεθνούς ενδιαφέροντος για τις πολιτικές και οικονομικές εξελίξεις στην Ελλάδα, εντοπίσαμε 46 μηνύματα γραμμένα στα Αγγλικά, 3 στα Γαλλικά, 2 στα Ισπανικά, 1 στα Γερμανικά και 1 στα Κυριλλικά. Αξίζει να αναφερθεί ότι τα μηνύματα προέρχονται τόσο από προσωπικούς όσο και από λογαριασμούς δημοσιογραφικών μέσων. Ακόμα στα δεδομένα περιλαμβάνονται 14 μηνύματα που περιέχουν ελληνικές λέξεις, γραμμένες με λατινικούς χαρακτήρες (greeklish). Συχνότερα Εμφανιζόμενες Λέξεις Το σύνολο δεδομένων αποτελείται από λέξεις. Σύμφωνα με το γράφημα 4.1 και όπως είναι αναμενόμενο, τις περισσότερες αναφορές

83 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 69 σημειώνει η λέξη- κλειδί της αναζήτησης "deth14". Αυτό που παρατηρούμε είναι ότι η πλειοψηφία των λέξεων που χρησιμοποιήθηκαν περισσότερο είναι άρθρα, αντωνυμίες και σύνδεσμοι. ηλαδή είναι λέξεις χωρίς πολικότητα, που απλά δημιουργούν θόρυβο (stopwords) και πρέπει στη συνέχεια να αφαιρεθούν (παράγραφος 3.3). Από τις υπόλοιπες λέξεις που υπάρχουν στη λίστα και συγκεντρώνουν πολλές αναφορές ξεχωρίζουμε τις "deth" και "tsipras" με περίπου 200 αναφορές, οι οποίες είναι γραμμένες με λατινικούς χαρακτήρες και εμφανίζονται συνοδευόμενες από τον χαρακτήρα της δίεσης. Γενικά όταν ένας χρήστης επισημαίνει μία λέξει χρησιμοποιώντας τον χαρακτήρα της δίεσης, αυτή γίνεται ένας σύνδεσμος που οδηγεί σε άλλα μηνύματα που περιέχουν επίσης την ίδια λέξη. Είναι πολύ συχνό λοιπόν το φαινόμενο Ελληνες χρήστες να γράφουν με λατινικούς χαρακτήρες, έτσι ώστε τα μηνύματα τους να γίνονται ορατά σε μεγαλύτερο κοινό. Οι παραπάνω λέξεις ανήκουν σε αυτό τον άτυπο κανόνα του Twitter. Γράφημα 4.1: Οι 30 πιο συχνά εμφανιζόμενες λέξεις πριν την Επεξεργασία

84 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 70 Κατανομή των λέξεων ανά μήνυμα Βάσει του γραφήματος 4.2, παρατηρούμε ότι η πλειοψηφία των μηνυμάτων περιέχει από 6 έως 20 λέξεις. 17 λέξεις περιέχονται σε περισσότερα από 80 μηνύματα, ενώ στα άκρα της κατανομής βρίσκονται τα σύνολα λιγότερων από 2 και περισσότερων από 27 λέξεων που περιέχονται σε πολύ λίγα μηνύματα. Γράφημα 4.2: Κατανομή λέξεων/μήνυμα πριν την Επεξεργασία Πριν προχωρήσουμε στην αφαίρεση ειδικών χαρακτήρων και αναφορών, είναι χρήσιμο να μετρήσουμε και τις λέξεις που επισημαίνονται ανά μήνυμα. Όπως έχουμε ήδη αναφέρει πρόκειται για έναν τρόπο κατηγοριοποίησης του μηνύματος από τον ίδιο τον χρήστη, βάσει του θέματος του. Παρατηρούμε πως η πλειοψηφία των μηνυμάτων (634 από τα 1280), περιέχει μόνο μία επισήμανση, ενώ γενικότερα είναι λίγα τα μηνύματα στα οποία γίνονται περισσότερες επισημάνσεις. Χαρακτηριστικά ενώ σε 323 μηνύματα επισημαίνονται 2 λέξεις, από 8 και 9 επισημάνσεις γίνονται μόλις σε 1 μήνυμα αντίστοιχα.

85 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 71 Hashtags/ μήνυμα ΠΙΝΑΚΑΣ 4.2. Λέξεις που επισημαίνονται ανά μήνυμα Περιλιπτικά Στατιστικά μετά την Επεξεργασία Εχουμε ήδη αναφερθεί αναλυτικά στο τμήμα 3.3 της εργασίας στην διαδικασία προεπεξεργασίας και καθαρισμού των δεδομένων μας. Κατά την παρουσίαση των στατιστικών στοιχείων των δεδομένων είδαμε πως περιττές λέξεις και χαρακτήρες δημιουργούν θόρυβο, που πρέπει να αφαιρεθεί. Παρακάτω παρουσιάζουμε περιλιπτικά στατιστικά των δεδομένων, μετά την προεπεξεργασία. Συχνότερα Εμφανιζόμενες Λέξεις Μετά την επεξεργασία του συνόλου δεδομένων και την αφαίρεση των περιττών αντικειμένων, μένουν λέξεις. ηλαδή από την διαδικασία της προεπεξεργασίας αφαιρέθηκαν λέξεις. Το γράφημα περιλαμβάνει τις 30 πιο συχνά εμφανιζόμενες λέξεις, από τις οποίες μπορεί πλέον να εξαχθεί μια γενική εικόνα σχετικά με το λεκτικό περιεχόμενο του συνόλου δεδομένων. Αυτό που παρατηρούμε είναι ότι πέραν, της λέξης deth, βάσει της οποίας συλλέχθηκαν τα μηνύματα και είναι αναμενόμενο να έχει μεγάλη συχνότητα εμφάνισης, οι υπόλοιπες λέξεις εμφανίζονται με σημαντικά χαμηλότερη συχνότητα.

86 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 72 Γράφημα 4.3: Οι 30 συχνότερα εμφανιζόμενες λέξεις μετά την επεξεργασία Όπως αναφέραμε ήδη στα τμήματα 1.4 και 2.7 της εργασίας, η ελληνική γλώσσα διαθέτει πολύ πλούσιο λεξιλόγιο. Αυτό σημαίνει ότι διαφορετικοί χρήστες μπορεί να εκφράζουν ακριβώς το ίδιο συναίσθημα επιλέγοντας εντελώς διαφορετικές λέξεις. Αυτό το εύρημα είναι εξαιρετικά χρήσιμο για τη συνέχεια, αφού η ύπαρξη διαφοροποιημένου λεξιλογίου επηρεάζει την ομοιότητα των μηνυμάτων και κατά συνέπεια την κατηγοριοποίηση τους με τη χρήση συστημάτων εκπαιδευόμενης μάθησης. Κατανομή των λέξεων ανά μήνυμα Η κατανομή των λέξεων ανά μήνυμα πριν και μετά την επεξεργασία δεν διαφέρει σημαντικά. Στα άκρα της κατανομής βρίσκονται τα μηνύματα με λιγότερες από 2 και περισσότερες από 28 λέξεις, ενώ και τώρα η πλειοψηφία των μηνυμάτων συγκεντρώνει 17 λέξεις.

87 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 73 Γράφημα 4.4: Κατανομή λέξεων/μήνυμα Κατηγοριοποίηση με τη χρήση μεθόδων Επιβλεπόμενης Μάθησης Κατηγοριοποιητής Naive Bayes Η εκπαίδευση του μοντέλου του κατηγοριοποιητή Naive Bayes έγινε με τη χρήση 155 παραδειγμάτων με γνωστές εξόδους. Η κατασκευ- ή του συνόλου εκπαίδευσης, έγινε έπειτα από προσεκτική επιλογή των παραδειγμάτων, ώστε να είναι αντιπροσωπευτικά του συνόλου ελέγχου. Σε αυτό το σημείο πρέπει να επισημανθεί ότι για λόγους ελέγχου της ακρίβειας πρόβλεψης είχαμε εκ των προτέρων επισημειώσει την πολικότητα όλων των μηνυμάτων. Το διάγραμμα 4.5 περιγράφει τις κατηγορίες πολικότητας όπως κατανέμονται στο σύνολο εκπαίδευσης και το διάγραμμα 4.6 τις κατηγορίες στις οποίες πράγματι ανήκουν τα μηνύματα του συνόλου ελέγχου. όπου, -1, είναι τα μηνύματα με αρνητική πολικότητα 0, είναι τα ουδέτερα μηνύματα 1, είναι τα μηνύματα με θετική πολικότητα

88 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 74 Γράφημα 4.5: Κατανομή συνόλου εκπαίδευσης στις κατηγορίες πολικότητας Γράφημα 4.6: Κατανομή συνόλου ελέγχου στις κατηγορίες πολικότητας Σύμφωνα με την μήτρα σύγχυσης, ο αλγόριθμος προβλέπει πως όλα τα μηνύματα ανήκουν στην κατηγορία αρνητικής πολικότητας, που συγκεντρώνει στην πραγματικότητα την πλειοψηφία των παραδειγμάτων. Νωρίτερα, παρατηρήσαμε πως το λεξιλόγιο που χρησιμοποιείται στο σύνολο δεδομένων είναι πολύ πλούσιο. Αυτό συνεπάγεται πως ο αλγόριθμος δυσκολεύεται να βρει τις συσχετίσεις ανάμεσα στα χαρακτηριστικά του συνόλου δεδομένων που στη συγκεκριμένη περίπτωση είναι οι λέξεις, και τις κατηγορίες στις οποίες ανήκουν. Αν και η κατα-

89 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 75 Naive Bayes Πρόβλεψη- ΕΘ Πραγματική Κλάση Αρνητική Ουδέτερη Θετική Αρνητική Ουδέτερη Θετική ΠΙΝΑΚΑΣ 4.3. Μήτρα Σύγχυσης σκευή του συνόλου εκπαίδευσης ήταν αναλογική ως προς τον αριθμό των παραδειγμάτων ανά κατηγορία με το σύνολο ελέγχου, ο αλγόριθμος του Naive Bayes απέτυχε να υπολογίσει σωστά τις πιθανότητες που είχε κάθε μήνυμα να ανήκει σε κάποια κατηγορία. Κατηγοριοποιητής Support Vector Machine Η κατηγοριοποίηση από τον αλγόριθμο SVM, έγινε με το ίδιο σύνολο εκπαίδευσης και ελέγχου που χρησιμοποιήθηκε και στην εφαρμογή του Naive Bayes. Πρόβλεψη Αρνητική Ουδέτερη Θετική ΠΙΝΑΚΑΣ 4.4. Αποτελέσματα SVM Support Vector Machine Πρόγραμμα Θεσ/νικης Ακρίβεια (Precision) 0.61 Ανάκληση(Recall) 0.59 ΠΙΝΑΚΑΣ 4.5. Ποιότητα Αποτελεσμάτων SVM Τα ευρήματα μας επιβεβαιώνουν την βιβλιογραφία που θέλει τον SVM, να είναι πιο αποτελεσματικός από τον Naive Bayes. Ο SVM, δεν υπολογίζει κάποια πιθανότητα αλλά την ευκλείδια απόσταση α- νάμεσα στο τελεύταιο στοιχείο κάθε κατηγορίας και ένα υπερεπίπεδο, βάσει του οποίου λαμβάνει την απόφαση της κατηγοριοποίησης. Με

90 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 76 το 79% ακρίβεια να θεωρείται ένα γενικά αποδεκτό όριο υψηλής ακρίβειας, ο ταξινομητής πετυχαίνει 61% ακρίβεια. ηλαδή το 61% των μηνυμάτων κατηγοριοποιήθηκαν στην κλάση στην οποία πράγματι ανήκουν. Ακόμα σύμφωνα με την ανάκληση το 59,66% τα παραδείγματα που τοποθετήθηκαν σε κάθε κλάση ήταν πράγματι σχετικά με αυτήν Κατηγοριοποίηση με τη χρήση της εφαρμογής Niosto Η εφαρμογή Niosto, κατηγοριοποίησε τα παραδείγματα βάσει μίας αρχικής λίστας πολωμένων λέξεων και μίας ακόμα που δημιουργεί η ίδια. Όπως φαίνεται από το παρακάτω σχήμα, το ποσοστό επιτυχίας της είναι μόλις 35%. Γράφημα 4.7: Αποτελέσματα εφαρμογής Niosto Η ίδια η εφαρμογή μας δίνει πρόσβαση σε ορισμένα στατιστικά στοιχεία για την κατηγοριοποίηση που πραγματοποίησε. Το γράφημα 4.8 δίνει το ποσοστό των μηνυμάτων που κατηγοριοποιήθηκε

91 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 77 σε κάθε κλάση, ανάλογα με τον αριθμό των λέξεων που περιείχε. Η εφαρμογή δεν υπολογίζει τα ποσοστά κατηγοριοποίησης για μηνύματα με περισσότερες από 30 λέξεις, αφού όπως είδαμε νωρίτερα δεν υπάρχουν τέτοια στα δεδομένα μας. Παρατηρούμε πως το μεγαλύτερο πρόβλημα εντοπίζεται στις κατηγοριοποιήσεις αρνητικών και ουδέτερων εγγραφών. Οι αρνητικές προβλέψεις είναι περίπου 30% λιγότερες από τις πραγματικές αρνητικές ετικέτες και οι ουδέτερες περίπου 20-25% περισσότερες. Γενικά η ακρίβεια αγγίζει μόλις το 25%. Πιστεύουμε πως ο λόγος που οδηγεί στην αποτυχία της εφαρμογής είναι η ύπαρξη ειρωνικών μηνυμάτων. Η εφαρμογή θεωρεί πώς τα επίθετα είναι αυτά που κατά βάση προσδίδουν την πολικότητα στα μηνύματα, ωστόσο στην συγκεκριμένη περίπτωση αρκετά θετικά επίθετα χρησιμοποιούνται με ειρωνικό τόνο και κατά συνέπεια η ερμηνεία τους είναι αρνητική. Αυτό μπερδεύει τον αλγόριθμο που τρέχει, πίσω από το πρόγραμμα, οδηγώντας σε λάθος αποτελέσματα. Γράφημα 4.8: Ακρίβεια προβλέψεων Niosto Κατηγοριοποίηση με τη χρήση λεξικού Για την κατηγοριοποίηση των μηνυμάτων χρησιμοποιήθηκε ένα λεξικό λέξεων, που προήλθε από έναν συνδυασμό του λεξικού των (Tsakalidis, Papadopoulos, Kompatsiaris, 2014), της λίστας πολωμένων λέξεων

92 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 78 που προσφέρει η εφαρμογή Niosto και των πιο συχνών λέξων του συνόλου δεδομένων. Τα περιεχόμενα του λεξικού ήταν επεξεργασμένα ούτως ώστε να είναι όμοια με αυτά του συνόλου δεδομένων και ο αλγόριθμος να μπορεί να ταυτοποιεί τις πολωμένες λέξεις. Η κατηγοριοποίηση έγινε βάσει του αθροίσματος των επιμέρους βαθμολογιών των πολωμένων λέξεων που εντοπίζονταν σε κάθε μήνυμα. Κατηγοριοποίηση πολωμένου μηνύματος Το παράδειγμα που ακολουθεί είναι πραγματική εκροή του αλγορίθμου και εμφανίζει το μήνυμα στη μορφή που έχει έρθει μετά την επεξεργασία. Βλέπουμε πως ο αλγόριθμος ταυτοποιεί τις πολωμένες λέξεις του μηνύματος ΒΕΝΙΖΕΛ, ΕΥΚΟ- Λ, ΥΣΚΟΛ, Π και ΜΙΛ με το λεξικό συναισθήματος και στη συνέχεια αθροίζει τις επιμέρους βαθμολογίες τους ( ( 4) + 0 = 1) για να υπολογίσει την συνολική. Γράφημα 4.9: Κατηγοριοποίηση μηνύματος με τη χρήση λεξικού Αδυναμία κατηγοριοποίησης Ο αλγόριθμος έχει σχεδιαστεί έτσι ώστε να μην κατηγοριοποιεί μηνύματα που δεν περιέχουν καμία πολωμένη λέξη. Σε αυτή την περίπτωση εμπίπτουν κατά κύριο λόγο τα μηνύματα που είναι γραμμένα σε κάποια άλλη γλώσσα πλην της ελληνικής. Η παρούσα εργασία εξετάζει την ανάλυση συναισθήματος ελληνικών κειμένων και τα εργαλεία που χρησιμοποιούμε είναι προσαρμοσμένα κυρίως στις ανάγκες της ελληνικής γλώσσας. Στην εικόνα που ακολουθεί παρουσιάζεται η εκροή του αλγορίθμου για κάποιο μη κατηγοριοποιημένο μήνυμα.

93 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 79 Γράφημα 4.10: Παράδειγμα μη κατηγοριοποιημένου μηνύματος Η μέθοδος φαίνεται να αποδίδει ικανοποιητικά αποτελέσματα αφού κατηγοριοποιεί σωστά το 50% όλων των μηνυμάτων που εξετάζονται (γενική ακρίβεια ή accuracy). Η διαγώνιος της μήτρας σύγχυσης δείχνει πως η πλειοψηφία των μηνυμάτων που ανήκουν σε κάποια κλάση κατηγοριοποιείται σωστά σε αυτή. Σύνθετο Λεξικό - ΕΘ Πρόβλεψη Πραγματική Κλάση Αρνητική Ουδέτερη Θετική Αρνητική Ουδέτερη Θετική ΠΙΝΑΚΑΣ 4.6. Μήτρα Σύγχυσης Ανάλυση κοινής γνώμης σχετικά με το πρόγραμμα Θεσ/νικης Η ανακοίνωση του προγράμματος Θεσσαλονικής ήταν ένα γεγονός που απασχόλησε σε μεγάλο βάθμο τους Ελληνες χρήστες του Twitter. Καθώς πρωθυπουργός της χώρας ήταν ο Α. Σαμαράς, παρατηρήσαμε πως η πλειοψηφία των μηνυμάτων που διατεινόταν θετικά απέναντι στον Α. Τσίπρα ασκούσε ταυτόχρονα κριτική στις πολιτικές και τις εξαγγελίες της Νέας ημοκρατίας. Αν και στόχος μας ήταν να δούμε συγκριτικά την άποψη των χρηστών για τις προεκλογικές εξαγγελίες του ΣΥΡΙΖΑ που σχετίζονταν με το ασφαλιστικό, το ζήτημα δεν ήταν επίκαιρο τον Σεπτέμβρη του 2014, αφού μόλις 2 μηνύματα αναφέρονται αποκλειστικά σε αυτό. Σύμφωνα με τα αποτελέσματα της πρόβλεψης του SVM που πέτυχε την υψηλότερη ακρίβεια σε σύγκριση με τις άλλες μεθόδους, περίπου το 49% των χρηστών εκφράζεται

94 4.2 Ανάλυση Συναισθήματος: Πρόγραμμα Θεσ/νικης 80 Πρόγραμμα Θεσ/νικης Μηνύματα Θετικά 31,33% Αρνητικά 49,05% Ουδέτερα 19,58% ΠΙΝΑΚΑΣ 4.7. Ανάλυση Γνώμης για το Πρόγραμμα Θεσσαλονίκης αρνητικά σε σχέση με το πρόγραμμα Θεσ/νικης. Όπως έχουμε σημειώσει πολλάκις, οι απόψεις των χρηστών ήταν κατά βάση ειρωνικές προς το γεγονός και τα εμπλεκόμενα πρόσωπα. Το 31% φαίνεται να διατίνεται θετικά απέναντι στο πρόγραμμα του ΣΥΡΙΖΑ. Ωστόσο όπως αναφέραμε και νωρίτερα όσα μηνύματα ήταν αρνητικά ως προς τον Α. Σαμαρά ή τους αρχηγούς των υπολοίπων κομμάτων της αντιπολίτευσης θεωρήθηκαν θετικά ως προς τον ΣΥΡΙΖΑ. Αυτή η παραδοχή που έγινε από εμάς για την κατασκευή του συνόλου εκπαίδευσης βασίστηκε μεν στην αρχή αναγνώρισης του αντικειμένου στόχου του μηνύματος (θετικό προς τον ένα πολιτικό άρα αρνητικό προς τον άλλο) αλλά είναι πιθανό να χάνει κρυμμένες, έμμεσες πληροφορίες που υπάρχουν στα μηνύματα και αφορούν τον ΣΥΡΙΖΑ. Επιπλέον, παρατηρείται διαφορά ανάμεσα στο εκλογικό αποτέλεσμα του Ιανουαρίου του 2015 και στα ευρήματα μας, που έγκειται στις διαφορές των δημογραφικών στοιχείων των χρηστών του Twitter και των ψηφοφόρων του ΣΥΡΙΖΑ. Όπως φαίνεται από τον παρακάτω πίνακα οι ψηφοφόροι του ΣΥΡΙΖΑ ανήκουν σε μεγαλύτερες ηλικιακές ομάδες, ενώ οι χρήστες του Twitter είναι νεαρότεροι, έχουν ολοκληρώσει την κατώτερη εκπαίδευση και εν αντιθέσει με τους χρήστες του Twitter μένουν κατά πλειοψηφία σε αγροτικές περιοχές.

95 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 81 Γράφημα 4.11: ημογραφικά στοιχεία χρηστών Twitter και ψηφοφόρων ΣΥΡΙΖΑ 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου Συλλογή εδομένων Η ψήφιση του ασφαλιστικού νομοσχεδίου πραγματοποιήθηκε στις 10 Μαϊου 2016.Η περίοδος συλλογής των δεδομένων εκτείνεται από τις 5 έως τις 12 Μαϊου. Καθώς τα μέσα μαζικής ενημέρωσης βρίσκονταν σε απεργία κατά τη διάρκεια της ψήφισης του νομοσχεδίου, επιλέξαμε να συλλέξουμε δεδομένα και στο σύντομο διάστημα που προήγηθηκε της ψήφισης κατά το οποίο οι πολίτες ενημερώνονταν από τα ειδησεογραφικά μέσα σχετικά με τα επικείμενα μέτρα και τις αντιδράσεις των πολιτικών. Ως λέξη - κλειδί για την αναζήτηση επιλέξαμε το asfalistiko. Η λέξη είναι γραμμένη με λατινικούς χαρακτήρες, καθώς έτσι αναφέρθηκε από την πλειοψηφία των χρηστών. Συνολικά η εφαρμογή Tweet Collector, συνέλεξε 2457 μηνύματα (tweets). Η εφαρμογή έκανε 130 αιτήματα στο πρωτόκολλο του Twitter και συνέλεξε τα μηνύματα με ταχύτητα 0,73 δευτερολέπτων ανά αίτημα. Τελικά χρειάστηκε 2

96 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 82 λεπτά και 22 δευτερόλεπτα για να συλλέξει όλα τα μηνύματα. ΣΥΛΛΟΓΗ Ε ΟΜΕΝΩΝ ΑΝΑΖΗΤΗΣΗ Λέξη-Κλειδί asfalistiko Περίοδος 05/05/ /05/2016 ΑΠΟΤΕΛΕΣΜΑΤΑ Αιτήματα 130 Ταχύτητα 0,7 /αίτημα Χρόνος 1 Μηνύματα 2457 ΠΙΝΑΚΑΣ 4.8. Συλλογή εδομένων Περιλιπτικά Στατιστικά των εδομένων Περιλιπτικά Στατιστικά Πριν την Επεξεργασία Προφίλ μηνυμάτων Το σύνολο δεδομένων αποτελείται από 2457 μηνύματα του Twitter που αναφέρουν στο σύνολο τους την λέξη asfalistiko. Επειδή οι οικονομικές εξελίξεις στην Ελλάδα, βρίσκονται στο επίκεντρο του διεθνούς ενδιαφέροντος στο σύνολο δεδομένων περιλαμβάνονται 45 μηνύματα στα Αγγλικά, 6 στα Πορτογαλλικά, 4 στα Ισπανικά και 2 στα γερμανικά. Όλα προέρχονται από δημοσιογραφικές σελίδες που μετέδιδαν τα γεγονότα στην Ελλάδα. Ακόμα στα δεδομένα εμφανίζονται 216 μηνύματα, που περιέχουν ελληνικές λέξεις, γραμμένες με λατινικούς χαρακτήρες (greeklish).πρόκειται για μηνύματα που περιέχουν μόνο λέξεις που έχουν επισημανθεί με τη χρήση του χαρακτήρα της δίεσης (hashtags) και υπερ-συνδέσμους (παράδειγμα εικόνα 4.12).

97 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 83 Γράφημα 4.12: Χρήση λατινικών χαρακτήρων Συχνότερα εμφανιζόμενες λέξεις Τα μηνύματα περιέχουν συνολικά λέξεις. Η συχνότερα εμφανιζόμενη λέξη, όπως είναι λογικό είναι το asfalistiko. Ακολουθούν οι "apergia","oloi_syntagma" και "syriza_xeftiles". Παρατηρούμε πως πρόκειται εκ νέου για ελληνικές λέξεις, γραμμένες με λατινικούς χαρακτήρες. Ακόμα, στο γράφημα 4.10 βλέπουμε ότι οι 24 από τις 30 πιο συχνά εμφανιζόμενες λέξεις είναι stopwords. Γράφημα 4.13: Οι 30 συχνότερα εμφανιζόμενες λέξεις Κατανομή των λέξεων ανά μήνυμα Το γράφημα παρουσιάζει την κατανομή των λέξεων ανά μήνυμα. Παρατηρούμε ότι 0-50 μηνύματα περιέχουν μόνο 2 λέξεις ενώ περισ-

98 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 84 σότερα από 150 μηνύματα περιέχουν 15 λέξεις. Γράφημα 4.14: Κατανομή λέξεων ανά μήνυμα πριν την προεπεξεργασία των δεδομένων Ακόμα, είναι χρήσιμο να δούμε πόσες λέξεις επισημαίνονται ανά μήνυμα. Σύμφωνα με τον πίνακα 4.9,βλέπουμε πως στην πλειοψηφία των μηνυμάτων (819 μηνύματα) επισημαίνονται δύο λέξεις και μόνο σε εννέα μηνύματα έχουν επισημανθεί έξι λέξεις. Μία μόνο λέξη επισημαίνεται σε 605 μηνύματα και τρεις λέξεις επισημαίνονται σε 598 μηνύματα. Hashtags/ μήνυμα ΠΙΝΑΚΑΣ 4.9. Λέξεις που επισημαίνονται ανά μήνυμα

99 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 85 Περιλιπτικά Στατιστικά μετά την Επεξεργασία Συχνότερα εμφανιζόμενες λέξεις Μετά την προεπεξεργασία των δεδομένων, έμειναν λέξεις. ηλαδή αφαιρέθηκαν περιττές λέξεις. Όπως παρατηρούμε από το σχήμα, άρθρα, σύνδεσμοι, αντωνυμίες και γενικά μη- πολωμένες λέξεις έχουν αφαιρεθεί από το σύνολο των πιο συχνά εμφανιζόμενων λέξεων, ενώ όπως είναι αναμενόμενο το "asfalistiko", εξακολουθεί να είναι στην πρώτη θέση της λίστας. Ωστόσο, οι λέξεις που ακολουθούν το asfalistiko, παρουσιάζονται με αρκετά χαμηλότερη συχνότητα στα δεδομένα. Στη συγκεκριμένη περίπτωση, η ποικιλία των θεμάτων στα οποία αναφέρθηκαν οι χρήστες οδηγεί στη χαμηλότερη συχνότητα εμφάνισης κάθε όρου. Αν και το χρονικό διάστημα συλλογής των δεδομένων είναι πολύ σύντομο, η επικαιρότητα των ημερών ήταν πλούσια και προσέφερε πληθώρα θεμάτων προς συζήτηση στους χρήστες. Γράφημα 4.15: δεδομένων Οι 30 πιο συχνές λέξεις μετά τον καθαρισμό των Επιπλέον παρατηρούμε την πλήρη απουσία άλλων λέξεων ή εκφράσεων, πέραν των επίκαιρων θεμάτων από το σύνολο των 30 πιο συχνά εμφανιζόμενων. Για ακόμα μία φορά φαίνεται πως το μεγάλο λεξιλόγιο της ελληνικής γλώσσας θα επηρεάσει την κατηγοριοποίηση

100 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 86 των μηνυμάτων βάσει ενός πιθανοτικού μοντέλου, αφού οι λέξεις που επαναλαμβάνονται είναι πολύ λίγες. Κατανομή των λέξεων ανά μήνυμα Παρατηρώντας την κατανομή των λέξεων ανά μήνυμα τώρα, παρατηρούμε πως η πλειοψηφία των μηνυμάτων περιέχει από 8 έως 20 λέξεις. Γράφημα 4.16: Κατανομή λέξεων ανά μήνυμα μετά την προεπεξεργασία των δεδομένων

101 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου Κατηγοριοποίηση με τη χρήση μεθόδων Επιβλεπόμενης Μάθησης Κατηγοριοποιητής Naive Bayes Για την εκπαίδευση του αλγορίθμου χρησιμοποιήσαμε ένα δείγμα 240 εγγραφών με γνωστές κλάσεις. Όπως αναφέραμε στο τμήμα 4.6.2, τα θέματα που απασχολούν τους χρήστες είναι πολλά και οι λέξεις που επαναλαμβάνονται από μήνυμα σε μήνυμα λίγες. Εχοντας ήδη επισημειώσει όλες τις εγγραφές, δημιουργήσαμε ένα σύνολο εκπαίδευσης αναλογικό προς το σύνολο των κατηγοριών όλων των δεδομένων, προκειμένου να βοηθήσουμε τον Naive Bayes στον υπολογισμό των εκ των προτέρων πιθανοτήτων. Τα γραφήματα 4.17 και 4.18 παρουσιάζουν την πραγματική κατανομή των εγγραφών ανά κατηγορία στα σύνολα εκπαίδευσης και ελέγχου. Γράφημα 4.17: Κατανομή Συνόλου Εκπαίδευσης Η μήτρα σύγχυσης (πίνακας 4.10) υποδεικνύει ότι ο Naive Bayes αποτυγχάνει να προβλέψει σωστά τις κατηγορίες των μηνυμάτων. Η

102 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 88 Γράφημα 4.18: Κατανομή Συνόλου Ελέγχου πολύ χαμηλή συχνότητα εμφάνισης των χρησιμοποιούμενων λέξεων φαίνεται πως επηρεάζει την ικανότητα του να υπολογίζει σωστά την εκ των προτέρων πιθανότητα που έχει κάθε μήνυμα να ανήκει σε κάποια από τις κατηγορίες. Πιο συγκεκριμένα, ο αλγόριθμος υπολογίζει την εκ των προτέρων πιθανότητα κάθε μηνύματος βάσει των χαρακτηριστικών του, δηλαδή των λέξεων. Από την στιγμή που οι λέξεις δεν επαναλαμβάνονται ο αλγόριθμος αδυνατεί να υπολογίσει σωστά τις πιθανότητες και κατά συνέπεια να προχωρήσει σε σωστή πρόβλεψη. Naive Bayes - Ασφαλιστικό Πρόβλεψη Πραγματική Κλάση Αρνητική Ουδέτερη Θετική Αρνητική Ουδέτερη Θετική ΠΙΝΑΚΑΣ Μήτρα Σύγχυσης

103 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 89 Κατηγοριοποιητής Support Vector Machine Ο SVM εκπαιδεύτηκε με το ίδιο σύνολο που χρησιμοποιήθηκε και για τον Naive Bayes. Τα αποτελέσματα του SVM είναι αρκετά ικανοποιητικά. Από όσα μηνύματα τοποθετήθηκαν σε κάθε κατηγορία, το 63% όντως ανήκε σε αυτή, ενώ το 50% από όσα μηνύματα ανήκαν πραγματικά σε κάθε κατηγορία τοποθετήθηκε με επιτυχία. Συνολικά 1957 μηνύματα κατηγοριοποιήθηκαν ως αρνητικά, 234 ως ουδέτερα και 29 ως θετικά. Πρόβλεψη Αρνητική Ουδέτερη Θετική ΠΙΝΑΚΑΣ Αποτελέσματα SVM Support Vector Machine Ψήφιση Ασφαλιστικού Ακρίβεια (Precision) 0.63 Ανάκληση(Recall) 0.50 ΠΙΝΑΚΑΣ Ποιότητα Αποτελεσμάτων SVM Κατηγοριοποίηση με τη χρήση της εφαρμογής Niosto Η εφαρμογή Niosto, κατηγοριοποίησε σωστά μόλις το 25% των παραδειγμάτων. Ο αλγόριθμος της εφαρμογής προέβλεψε σωστά μόλις το 14% περίπου για κάθε κατηγορία, ενώ φαίνεται πως οι προβλέψεις του για τα θετικά και αρνητικά μηνύματα ήταν αντίστροφες από τις πραγματικές τους ετικέτες. Πιο συγκεκριμένα αν και περίπου το 4-6% έχει κατηγοριοποιηθεί ως θετικό από τον χρήστη, ο αλγόριθμος ταξινόμησε ως θετικό περισσότερο από το 60% των μηνυμάτων. Αντίστοιχα

104 4.3 Ανάλυση Συναισθήματος: Ψήφιση Ασφαλιστικού Νομοσχεδίου 90 Γράφημα 4.19: Αποτελέσματα εφαρμογής Niosto ο χρήστης ταξινόμησε περισσότερο από το 75% των μηνυμάτων ως αρνητικό, ενώ για τον αλγόριθμο τα αρνητικά μηνύματα αντιστοιχούσαν σε ποσοστό όχι μεγαλύτερο του 10.57%. Τα ειρωνικά μηνύματα αποτελούν την πλειοψηφία του συνόλου δεδομένων, οπότε οι λέξεις που περιέχουν έχουν διαφορετική πολικότητα, από αυτή που φέρουν υπό άλλες συνθήκες. Αποτέλεσμα αυτού είναι να ταξινομούνται λάθος από τον αλγόριθμο και να οδηγούν σε λάθος κατηγοριοποιήσεις των μηνυμάτων. Γράφημα 4.20: Ακρίβεια προβλέψεων Niosto