ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΕΠΙΚΟΙΝΩΝΙΩΝ, ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΣΥΣΤΗΜΑΤΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ Ανά υση Συναισ ήματος σε Δεδομένα Κοιν νικών Δικτύ ν με ρήση Γράφ ν ν- ραμμάτ ν ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Δημήτριος Μ. Τζαννέτος Επι έπουσα : Θεοδώρα Βαρ αρί ου Κα η ήτρια Ε.Μ.Π. Α ήνα, Οκτώ ριος 2014

2

3 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΕΠΙΚΟΙΝΩΝΙΩΝ, ΗΛΕΚΤΡΟΝΙΚΗΣ ΚΑΙ ΣΥΣΤΗΜΑΤΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ Ανά υση Συναισ ήματος σε Δεδομένα Κοιν νικών Δικτύ ν με ρήση Γράφ ν ν- ραμμάτ ν ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Δημήτριος Μ. Τζαννέτος Επι έπουσα : Θεοδώρα Βαρ αρί ου Κα η ήτρια Ε.Μ.Π. Ε κρί ηκε από την τριμε ή εξεταστική επιτροπή την 22η Οκτ ρίου Θεοδώρα Βαρ αρί ου Κα η ήτρια Ε.Μ.Π Βασί ειος Λούμος Κα η ητής Ε.Μ.Π Ε ευ έριος Κα ιάφας Κα η ητής Ε.Μ.Π. Α ήνα, Οκτώ ριος 2014

4 Δημήτριος Μ. Τζαννέτος Διπ ματού ος Η εκτρο ό ος Μη ανικός και Μη ανικός Υπο ο ιστών Ε.Μ.Π. Copyright Δημήτριος Μ. Τζαννέτος, Με επιφύ αξη παντός δικαιώματος. All rights reserved. Απα ορεύεται η αντι ραφή, απο ήκευση και διανομή της παρούσας ερ ασίας, εξ ο οκ ήρου ή τμήματος αυτής, ια εμπορικό σκοπό. Επιτρέπεται η ανατύπ ση, απο ήκευση και διανομή ια σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπό εση να αναφέρεται η πη ή προέ ευσης και να διατηρείται το παρόν μήνυμα. Ερ τήματα που αφορούν τη ρήση της ερ ασίας ια κερδοσκοπικό σκοπό πρέπει να απευ ύνονται προς τον συ ραφέα. Οι απόψεις και τα συμπεράσματα που περιέ ονται σε αυτό το έ ραφο εκφράζουν τον συ ραφέα και δεν πρέπει να ερμηνευ εί ότι αντιπροσ πεύουν τις επίσημες έσεις του Ε νικού Μετσό ιου Πο υτε νείου.

5 Περί ηψη Η έ ευση του Διαδικτύου δημιούρ ησε νέα κανά ια επικοιν νίας, ενημέρ σης και αντα - α ής απόψε ν. Η ανά κη εξα ής ρήσιμ ν συμπερασμάτ ν ανα ύοντας με αυτοματοποιημένο τρόπο τον τεράστιο ό κο του παρα όμενου από ρήστες περιε ομένου οδή ησε στην εμφάνιση της Ανά υσης Συναισ ήματος. Ειδικότερα, τα δεδομένα τ ν Κοιν νικών Μέσ ν Δικτύ σης ό τ ν ε ενών αρακτηριστικών τους δημιουρ ούν σημαντικές δυσκο ίες με αποτέ εσμα να αναζητούνται νέες μέ οδοι επεξερ ασίας. Σε αυτό το π αίσιο, η παρούσα ερ ασία με ετά την εφαρμο ή του μοντέ ου ράφ ν ν- ραμμάτ ν - μίας επι επόμενης προσέ ισης ανεξάρτητη ώσσας που έ ει προτα- εί στη ι ιο ραφία - σε ένα πο υ σσικό και πο υ εματικό περι ά ον. Διερευνά τον τρόπο με τον οποίο ανταποκρίνεται στη μετα ο ή τ ν ασικών παραμέτρ ν του μοντέ ου και προτείνει τους π έον κατά η ους ια εφαρμο ή α ορί μους Μη ανικής Μά ησης. Έπειτα, εξετάζει τροποποιήσεις της αρ ικής σύν εσης και επιτυ άνει να αυξήσει την ακρί εια ταξινομητών με μέτρια επίδοση. Τέ ος, μέσ σ ημάτ ν ensemble, προσδιορίζει τους συνδυασμούς ταξινομητών οι οποίοι εμφανίζουν συστηματικά ε τι μένα ποσοστά ακρί ειας. Λέξεις κ ειδιά ανά υση συναισ ήματος, ράφοι ν- ραμμάτ ν, α όρι μοι Επι επόμενης Μη ανικής Μά ησης, κατη οριοποίηση πο ικότητας, τε νικές ensemble 5

6

7 Abstract The advent of the Internet created new channels of communication, information and opinion exchange. The need to extract useful insight through automated analysis of the vast amount of user-generated content gave rise to Sentiment Analysis. Social Media content, in particular, due to its inherent characteristics poses serious challenges that call for new processing techniques. In this context, this thesis focuses on the application of n-gram graphs model - a language-independent supervised approach presented in the bibliography - to a multilingual and multi-topic environment. Explores how the model responds to basic parameter changes and proposes the most applicable machine learning algorithms. Furthermore, examines modifications of the initial structure and achieves to enhance the accuracy of low-performance classifiers. Finally, using ensemble techniques, specifies classifier combinations that consistently show higher accuracy rates. Key words sentiment analysis, n-gram graphs, supervised machine learning algorithms, polarity classification, ensemble techniques 7

8

9 Ευ αριστίες Η παρούσα διπ ματική ερ ασία εκπονή ηκε στο Ερ αστήριο Κατανεμημένης Γνώσης και Συστημάτ ν Π ηροφορικής της Σ ο ής Η εκτρο ό ν Μη ανικών και Μη ανικών Υπο ο ιστών και επισφρα ίζει τις σπουδές μου στο Ε νικό Μετσό ιο Πο υτε νείο. Θα ή ε α να ευ αριστήσ ιδιαιτέρ ς την κα η ήτριά μου κα. Θεοδώρα Βαρ αρί ου ια την εμπιστοσύνη που μου έδειξε και την ευκαιρία που μου παρεί ε να ασ ο η ώ με ένα τόσο ενδιαφέρον έμα. Επίσης, α ή ε α να ευ αριστήσ τον Μεταδιδακτορικό Ερευνητή Φώτη Αίσ πο και τον Υποψήφιο Διδάκτορα Θάνο Παπαοικονόμου ια το ρόνο που μου αφιέρ σαν και τις συμ ου ές τους κα ό η τη διάρκεια εκπόνησης της διπ ματικής μου ερ ασίας. Τέ ος, ευ αριστώ την οικο ένειά μου ια τη στήριξη και οή εια κατά τη διάρκεια τ ν σπουδών μου. Δημήτριος Μ. Τζαννέτος, Α ήνα, 22η Οκτ ρίου

10

11 Περιε όμενα 1. Εισα ή Διατύπ ση Προ ήματος Προσέ ιση Ορ άν ση Κειμένου Ανά υση Συναισ ήματος Το Πρό ημα της Ανά υσης Συναισ ήματος Δυσκο ίες & Προκ ήσεις Ανά υση Συναισ ήματος σε Μικρο-Ιστο ό ια Προσε ίσεις Κατη οριοποίηση Μέ οδοι Επι επόμενης Μά ησης Μέ οδοι Μη-Επι επόμενης Μά ησης Σ ετικές Ερ ασίες Ερ ασίες με ρήση Επι επόμενης Μη ανικής Μά ησης Ερ ασίες με ρήση Μη-Επι επόμενης Μη ανικής Μά ησης Ανά υση Συναισ ήματος με Γράφους ν- ραμμάτ ν Αναπαράσταση Δεδομέν ν Βασικές Έννοιες & Ορισμοί Αναπαράσταση Δεδομέν ν με Γράφους ν- ραμμάτ ν Α όρι μοι Κατη οριοποίησης Δένδρα Αποφάσε ν Λο ιστική Πα ινδρόμηση Naive Bayes Πο υεπίπεδο Perceptron Μη ανές Διανυσμάτ ν Υποστήριξης k-κοντινότεροι Γείτονες Αξιο ό ηση Παράμετροι Αξιο ό ησης Σύστημα Αξιο ό ησης Ορ άν ση Πειραμάτ ν Αποτε έσματα Επι ο ή Ποσοστών Διάσπασης Επι ο ή Με έ ους ν- ράμματος Επι ο ή Κατα η ότερου Ταξινομητή Συμπεριφορά στα επιμέρους σύνο α δεδομέν ν Τροποποιήσεις Αρ ιτεκτονικής Συστήματος

12 Προεπεξερ ασία Δεδομέν ν Χρήση Δεδομέν ν Κατασκευής στην Εκπαίδευση Αφαίρεση Θορύ ου Διακριτοποίηση Δεικτών Ομοιότητας Συνδυασμός Ταξινομητών Σ ήμα Ψηφοφορίας Σ ήμα Συνέν σης με Τρι νικές Νόρμες Σύνοψη Συμπερασμάτ ν Αξιο ό ησης Επί ο ος Σύνοψη & Συμπεράσματα Με οντικές Προεκτάσεις Βι ιο ραφία Παράρτημα Αʹ Πειραματικά Αποτε έσματα Βʹ Πη αίος Κώδικας

13 Κατά ο ος Σ ημάτ ν 3.1 Πάραδει μα Γράφου 3- ραμμάτ ν Διαδικασία υπο ο ισμού διανύσματος αρακτηριστικών με το μοντέ ο ράφ ν ν- ραμμάτ ν Διαδικασία Κατη οριοποίησης Παράδει μα Δένδρου Αποφάσε ν Πο υεπίπεδο Perceptron εμπρόσ ιας τροφοδότησης με ένα κρύφο επίπεδο και κόμ ους πό σης Μη ανή Διανυσμάτ ν Υποστήριξης ια δεδομένα δύο κ άσε ν Προσδιορισμός κατη ορίας με άση τον 1 και τους 5 κοντινότερους είτονες Λειτουρ ικότητες Εκπαίδευσης και Εξέτασης Διαδικασία Διάσπασης Συνό ου Δεδομέν ν Kατανομή Κ άσε ν Πο ικότητας ανά Υποσύνο ο Δεδομέν ν Ακρι εία Κατη οριοποίησης ανά συνδυασμό ποσοστών διάσπασης Ακρί εια Κατη οριοποίησης ια με έ η ν- ράμματος 3,4 και Βέ τιστη Ακρί εια Κατη οριοποίησης και Ποσοστό Συμμετο ής τ ν Υποσυνό ν Δεδομέν ν Τροποποίηση Προεπεξερ ασίας Δεδομέν ν Τροποποίηση Χρήσης Δεδομέν ν Κατασκευής στη Διαδικασία Εκπαίδευσης Τροποποίηση Αφαίρεση Θορύ ου από Γράφους Κ άσε ν Τροποποίηση Διακριτοποίησης Δεικτών Ομοιότητας Τροποποίηση Συνδυασμού Ταξινομητών

14

15 Κατά ο ος Πινάκ ν 4.1 Σύνο α ειροκίνητα ταξινομημέν ν δεδομέν ν Ποσοστά Ακρί ειας Ταξινομητών ια ν- ράμματα 1 έ ς Precision, Recall και F 1 -score τ ν MLP, SVM και Logistic Ποσοστά Ακρί ειας μετά την αφαίρεση Twitter tokens Ποσοστά Ακρί ειας μετά την αφαίρεση υπερσυνδέσμ ν Ποσοστά Ακρί ειας μετά την αντικατάσταση Twitter tokens Ποσοστά Ακρί ειας μετά τη ρήση τ ν Δεδομέν ν Κατασκευής στη διαδικασία της Εκπαίδευσης Ποσοστά Ακρί ειας μετά τη Διακριτοποίηση Δεικτών Ομοιότητας Ποσοστά Ακρί ειας μετά τη Αφαίρεση Θορύ ου από τους Γράφους Κ άσε ν συναρτήσει του αρι μού τ ν επανα ήψε ν Ποσοστά Ακρί ειας με τη συμμετο ή ό ν τ ν ταξινομητών στο σ ήμα Ψηφοφορίας Συνδυασμοί Ταξινομητών με έ τιστη επίδοση στο σ ήμα Ψηφοφορίας Οι Τρι νικές Νόρμες και ο αντίστοι ος Τύπος Συσ έτισης Ποσοστά Ακρί ειας κατά τη συνέν ση ό ν τ ν ταξινομητών Συνδυασμοί Ταξινομητών με έ τιστη ακρί εια στην περίπτ ση ν- ράμματος n = Διαστρ μάτ ση Δείκτη Εμπιστοσύνης Ĉ ς προς την Τρι νική Νόρμα Συνέν σης

16

17 1 Εισα ή Τα τε ευταία ρόνια, η ανάπτυξη του Διαδικτύου έ ει α άξει σε με ά ο α μό την κα ημερινότητά μας προσφέροντας νέους τρόπους επικοιν νίας, ενημέρ σης και α η- επίδρασης μεταξύ τ ν αν ρώπ ν. Οι ρήστες του Internet δεν είναι π έον πα ητικοί αποδέκτες π ηροφοριών α ά συμμετέ οντας σε κοιν νικά δίκτυα έ ουν τη δυνατότητα να συζητήσουν με ά ους ρήστες,να αντα άξουν απόψεις και ιδέες, απομακρύνονται δε με τον τρόπο αυτό από τις πιο παραδοσιακές υπηρεσίες όπ ς τα s. Η άποψη της κοινής νώμης ύρ από ποικί α έματα απασ ο εί την αν ρώπινη δραστηριότητα η οποία προσπα εί να την αφου κραστεί μέσ ερ τηματο ο ί ν και δημοσκοπήσε ν. Κα ώς ο οένα και περισσότεροι ρήστες αναρτούν κριτικές σ ετικά με τα προϊόντα ή υπηρεσίες που ρησιμοποιούν, οι π ατφόρμες κοιν νικής δικτύ σης αποτε ούν σημαντικές πη ές π ηροφοριών όσον αφορά την άποψη και τα συναισ ήματα τ ν αν ρώπ ν - οι οποίες ια πρώτη φορά στην ιστορία είναι κατα ε ραμμένες απευ είας σε η εκτρονική μορφή. Η ανά κη ανά υσης και αξιοποίησης του παρα όμενου ό κου π ηροφορίας με αυτοματοποιημένο τρόπο οδή ησε στην εμφάνιση της Ανάλυσης Συναισθήματος (Sentiment Analysis). Η Ανά υση Συναισ ήματος σε δεδομένα κοιν νικών δικτύ ν αποκτά ο οένα και περισσότερο έδαφος στον ακαδημαϊκό ώρο ό τ ν τε νικών προκ ήσε ν που έτει α ά και στον επι ειρηματικό ώρο άρη στις πο ά υποσ όμενες προοπτικές της. Πρ τοπόρες εταιρείες επενδύουν στην εξόρυξη νώμης από τα κοιν νικά μέσα δικτύ σης, ρησιμοποιώντας τε νικές ανά υσης συναισ ήματος. Είναι ιδιαίτερα κρίσιμη η έ καιρη ανά υση της νώμης τ ν κατανα τών στα κοιν νικά δίκτυα και η κατά η η προσαρμο ή στις ανά κες τους κα ώς αυξάνεται συνε ώς ο αρι μός τ ν αν ρώπ ν που στηρίζονται σε αξιο ο ήσεις ά ν κατανα τών πριν ά ουν την τε ική απόφαση α οράς. 1.1 Διατύπ ση Προ ήματος Η Ανά υση Συναισ ήματος μπορεί να εφαρμοσ εί σε διάφορα επίπεδα ανά υσης ανά ο α με το μέ ε ος του κειμένου και τη ζητούμενη επτομέρεια της εξα όμενης π ηροφορίας: Επίπεδο Ε ράφου : ίνεται η παραδο ή ότι σε κά ε έ ραφο διατυπώνεται μία άποψη ια ένα συ κεκριμένο αντικείμενο ή έμα. 17

18 Επίπεδο Πρότασης : δια ρίζει κά ε έ ραφο σε προτάσεις υπο έτοντας ότι κά ε μία πρόταση εκφράζει μία μόνο άποψη. Επίπεδο Χαρακτηριστικού : δια ρίζει κά ε έ ραφο ή πρόταση σε φράσεις οι οποίες αναφέρονται σε μία οντότητα συνο ικά ή ξε ριστά ια κά ε ένα από τα αρακτηριστικά της με διαφορετικό συναίσ ημα. Ο α μός επτομέρειας που εξετάζουμε και συναντάται κυρί ς στη ι ιο ραφία εστιάζει στην πο ικότητα του μηνύματος. Προσπα εί να κατατάξει την άποψη που διατυπώνεται σε ένα κείμενο σε ετική,αρνητική ή ουδέτερη και ια το ό ο αυτό η Ανά υση Συναισ ήματος αναφέρεται συ νά και με τον όρο Εξόρυξη Γνώμης. Πιο προ ρημένες προσε ίσεις ασ ο ούνται με τον προσδιορισμό του συ κεκριμένου συναισ ήματος που εκφράζει ο δημιουρ ός π.. αρά, ευ αρίστηση, ύπη, α ανάκτηση. Στην παρούσα ερ ασία με ετάμε την Ανά υση Συναισ ήματος σε επίπεδο ε ράφου ανα ύοντας πο υ σσικά μηνύματα από το κοιν νικό δίκτυο Twitter. Σκοπός είναι ο προσδιορισμός της πο ικότητας τ ν κειμέν ν τα οποία αποτε ούνται από μερικές προτάσεις. Ωστόσο, ό του περιορισμού του μήκους τ ν μηνυμάτ ν που επι ά ει το μέσο, το εύρος της ανά υσης προσε ίζει σε με ά ο α μό το επίπεδο πρότασης. Το πρό ημα που εξετάζουμε είναι η ταξινόμηση πο υ σσικών κειμέν ν σε τρεις κατη ορίες ( ετική, αρνητική ή ουδέτερη). Θε ρούμε π ς κά ε μήνυμα ανήκει σε μόνο μία κατη ορία δη αδή η πο ικότητα είναι ενιαία σε ό ο το σώμα του ε ράφου (singlelabel classification). Παρά η α, εστιάζουμε σε ένα σύνο ο σσών ρίς στόσο να ν ρίζουμε εκ τ ν προτέρ ν τη ώσσα στην οποία κά ε μήνυμα έ ει ραφτεί. 1.2 Προσέ ιση Τα περισσότερα συστήματα Ανά υσης Συναισ ήματος ανι νεύουν εκφραστικά μοτί α και εφαρμόζουν τε νικές που αξιο ο ούν τη σημασία και συναισ ηματική ροιά συ- κεκριμέν ν έξε ν και φράσε ν (π.. SentiWordNet). Αν και αυτές οι προσε ίσεις επιτυ άνουν αρκετά υψη ή ακρί εια όταν εφαρμοσ ούν σε ένα συ κεκριμένο περι ά - ον με ν στή εματο ο ία, έ ουν κατασκευασ εί με την παραδο ή ότι τα προς εξέταση δεδομένα είναι ραμμένα σε μία μόνο εκ τ ν προτέρ ν ν στή ώσσα και δεν περι- αμ άνουν ορυ ώδες περιε όμενο (νεο ο ισμούς, ορ ο ραφικά ά η,αρ κό), στοι εία τα οποία αποτε ούν ε ενή αρακτηριστικά τ ν δεδομέν ν από κοιν νικά δίκτυα. Σε αυτή την ερ ασία αντιμετ πίζουμε τους συ κεκριμένου περιορισμούς με ετώντας εκτενέστερα την εφαρμο ή της με όδου ράφ ν ν- ραμμάτ ν σε μηνύματα του Twitter. H εν ό προσέ ιση επι επόμενης μά ησης που προτά ηκε από τους Aisopos, Papadakis, Tserpes και Varvarigou εμφανίζει ανεξαρτησία από τη ώσσα (language neutrality) και υψη ή ανο ή στο όρυ ο (noise-tolerant) και περι ράφεται ανα υτικά στο Κεφά αιο 3. Συνοπτικά, δημιουρ εί ένα ράφο του οποίου οι κορυφές αντιστοι ούν σε αρακτήρες ν- ραμμάτ ν ενός μηνύματος και τα άρη τ ν ακμών του αναφέρονται στη μέση απόσταση μεταξύ τους. Μηνύματα της ίδιας κατη ορίας πο ικότητας συ νεύονται στον αντίστοι ο ράφο κ άσης και στη συνέ εια κά ε ράφος μηνύματος συ κρίνεται με τους ράφους κ άσε ν ια να προσδιορισ εί η πο ικότητα του μηνύματος. Το μοντέ ο 18

19 ράφ ν ν- ραμμάτ ν εμφάνισε υψη ά ποσοστά ακρί ειας κατη οριοποίησης εφαρμοζόμενο σε με ά ο ό κο δεδομέν ν που παρά ηκε με αυτόματο τρόπο με την τε νική της εξ αποστάσε ς επί εψης (distant supervision). Στό ος της παρούσας ερ ασίας είναι : η με έτη της συμπεριφοράς της με όδου σε ένα σύνο ο ειροκίνητα ταξινομημέν ν (manually annotated) πο υ σσικών δεδομέν ν, η διερεύνηση και προσπά εια ε τί σης τ ν αποτε εσμάτ ν τ ν α ορί μ ν Μη ανικής Μά ησης και τέ ος η διενέρ εια παρεμ άσε ν σε στάδια της με όδου προκειμένου να διαπιστ εί η ανταπόκρισή της σε αυτές. 1.3 Ορ άν ση Κειμένου Το υπό οιπο κείμενο διαρ ρώνεται ς εξής : Κεφά αιο 2 : Παρουσιάζεται εκτενέστερα το πρό ημα της Ανά υσης Συναισ ήματος, οι δυσκο ίες και προκ ήσεις που κα είται να αντιμετ πίσει, οι διάφορες προσε ίσεις που ρησιμοποιούνται και πρα ματοποιείται μία ανασκόπηση της σ ετικής ι ιο ραφίας. Κεφά αιο 3 : Περι ράφεται ανα υτικά η μέ οδος κατη οριοποίησης με ράφους ν- ραμμάτ ν και παρουσιάζονται συνοπτικά τα αρακτηριστικά τ ν α ορί μ ν Μη- ανικής Μά ησης που ρησιμοποιούνται στην ερ ασία. Κεφά αιο 4 : Παρουσιάζονται και αξιο ο ούνται τα πειραματικά αποτε έσματα της εφαρμο ής της με όδου και ανα ύονται η συμπεριφορά της ς προς τη μετα ο ή ασικών παραμέτρ ν, η συμ ατότητα της με διάφορους α ορί μους Μη ανικής Μά ησης κα ώς και ο τρόπος με τον οποίο ανταποκρίνεται στις τροποποιήσεις της αρ ικής αρ ιτεκτονικής Κεφά αιο 5 : Συνοψίζονται τα συμπεράσματα που προέκυψαν από την παραπάν με- έτη και αναφέρονται ανοικτά έματα και με οντικοί προσανατο ισμοί έρευνας όσον αφορά στην εφαρμο ή του μοντέ ου ράφ ν ν- ραμμάτ ν σε δεδομένα κοιν νικών δικτύ ν 19

20

21 2 Ανά υση Συναισ ήματος Τα τε ευταία ρόνια η Ανά υση Συναισ ήματος προσε κύει ό ο και περισσότερο το ενδιαφέρον της ακαδημαϊκής κοινότητας α ά και της ιομη ανίας άρη στις πι ανές εφαρμο ές της, κυρί ς στον τομέα της Επι ειρηματικής Ευφυίας (Business Intelligence). Στην προσπά εια να αξιοποιήσουμε αποτε εσματικά τον τεράστιο ό κο δεδομέν ν που παρά ονται κα ημερινά από απ ούς ρήστες (user-generated content) στα μέσα κοιν νικής δικτύ σης, έ ουν πρα ματοποιη εί σημαντικές έρευνες εφαρμόζοντας διαφορετικές τε νικές και προσε ίσεις. 2.1 Το Πρό ημα της Ανά υσης Συναισ ήματος Από τις πρώτες με έτες στην περιο ή της Ανά υσης Συναισ ήματος [51] εί ε ήδη ίνει αντι ηπτό ότι η κατη οριοποίηση συναισ ήματος (sentiment classification) διαφέρει από το κ ασικό πρό ημα κατη οριοποίησης κειμένου : Η κατηγοριοποίηση κείμενου - γνωστή και ως ταξινόμηση κειμένου ή ανίχνευση θέματος - αναφέρεται στην αντιστοίχηση κειμένων φυσικής γλώσσας σε θεματικές κατηγορίες ή κλάσεις οι οποίες ανήκουν σε ένα προκαθορισμένο σύνολο [44] Οι κατη ορίες κα ορίζονται με άση τα έματα στό ους του εκάστοτε προ ήματος. Επομέν ς, διαφορετικά προ ήματα ταξινόμησης κειμένου ασίζονται σε διαφορετικά σύνο α κατη οριών. Το π ή ος τ ν κατη οριών σε ένα σύνο ο ποικί ει : μπορεί να εκτείνεται από ένα μικρό σύνο ο δύο μόνο κατη οριών έ ς σύνο α με δεκάδες κατη ορίες π.. οι κατη ορίες που απαιτούνται ια την ταξινόμηση ενός άρ ρου εφημερίδας με άση τη εματο ο ία που κα ύπτει. Παρά η α, ανά ο α με το πρό ημα και το σύνο ο κατη οριών, ένα κείμενο μπορεί να ανήκει σε μία ή περισσότερες επικα υπτόμενες κατη ορίες π.. ένα άρ ρο να αντιστοι η εί με τις κατη ορίες πο ιτική, οικονομία και επικαιρότητα. Αντί ετα, η Ανά υση Συναισ ήματος αναφέρεται σε ένα μικρό σύνο ο κατη οριών (π.. ετικό, αρνητικό, ουδέτερο - 1 αστέρι,..., 5 αστέρια ). Επειδή επικεντρώνεται στην κατάταξη ενός κειμένου ς προς την πο ικότητα του, οι κατη ορίες είναι ανεξάρτητες της εματο ο ίας του προ ήματος και μεταξύ τους αμοι αία αποκ ειόμενες. 21

22 Το πρό ημα που προσπα εί να επι ύσει η Ανά υση Συναισ ήματος είναι ένα από τα πιο απ ά προ ήματα με τα οποία ασ ο είται η Επεξερ ασία Φυσικής Γ ώσσας [22]. Ο υπο ο ιστής δε ρειάζεται να αντι αμ άνεται π ήρ ς τη σημασιο ο ία της κά ε πρότασης α ά α πρέπει να εντοπίζει τη συνο ική στάση του συ ραφέα και να την ταξινομεί ς προς την πο ικότητά της. Οι απαιτήσεις απ οποιούν σε με ά ο α μό το πρό ημα της κατανόησης της φυσικής ώσσας από τον υπο ο ιστή α ά δεν παύει το πρό ημα της ανί νευσης της πο ικότητας - στο οποίο εξειδικεύεται - να είναι αρκετές φορές δύσκο ο ακόμη και ια τον άν ρ πο Δυσκο ίες & Προκ ήσεις Το εννοιο ο ικό π αίσιο στο οποίο κινείται η Ανά υση Συναισ ήματος εξασφα ίζει την εφαρμο ή τ ν τε νικών και με όδ ν της σε ένα με ά ο εύρος εμάτ ν ρίς ιδιαίτερες τροποποιήσεις, επιτυ άνοντας αρκετά ικανοποιητικά ποσοστά ακρί ειας. Στηριζόμενοι στην ανεξαρτησία του προ ήματος από τη εματο ο ία, α μπορούσαμε να ισ υριστούμε ότι η πο ικότητα ενός κειμένου προκύπτει από την πο ικότητα τ ν μεμον μέν ν έξε ν από τις οποίες απαρτίζεται. Συνεπώς, ανα ν ρίζοντας ένα συ κεκριμένο σύνο ο έξε ν-κ ειδιών (keywords) α μπορούσαμε να προσδιορίσουμε τη συνο ική πο ικότητα της άποψης που εκφράζεται στο κείμενο. Η παραπάν διαδικασία είναι μία από τις πρώτες με όδους που ρησιμοποιή ηκαν και υιο ετεί μία από τις πιο δημοφι είς και αποτε εσματικές τε νικές της ανί νευσης εματο ο ίας. Ωστόσο, η προσέ ιση μέσ έξε ν κ ειδιών στο συ κεκριμένο πρό ημα δεν εμφανίζει υψη ά ποσοστά ακρί ειας και έ ει αποδε εί ε ιπής σε ορισμένες περιπτώσεις ( thwarted expectations [34]). Στο σημείο αυτό ανακύπτει το εξής ερώτημα : ια ποιο ό ο το πρό ημα της κατη οριοποίησης συναισ ήματος είναι πιο δύσκο ο σε σ έση με την ανί νευση εματο ο ίας, αν ά ουμε υπόψη ότι οι κατη ορίες ετικό, αρνητικό και ουδέτερο είναι εννοιο ο ικά ξένες μεταξύ τους ; Μία από τις πιο σημαντικές διαφορές με την κατη οριοποίηση ς προς τη εματο ο- ία και τις δυσκο ίες στην περιο ή της Ανά υσης Συναισ ήματος είναι ότι το συναίσ ημα/άποψη μπορεί πο ές φορές να εκφρασ εί με πιο επτό τρόπο ρίς τη ρήση συναισ ηματικά φορτισμέν ν ( ετικά ή αρνητικά) έξε ν με αποτέ εσμα να είναι δύσκο ο να ανα ν ρισ εί από τους επιμέρους όρους του κειμένου όταν αυτοί εξετάζονται μεμον μένα [33]. Παρά η α, πέρα από τον προσδιορισμό της πο ικότητας όταν απουσιάζουν συναισ ηματικά φορτισμένες έξεις, ιδιαίτερα απαιτητικός είναι και ο δια ρισμός τ ν υποκειμενικών και αντικειμενικών έξε ν και φράσε ν ενός κειμένου. Όπ ς αναφέρεται από τους Kim και Hovy στο [19] πο ές φορές ακόμη και άν ρ ποι διαφ νούν ια το αν μία δή ση αποτε εί ή ό ι άποψη. Ένα ά ο ζήτημα που απασ ο εί ιδιαίτερα την Ανά υση Συναισ ήματος είναι ο προσδιορισμός του κατό ου - εκφραστή της άποψης (opinion holder) που διατυπώνεται στο κείμενο. Το συ κεκριμένο έμα έ ει με ετη εί εκτενώς στη ι ιο ραφία, κυρί ς σε

23 ανα ύσεις σε πο ιτικά debates εξετάζοντας αν η νώμη ανήκει στο συ ραφέα/δημιουρ ό ή στον σ ο ιαστή. Όπ ς αναφέρ ηκε στην Ενότητα 2.1, η ενικότερη αντί ηψη της ετικής ή αρνητικής άποψης δεν εξαρτάται άμεσα από το εκάστοτε έμα συζήτησης. Ωστόσο, το συναίσ ημα και η υποκειμενικότητα ενός κειμένου εξαρτώνται από το σημασιο ο ικό π αίσιο στο οποίο τοπο ετείται [33]. Χαρακτηριστικό παράδει μα : πή αινε διά ασε το ι ίο. Η πρόταση εκφράζει ετική άποψη όταν αναφέρεται σε κριτική ι ίου. Η ίδια πρόταση, όμ ς, εκφράζει εντε ώς διαφορετική άποψη όταν ρησιμοποιείται σε κριτική ταινίας. Ά ος ένας παρά οντας που επηρεάζει την πο ικότητα είναι η σειρά τ ν έξε ν και φράσε ν στο κείμενο [33]. Οι ίδιες έξεις με διαφορετική σειρά μπορεί να οδη ήσουν σε τε εί ς διαφορετική συνο ική πο ικότητα. Τέ ος, στις δυσκο ίες που συναντά η Ανά υση Συναισ ήματος πρέπει να συμπερι ηφ ούν και οι προκ ήσεις της ευρύτερης περιο ής της Επεξερ ασίας Φυσικής Γ ώσσας: αμφισημία, ειρισμός της άρνησης, ειρ νεία και σαρκασμός. 2.3 Ανά υση Συναισ ήματος σε Μικρο-Ιστο ό ια Η Ανά υση Συναισ ήματος όταν εφαρμόζεται σε δεδομένα από μικρο-ιστο ό ια και κοιν νικά δίκτυα κα είται να αντιμετ πίσει περαιτέρ δυσκο ίες οι οποίες οφεί ονται στην ιδιαίτερη φύση τ ν κειμέν ν : Μήκος Κειμένου : τα μηνύματα είναι συνή ς σύντομα (π.. μέ ιστο όριο 140 αρακτήρες στο Twitter). Αν και ο περιορισμός μήκους μπορεί να οδη ήσει σε περιεκτικές και επί του έματος τοπο ετήσεις, πο ές φορές απουσιάζει το ευρύτερο εννοιο ο ικό π αίσιο με αποτέ εσμα να μην είναι σαφής η πο ικότητα του κειμένου [6]. Λεξι ό ιο : τα περισσότερα κείμενα διατυπώνονται σε ανεπίσημη, κα ομι ούμενη ώσσα και εμφανίζουν πο ύ με α ύτερη ποικι ομορφία σε σ έση με ά α είδη κειμένου. Περι αμ άνουν αρ κό, νεο ο ισμούς, εσκεμμένες παρα α ές έξε ν ια έμφαση (επιμήκυνση φ ό ν, ρήση κεφα αί ν ραμμάτ ν), συντομο ραφίες (π.. gr8 - great ) με αποτέ εσμα να μην είναι δυνατή η εφαρμο ή εκτικών ανα- υτών ή ά ν ερ α εί ν που στηρίζονται στη ραπτή και πιο επίσημη μορφή της ώσσας. Θόρυ ος : οι π ατφόρμες κοιν νικής δικτύ σης επιτρέπουν μία αυ όρμητη επικοιν νία σε πρα ματικό ρόνο όπου πο ές φορές οι ρήστες αναρτούν μηνύματα ρίς να ε έ ουν ια συντακτικά ή ραμματικά ά η. Ένα με ά ο ποσοστό από τα δεδομένα που παρά ονται περιέ ει ακούσια ορ ο ραφικά ά η και ακατανόητες εκφράσεις τα οποία συνιστούν ουσιαστικά όρυ ο. Η ανα νώριση και αποκ εισμός τους αποτε εί ιδιαίτερη πρόκ ηση ια τα σύ ρονα συστήματα ανί νευσης συναισ ήματος. 23

24 Πο υ σσικό Περιε όμενο : τα μέσα κοιν νικής δικτύ σης εξαπ ώνονται σε μη α όφ νες ώρες, αποκτώντας ρήστες που ρησιμοποιούν και ράφουν σε διαφορετικές ώσσες, αρκετές φορές ακόμη και σε επίπεδο πρότασης ή μηνύματος. Το φαινόμενο αυτό έ ει ς αποτέ εσμα ιδιαίτερα διαδεδομένες τε νικές στο ευμένες σε συ κεκριμένες ώσσες (language-specific) να κα ίστανται πρακτικά μη εφαρμόσιμες. 2.4 Προσε ίσεις Έ ουν προτα εί διάφορες τε νικές που εξετάζουν την αναπαράσταση του κειμένου υπό διαφορετική οπτική νία, έ οντας, στόσο, κοινό στό ο : τον προσδιορισμό της πο ικότητας.οι πιο ασικές προσε ίσεις συνοψίζονται στις εξής κατη ορίες : 24 Λεξικό Συναισ ήματος : ασίζεται στον ισ υρισμό ότι ο προσδιορισμός της πο ικότητας ενός κειμένου ασίζεται στον σημασιο ο ικό προσανατο ισμό (semantic orientation) τ ν επιμέρους έξε ν και φράσεών του [51]. Δημιουρ ούνται, οιπόν, εξικά συναισ ημάτ ν στα οποία περιέ ονται έξεις και φράσεις με την αντίστοι η σημασιο ο ική πο ικότητα και ισ ύ τους ( ασικά ήμματα). Στη συνέ εια, εμπ ουτίζονται είτε αξιοποιώντας π ηροφορίες από με ά α σώματα κειμένου (ανί νευση συντακτικών μοτί ν, συ νότητα εμφάνισης έξε ν) (text-corpus based) ή ρησιμοποιώντας εξ τερικούς σσο ο ικούς πόρους ( ησαυρούς έξε ν,ερμηνευτικά εξικά) (dictionary-based) ια την επέκτασή τους με συνώνυμα, αντώνυμα και επιπ έον συντακτικές και σημασιο ο ικές π ηροφορίες [16]. Σ έσεις και Συνδέσεις : εξετάζει τις πι ανές σ έσεις και εξαρτήσεις μεταξύ τ ν διάφορ ν αρακτηριστικών του κειμένου. Με ετά τον τρόπο με τον οποίο συνδέονται μεταξύ τους οι παρά ραφοι, οι προτάσεις και τα διάφορα μέρη του ό ου έτσι ώστε να ανι νευτούν νοηματικές αντι έσεις ή επικα ύψεις στις συνιστώσες του κειμένου και να προσδιορισ εί με με α ύτερη ακρί εια η συνο ική πο ικότητα [36]. Δομή του Λό ου : με ετά τη συντακτική δομή του κειμένου : κά ε έξη εξετάζεται αν ανήκει στους κύριους όρους της πρότασης (υποκείμενο-ρήμα-αντικείμενο) και εντοπίζεται η έση της μέσα στο κείμενο με σκοπό να προσδιορισ εί η τοπική της σημασιο ο ία (ενερ ή ή πα ητική συμμετο ή) και η αρύτητά της στο συνο ικό συναίσ ημα. π.. στις κριτικές η συνο ική στάση διατυπώνεται συνή ς προς το τέ ος του κειμένου [34]. Γ σσικά Μοντέ α : δανείζεται αρκετά στοι εία από την περιο ή της Ανα νώρισης Φ νής. Στηρίζεται στη στατιστική επεξερ ασία του κειμένου με στό ο την κατασκευή ενός διανύσματος αρακτηριστικών (feature vector) το οποίο α ρησιμοποιη εί στη συνέ εια ια την κατη οριοποίηση του συναισ ήματος [32]. Ένα σσικό μοντέ ο αποτε εί την υπό συν ήκη κατανομή πι ανότητας της i-ιοστής εκτικής μονάδας σε μία πρόταση, δη αδή υποδη ώνει την πι ανότητα εμφάνισης της συ κεκριμένης εκτικής μονάδας, ν ρίζοντας την κατη ορία ό ν τ ν προη ούμεν ν όρ ν της πρότασης.τα πιο δημοφι ή μοντέ α ασίζονται στην αναπαράσταση του κειμένου με έξεις ή αρακτήρες ν- ραμμάτ ν. Η προσέ ιση αυτή

25 διαφέρει σε σ έση με τις προαναφερ είσες κα ώς απαιτεί ένα σύνο ο από ήδη ταξινομημένα εκπαιδευτικά πρότυπα (training set) - τα οποία πρέπει να είναι αντιπροσ πευτικά τ ν κειμέν ν προς εξέταση (test set). Εφαρμόζοντας το μοντέ ο στο σύνο ο εκπαίδευσης, επι έ ουμε τα αρακτηριστικά εκείνα που κα ιστούν τα κείμενα διαφορετικών κατη οριών δια ρίσιμα. 2.5 Κατη οριοποίηση Η οπτική νία με την οποία προσε ίζεται η δομή και αναπαράσταση ενός κειμένου κα ορίζει και τον τρόπο κατη οριοποίησης του. Οι τε νικές που εφαρμόζονται ρίζονται ανά ο α με το α μό παρέμ ασης του αν ρώπου στη διαδικασία της μά ησης σε δύο ασικές κατη ορίες : Μέ οδοι Επι επόμενης Μά ησης Αποτε εί τη πιο δημοφι ή τε νική κατη οριοποίησης συναισ ήματος. Στό ος είναι η δημιουρ ία ενός ταξινομητή (classifier) ο οποίος α αντιστοι ίζει κείμενα με κατη ορίες ( ετικά, αρνητικά, ουδέτερα) εφαρμόζοντας κάποιον α όρι μο. Στην επι επόμενη μά ηση κά ε κείμενο αναπαρίσταται με ένα διάνυσμα αρακτηριστικών έτσι ώστε ο ταξινομητής να ανα ν ρίσει και να μά ει τις πιο αντιπροσ πευτικές διαφορές ανάμεσα σε κείμενα που ανήκουν σε διαφορετικές κατη ορίες και ι αυτό απαιτείται ένα σύνο ο εκπαίδευσης. Οι α όρι μοι μη ανικής μά ησης εστιάζουν στη ε τιστοποίηση τ ν εσ τερικών τους παραμέτρ ν ανά ο α με τη δυαδική τιμή ή άρος ορισμέν ν αρακτηριστικών ή στην κατασκευή επα ώμεν ν κανόν ν ανά ο α με το ζεύ ος αρακτηριστικό-τιμή στο σύνο ο εκπαίδευσης. Οι πιο ν στοί α όρι μοι είναι: Naive Bayes, Multinomial Naive Bayes, C4.5 και Support Vector Machines (SVM). Οι τε νικές επι επόμενης μά ησης επιτυ άνουν υψη ά ποσοστά ακρί ειας και υπερτερούν τ ν μη-επι επόμεν ν τε νικών [34]. Ωστόσο, εμφανίζουν κάποια μειονεκτήματα. Απαιτείται αρκετός ρόνος και προσπά εια ια την κατασκευή ενός συνό ου εκπαίδευσης α ά και ια την εκπαίδευση του ταξινομητή μέ ρις ότου ρε ούν οι έ τιστες τιμές τ ν παραμέτρ ν ή εξα ούν οι απαραίτητοι κανόνες. Παρά η α, η ακρί εια ενός ταξινομητή εξαρτάται άμεσα από το σύνο ο εκπαίδευσης. Συνεπώς, τα εκπαιδευτικά πρότυπα α πρέπει να έ ουν επι ε εί κατά η α έτσι ώστε να είναι αντιπροσ πευτικά του συνο ικού π η υσμού τ ν κειμέν ν Μέ οδοι Μη-Επι επόμενης Μά ησης Η κατη οριοποίηση συναισ ήματος ίνεται με άση το σημασιο ο ικό προσανατο ισμό τ ν έξε ν και φράσε ν του κειμένου. Δεν απαιτείται σύνο ο εκπαίδευσης ια την εξα- ή διανύσματος αρακτηριστικών. Αντί ετα, ρησιμοποιώντας προ-κατασκευασμένα εξικά συναισ ήματος, αρακτηρίζονται οι διάφοροι όροι του κειμένου και προκύπτει η συνο ική πο ικότητα. 25

26 Αρκετές από τις μη-επι επόμενες με όδους επιτυ άνουν ικανοποιητικά ποσοστά ακρί- ειας σε συστηματική άση όταν εφαρμόζονται σε ν στά εματικά πεδία όπου το εξι- ό ιο τ ν κειμέν ν τους κα ύπτεται από τα εξικά συναισ ήματος. Αποκτούν ιδιαίτερη δημοτικότητα κα ώς δεν απαιτείται σύνο ο εκπαίδευσης με αποτέ εσμα να μπορούν να εφαρμοστούν σε με α ύτερο εύρος εμάτ ν σε σ έση με τις με όδους επι επόμενης μά ησης [47]. Ωστόσο, παρουσιάζουν δύο σημαντικούς περιορισμούς [39]. Αρ ικά, το π ή ος τ ν έξε ν στα εξικά είναι πεπερασμένο με αποτέ εσμα η τε νική να μην μπορεί να εφαρμοστεί σε πο ύ δυναμικά περι ά οντα όπ ς το Twitter όπου νεο ο- ισμοί και συντομο ραφίες συνε ώς εμφανίζονται. Επιπ έον, τα εξικά συναισ ήματος ανα έτουν συνή ς ένα στα ερό συναισ ηματικό προσανατο ισμό στις έξεις ρίς να εξετάζουν το ευρύτερο π αίσιο στο οποίο ρησιμοποιούνται. 2.6 Σ ετικές Ερ ασίες Οι πρώτες με έτες στην περιο ή της Ανά υσης Συναισ ήματος εξέταζαν κυρί ς άρ ρα εφημερίδ ν (κριτικές ταινιών και προϊόντ ν,πο ιτικές και οικονομικές ανα ύσεις). Τα τε ευταία ρόνια, άρη στην ανάπτυξη τ ν μέσ ν κοιν νικής δικτύ σης, το ενδιαφέρον της ακαδημαϊκής κοινότητας α ά και της ιομη ανίας στράφηκε προς την επεξερ ασία και ανά υση τ ν παρα όμε ν δεδομέν ν. Αυτό εί ε ς αποτέ εσμα να παρα εί σημαντικό ερευνητικό έρ ο που εστιάζει αποκ ειστικά σε δεδομένα από κοιν νικά δίκτυα. Ακο ου εί μία επισκόπηση τ ν κύρι ν ερ ασιών σε δεδομένα από το Twitter, ρισμένες σε ενότητες ανά ο α με το είδος της τε νικής που εφαρμόζουν Ερ ασίες με ρήση Επι επόμενης Μη ανικής Μά ησης Οι Go et al. (2009) [14] υπήρξαν από τους πρώτους που με έτησαν την ανά υση συναισ ήματος σε δεδομένα από το Twitter. Στη με έτη τους ασ ο ούνται με τη δυαδική εκδο ή του προ ήματος κατη οριοποίησης συναισ ήματος, αρακτηρίζοντας τα tweets ς ετικά ή αρνητικά. Λό της έ ειψης σε εκπαιδευτικά πρότυπα ήδη κατη οριοποιημένα ειροκίνητα από άν ρ πο (manually annotated), εφαρμόζουν την τε νική της εξ αποστάσε ς επί εψης (distant supervision) ια να εκπαιδεύσουν ένα ταξινομητή επι επόμενης μη ανικής μά ησης. Μέσ του Twitter API, συ έ ουν ένα με ά ο σύνο ο από tweets τα οποία ταξινομούν αυτόματα σε κατη ορίες ανά ο α με τα emoticons (noisy labels), δια ράφοντας tweets που περιέ ουν emoticons και από τις δύο κατη- ορίες. Το τε ικό training set αποτε είται από 1.6 εκατομμύρια tweets, 800 ι ιάδες tweets από κά ε κατη ορία. Εφαρμόζουν στάδιο προεπεξερ ασίας του αρ ικού κειμένου τ ν tweets όπου αφαιρούνται τα emoticons ενώ αναφορές σε ρήστες και υπερσύνδεσμοι αντικα ίστανται με κατά η ες έξεις-κ ειδιά (placeholders). Για την κατη οριοποίηση ρησιμοποιούν ς αρακτηριστικά μονο ράμματα, δι ράμματα, συνδυασμό μονο ραμμάτ ν και δι ραμμάτ ν κα ώς και επισημειώσεις ια την ιδιότητα της κά ε έξης (μέρος του ό ου), νώρισμα που συναντάται στην ι ιο ραφία με τον όρο POS (part-of-speech) tags. Συ κρίνουν τους α ορί μους Naive Bayes, Maximum Entropy και Support Vector Machines (SVM). Η ρήση τ ν SVM με μοναδικό αρακτηριστικό τα μονο ράμματα αποφέρει το κα ύτερο αποτέ εσμα (82.9 %). Παρατηρούν 26

27 π ς η προσ ήκη τ ν δι ραμμάτ ν στο διάνυσμα αρακτηριστικών ε τιώνει την επίδοση τ ν NaiveBayes και Maximum Entropy α ά ό ι τ ν SVM. Τέ ος, κατα ή ουν στο συμπέρασμα ότι προσ έτοντας την άρνηση (negation) ς ξε ριστό αρακτηριστικό κα ώς και τα POS tags δεν παρατηρείται ε τί ση ενώ η ρήση μόνο τ ν δι ραμμάτ ν οδη εί σε ειρότερα αποτε έσματα εξαιτίας του αραιού ώρου αρακτηριστικών (feature space). Οι Pak & Paroubek (2010) [31] ρησιμοποιούν επίσης ετικά και αρνητικά emoticons ια να δημιουρ ήσουν ένα σύνο ο εκπαίδευσης με 300 ι ιάδες tweets. Ωστόσο, συ - έ ουν παρά η α tweets από ο αριασμούς εφημερίδ ν στο Twitter ια να τα ρησιμοποιήσουν ς ουδέτερα πρότυπα και να με ετήσουν το ενικότερο πρό ημα κατη οριοποίησης με τις τρεις κ άσεις. Στο στάδιο της προεπεξερ ασίας τους, αφαιρούν τα ονόματα ρηστών, τα emoticons, τους υπερσυνδέσμους και τα άρ ρα (a, an, the) (stopwords), οι έξεις άρνησης (no, not) συνενώνονται με την προη ούμενη ή επόμενη έξη και το κείμενο κατακερματίζεται στα κενά και τα σημεία στίξης (tokenization). Πειραματίζονται με μονο ράμματα, δι ράμματα και τρι ράμματα. Κατασκευάζουν δύο εκδο ές του ταξινομητή Naive Bayes ρησιμοποιώντας διαφορετικά αρακτηριστικά. Ο ένας στηρίζεται στην παρουσία ενός ν- ράμματος στο κείμενο ( αρακτηριστικό με δυαδική τιμή). Ο ά ος ασίζεται στην π ηροφορία κατανομής τ ν μερών του ό ου (POS) ια να εκτιμήσει την παρουσία τ ν POS tags και να υπο ο ίσει την εκ τ ν υστέρ ν πι ανότητα (posterior probability) του μοντέ ου Naive Bayes. Θε ρώντας π ς τα δύο αρακτηριστικά είναι υπό συν ήκη ανεξάρτητα και κατ επέκταση και οι δύο ταξινομητές, η τε ική ταξινόμηση ίνεται με άση το ο άρι μο πι ανοφάνειας (log-likelihood). Παρατηρούν ότι το συ κεκριμένο μοντέ ο υπερτερεί τ ν Support Vector Machines (SVM) και τ ν Conditional Random Fields (CRF) έ οντας κα ύτερο αποτέ εσμα στον ό ι και τόσο ν στό δείκτη F 0.5 = Συμπεραίνουν π ς τα δι ράμματα πετυ αίνουν τη κα- ύτερη ακρί εια ιατί αποτε ούν μία κα ή ισορροπία ανάμεσα στην κά υψη τ ν εύρους (μονο ράμματα) και στην ικανότητα ανα νώρισης συναισ ηματικών μοτί ν έκφρασης (τρι ράμματα) [31]. Οι Barbosa & Feng (2010) [5] προτείνουν ένα ταξινομητή δύο φάσε ν. Στην πρώτη φάση, τα tweets κατη οριοποιούνται σε υποκειμενικά ή αντικειμενικά και στη συνέ εια τα υποκειμενικά διακρίνονται σε ετικά ή αρνητικά tweets. Ακο ου ούν μία διαφορετική προσέ ιση ια την κατασκευή του συνό ου εκπαίδευσης : ρησιμοποιούν ς noisy labels ό ι τα emoticons α ά τη νώμη τριών ερ α εί ν ανί νευσης συναισ ήματος : Twendz 2, Twitter Sentiment 3 και TweetFeel 2, δια ράφοντας τα tweets στα οποία δεν υπάρ ει ομόφ νη απόφαση. Το τε ικό σύνο ο εκπαίδευσης περι αμ άνει 200 ι ιάδες tweets ια ανί νευση υποκειμενικότητας και ετικά και αρνητικά tweets ια κατη οριοποίηση πο ικότητας. Δια ρίζουν τα αρακτηριστικά τους σε δύο κατη- ορίες : τα μέτα- αρακτηριστικά (meta-features) και τα αρακτηριστικά σύνταξης του tweets (tweet-syntax). Η πρώτη κατη ορία περι αμ άνει αρακτηριστικά όπ ς POS tags, ο α μός υποκειμενικότητας και πο ικότητας της εκάστοτε έξης όπ ς αυτά προσδιορίζονται στο εξικό MPQA [54]. Η δο είσα πο ικότητα αντιστρέφεται από ετική σε αρνητική και αντίστροφα όταν μία άρνηση προη είται της έξης. Η δεύτερη κατη ορία περι αμ άνει πιο ειδικά ια το Twitter αρακτηριστικά όπ ς η ύπαρξης retweets, hashtags, υπερσυνδέσμ ν, αυμαστικών, ερ τηματικών, emoticons και κεφα αί ν ραμμάτ ν. Η συ νότητα κά ε αρακτηριστικού κανονικοποιείται διαιρώντας με το π ή ος 2 Η υπηρεσία δεν είναι π εόν δια έσιμη

28 τ ν όρ ν του κά ε tweet. Συνο ικά και από τις 2 κατη ορίες προκύπτουν 20 αρακτηριστικά. Τα κα ύτερα αποτε έσματα προκύπτουν ρησιμοποιώντας ς ταξινομητή τον SVM και στις δύο φάσεις επιτυ άνουν δε ακρί εια 81.9 % στην ανα νώριση υποκειμενικότητας και 81.3 % στην ανα νώριση πο ικότητας ενώ ς άση αναφοράς ε ρούνται τα μονο ράμματα με ακρί εια 72.4 % και 79.1 % αντίστοι α στις δύο φάσεις. Παρατηρούν ότι τα μέτα- αρακτηριστικά είναι πιο σημαντικά στη φάση προσδιορισμού της πο ικότητας ενώ τα αρακτηριστικά σύνταξης κατά την φάση ανα νώρισης της υποκειμενικότητας. Οι συ ραφείς κατα ή ουν στο συμπέρασμα ότι επειδή ρησιμοποιούν μια πιο αφηρημένη αναπαράσταση τ ν δεδομέν ν και ό ι μεμον μένους όρους του, η προσέ ισή τους εμφανίζει με α ύτερη ανο ή στο όρυ ο και μερο ηψία (bias) του συνό ου εκπαίδευσης σε σ έση με ά ες με όδους ενώ εμφανίζει κα ύτερη συμπεριφορά ς προς την ικανότητας ενίκευσης όταν ρησιμοποιούνται σ ετικά ί α εκπαιδευτικά πρότυπα. Οι Bermingham & Smeaton (2010) [6] εξετάζουν την επίδραση του μικρού μήκους τ ν tweets στις συνή εις τε νικές επι επόμενης μά ησης. Συ έ ουν tweets από τα δέκα πιο δημοφι ή έματα (trending) σε πέντε κατη ορίες (ψυ α ία, προϊόντα & υπηρεσίες, α ητικά, επικαιρότητα και εταιρείες) δημιουρ ώντας ένα σύνο ο από ειροκίνητα κατη οριοποιημένα πρότυπα (1.410 ετικά, αρνητικά και ουδέτερα tweets). Κατά την προεπεξερ ασία τ ν δεδομέν ν αντικα ιστούν τα ονόματα ρηστών, υπερσυνδέσμους και hashtags με προκατασκευασμένες έξεις-κ ειδιά. Ως αρακτηριστικά αναπαράστασης του κειμένου ρησιμοποιούνται μονο ράμματα, δι ράμματα, τρι ράμματα, POS tags και POS ν- ράμματα. Συ κρίνουν τα αποτε έσματα κατη οριοποίησης από την εφαρμο ή της με όδου σε tweets, κριτικές ταινιών και αναρτήσεις ιστο ο ί ν. Παρατηρούν ότι ο Naive Bayes εμφανίζει υψη ότερα ποσοστά ακρί ειας σε σ έση με τα Support Vector Machines στη περίπτ ση τ ν tweets α ά ό ι σε με α- ύτερου μήκους κείμενα (κριτικές και αναρτήσεις ιστο ο ί ν). Χρησιμοποιώντας Naive Bayes και μονο ράμματα επιτυ άνουν ακρί εια % στο πρό ημα της δυαδικής κατη οριοποίησης και 61.3 % στο ενικότερο πρό ημα τ ν τριών κ άσε ν. Η ρήση ν- ραμμάτ ν και POS tags ε τιώνει την ακρί εια μόνο στην περίπτ ση τ ν με ά ν κειμέν ν ενώ τα POS ν- ράμματα, η επί υση συν νύμ ν (stemming) και η αφαίρεση κοινών έξε ν (stopwording) δεν οδη ούν σε κα ύτερα αποτε έσματα. Συμπεραίνουν ότι η ανά υση συναισ ήματος σε κείμενα μικρού μήκους όπ ς τα tweets είναι εν ένει πιο εύκο ο πρό ημα. Οι Bifet & Frank (2010) [7] ασ ο ούνται με την ανά υση συναισ ήματος σε με ά η ροή δεδομέν ν (data stream) από το Twitter. Προτείνουν ένα Kappa στατιστικό δείκτη κυ ιόμενου παρα ύρου ια να αξιο ο ήσουν την επίδοση κατη οριοποίησης σε ρονομετα ητές ροές δεδομέν ν. Χρησιμοποιούν το σύνο ο δεδομέν ν (dataset) Stanford Twitter Sentiment τ ν Go et al. [14] και το Edinburgh Twitter Corpus τ ν Petrovic et al. [35], ρησιμοποιώντας τα emoticons ς δείκτες αυτόματης ταξινόμησης (noisy labels). Κατά την προεπεξερ ασία τ ν δεδομέν ν, αντικα ιστούν τα ονόματα ρηστών και τους υπερσυνδέσμους με κατά η ες έξεις-κ ειδιά ενώ ς αρακτηριστικά ρησιμοποιούν μόνο τα μονο ράμματα. Παρά η α με την αξιο ό ηση μέσ του προτεινόμενου δείκτη, αναφέρουν ς κα ύτερα αποτε έσματα ια το πρό ημα της δυαδικής ταξινόμησης % στο πρώτο dataset με ρήση Naive Bayes και % στο δεύτερο σύνο ο tweets με ρήση Στο αστικής Κ ίσης Κα όδου (Stochastic Gradient Descent - SGD). Παρατηρούν π ς οι Naive Bayes και SGD παρουσιάζουν παρόμοια ποσοστά ακρί ειας σε αντί εση με τα δένδρα Hoeffing τα οποία υστερούν συστηματικά. Επομέν ς, συνιστούν 28

29 να αποφεύ ονται ενικά ταξινομητές - δένδρα στην περίπτ ση με ά ης ροής δεδομέν ν και προτείνουν έναντι τη ρήση SGD κα ώς προσαρμόζονται κα ύτερα στις α α ές με τη πάροδο του ρόνου και παρά η α οι α α ές στα άρη τ ν αρακτηριστικών μπορούν να ρησιμοποιη ούν ια να παρακο ου ούνται α α ές στο συναίσ ημα και απόψεις ύρ από συ κεκριμένα έματα. Οι Davidov et al. (2010) [9] ταξινομούν αυτόματα το σύνο ο δεδομέν ν τ ν O Connor et al. [29] ρησιμοποιώντας ς δείκτες κατη οριοποίησης (noisy labels) 50 hashtags και 15 emoticons. Το σύνο ο αρακτηριστικών περι αμ άνει : έξεις, ν- ράμματα (2-5), μήκος του κά ε tweet, π ή ος σημεί ν στίξης, αυμαστικών, ερ τηματικών, εισα - ικών, κεφα αί ν ραμμάτ ν και έξε ν κα ώς και την ύπαρξη έξε ν με υψη ή συ- νότητα εμφάνισης. Εφαρμόζοντας μία τε νική παρόμοια με αυτή τ ν k-κοντινότερ ν Γειτόν ν (k-nearest Neighbours - knn) επιτυ άνουν έ τιστη ακρί εια στο μέσο αρμονικό δείκτη F 1 = 0.86 στην περίπτ ση τ ν emoticons και F 1 = 0.8 στην περίπτ ση τ ν hashtags ια τη δυαδική εκδο ή του προ ήματος μέσ 10-π ης σταυρ τής επικύρ σης (10-fold cross-validation). Στο ενικότερο πρό ημα τ ν τριών κ άσε ν, η επίδοση ήταν αισ ητά αμη ότερη (0.64 και 0.31 αντίστοι α). Παρά η α, προτείνουν δύο διαφορετικές με όδους ια την αυτόματη ανί νευση της επικά υψης συναισ ήματος και τ ν α η εξαρτήσε ν ανάμεσα στις έξεις του κειμένου. Παρατηρούν ότι οι έξεις, τα σημεία στίξης και τα εκφραστικά μοτί α είναι τα πιο σημαντικά αρακτηριστικά ενώ τα ν- ράμματα οδη ούν σε οριακή ε τί ση. Σε αντί εση με τις περισσότερες με έτες, οι Agarwal et al. (2011) [1] δεν περιορίζουν τη συ ο ή tweets μόνο σε αυτά της α ικής ώσσας μέσ του Twitter API α ά ρησιμοποιούν την υπηρεσία Google Translate ια μετάφρασή τους. Δημιουρ ούν ένα σύνο ο από 8753 ειροκίνητα ταξινομημένα tweets στις τρεις κατη ορίες ( ετικά, αρνητικά, ουδέτερα) αφού πρώτα διέ ραψαν όσα περιεί αν ά η ό μετάφρασης. Για την αξιο ό ηση τ ν με όδ ν τους, δημιουρ ούν ένα ισοζυ ισμένο σύνο ο δεδομέν ν περι αμ άνοντας 1709 πρότυπα από κά ε κατη ορία, 5127 tweets συνο ικά. Προτείνουν δύο νέες τε νικές στο στάδιο της προεπεξερ ασίας : δημιουρ ούν ένα εξικό emoticons το οποίο περιέ ει 170 emoticons όπ ς κατα ράφονται στη Wikipedia ρισμένα σε πέντε κατη ορίες ανά ο α με το συναίσ ημα που εκφράζουν (υπερ ο ικά ετικό, ετικό, ουδέτερο, αρνητικό, υπερ ο ικά αρνητικό) και κατασκευάζουν ένα εξικό με τη μετάφραση 5184 ακρ νύμι ν. Έπειτα, αντικα ιστούν τα emoticons με την συναισ ηματική πο ικότητα στο εξικό,τα ακρ νύμια με την κανονική τους μορφή κα ώς και τα ονόματα ρηστών, τους υπερσυνδέσμους, τα hashtags και τις αρνήσεις με ν στές έξεις-κ ειδιά και περιορίζουν τους επιμηκυμένους αρακτήρες σε δύο π.. το coooooooool σε coool. Αρκετά από τα αρακτηριστικά που ρησιμοποιούν ασίζονται στη πρότερη πο ικότητα τ ν έξε ν την οποία προσδιορίζουν ρησιμοποιώντας το Dictionary of Affect in Language (DAL) [53] και το επεκτείνουν με συνώνυμα από το WordNet [10]. Στο σύνο ο τ ν αρακτηριστικών περι αμ άνονται το π ή ος, η συ νότητα και το ποσοστό τ ν έξε ν, άρ ρ ν (stopwords), α ικών έξε ν, σημεί ν στίξης, αυμαστικών, tags, αρνήσε ν και κεφα αί ν τα οποία υπο ο ίζονται ια ό ο και ια το τε ευταίο τρίτο του tweet. Συ κρίνουν πέντε διαφορετικά μοντέ α τα οποία στηρίζονται στα Support Vector Machines (SVM) και έτουν ς άση αναφοράς τα μονο ράμματα. Παρατηρούν ότι ταξινομητές οι οποίοι στηρίζονται μόνο σε αφηρημένα σσικά αρακτηριστικά αποδίδουν εξίσου κα ά με τα μονο ράμματα τα οποία ρησιμοποιούν πο ύ περισσότερα αρακτηριστικά. Στο πρό ημα της δυαδικής κατη οριοποίησης επιτυ άνουν έ τιστη ακρί εια % με μοντέ ο που συνδυάζει μονο ράμματα και αφηρημένα σσικά 29

30 αρακτηριστικά. Στο πρό ημα τ ν τριών κ άσε ν το μοντέ ο με τα κα ύτερα ποσοστά ακρί ειας (60.83 %) συνδυάζει αφηρημένα σσικά αρακτηριστικά μαζί με μία ειδική δενδρική αναπαράσταση του κά ε όρου σε SVM με partial tree kernel [26]. Παρατηρούν ότι τα αφηρημένα σσικά αρακτηριστικά με τη περισσότερη π ηροφορία είναι εκείνα τα οποία συνδυάζουν την πρότερη πο ικότητα τ ν έξε ν μαζί με τα POS tags. Κατα ή ουν στο συμπέρασμα ότι η ανά υση συναισ ήματος σε δεδομένα από το Twitter δε διαφέρει από την ανά υση συναισ ήματος σε ά α είδη κείμενου. Οι Jiang et al. (2011) [18] εξετάζουν την ανά υση συναισ ήματος σε συ κεκριμένα έματα στό ους (target-dependent) εφαρμόζοντας μία τε νική τριών σταδί ν. Όμοια με τους Barbosa και Feng [5], πρώτα ταξινομούν τα tweets σε υποκειμενικά και αντικειμενικά και στη συνέ εια (2 η φάση) τα υποκειμενικά tweets σε ετικά και αρνητικά ρησιμοποιώντας δύο ξε ριστούς ταξινομητές Support Vector Machines (SVM) με ραμμική συνάρτηση πυρήνα. Υποστηρίζουν ότι συνή εις τε νικές ([5, 14]) δεν επαρκούν κα ώς ό α τα αρακτηριστικά είναι ανεξάρτητα του στό ου. Στο τρίτο στάδιο προτείνουν μία μέ οδο η οποία ασίζεται σε ράφους με σκοπό να αυξήσουν την ακρί- εια : εξετάζουν το ευρύτερο εννοιο ο ικό π αίσιο που τοπο ετείται το κά ε tweet μέσ τ ν συσ ετιζόμεν ν με αυτό tweets όπ ς retweets, tweets που περιέ ουν την ίδια οντότητα-στό ο και προέρ ονται από τον ίδιο ρήστη κα ώς και τις πι ανές απαντήσεις από ή στο εκάστοτε tweet. Μέσ του Twitter API συ έ ουν tweets που περιέ ουν 5 δημοφι είς οντότητες : Obama, Google, ipad, Lakers, Lady Gaga και τα ταξινομούν ειροκίνητα στις 3 κατη ορίες δημιουρ ώντας τε ικά ένα σύνο ο από 459 ετικά, 268 αρνητικά και 1212 ουδέτερα tweets. Κατά το στάδιο της προεπεξερ ασίας με τη οή εια εξ τερικών ερ α εί ν εφαρμόζουν τε νικές κανονικοποίησης τ ν κειμέν ν (διόρ ση απ ών ορ ο ραφικών α ών και εμφατικής επιμήκυνσης έξε ν), επί υσης συν νύμ ν (stemming), ραμματικής ανα νώρισης (POS tagging) και συντακτικής ανά υσης έτσι ώστε να κατασκευάσουν αρακτηριστικά ειδικά ια τις εξεταζόμενες οντότητες. Παρά - η α, υπο ο ίζουν και αρακτηριστικά ανεξάρτητα του στό ου μέσ μονο ραμμάτ ν και του εξικού General Inquirer 4. Τέ ος, επι ύουν τις έμμεσες αναφορές αναζητώντας τις Κ πιο ισ υρά συσ ετιζόμενες με τους στό ους έξεις και φράσεις μέσ του δείκτη PMI (Pointwise Mutual Inforation). Παρατηρούν π ς ο συνδυασμός τ ν αρακτηριστικών ειδικών του στό ου μαζί με ά α αρακτηριστικά οδη εί σε κα ύτερη επίδοση 68.2 % ξεπερνώντας κατά 7.9 % την δική τους υ οποίηση της εκδο ής τ ν Barbosa και Feng. Αναφέρουν ς πι ανή αιτία το ε ονός ότι οι Barbosa και Feng ρησιμοποιούν πιο αφηρημένα αρακτηριστικά ενώ η δική τους προσέ ιση στηρίζεται περισσότερο σε εξι ο ικά αρακτηριστικά. Συμπεραίνουν π ς τα αρακτηριστικά εξαρτώμενα από τους στό ους συντε ούν κα οριστικά ιδί ς σε περιπτώσεις όπου το συναίσ ημα δεν αναφέρεται στην πρα ματικότητα στην οντότητα-στό ο. Οι Kouloumpis et al. (2011) [20] ερευνούν την συμ ο ή τ ν σσο ο ικών αρακτηριστικών στην ανα νώριση πο ικότητας τ ν tweets. Χρησιμοποιούν δύο ν στά datasets και επι έ ουν διαφορετικό δείκτη αυτόματης κατη οριοποίησης (noisy labels) ια κά ε ένα. Εξετάζουν το Endinburgh Twitter Corpus τ ν Petrovic et al. [35] μέσ hashtags ενδεικτικών του συναισ ήματος (π.. #imthankfulfor, #ihate, #news) και το Stanford Twitter Sentiment Corpus τ ν Go et al. [14] μέσ emoticons. Όμοια με τις περισσότερες με έτες, στο στάδιο της προεπεξερ ασίας αντικα ιστούν τα ονόματα ρηστών, τους υπερσυνδέσμους και τα hashtags με κατά η ες έξεις-κ ειδιά, τις συντομο- ραφίες με την κανονικής τους μορφή και διορ ώνουν την ορ ο ραφία τ ν έξε ν από

31 εμφατική επιμήκυνση και ρήση κεφα αί ν ραμμάτ ν. Αφαιρούν επίσης κοινές έξεις και άρ ρα (stopwording) και ανα ν ρίζουν ραμματικά την κά ε έξη (POS tagging). Χρησιμοποιούν ένα αρκετά με ά ο σύνο ο αρακτηριστικών : μονο ράμματα, δι ράμματα, τα πρώτα 1000 μονο ράμματα και δι ράμματα με άση το κέρδος π ηροφορία κατά το δείκτη Chi-squared, τη πρότερη πο ικότητα τ ν έξε ν κατά το MPQA εξικό [54], το π ή ος και ποσοστό τ ν κυριότερ ν POS tags και δυαδικά αρακτηριστικά μικροιστο ο ί ν ια την ύπαρξη εξειδικευμέν ν όρ ν (hashtags, emoticons). Παρατηρούν ότι η ρήση του ταξινομητή AdaBoost υπερτερεί τ ν Support Vector Machines (SVM) έ οντας έ τιστη επίδοση 75% στο πρό ημα τ ν τριών κ άσε ν με ρήση ό ν τ ν αρακτηριστικών εκτός του π ή ους τ ν POS tags. Συμπεραίνουν ότι σε αντί εση με τα αρακτηριστικά μικροιστο ο ί ν που ήταν τα πιο ρήσιμα, τα POS tags οδη ούν σε μεί ση της ακρί ειας και δεν είναι μά ον κατά η α ια ρήση σε κείμενα από μικροιστο ό ια. Οι Saif et al. (2011) [41] με ετούν το πρό ημα της αραιότητας τ ν δεδομέν ν ό του μικρού μήκους τ ν μηνυμάτ ν του Twitter. Προτείνουν δύο διαφορετικές προσε - ίσεις της σημασιο ο ικής εξομά υνσης (semantic smoothing) με σκοπό να εξά ουν σημασιο ο ικά κρυμμένες έννοιες από τα κείμενα και να τις ρησιμοποιήσουν ς επιπρόσ ετα αρακτηριστικά ια την εκπαίδευση τ ν ταξινομητών. Εξετάζουν ένα ισοζυ- ισμένο υποσύνο ο 60 ι ιάδ ν tweets από το Standford Twitter Sentiment Corpus τ ν Go et al. [14] μαζί με το σύνο ο εξέτασης με 177 αρνητικά και 182 ετικά ειροκίνητα ταξινομημένα tweets. Για την εξα ή τ ν εννοιών ρησιμοποιούν την υπηρεσία AlchemyAPI 5 όπου ανα ν ρίζουν ν στές οντότητες στα κείμενα τ ν tweets. Στη πρώτη μέ οδο (shallow semantic smoothing) οι έξεις αντικα ίστανται με τις αντίστοι- ες σημασιο ο ικές τους έννοιες ενώ στη δεύτερη (interpolation) το σσικό μοντέ ο μονο ράμματος παρεμ ά εται μαζί ένα παρα ικό μοντέ ο έξε ν δο έντ ν τ ν σημασιο ο ικών εννοιών στον ταξινομητή Naive Bayes. Παρατηρούν π ς ενώ η πρώτη μέ οδος οδη εί σε μεί ση της ακρί ειας κατά 5% σε σ έση με ένα ταξινομητή Naive Bayes με μόνο αρακτηριστικό τα μονο ράμματα, η μέ οδος της παρεμ ο ής οδη εί σε οριακή ε τί ση επιτυ άνοντας ακρί εια 81.3% στη δυαδική κατη οριοποίηση. Οι παραπάν προσε ίσεις ε τιώνονται στo [42] όπου προστί εται προεπεξερ ασία κειμένου: αντικατάσταση ονομάτ ν ρηστών, υπερσυνδέσμ ν με έξεις-κ ειδιά, διόρ ση της επιμήκυνσης φ ό ν, αφαίρεση hashtags, emoticons, μονών αρακτήρ ν, ψηφί ν και ά ν μη α φαρι μητικών αρακτήρ ν. Επεκτείνουν το αρ ικό σύνο ο εξέτασης σε 100 tweets και επιτυ άνουν ακρί εια 84% με ε τι μένη έκδοση της με όδου παρεμ ο- ής. Στο [43] οι συ ραφείς εξετάζουν τις με όδους σε δύο ακόμη σύνο α δεδομέν ν: HealthCare Reform (HCR) [46] και Obama McCain Debate [45] με κα ύτερα ποσοστά ακρί ειας 79% και 69,15% αντίστοι α. Κατα ή ουν στο συμπέρασμα ότι η τε νική της σημασιο ο ικής εξομά υνσης εμφανίζει κα ύτερα αποτε έσματα σε με ά α σύνο α δεδομέν ν που περιέ ουν ποικί η εματο ο ία. Οι Liu et al. (2012) [23] προτείνουν μία νέα προσέ ιση ια τη συνέν ση ειροκίνητα και αυτόματα μέσ noisy labels ταξινομημέν ν tweets ρησιμοποιώντας το σσικό μοντέ ο ESLM (Emoticon Smoothed Language Model). Αρ ικά, εκπαιδεύουν ένα σσικό μοντέ ο με ειροκίνητα ταξινομημένα πρότυπα από το Sanders Corpus 6 (570 ετικά, 654 αρνητικά, 2503 ουδέτερα tweets). Στη συνέ εια, μέσ του Twitter API συ έ ουν tweets που περιέ ουν emoticons με σκοπό να εξομα ύνουν το σσικό