Εξόρυξη νώσης από μέσα κοιν νικής δικτύ σης: Με έτη περίπτ σης στο Twitter.

Transcript

1 Πανεπιστήμιο Πατρών Τμήμα Μα ηματικών Τμήμα Μη ανικών Η/Υ & Π ηροφορικής Διατμηματικό Πρό ραμμα Μεταπτυ ιακών Σπουδών "Μα ηματικά τ ν Υπο ο ιστών και τ ν Αποφάσε ν". Εξόρυξη νώσης από μέσα κοιν νικής δικτύ σης: Με έτη περίπτ σης στο Twitter. Διπ ματική Ερ ασία Δημήτριος Νεράντζης, Α.Μ: 282 Επι έπ ν: Σ τήρης Κ τσιαντής Σεπτέμ ριος 2012

2 .

3 Περιε όμενα 1 Περί ηψη. 3 2 Εισα ή. 4 3 Σ ετικές Ερ ασίες. 6 4 Mία Γρή ορη Ματιά στο Twitter. 8 5 Κατη οριοποίηση Μη ανές διανυσμάτ ν υποστήριξης Θετικά και αρνητικά τ ν SVM's Αφε ής Μπευζιανός (Naive Bayes) κατη οριοποιητής Θετικά και αρνητικά τoυ Naive Bayes Κατη οριοποιητής k π ησιέστερ ν ειτόν ν (kνν) Θετικά και αρνητικά του knn Τε νητά νευρ νικά δίκτυα Θετικά και αρνητικά τ ν τε νητών νευρ νικών δικτύ ν Δένδρα αποφάσης Θετικά και αρνητικά τ ν δένδρ ν απόφασης Συ κριτικός πίνακας με όδ ν κατη οριοποίησης Μετατροπή Κειμένου σε Διάνυσμα Μεί ση Διάστασης τ ν Δεδομέν ν Singular Value Decomposition (SVD) Principal Component Analysis (PCA) Latent Semantic Analysis (LSA) Επι ο ή ν ρισμάτ ν (Feature selection) Με έ η ια την Αξι ό ηση της Κατη οριoποίησης Συ ο ικές Μέ οδοι (Ensemble methods) Αποτε έσματα Αποτε έσματα απο την εκπαίδευση του knn Αποτε έσματα απο την εκπαίδευση του SVM Αποτε έσματα απο την εκπαίδευση του Naive Bayes Συμπεράσματα και Συζήτηση Παράρτημα Κώδικας Python Κώδικας ια το "κατέ ασμα" τ ν tweets Κατη οριοποίηση με SVM's και δυαδική αναπαράσταση Κατη οριοποίηση με kνν (tf-idf) και Naive Βayes knn με εφαρμο ή lsa και feature filtering i

4 Πρό ραμμα ια την αυτόματη ρήση του ταξινομητή σε κα ημερινή άση SVM με tf-idf αναπαράσταση Μερικά παραδεί ματα του συνό ου εκπαίδευσης Αναφορές 87 ii

5 . 1

6 2

7 1 Περί ηψη. Σε αυτήν την ερ ασία ρησιμοποιούμε το μέσο κοιν νικής δικτυώσης "twitter" ( ια την συ ο ή μηνυμάτ ν που αφορούν τις εξε ίξεις στην ευρ ζώνη και την εφαρμο ή με όδ ν επι επόμενης μη ανικής μά ησης ια την "εκπαίδευση" ενός κατη οριοποιητή ο οποίος α δια ρίζει τα μηνύματα σε " ετικά" και "αρνητικά" ανά ο α με την είδηση ή την άποψη που περιέ ουν. Οι μέ οδοι κατη οριοποίησης που εφαρμόστηκαν ήταν οι k π ησιέστεροι είτονες, μη ανές διανυσμάτ ν υποστήριξης και αφε ής Μπεϊζιανός κατη οριοποιητής. O ταξινομητής α μπορούσε να ρησιμοποιη εί σε ένα απ ό πρό ραμμα το οποίο ημερησί ς α συ έ ει και α ταξινομεί, αυτομάτ ς, σ ετικά μηνύματα. Μία μακρυπρό εσμη ρήση ενός τέτοιου προ ράμματος α μας έδινε σαν αποτέ εσμα δεδομένα σε μορφή ρονοσειράς τα οποία στην συνέ εια α μπορούσαν να ανα υ ούν ια την εξα ή, πι ανώς, ρήσιμ ν συμπερασμάτ ν. Ένα τέτοιο "πρό ραμμα" δίνεται ενδεικτικά στο παράρτημα της ερ ασίας. 3

8 2 Εισα ή. Το "twitter" αποτε εί σήμερα ένα απο τα πιό διαδεδομένα μέσα κοιν νικής δικτύ σης. Έ ει εκατομμύρια ε ε ραμένους ρήστες και έ ει αρακτηριστεί ς "electronic word of mouth" [17]. Λο αριασμό στο twitter δια έτουν, πέρα απο απ ούς ρήστες, διάφορες εταιρίες, ειδησεο ραφικά πρακτορία, εφημερίδες κτ. Εκτός από τον με ά ο και συνε ώς αυξανόμενο αρι μό και την ποικι ία ρηστών, ένα αρακτηριστικό που κα ιστά το twitter πο ύτιμο ια εμφαρμο ές εξώρυξης νώσης είναι το ότι τα μηνύματα που δημοσιοποιούνται έ ουν όριο τους 140 αρακτήρες ( ι' αυτό και κατατάσεται στην κατη ορία τ ν ε όμεν ν "mircoblogging" ιστοσε ίδ ν). Δη αδή, τα μηνύματα συνή ς αποτε ούνται απο μία η δύο προτάσεις η οποίες και περιέ ουν την ουσία της είδησης η άποψης που μεταφέρουν. Αυτό κα ιστά εύκο η την ανά υση και την ρήση τούς απο με- όδους μη ανικής μά ησης. Το twitter δια έτει επίσης API (Application Programming Interface) δίνοντας την δυνατότητα να ρησιμοποιήσουμε δεδομένα και διάφορα αρακτηριστηκά του. Το ενδιαφέρον αυτής της ερ ασίας επικεντρώνεται στην ανά υση μηνυμάτ ν (από το twitter) σ ετικά με την τρέ ουσα κατάσταση στην ευρ ζώνη. Αδιαμφισ ήτητα η οικονομική κρίση η οποία ξέσπασε το 2009 κυριαρ εί κα ημερινά στα έματα ειδήσε ν ό ι μόνο στην Ευρώπη η οποία εμφανίζει και τα με α ύτερα προ ήματα α ά και πα κοσμί ς. Ιδιαίτερα όμ ς ια την Ε άδα, η οποία είναι και το με α ύτερο ύμα της κρίσης, οι συνέπειες ήταν και συνε ίζουν να είναι τεράστιες ό ι μόνο σε οικονομικό α ά και κατ' επέκταση σε πο ιτικό και κοιν νικό επίπεδο. Το έμα του περιε ομένου τ ν μηνυμάτ ν οιπόν επι έ ηκε άσει του έπικαιρου του έματος α ά και του τεράστιου ενδιαφέροντος που έ ει ια την ώρα μας. Σκοπός μας οιπόν είναι η εκπαίδευση ενός κατη οριοποιητή ο οποίος α δια ρίζει τα μήνυματα (tweets) σε " ετικά" ή "αρνητικά" ανά ο α με το εάν περιέ ουν κάποια κα ή είδηση ή άποψη. Αν και το "κα ή" μπορεί σε μερικές περιπτώσεις να είναι υποκειμενικό και επίσης κάποια μηνύματα να περιέ ουν ουδέτερο περιε όμενο αυτό που κυρί ς μας ενδιαφέρει είναι ο κατη οριοποιητής να αποδίδει στην πράξη σ ετικά κα ά. Δη αδή αν ρησιμοποιούσαμε τον κατη οριοποιητή σε κα ημερινή άση αυτό που α έ αμε είναι σε περιπτώσεις όπου η αύξηση ή μεί ση τ ν "κα ών" νεών είναι αισ ητή αυτό να αντικατροπτίζεται και στα αποτε έσματα της ταξινόμισης. Οι μέ οδοι επι επόμενης μά ησης που επι έξαμε να εφαρμόσουμε είναι οι μη ανές διανυσμάτ ν υποστήριξης (SVM's) [7], Κ-π ησιέστεροι είτονες (KNN) και Naive Bayes. Ως ώσσα προ ραμματισμού ρησιμοποιή ηκε η Python (έκδοση 2.7, Πιό συ κεκριμένα η " ι- ιο ήκη" "Pattern" [8] η οποία και προσφέρεται ια web cralwing, ανά υση κειμένου, 4

9 κατη οριοποίηση, ομαδοποίηση και οπτικοποίηση δεδομέν ν. Επίσης ια την ρήση τ ν μη ανών διανυσμάτ ν υποστήριξης ρησιμοποιήσαμε και (απ' ευ είας) την " ι ιο ήκη" "libsvm" [6] (απ' ευ είας με την έννοια ότι το πακέτο "Pattern" κάνει και αυτό ρήση της ι ιο ήκης "libsvm"). Στην επόμενη παρά ραφο (μέρος 3) κάνουμε μία αναφορά σε ερ ασίες που ε ρούμε σ ετικές με την παρούσα ερ ασία. Στο μέρος 4 κάνουμε μία σύντομη παρουσίαση/περι- ραφή του μέσου κοιν νικής δικτύ σης twitter ια την περίπτ ση στην οποιά ο ανα νώστης έ ει ε ά ιστη έ ς κα ό ου νώση σ ετικά με αυτό. Στο μέρος 5 αναφερόμαστε στην κατη οριοποίση και περι ράφουμε τις με όδους που εφαρμόσαμε κα ώς επίσης και ά ες. Στο μέρος 6 περι ράφουμε το π ς να μετατρέψουμε τα δεδομένα μας, τα οποία έ ουν αρ ικώς μορφή κειμένου, σε διανύσματα τα οποία περιέ ουν αρι μητικές τιμές. Η μετατροπή αυτή α μας επιτρέψει να εφαρμόσουμε της με όδους κατη οριοποίησης τ ν μη ανών διανυσμάτ ν υποστήριξης και τ ν k π ησιέστερ ν ειτόν ν. Στο μέρος 7 παρουσιάζουμε με όδους όπ ς οι PCA (Principal Component Analysis) και LSA (latent Sematnic Analysis) κα ώς και τρόπους φι τραρίσματος ν ρισμάτ ν. Αυτές οι μέ οδοι μας επιτρέπουν να μεί σουμε την διαστατικότητα τ ν δεδομέν ν κα ώς και να αφαίρεσουμε τον όρυ ο η την π εονάζουσα π ηροφορία που ενδέ εται να υπάρ ει σε αυτά και κατά συνεπεία να ε τιώσουν την απόδοση της κατη οριοποίησης. Στο μέρος 8 κάνουμε αναφορά στις με όδους Bagging και Boosting. Στο μέρος 9 παρουσιάζουμε διάφορα με έ η και τρόπους ια την αξιo ό ηση της κατη οριοποίσησης. Στο μέρος 10 κατα ράφουμε τα αποτε έσματα της ερ ασίας με άση τα οποία α κρίνουμε ποιός κατη οριοποιητής αποδίδει κα ύτερα. Στο μέρος 11 αναφέρουμε τα συμπεράσματα μας και κάνουμε συζήτηση ύρ απο αυτά. Τέ ος, στο παράρτημα δίνουμε τον κώδικα Python που ρησιμοποιήσαμε ια την ερ ασιά (συμπερι αμ ανομένου και ενός προ ράμματος). 5

10 3 Σ ετικές Ερ ασίες. H ερ ασία αυτή έ ει τρια ασικά αρακτηριστικά ς προς το περιε όμενο της. Πρώτον την ρήση με όδ ν επι επόμενης μη ανικής μά ησης. Δεύτερον το ότι εφαρμόζουμε τις με όδους ια κατη οριοποίση σε δεδομένα κειμένου και τρίτον την ρήση του Twitter. Με άση αυτά τα αρακτηριστικά οιπόν αναφερόμαστε σε σ ετικές ερ ασίες. Αρ ικά α μπορούσαμε να εντάξουμε την ερ ασία στο ενικότερο π αίσιο της κατη οριοποίησης κειμένου με την οή εια με όδ ν μη ανικής μά ησης [30]. Στην περίπτ ση μας όμ ς δέν έ ουμε να κατη οριοποιήσουμε τα κειμενα/μηνύματα με άση το περιε όμενο τους α ά με άση το αν η είδηση η άποψη που μεταφέρουν είναι ετική η αρνητική. Το τε ευταίο κα ιστά την ερ ασία έ ς ένα α μό σ ετική με το πεδίο της εξόρυξης νώμης ή συναισ ήματος [24]. Ο σκοπός της εξόρυξης νώμης α μπορούσαμε, με απ ά ό ια, να πούμε ότι είναι να ανα ν ρίσουμε αν η νώμη που περιέ ει κάποιο κέιμενο είναι ετική η αρνητική. Για παράδει μα α μπορούσαμε να ενδιαφερ ούμε ια σ ό ια που ίνονται σ ετικά με πο ιτικά πρόσ πα ή με κάποιο προϊόν ή ια μία εταιρία. Οι Pang, Lee και Vaithyanathan [25] αντιμετώπισαν το πρό ημα της εξόρυξης νώμης σε κριτικές ταινιών ς πρό ημα κατη οριοποίησης δύο κ άσε ν, ετική ή αρνητική νώμη. Εφάρμοσαν τρείς διαφορετικές τε νικές κατη οριοποίησης, μη ανές διανυσμάτ ν υποστήριξης, μέ ιστη εντροπιά, και αφε ή Μπευζιανό κατη οριοποιητή. Τα αποτε έσματα έδειξαν ότι οι μη ανές διανυσμάτ ν υποστήριξης πέτυ αν τη με α ύτερη ακρί εια, έ ς 82.9%. Καί οι ά ες δύο μέ οδοι όμ ς εί αν σ εδόν έξίσου κα ή ακρί εια, περίπου 80%. Ενδιαφέρον είναι το ε ονός ότι στην ερ ασία οι συ ραφείς αναφέρουν τα αποτε έσματα απο ένα πείραμα στο οποίο ζήτησαν απο δύο μεταπτυ ιακούς φοιτητές να φτιάξουν, ο κα ένας ξε ριστά, μία ίστα απο έξεις η οποιές ρησιμοποιούνται στις κριτικές ταινιών και να τις ρίσουν σε ετικές και αρνητικές. Έπειτα κατη οριοποίησαν τις κριτικές απ ά μετρώντας πόσες ετικές και πόσες αρνητικές έξεις περιεί ε κά ε κριτική και ανά ο α με το ποιές ήταν περισσότερες ταξινομούσαν την κριτική. Οι ακρί ειες που πέτυ αν με την παραπάν διαδικάσιά ήταν μόνο 58% και 64%. Στην περίπτ ση μας, δη αδή την αυτόματη ταξινόμιση ενος μηνύματος σ ετικού με την κατάσταση στην ευρ ζώνη ς ετικού η αρνητικού δεν έ ουμε πάντα να κάνουμε με μηνύματα τα οποία να εκφέρουν κα αρά μία άποψη ή νώμη α ά με μηνύματα τα oποία συνή ς αφορούν νέα η κα ύτερα την κατα ραφή ε ονότ ν. Μία κριτική ια μία ταινία η ια ένα οποιοδήποτε προιόν, πο ύ ή ί ο ξεκά αρη, εκφέρει μία νώμη. Αντι έτ ς μία είδηση η οποία αφορά την ευρ ζώνη δεν εκφέρει απαραίτητα κάποια νώμη α ά μπορεί απ ώς να αναφέρει ένα ε ονός. και σε αυτό το σημείο η ερ ασία ίσ ς "ξεφεύ ει" κάπ ς 6

11 απο την έννοια της εξώρυξης νώμης ή ανά υσης συναισ ήματος. Σ ετικές α μπορούσαν να ε ρη ούν και ερ ασίες οι οποίες εφαρμόζουν με όδους μη ανικής μά ησης ια την αποφυ ή ενο ητικής η εκτρονικής α η ο ραφίας (spam filtering) [15, 10]. Το πρό ημα έ ει ακρι ώς τα ίδια ενικά αρακτηριστικά με το δικό μας. Τα δεδομένα είναι αρ ικά σε μορφή κειμένου, έ ουμε δύο κατη ορίες δεδομέν ν, ενο ητικά / μή ενο ητικά μηνύματα (spam / non-spam ) και έ ουμε να ρησιμοποιήσουμε με όδους μη ανικής μά ησης ια την αυτόματη ταξινόμηση τ ν μηνυμάτ ν. Όσον αφορά το μέσo κοιν νικής δικτύ σης twitter μία απ ή αναζήτηση στην επιστημονική ι ιο ραφία ρή ορα α πείσει τον ανα νώστη ια την ήδη εκτενή ρήση του μέσου αυτού σε διάφορες ερ ασίες κα ώς και της ποικι ιάς τ ν εμάτ ν τ ν ερ ασιών αυτών. Για παράδει μα, οι ερ ασίες αφορούν έματα όπ ς πρό εψη αποτε εσμάτ ν πο ιτικών εκ ο ών [33], ανί νευση/πρό εψη επιδημιών ρίπης [21] και πρό εψη ρηματιστιριακών α ορών μέσ ανί νευσης του ενικου συναισ ήματος στα tweets [3]. Η παρούσα ερ ασία επικεντρώνεται στην εκπαίδευση ενός κατη οριοποιητή και στο κατα πόσο ακρι ής μπορεί να είναι ο κατη οριοποιητής αυτός (στο συ κεκριμένο έμα που έ ουμε επι έξει), οπότε και η ερ ασία σ ετίζεται ίσ ς περισσότερο με την ερ ασία τ ν Pang, Lee και Vaithyanathan [25]. Θα ήταν ενδιαφέρον, σαν δεύτερο ήμα, η εφαρμο ή του κατη οριοποιητή ια την εξερεύνηση του κατά πόσο μπορεί να προ έψει ή να σ ετίζεται ια παράδει μα με ρηματοοικονομικούς δείκτες. 7

12 4 Mία Γρή ορη Ματιά στο Twitter. Σε αυτό το μέρος α κάνουμε μία σύντομη παρουσίαση του Twitter ώστε σε περίπτ ση που ο ανα νώστης ν ρίζει πο ύ ί α εώς τίποτα ια αυτό να πάρει μία ιδέα. Βέ αια η περι ραφή που α κάνουμε εκτός απο σύντομη α είναι και μία περι ραφή η οποία α εστιάζει ύρ απο τα αρακτηριστικά του Twitter τα οποία μας ενδιαφέρουν ώστε να καταδείξουμε ιατί το μέσο αυτό αποτε εί ένα πο ύ ρήσιμο ερ α είο ια εφαρμο ές τύπου opinion mining/ sentiment analysis. Παρακάτ φαίνεται η ασική σε ίδα του twitter την οποία συνή ς κοιτάει ένας ρήστης. Σ ήμα 1: Η κύρια σε ίδα του twitter Στο δεξιό μέρος της εικόνας εμφανίζονται τα μηνύματα τα οποία δέ εται ο ρήστης. Παρατηρήστε αρ ικά αυτό που ήδη αναφέραμε στην εισα ή ότι δη αδή τα μηνύματα είναι ό α σύντομα και π ς πέρα από ατομικούς ο αριασμούς ρηστών στην εικόνα εμφανίζονται διαφόροι ά οι ο αριασμοί όπ ς ια παράδει μα του διε νούς πρακτορείου ειδήσε ν reuters και ο αριασμοί που αφορούν επιστημονικά νέα (π.. σ ετικά με την πρόσφατη αποστο ή της NASA στον π ανήτη Άρη). Η συντομία τ ν μηνυμάτ ν εξασφα ίζει π ς τα μηνύματα α περιέ ουν την ουσία της είδησης ή της άποψης που μεταφέρουν. Αυτό κα ιστά ευκο ή την ταξινόμιση τ ν μηνυμάτ ν ια την κατασκευή του συνό ου εκπαίδευσης κα ώς και πι ανότατα επιτρέπει την κα ύτερη απόδοση τ ν με όδ ν κατη οριοποίησης ( έπε μέρος 5). Η ποικι ία τ ν ο ιαριασμών απο την ά η μεριά εξασφα ίζει και με α ύτερη ποσότητα μηνυμάτ ν α ά πάν απο ό α εξασφα ίζει 8

13 την κυκ οφορία περισσότερης π ηροφορίας στο twitter. Στα προη ούμενα συμ ά ει σί- ουρα και ο με ά ος αρι μός τ ν ρηστών του twitter. Στην ρονική φάση που ράφεται αυτή η ερ ασία το twitter εκτιμάται οτι έ ει πάν απο εξακόσια εκατομμύρια ο αριασμούς. Ας δούμε ί ο τον ασικό τρόπο ειτουρ ίας του twitter. Κά ε ρήστης αποφασίζει ποιούς ο αρισμούς ρήστ ν α "ακο ου εί" (follow). Όταν επι έξουμε να "ακο ου ήσουμε" έναν ο αριασμό αυτό που στην ουσία συμ αίνει είναι ότι τα μηνύματα τα οποιά δημιουρ εί αυτός ο ο αριασμός α εμφανίζονται στην ίστα μηνυμάτ ν μάς. Απο την ά η μεριά, τα δικά μας μηνύματα εμφανίζονται στη ίστα μηνυμάτ ν τ ν ρηστών που έ ουν επι έξει να μας ακο ου ούν. Μπορεί δη αδή εμείς να δε όμαστε τα μηνύματα τα οποία συν έτει ένας ο αριασμός/ ρήστης ρίς αυτός να δέ εται τα δικά μας και το αντίστροφο. Για να μην δημιουρ η εί αν ασμένη εντύπ ση, πρέπει να ξεκα αρίσουμε ότι όταν συν έτουμε ένα μήνυμα αυτό απ ά αυτομάτ ς δημοσιεύται/εμφανίζεται στη ίστα μηνυμάτ ν τ ν ρηστ ν που μας ακο ου ούν, δεν στέ νουμε το μήνυμα σε κάποιον συ κεκριμένα.τα μηνύματα του twitter ονομάζονται tweets. Ένα tweet τo οποίo εμφανίζεται στην ίστα μας έ ουμε την δυνατότητα να το κάνουμε retweet δη αδή να το επαναδημοσιεύσουμε αυτούσιο με την διαφορά οτι στο μήνυμα α εμφανίζεται το όνομα του αρ ικού συν έτη και μία υποσημεί ση η οποία αναφέρει ότι το μήνυμα έ ινε retweet απο εμάς. Αυτό οη άει στην περαιτέρ διο έτευση της π ηροφορίας αφού έτσι είναι δυνατόν να μεταφέρουμε ή να δε ούμε μηνύματα προς και από ρήστες με τους οποίους δεν είμαστε άμμεσα συνδεδεμένοι. Για αυτόν τον ό ο, όπ ς αναφέραμε και στην εισα ή, το twitter έ ει αρακτηριστεί ς "electronic word of mouth" [17], δη αδή ένα η εκτρονικό μέσο όπου τα νέα διαδίδονται απο στόμα σε στόμα. Συνοψίζουμε οιπόν τα ρήσιμα αρακτηριστικά του twitter τα οποία και τονίσαμε παραπάν. Με ά ος αρι μός ρηστών. Εκατομύρια ρήστες και συνε ώς αυξάνονται. Ποικι ία ρηστών. Η έξυπνη ο ική τ ν "follow" και "retweet". H συντομία τ ν μηνυμάτ ν. 9

14 5 Κατη οριοποίηση. Η κατη οριοποιήση (ή α ιώς ταξινόμηση) ανήκει στο ευρύτερο π αίσιο της επι- επόμενης μη ανικής μά ησης [20]. Σκοπός της κατη οριοποίησης είναι η κατασκευή μοντέ ν τα οποία δια ρίζουν αυτόματα δεδομένα σε διάφορες κατη ορίες (ή α ιώς κ άσεις) το π ή ος τ ν οποί ν είναι εκ τ ν προτέρ ν ν στό. Η κατασκευή του μοντέ ου ίνεται άση κάποι ν παραδει μάτ ν, δη αδή ενός συνό ου δεδομέν ν ια τα οποία ν ρίζουμε σε ποιά κ άση ανήκει το κα ένα. Η διαδικασία κατα την οποία κατασκευάζουμε το μοντέ ο άση τ ν παραδει μάτ ν ονομάζεται εκπαίδευση και το σύνο ο τ ν δεδομέν ν-παραδει μάτ ν ονομάζεται σύνο ο εκπαίδευσης. Η "μά ηση" ή "εκπαίδευση" αρακτηρίζεται ς επι επόμενη επειδή ακρι ώς ίνεται άση παραδει μάτ ν ια τα οποία έ ουμε εκ τ ν προτέρ ν νώση ς προς την κατη ορία στην οποία ανήκουν κα ώς επίσης και του π ή ους τ ν κατη οριών. Στην συνέ εια κάνουμε μια παρουσίαση τ ν με όδ ν επι επόμενης μά ησης που εφαρμόσαμε στα δεδομένα μας κα ώς και ά ν. Στο τέ ος της κά ε παρουσίασης αναφέρουμε ετικά και αρνητικά στοι εία της κά ε με όδου ενώ στο τέ ος της παρα ράφου δίνουμε έναν συνοπτκό πίνακα σύ κρισης τ ν με όδ ν. 5.1 Μη ανές διανυσμάτ ν υποστήριξης. Οι μη ανές διανυσμάτ ν υποστήριξης (support vector machines ή ια συντομία SVΜ's) [7, 34] είναι μία μέ οδος κατη οριοποίησης που παρουσιάζει αυξανόμενο ερευνητικό ενδιαφέρον τα τε ευταία ρόνια. Η ασική ιδέα είναι οτι αν ε ρήσουμε δύο σύνο α αρι μητικών δεδομέν ν τα οποία είναι ραμμικώς δια ρίσιμα, απο τα άπειρα υπερεπίπεδα με τα οποία μπορούμε να δια- ρίσουμε τις δύο κ άσεις δεδομέν ν, ρισκούμε αυτό το οποίο προσφέρει στατιστικά τoν κα ύτερο, απο άποψη ενίκευσης, δια ρισμό. Βέ αια, στην πράξη, τα δεδομένα μας δεν είναι (σ εδόν) ποτέ ραμμικώς δια ρίσιμα. Γι' αυτόν τον ό ο τα προ ά ουμε, μέσ κάποιας συνάρτησης πυρήνα (kernel function), σε ένα ώρο με α ύτερης διάστασης όπου και ε πίζουμε ότι ένας ραμμικός δια ρισμός α έ ει ι ότερα σφά ματα. Το πρώτο ερώτημα είναι με ποιό τρόπο κα ορίζουμε το ζητούμενο υπερεπίπεδο. Αρ- ικά, παρατηρήστε τις δύο εικόνες παρακάτ. Οι εικόνες δεί νουν ένα απ οικό, ραμμικά δια ρίσιμο, δισδιάστατο παράδει μα δύο κ άσε ν (πράσινα και κόκκινα σημεία). Σε κά ε εικόνα υπάρ ει μια ευ εία (κυανή ευ εία) η οποία δια ρίζει τις δύο κ άσεις. Έστ το σημείο (ή τα σημεία) της πράσινης κ άσης το οποιό (ή τα οποία) έ ει (ή έ ουν) την ε ά- 10

15 Σ ήμα 2: Μικρό margin Σ ήμα 3: Με ά ο margin ιστη απόσταση, σε σ έση με τα υπό οιπα σημεία της κ άσης, απο την ευ εία. Έστ d + η απόσταση αυτή και έστ d η αντίστοι η απόσταση ια τα σημεία της κόκκινης κ άσης. Η απόσταση d + + d στην ι ιο ραφία ονομάζεται margin. Στό ος μας είναι να ρούμε την ευ εία (ή ενικά το υπερεπίπεδο) που προσφέρει το μέ ιστο margin. Τα διανύσματα έσης τ ν σημεί ν τ ν κ άσε ν με την ε ά ιστη απόσταση απο την ευ εία (ή υπερεπίπεδο) αποτε ούν τα ε όμενα διανύσματα υποστήριξης. Στο παράδει μα μας το margin ια τη κά ε ευ εία είναι ίσο με την απόσταση τ ν διακεκομέν ν ευ ειών. Η ευ εία της δεύτερης εικόνας είναι και η ευ εία με το μέ ιστο margin ια το συ κεκριμένο παράδει μα. Το δεύτερο ερώτημα είναι με άση ποιά ο ική επι έξαμε τον παραπάν τρόπο; Όπ ς αναφέραμε ο τρόπος αυτός μας δίνει τον ραμμικό δια ρισμό οποίος προσφέρει στατιστικά την κα ύτερη ενίκευση. Ας ίνουμε ί ο πιό συ κεκριμένοι. Ας ε ρήσουμε οτι έ ουμε ένα π ή ος l ζευ ών {x i, y i } όπου x i R n είναι τα αρι μητικά δεδομένα και y i { 1, 1} τα οποία κα ορίζουν σε ποιά απο τις δύο κ άσεις ανήκει το κά ε ℶ. Αυτό που α έ αμε είναι να ε α ιστοποιήσουμε το διάστημα εμπιστοσύνης της συνάρτησης αναμενόμενου ρίσκου: R(w, b) = 1 2 y sign(wt x + b) dp (x, y) όπου P (x, y) συνάρτηση α ροιστικής πι ανότητας. O Vapnik ([34], έπε επίσης και [5]) απέδειξε ότι ενικά αν έ ουμε έναν ταξινομητή, ο οποίος ορίζεται απο την συνάρτηση f(x, a) ( a είναι το διάνυσμα τ ν παραμέτρ ν του ταξινομητή ) οποίος ταξινομεί το δεδομένο x στην τιμή y = f(x, a), τότε ια την συνάρτηση του αναμενόμενου ρίσκου, 11

16 ιά μία τιμή του η με 0 η 1, με πι ανότητα 1 η ισ ύει ότι R(a) R emp (a) + Η ποσότητα R emp (a) = 1 2l hlog(2l/h) log(η/4) l l y i f(x i, a) i=1 ονομάζεται εμπειρικό ρίσκο. Αφού οιπόν την συνάρτηση R(a) δεν την ν ρίζουμε, απο έπουμε στο να ε α ιστοποιήσουμε το διάστημα εμπιστοσύνης της R(a) το οποίο ισοδυναμεί με το να με ιστοποιήσουμε το h το οποιό ονομάζεται διάσταση VC (Vapnik Chervonensky). Το υπερεπίπεδο οιπον το επι έξαμε με την ο ική ότι απ' ό α τα α ά υπερπεπίπεδα προσφέρει την με α ύτερη τιμή του h. Aς δούμε τώρα π ς υπο ο ίζουμε το υπερεπίπεδο αυτό. Όπ ς είπαμε και πριν, ε ρούμε οτι έ ουμε ένα π ή ος ζευ ών {x i, y i } όπου x i R n είναι τα αρι μητικά δεδομένα και y i { 1, 1} τα οποία κα ορίζουν σε ποιά απο τις δύο κ άσεις ανήκει το κά ε x i. Επίσης, ε ρούμε αρ ικά π ς τα δεδομένα μας είναι ραμμικώς δια ρίσιμα. Τότε το υπερεπίπεδο x T w + b = 0 το οποίο προσφέρει το μέ ιστο margin κα ορίζεται ύνοντας το παρακάτ πρό ημα ε τιστοποίησης, minimize w 2 s.t. y i (x T i w + b) 1 0 Βέ αια στην πράξη είναι μά ον απί ανο τα δεδομένα μας να είναι ραμμικώς δια ρίσιμα. Για τον ό ο αυτό μετατρέπουμε το παραπάν πρό ημα εισα ά ντας μετα ητές ξ i επιτρέποντας έτσι το να δια ρίσουμε τα δεδομένα μας ραμμικά α ά κάνοντας ανα- καστικά κάποια σφά ματα. Έτσι μπορούμε να δώσουμε στο πρό ημα την μορφή, minimize w 2 + C i ξ i s.t. y i (x T i w + b 1 + ξ i ) 0 ξ i 0 Το ε ονός ότι η αντικειμενική συνάρτηση του παραπάν προ ήματος είναι κυρτή κα- ώς και το ότι οι περιορισμοί είναι ραμμικοί κα ιστούν το παρακάτ πρό ημα ισοδύναμο με το αρ ικό (παρατηρήστε οτι τα ξ i δεν εμφανίζονται ούτε στην αντικ. συν. ούτε στους περιορισμούς). 12

17 maximize s.t. λ i 1 λ i λ j x T i x j 2 i i,j λ i y i = 0 i 0 λ i C όπου λ i R n. Λύνοντας το παραπάν πρό ημα ς προς λ μπορούμε έπειτα να κα ορίσουμε το ζητούμενο υπερεπίπεδο (δη. τα w και b) απο τις σ έσεις w = λ i y i x i καί λ i [y i (w T x i +b) 1] = 0 ( ια την τε ευταία σ έση αρκεί να επι έξουμε ένα οποιοδήποτε i). Το ερώτημα είναι σε τι μας εξυπηρετεί η τε ευταία μορφή; Γιατί να μην ύσουμε απ ά το πρό ημα στην πρώτη μορφή (το οποίο είναι και κυρτό); Η απάντηση έ ει να κάνει με τον μετασ ηματισμό τ ν δεδομέν ν, την απεικόνιση τους δη αδή, σε ένα ώρο με α ύτερης διάστασης όπ ς ήδη αναφέραμε. Αρ ικά κάποιος α μπορούσε να πεί ιατί απ ώς να μήν επι έξουμε μία συνάρτηση Φ : R n R m, m > n, να προ ά ουμε τα δεδομένα μας στον ώρο R m και στη συνέ εια να ύσουμε την πρώτη μορφή του προ- ήματος ε τιστοποίησης. Καταρ άς, παρατηρήστε π ς στην αντικειμενική συνάρτηση της δεύτερης μορφής τα δεδομένα εμφανίζονται στον δεύτερο όρο του α ροίσματος ς ινόμενα ανα δύο (x T i x j ). Αυτό μας επιτρέπει να ρησιμοποιήσουμε συναρτήσεις πυρήνα (kernel functions), μερικά παραδεί ματα τ ν οποί ν δίνονται παρακάτ. Ακτινικής Βάσης: K(x, y) = e γ x y 2 Πο υ νυμική: K(x, y) = (γx T y c) d Σι μοϊδής: K(x, y) = tanh(γx T y c) Οι συναρτήσεις αυτές έ ουν την ιδιότητα K(x i, x j ) = Φ(x i )Φ(x j ) με Φ : R n R m, m > n ( ρίς απαραίτητα να έ ουμε νώση της Φ) οπότε μπορούμε να αντικαταστήσουμε τα ινόμενα x i x j, που εμφανίζονται στην αντικειμενική συνάρτηση με μία συνάρτηση πυρήνα ρίς να ρειάζεται να εφαρμόσουμε σε κά ε δεδομένο x i την συνάρτηση Φ η οποία ενδε ομέν ς να έ ει με ά ο κόστος υπο ο ισμού και απεικονίζει τα δεδομένα σε ένα ώρο πο ύ με α ης διάστασης. ( ια παράδει μα ια την πρώτη απο τις παραπάν συναρτήσεις πυρήνα η αντίστοι η Φ απεικονίζει το x σε ώρο άπειρης διάστασης). Έτσι οιπόν ρησιμοποιώντας τη δεύτερη μορφή και κάποια συνάρτηση πυρήνα ύνουμε το πρό ημα απεικονίζοντας τα δεδομένα σε ενα ώρο με α ύτερης διάστασης όπου και ε πίζουμε να έ ουμε όσο το δυνατόν ι ότερα σφά ματα με έναν ραμμικό 13

18 δια ρισμό. Παρατηρήστε ότι η μέ οδος απαιτεί τα δεδομένα μας να έ ουν διανυσματική μορφή. Επίσης αν και τα παραπάν αναφέρονται στην περίπτ ση που τα δεδομένα μας έ ουνε δύο κ άσεις (όπ ς στην περίπτ ση που με ετάμε σε αυτήν την ερ ασία) οι μη ανές διανυσμάτ ν υποστήριξης μπορούν να εφαρμοστούν και στις περιπτώσεις περισσότερ ν κ άσε ν Θετικά και αρνητικά τ ν SVM's. Θετικά. + Γενικά η μέ οδος με την κα ύτερη ακρί εια. + Γρή ορη ταξινόμηση. + Θε ρητική εμε ί ση. Αρνητικά. - Πο ές παράμετροι. - Αρ ή εκπαίδευση. 14

19 5.2 Αφε ής Μπευζιανός (Naive Bayes) κατη οριοποιητής. O Naive Bayes εκτιμητής ασίζεται, όπ ς υποδη ώνει και το όνομα του, στον κανόνα του Bayes: P (C/X) = P (X/C) P (C) P (X) Στην περίπτ ση μας, το C συμ ο ίζει την κ άση και X = (x 1, x 2,..., x n ) είναι το δεδομένο με ν ρίσματα x i, i = 1, 2,...n. To κύριο αρακτηριστό του (απ' όπου και πέρνει το επί ετο "αφε ής") είναι η υπό εση ανεξαρτησίας τ ν ν ρισμάτ ν τ ν δεδομέν ν. Αυτό μας επιτρέπει να υπο ο ίσουμε την πι ανότητα P (X/C) ς P (X/C) = n P (x i /C) i=1 και ουσιαστικά να υπο ο ίσουμε τις πι ανότητες P (C i /X) ια κά ε κ άση και να ταξινομήσουμε το X στην κ άση C i που δίνει την μέ ιστη πι ανότητα. Δη αδή, το ζητούμενο ια την ταξινόμηση ενός δεδομένου x i είναι η κ άση C ια την οποία ισ ύει n maxp (C) P (x i /C) i=1 Στην συνέ εια α δώσουμε ένα απ ό παράδει μα του Naive Bayes κατη οριοποιητή ώστε να ίνει κατανοητός ο τρόπος " ειτουρ ίας" του απο τον ανα νώστη. Φανταστείτε οιπόν οτι, όπ ς είναι και ο στό ος αυτής της ερ ασίας, έ ουμε να εκπαιδεύσουμε έναν Naive Bayes κατη οριοποιητή ο οποίος α δια ρίζει μηνύματα απο το twitter, σ ετικά με τις εξε ίξεις στην ευρ ζώνη, σε ετικά και αρνητικά. Και έστ ότι συ έξαμε τα παρακάτ μηνύματα και τα ταξινομήσαμε σε ετικά (+) και αρνητικά (-) (κατασκευή του συνό ου εκπαίδευσης). 1. "Unemployment in eurozone hits 30-year high" - 2. "US stocks jump on eurozone hope" + 3. "Stock Market: Stocks closed lower on Tuesday" - 4. "Eurozone not in danger, central bank chief says" + 15

20 Τα παραπάν μηνύματα α μετατραπούν ύστερα απο επεξερ ασία (stemming, δια- ραφή stopwords, αρι μών και ά ν συμ ό ν, μετατροπή αρακτήρ ν σε μικρούς), όπ ς περι ράψαμε, σε σύνο α έξε ν ( ια ό ους απ ότητας στο παράδει μα δεν εφαρμόζουμε stemming): 1. {unemployment, eurozone, hits, year, high} - 2. {us, stocks, jump, eurozone, hope} + 3. {stock, market, closed, lower, tuesday} - 4. {eurozone, not, danger, central, bank, chief, says} + Έστ τώρα ότι έ ουμε να ταξινομήσουμε το ακό ου ο μήνυμα: "T here is still hope for the eurozone". Το μήνυμα α μετατραπεί στo σύνο ο έξε ν [still, hope, eurozone]. Καταρ άς παρατηρήστε ότι η έξη "still" δεν υπάρ ει σε κανένα απο τα δεδομένα μας και κατα συνέπεια P ( /X) = P (+/X) = 0. Γι' αυτόν τον ό ο αμ άνουμε υπόψιν μόνο τις έξεις/όρους του προς ταξινόμηση μηνύματος που υπάρ ουν στο σύνο ο εκπαίδευσης μας. Φυσικά, στην περίπτ ση που το μύνημα μας δεν περιέ ει καμία έξη/όρο που να υπάρ ει στο σύνο ο εκπαίδευσης τότε δεν μπορούμε να αποφαν ούμε σε ποιά κ άση α ανήκει. Επιστρέφοντας στο μήνυμα που έ ουμε να ταξινομήσουμε α έ ουμε: P ( ) = 1 2, P (+) = 1 2 P (eurozone/+) = 1, P (eurozone/ ) = 1 2 P (hope/+) = 1 2, P (hope/ ) = 0 Οπότε έ ουμε, P (hope/+) P (eurozone/+) P (+) = 1 4 P (hope/ ) P (eurozone/ ) P ( ) = 0 και άρα επι έ ουμε να ταξινομήσουμε το μήνυμα ς ετικό. Το αποτέ εσμα ήταν αναμενόμενο αφού η έξη "hope" εμφανίζεται μονά α στην ετική κ άση. Βέ αια αν και η έξη "hope" απο μόνη της έ ει ετικό αρακτήρα τα πρά ματα δεν είναι τόσο απ ά. Για παράδει μα α μπορούσαμε αντί ια το παραπάν παράδει μα να εί αμε το "There is no hope for the eurozone". Βέ αια στην πράξη δεν α έ ουμε ένα τόσο μικρό σύνο ο 16

21 εκαπίδευσης και όπ ς είπαμε επι έ ουμε να μην αφαιρούμε έξεις που δη ώνουν άρνηση. Αν και η μέ οδος αρ ικά φαίνεται απ οϊκή, κάτι που οφεί εται κυρί ς στην υπό εση ανεξαρτησίας, ένας Naive Bayes κατη οριοποιητής μπορεί να έ ει πο ύ κα ύτερα αποτε έσματα απο τα αναμενόμενα. Για παράδει μα οι Pang, Lee και Vaithyanathan [25] πέτυ αν ακρί εια 81% στον δια ρισμό κριτικών ταινιών σε ετικές και αρνητικές με Naive Bayes κατη οριοποιητή. Για μια ε ρητική εξή ηση ς προς το ιατί η μέ οδος μπορεί να αποδόσει τόσο κα ά, παρά την υπό εση ανεξαρτησίας, ο ανα νώστης παραπέμπεται στην ερ ασία του Zhang [38] Θετικά και αρνητικά τoυ Naive Bayes. Θετικά. + Απ ή μέ οδος. + Γρή ορη ταξινόμηση. + Γρή ορη εκπαίδευση. Αρνητικά. - Υπό εση ανεξαρτησίας τ ν ν ρισμάτ ν. - Γενικά ό ι κα ή ακρί εια. 17

22 5.3 Κατη οριοποιητής k π ησιέστερ ν ειτόν ν (kνν). Η μέ οδος k π ησιέστερ ν ειτόν ν είναι ίσ ς η απ ούστερη μέ οδος κατη οριοποίησης. Η κατη οριοποίηση ίνεται με τον ακό ου ο τρόπο. Έστ ότι έ ουμε στην διά εση μας μία άση αρι μητικών δεδομέν ν, σε διανυσματική μορφή, ια τα οποία ν ρίζουμε εκ τ ν προτέρ ν σε ποιά κ άση ανήκει το κα ένα και έστ ότι έ ουμε να ταξινομήσουμε ένα νέο παράδει μα/διάνυσμα Χ. Υπο ο ίζουμε, άση κάποιας μετρικής συνάρτησης ή κάποιου μέτρου ομοιότητας, τους k π ησιέστερους είτονες του Χ και επι έ ουμε να το ταξινομήσουμε στην κ άση στην οποία ανήκουν τα περισσότερα απο τα k π ησιέστερα σημεία. Σ ήμα 4: Ένα απ ό παράδει μα: Για k=3, το σημείο x α το ταξινομούσαμε στην μπ έ κ άση. Φυσικά, διαφορετικές τιμές της παραμέτρου k α δίνουν, εν ένει, διαφορετικά αποτε έσματα. Στην πράξη μπορούμε να προσδιορίσουμε μία κατά η η τιμή ια το k μέσ της διαδικασίας της σταυρ τής επικύρ σης. Επίσης μπορούμε να ρησιμοποιήσουμε άρη ώστε " είτονες" με με ά η απόσταση απο το σημείο προς ταξινόμιση να προσμετρούνται ι ότερο. Το αρακτηριστικό που κάνει την μέ οδο knn να διαφέρει απο τις δύο ά ες με όδους που προαναφέραμε είναι το οτι στην ουσία δεν υπάρ ει στάδιο εκπαίδευσης αφού ια κά ε ταξινόμηση ρησιμοποιούμε άμεσα ο όκ ηρη την άση δεδομέν ν και ό ι κάποιο μοντέ ο που να προκύπτει απο αυτήν (όπ ς στις μη ανές διανυσμάτ ν υποστήριξης και στον Naive Bayes). Για αυτόν τον ό ο ο knn αποκα είται ς lazy learning μέ οδος. 18

23 Ένα κύριο πρό ημα προκύπτει όταν τα δεδομένα μας έ ουν πο ύ με ά η διάσταση, κάτι που στην πράξη συμ αίνει συ νά. Για την αντιμετώπιση του προ ήματος αυτού μπορούμε να καταφύ ουμε σε με όδους μεί σης της διαστατικότητας όπ ς ια παραδεί μα αυτές που αναφέρ ηκαν στο μέρος 7 της ερ ασίας. Όπ ς ειπώ ηκε παραπάν, τις αποστάσεις μεταξύ τ ν σημεί ν τις υπο ο ίζουμε άση κάποιας μετρικής ή κάποιου μέτρου ομοιότητας. Στις περιπτώσεις όπου τα δεδομένα μας προέρ ονται απο μετατροπή κειμέν ν σε διανύσματα ( έπε μέρος 6) ένα σύνη ες μέτρο ομοιότητας είναι η ομοιότητα συνημιτόνου. Η ομοιότητα συνημιτόνου μεταξύ δύο διανυσμάτ ν x 1, x 2 R n, την οποιά α συμ ο ίζουμε ς cs(x 1, x 2 ), ορίζεται ς cs(x 1, x 2 ) = x 1 x 2 x 1 x 2 Απο ε μετρικής άποψης η ομοιότητα συνημιτόνου δεν είναι τίποτα α ό απο το συνημίτονο της νίας μεταξύ τ ν διανυσμάτ ν αναπαράστασης δύο κειμέν ν. Όσο πιό μικρή η νία τόσο με α ύτερο το συνημίτονο αυτής και άρα τόσο με α ύτερη και η ομοιότητα Θετικά και αρνητικά του knn. Θετικά. + Ίσ ς η απ ούστερη μέ οδος. + Δεν υπάρ ει στάδιο εκπαίδευσης. Αρνητικά. - Αρ ή ταξινόμηση. Eπηρεάζεται απο το μέ ε ος της άσης και το π ή ος τ ν ν ρισμάτ ν. 19

24 5.4 Τε νητά νευρ νικά δίκτυα. Τα τε νητά νευρ νικά δίκτυα [29] είναι μα ηματικά/υπο ο ιστικά μοντέ α εμπνευσμένα απο τα ιο ο ικά νευρ νικά δίκτυα και αποτε ούν μία προσπά εια μίμησης του τρόπου μά ησης του ε κεφά ου. Το πιό κ ασικό μοντέ ο νευρ νικού δικτύου που ρησιμοποιείται ια κατη οριοποίηση είναι ο multi-layer perceptron. Αποτε είται απο ένα στρώμα νευρών ν εισόδου, ένα στρώμα νευρών ν εξόδου και ενδιάμεσα στα δυο αυτά στρώματα υπάρ ει ένας αρι μός απο τα ε όμενα κρυφά στρώματα. Σ ήμα 5: Ένας ιο ο ικός νευρώνας και ένας τε νητός νευρώνας perceptron (εικόνα απο [2]). Στην ουσία ένα τε νητό νευρ νικό δίκτυο είναι ένα κατευ υνόμενο ράφημα όπου κά ε κόμ ος είναι ένας νευρώνας ο οποίος δέ εται αρι μητικές εισόδους απο ά ους νευρώνες μέσ τ ν ακμών που τους συνδέουν. Σε κά ε ακμή αντιστοι εί και μία αρι μητική τιμή το ε όμενο άρος. Η τιμή εξόδου κά ε κόμ ου πο απ ασιάζεται με το άρος τ ν εξερ όμεν ν ακμών και κά ε τέτοιο ινόμενο προστί εται με τα υπό οιπα τα οποία εισέρ ονται σε μία ακμή του επόμενου επιπέδου. Έπειτα στο ά ροισμα αυτό δρά μία συνάρτηση η οποιά ονομάζεται συνάρτηση ενερ οποίησης δίνοντας έτσι την τιμή εξόδου του κόμ ου. H τιμή εξόδου y ενός νευρώνα υπο ο ίζεται δη αδή ς έξής. y = f(w T x + b) όπου f η συνάρτηση ενερ οποίησης, w το διάνυσμα (στή η) τ ν αρών τ ν εισερ όμεν ν ακμών του νευρώνα και x οι τιμές εξόδου του προη ούμενου επιπέδου νευρών ν. Η τιμή b ονομάζεται bias. Σε κά ε στρώμα νευρών ν, εκτός αυτού τ ν εισόδ ν, υπάρ ει και ένας νευρώνας bias ο οποίος μπορούμε να ε ρησουμε ότι ς τιμή εξόδου δίνει πάντα την μονάδα η οποία έπειτα πο /ζεται με το άρος τ ν εξερ όμεν ν ακμών Μία ενική 20

25 εικόνα ενός πο υ-επίπεδου perceptron δίνεται παρακάτ. Σ ήμα 6: Ένα ενικό σ ήμα ένος multi-layer perceptron. Ας δούμε αρ ικά ένα απ ό παράδει μα ενός multi-layer perceptron. Όπ ς φαίνεται απο την παρακάτ εικόνα έ ουμε να δια ρίσουμε τις δύο κ άσεις x και o ή α ιώς 1 και 0. Το πρό ημα αυτό στην ουσία ισοδυναμεί με το να κατασκευάσουμε την ο ική πύ η XOR. Οι κ άσεις αυτές, όπ ς φαίνεται, δεν είναι ραμμικά δια ρίσιμες. 21

26 Σ ήμα 7: To πρό ημα XOR. Ένας τρόπος να τις δια ρίσουμε φαίνεται στο παρακάτ σ ήμα. Σ ήμα 8: Ένας τρόπος να δια ρίσουμε τις δύο κ άσεις. Μπορούμε οιπόν να ε ρήσουμε τις δύο διακεκομένες ευ είες που διακρίνονται στο σ ήμα και οταν ένα σημείο ρίσκεται ανάμεσα τους το ταξινομούμε ς 1, διαφορετικά το ταξινομούμε ς 0. Ας δούμε οιπόν π ς είναι το τε νητό νευρ νικό δίκτυο perceptron το οποίο πρα ματοποιεί αυτήν την ταξινόμηση. 22

27 Σ ήμα 9: Το νευρ νικό δίκτυο που πρα ματοποιεί τον παραπάν δια ρισμό. Kαι πά ι, οι πράσινοι κόμ οι είναι οι νευρώνες εισόδου. Σαν είσοδο δη αδή το νευρ νικό δίκτυο δέ εται τις συντετα μένες του σημείου προς ταξινόμηση. Οι πορτοκα ί κόμ οι είναι τα biases, oι κίτρινοι κόμ οι αποτε ούν το κρυφό στρώμα νευρών ν ενώ ο κόκκινος κόμ ος είναι ο κόμ ος εξόδου. Παρακάτ δίνεται ο πίνακας α η είας του XOR ο οποίος και μας δί νει τι αποτέ εσμα έ ουμε να μας δώσει ο κόμ ος εξόδου ια κά ε είσοδο x = [x 1, x 2 ] T. x 1 x 2 XOR Ας δούμε στην πράξη π ς ειτουρ εί το παραπάν νευρ νικό δίκτυο. Ως συνάρτηση ενερ οποίησης α ρησιμοποιήσουμε την ηματική συνάρτηση: 1, εάν x 0 f(x) = 0, εάν x < 0 23

28 Σ ήμα 10: H ηματική συνάρτηση ενερ οποίησης Έστ οιπόν ότι έ ουμε να ταξινομίσουμε το x = [1, 0] T. Η τιμή που δέ εται σαν είσοδο ο κόμ ος/νευρώνας 3 είναι η Σ 2 i=1w i3 x i + b i = = 0.5 και η τιμή εξόδου f(0.5) = 1. Αντίστοι α η τιμή εξόδου του κόμ ου 4 α είναι f( 0.5) = 0. Οπότε η τιμή εισόδου του κόμ ου 5 α είναι = 0.5 και άρα η τε ική τιμή εξόδου f(0.5) = 1 η οποία είναι και η επι υμητή τιμή. Παρατηρήστε ότι το τμήμα του παραπάν νευρ νικού δικτύου που αποτε είται απο τους δύο νευρώνες εισόδου, τον νευρώνα 3 και το bias που δρά στον νευρώνα 3 "κατασκευάζει" τον δια ρισμό με την κάτ διακεκομένη ευ εία. Δη αδή δίνει ς έξοδο 0 εάν το σημείο ρίσκεται κάτ απο τη ευ εία και 1 εάν ρίσκεται πάν σε αυτήν ή και πάν από αυτήν. Αντίστοι α το ίδιο συμ αίνει και με το τμήμα του δικτύου που αποτε είται απο τους 2 νευρώνες εισόδου, τον νευρώνα 4 το bias που δεά στον νευρώνα 4 και την άν διακεκομένη ευ εία. Το τμήμα που αποτε είται απο τους νευρώνες 3 και 4, τον νευρώνα 5 και το αντίστοι ο bias είναι αυτό που αποφασίζει ότι ένα σημείο το οποίο ρίσκεται ανάμεσα στις δύο ευ είες ταξινομείται ς 1 και σε αντί ετη περίπτ ση ς 0. Βέ αια η επι ο ή τ ν αρών που κάναμε δεν είναι και η μοναδική που δίνει το επι υμητό αποτέ εσμα. Επίσης υπάρ ει ένας αρι μός απο διαφορετικές συναρτήσεις ενερ οποίησης που μπορούμε να ρησιμοποιήσουμε. Για παράδει μα μία κα ύτερη ίσ ς επι ο ή είναι μία σι μοϊδής συνάρτηση όπ ς η ο ιστική. H συνάρτηση αυτή επιτρέπει με α ύτερη ευε ιξία σε σ έση με την ηματική αφού έ ει συνε ές πεδίο τιμών και είναι παρα ίσιμη. f(x) = e cx, c > 0 24

29 Σ ήμα 11: H ο ιστική συνάρτηση ενερ οποίησης. Στην πράξη, τις κατά η ες τιμές τ ν αρών δεν τις ν ρίζουμε. Αυτή είναι και η ό η ουσία της διαδικάσίας της εκπαίδευσης στα νευρ νικά δίκτυα. Ένας διαδεδομένος α όρι μος ια την εκπαίδευση ενός multi-layer perceptron είναι ο α όρι μος οπισ οδιάδ σης (backpropagation) οποίος ασίζεται στην μέ οδος ε α ίστου κ ίσης (steepest descent) ( έπε [23]). Η ο ική της με όδου είναι π ς ια την εύρεση του ε α ίστου μίας συνάρτησης f : R n R ξεκινώντας απο ένα αρ ικό σημείο x 0 R n επι έ ουμε κά ε φορά να κινη ούμε προς την κατεύ υνση ε α ίστης κ ίσης κρίνοντας έ αια "τοπικά" με άση δη αδή το τρέ ον σημείο. Η κατεύ υνση αυτή ορίζεται απο το διάνυσμα η f(x 0 ) όπου το η > 0 είναι το ήμα, δη αδή το πόσο μακριά α κινη ούμε προς την συ κεκριμένη κατεύ υνση. Έτσι το ενικό επανα ηπτικό σ ήμα της με όδου ε ά ιστης κ ίσης είναι. x k+1 = x k η f(x k ) Με τον α όρ μο οπισ οδιάδ σης στό ος μας είναι να ε α ιστοποιήσουμε την συνάρτηση του τετρα νικού σφά ματος. E(w) = 1 2 (ti y i ) 2 όπου t i είναι οι τε ικές τιμές εξόδου τις οποίες α έ αμε να μας δώσει το νευρ νικό δίκτυο, όταν ς τιμές εισόδου δίναμε τις τιμές του δεδομένου i ενώ y i είναι οι τιμές τις οποίες μας έδ σε το δίκτυο με τις τρέ ουσες τιμές τ ν αρών. Λαμ άνοντας την μερική παρά ο του σφά ματος E ς προς το άρος w ij ( άρος 25

30 της ακμής απο τoν νευρώνα i στον νευρώνα j) έ ουμε E = 1(t 2 j y j ) 2 w ij w ij το οποίο με άση τον κανόνα α υσίδας ισούται με 1 2 (t j y j ) 2 y j y j w ij H μερική παρά ος 1 2 (t j y j ) 2 y j ισούται με (t j x j ). Για την μερική πρά ο y j w ij παρατηρήστε ότι το y j = f(s j ) όπου f η συνάρτηση ενερ οποίησης και s j το ά ροισμα τ ν τιμών που εισέρ ονται στον νευρώνα j. Έτσι έ ουμε ότι y j = y j s j = w ij s j w ij f (s j ) y k w ik w ij = f (s j )y i Οπότε τε ικώς έ ουμε ότι E w ij = (t j y j )f (s j )y i και άρα σύμφ να με την μέ οδο ε α ίστου κ ίσης η ανανέ ση τ ν αρών α ίνεται σύμφ να με την παρακάτ σ έση w (k+1) ij = w (k) ij + η(t j y j )f (s j )y i. Βέ αια, η μέ οδος ε ά ιστης κ ίσης είναι μία αρκετά απ οϊκή μέ οδος η οποία συνή ς συκ ίνει απ ώς σε ένα τοπικό ε ά ιστο και επίσης μπορεί να έ ει πο ύ αρ ή σύ κ ιση. Πιό "σύ ρονοι" α όρι μοι που μπορούν να ρησιμοποιη ούν ια την εκπαίδευση ενός multi-layer perceptron είναι, ια παράδει μα, στο αστικοί α όρι μοι όπ ς ο Particle Swarm Optimization [26]. Τέ ος, αξίζει να αναφέρουμε μια νεότερη εκδο ή τε νητών νευρ νικών δικτύ ν, τα spiking neural networks (snn's) [22]. Τα snn's μοντε οποιούνται με την ρήση διαφορικών εξισώσε ν και αποτε ούν ένα ήμα παραπέρα ς προς τον ρεα ισμό τ ν τε νητών δικτύ ν σε σ έση με τα ιο ο ικά νευρ νικά δίκτυα. 26

31 5.4.1 Θετικά και αρνητικά τ ν τε νητών νευρ νικών δικτύ ν. Θετικά. + Κα ή ακρί εια. + Γρή ορη ταξινόμηση. Αρνητικά. - Δύσκο α στην κατανόηση. - Αρ ή εκπαίδευση. 27

32 5.5 Δένδρα αποφάσης. Τα δένδρα απόφασης ( έπε [12] σε ) αποτε ούν μία μέ οδο κατη οριοποίσης η οποία, όπ ς υποδη ώνει και το όνομα, κατασκευάζει με άση το σύνο ο εκπαίδευσης ένα δένδρο. Σε κά ε κόμ ο/κορυφή του δένδρου αντιστοι εί και ένα νώρισμα τ ν δεδομέν ν μας. Σε κά ε εξερ όμενη ακμή απο τον κόμ ο αντιστοι εί και ένα υποσύνο ο απο το διάστημα τ ν δυνατών τιμών του σ ετικού ν ρίσματος. Τέ ος σε κά ε φύ ο του δένδρου αντιστοι εί και μία απο τις κατη ορίες στις οποίες είναι ρισμένα τα δεδομένα μας. Έτσι, ια την κατη οριοποίηση ενός νέου δεδομένου ξεκινάμε απο τη κορυφή και σε κά ε ήμα προ ράμε σε ένα κόμ ο του επόμενου επιπέδου ακο ου ώντας την ακμή η οποία περιέ ει την τιμή του σ ετικού ν ρίσματος του δεδομένου κατα ή οντας σε ένα φύ ο και ταξινομώντας το δεδομένο στην κατη ορία που αντιστοι εί στο φύ ο αυτό. Σ ήμα 12: Παράδει μα ενός δένδρου απόφασης ια την ορή ηση τραπεζικού δανείου. Τα δένδρα απόφασης μπορούν να εφαρμοστούν σε δεδομένα με κατη ορικά ν ρίσματα α ά και με αρι μητικά. Όμ ς όταν οι τιμές τ ν αρι μητικών ν ρισμάτ ν είναι πο ές ή παίρνουν συνε είς τιμές τότε α πρέπει να ριστούν με κάποιο τρόπο σε κατη ορίες. Οι πιό διαδεδομένοι α όρι μοι ια την κατασκευή δένδρ ν απόφασης είναι οι 28

33 ID3 και C4.5 [27] (ο τε ευταίος αποτε εί ε τι ση του πρώτου). Το ασικό ερώτημα είναι με ποιό τρόπο κατασκευάζουμε ένα δένδρο απόφασης ή κα ύτερα με ποιό τρόπο α επι έξουμε ποιό νώρισμα α αντιστοι ι εί σε κά ε κόμ ο. Ο α όρι μος ID3, ια την κατασκευή του δένδρου, ασίζεται στην, σ ετική με την ε ρία π ηροφορίας, έννοια της εντροπίας. Εντροπία: 'Εστ p i 0, i = 1,.., n με n i=1 p i = 1. Τότε η εντροπία τ ν p i ορίζεται ς n H(p 1,..., p n ) = p i log(p i ) i=1 Aς δούμε πρώτα την ο ική πίσ απο τον τύπο της εντροπίας. Έστ ότι p είναι η πι ανότητα να συμ εί ένα ε ονός. Θε ρούμε ότι όσο πιό με ά η είναι η πι ανότητα να συμ εί τόσο ι ότερη π ηροφορία μας προσφέρει. Αν με I(p) συμ ο ίσουμε τo μέτρο της π ηροφορίας τότε, α έ αμε το μέ ε ος αυτό να έ ει τις παρακάτ ιδιότητες. I(p) = 0 p = 1 I(p) 0 ιά 0 p 1 I(p 1 ) > I(p 2 ) p 1 < p 2 I(p 1 p 2 ) = I(p 1 ) + I(p 2 ) εάν τα ε ονότα 1 και 2 είναι στατιστικά ανεξ. Με άση τα παραπάν ορίζουμε την π ηροφορία ενός ε ονότος με πι ανότητα p ώς: I(p) = log(p) Η εντροπία H(p 1,..., p n ) = n i=1 p ilog(p i ) οιπόν εκφράζει την μέση α ε αιότητα με άση τις πι ανότητες p i, i = 1,..n. 29

34 Σ ήμα 13: H ραφική παράσταση της εντροπίας δύο ε ονότ ν. Επιστρέφοντας στα δένδρα απόφασης, παρατηρήστε την παραπάν ραφική παράσταση και σκεφτείτε ια παράδει μα το εξής. Έστ ότι κατά την διάρκεια της κατασκευής ενός δένδρου ρσικόμαστε σε έναν κόμ ο και μπορούμε να επι έξουμε ανάμεσα σε δύο ν ρίσματα ια να αντιστοι ίσουμε στον κόμ ο αυτόν, Και ότι με την πρώτη επι ο ή ό α τα δεδομένα ρίζονται έτσι ώστε ό α να ανήκουν σε μία κ άση ενώ με την δεύτερη ρίζονται έτσι ώστε να ανήκουν τα μισά σε μία και τα ά α μισά σε μία ά η. Προφανώς η πρώτη επι ο ή είναι κα ύτερη αφού έπειτα δεν α ρειαζόταν ά ος δια- ρισμός/κόμ ος α ά α κατα ή αμε σε ένα φύ ο. Η πρώτη επι ο ή έ ει εντροπία, η α ιώς μέση α ε αιότητα, ίση με μηδέν, ενώ η δεύτερη έ ει την μέ ιστη α ε αιότητα. Έ οντας κατα νού αυτό το παράδει μα συνε ίζουμε στη ενική διατύπ ση της ειτουρ- ίας του ID3. Έστ ότι έ ουμε ένα σύνο ο δεδομέν ν τα οποία ρίζονται σε n στο π ή ος κ άσεις και έστ C = {c 1,..., c n } το σύνο ο τ ν κ άσε ν. Ας υπο έσουμε οιπόν ότι κατασκευάζουμε το δένδρο απόφασης και ρισκόμαστε σε ένα κόμ ο του δένδρου (μπορεί να είναι και η κορυφή). Έστ D το υποσύνο ο της άσης το οποίο ορίζεται από το μονοπάτι από την κορυφή μέ ρι τον τρέ ον κόμ ο. έ ουμε να αποφασίσουμε ποιό νώρισμα α αντιστοι ίσουμε στη κορυφή αυτή. Έστ ότι επι έ ουμε ένα νώρισμα F με F = {f i,..., f k } 30

35 το σύνο ο τ ν δυνατών τιμών του ν ρίσματος F. Τότε επι έ ουμε το νώρισμα που δίνει το μέ ιστο κέρδος π ηροφορίας, IG(D, F ) = H(D) k P (d fi )H[ p(d fi c 1 ),..., p(d fi c n ) ] i=1 όπου d fi ένα δεδομένο το οποίο ανήκει στο D και η τιμή τού στο νώρισμα F είναι f i καί H(D) = H(p(d c 1 ),..., p(d c n )). Πιό απ ά μπορούμε να ε α ιστοποιήσουμε το k P (d fi )H[ p(d fi c 1 ),..., p(d fi c n ) ]. i=1 Όμ ς η επι ο ή με άση την π ηροφορία κέρδους έ ει την τάση να επι έ ει ν ρίσματα με πο ές τιμές. Ο α όρι μος C4.5 αποτε εί ε τί ση του ID3. H πιό σημαντική ίσ ς απο τις ε τιώσεις του C4.5 είναι ότι αντί ια την ρήση του κέρδους π ηροφορίας, το νώρισμα επι έ εται με άση το. IGratio(D, F ) = IG(D, F ) H(p(d f1 ),..., p(d f1 )) Θετικά και αρνητικά τ ν δένδρ ν απόφασης. Θετικά. + Tα δένδρα απόφασης ίνονται εύκο α κατανοητά. + Γρή ορη τα ύτητα εκπαίδευσης. Αρνητικά. - Δημιουρ ούν μόνο ορ ο ώνιες διαμερίσεις του ώρου. - Πάσ ουν απο υπερταίριασμα. 31

36 5.6 Συ κριτικός πίνακας με όδ ν κατη οριοποίησης. Παρακάτ δίνουμε ένα συνοπτικό πίνακα ια την σύ κριση τ ν με όδ ν που αναφέραμε στο παρόν κεφά αιο (όσο περισσότεροι αστερίσκοι τόσο κα ύτερη η απόδοση της αντίστοι ης με όδου στο συ κεκριμένο αρακτηριστικό). SVM ΑΝΝ knν Naive Bayes Decision Trees Ακρί εια ( ενικά) **** *** ** * ** Τα ύτητα εκπαίδευσης * * **** **** *** Τα ύτητα ταξινόμησης **** **** * **** **** Αντο ή σε ε ειπή δεδομένα ** * * **** *** Αντο ή σε μη σ ετικά ν ρίσματα **** * ** ** *** Αντο ή σε π εονάζοντα ν ρίσματα *** ** ** * ** Αντο ή σε με ά ο α μό ανεξαρ- *** *** * * ** τησίας ν ρισμάτ ν Δια είρηση διακριτών/δυαδικών/ συνε ών ν ρισμάτ ν **(ό ι διακριτά) ***(ό ι διακριτά) ***(ό ι απ' ευ είας διακριτά) *** (ό ι συνε- είς) Αντο ή στο όρυ ο ** ** * * ** ** Επιρέπεια σε υπερταίριασμα ** * *** *** ** Incremental μά ηση ** *** **** **** ** **** Ευκο ία κατανόησης του μοντέ- * * ** **** **** ου Ευκο ιά επι ο ής παραμέτρ ν * * *** **** *** Πίνακας 1: Συ κριτικός πίνακας με όδ ν κατη οριοποίησης (πίνακας απο [18]). 32

37 6 Μετατροπή Κειμένου σε Διάνυσμα. Οι περισσότερες μέ οδοι μη ανικής μά ησης απαιτούν τα δεδομένα εκπαίδευσης να έ ουν αρι μητική (διανυσματική) μορφή. Κατά συνέπεια, σε εφαρμο ές όπου τα δεδομένα μας είναι αρ ικά σε μορφή κειμένου (όπ ς και είναι στην περίπτ ση μας) α πρέπει να μετατραπούν μέσ κάποιας διαδικασίας σε διανυσματική μορφή. Σε αυτό το μέρος της ερ ασίας περι ράφουμε την διαδικασία με την οποία μετατρέπουμε το κά ε δεδομένο μας (κείμενο) σε ένα διάνυσμα με αρι μητικές τιμές κατα ή οντας έτσι στο να έ ουμε ένα μητρώο (πίνακα) στην έση του συνό ου τ ν αρ ικών μας δεδομέν ν. Θα δώσουμε οιπόν αρ ικά μια ενική περι ραφή και αμέσ ς μετά α εφαρμόσουμε την διαδικασία σε ένα απ ό παράδει μα. Στην ερ ασία αυτή εφαρμόσαμε την "bag of words" αναπαράσταση τ ν κειμέν ν/μηνυμάτ ν. Ο τρόπος αναπαράστασης "bag of words" αντιπετ πίζει το κά ε κείμενο απ ά ς το σύνο ο τ ν έξε ν που περιέ ονται σε αυτό. Αδιαφορεί δη αδή π ήρ ς ια την όποια σειρά εμφάνισης τ ν έξε ν και ια οποιαδήποτε σύνταξη. Αυτός ο τρόπος αναπαράστασης εκτός του ότι είναι ίσ ς ο πιό απ ός οδη εί ενικώς σε κα ύτερα αποτε έσματα απ' ότι οι ά οι τρόποι αναπαράστασης [30, 25]. Δύο ά οι τρόποι αναπαράστασης είναι ια παράδει μα η ρήση "n-grams" και "Part of speech "tags". Ως n-grams ενός κειμένου εννοούμε τους συνδιασμούς n στο π ή ος συνε όμεν ν έξε ν που εμφανίζονται στο κείμενο. Για παράδει μα εάν εί αμε την πρόταση "Μου αρέσει το κα οκαίρι" και έ αμε να την αναπαραστήσουμε ς ένα σύνο ο απο 2-grams τότε α εί- αμε το σύνο ο {Μού αρέσει, αρέσει το, το κα οκαίρι}. Αυτός ο τρόπος αναπαράστασης έ ει ς στό ο να "πιάσει" τις συσ ετίσεις έξε ν που εμφανίζονται κοντά μεταξύ τους στο κείμενο. Mε την ρήση "Part of speech tags" εννοούμε την επι ο ή μόνο έξε ν η συνδιασμών έξε ν η οποίες είναι συ κεκριμένα μέρη του ό ου όπ ς π.. επί ετα. Ας δούμε οιπόν την διαδικασία την οποία ακο ου ούμε ια την τε ική αναπάρασταση τ ν κειμέν ν ς διανύσματα (με αρι μητικές τιμές). Έστ ότι D = {d 1, d 2,..., d n } είναι το σύνο ο τ ν κειμέν ν μας (ή τ ν tweets στην περίπτ ση μας). Κά ε κείμενο περιέ ει έξεις όπ ς "the", "he", "and", "or" κτ. Λέξεις δη αδή οι οποίες με άση την "bag of words" ο ική μά ον δεν μας προφέρουν καμία π ηροφορία. Αυτές οι έξεις είναι οι ε όμενες stopwords και επι έ ουμε να τις αφαιρέσουμε απο τα κείμενα μας ( ίστες με stopwords υπάρ ουν δια έσιμες ια διάφορες ώσσες). Επίσης διάφορες έξεις α εμφανίζονται με διαφορετικές κατα ήξεις (π.. π η υντικός/ενικός, διαφορετικοί ρόνοι ) ια παράδει μα οι έξεις "human", "humans", "humanity" είναι (και πά ι με άση την "bag of words" ο ική) έξεις που μά ον α έ αμε να τις αντιμετ πίσουμε ώς ίδιες. Για αυτόν ό ο τις μετατρέπουμε σε μία έξη, ή κα ύτερα όρο, που αποτε εί κατα 33

38 κάποιο τρόπο την ρίζα της έξης. Λέμε όρο και ό ι έξη ιατί όπ ς α δούμε και στο παράδει μα η μετατροπή μπορεί να μας δώσει ς αποτέ εσμα κάτι που δέν είναι απαραίτητα έξη. Αυτή η διαδικασία ονομάζεται stemming και υπάρ ουν διάφοροι α όρι μοι που την πρα ματοποιούν. Ο πιό διαδεδομένος α όρι μος stemming είναι ο α όρι μος Porter τον οποίο και ρησιμοποιήσαμε. Επίσης αφαιρούμε σημεία στίξης και ά ους αρακτήρες ανά ο α με την περίπτ ση, ια παράδει μα αρι μητικούς αρακτήρες. Έστ τώρα ότι T = {t 1, t 2,..., t k } είναι το σύνο ο τ ν όρ ν, οι οποίοι εμφανίζονται στο σύνο ο τ ν κειμέν ν D αφού κάνουμε αφαιρέση τ ν stopwords και εφαρμόσουμε stemming κτ. Τότε μπορούμε να αναπαραστήσουμε ένα κείμενο d ώς ένα διάνυσμα διάστασης k (όσο το π ή ος τ ν όρ ν που περιέ ει το σύνο ο T ) όπου στην i-οστή έση η τιμή του διανύσματος είναι ίση με τον αρι μό τ ν εμφανίσε ν του όρου t i στο κείμενο d ή την συ νότητα με την οποία εμφανίζεται ο όρος t i (αρι μός εμφανίσε ν / π ή ος όρ ν του d) ή απ ώς να ρησιμοποιήσουμε το 0 εάν ο όρος δεν εμφανίζεται στο κείμενο και το 1 εάν εμφανίζεται (δυαδική αναπαράσταση). Ένας ά ος συνη ισμένος τρόπος αναπράστασης κειμένου σε διανυσματική μορφή είναι ο ε όμενος tf-idf (term frequency-inverse document frequency). Με αυτόν το τρόπο η i-οστή τιμή του διανύσματος αναπράστασης του κειμένου d ισούται με tf(t i ) log( D df(t i ) ) όπου tf(t i ) είναι η συ νότητα εμφάνισης του όρου t i στο κείμενο και df(t i ) ο αρι μός τ ν κειμέν ν στα οποία εμφανίζεται ο όρος t i. Θα δώσουμε τώρα ένα απ ό παράδει μα εφαρμο ής της παραπάν διαδικασίας ια να ίνει ξεκά αρη στον ανα νώστη. Έστ ότι έ ουμε συ έξει τα παρακάτ tweets. 1. Unemployment in eurozone hits 30-year high 2. US stocks jump on eurozone hope 3. Stock Market: Stocks closed lower on Tuesday 4. Eurozone not in danger, central bank chief says Τα παραπάν μηνύματα α μετατραπούν ύστερα απο επεξερ ασία (stemming, δια- ραφή stopwords, αρι μών και ά ν συμ ό ν, μετατροπή αρακτήρ ν σε μικρούς), σε σύνο α έξε ν: 34

39 1. {unemploy,eurozon, hit, year, high} 2. {stock, jump, eurozon, hope} 3. {stock, market, stock, close, lower, tuesday} 4. {eurozon, not, danger, central, bank, chief, say} Σε αυτό το σημείο πρέπει να σημειώσουμε ότι αν και έξεις όπ ς "no", "not", "none", "never" κτ. οι οποίες δη ώνουν άρνηση ε ρούνται συνή ς ς stopwords, έ ουμε επι έξει να μην τις αφαιρούμε αφού μπορούν να κάνουν την διαφορά ανάμεσα σε ένα ετικό και ένα αρνητικό μήνυμα tweet. Συνε ίζοντας στο παράδει μα μας, το σύνο ο τ ν όρ ν, το οποίο και α ονομάζουμε εξικό, που έμφανίζονται στα παραπάν μηνύματα α είναι το T = {jump, lower, eurozon, hit, danger, tuesday, unemploy, chief, high, say, market, central, not, close, bank, hope, stock, year} Έτσι, ια παράδει μα το πρώτο μήνυμα, αν επι έ αμε την 0-1 (δυαδική) αναπαράσταση, α το αναπαρηστούσαμε ς [0, 0, 1, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0] Tο σύνο ο τ ν δεδομέν ν μπορεί να αναπαραστα εί με το παρακάτ μητρώο (πίνακα) όπου κά ε σειρά αντιστοι εί και σε ένα μήνυμα Ένώ αν επι έ αμε την tf-idf αναπαράσταση α εί αμε το παρακάτ μητρώο

40 Παρατηρήστε ότι με την tf-idf αναπαράσταση κά ε φορά που προσ έτουμε ένα νέο δεδομένο στο μητρώο μας ενδέ εται να μετα ά ονται και οι τιμές ά ν δεδομέν ν. Αν υπο έσουμε τώρα ότι με άση τα παραπάν δεδομένα εκπαιδεύσαμε έναν κατη- οριοποιητή και έ αμε να ταξινομήσουμε ένα νέο μήνυμα. Το νέο μήνυμα, αφού το μετατρέψουμε σε ένα σύνο ο όρ ν, ενδε ομέν ς να περιέ ει όρους που δεν υπάρ ουν στο εξικό τ ν δεδομέν ν εκπαίδευσης. Παρό αυτά, ια την αναπαράσταση του ς διάνυσμα α αμ άναμε υπόψιν το υπάρ ον εξικό. Δη αδή έστ ότι το νέο μας μήνυμα ήταν το Eurozone fear cause markets to close lower τo οποίο α μετατρεπόταν στο παρακάτ σύνο ο όρ ν {eurozon, fear, caus, market, close, lower} Παρατηρήστε ότι οι όροι "fear" καί "caus" δεν υπάρ ουν στο εξικό μας. Η 0-1 αναπαράσταση οιπόν του νέου μηνύματος ς διάνυσμα α είναι [0, 0, 1, 1, 0, 0, 0, 0, 0, 0, 1, 0, 0, 1, 0, 0, 0] Αν ρησιμοποιούσαμε την tf-idf αναπαράσταση τότε, προφανώς δεν α ήταν πρακτικό κά ε φορά που έ ουμε να ταξινομίσουμε ένα νέο μήνυμα να κάνουμε τις α α ές τις οποίες ενδε ομέν ς να κάναμε στα δεδομένα μας αν ήταν να προσ έσουμε το προς ταξινόμηση δεδομένο σε αυτά, έπειτα να το ταξινομούσαμε και στη συνέ εια να αναιρούσαμε και πά ι τις α α ές. Πο ύ απ ά μπορούμε να αναπαραστήσουμε το νέο μήνυμα ρησιμοποιώντας τον τύπο tf(t i ) log( D df(t i ) ) ρησιμοποιώντας ς τιμές τ ν D και df(t i) τις τιμές που προκύπτουν ια αυτά απο την άση δεδομέν ν (ή να τις αυξήσουμε κατά μία μονάδα) ρίς να α άξουμε την άση. Σε κά ε περίπτ ση, υπο έτοντας ότι στην πράξη το π ή ος της άσης δεδομέν ν είναι αρκετά με ά ο η α α ές που ενδε ομέν ς να ίνονταν α ήταν πι ανότατα ί ες και μικρές στο μέ ε ος. Τα μητρώα τα οποία προκύπτουν απο την μετατροπή τ ν κειμέν ν σε διανύσματα είναι συνή ς πο ύ αραιά (περίπου 90% τ ν στοι εί ν τους είναι μηδενικά). Σε εφαρμο ές όπου τα κείμενα μπορεί να είναι με ά α σε αρι μό έξε ν η διάσταση τ ν διανυσμάτ ν, η α ιώς το π ή ος τ ν όρ ν του εξικού μπορεί να είναι πο ύ με ά η, (δεκάδες ι- ιάδες όροι). Έτσι, μπορεί να είναι ρήσιμο ή και απαραίτητο να εφαρμόσουμε διάφορες τε νικές ώστε να πετύ ουμε την μέι ση της διάστασης τ ν δεδομέν ν μας. Σε τέτοιες τε νικές αναφερόμαστε στο μέρος την ερ ασίας που ακο ου εί. 36

41 7 Μεί ση Διάστασης τ ν Δεδομέν ν. Υπάρ ει ένας αρι μός απο με όδους ια την μεί ση της διάστασης δεδομέν ν [32], στο μέρος αυτο α αναφερ ούμε σε δύο από αυτές. Η πρώτη ονομάζεται PCA (Principal Component Analysis) [31] και η δεύτερη LSA (Latent Semantic Analysis) [11, 9]. Οι προαναφερ ήσες μέ οδοι πετυ αίνουν την μεί ση της διάσταση μέσ του μετασ ηματισμού τ ν τ ν δεδομέν ν. Στην τε αυταία παρά ραφο αυτού του μέρους α αναφερ ούμε και σε τε νικές οι οποίες μειώνουν την δίασταση με το να επι έ ουν να αφαιρέσουν κάποια απο τα ν ρίσματα. Όπ ς αναφέραμε και στο τέ ος του προη ούμενου μέρους ο ό ος ια τον οποίο μπορεί να έ ουμε να μειώσουμε τ ν αρι μό τ ν διαστάσε ν τ ν δεδομέν ν μας είναι το ότι ο αρι μός αυτός ενδέ εται να είναι πο ύ με ά ος (δεκάδες ι ιάδες) οπότε και ια παράδει μα η εφαρμο ή διαφόρ ν α ορί μ ν μπορεί να είναι πο ύ αρ ή έ ς και αδύνατη. Επίσης, συνή ς πο ές απο τις διαστάσεις τ ν δεδομέν ν μας μπορεί να μην προσφέρουν καμία ουσιαστική π ηροφορία και αποτε ούν αυτό που ονομάζουμε ς όρυ ο στα δεδομένα μας οπότε ακόμα και αν η διάσταση δεν αποτε εί άμεσο πρό ημα η αφαίρεση του ορύ ου μπορεί να αποφέρει κα ύτερα αποτε έσματα. Πρίν παρουσιάσουμε τις με όδους α κάνουμε μία αναφορά σε μια μέ οδο διάσπασης μητρώ ν, την Singular Value Decomposition [14], η οποία σ ετίζεται άμμεσα και με τις με όδους PCA και LSA Singular Value Decomposition (SVD). Άν A R m n τότε το A μπορεί να ραφτεί στη μορφή, A = UΣV όπου U = [u 1,..., u m ] R m m και V = [v 1,..., v n ] R n n ορ ο ώνια μητρώα και Σ = [ Σ ] όπου Σ 1 = diag(σ 1, σ 2...σ p ) με σ 1 σ 2...σ p 0 και p = min{m, n}. Επίσης μια ά η εκδο ή της διάσπασης SVD, η οποία στο ι ίο τ ν Golub και Van Loan [14] αναφέρεται ς Thin SVD έ ει ώς εξής. 37

42 Άν A R m n με m n και = UΣV η διάσπαση SVD του τότε το A μπορεί επίσης να ραφτεί στη μορφή, U 1 Σ 1 V όπου U 1 = [u 1,..., u n ] R m n και Σ 1 = diag(σ 1, σ 2...σ n ) με σ 1 σ 2...σ n 0. Μπορούμε να "φτάσουμε" στο Thin SVD ς εξής. Έστ A R m n με m n. Το μητρώο A T A είναι n n συμμετρικό μητρώο και είναι ν στό π ς οι ιδιοτιμές συμμετρικών μητρώ ν είναι ό ες πρα ματικές και με α ύτερες η ίσες του μηδενός. Έστ λ 1 λ 2... λ n 0 οι ιδιοτιμές αυτές. Και έστ ότι σ 1 σ 2...σ r > 0 όπου σ i = λ i. Τα ιδιοδιανύσματα v i (του A T A) τα οποία αντιστοι ούν στις r ετικές ιδιοτιμές α είναι μεταξύ τους κά ετα. Έστ το μητρώο με στή ες τα ιδιοδιανύσματα v i. U = [v 1, v 2,..., v r ] Τα r στο π ή ος διανύσματα u i = 1 σ i Av i είναι μεταξύ τους κά ετα και είναι και μοναδιαία όπ ς φαίνεται απο τα παρακάτ. v T i v j = ( 1 σ i Av i ) T 1 σ j Av j = 1 σ i σ j v T i A T Av j = 1 σ i σ j v T i σ 2 j v j = σ j σ i v T i v j To σ j σ i v T i v j, αφού τα v i είναι κά ετα μεταξύ τους και μοναδιαία, ισούται με 0 όταν i j και με 1 όταν i = j. Οπότε έ ουμε ότι u T i Av j = u T i (σ j u j ) = σ j u T i u j ια το οποίο και πά ι ισ ύει ότι ισούται με 0 όταν i j και με 1 όταν i = j. Οπότε εαν ε ρήσουμε το μητρώο U = [u i, u 2,..., u r ] 38

43 τότε έ ουμε ότι U T AV = Σ όπου Σ το μητρώο r r με τα σ i στην κύρια δια ώνιο του. Tα μητρώα U και V είναι ορ ο ώνια, δη αδή U T U = I και V T V = I. Οπότε τε ικώς έ ουμε ότι το A μπορει να ραφεί στην μορφή A = UΣV Principal Component Analysis (PCA). H ιδέα πίσ απο την μέ οδο PCA (Ανά υση κύρι ν συνιστ σών) είναι να εκφράσουμε τα δεδομένα μας ς πρός μία νέα άση η οποία α είναι ραμμικός μετασ ηματιμός της αρ ικής και α περιέ ει αρκετή π ηροφορία ια να περι ράψει επαρκώς τα δεδομένα μας ενώ ταυτό ρονα α αφαιρεί τυ όν όρυ ο ή π εονάζουσα π ηροφορία. Προφανώς και έ ουμε η διάσταση της νέας άσης να είναι αρκετά μικρότερη απο την διαστασή της αρ ικής. Το ερώτημα είναι με ποιό τρόπο προσδιορίζουμε αυτή την άση και με ποιά ο ική. Παρατηρήστε ια παράδει μα την παρακάτ εικόνα. Σ ήμα 14: Οι κύριες συνιστώσες (τα διανύσματα v 1, v 2 ) ενός δισδιάστατου παραδεί ματος 39

44 Στο παραπάν απ ό παράδει μα τα δεδομένα μας έ ουν δύο διαστάσεις. Όμ ς φαίνεται π ς εμφανίζουν την με α ύτερη διασπορά κατά μήκος της διεύ υνσης που ορίζει το διάνυσμα v 1 και την μικρότερη κατά μήκος του v 2. Η διασπορά κατά μήκος του v 2 α μπορούσε να είναι και όρυ ος, οπότε α μπορούσαμε να σκεφτούμε να προ ά ουμε κά- ετα τα δεδομένα κατά μήκος της διεύ υνσης τού v 1, δη άδή να τα εκφράσουμε ς προς την άση η οποία ορίζεται απο το v 1 με αποτέ εσμα να δεδομένα μας να είναι π έον μονοδιάστατα. Προσέξτε ότι στην προη ούμενη προτάση απαντάμε στο "με ποιά ο ική". Δη αδή αυτό που έμε είναι ότι με α ύτερη διασπορά α συνεπά εται και περισσότερη π ηροφορία. Εστώ οιπον ότι τα δεδομένα τα εί αμε σε μορφή μητρώου, έστ X R n k το μητρώο αυτό, όπου n ο αρι μός τ ν δεδομέν ν και k η διάσταση τους, δη αδή κά ε ραμμή του X αντιστοι εί και σε ένα δεδομένο. Έστ επίσης ότι το v 1 είναι μοναδιαίο. Τότε, πο ύ απ ά, το Xv 1 α μας έδινε τις ζητούμενες κά ετες προ ο ές. Βέ αια στην ενική περίπτ ση δεν ζητάμε απ ώς να ρούμε το διάνυσμα κατά μήκος του οποίου τα δεδομένα έ ουν την μέ ιστη διασπορά/π ηροφορία α ά έναν αρι μό διανυσμάτ ν τα οποία α ορίζουν την νέα άση. Ας απαντήσουμε οιπόν στο "με ποιό τρόπο" αρ ίζοντας με το πώς α υπο ο ίσουμε ενικά το (μοναδιαίο) διάνυσμα κατά μήκος του οποίου η διασπορα είναι η μέ ιστη και αμέσ ς μετά με την ίδια ο ική α δουμε π ς να επεκτείνουμε την νέα άση. Έστ οιπόν X R n k το μητρώο τ ν δεδομέν ν μας, όπου n ο αρι μός τ ν δεδομέν ν και k η διάσταση τους. Ζητάμε να ρούμε ένα μοναδιαίο διάνυσμα v τέτοιο ώστε το p = Xv να έ ει την μέ ιστη διασπορά. Η διασπορά τ ν τιμών του p α είναι, V ar(p) = 1 n 1 Σn i=1[(x i µ)v] 2 = 1 n 1 vt (X µ) T (X µ)v όπου x i είναι η i-οστή ραμμή του μητρώου X και µ το διάνυσμα τ ν μέσ ν τιμών τ ν στη ών του X. Το μητρώο C = 1 n 1 (X µ)t (X µ) ονομάζεται μητρώο συνδιασπορών του X. Άρα τε ικά ια τον προσδιορίσμο του v κατα ή ουμε στο παρακάτ πρό ημα ε τιστοποίησης. maximize v T Cv s.t. v = 1 Είναι ν στό π ς η ύση του παραπάν προ ήματος είναι το ιδιοδιάνυσμα του C 40

45 με την μέ ιστη ιδιοτιμή. Ακο ου ώντας την ίδια ο ική επι έ ουμε ενικά ς νέα άση αυτήν που όρίζεται απο τα m < k ιδιοδιανύσματα του C τα οποία αντιστοι ούν στις m με α ύτερες ιδιοτιμές. Βέ αια την τιμή του m α πρέπει να την προσδιορίσουμε εμείς και προφανώς το ποιά τιμή α είναι η έ τιστη διαφέρει ανά ο α με την περίπτ ση που έ ουμε. Στην πράξη μπορούμε να υπο ο ίσουμε να ζητούμενα m ιδιοδιανύσματα υπο ο ίζοντας την διάσπαση SVD του X = UΣV T. όπου το X αρκεί να είναι το μητρώο το οποίο προκύπτει αν απο το αρ ικό μητρώο τ ν δεδομέν ν μας αφαιρέσουμε την απο κά ε στή η την μέση τιμή της.οι στή ες του V αποτε ούν ιδιοδιανύσματα του X T X. Έτσι ια την μετατροπή ενός δεδομένου x R 1 k στην νέα αση διάστασης m κάνουμε απ ά τον πο /σμό xv [:, 1 : m] = x όπου και το x είναι η έκφραση του x στην νέα άση (To V [:, 1 : m] είναι το μητρώο το οποίο αποτε είται απο τις m πρώτες στή ες του V ). Η μέ οδος PCA αν και μπορεί να εφαρμοστεί σε π ή ος περιπτώσε ν δεν ενδύκνειται ια δεδομένα τα οποία προέρ ονται απο κείμενο. Μία κα ύτερη επι ο ή στην περίπτ ση αυτή είναι η μέ οδος LSA στην οποία και αναφερόμαστε στην συνέ εια Latent Semantic Analysis (LSA). Η μέ οδος LSA εφαρμόζεται αποκ ειστικά σε δεδομένα τα οποία προέρ ονται από κείμενα, αφού δη αδή μετατρέψουμε τα δεδομένα απο μορφή κειμένου σε διανυσματική μορφή ( έπε μέρος 6). Η LSA όπ ς και η PCA ρησιμοποιεί στην πράξη την διάσπαση SVD ια να εκφράσει τα δεδομένα σε μία νέα αση. Η μόνη διαφορά ς προς την εφαρμο ή της με όδου LSA απο την PCA είναι ότι εφαρμόζουμε την διάσπαση SVD απ' ευ είας στο μητρώο τ ν δεδομέν ν ρίς να αφαιρέσουμε απο κά ε στή η την μέση τιμή της. Η μέ οδος LSA δεν προσφέρεται μόνο ια την μεί ση της διάστασης τ ν δεδομέν ν. Με τα δεδομένα μας εκφρασμένα στην νέα άση μπορούμε να ρούμε συσ ετίσεις μεταξύ έξε ν, μεταξύ έξε ν και κειμέν ν και μεταξύ κειμέν ν έ οντας επίσης την δυνατότητα να "ανα ν ρίζουμε" συν νυμίες και πο υσημίες έξε ν. Στη συνέ εια δίνουμε ένα παράδει μα (το παράδει μα είναι απο [9]). Έ ουμε στην διά εση μας τους παρακάτ εννέα τίτ ους κειμέν ν. Οι πέντε πρώτοι αφορούν κείμενα σ ετικά με την α η επίδραση αν ρώπου με η εκτρονικό υπο ο ιστή ενώ τα υπό οιπα πέντε αφορούν κείμενα σ ετικά με την μα ηματική ε ρία ράφ ν. 41

46 a1: Human machine interface for computer applications. a2: A survey of user opinion of computer system responce time. a3: The EPS user interface management system. a4: System and human system engineering testing of EPS. a5: Relation of user preceived responce time to error measurement. b1: The generation of random, binary, ordered trees. b2: The intersection graph of paths in trees. b3: Graph minors IV: Widths of trees and well-quasi-ordering. b4: Graph minors: A survey. Οι παραπάν τίτ οι α μετατράπουν αρ ικά, σύμφ να με τα όσα περι ράψαμε στο μέρος 6, στα παρακάτ σύνο α έξε ν (δεν εφαρμόζουμε stemming και παρα είπονται κάποιες έξεις ια ό ους απ ότητας). a1: { human, interface, computer } a2: { survey, user, computer, system, responce, time} a3: { eps, user, interface,, system} a4: { system, human, eps } a5: { user, responce, time} 42

47 b1: { trees} b2: { graph, trees } b3: { graph, minors, trees } b4: { graph, minors, survey } Στη συνέ εια πέρνουμε το μητρώο X = έξεις τίτ οι όπου το στοι είο X[i, j] ισούται με το π ή ος τον φορών που εμφανίζεται η έξη i στον τίτ ο j. Φυσικά και α μπορούσαμε (και στην πράξη μά ον α ήταν κα ύτερο) να ρησιμοποιήσουμε tf-idf η κάποια ά η αναπαράσταση. a1 a2 a3 a4 a5 b1 b2 b3 b4 human interface computer user system responce time eps survey trees graph minors Έαν τώρα εφαρμόσουμε την διάσπαση SVD στο παραπάν μητρώο α έ ουμε, 43

48 U = Σ = V =

49 Έπειτα α ρησιμοποιήσουμε τα δύο πρώτα διανύσματα στή ες του μητρώου V ια να προ ά ουμε τα δεδομένα μας (το διάνυσμα κά ε έξης) στον ώρο που ορίζουν. Έτσι πο απ ασιάζουμε το αρ ικό μητρώο X με το V [:, 1 : 2] και παίρνουμε, X = κά ε ραμμή του μητρώου περιέ ει και τις νέες συντετα μένες της κά ε έξης στον semantic ώρο. Τα σημεία αυτά, κανονικοποιημένα, φαίνονται στην παρακάτ εικόνα. Σ ήμα 15: Οι προ ο ές τ ν έξε ν στον (δυσδιάστατο) semantic/concept ώρο. 45

50 Παρατηρήστε π ς η έξεις που σ ετίζονται με την ομάδα τ ν τίτ ν a ρίσκονται προς τα άν αριστερά, οι έξεις της ομάδας b κάτ δεξιά και η έξη survey που εμφανίστηκε σε τίτ ους και τ ν δύο ομάδ ν ρίσκεται (από άποψη νίας μεταξύ τ ν διανυσμάτ ν) περίπου στην μέση. Παρατηρήστε επίσης ια παράδει μα ότι, στις νέες συντετα μένες cs(human, user) = 0.89 ενώ στις αρ ικές cs(human, user) = 0 (όπου cs(t 1, t 2 ) η ομοιότητα συνημιτόνου τ ν t 1 και t 2 ). Φυσικά, μπορούμε να εξετάσουμε και συσ ετίσεις μεταξύ κειμέν ν. Το μόνο που έ ουμε να κάνουμε είναι να ρησιμοποιήσουμε με τον ίδιο τρόπο τα διανύσματα στή ες u i του μητρώου U και να προ ά ουμε τα διανύσματα τ ν τίτ ν στον ώρο που ορίζουν τα u i. Το παραπάν απ ό παράδει μα έ αια, δεν αντικατροπτίζει ό ο το πρίσμα τ ν δυνατοτήτ ν της με όδου LSA. H μέ οδος προσομοιώνει (μέσα σε ο ικά π αίσια) τον τρόπο που αποκτά νώση και ένας άν ρ πος ια το νόημα τ ν έξε ν και τις συσ ετίσεις μεταξύ τους [11]. Έ ει, όπ ς είπαμε την δυνατότητα να ανα ν ρίζει συν νυμίες και πο υσημίες ακόμα και μεταφορές. Επίσης ο ανα νώστης ίσ ς να έ ει ήδη παρατηρήσει ότι η μέ δος LSA α νοεί παντε ώς την όποια σειρά εμφανίσε ς τ ν έξε ν μέσα στο κείμενο κάτι που προφανώς περιορίζει τις δυνατότητες της με όδου. Τέ ος, πο ές φορές η LSA αναφέρεται και ς LSI (Latent Semantic Indexing). Πρόκειται ια την ίδια ακρι ώς μέ οδο απ ώς συνή ς αναφέρεται έτσι σε εφαρμο ές information retrieval Επι ο ή ν ρισμάτ ν (Feature selection). Οι προη ούμενες μέ οδοι μειώνουν την διάσταση τ ν δεδομέν ν μας με το να τα μετασ ηματίσουν προ ά οντας τα σε ένα νέο σύστημα μικρότερης διάστασης. Μία ά η επι ο ή που έ ουμε είναι να επι έξουμε με κάποιο τρόπο να αφαιρέσουμε κάποια απο τα ν ρίσματα [37]. Όπ ς αναφέραμε, πο ά απο τα ν ρίσματα μας μπορεί να αποτε ούν όρυ ο ή π εονάζουσμα π ηροφορία. Στη συνέ εια οιπόν, α αναφερ ούμε σύντομα σε τρείς με όδους ια την επι ο ή ν ρισμάτ ν. Συ νότητα εμφάνισης όρου. Ο πιό απ ός ίσ ς τρόπος είναι να επι έξουμε τα ν ρίσματα ανά ο α με την συ- νότητα με την οποία εμφανίζονται στα δεδομένα μας (σύνο ο εκπαίδευσης). Στην περίπτ ση μας δη αδή μπρούμε απ ά να αφαιρέσουμε όρους ο οποίοι εμφανίζονται πο ύ συ νά ή πο ύ σπάνια στα μηνύματα μας. Βέ αια η μέ οδος αυτή είναι αρκετά απ οϊκη και στην περίτπ ση μας μά ον δεν α εί ε και τα κα ύτερα αποτε έσματα. Οι δύο επόμενες μέ οδοι έ ουν ενικά κα ύτερα αποτε έσματα. 46

51 Κέρδος π ηροφορίας (Information gain). Στο κέρδος π ηροφορίας αναφερ ήκαμε ήδη στην παρά ραφο ια τα δένδρα απόφασης. Αυτό που ζητάμε τώρα είναι να εξετάσουμε την α ε αιότητα του κά ε όρου σε ότι αφορά το σε ποιά κ άση εμφανίζεται συ νότερα. Όρους ια τους οποίους η α ε- αιότητα μας είναι αμη ή μπορούμε να τους αφαιρέσουμε ενώ αντί ετα όροι ια τους οποίους είμαστε αρκετά έ αιοι ότι εμφανίζονται κυρί ς σε μία συ κεκριμένη κ άση α έ αμε να τους κρατήσουμε αφού α μας " οη ήσουν" στον δια ρισμό νέ ν δεδομέν ν. Παρακάτ δεί νουμε π ς μπορούμε να υπο ο ίσουμε το κέρδος π ηροφορίας ενός ν ρίσματος, υπο έτουμε ότι τα δεδομένα μας είναι δύο κ άσε ν. P (pos) = π ή ος ετικών δεδομέν ν / π ή ος δεδομέν ν P (neg) = π ή ος αρνητικών δεδομέν ν / π ή ος δεδομέν ν P pos (t) = π ή ος ετικών δεδομέν ν στα οποία εμφανίζεται το νώρισμα t / π ή ος ετικών δεδομέν ν P neg (t) = π ή ος αρνητικών δεδομέν ν στα οποία εμφανίζεται το νώρισμα t / π ή ος αρνητικών δεδομέν ν P (t) = π ή ος δεδομέν ν στα οποία εμφανίζεται το νώρισμα t / π ή ος δεδομέν ν IG(t) = H(P (pos), P (neg)) [P (t)h(p pos (t), P neg (t))+(1 P (t))h(1 P pos (t), 1 P neg (t))] όπου H(p1, p2) = p1log(p1) p2log(p2). 47

52 χ 2 Χί τετρά νο. Αυτός ο τρόπος επι ο ής ν ρισμάτ ν, όπ ς δη ώνει και το όνομα, ασίζεται στο στατιστικό τεστ χ 2. Όπ ς και αναφέρεται απο τους Yang και Pedersen [37], αυτό που έ ουμε να μετρήσουμε είναι η έ ειψη ανεξαρτησίας μεταξύ ενός ν ρίσματος t και τ ν δεδομέν ν που ανήκουν σε μία κ άση c. Υιο ετώντας τον συμ ο ισμό τ ν Yang και Pedersen, έ ουμε: N = π ή ος τ ν δεδομέν ν. Α = το π ή ος τ ν δεδομέν ν που ανήκουσ την κ άση c και στα οποία εμφανίζεται ο όρος t. Β = το π ή ος τ ν δεδομέν ν τα οποία δεν ανήκουν στην κ άση c και στα οποία εμφανίζεται ο όρος t. C = το π ή ος τ ν δεδομέν ν τα οποία ανήκουν στην κ άση c και στα οποία δεν εμφανίζεται ο όρος t. D = το π ή ος τ ν δεδομέν ν τα οποία δεν ανήκουν στην κ άση c και στα οποία δεν εμφανίζεται ο όρος t. χ 2 (t, c) = N(AD CB) 2 (A + C)(B + D)(A + B)(C + D) Με άση την παραπάν τιμή κρίνουμε το πόσο "κα ός" είναι το νώρισμα. Όσο με α ύτερη τιμή τόσο "κα ύτερος" ο όρος. Tέ ος στην ερ ασία [37] οι συ ραφείς αναφέρουν και ά ες δύο με όδους τις Mutual Infomation και Term Strength [36] α ά η απόδοση τους ήταν πο ύ αμη ότερη απο τ ν δύο προαναφερ έντ ν, Information Gain και Chi Square. 48

53 8 Με έ η ια την Αξι ό ηση της Κατη οριoποίησης. Αφού εκπαιδεύσουμε έναν κατη οριοποιητή το αμέσ ς επόμενο ερώτημα είναι το πόσο "κά ος" είναι αυτός ο κατη οριοποιητής. Έτσι, σε αυτό το μέρος της ερ ασίας παρουσιάζουμε κάποια με έ η και τε νικές [13] που ρησιμοποιούνται ια την αξιο ό- ηση ενός κατη οριοποιητή. Έστ οιπόν ότι δια έτουμε ένα σύνο ο δεδομέν ν εκπαίδευσης και π ς το πρό- ημα της κατη οριοποίησης που αντιμετ πίζουμε είναι πρό ημα δύο κ άσε ν, όπ ς στην περίπτ ση μας. Θα αναφερόμαστε στις δύο κ άσεις ώς " ετική" (P) και "αρνητική" (N). Αφού έ ουμε δύο κ άσεις και το αποτέ εσμα της κατη οριοποίησης ενός δεδομένου α είναι σ στό ή ά ος διακρίνουμε τις εξής τέσσερις περιπτώσεις. Πρα ματική κ άση Προ επόμενη κ άση P N P True positive. False positive. (TP). (FP) False True N negative. negative. (FN) (TN) TP: Το π ή ος τ ν δεδομέν ν τα οποία ταξινομή ηκαν σ στά ς ετικά. FP: Το π ή ος τ ν δεδομέν ν τα οποία ταξινομή ηκαν αν ασμένα ς ετικά. FN: Το π ή ος τ ν δεδομέν ν τα οποία ταξινομή ηκαν αν ασμένα ς αρνητικά. TN: Το π ή ος τ ν δεδομέν ν τα οποία ταξινομή ηκαν σ στά ς αρνητικά. Ίσ ς το πιό προφανές με έ ος το οποίο α xρησιμοποιούσαμε αρ ικά ια την αξιο- ό ηση του κατη οριοποιητή είναι η ακρί εια (accuracy). Δη αδή το ποσοστό τ ν συνο ικά σ στά ταξινομημέν ν δεδομέν ν. Accuracy = T P + T N T P + T N + F N + F P 49

54 Η ακρί εια όμ ς δεν αποτε εί πάντα ικανοποιητικό μέτρο ια την αξιο ό ηση του κατη οριοποιητή. Ά α με έ η τα οποία ρησιμοποιούμε είναι: TPR (True Positive Rate)= Hit Rate. FPR (False Positive Rate)= Precison= Specificity= T P. T P +F P T N = 1 F P R F P +T N F-measure= 2 1/P recision+1/t P R T P. Ονομάζεται επίσης ς Sensitivity, Recall και T P +F N F P. T N+F P Μία "τε νική" ια την αξι ό ηση α ά και την σύ κριση διαφορετικών ταξινομητών είναι τα ραφήματα ROC (Receiver Operating Characteristics)[13]. Τα ραφήματα ROC είναι δισδιάστατα ραφήματα όπου στον άξονα Χ αντιστοι εί το FPR και στον άξονα Υ το TPR. Ένα παραδεί μα δίνεται στο παρακάτ σ ήμα. Σ ήμα 16: Ένα απ ό παράδει μα τριών ταξινομητών στο ώρο ROC. Στο ράφημα ROC έπουμε τις έσεις τριών υπο ετικών ταξινομητών C1, C2 και C3. Αυτό που α έ αμε ια έναν ταξινομητή είναι να έ ει όσο το δυνατόν με α ύτερο True Positive Rate και όσο το δυνατόν μικρότερο False Positive Rate. Δη αδή η 50

55 ιδανική κατάσταση α ήταν να έ ουμε FPR=1 καί TPR=0. Αρ ικά παρατηρήστε τον ταξινομητή C2. Ο ταξινομητής αυτός ρίσκεται πάν στην διακεκομένη ευ εία, δη αδή την ευ εία y = x και συ κεριμένα στο σημείο (0.7,0.7). Αυτό μπορούμε να το ερμηνεύσουμε ς εξής. Ο ταξινομητής C2 μαντεύει στην τύ η, στο 70% τ ν περιπτώσε ν την κ άση τ ν ετικών και ώς αποτέ εσμα ναι μέν το TPR=70% α ά και το FPR=70%. Γενικά ένας κατη οριοποιητής ο οποίος στο ράφημα ROC ρίσκεται πάν στην ευ εία y=x ταξινομεί με τυ αίο τρόπο κάτι το οποίο δεν έ ουμε να συμ αίνει. Επίσης δε α έ αμε ο ταξινομητής μας να ρίσκεται στο κάτ μισό του ραφήματος, όπ ς ο C3, αφού αυτό σημαίνει π ς FPR>TPR. Βέ αια στην περίπτ ση αυτή, α μπορούσαμε να "αντιστρέψουμε" τον κατη οριοποιητή μας με αποτέ εσμα να " ρε εί" στο πάν μισό του ραφήματος ROC το οποίο είναι και το επι υμητό. Όταν έμε να "αντιστρέψουμε" τον κατη οριοποιητή απ ά εννοούμε ότι όταν ο αρ ικός μας κατη οριοποιτής ταξινομεί κάτι ς ετικό εμείς απ ά το ταξινομούμε τε ικώς ς αρνητικό. Την αντιστροφή ενός κατη- οριοποιητή δύο κ άσε ν μπορούμε να την εφαρμόσουμε και όταν η ακρί εια του είναι σημαντικά μικρότερη του 50%. Ένα ετικό στοι είο τ ν ραφημάτ ν ROC είναι ότι δεν επηρεάζονται απο τυ όν ανισορροπίες στο π ή ος τ ν ετικών και αρνητικών δεδομέν ν. Όταν οι τιμές τις οποίες επιστρέφει σαν έξοδο ένας δυαδικός κατη οριοποιητής, παίρνουν συνε είς τιμές, όπ ς ια παράδει μα στα τε νητά νευρ νικά δίκτυα ή στον αφε ή Μπευζιανό ταξινομητή τότε, ια να αποφασίσουμε σε ποιά κ άση α ταξινομήσουμε το δεδομένο έτουμε ένα κατώφ ι πάν (η κάτ ) απο το οποίο ταξινομούμε το παράδει μα ς ετικό ενώ κάτ (ή πάν ) απο αυτό το ταξινομούμε ς αρνητικό. Για παράδει μα στην περίπτ ση του αφε ούς Μπεϋζιανού ταξινομητή η τιμή που ε έ ουμε είναι η πι- ανότητα το παράδει μα μας να είναι ετικό και ο ικά επι έ ουμε ς κατώφ ι το 1. 2 Στις περιπτώσεις οιπόν που ο ταξινομητής μας είναι συνε ής μπορούμε ια την αξιο- ό ηση του να ρησιμοποιήσουμε τις ε όμενες καμπύ ες ROC. Όπ ς και πρίν στον άξονα αντιστοι εί το FPR και στον άξονα το TPR όμ ς τώρα ια κά ε ταξινομητή κατασκευάζουμε μία καμπύ η μετα ά οντας το κατώφ ι απο 0 έ ς 1 ( ε ρούμε π ς το διάστημα τ ν τιμών έξόδου έ ει κανονικοποιη εί). Ως κριτήριο ια την αξιο ό ηση μπορούμε να ά ουμε το εμ αδόν κάτ απο την καμπύ η ROC, όσο με α ύτερο τόσο κα ύτερος ο ταξινομητής. 51

56 Σ ήμα 17: Ένα υπο ετικό παράδει μα καμπύ ν ROC δύο ταξινομητών. Επίσης μπορούμε να κατασκευάσουμε και καμπύ ες στο ώρο Precision-TPR όμ ς τα αποτε έσματα σε αυτήν την περίπτ ση επηρεάζονται απο τυ όν ανισορροπίες στο π ή ος τ ν δύο κ άσε ν. Ένα πρό ημα το οποίο μπορεί να προκύψει κατά την διαδικασία της εκπαίδευσης είναι το ε όμενο υπερταίριασμα. Υπερταίριασμα έ ουμε όταν ο κατη οριοποιτής μας αποδίδει πο ύ κα ά στα δεδομένα εκπαίδευσης α ά ό ι κα ά σε νέα δεδομένα. Έτσι ια να αποκτήσουμε κάποια εικόνα του πόσο κα ά αποδίδει ένας κατη οριοποιητής προτού ρησιμοποιήσουμε ό α τα δεδομένα που έ ουμε στην διά εση μας ια την εκπαίδευση του μπορούμε να ρησιμοποιήσουμε ένα μόνο μέρος τ ν δεδομέν ν ια εκπαίδευση και το υπό οιπο ια αξιο ο ό ηση. Αυτή η "τακτική" ονομάζεται hold-out. Κάτι κα ύτερο το οποίο μπορούμε να κάνουμε είναι η διασταυρ μένη επικύρ ση (cross-validation). Στην διασταυρ μένη επικύρ ση ρίζουμε το σύνο ο τ ν δεδομέν ν μας σε k μέρη και κά ε φορά κρατάμε το ένα μέρος απο τα k ια αξι ό ηση και ρησιμοποιούμε τα υπό- οιπα k-1 ια την εκπαίδευση. Έτσι έ ουμε συνο ικά k διαφορετικές αξι ο ήσεις και αν, ια παράδει μα, μετράμε κά ε φορά την ακρί εια του ταξινομητή, ς τε ική ακρί εια παίρνουμε την μέση τιμή τ ν k ακρι ειών. 52

57 9 Συ ο ικές Μέ οδοι (Ensemble methods). Όπ ς είδαμε απο την παρουσίαση με όδ ν κατη οριοποίησης, στο μέρος 5, κά ε μέ- οδος δια έτει κα ά και κακά αρακτηριστικά. Αν και μία μέ οδος μπορεί να αποδίδει, σε ενικά π αίσια, κα ύτερα απο μία ά η ( ια παράδει μα τα SVM's) καμία μέ οδος δεν αποτε εί "πανάκεια". Δη αδή δεν υπάρ ει κάποια μέ οδος η οποία να αποδίδει κα ύτερα απο οποιαδήποτε ά η σε ό ες τις περιπτώσεις. Εύ ο α όμ ς μπορεί να αναρ τη εί κανείς αν ο συνδυασμός διαφόρ ν ταξινομητών μπορεί να δώσει κα ύτερα αποτε έσματα απ' ότι η ρήση ενός. Ως συνδυασμό δεν εννούμε μόνο τ ν συνδυασμό ταξινομιτών διαφορετικών με όδ ν, π.. συνδυασμός SVM με knn [1], α ά και συνδυασμό ταξινομιτών της ίδιας με όδου οι οποίοι έ ουν ο κα ένας εκπαιδευτεί σε κάποια παρα α ή του αρ ικού συνό ου εκπαίδευσης. Στη συνέ εια οιπόν κάνουμε αναφορά στις δύο δημοφι έστερες ίσ ς συ ο ικές με όδους, την μέ οδο Bagging και την μέ οδο Boosting [4, 28, 19]. Bagging. Έστ ότι δια έτουμε ένα σύνο ο εκπαίδευσης D με n δεδομένα. Επι έ ουμε, με ίση πι ανότητα, n τυ αία δεδομένα απο το D με επανατοπο έτηση. Δη αδή δημιουρ ούμε ένα σύνο ο ίσου με έ ους με το αρ ικό α ά το οποίο α περιέ ει κάποια δεδομένα του D περισσότερες από μία φορές και (κατά συνέπεια) κάποια ά α κα ό ου. Αυτήν την διαδικασία την επανα αμ άνουμε ια T φορές. Έπειτα εκπαιδεύουμε τον ταξινομητή μας σε κά ε ένα απο τα T σύνο α. Δημιουρ ώντας έτσι, στην ουσία, T διφορετικούς ταξινομητές. Όταν έ ουμε να ταξινομήσουμε ένα νέο δεδομένο, το ταξινομούμε αρ ικά ρησιμοποιώντας τα T μοντέ α και στο τέ ος επι έ ουμε να το ταξινομήσουμε στην κ άση η οποία επι έ ηκε απο την π ειοψηφία τ ν ταξινομητών. 53

58 Σ ήμα 18: Διά ραμμα περι ραφής της διαδικασίας bagging Boosting. Στην μέ οδο Boosting ξεκινάμε εκπαιδεύοντας τον ταξινομητή μας στο αρ ικό σύνο ο δεδομέν ν. Έπειτα ανά ο α με το αποτέ εσμα της εκπαίδευσης δίνουμε άρη σε κά ε δεδομένο. Τα άρη αυξάνονται στα δεδομένα που κατη οριοποιή ηκαν ά ος και μειώνονται σε αυτά που κατη οριοποιή ηκαν σ στά. Στη συνέ εια εκπαιδεύουμε τον ταξινομητή στα νέα, ε αρημένα δεδομένα, προσαρμόζουμε τα άρη ανά ο α με τα αποτε έσματα της κατη οριοποίσης και επανα αμ άνουμε την διαδικασία ια έναν αρι μό φορών. Κατα ή ουμε έτσι και πά ι με ένα π ή ος ταξινομητών. Η ιδέα είναι οτι ο κά ε ταξινομητής α "δώσει περισσότερη προσο ή" σε δεδομένα στα οποία ο προη ούμενος δεν απέδ σε σ στά. Για την ταξινόμηση ενός νέου δεδομένου αμ άνουμε τον μέσο όρο τ ν ε αρημέν ν αποτε έσματών τ ν ταξινομητών όπου τα άρη είναι ανά ο α της ακρί ειας του κά ε ταξινομητή. 54

59 Σ ήμα 19: Διά ραμμα περι ραφής της διαδικασίας boosting H μέ οδος Boosting έ ει κα ύτερα αποτε έσματα απο την μέ οδο Bagging όταν τα δεδομένα μας δεν περιέ ουν όρυ ο ενώ σε αντί ετη περίπτ ση η μέ οδος Bagging αποδίδει κα ύτερα. H μέ οδος bagging ια να έ ει κα ά αποτε έσματα ρειάζεται ο ταξινομητής που α ρησιμοποιήσουμε να συμπεριφέρεται αρκετά διαφορετικά στα δεδομένα που δημιουρ ούνται με δει ματο ηψία. Ταξινομητές όπ ς ια παράδει μα ο knn που δέν εμφανίζουν τέτοια συμπεριφορά δεν ενδείκνυντε ια εφαρμο ή bagging. Τε ός, μπορούμε επίσης να συνδιάσουμε bagging και boosting [19]. 55

60 10 Αποτε έσματα. Σε αυτό το μέρος α παρουσιάσουμε τα αποτε έσματα απο την εκπαίδευση τ ν ταξινομητών και α κατα ήξουμε κρίνοντας ποιός αποδίδει κα ύτερα στο πρό ημα που αντιμετ πίζουμε. Τα δεδομένα μας αποτε ούνται απο 159 ετικά και 157 αρνητικά μηνύματα. Σε ό α τα αποτε έσματα που ακο ου ούν ρησιμοποιή ηκε 5-fold cross validation. Επίσης επειδή κά ε φορά που πρα ματοποιείται η διδαδικασία cross validation ια κάποιες τιμές τ ν παραμέτρ ν του εκάστοτε ταξινομητή, το σύνο ο εκπαίδευσης ρίζεται τυ αία σε 5-folds. Που σημαίνει ότι αν επανα ά ουμε το cross validation ια τις ίδες τιμές τ ν παραμέτρ ν (και ια τον ίδιο αρι μό folds) δεν α πάρουμε ς αποτέ εσμα τις ίδες ακρι ώς τιμές ια τα με έ η accuracy, precision, recall κτ. Για αυτόν τον ό ο ια κά ε συνδυασμό παραμέτρ ν πρα ματοποιούμε το cross validation ια μερικές φορές και αμ άνουμε τον μέσο όρο τ ν αποτε εσμάτ ν ώστε να έ ουμε μια πιό ακρι ή "εικόνα". Δη αδή κά ε ράφημα το οποίο παρουσιάζεται στα παρακάτ αποτε έσματα (και στο παράρτημα) είναι στην πρα ματικότητα ο μέσος όρος ενός αρι μού απο αντίστοι α ραφήματα. Τέ ος ό ες οι τιμές που δίνονται είναι στρο υ οποιημένες σε δύο δεκαδικά ψηφία Αποτε έσματα απο την εκπαίδευση του knn. Για την εφαρμο ή του α ορί μου knn η μόνη παράμετρος που πρέπει να κα ορίσουμε είναι το k κα ώς επίσης και το ποιό μέτρο απόστασης α ρησιμοποιήσουμε. Οι μετρικές που δοκιμάστικαν (αυτές που προσφέρει το πακέτο pattern) είναι H Eυκ είδια μετρική d 1 d 2 2 = Σ n i=1 (d(i) 1 d (i) 2 ) 2 H μετρική manhattan d 1 d 2 1 = Σ n i=1 d (i) 1 d (i) 2 H ομοιότητα συνημιτόνου cs(d 1, d 2 ) = d 1 d 2 d 1 2 d 2 2 και όπ ς ήταν μά ον αναμενόμενο η ρήση της Ευκ είδιας και της manhattan μετρικής εί ε είριστα αποτε έσματα οπότε και ρησιμοποιή ηκε η ομοιότητα συνημιτόνου. Τα αποτε έσματα (με την ρήση της ομοιότητας συνημιτόνου) φαίνονται στην εικόνα που ακο ου εί. 56

61 Σ ήμα 20: Αποτε έσματα (πο απ ών) 5-fold cross validation ια διάφορες τιμές της παραμέτρου k. Βάση τ ν αποτε εσμάτ ν, η κα ύτερη επι ο ή ια την τιμή της παραμέτρου k είναι η k=6. Aν και η επι ο ή ενός άρτιου k έ ει το πρό ημα ότι μπορεί να υπάρξει "ισοψηφία" με αποτέ εσμα να μην μπορέσουμε να ταξινομήσουμε το αντίστοι ο δεδομένο αυτό που μπορούμε να κάνουμε είναι να επι έ ουμε αρ ικά να κάνουμε ταξινόμιση με k=6 και σε περίπτ ση "ισοψηφίας" να ρησιμοποιήσουμε την περιττή τιμή του k η οποία σύμφ να με τα αποτε έσματα έ ει την κα ύτερη επίδοση ανάμεσα σε ό ες τις περιττές τιμές. Δη αδή στην περιπτ σή μας k=3. Στον παρακάτ πίνακα δίνονται οι τιμές τ ν accuracy, precision, recall και F-measure (το τε ευταίο είναι ο αρμονικός μέσος τ ν precision και recall) ια k=3 και k=6. 57

62 knn k=3 k=6 Accuracy 71% 72% Precision 74% 74% Recall 66% 68% F-measure 70% 71% Πίνακας 2: Aποτε έσματα της απόδοσης (πο απ ών 5-fold cross validations) του knn ια k=3 και k=6. Τα παραπάν αποτε έσματα ια τον knn προκύπτουν με την ρήση tf-idf αναπαράστασης. Δοκιμάστηκε και δυαδική αναπαράσταση α ά δεν εί ε κα ό ου κα ά αποτε- έσματα Αποτε έσματα απο την εκπαίδευση του SVM. Σε αντί εση με τον knn, στον SVM κατη οριοποιητή αν και με ρήση tf-idf αναπαράστασης οι τιμές ια τα με έ η Accuracy, Precision και Recall ήταν ενικά οι κα ύτερες (μέ ρι 73% ακρί εια) στην πράξη ο κατη οριοποιητήε ταξινομούσε σ εδόν τε εί ς αν ασμένα νέα tweets. Η απόδοση του svm ταξινομητή ήταν πο ύ κα ύτερη (σε νέα δεδομένα/tweets) με δυαδική αναπαράσταση. Οι τιμές τ ν παραμέτρ ν που α πρέπει να προσδιορίσουμε ια την εκπαίδευση του SVM ποικί ουν ανά ο α με την συνάρτηση πυρήνα που εφαρμόζουμε. Υπεν υμίζουμε τις (δημοφι ής) συναρτήσεις πυρήνα, τις οποίες και δοκιμάσαμε. Γραμμική: K(x, y) = x T y Ακτινικής Βάσης: K(x, y) = e γ x y 2 Πο υ νυμική: K(x, y) = (γx T y c) d Σι μοϊδής: K(x, y) = tanh(γxy c) Έτσι, οι τιμές οι οποίες α πρέπει συνο ικά να προσδιορίσουμε κά ε φορά είναι όσες οι παράμετροι της συνάρτησης πυρήνα και επιπ έον η τιμή της στα εράς C η οποία ρίσκεται στο πρό ημα ε τιστοποίησης το οποίο κα ούμαστε να ύσουμε ια τον προσδιορισμό του έ τιστου υπερεπιπέδου. maximize λ i 1 λ i λ j x T i x j 2 i i,j 58

63 s.t. λ i y i = 0 i 0 λ i C Τα αποτε έσματα της αναζήτησης ια κά ε συνάρτηση πυρήνα φαίνονται στις εικόνες που ακο ου ούν, ενώ οι κα ύτερες τιμές ακρί ειας οι οποίες επιτεύ ηκαν ια κά ε συνάρτηση πυρήνα δίνονται στον πίνακα που ακο ου εί αμέσ ς μετά τις εικόνες (με log_2 συμ ο ίζουμε τον ο αρι μό με άση το 2). Εκτός απο τη περίπτ ση της ραμμικής συνάρτησης πυρήνα, όπου και η μόνη παράμετρος είναι το C, οι υπό οιπες εικόνες δείν- ουν την ακρί εια που επιτυ άνεται κάνοντας αναζήτηση στο ώρο παραμέτρ ν C γ. Στις περιπτώσεις της πο υ νυμικής και σι μοϊδούς συνάρτησης οι τιμές τ ν υπο οίπ ν παραμέτρ ν δίνονται στην περι ραφή του κά ε ραφήματος. Σ ετικές εικόνες από τα αποτε έσματα του svm με ρήση tf-idf αναπαράστασης δίνονται στο παράρτημα. Σ ήμα 21: Aκρί εια με την ρήση ραμμικής συνάρτησης πυρήνα ια διάφορες τιμές της παραμέτρου C. Σ ήμα 22: Aκρί εια με την ρήση συνάρτησης πυρήνα ακτινικής άσης στο ώρο τ ν παραμέτρ ν C γ. 59