ΔΘΝΙΚΗ ΥΟΛΗ ΓΗΜΟΙΑ ΓΙΟΙΚΗΗ K ΔΚΠΑΙΓΔΤΣΙΚΗ ΔΙΡΑ

Transcript

1 Δ ΔΘΝΙΚΗ ΥΟΛΗ ΓΗΜΟΙΑ ΓΙΟΙΚΗΗ K ΔΚΠΑΙΓΔΤΣΙΚΗ ΔΙΡΑ ΣΜΗΜΑ ΓΙΑΥΔΙΡΙΗ ΠΛΗΡΟΦΟΡΙΑΚΩΝ ΤΣΗΜΑΣΩΝ ΣΔΛΙΚΗ ΔΡΓΑΙΑ Θέκα: Δμφξπμε γλψκεο θαη αλάιπζε ζπλαηζζήκαηνο ησλ πνιηηψλ ζηα πιαίζηα ηεο Αλνηθηήο Γηαθπβέξλεζεο κε ρξήζε κεζφδσλ Μεραληθήο Μάζεζεο θαη Γισζζηθήο Σερλνινγίαο Δπηβιέπσλ: Ηρακλής Βαρλάμης πνπδαζηήο: Νίθνο Γίθαξνο ΑΘΗΝΑ

2 Πεξίιεςε H παξνχζα εξγαζία πξαγκαηεχεηαη ην πξφβιεκα ηεο απηφκαηεο θαηεγνξηνπνίεζεο θεηκέλσλ κε βάζε ηελ άπνςε πνπ εθθέξνπλ, θάηη πνπ απνηειεί ην αληηθείκελν ηεο εμφξπμεο γλψκεο θαη ηεο αλάιπζεο ζπλαηζζήκαηνο (Opinion Mining & Sentiment Analysis). πγθεθξηκέλα επηρεηξείηαη λα εθαξκνζηνχλ νη κεζνδνινγίεο ησλ δχν απηψλ θιάδσλ επί ελφο δείγκαηνο ζρνιίσλ πνπ έρνπλ αλαξηεζεί ζηνλ δηθηπαθφ ηφπν πξνθεηκέλνπ λα γίλεη κηα πξψηε απφπεηξα ζθπγκνκέηξεζεο ηεο θνηλήο γλψκεο κε ηε ρξήζε ελφο απηφκαηνπ θαηεγνξηνπνηεηή θεηκέλσλ. Γηα ηελ πξαγκαηνπνίεζε ηνπ ζηφρνπ γίλεηαη ρξήζε ηερληθψλ γισζζηθήο ηερλνινγίαο φπσο είλαη ε απνθνπή ηνπ ζέκαηνο ησλ ιέμεσλ (stemming) θαη αθαίξεζε ιίζηαο stopwords απφ ηα αξρηθά θείκελα φζν θαη ηερληθψλ ηεο κεραληθήο κάζεζεο θαη ζπγθεθξηκέλα ηεο επηβιεπφκελεο. Δπηιέρζεθε ε ρξήζε ηξηψλ αιγνξίζκσλ επηβιεπφκελεο κάζεζεο πνπ έρεη απνδεηρζεί φηη εκθαλίδνπλ αξθεηά θαιά απνηειέζκαηα ζηελ θαηεγνξηνπνίεζε θεηκέλνπ. Σνπ Naïve Bayes ησλ Μεραλώλ Γηαλπζκάησλ Τπνζηήξημεο (Support Vector Machines) θαη ηνπ ΚΝΝ. Η απφδνζε ησλ αιγνξίζκσλ ειέγρζεθε φζνλ αθνξά ηελ θαηεγνξηνπνίεζε ησλ ζρνιίσλ ζε 3 θιάζεηο (ζεηηθά, αξλεηηθά θαη νπδέηεξα) φζν θαη ζε 2 θιάζεηο (ζεηηθά θαη αξλεηηθά). Δπηρεηξήζεθε ε θαηεγνξηνπνίεζε ησλ θεηκέλσλ κε ρξήζε ηνπ ηδίνπ δείγκαηνο σο ζχλνιν δεδνκέλσλ εθπαίδεπζεο θαη δεδνκέλσλ ειέγρνπ ηαπηφρξνλα, θάλνληαο ρξήζε ηεο ηερληθήο N- fold cross validation θαζψο θαη ε ρξήζε μερσξηζηνχ ζπλφινπ δεδνκέλσλ εθπαίδεπζεο κε ηε ρξήζε εηδηθψλ θξάζεσλ πνπ απνκνλψζεθαλ θαη θέξνπλ έληνλν ελλνηνινγηθφ πξνζαλαηνιηζκφ. Με βάζε ην ζχλνιν απηφ έγηλε εθπαίδεπζε θαη δεκηνπξγία ηνπ κνληέινπ, ελψ ν έιεγρνο έγηλε πάλσ ζην δείγκα νιφθιεξσλ ησλ ζρνιίσλ. Γνθηκάζηεθε επίζεο ε ηερληθή ηνπ ζαθηδίνπ ιέμεσλ (bag of words) πνπ πεξηιακβάλεη ηελ επηινγή ζπγθεθξηκέλσλ ιέμεσλ απφ ηνλ εξεπλεηή (ή θάπνηνπ άιινπ αηφκνπ) νη νπνίεο θέξνπλ απφ κφλεο ηνπο έληνλν ελλνηνινγηθφ πξνζαλαηνιηζκφ θαη εθπαίδεπζε θαη έιεγρν ηνπ δείγκαηνο κε βάζε απηέο. Σέινο επηρεηξήζεθε ε ζπλδπαζκέλε ρξήζε ηαμηλνκεηψλ ζε έλαλ κεηαηαμηλνκεηή (ensemble of classifiers) γηα ηελ επίηεπμε θαιχηεξσλ απνηειεζκάησλ. Γηα θάζε κία απ ηηο δνθηκέο απηέο ρξεζηκνπνηήζηθαλ δηάθνξεο πεηξακαηηθέο δηαηάμεηο κε ζθνπφ ηελ εχξεζε ησλ θαιχηεξσλ παξακέηξσλ ησλ αιγνξίζκσλ θαζψο θαη ηνπ πιήζνπο ησλ ιέμεσλ πνπ ρξεζηκνπνηνχληαη ζαλ ιεμηθφ εθπαίδεπζεο (attributes). 2

3 Με ην ηέινο ησλ πεηξακάησλ πξνηείλνληαη αθελφο ε δεκηνπξγία νινθιεξσκέλεο εθαξκνγήο πνπ ζα εθαξκφδεη ηα βέιηηζηα κνληέια πνπ πξνέθπςαλ, ζην ζχλνιν ησλ αλαξηεκέλσλ ζρνιίσλ ζηνλ δηθηπαθφ ηφπν ηνπ opengov θαζψο θαη θάπνηεο κεζνδνινγίεο γισζζηθήο ηερλνινγίαο πνπ κπνξνχλ λα ρξεζηκνπνηεζνχλ κειινληηθά γηα ηε βειηίσζε ησλ απνηειεζκάησλ. Λέμεηο θιεηδηά: εμφξπμε γλψκεο, αλάιπζε ζπλαηζζήκαηνο, κεραληθή κάζεζε, απηφκαηε θαηεγνξηνπνίεζε θεηκέλνπ, ελλνηνινγηθφο πξνζαλαηνιηζκφο Abstract This dissertation addresses the problem of automatic text categorization based on the view that is expressed, which is the main object of opinion mining and sentiment analysis. It was attempted to apply those methodologies on a sample of comments which have been posted on the website as a first attempt to gauge public opinion by using an automatic text classifier. In order to achieve the goal it was necessary to use both language technology techniques as stemming and stopwords removal as well as techniques of machine learning and more specifically supervised learning. Three supervised learning algorithms were chosen to work with, which have been shown to produce quite good results in text categorization. Naïve Bayes, Support Vector Machines (SVM) and KNN. Their performance was tested on the classification of comments into three classes (positive, negative and neutral) as well as into two classes (positive and negative). First it was attempted to classify texts using the same sample as training set and test set simultaneously using the technique of N-fold cross validation. Then a separate dataset was used for the training. This dataset contained a set of phrases chosen specifically in order to bear a strong semantic orientation. This set was trained and the produced model was used to predict the class of the whole sample of comments. The bag of words technique was also tested. According to this technique the researcher, or some other human chooses the set of words that will be used as training attributes. Usually those words bare strong semantic orientation.. Finally we tried the combined use of classifiers in a metaclassifier (ensemble of classifiers) in order to achieve better results. For each one of all those cases we tried various experimental techniques in order to find the best 3

4 parameters of the algorithms as well as the number of attributes that give the best results. By the end of the experiments the creation of an integrated application that will implement the best produced models is proposed aiming at the classification of the whole of opinions that are posted in the specific website. Some language engineering methodologies are also proposed in order to improve the results of greek text categorization in future studies. Keywords: opinion mining, sentiment analysis, machine learning, automatic text categorization, semantic orientation 4

5 Εσταριστίες Αιζθάνομαι ηην ςποσπέυζη να εςσαπιζηήζυ θεπμά ηον επιβλέπονηα καθηγηηή μος Ηπακλή Βαπλάμη, λέκηοπα ηος Φαποκόπειος Πανεπιζηημίος Αθηνών ηόζο για ηην ανάθεζη ηος θέμαηορ όζο και για ηην ζςνεσή ςποζηήπιξή ηος καθ όλη ηη διάπκεια εκπόνηζηρ αςηήρ ηηρ επγαζίαρ καθώρ και ηην Υπεύθςνη ηος Τμήμαηορ Γιασείπιζηρ Πληποθοπιακών Σςζηημάηυν Αναζηαζία Παπαζηςλιανού για ηην όλη εναζσόληζή ηηρ ηόζο καηά ηην πεπίοδο εκπόνηζηρ ηηρ επγαζίαρ όζο και καηά ηη ζςνολική διάπκεια ηηρ θοίηηζηρ μος ζηην Δθνική Σσολή Γημόζιαρ Γιοίκηζηρ 5

6 ΠΙΝΑΚΑ ΠΔΡΙΔΥΟΜΔΝΩΝ ΔΙΑΓΩΓΗ ΓΔΝΙΚΑ ΚΟΠΟ ΣΗ ΔΡΓΑΙΑ ΓΙΑΡΘΡΧΗ ΣΗ ΔΡΓΑΙΑ ΒΙΒΛΙΟΓΡΑΦΙΚΗ ΔΠΙΚΟΠΗΗ ΓΔΝΙΚΑ ΑΤΣΟΜΑΣΗ ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΚΔΙΜΔΝΟΤ ΙΓΙΑΙΣΔΡΟΣΗΣΔ ΣΗΝ ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΔΛΛΗΝΙΚΧΝ ΚΔΙΜΔΝΧΝ ΔΞΟΡΤΞΗ ΓΝΧΜΗ ΑΝΑΛΤΗ ΤΝΑΙΘΗΜΑΣΟ ΜΔΛΔΣΔ ΠΑΝΧ ΣΗΝ ΑΝΑΛΤΗ ΤΝΑΙΘΗΜΑΣΟ Δ ΔΠΙΠΔΓΟ ΔΓΓΡΑΦΟΤ ΑΛΓΟΡΙΘΜΟΙ ΜΗΥΑΝΙΚΗ ΜΑΘΗΗ ΤΜΠΔΡΑΜΑΣΑ ΜΔΘΟΓΟΛΟΓΙΑ-ΑΠΟΣΔΛΔΜΑΣΑ ΓΔΝΙΚΑ ΤΛΛΟΓΗ ΣΧΝ ΚΔΙΜΔΝΧΝ ΠΡΟΔΠΔΞΔΡΓΑΙΑ ΣΧΝ ΚΔΙΜΔΝΧΝ ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΣΧΝ ΚΔΙΜΔΝΧΝ ΜΔΛΛΟΝΣΙΚΔ ΚΑΣΔΤΘΤΝΔΙ-ΤΜΠΔΡΑΜΑΣΑ ΑΝΑΦΟΡΔ ΠΙΝΑΚΑ ΔΙΚΟΝΩΝ Δηθφλα 1: Γηαρσξηζκφο γξακκηθά δηαρσξίζηκσλ θιάζεσλ κε ρξήζε δηαλπζκάησλ ππνζηήξημεο Δηθφλα 2: Δπίιπζε κε γξακκηθνχ πξνβιήκαηνο κε ρξήζε ζπλάξηεζεο Γθανπζηαλνχ (RBF) ππξήλα (πεγή: Steve R. Gunn 1998) Δηθφλα 3: Γηαδηθαζία εμφξπμεο γλψκεο απφ θείκελα Δηθφλα 4: ρφιην φπσο θαίλεηαη αλαξηεκέλν ζην δηθηπαθφ ηφπν 42 Δηθφλα 5: Απνζεθεπκέλα ζρφιηα ζε δηαθνξεηηθά αξρεία θαη θαθέινπο Δηθφλα 6: Μνξθή ηνπ ζρνιίνπ ζε αξρείν θεηκέλνπ Δηθφλα 7: Αξρείν πνπ παξάγεηαη απ' ηελ θιάζε TextDirectoryLoader Δηθφλα 8: Αξρείν πνπ παξάγεηαη απ' ηελ TextDirectoryLoader κε ρξήζε stemming θαη stopword removal Δηθφλα 9:Γηαλπζκαηηθή αλαπαξάζηαζε ησλ θεηκέλσλ Δηθφλα 10: Καξηέια preprocess ηνπ ινγηζκηθνχ Weka Δηθφλα 11: Καξηέια Classify ηνπ Weka Δηθφλα 12: Γξαθηθή παξάζηαζε απνηειεζκάησλ Δηθφλα 13: Φίιηξν ππνθεηκεληθψλ πξνηάζεσλ γηα ηελ θαηεγνξηνπνίεζε θεηκέλσ κε βάζε ηελ άπνςε (Pang & Lee 2004) Δηθφλα 14: Μνξθή ησλ δηγξακκάησλ ηνπ Turney

7 Κεθάιαην 1 Δηζαγσγή 1 ΔΙΑΓΩΓΗ 1.1 ΓΕΝΙΚΑ Αληηθείκελν ηεο εμφξπμεο γλψζεο (opinion mining) θαη ηεο αλάιπζεο ζπλαηζζήκαηνο (sentiment analysis) είλαη ν εληνπηζκφο κέζα ζε έλα θείκελν ην νπνίν εθθξάδεη θάπνηα γλψκε γηα έλα ζέκα, ησλ ηκεκάησλ ηνπ θεηκέλνπ (ιέμεηο, θξάζεηο, παξάγξαθνη) πνπ αλαθέξνληαη ζε πηπρέο ηνπ ελ ιφγσ ζέκαηνο θαη ε εμαγσγή ζπκπεξαζκάησλ γηα ην αλ νη γλψκεο πνπ εθθέξνληαη είλαη ζεηηθέο αξλεηηθέο ή νπδέηεξεο. Αληηθείκελν κπνξεί λα είλαη επίζεο ε ζπλνιηθή θαηάηαμε ηνπ θεηκέλνπ σο εθθέξνλ αξλεηηθή ζεηηθή ή νπδέηεξε άπνςε, ή θάπνην ζπγθεθξηκέλν ζπλαίζζεκα, φπσο ιχπε, ζπκφ, ραξά, θ.ά. To αλ κία γλψκε εθθξάδεη ζεηηθή αξλεηηθή ή νπδέηεξε άπνςε, νλνκάδεηαη ζεκαζηνινγηθφο πξνζαλαηνιηζκφο (semantic orientation) ηεο γλψκεο απηήο. Ο θιάδνο ηεο εμφξπμεο γλψζεο αλαπηχρζεθε ζρεηηθά πξφζθαηα θαη ζεκαληηθή ψζεζε ζηελ αλάπηπμή ηνπ δηαδξακάηηζε ε ξαγδαία εμέιημε ηνπ δηαδηθηχνπ θαζψο κε απηφ ηνλ ηξφπν έγηλε δηαζέζηκνο έλαο κεγάινο φγθνο πιεξνθνξηψλ θαη γλσκψλ πνπ νη ίδηνη νη ρξήζηεο δεκηνχξγεζαλ (user generated content) θαη ν νπνίνο κπνξεί λα ρξεζηκνπνηεζεί γηα ζθνπνχο αμηνιφγεζεο θαη εμαγσγήο ζπκπεξαζκάησλ. Η πην θνηλή πξαθηηθή γηα έλαλ νξγαληζκφ, είηε απηφο πξφθεηηαη γηα εηαηξία είηε γηα θάπνηνλ θπβεξλεηηθφ νξγαληζκφ, φηαλ απηφο ζέιεη λα ζπιιέμεη θαη λα επεμεξγαζηεί ηε γλψκε ηνπ θνηλνχ, είλαη λα δηεμαγάγεη κηα δεκνζθνπηθνχ ηχπνπ έξεπλα θαη λα επεμεξγαζηεί ζηαηηζηηθά ηα απνηειέζκαηά ηεο. Παξ φια ε χπαξμε κηαο

8 Κεθάιαην 1 Δηζαγσγή απνηειεζκαηηθήο κεζφδνπ ή νπνία ζα κπνξεί λα θαηεγνξηνπνηεί θείκελα ρξεζηψλ ζην δηαδίθηπν αλάινγα κε ηελ άπνςε πνπ εθθέξνπλ ζα κπνξνχζε λα θαηαζηήζεη ηελ αλάγθε πξνζθπγήο ζε δεκνζθνπήζεηο/ζθπγκνκεηξήζεηο πνιχ πεξηνξηζκέλε βνεζψληαο έηζη ζηελ εμνηθνλφκεζε ρξφλνπ θαη ρξήκαηνο. Οη εθαξκνγέο ηνπ θιάδνπ κέρξη ζηηγκήο αθνξνχλ θπξίσο ηηο γλψκεο θαηαλαισηψλ γηα εκπνξηθά πξντφληα θαη ηελ πξνζπάζεηα εμαγσγήο ζπκπεξαζκάησλ γηα ηελ πνηφηεηα απηψλ θαζψο θαη ησλ επηκέξνπο ραξαθηεξηζηηθψλ ηνπο. Η ρξήζε φκσο ησλ εθαξκνγψλ απηψλ έρεη ηε δπλαηφηεηα λα γεληθεπζεί θαη λα πηνζεηεζεί απφ θάζε είδνπο νξγαληζκφ γηα ηνλ νπνίν ζα ήηαλ ρξήζηκν λα εμάγεη κε θάπνην ηξφπν πιεξνθνξία απφ ηηο γλψκεο ησλ ρξεζηψλ ηνπ δηαδηθηχνπ. Ήδε έρνπλ γίλεη πξνζπάζεηεο πξνο απηή ηελ θαηεχζπλζε απφ κειεηεηέο νη νπνίνη αζρνιήζεθαλ κε ηελ θαηεγνξηνπνίεζε ππνθεηκεληθψλ απφςεσλ πνιηηψλ ζηα πιαίζηα ηεο ειεθηξνληθήο δηαθπβέξλεζεο θαη ηεο ειεθηξνληθήο λνκνζέηεζεο (Erulemaking). Η ειιεληθή Γεκφζηα Γηνίθεζε δεκηνχξγεζε πξφζθαηα έλα θπβεξλεηηθφ δηθηπαθφ ηφπν δεκφζηαο δηαβνχιεπζεο ην ηε ζειίδα απηή ηα δηάθνξα ππνπξγεία κπνξνχλ λα ζέζνπλ ππφ δεκφζηα δηαβνχιεπζε πξνηεηλφκελα λνκνζρέδηα θαη πνιηηηθέο θαη ηα νπνία κπνξνχλ νη πνιίηεο λα ζρνιηάζνπλ. Δπίζεο ζηνλ δηθηπαθφ ηφπν νη πνιίηεο κπνξνχλ λα θαηαζέηνπλ ηηο πξνηάζεηο ηνπο γηα ελδερφκελεο λέεο ειεθηξνληθέο ππεξεζίεο πνπ κπνξνχλ λα βνεζήζνπλ ηε ιεηηνπξγία ηεο Γεκφζηαο Γηνίθεζεο θαη ηεο ειεθηξνληθήο δηαθπβέξλεζεο θαη νη νπνίεο επίζεο ηπγράλνπλ αμηνιφγεζεο ππφ κνξθήλ ειεπζέξνπ θεηκέλνπ. Δπεηδή φκσο ηα ζρφιηα είλαη πνιπάξηζκα θαη επεηδή ιφγσ ηνπ φηη είλαη γξακκέλα σο ειεχζεξν θείκελν δελ κπνξνχλ λα ηχρνπλ ζπζηεκαηηθήο επεμεξγαζίαο πξνθεηκέλνπ λα δηαπηζησζεί εάλ θέξνπλ ζεηηθέο ή αξλεηηθέο απφςεηο γηα ην ζέκα ζην νπνίν αλαθέξνληαη. Χο εθ ηνχηνπ, κία κέζνδνο θαηεγνξηνπνίεζεο ησλ ζρνιίσλ απηψλ αλάινγα κε ηελ άπνςή ηνπο ζα ήηαλ έλα ηδηαηηέξσο ρξήζηκν εξγαιείν ζηα ρέξηα ηεο Γεκφζηαο Γηνίθεζεο γηα ηε ζθπγκνκέηξεζε ηεο θνηλήο γλψκεο, γηα ηελ θαιχηεξε ελεκέξσζε ησλ πνιηηψλ θαη ελ ηέιεη γηα ηε δηακφξθσζε πνιηηηθήο, θάηη πνπ είλαη θαη ν απψηεξνο ζηφρνο ηεο αλνηθηήο δηαθπβέξλεζεο. 8

9 Κεθάιαην 1 Δηζαγσγή 1.2 ΚΟΠΟ ΣΗ ΕΡΓΑΙΑ θνπφο ηεο παξνχζαο εξγαζίαο είλαη λα ζρεδηάζεη θαη λα πινπνηήζεη έλα ζχζηεκα γηα ηελ θαηεγνξηνπνίεζε ησλ ζρνιίσλ ησλ πνιηηψλ ζηνλ δηαδηθηπαθφ ηφπν ζε ζεηηθά αξλεηηθά θαη νπδέηεξα. Σν ζχζηεκα βαζίδεηαη ζε ππάξρνπζεο κεζνδνινγίεο εμφξπμεο γλψκεο θαη ζπλαηζζήκαηνο θαη ρξεζηκνπνηεί δεκνθηιή εξγαιεία θαη κεζφδνπο εμφξπμεο γλψζεο απφ ηα δεδνκέλα ηα νπνία πξνζαξκφδεη ζηηο ηδηαηηεξφηεηεο ησλ ζρνιίσλ πνπ αλαξηνχλ νη πνιίηεο ζην ηα νπνία είλαη γξακκέλα ζηελ ειιεληθή γιψζζα θαη ην κέγεζφο ηνπο θπκαίλεηαη απφ 1-2 πξνηάζεηο κέρξη κεξηθέο παξαγξάθνπο. ηνλ ελ ιφγσ δηαδηθηπαθφ ηφπν ππάξρεη έλα αξθεηά κεγάιν πιήζνο ζρνιίσλ ησλ πνιηηψλ πνπ αθνξνχλ ηα ζέκαηα πνπ έρνπλ ηεζεί ζε δεκφζηα δηαβνχιεπζε απφ ην εθάζηνηε ππνπξγείν θαη ηα νπνία κπνξεί λα εθθξάδνπλ ζεηηθέο ή αξλεηηθέο γλψκεο ή αθφκα θαη λα είλαη απιψο γλψκεο κε νπδέηεξν ζεκαζηνινγηθφ πξνζαλαηνιηζκφ. Γελ ππάξρεη φκσο κέρξη ηψξα θάπνηα κέζνδνο πξνθεηκέλνπ λα γίλεη κία θαηεγνξηνπνίεζε ησλ ζηνηρείσλ απηψλ θάηη πνπ ζα απνηεινχζε εξγαιείν γηα ηε Γεκφζηα Γηνίθεζε φζνλ αθνξά ηε ζθπγκνκέηξεζε ηεο θνηλήο γλψκεο ζε επίθαηξα δεηήκαηα θαη σο εθ ηνχηνπ γηα ηε ράξαμε δεκφζηαο πνιηηηθήο. Η θαηεγνξηνπνίεζε ησλ ζρνιίσλ επηδηψθεηαη λα γίλεη κε ηε ρξήζε κεζφδσλ κεραληθήο κάζεζεο (machine learning) θαη ζπγθεθξηκέλα κε ηελ δεκηνπξγία ελφο ηαμηλνκεηή (classifier) ν νπνίνο ζα εθπαηδεχεηαη πάλσ ζε έλα δείγκα ζρνιίσλ ην νπνίν έρεη πξναμηνινγεζεί ρεηξσλαθηηθά ε ζσζηή θαηεγνξηνπνίεζε ηνπ νπνίνπ ζα απνηειέζεη θαη ηελ έλδεημε επηηπρίαο ηεο ηαμηλνκεηή. Δλ ηέιεη απψηεξνο ζηφρνο είλαη ε ρξήζε ηνπ εθπαηδεπκέλνπ θαηεγνξηνπνηεηή θαη ηεο παξαρζείζαο ζπλάξηεζεο εμφδνπ ζηα πιαίζηα κηαο νινθιεξσκέλεο εθαξκνγήο γηα απνηχπσζε ηεο εηθφλαο πνπ παξνπζηάδεη ην ζχλνιν ησλ ζρνιίσλ πνπ έρνπλ αλαξηεζεί ζηνλ ηζηνηφπν. 9

10 Κεθάιαην 1 Δηζαγσγή 1.3 ΔΙΑΡΘΡΩΗ ΣΗ ΕΡΓΑΙΑ Η εξγαζία δηαξζξψλεηαη ζηα αθφινπζα θεθάιαηα: ην θεθάιαην 2 γίλεηαη κία παξνπζίαζε ηεο θπξηφηεξεο ππάξρνπζαο βηβιηνγξαθηθήο έξεπλαο πάλσ ζην ζέκα, κε ηελ παξάζεζε ησλ θπξηφηεξσλ κεζφδσλ πνπ ρξεζηκνπνηήζεθαλ πξνθεηκέλνπ λα επηηεπρζνχλ αληίζηνηρεο ηαμηλνκήζεηο θεηκέλνπ. θαη γίλεηαη κηα παξνπζίαζε ησλ αιγνξίζκσλ πνπ επηιέρζεθαλ κε βάζε ηηο επηδφζεηο ηνπο ζην αληηθείκελν ηεο θαηεγνξηνπνίεζεο θεηκέλνπ. ην θεθάιαην 3 παξνπζηάδεηαη ε κεζνδνινγία θαη ηα εξγαιεία πνπ ρξεζηκνπνηήζεθαλ γηα ηελ εθαξκνγή ηεο θαηεγνξηνπνίεζεο θαζψο θαη ηα απνηειέζκαηα πνπ πξνέθπςαλ απ ηηο πεηξακαηηθέο κεηξήζεηο. Σέινο ζην θεθάιαην 4 γίλεηαη κία αλαθνξά ζε ελδερφκελεο κεζφδνπο γισζζηθήο ηερλνινγίαο πνπ κπνξνχλ λα ζπλεηζθέξνπλ ζηελ βειηίσζε ησλ ππαξρφλησλ απνηειεζκάησλ θαζψο θαη ηα ηειηθά ζπκπεξάζκαηα 10

11 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε 2 ΒΙΒΛΙΟΓΡΑΦΙΚΗ ΔΠΙΚΟΠΗΗ 2.1 ΓΕΝΙΚΑ Σα ηειεπηαία ρξφληα γίλεηαη έληνλε ζπδήηεζε γηα ηελ πξνψζεζε ηεο ειεθηξνληθήο δηαθπβέξλεζεο ζηα πιαίζηα ηεο Δ.Δ αιιά θαη παγθνζκίσο. Με ηνλ φξν ειεθηξνληθή δηαθπβέξλεζε ραξαθηεξίδεηαη γεληθά ε εηζαγσγή ησλ ηερλνινγηψλ πιεξνθνξηθήο θαη ππνινγηζηψλ ζηε δεκφζηα δηνίθεζε θαη νη λέεο δηνηθεηηθέο πξαθηηθέο ηηο νπνίεο νη ηερλνινγίεο απηέο εηζάγνπλ. Η ειεθηξνληθή δηαθπβέξλεζε εζηηάδεη ζηελ πξαθηηθή απνδνηηθφηεηα θαη ζηε κείσζε ηνπ θφζηνπο πνπ κπνξνχλ λα πξνέιζνπλ απφ ηε ρξήζε ησλ ηερλνινγηψλ απηψλ ζε αληηθαηάζηαζε ησλ θιαζηθψλ κεζφδσλ παξνρήο ππεξεζηψλ εθ κέξνπο ηεο δεκφζηαο δηνίθεζεο φπσο είλαη γηα παξάδεηγκα ε ειεθηξνληθή θαηάζεζε ηεο θνξνινγηθήο δήισζεο ηνπ πνιίηε (Halaris Verginiadis 2005). Σαπηφρξνλα ππάξρεη κία ηάζε αιιαγήο ηνπ κνληέινπ ηεο αληηπξνζσπεπηηθήο δεκνθξαηίαο φπσο απηή δηακνξθψλεηαη απ ηηο αξρέο ηνπ δηαθσηηζκνχ ηείλνληαο πξνο κία πην ζπκκεηνρηθή πξνζέγγηζε ζηελ νπνία πέξαλ ηνπ παξαδνζηαθνχ δίπνινπ Κξάηνο-Οηθνλνκία εκθαλίδεηαη θαη έλαο ηξίηνο πφινο, απηφο ηεο θνηλσλίαο ησλ πνιηηψλ ν νπνίνο θαιείηαη λα δηαδξακαηίζεη ζεκαληηθφ ξφιν ηφζν ζηε ιήςε ησλ πνιηηηθψλ απνθάζεσλ φζν θαη ζηελ παξνρή ππεξεζηψλ ηηο νπνίεο ην θξάηνο θαη ε αγνξά αδπλαηνχλ λα πξνζθέξνπλ ζε ηθαλνπνηεηηθφ επίπεδν. Η έιεπζε ζην πξνζθήλην ηεο έλλνηαο ηεο θνηλσλίαο ησλ πνιηηψλ ζπλδέεηαη άκεζα κε ηελ θξίζε ηνπ κνληέινπ ηεο παξαδνζηαθήο ζνζηαιδεκνθξαηίαο ε νπνία δελ απνδερφηαλ ην ξφιν ηεο θαζψο απέδηδε ηηο αξκνδηφηεηεο απηέο απνθιεηζηηθά ζην θξάηνο. εκαληηθή έθθαλζε ηεο θνηλσλίαο ησλ πνιηηψλ απνηεινχλ νη Με Κπβεξλεηηθέο Οξγαλψζεηο (ΜΚΟ). Η νξγαλσκέλε Κνηλσλία ησλ Πνιηηψλ είλαη δπλαηφλ ππφ πξνυπνζέζεηο λα: 11

12 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Δλδπλακψζεη ηε δεκνθξαηηθή λνκηκνπνίεζε, ζην πιαίζην ηεο ΔΔ, κέζσ ηεο δεκηνπξγίαο κφληκσλ ζπκκεηνρηθψλ δνκψλ θαη ηεο κείσζεο ησλ δνκηθψλ εκπνδίσλ ζπκκεηνρήο ησλ πνιηηψλ, Απνηειέζεη κέζν κείσζεο ησλ δνκηθψλ εκπνδίσλ ζπκκεηνρήο ησλ πνιηηψλ, κέζσ ηεο ελζάξξπλζεο ησλ δηαβνπιεχζεσλ /δεκφζησλ ζπδεηήζεσλ θαη, πλεηζθέξεη ζηελ ελδπλάκσζε ηεο επηξξνήο ζηε δηαδηθαζία ιήςεο- απνθάζεσλ κε απψηεξν ζηφρν ηε ζπλ- δηακφξθσζε ησλ απνθάζεσλ πνπ ιακβάλνληαη. (Βαζηιηθή- Βεξνλίθε Παπαησάλλνπ 2008) Η Λεπθή Βίβινο γηα ηελ Δπξσπατθή Γηαθπβέξλεζε αλέδεημε ηελ έλλνηα ηνπ δεκνθξαηηθνχ δηαιφγνπ, σο θνξπθαία ηδέα. Υξεζηκνπνηψληαο ην δεκφζην δηάινγν σο λέα κέζνδν ιεηηνπξγίαο, ε Δπξσπατθή Δπηηξνπή εηζήγαγε κηα ζεσξεηηθή, αιιά θαη κηα πξαθηηθή ζπδήηεζε (δηαβνχιεπζε), ε νπνία απνζθνπνχζε ζηελ ελεκέξσζε (θηλεηνπνίεζε) ησλ πνιηηψλ ζηελ ΔΔ. ηα πιαίζηα απηνχ ηνπ λένπ κνληέινπ θνηλσλίαο ζα πξέπεη λα εθεπξεζνχλ κία ζεηξά ζεζκνί θαη δηαδηθαζίεο κε ζθνπφ ηελ εμηζνξξφπεζε ηεο ζπλεηζθνξάο ησλ ηξηψλ κειψλ ηεο (θξάηνο-νηθνλνκία-θνηλσλία ησλ πνιηηψλ).οη ζεζκνί απηνί κπνξεί λα είλαη είηε επίζεκνη κε ηελ κεηαθχιηζε δεκφζηαο εμνπζίαο, είηε εκηεπίζεκνη ρσξίο δεκφζηα εμνπζία αιιά κε κεξηθή ξπζκηζηηθή ηθαλφηεηα (π.ρ θνξείο θνηλσληθνχ δηαιφγνπ), είηε ζπκβνπιεπηηθνί (ΜΚΟ), είηε άηππνη (θφξνπκ πνιηηψλ).οη δηαδηθαζίεο κπνξεί λα αθνξνχλ δηαδηθαζίεο αλνηθηήο θάιπεο, ηνπηθά δεκνςεθίζκαηα ή δηαδηθαζίεο ειεθηξνληθήο ςεθνθνξίαο θαη δεκφζηαο δηαβνχιεπζεο. Βαζηθή πξνυπφζεζε γηα ηελ επηηπρία ηνπ εγρεηξήκαηνο απηνχ απνηειεί ε ρξήζε ησλ ηερλνινγηψλ Πιεξνθνξηθήο θη Δπηθνηλσληψλ κε ζθνπφ ηελ ελδπλάκσζε ηεο ζπκκεηνρηθφηεηαο θαη ηεο πξνζβαζηκφηεηαο ησλ Πνιηηψλ ζηα θέληξα ιήςεο ησλ απνθάζεσλ. Απηφ απνηειεί κεηεμέιημε ηεο έλλνηαο ηεο ειεθηξνληθήο Γηαθπβέξλεζεο θαη νλνκάδεηαη Ηιεθηξνληθή Γεκνθξαηία. Ιδηαίηεξε ζεκαζία πξέπεη λα δίλεηαη ζηελ πξνζβαζηκφηεηα γηα ηνπο πνιίηεο θαη ηνλ ζεβαζκφ ησλ δπλαηνηήησλ ηνπο (ζρεδηαζκφο, πνηφηεηα πιεξνθφξεζεο). Με 12

13 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε θαηάιιεια-πινπνηεκέλεο, εθαξκνγέο ΗΓ κπνξεί λα ρξεζηκνπνηεζνχλ σο δηθαηνινγία γηα ηελ εθαξκνγή κηαο αξλεηηθήο πνιηηηθήο κε ην πξφζρεκα φηη είλαη ζχκθσλε κε ηελ θσλή ηνπ πνιίηε. Δθαξκνγέο ΗΓ ρσξίο δηαζθάιηζε ηεο δηαθάλεηαο, αζθάιεηαο θαη ηελ χπαξμε κεραληζκψλ δεκνθξαηηθνχ ειέγρνπ ηεο φιεο δηαδηθαζίαο, κπνξνχλ λα ζέζνπλ ζε πξαγκαηηθφ θίλδπλν ηελ ηδησηηθφηεηα ησλ πνιηηψλ. Υσξίο ηε δηαζθάιηζε ίζεο πξφζβαζεο, νη εθαξκνγέο ΗΓ κπνξνχλ λα εληζρχζνπλ, παξάιιεια κε ην ςεθηαθφ θαη κνξθσηηθφ ράζκα, θαη ην πνιηηηθφ δει., κεηαμχ ησλ πνιηηψλ. Καζψο νη πνιίηεο είλαη ήδε απνγνεηεπκέλνη απφ ηελ πνιηηηθή, κία εθαξκνγή ΗΓ πνπ απιά ζα δίλεη δεκνθξαηηθφ άιινζη ζε θάπνηεο πνιηηηθέο ρσξίο νπζία, ζίγνπξα ζα πξνθαιέζεη αθφκα κεγαιχηεξε απνγνήηεπζε. Απαηηνχληαη πξαγκαηηθέο εθαξκνγέο θαη πεηξάκαηα γηα ηελ αλάπηπμε βέιηηζησλ πξαθηηθψλ; πιαίζηα αλάπηπμεο βέιηηζησλ πξαθηηθψλ γηα ηελ ΗΓ, κέζσ ηεο αληαιιαγήο θαη δηάρπζεο γλψζεσλ θαη εκπεηξηψλ απφ νιφθιεξν ηνλ θφζκν; κνξθέο ελζσκάησζεο ηεο ΗΓ ζηηο επηκέξνπο, εζληθέο/ ππεξεζληθέο Φεθηαθέο ηξαηεγηθέο θαη ηξφπνη δεκηνπξγίαο κφληκνπ forum ΗΓ, πνπ ζα εκπιέθεη θνξείο απφ ην ζχλνιν ηεο θνηλσλίαο, γηα ηελ αλάπηπμε - πξνψζεζε πνιηηηθψλ θαη εθαξκνγψλ. (Βαζηιηθή- Βεξνλίθε Παπαησάλλνπ, 2008) Η ειεθηξνληθή Γεκνθξαηία πξνζθέξεη ζε ζπλδπαζκφ κε ηε ρξήζε ησλ θαηάιιεισλ ηερλνινγηψλ άπεηξεο δπλαηφηεηεο πξνθεηκέλνπ λα κεηαβιεζεί ν κέρξη ηψξα ακηγψο αληηπξνζσπεπηηθφο ραξαθηήξαο ησλ πνιηηεπκάησλ πξνο ηελ θαηεχζπλζε κηαο πην άκεζεο δεκνθξαηίαο θαζψο επίζεο θαη πξνο ηελ θαηεχζπλζε ηεο θαιχηεξεο λνκνζέηεζεο θαζψο κε ηηο θαηάιιειεο πξνυπνζέζεηο θάζε πνιίηεο ζα είλαη ζε ζέζε λα ζπλεηζθέξεη ζην έξγν ηεο λνκνζέηεζεο. Έλα πξψην εξγαιείν πξνο ηελ θαηεχζπλζε απηή ζηελ Διιάδα απνηειεί θαη ν ηζηνηφπνο δεκφζηαο δηαβνχιεπζεο φπνπ θάζε λνκνζρέδην πξνηνχ θαηαηεζεί ζην θνηλνβνχιην πξνο ςήθηζε ηίζεηαη ζε δεκφζηα δηαβνχιεπζε θαη ν θαζέλαο κπνξεί λα ζπλεηζθέξεη ηελ άπνςε θαη ηελ εκπεηξία ηνπ πξνθεηκέλνπ λα θαηαζηνχλ πην νινθιεξσκέλα ηα πξνο θαηάζεζε λνκνζρέδηα Δίλαη ινηπφλ απαξαίηεην πξνθεηκέλνπ λα θαηαζηεί πην γξήγνξε ε πνξεία πξνο ην ζηφρν ηεο Ηιεθηξνληθήο Γεκνθξαηίαο λα γίλνπλ ηαπηφρξνλα βήκαηα πξνο ηηο δχν εμήο θαηεπζχλζεηο: Αθελφο ηεο απφδνζεο κεγαιχηεξεο ζεκαζίαο ζην ζηφρν θαη ηεο 13

14 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε ζεζκηθήο ηνπ ηζρπξνπνίεζεο θάηη πνπ πξνυπνζέηεη πνιηηηθή βνχιεζε θαη αθεηέξνπ ηεο δηεμαγσγήο έξεπλαο γηα ηελ αλάπηπμε ηερλνινγηθψλ εξγαιείσλ δηαρείξηζεο θαη επεμεξγαζίαο ηνπ κεγάινπ φγθνπ πιεξνθνξίαο πνπ ζα πξνέιζεη απ ηε ζπκκεηνρή ησλ πνιηηψλ, κε ζθνπφ ηελ εμαγσγή ζπκπεξαζκάησλ θαη πξνηάζεσλ. Όια απηά θπζηθά πξέπεη λα γίλνπλ κε ηνλ αλαγθαίν ζεβαζκφ πξνο ηε δεκνθξαηηθή αξρή. 2.2 ΑΤΣΟΜΑΣΗ ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΚΕΙΜΕΝΟΤ Η εμφξπμε γλψκεο θαη αλάιπζε ζπλαηζζήκαηνο απφ ειεχζεξν θείκελν είλαη θιάδνο ν νπνίνο ζρεηίδεηαη άκεζα κε απηνχο ηεο Απηφκαηεο Καηεγνξηνπνίεζεο Κεηκέλνπ (Automatic Text Categorization/Classification), ηεο Δπεμεξγαζίαο Φπζηθήο Γιψζζαο (Natural language Processing ή NLP) θαη ηεο Μεραληθήο Μάζεζεο (Machine Learning). Η Δπεμεξγαζία Φπζηθήο γιψζζαο απνηειεί πεδίν ελαζρφιεζεο ηεο πιεξνθνξηθήο θαζψο θαη ηεο γισζζνινγίαο αληηθείκελν ηεο νπνίαο είλαη ε πξνζπάζεηα γηα αλαπαξάζηαζε ηεο γιψζζαο ζηελ νπνία εθθξάδνληαη νη άλζξσπνη ζε κνξθή ηέηνηα ε νπνία λα κπνξεί λα ηχρεη επεμεξγαζίαο απφ ειεθηξνληθφ ππνινγηζηή. Απ ηελ άιιε ε Απηφκαηε Καηεγνξηνπνίεζε Κεηκέλνπ πξνζπαζεί λα δψζεη ιχζε ζην πξφβιεκα ηεο θαηάηαμεο θεηκέλσλ ζε δηαθξηηέο θαηεγνξίεο κε ηε ρξήζε κεζφδσλ κεραληθήο κάζεζεο. Γηα λα γίλεη απνηειεζκαηηθά ε θαηάηαμε ζπλήζσο γίλεηαη κία αλαπαξάζηαζε ηνπ πξνο θαηεγνξηνπνίεζε θεηκέλνπ κε έλα δηάλπζκα Ν δηαζηάζεσλ, θάζε κία εθ ησλ νπνίσλ εθθξάδεη ηελ ηηκή πνπ παίξλεη ην θείκελν γηα έλα απφ Ν επηιεγκέλα ραξαθηεξηζηηθά. Σα ραξαθηεξηζηηθά απηά (features) επηιέγνληαη κε ηέηνην ηξφπν ψζηε λα ζρεηίδνληαη κε ηηο θαηεγνξίεο ζηηο νπνίεο ζέινπκε λα θαηαηάμνπκε ην θείκελν. Υξεζηκνπνηψληαο έλα απινπζηεπηηθφ παξάδεηγκα ζα κπνξνχζακε λα πεξηγξάςνπκε ην πξφβιεκα σο εμήο: έζησ φηη έρνπκε πξνεπηιέμεη δχν θαηεγνξίεο ελδηαθέξνληνο πνπ αθνξνχλ δχν ζπγθεθξηκέλεο κάξθεο απηνθηλήησλ (π.ρ. Audi θαη Toyota) θαη ζέινπκε λα θαηαηάμνπκε έλα θείκελν ζε κηα εθ ησλ δχν θαηεγνξηψλ. ηε γεληθή πεξίπησζε γηα ηελ αληηκεηψπηζε απηνχ ηνπ πξνβιήκαηνο θαηεγνξηνπνίεζεο ζα αλαπαξηζηνχκε ην θείκελν σο έλα δηάλπζκα κε Ν ραξαθηεξηζηηθά (π.ρ.{audi, Toyota, car, Germany, Japan, verso, Yaris, TT}) νξηζκέλα εθ ησλ νπνίσλ ζα αθνξνχλ ηελ πξψηε θαη άιια ηε δεχηεξε κάξθα 14

15 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε απηνθηλήησλ. Σα ραξαθηεξηζηηθά πνπ αθνξνχλ ηηο θαηεγνξίεο ελδέρεηαη λα επηθαιχπηνληαη. Απινπζηεπηηθά κπνξνχκε λα πνχκε φηη αλαπαξηζηνχκε ην θείκελν d κε ηελ αθφινπζε δηαλπζκαηηθή αλαπαξάζηαζή : d=<f 1, F 2 > φπνπ F 1 θαη F 2 νη ζπρλφηεηεο εκθάληζεο ησλ ιέμεσλ Audi θαη Toyota αληίζηνηρα. Παξφκνηα απεηθφληζε ηνπ θεηκέλνπ κε κνξθή δηαλχζκαηνο γίλεηαη θαη ζηελ πεξίπησζε Ν ραξαθηεξηζηηθψλ. Έρνληαο εθθξάζεη ην θείκελν ζε κηα ηέηνηα κνξθή θαη ππφ ηελ πξνυπφζεζε φηη έρνπλ επηιεγεί θαηάιιεια ηα ραξαθηεξηζηηθά, κπνξεί λα γίλεη εθπαίδεπζε ελφο ηαμηλνκεηή ν νπνίνο θάλεη απηφκαηα ηελ θαηεγνξηνπνίεζε ησλ θεηκέλσλ. Η κειέηε ηνπ Σorsten Joachims (1998) κειεηά ηε ρξήζε δηαθφξσλ αιγνξίζκσλ κεραληθήο κάζεζεο γηα ηελ απηφκαηε θαηεγνξηνπνίεζε θεηκέλσλ αλάινγα κε ηε ζεκαηηθή θαηεγνξία ζηελ νπνία αλήθνπλ θαη θαηαιήγεη ζην ζπκπέξαζκα φηη ε ρξήζε Μεραλψλ Γηαλπζκάησλ Τπνζηήξημεο (Support Vector Machines) δίλεη ηα βέιηηζηα απνηειέζκαηα ζε ζρέζε κε ηνπο άιινπο αιγφξηζκνπο. Σα θείκελα πνπ απνηέιεζαλ αληηθείκελν ηεο κειέηεο αληιήζεθαλ απφ 2 ζπιινγέο θεηκέλσλ: 1) Σε ζπιινγή θεηκέλσλ κε αξ απφ ην πξαθηνξείν Reuters θαη 2) ηε ζπιινγή ηαηξηθψλ άξζξσλ Ohsumed απφ ην Oregon Health Sciences University. Σα βαζηθά θξηηήξηα επίδνζεο είλαη νη δείθηεο precision (αθξίβεηα) θαη recall (αλάθιεζε) νη νπνίεο νξίδνληαη σο εμήο: Αθξίβεηα είλαη ε πηζαλφηεηα φηη έλα αληηθείκελν πνπ έρεη ηαμηλνκεζεί ζηελ θιάζε + λα αλήθεη φλησο ζηελ θιάζε + θαη Αλάθιεζε ε Πηζαλφηεηα φηη έλα αληηθείκελν πνπ αλήθεη ζηελ θιάζε + έρεη φλησο ηαμηλνκεζεί ζηελ θιάζε +. Ο Fabrizio Sebastiani (2001) εμεηάδεη ηηο θπξηφηεξεο πξνζεγγίζεηο ζηελ απηφκαηε θαηεγνξηνπνίεζε θεηκέλνπ πνπ εκπίπηνπλ ζηνλ θιάδν ηεο κεραληθήο κάζεζεο θαη αζρνιείηαη κε δεηήκαηα πνπ αθνξνχλ 3 δηαθνξεηηθά πξνβιήκαηα ηνπ αληηθεηκέλνπ ηα νπνία είλαη : 1) Η αλαπαξάζηαζε ηνπ εγγξάθνπ 2) ε δεκηνπξγία ηνπ ηαμηλνκεηή 3) ε αμηνιφγεζε ηνπ ηαμηλνκεηή. 15

16 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε 2.3 ΙΔΙΑΙΣΕΡΟΣΗΣΕ ΣΗΝ ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΕΛΛΗΝΙΚΩΝ ΚΕΙΜΕΝΩΝ Πξνθεηκέλνπ έλαο θαηεγνξηνπνηεηήο θεηκέλνπ λα απνδψζεη θαιά απνηειέζκαηα είλαη βαζηθή ε χπαξμε νξηζκέλσλ εξγαιείσλ ηα νπνία θαζηζηνχλ πην εχθνιε ηελ επεμεξγαζία θαη ηε δηαλπζκαηηθή απεηθφληζε ελφο θεηκέλνπ ή πνπ παξέρνπλ ηε δπλαηφηεηα ε δηαλπζκαηηθή απηή απεηθφληζε λα κεηαθέξεη πιεξνθνξία φζνλ αθνξά ην κήλπκα πνπ πξνζπαζνχλ λα απνδψζνπλ ηα κέξε ηνπ ιφγνπ. Δπεηδή ε θαηεγνξηνπνίεζε θεηκέλσλ έρεη δνθηκαζηεί ζηε ζπληξηπηηθή ηεο πιεηνςεθία ζε θείκελα ζηελ αγγιηθή γιψζζα, έρνπλ δεκηνπξγεζεί γηα ηε γιψζζα απηή θαη κία πιεζψξα εξγαιείσλ πνπ επηηεινχλ ηηο πξναλαθεξζείζεο εξγαζίεο. Παξαθάησ γίλεηαη κηα πξνζπάζεηα λα παξνπζηαζηνχλ νη θπξηφηεξεο απ απηέο ηηο εξγαζίεο πνπ πξέπεη λα γίλνπλ θαηά ηελ πξνεπεμεξγαζία ελφο θεηκέλνπ πξνηνχ ιάβεη ρψξα ε θαηεγνξηνπνίεζε θαη λα παξνπζηαζηνχλ νη ηδηαηηεξφηεηεο πνπ εκθαλίδνληαη θαηά ηελ πξνζπάζεηα θαηεγνξηνπνίεζεο ειιεληθψλ θεηκέλσλ ιφγσ ηεο έιιεηςεο αληίζηνηρσλ εξγαιείσλ Μία βαζηθή δηαδηθαζία πνπ λα ιακβάλεη ζπλήζσο ρψξα θαηά ηελ πξνεπεμεξγαζία ησλ ζηνηρείσλ είλαη ε δηαδηθαζία ηνπ stemming δειαδή ε απνθνπή ηεο θαηάιεμεο κηαο ιέμεο θαη ηεο ρξήζεο ηνπ ζέκαηφο ηεο κφλν πξνθεηκέλνπ ε δηαλπζκαηηθή απεηθφληζε λα κε ρξεζηκνπνηεί πεξηζζφηεξεο απφ κία θνξέο ιέμε πνπ βξίζθεηαη ζε δηαθνξεηηθέο πηψζεηο ή εγθιίζεηο. Γηα stemming ζηελ αγγιηθή γιψζζα έρνπλ δεκηνπξγεζεί δηάθνξνη stemmers (Snowball, lovins θ.ι.π). Γηα ηελ ειιεληθή γιψζζα έρεη δεκηνπξγεζεί έλαο stemmer ζηα πιαίζηα ηεο δηπισκαηηθήο εξγαζίαο ηνπ Γεσξγίνπ Νηαή ζην Παλεπηζηήκην ηεο ηνθρφικεο (2006). Μία επίζεο δηαδηθαζία πνπ ιακβάλεη ζπρλά ρψξα είλαη ε δεκηνπξγία εηηθεηψλ (tags) κε κέξε ηνπ ιφγνπ (Part of Speech Tagging). Mε ηε ρξήζε ελφο ηέηνηνπ εξγαιείνπ εληνπίδεηαη θαη θαηαγξάθεηαη ην γξακκαηηθφ κέξνο ηνπ ιφγνπ πνπ αλήθεη ε θάζε ιέμε. Έλα εξγαιείν πνπ δεκηνπξγήζεθε γηα ζθνπνχο natural language engineering είλαη ην εξγαιείν Ellogon απφ εξεπλεηέο ηνπ εξεπλεηηθνχ θέληξνπ Γεκφθξηηνο. Σν Ellogon σο πιαηθφξκα γισζζηθήο ηερλνινγίαο πξνζθέξεη κηα εθηελή ζεηξά εξγαιείσλ, 16

17 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε ζπκπεξηιακβαλνκέλσλ εξγαιείσλ επεμεξγαζίαο θαη απεηθφληζεο ππφ κνξθή θεηκέλνπ / HTML / XML δεδνκέλσλ θαη ζπλαθψλ γισζζηθψλ πιεξνθνξηψλ, ππνζηήξημε γηα ιεμηθνγξαθηθνχο πφξνπο (φπσο ε δεκηνπξγία θαη ε ελζσκάησζε ιεμηθά), εξγαιεία γηα ηε δεκηνπξγία ζρνιηαζκέλα ζψκαηα, ε πξφζβαζε ζε βάζεηο δεδνκέλσλ, ζπγθξίλνληαο ζρνιηαζκέλν δεδνκέλα, ή ηε κεηαηξνπή γισζζηθψλ πιεξνθνξηψλ ζε δηαλπζκαηηθή κνξθή γηα ηε ρξήζε ηνπο κε δηάθνξνπο αιγνξίζκνπο κεραληθήο κάζεζεο. Άιια εξγαιεία γισζζηθήο ηερλνινγίαο πνπ έρνπλ θαηαζθεπαζηεί γηα ηελ ειιεληθή γιψζζα είλαη ηα εμήο (Παπαληθνιάνπ Δηξήλε 2007): ΟηθΟΝΟΜηΑ : επηθαλεηαθή θαηαλφεζε θεηκέλσλ γηα απνδνηηθή δεηθηνδφηεζε θαη εμαγσγή πιεξνθνξηψλ απφ νηθνλνκηθά δεδνκέλα. ηάδηα επεμεξγαζίαο είλαη ηα αθφινπζα: γξαµκαηηθή θαηεγνξηνπνίεζε θαη ιήµµα γηα θάζε ιέμε, νλνκαηηθέο νληφηεηεο θαη θαηεγνξηνπνίεζε απηψλ, αλάιπζε ηεο επηθαλεηαθήο ζπληαθηηθή δνκήο θάζε πξφηαζεο. ρεµαηνπνίεζε: ηφρνο ηνπ έξγνπ είλαη ε δεκηνπξγία ελφο ειεγθηή χθνπο ηεο Διιεληθήο θαηάιιεινπ γηα ζπγγξαθή πξσηνγελψλ Διιεληθψλ ηερληθψλ θεηκέλσλ. πγθεθξηκέλα ην θείκελν πθίζηαηαη γισζζηθή επεμεξγαζία θαη πξνζηίζεληαη γισζζηθέο ππνζεκεηψζεηο πνπ αθνξνχλ ηηο ιεθηηθέο κνλάδεο (tokens) ηηο πξνηάζεηο θαη ηα γξαµκαηηθά ραξαθηεξηζηηθά ησλ ιεθηηθψλ µκνλάδσλ. ΜΙΣΟ είλαη ζχζηεκα αλαδήηεζεο θαη εμφξπμεο πιεξνθνξίαο µε εθαξκνγή ζε ρξεµαηννηθνλνµηθέο εηδήζεηο. Οη ηερληθέο θαη ηα εξγαιεία πνπ ρξεζηκνπνηνχληαη είλαη ην θηιηξάξηζκα πιεξνθνξίαο, επεμεξγαζία θπζηθήο γιψζζαο, εμαγσγή πιεξνθνξίαο, κνληεινπνίεζε ρξεζηψλ, εμφξπμε δεδνκέλσλ. UNL, Universal Networking Language ζηνρεχεη ζηελ θαηαζθεπή ελφο πνιχγισζζνπ ζπζηήκαηνο κεραληθήο κεηάθξαζεο γηα δηθηπαθέο εθαξκνγέο. Η χπαξμε θαη δπλαηφηεηα ρξήζεο ελφο ζεζαπξνχ ιέμεσλ ππφ κνξθήλ βάζεσο δεδνκέλσλ φπσο είλαη ην WordNet γηα ηελ αγγιηθή γιψζζα βνεζάεη ζηνλ πξνζδηνξηζκφ ζπλσλχκσλ θαη αλησλχκσλ ιέμεσλ νχησο ψζηε λα κπνξεί ν θαηεγνξηνπνηεηήο λα ηα ρξεζηκνπνηήζεη γηα λα πξνζδηνξίδεη ηνλ ελλνηνινγηθφ πξνζαλαηνιηζκφ ιέμεσλ πνπ δελ εκθαλίδνληαη ζην ζχλνιν ησλ ιέμεσλ/ραξαθηεξηζηηθψλ πνπ ρξεζηκνπνηνχληαη. Γπζηπρψο, έλαο ηέηνηνο ζεζαπξφο δελ ππάξρεη αθφκε γηα ηα ειιεληθά. 17

18 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Σέινο πξέπεη λα αλαθεξζεί πσο ν κεγαιχηεξνο φγθνο ησλ ινγηζκηθψλ πνπ έρνπλ δεκηνπξγεζεί γηα εθαξκνγέο κεραληθήο κάζεζεο (π.ρ. Weka) είλαη πξνζαξκνζκέλα ζηηο αλάγθεο ηεο αγγιηθήο γιψζζαο θαη είλαη ζπρλέο νη πεξηπηψζεηο πνπ εκθαλίδνληαη πξνβιήκαηα πνπ ζρεηίδνληαη κε ηελ θσδηθνπνίεζε ραξαθηήξσλ, κε απνηέιεζκα λα δπζρεξαίλεηαη ε ρξήζε ειιεληθψλ θεηκέλσλ. 2.4 ΕΞΟΡΤΞΗ ΓΝΩΜΗ Οη κέζνδνη πνπ έρνπλ ρξεζηκνπνηεζεί γηα ηελ εμφξπμε γλψκεο απφ ειεχζεξν θείκελν θαζψο θαη ηα είδε ησλ θαηεγνξηνπνηήζεσλ πνπ έρνπλ γίλεη δηαθέξνπλ. Ο Bing Liu (2008) αλαθέξεη πσο ε έξεπλα ζηελ εμφξπμε γλψζεο μεθίλεζε κε ηε ρξήζε ιέμεσλ πνπ «θέξνπλ» θάπνην ζπλαίζζεκα (π.ρ θαιφ, ππέξνρν, άζρεκν) γηα λα γίλεη ε θαηεγνξηνπνίεζε. Πνιιέο έξεπλεο έρνπλ γίλεη κε ηελ εμφξπμε ηέηνησλ ιέμεσλ απφ ηηο πξνο εμέηαζε απφςεηο θαη ηνλ πξνζδηνξηζκφ ηνπ ζεκαζηνινγηθνχ ηνπο πξνζαλαηνιηζκνχ. H επφκελε κεγάιε ψζεζε ζηνλ θιάδν ζχκθσλα κε ηνλ Liu δφζεθε κε ηελ πξνζπάζεηα γηα αλάιπζε ζπλαηζζήκαηνο ζε επίπεδν εγγξάθνπ. ηηο πξνζπάζεηεο απηέο ηα θείκελα πνπ ηαμηλνκήζεθαλ ήηαλ θπξίσο θξηηηθέο ρξεζηψλ γηα δηάθνξα πξντφληα νη νπνίεο ηαμηλνκνχληαη αλάινγα κε ην γεληθφ ζπλαίζζεκα πνπ θέξνπλ ζε ζεηηθέο αξλεηηθέο. Άιιεο έξεπλεο πνπ έγηλαλ αθνξνχζαλ ηελ εμφξπμε γλψζεο ζε επίπεδν ραξαθηεξηζηηθνχ. Γελ γίλεηαη δειαδή γεληθή θαηεγνξηνπνίεζε ηνπ θεηκέλνπ, αιιά πξνζπάζεηα λα εληνπηζηνχλ επηκέξνπο ραξαθηεξηζηηθά ηνπ ππφ εμέηαζε αληηθεηκέλνπ γηα ηα νπνία εθθέξεηαη γλψκε θαη λα πξνζδηνξηζηεί αλ απηή είλαη ζεηηθή ή αξλεηηθή. Σέινο έρνπλ γίλεη έξεπλεο πνπ αθνξνχλ ηελ εμφξπμε γλψκεο απφ ζπγθξηηηθέο πξνηάζεηο. 18

19 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε 2.5 ΑΝΑΛΤΗ ΤΝΑΙΘΗΜΑΣΟ χκθσλα κε ηνλ Liu (2008) ε αλάιπζε ζπλαηζζήκαηνο νξίδεηαη σο εμήο: «Γεδνκέλνπ ελφο ζπλφινπ θεηκέλσλ ηα νπνία εθθξάδνπλ θάπνηα αμηνιφγεζε ε αλάιπζε ζπλαηζζήκαηνο θαζνξίδεη θαηά πφζνλ ην θαζέλα απ απηά εθθξάδεη ζεηηθή ή αξλεηηθή άπνςε γηα ην ππφ εμέηαζε αληηθείκελν-δήηεκα». Απηφ απνηειεί εκθαλψο έλα πξφβιεκα θαηεγνξηνπνίεζεο θεηκέλνπ. Παξνπζηάδεη νκνηφηεηεο αιιά θαη δηαθνξέο κε ην θιαζηθφ πξφβιεκα θαηάηαμεο θεηκέλσλ ζε πξνθαζνξηζκέλεο θιάζεηο πνπ ζρεηίδνληαη κε ηε ζεκαηνινγία. ηελ πεξίπησζε ησλ θιάζεσλ πνπ αθνξνχλ ζεκαηηθέο θαηεγνξίεο ζεκαληηθφ ξφιν δηαδξακαηίδνπλ νη ιέμεηο πνπ αθνξνχλ ηηο θαηεγνξίεο απηέο ελψ αληίζεηα ζηελ αλάιπζε ζπλαηζζήκαηνο νη ιέμεηο απηέο είλαη ρσξίο ζεκαζία. Αληίζεηα ζηελ πεξίπησζε απηή ζεκαζία έρνπλ νη ιέμεηο πνπ θαηαδεηθλχνπλ ζεηηθή ή αξλεηηθή γλψκε. ηελ πεξίπησζε ηεο αλάιπζεο ζπλαηζζήκαηνο ζε επίπεδν θεηκέλνπ λνείηαη σο κεγάιε ζεκαηηθή κνλάδα ην θείκελν θαη εμ απηήο ηεο κνλάδαο επηδηψθεηαη ν πξνζδηνξηζκφο ηεο γλψκεο πνπ εθθέξεη ν ζπγγξαθέαο. Δθηφο απ ηελ αλάιπζε ζπλαηζζήκαηνο ζε επίπεδν θεηκέλνπ, δηάθνξνη εξεπλεηέο κειέηεζαλ ηελ θαηεγνξηνπνίεζε ζε επίπεδν πξνηάζεσλ. Δμεηάδεηαη δειαδή ε θάζε πξφηαζε θαηά πφζνλ εθθξάδεη αξλεηηθή ή ζεηηθή άπνςε θαη θαηεγνξηνπνηείηαη αλάινγα. 2.6 ΜΕΛΕΣΕ ΠΑΝΩ ΣΗΝ ΑΝΑΛΤΗ ΤΝΑΙΘΗΜΑΣΟ Ε ΕΠΙΠΕΔΟ ΕΓΓΡΑΦΟΤ Έρνπλ κειεηεζεί πνιιέο ηερληθέο γηα ηελ αλάιπζε ζπλαηζζήκαηνο ηνπ θεηκέλνπ ζε επίπεδν εγγξάθνπ. Οη πεξηζζφηεξεο απ απηέο εθαξκφδνπλ θάπνηεο ηερληθέο κεραληθήο κάζεζεο γηα ηελ θαηεγνξηνπνίεζε. Τπάξρνπλ επίζεο εηδηθά ζρεδηαζκέλνη αιγφξηζκνη γηα ηελ αλάιπζε ζπλαηζζήκαηνο νη νπνίνη εθκεηαιιεχνληαη ιέμεηο θαη θξάζεηο πνπ εθθξάδνπλ άπνςε ηαπηφρξνλα κε θάπνηεο ζπλαξηήζεηο βαζκνιφγεζεο (Liu 2008). 19

20 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Μειέηε ησλ Bo Pang, Lillian Lee and Shivakumar Vaithyanathan (2002). ηε κειέηε απηή γίλεηαη ρξήζε θιαζηθψλ κεζφδσλ κεραληθήο κάζεζεο γηα ηελ ηαμηλφκεζε θξηηηθψλ ηαηληψλ ζε ζεηηθέο θαη αξλεηηθέο. Γίλεηαη ρξήζε ηξηψλ αιγνξίζκσλ κεραληθήο κάζεζεο (Naïve Bayes, maximum entropy classification θαη support vector machines) θαη πξνθχπηεη θαη αξρήλ ην ζπκπέξαζκα φηη έρνπλ θαιχηεξεο επηδφζεηο ζε ζρέζε κε ηελ ηαμηλφκεζε πνπ γίλεηαη ρξεζηκνπνηψληαο ζχλνιν ραξαθηεξηζηηθψλ πνπ πξνήιζαλ απφ αλζξψπηλε επηινγή. Δπίζεο πξνθχπηεη ην ζπκπέξαζκα φηη νη αιγφξηζκνη απηνί δελ έρνπλ εμ ίζνπ θαιέο επηδφζεηο ζηελ θαηεγνξηνπνίεζεο κε βάζε ην ζπλαίζζεκα κε ηηο θιαζηθέο κνξθέο θαηεγνξηνπνίεζεο κε βάζε ηε ζεκαηηθή θαηεγνξία. Η κεζνδνινγία πνπ αθνινπζήζεθε ήηαλ ε εμήο: Αξρηθά έγηλε θαηεγνξηνπνίεζε ησλ θξηηηθψλ κε ηε ρξήζε έηνηκσλ ιέμεσλ (ζεηηθψλ θαη αξλεηηθψλ) πνπ πξνέθπςαλ απφ εξσηεκαηνιφγηα θνηηεηψλ πξνθεηκέλνπ λα βξεζεί ε απφδνζε πνπ επηηπγράλεηαη κε ηε ρξήζε γισζζνινγηθψλ επξηζηηθψλ (heuristics) απφ έλα πξνεπηιεγκέλν ζχλνιν ιέμεσλ. Καηφπηλ έγηλε απηφκαηε ηαμηλφκεζε ησλ θεηκέλσλ κε ηε ρξήζε ησλ ηξηψλ πξναλαθεξζέλησλ αιγνξίζκσλ νη νπνίνη είραλ επηδείμεη αξθεηά θαιή απφδνζε ζηελ θιαζηθή θαηεγνξηνπνίεζε θεηκέλνπ κε βάζε ην ζέκα πξνθεηκέλνπ λα δεηρζεί εάλ ηειηθά ε θαηεγνξηνπνίεζε κε βάζε ην ζπλαίζζεκα ρξεηάδεηαη εηδηθφηεξεο κεζφδνπο ζε ζρέζε κε ηελ θαηεγνξηνπνίεζε βάζεη ηνπ ζέκαηνο. Καηά ηελ εθαξκνγή ησλ 3 αιγνξίζκσλ ρξεζηκνπνηήζεθε ε θιαζηθή πξνζέγγηζε ηνπ «ζαθηδίνπ ραξαθηεξηζηηθψλ» (bag of features) γηα ηελ αλαπαξάζηαζε ηνπ πξνβιήκαηνο. Αλ ππνζέζνπκε φηη {f 1,f 2, f m } είλαη έλα πξνθαζνξηζκέλν ζχλνιν m ραξαθηεξηζηηθψλ πνπ κπνξεί λα εκθαλίδνληαη ζε έλα θείκελν. Αλ n i (d) είλαη ην πιήζνο ησλ θνξψλ πνπ ην ραξαθηεξηζηηθφ f i εκθαλίδεηαη ζην θείκελν, ηφηε θάζε θείκελν αλαπαξίζηαηαη κε ην εμήο δηάλπζκα θεηκέλνπ d:=(n 1 (d),n 2 (d),,n m (d)). Οη ηξεηο αιγφξηζκνη πνπ ρξεζηκνπνηήζεθαλ είλαη νη εμήο: 20

21 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Naive Bayes Maximum Entropy Support Vector Machines Οη ηαμηλνκήζεηο πνπ έγηλαλ ζηεξίρζεθαλ ζηε ρξήζε πνιιψλ ελαιιαθηηθψλ κεζφδσλ γηα ηελ δηαλπζκαηηθή αλαπαξάζηαζε ησλ θεηκέλσλ θαη δελ έγηλε ρξήζε απνθνπήο ησλ θαηαιήμεσλ ησλ ιέμεσλ (stemming) νχηε θαη αγλφεζε ζπγθεθξηκέλσλ ιέμεσλ (stopwords). Γηα ηελ αληηκεηψπηζε ησλ πεξηπηψζεσλ άξλεζεο (not very good) έγηλε ρξήζε ηεο πξνζζήθεο ηεο εηηθέηαο (tag) NOT ζε θάζε ιέμε αλάκεζα ζε ιέμε πνπ εθθξάδεη άξλεζε θαη ζην επφκελν ζεκείν ζηίμεο, πξνθεηκέλνπ νη ιέμεηο απηέο λα απνθηήζνπλ αξλεηηθφ ελλνηνινγηθφ πξνζαλαηνιηζκφ. Έγηλε ρξήζε κνλψλ (unigrams) θαη δηπιψλ ιέμεσλ (bigrams) είηε κφλεο ηνπο είηε ζε ζπλδπαζκφ θαζψο επίζεο θαη δπαδηθή αλαπαξάζηαζε ησλ θεηκέλσλ βάζε ηεο παξνπζίαο ή φρη ησλ ραξαθηεξηζηηθψλ ζε απηά ελαιιαθηηθά κε ηελ αλαπαξάζηαζή ηνπο κε βάζε ηε ζπρλφηεηα εκθάληζεο ησλ ραξαθηεξηζηηθψλ. Έγηλε επίζεο ρξήζε εηηθεηψλ (tags) γηα ηελ επηζήκαλζε ζπλεζηζκέλσλ θξάζεσλ (Part of Speech ή POS) θαζψο θαη ε ρξήζε κφλν ησλ επηζέησλ. Σέινο ιήθζεθε ππφςε ην γεγνλφο φηη ε ζέζε κηαο ιέμεο ζε κηα πξφηαζε κπνξεί λα νδεγεί ζε δηαθνξά φζνλ αθνξά ηνλ ελλνηνινγηθφ πξνζαλαηνιηζκφ. Έηζη πξνζηέζεθε κηα εηηθέηα ζε θάζε ιέμε αλάινγα κε ην αλ βξίζθεηαη ζην πξψην ή ηειεπηαίν ηέηαξην ηνπ θεηκέλνπ θαζψο ή ζην κέζνλ ηνπ. Ο ζπγθεληξσηηθφο πίλαθαο ησλ απνηειεζκάησλ ηεο έξεπλαο γηα ηελ θάζε κία απφ ηηο ελαιιαθηηθέο κεζφδνπο θαη γηα θαζέλαλ απ ηνπο 3 αιγνξίζκνπο θαίλεηαη παξαθάησ. Μειέηε ηνπ Turney (2002) ηε κειέηε απηή γίλεηαη ε ρξήζε ελφο απινχ αιγφξηζκνπ κε επηβιεπφκελεο κάζεζεο γηα ηελ ηαμηλφκεζε κηαο θξηηηθήο (π.ρ. ηαηληψλ ή απηνθηλήησλ) ζε ζεηηθέο θαη αξλεηηθέο. Γηα ηελ εθαξκνγή ηνπ αιγνξίζκνπ αθνινπζνχληαη 3 βήκαηα 21

22 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε 1. Αξρηθά εμάγνληαη απ ην θείκελν νη θξάζεηο πνπ πεξηέρνπλ επίζεηα ή επηξξήκαηα. Απηφ επηηπγράλεηαη κε ηε ρξήζε ελφο αλαιπηή κεξψλ ηνπ ιφγνπ (part-of-speech tagger) ν νπνίνο εληνπίδεη θξάζεηο ζην θείκελν νη νπνίεο πεξηέρνπλ επίζεηα ή επηξξήκαηα. Κη επεηδή λαη κελ έλα απνκνλσκέλν επίζεην κπνξεί λα απνηειεί έλδεημε ππνθεηκεληθφηεηαο αιιά ν ελλνηνινγηθφο πξνζαλαηνιηζκφο ηνπ κπνξεί λα δηαθέξεη αλάινγα κε ην πεξηερφκελν ν αιγφξηζκνο εμάγεη πάληνηε 2 ιέμεηο εθ ησλ νπνίσλ ε κία είλαη επίζεην ή επίξξεκα θαη ε άιιε απνδίδεη ην πεξηερφκελν (context). 2. Δθηηκάηαη ν ελλνηνινγηθφο πξνζαλαηνιηζκφο ηεο θάζε θξάζεο μερσξηζηά. Απηφ ην βήκα είλαη θαη ην βαζηθφηεξν ηεο κεζφδνπ θαη ρξεζηκνπνηεί ηνλ αιγφξηζκν PMI-IR γηα ηνλ ππνινγηζκφ ηνπ ελλνηνινγηθνχ πξνζαλαηνιηζκνχ ησλ θξάζεσλ. O αιγφξηζκνο απηφο ρξεζηκνπνηεί ακνηβαία πιεξνθνξία ζαλ κέηξν ηζρχνο ηεο ελλνηνινγηθήο ζπζρέηηζεο κεηαμχ δχν ιέμεσλ (Church&Hanks,1989). To κέγεζνο PMI (Pointwise Mutual Information) νξίδεηαη σο εμήο (Church&Hanks,1989) PMI(word1, word2) = log2(p(word1 & word2)/p(word1) p(word2)) (1) Ο φξνο p(word1 & word2) εθθξάδεη ηελ πηζαλφηεηα νη φξνη word1 θαη word2 λα ζπλ εκθαλίδνληαη ζε θάπνην θείκελν. Δάλ νη ιέμεηο πνπ εθθξάδνπλ νη φξνη απηνί είλαη ζηαηηζηηθά αλεμάξηεηνη ηφηε ε πηζαλφηεηα απηή ζα δίλεηαη απ ην γηλφκελν ησλ επηκέξνπο πηζαλνηήησλ δειαδή p(word1) p(word2) Ο ιφγνο ινηπφλ ησλ p(word1 & word2) θαη p(word1 & word2) απνηειεί έλα κέηξν ζηαηηζηηθήο εμάξηεζεο κεηαμχ ησλ ιέμεσλ (θξάζεσλ). Ο δπαδηθφο ινγάξηζκνο ηνπ ιφγνπ απηνχ είλαη ε πιεξνθνξία πνπ ιακβάλνπκε γηα ηελ παξνπζία ηεο κίαο εθ ησλ ιέμεσλ ζην θείκελν φηαλ έρνπκε παξαηεξήζεη ηελ χπαξμε ηεο άιιεο. Έηζη ινηπφλ ζηε ζπγθεθξηκέλε κειέηε ν ελλνηνινγηθφο πξνζαλαηνιηζκφο θάζε θξάζεο πνπ εμάρζεθε απ ηα θείκελα ππνινγίζηεθε σο εμήο: SO(phrase) = PMI(phrase, excellent ) - PMI(phrase, poor ) (2) 22

23 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Όπνπ phrase είλαη ε θξάζε ηεο νπνίαο επηδηψθεηαη λα ππνινγηζηεί ν ελλνηνινγηθφο πξνζαλαηνιηζκφο θαη νη ιέμεηο excellent θαη poor επηιέρζεθαλ απφ ηνλ κειεηεηή επεηδή είλαη ζπρλφ θαηλφκελν νη θξηηηθέο πνπ δίλνπλ 5 αζηέξηα ζην πξντφλ λα ην ραξαθηεξίδνπλ θαη σο excellent θαη απηέο πνπ δελ δίλνπλ θαλέλα αζηέξη λα ην ραξαθηεξίδνπλ σο poor. O ελλνηνινγηθφο πξνζαλαηνιηζκφο ινηπφλ κηαο θξάζεο είλαη ζεηηθφο φηαλ ε θξάζε ζρεηίδεηαη πην ζηελά κε ηε ιέμε excellent παξά κε ηε ιέμε poor. Ο PMI-IR ππνινγίδεη ην κέγεζνο PMI γηα θάζε κία απ ηηο πξνηάζεηο ζέηνληαο εξσηήκαηα (queries) ζε κηα κεραλή αλαδήηεζεο θαη ιακβάλνληαο ηνλ αξηζκφ ησλ επηζηξνθψλ (hits). ηε ζπγθεθξηκέλε κειέηε ν κειεηεηήο επέιεμε ηε κεραλή πξνρσξεκέλε κεραλή αλαδήηεζεο ηεο Altavista πνπ (εθείλε ηελ επνρή) δεηθηνδνηνχζε 350. εθαηνκκχξηα αγγιφθσλεο ηζηνζειίδεο επεηδή θάλεη ρξήζε ηνπ ηειεζηή NEAR ν νπνίνο επηζηξέθεη ηηο ζειίδεο ζηηο νπνίεο ν ε κία ιέμε (θξάζε) είλαη ζε απφζηαζε 10 ιέμεσλ απ ηελ άιιε. Αλ ινηπφλ hits(query) είλαη ν αξηζκφο ησλ επηζηξνθψλ ηεο κεραλήο ζην εξψηεκα (query) ηφηε ν ζεκαζηνινγηθφο πξνζαλαηνιηζκφο ηεο θξάζεο δίλεηαη απ ηελ αθφινπζε εμίζσζε πνπ πξνθχπηεη απ ην ζπλδπαζκφ ησλ (1) θαη (2). SO(phrase) =log 2 (hits(phrase NEAR excellent ) hits( poor )/ hits(phrase NEAR poor ) hits( excellent )) (3) Γηα λα απνθεπρζεί ε δηαίξεζε κε ην κεδέλ πξνζηέζεθε 0.01 ζηα hits θαη επίζεο παξαιήθζεθε φπνηα θξάζε έηρε ιηγφηεξεο απφ 4 επηζηξνθέο θαη ζηηο 2 πεξηπηψζεηο ηαπηφρξνλα (excellent, poor) 3. Σαμηλνκνχληαη νη θξηηηθέο ζχκθσλα κε ην κέζν φξν ηνπ ελλνηνινγηθνχ πξνζαλαηνιηζκνχ ησλ θξάζεσλ πνπ ηηο απαξηίδνπλ. ε πεηξάκαηα κε 410 θξηηηθέο απφ ηελ ηζηνζειίδα Epinions ν αιγφξηζκνο απηφο πέηπρε κέζν φξν αθξίβεηαο 74%. Οη θξηηηθέο ηαηληψλ έρνπλ ην κηθξφηεξε αθξίβεηα κε 66% θαζψο ζπλήζσο ζε απηέο ην φινλ δελ είλαη άζξνηζκα ησλ επί κέξνπο. Αληίζεηα νη θξηηηθέο απηνθηλήησλ εκθάληζαλ ηε κεγαιχηεξε αθξίβεηα κε πνζνζηά πνπ θπκάλζεθαλ απφ 80-84% θαζψο απ φηη θαίλεηαη ζηηο πεξηπηψζεηο απηέο φλησο ην 23

24 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε φινλ είλαη ην άζξνηζκα ησλ επί κέξνπο. Δλδηάκεζε αθξίβεηα εκθάληζαλ νη θξηηηθέο ζε ηαμηδησηηθά ζέκαηα. Μειέηε ησλ Nahmee Kwon, Edward Hovy, Liang Zhou, Stuart W.Shulman (2004) Η κειέηε ζηεξίδεηαη ζην γεγνλφο φηη νη Τπεξεζίεο ζηηο Ηλσκέλεο Πνιηηείεο πνπ έρνπλ σο αληηθείκελν ηελ παξαγσγή θαλνληζηηθψλ ξπζκίζεσλ νθείινπλ λα αλαθνηλψλνπλ ηελ πξνηεηλφκελε ξχζκηζε ζην θνηλφ θαη λα απαληνχλ ζηα ζρφιηά ηνπ πξνηνχ ηελ θαηαζέζνπλ ζηελ ηειηθή ηεο κνξθή. Χο εθ ηνχηνπ, φηαλ νη πξνηεηλφκελεο ξπζκίζεηο πξνθαινχλ αληηθξνπφκελεο απφςεηο, έλαο κεγάινο αξηζκφο ζρνιίσλ αλαξηάηαη απφ ελδηαθεξφκελνπο, νκάδεο πίεζεο θ.ι.π θαζηζηψληαο έηζη ηελ αλάγλσζε θαη επεμεξγαζία φισλ απηψλ ησλ ζρνιίσλ ηδηαίηεξα δπζρεξή γηα ηνπο λνκνζέηεο. Οη κειεηεηέο πξνηείλνπλ ινηπφλ έλα απηνκαηνπνηεκέλν εξγαιείν εληνπηζκνχ θαη θαηεγνξηνπνίεζεο ησλ ππνθεηκεληθψλ απφςεσλ πνπ εθθξάδνληαη σο βνήζεκα επηζθφπεζεο θαη ζχλνςεο ησλ ζρνιίσλ απηψλ. Σα πεηξάκαηα δηεμήρζεζαλ ζε ζχλνιν ζρνιίσλ πνπ αληιήζεθαλ ζρεηηθά κε ηελ πξνηεηλφκελε ξχζκηζε ηεο Τπεξεζίαο Πξνζηαζίαο ηνπ Πεξηβάιινληνο (Environmental Protection Agency) ζρεηηθά κε ηηο εθπνκπέο επηθίλδπλσλ ξχπσλ. Οη κειεηεηέο εθαξκφδνπλ κία κέζνδν επηβιεπφκελεο κεραληθήο κάζεζεο γηα ηνλ εληνπηζκφ ησλ ηζρπξηζκψλ/απφςεσλ αλάκεζα ζην πιήζνο ησλ ζρνιίσλ κε ηε ρξήζε ιεμηινγηθψλ θαη δνκηθψλ ραξαθηεξηζηηθψλ θαη ηα ηαμηλνκνχλ ζε θαηεγνξίεο αλάινγα κε ηε ζηάζε πνπ δηαηεξνχλ σο πξνο ην ζέκα (ππνζηεξηθηηθή, ελάληηα, ελαιιαθηηθή πξφηαζε). Γηα ηελ θαηεγνξηνπνίεζε ησλ ηζρπξηζκψλ δεκηνπξγήζεθε απηφκαηα κία ιίζηα ππνθεηκεληθψλ πξνηάζεσλ κε ηελ επέθηαζε κηαο ιίζηαο βαζηθψλ ιέμεσλ θαη ηε δεκηνπξγία ζπλσλχκσλ θξάζεσλ απφ ζψκα κεραληθήο κεηάθξαζεο. Σα απνηειέζκαηα πνπ επηηεχρζεθαλ φζνλ αθνξά ην ζθέινο ηεο θαηεγνξηνπνίεζεο ησλ ηζρπξηζκψλ ήηαλ 91% ζηελ πξνζπάζεηα θαηάηαμήο ηνπο ζε 2 θιάζεηο (ππνζηεξηθηηθή, ελάληηα) θαη 67% ζηελ πξνζπάζεηα θαηάηαμεο ζε 3 θιάζεηο (ππνζηεξηθηηθή, ελάληηα, ελαιιαθηηθή πξφηαζε). 24

25 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Η θαηεγνξηνπνίεζε ηεο κειέηεο έγηλε κε ρξήζε Μεραλψλ Γηαλπζκάησλ Τπνζηήξημεο θαζψο θαη κε ην ινγηζκηθφ BoosTexter πνπ είλαη εηδηθεπκέλν γηα ζηελ θαηεγνξηνπνίεζε θεηκέλνπ κε ηε κέζνδν Boosting ε νπνία είλαη κηα γεληθφηεξε κέζνδνο γηα ηελ δεκηνπξγία πνιχ θαλφλσλ πξφβιεςεο κεγάιεο αθξίβεηαο κε ην ζπλδπαζκφ απιψλ θαλφλσλ φρη ηδηαίηεξα πςειήο αθξίβεηαο. 2.7 ΑΛΓΟΡΙΘΜΟΙ ΜΗΥΑΝΙΚΗ ΜΑΘΗΗ Ο άλζξσπνο πξνζπαζεί λα θαηαλνήζεη ην πεξηβάιινλ ηνπ παξαηεξψληαο ην θαη δεκηνπξγψληαο κηα απινπνηεκέλε εθδνρή ηνπ πνπ νλνκάδεηαη κνληέιν. Η δεκηνπξγία κνληέισλ ή πξνηχπσλ απφ έλα ζχλνιν δεδνκέλσλ κε ηε βνήζεηα ελφο ππνινγηζηηθνχ ζπζηήκαηνο νλνκάδεηαη κεραληθή κάζεζε (Βιαράβαο θ.α 2006). Γηα ηηο αλάγθεο ηεο παξνχζαο εξγαζίαο θαη κε βάζε ηελ θαηαιιειφηεηά ηνπο ζηελ απηφκαηε θαηεγνξηνπνίεζε θεηκέλνπ κε βάζε ηε δηεζλή βηβιηνγξαθία επηιέρηεθαλ 3 αιγφξηζκνη κεραληθήο κάζεζεο θαη ζπγθεθξηκέλα θαηεγνξηνπνίεζεο νη νπνίνη πεξηιακβάλνληαη ζηελ θαηεγνξία ηεο επηβιεπφκελεο κάζεζεο, δειαδή ηεο εθπαίδεπζεο κε έλα αξρηθφ ζχλνιν δεδνκέλσλ ηνπ νπνίνπ ε θιάζε είλαη γλσζηή (training set). Απηνί είλαη νη: Κ-Nearest Neighbors, Naïve Bayes θαη νη Μεραλέο δηαλπζκάησλ ππνζηήξημεο (Support Vector Machines). Αλγόριθμος Κ-κοντινότεροι γείτονες (K-Nearest Neighbors) Ο αιγφξηζκνο K-NN είλαη έλαο απ ηνπο απινχζηεξνπο αιγνξίζκνπο κεραληθήο κάζεζεο. Καηαηάζζεη έλα αληηθείκελν ζε κία θιάζε (θαηεγνξία) αλ ζε απηή ηελ θιάζε αλήθεη ε πιεηνςεθία ησλ Κ πιεζηέζηεξσλ γεηηφλσλ ηνπ αληηθεηκέλνπ (ν Κ είλαη έλαο ζεηηθφο αθέξαηνο, πνπ ζηελ πιεηνςεθία ησλ πεξηπηψζεσλ παίξλεη κηθξέο ηηκέο). Οη γείηνλεο απηνί ιακβάλνληαη απφ έλα ζχλνιν αληηθεηκέλσλ ησλ νπνίσλ γλσξίδνπκε ηελ πξαγκαηηθή θιάζε ζηελ νπνία αλήθνπλ θαη ηα νπνία είλαη ζηελ πιεηνςεθία ησλ πεξηπηψζεσλ ηα δεδνκέλα εθπαίδεπζεο (training set). To κέηξν ζχκθσλα κε ην νπνίν ππνινγίδεηαη ε απφζηαζε ελφο αληηθεηκέλνπ απφ έλα γεηηνληθφ ηνπ είλαη ζπρλά ε επθιείδεηα απφζηαζε ε νπνία νξίδεηαη σο εμήο: 25

26 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Αλ x i είλαη έλα αληηθείκελν κε p ραξαθηεξηζηηθά (ρ i1,ρ i2,..,ρ ip ) θαη n είλαη ην πιήζνο ησλ αληηθεηκέλσλ ησλ δεδνκέλσλ πνπ δηαζέηνπκε (i=1,2,,n) ηφηε ε επθιείδεηα απφζηαζε κεηαμχ ησλ αληηθεηκέλσλ xi θαη xl νξίδεηαη σο εμήο d( x, x ) ( x x ) ( x x )... ( x x ) i l i1 l1 i2 l2 ip lp Έλα ελαιιαθηηθφ κέηξν απφζηαζεο πνπ κπνξεί λα ρξεζηκνπνηεζεί είλαη θαη ε απφζηαζε Manhattan πνπ νξίδεηαη σο εμήο: d( x, x ) x x i l ii li i1 p Αλ ππνηεζεί φηη ν εθαξκφδεηαη ε εθδνρή ηνπ αιγνξίζκνπ κε Κ=1 ηφηε ε έληαμε ηνπ αληηθεηκέλνπ ζε θάπνηα θιάζε εμαξηάηαη απνθιεηζηηθά απφ ηνλ θνληηλφηεξφ ηνπ γείηνλα. Σν ινγηζκηθφ Weka πινπνηεί κία παξαιιαγή ηνπ αιγνξίζκνπ ΚΝΝ ν νπνίνο νλνκάδεηαη Ibl (Instance based learning algorithm) θαη ν νπνίνο αλαιχεηαη απφ ηνπο David Aha, Dennis Kibler θαη Marc Albert (1991). Η πην απιή κνξθή ηνπ αιγνξίζκνπ είλαη ν IB1 o νπνίνο είλαη ζρεδφλ ηαπηφζεκνο κε ηνλ ΚΝΝ, κε ηε δηαθνξά φηη θαλνληθνπνηεί ηα ραξαθηεξηζηηθά πξνθεηκέλνπ λα θαηαιακβάλνπλ έλα θνηλφ εχξνο ηηκψλ, επεμεξγάδεηαη απμεηηθά ηα ζηηγκηφηππα (instances) θαη ρξεζηκνπνηεί κία απιή ηαθηηθή γηα ην ρεηξηζκφ ηηκψλ πνπ ιείπνπλ. ηελ πινπνίεζε ηνπ Weka κπνξνχλ λα νξηζηνχλ απφ ην ρξήζηε νη αθφινπζεο παξάκεηξνη γηα ηελ θαηεγνξηνπνίεζε κε βάζε ηνλ αιγφξηζκν Ibl Σνλ αξηζκφ ησλ θνληηλφηεξσλ γεηηφλσλ πνπ ζα ρξεζηκνπνηεζνχλ ζηελ πξφβιεςε (πξνεπηιεγκέλε ηηκή είλαη ε ηηκή 1). Θέηεη έλα ζηαζεξφ κέγεζνο παξαζχξνπ γηα ηελ απμεηηθή επεμεξγαζία ( incremental processing) (εθπαίδεπζε/ έιεγρν). Όζν πξνζηίζεληαη θαηλνχξηα ζηηγκηφηππα εθπαίδεπζεο, ηα παιαηφηεξα αθαηξνχληαη πξνθεηκέλνπ λα 26

27 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε δηαηεξείηαη ν αξηζκφο ησλ ζηηγκηφηππσλ εθπαίδεπζεο ζηαζεξφο ζην κέγεζνο ηνπ παξαζχξνπ. Μπνξνχλ λα απνδνζνχλ βάξε ζηνπο γείηνλεο ηα νπνία θαζνξίδνληαη απφ ην αληίζηξνθν ηεο απφζηαζήο ηνπο απφ ην θαηεγνξηνπνηνχκελν ζηηγκηφηππν. Χο πξνεπηινγή έρεη θαζνξηζηεί νη γείηνλεο λα είλαη ηζνβαξείο. Μπνξνχλ λα απνδνζνχλ βάξε ζηνπο γείηνλεο αλάινγα κε ηελ νκνηφηεηά (similarity) ηνπο. Μπνξεί λα επηιεγεί έλαο αξηζκφο γεηηφλσλ γηα λα ρξεζηκνπνηεζεί απφ ηελ cross validation κε έλα αλψηαην φξην πνπ δίλεηαη απ ηελ επηινγή πνπ έρεη ηεζεί φζνλ αθνξά ηνλ αξηζκφ ησλ γεηηφλσλ πνπ ζα ρξεζηκνπνηεζνχλ. Μπνξεί λα επηιεγεί ε ειαρηζηνπνίεζε ηνπ κέζνπ ηεηξαγσληθνχ ζθάικαηνο φηαλ ν αξηζκφο ησλ γεηηφλσλ επηιέγεηαη κε cross validation (πξνεπηιεγκέλε ηηκή ην κέζν απφιπην ζθάικα.) Σέινο κπνξεί λα απελεξγνπνηεζεί ε θαλνληθνπνίεζε ησλ ηηκψλ ησλ ραξαθηεξηζηηθψλ ησλ ζηηγκηφηππσλ. Οη παξαπάλσ παξάκεηξνη επηηξέπνπλ ζην ρξήζηε λα απνδψζεη θαιχηεξα ηηο ηδηαηηεξφηεηεο ηνπ πξνβιήκαηνο ζηνλ αιγφξηζκν πξνθεηκέλνπ λα επηηεπρζνχλ ηα θαιχηεξα απνηειέζκαηα. Μεραλέο Γηαλπζκάησλ Τπνζηήξημεο (Support Vector Machines) Οη κεραλέο δηαλπζκάησλ ππνζηήξημεο ζηεξίδνληαη ζηε Θεσξία ηαηηζηηθήο Μάζεζεο θαη ζηα λεπξσληθά δίθηπα ηχπνπ Perceptron. Σα ηειεπηαία ρξφληα έρνπλ εδξαησζεί σο κία απφ ηηο πην δηαδεδνκέλεο κεζφδνπο (γξακκηθήο θαη κε) παξεκβνιήο θαη ηαμηλφκεζεο, απνηειψληαο ζπλήζσο ηε βέιηηζηε επηινγή γηα εθαξκνγέο φπσο ε αλαγλψξηζε γξαθήο ε θαηεγνξηνπνίεζε θεηκέλσλ θαη ε ηαμηλφκεζε δεδνκέλσλ έθθξαζε γνληδίσλ (Βιαράβαο θ.α 2006). Οη κεραλέο δηαλπζκάησλ ππνζηήξημεο κπνξνχλ λα εθαξκνζηνχλ ζε πξνβιήκαηα θαηεγνξηνπνίεζεο ελαιιαθηηθά κε ηα δίθηπα Perceptron πνιιαπιψλ επηπέδσλ (Multi Layer Perceptron) ηα νπνία λαη κελ δελ πεξηνξίδνληαη ζε πξνβιήκαηα θαηεγνξηνπνίεζεο πιελ φκσο δελ έρνπλ ηθαλνπνηεηηθνχο ρξφλνπο εθπαίδεπζεο. Οη 27

28 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε κεραλέο δηαλπζκάησλ ππνζηήξημεο κπνξνχλ λα ιχλνπλ κε γξακκηθά πξνβιήκαηα θαη ηαπηφρξνλα λα έρνπλ κηθξνχο ρξφλνπο εθπαίδεπζεο. Παξνπζηάδνπκε εδψ ηελ αξρή ιεηηνπξγίαο ησλ Μεραλψλ δηαλπζκάησλ ππνζηήξημεο βάζεη ηεο αλάιπζεο ηνπ Κσλζηαληίλνπ Γηακαληάξα (2007). Αλ ζεσξεζεί έλα πξφβιεκα ηαμηλφκεζεο 2 θιάζεσλ ζην ρψξν ησλ 2 δηαζηάζεσλ νη νπνίεο είλαη γξακκηθά δηαρσξίζηκεο ζεκαίλεη φηη ππάξρεη έλα δηάλπζκα w θαη έλα θαηψθιη w 0 ηέηνην ψζηε 0, w x C T x 0 w0 0, C1 ην πξφβιεκα απηφ δελ ππάξρεη κφλν κία ιχζε, θαζψο άπεηξα δεχγε (w,w0 ) πνπ κπνξνχλ λα δηαρσξίζνπλ ηηο θιάζεηο. πλεπψο ηίζεηαη ην δήηεκα ηεο εχξεζεο ελφο θξηηεξίνπ αμηνιφγεζεο ησλ ιχζεσλ. Έλα ηέηνην θξηηήξην είλαη ην ιεγφκελν πεξηζψξην ηαμηλφκεζεο (margin) γ κεηαμχ ησλ δχν θιάζεσλ ην νπνίν νξίδεηαη σο ην άζξνηζκα γ=γ 0 +γ 1 ησλ δχν παξαθάησ πεξηζσξίσλ. T w x w0 0 min xc0 w T w x w0 1 min xc1 w Σα κεγέζε γ 0 θαη γ 1 νλνκάδνληαη πεξηζψξηα γηαηί ε ηηκή ηνπο είλαη επζέσο αλάινγε κε ηελ απφζηαζε ηνπ δηαλχζκαηνο x απφ ηε γξακκηθή δηαρσξηζηηθή επηθάλεηα. 28

29 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε πλεπψο νη γ 0 θαη γ 1 είλαη ζεηηθνί θαη αληηζηνηρνχλ ζηελ απφζηαζε ηνπ πην θνληηλνχ πξνηχπνπ ηεο θάζε θιάζεο απφ ηε δηαρσξηζηηθή επηθάλεηα. Όζν ε ηηκή γ 0 πιεζηάδεη πην θνληά ζην 0 ηφζν πην νξηαθή είλαη ε ζσζηή ηαμηλφκεζε ησλ πξνηχπσλ ηεο θιάζεο C 0 αθνχ γηα ηα πξφηππα πνπ είλαη πην θνληά ζηε δηαρσξηζηηθή επηθάλεηα, κηα κηθξή κεηαηφπηζε ζα ηα ζηείιεη ζηελ άιιε άθξε. Σν ίδην ηζρχεη θαη γηα ην γ 1 θαη ηελ θιάζε C 1. Σα πξφηππα x ησλ δχν θιάζεσλ γηα ηα νπνία επηηπγράλνληαη νη ειάρηζηεο απνζηάζεηο γ 0 θαη γ 1 νλνκάδνληαη δηαλχζκαηα ππνζηήξημεο (support vectors). To θαηψθιη w 0 επζχλεηαη γηα ηελ παξάιιειε κεηαηφπηζε ηνπ δηαρσξηζηηθνχ ππεξεπηπέδνπ (ζηελ πεξίπησζε ησλ 2 δηαζηάζεσλ ηεο δηαρσξηζηηθήο επζείαο) ελψ ην δηάλπζκα w επζχλεηαη γηα ηελ θαηεχζπλζε (θιίζε) ηνπ ππεξεπηπέδνπ (επζείαο). Ολνκάδεηαη θαλνληθφ δηαρσξηζηηθφ ππεξεπίπεδν απηφ γηα ην νπνίν Σν θαηψθιη w 0 ηνπνζεηεί ηελ επζεία αθξηβψο ζηε κέζε αλάκεζα ζηηο 2 θιάζεηο, νπφηε γ 0 =γ 1 θαη Η θιηκάθσζε ησλ w θαη w 0 είλαη ηέηνηα ψζηε 1, x C T 0 w x w0 1, xc1 (ηα δεχγε (αw,αw 0 ) θαη (w,w 0 ) πεξηγξάθνπλ αθξηβψο ην ίδην ππεξεπίπεδν (επζεία) ζην ρψξν θαη ε ηηκή γ δελ εμαξηάηαη απφ ηελ θιηκάθσζε α) χκθσλα ινηπφλ κε ηελ παξαπάλσ εμίζσζε γηα έλα θαλνληθφ δηαρσξηζηηθφ ππεξεπίπεδν ηζρχεη min w T x w = min w T x w xc0 0 xc1 2 w 0 =1 θαη γ 0 =γ 1 =1/ w νπφηε 29

30 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Δηθόλα 1: Γηαρσξηζκόο γξακκηθά δηαρσξίζηκσλ θιάζεσλ κε ρξήζε δηαλπζκάησλ ππνζηήξημεο πλεπψο ε αλαδήηεζε ηεο θαηαιιειφηεξεο ιχζεο αλάγεηαη ζην παξαθάησ πξφβιεκα βειηηζηνπνίεζεο Τπνιφγηζε ην ειάρηζην ηεο ζπλάξηεζεο J w, w w 2 Τπφ ηνπο πεξηνξηζκνχο ησλ αληζνηήησλ πνπ δίλνληαη ζηελ αθφινπζε εμίζσζε T di w xi w0 1, i 1,..., P. Σν παξαπάλσ πξφβιεκα βειηηζηνπνίεζεο αλήθεη ζηελ πεξηνρή ηνπ ηεηξαγσληθνχ πξνγξακκαηηζκνχ (quadratic programming). 30

31 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε H κέζνδνο πνπ παξνπζηάζηεθε παξαπάλσ είλαη θαηάιιειε γηα ηελ επίιπζε γξακκηθά δηαρσξίζηκσλ πξνβιεκάησλ. Βαζίδεηαη δειαδή ζηελ ππφζεζε φηη ην πξφβιεκα είλαη γξακκηθά δηαρσξίζηκν θαη έηζη νξίδνληαη ην θαλνληθφ δηαρσξηζηηθφ ππεξεπίπεδν θαη ηα δηαλχζκαηα ππνζηήξημεο. Δπεηδή φκσο πνιιά πξνβιήκαηα δελ είλαη γξακκηθά δηαρσξίζηκα ε κέζνδνο κπνξεί λα επεθηαζεί θαη λα αληηκεησπίζεη επηηπρψο θαη ηα κε δηαρσξίζηκα πξνβιήκαηα κε βαζκφ επηηπρίαο αλάινγν κε ηηο παξακέηξνπο πνπ δίλεη ν ρξήζηεο. Πξνθεηκέλνπ λα επηηεπρζεί απηφ ηξνπνπνηείηαη ην αξρηθφ πξφβιεκα ηεηξαγσληθνχ πξνγξακκαηηζκνχ εηζάγνληαο κεηαβιεηέο ραιαξφηεηαο γηα θάζε έλαλ απφ ηνπο πεξηνξηζκνχο ηεο πξνεγνχκελεο εμίζσζεο T di w xi w0 1 i, i i 1,..., P. Οη κεραλέο δηαλπζκάησλ ππνζηήξημεο κπνξνχλ λα δεκηνπξγήζνπλ γξακκηθέο δηαρσξηζηηθέο επηθάλεηεο κε ζθνπφ ηνλ θαιχηεξν δπλαηφ δηαρσξηζκφ δχν θιάζεσλ είηε απηέο είλαη γξακκηθά δηαρσξίζηκεο είηε φρη. ε πνιιέο πεξηπηψζεηο φκσο νη θιάζεηο είλαη δηαρσξίζηκεο απφ κε γξακκηθέο επηθάλεηεο. ηηο πεξηπηψζεηο απηέο ε ρξήζε ηνπ γξακκηθνχ δηαρσξηζηηθνχ κνληέινπ ζα απνηχγραλε ζηελ ηαμηλφκεζε αξθεηψλ πξνηχπσλ. Μηα απιή επέθηαζε ησλ απνηειεζκάησλ ζηελ πεξίπησζε κεγξακκηθά δηαρσξίζηκσλ θιάζεσλ κπνξεί λα γίλεη κε ηε ρξήζε θάπνηνπ θαηάιιεινπ κε γξακκηθνχ κεηαζρεκαηηζκνχ Φ(.) ππνζέηνληαο φηη ηα κεηαζρεκαηηζκέλα πξφηππα Φ(x 1 ),, Φ(x p ) είλαη πιένλ γξακκηθά δηαρσξίζηκα. ηελ πεξίπησζε απηή ηζρχνπλ ηα ίδηα απνηειέζκαηα κε ηα πξνεγνχκελα κφλν πνπ θάζε πξφηππν xi αληηθαζίζηαηαη κε ην Φ(xi) νπφηε ε βέιηηζηε δηαρσξηζηηθή επηθάλεηα είλαη ή: * T T g x w x w0 idi( xi ) x w0 i1 Οξίδεηαη ε ζπλάξηεζε θ(x,y)=φ(x)tφ(y) ε νπνία θαιείηαη ζπλάξηεζε ππξήλα (kernel) κε ηε ρξήζε ηεο νπνίαο κπνξνχλ λα απινπνηεζνχλ νη πξάμεηο, εηδηθά φηαλ ε δηάζηαζε ηνπ x είλαη κηθξφηεξε απφ ηε δηάζηαζε ηνπ Φ(x) νπφηε ε πξνεγνχκελε εμίζσζε γξάθεηαη σο εμήο: 31

32 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε * g x idik xi, x w0 i1 Οη πην ζπλεζηζκέλεο ζπλαξηήζεηο ππξήλα πνπ ρξεζηκνπνηνχληαη είλαη νη: Γθανπζηαλή RBF: e 2 2 xy 2 Πνιπσλπκηθή: T x y T ηγκνεηδήο: tanh x y p Αληίζηξνθε πνιπηεηξαγσληθή: x y c Δηθόλα 2: Δπίιπζε κε γξακκηθνύ πξνβιήκαηνο κε ρξήζε ζπλάξηεζεο Γθανπζηαλνύ (RBF) ππξήλα (πεγή: Steve R. Gunn 1998) Σν Weka δίλεη ηελ επηινγή ρξήζεο ηεο βηβιηνζήθεο Libsvm ζηελ νπνία ν ρξήζηεο κπνξεί λα ρξεζηκνπνηήζεη κεραλέο δηαλπζκάησλ ππνζηήξημεο γηα ην δηαρσξηζκφ θιάζεσλ. 32

33 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε Απιόο ηαμηλνκεηήο Bayes (Naïve Bayes) Ο ηαμηλνκεηήο Bayes είλαη έλαο απιφο πηζαλνηηθφο ηαμηλνκεηήο πνπ βαζίδεηαη ζηελ εθαξκνγή ηνπ ζεσξήκαηνο ηνπ Bayes κε ηζρπξέο ππνζέζεηο αλεμαξηεζίαο. Ο ηαμηλνκεηήο ππνζέηεη φηη ε παξνπζία (ή ε απνπζία ) θάπνηνπ ζπγθεθξηκέλνπ ραξαθηεξηζηηθνχ κηαο θιάζεο δε ζπζρεηίδεηαη κε ηελ παξνπζία θαλελφο άιινπ ραξαθηεξηζηηθνχ. Παξά ηνλ απιφ ηνπ ζρεδηαζκφ θαη ηηο ππεξαπινπζηεπκέλεο ππνζέζεηο ηνπο νη απινί ηαμηλνκεηέο Bayes έρνπλ απνδψζεη αξθεηά θαιά ζε πνιιά ζχλζεηα πξνβιήκαηα. Έλα πιενλέθηεκα ηνπ απινχ ηαμηλνκεηή Bayes είλαη φηη δελ απαηηεί πνιιά δεδνκέλα εθπαίδεπζεο γηα λα εθηηκήζεη ηηο απαξαίηεηεο παξακέηξνπο γηα ηελ ηαμηλφκεζε. Δπεηδή ππνηίζεληαη αλεμάξηεηεο κεηαβιεηέο κφλν νη δηαθπκάλζεηο ησλ κεηαβιεηψλ θάζε θιάζεο θαζνξίδεηαη θαη φρη νιφθιεξνο ν πίλαθαο ζπλδηαθχκαλζεο. H πνζφηεηα P πνπ πεξηγξάθεη έλαλ απιφ ηαμηλνκεηή Bayes γηα έλα ζχλνιν παξαδεηγκάησλ εθθξάδεη ηελ πηζαλφηεηα λα είλαη c ε ηηκή ηεο εμαξηεκέλεο κεηαβιεηήο C κε βάζε ηηο ηηκέο ρ=(ρ 1,ρ 2,..,ρ n ) ησλ ραξαθηεξηζηηθψλ (X 1,X 2, Xn) θαη δίλεηαη απ ηελ παξαθάησ ζρέζε P c x P c P( x c) i i Όπνπ ηα ραξαθηεξηζηηθά Υi ζεσξνχληαη αλεμάξηεηα κεηαμχ ηνπο. Ο ππνινγηζκφο ηεο παξαπάλσ πνζφηεηαο γηα έλα ζχλνιν Ν παξαδεηγκάησλ γίλεηαη κε βάζε ηηο ζρέζεηο: Pc N c / N i, P( x c) N x c / N c γηα ραξαθηεξηζηηθφ Υ i κε δηαθξηηέο ηηκέο. i 2 i g xi, c, P x c Όπνπ Ν(c) γηα ραξαθηεξηζηηθφ Υ i κε αξηζκεηηθέο ηηκέο. είλαη ν αξηζκφο ησλ παξαδεηγκάησλ πνπ έρνπλ ζηελ εμαξηεκέλε κεηαβιεηή ηελ ηηκή c, N(ρ i,c) είλαη ν αξηζκφο ησλ παξαδεηγκάησλ πνπ έρνπλ γηα ην ραξαθηεξηζηηθφ Υi θαη ηελ εμαξηεκέλε κεηαβιεηή, ηηκέο ρ i θαη c αληίζηνηρα θαη 33

34 Κεθάιαην 2 Βηβιηνγξαθηθή επηζθφπεζε 2 g xi, c, είλαη ε ζπλάξηεζε ππθλφηεηαο πηζαλφηεηαο Gauss κε κέζν φξν κc θαη δηαζπνξά ζc γηα ην ραξαθηεξηζηηθφ Xi. Δπεηδή ε πνζφηεηα Pc x ζχκθσλα κε ηελ παξαπάλσ ζρέζε ππνινγίδεηαη κε εθηίκεζε απφ ηα δεδνκέλα, γίλεηαη θαλνληθνπνίεζε απηψλ ησλ ηηκψλ ψζηε λα δίλνπλ άζξνηζκα 1 δειαδή 2.8 ΤΜΠΕΡΑΜΑΣΑ P c x 1 (Βιαράβαο θ.α 2006). c πλνςίδνληαο, θαη θξίλνληαο κε βάζε ηα ζπκπεξάζκαηα πνπ πξνθχπηνπλ απφ ηε κειέηε ηεο ζρεηηθήο βηβιηνγξαθίαο πξνθχπηεη ην ζπκπέξαζκα φηη έλα εξγαιείν απηφκαηεο εμφξπμεο γλψκεο ησλ πνιηηψλ είλαη ηδηαίηεξα ρξήζηκν γηα ηελ πξνψζεζε ηεο ειεθηξνληθήο δηαθπβέξλεζεο θαη ηεο ειεθηξνληθήο δεκνθξαηίαο. Αθεηέξνπ θξίλνληαο απ ηηο κειέηεο πνπ έγηλαλ πάλσ ζηνλ θιάδν ηεο απηφκαηεο θαηεγνξηνπνίεζεο θεηκέλνπ γίλεηαη εκθαλέο φηη νη κέζνδνη θαη νη αιγφξηζκνη ηεο κεραληθήο κάζεζεο ζε ζπλδπαζκφ κε κεζφδνπο ηεο γισζζηθήο ηερλνινγίαο είλαη αξθεηά ηθαλνπνηεηηθέο σο πξνο ηα απνηειέζκαηα ηνπο θαη σο εθ ηνχηνπ θξίλνληαη θαηάιιειεο γηα ρξήζε ζε κηα πξψηε πξνζπάζεηα δεκηνπξγίαο ελφο αληίζηνηρνπ εξγαιείνπ γηα ηελ ειιεληθή γιψζζα θαη ζηα πιαίζηα ηεο αλνηθηήο δηαθπβέξλεζεο. Οη αιγφξηζκνη κεραληθήο κάζεζεο πνπ επηιέρζεθαλ είλαη απηνί πνπ ζπλαληψληαη πην ζπρλά ζηελ βηβιηνγξαθία θαη δίλνπλ ηα θαιχηεξα απνηειέζκαηα. Σέινο πξέπεη λα εηπσζεί φηη ην αληηθείκελν ηεο θαηεγνξηνπνίεζεο θεηκέλνπ πνπ αθνξά ζέκαηα πνιηηηθήο θαη δηαθπβέξλεζεο απνηειεί αθφκε πην δχζθνιν εγρείξεκα ζε ζρέζε κε ηελ θαηεγνξηνπνίεζε θεηκέλνπ πνπ αθνξά θάπνην πξντφλ (γηα ηα νπνία έρεη εθπνλεζεί ν θχξηνο φγθνο ησλ κειεηψλ), θαζψο ζε έλα πνιηηηθφ θείκελν ν ζπγγξαθέαο κπνξεί λα εθθέξεη άπνςε πνπ κπνξεί λα εθηείλεηαη ζε πνιχ πην επξχ θάζκα απ φηη κηα απιή θξηηηθή πξντφληνο. 34

35 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα 3 ΜΔΘΟΓΟΛΟΓΙΑ-ΑΠΟΣΔΛΔΜΑΣΑ 3.1 ΓΕΝΙΚΑ ην θεθάιαην απηφ γίλεηαη πεξηγξαθή ηεο κεζνδνινγίαο πνπ αθνινπζήζεθε απφ ην ζηάδην ηεο ζπιινγήο ησλ θεηκέλσλ κέρξη θαη ηελ εμαγσγή θαη αμηνιφγεζε ησλ απνηειεζκάησλ ηεο θαηεγνξηνπνίεζεο. Γηα ηηο αλάγθεο ηεο εξγαζίαο ρξεζηκνπνηήζεθε ην ινγηζκηθφ αλνηρηνχ θψδηθα Weka. To Weka δηαηίζεηαη ειεχζεξα ππφ ηελ GNU General Public License θαη δηαζέηεη κία ζπιινγή απφ εξγαιεία νπηηθνπνίεζεο θαη αιγνξίζκνπο γηα αλάιπζε δεδνκέλσλ θαη δεκηνπξγία κνληέισλ πξφβιεςεο. Μπνξεί λα ελζσκαησζεί ζε άιιεο εθαξκνγέο αιιά δηαζέηεη θαη κία γξαθηθή δηεπαθή ρξήζηε πνπ θαζηζηά εχθνιε ηε ρξήζε ησλ δπλαηνηήησλ ηνπ. Λφγσ ηνπ γεγνλφηνο φηη έρεη πινπνηεζεί πιήξσο ζηε γιψζζα Java, αλ θαη ε αξρηθή ηνπ έθδνζε δελ ήηαλ ζε απηή, ηνπ εμαζθαιίδεη κεγάιε θνξεηφηεηα. Σν Weka ππνζηεξίδεη ηηο πην πνιιέο απ ηηο ζπλεζηζκέλεο εξγαζίεο πνπ ππάγνληαη ζηνλ επηζηεκνληθφ θιάδν ηεο εμφξπμεο γλψζεο φπσο είλαη ε πξνεπεμεξγαζία δεδνκέλσλ (data preprocessing), νκαδνπνίεζε(clustering), θαηεγνξηνπνίεζε (classification), εμαγσγή θαλφλσλ ζπζρέηηζεο (association rules), παιηλδξφκεζε (regression), νπηηθνπνίεζε (visualization) θαη επηινγή ραξαθηεξηζηηθψλ (feature selection). Σν Weka πξνζθέξεη πξφζβαζε ζε βάζεηο δεδνκέλσλ κε ρξήζε ηεο δπλαηφηεηαο δηαζχλδεζεο ηεο γιψζζαο Java κε βάζεηο δεδνκέλσλ. Η θχξηα δηεπαθή ηνπ weka είλαη ν explorer κε ρξήζε ηνπ νπνίνπ ν ρξήζηεο κπνξεί κέζσ παξαζχξσλ λα θάλεη ρξήζε ησλ θχξησλ δπλαηνηήησλ, φκσο νη ίδηεο δπλαηφηεηεο είλαη δπλαηφ λα ρξεζηκνπνηεζνχλ θαη απφ ηελ γξακκή εληνιψλ. Οη απαξαίηεηεο ελέξγεηεο πνπ πξέπεη λα πξνεγνχληαη θάζε ελέξγεηαο εμφξπμεο γλψζεο απφ δεδνκέλα (ζρ.3) είλαη ε ζπιινγή δεδνκέλσλ θαη ε πξνεπεμεξγαζία. Η 35

36 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα ηειεπηαία πεξηιακβάλεη θαζαξηζκφ ησλ δεδνκέλσλ απφ ειιηπείο θαηαρσξήζεηο θαη πξνζαξκνγή ζηε κνξθή πνπ απαηηεί ε εθαξκνγή. Σν ζηάδην ηεο εμφξπμεο γλψζεο απφ δεδνκέλα πεξηιακβάλεη γηα ηηο επηβιεπφκελεο κεζφδνπο δχν βήκαηα: ηελ εθπαίδεπζε ηνπ αιγνξίζκνπ/ζπζηήκαηνο θαη ηνλ έιεγρν. ηελ πεξίπησζε ηνπ opengov ρξεζηκνπνηνχκε κηα επηβιεπφκελε κέζνδν, ηελ θαηεγνξηνπνίεζε, επηιέγνπκε γλσζηνχο αιγνξίζκνπο θαηεγνξηνπνίεζεο (κε θαηάιιειεο πξνζαξκνγέο πνπ ζα εμεγήζνπκε ζηε ζπλέρεηα) θαη γηα λα επαιεζεχζνπκε ηηο επηδφζεηο ηνπο ρξεζηκνπνηνχκε θαη γηα ηελ εθπαίδεπζε θαη γηα ηνλ έιεγρν δείγκαηα γλσζηήο, ζε εκάο, θαηεγνξηνπνίεζεο. ηελ εθπαίδεπζε ε θαηεγνξηνπνίεζε είλαη γλσζηή θαη ζηνλ αιγφξηζκν, ζηνλ έιεγρν φκσο φρη. Γηα ηελ αμηνιφγεζε ζπγθξίλνπκε ηα απνηειέζκαηα ηνπ αιγνξίζκνπ γηα ηα δείγκαηα ειέγρνπ κε απηά πνπ γλσξίδνπκε. Φπζηθά κφιηο νινθιεξσζεί κε επηηπρία ε δηαδηθαζία αμηνιφγεζεο, ν αιγφξηζκνο κπνξεί πιένλ λα εθαξκνζηεί ζε κε θαηεγνξηνπνηεκέλα δείγκαηα. Παξαηίζεηαη έλα ζρήκα ζην νπνίν απεηθνλίδεηαη ζρεκαηηθά ε ζπλνιηθή δηαδηθαζία ηεο εμφξπμεο γλψκεο απφ ειεχζεξν θείκελν πάλσ ζηελ νπνία βαζίζηεθε θαη ε αθνινπζνχκελε κεζνδνινγία ζηελ παξνχζα εξγαζία. 36

37 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Κείκελα ζηελ αξρηθή ηνπο κνξθή. Δθαξκνγή κεζφδσλ ζπιινγήο θεηκέλνπ Οξγαλσκέλα αξρεία ζε θαθέινπο θαη αξρεία Δθαξκνγή κεζφδσλ γισζζηθήο ηερλνινγίαο Πξνεπεμεξγαζκέλα θείκελα Υξήζε θαηάιιεινπ ινγηζκηθνχ. Κείκελα κεηαζρεκαηηζκέλα ζε δηαλπζκαηηθή κνξθή Δθαξκνγή κεζφδσλ κεραληθήο κάζεζεο Γλώζε γηα ηελ ζπλνιηθή άπνςε πνπ εθθξάδεηαη Δηθόλα 3: Γηαδηθαζία εμόξπμεο γλώκεο από θείκελα 37

38 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα 3.2 ΤΛΛΟΓΗ ΣΩΝ ΚΕΙΜΕΝΩΝ ηνλ δηθηπαθφ ηφπν ηνπ opengov ηα ζρφιηα είλαη θαηαλεκεκέλα αλά ππνπξγείν θαη αλά ζεκαηηθή ελφηεηα δηαβνχιεπζεο. Δπεηδή καο ελδηαθέξεη λα δεκηνπξγήζνπκε κηα εθαξκνγή πνπ ζα δηαθξίλεη κεηαμχ αξλεηηθψλ, ζεηηθψλ θαη νπδέηεξσλ ζρνιίσλ, θαη θαζψο ε πιεξνθνξία απηή δε δηαηίζεηαη άκεζα απφ ην δηθηπαθφ ηφπν, γηα ηε δεκηνπξγία ηνπ ζπλφινπ εθπαίδεπζεο (training set) πξνρσξήζακε ζε ρεηξσλαθηηθή θαηεγνξηνπνίεζε ησλ ζρνιίσλ θάηη πνπ πξνυπνζέηεη θαη ηελ αλάγλσζή ηνπο. Δπηιέρζεθε σο πην εχθνιε ιχζε ε δεκηνπξγία θαη ρξήζε ελφο script ην νπνίν αληηγξάθεη απφ θάζε ζεκαηηθή ελφηεηα ηα ζρφιηα ησλ πνιηηψλ ζε μερσξηζηά αξρεία θεηκέλνπ(.txt) θαη ηα ηνπνζεηεί ζε θαθέινπο αλάινγα κε ηελ θιάζε ηνπο ηελ νπνία επηιέγεη ν ρξήζηεο κεηά ηελ αλάγλσζε. 3.3 ΠΡΟΕΠΕΞΕΡΓΑΙΑ ΣΩΝ ΚΕΙΜΕΝΩΝ Όπσο πξναλαθέξζεθε, ηα ζρφιηα ηνπνζεηήζεθαλ ζε μερσξηζηνχο θαθέινπο αλάινγα κε ηελ θιάζε ζηελ νπνία αλήθνπλ ζε μερσξηζηά αξρεία ηχπνπ.txt κε ηελ θσδηθνπνίεζε ANSI. Καηφπηλ θαη γηα λα κεηαηξαπνχλ ζε δηαλπζκαηηθή κνξθή νχησο ψζηε λα κπνξνχλ λα ηχρνπλ επεμεξγαζίαο κε ηνπο αιγνξίζκνπο κεραληθήο κάζεζεο ηνπ ινγηζκηθνχ Weka έγηλε ρξήζε δχν θιάζεσλ πξνεπεμεξγαζίαο (filtering) πνπ πξνζθέξεη ην Weka, ησλ: TextDirectoryLoader θαη StringToWordVector. TextDirectoryLoader Η θιάζε TextDirectoryLoader δέρεηαη σο input έλα θάθειν κε ππνθαθέινπο ηα νλφκαηα ησλ νπνίσλ απνηεινχλ θαη ηα νλφκαηα ησλ δηαθνξεηηθψλ θιάζεσλ βάζεη ησλ νπνίσλ ζέινπκε λα γίλεη ε θαηεγνξηνπνίεζε. Σν output πνπ παξάγεηαη είλαη έλα αξρείν ηχπνπ.arff ζην νπνίν ηα θείκελα έρνπλ ηνπνζεηεζεί ζε κία ζεηξά θεηκέλνπ ην θαζέλα θαη είλαη θαηεγνξηνπνηεκέλα ζε 2 θιάζεηο αλάινγα κε ηα νλφκαηα ησλ ππνθαθέισλ ηνπο. Γίλεηαη επίζεο ε δπλαηφηεηα ην φλνκα ηνπ θεληξηθνχ θαθέινπ λα απνζεθεπζεί ζην θάθειν σο έλα επηπιένλ ραξαθηεξηζηηθφ. 38

39 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Πξέπεη λα επηζεκαλζεί φηη πξνθεηκέλνπ λα κπνξεί λα ρεηξηζηεί θείκελα κε ειιεληθή θσδηθνπνίεζε (Windows-1253) ε θιάζε έγηλαλ θάπνηεο ηξνπνπνηήζεηο ζηνλ πεγαίν θψδηθά ηεο. StringToWordVector H θιάζε StringToWordVector δέρεηαη σο input έλα αξρείν ηχπνπ.arff ην νπνίν έρεη παξαρζεί κε ηε δηαδηθαζία πνπ πεξηγξάθεθε γηα ηελ TextDirectoryLoader θαη παξάγεη έλα λέν αξρείν, ζην νπνίν ηα θείκελα (string attributes) κεηαηξέπνληαη ζε έλα ζχλνιν ραξαθηεξηζηηθψλ (attributes) πνπ αλαπαξηζηνχλ πιεξνθνξία ζρεηηθά κε ηελ εκθάληζε ελφο ζπλφινπ ιέμεσλ ζην θάζε θείκελν. Σν ζχλνιν απηφ ησλ ιέμεσλ δεκηνπξγείηαη απφ ηηο ππάξρνπζεο ζην αξρείν πνπ επεμεξγάδεηαη ε θιάζε, ή ζηελ πεξίπησζε πνπ επεμεξγάδεηαη ηαπηφρξνλα πεξηζζφηεξα ηνπ ελφο αξρεία απ ηηο ππάξρνπζεο ζην πξψην απ απηά. Οη θπξηφηεξεο επηινγέο πνπ πξνζθέξεη ε θιάζε φζνλ αθνξά ηε κνξθή θαη ηηο ηδηφηεηεο ηνπ λένπ αξρείνπ πνπ παξάγεη είλαη νη εμήο: Γηαλπζκαηηθή αλαπαξάζηαζε κε ηηο ζπρλφηεηεο εκθάληζεο ησλ ιέμεσλ ή δπαδηθή αλαπαξάζηαζε πνπ ζπλίζηαηαη ζην λα δίλεηαη ε ηηκή 1 φηαλ εκθαλίδεηαη ε ιέμε θαη ζηελ ηηκή 0 φηαλ δελ εκθαλίδεηαη. Η επηινγή απηή θαζνξίδεηαη κε ηελ παξάκεηξν C Γηαλπζκαηηθή αλαπαξάζηαζε κε κεηαηξνπή ησλ ζπρλνηήησλ εκθάληζεο ησλ ιέμεσλ ζηε κνξθή log(1+f ij ) (Tf) φπνπ f ij είλαη ε ζπρλφηεηα εκθάληζεο ηεο ιέμεο i ζην θείκελν j. H κνξθή απηή έλα ηππηθφ κέηξν ινγαξηζκηθνχ ππνινγηζκνχ ηεο ζπρλφηεηαο ησλ φξσλ (Witten&Frank 2005). Η επηινγή γίλεηαη κε ηελ πξνζζήθε ηεο παξακέηξνπ Σ Γηαλπζκαηηθή αλαπαξάζηαζε κε κεηαηξνπή ησλ ζπρλνηήησλ εκθάληζεο ησλ ιέμεσλ ζηε κνξθή f ij *log(αξηζκφο θεηκέλσλ/αξηζκφο θεηκέλσλ κε ηελ ιέμε i) (Idf). H επηινγή γίλεηαη κε ηελ πξνζζήθε ηεο παξακέηξνπ Ι. Έλα ζπλεζηζκέλν κέηξν δηαλπζκαηηθήο αλαπαξάζηαζεο θεηκέλσλ κε ζθνπφ ηελ θαηεγνξηνπνίεζε θαη ηελ εμφξπμε γλψζεο είλαη ην Tf-Idf. Η ζπρλφηεηα ηεο ιέμεο πνιιαπιαζηάδεηαη κε έλαλ παξάγνληα πνπ εμαξηάηαη απφ ην πφζν ζπρλά ρξεζηκνπνηείηαη ε ιέμε θαη ζηα ππφινηπα θείκελα. Η ηδέα πνπ θξχβεηαη πίζσ απ απηφ είλαη φηη έλα έγγξαθν ραξαθηεξίδεηαη θπξίσο απφ ηηο ιέμεηο πνπ εκθαλίδνληαη ζπρλά ζε απηφ, θάηη πνπ απεηθνλίδεηαη ζηνλ πξψην 39

40 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα παξάγνληα ηεο ζρέζεο, πιελ φκσο ησλ ιέμεσλ πνπ εκθαλίδνληαη ζε θάζε θείκελν ή ζρεδφλ ζε θάζε θείκελν θάηη πνπ απεηθνλίδεηαη ζηνλ δεχηεξν παξάγνληα. Σν ΣFxIDF αλαθέξεηαη φρη κφλν ζε απηή ηε ζπγθεθξηκέλε ζρέζε αιιά απνηειεί θη έλαλ γεληθφηεξν φξν ζηνλ νπνίν ππάγνληαη κέηξα ηνπ ηδίνπ ηχπνπ. Γηα παξάδεηγκα ν φξνο ηεο ζπρλφηεηαο κπνξεί λα αληηθαηαζηαζεί απφ έλα ινγαξηζκηθφ φξν φπσο ν log(1+f ij ) (Witten & Frank 2005). Γηα λα πινπνηεζεί ε δεχηεξε κνξθή ηνπ ηχπνπ κε ηε ρξήζε ηεο θιάζεο ρξεζηκνπνηνχληαη ζε ζπλδπαζκφ νη παξάκεηξνη T θαη I. Γηαλπζκαηηθή αλαπαξάζηαζε κε θαλνληθνπνίεζε ησλ ζπρλνηήησλ εκθάληζεο ησλ ιέμεσλ. Δπηινγή ηνπ αξηζκνύ ησλ ιέμεσλ πνπ ζα απαξηίζνπλ ην ιεμηθφ ησλ ραξαθηεξηζηηθψλ(attributes). Με ηε ρξήζε ηεο επηινγήο απηήο ν ρξήζηεο νξίδεη έλαλ αθέξαην αξηζκφ Ν, θαη ε θιάζε δεκηνπξγεί αξρείν κε ιεμηθφ πνπ απαξηίδεηαη απφ ηηο Ν πην ζπρλέο ιέμεηο πνπ ζπλαληψληαη ζην ζχλνιν ησλ θεηκέλσλ. Η πξνεπηιεγκέλε ηηκή είλαη 1000 ιέμεηο θαη ε επηινγή γίλεηαη κε ηε ρξήζε ηεο παξακέηξνπ W. Mε ζπκπεξίιεςε ιέμεσλ ζην ιεμηθφ πνπ δεκηνπξγείηαη. πλήζσο ζε εξγαζίεο θαηεγνξηνπνίεζεο θεηκέλσλ ν ρξήζηεο δε ζέιεη λα ζπκπεξηιακβάλνληαη ζην ζχλνιν ησλ ραξαθηεξηζηηθψλ (attributes) ιέμεηο νη νπνίεο δε θέξνπλ θάπνην ζεκαζηνινγηθφ πξνζαλαηνιηζκφ θαη σο εθ ηνχηνπ δελ πξνζθέξεη θάηη ε ρξήζε ηνπο (stopwords). Η θιάζε δίλεη ηελ επηινγή ηεο αθαίξεζεο ηέηνησλ ιέμεσλ. Γηα λα γίλεη απηφ ν ρξήζηεο ρξεζηκνπνηψληαο ηελ παξάκεηξν S δίλεη ην φλνκα ελφο txt αξρείνπ πνπ πεξηέρεη απηέο ηηο ιέμεηο. Μεηαηξνπή όισλ ησλ γξακκάησλ ζε πεδά πξνθεηκέλνπ λα κε γίλεηαη δηπιή εκθάληζε ησλ ηδίσλ ιέμεσλ ιφγσ ηνπ φηη έρνπλ γξαθεί άιιεο κε θεθαιαία θαη άιιεο κε πεδά. Καζνξηζκόο ραξαθηήξσλ δηαρσξηζκνύ ιέμεσλ (delimiters). H θιάζε πξνζθέξεη ηε δπλαηφηεηα λα θαζνξηζηνχλ απ ην ρξήζηε νη ραξαθηήξεο βάζεη ησλ νπνίσλ απηή ζα δηαρσξίζεη ην θείκελν πνπ δέρεηαη σο δεδνκέλν ζε ιέμεηο-ραξαθηεξηζηηθά (attributes). Πξνεπηιεγκέλνη ραξαθηήξεο είλαη νη: " \n\t.,:'\\\"()?!\" θαη ν θαζνξηζκφο γίλεηαη κε ηελ παξάκεηξν D 40

41 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δλδηάκεζα ηεο ρξήζεο ησλ δχν θιάζεσλ γίλεηαη θαη αθαίξεζε ησλ ζεκείσλ ζηίμεο θαζψο θαη ησλ αξηζκεηηθψλ ζπκβφισλ πνπ δελ είλαη απαξαίηεηα. Απηφ έγηλε κε ηε ρξήζε θψδηθα java. Δπεηδή θάζε θνξά πνπ γίλεηαη ε ρξήζε ηεο θιάζεο StringToWordVector δίλνληάο ηεο σο input έλα αξρείν απηή παξάγεη έλα δηαθνξεηηθφ ιεμηθφ αλάινγα κε ηηο ιέμεηο πνπ πεξηέρνληαη ζηα θείκελά ηνπ, θη επεηδή ην Weka γηα λα ρξεζηκνπνηήζεη 2 δηαθνξεηηθά αξρεία εθ ησλ νπνίσλ ζα είλαη ην ζχλνιν δεδνκέλσλ εθπαίδεπζεο θαη ην άιιν ην ζχλνιν δεδνκέλσλ ειέγρνπ πξέπεη απηά λα είλαη πιήξσο ζπκβαηά, δειαδή λα έρνπλ αλαπαξαζηαζεί δηαλπζκαηηθά κε βάζε ην ίδην ιεμηθφ, ρξεζηκνπνηήζεθε ε δπλαηφηεηα ηεο νκαδνπνηεκέλεο επεμεξγαζίαο (batch filtering) πνπ πξνζθέξεη ην Weka. πγθεθξηκέλα ν ρξήζηεο δειψλεη ζηελ θιάζε StringToWordVector έλα αξρείν ην νπνίν ρξεζηκεχεη ζαλ βάζε δεκηνπξγίαο ηνπ ιεμηθνχ θαη ην νπνίν κε ηε κεηαηξνπή ηνπ ζα απνηειέζεη ην ζχλνιν δεδνκέλσλ εθπαίδεπζεο θαζψο θαη έλα αξρείν ην νπνίν ζα απνηειέζεη ην ζχλνιν δεδνκέλσλ ειέγρνπ, θαη ην ιεμηθφ ηνπ νπνίνπ ζα δεκηνπξγεζεί βάζεη ησλ ιεμηθνχ ηνπ πξψηνπ αξρείνπ. Η δπλαηφηεηα απηή κπνξεί λα ρξεζηκνπνηεζεί θαη ζηελ πεξίπησζε πνπ ζέινπκε λα ρξεζηκνπνηήζνπκε έλα θαη κφλν αξρείν γηα εθπαίδεπζε θαη έιεγρν αιιά ζέινπκε λα δεκηνπξγήζνπκε ην ιεμηθφ ηνπ κε βάζε θάπνην άιιν. Οινθιεξσκέλν παξάδεηγκα αθνινπζνύκελεο δηαδηθαζίαο Αθνινπζεί έλα παξάδεηγκα θαηεγνξηνπνίεζεο θεηκέλνπ απ ην αξρηθφ κέρξη ην ηειηθφ ζηάδην γηα ηελ θαιχηεξε απεηθφληζε ηεο δηαδηθαζίαο. 41

42 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 4: ρόιην όπσο θαίλεηαη αλαξηεκέλν ζην δηθηπαθό ηόπν H αξρηθή κνξθή ησλ ζρνιίσλ έηζη φπσο αλαξηνχληαη ζηνλ ηζηνηφπν θαίλεηαη ζην παξαπάλσ ζρήκα. Αθνχ δηαβάζηεθαλ πξνθεηκέλνπ λα δεκηνπξγεζεί κηα θξίζε ζρεηηθά κε ην θαηά πφζνλ εθθέξνπλ ζεηηθή ή αξλεηηθή άπνςε ζπιιέρζεθαλ κε ηε βνήζεηα script πνπ δεκηνπξγήζεθε εηδηθά γη απηφ ην ζθνπφ θαη ηνπνζεηνχληαη ζε θάθεινπο κε ηηο νλνκαζίεο class1 class2 θαη class3 αλάινγα κε ην ζε πνηα θιάζε απνθαζίζηεθε λα θαηαηαρζνχλ (εηθνλα 5). Δηθόλα 5: Απνζεθεπκέλα ζρόιηα ζε δηαθνξεηηθά αξρεία θαη θαθέινπο Αθνχ ηνπνζεηεζνχλ ζηνπο θαθέινπο έρνπλ ηελ αθφινπζε κνξθή ζε έλαλ text editor (εηθφλα 6). 42

43 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 6: Μνξθή ηνπ ζρνιίνπ ζε αξρείν θεηκέλνπ Καηφπηλ θαη κεηά απφ επεμεξγαζία κε ηελ θιάζε TextDirectoryToArff φια ηα αξρεία ηνπνζεηνχληαη ζε έλα εληαίν αξρείν κε κνξθή αλαγλσξίζηκε απ ην ινγηζκηθφ Weka. Έρνπλ δειαδή ηελ επέθηαζε.arff. Σν θείκελν πνπ πεξηέρεηαη ζε θαζέλα απ ηα αξρηθά αξρεία έρεη ηνπνζεηεζεί ζε κία γξακκή ηνπ αξρείνπ πνπ παξάγεηαη απ ηελ θιάζε. Δπίζεο ηα ζεκεία ζηίμεο έρνπλ αθαηξεζεί θαη ηα γξάκκαηα έρνπλ γίλεη φια πεδά. Σν αξρηθφ ζρφιην θαίλεηαη ζην παξαθάησ ζρήκα επηζεκαζκέλν. 43

44 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 7: Αξρείν πνπ παξάγεηαη απ' ηελ θιάζε TextDirectoryLoader Αληίζηνηρα ζηηο πεξηπηψζεηο πνπ επηιέρζεθε ε απνθνπή ηνπ ζέκαηνο ησλ ιέμεσλ θαη ε αθαίξεζε ηεο ιίζηαο ησλ stopwords ρξεζηκνπνηήζεθε εθαξκνγή java πνπ θαηαζθεπάζηεθε εηδηθά γη απηφ ην ζθνπφ θαη ζπλδπάδεη ηε ρξήζε ηεο θιάζεο TextDirectoryLoader κε ηνλ ειιεληθφ stemmer θαζψο επίζεο αθαηξεί ηα ζεκεία ζηίμεο απ ηα θείκελα θαη φζεο ιέμεηο πεξηέρνληαη ζην εηδηθφ αξρείν θεηκέλνπ πνπ πεξηέρεη ηα stopwords. To ηειηθφ απνηέιεζκα θαίλεηαη ζην παξαθάησ ζρήκα θαη ην αξρηθφ ζρφιην είλαη επηζεκαζκέλν κε ηελ ηειηθή ηνπ κνξθή. 44

45 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 8: Αξρείν πνπ παξάγεηαη απ' ηελ TextDirectoryLoader κε ρξήζε stemming θαη stopword removal Καηφπηλ κε εθαξκνγή ηεο θιάζεο ηνπ Weka StringToWordVector ην αξρείν πνπ παξάρζεθε πξνεγνπκέλσο κεηαηξέπεηαη ζε δηαλπζκαηηθή κνξθή φπσο θαίλεηαη ζην παξαθάησ ζρήκα κε δηάθνξεο επηινγέο (κέγεζνο ιεμηθνχ, ζπρλφηεηεο ιέμεσλ, TF- IDF θ.ι.π). Η κεηαηξνπή ηνπ αξρηθνχ ζρνιίνπ ζε δηαλπζκαηηθή απεηθφληζε κε ηε ρξήζε ηνπ κέηξνπ TF-IDF θαίλεηαη ζηελ γξακκή πνπ έρεη επηζεκαλζεί. 45

46 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 9:Γηαλπζκαηηθή αλαπαξάζηαζε ησλ θεηκέλσλ Μεηά ην ζηάδην ηεο πξνεπεμεξγαζίαο ην ηειηθφ αξρείν πνπ παξάγεηαη εηζάγεηαη ζην Weka γηα λα γίλεη ε θαηεγνξηνπνίεζε. Η εηζαγσγή γίλεηαη ζηελ θαξηέια preprocess φπνπ εκθαλίδεηαη ε ιίζηα ησλ ραξαθηεξηζηηθψλ βάζεη ησλ νπνίσλ ζα γίλεη ε θαηεγνξηνπνίεζε φπσο θαίλεηαη ζην ζρήκα 10 46

47 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 10: Καξηέια preprocess ηνπ ινγηζκηθνύ Weka Σέινο ζηελ θαξηέια Classify γίλνληαη νη ηειηθέο επηινγέο, φπσο ην πνηνο αιγφξηζκνο ζα ρξεζηκνπνηεζεί, κε πνηεο παξακέηξνπο, αλ ζα ρξεζηκνπνηεζεί μερσξηζηφ ζχλνιν δεδνκέλσλ εθπαίδεπζεο θαη ειέγρνπ, θαζψο ν ηξφπνο εκθάληζεο ησλ απνηειεζκάησλ θαη ε απνζήθεπζε ηνπ παξαγφκελνπ κνληέινπ γηα κειινληηθή ρξήζε. ην ζρήκα 11 θαίλεηαη ε θαηεγνξηνπνίεζε ησλ θεηκέλσλ ηνπ αξρείνπ κε ηε ρξήζε ησλ Μεραλψλ Γηαλπζκάησλ Τπνζηήξημεο (SVM) θαη φπσο θαίλεηαη απ ην πεδίν classifier output ζηε ζεηξά πνπ έρεη επηζεκαλζεί, ην αξρηθφ ζρφιην θαηεγνξηνπνηήζεθε ζσζηά απ ηνλ αιγφξηζκν. 47

48 Κεθάιαην 3 Μεζνδνινγία-Απνηειέζκαηα Δηθόλα 11: Καξηέια Classify ηνπ Weka 3.4 ΚΑΣΗΓΟΡΙΟΠΟΙΗΗ ΣΩΝ ΚΕΙΜΕΝΩΝ ηελ ελφηεηα απηή παξνπζηάδνληαη ηα πεηξάκαηα πνπ δηεμήρζεζαλ γηα ηελ ηειηθή θαηεγνξηνπνίεζε ησλ θεηκέλσλ. πγθεθξηκέλα επηρεηξνχληαη 2 είδε θαηεγνξηνπνηήζεσλ. Σν έλα αθνξά ηελ θαηεγνξηνπνίεζε ζε 3 θιάζεηο. Αξλεηηθά ζεηηθά θαη νπδέηεξα. Αξρηθά ρξεζηκνπνηείηαη ν αιγφξηζκνο Naïve Bayes ζαλ ζεκείν αλαθνξάο θαη δεδνκέλεο ηεο απιφηεηαο ηνπ φζνλ αθνξά ηνλ θαζνξηζκφ παξακέηξσλ πξνθεηκέλνπ λα δηαπηζησζεί ην θαηά πφζνλ ε ρξήζε κεζφδσλ φπσο stemming θαη αθαίξεζε ιίζηαο κε stopwords δίλνπλ θαιχηεξα απνηειέζκαηα θαη γίλνληαη δνθηκέο γηα δηάθνξα κεγέζε ιεμηθνχ. Καηφπηλ ρξεζηκνπνηνχληαη θαη νη 2 άιινη αιγφξηζκνη κε ηελ βέιηηζηε πεηξακαηηθή δηάηαμε. Δμεηάδεηαη επίζεο ην πξφβιεκα ηεο θαηεγνξηνπνίεζεο ησλ ζεηηθψλ θαη αξλεηηθψλ ζρνιίσλ. Υξεζηκνπνηείηαη ε βέιηηζηε πεηξακαηηθή δηάηαμε ηνπ πξνεγνχκελνπ πξνβιήκαηνο θαη εμεηάδεηαη ε απφδνζε ησλ 3 αιγνξίζκσλ γηα δηάθνξα κεγέζε ιεμηθνχ. Καηφπηλ επηρεηξείηαη ε κέζνδνο ηνπ ζαθηδίνπ ιέμεσλ ζχκθσλα κε ηελ νπνία 48