ΕΤΜΘΙΕΡ ΑΝΘΜΞΛΗΡΗΡ ΑΟΞΕΚΕΡΛΑΩΜ ΛΗΤΑΜΩΜ ΑΜΑΖΗΗΡΗΡ ΛΕ ΒΑΡΗ ΗΜ ΘΡΞΠΘΑ ΞΣ ΤΠΗΡΗ

Transcript

1 ΕΤΜΘΙΕΡ ΑΝΘΜΞΛΗΡΗΡ ΑΟΞΕΚΕΡΛΑΩΜ ΛΗΤΑΜΩΜ ΑΜΑΖΗΗΡΗΡ ΛΕ ΒΑΡΗ ΗΜ ΘΡΞΠΘΑ ΞΣ ΤΠΗΡΗ Ζ Γηπισκαηηθή Δξγαζία παξνπζηάζηεθε ελώπηνλ ηνπ Γηδαθηηθνύ Πξνζσπηθνύ ηνπ Παλεπηζηεκίνπ Αηγαίνπ ε Μεξηθή Δθπιήξσζε ησλ Απαηηήζεσλ γηα ην Γίπισκα ηνπ Μεραληθνύ Πιεξνθνξηαθώλ θαη Δπηθνηλσληαθώλ πζηεκάησλ ηνπ Μπεζαξάη Σδέξηεο ΔΑΡΗΝΟ ΔΞΑΜΖΝΟ 2009

2 Ζ ΣΡΗΜΔΛΖ ΔΠΗΣΡΟΠΖ ΓΗΓΑΚΟΝΣΩΝ ΔΠΗΚΤΡΩΝΔΗ ΣΖ ΓΗΠΛΩΜΑΣΗΚΖ ΔΡΓΑΗΑ ΣΟΤ ΜΠΔΑΡΑΣ ΣΕΔΡΗΔ: Μαλώιεο Μαξαγθνπδάθεο, Δπηβιέπσλ Ζκεξνκελία 18/09/2009 Σκήκα Μεραληθώλ Πιεξνθνξηαθώλ θαη Δπηθνηλσληαθώλ πζηεκάησλ Ησάλλεο Αλαγλσζηόπνπινο, Μέινο Σκήκα Μεραληθώλ Πιεξνθνξηαθώλ θαη Δπηθνηλσληαθώλ πζηεκάησλ Γεκνζζέλεο Βνπγηνύθαο, Μέινο Σκήκα Μεραληθώλ Πιεξνθνξηαθώλ θαη Δπηθνηλσληαθώλ πζηεκάησλ ΠΑΝΔΠΗΣΖΜΗΟ ΑΗΓΑΗΟΤ ΔΑΡΗΝΟ ΔΞΑΜΖΝΟ 2009 ii

3 ΠΔΡΙΛΗΦΗ Η παρούςα διπλωματικό εργαςύα πραγματεύεται το πρόβλημα τησ ταξινόμηςησ αποτελεςμϊτων που επιςτρϋφονται από την μηχανό αναζότηςησ Google. Οι βαςικϋσ μϋθοδοι που χρηςιμοποιούνται για την αυτόματη ταξινόμηςό τουσ, ςε δύο κατηγορύεσ (ενδιαφϋροντα και μη) ςτηρύζονται ςε γλωςςικϊ και αριθμητικϊ χαρακτηριςτικϊ των αποτελεςμϊτων και μηχανικό μϊθηςη. Η προςϋγγιςη του προβλόματοσ ςτηρύζεται ςτη χρόςη του αλγόριθμου ταξινόμηςησ Naïve Bayes, ο οπούοσ ςύμφωνα με τα ςυμπερϊςματα προηγούμενων εργαςιών ϋχει καλϋσ επιδόςεισ ςτο ςυγκεκριμϋνο πρόβλημα. Η εργαςύα μελετϊ τρόπουσ εκμϊθηςησ του ταξινομητό Naïve Bayes με την εξαγωγό χρόςιμων δεδομϋνων από το ςώμα των αποτελεςμϊτων. Επύςησ, για λόγουσ πληρότητασ υλοποιόθηκαν και τεχνικϋσ μϋςω των οπούων η εφαρμογό μπορεύ να καταλαβαύνει κατϊ πόςο δύο ερωτόματα εύναι κοινϊ, με αποτϋλεςμα να προτεύνει ςτον χρόςτη αποτελϋςματα και από ερωτόματα που ϋχουν γύνει ςτο παρελθόν. Οι μϋθοδοι που αναπτύχθηκαν επικεντρώνονται ςτην ταξινόμηςη υπερςυνδϋςμων, όπωσ τα αποτελϋςματα που επιςτρϋφονται από κϊποια μηχανό αναζότηςησ. ε αυτόν την περύπτωςη η απόδοςη του ταξινομητό όταν ικανοποιητικό. Από τα πειρϊματα φϊνηκε ότι οι μϋθοδοι που χρηςιμοποιόθηκαν για την κατηγοριοπούηςη των ερωτημϊτων όταν αποτελεςματικού. Λϋξεισ Κλειδιϊ: Ανϊκτηςη Πληροφορύασ, Μηχανϋσ Αναζότηςησ, Εξόρυξη Γνώςησ από Δεδομϋνα, Μηχανικό Μϊθηςησ, Naïve Bayes. [2009] ηνπ Μπεζαξάη Σδέξηεο Σκήκα Μεραληθώλ Πιεξνθνξηαθώλ θαη Δπηθνηλσληαθώλ πζηεκάησλ ΠΑΝΔΠΗΣΖΜΗΟ ΑΗΓΑΗΟΤ iii

4 ABSTRACT Σhis thesis addresses the problem of classifying the results returned by search engine Google. The main methods used for the automatic classification in two categories (interesting or not) based on linguistic features and numerical results and machine learning. The approach to this problem relies on the use of the classification algorithm Naïve Bayes, which according to the conclusions of previous studies has performed well in this problem. We focus on the extraction of useful terms from the text, which are used to train the Naïve Bayes classifier. Furthermore, for reasons of completeness we implemented techniques with which the application can 'understand' whether two queries are common, leading to propose to the user, results that have been made in the past. The methods developed are focused on classification of hyperlinks, as the results returned by a search engine. In this case the classifier performance was satisfactory. From the experiments showed that the methods used to cluster the queries, were effective. Keywords: Information Retrieval, Search Engines, Knowledge Extraction from Data, Machine Learning, Naïve Bayes. [2009] Mpesarat Tzeries Department of Information and Communication Systems Engineering UNIVERSITY OF THE AEGEAN iv

5 ΔΤΥΑΡΙΣΙΔ - ΑΦΙΔΡΧΔΙ Πριν την παρουςύαςη των αποτελεςμϊτων τησ παρούςασ διπλωματικόσ εργαςύασ, θα όθελα να ευχαριςτόςω οριςμϋνουσ ανθρώπουσ που γνώριςα και ςυνεργϊςτηκα μαζύ τουσ και ϋπαιξαν πολύ ςημαντικό ρόλο τόςο ςτην πραγματοπούηςό τησ παρούςασ διπλωματικόσ όςο και ςτην πορεύα μου ωσ φοιτητόσ. Αρχικϊ, οφεύλω ϋνα μεγϊλο ευχαριςτώ ςτον επιβλϋποντα καθηγητό τησ διπλωματικόσ εργαςύασ, Λϋκτορα κύριο Μανώλη Μαραγκουδϊκη, για την εμπιςτοςύνη που μου ϋδειξε καθώσ και για την καθοδόγηςη του και την ϊριςτη ςυνεργαςύα που εύχαμε. Ευχαριςτώ, επύςησ, θερμϊ τουσ ςυναδϋρφουσ ςυμφοιτητϋσ μα πϊνω απ όλα φύλουσ μου, οι οπούοι ςτϊθηκαν ςημαντικού αρωγού ςτην προςπϊθειϊ μου. Σϋλοσ, θϋλω να ευχαριςτόςω τουσ γονεύσ μου και γενικότερα το οικογενειακό μου περιβϊλλον που μου προςϋφεραν όλα αυτϊ τα χρόνια την απαραύτητη, κϊθε εύδουσ, ςυμπαρϊςταςη για την ολοκλόρωςη όχι μόνο τησ διπλωματικόσ αυτόσ εργαςύασ, αλλϊ και γενικότερα των προπτυχιακών ςπουδών μου. ε αυτούσ και την αφιερώνω. v

6 ΠΙΝΑΚΑ ΠΔΡΙΔΥΟΜΔΝΧΝ ΚΔΦΑΛΑΗΟ 1 - ΔΗΑΓΩΓΖ Αληηθείκελν ηεο δηπισκαηηθήο εξγαζίαο Οξγάλσζε Σόκνπ... 3 ΚΔΦΑΛΑΗΟ 2 - Τπόβαζξν Εμόξπμε Γλώζεο από Δεδνκέλα Μεραληθή Μάζεζε Βαζηθέο Έλλνηεο Ο αιγόξηζκνο Σαμηλόκεζεο Naïve Bayes Θεώξεκα Bayes Σαμηλόκεζε θαη επηβιεπόκελε κάζεζε Tν κνληέιν Naive Bayes ΚΔΦΑΛΑΗΟ 3 - Αλάιπζε θαη ρεδίαζε Έγγξαθν Πξνζδηνξηζκνύ Απαηηήζεσλ από ην Λνγηζκηθό Δηζαγσγή θνπόο Δκβέιεηα Οξηζκνί, Αθξσλύκηα, πληνκνγξαθίεο Βηβιηνγξαθία Απαηηήζεηο Πξνδηαγξαθέο πεξηπηώζεσλ ρξήζεο Λεηηνπξγηθόηεηα Απαηηήζεηο ρξήζεο Απαηηήζεηο αζθάιεηαο Απαηηήζεηο επηδόζεσλ Δξγαζίεο πξνο απηνκαηνπνίεζε ύλνςε Πεξηπηώζεηο ρξήζεο Δηζαγσγή Δηζαγσγή θξάζεο ιέμεο θιεηδί πξνο αλαδήηεζε Πξνβνιή ηζηνξηθνύ Πινήγεζε ζην δηαδίθηπν θαη ηήξεζε ηζηνξηθνύ Νέα ηαμηλόκεζε απνηειεζκάησλ Τπνινγηζκόο ηνπ βαζκνύ ζρεηηθόηεηαο ησλ εξσηεκάησλ ΚΔΦΑΛΑΗΟ 4 - Τινπνίεζε Πιαηθόξκεο θαη Πξνγξακκαηηζηηθά Εξγαιεία vi

7 4.1.1 BlueJ the Interactive Java Enviroment Microsoft Office Access Λεπηνκέξεηεο Τινπνίεζεο Βηβιηνζήθεο org.eclipse.swt Weka Yινπνίεζε Δθαξκνγήο ΚΔΦΑΛΑΗΟ 5 - Έιεγρνο Oδεγόο Εγθαηάζηαζεο Οδεγόο Υξήζεο Web classifier Μειέηε Πεξίπησζεο Πεηξακαηηθή Αμηνιόγεζε Avg free download Limewire pro free download Play free online games Free music download Recipes Sky Europe reviews How to make a website for beginners Tv guide ΚΔΦΑΛΑΗΟ 6 - Δπίινγνο πκπεξάζκαηα Μειινληηθέο Πξνβιέςεηο ΚΔΦΑΛΑΗΟ 7 - Βηβιηνγξαθία ΠΑΡΑΡΣΖΜΑ Η Αλαθνξέο ΠΑΡΑΡΣΖΜΑ ΗI - Αληηζηνίρηζε ειιεληθώλ θαη αγγιηθώλ όξσλ vii

8 ΚΑΣΑΛΟΓΟ ΠΛΑΙΙΧΝ Πιαίζην 1: Κιάζε Search.Java Constructor...33 Πιαίζην 2: Κιάζε Search.Java Μέζνδνο DownloadPage...35 Πιαίζην 3: Kιάζε Search.java Μέζνδνο convertfile...36 Πιαίζην 4: Kιάζε UrlRequest.Java Μέζνδνο UrlRequest Πιαίζην 5: Δζσηεξηθή θιάζε CallBack πνπ βξίζθεηαη ζηελ UrlRequest.java...39 Πιαίζην 6: Κιάζε FrequencyBody.java Μέζνδνο wordfreq Πιαίζην 7: Κιάζε FrequencyBody.java Μέζνδνο writetofile...43 Πιαίζην 8: Κιάζε Classify.java Μέζνδνο Constructor...45 Πιαίζην 9: Απνηειέζκαηα αιγνξίζκνπ Naïve Bayes κεηά ηελ εθπαίδεπζή ηνπ...48 Πιαίζην 10: Κιάζε DataBaseUtilities.java Μέζνδνο execute...51 Πιαίζην 11: Κιάζε Similarity.java - Constructor...54 Πιαίζην 12: Kιάζε Similarity.Java Μέζνδνο similaritybasedcontentword...55 Πιαίζην 13: Kιάζε Similarity.Java Μέζνδνο similaritybased ThroughSingleDocument & addtodatabase...56 viii

9 ΚΑΣΑΛΟΓΟ ΥΗΜΑΣΧΝ ρήκα 1: Οη ξίδεο ηεο Δμόξπμεο Γεδνκέλσλ...14 ρήκα 2: Γηάγξακκα Πεξηπηώζεσλ Υξήζεο...17 ρήκα 3: Γηάγξακκα Πεξίπησζεο ρξήζεο Υξήζηεο ρήκα 4: Γηάγξακκα Πεξίπησζεο ρξήζεο Λνγηζκηθό ρήκα 5: Ρνή γεγνλόησλ αλαδήηεζεο θξάζεο...20 ρήκα 6: Ρνή γεγνλόησλ Δκθάληζεο Ηζηνξηθνύ...22 ρήκα 7: Ρνή γεγνλόησλ Πινήγεζεο θαη Σήξεζεο ηζηνξηθνύ...24 ρήκα 8: Ρνή γεγνλόησλ λέα ηαμηλόκεζεο απνηειεζκάησλ...26 ρήκα 9: Ρνή Γεγνλόησλ Τπνινγηζκόο ζρεηηθόηεηαο εξσηεκάησλ...29 ρήκα 10: Λεηηνπξγία ζπληαθηηθνύ αλαιπηή...37 ρήκα 11: Γνκή arff αξρείνπ πνπ αληηπξνζσπεύεη θάπνην απνηέιεζκα...41 ρήκα 12: Γνκή arff αξρείνπ Dataset.arff...44 ρήκα 13: θάικαηα κνληέινπ κεηά ηελ εθπαίδεπζε ηνπ αιγνξίζκνπ...46 ρήκα 14: Γηάγξακκα πεξηζσξίνπ πξόβιεςεο ρήκα 15: ύζηεκα δηαρείξηζεο βάζεο δεδνκέλσλ ρήκα 16: Πξνβνιή ηνπ Πίλαθα history ρήκα 17: Interface ηνπ ινγηζκηθνύ...60 ρήκα 18: Παξάζπξν ηζηνξηθνύ...61 ρήκα 19: Έλαξμε αλαδήηεζεο...62 ρήκα 20: Δκθάληζε απνηειεζκάησλ αλαδήηεζεο ρσξίο ρξήζε ηζηνξηθνύ...63 ρήκα 21: Δκθάληζε απνηειεζκάησλ αλαδήηεζεο κε ρξήζε ηζηνξηθνύ ρήκα 22: Report panel...65 ρήκα 23: Παξάζπξν πινεγνύ θαηά ηελ δηάξθεηα πινήγεζεο...66 ρήκα 24: Παξάζπξν πινεγνύ πξηλ ην θιείζηκν ηνπ ρήκα 25: Δκθάληζε ησλ ηαμηλνκεκέλσλ απνηειεζκάησλ ρήκα 26: Δκθάληζε ησλ θνηλώλ απνηειεζκάησλ ρήκα 27: Δκθάληζε ησλ θνηλώλ απνηειεζκάησλ γηα ην εξώηεκα : free music download...75 ix

10 ΚΔΦΑΛΑΗΟ 1 - ΔΙΑΓΧΓΗ Σην τελευταύα δεκαετύα, η διαρκόσ ανϊπτυξη του Διαδικτύου ϋχει διευρύνει ςε ςημαντικό βαθμό τον όγκο και την ταχύτητα των μεταδιδόμενων πληροφοριών μεταξύ διαδικτυακϊ ςυνδεδεμϋνων ςυςτημϊτων. Η ανϊπτυξη αυτό επιτρϋπει ςε πλόθοσ χρηςτών την πρόςβαςη ςτισ πληροφορύεσ αυτϋσ. Μϋςα ςε αυτό την πληθώρα διακινούμενων δεδομϋνων, ο χρόςτησ ςυχνϊ δυςκολεύεται να εντοπύςει και να αντλόςει την πληροφορύα που τον ενδιαφϋρει. υνεπώσ, αναδεικνύεται το αύτημα ανϊπτυξησ κατϊλληλων τεχνικών που θα διευκολύνουν την προςπϋλαςη και τη διαχεύριςη τησ διαθϋςιμησ πληροφορύασ ανϊλογα με τισ ανϊγκεσ των εκϊςτοτε χρηςτών. Σο αύτημα αυτό ϋρχεται να ικανοποιόςει ο κλϊδοσ τησ αυτόματησ κατϊταξησ των δικτυακών τόπων ςε ϋνα ςύνολο προκαθοριςμϋνων κατηγοριών. Η ςυνεχώσ αυξανόμενη τϊςη του πλόθουσ και μεγϋθουσ των δεδομϋνων, που ϋχει ωσ αποτϋλεςμα την αύξηςη τησ πολυπλοκότητασ τησ ανϊλυςόσ τουσ, απαιτεύ την ύπαρξη εργαλεύων που θα διαχειρύζονται με αυτοματοποιημϋνο τρόπο τισ πληροφορύεσ αυτϋσ. Η ςημερινό τεχνολογύα ϋχει οδηγόςει ςτη γρόγορη ςυλλογό, επεξεργαςύα, διαχεύριςη και αποθόκευςη των δεδομϋνων, παρόλα αυτϊ όμωσ, τα δεδομϋνα που ςυλλϋγονται πρϋπει να μετατρϋπονται, με κατϊλληλεσ τεχνικϋσ και εργαλεύα, ςε πληροφορύεσ και γνώςη που καθύςτανται χρόςιμα προσ τουσ χρόςτεσ. Για την ανακϊλυψη γνώςησ από δεδομϋνα, τόςο μικρού όςο και μεγϊλου μεγϋθουσ, χρηςιμοποιεύται η εξόρυξη γνώςησ η οπούα εφαρμόζει κατϊλληλεσ τεχνικϋσ για την ανακϊλυψη τησ γνώςησ μϋςω αυτών. Με ϊλλα λόγια μϋςω τησ εξόρυξησ γνώςησ, πραγματοποιεύται ανϊλυςη των δεδομϋνων για την εξαγωγό χρόςιμων πληροφοριών για τουσ ενδιαφερόμενουσ χρόςτεσ. Από την ϊλλη πλευρϊ, μϋςω τησ μηχανικόσ μϊθηςησ δημιουργούνται μηχανϋσ που μϋςω τησ αξιοπούηςησ τησ ςυςςωρευμϋνησ γνώςησ και τησ προηγούμενησ εμπειρύασ, ϋχουν ςαν ςκοπό τη βελτύωςη των ικανοτότων μιασ υπηρεςύασ, μιασ εφαρμογόσ κ.α.. Η μηχανικό μϊθηςη αντλεύ γνώςη από διϊφορα ϊλλα επιςτημονικϊ πεδύα και μϋςω αυτόσ παρϋχεται πληθώρα αλγορύθμων που χρηςιμοποιούνται ςε 1

11 πλόθοσ εφαρμογών. Οι αλγόριθμοι αυτού ςυμβϊλλουν ςημαντικϊ ςε πολλούσ επιςτημονικούσ κλϊδουσ όπωσ εύναι η εξόρυξη γνώςησ από δεδομϋνα και η αυτόματη ταξινόμηςη εγγρϊφων. 1.1 Αντικεύμενο τησ διπλωματικόσ εργαςύασ τη παρούςα διπλωματικό εργαςύα, ο αλγόριθμοσ ταξινόμηςησ που χρηςιμοποιεύται εύναι ο Naïve Bayes. Σο μοντϋλο του Naïve Bayes εύναι μια μϋθοδοσ για την εποπτευμϋνη εκμϊθηςη ενόσ προβλόματοσ ταξινόμηςησ και βαςύζεται ςτο θεώρημα Bayes, που αποτελεύ ϋναν από τουσ θεμελιώδεισ τύπουσ τησ επιςτόμησ τησ ςτατιςτικόσ. Ένα από τα ςημαντικότερα πλεονεκτόματα αυτού του ςχόματοσ εύναι ότι κατατϊςςει τα δεδομϋνα με τϋτοιο τρόπο που η επϋμβαςη ειδικών και μηχανικών γνώςησ δεν εύναι απαραύτητη, εφαρμόζοντασ με αυτόν τον τρόπο μια αυτοματοποιημϋνη ταξινόμηςη. την προκειμϋνη περύπτωςη, η ταξινόμηςη των αποτελεςμϊτων που επιςτρϋφονται από τη μηχανό αναζότηςησ Google, με την οπούα και πραγματεύεται η παρούςα διπλωματικό, αποτελεύ βαςικό προώπόθεςη για την ικανοπούηςη των αναγκών των χρηςτών τησ ςυγκεκριμϋνησ μηχανόσ αναζότηςησ, καθώσ μϋςω αυτόσ τησ ταξινόμηςησ εμφανύζονται τα επιθυμητϊ αποτελϋςματα βαςιζόμενα ςτα αιτόματα τουσ. Η ταξινόμηςη μπορεύ να πραγματοποιηθεύ με δύο μεθόδουσ με βϊςη τα γλωςςικϊ χαρακτηριςτικϊ των αποτελεςμϊτων και με χρόςη τησ μηχανικόσ μϊθηςησ. Μϋςω τησ εξόρυξησ γνώςησ πραγματοποιεύται εξαγωγό χρόςιμων δεδομϋνων από το ςώμα των αποτελεςμϊτων και με τη μηχανικό μϊθηςη δημιουργεύται ϋνασ αυτόματοσ ταξινομητόσ, που μαθαύνει τα χαρακτηριςτικϊ κϊθε ςυγκεκριμϋνησ κατηγορύασ μϋςω ενόσ ςυνόλου κειμϋνων που ϋχουν όδη καταταχθεύ ςτα κατϊλληλα πεδύα. Με βϊςη τα χαρακτηριςτικϊ των δύο παραπϊνω μεθόδων / εργαλεύων, πραγματοποιεύται η ανϊλυςη, ο ςχεδιαςμόσ και η υλοπούηςη του παρόντοσ προτεινόμενου ςχόματοσ ταξινόμηςησ των δικτυακών τόπων. 2

12 1.2 Οργϊνωςη Σόμου Η διπλωματικό Εργαςύα αποτελεύται από επτϊ ςυνολικϊ κεφϊλαια. το πρώτο κεφϊλαιο γύνεται μια ειςαγωγό και περιγρϊφεται το αντικεύμενο τησ διπλωματικόσ καθώσ και η οργϊνωςη του τόμου. το δεύτερο κεφϊλαιο παρατύθεται το απαραύτητο θεωρητικό υπόβαθρο, όπου αναπτύςςονται οι βαςικϋσ ϋννοιεσ τησ εξόρυξησ δεδομϋνων, τησ Μηχανικόσ Μϊθηςησ, και του αλγορύθμου Naïve Bayes. Σο τρύτο κεφϊλαιο περιλαμβϊνει τη διαδικαςύα ςύλληψησ και ςχεδύαςησ, όπωσ αυτό προβλϋπεται από τισ ςύγχρονεσ μεθόδουσ ανϊπτυξησ λογιςμικού. Αναλύονται οι απαιτόςεισ από το ςύςτημα και ακολουθεύ μια πλόρησ περιγραφό τόςο του αρχιτεκτονικού όςο και του λεπτομερούσ ςχεδύου. το τϋταρτο κεφϊλαιο αναλύεται η υλοπούηςη του ςυςτόματοσ όπωσ αυτό γύνεται ςε διαφορετικϋσ πλατφόρμεσ. Επιπροςθϋτωσ, περιλαμβϊνεται ςύντομη ανϊλυςη των διαφόρων βιβλιοθηκών που χρηςιμοποιόθηκαν. το πϋμπτο κεφϊλαιο δύνεται ϋνασ ςύντομοσ οδηγόσ εγκατϊςταςησ του ςυςτόματοσ καθώσ και μια αναλυτικό παρουςύαςη όλων των διαδικαςιών ελϋγχου που εφαρμόζονται ςτο ςύςτημα. Σο ϋκτο κεφϊλαιο περιϋχει μια ςύνοψη τησ διπλωματικόσ εργαςύασ και τα ςυμπερϊςματα που εξϊχθηκαν με την ολοκλόρωςη τησ. Επύςησ προτεύνονται μελλοντικϋσ επεκτϊςεισ του ςυςτόματοσ. το ϋβδομο κεφϊλαιο περιϋχεται η βιβλιογραφύα που χρηςιμοποιόθηκε. 3

13 ΚΔΦΑΛΑΗΟ 2 - Τπόβαθπο 2.1 Δξόπςξη Γνώζηρ από Γεδομένα Οι ϊνθρωποι "χειροκύνητα" ϋχουν εξαγϊγει τισ πληροφορύεσ από τα ςτοιχεύα για αιώνεσ, αλλϊ η αυξανόμενη τϊςη του μεγϋθουσ των δεδομϋνων ςτισ ςημερινϋσ μϋρεσ ϋχει απαιτόςει περιςςότερο αυτόματεσ προςεγγύςεισ. Δεδομϋνου ότι τα ςύνολα ςτοιχεύων και οι πληροφορύεσ που εξϊγονται από αυτϊ ϋχουν αυξηθεύ ςτο μϋγεθοσ και την πολυπλοκότητα, η ϊμεςη εμπρϊγματη ανϊλυςη ςτοιχεύων ϋχει ςυμπληρωθεύ όλο και περιςςότερο και ϋχει αυξηθεύ με την επεξεργαςύα ϋμμεςων, αυτόματων δεδομϋνων χρηςιμοποιώντασ τα ςύνθετα και περύπλοκα εργαλεύα, μεθόδουσ και μοντϋλα. Η διϊδοςη, η πανταχού παρουςύα και η αυξανόμενη δύναμη τησ τεχνολογύασ υπολογιςτών ϋχουν βοηθόςει τη ςυλλογό δεδομϋνων, την επεξεργαςύα, τη διαχεύριςη και την αποθόκευςη τουσ. Ωςτόςο, τα δεδομϋνα που ςυλλϋγονται πρϋπει να μετατρϋπονται ςε πληροφορύεσ και γνώςη για να γύνουν χρόςιμα. Η Εξόρυξη γνώςησ (Data mining) εύναι η διαδικαςύα με τη οπούα κϊνοντασ χρόςη τησ υπολογιςτικόσ ιςχύοσ, εφαρμόζονται μεθοδολογύεσ, ςυμπεριλαμβανομϋνων και των νϋων τεχνικών για την ανακϊλυψη τησ γνώςησ, ςτα δεδομϋνα. H εξόρυξη γνώςησ από δεδομϋνα αντιπροςωπεύει αποδοτικϋσ τεχνικϋσ για να αναλύςουμε πολύ μεγϊλεσ ςυλλογϋσ από δεδομϋνα και να εξϊγουμε χρόςιμεσ πληροφορύεσ από αυτϊ. Πραγματοποιούμε εξόρυξη γνώςησ γιατύ ςυχνϊ υπϊρχει πληροφορύα «κρυμμϋνη» ςτα δεδομϋνα που δεν εύναι προφανόσ και οι ανθρώπινοι αναλυτϋσ μπορεύ να χρειϊζονται εβδομϊδεσ για να την ανακαλύψουν. Σεχνικϋσ τησ εξόρυξησ δεδομϋνων εύναι : Η ομαδοπούηςη (clustering), κατϊ την οπούα τα δεδομϋνα χωρύζονται ςε ομϊδεσ από όμοια ςύνολα, Οι κανόνεσ ςυςχϋτιςησ (association rules) ςύμφωνα με τουσ οπούουσ βρύςκουμε ςυςχετύςεισ ανϊμεςα ςτα δεδομϋνα, 4

14 Παλινδρόμηςη (regression), κατϊ την οπούα γύνονται προςπϊθειεσ να βρεθεύ μια λειτουργύα που διαμορφώνει τα δεδομϋνα με το λιγότερο ςφϊλμα. Μια κοινό μϋθοδοσ εύναι να χρηςιμοποιηθεύ ο γενετικόσ προγραμματιςμόσ. Η κατηγοριοπούηςη (classification) βϊςη τησ οπούασ ϋνα ςύνολο δεδομϋνων κατηγοριοποιεύται ςε δοςμϋνεσ κατηγορύεσ. Με αυτόν την τεχνικό αςχολούμαςτε και ςτην ςυγκεκριμϋνη εργαςύα. [χόμα 1 : Οι «ρύζεσ» τησ Εξόρυξησ Δεδομϋνων] 5

15 2.2 Μησανική Μάθηζη Η μηχανικό μϊθηςη (machine learning) ϋχει ωσ ςκοπό τη δημιουργύα μηχανών ικανών να μαθαύνουν, κατϊ τον τρόπο που χρηςιμοποιούμε τον όρο μϊθηςη για τον ϊνθρωπο, δηλαδό τη βελτύωςη ικανοτότων μϋςω τησ αξιοπούηςησ τησ ςυςςωρευμϋνησ γνώςησ και εμπειρύασ. Αντλεύ γνώςη από διϊφορα επιςτημονικϊ πεδύα και κυρύωσ από τη ςτατιςτικό, τη θεωρύα πληροφορύασ και τη γνωςτικό επιςτόμη (cognitive science). H πρόοδοσ που ϋχει ςυντελεςτεύ ςτη μηχανικό μϊθηςη, ιδιαύτερα τα τελευταύα χρόνια, εύναι ςημαντικό και ϋχει δώςει τόςο αλγόριθμουσ και θεωρητικϊ αποτελϋςματα, όςο και πρακτικϋσ εφαρμογϋσ με μεγϊλη επιτυχύα. ύμφωνα με τη μηχανικό μϊθηςη, μια γενικό επαγωγικό διαδικαςύα δημιουργεύ ϋναν αυτόματο ταξινομητό, μαθαύνοντασ τα χαρακτηριςτικϊ κϊθε κατηγορύασ μϋςω ενόσ ςυνόλου προκαταταγμϋνων κειμϋνων από ειδικούσ. Σα πλεονεκτόματα αυτού του ςχόματοσ εύναι μια ακρύβεια κατϊταξησ ςυγκρύςιμη με αυτό των ανθρώπων-ειδικών και η εξοικονόμηςη ανθρώπινου δυναμικού, καθώσ δεν απαιτεύται η επϋμβαςη μηχανικών γνώςησ (knowledge engineers) και ειδικών. Οι αλγόριθμοι Μηχανικόσ Μϊθηςησ χρηςιμοποιούνται ςε πληθώρα επιςτημονικών και εμπορικών εφαρμογών. Καθοριςτικό εύναι η ςυμβολό τουσ ςτουσ κλϊδουσ τησ Εξόρυξησ Γνώςησ από Δεδομϋνα (Data Mining), τησ Αναγνώριςησ Ομιλύασ (Speech Recognition) και τησ Αυτόματησ Σαξινόμηςησ Εγγρϊφων, με την οπούα θα αςχοληθούμε Βαζικέρ Έννοιερ Η ϋννοια τησ μϊθηςησ ςυνδϋεται με την ικανότητα ενόσ προγρϊμματοσ να βελτιώνει με την επανϊληψη και την πρόςκτηςη επιπλϋον γνώςησ την απόδοςό του. Πιο αυςτηρϊ, λϋμε ότι ϋνα πρόγραμμα μαθαύνει από την υπϊρχουςα εμπειρύα Ε αναφορικϊ με κϊποια εργαςύα Σ που πρϋπει να επιτελϋςει και με κϊποιο μϋτρο απόδοςησ Ρ, όταν η απόδοςό του ςτην εργαςύα Σ, όπωσ μετριϋται από το Ρ, βελτιώνεται από την εμπειρύα Ε. Παύρνοντασ ωσ παρϊδειγμα το πρόβλημα τησ ταξινόμηςησ εγγρϊφων με βϊςη την ϊποψη, η εργαςύα του προγρϊμματοσ Σ εύναι να κατατϊξει τα ϋγγραφα ανϊλογα με το ενδιαφϋρον που εκφρϊζουν για το χρόςτη. 6

16 Ωσ μϋτρο αξιολόγηςησ P μπορεύ να θεωρηθεύ το ποςοςτό των κειμϋνων που ταξινομούνται ςωςτϊ. Η εμπειρύα Ε εύναι ϋνα εκ των προτϋρων ταξινομημϋνο ςώμα εγγρϊφων. Σο πρώτο ςτϊδιο τησ ςχεδύαςησ ενόσ ςυςτόματοσ Μηχανικόσ Μϊθηςησ ςυνύςταται ςτον προςδιοριςμό των παραδειγμϊτων εκπαύδευςησ (training examples) από τα οπούα θα αντλόςει ο αλγόριθμοσ τη γνώςη που χρειϊζεται. Η επιλογό των παραδειγμϊτων εκπαύδευςησ ϋχει καθοριςτικό επύδραςη ςτην απόδοςη του ςυςτόματοσ. Η βαςικό αρχό ςτην οπούα ςτηρύζεται η θεωρύα τησ Μηχανικόσ Μϊθηςησ εύναι ότι η κατανομό των παραδειγμϊτων εκπαύδευςησ θα πρϋπει να εύναι όμοια με την αντύςτοιχη κατανομό των μελλοντικών, ϊγνωςτων παραδειγμϊτων ελϋγχου (test examples) που θα χρηςιμοποιηθούν κατϊ την αξιολόγηςη τησ απόδοςησ. Ο τρόποσ αναπαρϊςταςησ των παραδειγμϊτων παύζει επύςησ ςημαντικό ρόλο. Μια από τισ πλϋον ςυνόθεισ μορφϋσ αναπαρϊςταςησ εύναι η διανυςματικό, ςύμφωνα με την οπούα κϊθε παρϊδειγμα εκπαύδευςησ αποτελεύται από ϋνα ςύνολο χαρακτηριςτικών (attributes ό features), μετρόςιμων δηλαδό ποςοτότων που ϋχουν επιλεγεύ με τϋτοιο τρόπο από τα δεδομϋνα εκπαύδευςησ, ώςτε το ςύςτημα Μηχανικόσ Μϊθηςησ να μπορϋςει να εκμαιεύςει από τισ τιμϋσ τουσ τη γνώςη που χρειϊζεται. Με αυτόν τον τρόπο, ϋχοντασ επιλϋξει χαρακτηριςτικϊ, απεικονύζουμε το χώρο του προβλόματοσ ςε ϋναν ν-διϊςτατο χώρο, αντιςτοιχύζοντασ κϊθε παρϊδειγμα εκπαύδευςησ ςε ϋνα διϊνυςμα ν διαςτϊςεων. Η επιλογό των χαρακτηριςτικών που θα ςυςτόςουν τα παραδεύγματα εκπαύδευςησ πρϋπει να γύνει με τϋτοιον τρόπο, ώςτε τα παραδεύγματα εκπαύδευςησ να διαχωρύζονται ςε όςο το δυνατόν πιο διακριτϋσ και απομακρυςμϋνεσ μεταξύ τουσ κατηγορύεσ. Σο επόμενο ςτϊδιο περιλαμβϊνει την εκμϊθηςη τησ ςυνϊρτηςησ ςτόχου (target function) ό ϋννοιασςτόχου (target concept) c, π.χ. τησ κατηγορύασ ςτην οπούα ανόκει κϊποιο ϋγγραφο. Ο χώροσ των αντικειμϋνων πϊνω ςτα οπούα ορύζεται η ϋννοια-ςτόχοσ, ςτο παρϊδειγμϊ μασ το ςύνολο των εγγρϊφων, αποτελεύ το χώρο ςτιγμιότυπων (instances) Χ. την περύπτωςη που η ςυνϊρτηςη-ςτόχοσ εύναι δυαδικό (c: X {0,1 } ), τα ςτιγμιότυπα x X που ανόκουν ςτη ϋννοια-ςτόχο (c(x)=1) λϋγονται θετικϊ, ενώ ςτην αντύθετη περύπτωςη (c(x)=0) αρνητικϊ. Αναφερόμενοι πϊλι ςτο παρϊδειγμϊ μασ, αν θεωρόςουμε ότι υπϊρχουν δύο μόνο κατηγορύεσ 7

17 εγγρϊφων, η Yes και η No, μπορούμε να θεωρόςουμε ότι ενδιαφϋροντα εύναι εκεύνα τα ϋγγραφα που ανόκουν ςτην κατηγορύα Yes και μη ενδιαφϋροντα τα υπόλοιπα (που θα ανόκουν ςτην No). Έτςι, η εμπειρύα που χρηςιμοποιεύται για τη μϊθηςη τησ ϋννοιασ-ςτόχου εύναι ϋνα ςύνολο S από παραδεύγματα εκπαύδευςησ, δηλαδό ϋνα ςύνολο από ςτιγμιότυπα μαζύ με την τιμό τησ ϋννοιασ-ςτόχου c(x). Σο ςύνολο αυτό λϋγεται δεύγμα εκπαύδευςησ (training sample). κοπόσ του ςυςτόματοσ Μηχανικόσ Μϊθηςησ εύναι η προςϋγγιςη τησ ϋννοιασ-ςτόχου από ϋνα ςύνολο πιθανών λύςεων, που λϋγονται υποθϋςεισ, ϋχοντασ ωσ μόνη διαθϋςιμη πληροφορύα το πεπεραςμϋνο δεύγμα εκπαύδευςησ S. Πρόκειται επομϋνωσ για μύα διαδικαςύα επαγωγικού ςυλλογιςμού (inductive reasoning), δηλαδό ςυμπεραςμού μύασ γενικότερησ ϋννοιασ από την ειδικότερη ϋννοια που αντιςτοιχεύ ςτο ςυγκεκριμϋνο δεύγμα. Επειδό η διαδικαςύα που ακολουθεύται εύναι επαγωγικό, ϋνασ αλγόριθμοσ επαγωγικόσ μϊθηςησ μπορεύ ςτην καλύτερη περύπτωςη να εγγυηθεύ ότι η υπόθεςη που επϋλεξε εύναι ακριβόσ για τα δεδομϋνα εκπαύδευςησ. ε αυτό το ζότημα αναφϋρεται η θεμελιώδησ παραδοχό τησ επαγωγικόσ μϊθηςησ: Αξύωμα: Οποιαδόποτε υπόθεςη που ϋχει βρεθεύ ότι προςεγγύζει καλϊ την ϋννοια-ςτόχο ςε ϋνα επαρκώσ μεγϊλο ςύνολο παραδειγμϊτων εκπαύδευςησ, θα την προςεγγύζει καλϊ και ςε ϊγνωςτα ςτιγμιότυπα. 2.3 Ο αλγόπιθμορ Σαξινόμηζηρ Naïve Bayes Σο μοντϋλο του Naïve Bayes εύναι μια απλό και γνωςτό μϋθοδοσ για την εποπτευμϋνη εκμϊθηςη ενόσ προβλόματοσ ταξινόμηςησ. Βαςύζεται ςε ϋναν από τουσ θεμελιώδεισ τύπουσ τησ ςτατιςτικόσ γνωςτό ωσ θεώρημα Bayes. Η μϋθοδοσ εύναι ςχετικϊ εύκολη να κωδικοποιηθεύ ςτο λογιςμικό, και αποδύδει περιςταςιακϊ αρκετϊ καλϊ Θεώπημα Bayes Τποθϋςτε ϋνα διϊςτημα δειγμϊτων, S, που χωρύζεται ςε n υποδιαςτόματα, Χi, για i ακϋραιο αριθμό που ανόκει ςτο [ 1,n ]. Τποθϋςτε ότι ϋνα γεγονόσ, Τ, εμφανύζεται, όπου το Τ εύναι ϋνα ςύνολο τυχαύα επιλεγμϋνων ςημεύων από το S. Δηλαδό γνωρύζουμε 8

18 μόνο, ότι κϊποιο ςημεύο που επιλϋχθηκε από το S εύναι ϋνα από τα ςημεύα που ανόκουν ςτο Τ. Χωρύσ να γνωρύζουμε ςε ποιο υπόχωρο (δηλ., ποιο Xi) περιϋχεται το ςημεύο. Σότε η πιθανότητα το ςημεύο να ανόκει ςε κϊποιο Xi δύνεται από τον παρακϊτω τύπο : Σαξινόμηζη και επιβλεπόμενη μάθηζη ε μια ςτοιχειώδη εργαςύα ταξινόμηςησ, δύνεται ϋνα αντικεύμενο που ϋχει κϊποιο ςύνολο ιδιοτότων και αναμϋνεται να ταξινομηθεύ ςωςτϊ ςε μια από διϊφορεσ προκαθοριςμϋνεσ κατηγορύεσ. Οι ιδιότητεσ των ειςερχόμενων αντικειμϋνων ποικύλλουν, και η ταξινόμηςη μπορεύ να γύνει, βαςιςμϋνη ςτισ πραγματικϋσ τιμϋσ αυτών των ιδιοτότων. ε ϋνα εποπτευμϋνο ςενϊριο εκμϊθηςησ, ςτον ταξινομητό παρϋχεται ϋνα ςύνολο παραδειγμϊτων κατϊρτιςησ (training set) πριν από την εκτϋλεςη τησ πραγματικόσ ςτοιχειώδουσ εργαςύασ ταξινόμηςησ. Κϊθε παρϊδειγμα κατϊρτιςησ αποτελεύται από ϋνα αντικεύμενο που πρϋπει να ταξινομηθεύ, καθώσ επύςησ και τη ςωςτό κατηγορύα ςτα οπούα πρϋπει να ανατεθεύ. Κατϊ ςυνϋπεια, ξεκινϊ μια φϊςη κατϊ την οπούα ο αλγόριθμοσ εκπαιδεύεται, αναλύοντασ τα παραδεύγματα κατϊρτιςησ και χτύζοντασ ϋνα μοντϋλο για να καταχωρόςει οποιαδόποτε γνώςη που μαθεύτηκε ςχετικϊ με το πρόβλημα. Αυτό το μοντϋλο εφαρμόζεται αργότερα για να βοηθόςει τον ταξινομητό να εκτελϋςει την πραγματικό ςτοιχειώδη εργαςύα ταξινόμηςησ. ε αυτόν την περύπτωςη, ενδιαφερόμαςτε για ταξινομητϋσ που χτύζουν ϋνα μοντϋλο Naïve Bayes για να εκτελϋςουν την ταξινόμηςη. 9

19 2.3.3 Tο μονηέλο Naive Bayes Εϊν θεωρούμε το Τ ωσ ϋνα αντικεύμενο που πρϋπει να ταξινομηθεύ, τότε το θεώρημα Bayes μπορεύ να διαβαςτεύ ωσ ϋνασ τύποσ για την πιθανότητα ότι το Τ ανόκει ςτην κατηγορύα Χi. Τποθϋτοντασ ότι οι δεςμευμϋνεσ πιθανότητεσ για διαφορετικό Χi διαφϋρουν, εύναι λογικό να ανατεθεύ το Τ ςε εκεύνο το Χi που ϋχει την υψηλότερη δεςμευμϋνη πιθανότητα. Δεδομϋνου ότι ο παρονομαςτόσ ςτο θεώρημα Bayes εύναι ανεξϊρτητοσ από το i (και εύναι πϊντα μη αρνητικόσ), ο αριθμητόσ του πιθανού Χi θα ϋχει επύςησ το μϋγιςτο μϋτρο. Κατϊ ςυνϋπεια, για να εκτελϋςουμε την ταξινόμηςη, χρειαζόμαςτε μόνο να υπολογύςουμε τον αριθμητό ςτο θεώρημα Bayes για κϊθε Χi και να επιλϋξουμε ϋπειτα το Χi με τη μεγαλύτερη αξύα. Σο πρόβλημα ϋχει πλϋον μειωθεύ αφού χρειϊζεται να υπολογύςουμε το P [Y Xi] * P [Xi]. Σο P[Xi ] μπορεύ να υπολογιςτεύ μετρώντασ το πλόθοσ των παραδειγμϊτων κατϊρτιςησ που περιϋρχονται ςτο Χi και ϋπειτα διαιρώντασ το από το μϋγεθοσ του ςυνόλου κατϊρτιςησ. Σο P[Y Xi ] εύναι λιγότερο τετριμμϋνο, και εύναι ο υπολογιςμόσ αυτού του όρου που επιτρϋπει τη χρόςη τησ λϋξησ αφελούσ ςτην φρϊςη αφελϋσ μοντϋλο Bayes (Naïve bayes Model). Σο μοντϋλο εύναι αφελϋσ υπό την ϋννοια που υποθϋτει (ςυχνϊ αδικαιολόγητα) ότι οι τιμϋσ των ιδιοτότων του αντικειμϋνου Τ εύναι ανεξϊρτητεσ. ε αυτόν την περύπτωςη, μπορούμε να υπολογύςουμε το P[Y Xi] απλϊ πολλαπλαςιϊζοντασ μαζύ τισ δεςμευμϋνεσ πιθανότητεσ των τιμών των ιδιοτότων του Τ. Παραδεύγματοσ χϊριν, εϊν το Τ ϋχει τισ ιδιότητεσ color = blue και texture = smooth, μπορούμε να υπολογύςουμε P[Y Xi] με τον υπολογιςμό P[blue Xi]*P[smooth Xi ]. Αυτϋσ οι δεςμευμϋνεσ πιθανότητεσ μπορούν να προβλεφτούν παρατηρώντασ τη κατανομό των τιμών των ιδιοτότων μϋςα ςτο Χi ςτο ςύνολο κατϊρτιςησ. Κατϊ ςυνϋπεια, εϊν τα μιςϊ από τα παραδεύγματα κατϊρτιςησ ςτο Χi εύναι blue και το ϋνα τρύτο εύναι smooth, και εϊν Χi περιεύχε 75% του ςυνόλου κατϊρτιςησ, τότε θα αξιολογούςαμε την πιθανότητα του Τ να ανόκει ςε κϊποιο Χi ωσ 1/2 * 1/3 * 3/4 = 1/24, ό περύπου 4,2%. Εϊν αυτό αποδεδειχθεύ ότι εύναι η υψηλότερη πιθανότητα, τότε θα αναθϋταμε το Τ ςε αυτό το Χi. 10

20 ΚΔΦΑΛΑΗΟ 3 - Ανάλςζη και σεδίαζη το παρόν κεφϊλαιο παρουςιϊζονται τα ςχετικϊ με την ανϊλυςη και ςχεδύαςη του ςυςτόματοσ ζητόματα μϋςω τυποποιημϋνων εγγρϊφων όπωσ προβλϋπονται από την τεχνολογύα λογιςμικού. υγκεκριμϋνα τα ϋγγραφα αυτϊ εύναι βαςιςμϋνα ςτα αντύςτοιχα ϋγγραφα προςδιοριςμού απαιτόςεων από το λογιςμικό (Ε.Π.Α.Λ). την επόμενη ενότητα περιγρϊφονται οι λειτουργύεσ του ςυςτόματοσ μϋςω του εγγρϊφου με τύτλο «Έγγραφο Προςδιοριςμού Απαιτόςεων από το Λογιςμικό». 3.1 Έγγπαθο Πποζδιοπιζμού Απαιηήζευν από ηο Λογιζμικό Ειςαγωγό κοπόσ κοπόσ τησ παρούςασ ενότητασ εύναι η παρουςύαςη των απαιτόςεων για το πρόγραμμα αυτόματησ ταξινόμηςησ αποτελεςμϊτων με βϊςη την ιςτορύα του χρόςτη. Η προτεινόμενη εφαρμογό παρουςιϊζει μια εναλλακτικό μϋθοδο ταξινόμηςησ των αποτελεςμϊτων τησ αναζότηςησ. Η τροποπούηςη θα γύνεται εξϊγοντασ ςυμπερϊςματα από το ιςτορικό χρόςησ τησ μηχανόσ. Ο χρόςτησ του ςυςτόματοσ θα ειςϊγει μια ςυμβολοςειρϊ που θϋλει να αναζητόςει και θα του δύνονται μερικϋσ επιλογϋσ πριν ξεκινόςει την αναζότηςη. Σο λογιςμικό που θα αναπτυχθεύ θα απευθύνεται ςε οποιοδόποτε χρόςτη που ϋχει πρόςβαςη ςτο διαδύκτυο. 11

21 Εμβϋλεια Παρακϊτω παρουςιϊζονται οι εργαςύεσ που θα αυτοματοποιούνται από το ςύςτημα, και γύνεται μια ανϊλυςη των περιπτώςεων χρόςησ που προκύπτουν. τα διαγρϊμματα χρηςιμοποιεύται η γλώςςα UML Οριςμού, Ακρωνύμια, υντομογραφύεσ UML: η γλώςςα που χρηςιμοποιόθηκε κατϊ την ςχεδύαςη των διαγραμμϊτων. Χρόςτησ: ο τελικόσ χρόςτησ του λογιςμικού αυτόματησ ταξινόμηςησ αποτελεςμϊτων Βιβλιογραφύα Η βιβλιογραφύα που χρηςιμοποιόθηκε για την εγγραφό του Ε.Π.Α.Λ. εύναι η παρακϊτω: Σεχνολογύα Λογιςμικού Σόμοσ Α ΕΜΜ.Α. Γιακουμϊκησ (1994) Πρότυπο ANSI/IEEE Απαιτόςεισ Προδιαγραφϋσ περιπτώςεων χρόςησ Οι προδιαγραφϋσ περιπτώςεων χρόςησ αναλύονται με ςαφόνεια ςτισ ενότητεσ και που ακολουθούν. 12

22 Λειτουργικότητα Σο λογιςμικό του χρόςτη θα πρϋπει να παρϋχει ϋνα ενιαύο περιβϊλλον χρόςησ μϋςω του οπούου θα δύνεται πρόςβαςη ςτισ υπηρεςύεσ που του παρϋχονται Απαιτόςεισ χρόςησ Η χρόςη του λογιςμικού θα πρϋπει να εύναι εύκολη. Πρϋπει να μην αποπροςανατολύζεται ο χρόςτησ με πολλαπλϋσ επιλογϋσ, χωρύσ όμωσ αυτό να ςτερεύ κϊτι από τισ δυνατότητεσ του ςυςτόματοσ Απαιτόςεισ αςφϊλειασ Οι απαιτόςεισ για την αςφϊλεια του λογιςμικού εύναι ικανοποιητικϋσ καθώσ το ιςτορικό που διατηρεύται ςτην βϊςη δεδομϋνων απαιτεύ όνομα χρόςτη και κωδικό πρόςβαςησ. τοιχεύα τα οπούα δεν γνωρύζει ο τελικόσ χρόςτησ αλλϊ ο καταςκευαςτόσ. Η αςφϊλεια προτεύνεται να γύνει με αυτόν τον τρόπο γιατύ το ιςτορικό του χρόςτη το χρειϊζεται το λογιςμικό για να εξϊγει τα αποτελϋςματα και όχι ο τελικόσ χρόςτησ. Με αυτόν τον τρόπο εξαςφαλύζεται ότι δεν θα υπϊρξει τροποπούηςη του ιςτορικού Απαιτόςεισ επιδόςεων Οι απαιτόςεισ για τισ επιδόςεισ του ςυςτόματοσ δεν οφεύλουν να υπακούουν ςε ςυγκεκριμϋνεσ δεςμεύςεισ, αλλϊ πρϋπει να εύναι τϋτοιεσ που να καθιςτούν τη χρόςη του εφικτό και χωρύσ καθυςτερόςεισ για τον τελικό χρόςτη. Από τον τελικό χρόςτη απαιτεύται υπολογιςτικό ιςχύσ και ικανοποιητικό παροχό ςύνδεςησ ςτο διαδύκτυο. 13

23 3.1.3 Εργαςύεσ προσ αυτοματοπούηςη ύνοψη Οι εργαςύεσ που αυτοματοποιούνται από το λογιςμικό, εύναι οι παρακϊτω: Αναζότηςη ςυμβολοςειρϊσ που ειςϊγει ο χρόςτησ. Πλοόγηςη ςτο διαδύκτυο. Σόρηςη ιςτορικού. Σαξινόμηςη αποτελεςμϊτων. Τπολογιςμόσ ςχετικότητασ των αποτελεςμϊτων με προηγούμενεσ αναζητόςεισ. Τπολογιςμόσ εύκοςι ςυχνότερων λϋξεων που βρϋθηκαν ςτο ςώμα των αποτελεςμϊτων. Τπολογιςμόσ λϋξεων που βρύςκονται ςτην κεφαλύδα του κϊθε αποτελϋςματοσ και υπϊρχουν ςτισ ςυχνότερεσ λϋξεισ. Κύριοι χειριςτϋσ του ςυςτόματοσ εύναι: Σελικόσ Χρόςτησ Λογιςμικό Κϊθε περύπτωςη χρόςησ πϊντα ςυςχετύζεται µε κϊποιον χειριςτό. Εύναι πιθανό η ύδια περύπτωςη χρόςησ να εµφανύζεται ςε πολλούσ χειριςτϋσ. Κατϊ τη φϊςη τησ ανϊλυςησ, καταγρϊφονται όλεσ οι περιπτώςεισ χρόςησ χωρύσ να γύνεται κϊποια μορφό επεξεργαςύασ. Κατϊ τη ςχεδύαςη του λογιςµικού εντοπύζουµε κοινϋσ ό επαναλαμβανόμενεσ περιπτώςεισ χρόςησ. 14

24 Παρακϊτω ακολουθεύ ο κατϊλογοσ περιπτώςεων χρόςησ. Σελικόσ Χρόςτησ o Ειςαγωγό φρϊςησ λϋξησ κλειδύ προσ αναζότηςη. o Προβολό του Ιςτορικού. o Πλοόγηςη ςτο διαδύκτυο. Λογιςμικό o Αναζότηςη. o Επιςτροφό αποτελεςμϊτων. o Πλοόγηςη και τόρηςη ιςτορικού μετϊ το πϋρασ τησ πλοόγηςησ του χρόςτη. o Επιςτροφό νϋασ ταξινόμηςησ αποτελεςμϊτων. o Τπολογιςμόσ βαθμού ςχετικότητασ των ερωτημϊτων. Παρακϊτω φαύνονται τα διαγρϊμματα περιπτώςεων χρόςησ για τον χειριςτό του λογιςμικού και το λογιςμικό. 15

25 [ρήκα 2 : Δηάγξακκα Πεξηπηώζεσλ Υξήζεο] 16

26 Απνηειεί ηνλ ηειηθό ρξήζηε ηνπ ινγηζκηθνύ Δηζαγσγή θξάζεο ιέμεο θιεηδί πξνο αλαδήηεζε Υξήζηεο Πξνβνιή απνηειεζκάσλ ζην πινεγό ηνπ ινγηζκηθνύ Πξνβνιή ηνπ ηζηνξηθνύ ηνπ χόμα 3: Διϊγραμμα Περύπτωςησ χρόςησ Χρόςτησ. Δθαξκνγή κε γξαθηθό πεξηβάιινλ κε ηελ νπνία αιιειεπηδξά ν ρξήζηεο. Αλαδήηεζε Τπνινγηζκόο βαζκνύ ζρεηηθόηεηαο ησλ εξσηεκάησλ Δπηζηξνθή απνηειεζκάησλ Λνγηζκηθό Πινήγεζε Δπηζηξνθή λέαο ηαμηλόκεζεο απνηειεζκάησλ Σήξεζε ηζηνξηθνύ κεηά ην πέξαο ηεο πινήγεζεο ηνπ ρξήζηε χόμα 4: Διϊγραμμα Περύπτωςησ χρόςησ Λογιςμικό. 17

27 3.1.4 Περιπτώςεισ χρόςησ Ειςαγωγό Παρακϊτω περιγρϊφεται ξεχωριςτϊ κϊθε περύπτωςη χρόςησ και δύνεται η ροό γεγονότων ςύμφωνα με την οπούα ο δρϊςτησ (actor) προχωρϊ ςτη ςυγκεκριμϋνη δραςτηριότητα. Ακόμη, αναφϋρονται αναλυτικϊ εναλλακτικϋσ πορεύεσ δρϊςησ. επύςησ, περιλαμβϊνονται διαγρϊμματα δραςτηριότητασ τα οπούα δύνουν την ακριβό ροό των γεγονότων Ειςαγωγό φρϊςησ λϋξησ κλειδύ προσ αναζότηςη Πεξηγξαθή πεξίπησζεο ρξήζεο Η περύπτωςη αυτό αναφϋρεται ςτη διαδικαςύα με την οπούα ο χρόςτησ πραγματοποιεύ μια αναζότηςη. Σα αποτελϋςματα που επιςτρϋφονται εύναι τα εύκοςι πρώτα αποτελϋςματα τησ μηχανόσ αναζότηςησ Google Ρνή γεγνλόησλ Βαζηθή Ρνή 1. μιασ ςυμβολοςειρϊσ 2. Επιλογό κουμπιού αναζότηςησ 3. Έλεγχοσ αν θϋλει να εμφανιςτούν αποτελϋςματα από το ιςτορικό του 4. Απϊντηςη του εξυπηρετητό ςτον χρόςτη, επιςτϋφοντασ τα αποτελϋςματα ςτο κεντρικό παρϊθυρο του λογιςμικού 5. Επιλογό κϊποιου αποτελϋςματοσ 6. Εμφϊνιςη αποτελϋςματοσ ςτον πλοηγό 18

28 Δλαιιαθηηθέο Ρνέο 1. Επιλογό εμφϊνιςησ ιςτορικού 2. Εμφϊνιςη ιςτορικού πρώτα και ύςτερα τα αποτελϋςματα τησ μηχανόσ αναζότηςησ χόμα 5: Ροό γεγονότων αναζότηςησ φρϊςησ 19

29 Προβολό ιςτορικού Πεξηγξαθή Πεξίπησζεο Υξήζεο Η περύπτωςη χρόςησ αναφϋρεται ςτη διαδικαςύα με την οπούα ο χρόςτησ μπορεύ να προβϊλλει το ιςτορικό του. Για λόγουσ αςφϊλειασ ςτην εμφϊνιςη του ιςτορικού προβϊλλονται μόνο τα πεδύα λϋξη αναζότηςησ και οι δικτυακού χώροι που ϋχει επιςκεφτεύ και όχι όλα τα πεδύα που διατηρούνται ςτο ιςτορικό. τον χρόςτη δύνεται η δυνατότητα προβολόσ ό διαγραφόσ του ιςτορικού του αλλϊ όχι και τροποπούηςησ αυτού Ρνή γεγνλόησλ Βαζηθή Ρνή 1. Eπιλογό μενού file από το κεντρικό παρϊθυρο 2. Επιλογό του υπό-μενού view history 3. Εμφϊνιςη ςε ξεχωριςτό παρϊθυρο το ιςτορικό 4. Επιλογό κουμπιού clear history 5. Διαγραφό του ιςτορικού από την βϊςη δεδομϋνων 20

30 [ρήκα 6 : Ρνή γεγνλόησλ εκθάληζεο ηζηνξηθνύ] Πλοόγηςη ςτο διαδύκτυο και τόρηςη ιςτορικού Πεξηγξαθή πεξίπησζεο ρξήζεο Η περύπτωςη χρόςησ αναφϋρεται ςτη διαδικαςύα με την οπούα ο χρόςτησ μπορεύ να χρηςιμοποιεύ την εφαρμογό για την προβολό των αποτελεςμϊτων που του επιςτρϋφονται και την αποθόκευςη των ενεργειών του ςτο ιςτορικό. τον χρόςτη δεν δύνεται η δυνατότητα αλλαγόσ τησ διεύθυνςησ (URL) που βλϋπει παρϊ μόνο εϊν επιλϋξει να κλεύςει το παρϊθυρο του πλοηγού και να προβϊλλει κϊποιο ϊλλο αποτϋλεςμα από τον πύνακα αποτελεςμϊτων. Με αυτόν τον τρόπο διατηρούνται ςτο ιςτορικό οι ςωςτού υπερςυνδϋςμοι που επιςκϋφτηκε για την κϊθε αναζότηςη. Οι επιλογϋσ που δύνονται ςε αυτό την περύπτωςη χρόςησ εύναι η δυνατότητα να πηγαύνει προσ τα πύςω τισ ιςτοςελύδεσ που ϋχει επιςκεφτεύ, να ανανεώςει την ιςτοςελύδα που προβϊλλει και η διακοπό ανανϋωςησ. το ιςτορικό αποθηκεύονται η αλληλουχύα των υπερςυνδϋςμων, ο χρόνοσ από την ϋναρξη πλοόγηςησ ϋωσ το πϋρασ, το βϊθοσ που ϋκανε, το πλόθοσ των λϋξεων που βρϋθηκαν ςτισ ςυχνότερεσ λϋξεισ, η μεταβλητό score που εξαρτϊται από τον χρόνο, τον αριθμό των λϋξεων και το βϊθοσ, η φρϊςη 21

31 αναζότηςησ και η απϊντηςη του χρόςτη αν όταν ενδιαφϋρον ό όχι το ςυγκεκριμϋνο αποτϋλεςμα Ρνή γεγνλόησλ Βαζηθή Ρνή 1. Εμφϊνιςη παραθύρου του πλοηγού. 2. Εμφϊνιςη ιςτοςελύδασ. 3. Αλληλεπύδραςη του χρόςτη με τουσ υπερςυνδϋςμουσ που δύνονται από το ςυγκεκριμϋνο αποτϋλεςμα. 4. Κλεύςιμο πλοηγού. 5. Έλεγχοσ αν το αποτϋλεςμα που πρόβαλλε ο χρόςτησ όταν ενδιαφϋρον ό όχι. 6. Καταμϋτρηςη των λϋξεων για το ςυγκεκριμϋνη αλληλουχύα υπερςυνδϋςμων. 7. Τπολογιςμόσ του score. 8. Αποθόκευςη ςτην βϊςη δεδομϋνων τα απαραύτητα πεδύα Δλαιιαθηηθέο Ρνέο 1. Άνοιγμα του Internet Explorer ςτην περύπτωςη που κϊποιο αποτϋλεςμα ϋχει security certification. 2. Εμφϊνιςη παραθύρου διαλόγου ςτην περύπτωςη που δεν γύνει ςωςτϊ η αποθόκευςη ςτην βϊςη δεδομϋνων. 22

32 [ρήκα 7: Ρνή γεγνλόησλ Πινήγεζεο θαη Σήξεζεο ηζηνξηθνύ] 23

33 Νϋα ταξινόμηςη αποτελεςμϊτων Πεξηγξαθή πεξίπησζεο ρξήζεο Η περύπτωςη χρόςησ αναφϋρεται ςτη διαδικαςύα με την οπούα το λογιςμικό ταξινομεύ και εμφανύζει τα αποτελϋςματα των αναζητόςεων. Η διαδικαςύα αυτό πραγματοποιεύται μϋςω χρόςησ τεχνικών εξόρυξησ γνώςησ και μηχανικόσ μϊθηςησ. Η εφαρμογό διατηρεύ ϋνα αρχεύο με όνομα Dataset.arff ςτο οπούο προςθϋτει, κϊποια από τα πεδύα τησ βϊςησ δεδομϋνων. Αυτό το αρχεύο χρηςιμοποιεύται για να εκπαιδευτεύ ο αλγόριθμοσ ταξινόμηςησ που ςε αυτόν την περύπτωςό εύναι ο Naïve Bayes. Σο αρχεύο ανανεώνεται κϊθε φορϊ που ο χρόςτησ πραγματοποιεύ κϊποια καινούργια αναζότηςη και χρηςιμοποιεύ τον πλοηγό. Με αυτόν τον τρόπο το λογιςμικό αποκτϊ περιςςότερη εμπειρύα καθώσ η βϊςη γνώςησ του μεγαλώνει Ρνή γεγνλόησλ Βαζηθή Ρνή 1. Ανϊγνωςη του αρχεύου Dataset.arff 2. Οριςμόσ τησ κλϊςησ ταξινόμηςησ αν εύναι ενδιαφϋρον το αποτϋλεςμα ό όχι (ςτην περύπτωςη μασ χωρύζεται ςε Yes ό No). 3. Εκπαύδευςη του αλγορύθμου με χρόςη του Dataset.arff. 4. Δημιουργύα τόςων αρχεύων με κατϊληξη arff όςο και τα αποτελϋςματα που επιςτρϊφηκαν (ςτην περύπτωςη μασ εύκοςι ϋνα για κϊθε αποτϋλεςμα). 5. Εγγραφό των χαρακτηριςτικών του κϊθε αποτελϋςματοσ ςτα αρχεύα που δημιουργόθηκαν. 6. Εξϋταςη κϊθε αρχεύου για να δοθεύ τιμό ςτην κλϊςη ταξινόμηςησ. 7. Κατηγοριοπούηςη αποτελεςμϊτων, πρώτα αυτϊ που εύναι yes και ύςτερα τα no. 8. Επιςτροφό τησ νϋασ ταξινόμηςησ των αποτελεςμϊτων. 24

34 [χόμα 8 : Ροό γεγονότων νϋασ ταξινόμηςησ αποτελεςμϊτων] 25

35 Τπολογιςμόσ του βαθμού ςχετικότητασ των ερωτημϊτων Πεξηγξαθή πεξίπησζεο ρξήζεο Η περύπτωςη χρόςησ αναφϋρεται ςτη διαδικαςύα με την οπούα το λογιςμικό υπολογύζει την ςχετικότητα προηγούμενων ερωτημϊτων με το καινούργιο ερώτημα και την αποθηκεύει ςτην βϊςη δεδομϋνων. Η μϋτρηςη αυτό πραγματοποιεύται με χρόςη μεθόδων κατηγοριοπούηςησ. Οι μϋθοδοι που χρηςιμοποιούνται ςτην παρούςα εργαςύα εύναι ςυνδυαςτικϋσ. Αρχικϊ υπολογύζεται η ςχετικότητα των ερωτημϊτων βαςιζόμενη ςτισ λϋξεισ κλειδιϊ ό φρϊςεισ και ςτην ςυνϋχεια η ςχετικότητα βαςιζόμενη ςτα ϋγγραφα. Η ςυνολικό ςχετικότητα υπολογύζεται από τον τύπο : 0.2*(ςχετικότητα βαςιζόμενη ςτισ λϋξεισ κλειδιϊ)+0.8*(ςχετικότητα βαςιζόμενη ςτα ϋγγραφα). Χρηςιμοποιώντασ και τισ δυο ςτρατηγικϋσ υπολογύζεται η ςχετικότητα με μεγαλύτερη ακρύβεια Ρνή γεγνλόησλ Βαζηθή Ρνή 1. Μϋτρηςη λϋξεων του καινούργιο ερωτόματοσ 2. Μϋτρηςη λϋξεων του παλιού ερωτόματοσ 3. Τπολογιςμό κοινών λϋξεων ανϊμεςα ςτα δύο ερωτόματα 4. Έλεγχοσ για το μεγαλύτερο πλόθοσ λϋξεων 5. Τπολογιςμόσ τησ ςχετικότητασ βαςιζόμενη ςτισ λϋξεισ κλειδιϊ 6. Μϋτρηςη των επιλεγμϋνων αποτελεςμϊτων που ϋγιναν για την αναζότηςη 7. Τπολογιςμόσ κοινών υπερςυνδϋςμων που βρϋθηκαν ςτα αποτελϋςματα μεταξύ τησ νϋασ αναζότηςησ και τησ παλαιότερησ 8. Έλεγχοσ για το μεγαλύτερο πλόθοσ επιλεγμϋνων αποτελεςμϊτων 9. Τπολογιςμόσ ςχετικότητασ βαςιζόμενη ςτα ϋγγραφα 10. Τπολογιςμόσ ςυνολικόσ ςχετικότητασ 26

36 Δλαιιαθηηθή Ρνή 1. Η ςυνολικό ςχετικότητα ιςούται με την ςχετικότητα βαςιζόμενη ςτισ φρϊςεισ όταν η ςχετικότητα βαςιζόμενη ςτα ϋγγραφα εύναι ύςη με μηδϋν. 2. Η ςυνολικό ςχετικότητα ιςούται με την ςχετικότητα βαςιζόμενη ςτα ϋγγραφα όταν η ςχετικότητα βαςιζόμενη ςτισ φρϊςεισ εύναι ύςη με μηδϋν. 27

37 [ρήκα 9 : Ρνή Γεγνλόησλ Τπνινγηζκόο ζρεηηθόηεηαο εξσηεκάησλ] 28

38 ΚΔΦΑΛΑΗΟ 4 - Τλοποίηζη το παρόν κεφϊλαιο θα γύνει μια αναφορϊ και ςύντομη ανϊλυςη των προγραμματιςτικών εργαλεύων και των περιβαλλόντων που χρηςιμοποιόθηκαν κατϊ την διαδικαςύα τησ κωδικοπούηςησ του λογιςμικού ςυςτόματοσ. 4.1 Πλαηθόπμερ και Ππογπαμμαηιζηικά Δπγαλεία BlueJ the Interactive Java Enviroment Σο BlueJ περιβϊλλον αναπτύχθηκε ωσ μϋροσ ενόσ πανεπιςτημιακού ερευνητικού ϋργου ςχετικϊ με τη διδαςκαλύα αντικειμενοςτραφούσ προγραμματιςμού για αρχϊριουσ. Σο ςύςτημα αναπτύςςεται και ςυντηρεύται από μια κοινό ερευνητικό ομϊδα ςτο Πανεπιςτόμιο Deakin, Μελβούρνη, Αυςτραλύα, και το Πανεπιςτόμιο του Kent ςτο Canterbury, Ηνωμϋνο Βαςύλειο. Σο ϋργο υποςτηρύζεται από την Sun Microsystems. Ο ςτόχοσ του BlueJ εύναι να παρϊςχει ϋνα εύκολο ςτη χρόςη περιβϊλλον για τη διδαςκαλύα τησ γλώςςασ Java. Ιδιαύτερη ϋμφαςη ϋχει δοθεύ ςτισ τεχνικϋσ απεικόνιςησ και αλληλεπύδραςησ για τη δημιουργύα ενόσ πιο διαδραςτικού περιβϊλλοντοσ που ενθαρρύνει τον πειραματιςμό και την εξερεύνηςη. Σο BlueJ ξεκύνηςε ςτο Πανεπιςτόμιο Monash τησ Μελβούρνησ. Έχει υλοποιηθεύ με την γλώςςα προγραμματιςμού Java, και τακτικϊ δοκιμϊζεται ςε πλατφόρμεσ όπωσ τα Solaris, τα Linux, τα Macintosh, καθώσ και διϊφορεσ εκδόςεισ των Windows. Μπορεύ να εκτελεύτε ςε όλεσ τισ πλατφόρμεσ οι οπούεσ ϋχουν εγκατεςτημϋνη μια ϋκδοςη Java. Σο BlueJ υποςτηρύζει: πλόρωσ ενςωματωμϋνο περιβϊλλον γραφικό παρουςύαςη δομών κλϊςησ επεξεργαςύα κειμϋνου και γραφικών να επιμεληθεύ ενςωματωμϋνο πρόγραμμα επεξεργαςύασ, μεταγλωττιςτόσ, εικονικό μηχανό, 29

39 διορθωτόσ εύχρηςτο περιβϊλλον εργαςύασ διαλογικό δημιουργύα αντικειμϋνου διαλογικϋσ κλόςεισ αντικειμϋνου διαλογικό δοκιμό επαυξημϋνη ανϊπτυξη εφαρμογόσ Microsoft Office Access Η Microsoft Office Access 2007 αποτελεύ ϋνα από τα ςημαντικότερα ςυςτόματα διαχεύριςησ βϊςεων δεδομϋνων ςόμερα. Κϊποιοι από τουσ βαςικότερουσ λόγουσ που μασ οδόγηςαν ςτην επιλογό του ςυγκεκριμϋνου ςυςτόματοσ εύναι η εύκολη διαςύνδεςη του με εφαρμογϋσ που εύναι υλοποιημϋνεσ ςτην γλώςςα προγραμματιςμού Java καθώσ και το εύχρηςτο περιβϊλλον εργαςύασ. 4.2 Λεπηομέπειερ Τλοποίηζηρ Βιβλιοθόκεσ Κϊποιεσ ςυγκεκριμϋνεσ εργαςύεσ που επιτελεύ το ςύςτημα δεν υπόρχαν διαθϋςιμεσ ςτα προγραμματιςτικϊ περιβϊλλοντα που αναφϋρθηκαν προηγουμϋνωσ. Έτςι καταλόξαμε ςε κϊποιεσ βιβλιοθόκεσ ανοιχτού κώδικα org.eclipse.swt Σο Eclipse εύναι ϋνα ευϋλικτο περιβϊλλον για πειραματιςμό με νϋεσ γλώςςεσ προγραμματιςμού ό επεκτϊςεισ υφιςτϊμενων γλωςςών. Σο Eclipse εύναι ανοιχτό, επειδό ο ςχεδιαςμόσ του επιτρϋπει την εύκολη επϋκταςη από τρύτουσ. Εύναι ϋνα ολοκληρωμϋνο περιβϊλλον ανϊπτυξησ (IDE), επειδό παρϋχει εργαλεύα για την καταςκευό, εκτϋλεςη και αποςφαλμϊτωςη των εφαρμογών. Σο Eclipse εύναι μια πλατφόρμα η οπούα ϋχει ςχεδιαςτεύ για να αναπτύςςεται επ αόριςτον, με 30

40 περιςςότερα και πιο εξελιγμϋνα εργαλεύα. Βαςύζεται ςε ϋναν μηχανιςμό ανακϊλυψησ, ενςωμϊτωςησ, και προςπϋλαςησ αυτοτελών μονϊδων που ονομϊζονται plug-ins. Σο SWT Browser widget εύναι η βαςικό βιβλιοθόκη που χρηςιμοποιεύται για την απεικόνιςη HTML εγγρϊφων. Εύναι ςχεδιαςμϋνη για να παρϋχει ϋνα βαςικό και φορητό API το οπούο προςφϋρει τισ βαςικϋσ δυνατότητεσ πλοόγηςησ ςτο διαδύκτυο. Η Επιλογό τησ ςυγκεκριμϋνησ βιβλιοθόκησ εύναι ςημαντικό γιατύ δύνει ςτο λογιςμικό την δυνατότητα να εμφανύζει τισ ιςτοςελύδεσ ςε πλοηγό με χρόςη των γνωςτών προγραμμϊτων πλοόγηςησ όπωσ εύναι ο Internet Explorer Weka Σο Weka αποτελεύ μια βιβλιοθόκη ςυναρτόςεων και κλϊςεων ςε εκδόςεισ για Java. εύναι μια ςυλλογό από αλγορύθμουσ μηχανικόσ μϊθηςησ για τισ ςτοιχειώδεισ εργαςύεσ εξόρυξησ δεδομϋνων. Οι αλγόριθμοι μπορούν να εφαρμοςτούν ϊμεςα, εύτε ςε ϋνα ςύνολο δεδομϋνων ό να κληθούν μϋςα από τον κώδικα τησ Java. Περιϋχει εργαλεύα για την προ-επεξεργαςύα ςτοιχεύων, την ταξινόμηςη, την οπιςθοδρόμηςη, τη ςυγκϋντρωςη, τουσ κανόνεσ ϋνωςησ, και την απεικόνιςη. Επύςησ, εύναι καλϊ προςαρμοςμϋνο για την ανϊπτυξη νϋων ςυςτημϊτων μηχανικόσ μϊθηςησ. Μϋςω τησ ςυγκεκριμϋνησ βιβλιοθόκησ δύνεται η δυνατότητα εκπαύδευςησ του αλγορύθμου Naive Bayes για ϋνα ςύνολο δεδομϋνων και ταξινόμηςησ των αποτελεςμϊτων Yλοποίηζη Δθαπμογήρ Σο λογιςμικό που υλοποιόςαμε αποτελεύται από οχτώ ςυνολικϊ κλϊςεισ. Αποτελεύται από ϋνα GUI (Graphical User Interface) μϋςω του οπούου ο χρόςτησ πραγματοποιεύ τισ αναζητόςεισ του. Η εφαρμογό πρϋπει να εύναι απλό ςτην χρόςη τησ γιατύ θα απευθύνεται ςε οποιοδόποτε χρόςτη που ϋχει πρόςβαςη ςτο διαδύκτυο γι αυτό τον λόγο διατηρόθηκε ϋνα μοντϋλο απλού, εύχρηςτου και κατανοητού γραφικού περιβϊλλοντοσ με δυνατότητα ενημϋρωςησ του χρόςτη ςε κϊθε ενϋργεια του. Παρακϊτω παρατύθεται ενδεικτικϊ ο κώδικασ τησ κύριασ κλϊςησ μϋςω τησ οπούασ το αρχικό παρϊθυρο τησ εφαρμογόσ εμφανύζεται ςτο κϋντρο τησ οθόνησ του χρόςτη. 31

41 /* * Search.Java * created on 12 Μαΐου 2009 */ public class Search extends JFrame implements FocusListener { // final JPanel searchpanel = new JPanel(); GridBagConstraints constraints; GridBagLayout layout = new GridBagLayout(); searchpanel.setlayout(layout); // int x = (screensize.width - getwidth()) / 2; int y = (screensize.height - getheight()) / 2; setlocation(x, y); getcontentpane().setlayout(new BorderLayout()); getcontentpane().add(searchpanel, BorderLayout.NORTH); getcontentpane().add(tabbedpane, BorderLayout.CENTER); setvisible(true); } [Πλαύςιο 1 : Κλϊςη Search.Java Constructor] 32

42 Η κλϊςη search εύναι υπεύθυνη για την ανϊγνωςη τησ ςελύδασ των αποτελεςμϊτων του Google και την επιςτροφό των εύκοςι πρώτων. Αυτό η διαδικαςύα επιτυγχϊνεται με τον εξόσ τρόπο : Σο πρόγραμμα ςυνδϋεται ςτον εξυπηρετητό και περνϊ ωσ όριςμα την λϋξη φρϊςη αναζότηςησ του χρόςτη. Επειδό αρκετού ςχεδιαςτϋσ ιςτοςελύδων αιςθϊνονται ότι οριςμϋνα τμόματα του δικτυακού τόπου τουσ δεν θα πρϋπει να περιλαμβϊνονται ςτα δεδομϋνα που ςυλλϋγονται από μια ςυγκεκριμϋνη αναζότηςη, ϋχουν την δυνατότητα να απαγορϋψουν ςε τϋτοιου εύδουσ αναζητόςεισ να προςπελϊςουν πληροφορύεσ του ςυγκεκριμϋνου ιςτοτόπου. Για την αντιμετώπιςη αυτού του προβλόματοσ δύνουμε την εντύπωςη ςτισ ιςτοςελύδεσ πωσ η αναζότηςη πραγματοποιεύτε διαμϋςου γνωςτού πλοηγού όπωσ εύναι ο Internet Explorer. Αφού πραγματοποιηθεύ η ςύνδεςη με τον εξυπηρετητό ςτην ςυνϋχεια αποθηκεύεται ολόκληρη η ιςτοςελύδα με τα αποτελϋςματα ςτο αρχεύο PageContent.htm. Σϋλοσ με κατϊλληλεσ τεχνικϋσ επεξεργαςύασ των ςυμβολοςειρών προςδιορύζονται τα πεδύα που μασ ενδιαφϋρουν και αυτϊ παρουςιϊζονται ςτο κεντρικό παρϊθυρο. Παρακϊτω παρατύθεται η μϋθοδοσ που εύναι υπεύθυνη για την ανϊγνωςη τησ ςελύδασ αποτελεςμϊτων και την αποθόκευςη τησ ςτο αρχεύο PageContent.htm και η μϋθοδοσ που χρηςιμοποιεύται για να απομονωθούν τα πεδύα που μασ ενδιαφϋρουν. 33

43 private String downloadpage() { String f_name = "PageContents"; File htm_f = new File(f_name+".htm"); BufferedReader in = null; BufferedWriter out = null; String s = searchtextfield.gettext().replaceall(" ","+"); if (searchtextfield.gettext().length()>0) { try { URL url = new URL(" URLConnection connection = url.openconnection(); connection.setrequestproperty("user-agent","profile/midp-2.0 Configuration/CLDC-1.1)"); in = new BufferedReader(new InputStreamReader(connection.getInputStream())); out = new BufferedWriter(new FileWriter(htm_f, false)); String line=null; while ((line=in.readline())!= null){ out.write(line); } out.flush(); out.close(); convertfile(f_name+".htm","g"); //.. [Πλαύςιο 2: Kλϊςη Search.java Μϋθοδοσ downloadpage] 34

44 private void convertfile(string string, String thetype) { type = thetype; File file_html = new File(string); String tp = new String(); if (type.equals("g")) {tp="class=r><a href=\"";} try { BufferedReader bufferedreader = new BufferedReader( new FileReader(file_html)); String line; String newline = new String(); String link = new String(); while ((line = bufferedreader.readline())!= null) { newline = line; int s = 0; int e = 0; while ( (e = newline.indexof(tp, s)) >= 0) { newline = newline.substring(e+(tp.length())); StringBuffer result = new StringBuffer(); result.append(newline.substring(0,newline.indexof("\""))+"\n"); link = newline.substring(0,newline.indexof("\"")); if(link.indexof("news.google")==-1) linklist.add(link); updatestats(++i,20); // [Πλαύςιο 3 : Kλϊςη Search.java Μϋθοδοσ convertfile()] 35

45 Για κϊθε αποτϋλεςμα που ϋχει επιςτραφεύ ςτον χρόςτη, η εφαρμογό ςυνδϋετε ςε κϊθε ϋνα και με ςυγκεκριμϋνη χρόςη των βιβλιοθηκών τησ java αποθηκεύει μόνο το κεύμενο που βρύςκεται ςτο head του αποτελϋςματοσ και ςτο Body. Η υλοπούηςη ςε αυτό το ςημεύο πραγματοποιεύτε με χρόςη των παρακϊτω βιβλιοθηκών: javax.swing.text.html.htmleditorkit javax.swing.text.html.html javax.swing.text.html.parser.parserdelegator Οι ςυγκεκριμϋνεσ βιβλιοθόκεσ βοηθούν ςτην ςυντακτικό ανϊλυςη του κειμϋνου (parsing). αφϋςτερα, δύνουμε ςε ςυγκεκριμϋνεσ ςυναρτόςεισ τα ονόματα των πεδύων που αναζητούμε και μασ επιςτρϋφουν το περιεχόμενο αυτών των πεδύων. ε αυτό την περύπτωςη τα πεδύα που θϋλουμε εύναι το κύριο ςώμα (body) και η κεφαλύδα (head) των εγγρϊφων. Σα πεδύα που ςυλλϋγουμε αποθηκεύονται το κύριο ςώμα ςε ϋναν Stringbuffer και η κεφαλύδα ςε ϋναν Vector. Χρηςιμοποιόθηκαν δυναμικϋσ δομϋσ γιατύ δεν γνωρύζουμε από πριν το μϋγεθοσ του κειμϋνου που ςυλλϋγουμε. Με τισ ςυγκεκριμϋνεσ δομϋσ το μϋγεθοσ μεταβϊλλετε ανϊλογα με το περιεχόμενο. ε περύπτωςη που κϊποιο από τα αποτελϋςματα δεν επιτρϋψει ςτην εφαρμογό να αναγνώςει το περιεχόμενο τησ και να αποθηκεύςει τα πεδύα που χρειαζόμαςτε για τισ μετρόςεισ, τότε το αποτϋλεςμα αυτό διαγρϊφεται από την λύςτα αποτελεςμϊτων. το πλαύςιο 4 και 5 παρατύθεται η κλϊςη που υλοποιεύ αυτϊ που περιγρϊψαμε παραπϊνω. [χόμα 10 : λειτουργύα ςυντακτικού αναλυτό ] 36

46 public URLRequest(ArrayList links,string query) { link = (String []) links.toarray (new String [links.size ()+1]); final HTMLEditorKit.ParserCallback callback = new Callback(); URLRequest.Callback.head.clear(); URLRequest.Callback.body = new StringBuffer(); titles.clear(); t = new Report(query); for(i=0;i<links.size();i++) { try { URL url = new URL(link[i]); Reader reader = new BufferedReader( new InputStreamReader( url.openstream(),"iso8859-7")); URLConnection connection = url.openconnection(); connection.setrequestproperty("user-agent","mozilla/5.0 (Windows; U; Windows NT 5.1; en-us; rv:x.x.x) Gecko/ Firefox/x.x"); connection.connect(); t.appendtext(link[i]+"\n"); delegator = new ParserDelegator(); delegator.parse(reader, callback, Boolean.TRUE); reader.close(); }catch(exception e) { t.appendtext("error on page, link removed\n"); links.remove(i);} //.. [Πλαύςιο 4: Kλϊςη UrlRequest.Java Μϋθοδοσ UrlRequest()] 37

47 public void handleendtag(html.tag t, int pos) { if (t == HTML.Tag.BODY) { inbody = false; } else if (t == HTML.Tag.TITLE) { intitle = false; } } public static String gettext() { return body.tostring(); } public static Vector gettitles() { return head; } } } [Πλαύςιο 5 : Εςωτερικό κλϊςη CallBack που βρύςκεται ςτην UrlRequest.java] 38

48 Αφού ςυλλεχθούν τα δεδομϋνα ςτϋλνονται ςτην κλϊςη FrequencyBody, η οπούα παραθϋτεται ςτο πλαύςιο 6, ςτην οπούα με μεθόδουσ που δημιουργόςαμε επεξεργαζόμαςτε τα δεδομϋνα και μετρούμε την ςυχνότητα των λϋξεων. ε αυτό το ςημεύο εύναι ςημαντικό να αναφϋρουμε πωσ κατϊ την διαδικαςύα καταμϋτρηςησ των λϋξεων γύνεται και η απομϊκρυνςη των κοινών λϋξεων (stop words). Σϋτοιεσ λϋξεισ εύναι τα ϊρθρα, οι προθϋςεισ, οι ςύνδεςμοι κλπ. Λϋξεισ δηλαδό που εμφανύζονται ςυχνϊ ςτο περιεχόμενο των κειμϋνων και δεν ςυμβϊλλουν ςτην διαδικαςύα τησ ταξινόμηςησ. Από τισ λϋξεισ που μετρϊμε αποθηκεύουμε μόνο τισ εύκοςι ςυχνότερεσ που βρϋθηκαν ςε όλα τα αποτελϋςματα. Οι μετρόςεισ αυτϋσ εύναι ςκόπιμεσ, καθώσ αποτελούν αριθμητικϊ ςτοιχεύα που χρηςιμοποιούνται για την εκπαύδευςη του αλγορύθμου μηχανικόσ μϊθηςησ Naïve Bayes. την ςυγκεκριμϋνη κλϊςη δημιουργούνται εύκοςι αρχεύα με κατϊληξη arff ςτο εςωτερικό των οπούων γρϊφονται τα χαρακτηριςτικϊ που αφορούν ςτο κϊθε αποτϋλεςμα. Πιο ςυγκεκριμϋνα κϊθε αποτϋλεςμα αποτελεύ ϋνα διϊνυςμα το οπούο αποτελεύται από τισ εξόσ παραμϋτρουσ : Μϋςο βϊθοσ που κϊνει ο χρόςτησ ςε κϊθε αποτϋλεςμα Μια τυχαύα τιμό χρόνου που βρύςκεται κοντϊ ςτον μϋςο χρόνο πλοόγηςησ του χρόςτη Σο πλόθοσ των ςυχνότερων λϋξεων του εκϊςτοτε αποτελϋςματοσ που βρϋθηκαν ςτισ εύκοςι ςυχνότερεσ λϋξεισ. Σην μεταβλητό score που εξαρτϊται από τον χρόνο, τον αριθμό των λϋξεων και το βϊθοσ Σην κλϊςη ταξινόμηςησ που αρχικοποιεύται με την τιμό yes Για τη δημιουργύα του αρχεύου arff ακολουθεύτε ςυγκεκριμϋνη δομό για να εύναι επιτυχόσ η ανϊγνωςη του από το Weka. Η μορφό ενόσ τϋτοιου αρχεύου φαύνεται παρακϊτω 39

49 [χόμα 11 : Δομό arff αρχεύου που αντιπροςωπεύει κϊποιο αποτϋλεςμα] public void wordfreq(string s) { String token = new String(); int e; int counter = 0; Map<String, Integer> h = new HashMap<String, Integer>(); StringTokenizer stz; words_20 = new ArrayList(); try { stz = new StringTokenizer(s.toLowerCase(),"-_+=#`\n\t,/\\[ ]&()<>{}\"\'!?@~.;*"); while (stz.hasmoretokens()) { token = stz.nexttoken(); if ((token.length()>3) && (!minor_words.contains(token))) { 40

50 if (h.containskey(token)) //ean yparxei hdh apla auksise to value { e = ((Integer)h.get(token)).intValue(); h.put(token, e+1 ); //aukshsh tou value } else { h.put(token, 1); // alliws prosthese to sthn Hashtable } } } } catch (Exception filenotfoundexception) {} List<Map.Entry> list = new ArrayList<Map.Entry>(h.entrySet()); Collections.sort(list, new Comparator<Map.Entry>() { public int compare(map.entry e1, Map.Entry e2) { Integer i1 = (Integer) e1.getvalue(); Integer i2 = (Integer) e2.getvalue(); return i2.compareto(i1); } }); //.. [Πλαύςιο 6 : Κλϊςη FrequencyBody.java Μϋθοδοσ wordfreq] 41

51 //. for(int i=0;i<v.length;i++) { m_time = (int) (Math.random() * (max - min + 1)) + min; m_score = (double) m_time / m_depth+v[i]; if(!enum2.nextelement().tostring().equals("")) { String text = "@relation History\n\n" + "@attribute depth numeric\n" + "@attribute time numeric\n" + "@attribute words_num numeric\n" + "@attribute score numeric\n" + "@attribute usefull {y,n}\n\n" + "@data\n"; text += m_depth + "," + m_time + "," + v[i] + "," + m_score + "," + "y" + "\n"; FileWriter out = new FileWriter("arff/r"+i+".arff"); out.write(text); out.close(); text = ""; } else { FileWriter out = new FileWriter("arff/r"+i+".arff"); out.write(""); out.close(); } } } catch (Exception ex) { System.out.println("here:"+ex.getMessage());} //. [Πλαύςιο 7: Κλϊςη FrequencyBody.java Μϋθοδοσ writetofile] 42

52 Μετϊ το πϋρασ τησ διαδικαςύασ καταμϋτρηςησ των λϋξεων και υπολογιςμού των ςυχνοτότων εμφϊνιςησ τα δεδομϋνα που υπολογύςτηκαν ςτϋλνονται ωσ παρϊμετροι ςτην κλϊςη Classify η οπούα εύναι υπεύθυνη για την ταξινόμηςη των αποτελεςμϊτων. ε αυτό το ςημεύο κϊνουμε χρόςη των βιβλιοθηκών του Weka για να χρηςιμοποιόςουμε τον αλγόριθμο Naïve Bayes και να παρουςιϊςουμε ϋνα γρϊφημα το οπούο μασ δεύχνει πωσ κατανϋμεται το ιςτορικό του χρόςτη μετϊ την ανϊγνωςη του αρχεύου Dataset.arff και την εκπαύδευςη του αλγορύθμου. Όπωσ ϋχει περιγραφεύ το αρχεύο Dataset αποτελεύ την βϊςη γνώςησ του λογιςμικού. Αρχικϊ περιϋχει 100 εγγραφϋσ. Διατηρεύ την ύδια δομό με τα arff αρχεύα που περιγρϊψαμε παραπϊνω, αλλϊ ϋχει περιςςότερεσ εγγραφϋσ από ότι τα προηγούμενα καθότι αναφϋρεται ςε ολόκληρο το ιςτορικό του χρόςτη. Σο ςυγκεκριμϋνο αρχεύο αυξϊνεται δυναμικϊ μετϊ από κϊθε χρόςη του προγρϊμματοσ, προςθϋτοντασ ςτην τελευταύα γραμμό τα καινούργια δεδομϋνα που ςυλλϋχθηκαν από τισ ενϋργειεσ του χρόςτη. Με αυτόν τον τρόπο κϊθε φορϊ που γύνεται η εκπαύδευςη του αλγορύθμου τα αποτελϋςματα εύναι διαφορετικϊ αφού η εμπειρύα του μεγαλώνει. [χόμα 12 : Δομό του αρχεύου Dataser.arff] 43

53 το παρακϊτω πλαύςιο καταγρϊφεται ενδεικτικϊ η διαδικαςύα που περιγρϊψαμε. // for (int i=0;i<urls.size();i++) { Instances test = new Instances(new FileReader("arff/r"+i+".arff")); test.setclassindex(structure.numattributes() - 1); Evaluation eval = new Evaluation(test); eval.evaluatemodel(nb, test); for (int k = 0; k < test.numinstances(); k++) { nb.classifyinstance(test.instance(k)); test.instance(k).setclassvalue(nb.classifyinstance(test.instance(k))); } err = eval.errorrate(); if (err==1.0) no.addelement(urls.get(i).tostring()+"\n"); else yes.addelement(urls.get(i).tostring()+"\n"); } //.. [Πλαύςιο 8 : Κλϊςη Classify.java Μϋθοδοσ Constructor] 44

54 [χόμα 13 : φϊλματα μοντϋλου μετϊ την εκπαύδευςη του αλγορύθμου] Αυτό το εργαλεύο απεικόνιςησ χρηςιμοποιεύται για να δεύξει τα ςφϊλματα του μοντϋλου που παρϊγονται. Χρηςιμοποιώντασ το, ο χρόςτησ μπορεύ να αξιολογόςει αν υπϊρχει κϊτι κοινό ό ιδιόμορφο για τισ λανθαςμϋνεσ περιπτώςεισ. Οι γραφικϋσ παραςτϊςεισ που εμφανύζουμε με αυτό το εργαλεύο μασ βοηθούν να καταλϊβουμε, οπτικϊ, το εύδοσ των ςφαλμϊτων που ϋκανε το μοντϋλο. Αυτό το εύδοσ πληροφορύασ μασ βοηθϊ ώςτε να αποφαςύςουμε ςτο τι μπορούμε να πρϊξουμε με την λανθαςμϋνη ταξινόμηςη αυτών των περιπτώςεων. Παρϊλληλα μπορεύ να χρηςιμοποιηθεύ για να μασ δεύξει εϊν οι λανθαςμϋνεσ περιπτώςεισ εύχαν κϊτι από κοινού, ό εϊν ςυγκεντρώθηκαν ςυγκεκριμϋνα γύρω από οριςμϋνεσ τιμϋσ μιασ ιδιότητασ. 45

55 [χόμα 14 : διϊγραμμα περιθωρύου πρόβλεψησ] Αυτό το εργαλεύο απεικόνιςησ χρηςιμοποιεύται για να επεξηγόςει το περιθώριο πρόβλεψησ. Σο περιθώριο πρόβλεψησ εύναι η διαφορϊ μεταξύ τησ προβλεφθεύςασ πιθανότητασ για την πραγματικό κλϊςη και τησ υψηλότερησ πιθανότητασ που προβλϋπεται για τισ ϊλλεσ κλϊςεισ. Για κϊθε περύπτωςη δοκιμόσ, το περιθώριο υπολογύζεται και ταξινομεύται από το χαμηλότερο περιθώριο ςτο υψηλότερο. Αυτό εμφανύζεται ςτη γραφικό παρϊςταςη, το χαμηλότερο περιθώριο αντιςτοιχούςε ςε μια διαφορϊ για - 1, και το υψηλότερο περιθώριο πρόβλεψησ όταν 1. την ουςύα, αυτό η γραφικό παρϊςταςη εμφανύζει τα μεγαλύτερα λϊθη του μοντϋλο που ϋγιναν ςτισ πιο ςυγκεκριμϋνεσ προβλϋψεισ (δηλ. προβλϋψεισ που εύχαν την υψηλότερη πιθανότητα τησ επιτυχύασ). 46

56 Time taken to build model: 0.02 seconds === Stratified cross-validation === === Summary === Correctly Classified Instances % Incorrectly Classified Instances % Kappa statistic Mean absolute error Root mean squared error Relative absolute error % Root relative squared error % Total Number of Instances 102 === Detailed Accuracy By Class === TP Rate FP Rate Precision Recall F-Measure Class y n [Πλαύςιο 9 : Αποτελϋςματα αλγορύθμου Naïve Bayes μετϊ την εκπαύδευςη του] Σο παραπϊνω πλαύςιο αναφϋρεται ςτα αποτελϋςματα του αλγορύθμου μετϊ την διαδικαςύα εκπαύδευςησ του ςτο αρχεύο εκπαύδευςησ που εύναι το Dataset.arff. υγκεκριμϋνα περιϋχει πληροφορύεσ για την πραγματικό και την προβλεπόμενη κατϊταξη. Αρχικϊ φαύνεται η ακρύβεια του αλγορύθμου που ςτην περύπτωςη μασ ϋχει 64.7% επιτυχύα και 35.2% αποτυχύα. Η ακρύβεια υπολογύζεται με τον εξόσ τρόπο : 47

57 True Positive Rate (Ποςοςτό πραγματικών θετικών): Σο TP rate εύναι ο λόγοσ των περιπτώςεων που προβλϋφθηκαν ςωςτϊ ότι ανόκουν ςτην yes κλϊςη προσ το ςύνολο των περιπτώςεων που ανόκουν ςτην κλϊςη yes. Τπόρχαν 29 περιπτώςεισ οι οπούεσ εύχαν προβλεφθεύ ςωςτϊ ωσ yes, και υπόρχαν 51 περιπτώςεισ ςυνολικϊ που ανόκαν ςτην κλϊςη yes. Έτςι, το TP Rate = 29/51 = 0,569. False Positive Rate (Ποςοςτό λανθαςμϋνων θετικών): Σο FP rate ιςούται με τον λόγο των περιπτώςεων που ανόκουν ςτην κλϊςη no αλλϊ ταξινομόθηκαν ωσ yes προσ το ςύνολο των περιπτώςεων που ανόκουν πραγματικϊ ςτην κλϊςη no. Τπόρχαν 14 περιπτώςεισ που ϊνηκαν ςτην κλϊςη no αλλϊ ταξινομόθηκαν ωσ yes, και υπόρχαν ςυνολικϊ 50 περιπτώςεισ που ϊνηκαν ςτην κλϊςη no. Έτςι, το FP rate = 14/50 = 0,275. Ακρύβεια με βϊςη την κλϊςη (Precision) : Η ακρύβεια με βϊςη την κλϊςη μασ δεύχνει το ποςοςτό επιτυχύασ του αλγορύθμου για την ταξινόμηςη των περιπτώςεων ςτην ςωςτό κλϊςη. υγκεκριμϋνα εύναι ο λόγοσ των περιπτώςεων που ανόκουν ςε κϊποια κλϊςη προσ το πλόθοσ των περιπτώςεων που ταξινομόθηκαν ωσ ότι ανόκουν ςε αυτόν την κλϊςη. Τπολογύζεται από τον εξόσ τύπο: Ανϊκληςη (Recall) : Ανϊκληςη εύναι ο λόγοσ των περιπτώςεων που ϋχουν ταξινομηθεύ ςε κϊποια κλϊςη για τισ ςυνολικϋσ περιπτώςεισ που βρύςκονται ςε αυτόν την κλϊςη. 48

58 το F measure (μϋτρο απόδοςησ) εύναι ο ςυνδυαςμόσ τησ ανϊκληςησ και τησ ακρύβειασ με βϊςη την κλϊςη. Η φόρμουλα που χρηςιμοποιεύται για τον υπολογιςμό του F measure εύναι : Όταν ο χρόςτησ τελειώςει την πλοόγηςη του ςτο διαδύκτυο τότε ςυλλϋγονται τα απαραύτητα ςτοιχεύα που χρειαζόμαςτε και αποθηκεύονται ςτην βϊςη δεδομϋνων. Πιο ςυγκεκριμϋνα η εφαρμογό εκτόσ από τισ εύκοςι ςυχνότερεσ λϋξεισ που υπολόγιςε και για τα εύκοςι αποτελϋςματα που επιςτϋφει ςτον χρόςτη, υπολογύζει και πόςεσ λϋξεισ από αυτϋσ βρϋθηκαν ςτουσ υπερςυνδϋςμουσ ςτουσ οπούουσ πλοηγόθηκε νωρύτερα. Έτςι ςτην βϊςη δεδομϋνων αποθηκεύονται για κϊθε αποτϋλεςμα διαφορετικό πλόθοσ λϋξεων. το πλαύςιο 10 φαύνεται η διαδικαςύα ειςαγωγόσ των πληροφοριών ςτην βϊςη δεδομϋνων. 49

59 //. try{ add = connection.createstatement(); add.executeupdate("insert into history "+ "values("+"'"+ ip +"'," +"'"+clicks+"'," +"'"+searchstr+"'," +d+"," +t+"," +num+"," +score+"," +"'"+fr+"'," +"'"+letter+"'," +"'"+usefull+"')"); }catch(exception e){joptionpane.showmessagedialog(null, e.getmessage().tostring(), "Error", JOptionPane.WARNING_MESSAGE);} //. [Πλαύςιο 10 : Κλϊςη DataBaseUtilities.java Μϋθοδοσ execute()] 50

60 την ςυνϋχεια το λογιςμικό υπολογύζει την ςχετικότητα του νϋου ερωτόματοσ του χρόςτη με τα προηγούμενα που ϋχει κϊνει. Η ςυγκεκριμϋνη διαδικαςύα ακολουθεύ ςτρατηγικϋσ που ϋχουν δοκιμαςθεύ και υλοποιούνται από ςυγκεκριμϋνουσ αλγόριθμουσ κατηγοριοπούηςησ λϋξεων φρϊςεων. ε αυτόν την περύπτωςη γύνεται ςυνδυαςμόσ δυο αλγορύθμων κατηγοριοπούηςησ. Ο πρώτοσ αναφϋρεται ςτισ λϋξεισ που υπϊρχουν ςτην φρϊςη αναζότηςησ και ονομϊζεται ομοιότητα που βαςύζεται ςτισ λϋξεισ κλειδιϊ ό φρϊςεισ. O δεύτεροσ εύναι ϋνα μϋτρο ομοιότητασ που ςτηρύζεται ςτισ αναφορϋσ και εξετϊζει κϊθε ϋγγραφο μεμονωμϋνα. Ο ςυγκεκριμϋνοσ αλγόριθμοσ ϋχει την ικανότητα να κατηγοριοποιεύ δυο διαφορετικϊ ερωτόματα ακόμα αν και αυτϊ δεν ϋχουν καμύα κοινό λϋξη αλλϊ εύναι ςχετικϊ. Παρακϊτω παρουςιϊζονται οι δύο αλγόριθμοι με την ςειρϊ που περιγρϊφτηκαν. 1. Similarity keyword (p,q) = Όπου kn() δηλώνει το πλόθοσ των λϋξεων ςε ϋνα ερώτημα και το KN(p,q) δηλώνει το πλόθοσ των κοινών λϋξεων ανϊμεςα ςτα δυο ερωτόματα. 2. Similarity single_doc (p,q) = Όπου rd() δηλώνει το πλόθοσ των εγγρϊφων που ϋχει προςπελϊςει ο χρόςτησ και RD(p,q) δηλώνει το πλόθοσ των κοινών εγγρϊφων ανϊμεςα ςτα δυο ερωτόματα. Η ομοιότητα που βαςύζεται ςτισ λϋξεισ και η ομοιότητα που βαςύζεται ςτα ϋγγραφα αντιπροςωπεύουν δυο διαφορετικϋσ απόψεισ. Γενικϊ οι πρώτη ομοιότητα τεύνει να κατηγοριοποιεύ ερωτόματα που ακολουθούν ύδιουσ ό παρεμφερεύσ όρουσ. Ωςτόςο παρόμοιοι όροι θα μπορούςαν χρηςιμοποιηθούν για να αντιπροςωπεύςουν διαφορετικϊ ερωτόματα λόγω τησ αςϊφειασ των λϋξεων. Η δεύτερη ομοιότητα τεύνει να κατηγοριοποιεύ ερωτόματα που ςχετύζονται με ύδια ό παρόμοια θϋματα. Ωςτόςο ϋνα ϋγγραφο ςυνόθωσ περιϋχει περιςςότερα από ϋνα θϋμα ό ςημεύα ενδιαφϋροντοσ, ϋτςι ερωτόματα με διαφορετικϋσ προθϋςεισ μπορεύ να οδηγόςουν ςτο ύδιο ϋγγραφο. 51

61 Από την ςτιγμό που η πληροφορύα του χρόςτη πρϋπει να ςυλλϋγεται εν μϋρει από καθϋνα από τα παραπϊνω κριτόρια, τότε ορύζουμε ϋναν ςυνδυαςμό αυτών των δυο μεθόδων που πλεονεκτεύ περιςςότερο και από τισ δυο ςτρατηγικϋσ. Ο τύποσ που χρηςιμοποιεύται για τον υπολογιςμό τησ ομοιότητασ δυο ερωτημϊτων υπολογύζεται γραμμικϊ ωσ εξόσ : Όπου α και β δηλώνουν το βϊροσ που δύνουμε ςε κϊθε ϋναν από τουσ δυο αλγόριθμουσ. την περύπτωςό μασ ο πρώτοσ αλγόριθμοσ ϋχει βϊροσ 0.3 και ο δεύτεροσ 0.7. τα παρακϊτω πλαύςια (11,12,13) δεύχνουμε αυτϊ που περιγρϊφηκαν. 52

62 try { for(int i=0;i<o_query.size();i++) { str = new StringTokenizer(elem.nextElement().toString()," "); common_keywords=0; while (str.hasmoretokens()) { String token = str.nexttoken(); If (token.length()>3) If (n_query.tolowercase().matches(".*"+token+".*")) { elem_num = o_query.get(i).tostring().split(" ").length;//ean vrethei koinh leksh sto query to palio tote pairnw to plithos twn leksewn common_keywords++; } } If (common_keywords!=0) similaritybasedcontentword(num,elem_num,common_keywords,n_query,o_query.get(i).tostring()); } similaritythroughsingledocument(q,urls); [Πλαύςιο 11 : Κλϊςη Similarity.Java Μϋθοδοσ Constructor] 53

63 public void similaritybasedcontentword(int n_query,int o_query,int common,string new_query,string old_query) { double keyword_similarity; if (n_query>=o_query) keyword_similarity =(double)common/n_query; else keyword_similarity =(double)common/o_query; temp.addelement(new_query+"-"+old_query+":"+keyword_similarity); } // [Πλαύςιο 12 : Kλϊςη Similarity.Java Μϋθοδοσ similaritybasedcontentword] for(int i=0;i<old_clickstr.size();i++) { RD=0; stz = new StringTokenizer(old_clickstr.get(i).toString(),"~"); String search = stz.nexttoken(); String stream = stz.nexttoken(); linkstr = new StringTokenizer(stream," "); String streamstr = linkstr.nexttoken(); while(linkstr.hasmoretokens()){ if(links.contains(streamstr)) { RD++; } 54

64 streamstr = linkstr.nexttoken(); } If (new_num_docs>old_num_docs) document_similarity =(double) RD/new_num_docs; else document_similarity =(double) RD/old_num_docs; if (RD!=0 &&!temp2.contains(searchword+"-"+search+":"+document_similarity)) temp2.addelement(searchword+"-"+search+":"+document_similarity); } //.. If (query1.equalsignorecase(query_1) && query2.equalsignorecase(query_2)) similarity = similarity1 + similarity2; if (similarity!=0) try{ add = connection.createstatement(); add.executeupdate("insert into similarity "+ "values("+"'"+query1+"'," +"'"+query2+"'," +"'"+similarity+"')"); //. [Πλαύςιο 13 : Kλϊςη Similarity.Java Μϋθοδοσ similaritythroughsingledocument & addtodatabase] 55

65 Σϋλοσ, η βϊςη δεδομϋνων αποτελεύ τον πυρόνα του ςυςτόματοσ όπου αποθηκεύονται όλεσ οι πληροφορύεσ του χρόςτη κατϊ την διϊρκεια του χρόνου. Εύναι ςημαντικό αυτό το ςχόμα να εύναι ςχεδιαςμϋνο ςωςτϊ ώςτε να μην προκαλούνται αςυνϋπειεσ κατϊ τη χρόςη. [χόμα 15: ύςτημα διαχεύριςησ βϊςησ δεδομϋνων] 56

66 [χόμα 16: Προβολό του πύνακα History] 57

67 ΚΔΦΑΛΑΗΟ 5 - Έλεγσορ 5.1 Oδηγόσ Εγκατϊςταςησ Ο προςωπικόσ υπολογιςτόσ θεωρούμε ότι διαθϋτει λειτουργικό ςύςτημα Windows XP Professional English και ϋχει μια αρκετϊ γρόγορη ταχύτητα ςτο διαδύκτυο ώςτε να μπορεύ να ανταποκριθεύ ςτισ απαιτόςεισ αυτόσ τησ εφαρμογόσ. Επύςησ δεδομϋνο εύναι ότι πρϋπει να εγκαταςτόςουμε το ςύςτημα διαχεύριςησ βϊςεων δεδομϋνων Microsoft Office Access Για την ορθό εκκύνηςη τησ εφαρμογόσ πρϋπει να περιϋχονται τα αρχεύα Weka.jar και org.swt.eclipse.jar. Σο πρώτο χρηςιμεύει για την ςυνεργαςύα τησ εφαρμογόσ με την πλατφόρμα του Weka για τισ διαδικαςύεσ εκπαύδευςησ, ταξινόμηςησ και απεικόνιςησ των αποτελεςμϊτων. Ενώ το δεύτερο χρηςιμεύει για την ςωςτό προβολό των HTML ςελύδων ςτον πλοηγό. Επύςησ αυτϊ τα αρχεύα θα πρϋπει να εγκαταςταθούν και ςτον κύριο φϊκελο τησ java που βρύςκεται ςτο C:\ProgramFiles\Java\jdk1.6.0_10\jre\lib\ext. Ωςτόςο εκτόσ από αυτϊ τα αρχεύα, για την ςωςτό λειτουργύα του λογιςμικού καλό εύναι να υπϊρχει η τελευταύα ϋκδοςη τησ java εγκατεςτημϋνη ςτο λειτουργικό ςύςτημα. Αυτό, γιατύ οριςμϋνεσ εντολϋσ του προγρϊμματοσ χρηςιμοποιούν λειτουργύεσ που βρύςκονται ςτουσ τελευταύουσ οδηγούσ που προςφϋρονται από την Sun και υπϊρχει καλύτερη ςυμβατότητα. Σο λογιςμικό αποτελεύται από ϋνα αρχεύο με όνομα Web Classifier.jar. τον ύδιο φϊκελο τησ εφαρμογόσ πρϋπει να υπϊρχουν τα εξόσ αρχεύα : Ένα αρχεύο κειμϋνου με όνομα history.txt Ένα αρχεύο με όνομα frequency.dat Ένα αρχεύο με όνομα Dataset.arff Σο αρχεύο Weka.jar Σο αρχεύο org.eclipse.jar Ένασ φϊκελοσ με όνομα arff. Σο περιεχόμενο αυτού του φακϋλου περιϋχει 20 διαφορετικϊ αρχεύα arff Έξι αρχεύα εικόνασ (stop.jpg, refresh.jpg, back.jpeg, Aegean.jpg, zoom_b.jpg, zoom_b2.gif) 58

68 Σο αρχεύο τησ βϊςησ δεδομϋνων με όνομα history.mdb Σο αρχεύο PageContents.htm Μερικϊ από τα αρχεύα που αναφϋραμε παραπϊνω δημιουργούνται αυτόματα από την εφαρμογό. 5.2 Οδηγόρ Υπήζηρ Web classifier Η εφαρμογό ξεκινϊ εμφανύζοντασ ςτον χρόςτη το κύριο παρϊθυρο, όπωσ φαύνεται και ςτο ςχόμα 17. [χόμα 17: Interface του λογιςμικού] 59

69 Όπωσ φαύνεται από την παραπϊνω εικόνα, ςτην πϊνω αριςτερϊ γωνύα υπϊρχει ϋνα μενού από οπού ο χρόςτησ επιλϋγοντασ το μπορεύ να ϋχει πρόςβαςη ςτο ιςτορικό του. [χόμα 18 : Παρϊθυρο ιςτορικού] Ο χρόςτησ μπορεύ να δει μόνο τα δυο από τα δϋκα πεδύα που διατηρούνται ςτην βϊςη δεδομϋνων. Πιο ςυγκεκριμϋνα, αυτϊ εύναι οι φρϊςεισ που ϋχει αναζητόςει και οι δικτυακού τόποι που ϋχει επιςκεφτεύ. το κϊτω μϋροσ του παραθύρου υπϊρχει το κουμπύ clear history με το οπούο ο χρόςτησ ϋχει την δυνατότητα να διαγρϊψει το ιςτορικό του. 60

70 5.2.1 Μελέηη Πεπίπηυζηρ Για να κατανοηθούν πλόρωσ οι δυνατότητεσ του προγρϊμματοσ και για την εξαγωγό των τελικών ςυμπεραςμϊτων θα πραγματοποιηθεύ μια μελϋτη περύπτωςησ για την αναζότηςη τησ φρϊςησ samos holidays. Αφού ο χρόςτησ ειςϊγει την ςυγκεκριμϋνη φρϊςη, το πρόγραμμα τον ρωτϊ εϊν θϋλει να κϊνει χρόςη ιςτορικού. [χόμα 19 : Έναρξη αναζότηςησ] 61

71 ε αυτό το βόμα η επιςτροφό των αποτελεςμϊτων θα γύνει ανϊλογα με την επιλογό του χρόςτη. Πιο ςυγκεκριμϋνα, η επιλογό yes ςημαύνει, πωσ εφόςον ο χρόςτησ ϋχει επαναλϊβει την αναζότηςη με την ύδια φρϊςη, τότε το πρόγραμμα θα του επιςτρϋψει εκτόσ από τα αποτελϋςματα τησ μηχανόσ αναζότηςησ και υπερςυνδϋςμουσ που εύχε επιςκεφτεύ ςτο παρελθόν. Αντιθϋτωσ με την επιλογό no το πρόγραμμα θα επιςτρϋψει μόνο τα αποτελϋςματα τησ μηχανόσ αναζότηςησ χωρύσ να εμφανύςει ςτοιχεύα από το ιςτορικό του. [χόμα 20 : Εμφϊνιςη αποτελεςμϊτων αναζότηςησ χωρύσ χρόςησ ιςτορικού] 62

72 [χόμα 21 : Εμφϊνιςη αποτελεςμϊτων αναζότηςησ με χρόςη ιςτορικού] 63

73 Σα αποτελϋςματα που εμφανύζει η εφαρμογό ςε αυτό το ςημεύο εύναι με την ταξινόμηςη που ϋχει γύνει από τον αλγόριθμο ταξινόμηςησ τησ μηχανόσ αναζότηςησ Google. ε αυτό το ςημεύο ξεκινϊ η ςυντακτικό ανϊλυςη των αποτελεςμϊτων, χωρύσ να αποτρϋπεται ο χρόςτησ από το να χρηςιμοποιόςει τισ υπόλοιπεσ λειτουργύεσ τησ εφαρμογόσ. Ωςτόςο εμφανύζεται ϋνα παρϊθυρο το οπούο ενημερώνει τον χρόςτη για την κατϊςταςη ςτην οπούα βρύςκεται η φϊςη τησ ανϊλυςησ δεύχνοντασ με αυτόν τον τρόπο ςτον χρόςτη πόςο χρειϊζεται για να φτϊςει ςτο πϋρασ τησ η διαδικαςύα αυτό. Σο ςυγκεκριμϋνο παρϊθυρο ανανεώνεται αυτόματα κϊθε φορϊ που η εφαρμογό προχωρϊ ςτο επόμενο αποτϋλεςμα που επιςτρϊφηκε ςτο πύνακα αποτελεςμϊτων. 64

74 [χόμα 22 : Report panel] Ο χρόςτησ κϊνοντασ κλικ ςε κϊποιο από τα αποτελϋςματα που επιςτρϊφηκαν, αναδύεται το παρϊθυρο του πλοηγού. την ςυνϋχεια του δύνεται η δυνατότητα να αλληλεπιδρϊςει με το αποτϋλεςμα που επϋλεξε καθώσ και με τουσ υπερςυνδϋςμουσ που βρύςκει μϋςα ςε αυτό. Αλλϊ δεν του δύνεται η δυνατότητα να αλλϊξει την διεύθυνςη (URL). Περιορύζουμε την ςυγκεκριμϋνη λειτουργύα, γιατύ εϊν γύνει αλλαγό τησ διεύθυνςησ, ο χρόςτησ μπορεύ να φτϊςει ςε μια ιςτοςελύδα που δεν ϋχει καμύα ςυςχϋτιςη με την αναζότηςη που πραγματοπούηςε και αυτό ςτην ςυνϋχεια θα ϋχει ωσ 65

75 αποτϋλεςμα την αποθόκευςη λϊθοσ πληροφοριών ςτην βϊςη δεδομϋνων και την μη ςωςτό εκπαύδευςη του αλγορύθμου. Οι δυνατότητεσ που δύνονται ςτον χρόςτη εφόςον θελόςει να πλοηγηθεύ ςε ϊλλο περιεχόμενο εύναι να επιλϋξει το κλεύςιμο του παραθύρου του πλοηγού και την επιλογό ενόσ ϊλλου αποτελϋςματοσ από την λύςτα ό την ϋναρξη μια καινούργιασ αναζότηςησ. [χόμα 23 : Παρϊθυρο Πλοηγού κατϊ την διϊρκεια πλοόγηςησ] 66

76 Όταν επιλεγεύ το κλεύςιμο του παραθύρου από τον χρόςτη τότε αναδύεται ϋνα παρϊθυρο διαλόγου το οπούο τον ρωτϊ αν του φϊνηκε ενδιαφϋρον το ςυγκεκριμϋνο αποτϋλεςμα. Μετϊ την επιλογό του χρόςτη ο πλοηγόσ κλεύνει και οι πληροφορύεσ που ςυλλϋχθηκαν αποθηκεύονται ςτην βϊςη δεδομϋνων. [χόμα 24 : Παρϊθυρο Πλοηγού πριν το κλεύςιμο του] 67

77 Μετϊ το κλεύςιμο του πλοηγού υπολογύζεται και η ομοιότητα του ερωτόματοσ του χρόςτη με τα ερωτόματα που ϋχουν προηγηθεύ. Εϊν υπϊρξει ομοιότητα τότε αποθηκεύεται ςτην βϊςη δεδομϋνων και ςτον πύνακα similarity το καινούργιο ερώτημα του χρόςτη, το ερώτημα με το οπούο βρϋθηκε ομοιότητα καθώσ και η τιμό τησ ςχετικότητασ τουσ. Όταν ο χρόςτησ ειςϊγει κϊποιο ερώτημα τότε παρϊλληλα με την επιςτροφό των αποτελεςμϊτων ξεκινϊ και η διαδικαςύα ανϊλυςησ ϋτςι ώςτε να ταξινομηθούν και από την εφαρμογό. το παρακϊτω ςχόμα φαύνεται η ταξινόμηςη που ϋγινε για την φρϊςη Samos holidays 68

78 [χόμα 25 : Εμφϊνιςη των ταξινομημϋνων αποτελεςμϊτων] Η εφαρμογό εμφανύζει ςε μια διαφορετικό καρτϋλα τα αποτελϋςματα όπωσ τα ϋχει ταξινομόςει μετϊ την επεξεργαςύα τουσ με τουσ τρόπουσ που περιγρϊφηκαν. Πιο ςυγκεκριμϋνα παρουςιϊζουμε ϋναν πύνακα που αποτελεύτε από τουσ δικτυακούσ τόπουσ, ο βαθμόσ ςελύδασ (Page Rank) που επϋςτρεψε η μηχανό αναζότηςησ Google και ο βαθμόσ (Rank) που επϋςτρεψε το λογιςμικό. 69

79 Αποτελϋςματα Κατϊταξη Google Κατϊταξη Web Classifier os.htm ece/samos/holidays-samos.html

80 reece/samos.aspx mos.xhtml s/greece/samos flights.aroundgreece.com/package-holidays-to- samos-greece.html Πύνακασ 1- Κατϊταξη Αποτελεςμϊτων 71

81 5.2.2 Πειπαμαηική Αξιολόγηζη ε αυτό την ενότητα πραγματοποιεύται μια αξιολόγηςη τησ εφαρμογόσ χρηςιμοποιώντασ ερωτόματα που ϋχουν γύνει από διϊφορουσ χρόςτεσ ςτην μηχανό αναζότηςησ τησ Yahoo. Πιο υγκεκριμϋνα, ϋχουν επιλϋγει μερικϊ ερωτόματα χρηςτών δηλαδό φρϊςεισ που εύχαν αναζητηθεύ ςτο παρελθόν, ώςτε το πρόγραμμα να δοκιμαςτεύ πϊνω ςε πραγματικϋσ περιπτώςεισ αναζητόςεων. Μερικϊ από αυτϊ τα ερωτόματα, περιϋχουν κοινϋσ λϋξεισ ό φρϊςεισ με ϊλλα ερωτόματα και ςκοπόσ τησ ϋρευνασ μασ εύναι να αξιολογόςουμε την ςχετικότητα τουσ και κατϊ πόςο ο ςυνδυαςμόσ των αποτελεςμϊτων που εμφανύζονται βοηθούν τον χρόςτη ςτην εκϊςτοτε δικό του αναζότηςη. Σα ερωτόματα που θα εξεταςτούν εύναι τα εξόσ : Avg free download Limewire pro free download Play free online games Free music download Recipes Sky Europe reviews How to make a website for beginners Tv guide Avg free download την ςυγκεκριμϋνο ερώτημα κϊποιοσ χρόςτησ αναζητούςε τη δωρεϊν απόκτηςη του προγρϊμματοσ Avg, το οπούο εύναι antivirus. Κϊνοντασ την ςυγκεκριμϋνη αναζότηςη ςτο Web Classifier παρατηρούμε πωσ αρχικϊ η ταξινόμηςη διαφϋρει, εκτόσ από το πρώτο αποτϋλεςμα που εύναι η επύςημη ιςτοςελύδα του προγρϊμματοσ. Σα υπόλοιπα αποτελϋςματα μασ παραπϋμπουν ςε ιςτότοπουσ οι οπούοι δύνουν την δυνατότητα ςτουσ χρόςτεσ να κατεβϊζουν λογιςμικό δωρεϊν. ε αντύθεςη με την ταξινόμηςη τησ Google η οπούα ϋδωςε βαρύτητα ςε υπερςυνδϋςμουσ που αφορούν την επύςημη ιςτεςελύδα και παρουςύαςε αυτούσ πρώτα. 72

82 Limewire pro free download Σο limewire εύναι εφαρμογό η οπούα δύνει την δυνατότητα ςε χρόςτεσ να αναζητούν ότι επιθυμούν (εικόνεσ, τραγούδια, βύντεο, αρχεύα, προγρϊμματα) και να τα κατεβϊζουν από ϊλλουσ χρόςτεσ που τα διαμοιρϊζουν. Η απλό ϋκδοςη εύναι δωρεϊν, ωςτόςο η professional ϋκδοςη πρϋπει να πληρωθεύ. Σα αποτελϋςματα που επιςτρϊφηκαν ςε αυτόν την αναζότηςη από την Google όταν η επύςημη ιςτοςελύδα τησ εφαρμογόσ μϋςω τησ οπούασ μπορεύ ο χρόςτησ να κατεβϊςει την pro ϋκδοςη δωρεϊν ωσ trial. Ο Web Classifier επιςτρϋφει ςαν πρώτο αποτϋλεςμα την ιςτοςελύδα μϋςω τησ οπούασ κϊποιοσ μπορεύ να αναζητόςει το πρόγραμμα που επιθυμεύ και να το κατεβϊςει. Όταν επιςκεφτόκαμε την εν λόγω ιςτοςελύδα παρατηρόςαμε ότι μπορούςαμε να κατεβϊςουμε το limewire pro δωρεϊν, αλλϊ ςε δυο προηγούμενεσ εκδόςεισ από αυτόν που κυκλοφορεύ ςόμερα. Επύςησ επειδό εύχε προηγηθεύ μια παρόμοια αναζότηςη, ο Web Classifier εμφϊνιςε αποτελϋςματα και από αυτόν την αναζότηςη δύνοντασ ϋτςι την δυνατότητα ςτον χρόςτη να πλοηγηθεύ και ςε περιςςότερουσ δικτυακούσ τόπουσ που ςχετύζονται με την αναζότηςη του που δεν υπϊρχουν ςτα κύρια αποτελϋςματα. Πιο ςυγκεκριμϋνα όταν ϋγινε η αναζότηςη του limewire free download οι ιςτοςελύδεσ που επιςκεφτόκαμε αποθηκεύτηκαν ςτο ιςτορικό. την ςυνϋχεια το πρόγραμμα βρόκε μια παρόμοια αναζότηςη, την avg free download, και υπολόγιςε την ςχετικότητα των δυο ερωτημϊτων. Σα ερωτόματα αυτϊ ταιριϊζουν ςε δυο λϋξεισ οπότε η ςχετικότητα με βϊςη τον αλγόριθμο ομοιότητασ που βαςύζεται ςτισ λϋξεισ κλειδιϊ ό φρϊςεισ, ο οπούοσ περιγρϊφηκε ςτην υποενότητα 4.2.2, μασ δύνει ςαν βαθμό ςχετικότητασ το 0,5. τον αλγόριθμο αυτό ϋχουμε δώςει βαρύτητα 30% οπότε η ςυνολικό ςχετικότητα των δυο ερωτημϊτων εύναι 0,15. Ο δεύτεροσ αλγόριθμοσ μασ επιςτρϋφει ςχετικότητα μηδϋν γιατύ δεν υπόρχαν κϊποια κοινϊ αποτελϋςματα ςτισ δυο αυτϋσ αναζητόςεισ. την παρακϊτω εικόνα παρουςιϊζονται 11 αποτελϋςματα από τα οπούα ο χρόςτησ μπορεύ τελικϊ να βρει και από αυτϊ, το πρόγραμμα που αναζητϊ. 73

83 [χόμα 26 : Εμφϊνιςη των κοινών αποτελεςμϊτων για το ερώτημα: Limewire pro free download ] τα αποτελϋςματα φαύνονται δικτυακού τόποι οι οπούοι περιϋχουν προγρϊμματα για τα Windows. Η ιςτοςελύδα Filehippo ϋχει μια μεγϊλη ςυλλογό από εφαρμογϋσ κϊθε κατηγορύασ. Έτςι ο χρόςτησ μπορεύ να βρει αυτό που θϋλει ςε ιςτοςελύδεσ τισ οπούεσ η μηχανό αναζότηςησ δεν θα του πρότεινε. 74

84 Play free online games ε αυτό το ερώτημα ο χρόςτησ αναζητϊ online παιχνύδια. Εδώ βλϋπουμε ότι υπϊρχει μια κοινό λϋξη με τισ προηγούμενεσ αναζητόςεισ. Επομϋνωσ παρατηρούμε ότι η ςυνολικό ςχετικότητα εύναι 0,075. Όντωσ τα ερωτόματα αυτϊ δεν ϋχουν κϊτι κοινό μεταξύ τουσ. υμπϋραςμα, το πρόγραμμα θα τα εμφανύςει τελευταύα ςτην κατϊταξη των κοινών αποτελεςμϊτων Free music download την αναζότηςη αυτό τα αποτελϋςματα που μασ επιςτρϊφηκαν όταν δικτυακού τόποι οι οπούοι δύνουν την δυνατότητα ςτουσ χρόςτεσ να αποκτόςουν τραγούδια που αναζητούν δωρεϊν. Επύςησ εμφανύςτηκαν ςελύδεσ οι οπούεσ ϋχουν μουςικό περιεχόμενο και ενημερώνουν τουσ αναγνώςτεσ με τα τρϋχοντα ζητόματα ςτον μουςικό χώρο. Η εφαρμογό βρόκε κοινϊ με αναζητόςεισ που εύχαν προηγηθεύ και μασ εμφϊνιςε εκτόσ από τα 20 κύρια αποτελϋςματα ϊλλα 64 που αφορούν το ερώτημα του χρόςτη. την παρακϊτω εικόνα φαύνεται ο πύνακασ των κοινών αποτελεςμϊτων. 75

85 [χόμα 27: Παρουςύαςη κοινών αποτελεςμϊτων για το ερώτημα : music free download] Recipes ε αυτόν την αναζότηςη τα αποτελϋςματα που επιςτρϊφηκαν από την εφαρμογό και από την Google όταν κατατοπιςτικϊ. Η ταξινόμηςη τησ εφαρμογόσ μασ παρουςύαζε αρκετϋσ διαφορϋσ. Για παρϊδειγμα η ιςτοςελύδα όταν εικοςτό ςτην κατϊταξη τησ Google, ενώ ςτην εφαρμογό όταν τρύτη. Μετϊ την πλοόγηςη ςε αυτόν την ιςτοςελύδα παρατηρόςαμε ότι το περιεχόμενο τησ όταν ϊκρωσ επιβοηθητικό και ςυγκεκριμϋνο όςο εξύςου όταν και το πρώτο αποτϋλεςμα που 76

86 εμφϊνιςε η Google. υμπεραύνουμε λοιπόν ότι η βαρύτητα ςτο περιεχόμενο των λϋξεων του ςυγκεκριμϋνου δικτυακού τόπου δεν ςυμβαδύζει με την κατϊταξη που του εύχε αποδώςει η Google. Δηλαδό ο μϋςοσ χρόςτησ δεν θα ϋβλεπε την ςυγκεκριμϋνη ιςτοςελύδα δεδομϋνου ότι βρύςκεται πιο κϊτω από τα πρώτα 5-8 αποτελϋςματα που εξετϊζει ςυνόθωσ Sky Europe reviews Αντικεύμενο τησ αναζότηςησ εύναι η κριτικό και οι εντυπώςεισ των πελατών για την ςυγκεκριμϋνη αεροπορικό εταιρύα. Σα πρώτα δυο αποτελϋςματα που επιςτρϊφηκαν από την εφαρμογό εύχαν ωσ περιεχόμενο τισ απόψεισ των πελατών που εύχαν ταξιδϋψει με την Sky Europe όςον αφορϊ την εξυπηρϋτηςη, την ποιότητα των αεροςκαφών και τισ τιμϋσ των ειςιτηρύων. Ωςτόςο και η Google επϋςτρεψε το πρώτο αποτϋλεςμα ςτην ύδια κατϊταξη How to make a website for beginners το ςυγκεκριμϋνο ερώτημα ο αρχϊριοσ χρόςτησ αναζητϊ online βοηθόματα για δημιουργύα ιςτότοπου. Σα δύο πρώτα αποτελϋςματα τησ Google ανταποκρύνονταν ςτην αναζότηςη του, αλλϊ δεν περιεύχαν τόςεσ πληροφορύεσ ώςτε να εύναι κατανοητό για ϋναν μη εξοικειωμϋνο χρόςτη. ε αντύθεςη με την εφαρμογό ςτην οπούα το πρώτο αποτϋλεςμα που επιςτρϊφηκε περιεύχε πιο πολλϋσ και πιο αναλυτικϋσ πληροφορύεσ για τον τρόπο δημιουργύασ ενόσ website, ενώ όταν το δϋκατο ςτην κατϊταξη τησ Google Tv guide Σα αποτελϋςματα που επιςτρϊφηκαν από αυτόν την αναζότηςη ςυμφωνούν με την ταξινόμηςη που ϋκανε η εφαρμογό. Αυτό μπορεύ να ςυμβεύ ςε περιπτώςεισ όπου το περιεχόμενο των λϋξεων ό φρϊςεων εύναι ακριβϋσ. Πιο ςυγκεκριμϋνα η παραπϊνω αναζότηςη αποτελεύ και το ομώνυμο website. 77

87 Με βϊςη τα ερωτόματα που ϋγιναν, προϋκυψαν τα εξόσ ςυμπερϊςματα: για να γύνεται ςωςτό και αντικειμενικό ταξινόμηςη, τα ερωτόματα που πρϋπει να τύθενται από τουσ χρόςτεσ χρόςιμο εύναι να περιϋχουν αρκετϋσ λϋξεισ κλειδιϊ. Ο λόγοσ εύναι γιατύ η εφαρμογό δύνει μεγαλύτερη βαρύτητα ςτο νόημα των λϋξεων και με βϊςη αυτϋσ ταξινομεύ και επιςτρϋφει τα αποτελϋςματα. Σϋλοσ το γεγονόσ ότι η εφαρμογό υπολογύζει την ςχετικότητα των ερωτημϊτων εύναι ϋνα ακόμη βοόθημα μϋςο του οπούου ο χρόςτησ μπορεύ να αναζητόςει με επιτυχύα αυτό που επιθυμεύ. τον παρακϊτω πύνακα παρουςιϊζονται ςυνοπτικϊ κϊποιεσ μετρόςεισ όπωσ ο βαθμόσ ςχετικότητασ των ερωτημϊτων, που περιγρϊφηκαν: Queries Avg free download Limewire pro free download Play free online games Free music download Avg free download 1 0,15 0,075 0,15 Limewire pro free download 0,15 1 0,075 0,15 Play free online games 0,075 0, ,075 Free music download 0,15 0,15 0,

88 ΚΔΦΑΛΑΗΟ 6 - Δπίλογορ 6.1 ςμπεπάζμαηα την εργαςύα αυτό παρουςιϊςαμε μια μϋθοδο ταξινόμηςησ που χρηςιμοποιεύ το νόημα των ερωτημϊτων, η οπούα ςτηρύζεται ςτον αλγόριθμο Naïve Bayes. Πϋραν των διϊφορων αναπαραςτϊςεων που βαςύζονται ςε λεκτικϋσ μονϊδεσ, επιχειρόθηκε να αξιοποιηθούν και ϊλλα χαρακτηριςτικϊ που μπορεύ να ςυμβϊλλουν ςτη βελτύωςη τησ απόδοςησ του ταξινομητό. Γενικότερα, προκύπτει το ςυμπϋραςμα ότι το πρόβλημα τησ ταξινόμηςησ των αποτελεςμϊτων μιασ μηχανόσ αναζότηςησ δεν μπορεύ να ςτηριχτεύ μόνο ςε μεμονωμϋνουσ όρουσ, αλλϊ απαιτεύ πιο βαθιϊ γλωςςικό ανϊλυςη που θα κατορθώνει να εντοπύζει τα εκφραςτικϊ μϋςα και τισ ςύνθετεσ γλωςςολογικϋσ δομϋσ που υποδηλώνουν κϊποια υποκειμενικό θϋςη. Ο προςδιοριςμόσ τησ ομοιότητασ των αποτελεςμϊτων ςε ςυνδυαςμό με τισ προβλϋψεισ του ταξινομητό των αποτελεςμϊτων, επϋφερε κϊποια βελτύωςη τησ απόδοςησ, και φανϋρωςε ότι η απομϊκρυνςη των λϋξεων που χαρακτηρύςτηκαν ωσ μη χρόςιμεσ δεν ςυνεπϊγεται απώλεια χρόςιμησ πληροφορύασ. Γενικϊ, οι μϋθοδοι που αναπτύξαμε αποδύδουν ικανοποιητικϊ ςτην περύπτωςη εκτεταμϋνων, καλϊ δομημϋνων ερωτημϊτων, όπωσ επύςησ και ςτην περύπτωςη που θϋλουμε να προςδιορύςουμε την ομοιότητα που παρουςιϊζεται μεταξύ των αναζητόςεων. Σο ποςοςτό 64.7% ανϊκληςησ του ταξινομητό χρόζει επιπλϋον μελϋτησ. Επύςησ, το αξιοςημεύωτο με τον παραπϊνω ταξινομητό εύναι ότι ςτα παραδεύγματα εκπαύδευςησ πετύχαμε ορθότητα τησ τϊξησ του 64.7% ςε αντύθεςη με την ορθότητα των παραδειγμϊτων ελϋγχου 73,4%, πρϊγμα το οπούο ςημαύνει πωσ υψηλϊ ποςοςτϊ ορθότητασ κατϊ την εκπαύδευςη δεν εγγυώνται αντύςτοιχα υψηλϊ ποςοςτϊ ορθότητασ ςτον ϋλεγχο του ταξινομητό και αντύςτροφα. 79

89 6.2 Μελλονηικέρ Πποβλέτειρ Από τα αποτελϋςματα τησ μελϋτησ αυτόσ πϊνω ςτο πρόβλημα τησ ταξινόμηςησ αποτελεςμϊτων μηχανών αναζότηςησ με βϊςη την ιςτορύα του χρόςτη προκύπτει ότι για να επιτευχθεύ αξιόλογη βελτύωςη τησ απόδοςησ του ταξινομητό θα πρϋπει να ενςωματωθεύ ςτουσ αλγόριθμουσ Μηχανικόσ Μϊθηςησ η γνώςη που μπορεύ να προκύψει από τη γλωςςολογικό ανϊλυςη των κειμϋνων. Λόγω τησ πολυπλοκότητασ και τισ ποικιλύασ των εκφραςτικών μϋςων με τα οπούα μπορεύ να διατυπωθεύ ϋνα ερώτημα, εύναι αναγκαύα η αξιοπούηςη των κανόνων και των ταξινομιών υποκειμενικότητασ ςτα οπούα ϋχει καταλόξει η γλωςςολογικό ανϊλυςη. Ενδεχομϋνωσ, η εύρεςη του υποκειμϋνου που εκφρϊζει την ουςύα του ερωτόματοσ και του αντικειμϋνου ςτο οπούο αναφϋρεται ςε ςυνδυαςμό με τισ πιθανϋσ λϋξεισ πολικότητασ, θα μπορούςε να προςδιορύςει το κεντρικό νόημα του ερωτόματοσ. Η μελλοντικό ϋρευνα θα πρϋπει να επικεντρωθεύ ςτην αναζότηςη μεθόδων που θα καταφϋρνουν να ςυνδυϊςουν τα πλεονεκτόματα τησ γλωςςολογικόσ και τησ βαςιςμϋνησ ςε τεχνικϋσ Μηχανικόσ Μϊθηςησ προςϋγγιςησ. 80

90 ΚΔΦΑΛΑΗΟ 7 - Βιβλιογπαθία [1] Kurt Thearling, Ph.D, An Introduction to Data Mining [2] Usama Fayyad, Gregory Piatetsky-Shapiro, and Padhraic Smyth, From Data Mining to Knowledge Discovery in Databases, 1996 [3] Christopher D. Manning, Prabhakar Raghavan, Hinrich Schütze, An Introduction to Information Retrieval, Cambridge UP, 2009 [4] Nils J. Nilsson, An Introduction to Machine Learning, Robotics Laboratory, Department of Computer Science, Stanford University, 1996 [5] Hull, D.A., Pedersen J.O., and Schütze H Method combination for Document filtering. In Proceedings of SIGIR 96, 19th ACM International Conference on Research and Development in Information Retrieval, 1996 [6] Mitchell, T. Machine Learning, McGraw Hill, 1997 [7] JI Rong Wen, Jian Yun Nie, Hong Jiang Zhang, Query Clustering using User Logs, 2002 [8] Pang, B., Lee, L. And Vaithyanathan, S. Thumbs up? Sentiment Classification Using Machine Learning Techniques. Proceedings of The Conference on Empirical Methods in Natural Language Processing, (pp , 86),

91 [9] Robertson, S.E., and Harding P Probabilistic automatic indexing by Learning from human indexers. Journal of Documentation 40, 4, [10] [SDH98] Sahami, M., Dumais S., Heckerman D., and Horvitz E A Bayesian Approach to Filtering Junk E Mail. Learning for Text Categorization Papers from the AAAI Workshop, pages 55 62, Madison Wisconsin. AAAI Technical Report WS [11] Ricardo Baeza Yates, Berthier Ribeiro Neto, Modern Information Retrieval, 1999 [12] Junghoo Cho, Hector Garcia-Molina, Lawrence Page. Efficient Crawling Through URL Ordering. 7th International Web Conference (WWW 98) [13] G. Salton. Automatic text processing: the transformation, analysis and retrieval of information by computer. Addison Wesley, 1989 [14] Ian H. Witten, Eibe Frank, WEKA Machine Learning Algorithms in Java, 2000 [15] Bill Majoros, Naive Bayes Models for Classification, 1999 [16] Frank Keller Naive Bayes Classifiers Connectionist and Statistical Language Processing, Computer linguistik University at des Saarlandes, 1997 [17] Ioan Pop, An approach of the Naive Bayes classifier for the document classification, General Mathematics Vol. 14, No. 4, , 2006 [18] Tom M. Mitchell, Generative And Discriminative Classifiers: Naive Bayes And Logistic Regression, 2006 [19] Eric Meisner, Naive Bayes Classifier,

92 [20] Daniel Lowd, Pedro Domingos, Naive Bayes Models for Probability Estimation, Department of Computer Science and Engineering, University of Washington, Seattle, 2005 [21] Data mining - Wikipedia, the free encyclopedia, [22] PageRank - Wikipedia, the free encyclopedia, [23] Eclipse, [24] Weka 3: Data Mining Software in Java, [25] BlueJ, [26] The Google Pagerank Algorithm and How It Works, [27] McGraw Hill, Mitchell TM, Machine Learning, [28] Li X, Pan X: New method for accurate prediction of solvent accessibility from protein sequence. [29] Andrew Roberts, AI32 Guide to Weka,

93 Παπάπηημα Ι Αναθοπέρ Avg free download Google πρώτο αποτϋλεςμα: Web Classifier πρώτο αποτϋλεςμα (3 ο ςτην κατϊταξη τησ Google): 84

94 Limewire pro free download Google πρώτο αποτϋλεςμα: Web Classifier πρώτο αποτϋλεςμα (7 ο ςτην κατϊταξη τησ Google): Play free online games Google πρώτο αποτϋλεςμα: 85

95 Web Classifier πρώτο αποτϋλεςμα (2 ο ςτην κατϊταξη τησ Google): Free music download Google Web Classifier πρώτο αποτϋλεςμα: Recipes Google πρώτο αποτϋλεςμα: 86

96 Web Classifier πρώτο αποτϋλεςμα (5 ο ςτην κατϊταξη τησ Google): Sky Europe reviews Google Web Classifier πρώτο αποτϋλεςμα: How to make a website for beginners Google πρώτο αποτϋλεςμα: 87

97 Web Classifier πρώτο αποτϋλεςμα (12 ο ςτην κατϊταξη τησ Google): Tv guide Google Web Classifier πρώτο αποτϋλεςμα: 88