WordNet meta-search engine

Transcript

1 ΠΑΝΕΠΙΣΗΜΙΟ ΑΙΓΑΙΟΤ ΣΜΗΜΑ ΜΗΦΑΝΙΚΨΝ ΠΛΗΡΟΥΟΡΙΑΚΨΝ ΚΑΙ ΕΠΙΚΟΙΝΨΝΙΑΚΨΝ ΤΣΗΜΑΣΨΝ WordNet meta-search engine Μελέτη και υλοποίηςη μιασ μηχανήσ μετά-αναζήτηςησ (metasearch engine) με δυνατότητα ςημαςιολογικήσ αναζήτηςησ μέςω τησ WordNet lexical database Η Διπλωματικό Εργαςύα παρουςιϊςτηκε ενώπιον του Διδακτικού Προςωπικού του Πανεπιςτημύου Αιγαύου ε Μερικό Εκπλόρωςη των Απαιτόςεων για την απόκτηςη του Μεταπτυχιακού Διπλώματοσ Ειδύκευςησ «Σεχνολογύεσ και Διούκηςη Πληροφοριακών και Επικοινωνιακών υςτημϊτων» τησ Ανδρονίκησ Μόςιου ΥΕΒΡΟΤΑΡΙΟ 2010

2 ii

3 Η ΣΡΙΜΕΛΗ ΕΠΙΣΡΟΠΗ ΔΙΔΑΚΟΝΣΨΝ ΕΠΙΚΤΡΨΝΕΙ ΣΗ ΔΙΠΛΨΜΑΣΙΚΗ ΕΡΓΑΙΑ ΣΗ ΑΝΔΡΟΝΙΚΗ ΜΟΙΟΤ Αναγνωςτόπουλοσ Ιωϊννησ, Λϋκτορασ, Επιβλϋπων 12/02/2010 Σμόμα Μηχανικών Πληροφοριακών και Επικοινωνιακών υςτημϊτων Δημοςθϋνησ Βουγιούκασ, Επύκουροσ Καθηγητόσ, Μϋλοσ Σμόμα Μηχανικών Πληροφοριακών και Επικοινωνιακών υςτημϊτων Φαρϊλαμποσ κιϊνησ, Επύκουροσ Καθηγητόσ, Μϋλοσ Σμόμα Μηχανικών Πληροφοριακών και Επικοινωνιακών υςτημϊτων ΠΑΝΕΠΙΣΗΜΙΟ ΑΙΓΑΙΟΤ ΥΕΒΡΟΤΑΡΙΟ 2010 iii

4 ΠΕΡΙΛΗΧΗ Η αναζότηςη πληροφορύασ ςτο Παγκόςμιο Ιςτό λόγω τησ ραγδαύασ αύξηςησ του όγκου του, αποτελεύ ϋνα δύςκολο και χρονοβόρο εγχεύρημα. Σο τερϊςτιο πλόθοσ πληροφοριών που εντοπύζεται ςε αυτό αποτελεύ ταυτόχρονα και το ςημαντικότερο εμπόδιο ςτην εύρεςη των ςυγκεκριμϋνων ςτοιχεύων που ενδιαφϋρουν κϊθε χρόςτη. Οι μηχανϋσ αναζότηςησ αποτελούν το αρχικό ςημεύο ειςόδου για εκατομμύρια χρόςτεσ ςτο διαδύκτυο. Σο μϋγεθοσ του διαδικτύου αυξϊνεται ςυνεχώσ και η κϊθε μηχανό αναζότηςησ μπορεύ να χειριςτεύ ϋνα μικρό ποςοςτό των ςυνολικών πληροφοριών που διαθϋτει. Ο ςυνδυαςμόσ μερικών μηχανών αναζότηςησ μπορεύ να οδηγόςει ςτην αύξηςη τησ κϊλυψησ του ςυνολικού ποςού τησ πληροφορύασ ςτο Διαδύκτυο, και επομϋνωσ αυξϊνει την πιθανότητα εύρεςησ περιςςότερων επιθυμητών πληροφοριών. Αυτόσ εύναι και ο ςτόχοσ των Μηχανών Μετϊ-Αναζότηςησ. Επιπρόςθετα, η ςυνωνυμύα και η πολυςημύα ςυντελούν ςτη δυςκολύα εύρεςησ τησ επιθυμητόσ πληροφορύασ. τα πλαύςια αυτόσ τησ εργαςύασ αναπτύχθηκε μια τεχνικό βελτύωςησ ερωτημϊτων, η οπούα χρηςιμοποιεύ το ςημαςιολογικό δύκτυο λημμϊτων WordNet, ώςτε η εφαρμογό να προτεύνει εναλλακτικούσ όρουσ ςτουσ χρόςτεσ του Διαδικτύου για την διατύπωςη τησ πληροφοριακόσ τουσ ανϊγκησ. την παρούςα διπλωματικό υλοποιεύται η μηχανό μετϊ-αναζότηςησ WordNet meta-search engine, η οπούα χρηςιμοποιεύ τα αποτελϋςματα των τριών πιο διαδεδομϋνων Μηχανών Αναζότηςησ, τησ Google, τησ Yahoo!Search και τησ Bing. Καθώσ επύςησ, δύνει τη δυνατότητα ςτο χρόςτη να επιλϋξει, αν θϋλει, και ϊλλεσ δύο μηχανϋσ αναζότηςησ, την AltaVista και την AllTheWeb. Η μετϊ-μηχανό αναζότηςησ WordNet meta-search engine εύναι μύα εύκολη ςτη χρόςη εφαρμογό, η οπούα ομαδοποιεύ τα αποτελϋςματα τησ βϊςει των όρων αναζότηςησ και των ςχϋςεων των ςυνώνυμων, αντώνυμων, υπερώνυμων και υπώνυμων όρων που παρϋχει ο «Θηςαυρόσ» λεξιλογύου του WordNet. Ο ςκοπόσ τησ παρούςασ μετϊ-μηχανόσ αναζότηςησ εύναι να βελτιώςει την απόδοςη τησ ανϊκτηςησ πληροφορύασ με την ενςωμϊτωςη τεχνικών διεύρυνςησ και επϋκταςησ των ερωτημϊτων προσ όφελοσ του χρόςτη, με τη βοόθεια του ςημαςιολογικού δικτύου WordNet. Λέξεισ Κλειδιά: Ανϊκτηςη πληροφορύασ, Μηχανϋσ Αναζότηςησ, Μετϊ-Μηχανϋσ Αναζότηςησ, Επϋκταςη ερωτόματοσ, ημαςιολογικό Δύκτυο, Αξιολόγηςη 2010 Ανδρονύκη Μόςιου iv

5 ABSTRACT During recent years the World Wide Web has rapidly increased in volume, making the efficient searching of information difficult and time-consuming. The vast wealth of information found in it is at the same time the most significant obstacle for finding specific points of interest to the user. Search engines are the start page for millions of internet users. The size of the Internet is constantly growing and each search engine can only handle a small amount of the data available. Combining several search engines can lead to increased coverage of the total amount of information on the Internet, and therefore increase the possibility of finding more desired information. That is the objective of Meta-search Engines. Additionally, synonymity and polysemy contribute on the difficulty of finding the desired information. Within the framework of this paper a Query Refinement technique was developed, which makes use of the WordNet semantic network of entries, so that the application can suggest alternative terms to Internet users for phrasing their informative needs. This dissertation materializes the (meta-search engine) WordNet meat-search engine, which uses the results of the three most popular Search Engines, Google, Yahoo!Search and Bing. It also provides the user with the ability to choose/add two more search engines, if he wishes to do so, AltaVista and AllTheWeb. WordNet meta-search engine is a user-friendly application, which groups its results based on the search terms and the relations between the synonyms, antonyms, hyponyms and hypernyms contained in the vocabulary Thesaurus of WordNet. The purpose/aim of this meta-search engine is to improve the efficiency of information retrieval by incorporating query expansion techniques for the benefit of the user, with the assistance of the WordNet semantic network. Keywords: Information Retrieval, Search Engines, Meta-Search Engines, Query Expansion, Semantic Network, Evaluation 2010 Androniki Mosiou v

6 ΕΤΦΑΡΙΣΙΕ Η εκπόνηςη τησ παρούςασ διπλωματικόσ εργαςύασ θα όταν αδύνατη χωρύσ τη βοόθεια οριςμϋνων ανθρώπων, ςτουσ οπούουσ οφεύλω ειλικρινεύσ ευχαριςτύεσ. Αρχικϊ θα όθελα να ευχαριςτόςω τον επόπτη καθηγητό μου κ. Ιωϊννη Αναγνωςτόπουλο, για την ουςιαςτικό καθοδόγηςη και τη βοόθεια του ςτην ολοκλόρωςη τησ παρούςασ διπλωματικόσ εργαςύασ. Ευχαριςτώ θερμϊ τον φύλο μου Αντώνη Κοντογιϊννη ο οπούοσ με ςτόριξε ςε όλεσ τισ φϊςεισ υλοπούηςησ τησ εφαρμογόσ WordNet meta-search engine. Σον ευχαριςτώ για τισ πολύτιμεσ ςυμβουλϋσ και για τισ γνώςεισ του, που μοιρϊςτηκε μαζύ μου κϊθε φορϊ που αντιμετώπιζα προβλόματα. Φωρύσ την πολύτιμη βοόθειϊ και ηθικό υποςτόριξό του η παρούςα εργαςύα δε θα εύχε πραγματοποιηθεύ. Ευχαριςτώ επύςησ τη ςυνϊδελφό μου Αλύνα Παριανού για τη φιλολογικό επιμϋλεια ςτο ελληνικό κομμϊτι τησ εργαςύασ, καθώσ και τη ςυνϊδελφο μου Ϊφη Μορφοπούλου για το αντύςτοιχο αγγλικό. Σϋλοσ, ευχαριςτώ τουσ γονεύσ μου για την πολύτιμη βοόθεια και ςυμπαρϊςταςη όλα αυτϊ τα χρόνια. 1

7 ΠΙΝΑΚΑ ΠΕΡΙΕΦΟΜΕΝΨΝ ΠΕΡΙΛΗΧΗ... iv ABSTRACT... v ΕΤΦΑΡΙΣΙΕ... 1 ΠΙΝΑΚΑ ΠΕΡΙΕΦΟΜΕΝΨΝ... 2 ΕΤΡΕΣΗΡΙΟ ΕΙΚΟΝΨΝ... 7 ΕΤΡΕΣΗΡΙΟ ΠΙΝΑΚΨΝ... 9 ΚΕΥΑΛΑΙΟ 1 - ΕΙΑΓΨΓΗ ΚΕΥΑΛΑΙΟ 2 - ΑΝΑΖΗΣΗΗ ΠΛΗΡΟΥΟΡΙΑ ΣΟΝ ΠΑΓΚΟΜΙΟ ΙΣΟ Διαδύκτυο και Αναζότηςη Πληροφορύασ Προβλόματα ςτην Αναζότηςη Πληροφορύασ από το Διαδύκτυο Κακόβουλη Πληροφορύα (spam) Κακόβουλη πληροφορύα περιεχομϋνου (content spam) Κακόβουλη πληροφορύα ςυνδϋςμου (link spam) Ποιότητα Περιεχομϋνου (Content Quality) Αξιολόγηςη Ποιότητασ (Quality Evaluation) Κανόνεσ Διαδικτύου (Web Conventions) Διπλότυποι Κόμβοι (Duplicate Hosts) Αςαφόσ Καθοριςμόσ Δεδομϋνων (Vaguely-Structured Data) Βελτύωςη τησ απόδοςησ των υπηρεςιών αναζότηςησ ΚΕΥΑΛΑΙΟ 3 - ΜΗΦΑΝΕ ΑΝΑΖΗΣΗΗ Ιςτορικό Αναδρομό Σρόποσ λειτουργύασ των Μηχανών Αναζότηςησ Κυριότερεσ Μηχανϋσ Αναζότηςησ Google Αλγόριθμοσ PageRank Αξιολόγηςη Ιςτοςελύδων Κύκλοσ Ζωόσ μιασ Αναζότηςησ Βϊςεισ Δεδομϋνων Τπηρεςύεσ Αναζότηςησ Τπηρεςύεσ Επικοινωνύασ Περιοριςμού Αναζότηςησ Επιλογϋσ Αναζότηςησ Ιδιαύτερα Γνωρύςματα Αναζότηςησ

8 3.3.2 Yahoo! Search Εξϋλιξη Σεχνολογύασ Αναζότηςησ Αποτελϋςματα Αναζότηςησ Βϊςεισ Δεδομϋνων Τπηρεςύεσ Αναζότηςησ Περιοριςμού Αναζότηςησ Επιλογϋσ Αναζότηςησ Bing (MSN Search) Η εξϋλιξη τησ Μηχανόσ Αναζότηςησ Αποτελϋςματα Αναζότηςησ Βϊςεισ Δεδομϋνων Τπηρεςύεσ Αναζότηςησ Περιοριςμού Αναζότηςησ Επιλογϋσ Αναζότηςησ AltaVista Αποτελϋςματα Αναζότηςησ Βϊςεισ Δεδομϋνων Τπηρεςύεσ Αναζότηςησ Περιοριςμού Αναζότηςησ Επιλογϋσ Αναζότηςησ AllTheWeb (find it all) Αποτελϋςματα Αναζότηςησ Βϊςεισ Δεδομϋνων Τπηρεςύεσ Αναζότηςησ Περιοριςμού Αναζότηςησ Επιλογϋσ Αναζότηςησ Σρόποι Αναπαρϊςταςησ τησ Ανακτηθεύςασ Πληροφορύασ ΚΕΥΑΛΑΙΟ 4 - ΜΗΦΑΝΕ ΜΕΣΑ-ΑΝΑΖΗΣΗΗ & ΑΛΓΟΡΙΘΜΟΙ Ειςαγωγό Αρχιτεκτονικό των Μηχανών Μετϊ-Αναζότηςησ Ειςαγωγό τησ ερώτηςησ Επεξεργαςύα και υποβολό τησ ερώτηςησ ςε πολλαπλϋσ υπηρεςύεσ υλλογό και επεξεργαςύα των αποτελεςμϊτων Παρουςύαςη των μετϊ-αποτελεςμϊτων Κατηγορύεσ Μηχανών Μετϊ-Αναζότηςησ Μηχανό Μετϊ-Αναζότηςησ με λειτουργύα μεςολϊβηςησ

9 4.3.2 Μηχανό Μετϊ-Αναζότηςησ με ςειριακό αναζότηςη Μηχανό Μετϊ-Αναζότηςησ με παρϊλληλη αναζότηςη Αλγόριθμοι κατϊταξησ αποτελεςμϊτων από διαφορετικϋσ πηγϋσ Μϋθοδοι ενςωμϊτωςησ ύγκριςη ςτατιςτικών Παρϊλληλη παροχό πληροφοριών και αποτελεςμϊτων Μϋθοδοι απομόνωςησ υγχώνευςη βϊςει ανατιθϋμενου βαθμού ςτϊθμιςησ υγχώνευςη βϊςει δεύκτη βαρύτητασ εξυπηρετητό υγχώνευςη βϊςει ακολουθύασ κατϊταξησ υγχώνευςη βϊςει του περιεχομϋνου Επιςκόπηςη ςτο χώρο των Μηχανών Μετϊ-Αναζότηςησ Copernic Dogpile Highway Inference Find Intelliseek (Profusion) Ithaki Ixquick Metasearch Mamma Meta-Crawler MetaFind SavvySearch TracerLock - Informant ΚΕΥΑΛΑΙΟ 5 - ΣΕΦΝΙΚΕ ΕΠΕΚΣΑΗ ΣΨΝ ΕΡΨΣΗΜΑΣΨΝ ΣΟΤ ΦΡΗΣΗ Ε ΑΝΑΖΗΣΗΕΙ ΣΟΝ ΠΑΓΚΟΜΙΟ ΙΣΟ Ειςαγωγό Διεύρυνςη με χρόςη πληροφορύασ που δύνεται ϊμεςα από τον χρόςτη (explicit user feedback) Διεύρυνςη με χρόςη πληροφορύασ που αντλεύται από το τοπικό περιεχόμενο των αποτελεςμϊτων ενόσ ερωτόματοσ Διεύρυνςη με χρόςη Θηςαυρών και ημαςιολογικών δικτύων ΚΕΥΑΛΑΙΟ 6 - ΣΟ ΗΜΑΙΟΛΟΓΙΚΟ ΔΙΚΣΤΟ WordNet Ειςαγωγό Ιςτορικό Αναδρομό WordNet Μια online λεξικογραφικό Βϊςη Δεδομϋνων

10 ΚΕΥΑΛΑΙΟ 7 - ΠΕΡΙΓΡΑΥΗ ΤΛΟΠΟΙΗΗ ΣΗ ΕΥΑΡΜΟΓΗ WordNet meta-search engine Ειςαγωγό ύςτημα Αποθόκευςησ Διεπαφό Φρόςτη Παρϊθυρα Διαλόγου Αναζότηςη και χειριςμόσ αποτελεςμϊτων Αναζότηςη αποτελεςμϊτων Κατϊταξη μηχανών αναζότηςησ Φρόςη μηχανών για αναζότηςη Φειριςμόσ αποτελεςμϊτων μηχανών αναζότηςησ Φειριςμόσ αποτελεςμϊτων τησ Google Φειριςμόσ αποτελεςμϊτων τησ Bing Φειριςμόσ αποτελεςμϊτων τησ Yahoo Φειριςμόσ αποτελεςμϊτων τησ AltaVista Φειριςμόσ αποτελεςμϊτων τησ AllTheWeb Παρουςύαςη αποτελεςμϊτων Φρόςη τησ βϊςησ δεδομϋνων του WordNet Φειριςμόσ Ιςτορικού ΚΕΥΑΛΑΙΟ 8 - ΑΞΙΟΛΟΓΗΗ ΣΗ WordNet meta-search engine Ειςαγωγό Εκτύμηςη απόδοςησ ανϊκτηςησ και ταξινόμηςη Ανϊκληςη και Ακρύβεια Πειραματικό διαδικαςύα Μεθοδολογύα Αξιολόγηςησ Πρώτο Πεύραμα Δεύτερο Πεύραμα Αποτελϋςματα Πειραμϊτων ΚΕΥΑΛΑΙΟ 9 - ΤΜΠΕΡΑΜΑΣΑ ΠΑΡΑΡΣΗΜΑ - ΕΓΦΕΙΡΙΔΙΟ ΦΡΗΗ WordNet meta-search engine Environment (Σο περιβϊλλον τησ WordNet metasearch engine ) Help Introduction (Ειςαγωγό ςτη βοόθεια) Help Table of Contents (Πύνακασ Περιεχομϋνων) Help Toolbar (Εργαλειοθόκη Βοόθειασ) Help Main Window (Κύριο Παρϊθυρο Βοόθειασ)

11 Getting Started Using Dialogs (Φρηςιμοπούηςη Διαλόγων) Console (Κονςόλα) Browser (Υυλλομετρητόσ) Engine Options (Επιλογϋσ Μηχανών Αναζότηςησ) WordNet Options (Επιλογϋσ WordNet) Help (Βοόθεια) Change WordNet Directory (Αλλαγό Καταλόγου WordNet) WordNet Exception (Εξαύρεςη του WordNet) About Application (Πληροφορύεσ για την εφαρμογό) WordNet Tree (Δϋντρο εννοιών WordNet) Search Results Panel (Αποτελϋςματα Αναζότηςησ) Standard Toolbar (Εργαλειοθόκη Αναζότηςησ) Keyboard Shortcuts (υντομεύςεισ πληκτρολογύου) Menu Reference (Αναφορϊ Menu Επιλογών) Application Menus (Επιλογϋσ Εφαρμογόσ) Navigate Menus (Επιλογϋσ Πλοόγηςησ) View Menus (Επιλογϋσ Προβολόσ) Engines Menus (Επιλογϋσ Μηχανών) WordNet Menus (Επιλογϋσ WordNet) Help Menus (Επιλογϋσ Βοόθειασ) ΑΠΟΔΟΗ ΟΡΨΝ ΣΑ ΕΛΛΗΝΙΚΑ ΒΙΒΛΙΟΓΡΑΥΙΑ ΔΙΕΤΘΤΝΕΙ ΣΟ ΔΙΑΔΙΚΣΤΟ

12 ΕΤΡΕΣΗΡΙΟ ΕΙΚΟΝΨΝ Εικόνα 3-1: Ποςοςτϊ χρόςησ κυριότερων Μηχανών Αναζότηςησ Εικόνα 3-2: Κύκλοσ Ζωόσ μιασ αναζότηςησ ςτη Google Εικόνα 4-1: Απλό Αρχιτεκτονικό Μηχανόσ-Μετϊ Αναζότηςησ Εικόνα 4-2: τϊδια λειτουργύασ μιασ Μηχανόσ Μετϊ-Αναζότηςησ Εικόνα 4-3: Τπό-ςυςτόματα μιασ Μηχανόσ Μετϊ-Αναζότηςησ Εικόνα 4-4: Λειτουργύα Μεςολϊβηςησ Εικόνα 4-5: Λειτουργύα ςειριακόσ αναζότηςησ Εικόνα 4-6: Λειτουργύα παρϊλληλησ αναζότηςησ Εικόνα 4-7: Μϋθοδοσ ενςωμϊτωςησ με ςύγκριςη ςτατιςτικών Εικόνα 4-8: Μϋθοδοσ ενςωμϊτωςησ με παρϊλληλη παροχό πληροφοριών και αποτελεςμϊτων Εικόνα 6-1: Σο γραφικό περιβϊλλον του WordNet Εικόνα 6-2: Η λογικό δομό του WordNet Εικόνα 6-3: Παρϊδειγμα ιεραρχύασ υπερωνύμων τησ λϋξησ dog ςτο WordNet Εικόνα 6-4: Παρϊδειγμα ιεραρχύασ υπερωνύμων τησ λϋξησ blues ςτο WordNet Εικόνα 6-5: Παρϊδειγμα ιεραρχύασ υπερωνύμων δυο κύριων ονομϊτων ςτο WordNet Εικόνα 6-6: τιγμιότυπο ημαςιολογικού Δικτύου WordNet Εικόνα 6-7: χϋςεισ synsets που περιλαμβϊνουν τον όρο mouse ςτο WordNet Εικόνα 7-1: Πύνακασ engines τησ Βϊςησ Δεδομϋνων Εικόνα 7-2: Πύνακασ properties τησ Βϊςησ Δεδομϋνων (1/2) Εικόνα 7-3: Πύνακασ properties τησ Βϊςησ Δεδομϋνων (2/2) Εικόνα 7-4: SQL κώδικασ Εικόνα 7-5: Εικόνα του αρχικού Frame (WNSFrame) Εικόνα 7-6: Κληρονομικότητα κλϊςεων παραθύρων διαλόγου Εικόνα 7-7: Κλϊςη WNSDialog.java Εικόνα 7-8: Κλϊςη WNSResults.java Εικόνα 7-9: Κληρονομικότητα κλϊςεων μηχανών αναζότηςησ Εικόνα 7-10: Κλϊςη WNSEngine.java Εικόνα 7-11: Αποτελϋςματα Αναζότηςησ Google Εικόνα 7-12: Αποτελϋςματα Αναζότηςησ Bing Εικόνα 7-13: Αποτελϋςματα Αναζότηςησ Yahoo Εικόνα 7-14: Αποτελϋςματα Αναζότηςησ AltaVista Εικόνα 7-15: Αποτελϋςματα Αναζότηςησ AllTheWeb

13 Εικόνα 7-16: Η κλϊςη WordNetConnection.java Εικόνα 8-1: Ανϊκληςη και Ακρύβεια ςε επύπεδα ςυνόλων Εικόνα 8-2: Συπικό Διϊγραμμα Ανϊκληςησ/Ακρύβειασ Εικόνα 8-3: Αποτελϋςματα αναζότηςησ του όρου mouse χωρύσ τη χρόςη του WordNet.. 92 Εικόνα 8-4: Αποτελϋςματα αναζότηςησ του όρου mouse+rodent με τη χρόςη του WordNet Εικόνα 8-5: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ mouse ωσ ϋννοια rodent".. 96 Εικόνα 8-6: Αποτελϋςματα αναζότηςησ του όρου mouse+computer mouse με τη χρόςη του WordNet Εικόνα 8-7: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ mouse ωσ ϋννοια computer mouse" Εικόνα 8-8: Αποτελϋςματα αναζότηςησ του όρου spider χωρύσ τη χρόςη του WordNet. 101 Εικόνα 8-9: Αποτελϋςματα αναζότηςησ του όρου spider+wanderer με τη χρόςη του WordNet Εικόνα 8-10: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ spider ωσ ϋννοια wanderer" Εικόνα 8-11: Αποτελϋςματα αναζότηςησ του όρου spider+arachnoid με τη χρόςη του WordNet Εικόνα 8-12: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ spider ωσ ϋννοια arachnoid"

14 ΕΤΡΕΣΗΡΙΟ ΠΙΝΑΚΨΝ Πύνακασ 4-1: Λειτουργύεσ και υπό-ςυςτόματα ςτην αρχιτεκτονικό των Μ.Μ.Α Πύνακασ 6-1: ημαςιολογικϋσ ςχϋςεισ λεξικού WordNet Πύνακασ 6-2: Κόμβοσ 1 του τιγμιότυπου του WordNet Πύνακασ 6-3: Κόμβοσ 2 του τιγμιότυπου του WordNet Πύνακασ 6-4: Κόμβοσ 3 του τιγμιότυπου του WordNet Πύνακασ 6-5: Κόμβοσ 4 του τιγμιότυπου του WordNet Πύνακασ 8-1: Ανϊκληςη και Ακρύβεια ερωτόματοσ «mouse» (ωσ ϋννοια "rodent") Πύνακασ 8-2: Ανϊκληςη και Ακρύβεια ερωτόματοσ mouse + rodent" Πύνακασ 8-3: Ανϊκληςη και Ακρύβεια ερωτόματοσ «mouse» (ωσ ϋννοια "computer mouse") Πύνακασ 8-4: Ανϊκληςη και Ακρύβεια ερωτόματοσ mouse + computer mouse" Πύνακασ 8-5: Ανϊκληςη και Ακρύβεια ερωτόματοσ «spider» (ωσ ϋννοια "wanderer") Πύνακασ 8-6: Ανϊκληςη και Ακρύβεια ερωτόματοσ spider + wanderer" Πύνακασ 8-7: Ανϊκληςη και Ακρύβεια ερωτόματοσ «spider» (ωσ ϋννοια "arachnoid") Πύνακασ 8-8: Ανϊκληςη και Ακρύβεια ερωτόματοσ spider+arachnoid"

15 ΚΕΥΑΛΑΙΟ 1 - ΕΙΑΓΨΓΗ Η παρούςα διπλωματικό εργαςύα δομεύται ςε 9 Κεφϊλαια. το παρόν Κεφϊλαιο ϋγινε μια ςύντομη παρουςύαςη του αντικειμϋνου που πραγματεύεται η διπλωματικό καθώσ και των ςτόχων που καλεύται να ικανοποιόςει. Σο Κεφάλαιο 2 περιγρϊφει τη ςημερινό μορφό του Διαδικτύου και τισ ιδιαιτερότητεσ τησ ανϊκτηςησ πληροφορύασ από αυτό. τη ςυνϋχεια παρουςιϊζει τα κυριότερα προβλόματα ςτην αναζότηςη πληροφορύασ, καθώσ και τουσ τρόπουσ βελτύωςησ τησ απόδοςησ των υπηρεςιών αναζότηςησ. Σο Κεφάλαιο 3 αρχύζει με μια ιςτορικό αναδρομό τησ εξϋλιξησ των Μηχανών Αναζότηςησ και ςτη ςυνϋχεια παρουςιϊζει λεπτομερώσ τη λειτουργύα τουσ. Σϋλοσ, γύνεται μια αναλυτικό παρουςύαςη των πϋντε μηχανών αναζότηςησ: Google, Yahoo!Search, Bing, AltaVista και AllTheWeb, που χρηςιμοποιόθηκαν ςτην υλοπούηςη τησ παρούςασ μετϊμηχανόσ αναζότηςησ, καθώσ επύςησ και ο τρόποσ παρουςύαςησ των αποτελεςμϊτων τουσ ςτο χρόςτη. Σο Κεφάλαιο 4 αναλύει τη δομό, τα ςτϊδια λειτουργύασ και τισ κατηγορύεσ των Μηχανών-Μετϊ Αναζότηςησ. την ςυνϋχεια παρουςιϊζει τουσ αλγόριθμουσ που χρηςιμοποιούνται για την κατϊταξη των αποτελεςμϊτων από διαφορετικϋσ μηχανϋσ αναζότηςησ, που ϋχουν ωσ ςτόχο τη δημιουργύα μιασ ενιαύασ ταξινόμηςησ ςυγκεντρωμϋνων αποτελεςμϊτων. Και ςτο τϋλοσ γύνεται μια ςύντομη επιςκόπηςη ςτισ ςύγχρονεσ μηχανϋσ μετϊ-αναζότηςησ. Σο Κεφάλαιο 5 εςτιϊζεται ςτισ υπϊρχουςεσ τεχνικϋσ διεύρυνςησ ερωτημϊτων και παραθϋτει μια επιςκόπηςη τησ βιβλιογραφύασ και τησ ςχετικόσ ϋρευνασ ςτο πεδύο τησ αναζότηςησ πληροφορύασ από τα δεδομϋνα του Παγκόςμιου Ιςτού. Πιο αναλυτικϊ, παρουςιϊζεται η αρχιτεκτονικό και η λειτουργύα προγενϋςτερων τεχνικών διεύρυνςησ, αναφϋρονται οι λεξιλογικού πόροι που αυτϋσ χρηςιμοποιούν και περιγρϊφεται εν ςυντομύα η απόδοςό τουσ ςτην ανϊκτηςη ςχετικόσ με το ερώτημα πληροφορύασ. το Κεφάλαιο 6 δύνεται μια ςύντομη ειςαγωγό και ιςτορικό αναδρομό ςτα ςημαςιολογικϊ δύκτυα. τη ςυνϋχεια γύνεται αναφορϊ ςτα ιδιαύτερα χαρακτηριςτικϊ του ςημαςιολογικού δικτύου WordNet και ςτον τρόπο αξιοπούηςόσ του κατϊ τα διϊφορα ςτϊδια τησ ανϊκτηςησ πληροφορύασ από το Διαδύκτυο, δύνοντασ ϋμφαςη ςτισ τεχνικϋσ που χρηςιμοποιούν ςημαςιολογικϊ δύκτυα για τη βελτύωςη των ερωτημϊτων αναζότηςησ. το Κεφάλαιο 7 περιγρϊφεται αναλυτικϊ η υλοπούηςη τησ μετϊ-μηχανόσ αναζότηςησ WordNet meta-search engine με δυνατότητα ςημαςιολογικόσ αναζότηςησ μϋςω τησ WordNet lexical database. το Κεφάλαιο 8 παρουςιϊζονται τα πειρϊματα τα οπούα εκτελϋςτηκαν προκειμϋνου να αξιολογηθεύ η απόδοςη τησ μετϊ-μηχανόσ αναζότηςησ με δυνατότητα ςημαςιολογικόσ αναζότηςησ τόςο για την ακρύβειϊ ςτον εντοπιςμό των ενδιαφερόντων του χρόςτη όςο και ςτην βελτύωςη τησ ποιότητασ των αποτελεςμϊτων πριν και μετϊ την υποβολό του βελτιωμϋνου ερωτόματοσ ςτην μηχανό αναζότηςησ. 10

16 το Κεφϊλαιο 9 παρουςιϊζονται τα ςυμπερϊςματα ςχετικϊ με την αποτελεςματικότητα τησ προτεινόμενησ μετϊ-μηχανόσ αναζότηςησ για την βελτύωςη τησ απόδοςησ ανϊκτηςησ πληροφορύασ. Σϋλοσ, ςτο Παρϊρτημα παρουςιϊζεται ϋνα αναλυτικό Εγχειρύδιο Φρόςησ ςτα αγγλικϊ τησ μετϊ-μηχανόσ αναζότηςησ WordNet meta-search engine για την διευκόλυνςη του χρόςτη. 11

17 ΚΕΥΑΛΑΙΟ 2 - ΑΝΑΖΗΣΗΗ ΠΛΗΡΟΥΟΡΙΑ ΣΟΝ ΠΑΓΚΟΜΙΟ ΙΣΟ 2.1 Διαδίκτυο και Αναζήτηςη Πληροφορίασ Σο Διαδύκτυο παρϋχει ςόμερα μια φαινομενικϊ αςτεύρευτη πηγό πληροφοριών για όλα τα θϋματα που μπορεύ να μασ απαςχολούν και πϊνω του ςτηρύζεται η διϊδοςη τησ παγκόςμιασ γνώςησ ςτο ευρύ κοινό. Πλϋον, αποτελεύ ϋνα περιβϊλλον αποθόκευςησ και ανϊκτηςησ πληροφορύασ ςε ηλεκτρονικό μορφό. Η ραγδαύα ανϊπτυξη του διαδικτύου και η ςυνεχόμενη αύξηςη του όγκου τησ πληροφορύασ που ςυγκεντρώνεται ςε αυτό ϋκαναν την αναζότηςη πληροφορύασ, ϋνα αναγκαύο ςυςτατικό για τουσ χρόςτεσ του. την προςπϊθειϊ τουσ οι χρόςτεσ να εντοπύςουν τισ ςχετικϋσ πηγϋσ που ικανοποιούν τισ πληροφοριακϋσ τουσ ανϊγκεσ, μϋςα ςε αυτόν τον ϊναρχα δομημϋνο πληροφοριακό χώρο, απαιτεύται από αυτούσ η κατϊθεςη ϊφθονου χρόνου και επύπονη προςπϊθεια, για να τισ εντοπύςουν. Η εύρεςη τησ ''επιθυμητόσ'' πληροφορύασ από τον χρόςτη θα όταν αδύνατη εϊν δεν υπόρχαν τα κατϊλληλα εργαλεύα λογιςμικού. Η βαςικό λειτουργύα που επιτελεύ ϋνα ύςτημα Ανϊκτηςησ Πληροφορύασ (Information Retrieval System) εύναι να ικανοποιεύ ερωτόματα, με το να εντοπύζει ϊμεςα και να επιςτρϋφει ςτο χρόςτη τα κεύμενα εκεύνα που καλύπτουν όςο το δυνατόν περιςςότερο τα πληροφοριακϊ του αιτόματα. Για την ανϊκτηςη πληροφορύασ από τον Παγκόςμιο Ιςτό υπϊρχουν τρεισ βαςικού τύποι εργαλεύων: οι διαδικτυακοί κατάλογοι, οι Μηχανέσ Αναζήτηςησ και οι Μηχανέσ Μετά-Αναζήτηςησ. Οι διαδικτυακού κατϊλογοι εύναι ϋνασ τρόποσ αναζότηςησ πληροφορύασ η οπούα εύναι αποθηκευμϋνη και κατηγοριοποιημϋνη ςε θεματικούσ καταλόγουσ, ςύμφωνα με την ανθρώπινη λογικό. Οι Μηχανϋσ Αναζότηςησ (Μ.Α.), που αποτελούν ϋνα δεύτερο τρόπο αναζότηςησ, ςυλλϋγουν πληροφορύεσ από ιςτοςελύδεσ και τισ αποθηκεύουν ςε βϊςεισ δεδομϋνων. Όταν ο χρόςτησ θϋλει να κϊνει μια αναζότηςη, η μηχανό αναζότηςησ προςπελαύνει τη βϊςη δεδομϋνων που διαθϋτει και ςτη ςυνϋχεια εμφανύζει τα αποτελϋςματα που εύναι πιο κοντϊ (με βϊςη τη ςχετικότητα) ςτο ερώτημα του χρόςτη. Σϋλοσ, οι Μηχανϋσ Μετϊ-Αναζότηςησ (Μ.Μ.Α.) δε διαθϋτουν δικό τουσ βϊςη δεδομϋνων και δικό τουσ κατϊλογο ό ευρετόριο. Αντύθετα, λειτουργούν αναζητώντασ ταυτόχρονα ςτισ βϊςεισ δεδομϋνων ϊλλων μηχανών αναζότηςησ και επιςτρϋφουν όλα τα αποτελϋςματα, αφού πρώτα ταξινομηθούν κατϊλληλα ςτουσ χρόςτεσ. Η αναζότηςη πληροφορύασ από το διαδύκτυο ϋχει κϊποιεσ ιδιαιτερότητεσ ςε ςχϋςη με την κλαςςικό αναζότηςη πληροφοριών, οι οπούεσ δυςκολεύουν την ανϊκτηςη τησ επιθυμητόσ πληροφορύασ. Οι κύριοι λόγοι που ςυμβαύνει αυτό εύναι οι εξόσ: 12

18 Λϊθοσ διατυπωμϋνα ερωτόματα (Ill-formed queries). Πολλϋσ φορϋσ οι χρόςτεσ των δικτυακών μηχανών αναζότηςησ ςυνηθύζουν να διατυπώνουν ςύντομα πληροφοριακϊ αιτόματα τα οπούα αποτελούνται κατϊ μϋςο όρο από ελϊχιςτεσ λϋξεισ (μεταξύ 1 και 3 όρων [4]), ενώ παρϊλληλα δε δύνουν την απαιτούμενη προςοχό ςτην ακριβό διατύπωςη τησ πληροφοριακόσ τουσ ανϊγκησ με αποτϋλεςμα τα ερωτόματϊ τουσ να εύναι αρκετϊ αςαφό. Ϊτςι, ςυχνϊ τα αποτελϋςματα που επιςτρϋφονται ωσ απϊντηςη ςε ελλιπώσ διατυπωμϋνα ερωτόματα δεν ανταποκρύνονται ςτην πραγματικό πληροφοριακό ανϊγκη του χρόςτη, με αποτϋλεςμα ο χρόςτησ να απογοητευτεύ από την απόδοςη τησ ανϊκτηςησ. Δυναμικό αλλαγό του Διαδικτύου. Η ςυλλογό των ςελύδων αλλϊζει δυναμικϊ, καθώσ χιλιϊδεσ καινούριεσ ςελύδεσ εμφανύζονται καθημερινϊ ςτο Διαδύκτυο και ϊλλεσ εμφανύζονται διαφορετικϋσ. Ϊτςι, το ςύςτημα επιβαρύνεται, καθώσ πρϋπει να ενημερώνει διαρκώσ τισ όδη αποθηκευμϋνεσ ςελύδεσ και να προςθϋτει ςυνϋχεια καινούριεσ. Όγκοσ πληροφοριών. Η αύξηςη τησ ποςότητασ πληροφοριών εύναι δύςκολο να προςδιοριςτεύ, με αποτϋλεςμα να δυςκολεύει την αναζότηςη πληροφοριών. Ανομοιογϋνεια. Σο διαδύκτυο εκτόσ από κεύμενα, διαθϋτει πληθώρα τύπων πληροφοριών, όπωσ φωτογραφύεσ, αρχεύα όχου, βύντεο και ϊλλα. Η χρηςιμότητα των ςελύδων ποικύλλει. Μερικϋσ ςελύδεσ εςτιϊζουν ιδιαύτερα ςε κϊποιο θϋμα, ϊλλεσ δύνουν διϊφορεσ πληροφορύεσ για πολλϊ, και πολλϋσ φορϋσ ϊςχετα μεταξύ τουσ θϋματα. Επύςησ, υπϊρχουν ςελύδεσ που ςκοπόσ τουσ δεν εύναι καν η παροχό πληροφοριών. Ανακρύβεια. Η ποιότητα τησ πληροφορύασ που περιϋχεται ςτισ ςελύδεσ δεν εξαςφαλύζεται, καθώσ μπορεύ να αναφϋρονται ανακρύβειεσ ό ακόμα και να γύνεται προπαγϊνδα μϋςω κϊποιων από αυτϋσ. Πληθώρα γλωςςών. το διαδύκτυο χρηςιμοποιούνται πολλϋσ διαφορετικϋσ γλώςςεσ, οπότε η αναζότηςη πληροφοριών γύνεται περιςςότερο πολύπλοκη. Διπλοτυπύεσ. Η αντιγραφό των ςελύδων εύναι ϋνα χαρακτηριςτικό του διαδικτύου που δυςκολεύει την αναζότηςη, μιασ και μεγϊλο ποςοςτό ςελύδων υπϊρχει δύο φορϋσ. Τψηλό ςυνδετικότητα. χεδόν κϊθε ςελύδα ςτον παγκόςμιο ιςτό διαθϋτει πολλϋσ ςυνδϋςεισ προσ ϊλλεσ ςελύδεσ. Πληθώρα χρηςτών. Κϊθε χρόςτησ του διαδικτύου ϋχει διαφορετικϋσ ανϊγκεσ, προςδοκύεσ και γνώςεισ. υγκεκριμϋνη ςυμπεριφορϊ χρηςτών. Ϊχει υπολογιςτεύ ότι το 85% των χρηςτών του διαδικτύου κοιτούν μόνο την πρώτη ςελύδα των επιςτρεφόμενων αποτελεςμϊτων μιασ μηχανόσ αναζότηςησ και το 78% δεν τροποποιούν την διατύπωςη του αρχικού τουσ ερωτόματοσ. 13

19 2.2 Προβλήματα ςτην Αναζήτηςη Πληροφορίασ από το Διαδίκτυο Η ανϊπτυξη και εξϋλιξη των μηχανών αναζότηςησ δεν ϋχει κατορθώςει να δώςει λύςη ςε μια ςειρϊ προβλημϊτων ςχετικϊ με την διατόρηςη ό την αύξηςη κϊποιασ ποιότητασ απόδοςησ τησ αναζότηςησ πληροφορύασ. Οι ιδιαιτερότητεσ τησ αναζότηςησ πληροφορύασ από το Διαδύκτυο, που αναφϋρθηκαν ςτην παραπϊνω παρϊγραφο, αποτελούν και μερικούσ παρϊγοντεσ που δημιουργούν τα ςυγκεκριμϋνα προβλόματα κατϊ την ανϊκτηςη. τη ςυνϋχεια γύνεται περιγραφό οριςμϋνων προβλημϊτων, τα οπούα μπορούν να αποτελϋςουν και ενδιαφϋρον τομεύσ για ϋρευνα [5] Κακόβουλη Πληροφορία (spam) Οι χρόςτεσ όταν αναζητούν κϊποιεσ ςελύδεσ από μηχανϋσ αναζότηςησ, τεύνουν να εξετϊζουν μόνο αυτϋσ που εμφανύζονται ςτην πρώτη ςελύδα των επιςτρεφόμενων αποτελεςμϊτων. Ο Silverstein [6] ϋδειξε ότι το 85,2% των χρηςτών που χρηςιμοποιούν μηχανϋσ αναζότηςησ, κοιτούν μόνο τα αποτελϋςματα τησ πρώτησ ςελύδασ και το 7,5% και τησ δεύτερησ. Αυτό ϋχει ωσ αποτϋλεςμα, οι ιςτοςελύδεσ που εμφανύζονται ςτην πρώτη ςελύδα των αποτελεςμϊτων να γύνονται αρκετϊ δημοφιλεύσ και να προκαλεύται μεγϊλη κύνηςη ςτον ςυγκεκριμϋνο δικτυακό τόπο. τισ περιςςότερεσ ιςτοςελύδεσ και κυρύωσ ςε αυτϋσ με εμπορικό περιεχόμενο, οι επιςκϋψεισ όλο και περιςςότερων χρηςτών μπορεύ να αποφϋρει μεγϊλο κϋρδοσ ςτην επιχεύρηςη. Όμωσ, το να εύναι κϊποια ιςτοςελύδα ςτα πρώτα αποτελϋςματα μιασ μηχανόσ αναζότηςησ μπορεύ να ενδιαφϋρει αρκετϊ όχι μόνο τισ επιχειρόςεισ αλλϊ και τισ μηχανϋσ αναζότηςησ. Επομϋνωσ, αρκετού ιδιοκτότεσ ςελύδων ςτο διαδύκτυο προςπαθούν ςκόπιμα να «παραπλανόςουν», ακόμα και με οικονομικό βοόθεια, τισ γνωςτότερεσ μηχανϋσ αναζότηςησ για να τοποθετηθούν ςε υψηλϋσ θϋςεισ κατϊταξησ. Σο αποτϋλεςμα αυτόσ τησ διαδικαςύασ εύναι γνωςτό ωσ κακόβουλη πληροφορύα των μηχανών αναζότηςησ ό spamdexing. Οι τεχνικϋσ αυτϋσ μπορούν να κατηγοριοποιηθούν ςε δύο γενικϋσ κατηγορύεσ. την κακόβουλη πληροφορύα περιεχομϋνου (content spam) και ςτην κακόβουλη πληροφορύα ςυνδϋςμου (link spam) Κακόβουλη πληροφορύα περιεχομϋνου (content spam) Οι τεχνικϋσ αυτόσ τησ κατηγορύασ περιλαμβϊνουν την προςπϊθεια μεταβολόσ τησ λογικόσ ϊποψησ που ϋχει μια μηχανό αναζότηςησ ςχετικϊ με το περιεχόμενο μιασ ςελύδασ. τοχεύουν όλεσ ςε παραλλαγϋσ του διανυςματικού χώρου για την ανϊκτηςη πληροφοριών από ςυλλογϋσ κειμϋνου. Η κατηγορύα αυτό περιλαμβϊνει τισ παρακϊτω τεχνικϋσ: Keyword stuffing. Σοποθϋτηςη λϋξεων-κλειδιϊ ςε ςυγκεκριμϋνα ςημεύα τησ ςελύδασ ϋτςι, ώςτε η ςελύδα αυτό να μπορεύ να βρεθεύ πιο εύκολα από κϊποιο web crawler. Hidden or invisible unrelated text. Απόκρυψη λϋξεων-κλειδιϊ και φρϊςεων με το να τα κϊνουμε ύδιο χρώμα με το background και χρηςιμοποιώντασ πολύ μικρό μϋγεθοσ γραμματοςειρϊσ. Meta tag stuffing. Επανϊληψη λϋξεων-κλειδιϊ ςτα Meta tags και χρηςιμοπούηςη λϋξεων-κλειδιϊ που δεν ςχετύζονται με το περιεχόμενο τησ ςελύδασ. Gateway or doorway pages. Δημιουργύα μη ποιοτικών ςελύδων με πολύ μικρό περιεχόμενο αλλϊ γεμϊτο από παρόμοιεσ λϋξεισ-κλειδιϊ και φρϊςεισ. Scraper sites. Εύναι επύςησ γνωςτϊ ωσ Made for Ad Sense sites και ςχεδιϊζονται με τϋτοιο τρόπο, ώςτε να δημιουργούν κατϊλληλο περιεχόμενο για μια ιςτοςελύδα [9]. 14

20 Κακόβουλη πληροφορύα ςυνδϋςμου (link spam) Οι τεχνικϋσ αυτόσ τησ κατηγορύασ εκμεταλλεύονται τουσ αλγόριθμουσ κατϊταξησ που βαςύζονται ςτουσ ςυνδϋςμουσ, όπωσ ο αλγόριθμοσ PageRank τησ Google, ο οπούοσ δύνει υψηλότερη κατϊταξη ςε ϋνα site ςτο οπούο οδηγούν μϋςα από ςυνδϋςμουσ ϊλλα site υψηλόσ κατϊταξησ. Η κατηγορύα αυτό περιλαμβϊνει τισ παρακϊτω τεχνικϋσ: Link Farms. Δημιουργύα ενόσ ςυνόλου από ςελύδεσ όπου η κϊθε μύα ςε παραπϋμπει ςτισ υπόλοιπεσ. Hidden Links. Σοποθϋτηςη ςυνδϋςμων που δεν φαύνονται ςτον χρόςτη ϋτςι, ώςτε να αυξηθεύ η δημοςιότητα - link popularity τησ ιςτοςελύδασ. Sybil Attack. Δημιουργύα πολλών ιςτοςελύδων ςε διαφορετικϊ ονόματα χώρου που κϊθε μύα ϋχει ςυνδϋςμουσ προσ τισ ϊλλεσ. Spam blogs. Χεύτικα blogs που δημιουργούνται αποκλειςτικϊ και μόνο για spamming. Page hijacking. Δημιουργύα ιςτοςελύδων που μοιϊζουν πολύ με ϊλλεσ διϊςημεσ ιςτοςελύδεσ, ϋχουν περιεχόμενο παρόμοιο με τισ αυθεντικϋσ ιςτοςελύδεσ αλλϊ ανακατευθύνουν τον χρόςτη ςε κακόβουλεσ και μη ςχετικϋσ ιςτοςελύδεσ. Αγορά ονομάτων χώρου που ϋχουν λόξει και αντικατϊςταςό τουσ με ςυνδϋςμουσ προσ ϊλλεσ κακόβουλεσ ςελύδεσ. Spam in blogs. Σοποθϋτηςη ςυνδϋςμων ςε blog και ϊλλα site όπου επιτρϋπονται ςχόλια (και γενικϊ ειςαγωγό κειμϋνου) από τουσ χρόςτεσ. Wiki spam. Φρηςιμοπούηςη τησ ανοικτόσ ςτουσ χρόςτεσ βιβλιοθόκη Wikipedia ϋτςι, ώςτε να τοποθετηθούν ςύνδεςμοι προσ ϊλλεσ ιςτοςελύδεσ. Referrer log spamming. Σροποπούηςη των logs αναφορϊσ πολλών ιςτοςελύδων ϋτςι, ώςτε να δεύχνουν ςε μύα ςυγκεκριμϋνη ιςτοςελύδα. Κϊποιεσ ϊλλησ μη κατηγοριοποιημϋνεσ τεχνικϋσ spamdexing εύναι: Mirror websites. Υιλοξενύα πολλών ιςτοςελύδων παρόμοιου περιεχομϋνου αλλϊ με διαφορετικό URL. URL redirection. Μεταφορϊ του χρόςτη ςε κϊποια ϊλλη ιςτοςελύδα χωρύσ την μεςολϊβηςό του. Cloaking. Προςπϊθεια παραπλϊνηςησ τησ μηχανόσ αναζότηςησ, αναφϋροντασ το περιεχόμενο ςε μια ςυγκεκριμϋνη ιςτοςελύδα. Δυςτυχώσ, η κακόβουλη πληροφορύα εύναι τόςο διαδεδομϋνη, ώςτε κϊθε εμπορικό μηχανό αναζότηςησ θα πρϋπει να λαμβϊνει μϋτρα και να αναγνωρύζει και να απομακρύνει τϋτοιου εύδουσ πληροφορύα. Φωρύσ αυτό την αντιμετώπιςη, η ποιότητα τησ κατϊταξησ των αποτελεςμϊτων θα μειονεκτεύ ςε ςημαντικό βαθμό. 15

21 2.2.2 Ποιότητα Περιεχομένου (Content Quality) Δυςτυχώσ, η κακόβουλη πληροφορύα δεν εύναι το μόνο ανηςυχητικό θϋμα που πρϋπει να λϊβει υπόψη μύα μηχανό αναζότηςησ. Η ποιότητα του περιεχομϋνου των αποτελεςμϊτων κατϊ την διϊρκεια μιασ αναζότηςησ εύναι ϋνα θϋμα μεγϊλησ ςημαςύασ για όλεσ τισ μηχανϋσ αναζότηςησ. Η δημοκρατικό φύςη τησ δημιουργύασ περιεχομϋνων ςτο Διαδύκτυο ϋχει οδηγόςει ςε μια ςυλλογό περιεχομϋνων με αποτϋλεςμα να εύναι πολύ χαμηλόσ ποιότητασ. Ο παγκόςμιοσ ιςτόσ εύναι γεμϊτοσ από χαμηλόσ ποιότητασ, αναξιόπιςτο και πραγματικϊ αντικρουόμενο περιεχόμενο. Για τουσ παραπϊνω λόγουσ, θα όταν αρκετϊ χρόςιμο για τισ μηχανϋσ αναζότηςησ να ϋχουν την δυνατότητα να αναγνωρύζουν την ποιότητα των ιςτοςελύδων ανεξαρτότωσ του ερωτόματοσ του χρόςτη. Αυτό ςημαύνει, ότι κϊθε αποθηκευμϋνη ςελύδα ςτη βϊςη μιασ μηχανόσ αναζότηςησ θα μπορούςε να ϋχει ϋναν δεύκτη αξιολόγηςησ. Αυτόσ ο δεύκτησ αξιολόγηςησ θα μπορούςε να προκύπτει από διϊφορα ςτοιχεύα, όπωσ ο βαθμόσ ανϊγνωςησ τησ ςυγκεκριμϋνησ ςελύδασ ό η αξιολόγηςό τησ από τουσ χρόςτεσ. Επομϋνωσ, μια λογικό προςϋγγιςη ςτην αναζότηςη και ανϊκτηςη ποιοτικόσ πληροφορύασ θα όταν κϊθε μηχανό αναζότηςησ να προςπαθόςει να βρει τεχνικϋσ και μεθόδουσ με ςκοπό αρχικϊ την αξιολόγηςη τησ ποιότητασ και ςτη ςυνϋχεια την αφαύρεςη ςελύδων με χαμηλό ποιότητα περιεχομϋνου από την βϊςη δεδομϋνων τουσ Αξιολόγηςη Ποιότητασ (Quality Evaluation) Η αξιολόγηςη των αποτελεςμϊτων διαφορετικών αλγορύθμων κατϊταξησ ωσ προσ την ποιότητα αποτελεύ ϋνα δύςκολο πρόβλημα. Οι εμπορικϋσ μηχανϋσ αναζότηςησ ϋχουν το πλεονϋκτημα ότι μπορούν να αξιολογόςουν αποτελϋςματα και να τα κατατϊξουν, χρηςιμοποιώντασ τη μεγϊλη ποςότητα δεδομϋνων που προϋρχεται από ερωτόματα κανονικών και αδιϊφορων από πλευρϊσ κϊποιου ςκοπού χρηςτών. Οι χρόςτεσ ςυνόθωσ δεν προςπαθούν να δώςουν λανθαςμϋνεσ απαντόςεισ, αλλϊ τισ πιο πολλϋσ φορϋσ δεν μπαύνουν ςτην διαδικαςύα να ςυμπληρώςουν κϊποια ερωτηματολόγια. Η ερευνητικό πτυχό του ςυγκεκριμϋνου προβλόματοσ ανϊκτηςησ πληροφορύασ ϋγκειται ςτο να γύνει εκμετϊλλευςη όλων των δυνατών παραγόντων, ώςτε να αξιολογηθούν οι διαφορετικϋσ ςτρατηγικϋσ κατϊταξησ Κανόνεσ Διαδικτύου (Web Conventions) Γενικώσ ςτο διαδύκτυο δεν υπϊρχουν κανόνεσ που πρϋπει να τηρούνται για την καταςκευό μιασ ιςτοςελύδασ. Οποιοςδόποτε μπορεύ να καταςκευϊςει και να ανεβϊςει την ιςτοςελύδα του όπωσ αυτόσ επιθυμεύ χωρύσ να τον περιορύζουν κανόνεσ. Όμωσ, οι περιςςότεροι δημιουργού ιςτοςελύδων ακολουθούν κϊποιουσ απλούσ κανόνεσ ςυμβϊςεισ χωρύσ κανεύσ να τουσ επιβϊλλει. Δηλαδό οι περιςςότερεσ ςελύδεσ ϋχουν κϊποια κοινϊ ςημεύα τα οπούα θα τα αναφϋρουμε ωσ κανόνεσ του Διαδικτύου. Μερικού από αυτούσ τουσ κανόνεσ εύναι: 1. Σο πρώτο πρϊγμα που θϋλει να μϊθει ϋνασ χρόςτησ για μια ιςτοςελύδα εύναι με τι ϋχει να κϊνει αυτό η ιςτοςελύδα. Αυτό φαύνεται κυρύωσ από το λογότυπο (logo) τησ ςελύδασ το οπούο ςυνόθωσ τοποθετεύται πϊνω αριςτερϊ. 2. Οι περιςςότεροι χρόςτεσ δεν ϋχουν υπομονό και ςαρώνουν την ιςτοςελύδα ςτα γρόγορα. Γι αυτό το λόγο, καλό εύναι οι δημιουργού ιςτοςελύδων να τοποθετούν τισ ςημαντικότερεσ πληροφορύεσ ςτο πιο εμφανϋσ ςημεύο, δηλαδό κοντϊ ςτην κορυφό τησ ςελύδασ, για παρϊδειγμα κϊτω από το λογότυπο τησ ςελύδασ. 16

22 3. Οι υπογραμμιςμϋνεσ λϋξεισ ςυνόθωσ εύναι ςύνδεςμοι. Επύςησ, ςε ϋνα κεύμενο από λϋξεισ, μύα λϋξη ό πρόταςη που εύναι ςε διαφορετικό χρώμα ςημαύνει πωσ εύναι και αυτόσ ϋνασ ςύνδεςμοσ ςτισ περιςςότερεσ περιπτώςεισ. Επομϋνωσ, εύναι καλό οι δημιουργού ςελύδων να μην υπογραμμύζουν λϋξεισ και να μην τισ τονύζουν με διαφορετικό χρώμα αν αυτϋσ δεν εύναι ςύνδεςμοσ. 4. Εύναι αναγκαύο να υπϊρχει ςύνδεςμοσ προσ την αρχικό ςελύδα ςε εμφανϋσ ςημεύο και ςυνόθωσ πϊνω αριςτερϊ κϊτω από το λογότυπο. 5. Όταν μια ιςτοςελύδα αποτελεύται από πολλϋσ ϊλλεσ καλό εύναι όλεσ να ϋχουν την ύδια μορφό και εμφϊνιςη. Αυτό διευκολύνει και δεν μπερδεύει τουσ χρόςτεσ, καθώσ μεταφϋρονται από ςελύδα ςε ςελύδα ςτο ύδιο site. 6. Σο μενού μιασ ιςτοςελύδασ ςυνόθωσ βρύςκεται ςε μια οριζόντια γραμμό ςτην κορυφό τησ ςελύδασ και κϊτω από το λογότυπο ό ςε μια κϊθετη ςτόλη δεξιϊ ό αριςτερϊ. Οι μηχανϋσ αναζότηςησ με τη ςειρϊ τουσ βαςύζονται ςε αυτούσ τουσ κανόνεσ του Διαδικτύου που τηρούν οι δημιουργού, με ςκοπό να βελτιώςουν την ποιότητα των αποτελεςμϊτων. υνεπώσ, όταν οι δημιουργού μιασ ιςτοςελύδασ αθετούν αυτούσ τουσ κανόνεσ, λογικό εύναι να επηρεϊζουν τισ μηχανϋσ αναζότηςησ. Σο κύριο θϋμα ςε αυτό το πρόβλημα, εύναι να αναγνωριςτούν οι διϊφοροι κανόνεσ οι οπούοι ϋχουν αναπτυχθεύ ςε ολόκληρο τον κόςμο, και να αναπτυχθούν τεχνικϋσ, ώςτε να μπορούν να ανακαλύπτονται επακριβώσ, πότε αυτού οι κανόνεσ παραβιϊζονται και από ποιουσ δημιουργούσ και ιςτοςελύδεσ Διπλότυποι Κόμβοι (Duplicate Hosts) Κατϊ τη μελϋτη του διαδικτύου, οι μηχανϋσ αναζότηςησ προςπαθούν να αποφύγουν την αποθόκευςη ςτισ βϊςεισ δεδομϋνων τουσ διπλότυπεσ και πανομοιότυπεσ ιςτοςελύδεσ, καθώσ δεν προςτύθεται νϋα πληροφορύα ςτα αποτελϋςματα των αναζητόςεων αλλϊ αντύθετα προκαλεύται μεγαλύτερη ακαταςταςύα ςτα αποτελϋςματα. Αυτό το πρόβλημα τησ αναγνώριςησ διπλότυπων ιςτοςελύδων μϋςα από ςυνεχό αναζότηςη ϋχει μελετηθεύ αρκετϊ. Πολλϋσ μηχανϋσ αναζότηςησ ελϋγχουν για διπλότυπεσ εγγραφϋσ κατϊ την παραγωγό των αποτελεςμϊτων. ε αυτό την περύπτωςη όμωσ δεν υπϊρχει εγγύηςη για το ποια ϋκδοςη τησ ςελύδασ θα εμφανιςτεύ ςτα αποτελϋςματα και ποια δε θα εμφανιςτεύ. Επύςησ, ο web crawler μιασ μηχανόσ αναζότηςησ μπορεύ να ςταματόςει την ειςαγωγό ςελύδων μιασ ιςτοςελύδασ ςτα αποτελϋςματα, αν παρατηρόςει ότι υπϊρχουν πολλϊ αντύγραφα των ύδιων ςελύδων ςε διαφορετικούσ Εντοπιςτϋσ Ομοιόμορφων Πόρων (URLs). Τπϊρχουν δύο κύριοι λόγοι για τουσ οπούουσ οι μηχανϋσ αναζότηςησ επιθυμούν να μην ϋχουν διπλότυπο περιεχόμενο ςτα αποτελϋςματα. Ο πρώτοσ φυςικϊ εύναι η αποφυγό εμφϊνιςησ δύο ύδιων ςελύδων ςτα αποτελϋςματα. Ο δεύτεροσ λόγοσ εύναι η εξοικονόμηςη πόρων από την διαδικαςύα τησ ειςαγωγόσ ςτη βϊςη δεδομϋνων ςελύδων με πανομοιότυπο περιεχόμενο. Ϊνα πολύ ςυχνό παρϊδειγμα κατϊ το οπούο οι μηχανϋσ αναζότηςησ αντιλαμβϊνονται την ύπαρξη πανομοιότυπου περιεχομϋνου εύναι ςτη περύπτωςη όπου κϊποιεσ ιςτοςελύδεσ πωλούν το ύδιο προώόν. Αυτϋσ οι ςελύδεσ ςυνηθύζουν να χρηςιμοποιούν το κεύμενο τησ περιγραφόσ του προώόντοσ που υπϊρχει ςτη ςελύδα του καταςκευαςτό, και ϋτςι υπϊρχει μύα ςημαντικό ποςότητα περιεχομϋνου που εύναι ύδια ςε περιςςότερεσ από μύα ιςτοςελύδεσ. Μύα ϊλλη περύπτωςη εύναι αυτό όπου πολλϊ διαφορετικϊ URLs αντιπροςωπεύουν την ύδια ιςτοςελύδα. Για παρϊδειγμα τα παρακϊτω URLs μπορεύ να καταλόγουν ςτην ύδια ιςτοςελύδα: 17

23 τισ παραπϊνω δύο περιπτώςεισ, αλλϊ και ςε αρκετϋσ ϊλλεσ, οι περιςςότερεσ μηχανϋσ αναζότηςησ αντιλαμβϊνονται την ύπαρξη πανομοιότυπων εγγραφών και τισ εξαλεύφουν Αςαφήσ Καθοριςμόσ Δεδομένων (Vaguely-Structured Data) Ο τρόποσ που εύναι δομημϋνεσ οι πληροφορύεσ εύναι ϋνα από τα βαςικότερα χαρακτηριςτικϊ και επηρεϊζει πϊρα πολύ ςχεδόν όλεσ τισ τεχνικϋσ που χρηςιμοποιούνται κατϊ την αναζότηςη και ανϊκτηςη πληροφοριών. Αρχικϊ, για τουσ ερευνητϋσ των βϊςεων δεδομϋνων μεγϊλο ρόλο ϋπαιζαν τα δεδομϋνα που όταν δομημϋνα ςε υψηλό επύπεδο. Αντύθετα, οι ερευνητϋσ που ερευνούςαν την επιςτόμη τησ ανϊκτηςησ πληροφορύασ μελετούςαν αδόμητεσ πληροφορύεσ. Πλϋον, οι ερευνητϋσ των βϊςεων δεδομϋνων λαμβϊνουν υπόψη, αν γύνεται εξαπϊτηςη που ϋχει να κϊνει με την δομό των δεδομϋνων, και οι αντύςτοιχοι τησ επιςτόμησ τησ ανϊκτηςησ πληροφορύασ ϊρχιςαν να χρηςιμοποιούν ςυςςωρευμϋνη μετϊ-πληροφορύα (meta-data). Οι ιςτοςελύδεσ που εύναι γραμμϋνεσ ςε HTML εύναι πολύ κοντϊ τόςο ςτο ελεύθερο κεύμενο όςο και ςτο καλϊ δομημϋνο. Η HTML δύνει περιςςότερο ϋμφαςη ςτην εμφϊνιςη, παρϋχει περιοριςμϋνη πληροφορύα για την δομό αλλϊ παρϋχει ςτοιχεύα για την ςημαςιολογικό (semantic) πληροφορύα. Οι μηχανϋσ αναζότηςησ εκμεταλλεύονται τα παραπϊνω ςτοιχεύα για την καλύτερη παραγωγό αποτελεςμϊτων. Αυτό ςημαύνει ότι ιςτοςελύδεσ με αςαφώσ δομημϋνα δεδομϋνα δυςκολεύουν και δεν προτιμώνται από τισ μηχανϋσ αναζότηςησ. Για ςχεδόν το ςύνολο των μηχανών αναζότηςησ, η πληροφορύα για την εμφϊνιςη μιασ ιςτοςελύδασ HTML ϋχει περιοριςμϋνη ςημαςύα και δε χρηςιμοποιεύται αρκετϊ, ειδικϊ αν ςυγκριθεύ με την πληροφορύα που περιϋχεται ςε γλώςςεσ όπωσ η XML, όπου δύνεται περιςςότερη ϋμφαςη ςτη δομό και ςχεδόν καθόλου ςτην εμφϊνιςη. Ϋδη ϋχουν αρχύςει να πραγματοποιούνται ϋρευνεσ για την εκμετϊλλευςη τησ πληροφορύασ εμφϊνιςησ [8] και πιςτεύεται ότι μπορεύ να προςφϋρει αρκετϊ ςτον τομϋα τησ ανϊκτηςησ πληροφορύασ. 2.3 Βελτίωςη τησ απόδοςησ των υπηρεςιών αναζήτηςησ Γενικϊ υπϊρχουν τρεισ κύριεσ κατευθύνςεισ που αποςκοπούν ςτην βελτύωςη τησ απόδοςησ των υπηρεςιών αναζότηςησ: 1. Βελτίωςη τησ διεπαφήσ (interface) με το χρήςτη. 2. Επεξεργαςία των μετά-αποτελεςμάτων. 3. Κατανόηςη των αλγορίθμων ανάκτηςησ πηγών πληροφορίασ. 18

24 Η πρώτη κατεύθυνςη εξετϊζει το πρόβλημα τησ επικοινωνύασ του χρόςτη με το ςύςτημα πληροφορύασ κατϊ τη διαδικαςύα υποβολόσ τησ ερώτηςησ. Σο φιλικό περιβϊλλον και η ταχύτητα επεξεργαςύασ - απόκριςησ τησ υπηρεςύασ αναζότηςησ ςυνιςτούν πολύ ςημαντικϊ χαρακτηριςτικϊ ςτην επιτυχό λειτουργύα μιασ υπηρεςύασ αναζότηςησ. Οι αρχϊριοι χρόςτεσ δυςαναςχετούν ςτην ιδϋα τησ χρόςησ παραπϊνω από ενόσ περιβϊλλοντοσ αναζότηςησ και ςυνόθωσ προςηλώνονται ςτη χρόςη μόνο μιασ υπηρεςύασ αναζότηςησ, αγνοώντασ το ενδεχόμενο απώλειασ ωφϋλιμησ πληροφορύασ. Ακόμα και οι ϋμπειροι χρόςτεσ δεν εξοικειώνονται εύκολα με κϊποιο ςυγκεκριμϋνο τρόπο λειτουργύασ οριςμϋνων μηχανών αναζότηςησ, αφού ςε πολλϋσ περιπτώςεισ ακόμα και οι οδηγύεσ που παρϋχουν αυτϋσ οι υπηρεςύεσ εύναι αςαφεύσ και μπερδεμϋνεσ. Η δεύτερη κατεύθυνςη ϋχει να κϊνει με την περαιτϋρω επεξεργαςύα των μετϊαποτελεςμϊτων. Όλοι οι χρόςτεσ ενοχλούνται από το χαμηλό ποςοςτό ςχετικών πληροφοριών ςτα επιςτρεφόμενα αποτελϋςματα, φαινόμενο που αναδεικνύει τη ςημαςύα μύασ υπηρεςύασ αναζότηςησ να παρϊγει αξιόπιςτα και ακριβό αποτελϋςματα. Επύςησ, πολλϋσ υπηρεςύεσ αναζότηςησ δεν ενημερώνουν τισ πληροφορύεσ που ϋχουν ςτισ βϊςεισ τουσ με αποτϋλεςμα να μην ανανεώνονται οι πληροφορύεσ που παρουςιϊζονται ςτουσ χρόςτεσ. Γι αυτό το λόγο, η γνώςη, οργϊνωςη και ενημϋρωςη για την ανανϋωςη των πληροφοριών, μϋςα από την επεξεργαςύα των αποτελεςμϊτων, πρϋπει να εύναι υψηλόσ ςημαςύασ για τισ υπηρεςύεσ αναζότηςησ. Σϋλοσ, η τρύτη κατεύθυνςη αφορϊ τη μελϋτη των αλγορύθμων ςυλλογόσ, ςύνταξησ και παρουςύαςησ πηγών πληροφορύασ. Πιο ςυγκεκριμϋνα, η κατανόηςη αυτών των αλγορύθμων μπορεύ να βοηθόςει ςτο να ξεπεραςτεύ το πρόβλημα τησ ϊνιςησ πρόςβαςησ, τησ μη ενημϋρωςησ των νϋων πληροφοριών, τησ χαμηλόσ χρηςιμοπούηςησ μετϊ-δεδομϋνων καθώσ επύςησ και τησ χαμηλόσ κϊλυψησ τησ ςυνολικόσ πληροφορύασ. Επομϋνωσ, εύναι αναγκαύα η βελτύωςη αυτών των αλγορύθμων, με ςτόχο την αύξηςη των ςχετικών αποτελεςμϊτων που παρουςιϊζονται ςτο χρόςτη. 19

25 ΚΕΥΑΛΑΙΟ 3 - ΜΗΦΑΝΕ ΑΝΑΖΗΣΗΗ Οι Μηχανϋσ Αναζότηςησ του Διαδικτύου ϋχουν γύνει αναπόςπαςτο κομμϊτι τησ καθημερινόσ ζωόσ όςων αςχολούνται με την τεχνολογύα τησ Πληροφορικόσ. Ο πιο ευϋλικτοσ και δημοφιλόσ τρόποσ αναζότηςησ πληροφοριών ςτον Παγκόςμιο Ιςτό εύναι μϋςω τησ χρόςησ μιασ μηχανόσ αναζότηςησ, δηλαδό ενόσ προγρϊμματοσ ςχεδιαςμϋνου να δϋχεται τισ ερωτόςεισ του χρόςτη, κυρύωσ μϋςω λϋξεων-κλειδιών, και ςτόχοσ του εύναι να του επιςτρϋφει πληροφορύα όςο το δυνατόν πιο ςχετικό με το ερώτημα που διατύπωςε, ϋτςι ώςτε να καλύψει την ανϊγκη του για πληροφόρηςη τη δεδομϋνη χρονικό ςτιγμό [9]. Η πληροφορύα αυτό ςυνόθωσ επιςτρϋφεται με τη μορφό μιασ ταξινομημϋνησ λύςτασ από αναφορϋσ ςε κεύμενα, που θεωρούνται ςχετικϊ με το ερώτημα του χρόςτη, και η ταξινόμηςό τουσ ςτηρύζεται κυρύωσ ςτισ εκτιμόςεισ ςχετικότητασ, ανϊμεςα ςτισ λϋξεισ-κλειδιϊ των κειμϋνων και ςτισ λϋξεισ με τισ οπούεσ εύναι διατυπωμϋνα τα ερωτόματα του χρόςτη, όπωσ αυτϋσ υπολογύζονται από διϊφορεσ αλγοριθμικϋσ τεχνικϋσ [10]. 3.1 Ιςτορική Αναδρομή Σο πρώτο εργαλεύο που χρηςιμοποιόθηκε για αναζότηςη ςτο διαδύκτυο όταν το Archie, το οπούο δημιουργόθηκε το 1990 από τον Alan Emtage. Σο πρόγραμμα αυτό χρηςιμοποιόθηκε για τη λόψη λιςτών καταλόγων από δημόςιουσ ανώνυμουσ FTP (File Transfer Protocol) ιςτοτόπουσ, δημιουργώντασ μια βϊςη αναζότηςησ που περιεύχε ονόματα αρχεύων χωρύσ όμωσ να εύναι δεικτοδοτημϋνα. Ενώ το εργαλεύο Archie αποτελούςε ϋνα ευρετόριο των αρχεύων ενόσ υπολογιςτό, ο Mark McCahill του Πανεπιςτόμιου τησ Μινεςότασ, δημιούργηςε το 1991 το Gopher, για την καταχώρηςη ςυντεταγμϋνων αρχεύων κειμϋνου (plain text documents). τη ςυνϋχεια δύο ϊλλα προγρϊμματα, το Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) και το Jughead (Jonzy's Universal Gopher Hierarchy Excavation And Display) ϋψαχναν τα αρχεύα που υπόρχαν ςτο Gopher. Σο πρώτο πραγματοποιούςε μια ϋρευνα λϋξεων ςτουσ τύτλουσ από τισ λύςτεσ που εύχε το Gopher και το Jughead όταν ϋνα εργαλεύο για την προμόθεια πληροφοριών από τουσ εξυπηρετητϋσ του Gopher. Η πρώτη μηχανό αναζότηςησ όταν η Wandex ό το αποκαλούμενο World Wide Web wanderer (περιπλανώμενοσ ςτο Διαδύκτυο), που όταν ϋνασ ςυλλϋκτησ URLs (web crawler) που αναπτύχθηκε από τον ςπουδαςτό Matthew Gray ςτο MIT το Η δεύτερη μηχανό αναζότηςησ του διαδικτύου όταν η Aliweb (Archie-Like Indexing of the Web), η οπούα ϋδινε τη δυνατότητα ςτουσ χρόςτεσ να καταχωρούν τισ ςελύδεσ τουσ. Εμφανύςτηκε επύςησ το 1993 και λειτουργεύ ακόμη και ςόμερα. ύμφωνα με τον Koster η Aliweb όταν μια μηχανό αναζότηςησ για τον Παγκόςμιο Ιςτό, βαςιςμϋνη ςτην αυτοματοποιημϋνη ςυλλογό μετϊ-δεδομϋνων. Η JumpStation, μια ακόμη μηχανό που εμφανύςτηκε το 1993, χρηςιμοποιούςε ϋναν ςυλλϋκτη ςελύδων, για να βρει ςελύδεσ για αναζότηςη, αλλϊ η αναζότηςη περιοριζόταν μόνο ςτον τύτλο των ςελύδων. Αμϋςωσ αργότερα, εμφανύςτηκαν πολλϋσ μηχανϋσ αναζότηςησ που ςυναγωνιζόταν για δημοςιότητα. το τϋλοσ του 93, πανεπιςτημιακού καθηγητϋσ του Stanford ειςόγαγαν την Excite, η οπούα χρηςιμοποιούςε τη ςτατιςτικό ανϊλυςη τησ ςχϋςησ τησ λϋξησ για την ενύςχυςη τησ διαδικαςύασ αναζότηςησ. 20

26 Σο 1994 όταν μια χρονιϊ που ϋκαναν την εμφϊνιςό τουσ αρκετϋσ μηχανϋσ αναζότηςησ, οι οπούεσ διαπρϋπουν μϋχρι και ςόμερα. Πρώτα από όλα ο Jerry Yang και ο David Filo, δύο Phd φοιτητϋσ, δημιούργηςαν τη Yahoo. κοπόσ τουσ όταν να βοηθόςουν τουσ φοιτητϋσ του Stanford να εντοπύςουν χρόςιμεσ ςελύδεσ του Ιςτού. Αρχικϊ αποτελούςε κατϊλογο των αγαπημϋνων ςελύδων του Διαδικτύου, με τη διαφορϊ ότι εκτόσ από την ιςτοςελύδα εύχε και μύα ςύντομη περιγραφό τησ. Μϋςα ςε ϋνα ϋτοσ, αφού ϋλαβε τισ απαραύτητεσ χρηματοδοτόςεισ, ιδρύθηκε η εταιρεύα Yahoo!. Μια από τισ πρώτεσ μηχανϋσ αναζότηςησ ολοκληρωμϋνου κειμϋνου που εμφϊνιζε όλο το κεύμενο των ςελύδων όταν η WebCrawler, το ε αντύθεςη, με όλεσ τισ προηγούμενεσ μηχανϋσ αναζότηςησ, ϊφηνε τουσ χρόςτεσ να ψϊχνουν ςε όλο το κεύμενο των ιςτοςελύδων και αυτό αποτϋλεςε το πρότυπο για όλεσ τισ μετϋπειτα μηχανϋσ αναζότηςησ. Παρϊλληλα, όταν και η πρώτη μηχανό αναζότηςη που ϋγινε ευρϋωσ γνωςτό από το κοινό του διαδικτύου. Επιπλϋον, η μηχανό αναζότηςησ Lycos εμφανύςτηκε το 1994, και αποτϋλεςε μια μεγϊλη επιχειρηματικό δραςτηριότητα. Επιπλϋον ειςόγαγε την ανϊκτηςη τησ ςχετικότητασ (relevance retrieval), το ταύριαςμα του προθϋματοσ (prefix matching) και την εγγύτητα τησ λϋξησ (word proximity). Σο 1996 η Lycos διατηρούςε δεύκτεσ για πϊνω από 60 εκατομμύρια ϋγγραφα. Σϋλοσ, υποςτηρύζεται από την HotBot από το Σο 1995 δημιουργόθηκε η Infoseek και η AltaVista. Η Infoseek δεν ϋφερε κϊτι καινούριο ςτον χώρο. Η AltaVista όμωσ επϋτρεψε ερωτόματα φυςικόσ γλώςςασ και εξελιγμϋνεσ τεχνικϋσ αναζότηςησ. Παρεύχε επύςησ αναζότηςη πολυμϋςων, εικόνων, αρχεύων όχου και βύντεο. Σο 1998 ϋκανε την εμφϊνιςη τησ η μηχανό αναζότηςησ Google από τον Sergey Brin και τον Larry Page ωσ τμόμα ενόσ ερευνητικού προγρϊμματοσ του Πανεπιςτημύου του Stanford. Η Google χρηςιμοπούηςε τότε τισ ειςερχόμενεσ ςυνδϋςεισ (inbound links) για να κατατϊςςει τισ ςελύδεσ. Ϊνα χρόνο μετϊ οι MSN Search, η AllTheWeb και Open Directory Project (DMOZ) ϋκαναν την εμφϊνιςη τουσ. Σο Open Directory Project αποτελεύ ςύμφωνα με ςτοιχεύα του δικτυακού του χώρου τον μεγαλύτερο και περιεκτικότερο κατϊλογο του Διαδικτύου. Σα τελευταύα πϋντε χρόνια δημιουργόθηκαν χιλιϊδεσ μηχανϋσ αναζότηςησ, πολλϋσ από τισ οπούεσ υποςτηρύζονται από τισ μηχανϋσ που αναφϋραμε παραπϊνω, ενώ ϊλλεσ χρηςιμοποιούν τουσ δικούσ τουσ καταλόγουσ. Η μηχανό αναζότηςησ Watch χρηςιμοποιεύ ςε εννιϊ κατηγορύεσ περιςςότερεσ από χύλιεσ μηχανϋσ αναζότηςησ. Η μηχανό αναζότηςησ Colossus απαριθμεύ μηχανϋσ αναζότηςησ από 195 χώρεσ και 39 περιφϋρειεσ (με 18 παροχεύσ αναζότηςησ από την Σουρκύα). Η μηχανό αναζότηςησ Watch χρηςιμοποιεύ ςαν βαςικϋσ μηχανϋσ αναζότηςησ το Google, το Yahoo, το AllTheWeb.com και το MSN, που πλϋον ονομϊζεται Bing. Τπϊρχει επύςησ μεγϊλοσ αριθμόσ από εξειδικευμϋνεσ μηχανϋσ αναζότηςησ, όπωσ εκεύνεσ που βρύςκουν ανθρώπουσ, πανεπιςτόμια, δημοςιεύςεισ (CiteSeer), και πολλϊ ϊλλα. 21

27 3.2 Σρόποσ λειτουργίασ των Μηχανών Αναζήτηςησ Οι Μηχανϋσ Αναζότηςησ αποτελούν ιδιαύτερα ςύνθετεσ εφαρμογϋσ, απαιτητικϋσ ςτη δημιουργύα αλλϊ και κατϊ τη ςυντόρηςό τουσ. Λειτουργούν αποθηκεύοντασ πληροφορύεσ για πολλϋσ ιςτοςελύδεσ, τισ οπούεσ ανακτούν από τον Παγκόςμιο Ιςτό. Οι ιςτοςελύδεσ ανακτώνται, χρηςιμοποιώντασ αυτόματα προγρϊμματα πλοόγηςησ, γνωςτϊ επύςησ ωσ web crawlers, robots ό spiders. τη ςυνϋχεια, αναλύονται τα χαρακτηριςτικϊ κϊθε ιςτοςελύδασ, για να καθοριςτεύ πώσ πρϋπει να ευρετηριοποιηθεύ. Σα δεδομϋνα για τισ ιςτοςελύδεσ αποθηκεύονται ςε μια βϊςη δεδομϋνων για χρόςη αργότερα ςτα ερωτόματα του χρόςτη. Όταν ο χρόςτησ ειςϊγει ϋνα ερώτημα ςε μια μηχανό αναζότηςησ, χρηςιμοποιώντασ λϋξεισ-κλειδιϊ, η μηχανό εξετϊζει το ευρετόριό τησ και παρϋχει μια λύςτα των πιο ταιριαςτών ιςτοςελύδων με βϊςη τα κριτόρια του ερωτόματοσ. Μια μηχανό αναζότηςησ την οπούα μπορούμε επύςησ να αποκαλϋςουμε υπηρεςία μηχανήσ αναζήτηςησ, απαρτύζεται από τρύα μϋρη: 1. Σον ανιχνευτή - αράχνη (Web Crawler ό Spider). Εύναι ϋνασ αυτόματοσ πλοηγητόσ του Διαδικτύου, ο οπούοσ ςυλλϋγει, αποθηκεύει και επεξεργϊζεται ϋνα τερϊςτιο ποςό ιςτοςελύδων με την βοόθεια ευφυών προγραμμϊτων που ςαρώνουν τον κυβερνοχώρο και τισ ιςτοςελύδεσ. Σα προγρϊμματα αυτϊ επιςκϋπτονται μια ιςτοςελύδα, «διαβϊζουν» το περιεχόμενό τησ και ακολουθούν τισ υπερςυνδϋςεισ (hyperlinks) που βρύςκουν ςε αυτό με ςκοπό να επαναλϊβουν την διαδικαςύα αυτό ςτισ καινούργιεσ ςελύδεσ [11]. Ανϊ τακτϊ χρονικϊ διαςτόματα ο ανιχνευτόσ-αρϊχνη επιςτρϋφει ςτισ ιςτοςελύδεσ που ϋχει όδη επιςκεφτεύ ψϊχνοντασ για αλλαγϋσ. Υυςικϊ, όςο πιο ςυχνϊ επαναλαμβϊνεται η διαδικαςύα αυτό, τόςο πιο ανανεωμϋνη εύναι η πληροφορύα που παρϋχεται ςτον τελικό χρόςτη. Μηχανϋσ Αναζότηςησ που ανόκουν ςε αυτό την κατηγορύα εύναι οι: AltaVista, AllTheWeb, Excite, Lycos, Google, Nothern Light, HotBot, MSN Search ό Bing. 2. Σο Ευρετήριο (Index). Εύναι μύα τερϊςτια βϊςη δεδομϋνων η οπούα περιλαμβϊνει αντύγραφα του ςυνόλου των ιςτοςελύδων που επιςκϋφτηκε και «διϊβαςε» ο ανιχνευτόσ-αρϊχνη. Κϊθε μηχανό αναζότηςησ αντιγρϊφει διαφορετικό πληροφορύα και ϋχει ενςωματωμϋνο ϋνα ευρετόριο για την εύκολη προςπϋλαςη των αποθηκευμϋνων ιςτοςελύδων. Σο ευρετόριο ςτην ουςύα περιλαμβϊνει πληροφορύα ςχετικϊ με το πού βρύςκεται το κϊθε αποθηκευμϋνο κεύμενο. Κϊθε φορϊ που διατυπώνεται ϋνα ερώτημα ςτη μηχανό αναζότηςησ, χρηςιμοποιεύται το ευρετόριο για τον εντοπιςμό τησ πληροφορύασ ςτισ αποθηκευμϋνεσ ιςτοςελύδεσ και όχι οι ύδιεσ οι ιςτοςελύδεσ [12]. υνεπώσ, η καταςκευό του ευρετηρύου διαδραματύζει πολύ ςημαντικό ρόλο ςτην απόδοςη τησ ανϊκτηςησ πληροφορύασ. Οι βαςικϋσ παρϊμετροι που πρϋπει να λαμβϊνονται υπόψη κατϊ την καταςκευό του ευρετηρύου εύναι η ςυχνότητα ανανϋωςόσ του, η πληρότητϊ του και το τμόμα των ιςτοςελύδων που δεικτοδοτεύται (π.χ. μόνο ο τύτλοσ των ςελύδων και μερικϋσ παρϊγραφοι ό όλο το κεύμενο). Παρϊλληλα, θα πρϋπει ςτο ευρετόριο να ενςωματώνονται μηχανιςμού περιοδικόσ ανανϋωςόσ του, οι οπούοι ελϋγχουν τισ αποθηκευμϋνεσ ιςτοςελύδεσ και διαγρϊφουν αυτϋσ που εύτε δεν ϋχουν μεγϊλη δημοτικότητα, εύτε δεν υπϊρχουν πια ςτον Παγκόςμιο Ιςτό, ενώ ςυνϊμα προςθϋτουν ςτον αποθηκευτικό χώρο νϋεσ ιςτοςελύδεσ που δεν ϋχουν δεικτοδοτηθεύ ςε προηγούμενο ςτϊδιο. Μύα μηχανό αναζότηςησ, που ανόκει ςτην κατηγορύα αυτό, εύναι το Yahoo. 22

28 3. Σον μηχανιςμό αναζήτηςησ. Εύναι ϋνα λογιςμικό το οπούο επιτρϋπει ςτουσ χρόςτεσ να θϋτουν ϋνα ερώτημα ςε μια μηχανό αναζότηςησ, ςυνόθωσ χρηςιμοποιώντασ λϋξεισκλειδιϊ. τη ςυνϋχεια, αυτόσ ο μηχανιςμόσ αναζότηςησ εξετϊζει τισ εγγραφϋσ του ευρετηρύου του και ςυλλϋγει τα αποτελϋςματα από αυτϋσ, ώςτε να παρϋχει ςτον χρόςτη μια λύςτα με ςυνδϋςμουσ προσ τισ αντύςτοιχεσ ιςτοςελύδεσ που να ταυτύζεται το περιεχόμενό τουσ με τισ λϋξεισ-κλειδιϊ που ϋθεςε ο χρόςτησ. Επύςησ, ςυνόθωσ ιεραρχεύ τα αποτελϋςματα τησ αναζότηςησ με βϊςη κϊποια κριτόρια. Η χρηςιμότητα μιασ μηχανόσ αναζότηςησ εξαρτϊται από τη ςχετικότητα του ςυνόλου αποτελεςμϊτων που επιςτρϋφει. Ενώ μπορεύ να υπϊρχουν εκατομμύρια ιςτοςελύδων που περιϋχουν μια ςυγκεκριμϋνη λϋξη ό φρϊςη, μερικϋσ ςελύδεσ εύναι περιςςότερο ςχετικϋσ, δημοφιλεύσ ό ϋγκυρεσ από κϊποιεσ ϊλλεσ. Οι περιςςότερεσ μηχανϋσ αναζότηςησ εφαρμόζουν κϊποιον αλγόριθμο ταξινόμηςησ προκειμϋνου να αποφαςιςθεύ η ςειρϊ εμφϊνιςησ των καλύτερων αποτελεςμϊτων ςε υψηλϋσ θϋςεισ. Σο πώσ μια μηχανό αναζότηςησ αποφαςύζει ποιεσ ςελύδεσ αποτελούν το βϋλτιςτο ταύριαςμα ςτο ερώτημα που τϋθηκε από το χρόςτη, και ποια θα εύναι η ςειρϊ των αποτελεςμϊτων που θα παρουςιαςτεύ, ποικύλει από τη μια μηχανό αναζότηςησ ςτην ϊλλη. Επιπλϋον, οι μϋθοδοι αλλϊζουν με το πϋραςμα του χρόνου καθώσ η χρόςη του διαδικτύου αλλϊζει και εμπλϋκονται νϋεσ τεχνικϋσ. Τπϊρχει όμωσ και η περύπτωςη κϊποια αποτελϋςματα να εμφανύζονται ςκοπύμωσ ςε υψηλϋσ θϋςεισ. Αυτϊ τα αποτελϋςματα εύναι ςυνόθωσ διαφημύςεισ και εύναι απόφαςη τησ κϊθε Μηχανόσ Αναζότηςησ αν θα τα παρουςιϊςει ωσ διαφημύςεισ ςε ξεχωριςτό χώρο ό ωσ κοινϊ αποτελϋςματα μαζύ με τα υπόλοιπα (χωρύσ να καταλαβαύνει ο χρόςτησ ότι πρόκειται για διαφημύςεισ). Μερικού τύποι ςελύδων και ςυνδϋςμων εξαιρούνται, λόγω πολιτικόσ, από τισ περιςςότερεσ Μηχανϋσ Αναζότηςησ. Ωλλεσ πϊλι εξαιρούνται επειδό τα ρομπότ των Μηχανών Αναζότηςησ δεν μπορούν να τισ προςπελϊςουν. Αυτϋσ οι ςελύδεσ που εξαιρούνται αναφϋρονται ωσ το «Αόρατο Διαδύκτυο» (Invisible Web). Πρόκειται για υλικό του Διαδικτύου που δεν επιςτρϋφεται από τισ Μηχανϋσ Αναζότηςησ ωσ αποτϋλεςμα. Σο Αόρατο Διαδύκτυο εκτιμϊται ότι εύναι μεγαλύτερο δυο με τρεισ φορϋσ, ό και περιςςότερο, από το «ορατό» Διαδύκτυο. 3.3 Κυριότερεσ Μηχανέσ Αναζήτηςησ ύμφωνα με τελευταύεσ μετρόςεισ από μια εταιρεύα πληροφορικόσ, δεν αποτελεύ ϋκπληξη το γεγονόσ, ότι η Google κατϋχει ςόμερα την πρώτη θϋςη. Βϋβαια, όταν κυριαρχούςε το Yahoo η Google μόλισ εύχε γεννηθεύ. την παρακϊτω εικόνα βλϋπουμε ςε μορφό πύτασ ότι ςόμερα η Google, το Yahoo και η MSN (που πλϋον ονομϊζεται Bing) κυριαρχούν πϊνω από το 95% του ςυνόλου των μηχανών αναζότηςησ κυκλοφορύασ [56]. 23

29 Εικόνα 3-1: Ποςοςτϊ χρόςησ κυριότερων Μηχανών Αναζότηςησ τη ςυνϋχεια, γύνεται μια αναφορϊ ςτα βαςικϊ χαρακτηριςτικϊ των τριών ευρύτερα χρηςιμοποιούμενων μηχανών αναζότηςησ: Google, Yahoo και MSN Search ό Bing, καθώσ επύςησ και των μηχανών αναζότηςησ AltaVista και AllTheWeb. Οι παραπϊνω μηχανϋσ αναζότηςησ χρηςιμοποιόθηκαν ςτη διϊρκεια τησ υλοπούηςησ τησ παρούςασ εργαςύασ Google Η μηχανό αναζότηςησ Google εύναι μια από τισ μεγαλύτερεσ εταιρεύεσ διαδικτυακών υπηρεςιών. Η λειτουργύα τησ ξεκύνηςε τον επτϋμβριο του Ο ςτόχοσ τησ εύναι να οργανώςει όλεσ τισ πληροφορύεσ του κόςμου και να τισ κϊνει παγκόςμια διαθϋςιμεσ. Σο Google ξεκύνηςε ςαν μια κολεγιακό εργαςύα από τον Λϊρρυ Πϋιτζ και τον εργκϋι Μπριν το 1997 για μια μηχανό αναζότηςησ. όμερα η μηχανό αναζότηςησ Google εύναι μια από τισ δημοφιλϋςτερεσ, και οι φρϊςεισ «κάνω google», «γκουγκλάρω» και «γκουγκλίζω» εύναι ςυνώνυμεσ με το «ψϊχνω για πληροφορύεσ ςτο Διαδύκτυο». Αντύςτοιχα, ςτην αγγλικό γλώςςα το ρόμα "to google" ϋχει αποκτόςει πλϋον ταυτόςημη ϋννοια με το ρόμα «αναζητώ», και, πρόςφατα, το ύδιο ρόμα προςτϋθηκε ςτο αγγλικό λεξικό Merriam-Webster με όλα τα παρϊγωγϊ του (to google, googling, googled). Η λϋξη "Google" προόλθε από αναγραμματιςμό τησ λϋξησ Googol, η οπούα εκφρϊζει μαθηματικό όρο (τον οπούο ειςόγαγε ο Milton Sirotta) και ςημαύνει το «1 ακολουθούμενο από 100 μηδενικϊ». Με τον όρο αυτόν η Google επιθυμεύ να υποδηλώςει την αποςτολό τησ εταιρεύασ να οργανώςει το τερϊςτιο πλόθοσ πληροφοριών του Διαδικτύου. Η κεφαλό τησ Google εύναι το Googleplex. Όλεσ οι λειτουργύεσ τησ μηχανόσ αναζότηςησ εμπνϋονται και υλοποιούνται μϋςα ς' αυτό το κτύριο, το οπούο εύναι το δεύτερο μεγαλύτερο κτύριο τησ Νϋασ Τόρκησ και οι ςυνθόκεσ εργαςύασ χαρακτηρύζονται από τισ καλύτερεσ που ϋχουν εφαρμοςτεύ ςε εταιρεύεσ. Σο όνομα του κτιρύου ϋχει διπλό ςυμβολιςμό. Αποτελεύ λογοπαύγνιο τησ αγγλικόσ μονϊδασ μϋτρηςησ googol (10 googol ) και εύναι ςυνθετικό των λϋξεων Google και complex (=ςυγκρότημα), ςε μια πιο γλωςςολογικό ερμηνεύα. 24

30 Σο Google ϋχει δυο ςημαντικϊ χαρακτηριςτικϊ που τη βοηθϊει να παρϊγει υψηλόσ ακρύβειασ αποτελϋςματα. Αρχικϊ, χρηςιμοποιεύ το πλόθοσ των υπερςυνδϋςμων που δεύχνουν ςτην υπό επεξεργαςύα ιςτοςελύδα για να υπολογύςει μια ποιοτικό βαθμολογύα για κϊθε ςελύδα του Ιςτού. Αυτό η τεχνικό υπολογιςμού τησ βαθμολογύασ καλεύται PageRank [58]. Δεύτερον, το Google κϊνει χρόςη τησ ςημαντικότητασ των ςυνδϋςμων για να βελτιώςει τα αποτελϋςματα τησ αναζότηςησ Αλγόριθμοσ PageRank Οι δημιουργού τησ Google, Brin και Page [13], χρηςιμοπούηςαν για την αξιολόγηςη μιασ τυχαύασ ιςτοςελύδασ ϋναν αλγόριθμο που βαςύζεται ςτην ανϊλυςη των ςυνδϋςμων (link analysis) που οδηγούν ςτην προσ αξιολόγηςη ιςτοςελύδα. Ϋταν οι πρώτοι που για να προςδιορύςουν την ποιότητα του περιεχομϋνου μιασ ιςτοςελύδασ, ςκϋφτηκαν να χρηςιμοποιόςουν τουσ πολυϊριθμουσ ςυνδϋςμουσ (links), που δρώντασ ςαν κόμβοι ςυνδϋουν τισ ιςτοςελύδεσ μεταξύ τουσ και δομούν το οικοδόμημα του Παγκόςμιου Ιςτού. Ϊτςι ϋφτιαξαν τον αλγόριθμο PageRank, ο οπούοσ αξιολογεύ ξεχωριςτϊ κϊθε ςύνδεςμο που οδηγεύ ςτην ιςτοςελύδα που πρόκειται να βαθμολογηθεύ Αξιολόγηςη Ιςτοςελύδων Μια ςελύδα Α λαμβϊνει υψηλό βαθμολογύα, εϊν υπϊρχουν πολλϋσ ϊλλεσ ιςτοςελύδεσ με ςύνδεςμο προσ την Α ό αν οι ιςτοςελύδεσ με ςύνδεςμο προσ την Α ϋχουν λϊβει υψηλό βαθμολογύα. Αυτό μπορούμε να το αντιληφθούμε και διαιςθητικϊ. Οι ιςτοςελύδεσ που "φαύνονται" από πολλϊ και διαφορετικϊ μϋρη του Διαδικτύου εύναι ποιοτικϊ αξιόλογεσ. Επύςησ οι ιςτοςελύδεσ που "φαύνονται" από λύγα αλλϊ ςημαντικϊ μϋρη του Διαδικτύου εύναι και αυτϋσ αξιόλογεσ ςε ποιότητα και λαμβϊνουν υψηλό βαθμολογύα. Εκτόσ από τον αλγόριθμο PageRank υπϊρχουν και ϊλλοι παρϊγοντεσ αξιολόγηςησ μύασ ιςτοςελύδασ Α. Ϊνασ τϋτοιοσ παρϊγοντασ εύναι το κεύμενο των ςυνδϋςμων που οδηγούν ςτην Α. Πολλϋσ μηχανϋσ αναζότηςησ ςχετύζουν το κεύμενο ενόσ ςυνδϋςμου με την ιςτοςελύδα ςτη οπούα βρύςκεται ο εν' λόγω ςύνδεςμοσ. Η Google ςυςχετύζει το κεύμενο ενόσ ςυνδϋςμου με την ιςτοςελύδα που βρύςκεται ο ςύνδεςμοσ αλλϊ και με την ιςτοςελύδα που δεύχνει. Με ϊλλα λόγια, το κεύμενο που υπϊρχει ςε ϋνα ςύνδεςμο που οδηγεύ προσ τη ςελύδα μασ, ςύμφωνα με την Google, ανόκει ςτην ςελύδα που υπϊρχει ο ςύνδεςμοσ αλλϊ ταυτόχρονα ανόκει και ςτη δικό μασ ςελύδα. τουσ ςυνδϋςμουσ μπορεύ να βρει κανεύσ πιο ακριβεύσ και ςύντομεσ περιγραφϋσ του περιεχομϋνου μιασ ιςτοςελύδασ απ' ότι εϊν προςπαθόςει να αναλύςει το περιεχόμενο τησ ιςτοςελύδασ χρηςιμοποιώντασ κϊποιο Ρομπότ του Διαδικτύου. Επιπρόςθετα οι ςύνδεςμοι μπορούν να δεύχνουν ςε αρχεύα (εικόνεσ, προγρϊμματα κλπ.) τα οπούα δεν εύναι δυνατόν να κατηγοριοποιηθούν από μηχανϋσ αναζότηςησ που βαςύζονται αποκλειςτικϊ ςτο κεύμενο που περιϋχουν οι ςελύδεσ. Ϊνασ ϊλλοσ παρϊγοντασ αξιολόγηςησ που χρηςιμοποιεύ η Google ςτηρύζεται ςτην ανϊλυςη του HTML κώδικα που υπϊρχει ςτη ιςτοςελύδα. Για παρϊδειγμα οι λϋξεισ που εύναι γραμμϋνεσ με μεγαλύτερα ό με ϋντονα γρϊμματα αξιολογούνται ωσ ςημαντικότερεσ από τισ υπόλοιπεσ λϋξεισ. Σο κεύμενο που βρύςκεται μϋςα ςτισ ετικϋτεσ h1, h2, κλπ. θεωρεύται ςημαντικότερο από το υπόλοιπο κεύμενο τησ ιςτοςελύδασ. Η ετικϋτα title εύναι επύςησ ςημαντικό για την Google. 25

31 Κύκλοσ Ζωόσ μιασ Αναζότηςησ Η Google εύναι μύα αυτοματοποιημϋνη μηχανό αναζότηςησ που χρηςιμοποιεύ Ρομπότ (Crawlers). Σα ρομπότ αυτϊ ακολουθώντασ ςυνδϋςμουσ (links) πηγαύνουν από το ϋνα site ςτο ϊλλο, ςυλλϋγουν ιςτοςελύδεσ και δημιουργούν τουσ καταλόγουσ τησ Google. Η διαδικαςύα αυτό ονομϊζεται crawling. Εικόνα 3-2: Κύκλοσ Ζωόσ μιασ αναζότηςησ ςτη Google Όταν ο χρόςτησ πληκτρολογόςει κϊποιεσ λϋξεισ-κλειδιϊ, δηλαδό το ερώτημα του, αρχύζει η διαδικαςύα αναζότηςησ. Ο Web Server ςτϋλνει τισ λϋξεισ - κλειδιϊ ςτουσ Index Servers, δηλαδό ςτουσ εξυπηρετητϋσ που εύναι αποθηκευμϋνοι οι κατϊλογοι-ευρετόρια τησ Google. Σο περιεχόμενο των καταλόγων αυτών εύναι όμοιο με το ευρετόριο όρων που υπϊρχει ςτο πύςω μϋροσ των βιβλύων: λϋει ποιεσ ςελύδεσ περιϋχουν λϋξεισ που εύναι ύδιεσ οι παρόμοιεσ με τισ λϋξεισ-κλειδιϊ του χρόςτη. Ακολούθωσ, η αναζότηςη μεταφϋρεται ςτουσ Doc Servers, οι οπούοι ανακτούν τισ αποθηκευμϋνεσ ιςτοςελύδεσ. Σϋλοσ, δημιουργούνται οι ιςτοςελύδεσ που περιϋχουν τα αποτελϋςματα τησ αναζότηςησ και οι οπούεσ ςτϋλνονται ςτον χρόςτη. Η όλη διαδικαςύα αναζότηςησ διαρκεύ ςυνόθωσ λιγότερο από 1 δευτερόλεπτο (Εικόνα 3-2) Βϊςεισ Δεδομϋνων Οι κυριότερεσ βϊςεισ δεδομϋνων που υπϊρχουν ςτον πυρόνα τησ Google εύναι: Διαδικτύου: Καταχωρημϋνεσ ιςτοςελύδεσ με δεύκτεσ (καθώσ και διευθύνςεισ οι οπούεσ δεν ϋχουν πλόρεισ πληροφορύεσ), και πρόςθετοι τύποι αρχεύων όπωσ.pdf,.ps,.doc,.xls,.txt,.ppt,.rtf,.asp, και ϊλλα. Αγγελιών - Διαφημύςεων: Πληρωμϋνεσ διαφημύςεισ που εμφανύζονται ςυνόθωσ ςτη δεξιϊ πλευρϊ (ό την κορυφό) υπό ϋναν τύτλο «Φορηγούμενων υνδϋςμων» (Sponsored Links). Εικόνων: Βϊςη δεδομϋνων από εικόνεσ. 26

32 Ομϊδων (Groups): Βϊςη δεδομϋνων ειδόςεων USENET. Ειδόςεων: Βϊςη όπου αποθηκεύονται ιςτοςελύδεσ ειδόςεων των τελευταύων 30 ημερών Βιβλύων: Ολόκληρα βιβλύα κειμϋνου με περιοριςμϋνη δυνατότητα ανϊγνωςόσ τουσ για όςα ϋχουν προςταςύα δικαιώματοσ δημιουργού (copyright). Μελετών (Scholar): Ακαδημαώκϋσ μελϋτεσ, εργαςύεσ, διατριβϋσ κτλ. Καταλόγων αρχεύων: Μια ϋκδοςη του ανοικτού καταλόγου αρχεύων με τισ καταχωρόςεισ που ταξινομούνται ςτην κατϊταξη PageRank. Προώόντων (Froogle): Βϊςη που αφορϊ αγορϋσ και αναζότηςη προώόντων. Τπϊρχουν αρκετϋσ ακόμα βϊςεισ δεδομϋνων περιςςότερο εξειδικευμϋνεσ, όπωσ μια βϊςη δεδομϋνων τησ κυβϋρνηςησ ό του ςτρατού, με ιςτοςελύδεσ που ϋχουν καταλόξεισ.gov και.mil, αναζότηςη πανεπιςτημύων και αναζότηςη για Linux, για Apple/Macintosh και για τη Microsoft. Οι παραπϊνω βϊςεισ δεδομϋνων χρηςιμοποιούνται και από ϊλλεσ μηχανϋσ αναζότηςησ και από διϊφορα ϊλλα site (AOL, iwon, Netscape και μϋχρι το 2004 από τη Yahoo) Τπηρεςύεσ Αναζότηςησ Η Google παρϋχει τισ παρακϊτω υπηρεςύεσ αναζότηςησ για εύρεςη αποτελεςμϊτων από ςυγκεκριμϋνεσ κατηγορύεσ: Google Search - Γενικό αναζότηςη ιςτοςελύδων ( igoogle Προςωπικό ςελύδα αναζότηςησ ( Google Images - Αναζότηςη Εικόνων (images.google.com) Google Video - Αναζότηςη Βύντεο (video.google.com) Google Maps - Αναζότηςη Φαρτών (maps.google.com) Google News - Αναζότηςη Ειδόςεων (news.google.com) Google Products Search - Αναζότηςη Προώόντων προσ πώληςη ( Google Blog Search - Αναζότηςη ςε Blogs ( Google Book Search - Αναζότηςη Βιβλύων (books.google.com) Google Scholar - Αναζότηςη Μελετών (scholar.google.com) Special Search Αναζότηςη ςε ειδικϊ θϋμετα ( Search Features - Βρεσ βιβλύα, ταινύεσ, μουςικό και ϊλλα. ( Google Patents - Αναζότηςη Ευρεςιτεχνιών ( Google Finance - Τπηρεςύα πληροφόρηςησ οικονομικών νϋων και ζωντανό μετϊδοςη του χρηματιςτηρύου (finance.google.com) Google Alerts Τπηρεςύα ειδοποιόςεων ( Google Toolbar Πρόςθετο αναζότηςησ ςτον browser (toolbar.google.com) Google Desktop Αναζότηςη ςτον υπολογιςτό (desktop.google.com) 27

33 Τπηρεςύεσ Επικοινωνύασ Η Google παρϋχει αρκετϋσ υπηρεςύεσ επικοινωνύασ από τισ οπούεσ οι ςημαντικότερεσ εύναι: Google Gmail Τπηρεςύα Ηλεκτρονικού Σαχυδρομεύου (mail.google.com) Google Groups υζητόςεισ διαφόρων θεμϊτων (groups.google.com) Google Reader Τπηρεςύα εύκολησ παρακολούθηςησ ιςτοςελύδων (reader.google.com) Google Docs Δημιουργύα εγγρϊφων και υπολογιςτικών φύλλων (docs.google.com) Youtube Φώροσ προβολόσ βύντεο ( Google Sites Δημιουργύα Ιςτοτόπου (sites.google.com) Google Waves υνδυαςμϋνη υπηρεςύα επικοινωνύασ και δικτύωςησ (waves.google.com) Περιοριςμού Αναζότηςησ Η Google προςφϋρει περιοριςμούσ αναζότηςησ ωσ προσ τη γλώςςα, την ημερομηνύα, τον τύπο αρχεύου, το δικτυακό χώρο (domain) και τα περιεχόμενα για ενόλικεσ. Γλώςςα Η Google ειςόγαγε το γλωςςικό περιοριςμό τον Απρύλιο του 2000 αρχικϊ με ϋντεκα γλώςςεσ και επεκτϊθηκε τον Αύγουςτο του 2000 ςε 24. Από τότε επεκτεύνεται και πλϋον ϋχει φτϊςει τισ 45 δυνατϋσ γλώςςεσ. Ημερομηνύα Η δυνατότητα αυτό υπϊρχει κατϊ την προηγμϋνη (advanced) αναζότηςη. Τπϊρχουν μόνο 4 επιλογϋσ και εύναι για τισ τελευταύεσ 24 ώρεσ, για την τελευταύα εβδομϊδα, για τον τελευταύο μόνα και για το τελευταύο ϋτοσ. Σύποσ αρχεύων Ο περιοριςμόσ για τουσ τύπουσ των αρχεύων περιλαμβϊνει τύπουσ αρχεύων κϊτω από την ετικϋτα των μορφών PDF (.pdf), Word (.doc), Excel (.xls), PowerPoint (.ppt), Rich Text Format (RTF) και αρκετούσ ακόμα. Για να γύνει αυτό ορύζεισ την εντολό filetype: ακολουθούμενη από την κατϊληξη και εμφανύζονται μόνο τα αποτελϋςματα που περιλαμβϊνουν αυτόν τον τύπο αρχεύου. Εναλλακτικϊ η δυνατότητα αυτό προςφϋρεται και μϋςα από την προηγμϋνη αναζότηςη. Δικτυακόσ χώροσ (domain) Η προηγμϋνη αναζότηςη προςφϋρει ϋνα όριο δικτυακών γειτονιών, το οπούο μπορεύ να χρηςιμοποιηθεύ, για να περιορύςει τα αποτελϋςματα ςε εκεύνουσ τουσ δικτυακούσ χώρουσ. Περιεχόμενα Ενηλύκων Σο Μϊιο του 2000, προςτϋθηκε ϋνα οικογενειακό φύλτρο για να εξαιρεύ ιςτοςελύδεσ ενηλύκων. Ενεργοποιεύται ςτισ επιλογϋσ (preferences) και ςτην προηγμϋνη αναζότηςη. Η προκαθοριςμϋνη τιμό εύναι ϋνα μϋτριο φιλτρϊριςμα (moderate filtering) το οπούο περιορύζει ςαφεύσ εικόνεσ. Με ϊλλα λόγια δε φιλτρϊρεται η αναζότηςη του Διαδικτύου (των κειμϋνων) αλλϊ τα αποτελϋςματα των εικόνων. Σο αυςτηρό φύλτρο (strict filtering) περιορύζει εικόνεσ και κεύμενα και ενεργοποιεύ το φύλτρο μόνο ςτισ βϊςεισ του Διαδικτύου και των εικόνων και όχι ςτισ ϊλλεσ βϊςεισ. Ακόμα και το αυςτηρό φύλτρο δε λειτουργεύ 100% αποτελεςματικϊ. 28

34 Επιλογϋσ Αναζότηςησ Η Google παρϋχει πολλϋσ επιλογϋσ αναζότηςησ, όπωσ χρόςη τελεςτών ό χρόςη προθεμϊτων για εξαγωγό ςυγκεκριμϋνων αποτελεςμϊτων. Οι τελεςτϋσ που χρηςιμοποιεύ η Google εύναι: "OR" - Αναζότηςη για το ϋνα ό το ϊλλο. Για παρϊδειγμα ςτο ερώτημα classic OR electric guitar, αναζητεύ εύτε για κλαςςικϋσ εύτε για ηλεκτρικϋσ κιθϊρεσ. " " - Αναζότηςη αποκλεύοντασ μια λϋξη. Για παρϊδειγμα ςτην αναζότηςη apple fruit, αναζητεύ για τη αποτελϋςματα που δεν χρηςιμοποιούν τη λϋξη fruit. " + " - Απαιτεύ από την αναζότηςη να περιϋχονται κϊποιεσ λϋξεισ ςτα αποτελϋςματα. Για παρϊδειγμα ςτην αναζότηςη Name +of +the +Book, απαιτεύται να υπϊρχουν οι λϋξεισ of και the. " * " - Με χρόςη του αςτερύςκου μϋςα ςε μύα φρϊςη, η αναζότηςη ταιριϊζει οποιαδόποτε λϋξη ςτη ςυγκεκριμϋνη θϋςη. Επιλογϋσ για το ερώτημα του χρόςτη που παρϋχει η Google εύναι: define: - Μύα αναζότηςη με αυτό το πρόθεμα, παρϋχει οριςμούσ των λϋξεων που ακολουθούν. stocks: - Παρϋχει τιμϋσ των μετοχών που ακολουθούν. site: - Περιορύζει τα αποτελϋςματα ςτισ ιςτοςελύδεσ με τα ςυγκεκριμϋνα domain names. allintitle: - Αναζητεύ μόνο ςτουσ τύτλουσ των ιςτοςελύδων και όχι ςτο υπόλοιπο κεύμενο. intitle: - Απαιτεύ να υπϊρχει μια ςυγκεκριμϋνη λϋξη ςτον τύτλο τησ ιςτοςελύδασ και μια ϊλλη ςτο υπόλοιπο περιεχόμενο τησ ιςτοςελύδασ. Για παρϊδειγμα ςτην αναζότηςη intitle:google search, θα εμφανύςει ιςτοςελύδεσ που περιϋχουν ςτον τύτλο την λϋξη google και οπουδόποτε ςτο υπόλοιπο κεύμενο τη λϋξη search. allinurl: - Αναζητεύ μόνο ςτο κεύμενο τησ διεύθυνςησ μιασ ιςτοςελύδασ και καθόλου ςτο περιεχόμενό τησ. inurl: - Απαιτεύ να υπϊρχει μια ςυγκεκριμϋνη λϋξη ςτην διεύθυνςη μιασ ιςτοςελύδασ και μια ϊλλη ςτο περιεχόμενο τησ ιςτοςελύδασ. Επιλογϋσ για εμφϊνιςη ςελύδων που παρϋχει η Google εύναι: cache: - Εμφανύζει την αποθηκευμϋνη ςελύδα μιασ ιςτοςελύδασ, τονύζοντασ κϊποιεσ λϋξεισ που περιϋχονται ςε αυτό. Για παρϊδειγμα, ςτην αναζότηςη cache: sport, εμφανύζει αποθηκευμϋνο περιεχόμενο μιασ ιςτοςελύδασ, τονύζοντασ τη λϋξη sport όπου υπϊρχει. link: - Εμφανύζει ιςτοςελύδεσ που ϋχουν ςυνδϋςμουσ προσ μια ςυγκεκριμϋνη ιςτοςελύδα. Για παρϊδειγμα, ςτην αναζότηςη link: εμφανύζει όλεσ τισ ιςτοςελύδεσ που ϋχουν ςύνδεςμο προσ την Google. related: - Εμφανύζει ιςτοςελύδεσ παρόμοιεσ με μια ςυγκεκριμϋνη ιςτοςελύδα. info: - Εμφανύζει μερικϋσ πληροφορύεσ για μια ςυγκεκριμϋνη ιςτοςελύδα. Σϋλοσ, τοποθετώντασ μια φρϊςη μϋςα ςε διπλϊ ειςαγωγικϊ (double quotes), γύνεται αναζότηςη αυτούςιασ τησ ςυγκεκριμϋνησ φρϊςησ. 29

35 Ιδιαύτερα Γνωρύςματα Αναζότηςησ Η Google παρϋχει ϋνα μεγϊλο αριθμό από ιδιαύτερα γνωρύςματα αναζότηςησ τα οπούα ενεργοποιούνται, ειςϊγοντασ την κατϊλληλη λϋξη. Μερικϊ από αυτϊ εύναι: Πληροφορύεσ για τον καιρό μιασ περιοχόσ, ειςϊγοντασ τη λϋξη weather ακολουθούμενο από την περιοχό που θϋλουμε. Για παρϊδειγμα: weather Samos, Greece. Η πορεύα μιασ μετοχόσ, ειςϊγοντασ το όνομα τησ μετοχόσ (ό το όνομα τησ μετοχόσ ακολουθούμενο από τη λϋξη stock ). Εμφϊνιςη τησ τοπικόσ ώρασ μια περιοχόσ, ειςϊγοντασ τη λϋξη time ακολουθούμενη από το όνομα τησ περιοχόσ. Σα αποτελϋςματα και το πρόγραμμα αθλητικών ομϊδων, ειςϊγοντασ το όνομα τησ ομϊδασ ό του πρωταθλόματοσ. Αποτελϋςματα υπολογιςμών ειςϊγοντασ τον τύπο που θϋλουμε να υπολογύςουμε. Για παρϊδειγμα: 10+15/5*8+3 Μετατροπό μονϊδων μϋτρηςησ. Για παρϊδειγμα: 0.5 cm in inches. Μετατροπό νομύςματοσ. Για παρϊδειγμα: 650 Euro in USD. Εύρεςη του οριςμού μιασ λϋξησ, ειςϊγοντασ τη λϋξη define ακολουθούμενο από τη λϋξη που επιθυμούμε. Εύρεςη χαρτών, ειςϊγοντασ την περιοχό ακολουθούμενη από τη λϋξη map. Γενικού δεύκτεσ πληθυςμού, ανεργύασ κτλ., ειςϊγοντασ τη λϋξη population ό unemployment rate ακολουθούμενα από την περιοχό Yahoo! Search Η Yahoo! Search αποτελεύ μύα από τισ πιο δημοφιλεύσ εταιρεύεσ διαδικτυακών υπηρεςιών. Εύναι ϋνασ από τουσ πιο γνωςτούσ και παλιούσ θεματικούσ καταλόγουσ του διαδικτύου. Αν και ξεκύνηςε ωσ θεματικόσ κατϊλογοσ, αργότερα εξελύχτηκε και ςε μια πανύςχυρη μηχανό αναζότηςησ. Ιδρύθηκε τον Ιανουϊριο του 1994 από τουσ τότε τελειόφοιτουσ του πανεπιςτημύου Stanford, David Filo και Jerry Yang. Οι δύο ϊνδρεσ επιδύωκαν να ομαδοποιόςουν και να καταγρϊψουν διαδικτυακϋσ τοποθεςύεσ μεύζονοσ ενδιαφϋροντοσ και να τισ ταξινομόςουν ςε θεματικϋσ ενότητεσ. Αφού επιςκϋπτονταν μύα ιςτοςελύδα ϋγραφαν μύα ςύντομη περιγραφό, την οπούα εντϊςςανε μαζύ με μύα υπερςύνδεςη ςε μύα ό περιςςότερεσ από τισ κατηγορύεσ του καταλόγου ανϊλογα με το περιεχόμενο τησ ςελύδασ. Αργότερα δημιούργηςαν ϋνα πεδύο, ςτο οπούο οι ύδιοι οι χρόςτεσ μπορούςαν να υποβϊλλουν την διεύθυνςη και την περιγραφό μύασ ιςτοςελύδασ προτεύνοντασ την κατηγορύα του θεματικού καταλόγου ςτην οπούα να ενταχθεύ. Βϋβαια, οι δημιουργού εύχαν πϊντα την τελικό λϋξη ςτην κατϊταξη των ςελύδων. 30

36 Η βϊςη δεδομϋνων που δημιουργούνταν με αυτό τον τρόπο μπορούςε να ερευνηθεύ με ϋναν μηχανιςμό αναζότηςησ. ε αντύθεςη βϋβαια με τισ μηχανϋσ αναζότηςησ αυτό η βϊςη δεδομϋνων δεν περιϋχει το πλόρεσ κεύμενο των ιςτοςελύδων, αλλϊ μόνο τον τύτλο, την περιγραφό και την κατηγορύα του θεματικού καταλόγου, ςτην οπούα εντϊςςεται η ιςτοςελύδα. Κϊποια ςτιγμό ο φόρτοσ εργαςύασ ϋγινε τόςο μεγϊλοσ που οι δύο ϊντρεσ εγκατϋλειψαν το πανεπιςτόμιο, για να ςυγκεντρώςουν κεφϊλαια για τη χρηματοδότηςη τησ μικρόσ τουσ επιχεύρηςησ. Σο τολμηρό αυτό εγχεύρημα πϋτυχε και ςόμερα η Yahoo! εύναι μύα από τισ πιο δημοφιλεύσ και επιτυχημϋνεσ υπηρεςύεσ αναζότηςησ ςτο διαδύκτυο. Σα γραφεύα τησ βρύςκονται ςτο ανιβϋιλ τησ Καλιφόρνια. τουσ χρόςτεσ του προςφϋρει ϋναν μεγϊλο αριθμό υπηρεςιών, που περιλαμβϊνουν ηλεκτρονικό ταχυδρομεύο, μηχανό αναζότηςησ, ομϊδεσ χρηςτών, νϋα, παιχνύδια, διαφημύςεισ και ακόμα και ϋνα πρόγραμμα για ϊμεςα ηλεκτρονικϊ μηνύματα, το Yahoo! Messenger. Η επύςημη ερμηνεύα για την προϋλευςη του ονόματοσ Yahoo εύναι: Yet Another Hierarchical Officious Oracle. ύμφωνα με τουσ ιδρυτϋσ τησ, επιλϋχθηκε το ςυγκεκριμϋνο όνομα, διότι τουσ ϊρεςε ο γενικόσ οριςμόσ τησ φρϊςησ, που προϋρχεται από το Guilliver s Travels του Jonathan Swift: rude, unsophisticated and uncouth, δηλαδό ϊκομψοσ, αφελόσ και αλλόκοτοσ Εξϋλιξη Σεχνολογύασ Αναζότηςησ Αρχικϊ, η διαδικαςύα τησ αναζότηςησ, ανϊκτηςησ και αποθόκευςησ πληροφοριών ςτισ βϊςεισ δεδομϋνων δε γινόταν από την ύδια τη Yahoo. Σα ερευνόςιμα ευρετόρια προερχόταν από ϊλλεσ εταιρεύεσ. Μϋχρι το 2001 παρϋχονταν από την Inktomi, μια εταιρύα παροχόσ αποτελεςμϊτων αναζότηςησ, που τα αποτελϋςματϊ τησ όμωσ εμφανύζονται ςε ιςτοςελύδεσ ϊλλων εταιρειών. Σο 2002 αγόραςε την Inktomi και το 2003 την Overture Services, Inc., η οπούα κατεύχε τισ μηχανϋσ αναζότηςησ AllTheWeb και AltaVista. Αρχικϊ, αν και η Yahoo κατεύχε πολλϋσ μηχανϋσ αναζότηςησ, δεν τισ χρηςιμοποιούςε ςτην κύρια ιςτοςελύδα τησ. υνεργϊζονταν με την Google και χρηςιμοποιούςε τα αποτελϋςματϊ τησ μϋχρι τισ αρχϋσ του Από τότε η Yahoo αποφαςύζει να δημιουργόςει τη δικό τησ τεχνολογύα ϋτςι ώςτε να γύνει ανεξϊρτητη μηχανό αναζότηςησ, με χρόςη του crawler Yahoo! Slurp. Πλϋον, η Yahoo ςυνδυϊζει τισ δυνατότητεσ των μηχανών αναζότηςησ που εύχε αγορϊςει με την υπϊρχουςα ϋρευνα, δημιουργώντασ μύα νϋα μηχανό αναζότηςησ. Σα αποτελϋςματα τησ νϋασ μηχανόσ αναζότηςησ περιλαμβϊνονται ςε όλεσ τισ ιςτοςελύδεσ τησ Yahoo που ϋχουν λειτουργύα αναζότηςησ. Επύςησ, αρχύζει να πουλϊει τα αποτελϋςματϊ τησ ςε ϊλλεσ εταιρεύεσ. Η ςυνεργαςύα τησ με την Google ςταματϊει και πλϋον γύνεται ο κύριοσ ανταγωνιςτόσ τησ Αποτελϋςματα Αναζότηςησ Η Yahoo αποθηκεύει και τοποθετεύ ςε ευρετόρια κοινϋσ ςελύδεσ HTML καθώσ επύςησ και πολλούσ γνωςτούσ τύπουσ αρχεύων, όπωσ PDF, Excel, Powerpoint, Word, RSS/XML και απλϊ αρχεύα κειμϋνου. Για πολλούσ από τουσ παραπϊνω υποςτηριζόμενουσ τύπουσ αρχεύων, η Yahoo παρϋχει αποθηκευμϋνουσ ςυνδϋςμουσ (cached) και προεπιςκόπηςό τουσ ςε HTML μορφό. Σα αποτελϋςματα μιασ αναζότηςησ ταξινομούνται κατϊ ϋναν αλγόριθμο ςχετικότητασ και οι ςελύδεσ ςυγκεντρώνονται ανϊ περιοχό. Μόνο μια ςελύδα ανϊ περιοχό θα παρουςιαςτεύ. Οι ϊλλεσ εύναι διαθϋςιμεσ μϋςω τησ επιλογόσ More pages from this site από την αποθηκευμϋνη ςύνδεςη ςτο τϋλοσ του αρχεύου. 31

37 Με χρόςη τησ προηγμϋνησ αναζότηςησ ό μϋςα από τισ επιλογϋσ αναζότηςησ, η Yahoo επιτρϋπει την προςαρμογό των αποτελεςμϊτων και την αλλαγό οριςμϋνων ρυθμύςεων, όπωσ τησ Αςφαλούσ Αναζότηςη (SafeSearch), τησ επιλογό τησ γλώςςασ των αποτελεςμϊτων, του αριθμού των εμφανιζόμενων αποτελεςμϊτων ανϊ ςελύδα κτλ. Σον Οκτώβρη του 2007, η αρχικό ςελύδα τησ Yahoo επαναςχεδιϊςτηκε και απϋκτηςε μια πιο μοντϋρνα εμφϊνιςη. Επύςησ, προςτϋθηκε η υπηρεςύα Search Assist, η οπούα παρϋχει ςε πραγματικό χρόνο προτϊςεισ για το ερώτημα και ςχετικϋσ ιδϋεσ, ενώ πληκτρολογεύ ο χρόςτησ το ερώτημϊ του. Σον Ιούλιο του 2008, η Yahoo ανακοινώνει την ειςαγωγό μιασ νϋασ υπηρεςύασ με όνομα Build Your Own Search Service ό BOSS. Αυτό η υπηρεςύα επιτρϋπει ςε ςχεδιαςτϋσ να χρηςιμοποιούν το ςύςτημα τησ Yahoo για την ειςαγωγό ςε καταλόγουσ πληροφοριών και εικόνων με ςκοπό την δημιουργύα τησ δικιϊσ τουσ προςαρμοςμϋνησ μηχανόσ αναζότηςησ Βϊςεισ Δεδομϋνων Οι κυριότερεσ βϊςεισ δεδομϋνων που χρηςιμοποιεύ η Yahoo εύναι: Ιςτοςελίδων: Βϊςη δεδομϋνων με ιςτοςελύδεσ διαδικτύου απ όπου αναζητούνται τα αποτελϋςματα. Τποςτηριζόμενων ςυνδέςεων: Πληρωμϋνεσ διαφημύςεισ και αγγελύεσ που εμφανύζονται ςυνόθωσ πριν τα βαςικϊ αποτελϋςματα. Καταλόγου αρχείων Yahoo: Η αρχικό μορφό του Yahoo, με καταλόγουσ. Εικόνων, Βίντεο, Ήχων. Φαρτών: Βϊςη δεδομϋνων με αποθηκευμϋνουσ χϊρτεσ. Αγορών - Προΰόντων. Ειδήςεων: Βϊςη όπου αποθηκεύονται ιςτοςελύδεσ ειδόςεων. Απαντήςεων: Βϊςη δεδομϋνων με απαντόςεισ για πολλϊ ερωτόματα. Τπϊρχουν επιπλϋον διϊφορεσ ϊλλεσ βϊςεισ δεδομϋνων, οι οπούεσ παρϋχουν ϋνα μεγϊλο μϋροσ των πληροφοριών από την κανονικό ιςτοςελύδα τησ Yahoo Τπηρεςύεσ Αναζότηςησ Μερικϋσ από τισ υπηρεςύεσ αναζότηςησ που παρϋχει η Yahoo για εύρεςη αποτελεςμϊτων από ςυγκεκριμϋνεσ κατηγορύεσ εύναι οι εξόσ: Web - Γενικό αναζότηςη ιςτοςελύδων (search.yahoo.com) Images Search - Αναζότηςη Εικόνων (images.search.yahoo.com) Video - Αναζότηςη Βύντεο. (video.yahoo.com) Directory - Αναζότηςη από τουσ καταλόγουσ αρχεύων τησ Yahoo. (dir.yahoo.com) Local - Αναζότηςη τοπικών επιχειρόςεων (local.yahoo.com) News - Αναζότηςη ιςτοςελύδων με ειδόςεισ (news.yahoo.com) Yahoo! Answers - Αναζότηςη απαντόςεων (answers.yahoo.com) Audio - Αναζότηςη μουςικών πληροφοριών, ςταθμών, τραγουδιών κτλ (audio.yahoo.com) Jobs - Αναζότηςη θϋςεων εργαςύασ (jobs.yahoo.com) 32

38 Mobile - Αναζότηςη προώόντων κινητών ςυςκευών (mobile.yahoo.com) Travel - Αναζότηςη ταξιδιωτικών πληροφοριών (travel.yahoo.com) Περιοριςμού Αναζότηςησ Η Yahoo προςφϋρει περιοριςμούσ αναζότηςησ ωσ προσ τη γλώςςα, την ημερομηνύα, τον τύπο αρχεύου, το δικτυακό χώρο (domain) και τα περιεχόμενα για ενόλικεσ. Γλώςςα τη ςελύδα τησ προηγμϋνησ αναζότηςησ περιλαμβϊνονται 41 διαφορετικϋσ γλώςςεσ, από τισ οπούεσ μπορούν να επιλεχθούν και περιςςότερεσ από μύα. Ημερομηνύα Η δυνατότητα αυτό υπϊρχει κατϊ την προηγμϋνη αναζότηςη. Τπϊρχουν 3 επιλογϋσ και εύναι για τουσ περαςμϋνουσ 3 μόνεσ, τουσ περαςμϋνουσ 6 μόνεσ και για ϋναν χρόνο. Σύποσ αρχεύων Ο περιοριςμόσ για τον τύπο των αρχεύων εύναι και αυτόσ διαθϋςιμοσ μϋςα από την προηγμϋνη αναζότηςη. Οι διαθϋςιμοι τύποι εύναι HTML, PDF, Excel (.xls), PowerPoint (.ppt), Word (.doc), RSS/XML (.xml), και απλό μορφό κειμϋνου (.txt). Μπορεύ να χρηςιμοποιηθεύ ορύζοντασ την εντολό originurlextension: ακολουθούμενο από την κατϊληξη. Επύςησ, χρηςιμοποιώντασ το filetype: μπορεύ να προςτεθούν και οι PostScript (.ps), WordPerfect (.wpd) και πιθανόν ϊλλοι τύποι αρχεύων. Δικτυακόσ χώροσ (domain) Η προηγμϋνη αναζότηςη προςφϋρει ϋνα όριο δικτυακών γειτονιών, το οπούο μπορεύ να χρηςιμοποιηθεύ, για να περιορύςει τα αποτελϋςματα ςε εκεύνουσ τουσ δικτυακούσ χώρουσ. Περιεχόμενα Ενηλύκων Η χρόςη ενόσ φύλτρου προςπαθεύ να αποκλύςει την εμφϊνιςη απαγορευμϋνων αποτελεςμϊτων για ανόλικουσ. Ενεργοποιεύται και απενεργοποιεύται από τισ επιλογϋσ τησ Yahoo Επιλογϋσ Αναζότηςησ Η Yahoo παρϋχει επιλογϋσ αναζότηςησ, όπωσ χρόςη τελεςτών και προθεμϊτων για εξαγωγό ςυγκεκριμϋνων αποτελεςμϊτων. Οι τελεςτϋσ που χρηςιμοποιεύ η Yahoo εύναι (πρϋπει να εύναι ςε κεφαλαύα): "AND" - Αναζότηςη και για τα δύο. Για παρϊδειγμα ςτο ερώτημα price high ΑND low, αναζητεύ και για υψηλϋσ και για χαμηλϋσ τιμϋσ. "OR" - Αναζότηςη για το ϋνα ό το ϊλλο. Για παρϊδειγμα ςτο ερώτημα price high OR low, αναζητεύ εύτε για υψηλϋσ εύτε για χαμηλϋσ τιμϋσ. "NOT" - Αναζότηςη αποκλεύοντασ μια λϋξη. Μπορεύ να χρηςιμοποιηθεύ και ο χαρακτόρασ -, όταν όμωσ δεν χρηςιμοποιεύται μαζύ με πρϊξεισ Boolean. " * " - Με χρόςη του αςτερύςκου μϋςα ςε μύα φρϊςη, η αναζότηςη ταιριϊζει οποιαδόποτε λϋξη ςτη ςυγκεκριμϋνη θϋςη. Επιλογϋσ με χρόςη προθεμϊτων που παρϋχει η Yahoo εύναι: 33

39 intitle: ή title: - Απαιτεύ να υπϊρχει μια ςυγκεκριμϋνη λϋξη ςτον τύτλο τησ ιςτοςελύδασ site: ή domain: - Περιορύζει τα αποτελϋςματα ςε ϋνα ςυγκεκριμϋνο domain ό subdomain. hostname: - Όμοιο με το site: Περιορύζει τα αποτελϋςματα ςε ϋνα ςυγκεκριμϋνο όνομα host. link: - Αναζητεύ ιςτοςελύδεσ που ϋχουν ςύνδεςμο προσ μια ςυγκεκριμϋνη ιςτοςελύδα (πρϋπει να περιλαμβϊνει το ). linkdomain: - Αναζητεύ ιςτοςελύδεσ που ϋχουν ςύνδεςμο προσ ϋνα ςυγκεκριμϋνο domain (δεν πρϋπει να περιλαμβϊνει το ) url: - Βρύςκει ακριβώσ μια URL διεύθυνςη ςτην βϊςη δεδομϋνων. inurl: - Βρύςκει URLs που περιϋχουν ςτην διεύθυνςη μια ςυγκεκριμϋνη λϋξη. originurlextension: - Αναζητεύ για αποτελϋςματα με ςυγκεκριμϋνη κατϊληξη, για παρϊδειγμα pdf, doc κτλ. Σϋλοσ, τοποθετώντασ μια φρϊςη μϋςα ςε διπλϊ ειςαγωγικϊ (double quotes), γύνεται αναζότηςη αυτούςιασ τησ ςυγκεκριμϋνησ φρϊςησ. την προηγμϋνη αναζότηςη μπορεύ να γύνει επιλογό να περιϋχονται όλεσ οι λϋξεισ του ερωτόματοσ, κϊποιεσ από τισ λϋξεισ ό να μην περιϋχονται καθόλου Bing (MSN Search) Η μηχανό αναζότηςησ Bing εύναι η νϋα Μηχανό Αναζότηςησ τησ Microsoft. Ξεκύνηςε την λειτουργύα τησ τον Ιούνιο του 2009 και αποτελεύ εξϋλιξη τησ Live Search. Εύναι η τρύτη ςε χρόςη μηχανό αναζότηςησ του Διαδικτύου, μετϊ την Google και την Yahoo! Search, με ϋνα ποςοςτό χρόςησ κοντϊ ςτο 10% Η εξϋλιξη τησ Μηχανόσ Αναζότηςησ Ξεκύνηςε την λειτουργύα τησ το φθινόπωρο του 1998 με την ονομαςύα MSN Search και χρηςιμοποιούςε τα αποτελϋςματα τησ Inktomi. τισ αρχϋσ του 1999, λϊνςαρε μύα ϋκδοςη η οπούα χρηςιμοποιούςε καταλόγουσ αρχεύων από την Looksmart, ςε ςυνδυαςμό με αποτελϋςματα τησ Inktomi, εκτόσ από μια μικρό περύοδο κατϊ την οπούα χρηςιμοποιούνταν αποτελϋςματα τησ μηχανόσ αναζότηςησ AltaVista. Από τότε η Microsoft αναβϊθμιςε την μηχανό αναζότηςησ ϋτςι ώςτε να παρϋχει τα δικϊ τησ αποτελϋςματα αναζότηςησ. Εμφϊνιζε διευθύνςεισ διαδικτύου με δεύγμα από το περιεχόμενο κϊθε ςελύδασ που όταν ςχετικό με το ερώτημα του χρόςτη και οι κατϊλογοι τησ ανανεώνονταν εβδομαδιαύωσ ό ακόμα και καθημερινώσ. τισ αναζητόςεισ εικόνων δεν παρεύχε δικϊ τησ αποτελϋςματα αλλϊ χρηςιμοποιούςε τησ Picsearch. Η ςυγκεκριμϋνη αναβϊθμιςη ξεκύνηςε δοκιμαςτικϊ τον Νοϋμβρη του 2004, μετϊ από πολλϊ χρόνια ϋρευνασ και εμφανύςτηκε επύςημα τον Υεβρουϊριο του Από τότε η Microsoft ϊρχιςε να παρϋχει τα αποτελϋςματϊ τησ ςε ϊλλεσ υπηρεςύεσ αναζότηςησ με ςκοπό να γύνει περιςςότερο ανταγωνιςτικό ςτην αγορϊ. 34

40 Σο 2006 η Microsoft αποφϊςιςε να αντικαταςτόςει την MSN Search με την Windows Live Search, η πρώτη δοκιμαςτικό ϋκδοςη τησ οπούασ εμφανύςτηκε τον Μϊρτιο του 2006 και η τελικό τησ ϋκδοςη ξεκύνηςε την λειτουργύα τησ τον επτϋμβριο του ύδιου ϋτουσ. Η νϋα μηχανό αναζότηςησ προςϋφερε ςτουσ χρόςτεσ τη δυνατότητα να αναζητούν ςυγκεκριμϋνουσ τύπουσ πληροφορύασ όπωσ ειδόςεισ, εικόνεσ, μουςικό κτλ. κοπόσ τησ όταν να παρϋχει πιο χρόςιμεσ απαντόςεισ ςτα ερωτόματα των χρηςτών. Επύςησ, ςταμϊτηςε να χρηςιμοποιεύται η Picsearch για την παροχό αποτελεςμϊτων εικόνασ, ξεκινώντασ την λειτουργύασ του δικού τησ εςωτερικού αλγορύθμου για εύρεςη τϋτοιων αποτελεςμϊτων. Σον Μϊρτιο του 2007 η Microsoft ανακούνωςε ότι διαχωρύζει τη μηχανό αναζότηςησ από τισ υπηρεςύασ Windows Live, αλλϊζοντασ το εμπορικό τησ ςόμα ςε Live Search. Επύςησ, η μηχανό αναζότηςησ ενιςχύθηκε το πρόγραμμα διαφημύςεων Microsoft adcenter. Κϊτω από αυτό τη νϋα ονομαςύα ϋγινε μια ςειρϊ από αναδιοργανώςεισ των προςφορών αναζότηςησ. Σον Μϊιο του 2008 η Microsoft ανακούνωςε τη διακοπό λειτουργύασ του Live Search Book και του Live Search Academic, ενςωματώνοντασ τα αντύςτοιχα αποτελϋςματα ςτην κανονικό αναζότηςη. Αυτό εύχε ωσ αποτελϋςματα το κλεύςιμο του προγρϊμματοσ Live Search Books Publisher]. Ακολούθηςε η διακοπό των υπηρεςιών Windows Live Expro, Live Search Macros, Live Product Upload και τϋλοσ τησ Live Search QnA. Η Microsoft διαπύςτωςε ότι η παραμονό τησ λϋξησ Live ςτο εμπορικό ςόμα τησ μηχανόσ αναζότηςησ θα όταν ϋνα πρόβλημα. Ϊτςι, με ςκοπό τη δημιουργύα μιασ νϋασ ταυτότητασ για τισ υπηρεςύεσ αναζότηςησ τησ Microsoft, η μηχανό αναζότηςησ Live Search αντικαταςτϊθηκε επύςημα από την Bing, ςτισ 3 Ιουνύου του Μερικϋσ από τισ αξιοςημεύωτεσ αλλαγϋσ τησ νϋασ αναζότηςησ εύναι η παρουςύαςη μιασ λύςτασ με υποδεύξεισ αναζότηςησ, ςε πραγματικό χρόνο, κατϊ την ειςαγωγό του ερωτόματοσ από τον χρόςτη καθώσ και μύα λύςτα με ςχετικϋσ αναζητόςεισ (τοποθετημϋνη ςτα αριςτερϊ των αποτελεςμϊτων μϋςα ςε ϋνα πλαύςιο με όνομα Explorer Pane ) βαςιςμϋνη ςτην ςημαςιολογικό τεχνολογύα τησ PowerSet. H Bing προςφϋρει επύςησ την δυνατότητα να ςώςεισ και να μοιραςτεύσ ( Save and Share ) ιςτορικό αναζότηςησ μϋςω ό μϋςω των υπηρεςιών Windows Live SkyDrive και Facebook. Η λϋξη Bing εύναι ονοματοποιητικό, δηλαδό η προφορϊ τησ υπενθυμύζει τον όχο που αντιπροςωπεύει. ύμφωνα με τη Microsoft ο όχοσ αυτόσ ςχετύζεται με τον όχο κατϊ την διϊρκεια μιασ ανακϊλυψησ ό τησ λόψησ μιασ απόφαςησ. Επύςησ, η ονομαςύα Bing μνημονεύεται εύκολα, εύναι μικρό, εύκολη ςτην προφορϊ και επομϋνωσ εύναι η κατϊλληλη, για να λειτουργόςει ωσ URL παγκοςμύωσ Αποτελϋςματα Αναζότηςησ Η Bing χρηςιμοποιεύ clustering αλγορύθμουσ για την εύρεςη των αποτελεςμϊτων. Πολλϊ από τα αποτελϋςματα τησ αναζότηςόσ παρουςιϊζουν ςελύδεσ βαςιςμϋνεσ κυρύωσ ςτο περιεχόμενο των ςελύδων. Η ταξινόμηςη των αποτελεςμϊτων γύνεται κατϊ ςχετικότητα. Προκαθοριςμϋνα εμφανύζονται δύο αποτελϋςματα ανϊ site. Μϋςα από τισ ρυθμύςεισ αυτό μπορεύ να απενεργοποιηθεύ ό να αλλαχθεύ ςε ϋνα ό τρύα αποτελϋςματα ανϊ site. Ϊνα ςημαντικό χαρακτηριςτικό εύναι η δυνατότητα κατϊ την προηγμϋνη αναζότηςη να ταξινομούνται οι ςχετικϋσ ςελύδεσ κατϊ ημερομηνύα, βϊθοσ ό και τύτλο. Αξύζει να ςημειωθεύ ότι αυτό θα ταξινομόςει μόνο εκεύνα τα αρχεύα που ϋχουν την ύδια ςχετικότητα με τα ταξινομημϋνα αποτελϋςματα. Μερικϋσ ςελύδεσ και ιςτοχώροι μπορούν να ταξινομηθούν ακόμη και για ςχετικϋσ φρϊςεισ που δεν εμφανύζονται ακόμη ςτο περιεχόμενο τουσ. 35

41 Ο χρόςτησ ϋχει τη δυνατότητα μϋςα από τον προηγμϋνη αναζότηςη να αλλϊξει τουσ αλγόριθμουσ κατϊταξησ ταξινόμηςησ, ρυθμύζοντασ τρεισ δεύκτεσ που αφορούν: Πρόςφατα ανανεωμϋνεσ ιςτοςελύδεσ - τατικϋσ ιςτοςελύδεσ. (μεταβλητό frsh ) Πολύ δημοφιλόσ - Λιγότερο δημοφιλόσ. (μεταβλητό popl ) Σαύριαςμα κατϊ προςϋγγιςη - Ακριβϋσ ταύριαςμα. (μεταβλητό mtch ) Καθ ϋνασ από τουσ παραπϊνω δεύκτεσ ϋχει ϋνα ςύςτημα βαθμολόγηςησ των 100 βαθμών με προεπιλεγμϋνη τιμό το 50. Αν θϋλουμε να ρυθμύςουμε τουσ παραπϊνω δεύκτεσ μϋςα από το πλαύςιο ειςαγωγόσ του ερωτόματοσ, τοποθετούμε το όνομα τησ μεταβλητόσ ακολουθούμενο από τον χαρακτόρα = και την επιθυμητό τιμό μϋςα ςε αγκύλεσ. Για παρϊδειγμα: {popl=91} {mtch=8} {frsh=25}. Ϊνα ϊλλο ςημαντικό χαρακτηριςτικό τησ ςυγκεκριμϋνησ μηχανόσ αναζότηςησ εύναι η αυτόματη προςπϊθεια να αναγνωριςτεύ η τοποθεςύα του χρόςτη για την τοπικό αναζότηςη. Ο χρόςτησ μπορεύ επύςησ να αλλϊξει την τοποθεςύα μϋςα από τισ ρυθμύςεισ Βϊςεισ Δεδομϋνων Οι κυριότερεσ βϊςεισ δεδομϋνων που χρηςιμοποιεύ η Bing εύναι: Ιςτοςελίδων: Βϊςη δεδομϋνων με ιςτοςελύδεσ από τισ οπούεσ γύνεται η εύρεςη των ςχετικών αποτελεςμϊτων. Εικόνων. Ειδήςεων. Local: Βϊςη δεδομϋνων με τοπικϋσ πληροφορύεσ για επιχειρόςεισ. Βίντεο. Ακαδημαΰκών θεμάτων. Οι διαφημύςεισ που εμφανύζονται ςτα αποτελϋςματα προϋρχονται από το Microsoft AdCenter Τπηρεςύεσ Αναζότηςησ Η Bing παρϋχει τισ παρακϊτω υπηρεςύεσ αναζότηςησ για εύρεςη αποτελεςμϊτων από ςυγκεκριμϋνεσ κατηγορύεσ: Web - Αναζότηςη Ιςτοςελύδων ςτο Διαδύκτυο ( Images - Αναζότηςη Εικόνων (images.bing.com) Videos Αναζότηςη Βύντεο (videos.bing.com) Shopping Αναζότηςη Προώόντων (shopping.bing.com) News Αναζότηςη Ειδόςεων (news.bing.com) Maps Αναζότηςη Φαρτών (maps.bing.com) Travel Αναζότηςη ταξιδιωτικών πληροφοριών (travel.bing.com) Local Αναζότηςη τοπικών επιχειρόςεων (local.bing.com) xrank - Ϊλεγχοσ αναζητόςεων που πραγματοποιούνται περιςςότερο (xrank.bing.com) 36

42 Περιοριςμού Αναζότηςησ Η Bing προςφϋρει περιοριςμούσ αναζότηςησ ωσ προσ τη γλώςςα, τον τύπο αρχεύων, το δικτυακό χώρο (domain) και τα περιεχόμενα για ενόλικεσ. Γλώςςα Εύναι διαθϋςιμεσ 41 γλώςςεσ, από τισ οπούεσ μπορούν να επιλεχθούν και περιςςότερεσ από μύα μϋςα από τισ ρυθμύςεισ. Σύποσ αρχεύων Ο περιοριςμόσ για τον τύπο των αρχεύων εύναι διαθϋςιμοσ με την εντολό filetype:, ακολουθούμενη από τον τύπο αρχεύων που θϋλουμε να ψϊξουμε. Οι διαθϋςιμοι τύποι εύναι HTML, PDF, Excel (.xls), PowerPoint (.ppt) και Word (.doc). Προκαθοριςμϋνα περιλαμβϊνονται και αυτού οι τύποι ςτην απλό αναζότηςη. Δικτυακόσ χώροσ (domain) Η bing προςφϋρει ϋνα όριο δικτυακών γειτονιών, το οπούο μπορεύ να χρηςιμοποιηθεύ, για να περιορύςει τα αποτελϋςματα ςε εκεύνουσ τουσ δικτυακούσ χώρουσ ό να αποκλεύςει αποτελϋςματα από ϋνα ςυγκεκριμϋνο διαδικτυακό τόπο. Ο περιοριςμόσ αυτόσ εύναι διαθϋςιμοσ με την εντολό domain: (ό -domain: αν θϋλουμε να αποκλεύςουμε αποτελϋςματα) ακολουθούμενο από το επιθυμητό domain. Περιεχόμενα Ενηλύκων Η χρόςη ενόσ φύλτρου προςπαθεύ να αποκλεύςει την εμφϊνιςη απαγορευμϋνων αποτελεςμϊτων για ανόλικουσ και ιςχύει για εικόνεσ, βύντεο και κεύμενο. Ενεργοποιεύται και απενεργοποιεύται μϋςα από τισ επιλογϋσ. Προκαθοριςμϋνα το φύλτρο αυτό εύναι ενεργοποιημϋνο ςτη μϋςη κατϊςταςη, η οπούα αποκλεύει ακατϊλληλεσ εικόνεσ και βύντεο Επιλογϋσ Αναζότηςησ Η Bing παρϋχει επιλογϋσ αναζότηςησ, όπωσ χρόςη τελεςτών και προθεμϊτων για εξαγωγό ό απόκλιςη ςυγκεκριμϋνων αποτελεςμϊτων. Οι τελεςτϋσ που χρηςιμοποιεύ εύναι (πρϋπει να εύναι ςε κεφαλαύα): "AND" ό "&" - Αναζότηςη και για τα δύο. Δε χρειϊζεται διότι εύναι η προκαθοριςμϋνη λογικό πρϊξη. "OR" ό " " - Αναζότηςη για το ϋνα ό το ϊλλο. "NOT" - Αναζότηςη αποκλεύοντασ μια λϋξη. Μπορεύ να χρηςιμοποιηθεύ και ο χαρακτόρασ "-", χωρύσ όμωσ να υπϊρχει κενό μεταξύ του ερωτόματοσ και του χαρακτόρα -. " + " - Απαιτεύ από την αναζότηςη να περιϋχονται κϊποιεσ λϋξεισ ςτα αποτελϋςματα. Για παρϊδειγμα ςτην αναζότηςη Name +of +the +Game, απαιτεύται να υπϊρχουν οι λϋξεισ of και the. " * " - Με χρόςη του αςτερύςκου μϋςα ςε μύα φρϊςη, η αναζότηςη ταιριϊζει οποιαδόποτε λϋξη ςτη ςυγκεκριμϋνη θϋςη. Επιλογϋσ με χρόςη προθεμϊτων που παρϋχονται εύναι: site: - Περιορύζει την αναζότηςη ςε ςυγκεκριμϋνα site ό domain. Μπορεύ να περιλαμβϊνει το ό ςυγκεκριμϋνο μονοπϊτι μιασ ιςτοςελύδασ. 37

43 filetype: - Αναζητεύ για ςυγκεκριμϋνουσ τύπουσ αρχεύων. Διαθϋςιμοι τύποι αρχεύων εύναι HTML, PDF (.pdf), Powerpoint (.ppt), Word (.doc) και Excel (.xls). intitle: - Αναζητεύ ιςτοςελύδεσ που περιϋχουν μια ςυγκεκριμϋνη λϋξη ςτον τύτλο τουσ. inbody: - Αναζητεύ ιςτοςελύδεσ που περιϋχουν μια ςυγκεκριμϋνη λϋξη ςτο κυρύωσ ςώμα τουσ. (Μϋςα ςτην ετικϋτα <body>). inanchor: - Αναζητεύ ιςτοςελύδεσ που περιϋχουν μια ςυγκεκριμϋνη λϋξη μϋςα ςε ϋνα ςύνδεςμο. (Ετικϋτα <a href=>). inurl: - Αναζητεύ ιςτοςελύδεσ που περιϋχουν μια ςυγκεκριμϋνη λϋξη ςτην URL διεύθυνςη. language: - Ενεργοποιεύ τον περιοριςμό τησ γλώςςασ των αποτελεςμϊτων όταν ακολουθεύται από τα δύο γρϊμματα του κωδικού τησ γλώςςασ, για παρϊδειγμα language:gr. loc: ή location: - Καθορύζει μια ςυγκεκριμϋνη χώρα ό περιοχό για αναζότηςη αποτελεςμϊτων όταν ακολουθεύται από τουσ δύο χαρακτόρεσ τησ χώρασ ό τον κωδικό τησ περιοχόσ. link: - Βρύςκει ςελύδεσ με ςύνδεςμο προσ το δοςμϋνο URL. (Μπορεύ να περιλαμβϊνει το ). linkdomain: - Βρύςκει ςελύδεσ με ςύνδεςμο προσ οποιαδόποτε ςελύδα του δοςμϋνου domain. (Δεν πρϋπει να περιλαμβϊνει το ). linkfromdomain: - Βρύςκει τισ εξωτερικϋσ ςυνδϋςεισ ενόσ site. contains: - Βρύςκει αποτελϋςματα που περιϋχουν ϋνα ςυγκεκριμϋνο τύπο αρχεύων. Για παρϊδειγμα: contains:pps. ip: - Βρύςκει αποτελϋςματα που ανόκουν ςτην δοςμϋνη IP διεύθυνςη. feed: - Βρύςκει RSS και Atom Feeds που περιϋχουν μια ςυγκεκριμϋνη λϋξη. hasfeed: - Βρύςκει ιςτοςελύδεσ με μια ςυγκεκριμϋνη λϋξη που περιϋχουν ςύνδεςμο προσ Atom ό RSS Feed. url: - Βρύςκει αν το ςυγκεκριμϋνο URL βρύςκεται ςτην βϊςη δεδομϋνων τησ MSN. Σϋλοσ, τοποθετώντασ μια φρϊςη μϋςα ςε διπλϊ ειςαγωγικϊ (double quotes), γύνεται αναζότηςη αυτούςιασ τησ ςυγκεκριμϋνησ φρϊςησ. Σϋλοσ, τοποθετώντασ μια φρϊςη μϋςα ςε διπλϊ ειςαγωγικϊ (double quotes), γύνεται αναζότηςη αυτούςιασ τησ ςυγκεκριμϋνησ φρϊςησ AltaVista H AltaVista εύναι μύα από τισ μεγαλύτερεσ μηχανϋσ αναζότηςησ ςτο διαδύκτυο όςον αφορϊ το μϋγεθοσ του ευρετηρύου τησ, η οπούα ανόκει ςτο Yahoo!. Η AltaVista όταν κϊποτε μια από τισ πιο δημοφιλεύσ μηχανϋσ αναζότηςησ αλλϊ η δημοτικότητα τησ ϋχει ελαττωθεύ με την αύξηςη τησ Google. Εύναι η μόνη μηχανό αναζότηςησ που προόλθε από τα ερευνητικϊ εργαςτόρια μύασ μεγϊλησ εμπορικόσ εταιρεύασ (Digital Equipment Corporation). 38

44 H AltaVista ξεκύνηςε το 1995 και από την αρχό υπόρξε πολύ δημοφιλόσ ςτουσ χρόςτεσ του Internet. Ϋδη μϋςα ςτισ τρεισ πρώτεσ εβδομϊδεσ τησ λειτουργύασ τησ εξυπηρετούςε πϊνω από 2 εκατομμύρια αναζητόςεισ την ημϋρα, ενώ εντυπωςιακόσ εύναι και ο hardware εξοπλιςμόσ που αυτό διαθϋτει. Σο 1998 πϋραςε ςτην ιδιοκτηςύα τησ Compaq, η οπούα εξαγόραςε την Digital, για να αποτελϋςει λύγο αργότερα ξεχωριςτό εταιρεύα ελεγχόμενη από την CMGI, μια διαδικτυακό εταιρεύα επενδύςεων. Σον Υεβρουϊριο του 2003, η AltaVista αγορϊςτηκε από την Overture Services, Inc. Και τον Ιούλιο του 2003, η ύδια η Overture εξαγορϊςτηκε από το Yahoo! Αποτελϋςματα Αναζότηςησ Η AltaVista ϋχει ςτην ιςτοςελύδα τησ ϋναν καλό θεματικό κατϊλογο, τον οπούο προμηθεύεται από την Open Directory (πρώην LookSmart). Διαθϋτει ϋνα απλό πεδύο αναζότηςησ και ϋνα ξεχωριςτό περιβϊλλον για ςύνθετεσ αναζητόςεισ. Εύναι μύα από τισ λύγεσ μηχανϋσ που προςφϋρουν την δυνατότητα αναζότηςησ ιςτοςελύδων ςε μύα ςειρϊ από ϊλλεσ γλώςςεσ εκτόσ από την αγγλικό. Ο χρόςτησ ςτην αναζότηςη θα πρϋπει να προςϋχει όςον αφορϊ τη διατύπωςη τησ ερώτηςησ, καθώσ η AltaVista επιςτρϋφει πολλϊ αδιϊφορα αποτελϋςματα. Σην αδυναμύα τησ αυτό, ϋρχεται να αντιμετωπύςει η λειτουργύα Advanced Search η οπούα ταξινομεύ τα αποτελϋςματα με βϊςη τη ςυνϊφεια και τη ςχετικότητα των όρων και ορύζει κϊποια κριτόρια κατϊ την ταξινόμηςη τουσ. Η ταξινόμηςη των αποτελεςμϊτων γύνεται με βϊςη την ακριβεύσ ονομαςύα του κϊθε ιςτοχώρου (site). Για παρϊδειγμα, το name.com και το βρύςκονται ςε διαφορετικϋσ ομϊδεσ ταξινόμηςησ. Η AltaVista εμφανύζει τον τύτλο, τη διεύθυνςη URL και λύγεσ πληροφορύεσ για τον κϊθε ιςτοχώρο (site). Εμφανύζει προεπιλεγμϋνα 10 αποτελϋςματα ανϊ οθόνη και δύνει τη δυνατότητα ςτο χρόςτη να αλλϊξει από τισ ρυθμύςεισ τον αριθμό των αποτελεςμϊτων ςε 20, 30, 40 ό 50 αποτελϋςματα ανϊ οθόνη. Ψσ μηχανό αναζότηςησ, η AltaVista ανόκει ςτην κατηγορύα των μηχανών εκεύνων που, εκτόσ από τισ καταχωρύςεισ ςελύδων από τουσ ύδιουσ τουσ χρόςτεσ, αναζητούν μόνεσ τισ διευθύνςεισ των ςελύδων ςτον Web. Σϋλοσ, η AltaVista όταν η πρώτη μηχανό αναζότηςησ που ειςόγαγε μια δωρεϊν υπηρεςύα μετϊφραςησ, η οπούα ςόμερα προςφϋρει μεταφρϊςεισ μεταξύ των: Αγγλικϊ και Κινϋζικα, Γαλλικϊ, Γερμανικϊ, Ιταλικϊ, Πορτογαλικϊ, Κορεατικϊ, Γιαπωνϋζικα, Ιςπανικϊ και ϊλλων Βϊςεισ Δεδομϋνων Η AltaVista ϋχει μια ποικιλύα από βϊςεισ δεδομϋνων: Ιςτοςελίδων. Βϊςη δεδομϋνων με ιςτοςελύδεσ από τισ οπούεσ γύνεται η εύρεςη των ςχετικών αποτελεςμϊτων. Κατάλογο. Open Directory (πρώην LookSmart). Ειδήςεων. Όπου ανιχνεύει από δικϋσ τισ ςελύδεσ. Διαφημίςεων. Οι οπούεσ προϋρχονται από την Overture. Εικόνων, Ήχων και Βίντεο Τπηρεςύεσ Αναζότηςησ Οι υπηρεςύεσ αναζότηςησ που παρϋχει η AltaVista για εύρεςη αποτελεςμϊτων από ςυγκεκριμϋνεσ κατηγορύεσ εύναι οι εξόσ: Web - Γενικό αναζότηςη ιςτοςελύδων. ( 39

45 Image Search - Αναζότηςη Εικόνων. ( image) News - Αναζότηςη ιςτοςελύδων με ειδόςεισ. ( Babel Fish Translation Δωρεϊν υπηρεςύα μετϊφραςησ. (babelfish.altavista.com) Directory - Αναζότηςη από τουσ καταλόγουσ αρχεύων τησ Yahoo. (dir.yahoo.com) Answers - Αναζότηςη απαντόςεων (answers.yahoo.com) Περιοριςμού Αναζότηςησ Η AltaVista προςφϋρει περιοριςμούσ αναζότηςησ ωσ προσ τη γλώςςα, την ημερομηνύα, τον τύπο αρχεύου, το δικτυακό χώρο (domain) και την περιοχό - χώρα. Γλώςςα τη ςελύδα τησ προηγμϋνησ αναζότηςησ περιλαμβϊνονται 25 διαφορετικϋσ γλώςςεσ, από τισ οπούεσ μπορούν να επιλεχθούν όλεσ ό και περιςςότερεσ από μύα. Ημερομηνύα Η δυνατότητα αυτό υπϊρχει κατϊ την προηγμϋνη αναζότηςη. Τπϊρχουν 2 επιλογϋσ, εύτε να επιλϋξεισ ςυγκεκριμϋνα για κϊποιεσ εβδομϊδεσ, μόνεσ, και για ϋναν χρόνο, εύτε να επιλϋξεισ ςυγκεκριμϋνη χρονικό περύοδο. Σύποσ αρχεύων Ο περιοριςμόσ για τον τύπο των αρχεύων εύναι και αυτόσ διαθϋςιμοσ μϋςα από την προηγμϋνη αναζότηςη. Οι διαθϋςιμοι τύποι εύναι: HTML, PDF, Excel (.xls), PowerPoint (.ppt), Word (.doc), και απλό μορφό κειμϋνου (.txt). Μπορεύ επύςησ να χρηςιμοποιηθεύ ορύζοντασ την εντολό filetype: και τον τύπο του αρχεύου αναζότηςησ. Δικτυακόσ χώροσ (domain) Η προηγμϋνη αναζότηςη προςφϋρει δύο επιλογϋσ: ϋνα όριο δικτυακών γειτονιών, το οπούο μπορεύ να χρηςιμοποιηθεύ για να περιορύςει τα αποτελϋςματα ςε εκεύνουσ τουσ δικτυακούσ χώρουσ ό ςυγκεκριμϋνεσ διευθύνςεισ (URLs). Περιοχό - Φώρα Ο χρόςτησ μπορεύ να καθορύςει την χώρα προϋλευςησ του ερευνητό των αρχεύων που αναζητεύ Επιλογϋσ Αναζότηςησ Η AltaVista παρϋχει επιλογϋσ αναζότηςησ, όπωσ χρόςη τελεςτών και προθεμϊτων για εξαγωγό ςυγκεκριμϋνων αποτελεςμϊτων. Οι τελεςτϋσ που χρηςιμοποιεύ η AltaVista εύναι (πρϋπει να εύναι ςε κεφαλαύα): "AND ό "&" ή + - Αναζότηςη και για τα δύο. Για παρϊδειγμα ςτο ερώτημα price high ΑND low, αναζητεύ και για υψηλϋσ και για χαμηλϋσ τιμϋσ. "OR" ό " " - Αναζότηςη για το ϋνα ό το ϊλλο. Για παρϊδειγμα ςτο ερώτημα price high OR low, αναζητεύ εύτε για υψηλϋσ εύτε για χαμηλϋσ τιμϋσ. 40

46 "AND NOT" ό "!" - Αναζότηςη αποκλεύοντασ μια λϋξη. Μπορεύ να χρηςιμοποιηθεύ και ο χαρακτόρασ -, όταν όμωσ δεν χρηςιμοποιεύται μαζύ με πρϊξεισ Boolean. NEAR ό "~" - Αναζότηςη η οπούα ορύζει ότι οι όροι αναζότηςησ μπορούν να βρύςκονται ανϊμεςα ςε 10 λϋξεισ και με οποιαδόποτε ςειρϊ μεταξύ τουσ. " * " - Με χρόςη του αςτερύςκου μϋςα ςε μύα φρϊςη, η αναζότηςη ταιριϊζει οποιαδόποτε λϋξη ςτη ςυγκεκριμϋνη θϋςη. Επιλογϋσ με χρόςη προθεμϊτων που παρϋχει η AltaVista εύναι: title: - Απαιτεύ να υπϊρχει μια ςυγκεκριμϋνη λϋξη ό φρϊςη ςτον τύτλο τησ ιςτοςελύδασ. site: ή domain: - Περιορύζει τα αποτελϋςματα ςε ϋνα ςυγκεκριμϋνο domain ό subdomain. host: - Όμοιο με το site: Περιορύζει τα αποτελϋςματα ςε ϋνα ςυγκεκριμϋνο όνομα host. link: - Αναζητεύ ιςτοςελύδεσ που ϋχουν ςύνδεςμο προσ μια ςυγκεκριμϋνη ιςτοςελύδα (πρϋπει να περιλαμβϊνει το ). url: - Βρύςκει ακριβώσ μια URL διεύθυνςη ςτην βϊςη δεδομϋνων. Σϋλοσ, τοποθετώντασ μια φρϊςη μϋςα ςε διπλϊ ειςαγωγικϊ (double quotes), γύνεται αναζότηςη αυτούςιασ τησ ςυγκεκριμϋνησ φρϊςησ. την προηγμϋνη αναζότηςη μπορεύ να γύνει επιλογό να περιϋχονται όλεσ οι λϋξεισ του ερωτόματοσ, κϊποιεσ από τισ λϋξεισ ό να μην περιϋχονται καθόλου AllTheWeb (find it all) Η μηχανό αναζότηςησ AllTheWeb εύναι από τισ υπηρεςύεσ αναζότηςησ που ϋχουν ςυντϊξει ϋνα πολύ μεγϊλο ποςό ιςτοςελύδων του Παγκόςμιου Ιςτού. Παρϋχει ϋνα πολύ φιλικό περιβϊλλον επικοινωνύασ και δυνατότητα αναζότηςησ αρχεύων εικόνων και πολυμϋςων. Εύναι αρκετϊ γρόγορη και επιςτρϋφει ςυνόθωσ ςχετικϊ αποτελϋςματα, αλλϊ οι περιγραφϋσ του δεν εύναι αρκετϊ βοηθητικϋσ. Η AllTheWeb ξεκύνηςε το 1999 για την ανϊδειξη τησ τεχνολογύασ αναζότηςησ τησ επιχεύρηςησ FAST (Fast Search & Transfer, ASA). Η επιχεύρηςη FAST εύχε ϋνα κομψό περιβϊλλον διεπαφόσ με το χρόςτη με πλούςια προηγμϋνεσ δυνατότητεσ αναζότηςησ. Παρόλα αυτϊ το 2003 η AllTheWeb αγορϊςτηκε από την Overture και το 2004 η Overture εξαγορϊςτηκε από τη Yahoo!. Λύγο αργότερα η Yahoo, ϋδωςε ςτην AllTheWeb την ϊδεια να χρηςιμοποιεύ την βϊςη δεδομϋνων τησ, αλλϊ τησ αφαύρεςε πολλϊ από τα προηγμϋνα χαρακτηριςτικϊ αναζότηςησ τησ, για παρϊδειγμα η αναζότηςη FTP Αποτελϋςματα Αναζότηςησ H AllTheWeb προςφϋρει μια ποικιλύα από εξειδικευμϋνα εργαλεύα και προηγμϋνα χαρακτηριςτικϊ αναζότηςησ. Τποςτηρύζει επύςησ αναζότηςη ςε 36 διαφορετικϋσ γλώςςεσ. Σο ςημαντικότερο εύναι ότι παρϋχει τουσ αναγκαύουσ ελϋγχουσ για να βρεθούν ακριβώσ οι πληροφορύεσ που αναζητούνται, ςυμπεριλαμβανομϋνων οριςμϋνων από τισ πιο εξελιγμϋνεσ δυνατότητεσ ςύνθετησ αναζότηςησ. 41

47 Σα αποτελϋςματα αναζότηςησ που εμφανύζονται ςτο χρόςτη περιλαμβϊνουν τον τύτλο τησ ςελύδασ, ϋνα απόςπαςμα κειμϋνου περιγραφόσ τησ τοποθεςύασ, το URL τησ, το μϋγεθοσ του εγγρϊφου που βρύςκεται ςτην ςυγκεκριμϋνη διεύθυνςη URL και ϋναν κατϊλογο με υποτομεύσ για την κϊθε τοποθεςύα. Ενδιαφϋρον ϋχουν κϊποια επιπλϋον χαρακτηριςτικϊ τησ. Σο ϋνα από αυτϊ εύναι ότι παρϋχει ςτο χρόςτη τη δυνατότητα να αναζητόςει ιςτοςελύδεσ μϋςα από το ςύνολο των αποτελεςμϊτων του ερωτόματοσ του, με τη χρόςη τησ επιλογόσ «Search within your results». Η ςυγκεκριμϋνη επιλογό δύνει τη δυνατότητα ειςαγωγόσ επιπλϋον όρων αναζότηςησ ςτο ςύνολο των αποτελεςμϊτων. Και ϋνα δεύτερο χαρακτηριςτικό εύναι ότι ενςωματώνει αυτόματα αποτελϋςματα ειδόςεων ςχετικϊ με τον όρο αναζότηςησ. Προεπιλεγμϋνα και αυτό εμφανύζει 10 αποτελϋςματα ανϊ οθόνη και δύνει τη δυνατότητα ςτο χρόςτη να αλλϊξει από τισ ρυθμύςεισ τον αριθμό των αποτελεςμϊτων ςε 25, 50, 75 ό 100 αποτελϋςματα ανϊ οθόνη Βϊςεισ Δεδομϋνων Η AllTheWeb ταξινομεύ τισ βϊςεισ δεδομϋνων τησ ςε πϋντε βαςικϋσ κατηγορύεσ: Ιςτοςελίδων: Βϊςη δεδομϋνων με ιςτοςελύδεσ από τισ οπούεσ γύνεται η εύρεςη των ςχετικών αποτελεςμϊτων, τα οπούα παρϋχονται από το Yahoo. Ειδήςεων: Βϊςη δεδομϋνων από χιλιϊδεσ πηγϋσ ειδόςεων, οι οπούεσ παρϋχονται από το Yahoo. Εικόνων, Ήχων και Βίντεο: Βϊςη δεδομϋνων με εκατοντϊδεσ εκατομμύρια αρχεύων πολυμϋςων Τπηρεςύεσ Αναζότηςησ Οι υπηρεςύεσ αναζότηςησ που παρϋχει η AllTheWeb για εύρεςη αποτελεςμϊτων από ςυγκεκριμϋνεσ κατηγορύεσ εύναι οι εξόσ: Web - Γενικό αναζότηςη ιςτοςελύδων. ( News - Αναζότηςη ιςτοςελύδων με ειδόςεισ. ( Pictures - Αναζότηςη Εικόνων. ( Περιοριςμού Αναζότηςησ Η AllTheWeb προςφϋρει περιοριςμούσ αναζότηςησ ωσ προσ τη γλώςςα, την ημερομηνύα, τον τύπο αρχεύου, το δικτυακό χώρο (domain) και την περιοχό - χώρα. Γλώςςα τη ςελύδα τησ προηγμϋνησ αναζότηςησ περιλαμβϊνονται 36 διαφορετικϋσ γλώςςεσ, από τισ οπούεσ μπορούν να επιλεχθούν όλεσ ό και περιςςότερεσ από μύα. Ημερομηνύα Η δυνατότητα αυτό υπϊρχει κατϊ την προηγμϋνη αναζότηςη όπου ο χρόςτησ μπορεύ να επιλϋξει ςυγκεκριμϋνη χρονικό περύοδο ενημϋρωςησ ανανεώςεων των ιςτοςελύδων. Σύποσ αρχεύων Ο περιοριςμόσ για τον τύπο των αρχεύων εύναι και αυτόσ διαθϋςιμοσ μϋςα από την προηγμϋνη αναζότηςη. Οι διαθϋςιμοι τύποι εύναι: HTML, PDF, Excel (.xls), PowerPoint (.ppt), Word (.doc), και απλό μορφό κειμϋνου (.txt). 42

48 Δικτυακόσ χώροσ (domain) Η προηγμϋνη αναζότηςη προςφϋρει την επιλογό αναζότηςησ ςε ϋνα όριο δικτυακών γειτονιών, το οπούο μπορεύ να χρηςιμοποιηθεύ για να περιορύςει ό να αποκλεύςει τα αποτελϋςματα ςε εκεύνουσ τουσ δικτυακούσ χώρουσ. Περιοχό - Φώρα Ο χρόςτησ μπορεύ να καθορύςει την χώρα προϋλευςησ του ερευνητό των αρχεύων που αναζητεύ. Περιεχόμενα Ενηλύκων Η χρόςη ενόσ φύλτρου προςπαθεύ να αποκλεύςει την εμφϊνιςη απαγορευμϋνων αποτελεςμϊτων για ανόλικουσ και ιςχύει για εικόνεσ, βύντεο και κεύμενο. Ενεργοποιεύται και απενεργοποιεύται μϋςα από τισ προςαρμοςμϋνεσ ρυθμύςεισ μϋςω του φύλτρου Offensive content filter Επιλογϋσ Αναζότηςησ Η AllTheWeb παρϋχει επιλογϋσ αναζότηςησ, όπωσ χρόςη τελεςτών και προθεμϊτων για εξαγωγό ςυγκεκριμϋνων αποτελεςμϊτων. - Αναζότηςη η οπούα ορύζει ότι οι εμπλεκόμενοι όροι αναζότηςησ θα περιϋχονται ο ϋνασ μετϊ τον ϊλλο. Με αποτϋλεςμα να γύνει αναζότηςη ολοκληρωμϋνων προτϊςεων ό φρϊςεων. + ό AND - Αναζότηςη και για τα δύο. Για παρϊδειγμα ςτο ερώτημα price high + low, αναζητεύ και για υψηλϋσ και για χαμηλϋσ τιμϋσ. "- ό NOT - Αναζότηςη αποκλεύοντασ μια λϋξη. Για παρϊδειγμα ςτο ερώτημα dog - canis, αναζητεύ για ςκύλο και όχι τη ρϊτςα κανύσ. Επιλογϋσ με χρόςη προθεμϊτων που παρϋχει η AllTheWeb εύναι: title: - Απαιτεύ να υπϊρχει μια ςυγκεκριμϋνη λϋξη ό φρϊςη ςτον τύτλο τησ ιςτοςελύδασ. site: ή domain: - Περιορύζει τα αποτελϋςματα ςε ϋνα ςυγκεκριμϋνο domain ό subdomain. link: - Αναζητεύ ιςτοςελύδεσ που ϋχουν ςύνδεςμο προσ μια ςυγκεκριμϋνη ιςτοςελύδα. url: - Βρύςκει ακριβώσ μια URL διεύθυνςη ςτην βϊςη δεδομϋνων. 3.4 Σρόποι Αναπαράςταςησ τησ Ανακτηθείςασ Πληροφορίασ Σα κεύμενα που ανακτώνται ςαν απαντόςεισ ςτα πληροφοριακϊ αιτόματα των χρηςτών απεικονύζονται μϋςω των διεπαφών χρόςτη υπό τη μορφό μιασ διατεταγμϋνησ λύςτασ αναφορών ςε ιςτοςελύδεσ του Παγκόςμιου Ιςτού. Η διϊταξη των αναφορών καθορύζεται από το βαθμό ςχετικότητασ των κειμϋνων με το ερώτημα του χρόςτη, ο οπούοσ υπολογύζεται από τισ αλγοριθμικϋσ τεχνικϋσ που ϋχουν ενςωματωθεύ ςτουσ μηχανιςμούσ ταξινόμηςησ. Οι διεπαφϋσ χρόςτη θα πρϋπει να εύναι εύχρηςτεσ και κατανοητϋσ και να παρϋχουν ςτο χρόςτη τη δυνατότητα να επικοινωνεύ αποτελεςματικϊ με το ςύςτημα. Ϊνα μειονϋκτημα τησ αναπαρϊςταςησ τησ ανακτηθεύςασ πληροφορύασ εύναι πωσ η ταξινομημϋνη λύςτα αναφορών ςε κεύμενα δεν παρϋχει ςτο χρόςτη καμιϊ πληροφορύα για τη 43

49 γλώςςα των κειμϋνων, το μϋγεθόσ τουσ, την τελευταύα φορϊ που αυτϊ ενημερώθηκαν, τον τύτλο τουσ, κτλ. ε οριςμϋνεσ περιπτώςεισ η λύςτα αναφορών μπορεύ να ςυνοδεύεται και από ςύντομεσ περιγραφϋσ των κειμϋνων, οι οπούεσ ςτην ουςύα δεν εύναι τύποτα ϊλλο παρϊ προτϊςεισ των ύδιων των κειμϋνων (ςυνόθωσ οι πρώτεσ προτϊςεισ), οι οπούεσ τισ περιςςότερεσ φορϋσ δεν περιγρϊφουν ικανοποιητικϊ το περιεχόμενό τουσ [14]. Ϊνα επιπλϋον χαρακτηριςτικό γνώριςμα για την αναπαρϊςταςη τησ ανακτηθεύςασ πληροφορύασ που παρϋχεται από οριςμϋνεσ μηχανϋσ αναζότηςησ αποτελεύ η υπογρϊμμιςη των όρων των ερωτημϊτων μϋςα ςτισ ςύντομεσ περιγραφϋσ που ςυνοδεύουν τα κεύμενα. Σούτο ϋχει αποδειχθεύ ιδιαύτερα χρόςιμο για την αξιολόγηςη τησ ςχετικότητασ του κειμϋνου όχι από το ςύςτημα αλλϊ από τον ύδιο το χρόςτη. ε κϊποιεσ μηχανϋσ αναζότηςησ οι αναφορϋσ ςε κεύμενα ςυνοδεύονται από μια ςύντομη περύληψη του περιεχομϋνου του κειμϋνου, η οπούα τισ περιςςότερεσ φορϋσ εξϊγεται αυτόματα από το ύδιο το ςύςτημα. Ψςτόςο, τϋτοιεσ τεχνικϋσ απαιτούν την εκτεταμϋνη χρόςη μηχανιςμών αυτόματησ εξαγωγόσ πληροφορύασ από κεύμενα, η ανϊπτυξη των οπούων εύναι αρκετϊ δύςκολη και απαιτεύ εκτεταμϋνη χρόςη τεχνικών γλωςςικόσ επεξεργαςύασ. Σϋλοσ, μια ϊλλη υπηρεςύα που παρϋχεται από οριςμϋνεσ μηχανϋσ αναζότηςησ αναφορικϊ με τον τρόπο αναπαρϊςταςησ τησ ανακτηθεύςασ πληροφορύασ, εύναι η ομαδοπούηςη των αναφορών που ανακτώνται ανϊλογα με την πηγό από την οπούα προϋρχονται. Πιο ςυγκεκριμϋνα, ιςτοςελύδεσ που φιλοξενούνται από τον ύδιο δικτυακό τόπο ςχετύζονται μεταξύ τουσ ωσ προσ το περιεχόμενό τουσ. υνεπώσ, όταν ιςτοςελύδεσ του ύδιου δικτυακού τόπου ανακτώνται ςαν απϊντηςη ςε ϋνα πληροφοριακό αύτημα του χρόςτη τεύνουν να εμφανύζονται κοντϊ ςτη λύςτα αναφορών που επιςτρϋφονται από το ςύςτημα. Οι ιςτοςελύδεσ αυτϋσ εκτόσ του ότι προϋρχονται από την ύδια πηγό παρουςιϊζουν πολλούσ κοινούσ όρουσ δεικτοδότηςησ. Με βϊςη την πρότυπη αυτό ομαδοπούηςη των αναφορών, ο χρόςτησ εύναι ςε θϋςη εξετϊζοντασ ϋνα και μόνο κεύμενο ενόσ δικτυακού τόπου να αποφανθεύ και για τη χρηςιμότητα των υπολούπων, χωρύσ να τα εξετϊςει. υμπεραςματικϊ, αν και ο τρόποσ απεικόνιςησ τησ ανακτηθεύςασ πληροφορύασ ποικύλλει ανϊμεςα ςε διαφορετικϋσ μηχανϋσ αναζότηςησ, εντούτοισ οι περιςςότερεσ από αυτϋσ εμφανύζουν την πληροφορύα που ανακτούν από τον Παγκόςμιο Ιςτό με τη μορφό μιασ λύςτασ αναφορών ςε ιςτοςελύδεσ, τισ οπούεσ καλεύται ο χρόςτησ να εξετϊςει και να αποφανθεύ για τη χρηςιμότητϊ τουσ. 44

50 ΚΕΥΑΛΑΙΟ 4 - ΜΗΦΑΝΕ ΜΕΣΑ-ΑΝΑΖΗΣΗΗ & ΑΛΓΟΡΙΘΜΟΙ 4.1 Ειςαγωγή υχνϊ οι ανϊγκεσ για πληροφορύεσ ενόσ χρόςτη αποθηκεύονται ςε βϊςεισ δεδομϋνων πολλών μηχανών αναζότηςησ. Δεν εύναι βολικό, ούτε αποδοτικό για ϋνα ςυνηθιςμϋνο χρόςτη να επικαλεύται πολλϋσ μηχανϋσ αναζότηςησ, για να βρει τα ϋγγραφα που τον ενδιαφϋρουν. Για να υποςτηρύξουν τουσ χρόςτεσ με μια ενοποιημϋνη πρόςβαςη ςε πολλαπλϋσ μηχανϋσ αναζότηςησ, καταςκευϊςτηκαν οι μηχανέσ μετά-αναζήτηςησ ό αλλιώσ οι πολύ-νηματικέσ μηχανέσ αναζήτηςησ. Μια Μετϊ-Μηχανό Αναζότηςησ (Μ.Μ.Α.) εύναι ϋνα ςύςτημα που παρϋχει ενοποιημϋνη πρόςβαςη ςε διϊφορεσ μηχανϋσ αναζότηςησ. Μια μετϊ-μηχανό αναζότηςησ δε διατηρεύ δικό τησ ευρετόριο εγγρϊφων. Όμωσ, μια καλϊ μελετημϋνη μετϊ-μηχανό αναζότηςησ μπορεύ να διατηρεύ πληροφορύεσ για τα περιεχόμενα κϊθε μηχανόσ αναζότηςησ. Εν ςυντομύα, όταν λαμβϊνει μια μηχανό μετϊ-αναζότηςησ μια ερώτηςη, περνϊ αρχικϊ την ερώτηςη (με την απαραύτητη μορφοπούηςη) ςτισ κατϊλληλεσ ςυμμετϋχουςεσ μηχανϋσ αναζότηςησ, και ςυλλϋγει ϋπειτα και αναδιοργανώνει τα αποτελϋςματα που παραλαμβϊνονται από αυτϋσ. Μια απλό δύο επιπϋδων αρχιτεκτονικό μιασ μηχανόσ μετϊ-αναζότηςησ φαύνεται ςτο χόμα 4.1. Εικόνα 4-1: Απλό Αρχιτεκτονικό Μηχανόσ-Μετϊ Αναζότηςησ 45

51 Δεδομϋνου ότι κϊθε μηχανό αναζότηςησ μπορεύ να χειριςτεύ ϋνα αρκετϊ μικρό ποςοςτό των ςυνολικών πληροφοριών, που υπϊρχουν ςτο Διαδύκτυο, μια δεδομϋνη χρονικό ςτιγμό και κϊθε μύα παρουςιϊζει διαφορετικό βαθμό κϊλυψησ, ο ςυνδυαςμόσ όςο το δυνατόν περιςςοτϋρων μηχανών αναζότηςησ, οδηγεύ ςε αύξηςη του ποςοςτού κϊλυψησ του Ιςτού και επομϋνωσ ςε μεγαλύτερη ποςότητα ανακτώμενησ πληροφορύασ. ύμφωνα με μελϋτεσ, τα αποτελϋςματα από την υποβολό μιασ πολύ ςυγκρύςιμησ ερώτηςησ ςε διαφορετικϋσ μηχανϋσ αναζότηςησ, μπορούν να διαφϋρουν ϋωσ και 40%, αλλϊ και να παρουςιϊζουν ποςοςτό επικϊλυψησ μϋχρι και 60% [15]. Οι Lawrence και Giles διαπύςτωςαν ότι ςυνδυϊζοντασ τα αποτελϋςματα ϋντεκα γνωςτών μηχανών αναζότηςησ, αυξϊνεται το ποςοςτό τησ κϊλυψησ κατϊ περύπου 42% του κατ' εκτύμηςη μεγϋθουσ τησ καταχωρημϋνησ πληροφορύασ ςτον Παγκόςμιο Ιςτό [16]. Αυτό ςημαύνει, ότι η χρόςη των Μ.Μ.Α., βελτιώνει το ποςοςτό κϊλυψησ των ςυνολικών πληροφοριών. Επιπλϋον, με την εφαρμογό φύλτρων ό βελτιωμϋνων αλγορύθμων προσ τα αποτελϋςματα των υποβαλλόμενων ερωτόςεων από τισ Μ.Α., η ακρύβεια αναμϋνεται να βελτιωθεύ ςημαντικϊ. Βϋβαια, οι μηχανιςμού και οι αλγόριθμοι που οι Μ.Μ.Α χρηςιμοποιούν εύναι διαφορετικού. Οι απλϋσ Μ.Μ.Α. μεταβιβϊζουν τισ ύδιεσ ερωτόςεισ χωρύσ καμιϊ αλλαγό ςε ϊλλεσ υπηρεςύεσ αναζότηςησ και κατόπιν εμφανύζουν τα αποτελϋςματα ςε διαφορετικϊ παρϊθυρα φυλλομετρητών. Ωλλεσ υπηρεςύεσ μετϊ-αναζότηςησ οργανώνουν τα μετϊαποτελϋςματα, πριν επιςτραφούν ςτουσ χρόςτεσ, χρηςιμοποιώντασ πϊνω ςε αυτϊ φύλτρα και αλγόριθμουσ. Σϋλοσ, ϋνα μικρό ποςοςτό Μ.Μ.Α. προςφϋρουν ςτουσ χρόςτεσ προηγμϋνεσ λειτουργύεσ αναζότηςησ ό προςπαθούν να επεξεργαςτούν το ερώτημα του χρόςτη πριν αποςταλεύ ςτισ μηχανϋσ αναζότηςησ. Ϊνα ςημαντικό πρόβλημα των μηχανών-μετϊ αναζότηςησ εύναι ςτην περύπτωςη που ο χρόςτησ κϊνει μια ερώτηςη που περιϋχει περιςςότερεσ από δύο λϋξεισ ό εύναι πιο ςύνθετη ςτην ςύνταξη τησ λογικόσ, να χϊνεται λόγω του ότι δεν υποςτηρύζουν τϋτοιεσ λογικϋσ λειτουργύεσ. Ϊνα ακόμη μειονϋκτημα των Μ.Μ.Α. εύναι, ότι τισ περιςςότερεσ φορϋσ εύναι αργϋσ ςτη αναζότηςη και ςτην παρουςύαςη των αποτελεςμϊτων, κϊτι δικαιολογημϋνο αφού ερευνούν ςε πολλαπλϊςιο αριθμό ευρετηριαςμϋνων ςελύδων, με αποτϋλεςμα οι Μ.Μ.Α. αναγκϊζονται να ανακτούν λιγότερα αποτελϋςματα από κϊθε μηχανό αναζότηςησ. Ϊχει υπολογιςτεύ ότι ςυνόθωσ οι Μ.Μ.Α. ανακτούν περύπου το 10% των επιςτρεφόμενων αποτελεςμϊτων κϊθε υπηρεςύασ αναζότηςησ που χρηςιμοποιεύται [17]. Σα προβλόματα αυτϊ εύναι τα βαςικότερα που καλούνται να ξεπερϊςουν οι Μ.Μ.Α. με ςκοπό την βελτύωςη των μετϊ-αποτελεςμϊτων. 46

52 4.2 Αρχιτεκτονική των Μηχανών Μετά-Αναζήτηςησ Η λειτουργύα των Μ.Μ.Α. πραγματοποιεύται μϋςα από τϋςςερα βαςικϊ ςτϊδια. Κατϊ τη διϊρκεια του κϊθε ςταδύου ενεργοποιούνται τα υποςυςτόματα, τα οπούα παρουςιϊζονται ςτον Πύνακα 4-1 και ςτα χόματα 4-2 και 4-3. τάδιο Λειτουργίασ 1. Ειςαγωγό τησ ερώτηςησ 2. Επεξεργαςύα και υποβολό τησ ερώτηςησ ςε πολλαπλϋσ υπηρεςύεσ αναζότηςησ 3. υλλογό και επεξεργαςύα των αποτελεςμϊτων από διαφορετικϋσ πηγϋσ 4. Παρουςύαςη των μετϊ-αποτελεςμϊτων Τποςύςτημα Διεπαφό χρόςτη Σοπικό Βϊςη Δεδομϋνων Διεκπεραιωτόσ ό Αποςτολϋασ τησ ερώτηςησ υλλϋκτησ Αποτελεςμϊτων Σοπικό Βϊςη Δεδομϋνων Διεπαφό χρόςτη Σοπικό Βϊςη Δεδομϋνων Πίνακασ 4-1: Λειτουργύεσ και υπό-ςυςτόματα ςτην αρχιτεκτονικό των Μ.Μ.Α. Εικόνα 4-2: τϊδια λειτουργύασ μιασ Μηχανόσ Μετϊ-Αναζότηςησ 47

53 Εικόνα 4-3: Τπό-ςυςτόματα μιασ Μηχανόσ Μετϊ-Αναζότηςησ Ειςαγωγή τησ ερώτηςησ Η ειςαγωγό τησ ερώτηςησ από το χρόςτη (query) αρχικοποιεύ τη λειτουργύα του ςυςτόματοσ. Η ερώτηςη ειςϊγεται μϋςω τησ διεπαφήσ του χρήςτη, ενώ η διατύπωςη τησ ακολουθεύ τουσ κανόνεσ ςύνταξησ που κϊθε Μ.Μ.Α. προτεύνει. Κατϊ το ςτϊδιο αυτό ο χρόςτησ καθορύζει πλόρωσ την πληροφοριακό του ανϊγκη, επιλϋγει το εύδοσ τησ πηγόσ πληροφορύασ και τισ υπηρεςύεσ που θα εμπλακούν ςτισ διαδικαςύεσ αναζότηςησ. Επιπλϋον, ανϊλογα με τισ δυνατότητεσ που προςφϋρει η εκϊςτοτε Μ.Μ.Α. ενδϋχεται να ορύζει τον αριθμό των επιςτρεφόμενων αποτελεςμϊτων, τη γλώςςα, τη χώρα προϋλευςησ ό να ενημερώνεται για προηγούμενεσ αναζητόςεισ που ϋχουν ολοκληρωθεύ με ςκοπό την περαιτϋρω εξατομύκευςη μιασ ερώτηςησ, με τη βοόθεια διαδικαςιών ανατροφοδότηςησ και ύςωσ μιασ τοπικόσ βϊςησ δεδομϋνων Επεξεργαςία και υποβολή τησ ερώτηςησ ςε πολλαπλέσ υπηρεςίεσ Μετϊ την ολοκλόρωςη του πρώτου ςταδύου η Μ.Μ.Α. επεξεργϊζεται κατϊλληλα την ερώτηςη προκειμϋνου να διαβιβαςτεύ ςτην αντύςτοιχη μορφό διατύπωςησ που θα εύναι κατανοητό από την εκϊςτοτε χρηςιμοποιούμενη υπηρεςύα, και να εντοπιςτεύ το εύδοσ τησ ζητούμενησ πληροφορύασ. Σο ςτϊδιο αυτό εύναι πολύ ςημαντικό, αφού ουςιαςτικϊ ενεργοποιεύ την παρϊλληλη αναζότηςη αποτελεςμϊτων, μεγαλώνοντασ το εύροσ τησ κϊλυψησ του Παγκόςμιου Ιςτού. Κατϊ το ςτϊδιο αυτό αντιμετωπύζεται επιπλϋον το λεγόμενο πρόβλημα μετϊφραςησ των ερωτόςεων. την Ειςαγωγό αναφϋρθηκε ότι μια Μ.Μ.Α. χρηςιμοποιεύ τουσ καταλόγουσ και τα ευρετόρια των εμπλεκόμενων υπηρεςιών αναζότηςησ. Δεδομϋνου ότι κϊθε μύα από αυτϋσ ϋχει διαφορετικό τρόπο ςύνταξησ όςον αφορϊ την υποβαλλόμενη ερώτηςη από το χρόςτη, μπορεύ να υπϊρξει αςυμβατότητα όςον αφορϊ τη χρηςιμοπούηςη κϊποιων χαρακτηριςτικών που διϋπουν τη λειτουργύα των χρηςιμοποιούμενων υπηρεςιών αναζότηςησ. 48

54 Ψσ αποτϋλεςμα, αυτόσ τησ λειτουργικόσ αςυνϋχειασ, οι Μ.Μ.Α. πρϋπει να μεταφρϊζουν την ερώτηςη του χρόςτη πριν αυτό υποβληθεύ ςτισ καθοριςμϋνεσ μηχανϋσ αναζότηςησ. Η μετϊφραςη αυτό γύνεται τοπικϊ ςτο ςύςτημα τησ Μ.Μ.Α.. Επύςησ, λόγω των ςυχνών αλλαγών ςτα εςωτερικϊ και εξωτερικϊ χαρακτηριςτικϊ των εμπλεκόμενων υπηρεςιών κρύνεται απαραύτητη η ςυνεχόσ παρακολούθηςη και αντύςτοιχη ανανϋωςη του ςυςτόματοσ που εύναι υπεύθυνο για τη λειτουργύα αυτό. Σο ςύςτημα το οπούο ενεργοποιεύται ςτο ςτϊδιο αυτό ονομϊζεται Διεκπεραιωτήσ ή και Αποςτολέασ τησ ερώτηςησ υλλογή και επεξεργαςία των αποτελεςμάτων Σο ςτϊδιο αυτό αφορϊ τη ςυλλογό, επεξεργαςύα και παρουςύαςη των μετϊαποτελεςμϊτων. Μετϊ την υποβολό τησ ερώτηςησ ςτισ χρηςιμοποιούμενεσ υπηρεςύεσ, ϋνα υποςύςτημα ςυλλϋγει τα αποτελϋςματα και τα ςτϋλνει πύςω ςτη Μ.Μ.Α.. Σο υπό-ςύςτημα αυτό ονομϊζεται Συλλέκτησ Αποτελεςμάτων και εύναι ικανό να ανακτϊ την απαιτούμενη χρόςιμη πληροφορύα ςε όποια μορφό και αν εντοπύζεται ςτισ εκϊςτοτε υπηρεςύεσ που χρηςιμοποιούνται. τη ςυνϋχεια, πραγματοποιεύται η επεξεργαςύα των ανακτώμενων αποτελεςμϊτων ςτη Σοπικό Βϊςη Δεδομϋνων τησ Μ.Μ.Α.. Αρχικϊ αντιμετωπύζεται το πρόβλημα τησ απαλοιφόσ των διπλών εγγραφών μεταξύ των υπηρεςιών αναζότηςησ και μετϊ το πρόβλημα τησ ςυγχώνευςησ των μετϊ-αποτελεςμϊτων [18]. Η αντιμετώπιςη αυτού του προβλόματοσ ουςιαςτικϊ οδηγεύ ςτον μηχανιςμό επεξεργαςύασ, κατϊταξησ και παρουςύαςησ των πηγών πληροφορύασ ςτο χρόςτη. Όπωσ εύναι γνωςτό, ςτο χώρο των μηχανών αναζότηςησ υπϊρχουν πολλού τρόποι ςχετικόσ κατϊταξησ αποτελεςμϊτων, όμωσ οι χρηςιμοποιημϋνοι αλγόριθμοι ταξινόμηςησ δεν εύναι διαθϋςιμοι και γνωςτού ςτουσ χρόςτεσ. Κατϊ ςυνϋπεια, το πρόβλημα ςυγχώνευςησ των αποτελεςμϊτων από τισ διαφορετικϋσ μηχανϋσ αναζότηςησ οι οπούεσ χρηςιμοποιούν διαφορετικούσ και ϊγνωςτουσ αλγορύθμουσ αποτελεύ ϋνα αρκετϊ δύςκολο πρόβλημα. Ακόμα κι αν οι ςυγκρινόμενεσ μηχανϋσ αναζότηςησ χρηςιμοποιούν τον ύδιο αλγόριθμο ταξινόμηςησ, εύναι δύςκολο να ςυγχωνευθούν τα αποτελϋςματα και ςυνόθωσ παρουςιϊζουν διαφορετικό κατϊταξη όςον αφορϊ ϋνα δεδομϋνο ερώτημα. Σο υποςύςτημα, το οπούο εύναι υπεύθυνο για την επεξεργαςύα και τη ςχετικό ςτϊθμιςη των επιςτρεφόμενων αποτελεςμϊτων, ονομϊζεται Ταξινομητήσ ή Χειριςτήσ μετάαποτελεςμάτων. Ουςιαςτικϊ το υποςύςτημα αυτό κατατϊςςει τα επεξεργαςμϋνα αποτελϋςματα ςύμφωνα με τισ διαδικαςύεσ και τισ τεχνικϋσ που ακολουθεύ η Μ.Μ.Α. όςον αφορϊ την ςυγχώνευςη των αποτελεςμϊτων από διαφορετικϋσ πηγϋσ. Επιπλϋον, πρϋπει να υπογραμμιςτεύ ότι κατϊ τη χρηςιμοπούηςη μιασ ξεχωριςτόσ Μ.Α., ο χρόςτησ λαμβϊνει πολλϋσ φορϋσ διπλότυπα πεδύα ςτα επιςτρεφόμενα αποτελϋςματα. Παρότι το πρόβλημα των διπλότυπων πεδύων μεταξύ διαφορετικών Μ.Α. αντιμετωπύζεται επαρκώσ, τα διπλότυπα πεδύα που παρουςιϊζονται ςτην ύδια υπηρεςύα ςυνόθωσ λαμβϊνονται ωσ διαφορετικϊ, με αποτϋλεςμα την παρουςύαςη ταυτόςημων αποτελεςμϊτων από τισ Μ.Μ.Α.. την επεξεργαςύα λοιπόν των αποτελεςμϊτων από κϊθε Μ.Α. κρύνεται απαραύτητο να γύνεται περαιτϋρω ϋλεγχοσ για τυχόν διπλότυπα πεδύα. 49

55 4.2.4 Παρουςίαςη των μετά-αποτελεςμάτων Σο τελευταύο ςτϊδιο που ολοκληρώνει τισ λειτουργύεσ μιασ Μ.Μ.Α. εύναι αυτό τησ παρουςύαςησ των μετϊ-αποτελεςμϊτων. Σο υπό-ςύςτημα που εύναι υπεύθυνο εύναι η διεπαφή του χρήςτη. Τπϊρχει μεγϊλη ανομοιογϋνεια ςτην παρουςύαςη των επιςτρεφόμενων αποτελεςμϊτων ςτο χώρο των υπηρεςιών αναζότηςησ. Τπϊρχουν μηχανϋσ αναζότηςησ που απλώσ παραθϋτουν τισ διευθύνςεισ των Ομοιόμορφων Εντοπιςτών Πόρων (URL) των δικτυακών τόπων που ϋχουν βρεθεύ, ενώ ϊλλεσ παρϋχουν επιπρόςθετεσ πληροφορύεσ ό και προτϊςεισ. Αυτόν την ανομοιογϋνεια καλύπτουν οι Μ.Μ.Α. παρουςιϊζοντασ τα μετϊαποτελϋςματα ςύμφωνα με τισ απαιτόςεισ του δικού τουσ περιβϊλλοντοσ. 4.3 Κατηγορίεσ Μηχανών Μετά-Αναζήτηςησ Οι Μ.Μ.Α. μπορούν να καταταχθούν ςε τρεισ κατηγορύεσ ανϊλογα με τη λειτουργύα αποςτολόσ των ερωτόςεων ενόσ χρόςτη και τη λειτουργύα των αντύςτοιχων αναζητόςεων. Ϊτςι διακρύνεται η Μ.Μ.Α. με λειτουργύα μεςολϊβηςησ, με ςειριακό και με παρϊλληλη αναζότηςη Μηχανή Μετά-Αναζήτηςησ με λειτουργία μεςολάβηςησ Οι Μ.Μ.Α. με λειτουργύα μεςολϊβηςησ λειτουργούν ωσ μεςύτεσ πληροφορύασ για τουσ τελικούσ χρόςτεσ. Προςφϋρουν ςυνόθωσ μια λύςτα από υπηρεςύεσ αναζότηςησ όπου ο χρόςτησ επιλϋγει αυτό ςτην οπούα θα υποβϊλλει την ερώτηςό του. τη ςυνϋχεια η Μ.Μ.Α. ςτϋλνει την ερώτηςη αυτό ςτην επιλεγμϋνη υπηρεςύα, ςυλλϋγει τα αποτελϋςματα και τα παρουςιϊζει ςτο χρόςτη ςτο δικό τησ περιβϊλλον (χόμα 4-4). Σο πλεονϋκτημα που επιτυγχϊνεται με αυτόν τον τρόπο εύναι η μεύωςη του χρόνου που ξοδεύει ο χρόςτησ κατϊ την μετϊβαςό του από τη μύα υπηρεςύα αναζότηςησ ςτην ϊλλη, αφού εύναι όλεσ ςυγκεντρωμϋνεσ ςτο ύδιο ςημεύο. Επύςησ, μϋςω αυτόσ τησ λειτουργύασ ο χρόςτησ μαθαύνει και ϊλλεσ μηχανϋσ αναζότηςησ, τισ οπούεσ πιθανώσ να μη γνώριζε. Ψςτόςο, το μειονϋκτημα ςε αυτό τη προςϋγγιςη παραμϋνει, ότι ο χρόςτησ λαμβϊνει την ύδια πληροφορύα, όπωσ εϊν θα εύχε επιςκεφθεύ την επιλεγόμενη υπηρεςύα μϋςω τησ διεύθυνςόσ τησ. ε πολλϋσ περιπτώςεισ υπϊρχει η δυνατότητα ταυτόχρονησ αναζότηςησ ςε όλεσ τισ διαθϋςιμεσ μηχανϋσ αναζότηςησ αλλϊ ακόμα και αυτό δεν προςδύδει ϋνα επιπλϋον πλεονϋκτημα ςτον χρόςτη. Για αυτό το λόγο η λειτουργύα αυτό των Μ.Μ.Α. εκλεύπει όλο και περιςςότερο. Παρϊδειγμα μιασ Μ.Μ.Α. με λειτουργύα μεςολϊβηςησ εύναι η υπηρεςύα Find-It. Εικόνα 4-4: Λειτουργύα Μεςολϊβηςησ 50

56 4.3.2 Μηχανή Μετά-Αναζήτηςησ με ςειριακή αναζήτηςη Οι Μ.Μ.Α. αυτού του τύπου παρϋχουν τη δυνατότητα ςτουσ χρόςτεσ να ειςϊγουν την ερώτηςη μϋςα από ϋνα περιβϊλλον με ενιαύα ςύνταξη, να επιλϋγουν ποιεσ ξεχωριςτϋσ Μ.Α. θα εμπλακούν ςτην αναζότηςη και να διαβιβϊζουν κατόπιν την αναζότηςη ταυτόχρονα ςε όλεσ τισ επιλεγόμενεσ υπηρεςύεσ. Μόλισ οργανωθεύ η αναζότηςη, επεξεργϊζονται τα ανακτώμενα αποτελϋςματα ςύμφωνα με τον αλγόριθμο επεξεργαςύασ τησ εκϊςτοτε Μ.Μ.Α και επιςτρϋφονται ςτην οθόνη του χρόςτη τα μετϊ-αποτελϋςματα (χόμα 4-5). Σο κύριο μειονϋκτημα αυτού του τύπου προςϋγγιςησ ςυνύςταται ςτο ότι προκειμϋνου να μπορϋςει η Μ.Μ.Α. να επεξεργαςτεύ και να παρουςιϊςει τα τελικϊ αποτελϋςματα, εύναι απαραύτητο να ϋχουν όλα ςυλλεχθεύ πρώτα από όλεσ τισ διαφορετικϋσ υπηρεςύεσ αναζότηςησ. Αυτό ϋχει ωσ αποτϋλεςμα η ταχύτητα τησ αναζότηςησ να εξαρτϊται ϊμεςα από την ταχύτητα τησ πιο αργόσ χρηςιμοποιούμενησ υπηρεςύασ. Παρϊδειγμα μιασ τϋτοιασ Μ.Μ.Α. εύναι η Dogpile. Εικόνα 4-5: Λειτουργύα ςειριακόσ αναζότηςησ Μηχανή Μετά-Αναζήτηςησ με παράλληλη αναζήτηςη Οι Μ.Μ.Α. με παρϊλληλη αναζότηςη παρουςιϊζουν παρόμοιεσ λειτουργύεσ με αυτϋσ τησ ςειριακόσ αναζότηςησ. Η κύρια διαφορϊ τουσ ςυνύςταται ςτο ότι η παρουςύαςη των αποτελεςμϊτων πραγματοποιεύται ςταδιακϊ μϋχρι κϊποιο οριςμϋνο χρονικό διϊςτημα, χωρύσ δηλαδό να εύναι απαραύτητο να ϋχουν ανακτηθεύ όλα τα αποτελϋςματα από κϊθε ξεχωριςτό χρηςιμοποιούμενη υπηρεςύα αναζότηςησ (χόμα 4-6). Σα επιςτρεφόμενα μετϊ-αποτελϋςματα εύναι επομϋνωσ πολύ γρηγορότερα. Όμωσ το μειονϋκτημα ςε αυτό την προςϋγγιςη εύναι ότι χϊνεται ϋνα ςημαντικό ποςοςτό ακρύβειασ όςον αφορϊ τη ςχετικότητα των μετϊ-αποτελεςμϊτων, εφόςον ο αλγόριθμοσ κατϊταξησ τησ Μ.Μ.Α. τα ταξινομεύ περιοδικϊ και όχι επύ τησ ςυνολικόσ πληροφορύασ. Ϊνα παρϊδειγμα Μ.Μ.Α. με λειτουργύα παρϊλληλησ αναζότηςησ εύναι η Ixquick Metasearch. 51

57 Εικόνα 4-6: Λειτουργύα παρϊλληλησ αναζότηςησ 4.4 Αλγόριθμοι κατάταξησ αποτελεςμάτων από διαφορετικέσ πηγέσ Ο χειριςμόσ και η ςυγχώνευςη διαφορετικών ακολουθιών αποτελεςμϊτων εύναι ιδιαύτερα χρόςιμη, όταν δεν καλύπτονται οι πληροφοριακϋσ ανϊγκεσ του χρόςτη από μια μόνο πηγό αποτελεςμϊτων. Οι αλγόριθμοι ό μϋθοδοι κατϊταξησ αποτελεςμϊτων από διαφορετικϋσ πηγϋσ ϋχουν ωσ ςτόχο τη δημιουργύα μιασ ενιαύασ ταξινόμηςησ ςυγκεντρωμϋνων αποτελεςμϊτων. Οι τεχνικϋσ ςυγχώνευςησ χωρύζονται ςτισ μεθόδουσ ενςωμάτωςησ και ςτισ μεθόδουσ απομόνωςησ [19] Μέθοδοι ενςωμάτωςησ τισ ςυνηθιςμϋνεσ τεχνικϋσ ανϊκτηςησ πληροφοριών από μια ενοποιημϋνη ςυλλογό οι πιο αποτελεςματικού αλγόριθμοι ταξινόμηςησ [20] απαιτούν τη ςυγκϋντρωςη ςτατιςτικών χαρακτηριςτικών και τισ ςυχνότητεσ εμφϊνιςησ ςυγκεκριμϋνων όρων και εγγρϊφων ςτην εξεταζόμενη ςυλλογό [21]. Σα χαρακτηριςτικϊ αυτϊ χρηςιμοποιούνται, για να ςταθμύςουν την ανϊλογη ςημαςύα των όρων ερώτηςησ ό για να υπολογιςτούν οι ςχετικϋσ πιθανότητεσ τησ ςχετικότητασ των εξεταζόμενων εγγρϊφων. Οι μέθοδοι ενςωμάτωςησ χρηςιμοποιούν ειδικϊ πρωτόκολλα και οριςμϋνεσ λειτουργύεσ εξυπηρετητών, για να ςυγκρύνουν τισ ςτατιςτικϋσ των ςυλλογών, επιτρϋποντασ την παραγωγό ςυγκρύςιμων βαθμών ομοιότητασ ςτα επιςτρεφόμενα αποτελϋςματα ύγκριςη ςτατιςτικών Μια προςϋγγιςη εύναι να ςυγκριθούν οι ςτατιςτικϋσ των ςυλλογών ςτουσ εξυπηρετητϋσ αναζότηςησ (search servers) [22] ό ςτουσ πελϊτεσ (clients) [23]. την τελευταύα περύπτωςη το ςύςτημα παρϋχει ςτατιςτικϊ ςτουσ εξυπηρετητϋσ για κϊθε ερώτηςη. Και ςτισ δύο περιπτώςεισ οι εξυπηρετητϋσ χρηςιμοποιούν αυτϊ τα ςτατιςτικϊ, μαζύ με ϋναν ομοιογενό αλγόριθμο ταξινόμηςησ, για την παραγωγό ςυγκρύςιμων αποτελεςμϊτων. Σο ςύςτημα ταξινομεύ κατόπιν τα ςυγχωνευμϋνα αποτελϋςματα κατϊ φθύνουςα ςειρϊ (χόμα 4-7). Σο πλεονϋκτημα αυτόσ τησ προςϋγγιςησ εύναι ότι επιτρϋπεται ςτουσ εξυπηρετητϋσ η παραγωγό ςυγκρύςιμων αποτελεςμϊτων. τα μειονεκτόματα των μεθόδων αυτών ςυμπεριλαμβϊνεται το γεγονόσ ότι οι εξυπηρετητϋσ πρϋπει να λειτουργούν ςύμφωνα με κϊποιο πρωτόκολλο επεξεργαςύασ των χαρακτηριςτικών ςτατιςτικόσ, ενώ παρϊλληλα πρϋπει να υπϊρχει επικοινωνύα των ςυςτημϊτων που εμπλϋκονται ςτισ διαδικαςύεσ αυτϋσ, πριν από το χρόνο ερώτηςησ. Σο ςύνολο των εξυπηρετητών τϋλοσ, πρϋπει να διευκρινιςτεύ, πριν από την υποβολό τησ ερώτηςησ. 52

58 Εικόνα 4-7: Μϋθοδοσ ενςωμϊτωςησ με ςύγκριςη ςτατιςτικών Παρϊλληλη παροχό πληροφοριών και αποτελεςμϊτων Μια διαφορετικό προςϋγγιςη απαιτεύ από κϊθε εξυπηρετητό να παρϋχει πληροφορύεσ ςυλλογόσ παρϊλληλα με τα αποτελϋςματα αναζότηςόσ [24]. Οι πελϊτεσ ϋχουν τη δυνατότητα να ςυνδυϊςουν τισ πληροφορύεσ τησ ςυλλογόσ από τουσ μεμονωμϋνουσ εξυπηρετητϋσ ςε γενικευμϋνεσ πληροφορύεσ και να υιοθετόςουν κϊποιο αλγόριθμο ταξινόμηςησ για την παραγωγό του ςυγχωνευμϋνου καταλόγου αποτελεςμϊτων. Οι ςχετικϋσ πληροφορύεσ για τη χρόςη ςτην ταξινόμηςη μπορούν να παραςχεθούν μαζύ με τισ ςτατιςτικϋσ ςυλλογόσ ό να ληφθούν μϋςω τησ λειτουργύασ καταφόρτωςησ (download) των εγγρϊφων από τουσ εξυπηρετητϋσ. Αυτό η προςϋγγιςη δεν απαιτεύ κανϋναν ςυγχρονιςμό, πριν την υποβολό τησ ερώτηςησ, αλλϊ μπορεύ να εφαρμοςτεύ μόνο, όταν υποςτηρύζουν οι εξυπηρετητϋσ το απαραύτητο πρωτόκολλο επικοινωνύασ. Εικόνα 4-8: Μϋθοδοσ ενςωμϊτωςησ με παρϊλληλη παροχό πληροφοριών και αποτελεςμϊτων Οι δύο παραπϊνω μϋθοδοι ενςωμϊτωςησ χρηςιμοποιούν δύο διαφορετικούσ οριςμούσ τησ ϋννοιασ «ςυλλογόσ» εγγρϊφων, αλλϊ παρόλα αυτϊ, εϊν το ύδιο ϋγγραφο καλύπτεται από περιςςότερουσ από ϋναν εξυπηρετητϋσ θα ληφθεύ υπόψη περιςςότερο από μύα φορϊ ςτισ ςτατιςτικϋσ τησ ςυλλογόσ. Επιπλϋον, η αποδοτικότητα και το εύροσ τησ εφαρμογόσ μειώνονται από την απαύτηςη για την πρόςθετη λειτουργύα επικοινωνύασ Μέθοδοι απομόνωςησ Οι μϋθοδοι απομόνωςησ χρηςιμοποιούν τισ πληροφορύεσ που διατύθενται από τουσ εξυπηρετητϋσ, χωρύσ την απαύτηςη οποιαςδόποτε ειδικόσ λειτουργύασ. Τπϊρχουν τϋςςερα εύδη μεθόδων που ανόκουν ςτην μϋθοδο απομόνωςησ, οι οπούεσ αναφϋρονται παρακϊτω υγχώνευςη βϊςει ανατιθϋμενου βαθμού ςτϊθμιςησ τισ μεθόδουσ αυτϋσ, τα ϋγγραφα ταξινομούνται βϊςει των βαθμών ςτϊθμιςησ που παρϋχεται από ϋναν εξυπηρετητό. Συχόν ακατϋργαςτα αποτελϋςματα που παρϊγονται από εξυπηρετητϋσ που χρηςιμοποιούν ετερογενεύσ αλγορύθμουσ ταξινόμηςησ και οι μη-κοινϋσ ςυλλογϋσ ςτατιςτικόσ δεν μπορούν να ςυγκριθούν. Μια αντιμετώπιςη αυτού του προβλόματοσ εύναι η κλιμϊκωςη των βαθμών ςτϊθμιςησ ϋτςι ώςτε να κυμαύνονται μεταξύ δύο καθοριςμϋνων τιμών [25]. 53

59 υγχώνευςη βϊςει δεύκτη βαρύτητασ εξυπηρετητό ε αυτό το εύδοσ μεθόδων ςυγχώνευςησ, χρηςιμοποιεύται ϋνασ δεύκτησ βαρύτητασ εξυπηρετητό, που θϋτει μεγαλύτερο βϊροσ ςε εκεύνα τα αποτελϋςματα που προϋρχονται από το θεωρούμενο πιο ςημαντικό εξυπηρετητό [26] υγχώνευςη βϊςει ακολουθύασ κατϊταξησ Οι μϋθοδοι ςυγχώνευςησ βϊςει ακολουθύασ κατϊταξησ χρηςιμοποιούν τισ ςχετικϋσ ταξινομόςεισ που παρϊγονται από τουσ εξυπηρετητϋσ για την παραγωγό των ςυγχωνευμϋνων αποτελεςμϊτων [27]. τισ τεχνικϋσ αυτϋσ ενδϋχεται να παύζει ςημαντικό ρόλο και ο δεύκτησ βαρύτητασ εξυπηρετητό, με αποτϋλεςμα να εύναι εφικτό η ςυνεργαςύα και με την προηγούμενη κατηγορύα μεθόδου υγχώνευςη βϊςει του περιεχομϋνου τισ μεθόδουσ αυτϋσ, το ςύςτημα του πελϊτη καταφορτώνει το ςύνολο των εγγρϊφων από τουσ εξυπηρετητϋσ και τα αναλύει προκειμϋνου να παραχθεύ μια ταξινόμηςη των μετϊαποτελεςμϊτων. Μια Μ.Μ.Α. που χρηςιμοποιεύ τϋτοιεσ μεθόδουσ, υιοθετεύ ϋναν αλγόριθμο ταξινόμηςησ χωρύσ ςυλλογϋσ ςτατιςτικών για την παραγωγό τησ ςυγχωνευμϋνησ ταξινόμηςησ [28]. Ϊνα πλεονϋκτημα των μεθόδων αυτών εύναι ότι ακόμα κι αν οι δεύκτεσ εύναι μη ανανεωμϋνοι λόγω τυχόν αλλαγών ό διαγραφών εγγρϊφων, η ςυγχωνευμϋνη ταξινόμηςη θα βαςιςτεύ ςτο τρϋχον περιεχόμενο εγγρϊφων. Από την ϊλλη, το μειονϋκτημα εύναι ότι τα ϋγγραφα πρϋπει να καταφορτωθούν, εμπλϋκοντασ τισ παραμϋτρουσ τησ χρονικόσ καθυςτϋρηςησ και του εύρουσ ζώνησ για κϊθε αναζότηςη. 4.5 Επιςκόπηςη ςτο χώρο των Μηχανών Μετά-Αναζήτηςησ τη ςυνϋχεια γύνεται μια ςύντομη αναφορϊ ςτη λειτουργύα και ςτα βαςικϊ χαρακτηριςτικϊ μερικών δημοφιλών μηχανών μετϊ-αναζότηςησ Copernic Η Copernic δεν εύναι μια διαδικτυακό εφαρμογό ό ϋνασ δικτυακόσ τόποσ. Πρόκειται για ϋνα εμπορικό προώόν το οπούο εγκαθύςταται τοπικϊ ςε ϋναν υπολογιςτό. υνεπώσ, ο χρόςτησ δεν μπορεύ να το χρηςιμοποιόςει οπουδόποτε ςτον κόςμο και ςε οποιοδόποτε λειτουργικό ςύςτημα. Φρηςιμοποιεύ πολλϋσ υπηρεςύεσ αναζότηςησ όπωσ: AltaVista, AOL, Direct Hit, EuroSeek, Fast Search, Google, GoTo, HotBot, LookSmart, Lycos, Magellan, MSN, Netscape Netcenter, DMOZ, Snap, Web Crawler και Yahoo. ε αρκετϋσ ενιςχυμϋνεσ εκδόςεισ υποςτηρύζει κϊποιεσ υπηρεςύεσ αναζότηςησ ανϊ χώρα επιλογόσ. Δϋχεται τη λογικό των τελεςτών ςτη διερεύνηςη των αποτελεςμϊτων τησ πρώτησ αναζότηςησ. Επιπλϋον, δύνεται η δυνατότητα ςτον χρόςτη να ϋχει ανϊ πϊςα ςτιγμό πρόςβαςη ςτισ ςελύδεσ τησ προτύμηςόσ του, οι οπούεσ ενημερώνονται αυτόματα. 54

60 4.5.2 Dogpile Η Dogpile εύναι μια Μετϊ-Μηχανό Αναζότηςησ με παρϊλληλη αναζότηςη, η οπούα διαβιβϊζει το ερώτημα του χρόςτη ςε 20 μηχανϋσ αναζότηςησ. Μερικϋσ από αυτϋσ εύναι οι: Ask, Google, Yahoo, Bing, AltaVista, Excite, Lycos, InfoSeek και WebCraweler. Η λειτουργικότητα τησ περιορύζεται ςτην απλό προώθηςη τησ ερώτηςησ ενόσ χρόςτη ςτισ παραπϊνω μηχανϋσ αναζότηςησ ταυτόχρονα. Παρϋχει λειτουργύεσ εξατομύκευςησ, υποςτηρύζοντασ τουσ λογικούσ τελεςτϋσ OR, NOT καθώσ και τη λειτουργύα ςύνθεςησ ερωτόςεων. Μεταξύ των όρων που υποβϊλλονται, ο προκαθοριςμϋνοσ τελεςτόσ εύναι ο τελεςτόσ AND. Η Dogpile δεν ταξινομεύ τα επεξεργαςμϋνα αποτελϋςματα ερώτηςησ που ςυλλϋγονται από τισ παραπϊνω μηχανϋσ αναζότηςησ. Η παραγωγό των μετϊ-αποτελεςμϊτων εύναι μια αλληλουχύα των διαφορετικών αποτελεςμϊτων με ταξινόμηςη τησ κϊθε υπηρεςύασ που χρηςιμοποιεύται. Επομϋνωσ, ενδϋχεται να υπϊρξουν διπλότυπα πεδύα, ενώ τα αποτελϋςματα παρουςιϊζονται διαδοχικϊ Highway61 Η Highway61 εύναι μύα από τισ παλαιότερεσ και πιο γνωςτϋσ μετϊ-μηχανϋσ αναζότηςησ ςτο διαδύκτυο. Ξεκύνηςε το 1996 και ανακτϊ τα αποτελϋςματϊ τησ από τισ υπηρεςύεσ αναζότηςησ Yahoo!, Excite, Lycos, Infoseek και WebCrawler. Σο κενό ανϊμεςα ςτισ λϋξεισκλειδιϊ το αντιλαμβϊνεται ωσ τον τελεςτό or, δϋχεται όμωσ και τη χρόςη του τελεςτό and. Ϊχει ςύγουρα το πιο διαςκεδαςτικό περιβϊλλον χϊρη ςτο χιούμορ τησ ιςτοςελύδασ τησ, δεν εύναι όμωσ ότι καλύτερο θα περύμενε κανεύσ από μύα μετϊ-μηχανό αναζότηςησ Inference Find Η Inference Find χρηςιμοποιεύ τισ μηχανϋσ αναζότηςησ AltaVista, Excite, Infoseek, Lycos, WebCrawler και Yahoo. Δεν παρϋχει υπηρεςύεσ εξατομύκευςησ ό καταγραφόσ ιςτορικού. Φρηςιμοποιεύ τον τελεςτό AND ωσ προκαθοριςμϋνο τελεςτό λογικόσ και υποςτηρύζει τουσ τελεςτϋσ OR, NOT καθώσ και τη ςύνθεςη αυτών. Σαξινομεύ τα αποτελϋςματα ανϊ ςυςτϊδεσ λϋξεων ό ευρεθϋντων φρϊςεων και αποβϊλλει ςε ικανοποιητικό βαθμό τα διπλότυπα πεδύα Intelliseek (Profusion) Η Intelliseek (Profusion) εύναι μύα Μ.Μ.Α. με πολλαπλϋσ λειτουργύεσ. Εκτελεύ ϊμεςα τισ ερωτόςεισ των χρηςτών, αναζητώντασ αποτελϋςματα ταυτόχρονα ςτισ υπηρεςύεσ αναζότηςησ AltaVista, LookSmart, Magellan, WebCrawler, GoTo, AllTheWeb και Yahoo. Επιπλϋον, παρϋχει λειτουργύεσ όπωσ την περιοδικό παρακολούθηςη ερωτόςεων και την αποςτολό ηλεκτρονικού μηνύματοσ ςε περύπτωςη εύρεςησ νϋου αποτελϋςματοσ Ithaki Η Ithaki χρηςιμοποιεύ ϋναν αρκετϊ μεγϊλο αριθμό υπηρεςιών αναζότηςησ και εύναι διαθϋςιμη ςε 14 γλώςςεσ. Προςφϋρει ςτουσ χρόςτεσ ειδικό αναζότηςη για 35 διαφορετικϊ θϋματα, κϊνοντασ χρόςη ςυγκεκριμϋνων υπηρεςιών για κϊθε θϋμα. Τποςτηρύζει όλουσ τουσ λογικούσ τελεςτϋσ, απαλεύφει τισ διπλότυπεσ εγγραφϋσ και επιπλϋον ο χρόςτησ ϋχει τη δυνατότητα να ςτεύλει με τα αποτελϋςματα. 55

61 4.5.7 Ixquick Metasearch Η Ixquick Metasearch προωθεύ κϊθε ερώτηςη του χρόςτη ςτισ μηχανϋσ αναζότηςησ AOL, AltaVista, Looksmart, EuroSeek, Excite, FindWhat, MSN, AllTheWeb, GoTo, HotBot και Yahoo ταυτόχρονα, φιλτρϊροντασ τα αποτελϋςματα και παρουςιϊζοντασ ςτο χρόςτη μόνο τα δϋκα πρώτα κϊθε μηχανόσ αναζότηςησ. Με την τεχνικό αυτό παρϋχει τα πιο δημοφιλό αποτελϋςματα, χϊνοντασ όμωσ ϋναν μεγϊλο όγκο αποτελεςμϊτων που ενδεχομϋνωσ ενδιαφϋρουν το χρόςτη. Δεν εκτελεύ ϋλεγχο για διπλότυπεσ εγγραφϋσ και γι αυτό το λόγο πολύ ςυχνϊ επιςτρϋφει ςτο χρόςτη τα ύδια αποτελϋςματα Mamma Η Mamma παρϋχει υπηρεςύεσ αναζότηςησ και αρχεύα όχου και εικόνασ ςε ϊλλεσ διαδικτυακϋσ εφαρμογϋσ όπωσ ςτο Usenet και ςε καταλόγουσ ειδόςεων, χρηματιςτηρύων ό εταιριών. Φρηςιμοποιεύ ωσ πηγϋσ τισ υπηρεςύεσ αναζότηςησ AltaVista, Excite, Infoseek, Lycos, WebCrawler και Yahoo. Τποςτηρύζονται Boolean τελεςτϋσ, ενώ τα μετϊ-αποτελϋςματα παρουςιϊζονται ςε μια ενιαύα μορφό με δυνατότητα επιλογόσ από τον χρόςτη, αν το επιθυμεύ για μικρϋσ αναφορϋσ και ςυνόψεισ Meta-Crawler Η MetaCrawler ανακτϊ τα αποτελϋςματϊ τησ από τισ μηχανϋσ αναζότηςησ Google, Bing, Ask, Lycos, About, AltaVista, Excite, Infoseek, Looksmart, Thunderstone, WebCrawler και Yahoo. Παρϋχει λειτουργύεσ εξατομύκευςησ, ενώ παρϋχει και μια επιπρόςθετη λειτουργύα με όνομα Power Search, με την οπούα τα αποτελϋςματα παγιώνονται βϊςει μιασ διαδικαςύασ ψηφοφορύασ. Δύνει τη δυνατότητα ςτο χρόςτη να επιλϋξει ςυγκεκριμϋνη περιοχό (π.χ. Ευρώπη) από την οπούα επιθυμεύ να προϋρχονται τα αποτελϋςματα τησ αναζότηςησ ό ακόμη και ςυγκεκριμϋνουσ δικτυακούσ τόπουσ. Η ςυγκεκριμϋνη Μ.Μ.Α. δεν υποςτηρύζει Boolean τελεςτϋσ, υποςτηρύζει όμωσ τελεςτϋσ περύληψησ ό απόκλιςησ όρων, τύπου ALL, ANY ό +/- ςτισ ερωτόςεισ που υποβϊλλουν MetaFind Η ιδιαιτερότητα τησ MetaFind ϋγκειται ςτο γεγονόσ, ότι επιςτρϋφει ϋνα προκαθοριςμϋνο ποςό αποτελεςμϊτων από κϊθε υπηρεςύα αναζότηςησ που χρηςιμοποιεύ. Πιο ςυγκεκριμϋνα επιλϋγει ςυνολικϊ δϋκα αποτελϋςματα από την AltaVista, δϋκα από την Excite, πενόντα από την HotBot, εύκοςι πϋντε από την Infoseek, τριϊντα από την Planetsearch και πενόντα από την Webcrawler. Φρηςιμοποιούνται όλοι οι λογικού τελεςτϋσ, ενώ τα αποτελϋςματα μπορούν να ταξινομηθούν αλφαβητικϊ ό ανϊ διεύθυνςη του Εξυπηρετητό Ονομϊτων Σομϋα (Domain Name Server). Μια ϊλλη χρόςιμη ιδιότητα εύναι η αναφορϊ τησ κατϊταξησ των αποτελεςμϊτων από κϊθε μηχανό αναζότηςησ που χρηςιμοποιεύ, ενώ παρϋχεται επύςησ και ςύντομη περιγραφό κϊθε αποτελϋςματοσ. Ιδιαύτερα χρόςιμη εύναι και η ανεξϊρτητη υποβολό τησ ύδιασ ερώτηςησ ςε οποιαδόποτε από τισ χρηςιμοποιούμενεσ υπηρεςύεσ αναζότηςησ για δεύτερη φορϊ, εϊν αυτό εύναι επιθυμητό από το χρόςτη. 56

62 SavvySearch Η SavvySearch εύναι μύα από τισ παλαιότερεσ Μ.Μ.Α. και αντιπροςωπεύει μια επαναληπτικό παρϊλληλη ςτρατηγικό αναζότηςησ. Πρωτοπορεύ όςον αφορϊ το ςύνολο των διαφορετικών πηγών που χρηςιμοποιεύ προκειμϋνου να εξυπηρετόςει τισ ανϊγκεσ αναζότηςησ του χρόςτη. Ϊτςι ανακτϊ αποτελϋςματα από μηχανϋσ αναζότηςησ, ομϊδεσ Usenet και διϊφορεσ βϊςεισ δεδομϋνων με θεματικϋσ κατηγορύεσ όπωσ λογιςμικό, διαςκϋδαςη, εμπόριο, εκπαύδευςη καθώσ και αρχεύα πολυμϋςων. Ο χρόςτησ μπορεύ να επϋμβει ςτο ποςό των επιςτρεφόμενων αποτελεςμϊτων, ενώ υποςτηρύζονται όλοι οι λογικού τελεςτϋσ. Παρόλα αυτϊ η SavvySearch υςτερεύ ςτο χρόνο απόκριςησ TracerLock - Informant Οι υπηρεςύεσ TracerLock και Informant εύναι δύο υπηρεςύεσ που αποθηκεύουν τισ ερωτόςεισ των χρηςτών, τισ επεξεργϊζονται περιοδικϊ και αποςτϋλλουν ϋνα ηλεκτρονικό μόνυμα ςε περύπτωςη ανεύρεςησ νϋων αποτελεςμϊτων. Η TracerLock ςυνεργϊζεται με την AltaVista και τη Yahoo και το ηλεκτρονικό μόνυμα που αποςτϋλλει περιλαμβϊνει το πολύ δϋκα αποτελϋςματα. Από την ϊλλη, η Informant ςυνεργϊζεται με πολλϋσ μηχανϋσ αναζότηςησ και αποςτϋλλει ηλεκτρονικό μόνυμα, όταν βρεθεύ ϋνα νϋο αποτϋλεςμα ανϊμεςα ςτα δϋκα πρώτα που εντοπύςτηκαν ςτην τελευταύα αναζότηςη του ύδιου ερωτόματοσ. Επιπλϋον, ο χρόςτησ ϋχει τη δυνατότητα να παρακολουθεύ ϋωσ πϋντε ιςτοςελύδεσ, ενημερώνοντασ τον ςε περύπτωςη που κϊποια μεταβληθεύ. 57

63 ΚΕΥΑΛΑΙΟ 5 - ΣΕΦΝΙΚΕ ΕΠΕΚΣΑΗ ΣΨΝ ΕΡΨΣΗΜΑΣΨΝ ΣΟΤ ΦΡΗΣΗ Ε ΑΝΑΖΗΣΗΕΙ ΣΟΝ ΠΑΓΚΟΜΙΟ ΙΣΟ 5.1 Ειςαγωγή Σα πληροφοριακϊ αιτόματα ςε ςυςτόματα ανϊκτηςησ πληροφορύασ διατυπώνονται από τουσ χρόςτεσ ςυνόθωσ υπό τη μορφό ερωτημϊτων φυςικόσ γλώςςασ. Πολλϋσ φορϋσ η πληροφορύα που ανακτϊται, ωσ απϊντηςη ςτα ερωτόματα αυτϊ, δεν εύναι ικανοποιητικό και αυτό μπορεύ να οφεύλεται ςτην ύδια τη διατύπωςη του ερωτόματοσ και όχι ςτην επεξεργαςύα του από το ςύςτημα [29]. Για την αντιμετώπιςη τϋτοιων περιπτώςεων εύναι αναγκαύα η επαναδιατύπωςη του ερωτόματοσ με ϊλλουσ όρουσ, μια τεχνικό που εύναι γνωςτό και ωσ επέκταςη (διεύρυνςη)/βελτίωςη του ερωτήματοσ (query expansion/refinement). Η διεύρυνςη ερωτημϊτων ϋχει απαςχολόςει εδώ και πολλϋσ δεκαετύεσ την ερευνητικό κοινότητα ςε μια προςπϊθεια ανύχνευςησ τεχνικών για την αρωγό του χρόςτη που αναζητϊ πληροφορύα ςε κεύμενα που εύναι αποθηκευμϋνα εύτε ςε βϊςεισ δεδομϋνων εύτε ςε ευρετόρια μηχανών αναζότηςησ του Παγκόςμιου Ιςτού. Προσ αυτό την κατεύθυνςη ϋχουν προταθεύ διϊφορεσ τεχνικϋσ διεύρυνςησ ερωτημϊτων οι οπούεσ μπορούν να ομαδοποιηθούν ςε κατηγορύεσ ανϊλογα με τα βαςικϊ τουσ χαρακτηριςτικϊ. Οι πιο ςημαντικϋσ κατηγορύεσ ςυνοψύζονται ςτισ εξόσ: 1. Διεύρυνςη με χρόςη πληροφορύασ που δύνεται ϊμεςα από τον χρόςτη (explicit user feedback). 2. Διεύρυνςη με χρόςη πληροφορύασ που αντλεύται από το τοπικό περιεχόμενο των αποτελεςμϊτων ενόσ ερωτόματοσ. 3. Διεύρυνςη με χρόςη Θηςαυρών και ημαςιολογικών δικτύων. την ςυνϋχεια θα αναλύςουμε κϊθε μύα από τισ προαναφερθεύςεσ τεχνικϋσ και θα αναφϋρουμε τισ ςημαντικότερεσ μεθόδουσ που χρηςιμοποιούν τισ τεχνικϋσ αυτϋσ. 5.2 Διεύρυνςη με χρήςη πληροφορίασ που δίνεται άμεςα από τον χρήςτη (explicit user feedback) Η βαςικό αρχό των τεχνικών που κατατϊςςονται ςε αυτό την κατηγορύα υπαγορεύει την ϊμεςη εμπλοκό του χρόςτη κατϊ τη διαδικαςύα διεύρυνςησ, ζητώντασ από αυτόν να καθορύςει για ϋνα ερώτημϊ του τουσ ςημαςιολογικϊ παρόμοιουσ όρουσ διατύπωςησ, οι οπούοι μπορεύ εύτε να παρϋχονται ςε μια προεπιλεγμϋνη λύςτα όρων, την οπούα ο χρόςτησ καλεύται να επιλϋξει, εύτε εύναι ελεύθεροι όροι, που διατυπώνονται ςυμπληρωματικϊ από τον χρόςτη. Οι πιο αξιόλογεσ ϋρευνεσ ςτον τομϋα αυτό περιλαμβϊνουν τισ ακόλουθεσ εργαςύεσ: των Salton and McGill [30] και του Efthimiadis [31]. 58

64 Η προςϋγγιςη των Salton and McGill προτϊθηκε πριν 25 χρόνια ωσ μύα μϋθοδοσ για τη βελτύωςη τησ ανϊκτηςησ πληροφορύασ. ύμφωνα με τη ςυγκεκριμϋνη προςϋγγιςη αρχικϊ παρουςιϊζεται ςτον χρόςτη μύα λύςτα πιθανών απαντόςεων ςε κϊποιο ερώτημα, και ςτη ςυνϋχεια ο χρόςτησ ςημειώνει ποιεσ θεωρεύ ςχετικϋσ και ποιεσ μη-ςχετικϋσ με τα πληροφοριακϊ του ενδιαφϋροντα. Η τεχνικό αυτό υπαγορεύτηκε από τη μελϋτη του Van Rijsbergen [32], ο οπούοσ διαπύςτωςε πειραματικϊ ότι οι όροι που ςυνδϋονται ςτενϊ με εκεύνουσ που μπορούν να διαχωρύζουν τα ςχετικϊ κεύμενα με τα ενδιαφϋροντα του χρόςτη, από τα μη-ςχετικϊ, μπορούν να χρηςιμοποιηθούν και οι ύδιοι για τον ύδιο ςκοπό. Δεδομϋνου ότι οι όροι ερωτημϊτων μπορούν να χρηςιμοποιηθούν για τον εντοπιςμό των ςχετικών κειμϋνων, ςυμπεραύνουμε ότι και οι διευρυμϋνοι όροι που ςχετύζονται με τουσ όρουσ του αρχικού ερωτόματοσ μπορούν επύςησ να χρηςιμοποιηθούν ςτην διαδικαςύα κατϊταξησ τησ ςχετικότητασ των κειμϋνων. ύμφωνα με τη δεύτερη προςϋγγιςη επιχειρεύται η χρόςη τεχνικών διεύρυνςησ ερωτημϊτων με τισ οπούεσ ο τελικόσ χρόςτησ αλληλεπιδρϊ. Πιο ςυγκεκριμϋνα, η διεύρυνςη των ερωτημϊτων δε γύνεται αυτόματα από το ςύςτημα ανϊκτηςησ πληροφορύασ, αλλϊ ο ύδιοσ ο χρόςτησ επιλϋγει τουσ όρουσ εκεύνουσ με τουσ οπούουσ επιθυμεύ να επαναδιατυπώςει το ερώτημϊ του. Οι όροι αυτού μπορεύ να εύναι ςυνώνυμοι με αυτούσ του αρχικού ερωτόματοσ, ςημαςιολογικϊ ςχετικού ό ακόμα και χωρύσ ϊμεςη ςημαςιολογικό ςχϋςη με αυτό. Σο ςύςτημα ανϊκτηςησ πληροφορύασ, ϋχοντασ ενςωματωμϋνουσ γλωςςολογικούσ πόρουσ ςημαςιολογικόσ πληροφορύασ παρουςιϊζει ςτο χρόςτη τουσ όρουσ εκεύνουσ που ςχετύζονται με το ερώτημϊ του και αυτόσ επιλϋγει τουσ κατϊλληλουσ για τη διεύρυνςη του αιτόματόσ του. 5.3 Διεύρυνςη με χρήςη πληροφορίασ που αντλείται από το τοπικό περιεχόμενο των αποτελεςμάτων ενόσ ερωτήματοσ Οι τεχνικϋσ που ανόκουν ςτη ςυγκεκριμϋνη κατηγορύα ακολουθούν μια παραλλαγό τησ προηγούμενησ μεθόδου relevance-feedback. τισ τεχνικϋσ αυτϋσ το ερώτημα διατυπώνεται αρχικϊ, χρηςιμοποιώντασ ςυμβατικϋσ τεχνικϋσ ανϊκτηςησ πληροφορύασ. τη ςυνϋχεια εξϊγεται ϋνα ςύνολο ςυςχετιζόμενων όρων από τα πρώτα Ν (ϋςτω Ν=10), ςχετικϊ αποτελϋςματα που επιςτρϋφονται ςαν απϊντηςη ςτο αρχικό ερώτημα του χρόςτη. Οι όροι διεύρυνςησ επιλϋγονται με χρόςη ςτατιςτικών μεθόδων. Οι επιλεγμϋνοι όροι επικολλούνται ςτο αρχικό ερώτημα. Σο διευρυμϋνο ερώτημα που προκύπτει υποβϊλλεται εκ νϋου ςτην μηχανό αναζότηςησ προκειμϋνου να επιςτραφεύ μια ανανεωμϋνη ςυλλογό δεδομϋνων, η οπούα παρουςιϊζεται ςτον χρόςτη. Η επαναδιατύπωςη του ερωτόματοσ δεν λαμβϊνει υπόψη μόνο κεύμενα που περιϋχουν τουσ όρουσ του αρχικού ερωτόματοσ, αλλϊ μπορεύ επύςησ να ανακτόςει κεύμενα τα οπούα ανόκουν ςτην ύδια θεματικό κατηγορύα με τα επιθυμητϊ αποτελϋςματα που όμωσ για κϊποιο λόγο δεν περιϋχουν κϊποιο από τουσ όρουσ του αρχικού ερωτόματοσ. Οι πιο αξιόλογεσ ϋρευνεσ ςτον τομϋα αυτό περιλαμβϊνουν τισ ακόλουθεσ εργαςύεσ: των Chu et al. [33] και των Carpineto et al. [34]. 59

65 την εργαςύα των Chu et al. περιγρϊφεται μια τεχνικό διεύρυνςησ ερωτημϊτων με χρόςη κοινόσ γνώςησ. Η βαςικό ιδϋα που περιγρϊφεται ςτη ςυγκεκριμϋνη εργαςύα εύναι να εντοπύςουμε αρχικϊ όλουσ τουσ όρουσ που ςυνεμφανύζονται ςε κεύμενα με τουσ όρουσ του αρχικού ερωτόματοσ, και ςτη ςυνϋχεια να δημιουργούμε το διευρυμϋνο ερώτημα που αποτελεύται από τουσ όρουσ του αρχικού ερωτόματοσ ςυν τουσ όρουσ που ςυνυπολογύςαμε ότι ςυνεμφανύζονται με αυτούσ. Οι μετρικϋσ ςυνεμφϊνιςησ εξϊγονται αυτόματα από τισ ςυλλογϋσ κειμϋνων από τισ οπούεσ ανακτώνται τα ϋγγραφα. Τπολογύζεται ότι οι όροι που ςυνεμφανύζονται ςυχνϊ με τουσ όρουσ του αρχικού ερωτόματοσ του χρόςτη εύναι κυρύωσ ςυνώνυμοι με τουσ όρουσ του αρχικού ερωτόματοσ ό ςχετύζονται ςημαςιολογικϊ με αυτούσ. υνεπώσ, η προςθόκη αυτών των ϋξτρα όρων αναμϋνεται ότι θα βοηθόςει την ανϊκτηςη περιςςότερων κειμϋνων που ανταποκρύνονται ςτην πληροφοριακό ανϊγκη του χρόςτη, τα οπούα όμωσ δε ςυμπεριλαμβϊνουν κϊποιον από τουσ όρουσ που χρηςιμοποιόθηκαν για την διατύπωςη του αρχικού ερωτόματοσ. Ο υπολογιςμόσ των ςυνεμφανύςεων μεταξύ των όρων ενόσ κειμϋνου μπορεύ να εύναι μη αποδοτικόσ. Για να λύςουμε το ςυγκεκριμϋνο πρόβλημα, προτεύνεται ςτην εργαςύα των Jing and Croft [35], μια προςϋγγιςη όπου δύο όροι θεωρεύται ότι ςυνεμφανύζονται μόνο όταν εμφανύζονται αρκετϊ «κοντϊ» μεταξύ τουσ ςτο κεύμενο. Για παρϊδειγμα όταν ςυνεμφανύζονται ςτην ύδια παρϊγραφο ό ςε απόςταςη μιασ με δύο προτϊςεων. Η ςυγκεκριμϋνη μϋθοδοσ επιτυγχϊνει καλύτερη ακρύβεια ςτην απόδοςη ανϊκτηςησ. υνενώνοντασ την προηγούμενη τεχνικό υπολογιςμού τησ ςυνεμφϊνιςησ δύο όρων με την μϋθοδο blind feedback, βελτιώνεται περαιτϋρω η ακρύβεια των αποτελεςμϊτων ανϊκτηςησ. την εργαςύα των Carpineto et al. γύνεται μια προςπϊθεια να εκτιμηθεύ η απόδοςη τησ ανϊκτηςησ, χρηςιμοποιώντασ τεχνικϋσ διεύρυνςησ ερωτημϊτων που βαςύζονται ςτισ προτϊςεισ των Cover and Thomas [36]. Η μϋθοδοσ βαςύζεται ςτη ςχετικό εντροπύα ό ςτην απόςταςη Kullback-Lieber, που προϋρχονται από το επιςτημονικό πεδύο τησ Θεωρύασ Πληροφορύασ από την οπούα λαμβϊνουμε ϋνα υπολογιςτικϊ απλό και θεωρητικϊ τεκμηριωμϋνο μοντϋλο για την ανϊθεςη βαρών ςε υποψόφιουσ όρουσ διεύρυνςησ ερωτημϊτων. Η μϋθοδοσ αυτό ϋχει ενςωματωθεύ ςε ϋνα απλό ςύςτημα κατϊταξησ, που ϋχει ελεγχθεύ ςε μια ad-hoc ενότητα του TREC-7. Η ςυνολικό απόδοςη του ςυςτόματοσ εύναι ςυγκρύςιμη με τη μϋςη απόδοςη των ςυμμετεχόντων του TREC, η οπούα θεωρεύται αρκετϊ ικανοποιητικό δεδομϋνου ότι χρηςιμοποιόθηκαν απλϋσ τεχνικϋσ ευρετηριοπούηςησ και ανϊθεςησ βαρών. Η βελτύωςη μπορεύ να φτϊςει το 14%. 5.4 Διεύρυνςη με χρήςη Θηςαυρών και ημαςιολογικών δικτύων Οι δικτυακϋσ μηχανϋσ αναζότηςησ επιχειρούν να βελτιώςουν την απόδοςη τησ ανϊκτηςησ με την ενςωμϊτωςη τεχνικών διεύρυνςησ των ερωτημϊτων του χρόςτη, εύτε με τη χρόςη θηςαυρών ςυνωνύμων (Salton and McGill), εύτε με τη χρόςη δικτύων ςημαςιολογικών ςυςχετύςεων (semantic network). Οι ςχϋςεισ μεταξύ των λημμϊτων που περιλαμβϊνουν οι παραπϊνω λεξικολογικού πόροι εύναι ωσ επύ το πλεύςτον ςημαςιολογικϋσ και ςυνεπώσ υφύςτανται μεταξύ των εννοιών (ερμηνειών) των όρων και όχι μεταξύ των λϋξεων. Η αναπαρϊςταςη των δεικτοδοτημϋνων κειμϋνων με ϋννοιεσ και όχι λϋξεισ βελτιώνει αρκετϊ την απόδοςη τησ ανϊκτηςησ, και τούτο διότι οι ϋννοιεσ που αντιπροςωπεύουν το νόημα του κειμϋνου, αποτελούν τη βϊςη για τη διερεύνηςη τησ ςημαςιολογικόσ ςχϋςησ ανϊμεςα ςτα κεύμενα του ευρετηρύου και ςτα ερωτόματα του χρόςτη. Οι κυριότεροι γλωςςολογικού πόροι που χρηςιμοποιούνται για τη διεύρυνςη/βελτύωςη των ερωτημϊτων που διατυπώνονται ςε δικτυακϋσ μηχανϋσ αναζότηςησ, εύναι οι θηςαυρού ςυνωνύμων και τα δύκτυα ςημαςιολογικών ςυςχετύςεων. τη ςυνϋχεια παρατύθεται μια ςυνοπτικό περιγραφό τησ ςυμβολόσ τουσ κατϊ την 60

66 ανϊκτηςη πληροφορύασ από τον Παγκόςμιο Ιςτό καθώσ και τησ αλληλεπύδραςόσ τουσ με τουσ τελικούσ χρόςτεσ. Η ενςωμϊτωςη θηςαυρών ςε δικτυακϋσ μηχανϋσ αναζότηςησ επιχειρεύ τη γεφύρωςη του ςημαςιολογικού χϊςματοσ ανϊμεςα ςτο λεξιλόγιο των δεικτοδοτημϋνων κειμϋνων και ςτο λεξιλόγιο των ερωτημϊτων των χρηςτών, ςτοχεύοντασ ςτη βελτύωςη τησ ανϊκληςησ και τησ ακρύβειασ τησ ανακτηθεύςασ πληροφορύασ. Οι θηςαυροί αποτελούν λεξικολογικούσ πόρουσ ςημαςιολογικόσ πληροφορύασ μιασ φυςικόσ γλώςςασ, η οπούα εκφρϊζεται με ςχϋςεισ ςυνωνυμύασ μεταξύ των λημμϊτων, καταςκευϊζονται εύτε χειρωνακτικϊ, εύτε αυτόματα με τη χρόςη ςωμϊτων κειμϋνων και κατϊ κανόνα, περιλαμβϊνουν ςυνωνυμικϋσ ςχϋςεισ μεταξύ λημμϊτων που ανόκουν ςτο ύδιο μϋροσ του λόγου, ενώ ςε οριςμϋνεσ περιπτώςεισ εύναι δυνατό να περιλαμβϊνουν και ςυνώνυμεσ (εκ)φρϊςεισ, που απαντώνται πολύ ςυχνϊ ςε κεύμενα μιασ φυςικόσ γλώςςασ. Ο θηςαυρόσ αποθηκεύει ςτην ουςύα ομαδοποιόςεισ λημμϊτων με την ύδια ερμηνεύα, με ςτόχο η αναζότηςη να μην πραγματοποιεύται μόνο με βϊςη τουσ όρουσ που διατυπώθηκαν από το χρόςτη αλλϊ και με ϊλλεσ λϋξεισ που ϋχουν την ύδια ερμηνεύα με αυτούσ. Ϊνασ θηςαυρόσ μπορεύ να χρηςιμοποιηθεύ για τη διεύρυνςη των όρων δεικτοδότηςησ των κειμϋνων ό για τη διεύρυνςη των ερωτημϊτων των χρηςτών. Η διεύρυνςη των όρων των ερωτημϊτων των χρηςτών πραγματοποιεύται εύτε ςτην αρχό τησ αναζότηςησ, εύτε αφού ανακτηθεύ η πληροφορύα. την τελευταύα περύπτωςη το ερώτημα του χρόςτη διευρύνεται με όρουσ που εμφανύζονται ςυχνϊ ςτα πρώτα κεύμενα τησ λύςτασ που ανακτόθηκε και διεξϊγεται μια νϋα αναζότηςη με το διευρυμϋνο ερώτημα. Η Ανϊλυςη Σοπικού Περιεχομϋνου (Local Context Analysis) αποτελεύ τη μϋθοδο ςημαςιολογικόσ διεύρυνςησ των ερωτημϊτων που παρουςιϊζει την καλύτερη απόδοςη [37] και η οπούα κϊνει εκτεταμϋνη χρόςη των όρων που εμφανύζονται ςτα ύδια τα ανακτηθϋντα κεύμενα. ύμφωνα με τη διεθνό βιβλιογραφύα οι βαςικϋσ μϋθοδοι διεύρυνςησ ερωτημϊτων, που ϋχουν κατϊ καιρούσ εφαρμοςτεύ, αφορούν εύτε ςτη χρόςη θηςαυρών εύτε ςτη χρόςη δικτύων ςημαςιολογικών ςυςχετύςεων. την πρώτη περύπτωςη η απόδοςη τησ ανϊκτηςησ δε βελτιώνεται ςημαντικϊ παρϊ μόνο αν οι ςυλλογϋσ κειμϋνων που δεικτοδοτούνται εύναι πολύ ςυγκεκριμϋνεσ και περιλαμβϊνουν κεύμενα το λεξιλόγιο των οπούων αποτελεύται από λϋξεισ ειδικόσ ορολογύασ. ε διαφορετικό περύπτωςη η χρόςη θηςαυρών γενικού λεξιλογύου για αυτόματη διεύρυνςη των ερωτημϊτων δεν ϋχει αποδειχτεύ ιδιαύτερα αποτελεςματικό ςτην ανϊκτηςη τησ πληροφορύασ [38] όςον αφορϊ ςτην ακρύβεια των ανακτηθϋντων κειμϋνων [39], ενώ αντύθετα βελτιώνει την ανϊκληςη τησ ανακτηθεύςασ πληροφορύασ. Ϊνασ βαςικόσ λόγοσ για τον οπούο αποτυγχϊνει η βελτύωςη τησ ακρύβειασ τησ ανακτηθεύςασ πληροφορύασ με τη χρόςη θηςαυρών γενικού λεξιλογύου, εύναι το γεγονόσ πώσ το ςύςτημα ανϊκτηςησ δε γνωρύζει την ακριβό ςημαςύα των όρων που χρηςιμοποιούνται για τη διατύπωςη των ερωτημϊτων των χρηςτών ό για τη διατύπωςη των όρων δεικτοδότηςησ, με αποτϋλεςμα την πιθανότητα επιλογόσ «λϊθοσ» (με διαφορετική ερμηνεία από εκείνη που έχει το ερώτημα του χρήςτη) λϋξεων για τη διεύρυνςη των ερωτημϊτων [40]. ύμφωνα με τουσ Mandala et al. [41] ϋνα επιπλϋον μειονϋκτημα των θηςαυρών γενικού λεξιλογύου εύναι πωσ δεν περιϋχουν κύρια ονόματα, παρότι τα τελευταύα χρηςιμοποιούνται ςυχνϊ ςτα ερωτόματα των χρηςτών. 61

67 Εκτόσ από τουσ παραδοςιακούσ θηςαυρούσ ςυνωνύμων ό ςχετικών όρων και φρϊςεων, τα τελευταύα χρόνια ϋγιναν κϊποιεσ απόπειρεσ για ενςωμϊτωςη δικτύων ςημαςιολογικά ςυςχετιςμένων λημμάτων [42] ςε ςυςτόματα ανϊκτηςησ πληροφορύασ. Σο πλεονϋκτημα των ςημαςιολογικών δικτύων ϋναντι των θηςαυρών ςυνωνύμων εύναι πώσ τα πρώτα περιλαμβϊνουν επιπλϋον ςημαςιολογικϋσ ςχϋςεισ μεταξύ λημμϊτων πϋραν τησ ςυνωνυμύασ, π.χ. υπερωνυμύα, υπωνυμύα, μερωνυμύα κτλ., οι οπούεσ ςυμβϊλλουν ςτην ανϊκτηςη ςχετικόσ με το ερώτημα του χρόςτη πληροφορύασ. Η ανϊγκη για χρόςη τϋτοιων πόρων προϋκυψε ϋπειτα από τη διαπύςτωςη πωσ ςτουσ θηςαυρούσ ςυνωνύμων η μόνη ςημαςιολογικό ςυςχϋτιςη που δηλώνεται μεταξύ λημμϊτων εύναι αυτό τησ ςυνωνυμύασ. Ψςτόςο, όροι μπορεύ να ςχετύζονται μεταξύ τουσ και με ϊλλου εύδουσ ςημαςιολογικϋσ ςχϋςεισ. Φαρακτηριςτικό εύναι το παρϊδειγμα που αναφϋρουν οι Jing και Tzoukermann [43], ςύμφωνα με το οπούο ο όροσ «τρϊπεζα» μπορεύ να ςυνεμφανύζεται ςε κϊποιο κεύμενο με τον όρο «χρόματα» και με τον όρο «δϊνειο» ςε κϊποιο ϊλλο. Αν οι όροι «χρόματα» και «δϊνειο» ςυνδϋονται με κϊποιου εύδουσ ςημαςιολογικό ςυςχϋτιςη, τότε εύναι πιο εύκολο να καταλόξουμε πωσ ο όροσ «τρϊπεζα» και ςτισ δυο περιπτώςεισ ϋχει παρόμοια ερμηνεύα και αναφϋρεται ςτην οικονομικό επιχεύρηςη ό οργανιςμό και όχι ςτο κτύριο ό ςτην «αγύα τρϊπεζα» που βρύςκεται ςτο ιερό εκκληςιών. Μια τϋτοια ςημαςιολογικό ςχϋςη εκφρϊζεται κυρύωσ μϋςω δικτύων ςημαςιολογικών ςυςχετύςεων, παρϊ μϋςω παραδοςιακών θηςαυρών. ε πειραματικϋσ εφαρμογϋσ που χρηςιμοποιόθηκε ϋνασ ςυνδυαςμόσ ςημαςιολογικϊ ςυςχετιςμϋνων λημμϊτων του WordNet για τη διεύρυνςη ερωτημϊτων διαπιςτώθηκε πώσ τα δύκτυα ςημαςιολογικών ςυςχετύςεων βελτιώνουν την ακρύβεια τησ ανακτηθεύςασ πληροφορύασ μόνο ςε περιπτώςεισ όπου τα ερωτόματα των χρηςτών αποτελούνται από ϋναν όρο (single-term queries). Αντύθετα, όταν τα ερωτόματα αποτελούνται από φρϊςεισ, η διεύρυνςό τουσ καθύςταται δύςκολη και αναποτελεςματικό με τη χρόςη ςημαςιολογικών δικτύων. Σούτο εξηγεύται από το γεγονόσ πωσ τϋτοια δύκτυα περιλαμβϊνουν επύ το πλεύςτον ςυςχετύςεισ μεταξύ μεμονωμϋνων όρων και όχι φρϊςεων. 62

68 ΚΕΥΑΛΑΙΟ 6 - ΣΟ ΗΜΑΙΟΛΟΓΙΚΟ ΔΙΚΣΤΟ WordNet 6.1 Ειςαγωγή Ϊνασ κρύςιμοσ παρϊγοντασ που καθορύζει την αποτελεςματικότητα των ςυςτημϊτων ανϊκτηςησ πληροφορύασ εύναι η απόδοςη των μηχανιςμών αναζότηςησ των ερωτημϊτων των χρηςτών ςτο ςύνολο των δεικτοδοτημϋνων κειμϋνων. Ιδιαύτερα ςτην περύπτωςη των δικτυακών μηχανών αναζότηςησ, όπου το πλόθοσ και η ανομοιογϋνεια τόςο των πηγών πληροφόρηςησ που αποθηκεύονται ςε αυτϋσ όςο και των χρηςτών τουσ εύναι ςημαντικό, γύνεται επιτακτικό η ανϊγκη δημιουργύασ αποτελεςματικών μηχανιςμών αναζότηςησ πληροφορύασ. Όπωσ αναφϋραμε και ςτο 3ο Κεφϊλαιο, βαςικό λειτουργύα των μηχανιςμών αναζότηςησ εύναι, δοθϋντοσ ενόσ ερωτόματοσ διατυπωμϋνο ςε φυςικό γλώςςα, να το επεξεργαςτούν με τρόπο κατϊλληλο και με βϊςη αυτό, να εντοπύςουν από ϋνα ςύνολο δεικτοδοτημϋνων κειμϋνων τα κεύμενα αυτϊ που περιλαμβϊνουν πληροφορύα ςχετικό με το υφιςτϊμενο ερώτημα. Σο γεγονόσ πώσ μια λϋξη ϋχει κατϊ κανόνα περιςςότερεσ από μια ςημαςύεσ (πολυςημύα) [44] ειςϊγει την ανϊγκη για το ςημαςιολογικό ςχολιαςμό των κειμϋνων που δεικτοδοτούνται, προκειμϋνου να αντιμετωπιςτεύ το πρόβλημα τησ ςημαςιολογικόσ αποςαφόνιςησ (word sense disambiguation), δηλαδό τησ επιλογόσ εκεύνησ τησ ςημαςύασ που ταιριϊζει με το περιβϊλλον εμφϊνιςησ τησ λϋξησ. την περύπτωςη του Παγκόςμιου Ιςτού, όπου το πλόθοσ των κειμϋνων που δεικτοδοτούνται μεταβϊλλεται δυναμικϊ, εύναι αδύνατο να εφαρμόςουμε κανόνεσ ςυνϊφειασ για την επύλυςη τησ ςημαςιολογικόσ αςϊφειασ. Προσ αυτό την κατεύθυνςη, ϋχουν γύνει απόπειρεσ ενςωμϊτωςησ γλωςςολογικών πόρων ςε δικτυακϋσ μηχανϋσ αναζότηςησ με κύριο ςτόχο τη ςημαςιολογικό αποςαφόνιςη των ερωτημϊτων που διατυπώνονται από τουσ χρόςτεσ και των δεικτοδοτημϋνων κειμϋνων. Μια τϋτοια προςπϊθεια αφορϊ ςτην ενςωμϊτωςη ενόσ δικτύου ςημαςιολογικών ςυςχετύςεων (WordNet) ς ϋνα ςύςτημα ανϊκτηςησ πληροφορύασ για την Αγγλικό. Ο ρόλοσ του WordNet ςτη ςημαςιολογικό αποςαφόνιςη εςτιϊζεται ςτην εκτεταμϋνη χρόςη ςημαςιολογικών ςυςχετύςεων μεταξύ των λημμϊτων, ενώ δεν παρϋχει καμύα πληροφορύα για το περιβϊλλον εμφϊνιςησ των όρων. Πρώιμα πειρϊματα που ϋγιναν προσ αυτό την κατεύθυνςη αποδεικνύουν πωσ το WordNet εύναι χρόςιμο για την επύλυςη τησ ςημαςιολογικόσ αςϊφειασ ςτην ανϊκτηςη πληροφορύασ, όταν η επιλογό των ςημαςιολογικϊ ςυςχετιςμϋνων λημμϊτων για την αποςαφόνιςη των ερωτημϊτων γύνεται χειρωνακτικϊ και όχι αυτόματα [45]. την ενότητα αυτό θα αναλυθεύ το λεξικό WordNet που χρηςιμοποιόθηκε ςτη Μετϊ- Μηχανό Αναζότηςησ WordNet meta-search engine για τον καθοριςμό των ςημαςιολογικών ςυςχετύςεων μεταξύ των λημμϊτων του ερωτόματοσ του χρόςτη. Σο ςύςτημα χρηςιμοποιεύ το αγγλικό λεξικό όρων WordNet [46, 47, 48, 49], το οπούο εύναι ευρϋωσ διαδεδομϋνο ςτον τομϋα τησ ανϊκτηςησ πληροφορύασ. 63

69 6.2 Ιςτορική Αναδρομή Σο WordNet όταν το πρώτο ςημαςιολογικό δύκτυο το οπούο αναπτύχθηκε για την αγγλικό γλώςςα από το πανεπιςτόμιο του Princeton [50] μϋςω του οπούου επιχειρεύται η ςυςχϋτιςη λημμϊτων γενικού λεξιλογύου με τη χρόςη γλωςςολογικών ςυςχετύςεων. Οι υφιςτϊμενεσ ςυςχετύςεισ προκύπτουν από την κατϊλληλη επεξεργαςύα ηλεκτρονικών ερμηνευτικών λεξικών (machine readable dictionaries) και ςωμϊτων κειμϋνων [51]. Επιπλϋον, αναπτύχθηκε ςχετικϊ πρόςφατα ϋνα πολυγλωςςικό δύκτυο ςημαςιολογικών ςυςχετύςεων για τισ γλώςςεσ τησ Δυτικόσ Ευρώπησ, το EuroWordNet [52], το οπούο επιχειρεύ τη ςύνδεςη των αντύςτοιχων μονόγλωςςων ςημαςιολογικών δικτύων μϋςω ενόσ ευρετηρίου διαςύνδεςησ γλωςςών (Inter-Lingual-Index) [53]. Σο ευρετόριο διαςύνδεςησ περιλαμβϊνει αγγλικϋσ λϋξεισ, ςυνδεδεμϋνεσ με ςχϋςεισ ιςοδυναμύασ με τισ αντύςτοιχεσ λϋξεισ που ϋχουν καταχωρηθεύ ςτα μονόγλωςςα ςημαςιολογικϊ δύκτυα, διευκολύνοντασ την πλοόγηςη από ϋνα μονόγλωςςο δύκτυο προσ κϊποιο ϊλλο. Μια ακόμη προςπϊθεια πολυγλωςςικού δικτύου ςημαςιολογικών ςυςχετύςεων ϋχει γύνει επύςησ από το Εργαςτόριο Εκπαιδευτικόσ και Γλωςςικόσ Σεχνολογύασ του Πανεπιςτημύου Αθηνών, του Σμόματοσ Πληροφορικόσ και Σηλεπικοινωνιών, γνωςτό ωσ LinktoWordnet. Σο οπούο δύνει τη δυνατότητα ςτο χρόςτη να αναζητεύ λεξιλογικϋσ πληροφορύεσ που παρϋχονται από την ηλεκτρονικό λεξιλογικό βϊςη δεδομϋνων του WordNet και υποςτηρύζει τισ γλώςςεσ Αγγλικϊ, Ελληνικϊ, Ρουμϊνικα, Βουλγϊρικα και ϋρβικα. Σϋλοσ, με πρωτοβουλύα του Πανεπιςτημύου Πατρών ϋχει ξεκινόςει μια ςημαντικό προςπϊθεια δημιουργύασ ενόσ αντύςτοιχου ςημαςιολογικού δικτύου για τισ βαλκανικϋσ γλώςςεσ, γνωςτό ωσ BalkaNet [54], το οπούο ακολουθεύ ςε γενικϋσ γραμμϋσ την αρχιτεκτονικό του EuroWordNet παρϊ τισ επιμϋρουσ διαφοροποιόςεισ που παρουςιϊζει ςε επύπεδο υλοπούηςησ και τεχνολογικόσ υποδομόσ. 6.3 WordNet Μια online λεξικογραφική Βάςη Δεδομένων Σα ςημαςιολογικϊ δύκτυα (WordNets) αποτελούν μια μορφό ηλεκτρονικών λεξικών, ςτα οπούα καταχωρύζεται ςημαςιολογικό (θηςαυρικό) πληροφορύα για τα λόμματα που περιλαμβϊνουν. Οι ϋννοιεσ των λϋξεων ςε μια γλώςςα μπορούν να διαςυνδεθούν με τη βοόθεια των ςημαςιολογικών ςχϋςεων, αποτελώντασ ϋνα δύκτυο εννοιών, όπωσ εύναι το WordNet. Σο WordNet εύναι ϋνα ςημαςιολογικό δύκτυο για την Αγγλικό γλώςςα. Σο οπούο ομαδοποιεύ όρουσ τησ Αγγλικόσ γλώςςασ ςε ςύνολα ςυνωνύμων που ονομϊζονται synsets. Παρϋχει ςύντομεσ, γενικϋσ περιγραφϋσ των όρων και καταγρϊφει τισ ςημαςιολογικϋσ ςχϋςεισ μεταξύ των όρων των ςυγκεκριμϋνων ςυνόλων ςυνωνύμων (synsets). Ο ςτόχοσ του εύναι διπλόσ: 1. να δημιουργηθεύ ϋνασ ςυνδυαςμόσ λεξικού και θηςαυρού ςυνωνύμων ο οπούοσ θα εύναι εύκολα χρηςιμοποιόςιμοσ και 2. να θεμελιωθεύ η βϊςη για την δημιουργύα εφαρμογών αυτόματησ ανϊλυςησ κειμϋνου (automatic text analysis) αλλϊ και να υποςτηρύξει εφαρμογϋσ τεχνητόσ νοημοςύνησ (artificial intelligence). Η βϊςη δεδομϋνων του WordNet και τα εργαλεύα λογιςμικού που το υλοποιούν εύναι προγρϊμματα ανοιχτού κώδικα και διανϋμονται δωρεϊν. Με αποτϋλεςμα το WordNet να μπορεύ να χρηςιμοποιηθεύ ωσ ανεξϊρτητο ηλεκτρονικό λεξικό από τουσ χρόςτεσ, να ςυνδεθεύ με ϊλλεσ προγραμματιςτικϋσ εφαρμογϋσ από προγραμματιςτϋσ, αλλϊ επύςησ και να μπορεύ να δεχθεύ επϋκταςη των όδη υπαρχουςών λειτουργιών του. Επύςησ, μπορεύ κανεύσ εύκολα να πλοηγηθεύ on-line ςτη λεξικογραφικό βϊςη δεδομϋνων του μϋςω του Διαδικτύου. Σο δύκτυο WordNet που αποτελεύται από νοηματικϊ ςχετιζόμενεσ λϋξεισ και ϋννοιεσ, μπορεύ να προςπελαςτεύ από ϋνα browser. Ο browser του WordNet διαθϋτει ϋνα γραφικό περιβϊλλον για λειτουργύα ωσ ϋνα ανεξϊρτητο ηλεκτρονικό λεξικό και παρουςιϊζεται ςτην παρακϊτω εικόνα. 64

70 Εικόνα 6-1: Σο γραφικό περιβϊλλον του WordNet Παρακϊτω ορύζουμε μερικούσ όρουσ οι οπούοι μασ βοηθούν ςτην κατανόηςη των ςχϋςεων που υπϊρχουν μεταξύ των λϋξεων ςτο WordNet καθώσ επύςησ και τησ δομόσ και τησ λειτουργύασ του. #Synset: Εύναι ϋνα ςύνολο ςυνωνύμων, δηλαδό ϋνα ςύνολο λϋξεων οι οπούεσ ςε ϋνα ςυγκεκριμϋνο περιβϊλλον μπορούν να χρηςιμοποιηθούν η μύα ςτη θϋςη τησ ϊλλησ. Κϊθε synset ςυνοδεύεται από ϋνα gloss. #Gloss: Εύναι ο επεξηγηματικόσ οριςμόσ και/ό παρϊδειγμα προτϊςεων για ϋνα synset. Για παρϊδειγμα το ςύνολο {car, auto, automobile, machine, motorcar} αποτελεύ ϋνα synset, με gloss: 4-wheeled motor vehicle; usually propelled by an internal combustion engine. #Sense: Εύναι μια ϋννοια μιασ λϋξησ ςτο WordNet. Κϊθε sense μιασ λϋξησ εντϊςςεται ςε διαφορετικό synset. #SenseKey: Αποτελεύ το κλειδύ μιασ ϋννοιασ, εύναι η απαραύτητη πληροφορύα για να βρεθεύ μια ϋννοια ςτην βϊςη δεδομϋνων του WordNet. #Lemma: εύναι η λϋξη γραμμϋνη ςε ϋνα ASCII κεύμενο με μικρϊ γρϊμματα όπωσ εύναι καταγεγραμμϋνη ςτα αρχεύα ευρετηρύου τησ βϊςησ δεδομϋνων του WordNet. Ϊτςι κϊθε Lemma αντιςτοιχεύ ςε μια ακριβώσ λϋξη που την περιγρϊφει μονοςόμαντα. #Lexical pointer: ϋνασ λεξικόσ δεύκτησ δηλώνει τη ςχϋςη μεταξύ λϋξεων ςτα synsets (μορφϋσ λϋξεων) 65

71 #PartOfSpeech: Σο WordNet ορύζει το μϋροσ του λόγου μιασ λϋξησ ωσ ουςιαςτικό (noun), ρόμα (verb), επύθετο (adjective) ό επύρρημα (adverb). Μύα λϋξη μπορεύ να αντιςτοιχεύ ςε περιςςότερα από ϋνα μϋρη του λόγου. #Collocation: εύναι ϋνα String που αποτελεύται από δύο ό περιςςότερεσ λϋξεισ, τισ οπούεσ όμωσ νοηματικϊ τισ αντιμετωπύζουμε ςαν μύα ϋννοια (πχ take in, fountain pen, κλπ). Σο WordNet αποτελεύται από αρχεύα με όρουσ και εύναι προγραμματιςμϋνο με τϋτοιο τρόπο, ώςτε να μπορεύ να μετατρϋψει τα αρχεύα αυτϊ ςε μια βϊςη δεδομϋνων. Επύςησ περιλαμβϊνει και ϋτοιμεσ ρουτύνεσ αναζότηςησ και κατϊλληλη διεπαφό χρόςησ, την οπούα μπορεύ να χρηςιμοποιόςει κϊποιοσ, για να δει πληροφορύεσ από τη βϊςη δεδομϋνων του λεξικού. Σα αρχεύα όρων οργανώνουν ουςιαςτικϊ, ρόματα, επιρρόματα, αντωνυμύεσ και επύθετα ςε ομϊδεσ ςυνωνύμων. Κατϊλληλοσ κώδικασ μετατρϋπει τα αρχεύα αυτϊ ςε μια βϊςη δεδομϋνων, η οπούα κρατϊει κωδικοποιημϋνεσ τισ ςχϋςεισ μεταξύ των ομϊδων ςυνωνύμων. Οι ςχϋςεισ μεταξύ των ομϊδων γύνονται ορατϋσ με κατϊλληλεσ ρουτύνεσ που προςφϋρονται ϋτοιμεσ από το λεξικό. Σο WordNet δημιουργόθηκε και ακόμα ςυντηρεύται από το εργαςτόριο Γνωςτικόσ Επιςτόμησ του Πανεπιςτημύου Πρύνςτον (Cognitive Science Laboratory, Princeton University), κϊτω από την καθοδόγηςη του καθηγητό ψυχολογύασ George Miller. Η υλοπούηςη του ξεκύνηςε το Με την πϊροδο των χρόνων η εργαςύα ϋλαβε περύπου τρύα εκατομμύρια δολϊρια χρηματοδότηςη κυρύωσ από κυβερνητικϋσ υπηρεςύεσ που ενδιαφερόντουςαν για μηχανικό μετϊφραςη. Παρόλα αυτϊ την τελευταύα δεκαετύα το WordNet αποδεύχτηκε πολύ χρόςιμη πηγό για αυτοματοποιημϋνη επεξεργαςύα τησ φυςικόσ γλώςςασ. τα πρόςφατα χρόνια η ανϊπτυξη του WordNet επιβλϋπεται από την Christiane Fellbaum. Από το 2006 και μετϊ, η βϊςη δεδομϋνων του WordNet περιλαμβϊνει περύπου λϋξεισ που οργανώνονται ςε πϊνω από synsets, ςχηματύζοντασ ζεύγη λϋξεωνεννοιών. ε ςυμπιεςμϋνη μορφό η βϊςη δεδομϋνων καταλαμβϊνει περύπου 12 Megabytes ςε μϋγεθοσ. Σεχνικϊ το WordNet εύναι ϋνασ ηλεκτρονικόσ θηςαυρόσ, ορύζοντασ μεγϊλα ςύνολα εννοιών λϋξεων, διαςυνδεόμενα με ςημαςιολογικούσ δεύκτεσ. Η λογικό δομό του WordNet φαύνεται ςτην Εικόνα 6-2. Εικόνα 6-2: Η λογικό δομό του WordNet 66

72 Οι ϋννοιεσ λϋξεων διαςυνδϋονται με φόρμεσ λϋξεων που μπορούν να τισ εκφρϊςουν. Μπορούμε να δούμε ςτην εικόνα ότι η ςχϋςη μεταξύ φορμών λϋξεων και εννοιών λϋξεων εύναι, ότι οι φόρμεσ λϋξεων μπορούν να ϋχουν πολλϋσ ϋννοιεσ, και πολλϋσ φόρμεσ λϋξεων μπορούν να αναφϋρονται ςε πολλϋσ ϋννοιεσ. Σο πρώτο φαινόμενο ονομϊζεται πολυςημία και το δεύτερο ςυνωνυμία. Η αντιμετώπιςη μιασ τϋτοιασ αμφιςημύασ τησ φυςικόσ γλώςςασ εύναι η πρόκληςη κλειδύ ςτην αυτοματοποιημϋνη επεξεργαςύα τησ φυςικόσ γλώςςασ. Σο WordNet διαχωρύζει τισ λϋξεισ ςε επύθετα, ουςιαςτικϊ, ρόματα και επιρρόματα γιατύ ακολουθούν διαφορετικούσ γραμματικούσ κανόνεσ. Κϊθε synset περιϋχει ϋνα ςύνολο ςυνώνυμων λϋξεων ό ακολουθιών λϋξεων (collocations ακολουθύεσ λϋξεων που μαζύ ςχηματύζουν μια ςυγκεκριμϋνη ϋννοια, όπωσ «car pool ). Σα synsets λοιπόν, θεωρούμε ότι αποτελούνται από λόμματα με ςυνώνυμεσ ερμηνεύεσ τισ οπούεσ θεωρούμε ιςοδύναμεσ, υπό την ϋννοια πωσ μπορεύ να αντικαταςτόςει η μύα την ϊλλη ςε οποιαδόποτε πρόταςη χωρύσ να μεταβϊλλει το νόημϊ τησ. Διαφορετικϋσ ϋννοιεσ τησ ύδιασ λϋξησ βρύςκονται ςε διαφορετικϊ synsets. Κϊθε synset ςυνοδεύεται και από ϋναν επεξηγηματικό οριςμό ο οπούοσ ονομϊζεται gloss. Ϊνα τυπικό παρϊδειγμα ενόσ synset με gloss εύναι ςτην αγγλικό γλώςςα το ςύνολο {good, right, ripe} το οπούο αποτελεύ ϋνα ςύνολο ςυνώνυμων με οριςμό: most suitable or right for a particular purpose. Σα περιςςότερα synsets ςυνδϋονται με ϊλλα synset μϋςω ενόσ αριθμού ςημαςιολογικών ςχϋςεων (semantic relations). Αυτϋσ οι ςχϋςεισ εξαρτώνται από τον τύπο τησ λϋξησ που περιλαμβϊνουν: Ουςιαςτικά (nouns): Τπερώνυμα (hypernyms): Ο όροσ Τ εύναι υπερώνυμο του όρου Φ αν κϊθε Φ εύναι εξειδύκευςη (εύδοσ) του (kind of) Τ. Παρϊδειγμα: το φρούτο (fruit) εύναι υπερώνυμο του μόλου (apple). Τπώνυμα (hyponyms): Ο όροσ Τ εύναι υπώνυμο του όρου Φ αν κϊθε Τ εύναι εξειδύκευςη (εύδοσ) του (kind of) Φ. Παρϊδειγμα: το μόλο (apple) εύναι υπώνυμο του φρούτου (fruit). υνεργατικοί όροι (coordinate terms): Ο όροσ Τ εύναι ςυνεργατικόσ όροσ του Φ αν οι Φ και Τ ϋχουν ϋνα κοινό υπερώνυμο. Παρϊδειγμα: ο λύκοσ (wolf) εύναι ςυνεργατικόσ όροσ με το ςκύλο (dog) και αντύςτροφα. Ολώνυμο (holonym): Ο όροσ Τ εύναι ολώνυμο του Φ αν ο Φ εύναι μϋροσ του Τ (part of). Παρϊδειγμα: Σο κτόριο (building) εύναι ολώνυμο του παραθύρου (window). Μερώνυμο (meronym): Ο όροσ Τ εύναι μερώνυμο του Φ αν ο Τ εύναι μϋροσ του Φ (part of). Παρϊδειγμα: Σο παρϊθυρο (window) εύναι μερώνυμο του κτηρύου (building). Ρήματα (verbs): Τπερώνυμο (hypernym): Σο ρόμα Τ εύναι υπερώνυμο του ρόματοσ Φ αν η δραςτηριότητα που υποδηλώνει το Φ εύναι εξειδύκευςη τησ δραςτηριότητασ του Τ. Παρϊδειγμα: το ρόμα ταξιδεύω (travel) εύναι υπερώνυμο του ρόματοσ κινούμαι (move). Σροπώνυμο (troponym): Σο ρόμα Τ εύναι τροπώνυμο του ρόματοσ Φ αν η δραςτηριότητα του Τ κϊνει τη δραςτηριότητα του Φ κατϊ κϊποιο τρόπο. Παρϊδειγμα: το ρόμα ψευδύζω (lisp) εύναι τροπώνυμο του ρόματοσ μιλϊω (talk). 67

73 υνεργατικοί όροι (coordinate terms): Σα ρόματα που ϋχουν κοινό υπερώνυμο. Παρϊδειγμα: το ρόμα ψευδύζω (lisp) εύναι ςυνεργατικόσ όροσ με το ρόμα φωνϊζω (yell). υνεπαγωγή (entailment): Σο ρόμα Τ ςυνεπϊγεται από το Φ αν κϊνοντασ τη δραςτηριότητα του Φ πρϋπει να κϊνουμε και του Τ. Παρϊδειγμα: το ρόμα κοιμϊμαι (sleep) εύναι ςυνεπαγωγό του ρόματοσ ροχαλύζω (snore). Επίθετα (adjectives): χετικά ρήματα Μετοχή ρήματοσ Όμοιο με Επιρρήματα (adverbs): Ρίζα επιρρημάτων Οι ςημαςιολογικϋσ ςχϋςεισ ιςχύουν για όλα τα μϋλη ενόσ synset, επειδό μοιρϊζονται ϋνα νόημα, και εύναι εξύςου ςυνώνυμα. Οι λϋξεισ εκτόσ από τισ παραπϊνω ςχϋςεισ μπορεύ να ςυνδϋονται με ϊλλεσ λϋξεισ μϋςω και ϊλλων ςχϋςεων όπωσ οι ςχϋςεισ «αντωνυμίασ». τον Πύνακα 6-1 αναφϋρονται επιπρόςθετοι δεύκτεσ που χρηςιμοποιούνται, για να υποδεύξουν ϊλλεσ ςχϋςεισ μεταξύ των «synsets». Πίνακασ 6-1: ημαςιολογικϋσ ςχϋςεισ λεξικού WordNet Σο WordNet επύςησ παρϋχει τη μϋτρηςη πολυςημύασ (polysemy count) μιασ λϋξησ. Πρόκειται για τον αριθμό των synset που περιϋχουν τη λϋξη. Αν μύα λϋξη ςυμμετϋχει ςε περιςςότερα του ενόσ synset (δηλαδό ϋχει περιςςότερεσ από μύα ϋννοιεσ) τότε τυπικϊ κϊποιεσ ϋννοιεσ εύναι πολύ πιο ςυνηθιςμϋνεσ από ϊλλεσ. Σο WordNet το ποςοτικοποιεύ αυτό μϋςω του ςκορ ςυχνότητασ (frequency score). ε αυτό αρκετϊ δεύγματα κειμϋνων ϋχουν όλεσ τισ λϋξεισ ςημαςιολογικϊ επιςημειωμϋνεσ με το αντύςτοιχο synset και ςτη ςυνϋχεια παρϋχεται μύα μϋτρηςη που δεύχνει πόςο ςυχνϊ εμφανύζεται μια λϋξη με μύα ςυγκεκριμϋνη ϋννοια. 68

74 Σα ρόματα και τα ουςιαςτικϊ οργανώνονται κυρύωσ ςε ιεραρχύεσ βαςιςμϋνεσ ςτισ ςχϋςεισ υπερωνύμων και υπωνύμων μεταξύ των synsets. Σα επύθετα οργανώνονται ςε ομϊδεσ, οι οπούεσ περιϋχουν ϋνα επικεφαλό «synset» και διϊφορα περιφερειακϊ «synsets». Κϊθε τϋτοια ομϊδα οργανώνεται γύρω από ζευγϊρια αντωνύμων ό αλλιώσ αντιθϋτων. Σα επιρρόματα ϋχουν παρόμοια δομό με αυτό των επιθϋτων μιασ και κυρύωσ προϋρχονται ωσ όροι από κϊποιο επύθετο. Για παρϊδειγμα, η πρώτη ϋννοια τησ λϋξησ ςκύλοσ (dog) θα εύχε την ακόλουθη ιεραρχύα υπερωνύμων: Οι λϋξεισ ςτο ύδιο επύπεδο εύναι ςυνώνυμεσ. Κϊποια ϋννοια του ςκύλου εύναι ςυνώνυμη με ϊλλεσ ϋννοιεσ όπωσ του οικόςιτου ςκύλου και ούτω καθεξόσ. Κϊθε synset ϋχει ϋνα μοναδικό ευρετόριο και μοιρϊζεται τισ ιδιότητεσ του, όπωσ το καθοριςμϋνο gloss. Εικόνα 6-3: Παρϊδειγμα ιεραρχύασ υπερωνύμων τησ λϋξησ dog ςτο WordNet Ωλλο ϋνα παρϊδειγμα ενόσ synset που αντιςτοιχεύ ςτη λϋξη blues θα εύχε την υπερωνυμύα που φαύνεται ςτην παρακϊτω εικόνα. Σο WordNet ορύζει τη λϋξη blues ςαν «ϋνα εύδοσ παραδοςιακού τραγουδιού που ξεκύνηςε από τουσ Μαύρουσ Αμερικανούσ ςτην αρχό του 20ού αιώνα, το οπούο ϋχει ϋναν μελαγχολικό όχο από επαναλαμβανόμενη χρόςη από blues νότεσ». Εικόνα 6-4: Παρϊδειγμα ιεραρχύασ υπερωνύμων τησ λϋξησ blues ςτο WordNet 69

75 Ϊνα τρύτο παρϊδειγμα που αντιςτοιχεύ ςε δύο κύρια (βαπτιςτικϊ) ονόματα HENRY και JOHN ςτο WordNet, θα εύχε τισ παρακϊτω ςχϋςεισ υπερωνυμύασ. το WordNet τα περιληφθϋντα κύρια ονόματα ςυνδϋονται ςυχνότερα με ιςτορικϋσ παρϊ με ςύγχρονεσ καθημερινϋσ οντότητεσ, οι οπούεσ ςυναντώνται ςτα ςύγχρονα κεύμενα. Εικόνα 6-5: Παρϊδειγμα ιεραρχύασ υπερωνύμων δυο κύριων ονομϊτων ςτο WordNet την ςυνϋχεια παρουςιϊζουμε ϋνα ςτιγμιότυπο του ςημαςιολογικού δικτύου WordNet ώςτε να περιγρϊψουμε με μεγαλύτερη ςαφόνεια την εςωτερικό δομό του. το παρϊδειγμα αυτό θα παρουςιϊςουμε ϋνα ςύνολο ιεραρχικϊ δομημϋνων κόμβων του δικτύου. Κϊθε ςύνολο ςυνώνυμων όρων (synset) αποτελεύ ϋνα κόμβο ςτο WordNet, ο οπούοσ ςυνδϋεται με τα υπόλοιπα ςύνολα με ςημαςιολογικϋσ ςχϋςεισ. Η ιεραρχύα βαςύζεται ςτισ ςχϋςεισ υπερωνυμύασυπωνυμύασ μεταξύ των synsets. Με παρόμοιο τρόπο δομεύται και η ιεραρχύα με βϊςη τισ ςχϋςεισ ολωνυμύασ-μερωνυμύασ. ε κϊθε ςύνολο ςυνώνυμων όρων (synset) αντιςτοιχύζεται ϋνα αναγνωριςτικό synset, το οπούο ονομϊζεται synset_id, ϋνα gloss, καθώσ και ϋνα ςύνολο ςυνώνυμων όρων. Για παρϊδειγμα ο κόμβοσ 2 ςτο γρϊφο αντιςτοιχεύ ςτην ϋννοια με synset_id = , με gloss: «the process of producing images of objects on photosensitive surfaces» και με ςύνολο όρων {photography}. Εικόνα 6-6: τιγμιότυπο ημαςιολογικού Δικτύου WordNet 70

76 τουσ παρακϊτω πύνακεσ βλϋπουμε τα ςτοιχεύα για τουσ 4 κόμβουσ που ϋχουμε επιςημϊνει με νούμερα ςτην παραπϊνω εικόνα. Πίνακασ 6-2: Κόμβοσ 1 του τιγμιότυπου του WordNet Πίνακασ 6-3: Κόμβοσ 2 του τιγμιότυπου του WordNet Πίνακασ 6-4: Κόμβοσ 3 του τιγμιότυπου του WordNet Πίνακασ 6-5: Κόμβοσ 4 του τιγμιότυπου του WordNet Από τα παραπϊνω μπορούμε να παρατηρόςουμε τα εξόσ: Οι κόμβοι 4 και 2 ϋχουν ϋνα κοινό όρο {scanning}, που όμωσ χρηςιμοποιεύται με διαφορετικό νόημα καθώσ ϋχει διαφορετικό synset_id. Οι όροι «reproduction» και «replication» εύναι ςυνώνυμα και ϊρα αντιςτοιχούν ςτο ύδιο synset_id. την επόμενη εικόνα παρουςιϊζεται μια πιθανό αναπαρϊςταςη του ςυνόλου ςυνωνύμων που περιλαμβϊνουν τουσ όρουσ mouse (ποντύκι) που μπορεύ να αναφϋρεται εύτε ςτο γνωςτό τρωκτικό εύτε ςτη γνωςτό περιφερειακό ςυςκευό ενόσ υπολογιςτό. Ο ςυγκεκριμϋνοσ όροσ εμφανύζεται ςτο WordNet ςε διαφορετικϊ synsets, ανϊλογα με τισ ερμηνεύεσ τισ οπούεσ ϋχει. 71

77 Εικόνα 6-7: χϋςεισ synsets που περιλαμβϊνουν τον όρο mouse ςτο WordNet Ο ςκοπόσ του ςημαςιολογικού δικτύου WordNet όταν να αναπτύξει ϋνα ςύςτημα το οπούο θα όταν ςυνεπϋσ με τη γνώςη που κατακτϊται με την πϊροδο των χρόνων ςχετικϊ με το πώσ οι ϊνθρωποι επεξεργϊζονται τη γλώςςα. Η απόφαςη για διαμοιραςμό των μερών του λόγου ςε διακριτϋσ ιεραρχύεσ φαύνεται καλϊ μελετημϋνη παρϊ τυχαύα. την περύπτωςη των υπωνυμιών, ψυχολογικϊ πειρϊματα ϋδειξαν ότι τα ϊτομα μπορούν να κατανοόςουν ουςιαςτικϊ πολύ γρηγορότερα ανϊλογα με το αν γύνεται ϋνα χαρακτηριςτικό κυριαρχούςα ιδιότητα. Με ϊλλα λόγια, τα ϊτομα μπορούν να επαληθεύςουν γρόγορα ότι τα καναρύνια μπορούν να τραγουδόςουν επειδό ϋνα καναρύνι εύναι ϋνα ωδικό πτηνό (ϋνα επύπεδο υπωνυμύασ). Φρειϊζονται όμωσ λύγο περιςςότερο χρόνο για να επαληθεύςουν ότι τα καναρύνια μπορούν να πετϊξουν (δύο επύπεδα υπωνυμιών) και ακόμα περιςςότερο για να επαληθεύςουν ότι τα καναρύνια ϋχουν δϋρμα (πολλϊ επύπεδα υπωνυμιών). Αυτό δεύχνει ότι και οι ϊνθρωποι αποθηκεύουν ςημαςιολογικό πληροφορύα με ϋνα τρόπο που μοιϊζει κατϊ πολύ με το WordNet. Αντύθετα με ϊλλα λεξικϊ, το WordNet δεν περιϋχει πληροφορύα ςχετικό με την ετυμολογύα και την προφορϊ τησ λϋξησ, αλλϊ περιϋχει μόνο περιοριςμϋνη πληροφορύα για τη χρόςη τησ. Η πραγματικό λεξικογραφικό και ςημαςιολογικό πληροφορύα διατηρεύται ςε λεξικογραφικϊ αρχεύα, που επεξεργϊζονται από ϋνα εργαλεύο ονόματι grind για την παραγωγό τησ κατανεμημϋνησ βϊςησ δεδομϋνων. Σόςο το grind όςο και τα λεξικογραφικϊ αρχεύα εύναι ελεύθερα προσ χρόςη, αλλϊ η τροποπούηςη και διατόρηςη τησ βϊςησ δεδομϋνων απαιτεύ ειδικϋσ γνώςεισ. Αν και το WordNet περιϋχει μια μεγϊλη γκϊμα ςυνηθιςμϋνων/κοινών λϋξεων, δεν καλύπτει ειδικό λεξιλόγιο. Εφόςον πρωταρχικόσ του ςκοπόσ εύναι να δρα ςαν μια βϊςη δεδομϋνων για διαφορετικού εύδουσ εφαρμογϋσ, αυτϋσ οι εφαρμογϋσ δεν μπορούν να χρηςιμοποιηθούν ςε εξειδικευμϋνουσ τομεύσ, οι οπούοι δεν καλύπτονται από το λεξικό του WordNet. Σο WordNet ϋχει χρηςιμοποιηθεύ για ϋνα αριθμό διαφορετικών εφαρμογών ςτα ςύγχρονα πληροφοριακϊ ςυςτόματα. Αυτϋσ οι εφαρμογϋσ περιλαμβϊνουν: o o Αποςαφόνιςη ςημαςύασ όρων (word sense disambiguation), Ανϊκτηςη πληροφορύασ (information retrieval), 72

78 o o o o Αυτόματη κατηγοριοπούηςη κειμϋνου, Αυτόματη εξαγωγό περιλόψεων Αυτόματη δημιουργύα ςταυρολϋξων και Καθοριςμό ομοιότητασ μεταξύ λϋξεων. Ϊνα παρϊδειγμα εφαρμογόσ, η οπούα ϋκανε αποςαφόνιςη τησ ςημαςύασ των όρων του χρόςτη χρηςιμοποιώντασ το WordNet, ξεκύνηςε το 1998 ςτο Πανεπιςτόμιο Brown από τουσ Jeff Stibel, James A. Anderson και Steive Reiss. Αργότερα η ύδια εφαρμογό τροποποιόθηκε από την εταιρεύα Simpli, ςτην οπούα ςυμμετεύχε ο George Miller. Η εταιρεύα Simpli υλοπούηςε μια μηχανό αναζότηςησ, η οπούα χρηςιμοπούηςε ωσ βϊςη γνώςησ το λεξικό του WordNet για να κϊνει αποςαφόνιςη αλλϊ και διεύρυνςη/επϋκταςη των ερωτημϊτων του χρόςτη, ώςτε να τον βοηθόςει να ανακτόςει πληροφορύεσ από το διαδύκτυο online. 73

79 ΚΕΥΑΛΑΙΟ 7 - ΠΕΡΙΓΡΑΥΗ ΤΛΟΠΟΙΗΗ ΣΗ ΕΥΑΡΜΟΓΗ WordNet meta-search engine την ενότητα αυτό θα παρουςιϊςουμε μια εφαρμογό για την βελτιςτοπούηςη των ερωτημϊτων του χρόςτη προσ τη μετϊ-μηχανό αναζότηςησ, WordNet meta-search engine. τόχοσ τησ εφαρμογόσ εύναι η επιλογό επιπλϋον όρων αναζότηςησ, οι οπούοι βοηθούν τον χρόςτη ςτη διατύπωςη ερωτημϊτων που εκφρϊζουν αποτελεςματικότερα τισ πληροφοριακϋσ του ανϊγκεσ. Η εφαρμογό βαςύζεται ςτην εκμετϊλλευςη των ςημαςιολογικών ςχϋςεων που επιςτρϋφονται από τη λεξικογραφικό βϊςη δεδομϋνων τησ WordNet ςαν απϊντηςη του αρχικού ερωτόματοσ του χρόςτη. Η χρόςη του λεξικού WordNet θα βοηθόςει ςτη διεύρυνςη των ερωτημϊτων με ςημαςιολογικϊ ςυγγενεύσ όρουσ, ώςτε να ξεπεραςτούν δυςκολύεσ που αφορούν την αναντιςτοιχύα μεταξύ του λεξιλογύου του χρόςτη και του ευρετηρύου τησ μηχανόσ αναζότηςησ. 7.1 Ειςαγωγή Για την υλοπούηςη τησ εφαρμογόσ χρηςιμοποιόθηκε η ϋκδοςη Standard Edition 6 τησ Java με την προςθόκη κλϊςεων του JavaHelp System. Φρηςιμοποιόθηκε επύςησ η βϊςη δεδομϋνων τησ ϋκδοςησ 2.1 τησ WordΝet με την προςθόκη τησ βιβλιοθόκησ Java API for WordNet Searching (JAWS). Για την αποθόκευςη κϊποιων ιδιοτότων αλλϊ και ςτοιχεύων ςελύδων χρηςιμοποιόθηκε μύα απλό βϊςη δεδομϋνων mysql. Για τη διαςύνδεςη τησ βϊςησ αυτόσ με τη java απαραύτητη εύναι η προςθόκη του Connector/J του οπούου χρηςιμοποιόθηκε η ϋκδοςη Οι μηχανϋσ αναζότηςησ των οπούων τα αποτελϋςματα χρηςιμοποιούνται εύναι οι: Google Bing Yahoo AltaVista AllTheWeb 7.2 ύςτημα Αποθήκευςησ Για την αποθόκευςη ιδιοτότων τησ εφαρμογόσ αλλϊ και τησ χρόςησ των μηχανών αναζότηςησ χρηςιμοποιόθηκε μύα πολύ απλό βϊςη δεδομϋνων Mysql που αποτελεύται από δύο πύνακεσ. Ο πρώτοσ πύνακασ engines αποτελεύται από ϋξι πεδύα, με πρώτο το πρωτεύον κλειδύ του και τα επόμενα πϋντε να αντιςτοιχούν ςτισ χρηςιμοποιούμενεσ μηχανϋσ αναζότηςησ. Κϊθε πεδύο εύναι ακϋραιου τύπου και αντιπροςωπεύει επιςκϋψεισ ςε ςελύδεσ οι οπούεσ βρϋθηκαν από τη ςυγκεκριμϋνη μηχανό αναζότηςησ. Φρηςιμοποιεύται για ϋναν πολύ απλοώκό αλγόριθμο χρόςησ των μηχανών αναζότηςησ ο οπούοσ ορύζει να γύνεται παρουςύαςη των ςτοιχεύων ανϊλογα με την πρότερη χρόςη των μηχανών. Ϊνα ςτιγμιότυπο του πύνακα αυτού βλϋπουμε ςτην επόμενη εικόνα. 74

80 Εικόνα 7-1: Πύνακασ engines τησ Βϊςησ Δεδομϋνων Ο επόμενοσ πύνακασ αποθηκεύει οποιαδόποτε ιδιότητα τησ εφαρμογόσ μπορεύ να προςαρμοςτεύ από τον χρόςτη. Με τον τρόπο αυτό, εϊν για παρϊδειγμα ο χρόςτησ χρηςιμοποιεύ την εφαρμογό ςε διαφορετικό υπολογιςτό με εγκατεςτημϋνη τη βϊςη δεδομϋνων τησ WordNet ςε ϊλλον φϊκελο από αυτόν που υποδεικνύεται, να μη χρειϊζεται κϊθε φορϊ να προςτρϋχει ςτο κατϊλληλο menu, αλλϊ να αποθηκεύει τον φϊκελο αυτό ςτη βϊςη δεομϋνων. τισ δύο παρακϊτω εικόνεσ παρουςιϊζονται ςε διαφορετικϊ ερωτόματα τα ςτοιχεύα του πύνακα. την Εικόνα 7-2 εμφανύζονται τα πεδύα που αφορούν ρυθμύςεισ που ϋχουν ςχϋςη με τισ μηχανϋσ αναζότηςησ. Σο πεδύο results_engine αφορϊ το νούμερο των επιθυμητών αποτελεςμϊτων από κϊθε μηχανό, ενώ το mergeresults ορύζει εϊν τα κοινϊ αποτελϋςματα μεταξύ μηχανών θα ςυγχωνεύονται ςε ϋνα κατϊ την παρουςύαςό τουσ. Σα επόμενα πϋντε ςτοιχεύα ορύζουν την χρόςη ό όχι τησ κϊθε μηχανόσ αναζότηςησ. Εικόνα 7-2: Πύνακασ properties τησ Βϊςησ Δεδομϋνων (1/2) τη ςυνϋχεια βλϋπουμε τα πεδύα που αφορούν τισ ρυθμύςεισ του WordNet. Σα πρώτα ϋξι πεδύα αναφϋρονται ςτον αριθμό των επιθυμητών αποτελεςμϊτων από τη βϊςη δεδομϋνων του WordNet, ενώ το πεδύο combineresults ορύζει εϊν το τυχόν επιλεγμϋνο ςτοιχεύο από τισ ςημαςιολογικϋσ ςχϋςεισ του WordNet θα χρηςιμοποιεύται ςε κϊποια αναζότηςη ςε ςυνδυαςμό με το αρχικό ερώτημα ό όχι. Σϋλοσ, το πεδύο directory, όπωσ ειπώθηκε, ορύζει το φϊκελο ςτον οπούο βρύςκεται η λεξικογραφικό βϊςη δεδομϋνων. Εικόνα 7-3: Πύνακασ properties τησ Βϊςησ Δεδομϋνων (2/2) 75

81 Η διαχεύριςη τησ βϊςησ δεδομϋνων γύνεται με τη βοόθεια του Connector/J για τη ςύνδεςό τησ με τη JAVA και υλοποιεύται ςτη κλϊςη DataBaseConnection.java που υλοποιεύ και όλα τα ερωτόματα προσ αυτόν. ε περύπτωςη που δεν υπϊρχει Mysql ςτον υπολογιςτό του χρόςτη, γύνεται και εναλλακτικϊ χρόςη αρχεύων ςτα οπούα αποθηκεύονται ακριβώσ τα ύδια ςτοιχεύα με τη βϊςη. Σα αρχεύα αυτϊ εύναι τα engineorder.in και properties.in και αν δεν υπϊρχουν ούτε αυτϊ, δημιουργούνται αυτόματα με την ϋναρξη τησ εφαρμογόσ και με εξοριςμού δεδομϋνα. Η βϊςη δεδομϋνων μπορεύ εύκολα να δημιουργηθεύ με τον επόμενο sql κώδικα που παρατύθεται και ςτο ςυνοδευτικό ψηφιακό δύςκο Δομό Πύνακα για τον Πύνακα `engines` -- CREATE TABLE IF NOT EXISTS `engines` ( `id` int(11) NOT NULL, `google` int(11) NOT NULL, `bing` int(11) NOT NULL, `yahoo` int(11) NOT NULL, `altavista` int(11) NOT NULL, `alltheweb` int(11) NOT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1; 'Αδειαςμα δεδομϋνων του πύνακα `engines` -- INSERT INTO `engines` (`id`, `google`, `bing`, `yahoo`, `altavista`, `alltheweb`) VALUES (1, 0, 0, 0, 0, 0); Δομό Πύνακα για τον Πύνακα `properties` -- CREATE TABLE IF NOT EXISTS `properties` ( `id` int(11) NOT NULL, `results_engine` int(11) NOT NULL, `mergeresults` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `google` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `bing` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `yahoo` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `altavista` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `alltheweb` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `synonymsnouns` int(11) NOT NULL, `synonymsverbs` int(11) NOT NULL, `antonymsverbs` int(11) NOT NULL, `hypernymsnouns` int(11) NOT NULL, `hypernymsverbs` int(11) NOT NULL, `hyponymsnouns` int(11) NOT NULL, 76

82 `combineresults` enum('true','false') CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, `directory` text CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL, PRIMARY KEY (`id`) ) ENGINE=MyISAM DEFAULT CHARSET=latin1; 'Αδειαςμα δεδομϋνων του πύνακα `properties` -- INSERT INTO `properties` (`id`, `results_engine`, `mergeresults`, `google`, `bing`, `yahoo`, `altavista`, `alltheweb`, `synonymsnouns`, `synonymsverbs`, `antonymsverbs`, `hypernymsnouns`, `hypernymsverbs`, `hyponymsnouns`, `combineresults`, `directory`) VALUES (1, 20, 'true', 'true', 'true', 'false', 'false', 'false', 5, 5, 5, 5, 5, 5, 'true', 'C:Program FilesWordNet2.1dict'); Εικόνα 7-4: SQL κώδικασ 7.3 Διεπαφή Φρήςτη Σο κύριο παρϊθυρο τησ εφαρμογόσ που βλϋπουμε ςτην επόμενη εικόνα υλοποιεύται από την κλϊςη WNSFrame.java ςτο οπούο αρχικοποιούνται και μύα ςειρϊ από πλαύςια. WNSMenuBar WSNMenuPanel WNSResultsPanel WNSProgressPanel Εικόνα 7-5: Εικόνα του αρχικού Frame (WNSFrame) Η κλϊςη WNSMenuBar υλοποιεύ το menu, η WSNMenuPanel την εργαλειοθόκη που βλϋπουμε ακριβώσ από κϊτω. Η WNSResultsPanel, το παρϊθυρο αποτελεςμϊτων που χωρύζεται ςε δύο μϋρη, ςτο αριςτερό παρουςιϊζονται τα αποτελϋςματα τησ WordNet και ςτο δεξύ μϋροσ τησ τα αποτελϋςματα των μηχανών αναζότηςησ. Σϋλοσ, ςτο κϊτω μϋροσ τησ οθόνησ η κλϊςη WNSProgressPanel υλοποιεύ ϋνα πλαύςιο επύδειξησ προόδου τησ αναζότηςησ. 77

83 Επύςησ ςτη κλϊςη αυτό βρύςκεται και το μεγαλύτερο ποςοςτό των Actions που προκαλούνται από τα διϊφορα πεδύα και κουμπιϊ τησ εφαρμογόσ που βρύςκονται ςτισ παραπϊνω κλϊςεισ. Επιπρόςθετα αρχικοποιεύται και μύα ςειρϊ παραθύρων διαλόγου που αναλύονται ςτη ςυνϋχεια Παράθυρα Διαλόγου Σα περιςςότερα παρϊθυρα διαλόγων περιϋχουν κϊποια κοινϊ χαρακτηριςτικϊ για τα οπούα αποφαςύςτηκε να χρηςιμοποιηθεύ το πλεονϋκτημα τησ αντικειμενοςτρϋφειασ. Ϊτςι, δημιουργόθηκε μύα κλϊςη, η WNSDialog.java η οπούα περιϋχει κϊποιεσ βαςικϋσ λειτουργύεσ των παραθύρων και κϊθε μύα από τισ κλϊςεισ του επόμενου ςχόματοσ, που υλοποιούν παρϊθυρα διαλόγου, κληρονομούν από αυτόν. Εικόνα 7-6: Κληρονομικότητα κλϊςεων παραθύρων διαλόγου Η υπερκλϊςη WNSDialog.java εύναι Abstract, γιατύ ενώ περιϋχει κϊποια κουμπιϊ κοινϊ ςε όλα τα παρϊθυρα η λειτουργύα τουσ ςε αυτϊ εύναι διαφορετικό. Ϊτςι, ενώ οι ςυναρτόςεισ reset(), save(), close() εύναι και αυτϋσ με τη ςειρϊ τουσ αφηρημϋνεσ, οι inner κλϊςεισ που τισ καλούν υλοποιούνται εδώ. Ο καταςκευαςτόσ τησ κλϊςησ ειςϊγει τα κοινϊ αυτϊ κουμπιϊ. Επιπλϋον υπϊρχει μύα ςυνϊρτηςη, initializeposition(), η οπούα τοποθετεύ το πλαύςιο ςε μύα αρχικό θϋςη ςτην οθόνη, κοινό αρχικϊ για όλα τα πλαύςια. Ϊνα επιπλϋον κουμπύ βοόθειασ εκμεταλλεύεται τισ κλϊςεισ τησ JavaHelp, για να ανούξει το πλαύςιο βοόθειασ ςτην κατϊλληλη ςελύδα. Επιπρόςθετα, η κλϊςη αυτό περιϋχει και τρεισ innerclasses που υλοποιούν αντύςτοιχεσ ενϋργειεσ κουμπιών. Εικόνα 7-7: Κλϊςη WNSDialog.java Κϊθε υποκλϊςη τησ παραπϊνω κλϊςησ, πρϋπει να υλοποιεύ τισ abstract μεθόδουσ τησ, οι οπούεσ ανϊλογα με το παρϊθυρο διαλόγου ϋχουν διαφορετικό υλοπούηςη. Περιϋχουν ςτοιχεύα 78

84 που αφορούν λειτουργύεσ τησ διεπαφόσ χρόςτη και του καταςκευαςτό τουσ, αφού καλϋςουν τον καταςκευαςτό τησ υπερκλϊςησ τοποθετούν ςτο πλαύςιο τα ςτοιχεύα αυτϊ. 7.4 Αναζήτηςη και χειριςμόσ αποτελεςμάτων Αναζήτηςη αποτελεςμάτων Η ςυνϊρτηςη η οπούα καλεύται, όταν ξεκινϊ μύα αναζότηςη, εύναι η search() που βρύςκεται ςτο πλαύςιο με το πεδύο και το κουμπύ αναζότηςησ, το WNSMenuPanel. Η ςυνϊρτηςη αυτό, αφού εκτελϋςει κϊποιεσ εργαςύεσ ςχετικϋσ με τη διεπαφό, όπωσ να απενεργοποιόςει κϊποια κουμπιϊ, μϋχρι να τελειώςει η αναζότηςη και να εκκινόςει την μπϊρα προόδου, αρχικοποιεύ μεταβλητϋσ. Μεταξύ ϊλλων αδειϊζει τισ λύςτεσ με τα αποτελϋςματα από τυχόν προηγούμενεσ αναζητόςεισ. Οι λύςτεσ αυτϋσ αφορούν μύα λύςτα για κϊθε μηχανό αναζότηςησ, την resultlist, καθώσ επύςησ και μύα γενικό λύςτα, την rlallreslults η οπούα περιϋχει τα αποτελϋςματα που προκύπτουν από όλεσ τισ μηχανϋσ. Μετϊ την αρχικοπούηςη η ςυνϊρτηςη search() ξεκινϊ μύα ςειρϊ από νόματα (threads), ϋνα για κϊθε μηχανό που θα χρηςιμοποιηθεύ. Σα νόματα αυτϊ υλοποιούνται από την κλϊςη SearchThread η οπούα με τη ςειρϊ τησ καλεύ τη μϋθοδο search() τησ αντύςτοιχησ μηχανόσ αναζότηςησ, που όπωσ θα δούμε ςτη ςυνϋχεια, αναζητϊ πληροφορύα μϋςω τησ μηχανόσ. Επύςησ, αρχικοποιεύ μύα κλϊςη, την HTMLParserCallback η οπούα κληρονομεύ από την HTMLEditorKit.ParserCallback που μπορεύ να διαχειριςτεύ τισ ετικϋτεσ από την HTML που προκύπτει από κϊθε αναζότηςη ςυγκεκριμϋνησ μηχανόσ. Η handlesimpletag, ςυνϊρτηςη που διαχειρύζεται τισ ετικϋτεσ ανϊλογα με τη μηχανό αναζότηςησ, καλεύ μύα ςυνϊρτηςη με το ύδιο όνομα τησ μηχανόσ, η οπούα όπωσ θα εξηγηθεύ ςτην επόμενη παρϊγραφο, χειρύζεται τα αποτελϋςματα. Όταν τελειώςει το κϊθε νόμα, καλεύται η ςυνϊρτηςη threadfinished, πϊλι τησ WNSMenuPanel η οπούα, αν όλα πόγαν καλϊ, καλεύ την processresults() η οπούα ειςϊγει τα αποτελϋςματα από τισ διαφορετικϋσ μηχανϋσ αναζότηςησ όπωσ αυτϊ εύναι αποθηκευμϋνα ςτισ αντύςτοιχεσ λύςτεσ resultlist, ςτην rlallreslults. Εϊν η ςυγχώνευςη των αποτελεςμϊτων εύναι επιλεγμϋνη, τότε η λύςτα δεν θα αποθηκεύει διπλϊ αποτελϋςματα. Εϊν ϋχει παρουςιαςτεύ κϊποιο πρόβλημα κατϊ την διϊρκεια τησ αναζότηςησ, εύτε δικτύου, εύτε αδυναμύα εύρεςησ αποτελεςμϊτων, η threadfinished δεν θα καλϋςει τισ δύο τελευταύεσ ςυναρτόςεισ, αλλϊ θα δεύξει ςτην οθόνη το αντύςτοιχο λϊθοσ. Σϋλοσ, καλεύται η displayresults που όπωσ θα εξηγηθεύ ςε επόμενη παρϊγραφο εύναι υπεύθυνη για την παρουςύαςη των αποτελεςμϊτων. Εικόνα 7-8: Κλϊςη WNSResults.java Πρϋπει να ςημειωθεύ ςτο ςημεύο αυτό ότι οι λύςτεσ που αναφϋρθηκαν προηγουμϋνωσ κρατούν αντικεύμενα τύπου WNSResults τα οπούα κρατούν τισ απαραύτητεσ πληροφορύεσ 79

85 κϊθε αναζότηςησ. Αυτϋσ εύναι ο ςύνδεςμοσ τησ ςελύδασ (url), καθώσ και μύα μικρό περιγραφό (description) που μπορεύ να εξαχθεύ από κϊθε μηχανό αναζότηςησ. Επύςησ περιϋχεται μύα διαδρομό (iconpath) ςε μύα εικόνα τησ μηχανόσ αναζότηςησ για λόγουσ παρουςύαςησ καθώσ και το όνομα τησ μηχανόσ (engine) από την οπούα προόλθε. Η μϋθοδοσ resultinlist ελϋγχει εϊν το ςυγκεκριμϋνο αποτϋλεςμα βρύςκεται ςτην λύςτα τησ παραμϋτρου. Φρηςιμοποιεύται για την ςυγχώνευςη των αποτελεςμϊτων αλλϊ και για την παρουςύαςη όλων των μηχανών από τισ οπούεσ προόλθε ϋνα αποτϋλεςμα Κατάταξη μηχανών αναζήτηςησ Ο ςτόχοσ τησ παρούςασ εφαρμογόσ εύναι η μελϋτη του τρόπου που επηρεϊζει, ο ςυνδυαςμόσ του ερωτόματοσ μιασ αναζότηςησ του χρόςτη με τουσ όρουσ των ςημαςιολογικών ςχϋςεων του WordNet, τα τελικϊ αποτελϋςματα μύασ αναζότηςησ. Για το λόγο αυτό δε δόθηκε βαρύτητα ςτον τρόπο επιλογόσ των αποτελεςμϊτων από τισ μηχανϋσ αναζότηςησ, αλλϊ γύνεται μύα ςειριακό παρουςύαςη ανϊλογα με τη πρότερη χρόςη τησ κϊθε μηχανόσ ςτην εφαρμογό. Η παρουςύαςη των αποτελεςμϊτων των μηχανών αναζότηςησ γύνεται ανϊλογα με το πόςεσ φορϋσ ϋχει επιςκεφθεύ ο χρόςτησ τισ ςελύδεσ που προϋκυψαν από τη ςυγκεκριμϋνη μηχανό. Τπϊρχει ϋνασ πολύ απλόσ πύνακασ ςτη βϊςη δεδομϋνων, αλλϊ και εναλλακτικϊ, ϋνα αρχεύο, όπου κϊθε φορϊ, που ο χρόςτησ επιςκϋπτεται κϊποια ςελύδα που προϋκυψε από ςυγκεκριμϋνη μηχανό το αντύςτοιχο πεδύο, ό γραμμό του αρχεύου, που αντιςτοιχούν ςτη μηχανό αυτό, αυξϊνει κατϊ ϋνα. Επιπλϋον ϋνασ πύνακασ, ο enginevisits που αρχικϊ ενημερώνεται από τη βϊςη, ό το αρχεύο ανανεώνεται ςε κϊθε επύςκεψη ιςτοςελύδασ. Μετϊ την ανανϋωςη, εξαιτύασ του ότι μπορεύ η ςειρϊ χρόςησ να ϋχει αλλϊξει εκτελεύται ϋνασ αλγόριθμοσ φυςαλύδασ, ςυνϊρτηςη bubblesort ςτη κλϊςη WNSFrame.java, που ςε κϊθε αντιμετϊθεςη ςτον πύνακα επιςκϋψεων αντιμεταθϋτει και τον πύνακα engines που εύναι ϋνασ πύνακασ αντικειμϋνων WNSEngine που υλοποιούν τισ μηχανϋσ. Ο τελευταύοσ αυτόσ πύνακασ εύναι και αυτόσ που καθορύζει τη ςειρϊ παρουςύαςησ των αποτελεςμϊτων των μηχανών αναζότηςησ Φρήςη μηχανών για αναζήτηςη Για τον χειριςμό των αποτελεςμϊτων μύασ αναζότηςησ υπεύθυνη εύναι η αντύςτοιχη κλϊςη κϊθε μηχανόσ που χρηςιμοποιεύται. Τπϊρχει μύα βαςικό abstract κλϊςη, η WNSEngine.java η οπούα περιϋχει κοινϊ πεδύα για κϊθε μηχανό αναζότηςησ και την διεπαφό για τισ βαςικϋσ μεθόδουσ search και handlesimpletag που υλοποιούνται διαφορετικϊ ςτισ αντύςτοιχεσ κλϊςεισ WNSEngineGoogle.java, WNSEngineBing.java, WNSEngineYahoo.java, WNSEngineAltavista.java και WNSEngineAlltheweb.java ανϊλογα με τη μηχανό αναζότηςησ. Εικόνα 7-9: Κληρονομικότητα κλϊςεων μηχανών αναζότηςησ Η υπερκλϊςη WNSEngine.java περιϋχει επιπλϋον ςτοιχεύα απαραύτητα για κϊθε υποκλϊςη, όπωσ το πεδύο που ορύζει εϊν αυτό ϋχει επιλεγεύ για να ςυμμετϋχει ςτισ αναζητόςεισ καθώσ και δύο μεθόδουσ που το διαχειρύζονται. Περιϋχει επιπλϋον το όνομα τησ μηχανόσ καθώσ και δύο διαδρομϋσ αρχεύου για εικόνεσ που ςυμβολύζουν τη μηχανό αυτό. Τπϊρχει επύςησ μύα λύςτα που κρατϊ όλα τα αποτελϋςματα που προϋκυψαν από τη ςυγκεκριμϋνη μηχανό καθώσ και κϊποια static πεδύα, τον αριθμό των επιλεγμϋνων μηχανών, των πιθανών λαθών που προϋκυψαν και των νημϊτων που εύναι ενεργϊ. 80

86 Εικόνα 7-10: Κλϊςη WNSEngine.java Η μϋθοδοσ search() η οπούα υλοποιεύται ςε κϊθε κλϊςη μηχανόσ αναζότηςησ δημιουργεύ ϋνα αλφαριθμητικό, όμοιο με αυτό που χρηςιμοποιεύται από κϊθε μηχανόσ αναζότηςησ ςαν URL. Σο αλφαριθμητικό ςτισ μηχανϋσ αναζότηςησ Google και Yahoo περιϋχει εκτόσ από το ερώτημα προσ αναζότηςη και τον αριθμό επιθυμητών αποτελεςμϊτων. τισ υπόλοιπεσ τρεισ μηχανϋσ περιϋχεται μόνο το ερώτημα, ενώ ο αριθμόσ των αποτελεςμϊτων δύνεται ςτη μηχανό μϋςω αντύςτοιχου Cookie. Σα URL αυτϊ που δύνονται ςτη ςυνϋχεια εύναι πιθανό να αλλϊξουν και το ςημεύο του κώδικα που πρϋπει να προςαρμοςτεύ, το οπούο εύναι ακριβώσ αυτό. Η μεταβλητό query αντιςτοιχεύ ςτο ερώτημα προσ αναζότηςη ενώ η resultsperpage τον επιθυμητό αριθμό αποτελεςμϊτων. Google Bing " + query (Cookie) "SRCHHPGUSR=NEWWND=0&ADLT=OFF&NRSLT="+resultsperpage+"&NRSPH=0&LOC=LAT%3 d0.00 LON%3d0.00 DISP%3d%2c%20&SRCHLANG=" Yahoo " "&ei=utf- 8&va_vt=any&vo_vt=any&ve_vt=any&vp_vt=any&vd=all&vst=0&vf=all&vm=p&fl=0&fr=yfp-t- 701&p="+query+"&vs=" AltaVista " + query (Cookie) "AV_SEARCHSETTINGS=v2:" + resultsperpage + ":278::" AllTheWeb " + query (Cookie) "PREF=_lm= :v=2:frschk=1:h=" + resultsperpage Πρϋπει να ςημειωθεύ ότι η μηχανό αναζότηςησ Yahoo επιτρϋπει μόνο μύα ςυγκεκριμϋνη γκϊμα από αριθμούσ αποτελεςμϊτων. Επιτρϋπονται 10, 15, 20, 30, 40 ό 100 αποτελϋςματα. Ϊτςι όταν ο αριθμόσ που τύθεται από τον χρόςτη τησ εφαρμογόσ εύναι διαφορετικόσ από τα νούμερα αυτϊ, η μεταβλητό resultsperpage γύνεται ύςη με τα πληςιϋςτερα ςε αυτόν 81

87 μεγαλύτερα νούμερα από τα παραπϊνω επιτρεπτϊ. την λύςτα όμωσ που κρατϊ τα αποτελϋςματα κρατούνται μόνο όςα ϋχουν ζητηθεύ Φειριςμόσ αποτελεςμάτων μηχανών αναζήτηςησ Οι μηχανϋσ αναζότηςησ δύνουν ςαν αποτϋλεςμα κϊθε αναζότηςησ μύα ςελύδα html με διϊφορα ςτοιχεύα, τα οπούα διαφϋρουν για την κϊθε μύα, μεταξύ των οπούων και τα αποτελϋςματα που μασ ενδιαφϋρουν. τόχο ςτο ςημεύο αυτό αποτελεύ το φιλτρϊριςμα τησ ςελύδασ ώςτε να εξαχθούν οι ςύνδεςμοι και οι περιγραφϋσ κϊθε ςελύδασ που βρϋθηκε. Σο φιλτρϊριςμα αυτό γύνεται με τη βοόθεια τησ ϋτοιμησ κλϊςησ τησ Java HTMLEditorKit.ParserCallback. Μϋςω τησ κλϊςησ HTMLParserCallback που την κληρονομεύ και τησ μεθόδου τησ handlesimpletag που χειρύζεται ετικϋτεσ html. Όπωσ ειπώθηκε κϊθε κλϊςη μηχανόσ αναζότηςησ χρηςιμοποιεύ μύα μϋθοδο με το ύδιο όνομα που ψϊχνει το κατϊλληλο όνομα (tag) αλλϊ και κλϊςη (tag class) ετικϋτασ τα οπούα ςηματοδοτούν τη ζητούμενη πληροφορύα. Ακολουθεύ ο χειριςμόσ των αποτελεςμϊτων κϊθε μηχανόσ αναζότηςησ για 10 αποτελϋςματα και με ερώτημα προσ αναζότηςη τη λϋξη mouse Φειριςμόσ αποτελεςμϊτων τησ Google Ϊνα μϋροσ τησ ςελύδασ που επιςτρϋφει η Google φαύνεται ςτην εικόνα τησ ςυνϋχειασ. Εικόνα 7-11: Αποτελϋςματα Αναζότηςησ Google Μύα αρχικό προςϋγγιςη θα όταν να βρεθούν όλοι οι ςύνδεςμοι τησ ςελύδασ, με ϋναν απλό ϋλεγχο, όμωσ η Google όπωσ και κϊθε μηχανό επιςτρϋφει μύα ςειρϊ από διϊφορουσ βοηθητικούσ ςυνδϋςμουσ. Εύναι φανερό, όμωσ, ότι κϊθε αποτϋλεςμα ϋχει μύα ςυγκεκριμϋνη μορφό και η ετικϋτα <li> με tag class g ςηματοδοτεύ την ϋναρξη ενόσ αποτελϋςματοσ. Ϊτςι ο ςύνδεςμοσ που ακολουθεύ την ετικϋτα εύναι ο ζητούμενοσ ςύνδεςμοσ. τη ςυνϋχεια η ετικϋτα <div> ςηματοδοτεύ την ϋναρξη μύασ περιγραφόσ τησ ςελύδασ Φειριςμόσ αποτελεςμϊτων τησ Bing τη ςυνϋχεια βλϋπουμε ϋνα μϋροσ των αποτελεςμϊτων τησ μηχανόσ αναζότηςησ Bing. 82

88 Εικόνα 7-12: Αποτελϋςματα Αναζότηςησ Bing Σο αντύςτοιχο όνομα tag class ςτην περύπτωςη τησ Bing εύναι sb_tlst μετϊ από το οπούο θα πρϋπει να βρεθεύ ο επόμενοσ ςύνδεςμόσ και το ςχόλιο που ςηματοδοτεύται από την ετικϋτα <p> Φειριςμόσ αποτελεςμϊτων τησ Yahoo Ακολουθεύ ϋνα κομμϊτι από τα αποτελϋςματα τησ μηχανόσ αναζότηςησ Yahoo. Εικόνα 7-13: Αποτελϋςματα Αναζότηςησ Yahoo Η ζητούμενη κλϊςη ετικϋτασ ςτη μηχανό αυτό εύναι η yschttl spt την οπούα ακολουθεύ ο ςύνδεςμοσ. Ϊνα ςύντομο ςχόλιο περιϋχεται μετϊ την ετικϋτα <p> που ακολουθεύ Φειριςμόσ αποτελεςμϊτων τησ AltaVista την επόμενη εικόνα μπορούμε να δούμε το αποτϋλεςμα που προκύπτει από μύα αναζότηςη ςτη μηχανό αναζότηςησ AltaVista. 83

89 Εικόνα 7-14: Αποτελϋςματα Αναζότηςησ AltaVista ε αυτό τη μηχανό αναζότηςησ, η κλϊςη res υποδεικνύει ϋναν ςύνδεςμο, ενώ ακολουθεύ η περιγραφό μετϊ από την ετικϋτα <a> Φειριςμόσ αποτελεςμϊτων τησ AllTheWeb Ακολουθεύ δεύγμα αποτελεςμϊτων τησ μηχανόσ αναζότηςησ AllTheWeb. Εικόνα 7-15: Αποτελϋςματα Αναζότηςησ AllTheWeb τα αποτελϋςματα αυτϊ, το tag class result δηλώνει ότι ακολουθεύ ςύνδεςμοσ ενώ η επόμενη ετικϋτα <p> ορύζει περιγραφό Παρουςίαςη αποτελεςμάτων Αφού βρεθούν τα αποτελϋςματα των μηχανών αναζότηςησ δημιουργούνται, όπωσ ειπώθηκε παραπϊνω, αντικεύμενα WNSResults για κϊθε ϋνα από αυτϊ. Κϊθε αντικεύμενο WNSEngine περιϋχει και μύα λύςτα, την resultlist, που τα κρατϊ και ανϊλογα με τη ςειρϊ με την οπούα ϋχουν καταταχθεύ οι μηχανϋσ, δημιουργεύται μύα νϋα λύςτα, η rlallresults που πλϋον περιϋχει όλα τα αποτελϋςματα. Σελευταύο βόμα ςε μύα αναζότηςη εύναι η παρουςύαςη των αποτελεςμϊτων αυτόσ τησ λύςτασ που γύνεται ςε μορφό html. 84

90 Η ςυνϊρτηςη displayresults τησ κλϊςησ WNSMenuPanel υλοποιεύ την παρουςύαςη αυτό ςτην οπούα καλεύ και τισ startpage και endpage. Οι τελευταύεσ αυτϋσ ςυναρτόςεισ περιϋχουν τισ πρώτεσ και τελευταύεσ ετικϋτεσ αντύςτοιχα κϊθε ςελύδασ, που μπορεύ να δημιουργηθεύ από την εφαρμογό για λόγουσ ομοιογϋνειασ. Εκτόσ από τα αποτελϋςματα που παρουςιϊζονται ςε φυςιολογικϋσ περιπτώςεισ υπϊρχουν και περιπτώςεισ προβλόματοσ ςτο δύκτυο, κακοδιατυπωμϋνου ερωτόματοσ με μηδενικϊ αποτελϋςματα, η μη επιλογόσ καμύασ μηχανόσ αναζότηςησ. Για όλεσ αυτϋσ, παρουςιϊζεται, ςε μορφό και πϊλι html, αντύςτοιχο μόνυμα λϊθουσ, με την ύδια όμωσ μορφό που τα παρουςιϊζει η displayresults. Η τελευταύα, αρχικϊ παρουςιϊζει κϊποιεσ πληροφορύεσ τησ αναζότηςησ, όπωσ οι μηχανϋσ αναζότηςησ που χρηςιμοποιόθηκαν, το ερώτημα, και αν τα αποτελϋςματα που προϋκυψαν εύναι ςυγχωνευμϋνα, και πόςα αποτελϋςματα βρϋθηκαν ανϊ μηχανό αλλϊ και ςυνολικϊ. τη ςυνϋχεια παρουςιϊζεται η μηχανό, ό οι μηχανϋσ ςε περύπτωςη ςυγχώνευςησ, προϋλευςησ ο ςύνδεςμοσ, και μύα περιγραφό τησ ςελύδασ, ςτοιχεύα που βρύςκονται αποθηκευμϋνα ςτα αντικεύμενα WNSResults. Αυτϊ με τη ςειρϊ τουσ περιϋχονται ςτη λύςτα rlallresults που πρϋπει να διατρεχθεύ. 7.5 Φρήςη τησ βάςησ δεδομένων του WordNet Όλεσ οι εργαςύεσ που αφορούν ερωτόματα ςτη βϊςη δεδομϋνων τησ Wordnet υλοποιούνται ςτη κλϊςη WordNetConnection.java η οπούα χρηςιμοποιεύ το API τησ βιβλιοθόκησ Java API for WordNet Searching (JAWS). Τλοποιούνται οι επόμενεσ τϋςςερεισ ςυναρτόςεισ: getsynonyms, getantonyms, gethypernyms και gethyponyms, που η κϊθε μύα επιςτρϋφει ϋναν πύνακα με όλα τα αποτελϋςματα κϊθε μύασ από τισ ζητούμενεσ ςημαςιολογικϋσ ςχϋςεισ. Η ζητούμενη λϋξη εύναι παρϊμετροσ ςτη κϊθε ςυνϊρτηςη. Επύςησ, ςτισ ςχϋςεισ που αφορούν ςυνώνυμα και υπερώνυμα υπϊρχει ϋνασ διαχωριςμόσ, ςε ςχϋςη με το αν η λϋξη θεωρεύται ουςιαςτικό ό ρόμα. Μύα λογικό παρϊμετροσ ςτισ δύο ςυναρτόςεισ θϋτει τι από τα δύο ζητϊμε. Σα αντώνυμα ϋχουν νόημα μόνο για ρόματα, ενώ τα υπώνυμα μόνο για ουςιαςτικϊ. Θεωρόθηκε επύςησ ότι οι αναζητόςεισ με επύθετα και επιρρόματα γύνονται ςπϊνια, οπότε δεν ςυμπεριλόφθηκαν. Εικόνα 7-16: Η κλϊςη WordNetConnection.java Η μετϋπειτα αναζότηςη τησ ςημαςιολογικόσ ςχϋςησ γύνεται όταν η ςχϋςη περιγρϊφεται με πϊνω από δύο λϋξεισ, για αυτούςια τη φρϊςη. Ϊτςι για ϋνα από τα υπώνυμα του mouse, η αναζότηςη γύνεται "Mus+musculus" και όχι Mus+musculus. Οι ςυναρτόςεισ επιςτρϋφουν μόνο την ϋννοια τησ κϊθε λϋξησ και όχι την περιγραφό τησ, γιατύ θεωρόθηκε δύςκολη η ακριβόσ αναζότηςη μύασ πιθανώσ μεγϊλησ περιγραφόσ. Ϊτςι για παρϊδειγμα επιςτρϋφεται η λϋξη mouse ςαν ςυνώνυμο του ύδιου του mouse, και μϊλιςτα δύο 85

91 φορϋσ. Παραλεύπεται η περιγραφό που διαφοροποιεύ τα δύο ςυνώνυμα, γιατύ η ακριβόσ αναζότηςη, για παρϊδειγμα του «any of numerous small rodents typically resembling diminutive rats having pointed snouts and small ears on elongated bodies with slender usually hairless tails», αυτό που προφανώσ θα επϋςτρεφε (και όντωσ επιςτρϋφει!) εύναι όλα τα δικτυακϊ λεξικϊ που χρηςιμοποιούν τη ςυγκεκριμϋνη βϊςη δεδομϋνων. Η επιλογό που ϋχει δοθεύ ςτο χρόςτη για ςυγκεκριμϋνο αριθμό αποτελεςμϊτων δε γύνεται ςτη παραπϊνω κλϊςη που επιςτρϋφει όςα αποτελϋςματα βρεθούν ςτη βϊςη, αλλϊ ςτη κλϊςη WNSTreeNode.java που υλοποιεύ κόμβουσ του δϋντρου που παρϊγεται από το WordNet. Σο ύδιο το δϋντρο υλοποιεύται ςτη κλϊςη WNSTree.java. Ϊνασ Action Listener περιμϋνει κϊποια επιλογό ςε κόμβο του δϋντρου για να κϊνει τη ςχετικό αναζότηςη. Η φρϊςη ό η λϋξη που θα αναζητηθεύ και ϋχει επιςτραφεύ από τη WordNet ϋχει κρατηθεύ ςτη κλϊςη WNSTreeNode.java. Τπϊρχει επιπλϋον ςτο action μύα δομό επιλογόσ ώςτε να αναζητηθεύ εύτε μόνο η φρϊςη που προϋκυψε από τη λεξικογραφικό βϊςη, εύτε η φρϊςη ςε ςυνδυαςμό με την αρχικό φρϊςη αναζότηςησ. 7.6 Φειριςμόσ Ιςτορικού Η υλοπούηςη τησ πλοόγηςησ ςτο ιςτορικό των προηγούμενων και επόμενων αναζητόςεων απαιτεύ τη δημιουργύα λιςτών που θα κρατούν τισ αναζητόςεισ αυτϋσ. Οι λύςτεσ αυτϋσ κρατούν αντικεύμενα τύπου WNSPage τα οπούα κρατούν βαςικϊ ςτοιχεύα κϊθε αναζότηςησ, όπωσ η html ςελύδα που προκύπτει και ϋνα όνομα που τησ δύνεται από το ερώτημα αναζότηςησ και χρηςιμοποιεύται και για πληροφορύα πλοόγηςησ. Περιϋχεται επύςησ και το όνομα τησ αρχικόσ αναζότηςησ ςε περύπτωςη που η ςελύδα αφορϊ φύλλο του δϋντρου του WordNet ώςτε ςτην περύπτωςη πλοόγηςησ να εμφανύζεται το αρχικό δϋντρο και όχι αυτό που προκύπτει από το ερώτημα ςτο φύλλο του δϋντρου. Οι λύςτεσ που κρατούν τισ προηγούμενεσ αλλϊ και τισ επόμενεσ ςελύδεσ, τύπου java.util.linkedlist κρατούνται ςτη κλϊςη WNSFrame.java και εύναι οι pagehistoryback και pagehistoryforward αντύςτοιχα. Επύςησ πρϋπει να κρατηθεύ και η τρϋχουςα ςελύδα, που εύναι εκεύνη την ώρα ανοιχτό, κϊτι που γύνεται ςτην ύδια κλϊςη και ςτο πεδύο currentpage. Ϊχουν δημιουργηθεύ τϋςςερεισ inner κλϊςεισ που αφορούν ενϋργειεσ χειριςμού ιςτορικού. Οι δύο πρώτεσ, ActionBack και ActionForward, αφορούν την απλό επιςτροφό ςτην προηγούμενη ςελύδα και επόμενη αντύςτοιχα ςελύδα και υλοποιούνται ωσ εξόσ: class ActionBack implements ActionListener { public void actionperformed(actionevent e){ if (pagehistoryback.size()!=0){ pagehistoryforward.add(currentpage); currentpage = pagehistoryback.removelast(); currentpage.setpage(wnsrp.editorpanel); currentpage.updatetree(); sethistorymenus(); } }//end method actionperformed }// end class ActionBack και class ActionForward implements ActionListener { public void actionperformed(actionevent e){ if (pagehistoryforward.size()!=0){ pagehistoryback.add(currentpage); currentpage = pagehistoryforward.removelast(); currentpage.setpage(wnsrp.editorpanel); currentpage.updatetree(); 86

92 sethistorymenus(); } }//end method actionperformed }// end class ActionBack Η υλοπούηςη και των δύο εύναι αντύςτοιχη. Και ςτισ δύο περιπτώςεισ ελϋγχεται καταρχόν εϊν η λύςτα με τισ προηγούμενεσ και τισ επόμενεσ ςελύδεσ εύναι ϊδειεσ. Σα κουμπιϊ που οδηγούν ςτισ παραπϊνω ενϋργειεσ όταν ςυμβαύνει αυτό απενεργοποιούνται και δεν υπϊρχει τρόποσ να εκτελεςτούν οι ενϋργειεσ, αλλϊ για λόγουσ αςφαλεύασ διατηρόθηκε η δομό αυτό επιλογόσ. Οι ενϋργειεσ που αφορούν την απενεργοπούηςη ό ενεργοπούηςη κουμπιών και γενικώσ θϋματα διεπαφόσ υλοποιεύται ςτη ςυνϊρτηςη sethistorymenus() η οπούα και καλεύται ςτο τϋλοσ. Οι υπόλοιπεσ ενϋργειεσ αφορούν τισ λύςτεσ αλλϊ και το πεδύο που πρϋπει να κρατηθούν. Ϊτςι για παρϊδειγμα, εϊν οδηγηθούμε ςτην προηγούμενη ςελύδα, η τρϋχουςα ςελύδα θα πρϋπει να μπει ςτη λύςτα pagehistoryforward και τρϋχουςα ςελύδα να γύνει η τελευταύα ςτην pagehistoryback λύςτα, από την οπούα και πρϋπει να αφαιρεθεύ. 87

93 ΚΕΥΑΛΑΙΟ 8 - ΑΞΙΟΛΟΓΗΗ ΣΗ WordNet meta-search engine 8.1 Ειςαγωγή Φιλιϊδεσ χρόςτεσ καθημερινϊ υποβϊλουν ερωτόματα ςε μηχανϋσ αναζότηςησ για να εντοπύςουν πληροφορύεσ για διϊφορα θϋματα που τουσ ενδιαφϋρουν. Επειδό όμωσ οι χρόςτεσ αυτού ϋχουν διαφορετικό ςτόχο, όταν υποβϊλουν ϋνα ερώτημα, εύναι πολύ ςημαντικό οι λϋξεισκλειδιϊ που επιλϋγουν για να εκφρϊςουν την πληροφοριακό τουσ ανϊγκη να αντικατοπτρύζουν και την πρόθεςη τησ αναζότηςόσ τουσ. Ψςτόςο, ϋρευνεσ ϋχουν δεύξει ότι ςημαντικόσ αριθμόσ ερωτημϊτων ςτισ μηχανϋσ αναζότηςησ δεν εύναι επαρκώσ οριςμϋνα και περιϋχουν πολύ λύγεσ λϋξεισ [55]. Σα μικρϊ ερωτόματα εύναι ςυνόθωσ ανεπαρκό ςτο να περιγρϊψουν την πρόθεςη αναζότηςησ του χρόςτη με αποτϋλεςμα ςυχνϊ να επιςτρϋφονται ςελύδεσ που δεν τον ικανοποιούν. Σα αποτελϋςματα χειροτερεύουν ςτην περύπτωςη που το ερώτημα εύναι πολύςημο, όπου ύδιοι όροι αναπαριςτούν διαφορετικό πληροφορύα. Σε αυτό το κεφϊλαιο θα ακολουθόςει η αξιολόγηςη τησ εφαρμογόσ WordNet metasearch engine ωσ προσ την αποτελεςματικότητα και την αποδοτικότητα τησ ανϊκτηςησ πληροφοριών. Όπωσ γνωρύζουμε ο ςτόχοσ ενόσ ςυςτόματοσ ανϊκτηςησ πληροφορύασ εύναι η ανϊκτηςη κειμϋνων που ικανοποιούν την πληροφοριακό ανϊγκη του χρόςτη, η οπούα διατυπώνεται με χρόςη ερωτημϊτων. Σα ερωτόματα που υποβϊλλονται από τουσ χρόςτεσ χαρακτηρύζονται από μια εγγενό αςϊφεια, γεγονόσ που μασ οδηγεύ ςε αποτελϋςματα τα οπούα ικανοποιούν ςε διαφορετικό βαθμό την πληροφοριακό ανϊγκη το χρόςτη. Δημιουργεύται λοιπόν η ανϊγκη για την ύπαρξη μετρικών οι οπούεσ βοηθούν ςτην κατϊταξη των ανακτώμενων κειμϋνων με βϊςη τη ςχετικότητϊ τουσ με το υποβαλλόμενο ερώτημα. Η χρόςη αυτών των μετρικών αποτελεύ την καλούμενη Εκτίμηςη Απόδοςησ Ανάκτηςησ. 8.2 Εκτίμηςη απόδοςησ ανάκτηςησ και ταξινόμηςη Η εφαρμογό WordNet meta-search engine αποτελεύ ϋνα ςύςτημα επεξεργαςύασ πληροφορύασ, η οπούα αυτοματοποιεύ τη διαδικαςύα τησ επιλογόσ και τησ διαχεύριςησ τησ πληροφορύασ με ςτόχο τη μεύωςη τησ υπερφόρτωςησ πληροφοριών. Βαςικόσ ςκοπόσ τησ εφαρμογόσ μασ εύναι η παρουςύαςη ςτον χρόςτη όςο το δυνατόν περιςςότερων ςχετικών ποςών πληροφορύασ ςε ςχϋςη με το ερώτημα του. Η αξιολόγηςη ενόσ ςυςτόματοσ επεξεργαςύασ πληροφορύασ χρηςιμοποιεύ ϋνα ςύνολο μετρόςεων που αφορούν τη δυνατότητα του ςυςτόματοσ να ικανοποιεύ τον χρόςτη. Περιλαμβϊνει μετρόςεισ ςχετικϊ με την αποδοτικότητα και την αποτελεςματικότητα του ςυςτόματοσ. Η αποτελεςματικότητα εύναι ϋνα μϋτρο τησ δυνατότητασ του ςυςτόματοσ να εντοπύζει τη ςχετικό πληροφορύα και να απομονώνει την ϊςχετη. Όςο πιο αποτελεςματικό εύναι ϋνα ςύςτημα τόςο περιςςότερο ικανοποιεύ το χρόςτη. Όμωσ ϋνα αποτελεςματικό ςύςτημα πρϋπει να εύναι και φιλικό προσ τον χρόςτη. Εδώ ειςϋρχεται η ϋννοια τησ αποδοτικότητασ του ςυςτόματοσ. Η αποδοτικότητα εύναι ϋνα μϋτρο τησ απόδοςησ ςε ςχϋςη με τουσ πόρουσ που καταναλώνονται για να παραχθεύ η ϋξοδοσ. 88

94 Η απόφαςη ταξινόμηςησ ϋχει να κϊνει με το αν ϋνα ϋγγραφο εύναι ςχετικό ό όχι ςε ςχϋςη με μια ερώτηςη του χρόςτη. την πραγματικότητα αυτό δεν επαληθεύεται πϊντα, επειδό η ςχετικότητα εύναι μια υποκειμενικό ϋννοια. Αυτό ςυμβαύνει, γιατύ οι κρύςεισ διαφορετικών χρηςτών για τη ςχετικότητα ςυγκεκριμϋνησ πληροφορύασ μπορούν να διαφϋρουν ςημαντικϊ. Ακόμη και οι κρύςεισ του ύδιου χρόςτη ςε διαφορετικούσ χρόνουσ μπορούν να διαφϋρουν. Ψσ εκ τούτου η ταξινόμηςη ενόσ ςυςτόματοσ επεξεργαςύασ πληροφορύασ δεν αποτελεύ μια απλό υπόθεςη. Δύο από τισ πιο βαςικϋσ μετρικϋσ εκτύμηςησ απόδοςησ ανϊκτηςησ εύναι η ανάκληςη (recall) και η ακρίβεια (precision). 8.3 Ανάκληςη και Ακρίβεια Δεύκτεσ για την μϋτρηςη τησ απόδοςησ εύναι η ανϊκληςη (recall) και η ακρύβεια (precision), οι οπούεσ δεν ςχετύζονται με το ςυνολικό αριθμό των μονϊδων πληροφορύασ, με αποτϋλεςμα να μπορούν να προςδιορύςουν την ακρύβεια και την αποτελεςματικότητα του ςυςτόματοσ. Ο όροσ ανϊκληςη ςε προβλόματα επεξεργαςύασ ςχετύζεται με το αν η πληροφορύα εύναι ςχετικό ό όχι όςον αφορϊ τισ απαιτόςεισ του χρόςτη. Η ανάκληςη εύναι μια εκτύμηςη τησ πιθανότητασ που προςδύδει το ςύςτημα μϋςω των ςχετικών μονϊδων πληροφορύασ ςτο χρόςτη. Η ανϊκληςη μπορεύ να υπολογιςτεύ, όταν οι ςυλλογϋσ των δεικτοδοτημϋνων κειμϋνων εύναι ςτατικϋσ και ο αριθμόσ των κειμϋνων που περιϋχουν εύναι ςυγκεκριμϋνοσ. Ενώ η ακρίβεια εύναι μια εκτύμηςη τησ πιθανότητασ, ότι μια μονϊδα που παρουςιϊζεται ςτο χρόςτη, εύναι πρϊγματι ςχετικό. Κεύμενα που ανακτώνται ςε υψηλϋσ θϋςεισ ςτη λύςτα θεωρεύται πώσ ϋχουν μεγϊλη ακρύβεια ςε ςχϋςη με το ερώτημα του χρόςτη, δηλαδό πώσ περιλαμβϊνουν μεγϊλο ποςοςτό κοινών όρων με αυτό και κατϊ ςυνϋπεια εύναι ςε θϋςη να ικανοποιόςουν το πληροφοριακό του αύτημα. Για τον υπολογιςμό αυτών των δεικτών, ϋςτω C μια ςυλλογό από ϋγγραφα και q η ερώτηςη του χρόςτη προσ τη ςυλλογό αυτό. Ϊςτω επύςησ Α τα ςυνολικϊ ανακτώμενα ϋγγραφα ςε ςχϋςη με την ερώτηςη q και R το ςύνολο όλων των ςχετικών εγγρϊφων ωσ προσ την ερώτηςη q. Σότε το μϋγεθοσ τησ Ανϊκληςησ ορύζεται ωσ ο λόγοσ του αριθμού των ςχετικών ανακτώμενων εγγρϊφων Ra (το ςύνολο που προκύπτει από την τομό των ςυνόλων A και R) προσ το ςύνολο των ςχετικών εγγρϊφων R. Παρϊλληλα, το μϋγεθοσ τησ Ακρύβειασ ορύζεται ωσ ο λόγοσ του αριθμού των ςχετικών ανακτώμενων εγγρϊφων Ra προσ τον αριθμό των ανακτώμενων εγγρϊφων A, ςε ςχϋςη με την ερώτηςη q. Δηλαδό οι τύποι ϋχουν ωσ εξόσ: το ςύςτημϊ μασ η ςυλλογό από ϋγγραφα C εύναι το ςύνολο των αποτελεςμϊτων για οποιοδόποτε ερώτημα q. Σο ςύνολο Α αποτελεύται από τα ανακτώμενα αποτελϋςματα για ϋνα ςυγκεκριμϋνο ερώτημα q και R εύναι το ςύνολο των ςχετικών αποτελεςμϊτων, δηλαδό των αποτελεςμϊτων που ενδιαφϋρουν το χρόςτη. Από τα παραπϊνω προκύπτει ότι το Ra εύναι το ςύνολο των ςχετικών αποτελεςμϊτων από το ςύνολο των ανακτώμενων για ϋνα ερώτημα q και εύναι υποςύνολο του R και του Α (χόμα 8-1). 89

95 Εικόνα 8-1: Ανϊκληςη και Ακρύβεια ςε επύπεδα ςυνόλων το παρακϊτω παρϊδειγμα το διϊγραμμα ϋχει υπολογιςτεύ για ϋνα απλό ερώτημα q. υνόθωσ όμωσ η εκτύμηςη απόδοςησ ανϊκτηςησ ςυςτημϊτων ανϊκτηςησ πληροφορύασ γύνεται με την πραγματοπούηςη διϊφορων ερωτόςεων από το ςύνολο των προτύπων πληροφοριακών αναγκών, τη ςχεδύαςη ατομικών διαγραμμϊτων για κϊθε ερώτημα και ςτη ςυνϋχεια τη δημιουργύα ενόσ ςυνολικού διαγρϊμματοσ, όπου οι ςυντεταγμϋνεσ κϊθε ςημεύου θα προκύπτουν ωσ ο μϋςοσ όροσ των αντύςτοιχων ςημεύων ςτα ατομικϊ διαγρϊμματα για κϊθε ερώτημα. Εικόνα 8-2: Συπικό Διϊγραμμα Ανϊκληςησ/Ακρύβειασ Σα διαγράμματα ακρίβειασ/ανάκληςησ θεωρούνται ωσ μύα από τισ κλαςςικϋσ ςτρατηγικϋσ εκτύμηςησ τησ απόδοςησ ανϊκληςησ ενόσ ςυςτόματοσ ανϊκτηςησ πληροφορύασ. Σα διαγρϊμματα αυτϊ εύναι χρόςιμα επειδό μασ επιτρϋπουν να εκτιμόςουμε ποςοτικϊ τόςο την ποιότητα του ανακτώμενου ςυνόλου κειμϋνων όςο και το εύροσ του αλγορύθμου ανϊκτηςησ. Επιπλϋον, εύναι απλϊ ςτην κατανόηςη και μπορούν να ςυνοψιςτούν και εύκολα με τη χρόςη μύασ απλόσ αριθμητικόσ τιμόσ. 8.4 Πειραματική διαδικαςία ε αυτό την παρϊγραφο περιγρϊφονται τα πειρϊματα που πραγματοποιόθηκαν, ώςτε να αξιολογηθεύ η αποτελεςματικότητα τησ μετϊ-μηχανόσ αναζότηςησ από τη χρόςη τησ τεχνικόσ ςημαςιολογικόσ διεύρυνςησ ερωτημϊτων με τη βοόθεια του λεξικού WordNet. Ο αντικειμενικόσ ςκοπόσ του πειρϊματοσ εύναι ο ϋλεγχοσ για το αν οι επεκτϊςεισ ερωτημϊτων με το θηςαυρό του λεξικού WordNet που καταςκευϊςτηκε, μπορεύ να επηρεϊςει θετικϊ την αποδοτικότητα τησ ανϊκτηςησ ςε ςύγκριςη με τα αρχικϊ (μη επεκτεινόμενα) ερωτόματα. 90

96 8.4.1 Μεθοδολογία Αξιολόγηςησ Με ςκοπό να εκτιμόςουμε τη μεθοδολογύα που προτεύνεται από τη μετϊ-μηχανό αναζότηςησ και να αποδεύξουμε τη διαφορετικό ςυμπεριφορϊ τησ από τη χρόςη τησ ςημαςιολογικόσ αναζότηςησ μϋςω τησ WordNet, εκτελϋςτηκαν κϊποια ερωτόματα, που χαρακτηρύζονται από πολυςημύα. Σα ερωτόματα που εφαρμόςτηκαν ςτην πειραματικό υλοπούηςη τησ μετϊ-μηχανόσ αναζότηςησ χρηςιμοπούηςαν τισ τρεισ δημοφιλϋςτερεσ Μ.Α.: Google, Yahoo και Bing, οι οπούεσ εύχαν ρυθμιςτεύ να επιςτρϋψουν τα πρώτα εύκοςι αποτελϋςματα τουσ. τη μύα περύπτωςη τα αποτελϋςματα αναπαρύςτανται ακριβώσ όπωσ επιςτρϋφονται από τουσ αρχικούσ όρουσ αναζότηςησ του χρόςτη και ςτην ϊλλη περύπτωςη ςτα αποτελϋςματα εφαρμόζεται η μεθοδολογύα αποςαφόνιςησ των όρων αναζότηςησ και η ομαδοπούηςό τουσ με βϊςη τισ ςημαςιολογικϋσ ςχϋςεισ του WordNet. Εν ςυνεχεύα γύνεται η επιλογό του ςημαςιολογικού όρου για την επϋκταςη του ερωτόματοσ, ώςτε να αυξηθεύ η ακρύβεια των αποτελεςμϊτων ανϊκτηςησ και όχι απλϊ η ανϊκληςη. Η ακρύβεια αναμϋνεται να αυξηθεύ, καθώσ εξειδικεύουμε την πληροφοριακό ανϊγκη του χρόςτη, χρηςιμοποιώντασ κϊποιον από τουσ όρουσ των ςημαςιολογικών ςχϋςεων του αρχικού ερωτόματοσ του χρόςτη. Για την αξιολόγηςη τησ εφαρμογόσ πραγματοποιόθηκαν δύο αναζητόςεισ με διαφορετικό κϊθε φορϊ ερώτημα. Σα ερωτόματα που ζητόςαμε όταν: Ο όροσ mouse (ποντύκι) που μπορεύ να αναφϋρεται εύτε ςτο γνωςτό τρωκτικό (rodent) εύτε ςτη γνωςτό περιφερειακό ςυςκευό ενόσ υπολογιςτό (computer mouse). Ο όροσ spider (αρϊχνη) που μπορεύ να χρηςιμοποιεύται εύτε για να δηλώςει ϋνα ανιχνευτό-αρϊχνη (web crawler ό wanderer), ο οπούοσ ψϊχνει ςτον Παγκόςμιο Ιςτό και ςυλλϋγει τισ ιςτοςελύδεσ που βρύςκει, εύτε για να δηλώςει ϋνα αραχνοειδϋσ ϋντομο (arachnoid). τη ςυνϋχεια για κϊθε αναζότηςη που πραγματοποιούμε υπολογύζουμε την ανϊκληςη και την ακρύβεια. Για τον υπολογιςμό αυτών των δεικτών αρχικϊ βλϋπουμε ποια από τα εύκοςι εμφανιζόμενα αποτελϋςματα εύναι ςχετικϊ για το ερώτημα του χρόςτη, δηλαδό ποια ικανοποιούν την πληροφοριακό του ανϊγκη. Με βϊςη τον αριθμό των ςχετικών αποτελεςμϊτων αλλϊ και τη θϋςη αυτών υπολογύζουμε για κϊθε αποτϋλεςμα την ακρύβεια και την ανϊκληςη Πρώτο Πείραμα Σο πρώτο παρϊδειγμα που εφαρμόςαμε ςτη μετϊ-μηχανό αναζότηςησ όταν η λϋξη mouse. Η λϋξη mouse ϋχει ϋνα διπλό νόημα. Σο ποντύκι (mouse) εύναι τρωκτικό ζώο (rodent) και επύςησ εύναι περιφερειακό ςυςκευό ενόσ υπολογιςτό (computer mouse). Ϊςτω ότι, την πρώτη φορά ο χρόςτησ εκτελεύ το ερώτημα και επιθυμεύ πληροφορύεσ για το ποντύκι (mouse) που ςχετύζεται με την ϋννοια τρωκτικό (rodent). Σο ερώτημα αρχικϊ εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ χωρύσ τη χρόςη των ςημαςιολογικών ςχϋςεων τησ WordNet και εμφϊνιςε τα παρακϊτω αποτελϋςματα. 91

97 Εικόνα 8-3: Αποτελϋςματα αναζότηςησ του όρου mouse χωρύσ τη χρόςη του WordNet τον παρακϊτω Πύνακα βλϋπουμε τον υπολογιςμό τησ ανϊκληςησ και τησ ακρύβειασ για το ερώτημα «mouse», εϊν ο χρόςτησ ενδιαφερόταν για την ϋννοια τρωκτικό (rodent). Από τα 51 ανακτώμενα αποτελϋςματα τα ςχετικϊ αποτελϋςματα εύναι 14. Εδώ να επιςημάνουμε ότι για κάποιον άλλο χρήςτη ίςωσ να ήταν διαφορετικά τα ςχετικά αποτελέςματα, οπότε θα ήταν και διαφορετικέσ οι τιμέσ που υπολογίζονται για την ανάκληςη και την ακρίβεια. τη ςυνϋχεια αναλύουμε πωσ προκύπτουν οι τιμϋσ τησ ανϊκληςησ και τησ ακρύβειασ ςε κϊθε γραμμό του Πύνακα

98 Ερώτημα: "mouse" (ωσ έννοια "rodent") χετικά Αποτελέςματα: {URL#2, #6, #7, #10, #11, #12, #21, #25, #28, #30, #32, #42, #45, #49} ύνολο χετικών R : 14 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) 93 Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % ,00 0,00 1 URL#1 ΌΦΙ 0 0,00 0,00 2 URL#2 ΝΑΙ 1 7,14 50,00 ΌΦΙ 1 6 URL#6 ΝΑΙ 2 14,29 33,33 7 URL#7 ΝΑΙ 3 21,43 42,86 ΌΦΙ 3 10 URL#10 ΝΑΙ 4 28,57 40,00 11 URL#11 ΝΑΙ 5 35,71 45,45 12 URL#12 ΝΑΙ 6 42,86 50,00 ΌΦΙ 6 21 URL#21 ΝΑΙ 7 50,00 33,33 ΌΦΙ 7 25 URL#25 ΝΑΙ 8 57,14 32,00 ΌΦΙ 8 28 URL#28 ΝΑΙ 9 64,29 32,14 29 URL#29 ΌΦΙ 9 64,29 31,03 30 URL#30 ΝΑΙ 10 71,43 33,33 31 URL#31 ΌΦΙ 10 71,43 32,26 32 URL#32 ΝΑΙ 11 78,57 34,38 ΌΦΙ URL#42 ΝΑΙ 12 85,71 28,57 ΌΦΙ URL#45 ΝΑΙ 13 92,86 28,89 ΌΦΙ URL#49 ΝΑΙ ,00 28,57 50 URL#50 ΌΦΙ ,00 28,00 51 URL#51 ΌΦΙ ,00 27,45 Πίνακασ 8-1: Ανϊκληςη και Ακρύβεια ερωτόματοσ «mouse» (ωσ ϋννοια "rodent") Ϊςτω C μύα ομϊδα που περιϋχει ανακτώμενα αποτελϋςματα. Πρώτα θεωρούμε ότι η ομϊδα C δε περιϋχει κανϋνα ανακτώμενο αποτϋλεςμα, δηλαδό C={}. ε αυτό την ομϊδα φυςικϊ δεν περιϋχεται κϊποιο ςχετικό αποτϋλεςμα, οπότε το ποςοςτό τησ ανϊκληςησ και τησ ακρύβειασ εύναι 0%. τη ςυνϋχεια προςθϋτουμε ςτην ομϊδα C το πρώτο ανακτώμενο αποτϋλεςμα, δηλαδό C={url#1}. Αυτό το αποτϋλεςμα δεν εύναι ςχετικό για το χρόςτη, οπότε πϊλι η ομϊδα C δεν περιϋχει κανϋνα ςχετικό αποτϋλεςμα. Όπωσ αναφϋραμε παραπϊνω, η ανάκληςη εύναι ο λόγοσ του αριθμού των ςχετικών αποτελεςμϊτων Ra που περιϋχει η ομϊδα C ωσ προσ το ςύνολο των ςχετικών για τον χρόςτη αποτελεςμϊτων R. Ο αριθμόσ των ςχετικών αποτελεςμϊτων τησ ομϊδασ C εύναι 0, δηλαδό Ra=0 και τα ςχετικϊ για τον χρόςτη αποτελϋςματα εύναι 14, δηλαδό R=14. Επομϋνωσ, το ποςοςτό τησ ανϊκληςησ τησ ομϊδασ C εύναι:

99 Ανϊκληςη % = ( Ra / R ) * 100 = ( 0/14 ) * 100 = 0,00% Αντύςτοιχα, η ακρίβεια εύναι ο λόγοσ του αριθμού των ςχετικών αποτελεςμϊτων Ra που περιϋχει η ομϊδα C ωσ προσ το ςύνολο των ανακτώμενων αποτελεςμϊτων (A) τησ ομϊδασ C. Σο ςύνολο των ανακτώμενων αποτελεςμϊτων τησ ομϊδασ C εύναι 1, δηλαδό Α=1. Ωρα: Ακρύβεια % = ( Ra / Α ) * 100 = ( 0/1 ) * 100 = 0,00% υνεχύζοντασ, προςθϋτουμε ςτον ομϊδα C το δεύτερο ανακτώμενο αποτϋλεςμα, δηλαδό πλϋον C={ url#1, #2}. Σο αποτϋλεςμα url#2 εύναι ςχετικό για το χρόςτη, οπότε τώρα η ομϊδα C περιϋχει ϋνα ςχετικό αποτϋλεςμα (Ra=1). Επύςησ, πλϋον η ομϊδα C περιϋχει δύο ανακτώμενα αποτελϋςματα, δηλαδό A=2. Από τα παραπϊνω προκύπτει ότι: Ανϊκληςη % = ( Ra / R ) * 100 = ( 1/14 ) * 100 = 7,14% Ακρύβεια % = ( Ra / Α ) * 100 = ( 1/2 ) * 100 = 50% υνεχύζοντασ με τον ύδιο τρόπο, προκύπτουν τα αποτελϋςματα που βλϋπουμε ςτον Πύνακα 8-1. Παρατηρούμε ότι προςθϋτοντασ ανακτώμενα αποτελϋςματα ςτο ςύνολο C, η ανϊκληςη αυξϊνεται ςυνεχώσ και φτϊνει το 100% όταν προςθϋτουμε ςτην ομϊδα C και το τελευταύο ανακτώμενο αποτϋλεςμα. Αυτό εύναι αναμενόμενο διότι ςτο τϋλοσ το ςύνολο C περιϋχει όλα τα ςχετικϊ για το χρόςτη αποτελϋςματα, δηλαδό Ra=R=14. Επύςησ, παρατηρούμε ότι η ακρύβεια αυξϊνεται όταν προςθϋτουμε ςτην ομϊδα C ςχετικϊ ανακτώμενα αποτελϋςματα και μειώνεται όταν προςθϋτουμε μη ςχετικϊ αποτελϋςματα. Για την καλύτερη κατανόηςη των παραπϊνω αποτελεςμϊτων θα δημιουργηθεύ ςτο τϋλοσ του κϊθε παραδεύγματοσ αναζότηςησ η πλόρη καμπύλη ανϊκληςησ-ακρύβειασ για τα αποτελϋςματα των αναζητόςεων. Σο ερώτημα ςτη ςυνϋχεια εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ με τη χρόςη τησ ςημαςιολογικόσ ςχϋςησ «υπερώνυμο» (hypernym): rodent του WordNet του όρου τρωκτικό (rodent) και εμφϊνιςε τα αποτελϋςματα του Πύνακα

100 Εικόνα 8-4: Αποτελϋςματα αναζότηςησ του όρου mouse+rodent με τη χρόςη του WordNet Ερώτημα: "mouse + rodent" (με τη χρήςη του WordNet) χετικά Αποτελέςματα: {URL#1 - #15, #17 - #27, #33, #35, #37, #41 - #44} ύνολο χετικών R : 34 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % URL#1 ΝΑΙ 1 2,94 100,00 2 URL#2 ΝΑΙ 2 5,88 100,00 3 URL#3 ΝΑΙ 3 8,82 100,00 4 URL#4 ΝΑΙ 4 11,76 100,00 5 URL#5 ΝΑΙ 5 14,71 100,00 6 URL#6 ΝΑΙ 6 17,65 100,00 7 URL#7 ΝΑΙ 7 20,59 100,00 8 URL#8 ΝΑΙ 8 23,53 100,00 9 URL#9 ΝΑΙ 9 26,47 100,00 10 URL#10 ΝΑΙ 10 29,41 100,00 11 URL#11 ΝΑΙ 11 32,35 100,00 12 URL#12 ΝΑΙ 12 35,29 100,00 13 URL#13 ΝΑΙ 13 38,24 100,00 14 URL#14 ΝΑΙ 14 41,18 100,00 15 URL#15 ΝΑΙ 15 44,12 100,00 16 URL#16 ΌΦΙ 15 44,12 93,75 17 URL#17 ΝΑΙ 16 47,06 94,12 18 URL#18 ΝΑΙ 17 50,00 94,44 19 URL#19 ΝΑΙ 18 52,94 94,74 20 URL#20 ΝΑΙ 19 55,88 95,00 21 URL#21 ΝΑΙ 20 58,82 95,24 22 URL#22 ΝΑΙ 21 61,76 95,45 23 URL#23 ΝΑΙ 22 64,71 95,65 24 URL#24 ΝΑΙ 23 67,65 95,83 25 URL#25 ΝΑΙ 24 70,59 96,00 95

101 Ακρίβεια % 26 URL#26 ΝΑΙ 25 73,53 96,15 27 URL#27 ΝΑΙ 26 76,47 96,30 ΌΦΙ URL#30 ΝΑΙ 27 79,41 90,00 ΌΦΙ URL#33 ΝΑΙ 28 82,35 84,85 34 URL#34 ΌΦΙ 28 82,35 82,35 35 URL#35 ΝΑΙ 29 85,29 82,86 36 URL#36 ΌΦΙ 29 85,29 80,56 37 URL#37 ΝΑΙ 30 88,24 81,08 ΌΦΙ URL#41 ΝΑΙ 31 91,18 75,61 42 URL#42 ΝΑΙ 32 94,12 76,19 43 URL#43 ΝΑΙ 33 97,06 76,74 44 URL#44 ΝΑΙ ,00 77,27 45 URL#45 ΌΦΙ ,00 75,56 Πίνακασ 8-2: Ανϊκληςη και Ακρύβεια ερωτόματοσ mouse + rodent" Παρατηρούμε ότι για κϊθε διαφορετικό ερώτημα οι αντύςτοιχοι πύνακεσ με τουσ δεύκτεσ τησ ανϊκληςησ και τησ ακρύβειασ παρουςιϊζουν ςημαντικϋσ διαφορϋσ. τη δεύτερη περύπτωςη εμφανύζονται πολλϊ περιςςότερα ςχετικϊ αποτελϋςματα, και επύςησ τα ςχετικϊ αποτελϋςματα εμφανύζονται ςτισ πρώτεσ θϋςεισ τησ ςειρϊσ κατϊταξησ. την παρακϊτω Εικόνα φαύνεται η καμπύλη ανϊκληςησ-ακρύβειασ για τα αποτελϋςματα των παραπϊνω αναζητόςεων. Διάγραμμα Ανάκλησης - Ακρίβειας τοσ ερωτήματος mouse ως έννοια "rodent" 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 rodent: mouse (with WordNet) rodent: mouse (without WordNet) 0,00 20,00 40,00 60,00 80,00 100,00 Ανάκληση % Εικόνα 8-5: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ mouse ωσ ϋννοια rodent" Ση δεύτερη φορά ο χρόςτησ εκτελεύ το ερώτημα και επιθυμεύ πληροφορύεσ για το ποντύκι (mouse) που ςχετύζεται με την ϋννοια περιφερειακή ςυςκευή ενόσ 96

102 υπολογιςτή (computer mouse). Σο ερώτημα αρχικϊ εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ χωρύσ τη χρόςη των ςημαςιολογικών ςχϋςεων τησ WordNet και εμφϊνιςε τα αποτελϋςματα τησ Εικόνασ 8-3. τον Πύνακα 8-3 βλϋπουμε τον υπολογιςμό τησ ανϊκληςησ και τησ ακρύβειασ για το ερώτημα «mouse», εϊν ο χρόςτησ ενδιαφερόταν για την ϋννοια περιφερειακό ςυςκευό ενόσ υπολογιςτό (computer mouse). Από τα 51 ανακτώμενα αποτελϋςματα τα ςχετικϊ αποτελϋςματα εύναι 25. Ερώτημα: "mouse" (ωσ έννοια "computer mouse") χετικά Αποτελέςματα: {URL#1, #3, #4, #6, #7, #9, #11, #14, #17, #18, #24, #25, #26, #29, #30, #31, #33, #34, #37, #39, #40, #41, #43, #48, #50} ύνολο χετικών R : 25 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) 97 Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % ,00 0,00 1 URL#1 ΝΑΙ 1 4,00 100,00 2 URL#2 ΌΦΙ 1 4,00 50,00 3 URL#3 ΝΑΙ 2 8,00 66,67 4 URL#4 ΝΑΙ 3 12,00 75,00 5 URL#5 ΌΦΙ 3 12,00 60,00 6 URL#6 ΝΑΙ 4 16,00 66,67 7 URL#7 ΝΑΙ 5 20,00 71,43 8 URL#8 ΌΦΙ 5 20,00 62,50 9 URL#9 ΝΑΙ 6 24,00 66,67 10 URL#10 ΌΦΙ 6 24,00 60,00 11 URL#11 ΝΑΙ 7 28,00 63,64 ΌΦΙ URL#14 ΝΑΙ 8 32,00 57,14 ΌΦΙ 8 17 URL#17 ΝΑΙ 9 36,00 52,94 18 URL#18 ΝΑΙ 10 40,00 55,56 ΌΦΙ URL#24 ΝΑΙ 11 44,00 45,83 25 URL#25 ΝΑΙ 12 48,00 48,00 26 URL#26 ΝΑΙ 13 52,00 50,00 ΌΦΙ URL#29 ΝΑΙ 14 56,00 48,28 30 URL#30 ΝΑΙ 15 60,00 50,00 31 URL#31 ΝΑΙ 16 64,00 51,61 32 URL#32 ΌΦΙ 16 64,00 50,00 33 URL#33 ΝΑΙ 17 68,00 51,52 34 URL#34 ΝΑΙ 18 72,00 52,94 ΌΦΙ URL#37 ΝΑΙ 19 76,00 51,35 38 URL#38 ΌΦΙ 19 76,00 50,00 39 URL#39 ΝΑΙ 20 80,00 51,28 40 URL#40 ΝΑΙ 21 84,00 52,50 41 URL#41 ΝΑΙ 22 88,00 53,66 42 URL#42 ΌΦΙ 22 88,00 52,38 43 URL#43 ΝΑΙ 23 92,00 53,49

103 ΌΦΙ URL#48 ΝΑΙ 24 96,00 50,00 49 URL#49 ΌΦΙ 24 96,00 48,98 50 URL#50 ΝΑΙ ,00 50,00 51 URL#51 ΌΦΙ ,00 49,02 Πίνακασ 8-3: Ανϊκληςη και Ακρύβεια ερωτόματοσ «mouse» (ωσ ϋννοια "computer mouse") Σο ερώτημα ςτη ςυνϋχεια εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ με τη χρόςη τησ ςημαςιολογικόσ ςχϋςησ «ςυνώνυμο» (synonym): computer mouse του WordNet του όρου περιφερειακό ςυςκευό ενόσ υπολογιςτό (computer mouse) και εμφϊνιςε τα αποτελϋςματα του Πύνακα 8-4. Εικόνα 8-6: Αποτελϋςματα αναζότηςησ του όρου mouse+computer mouse με τη χρόςη του WordNet Ερώτημα: "mouse + computer mouse" (με τη χρήςη του WordNet) χετικά Αποτελέςματα: {URL#1 - #39, #41 - #47, #49 - #53, #55} ύνολο χετικών R : 52 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) 98 Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % URL#1 ΝΑΙ 1 1,92 100,00 2 URL#2 ΝΑΙ 2 3,85 100,00 3 URL#3 ΝΑΙ 3 5,77 100,00 4 URL#4 ΝΑΙ 4 7,69 100,00 5 URL#5 ΝΑΙ 5 9,62 100,00 6 URL#6 ΝΑΙ 6 11,54 100,00 7 URL#7 ΝΑΙ 7 13,46 100,00 8 URL#8 ΝΑΙ 8 15,38 100,00 9 URL#9 ΝΑΙ 9 17,31 100,00 10 URL#10 ΝΑΙ 10 19,23 100,00 11 URL#11 ΝΑΙ 11 21,15 100,00

104 12 URL#12 ΝΑΙ 12 23,08 100,00 13 URL#13 ΝΑΙ 13 25,00 100,00 14 URL#14 ΝΑΙ 14 26,92 100,00 15 URL#15 ΝΑΙ 15 28,85 100,00 16 URL#16 ΝΑΙ 16 30,77 100,00 17 URL#17 ΝΑΙ 17 32,69 100,00 18 URL#18 ΝΑΙ 18 34,62 100,00 19 URL#19 ΝΑΙ 19 36,54 100,00 20 URL#20 ΝΑΙ 20 38,46 100,00 21 URL#21 ΝΑΙ 21 40,38 100,00 22 URL#22 ΝΑΙ 22 42,31 100,00 23 URL#23 ΝΑΙ 23 44,23 100,00 24 URL#24 ΝΑΙ 24 46,15 100,00 25 URL#25 ΝΑΙ 25 48,08 100,00 26 URL#26 ΝΑΙ 26 50,00 100,00 27 URL#27 ΝΑΙ 27 51,92 100,00 28 URL#28 ΝΑΙ 28 53,85 100,00 29 URL#29 ΝΑΙ 29 55,77 100,00 30 URL#30 ΝΑΙ 30 57,69 100,00 31 URL#31 ΝΑΙ 31 59,62 100,00 32 URL#32 ΝΑΙ 32 61,54 100,00 33 URL#33 ΝΑΙ 33 63,46 100,00 34 URL#34 ΝΑΙ 34 65,38 100,00 35 URL#35 ΝΑΙ 35 67,31 100,00 36 URL#36 ΝΑΙ 36 69,23 100,00 37 URL#37 ΝΑΙ 37 71,15 100,00 38 URL#38 ΝΑΙ 38 73,08 100,00 39 URL#39 ΝΑΙ 39 75,00 100,00 40 URL#40 ΌΦΙ 39 75,00 97,50 41 URL#41 ΝΑΙ 40 76,92 97,56 42 URL#42 ΝΑΙ 41 78,85 97,62 43 URL#43 ΝΑΙ 42 80,77 97,67 44 URL#44 ΝΑΙ 43 82,69 97,73 45 URL#45 ΝΑΙ 44 84,62 97,78 46 URL#46 ΝΑΙ 45 86,54 97,83 47 URL#47 ΝΑΙ 46 88,46 97,87 48 URL#48 ΌΦΙ 46 88,46 95,83 49 URL#49 ΝΑΙ 47 90,38 95,92 50 URL#50 ΝΑΙ 48 92,31 96,00 51 URL#51 ΝΑΙ 49 94,23 96,08 52 URL#52 ΝΑΙ 50 96,15 96,15 53 URL#53 ΝΑΙ 51 98,08 96,23 54 URL#54 ΌΦΙ 51 98,08 94,44 55 URL#55 ΝΑΙ ,00 94,55 Πίνακασ 8-4: Ανϊκληςη και Ακρύβεια ερωτόματοσ mouse + computer mouse" Σα αποτελϋςματα και αυτό τη φορϊ εύναι πολύ καλύτερα μετϊ τη διεύρυνςη του ερωτόματοσ του χρόςτη. το παρακϊτω Διϊγραμμα φαύνεται παραςτατικϊ η βελτύωςη των αποτελεςμϊτων μετϊ τη χρόςη του WordNet. 99

105 Ακρίβεια % 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 Διάγραμμα Ανάκλησης - Ακρίβειας τοσ ερωτήματος mouse ως έννοια "computer mouse" computer mouse: mouse (with WordNet) computer mouse: mouse (without WordNet) 0,00 20,00 40,00 60,00 80,00 100,00 Ανάκληση % Εικόνα 8-7: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ mouse computer mouse" ωσ ϋννοια Δεύτερο Πείραμα Σο δεύτερο παρϊδειγμα που εφαρμόςαμε ςτη μετϊ-μηχανό αναζότηςησ όταν η λϋξη spider. Η λϋξη spider ϋχει ϋνα διπλό νόημα. Η αρϊχνη (spider) μπορεύ να εύναι ϋνασ ανιχνευτόσ-αρϊχνη (web crawler ό wanderer), ο οπούοσ ψϊχνει ςτον Παγκόςμιο Ιςτό και ςυλλϋγει τισ ιςτοςελύδεσ που βρύςκει και επύςησ να εύναι ϋνα αραχνοειδϋσ ϋντομο (arachnoid). Ϊςτω ότι, την πρώτη φορά ο χρόςτησ εκτελεύ το ερώτημα και επιθυμεύ πληροφορύεσ για την αρϊχνη (spider) που ςχετύζεται με την ϋννοια ανιχνευτόσ-αρϊχνη (web crawler ό wanderer),. Σο ερώτημα αρχικϊ εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ χωρύσ τη χρόςη των ςημαςιολογικών ςχϋςεων τησ WordNet και εμφϊνιςε τα παρακϊτω αποτελϋςματα. 100

106 Εικόνα 8-8: Αποτελϋςματα αναζότηςησ του όρου spider χωρύσ τη χρόςη του WordNet τον παρακϊτω Πύνακα βλϋπουμε τον υπολογιςμό τησ ανϊκληςησ και τησ ακρύβειασ για το ερώτημα «spider», εϊν ο χρόςτησ ενδιαφερόταν για την ϋννοια ανιχνευτόσ-αρϊχνη (web crawler ό wanderer). Από τα 52 ανακτώμενα αποτελϋςματα τα ςχετικϊ αποτελϋςματα εύναι 10. Ερώτημα: "spider" (ωσ έννοια "wanderer") χετικά Αποτελέςματα: {URL#10, #20, #21, #26, #32, #35, #36, #39, #43, #52} ύνολο χετικών R : 10 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) Αριθμόσ Ανάκληςη % Ακρίβεια % χετικών Ra ,00 0,00 1 URL#1 ΌΦΙ 0 0,00 0,00 ΌΦΙ 0 10 URL#10 ΝΑΙ 1 10,00 10,00 ΌΦΙ 1 20 URL#20 ΝΑΙ 2 20,00 10,00 21 URL#21 ΝΑΙ 3 30,00 14,29 ΌΦΙ 3 26 URL#26 ΝΑΙ 4 40,00 15,38 ΌΦΙ 4 32 URL#32 ΝΑΙ 5 50,00 15,63 ΌΦΙ 5 35 URL#35 ΝΑΙ 6 60,00 17,14 36 URL#36 ΝΑΙ 7 70,00 19,44 ΌΦΙ 7 39 URL#39 ΝΑΙ 8 80,00 20,51 ΌΦΙ 8 101

107 43 URL#43 ΝΑΙ 9 90,00 20,93 ΌΦΙ 9 52 URL#52 ΝΑΙ ,00 19,23 Πίνακασ 8-5: Ανϊκληςη και Ακρύβεια ερωτόματοσ «spider» (ωσ ϋννοια "wanderer") Σο ερώτημα ςτη ςυνϋχεια εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ με τη χρόςη τησ ςημαςιολογικόσ ςχϋςησ «ςυνώνυμο» (synonym): wanderer του WordNet του όρου ανιχνευτό-αρϊχνη (wanderer) και εμφϊνιςε τα αποτελϋςματα του Πύνακα 8-6. Εικόνα 8-9: Αποτελϋςματα αναζότηςησ του όρου spider+wanderer με τη χρόςη του WordNet Ερώτημα: "spider + wanderer" (με τη χρήςη του WordNet) χετικά Αποτελέςματα: {URL#1, #2, #4, #5, #8 - #12, #14, #15, #17, #20, #21, #23 - #25, #28, #29, #33, #37, #38, #41, #43, #46, #50} ύνολο χετικών R : 26 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % URL#1 ΝΑΙ 1 3,85 100,00 2 URL#2 ΝΑΙ 2 7,69 100,00 3 URL#3 ΌΦΙ 2 7,69 66,67 4 URL#4 ΝΑΙ 3 11,54 75,00 5 URL#5 ΝΑΙ 4 15,38 80,00 ΌΦΙ 4 8 URL#8 ΝΑΙ 5 19,23 62,50 9 URL#9 ΝΑΙ 6 23,08 66,67 10 URL#10 ΝΑΙ 7 26,92 70,00 11 URL#11 ΝΑΙ 8 30,77 72,73 102

108 12 URL#12 ΝΑΙ 9 34,62 75,00 13 URL#13 ΌΦΙ 9 34,62 69,23 14 URL#14 ΝΑΙ 10 38,46 71,43 15 URL#15 ΝΑΙ 11 42,31 73,33 16 URL#16 ΌΦΙ 11 42,31 68,75 17 URL#17 ΝΑΙ 12 46,15 70,59 ΌΦΙ URL#20 ΝΑΙ 13 50,00 65,00 21 URL#21 ΝΑΙ 14 53,85 66,67 22 URL#22 ΌΦΙ 14 53,85 63,64 23 URL#23 ΝΑΙ 15 57,69 65,22 24 URL#24 ΝΑΙ 16 61,54 66,67 25 URL#25 ΝΑΙ 17 65,38 68,00... ΌΦΙ URL#28 ΝΑΙ 18 69,23 64,29 29 URL#29 ΝΑΙ 19 73,08 65,52 ΌΦΙ URL#33 ΝΑΙ 20 76,92 60,61 ΌΦΙ URL#37 ΝΑΙ 21 80,77 56,76 38 URL#38 ΝΑΙ 22 84,62 57,89 ΌΦΙ URL#41 ΝΑΙ 23 88,46 56,10 42 URL#42 ΌΦΙ 23 88,46 54,76 43 URL#43 ΝΑΙ 24 92,31 55,81 ΌΦΙ URL#46 ΝΑΙ 25 96,15 54,35 ΌΦΙ URL#50 ΝΑΙ ,00 52,00 51 URL#51 ΌΦΙ ,00 50,98 52 URL#52 ΌΦΙ ,00 50,00 53 URL#53 ΌΦΙ ,00 49,06 Πίνακασ 8-6: Ανϊκληςη και Ακρύβεια ερωτόματοσ spider + wanderer" Παρατηρούμε επύςησ και ςε αυτό την αναζότηςη, ότι με τη βοόθεια των ςημαςιολογικών ςχϋςεων που προςφϋρει το WordNet τα ςχετικϊ αποτελϋςματα αυξόθηκαν κατϊ πολύ ςε ςχϋςη με την επιθυμύα του χρόςτη. Ακόμη καλύτερα τα αποτελϋςματα των αναζητόςεων παρουςιϊζεται ςτο παρακϊτω Διϊγραμμα. 103

109 Ακρίβεια % Διάγραμμα Ανάκλησης - Ακρίβειας τοσ ερωτήματος spider ως έννοια "wanderer" wanderer: spider (with WordNet) wanderer: spider (without WordNet) 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 0,00 20,00 40,00 60,00 80,00 100,00 Ανάκληση % Εικόνα 8-10: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ spider wanderer" 104 ωσ ϋννοια Ση δεύτερη φορά ο χρόςτησ εκτελεύ το ερώτημα και επιθυμεύ πληροφορύεσ για το λόμμα αρϊχνη (spider) που ςχετύζεται με την ϋννοια αραχνοειδϋσ ϋντομο (arachnoid). Σο ερώτημα αρχικϊ εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ χωρύσ τη χρόςη των ςημαςιολογικών ςχϋςεων τησ WordNet και εμφϊνιςε τα αποτελϋςματα τησ Εικόνασ 8-8. τον Πύνακα 8-7 βλϋπουμε τον υπολογιςμό τησ ανϊκληςησ και τησ ακρύβειασ για το ερώτημα «spider», εϊν ο χρόςτησ ενδιαφερόταν για την ϋννοια αραχνοειδϋσ ϋντομο (arachnoid). Από τα 52 ανακτώμενα αποτελϋςματα τα ςχετικϊ αποτελϋςματα εύναι 22. Ερώτημα: "spider" (ωσ έννοια "arachnoid") χετικά Αποτελέςματα: {URL#2, #6, #7, #10, #11, #12, #21, #25, #28, #30, #32, #42, #45, #49} ύνολο χετικών R : 22 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % ,00 0,00 1 URL#1 ΝΑΙ 1 4,55 100,00 ΌΦΙ 1 4 URL#4 ΝΑΙ 2 9,09 50,00 5 URL#5 ΝΑΙ 3 13,64 60,00 6 URL#6 ΝΑΙ 4 18,18 66,67 ΌΦΙ 4 9 URL#9 ΝΑΙ 5 22,73 55,56 10 URL#10 ΌΦΙ 5 22,73 50,00 11 URL#11 ΝΑΙ 6 27,27 54,55 12 URL#12 ΝΑΙ 7 31,82 58,33

110 13 URL#13 ΌΦΙ 7 31,82 53,85 14 URL#14 ΝΑΙ 8 36,36 57,14 15 URL#15 ΌΦΙ 8 36,36 53,33 16 URL#16 ΝΑΙ 9 40,91 56,25 ΌΦΙ 9 19 URL#19 ΝΑΙ 10 45,45 52,63 ΌΦΙ URL#25 ΝΑΙ 11 50,00 44,00 26 URL#26 ΌΦΙ 11 50,00 42,31 27 URL#27 ΝΑΙ 12 54,55 44,44 ΌΦΙ URL#30 ΝΑΙ 13 59,09 43,33 31 URL#31 ΝΑΙ 14 63,64 45,16 32 URL#32 ΌΦΙ 14 63,64 43,75 33 URL#33 ΝΑΙ 15 68,18 45,45 ΌΦΙ URL#36 ΝΑΙ 16 72,73 44,44 37 URL#37 ΝΑΙ 17 77,27 45,95 ΌΦΙ URL#42 ΝΑΙ 18 81,82 42,86 ΌΦΙ URL#46 ΝΑΙ 19 86,36 41,30 47 URL#47 ΌΦΙ 19 86,36 40,43 48 URL#48 ΝΑΙ 20 90,91 41,67 49 URL#49 ΌΦΙ 20 90,91 40,82 50 URL#50 ΝΑΙ 21 95,45 42,00 51 URL#51 ΝΑΙ ,00 43,14 52 URL#52 ΌΦΙ ,00 42,31 Πίνακασ 8-7: Ανϊκληςη και Ακρύβεια ερωτόματοσ «spider» (ωσ ϋννοια "arachnoid") Σο ερώτημα ςτη ςυνϋχεια εκτελϋςτηκε ςτη μετϊ-μηχανό αναζότηςησ με τη χρόςη τησ ςημαςιολογικόσ ςχϋςησ «υπερώνυμο» (hypernym): arachnoid του WordNet του όρου αραχνοειδϋσ ϋντομο (arachnoid) και εμφϊνιςε τα αποτελϋςματα του Πύνακα

111 Εικόνα 8-11: Αποτελϋςματα αναζότηςησ του όρου spider+arachnoid με τη χρόςη του WordNet Ερώτημα: "spider + arachnoid" (με τη χρήςη του WordNet) χετικά Αποτελέςματα: {URL#1 - #15, #17 - #27, #33, #35, #37, #41 - #44} ύνολο χετικών R : 30 Αριθμόσ Ανακτώμενων A (Rank) Ανακτώμενο URL Είναι χετικό; (Relative) 106 Αριθμόσ χετικών Ra Ανάκληςη % Ακρίβεια % URL#1 ΝΑΙ 1 3,33 100,00 2 URL#2 ΝΑΙ 2 6,67 100,00 3 URL#3 ΝΑΙ 3 10,00 100,00 4 URL#4 ΌΦΙ 3 10,00 75,00 5 URL#5 ΝΑΙ 4 13,33 80,00 6 URL#6 ΝΑΙ 5 16,67 83,33 7 URL#7 ΝΑΙ 6 20,00 85,71 8 URL#8 ΌΦΙ 6 20,00 75,00 9 URL#9 ΝΑΙ 7 23,33 77,78 10 URL#10 ΝΑΙ 8 26,67 80,00 11 URL#11 ΝΑΙ 9 30,00 81,82 12 URL#12 ΌΦΙ 9 30,00 75,00 13 URL#13 ΌΦΙ 9 30,00 69,23 14 URL#14 ΌΦΙ 9 30,00 64,29 15 URL#15 ΝΑΙ 10 33,33 66,67 16 URL#16 ΌΦΙ 10 33,33 62,50 17 URL#17 ΝΑΙ 11 36,67 64,71 18 URL#18 ΝΑΙ 12 40,00 66,67 19 URL#19 ΝΑΙ 13 43,33 68,42 20 URL#20 ΝΑΙ 14 46,67 70,00 21 URL#21 ΌΦΙ 14 46,67 66,67 22 URL#22 ΝΑΙ 15 50,00 68,18 23 URL#23 ΝΑΙ 16 53,33 69,57

112 24 URL#24 ΝΑΙ 17 56,67 70,83 25 URL#25 ΌΦΙ 17 56,67 68,00 26 URL#26 ΌΦΙ 17 56,67 65,38 27 URL#27 ΝΑΙ 18 60,00 66,67 28 URL#28 ΌΦΙ 18 60,00 64,29 29 URL#29 ΌΦΙ 18 60,00 62,07 30 URL#30 ΝΑΙ 19 63,33 63,33 31 URL#31 ΌΦΙ 19 63,33 61,29 32 URL#32 ΌΦΙ 19 63,33 59,38 33 URL#33 ΝΑΙ 20 66,67 60,61 34 URL#34 ΌΦΙ 20 66,67 58,82 35 URL#35 ΝΑΙ 21 70,00 60,00 36 URL#36 ΌΦΙ 21 70,00 58,33 37 URL#37 ΝΑΙ 22 73,33 59,46 38 URL#38 ΌΦΙ 22 73,33 57,89 39 URL#39 ΌΦΙ 22 73,33 56,41 40 URL#40 ΝΑΙ 23 76,67 57,50 41 URL#41 ΝΑΙ 24 80,00 58,54 42 URL#42 ΝΑΙ 25 83,33 59,52 43 URL#43 ΝΑΙ 26 86,67 60,47 44 URL#44 ΝΑΙ 27 90,00 61,36 45 URL#45 ΝΑΙ 28 93,33 62,22 46 URL#46 ΌΦΙ 28 93,33 60,87 47 URL#47 ΌΦΙ 28 93,33 59,57 48 URL#48 ΝΑΙ 29 96,67 60,42 49 URL#49 ΝΑΙ ,00 61,22 50 URL#50 ΌΦΙ ,00 60,00 51 URL#51 ΌΦΙ ,00 58,82 Πίνακασ 8-8: Ανϊκληςη και Ακρύβεια ερωτόματοσ spider+arachnoid" Η αύξηςη των ςχετικών αποτελεςμϊτων ςε ςχϋςη με την πληροφοριακό ανϊγκη του χρόςτη φαύνεται και ςε αυτό το παρϊδειγμα. Σο παρακϊτω Διϊγραμμα παρουςιϊζει τη διαφορϊ που υπϊρχει ςτισ δύο αναζητόςεισ του χρόςτη με καλύτερο τρόπο. 107

113 Ακρίβεια % 100,00 90,00 80,00 70,00 60,00 50,00 40,00 30,00 20,00 10,00 0,00 Διαγράμματα Ανάκλησης - Ακρίβειας τοσ ερωτήματος spider ως έννοια "arachnoid" arachnoid: spider (with WordNet) arachnoid: spider (without WordNet) 0,00 20,00 40,00 60,00 80,00 100,00 Ανάκληση % Εικόνα 8-12: Διϊγραμμα Ανϊκληςησ - Ακρύβειασ ερωτόματοσ spider arachnoid" ωσ ϋννοια Αποτελέςματα Πειραμάτων Από τα αποτελϋςματα των δύο πειραμϊτων που ϋγιναν φαύνεται η δυναμικό που ϋχει η εφαρμογό που αναπτύχθηκε ςτη βελτύωςη τησ ςυνολικόσ απόδοςησ τησ διαδικαςύασ ανϊκτηςησ πληροφορύασ. Πιο ςυγκεκριμϋνα παρατηρούμε ότι με τη βοόθεια τησ ςημαςιολογικόσ αναζότηςησ τησ βϊςησ δεδομϋνων του WordNet αρχικϊ επιςτρϋφονται από τη μετϊ-μηχανό αναζότηςησ αποτελϋςματα για το ύδιο θϋμα, που εύναι πιο ςτενϊ ςυςχετιςμϋνα με τα πραγματικϊ ερωτόματα που υπϋβαλλε ο χρόςτησ, όταν χρηςιμοπούηςε βελτιωμϋνα από την εφαρμογό ερωτόματα, ϋναντι των αποτελεςμϊτων που ϋλαβε, όταν χρηςιμοπούηςε το αρχικό του ερώτημα χωρύσ την παρϋμβαςη τησ εφαρμογόσ WordNet meta-search engine. Η επιλογό των όρων με τη βοόθεια του λεξικού WordNet ϋχει ςαν αποτϋλεςμα βελτιωμϋνα ερωτόματα τα οπούα εύναι αφενόσ ςχετικϊ με το αρχικό ερώτημα του χρόςτη και αφετϋρου ςχετικϊ με την πληροφοριακό του ανϊγκη, όπωσ αυτόσ την αντιλαμβϊνεται. Αυτό φαύνεται και από όλα τα ςυγκεντρωτικϊ Διαγρϊμματα Ανϊκληςησ Ακρύβειασ του κϊθε ερωτόματοσ που θϋτει ο χρόςτησ. Παρατηρούμε, ότι οι καμπύλεσ που αφορούν το ερώτημα του χρόςτη μαζύ με τη ςημαςιολογικό ςχϋςη του όρου από το WordNet βρύςκεται πϊντα ςε υψηλότερο επύπεδο. Αυτό ςημαύνει, ότι με τη βοόθεια τησ λεξικογραφικόσ βϊςησ δεδομϋνων του WordNet ο χρόςτησ λαμβϊνει περιςςότερα και ςχετικότερα αποτελϋςματα αναζότηςησ. υνεπώσ, μπορούμε να υποςτηρύξουμε με βεβαιότητα ότι το ςύςτημα μπορεύ με αποδοτικό τρόπο να επιλϋγει και να προτεύνει εναλλακτικούσ ςχηματιςμούσ ερωτημϊτων, τα οπούα εύναι ςχετικϊ με τα αρχικϊ ερωτόματα των χρηςτών και ϊρα ςυνειςφϋρουν ςτην ανϊκτηςη αποτελεςμϊτων που ςχετύζονται ςε μεγϊλο βαθμό με τισ πληροφοριακϋσ ανϊγκεσ του χρόςτη. 108

114 ΚΕΥΑΛΑΙΟ 9 - ΤΜΠΕΡΑΜΑΣΑ Σο βαςικό ζητούμενο για την εκπόνηςη τησ παρούςασ διπλωματικόσ εργαςύασ όταν το πρόβλημα που αντιμετωπύζουν οι χρόςτεσ των δικτυακών μηχανών αναζότηςησ κατϊ την επιλογό των ερωτημϊτων που διατυπώνουν προσ αυτϋσ. Πιο ςυγκεκριμϋνα, ορμώμενοι από την κοινό διαπύςτωςη πώσ τα ερωτόματα των χρηςτών περιορύζονται ςε ελϊχιςτουσ και κατϊ κανόνα ελλιπώσ προςδιοριςμϋνουσ όρουσ, επιχειρόςαμε την επύλυςη του υφιςτϊμενου προβλόματοσ μϋςω τησ υλοπούηςησ μιασ εφαρμογόσ διεύρυνςησ ερωτημϊτων τη λεγόμενη WordNet meta-search engine. Παρουςιϊςαμε μια εφαρμογό βελτύωςησ ερωτημϊτων η οπούα χρηςιμοποιεύ τη λεξικογραφικό βϊςη δεδομϋνων του WordNet, προκειμϋνου να εντοπύςει εναλλακτικούσ ςχηματιςμούσ ερωτημϊτων οι οπούοι αφενόσ, θα περιγρϊφουν το αντικεύμενο τησ αναζότηςησ του χρόςτη και αφετϋρου θα ςχετύζονται με τα ερωτόματα που υπϋβαλε ο χρόςτησ. Σο χαρακτηριςτικό τησ εφαρμογόσ WordNet meta-search engine εύναι η οπτικό αναπαρϊςταςη του εναλλακτικού ερωτόματοσ με την μορφό μιασ δενδρικόσ δομόσ. Η αναπαρϊςταςη αυτό παρϋχει ςαφεύσ πληροφορύεσ για την ςημαςιολογικό ςχϋςη μεταξύ των όρων του βελτιωμϋνου ερωτόματοσ και των όρων που χρηςιμοπούηςε ο χρόςτησ για να εκφρϊςει την πληροφοριακό του ανϊγκη. Μϋςω του υφιςτϊμενου δεντρικού τρόπου αναπαρϊςταςησ του διευρυμϋνου ερωτόματοσ επιτρϋπουμε αφενόσ την αλληλεπύδραςη του χρόςτη με το προτεινόμενο βελτιωμϋνο ερώτημα και αφετϋρου αυξϊνουμε την καταλληλότητα των προτεινόμενων όρων από την πλευρϊ του χρόςτη, ο οπούοσ μπορεύ πλϋον να ελϋγξει περιςςότερο την επικοινωνύα και αλληλεπύδραςό του με τη μηχανό αναζότηςησ. Διαπιςτώθηκε βϋβαια, ότι ςε μερικϋσ περιπτώςεισ, κϊποιεσ ουςιαςτικϋσ λϋξεισ κλειδιϊ δεν μπόρεςαν να παρουςιαςτούν ςτην εφαρμογό μασ από το λεξικό του WordNet. Σο λεξικό του WordNet δε προςφϋρει κϊποιον αυτοματοποιημϋνο τρόπο αναζότηςησ κϊποιων λϋξεωνκλειδιών από την περιγραφό των όρων, με αποτϋλεςμα να εμφανύζει ύδιουσ τουσ όρουσ αναζότηςησ, ενώ ςτο λεξικό του WordNet ϋχουν διαφορετικό νόημα, κϊτι το οπούο φαύνεται από την περιγραφό του. Ο τρόποσ παρουςύαςησ των διευρυμϋνων ερωτημϊτων που προτεύνουμε παρϋχει ϋνα ςύνολο πλεονεκτημϊτων. Σο πιο ςημαντικό πλεονϋκτημα εύναι πωσ η όλη διαδικαςύα τησ διεύρυνςησ εύναι διαφανόσ προσ το χρόςτη. Σο βελτιωμϋνο ερώτημα δεν υποβϊλλεται αυτόματα ςτο ςύςτημα. Ο χρόςτησ καλεύται να επιλϋξει ποιοσ από τουσ όρουσ που του προτεύνονται θα ςυμμετϋχει ςτο τελικό βελτιωμϋνο ερώτημα. Μϋςω τησ δενδρικόσ δομόσ γύνεται κατανοητό η ςημαςιολογικό ςχϋςη που υπϊρχει μεταξύ των όρων του αρχικού ερωτόματοσ του χρόςτη και των προτεινόμενων από το λεξικό WordNet όρων. Ϊτςι ο χρόςτησ μπορεύ να επιλϋξει τουσ όρουσ που θα αποτελϋςουν το τελικό βελτιωμϋνο ερώτημα με τρόπο που θα προςεγγύζει καλύτερα τα πληροφοριακϊ του ενδιαφϋροντα. Για την αξιολόγηςη τησ απόδοςησ τησ εφαρμογόσ διενεργόςαμε δύο διαφορετικϋσ πειραματικϋσ αναζητόςεισ, όπου εξετϊςαμε την αποτελεςματικότητα τησ ςτη βελτύωςη των αποτελεςμϊτων ανϊκτηςησ με τη χρόςη του διευρυμϋνου ερωτόματοσ. Σα πειραματικϊ αποτελϋςματα καταδεικνύουν την αποτελεςματικότητα τησ εφαρμογόσ μασ ςτη βελτύωςη των ποςοςτών ακρύβειασ των αποτελεςμϊτων που επιςτρϋφονται ςτο χρόςτη και αποδεικνύουν τη δυνατότητα τησ εφαρμογόσ μασ να λειτουργόςει αποτελεςματικϊ ςε ϋνα δυναμικό περιβϊλλον όπωσ αυτό του Παγκόςμιου Ιςτού. 109

115 Σα αποτελϋςματα των πειραμϊτων όταν ιδιαύτερα ικανοποιητικϊ και μασ οδηγούν ςτο ςυμπϋραςμα ότι η εφαρμογό μασ μπορεύ να βοηθόςει ςημαντικϊ ςτη διευκόλυνςη του χρόςτη κατϊ τη διαδικαςύα επιλογόσ ερωτημϊτων για την ανϊκτηςη πληροφορύασ από τα δεδομϋνα του Διαδικτύου. υνεπώσ, θεωρούμε την εφαρμογό μασ ωσ ϋνα χρόςιμο εργαλεύο ςτον χρόςτη του Διαδικτύου καθώσ τον διευκολύνει ςτην καταλληλότερη διατύπωςη του ερωτόματόσ του για την εύρεςη όςο το δυνατό πιο ςχετικών αποτελεςμϊτων. 110

116 ΠΑΡΑΡΣΗΜΑ - ΕΓΦΕΙΡΙΔΙΟ ΦΡΗΗ το παρϊρτημα που ακολουθεύ παρατύθεται η τεκμηρύωςη του προγρϊμματοσ, όπωσ αυτό εμφανύζεται ςτην ύδια την εφαρμογό. Σο κεύμενο ϋχει τη μορφό υπερκειμϋνου με διϊφορεσ ςυνδϋςεισ από θϋμα ςε θϋμα αλλϊ και μύα λειτουργύα. Η χρηςτικότητα λοιπόν τησ τεκμηρύωςησ εύναι πολύ καλύτερη ςτην ύδια την εφαρμογό και προτεύνεται θερμϊ η χρόςη αυτόσ και όχι του παρακϊτω κειμϋνου που ωςτόςο παρατύθεται για λόγουσ πληρότητασ WordNet meta-search engine Environment (Σο περιβάλλον τησ WordNet meta-search engine ) This program uses the same interface as most popular browsers. Therefore as expected, by pressing Backspace the previous visited page will appear and holding Shift and pressing Backspace will lead us back to the next page. By pressing F1, a help window will appear etc. In the following chapters instructions of this application are given. This chapter is also the help system that can be found as hypertext in the main application by either pressing F1, or choosing Help from Help menu, or pressing the help ( ) button or by several dialogs with the same button. The first chapter provides information about using the help system and the second a simple use case. The third chapter contains instructions about using dialogs and the next one contains every keyboard shortcut of the application. The fifth chapter contains a menu reference Help Introduction (Ειςαγωγή ςτη βοήθεια) To access the help system you can simply press F1, or use the Help Command in the Help menu or press in standard toolbar. Many dialogs of the application also have a button which opens the help system in the appropriate page. There is a standard toolbar for navigating through help pages, a tree with the table of contents of Help and the main window in which the help pages appear. 111

117 Help Table of Contents (Πύνακασ Περιεχομϋνων) The user can make selections the contents to browse through the help contents by category. A tree appears on the left of the Help window with every help topic categorized in chapters. One of the chapters for example, is that of Help Introduction with subchapters of Help Contents, Help Main Window and Help Toolbar. A more detailed sub tree for the whole documentation can be seen below. By clicking on the minus (-) symbol or double clicking on Help Introduction, the minus symbol becomes plus (+) and the only visible thing is the name of the chapter, that is the root of the sub tree of the Help Introduction. By reversing the previous procedure with the (-) and (+) symbols every leaf of the Help Introduction tree appears on the screen in detail as in the figure above. To view the Help Information on the left of the screen you just have to click on the leaf name. Clicking for example on Help Index the corresponding information will appear Help Toolbar (Εργαλειοθόκη Βοόθειασ) Help system offers a toolbar with four operations for navigation between the help pages and two operations for printing. Help Toolbar Back: By pressing the button, the help window information on the right size goes one page back in the history of already seen pages. Forward: With the button the help window information goes one page forward. Home: With the button it goes on the initial page. Reload: With the a help page can be reloaded. Print: The leads to a dialog for printing the help page. 112

118 Page Setup: Setup of the page before printing the page can be arranged by pressing the button Help Main Window (Κύριο Παρϊθυρο Βοόθειασ) This is the window in which the help text appears. Besides the logo of the application there is a title of every help file visited. On top of the navigation button of the toolbar, there are two additional buttons used for getting the user into the next or previous page of the documentation in every html file that appears in the main right side of the help window and by the page s title. There is also a link with the top of the page of the current chapter. The above construction is repeated on the bottom of the page Getting Started We assume that a user of the application intends to search for pages referring to mouse, but not the computer peripheral one, the rodent one. First thing she/he has to do is type the desired word mouse in search field and press enter or the search ( ) button. The engines used in the search can be selected using engines menu or engines options dialog. Simple selecting and unselecting each will do the job. There is also a selection for number of results per page there. One quick (eye) glance to the result provided will make her/him understand that the peripheral has conquered the world of Internet despite the efforts of the homely quadruped. As anyone can see in the presentation of the results below they are merged, an option that one can select in the engine s menu or dialog. This is the time to use WordNet lexical database. In addition to the results of the search, there is also a tree on the left of the screen with a number of synonyms, antonyms, hyponyms and hypernyms for the word mouse. The number of each of those can be user defined using WordNet options dialog. One of the hypernyms provided is luckily rodent, which can be used 113

119 combined with the original word mouse for a more pointed search. Combining the results can be set using WordNet menu or dialog (Ctrl + Q will do the job). The happy user can now see a horde of mice on screen Using Dialogs (Φρηςιμοποίηςη Διαλόγων) Most of the dialog windows implemented in the application use a simple common interface that allows user to either close window or reset every field to the default value as contained in the properties table of the database or the properties file. He/ She can also save the current properties in the aforementioned database or file. User can also have access to the help page related with the dialog. Dialog Toolbar WordNet meta-search engine uses the following dialogs: Console Browser Engine Options WordNet Options Help Change WordNet Directory WordNet Exception About WordNet Tree Search Result Panel Standard Toolbar Console (Κονςόλα) In this dialog every user s operation is appears. User can choose if the URL and/or description of every result will be appears as well. By default this operation is unselected. User can also choose connection with the search engine information not to be viewed, which is selected by default. Connection with the database and/or file system will be viewed here too. 114

120 Console Dialog Reset ( ) button will cause all info written so far to be cleared from the console screen while close ( ) button will make the dialog invisible. Help ( ) button will open help system in the Console Dialog page Browser (Υυλλομετρητόσ) It is a very simple dialog that can only show simple html pages. It is used only in case user wants to see a page found by the engine, and doesn t want to see it in his browser. The latter can be done by right clicking the link and by choosing the Open in new Browser selection in the pop up menu. WordNet Browser Only the close ( ) and help ( ) buttons are used in this dialog Engine Options (Επιλογϋσ Μηχανών Αναζότηςησ) This is a dialog with every search engine s option. It also shows the results visited from every engine. Each search engine has a checkbox on the left side which defines if the specific engine will be used in the following searches. The non-editable text field on the right side, shows the 115

121 visited results which came up from the engine. These numbers can be reset to zero by pressing the button. The Results/Engine combo box defines the number of results each search engine will provide and in case of duplicates, results given from more than one engine, Merge Results check box will determine if they are going to be merged in one. Engines Options The standard dialog toolbar at the bottom besides the apparent close dialog and help operation will, as mentioned in the beginning of this chapter, lead to the reset ( ) of the properties values as they are defined in the database or file, or the storage ( ) in to those saving systems of the current application properties WordNet Options (Επιλογϋσ WordNet) In this dialog attributes of the WordNet dictionary can be set. The first part of the dialog contains drop down menus for setting the number of results per category WordNet should return. For example, five noun synonyms of the requested word etc. The following non editable text field indicates the directory of WordNet database. That can be changed by pressing the change directory ( ) button, which opens the Change WordNet Directory Dialog. The Combine Query/WordNet sets if the requested query and a suggested synonym/antonym etc. will be combined together as input to search engines. 116

122 WordNet Options The standard dialog toolbar resets ( ) properties or saves ( ) them into database and file system. It closes ( ) the dialog or opens ( ) the appropriate page of the help system Help (Βοόθεια) The function of this dialog is illustrated in the first chapter of the current appendix Change WordNet Directory (Αλλαγό Καταλόγου WordNet) This dialog is the menu for changing the path of the WordNet lexical database. It appears when pressing Choose WordNet Database Directory in WordNet Options Dialog. Change WordNet Directory The specific look and feel of the image is windows style and works like every other file open operation the user has encountered. In case of different operating system the style changes but the functionality is similar. The left part of the menu contains a few links for the most common folders of the user s computer; the right part contains the folders of the current folder and the top part contains specific folder navigation and appearance operations. This is a directory s only chooser since the application only needs a specific folder of the WordNet 117

123 application. After choosing the proper directory, pressing save as expected will change the WorldNet s directory WordNet Exception (Εξαύρεςη του WordNet) This dialog only appears if user tries to use WordNet, trying a search for example, but either no WordNet application is installed or the path of the application is wrong. Path can be changed via WordNet Options Dialog. WordNet Exception Only two buttons of the standard dialog toolbar are applicable in this dialog, the one closing ( ) the dialog and the one opening ( ) the help system in the appropriate page About Application (Πληροφορύεσ για την εφαρμογό) This is a very simple dialog providing information about the application like author and faculty. About application The about dialog only has need of a close ( ) and a help ( ) function WordNet Tree (Δϋντρο εννοιών WordNet) This is the tree showing every meaning derived from WordNet database. It is produced automatically every time user attempts a query search. The total number of synonyms, 118

124 antonyms, hypernyms and hyponyms depends on the number produced by the database as well as the number of each set by the user from the WordNet options dialog. The query appears on top of the tree and the major leafs consist of the query and each of the word inside brackets. Each major leaf has every meaning for the word in brackets derived from WordNet. Pressing whichever leaf of the tree will lead to a new search of the query appearing in it. It s up to the user to decide if the initial search query will be included in the search (Combine Query/WordNet Ctrl-Q) Search Results Panel (Αποτελϋςματα Αναζότηςησ) This is the main panel of the application providing information on the result of every search. It starts with general info like the overall results and the results of every engine used. The search query appears in this panel as well. Following this information, the user can locate the links and description of every page found by each search engine used. Search results panel User can also visit the links appearing by just clicking on them or by right clicking and selecting Open in the pop up menu. There is also an Open with Browser selection in this menu. This selection leads to the opening of the linked web page with the default browser of the computer. 119