Αυτόµατη Επιλογή Σηµασιολογικά Συγγενών Όρων για την Επαναδιατύπωση των Ερωτηµάτων σε Μηχανές Αναζήτησης Πληροφορίας. Ελευθέριος Ι.

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΗΛΕΚΤΡΟΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΙΠΛΩΜΑ ΕΙ ΙΚΕΥΣΗΣ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Αυτόµατη Επιλογή Σηµασιολογικά Συγγενών Όρων για την Επαναδιατύπωση των Ερωτηµάτων σε Μηχανές Αναζήτησης Πληροφορίας ΕΛΕΥΘΕΡΙΟΣ Ι. KOZANI ΗΣ Α.Μ. 465 ΕΠΙΒΛΕΠΩΝ: καθηγητής ηµήτριος Ν. Χριστοδουλάκης Πάτρα, Ιανουάριος 2007

2 2

3 UNIVERSITY OF PATRAS SCHOOL OF ENGINEERING DEPARTMENT OF COMPUTER ENGINEERING AND INFORMATICS POST GRADUATE MASTERS DEGREE MASTERS DISSERTATION Automatic selection of semantic related terms for reformulating a query into a search engine ELEFTHERIOS I. KOZANIDIS AM 465 SUPERVISOR: Prof. Dimitrios N. Christodoulakis Patras, January

4 4

5 Αυτόµατη Επιλογή Σηµασιολογικά Συγγενών Όρων για την Επαναδιατύπωση των Ερωτηµάτων σε Μηχανές Αναζήτησης Πληροφορίας Ελευθέριος Ι. Κοζανίδης Μεταπτυχιακό ίπλωµα Ειδίκευσης Επιβλέπων: ηµήτριος Ν. Χριστοδουλάκης, καθηγητής, Τµήµα Μηχανικών Η/Υ και Πληροφορικής Παν/µιο Πατρών Στην Τριµελή Συµβουλευτική Επιτροπή, εκτός από τον επιβλέποντα καθηγητή, συµµετείχαν οι: Παυλίδης Γεώργιος, καθηγητής, Τµήµα ιοίκησης Επιχειρήσεων, Παν/µιο Πατρών Μπούρας Χρήστος, αναπληρωτής καθηγητής, Τµήµα Μηχανικών Η/Υ και Πληροφορικής Παν/µιο Πατρών 5

6 6

7 Στην µικρή µου ανιψιά, Ιωάννα... 7

8 Περιεχόµενα Ευρετήριο Εικόνων 12 Ευχαριστίες 14 Περίληψη 15 Abstract 16 Κεφάλαιο 1ο: ΕΙΣΑΓΩΓΗ Αντικείµενο της ιπλωµατικής Συνεισφορά της ιπλωµατικής οµή της ιπλωµατικής ηµοσιεύσεις 23 Κεφάλαιο 2ο: ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ Ανάκτηση Πληροφορίας και Ανάκτηση εδοµένων ιαδικασία Ανάκτησης Μετρικές Εκτίµησης Απόδοσης Ανάκληση και Ακρίβεια Καταλληλότητα Ακρίβειας και Ανάκλησης Εναλλακτικές Μετρικές Αρµονικός Μέσος Όρος Η Μετρική Ε Μετρικές προσανατολισµένες προς τον χρήστη Μοντέλα ανάκτησης πληροφορίας Ανάγκη για την ύπαρξη µοντέλων ΑΠ Τυπικός ορισµός των µοντέλων ΑΠ Κλασσικά Μοντέλα ΑΠ Το Boolean µοντέλο Το µοντέλο ιανυσµατικού Χώρου Το κλασσικό πιθανοτικό µοντέλο 43 8

9 Κεφάλαιο 3ο: ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΑΠΟ ΤΟ ΙΑ ΙΚΤΥΟ ΚΑΙ ΜΗΧΑΝΕΣ ΑΝΑΖΗΤΗΣΗΣ Εισαγωγή Σύντοµη περιγραφή του ιαδικτύου Ιδιαιτερότητες της ανάκτησης πληροφορίας στο ιαδίκτυο σε σχέση µε τις συµβατικές εφαρµογές ανάκτησης πληροφορίας Μηχανές Αναζήτησης και Ανάκτηση Πληροφορίας από τον Παγκόσµιο Ιστό Ιστορική Αναδροµή οµικά Συστατικά ικτυακών Μηχανών Αναζήτησης Μηχανισµοί Συλλογής και εικτοδότησης Ιστοσελίδων Γλώσσα ιατύπωσης Ερωτηµάτων Μέθοδοι Επεξεργασίας Ερωτηµάτων και Τεχνικές Ταξινόµησης Τρόποι Απεικόνισης της Ανακτηθείσας Πληροφορίας Εγχειρίδιο Χρήσης και Αρχεία Παρακολούθησης της ραστηριότητας των Χρηστών _ Αξιολόγηση της Απόδοσης ικτυακών Μηχανών Αναζήτησης 65 Κεφάλαιο 4ο: ΕΠΕΞΕΡΓΑΣΙΑ ΙΣΤΟΣΕΛΙ ΩΝ ΓΙΑ ΕΙΚΤΟ ΟΤΗΣΗ Εξαγωγή καθαρού κειµένου (pure text) από τις σελίδες Αναγνώριση συµβόλων και προτάσεων.(tokenization) Μορφοσυντακτικός χαρακτηρισµός των λέξεων (POS-tagging) Αποµάκρυνση των τερµατικών όρων (stop words) Κανονικοποίηση (normalization) και αποκατάληξη (stemming) Αποκατάληξη Κανονικοποίηση Κανονικοποίηση ή Αποκατάληξη Επιλογή των όρων κλειδιών Ικανότητα διαχωρισµού µεταξύ των όρων των σελίδων Επιλογή των λέξεων κλειδιών Μέθοδος υπολογισµού της σπουδαιότητας των όρων ενός κειµένου: η µετρική TF-IDF 83 9

10 υνατότητες συνδυασµού των παραγόντων της µετρικής 85 Κεφάλαιο 5ο: ΙΚΤΥΑ ΣΗΜΑΣΙΟΛΟΓΙΚΑ ΙΚΑ ΣΥΣΧΕΤΙΣΜΕΝΩΝ ΛΗΜΜΑΤΩΝ Εισαγωγή Ιστορική Αναδροµή Η οργάνωση των σηµασιολογικών δικτύων Σηµασιολογικό ίκτυο της Αγγλικής Σηµασιολογικό ίκτυο της Νέας Ελληνικής Χρησιµότητα των σηµασιολογικών δικτύων στην ΑΠ 99 Κεφάλαιο 6ο: ΤΕΧΝΙΚΕΣ ΒΕΛΤΙΩΣΗΣ ΕΡΩΤΗΜΑΤΩΝ - ΣΧΕΤΙΚΗ ΕΡΕΥΝΑ Εισαγωγή ιεύρυνση µε χρήση πληροφορίας που δίνεται άµεσα από τον χρήστη (explicit user feedback) ιεύρυνση µε χρήση πληροφορίας που αντλείται από το τοπικό περιεχόµενο των αποτελεσµάτων ενός ερωτήµατος ιεύρυνση µε χρήση θησαυρικής πληροφορίας 104 Κεφάλαιο 7ο: ΠΡΟΤΥΠΗ ΕΦΑΡΜΟΓΗ ΙΕΥΡΥΝΣΗΣ ΕΡΩΤΗΜΑΤΩΝ Εισαγωγή Βελτιστοποίηση ερωτήµατος χρήστη µε χρήση οντολογίας (ONTOLOGY- BASED QUERY REFINEMENT) ιαδικασία Επιλογής των Όρων του Ερωτήµατος Αποσαφήνιση του ερωτήµατος του χρήστη και εύρεση του ενδιαφέροντος Σχηµατισµός του Βελτιωµένου Ερωτήµατος Οπτικοποίηση Βελτιωµένων Ερωτηµάτων

11 Αλγόριθµος κατασκευής γράφου βελτιωµένου ερωτήµατος (query refined graph) 119 Κεφάλαιο 8ο: ΠΕΙΡΑΜΑΤΙΚΗ ΕΦΑΡΜΟΓΗ Πειραµατικά δεδοµένα για την Αγγλική Πειραµατικά αποτελέσµατα για την Αγγλική Πειραµατική εφαρµογή της τεχνικής µας για την Ελληνική Πειραµατικά Αποτελέσµατα για την Ελληνική 134 Κεφάλαιο 9ο: ΣΥΜΠΕΡΑΣΜΑΤΑ-ΕΠΙΛΟΓΟΣ ΕΠΙΛΟΓΟΣ Συµπεράσµατα Μελλοντικές Κατευθύνσεις 138 Γλωσσάριο 141 Συντµήσεις 143 Βιβλιογραφία

12 Ευρετήριο Εικόνων Εικόνα 2-1 Η ιαδικασία της Ανάκτησης Πληροφορίας Εικόνα 2-2 Τυπικό ιάγραµµα Ακρίβειας/Ανάκλησης Εικόνα 3-1 Μέσος µηνιαίος αριθµός hosts στο ιαδίκτυο Εικόνα 4-1 ιαδικασία εξαγωγής λίστας λέξεων κλειδιών για κάθε κείµενο που έχει ανακτηθεί από την µηχανή αναζήτησης Εικόνα 4-2 Είσοδος και έξοδος κανονικοποιητή Εικόνα 4-4 Πυκνός χώρος εγγράφων Εικόνα 4-5 Ασυσχέτιστος χώρος εγγραφών Εικόνα 4-6 Χώρος εγγραφών µε συσχετισµένα έγραφα Εικόνα 4-7 Γραφική αναπαράσταση του νόµου του Zipf Εικόνα 5-1 Σχέσεις υπερωνυµίας/υπωνυµίας µεταξύ των συνόλων συνώνυµων όρων Εικόνα 7-1 Παράδειγµα γράφου βελτιωµένου ερωτήµατος (Query Refined Graph) Εικόνα 7-2: Γραφική αναπαράσταση πολύσηµου όρου "jaguar" στο WordNet Εικόνα 7-3: Παράδειγµα αποσαφήνισης Με χρήση του WordNet Εικόνα 7-4 Συνολική διαδικασία σχηµατισµού του γράφου βελτιωµένου ερωτήµατος Εικόνα 7-5: Εγγύτερος κοινός πρόγονος Εικόνα 7-6: ιαδικασία κατασκευής γράφου βελτιωµένου ερωτήµατος Εικόνα 7-7 Γράφος βελτιωµένου ερωτήµατος - Στάδιο Πρώτο Εικόνα 7-8 Γράφος βελτιωµένου ερωτήµατος - Στάδιο εύτερο Εικόνα 7-9 Γράφος βελτιωµένου ερωτήµατος - Στάδιο Τρίτο Εικόνα 7-10 Γράφος βελτιωµένου ερωτήµατος - Τελικό Στάδιο Εικόνα 8-1: Μέσος όρος βαθµολογιών ανά συµµετέχοντα, για την αξιολόγηση της σχετικότητας των ανακτηθέντων αποτελεσµάτων πριν και µετά την διαδικασία βελτίωσης Εικόνα 8-2: Μέσος όρος ακρίβειας των βελτιωµένων ερωτηµάτων

13 Εικόνα 8-3: Συγκριτική απεικόνιση του βαθµού σηµασιολογικής συσχέτισης µεταξύ των όρων και των αποτελεσµάτων, πριν και µετά την βελτίωση ερωτήµατος

14 Ευχαριστίες Αρχικά θα ήθελα να ευχαριστήσω όλους όσους µε βοήθησαν, είτε µε τις γνώσεις τους είτε παρέχοντάς µου ψυχολογική στήριξη, ώστε να ολοκληρώσω την παρούσα µεταπτυχιακή µου εργασία. Ένα ιδιαίτερα θερµό ευχαριστώ οφείλω στον επιβλέποντα της ιπλωµατικής µου εργασίας, καθηγητή ηµήτρη Χριστοδουλάκη, για τη µοναδική ευκαιρία που µου έδωσε να ασχοληθώ µε ένα τόσο ενδιαφέρον και πολλά υποσχόµενο θέµα. Επίσης θέλω να τον ευχαριστήσω για την εµπιστοσύνη που µου έδειξε και την υποστήριξή του κατά την διάρκεια συγγραφής της παρούσας εργασίας. Οφείλω επίσης ένα µεγάλο ευχαριστώ στα υπόλοιπα µέλη της τριµελούς συµβουλευτικής επιτροπής για την πολύτιµη συνεισφορά τους στην ολοκλήρωση της εργασίας αυτής. Θα ήθελα επίσης να ευχαριστήσω την µεταδιδακτορική ερευνήτρια του εργαστηρίου βάσεων δεδοµένων, Στάµου Σοφία για την πολύτιµη βοήθειά που µου προσέφερε κατά την διάρκεια εκπόνησης της εργασίας αυτής. Την ευχαριστώ γιατί µε βοήθησε να προσεγγίσω πληρέστερα το αντικείµενο της παρούσας διπλωµατικής, µε συνέπεια η τελευταία να στηριχτεί σε µεγάλο βαθµό σε αποτελέσµατα της δικής της ερευνητικής δραστηριότητας. Την ευχαριστώ επίσης για τις πολύτιµες συµβουλές για τις γνώσεις της που µοιράστηκε µαζί µου κάθε φορά που τα προβλήµατα που ανέκυψαν απαιτούσαν κάτι τέτοιο, για την υποµονή που επέδειξε σε κάθε δύσκολη στιγµή και για την ηθική συµπαράσταση που µου παρείχε κάθε φορά που οι δυσκολίες φαίνονταν ανυπέρβλητες. Χωρίς την πολύτιµη βοήθειά της η παρούσα εργασία µεταξύ άλλων δεν θα είχε πραγµατοποιηθεί. Ακόµα θα ήθελα να ευχαριστήσω τους συνεργάτες, µα πάνω απ όλα φίλους µου, Τζεκου Παρασκευή και Ζώτο Νικόλαο, οι οποίοι βοήθησαν σε όλες τις φάσεις ανάπτυξης των αλγορίθµων που περιγράφονται στο κεφ7. Η βοήθειά τους ήταν παραπάνω από πολύτιµη. Τους ευχαριστώ ξανά που µε ανέχτηκαν όλο αυτό το διάστηµα και εύχοµαι η συνεργασία µας και η φιλία µας να συνεχιστεί για πολλά χρόνια ακόµα. Επίσης θα ήθελα να ευχαριστήσω τα υπόλοιπα µέλη του εργαστηρίου βάσεων και ιδιαίτερα τον Μπουλούµπαση Νικόλαο και τον Σπύρου Αλέξανδρο για την βοήθεια που µου παρείχαν κάθε φορά που την χρειάστηκα. Τέλος θα ήθελα να ευχαριστήσω την οικογένειά µου, και ιδιαίτερα τον πατέρα µου Γιάννη και την µητέρα µου Γιώτα, για την αµέριστη συµπαράσταση και στήριξη σε κάθε µου βήµα. Τους ευχαριστώ γιατί βρίσκονταν δίπλα µου σε όλη την διάρκεια των επταετών σπουδών µου και για την εµπιστοσύνη που µου έδειξαν επιτρέποντας µου να συνεχίσω τις σπουδές µου πέρα του βασικού διπλώµατος καλύπτοντας µε οικονοµικά όλο αυτό το διάστηµα. Τους ευχαριστώ και πάλι. Ελευθέριος.Ι.Κοζανίδης 14

15 Περίληψη Η βελτίωση ερωτηµάτων (Query refinement) είναι η διαδικασία πρότασης εναλλακτικών όρων στους χρήστες των µηχανών αναζήτησης του ιαδικτύου για την διατύπωση της πληροφοριακής τους ανάγκης. Παρόλο που εναλλακτικοί σχηµατισµοί ερωτηµάτων µπορούν να συνεισφέρουν στην βελτίωση των ανακτηθέντων αποτελεσµάτων, η χρησιµοποίησή τους από χρήστες του ιαδικτύου είναι ιδιαίτερα περιορισµένη καθώς οι όροι των βελτιωµένων ερωτηµάτων δεν περιέχουν σχεδόν καθόλου πληροφορία αναφορικά µε τον βαθµό οµοιότητάς τους µε τους όρους του αρχικού ερωτήµατος, ενώ συγχρόνως δεν καταδεικνύουν το βαθµό συσχέτισής τους µε τα πληροφοριακά ενδιαφέροντα των χρηστών. Παραδοσιακά, οι εναλλακτικοί σχηµατισµοί ερωτηµάτων καθορίζονται κατ αποκλειστικότητα από τη σηµασιολογική σχέση που επιδεικνύουν οι συµπληρωµατικοί όροι µε τους αρχικούς όρους του ερωτήµατος, χωρίς να λαµβάνουν υπόψη τον επιδιωκόµενο στόχο της αναζήτησης που υπολανθάνει πίσω από ένα ερώτηµα του χρήστη. Στην παρούσα εργασία θα παρουσιάσουµε µια πρότυπη τεχνική βελτίωσης ερωτηµάτων η οποία χρησιµοποιεί µια λεξική οντολογία προκειµένου να εντοπίσει εναλλακτικούς σχηµατισµούς ερωτηµάτων οι οποίοι αφενός, θα περιγράφουν το αντικείµενο της αναζήτησης του χρήστη και αφετέρου θα σχετίζονται µε τα ερωτήµατα που υπέβαλε ο χρήστης. Το πιο πρωτοποριακό χαρακτηριστικό της τεχνικής µας είναι η οπτική αναπαράσταση του εναλλακτικού ερωτήµατος µε την µορφή ενός ιεραρχικά δοµηµένου γράφου. Η αναπαράσταση αυτή παρέχει σαφείς πληροφορίες για την σηµασιολογική σχέση µεταξύ των όρων του βελτιωµένου ερωτήµατος και των όρων που χρησιµοποίησε ο χρήστης για να εκφράσει την πληροφοριακή του ανάγκη ενώ παράλληλα παρέχει την δυνατότητα στον χρήστη να επιλέξει ποιοι από τους υποψήφιους όρους θα συµµετέχουν τελικά στην διαδικασία βελτιστοποίησης δηµιουργώντας διαδραστικά το νέο ερώτηµα. Τα αποτελέσµατα των πειραµάτων που διενεργήσαµε για να αξιολογήσουµε την απόδοση της τεχνικής µας, είναι ιδιαίτερα ικανοποιητικά και µας οδηγούν στο συµπέρασµα ότι η µέθοδός µας µπορεί να βοηθήσει σηµαντικά στη διευκόλυνση του χρήστη κατά τη διαδικασία επιλογής ερωτηµάτων για την ανάκτηση πληροφορίας από τα δεδοµένα του Παγκόσµιου Ιστού. 15

16 Abstract Query refinement is the process of providing Web information seekers with alternative wordings for expressing their information needs. Although alternative query formulations may contribute to the improvement of retrieval results, nevertheless their realization by Web users is intrinsically limited in that alternative query wordings do not convey explicit information about neither their degree nor their type of correlation to the userissued queries. Moreover, alternative query formulations are determined based on the semantics of the issued query alone and they do not consider anything about the search intentions of the user issuing that query. In this paper, we introduce a novel query refinement technique which uses a lexical ontology for identifying alternative query formulations that are both informative of the user s interests and related to the user selected queries. The most innovative feature of our technique is the visualization of the alternative query wordings in a graphical representation form, which conveys explicit information about the refined queries correlation to the user issued requests and which allows the user select which terms to participate in the refinement process. Experimental results demonstrate that our method has a significant potential in improving the user search experience. 16

17 Κεφάλαιο 1ο: ΕΙΣΑΓΩΓΗ Με την έλευση του Παγκόσµιου Ιστού και την διαρκώς αυξανόµενη δηµοτικότητά του, η ανάγκη για ανάκτηση πληροφορίας από ψηφιακά δεδοµένα γίνεται όλο και πιο επιτακτική. Τούτο σε συνδυασµό µε τον όγκο της πληροφορίας που διατίθεται στον Παγκόσµιο Ιστό, έχουν συντελέσει στην προαγωγή της έρευνας αναφορικά µε τις τεχνικές που υιοθετούν οι χρήστες του ιαδικτύου κατά την αναζήτηση πληροφορίας σε αυτό. Για τη διευκόλυνση των χρηστών, έχει δηµιουργηθεί πλήθος µηχανών αναζήτησης, ο βασικό ρόλος των οποίων είναι να παρέχουν στους χρήστες ευέλικτους και εύχρηστους µηχανισµούς αναζήτησης και ανάκτησης πληροφορίας. Οι µηχανές αναζήτησης αποτελούν πλέον το πιο ευρέως διαδεδοµένο µέσο πρόσβασης στα δεδοµένα του Παγκόσµιου Ιστού. Είναι σύνηθες το φαινόµενο κατά το οποίο οι χρήστες ιαδικτύου που έχουν µια ορισµένη πληροφοριακή ανάγκη να καταφεύγουν σε µία ή περισσότερες µηχανές αναζήτησης προς τις οποίες διατυπώνουν το αίτηµά τους για πληροφόρηση υπό τη µορφή ερωτηµάτων φυσικής γλώσσας και λαµβάνουν ως απάντηση ένα πλήθος δεδοµένων που ανταποκρίνονται στην υφιστάµενη ανάγκη τους. Τα δεδοµένα που ανακτώνται παρουσιάζονται στον χρήστη υπό τη µορφή µιας διατεταγµένης λίστα υπερσυνδέσµων η επιλογή των οποίων οδηγεί στην τοποθεσία των εν λόγω ιστοσελίδων στο γράφο του Παγκόσµιου Ιστού. εδοµένης της έκτασης, του πλήθους, και της ετερογένειας που χαρακτηρίζει τα δεδοµένα του Παγκόσµιου Ιστού αλλά και δεδοµένης της πιθανής δυσκολίας των χρηστών να διατυπώσουν ερωτήµατα τα οποία να είναι κατανοητά από τους µηχανισµούς ανάκτησης παρατηρείται συχνά το φαινόµενο της ανάκτησης ελλιπών και/ή µη σχετικών δεδοµένων για κάποιο ερώτηµα. Σε αυτή την περίπτωση, η συνηθέστερη αντίδραση των χρηστών είναι να επιλέξουν ένα διαφορετικό ερώτηµα για την επαναδιατύπωση της πληροφορίακής τους ανάγκης, αποβλέποντας στην αποτελεσµατική ικανοποίηση της τελευταίας. Ωστόσο, ακόµα και στην παραπάνω περίπτωση δε διασφαλίζεται πως το νέο ερώτηµα θα είναι πιο περιγραφικό ή πιο αντιπροσωπευτικό της ανάγκης των χρηστών µε αποτέλεσµα η ανακτηθείσα πληροφορία να εξακολουθεί περιλαµβάνει µη σχετικά δεδοµένα µε το ερώτηµα. Ένας από τους βασικότερους λόγους που αιτιολογεί την εµφάνιση τέτοιων φαινοµένων είναι η αδυναµία των χρηστών να διατυπώσουν ερωτήµατα τα οποία µπορούν να περιγράψουν µε ακρίβεια την πληροφοριακή τους ανάγκη και ταυτόχρονα να είναι κατανοητά από τους εσωτερικούς µηχανισµούς της µηχανής αναζήτησης. Η επιλογή ερωτηµάτων που να περιγράφουν σαφώς την πληροφοριακή ανάγκη του χρήστη, προϋποθέτει την εξοικείωση του τελευταίου µε τη λειτουργία της µηχανής αναζήτησης και την απόκτηση εµπειρίας για την επιλογή των όρων του ερωτήµατος. Η επικοινωνία µεταξύ της µηχανής αναζήτησης και 17

18 του χρήστη παρουσιάζει εγγενείς δυσκολίες, καθώς υπάρχει ένα χάσµα που πρέπει να καλυφθεί µεταξύ της διατύπωσης του ερωτήµατος σε φυσική γλώσσα και του τρόπου µε τον οποίο αντιλαµβάνεται η µηχανή αναζήτησης το ερώτηµα. Η διαπίστωση του προβλήµατος από την ερευνητική κοινότητα πυροδότησε µεγάλο αριθµό ερευνών για την εύρεση τεχνικών, οι οποίες θα µπορούσαν να δράσουν επικουρικά προς τους χρήστες του ιαδικτύου κατά τη διαδικασία επιλογής των όρων των ερωτηµάτων προς µία µηχανή αναζήτησης. Πλήθος τεχνικών έχουν προταθεί µέχρι σήµερα προς αυτή την κατεύθυνση, οι περισσότερες από τις οποίες κάνουν χρήση κάποιου λεξιλογικών θησαυρού ή σηµασιολογικών δικτύων προκειµένου να διευρύνουν το αρχικό ερώτηµα του χρήστη συµπεριλαµβάνοντας σε αυτό συνώνυµους (κατά κύριο λόγο) όρους µε αυτούς του απαρτίζουν το αρχικό ερώτηµα του χρήστη. Οι τεχνικές αυτές είναι γνωστές µε την γενική ονοµασία: τεχνικές «διεύρυνσης ερωτηµάτων». 18

19 1.1 Αντικείµενο της ιπλωµατικής Στην παρούσα εργασία παρουσιάζεται µια πρότυπη τεχνική για την διεύρυνση ερωτηµάτων η οποία χρησιµοποιεί το σηµασιολογικό δίκτυο ληµµάτων WordNet ως τη βασική λεξική οντολογία στην οποία στηρίζεται για την άντληση εναλλακτικών όρων διατύπωσης των ερωτηµάτων των χρηστών. Σύµφωνα µε την προτεινόµενη τεχνική επιχειρείται ο εντοπισµός των ενδιαφερόντων του χρήστη και της σηµασίας των όρων του ερωτήµατος που υπέβαλλε στην µηχανή αναζήτησης. Η τεχνική λαµβάνει επίσης υπόψη τους όρους δεικτοδότησης που συµπεριλαµβάνονται στο ευρετήριο της µηχανής αναζήτησης. Τέλος επιλέγει ένα σύνολο υποψήφιων όρων για την διεύρυνση του αρχικού ερωτήµατος και το παρουσιάζει στον χρήστη µε µορφή ιεραρχικά δοµηµένου γράφου που ονοµάζουµε «γράφο βελτιωµένου ερωτήµατος». Στο γράφο βελτιωµένου ερωτήµατος συµµετέχουν τόσο όροι που σχετίζονται µέσω σχέσεων συνωνυµίας µε τους όρους του αρχικού ερωτήµατος, όσο και µε σχέσεις υπωνυµίας. Η δόµηση του γράφου βελτιωµένου ερωτήµατος γίνεται µε βάση τις σηµασιολογικές συσχετίσεις µεταξύ των όρων στο σηµασιολογικό δίκτυο WordNet (Greek WordNet για τα ελληνικά). Το γεγονός αυτό επιτρέχει στο χρήστη να αντιληφθεί την σηµασιολογική σχέση µεταξύ των όρων που χρησιµοποίησε για να διατυπώσει την πληροφοριακή του ανάγκη, και των προτεινόµενων όρων για την διεύρυνση το ερωτήµατος. Ο χρήστης µε την σειρά του καλείται να αλληλεπιδράσει µε το προτεινόµενο γράφο επιλέγοντας τους όρους που επιθυµεί να συµµετέχουν στο τελικό του ερώτηµα. Με αυτό τον τρόπο, η τεχνική µας έχει την δυνατότητα να αναγνωρίσει αποτελεσµατικά εναλλακτικούς σχηµατισµούς ερωτηµάτων και να προσαρµόζεται στα ενδιαφέροντα του χρήστη καθώς επιτρέπει να σχηµατιστούν διαφορετικά βελτιωµένα ερωτήµατα για το ίδιο αρχικό ερώτηµα, λαµβάνοντας υπόψη τους εκάστοτε στόχους αναζήτησης του χρήστη. Από τα πειράµατα που πραγµατοποιήθηκαν διαπιστώνουµε ότι η µέθοδος που προτείνουµε δίνει ιδιαίτερα ελπιδοφόρα αποτελέσµατα σχετικά µε την βελτίωση της εµπειρίας του χρήστη κατά την αναζήτησης πληροφορίας στα δεδοµένα του Παγκόσµιου Ιστού Συνεισφορά της ιπλωµατικής Έπειτα από µια διεξοδική επισκόπηση της διεθνούς βιβλιογραφίας σχετικά µε την χρήση τεχνικών βελτιστοποίησης ερωτηµάτων σε συστήµατα ανάκτησης πληροφορίας, η παρούσα 19

20 διπλωµατική εργασία επιχειρεί την παρουσίαση µιας πρότυπης τεχνικής βελτίωσης ερωτηµάτων και την µελέτη της απόδοσης της σχετικά µε την ανάκτηση δεδοµένων από µια µηχανή αναζήτησης ιαδικτύου, τόσο για την αγγλική όσο για την ελληνική γλώσσα. Από την πειραµατική εκτίµηση της απόδοσης της τεχνικής µας, συµπεραίνουµε ότι η µέθοδος που προτείνουµε δίνει ιδιαίτερα ελπιδοφόρα αποτελέσµατα σχετικά µε την βελτίωση της εµπειρίας του χρήστη κατά την αναζήτησης πληροφορίας στα δεδοµένα του Παγκόσµιου Ιστού. Η ερευνητική συνεισφορά όσων παρουσιάζονται στη διπλωµατική θα µπορούσε να συνοψιστεί στα παρακάτω συµπεράσµατα. Η τεχνική διεύρυνσης που προτείνεται: 1. Είναι αποτελεσµατική στην αποσαφήνιση των αρχικών ερωτηµάτων του χρήστη Οι όροι που προτείνονται από το σύστηµα για τη βελτίωση ενός πλήθους ερωτηµάτων αξιολογούνται από τον χρήστη ως σχετικοί µε τα ενδιαφέροντα του στην πλειοψηφία των πειραµάτων που διενεργήθηκαν. Συνεπώς, η τεχνικής µας κατορθώνει να εντοπίσει και να ερµηνεύσει µε ακρίβεια την πληροφοριακή ανάγκη του χρήστη. 2. Συµβάλλει στη βελτίωση των αποτελεσµάτων ανάκτησης Τα αποτελέσµατα της ανάκτησης µε χρήση των βελτιωµένων ερωτηµάτων που αξιολογήθηκαν από τους χρήστες βρέθηκε πως είναι εγγύτερα στην πληροφοριακή τους ανάγκη συγκριτικά µε τα αποτελέσµατα που τους επέστρεψε η µηχανή αναζήτησης για το αρχικό τους ερώτηµα. 3. Επιλέγει αντιπροσωπευτικούς όρους διεύρυνσης Εφόσον βελτιώνεται η απόδοση της ανάκτησης και τα αποτελέσµατα βρίσκονται εγγύτερα στα πληροφοριακά ενδιαφέροντα του χρήστη, θεωρούµε ότι οι όροι που προτείνει το σύστηµα είναι αντιπροσωπευτικοί των ενδιαφερόντων του χρήστη. Επίσης ο τρόπος µε τον οποίο επιλέγονται οι όροι διεύρυνσης του αρχικού ερωτήµατος διασφαλίζει ότι οι συγκεκριµένοι όροι είναι αντιπροσωπευτικοί για το πληροφοριακό περιεχόµενο της πλειοψηφίας των κειµένων που είναι διαθέσιµα. 4. εν απαιτεί την άµεση παρέµβαση του χρήστη Ο χρήστης δεν καλείται να συµπληρώσει κάποιου είδους φόρµα ώστε να δηλώσει τα πληροφοριακά του ενδιαφέροντα. Το σύστηµα αναλαµβάνει να εξάγει το προφίλ του χρήστη από τις σελίδες που επισκέπτεται κατά τη διάρκεια της πλοήγησής του στο ιαδίκτυο. 5. ιατηρεί την ανωνυµία του χρήστη 20

21 Ο χρήστης δεν απαιτείται να ακολουθήσει κάποια διαδικασία ταυτοποίησης (login) προκειµένου να έχει πρόσβαση στην υπηρεσία. Επίσης τα στοιχεία για την πλοήγηση του χρήστη χρησιµοποιούνται µόνο για µία συγκεκριµένη συνεδρία και δεν αντιστοιχίζονται σε συγκεκριµένο χρήστη αλλά στον «ενεργό χρήστη» ανά συνεδρία. Συνεπώς διατηρείται η ανωνυµία του χρήστη 6. Επιλέγει αντιπροσωπευτικούς όρους διεύρυνσης ανεξάρτητα από φυσική γλώσσα στην οποία είναι διατυπωµένα τα αρχικά ερωτήµατα Η αξιολόγηση της τεχνικής έγινε για δύο γλώσσες: Ελληνικά και Αγγλικά, µε εξίσου ικανοποιητικά αποτελέσµατα. Η τεχνική φαίνεται να λειτουργεί ανεξαρτήτως φυσικής γλώσσας αρκεί να υπάρχει δηµιουργηθεί ευρετήριο στην µηχανή αναζήτησης για όρους της αντίστοιχης γλώσσας καθώς και σηµασιολογικό δίκτυο την αντίστοιχη γλώσσα. 7. Προσφέρει δενδρική αναπαράσταση των διευρυµένων ερωτηµάτων, διευκολύνοντας έτσι την αλληλεπίδραση των χρηστών µε αυτά Ο τρόπος παρουσίασης των διευρυµένων ερωτηµάτων που προτείνουµε παρέχει ένα σύνολο πλεονεκτηµάτων σε σχέση µε τις µεθόδους που χρησιµοποιήθηκαν µέχρι σήµερα. Το πιο σηµαντικό πλεονέκτηµα είναι πως η όλη διαδικασία της διεύρυνσης είναι διαφανής προς το χρήστη. Το βελτιωµένο ερώτηµα δεν υποβάλλεται αυτόµατα στο σύστηµα. Ο χρήστης καλείται να επιλέξει ποιοι από τους όρους που του προτείνονται θα συµµετέχουν στο τελικό βελτιωµένο ερώτηµα. Μέσω της δενδρικής δοµής γίνεται κατανοητή η σηµασιολογική σχέση που υπάρχει µεταξύ των όρων του αρχικού ερωτήµατος του χρήστη και των προτεινόµενων από το σύστηµα όρων. Έτσι ο χρήστης µπορεί να επιλέξει τους όρους που θα αποτελέσουν το τελικό βελτιωµένο ερώτηµα µε τρόπο που θα προσεγγίζει καλύτερα τα πληροφοριακά του ενδιαφέροντα. 8. Είναι ανεξάρτητη από τον αλγόριθµο κατάταξης των αποτελεσµάτων ανάκτησης της µηχανής αναζήτησης Η τεχνική που προτείνουµε δεν εξαρτάται από τους εσωτερικούς µηχανισµούς της συγκεκριµένης µηχανής αναζήτηση. Συνεπώς µπορεί να εφαρµοστεί µε την ίδια επιτυχία σε οποιαδήποτε µηχανή αναζήτησης. 1.3 οµή της ιπλωµατικής Η παρούσα διπλωµατική δοµείται σε 9 Κεφάλαια. 21

22 Στο παρόν Κεφάλαιο έγινε µια σύντοµη παρουσίαση του αντικειµένου που πραγµατεύεται η διπλωµατική καθώς και των στόχων που καλείται να ικανοποιήσει. Το Κεφάλαιο 2 παρουσιάζει µια διεξοδική επισκόπηση των στόχων και της λειτουργίας των συστηµάτων ανάκτησης πληροφορίας. Γίνεται διάκριση µεταξύ της ανάκτησης πληροφορίας και της ανάκτησης δεδοµένων. Παρουσιάζονται µε λεπτοµέρεια οι τεχνικές εκτίµησης για την αξιολόγηση της απόδοσης των διαφόρων τεχνικών ανάκτησης πληροφορίας. Τέλος αναφερόµαστε στον τρόπο αναπαράστασης των κειµένων σε ένα σύστηµα ανάκτησης και παρουσιάζουµε τα σηµαντικότερα µοντέλα ανάκτησης πληροφορίας. Το Κεφάλαιο 3 περιγράφει λεπτοµερώς τη σηµερινή µορφή του ιαδικτύου και τις ιδιαιτερότητες της ανάκτησης πληροφορίας από αυτό. Στην συνέχεια παρουσιάζονται τα συστατικά µέρη µιας µηχανής αναζήτησης ιαδικτύου και οι ιδιαιτερότητες των τεχνικών εκτίµησης της απόδοσης της ανάκτησης πληροφορίας από διαδικτυακό περιβάλλον. Το Κεφάλαιο 4 περιγράφει την διαδικασία εξαγωγής των χαρακτηριστικών λέξεων (λέξεις κλειδιά) για κάθε κείµενο και τις ιδιαιτερότητες που παρουσιάζει το κάθε κείµενο ανάλογα µε τη φυσική γλώσσα στην οποία είναι διατυπωµένο. Τέλος γίνεται αναλυτική παρουσίαση της µεθόδου υπολογισµού της σπουδαιότητας των όρων ενός κειµένου µε χρήση της µετρικής TF-IDF. Στο Κεφάλαιο 5 δίνεται µια σύντοµη εισαγωγή στα σηµασιολογικά δίκτυα. Αναφερόµαστε στην οργάνωση τους µε βάση τα σύνολα συνωνύµων και τα είδη των σηµασιολογικών σχέσεων µεταξύ των συνόλων αυτών. Στη συνέχεια γίνεται αναφορά στα ιδιαίτερα χαρακτηριστικά των σηµασιολογικών δικτύων WordNet για την ελληνική και την αγγλική γλώσσα. Τέλος αναφέρουµε τρόπους αξιοποίησης των σηµασιολογικών δικτύων WordNet κατά τα διάφορα στάδια της ανάκτησης πληροφορίας από το ιαδίκτυο, δίνοντας έµφαση στις τεχνικές που χρησιµοποιούν σηµασιολογικά δίκτυα για τη βελτίωσης των ερωτηµάτων αναζήτησης. Το Κεφάλαιο 6 εστιάζεται στις υπάρχουσες τεχνικές διεύρυνσης ερωτηµάτων και παραθέτει µια επισκόπηση της βιβλιογραφίας και της σχετικής έρευνα στο πεδίο της αναζήτησης πληροφορίας από τα δεδοµένα του Παγκόσµιου Ιστού, Πιο αναλυτικά, παρουσιάζεται η αρχιτεκτονική και η λειτουργία προγενέστερων τεχνικών διεύρυνσης, 22

23 αναφέρονται οι λεξιλογικοί πόροι που αυτές χρησιµοποιούν και περιγράφεται εν συντοµία η απόδοσή τους στην ανάκτηση σχετικής µε το ερώτηµα πληροφορίας. Το Κεφάλαιο 7 παρουσιάζει αναλυτικά την τεχνική βελτίωσης ερωτηµάτων που προτείνουµε. Αρχικά γίνεται µια συνοπτική περιγραφή της µεθόδου. Στη συνέχεια περιγράφουµε τον τρόπο µε τον οποίο επιτυγχάνουµε την αποσαφήνιση των όρων του αρχικού ερωτήµατος του χρήστη, τον τρόπο µε τον οποίο καθορίζουµε το σύνολο των υποψήφιων όρων για τη διεύρυνση του αρχικού ερωτήµατος, τη διαδικασία σχηµατισµού του «γράφου βελτιωµένου ερωτήµατος» και τη µεθοδολογία µε βάση την οποία προκύπτει τελικά τα βελτιωµένο ερώτηµα που θα υποβληθεί εκ νέου στη µηχανή αναζήτησης. Τέλος περιγράφουµε τον αλγόριθµο για τον σχηµατισµό του γράφου βελτιωµένου ερωτήµατος από το σύνολο των υποψήφιων όρων για την διεύρυνση του αρχικού ερωτήµατος και δίνουµε στιγµιότυπα από µια τυχαία εκτέλεσή του. Στο Κεφάλαιο 8 παρουσιάζονται τα πειράµατα τα οποία εκτελέστηκαν προκειµένου να αξιολογηθεί η απόδοση της µεθόδου τόσο για την ακρίβειά στον εντοπισµό των ενδιαφερόντων των χρήστη όσο και στην βελτίωση της ποιότητας των αποτελεσµάτων πριν και µετά την υποβολή του βελτιωµένου ερωτήµατος στην µηχανή αναζήτησης. Επίσης πραγµατοποιούνται πειράµατα τόσο για την ελληνική όσο και για την αγγλική γλώσσα από τα οποία προκύπτουν εξίσου ικανοποιητικά αποτελέσµατα Στο Κεφάλαιο 9 παρουσιάζονται τα συµπεράσµατα σχετικά µε την αποτελεσµατικότητα της προτεινόµενης µεθόδου ενώ στην συνέχεια του κεφαλαίου αναφέρονται οι µελλοντικές προεκτάσεις την συγκεκριµένης µεθόδου. 1.4 ηµοσιεύσεις Σηµαντικό µέρος της παρούσας διπλωµατικής βασίστηκε στις παρακάτω δηµοσιεύσεις. Ευχαριστώ τους συν-συγγραφείς για την πολύτιµη συνεισφορά τους στην ολοκλήρωση της παρούσας εργασίας. 1. Tzekou V., Kozanidis L., Christodoulakis D., Stamou S Combining Statistical and Lexical Processing for Query Refinement. In Proceedings of the 5 th International Conference on Formal Approaches to South Slavic and Balkan Languages (FASSBL-5), October 18-20, Sofia, Bulgaria. 23

24 2. Kozanidis L., Tzekou P., Zotos N., Stamou S., Christodoulakis D Ontology- Based Adaptive Query Refinement. In Proceedings of the 3 rd International Conference on Web Information Systems and Technologies (WebIST), March 3-6, Barcelona, Spain, pp (14% accepted) 3. Stamou S., Kozanidis L., Tzekou P., Zotos N., Christodoulakis D HiBO: Mining the Web s Favorites. In Proceedings of the 9 th Asia-Pacific Web Conference (APWeb), June 16-18, Yellow Mountains, China (16% accepted). 4. Zotos N., Stamou S., Tzekou P., Kozanidis L., Christodoulakis D Adaptive Web Site Customization for Personalized Browsing. Under Review for the 2 nd International Conference on Metadata and Semantics Research, October 11-12, Corfu, Greece. 5. Tzekou P., Kozanidis L., Stamou S., Zotos N., Christodoulakis D Effective Site Customization based on Web Semantics and Usage Mining Under Review for the 11 th Conference on Principles and Practice of Knowledge Discovery in Databases (PKDD), September 17-21, Warsaw, Poland. 24

25 Κεφάλαιο 2ο: ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ Η ανάκτηση έγγραφης πληροφορίας σχετίζεται άµεσα µε την αναπαράσταση, την αποθήκευση και την πρόσβαση σε κείµενα, τα οποία διατυπώνονται σε φυσική γλώσσα. Η βασική λειτουργία που επιτελεί ένα σύστηµα ανάκτησης πληροφορίας είναι να ικανοποιεί ερωτήµατα, µε το να εντοπίζει άµεσα και να επιστρέφει στο χρήστη τα κείµενα εκείνα που καλύπτουν όσο το δυνατόν περισσότερο τα πληροφοριακά του αιτήµατα. Συνεπώς, ο στόχος ενός συστήµατος ανάκτησης πληροφορίας είναι να εντοπίζει κείµενα που απαντούν σε πληροφοριακά αιτήµατα του χρήστη και να τα επιστρέφει σε αυτόν [Krovetz and Croft, 1992]. Τα κείµενα αυτά συνήθως ανακτώνται µε τη µορφή µιας διατεταγµένης λίστας, όπου η διάταξη στηρίζεται σε εκτιµήσεις σχετικότητας των κειµένων µε το πληροφοριακό αίτηµα του χρήστη [Belkin and Croft, 1987]. Σε ένα σύστηµα ανάκτησης, ο χρήστης πρέπει να µετατρέψει την πληροφοριακή του ανάγκη, σε µορφή ερωτήµατος σύµφωνα µε την γλώσσα που του παρέχεται από το σύστηµα. υστυχώς όµως, ο καθορισµός της πληροφοριακής ανάγκης του χρήστη, είναι ένα δύσκολο πρόβληµα, καθώς απαιτείται η διατύπωσή της µε χρήση κατάλληλων όρων ενδιαφέροντος υπό την µορφή ερωτήµατος (query), το οποίο θα µπορεί να γίνει αντικείµενο επεξεργασίας από το σύστηµα ανάκτησης. Η παραπάνω διαδικασία, σε ένα σύστηµα Ανάκτησης Πληροφορίας, ανάγεται στην επιλογή από τον χρήστη, ενός καταλλήλου συνόλου λέξεων, οι οποίες θεωρούνται αντιπροσωπευτικές για τη σηµασιολογική αναπαράσταση της πληροφοριακής του ανάγκης. Ενώ σε ένα σύστηµα ανάκτησης δεδοµένων, η διατύπωση ενός ερωτήµατος, για παράδειγµα µε τη χρήση µιας κανονικής έκφρασης, θα µπορούσε να είναι ο καθορισµός του συνόλου των περιορισµών που θα πρέπει να ικανοποιεί το σύνολο της απάντησης. Και στις δύο περιπτώσεις, λέµε πως ο χρήστης αναζητά χρήσιµη πληροφορία και κατά συνέπεια εκτελεί µια διαδικασία ανάκτησης Τα πρώτα συστήµατα ανάκτησης πληροφορίας διαχειρίζονταν µικρές, στατικές και οµοιογενείς συλλογές κειµένων. Σε ορισµένα συστήµατα µάλιστα, οι συλλογές ήταν κατηγοριοποιηµένες ανάλογα µε το θέµα που πραγµατεύονταν τα κείµενά τους. Πιο συγκεκριµένα, οι συλλογές αποτελούνταν από ένα συγκεκριµένο αριθµό κειµένων, ο οποίος ανανεωνόταν ανά τακτά χρονικά διαστήµατα και όχι δυναµικά. Για το λόγο αυτό οι συλλογές αυτές ονοµάζονται στατικές, εφόσον ο αριθµός των κειµένων που είχαν αποθηκευµένα ήταν γνωστός και συγκεκριµένος. Παράλληλα, υπήρχε οµοιογένεια στο είδος της πληροφορίας που αποθήκευαν, η οποία τις περισσότερες φορές ήταν υπό τη µορφή κειµένου. Τα κείµενα αποθηκεύονταν τοπικά σε ένα σύστηµα ανάκτησης πληροφορίας προκειµένου να ανακτηθούν όταν κάποιος χρήστης αναζητούσε πληροφορία που µπορούσε 25

26 να ικανοποιηθεί από αυτά [Zhu and Gauch, 2000]. Καθώς οι συλλογές κειµένων µεγάλωναν προέκυψε η ανάγκη για εξοικονόµηση αποθηκευτικού χώρου, έτσι ώστε να είναι δυνατή η αποθήκευση µεγάλου όγκου πληροφορίας, αλλά να επιτυγχάνεται παράλληλα η γρήγορη αναζήτηση πληροφορίας στις συλλογές. Για την αντιµετώπιση αυτού του προβλήµατος δηµιουργήθηκαν τα πρώτα ευρετήρια των συστηµάτων ανάκτησης πληροφορίας, τα οποία αντί να ευρετηριοποιούν όλο το κείµενο, ευρετηριοποιούσαν µόνο κάποιους όρους των κειµένων, τους οποίους και αποθήκευαν. Η αναζήτηση, στη συνέχεια, γινόταν µε βάση τους όρους ευρετηριοποίησης (Keywords) και τα κείµενα που επιστρέφονταν στο χρήστη ήταν εκείνα µε όρους ευρετηριοποίησης κοινούς µε αυτούς του ερωτήµατός του. Οι όροι ευρετηριοποίησης αποτελούν στην ουσία λέξειςκλειδιά που εξάγονται από το ίδιο το κείµενο και θεωρούνται ως αντιπροσωπευτικοί ενός κειµένου. ιάφορες τεχνικές ευρετηριοποίησης1 έχουν χρησιµοποιηθεί και ως εκ τούτου διάφορες µέθοδοι επιλογής των όρων ευρετηριοποίησης έχουν κατά καιρούς εφαρµοστεί, οι περισσότερες εκ των οποίων κάνουν εκτεταµένη χρήση της συχνότητας εµφάνισης των όρων µέσα σ ένα κείµενο σε σχέση µε το µέγεθος του κειµένου και το συνολικό αριθµό των διαφορετικών ληµµάτων που αυτό περιλαµβάνει. Η διαδικασία ευρετηριοποίησης στοχεύει στην ανάθεση ενός προσδιοριστή (λέξης-κλειδί Keyword) σε κάθε αποθηκευµένο κείµενο, ο οποίος να χαρακτηρίζει το περιεχόµενο του κειµένου και να είναι αντιπροσωπευτικός αυτού. Επιπλέον, κατά την ευρετηριοποίηση ανατίθεται µια τιµή σε κάθε προσδιοριστή, η οποία αντιπροσωπεύει τη σπουδαιότητα της λέξης-κλειδί για το συγκεκριµένο κείµενο [Salton and McGill, 1983]. Η τιµή που λαµβάνει κάθε όρος καθορίζεται από πολλούς παράγοντες, όπως: η θέση του όρου µέσα στο κείµενο, η συχνότητα εµφάνισής του µέσα σε αυτό, κτλ.(βλέπε ενότητα 4.6.3) Η αναζήτηση πληροφορίας στα ευρετηριοποιηµένα κείµενα πραγµατοποιείται µε τη διατύπωση ερωτηµάτων σε φυσική γλώσσα προς τα συστήµατα ανάκτησης πληροφορίας. Στη συνέχεια πραγµατοποιείται µια σύγκριση ανάµεσα στους όρους των ερωτηµάτων και στους όρους ευρετηριοποίησης των κειµένων, και επιστρέφονται στο χρήστη τα κείµενα εκείνα που έχουν όρους ευρετηριοποίησης κοινούς µε τις λέξεις του ερωτήµατός του. Η ανακτηθείσα πληροφορία επιστρέφεται στο χρήστη µε τη µορφή µιας ταξινοµηµένης λίστας κειµένων, όπου η ταξινόµηση βασίζεται: στον αριθµό των κοινών όρων των κειµένων µε τους όρους του ερωτήµατος, στη θέση των όρων αυτών µέσα στο κείµενο, στην τιµή που τους έχει ανατεθεί και στη συχνότητα εµφάνισής τους µέσα στα κείµενα. Σε κάποιες περιπτώσεις η αλληλεπίδραση των συστηµάτων ανάκτησης πληροφορίας µε τον τελικό χρήστη είναι περιορισµένη, υπό την έννοια πως η επιλογή των ερωτηµάτων δε γίνεται 1 Για µια επισκόπηση των τεχνικών και των µεθόδων ευρετηριοποίησης σε συστήµατα ανάκτησης πληροφορίας βλ. [Witten et al., 1994] [Salton & McGill, 1983]. 26

27 από το χρήστη, αλλά από το ίδιο το σύστηµα, το οποίο παρουσιάζει στο χρήστη µια σειρά προκαθορισµένων ερωτηµάτων, µεταξύ των οποίων καλείται να επιλέξει. Το φαινόµενο αυτό παρατηρείται σε περιπτώσεις όπου επιχειρείται η εκτίµηση της απόδοσης συστηµάτων ανάκτησης πληροφορίας και όχι η εξυπηρέτηση των πληροφοριακών αιτηµάτων του χρήστη. Χαρακτηριστικά προς αυτή την κατεύθυνση είναι τα πειράµατα που έχουν κατά καιρούς γίνει στα πλαίσια του έργου TREC 2 [TREC, 1996], όπου επιχειρείται η µελέτη της λειτουργίας συστηµάτων ανάκτησης πληροφορίας και η αξιολόγηση της απόδοσης διαφόρων τεχνικών βελτίωσης της ανάκτησης που έχουν ενσωµατωθεί σε αυτά. Συµπερασµατικά, τα στατικά συστήµατα ανάκτησης πληροφορίας στοχεύουν στην ικανοποίηση πληροφοριακών αιτηµάτων µέσα από ένα σύνολο κειµένων που έχουν επεξεργαστεί και αποθηκεύσει. Τα κείµενα που θεωρούνται πως µπορεί να ικανοποιήσουν τα ερωτήµατα των χρηστών επιστρέφονται στους τελευταίους υπό τη µορφή µιας διατεταγµένης λίστας αναφορών, την οποία θα πρέπει ο χρήστης να εξετάσει και να αποφανθεί για την ποιότητα και πληρότητά της. 2.1 Ανάκτηση Πληροφορίας και Ανάκτηση εδοµένων Συχνά οι όροι ανάκτηση δεδοµένων και ανάκτηση πληροφορίας συγχέονται. Η ανάκτηση δεδοµένων σε ένα περιβάλλον ΑΠ, συνίσταται στην εύρεση όλων των κειµένων τα οποία περιέχουν κάποια από τις λέξεις κλειδιά που εµφανίζονται σε ένα ερώτηµα προς το σύστηµα. Μια γλώσσα ανάκτησης δεδοµένων, στοχεύει στην ανάκτηση όλων των αντικειµένων, που ικανοποιούν ένα σύνολο καλά ορισµένων συνθηκών, που διατυπώνονται µε µια κανονική έκφραση ή µε σχεσιακή άλγεβρα. Επίσης σε ένα σύστηµα ανάκτησης δεδοµένων (πχ. µια σχεσιακή βάση δεδοµένων), τα δεδοµένα είναι οργανωµένα σε καλά ορισµένη δοµή και συγκεκριµένη σηµασιολογία. Έτσι σε ένα σύστηµα ανάκτησης δεδοµένων, η ανάκτηση ενός και µόνο λανθασµένου αποτελέσµατος, είναι καταστροφική. Στην πράξη όµως η εύρεση όλων των κειµένων που περιέχουν κάποιο συγκεκριµένο όρο κλειδί απέχει από αυτό που επιθυµεί ο χρήστης. ενώ η ανάκτηση δεδοµένων δίνει λύσεις στο χρήστη ενός συστήµατος βάσης δεδοµένων, δεν λύνει το πρόβληµα της ανάκτησης πληροφορίας, σχετικής µε κάποιο θέµα.. Την ανάγκη αυτή έρχεται να καλύψει η ανάκτηση πληροφορίας. Συνήθως η πληροφοριακή ανάγκη του χρήστη εντοπίζεται στην εύρεση κειµένων που περιέχουν πληροφορίες για ένα συγκεκριµένο θέµα. ηλαδή κειµένων που µε κάποιο τρόπο κρίνονται σχετικά µε το ερώτηµα που εκφράζει την πληροφοριακή του 2 Για µια επισκόπηση των πειραµάτων αξιολόγησης της απόδοσης της ανάκτησης πληροφορίας στα πλαίσια του TREC βλ. [TREC, 1996] 27

28 ανάγκη. Για να µπορέσει ένα σύστηµα ΑΠ να ανταποκριθεί στην πληροφοριακή ανάγκη του χρήστη, θα πρέπει να είναι σε θέση, να διερµηνεύσει µε κάποιον τρόπο το σηµασιολογικό περιεχόµενο το αντικειµένων (κείµενα) που διαχειρίζεται, και να τα διατάξει σύµφωνα µε το βαθµό σχετικότητάς τους προς το ερώτηµα του χρήστη. Η διαδικασία της διερµηνείας συνίσταται στην εξαγωγή συντακτικής και σηµασιολογικής πληροφορίας από τα κείµενα, η οποία θα χρησιµοποιηθεί για να ανταποκριθεί το σύστηµα στην πληροφοριακή ανάγκη του χρήστη. Το πρόβληµα δεν εντοπίζεται µόνο στην εξαγωγή της παραπάνω πληροφορίας. Επιπλέον θα πρέπει να µπορούµε να χρησιµοποιήσουµε την εξαγόµενη πληροφορία για να αποφασίσουµε τη σχετικότητα προς κάποιο ερώτηµα. Ο κύριος στόχος άλλωστε ενός συστήµατος ΑΠ, είναι να µπορεί να επιστρέψει όλα τα κείµενα που είναι σχετικά προς κάποιο ερώτηµα, επιστρέφοντας παράλληλα και όσο το δυνατόν λιγότερα µη σχετικά κείµενα. Τα ανακτηθέντα αποτελέσµατα µπορεί να είναι ανακριβή και η εµφάνιση κάποιων λαθών στα αποτελέσµατα, περνά συχνά απαρατήρητη. Ο λόγος αυτής της διαφοροποίησης είναι ότι το σύστηµα ΑΠ, διαχειρίζεται κείµενα γραµµένα σε φυσική γλώσσα, τα οποία δεν είναι πάντα επαρκώς δοµηµένα και είναι συχνά αµφίσηµα. Γι αυτό το λόγο η έννοια της σχετικότητας, διαδραµατίζει κυρίαρχο ρόλο στην ανάκτηση πληροφορίας. 2.2 ιαδικασία Ανάκτησης Για να περιγράψουµε τη διαδικασία της ανάκτησης, χρησιµοποιούµε µια απλή και γενικευµένη αρχιτεκτονική λογισµικού, όπως αυτή που φαίνεται στην Εικόνα 2-1. Πρώτα απ όλα πριν καν να αρχικοποιηθεί η διαδικασία ανάκτησης, πρέπει να οριστεί η βάση δεδοµένων των κειµένων. Αυτό συνήθως γίνεται από τον υπεύθυνο της βάσης δεδοµένων, οποίος ορίζει τα εξής: α) τα κείµενα που θα χρησιµοποιηθούν, β) τις πράξεις που θα εφαρµοστούν στα κείµενα γ) το µοντέλο των κειµένων (δηλ. τη δοµή των κειµένων και ποια είναι τα ανακτηθέντα στοιχεία) Από τη στιγµή που καθορίζεται η λογική αναπαράσταση των κειµένων, ο υπεύθυνος της Β (βάσης δεδοµένων), κατασκευάζει χρησιµοποιώντας τη Μονάδα ιαχείρισης Β, το ευρετήριο (index) των κειµένων. Το ευρετήριο είναι µια πολύ κρίσιµη δοµή δεδοµένων, γιατί επιτρέπει αποδοτική αναζήτηση σε µεγάλο όγκο δεδοµένων. Μπορεί να χρησιµοποιηθεί µεγάλη ποικιλία δοµών δεικτοδότησης αλλά η πιο δηµοφιλής δοµή είναι αυτή των ανεστραµµένων αρχείων όπως φαίνεται και στην Εικόνα 2-1. Το κόστος σε χώρο 28

29 και χρόνο για τον καθορισµό της βάσης δεδοµένων και την κατασκευή του ανεστραµµένου αρχείου, κατανέµονται εκτελώντας πολλά ερωτήµατα πάνω στη βάση. εδοµένου του ότι έχουµε κατασκευάσει ευρετήριο για τη βάση δεδοµένων, η διαδικασία της ανάκτησης µπορεί να ξεκινήσει. Ο χρήστης αρχικά καθορίζει µια ανάγκη χρήστη, η οποία αναλύεται συντακτικά και στην οποία εφαρµόζονται όλες οι πράξεις που εφαρµόζονται και στα κείµενα της βάσης. Στη συνέχεια πρέπει να εφαρµοστούν οι λεγόµενες πράξεις στο ερώτηµα (query operations), για να προκύψει το πραγµατικό ερώτηµα, το οποίο αποτελεί την αναπαράσταση της ανάγκης χρήστη σε επίπεδο συστήµατος,. Κατόπιν το ερώτηµα επεξεργάζεται για να προκύψουν τα ανακτηµένα κείµενα. Η επεξεργασία του ερωτήµατος γίνεται γρήγορα, χάρη στο ευρετήριο, που χτίστηκε στο προηγούµενο βήµα. Πριν παρουσιαστούν τα αποτελέσµατα στο χρήστη, τα ανακτηµένα κείµενα κατατάσσονται µε βάση µια εκτίµηση για σχετικότητά τους. Έπειτα ο χρήστης εξετάζει το σύνολο των διατεταγµένων κειµένων για να εντοπίσει χρήσιµη πληροφορία. Σ αυτό το σηµείο µπορεί να καταδείξει µια σειρά από κείµενα που είναι βέβαιο ότι ικανοποιούν την πληροφοριακή του ανάγκη και να ξεκινήσει έτσι έναν κύκλο ανάδρασης χρήστη (user feedback). Κατά τη διάρκεια ενός τέτοιου κύκλου, το σύστηµα χρησιµοποιεί τα κείµενα που επιλέχθηκαν από τον χρήστη για να επαναδιατυπώσει το ερώτηµα, µε την ελπίδα ότι το επαναδιατυπωµένο ερώτηµα είναι καλύτερη αναπαράσταση της πραγµατικής ανάγκης χρήστη. εδοµένων των διαθέσιµων διεπαφών χρήστη που είναι διαθέσιµες στα σύγχρονα συστήµατα ΑΠ (Μηχανές Αναζήτησης και Web browsers), εύκολα διαπιστώνει κανείς ότι ο χρήστης δεν διατυπώνει σχεδόν ποτέ την πραγµατική του πληροφοριακή ανάγκη. Αυτό που στην πράξη συµβαίνει, είναι ο χρήστης να καλείται να παρέχει µια απευθείας διατύπωση του ερωτήµατος που θα επεξεργαστεί το σύστηµα. Εφόσον οι περισσότεροι χρήστες δεν έχουν γνώση των πράξεων που εφαρµόζονται στο κείµενο και στα ερωτήµατα, το ερώτηµα που παρέχουν είναι συχνά ανεπαρκώς διατυπωµένο. Γι αυτό δεν ξενίζει το γεγονός ότι ελλιπώς διατυπωµένα ερωτήµατα, οδηγούν σε ελλιπή ανάκτηση πληροφορίας (όπως συµβαίνει συχνά στο ιαδίκτυο). 29

30 Εικόνα 2-1 Η ιαδικασία της Ανάκτησης Πληροφορίας 2.3 Μετρικές Εκτίµησης Απόδοσης Όπως γνωρίζουµε ο στόχος ενός συστήµατος ανάκτησης πληροφορίας είναι η ανάκτηση κειµένων που ικανοποιούν την πληροφοριακή ανάγκη του χρήστη, η οποία διατυπώνεται µε χρήση ερωτηµάτων. Τα ερωτήµατα που υποβάλλονται από τους χρήστες χαρακτηρίζονται από µια εγγενή ασάφεια, γεγονός που µας οδηγεί σε αποτελέσµατα τα οποία ικανοποιούν σε διαφορετικό βαθµό την πληροφοριακή ανάγκη το χρήστη. ηµιουργείται λοιπόν η ανάγκη για την ύπαρξη µετρικών οι οποίες µας βοηθούν να κατατάξουν τα ανακτόµενα κείµενα µε βάση τη σχετικότητά τους µε το υποβαλλόµενο ερώτηµα. Η χρήσης αυτών των µετρικών αποτελεί την καλούµενη Εκτίµηση Απόδοσης Ανάκτησης. Αυτή η εκτίµηση απόδοσης βασίζεται στην ύπαρξη µίας συλλογής κειµένων αναφοράς (test reference collection) και µίας µετρικής εκτίµησης απόδοσης. Η συλλογή κειµένων αναφοράς αποτελείται από µία συλλογή κειµένων, ένα σύνολο προτύπων πληροφοριακών αναγκών (ερωτηµάτων) και ένα σύνολο σχετικών κειµένων (όπως παρέχεται από ειδικούς) για κάθε πληροφοριακή ανάγκη. Παραδείγµατα τέτοιων συλλογών κειµένων αναφοράς είναι οι TIPSTER/TREC, CACM, CISI και Cystic Fibrosis. οθείσης µίας νέας στρατηγικής ανάκτησης πληροφορίας S, η µετρική απόδοσης καθορίζει (για κάθε πληροφοριακή ανάγκη) 30

31 την οµοιότητα ανάµεσα στο σύνολο των κειµένων που ανακτήθηκαν από την S και στο σύνολο των σχετικών κειµένων όπως έχει προκαθοριστεί από τους ειδικούς. ύο από τις πιο βασικές µετρικές εκτίµησης απόδοσης ανάκτησης είναι η ακρίβεια (precision) και η ανάκληση (recall) [Salton, Buckley, 1988]. Στην συνέχεια θα αναλύσουµε τις δύο αυτές µετρικές αλλά θα αναφερθούµε και σε άλλες εναλλακτικές µετρικές εκτίµησης απόδοσης όπως η Ε µετρική, ο αρµονικός µέσος όρος Ανάκληση και Ακρίβεια Έστω Ι µία πρότυπη πληροφοριακή ανάγκη (σε µία συλλογή κειµένων αναφοράς) και R το σύνολο των σχετικών της κειµένων. Έστω επίσης R ο αριθµός των κειµένων στο σύνολο R. Υποθέστε ότι µία δοσµένη στρατηγική ανάκτησης (της οποίας η απόδοση εκτιµάται) επεξεργάζεται την πληροφοριακή ανάγκη Ι και παράγει ένα σύνολο κειµένων απάντησης Α. Έστω A ο αριθµός των κειµένων στο σύνολο A και έστω Rα ο αριθµός των κειµένων που είναι κοινά στα σύνολα R και A. Τότε οι µετρικές ανάκληση (recall) και ακρίβεια (precision) ορίζονται ως εξής: Ανάκληση (Recall) είναι το ποσοστό των σχετικών κειµένων (σύνολο R) που έχει ανακτηθεί, δηλαδή, Α ν άκληση = Ra R Ακρίβεια (Precision) είναι το ποσοστό των ανακτηθέντων κειµένων (σύνολο Α) που είναι σχετικό, δηλαδή Ra Α κρί βεια = Α Η ακρίβεια και η ανάκληση, όπως έχουν οριστεί, υποθέτουν ότι όλα τα κείµενα στο σύνολο απάντησης Α έχουν εξετασθεί από τον χρήστη. Εντούτοις, ο χρήστης συνήθως δεν βλέπει όλα τα κείµενα του συνόλου απάντησης Α αµέσως, αλλά αντίθετα τα κείµενα του Α εµφανίζονται σε αυτόν ένα προς ένα διατεταγµένα µε βάση το βαθµό σχετικότητας τους µε την πληροφοριακή ανάγκη Ι (η διάταξη και ο βαθµός σχετικότητας παράγονται από τον αλγόριθµο ανάκτησης, άρα αποτελούν και αυτά αντικείµενα προς εκτίµηση απόδοσης). Στην περίπτωση αυτή οι µετρικές ανάκλησης και ακρίβειας µεταβάλλονται καθώς ο χρήστης εξετάζει τα διάφορα κείµενα της ανακτώµενης συλλογής (από τα περισσότερο σχετικά προς 31

32 τα λιγότερο σχετικά). Συνεπώς πλήρης εκτίµηση απόδοσης απαιτεί την σχεδίαση ενός διαγράµµατος ακρίβειας/ανάκλησης όπως θα περιγραφεί άµεσα στη συνέχεια. Όπως προηγουµένως λοιπόν, ας θεωρήσουµε µία συλλογή κειµένων αναφοράς, ένα σύνολο προτύπων πληροφοριακών αναγκών, ένα ερώτηµα q το οποίο ανήκει στη συλλογή των προτύπων πληροφοριακών αναγκών και έστω Rq το σύνολο των σχετικών κειµένων για το ερώτηµα q όπως έχει καθοριστεί από ειδικούς. Για παράδειγµα ας υποθέσουµε ότι το σύνολο Rq περιέχει τα ακόλουθα κείµενα Rq={d1, d3, d5,d7, d9,d13, d21, d41, d43, d45}. Θεωρείστε ένα νέο αλγόριθµο ανάκτησης που µόλις έχει σχεδιαστεί, και υποθέστε ότι ο αλγόριθµος αυτός επιστρέφει την ακόλουθη συλλογή κειµένων (η διάταξη σχετικότητας που παρέχει ο αλγόριθµος δηλώνεται από τους αριθµούς δίπλα σε κάθε κείµενο ενώ µε έντονη σκίαση παρουσιάζονται τα κείµενα που ανήκουν στο σύνολο Rq) d7 6. d2 7. d3 8. d6 9. d d d d d d d4 d40 d10 d36 d1 Εάν εξετάσουµε την ανωτέρω διάταξη ξεκινώντας από το κείµενο που βρίσκεται στη θέση 1 παρατηρούµε τα εξής. Αρχικά το κείµενο d7 που βρίσκεται στην θέση 1 είναι σχετικό, και αντιστοιχεί στο 10% του συνόλου των σχετικών κειµένων (το σύνολο Rq). Συνεπώς λέµε ότι έχουµε ακρίβεια 100% και ανάκληση 10%. Στη συνέχεια το κείµενο d3 που βρίσκεται στη θέση 3 είναι το επόµενο σχετικό κείµενο. Στο σηµείο αυτό έχουµε ακρίβεια περίπου 66% (δύο στα τρία κείµενα είναι σχετικά) και ανάκληση 20% (δύο στα δέκα από τα σχετικά κείµενα έχουν ειδωθεί). Συνεχίζοντας µε τον τρόπο παίρνουµε ένα σύνολο ζευγαριών (τιµή ακρίβειας, τιµή ανάκλησης) που µπορούµε να παραστήσουµε σε ένα διάγραµµα το καλούµενο διάγραµµα ακρίβειας/ανάκλησης. Ένα τέτοιο παράδειγµα διαγράµµατος φαίνεται στην Εικόνα 2-2. Συνήθως το διάγραµµα αυτό βασίζεται σε 11 πρότυπα επίπεδα ανάκλησης τα 0%, 10%,..., 100%, όπου σε κάθε επίπεδο η ακρίβεια υπολογίζεται µε χρήση µίας διεργασίας παρεµβολής (interpolation) της ακόλουθης µορφής: 32

33 έστω rj, j;æ {0,1,2,,10} το j-οστό επίπεδο ανάκλησης (π.χ. το r5 είναι το επίπεδο ανάκλησης 50%), τότε: P(rj)=max rj r rj+1 P(r) Με άλλα λόγια η παρεµβεβληµένη ακρίβεια στο j-οστό πρότυπο επίπεδο ανάκλησης, είναι η µέγιστη γνωστή ακρίβεια σε οποιοδήποτε γνωστό επίπεδο ανάκλησης µεταξύ του j- οστού και του j+1-οστού επιπέδου. Εικόνα 2-2 Τυπικό ιάγραµµα Ακρίβειας/Ανάκλησης Στο ανωτέρω παράδειγµα το διάγραµµα έχει υπολογιστεί για ένα απλό ερώτηµα q. Συνήθως όµως η εκτίµηση απόδοσης ανάκτησης συστηµάτων ανάκτησης πληροφορίας γίνεται µε την πραγµατοποίηση διάφορων ερωτήσεων από το σύνολο των προτύπων πληροφοριακών αναγκών την σχεδίαση ατοµικών διαγραµµάτων για κάθε ερώτηµα και στη συνέχεια τη δηµιουργία ενός συνολικού διαγράµµατος όπου οι συντεταγµένες κάθε σηµείου θα προκύπτουν ως ο µέσος όρος των αντίστοιχων σηµείων στα ατοµικά διαγράµµατα για κάθε ερώτηµα. Τα διαγράµµατα ακρίβειας/ανάκλησης θεωρούνται ως µία από τις κλασσικές στρατηγικές εκτίµησης της απόδοσης ανάκλησης ενός συστήµατος ανάκτησης πληροφορίας και χρησιµοποιούνται εκτεταµένα στην βιβλιογραφία των συστηµάτων ανάκτησης. Τα διαγράµµατα αυτά είναι χρήσιµα επειδή µας επιτρέπουν να εκτιµήσουµε ποσοτικά τόσο την ποιότητα του ανακτώµενου συνόλου κειµένων όσο και το εύρος του αλγορίθµου ανάκτησης. Επιπλέον είναι απλά στην κατανόηση και µπορούν να συνοψιστούν και εύκολα µε τη χρήση µίας απλής αριθµητικής τιµής Καταλληλότητα Ακρίβειας και Ανάκλησης Οι µετρικές ακρίβειας και ανάκλησης έχουν χρησιµοποιηθεί κατά κόρον για την εκτίµηση της απόδοσης ανάκτησης αλγορίθµων ανάκτησης. Εντούτοις η χρήση των δύο 33

34 µετρικών παρουσιάζει ορισµένα εγγενή προβλήµατα τα κυριότερα εκ των οποίων είναι τα ακόλουθα: Η κατάλληλη εκτίµηση της µέγιστης ανάκλησης για ένα ερώτηµα απαιτεί λεπτοµερή γνώση όλων των κειµένων της συλλογής, Σε µεγάλες και δυναµικές συλλογές δεδοµένων αυτή η γνώση δεν είναι διαθέσιµη κάτι που συνεπάγεται την αδυναµία εκτίµησης της ανάκλησης. Η ανάκληση και η ακρίβεια είναι σχετιζόµενες µετρικές που καλύπτουν διαφορετικά θέµατα η καθεµία ενός συνόλου ανακτώµενων κειµένων. Σε πολλές περιπτώσεις η χρήση µίας µόνο µετρικής που να µπορεί να συνδυάζει ανάκληση και ακρίβεια µπορεί να θεωρηθεί πιο κατάλληλη. Η ανάκληση και η ακρίβεια υπολογίζουν την αποτελεσµατικότητα της ικανοποίησης ενός συνόλου ερωτηµάτων, τα οποία επεξεργαζόµαστε χωρίς να απαιτείται η παρεµβολή του χρήστη. Εντούτοις σε µοντέρνα συστήµατα η διεπαφή και η αλληλεπίδραση µε τον χρήστη αποτελούν σηµείο κλειδί στην επεξεργασία ενός ερωτήµατος, κάτι που καθιστά επιτακτική την υιοθέτηση µετρικών που καλύπτουν αυτόν τον τρόπο λειτουργίας του συστήµατος. Οι µετρικές ανάκλησης και ακρίβειας είναι κατάλληλες όταν υπάρχει µία γραµµική διάταξη στα ανακτηθέντα κείµενα. Για συστήµατα που δεν υποστηρίζουν κάτι τέτοιο η ανάκληση και η ακρίβεια µπορεί να είναι ανακριβείς Εναλλακτικές Μετρικές Εφόσον η ανάκληση και η ακρίβεια, παρά τη συχνή χρήση τους δεν είναι πάντα οι πιο κατάλληλες µετρικές για την εκτίµηση της απόδοσης ανάκτησης, έχουν προταθεί διάφορες εναλλακτικές µετρικές, µία σύνοψη των οποίων παρατίθεται στη συνέχεια Αρµονικός Μέσος Όρος Όπως έχει αναφερθεί πριν, µία µετρική που να µπορεί να συνδυάζει και ανάκληση και ακρίβεια είναι συχνά επιθυµητή. Μία τέτοια µετρική είναι ο αρµονικός µέσος όρος F ανάκλησης και ακρίβειας που ορίζεται ως εξής: 2 F( j) = r( j) P( j) 34

35 όπου r(j) είναι η ανάκληση για το j-οστό κείµενο στη διάταξη, P(j) είναι η ακρίβεια για το j-οστό κείµενο στη διάταξη και F(j) είναι ο αρµονικός µέσος όρος των r(j), P(j). Η συνάρτηση F παίρνει τιµές στο διάστηµα [0,1], όπου η τιµή 0 σηµαίνει ότι κανένα σχετικό κείµενο δεν έχει ανακτηθεί και η τιµή 1 ότι όλα τα κείµενα που έχουν ανακτηθεί είναι σχετικά. Επιπλέον ο αρµονικός µέσος όρος παίρνει µεγάλες τιµές όταν τόσο η ακρίβεια όσο και η ανάκληση έχουν υψηλές τιµές. Συνεπώς ο προσδιορισµός της µέγιστης τιµής για την F, µπορεί να µεταφραστεί ως προσπάθεια προσδιορισµού του καλύτερου συνδυασµού των µετρικών ανάκλησης και ακρίβειας Η Μετρική Ε Μία άλλη µετρική που συνδυάζει ακρίβεια και ανάκληση είναι η µετρική Ε. Το βασικό πλεονέκτηµα της µετρικής αυτής είναι ότι επιτρέπει στο χρήστη να προσδιορίσει αν τον ενδιαφέρει περισσότερο η ανάκληση ή η ακρίβεια. Η µετρική Ε ορίζεται ως εξής: b E( j) = 2 b 1 + r( j) P( j) Όπου r(j) είναι η ανάκληση για το j-οστό κείµενο στη διάταξη, P(j) είναι η ακρίβεια για το j-οστό κείµενο στη διάταξη, E(j) είναι η µετρική Ε των r(j), P(j) και b είναι µία παράµετρος που προσδιορίζεται από τον χρήστη και αντανακλά τη σχετική σηµαντικότητα της ακρίβειας και της ανάκλησης. Όταν b=1 η µετρική είναι το συµπλήρωµα του αρµονικού µέσου όρου, τιµές του b µεγαλύτερες από 1 υποδηλώνουν ότι ο χρήστης ενδιαφέρεται περισσότερο για την ακρίβεια παρά για την ανάκληση, ενώ τιµές του b µικρότερες από 1 υποδηλώνουν ότι ο χρήστης ενδιαφέρεται περισσότερο για την ανάκληση παρά για την ακρίβεια Μετρικές προσανατολισµένες προς τον χρήστη Οι µετρικές ακρίβειας και ανάκλησης βασίζονται στην υπόθεση ότι το σύνολο των σχετικών κειµένων είναι το ίδιο ανεξάρτητα από τον χρήστη. Εντούτοις διαφορετικοί χρήστες µπορεί να βλέπουν µε διαφορετικό τρόπο ποια κείµενα είναι σχετικά και ποια όχι. Για την αντιµετώπιση του προβλήµατος αυτού έχουν προταθεί µετρικές προσανατολισµένες προς τον χρήστη όπως βαθµός κάλυψης (coverage ratio), βαθµός καινοτοµίας (novelty ratio), σχετική ανάκληση (relative recall) και κόστος ανάκλησης (recall effort). 35

36 Όπως και στην προηγούµενη ενότητα θεωρούµε ότι έχουµε µία συλλογή κειµένων αναφοράς, µία πρότυπη πληροφοριακή ανάγκη Ι και µία στρατηγική ανάκτησης που θα πρέπει να εκτιµηθεί. Έστω R το σύνολο των σχετικών κειµένων για την πληροφοριακή ανάγκη I, A το σύνολο των κειµένων που έχει ανακτηθεί και U R το σύνολο των κειµένων που είναι γνωστό στο χρήστη ότι είναι σχετικά προς το ερώτηµα του. Ο αριθµός των κειµένων στο σύνολο U συµβολίζεται µε U. Η τοµή των συνόλων Α και U µας παρέχει το σύνολο των κειµένων που είναι γνωστό στο χρήστη ότι είναι σχετικά προς το ερώτηµα του και που έχουν ανακτηθεί. Έστω R k ο αριθµός των κειµένων στο σύνολο αυτό. R u o αριθµός των σχετικών κειµένων, που δεν γνώριζε πριν ο χρήστης και τα οποία έχουν ανακτηθεί. Ορίζουµε ως βαθµό κάλυψης (coverage ratio) το ποσοστό των γνωστών (ως προς την σχετικότητα) κειµένων του χρήστη που έχουν ανακτηθεί, δηλαδή: Βαθµός κάλυψης = R k U Ορίζουµε ως βαθµό καινοτοµίας (novelty ratio) το ποσοστό των σχετικών κειµένων που έχουν ανακτηθεί και που ήταν πριν άγνωστα στον χρήστη, δηλαδή: Bαθµός καινοτοµίας = R u R + u R k Yψηλός βαθµός κάλυψης σηµαίνει ότι το σύστηµα µπορεί να εντοπίσει τα περισσότερα από τα σχετικά κείµενα που ο χρήστης περιµένει να ανακτήσει, ενώ υψηλός βαθµός καινοτοµίας σηµαίνει ότι το σύστηµα αποκαλύπτει στον χρήστη πολλά νέα σχετικά κείµενα που πριν ήταν άγνωστα. ύο ακόµα µετρικές είναι η σχετική ανάκληση (relative recall) και το κόστος ανάκλησης (recall effort). Η σχετική ανάκληση ορίζεται ως το ποσοστό των σχετικών κειµένων που έχουν ανακτηθεί και των οποίων η ανάκτηση ήταν αναµενόµενη από τον χρήση. Στην περίπτωση όπου ο χρήστης τερµατίσει την αναζήτησή του όταν εντοπίσει την επιθυµητή πληροφορία η σχετική ανάκληση ισούται µε τη µονάδα. Το κόστος ανάκλησης (recall effort) ορίζεται ως το ποσοστό των κειµένων που έχει εξετάσει ο χρήστης µέχρι να ικανοποιήσει την πληροφοριακή του ανάγκη. 36

37 Η εκτίµηση της απόδοσης των συστηµάτων ανάκτησης πληροφορίας έχει αποδειχτεί ότι είναι ιδιαίτερα δύσκολη διαδικασία. Γενικά όµως σύγκριση µεταξύ διαφόρων µεθόδων είναι δύσκολη [Yang, Liu, 1999] ειδικά στην περίπτωση των µεθόδων κατηγοριοποίησης, κυρίως επειδή τα δηµοσιευµένα αποτελέσµατα δεν επιτρέπουν απευθείας συγκρίσεις. 37

38 2.4 Μοντέλα ανάκτησης πληροφορίας Ανάγκη για την ύπαρξη µοντέλων ΑΠ Η πιο συνηθισµένη πρακτική για την δεικτοδότηση και την ανάκτηση κειµένων είναι η χρήση των όρων δεικτοδότησης (index terms). Ένας όρος δεικτοδότησης είναι µια λέξη κλειδί ή µια οµάδα εννοιολογικά συσχετιζόµενων λέξεων, η εµφάνιση των οποίων λαµβάνει από µόνη της µια αυτόνοµη έννοια (π.χ. computer algorithm). Κατά µια πιο απλοποιηµένη εκδοχή, ένας όρος δεικτοδότησης είναι απλά µια λέξη που εµφανίζεται σε ένα κείµενο της συλλογής. Η ανάκτηση που βασίζεται στο ταίριασµα όρων δεικτοδότησης ερωτήµατος και κειµένων της συλλογής, είναι πολύ απλή αλλά εισάγει ένα σύνολο προβληµατισµών για την αποτελεσµατικότητά της. Για παράδειγµα, η βασική υπόθεση που εισάγει η παραπάνω στρατηγική, είναι ότι η σηµασιολογία τόσο των κειµένων όσο και της πληροφοριακής ανάγκης του χρήστη, µπορεί να εκφραστεί µε φυσικό τρόπο, µέσα από ένα σύνολο λέξεων. Στην πράξη ένα σηµαντικό µέρος της σηµασιολογίας του κειµένου αγνοείται κατά τη µεταφορά στο χώρο του ευρετηρίου. Ο λόγος γι αυτήν την απώλεια είναι ότι οι λέξεις αποκτούν την ερµηνεία τους ανάλογα µε το πλαίσιο συµφραζοµένων στο οποίο εµφανίζονται. Από αυτή την παρατήρηση πηγάζουν δυο φαινόµενα, η πολυσηµία και η συνωνυµία. Στην πολυσηµία, έχουµε το φαινόµενο ο ίδιος όρος να λαµβάνει διαφορετικές σηµασίες ανάλογα µε τα συµφραζόµενα που συνοδεύουν την εµφάνισή του. Για παράδειγµα ο όρος spider µπορεί να χρησιµοποιείται για να δηλώσει ένα web spider αν το κείµενο µιλάει για το ιαδίκτυο ή το έντοµο σε άλλες περιπτώσεις. Στην συνωνυµία, διαφορετικοί όροι µπορούν να περιγράφουν την ίδια έννοια όταν εµφανίζονται στα ίδια πλαίσια συµφραζοµένων. Για παράδειγµα η έννοια αυτοκίνητο, µπορεί να περιγράφεται ισοδύναµα από τις λέξεις: αυτοκίνητο, αµάξι, τετράτροχο, όχηµα. Η συνωνυµία και η πολυσηµία, αποτελούν κλασσικά προβλήµατα που συνδέονται µε τον τρόπο λογικής αναπαράστασης των κειµένων µέσω ευρετηρίου. 38

39 Έχοντας υπόψη µας τα παραπάνω προβλήµατα και µε δεδοµένο ότι η διαδικασία της αντιστοίχησης του ερωτήµατος στη συλλογή των κειµένων, γίνεται στο χώρο του ευρετηρίου, µπορούµε να κατανοήσουµε γιατί συχνά τα αποτελέσµατα µιας ερώτησης διατυπωµένης µε λέξεις-κλειδιά δεν είναι τα αναµενόµενα. Αν µάλιστα λάβουµε υπόψη µας και το γεγονός ότι πολλοί χρήστες δεν είναι σε θέση να επιλέξουν τις κατάλληλες λέξειςκλειδιά για τον σχηµατισµό ερωτήσεων, το πρόβληµα αµβλύνεται. Τέτοια προβλήµατα ανακύπτουν συχνά στην περίπτωση των δικτυακών µηχανών αναζήτησης όπου µεγάλο µέρος των χρηστών δεν είναι εξοικειωµένο µε τους µηχανισµούς ανάκτησης και ως εκ τούτου αδυνατεί να επιλέξει ερωτηµάτων που εκφράζουν αποτελεσµατικά την πληροφοριακή του ανάγκη. Η πρόκληση για ένα µοντέλο για ΑΠ, είναι να δηµιουργήσει το υπόβαθρο, ώστε να υπάρξει ταυτοποίηση της πληροφοριακής ανάγκης χρήστη µε τα κείµενα της συλλογής, παρά την ανακριβή αναπαράσταση και µε όσο το δυνατόν µικρότερες αποκλίσεις. Στο πνεύµα της ανάκτησης πληροφορίας, ταυτοποίηση σηµαίνει τη δυνατότητα εκτίµησης από το σύστηµα, της σχετικότητας των κειµένων ως προς το δοθέν ερώτηµα. Μια τέτοια εκτίµηση επιτυγχάνεται µε την χρήση ενός αλγορίθµου κατάταξης (ranking), µε βάση τον οποίο, γίνεται µια απλή διάταξη των κειµένων. Τα κείµενα που εµφανίζονται στις πρώτες θέσεις αυτής της διάταξης, θεωρούνται ως το πιο πιθανό να είναι σχετικά µε την ερώτηση, µε την πιθανότητα να φθίνει, όσο εξετάζουµε τη διάταξη προς τις χαµηλότερες θέσεις. Οι αλγόριθµοι κατάταξης έχουν ζωτική σηµασία σε ένα σύστηµα ΑΠ. Συνεπώς µια βασική λειτουργία του µοντέλου είναι να παρέχει έναν αλγόριθµο κατάταξης για κάθε ερώτηµα που υποβάλλεται. Ο τρόπος θεώρησης της λογικής αναπαράστασης των κειµένων και η συσχέτισή του µε τον αλγόριθµο κατάταξης, είναι το βασικό χαρακτηριστικό που διαφοροποιεί τα µοντέλα ΑΠ. Στην συνέχεια, θα παρουσιάζουµε τα πιο αντιπροσωπευτικά µοντέλα ανάκτησης πληροφορίας αφού προηγουµένων δώσουµε έναν τυπικό ορισµό αυτών Τυπικός ορισµός των µοντέλων ΑΠ Ορισµός Ένα µοντέλο ανάκτησης πληροφορίας είναι η τετράδα [D, Q, F, R(q i, d j )] όπου: 1) D είναι ένα σύνολο από λογικές αναπαραστάσεις για τα κείµενα της συλλογής 2) Q είναι ένα σύνολο από λογικές αναπαραστάσεις για τις πληροφοριακές ανάγκες του χρήστη. Αυτές οι αναπαραστάσεις καλούνται ερωτήµατα 3) F είναι ένα υπόβαθρο για την µοντελοποίηση της αναπαράστασης των κειµένων, των ερωτηµάτων και των σχέσεων µεταξύ τους 39

40 4) R(q i, d j ) είναι µια συνάρτηση κατάταξης, η οποία συνδέει έναν πραγµατικό αριθµό µε ένα ερώτηµα q i Q και µια αναπαράσταση κειµένου d j D. Μια τέτοια κατάταξη ορίζει µια διάταξη πάνω στα κείµενα πάντα µε βάση το ερώτηµα. q i. ιαισθητικά ο παραπάνω ορισµός περιγράφει τη διαδικασία καθορισµού ενός µοντέλου ΑΠ. Η διαδικασία ορισµού ενός µοντέλου είναι η ακόλουθη. Αρχικά επινοείται ένας τρόπος αναπαράστασης για τα κείµενα και την πληροφοριακή ανάγκη του χρήστη. Έπειτα καθορίζεται ένα υπόβαθρο στο οποίο θα µπορούν αυτές οι αναπαραστάσεις να µοντελοποιηθούν. Το υπόβαθρο αυτό, θα πρέπει να µπορεί να παρέχει και τον µηχανισµό κατάταξης. Για παράδειγµα στο Boolean µοντέλο, το υπόβαθρο αυτό αποτελείται από τις αναπαραστάσεις των κειµένων και των ερωτήσεων ως σύνολα, και τις κλασσικές πράξεις πάνω στα σύνολα. Αντίστοιχα στο Vector space, το υπόβαθρο αποτελείται από τις διανυσµατικές αναπαραστάσεις κειµένων στον t-διάστατο διανυσµατικό χώρο και τις επιτρεπτές αλγεβρικές πράξεις πάνω σε διανύσµατα Κλασσικά Μοντέλα ΑΠ Τα µοντέλα στην ανάκτηση πληροφορίας θεωρούν ότι κάθε κείµενο περιγράφεται από ένα σύνολο από αντιπροσωπευτικές λέξεις κλειδιά, που ονοµάζονται όροι δεικτοδότησης. Ένας όρος δεικτοδότησης (index term), είναι µια λέξη το σηµασιολογικό περιεχόµενο της οποίας, περικλείει ένα µέρος του θέµατος µε το οποίο ασχολείται το κείµενο. Έτσι τα κείµενα µπορούν να αναπαρασταθούν ως σύνολα όρων, που συνοψίζουν το περιεχόµενό τους. Γενικά οι όροι δεικτοδότησης είναι συνήθως ουσιαστικά γιατί τα ουσιαστικά αναπαριστούν µια έννοια χωρίς την ανάγκη να εµφανίζονται δίπλα σε άλλο µέρος του λόγου και η σηµασιολογία τους είναι εύκολα αντιληπτή [Gliozzo et al.,2004]. Με τη δεδοµένη αναπαράσταση των κειµένων ως συλλογές όρων, µπορεί κάποιος να παρατηρήσει ότι δεν έχουν όλοι οι όροι την ίδια ισχύ ως προς την περιγραφή ενός κειµένου. Με άλλα λόγια η ερµηνεία ενός όρου συχνά µπορεί να δίνει µια γενικευµένη ή και ασαφή περιγραφή ενός κειµένου. Τέτοιοι όροι είναι αυτοί που εµφανίζονται µε µεγάλη συχνότητα στην πλειονότητα των κειµένων µιας συλλογής. Για να προσοµοιώσουµε το γεγονός ότι διαφορετικοί όροι µπορούν να έχουν διαφορετική βαρύτητα ως προς στην δεικτοδότηση των κειµένων, σε κάθε όρο δεικτοδότησης αναθέτουµε και ένα αριθµητικό βάρος. Συγκεκριµένα έστω k i ένας όρος δεικτοδότησης, και dj ένα κείµενο. Ο αριθµός w i,j 0 είναι το βάρος, που αντιστοιχεί στο ζεύγος (k i, d j ) και αντιστοιχεί στο πόσο αντιπροσωπευτικός είναι ο ki για το κείµενο d j. Τα παραπάνω βάρη υποθέτουµε ότι είναι µεταξύ τους ανεξάρτητα. Αυτό σηµαίνει ότι, για παράδειγµα, η τιµή 40

41 του w i,j δεν επηρεάζει την τιµή του w i+1,j. Αυτή η υπόθεση είναι υπερπλουστευτική δεδοµένου ότι συχνά έχουµε συµπλέγµατα όρων που εµφανίζονται µαζί. Ένα τέτοιο παράδειγµα είναι οι όροι δίκτυο και υπολογιστής. Στην συνέχεια θα αναφερθούµε µε συντοµία στα τρία κλασσικά µοντέλα της Ανάκτησης Πληροφορίας τα οποία είναι το Boolean, το Vector Space και το Πιθανοτικό Το Boolean µοντέλο Το Boolean µοντέλο, είναι ένα απλό µοντέλο ανάκτησης πληροφορίας που βασίζεται σε θεωρία συνόλων και άλγεβρα Boole. Τα ερωτήµατα µπορούν να αναπαρασταθούν µε σαφή τρόπο, µε χρήση άλγεβρας Boole. Συγκεκριµένα στο Boolean µοντέλο, κάθε όρος δεικτοδότησης θεωρείται ότι ανήκει εξ ολοκλήρου ή δεν ανήκει σε ένα κείµενο. Κατά συνέπεια τα βάρη θεωρούνται δυαδικά, δηλ. w i,j {0,1}. Το κάθε ερώτηµα q, θεωρείται ότι αποτελείται από όρους δεικτοδότησης οι οποίο συνδέονται µε έναν από τους τελεστές and, or, not. ηλαδή κάθε ερώτηµα είναι µια Boolean έκφραση που µπορεί να γραφεί σε διαζευκτική κανονική µορφή (Disjunctive Normal Form, DNF). Έστω q r dnf η διαζευκτική κανονική µορφή του ερωτήµατος και q r καθεµία από τις συζευκτικές συνιστώσες cc (conjunctive components) του ορίζεται ως εξής: q r dnf.τότε η οµοιότητα του κειµένου d j προς το ερώτηµα q ( ) r r r r r 1, αν q τ έτοιο ώ στε q q k, g d = g q sim( d j, q) = 0, διαφορετικ ά ( ) ( ) ( ) cc cc dnf i i j i cc Αν sim(d j, q) = 1, τότε το Boolean µοντέλο προβλέπει ότι το κείµενο d j είναι σχετικό µε το ερώτηµα q (µπορεί και να µην είναι). ιαφορετικά η πρόβλεψη είναι ότι το κείµενο είναι άσχετο. Στο Boolean µοντέλο δεν υπάρχει η έννοια της µερικής ικανοποίησης των συνθηκών του ερωτήµατος. Κάθε κείµενο είτε είναι σχετικό µε το ερώτηµα, είτε όχι. Λόγω αυτής της έλλειψης το Boolean µοντέλο, στην ουσία εκτελεί περισσότερο ανάκτηση δεδοµένων (data retrieval) παρά πληροφορίας. Το κύριο πλεονέκτηµα του Boolean µοντέλου είναι ο φορµαλισµός του και η απλότητα του. υστυχώς η απουσία διαβάθµισης σχετικότητας ως προς το ερώτηµα µπορεί να οδηγήσει σε χαµηλής ποιότητας ανάκτηση πληροφορίας αποτελεί και το σηµαντικότερο µειονέκτηµα του Boolean µοντέλου. Ένα δεύτερο µειονέκτηµά του είναι ότι συχνά δεν είναι εύκολη η έκφραση της πληροφοριακής ανάγκης του χρήστη µε τον φορµαλισµό που 41

42 επιβάλλει το Boolean µοντέλο (µε Boolean άλγεβρα). Η πληροφοριακή ανάγκη πρέπει να έχει συγκεκριµένη µορφή. Για παράδειγµα όταν ψάχνουµε σε µια βιβλιοθήκη για ένα περιοδικό αρκεί εισάγουµε τον τίτλο του και να ανακτήσουµε τις ανάλογες εγγραφές. Λόγω αυτών των χαρακτηριστικών του, το Boolean µοντέλο έχει βρει εφαρµογή σε κυρίως εµπορικά συστήµατα βιβλιοθηκών Το µοντέλο ιανυσµατικού Χώρου Το µοντέλο διανυσµατικού χώρου(vector Space) [ Salton, Lesk., 1968], [Salton., 1971], αντιµετωπίζει την ανεπάρκεια της ανάθεσης δυαδικών βαρών και εισάγει ένα υπόβαθρο στο οποίο επιτρέπεται προσεγγιστικό ταίριασµα. Τα βάρη που ανατίθενται στους όρους δεικτοδότησης, τόσο για τα κείµενα όσο και για τα ερωτήµατα είναι µη δυαδικά και χρησιµοποιούνται για τον υπολογισµό του βαθµού οµοιότητας µεταξύ του ερωτήµατος και κάθε αποθηκευµένου κειµένου. Κατόπιν τα κείµενα διατάσσονται µε φθίνουσα σειρά, µε κριτήριο τον βαθµό οµοιότητάς τους µε το ερώτηµα του χρήστη. Έτσι στο µοντέλο Vector Space λαµβάνονται υπόψη και κείµενα που ικανοποιούν µερικώς τις συνθήκες του ερωτήµατος και το τελικό αποτέλεσµα είναι πολύ πιο ακριβές σε σχέση µε την Boolean ανάκτηση. Ορισµός Στο µοντέλο ιανυσµατικού Χώρου το βάρος w i,j που αντιστοιχεί στο ζεύγος (k i, d j ) είναι θετικό και όχι δυαδικό. Επιπλέον ανατίθενται βάρη και στους όρους δεικτοδότησης του ερωτήµατος. Έστω w i,q το βάρος που αντιστοιχεί στο ζεύγος [k i, q], όπου w i,q 0. Τότε το διάνυσµα του ερωτήµατος ορίζεται ως q r = (w 1,q, w 2,q,, w t,q ) όπου t είναι ο συνολικός αριθµός των όρων δεικτοδότησης στο σύστηµα. Όπως και πριν το διάνυσµα του d r j = (w 1,j, w 2,j,, w t,j ). d r j, είναι Μ αυτόν τον τρόπο το κείµενο d j και το ερώτηµα χρήστη q αναπαρίστανται σαν διανύσµατα διάστασης t. Στο µοντέλο ιανυσµατικού Χώρου προτείνεται ο βαθµός της οµοιότητας µεταξύ του κειµένου d j και του ερωτήµατος q να υπολογιστεί ως ο βαθµός συσχέτισης (correlation) µεταξύ των δύο διανυσµάτων. Μέτρο του βαθµού συσχέτισης αποτελεί το συνηµίτονο της εµπεριεχόµενης γωνίας των δύο διανυσµάτων. Συγκεκριµένα: r r t d j q sim( d j, q) = r r d j q = ( w 1 i, j wi, q ) i =, t 2 t 2 w w i = 1 i, j i = 1 i, q 42

43 όπου d r j και q r είναι οι νόρµες των διανυσµάτων Επειδή δεν θέλουµε να ανακτήσουµε όλα τα κείµενα που έχουν µη µηδενικό βαθµό σχετικότητας µε το ερώτηµα, αλλά αυτά που ταιριάζουν περισσότερο, θέτουµε ένα κατώφλι ελέγχου για το sim(d j, q). Κείµενα µε βαθµό οµοιότητας µεγαλύτερο απ αυτό το κατώφλι επιστρέφονται στο χρήστη. Το πιο ευρέως χρησιµοποιούµενο σχήµα υπολογισµού βαρών στο µοντέλο Vector Space είναι αυτό που στηρίζεται στη µετρική TF-IDF [Salton, Buckley, 1988] (βλέπε ενότητα 4.6.3) Τα κύρια πλεονεκτήµατα του µοντέλου Vector Space, είναι τα εξής: 1) το σχήµα υπολογισµού βαρών που χρησιµοποιεί, βελτιώνει την απόδοση της ανάκτησης, 2) η στρατηγική προσεγγιστικού ταιριάσµατος επιτρέπει την ανάκτηση κειµένων που προσεγγίζουν τις συνθήκες του ερωτήµατος 3) ο τρόπος του υπολογισµού της κατάταξης µε βάση το συνηµίτονο: a. επιτρέπει την ταξινόµηση των κειµένων βάσει του βαθµού οµοιότητάς τους µε την ερώτηση b. υλοποιείται εύκολα µε τις υπάρχουσες δοµές δεικτοδότησης. Ένα µειονέκτηµα είναι ότι οι όροι δεικτοδότησης θεωρούνται ανεξάρτητοι µεταξύ τους. Στην πράξη όµως, αυτό µπορεί να είναι και πλεονέκτηµα. Αν λαβαίναµε υπόψη τις συσχετίσεις των όρων µεταξύ τους, λόγω της σχετικής τοπικότητας που αυτές τείνουν εµφανίζονται σε µεγάλες συλλογές, επειδή θα έπρεπε να εφαρµόσουµε τη συσχέτιση σε ολόκληρη τη συλλογή, αυτό µπορεί τελικά να έβλαπτε την ολική απόδοση. υστυχώς το Vector Space δεν αντιµετωπίζει επαρκώς τα προβλήµατα της συνωνυµίας και της πολυσηµίας, λόγω όµως της ευκολίας στην υλοποίησή του, παραµένει το πιο δηµοφιλές µοντέλο ΑΠ Το κλασσικό πιθανοτικό µοντέλο Το πιθανοτικό µοντέλο [Robertson, Sparck Jones., 1976] επιχειρεί να αντιµετωπίσει το πρόβληµα της ΑΠ παρέχοντας ένα πιθανοτικό υπόβαθρο. Η βασική ιδέα είναι η εξής. εδοµένου ενός ερωτήµατος χρήστη, υπάρχει ένα σύνολο κειµένων που αποτελείται ακριβώς από τα σχετικά κείµενα και µόνο απ αυτά. Σ αυτό το σύνολο θα αναφερόµαστε µε τον όρο ιδανικό σύνολο απάντησης. εδοµένης της περιγραφής του ιδανικού συνόλου 43

44 απάντησης, δεν θα είχαµε κανένα προβλήµατα να ανακτήσουµε τα κείµενα που το αποτελούν. Συνεπώς µπορούµε να θεωρήσουµε ότι η διατύπωση ενός ερωτήµατος ταυτίζεται µε τη διαδικασία καθορισµού των ιδιοτήτων του ιδανικού συνόλου απάντησης. Το πρόβληµά µας είναι ότι δεν γνωρίζουµε ποιες ακριβώς είναι αυτές οι ιδιότητες. Το µόνο που έχουµε στη διάθεσή µας είναι µια οµάδα από όρους δεικτοδότησης, η σηµασιολογία των οποίων µπορεί να χρησιµοποιηθεί για να χαρακτηρίσει αυτές τις ιδιότητες. Αυτές οι ιδιότητες δεν είναι γνωστές τη στιγµή της διατύπωσης του ερωτήµατος, οπότε πρέπει να γίνει µια αρχική προσπάθεια να προσδιοριστούν. Η αρχική αυτή εκτίµηση µας επιτρέπει να δηµιουργήσουµε µια αρχική πιθανοτική περιγραφή του ιδανικού συνόλου απάντησης, η οποία θα χρησιµοποιηθεί για την ανάκτηση ενός πρώτου συνόλου κειµένων. Ακολουθεί αλληλεπίδραση µε το χρήστη µε σκοπό τη βελτίωση της περιγραφής του ιδανικού συνόλου απάντησης. Ο χρήστης εξετάζει το αρχικό σύνολο των επιστρεφόµενων κειµένων και αποφασίζει ποια κείµενα είναι σχετικά και ποια όχι (στην πράξη αρκεί η εξέταση λίγων αρχικών κειµένων). Κατόπιν το σύστηµα αξιοποιεί αυτή την πληροφορία για να βελτιώσει την περιγραφή του συνόλου απάντησης. Επαναλαµβάνοντας αυτή τη διαδικασία αρκετές φορές, αναµένεται ότι η περιγραφή αυτή θα συγκλίνει προς την ιδανική περιγραφή του συνόλου απάντησης. Έτσι πάντα θα πρέπει να έχουµε υπόψη µας την αρχική περιγραφή του ιδανικού συνόλου απάντησης. Στην συνέχεια θα περιγραφεί η παραπάνω διαδικασία πιθανοτικά: Το πιθανοτικό µοντέλο βασίζεται στην ακόλουθη θεµελιώδη υπόθεση. οθέντος ενός ερωτήµατος q και ενός κειµένου dj της συλλογής, το πιθανοτικό µοντέλο προσπαθεί να εκτιµήσει την πιθανότητα ο χρήστης να βρει ενδιαφέρον το κείµενο d j (δηλ. σχετικό προς το ερώτηµα q). Υπόθεση του µοντέλου είναι ότι Υπόθεση (Πιθανοτική Αρχή) : Η πιθανότητα της σχετικότητας εξαρτάται από την αναπαράσταση του ερωτήµατος και του κειµένου και µόνο. Επιπλέον γίνεται η υπόθεση ότι υπάρχει ένα υποσύνολο όλων των κειµένων, το οποίο ο χρήστης προτιµά ως απάντηση στο ερώτηµα q. (Ιδανικό σύνολο απάντησης R). Το σύνολο αυτό πρέπει να µεγιστοποιεί τη συνολική πιθανότητα σχετικότητας προς την πληροφοριακή ανάγκη του χρήστη. Τα κείµενα στο R προβλέπεται ότι είναι σχετικά προς το ερώτηµα ενώ. Τα κείµενα που δεν ανήκουν σ αυτό το σύνολο προβλέπεται ότι είναι µη-σχετικά. Μια τέτοια υπόθεση είναι κάπως προβληµατική γιατί δεν παρέχει ένα µηχανισµό για τον υπολογισµό των πιθανοτήτων σχετικότητας. Επιπλέον ούτε καν προκύπτει ο δειγµατοχώρος για τον υπολογισµό αυτών των πιθανοτήτων. 44

45 οθέντος λοιπόν ενός ερωτήµατος q, το πιθανοτικό µοντέλο αναθέτει σε κάθε κείµενο dj, την πιθανότητα να είναι σχετικό προς το ερώτηµα. Η πιθανότητα αυτή δίνεται από το λόγο Ρ(d j_ σχετικό_µε_το_q)/ρ(d j_ µη_σχετικό_µε_το_q). Λαµβάνοντας τον λόγο αυτό ως την συνάρτηση κατάταξης, ελαχιστοποιείται η πιθανότητα λανθασµένης κρίσης. 45

46 Ορισµός Στο πιθανοτικό µοντέλο όλα τα βάρη των όρων δεικτοδότησης έχουν δυαδική µορφή δηλ, wi,j {0,1}, wi,q {0,1}. Ένα ερώτηµα q είναι ένα υποσύνολο των όρων δεικτοδότησης. Έστω : R: το σύνολο των κειµένων για το οποία υπάρχει η γνώση (ή αρχικά η εκτίµηση) ότι είναι σχετικά. R το συµπλήρωµα του R: (δηλ. το σύνολο των µη σχετικών κειµένων). P( R d r j ) : η πιθανότητα το κείµενο dj να είναι σχετικό προς το ερώτηµα q P( R d r j ) : η πιθανότητα το κείµενο dj να µην είναι σχετικό προς το ερώτηµα q. Η οµοιότητα sim(d j, q) του κειµένου d j προς το ερώτηµα q ορίζεται ως ο λόγος: sim( d, q) = r P( d R) j j r P( R d j) r P( R d ) j P από τον κανόνα του Bayes ( d ) ( ) j R P R r r P( d R) P( R) j Η πιθανότητα το d j να επιλέχθηκε τυχαία από το σύνολο R, δηλαδή να είναι P( R ) σχετικό. Η πιθανότητα το κείµενο που επιλέξαµε µε τυχαίο τρόπο από ολόκληρη τη συλλογή, να είναι τυχαίο r Οι ερµηνείες των ποσοτήτων P( d R), P( R) είναι δυικές των παραπάνω. j Επίσης λόγω του ότι οι πιθανότητες P( R ) και P( R ) είναι τα ίδια για όλα τα κείµενα της συλλογής, Έχουµε: r P( d j R) sim( d j, q) r P( d R) j Επειδή υποθέσαµε στοχαστική ανεξαρτησία στους όρους µπορούµε να γράψουµε P( k i R) P( k i R) r r gi ( d j ) = 1 gi ( d j ) = 0 sim( d j, q) P( k i R) P( k i R) r r gi ( d j ) = 1 gi ( d j ) = 0 Όπου: 46

47 P( k i R ) : Η πιθανότητα ο όρος δεικτοδότησης να εµφανίζεται σε ένα κείµενο το οποίο επιλέχθηκε τυχαία από το σύνολο R. P( k i R ) : Η πιθανότητα ο όρος k i να µην εµφανίζεται σε ένα κείµενο το οποίο επιλέχθηκε τυχαία από το σύνολο R. Οι πιθανότητες που σχετίζονται µε το σύνολο R έχουν ανάλογη σηµασία. Λογαριθµίζοντας και λαµβάνοντας υπόψη µας ότι P( k R) + P( k R) = 1, και αγνοώντας τους παράγοντες που είναι σταθεροί για όλα τα κείµενα για συγκεκριµένο ερώτηµα, µπορούµε να γράψουµε, t P( ki R) 1 P( ki R) sim( d j, q) wi, q wi, j log + log i = 1 1 P( ki R) P( ki R) ο οποίος είναι ουσιαστικά ο τύπος µε τον οποίο υπολογίζουµε την κατάταξη των κειµένων στο πιθανοτικό µοντέλο. Μια και δεν γνωρίζουµε το σύνολο R εξ αρχής, είναι απαραίτητο να ορίσουµε µια µέθοδο υπολογισµού για τις πιθανότητες P( k i R ) και P( k i R) Αµέσως µετά την διατύπωση του ερωτήµατος, δεν υπάρχουν ακόµα ανακτηµένα κείµενα. Έτσι πρέπει να κάνουµε απλοποιητικές υποθέσεις σε ότι αφορά τις πιθανότητες. Οι οποίες είναι: i i 1. Η P( k i R) είναι σταθερή για όλους τους όρους (τυπικά 0.5) 2. Η κατανοµή των όρων δεικτοδότησης στα µη σχετικά κείµενα µπορεί να προσεγγιστεί από την κατανοµή των όρων δεικτοδότησης στο σύνολο των κειµένων (µε άλλα λόγια, το µέγεθος του συνόλου των µη σχετικών κειµένων R, είναι πολύ µεγαλύτερο από το µέγεθος R ). Οι δύο παραπάνω υποθέσεις µας δίνουν, P( k i R ) =0.5 ni P( k i R) = N Όπου: n i είναι ο αριθµός των κειµένων που περιέχουν τον όρο k i και 47

48 N είναι ο συνολικός αριθµός των κειµένων της συλλογής. Έχοντας την αρχική εκτίµηση, µπορούµε να ανακτήσουµε ένα αρχικό σύνολο κειµένων που περιέχουν όρους που εµφανίζονται στο ερώτηµα και να παρέχουµε µια πιθανοτική κατάταξη γι αυτά. Κατόπιν βελτιώνουµε την αρχική κατάταξη µε τρόπο που θα περιγράψουµε στην συνέχεια. Έστω V ένα υποσύνολο των κειµένων που ανακτήθηκαν αρχικά και στα οποία δόθηκε µια κατάταξη από το πιθανοτικό µοντέλο. Έστω επίσης Vi ένα υποσύνολο του V το οποίο αποτελείται από τα κείµενα που περιέχουν τον όρο k i. Για λόγους απλότητας, θα χρησιµοποιούµε τους όρους V και Vi για να αναφερόµαστε στους πληθαρίθµους των αντιστοίχων συνόλων. Το πότε θα αναφερόµαστε στο ίδιο το σύνολο ή στο µέγεθός του θα είναι ξεκάθαρο από τα συµφραζόµενα. Για να βελτιώσουµε την πιθανοτική κατάταξη, πρέπει να βελτιώσουµε τις εκτιµήσεις για τα P( k i R ) και P( k i R ). Αυτό επιτυγχάνεται µε τις ακόλουθες υποθέσεις: α) µπορούµε να προσεγγίσουµε την P( k R ) µε την κατανοµή του όρου ki στα κείµενα που ανακτήθηκαν µέχρι στιγµής (σύνολο V), β) µπορούµε να προσεγγίσουµε την P( k i R ), αν θεωρήσουµε όλα τα µη Έτσι µπορούµε να γράψουµε, Vi P( k i R) =, V ni Vi P( k i R) = N V ανακτηµένα κείµενα ως µη-σχετικά. Αυτή η διαδικασία µπορεί να επαναληφθεί αναδροµικά, υπολογίζοντας κάθε φορά νέα V και V i. Έτσι είµαστε σε θέση να βελτιώσουµε τις εκτιµήσεις µας για τα P( k i R) και P( k i R ) χωρίς καµία εµπλοκή του ανθρωπίνου παράγοντα, σε αντίθεση µε την αρχική µας ιδέα. Μπορούµε πάντως να ζητήσουµε ανθρώπινη παρέµβαση στην κατασκευή του συνόλου V. Το κύριο πλεονέκτηµα του πιθανοτικού µοντέλου είναι ότι τα κείµενα κατάσσονται σε φθίνουσα σειρά µε βάση την πιθανότητα να είναι σχετικά µε το αρχικό ερώτηµα. Τα µειονεκτήµατα είναι ότι : 1) χρειάζεται µια αρχική εκτίµηση για τον διαχωρισµό της συλλογής των κειµένων σε σχετικά και µη i 48

49 2) το γεγονός ότι δεν λαµβάνεται υπόψη η συχνότητα εµφάνισης του όρου µέσα σε ένα κείµενο (όλα τα βάρη είναι 0 ή 1), 3) η υιοθέτηση της άποψης ότι οι όροι είναι µεταξύ τους ανεξάρτητοι. 49

50 Κεφάλαιο 3ο: ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟ ΑΝΑΚΤΗΣΗ ΠΛΗΡΟΦΟΡΙΑΣ ΡΙΑΣ ΑΠΟ ΤΟ ΙΑ ΙΚΤΥΟ ΚΑΙ ΜΗΧΑΝΕΣ ΑΝΑΖΗΤΗΣΗΣ 3.1 Εισαγωγή Η αρχική ανάγκη για ανάπτυξη της ανάκτησης πληροφορίας ήταν η αυτοµατοποιηµένη δεικτοδότηση κειµένων και η ανάπτυξη µεθόδων για την αναζήτηση χρήσιµων κειµένων σε µια συλλογή. Στις ηµέρες µας η έρευνα έχει επεκταθεί σε πολλούς παραπάνω τοµείς, συµπεριλαµβάνοντας, την µοντελοποίηση, την ταξινόµηση και κατηγοριοποίηση κειµένων, την οπτικοποίηση δεδοµένων, την αρχιτεκτονική του συστήµατος, τις διεπαφές προς τον χρήστη κλπ. Η άποψη που επικρατούσε µέχρι στις αρχές τις δεκαετίας του 90, ήταν ότι η ανάκτηση πληροφορίας απευθυνόταν µόνο σε εφαρµογές βιβλιοθηκονοµίας. Όλα τα παραπάνω άλλαξαν δραµατικά µε την έλευση του Παγκοσµίου Ιστού. 3.2 Σύντοµη περιγραφή του ιαδικτύου Το ιαδίκτυο είναι ένα σύνολο από ηλεκτρονικές σελίδες (web pages) µεγάλης πολυπλοκότητας οι οποίες εισάγονται και εξάγονται από αυτό µε µία διαδικασία εντελώς αποκεντρωµένη και χαοτική. Μία σελίδα όπως θέλει χωρίς κάποια καθορισµένη δοµή και πρότυπα περιεχοµένου. Οι σελίδες του διαδικτύου µπορούν να έχουν γραφτεί σε διάφορες γλώσσες, διαλέκτους ή µορφές από άτοµα µε διαφορετικό υπόβαθρο, µόρφωση, κουλτούρα, ενδιαφέροντα και κίνητρα. Επίσης κάθε σελίδα µπορεί να διαφέρει στο µέγεθος, να περιέχει είτε αλήθειες, είτε ψέµατα, είτε ανοησίες, είτε προπαγάνδα. Καθηµερινά στο διαδίκτυο προστίθενται περίπου ένα εκατοµµύριο καινούριες σελίδες µε αποτέλεσµα το µέγεθος του Παγκόσµιου Ιστού World Wide Web να αυξάνει διαρκώς και µε ιδιαίτερα γρήγορους ρυθµούς. Ενδεικτικά στην εικόνα 3-1 δίνεται ένας πίνακας µε στοιχεία για το µέσο µηνιαίο αριθµό των hosts που υπάρχουν στο διαδίκτυο από το 1999 µέχρι σήµερα [Telcordia]. 50

51 Εικόνα 3-1 Μέσος µηνιαίος αριθµός hosts στο ιαδίκτυο Ο όγκος πληροφορίας που είναι αποθηκευµένος στο ιαδίκτυο είναι πολύ µεγάλος και ιδιαίτερα χρήσιµος και διαρκώς αυξάνεται. Ο άναρχος τρόπος εισαγωγής των σελίδων είναι και το βασικό µειονέκτηµα του. Η έλλειψη προτύπων και η παντελής έλλειψη δοµής και οργάνωσης των σελίδων αυτών έχει οδηγήσει σε ένα χαοτικό σύνολο στο οποίο η πρόσβαση στην πληροφορία είναι ιδιαίτερα δυσχερής 3.3 Ιδιαιτερότητες της ανάκτησης πληροφορίας στο ιαδίκτυο σε σχέση µε τις συµβατικές εφαρµογές ανάκτησης πληροφορίας. Οι τεχνικές που πρέπει να ακολουθηθούν κατά την ανάκτηση πληροφορίας από το ιαδίκτυο είναι αρκετά διαφορετικές από αυτές που χρησιµοποιούνται στα συµβατικά συστήµατα ανάκτησης πληροφορίας. Οι κύριοι λόγοι που συµβαίνει αυτό είναι οι ακόλουθοι: Οι χρήστες των δικτυακών µηχανών αναζήτησης συνηθίζουν να διατυπώνουν σύντοµα πληροφοριακά αιτήµατα τα οποία αποτελούνται κατά µέσο όρο από ελάχιστες λέξεις (µεταξύ 1 και 3 όρων [Jansen, 2000].)ενώ παράλληλα είναι διστακτικοί στην παροχή πληροφοριών αναφορικά µε τα γενικά πληροφοριακά τους ενδιαφέροντα. Επίσης δε δίνουν την απαιτούµενη προσοχή στην ακριβή διατύπωση της πληροφοριακής τους ανάγκης µε αποτέλεσµα τα ερωτήµατά τους να είναι αρκετά ασαφή. Έτσι συχνά τα αποτελέσµατα που επιστρέφονται ως απάντηση σε ελλιπώς διατυπωµένα ερωτήµατα δεν 51