ΠΡΟΗΓΜΕΝΗ ΑΝΑΖΗΤΗΣΗ WEB ΣΕΛΙ ΩΝ CAPTAIN NEMO

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΜΗΧΑΝΙΚΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ ΤΕΧΝΟΛΟΓΙΑΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΙ ΥΠΟΛΟΓΙΣΤΩΝ ΖΩΓΡΑΦΟΥ , ΑΘΗΝΑ ΕΒΓ - ΙΠΛ Ιούνιος 2002 ΠΡΟΗΓΜΕΝΗ ΑΝΑΖΗΤΗΣΗ WEB ΣΕΛΙ ΩΝ CAPTAIN NEMO Στέφανος Σουλδάτος ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: Τίµος Σελλής ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΕΡΓΑΣΤΗΡΙΟ ΣΥΣΤΗΜΑΤΩΝ ΒΑΣΕΩΝ ΓΝΩΣΕΩΝ ΚΑΙ Ε ΟΜΕΝΩΝ

2 Πρόλογος Το εργαστήριο συστηµάτων βάσεων γνώσεων και δεδοµένων του Εθνικού Μετσοβίου Πολυτεχνείου έχει παρουσιάσει τα τελευταία χρόνια αξιόλογο ερευνητικό έργο στον τοµέα των βάσεων δεδοµένων διαδικτύου. Η παρούσα εργασία υλοποιεί µια µηχανή αναζήτησης που ανήκει στο ερευνητικό πεδίο της ανάκτησης δεδοµένων. Στο σηµείο αυτό και πριν προχωρήσω στην περαιτέρω ανάπτυξη της εργασίας αισθάνοµαι την ανάγκη να ευχαριστήσω όσους µε βοήθησαν στην υλοποίηση της. Ιδιαιτέρως ευχαριστώ τον υποψήφιο διδάκτορα Θοδωρή αλαµάγκα για την άψογη συνεργασία µας και τις πολύ χρήσιµες υποδείξεις του. Επιπλέον, ευχαριστώ την γραµµατέα του εργαστηρίου, Έµυ Κουγκούλου, για την επιµέλεια του λογοτύπου και την επιλογή των χρωµάτων της µηχανής αναζήτησης, τον υποψήφιο διδάκτορα Βαγγέλη Ζορµπά που ήταν πάντοτε πρόθυµος να βοηθήσει στην εγκατάσταση λογισµικού και υλισµικού και τον υποψήφιο διδάκτορα Παναγιώτη Ξηρό για τις υποδείξεις του. εν ξεχνώ να ευχαριστήσω και όλους τους συναδέλφους, συγγενείς και φίλους που στο στάδιο του ελέγχου µε βοήθησαν ως πρώτοι χρήστες να εντοπίσω τυχόν λάθη και παραλείψεις και ιδιαίτερα τους συναδέλφους και φίλους Ζωή Καούδη και Κώστα Μπιµπίκη για τις τόσο σηµαντικές υποδείξεις τους σε όλα τα στάδια της εργασίας. Τέλος, ευχαριστώ θερµά τον κ. Τίµο Σελλή για τη δυνατότητα που µου έδωσε να εκπονήσω τη διπλωµατική µου εργασία στο εργαστήριο συστηµάτων βάσεων γνώσεων και δεδοµένων και συνολικά για την υποστήριξη του στο διάστηµα της εκπόνησης. Στέφανος Σουλδάτος Ιούνιος iii -

3 Περίληψη Η παρούσα διπλωµατική εργασία ασχολείται µε την υλοποίηση µιας µηχανής µετααναζήτησης που αποκρίνεται στις ερωτήσεις του χρήστη αντλώντας αποτελέσµατα από δηµοφιλείς µηχανές αναζήτησης. Πέρα, όµως, από τις συνηθισµένες δυνατότητες που δίνονται άλλωστε από τις περισσότερες µηχανές αναζήτησης, δηµιουργείται για κάθε χρήστη ένας προσωπικός χώρος µετα-αναζήτησης. Ο χρήστης µπορεί να δηµιουργήσει θεµατικούς φακέλους όπου σώζει τα αποτελέσµατα της αναζήτησης. Η διαδικασία υποβοηθείται από τη µηχανή, η οποία για κάθε αποτέλεσµα προτείνει στο χρήστη αυτόµατα τον πιθανό σχετικό θεµατικό φάκελο. Επιπλέον, ο χρήστης καθορίζει τις προσωπικές του επιλογές στην αναζήτηση και την παρουσίαση των αποτελεσµάτων που µπορεί να είναι διαφορετικές σε κάθε προφίλ που χρησιµοποιεί. Λέξεις Κλειδιά: µηχανή µετα-αναζήτησης, προσωπικός χώρος µετα-αναζήτησης, προφίλ, φάκελος, αυτόµατη ταξινόµηση αποτελεσµάτων. - iv -

4 Abstract This diploma thesis deals with the implementation of a meta-search engine, which responds to the queries of the user by retrieving results from popular search engines. Beyond the usual format of a search engine, a personal meta-search space is created for each user of the engine. The users create thematic folders where they save search results. The search engine supports that task by automatically suggesting a relevant thematic folder for every search result. In addition, the users can specify their personal preferences in the retrieval and the presentation of the results, which can be different in every profile they use. Keywords: meta-search engine, personal meta-search space, profile, folder, automatic result classification. - v -

5 Πίνακας περιεχοµένων 1 Εισαγωγή Αντικείµενο της διπλωµατικής Οργάνωση του τόµου Περιγραφή Θέµατος Σχετικές Εργασίες Ιστορία των Μηχανών Αναζήτησης και Μετα-αναζήτησης Λειτουργία των Μηχανών Αναζήτησης Λειτουργία των Μηχανών Μετα-αναζήτησης Ταξινόµηση Κοντινότερου Γείτονα Τεχνολογία XML XSL Στόχος Φάκελοι αυτόµατης ταξινόµησης Προφίλ Ανάλυση Απαιτήσεων Περιγραφή Αρχιτεκτονικής Περιγραφή Λειτουργιών ιαπροσωπεία Χρήστη Βάση Χρηστών ιαχειριστής Βάσης Υποσύστηµα Αναζήτησης Υποσύστηµα Ταξινόµησης Υποσύστηµα Παρουσίασης Αποτελεσµάτων Βάση Προσωπικών Προτιµήσεων ιαχειριστής Βάσης Βάση Φακέλων ιαχειριστής Βάσης Σχεδίαση Σχεδίαση συστήµατος vi -

6 4.2 Σχεδίαση Βάσης εδοµένων Μοντέλο οντοτήτων συσχετίσεων Σχήµα βάσης Υλοποίηση Πλατφόρµες και προγραµµατιστικά εργαλεία Λεπτοµέρειες υλοποίησης Λειτουργία της Βάσης εδοµένων Παράλληλη Αναζήτηση Βιβλιοθήκη Αναζήτησης Αποθήκευση Αποτελεσµάτων Αναζήτησης Αλγόριθµος Βαθµολόγησης Αποτελεσµάτων Αλγόριθµος Ταξινόµησης Αποτελεσµάτων σε Φακέλους Παρουσίαση Αποτελεσµάτων Έλεγχος Μεθοδολογία Ελέγχου Αναλυτική παρουσίαση έλεγχου Επίλογος Σύνοψη και συµπεράσµατα Μελλοντικές επεκτάσεις Βιβλιογραφία vii -

7 1 Εισαγωγή Στις µέρες µας, το ιαδίκτυο έχει αποκτήσει δισεκατοµµύρια χρήστες παγκοσµίως και ο όγκος των διαθέσιµων πληροφοριών έχει ξεπεράσει κάθε προηγούµενη προσπάθεια συσσώρευσης υλικού (εγκυκλοπαίδειες, βιβλιοθήκες, βάσεις δεδοµένων). Η ανάκτηση πληροφοριών όµως είναι ιδιαίτερα δύσκολη, γεγονός που οφείλεται τόσο στο µεγάλο αριθµό πηγών πληροφόρησης που κατακλύζουν το διαδίκτυο, όσο και στη διαφορετική µορφοποίηση των πληροφοριών που περιέχει. Ο χρήστης καλείται όχι µόνο να εντοπίσει τις πηγές αυτές, αλλά και να προσδιορίσει ποιες από αυτές περιέχουν το υλικό που τον ενδιαφέρει σε κάθε µεµονωµένη περίπτωση. Στην κατεύθυνση αυτή έρχονται τα τελευταία χρόνια να προσφέρουν οι µηχανές αναζήτησης που προσδιορίζουν σε ελάχιστο χρονικό διάστηµα τις ιστοσελίδες που περιέχουν πληροφορίες σχετικές µε κάποιο θέµα. Έχοντας ευρετήριο που αγγίζει τις δεκάδες δισεκατοµµύρια σελίδες, ερευνούν κάθε γωνιά του ιαδικτύου που ο χρήστης θα χρειαζόταν αρκετά χρόνια για να ανακαλύψει διαφορετικά. 1.1 Αντικείµενο της διπλωµατικής Η µηχανή αναζήτησης captain Nemo είναι µια µηχανή προηγµένης µετα-αναζήτησης όπου ο χρήστης δεν είναι απλός δέκτης προκαθορισµένων παραµέτρων αλλά έχει τη δυνατότητα να επέµβει τόσο στη διαπροσωπεία της µηχανής όσο και στον αλγόριθµο ανάκτησης και ταξινόµησης των αποτελεσµάτων. Οι επιλογές του χρήστη διατηρούνται στη βάση δεδοµένων του συστήµατος και δεν είναι απαραίτητο να τις καθορίζει κάθε φορά, διατηρώντας έτσι τον προσωπικό του χώρο αναζήτησης. Τέλος, η διαδικασία - 1 -

8 αναζήτησης υποβοηθείται από τη µηχανή µε δυνατότητες ηµιαυτόµατης θεµατικής ταξινόµησης. 1.2 Οργάνωση του τόµου Στα κεφάλαια που ακολουθούν καλύπτεται λεπτοµερέστερα η περιγραφή, ανάλυση, σχεδίαση και υλοποίηση της παρούσας εργασίας και αναφέρονται προτάσεις για µελλοντικές επεκτάσεις. Το δεύτερο κεφάλαιο περιλαµβάνει το θεωρητικό υπόβαθρο της εργασίας αυτής, δηλαδή την περιγραφή της λειτουργίας των µηχανών αναζήτησης και µετα-αναζήτησης, τον αλγόριθµο ταξινόµησης και την τεχνολογία XML XSL, και περιγράφει αναλυτικότερα το θέµα της εργασίας αναπτύσσοντας τις καινοτοµίες της µηχανής µετα-αναζήτησης captain Nemo σε σχέση µε τις υπάρχουσες µηχανές. Το τρίτο κεφάλαιο ασχολείται µε την ανάλυση του συστήµατος. Περιγράφει τα υποσυστήµατα που απαρτίζουν τη µηχανή µετα-αναζήτησης και αναφέρει την αλληλεπίδραση µεταξύ τους. Η σχεδίαση αυτών των υποσυστηµάτων γίνεται στο τέταρτο κεφάλαιο, όπου περιγράφεται η λειτουργία του καθενός σε βάθος. Το πέµπτο κεφάλαιο ασχολείται µε την υλοποίηση της εργασίας, αναφέροντας πλατφόρµες και προγραµµατιστικά εργαλεία που χρησιµοποιήθηκαν, βασικά προβλήµατα που αντιµετωπίστηκαν, καθώς και λεπτοµέρειες σχετικά µε τον κώδικα του συστήµατος. Στο έκτο κεφάλαιο γίνεται έλεγχος του συστήµατος, παρουσιάζοντας ένα σενάριο χρήσης της µηχανής µετα-αναζήτησης. Ακολουθεί ο επίλογος στον οποίο πέρα από τα όποια συµπεράσµατα, αναφέρονται προτάσεις και συµβουλές για µελλοντικές επεκτάσεις. Στο όγδοο και τελευταίο κεφάλαιο καταγράφεται η βιβλιογραφία του παρόντος τόµου

9 2 Περιγραφή Θέµατος Στο κεφάλαιο αυτό, αρχικά παρουσιάζονται οι ερευνητικές εργασίες και τεχνολογίες στις οποίες βασίζεται η διπλωµατική αυτή εργασία. Στη συνέχεια, περιγράφεται αναλυτικότερα η επιθυµητή λειτουργία της µηχανής µετα-αναζήτησης Captain Nemo. 2.1 Σχετικές Εργασίες Η ενότητα αυτή χωρίζεται σε πέντε υποενότητες που καλύπτουν πλήρως το θεωρητικό υπόβαθρο της παρούσας εργασίας: Ιστορία των µηχανών αναζήτησης και µετα-αναζήτησης Λειτουργία των µηχανών αναζήτησης Λειτουργία των µηχανών µετα-αναζήτησης Ταξινόµηση κοντινότερου γείτονα Τεχνολογία XML XSL Ιστορία των Μηχανών Αναζήτησης και Μετα-αναζήτησης Η ενότητα αυτή ασχολείται µε την ιστορία των µηχανών αναζήτησης και µετααναζήτησης, η λειτουργία των οποίων παρουσιάζεται στη συνέχεια του κεφαλαίου. Στο σηµείο αυτό, για αποφυγή συγχύσεων αναφέρουµε απλά ότι οι µηχανές αναζήτησης αντλούν τα αποτελέσµατα τους από όλο το διαδίκτυο, ενώ οι µηχανές µετα-αναζήτησης παίρνουν τα αποτελέσµατα των µηχανών αναζήτησης, τα συγχωνεύουν και τα παρουσιάζουν

10 Η εµφάνιση των µηχανών αναζήτησης έγινε το 1990, πέντε χρόνια πριν την εµφάνιση των πρώτων µηχανών µετα-αναζήτησης. Η πρώτη µηχανή αναζήτησης που ονοµάστηκε Archie σχεδιάστηκε το 1990 από τον Alan Emtage, φοιτητή του πανεπιστηµίου του McGill. Ένα χρόνο αργότερα, ο Mark McCahill από το πανεπιστήµιο της Minnesota παρουσίασε το Gopher σαν εναλλακτική του Archie και το 1992 δηµιουργήθηκε η Veronica στο πανεπιστήµιο της Nevada. Το 1993, το Gopher βελτιώθηκε ώστε να δέχεται και λογικούς τελεστές, ενώ την ίδια χρόνια ο Matthew Gray από το MIT παρουσίασε τον World Wide Web Wanderer. Τον Ιανουάριο του 1994 εµφανίστηκε ο πρώτος δικτυακός κατάλογος, το Galaxy. Ένα µήνα αργότερα, οι David Filo και Jerry Yang, υποψήφιοι διδάκτορες του τµήµατος Ηλεκτρολόγων Μηχανικών του πανεπιστηµίου του Stanford, δηµιούργησαν το Yahoo που ξεκίνησε ως προσπάθεια να βρουν πληροφορίες για τα προσωπικά τους ενδιαφέροντα. Λίγο αργότερα δηµιουργήθηκε ο WebCrawler από το φοιτητή του πανεπιστηµίου της Washington, Brian Pinkerton. Τον Ιούλιο του ίδιου έτους, ο Michael Maldin, φοιτητής του Carnegie Melon, δηµιούργησε το Lycos και στους µήνες που ακολούθησαν πολλοί ιδιοκτήτες ιστοσελίδων ζήτησαν να συµπεριληφθούν οι ιστοσελίδες τους στα ευρετήρια των υπαρχόντων µηχανών αναζήτησης. Το 1995 παρουσιάστηκε to AltaVista που έγινε γρήγορα πολύ δηµοφιλές, καθώς και το Infoseek και το Εxcite. Την ίδια χρονιά κάνουν την εµφάνιση τους οι πρώτες µηχανές µετα-αναζήτησης, ο MetaCrawler από τους Erik Selberg και Oren Etizioni του πανεπιστηµίου της Washington και το SearchSavvy από τον Daniel Dreilinger του πανεπιστηµίου του Colorado. Η πρώτη µηχανή αναζήτησης που χρησιµοποιούσε σύστηµα παράλληλης επεξεργασίας, η Inktomi δηµιουργήθηκε το 1996 από τους Eric Brewer και Paul Gauthier και ακολουθήθηκε από την εµφάνιση του HotBot, µηχανή ικανή να διευρύνει το ευρετήριο της κατά 10 εκατοµµύρια ιστοσελίδες καθηµερινά. Το 1997 παρουσιάστηκαν οι µηχανές αναζήτησης AskJeeves, GoTo και Northern Light. Την επόµενη χρονιά, η Microsoft δηµιούργησε το MSN Search, ενώ οι Larry Page και Sergey Brin, τελειόφοιτοι φοιτητές του πανεπιστηµίου του Stanford, δηµιούργησαν το Google, του οποίου ο αλγόριθµος βαθµολόγησης σελίδων θεωρήθηκε µοναδικός. Το 1999, Νορβηγοί φοιτητές δηµιούργησαν τη µηχανή Fast Search, κοινώς γνωστή ως AllTheWeb. Από την εµφάνιση των πρώτων µηχανών αναζήτησης µέχρι σήµερα, χιλιάδες µηχανές αναζήτησης έχουν δηµιουργηθεί, άλλες περισσότερο και άλλες λιγότερο γνωστές, ενώ τελευταία έχουν αρχίσει να παρουσιάζονται µηχανές αναζήτησης εξειδικευµένες σε κάποιο γνωστικό πεδίο. Οι δηµοφιλέστερες µηχανές αναζήτησης σήµερα είναι σε αλφαβητική σειρά οι ακόλουθες: - 4 -

11 Excite AllTheWeb AltaVista Ask Jeeves Google HotBot Inktomi LookSmart Lycos MSN Search Netscape Search Open Directory Yahoo WebCrawler και αντίστοιχα οι πιο δηµοφιλείς µηχανές µετα-αναζήτησης είναι οι ακόλουθες: C4 Dogpile InfoGrid Ixquick Mamma MetaCrawler MetaFind Northern Light ProFusion SavvySearch Search.com Query Server Τα χαρακτηριστικά που κάνουν κάποιες µηχανές αναζήτησης δηµοφιλέστερες από άλλες είναι τα εξής: Λογικοί τελεστές: ο χρήστης µπορεί µε τη χρήση των τελεστών AND(KAI), OR(Ή) και NOT(ΟΧΙ) να καθορίσει ποιες ακριβώς λέξεις θέλει να περιέχονται στα αποτελέσµατα. Μετατροπείς: όµοια, ο χρήστης µπορεί να χρησιµοποιεί τους τελεστές + και. Αναζήτηση φράσης: ο χρήστης µπορεί να αναζητήσει αυτούσιες φράσεις και όχι µεµονωµένες λέξεις. Χαρακτήρες µπαλαντέρ: µε τη χρήση των χαρακτήρων? και * µπορεί να αντικατασταθεί ένας ή περισσότεροι χαρακτήρες αντίστοιχα. Στον πίνακα που ακολουθεί καταγράφονται τα χαρακτηριστικά ορισµένων από τις πιο δηµοφιλείς µηχανές αναζήτησης και µετα-αναζήτησης

12 Λογικοί τελεστές Μετατροπείς Αναζήτηση φράσης Χαρακτήρες µπαλαντέρ AllTheWeb AND +, - Ναι Όχι AltaVista Excite AND, OR, NOT AND, OR, NOT +, - Ναι Ναι +, - Ναι Όχι Google AND, OR +, - Ναι Ναι HotBot AND, OR, NOT +, - Ναι Ναι Infoseek OR +, - Ναι Όχι Lycos MSN Northern Light Yahoo AND, OR, NOT AND, OR, NOT AND, OR, NOT AND, OR, NOT +, - Ναι Όχι +, - Ναι Όχι +, - Ναι Ναι +, - Ναι Όχι Πίνακας 2.1 Χαρακτηριστικά ηµοφιλών Μηχανών Αναζήτηση και Μετααναζήτησης Λειτουργία των Μηχανών Αναζήτησης Καθηµερινά άνθρωποι από όλο τον κόσµο αναζητούν πληροφορίες στο διαδίκτυο. Οι µηχανές αναζήτησης συλλέγουν τα έγγραφα που ανταποκρίνονται στις ερωτήσεις των χρηστών, τα ταξινοµούν και τα παρουσιάζουν. Ένα βασικό πρόβληµα στην ανάκτηση πληροφοριών είναι η αντιπροσώπευση του περιεχοµένου των εγγράφων, καθώς πρέπει να εφαρµοστεί ανάλυση κειµένου για τη δηµιουργία περιγραφής ικανής να αντιπροσωπεύσει το περιεχόµενο τους. Η διαδικασία ξεκινά µε την αναγνώριση κάθε ξεχωριστής λέξης ως πιθανού περιγραφητή. Μετά την αναγνώριση των λέξεων, οι αδιάφορες λέξεις πρέπει να αποµακρυνθούν. Αδιάφορες χαρακτηρίζονται οι λέξεις που εµφανίζονται αρκετά συχνά και είναι κακοί περιγραφητές του κειµένου (άρθρα, µετοχές, κτλ). Οι λέξεις αυτές όχι µόνο είναι άχρηστες για την περιγραφή του κειµένου αλλά απαρτίζουν περίπου το 50 τοις εκατό του κειµένου

13 Στο επόµενο βήµα αποκόπτεται το πρόθεµα και η κατάληξη των λέξεων ώστε να συγκριθούν µόνο τα θέµατα τους. Έτσι, για παράδειγµα οι λέξεις δρόµος και δροµέας αντιστοιχίζονται στο θέµα δροµ. Αυτό συνήθως βοηθάει στην αναγνώριση των λέξεων αν και σε µεµονωµένες περιπτώσεις δηµιουργεί σύγχυση, όπως στην περίπτωση των λέξεων ακριβός και ακριβώς που αντιστοιχίζονται στο ίδιο θέµα ακριβώς χωρίς όµως να σηµαίνουν κάτι παρόµοιο. Από τα θέµατα των λέξεων δηµιουργείται ένα λεξικό. Το λεξικό αυτό χρησιµοποιείται από τον αλγόριθµο βαθµολόγησης που αντιστοιχεί σε κάθε όρο το βάρος του µέσα στο κείµενο. Ο υπολογισµός του βάρους αυτού βασίζεται στην παρατήρηση ότι η συχνότητα εµφάνισης µιας λέξης σχετίζεται άµεσα µε τη αξία της λέξης στην παρουσίαση του περιεχοµένου. Για να χαρακτηριστεί χρήσιµη µια λέξη θα πρέπει σύµφωνα µε τους Salton και McGill ([SM83]) να εκπληρώνει τις εξής απαιτήσεις: Να σχετίζεται µε το περιεχόµενο του κειµένου, έτσι ώστε να µπορεί να το κάνει ανακτήσιµο µόλις αναζητηθεί. Να διαφοροποιεί το κείµενο από τα υπόλοιπα ώστε να αποφευχθεί ανάκτηση εγγράφων που ίσως να µην θέλει ο αναζητητής. Λεκτικές µονάδες που επαναλαµβάνονται σε ένα κείµενο χρησιµεύουν στην πρώτη απαίτηση, θεσπίζοντας ένα παράγοντα συχνότητας (tf) ως πρώτο τµήµα της βαθµολόγησης. Αντίθετα, λεκτικές µονάδες µε µικρή συχνότητα εµφάνισης χρησιµεύουν στη δεύτερη απαίτηση, θεσπίζοντας ένα παράγοντα αντίστροφης συχνότητας (idf) ως δεύτερο τµήµα της βαθµολόγησης. Χρησιµοποιώντας το γινόµενο της συχνότητας tf ij και της αντίστροφης συχνότητας idf j για µια λεκτική µονάδα j σε ένα κείµενο i, έχουµε ένα καλό µέτρο της αξίας της λεκτικής µονάδας στην αναγνώριση του κειµένου, το βάρος w ij : w ij = tf ij idf j Η πιο απλή µορφή του όρου tf είναι η δυαδική: ο όρος tf ισούται µε 1 για λεκτικές µονάδες που υπάρχουν στο κείµενο και 0 για τις υπόλοιπες. Άλλες µορφές του όρου tf µπορούν να βρεθούν στο [SB088]. υο τυπικές µορφές είναι: tf ij = rtf ij όπου rtf ij είναι ο αριθµός εµφανίσεων της λεκτικής µονάδας j στο κείµενο i, και: tf ij rtf ij = max( rtf i ) όπου max(rtf i ) είναι ο µέγιστος αριθµός εµφανίσεων οποιασδήποτε λεκτικής µονάδας του κειµένου i. Ο υπολογισµός του idf γίνεται τυπικά από τον τύπο: - 7 -

14 idf j = log όπου f j είναι συνολικός αριθµός εµφανίσεων της λεκτικής µονάδας j στη στο σύνολο των κειµένων και N ο αριθµός των κειµένων. Εκτός από τους όρους tf και idf, για τον υπολογισµό του βάρους είναι χρήσιµος και ένας παράγοντας κανονικοποίησης ειδικά στις συλλογές κειµένων τα µεγέθη των οποίων καλύπτουν µεγάλο εύρος. Μεγαλύτερα κείµενα έχουν µεγαλύτερη πιθανότητα να ληφθούν σαν σχετικά προς την αναζήτηση παρόλο που όλα τα κείµενα θα έπρεπε να αντιµετωπίζονται όµοια, ανεξάρτητα από το µέγεθος τους. Σύµφωνα, λοιπόν, µε το [SB88] το κανονικοποιηµένο βάρος µπορεί να δοθεί από τον τύπο: N f j w ij = tf ij idf j j ( w ) 2 ij Κατά την αναζήτηση πληροφοριών, ανακτώνται κείµενα σχετικά µε την ερώτηση του χρήστη τα οποία βρίσκονται ύστερα από σύγκριση της ερώτησης µε όλα τα κείµενα. Για κάθε κείµενο δηµιουργείται µια λίστα που περιλαµβάνει τις λέξεις που αυτό περιέχει και τα βάρη τους στο κείµενο. Έτσι, για παράδειγµα, σε µια συλλογή κειµένων που χρησιµοποιούν συνολικά u λεκτικές µονάδες, για κάθε κείµενο i δηµιουργείται ένα διάνυσµα u-διαστάσεων D i : D i = ( d i, d i2,..., d 1 iu όπου d ij είναι το βάρος της λεκτικής µονάδας j στο κείµενο i. Ένα όµοιο διάνυσµα δηµιουργείται για την ερώτηση του αναζητητή: Q = ( q1, q2,..., qu ) όπου q j είναι το βάρος της λεκτικής µονάδας j στην ερώτηση. Οι λέξεις αυτές συγκρίνονται µε την ερώτηση του αναζητητή που είναι ένα άλλο σύνολο λέξεων: Q i = (q i1, q i2,, q iv ) και υπολογίζεται η οµοιότητα κάθε εγγράφου µε την ερώτηση του χρήστη σύµφωνα µε τον τύπο: Sim( D, Q) = i u u j= 1 ( d ij ) q ) 2 u d j= 1 ij j= 1 j q 2 j - 8 -

15 Από τα αποτελέσµατα κρατούνται αυτά που έχουν οµοιότητα µεγαλύτερη από ένα κατώτερο όριο και παρουσιάζονται στο χρήστη σε φθίνουσα σειρά, ώστε να δει πρώτα αυτά που είναι περισσότερο σχετικά µε την ερώτησή του Λειτουργία των Μηχανών Μετα-αναζήτησης Οι µηχανές µετα-αναζήτησης, σε αντίθεση µε τις µηχανές αναζήτησης, δεν αναζητούν έγγραφα σχετικά µε την ερώτηση στο διαδίκτυο, αλλά µεταβιβάζουν την ερώτηση στις πιο αξιόπιστες από τις µηχανές αναζήτησης και εµφανίζουν τα αποτελέσµατά τους. Η δυσκολία στη λειτουργία των µηχανών αναζήτησης έγκειται στην υλοποίηση ενός αντικειµενικού αλγορίθµου βαθµολόγησης, ικανού να ανεβάσει στις πρώτες θέσεις των αποτελεσµάτων αυτά που πραγµατικά θα ήθελε να δει ο χρήστης. Οι σχετιζόµενες µε αυτό το πρόβληµα έρευνες χωρίζονται σε δυο µεγάλες κατηγορίες, αυτές που προϋποθέτουν ότι οι µηχανές αναζήτησης επιστρέφουν τις βαθµολογίες που έχουν δώσει στα αποτελέσµατα και αυτές που δεν απαιτούν να γνωρίζουν τη βαθµολόγηση των αποτελεσµάτων, παρά µόνο την κατάταξη τους. Οι Y. Rasolofo, F. Abbaci και J. Savoy ([RAS01]) επισηµαίνουν ότι η κλίµακα βαθµολόγησης των εγγράφων µπορεί να διαφέρει σε κάθε µηχανή, γι αυτό απαιτείται κανονικοποίηση, ώστε να επιτευχθεί κοινό µέτρο σύγκρισης για την αξιολόγηση των αποτελεσµάτων. Ταυτόχρονα, η αξία κάθε αποτελέσµατος επηρεάζεται από την αξιοπιστία της µηχανής αναζήτησης µε τη µορφή βάρους. Το βάρος κάθε µηχανής υπολογίζεται χωριστά για κάθε αναζήτηση σύµφωνα µε την προσέγγιση CORI και εξαρτάται από τη συλλογή των αποτελεσµάτων της συγκεκριµένης αναζήτησης. Η συλλογή αυτή βαθµολογείται σύµφωνα µε την αντίληψη ότι ο αριθµός των επιτυχών αποτελεσµάτων είναι ανάλογος του συνολικού αριθµού τους, δηλαδή µια µηχανή αναζήτησης που έχει επιστρέψει περισσότερα αποτελέσµατα θα έχει και περισσότερα επιτυχή σε σχέση µε τις υπόλοιπες µηχανές. Εποµένως, η βαθµολογία της συλλογής των αποτελεσµάτων της i µηχανής αναζήτησης δίνεται από τον τύπο: s i li K = log 1+ C l j j= 1-9 -

16 όπου Κ είναι µια σταθερά, l i είναι ο αριθµός αποτελεσµάτων της συλλογής και C είναι ο αριθµός των συλλογών αποτελεσµάτων, δηλαδή ο αριθµός των µηχανών αναζήτησης που έδωσαν αποτελέσµατα. Το βάρος της i µηχανής αναζήτησης δίνεται από τον τύπο: si s w =1 + s i = όπου s i είναι η βαθµολογία της συλλογής των αποτελεσµάτων της εν λόγω µηχανής και s είναι ο µέσος όρος των βαθµολογιών των συλλογών αποτελεσµάτων. Οι R. Manmatha, T. Rath και F. Feng ([MRF01]) υπολογίζουν την πιθανότητα κάθε αποτέλεσµα να είναι επιτυχές βασισµένοι στη διαπίστωση ότι η βαθµολόγηση των µηχανών αναζήτησης ακολουθεί κανονική κατανοµή όταν πρόκειται για επιτυχή αποτελέσµατα και εκθετική όταν πρόκειται για ανεπιτυχή. Με τις παραπάνω µεθόδους όµως διαφωνούν πολλοί ερευνητές ([Dum94], [GP98], [TVGJ95]) τονίζοντας ότι η βαθµολόγηση των διαφόρων µηχανών αναζήτησης δεν είναι συµβατή και συγκρίσιµη ακόµη και αν κανονικοποιηθεί. Οι ερευνητές της Siemens ([TVGJ95]) αναφέρουν πως το ίδιο έγγραφο δέχεται διαφορετική βαθµολογία από τις διάφορες µηχανές και η S. T. Dumais ([Dum94]) σηµειώνει ότι η βαθµολόγηση εξαρτάται και επηρεάζεται από τη συλλογή που έχει στη διάθεσή της κάθε µηχανή αναζήτησης. Την ίδια άποψη υιοθετούν και οι L. Gravano και Ι. Παπακωνσταντίνου ([GP98]) επισηµαίνοντας ότι δεν είναι εφικτή η σύγκριση της αξιολόγησης ούτε καν µεταξύ µηχανών µε τον ίδιο αλγόριθµο βαθµολόγησης. Προτείνουν ως λύση την παρουσίαση στατιστικών στοιχείων από τις µηχανές αναζήτησης, ώστε η µηχανή µετα-αναζήτησης γνωρίζοντας τη συχνότητα εµφάνισης των λεκτικών µονάδων της ερώτησης σε κάθε αποτέλεσµα να µπορεί να τα ταξινοµήσει αντικειµενικά. Οι J. A. Aslam και M. Montague ([ΑΜ01]) προτείνουν για τη µηχανή µετααναζήτησης αλγόριθµους ταξινόµησης που αγνοούν εντελώς την βαθµολόγηση των µηχανών αναζήτησης θεωρώντας, εξάλλου, ότι η πρώτη συνήθως δεν γνωρίζει την βαθµολογία των αποτελεσµάτων, αλλά µόνο την κατάταξή τους. Ο αλγόριθµος Bayesfuse χρησιµοποιεί θεωρία πιθανοτήτων και υπολογίζει την πιθανότητα rel(d) µε την οποία το αποτέλεσµα d είναι επιτυχές: rel( d) = i Pr log Pr s i s [ ri ( d) \ rel] [ r ( d) \ irr] i

17 όπου Pr θέση, ενώ [ r i ( d) \ rel] [ r i ( d) \ irr] είναι η πιθανότητα ένα επιτυχές έγγραφο να βρίσκεται στην i Pr είναι η πιθανότητα ένα άσχετο µε την αναζήτηση έγγραφο να βρίσκεται στην ίδια θέση. Ο αλγόριθµος Borda-fuse βασίζεται σε διαδικασίες δηµοκρατικής ψηφοφορίας. Θεωρεί ότι κάθε µηχανή δίνει ψήφους στα αποτελέσµατα που επιστρέφει, δίνοντας τους περισσότερους στο πρώτο, ένα λιγότερο στο δεύτερο κλπ. Με αυτόν τον τρόπο τα αποτελέσµατα µαζεύουν ψήφους από όσες µηχανές τα έχουν επιλέξει και η κατάταξη καθορίζεται δηµοκρατικά κατά την άθροιση των ψήφων. Η ίδια τακτική, τέλος, χρησιµοποιείται και στον αλγόριθµο weighted Bordafuse, µε τη διαφορά ότι οι µηχανές αναζήτησης δεν θεωρούνται ισοδύναµες, αλλά οι ψήφοι τους λαµβάνονται υπ όψιν µε διαφορετικά βάρη ανάλογα µε την αξιοπιστία κάθε µηχανής αναζήτησης. Ο τελευταίος αλγόριθµος χρησιµοποιείται και από τη µηχανή µετα-αναζήτησης της παρούσας εργασίας Ταξινόµηση Κοντινότερου Γείτονα Στην ενότητα αυτή περιγράφεται ο αλγόριθµος ταξινόµησης κοντινότερου γείτονα (k-nn, [DZB01], [KS91]) που θα χρησιµοποιηθεί για την αυτόµατη ταξινόµηση των αποτελεσµάτων στους φακέλους του χρήστη. Ο αλγόριθµος αυτός υποθέτει την ύπαρξη ενός συνόλου θεµατικών κατηγοριών και κειµένων αντιπροσωπευτικών για κάθε κατηγορία και προσπαθεί να αντιστοιχίσει κάθε νέο κείµενο που του δίνεται στην καταλληλότερη κατηγορία. Αρχικά, τα αντιπροσωπευτικά κείµενα δέχονται ένα βαθµό σύµφωνα µε την οµοιότητα τους µε το δοθέν κείµενο και ταξινοµούνται. Στη συνέχεια, διατηρούνται τα k πρώτα από τα ταξινοµηµένα κείµενα και προστίθενται οι βαθµολογίες αυτών που ανήκουν στην ίδια κατηγορία. Τα αθροίσµατα αυτά αποτελούν τη βαθµολογία της κάθε κατηγορίας και σύµφωνα µε αυτά επιλέγεται η καταλληλότερη κατηγορία για το δοθέν κείµενο: Sim ( x, c ) = sim( x, d ) i d k ΝΝ ij όπου x το δοθέν προς αξιολόγηση κείµενο, c i µια θεµατική κατηγορία, d ij ένα αντιπροσωπευτικό κείµενο της κατηγορίας αυτής,, sim(x,d ij ) η οµοιότητα του αντιπροσωπευτικού κειµένου d ij µε το x και Sim(x,c i ) η βαθµολογία της κατηγορίας c i για το κείµενο x. Η οµοιότητα sim(x,d) ενός αντιπροσωπευτικού κειµένου d µε το δοθέν κείµενο x υπολογίζεται σύµφωνα µε τη µεθοδολογία που παρουσιάζεται στο [WMB99]. Αρχικά υπολογίζεται το βάρος κάθε λεκτικής µονάδας t στα κείµενα x και d: ij

18 w x, t log 1 + = t N f w d t = 1+ f d, t, log όπου f t ο αριθµός των αντιπροσωπευτικών κειµένων που περιέχουν τη λεκτική µονάδα t, N ο συνολικός αριθµός αντιπροσωπευτικών κειµένων και f d,t η συχνότητα εµφάνισης του t στο κείµενο d. Έπειτα, υπολογίζονται τα συνολικά βάρη των κειµένων x και d: 2 W x = w x t xid t xid, t 2 W d = w d Τέλος, υπολογίζεται η οµοιότητα sim(x,d) του αντιπροσωπευτικού κειµένου d µε το δοθέν κείµενο x σύµφωνα µε τον τύπο: sim( x, d) = t xid x, t (1 + log f W W ΠΑΡΑ ΕΙΓΜΑ: Έστω οι θεµατικές κατηγορίες Sports(c 1 ), Science(c 2 ) και Arts(c 3 ). H c 1 έχει αντιπροσωπευτικά έγγραφα τα d 11, d 12, d 13, η c 2 τα d 21, d 22, d 23 και η c 3 τα d 31, d 32, d 33. d, t ) d w x, t ROOT c 1 : Sports c 2 : Science c 3 : Arts d 11 d 12 d 13 d 21 d 22 d 23 d 31 d 32 Σχήµα 2.1 Θεµατικές Κατηγορίες d 33 Έστω, ένα κείµενο x που µετά τη σύγκριση µε τα αντιπροσωπευτικά κείµενα δέχεται οµοιότητες: sim(x, d 11 ) = 0.3 sim(x, d 12 ) = 0.4 sim(x, d 13 ) = 0.1 sim(x, d 21 ) = 0.8 sim(x, d 22 ) = 0.6 sim(x, d 23 ) = 0.9 sim(x, d 31 ) = 0.2 sim(x, d 32 ) = 0.1 sim(x, d 33 ) =

19 Για κατώφλι k = 6, τα αντιπροσωπευτικά κείµενα ταξινοµούνται και κρατούνται τα 6 που ταιριάζουν περισσότερο µε το x: sim(x, d 23 ) = 0.9 sim(x, d 21 ) = 0.8 sim(x, d 22 ) = 0.6 sim(x, d 12 ) = 0.4 sim(x, d 11 ) = 0.3 sim(x, d 31 ) = 0.2 Η οµοιότητα του x µε κάθε κατηγορία είναι: Sim(x, c 1 ) = 0.7 Sim(x, c 2 ) = 2.3 Sim(x, c 3 ) = 0.2 Εποµένως, η καταλληλότερη κατηγορία για το κείµενο x είναι η c Τεχνολογία XML XSL Η γλώσσα XML (Extensible Markup Language) προτάθηκε από τη W3C για την αναπαράστασης δοµηµένης πληροφορίας. Περιγράφει δεδοµένα σε µορφοποίηση κειµένου χωρίς να περιέχει ένα προκαθορισµένο σύνολο από ετικέτες (tags), αλλά αφήνει το χρήστη να καθορίσει τις ετικέτες που περιγράφουν ακριβέστερα την εκάστοτε πληροφορία. Ακολουθεί ένα παράδειγµα XML αρχείου που περιγράφει τα περιεχόµενα µιας βιβλιοθήκης: <?xml version='1.0' encoding='iso '?> <?xml-stylesheet type='text/xsl' href=' <library>. <numberofbooks>2</numberofbooks>. <book>.. <title>java</title>.. <author>nick Came</author>. </book>. <book>.. <title>programming Perl</title>.. <author>john Jackon</author>. </book> </library> Σχήµα 2.2 XML Αρχείο

20 Ο καθορισµός των ετικετών της XML γίνεται από το χρήστη προαιρετικά µε τη χρήση της γραµµατικής DTD (Data Type Definition), όπου εκτός από τα ονόµατα των ετικετών δηλώνεται και το περιεχόµενο που µπορούν να έχουν. Έστω, για παράδειγµα το DTD που ορίζει ότι µια βιβλιοθήκη περιέχει βιβλία και κάθε βιβλίο περιέχει τίτλο και συγγραφέα. Το DTD αυτό θα µπορούσε να δηλωθεί όπως στο σχήµα: <?xml version="1.0" encoding= UTF-8?> <!DOCTYPE library [ <!ELEMENT library (numberofbooks, book*)> <!ELEMENT numberofbooks (#PCDATA)> <!ELEMENT book (title, author)> <!ELEMENT title <!ELEMENT author (#PCDATA)> (#PCDATA)> ]> Σχήµα 2.3 DTD Παρατηρούµε ότι πράγµατι το XML αρχείο του σχήµατος 2.2 συµβαδίζει µε τους κανόνες του DTD ορισµού. Η XML δίνει, εποµένως, την δυνατότητα στο χρήστη να ορίσει τη δική του γλώσσα περιγραφής δεδοµένων. Για την παρουσίαση των δεδοµένων, όµως, συνήθως απαιτείται µια γραφική απεικόνιση όπως αυτή της HTML και όχι απλά ένα δοµηµένο κείµενο. Για το σκοπό αυτό έχει προταθεί η γλώσσα XSL (Extensible Style Language) που εφαρµόζει σε κάθε XML αρχείο µια φόρµα εµφάνισης (style-sheet) και παράγει ένα αντίστοιχο HTML αρχείο. Το HTML αρχείο θα χρησιµοποιηθεί για την εµφάνιση των αποτελεσµάτων συνδυάζοντας τα δεδοµένα του XML αρχείου µε τις παραµέτρους εµφάνισης του XSL style-sheet. Το XSL έχει τις ακόλουθες δυνατότητες: Προσθέτει γενικό κείµενο στην παρουσίαση. Παρέχει στον browser οδηγίες για την παρουσίαση κάθε στοιχείου του XML κειµένου. Αλλάξει τη σειρά παρουσίασης των στοιχείων ή τα παρουσιάζει περισσότερες από µία φορές. Επεξεργάζεται τα στοιχεία, τις ιδιότητές τους και το περιεχόµενό τους και προσθέτει στοιχεία και περιεχόµενο που δεν περιέχονταν στο XML κείµενο. Έτσι, στο παράδειγµα του βιβλιοθήκης του σχήµατος 2.2 µπορεί να εφαρµοστεί ένα XSL style-sheet που καθορίζει οι τίτλοι των βιβλίων να εµφανιστούν µε µπλε γράµµατα µε τα

21 ονόµατα των συγγραφέων δίπλα στο τίτλο. Ένα τέτοιο XSL style-sheet περιγράφεται από το ακόλουθο σχήµα: <?xml version="1.0" encoding="utf-8"?> <xsl:stylesheet version="1.0" xmlns:xsl=" xmlns:xs=" <xsl:template match="library"> <html> <body bgcolor="e2e7f5" onload="onload()"> <xsl:for-each select="book"> <font size="3" color="0000ff"><xsl:value-of select="title"/></font> - <xsl:value-of select="author"/><br/> </xsl:for-each> </body> </html> </xsl:template> </xsl:stylesheet> Σχήµα 2.4 XSL style-sheet Στον XSL κώδικα βλέπουµε την αντιστοίχιση της XML ετικέτας library (xsl:template match= library ) µε HTML κώδικα, όπου εκτός από το γενικό κείµενο αντικαθιστά κάθε στοιχείο book (xsl:for-each select= book ) µε µια γραµµή που τυπώνει τον τίτλο (xsl:value-of select= title ) και το όνοµα του συγγραφέα (xsl:value-of select= author ). Εφαρµόζοντας το παραπάνω XSL style-sheet στο XML αρχείο δηµιουργείται µια HTML σελίδα που απεικονίζει την XSL πληροφορία όπως στο σχήµα: Java Nick Came Programming Perl John Jackson Σχήµα 2.5 Εµφάνιση XML Αρχείου µε XSL Style-sheet

22 2.2 Στόχος Η µηχανή µετα-αναζήτησης captain Nemo θα πρέπει να αποκρίνεται στις ερωτήσεις του χρήστη αντλώντας αποτελέσµατα από ορισµένες δηµοφιλείς µηχανές αναζήτησης. Για το σκοπό αυτό θα προσφέρει στο χρήστη µια φόρµα όπου αυτός θα θέτει τις ερωτήσεις του και θα βλέπει τα αποτελέσµατα της αναζήτησης. Ο χρήστης θα µπορεί να επισκεφτεί κάθε αποτέλεσµα επιλέγοντας το. Πέρα, όµως, από τις συνηθισµένες δυνατότητες των µηχανών αναζήτησης, η µηχανή captain Nemo θα επιτρέπει στο χρήστη να επέµβει στη λειτουργία της δηµιουργώντας τον προσωπικό του χώρο αναζήτησης. Ο χρήστης θα εισέρχεται στον προσωπικό του χώρο µε τη χρήση κωδικού ασφαλείας, ώστε να µην είναι δυνατή η αλλοίωση των επιλογών του από τρίτο. υο βασικά στοιχεία της µηχανής θα είναι τα ακόλουθα: Φάκελοι αυτόµατης ταξινόµησης Προφίλ Φάκελοι αυτόµατης ταξινόµησης Ο χρήστης της µηχανής µετα-αναζήτησης θα µπορεί να καθορίσει φακέλους όπου θα σώζει τα αποτελέσµατα που τον ενδιαφέρουν για να έχει εύκολη και γρήγορη πρόσβαση σε αυτά αργότερα. Κάθε αποτέλεσµα της αναζήτησης θα µπορεί να σωθεί σε οποιονδήποτε από τους φακέλους του, όπου θα διατηρούνται ο τίτλος, η περιγραφή και η ηλεκτρονική διεύθυνσή του. Πηγαίνοντας ο χρήστης στα περιεχόµενα των φακέλων του θα επισκέπτεται αποτελέσµατα που έχει σώσει και θα διαγράφει αυτά που δεν τον ενδιαφέρουν πλέον. Το σύστηµα θα του επιτρέπει να δηµιουργεί νέους φακέλους, να σβήνει υπάρχοντες ή να µεταβάλλει το όνοµα κάποιου φακέλου. Επιπλέον, η µηχανή θα αντιστοιχίζει αυτόµατα κάθε αποτέλεσµα της αναζήτησης στον φάκελο που ταιριάζει. Για την αντιστοίχιση αυτή, θα ενσωµατωθεί στη µηχανή παλιότερη εργασία του εργαστηρίου που δέχεται τις περιγραφές των φακέλων του χρήστη και την περιγραφή κάθε αποτελέσµατος και επιλέγει µε αλγόριθµο ταξινόµησης κοντινότερου γείτονα τον καταλληλότερο φάκελο για κάθε αποτέλεσµα. Το σύστηµα θα παροτρύνει το χρήστη να σώσει κάθε αποτέλεσµα στον αντίστοιχο φάκελο, αλλά θα τον αφήνει τελικά να αποφασίσει από µόνος του ποιον θεωρεί καταλληλότερο φάκελο για κάθε αποτέλεσµα Προφίλ Η µηχανή µετα-αναζήτησης δεν θα έχει προκαθορισµένη µορφοποίηση, αλλά θα αφήνει το χρήστη να καθορίσει τις προσωπικές του επιλογές στην αναζήτηση και την

23 παρουσίαση των αποτελεσµάτων. Οι επιλογές αυτές θα διατηρούνται από το σύστηµα ώστε να µην τις καθορίζει ο χρήστης κάθε φορά. Παράλληλα, ο χρήστης ίσως να θέλει να χρησιµοποιεί διαφορετικές επιλογές ανάλογα µε την αναζήτηση. Για να µην χρειαστεί να αλλάζει συνεχώς τις παραµέτρους του, το σύστηµα θα του επιτρέπει να σώζει τις επιλογές του µε κάποιο όνοµα, δηµιουργώντας ένα προφίλ. Έτσι, θα µπορεί να δηµιουργεί νέα προφίλ, να σβήνει ή και να µεταβάλλει τα υπάρχοντα. Με την εγγραφή του στο σύστηµα θα δηµιουργείται ένα προκαθορισµένο προφίλ το οποίο θα µπορεί να χρησιµοποιεί εφόσον δεν θέλει να ασχοληθεί µε την δηµιουργία νέων προφίλ

24 - 18 -

25 3 Ανάλυση Απαιτήσεων Στο κεφάλαιο αυτό παρουσιάζεται ο διαχωρισµός του συστήµατος σε υποσυστήµατα, απαριθµούνται οι απαιτήσεις κάθε υποσυστήµατος και περιγράφεται η λειτουργία που το υποσύστηµα θα πρέπει να επιτελεί. 3.1 Περιγραφή Αρχιτεκτονικής Το σύστηµα της µηχανής µετα-αναζήτησης χωρίζεται σε υποσυστήµατα καθένα από τα οποία επιτελεί µια συγκεκριµένη λειτουργία. Τα υποσυστήµατα αυτά συνεργάζονται µεταξύ τους ανταλλάσσοντας δεδοµένα, χωρίς όµως το ένα να επεµβαίνει στις λειτουργίες του άλλου. Τα βασικά µέρη που απαρτίζουν το σύστηµα είναι τα εξής: ιαπροσωπεία χρήστη Βάση χρηστών Υποσύστηµα αναζήτησης Υποσύστηµα ταξινόµησης Υποσύστηµα παρουσίασης Βάση προσωπικών προτιµήσεων Βάση φακέλων Ακολουθεί το σχήµα µε την αρχιτεκτονική του συστήµατος

26 ΒΑΣΗ ΧΡΗΣΤΩΝ ΜΗΧΑΝΗ ΑΝΑΖΗΤΗΣΗΣ ( ΙΑΠΡΟΣΩΠΕΙΑ) ΒΑΣΗ ΦΑΚΕΛΩΝ ΑΝΑΖΗΤΗΤΗΣ ΤΑΞΙΝΟΜΗΤΗΣ ΠΑΡΟΥΣΙΑΣΤΗΣ ΒΑΣΗ ΠΡΟΣΩΠΙΚΩΝ ΠΡΟΤΙΜΗΣΕΩΝ Σχήµα 3.1 Αρχιτεκτονική Συστήµατος Όπως φαίνεται και στο σχήµα, ο χρήστης αλληλεπιδρά µε τη διαπροσωπεία (interface) της µηχανής µετα-αναζήτησης χωρίς να γνωρίζει την ύπαρξη των υπολοίπων µερών του συστήµατος. Η διαπροσωπεία του συστήµατος επικοινωνεί µε τη Βάση Χρηστών όπου κρατούνται τα στοιχεία των χρηστών για να επιτρέψει ή απαγορεύσει την είσοδο σε κάθε χρήστη που ζητά να χρησιµοποιήσει τη µηχανή. Χρήστες που δεν γίνονται δεκτοί έχουν το δικαίωµα να καταγραφούν ως νέοι χρήστες. Κατά τη διάρκεια της αναζήτησης, το υποσύστηµα αναζήτησης αναλαµβάνει να επικοινωνήσει µε τις µηχανές αναζήτησης που ο χρήστης έχει επιλέξει στις προσωπικές του προτιµήσεις. Οι προτιµήσεις του αυτές λαµβάνονται από τη Βάση Προσωπικών Προτιµήσεων. Τα αποτελέσµατα του Αναζητητή τροφοδοτούν τον Ταξινοµητή (Ranker) που τα βαθµολογεί σε συνεργασία µε τον διαχειριστή της Βάσης Προσωπικών Προτιµήσεων και τα ταξινοµεί. Ο Παρουσιαστής φροντίζει να παρουσιάσει τα αποτελέσµατα σύµφωνα µε τις προτιµήσεις του χρήστη για τη δοµή και την εµφάνιση και δίνει ξανά τον έλεγχο στη διαπροσωπεία της µηχανής. Τέλος, η µηχανή µετα-αναζήτησης δίνει την δυνατότητα στο χρήστη να σώσει τα αποτελέσµατα που τον ενδιαφέρουν στους φακέλους που δηµιουργεί ο ίδιος και διατηρούνται στη Βάση Φακέλων

27 3.2 Περιγραφή Λειτουργιών Εδώ, παρουσιάζονται οι απαιτήσεις κάθε υποσυστήµατος και οι λειτουργίες που θα πρέπει αυτό να επιτελεί ιαπροσωπεία Χρήστη Οι απαιτήσεις από το υποσύστηµα της διαπροσωπείας είναι οι ακόλουθες: Το σύστηµα θα πρέπει να είναι φιλικό προς το χρήστη. Η εκµάθηση χρήσης του συστήµατος θα πρέπει να µην απαιτεί ούτε χρόνο ούτε το διάβασµα κάποιου εγχειριδίου χρήσης, αλλά να γίνεται µόνο µε την ανάγνωση απλών οδηγιών που θα παρέχονται από την ιστοσελίδα είτε µε µόνιµα µηνύµατα είτε µε την εµφάνιση εκτάκτων µηνυµάτων κάθε φορά που ο χρήστης αλληλεπιδρά µε το σύστηµα. Το περιβάλλον διαπροσωπείας θα πρέπει να βοηθά το χρήστη να αποφεύγει τα σφάλµατα. Στην περίπτωση σφαλµάτων θα πρέπει να τον κατευθύνει και να του προτείνει ενέργειες προς αποφυγή τους. Ακολουθεί το διάγραµµα που παρουσιάζει αναλυτικά τις λειτουργίες του υποσυστήµατος και περιγράφεται αναλυτικά. ΥΠΟ ΟΧΗ ΧΡΗΣΤΗ ΣΥΝ ΕΣΜΟΣ ΗΜΙΟΥΡΓΙΑ ΝΕΟΥ ΧΡΗΣΤΗ ΑΙΤΗΣΗ ΕΓΓΡΑΦΗΣ ΑΠΟΤΕΛΕΣΜΑΤΟΣ, ΟΝΟΜΑ ΦΑΚΕΛΟΥ, ΑΠΟΤΕΛΕΣΜΑ ΑΡΝΗΣΗ ΠΡΟΣΒΑΣΗΣ ΌΝΟΜΑ, ΚΩ ΙΚΟΣ ΕΠΙΤΡΕΨΗ ΠΡΟΣΒΑΣΗΣ ΕΡΩΤΗΣΗ ΒΑΣΙΚΗ ΣΕΛΙ Α ΜΗΧΑΝΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΡΟΣ ΒΑΣΗ ΧΡΗΣΤΩΝ ΠΡΟΣ ΑΝΑΖΗΤΗΤΗ ΑΠΟ ΠΑΡΟΥΣΙΑΣΤΗ ΠΡΟΣ ΒΑΣΗ ΦΑΚΕΛΩΝ ΑΙΤΗΣΗ ΗΜΙΟΥΡΓΙΑΣ ΦΑΚΕΛΟΥ, ΟΝΟΜΑ, ΠΕΡΙΓΡΑΦΗ Σχήµα 3.2 ιάγραµµα Ροής εδοµένων στη ιαπροσωπεία Συστήµατος

28 Όπως φαίνεται και στο διάγραµµα ο χρήστης αρχικά εισάγεται στην υποδοχή χρήστη και του ζητείται να εισάγει το όνοµα και τον κωδικό του για να συνεχίσει, ενώ του δίνεται η δυνατότητα να καταγραφεί ως νέος χρήστης από τη δηµιουργία νέου χρήστη. Το όνοµα και ο κωδικός του χρήστη µεταβιβάζονται στο διαχειριστή της βάσης χρηστών που επιτρέπει την πρόσβαση στο σύστηµα µόνο σε χρήστες που γνωρίζουν τον κωδικό που αντιστοιχεί στο όνοµα που χρησιµοποιούν. Ο χρήστης τότε εισάγεται στη βασική σελίδα µηχανής όπου και θέτει τις ερωτήσεις του στη µηχανή αναζήτησης. Οι ερωτήσεις του καταλήγουν στο υποσύστηµα αναζήτησης και τα αποτελέσµατα λαµβάνονται από το υποσύστηµα παρουσίασης. Τέλος, το υποσύστηµα συνεργάζεται µε το διαχειριστή της βάσης φακέλων για τη δηµιουργία φακέλων και την καταχώρηση αποτελεσµάτων σε αυτούς Βάση Χρηστών ιαχειριστής Βάσης Οι απαιτήσεις από τον διαχειριστή της βάσης χρηστών είναι οι ακόλουθες: Το υποσύστηµα θα πρέπει να χορηγεί προσωπικό κωδικό σε κάθε νέο χρήστη. Τον κωδικό αυτό θα επιλέγει ο ίδιος ο χρήστης, ώστε να είναι εύκολη η αποµνηµόνευσή του. Η φύλαξη των κωδικών πρόσβασης των χρηστών θα πρέπει να γίνεται µε ασφάλεια και εχεµύθεια, ώστε να µην είναι δυνατή η παραβίαση τους. Το υποσύστηµα θα πρέπει να απαγορεύει τη δηµιουργία χρηστών µε κοινό όνοµα ή χρηστών µε όνοµα αποτελούµενο από κενούς χαρακτήρες. Το υποσύστηµα θα πρέπει να απαγορεύει την πρόσβαση σε µη καταχωρηµένους χρήστες ή χρήστες που προσπαθούν να εισέλθουν στον προσωπικό χώρο αναζήτησης άλλων χρηστών. Ο αποθηκευτικός χώρος της βάσης δεδοµένων θα πρέπει να είναι µεγάλος ή τουλάχιστον επεκτάσιµος για να µπορεί να εξυπηρετήσει ένα µεγάλο αριθµό χρηστών. Ακολουθεί το διάγραµµα που παρουσιάζει τις λειτουργίες του υποσυστήµατος καθώς και αναλυτική περιγραφή του

29 ΠΡΟΣ ΙΑΠΡΟΣΩΠΕΙΑ ΑΙΤΗΣΗ ΠΡΟΣΒΑΣΗΣ Ή ΗΜΙΟΥΡΓΙΑΣ ΝΕΟΥ ΧΡΗΣΤΗ, ΟΝΟΜΑ, ΚΩ ΙΚΟΣ ΑΡΝΗΣΗ ΕΝΕΡΓΕΙΑΣ ΕΠΙΤΡΕΨΗ ΕΝΕΡΓΕΙΑΣ ΙΑΧΕΙΡΙΣΤΗΣ ΒΑΣΗΣ ΧΡΗΣΤΩΝ ΒΑΣΗ ΧΡΗΣΤΩΝ Σχήµα 3.3 ιάγραµµα Ροής εδοµένων στη Βάση Χρηστών Ο διαχειριστής της βάσης χρηστών συµµετέχει σε δύο ενέργειες σε συνεργασία µε το υποσύστηµα διαπροσωπείας: Αίτηση πρόσβασης ηµιουργία νέου χρήστη Κατά την αίτηση πρόσβασης ελέγχει αν το όνοµα και ο κωδικός του χρήστη συµφωνούν µε κάποια καταχώρηση στη βάση δεδοµένων και επιτρέπει ή απορρίπτει την αίτηση. Κατά τη δηµιουργία νέου χρήστη έλεγχει αν το όνοµα χρήστη χρησιµοποιείται από κάποιον άλλο χρήστη και αν το όνοµα ή ο κωδικός αποτελούν µη αποδεκτές συµβολοακολουθίες Υποσύστηµα Αναζήτησης Οι απαιτήσεις από το υποσύστηµα αναζήτησης είναι οι ακόλουθες: Το υποσύστηµα θα πρέπει να δέχεται την ερώτηση του χρήστη και να αναζητεί αποτελέσµατα. Οι µηχανές από τις οποίες θα αναζητούνται τα αποτελέσµατα θα πρέπει να καθορίζονται σε συνεργασία µε το υποσύστηµα διαχείρισης της βάσης προσωπικών προτιµήσεων. Οι χρόνοι απόκρισης του υποσυστήµατος θα πρέπει να είναι ελάχιστοι και να µην ξεπερνούν κατά πολύ τους χρόνους απόκρισης των µηχανών αναζήτησης που

30 χρησιµοποιούνται. εδοµένου ότι οι µηχανές αναζήτησης δίνουν τα αποτελέσµατα τους στο σύστηµα σε χρόνο 3-8 sec, ανάλογα µε το φόρτο του δικτύου, το σύστηµα δε θα πρέπει να καθυστερεί πλέον των 8-10 sec. Θα πρέπει εποµένως να αλληλεπιδρά ταυτόχρονα µε όλες τις µηχανές αναζήτησης. Ακολουθεί το διάγραµµα που παρουσιάζει αναλυτικά τις λειτουργίες του υποσυστήµατος. ΑΠΟ ΙΑΠΡΟΣΩΠΕΙΑ ΕΡΩΤΗΣΗ ΜΕΘΟ ΟΣ ΑΝΑΖΗΤΗΣΗΣ ΕΡΩΤΗΣΗ ΜΗΧΑΝΕΣ ΑΝΑΖΗΤΗΣΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΟΝΟΜΑ ΧΡΗΣΤΗ ΕΠΙΛΟΓΕΣ ΜΗΧΑΝΩΝ ΠΡΟΣ ΤΑΞΙΝΟΜΗΤΗ ΠΡΟΣ ΒΑΣΗ ΠΡΟΣΩΠΙΚΩΝ ΠΡΟΤΙΜΗΣΕΩΝ Σχήµα 3.4 ιάγραµµα Ροής εδοµένων στο Υποσύστηµα Αναζήτησης Η µέθοδος αναζήτησης δέχεται τις ερωτήσεις του χρήστη από τη διαπροσωπεία του συστήµατος και σε συνεργασία µε το διαχειριστή της βάσης προσωπικών προτιµήσεων επιλέγει τις µηχανές αναζήτησης στις οποίες θα τεθεί η ερώτηση. Μεταβιβάζει την ερώτηση στις µηχανές και τα αποτελέσµατα καταλήγουν στο υποσύστηµα ταξινόµησης Υποσύστηµα Ταξινόµησης Οι απαιτήσεις από το υποσύστηµα ταξινόµησης είναι οι ακόλουθες: Το υποσύστηµα θα πρέπει να βαθµολογεί τα αποτελέσµατα των µηχανών αναζήτησης και να τα ταξινοµεί κατά φθίνουσα σειρά βαθµολογίας. Η βαθµολόγηση των αποτελεσµάτων θα πρέπει να βασίζεται σε κάποιο δηµοκρατικό αλγόριθµο που θα προκύψει από έρευνα σε σχετικές εργασίες ή πρακτικά συνεδρίων στο ερευνητικό πεδίο της Ανάκτησης Πληροφοριών

31 Η βαθµολογία κάθε αποτελέσµατος θα πρέπει να επηρεάζεται από το συντελεστή βάρους της µηχανής που το παρήγαγε, ο οποίος θα καθορίζεται από τη βάση προσωπικών προτιµήσεων. Ακολουθεί το διάγραµµα που παρουσιάζει αναλυτικά τις λειτουργίες του υποσυστήµατος. ΑΠΟ ΑΝΑΖΗΤΗΤΗ ΑΠΟΤΕΛΕΣΜΑΤΑ ΒΑΘΜΟΛΟΓΗΤΗ ΑΠΟΤΕΛΕΣΜΑΤΑ, ΒΑΘΜΟΙ ΟΝΟΜΑ ΒΑΡΗ ΧΡΗΣΤΗ ΜΗΧΑΝΩΝ ΤΑΞΙΝΟΜΗΤΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΡΟΣ ΠΑΡΟΥΣΙΑΣΤΗ ΠΡΟΣ ΒΑΣΗ ΠΡΟΣΩΠΙΚΩΝ ΠΡΟΤΙΜΗΣΕΩΝ Σχήµα 3.5 ιάγραµµα Ροής εδοµένων στο Υποσύστηµα Ταξινόµησης Το υποσύστηµα ταξινόµησης αποτελείται από δυο βασικούς µηχανισµούς που λειτουργούν εφόσον ο χρήστης δεν ζητήσει τα αποτελέσµατα οµαδοποιηµένα κατά µηχανή αναζήτησης: Βαθµολογήτης Ταξινοµητής Ο βαθµολογητής αναλαµβάνει να βαθµολογήσει τα αποτελέσµατα των διαφόρων µηχανών αναζήτησης σύµφωνα µε τις προτιµήσεις του χρήστη που λαµβάνονται από το διαχειριστή της βάσης προσωπικών προτιµήσεων. Τα βαθµολογηµένα αποτελέσµατα παραπέµπονται στον ταξινοµητή για να τα συγχωνεύσει και να τα ταξινοµήσει και καταλήγουν στο υποσύστηµα παρουσίασης Υποσύστηµα Παρουσίασης Αποτελεσµάτων Οι απαιτήσεις από το υποσύστηµα αυτό είναι οι ακόλουθες: Η παρουσίαση των αποτελεσµάτων θα πρέπει να ακολουθεί τρεις διαφορετικές µορφοποιήσεις, παρουσίαση σε µια λίστα, παρουσίαση κατά µηχανή αναζήτησης και παρουσίαση κατά φάκελο

32 Η επιθυµητή παρουσίαση για κάθε συγκεκριµένο χρήστη θα λαµβάνεται από τη βάση προσωπικών προτιµήσεων. Στην παρουσίαση σε µια λίστα τα αποτελέσµατα θα παρουσιάζονται σύµφωνα µε τη βαθµολόγηση του υποσυστήµατος ταξινόµησης. Στην παρουσίαση κατά µηχανή θα καταγράφονται τα αποτελέσµατα κάθε µηχανής χωριστά. Στην παρουσίαση κατά φάκελο θα επιλέγεται ο καταλληλότερος από τους φακέλους τους χρήστη για κάθε αποτέλεσµα και θα παρουσιάζονται τα αποτελέσµατα χωρισµένα στους φακέλους που αντιστοιχούν. Το σύστηµα θα προτείνει τον φάκελο που θεωρείται καταλληλότερος για κάθε αποτέλεσµα. Η παρουσίαση θα πρέπει να ακολουθεί τις προσωπικές προτιµήσεις του χρήστη σχετικά µε τη δοµή και τους συνδυασµούς χρωµάτων της σελίδας των αποτελεσµάτων. Ακολουθεί το διάγραµµα που παρουσιάζει αναλυτικά τις λειτουργίες του υποσυστήµατος. ΑΠΟ ΤΑΞΙΝΟΜΗΤΗ ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΑΡΟΥΣΙΑΣΤΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΟΜΑ ΟΠΟΙΗΤΗΣ ΟΝΟΜΑ ΚΑΤΑΛΛΗΛΟΣ ΧΡΗΣΤΗ, ΦΑΚΕΛΟΣ ΑΠΟΤΕΛΕΣΜΑ ΠΡΟΣ ΒΑΣΗ ΠΡΟΣΩΠΙΚΩΝ ΠΡΟΤΙΜΗΣΕΩΝ ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΡΟΣ ΙΑΠΡΟΣΩΠΕΙΑ Σχήµα 3.6 ιάγραµµα Ροής εδοµένων στο Υποσύστηµα Παρουσίασης Το υποσύστηµα παρουσίασης δέχεται τα αποτελέσµατα ταξινοµηµένα από το υποσύστηµα ταξινόµησης και επιλέγει τον καταλληλότερο φάκελο για το κάθε ένα από αυτά. Πριν τα αποτελέσµατα επιστραφούν στη διαπροσωπεία του χρήστη οµαδοποιούνται σύµφωνα µε τις προτιµήσεις του χρήστη σε µια λίστα, κατά µηχανή ή κατά φάκελο

33 3.2.6 Βάση Προσωπικών Προτιµήσεων ιαχειριστής Βάσης Οι απαιτήσεις από το υποσύστηµα της βάσης προσωπικών προτιµήσεων είναι οι ακόλουθες: Το υποσύστηµα θα πρέπει να αποκρίνεται µε επιτυχία σε κάθε αίτηση για ανάκτηση πληροφοριών ή ενηµέρωση της βάσης από τα υπόλοιπα υποσυστήµατα της µηχανής. Οι χρόνοι απόκρισης του υποσυστήµατος θα πρέπει να είναι ελάχιστοι. Οι επιλογές που θα καθορίζει ο χρήστης σε κάθε προφίλ του και θα διατηρούνται στη βάση είναι οι ακόλουθες: Οµαδοποίηση αποτελεσµάτων: Τα αποτελέσµατα της αναζήτησης θα µπορούν να παρουσιαστούν µε τρεις διαφορετικούς τρόπους, σε µια λίστα, κατά µηχανή και κατά φάκελο. Στην κατά µηχανή παρουσίαση, θα παρουσιάζονται χωριστά ώστε ο χρήστης να γνωρίζει τα αποτελέσµατα της κάθε µηχανής. Στην κατά φάκελο παρουσίαση, το σύστηµα θα οµαδοποιεί τα αποτελέσµατα ανάλογα µε τον καταλληλότερο από τους φακέλους του χρήστη για κάθε αποτέλεσµα, σύµφωνα µε την αυτόµατη ταξινόµηση φακέλων. Στην παρουσίαση σε µια λίστα, τα αποτελέσµατα θα συγχωνεύονται και θα παρουσιάζονται ταξινοµηµένα. Ορατά πεδία: Ο χρήστης θα µπορεί να ορίσει τα πεδία των αποτελεσµάτων που θα παρουσιάζονται. Θα µπορεί, δηλαδή, είτε να βλέπει τον τίτλο, την περιγραφή και την ηλεκτρονική διεύθυνση κάθε αποτελέσµατος, είτε τον τίτλο και την ηλεκτρονική διεύθυνση, είτε µόνο τον τίτλο. Μέγεθος αποτελεσµάτων: Τα αποτελέσµατα θα έχουν δυο πιθανά µεγέθη παρουσίασης, κανονικό και συµπιεσµένο. Η πρώτη θα είναι η προκαθορισµένη επιλογή, ενώ η δεύτερη θα χρησιµοποιείται στην περίπτωση που ο χρήστης θέλει να δει τα αποτελέσµατα πιο µαζεµένα. Επιλογές µηχανών αναζήτησης: Ο χρήστης θα µπορεί να επέµβει στην αναζήτηση καθορίζοντας τις µηχανές αναζήτησης που εµπιστεύεται. Για τις µηχανές αυτές θα καθορίζει τον αριθµό των αποτελεσµάτων που θέλει να παραχθούν και το µέγιστο χρόνο αναµονής για απάντηση από τη µηχανή. Επιπλέον, θα επεµβαίνει στην ταξινόµηση ορίζοντας το βάρος κάθε µηχανής. Χρώµατα: Τα χρώµατα της κύριας σελίδας αναζήτησης και των αποτελεσµάτων θα ορίζονται από το χρήστη που θα επιλέγει έχοντας στη διάθεση του έξι συνδυασµούς χρωµάτων. οµή: Η δοµή των αποτελεσµάτων θα καθορίζεται από το χρήστη, που θα µπορεί να δει τα αποτελέσµατα σε µια λίστα, σε ένα πίνακα και σε µορφή κειµένου. Η τελευταία

34 επιλογή θα εµφανίζει τα αποτελέσµατα στο προκαθορισµένο µέγεθος και χρώµα, ώστε να είναι εύκολη η µεταφορά τους σε προγράµµατα επεξεργασίας κειµένου χωρίς ταυτόχρονη µεταφορά της µορφοποίησής τους. ΑΠΟ ΑΛΛΑ ΥΠΟΣΥΣΤΗΜΑΤΑ ΟΝΟΜΑ ΧΡΗΣΤΗ ΕΠΙΛΟΓΕΣ ΧΡΗΣΤΗ ΙΑΧΕΙΡΙΣΤΗΣ ΒΑΣΗΣ ΠΡΟΤΙΜΗΣΕΩΝ ΒΑΣΗ ΠΡΟΣΩΠΙΚΩΝ ΠΡΟΤΙΜΗΣΕΩΝ Σχήµα 3.7 ιάγραµµα Ροής εδοµένων στη Βάση Προσωπικών Προτιµήσεων Ο διαχειριστής της βάσης προσωπικών προτιµήσεων απλά ανταποκρίνεται στις αιτήσεις των άλλων υποσυστηµάτων. Ενηµερώνει τη βάση δεδοµένων κάθε φορά που αλλάζει κάποιο δεδοµένο και επιστρέφει τα στοιχεία που ζητούνται στα υποσυστήµατα αναζήτησης, ταξινόµησης και παρουσίασης Βάση Φακέλων ιαχειριστής Βάσης Οι απαιτήσεις από το υποσύστηµα διαχείρισης της βάσης φακέλων είναι οι ακόλουθες: Το υποσύστηµα θα πρέπει να ενηµερώνει την µηχανή αναζήτησης για τους υπάρχοντες φακέλους του χρήστη. Ο χρήστης θα πρέπει να έχει τη δυνατότητα να δηµιουργήσει ή να διαγράψει ένα φάκελο και να σώσει ή διαγράψει αποτελέσµατα στους φακέλους του. Ο χρήστης θα πρέπει να µπορεί να δει το περιεχόµενο των φακέλων του, ενώ δε θα έχει καµία πρόσβαση στους φακέλους άλλων χρηστών. Στο υποσύστηµα θα πρέπει να ενσωµατωθεί παλαιότερη δουλειά του εργαστηρίου που αντιστοιχεί κάθε αποτέλεσµα στον καταλληλότερο για αυτό φάκελο και προτρέπει τον χρήστη να το σώσει. Ακολουθεί το διάγραµµα που παρουσιάζει αναλυτικά τις λειτουργίες του υποσυστήµατος

35 ΑΙΤΗΣΗ ΗΜΙΟΥΡΓΙΑΣ - ΙΑΓΡΑΦΗΣ ΦΑΚΕΛΟΥ, ΠΡΟΣ ΙΑΠΡΟΣΩΠΕΙΑ ΟΝΟΜΑ ΦΑΚΕΛΟΥ, ΟΝΟΜΑ ΧΡΗΣΤΗ ΑΠΟΤΕΛΕΣΜΑ ΕΝΕΡΓΕΙΑΣ ΑΙΤΗΣΗ ΕΓΓΡΑΦΗΣ ΙΑΓΡΑΦΗΣ ΣΕ ΦΑΚΕΛΟ, ΟΝΟΜΑ ΦΑΚΕΛΟΥ, ΟΝΟΜΑ ΧΡΗΣΤΗ, ΚΕΙΜΕΝΟ ΠΡΟΣ ΕΓΓΡΑΦΗ ΙΑΧΕΙΡΙΣΤΗΣ ΒΑΣΗΣ ΦΑΚΕΛΩΝ ΒΑΣΗ ΦΑΚΕΛΩΝ Σχήµα 3.8 ιάγραµµα Ροής εδοµένων στη Βάση Φακέλων Ο διαχειριστής της βάσης φακέλων φροντίζει για όλες τις ενέργειες που αφορούν τους φακέλους αποθήκευσης των χρηστών εξυπηρετώντας τις αιτήσεις της διαπροσωπείας χρήστη

36 - 30 -

37 4 Σχεδίαση Στο κεφάλαιο αυτό, περιγράφεται η σχεδίαση του συστήµατος καθώς και της βάσης δεδοµένων του συστήµατος. 4.1 Σχεδίαση συστήµατος Η µηχανή µετα-αναζήτησης επιτελεί πολλές διαφορετικές λειτουργίες και κρίθηκε σκόπιµο να κατατµηθεί στις εξής εφαρµογές: Υποδοχή χρηστών Είναι η πρώτη εφαρµογή που υποδέχεται τον χρήστη και τον προτρέπει να δώσει όνοµα και κωδικό για να του επιτραπεί η πρόσβαση στο σύστηµα. ηµιουργία νέου χρήστη Υποδέχεται τους νέους χρήστες της µηχανής µετα-αναζήτησης και επιτρέπει σε όλους την χορήγηση ονόµατος και κωδικού χρήσης, φροντίζοντας βέβαια τα ονόµατα χρηστών να είναι µοναδικά. Κύρια σελίδα µηχανής Υλοποιεί τη διαπροσωπεία χρήστη. Προτρέπει τον χρήστη να δώσει τις ερωτήσεις του προς τη µηχανή µετα-αναζήτησης και εµφανίζει τα αποτελέσµατα, αφού τα βαθµολογήσει και τα ταξινοµήσει. Η βαθµολόγηση βασίζεται σε δηµοκρατικό αλγόριθµο και επηρεάζεται από τις προσωπικές προτιµήσεις του χρήστη

38 Αναζήτηση Συνεργάζεται µε τις µηχανές αναζήτησης για την παραγωγή αποτελεσµάτων και τροφοδοτεί την κύρια σελίδα µηχανής. ιαχείριση προφίλ ίνει τη δυνατότητα στο χρήστη να δηµιουργήσει ένα νέο προφίλ, να µεταβάλλει ή να διαγράψει ένα υπάρχον. Επεξεργασία προφίλ Ο χρήστης επιλέγει σε γραφικό περιβάλλον τις παραµέτρους του συστήµατος για ένα προφίλ. Καταγραφή προφίλ Η εφαρµογή αυτή αποθηκεύει το προφίλ του χρήστη στη βάση δεδοµένων, ενώ παράλληλα δηµιουργεί το XSL αρχείο που µεταφράζει τα αποτελέσµατα της αναζήτησης στις επιλογές του χρήστη. ιαχείριση φακέλων Μέσω αυτής της εφαρµογής ο χρήστης µπορεί να δει τα περιεχόµενα των φακέλων του και να διαγράψει αυτά που πλέον δεν τον ικανοποιούν. Παράλληλα, µπορεί να δηµιουργήσει νέους φακέλους, να σβήσει υπάρχοντες ή να µεταβάλλει το όνοµα και την περιγραφή τους. Επεξεργασία φακέλων Είναι η εφαρµογή που υλοποιεί τυχόν τροποποιήσεις σε φακέλους, όπως δηµιουργία, αλλαγή ή διαγραφή χωρίς να είναι ορατή στο χρήστη. Ενηµερώνει τη βάση δεδοµένων του συστήµατος καθώς και τον σκληρό δίσκο όπου βρίσκονται αποθηκευµένοι οι φάκελοι του χρήστη. Ενηµέρωση φακέλων Αποθηκεύει τα αποτελέσµατα που επιλέγει ο χρήστης στους φακέλους που έχει αυτός δηµιουργήσει. ιαγραφή αποτελεσµάτων Φροντίζει για την αποµάκρυνση αποτελεσµάτων από τους φακέλους του χρήστη. Βάση δεδοµένων συστήµατος ιατηρεί τα δεδοµένα των χρηστών, τις προσωπικές τους επιλογές και τους φακέλους µε τα αποτελέσµατα που περιέχουν. Στο σχήµα εµφανίζονται οι εφαρµογές που απαρτίζουν τη µηχανή µετα-αναζήτησης, ενώ ακολουθεί περιγραφή για το ρόλο κάθε εφαρµογής στο σύστηµα

39 ΥΠΟ ΟΧΗ ΧΡΗΣΤΩΝ ΗΜΙΟΥΡΓΙΑ ΝΕΟΥ ΧΡΗΣΤΗ ΙΣΚΟΣ ΑΝΑΖΗΤΗΣΗ ΙΣΚΟΣ ΙΑΧΕΙΡΙΣΗ ΠΡΟΦΙΛ ΚΥΡΙΑ ΣΕΛΙ Α ΜΗΧΑΝΗΣ ΙΑΧΕΙΡΙΣΗ ΦΑΚΕΛΩΝ ΕΠΕΞΕΡΓΑΣΙΑ ΠΡΟΦΙΛ ΑΥΤΟΜΑΤΗ ΕΝΗΜΕΡΩΣΗ ΦΑΚΕΛΩΝ ΕΠΕΞΕΡΓΑΣΙΑ ΦΑΚΕΛΩΝ ΚΑΤΑΓΡΑΦΗ ΠΡΟΦΙΛ ΙΑΓΡΑΦΗ ΑΠΟΤΕΛΕΣΜΑΤΩΝ ΒΑΣΗ Ε ΟΜΕΝΩΝ ΣΥΣΤΗΜΑΤΟΣ Σχήµα 4.1 ιάγραµµα Εφαρµογών Συστήµατος

40 Όπως φαίνεται και στο σχήµα, ο χρήστης εισερχόµενος στο σύστηµα συναντάει µια εφαρµογή υποδοχής. Η εφαρµογή αυτή τον προτρέπει να δώσει το όνοµα και τον κωδικό του για να προχωρήσει, ή σε περίπτωση που ο χρήστης δεν έχει ήδη κωδικό τον παραπέµπει στην εφαρµογή δηµιουργίας νέου χρήστη. Η τελευταία ζητά από το χρήστη να επιλέξει ένα όνοµα και ένα κωδικό και, εφόσον δεν υπάρχει άλλος χρήστης µε το ίδιο όνοµα στη βάση δεδοµένων του συστήµατος, του επιτρέπει να χρησιµοποιήσει τη µηχανή µετα-αναζήτησης. Ο χρήστης, ο οποίος είτε δηµιούργησε νέο όνοµα κατά τη δηµιουργία νέου χρήστη είτε εισήλθε µε το ήδη υπάρχον όνοµα από την υποδοχή χρηστών, καταλήγει στην εφαρµογή αναζήτησης. Η εφαρµογή αναζήτησης είναι το κοµµάτι της µηχανής µετα-αναζήτησης που επικοινωνεί µε τις µηχανές αναζήτησης και επιστρέφει τα αποτελέσµατα. Στην περίπτωση αυτή που ο χρήστης έχει µόλις εισέλθει στο σύστηµα απλά τον παραπέµπει στην κύρια σελίδα της µηχανής. Εδώ, ο χρήστης µπορεί να θέσει τις ερωτήσεις του προς τη µηχανή µετααναζήτησης και να δει τα αποτελέσµατα που επιστρέφονται από την εφαρµογή αναζήτησης. Βασικά στοιχεία σχεδιασµού είναι τα ακόλουθα: Παραλληλία Αποθήκευση (caching) Η εφαρµογή αναζήτησης επικοινωνεί µε τις µηχανές αναζήτησης σε παραλληλία για εξοικονόµηση χρόνου και αποθηκεύει τα αποτελέσµατα σε δίσκο (cache) ώστε να ταξινοµηθούν αργότερα από την κύρια σελίδα µηχανής. Τα αποθηκευµένα αρχεία µπορούν µελλοντικά να χρησιµοποιηθούν για στατιστικές µελέτες. ΑΠΟ ΚΥΡΙΑ ΣΕΛΙ Α ΜΗΧΑΝΗΣ ΑΠΟΤΕΛΕΣΜΑΤΑ ΕΡΩΤΗΣΗ ΕΦΑΡΜΟΓΗ ΑΝΑΖΗΤΗΣΗΣ AltaVista Yahoo HotBot ΙΣΚΟΣ ΕΡΩΤΗΣΗ Σχήµα 4.2 Others Εφαρµογή Αναζήτησης ΑΠΟΤΕΛΕΣΜΑΤΑ ΜΗΧΑΝΩΝ