Η ΧΡΗΣΗ ΣΗΜΑΣΙΟΛΟΓΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΤΗ ΙΑΧΕΙΡΙΣΗ ΤΟΥ ΠΕΡΙΕΧΟΜΕΝΟΥ ΤΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ. Σοφία Κ. Στάµου Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ

Transcript

1 Η ΧΡΗΣΗ ΣΗΜΑΣΙΟΛΟΓΙΚΩΝ ΙΚΤΥΩΝ ΓΙΑ ΤΗ ΙΑΧΕΙΡΙΣΗ ΤΟΥ ΠΕΡΙΕΧΟΜΕΝΟΥ ΤΟΥ ΠΑΓΚΟΣΜΙΟΥ ΙΣΤΟΥ Σοφία Κ. Στάµου Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ Φεβρουάριος 2006

2 2

3 MANAGING THE WEB CONTENT THROUGH THE USE OF SEMANTIC NETWORKS Sofia K. Stamou DOCTORAL DISSERTATION PATRAS UNIVERSITY COMPUTER ENGINEERING AND INFORMATICS DEPARTMENT February

4 Η Χρήση Σηµασιολογικών ικτύων για τη ιαχείριση του Περιεχοµένου του Παγκόσµιου Ιστού Σοφία Κ. Στάµου ιδακτορική ιατριβή Επιβλέπων: Καθηγητής ηµήτριος Ν. Χριστοδουλάκης, Τµήµα Μηχανικών Η/Υ και Πληροφορικής, Πανεπιστήµιο Πατρών Στην Επταµελή Συµβουλευτική Επιτροπή, εκτός από τον επιβλέποντα καθηγητή, συµµετείχαν οι: Αναπληρώτρια Καθηγήτρια Ιορδανίδου Άννα, Παιδαγωγικό Τµήµα ηµοτικής Εκπαίδευσης, Πανεπιστήµιο Πατρών Αναπληρωτής Καθηγητής Μπούρας Χρήστος, Τµήµα Μηχανικών Η/Υ και Πληροφορικής, Πανεπιστήµιο Πατρών Καθηγητής Φακωτάκης Νικόλαος, Τµήµα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, Πανεπιστήµιο Πατρών Καθηγητής Σκόδρας Αθανάσιος, Σχολή Θετικών Επιστηµών & Τεχνολογίας, Ελληνικό Ανοιχτό Πανεπιστήµιο Καθηγητής Πιντέλας Παναγιώτης, Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών Επίκουρος Καθηγητής Σγάρµπας Κυριάκος, Τµήµα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών, Πανεπιστήµιο Πατρών 4

5 Στους γονείς µου... 5

6 6

7 Περιεχόµενα Περιεχόµενα...7 Ευρετήριο Σχηµάτων...10 Ευρετήριο Πινάκων...11 Ευρετήριο Πινάκων...11 Ευχαριστίες...13 Πρόλογος...15 Abstract...17 ΚΕΦΑΛΑΙΟ Εισαγωγή Αντικείµενο της ιατριβής Συνεισφορά της ιατριβής οµή της ιατριβής ηµοσιεύσεις...28 ΚΕΦΑΛΑΙΟ ίκτυα Σηµασιολογικά Συσχετισµένων Ληµµάτων Το Σηµασιολογικό ίκτυο BILI Ενσωµάτωση Θεµατικής Πληροφορίας στο Σηµασιολογικό ίκτυο BILI Η Οντολογία SUMO (Suggested Upper Merge Ontology) Η Οντολογία MultiWordNet Domains (MWND) Πεδία Εφαρµογής του Σηµασιολογικού ικτύου BILI Σηµασιολογική Αποσαφήνιση Λέξεων Θεµατική Κατηγοριοποίηση Κειµένων Θεµατική Ταξινόµηση Κειµένων ιαχείριση Πανοµοιότυπων Κειµένων Σύνοψη...54 ΚΕΦΑΛΑΙΟ Κατηγοριοποίηση Ιστοσελίδων µε τη Χρήση Σηµασιολογικών ικτύων Κατηγοριοποίηση Ιστοσελίδων Σχήµα Ιεραρχικής Οργάνωσης Ορισµός της Κατηγοριοποίησης Ιστοσελίδων στους Καταλόγους ιαδικτύου Κατηγοριοποίηση Ιστοσελίδων µε τη Χρήση Σηµασιολογικών ικτύων Ανάπτυξη Θεµατικής Ιεραρχίας Επιλογή Γενικών Κατηγοριών Επιλογή Ειδικών Κατηγοριών Εµπλουτισµός Κατηγοριών Επισκόπηση της Θεµατικής Ιεραρχίας Αυτόµατη Ανάθεση Ιστοσελίδων στη Θεµατική Ιεραρχία Εξόρυξη και Αποσαφήνιση Θεµατικών Όρων Αλγόριθµος Θεµατικής Κατηγοριοποίησης Πειραµατική Εφαρµογή Επιµέρους Συστατικά του Συστήµατος Κατηγοριοποίησης TODE Πειραµατικά εδοµένα

8 Συγκοµιδή Πειραµατικών εδοµένων Επεξεργασία Ιστοσελίδων Τεχνικές Αξιολόγησης Χειρωνακτική Κατηγοριοποίηση Bayesian Κατηγοριοποίηση Πειραµατικά Αποτελέσµατα Σύγκριση της Απόδοσης Κατηγοριοποίησης του Συστήµατος TODE µε τα Αποτελέσµατα της Χειρωνακτικής Κατηγοριοποίησης Σύγκριση της Απόδοσης Κατηγοριοποίησης του Συστήµατος TODE µε τη Bayesian Κατηγοριοποίηση Αποτίµηση της Συνεισφοράς Σηµασιολογικών ικτύων στη Θεµατική Κατηγοριοποίηση Ιστοσελίδων Συµπεράσµατα ΚΕΦΑΛΑΙΟ Ταξινόµηση Ιστοσελίδων µε τη Χρήση Σηµασιολογικών ικτύων Ταξινόµηση Ιστοσελίδων στους Καταλόγους ιαδικτύου Σχετική Έρευνα Μέτρηση της Σπουδαιότητας του Συνόλου των Ιστοσελίδων του Παγκόσµιου Ιστού Μέτρηση της Σπουδαιότητας των Ιστοσελίδων που Επιστρέφονται από ικτυακές Μηχανές Αναζήτησης Ορισµός της Θεµατικής Ταξινόµησης Ιστοσελίδων Θεµατική Ταξινόµηση Ιστοσελίδων µε Χρήση Σηµασιολογικών ικτύων Υπολογισµός της Σηµασιολογικής Συσχέτισης Ιστοσελίδων Αλγόριθµος Θεµατικής Ταξινόµησης Πειραµατική Εφαρµογή Πειραµατικά εδοµένα Τεχνικές Αξιολόγησης Αλγόριθµος ηµοτικότητας Μελέτη Χρηστών Πειραµατικά Αποτελέσµατα Αποτελεσµατικότητα της Θεµατικής Ταξινόµησης συγκριτικά µε την Ταξινόµηση ηµοτικότητας Αξιολόγηση Χρηστών της Απόδοσης της Θεµατικής Ταξινόµησης συγκριτικά µε την Ταξινόµηση ηµοτικότητας Αποτίµηση της Συνεισφοράς Σηµασιολογικών ικτύων στη Θεµατική Ταξινόµηση Ιστοσελίδων Συµπεράσµατα ΚΕΦΑΛΑΙΟ Αναζήτηση Πληροφορίας µε τη Χρήση Σηµασιολογικών ικτύων Ανάκτηση Πληροφορίας Ανάκτηση Πληροφορίας από τον Παγκόσµιο Ιστό Σηµασιολογική Αποσαφήνιση και ιεύρυνση Ερωτηµάτων Αποσαφήνιση Ερωτηµάτων ιεύρυνση Ερωτηµάτων ιεύρυνση Ερωτηµάτων µε τη Χρήση Θησαυρών και Σηµασιολογικών ικτύων Αναζήτηση Πληροφορίας µε τη Χρήση Σηµασιολογικών ικτύων

9 5.4.1 Μορφοσυνακτική και Σηµασιολογική Αποσαφήνιση και ιεύρυνση Ερωτηµάτων µε τη Χρήση Σηµασιολογικών ικτύων Μορφοσυντακτική Αποσαφήνιση Ερωτηµάτων Σηµασιολογική Αποσαφήνιση Ερωτηµάτων Αλληλεπίδραση Μορφοσυντακτικής και Σηµασιολογικής Αποσαφήνισης για τη ιεύρυνση Ερωτηµάτων Πειραµατική Εφαρµογή Επιλογή Ερωτηµάτων Μετρικές Αξιολόγησης Πειραµατικά Αποτελέσµατα Αποτίµηση της Συνεισφοράς των Σηµασιολογικών ικτύων στην Ανάκτηση Πληροφορίας Συµπεράσµατα ΚΕΦΑΛΑΙΟ ιαχείριση Όµοιων ή Πανοµοιότυπων Ιστοσελίδων µε τη Χρήση Σηµασιολογικών ικτύων Επαναλαµβανόµενες Ιστοσελίδες στον Παγκόσµιο Ιστό Πανοµοιότυπες Ιστοσελίδες Σχετική Έρευνα ιαχείριση Όµοιων ή Πανοµοιότυπων Ιστοσελίδων µε τη Χρήση Σηµασιολογικών ικτύων Αλγόριθµος ιαχείρισης Πανοµοιότυπων Ιστοσελίδων στους Καταλόγους ιαδικτύου Πειραµατική Εφαρµογή Πειραµατικά εδοµένα Πειραµατικά Αποτελέσµατα Αποτίµηση της Συνεισφοράς των Σηµασιολογικών ικτύων στον Εντοπισµό Πανοµοιότυπων Ιστοσελίδων Συµπεράσµατα ΚΕΦΑΛΑΙΟ Συµπεράσµατα και Μελλοντικές Κατευθύνσεις Αποτίµηση του Έργου Μελλοντικές Κατευθύνσεις Άλλα Πεδία Εφαρµογής των Σηµασιολογικών ικτύων για τη ιαχείριση του Περιεχοµένου του Παγκόσµιου Ιστού ΒΙΒΛΙΟΓΡΑΦΙΚΕΣ ΑΝΑΦΟΡΕΣ ΠΑΡΑΡΤΗΜΑ Ι Η Θεµατική Ιεραρχία του Μοντέλου Κατηγοριοποίησης TODE ΠΑΡΑΡΤΗΜΑ ΙΙ είγµα Σηµασιολογικά Συσχετισµένων Συνόλων ΕΥΡΕΤΗΡΙΟ

10 Ευρετήριο Σχηµάτων Σχήµα 1) Ο γράφος του Παγκόσµιου Ιστού...22 Σχήµα 2) Υπο-γράφος του γράφου του Παγκόσµιου Ιστού...22 Σχήµα 3 Η δοµή των περιεχοµένων ενός σηµασιολογικού δικτύου...23 Σχήµα 4) ιαδικασία κατασκευής λεξικών ιεραρχιών...38 Σχήµα 5) Στιγµιότυπο της οντολογίας SUMO Σχήµα 6) ιαδικασία εποπτευόµενης κατηγοριοποίησης Σχήµα 7) Παράδειγµα του σχήµατος οργάνωσης των κατηγοριών στους καταλόγους ιαδικτύου...61 Σχήµα 8) Μέρος µιας οντολογίας για τη θεµατική κατηγορία Sports...64 Σχήµα 9) είγµα της θεµατικής ιεραρχίας για την κατηγορία Arts Σχήµα 10) Παράδειγµα αιωρούµενου κόµβου...76 Σχήµα 11) Η διαδικασία αναπαράστασης του περιεχοµένου ιστοσελίδων υπό τη µορφή λεξικών αλυσίδων...79 Σχήµα 12) Παράδειγµα λεξικής αλυσίδας...82 Σχήµα 13) Παράδειγµα εισερχόµενων συνδέσµων για την ιστοσελίδα C Σχήµα 14) ιασύνδεση ιδιαίτερα σηµαντικών ιστοσελίδων (κόµβοι αριστερά του σχήµατος) µε άλλες σηµαντικές ιστοσελίδες (κόµβοι δεξιά του σχήµατος)..122 Σχήµα 15) Απλουστευµένος υπολογισµός της σπουδαιότητας ιστοσελίδων.123 Σχήµα 16) Η αρχιτεκτονική του κανονικοποιητή Σχήµα 17) Επαναλαµβανόµενες συλλογές ιστοσελίδων

11 Ευρετήριο Πινάκων Πίνακας 1) Κατανοµή θεµατικών κατηγοριών της οντολογίας MWND στα σηµασιολογικά συσχετισµένα σύνολα ληµµάτων του δικτύου WordNet...47 Πίνακας 2) Οι γενικές κατηγορίες της οντολογίας TODE Πίνακας 3) Αλγόριθµος θεµατικής κατηγοριοποίησης της ιστοσελίδας P στις θεµατικές κατηγορίες της οντολογίας Πίνακας 4) Η κατανοµή των πειραµατικών ιστοσελίδων στις γενικές θεµατικές κατηγορίες του δικτυακού καταλόγου Dmoz...95 Πίνακας 5) Κατανοµή των πειραµατικών ιστοσελίδων στις γενικές θεµατικές κατηγορίες του καταλόγου Dmoz και µέσος όρος των shingles που δηµιουργήθηκαν...96 Πίνακας 6) Αποτελέσµατα κατηγοριοποίησης του TODE συγκριτικά µε τα αποτελέσµατα της χειρωνακτικής κατηγοριοποίησης Πίνακας 7) Στατιστικά ιστοσελίδων που το TODE έχει αναθέσει σε περισσότερες από µία κατηγορίες Πίνακας 8) Απόδοση της κατηγοριοποίησης του TODE για κάθε θεµατική κατηγορία 105 Πίνακας 9) Συνολική απόδοση κατηγοριοποίησης του TODE Πίνακας 10) Απόδοση της Bayesian κατηγοριοποίησης για κάθε εκτέλεση του κατηγοριοποιητή Πίνακας 11) Σύγκριση της απόδοσης κατηγοριοποίησης για κάθε κατηγορία µεταξύ των κατηγοριοποιητών Bayesian και TODE Πίνακας 12) Συνολική απόδοση κατηγοριοποίησης µεταξύ των Bayesian και TODE κατηγοριοποιητών Πίνακας 13) Αλγόριθµος θεµατικής ταξινόµησης ιστοσελίδων σε µια θεµατική κατηγορία. 134 Πίνακας 14) Κατανοµή των πειραµατικών ιστοσελίδων στις γενικές θεµατικές κατηγορίες του καταλόγου Google Directory και αριθµός υποκατηγοριών κάθε γενικής κατηγορίας Πίνακας 15) Οι θεµατικές κατηγορίες που επιλέχθηκαν για τη µελέτη χρηστών 144 Πίνακας 16) Μέσος όρος επικάλυψης στις ταξινοµηµένες λίστες των γενικών κατηγοριών µεταξύ του αλγορίθµου θεµατικής ταξινόµησης και του αλγορίθµου δηµοτικότητας 147 Πίνακας 17) Η τεχνική ταξινόµησης που επιλέχθηκε από κάθε χρήστη ως πιο χρήσιµη για την κατάταξη των ιστοσελίδων σε κάθε κατηγορία Πίνακας 18) Η τεχνική ταξινόµησης που επιλέχθηκε ως πιο χρήσιµη από την πλειοψηφία των χρηστών για την κατάταξη των ιστοσελίδων σε κάθε κατηγορία 150 Πίνακας 19) Σύγκριση του βαθµού σχετικότητας των τριών τεχνικών ανάκτησης για τις δέκα πρώτες ιστοσελίδες Πίνακας 20) Σύγκριση του βαθµού σχετικότητας των τριών τεχνικών ανάκτησης για τις είκοσι πρώτες ιστοσελίδες Πίνακας 21) Σύγκριση του βαθµού σχετικότητας των τριών τεχνικών ανάκτησης για τις τριάντα πρώτες ιστοσελίδες Πίνακας 22) Συνολική σύγκριση του βαθµού σχετικότητας των τριών τεχνικών ανάκτησης για όλα τα επίπεδα ανάκλησης

12 Πίνακας 23) Αλγόριθµος διαχείρισης πανοµοιότυπων ιστοσελίδων στους καταλόγους ιαδικτύου Πίνακας 24) Μεταβολή στου περιεχόµενο ιστοσελίδων σε διάστηµα 26 εβδοµάδων 225 Πίνακας 25) Οµοιότητα στο περιεχόµενο των ιστοσελίδων για τις 13 γενικές κατηγορίες του καταλόγου Dmoz Πίνακας 26) Ιστοσελίδες µε επαναλαµβανόµενες ή πανοµοιότυπες ιστοσελίδες σε κάθε κατηγορία Πίνακας 27) Ιστοσελίδες που απαλείφθηκαν από κάθε κατηγορία από τον αλγόριθµο διαχείρισης πανοµοιότυπων ιστοσελίδων

13 Ευχαριστίες Θα ήθελα να ευχαριστήσω τον επιβλέποντα της διατριβής µου, καθηγητή ηµήτρη Χριστοδουλάκη, για την πραγµατικά πολύτιµη βοήθεια και συµπαράστασή του κατά τη διάρκεια των σπουδών µου. Η συµβολή του στην ολοκλήρωση της παρούσας διατριβής υπήρξε ουσιαστική. Τον ευχαριστώ επίσης για τη µοναδική ευκαιρία που µου έδωσε να διευρύνω τις γνώσεις µου στον τοµέα της Γλωσσικής Επεξεργασίας, καθώς και για την εµπιστοσύνη που έδειξε στο πρόσωπό µου ότι µπορώ να ανταποκριθώ στις απαιτήσεις ενός διδακτορικού. Εκτός από τον κ. Χριστοδουλάκη, θα ήθελα να ευχαριστήσω τα υπόλοιπα µέλη της συµβουλευτικής επιτροπής για την ουσιαστική βοήθεια που µου προσέφεραν κατά τη συγγραφή της διατριβής µου, αλλά και για τα χρήσιµα σχόλιά τους κατά την εκπόνηση της εργασίας. Ο καθένας µε το δικό του µοναδικό τρόπο συνέβαλε στην παράδοση ενός ολοκληρωµένου έργου. Μέρος της διατριβής υπήρξε αποτέλεσµα συνεργασίας. Η συνεισφορά των Παύλο Κακόση και Βλάση Κρίκο στο προγραµµατιστικό µέρος της εργασίας υπήρξε αναντικατάστατη. Τους ευχαριστώ για τη βοήθεια, για τις ώρες που αφιέρωσαν στην υλοποίηση του µοντέλου TODE και για τη συµπαράστασή τους. Εκτός από πολύτιµοι συνεργάτες, υπήρξαν πάνω από όλα φίλοι. Ακόµη, θα ήθελα να ευχαριστήσω τον Αλέξανδρο Ντούλα για την αµέριστη συµπαράστασή του καθόλη τη διάρκεια εκπόνησης της διατριβής. Χωρίς τις συµβουλές, τα σχόλια και την παρότρυνσή του, τα αποτελέσµατα της παρούσας εργασίας θα ήταν σηµαντικά περιορισµένα. Τον ευχαριστώ επίσης για το χρόνο που αφιέρωσε, για την ενθάρρυνση που µου έδινε και για την προθυµία του να µοιραστεί µαζί µου τις ερευνητικές µου ανησυχίες. Κλείνοντας, θα ήθελα να ευχαριστήσω τους γονείς µου και τ αδέρφια µου για όλα όσα έκαναν για µένα. Χωρίς αυτούς και χωρίς την αµέριστη κατανόηση και συµπαράστασή τους, δεν θα είχα καταφέρει τίποτα από όλα αυτά. εν ξέρω αν θα µπορέσω ποτέ να τους το ανταποδώσω, τους υπόσχοµαι όµως πως θα το προσπαθήσω. Σοφία Στάµου Πάτρα, Φεβρουάριος

14 14

15 Πρόλογος Η παρούσα διατριβή πραγµατεύεται την ενσωµάτωση ενός σηµασιολογικού δικτύου ληµµάτων σ ένα σύνολο εφαρµογών ιαδικτύου για την αποτελεσµατική διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού. Τα δίκτυα σηµασιολογικά συσχετισµένων ληµµάτων αποτελούν ένα είδος ηλεκτρονικών λεξικών στα οποία καταγράφεται σηµασιολογική πληροφορία για τα λήµµατα που περιλαµβάνουν, όπου τα τελευταία αποθηκεύονται σε µια δενδρική δοµή δεδοµένων. Ο τρόπος δόµησης του περιεχοµένου των σηµασιολογικών δικτύων παρουσιάζει αρκετές οµοιότητες µε την οργάνωση που ακολουθούν οι ιστοσελίδες στον Παγκόσµιο Ιστό, µε αποτέλεσµα τα σηµασιολογικά δίκτυα να αποτελούν έναν σηµασιολογικό πόρο άµεσα αξιοποιήσιµο από ένα πλήθος εφαρµογών ιαδικτύου που καλούνται να διαχειριστούν αποδοτικά το πλήθος των δεδοµένων που διακινούνται στον Παγκόσµιο Ιστό. Μετά από επισκόπηση των τεχνικών που παρουσιάζονται στη διεθνή βιβλιογραφία για τη διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού, προτείνεται και υλοποιείται ένα πρότυπο µοντέλο διαχείρισης ιστοσελίδων, το οποίο κάνοντας εκτεταµένη χρήση ενός εµπλουτισµένου σηµασιολογικού δικτύου ληµµάτων, εντοπίζει εννοιολογικές οµοιότητες µεταξύ του περιεχοµένου διαφορετικών ιστοσελίδων και µε βάση αυτές επιχειρεί και κατορθώνει την αυτοµατοποιηµένη και αποδοτική δεικτοδότηση, κατηγοριοποίηση και ταξινόµηση του πλήθους των δεδοµένων του Παγκόσµιου Ιστού. Για την επίδειξη του µοντέλου διαχείρισης ιστοσελίδων που παρουσιάζεται, υιοθετούµε το µοντέλο πλοήγησης στους θεµατικούς καταλόγους του Παγκόσµιου Ιστού και καταδεικνύουµε πειραµατικά τη συµβολή των σηµασιολογικών δικτύων σε όλα τα στάδια της δηµιουργίας θεµατικών καταλόγων ιαδικτύου. Συγκεκριµένα, εξετάζεται η συνεισφορά των σηµασιολογικών δικτύων: (i) στον ορισµό και εµπλουτισµό των θεµατικών κατηγοριών των καταλόγων του Παγκόσµιου Ιστού, (ii) στην επεξεργασία και αποσαφήνιση του περιεχοµένου των ιστοσελίδων, (iii) στον αυτόµατο εµπλουτισµό των θεµατικών κατηγοριών ενός δικτυακού καταλόγου, (iv) στην ταξινόµηση των ιστοσελίδων που έχουν δεικτοδοτηθεί στις αντίστοιχες θεµατικές κατηγορίες ενός καταλόγου, (v) στη διαχείριση των περιεχοµένων των θεµατικών καταλόγων µε τρόπο που να διασφαλίζει την παροχή χρήσιµων ιστοσελίδων προς τους χρήστες, και τέλος (vi) στην αναζήτηση πληροφορίας στους θεµατικούς καταλόγους του Παγκόσµιου Ιστού. Η επιτυχία του 15

16 προτεινόµενου µοντέλου επιβεβαιώνεται από τα αποτελέσµατα ενός συνόλου πειραµατικών εφαρµογών που διενεργήθηκαν στο πλαίσιο της παρούσας διατριβής, όπου καταδεικνύεται η συµβολή των σηµασιολογικών δικτύων στην αποτελεσµατική διαχείριση των πολυάριθµων και δυναµικά µεταβαλλόµενων ιστοσελίδων του Παγκόσµιου Ιστού. Η σπουδαιότητα του προτεινόµενου µοντέλου διαχείρισης ιστοσελίδων, έγκειται στο ότι, εκτός από αυτόνοµο εργαλείο διαχείρισης και οργάνωσης ιστοσελίδων, συνιστά το πρώτο επίπεδο επεξεργασίας σε ευρύτερο πεδίο εφαρµογών, όπως είναι η εξαγωγή περιλήψεων, η εξόρυξη πληροφορίας, η θεµατικά προσανατολισµένη προσκοµιδή ιστοσελίδων, ο υπολογισµός του ρυθµού µεταβολής των δεδοµένων του Παγκόσµιου Ιστού, η ανίχνευση ιστοσελίδων µε παραποιηµένο περιεχόµενο, κτλ. 16

17 Abstract This dissertation addresses the incorporation of a semantic network into a set of Webbased applications for the effective management of Web content. Semantic networks are a kind of machine readable dictionaries, which encode semantic information for the lemmas they contain, where the latter are stored in a tree structure. Semantic networks store their contents in a similar way to the organization that Web pages exhibit on the Web graph; a feature that makes semantic networks readily usable by several Web applications that aim at the efficient management of the proliferating and constantly changing Web data. After an overview of the techniques that have been employed for managing the Web content, we propose and implement a novel Web data management model, which relies on an enriched semantic network for locating semantic similarities in the context of distinct Web pages. Based on these similarities, our model attempts and successfully achieves the automatic and effective indexing, categorization and ranking of the numerous pages that are available on the Web. For demonstrating the potential of our Web data management model, we adopt the navigation model in Web thematic directories and we experimentally show the contribution of semantic networks throughout the construction of Web catalogs. More specifically, we study the contribution of semantic networks in: (i) determining and enriching the thematic categories of Web directories, (ii) processing and disambiguating the contents of Web pages, (iii) automatically improving the thematic categories of Web directories, (iv) ordering Web pages that have been assigned in the respective categories of a Web directory, (v) managing the contents of Web directories in a way that ensures the availability of useful Web data to the directories users, and (vi) searching for information in the contents of Web directories. The contribution of our model is certified by the experimental results that we obtained from a numerous of testing applications that we run in the framework of our study. Obtained results demonstrate the contribution of semantic networks in the effective management of the dynamically evolving Web content. The practical outcome of the research presented herein, besides offering a fully-fledge infrastructure for the efficient manipulation and organization of the Web data, it can play a key role in the development of numerous applications, such as text summarization, 17

18 information extraction, topical-focused crawling, measuring the Web s evolution, spam detection, and so forth. 18

19 ΚΕΦΑΛΑΙΟ 1 Εισαγωγή Η πληροφορία που διακινείται µέσω του Παγκόσµιου Ιστού (World Wide Web) είναι πολύτιµη για εκατοµµύρια χρήστες. Υπάρχουν δύο βασικά µοντέλα αναζήτησης πληροφορίας στον Παγκόσµιο Ιστό, η αναζήτηση µε τη χρήση ερωτηµάτων (search by query) και η αναζήτηση µε την χρήση πλοήγησης (search by browsing), τα οποία είναι ευρέως γνωστά ως αναζήτηση και πλοήγηση, αντίστοιχα [Jul and Furnas, 1997]. Σύµφωνα µε το µοντέλο της αναζήτησης, η πρόσβαση στις πηγές πληροφόρησης του Παγκόσµιου Ιστού πραγµατοποιείται µέσω δικτυακών µηχανών αναζήτησης (web search engines), ενώ σύµφωνα µε το µοντέλο της πλοήγησης, η πρόσβαση στην πληροφορία του Παγκόσµιου Ιστού πραγµατοποιείται µέσω δικτυακών καταλόγων (Web directories) [Olston and Chi, 2003, Manber et al., 1997]. Και τα δύο µοντέλα έχουν αποτελέσει αντικείµενο διερεύνησης πολλών εργασιών, µε στόχο να µελετηθούν τόσο οι γνωστικές διεργασίες που συντελούνται από τους χρήστες κάθε φορά που υιοθετούν ένα από τα δύο µοντέλα, όσο και οι συνθήκες υπό τις οποίες οι χρήστες επιλέγουν ένα µοντέλο έναντι του άλλου κατά την επικοινωνία τους µε το ιαδίκτυο 1 [Lee et al., 2005, Qiu et al., 2005]. Πιο συγκεκριµένα, κατά την αναζήτηση, οι χρήστες καταφεύγουν σε κάποια δικτυακή µηχανή αναζήτησης, π.χ. Google ( η οποία παρέχει µέσω µιας διεπαφής χρήστη (interface) ένα πεδίο διατύπωσης ερωτηµάτων (search box), όπου οι χρήστες πληκτρολογούν το πληροφοριακό τους αίτηµα (search query) σε φυσική γλώσσα, υπό τη µορφή λέξεων-κλειδιών (keywords) [Arasu et al., 2001]. Στη συνέχεια, η µηχανή αναζήτησης κάνοντας χρήση τεχνικών επεξεργασίας των ερωτηµάτων ανατρέχει στο ευρετήριο ιστοσελίδων (index) που διατηρεί και εντοπίζει στο σύνολο των ευρετηριοποιηµένων ιστοσελίδων, τις σελίδες εκείνες που περιέχουν τους ίδιους όρους µε τους όρους του ερωτήµατος του χρήστη. Οι ιστοσελίδες αυτές επιστρέφονται στο χρήστη ταξινοµηµένες ανάλογα µε το βαθµό στον οποίο απαντούν το πληροφοριακό του αίτηµα. Αντίθετα, κατά την πλοήγηση, οι χρήστες ανατρέχουν σε κάποιον από τους διαθέσιµους δικτυακούς καταλόγους, π.χ. Yahoo! Directory ( Dmoz Directory ( Google Directory ( οι οποίοι τους παρέχουν µέσω 1 Στην παρούσα εργασία, οι όροι ιαδίκτυο και Παγκόσµιος Ιστός χρησιµοποιούνται εναλλακτικά ως έννοιες ταυτόσηµες. 19

20 µιας διεπαφής ένα σύνολο ιεραρχικά δοµηµένων θεµατικών κατηγοριών, τη λεγόµενη θεµατική ιεραρχία (thematic/subject hierarchy). Οι χρήστες εξετάζουν τις παρεχόµενες θεµατικές κατηγορίες, επιλέγουν τη θεµατική κατηγορία που τους ενδιαφέρει και φυλλοµετρούν (browse) τις ιστοσελίδες που έχουν ανατεθεί σε κάθε κατηγορία µέχρι να εντοπίσουν τις ιστοσελίδες που ικανοποιούν το πληροφοριακό τους αίτηµα. Οι θεµατικές κατηγορίες των καταλόγων ιαδικτύου ορίζονται σύµφωνα µε ένα σχήµα ιεραρχικής οργάνωσης, το οποίο επιτρέπει την αποτελεσµατική πρόσβαση στα δεδοµένα του Παγκόσµιου Ιστού, µέσω µιας διαδικασίας ιεραρχικής πλοήγησης (hierarchy navigation process) που συντελείται µέσω της απλής ακολουθίας συνδέσµων. Παρά τις εγγενείς διαφοροποιήσεις που παρουσιάζουν µεταξύ τους τα µοντέλα της αναζήτησης και της πλοήγησης, εµφανίζουν συµπληρωµατικά πλεονεκτήµατα για τους χρήστες που επιχειρούν να ικανοποιήσουν πολύπλοκα πληροφοριακά αιτήµατα στον Παγκόσµιο Ιστό. Συγκεκριµένα, το µοντέλο της αναζήτησης υιοθετείται συνήθως όταν ο χρήστης έχει µια αποκρυσταλλωµένη εικόνα για το πληροφοριακό του αίτηµα, το οποίο είναι σε θέση να διατυπώσει ρητά µέσω επιλεγµένων λέξεων-κλειδιών που απευθύνει στις δικτυακές µηχανές αναζήτησης. Εναλλακτικά, ο χρήστης υιοθετεί το µοντέλο της πλοήγησης είτε όταν δεν έχει αποκρυσταλλώσει την ανάγκη του για πληροφόρηση και συνεπώς αδυνατεί να την διατυπώσει, είτε όταν η πληροφοριακή του ανάγκη είναι αρκετά γενικευµένη και ικανοποιείται από ένα σύνολο πηγών πληροφόρησης που σχετίζονται µε την ανάγκη αυτή. Βασική προϋπόθεση για την ικανοποιητική απόδοση και των δύο µοντέλων αναζήτησης είναι η ανάπτυξη ευέλικτων και εύρωστων µηχανισµών διαχείρισης του πλήθους των δεδοµένων του Παγκόσµιου Ιστού, οι οποίοι επιτυγχάνουν την ποιοτική οργάνωση των ιστοσελίδων που δεικτοδοτούνται στα ευρετήρια µηχανών αναζήτησης και δικτυακών καταλόγων προς όφελος των τελικών χρηστών που καταφεύγουν σε αυτά για την ικανοποίηση των πληροφοριακών τους αναγκών. Για την ικανοποίηση των πληροφοριακών αιτηµάτων που απευθύνονται σε δικτυακές µηχανές αναζήτησης έχουν αναπτυχθεί διάφορες αυτοµατοποιηµένες τεχνικές που στοχεύουν στη βελτίωση της εµπειρίας του χρήστη κατά την αναζήτηση πληροφορίας από τον Παγκόσµιο Ιστό. Οι τεχνικές αυτές αφορούν στην προσκοµιδή, δεικτοδότηση και επεξεργασία ιστοσελίδων, στον εντοπισµό των ιστοσελίδων που είναι σχετικές µε συγκεκριµένα πληροφοριακά αιτήµατα, στη µέτρηση της σπουδαιότητας των ιστοσελίδων, καθώς και στη σειρά ταξινόµησής τους κατά την παρουσίασή τους στους χρήστες. Αντίθετα, η πρόοδος που έχει συντελεστεί για τη βελτίωση της εµπειρίας των χρηστών που ανατρέχουν στους δικτυακούς καταλόγους για την ικανοποίηση των πληροφοριακών τους αιτηµάτων, είναι σηµαντικά δυσανάλογη µε αυτήν της αναζήτησης. Ο περιορισµένος 20

21 ρυθµός εξέλιξης που χαρακτηρίζει τους καταλόγους του Παγκόσµιου Ιστού, πηγάζει από την περιορισµένη δυνατότητα παροχής αποδοτικών και αυτοµατοποιηµένων τεχνικών γλωσσικής επεξεργασίας. Πιο αναλυτικά, εφόσον η δηµιουργία, η οργάνωση και η συντήρηση δικτυακών καταλόγων πραγµατοποιείται µε βάση το σηµασιολογικό περιεχόµενο των ιστοσελίδων που φιλοξενούνται σε αυτούς, καθίσταται προφανές πως οι περιορισµένες δυνατότητες των διαθέσιµων τεχνικών σηµασιολογικής επεξεργασίας, εισάγουν περιορισµούς στη δυνατότητα αυτοµατοποιηµένης κατασκευής δικτυακών καταλόγων. Τούτο έχει ως αποτέλεσµα η δηµιουργία καταλόγων ιαδικτύου να στηρίζεται στην αναντικατάστατη ανθρώπινη προσπάθεια. Όµως ο ρυθµός αύξησης και µεταβολής των δεδοµένων που διακινούνται στον Παγκόσµιο Ιστό καθιστά τη χειρωνακτική επεξεργασία των ιστοσελίδων µια εξαιρετικά χρονοβόρα, επίπονη και κυρίως αναποτελεσµατική διαδικασία, εφόσον ο αριθµός των ατόµων που επιµελείται της επεξεργασίας ιστοσελίδων είναι σηµαντικά δυσανάλογος του αριθµού των τελευταίων. Αρκεί να αναφέρουµε πως ο δικτυακός κατάλογος µε τον µεγαλύτερο γνωστό αριθµό επιµελητών ιαδικτύου (web editors), το Dmoz Directory ( απασχολεί σήµερα περισσότερους από εθελοντές, ενώ ο αριθµός των ιστοσελίδων που µας είναι γνωστές ανέρχεται στις και διαρκώς αυξάνεται. Λαµβάνοντας υπόψη την επιτακτική ανάγκη για παροχή αυτοµατοποιηµένων τεχνικών δηµιουργίας δικτυακών καταλόγων, προτείνουµε στα πλαίσια της παρούσας εργασίας µια µέθοδο αυτόµατης δηµιουργίας, οργάνωσης και συντήρησης καταλόγων ιαδικτύου. Το εγγενές χαρακτηριστικό γνώρισµα της µεθόδου που αναπτύξαµε, που αποτελεί ουσιαστικά και την καινοτοµία της, έγκειται στη χρήση σηµασιολογικών δικτύων για την αυτοµατοποιηµένη σηµασιολογική επεξεργασία των ιστοσελίδων. Πιο συγκεκριµένα, υλοποιήσαµε ένα µοντέλο διαχείρισης ιστοσελίδων, το οποίο δέχεται ως είσοδο µια θεµατική ιεραρχία κι ένα σύνολο ιστοσελίδων και κατορθώνει µέσα από ένα σύνολο τεχνικών που υλοποιήσαµε και θα παρουσιάσουµε στη συνέχεια, να επεξεργάζεται το περιεχόµενο των ιστοσελίδων µε τρόπο τέτοιο ώστε να διευκολύνεται η αυτόµατη κατηγοριοποίηση, ταξινόµηση, διαχείριση και ανάκτηση των ιστοσελίδων που φιλοξενούνται στους δικτυακούς καταλόγους. Απώτερος στόχος της έρευνάς µας είναι η διευκόλυνση των χρηστών κατά την πλοήγησή τους στους δικτυακούς καταλόγους για την ικανοποίηση των πληροφοριακών τους αιτηµάτων. 21

22 1.1 Αντικείµενο της ιατριβής Στα πλαίσια της παρούσας εργασίας επιχειρείται η αξιοποίηση σηµασιολογικών δικτύων για την αποτελεσµατική επεξεργασία και διαχείριση των ιστοσελίδων που είναι διαθέσιµες στον Παγκόσµιο Ιστό. Ο ουσιαστικός λόγος για τον οποίο επικεντρώνουµε τη µελέτη µας στην εκµετάλλευση σηµασιολογικών δικτύων, έναντι άλλων σηµασιολογικών πόρων, για τη διαχείριση των ιστοσελίδων του ιαδικτύου, εντοπίζεται στην ιεραρχική οργάνωση των ληµµάτων που επιδεικνύουν τα σηµασιολογικά δίκτυα, όπου τα τελευταία θα µπορούσαν εναλλακτικά να ιδωθούν ως ένας γράφος παραπλήσιος µε το γράφο του Παγκόσµιου Ιστού. Το Σχήµα 1 απεικονίζει το γράφο του Παγκόσµιου Ιστού, τον οποίο ουσιαστικά συνθέτουν µικρότεροι υπο-γράφοι (Σχήµα 2), η δοµή των οποίων είναι πανοµοιότυπη µε τη δοµή των σηµασιολογικών δικτύων (Σχήµα 3). Σχήµα 1) Ο γράφος του Παγκόσµιου Ιστού. Σχήµα 2) Υπο-γράφος του γράφου του Παγκόσµιου Ιστού. Πιο αναλυτικά, στην παρούσα διατριβή ερευνούµε τη συµβολή ενός σηµασιολογικού δικτύου ληµµάτων στη διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού, δίνοντας έµφαση στη συνεισφορά του σηµασιολογικού δικτύου σε εφαρµογές θεµατικής κατηγοριοποίησης, ταξινόµησης και ανάκτησης ιστοσελίδων. Σηµαντικό παράγοντα για την αποτελεσµατικότητα της εργασίας µας αποτελεί η διερεύνηση ενός µοντέλου διαχείρισης ιστοσελίδων, το οποίο εντοπίζει εννοιολογικές οµοιότητες µεταξύ του περιεχοµένου διαφορετικών ιστοσελίδων ανεξάρτητα από τη φυσική γλώσσα στην οποία διατυπώνεται το περιεχόµενό τους, µε µοναδική προϋπόθεση την ύπαρξη ενός σηµασιολογικού δικτύου για την αντίστοιχη γλώσσα. Για την επίδειξη του µοντέλου διαχείρισης ιστοσελίδων που παρουσιάζεται, υιοθετούµε το µοντέλο πλοήγησης στους θεµατικούς καταλόγους του Παγκόσµιου Ιστού και καταδεικνύουµε τη συµβολή των 22

23 σηµασιολογικών δικτύων σε όλα τα στάδια της δηµιουργίας θεµατικών καταλόγων. Συγκεκριµένα, εξετάζεται η συνεισφορά των σηµασιολογικών δικτύων: (i) στον ορισµό και εµπλουτισµό των θεµατικών κατηγοριών των καταλόγων του Παγκόσµιου Ιστού, (ii) στην επεξεργασία και αποσαφήνιση του περιεχοµένου των ιστοσελίδων, (iii) στον αυτόµατο εµπλουτισµό των θεµατικών κατηγοριών ενός δικτυακού καταλόγου, (iv) στην ταξινόµηση των ιστοσελίδων που έχουν δεικτοδοτηθεί στις αντίστοιχες θεµατικές κατηγορίες ενός καταλόγου, (v) στη διαχείριση των περιεχοµένων των θεµατικών καταλόγων µε τρόπο που να διασφαλίζει την παροχή χρήσιµων ιστοσελίδων προς τους χρήστες, και τέλος (vi) στην αναζήτηση πληροφορίας στους θεµατικούς καταλόγους του Παγκόσµιου Ιστού. Σχήµα 3 Η δοµή των περιεχοµένων ενός σηµασιολογικού δικτύου. Για την προσέγγιση των παραπάνω ζητηµάτων µέσω της χρήσης ενός σηµασιολογικού δικτύου ληµµάτων αρχικά επιλέξαµε να εµπλουτίσουµε ένα διαθέσιµο σηµασιολογικό 23

24 δίκτυο µε θεµατική πληροφορία. Γι αυτό το σκοπό αντλήσαµε από διαθέσιµες οντολογίες ένα σύνολο θεµατικών κατηγοριών, τις οποίες προσαρτήσαµε στις αντίστοιχες λεξικές ιεραρχίες του σηµασιολογικού δικτύου. Το εµπλουτισµένο δίκτυο ληµµάτων αποτελεί µια σύνθετη θεµατική ιεραρχία, οι κατηγορίες της οποίες περιγράφονται από τα στοιχεία των λεξικών ιεραρχιών που συνδέονται µε αυτές µε σχέσεις εξειδίκευσης, όπως θα δείξουµε στη συνέχεια. Το εµπλουτισµένο σηµασιολογικό δίκτυο ενσωµατώθηκε σε ένα πρότυπο µοντέλο διαχείρισης ιστοσελίδων, το οποίο ονοµάσαµε TODE, και για το οποίο αναπτύξαµε ένα σύνολο εφαρµογών για τη διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού. Οι εφαρµογές αυτές επιτελούν ένα πλήθος διεργασιών µε πιο σηµαντικές από τις οποίες τη σηµασιολογική αποσαφήνιση και επεξεργασία του περιεχοµένου των ιστοσελίδων, την αυτοµατοποιηµένη θεµατική κατηγοριοποίηση ιστοσελίδων στις κατηγορίες των καταλόγων ιαδικτύου, τη θεµατική ταξινόµηση ιστοσελίδων ανάλογα µε το βαθµό σπουδαιότητας του περιεχοµένου τους για συγκεκριµένες κατηγορίες, την ανάκτηση ιστοσελίδων και τέλος την ανίχνευση και διαχείριση ιστοσελίδων το περιεχόµενο των οποίων δεν µεταφέρει ουσιαστική πληροφορία. Η πειραµατική αξιολόγηση των υφιστάµενων εφαρµογών καταδεικνύει την ουσιαστική συνεισφορά τους στην αποτελεσµατική διαχείριση των ιστοσελίδων που διακινούνται στον Παγκόσµιο Ιστό προς όφελος τόσο των χρηστών του ιαδικτύου που αναζητούν πληροφορία σε αυτό, όσο και των δηµιουργών και επιµελητών ψηφιακού περιεχοµένου. 1.2 Συνεισφορά της ιατριβής Μετά από επισκόπηση της διεθνούς βιβλιογραφίας πάνω στις διαθέσιµες τεχνικές για τη διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού, η παρούσα διατριβή έρχεται να καλύψει µε ολοκληρωµένο τρόπο το θέµα αυτό µέσω της χρήσης σηµασιολογικών δικτύων ληµµάτων, ενός λεξικογραφικού πόρου που δεν έχει εφαρµοστεί ευρέως σε τεχνικές διαχείρισης πολυάριθµων και δυναµικά µεταβαλλόµενων δεδοµένων, όπως είναι τα δεδοµένα ιαδικτύου. Το απόσταγµα όσων παρουσιάζονται στη διατριβή θα µπορούσε να εκφραστεί µέσω των παρακάτω ισχυρισµών. Ισχυρισµός #1: Ο εµπλουτισµός των λεξικών ιεραρχιών ενός σηµασιολογικού δικτύου ληµµάτων καθιστά το τελευταίο έναν ιδιαίτερα πολύτιµο λεξικογραφικό πόρο, η ενσωµάτωση του οποίου σε εφαρµογές ιαδικτύου µπορεί να βελτιώσει την απόδοσή τους στην αποτελεσµατική διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού. 24

25 Ισχυρισµός #2: Ένα εµπλουτισµένο σηµασιολογικό δίκτυο µπορεί να αποτελέσει τον πυρήνα ενός συστήµατος θεµατικής κατηγοριοποίησης δεδοµένων, το οποίο λειτουργεί πλήρως αυτοµατοποιηµένα και κατορθώνει τη δυναµική και αποδοτική ανάθεση ιστοσελίδων στις γενικές κατηγορίες µιας θεµατικής ιεραρχίας. Ισχυρισµός #3: Παρόλο που η µορφοσυνακτική και η σηµασιολογική ανάλυση των φυσικών γλωσσών προσεγγίζονται διαφορετικά, εντούτοις µπορούν να λειτουργήσουν συνδυαστικά και να επωφεληθεί η µία από την άλλη κατά την επεξεργασία µεγάλου όγκου ψηφιακών δεδοµένων. Ισχυρισµός #4: Το φαινόµενο της πολυσηµίας που χαρακτηρίζει εγγενώς τις λέξεις µιας γλώσσας µπορεί να αρθεί αποτελεσµατικά µε την ενσωµάτωση ενός σηµασιολογικού δικτύου ληµµάτων σε διάφορες αλγοριθµικές τεχνικές σηµασιολογικής αποσαφήνισης. Ισχυρισµός #5: Οι τεχνικές διαχείρισης, ταξινόµησης, κατηγοριοποίησης και ανάκτησης ιστοσελίδων µπορούν να επιτύχουν υψηλά ποσοστά απόδοσης µε τη χρήση εµπλουτισµένων σηµασιολογικών δικτύων ληµµάτων. Ισχυρισµός #6: Το εµπλουτισµένο µε θεµατικές ιεραρχίες σηµασιολογικό δίκτυο ληµµάτων, θα µπορούσε να υιοθετηθεί από τους επηµελητές των καταλόγων ιαδικτύου για την κατηγοριοποίηση των ιστοσελίδων του Παγκόσµιου Ιστού. Επιπλέον, η συνεισφορά της διατριβής εντοπίζεται στο σχεδιασµό και την υλοποίηση αλγοριθµικών τεχνικών, οι οποίες αξιοποιούν την πληροφορία ενός εµπλουτισµένου σηµασιολογικού δικτύου ληµµάτων για την αποτελεσµατική διαχείριση των πολυάριθµων δεδοµένων του Παγκόσµιου Ιστού. Συγκεκριµένα, υλοποιήσαµε ένα πρότυπο µοντέλο κατηγοριοποίησης ιστοσελίδων, το οποίο στηρίζεται στο σηµασιολογικό περιεχόµενο των ιστοσελίδων που εξετάζει και µε βάση αυτό υποδεικνύει τη θεµατική κατηγορία της υφιστάµενης ιστοσελίδας. Συµπληρωµατικά µε την τεχνική θεµατικής κατηγοριοποίησης λειτουργεί ο αλγόριθµος θεµατικής ταξινόµησης που υλοποιήσαµε, ο οποίος κατορθώνει να οργανώσει τις κατηγοριοποιηµένες ιστοσελίδες ανάλογα µε την πληροφορία που αυτές µεταφέρουν για την κατηγορία στην οποία έχουν ανατεθεί. Ως επιστέγασµα των παραπάνω τεχνικών λειτουργεί ο αλγόριθµος διαχείρισης ιστοσελίδων που υλοποιήσαµε, ο οποίος εξασφαλίζει την παροχή ποιοτικού περιεχοµένου στους χρήστες που αναζητούν πληροφορία στον Παγκόσµιο Ιστό. 25

26 1.3 οµή της ιατριβής Η παρούσα διατριβή δοµείται σε 7 Κεφάλαια. Στο παρόν κεφάλαιο έγινε µια σύντοµη παρουσίαση του αντικειµένου και των στόχων της διατριβής. Το Κεφάλαιο 2 παρουσιάζει τα χαρακτηριστικά γνωρίσµατα των σηµασιολογικών δικτύων ληµµάτων και αναδεικνύει τη σηµασία τους στη σηµασιολογική επεξεργασία φυσικής γλώσσας µέσα από το σύνολο των εφαρµογών που βασίζονται άµεσα σε αυτά. Το βασικό πρόβληµα που καλείται να επιλύσει η χρήση ενός σηµασιολογικού δικτύου ληµµάτων κατά την επεξεργασία ιστοσελίδων και κατ επέκταση κειµένων, είναι η άρση της σηµασιολογικής ασάφειας που χαρακτηρίζει τους όρους των περιεχοµένων τους. Για την αποτελεσµατική σηµασιολογική αποσαφήνιση του περιεχοµένου ιστοσελίδων, επιλέξαµε να ενσωµατώσουµε θεµατική πληροφορία στις λεξικές ιεραρχίες ενός δικτύου ληµµάτων. Στις ενότητες του κεφαλαίου παρουσιάζουµε το σηµασιολογικό δίκτυο ληµµάτων που χρησιµοποιήσαµε στο πλαίσιο της µελέτης µας, καθώς και τις οντολογίες από τις οποίες αντλήσαµε τις θεµατικές κατηγορίες µε τις οποίες επισηµειώσαµε τις λέξεις του δικτύου. Με την ενσωµάτωση θεµατικής πληροφορίας στα δεδοµένα του σηµασιολογικού δικτύου, εµπλουτίζουµε το τελευταίο καθιστώντας το αποδοτικό για ένα πλήθος εφαρµογών ιαδικτύου, τις οποίες εξετάζουµε διεξοδικά στα επόµενα κεφάλαια της διατριβής. Το Κεφάλαιο 3 παρουσιάζει τη διαδικασία συγχώνευσης θεµατικών κατηγοριών από διαφορετικές οντολογίες στις λεξικές ιεραρχίες του σηµασιολογικού δικτύου, και εξετάζει τη χρησιµότητά τους στην αυτοµατοποιηµένη ανάθεση ιστοσελίδων σ ένα σχήµα ιεραρχικής οργάνωσης δεδοµένων, όπως αυτό των καταλόγων ιαδικτύου. Πιο αναλυτικά, παρουσιάζουµε έναν αλγόριθµο θεµατικής κατηγοριοποίησης ιστοσελίδων, τον οποίο ενσωµατώσαµε σ ένα µοντέλο διαχείρισης του περιεχοµένου του Παγκόσµιου Ιστού. Το µοντέλο που σχεδιάσαµε για την οργάνωση των ιστοσελίδων του ιαδικτύου ονοµάζεται TODE. Ο αλγόριθµος θεµατικής κατηγοριοποίησης κάνει εκτεταµένη χρήση τόσο των θεµατικών κατηγοριών όσο και των λεξικών ιεραρχιών του σηµασιολογικού δικτύου και κατορθώνει την αυτοµατοποιηµένη ανάθεση ιστοσελίδων στο σύνολο των διαθέσιµων κατηγοριών, χωρίς να στηρίζεται σε προγενέστερη εκπαίδευση και εκµάθηση των χαρακτηριστικών της κατηγοριοποίησης. Τα αποτελέσµατα της πειραµατικής εφαρµογής του αλγορίθµου θεµατικής κατηγοριοποίησης για πραγµατικά δεδοµένα ιαδικτύου, επικυρώνουν τη συµβολή του στην αποτελεσµατική οργάνωση των δεδοµένων του Παγκόσµιου Ιστού. Το Κεφάλαιο 4, περιγράφει την επέκταση της λειτουργικότητας του µοντέλου διαχείρισης ιστοσελίδων TODE και παρουσιάζει έναν αλγόριθµο θεµατικής ταξινόµησης ιστοσελίδων, η υλοποίηση του οποίου στηρίζεται στα δεδοµένα του εµπλουτισµένου σηµασιολογικού 26

27 δικτύου. Ο αλγόριθµος θεµατικής ταξινόµησης αλληλεπιδρά µε την τεχνική θεµατικής κατηγοριοποίησης από την οποία προσλαµβάνει τα αποτελέσµατα των µετρικών της θεµατικής συσχέτισης που εµφανίζουν οι ιστοσελίδες µε τις θεµατικές κατηγορίες του δικτύου, και υπολογίζει το βαθµό σπουδαιότητας των υφιστάµενων ιστοσελίδων για τις κατηγορίες στις οποίες έχουν ανατεθεί. Επιπλέον, παρουσιάζουµε µια µετρική υπολογισµού της σηµασιολογικής συσχέτισης του περιεχοµένου διαφορετικών ιστοσελίδων, η οποία αξιοποιείται όχι µόνο από τον αλγόριθµο θεµατικής ταξινόµησης αλλά και από την τεχνική ανίχνευσης όµοιων ή πανοµοιότυπων ιστοσελίδων, την οποία περιγράφουµε στο Κεφάλαιο 6. Το βασικό πρόβληµα που καλείται να επιλύσει ο αλγόριθµος θεµατικής ταξινόµησης είναι η κατάταξη ιστοσελίδων που δεικτοδοτούνται στις κατηγορίες µιας θεµατικής ιεραρχίας, ανάλογα µε το βαθµό σπουδαιότητας του περιεχοµένου τους για τις εν λόγω κατηγορίες. Τα αποτελέσµατα της πειραµατικής αξιολόγησης του αλγορίθµου θεµατικής ταξινόµησης, καταδεικνύουν τη βελτιωµένη συµβολή του στην κατάταξη ιστοσελίδων σε θεµατικές ιεραρχίες, συγκριτικά µε τη συµβολή άλλων τεχνικών ταξινόµησης. Το Κεφάλαιο 5, αναφέρεται σε µια πρότυπη εφαρµογή σηµασιολογικής αποσαφήνισης, η οποία στηρίζεται στη χρήση του εµπλουτισµένου σηµασιολογικού δικτύου ληµµάτων. Η τεχνική σηµασιολογικής αποσαφήνισης αλληλεπιδρά µε ένα σύνολο τεχνικών γλωσσικής επεξεργασίας και αποβλέπει στην αποτελεσµατική διαχείριση των ιστοσελίδων που δεικτοδοτούνται από τις µηχανές αναζήτησης. Για την αξιολόγηση της απόδοσης της τεχνικής σηµασιολογικής αποσαφήνισης, εφαρµόσαµε την τελευταία για την επεξεργασία ενός συνόλου πληροφοριακών αιτηµάτων που διατυπώθηκαν σε µια δικτυακή µηχανή αναζήτησης και υπολογίσαµε την αποτελεσµατικότητά της στην ανάκτηση πληροφορίας συγκριτικά µε την αποτελεσµατικότητα άλλων τεχνικών ανάκτησης. Τα αποτελέσµατα της πειραµατικής µας µελέτης αποδεικνύουν τη συµβολή των σηµασιολογικών δικτύων στη σηµασιολογική αποσαφήνιση συγκεκριµένου τύπου ερωτηµάτων και φανερώνουν την αλληλεξάρτησή της από την απόδοση της µορφοσυντακτικής αποσαφήνισης. Το Κεφάλαιο 6 παρουσιάζει µια πειραµατική µελέτη του ρυθµού µεταβολής των δεδοµένων του Παγκόσµιου Ιστού µε την πάροδο του χρόνου, η διενέργεια της οποίας αποβλέπει στην ανάπτυξη ευέλικτων µηχανισµών ανανέωσης και διαχείρισης των ιστοσελίδων που δεικτοδοτούνται σε δικτυακές µηχανές αναζήτησης και σε καταλόγους ιαδικτύου. Καθοριστικό ρόλο κατά τη διεξαγωγή της µελέτης µας διαδραµατίζει το εµπλουτισµένο σηµασιολογικό δίκτυο ληµµάτων καθώς και η µετρική σηµασιολογικής συσχέτισης ιστοσελίδων την οποία περιγράψαµε στο Κεφάλαιο 4. Με βάση τα παραπάνω, σχεδιάσαµε µια τεχνική ανίχνευσης επαναλαµβανόµενων και πανοµοιότυπων ιστοσελίδων και υλοποιήσαµε έναν αλγόριθµο για την αποτελεσµατική διαχείρισή τους. Στη συνέχεια, 27

28 εφαρµόσαµε τον αλγόριθµο διαχείρισης ιστοσελίδων στα δεδοµένα ενός καταλόγου ιαδικτύου και µετρήσαµε πειραµατικά την απόδοσή του στην ανίχνευση ιστοσελίδων µε επαναλαµβανόµενο περιεχόµενο στις θεµατικές κατηγορίες του καταλόγου. Από τα αποτελέσµατα της εφαρµογής µας διαπιστώνουµε τη συνεισφορά των σηµασιολογικών δικτύων στην ποιοτική οργάνωση ιστοσελίδων σε θεµατικές ιεραρχίες, καθώς µέσω αυτών επιτυγχάνεται η απαλοιφή ιστοσελίδων µε πλεονάζον περιεχόµενο από τα ευρετήρια των καταλόγων, όπως θα δείξουµε στο αντίστοιχο κεφάλαιο. Τέλος το Κεφάλαιο 7 αποτελεί τον επίλογο της διατριβής. Γίνεται αποτίµηση του έργου που παρουσιάστηκε και αναφέρονται θέµατα που αφορούν τη χρήση σηµασιολογικών δικτύων στη διαχείριση του περιεχοµένου του Παγκόσµιου Ιστού και δεν καλύφθηκαν από το έργο αυτό. Επίσης, σκιαγραφούνται οι ερευνητικές κατευθύνσεις που µπορούν στο µέλλον να ακολουθηθούν µε εναρκτήριο σηµείο την παρούσα διατριβή. 1.4 ηµοσιεύσεις Σηµαντικό µέρος της παρούσας διατριβής βασίζεται στις παρακάτω δηµοσιεύσεις. Ευχαριστώ τους συν-συγγραφείς για την πολύτιµη συνεισφορά τους. Under Review Stamou S., Kokosis P., Krikos V., Christodoulakis D Maintaining Qualitative Data in Web Directories. Under review for the 5 th Language Resources and Evaluation Conference (LREC), May 24-26, Genoa, Italy Book Chapters [b1] Stamou S., Krikos V., Kokosis P., Christodoulakis D Classifying Web Data in Directory Structures. In Proceedings of the 8 th Asia Pacific Web Conference (APWeb 06), January 16-18, Harbin, China, LNCS 3841, Springer-Verlag, pp (14% accepted) [b2] Stamou S., Krikos V., Kokosis P., Ntoulas A., Christodoulakis D Web Directory Construction using Lexical Chains. In Proceedings of the 10 th International Conference on Applications of Natural Language to Information Systems (NLDB 05), June 15-17, Alicante, Spain, LNCS 3513, Springer-Verlag, pp (33% accepted) [b3] Stamou S., Christodoulakis D Retrieval Efficiency of Normalized Query Expansion. In Proceedings of the 6 th International Conference on Intelligent Text 28

29 Processing and Computational Linguistics (CICLing 05), February 13-19, Mexico City, Mexico, LNCS 3406, Springer-Verlag, pp [b4] Avramidis D., Kyriakopoulou M., Tzagarakis M, Stamou S., Christodoulakis D Approaching Wordnets through a Structural Point of View. In Proceedings of the 1 st Metainformatics Symposium (MIS), August 7-10, Esbjerg, Denmark, LNCS 2641, Springer-Verlag, pp [b5] Fourla A., Yannoutsou O., Tsakou I., Stamou S., Petrits A The Contribution of a User Group to the Evaluation and Improvement of an MT System. In Translating and the Computer, vol.22, London: ASLIB [b6] Ntoulas A., Stamou S., Tsakou I., Tsalidis C., Tzagarakis M., Vagelatos A Use of a Morphosyntactic Lexicon for the Implementation of the Greek Wordnet. In Proceedings of the 2 nd International Conference on Natural Language Processing (NLP), June 2-4, Greece, LNCS 1835, Springer-Verlag, pp Papers in International Journals [j1] Grigoriadou M., Kornilakis H., Galiotou E., Stamou S., Papakitsos E The Software Infrastructure for the Development and Validation of the Greek Wordnet. In Romanian Journal of Information Science and Technology (RJIST), vol.7, no. 1-2, pp [j2] Tufis D., Cristea D., Stamou S Balkanet: Aims, Methods, Results and Perspectives: a General Overview. In Romanian Journal of Information Science and Technology (RJIST), vol.7, no. 1-2, pp Papers in Refereed Conferences [c1] Stamou S., Christodoulakis D Turning BalkaNet s Inter-Lingual Index to a Powerful Ontology. Under review for the 1 st IST-Africa 2006 Conference and Exhibition (supported by the European Commission), May 2-3, Pretoria, South Africa [c2] Kokosis P., Krikos V., Stamou S., Christodoulakis D HiBO: A System for Automatically Organizing Bookmarks. In Proceedings of the Joint Conference on Digital Libraries (JCDL 05), June 7-11, Denver, USA (27% accepted) [c3] Stamou S., Christodoulakis D Handling Subtle Sense Distinctions through Wordnet Semantic Types. In Proceedings of the 4 th Language Resources and Evaluation Conference (LREC), May 26-28, Lisbon, Portugal 29

30 [c4] Stamou S., Nenadic G., Christodoulakis D Exploring Balkanet Shared Ontology for Multilingual Conceptual Indexing. In Proceedings of the 4 th Language Resources and Evaluation Conference (LREC), May 26-28, Lisbon, Portugal [c5] Stamou S., Ntoulas A., Kyriakopoulou M., Christodoulakis D Expanding EuroWordNet with Domain-Specific Terminology Using Common Lexical Resources: Vocabulary Completeness and Coverage Issues. In Proceedings of the 1 st Global Wordnet Conference (GWC), January 21-25, Mysore, India [c6] Stamou S., Oflazer K., Pala K., Christodoulakis D., Cristea D., Tufis D., Koeva S., Totkov G., Dutoit D., Grigoriadou M Balkanet: A Multilingual Semantic Network for Balkan Languages. In Proceedings of the 1 st Global Wordnet Conference (GWC), January 21-25, Mysore, India [c7] Stamou S., Ntoulas A., Hoppenbrouwers J., Saiz-Noeda M., Christodoulakis D EUROTERM: Extending the EuroWordNet with Domain-Specific Terminology Using an Expand Model Approach. In Proceedings of the 1 st Global Wordnet Conference (GWC), January 21-25, Mysore, India [c8] Ntoulas A., Stamou S., Tzagarakis M., Christodoulakis D Understanding Search Engines: Requirements for Explaining Search Results. In Proceedings of the 1 st Panhellenic Conference with International Participation in Human Computer Interaction (PCHCI), December 7-9, Patras, Greece [c9] Ntoulas A., Stamou S., Tzagarakis M., Tsakou I., Christodoulakis D Viewing Web Search Engines as Corpus Query Systems. In Proceedings of the 6 th Conference on Computational Lexicography and Corpus Research (COMPLEX), Mason Hall, University of Birmingham, June 28-30, Birmingham, UK Papers in Refereed Workshops [w1] Krikos V., Stamou S., Ntoulas A., Kokosis P., Christodoulakis D DirectoryRank: Ordering Pages in Web Directories. In Proceedings of the 7 th ACM International Workshop on Web Information and Data Management (WIDM 05), November 5, Bremen, Germany (27% accepted) [w2] Stamou S., Christodoulakis D Integrating Domain Knowledge into a Generic Ontology. In Proceedings of the 2 nd MEANING Workshop, February 3-4, Trento, Italy [w3] Stamou S., Andrikopoulos V., Christodoulakis D Towards Developing a Semantically Annotated Treebank Corpus for Greek. In Proceedings of the 2 nd Workshop on Treebanks and Linguistic Theories (TLT), November 14-15, Vaxjo, Sweden 30

31 [w4] Avramidis D., Kyriakopoulou M., Kourousias G., Stamou S., Tzagarakis M Viewing Semantic Networks as Hypermedia. In Proceedings of the Workshop on Wordnet Structures and Standardization, in conjunction with the 3 rd Language Resources and Evaluation Conference (LREC), May 28, Las Palmas, Spain [w5] Ntoulas A., Stamou S., Tzagarakis M Using a WWW Search Engine to Evaluate Normalization Performance for a Highly Inflectional Language. In Proceedings of the ACL/EACL Student Research Workshop, July 6-11, Toulouse, France [w6] Tsakou I., Assimakopoulos D., Koutsoubos I., Miatidis M., Kourousias G., Tzagarakis M., Stamou S., Christodoulakis D DIALEXIKO: A Database for the Storage and Manipulation of Linguistic Resources (in Greek). In Proceedings of the Workshop on Lexicographic Databases and other Electronic Linguistic Resources,in conjunction with the 22 nd Annual Meeting of Greek Linguistics, April 29, Thessaloniki, Greece [w7] Assimakopoulos D., Koutsoubos I., Miatidis M., Tsakou I., Ntoulas A., Stamou S., Christodoulakis D A Modular Architecture for the Storage and Management of Heterogeneous Lexical Information. In Proceedings of the Computational Lexicography Workshop (COMLEX), September 22-23, Kato Achaia, Greece Invited Papers [p1] Stamou S Rethinking Proofing Tools. In Elsnet Newsletter of the European Network in Human Language Technologies, vol. 13(2), Autumn, 2004 [p2] Stamou S., Kapros P., Krikos B., Fosteris N., Kokosis P Problems Encountered while Developing MS Proofing Tools for the Greek Office. In Introduction to Computational Linguistics (lecture notes), Zagreb, Croatia [p3] Oflazer K., Stamou S., Christodoulakis D Balkanet: A Multilingual Semantic Network for the Balkan Languages. In Elsnet Newsletter of the European Network in Human Language Technologies, vol. Autumn

32 32

33 ΚΕΦΑΛΑΙΟ 2 ίκτυα Σηµασιολογικά Συσχετισµένων Ληµµάτων Τα δίκτυα σηµασιολογικά συσχετισµένων ληµµάτων (wordnets) ή πιο απλά τα σηµασιολογικά δίκτυα παρουσιάζουν αρκετά κοινά χαρακτηριστικά γνωρίσµατα µε τα παραδοσιακά ερµηνευτικά λεξικά και τους θησαυρούς συνωνύµων, καθώς παρέχουν πληροφορία όχι µόνο για τις ερµηνείες των ληµµάτων που περιέχουν αλλά και για τις σηµασιολογικές τους σχέσεις µε άλλα λήµµατα του δικτύου [Fellbaum, 1998]. Ωστόσο, παρά τις οµοιότητές τους, εµφανίζουν και σηµαντικές διαφοροποιήσεις µε τα υφιστάµενα λεξικά αφού η πληροφορία που περιλαµβάνουν είναι οργανωµένη σύµφωνα µε σηµασιολογικά και όχι λεξιλογικά κριτήρια. Πιο συγκεκριµένα, η ανάπτυξη σηµασιολογικών δικτύων στηρίζεται σε ερευνητικά αποτελέσµατα της επιστήµης της Γνωστικής Ψυχολογίας (Cognitive Psychology), σύµφωνα µε τα οποία η δοµή της ανθρώπινης µνήµης και ως εκ τούτου του γνωστικού λεξικού (mental lexicon) των ανθρώπων στηρίζεται σε συσχετισµούς εννοιών µεταξύ τους. Σύµφωνα µε την άποψη του Miller [1995], προτάσεις διατυπωµένες σε µια φυσική γλώσσα αποκτούν νόηµα για τον αναγνώστη ή ακροατή µόνο όταν οι λέξεις που τις αποτελούν έχουν κάποιο νόηµα γι αυτόν. Συµπληρώνοντας την παραπάνω θέση του, υποστηρίζει πως τούτο ισχύει καθολικά σε οποιοδήποτε επίπεδο του γλωσσικού συστήµατος. Ακόµα και στην περίπτωση των ερµηνευτικών λεξικών, που είναι δοµηµένα µε βάση την αλφαβητική σειρά των λέξεων, ενυπάρχει η έννοια της σηµασιολογικής οργάνωσης στο πεδίο των ορισµών τους. Πιο συγκεκριµένα, κάθε λήµµα του λεξικού συνοδεύεται κατά κανόνα από ένα ερµήνευµα (ορισµό), το οποίο δεν αποτελεί τίποτα παραπάνω από µια φράση που υποδηλώνει τη σχέση του υφιστάµενου λήµµατος µε άλλα λήµµατα, τα ερµηνεύµατα (ορισµοί) των οποίων θεωρούνται γνωστά [Kay, 1989]. Συνεπώς, οι γνωστικές διεργασίες που επιτελεί ο άνθρωπος όταν αναζητά πληροφορία στο λεξικό συνοψίζονται σε διαδικασίες συσχέτισης της πληροφορίας που εκλαµβάνει, µε ήδη υπάρχουσα γνώση. Κάτι αντίστοιχο παρατηρείται και στην περίπτωση των µορφολογικών λεξικών όπου τα λήµµατα σχετίζονται µεταξύ τους βάσει των µορφοσυντακτικών τους ιδιοτήτων και των µορφολογικών καταλήξεων που λαµβάνουν οι κλιτικοί τους τύποι. 33

34 Συνεπώς, η έννοια της συσχέτισης απαντάται σε όλες τις εκφάνσεις της γλώσσας και σε όλα τα επίπεδα του λόγου, γραπτού και προφορικού. Στα παραπάνω συµπεράσµατα στηρίζεται η φιλοσοφία και η αρχιτεκτονική των δικτύων σηµασιολογικών συσχετίσεων. Το πρώτο σηµασιολογικό δίκτυο αναπτύχθηκε για την αγγλική γλώσσα από το πανεπιστήµιο του Princeton [Fellbaum, 1998] και µέσω του δικτύου αυτού επιχειρείται η συσχέτιση ληµµάτων γενικού λεξιλογίου µε τη χρήση γλωσσολογικών συσχετίσεων. Οι υφιστάµενες συσχετίσεις προκύπτουν από την κατάλληλη επεξεργασία ηλεκτρονικών ερµηνευτικών λεξικών (machine readable dictionaries) και σωµάτων κειµένων 2 [Hearst, 1998]. Επιπλέον, αναπτύχθηκε πρόσφατα ένα πολυγλωσσικό δίκτυο σηµασιολογικών συσχετίσεων για τις γλώσσες της υτικής Ευρώπης, το EuroWordNet [Vossen, 1998], το οποίο επιχειρεί τη σύνδεση των αντίστοιχων µονόγλωσσων σηµασιολογικών δικτύων µέσω ενός ευρετηρίου διασύνδεσης γλωσσών 3 (Inter-Lingual-Index) [Vossen et al., 1999]. Το ευρετήριο διασύνδεσης περιλαµβάνει αγγλικές λέξεις, συνδεδεµένες µε σχέσεις ισοδυναµίας µε τις αντίστοιχες λέξεις που έχουν καταχωριστεί στα µονόγλωσσα σηµασιολογικά δίκτυα, διευκολύνοντας την πλοήγηση από ένα µονόγλωσσο δίκτυο προς κάποιο άλλο. Τέλος, µε πρωτοβουλία του Πανεπιστηµίου Πατρών δηµιουργήθηκε ένα αντίστοιχο σηµασιολογικό δίκτυο για τις βαλκανικές γλώσσες, γνωστό ως Balkanet [Stamou et al., 2002] [Oflazer et al., 2001], το οποίο ακολουθεί σε γενικές γραµµές την αρχιτεκτονική του EuroWordNet παρά τις επιµέρους διαφοροποιήσεις που παρουσιάζει σε επίπεδο υλοποίησης και τεχνολογικής υποδοµής, τις οποίες θα εξετάσουµε στην ενότητα που ακολουθεί. Τα σηµασιολογικά δίκτυα αποτελούν στην ουσία µια µορφή ηλεκτρονικών λεξικών, στα οποία καταχωρίζεται σηµασιολογική (θησαυρική) πληροφορία για τα λήµµατα που περιλαµβάνουν. Τα λήµµατα των σηµασιολογικών δικτύων είναι οργανωµένα σε σηµασιολογικά συσχετισµένα σύνολα (synsets), µε βάση τη σχέση της συνωνυµίας. Πιο συγκεκριµένα, συνώνυµες ερµηνείες λέξεων που ανήκουν στο ίδιο σύνολο θεωρούνται ισοδύναµες, υπό την έννοια πως µπορεί να αντικαταστήσει η µία την άλλη σε οποιαδήποτε πρόταση χωρίς να µεταβάλλει το νόηµά της. Ωστόσο, µε βάση αυστηρά γλωσσολογικά κριτήρια, ελάχιστες είναι οι λέξεις µιας φυσικής γλώσσας που µπορούν να αντικατασταθούν µε άλλες σε οποιοδήποτε περιβάλλον, διατηρώντας παράλληλα το νόηµά τους αναλλοίωτο [Lyons, 1977] [Miller, 1998]. Στην πλειοψηφία των περιπτώσεων η 2 Για µια επισκόπηση της επεξεργασίας ερµηνευτικών λεξικών και σωµάτων κειµένων για τον καθορισµό των σηµασιολογικών συσχετίσεων που υφίστανται µεταξύ ληµµάτων βλ. [Fellbaum, 1998, σελ. 131] [Hearst, 1998] 3 Ο όρος αποδίδεται στα ελληνικά κατά προσέγγιση, εφόσον στη διεθνή βιβλιογραφία εµφανίζεται αποκλειστικά στην Αγγλική. 34