Μαγδαληνή Π. Ειρηνάκη

Transcript

1 Μαγδαληνή Π. Ειρηνάκη ΚΑΙΝΟΤΟΜΙΚΕΣ ΠΡΟΣΕΓΓΙΣΕΙΣ ΓΙΑ ΕΞΑΤΟΜΙΚΕΥΣΗ ΣΤΟΝ ΠΑΓΚΟΣΜΙΟ ΙΣΤΟ Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ Τµήµα Πληροφορικής Απρίλιος 2006

2 Μαγδαληνή Π. Ειρηνάκη 2006

3 i ΕΥΧΑΡΙΣΤΙΕΣ «...Κι αν πτωχική την βρεις, η Ιθάκη δεν σε γέλασε. Έτσι σοφός που έγινες, µε τόση πείρα, ήδη θα το κατάλαβες οι Ιθάκες τι σηµαίνουν.» Κωνσταντίνος Π. Καβάφης ( ) Υπάρχουν πολλοί άνθρωποι, χωρίς τη βοήθεια των οποίων αυτή η εργασία θα ήταν αδύνατη. Καταρχήν, ευχαριστώ τον επιβλέποντά µου Μιχάλη Βαζιργιάννη, που πίστεψε στις δυνατότητές µου και πρόσφερε την καθοδήγηση και υποστήριξή του καθ όλη τη διάρκεια των προηγούµενων ετών. Θέλω επίσης να τον ευχαριστήσω γιατί µου έδωσε τη δυνατότητα να συναναστραφώ µε πολλούς αξιόλογους ανθρώπους και να επισκεφτώ ενδιαφέροντες τόπους, στα πλαίσια ερευνητικών προγραµµάτων και συνεδρίων. Επιπλέον ευχαριστώ τα υπόλοιπα µέλη της επταµελούς επιτροπής µου, καθηγήτρια Μάρθα Σιδέρη και καθηγητές Gerhard Weikum, Εµµανουήλ Γιακουµάκη, Εµµανουήλ Γιαννακουδάκη, Ιωάννη Μήλη, και Βασίλη Βασσάλο. Ιδιαίτερα θέλω να ευχαριστήσω τους κατά καιρούς συνεργάτες µου, ξεκινώντας µε τον Ηρακλή Βαρλάµη, ο οποίος µε βοήθησε, µέσα από εποικοδοµητικές συζητήσεις, να κάνω τα πρώτα µου ερευνητικά βήµατα. Επίσης, τους Γιώργο Τσατσαρώνη, ηµήτρη Καπογιάννη και ιδιαιτέρως τους Χάρη Λάµπο και Στράτο Παυλάκη, οι οποίοι, ως προπτυχιακοί φοιτητές τους οποίους είχα τη χαρά να επιβλέπω κατά την εκπόνηση της πτυχιακής τους, προσέφεραν τις προγραµµατιστικές τους ικανότητες, αλλά πολλές φορές και πολύτιµα σχόλια σχετικά µε διάφορα σηµεία της εργασίας αυτής. Τέλος τους Sarabjot S. Anand και Joannis Vlachakis µε τους οποίους είχα τη χαρά να συνεργαστώ στα πλαίσια ενός ευρωπαϊκού προγράµµατος. Ως µέλος της ερευνητικής οµάδας DB-NET, είχα την τύχη να γνωρίσω και να αποκτήσω πολλούς φίλους. Ευχαριστώ τη Μαρία Χαλκίδη, τους Γιάννη Μπατιστάκη, Χρήστο Πατερίτσα, Ευριπίδη Βραχνό, Χριστόφορο Βερβερίδη, Χρήστο ουλκερίδη, Γιώργο Τσατσαρώνη, ηµήτρη Μαυροειδή, την γλυκιά µας γραµµατέα Βίκυ Σαµπάνη, και φυσικά τους καλούς µου φίλους Ηρακλή Βαρλάµη και Στρατή Βαλαβάνη, για το

4 ii αστείρευτο χιούµορ και την πάντα ευχάριστη ατµόσφαιρα στο εργαστήριο, ακόµα και κατά τη διάρκεια προθεσµιών ή όταν έπρεπε να (ξανα)µετακοµίσουµε. «Φίλος είναι αυτός που πιστεύει σε σένα όταν δεν πιστεύεις πια στον εαυτό σου». Υπήρξαν αρκετές φορές κατά τη διάρκεια του διδακτορικού που σκέφτεσαι να τα παρατήσεις, για διάφορους λόγους. Θέλω να ευχαριστήσω όλους τους φίλους µου, που µου συµπαραστάθηκαν στις καλές αλλά και τις άσχηµες στιγµές, και κυρίως στην Έλενα Αβαταγγέλου, τον Νίκο Καρέλο, την Ματούλα Καλύβεζα, τον αδερφό µου Παύλο Ειρηνάκη και την καλύτερη µου φίλη και «αδερφή», Φωτεινή Γλυκού. Θέλω επίσης να ευχαριστήσω τον θείο µου, καθηγητή Παναγιώτη Βαρελά, ο οποίος συνεχώς µε «προκαλούσε» µε έξυπνους και βασανιστικούς µαθηµατικούς γρίφους, γνωρίζοντάς µου έτσι τον κόσµο της λογικής, των αλγορίθµων και, τελικά, της Πληροφορικής. Ένα µεγάλο ευχαριστώ στον Άλκη Πολυζώτη. Είναι αυτός που µε ενέπνευσε και µε παρακίνησε να ξεκινήσω αυτό το ταξίδι. Όλα αυτά τα χρόνια µου έδωσε πολύτιµες συµβουλές και µου προσέφερε αµέριστη βοήθεια και καθοδήγηση όποτε τη χρειάστηκα. Υπήρξε για µένα µέντορας και πραγµατικός φίλος, και είµαι πολύ ευτυχισµένη που ξεκινάµε ένα νέο «ταξίδι» µαζί. Τέλος, το πιο µεγάλο ευχαριστώ ανήκει στους γονείς µου, Παντελή και Κυριακή Ειρηνάκη, για τη συνεχή και ανιδιοτελή αγάπη, υποστήριξη και ενθάρρυνση που µου δίνουν. Γνωρίζω πως θα έδιναν τα πάντα προκειµένου να κάνω τα όνειρά µου πραγµατικότητα. Σε αυτούς οφείλω αυτό που είµαι σήµερα. Αυτή η διατριβή είναι αφιερωµένη σ αυτούς.

5 iii ΣΗΜΕΙΩΜΑ ΕΛΛΗΝΙΚΗΣ ΕΚ ΟΣΗΣ Για την ελληνική έκδοση της διατριβής, χρειάστηκε να µεταφράσουµε αρκετούς όρους της Πληροφορικής στα Ελληνικά. Προκειµένου να διευκολύνουµε την κατανόηση του κειµένου, πολλές φορές δίνεται και ο αντίστοιχος αγγλικός όρος σε παρένθεση. Πρέπει επίσης να τονίσουµε ότι, επειδή η έρευνα στην περιοχή της Εξόρυξης Γνώσης από τον Παγκόσµιο Ιστό (Web Mining) και της Εξατοµίκευσης ικτυακών Τόπων (Web Personalization) είναι σχετικά νέα, δεν υπάρχει ακόµα µια ευρέως αποδεκτή ελληνική ορολογία για πολλούς από τους όρους που χρησιµοποιούνται. Σε αυτή τη διατριβή κάναµε µια προσπάθεια να παρέχουµε όσο το δυνατόν αντιπροσωπευτικότερες µεταφράσεις των όρων αυτών, ενώ στο τέλος της διατριβής περιλαµβάνεται και ένα γλωσσάρι που περιέχει τους σηµαντικότερους όρους.

6 iv ΠΕΡΙΕΧΟΜΕΝΑ ΕΥΡΕΤΗΡΙΟ ΕΙΚΟΝΩΝ... vii ΕΥΡΕΤΗΡΙΟ ΠΙΝΑΚΩΝ... ix ΠΕΡΙΛΗΨΗ... xi 1 Εισαγωγή Κίνητρο Συµβολή Περίγραµµα Ανασκόπηση της Βιβλιογραφίας Προ-επεξεργασία εδοµένων Χρήσης Εξόρυξη Γνώσης από εδοµένα Χρήσης και Εξατοµίκευση Ενσωµάτωση Σηµασιολογικών Χαρακτηριστικών του Κειµένου στη ιαδικασία Εξατοµίκευσης Ενσωµάτωση της οµής στη ιαδικασία Εξατοµίκευσης Σηµασιολογική Εξατοµίκευση ικτυακών Τόπων Εισαγωγικό Παράδειγµα Αρχιτεκτονική του Συστήµατος SEWeP Οµοιότητα Όρων Οντολογίας Μέτρο Οµοιότητας THESUS Χαρακτηρισµός Περιεχοµένου Εξαγωγή Λέξεων-Κλειδιών Μετάφραση Λέξεων-Κλειδιών Σηµασιολογικός Χαρακτηρισµός ηµιουργία και Εξόρυξη των C-Logs Συσταδοποίηση Υπερκειµένων Μηχανισµός Παραγωγής Προτάσεων... 40

7 v Σηµασιολογικές Προτάσεις Προτάσεις Βασισµένες σε Κατηγορίες Πειραµατική Αξιολόγηση Μεθοδολογία Πειραµατικά Αποτελέσµατα Πρωτότυπα Συστηµάτων SEWeP I-KnowUMine Αρχειοθέτηση του Ελληνικού Ιστού Συµπεράσµατα Ανάλυση Υπερσυνδέσµων και Εξατοµίκευση Εισαγωγικό Παράδειγµα Προκαταρτικές Έννοιες Ο Γράφος Πλοήγησης Μαρκοβιανά Μοντέλα UPR (Usage-based PageRank) PageRank UPR: Ανάλυση Υπερσυνδέσµων στον Γράφο Επισκέψεων Τοπικός UPR (l-upr) Ο Εξατοµικευµένος Γράφος Πλοήγησης (prng) Εξατοµικευµένες Προτάσεις βασισµένες στον UPR Υβριδικά Πιθανοτικά Μοντέλα για Πρόβλεψη Μονοπατιών Πρόβλεψη ηµοφιλών Μονοπατιών Αναθεωρώντας τον Τρόπο Υπολογισµού Αρχικών Πιθανοτήτων Πειραµατική Αξιολόγηση Πειραµατική Αξιολόγηση Αξιολόγηση των Προτάσεων του l-upr Αξιολόγηση των Προτάσεων του h-ppm Σύγκριση l-upr και h-ppm Πρωτότυπο Συστήµατος

8 vi 4.8 Συµπεράσµατα Συµπεράσµατα και Σχέδια για Μελλοντική Εργασία Περίληψη ιατριβής Συζήτηση ΑΝΑΦΟΡΕΣ ΠΑΡΑΡΤΗΜΑ Α ΠΑΡΑΡΤΗΜΑ B ΓΛΩΣΣΑΡΙ

9 vii ΕΥΡΕΤΗΡΙΟ ΕΙΚΟΝΩΝ Εικόνα 1. Η διαδικασία εξατοµίκευσης δικτυακών τόπων... 4 Εικόνα 2. Η αρχιτεκτονική του SEWeP Εικόνα 3. Η διαδικασία µετάφρασης των λέξεων-κλειδιών Εικόνα 4. Η διαδικασία σηµασιολογικού χαρακτηρισµού Εικόνα 5. Η µέθοδος παραγωγής σηµασιολογικών προτάσεων Εικόνα 6. Η µέθοδος παραγωγής προτάσεων βασισµένων σε κατηγορίες Εικόνα 7. Πείραµα #1: Αξιολόγηση των συνόλων προτάσεων Εικόνα 8. Πείραµα #2: Original vs. Hybrid Προτάσεις Εικόνα 9. Πείραµα #3: Semantic vs. Hybrid Προτάσεις Εικόνα 10. Πείραµα #4: Category-based vs. Hybrid Προτάσεις Εικόνα 11. Στιγµιότυπο του SEWeP: Το τµήµα προ-επεξεργασίας αρχείων επισκέψεων54 Εικόνα 12. Στιγµιότυπο του SEWeP: το τµήµα διαχείρισης συνεδριών Εικόνα 13. Στιγµιότυπο του SEWeP: το τµήµα παραγωγής σηµασιολογικών κανόνων συσχέτισης Εικόνα 14. Η αρχιτεκτονική του συστήµατος IKUM Εικόνα 15. Η αρχιτεκτονική του συστήµατος Αρχειοθέτησης του Ελληνικού Ιστού Εικόνα 16. Παράδειγµα του PageRank Εικόνα 17. Παράδειγµα του UPR (Usage-based PageRank) Εικόνα 18. Αλγόριθµος ηµιουργίας του ΓΠ Εικόνα 19. Γράφος Πλοήγησης Εικόνα 20. Σύνοψη ΓΠ (Μαρκοβιανή αλυσίδα) Εικόνα 21. prng για σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 22. prng για σύνοψη ΓΠ µε Μαρκοβιανό µοντέλο 2 ης τάξης Εικόνα 23. ηµιουργία του υπο-γράφου prng Εικόνα 24. Υπορουτίνα επέκτασης µονοπατιού Εικόνα 25. Μέσος όρος των OSim και KSim για τις top-n κατατάξεις του συνόλου msnbc Εικόνα 26. Μέσος όρος των OSim και KSim για τις top-n κατατάξεις του συνόλου cti.. 92

10 viii Εικόνα 27. OSim για το σύνολο δεδοµένων msnbc και σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 28. ΚSim για το σύνολο δεδοµένων msnbc και σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 29. OSim για το σύνολο δεδοµένων cti και σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 30. ΚSim για το σύνολο δεδοµένων cti και σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 31. OSim για το σύνολο δεδοµένων msnbc και σύνοψη ΓΠ µε Μαρκοβιανό µοντέλο 2 ης τάξης Εικόνα 32. ΚSim για το σύνολο δεδοµένων msnbc και σύνοψη ΓΠ µε Μαρκοβιανό µοντέλο 2 ης τάξης Εικόνα 33. Σύγκριση l-upr και h-ppm, σύνοψη ΓΠ µε Μαρκοβιανή αλυσίδα Εικόνα 34. Το τµήµα Υπολογισµού Αρχικών Πιθανοτήτων Εικόνα 35. Το τµήµα Υπολογισµού Πιθανοτήτων των Μονοπατιών Εικόνα 36. Το τµήµα Πρόβλεψης Μονοπατιών µε τον l-upr

11 ix ΕΥΡΕΤΗΡΙΟ ΠΙΝΑΚΩΝ Πίνακας 1: Σχετική Βιβλιογραφία Πίνακας 2. Τα URIs και οι αντίστοιχοι όροι της οντολογίας Πίνακας 3. Συνεδρίες Χρηστών Πίνακας 4. Συχνότητα µονοπατιών για τις συνεδρίες του Πίνακα Πίνακας 5. Top-10 Συχνά Μονοπάτια Πίνακας 6. Top-10 κατάταξη από το σχήµα Start Πίνακας 7. Top-10 κατάταξη από το σχήµα Total

12

13 xi ΠΕΡΙΛΗΨΗ Τα τελευταία χρόνια, ο Παγκόσµιος Ιστός (World Wide Web) έχει αναδειχθεί ως ένα από τα κυριότερα µέσα πληροφόρησης. Παρόλα αυτά, οι χρήστες πολλές φορές δυσκολεύονται να βρουν τις πληροφορίες που αναζητούν, λόγω του µεγάλου όγκου πληροφοριών σε συνδυασµό µε τη δυναµική και ετερογενή φύση του ιστού. Γι αυτόν τον λόγο, πολλοί δικτυακοί τόποι παρέχουν εξατοµικευµένες προτάσεις προς τους χρήστες τους. Οι περισσότερες ερευνητικές προσπάθειες στην περιοχή της εξατοµίκευσης δικτυακών τόπων (web personalization) συνδέονται µε την εξέλιξη της έρευνας στην περιοχή της εξόρυξης γνώσης από τα δεδοµένα χρήσης του ιστού (web usage mining), µε άλλα λόγια την ανακάλυψη και επεξεργασία των προτύπων πλοήγησης (navigational patterns) των επισκεπτών ενός δικτυακού τόπου. Εντούτοις, πολύτιµα δεδοµένα και εννοιολογικά συναφή µε αυτά που τελικά προτείνονται στον χρήστη µπορεί να µη συµπεριληφθούν κατά τη διαδικασία παραγωγής προτάσεων όταν ένα σύστηµα εξατοµίκευσης δικτυακών τόπων βασίζεται µόνο στα δεδοµένα χρήσης του ιστού. Επιπλέον, µε αυτή τη προσέγγιση παραµελούνται συχνά και τα δοµικά χαρακτηριστικά του δικτυακού τόπου. Σε αυτή τη διατριβή, προτείνουµε νέες τεχνικές οι οποίες χρησιµοποιούν τη σηµασιολογία του περιεχοµένου (content semantics) και τα δοµικά χαρακτηριστικά ενός δικτυακού τόπου για να βελτιώσουν την αποτελεσµατικότητα της εξατοµίκευσης του. Στο πρώτο µέρος αυτής της δουλειάς παρουσιάζουµε το SEWeP (SEmantic Web Personalization), ένα σύστηµα εξατοµίκευσης το οποίο ενσωµατώνει τα σηµασιολογικά χαρακτηριστικά του περιεχοµένου, εκφρασµένα µε όρους που ανήκουν σε µια οντολογία, µε τα δεδοµένα χρήσης, ώστε να δηµιουργήσει σηµασιολογικά εµπλουτισµένα πρότυπα πλοήγησης και ως εκ τούτου πιο χρήσιµες προτάσεις (recommendations) για τους χρήστες. Απ όσο γνωρίζουµε, το SEWeP είναι το µόνο σηµασιολογικό σύστηµα εξατοµίκευσης το οποίο µπορεί να χρησιµοποιηθεί από οποιονδήποτε δικτυακό τόπο. Στο δεύτερο µέρος της διατριβής, προτείνουµε µια πρωτότυπη προσέγγιση που στοχεύει στη βελτίωση της ποιότητας των προτάσεων, βασισµένη στην υποκείµενη δοµή του δικτυακού τόπου. Παρουσιάζουµε τον UPR (Usage-based PageRank), έναν αλγόριθµο

14 xii που ανήκει στην οικογένεια του PageRank, ο οποίος χρησιµοποιεί τα δεδοµένα χρήσης σε συνδυασµό µε τεχνικές ανάλυσης υπερσυνδέσµων (link analysis techniques). Ο αλγόριθµος αυτός εφαρµόζεται σε µια αναπαράσταση των συνεδριών των χρηστών (user sessions) την οποία ονοµάζουµε Γράφο Πλοήγησης (Navigational Graph) προκειµένου να προσδιορίσει την σηµαντικότητα µιας δικτυακής σελίδας. Χρησιµοποιώντας το προτεινόµενο πλαίσιο, αναπτύσσουµε τον l-upr, έναν αλγόριθµο παραγωγής προτάσεων ο οποίος βασίζεται σε µια «τοπική» παραλλαγή του UPR, η οποία εφαρµόζεται στον εξατοµικευµένο υπο-γράφο πλοήγησης κάθε χρήστη. Επιπρόσθετα, ενσωµατώνουµε τον UPR και τις παραλλαγές του σε ένα υβριδικό πιθανοτικό µοντέλο πρόβλεψης, για τον υπολογισµό των αρχικών (prior) πιθανοτήτων επίσκεψης των σελίδων. Μέσα από µια σειρά πειραµάτων, αποδεικνύουµε ότι η προτεινόµενη προσέγγιση έχει ως αποτέλεσµα πιο αντικειµενικές και αντιπροσωπευτικές προβλέψεις σε σχέση µε ήδη υπάρχουσες τεχνικές που βασίζονται µόνο σε δεδοµένα χρήσης.

15 1 ΚΕΦΑΛΑΙΟ 1 Εισαγωγή Τα τελευταία χρόνια ο Παγκόσµιος Ιστός (World Wide Web) έχει γίνει ο πιο διαδεδοµένος τρόπος επικοινωνίας και διάδοσης της πληροφορίας. Ο ιστός είναι µια πλατφόρµα ανταλλαγής διαφόρων ειδών δεδοµένων, όπως για παράδειγµα ερευνητικών άρθρων και εκπαιδευτικού περιεχοµένου, αλλά και πολυµέσων, λογισµικού ενώ τελευταία πολύ διαδεδοµένα είναι και τα προσωπικά ηµερολόγια (blogs). Ο ιστός µεγαλώνει καθηµερινά κατά περίπου ένα εκατοµµύριο σελίδες, οι οποίες προστίθενται στις εκατοντάδες εκατοµµύρια υπάρχουσες ηλεκτρονικές σελίδες. Λόγω αυτής της απότοµης και χαοτικής ανάπτυξής του, το δίκτυο δεδοµένων που έχει δηµιουργηθεί δεν έχει κάποια συγκεκριµένη οργάνωση και δοµή. Γι αυτόν τον λόγο, πολλοί χρήστες νιώθουν συχνά αποπροσανατολισµένοι µέσα σε αυτόν τον τεράστιο όγκο δεδοµένων που διαρκώς επεκτείνεται. Από την άλλη, η χρήση του ηλεκτρονικού εµπορίου αυξάνεται µε ραγδαίους ρυθµούς, δηµιουργώντας την ανάγκη για ηλεκτρονικές αγορές που ανταποκρίνονται στις ανάγκες των χρηστών. Γι αυτόν το λόγο, σκοπός των περισσότερων δικτυακών τόπων σήµερα είναι η πρόβλεψη των αναγκών των χρηστών/πελατών τους, έτσι ώστε να βελτιωθεί η χρησιµότητα τους, αλλά και να αυξηθεί η εµπιστοσύνη και ικανοποίηση των χρηστών από τις υπηρεσίες τους. Αυτή η διατριβή παρουσιάζει νέες µεθόδους και τεχνικές οι οποίες απευθύνονται στις παραπάνω απαιτήσεις. Τα κίνητρα της έρευνάς µας, αναπτύσσονται λεπτοµερώς στην

16 2 Ενότητα 1.1. Η συνεισφορά µας σκιαγραφείται στην Ενότητα 1.2, ενώ δίνουµε ένα σύντοµο πλάνο της διατριβής στην Ενότητα Κίνητρο Φανταστείτε µια δικτυακή πύλη (web portal) η οποία παρέχει πληροφορίες για διάφορα αθλήµατα και ένα χρήστη που πλοηγείται στις σελίδες της. Αναφερόµαστε σε αυτήν την (υποθετική) πύλη µε το όνοµα Sportal, και υποθέτουµε ότι βρίσκεται στο (µη υπαρκτό) δικτυακό τόπο Ο χρήστης αγαπά το χειµερινό σκι και θα ήθελε να επισκεφτεί ένα θέρετρο κοντά σε κάποιο χιονοδροµικό κέντρο για να περάσει τις διακοπές του. Γι αυτόν το λόγο ψάχνει στην πύλη προκειµένου να βρει πληροφορίες σχετικές µε τις διακοπές που προγραµµατίζει, όπως για παράδειγµα ξενοδοχεία κοντά σε χιονοδροµικά, δελτία καιρού/χιονιού ή εξοπλισµό για σκι. Επειδή το Sportal περιέχει πολλές πληροφορίες για όλα τα αθλήµατα, τα δεδοµένα που ψάχνει ο χρήστης δεν υπάγονται απαραίτητα στην ίδια θεµατική ενότητα της πύλης. Παρόλα αυτά, ένα σύστηµα εξατοµίκευσης µπορεί να του προτείνει κάποιες σελίδες, ανάλογα µε τη τρέχουσα πλοήγηση του σε συνδυασµό µε προηγούµενες επισκέψεις χρηστών οι οποίοι έψαχναν για παρόµοιες πληροφορίες (σχετικές µε χειµερινές διακοπές σκι). Ας θεωρήσουµε, για παράδειγµα, ότι πολλοί χρήστες στο παρελθόν είχαν δει κατά την διάρκεια της ίδιας επίσκεψης στην πύλη, τις σελίδες και Αν ο χρήστης επισκεφτεί τις δύο πρώτες, το σύστηµα µπορεί να προτείνει την τρίτη σελίδα, βασισµένο στην υπόθεση ότι οι άνθρωποι µε παρόµοια ενδιαφέροντα παρουσιάζουν την ίδια συµπεριφορά πλοήγησής. Επιπλέον, εφόσον ο χρήστης µας φαίνεται ότι ενδιαφέρεται για σελίδες που σχετίζονται µε τις θεµατικές ενότητες χειµώνας, σκι, και θέρετρα, το σύστηµα µπορεί να προτείνει και άλλες σελίδες σχετικές µε αυτές τις κατηγορίες, όπως για παράδειγµα µια σελίδα για ξενοδοχεία κατάλληλα για χειµερινές διακοπές ( ή µια σελίδα µε προσφορές σε εξοπλισµό για σκι ( Τέλος, πρέπει να λάβουµε υπ όψιν µας ότι κάποιες από τις σελίδες του Sportal είναι πιο σηµαντικές από

17 3 τις άλλες, ως προς την επισκεψιµότητά τους από άλλους χρήστες στο παρελθόν ή/και την θέση που κατέχουν στον γράφο του δικτυακού τόπου (web graph). Για παράδειγµα, η πύλη µπορεί να περιέχει µια σελίδα η οποία παρέχει πληροφορίες για τις καιρικές συνθήκες και την κατάσταση του χιονιού σε διάφορα χιονοδροµικά κέντρα ( Μπορούµε να πούµε ότι η σελίδα αυτή είναι σηµαντική, αν πολλοί χρήστες την έχουν επισκεφτεί στο παρελθόν, είτε ακολουθώντας υπερσυνδέσµους (links) από άλλες σελίδες του δικτυακού τόπου, είτε πηγαίνοντας κατευθείαν σε αυτήν, χρησιµοποιώντας, για παράδειγµα, ένα σελιδοδείκτη (bookmark). Επιπρόσθετα, αν το Sportal έχει εγγεγραµµένους χρήστες, και ως εκ τούτου µπορεί να συλλέγει συγκεκριµένες πληροφορίες για τα ενδιαφέροντα και τις προτιµήσεις του καθενός, τότε µπορεί να τις αξιοποιήσει προκειµένου να προτείνει σχετικές σελίδες σε κάθε χρήστη χωριστά. Συνεπώς, ως εξατοµίκευση δικτυακών τόπων (web personalization) (ή εξατοµίκευση του ιστού, ή απλά εξατοµίκευση) µπορούµε να ορίσουµε κάθε ενέργεια η οποία προσαρµόζει τα δεδοµένα ή τις υπηρεσίες που παρέχονται από έναν δικτυακό τόπο προς ένα χρήστη ή µια οµάδα χρηστών, βασισµένη στα δεδοµένα που αφορούν την συµπεριφορά πλοήγησης (navigational behavior) των χρηστών, όπως καταγράφεται στα αρχεία του δικτυακού τόπου (web logs), µε άλλα λόγια την χρήση (usage) του. Αυτή η πληροφορία συχνά συνδυάζεται και µε δεδοµένα που αφορούν το περιεχόµενο (content) και τη δοµή (structure) του δικτυακού τόπου, καθώς επίσης και τις προτιµήσεις και τα ενδιαφέροντα του χρήστη, εάν αυτά είναι διαθέσιµα. Η διαδικασία εξατοµίκευσης ενός δικτυακού τόπου παρουσιάζεται στην Εικόνα 1. Το σύστηµα προσαρµόζει το περιεχόµενο του δικτυακού τόπου στις ανάγκες του κάθε χρήστη, χρησιµοποιώντας µία, ή ένα συνδυασµό από τις παραπάνω πηγές δεδοµένων. Η διαδικασία εξατοµίκευσης µπορεί να έχει ως αποτέλεσµα την δυναµική παραγωγή προτάσεων (recommendations), την δηµιουργία ευρετηρίων (index pages), την ανάδειξη (highlighting) ήδη υπάρχουσων υπερσυνδέσµων, την δηµιουργία εστιασµένων (targeted) διαφηµίσεων ή s, κτλ. Σε αυτή τη διατριβή επικεντρώνουµε το ενδιαφέρον µας σε συστήµατα εξατοµίκευσης τα οποία έχουν ως σκοπό την δηµιουργία εξατοµικευµένων προτάσεων (personalized recommendations) προς τους επισκέπτες ενός δικτυακού τόπου. Επιπλέον, οι αλγόριθµοι

18 4 που προτείνουµε είναι γενικής χρήσης και µπορούν να εφαρµοσθούν σε οποιοδήποτε δικτυακό τόπο, και έτσι θεωρούµε ότι δεν έχουµε εκ των προτέρων ρητές πληροφορίες σχετικά µε τα προφίλ των χρηστών, όπως είναι οι βαθµολογίες (ratings) ή τα δηµογραφικά στοιχεία. Εικόνα 1. Η διαδικασία εξατοµίκευσης δικτυακών τόπων Υπάρχουν αρκετές εργασίες που ασχολούνται µε το πρόβληµα της παροχής προτάσεων στους χρήστες ενός δικτυακού τόπου. Οι περισσότερες ερευνητικές προσπάθειες στον τοµέα της εξατοµίκευσης δικτυακών τόπων είναι απόρροια εκτενούς έρευνας στον τοµέα της εξόρυξης γνώσης από δεδοµένα χρήσης (web usage mining). Γι αυτόν το λόγο τα περισσότερα προτεινόµενα συστήµατα λαµβάνουν υπ όψιν τους µόνο την συµπεριφορά πλοήγησης των (εγγεγραµµένων ή µη) επισκεπτών του δικτυακού τόπου προκειµένου να παράγουν προτάσεις [ADW02, AP+04, BS04, HEK03, JF+97, KS04, MD+00a, MPG03, MPT99, NM02, NP03, NP04, SK+00, SK+01]. Ωστόσο, η εξατοµίκευση που βασίζεται αποκλειστικά στα δεδοµένα χρήσης, παρουσιάζει κάποιες ελλείψεις, όταν για παράδειγµα δεν υπάρχουν αρκετά δεδοµένα για να εξαχθούν πρότυπα πλοήγησης σχετικά µε ορισµένες ενέργειες, ή όταν το περιεχόµενο του δικτυακού τόπου ανανεώνεται ή αλλάζει, και έτσι οι νέες σελίδες δεν περιλαµβάνονται στα αρχεία επισκέψεων του (web logs), και ως εκ τούτου στις παραγόµενες προτάσεις. Επιπρόσθετα,

19 5 λαµβάνοντας υπ όψιν µας τα χρονικά (temporal) χαρακτηριστικά (ως προς την συµπεριφορά πλοήγησης) του Παγκοσµίου Ιστού, καταλαβαίνουµε ότι αυτά τα συστήµατα είναι πολύ ευάλωτα στα δεδοµένα εκπαίδευσης (training data) που χρησιµοποιούνται για να κατασκευάσουν το µοντέλο πρόβλεψης. Ως εκ τούτου, υπάρχει ένας µεγάλος αριθµός ερευνητικών εργασιών οι οποίες προτείνουν αρχιτεκτονικές που ενσωµατώνουν και άλλες πηγές δεδοµένων στην διαδικασία εξατοµίκευσης, όπως το περιεχόµενο [AG03, DM02, EGP02, GKG05, JZM04b, JZM05, MD+00b, ML+04, MSR04, OB+03, PE00] ή τη δοµή [BL06, HLC05, NM03, ZHH02b] του δικτυακού τόπου, ώστε να την βελτιώσουν. Όπως έχουµε ήδη υπονοήσει, η πλοήγηση των χρηστών είναι σε µεγάλο βαθµό εξαρτώµενη από την σηµασιολογία του περιεχοµένου. Με άλλα λόγια, κατά την επίσκεψή του, ο χρήστης συνήθως προσπαθεί να βρει πληροφορίες σχετικές µε ένα συγκεκριµένο αντικείµενο. Γι αυτόν το λόγο πιστεύουµε ότι η υποκείµενη σηµασιολογία (semantics) του περιεχοµένου πρέπει να παίζει καίριο ρόλο στην διαδικασία εξατοµίκευσης. Η διαδικασία χαρακτηρισµού του περιεχοµένου ενός δικτυακού τόπου περιλαµβάνει την εξαγωγή χαρακτηριστικών (features) από τις σελίδες του. Συνήθως αυτά τα χαρακτηριστικά είναι λέξεις-κλειδιά (keywords) τα οποία στην συνέχεια χρησιµοποιούνται για την ανάκτηση παρόµοια χαρακτηρισµένου περιεχοµένου. Στο παρελθόν έχουν προταθεί αρκετές µέθοδοι για την εξαγωγή λέξεων-κλειδιών που χαρακτηρίζουν τις δικτυακές σελίδες [BP98, CD+99, HG+02]. Η οµοιότητα µεταξύ των σελίδων βασίζεται συνήθως στο ακριβές ταίριασµα (exact/binary matching) αυτών των όρων. Όµως, µε αυτόν τον τρόπο, ταιριάζονται µεταξύ τους µόνο τα κείµενα που έχουν ακριβώς τα ίδια χαρακτηριστικά/λέξεις-κλειδιά, ενώ δεν λαµβάνεται καθόλου υπ όψιν η σηµασιολογική οµοιότητα µεταξύ τους. Η ανάγκη για ένα πιο αφηρηµένο τρόπο αναπαράστασης ο οποίος θα επιτρέπει µια οµοιόµορφη αλλά και πιο ευέλικτη διαδικασία αντιστοίχησης σελίδων, επέβαλε την χρήση δοµών του Σηµασιολογικού Ιστού (Semantic Web), όπως οι οντολογίες 1 [BHS02, HN+03]. Αντιστοιχώντας τις λέξεις-κλειδιά στους 1 Σε αυτή την εργασία επικεντρώνουµε το ενδιαφέρον µας στο ιεραρχικό κοµµάτι µιας οντολογίας. Γι αυτόν τον λόγο, από εδώ και στο εξής θα χρησιµοποιούµε εναλλακτικά τους όρους ιεραρχία εννοιών (concept hierarchy), ταξονοµία (taxonomy) και οντολογία.

20 6 όρους µιας οντολογίας (ή ιεραρχίας εννοιών) ξεπερνάµε το πρόβληµα του ακριβούς ταιριάσµατος. Αυτό επιτυγχάνεται µε την χρήση ιεραρχικών συσχετίσεων ή/και σηµασιολογικών οµοιοτήτων (semantic similarities) µεταξύ των όρων της οντολογίας, και ως εκ τούτου, και των υπερκειµένων τα οποία χαρακτηρίζουν. Τέλος, θα πρέπει να λάβουµε υπ όψιν µας ότι ο Παγκόσµιος Ιστός δεν είναι απλά µια συλλογή υπερκειµένων τα οποία διαβάζουν οι χρήστες. Ο ιστός είναι ουσιαστικά ένας κατευθυνόµενος γράφος που περιέχει µια πληθώρα υπερσυνδέσµων οι οποίοι συνδέουν τις σελίδες του. Τόσο η δοµή του γράφου του ιστού, όσο και η υποκείµενη σηµασιολογία των σελίδων και των υπερσυνδέσµων, είναι σηµαντικοί και καθοριστικοί παράγοντες κατά την διαδικασία πλοήγησης των χρηστών. Παρακάτω συζητάµε περιληπτικά τις πιο σηµαντικές ερευνητικές προσπάθειες 2 που βασίζονται στις προαναφερθείσες παρατηρήσεις, ενώ στο Κεφάλαιο 2 δίνουµε µια πιο λεπτοµερή ανασκόπηση της σχετικής βιβλιογραφίας. Υπάρχουν αρκετές ερευνητικές εργασίες που έχουν προτείνει την αναπαράσταση της συµπεριφοράς πλοήγησης των χρηστών µε χρήση όρων οντολογίας ενσωµατώνοντας αυτά τα δεδοµένα σε δικτυακούς τόπους του Σηµασιολογικού Ιστού (Semantic Web sites) [OB+03], συστήµατα παραγωγής προτάσεων βασισµένα σε Μαρκοβιανά µοντέλα [AG03], ή συστήµατα συνεργατικού φιλτραρίσµατος (collaborative filtering systems) [DM02]. Όλες οι παραπάνω προσεγγίσεις βασίζονται στην ίδια ιδέα, της ενίσχυσης της διαδικασίας εξατοµίκευσης µε σηµασιολογικά χαρακτηριστικά του υπερκειµένου, εκφρασµένα µε τη βοήθεια όρων µιας οντολογίας. Τα χαρακτηριστικά του περιεχοµένου του δικτυακού τόπου αντιστοιχίζονται σε όρους που ανήκουν σε µια οντολογία και αυτή η αφαίρεση επιτρέπει τις γενικεύσεις/εξειδικεύσεις των εξαγόµενων προτύπων ή/και των προφίλ των χρηστών. Εντούτοις, σε όλα τα προτεινόµενα µοντέλα, η διαδικασία αντιστοίχησης σε όρους οντολογίας γίνεται είτε χειρωνακτικά είτε ηµι-αυτόµατα (απαιτώντας το χειρωνακτικό ονοµατισµό (labeling) των δεδοµένων εκπαίδευσης). Επιπλέον, σε ό,τι αφορά στη διαδικασία χαρακτηρισµού του περιεχοµένου, τα χαρακτηριστικά εξάγονται µόνο από την ίδια την σελίδα, αγνοώντας σηµασιολογικά 2 Σε αυτό το σηµείο, επικεντρωνόµαστε µόνο στις ερευνητικές προσπάθειες που εµφανίστηκαν πριν, ή παράλληλα µε τη δική µας δουλειά.

21 7 χαρακτηριστικά τα οποία προκύπτουν από το δίκτυο υπερσυνδέσµων του ιστού [BP98, CD+98]. Κάποιες προσεγγίσεις βασίζονται είτε στα συνεργατικά συστήµατα φιλτραρίσµατος, τα οποία θεωρούν ότι υπάρχουν διαθέσιµες βαθµολογίες από τους χρήστες (user ratings), είτε σε δικτυακούς τόπους του Σηµασιολογικού Ιστού, θεωρώντας ότι το περιεχόµενο είναι εκ των προτέρων χαρακτηρισµένο σηµασιολογικά. Τέλος, καµία από τις παραπάνω προσεγγίσεις δεν εκµεταλλεύεται πλήρως τις υποκείµενες σηµασιολογικές οµοιότητες των όρων που ανήκουν στην οντολογία, παρά µόνο τις προφανείς ιεραρχικές σχέσεις is-a ή parent-child. Τα χαρακτηριστικά συνδεσιµότητας του γράφου του ιστού έχουν χρησιµοποιηθεί εκτενώς για την εξατοµίκευση των αποτελεσµάτων αναζήτησης στον ιστό (web search) [ANM04, H02, RD02, WC+02]. Παρόλα αυτά, υπάρχουν ελάχιστες προσεγγίσεις που τα αξιοποιούν προκειµένου να ενισχύσουν τη διαδικασία εξατοµίκευσης ενός δικτυακού τόπου, είτε κάνοντας χρήση του βαθµού συνδεσιµότητας ως δείκτη για την εναλλαγή µεταξύ διάφορων µοντέλων παραγωγής προτάσεων [NM03], ή χρησιµοποιώντας ανάλυση δικτύων αναφορών (citation network analysis) για την συσταδοποίηση (clustering) σχετιζόµενων σελίδων σε ένα σύστηµα παραγωγής προτάσεων βασισµένο στα Μαρκοβιανά µοντέλα [ZHH02b]. Όµως, κανένα από τα παραπάνω συστήµατα δεν αξιοποιεί την έννοια της σηµαντικότητας µιας σελίδας στον γράφο του ιστού, ενσωµατώνοντας τεχνικές ανάλυσης υπερσυνδέσµων (link analysis techniques) στην διαδικασία εξατοµίκευσης του δικτυακού τόπου. 1.2 Συµβολή Η κύρια συµβολή αυτής της διατριβής είναι ένα σύνολο από πρωτοποριακές τεχνικές και αλγορίθµους οι οποίοι έχουν ως σκοπό την βελτίωση της συνολικής αποτελεσµατικότητας της διαδικασίας εξατοµίκευσης ενός δικτυακού τόπου. Για να το πετύχουµε, προτείνουµε τον συνδυασµό των προτύπων πλοήγησης του δικτυακού τόπου µε το περιεχόµενο και τη δοµή του. Στο πρώτο µέρος της διατριβής παρουσιάζουµε ένα σηµασιολογικό σύστηµα εξατοµίκευσης (semantic web personalization system), το οποίο ονοµάζεται SEWeP και ενσωµατώνει τα δεδοµένα χρήσης µε σηµασιολογικά χαρακτηριστικά του περιεχοµένου ώστε να δηµιουργήσει πρότυπα πλοήγησης τα οποία

22 8 να είναι ενισχυµένα µε σηµασιολογία και να παράγει χρήσιµες προτάσεις. Όµοια µε προηγούµενες ερευνητικές προσεγγίσεις, το πλαίσιο εξατοµίκευσης που προτείνουµε χρησιµοποιεί τους όρους µιας οντολογίας για να χαρακτηρίσει το περιεχόµενο του δικτυακού τόπου και την πλοήγηση των επισκεπτών. Αυτό στο οποίο διαφέρει η εργασία µας από τις προηγούµενες είναι ότι το SEWeP είναι το µόνο πλαίσιο εξατοµίκευσης δικτυακών τόπων το οποίο χρησιµοποιεί πλήρως αυτοµατοποιηµένες τεχνικές αντιστοίχησης των λέξεων-κλειδιών µε όρους της οντολογίας, ενώ ταυτόχρονα εκµεταλλεύεται και τις σηµασιολογικές οµοιότητες µεταξύ αυτών των όρων. Εκτός από τους πρωτότυπους αλγόριθµους παραγωγής προτάσεων που προτείνονται σε αυτό το πλαίσιο, δίνουµε βάρος και σε µια υβριδική µέθοδο, που βασίζεται στη δοµή του υπερκειµένου για να χαρακτηρίσει το περιεχόµενο του δικτυακού τόπου. Απ ότι γνωρίζουµε, το SEWeP είναι το µόνο σηµασιολογικό σύστηµα εξατοµίκευσης το οποίο µπορεί να εφαρµοστεί σε οποιονδήποτε δικτυακό τόπο, χρησιµοποιώντας µόνο τα αρχεία επισκέψεών του (web usage logs) και µία σχετική οντολογία (domain-specific ontology). Οι βασικές συνεισφορές µας σε αυτό το πλαίσιο είναι: Μια µεθοδολογία για τον σηµασιολογικό χαρακτηρισµό του περιεχοµένου του δικτυακού τόπου µε την χρήση όρων οντολογίας. Η εξαγωγή χαρακτηριστικών γίνεται µε τον συνδυασµό διάφορων τεχνικών εξόρυξης πληροφορίας (Information Retrieval) οι οποίες αξιοποιούν τόσο το περιεχόµενο, όσο και τα συνδετικά/δοµικά χαρακτηριστικά των υπερκειµένων. Η αντιστοίχηση αυτών των χαρακτηριστικών σε όρους οντολογίας είναι µια πλήρως αυτοµατοποιηµένη διαδικασία που γίνεται µε την χρήση κατάλληλων µέτρων οµοιότητας και ενός θησαυρού. Αυτή η µέθοδος απόδοσης χαρακτηριστικών στο περιεχόµενο επιτρέπει τη περαιτέρω επεξεργασία των δεδοµένων (συσταδοποίηση, εξόρυξη κανόνων συσχέτισης, κτλ) βάσει των σηµασιολογικών οµοιοτήτων µεταξύ των υπερκειµένων. Ένας αλγόριθµος για την επεξεργασία πολύγλωσσου υπερκειµένου. Όλα τα υπερκείµενα, ανεξάρτητα µε την γλώσσα στην οποία είναι γραµµένα, πρέπει να χαρακτηριστούν από ένα σύνολο όρων που ανήκει σε µια οντολογία. Έτσι, πριν την διαδικασία αντιστοίχησης πρέπει να παρεµβληθεί ένα ενδιάµεσο βήµα, κατά

23 9 το οποίο όλες οι λέξεις-κλειδιά του υπερκειµένου θα µεταφρασθούν σε µια κοινή γλώσσα. Σε αυτή τη διατριβή προτείνουµε έναν αυτοµατοποιηµένο αλγόριθµο µετάφρασης των λέξεων-κλειδιών ενός υπερκειµένου, που βασίζεται στο θεµατικό περιεχόµενο (context) του. ύο αλγόριθµοι παραγωγής προτάσεων οι οποίοι ενσωµατώνουν τα σηµασιολογικά χαρακτηριστικά του περιεχοµένου µε την συµπεριφορά πλοήγησης των χρηστών του δικτυακού τόπου. Οι σελίδες του δικτυακού τόπου χαρακτηρίζονται από ένα σύνολο όρων που ανήκουν σε µια, σχετική µε το περιεχόµενο του, οντολογία. Αυτός ο οµοιόµορφος τρόπος χαρακτηρισµού επιτρέπει την κατηγοριοποίηση των σελίδων σε σηµασιολογικά συναφείς συστάδες (clusters), αλλά και την ενίσχυση των αρχείων επισκέψεων του δικτυακού τόπου µε σηµασιολογικά χαρακτηριστικά. Αυτές οι δύο εµπλουτισµένες πηγές δεδοµένων χρησιµοποιούνται στην συνέχεια από τις προτεινόµενες µεθόδους ώστε να παραχθούν προτάσεις προς τον τελικό χρήστη, οι οποίες είναι σηµασιολογικά σχετικές µε την τρέχουσα συµπεριφορά πλοήγησής του. Η πρώτη µέθοδος παράγει προτάσεις επεκτείνοντας τις αρχικές προτάσεις χρησιµοποιώντας την πιο κοντινή (σηµασιολογικά) συστάδα υπερκειµένων. Η δεύτερη µέθοδος παράγει ένα νέο είδος προτάσεων, βασισµένων σε κατηγορίες (category-based recommendations). Χρησιµοποιώντας τα σηµασιολογικά εµπλουτισµένα αρχεία επισκέψεων (τα οποία ονοµάζουµε C- logs) δηµιουργούµε κανόνες συσχέτισης κατηγοριών και στη συνέχεια επεκτείνουµε το σύνολο προτάσεων βάσει της πιο κοντινής σηµασιολογικά συστάδας υπερκειµένων. Ένα εκτεταµένο σύνολο πειραµάτων µε πραγµατικούς χρήστες (blind tests) τα οποία αποδεικνύουν την αποδοτικότητα των προτεινόµενων µεθόδων και υποστηρίζουν την αρχική µας διαίσθηση, ότι τα σηµασιολογικά χαρακτηριστικά του περιεχοµένου ενισχύουν την διαδικασία εξατοµίκευσης. Στο δεύτερο µέρος της διατριβής, περιλαµβάνουµε στη διαδικασία εξατοµίκευσης την έννοια της µεταφοράς αυθεντίας (authority transfer), όπως αυτή ορίζεται στο δηµοφιλές αλγόριθµο ανάλυσης υπερσυνδέσµων (link analysis), PageRank [BP98].