Δ Ι Π Λ Ω Μ ΑΤ Ι Κ Η Ε Ρ ΓΑ Σ Ι Α

Transcript

1 Α Ρ Ι Σ Τ Ο Τ Ε Λ Ε Ι Ο Π Α Ν Ε Π Ι Σ Τ Η Μ Ι Ο Θ Ε Σ Σ Α Λ Ο Ν Ι Κ Η Σ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ Δ Ι Π Λ Ω Μ ΑΤ Ι Κ Η Ε Ρ ΓΑ Σ Ι Α «ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ» Beyond accuracy: developing and evaluating recommenders based on diversity and coverage metrics «ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ΑΕΜ:475» ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: ΒΑΚΑΛΗ ΑΘΗΝΑ, ΑΝΑΠΛΗΡΩΤΡΙΑ ΚΑΘΗΓΗΤΡΙΑ ΘΕΣΣΑΛΟΝΙΚΗ 2014

2 ΤΡΙΜΕΛΗ ΕΞΕΤΑΣΤΙΚΗ ΕΠΙΤΡΟΠΗ Βακάλη Αθηνά, Αναπληρώτρια Καθηγήτρια Αγγελής Ελευθέριος, Αναπληρωτής Καθηγητής Τσουμάκας Γρηγόριος, Επίκουρος Καθηγητής

3 Π Ε Ρ Ι Λ Η Ψ Η Η ταχεία ανάπτυξη του Διαδικτύου έχει οδηγήσει στην δημιουργία τεράστιου όγκου πληροφοριών που είναι διαθέσιμες για τους χρήστες του. Το φαινόμενο αυτό δημιουργεί σύγχυση στους χρήστες, λόγω της αδυναμίας τους να φιλτράρουν, να αναζητήσουν και να εντοπίσουν την πληροφορία που τους ενδιαφέρει. Το πρόβλημα αυτό καλούνται να αντιμετωπίσουν τα Συστήματα Συστάσεων. Τα συστήματα αυτά χρησιμοποιούν τις πληροφορίες χρηστών που τους είναι διαθέσιμες, όπως τα ενδιαφέροντα τους και τα αντικείμενα που έχουν δηλώσει ότι τους αρέσουν για να προτείνουν άλλα αντικείμενα που προβλέπουν ότι θα ενδιέφεραν τους χρήστες. Η σπουδαιότητα των συστημάτων αυτών είναι μεγάλη, όχι μόνο γιατί αυξάνουν την ικανοποίηση των χρηστών αλλά και επειδή επιτρέπουν σε επιχειρήσεις να προωθήσουν τα προϊόντα τους καλύτερα, μέσα από εξατομικευμένες διαφημίσεις. Για τους παραπάνω λόγους, η έρευνα των Συστημάτων Συστάσεων είναι έντονη και έχει οδηγήσει σε τρείς βασικές κατηγορίες συστημάτων [1]: Συστήματα συστάσεων με βάση το περιεχόμενο (Content-based recommendation systems), όπου στον χρήστη προτείνονται αντικείμενα παρόμοια με αυτά που έχει ήδη δείξει προτίμηση. Συνεργατικά συστήματα συστάσεων (collaborative recommendation systems), όπου στον χρήστη προτείνονται αντικείμενα που βαθμολόγησαν θετικά, άτομα με παρόμοια με εκείνον ενδιαφέροντα. Υβριδικά συστήματα συστάσεων (hybrid recommendation systems), που συνδυάζουν τις συστάσεις με βάση το περιεχόμενο και τις συνεργατικές συστάσεις. Δυστυχώς όμως, η έρευνα επικεντρώνεται στην αύξηση της ακρίβειας αυτών των συστημάτων, δηλαδή στην βελτίωση της ικανότητας τους να προβλέψουν πως θα αξιολογούσε ο χρήστης τα διαθέσιμά αντικείμενα, με αποτέλεσμα άλλοι σημαντικοί παράγοντες των συστημάτων να μην λαμβάνουν την πρέπουσα προσοχή. Ένας από αυτούς τους παράγοντες, που θα μελετήσουμε σε αυτήν την εργασία, είναι η ποικιλότητα των συστάσεων, δηλαδή πόσο ανόμοια είναι μεταξύ τους τα αντικείμενα που προτείνονται σε έναν χρήστη. Όταν οι συστάσεις είναι ποίκιλες ο χρήστης είναι πιο πιθανόν να εντοπίσει κάποιο προϊόν που τον ενδιαφέρει και έτσι να αυξήσει την ικανοποίηση του από το σύστημα. Στην εργασία λοιπόν αυτή αρχικά θα μελετήσουμε τις μετρικές ποικιλότητας που εμφανίζονται στην βιβλιογραφία των Συστημάτων Συστάσεων και θα προτείνουμε επιπλέον μετρικές ποικιλότητας που χρησιμοποιούνται σε άλλες Επιστήμες. Ειδικότερα προτείνουμε την υιοθέτηση των μετρικών Coefficient of Unalikeability, Simpson s index of Diversity και μια τροποποιημένη εκδοχή του δείκτη Pielou s J, που την ονομάζουμε. Επιπλέον προτείνουμε την χρήση μετρικών ομοιοκατανομής (Pielou s J και IQV) και την μετρική richness που όταν χρησιμοποιηθούν συνδυαστικά μπορούν να περιγράψουν της ποικιλότητα των συστάσεων. Στην εργασία μας περιγράφουμε πως αυτές οι μετρικές μπορούν να υιοθετηθούν από τα Συστήματα Συστάσεων με την χρήση των χαρακτηριστικών των αντικειμένων. Πολλές φορές, όμως, τα χαρακτηριστικά των αντικειμένων δεν είναι διαθέσιμα και για αυτό τον λόγο προτείνουμε επιπλέον και μια ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ III

4 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ μετρική ποικιλότητας που βασίζεται στις αξιολογήσεις χρηστών για τον υπολογισμό της (την ονομάζουμε Pearson Diversity). Στην συνέχεια της εργασίας μελετάμε μεθοδολογίες που μπορούν να βελτιώσουν την ποικιλότητα των συστάσεων. Ειδικότερα, επικεντρωνόμαστε στην βελτιστοποίηση της ποικιλότητας των συνεργατικών συστημάτων. Τα συνεργατικά συστήματα, για να παράγουν συστάσεις για έναν χρήστη u, επιλέγουν μια ομάδα χρηστών που είναι όμοιοι με τον u (γείτονες) και προτείνουν αντικείμενα που οι γείτονες αυτοί έχουν αξιολογήσει θετικά. Στην εργασία μας, προτείνουμε επιπλέον χαρακτηριστικά που πρέπει να διαθέτουν οι χρήστες ώστε να επιλεγούν ως γείτονες, εκτός από την ομοιότητα τους με τον χρήστη u. Ονομάζουμε αυτά τα χαρακτηριστικά explorer και open-minded. Για να χαρακτηριστεί ένας χρήστης ως explorer πρέπει να έχει αξιολογήσει αντικείμενα που είναι σπάνια (δηλαδή αντικείμενα που δεν έχουν αξιολογηθεί από πολλούς χρήστες). Οι χρήστες που έχουν εκφράσει το ενδιαφέρον τους για αντικείμενα που είναι ανόμοια μεταξύ τους, χαρακτηρίζονται ως openminded. Για να αποδείξουμε ότι η χρήση των γειτόνων που παρουσιάζουν αυτά τα χαρακτηριστικά μπορεί να βελτιώσει την ποικιλότητα των συστάσεων, πειραματιζόμαστε με δυο διαφορετικά σύνολα αξιολογήσεων ( και MovieLens). Στους πειραματισμούς μας συγκρίνουμε τεσσάρων ειδών συνεργατικά συστήματα. Ένα σύστημα το οποίο επιλέγει τους γείτονες με αποκλειστικό κριτήριο την ομοιότητα τους με τον χρήστη u και τρία συστήματα τα οποία, επιπρόσθετα με το κριτήριο ομοιότητας, χρησιμοποιούν τα κριτήρια open-minded και explorer με τρεις διαφορετικές βαθμίδες αυστηρότητας. Στους πειραματισμούς μας χρησιμοποιούμε ένα μεγάλο εύρος από μετρικές ποικιλότητας και δείχνουμε ότι η χρήση των χαρακτηριστικών open-minded και explorer βελτιώνει την ποικιλότητα των συστάσεων, ειδικότερα όταν το σύνολο αξιολογήσεων είναι πολύ αραιό. Επιπλέον, παρατηρούμε στους πειραματισμούς μας ότι η ποικιλότητα των παραγόμενων συστάσεων εξαρτάται σε σημαντικό βαθμό από την κάλυψη (coverage) που επιτυγχάνει το σύστημα. IV ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

5 A B S T R A C T The rapid growth of Internet has lead to gigantic amount of information being available for its users. This phenomenon creates confusion to the users due to their inability to filter, search and find what they are interested in, in such a huge amount of data. One approach to this problem was the introduction of the search engines, where the user should explicitly state what they are looking for. As the Internet was further matured, the Web 2.0 was introduced which let the users interact and provide input to the web sites that they visited. The result of this progress was that user information were able to be collected. This user information lead to the second approach of the foretold problem, which was the introduction of the Recommendation Systems. These systems analyze the user information and their interaction with the web sites and provide automatically recommendations to the users for products, information and services that the users may be interested. In that way, the user can find what they are looking for without explicitly searching for it and their satisfaction is maximized. Maximizing user satisfaction is not the only benefit from implementing a recommendation system. E-commerce web sites, such as Amazon [2], use recommendation systems to help users discover what they like to purchase and thus increase their sales profits. Another use of these systems is in online advertisement, where targeted and personalized advertisements can attract better the interest of the potential clients. All the above, justify the great research effort that is put to the recommendation systems field from the first introduction of collaborative filtering [3] [4] [5]. This research lead to three main approaches-categories of recommendation systems [1]: Content-based recommendation systems, which recommend items that are similar to those that the user has express interest. Collaborative recommendation systems, which recommend items that are positively rated by users who share the same interests with the subjected user. Hybrid recommendation systems, which combine the methodologies from the above categories. At the beginning, the problem of providing recommendations was approached as a prediction problem, namely as a problem of accurately predict which item the user is interested in. While accurate recommendations are an important factor in maximizing user experience, recommendations should also assist the user in their decision making [6] [7]. In order to achieve that, the recommendation should also be diverse [8] [9] [10], namely the items recommended to the user must be dissimilar with one another. There are different metrics that calculate that diversity, such as ILS, EILD, Mean Item Rarity and Aggregate diversity. The research on these metrics has not reach an extend where there is a consensus to which of those metrics should be used from the sum of the academic community. Based on this open issue, we suggest in this work the adoption of diversity metrics from other fields of Science where the research of diversity metrics is very comprehensive. In this paper we will report which of those metrics can be exploited by the field of recommender systems, in particular we propose the use of Coefficient of Unalikeability, Simpson s index of Diversity and a ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ V

6 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ modified version of Pielou s J that we call. Furthermore we propose the use of evenness metrics (such as Pielou J and IQV) and a richness metric which in combination can outline the diversity of a recommendation. In our paper we describe how these metrics can be implemented with the use of the items attributes. But item s attributes are not always available in a recommendation system, so we also propose a novel metric (we call it Pearson Diversity) which uses the users ratings to calculate the diversity of a recommendation. Subsequently, we research methodologies that can improve the diversity of recommendations. Especially, we strive to increase the diversity of the collaborative systems. The collaborative systems, in order to provide recommendations to a user u, selects a set of users that are similar to u (neighbors) and recommend the items that those users rated high. In our work, we introduce further characteristics that a user must feature in order to be selected as a neighbor, other than their similarity to user u. We call these characteristics explorer and open-minded. In order for a user to be characterized as explorer, they must have rated rare items (meaning items that are seldomly rated by other users). The users that are interested in a diverse set of items, on the other hand, are characterized as open-minded. In order to prove that the selection of neighbors that feature those characteristics is going to lead to diverse recommendations, we experiment with two different datasets (in particular, with and MovieLens datasets). We compare 4 types of collaborative systems. A system that selects the neighbors solely based on their similarity with the user u and three systems that, in addition to the similarity measure, select the neighbors using a weak, medium or strong explorer (or open-minded) filter. In our experimentations we use a variety of diversity measures and the results show that the use of the neighbors characteristics is able to increased the diversity of the recommendations, mainly if the dataset is sparse. Furthermore in our experiment becomes apparent that the diversity of the recommendations greatly depends on the coverage that the system can achieve. VI ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

7 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Ε Υ Χ Α Ρ Ι Σ Τ Ι Ε Σ Πριν την παρουσίαση των αποτελεσμάτων της παρούσας εργασίας, αισθάνομαι την υποχρέωση να ευχαριστήσω τους γονείς μου για την συνεχή υποστήριξη τους στην διάρκεια των σπουδών μου και την κ.βακάλη Αθηνά και κ. Ζιγκόλη Χρήστο για την καθοδήγηση που με προσέφεραν στην πορεία αυτής της εργασίας. <28/02/2014> Χατζηχαραλάμπους Ευάγγελος ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ VII

8 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Π Ε Ρ Ι Ε Χ Ο Μ Ε Ν Α ΠΕΡΙΛΗΨΗ... III ABSTRACT... V ΕΥΧΑΡΙΣΤΙΕΣ... VII ΠΕΡΙΕΧΟΜΕΝΑ... VIII ΛΙΣΤΑ ΣΧΗΜΑΤΩΝ... IX ΛΙΣΤΑ ΠΙΝΑΚΩΝ... X ΚΕΦΑΛΑΙΟ 1: ΕΙΣΑΓΩΓΗ ΚΕΦΑΛΑΙΟ 2: ΣΥΣΤΗΜΑΤΑ ΣΥΣΤΑΣΕΩΝ ΚΕΦΑΛΑΙΟ 3: ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ ΚΕΦΑΛΑΙΟ 4: ΣΥΣΤΗΜΑΤΑ ΣΥΣΤΑΣΕΩΝ ΜΕ ΣΤΟΧΟ ΤΗΝ ΑΥΞΗΣΗ ΤΗΣ ΠΟΙΚΙΛΟΤΗΤΑΣ ΚΕΦΑΛΑΙΟ 5: ΠΕΙΡΑΜΑΤΙΣΜΟΙ ΚΕΦΑΛΑΙΟ 6: ΣΥΜΠΕΡΑΣΜΑΤΑ ΠΑΡΑΡΤΗΜΑ I: ΑΝΑΦΟΡΕΣ ΠΑΡΑΡΤΗΜΑ II: ΣΥΜΒΟΛΙΣΜΟΙ ΕΝΝΟΙΩΝ ΠΑΡΑΡΤΗΜΑ III: ΓΛΩΣΣΑΡΙΟ ΠΑΡΑΡΤΗΜΑ IV: ΔΕΔΟΜΕΝΑ ΠΕΙΡΑΜΑΤΙΣΜΩΝ VIII ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

9 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Λ Ι Σ Τ Α Σ Χ Η Μ ΑΤ Ω Ν ΕΙΚΟΝΑ 1: ΣΧΕΔΙΑΓΡΑΜΜΑ ΚΛΑΣΙΚΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΣΥΣΤΑΣΕΩΝ ΕΙΚΟΝΑ 2: ΨΕΥΔΟΚΩΔΙΚΑΣ ΤΗΣ ΠΑΡΑΓΩΓΗΣ ΣΥΣΤΑΣΕΩΝ ΓΙΑ ΕΝΑΝ ΧΡΗΣΤΗ U ΤΟΥ ΚΛΑΣΙΚΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΕΙΚΟΝΑ 3: ΣΧΕΔΙΑΓΡΑΜΜΑ ΤΡΟΠΟΠΟΙΗΜΕΝΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΣΥΣΤΑΣΕΩΝ ΕΙΚΟΝΑ 4: ΨΕΥΔΟΚΩΔΙΚΑΣ ΤΗΣ ΠΑΡΑΓΩΓΗΣ ΣΥΣΤΑΣΕΩΝ ΓΙΑ ΕΝΑΝ ΧΡΗΣΤΗ U ΤΟΥ ΤΡΟΠΟΠΟΙΗΜΕΝΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ ΕΙΚΟΝΑ 5: ΚΑΤΑΝΟΜΗ ΤΩΝ ΑΞΙΟΛΟΓΗΣΕΩΝ ΣΤΑ ΑΝΤΙΚΕΙΜΕΝΑ ΕΙΚΟΝΑ 6: ΨΕΥΔΟΚΩΔΙΚΑΣ ΤΗΣ ΜΕΘΟΔΟΛΟΓΙΑΣ ΑΞΙΟΛΟΓΗΣΗΣ (ΚΛΑΣΙΚΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ) ΕΙΚΟΝΑ 7: ΨΕΥΔΟΚΩΔΙΚΑΣ ΤΗΣ ΜΕΘΟΔΟΛΟΓΙΑΣ ΑΞΙΟΛΟΓΗΣΗΣ (ΤΡΟΠΟΠΟΙΗΜΕΝΟΥ ΣΥΝΕΡΓΑΤΙΚΟΥ ΣΥΣΤΗΜΑΤΟΣ) ΕΙΚΟΝΑ 8: ΜΕΘΟΔΟΙ ΕΠΙΛΟΓΗΣ ΓΕΙΤΟΝΩΝ ΕΙΚΟΝΑ 9: ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΟΙΚΙΛΟΤΗΤΑΣ ΕΙΚΟΝΑ 10: ΣΥΣΧΕΤΙΣΜΟΙ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΟΤΗΤΑΣ ΕΙΚΟΝΑ 11: ΑΠΟΤΕΛΕΣΜΑΤΑ ΟΜΟΙΟΜΟΡΦΙΑΣ ΚΑΙ RICHNESS ΕΙΚΟΝΑ 12: ΚΑΤΑΝΟΜΗ PEARSON ΟΜΟΙΟΤΗΤΑΣ ΓΕΙΤΟΝΩΝ ΕΙΚΟΝΑ 13: (A): ΑΚΡΙΒΕΙΑ (ROOT MEAN SQUARE ERROR), (B): ΜΕΣΟ ΠΟΣΟΣΤΟ ΤΩΝ ΣΥΝΟΛΙΚΩΝ ΑΝΤΙΚΕΙΜΕΝΩΝ (I) ΠΟΥ ΕΧΟΥΝ ΑΞΙΟΛΟΓΗΣΕΙ ΟΙ ΓΕΙΤΟΝΕΣ ΕΝΟΣ ΧΡΗΣΤΗ U ΕΙΚΟΝΑ 14: (A): ΠΟΣΟΣΤΟ ΤΩΝ ΑΞΙΟΛΟΓΗΣΕΩΝ ΤΟΥ ΣΥΝΟΛΟΥ ΕΛΕΓΧΟΥ ΠΟΥ ΜΠΟΡΕΙ ΤΟ ΣΥΣΤΗΜΑ ΝΑ ΠΡΟΒΛΕΨΕΙ, (B): ΚΑΛΥΨΗ ΛΙΣΤΑΣ (CATALOGUE COVERAGE) ΕΙΚΟΝΑ 15: ΚΑΛΥΨΗ ΠΡΟΒΛΕΨΕΩΝ (PREDICTION COVERAGE) ΕΙΚΟΝΑ 16: ΔΙΑΓΡΑΜΜΑ VENN OPEN-MINDED ΚΑΙ EXPLORER ΧΡΗΣΤΩΝ ΕΙΚΟΝΑ 17: ΣΥΣΧΕΤΙΣΗ ΜΕΤΑΞΥ ΤΗΣ PEARSON DIVERSITY ΤΩΝ TOP 10 ΑΝΤΙΚΕΙΜΕΝΩΝ ΠΟΥ ΠΡΟΤΕΙΝΕΙ ΤΟ ΣΥΣΤΗΜΑ ΣΕ ΕΝΑΝ ΧΡΗΣΤΗ ΚΑΙ ΤΩΝ TOP 10 ΑΝΤΙΚΕΙΜΕΝΩΝ ΠΟΥ ΕΧΕΙ ΑΞΙΟΛΟΓΗΣΕΙ ΥΨΗΛΟΤΕΡΑ ΑΥΤΟΣ Ο ΧΡΗΣΤΗΣ ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ IX

10 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Λ Ι Σ Τ Α Π Ι Ν Α Κ Ω Ν ΠΙΝΑΚΑΣ 1: ΑΠΟΣΠΑΣΜΑΤΙΚΟ ΠΑΡΑΔΕΙΓΜΑ ΤΟΥ ΠΙΝΑΚΑΣ 2: ΣΥΜΒΟΛΙΣΜΟΙ ΒΑΣΙΚΩΝ ΕΝΝΟΙΩΝ ΠΙΝΑΚΑΣ 3: ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ ΠΙΝΑΚΑΣ 4: ΑΝΤΙΣΤΟΙΧΙΑ ΟΡΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΟΤΗΤΑΣ ΜΕ ΟΡΟΥΣ ΤΩΝ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ. 38 ΠΙΝΑΚΑΣ 5: ΠΑΡΑΔΕΙΓΜΑ ΠΙΝΑΚΑ UNALIKEABILITY ΠΙΝΑΚΑΣ 6: ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ ΠΙΝΑΚΑΣ 7: ΠΛΗΡΟΦΟΡΙΕΣ ΤΩΝ ΣΥΝΟΛΩΝ ΔΕΔΟΜΕΝΩΝ X ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

11 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Κ Ε Φ Α Λ Α Ι Ο 1 : Ε Ι Σ Α Γ Ω Γ Η ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 11

12 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ΕΙΣΑΓΩΓΗ Την τελευταία δεκαετία το ηλεκτρονικό εμπόριο και η διαφήμιση μέσω διαδικτύου έχουν τεράστια άνοδο και έχουν οδηγήσει στην δημιουργία εταιριών κολοσσών σε αυτά τα πεδία. Επίσης το διαδίκτυο επιτρέπει την συλλογή όλο και περισσότερης πληροφορίας χρηστών. Ο παραδοσιακός λοιπόν τρόπος προώθησης των προϊόντων (με διαφημίσεις που απευθύνονται σε όλο το κοινό), λόγω των νέων μέσων και την πληθώρα δεδομένων χρηστών που μπορούν να παρέχουν, αντικαθιστάται από την προώθηση εξειδικευμένων διαφημίσεων για κάθε χρήστη. Η αναγνώριση των ενδιαφερόντων του κάθε χρήστη και η προβολή διαφημίσεων σχετικά με τα ενδιαφέροντά του μεγιστοποιεί την πιθανότητα ο χρήστης να θεωρήσει χρήσιμη την διαφήμιση αυτή και έτσι ο χρήστης να έχει καλύτερη εμπειρία και η διαφήμιση να πετύχει τον σκοπό της, που είναι η προώθηση του προϊόντος. Για αυτό τον λόγο αναπτύχθηκαν τα συστήματα συστάσεων που έχουν ως στόχο την αυτοματοποιημένη ανάλυση της πληροφορίας χρηστών και την εξαγωγή εξατομικευμένων προτάσεων. Τα συστήματα αυτά χρησιμοποιούν τεχνικές μηχανικής μάθησης (Machine Learning), που είναι τομέας της Τεχνητής Νοημοσύνης. Η έρευνα των συστημάτων συστάσεων έχει αποκτήσει υψηλό επιστημονικό ενδιαφέρον, ήδη από την εμφάνιση των πρώτων εργασιών πάνω στις συνεργατικές συστάσεις (collaborative filtering) [3] [4] [5]. Την τελευταία δεκαετία ο όγκος της έρευνας που αφορά την διερεύνηση νέων προσεγγίσεων για τα συστήματα συστάσεων, είναι πολύ μεγάλος τόσο από την πλευρά της ακαδημαϊκής κοινότητας όσο και της βιομηχανίας. Τρείς είναι οι βασικές κατηγορίες συστημάτων συστάσεων που προέκυψαν από αυτή την έρευνα [1]: Συστήματα συστάσεων με βάση το περιεχόμενο (Content-based recommendation systems), όπου στον χρήστη προτείνονται αντικείμενα παρόμοια με αυτά που έχει ήδη δείξει προτίμηση. Συνεργατικά συστήματα συστάσεων (collaborative recommendation systems), όπου στον χρήστη προτείνονται αντικείμενα που βαθμολόγησαν θετικά, άτομα με παρόμοια με εκείνον ενδιαφέροντα. Υβριδικά συστήματα συστάσεων (hybrid recommendation systems), που συνδυάζουν τις συστάσεις με βάση το περιεχόμενο και τις συνεργατικές συστάσεις. Το ενδιαφέρον σε αυτόν τον τομέα παραμένει υψηλό, διότι το πρόβλημα που καλείται να λύσει είναι πολυσύνθετο και πολύπλοκο. Επίσης υπάρχει μεγάλη ανάγκη για εφαρμογές οι οποίες θα μπορέσουν να βοηθήσουν τους χρήστες να αντιμετωπίσουν τον μεγάλο όγκο της πληροφορίας και θα τους παρέχουν προσωπικές συστάσεις, περιεχόμενο και υπηρεσίες. Παραδείγματα τέτοιων εφαρμογών είναι οι προτάσεις βιβλίων και άλλων ειδών από το Amazon [2], ταινιών από το MovieLens [11], ειδήσεων [12] καθώς και του Microsoft Commerce Server που έχει ενσωματωμένες δυνατότητες συστάσεων [13]. Το πρόβλημα του εντοπισμού των κατάλληλων προτάσεων ανά χρήστη αρχικά αντιμετωπίστηκε σαν πρόβλημα πρόβλεψης, δηλαδή σαν πρόβλημα εντοπισμού ποιού προϊόντος είναι πιο πιθανό να ενδιαφέρει κάποιον συγκεκριμένο χρήστη, σύμφωνα με τις ήδη γνωστές προτιμήσεις του σε άλλα προϊόντα. Για αυτόν τον λόγο ο τρόπος 12 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

13 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή αξιολόγησης των συστημάτων προτάσεων ήταν μέσα από μετρικές ακρίβειας της πρόβλεψης των αξιολογήσεων των χρηστών. Αν και η ιδιότητα των συστημάτων συστάσεων να είναι ακριβή στις προβλέψεις τους, όπως αναφέραμε παραπάνω, είναι σημαντική, οι προτάσεις που παράγονται δεν είναι αρκετό να συμβαδίζουν με τα ενδιαφέροντα του χρήστη, αλλά πρέπει να είναι και χρήσιμες, δηλαδή να βοηθάν τον χρήστη στο να λάβει αποφάσεις [6] [7]. Για αυτό τον λόγο υποστηρίζεται ότι οι συστάσεις πρέπει, εκτός από ακριβείς, να είναι ποίκιλες [8] [9] [10]. Με τον όρο ποίκιλες εννοούμε τα αντικείμενα που προτείνονται σε έναν χρήστη να είναι όσο το δυνατόν πιο ανόμοια μεταξύ τους. Όταν οι συστάσεις είναι ποίκιλες ο χρήστης είναι πιο πιθανόν να εντοπίσει κάποιο προϊόν που τον ενδιαφέρει και έτσι να αυξήσει την ικανοποίηση του από το σύστημα. Αυτή η ποικιλότητα συνήθως ποσοτικοποιείται με τον υπολογισμό της μέσης τιμής της διαφορετικότητας μεταξύ όλων των ζευγών αντικειμένων που περιέχονται σε μια σύσταση [14] αλλά και με άλλες μετρικές, όπως η ILS, η EILD και Mean Item Rarity που θα αναλύσουμε σε αυτή την εργασία. Επίσης θα αναλύσουμε και τις μετρικές κάλυψης οι οποίες αν και εξετάζουν ένα διαφορετικό χαρακτηριστικό των συστημάτων συστάσεων, αυτό το χαρακτηριστικό είναι τόσο στενά συνδεδεμένο με την ποικιλότητα που δεν μπορούμε να το παραλείψουμε στην μελέτη μας. Παρόλο, όμως, των μετρικών που έχουν προταθεί για την ποσοτικοποίηση της ποικιλότητας των συστάσεων, η έρευνα αυτών των μετρικών δεν είναι τόσο εκτεταμένη στον τομέα των Συστημάτων Συστάσεων όσο σε άλλες επιστήμες που έχουν θεσπίσει μετρικές ποικιλότητας για τις δικιές τους ανάγκες. Για αυτό τον λόγο δεν υπάρχει ακόμα κοινή συναίνεση στον τομέα των Συστημάτων Συστάσεων για το ποιές μετρικές ποικιλότητας είναι οι καταλληλότερες για χρήση. Αυτό έρχεται για παράδειγμα σε αντίθεση με τις μετρικές ακριβείας όπου έχει καθοριστεί ποιες μετρικές είναι κοινώς αποδεκτές από όλη την κοινότητα ερευνητών και έτσι μπορούν να γίνουν συγκρίσεις μεταξύ διάφορων υλοποιήσεων των συστημάτων συστάσεων όσο αφορά την ακρίβεια. Βασιζόμενοι πάνω σε αυτό το ανοιχτό ζήτημα, επιχειρούμε να προτείνουμε με αυτήν την εργασία, την υιοθέτηση μετρικών ποικιλότητας οι οποίες αν και εφαρμόζονται σε ένα μεγάλο εύρος Επιστημών, δεν έχουν ακόμα χρησιμοποιηθεί στα Συστήματα Συστάσεων. Η μελέτη αυτών των μετρικών είναι εκτεταμένη και πλούσια και στην εργασία αυτή αναφέρουμε ποιές από αυτές τις μετρικές μπορούν να αξιοποιηθούν από τον τομέα των Συστημάτων Συστάσεων και προτείνουμε τον τρόπο υιοθέτησης τους. Ένα άλλο ανοιχτό ζήτημα είναι ότι οι περισσότερες μετρικές ποικιλότητας οι οποίες έχουν προταθεί βασίζονται στα χαρακτηριστικά των αντικειμένων, δηλαδή στις πληροφορίες που γνωρίζουμε για αυτά, για να υπολογιστούν. Πολλές φορές όμως αυτά τα χαρακτηριστικά δεν είναι διαθέσιμα, οπόταν μια άλλη συνεισφορά της εργασίας είναι να προτείνει μια μετρική ποικιλότητας η οποία βασίζεται αποκλειστικά στην γνώση των αξιολογήσεων που έχουν δώσει οι χρήστες για τα αντικείμενα, για να υπολογίσει την ποικιλότητα των συστάσεων. Η έρευνα πάνω στο πρόβλημα της ποικιλότητας δεν σταματάει, όμως, στην θέσπιση μετρικών που την ποσοτικοποιούν αλλά περιλαμβάνει και την μελέτη και δημιουργία συστημάτων με στόχο την βελτίωση της ποικιλότητας των συστάσεων. Ενδεικτικά να αναφέρουμε την [14] και την [15] όπου οι συγγραφείς προτείνουν ευρετικούς αλγορίθμους για να αυξήσουν την ποικιλότητα των συστάσεων, ενώ στην [16] οι ερευνητές μελετούν τους τρόπους που μπορεί να αυξηθεί η ποικιλότητα χωρίς να μειωθεί η ακρίβεια. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 13

14 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Παρόλη όμως την έρευνα πάνω σε εξειδικευμένα συστήματα που έχουν στόχο την παραγωγή ποικίλων προτάσεων, τα πιο διαδεδομένα συστήματα συστάσεων είναι τα συνεργατικά συστήματα λόγω της ικανότητας τους να κάνουν ακριβείς προβλέψεις και να κλιμακώνονται σε κατανεμημένα συστήματα πολύ αποδοτικά [2]. Για αυτό τον λόγο, στην εργασία αυτή θα προτείνουμε τρόπους βελτίωσης των συνεργατικών συστημάτων συστάσεων ως προς την μια πτυχή που υστερούν [7], την ποικιλότητα. Τα συνεργατικά συστήματα, για να προτείνουν αντικείμενα σε έναν χρήστη, εντοπίζουν τους χρήστες που έχουν όμοια ενδιαφέροντα με αυτόν τον χρήστη (αυτοί οι χρήστες ονομάζονται γείτονες του) και προτείνουν στον χρήστη τα αντικείμενα που έχουν αξιολογήσει υψηλά αυτοί οι γείτονες. Εμείς λοιπόν θα επιχειρήσουμε να εισάγουμε επιπλέον κριτήρια που πρέπει να τηρούν οι χρήστες για να θεωρηθούν γείτονες, εκτός από τον βαθμό ταύτισης των ενδιαφερόντων τους με τα ενδιαφέροντα του χρήστη που θέλουμε να κάνουμε συστάσεις. Πειραματιζόμαστε με δυο επιπλέον κριτήρια. Το πρώτο κριτήριο που πρέπει να τηρεί ένας χρήστης είναι να του αρέσουν αντικείμενα τα οποία είναι όσο το δυνατόν περισσότερο ποικίλα μεταξύ τους, αυτό το κριτήριο το ονομάζουμε open-minded. Το δεύτερο κριτήριο (explorer) είναι να έχει εξερευνήσει ο χρήστης όσο το δυνατόν περισσότερο το σύνολο των αντικειμένων, δηλαδή να έχει αξιολογήσει αρκετά σπάνια αντικείμενα (αντικείμενα που έχουν λίγες αξιολογήσεις). Παραπάνω χρησιμοποιήσαμε τον όρο όσο το δυνατόν περισσότερο γιατί δεν προτείνουμε μετρικές που υπολογίζουν αν ένας χρήστης είναι explorer ή open-minded, αλλά μετρικές που υπολογίζουν σε τι βαθμό ένας χρήστης ανήκει σε αυτές τις δύο κατηγορίες, και έτσι δίνεται η δυνατότητα να οριστεί ως παράμετρος ποιο είναι το όριο πάνω από το οποίο ένας χρήστης θα θεωρείται open-minded ή explorer. Η τελευταία συνεισφορά αυτής της εργασίας είναι να πειραματιστούμε με συνεργατικά συστήματα που κάνουν χρήση αυτών των κριτηρίων. Γίνεται χρήση δυο συνόλων πραγματικών δεδομένων αξιολογήσεων και ανάλυση των συστάσεων που παράγουν τα συστήματα με βάση την ακρίβεια, ποικιλότητα και κάλυψη. Ανακεφαλαιώνοντας, τα ανοιχτά προβλήματα είναι τα εξής: Δεν έχουν ακόμα οριστεί μετρικές ποικιλότητας που να είναι κοινώς αποδεκτές από όλη την ερευνητική κοινότητα. Οι μετρικές ποικιλότητας που έχουν προταθεί συνήθως στηρίζονται στην γνώση των χαρακτηριστικών των αντικειμένων. Αυτή η πληροφορία όμως δεν είναι πάντα διαθέσιμη. Ύπαρξη μετρικών ποικιλότητας οι οποίες αν και εφαρμόζονται σε μεγάλο εύρος Επιστημών, δεν έχει ακόμα επιχειρηθεί η χρήση τους στην μελέτη των Συστημάτων Συστάσεων. Το ενδιαφέρον των ερευνητών επικεντρώνεται στην δημιουργία νέων μεθόδων παραγωγής συστάσεων, με αποτέλεσμα να μην υπάρχει έντονη έρευνα για την βελτίωση ήδη υπαρχόντων μεθόδων ως προς την ποικιλότητα. Με βάση τα παραπάνω ανοιχτά προβλήματα, οι συνεισφορές αυτής της εργασίας είναι οι εξής: Μελετάμε την υιοθέτηση διεπιστημονικών μετρικών ποικιλότητας. Προτείνουμε μια νέα μετρική ποικιλότητας η οποία βασίζεται αποκλειστικά στις αξιολογήσεις χρηστών για τον υπολογισμό της. Προτείνουμε επιπλέον κριτήρια-μετρικές για την επιλογή των γειτόνων στα συνεργατικά συστήματα, με στόχο την αύξηση της ποικιλότητας των συστάσεων. 14 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

15 ΚΕΦΑΛΑΙΟ 1: Εισαγωγή Πειραματιζόμαστε με την χρήση των παραπάνω κριτηρίων και τον αντίκτυπο της χρήσης τους στην ποικιλότητα, ακρίβεια και κάλυψη των συστάσεων που παράγουν τα συστήματα που τα χρησιμοποιούν. Η Διπλωματική Εργασία θα δομηθεί ως εξής: Κεφάλαιο 2: Αναλυτική περιγραφή της λειτουργίας των Συστημάτων Συστάσεων και εξερεύνηση των διαφορετικών κατηγοριών τους. Κεφάλαιο 3: Περιγραφή των μετρικών αξιολόγησης των συστημάτων συστάσεων με βάση την ακρίβεια, ποικιλότητα και κάλυψη και επεξήγηση των μετρικών ποικιλότητας που προτείνουμε για υιοθέτηση. Κεφάλαιο 4: Αναφορά στα συστήματα συστάσεων που έχουν ως στόχο την αύξηση της ποικιλότητας και διατύπωση της δικής μας πρότασης για βελτιστοποίηση της ποικιλότητας συστάσεων των συνεργατικών συστημάτων. Κεφάλαιο 5: Ανάλυση τις συμπεριφοράς των συνεργατικών συστάσεων που ενσωματώνουν την παραπάνω πρόταση μας, μέσω πειραματισμών με πραγματικά δεδομένα και με την χρήση μετρικών ακρίβειας, ποικιλότητας και κάλυψης. Κεφάλαιο 6: Συνολικά συμπεράσματα που εξάγαμε από την εργασία και προτάσεις για μελλοντική έρευνα. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 15

16 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων Κ Ε Φ Α Λ Α Ι Ο 2 : Σ Υ Σ Τ Η Μ ΑΤ Α Σ Υ Σ Τ Α Σ Ε Ω Ν 16 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

17 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων ΣΥΣΤΗΜΑΤΑ ΣΥΣΤΑΣΕΩΝ Τα συστήματα συστάσεων (recommender systems ή recommendation systems) χρησιμοποιούν τεχνικές μηχανικής μάθησης που στόχος τους είναι η παραγωγή χρήσιμης πληροφορίας μέσω της ανάλυσης δεδομένων (μάθηση μέσα από δεδομένα) και περιλαμβάνουν ευφυείς τεχνικές που παρέχουν εξατομικευμένες υπηρεσίες, προϊόντα ή πληροφορίες σε έναν χρήστη. Τα παραπάνω συστήματα πρωτοεμφανίστηκαν στην βιβλιογραφία μέσα από την εκτενή έρευνα πάνω στη γνωστική επιστήμη (cognitive science) [17], θεωρία προσέγγισης (approximation theory) [18], ανάκτηση πληροφορίας (information retrieval) [19], θεωρίες πρόβλεψης (forecasting theories) [20], διοικητικής επιστήμης (management science) [21] και στην μοντελοποίηση των επιλογών των πελατών στην προώθηση αγαθών [22]. Στα μέσα της δεκαετίας του 90 το ενδιαφέρον επικεντρώθηκε στην παραγωγή συστάσεων που βασίζονται αποκλειστικά σε δεδομένα αξιολογήσεων, και έτσι τα συστήματα συστάσεων αναδείχθηκαν ως διακριτή ερευνητική περιοχή. 2.1 ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΕΠΕΞΗΓΗΣΗ ΤΟΥ ΠΡΟΒΛΗΜΑΤΟΣ Πριν επεξηγήσουμε αναλυτικά το πρόβλημα που καλούνται να επιλύσουν τα συστήματα συστάσεων, σκόπιμο είναι να αναφερθούμε στις βασικές έννοιες τους: Ο χρήστης είναι το άτομο στο οποίο το σύστημα προτείνει εξατομικευμένα προϊόντα, πληροφορίες ή υπηρεσίες σύμφωνα με τις προτιμήσεις του και συνήθως είναι φυσικό πρόσωπο. Τα αντικείμενα είναι οι υπηρεσίες, πληροφορίες ή προϊόντα τα οποία προτείνονται στον χρήστη και τα οποία ο χρήστης μπορεί να αξιολογήσει. Ως αξιολόγηση ορίζεται η βαθμολογία που δίνει ο χρήστης στο σύστημα για ένα αντικείμενο και συνήθως είναι σε μια αριθμητική κλίμακα, για παράδειγμα από 1 έως 5 με το 5 να θεωρείται άριστα. Σύσταση είναι μια ομάδα αντικειμένων που προτείνει το σύστημα στον χρήστη, για τα οποία το σύστημα προβλέπει ότι θα τον ενδιαφέρουν. Χρησιμότητα ενός αντικειμένου για κάποιον χρήστη ορίζεται ο βαθμός που το σύστημα θεωρεί ότι αυτό το αντικείμενο πρέπει να συμπεριληφθεί στην σύσταση που θα παρουσιαστεί σε αυτόν τον χρήστη. Η συνήθης αντιμετώπιση του προβλήματος της παραγωγής συστάσεων, είναι η θεώρηση του ως ένα πρόβλημα πρόβλεψης της αξιολόγησης που θα έδιναν οι χρήστες σε αντικείμενα που δεν έχουν ακόμα αξιολογήσει. Μέσω αυτής της αντιμετώπισης, ένα σύστημα παραγωγής συστάσεων, χρησιμοποιώντας τις αξιολογήσεις που ο χρήστης έχει ήδη παρέχει στο σύστημα για κάποια αντικείμενα, προβλέπει πως θα αξιολογούσε ο χρήστης τα υπόλοιπα αντικείμενα που δεν έχει αξιολογήσει. Τα αντικείμενα που προκύπτουν από τον αλγόριθμο ως πιθανότερα να αξιολογούσε υψηλά ο χρήστης, εμφανίζονται στον χρήστη ως σύσταση. Εάν U είναι το σύνολο όλων των χρηστών και Ι το σύνολο όλων των αντικειμένων που μπορούν να προταθούν στους χρήστες, ως util ορίζεται η συνάρτηση που υπολογίζει την χρησιμότητα ενός αντικειμένου i σε έναν χρήστη u,, όπου το R είναι το διατεταγμένο σύνολο, που συνήθως απαρτίζεται από θετικούς ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 17

18 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ακέραιους ή πραγματικούς αριθμούς μέσα σε συγκεκριμένο εύρος, που περιέχει την χρησιμότητα του κάθε αντικειμένου για κάθε χρήστη. Το σύνολο U είναι συνήθως πολύ μεγάλο και ακόμα μεγαλύτερο είναι το σύνολο I που περιέχει από χιλιάδες μέχρι εκατομμύρια αντικείμενα. Για κάθε χρήστη στόχος είναι να ο εντοπισμός αντικειμένου που έχει την μέγιστη χρησιμότητα για τον χρήστη, δηλαδή Στα συστήματα συστάσεων, η χρησιμότητα ενός αντικειμένου συνήθως αντιπροσωπεύεται από μια βαθμολογία που δείχνει πόσο κάποιος συγκεκριμένος χρήστης αρέσει το συγκεκριμένο αντικείμενο, όμως αυτό δεν είναι δεσμευτικό, θα μπορούσε για παράδειγμα σε ένα σύστημα συστάσεων που εφαρμόζεται σε ένα ηλεκτρονικό κατάστημα ο υπολογισμός της χρησιμότητας ενός αντικειμένου να λαμβάνει υπόψη και το περιθώριο κέρδους της επιχείρησης από την πώληση του προϊόντος αυτού. Επίσης, η χρησιμότητα util μπορεί να οριστεί από τον χρήστη, όπως γίνεται όταν ο χρήστης βαθμολογεί ένα αντικείμενο, ή να υπολογιστεί από την εφαρμογή. Κάθε χρήστης u αντιπροσωπεύεται συνήθως από κάποιο διακριτικό αναγνώρισης (id), όμως μπορεί σε κάποιες περιπτώσεις να είναι γνωστές στο σύστημα και άλλες πληροφορίες για τον χρήστη (όπως η ηλικία του, το γένος του, τα ενδιαφέροντα του), αυτές οι πληροφορίες συνιστούν το προφίλ (profile) του χρήστη. Επίσης κάθε αντικείμενο i πρέπει απαραίτητα να εκφράζεται από ένα διακριτικό αναγνώρισης id αλλά επιπρόσθετα το σύστημα μπορεί να γνωρίζει για αυτό το αντικείμενο και άλλες πληροφορίες (για παράδειγμα είδος αντικειμένου, δημιουργός, τιμή) που συνιστούν το προφίλ του αντικειμένου. Η χρησιμότητα util του κάθε αντικειμένου συνήθως δεν είναι γνωστή για όλο το R αλλά για κάποιο υποσύνολό του. Για παράδειγμα, σε ένα σύστημα συστάσεων μουσικών κομματιών, οι χρήστες παρέχουν βαθμολογίες για όσα τραγούδια έχουν ακούσει, τα οποία είναι λιγότερα από το σύνολο όλων των διαθέσιμων τραγουδιών. Ο στόχος, λοιπόν, ενός συστήματος συστάσεων είναι να μπορέσει να υπολογίσει το util για όλο το σύνολο R. Ο παρακάτω Πίνακας 1 παρουσιάζει ένα αποσπασματικό παράδειγμα του όπου πέντε αντικείμενα, συγκεκριμένα ταινίες, έχουν βαθμολογηθεί στην κλίμακα από 1 μέχρι 5 από τρείς χρήστες. (1) Titanic Ironman Godfather Gravity Inception Αντώνης 1 3 Null null 5 Βαγγέλης null 2 3 null null Νίκος 1 Null 4 null 3 Πίνακας 1: Αποσπασματικό παράδειγμα του Η ένδειξη null δείχνει ότι για παράδειγμα ο χρήστης Βαγγέλης δεν έχει βαθμολογήσει την ταινία Titanic, ο αλγόριθμος λοιπόν δημιουργίας συστάσεων πρέπει για κάθε χρήστη να προβλέψει τις βαθμολογίες που θα έδινε στα αντικείμενα που δεν έχει ήδη βαθμολογήσει και με βάση αυτές τις προβλέψεις να παράγει της συστάσεις (recommendations). Οι συστάσεις περιέχουν τα αντικείμενα που ο αλγόριθμος έχει προβλέψει ότι ο χρήστης θα βαθμολογούσε υψηλότερα ή ένα σταθερό πλήθος αντικειμένων που προβλέφθηκαν ότι έχουν την υψηλότερη βαθμολογία (για παράδειγμα τα top-10 αντικείμενα που έγινε πρόβλεψη ότι ο χρήστης θα βαθμολογούσε υψηλότερα). 18 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

19 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων Η πρόβλεψη των βαθμολογιών των αντικειμένων που δεν γνωρίζουμε την βαθμολογία του χρήστη είναι αντικείμενο μελέτης των συστημάτων συστάσεων, με λύσεις που προέρχονται από την μηχανική μάθηση (machine learning) [23] [24], την θεωρία προσέγγισης [18] καθώς και από ευρετικούς μηχανισμούς (heuristics) [15]. Εκτός από την πρόβλεψη των βαθμολογιών, που αναφέραμε παραπάνω, έρευνα έχει γίνει και στην πρόβλεψη της προτίμησης (preference-based filtering) [25] [26] [27] [28] όπου γίνεται πρόβλεψη της σωστής σειράς προτίμησης των αντικειμένων για έναν χρήστη. Σε αυτήν την εργασία όμως θα ασχοληθούμε με τις συστάσεις με βάση την βαθμολογία, αφού είναι η πιο δημοφιλής προσέγγιση του προβλήματος. Παρακάτω θα αναφερθούμε στον διαχωρισμό των συστημάτων συστάσεων ανάλογα με την προσέγγιση της επίλυσης του προβλήματος και θα περιγράψουμε αναλυτικά κάθε κατηγορία συστημάτων συστάσεων που προκύπτει από αυτό τον διαχωρισμό, αφού πρώτα παραθέσουμε έναν πίνακα που περιέχει τους συμβολισμούς που αναφέραμε έως τώρα και θα χρησιμοποιήσουμε στην συνέχεια της εργασίας (πλήρης πίνακας με όλους τους συμβολισμούς που θα εμφανιστούν στην εργασία αυτή υπάρχει στο Παράρτημα ΙΙ). ΟΝΟΜΑ ΣΥΜΒΟΛΙΣΜΟΣ ΠΕΡΙΓΡΑΦΗ Χρήστης (user) u Το άτομο για το οποίο ο αλγόριθμος γνωρίζοντας κάποιες πληροφορίες για αυτό, επιχειρεί να εντοπίσει και να του παρέχει εξατομικευμένες συστάσεις για καινούργια αντικείμενα που πιθανός να τον ενδιαφέρουν Αντικείμενο (item) i Τα προϊόντα που ο χρήστης έχει δηλώσει ενδιαφέρον ή ο αλγόριθμος θεωρεί ότι θα ενδιαφέρουν τον χρήστη Σύνολο χρηστών U Το σύνολο των καταχωρημένων χρηστών στο σύστημα Σύνολο αντικειμένων Χρησιμότητα (utility) Σύνολο χρησιμότητας (utility set) Σύσταση (recommendation) I util(u,i) R rec(u) Πίνακας 2: Συμβολισμοί βασικών εννοιών Το σύνολο των καταχωρημένων αντικειμένων στο σύστημα Η χρησιμότητα ενός αντικειμένου σε έναν χρήστη Ο πίνακας που περιέχει όλες τις χρησιμότητες των αντικειμένων των χρήστων Τα αντικείμενα που επέλεξε ο αλγόριθμος να προτείνει σε έναν χρήστη ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 19

20 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ 2.2 ΚΑΤΗΓΟΡΙΕΣ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ Οι έρευνα των συστημάτων συστάσεων οδήγησε σε διαφορετικές προσεγγίσεις του προβλήματος παραγωγής προτάσεων για τους χρήστες, οι τρείς βασικές κατηγορίες των συστημάτων σύμφωνα με αυτές τις προσεγγίσεις είναι οι εξής [1]: Συστάσεις με βάση το περιεχόμενο (Content-based recommendations), όπου στον χρήστη προτείνονται αντικείμενα παρόμοια με αυτά που έχει ήδη δείξει προτίμηση. Συνεργατικές συστάσεις (collaborative recommendations), όπου στον χρήστη προτείνονται αντικείμενα που βαθμολόγησαν θετικά, άτομα με παρόμοια με εκείνον ενδιαφέροντα. Υβριδικές μέθοδοι (hybrid approaches), που συνδυάζουν τις συστάσεις με βάση το περιεχόμενο και τις συνεργατικές συστάσεις. Στις παρακάτω υποενότητες θα αναλύσουμε την κάθε μια κατηγορία και θα παρουσιάσουμε την έρευνα που έχει γίνει σε αυτές Συστήματα συστάσεων βασιζόμενα στο περιεχόμενο Τα συστήματα συστάσεων με βάση το περιεχόμενο έχουν τις ρίζες τους στην έρευνα πάνω στην ανάκτηση πληροφορίας [29] [19] και στο φιλτράρισμα πληροφοριών (information filtering) [30]. Λόγω των σημαντικών εξελίξεων που έγιναν σε αυτούς τους τομείς και την ανάγκη για δημιουργία εφαρμογών που θα δεχόταν σαν είσοδο κείμενο, πολλά συστήματα συστάσεων με βάση το περιεχόμενο εστιάζουν την λειτουργία τους στην σύσταση αντικειμένων που περιέχουν πληροφορία σε μορφή κειμένου, όπως έγγραφα και ιστοσελίδες. Τα συστήματα αυτά χρησιμοποιούν τα προφίλ των χρηστών για να παράγουν συστάσεις. Το προφίλ ενός χρήστη (user profile) περιέχει πληροφορίες σε σχέση με τα ενδιαφέροντα, ανάγκες και προτιμήσεις του χρήστη και παράγεται είτε ρωτώντας απευθείας τον χρήστη (για παράδειγμα, με κάποιο ερωτηματολόγιο) είτε έμμεσα, μελετώντας τα χαρακτηρίστηκα των αντικειμένων που έχει βαθμολογήσει θετικά ο χρήστης. Παρακάτω θα περιγράψουμε αναλυτικά τις μεθόδους παραγωγής συστάσεων που προέρχονται από την Ανάκτηση Πληροφορίας και τις μεθόδους που προέρχονται από την Μηχανική Μάθηση Μέθοδοι που προέρχονται από την Ανάκ τηση Πληροφορίας Η χρησιμότητα util(u,i) ενός αντικειμένου i για τον χρήστη u, υπολογίζεται με βάση την χρησιμότητα που έχει ορίσει ο χρήστης σε αντικείμενα που θεωρούνται όμοια με το αντικείμενο i. Για παράδειγμα, σε ένα σύστημα συστάσεων τραγουδιών με βάση το περιεχόμενο, ο αλγόριθμος θα εντοπίσει πάνω σε ποιά χαρακτηρίστηκα (features types) έχουν ομοιότητες τα μουσικά κομμάτια που έχει βαθμολογήσει υψηλά ένας χρήστης (για παράδειγμα καλλιτέχνης, είδος μουσικής), και εάν κάποιο άλλο μουσικό κομμάτι έχει παρόμοια χαρακτηρίστηκα με αυτά, θα προταθεί από τον αλγόριθμο. Συγκεκριμένα, όλα τα αντικείμενα που υπάρχουν στο σύνολο U χαρακτηρίζονται σύμφωνα με κάποια feature types (τα οποία feature types ορίζονται ανάλογα με την εφαρμογή του συστήματος, για παράδειγμα ένα σύστημα συστάσεων ταινιών μπορεί να έχει σαν feature types τους ηθοποιούς, το σεναριογράφο, το είδος τις ταινίας και 20 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

21 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων άλλα). Κάθε αντικείμενο i έχει κάποιες συγκεκριμένες τιμές για αυτά τα feature types που το χαρακτηρίζουν (για παράδειγμα μια ταινία μπορεί να έχει για το feature type: genre, τιμή Drama ), τις τιμές αυτές θα τις αποκαλούμε feature values. Αυτές οι feature values απαρτίζουν το προφίλ ενός αντικειμένου (itemprofile(i)). Τα feature values μπορούν είτε να δηλωθούν χειροκίνητα είτε να εξαχθούν με κάποιο αυτοματοποιημένο τρόπο, για παράδειγμα στα συστήματα σύστασης αντικειμένων που περιέχουν πληροφορία σε μορφή κειμένου, που αναφερθήκαμε παραπάνω, το feature type είναι συνήθως οι λέξεις-κλειδιά (keywords). Σε αυτά τα συστήματα, λοιπόν, ένας τρόπος που έχει προταθεί για την εξαγωγή των feature values είναι με την αυτοματοποιημένη επιλογή των 100 πιο σημαντικών λέξεων [1], είτε με την επιλογή των 128 πιο κατατοπιστικών (informative) λέξεων [23]. H επιλογή των λέξεων που θεωρούνται σημαντικές, ή κατατοπιστικές αντίστοιχα, για ένα έγγραφο γίνεται με τον ορισμό βαρών που μπορούν να οριστούν με διάφορους τρόπους. Μια πολύ διαδεδομένη μετρική υπολογισμού αυτών των βαρών είναι η frequency/inverse document frequency (TF-IDF) [19]. Εκτός από τα προφίλ των αντικειμένων, τα συστήματα συστάσεων δημιουργούν και προφίλ για κάθε χρήστη u (userprofile(u)), τα οποία περιέχουν ως feature values πληροφορίες για τα ενδιαφέροντα και τις προτιμήσεις του χρήστη u. Αυτές οι πληροφορίες συγκεντρώνονται μέσα από την ανάλυση των προφίλ των αντικειμένων που έχει βαθμολογήσει ο χρήστης στο παρελθόν. Για παράδειγμα το προφίλ ενός χρήστη σε ένα σύστημα συστάσεων ταινιών μπορεί να περιέχει σαν feature types πόσο δημοφιλής είναι το κάθε είδος ταινίας για τον συγκεκριμένο χρήστη u ( ) ή πόσο του αρέσει το κάθε είδος ταινίας ( ) [31]. Ακόμα μπορεί να περιέχει πληροφορίες όπως πόσο αισιόδοξος ή απαισιόδοξος είναι ένας χρήστης συγκρίνοντας τις βαθμολογίες που έχει δώσει με όλες τις βαθμολογίες του dataset [32]. Με αυτό τον τρόπο ο αλγόριθμος μπορεί να αντιληφθεί κατά πόσο μια βαθμολογία που έχει δώσει ο χρήστης σε μια ταινία σημαίνει ότι του άρεσε αυτή η ταινία ή όχι. Γενικότερα, στα συστήματα συστάσεων με βάση το περιεχόμενο, το util(u,i) ορίζεται ως εξής: Επιπλέον, η συνάρτηση χρησιμότητας util(u,i) συνήθως παρουσιάζεται στην βιβλιογραφία ως μια ευρετική μέθοδος βαθμολόγησης (scoring heuristic), η οποία ορίζεται σε όρους διανυσμάτων, όπως το μέτρο Ευκλείδειας ομοιότητας [29] [19]: (2) όπου, είναι τα διανύσματα των προφίλ του χρήστη και του αντικειμένου αντίστοιχα,, είναι το βάρος της y-οστής λέξης κλειδί για το προφίλ του χρήστη και του αντικειμένου αντίστοιχα και Κ είναι το πλήθος των λέξεων-κλειδιών του συστήματος Μέθοδοι που προέρχονται από την Μηχανική Μάθηση Εκτός από τις ευρετικές μεθόδους, άλλες τεχνικές που χρησιμοποιούνται στα ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 21

22 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ συστήματα συστάσεων με βάση το περιεχόμενο είναι οι Bayesian ταξινομητές [33] [23] και διάφορες τεχνικές μηχανικής μάθησης, όπως τεχνικές ομαδοποίησης (clustering), δέντρα απόφασης (decision trees) και τεχνητά νευρωνικά δίκτυα (artificial neural networks) [23]. Αυτές οι τεχνικές διαφέρουν με εκείνες που αναφέραμε στις προηγούμενες παραγράφους στο γεγονός ότι ο υπολογισμός της χρησιμότητας util δεν βασίζεται πλέον σε ευρετικές μεθοδολογίες, όπως το μέτρο Ευκλείδειας ομοιότητας, αλλά βασίζεται στο μοντέλο (model) που δημιουργεί ο αλγόριθμος από τα δεδομένα χρησιμοποιώντας στατιστική μάθηση (statistical learning) και τεχνικές μηχανικής μάθησης. Για παράδειγμα, σε ένα σύστημα συστάσεων ιστοσελίδων, γνωρίζοντας τις ιστοσελίδες που ένας χρήστης έχει αξιολογήσει ως σχετικές ή όχι, ο Bayesian ταξινομητής μπορεί να χρησιμοποιηθεί για να ταξινομήσει τις ιστοσελίδες που δεν έχει ακόμα βαθμολογήσει ο χρήστης [23] [24]. Για να το επιτύχει αυτό ο Bayesian ταξινομητής μπορεί να εκτιμήσει την πιθανότητα μια ιστοσελίδα να ανήκει σε μια κατηγορία ( relevant ή irrelevant ). Αυτό το πετυχαίνει δεχόμενος ως είσοδο ένα σύνολο των λέξεων κλειδιών σε αυτή την ιστοσελίδα: Χρησιμοποιώντας την υπόθεση ότι οι λέξεις κλειδιά είναι ανεξάρτητες μεταξύ τους [23], η παραπάνω πιθανότητα είναι ανάλογη της: Αν και η υπόθεση ανεξαρτησίας δεν ισχύει σε πολλές εφαρμογές, πειραματικά αποτελέσματα δείχνουν ότι οι Bayesian ταξινομητές επιτυγχάνουν υψηλή ακρίβεια ταξινόμησης [23]. Επιπλέον, επειδή οι πιθανότητες και είναι δυνατόν να εκτιμηθούν από τα δεδομένα εκπαίδευσης, ο τύπος (3) μπορεί να υπολογιστεί για κάθε ιστοσελίδα και για κάθε κατηγορία, και έτσι κάθε ιστοσελίδα κατατάσσεται στην κατηγορία με την υψηλότερη πιθανότητα [23] Μειονεκτήματα των συστημάτων συστάσεων με βάση το περιεχόμενο Τα συστήματα συστάσεων με βάση το περιεχόμενο λόγω του τρόπου υπολογισμού της χρηστικότητας παρουσιάζουν κάποιους περιορισμούς: Βασίζονται στην γνώση των χαρακτηριστικών που έχουν τα αντικείμενα, όμως αυτή η γνώση δεν είναι πάντοτε διαθέσιμη ή εύκολο να συλλεχθεί. Αν εξαιρέσουμε τις περιπτώσεις που τα αντικείμενα είναι σε μορφή κειμένου, όπου σε αυτήν την περίπτωση υπάρχουν τεχνικές ανάκτησης πληροφορίας για την εξαγωγή των χαρακτηριστικών, στις υπόλοιπες περιπτώσεις η εξαγωγή των χαρακτηριστικών δεν είναι τετριμμένη υπόθεση και πολλές φορές απαιτείται χειροκίνητη εισαγωγή των χαρακτηριστικών στα αντικείμενα. Για παράδειγμα, αυτοματοποιημένες μέθοδοι εξαγωγής χαρακτηριστικών είναι πολύ δυσκολότερο να εφαρμοστούν σε πολυμεσικά δεδομένα, όπως φωτογραφίες, βίντεο ή ήχο και η χειροκίνητη εισαγωγή τους δεν είναι πρακτική λόγο του όγκου τους [5]. Εάν τα χαρακτηριστικά (feature types) δεν είναι αρκετά ώστε να εγγυώνται ότι 2 διαφορετικά αντικείμενα θα έχουν διαφορές σε κάποια feature values, αυτά τα 2 αντικείμενα θα αντιμετωπίζονται σαν πανομοιότυπα από τον αλγόριθμο [5]. (5) (4) 22 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

23 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων Σε αυτά τα συστήματα παρουσιάζεται το πρόβλημα του cold start. Συγκεκριμένα, ο χρήστης αρχικά πρέπει να βαθμολογήσει ένα πλήθος αντικειμένων για να μπορέσει ο αλγόριθμος να αντιληφθεί τα ενδιαφέροντα του και τις προτιμήσεις του. Έτσι ένας νέος χρήστης, που δεν έχει ακόμα βαθμολογήσει αρκετά αντικείμενα, δεν θα δεχθεί ακριβείς συστάσεις. Τα χαρακτηριστικά των αντικειμένων ανάλογα με την εφαρμογή ενός συστήματος συστάσεων αλλάζουν (άλλα είναι τα χαρακτηριστικά των αντικειμένων αν το σύστημα συστάσεων χρησιμοποιείται για να προτείνει βιβλία και άλλα για να προτείνει τεχνολογικό εξοπλισμό για παράδειγμα). Οπόταν ένα σύστημα που έχει παραμετροποιηθεί για μια συγκεκριμένη εφαρμογή, δεν είναι βέλτιστό για μια άλλη και χρειάζεται αναπροσαρμογή. Τα συστήματα συστάσεων με βάση το περιεχόμενο, μπορούν να προτείνουν ένα αντικείμενο μόνο εάν το αντικείμενο αυτό παρουσιάζει χαρακτηριστικά τα οποία συμπίπτουν με εκείνα που ενδιαφέρουν τον χρήστη, σύμφωνα με το προφίλ του. Αυτό έχει ως αποτέλεσμα να εμφανίζονται στον χρήστη μόνο αντικείμενα παρόμοια με εκείνα που έχει ήδη βαθμολογήσει. Αναφέρουμε ως παράδειγμα ότι εάν ένας χρήστης δεν έχει βαθμολογήσει επιστημονικά βιβλία, το σύστημα δεν θα του προτείνει ποτέ κάποιο επιστημονικό σύγγραμμα. Ολοκληρώνοντας, τα συστήματα συστάσεων με βάση το περιεχόμενο προτείνουν αντικείμενα που μπορεί είναι τόσο όμοια με αυτά που έχει αξιολογήσει θετικά ο χρήστης που μπορεί τελικά να μην είναι χρήσιμη η σύσταση τους. Για παράδειγμα, εάν ένας χρήστης έχει βαθμολογήσει θετικά την ταινία «Godfather I» δεν έχει αξία να του προταθεί από το σύστημα η ταινία «Godfather II» ή «Godfather III» αφού ο χρήστης είναι πολύ πιθανόν να γνωρίζει για αυτές τις ταινίες και χωρίς την βοήθεια του συστήματος. Και τα δύο παραπάνω παραδείγματα είναι ο λόγος που μελετάμε την εισαγωγή ποικιλότητας στης προτάσεις, και θα αναφερθούμε αναλυτικότερα σε αυτά καθώς και στους τρόπους αντιμετώπισης τους στα παρακάτω κεφάλαια που θα εξερευνήσουμε το πρόβλημα της «ποικιλότητας των συστάσεων» Συνεργατικά Συστήματα Σύστασης Τα πρώτα συνεργατικά συστήματα σύστασης που είχαν την δυνατότητα να παράγουν αυτοματοποιημένες προβλέψεις, ήταν τα GroupLens [34] [4], Video Recommender [3] και Ringo [5]. Άλλα παραδείγματα εφαρμοσμένων συνεργατικών συστημάτων σύστασης είναι το σύστημα του Amazon για προτάσεις προϊόντων, το σύστημα PHOAKS που βοηθάει τους χρήστες να βρούνε σχετικές πληροφορίες στον ιστό [35] και το σύστημα Jester που προτείνει ανέκδοτα [36]. Τα συνεργατικά συστήματα σύστασης (collaborative recommender systems ή collaborative filtering systems), αντίθετα με τα συστήματα συστάσεων με βάση το περιεχόμενο, επιχειρούν να προβλέψουν την χρησιμότητα των αντικειμένων σε έναν χρήστη, υπολογίζοντας την ομοιότητα των υπόλοιπων χρηστών με εκείνον και χρησιμοποιώντας τις βαθμολογίες που άλλοι χρήστες έχουνε δώσει για τα αντικείμενα. Αναλυτικότερα, η χρησιμότητα ενός αντικειμένου i σε έναν χρήστη u (util(u,i)) υπολογίζεται με βάση τα που έχουν δώσει οι χρήστες που είναι «όμοιοι» με τον χρήστη u. Οι χρήστες που θεωρούνται «όμοιοι» με τον χρήστη u, ονομάζονται γείτονες του (neighbors). Για τον όρο «όμοιος» και πως αυτός ορίζεται θα αναφερθούμε αναλυτικά στις παρακάτω παραγράφους. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 23

24 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Δυο είναι οι βασικές κατηγορίες στις οποίες μπορούν να χωριστούν τα συνεργατικά συστήματα συστάσεων, σύμφωνα με την βιβλιογραφία [37], τα συστήματα που βασίζονται στην μνήμη (memory-based ή heuristic-based) και τα συστήματα που βασίζονται στο μοντέλο (model-based) Συστήματα που βασίζονται στην μνήμη Στα συστήματα που βασίζονται στην μνήμη [37] [38] [39] [4] [5], η τιμή της άγνωστης util(u,i) για τον χρήστη u και το αντικείμενο i υπολογίζεται συνήθως από το σύνολο των βαθμολογιών κάποιων άλλων χρηστών (συνήθως τους Ν πιο όμοιους ή τους Χ% πιο όμοιους ή όσους ξεπερνάνε ένα όριο ομοιότητας (similarity threshold)) στο αντικείμενο i: όπου το είναι το σύνολο των χρηστών που θεωρούνται όμοιοι και μπορεί να κυμαίνονται από έναν χρήστη μέχρι και όλο το σύνολο U. Ειδικότερα, κάποιες συνήθεις μορφές τις (5) είναι: (6) όπου Ν είναι το πλήθος των γειτόνων, είναι ο βαθμός ομοιότητας μεταξύ του χρήστη u και, 1/Κ είναι συντελεστής κανονικοποίησης ( ), και είναι οι μέση τιμή των βαθμολογιών που έχουν δώσει ο χρήστης u και αντίστοιχα. Με τον τύπο (7α) η πρόβλεψη της βαθμολογίας που θα έδινε ο χρήστης στο αντικείμενο, προκύπτει από τον μέσο όρο των βαθμολογιών που έδωσαν οι γείτονες του σε αυτό το αντικείμενο. Ο τύπος (7β) είναι πιο εξελιγμένος, με την έννοια ότι τώρα η βαθμολογία του κάθε χρήστη επηρεάζει την πρόβλεψη ανάλογα με το πόσο αυτός ο χρήστης είναι όμοιος με τον u. Το πρόβλημα με αυτόν τον τύπο είναι ότι ο κάθε χρήστης μπορεί να βαθμολογεί διαφορετικά τα αντικείμενα (πιο γενναιόδωρα ή πιο αυστηρά). Για αυτόν τον λόγο, στην πιο εξελιγμένη μορφή του τύπου (και αυτή που θα χρησιμοποιήσουμε και εμείς στην υλοποίηση του συστήματος μας) (7γ) γίνεται πρόβλεψη την βαθμολογίας αφού πρώτα έχει γίνει κανονικοποίηση των βαθμολογιών μεταξύ των χρηστών ως προς την μέση τιμή των βαθμολογιών που έχει δώσει ο καθένας από αυτούς στα αντικείμενα του. Ένας άλλος τρόπος να αποφευχθεί αυτό το πρόβλημα, είναι με την χρήση φιλτραρίσματος με βάση την προτίμηση (preference-based filtering) [25] [26] [27] [28], που αναγερθήκαμε και παραπάνω, όπου γίνεται υπολογισμός τις σειράς των προτιμήσεων των χρηστών αντί για την απόλυτη τιμή της βαθμολογίας. Η ομοιότητα μεταξύ δύο χρηστών ( συνήθως υπολογίζεται με βάση τα αντικείμενα που έχουνε και οι δύο χρήστες βαθμολογήσει. Αν και τα σύνολα των αντικειμένων που έχουν βαθμολογήσει οι χρήστες και u αντίστοιχα, η ομοιότητα υπολογίζεται συνήθως μέσα από το σύνολο των αντικειμένων. Με τις βαθμολογίες, λοιπόν, αυτών των αντικειμένων και από τους δύο 24 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

25 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων χρήστες γνωστές, ο υπολογισμός τις ομοιότητας μεταξύ τους μπορεί να υπολογιστεί είτε με τον συντελεστή συσχέτισης Pearson [4] [5]: είτε με βάση το συνημίτονο (cosine-based approach) [37] [40]: είτε με βάση την μέση τετραγωνική διαφορά (mean square difference) [5]. Κάθε υλοποίηση ενός συστήματος συστάσεων μπορεί να χρησιμοποιήσει οποιαδήποτε από αυτές τις φόρμουλες για τον υπολογισμό της ομοιότητας, ή και άλλες, ανάλογα με το ποια έχει αποδειχθεί ότι για την συγκεκριμένη εφαρμογή αποδίδει καλύτερα. Μια συνήθης πρακτική, είναι ο υπολογισμός της ομοιότητας των χρηστών πριν την ανάγκη για παροχή προτάσεων (αφού η ομοιότητα μεταξύ των χρηστών δεν αλλάζει δραματικά στον χρόνο), ώστε όταν υπάρξει η ανάγκη για παροχή προτάσεων να είναι πιο γρήγορος ο υπολογισμός τους. Βέβαια μια τέτοια τακτική απαιτεί υψηλό διαθέσιμο αποθηκευτικό χώρο αφού απαιτείται μνήμη ίση με για αποθήκευση όλων των ομοιοτήτων μεταξύ των χρηστών. Να τονίσουμε ότι οι παραπάνω τύποι, μπορεί να χρησιμοποιούνται και σε συστήματα συστάσεων με βάση το περιεχόμενο, που αναφέραμε παραπάνω, αλλά εκεί χρησιμοποιούνται για άλλου είδους υπολογισμών και όχι για υπολογισμό ομοιότητας χρηστών. Να αναφέρουμε επίσης, ότι λόγω του υπολογισμού της ομοιότητας από το σύνολο τον αντικειμένων που έχουν βαθμολογηθεί και από τους δύο χρήστες, αν το σύνολο αυτό είναι μικρό, οι μέθοδοι αυτοί δεν αποδίδουν καλά, και για αυτό τον λόγο η ακρίβεια πρόβλεψης μπορεί να βελτιωθεί με την χρήση εικονικών βαθμολογήσεων [37]. Άλλοι τρόποι υπολογισμού της ομοιότητας μεταξύ των χρηστών που έχουν προταθεί είναι η προεπιλεγμένη ψηφοφορία (default voting), αντεστραμμένη συχνότητα χρήστη (inverse user frequency), ενίσχυση περίπτωσης (case amplification) [37], και πρόβλεψη μέσω σταθμισμένη πλειοψηφίας [38] [39]. Επίσης, έχει προταθεί η χρήση των μεθόδων υπολογισμού ομοιότητας, για τον υπολογισμό ομοιότητας μεταξύ των αντικειμένων [40] και την δημιουργία με αυτόν τον τρόπο top-n προτάσεις αντικειμένων [41]. Με αυτόν τον τρόπο, οι προβλέψεις μπορεί να είναι παρόμοιες συγκριτικά με αυτές που παράγουν οι αλγόριθμοι που βασίζονται στην ομοιότητα μεταξύ των χρηστών, αλλά οι χρόνοι εκτέλεσης είναι καλύτεροι [41] [40] Συστήματα συστάσεων που βασίζονται στο μοντέλο Αυτά τα συστήματα, χρησιμοποιούν τα δεδομένα βαθμολογιών για να παράγουν ένα μοντέλο [42] [37] [43] [36] [44] [45] [46] [47] [48], με το οποίο μετά κάνουν προβλέψεις. Για παράδειγμα, στο [37] προτείνονται 2 μοντέλα, ένα μοντέλο διασποράς και ένα Bayesian δίκτυο. Στο μοντέλο διασποράς (cluster model), οι όμοιοι χρήστες ομαδοποιούνται μεταξύ τους και ανάλογα με την ομάδα που ανήκει κάποιος χρήστης, οι βαθμολογίες του θεωρούνται ανεξάρτητες. Το πλήθος των ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 25

26 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ομάδων και οι παράμετροι του μοντέλου υπολογίζονται από τα δεδομένα εκπαίδευσης. Ένα μειονέκτημα αυτού του μοντέλου είναι ότι κάθε χρήστης ανήκει σε μια ομάδα μόνο. Για κάποιες εφαρμογές θα ήταν χρησιμότερο ένας χρήστης να ανήκει σε παραπάνω από μια ομάδες. Στο δεύτερο μοντέλο, κάθε αντικείμενο αντιπροσωπεύεται από έναν κόμβο στο Bayesian δίκτυο, όπου οι καταστάσεις κάθε κόμβου αντιπροσωπεύουν τις πιθανές βαθμολογίες του κάθε αντικειμένου. Στην [42] προτάθηκε ένα συνεργατικό σύστημα συστάσεων που χρησιμοποιεί διάφορες τεχνικές μηχανικής μάθησης, όπως τεχνικά νευρωνικά δίκτυα (artificial neural networks) και μαζί με τεχνικές εξαγωγής χαρακτηριστικών (feature extraction techniques) μπορεί να παράγει προτάσεις. Και οι δύο εργασίες [42] [37] έδειξαν με εμπειρικά δεδομένα ότι παράγουν καλύτερα αποτελέσματα από τις κλασικές προσεγγίσεις με βάση την μνήμη, όσο αφορά την ακρίβεια πρόβλεψης. Άλλα είδη μοντέλων που έχουν χρησιμοποιηθεί είναι, στατιστικό μοντέλο σε συνδυασμό με την χρήση αλγορίθμων όπως την ομαδοποίηση K-means και την δειγματοληψία Gibbs [48], Bayesian μοντέλο [49], πιθανολογικό σχεσιακό μοντέλο (probabilistic relational model) [43], μοντέλο γραμμικής παλινδρόμησης (linear regression) [40] και μοντέλο μέγιστης εντροπίας [47]. Μεγάλο ενδιαφέρον στην ακαδημαϊκή κοινότητα έχουν τα πιθανολογικά μοντέλα, όπως στο [50] όπου αντιμετωπίζει την διαδικασία παραγωγής προτάσεων ως ένα διαδοχικό πρόβλημα λήψης αποφάσεων και χρησιμοποιεί για την αντιμετώπιση του Μαρκοβιανές διαδικασίες λήψης αποφάσεων. Άλλα συστήματα που χρησιμοποιούν πιθανολογικά μοντέλα, και ειδικότερα πιθανολογική λανθάνουσα σημασιολογική ανάλυση (probabilistic latent semantic analysis) είναι τα [45] [44] [46] [51] Μειονεκτήματα Συνεργατικών Συστημάτων Συστάσεων Αν και τα συνεργατικά συστήματα συστάσεων δεν αντιμετωπίζουν το πρόβλημα της σύστασης μόνο αντικειμένων που είναι παρόμοια με αυτά που έχει βαθμολογήσει στο παρελθόν ο χρήστης, που είχαμε συναντήσει στα συστήματα με βάση το περιεχόμενο, έχουν και αυτά κάποια μειονεκτήματα που θα αναλύσουμε παρακάτω [1] [52]: Τα συνεργατικά συστήματα παρουσιάζουν επίσης το πρόβλημα του cold start. Όταν ένας καινούργιος χρήστης εισέλθει στο σύστημα ή ένα καινούργιο αντικείμενο, αρχικά το σύστημα δεν έχει δεδομένα για αυτόν τον χρήστη ή το αντικείμενο (για τον χρήστη δεν γνωρίζει τι αντικείμενα του αρέσουν και για το καινούργιο αντικείμενο δεν γνωρίζει ποιοί χρήστες ενδιαφέρονται για αυτό). Για την αντιμετώπιση συγκεκριμένα του προβλήματος του νέου χρήστη, έχει προταθεί να του ζητείται η βαθμολόγηση κάποιων συγκεκριμένων αντικειμένων τα οποία θα βοηθήσουν τον αλγόριθμο μπορέσει να αντιληφθεί τα ενδιαφέροντα του χρήστη [53] [54]. Ο εντοπισμός αυτών των αντικειμένων, που είναι ιδιαίτερα χρήσιμο για τον αλγόριθμο να βαθμολογηθούν από έναν νέο χρήστη, γίνεται με παράγοντα την δημοτικότητα των αντικειμένων ή την εντροπία τους [53] [54]. Στα συστήματα συστάσεων συνήθως οι βαθμολογίες που γνωρίζει ο αλγόριθμος είναι πολύ λιγότερες από τις βαθμολογίες που πρέπει να προβλέψει. Με άλλα λόγια ο πίνακας είναι πολύ αραιός. Αυτό δημιουργεί το πρόβλημα ότι αν ένας χρήστης έχει ενδιαφέροντα τα οποία δεν ταιριάζουν με κάποιου άλλου χρήστη, ο αλγόριθμος δεν μπορεί να του 26 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

27 ΚΕΦΑΛΑΙΟ 2: Συστήματα Συστάσεων προτείνει σωστές προτάσεις [1]. Επίσης, αντικείμενα που έχουν βαθμολογηθεί από πολύ λίγους χρήστες, μπορεί να προτείνονται πολύ σπάνια, ακόμα και αν αυτοί οι χρήστες που τα βαθμολόγησαν έδωσαν υψηλή βαθμολογία. Για το πρόβλημα του εντοπισμού χρηστών με παρόμοια ενδιαφέροντα, έχει προταθεί η μέθοδος δημογραφικού φιλτραρίσματος (demographic filtering) [55], όπου οι χρήστες μπορεί να θεωρούνται όμοιοι όχι μόνο αν έχουν παρόμοιες βαθμολογήσεις σε αντικείμενα αλλά και αν ταιριάζουν δημογραφικά. Για παράδειγμα, σε ένα σύστημα προτάσεων εστιατορίων πληροφορίες χρηστών όπως ηλικία, γένος, ταχυδρομικός κώδικας, εκπαίδευση και είδος εργασίας χρησιμοποιούνται για να εντοπιστούν όμοιοι χρήστες [55] Υβριδικά Συστήματα Συστάσεων Όπως αναφέραμε παραπάνω οι δύο διαφορετικές κατηγορίες συστημάτων συστάσεων (με βάση το περιεχόμενο και συνεργατικές) έχουν η κάθε μια τα πλεονεκτήματα τους αλλά και τις αδυναμίες τους. Για αυτό τον λόγο έχουν προταθεί συστήματα που συνδυάζουν αυτές τις δύο κατηγορίες συστημάτων για να μπορέσουν διατηρώντας τα πλεονεκτήματα τους, να απαλείψουν αυτές τις αδυναμίες. Οι δύο αυτές κατηγορίες μπορούν να συνδυαστούν ως εξής [56]: a. χρήση συνεργατικών και με βάση το περιεχόμενο συστήματα συστάσεων ξεχωριστά και συνδυασμός των προβλέψεων τους, b. ενσωμάτωση χαρακτηριστικών των συστημάτων με βάση το περιεχόμενο σε συνεργατικά συστήματα, c. ενσωμάτωση χαρακτηριστικών των συνεργατικών συστημάτων σε συστήματα με βάση το περιεχόμενο, d. δημιουργία ενός μοντέλου που περιέχει χαρακτηριστικά και από τα συστήματα με βάση το περιεχόμενο και από τα συνεργατικά. Ο συνδυασμός των προβλέψεων ενός συνεργατικού και ενός συστήματος με βάση το περιεχόμενο μπορεί να γίνει με δυο τρόπους. Μπορεί να γίνει με συνδυασμό των προβλέψεων σε μια τελική πρόβλεψη, είτε με γραμμικό συνδυασμό των προβλέψεων [57] είτε με χρήση ψηφοφορίας [55], ή μπορεί να γίνει επιλογή μιας από της προβλέψεις που δώσαν τα 2 συστήματα ως τελική πρόβλεψη. Για παράδειγμα, το DailyLearner σύστημα [58] επιλέγει κάθε φορά την πρόβλεψη του συστήματος που έχει υψηλότερο δείκτη εμπιστοσύνης, ενώ το [59] επιλέγει την πρόταση του συστήματος συστάσεων που μπόρεσε να προβλέψει καλύτερα στο παρελθόν τις βαθμολογίες του χρήστη. Κάποια υβριδικά συστήματα συστάσεων βασίζονται σε συνεργατικές μεθόδους, χρησιμοποιώντας ταυτόχρονα και τα προφίλ των χρηστών [1]. Τα προφίλ με βάση το περιεχόμενο χρησιμοποιούνται για τον υπολογισμό της ομοιότητας μεταξύ των χρηστών και όχι τα κοινά βαθμολογημένα αντικείμενα [55]. Αυτό βοηθάει στην αντιμετώπιση του προβλήματος των αραιών βαθμολογιών που, όπως αναφέραμε παραπάνω, παρουσιάζεται στα αμιγώς συνεργατικά συστήματα συστάσεων [55]. Ένα άλλο πλεονέκτημα είναι ότι ένα αντικείμενο προτείνεται όχι μόνο όταν είναι υψηλά βαθμολογημένο από όμοιους χρήστες αλλά και όταν το αντικείμενο ταιριάζει με το προφίλ του χρήστη [1]. Ένα άλλο σύστημα που ανήκει στην κατηγορία β των υβριδικών είναι το σύστημα [60] όπου χρησιμοποιεί μεν την συνεργατική ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 27

28 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ προσέγγιση, αλλά ο πίνακας βαθμολογιών ενισχύεται με βαθμολογίες που προήλθαν μέσα από πρόβλεψη με βάση το περιεχόμενο. Η πιο δημοφιλής προσέγγιση των υβριδικών συστημάτων που ενσωματώνουν χαρακτηριστικά συνεργατικών συστημάτων σε συστήματα με βάση το περιεχόμενο είναι η χρήση κάποιας τεχνικής μείωσης διαστάσεων (dimensionality reduction) σε μια ομάδα από προφίλ με βάση το περιεχόμενο [61], ώστε να υπάρξει βελτίωση της απόδοσης σε σχέση με τα παραδοσιακά συστήματα με βάση το περιεχόμενο. Η τελευταία κατηγορία υβριδικών συστημάτων περιέχουν χαρακτηριστικά και από τα συστήματα με βάση το περιεχόμενο και από τα συνεργατικά συστήματα, όπως το σύστημα [62] που συνδυάζει αυτά τα χαρακτηριστικά σε έναν ταξινομητή που βασίζεται στους κανόνες (rule-based classifier). Επίσης τα υβριδικά συστήματα προτάσεων μπορούν να ενισχυθούν μέσα από τεχνικές που βασίζονται στην γνώση (knowledge-based) [63], όπως συλλογισμός ανά περίπτωση (case-based reasoning), ώστε να βελτιώσουν την ακρίβεια των προτάσεων και να αντιμετωπίσουν μερικά από τα μειονεκτήματα των κλασικών συστημάτων (όπως το πρόβλημα του καινούργιου χρήστη ή του καινούργιου αντικειμένου που αναφέραμε παραπάνω). Για παράδειγμα, το σύστημα συστάσεων Entrée [63] χρησιμοποιεί γνώση από τον χώρο των εστιατορίων, κουζινών και τροφών (για παράδειγμα, ότι sushi διατίθεται στα κινέζικα εστιατόρια) ώστε να προτείνει εστιατόρια στους χρήστες του. Το βασικό μειονέκτημα των συστημάτων που βασίζονται στην γνώση είναι ότι η γνώση αυτή δεν είναι πάντα διαθέσιμη και η ενσωμάτωση της στο σύστημα είναι πολύπλοκη διαδικασία. Για αυτό τον λόγο τα συστήματα αυτά χρησιμοποιούνται για εφαρμογές που η γνώση του πεδίου είναι διαθέσιμη και σε κάποια δομημένη μορφή, όπως μια οντολογία. Για παράδειγμα, τα Quickstep και Foxtrot συστήματα [64] χρησιμοποιούν μια οντολογία των θεμάτων των ερευνητικών εργασιών ώστε να προτείνουν ερευνητικά κείμενα στους χρήστες τους. 28 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

29 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων Κ Ε Φ Α Λ Α Ι Ο 3 : Μ Ε Τ Ρ Ι Κ Ε Σ Α Ξ Ι Ο Λ Ο Γ Η Σ Η Σ Σ Υ Σ Τ Η Μ ΑΤ Ω Ν Σ Υ Σ Τ Α Σ Ε Ω Ν ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 29

30 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ΜΕΤΡΙΚΕΣ ΑΞΙΟΛΟΓΗΣΗΣ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ Για να υπάρξει πρόοδος στην έρευνα των συστημάτων συστάσεων, πρέπει να οριστεί κάποιος τρόπος αξιολόγησης τους. Το πρόβλημα στην υλοποίηση και στην αξιολόγηση των συστημάτων συστάσεων, είναι ο ορισμός της «χρησιμότητας» της πρόβλεψης και του συστήματος γενικότερα. Οι ιδιότητες που επιθυμούμε ένα τέτοιο σύστημα να ενσωματώνει και οι τρόποι αξιολόγησης αυτών των ιδιοτήτων είναι αντικείμενο εκτενούς μελέτης στην βιβλιογραφία των συστημάτων συστάσεων. Κάποια παραδείγματα αυτής της έρευνας είναι τα [65] [6] [66] [67]. Στην συνέχεια του κεφαλαίου θα περιγράψουμε τις μετρικές ακρίβειας, οι οποίες είναι ο πλέον διαδεδομένος τρόπος αξιολόγησης των συστημάτων συστάσεων και θα αναλύσουμε γιατί οι μετρικές αυτές δεν μπορούν να αποτελέσουν μοναδικό κριτήριο για την αξιολόγηση αυτών των συστημάτων. Αυτή η ανάλυση θα παρουσιάσει την αναγκαιότητα χρήσης και άλλων ειδών μετρικών, και ιδιαίτερα μετρικών της ποικιλότητας των συστάσεων. Θα αναφέρουμε τις σημαντικότερες μετρικές αυτού του είδους που υπάρχουν στην βιβλιογραφία των Συστημάτων Συστάσεων και θα προτείνουμε την υιοθέτηση μετρικών ποικιλότητας που χρησιμοποιούνται σε άλλες Επιστήμες. 3.1 ΑΞΙΟΛΟΓΗΣΗ ΜΕ ΒΑΣΗ ΤΗΝ ΑΚΡΙΒΕΙΑ Η ιδιότητα της οποίας οι μετρικές χρησιμοποιούνται περισσότερο ώστε να αξιολογηθεί ένα σύστημα συστάσεων είναι αυτή της ακρίβειας (accuracy). Για παράδειγμα, στον διαγωνισμό του Netflix [68] το μοναδικό κριτήριο επιλογής του καλύτερου συστήματος συστάσεων ήταν η ακρίβεια. Η έννοια της ακρίβειας προέρχεται από τα συστήματα πρόβλεψης (prediction systems), και ορίζεται ως την ικανότητα του συστήματος να προβλέψει την βαθμολογία ενός χρήστη για ένα αντικείμενο που δεν έχει ακόμα βαθμολογήσει, με όσο το δυνατόν μικρότερη απόκλιση. Η σπουδαιότητα αυτής της ιδιότητας σε ένα σύστημα συστάσεων, έγκειται στο γεγονός ότι εάν έχει την δυνατότητα το σύστημα να προβλέψει επιτυχώς την βαθμολογία ενός χρήστη στα αντικείμενα που δεν έχει ακόμα βαθμολογήσει, τότε τα αντικείμενα, για τα οποία προέβλεψε ότι ο χρήστης θα βαθμολογούσε υψηλά, αν προταθούν στον χρήστη θα τον ικανοποιήσουν αφού όντως θα είναι αντικείμενα που του αρέσουν Μετρικές ακρίβειας Η αξιολόγηση της ακρίβειας ενός συστήματος συστάσεων συνήθως γίνεται με διάσπαση του συνόλου με τις βαθμολογίες που γνωρίζουμε από πριν ότι έχουν δώσει οι χρήστες σε κάποια αντικείμενα (dataset), σε δυο επιμέρους σύνολα, το σύνολο εκπαίδευσης (training set) και το σύνολο ελέγχου (test set). Συνήθως το test set περιέχει το 10% των βαθμολογιών και το training set τις υπόλοιπές. Το σύνολο εκπαίδευσης χρησιμοποιείται από το σύστημα για να παράγει τις συστάσεις, και το σύνολο ελέγχου για να επικυρώσει αν οι συστάσεις του συστήματος είναι ακριβείς. Οι μετρικές ακριβείας ανήκουν σε δύο κατηγορίες, τις στατιστικές και τις υποστήριξης λήψης αποφάσεων (decision-support) [65]. Οι στατιστικές μετρικές 30 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

31 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων ακρίβειας, γενικώς, συγκρίνουν τις βαθμολογίες που έχουν δώσει οι χρήστες με τις προβλέψεις αυτών των βαθμολογιών που παράγει το σύστημα. Μια τέτοια μετρική είναι το mean absolute error (MAE), όπου n είναι το πλήθος των αξιολογήσεων στις οποίες ελέγχουμε την δυνατότητα πρόβλεψης του αλγορίθμου (μέγεθος του συνόλου εκπαίδευσης) και είναι η πρόβλεψη της τιμής της βαθμολογίας ενώ είναι η πραγματική τιμή της βαθμολογίας. (10) Επίσης χρησιμοποιείται και το root mean square error (RMSE), Όσο μεγαλύτερη είναι η τιμή αυτών των μετρικών (MAE και RMSE), τόσο μεγαλύτερη είναι η απόσταση των προβλέψεων των τιμών των αξιολογήσεων από τις πραγματικές τιμές τους, άρα έχουμε την βέλτιστη ακρίβεια όταν οι τιμές αυτών των μετρικών είναι μηδέν. Οι μετρικές υποστήριξης λήψης αποφάσεων προσδιορίζουν την ικανότητα του συστήματος να προβλέψει αντικείμενα υψηλού ενδιαφέροντος για τον χρήστη. Σε αυτή την κατηγορία ανήκουν οι μετρικές precision, recall, F-measure και receiver operating characteristic (ROC) που παρουσιάζει την σχέση μεταξύ true positive και false positive βαθμολογίες στα συστήματα συστάσεων [65]. Αναλυτικότερα, η μετρική precision διαφέρει σε σχέση στον τρόπο χρήση της στα συστήματα συστάσεων, σε σχέση με τα συστήματα πρόβλεψης, στο γεγονός ότι λαμβάνει υπόψη τα top-l αντικείμενα που προτείνονται σε έναν χρήστη (top-l είναι το πλήθος L των αντικειμένων που εμφανίζονται υψηλότερα σε μια σύσταση, όπου το L ορίζεται ανάλογα με την εφαρμογή). Ο τύπος υπολογισμού της είναι δηλαδή:, (12) όπου είναι το πλήθος των σχετικών αντικειμένων, δηλαδή των αντικειμένων που ο χρήστης βαθμολόγησε θετικά στο σύνολο ελέγχου. Για τον υπολογισμό της τιμής του precision ολόκληρου του συστήματος χρησιμοποιείται ο τύπος:, (13) Όπου m το πλήθος όλων των χρηστών. Διαισθητικά, δηλαδή, το precision δηλώνει το ποσοστό από τα top-l αντικείμενα που προτείνει ο αλγόριθμος, που γνωρίζουμε από το σύνολο ελέγχου ότι βαθμολόγησε όντως θετικά ο χρήστης. Το recall, από την άλλη δηλώνει το ποσοστό των αντικειμένων που βαθμολόγησε θετικά ο χρήστης και βρίσκονται στα top-l αντικείμενα που προτείνει ο αλγόριθμος. Η μετρική F-mean είναι ο αρμονικός μέσος όρος του precision και του recall. Εδώ να αναφέρουμε ότι ένα μειονέκτημα των μετρικών αυτών όταν εφαρμόζονται σε συστήματα συστάσεων, αντί για συστήματα πρόβλεψης, είναι ότι σχεδόν ποτέ δεν είναι διαθέσιμες οι βαθμολογίες όλων των αντικειμένων από όλους τους χρήστες. Είναι πολύ ακριβό και χρονοβόρο να ζητηθεί από τους χρήστες, για λόγους εξακρίβωσης της ακρίβειας ενός συστήματος συστάσεων, να βαθμολογήσουν όλα τα αντικείμενα. Αυτό οδηγεί σε πειραματισμούς πάνω σε σύνολα βαθμολογιών που οι χρήστες επέλεξαν να βαθμολογήσουν (για παράδειγμα, εάν το σύστημα συστάσεων χρησιμοποιεί δεδομένα βαθμολογιών ταινιών, αρχικά είναι διαθέσιμες οι βαθμολογίες των χρηστών στις ταινίες που επέλεξαν να παρακολουθήσουν και να (11) ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 31

32 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ βαθμολογήσουν). Το σύνολο εκπαίδευσης, λοιπόν, και το σύνολο ελέγχου που προκύπτει από αυτά τα δεδομένα, μπορεί να μην είναι αντικειμενικό (αφού οι χρήστες πιθανόν να βαθμολόγησαν μόνο αντικείμενα που τους άρεσαν για παράδειγμα), οπόταν και οι τιμές αυτών των μετρικών να μην είναι αντιπροσωπευτικές της ακρίβειας του συστήματος. 3.2 ΑΞΙΟΛΟΓΗΣΗ ΜΕ ΒΑΣΗ ΤΗΝ ΠΟΙΚΙΛΟΤΗΤΑ ΤΩΝ ΣΥΣΤΑΣΕΩΝ Αν και η ιδιότητα των συστημάτων συστάσεων να είναι ακριβή στις προβλέψεις τους, όπως αναφέραμε παραπάνω, είναι σημαντική, οι προτάσεις που παράγονται δεν είναι αρκετό να συμβαδίζουν με τα ενδιαφέροντα του χρήστη, αλλά πρέπει να είναι και χρήσιμες, δηλαδή να βοηθάν τον χρήστη στο να λάβει αποφάσεις [6]. Για παράδειγμα στο [7] υποστηρίζεται ότι η αξιολόγηση των συστημάτων συστάσεων πρέπει να κινηθεί πέρα από τις μετρικές ακρίβειας. Πολλοί ερευνητές έχουν εξερευνήσει το ενδεχόμενο να αυξήσουν την ικανοποίηση των χρηστών από τις προβλέψεις διαφοροποιώντας τα αντικείμενα που συμπεριλαμβάνονται σε αυτές [8] [9] [10]. Οι έρευνες αυτές υποστηρίζουν ότι ένας στόχος των συστημάτων συστάσεων είναι να παρέχουν στον χρήστη εξατομικευμένα αντικείμενα και με την μεγαλύτερη ποικιλότητα στις συστάσεις, πετυχαίνουν αυτόν τον στόχο. Βασιζόμενοι λοιπόν σε αυτή την θεωρία, οι ερευνητές προτείνουν νέες μεθόδους παραγωγής συστάσεων, όπου τα αντικείμενα που προτείνονται στους χρήστες είναι ποίκιλα. Να προσθέσουμε ότι η έρευνα που έχει γίνει πάνω στην αύξηση της ποικιλότητας των συστάσεων, επιχειρεί να πετύχει κάτι τέτοιο με όσο το δυνατόν μικρότερη μείωση τις ακρίβειας [8] [32] [69] [70], αφού η ακρίβεια των συστάσεων συνεχίζει να είναι σημαντικός παράγοντας στην ικανοποίηση του χρήστη από τις συστάσεις. Για την ποσοτικοποίηση, λοιπόν, της ποικιλότητας των συστάσεων έχουν προταθεί διάφορες μετρικές στην βιβλιογραφία, τις οποίες θα τις αναλύσουμε στην επόμενη ενότητα Επισκόπηση Μετρικών Ποικιλότητας Ξεκινώντας την παρουσίαση των μετρικών ποικιλότητας των Συστημάτων Συστάσεων, είναι σκόπιμο να αναφέρουμε ότι υπάρχουν δύο βασικές προσεγγίσεις της ποικιλότητας στην βιβλιογραφία, από τις οποίες προκύπτουν δυο κατηγορίες μετρικών: Μετρικές ενδογενούς ποικιλότητας (intra-list diversity) Μετρικές συλλογικής ποικιλότητας (aggregate diversity) Οι μετρικές ενδογενούς ποικιλότητας υπολογίζουν την διαφορετικότητα μεταξύ των αντικειμένων που περιέχονται σε μια σύσταση ενός χρήστη και ποσοτικοποιείται συνήθως με τον υπολογισμό της μέσης τιμής της διαφορετικότητας μεταξύ όλων των ζευγών αντικειμένων που περιέχονται στην σύσταση αυτή [14]. Η αναγκαιότητα για υψηλή ενδογενής ποικιλότητα έγκειται στην θεώρηση ότι η προβολή συστάσεων που περιέχουν διαφορετικά αντικείμενα μεταξύ τους αυξάνει την πιθανότητα ο χρήστης να εντοπίσει κάποιο προϊόν που τον ενδιαφέρει και έτσι να αυξήσει την ικανοποίηση του από το σύστημα. Θα μιλήσουμε αναλυτικότερα για τις μετρικές αυτές, που έχουν προταθεί στην βιβλιογραφία στην συνέχεια της ενότητας, και στην επόμενη ενότητα θα παρουσιάσουμε τις μετρικές που προτείνουμε με αυτήν την εργασία. 32 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

33 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων Οι μετρικές συλλογική ποικιλότητας, από την άλλη, ποσοτικοποιούν την διαφορετικότητα των συστάσεων μεταξύ τους, δηλαδή την διαφοροποίηση των συστάσεων που εμφανίζει το σύστημα από χρήστη σε χρήστη [9]. Ο λόγος ύπαρξης αυτής της επιπλέον κατηγορίας μετρικών είναι ότι η υψηλή ποικιλότητα των αντικειμένων που προτείνονται σε έναν χρήστη (ενδογενής ποικιλότητα) δεν σημαίνει και υψηλή ποικιλότητα μεταξύ των προτάσεων σε όλο το σύστημα (συλλογική ποικιλότητα). Για παράδειγμα, αν ένα σύστημα προτείνει σε όλους τους χρήστες 10 συγκεκριμένα αντικείμενα τα οποία διαφοροποιούνται το ένα με το άλλο (υψηλή intra-list diversity), από όλα τα αντικείμενα που είναι γνωστά στο σύστημα, μόνο αυτά τα δέκα θα προωθούνται. Το υψηλό, λοιπόν, aggregate diversity στα συστήματα συστάσεων μπορεί να είναι επωφελή όχι μόνο στους χρήστες, αλλά και στις επιχειρήσεις που τα έχουν αναπτύξει, αφού δίνει την δυνατότητα να καταπολεμηθεί το φαινόμενο του long-tail [71]. Χαρακτηριστικά, στο [10] ερευνήθηκε ο αντίκτυπος στις πωλήσεις αν αυξηθεί η συλλογική ποικιλότητα. Δυστυχώς όμως τα παραδοσιακά συστήματα συστάσεων δεν διαθέτουν υψηλό aggregate diversity και τείνουν να ευνοούν τα αντικείμενα που έχουν βαθμολογηθεί από πολλούς χρήστες (popular items). Για παράδειγμα, στον διαγωνισμό του Netflix [68] [72], υπάρχουν ενδείξεις ότι στην διαδικασία εντοπισμού κοινών ταινιών μεταξύ δυο χρηστών, τα συστήματα αποφεύγουν σπάνιες περιπτώσεις και προτείνουν πολύ σχετικές αλλά ασφαλείς ταινίες στους χρήστες [73]. Εδώ διακρίνεται και η αρνητική συσχέτιση μεταξύ ποικιλότητας και ακρίβειας που αναφέραμε παραπάνω, αφού υψηλή ακρίβεια συχνά επιτυγχάνεται με την προώθηση ασφαλών διάσημων αντικειμένων, το οποίο συνεπάγεται σε μείωση της ποικιλότητας και σε λιγότερο προσωποποιημένες προτάσεις [8]. Από την άλλη η ποικιλότητα στις προτάσεις, προϋποθέτει και προώθηση αντικειμένων που είναι πιο σπάνια, δηλαδή που έχουν βαθμολογηθεί από λιγότερους χρήστες, και αυτή η έλλειψη βαθμολογιών, άρα και πληροφορίας, για αυτά τα αντικείμενα δυσκολεύει τον αλγόριθμο να προβλέψει σωστά την βαθμολογία τους και άρα μειώνει την ακρίβεια. Ξεκινώντας με την περιγραφή των μετρικών ενδογενούς ποικιλότητας, να αναφέρουμε την [15] όπου ορίζεται η μετρική Intra-list Similarity (ILS), της οποίας όσο χαμηλότερη είναι η τιμή τόσο υψηλότερη είναι η intra-list ποικιλότητα. Ο τύπος της είναι ο εξής:, (14) όπου rec(u) είναι η λίστα με τα αντικείμενα που προτείνονται στον χρήστη u,, είναι δύο διαφορετικά αντικείμενα αυτής της λίστας και είναι μια αυθαίρετη συνάρτηση που υπολογίζει την ομοιότητα των δυο αυτών αντικειμένων στο διάστημα [-1,+1]. Στις [74] [75] παρουσιάζεται μια τροποποιημένη έκδοση της ILS, η EILD (Expected Intra-List Diversity), η οποία λαμβάνει υπόψη και την κατάταξη των αντικειμένων μέσα στην λίστα. Μια άλλη προσέγγιση της μοντελοποίησης της ενδογενής ποικιλότητας, που εμφανίζεται στην [14], την αντιμετωπίζει ως την μέση τιμή της διαφορετικότητας μεταξύ των αντικειμένων που περιέχει. Ειδικότερα, αν είναι η απόσταση (ή διαφορετικότητα) μεταξύ των αντικειμένων, και p το πλήθος των αντικειμένων στην λίστα, ο τύπος υπολογισμού της ποικιλότητας της λίστας (σύστασης rec(u)) που προτάθηκε είναι ο εξής:, (15) ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 33

34 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Η απόσταση μπορεί να προκύπτει από την διαφορά των χαρακτηριστικών των αντικειμένων ή από κάποιον άλλο τρόπο ανάλογα με την εφαρμογή. Μια διαφορετική προσέγγιση της intra-list ποικιλότητας είναι μέσω της χρήσης των αιτιολογιών (explanations) [15]. Η αιτιολογία ενός προτεινόμενου αντικειμένου εξαρτάται από τον υποκείμενο αλγόριθμο παραγωγής συστάσεων που χρησιμοποιείται, και διαισθητικά είναι η αιτία που ο αλγόριθμος πρότεινε το συγκεκριμένο αντικείμενο στον συγκεκριμένο χρήστη. Εάν ένα αντικείμενο i προτείνεται σε έναν χρήστη u από έναν αλγόριθμο παραγωγής συστάσεων με βάση το περιεχόμενο, τότε η αιτιολογία αυτής της πρότασης ορίζεται ως εξής:, (16) όπου είναι η ομοιότητα μεταξύ των αντικειμένων. Ουσιαστικά, δηλαδή, η αιτιολογία είναι το σύνολο από τα αντικείμενα που έχει βαθμολογήσει ο χρήστης u στο παρελθόν. Η αιτιολογία μπορεί να περιέχει και περισσότερη πληροφορία, όπως το και το rating(,i). Αν, από την άλλη, το αντικείμενο i προτείνεται σε έναν χρήστη u από ένα συνεργατικό σύστημα συστάσεων, τότε η αιτιολογία αυτής της πρότασης ορίζεται ως:, (17) δηλαδή το σύνολο των χρηστών που είναι όμοιοι με τον u και έχουν βαθμολογήσει το αντικείμενο i. Και σε αυτήν την περίπτωση μπορεί να περιέχεται στην αιτιολογία και περισσότερη πληροφορία, όπως το και το rating(,i). Εφόσον, λοιπόν, μια αιτιολογία είναι ένα σύνολο (είτε αντικειμένων, είτε χρηστών), οι ερευνητές όρισαν την ποικιλότητα μιας λίστας αντικειμένων που προτείνονται σε έναν χρήστη u ως την απόσταση των αιτιολογήσεων των αντικειμένων που περιέχονται στην λίστα. Για τον υπολογισμό της απόστασης μεταξύ δύο αντικειμένων i και μπορεί να χρησιμοποιηθεί οποιαδήποτε μετρική ομοιότητας συνόλων, όπως ο Jaccard similarity coefficient ή η cosine similarity. Για παράδειγμα, στην περίπτωση που χρησιμοποιηθεί ο Jaccard similarity coefficient, ο υπολογισμός της απόστασης μεταξύ του αντικειμένου i και ορίζεται ως εξής: Κάποιες άλλες προσεγγίσεις της intra-list ποικιλότητας είναι ως την μέση σπανιότητα των αντικειμένων που περιέχονται στην λίστα (mean item rarity) [76] ή ο υπολογισμό της μέσα από μετρικές που χρησιμοποιούνται στον τομέα της ανάκτησης πληροφορίας, όπως οι μετρικές αndcg [77], NDCG και ERR [78]. Τέλος, στην [79], οι ερευνητές έθεσαν δυο ερωτήσεις στους χρήστες για να μπορέσουν να απεικονίσουν πως οι χρήστες εκλαμβάνουν την ποικιλότητα στις προτάσεις που τους παρουσιάζονται. Η μια ερώτηση ήταν the items recommended to me are of various kinds και είχε σκοπό να αντικατοπτρίσει την ποικιλότητα των κατηγοριών που ανήκαν τα αντικείμενα, και η άλλη ερώτηση ήταν the items recommended to me are similar to each other και είχε στόχο να φανερώσει την ποικιλότητα μεταξύ των αντικειμένων. Οι μετρικές που αναλύσαμε παραπάνω υπολογίζουν την ποικιλότητα μεταξύ των αντικειμένων που προτείνονται σε ένα χρήστη (intra-list diversity), στην [69] όμως οι ερευνητές χρησιμοποίησαν το Hamming distance με σκοπό να εκφράσουν την ποικιλότητα μεταξύ των προτάσεων από χρήστη σε χρήστη (συλλογική ποικιλότητα). Αν είναι το πλήθος των αντικειμένων που βρίσκονται στις top-l θέσεις των 34 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

35 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων προτάσεων και του χρήστη i και του χρήστη j, τότε ο τύπος της διαφοράς μεταξύ αυτών των δύο λιστών ορίζεται ως εξής: Με αυτόν τον τρόπο, αν οι χρήστες i και j έχουν τα ίδια αντικείμενα στις top-l θέσεις των λιστών τους, τότε η διαφορά είναι ίση με το 0, ενώ αν τα αντικείμενα είναι εντελώς διαφορετικά η διαφορά είναι 1. Υπολογίζοντας το μέσο όρο των μεταξύ όλων των χρηστών, προκύπτει η μετρική Η(L), όπου όσο μεγαλύτερη είναι η τιμή της σημαίνει και μεγαλύτερη ποικιλότητα μεταξύ των προτάσεων που γίνονται από χρήστη σε χρήστη και άρα και μεγαλύτερη ικανότητα του αλγορίθμου να εξάγει εξατομικευμένες προτάσεις Μετρικές Κάλυψης Κλείνοντας την ενότητα των μετρικών ποικιλότητας που εμφανίζονται στην βιβλιογραφία των συστημάτων συστάσεων, πρέπει να αναφερθούμε και στην μετρική της κάλυψης (coverage), η οποία αν και θεωρείται ότι εξετάζει ένα διαφορετικό χαρακτηριστικό των συστημάτων συστάσεων, αυτό το χαρακτηριστικό είναι τόσο στενά συνδεδεμένο με την ποικιλότητα που δεν μπορούμε να το παραλείψουμε στην έρευνα μας. Σύμφωνα με το [6], ως κάλυψη ενός συστήματος συστάσεων ορίζεται η μετρική του πεδίου των αντικειμένων που μπορεί ένα σύστημα συστάσεων να προτείνει στους χρήστες του. Ουσιαστικά, η κάλυψη ορίζεται ως το ποσοστό των αντικειμένων που μπορεί ένα σύστημα συστάσεων να προτείνει στους χρήστες από το συνολικό πλήθος των αντικειμένων που είναι διαθέσιμα στο σύστημα (Ι). Αυτή η μετρική λοιπόν, αν και εξετάζει ένα διαφορετικό χαρακτηριστικό των συστημάτων συστάσεων, είναι σημαντικός δείκτης της ικανότητας του συστήματος να δημιουργήσει συστάσεις με υψηλή ποικιλότητα διότι ένα σύστημα το οποίο παρουσιάζει χαμηλή κάλυψη σημαίνει ουσιαστικά ότι δεν έχει την δυνατότητα να προτείνει στους χρήστες αντικείμενα από όλο το Ι αλλά από ένα υποσύνολο του. Η αδυναμία, λοιπόν, του συστήματος να προτείνει αντικείμενα από όλο το Ι σημαίνει μειωμένη ποικιλότητα του συνόλου των αντικειμένων που μπορούν να προταθούν στους χρήστες, η οποία μειώνει την ικανότητα του συστήματος, τελικά, να παρέχει ποικιλότητα στις συστάσεις που εμφανίζει στους χρήστες. Στην βιβλιογραφία εμφανίζονται δύο προσεγγίσεις της μετρικής της κάλυψης [80]: Το ποσοστό των συνολικών αντικειμένων (Ι) που μπορεί το σύστημα να παράγει συστάσεις σε έναν χρήστη (prediction coverage ή κάλυψη πρόβλεψης) Το ποσοστό των συνολικών αντικειμένων (Ι) που ουσιαστικά εμφανίζονται στις συστάσεις των χρηστών (catalogue coverage ή κάλυψη λίστας) Η κάλυψη πρόβλεψης βασίζεται σε μεγάλο βαθμό από τον αλγόριθμο που χρησιμοποιεί το σύστημα για να παράγει τις συστάσεις και την είσοδο του συστήματος, δηλαδή τις αξιολογήσεις των χρηστών. Το σύστημα για να μπορέσει να προτείνει ένα αντικείμενο πρέπει να έχει ένα αρκετά μεγάλο πλήθος αξιολογήσεων για αυτό το αντικείμενο. Για παράδειγμα, σε κάποια συστήματα συστάσεων ορίζεται ένα ελάχιστό πλήθος αξιολογήσεων που πρέπει να έχει ένα αντικείμενο για να μπορέσει το σύστημα να παράγει συστάσεις [80]. Ο τύπος υπολογισμού της κάλυψης πρόβλεψης είναι: ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 35

36 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ όπου είναι το πλήθος των αντικειμένων που μπορεί το σύστημα συστάσεων να παράγει συστάσεις και το συνολικό πλήθος των αντικειμένων. Η δεύτερη προσέγγιση της κάλυψης, η κάλυψη λίστας, υπολογίζει το ποσοστό των συνολικών αντικειμένων που ουσιαστικά προτείνονται στους χρήστες. Για να μπορέσει να υπολογιστεί, παρατηρούμε πόσα μοναδικά αντικείμενα εμφανίζονται σε ένα προκαθορισμένο πλήθος από συστάσεις και συγκρίνουμε αυτό το πλήθος, με το πλήθος των συνολικών αντικειμένων [6]. Εάν είναι το σύνολο των αντικειμένων που υπάρχουν στην σύσταση j που περιέχει L στο πλήθος αντικείμενα, και Ν το πλήθος των συστάσεων που εξετάζουμε, τότε η κάλυψη λίστας που θα προκύψει από αυτές τις συστάσεις είναι: Στην παρακάτω υποενότητα θα επιχειρήσουμε να εισάγουμε επιπλέον μετρικές για τον υπολογισμό της ποικιλότητας που προέρχονται από άλλες επιστήμες, αφού πρώτα παραθέσουμε έναν συγκεντρωτικό πίνακα των μετρικών που αναφέραμε έως τώρα: Μετρικές Mean Absolute Error Root Mean Square Error Είδος μετρικής Στατιστική μετρική ακρίβειας Στατιστική μετρική ακρίβειας Receiver Operating Characteristic Μετρική ακρίβειας από τον τομέα Υποστήριξης Λήψης Αποφάσεων Precision Μετρική ακρίβειας από τον τομέα Υποστήριξης Λήψης Αποφάσεων Recall Μετρική ακρίβειας από τον τομέα Υποστήριξης Λήψης Αποφάσεων F-mean Μετρική ακρίβειας από τον τομέα Υποστήριξης Λήψης Αποφάσεων Intra-list similarity Expected Intra-List Diversity Mean Item Rarity αndcg, NDCG και ERR Aggregate Diversity Prediction Coverage Catalogue Coverage Μετρική ενδογενούς ομοιομορφίας Μετρική ενδογενούς ποικιλότητας Μετρική ενδογενούς ποικιλότητας Μετρική ενδογενούς ποικιλότητας από τον τομέα Ανάκτησης Πληροφορίας Μετρική συλλογικής ποικιλότητας Μετρική κάλυψης Μετρική κάλυψης Πίνακας 3: Μετρικές αξιολόγησης Συστημάτων Συστάσεων 36 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

37 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων Διεπιστημονικές Μετρικές ποικιλότητας κατάλληλες για Συστήματα Συστάσεων Η ανάγκη για ποσοτικοποίηση της ποικιλότητας δεν περιορίζεται στα Συστήματα Συστάσεων. Στο παρελθόν έχουν προταθεί μετρικές ποικιλότητας οι οποίες εφαρμόζονται σε πολλούς τομείς για τις ανάγκες της έρευνας. Στην επιστήμη της Οικολογίας, για παράδειγμα, χρησιμοποιούνται οι μετρικές αυτές για τον υπολογισμό της ποικιλότητας των ειδών των οργανισμών σε ένα οικοσύστημα [81] [82]. Στην Βιολογία η χρήση μετρικών ποικιλότητας θεωρούνται μέρος της πειραματικής μεθοδολογίας σε πολλούς τομείς όπως η μελέτη της μόλυνσης και άλλες μελέτες της κατάστασης του περιβάλλοντος [83]. Στην Δημογραφία οι μετρικές αυτές χρησιμοποιούνται για τον υπολογισμό της ποικιλότητας διαφόρων ομάδων ανθρώπων [84]. Για αυτόν τον λόγο, λοιπόν, η μελέτη των μετρικών ποικιλότητας είναι εκτεταμένη και πλούσια και είναι χρήσιμό να ερευνήσουμε κατά πόσο αυτές οι μετρικές μπορούν να εφαρμοστούν και στην αξιολόγηση των συστημάτων συστάσεων. Επίσης μερικές φορές η ποικιλότητα υπολογίζεται μέσα από 2 ειδών μετρικές, οι μετρικές που υπολογίζουν τον πλούτο των ειδών (richness) και αυτές που υπολογίζουν την ομοιοκατανομή τους (evenness) [81]. H ομοιοκατανομή εκφράζει πόσο ομοιόμορφα είναι κατανεμημένα τα άτομα στον πληθυσμό σε σχέση με τα είδη τους και ο πλούτος των ειδών, το συνολικό πλήθος των ειδών στο σύνολο που μελετάμε. Στα δυο παρακάτω παραδείγματα φαίνεται η ανάγκη και για τις δύο μετρικές, ώστε να προσδιοριστεί η ποικιλότητα: α. έστω ότι έχουμε 10 άτομα σε ένα πληθυσμό και τα εννέα ανήκουν στον είδος Α και το ένα στο είδος Β, εάν χρησιμοποιούσαμε μόνο τον δείκτη richness η ποικιλότητα αυτού του πληθυσμού θα ήταν η ίδια με έναν πληθυσμό που τα 5 άτομα ανήκουν στο είδος Α και τα άλλα 5 στο είδος Β. β. από την άλλη η μετρική richness είναι απαραίτητη γιατί μόνο με την μετρική ομοιοκατανομής, δυο πληθυσμοί όπου στον έναν κάθε άτομο ανήκει σε διαφορετικό είδος και στον άλλο τα μισά άτομα ανήκουν στον ένα είδος και τα μισά στο άλλο θα είχαν την ίδια ποικιλότητα, αφού τα άτομα είναι όμοια κατανεμημένα, και στις δύο περιπτώσεις, σε σχέση με τα είδη τους. Πριν προχωρήσουμε παραπάνω με την ανάλυση των μετρικών αυτών, θα ήταν σκόπιμο να γίνει μελέτη στο κατά πόσο αυτές οι μετρικές μπορούν να χρησιμοποιηθούν στην αξιολόγηση των συστημάτων συστάσεων. Όπως φαίνεται και από τα παραπάνω παραδείγματα, οι μετρικές ποικιλότητας, ανεξάρτητα με τον τομέα που χρησιμοποιούνται, υπολογίζουν την ποικιλότητα σε έναν πληθυσμό λαμβάνοντας υπόψη πως τα άτομα-μονάδες αυτού του πληθυσμού είναι ταξινομημένα σε διάφορα είδη-κατηγορίες. Εάν λοιπόν θεωρήσουμε ως τον πληθυσμό την λίστα των αντικειμένων που προτείνονται σε έναν χρήστη, και άρα ως άτομο του πληθυσμού το αντικείμενο, για να χρησιμοποιήσουμε αυτές τις μετρικές πρέπει να βρούμε το ανάλογο του είδους. Με άλλα λόγια, πως μπορούμε να θεωρήσουμε 2 αντικείμενα ότι ανήκουν στο ίδιο είδος ή σε διαφορετικό. Ως είδος λοιπόν μπορεί να θεωρηθεί οποιοδήποτε χαρακτηριστικό των αντικειμένων που δεν επιθυμούμε, ανάλογα με την εφαρμογή, να το διαθέτουν πολλά αντικείμενα που προτείνονται, ταυτόχρονα. Έτσι εφαρμόζοντας αυτές τις μετρικές μπορούμε να αντιληφθούμε κατά πόσο μια σύσταση του αλγορίθμου προσφέρει πάνω σε αυτό το χαρακτηριστικό ποικίλα αντικείμενα. Εάν για παράδειγμα, η εφαρμογή του συστήματος συστάσεων έχει σαν στόχο να ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 37

38 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ προτείνει μουσικά τραγούδια και επιθυμούμε να ελέγξουμε κατά πόσο οι προτάσεις που γίνονται περιέχουν τραγούδια από πολλές κατηγορίες (genres), τότε σαν είδος θα θεωρήσουμε το genre και θα ομαδοποιήσουμε τις συστάσεις σύμφωνα με αυτό. Αντίστοιχα μπορεί να μας ενδιαφέρει η ποικιλότητα στους καλλιτέχνες που προτείνονται ή στα άλμπουμ στα οποία ανήκουν τα τραγούδια. Αφού λοιπόν υπολογιστεί για κάθε σύσταση του αλγορίθμου η ποικιλότητα της, μπορεί να χρησιμοποιηθεί ο μέσος όρος αυτών των τιμών για να αξιολογηθεί αν ο αλγόριθμος προσφέρει πάνω σε αυτό το χαρακτηριστικό ποικίλες προτάσεις. Στον παρακάτω πίνακα παρουσιάζονται συνοπτικά οι αντιστοιχίες των όρων των μετρικών ποικιλότητας με αυτούς των συστημάτων συστάσεων: Όροι μετρικών ποικιλότητας πληθυσμός άτομο του πληθυσμού Όροι Συστημάτων Συστάσεων σύσταση (λίστα προτεινόμενων αντικειμένων στον χρήστη) προτεινόμενο αντικείμενο είδος χαρακτηριστικό σύμφωνα με το οποίο θέλουμε να υπολογίσουμε την ποικιλότητα ποικιλότητα των ατόμων σύμφωνα με το είδος που ανήκουν ποικιλότητα των αντικειμένων της σύστασης σύμφωνα με το χαρακτηριστικό που μας ενδιαφέρει Πίνακας 4: Αντιστοιχία όρων μετρικών ποικιλότητας με όρους των συστημάτων συστάσεων Σχεδόν όλες οι μετρικές ποικιλότητας βασίζονται για να υπολογιστούν στην γνώση του : όπου είναι το πλήθος των ατόμων-αντικειμένων που ανήκουν στο είδος i και Ν είναι το συνολικό πλήθος τον ατόμων (στην περίπτωση μας, αντικειμένων που προτείνονται στον χρήστη). Άρα οι μετρικές αυτές μπορούν να χρησιμοποιηθούν όποτε είναι γνωστές από πριν οι τιμές του χαρακτηριστικού πάνω στο οποίο μας ενδιαφέρει η ποικιλότητα των συστάσεων. Στις περιπτώσεις που το σύστημα συστάσεων είναι με βάση το περιεχόμενο, τότε σίγουρα υπάρχει αυτή η γνώση, αφού τα συστήματα αυτού του είδους παράγουν, όπως είπαμε και παραπάνω, συστάσεις βασιζόμενα στην γνώση των χαρακτηριστικών των αντικειμένων. Εδώ να αναφέρουμε ότι κάποιες μετρικές θεωρούν ότι το σύνολο που έχουμε διαθέσιμο προς ανάλυση είναι δείγμα του πραγματικού πληθυσμού και όχι ο πληθυσμός αυτός καθαυτός, οπόταν προσπαθούν να προβλέψουν την ποικιλότητα πάνω στον πραγματικό πληθυσμό, οι μετρικές αυτές πρέπει να υιοθετούνται με προσοχή στην αξιολόγηση ενός συστήματος συστάσεων ή να αποφεύγονται εντελώς μιας και στα συστήματα συστάσεων γνωρίζουμε όλα τα αντικείμενα που προτείνονται και όχι δείγμα τους. Για τις περιπτώσεις που δεν είναι γνωστά τα χαρακτηριστικά των αντικειμένων, στο επόμενο υποκεφάλαιο προτείνουμε μια μετρική ποικιλότητας που βασίζεται σε διαφορετική φιλοσοφία από τις μετρικές που αναλύουμε εδώ. Παρακάτω θα αναλύσουμε κάποιες από τις πιο διαδεδομένες μετρικές ποικιλότητας, 38 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

39 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων γιατί μπορούν να χρησιμοποιηθούν στα συστήματα συστάσεων και αν υπάρχουν κάποιοι περιορισμοί στην χρήση τους Shannon-Wiener Η, Pielou J και Ο Hill [85] όρισε μια ομάδα από diversity numbers διαφορετικών τάξεων. Ένα diversity number της τάξης α ορίζεται ως εξής: Για α=0, είναι ίσο με το πλήθος των ειδών (έστω S). Για α=1, δεν μπορεί να οριστεί από την παραπάνω συνάρτηση. Ορίζοντας όμως το ως μπορεί να φανεί [86] ότι: όπου Η είναι ο δείκτης ποικιλότητας Shannon-Wiener: Μερικές φορές αυτός ο δείκτης συναντάται να χρησιμοποιεί τον λογάριθμο με βάση 2 ή 10 αντί για βάση e. Αυτός ο δείκτης είναι ο πιο διαδεδομένος δείκτης ποικιλότητας στην βιβλιογραφία [86] και για αυτό τον λόγο ήταν ο πρώτος που εξετάσαμε αν θα ήταν χρήσιμο να χρησιμοποιηθεί για αξιολόγηση της ποικιλότητας των αντικειμένων που προτείνει ένα σύστημα συστάσεων. Στην μελέτη για χρησιμοποίηση αυτού του δείκτη για τον υπολογισμό της ποικιλότητας στις συστάσεις, λοιπόν, παρατηρήσαμε ότι αν και πολύ διαδεδομένος δείκτης ποικιλότητας, μπορεί να χρησιμοποιηθεί μόνο για σύγκριση μεταξύ συστάσεων που περιέχουν ίδιο πλήθος αντικειμένων. Αυτός ο περιορισμός ισχύει γιατί οι συστάσεις με λιγότερα αντικείμενα θα έχουν μικρότερο μέγιστο Η που μπορούν να επιτύχουν, από ότι συστάσεις με περισσότερα. Για παράδειγμα, έστω ότι έχουμε μια σύσταση Α με 5 αντικείμενα και το κάθε αντικείμενο έχει διαφορετική τιμή στο χαρακτηριστικό που μας ενδιαφέρει η ποικιλότητα, και μια σύσταση Β περιέχει 10 αντικείμενα, τα οποία επίσης έχουν μεταξύ τους διαφορετικές τιμές στο χαρακτηριστικό που μας ενδιαφέρει. Αν κάνουμε τους υπολογισμούς, Η (Α)= και Η (Β)=2.303, οπόταν μπορούμε λανθασμένα να οδηγηθούμε στο συμπέρασμα ότι η σύσταση Α δεν είναι τόσο ποικίλη όσο η Β και ίσως, πάνω σε αυτό τον συλλογισμό, να επιχειρήσουμε να βελτιώσουμε τον αλγόριθμο που την παρήγαγε. Αυτό όμως το συμπέρασμα είναι άτοπο, αφού η λίστα Α δεν γίνεται να γίνει πιο ποικίλη (κάθε αντικείμενο να έχει διαφορετικό χαρακτηριστικό από τα υπόλοιπα είναι αυταπόδεικτα το βέλτιστο από πλευράς ποικιλότητας πάνω στο συγκεκριμένο χαρακτηριστικό). Ένας δείκτης λοιπόν που αντιμετωπίζει αυτό το μειονέκτημα του Η είναι ο Pielou s J: όπου. Αυτός ο δείκτης ανήκει στην κατηγορία των δεικτών ομοιοκατανομής και εγγυάται ότι όποτε επιτυγχάνεται η βέλτιστη ποικιλότητα, που ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 39

40 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ αναφέραμε παραπάνω, η τιμή του θα είναι 1, ανεξάρτητα από το μέγεθος τις λίστας συστάσεων. Για το παραπάνω δηλαδή παράδειγμα, αν κάνουμε τους υπολογισμούς J(A) = 1 και J(B)=1. Οπόταν μπορεί να χρησιμοποιηθεί και για σύγκριση μεταξύ συστάσεων διαφορετικού πλήθους αντικειμένων. Ένα άλλο πλεονέκτημα αυτού του δείκτη σε σχέση με τον Η, είναι ότι επειδή πάντα η μέγιστη τιμή που μπορεί να πάρει είναι το 1, μπορεί να χρησιμοποιηθεί όχι μόνο για σύγκριση μεταξύ συστημάτων συστάσεων, αλλά και για αξιολόγηση ενός συστήματος συστάσεων με βάση την ποικιλότητα, παρατηρώντας κατά πόσο αυτός ο δείκτης είναι κοντά στην μονάδα. Το μειονέκτημα του J είναι ότι επειδή είναι δείκτης ομοιοκατανομής πρέπει να χρησιμοποιηθεί μαζί με έναν δείκτη richness για να αξιολογήσει την ποικιλότητα των αλγορίθμων. Για παράδειγμα εάν μια σύσταση περιέχει 4 ταινίες και οι τέσσερις ταινίες ανήκουν σε διαφορετικό είδος ή εάν οι 2 είναι είδους x και οι άλλες δύο είδους y, τότε το J θα έχει την τιμή 1 και χρειάζεται ένας δείκτης richness για να δειχθεί ότι στην πρώτη περίπτωση τα διαφορετικά είδη ήταν περισσότερα. Ο δείκτης J λοιπόν διαιρώντας τον Η (έναν κοινός αποδεκτό δείκτη ποικιλότητας [86]) με μια μέγιστη τιμή, καταφέρει να φράξει το διάστημα τιμών στο [0,1], κάτι που είναι πολύ χρήσιμο για τα συστήματα συστάσεων ώστε να χρησιμοποιηθεί ο δείκτης αυτός για συγκρίσεις μεταξύ συστημάτων συστάσεων και αξιολόγησης τους. Η επιλογή όμως του μετατρέπει αυτόν τον δείκτη από δείκτη ποικιλότητας σε δείκτη ομοιοκατανομής. Αυτό συμβαίνει γιατί, άρα θεωρεί ως μέγιστη τιμή την τιμή που παίρνει ο Η όταν τα άτομα είναι ισοκατανεμημένα σε σχέση με το είδος ( ). Επίσης το μέγιστο εξαρτάται από το S που είναι το πλήθος των ειδών που περιλαμβάνονται στο συγκεκριμένο σύνολο που μελετάμε την ποικιλότητα, έτσι όσο μεγαλύτερο είναι το S το αυξάνεται και έτσι ο δείκτης J είναι πιο αυστηρός για σύνολα με πολλά είδη. Ας δώσουμε ένα παράδειγμα: έστω σύνολο Α με 10 άτομα τα οποία κατατάσσονται με αναλογία σε δύο είδη, τότε κάνοντας τους υπολογισμούς βλέπουμε ότι 1 και, άρα Έστω τώρα σύνολο Β με 10 άτομα που το καθένα ανήκει σε διαφορετικό είδος. Τότε 3.32 και, άρα. Όπως βλέπουμε, λοιπόν, αν και το Η μπορεί να αντικατοπτρίσει την αύξηση της ποικιλότητας από το σύνολο Α στο σύνολο Β, ο τρόπος που είναι ορισμένο το, μετατρέπει τον δείκτη J από δείκτη ποικιλότητας σε δείκτη ομοιοκατανομής. Από τα παραπάνω, λοιπόν, φτάσαμε στο συμπέρασμα ότι μια διαφορετικά ορισμένη μεταβλητή (έστω ) να οδηγούσε στον ορισμό μιας μετρικής του τύπου: όπου θα οριζόταν και πάλι στο διάστημα [0,1], αλλά θα λειτουργούσε ως μετρική ποικιλότητας. Για να οριστεί λοιπόν η πρέπει να αναλογιστούμε πότε ένα σύνολο με Ν αντικείμενα, θεωρείται ότι έχει την μέγιστη ποικιλότητα. Αυτό λοιπόν συμβαίνει όταν κάθε αντικείμενο του συνόλου ανήκει σε διαφορετική κατηγορία, άρα όταν άρα. Αντικαθιστώντας το με στον τύπο Η, έχουμε 40 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

41 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων άρα Εφαρμόζοντας, λοιπόν τον παραπάνω τύπο στο προηγούμενο παράδειγμα, βλέπουμε τώρα ότι για το σύνολο Α,, άρα και για το σύνολο Β,, άρα. Άρα τώρα η μέγιστή τιμή δεν εξαρτάται από το πλήθος των ειδών που εμφανίζονται στο συγκεκριμένο σύνολο, αλλά ουσιαστικά θεωρείται ότι πάντα το μέγιστο πλήθος των ειδών που μπορούν να εμφανίζονται μέσα στο σύνολο είναι ίσο με Ν, άρα η μετρική ευνοεί τα σύνολα αντικειμένων με όσο το δυνατόν περισσότερα είδη και έτσι είναι μετρική ποικιλότητας, όπως την Η που χρησιμοποιεί Coefficent of Unalikeability Μια άλλη μετρική ποικιλότητας με την οποία θα πειραματιστούμε είναι η Coefficient of Unalikeability [87] διότι είναι ουσιαστικά ισοδύναμη με διάφορες έννοιες της πληθυσμιακής ποικιλότητας που έχουν αναπτυχθεί σε τομείς όπως η Κοινωνιολογία, Οικονομικά, Γλωσσολογία και Οικολογία [87] οπόταν είναι μια εδραιωμένη μετρική ποικιλότητας. Η μετρική Unalikeability υπολογίζει πόσο συχνά οι κατηγορίες των αντικειμένων σε ένα σύνολο είναι διαφορετικές μεταξύ τους. Για να το πετύχει αυτό χρησιμοποιεί έναν πίνακα και όταν δυο αντικείμενα i, j ανήκουν σε διαφορετικές κατηγορίες τότε το πεδίο i,j του πίνακα παίρνει τιμή 1 αλλιώς παίρνει τιμή 0 και στο τέλος υπολογίζει πόσα πεδία έχουν τιμή 1 από το σύνολο των πεδίων. Ένα παράδειγμα πάνω σε σύστημα συστάσεων: έστω ότι έχουμε μια σύσταση με 10 αντικείμενα που προτείνονται σε έναν χρήστη, από τα οποία 2 έχουν την τιμή Α στο χαρακτηριστικό που ελέγχουμε την ποικιλότητα, 3 την τιμή Β και 5 την τιμή C. Τότε ο πίνακας θα έχει αυτή την μορφή: A A B B B C C C C C A A B B B C C C C C Πίνακας 5: Παράδειγμα πίνακα Unalikeability οπόταν ο δείκτης unalikeability έχει την τιμή 62/100=0.62, που είναι το ποσοστό των πιθανών ζευγαριών αντικειμένων που έχουν διαφορετική τιμή του χαρακτηριστικού (είναι δηλαδή διαφορετικά μεταξύ τους). ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 41

42 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Αυτή η τιμή μπορεί να υπολογιστεί από τους εξής ισοδύναμους τύπους: Εδώ να σημειώσουμε ότι επειδή τα πεδία του πίνακα στην κύρια διαγώνιο (όταν ένα αντικείμενο συγκρίνεται με τον εαυτό του) είναι πάντα 0, η μετρική θα είναι <1 ακόμα και όταν όλα τα αντικείμενα είναι διαφορετικά μεταξύ τους. Για το παραπάνω παράδειγμά, δηλαδή, ακόμα και όλα τα αντικείμενα να είναι διαφορετικά μεταξύ τους η τιμή θα ήταν 90/100=0.9, αλλά ακόμα και έτσι η τιμή αυτή θα είναι μεγαλύτερη από ότι αν υπάρχουν έστω και 2 αντικείμενα στα 10 που να είναι ίδια μεταξύ τους, οπόταν δεν αλλοιώνεται η ικανότητα της μετρικής να διακρίνει την ποικιλότητα μεταξύ των συστάσεων Μετρική ποικιλότητας του Simpson Μια άλλη μετρική ποικιλότητας που μελετήσαμε είναι η Simpson s index of Diversity, γιατί έχει χαρακτηριστεί από την [82] ως μια μετρική ποικιλότητας που είναι όσο καλή όσο οποιαδήποτε άλλη, και καλύτερη από τις περισσότερες μετρικές ποικιλότητας. Αυτή η μετρική είναι η αντίστροφη του Simpson s Dominance, μια μετρική που μετράει την πιθανότητα όταν επιλέξουμε 2 αντικείμενα από ένα σύνολο στην τύχη, αυτά τα δυο αντικείμενα να ανήκουν στην ίδια κατηγορία. Ο τύπος του Simpson s Dominance είναι: και άρα η μετρική ποικιλότητας του Simpson είναι: Μετρικές IQV και richness Όπως αναφέραμε στην αρχή του κεφαλαίου, πολλές φορές αντί για την χρήση μιας μετρικής ποικιλότητας χρησιμοποιείται μια μετρική ομοιοκατανομής μαζί με μια μετρική richness για να περιγράψουν την ποικιλότητα ενός συνόλου [81]. Για αυτό λοιπόν στα πειράματα μας θα χρησιμοποιήσουμε και την μετρική ομοιοκατανομής IQV (έκτος από την Pielou s J που ήδη έχουμε περιγράψει) μαζί με την μετρική richness. Παρακάτω αναφέρουμε τους τύπους τους [88]: 42 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

43 ΚΕΦΑΛΑΙΟ 3: Μετρικές Αξιολόγησης Συστημάτων Συστάσεων Μετρική Pearson Diversity Όπως αναφέραμε και παραπάνω, δεν είναι πάντα διαθέσιμα τα χαρακτηριστικά των αντικειμένων, για αυτό τον λόγο θα προτείνουμε μια μετρική ποικιλότητας που δεν απαιτεί την γνώση τους για να υπολογιστεί. Την μετρική αυτή την ονομάσαμε Pearson Diversity γιατί βασίζεται πάνω στον δείκτη ομοιότητας του Pearson που αναφέραμε παραπάνω. Η μόνη διαφορά είναι ότι τώρα τον χρησιμοποιούμε για υπολογισμό ομοιότητας μεταξύ αντικειμένων οπόταν ο τύπος γίνεται: όπου τα αντικείμενα που θέλουμε να υπολογίσουμε την ομοιότητα τους, το σύνολο των χρηστών που έχουν βαθμολογήσει και τα δύο αντικείμενα και ο μέσος όρος των βαθμολογιών που έχει λάβει το αντικείμενο i. Διαισθητικά αυτή η μετρική θεωρεί ότι δύο αντικείμενα είναι όμοια, όταν οι χρήστες που έχουν αξιολογήσει και τα δύο αντικείμενα, βαθμολογούν με όμοιες τιμές το ένα αντικείμενο με το άλλο. Βασιστήκαμε σε αυτή την μετρική, γιατί είναι μια μετρική που θεωρείτε αξιόπιστη στον υπολογισμό της ομοιότητας μεταξύ των αντικειμένων, αφού χρησιμοποιείται ευρέως στα item-based συνεργατικά συστήματα. Με βάση, λοιπόν, αυτή την μετρική, ορίζουμε την Pearson Diversity ως εξής: όπου rec(u) είναι το σύνολο των αντικειμένων που προτάθηκαν στον χρήστη u (η σύσταση) στο οποίο θέλουμε να υπολογίσουμε την ποικιλότητα και rec(u) είναι το πλήθος των αντικειμένων που ανήκουν στο rec(u). Διαισθητικά, δηλαδή, ο τύπος είναι το άθροισμα των αντεστραμμένων τιμών της ομοιότητας μεταξύ όλων των πιθανών ζευγαριών αντικειμένων στο rec(u), διαιρεμένος με το πλήθος των ζευγαριών. Εκτός από την αντιστροφή των τιμών της ομοιότητας, γίνεται και μετατροπή του διαστήματος τιμών της από το [-1,1] στο [0,1], ώστε η Pearson Diversity να ορίζεται στο [0,1]. Ουσιαστικά είναι η μέση ανομοιότητα των αντικειμένων μέσα στο σύνολο. Κλείνοντας με αυτή την μετρική, πρέπει να αναφέρουμε ότι ένα αρνητικό στοιχείο της είναι ότι έχει υψηλή πολυπλοκότητα. Οι μετρικές ποικιλότητας είναι ένα εργαλείο απαραίτητο στην κατανόηση και ποσοτικοποίηση του προβλήματος τις ποικιλότητας. Ο ορισμός και η χρησιμοποίηση αυτών των μετρικών είναι το πρώτο στάδιο για την έρευνα τις ποικιλότητας των συστάσεων. Το επόμενο στάδιο είναι η εξερεύνηση λύσεων για την αντιμετώπιση του προβλήματος αυτού, δηλαδή εξερεύνηση μεθοδολογιών που μπορούν να βελτιώσουν τα συστήματα συστάσεων ως προς την ποικιλότητα. Στο επόμενο κεφάλαιο λοιπόν, θα αναφέρουμε λύσεις του προβλήματος που έχουν προταθεί στην βιβλιογραφία και θα παρουσιάσουμε μια νέα μεθοδολογία που βελτιώνει ην ποικιλότητα στα συνεργατικά συστήματα συστάσεων. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 43

44 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Μετρικές Επισκόπηση Shannon-Wiener Η Διεπιστημονική μετρική ενδογενούς ποικιλότητας Pielou J Διεπιστημονική μετρική ομοιοκατανομής Μετρική ενδογενούς ποικιλότητας που βασίζεται στον δείκτη Shannon-Wiener Η Coefficient of Unalikeability Διεπιστημονική μετρική ενδογενούς ποικιλότητας Simpson s index of Diversity Διεπιστημονική μετρική ενδογενούς ποικιλότητας IQV Richness Διεπιστημονική μετρική ομοιοκατανομής Διεπιστημονική μετρική richness Pearson Diversity Μετρική ενδογενούς ποικιλότητας που βασίζεται στο item-item Pearson Correlation Πίνακας 6: Μετρικές αξιολόγησης Συστημάτων Συστάσεων 44 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

45 ΚΕΦΑΛΑΙΟ 4: Συστήματα Συστάσεων με στόχο την αύξηση της Ποικιλότητας Κ Ε Φ Α Λ Α Ι Ο 4 : Σ Υ Σ Τ Η Μ ΑΤ Α Σ Υ Σ Τ Α Σ Ε Ω Ν Μ Ε Σ Τ Ο Χ Ο Τ Η Ν ΑΥ Ξ Η Σ Η Τ Η Σ Π Ο Ι Κ Ι Λ Ο Τ Η Τ Α Σ ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 45

46 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ ΣΥΣΤΗΜΑΤΑ ΣΥΣΤΑΣΕΩΝ ΜΕ ΣΤΟΧΟ ΤΗΝ ΑΥΞΗΣΗ ΤΗΣ ΠΟΙΚΙΛΟΤΗΤΑΣ Όλα τα παραπάνω πλεονεκτήματα των ποικίλων συστάσεων, εκτός από την προτροπή για χρήση και μετρικών ποικιλότητας για την αξιολόγηση των συστημάτων συστάσεων, ώθησαν την έρευνα για σχεδιασμό συστημάτων συστάσεων που έχουν ως στόχο την βελτιστοποίηση των προτάσεων τους όσον αφορά την ποικιλότητα. Για παράδειγμα στην [14] οι συγγραφείς προτείνουν τρεις ευρετικούς αλγορίθμους για την επιλογή των αντικειμένων μιας σύστασης ώστε μαζί με την ακρίβεια να επιτευχθεί και ποικιλότητα στις προτάσεις. Ο καλύτερος από αυτούς τους αλγορίθμους, προσθέτει ένα-ένα τα αντικείμενα στο σύνολο της πρότασης, ελέγχοντας κάθε φορά, με ευρετικό τρόπο, πως το αντικείμενο που πρόκειται να προστεθεί επηρεάζει την ακρίβεια και την ποικιλότητα του σύνολο. Στην [15] οι ερευνητές πρότειναν μια μετρική ομοιότητας χρησιμοποιώντας κατηγοριοποίηση με βάση την ταξινόμηση (taxonomy-based classification) και χρησιμοποιώντας αυτή την μετρική υπολόγισαν την ομοιότητα των αντικειμένων που προτείνονται ώστε να βρουν την ποικιλότητα των προτάσεων. Επίσης πρότειναν έναν ευρετικό αλγόριθμο ώστε να αυξήσουν αυτή την ποικιλότητα. Τα αποτελέσματα της έρευνα τους έδειξαν ότι οι προτάσεις που είχαν αυξημένη ποικιλότητα, λόγω αυτού του αλγορίθμου, είχαν χαμηλότερη ακρίβεια από ότι όταν δεν χρησιμοποιήθηκε ο ευρετικός αλγόριθμος, όμως οι χρήστες προτίμησαν τις πιο ποίκιλες προτάσεις και αυξήθηκε η ικανοποίηση τους από το σύστημα. Αυτή η σχέση ποικιλότητας ακρίβειας μελετήθηκε στην [16], όπου οι ερευνητές μελέτησαν τις συνθήκες στις οποίες η ακρίβεια μπορεί να αυξηθεί χωρίς να μειωθεί η ποικιλότητα, και παρουσίασαν τρόπους αύξησης της ποικιλότητας διατηρώντας την ακρίβεια σταθερή, όποτε αυτό είναι εφικτό. Στο παρακάτω υποκεφάλαιο θα επιχειρήσουμε να εισάγουμε μια καινούργια προσέγγιση στην αντιμετώπιση του προβλήματος της ποικιλότητας η οποία δρα πάνω στα ευρέως διαδεδομένα συνεργατικά συστήματα συστάσεων, και χωρίς να μεταβάλει την βασική λειτουργικότητα τους, τροποποιώντας τον τρόπο επιλογής των γειτόνων, επιχειρεί να βελτιώσει τις συστάσεις ως προς την ποικιλότητα. 4.1 ΙΔΙΟΤΗΤΕΣ ΓΕΙΤΟΝΩΝ Στα συνεργατικά συστήματα συστάσεων, όπως αναφέραμε παραπάνω, για κάθε χρήστη u εντοπίζεται η ομοιότητα του με τους υπόλοιπους χρήστες που ανήκουν στο U (μέσω μιας μετρικής ομοιότητας, όπως την Pearson (7) ή την συνημιτονοειδή (8)). Από αυτούς τους χρήστες επιλέγονται οι πιο κοντινοί ως προς τον χρήστη, οι γείτονες του. Η επιλογή αυτή γίνεται με τους εξής τρόπους: αν αυτοί οι χρήστες περάσουν ένα όριο ομοιότητας (similarity threshold) εάν ανήκουν στους top-n (τους Ν στο πλήθος πιο κοντινούς χρήστες) αν ανήκουν top-p% πιο κοντινούς χρήστες (όπου p% ποσοστό από τους συνολικούς χρήστες). Από τα αντικείμενα λοιπόν που έχουν οι γείτονες του χρήστη u βαθμολογήσει γίνεται η πρόβλεψη της βαθμολογίας που θα έδινε ο χρήστης σε αντικείμενα που δεν έχει ακόμα βαθμολογήσει, μέσω μιας συνάρτησης util(u,i) (7α,7β,7γ), και τα αντικείμενα 46 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

47 ΚΕΦΑΛΑΙΟ 4: Συστήματα Συστάσεων με στόχο την αύξηση της Ποικιλότητας με την υψηλότερη βαθμολογία προτείνονται στον χρήστη u. Παρακάτω παρουσιάζεται σχεδιαστικά η μεθοδολογία και σε μορφή ψευδοκώδικα: Βήμα 1: Δημιουργία λίστα γειτώνων με γνώμονα την ομοιότητα τους με τον χρήστη u Βήμα 2: Πρόβλεψη των αξιολογήσεων που θα έδινε ο χρήστης u στα αντικείμενα που δεν έχει βαθμολογίσει ακόμα, με βάση τις βαθμολογίες των γειτώνων Βήμα 3: Εντοπισμός και πρόταση στον χρήστη u των αντικειμένων με την υψηλότερη βαθμολογία Εικόνα 1: Σχεδιάγραμμα κλασικού συνεργατικού συστήματος συστάσεων u=current_user for each user v calculate similarity s between u and v if s > similarity_threshold add v to u_neighbors for each item i that u has ho preference for each user v that belongs to u_neighbors if v has a preference for i calculate running average of v's preference for i weighted by s return top ranked (weighted average) i Εικόνα 2: Ψευδοκώδικας της παραγωγής συστάσεων για έναν χρήστη u του κλασικού Συνεργατικού Συστήματος Το similarity_threshold μπορεί να είναι μια σταθερή τιμή ή να εξαρτάται από τους υπόλοιπους χρήστες. Για παράδειγμα όταν θέλουμε να ορίσουμε ως γείτονες τους 100 χρήστες με την υψηλότερη ομοιότητα με τον u, το similarity_threshold θα ισούται με την τιμή της ομοιότητας του 101 πιο όμοιου χρήστη. Ο υπολογισμός της ομοιότητας μεταξύ 2 χρηστών έχει πολυπλοκότητα γιατί πρέπει να εξεταστούν όλα τα αντικείμενα που έχουν βαθμολογήσει και οι δύο χρήστες (ανατρέξτε στους τύπους (8) και (9)). Επίσης ο εντοπισμός των αντικειμένων με την υψηλότερη βαθμολογία έχει πολυπλοκότητα. Άρα από τον παραπάνω ψευδοκώδικα βλέπουμε ότι η πολυπλοκότητα του συνεργατικού συστήματος είναι, δηλαδή είναι ίση με το μέγεθος του συνόλου όλων των αντικειμένων επί το μέγεθος του συνόλου όλων των χρηστών του συστήματος. Το πρόβλημα με αυτή την μεθοδολογία είναι ότι επειδή οι γείτονες (δηλαδή οι χρήστες που συμβάλουν στο να παραχθεί η σύσταση των αντικειμένων στον χρήστη) επιλέγονται με μοναδικό κριτήριο την ομοιότητα τους με τον χρήστη (ουσιαστικά ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 47

48 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ δηλαδή με το κατά πόσο ταιριάζουν οι προτιμήσεις τους με εκείνου), θα οδηγήσουν σε προτάσεις με υψηλή ακρίβεια αλλά χαμηλή ποικιλότητα. Διαισθητικά δηλαδή ο αλγόριθμος συγκεντρώνει μια ομάδα χρηστών που έχουν τις ίδιες αντιλήψεις, και μέσα από αυτούς προσπαθεί να προτείνει κάτι νέο στον χρήστη, με αποτέλεσμα να μην μπορεί να παράγει ποικίλα αποτελέσματα [7]. Από την άλλη, τα συνεργατικά συστήματα συστάσεων είναι ευρέως διαδεδομένα λόγω της ικανότητας τους να κάνουν ακριβείς προβλέψεις και να κλιμακώνονται σε κατανεμημένα συστήματα πολύ αποδοτικά [2], οπόταν αναδύεται το ερώτημα μήπως θα υπήρχε τρόπος να βελτιωθούν τα συγκεκριμένα συστήματα ως προς την μια πτυχή που υστερούν [7], την ποικιλότητα. Για αυτό τον λόγο, σε αυτή την εργασία προτείνουμε κάποιες μετρικές που μπορούν να χρησιμοποιηθούν για να αξιολογεί το σύστημα συστάσεων αν κάποιος χρήστης είναι κατάλληλος για γείτονας. Με τον όρο κατάλληλος εννοούμε ότι αν η χρήση του ως γείτονα, κάποιου χρήστη u, θα αποφέρει συστάσεις ποίκιλες στον χρήστη u. Με άλλα λόγια, προτείνουμε ένα φίλτρο που θα επιτρέπει τον αλγόριθμο να θεωρεί κάποιον χρήστη ως πιθανό γείτονα μόνο αν αυτός ο χρήστης ξεπερνάει ένα όριο αυτών των μετρικών. Έτσι οι γείτονες που θα προκύψουν για έναν χρήστη u δεν θα έχουν ως μοναδικό χαρακτηριστικό ότι είναι όμοιοι με αυτόν αλλά θα τους χαρακτηρίζουν και άλλες ιδιότητες. Αυτές οι ιδιότητες είναι o βαθμός που ο χρήστης είναι ανοιχτόμυαλος (open-minded) ή εξερευνητής (explorer). Στις παρακάτω υποενότητες θα αναλύσουμε αυτές τις μετρικές-ιδιότητες των χρηστών και πως υπολογίζονται. Σχεδιαστικά, λοιπόν, θα μελετήσουμε μήπως μπορούμε να αυξήσουμε την ποικιλότητα των συστάσεων προσθέτοντας άλλο ένα βήμα στο σύστημα συστάσεων: Βήμα 1: Εντοπισμός των χρηστών που μπορούν να θεωρηθούν γείτωνες Βήμα 2: Δημιουργία λίστα γειτώνων με γνώμονα την ομοιότητα τους με τον χρήστη u Βήμα 3: Πρόβλεψη των αξιολογήσεων που θα έδινε ο χρήστης u στα αντικείμενα που δεν έχει βαθμολογίσει ακόμα, με βάση τις βαθμολογίες των γειτώνων Βήμα 4: Εντοπισμός και πρόταση στον χρήστη u των αντικειμένων με την υψηλότερη βαθμολογία Εικόνα 3: Σχεδιάγραμμα τροποποιημένου συνεργατικού συστήματος συστάσεων Σε μορφή ψευδοκώδικα, δηλαδή, η παραγωγή συστάσεων για έναν χρήστη u, έχει την εξής μορφή: u=current_user for each user v calculate explorer (or open-minded) for v if explorer (or open-minded) > explorer(or open-minded)_threshold add v to u_suitable_neighbors 48 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

49 ΚΕΦΑΛΑΙΟ 4: Συστήματα Συστάσεων με στόχο την αύξηση της Ποικιλότητας for each user v that belongs to u_suitable_neighbors calculate similarity s between u and v if s > similarity_threshold add v to u_neighbors for each item i that u has ho preference for each user v that belong to u_neighbors if v has a preference for i calculate running average of v's preference for i weighted by s return top ranked (weighted average) i Εικόνα 4: Ψευδοκώδικας της παραγωγής συστάσεων για έναν χρήστη u του τροποποιημένου Συνεργατικού Συστήματος Για να αναλύσουμε την πολυπλοκότητα πρέπει να γνωρίζουμε πως υπολογίζεται το explorer και το open-minded. Για αυτό τον λόγο, η ανάλυση της πολυπλοκότητας θα γίνει στα παρακάτω υποκεφάλαια όπου θα ορίσουμε τις μετρικές αυτές Open-minded Με την μετρική open-minded θέλουμε να ποσοτικοποιήσουμε το κατά πόσο αρέσουν σε έναν χρήστη αντικείμενα που είναι διαφορετικά μεταξύ τους. Το ενδιαφέρον να υπολογίσουμε κάτι τέτοιο βασίστηκε στην λογική ότι χρήστες που αξιολογούν θετικά, αντικείμενα που είναι διαφορετικά μεταξύ τους, όταν χρησιμοποιηθούν ως γείτονες ενός χρήστη u, θα οδηγήσουν στο να προταθούν σε αυτόν τον χρήστη ποικίλα αντικείμενα. Αυτό αναμένεται να συμβεί επειδή όταν ο αλγόριθμος υπολογίζει ποιά αντικείμενα θα βαθμολογούσε υψηλά ο χρήστης, για να του τα προτείνει, λαμβάνει υπόψη τις βαθμολογίες που έχουν δώσει οι γείτονες του. Αν οι γείτονες του, λοιπόν, έχουν βαθμολογήσει υψηλά αντικείμενα που δεν είναι όμοια μεταξύ τους, τα αντικείμενα που θα προβλέψει ο αλγόριθμος ότι ο χρήστης θα βαθμολογούσε υψηλά θα είναι και αυτά ποικίλα. Για τον υπολογισμό της μετρικής open-minded για έναν χρήστη u, υπολογίζουμε τον μέσο όρο των βαθμολογιών που έχει δώσει. Όσα αντικείμενα έχει βαθμολογήσει πάνω από αυτό το μέσο όρο, θεωρούμε ότι του άρεσαν και τα τοποθετούμε σε ένα σύνολο. Στο σύνολο αυτό, που περιέχει τα αντικείμενα που του άρεσαν, υπολογίζουμε την ποικιλότητα μέσω της μετρικής Pearson Diversity που προτείναμε στο υποκεφάλαιο 4.3. Η πολυπλοκότητα υπολογισμού αυτής της μετρικής είναι, άρα η πολυπλοκότητα του συνεργατικού συστήματος που χρησιμοποιεί αυτή την μετρική για την επιλογή των κατάλληλων γειτόνων είναι Explorer Η δεύτερη μετρική που προτείνουμε για αξιολόγηση των χρηστών που θέλουμε να επιλέξουμε ως γείτονες, είναι η explorer και αυτή η μετρική έχει σαν στόχο να εντοπίσει κατά πόσο οι χρήστες εξερευνούνε το σύνολο των αντικειμένων. Για να το εντοπίσουμε αυτό μας ενδιαφέρει να δούμε αν οι χρήστες έχουν βαθμολογήσει, και άρα εξερευνήσει, αντικείμενα που είναι σπάνια ή έχουν μόνο βαθμολογήσει αντικείμενα που είναι πολύ διάσημα, δηλαδή κοινώς γνωστά. Η αξία αυτών των χρηστών, στην χρήση τους ως γείτονες, στηρίζεται στο γεγονός ότι πολλοί ερευνητές θεωρούνε το πρόβλημα της έλλειψης ποικιλότητας στις συστάσεις ότι προέρχεται από ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 49

50 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ το φαινόμενο long-tail που παρουσιάζεται στο σύνολο των αντικειμένων [71] [9] [10] [7]. Το ότι τα αντικείμενα χαρακτηρίζονται από long-tail κατανομή σημαίνει, συνοπτικά, ότι ένα πολύ μικρό πλήθος από τα αντικείμενα έχουν πάρα πολλές αξιολογήσεις, είναι δηλαδή διάσημα, ενώ υπάρχουν πάρα πολλά αντικείμενα που έχουν λίγες αξιολογήσεις (σπάνια). Αυτό επηρεάζει αρνητικά τα συνεργατικά συστήματα συστάσεων, γιατί τα αντικείμενα που μπορεί ο αλγόριθμος να προτείνει σε ένα χρήστη u είναι αυτά που έχουν αξιολογήσει οι γείτονες του, για τα άλλα δεν μπορεί να προβλέψει την αξιολόγηση του χρήστη, οπόταν τα αγνοεί. Άρα, αν τα αντικείμενα που έχουν αξιολογήσει οι γείτονες του είναι τα διάσημα μόνο, κάτι που συμβαίνει συχνά λόγο της long-tail κατανομής, οι προτάσεις θα περιέχουν μόνο αυτά τα αντικείμενα, που όπως είπαμε παραπάνω είναι πολύ λίγα στο πλήθος. Αυτό λοιπόν προκαλεί συστάσεις χαμηλές σε ποικιλότητα, που περιέχουν μόνο διάσημα αντικείμενα. Για τους παραπάνω λόγους λοιπόν, πιστεύουμε ότι χρήστες που εξερευνούνε το σύνολο με τα αντικείμενα, θα είναι πολύ χρήσιμοι στην παραγωγή ποικίλων προτάσεων. Για να υπολογίσουμε την μετρική explorer, πρέπει πρώτα να μπορέσουμε να υπολογίσουμε πόσο σπάνιο είναι ένα αντικείμενο. Αυτό το κάνουμε με την μετρική rarity(i): όπου ratings(i) είναι το πλήθος των αξιολογήσεων που έχει το αντικείμενο i. Αυτή η μετρική είναι αντίθετη του πλήθους των αξιολογήσεων που έχει ένα αντικείμενο και ορίζεται στο διάστημα [0,1], με 0 να βαθμολογείται το αντικείμενο που έχει τις περισσότερες αξιολογήσεις (popular) και με 1 το αντικείμενο με τις λιγότερες αξιολογήσεις (rare). Προς απόδειξη των παραπάνω: Έστω αντικείμενο x με τις περισσότερες αξιολογήσεις στο Ι. Άρα εξ ορισμού. Με αντικατάσταση στον τύπο:. Έστω, τώρα αντικείμενο x με τις λιγότερες αξιολογήσεις στο σύνολο Ι. Άρα εξ ορισμού. Με αντικατάσταση στον τύπο: Χρησιμοποιώντας λοιπόν αυτή την μετρική σπανιότητας των αντικειμένων, ορίσαμε την μετρική explorer ως:. όπου είναι το σύνολο των αντικειμένων που έχει αξιολογήσει ο χρήστης u και το πλήθος των αντικειμένων που περιέχονται σε αυτό το σύνολο. Ουσιαστικά η μετρική explorer είναι, δηλαδή, ο μέσος όρος της σπανιότητας των αντικειμένων που έχει βαθμολογήσει ο χρήστης. Η πολυπλοκότητα υπολογισμού αυτής της μετρικής είναι, όπως βλέπουμε από τον τύπο:, άρα η πολυπλοκότητα του συνεργατικού συστήματος που χρησιμοποιεί αυτή την μετρική για την επιλογή των κατάλληλων 50 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

51 ΚΕΦΑΛΑΙΟ 4: Συστήματα Συστάσεων με στόχο την αύξηση της Ποικιλότητας γειτόνων είναι. Όπως παρατηρούμε δεν υπάρχει αύξηση της πολυπλοκότητας, όπως με την μετρική open-minded. Κλείνοντας με την επεξήγηση των ιδιοτήτων των γειτόνων και των πλεονεκτημάτων που αναμένουμε από την ενσωμάτωση τους στα συνεργατικά συστήματα συστάσεων, θα μελετήσουμε στο επόμενο κεφάλαιο αν σε πραγματικά σενάρια-δεδομένα αυτά τα πλεονεκτήματα είναι όντως εμφανή. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 51

52 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί Κ Ε Φ Α Λ Α Ι Ο 5 : Π Ε Ι Ρ Α Μ ΑΤ Ι Σ Μ Ο Ι ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 52

53 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί ΠΕΙΡΑΜΑΤΙΣΜΟΙ Σε αυτό το κεφάλαιο θα χρησιμοποιήσουμε δυο σύνολα πραγματικών δεδομένων, ένα σύνολο με αξιολογήσεις ταινιών και ένα με αξιολογήσεις μουσικών κομματιών, για μελετήσουμε πειραματικά πως συμπεριφέρεται ένα συνεργατικό σύστημα συστάσεων αν ενσωματώσει στην διαδικασία εντοπισμού των γειτόνων τις ιδιότητες που επεξηγήσαμε παραπάνω. Στο Κεφάλαιο αυτό αρχικά θα γίνει επεξήγηση και ανάλυση των συνόλων αξιολογήσεων που θα χρησιμοποιήσουμε και στην συνέχεια για κάθε πειραματισμό: 1. Παρουσίαση της πειραματικής διαδικασίας που θα ακολουθήσουμε. 2. Περιγραφή των αποτελεσμάτων του πειραματισμού και ανάλυση τους. 3. Συμπεράσματα από την ανάλυση των αποτελεσμάτων του πειραματισμού. 5.1 ΣΥΝΟΛΑ ΔΕΔΟΜΕΝΩΝ Στην πειραματική μελέτη μας θα χρησιμοποιήσουμε 2 σύνολα δεδομένων, το πρώτο είναι ένα σύνολο που περιέχει τις αξιολογήσεις που έχουν εισάγει οι χρήστες στο σύστημα συστάσεων ταινιών MovieLens και το δεύτερο είναι ένα σύνολο που περιέχει τις αξιολογήσεις μουσικών κομματιών των χρηστών της κοινότητας. Με αυτό τον τρόπο προσπαθούμε να επιτύχουμε όσο το δυνατόν μεγαλύτερη ανεξαρτησία των πειραματισμών μας από τα σύνολα δεδομένων αλλά και από τα σενάρια χρήσης ενός συστήματος συστάσεων, αφού το ένα σύνολο προέρχεται από σύστημα που χρησιμοποιείται για συστάσεις ταινιών και το άλλο από σύστημα για συστάσεις μουσικών τραγουδιών MovieLens Το MovieLens 1 είναι μια ιστοσελίδα που ενσωματώνει ένα συνεργατικό σύστημα συστάσεων για να προτείνει ταινίες στους χρήστες της. Έχει αναπτυχθεί από το GroupLens Research που αποτελεί μέρος του τμήματος Πληροφορικής και Μηχανικής του Πανεπιστημίου της Μινεσότα. Ο στόχος της ιστοσελίδας είναι, πέρα από το να βοηθήσει τους χρήστες της να εντοπίσουν ταινίες που τους ενδιαφέρουν, να προωθήσει την έρευνα σε διάφορους τομείς της επιστήμης της Πληροφορικής και για αυτό τα δεδομένα που συλλέγονται μέσα από αυτή την πλατφόρμα (αξιολογήσεις των χρηστών και πληροφορίες ταινιών) είναι διαθέσιμα για ερευνητικούς σκοπούς. Αυτό το σύνολο δεδομένων, λοιπόν, περιέχει αξιολογήσεις που έχουν δοθεί από χρήστες σε ταινίες. Οι βαθμολογίες ανήκουν στο διάστημα με βήμα 0.5. Το σύνολο δεδομένων επίσης περιέχει πληροφορίες για τις ταινίες, ειδικότερα περιέχει την ημερομηνία κυκλοφορίας τους, ετικέτες (tags) που έχουν δοθεί στις ταινίες από τους χρήστες και τα είδη στα οποία κατατάσσονται οι ταινίες (genres). Από αυτές τις πληροφορίες θα χρησιμοποιήσουμε στην έρευνα μας τις αξιολογήσεις των χρηστών ως είσοδο των συνεργατικών συστημάτων συστάσεων με τα οποία θα πειραματιστούμε και τα ειδή των ταινιών, ώστε να μπορέσουμε να 1 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 53

54 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ εφαρμόσουμε τις διεπιστημονικές μετρικές ποικιλότητας που παραθέσαμε στο Κεφάλαιο 3. Όπως αναφέραμε, οι διεπιστημονικές μετρικές ποικιλότητας για να μπορέσουν να εφαρμοστούν σε ένα σύνολο αντικειμένων (δηλαδή σε μια σύσταση) και να υπολογίσουν την ποικιλότητα αυτού του συνόλου, απαιτούν να γνωρίζουμε το είδος του κάθε αντικειμένου αυτού του συνόλου. Δυστυχώς στο σύνολο δεδομένων MovieLens οι ταινίες μπορούν να ανήκουν σε παραπάνω από ένα genre, για αυτό το λόγο ως είδος μιας ταινίας-αντικείμενο θεωρούμε το σύνολο των genres που την χαρακτηρίζουν. Για παράδειγμα μια ταινία που ανήκει στα genres comedy και romance θεωρούμε ότι ανήκει στο είδος comedy-romance και δεν ανήκει στο ίδιο είδος με μια ταινία που ανήκει μόνο στο genre romance ή με μία ταινία που ανήκει στα genres drama και romance. Με αυτό τον τρόπο, κάθε ταινία ανήκει σε ένα μόνο είδος. Ο συγκεκριμένος τρόπος ορισμού του είδους της κάθε ταινίας, δεν αποσκοπεί μόνο στο να μετατρέψει τα δεδομένα σε μορφή που είναι καταλληλότερη για την χρήση των μετρικών ποικιλότητας, αλλά βασίζεται και στον συλλογισμό ότι 2 ταινίες που δεν ανήκουν στα ακριβώς ίδια genres έχουν διαφορά μεταξύ τους, αλλιώς ποιός ο λόγος αυτής της διαφορετικότητας των genres. Για το προηγούμενο παράδειγμα η ταινία που ανήκει στα genre comedy και romance πρέπει να έχει κάποια διαφορά με μια ταινία που χαρακτηρίστηκε απλώς ως comedy ή ως comedy και drama, αλλιώς δεν θα υπήρχε λόγος να μην ανήκει στα ίδια ακριβώς genre με τις άλλες δυο. Εφόσον λοιπόν μας ενδιαφέρει τα είδη που χαρακτηρίζουν τα αντικείμενα να μπορούν να αντικατοπτρίσουν την διαφορά που υπάρχει μεταξύ των αντικειμένων, για να μπορέσουμε να υπολογίσουμε την ποικιλότητα μεταξύ τους, με αυτόν τον ορισμό επιτυγχάνεται κάτι τέτοιο H ιστοσελίδα 2 είναι μια κοινότητα χρηστών με θέμα την μουσική. Οι χρήστες έχουν την δυνατότητα σε αυτή την ιστοσελίδα να αξιολογήσουν τα μουσικά τραγούδια και αυτές οι αξιολογήσεις είναι διαθέσιμες για ερευνητικούς σκοπούς. Συγκεκριμένα το σύνολο δεδομένων περιέχει 717 εκατομμύρια αξιολογήσεις 136 χιλιάδων τραγουδιών από 1.8 εκατομμύρια χρήστες της ιστοσελίδας. Τα δεδομένα αυτά συλλέχθηκαν στο διάστημα από το 2002 έως το Οι βαθμολογίες ανήκουν στο διάστημα 1 έως 5 με βήμα 1. Το σύνολο δεδομένων επίσης περιέχει πληροφορίες για τα μουσικά κομμάτια και ειδικότερα περιέχει τον καλλιτέχνη, το άλμπουμ και το είδος των τραγουδιών (genre). Αντίθετα με το MovieLens σύνολο, κάθε μουσικό κομμάτι ανήκει σε ένα μόνο είδος. Οι χρήστες, τα μουσικά κομμάτια, οι καλλιτέχνες και τα άλμπουμ αναπαριστώνται με διακριτικά αναγνώρισης. Από αυτά τα χαρακτηριστικά των μουσικών κομματιών θα χρησιμοποιήσουμε ως είδηκατηγορίες για τους υπολογισμούς της ποικιλότητας μέσω των διεπιστημονικών μετρικών, το genre. Επιπλέον παρέχεται και η ιεραρχία των ειδών των τραγουδιών, την οποία δεν την χρειαζόμαστε για τις ανάγκες αυτής της εργασίας ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

55 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί Ανάλυση των συνόλων δεδομένων και μεθοδολογία χρήσης τους Παρακάτω παρουσιάζονται συνοπτικά τα στοιχεία των συνόλων δεδομένων που θα χρησιμοποιήσουμε: MovieLens Αντικείμενα Ταινίες Μουσικά κομμάτια Πλήθος αξιολογήσεων 10 εκατομμύρια Πλήθος αντικειμένων εκατομμύρια Πλήθος χρηστών εκατομμύρια Διάστημα αξιολογήσεων βήμα) (με 0,5-5 (0.5) 1-5 (1) Είδος Το σύνολο των genres κάθε ταινίας genre Πίνακας 7: Πληροφορίες των συνόλων δεδομένων Τα παραπάνω σύνολα θα τα χρησιμοποιήσουμε ως εξής στους πειραματισμούς μας: Για κάθε πειραματισμό που χρησιμοποιούμε το σύνολο MovieLens, χωρίζουμε το σύνολο σε 10 τμήματα ίσου μεγέθους και εκτελούμε τον πειραματισμό 10 φορές, κάθε φορά χρησιμοποιώντας διαφορετικό τμήμα. Κάθε τμήμα-σύνολο, δηλαδή, που προκύπτει περιέχει ένα εκατομμύριο αξιολογήσεις αντικειμένων. Τα σύνολα αυτά δεν επικαλύπτονται και η επιλογή των αξιολογήσεων που περιέχει το καθένα γίνεται τυχαία. Όταν αναφέρουμε ότι χρησιμοποιούμε το σύνολο για κάποιον πειραματισμό, εννοούμε ότι δημιουργούμε 10 υποσύνολα του συνόλου και εφαρμόζουμε τον πειραματισμό 10 φορές, κάθε φορά σε διαφορετικό υποσύνολο. Τα σύνολα αυτά περιέχουν ένα εκατομμύριο αξιολογήσεις το καθένα, οι οποίες επιλέγονται τυχαία. Επίσης τα σύνολα αυτά δεν επικαλύπτονται μεταξύ τους. Ως αποτελέσματα ενός πειραματισμού θα εννοούμε το μέσο όρο των μετρήσεων που προέκυψαν από τις 10 εκτελέσεις του πειραματισμού, κάθε φορά με διαφορετικό σύνολο. Για παράδειγμα όταν αναφέρουμε ότι ένα σύστημα συστάσεων, όταν το εκπαιδεύσαμε με το 75% του συνόλου MovieLens και επαληθεύσαμε την ακρίβεια των συστάσεων του με το υπόλοιπο 25% του MovieLens συνόλου, είχε ακρίβεια ίση με Χ, εννοούμε ότι εκτελέσαμε τον πειραματισμό αυτόν 10 φορές, κάθε φορά χρησιμοποιώντας διαφορετικό υποσύνολο του MovieLens και η τιμή της ακρίβειας Χ προέκυψε από την μέση τιμή των τιμών της ακρίβειας κάθε επανάληψης. Ο λόγος των παραπάνω είναι ώστε τα αποτελέσματα των πειραματισμών να είναι ανεξάρτητα από τις συγκεκριμένες αξιολογήσεις που βρίσκονται σε ένα σύνολο. Είναι χρήσιμο πριν μεταβούμε στην χρήση των συνόλων αυτών για τους πειραματισμούς μας να μελετήσουμε την κατανομή των αξιολογήσεων στα αντικείμενα για τα δύο σύνολα: ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 55

56 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Εικόνα 5: Κατανομή των αξιολογήσεων στα αντικείμενα Όπως αναφέραμε και στα προηγούμενα κεφάλαια, το φαινόμενο της long-tail κατανομής είναι πολύ συχνό στα δεδομένα εισόδου των συστημάτων συστάσεων και είναι ένας από τους λόγους που εμφανίζεται το πρόβλημα της ποικιλότητας [71] [9]. Όπως λοιπόν φαίνεται από τα παραπάνω διαγράμματα, και στα δυο σύνολα δεδομένων μας, εμφανίζεται αυτό το φαινόμενο, αφού έχουμε πάρα πολλά αντικείμενα που έχουν αξιολογηθεί από λίγους χρήστες και λίγα αντικείμενα που έχουν βαθμολογηθεί από πάρα πολλούς χρήστες. Ένα άλλο χαρακτηριστικό των συνόλων δεδομένων που επηρεάζει την απόδοση των συστημάτων συστάσεων είναι η πυκνότητα (density) των συνόλων [89]. Η πυκνότητα διαισθητικά εκφράζει το ποσοστό των αξιολογήσεων που είναι γνωστές στον πίνακα. Ο τύπος υπολογισμού της πυκνότητας είναι [40]: όπου # of nonzero entries είναι το πλήθος των αξιολογήσεων που είναι διαθέσιμες και το Total # of entries είναι το μέγεθος του. Αυτό το χαρακτηριστικό, λοιπόν επηρεάζει τόσο της ακρίβεια όσο και την ποικιλότητα των συστημάτων συστάσεων, και ιδιαίτερα των συνεργατικών συστημάτων [89], γιατί ένα αραιό σύνολο δεδομένων δεν περιέχει πολλές αξιολογήσεις ανά χρήστη (οπόταν είναι δύσκολο να εντοπιστούν τα ενδιαφέροντα του), και επίσης δεν περιέχει πολλές αξιολογήσεις ανά αντικείμενο, οπόταν είναι δυσκολότερο από το σύστημα να εντοπίσει χρήστες με κοινές αξιολογήσεις αντικειμένων. Είναι λοιπόν ενδιαφέρον να γνωρίζουμε πριν τους πειραματισμούς την πυκνότητα των συνόλων, ώστε να μπορέσουμε καλύτερα να δικαιολογήσουμε τα αποτελέσματα τους. Το σύνολο MovieLens, λοιπόν έχει πυκνότητα και το Movies:. Όπως παρατηρούμε το Movies είναι σχεδόν 5 φορές πιο αραιό οπόταν θα είναι ενδιαφέρον να παρατηρήσουμε αν τα αποτελέσματα των πειραματισμών μεταξύ των δύο συνόλων θα έχουν διαφοροποιήσεις. Στα επόμενα υποκεφάλαια θα μελετήσουμε αν η πυκνότητα επηρεάζει την ποικιλότητα των συστάσεων και γενικότερα θα προσπαθήσουμε να δείξουμε πειραματικά αν όντως εμφανίζεται το πρόβλημα της ποικιλότητας στα συνεργατικά συστήματα. 56 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

57 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί 5.2 ΜΕΘΟΔΟΛΟΓΙΑ ΑΞΙΟΛΟΓΗΣΗΣ ΤΩΝ ΣΥΣΤΗΜΑΤΩΝ ΣΥΣΤΑΣΕΩΝ Σε αυτό το υποκεφάλαιο θα αναφέρουμε την μεθοδολογία αξιολόγησης των συνεργατικών συστημάτων που θα ακολουθήσουμε στις επόμενες ενότητες. Στο παράδειγμα της προηγούμενης ενότητας δώσαμε μια ιδέα της μεθοδολογίας αυτής. Όπως αναφέραμε λοιπόν, για να αξιολογήσουμε ένα σύστημα συστάσεων, αφού δημιουργήσουμε 10 υποσύνολα του MovieLens ή Yahoo, χωρίζουμε τα υποσύνολα αυτά σε 2 μέρη. Το πρώτο από αυτά τα μέρη, ονομάζεται σύνολο εκπαίδευσης (training set) και χρησιμοποιείται ως είσοδος του συστήματος συστάσεων. Με άλλα λόγια το σύνολο εκπαίδευσης περιέχει τις αξιολογήσεις χρηστών που γίνονται γνωστές στο σύστημα, ώστε να μπορέσει να παράγει συστάσεις. Το δεύτερο μέρος, ονομάζεται σύνολο ελέγχου (validation set ή test set), δεν γίνεται γνωστό στο σύστημα και χρησιμοποιείται για να μπορέσει να γίνει η σύγκριση μεταξύ των βαθμολογιών που προέβλεψε το σύστημα ότι θα έδιναν οι χρήστες στα αντικείμενα με τις βαθμολογίες που όντως έδωσαν οι χρήστες στα αντικείμενα. Από την στιγμή που στην αξιολόγηση του συστήματος δεν μας ενδιαφέρει το σύστημα να παράγει προτάσεις για έναν μόνο χρήστη, αλλά να διαπιστώσουμε κατά πόσο το σύστημα μπορεί να προβλέψει τις αξιολογήσεις που βρίσκονται στο σύνολο ελέγχου, η μεθοδολογία της αξιολόγησης είναι, σε μορφή ψευδοκώδικα, η εξής: t_s = training_set for each user u of t_s for each user v of t_s calculate similarity s between u and v using t_s if s > similarity_threshold add v to u_neighbors for each item i that u has ho preference in the t_s for each user v that belongs to u_neighbors if v has a preference for i in the t_s calculate running average of v's preference for i weighted by s add user's u predicted preferences to prediction_set compaire prediction_set to test_set Εικόνα 6: Ψευδοκώδικας της μεθοδολογίας αξιολόγησης (κλασικού Συνεργατικού Συστήματος) Αντίστοιχα, για την αξιολόγηση του συνεργατικού συστήματος που χρησιμοποιεί τις ιδιότητες γειτόνων που προτείναμε, η μεθοδολογία σε μορφή ψευδοκώδικα είναι η εξής: t_s = training_set for each user u of t_s for each user v of t_s calculate explorer (or open-minded) for v using t_s if explorer (or open-minded) > explorer(or openminded)_threshold add v to u_suitable_neighbors for each user v that belongs to u_suitable_neighbors calculate similarity s between u and v using t_s ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 57

58 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ if s > similarity_threshold add v to u_neighbors for each item i that u has ho preference in the t_s for each user v that belong to u_neighbors if v has a preference for i in the t_s calculate running average of v's preference for i weighted by s add user's u predicted preferences to prediction_set compaire prediction_set to test_set Εικόνα 7: Ψευδοκώδικας της μεθοδολογίας αξιολόγησης (τροποποιημένου Συνεργατικού Συστήματος) Σε αυτή την ενότητα θα επιχειρήσουμε να αναλύσουμε τις διαφορές στις παραγόμενες συστάσεις μεταξύ ενός κλασικού συνεργατικού συστήματος (a), ενός συνεργατικού συστήματος που χρησιμοποιεί την μετρική explorer για να φιλτράρει ποιοι χρήστες μπορούν να επιλεγούν ως γείτονες και ενός συστήματος που χρησιμοποιεί την μετρική open-minded. Θα χρησιμοποιήσουμε και τα δύο σύνολα δεδομένων (MovieLens και ) και θα εφαρμόσουμε τρείς διαφορετικές διχοτομήσεις τους. Σε αυτές τις διχοτομήσεις τα ποσοστά συνόλου εκπαίδευσης-συνόλου ελέγχου θα είναι: 25%-75%, 50%-50%, 75%-25%. Τα πειράματα θα εκτελεστούν με κάθε μια από αυτές τις διχοτομήσεις και θα παρουσιάσουμε τον μέσο όρο των αποτελεσμάτων από αυτές τις εκτελέσεις. ούτως ώστε να βεβαιωθούμε ότι το μέγεθος του συνόλου εκπαίδευσης (ή συνόλου ελέγχου αντίστοιχα) δεν επηρεάζουν τα αποτελέσματα του πειραματισμού. Το open-minded threshold (και το explorer threshold αντίστοιχα) θα οριστεί ούτως ώστε να μπορούν να επιλεγούν ως γείτονες το 75% (b), 50% (c) και 25% (d) του συνόλου των χρηστών. Εφαρμόζοντας τους πειραματισμούς τρεις φορές με όλο και πιο αυστηρά open-minded και explorer κριτήρια επιλογής των γειτόνων, θα μας επιτρέψει να αντιληφθούμε καλύτερα τις επιπτώσεις αυτών των κριτηρίων. Το πλήθος των γειτόνων που επιλέγονται για κάθε χρήστη είναι πολύ σημαντικός παράγοντας της απόδοσης ενός συνεργατικού συστήματος, γιατί οι γείτονες του χρήστη παρέχουν όλη την πληροφορία (τις αξιολογήσεις) με την οποία το σύστημα θα επιλέξει ποιά αντικείμενα θα προτείνει στον χρήστη. Για αυτό τον λόγο πρέπει, για να είναι αντικειμενική η σύγκριση μεταξύ των συστημάτων που αναφέραμε παραπάνω, το πλήθος των γειτόνων που επιλέγονται να είναι σταθερό μεταξύ των συστημάτων. Με αυτό τον τρόπο τα αποτελέσματα που θα προκύψουν θα βασίζονται αποκλειστικά στην ποιότητα των γειτόνων που επιλέχθηκαν. Αυτός είναι και ο στόχος ουσιαστικά των ιδιοτήτων των γειτόνων που προτείνουμε, να οδηγήσουν σε πιο ποιοτική επιλογή γειτόνων. Για να μπορέσουμε λοιπόν να διατηρήσουμε σταθερό, για τις ανάγκες των πειραματισμών μας, το πλήθος των γειτόνων που θα έχει ο κάθε χρήστης, θα ορίσουμε το similarity threshold ούτως ώστε πάντα ένας χρήστης να έχει ως γείτονες το 10% των συνολικών χρηστών. Σχηματικά δηλαδή θα μελετήσουμε τους εξής τρόπους επιλογής των γειτόνων: 58 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

59 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί Εικόνα 8: Μέθοδοι επιλογής γειτόνων Για λόγους συντομίας όταν περιγράφουμε τα αποτελέσματα των πειραματισμών, για να ξεχωρίζουμε που αναφέρονται αυτά τα αποτελέσματα, θα χρησιμοποιούμε την εξής ορολογία για τις παραπάνω μεθοδολογίες: Standard: όταν αναφερόμαστε στο συνεργατικό σύστημα όπου η επιλογή των γειτόνων γίνεται μόνο μέσω της μετρικής ομοιότητας χρηστών (a). Weak filtering: όταν αναφερόμαστε στο (b). Medium filtering: όταν αναφερόμαστε στο (c). Strong filtering: όταν αναφερόμαστε στο (d). Αφού λοιπόν αναλύσαμε την μεθοδολογία των πειραματισμών που θα ακολουθήσουμε, στην παρακάτω ενότητα θα παρουσιάσουμε τα αποτελέσματα τους. 5.3 ΑΠΟΤΕΛΕΣΜΑΤΑ ΠΕΙΡΑΜΑΤΙΣΜΩΝ Θα ξεκινήσουμε την παρουσίαση των αποτελεσμάτων, αναφέροντας τις διαφορές ποικιλότητας μεταξύ του standard και weak, medium, strong open-minded και explorer filtering. Οι μετρικές που θα χρησιμοποιήσουμε είναι οι εξής: Pearson Diversity, που χρησιμοποιεί τα δεδομένα αξιολογήσεων για τον υπολογισμό της ποικιλότητας. Coefficient of Unalikeability, Simpson s index of Diversity, και οι οποίες χρησιμοποιούν τα χαρακτηριστικά των αντικειμένων για τον υπολογισμό τους. Mean item rarity, που θεωρεί ως ποικιλότητα την μέση σπανιότητα των αντικειμένων μιας σύστασης. Παρακάτω παρουσιάζονται τα αποτελέσματα αυτών των μετρικών: ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 59

60 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Εικόνα 9: Αποτελέσματα ποικιλότητας Το πρώτο πράγμα που παρατηρούμε από τα παραπάνω διαγράμματα είναι η πολύ μεγάλη διαφορά των μετρικών ποικιλότητας μεταξύ των δύο συνόλων δεδομένων. Αυτό ήταν αναμενόμενο, εξαιτίας της πολύ χαμηλής πυκνότητας του σε σχέση με το MovieLens, που όπως αναφέραμε στην προηγούμενη ενότητα επηρεάζει αρνητικά την ποικιλότητα και ακρίβεια των συστάσεων. Όπως παρατηρούμε όλες οι μετρικές ποικιλότητας έχουν χαμηλότερες τιμές στο σύνολο εκτός από την μετρική Mean Item Rarity (Recommendations Rarity), η οποία παρουσιάζει αντίθετη συμπεριφορά. Αυτό εξηγείται από το γεγονός ότι το σύνολο περιλαμβάνει πολύ περισσότερα αντικείμενα με λίγες αξιολογήσεις (σπάνια) από ότι το MovieLens (βλέπε εικόνα 5) και για αυτό τον λόγο είναι πιο πιθανόν να τοποθετηθούν σπάνια αντικείμενα στις συστάσεις που παράγονται από αυτό. Όσον αφορά την χρήση των μετρικών επιλογής γειτόνων, παρατηρούμε ότι και στην περίπτωση της explorer αλλά και της μετρικής open-minded, όσο πιο αυστηρό είναι το όριο που πρέπει να ξεπεράσει ένας χρήστης για να θεωρηθεί γείτονας, τόσο πιο ποικίλες είναι οι συστάσεις. Το πιο εμφανή παράδειγμα είναι στο σύνολο που εάν παρατηρήσουμε την μετρική Pearson Diversity βλέπουμε ότι όταν δεν χρησιμοποιούνται καθόλου οι μετρικές open-minded και explorer (στήλη Standard), η μετρική έχει την τιμή Όταν χρησιμοποιήσουμε την μετρική open-mind για να αφαιρέσουμε από το 25% των χρηστών την δυνατότητα να χρησιμοποιηθούν ως γείτονες (στήλη open-minded weak filtering), η τιμή της μετρικής αυξάνεται στο 0,34. Και όταν το φίλτρο γίνει ακόμα πιο αυστηρό, δηλαδή όταν μειώνει τους πιθανούς γείτονες στο 50% ή 25% των συνολικών χρηστών, η Pearson Diversity παίρνει την τιμή 0,35 και 0,38 αντίστοιχα. Η αύξηση αυτή, της ποικιλότητας παρατηρείται και με την χρήση της μετρικής explorer, και είναι εμφανή σε οποιαδήποτε μετρική χρησιμοποιούμε για τον υπολογισμό της ποικιλότητας. Μια άλλη παρατήρηση από τα παραπάνω διαγράμματα είναι ότι οι μετρικές open-minded και explorer δεν επηρεάζουν τόσο την ποικιλότητα στο σύνολο MovieLens που παρουσιάζει ήδη υψηλή ποικιλότητα, τα αποτελέσματα τους είναι εμφανέστερα όταν χρησιμοποιούνται σε σύνολα αραιά, όπως το, όπου το κλασικό συνεργατικό σύστημα αδυνατεί να παράγει ποίκιλες συστάσεις. 60 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

61 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί Μια άλλη ενδιαφέρουσα παρατήρηση από τα παραπάνω διαγράμματα είναι ότι οι μετρικές ποικιλότητας, αν και η κάθε μια ακολουθεί διαφορετική οδό για τον υπολογισμό της, φαίνονται να συσχετίζονται. Για να βεβαιωθούμε για αυτό, χρησιμοποιήσαμε τα αποτελέσματα αυτού του πειραματισμού για να υπολογίσουμε τον συντελεστή συσχέτισης Pearson, μεταξύ των μετρικών: Pearson Correlation Correlations Pearson Diversity Unalikeability Simpson's Jdiv Recommendatio ns Rarity Pearson Diversity 1,714 **,756 **,688 **,931 ** Coefficient of Unalikeability,714 ** 1,796 **,677 **,829 ** Simpson's index of diversity,756 **,796 ** 1,978 **,896 ** Jdiv,688 **,677 **,978 ** 1,835 ** Mean Item Rarity,931 **,829 **,896 **,835 ** 1 Εικόνα 10: Συσχετισμοί μετρικών ποικιλότητας Όπως παρατηρούμε λοιπόν υπάρχουν πολύ ισχυροί συσχετισμοί μεταξύ των μετρικών, και ιδιαίτερα η μετρική Mean Item Rarity συσχετίζεται σχεδόν απόλυτα με όλες τις υπόλοιπες μετρικές, το οποίο την κάνει κατάλληλη για τις περιπτώσεις που θέλουμε να περιγράψουμε την ποικιλότητα των συστάσεων με μια μόνο μετρική. Η βελτίωση της ποικιλότητας των συστάσεων, με την χρήση των μετρικών explorer και open-minded παρατηρείται και με την χρήση μετρικών ομοιοκατανομής και richness: Εικόνα 11: Αποτελέσματα ομοιομορφίας και richness ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 61

62 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Όπως παρατηρούμε, οι μετρικές ομοιοκατανομής (Pielou s J και IQV) και Richness, μπορεί να μην είναι μετρικές ποικιλότητας αλλά σε συνδυασμό μεταξύ τους μπορούν να εκφράσουν την μεταβολή της. Για παράδειγμα, στο μπορεί το richness να παραμένει σχεδόν σταθερό, αλλά επειδή αυξάνεται η ομοιοκατανομή όταν χρησιμοποιούμε τις μετρικές γειτόνων, μπορούμε να υποθέσουμε ότι αυξάνεται η ποικιλότητα, το οποίο όντως ισχύει όπως δείξαμε στο διάγραμμα 9. Στην παρακάτω ενότητα θα επιχειρήσουμε να εξηγήσουμε τα παραπάνω αποτελέσματα Αίτια της αύξησης της ποικιλότητας Για να μπορέσουμε να εξηγήσουμε την επίδραση των explorer και open-minded φίλτρων, πρώτα πρέπει να μελετήσουμε τους γείτονες που επιλέγονται, με αυτά τα φίλτρα ή χωρίς: Εικόνα 12: Κατανομή Pearson Ομοιότητας Γειτόνων. Στα παραπάνω διαγράμματα παρουσιάζεται η κατανομή των γειτόνων σύμφωνα με το την ομοιότητα (pearson similarity) τους με το χρήστη u. Όπως παρατηρούμε, λοιπόν, όταν δεν χρησιμοποιούνται η ιδιότητες γειτόνων (Standard) σχεδόν όλοι οι γείτονες που επιλέγονται έχουν πολύ υψηλή ομοιότητα με τον χρήστη στον οποίο το σύστημα θέλει να παρέχει συστάσεις (u). Όταν όμως χρησιμοποιούνται οι ιδιότητες explorer και open-minded (medium filtering) για να επιλεγούν οι γείτονες, τότε προκύπτουν και γείτονες οι οποίοι δεν είναι απόλυτα όμοιοι με τον χρήστη u. Επειδή λοιπόν εισέρχονται στην λίστα γειτόνων και χρήστες οι οποίοι δεν είναι απόλυτα όμοιοι με τον u, άρα δεν έχουν ταυτόσημα ενδιαφέροντα με τον χρήστη, το σύστημα διαμορφώνει μια πιο πλατιά ομάδα από αντικείμενα που μπορεί να προτείνει (τα αντικείμενα που μπορεί να προτείνει στον u το συνεργατικό σύστημα είναι αυτά που έχουν αξιολογήσει οι γείτονες του). Επίσης μπορεί να βελτιωθεί η ακρίβεια του συστήματος γιατί η διαφορά των ενδιαφερόντων των γειτόνων δημιουργεί πολυφωνία απόψεων στο κατά πόσο ο χρήστης u θα ενδιαφερόταν για ένα αντικείμενο. Για παράδειγμα, έστω χρήστης u που έχει στο σύνολο εκπαίδευσης αξιολογήσει υψηλά κυρίως ταινίες περιπέτειας και στο σύνολο ελέγχου έχει βαθμολογήσει υψηλά ένα ντοκιμαντέρ που αν και δεν είναι ένα είδος ταινίας που τον ενδιαφέρει ιδιαιτέρως, του άρεσε γιατί ήταν αντικειμενικά πολύ καλής παραγωγής. Αν επιλεγούν γείτονες που είναι απόλυτα όμοιοι με εκείνον, άρα ενδιαφέρονται για ταινίες περιπέτειας έντονα, μπορεί το σύστημα λαμβάνοντας υπόψη μόνο αυτούς να κρίνει ότι το ντοκιμαντέρ δεν θα αρέσει στον χρήστη u. Όταν όμως υπάρχουν και γείτονες οι οποίοι δεν έχουν ακριβώς τα ίδια ενδιαφέροντα με τον 62 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

63 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί u, μπορεί εκείνοι να έχουν αξιολογήσει υψηλά αυτό το ντοκιμαντέρ και έτσι το σύστημα να υπολογίσει με μεγαλύτερη ακρίβεια την βαθμολογία που έδωσε ο χρήστης για το ντοκιμαντέρ στο σύνολο ελέγχου. Τα παραπάνω παρουσιάζονται και πειραματικά στα παρακάτω διαγράμματα: Εικόνα 13: (a): Ακρίβεια (root mean square error), (b): Μέσο ποσοστό των συνολικών αντικειμένων (I) που έχουν αξιολογήσει οι γείτονες ενός χρήστη u. Το διάγραμμα (13a) παρουσιάζει την ακρίβεια των συστημάτων συστάσεων μέσω της μετρικής root mean square error. Αυτή η μετρική όπως αναφέραμε και στο Κεφάλαιο 3 υπολογίζει την διαφορά μεταξύ των προβλέψεων των αξιολογήσεων και των πραγματικών τιμών των αξιολογήσεων, οπόταν όταν στο διάγραμμα (13a) βλέπουμε ότι μειώνεται το RMSE όταν χρησιμοποιούνται οι μετρικές γειτόνων, σημαίνει ότι το σύστημα επιτυγχάνει μεγαλύτερη ακρίβεια προβλέψεων. Tο διάγραμμα (13b) παρουσιάζει το ποσοστό από τα συνολικά αντικείμενα (I) που έχουν αξιολογήσει οι γείτονες ενός χρήστη u, και άρα το σύστημα μπορεί να προβλέψει την αξιολόγηση που θα έδινε σε αυτά τα αντικείμενα ο u και πιθανόν να του τα προτείνει. Όπως παρατηρούμε, όταν οι γείτονες φιλτράρονται με τις μετρικές που προτείνουμε σε αυτή την εργασία, προκύπτει ένα πιο πλατύ σύνολο από αντικείμενα από τα οποία μπορεί να επιλέξει το σύστημα ποιά να προτείνει στον χρήστη u. Για παράδειγμα στην περίπτωση του MovieLens έχουμε αύξηση του ποσοστού των αντικειμένων 35% όταν έχουμε explorer strong filtering, και 32% όταν έχουμε open-minded strong filtering. Στο σύνολο αυτή η αύξηση είναι πολύ πιο μεγάλη και ξεπερνάει το 100% και στις δυο περιπτώσεις γιατί αρχικά το πλήθος των αντικειμένων που έχουν αξιολογήσει οι γείτονες ήταν πολύ χαμηλό λόγω της χαμηλής πυκνότητας του συνόλου. Αυτός λοιπόν είναι ένας από τους λόγους της αύξησης της ποικιλότητας που παρατηρήσαμε. Η επέκταση του συνόλου των αντικειμένων που μπορεί να προτείνει το σύστημα στον χρήστη u οδηγεί και στην βελτίωση της δυνατότητας του συστήματος να προβλέψει τις αξιολογήσεις που βρίσκονται στο σύνολο ελέγχου. Αυτό συμβαίνει γιατί όσο μεγαλύτερο είναι το σύνολο των αντικειμένων για τα οποία μπορεί το σύστημα να προβλέψει την αξιολόγηση του χρήστη, τόσο περισσότερες είναι οι πιθανότητες να μπορέσει να προβλέψει την αξιολόγηση του χρήστη για ένα τυχαίο αντικείμενο που βρίσκεται στο σύνολο ελέγχου. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 63

64 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ Ένα άλλο πλεονέκτημα της επέκτασης του συνόλου των αντικειμένων που μπορεί το σύστημα να προβλέψει την αξιολόγηση του χρήστη u είναι ότι αυξάνεται η πιθανότητα του συστήματος να προτείνει και αντικείμενα που αρχικά δεν θα τα πρότεινε επειδή αυτά τα αντικείμενα ήταν σπάνια και δεν περιέχονταν στο αρχικά μικρότερο σύνολο αντικειμένων. Τα παραπάνω, εμφανίζονται και πειραματικά στα διαγράμματα που ακολουθούν: Εικόνα 14: (a): Ποσοστό των αξιολογήσεων του συνόλου ελέγχου που μπορεί το σύστημα να προβλέψει, (b): Κάλυψη λίστας (Catalogue Coverage) Το διάγραμμα (14a) παρουσιάζει το ποσοστό των αξιολογήσεων του συνόλου ελέγχου για το οποίο το σύστημα μπόρεσε να παράγει προβλέψεις. Παρατηρούμε ότι στην περίπτωση του MovieLens εμφανίζεται αύξηση 10% όταν χρησιμοποιούνται οι ιδιότητες γειτόνων (Strong ) και το σύστημα επιτυγχάνει να παράγει προβλέψεις για σχεδόν όλο το σύνολο ελέγχου. Όταν χρησιμοποιείται το σύνολο η αύξηση που παρατηρείται είναι πολύ μεγαλύτερη και αγγίζει το 62% (Open-minded Strong ) Το διάγραμμα (14b) παρουσιάζει τα αποτελέσματα της μετρικής κάλυψης λίστας, η οποία όπως αναφέραμε στο Κεφάλαιο 3 εκφράζει το ποσοστό από τα συνολικά αντικείμενα (I) τα οποία προτείνει το σύστημα στους χρήστες (στον πειραματισμό μας θεωρούμε ότι το σύστημα προτείνει σε κάθε χρήστη τα 10 αντικείμενα που προβλέπει ότι θα αξιολογούσε υψηλότερα ο χρήστης). Όπως βλέπουμε η κάλυψη λίστας αυξάνεται στην περίπτωση του συνόλου από 34% (Standard) σε 53% (open-minded strong filtering), που σημαίνει ότι αρχικά το μόνο 34% των αντικειμένων προτάθηκαν στους χρήστες, ενώ με το open-minded strong filtering το σύστημα πρότεινε το 53% των συνολικών αντικειμένων, κάτι που δικαιολογεί την τελική αύξηση της ποικιλότητας που δείξαμε στην αρχή της ενότητας. Σε αυτή την ενότητα δείξαμε τους λόγους που επιτυγχάνεται η αύξηση της ποικιλότητας, στην παρακάτω ενότητα θα αναφερθούμε σε διάφορα ερωτήματα που προκύπτουν από τα αποτελέσματα των πειραματισμών. 64 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

65 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί 5.4 ΛΟΙΠΑ ΕΡΩΤΗΜΑΤΑ ΠΟΥ ΠΡΟΚΥΠΤΟΥΝ ΑΠΟ ΤΟΥΣ ΠΕΙΡΑΜΑΤΙΣΜΟΥΣ Κατά την διάρκεια των πειραματισμών μας, πρόεκυψαν κάποια ερωτήματα, τα οποία αν και ασύνδετα με τα παραπάνω, είναι ενδιαφέρον να μελετηθούν: Τι συμβαίνει όταν κάποια αντικείμενα έχουν αξιολογηθεί μόνο από τους χρήστες οι οποίοι σύμφωνα με αυτές τις μετρικές που προτείνουμε δεν μπορούν θα χρησιμοποιηθούν ως γείτονες. Αυτό είναι όντως ένα μειονέκτημα της χρήσης των μετρικών γειτόνων. Εάν αποκλείσουμε όλους τους χρήστες που έχουν αξιολογήσει ένα αντικείμενο τότε το σύστημα δεν θα μπορέσει να προβλέψει αν κάποιος χρηστής θα ενδιαφερόταν για αυτό το αντικείμενο ή όχι. Για να μελετήσουμε σε τι βαθμό εμφανίζεται αυτό το φαινόμενο, χρησιμοποιήσαμε την μετρική κάλυψης προβλέψεων (prediction coverage): Εικόνα 15: Κάλυψη Προβλέψεων (Prediction Coverage) Η μετρική κάλυψης προβλέψεων, όπως αναφέραμε στο Κεφάλαιο 3 εξετάζει το ποσοστό από τα συνολικά αντικείμενα (I) που το σύστημα έχει την δυνατότητα να προτείνει στους χρήστες του. Στα συνεργατικά συστήματα που μελετάμε, αυτό ισούται με το ποσοστό των αντικειμένων για τα οποία μπορεί να προβλέψει το σύστημα πως θα τα αξιολογούσαν τουλάχιστον ένας χρήστες. Όπως παρατηρούμε λοιπόν εμφανίζεται μείωση της κάλυψης προβλέψεων όταν χρησιμοποιούνται οι ιδιότητες γειτόνων. Αυτή η μείωση εμφανίζεται εντονότερα στο σύνολο όταν εφαρμόζεται το Strong (explorer ή open-minded), αλλά αν αναλογιστούμε ότι στο Strong μειώνουμε τους πιθανούς γείτονες στο μόλις 25% των αρχικών χρηστών, αυτή η μείωση των αντικειμένων που μπορεί το σύστημα να προτείνει είναι μικρή συγκριτικά. Συγκεκριμένα, η μείωση της κάλυψης πρόβλεψης από το Standard στο Strong του συνόλου είναι 2%. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 65

66 ΧΑΤΖΗΧΑΡΑΛΑΜΠΟΥΣ ΕΥΑΓΓΕΛΟΣ κατά πόσο οι open-minded χρήστες συμπίπτουν με τους explorers, δηλαδή αν υπάρχει επικάλυψη αυτών των δύο ομάδων χρηστών. Για να το εξετάσουμε αυτό, συγκρίναμε τους χρήστες που το σύστημα explorer medium filtering θεωρεί ως explorers με αυτούς που το σύστημα open-minded medium filtering θεωρεί open-minded. Από αυτή την σύγκριση προέκυψε το εξής διάγραμμα Venn: Εικόνα 16: Διάγραμμα Venn open-minded και explorer χρηστών Όπως αναφέραμε παραπάνω, το open-minded (ή explorer) medium filtering επιλέγει το 50% των χρηστών με την μεγαλύτερη τιμή της μετρικής open-minded (ή explorer) ως πιθανούς γείτονες. Οι πειραματισμοί μας έδηξαν ότι η ένωση αυτών των ομάδων χρηστών αντιστοιχεί στο 66,4% των συνολικών χρηστών και η τομή τους στο 33,6%. Άρα το 67.2% των explorers χρηστών είναι open-minded και αντίστροφα. Αυτή η επικάλυψη μεταξύ των δύο ομάδων μπορεί να εξηγήσει και την σημαντική ομοιότητα των αποτελεσμάτων που παρατηρήσαμε μεταξύ των συστημάτων που χρησιμοποιούσαν την μετρική open-minded με αυτά που χρησιμοποιούσαν την μετρική explorer. Η ποικιλότητα των συστάσεων που παράγονται για έναν χρήστη u εξαρτάται από την ποικιλότητα των αντικειμένων που έχει αξιολογήσει υψηλά ο χρήστης u; Στην έρευνα μας στα συνεργατικά συστήματα θέλαμε να μελετήσουμε κατά πόσο η ποικιλότητα στα αντικείμενα που έχει αξιολογήσει υψηλά ένας χρήστης επηρεάζει την ποικιλότητα των συστάσεων που παράγει το σύστημα για εκείνον. Για αυτό τον λόγο μελετήσαμε την συσχέτιση μεταξύ της Pearson Diversity των top 10 αντικειμένων που προτείνει το σύστημα σε έναν χρήστη με αυτή τον top 10 αντικειμένων που έχει αξιολογήσει υψηλότερα αυτός ο χρήστης: 66 ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ

67 ΚΕΦΑΛΑΙΟ 5: Πειραματισμοί Εικόνα 17: Συσχέτιση μεταξύ της Pearson Diversity των top 10 αντικειμένων που προτείνει το σύστημα σε έναν χρήστη και των top 10 αντικειμένων που έχει αξιολογήσει υψηλότερα αυτός ο χρήστης Κάθε σημείο στο παραπάνω διάγραμμα αντιπροσωπεύει έναν χρήστη. Ο οριζόντιος άξονας αντιπροσωπεύει την ποικιλότητα των 10 αντικειμένων που του πρότεινε το συνεργατικό σύστημα συστάσεων και ο κάθετος την ποικιλότητα των 10 αντικειμένων που βαθμολόγησε υψηλότερα ο χρήστης. Όπως παρατηρούμε η συσχέτιση δεν είναι πολύ ισχυρή, συγκεκριμένα ο συντελεστής συσχέτισης του Pearson ισούται με 0,327. Ο συντελεστής συσχέτισης δεν μεταβάλλεται σημαντικά όταν γίνεται χρήση των μετρικών γειτόνων. Επηρεάζουν οι μετρικές γειτόνων την συλλογική ποικιλότητα (aggregate diversity); Στους πειραματισμούς μας η συλλογική ποικιλότητα δεν επηρεάστηκε από το την χρήση των μετρικών γειτόνων, κάτι το οποίο ήταν αναμενόμενο γιατί η συλλογική ποικιλότητα υπολογίζει την ποικιλότητα μεταξύ των συστάσεων που κάνει το σύστημα από χρήστη σε χρήστη. Οι μετρικές γειτόνων δεν λαμβάνουν πληροφορίες για τον χρήστη u για τον οποίο προορίζονται οι γείτονες που θα επιλεχτούν, οπόταν δεν υπάρχει διαφοροποίηση των μετρικών από χρήστη σε χρήστη και έτσι δεν επηρεάζεται η aggregate diversity. ΠΕΡΑ ΑΠΟ ΤΗΝ ΑΚΡΙΒΕΙΑ: ΑΝΑΠΤΥΞΗ ΚΑΙ ΑΞΙΟΛΟΓΗΣΗ ΠΡΟΤΑΣΙΑΚΩΝ ΑΛΓΟΡΙΘΜΩΝ ΒΑΣΕΙ ΤΩΝ ΜΕΤΡΙΚΩΝ ΠΟΙΚΙΛΙΑΣ ΚΑΙ ΚΑΛΥΨΗΣ 67