ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ"

Ζακχαῖος Βλαστός
6 χρόνια πριν
Προβολές:

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕΔΟΝΙΑΣ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΠΑΡΟΥΣΙΑΣΗ ΔΙΠΛΩΜΑΤΙΚΗΣ ΕΡΓΑΣΙΑΣ ΔΟΥΒΛΕΤΗΣ ΧΑΡΑΛΑΜΠΟΣ ΕΠΙΒΛΕΠΟΝΤΕΣ ΚΑΘΗΓΗΤΕΣ Μαργαρίτης Κωνσταντίνος Βακάλη Αθηνά Θεσσαλονίκη, Φεβρουάριος 2005

2 ΟΜΑΔΟΠΟΙΗΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΧΡΗΣΤΩΝ ΣΤΟ ΔΙΑΔΙΚΤΥΟ INTERNET DATA AND USERS CLUSTERING

3 ΔΟΜΗ ΠΑΡΟΥΣΙΑΣΗΣ ΕΙΣΑΓΩΓΗ Σκοπός Εργασίας Web Mining Web Usage Mining ΠΑΡΟΥΣΙΑΣΗ ΠΡΟΒΛΗΜΑΤΟΣ Ο Γράφος Web Μετρικές του Web MajorClust ΠΡΟΤΕΙΝΟΜΕΝΗ ΜΕΘΟΔΟΛΟΓΙΑ Προ-Επεξεργασία Προφίλ Χρηστών Γράφος του Web Site Ομαδοποίηση Σελίδων Ομαδοποίηση Χρηστών ΠΕΙΡΑΜΑΤΑ ΣΥΜΠΕΡΑΣΜΑΤΑ

4 ΕΙΣΑΓΩΓΗ

5 ΣΚΟΠΟΣ ΕΡΓΑΣΙΑΣ Μελέτη μεθόδων ομαδοποίησης δεδομένων και χρηστών του Διαδικτύου Μοντελοποίηση ενός Web Site με τη μορφή γράφου Χρήση μετρικών του Web στον γράφο και τη συμπεριφορά των χρηστών Εφαρμογή του αλγόριθμου ομαδοποίησης MajorClust Ομαδοποίηση σελίδων και χρηστών Προτείνεται ολοκληρωμένη μεθοδολογία ανάλυσης ομαδοποίησης σελίδων και χρηστών του Web

6 ΕΙΣΑΓΩΓΗ Web Mining Ορισμός Η εφαρμογή τεχνικών του τομέα της Εξόρυξης Δεδομένων ή άλλων τεχνικών επεξεργασίας δεδομένων με σκοπό την αυτοματοποιημένη εξερεύνηση και εξαγωγή ενδιαφερόντων και ενδεχομένως χρήσιμων προτύπων και έμμεσων πληροφοριών από έγγραφα, υπηρεσίες ή τη δραστηριότητα των χρηστών που εντοπίζεται στον χώρο του Παγκόσμιου Ιστού (WWW).

7 ΕΙΣΑΓΩΓΗ Web Mining ΚΑΤΗΓΟΡΙΕΣ Web Content Mining Ανακάλυψη νέων πληροφοριών και γνώσης από την ανάλυση του περιεχομένου εγγράφων και ιστοσελίδων στο Web. Web Structure Mining Εξόρυξη γνώσης από τη δομή των Web Sites και εντοπίζει τις συσχετίσεις που υπάρχουν μεταξύ των ιστοσελίδων του. Web Usage Mining Εστιάζει στη συμπεριφορά των χρηστών, στη μοντελοποίηση, την πρόβλεψη και τη διεπαφή τους με το Web Site ΕΦΑΡΜΟΓΕΣ Προσωποποίηση - Προφίλ Χρηστών Στατικά / Δυναμικά Προσωπικά Δεδομένα Βελτίωση Απόδοσης Συστήματος Load Balancing Data Distribution Network Monitoring Security (IDS) Web Caching and Prefetching Διαμόρφωση Web Site Business Intelligence Marketing CRM

8 ΕΙΣΑΓΩΓΗ Web Usage Mining Πηγή πληροφορίας : Web Logs Προεπεξεργασία Εκκαθάριση Web Logs Αναγνώριση Χρηστών Αναγνώριση Συνόδων / Συναλλαγών Συμπλήρωση Διαδρομών Πλοήγησης Αναγνώριση Προτύπων Statistical Analysis Association Rules Clustering Classification Sequential Patterns Dependency Modeling Ανάλυση Προτύπων

9 ΠΑΡΟΥΣΙΑΣΗ ΠΡΟΒΛΗΜΑΤΟΣ

10 Ο ΓΡΑΦΟΣ WEB ΙΔΙΟΤΗΤΕΣ Κατευθυνόμενος Κόμβοι = Σύνολο σελίδων Ακμές = Σύνολο συνδέσμων Ασαφές μεγάλο μέγεθος Μεταβάλλεται συνεχώς Αραιός Οι ιδιότητες του δεν εξαρτώνται από την κλίμακα ΕΦΑΡΜΟΓΕΣ Μηχανές Αναζήτησης Σκιαγράφηση τάσεων Αποτελεσματικότερη μετάδοση πληροφορίας (Web Communities) Targeted Marketing

11 ΜΕΤΡΙΚΕΣ ΤΟΥ WEB Graph Properties Centrality Global Local Web Page Significance Relevance Quality Web Page Search Effectiveness Comparison Web Page Similarity Content Link Usage Characterization Information Theoretic

$MAJORCLUST Ιεραρχικός Συσσωρευτικός Αποκλειστικός Μη Βέλτιστος Edge Connectivity λ ( G) = min{ E': E' E και G' = V, E\ E' να μην είναι$

12 MAJORCLUST Ιεραρχικός Συσσωρευτικός Αποκλειστικός Μη Βέλτιστος Edge Connectivity λ ( G) = min{ E': E' E και G' = V, E\ E' να μην είναι συνδεδεμένος γράφος} Weighted Partial Edge Connectivity ( ) k C Ci λi Λ = i= 1 Λ(C*) Λ* = max{λ(c) όταν το C είναι μια ανάλυση του G }

13 ΠΡΟΤΕΙΝΟΜΕΝΗ ΜΕΘΟΔΟΛΟΓΙΑ

14 Διάγραμμα Προτεινόμενης Μεθοδολογίας

15 ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ Αποτελέσματα Προ-Επεξεργασίας Εκκαθάριση Web Logs Εικόνες, Error Codes, κτλ Αναγνώριση Χρηστών IP Address Αναγνώριση Συνόδων Time Window MFR Εκκαθάριση Αποτελεσμάτων Παράμετροι Min Session Size = 3 Max Session Size = 100 Min User Size = 3 Αρχικά Δεδομένα Μετά την Εκκαθάριση Users Sessions Web Pages Page Views Users List User 0 User 1 User 2... User Μ-1 0 User Sessions s 0,0 s 0,1 s 0,L P-1 Web Pages List

16 ΠΡΟΦΙΛ ΧΡΗΣΤΩΝ Βάρη Επισκέψεων Χρηστών Δυαδική Το ίδιο βάρος σε όλες τις επισκέψεις Σειρά Επίσκεψης Μεγαλύτερο βάρος στις επισκέψεις αργότερα στην ακολουθία των μεταβάσεων Διάρκεια Επίσκεψης TF.IDF Βάρος ανάλογο της διάρκειας της επίσκεψης Επισκέψεις συνόδων ανάλογες των λεκτικών όρων σε σύνολο εγγράφων

17 ΠΡΟΦΙΛ ΧΡΗΣΤΩΝ Αναπαράσταση Users List User Sessions s 0,j Users List User Profiles User 0 s 0,0 User 0 u 0 User 1 s 0,1 User 1 u 1 User 2... s 0,Li-1 User u 2 User Μ-1 Mean Value User Μ-1 u M-1 u 0 Mean User Session or User Profile u 0 Προφίλ Χρήστη i = Σ(ΣυνόδωνΣυνόδων j) ) / Πλήθος Συνόδων L i

18 ΓΡΑΦΟΣ ΤΟΥ WEB SITE Οι σελίδες ορίζουν το σύνολο των κόμβων V Οι ακμές του γράφου Ε προκύπτουν από τις μεταβάσεις των χρηστών από σελίδα σε σελίδα (σύνοδοι χρηστών) Ο γράφος μοντελοποιεί την πλοήγηση των χρηστών στο Web Site

19 ΓΡΑΦΟΣ ΤΟΥ WEB SITE Web Pages List = (0, 1, 2, 3, 4, 5, 6, 7, 8, 9) s = ( ) 4)

20 ΓΡΑΦΟΣ ΤΟΥ WEB SITE Βάρη Ακμών Δεν μεταβάλλεται ο γράφος Δυαδική Διελεύσεις Χρηστών Διελεύσεις Συνδέσμων Μεταβάλλεται ο γράφος Bibliographic Coupling Co-Citation Citation Coupling Co-Occurrence Frequencies

21 ΓΡΑΦΟΣ ΤΟΥ WEB SITE Βάρη Κόμβων Δυαδική Διάρκεια Επισκέψεων (σύνολο Πλήθος Επισκέψεων RIC (Relative In Centrality) ROC (Relative Out Centrality) σύνολο χρηστών)

22 ΟΜΑΔΟΠΟΙΗΣΗ ΣΕΛΙΔΩΝ Μοντελοποίηση Web Site με γράφο Η ομαδοποίηση του γράφου εξαρτάται από: Συνόδους Πλοήγηση Χρηστών Μετρικές απόδοσης βαρών στις ακμές του γράφου Αλγόριθμο MajoCLust

23 ΟΜΑΔΟΠΟΙΗΣΗ ΣΕΛΙΔΩΝ Παράδειγμα νέου Majorclust Προσαρμογή MajorClust σε κατευθυνόμενους γράφους Τυχαία εξέταση κόμβων γράφου In Weights Sum (3) = 50 < 70 = Out Weights Sum (3)

24 ΟΜΑΔΟΠΟΙΗΣΗ ΧΡΗΣΤΩΝ Η ομαδοποίηση χρηστών βασίζεται στην ομαδοποίηση σελίδων Κάθε χρήστης ανατίθεται σε μία (αποκλειστική) ή περισσότερες (ασαφής) ομάδες σελίδων Για κάθε χρήστη υπολογίζεται το ποσοστό συμμετοχής του σε κάθε ομάδα σελίδων με βάση το προφίλ του και τον βαθμό σπουδαιότητας των σελίδων της ομάδας.

25 ΟΜΑΔΟΠΟΙΗΣΗ ΧΡΗΣΤΩΝ Ποσοστό Συμμετοχής MaxUserMatch ik, P 1 j= 0, i, j 0 = u P 1 = j= 0 vj ck, p UserMatch ik, v c u UserParticipation i, k V = το σύνολο των κόμβων / σελίδων του Web Site C = η ομαδοποίηση του γράφου του Web Site U = ο πίνακας των προφίλ των χρηστών v j = το βάρος σπουδαιότητας της σελίδας i c k,p =0 ή 1, συμμετοχή της σελίδας p στην ομάδα k u i,j =βάροςβάρος της σελίδας j στο προφίλ του χρήστη i i = 0 M-1, 0 οι χρήστες k = 0 K-1, 0 οι ομάδες σελίδων j = 0 P-1, 0 οι σελίδες του Web Site = j k, p i, j UserMatch MaxUserMatch i, k i, k

26 ΟΜΑΔΟΠΟΙΗΣΗ ΧΡΗΣΤΩΝ Παράδειγμα Ομαδοποίησης Παράδειγμα Ομαδοποίησης Χρηστών Ομάδες Σελίδων Χρήστες Α 1 (90%) Β C 1 (70%) 2 (80%) 3 (75%) 2 (90%) 3 (100%) Ομάδες Χρηστών Χρήστες Ομάδες Σελίδων Α 1 Α Β C Β C A Web Page Clusters B 90% 70% 80% 75% 90% 100% C Αντιστοίχιση Χρηστών Ομάδων Σελίδων Ομάδες Χρηστών Χρήστες Ομάδες Σελίδων Α 1 Α Β Ασαφής Ανάθεση Χρηστών Ø 2 3 Β C 1 2 Users 3 Αποκλειστική Ανάθεση Χρηστών

27 ΠΕΙΡΑΜΑΤΑ

ΠΕΙΡΑΜΑΤΑ Προ-επεξεργασία Ελάχιστο μέγεθος συνόδου 3 επισκέψεις Μέγιστο μέγεθος συνόδου 100 επισκέψεις Ελάχιστο μέγεθος χρήστη 3 σύνοδοι Session Timeout 30 MFR - Παράμετροι Εκκαθάρισης Δεδομένων

28 ΠΕΙΡΑΜΑΤΑ Προ-επεξεργασία Ελάχιστο μέγεθος συνόδου 3 επισκέψεις Μέγιστο μέγεθος συνόδου 100 επισκέψεις Ελάχιστο μέγεθος χρήστη 3 σύνοδοι Session Timeout 30 MFR - Παράμετροι Εκκαθάρισης Δεδομένων Αρχικά Στοιχεία Τελικά Στοιχεία Ποσοστό Μεταβολής Users ,30% Sessions ,23% Web Pages ,61% Page Views ,94% Αποτελέσματα Προ-επεξεργασίας

29 ΠΕΙΡΑΜΑΤΑ Προ-επεξεργασία Κατανομή Μεγεθών Συνόδων Χρηστών

30 ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Σελίδων Μέθοδος Πλήθος Ακμών Πλήθος Κόμβων Κάτω Όριο Ανεξ. Γράφοι Ομάδες Σελίδων Μέσο Μέγεθος Ομάδας Μέγιστο Μέγεθος Ομάδας DB Index Λ Measure Δείκτης Ποιότητας Ομαδοποίησης Δυαδική , , , Διελεύσεις Χρηστών , , Διελεύσεις Συνδέσμων , , Bibliographic Coupling , , , Co-Citation Citation Coupling , , , Co- Occurrence Frequencies , , , , Αποτελέσματα Μεθόδων Ομαδοποίησης Σελίδων

31 ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Σελίδων Κατανομή μεγεθών ομάδων σελίδων

32 ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Σελίδων Μέθοδος 1 Co-Occurrence Frequencies Λ Measure x 1 / DB-Index 9, Δυαδική 1, Co-Citation Citation Coupling 4 Bibliographic Coupling Διελεύσεις Χρηστών Διελεύσεις Συνδέσμων Κατάταξη Περιπτώσεων Ομαδοποίησης Σελίδων

33 ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Σελίδων Ομαδοποίηση Σελίδων (Co-Occurrence Frequencies)

34 ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Χρηστών Απόδοση Βαρών Ακμών (Ομαδοποίηση Σελίδων) 1. Binary 2. Users Traverses 3. Links Traverses 4. Bibliographic Coupling 5. Co-citation Coupling 6. Co-occurrence occurrence Frequencies Προφίλ Χρηστών (Απόδοση Βαρών Επισκέψεων) 1. Binary 2. TF.IDF 3. View Time 4. Linear Order Κατάταξη Σπουδαιότητας Σελίδων 1. Binary 2. View Time 3. Hits Count 4. RIC 5. ROC 120 Περιπτώσεις Ομαδοποίησης Χρηστών

35 Μέγιστα Μεγέθη Ομάδων (αποκλειστική ΠΕΙΡΑΜΑΤΑ Ομαδοποίηση Χρηστών αποκλειστική ομαδοποίηση). Μέσα Μεγέθη Ομάδων (αποκλειστική ομαδοποίηση). Μέγιστα Μεγέθη Ομάδων (ασαφής ομαδοποίηση). Μέσα Μεγέθη Ομάδων (ασαφής ομαδοποίηση).

36 ΣΥΜΠΕΡΑΣΜΑΤΑ

37 ΣΥΜΠΕΡΑΣΜΑΤΑ Η ποιότητα των ομαδοποιήσεων σελίδων και χρηστών είναι ένα υποκειμενικό ζήτημα που αφορά το συγκεκριμένο περιβάλλον εφαρμογής. «Καλύτερη» ομαδοποίηση σελίδων προκύπτει από τη μετρική απόδοσης βαρών ακμών «Co- Occurrence Frequencies» (DB-Index, Λ Measure) «Καλύτερη» ομαδοποίηση χρηστών προκύπτει από τον συνδυασμό Co-Occurrence Frequencies - TF.IDF Ανάλογα με το πρόβλημα που μελετάται, επιλέγονται οι μέθοδοι με τα αντίστοιχα χαρακτηριστικά

38 ΕΡΩΤΗΣΕΙΣ?

39 ΕΥΧΑΡΙΣΤΩ!

Σχετικά έγγραφα

ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΟΥΒΛΕΤΗΣ ΧΑΡΑΛΑΜΠΟΣ ΟΜΑΔΟΠΟΙΗΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΧΡΗΣΤΩΝ ΣΤΟ ΔΙΑΔΙΚΤΥΟ

ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑ ΠΛΗΡΟΦΟΡΙΑΚΑ ΣΥΣΤΗΜΑΤΑ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΔΟΥΒΛΕΤΗΣ ΧΑΡΑΛΑΜΠΟΣ ΤΙΤΛΟΣ: ΟΜΑΔΟΠΟΙΗΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΧΡΗΣΤΩΝ ΣΤΟ ΔΙΑΔΙΚΤΥΟ INTERNET DATA AND USERS CLUSTERING