Εξόρυξη εδοµένων. Εισαγωγή. Τι είναι η Εξόρυξη εδοµένων. (µε δυολόγια)

Transcript

1 Εξόρυξη εδοµένων Ευαγγελία Πιτουρά 1 Εισαγωγή Τι είναι η Εξόρυξη εδοµένων (µε δυολόγια) Αποδοτικές τεχνικές για να αναλύσουµε πολύ µεγάλες συλλογές από δεδοµένα και να εξάγουµε χρήσιµες πληροφορίες από αυτά Ευαγγελία Πιτουρά 2 1

2 Εισαγωγή Γιατί; Συχνά υπάρχει πληροφορία «κρυµµένη» στα δεδοµένα που δεν είναι προφανής Οι ανθρώπινοι αναλυτές µπορεί να χρειάζονται εβδοµάδες για να ανακαλύψουν χρήσιµη πληροφορία Πολλά δεδοµένα δεν αναλύονται ποτέ 4,000,000 3,500,000 3,000,000 2,500,000 The Data Gap 2,000,000 1,500,000 Total new disk (TB) since ,000, ,000 0 Number of analysts From: R. Grossman, C. Kamath, V. Kumar, Data Mining for Scientific and Engineering Applications Ευαγγελία Πιτουρά 3 Εισαγωγή Γιατί Εξόρυξη εδοµένων (από εµπορική πλευρά) Πολλά δεδοµένα συγκεντρώνονται και εισάγονται σε αποθήκες δεδοµένων Web δεδοµένα, e-εµπόριο Αγορές σε πολύκαταστήµατα/αλυσίδες Συναλλαγές µε τράπεζες/πιστωτικές κάρτες Οι υπολογιστές γίνονται φτηνότεροι και πιο ισχυροί Μεγάλος ανταγωνισµός Παροχή καλύτερων, προσωπικών υπηρεσιών σε κάποιο πεδίο (fraud detection, targeting marketing) Ευαγγελία Πιτουρά 4 2

3 Γιατί Εξόρυξη εδοµένων (από επιστηµονική πλευρά) Εισαγωγή Τα δεδοµένα συλλέγονται και αποθηκεύονται σε τροµερές ταχύτητες enormous speeds (GB/hour) Αποµακρυσµένοι αισθητήρες (remote sensors) σε δορυφόρους Τηλεσκόπια στον ουρανό Microarrays που παράγουν γονιδιακά δεδοµένα Επιστηµονικές προσοµοιώσεις που παράγουν terabytes δεδοµένων Η εξόρυξη δεδοµένων µπορεί να βοηθήσει τους επιστήµονες Στην κατηγοριοποίηση και την τµηµατοποίηση των δεδοµένων Στην ιατύπωση Υποθέσεων Ευαγγελία Πιτουρά 5 Παραδείγµατα εδοµένων Εισαγωγή Κυβερνητικά: TAXIS (εφορία), δηµογραφικά δεδοµένα, Μεγάλες εταιρίες WALMART: 20M συναλλαγές την ηµέρα MOBIL: 100 TB γεωλογικά σύνολα δεδοµένων AT&T 300 M κλήσεις την ηµέρα Εταιρίες πιστωτικών κρατών Επιστηµονικά NASA, EOS project: 50 GB την ώρα εδοµένα για το περιβάλλον «Κοινωνικά» -Ατοµικά Νέα, ψηφιακές κάµερες, YouTube Ευαγγελία Πιτουρά 6 3

4 Τι είναι η Εξόρυξη εδοµένων Είδη/Τεχνικές Εξόρυξης εδοµένων (συνοπτικά) Οµαδοποίηση (συσταδοποίηση) clustering χωρίζουµε ταδεδοµένα σε οµάδες από «όµοια» σύνολα Κανόνες συσχέτισης (Association rule mining) βρίσκουµε συσχετίσεις ανάµεσα στα δεδοµένα, πχ ποια δεδοµένα εµφανίζονται συχνά µαζί σε συναλλαγές Κατηγοριοποίηση (Classification) κατηγοριοποιούµε ταδεδοµένα τοποθετώντας τα σε µια (ή περισσότερες) από έναν αριθµό από δοσµένες κατηγορίες Είδη µε βάση τα δεδοµένα στα οποία γίνεται η εξόρυξη Εξόρυξη στο διαδίκτυο µηχανές αναζήτησης ενδιαφέρουσες (σηµαντικές) σελίδες µε βάσητους συνδέσµους Ευαγγελία Πιτουρά 7 Τι είναι η Εξόρυξη εδοµένων Εξόρυξη εδοµένων (Ορισµός) Πολύ µεγάλα σύνολα δεδοµένων (data sets) (1) η διαδικασίαανακάλυψης (discovery) προτύπων (patterns) που πριν δεν ήταν γνωστά, ισχύουν, είναι πιθανών χρήσιµα και είναι κατανοητά (2) η ανάλυση τους για να βρούµε µη αναµενόµενες σχέσεις ανάµεσα στα δεδοµένα καθώς και να τα συνοψίσουµε µε νέους τρόπους που είναι κατανοητοί και χρήσιµοι στους χρήστες Παραδείγµατα: αγορές από πολυκαταστήµατα, προσπελάσεις ιστοσελίδων, πακέτα στο δίκτυο, αποτελέσµατα επιστηµονικών πειραµάτων, κίνηση µετοχών, βιολογικά δεδοµένα κλπ Ευαγγελία Πιτουρά 8 4

5 Τι είναι η Εξόρυξη εδοµένων Τι δεν είναι Αναζήτηση ενός αριθµού τηλεφώνου στον τηλεφωνικό κατάλογο Ερώτηση σε µια µηχανή αναζήτησης πληροφορία για το Amazon Τι είναι Ορισµένα ονόµατα είναι πιο συχνά σε κάποιεςτοποθεσίεςστιςηπα(πχ O Brien, O Rurke, O Reilly στην περιοχή της Βοστώνης, κατάληξη «ακης» στην Κρήτη) Οµαδοποίηση όµοιων κειµένων που επιστρέφει µια µηχανή αναζήτησης µε βάση τα συµφραζόµενα (πχ δάσος Amazon, Amazon.com,) Ευαγγελία Πιτουρά 9 Οι «ρίζες» τηςεξόρυξης εδοµένων Και λίγη ιστορία Σε σχέση µε την ιστορία των Βάσεων εδοµένων, η Εξόρυξη εδοµένων είναι πολύ νέα 1960 και νωρίτερα Συλλογή εδοµένων - Επεξεργασία Αρχείων 1970 αρχές του 1980 Ιεραρχικά και δικτυακά µοντέλα Σχεσιακά συστήµατα βάσεων δεδοµένων Εργαλεία µοντελοποίησης (Ο/Σκλπ) Μέθοδοι ευρετηριοποίησης (Β-δέντρα, κατακερµατισµός, κλπ) Γλώσσες επερωτήσεων SQL, κλπ ιεπαφές χρήστη (πχ φόρµες και αναφορές) Επεξεργασία και βελτιστοποίηση ερωτήσεων Συναλλαγές, ανάκαµψη από σφάλµατα, έλεγχος συγχρονικότητας OLTP (on-line analytical processing) Ευαγγελία Πιτουρά 10 5

6 Οι «ρίζες» τηςεξόρυξης εδοµένων Και λίγη ιστορία Εξελιγµένα Συστήµατα Βάσεων εδοµένων (µέσα 1980 σήµερα) Νέα µοντέλα (αντικειµενο-σχεσιακό, επεκτεταµένα σχεσιακά κλπ) Εξελιγµένη Ανάλυση εδοµένων Αποθήκες εδοµένων και Εξόρυξη (1990 σήµερα) ιαδικτυακές Βάσεις εδοµένων 1990 σήµερα IR (Ανάκτηση Πληροφορίας) + Β Νέες εφαρµογές και τύποι δεδοµένων (χρονικά, χωρικά, χρονοχωρικά, δεδοµένα από αισθητήρες, συνεχή, κλπ) Ευαγγελία Πιτουρά 11 Οι «ρίζες» τηςεξόρυξης εδοµένων Στατιστική Εξόρυξη εδοµένων Βάσεις εδοµένων ΤΝ/ Μηχανική Μάθηση Πρέπει να αντιµετωπίσει: Το τεράστιο µέγεθος των δεδοµένων Το µεγάλο αριθµό διαστάσεων Την µη οµοιογενή και την κατανεµηµένη φύση των δεδοµένων Ευαγγελία Πιτουρά 12 6

7 Κάποιες Πηγές Σχετικές Κοινότητες Workshops on Knowledge Discovery in Databases Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) International Conferences on Knowledge Discovery in Databases and Data Mining (KDD 95-98) Journal of Data Mining and Knowledge Discovery (1997) ACM SIGKDD conferences since 1998 and SIGKDD Explorations More conferences on data mining PAKDD (1997), PKDD (1997), SIAM-Data Mining (2001), (IEEE) ICDM (2001), etc. ACM Transactions on KDD started in 2007 Ευαγγελία Πιτουρά 13 Κάποιες Πηγές Σχετικές Κοινότητες KDD Συνέδρια ACM SIGKDD Int. Conf. on Knowledge Discovery in Databases and Data Mining (KDD) SIAM Data Mining Conf. (SDM) (IEEE) Int. Conf. on Data Mining (ICDM) Conf. on Principles and practices of Knowledge Discovery and Data Mining (PKDD) Pacific-Asia Conf. on Knowledge Discovery and Data Mining (PAKDD) Άλλα Σχετικά Συνέδρια ACM SIGMOD VLDB (IEEE) ICDE WWW, SIGIR ICML, CVPR, NIPS Περιοδικά Data Mining and Knowledge Discovery (DAMI or DMKD) IEEE Trans. On Knowledge and Data Eng. (TKDE) KDD Explorations ACM Trans. on KDD Ευαγγελία Πιτουρά 14 7

8 Βιβλία Βιβλία Υπάρχουν 2 ελληνικά Μ. Βαζιργιάννης και Μ. Χαλκίδη, Εξόρυξη Γνώσης από Βάσεις εδοµένων. Τυποθήτω, Νοέµβριος 2003 M. H. Dunham, Data Mining, Εισαγωγικά και Προηγµένα Θέµατα Εξόρυξης Γνώσης από εδοµένα. Επιµέλεια Ελληνικής Έκδοσης: Β. Βερύκιος και Γ. Θεοδωρίδης. Εκδόσεις Νέων Τεχνολογιών, Ευαγγελία Πιτουρά 15 2 «κλασικά» βιβλία στα αγγλικά ΒΙβλία P.-N. Tan, M. Steinbach and V. Kumar, Introduction to Data Mining, Addison Wesley, 2006 J. Han and M. Kamber. Data Mining: Concepts and Techniques, Morgan Kaufmann, 2006 Ευαγγελία Πιτουρά 16 8

9 Ανακάλυψη Γνώσης (Knowledge Discovery) Προ-επεξεργασία Εξόρυξη εδοµένων Ευαγγελία Πιτουρά 17 Ανακάλυψη Γνώσης (Knowledge Discovery) ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ Data Cleaning Καθαρισµός εδοµένων Data Integration Ενοποίηση εδοµένων Data Transformation Μετασχηµατισµοί εδοµένων ΕΞΟΡΥΞΗ Ε ΟΜΕΝΩΝ ΑΝΑΠΑΡΑΣΤΑΣΗ Ευαγγελία Πιτουρά 18 9

10 Προ-επεξεργασία δεδοµένων - Καθαρισµός Τα δεδοµένα στο πραγµατικό κόσµο είναι«βρώµικα» Ελλειπή -incomplete:µπορεί να λείπουν κάποιες τιµές γνωρισµάτων (να µην καταγράφηκαν, να καταγράφηκαν λανθασµένα λόγω µη συνεννόησης ή λανθασµένης λειτουργίας), να λείπουν κάποια ενδιαφέροντα γνωρίσµατα (που να µην θεωρήθηκαν σηµαντικά ή να µην ήταν διαθέσιµα), ή να περιέχουν µόνο συναθροιστικά (aggregate) δεδοµένα Συµπλήρωση των γνωρισµάτων και τιµών που λείπουν Με θόρυβο -noisy: περιέχουν λάθη ή outliers (περιθωριακές τιµές - τιµές που διαφέρουν πολύ από την πλειοψηφία) Εύρεση των περιθωριακών τιµών και αποµάκρυνση θορύβου Ασυνεπή - inconsistent: περιέχουν ασυνέπειες, διπλότιµα ιόρθωση ασυνεπών τιµών Ευαγγελία Πιτουρά 19 Προ-επεξεργασία δεδοµένων Επιλογή εδοµένων και Γνωρισµάτων και εφαρµογή κατάλληλων Μετασχηµατισµών Συνάθροιση Aggregation: συνδυασµούς δεδοµένων από πολλές πηγές Sampling δειγµατοληψία: χρήση αντιπροσωπευτικού δείγµατος των δεδοµένων για βελτίωση της απόδοσης Dimensionality reduction µείωση διαστάσεων - Κατάρα της διάστασης (curse of dimensionality) Πολλές τεχνικές για την ανάλυση δεδοµένων γίνονται δυσκολότερες µε την αύξηση της διάστασης των δεδοµένων (αυξάνει εκθετικά η πολυπλοκότητα ή τα δεδοµένα γίνονται πολύ αραιά) Τεχνικές της γραµµικής άλγεβρας (SVD, PCA) Απεικόνιση σε άλλο χώρο µε µικρότερο αριθµό διαστάσεων Ευαγγελία Πιτουρά 20 10

11 Προ-επεξεργασία δεδοµένων Discretization (µετασχηµατιµός σε µια διακριτή τιµή) ή binarization (µετασχηµατισµός σε δυαδική τιµή) Variable transformation µετασχηµατισµοί των τιµών των µεταβλητών Πχ Κανονικοποίηση Ευαγγελία Πιτουρά 21 Ανακάλυψη Γνώσης (Knowledge Discovery) Προ-επεξεργασία Οπτικοποίηση Παρουσίαση των αποτελεσµάτων Ευαγγελία Πιτουρά 22 11

12 Αρχιτεκτονική του Συστήµατος Γραφικές Επαφές Χρήστη Εκτίµηση Προτύπων Μηχανή Εξόρυξης εδοµένων Βάση Γνώσης Β Εξυπηρετητής Βάσης εδοµένων ή Αποθήκης εδοµένων Καθαρισµός, Ενοποίηση και Επιλογή Αποθήκη World-Wide εδοµένων Web Άλλα Σύνολα εδοµένων Που είναι τα δεδοµένα (διασύνδεση µε Σ Β ) Βάση Γνώσης Ευαγγελία Πιτουρά 23 Εξόρυξη εδοµένων Πως χρησιµοποιείται 1. Κατανόηση του προβλήµατος 2. Χρήση τεχνικών εξόρυξης δεδοµένων για να πάρουµε πληροφορία από τα δεδοµένα 3. Χρήση αυτής της πληροφορίας 4. Μέτρηση των αποτελεσµάτων Ευαγγελία Πιτουρά 24 12

13 Είδη/Μέθοδοι για Εξόρυξη εδοµένων (συνοπτικά) 1. Ταξινόµηση - Classification: εκµάθηση µια συνάρτησης κατασκευή ενός µοντέλου που απεικονίζει ένα στοιχείο σε µια από ένα σύνολο από προκαθορισµένες κλάσεις 2. Συσταδοποίηση -Clustering: εύρεση ενός συνόλου από οµάδες µε όµοια στοιχεία 3. Εύρεση Συχνών Προτύπων, Εξαρτήσεων και Συσχετίσεων Dependencies and associations: εύρεση σηµαντικών/συχνών εξαρτήσεων µεταξύ γνωρισµάτων 5. Συνοψίσεις - Summarization: εύρεση µιας συνοπτικής περιγραφής του συνόλου δεδοµένων ή ενός υποσυνόλου του 6. Αλλα Ευαγγελία Πιτουρά 25 Είδη/Μέθοδοι για Εξόρυξη εδοµένων Predictive Methods Μέθοδοι πρόβλεψης Χρήση κάποιων µεταβλητών για να προβλέψουν άγνωστες ή µελλοντικές τιµές κάποιων άλλων µεταβλητών Descriptive Methods - Περιγραφικοί Μέθοδοι Στόχος να βρεθούν κατανοητά πρότυπα που περιγράφουν τα δεδοµένα τις ιδιότητες τους Ευαγγελία Πιτουρά 26 13

14 Είδη/Μέθοδοι για Εξόρυξη εδοµένων Ταξινόµηση [Predictive] Συσταδοποίηση [Descriptive] Εύρεση Κανόνων Συσχέτισης [Descriptive] Sequential Pattern Discovery [Descriptive] Regression Συνοψίσεις [Predictive] ένα συνοπτικό µοντέλο για τα δεδοµένα (πχ µια συνάρτηση) Deviation/Anomaly Detection [Predictive] outlier analysis (στατιστικοί έλεγχοι για σπάνια σηµεία), evolution analysis (πχ ανάλυση χρονοσειρών πχ µετοχές) κλπ Ευαγγελία Πιτουρά 27 Απαρίθµηση Ταυτόχρονων Εµφανίσεων Counting Co-Occurrence (Απαρίθµηση Ταυτόχρονων Εµφανίσεων) Το καλάθι της νοικοκυράς (market basket) είναι µια συλλογή στοιχείων (collection of items) που αγοράστηκαν από ένα πελάτη κατά τη διάρκεια µιας µοναδικής συναλλαγής του (transaction) του Στόχος: Εντοπισµός των αντικειµένων που εµφανίζονται µαζί σε µια συναλλαγή Ευαγγελία Πιτουρά 28 14

15 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Μια συναλλαγή Παρατηρείστε ότι υπάρχει επανάληψη πληροφορίας Παρατηρήσεις του τύπου: σε 75% των συναλλαγών αγοράστηκαν µαζί και µελάνι και πένες Ευαγγελία Πιτουρά 29 Συχνά Στοιχειοσύνολα Στοιχειοσύνολο (Itemset): είναι ένα σύνολο από αντικείµενα Υποστήριξη ενός στοιχειοσυνόλου (Support of an itemset): το ποσοστό των συναλλαγών στης βάσης δεδοµένων που περιέχουν όλα τα στοιχεία του στοιχειοσυνόλου Παράδειγµα: Στοιχειοσύνολο {pen, ink} Υποστήριξη 75% Στοιχειοσύνολο {milk, juice} Υποστήριξη 25% Μας ενδιαφέρουν στοιχειοσύνολα µε µεγάλη υποστήριξη, γιατί; Ευαγγελία Πιτουρά 30 15

16 Συχνά Στοιχειοσύνολα Συχνά Στοιχειοσύνολα : Στοιχειοσύνολα των οποίων η υποστήριξη είναι µεγαλύτερη από κάποια ελάχιστη υποστήριξη (minimum support, minsup) που θέτουν οι χρήστες Παράδειγµα: Αν minsup = 70%, Συχνά Στοιχειοσύνολα: {pen}, {ink}, {milk}, {pen, ink}, {pen, milk} Ευαγγελία Πιτουρά 31 Συχνά Στοιχειοσύνολα Έναν αλγόριθµο που να εντοπίζει (όλα) τα συχνά στοιχειοσύνολα Ο πιο απλός αλγόριθµος, For k = 1 to n Κατασκεύασε όλα τα δυνατά στοιχειοσύνολα µε k στοιχεία έλεγξε αν είναι συχνά Ευαγγελία Πιτουρά 32 16

17 Συχνά Στοιχειοσύνολα Αλγόριθµος For each item, k = 1 repeat Until n check if it is a frequent itemset /* δηλαδή, αν υπάρχει > minsum συναλλαγές */ for each new frequent itemset I k with k items Generate all itemsets I k+1 with k+1 items, I k I k+1 Scan all transactions once and check if the generated k+1 itemsets are frequent k = k + 1 Ευαγγελία Πιτουρά 33 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Έστω minsum = 70% k=1 {pen} 4/4 ok {ink} 3/4 ok {milk} 3/4 ok {juice} 2/4 όχι k = 2 {pen, ink} 3/4 ok {pen, milk} 3/4 ok {pen, juice} κλπ Μπορούµε νακάνουµε κάτι καλύτερο; Ευαγγελία Πιτουρά 34 17

18 Συχνά Στοιχειοσύνολα Ηιδιότηταa priori: Κάθε υποσύνολο ενός συχνού συνόλου πρέπει να αποτελεί επίσης ένα συχνό σύνολο Ευαγγελία Πιτουρά 35 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Έστω minsum = 70% {pen} 4/4 ok {ink} 3/4 ok {milk} 3/4 ok {juice} 2/4 όχι {pen, ink} 3/4 ok {pen, milk} 3/4 ok {ink, milk} 2/4 όχι Άρα τέλος Αποτέλεσµα {pen}, {ink}, {milk}, {pen, ink} {pen, milk} Ευαγγελία Πιτουρά 36 18

19 Συχνά Στοιχειοσύνολα Βελτιωµένος Αλγόριθµος Εύρεσης Συχνών Στοιχειοσυνόλων For each item, check if it is a frequent itemset k = 1 repeat for each new frequent itemset I k with k items Generate all itemsets I k+1 with k+1 items, I k I k+1 whose subsets are frequent itemsets Scan all transactions once and check if the generated k+1 itemsets are frequent k = k + 1 Until no new frequent itemsets are identified Ευαγγελία Πιτουρά 37 Ερωτήσεις Τύπου Παγόβουνου Υποθέστε ότι θέλουµε ναβρούµε ζεύγη αγοραστών και στοιχείων τέτοιων ώστε ο αγοραστής τους να έχει αγοράσει το στοιχείο τουλάχιστον 5 φορές select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 Πως θα υπολογιζόταν αυτή ερώτηση σε ένα σχεσιακό Σ Β ; Ο αριθµός των οµάδων είναι πολύ µεγάλος αλλά η απάντηση στην ερώτηση (η κορυφή του παγόβουνου) είναι πολύ µικρή Ευαγγελία Πιτουρά 38 19

20 Ερωτήσεις Τύπου Παγόβουνου Iceberg query (Ερώτηση τύπου παγόβουνου) select R.A1, R.A2,, R.Ak, aggregate (R.B) from Relation R group by R.A1, R.A2,, R.Ak having aggregate (R.B) > = constant Ευαγγελία Πιτουρά 39 select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 Ερωτήσεις Τύπου Παγόβουνου Αρκεί να εξετάσουµε µόνο εκείνες τις τιµές για το custid που αφορά πελάτες που έχουν αγοράσει τουλάχιστον 5 στοιχεία συνολικά (όχι απαραίτητα το ίδιο στοιχείο) Q1: select P.custid from Purchases P group by P.custid having sum (P.qty) > 5 Ευαγγελία Πιτουρά 40 20

21 Ερωτήσεις Τύπου Παγόβουνου Αντίστοιχα, αρκεί να εξετάσουµε µόνο εκείνες τις τιµές για το item που αφορούν στοιχεία που έχουν αγοραστεί 5 φορές συνολικά (όχι απαραίτητα από τον ίδιο πελάτη Q2: select P.item from Purchases P group by P.item having sum (P.qty) > 5 Ευαγγελία Πιτουρά 41 Ερωτήσεις Τύπου Παγόβουνου select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 select P.custid from Purchases P Q1 group by P.custid having sum (P.qty) > 5 select P.item from Purchases P group by P.item having sum (P.qty) > 5 Q2 ηµιουργία (custid, item) ζευγών µόνο για custid από την Q1 και item από την Q2 Ευαγγελία Πιτουρά 42 21

22 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Εξόρυξη Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 43 Συνδυαστικοί Κανόνες Παράδειγµα {pen} {ink} Αν ένα στοιχείο pen αγοράζεται σε µια συναλλαγή, τότε είναι πιθανό ότι αγοράζεται και το στοιχείο ink Γενικά, συνδυαστικός κανόνας (association rule) LHS RHS Όπου LHS και RHS είναι στοιχειοσύνολα Ευαγγελία Πιτουρά 44 22

23 Συνδυαστικοί Κανόνες LHS RHS Υποστήριξη (support): support(lhs RHS) Το ποσοστό των συναλλαγών που περιέχουν όλα τα στοιχεία του (LHS RHS) Εµπιστοσύνη (confidence): support(lhs RHS) / support(lhs) Μια ένδειξη της ισχύς του κανόνα P(RHS LHS) Ευαγγελία Πιτουρά 45 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 pen milk (K1) support(k1) = 75% confidence(k1) = 75% milk pen (K2) support(k2) = 75% confidence(k2) = 100% Ευαγγελία Πιτουρά 46 23

24 Συνδυαστικοί Κανόνες Έναν αλγόριθµο εύρεσης όλων των κανόνων µε ελάχιστοminsup και ελάχιστο minconf Ελάχιστο minsum, support(lhs RHS) minsum Βήµα 1: Βρες όλα τα συχνά στοιχειοσύνολα µε minsup Βήµα 2: Παρήγαγε όλους τους κανόνες από το Βήµα 1 Ευαγγελία Πιτουρά 47 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Αποτέλεσµα {pen}, {ink}, {milk}, {pen, ink} {pen, milk} υνατοί κανόνες pen ink ink pen pen milk milk pen Ευαγγελία Πιτουρά 48 24

25 Συνδυαστικοί Κανόνες Βήµα 2 For each frequent itemset I with support support(i) Divide I into LHS I and RHS I confidence = support(i) / support(lhs I ) Παρατήρηση Τα support(i) και support(lhs I ) τα έχουµε ήδη υπολογίσει σε προηγούµενα βήµατα του αλγορίθµου εύρεσης συχνών στοιχειοσυνόλων Ευαγγελία Πιτουρά 49 Συνδυαστικοί Κανόνες και Ιεραρχίες ISA Μια ISA ιεραρχία ή ιεραρχία κατηγοριών (category hierarchy) ανάµεσα στα σύνολα των στοιχείων: µια συναλλαγή εµµέσως περιέχει για κάθε στοιχείο και όλα τα στοιχεία που είναι προγονοί του στην ιεραρχία Beverage Stationery Επιτρέπει τον εντοπισµό σχέσεων µεταξύ στοιχείων που ανήκουν σε διαφορετικά επίπεδα της ιεραρχίας Milk Juice Pen Ink Γενικά, η υποστήριξη (support) ενός στοιχείου µπορεί µόνο να αυξηθεί µε την αντικατάσταση του στοιχείου από κάποιο πρόγονο του στην ιεραρχία Ευαγγελία Πιτουρά 50 25

26 Γενικευµένοι Συνδυαστικοί Κανόνες Πιο γενικά: όχι µόνο συναλλαγές αγοραστών Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 π.χ., Οµαδοποίηση πλειάδων µε βάση το custid Ο κανόνας {pen} {milk}: αν το στοιχείο pen αγοραστεί από κάποιο πελάτη είναι πιθανό ότι ο πελάτης θα αγοράσει και το στοιχείο milk (µε υποστήριξη και εµπιστοσύνη 100%) Ευαγγελία Πιτουρά 51 Γενικευµένοι Συνδυαστικοί Κανόνες Οµαδοποίηση πλειάδων µε βάση την ηµεροµηνία: Ηµερολογιακή ανάλυση του καλαθιού της νοικοκυράς (Calendric market basket analysis) Ένα ηµερολόγιο (calendar) είναι µια οποιαδήποτε οµάδα ηµεροµηνιών (π.χ., κάθε πρώτη του µήνα) οσµένου ενός ηµερολογίου, υπολόγισε τους συνδυαστικούς κανόνες που αφορούν πλειάδες που έχουν πραγµατοποιηθεί σε ηµεροµηνίες που ανήκουν στο ηµερολόγιο Ευαγγελία Πιτουρά 52 26

27 Γενικευµένοι Συνδυαστικοί Κανόνες Ηµερολόγιο: κάθε πρώτη του µήνα Ο κανόνας {pen} {juice}: έχει support 100% Ενώ γενικά: 50% Ο κανόνας {pen} {milk}: έχει support 50% Ενώ γενικά: 75% Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Ευαγγελία Πιτουρά 53 Ακολουθιακά Πρότυπα Ακολουθία (sequence) στοιχειοσυνόλων: Η ακολουθία των στοιχείων που αγοράστηκαν από τον πελάτη: Παράδειγµα custid 201: {pen, ink, milk, juice}, {pen, ink, juice} (ordered by date) Μια υπο-ακολουθία (subsequence) µιας ακολουθίας στοιχειοσυνόλων προκύπτει διαγράφοντας ένα ή περισσότερα στοιχειοσύνολα και αποτελεί επίσης µια ακολουθία στοιχειοσυνόλων Ευαγγελία Πιτουρά 54 27

28 Ακολουθιακά Πρότυπα Μια ακολουθία a 1, a 2,.., a n περιέχεται σε µια ακολουθία S αν η µια υπο-ακολουθία b q,.., b m such that a i b i for 1 i m S έχει Παράδειγµα {pen}, {ink, milk}, {pen, juice} περιέχεται στην {pen, ink}, {shirt}, {juice, ink, milk}, {juice, pen, milk} Η σειρά των στοιχείων σε κάθε στοιχειοσύνολο δεν έχει σηµασία αλλά η σειρά των στοχειοοσυνόλων στην ακολουθία έχει {pen}, {ink, milk}, {pen, juice} δεν περιέχεται στην {pen, ink}, {shirt}, {juice, pen, milk}, {juice, milk, ink} Ευαγγελία Πιτουρά 55 Ακολουθιακά Πρότυπα Η υποστήριξη µια ακολουθίας στοιχειοσυνόλων S είναι το ποσοστό των ακολουθιών του πελάτη των οποίων η S είναι υπο-ακολουθία Βρες όλες τις ακολουθίες που έχουν µια ελάχιστη υποστήριξη Ευαγγελία Πιτουρά 56 28

29 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Εξόρυξη Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 57 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης InsuranceInfo(age: integer, cartype: string, highrisk: boolean) Υπάρχει ένα γνώρισµα (highrisk: ΥψηλούΚινδύνου) του οποίου την τιµή θαθέλαµε να προβλέψουµε: Εξαρτηµένο Γνώρισµα Τα άλλα γνωρίσµατα ονοµάζονται προβλέποντα γνωρίσµατα (predictors) Ηγενική µορφή των κανόνων που θέλουµενα προβλέψουµε είναι: P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c Ευαγγελία Πιτουρά 58 29

30 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c P i (X i ) είναι κατηγορήµατα (predicates) ύο τύποι γνωρισµάτων: αριθµητικά P i (X i ) : l i X i h i κατηγοριακά (categorical) P i (X i ) : X i {v 1,, v j } αριθµητικά εξαρτηµένα γνωρίσµατα κατηγοριακά εξαρτηµένα γνωρίσµατα κανόνας παλινδρόµησης κανόνας κατηγοριοποίησης (16 age 25) (cartype {Sports, Truck}) highrisk = true Ευαγγελία Πιτουρά 59 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c Υποστήριξη: Ηυποστήριξηγιαµια συνθήκη C είναι το ποσοστό των πλειάδων που ικανοποιούν την C. Η υποστήριξη του κανόνα C1 C2 είναι η υποστήριξη της συνθήκης C1 C2 Εµπιστοσύνη Έστω όλες οι πλειάδες που ικανοποιούν τη συνθήκη C1. Η εµπιστοσύνη του κανόνα C1 C2 είναιτοποσοστότωνπλειάδων αυτών που ικανοποιούν και τη συνθήκη C2 Ευαγγελία Πιτουρά 60 30

31 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης Γενικεύοντας P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = f(x 1, X 2,, X k ) Η διαφορά από τους συνδυαστικούς κανόνες είναι ότι θεωρούν συνεχή και κατηγοριακά γνωρίσµατα και όχι µόνο ένα πεδίο µε πολλαπλές καθορισµένες τιµές Πολλές εφαρµογές, π.χ. σε επιστηµονικά πειράµατα, προώθηση προϊόντων µέσω ταχυδροµείου, προβλέψεις χρηµατοοικονοµικών µεγεθών, ιατρικές προγνώσεις Θα δούµε στη συνέχεια έναν ειδικό τύπο τους Ευαγγελία Πιτουρά 61 ενδρικοί Κανόνες έντρα αποφάσεων ή δέντρα κατηγοριοποίησης έντρα Παλινδρόµησης Συνήθως το ίδιο το δέντρο είναι το αποτέλεσµα της εξόρυξης δεδοµένων Εύκολο να κατανοηθεί Αποδοτικοί αλγόριθµοι για την κατασκευή του Ευαγγελία Πιτουρά 62 31

32 ενδρικοί Κανόνες Παράδειγµα δέντρου <= 25 Age > 25 Car Type No Other Sports, Truck No Yes Ευαγγελία Πιτουρά 63 ενδρικοί Κανόνες Γραφική απεικόνιση µια συλλογής κανόνων κατηγοριοποίησης. Εσωτερικοί κόµβοι: ετικέτα (labeled) µε ένα προβλέπον γνώρισµα (που ονοµάζεται και διαχωρίζον γνώρισµα (splitting attribute) Εξερχόµενες ακµές: έχουν ως ετικέτα το κατηγόρηµα που περιλαµβάνει το διαχωρίζον γνώρισµα του κόµβου (κριτήριο διαχωρισµού του κόµβου - splitting criterion) ξένα µεταξύ τους Φύλλα: έχουν ως ετικέτα το κατηγόρηµα µια τιµή τουεξαρτώµενου γνωρίσµατος Θα εξετάσουµε δυαδικά δέντρα αποφάσεων αλλά µπορεί να έχουµε και δέντρα υψηλότερου βαθµού Ευαγγελία Πιτουρά 64 32

33 ενδρικοί Κανόνες οσµένης µια εγγραφής δεδοµένων το δέντρο οδηγεί από τη ρίζα σε ένα φύλλο. Age Μπορούµε να κατασκευάσουµε κανόνες κατηγοριοποίησης > 25 <= 25 ακολουθώντας κάθε µονοπάτι από τη ρίζα σε φύλλο: Car Type No LHS σύζευξη των κατηγορηµάτων, RHS η τιµή του φύλλου Other Sports, Truck Ένας κανόνας για κάθε φύλλο No Yes (16 age 25) (cartype {Sports, Truck}) highrisk = true Ευαγγελία Πιτουρά 65 Κατασκευή σε δύο φάσεις ενδρικοί Κανόνες ΦΑΣΗ 1: φάση ανάπτυξης κατασκευή ενός πολύ µεγάλου δέντρου (π.χ., ένα φύλλο για κάθε εγγραφή της βάσης δεδοµένων) ΦΑΣΗ 2: φάση κλαδέµατος Κατασκευή του δέντρου greedily από πάνω προς τα κάτω: Στη ρίζα εξέτασε τη βάση δεδοµένων και επέλεξε το καλύτερο κριτήριο διαχωρισµού (τοπικά βέλτιστο κριτήριο) ιαµέρισετηβάσησεδύοµέρη Εφάρµοσε αναδροµικάσεκάθεπαιδί Ευαγγελία Πιτουρά 66 33

34 ενδρικοί Κανόνες Input: node n partition D split selection method S Output: decision tree for D rooted at node n Top down Decision Tree Induction Schema BuildTree(node n, partition D, method S) Apply S to D to find the splitting criterion If (a good splitting criterion is found) create two children nodes n1 and n2 of n partition D into D1 and D2 BuildTree(n1, D1, S) Build Tree(n2, D2, S) Ευαγγελία Πιτουρά 67 ενδρικοί Κανόνες Μέθοδος επιλογής διαχωρισµού Ένας αλγόριθµος που παίρνει ως είσοδο µια σχέση (ή ένατµήµα µιας σχέσης) και δίνει ως έξοδο το τοπικά βέλτιστο κριτήριο Παράδειγµα: εξετάστε τα γνωρίσµατα cartype και age, επέλεξε ένα από αυτό ως γνώρισµα διαχωρισµού και µετά επέλεξε το γνώρισµα διαχωρισµού Ευαγγελία Πιτουρά 68 34

35 ενδρικοί Κανόνες Πως µπορούµε να κατασκευάσουµε δέντρα αποφάσεων που είναι µεγαλύτερα από τη κύρια µνήµη; Αντί να φορτώσουµε όλη τη βάση δεδοµένων στη µνήµη: ίνουµε στη µέθοδο επιλογής διαχωρισµού συανθροιστική πληροφορία για τα γνωρίσµατα Χρειαζόµαστε συναθροιστική πληροφορία για κάθε γνώρισµα πρόβλεψης Σύνολο AVC του γνωρίσµατος πρόβλεψης Χ στον κόµβο n είναι η προβολή του διαµερίσµατος της βάσης δεδοµένων του κόµβου n στο X και στο εξαρτηµένο γνώρισµα όπου συναθροίζονται οι συχνότητες (counts) των διακριτών τιµών του εξαρτηµένου γνωρίσµατος Ευαγγελία Πιτουρά 69 ενδρικοί Κανόνες age cartype highrisk 23 Sedan false 30 Sports false 36 Sedan false 25 Truck true 30 Sedan false 23 Truck true 30 Truck false 25 Sports true 18 Sedan false Σύνολο AVC του γνωρίσµατος πρόβλεψης age στη ρίζα select R.age, R.highrisk, count(*) from InsuranceInfo R group by R.age, R.highrisk true false 18 O Ευαγγελία Πιτουρά 70 35

36 ενδρικοί Κανόνες age cartype highrisk 23 Sedan false 30 Sports false 36 Sedan false 25 Truck true 30 Sedan false 23 Truck true 30 Truck false 25 Sports true 18 Sedan false Σύνολο AVC του γνωρίσµατος πρόβλεψης cartype στη ρίζα select R.cartype, R.highrisk, count(*) from InsuranceInfo R group by R.cartype, R.highrisk true false Sedan 0 4 Sports 1 1 Truck 2 1 Ευαγγελία Πιτουρά 71 ενδρικοί Κανόνες age cartype highrisk 23 Sedan false 30 Sports false 36 Sedan false 25 Truck true 30 Sedan false 23 Truck true 30 Truck false 25 Sports true 18 Sedan false Σύνολο AVC του γνωρίσµατος πρόβλεψης cartype στο αριστερό παιδί της ρίζας select R.cartype, R.highrisk, count(*) from InsuranceInfo R where R.age <=25 group by R.age, R.highrisk true false Sedan 0 2 Sports 1 0 Truck 2 0 Ευαγγελία Πιτουρά 72 36

37 ενδρικοί Κανόνες Οµάδα AVC ενός κόµβου n: το σύνολο των AVC συνόλων όλων των γνωρισµάτων πρόβλεψης στον κόµβο n Ποιο είναι το µέγεθος του συνόλου AVC; Ευαγγελία Πιτουρά 73 ενδρικοί Κανόνες Input: node n partition D split selection method S Output: decision tree for D rooted at node n Top down Decision Tree Induction Schema BuildTree(node n, partition D, method S) Make a scan over D and construct the AVC group of node n in memory Apply S to AVC group to find the splitting criterion If (a good splitting criterion is found) create two children nodes n1 and n2 of n partition D into D1 and D2 BuildTree(n1, D1, S) Build Tree(n2, D2, S) Ευαγγελία Πιτουρά 74 37

38 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Εξόρυξη Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 75 Συγκρότηση ιαµέριση ενός συνόλου εγγραφών σε οµάδες συγκροτήµατα (clusters) έτσι ώστε όλες οι εγγραφές που ανήκουν σε µια οµάδα να είναι όµοιες µεταξύ τους και οι εγγραφές που ανήκουν σε διαφορετικές οµάδες να είναι ανόµοιες Η οµοιότητα µεταξύ των εγγραφών υπολογίζεται µέσς µιας συνάρτησης απόστασης distance function. Εξαρτάται από τον τύπο των δεδοµένων και την εφαρµογή Ευαγγελία Πιτουρά 76 38

39 Συγκρότηση CustomerInfo(age: integer, salary:real) Salary Age Μπορούµε να εντοπίσουµε τρία συγκροτήµατα (clusters) το σχήµα τους σφαιρικό Ευαγγελία Πιτουρά 77 Συγκρότηση Η έξοδος ενός αλγορίθµου συγκρότησης είναι µαι συνοπτική αναπαράσταση κάθε συγκροτήµατος Η µορφή του αποτελέσµατος εξαρτάται από τον τύπο και το σχήµα των συγκροτηµάτων Για παράδειγµα για σφαιρικά συγκροτήµατα, έξοδος: κέντρο C (µέσο) and ακτίνα R: δοσµένου µιας συλλογής εγγραφών r 1, r 2,.., r n C = r i n R = (r i -C) n Ευαγγελία Πιτουρά 78 39

40 Συγκρότηση ύο κατηγορίες αλγορίθµων συγκρότησης: Αλγόριθµος ιαχωρισµού: διαµερίζει τα δεδοµένα σε k συγκροτήµατα έτσι ώστε να βελτιστοποιείται η τιµή κάποιου κριτηρίου το k συνήθως προσδιορίζεται από τον χρήστη Ιεραρχικός Αλγόριθµος παράγει µια ακολουθία από διαµερίσεις των δεδοµένων. Ξεκινώντας από µια διαµέριση όπου κάθε εγγραφή αποτελεί ένα συγκρότηµα, σε κάθε βήµα συγχωνεύει και δυο συγκροτήµατα Ευαγγελία Πιτουρά 79 Ο αλγόριθµος BIRCH: Υποθέσεις Μεγάλος αριθµός εγγραφών, µόνο ένα πέρασµα Περιορισµένη µνήµη Συγκρότηση ύο παράµετροι k: όριο διαθεσιµότητας κύριας µνήµης: µέγιστος αριθµός συνοπτικών αναπαραστάσεων συγκροτηµάτων που µπορούνανκαταχωρηθούνστηνκύρια µνήµη e: αρχικό όριο της ακτίνας κάθε συγκροτήµατος καθορίζει και τον αριθµό των συγκροτηµάτων. Ένα συγκρότηµα είναι συµπαγές αν η ακτίνα του είναι µικρότερη από e. Πάντα διατήρησε στην κύρια µνήµη k ήλιγότερασυµπαγή συγκροτήµατα (Ci, Ri) (Αν αυτό δεν είναι δυνατόν, τροποποίησε το e) Ευαγγελία Πιτουρά 80 40

41 Συγκρότηση Ο αλγόριθµος BIRCH: Read a record r from the database /* διάβασε τις εγγραφές σειριακά */ Compute the distance of r and each of the existing cluster centers Let i be the cluster (index) such that the distance between r and C i is the smallest /* i: το πιο κοντινό συγκρότηµα */ Compute R i assuming r is inserted in the ith cluster /* υπολόγισε τη νέα ακτίνα */ If R i e, /* µικρότερη, το συγκρότηµα παραµένει συµπαγές, επισύναψε το r */ insert r in the ith cluster recompute R i and C i else /* µεγαλύτερη δηµιούργησε νέο συγκρότηµα */ start a new cluster containing only r Ευαγγελία Πιτουρά 81 Συγκρότηση Ο αλγόριθµος BIRCH: Μέγιστος αριθµός συγκροτηµάτων -> τροποποίησε το e Αποδοτικοί τρόποι εντοπισµού του κοντινότερου συγκροτήµατος, π.χ., χρήση Β+ δέντρων Ευαγγελία Πιτουρά 82 41

42 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Εξόρυξη Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 83 Οµοιότητα Ακολουθιών Ο χρήστης καθορίζει µία ακολουθία αίτηµα (query sequence) και θέλει να ανακτήσει όλες τις ακολουθίες δεδοµένων που είναι όµοιες µε αυτήν Όχι απαραίτητα να ταιριάζουν ακριβώς (Not exact matches) Μια ακολουθία δεδοµένων (data sequence) X είναι µια σειρά αριθµών X = <x 1, x 2,.., x k > Συχνά ονοµάζεται και χρονολογική σειρά (time series) k µήκος (length) της ακολουθίας Μια υποακολουθία (subsequence) Z = <z 1, z 2,, z j > προκύπτει από µια ακολουθία X µε τηδιαγραφήαριθµών από των αρχή και το τέλος της ακολουθίας Ευαγγελία Πιτουρά 84 42

43 Οµοιότητα Ακολουθιών Μπορούµε να ορίσουµε την απόσταση µεταξύ δυο ακολουθιών ως την Ευκλείδεια κανονική (Euclidean norm) οθείσας µιας ακολουθίας-αίτηµα και ενός ορίου e, θέλουµε να ανακτήσουµε όλες τις ακολουθίες δεδοµένων που είναι µέσα σε απόσταση e Πλήρης ταύτιση ακολουθιών Complete sequence matching η ακολουθία-αίτηµα και οι ακολουθίες δεδοµένων έχουν το ίδιο µήκος Ταύτιση υποακολουθιών Subsequence matching (η ακολουθία αίτηµα έχειµικρότερο µήκος) Ευαγγελία Πιτουρά 85 Οµοιότητα Ακολουθιών οθείσας µιας ακολουθίας-αίτηµα και ενός ορίου e, θέλουµε να ανακτήσουµε όλες τις ακολουθίες δεδοµένων που είναι µέσα σε απόσταση e Brute-force µέθοδος Αναπαράσταση τους ως ένα σηµείο στον πολυδιάστατο (k-διάστατο) χώρο Πολυδιάστατο ευρετήριο Μη ακριβή ταιριάσµατα; Ερώτηση υπερ-ορθογώνια περιοχή Query ( hyper-rectangle) µε πλευρά µήκους 2-e και κέντρο την ακολουθία αίτηµα Ευαγγελία Πιτουρά 86 43

44 Εξόρυξη Παγκόσµιου Ιστού Ευαγγελία Πιτουρά 87 Εισαγωγή The WWW is huge, widely distributed, global information service center for ΥΠΗΡΕΣΙΕΣ - Information services: news, advertisements, consumer information, financial management, education, government, e-commerce, etc. ΣΥΝ ΕΣΜΟΙ - Hyper-link information ΠΛΗΡΟΦΟΡΙΑ ΧΡΗΣΗΣ - Access and usage information WWW provides rich sources for data mining Challenges Too huge for effective data warehousing and data mining Too complex and heterogeneous: no standards and structure Ευαγγελία Πιτουρά 88 44

45 Εισαγωγή Growing and changing very rapidly Internet growth Sep-69 Sep-72 Sep-75 Sep-78 Hosts Sep-81 Sep-84 Sep-87 Sep-90 Sep-93 Sep-96 Sep-99 Broad diversity of user communities Only a small portion of the information on the Web is truly relevant or useful 99% of the Web information is useless to 99% of Web users How can we find high-quality Web pages on a specified topic? Ευαγγελία Πιτουρά 89 Κατηγορίες Εξόρυξης από το Web Εξόρυξη από το Web Εξόρυξη Περιεχοµένου Εξόρυξη οµής Εξόρυξη Χρήσης Εξόρυξη περιεχοµένου σελίδων Εξόρυξη αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 90 45

46 Εξόρυξη από το Web Ψάχνουµε για Web access patterns Web structures Regularity and dynamics of Web contents Προβλήµατα The abundance problem: ο αριθµός των σελίδων που συσχετίζονται µε ένανόροµπορεί να είναι πολύ µεγάλος Limited coverage of the Web: hidden Web sources, majority of data in DBMS Limited query interface based on keyword-oriented search Limited customization to individual users Ευαγγελία Πιτουρά 91 Κατηγορίες Εξόρυξης από το Web Εξόρυξη από το Web Εξόρυξη Περιεχοµένου Εξόρυξη οµής Εξόρυξη Χρήσης Εξόρυξη περιεχοµένου σελίδων Web Page Summarization WebLog (Lakshmanan et.al. 1996), WebOQL(Mendelzon et.al. 1998): Web Structuring query languages; Can identify information within given web pages Ahoy! (Etzioni et.al. 1997):Uses heuristics to distinguish personal home pages from other web pages ShopBot (Etzioni et.al. 1997): Looks for product prices within web pages Εξόρυξη αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 92 46

47 Κατηγορίες Εξόρυξης από το Web Εξόρυξη από το Web Εξόρυξη Περιεχοµένου Εξόρυξη οµής Εξόρυξη Χρήσης Εξόρυξη περιεχοµένου σελίδων Εξόρυξη Αποτελεσµάτων Αναζήτησης Search Engine Result Summarization Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Clustering Search Result (Leouski and Croft, 1996, Zamir and Etzioni, 1997): Οµαδοποίηση των αποτελεσµάτων χρησιµοποιώντας φράσεις στους τίτλους και snippets Ευαγγελία Πιτουρά 93 Κατηγορίες Εξόρυξης από το Web PageRank, HITS Εξόρυξη από το Web Small-world models, Εξόρυξη Περιεχοµένου Εξόρυξη οµής Εξόρυξη Χρήσης Εξόρυξη περιεχοµένου σελίδων Εξόρυξη αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 94 47

48 Κατηγορίες Εξόρυξης από το Web Εξόρυξη εδοµένων Χρήσης Mining Web log records to discover user access patterns of Web pages Applications Target potential customers for electronic commerce Enhance the quality and delivery of Internet information services to the end user Improve Web server system performance Identify potential prime advertisement locations Web logs provide rich information about Web dynamics Typical Web log entry includes the URL requested, the IP address from which the request originated, and a timestamp Ευαγγελία Πιτουρά 95 Κατηγορίες Εξόρυξης από το Web Τεχνικές Εξόρυξης εδοµένων Χρήσης Construct multidimensional view on the Weblog database Perform multidimensional OLAP analysis to find the top N users, top N accessed Web pages, most frequently accessed time periods, etc. Perform data mining on Weblog records Find association patterns, sequential patterns, and trends of Web accessing May need additional information,e.g., user browsing sequences of the Web pages in the Web server buffer Conduct studies to Analyze system performance, improve system design by Web caching, Web page prefetching, and Web page swapping Ευαγγελία Πιτουρά 96 48