Εξόρυξη εδοµένων. Εισαγωγή. Τι είναι η Εξόρυξη εδοµένων. (µε δυολόγια)

Transcript

1 εδοµένων Ευαγγελία Πιτουρά 1 Εισαγωγή Τι είναι η εδοµένων (µε δυολόγια) Αποδοτικές τεχνικές για να αναλύσουµε πολύ µεγάλες συλλογές από δεδοµένα και να εξάγουµε χρήσιµες πληροφορίες από αυτά Ευαγγελία Πιτουρά 2 1

2 Εισαγωγή Γιατί; Συχνά υπάρχει πληροφορία «κρυµµένη» στα δεδοµένα που δεν είναι προφανής Οι ανθρώπινοι αναλυτές µπορεί να χρειάζονται εβδοµάδες για να ανακαλύψουν χρήσιµη πληροφορία Πολλά δεδοµένα δεν αναλύονται ποτέ 4,000,000 3,500,000 3,000,000 2,500,000 The Data Gap 2,000,000 1,500,000 Total new disk (TB) since ,000, ,000 0 Number of analysts From: R. Grossman, C. Kamath, V. Kumar, Data Mining for Scientific and Engineering Applications Ευαγγελία Πιτουρά 3 Εισαγωγή Γιατί εδοµένων (από εµπορική πλευρά) Πολλά δεδοµένα συγκεντρώνονται και εισάγονται σε αποθήκες δεδοµένων Web δεδοµένα, e-εµπόριο Αγορές σε πολύκαταστήµατα/αλυσίδες Συναλλαγές µε τράπεζες/πιστωτικές κάρτες Οι υπολογιστές γίνονται φτηνότεροι και πιο ισχυροί Μεγάλος ανταγωνισµός Παροχή καλύτερων, προσωπικών υπηρεσιών σε κάποιο πεδίο (fraud detection, targeting marketing) Ευαγγελία Πιτουρά 4 2

3 Γιατί εδοµένων (από επιστηµονική πλευρά) Εισαγωγή Τα δεδοµένα συλλέγονται και αποθηκεύονται σε τροµερές ταχύτητες enormous speeds (GB/hour) Αποµακρυσµένοι αισθητήρες (remote sensors) σε δορυφόρους Τηλεσκόπια στον ουρανό Microarrays που παράγουν γονιδιακά δεδοµένα Επιστηµονικές προσοµοιώσεις που παράγουν terabytes δεδοµένων Η εξόρυξη δεδοµένων µπορεί να βοηθήσει τους επιστήµονες Στην κατηγοριοποίηση και την τµηµατοποίηση των δεδοµένων Στην ιατύπωση Υποθέσεων Ευαγγελία Πιτουρά 5 Παραδείγµατα εδοµένων Εισαγωγή Κυβερνητικά: TAXIS (εφορία), δηµογραφικά δεδοµένα, Μεγάλες εταιρίες WALMART: 20M συναλλαγές την ηµέρα MOBIL: 100 TB γεωλογικά σύνολα δεδοµένων AT&T 300 M κλήσεις την ηµέρα Εταιρίες πιστωτικών κρατών Επιστηµονικά NASA, EOS project: 50 GB την ώρα εδοµένα για το περιβάλλον «Κοινωνικά» -Ατοµικά Νέα, ψηφιακές κάµερες, YouTube Ευαγγελία Πιτουρά 6 3

4 Τι είναι η εδοµένων Είδη/Τεχνικές ς εδοµένων (συνοπτικά) Οµαδοποίηση (συσταδοποίηση) clustering χωρίζουµε ταδεδοµένα σε οµάδες από «όµοια» σύνολα Κανόνες συσχέτισης (Association rule mining) βρίσκουµε συσχετίσεις ανάµεσα στα δεδοµένα, πχ ποια δεδοµένα εµφανίζονται συχνά µαζί σε συναλλαγές Κατηγοριοποίηση (Classification) κατηγοριοποιούµε ταδεδοµένα τοποθετώντας τα σε µια (ή περισσότερες) από έναν αριθµό από δοσµένες κατηγορίες Είδη µε βάση τα δεδοµένα στα οποία γίνεται η εξόρυξη στο διαδίκτυο µηχανές αναζήτησης ενδιαφέρουσες (σηµαντικές) σελίδες µε βάσητους συνδέσµους Ευαγγελία Πιτουρά 7 Τι είναι η εδοµένων εδοµένων (Ορισµός) Πολύ µεγάλα σύνολα δεδοµένων (data sets) (1) η διαδικασίαανακάλυψης (discovery) προτύπων (patterns) που πριν δεν ήταν γνωστά, ισχύουν, είναι πιθανών χρήσιµα και είναι κατανοητά (2) η ανάλυση τους για να βρούµε µη αναµενόµενες σχέσεις ανάµεσα στα δεδοµένα καθώς και να τα συνοψίσουµε µε νέους τρόπους που είναι κατανοητοί και χρήσιµοι στους χρήστες Παραδείγµατα: αγορές από πολυκαταστήµατα, προσπελάσεις ιστοσελίδων, πακέτα στο δίκτυο, αποτελέσµατα επιστηµονικών πειραµάτων, κίνηση µετοχών, βιολογικά δεδοµένα κλπ Ευαγγελία Πιτουρά 8 4

5 Τι είναι η εδοµένων Τι δεν είναι Αναζήτηση ενός αριθµού τηλεφώνου στον τηλεφωνικό κατάλογο Ερώτηση σε µια µηχανή αναζήτησης πληροφορία για το Amazon Τι είναι Ορισµένα ονόµατα είναι πιο συχνά σε κάποιεςτοποθεσίεςστιςηπα(πχ O Brien, O Rurke, O Reilly στην περιοχή της Βοστώνης, κατάληξη «ακης» στην Κρήτη) Οµαδοποίηση όµοιων κειµένων που επιστρέφει µια µηχανή αναζήτησης µε βάση τα συµφραζόµενα (πχ δάσος Amazon, Amazon.com,) Ευαγγελία Πιτουρά 9 Οι «ρίζες» τηςς εδοµένων Και λίγη ιστορία Σε σχέση µε την ιστορία των Βάσεων εδοµένων, η εδοµένων είναι πολύ νέα 1960 και νωρίτερα Συλλογή εδοµένων - Επεξεργασία Αρχείων 1970 αρχές του 1980 Ιεραρχικά και δικτυακά µοντέλα Σχεσιακά συστήµατα βάσεων δεδοµένων Εργαλεία µοντελοποίησης (Ο/Σκλπ) Μέθοδοι ευρετηριοποίησης (Β-δέντρα, κατακερµατισµός, κλπ) Γλώσσες επερωτήσεων SQL, κλπ ιεπαφές χρήστη (πχ φόρµες και αναφορές) Επεξεργασία και βελτιστοποίηση ερωτήσεων Συναλλαγές, ανάκαµψη από σφάλµατα, έλεγχος συγχρονικότητας OLTP (on-line analytical processing) Ευαγγελία Πιτουρά 10 5

6 Οι «ρίζες» τηςς εδοµένων Και λίγη ιστορία Εξελιγµένα Συστήµατα Βάσεων εδοµένων (µέσα 1980 σήµερα) Νέα µοντέλα (αντικειµενο-σχεσιακό, επεκτεταµένα σχεσιακά κλπ) Εξελιγµένη Ανάλυση εδοµένων Αποθήκες εδοµένων και (1990 σήµερα) ιαδικτυακές Βάσεις εδοµένων 1990 σήµερα IR (Ανάκτηση Πληροφορίας) + Β Νέες εφαρµογές και τύποι δεδοµένων (χρονικά, χωρικά, χρονοχωρικά, δεδοµένα από αισθητήρες, συνεχή, κλπ) Ευαγγελία Πιτουρά 11 Οι «ρίζες» τηςς εδοµένων Στατιστική εδοµένων Βάσεις εδοµένων ΤΝ/ Μηχανική Μάθηση Πρέπει να αντιµετωπίσει: Το τεράστιο µέγεθος των δεδοµένων Το µεγάλο αριθµό διαστάσεων Την µη οµοιογενή και την κατανεµηµένη φύση των δεδοµένων Ευαγγελία Πιτουρά 12 6

7 Κάποιες Πηγές Σχετικές Κοινότητες Workshops on Knowledge Discovery in Databases Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky-Shapiro, P. Smyth, and R. Uthurusamy, 1996) International Conferences on Knowledge Discovery in Databases and Data Mining (KDD 95-98) Journal of Data Mining and Knowledge Discovery (1997) ACM SIGKDD conferences since 1998 and SIGKDD Explorations More conferences on data mining PAKDD (1997), PKDD (1997), SIAM-Data Mining (2001), (IEEE) ICDM (2001), etc. ACM Transactions on KDD started in 2007 Ευαγγελία Πιτουρά 13 Κάποιες Πηγές Σχετικές Κοινότητες KDD Συνέδρια ACM SIGKDD Int. Conf. on Knowledge Discovery in Databases and Data Mining (KDD) SIAM Data Mining Conf. (SDM) (IEEE) Int. Conf. on Data Mining (ICDM) Conf. on Principles and practices of Knowledge Discovery and Data Mining (PKDD) Pacific-Asia Conf. on Knowledge Discovery and Data Mining (PAKDD) Άλλα Σχετικά Συνέδρια ACM SIGMOD VLDB (IEEE) ICDE WWW, SIGIR ICML, CVPR, NIPS Περιοδικά Data Mining and Knowledge Discovery (DAMI or DMKD) IEEE Trans. On Knowledge and Data Eng. (TKDE) KDD Explorations ACM Trans. on KDD Ευαγγελία Πιτουρά 14 7

8 Βιβλία Βιβλία Υπάρχουν 2 ελληνικά Μ. Βαζιργιάννης και Μ. Χαλκίδη, Γνώσης από Βάσεις εδοµένων. Τυποθήτω, Νοέµβριος 2003 M. H. Dunham, Data Mining, Εισαγωγικά και Προηγµένα Θέµατα ς Γνώσης από εδοµένα. Επιµέλεια Ελληνικής Έκδοσης: Β. Βερύκιος και Γ. Θεοδωρίδης. Εκδόσεις Νέων Τεχνολογιών, Ευαγγελία Πιτουρά 15 2 «κλασικά» βιβλία στα αγγλικά ΒΙβλία P.-N. Tan, M. Steinbach and V. Kumar, Introduction to Data Mining, Addison Wesley, 2006 J. Han and M. Kamber. Data Mining: Concepts and Techniques, Morgan Kaufmann, 2006 Ευαγγελία Πιτουρά 16 8

9 Ανακάλυψη Γνώσης (Knowledge Discovery) Προ-επεξεργασία εδοµένων Ευαγγελία Πιτουρά 17 Ανακάλυψη Γνώσης (Knowledge Discovery) ΠΡΟ-ΕΠΕΞΕΡΓΑΣΙΑ Data Cleaning Καθαρισµός εδοµένων Data Integration Ενοποίηση εδοµένων Data Transformation Μετασχηµατισµοί εδοµένων ΕΞΟΡΥΞΗ Ε ΟΜΕΝΩΝ ΑΝΑΠΑΡΑΣΤΑΣΗ Ευαγγελία Πιτουρά 18 9

10 Προ-επεξεργασία δεδοµένων - Καθαρισµός Τα δεδοµένα στο πραγµατικό κόσµο είναι«βρώµικα» Ελλειπή -incomplete:µπορεί να λείπουν κάποιες τιµές γνωρισµάτων (να µην καταγράφηκαν, να καταγράφηκαν λανθασµένα λόγω µη συνεννόησης ή λανθασµένης λειτουργίας), να λείπουν κάποια ενδιαφέροντα γνωρίσµατα (που να µην θεωρήθηκαν σηµαντικά ή να µην ήταν διαθέσιµα), ή να περιέχουν µόνο συναθροιστικά (aggregate) δεδοµένα Συµπλήρωση των γνωρισµάτων και τιµών που λείπουν Με θόρυβο -noisy: περιέχουν λάθη ή outliers (περιθωριακές τιµές - τιµές που διαφέρουν πολύ από την πλειοψηφία) Εύρεση των περιθωριακών τιµών και αποµάκρυνση θορύβου Ασυνεπή - inconsistent: περιέχουν ασυνέπειες, διπλότιµα ιόρθωση ασυνεπών τιµών Ευαγγελία Πιτουρά 19 Προ-επεξεργασία δεδοµένων Επιλογή εδοµένων και Γνωρισµάτων και εφαρµογή κατάλληλων Μετασχηµατισµών Συνάθροιση Aggregation: συνδυασµούς δεδοµένων από πολλές πηγές Sampling δειγµατοληψία: χρήση αντιπροσωπευτικού δείγµατος των δεδοµένων για βελτίωση της απόδοσης Dimensionality reduction µείωση διαστάσεων - Κατάρα της διάστασης (curse of dimensionality) Πολλές τεχνικές για την ανάλυση δεδοµένων γίνονται δυσκολότερες µε την αύξηση της διάστασης των δεδοµένων (αυξάνει εκθετικά η πολυπλοκότητα ή τα δεδοµένα γίνονται πολύ αραιά) Τεχνικές της γραµµικής άλγεβρας (SVD, PCA) Απεικόνιση σε άλλο χώρο µε µικρότερο αριθµό διαστάσεων Ευαγγελία Πιτουρά 20 10

11 Προ-επεξεργασία δεδοµένων Discretization (µετασχηµατιµός σε µια διακριτή τιµή) ή binarization (µετασχηµατισµός σε δυαδική τιµή) Variable transformation µετασχηµατισµοί των τιµών των µεταβλητών Πχ Κανονικοποίηση Ευαγγελία Πιτουρά 21 Ανακάλυψη Γνώσης (Knowledge Discovery) Προ-επεξεργασία Οπτικοποίηση Παρουσίαση των αποτελεσµάτων Ευαγγελία Πιτουρά 22 11

12 Αρχιτεκτονική του Συστήµατος Γραφικές Επαφές Χρήστη Εκτίµηση Προτύπων Μηχανή ς εδοµένων Βάση Γνώσης Β Εξυπηρετητής Βάσης εδοµένων ή Αποθήκης εδοµένων Καθαρισµός, Ενοποίηση και Επιλογή Αποθήκη World-Wide εδοµένων Web Άλλα Σύνολα εδοµένων Που είναι τα δεδοµένα (διασύνδεση µε Σ Β ) Βάση Γνώσης Ευαγγελία Πιτουρά 23 εδοµένων Πως χρησιµοποιείται 1. Κατανόηση του προβλήµατος 2. Χρήση τεχνικών εξόρυξης δεδοµένων για να πάρουµε πληροφορία από τα δεδοµένα 3. Χρήση αυτής της πληροφορίας 4. Μέτρηση των αποτελεσµάτων Ευαγγελία Πιτουρά 24 12

13 Είδη/Μέθοδοι για εδοµένων (συνοπτικά) 1. Ταξινόµηση - Classification: εκµάθηση µια συνάρτησης κατασκευή ενός µοντέλου που απεικονίζει ένα στοιχείο σε µια από ένα σύνολο από προκαθορισµένες κλάσεις 2. Συσταδοποίηση -Clustering: εύρεση ενός συνόλου από οµάδες µε όµοια στοιχεία 3. Εύρεση Συχνών Προτύπων, Εξαρτήσεων και Συσχετίσεων Dependencies and associations: εύρεση σηµαντικών/συχνών εξαρτήσεων µεταξύ γνωρισµάτων 5. Συνοψίσεις - Summarization: εύρεση µιας συνοπτικής περιγραφής του συνόλου δεδοµένων ή ενός υποσυνόλου του 6. Αλλα Ευαγγελία Πιτουρά 25 Είδη/Μέθοδοι για εδοµένων Predictive Methods Μέθοδοι πρόβλεψης Χρήση κάποιων µεταβλητών για να προβλέψουν άγνωστες ή µελλοντικές τιµές κάποιων άλλων µεταβλητών Descriptive Methods - Περιγραφικοί Μέθοδοι Στόχος να βρεθούν κατανοητά πρότυπα που περιγράφουν τα δεδοµένα τις ιδιότητες τους Ευαγγελία Πιτουρά 26 13

14 Είδη/Μέθοδοι για εδοµένων Ταξινόµηση [Predictive] Συσταδοποίηση [Descriptive] Εύρεση Κανόνων Συσχέτισης [Descriptive] Sequential Pattern Discovery [Descriptive] Regression Συνοψίσεις [Predictive] ένα συνοπτικό µοντέλο για τα δεδοµένα (πχ µια συνάρτηση) Deviation/Anomaly Detection [Predictive] outlier analysis (στατιστικοί έλεγχοι για σπάνια σηµεία), evolution analysis (πχ ανάλυση χρονοσειρών πχ µετοχές) κλπ Ευαγγελία Πιτουρά 27 Απαρίθµηση Ταυτόχρονων Εµφανίσεων Counting Co-Occurrence (Απαρίθµηση Ταυτόχρονων Εµφανίσεων) Το καλάθι της νοικοκυράς (market basket) είναι µια συλλογή στοιχείων (collection of items) που αγοράστηκαν από ένα πελάτη κατά τη διάρκεια µιας µοναδικής συναλλαγής του (transaction) του Στόχος: Εντοπισµός των αντικειµένων που εµφανίζονται µαζί σε µια συναλλαγή Ευαγγελία Πιτουρά 28 14

15 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Μια συναλλαγή Παρατηρείστε ότι υπάρχει επανάληψη πληροφορίας Παρατηρήσεις του τύπου: σε 75% των συναλλαγών αγοράστηκαν µαζί και µελάνι και πένες Ευαγγελία Πιτουρά 29 Συχνά Στοιχειοσύνολα Στοιχειοσύνολο (Itemset): είναι ένα σύνολο από αντικείµενα Υποστήριξη ενός στοιχειοσυνόλου (Support of an itemset): το ποσοστό των συναλλαγών στης βάσης δεδοµένων που περιέχουν όλα τα στοιχεία του στοιχειοσυνόλου Παράδειγµα: Στοιχειοσύνολο {pen, ink} Υποστήριξη 75% Στοιχειοσύνολο {milk, juice} Υποστήριξη 25% Μας ενδιαφέρουν στοιχειοσύνολα µε µεγάλη υποστήριξη, γιατί; Ευαγγελία Πιτουρά 30 15

16 Συχνά Στοιχειοσύνολα Συχνά Στοιχειοσύνολα : Στοιχειοσύνολα των οποίων η υποστήριξη είναι µεγαλύτερη από κάποια ελάχιστη υποστήριξη (minimum support, minsup) που θέτουν οι χρήστες Παράδειγµα: Αν minsup = 70%, Συχνά Στοιχειοσύνολα: {pen}, {ink}, {milk}, {pen, ink}, {pen, milk} Ευαγγελία Πιτουρά 31 Συχνά Στοιχειοσύνολα Έναν αλγόριθµο που να εντοπίζει (όλα) τα συχνά στοιχειοσύνολα Ο πιο απλός αλγόριθµος, For k = 1 to n Κατασκεύασε όλα τα δυνατά στοιχειοσύνολα µε k στοιχεία έλεγξε αν είναι συχνά Ευαγγελία Πιτουρά 32 16

17 Συχνά Στοιχειοσύνολα Αλγόριθµος For each item, k = 1 repeat Until n check if it is a frequent itemset /* δηλαδή, αν υπάρχει > minsum συναλλαγές */ for each new frequent itemset I k with k items Generate all itemsets I k+1 with k+1 items, I k I k+1 Scan all transactions once and check if the generated k+1 itemsets are frequent k = k + 1 Ευαγγελία Πιτουρά 33 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Έστω minsum = 70% k=1 {pen} 4/4 ok {ink} 3/4 ok {milk} 3/4 ok {juice} 2/4 όχι k = 2 {pen, ink} 3/4 ok {pen, milk} 3/4 ok {pen, juice} κλπ Μπορούµε νακάνουµε κάτι καλύτερο; Ευαγγελία Πιτουρά 34 17

18 Συχνά Στοιχειοσύνολα Ηιδιότηταa priori: Κάθε υποσύνολο ενός συχνού συνόλου πρέπει να αποτελεί επίσης ένα συχνό σύνολο Ευαγγελία Πιτουρά 35 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Έστω minsum = 70% {pen} 4/4 ok {ink} 3/4 ok {milk} 3/4 ok {juice} 2/4 όχι {pen, ink} 3/4 ok {pen, milk} 3/4 ok {ink, milk} 2/4 όχι Άρα τέλος Αποτέλεσµα {pen}, {ink}, {milk}, {pen, ink} {pen, milk} Ευαγγελία Πιτουρά 36 18

19 Συχνά Στοιχειοσύνολα Βελτιωµένος Αλγόριθµος Εύρεσης Συχνών Στοιχειοσυνόλων For each item, check if it is a frequent itemset k = 1 repeat for each new frequent itemset I k with k items Generate all itemsets I k+1 with k+1 items, I k I k+1 whose subsets are frequent itemsets Scan all transactions once and check if the generated k+1 itemsets are frequent k = k + 1 Until no new frequent itemsets are identified Ευαγγελία Πιτουρά 37 Ερωτήσεις Τύπου Παγόβουνου Υποθέστε ότι θέλουµε ναβρούµε ζεύγη αγοραστών και στοιχείων τέτοιων ώστε ο αγοραστής τους να έχει αγοράσει το στοιχείο τουλάχιστον 5 φορές select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 Πως θα υπολογιζόταν αυτή ερώτηση σε ένα σχεσιακό Σ Β ; Ο αριθµός των οµάδων είναι πολύ µεγάλος αλλά η απάντηση στην ερώτηση (η κορυφή του παγόβουνου) είναι πολύ µικρή Ευαγγελία Πιτουρά 38 19

20 Ερωτήσεις Τύπου Παγόβουνου Iceberg query (Ερώτηση τύπου παγόβουνου) select R.A1, R.A2,, R.Ak, aggregate (R.B) from Relation R group by R.A1, R.A2,, R.Ak having aggregate (R.B) > = constant Ευαγγελία Πιτουρά 39 select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 Ερωτήσεις Τύπου Παγόβουνου Αρκεί να εξετάσουµε µόνο εκείνες τις τιµές για το custid που αφορά πελάτες που έχουν αγοράσει τουλάχιστον 5 στοιχεία συνολικά (όχι απαραίτητα το ίδιο στοιχείο) Q1: select P.custid from Purchases P group by P.custid having sum (P.qty) > 5 Ευαγγελία Πιτουρά 40 20

21 Ερωτήσεις Τύπου Παγόβουνου Αντίστοιχα, αρκεί να εξετάσουµε µόνο εκείνες τις τιµές για το item που αφορούν στοιχεία που έχουν αγοραστεί 5 φορές συνολικά (όχι απαραίτητα από τον ίδιο πελάτη Q2: select P.item from Purchases P group by P.item having sum (P.qty) > 5 Ευαγγελία Πιτουρά 41 Ερωτήσεις Τύπου Παγόβουνου select P.custid, P. item, sum(p.qty) from Purchases P group by P.custid, P.item having sum (P.qty) > 5 select P.custid from Purchases P Q1 group by P.custid having sum (P.qty) > 5 select P.item from Purchases P group by P.item having sum (P.qty) > 5 Q2 ηµιουργία (custid, item) ζευγών µόνο για custid από την Q1 και item από την Q2 Ευαγγελία Πιτουρά 42 21

22 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 43 Συνδυαστικοί Κανόνες Παράδειγµα {pen} {ink} Αν ένα στοιχείο pen αγοράζεται σε µια συναλλαγή, τότε είναι πιθανό ότι αγοράζεται και το στοιχείο ink Γενικά, συνδυαστικός κανόνας (association rule) LHS RHS Όπου LHS και RHS είναι στοιχειοσύνολα Ευαγγελία Πιτουρά 44 22

23 Συνδυαστικοί Κανόνες LHS RHS Υποστήριξη (support): support(lhs RHS) Το ποσοστό των συναλλαγών που περιέχουν όλα τα στοιχεία του (LHS RHS) Εµπιστοσύνη (confidence): support(lhs RHS) / support(lhs) Μια ένδειξη της ισχύς του κανόνα P(RHS LHS) Ευαγγελία Πιτουρά 45 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 pen milk (K1) support(k1) = 75% confidence(k1) = 75% milk pen (K2) support(k2) = 75% confidence(k2) = 100% Ευαγγελία Πιτουρά 46 23

24 Συνδυαστικοί Κανόνες Έναν αλγόριθµο εύρεσης όλων των κανόνων µε ελάχιστοminsup και ελάχιστο minconf Ελάχιστο minsum, support(lhs RHS) minsum Βήµα 1: Βρες όλα τα συχνά στοιχειοσύνολα µε minsup Βήµα 2: Παρήγαγε όλους τους κανόνες από το Βήµα 1 Ευαγγελία Πιτουρά 47 Παράδειγµα Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Αποτέλεσµα {pen}, {ink}, {milk}, {pen, ink} {pen, milk} υνατοί κανόνες pen ink ink pen pen milk milk pen Ευαγγελία Πιτουρά 48 24

25 Συνδυαστικοί Κανόνες Βήµα 2 For each frequent itemset I with support support(i) Divide I into LHS I and RHS I confidence = support(i) / support(lhs I ) Παρατήρηση Τα support(i) και support(lhs I ) τα έχουµε ήδη υπολογίσει σε προηγούµενα βήµατα του αλγορίθµου εύρεσης συχνών στοιχειοσυνόλων Ευαγγελία Πιτουρά 49 Συνδυαστικοί Κανόνες και Ιεραρχίες ISA Μια ISA ιεραρχία ή ιεραρχία κατηγοριών (category hierarchy) ανάµεσα στα σύνολα των στοιχείων: µια συναλλαγή εµµέσως περιέχει για κάθε στοιχείο και όλα τα στοιχεία που είναι προγονοί του στην ιεραρχία Beverage Stationery Επιτρέπει τον εντοπισµό σχέσεων µεταξύ στοιχείων που ανήκουν σε διαφορετικά επίπεδα της ιεραρχίας Milk Juice Pen Ink Γενικά, η υποστήριξη (support) ενός στοιχείου µπορεί µόνο να αυξηθεί µε την αντικατάσταση του στοιχείου από κάποιο πρόγονο του στην ιεραρχία Ευαγγελία Πιτουρά 50 25

26 Γενικευµένοι Συνδυαστικοί Κανόνες Πιο γενικά: όχι µόνο συναλλαγές αγοραστών Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 π.χ., Οµαδοποίηση πλειάδων µε βάση το custid Ο κανόνας {pen} {milk}: αν το στοιχείο pen αγοραστεί από κάποιο πελάτη είναι πιθανό ότι ο πελάτης θα αγοράσει και το στοιχείο milk (µε υποστήριξη και εµπιστοσύνη 100%) Ευαγγελία Πιτουρά 51 Γενικευµένοι Συνδυαστικοί Κανόνες Οµαδοποίηση πλειάδων µε βάση την ηµεροµηνία: Ηµερολογιακή ανάλυση του καλαθιού της νοικοκυράς (Calendric market basket analysis) Ένα ηµερολόγιο (calendar) είναι µια οποιαδήποτε οµάδα ηµεροµηνιών (π.χ., κάθε πρώτη του µήνα) οσµένου ενός ηµερολογίου, υπολόγισε τους συνδυαστικούς κανόνες που αφορούν πλειάδες που έχουν πραγµατοποιηθεί σε ηµεροµηνίες που ανήκουν στο ηµερολόγιο Ευαγγελία Πιτουρά 52 26

27 Γενικευµένοι Συνδυαστικοί Κανόνες Ηµερολόγιο: κάθε πρώτη του µήνα Ο κανόνας {pen} {juice}: έχει support 100% Ενώ γενικά: 50% Ο κανόνας {pen} {milk}: έχει support 50% Ενώ γενικά: 75% Transid custid date item qty /1/99 pen /1/99 ink /1/99 milk /1/99 juice /3/99 pen /3/99 ink /3/99 milk /10/99 pen /10/99 milk /1/99 pen /1/99 ink /1/99 juice 4 Ευαγγελία Πιτουρά 53 Ακολουθιακά Πρότυπα Ακολουθία (sequence) στοιχειοσυνόλων: Η ακολουθία των στοιχείων που αγοράστηκαν από τον πελάτη: Παράδειγµα custid 201: {pen, ink, milk, juice}, {pen, ink, juice} (ordered by date) Μια υπο-ακολουθία (subsequence) µιας ακολουθίας στοιχειοσυνόλων προκύπτει διαγράφοντας ένα ή περισσότερα στοιχειοσύνολα και αποτελεί επίσης µια ακολουθία στοιχειοσυνόλων Ευαγγελία Πιτουρά 54 27

28 Ακολουθιακά Πρότυπα Μια ακολουθία a 1, a 2,.., a n περιέχεται σε µια ακολουθία S αν η µια υπο-ακολουθία b q,.., b m such that a i b i for 1 i m S έχει Παράδειγµα {pen}, {ink, milk}, {pen, juice} περιέχεται στην {pen, ink}, {shirt}, {juice, ink, milk}, {juice, pen, milk} Η σειρά των στοιχείων σε κάθε στοιχειοσύνολο δεν έχει σηµασία αλλά η σειρά των στοχειοοσυνόλων στην ακολουθία έχει {pen}, {ink, milk}, {pen, juice} δεν περιέχεται στην {pen, ink}, {shirt}, {juice, pen, milk}, {juice, milk, ink} Ευαγγελία Πιτουρά 55 Ακολουθιακά Πρότυπα Η υποστήριξη µια ακολουθίας στοιχειοσυνόλων S είναι το ποσοστό των ακολουθιών του πελάτη των οποίων η S είναι υπο-ακολουθία Βρες όλες τις ακολουθίες που έχουν µια ελάχιστη υποστήριξη Ευαγγελία Πιτουρά 56 28

29 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 57 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης InsuranceInfo(age: integer, cartype: string, highrisk: boolean) Υπάρχει ένα γνώρισµα (highrisk: ΥψηλούΚινδύνου) του οποίου την τιµή θαθέλαµε να προβλέψουµε: Εξαρτηµένο Γνώρισµα Τα άλλα γνωρίσµατα ονοµάζονται προβλέποντα γνωρίσµατα (predictors) Ηγενική µορφή των κανόνων που θέλουµενα προβλέψουµε είναι: P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c Ευαγγελία Πιτουρά 58 29

30 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c P i (X i ) είναι κατηγορήµατα (predicates) ύο τύποι γνωρισµάτων: αριθµητικά P i (X i ) : l i X i h i κατηγοριακά (categorical) P i (X i ) : X i {v 1,, v j } αριθµητικά εξαρτηµένα γνωρίσµατα κατηγοριακά εξαρτηµένα γνωρίσµατα κανόνας παλινδρόµησης κανόνας κατηγοριοποίησης (16 age 25) (cartype {Sports, Truck}) highrisk = true Ευαγγελία Πιτουρά 59 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = c Υποστήριξη: Ηυποστήριξηγιαµια συνθήκη C είναι το ποσοστό των πλειάδων που ικανοποιούν την C. Η υποστήριξη του κανόνα C1 C2 είναι η υποστήριξη της συνθήκης C1 C2 Εµπιστοσύνη Έστω όλες οι πλειάδες που ικανοποιούν τη συνθήκη C1. Η εµπιστοσύνη του κανόνα C1 C2 είναιτοποσοστότωνπλειάδων αυτών που ικανοποιούν και τη συνθήκη C2 Ευαγγελία Πιτουρά 60 30

31 Κανόνες Κατηγοριοποίησης και Παλινδρόµησης Γενικεύοντας P 1 (X 1 ) P 2 (X 2 ) P k (X k ) Y = f(x 1, X 2,, X k ) Η διαφορά από τους συνδυαστικούς κανόνες είναι ότι θεωρούν συνεχή και κατηγοριακά γνωρίσµατα και όχι µόνο ένα πεδίο µε πολλαπλές καθορισµένες τιµές Πολλές εφαρµογές, π.χ. σε επιστηµονικά πειράµατα, προώθηση προϊόντων µέσω ταχυδροµείου, προβλέψεις χρηµατοοικονοµικών µεγεθών, ιατρικές προγνώσεις Θα δούµε στη συνέχεια έναν ειδικό τύπο τους Ευαγγελία Πιτουρά 61 Θέµατα Απαρίθµηση Ταυτόχρονων Εµφανίσεων Συχνά Στοιχειοσύνολα Ερωτήσεις Παγόβουνου Κανόνων Συνδυαστικοί Κανόνες Ακολουθιακοί Κανόνες Κατηγοριοποίηση και Παλινδρόµηση ενδρικοί Κανόνες Συγκρότηση (Clustering) Οµοιότητα Ακολουθιών Ευαγγελία Πιτουρά 62 31

32 Συγκρότηση ιαµέριση ενός συνόλου εγγραφών σε οµάδες συγκροτήµατα (clusters) έτσι ώστε όλες οι εγγραφές που ανήκουν σε µια οµάδα να είναι όµοιες µεταξύ τους και οι εγγραφές που ανήκουν σε διαφορετικές οµάδες να είναι ανόµοιες Η οµοιότητα µεταξύ των εγγραφών υπολογίζεται µέσς µιας συνάρτησης απόστασης distance function. Εξαρτάται από τον τύπο των δεδοµένων και την εφαρµογή Ευαγγελία Πιτουρά 63 Συγκρότηση CustomerInfo(age: integer, salary:real) Salary Age Μπορούµε να εντοπίσουµε τρία συγκροτήµατα (clusters) το σχήµα τους σφαιρικό Ευαγγελία Πιτουρά 64 32

33 Συγκρότηση Η έξοδος ενός αλγορίθµου συγκρότησης είναι µαι συνοπτική αναπαράσταση κάθε συγκροτήµατος Η µορφή του αποτελέσµατος εξαρτάται από τον τύπο και το σχήµα των συγκροτηµάτων Για παράδειγµα για σφαιρικά συγκροτήµατα, έξοδος: κέντρο C (µέσο) and ακτίνα R: δοσµένου µιας συλλογής εγγραφών r 1, r 2,.., r n C = r i n R = (r i -C) n Ευαγγελία Πιτουρά 65 Συγκρότηση ύο κατηγορίες αλγορίθµων συγκρότησης: Αλγόριθµος ιαχωρισµού: διαµερίζει τα δεδοµένα σε k συγκροτήµατα έτσι ώστε να βελτιστοποιείται η τιµή κάποιου κριτηρίου το k συνήθως προσδιορίζεται από τον χρήστη Ιεραρχικός Αλγόριθµος παράγει µια ακολουθία από διαµερίσεις των δεδοµένων. Ξεκινώντας από µια διαµέριση όπου κάθε εγγραφή αποτελεί ένα συγκρότηµα, σε κάθε βήµα συγχωνεύει και δυο συγκροτήµατα Ευαγγελία Πιτουρά 66 33

34 Συγκρότηση Ο αλγόριθµος BIRCH: Υποθέσεις Μεγάλος αριθµός εγγραφών, µόνο ένα πέρασµα Περιορισµένη µνήµη ύο παράµετροι k: όριο διαθεσιµότητας κύριας µνήµης: µέγιστος αριθµός συνοπτικών αναπαραστάσεων συγκροτηµάτων που µπορούνανκαταχωρηθούνστηνκύρια µνήµη e: αρχικό όριο της ακτίνας κάθε συγκροτήµατος καθορίζει και τον αριθµό των συγκροτηµάτων. Ένα συγκρότηµα είναι συµπαγές αν η ακτίνα του είναι µικρότερη από e. Πάντα διατήρησε στην κύρια µνήµη k ήλιγότερασυµπαγή συγκροτήµατα (Ci, Ri) (Αν αυτό δεν είναι δυνατόν, τροποποίησε το e) Ευαγγελία Πιτουρά 67 Συγκρότηση Ο αλγόριθµος BIRCH: Read a record r from the database /* διάβασε τις εγγραφές σειριακά */ Compute the distance of r and each of the existing cluster centers Let i be the cluster (index) such that the distance between r and C i is the smallest /* i: το πιο κοντινό συγκρότηµα */ Compute R i assuming r is inserted in the ith cluster /* υπολόγισε τη νέα ακτίνα */ If R i e, /* µικρότερη, το συγκρότηµα παραµένει συµπαγές, επισύναψε το r */ insert r in the ith cluster recompute R i and C i else /* µεγαλύτερη δηµιούργησε νέο συγκρότηµα */ start a new cluster containing only r Ευαγγελία Πιτουρά 68 34

35 Συγκρότηση Ο αλγόριθµος BIRCH: Μέγιστος αριθµός συγκροτηµάτων -> τροποποίησε το e Αποδοτικοί τρόποι εντοπισµού του κοντινότερου συγκροτήµατος, π.χ., χρήση Β+ δέντρων Ευαγγελία Πιτουρά 69 Παγκόσµιου Ιστού Ευαγγελία Πιτουρά 70 35

36 Εισαγωγή The WWW is huge, widely distributed, global information service center for ΥΠΗΡΕΣΙΕΣ - Information services: news, advertisements, consumer information, financial management, education, government, e-commerce, etc. ΣΥΝ ΕΣΜΟΙ - Hyper-link information ΠΛΗΡΟΦΟΡΙΑ ΧΡΗΣΗΣ - Access and usage information WWW provides rich sources for data mining Challenges Too huge for effective data warehousing and data mining Too complex and heterogeneous: no standards and structure Ευαγγελία Πιτουρά 71 Εισαγωγή Growing and changing very rapidly Internet growth Sep-69 Sep-72 Sep-75 Sep-78 Hosts Sep-81 Sep-84 Sep-87 Sep-90 Sep-93 Sep-96 Sep-99 Broad diversity of user communities Only a small portion of the information on the Web is truly relevant or useful 99% of the Web information is useless to 99% of Web users How can we find high-quality Web pages on a specified topic? Ευαγγελία Πιτουρά 72 36

37 Κατηγορίες ς από το Web από το Web Περιεχοµένου οµής Χρήσης περιεχοµένου σελίδων αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 73 από το Web Ψάχνουµε για Web access patterns Web structures Regularity and dynamics of Web contents Προβλήµατα The abundance problem: ο αριθµός των σελίδων που συσχετίζονται µε ένανόροµπορεί να είναι πολύ µεγάλος Limited coverage of the Web: hidden Web sources, majority of data in DBMS Limited query interface based on keyword-oriented search Limited customization to individual users Ευαγγελία Πιτουρά 74 37

38 Κατηγορίες ς από το Web από το Web Περιεχοµένου οµής Χρήσης περιεχοµένου σελίδων Web Page Summarization WebLog (Lakshmanan et.al. 1996), WebOQL(Mendelzon et.al. 1998): Web Structuring query languages; Can identify information within given web pages Ahoy! (Etzioni et.al. 1997):Uses heuristics to distinguish personal home pages from other web pages ShopBot (Etzioni et.al. 1997): Looks for product prices within web pages αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 75 Κατηγορίες ς από το Web από το Web Περιεχοµένου οµής Χρήσης περιεχοµένου σελίδων Αποτελεσµάτων Αναζήτησης Search Engine Result Summarization Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Clustering Search Result (Leouski and Croft, 1996, Zamir and Etzioni, 1997): Οµαδοποίηση των αποτελεσµάτων χρησιµοποιώντας φράσεις στους τίτλους και snippets Ευαγγελία Πιτουρά 76 38

39 Κατηγορίες ς από το Web PageRank, HITS από το Web Small-world models, Περιεχοµένου οµής Χρήσης περιεχοµένου σελίδων αποτελεσµάτων αναζήτησης Ανίχνευση Γενικών Προτύπων Προσπέλασης Ανίχνευση προσαρµοσµένης (customized) χρήσης Ευαγγελία Πιτουρά 77 Κατηγορίες ς από το Web εδοµένων Χρήσης Mining Web log records to discover user access patterns of Web pages Applications Target potential customers for electronic commerce Enhance the quality and delivery of Internet information services to the end user Improve Web server system performance Identify potential prime advertisement locations Web logs provide rich information about Web dynamics Typical Web log entry includes the URL requested, the IP address from which the request originated, and a timestamp Ευαγγελία Πιτουρά 78 39

40 Κατηγορίες ς από το Web Τεχνικές ς εδοµένων Χρήσης Construct multidimensional view on the Weblog database Perform multidimensional OLAP analysis to find the top N users, top N accessed Web pages, most frequently accessed time periods, etc. Perform data mining on Weblog records Find association patterns, sequential patterns, and trends of Web accessing May need additional information,e.g., user browsing sequences of the Web pages in the Web server buffer Conduct studies to Analyze system performance, improve system design by Web caching, Web page prefetching, and Web page swapping Ευαγγελία Πιτουρά 79 40