ΠΜΣ Πληροφορικής Πανεπιστηµίου Πειραιά. Εξόρυξη Γνώσης από εδοµένα (Data Mining) Εισαγωγή. Γιάννης Θεοδωρίδης

Transcript

1 ΠΜΣ Πληροφορικής Πανεπιστηµίου Πειραιά Εξόρυξη Γνώσης από εδοµένα (Data Mining) Εισαγωγή Γιάννης Θεοδωρίδης Τµήµα Πληροφορικής, Πανεπιστήµιο Πειραιά πληµµύρα από δεδοµένα Παράγονται όλο και περισσότερα δεδοµένα: Τραπεζικά, τηλεπικοινωνιακά,... Επιστηµονικά δεδοµένα: αστρονοµικά, βιολογικά κλπ. Κείµενα στο web κ.α. Αποθηκεύονται όλο και περισσότερα δεδοµένα: Γρήγορη και φθηνή τεχνολογία αποθήκευσης Ικανά Σ Β για µεγάλες Β 2 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

2 Παραδείγµατα Το ευρωπαϊκό Very Long Baseline Interferometry (VLBI) διαθέτει 16 τηλεσκόπια, καθένα από τα οποία παράγει 1 Gigabit/second αστρονοµικά δεδοµένα σε συνόδους παρατήρησης των 25 ηµερών η αποθήκευση και ανάλυση τέτοιου όγκου δεδοµένων είναι πρόβληµα Ο τηλεπικοινωνιακός κολοσός AT&T χειρίζεται δισεκατοµµύρια κλήσεις / µέρα τόσο µεγάλος είναι ο όγκος των δεδοµένων που αυτά δεν αποθηκεύονται η ανάλυση γίνεται «στον αέρα» (on the fly) Η Β της επιχείρησης λιανεµπορίου Wal-Mart είναι της τάξης των 24 Tbytes Το UC Berkeley έκανε την εκτίµηση ότι µέσα στο 2002 παρήχθησαν 5 Exa-bytes (5 εκατοµµύρια TBytes) δεδοµένων!!! 3 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Τάσεις ανάπτυξης Ονόµος του Moore Η ταχύτητα των υπολογιστών διπλασιάζεται κάθε 18 µήνες Ο νόµος της αποθήκευσης Τα δεδοµένα που αποθηκεύονται διπλασιάζονται κάθε 9 µήνες Κατά συνέπεια... πολύ λίγα από αυτά τα δεδοµένα µπορεί να κοιτάξει (και να αναλύσει) οάνθρωπος processing storage Άρα χρειάζεται η ανακάλυψη γνώσης µέσα από τα δεδοµένα (Knowledge Discovery in Data - KDD) για να δώσει νόηµα και χρήση στα δεδοµένα 4 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

3 Ορισµός της Ανακάλυψης Γνώσης από εδοµένα Η ανακάλυψη γνώσης από δεδοµένα (Knowledge Discovery in Data KDD) είναι η µη τετριµµένη διαδικασία εύρεσης έγκυρων, πρωτότυπων, πιθανώς χρήσιµων και οπωσδήποτε κατανοητών προτύπων (patterns) µέσα στα δεδοµένα. Τι δεν είναι data mining επεξεργασία ερωτήσεων βάσεων δεδοµένων χρήση προγρµµάτων µηχανικής µάθησης ή στατιστικής Εναλλακτικές µεταφράσεις του όρου data mining: «εξόρυξη δεδοµένων» «εξόρυξη γνώσης από δεδοµένα» «όρυξη δεδοµένων» 5 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Σχετικά επιστηµονικά πεδία Τεχνητή Νοηµοσύνη (Μηχανική Μάθηση) Οπτικοποίηση Πληροφορίας Ανακάλυψη Γνώσης από εδοµένα (KDD) Στατιστική Βάσεις εδοµένων 6 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

4 ιαδικασία ανακάλυψης γνώσης Ολοκλήρωση Ερµηνεία & Αξιολόγηση Knowledge Πρωτογενή δεδοµένα Αποθήκη εδοµένων (data warehouse) Επιλογή & καθαρισµός Μετασχηµατισµός Εξόρυξη Γνώσης (Data Mining Μετ/να εδοµένα δεδοµένα στόχος (target data) Πρότυπα (patterns) και Κανόνες (rules) Γνώση Κατανόηση 7 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Εφαρµογές Data Mining Market analysis and management target marketing, customer relation management, market basket analysis, cross selling, market segmentation Risk analysis and management Forecasting, customer retention, improved underwriting, quality control, competitive analysis Fraud detection and management αλλά και... Intelligent query answering Text / Web mining (news group, , documents) 8 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

5 Τι δεδοµένα αναλύουµε tabular data 82% time series 40% text, free-form 33% transactional data 30% web click stream 17% spatial data (2-D, 3-D) 16% web content 15% 13% XML data 13% links or networks 11% anonymized data 11% multimedia 6% Source: (Sep. 2005) 9 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Βήµατα εξόρυξης γνώσης µεθοδολογία CRISP-DM Business understanding Data understanding Data preparation Modeling Evaluation Deployment 10 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

6 Τεχνικές DM Association rule mining Classification / Prediction Decision Trees, Neural Nets, Bayesian classification Clustering Hierarchical, partitional, densitybased Yes Refund No NO MarSt Single, Divorced TaxInc < 80K > 80K Married NO NO YES 11 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Κατηγοριοποίηση (Classification) Ταξινόµηση, Πρόβλεψη Εκµάθηση µιας τεχνικής να προβλέπει την κλάση ενός στοιχείου επιλέγοντας από προκαθορισµένες τιµές Προσεγγίσεις: Στατιστική, ένδρα αποφάσεων, Νευρωνικά ίκτυα, ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

7 Κατηγοριοποίηση µε Γραµµική Παλινδρόµηση (linear regression) Γραµµική παλινδρόµηση w 0 + w 1 x + w 2 y >= 0 Η παλινδρόµηση υπολογίζει τα βάρη wi από τα δεδοµένα έτσι ώστε να ελαχιστοποιήσει το τετραγωνικό σφάλµα προσαρµογής των δεδοµένων στο µοντέλο Καθόλου ευέλικτη τεχνική 13 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Κατηγοριοποίηση µε ένδρα Αποφάσεων (Decision Trees) Y if X > 5 then blue else if Y > 3 then blue else if X > 2 then green else blue X 14 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

8 Κατηγοριοποίηση µε Νευρωνικά ίκτυα (Neural Nets) Μπορούν να επιλέξουν πιο σύνθετες περιοχές Μπορούν να είναι πιο ακριβή Μπορεί να προκύψει υπερ-προσαρµογή (over fitting) των δεδοµένων να βρεθούν πρότυπα στον (τυχαίο) θόρυβο 15 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Συσταδοποίηση (Clustering) Οµαδοποίηση Εύρεση µιας φυσικής οµαδοποίησης των δεδοµένων, χωρίς προκαθορισµό τωνοµάδων 16 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

9 Εξόρυξη κανόνων συσχετίσεων (Association rule mining) Εύρεση ταυτόχρονων εµφανίσεων δεδοµένων (άρα, πιθανήςσυσχέτισηςήεξάρτησης) µέσα σε ένα «καλάθι» δεδοµένων 17 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Ανάλυση χρονολογικών σειρών Μπορούµε ναβρούµε τάσεις(κύκλους, εποχιακές συµπεριφορές) και να κάνουµε εκτίµηση µελλοντικών τιµών 18 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

10 "Πυραµίδα" Επιχειρηµατικής Ευφυίας (Business Intelligence BI) Υποστήριξη επιχειρηµατικών αποφάσεων Making Decisions End User Data Presentation Visualization Techniques Data Mining Information Discovery Business Analyst Data Analyst Data Exploration Statistical Analysis, Querying and Reporting Data Warehouses / Data Marts OLAP, MDA Data Sources Paper, Files, Information Providers, Database Systems, OLTP DBA 19 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Case Study: απευθείας προώθηση προϊόντων & CRM Οι εταιρείες που κάνουν απευθείας προώθηση προϊόντων (direct marketing) χρησιµοποιούν µοντέλα και τεχνικές εξόρυξης γνώσης Η µοντελοποίηση είναι πιο εφικτή από την αλλαγή συµπεριφοράς του πελάτη Πετυχηµένη ιστορία (success story) Ο τηλεπικοινωνιακός παροχέας Verizon Wireless µείωσε τη «διαρροή πελατών» (churn) από 2% σε 1.5% 20 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

11 Case Study: Ασφάλεια και ανίχνευση απάτης Ανίχνευση απάτης (Fraud Detection) σε αγορές µε πιστωτικές κάρτες Ξέπλυµα χρήµατος Απάτη στην τηλεφωνία AT&T, Bell Atlantic, British Telecom/MCI Καταπολέµηση τροµοκρατίας ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης Data Mining και Ιδιωτικό απόρρητο: αντίφαση (;) TIA: Terrorism (πρώην Total) Information Awareness Program Επιστηµονικό πρόγραµα χρηµατοδοτούµενο από το Υπουργείο Άµυνας των ΗΠΑ διακόπηκε από το Κογκρέσο µερικές από τις λειτουργίες του µεταφέρθηκαν στις υπηρεσίες πληροφοριών CAPPS II φωτογράφηση όλων των επιβατών των αεροµεταφορών έχει προκαλέσει αντιδράσεις (από επιβάτες, εταιρείες, κυβερνήσεις) Οι τεχνικές Data Mining αναζητούν πρότυπα, όχι ανθρώπους! Υπάρχουν τεχνικές λύσεις που µπορούν να περιορίσουν την πρόσβαση σε προσωπικά δεδοµένα Αντικατάσταση ευαίσθητων δεδοµένων µε ανώνυµους κωδικούς (data anonymization) Κατανεµηµένα δεδοµένα κατανεµηµένος υπολογισµός (distributed data mining) 22 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης

12 Ερευνητικά προβλήµατα... Scaling up for huge data 41% Mining text 29% Automating data cleaning 27% Dealing with cost-sensitive data 26% Mining data streams 18% Mining links and networks 17% Unified theory of DM 16% DM for biological problems 14% DM with privacy 8.9% Mining images 7.1% DM for security applications 5.4% Distributed (multi-agent) DM 3.6% Source: (Nov. 2005) 23 ΠΑ.ΠΕΙ. Γιάννης Θεοδωρίδης