Συστήματα Επιχειρηματικής Ευφυίας

Transcript

1 Συστήματα Επιχειρηματικής Ευφυίας Εισαγωγή Μιχάλης Μαλιάππης, 2018

2 Διδασκαλία Μαθήματος Σελίδα eclass: Βιβλιογραφία TAN PANG-NING, STEINBACH MICHAEL, KUMAR VIPIN, ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ, ΕΚΔΟΣΕΙΣ Α. ΤΖΙΟΛΑ & ΥΙΟΙ Α.Ε., 2010 ΑΛ. ΝΑΝΟΠΟΥΛΟΣ, Γ. ΜΑΝΩΛΟΠΟΥΛΟΣ, ΕΙΣΑΓΩΓΗ ΣΤΗΝ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΤΙΣ ΑΠΟΘΗΚΕΣ ΔΕΔΟΜΕΝΩΝ, ΕΚΔΟΣΕΙΣ ΝΕΩΝ ΤΕΧΝΟΛΟΓΙΩΝ ΜΟΝ. ΕΠΕ, 2008 ΚΥΡΚΟΣ ΕΥΣΤΑΘΙΟΣ, ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΪΑ ΚΑΙ ΕΞΟΡΥΞΗ ΔΕΔΟΜΕΝΩΝ, ΕΛΛΗΝΙΚΑ ΑΚΑΔΗΜΑΪΚΑ ΗΛΕΚΤΡΟΝΙΚΑ ΣΥΓΓΡΑΜΜΑΤΑ ΚΑΙ ΒΟΗΘΗΜΑΤΑ- ΑΠΟΘΕΤΗΡΙΟ "ΚΑΛΛΙΠΟΣ", 2016 ΣΤΑΛΙΔΗΣ ΓΙΩΡΓΟΣ, ΚΑΡΔΑΡΑΣ ΔΗΜΗΤΡΗΣ, ΔΙΑΧΕΙΡΙΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ ΕΠΙΧΕΙΡΗΜΑΤΙΚΗ ΕΥΦΥΪΑ, ΕΛΛΗΝΙΚΑ ΑΚΑΔΗΜΑΪΚΑ ΗΛΕΚΤΡΟΝΙΚΑ ΣΥΓΓΡΑΜΜΑΤΑ ΚΑΙ ΒΟΗΘΗΜΑΤΑ-ΑΠΟΘΕΤΗΡΙΟ "ΚΑΛΛΙΠΟΣ", 2016 Jiawei Han, Micheline Kamber and Jian Pei, Data Mining: Concepts and Techniques (3rd ed), Morgan Kaufmann, 2011 Θεωρία: Τρίτη, 10:30, Εργαστήριο: Τετάρτη, 10:30

3 Εξέταση Μαθήματος Ατομικές εργασίες: 15% (τρεις αναθέσεις) Ομαδική εργασία : 50% (ανά δύο άτομα) Τελική εξέταση: 35%

4 Περιεχόμενο Μαθήματος Στο μάθημα παρουσιάζονται τεχνικές για τη συγκέντρωση, ενοποίηση και ανάλυση δεδομένων, τα οποία προέρχονται από διαφορετικές πηγές. Εξοικείωση με και εξειδίκευση σε τεχνικές και μεθόδους οργάνωσης και επεξεργασίας των δεδομένων για την εξόρυξη χρήσιμης πληροφορίας.

5 Στόχοι Μαθήματος Κατανόηση και αναγνώριση των διαφορών ανάμεσα στις ΒΔ των συστημάτων επεξεργασίας δοσοληψιών (OLTP) και τις Αποθήκες Δεδομένων. Δημιουργία απεικονίσεων, από ένα σχήμα βάσης δεδομένων προς ένα άλλο σχήμα βάσης δεδομένων. Δημιουργία Αποθήκης Δεδομένων με τη χρήση των βημάτων της ETL (extract, transform and load) διαδικασίας. Διάγνωση τυχόν προβλημάτων που προκύπτουν από την ενοποίηση, τον μετασχηματισμό και την ολοκλήρωση των δεδομένων. Αναγνώριση ασυνεπών δεδομένων σε μία ενοποιημένη βάση δεδομένων. Δημιουργία πινάκων διαστάσεων (dimension tables) και πινάκων συμβάντων (fact tables). Δημιουργία αστεροειδών σχημάτων (star schemata) και σχημάτων χιονονιφάδας (snowflake schemata). Εφαρμογή μεθόδων εξόρυξης δεδομένων: Ανάλυση συνάφειας, κατηγοριοποίηση, ανάλυση συστάδων

6 Περιεχόμενα Επιχειρηματική Ευφυΐα: Ορισμοί Χρησιμότητα - Σημασία της Επιχειρηματικής Ευφυΐας Δυνατότητες - Οφέλη της Επιχειρηματικής Ευφυΐας Προβλήματα Προκλήσεις Επιχειρηματικής Ευφυΐας Επιχειρηματική Ευφυΐα: Παραδείγματα

7 Τι είναι Επιχειρηματική Ευφυΐα (Business Intelligence BI) Η Επιχειρηματική Ευφυΐα αφορά τις δεξιότητες, διαδικασίες, τεχνολογίες, εφαρμογές και πρακτικές που χρησιμοποιούνται για την υποστήριξη της λήψης αποφάσεων. Μια μεγάλη κατηγορία μεθόδων, μεθοδολογιών και τεχνολογιών για τη συλλογή, αποθήκευση, ανάλυση και παροχή πρόσβασης σε, διαθέσιμα στην επιχείρηση δεδομένα, με στόχο τη δημιουργία χρήσιμης γνώσης ώστε να βοηθηθούν τα στελέχη μιας επιχείρησης στη λήψη καλύτερων επιχειρηματικών αποφάσεων. Ένα περιβάλλον στο οποίο οι επιχειρήσεις χρήστες λαμβάνουν πληροφορίες που είναι αξιόπιστες, ασφαλείς, συνεπείς, κατανοητές, έγκαιρες και διαχειρίσιμες, διευκολύνοντας έτσι την τεκμηριωμένη λήψη αποφάσεων.

8 Επιχειρηματική Ευφυΐα Χαρακτηριστικά Η Επιχειρηματική Ευφυΐα επιτρέπει σε έναν οργανισμό να μαθαίνει, να αντιλαμβάνεται καταστάσεις και συμβάντα, να σκέφτεται αφαιρετικά, να προβλέπει τάσεις και μελλοντικά συμβάντα, να σχεδιάζει και να καινοτομεί. Η παραγόμενη πληροφορία μετουσιώνεται σε γνώση που αξιοποιείται από τα διοικητικά στελέχη, ώστε να δρομολογήσουν κατάλληλες δράσεις, που θα οδηγήσουν στον καθορισμό και την επίτευξη επιχειρηματικών στόχων, με τρόπο αποτελεσματικό και αποδοτικό. Ένας άλλος συγγενής, αν και όχι ταυτόσημος όρος, ο οποίος γνωρίζει ιδιαίτερη διάδοση τον τελευταίο καιρό είναι «Αναλυτική των Επιχειρήσεων» (Business Analytics).

9 Συστήματα Επιχειρηματικής Ευφυΐας Συστήματα που συλλέγουν, ενσωματώνουν, αναλύουν και παρουσιάζουν επιχειρηματικές πληροφορίες για να υποστηρίξουν την καλύτερη λήψη επιχειρηματικών αποφάσεων. Συστήματα που παρέχουν δεδομένα και εργαλεία αναφοράς για την υποστήριξη και τη βελτίωση της διαδικασίας λήψης αποφάσεων. Εξειδικευμένα πληροφοριακά συστήματα, τα οποία προσφέρουν ποιοτική πληροφορία. Η πληροφορία βασίζεται σε ποιοτικά δεδομένα, τα οποία συνδυάζονται με λογισμικό ικανό να διεξάγει κατάλληλες αναλύσεις. Η βελτίωση της ποιότητας της πληροφορίας οφείλεται στις δυνατότητες αυτών των συστημάτων, τα οποία επιτρέπουν την ταχύτερη πρόσβαση στην πληροφορία, την ευκολότερη υποβολή ερωτημάτων και τη σύνταξη αναφορών και την προχωρημένη ανάλυση των δεδομένων.

10 Συνοπτικά Τι είναι ΕΕ; Είναι η διαδικασία για συλλογή και επεξεργασία δεδομένων, την δημιουργία πληροφοριών και γνώσης και τη διάχυση τους με στόχο τη λήψη αποφάσεων. Είναι η μετατροπή δεδομένων, πληροφοριών και γνώσης σε νέα γνώση. Είναι η συστηματική επεξεργασία και ανάλυση δεδομένων και η παραγωγή γνώσης. Τι δεν είναι ΕΕ; Δεν είναι ένα προϊόν. Δεν είναι ένα σύστημα. Δεν είναι μόνο αναφορές. Δεν είναι κάποιο επιχειρηματικό μυστικό

11 Λήψη Επιχειρηματικών Αποφάσεων σε συνθήκες αβεβαιότητας Παράδειγμα για την παραγωγή ενός νέου προϊόντος θα πρέπει να συνεκτιμηθούν, ανάμεσα σε άλλα ζητήματα: οι καταναλωτικές τάσεις, οι προτιμήσεις και ανάγκες των πελατών, ο προσανατολισμός των τεχνολογικών εξελίξεων, η δυναμική που δημιουργεί το νέο προϊόν στην αγορά, οι πιθανές αντιδράσεις των ανταγωνιστών, οι πιθανές αντιδράσεις συνεργατών, οι οποίοι ενδεχομένως να θιγούν από μια τέτοια κίνηση της εταιρείας, τα χαρακτηριστικά που πρέπει να έχει το νέο προϊόν, το κόστος της επένδυσης και τα αναμενόμενα οικονομικά οφέλη, η τιμή του νέου προϊόντος ώστε η πώληση του να είναι εφικτή.

12 Δομικά Επίπεδα Συστημάτων Επιχειρηματικής Ευφυΐας Πηγές Δεδομένων Συγκέντρωση και ενοποίηση λειτουργικών δεδομένων Στοιχεία σύμφωνα με παραμέτρους που ενδιαφέρουν (προϊόν, γεωγραφική περιοχή, χρονική περίοδος) τα δεδομένα μπορεί να έχουν διαφόρων ειδών προβλήματα, τα οποία πρέπει να αντιμετωπιστούν Αποθήκες Δεδομένων Διερεύνηση Δεδομένων Οπτικοποίηση Δεδομένων Εξόρυξη Δεδομένων Βελτιστοποίηση Λήψη απόφασης

13 Η Πυραμίδα Συστημάτων Επιχειρηματικής Ευφυΐας

14 Πηγές Δεδομένων Συστήματα Σχεδιασμού Επιχειρησιακών Πόρων (Enterprise Resources Planning (ERP)), Συστήματα Διαχείρισης Εφοδιαστικής Αλυσίδας (Supply Chain Management (SCM)) Συστήματα Διαχείρισης Σχέσεων Πελατών (Customer Relationship Management (CRM)). Οι εταιρικές ιστοσελίδες Εξωτερικές πηγές. Κρατικές υπηρεσίες, μέσα ενημέρωσης, τράπεζες και άλλες επιχειρήσεις. Ιστοσελίδες κοινωνικής δικτύωσης, blogs, wikis και γενικώς ιστοσελίδες το περιεχόμενο των οποίων παράγεται από τους χρήστες του δικτύου.

15 Υποστήριξη Αποφάσεων Αποθήκη Δεδομένων Συγκέντρωση δεδομένων από πολλές πηγές με στόχο την επεξεργασία για την υποστήριξη αποφάσεων Εργαλεία ανάλυσης Οπτικοποίηση Δεδομένων Άμεση Αναλυτική Επεξεργασία (Online Analytical Processing OLAP) Ομαδοποίηση και συνάθροιση δεδομένων Χρήση στατιστικών συναρτήσεων, ανάλυση χρονικών δεδομένων Πολυδιάστατη σειρά δεδομένων Απάντηση σε συγκεκριμένα ερωτήματα Εξερευνητική Ανάλυση Δεδομένων (Exploratory Data Analysis) Εξόρυξη δεδομένων (Data Mining) Αναζήτηση για ενδιαφέρουσες ή απρόβλεπτες τάσεις και σχηματισμούς σε μεγάλα σύνολα δεδομένων

16 Οφέλη Επιχειρηματικής Ευφυΐας Συμβολή στη διαμόρφωση των στρατηγικών στόχων. Τα συστήματα Ε.Ε. απευθύνονται κυρίως στα υψηλά ή και κορυφαία στελέχη των επιχειρήσεων. Στο επίπεδο αυτό λαμβάνονται οι στρατηγικές αποφάσεις. Βελτίωση των Διαδικασιών Διοίκησης Τροφοδότηση της διοίκησης με έγκυρη και έγκαιρη πληροφόρηση, την κατάλληλη στιγμή και με τον κατάλληλο τρόπο με στόχο τη βελτίωση της ποιότητας των αποφάσεων. Σχεδιασμός, έλεγχος, μέτρηση ή/και μεταβολές με αποτέλεσμα την αύξηση των εσόδων και την μείωση του κόστους. Βελτίωση των Επιχειρησιακών Διαδικασιών Εντοπισμός περιπτώσεων απάτης, επεξεργασία παραγγελιών, προμηθειών κα., με αποτέλεσμα την αύξηση των εσόδων και τη μείωση του κόστους Πρόβλεψη διαφόρων μεγεθών

17 Οφέλη της Επιχειρηματικής Ευφυΐας Καλύτερη κατανόηση πελατών, αγορών, ανταγωνιστών, προμηθειών και πόρων με στόχο την αύξηση της κερδοφορίας, μείωση του κόστους και βελτίωση της αποδοτικότητας. Επίτευξη συγκριτικού πλεονεκτήματος. Η βελτίωση των αποφάσεων και μέσω αυτού η αύξηση της αποτελεσματικότητας και αποδοτικότητας της διοίκησης, καθώς και ο καθορισμός σωστών στρατηγικών στόχων, μπορούν να αποτελέσουν το συγκριτικό πλεονέκτημα και να οδηγήσουν σε αυξημένη ανταγωνιστικότητα. Βαθύτερη κατανόηση της αγοράς για τον εντοπισμό επιχειρηματικών ευκαιριών. Επιπλέον, οι μέθοδοι προγνωστικής ανάλυσης (predictive analytics) επεξεργάζονται ιστορικά δεδομένα και επιτρέπουν τη διατύπωση προβλέψεων. Μεγαλύτερη αξιοποίηση των δεδομένων και αύξηση της απόδοσης της επένδυσης σε τεχνολογίες πληροφορικής.

18 Περιορισμοί της Επιχειρηματικής Ευφυΐας Κόστος απόκτησης και λειτουργίας συστημάτων ΕΕ. Επενδύσεις σε υλικό, λογισμικό και τεχνογνωσία. Επίσης οι εργασίες ETL είναι χρονοβόρες, δύσκολες και δαπανηρές. Χαμηλή ποιότητα δεδομένων. Τα αρχικά δεδομένα είναι διάσπαρτα, ανομοιογενή, ελλιπή και πιθανώς λανθασμένα ή αντιφατικά. Τροφοδότηση του συστήματος με προβληματικά δεδομένα οδηγεί σε εσφαλμένη πληροφόρηση. Ζητήματα συμβατότητας με τα υπάρχοντα συστήματα. Τα συστήματα ΕΕ λειτουργούν επί δεδομένων άλλων συστημάτων. Τα συστήματα αυτά μπορεί να είναι πολλά, διαφορετικά, και πιθανότατα δεν έχει ληφθεί εκ των προτέρων καμία πρόνοια για ενοποίηση των δεδομένων τους.

19 Περιορισμοί της Επιχειρηματικής Ευφυΐας Πιθανή ύπαρξη επιφυλάξεων, δυσπιστίας και μη συνεργασίας από την πλευρά των στελεχών. Η ανάπτυξη συστημάτων Ε.Ε. επιφέρει αλλαγές σε λειτουργίες των οργανισμών. Προβλήματα επικοινωνίας και συνεννόησης μεταξύ των στελεχών και των ειδικών πληροφορικής. Τα στελέχη της επιχείρησης και οι ειδικοί της πληροφορικής έχουν ο καθένας τη δική του οπτική γωνία. Τα στελέχη επικεντρώνονται στα επιχειρησιακά ζητήματα, ενώ οι ειδικοί πληροφορικής στα τεχνικά. Ανάγκη ειδικά εκπαιδευμένου προσωπικού. Πρέπει να προσληφθεί νέο προσωπικό, αλλά κυρίως πρέπει τα στελέχη να μάθουν να χρησιμοποιούν, με τον βέλτιστο τρόπο, τα νέα αυτά συστήματα. Κίνδυνος υπερβολικής και άκριτης εμπιστοσύνης στο σύστημα ΕΕ και συνακόλουθη επανάπαυση. Συστήματα ευφυούς ανάλυσης των δεδομένων ικανά να διατυπώνουν προβλέψεις, μπορεί μετά από κάποιον χρόνο να εμπνεύσουν υπερβολική εμπιστοσύνη στους χρήστες τους. Τα στελέχη δεν πρέπει να επαναπαύονται στις προβλέψεις του συστήματος, αλλά να αντιμετωπίζουν την πληροφόρηση στη βάση της δικής τους υποκειμενικής κρίσης.

20 Εφαρμογές Επιχειρηματικής Ευφυΐας Διοίκηση Επιχειρησιακής Απόδοσης Κύριοι Δείκτες Επιδόσεων (ΚΔΕ) ανάλογα με τον τομέα δραστηριότητας Χρηματοοικονομική ανάλυση και διαχείριση Πορεία των εσόδων και εξόδων της επιχείρησης Πωλήσεις Πωλήσεις, πωλητές, πελάτες Marketing Διαχείριση Εφοδιαστικής Αλυσίδας Διαχείριση Ανθρωπίνων Πόρων Χρηματοπιστωτικός τομέας

21 Παράδειγμα Ξενοδοχειακής Αλυσίδας Μέση πληρότητα και μέση τιμή δωματίου τα έσοδα ανά δωμάτιο. Μερίδια αγοράς και τα δεδομένα από τις έρευνες των πελατών Ανταγωνιστική θέση σε διάφορες αγορές. Ανάλυση ως προς Ξενοδοχείο Χρόνο, μήνα, μέρα Περιοχή Προέλευση πελατών

22 Τομέας Οικονομικών Καταγραφή των διαφόρων οικονομικών στοιχείων των φορολογούμενων, συνδυασμός δημογραφικών στοιχείων, εταιρικά δεδομένα Παρακολούθηση εξέλιξης εσόδων και εκτέλεσης της φορολογικής πολιτικής συνολικά αλλά και ανά Περιφέρεια/ΔΟΥ. Διαμόρφωση προφίλ φορολογούμενου (με καταγραφή όλου του ιστορικού συναλλαγών) για την υποστήριξη βαθμολόγησης κινδύνου (φοροδιαφυγής) και διενέργειας στοχευμένων φορολογικών ελέγχων.

23 Κοινωνική Ασφάλιση Στοιχεία ασθενών, ασφαλιστικής κάλυψης, επισκέψεις στους γιατρούς και η ανάλογη συνταγογράφηση Παρακολούθηση εξέλιξης εσόδων και εκτέλεσης της εισπρακτικής διαδικασίας συνολικά αλλά και ανά περιφέρεια. Περιορισμός εισφοροδιαφυγής μέσω της ανάλυσης του προφίλ κάθε Εργοδότη / Ασφαλισμένου. Παρακολούθηση Μονάδων Πρωτοβάθμιας Φροντίδας Υγείας Ασφαλιστικών Ταμείων. Πολυδιάστατη οικονομική ανάλυση συνταγογραφήσεων ως προς περιοχή, είδος φαρμάκου, πάθηση, κ.α. (Medicare/ Medicaid στις Η.Π.Α.)

24 Παιδεία Έλεγχος αν ή εργασία παράλληλα με την διεξαγωγή των σπουδών αυξάνει ή όχι τον χρόνο διεκπεραίωσης των σπουδών, αν η εργασιακή εμπειρία βοηθά στην καλύτερη κατάρτιση των φοιτητών, αν ο βαθμός του απολυτηρίου συσχετίζεται με τον βαθμό πτυχίου. Έλεγχος παραγόντων που οδηγούν στην εγκατάλειψή των σπουδών Στοιχεία για την διαχείριση των οικονομικών των φορέων παροχής παιδείας (π.χ. έξοδα για έρευνα, για υλικοτεχνική υποδομή κ.λ.π.) Κατηγοριοποίηση μαθητών/ φοιτητών /δασκάλων /καθηγητών ανάλογα με τα επιστημονικά ενδιαφέροντά τους. Εντοπισμός πληθυσμών μαθητών/φοιτητών με μαθησιακές δυσκολίες Προσδιορισμός των καλύτερων μεθόδων διδασκαλίας

25 Ενότητα 1. Εισαγωγή Γιατί Εξόρυξη Δεδομένων; Τι είναι η Εξόρυξη Δεδομένων; Μια πολυδιάστατη θεώρηση της Εξόρυξης Δεδομένων Τι είδους δεδομένα μπορούν να εξορυχθούν; Τι είδους μοτίβα μπορούν να εξορυχθούν; Τι είδους τεχνολογίες χρησιμοποιούνται; Ποια είδη εφαρμογών χρησιμοποιούνται; Τα σημαντικότερα προβλήματα στην Εξόρυξη Δεδομένων Σύντομη ιστορία της Εξόρυξης Δεδομένων Σύνοψη

26 Γιατί Εξόρυξη Δεδομένων; Η εκρηκτική ανάπτυξη των δεδομένων: από terabytes σε petabytes Συλλογή δεδομένων και διαθεσιμότητα δεδομένων Αυτοματοποιημένα εργαλεία συλλογής δεδομένων, συστήματα βάσεων δεδομένων, παγκόσμιος ιστός, ψηφιακή κοινωνία Σημαντικές πηγές άφθονων δεδομένων Επιχειρήσεις: Ιστός, ηλεκτρονικό εμπόριο, συναλλαγές, αποθέματα, Επιστήμη: Τηλεπισκόπηση, βιοπληροφορική, επιστημονική προσομοίωση, Κοινωνία και όλοι εμείς: ειδήσεις, ψηφιακές φωτογραφικές μηχανές, YouTube Είμαστε πνιγμένοι στα δεδομένα, αλλά λιμοκτονούμε για γνώση! Η αναγκαιότητα είναι η μητέρα της εφεύρεσης/ανακάλυψης - Εξόρυξη Δεδομένων - Αυτοματοποιημένη ανάλυση μεγάλων συνόλων δεδομένων

28 Τι είναι η Εξόρυξη Δεδομένων; Εξόρυξη Δεδομένων (Εξαγωγή/ανακάλυψη γνώσης από δεδομένα) Εξαγωγή ενδιαφέρουσας (μη τετριμμένης, σιωπηρής, άγνωστης και δυνητικά χρήσιμης) γνώσης ή μοτίβων από τεράστιο όγκο δεδομένων Εξόρυξη Δεδομένων: Εξόρυξη από Δεδομένα Εναλλακτικά ονόματα Ανακάλυψη γνώσης (εξόρυξη) σε βάσεις δεδομένων (KDD), εξαγωγή γνώσης, ανάλυση δεδομένων / μοτίβων, αρχαιολογία δεδομένων,, συλλογή πληροφοριών, επιχειρηματική ευφυΐα κλπ. Προσέξτε: Είναι όλα «εξόρυξη δεδομένων»; Απλή αναζήτηση και επεξεργασία ερωτήσεων (Επαγωγικά) έμπειρα συστήματα

29 Διαδικασία Ανακάλυψης Γνώσης (KDD) Μια άποψή από την πλευρά των βάσεων και των αποθηκών δεδομένων Η εξόρυξη δεδομένων παίζει σημαντικό ρόλο στη διαδικασία ανακάλυψης γνώσης Εξόρυξη Δεδομένων Αξιολόγηση Μοτίβου Γνώση Επιλεγμένα Δεδομένα Αποθήκη Δεδομένων Επιλογή Καθαρισμός Δεδομένων Ολοκλήρωση Δεδομένων Βάσεις Δεδομένων

30 Παράδειγμα: Ένα Πλαίσιο Εξόρυξης από τον Ιστό Η εξόρυξη ιστού (web mining) περιλαμβάνει συνήθως: Ενσωμάτωση δεδομένων από πολλαπλές πηγές Καθαρισμό δεδομένων Δημιουργία αποθήκης δεδομένων Δημιουργία κύβων δεδομένων Επιλογή των δεδομένων για εξόρυξη Εξόρυξη δεδομένων Παρουσίαση των αποτελεσμάτων της εξόρυξης Μοτίβα και γνώση που θα χρησιμοποιηθούν ή θα αποθηκευτούν στη βάση γνώσης

31 Η Εξόρυξη Δεδομένων στην Επιχειρηματική Ευφυία Δυνατότητα υποστήριξης επιχειρηματικών αποφάσεων Λήψη αποφάσεων Τελικός Χρήστης Παρουσίαση Δεδομένων Τεχνικές Οπτικοποίησης Εξόρυξη Δεδομένων Ανακάλυψη Πληροφορίας Επιχειρηματικός Αναλυτής Αναλυτής Δεδομένων Διερεύνηση Δεδομένων Στατιστική σύνοψη, ερωτήσεις και αναφορές Αποθήκες Δεδομένων Πηγές Δεδομένων ΔΒΔ

32 Διαδικασία KDD Από τη σκοπιά της Μηχανικής Μάθησης και της Στατιστικής Εισαγωγή Δεδομένων Προ-επεξεργασία Δεδομένων Εξόρυξη Δεδομένων Μετα-Επεξεργασία Δεδομένων Ολοκλήρωση Δεδομένων Κανονικοποίηση Επιλογή χαρακτηριστικών Περιορισμός Διαστάσεων Ανακάλυψη Μοτίβων Κατηγοριοποίηση Ανάλυση Συστάδων Ανίχνευση Εξαιρέσεων Αξιολόγηση Μοτίβων Επιλογή Μοτίβων Ερμηνεία Μοτίβων Οπτικοποίηση Μοτίβων

33 Εξόρυξη έναντι Εξερεύνησης Δεδομένων Ποια άποψη προτιμάτε; KDD vs. ML/Stat. vs. Επιχειρηματική Ευφυία Εξαρτάται από τα δεδομένα, τις εφαρμογές και την εστίασης σας Εξόρυξη έναντι Εξερεύνησης Δεδομένων Η άποψη της επιχειρηματικής ευφυίας Αποθήκες, κύβοι δεδομένων, δημιουργία αναφορών αλλά όχι πολύ εξόρυξη Επιχειρηματικά αντικείμενα έναντι Εργαλείων εξόρυξης δεδομένων Παράδειγμα Εφοδιαστικής αλυσίδας: Εξόρυξη έναντι OLAP έναντι Εργαλείων Οπτικοποίησης Οπτικοποίηση Δεδομένων έναντι Εξερεύνησης δεδομένων

35 Πολυδιάστατη Θεώρηση της Εξόρυξης Δεδομένων Δεδομένα που μπορούν να εξορυχθούν Δεδομένα ΒΔ, δεδομένα αποθηκών δεδομένων, δεδομένα δοσοληψιών, ροές δεδομένων, χωροχρονικά δεδομένα, χρονολογικές σειρές, ακολουθίες δεδομένων, κείμενο, δεδομένα ιστού, πολυμέσα, δεδομένα κοινωνικών και πληροφοριακών δικτύων Λειτουργίες εξόρυξης δεδομένων Χαρακτηρισμός (characterization), διάκριση (discrimination), συνάφεια (association), κατηγοριοποίηση, ομαδοποίηση, τάση / απόκλιση, ανάλυση ακραίων τιμών,... Περιγραφική έναντι προβλεπτικής εξόρυξης δεδομένων Τεχνικές που χρησιμοποιούνται Άμεση Αναλυτική Επεξεργασία (OLAP), μηχανική μάθηση, στατιστική, αναγνώριση προτύπων, οπτικοποίηση, κ.λ.π. Προσαρμοσμένες Εφαρμογές Λιανικό εμπόριο, τηλεπικοινωνίες, τραπεζικές εργασίες, ανάλυση απάτης, εξόρυξη βιολογικών δεδομένων, ανάλυση χρηματιστηριακών συναλλαγών, εξόρυξη κειμένου, εξόρυξη Ιστού, κλπ.

37 Εξόρυξη Δεδομένων: Σε ποια είδη δεδομένων; Σύνολα Δεδομένων από Βάσεις Δεδομένων και Εφαρμογές Σχεσιακές ΒΔ, αποθήκες δεδομένων, ΒΔ συναλλαγών ΒΔ αντικειμένων, Ετερογενείς ΒΔ και παλαιότερες ΒΔ Σύνθετα σύνολα δεδομένων και προηγμένες εφαρμογές Ροές δεδομένων και δεδομένα αισθητήρων Δεδομένα χρονικής σειράς, χρονικά δεδομένα, δεδομένα αλληλουχιών (συμπεριλαμβανομένων των βιο-αλληλουχιών) Δομημένα δεδομένα, γραφήματα, κοινωνικά δίκτυα και δίκτυα πληροφοριών Χωρικά και χωροχρονικά δεδομένα Βάσεις δεδομένων πολυμέσων Βάσεις δεδομένων κειμένου Ο Παγκόσμιος Ιστός

39 Λειτουργίες Εξόρυξης Δεδομένων: (1) Γενίκευση Ενσωμάτωση πληροφοριών και κατασκευή αποθήκης δεδομένων Καθαρισμός δεδομένων, μετασχηματισμός, ολοκλήρωση και πολυδιάστατο μοντέλο δεδομένων Τεχνολογία κύβου δεδομένων Κλιμακούμενες μέθοδοι υπολογισμού (υλοποίηση όψεων) πολυδιάστατες συναθροίσεις OLAP (άμεση αναλυτική επεξεργασία) Πολυδιάστατη περιγραφή εννοιών : Χαρακτηρισμός και διάκριση Γενίκευση, σύνοψη και σύγκριση χαρακτηριστικών δεδομένων

40 Λειτουργίες Εξόρυξης Δεδομένων: (2) Ανακάλυψη Μοτίβων Συχνά μοτίβα (ή συχνά σύνολα αντικειμένων) Ποια προϊόντα αγοράζονται συχνά μαζί σε ένα κατάστημα; Ανάλυση Συνάφειας (Association) και Συσχέτισης (Correlation) Ένας τυπικός κανόνας συνάφειας Πάνες --> Μπύρες [0.5%, 75%] (υποστήριξη(support), εμπιστοσύνη (confidence) Τα στοιχεία που έχουν υψηλή συνάφεια συσχετίζονται μεταξύ τους; Πώς να εξορύξουμε μοτίβα και κανόνες αποτελεσματικά από μεγάλα σύνολα δεδομένων; Πώς να χρησιμοποιήσουμε τα μοτίβα για κατηγοριοποίηση, ομαδοποίηση και άλλες εφαρμογές;

41 Λειτουργίες Εξόρυξης Δεδομένων: (3) Κατηγοριοποίηση Κατηγοριοποίηση (Classification) Κατασκευή μοντέλων βασισμένων σε παραδείγματα εκπαίδευσης Περιγραφή και διαχωρισμός κατηγοριών ή έννοιες για μελλοντική πρόβλεψη Παραδ. 1. Κατηγοριοποίηση χωρών με βάση το (κλίμα) Παραδ. 2. Κατηγοριοποίηση χωρών με βάση την (κατανάλωση καυσίμων) Πρόβλεψη κάποιων άγνωστων κατηγοριών Τυπικές Μέθοδοι Δέντρα αποφάσεων, αφελής Bayesian κατηγοριοποίηση, νευρωνικά δίκτυα, κατηγοριοποίηση βασισμένη σε κανόνες, ταξινόμηση με βάση πρότυπα, λογιστική παλινδρόμηση, Τυπικές Εφαρμογές Ανίχνευση απάτης με πιστωτικές κάρτες, άμεσο μάρκετινγκ, ταξινόμηση αστέρων, ασθένειες, ιστοσελίδες,...

42 Λειτουργίες Εξόρυξης Δεδομένων: (4) Ανάλυση Συστάδων (Cluster Analysis) Mη επιτηρούμενη μάθηση (Άγνωστες κατηγορίες) Ομαδοποίηση δεδομένων για τη δημιουργία νέων κατηγοριών (συστάδων), π.χ., ομαδοποίηση κατοικιών για τον εντοπισμό μοτίβων κατανομής Αρχή: Μεγιστοποίηση της ομοιότητας εντός των συστάδων & ελαχιστοποίηση της ομοιότητας μεταξύ των συστάδων Πολλές μέθοδοι και εφαρμογές

43 Λειτουργίες Εξόρυξης Δεδομένων: (5) Ανίχνευση Ανωμαλιών ή Ανάλυση Ακραίων Τιμών Ανίχνευση Ανωμαλιών ή Ανάλυση Ακραίων Τιμών (Anomaly Detection or Outlier analysis) Ακραία Τιμή: Ένα αντικείμενο το οποίο δεν ταιριάζει με τη γενική συμπεριφορά των δεδομένων Θόρυβος ή εξαίρεση; Τα σκουπίδια του ενός μπορεί να είναι ο θησαυρός του άλλου Μέθοδοι: υπο προϊόν της ανάλυσης συστάδων ή της παλινδρόμησης, Χρήσιμο στην ανίχνευση απάτης, ανάλυση σπάνιων συμβάντων

44 Λειτουργίες Εξόρυξης Δεδομένων: (6) Χρόνος και ταξινόμηση: Διαδοχικά μοτίβα, ανάλυση τάσεων και εξέλιξης Ακολουθίες, τάσεις και ανάλυση εξέλιξης Ανάλυση τάσεων, χρονοσειρών και απόκλισης π.χ., παλινδρόμηση και πρόβλεψη αξίας Εξόρυξη διαδοχικών μοτίβων π.χ. αγορά ψηφιακής φωτογραφικής μηχανής και στη συνέχεια αγορά μεγάλης κάρτας μνήμης Ανάλυση περιοδικότητας Μοτίβα και ανάλυση βιολογικής αλληλουχίας Κατά προσέγγιση και διαδοχικά μοτίβα Ανάλυση με βάση την ομοιότητα Εξόρυξη ροών δεδομένων Ταξινομημένες, χρονικά μεταβαλλόμενες, δυνητικά άπειρες ροές δεδομένων

45 Λειτουργίες Εξόρυξης Δεδομένων: (7) Ανάλυση Δομών και Δικτύων Εξόρυξη γράφων Εύρεση συχνών υπο-γράφων (π.χ. χημικών ενώσεων), δένδρων (XML), υποδομών (θραυσμάτων ιστού) Ανάλυση δικτύου πληροφοριών Κοινωνικά δίκτυα: ηθοποιοί (αντικείμενα, κόμβοι) και σχέσεις (άκρα) π.χ., συγγραφικά δίκτυα σε CS, τρομοκρατικά δίκτυα Πολλαπλά ετερογενή δίκτυα Ένα πρόσωπο θα μπορούσε να είναι σε πολλαπλά δίκτυα πληροφόρησης: φίλοι, οικογένεια, συμμαθητές,... Οι συνδέσεις φέρουν πολλές σημασιολογικές πληροφορίες: Εξόρυξη συνδέσεων Εξόρυξη ιστού Το Web είναι ένα μεγάλο δίκτυο πληροφοριών Ανάλυση δικτύων πληροφοριών Ιστού Ανακάλυψη κοινότητας Web, εξόρυξη γνώμης, εξόρυξη χρήσης,...

46 Είναι όλη η γνώση που εξορύσσεται ενδιαφέρουσα; Κάποιος μπορεί να εξορύξει τεράστια ποσότητα "μοτίβων", Κάποια μπορεί να ταιριάζει μόνο σε συγκεκριμένο χώρο διαστάσεων (χρόνος, τοποθεσία, ) Κάποια μπορεί να μην είναι αντιπροσωπευτική, μπορεί να είναι παροδική,..., Αξιολόγηση της εξόρυξης γνώσης εξορύσσεται μόνο ενδιαφέρουσα γνώση; Αξιολόγηση της Γνώσης Περιγραφική έναντι Προβλεπτικής Κάλυψη Τυπικότητα έναντι Καινοτομίας Ακρίβεια Επικαιρότητα

48 Εξόρυξη Δεδομένων: Συνισταμένη Πολλών Κλάδων Μηχανική Μάθηση Αναγνώριση Μοτίβων Στατιστική Εφαρμογές Εξόρυξη Δεδομένων Οπτικοποίηση Αλγόριθμοι Βάσεις Δεδομένων Υπολογιστές Υψηλής Απόδοσης

49 Γιατί Συμβολή Πολλών Επιστημονικών Κλάδων; Πολύ μεγάλος όγκος δεδομένων Οι αλγόριθμοι πρέπει να μπορούν να χειρίζονται μεγάλα δεδομένα Δεδομένα με πολλές διαστάσεις Micro-array (μικρο-πίνακας) μπορεί να έχει δεκάδες χιλιάδες διαστάσεις Υψηλή πολυπλοκότητα δεδομένων Ροές δεδομένων και δεδομένα αισθητήρων Δεδομένα χρονοσειρών, χρονικά δεδομένα, δεδομένα αλληλουχίας Δομημένα δεδομένα, γράφοι, κοινωνικά και πληροφοριακά δίκτυα Χωρικά, χωροχρονικά, πολυμεσικά δεδομένα, δεδομένα κείμενου και ιστοσελίδων Προγράμματα λογισμικού, επιστημονικές προσομοιώσεις Νέες και εξελιγμένες εφαρμογές

51 Εφαρμογές Εξόρυξης Δεδομένων Ανάλυση ιστοσελίδων : ταξινόμηση, ομαδοποίηση, κατάταξη Συνεργατική ανάλυση και συστήματα συστάσεων Ανάλυση δεδομένων καλαθιού στο στοχευμένο μάρκετινγκ Ανάλυση βιολογικών και ιατρικών δεδομένων Εξόρυξη δεδομένων και μηχανική λογισμικού Ανάλυση κειμένου Ανάλυση κοινωνικού και πληροφοριακού δικτύου Ενσωματωμένες (αθέατη εξόρυξη δεδομένων) λειτουργίες στο Google, MS, Linked, Facebook,... Σημαντικά ειδικά συστήματα / εργαλεία εξόρυξης δεδομένων SAS, MS SQL-Server Analysis Manager, Oracle Data Mining Tools)

53 Σημαντικά θέματα στην εξόρυξη δεδομένων (1) Μεθοδολογία Εξόρυξης Εξόρυξη διαφόρων και νέων ειδών γνώσης Εξόρυξη γνώσης στον πολυδιάστατο χώρο Εξόρυξη δεδομένων: Μια διεπιστημονική προσπάθεια Ενίσχυση της δύναμης της ανακάλυψης σε ένα δικτυωμένο περιβάλλον Αντιμετώπιση του θορύβου, της αβεβαιότητας και της ανεπάρκειας (ατέλειας) των δεδομένων Αξιολόγηση μοτίβων και εξόρυξη καθοδηγούμενη από πρότυπα ή περιορισμούς Αλληλεπίδραση χρηστών Διαδραστική εξόρυξη Ενσωμάτωση γνώσεων υποβάθρου Παρουσίαση και απεικόνιση αποτελεσμάτων εξόρυξης δεδομένων

54 Σημαντικά θέματα στην εξόρυξη δεδομένων (2) Αποτελεσματικότητα και Επεκτασιμότητα Αποτελεσματικότητα και κλιμάκωση αλγορίθμων εξόρυξης δεδομένων Παράλληλες, κατανεμημένες, ροής και αυξητικές (σταδιακές) μέθοδοι εξόρυξης Διαφορετικότητα (ποικιλία) τύπων δεδομένων Διαχείριση πολύπλοκων τύπων δεδομένων Εξορύσσοντας δυναμικά, δικτυακά και παγκόσμια αποθετήρια δεδομένων Εξόρυξη δεδομένων και κοινωνία Κοινωνικές επιπτώσεις της εξόρυξης δεδομένων Εξόρυξης δεδομένων με προστασία της ιδιωτικής ζωής Αθέατη εξόρυξη δεδομένων

56 Σύντομη Ιστορία της Εξόρυξης Δεδομένων 1989 IJCAI Workshop on Knowledge Discovery in Databases Knowledge Discovery in Databases (G. Piatetsky-Shapiro and W. Frawley, 1991) Workshops on Knowledge Discovery in Databases Advances in Knowledge Discovery and Data Mining (U. Fayyad, G. Piatetsky- Shapiro, P. Smyth, and R. Uthurusamy, 1996) International Conferences on Knowledge Discovery in Databases and Data Mining (KDD 95-98) Journal of Data Mining and Knowledge Discovery (1997) ACM SIGKDD conferences since 1998 and SIGKDD Explorations Περισσότερα συνέδρια για την εξόρυξη δεδομένων PAKDD (1997), PKDD (1997), SIAM-Data Mining (2001), (IEEE) ICDM (2001), WSDM (2008), etc. ACM Transactions on KDD (2007)

57 Συνέδρια και Περιοδικά Συνέδρια KDD ACM SIGKDD Int. Conf. on Knowledge Discovery in Databases and Data Mining (KDD) SIAM Data Mining Conf. (SDM) (IEEE) Int. Conf. on Data Mining (ICDM) European Conf. on Machine Learning and Principles and practices of Knowledge Discovery and Data Mining (ECML-PKDD) Pacific-Asia Conf. on Knowledge Discovery and Data Mining (PAKDD) Int. Conf. on Web Search and Data Mining (WSDM) Άλλα Σχετικά Συνέδρια Συνέδρια ΒΔ: ACM SIGMOD, VLDB, ICDE, EDBT, ICDT, Συνέδρια Web και IR : WWW, SIGIR, WSDM Συνέδρια ML: ICML, NIPS Συνέδρια PR: CVPR, Περιοδικά Data Mining and Knowledge Discovery (DAMI ή DMKD) IEEE Trans. On Knowledge and Data Eng. (TKDE) KDD Explorations ACM Trans. on KDD

58 Που θα βρείτε αναφορές; DBLP, CiteSeer, Google Εξόρυξη Δεδομένων και KDD (SIGKDD) Συνέδρια: ACM-SIGKDD, IEEE-ICDM, SIAM-DM, PKDD, PAKDD, etc. Περιοδικά: Data Mining and Knowledge Discovery, KDD Explorations, ACM TKDD Συστήματα Βάσεων Δεδομένων (SIGMOD) Συνέδρια: ACM-SIGMOD, ACM-PODS, VLDB, IEEE-ICDE, EDBT, ICDT, DASFAA Περιοδικά: IEEE-TKDE, ACM-TODS/TOIS, JIIS, J. ACM, VLDB J., Info. Sys., etc. AI & Μηχανική Μάθηση Συνέδρια: Machine learning (ML), AAAI, IJCAI, COLT (Learning Theory), CVPR, NIPS, etc. Περιοδικά: Machine Learning, Artificial Intelligence, Knowledge and Information Systems, IEEE-PAMI, etc. Web και IR Συνέδρια: SIGIR, WWW, CIKM, etc. Περιοδικά: WWW: Internet and Web Information Systems, Στατιστική Συνέδρια: Joint Stat. Meeting, etc. Περιοδικά: Annals of statistics, etc. Οπτικοποίηση Πρακτικά Συνεδρίων: CHI, ACM-SIGGraph, etc. Περιοδικά: IEEE Trans. visualization and computer graphics, etc.

60 Σύνοψη Εξόρυξη Δεδομένων: Ανακαλύπτοντας ενδιαφέροντα μοτίβα και γνώση από μεγάλο όγκο δεδομένων Φυσική εξέλιξη της επιστήμης και της τεχνολογίας των πληροφοριών, με μεγάλη ζήτηση, με ευρείες εφαρμογές Η διαδικασία KDD περιλαμβάνει τον καθαρισμό δεδομένων, την ενσωμάτωση δεδομένων, την επιλογή δεδομένων, τον μετασχηματισμό, την εξόρυξη δεδομένων, την αξιολόγηση προτύπων και την παρουσίαση της γνώσης Η εξόρυξη μπορεί να πραγματοποιηθεί σε μια ποικιλία δεδομένων Λειτουργίες εξόρυξης δεδομένων: χαρακτηρισμός, διάκριση, συνάφεια, κατηγοριοποίηση, ομαδοποίηση, ανάλυση τάσεων και ακραίων τιμών κ.λπ. Τεχνολογίες εξόρυξης δεδομένων και εφαρμογές Σημαντικά ζητήματα στην εξόρυξη δεδομένων