Εξαγωγή Μετασχηματισμός Εισαγωγή Δεδομένων στην Αποθήκη Πληροφοριών (ETL) ETL) Αριστομένης Μακρής

Transcript

1 Εξαγωγή Μετασχηματισμός Εισαγωγή Δεδομένων στην Αποθήκη Πληροφοριών (ETL) ETL)

2 Τεχνολογίες Υποστήριξης Λήψης Διοικητικών Αποφάσεων OLTP (On Line Transaction Processing) Επιχειρηματικές Εφαρμογές (Σχεσιακές Βάσεις) ETL (Extract Transform Load) Data Warehouse (Σχεσιακά και Πολυδιάστατα δεδομένα) Επιχειρησιακές Αναφορές (Enterprise Reporting) OLAP (On Line Analytical Processing) Πολυδιάστατη Ανάλυση Data Mining Εξόρυξη Δεδομένων GIS (Geographical Information Systems) Γεωγραφικά Πληροφοριακά Συστήματα

3 Η συνολική εικόνα Τοπικές Βάσεις Βάσεις Κεντρικών Συστημάτων Βάσεις Τρίτων Ποιοτική Αναβάθμιση δεδομένων Λογισμικό Επικοινωνιών DATA WAREHOUSE Σχεδιασμός Ενοποίηση Επιλογή Συγχρονισμός Συντονισμός Warehouse database Διαχείριση Αξιοποίηση Πληροφοριών End User Queries Multidimensional G.I.S. Data Mining

4 Επιχειρηματική ευφυΐα (Business Intelligence BI) Αποθήκη πληροφοριών (Data warehouse) Αποθήκη πληροφοριών υποστηρικτικών διοικητικών αποφάσεων Η ακεραιότητα των δεδομένων επιτυγχάνεται με επιχειρηματικούς κανόνες Εφαρμογή ενιαίας διαμόρφωσης πληροφοριών Πηγή πληροφοριών (Data mart) Αποθήκη για συγκεκριμένους καταναλωτές Εξειδικευμένη ανάλυση δεδομένων Ανάλυση δεδομένων (Reporting, OLAP, GIS, Data mining) Ανάλυση για τάσεις, προβλέψεις πωλήσεων, διαχείριση αποθεμάτων Εντοπίζει προβλήματα, αναπτύσσει την έρευνα, συλλέγει και αναλύει δεδομένα

5 Ποιότητα δεδομένων Προβλήματα υλοποίησης Data-Warehouse

6 Εργαλεία Επιχειρηματικής Ευφυΐας Τοπικές Βάσεις Βάσεις Κεντρικών Συστημάτων Βάσεις Τρίτων Ποιοτική Αναβάθμιση δεδομένων Λογισμικό Επικοινωνιών DATA WAREHOUSE Σχεδιασμός Ενοποίηση Επιλογή Συγχρονισμός Συντονισμός Warehouse database Διαχείριση Αξιοποίηση Πληροφοριών End User Queries Multidimensional G.I.S. Data Mining

7 Αυτοδύναμη άντληση - Μετασχηματισμός Μετασχηματισμός τρόπου πρόσβασης

8 Αυτοδύναμη άντληση από χρήστες Αυτοδύναμη άντληση

9 Δυναμική εναλλαγή μορφής Νησιά Βραχυπρόθεσμοι Στόχοι Πωλήσεων Αναμενόμενες Πωλήσεις ημερών (Β Τριμήνου Εικόνα 1ης Μαρτίου) Πελάτες Αττικής Αξιολόγηση Δικτύου Διανομής Εγκαιρες Παραδόσεις (Από 01/01) Εκατομμύρια Πιθανότητα Υψηλή Μέση Χαμηλή 37% + 8% 12% Εγκαιρες Καθυστέρηση 1-2 ημερών Καθυστέρηση 2-7 ημερών Περισσότερες από 7 ημέρες ημέρες 60 ημέρες 90 ημέρες 43% Αποκλίσεις από Στόχους Αποκλίσεις από Στόχους % Κερδοφορία ανά Πελάτη & Προϊόν Ανάλυση Κερδοφορίας Πελάτη ΑΒ Κεντρική Ελλάδα 100% 75% Πωλήσεις S. Markets Μέσω Χονδροεμπόρων Κέρδη σε εκατομμύρια Κονσέρβες Κατεψυγμένα Τυποποιημένα Τρίμηνο Α Β Γ Δ % Ιαν. Φεβρ. Μαρτ. Απρ. Μαι. Ιουν. Σύνολο

10 Αρχεία δεδομένων

11 Χαρακτηριστικά αρχείων

12 Μεθοδολογίες οργάνωσης αρχείων Σειριακή προσπέλαση Άμεση προσπέλαση

13 Σχεσιακό μοντέλο

14 Σχεσιακή βάση δεδομένων Γλώσσα Ορισμού DDL (Data Data Definition Language) Κατάλογος (Data Dictionary) Συσχετισμός Δεδομένων ΛΟΓ ΙΣΜ ΙΚΟ Δεδομένα S Q L Καταναλωτής Δεδομένων Ε Φ Α Ρ Μ Ο Γ Η

15 Από τα δεδομένα στη γνώση Επιχειρηματική Γνώση Επιχειρηματικοί Κανόνες Μετα- Δεδομένα Δομή Βάσης Δεδομένων Συγκεντρωτικά Δεδομένα (Λειτουργικά ή Επιχειρησιακά) Επιχειρησιακά ή Λειτουργικά Δεδομένα Τι μάθαμε από τα δεδομένα Λογική δομή δεδομένων και συσχετισμοί με φυσική δομή και πηγές Φυσική δομή δεδομένων, πίνακες, πεδία, κλειδιά Ομαδοποιήσεις κατά ποιος, τι, πότε, πού Ποιος, τι, πότε, πού Όγκος δεδομένων

16 Αρχές παραμετροποίησης

17 Προβλήματα έλλειψης παραμετροποίησης 1. Δεν μπορεί να υπάρξει μια περιοχή αν δεν καταχωρηθεί ο πρώτος πελάτης 2. Η καταχώρηση της περιγραφής μέσα στο αρχείο πελατών (αντί κάποιου μοναδικού κωδικού) μπορεί να οδηγήσει σε ορθογραφικά λάθη με αποτέλεσμα να μην εμφανίζονται κάποιοι πελάτες που ανήκουν στην περιοχή 3. Η διαγραφή του τελευταίου πελάτη που ανήκει σε μια περιοχή έχει σαν αποτέλεσμα να εξαφανιστεί και η περιοχή 4. Διορθώσεις σε κάποια τιμή (π.χ. το όνομα του πωλητή μιας ομάδας πελατών) σημαίνει αλλαγή του συνόλου των πελατών

18 Πίνακες αναφοράς Ορίζονται κατηγορίες ομοειδών πεδίων. Π.χ. χώρα, περιοχή, πόλη κ.λ.π. ήοίκος, ομάδα, κατηγορία προϊόντων κ.λ.π. Ορίζονται οι σχέσεις (relations) μεταξύ των κατηγοριών πεδίων. Π.χ. η Αθήνα βρίσκεται στην Αττική. Δημιουργούνται οι πίνακες αναφοράς με τις πιο πάνω δομές και κωδικοποιούνται οι κατηγορίες πεδίων, ώστε να μπορούν να συσχετισθούν μεταξύ τους. Οι πίνακες αναφοράς συμπληρώνονται με τιμές. Π.χ. στον πίνακα με το πεδίο πόλη καταχωρούνται οι πόλεις Αθήνα, Θεσσαλονίκη, Βόλος κ.λ.π. Οι αναφορές στους πίνακες αναφοράς είναι τα συμβάντα (occurrences). Π.χ. καταχωρούνται πελάτες στον πίνακα πελατών με πόλη την Αθήνα. Αντί για καταχώρηση της λέξης Αθήνα, υπάρχει μια αναφορά στον πίνακα με θέμα πόλη.

19 Συσχετίσεις πινάκων Κωδικός χώρας Περιγραφή χώρας Κωδικός περιοχής Περιγραφή περιοχής Κωδικός χώρας Κωδικός πελάτη Επωνυμία πελάτη Κωδικός πόλης Λοιπά στοιχεία.. Κωδικός πόλης Περιγραφή πόλης Κωδικός περιοχής

20 Εργαστήριο ETL

21 Από τα πρωτογενή δεδομένα

22 Στη Σχεσιακή Βάση Δεδομένων