Συστήματα OLAP. Πασχάλης Θρήσκος, PhD Λάρισα

Transcript

1 Συστήματα OLAP Πασχάλης Θρήσκος, PhD Λάρισα

2 «Τα συστήματα άμεσης αναλυτικής επεξεργασίας (OLTP) χρησιμοποιούνται για να απαντηθούν ερωτήματα πάνω σε πολυδιάστατα δεδομένα πολύ γρήγορα» Wikipedia

3 Στην στατιστική, τα πολυδιάστατα δεδομένα έχουν δύο χαρακτηριστικά: Ιδιότητες Μετρήσεις Τα συστήματα OLAP παρέχουν εργαλεία για να βοηθήσουν τον χρήστη να αναλύσει τα δεδομένα Τα συστήματα OLAP είναι ΒΔ, με διαφορετική αρχιτεκτονική και οργάνωση

4 Παραδείγματα ερωτήσεων OLAP Ποιος ο συντελεστής συσχέτισης μεταξύ ζημιών του τελευταίου χρόνου και της αύξησης τιμών του σιδηρομεταλλεύματος τα 5 τελευταία χρόνια; Ποια ήταν τα δέκα πρώτα καταστήματα σε πωλήσεις πλυντηρίων AEG; Ποιό ήταν το σύνολο των πωλήσεων ανά περιοχή και κατηγορία προϊόντος το έτος 2015; Τι ποσοστό από τους πελάτες που μπύρες AMSTEL αγοράζουν και πάνες μωρών; 4

5 Τα Συστήματα OLAP επιτρέπουν Πρόσβαση σε μεγάλο όγκο δεδομένων > 1ΤΒ Συμμετοχή αθροιστικών και ιστορικών δεδομένων σε πολύπλοκες ερωτήσεις Μεταβολή της «οπτικής γωνίας» (perspective) παρουσίασης των δεδομένων (π.χ., από ζημιές ανά περιοχή -> ζημιές ανά τμήμα κλπ.) Δυνατότητα ενσωμάτωσης πολύπλοκων υπολογισμών (π.χ. μέσης τιμή, τυπικό σφάλμα, min,max) Πολύ γρήγορη απόκριση για τεθεί ένα ερώτημα Εξόρυξη γνώσεις με την ανακάλυψη προτύπων μέσα από ένα τεράστιο όγκο δεδομένων

6 Γιατί OLAP αντί για OLTP Η οργάνωση είναι συνήθως σε κανονικοποιημένη μορφή (3NF), το οποίο για επιχειρησιακά ερωτήματα είναι δυσνόητο σε εννοιολογικό επίπεδο (πχ πελάτης, λογαριασμός) Η ανάλυση των δεδομένων δεν είναι εύκολο να γίνει με τη χρήση της SQL, αν και έχουν αναπτυχθεί επεκτάσεις του συντακτικού που βοηθούν Η οργάνωση σε φυσικό (B-Trees) δεν ενδείκνυται όσο αφορά τους χρόνους απόκρισης σε επιχειρησιακά ερωτήματα

7 Κύβοι Οι άξονες ενός κύβου αναπαριστούν ιδιότητες ή χαρακτηριστικά εγγραφών Συνήθως είναι διακριτά δεδομένα, όπως κατηγορίες, λίστες τιμών πχ. χρώμα, μήνας, περιοχή Ονομάζονται διαστάσεις (dimensions) Τα κελία περιέχουν μετρήσεις πχ. σύνολο πωλήσεων, αριθμός αυτοκινήτων που πουλήθηκαν Ονομάζονται γεγονότα Συνήθως έχουν πολύ περισσότερες των 3 διαστάσεων

8 Κύβος πωλήσεων αυτοκινήτων Κύβος Πωλήσεων Αυτοκινήτων Κόκκινα Μπλε Γκρι Ιουλ Αυγ Σεπ Ήπειρος Θεσσαλία

9 Προϊόν Ιεραρχίες Διαστάσεων Εάν μια διάσταση παίρνει τιμές από διαφορετικά επίπεδα, τότε το μετρήσιμο μπορεί να εκφραστεί σε διαφορετικά επίπεδα λεπτομέρειας Διαστάσεις: Προϊόν, Περιοχή, Χρόνος Βιομηχανία Κατηγορία Προϊόν Ιεραρχίες διαστάσεων Χώρα Περιφέρεια Νομός Πόλη Κατάστημα Έτος Τετράμηνο Μήνας Εβδομάδα Ημέρα 9 Χρόνος Κύβος ΠΩΛΗΣΕΩΝ Μέτρηση: Αριθμός Πωλήσεων για τις συγκεκριμένες διαστάσεις (Περιοχή, Προϊόν, Χρόνος)

10 Συχνά ο n-d κύβος λέγεται βασικός κυβοειδής (base cuboid). Περιέχει τον μεγαλύτερο βαθμός λεπτομέρειας. π.χ. Για κύβο με τέσσερεις διαστάσεις (Προϊόν, Χρόνος, Κατάστημα, Τοποθεσία ) έχουμε 4-D βασικό κυβοειδή O 0-D κύβος περιέχει το μεγαλύτερο επίπεδο περίληψης (apex cuboid). Το πλέγμα όλων των κυβοειδών ονομάζεται κύβος δεδομένων.

11 Πλέγμα Κυβοειδών Κύβος δεδομένων Σύνολο 0-D (apex) cuboid Χρόνος Προϊόν Θέση Προμηθευτής 1-D cuboids Χρόνος, Προϊόν Χρόνος, Θέση Προϊόν, Θέση Θέση, Προμηθευτής Χρόνος, Προμηθευτής Προϊόν, Προμηθευτής 2-D cuboids Χρόνος, Προϊόν, Θέση Χρόνος, Θέση, Προϊόν Χρόνος, Προϊόν, Προμηθευτής Προϊόν, Θέση, Προμηθευτής 3-D cuboids 4-D (base) cuboid Χρόνος, Προϊόν, Θέση, Προμηθευτής

12 Πράξεις OLAP Συναθροιστική Άνοδος (Roll UP) Παράγεται κύβος μειωμένων διαστάσεων όταν : Επιλέγουμε ανώτερο επίπεδο ιεραρχίας Αφαιρούμε διαστάσεις Αναλυτική κάθοδος (Drill Down) Παράγεται κύβος με αυξημένο αριθμό διαστάσεων όταν : Επιλέγουμε κατώτερο επίπεδο ιεραρχίας Προσθέτουμε διαστάσεις Οριζόντιος τεμαχισμός (Slice) Παράγεται εκφυλισμένος κύβος (τετράγωνο) εφαρμόζοντας επιλογή σε μια μόνο διάσταση

13 Πράξεις OLAP Κάθετος τεμαχισμός (Dice) Παράγεται κύβος εφαρμόζοντας επιλογή σε μια περισσότερες από μία διαστάσεις Περιστροφή (Pivot) Παράγεται κύβος με άλλη διάταξη (περιστροφή) των διαστάσεων με αποτέλεσμα την αναδιάταξη του κύβου στην οθόνη

14 Πράξεις OLAP

15 Πράξη Συναθροιστικής ανόδου Roll-up Η συναθροιστική άνοδος περιλαμβάνει τον υπολογισμό μίας συνολικής τιμής για μία θέση στην ιεραρχία μίας διάστασης δεδομένων. Για παράδειγμα, με μια συναθροιστική άνοδος, οι πωλήσεις σε επίπεδο Καταστημάτων δίνουν τις συνολικές πωλήσεις σε επίπεδο Πόλης και αυτές με τη σειρά τους με μία ακόμα συναθροιστική άνοδο παράγουν τις πωλήσεις σε επίπεδο Νομού. Χώρα Έτος Περιφέρεια Βιομηχανία Τετράμηνο Νομός Κατηγορία Μήνας Πόλη Προϊόν Εβδομάδα Κατάστημα Ημέρα

16 Συναθροιστική Άνοδος Πλυντήρια που χάλασαν Μακεδονία Ήπειρος Θεσσαλία Σύνολο Ιουλ Αυγ Σεπ Σύνολο Άνοδος ανά Μήνα Πλυντήρια που χάλασαν Θεσσαλία Ήπειρος Μακεδονία Σύνολο

17 Πράξη Αναλυτική Κάθοδος (Drill-Down) Ο χρήστης περνά από ένα ανώτερο επίπεδο μίας διάστασης που έχει συγκεντρωτικά δεδομένα σε ένα χαμηλότερο επίπεδο με πιο λεπτομερή δεδομένα. Πρόκειται για την αντίστροφη πράξη της συναθροιστικής ανόδου. Για παράδειγμα, κατά την αναλυτική κάθοδο, ξεκινάμε από τις πωλήσεις ανά Νομό και παίρνουμε τις αναλυτικές πωλήσεις ανά Πόλη και μετά τις πωλήσεις ανά Κατάστημα. Έτος Χώρα Βιομηχανία Τετράμηνο Νομός Κατηγορία Μήνας Πόλη Προϊόν Εβδομάδα Κατάστημα Ημέρα

18 Αναλυτική Κάθοδος Πλυντήρια που χάλασαν Μακεδονία Ήπειρος Θεσσαλία Σύνολο Κάθοδος ανά χρώμα Πλυντήρια που χάλασαν Θεσσαλία Ήπειρος Μακεδονία Σύνολο Κόκκινο Μπλε Γκρι Σύνολο

19 Οριζόντιος Τεμαχισμός Κόκκινα Κόκκινα Μπλε Γρι Ήπειρος Μπλε Γκρι Ήπειρος Ιουλ Αυγ Σεπ Ιουλ Αυγ Σεπ

20 Κάθετος Τεμαχισμός Μπλε Ήπειρος Κόκκινα Ιουλ Αυγ Σεπ Μπλε Γρι Ήπειρος Ιουλ Αυγ Σεπ Μπλε Σύνολο Ιουλ Αυγ Σεπ

21 Πράξη Περιστροφής (Pivot) Εναλλαγή των γραμμών και των στηλών του κύβου, όπως αυτός παρουσιάζεται στην οθόνη Δεν απαιτείται κανένας νέος υπολογισμός ή συνάθροιση

22 Q2 Κατ 2 Q1 Κατ 1 Παράδειγμα Πράξης Pivot Σύνολο πωλήσεων Σύνολο πωλήσεων Προϊόντα Κατ 1 Κατ 2 Καταθέσεις Επενδύσεις Δάνεια Κάρτες Καταθέσεις Επενδύσεις Δάνεια Κάρτες 5,2 1,9 2,3 1,1 8,9 0,75 4,6 1,5 5,6 1,4 2,6 1,1 7,2 0,4 4,6 0,5 Εναλλαγή γραμμών και στηλών Προϊόντα Q1 Q2 Καταθέσεις Επενδύσεις Δάνεια Κάρτες Καταθέσεις Επενδύσεις Δάνεια Κάρτες 5,2 1,9 2,3 1,1 5,6 1,4 2,6 1,1 8,9 0,75 4,6 1,5 7,2 0,4 4,6 0,5

23 Προϊόν Περιφέρεια 23 Παράδειγμα Πράξης Περιστροφής Χυμός Γ Α Β 10 Αναψυκτικό Γάλα Σαμπουάν Οδοντόπαστα Σαπούνι Μήνας Προϊόν

24 Προϊόν 24 Παράδειγμα Πράξης Κάθετου Τεμαχισμού Χυμός Αναψυκτικό Γάλα Σαμπουάν Οδοντόπαστα Σαπούνι Γ Α Β Μήνας

25 Προϊόν 25 Παράδειγμα Πράξης Αναλυτικής Καθόδου W S N Χυμός Αναψυκτικό Γάλα Σαμπουάν Οδοντόπαστα Σαπούνι Μήνας

26 Προϊόν 26 Παράδειγμα Πράξης Αθροιστικής Ανόδου W S N Τρόφιμα 80 Είδη υγιεινής Μήνας

27 Ερωτήματα που κάνουμε σε κύβους Μετρήσιμα Για ποια γεγονότα θα πρέπει να κάνουμε αναφορές Φίλτρα Ποιός (ποιοί) οριζόντιος τεμαχισμός του κύβου πρέπει να γίνει; Ομαδοποιήσεις Ποιος κάθετος τεμαχισμός πρέπει να γίνει; Κάθε διάσταση είναι : ομαδοποίησης Συνάθροισης Ν διαστάσεις 2 Ν σύνολα ομαδοποίησης Συνάθροιση = προβολή σε ένα υποχώρο μικρότερων διαστάσεων από τον αρχικό (βλ. SQL SELECT)

28 Κύβοι με μερικά σύνολα Προ-υπολογισμένες συναθροίσεις Γρήγορες απαντήσεις σε ερωτήματα OLAP Σε μια ιδεατή κατάσταση, προ-υπολογίζουμε όλα τα 2 Ν μερικά σύνολα Συνήθως, υπολογίζουμε τις συναθροίσεις όταν τις χρειαζόμαστε Συναθροίσεις ψηλά στην ιεραρχία μιας διαστάσεις μπορούν να υπολογιστούν από χαμηλότερες ιεραρχικά συναθροίσεις Το αντίστροφο δεν μπορεί να συμβεί

29 Πλέγμα ενός κύβου Περιφέρεια Χρώμα Χρόνος Αναλυτική Κάθοδος Περιφέρεια Χρόνος Περιφέρεια, Χρώμα Χρόνος, Χρώμα Περιφέρεια Χρόνος Χρώμα Συναθροιστική Άνοδος Σύνολο

30 Χώρα Παράδειγμα Συναθροίσεων TV PC VCR Σύνολο Χρόνος 1Qtr 2Qtr 3Qtr 4Qtr Σύνολο Ετήσιος τζίρος πωλήσεων TV στην Ελλάδα. Ελλάδα Ισπανία Ιταλία Ετήσιος τζίρος πωλήσεων of TV in All countries Σύνολο πωλήσεων

31 Σύγκριση MOLAP με ROLAP MOLAP = Πολυδιάστατο OLAP Η αποθήκευση των κύβων γίνεται με την μορφή πολυδιάστατου πίνακα (βλ. γλώσσα C) (Συνήθως) προ-υπολογίζονται όλες οι συναθροίσεις για καλύτερη απόκριση στα ερωτήματα Πλεονεκτήματα : Πολύ αποδοτική από άποψη χώρου και χρόνου η απόκριση σε ερωτήματα Μειονεκτήματα: Η κλιμάκωση δε μεγάλες διαστάσει δεν είναι εύκολη Χρειάζεται ειδικού τύπου αποθηκευτικά μέσα σε επίπεδο λογισμικού και υλικού

32 Αραίωση (Sparsity) Έστω για παράδειγμα ένα DW μιας Τράπεζας. Υποθέτουμε ότι έχουμε τις διαστάσεις: Πελάτης, Τραπεζικός Λογαριασμός, Τραπεζικό Κατάστημα, Ιστορικό Εάν η τράπεζα έχει πελάτες, Τραπεζικούς Λογαριασμούς, Τραπεζικά Καταστήματα, and Ιστορικό για days ο κύβος έχει cells! Ευτυχώς, τα περισσότερα κελιά του κύβου είναι άδεια. Οι πολυδιάστατοι πίνακες δεν είναι ο καλύτερος τρόπος αποθήκευσης αραιών (sparse) δεδομένα.

33 Σύγκριση MOLAP με ROLAP ROLAP = Σχεσιακό OLAP Αποθήκευση των κύβων σε ΣΣΒΔ Η επερωτήσεις OLAP γίνονται με SQL Πλεονεκτήματα : Εύκολη κλιμάκωση σε πολλές διαστάσει Εύκολη κλιμάκωση σε μεγάλα σύνολα δεδομένων Sparsity is not a problem Χρησιμοποιεί γνωστή και ώριμη τεχνολογία Μειονεκτήματα : Η απόκριση των ερωτημάτων είναι αρκετά πιο αργή σε σχέση με ένα σύστημα MOLAP Χρειάζεται να κατασκευαστούν δείκτες στους πίνακες που χρησιμοποιούνται για τους κύβους

34 Διαπινάκωση (cross-tabulation) Είναι μια αναφορά με ομαδοποιημένα δεδομένα σε 2 διαστάσεις Γίνεται συνάθροιση ανά διάσταση Περιέχει μερικά σύνολα Ενέργειες που μπορούν να γίνουν Αριθμητική άνοδος (περεταίρω συνάθροιση) Αριθμητική κάθοδος (λιγότερη συνάθροιση)

35 Διαπινάκωση (cross-tabulation) Πλυντήρια που χάλασαν Θεσσαλία Ήπειρος Μακεδονία Σύνολο Κόκκινο Μπλε Γκρι Σύνολο

36 Δημιουργία διαπινάκωσης (crosstabulation) με SQL Χαρακτηριστικά Ομαδοποίησης Μετρήσεις SELECT Περιφέρεια, Μήνας, SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP BY Περιφέρεια, Μήνας WHERE Χρώμα = Κόκκινο' Φίλτρα

37 Σύνολα ; Η συνάθροιση με SQL χρησιμοποιώντας τη GROUP BY δεν υπολογίζει τα μερικά σύνολα και γενικά Η διαπινάκωση δεν είναι πλήρης. Number of Autos Sold Θεσσαλία Ήπειρος Μακεδονία Σύνολο Κόκκινο ; Μπλε ; Γκρι ; Σύνολο ; ; ; ; Περιφέρια Μήνας SUM Θεσσαλία Ιουλ 45 Θεσσαλία Αυγ 50 Θεσσαλία Sep 38 Ήπειρος Ιουλ 33 Ήπειρος Αυγ 36 Ήπειρος Sep 31 Μακεδονία Ιουλ 30 Μακεδονία Αυγ 42 Μακεδονία Σεπ 40

38 Λύση: χρήση του UNION ALL Αρχικό ερώτημα Μερικό σύνολο ανά Νομό Μερικό σύνολο ανά Μήνα Γενικό σύνολο SELECT Νομός, Μήνας, SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP Νομός, Μήνας WHERE Χρώμα= Κόκκινο UNION ALL SELECT Νομός, "ALL", SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP BY Νομός WHERE Χρώμα= Κόκκινο' UNION ALL SELECT "ALL", Μήνας, SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP BY Μήνας WHERE Χρώμα= Κόκκινο UNION ALL SELECT "ALL", "ALL", SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ WHERE WHERE Χρώμα= Κόκκινο'

39 Μια καλύτερη λύση Η λύση με το UNION ALL γίνεται αρκετά πολύπλοκη εάν έχουμε παραπάνω από 2 αθροιζόμενα χαρακτηριστικά Με Ν αθροιζόμενα χαρακτηριστικά 2 n διαφορετικά UNION ALL (βλ. θεωρία συνόλων) Οι επεκτάσεις OLAP που προστέθηκαν στο συντακτικό της SQL 99 είναι πιο κατάλληλες για τέτοια ερωτήματα Επεκτάσεις CUBE, ROLLUP SELECT Περιφέρια, Μήνας, SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP BY CUBE(Περιφέρεια, Μήνας) WHERE Χρώμα= Κόκκινο'

40 Αποτελέσματα του CUBE ερωτήματος Παρατηρήσετε την εμφάνιση τουnotice NULL Στα Μερικά σύνολα σε όλα τα επίπεδα Περιφέρεια Χρόνος SUM(Ποσότητα) Θεσσαλία Ιουλ 45 Θεσσαλία Αυγ 50 Θεσσαλία Σεπ 38 Θεσσαλία NULL 133 Ήπειρος Ιουλ 33 Ήπειρος Αυγ 36 Ήπειρος Σεπ 31 Ήπειρος NULL 100 Μακεδονία Ιουλ 30 Μακεδονία Αυγ 42 Μακεδονία Σεπ 40 Μακεδονία NULL 112 NULL Ιουλ 108 NULL Αυγ 128 NULL Σεπ 109 NULL NULL 345

41 ROLLUP vs. CUBE Ο κύβος υπολογίζει όλο το πλέγμα Η συναθροιστική άνοδος υπολογίζει μια μόνο διαδρομή μέσα από το πλέγμα Order of GROUP BY list matters Groups by all prefixes of the GROUP BY list GROUP BY ROLLUP(A,B,C) A,B,C (A,B) Μερικό σύνολο (A) Μερικό σύνολο Γενικό σύνολο GROUP BY CUBE(A,B,C) A,B,C Μερικά σύνολα για τα: (A,B), (A,C), (B,C), (A), (B), (C) Γενικό σύνολο

42 Παράδειγμα ROLLUP SELECT Χρώμα, Μήνα, Περιφέρεια, SUM(Ποσότητα) FROM ΠΩΛΗΣΕΙΣ GROUP BY ROLLUP(Χρώμα, Μήνα, Περιφέρεια) Περιφέρεια Χρόνος Περιφέρεια Χρώμα Χρόνος Περιφέρεια, Χρώμα Χρόνος, Χρώμα Περιφέρεια Χρόνος Χρώμα Σύνολο