Άμεση Αναλυτική Επεξεργασία (OLAP)

Transcript

1 1 Άμεση Αναλυτική Επεξεργασία (OLAP)

2 2 Περιεχόμενα Εφαρμογές στις Αποθήκες Δεδομένων Άμεση Αναλυτική Επεξεργασία (OLAP) Γεγονότα και Διαστάσεις Κύβοι και Ιεραρχίες διαστάσεων Πράξεις OLAP Αρχιτεκτονικές OLAP

3 3 Αποθήκη Δεδομένων: Αρχιτεκτονική Πολλαπλών Επιπέδων

4 4 Εφαρμογές Αποθήκης Δεδομένων Επεξεργασία πληροφορίας αναζήτηση, βασική στατιστική ανάλυση και δημιουργία αναφορών με χρήση πινάκων και διαγραμμάτων Αναλυτική επεξεργασία πολυδιάστατη ανάλυση δεδομένων λειτουργίες OLAP, slice-dice, drilling, pivoting Εξόρυξη δεδομένων ανακάλυψη γνώσης από κρυμμένα μοτίβα ανάλυση συνάφειας, δημιουργία αναλυτικών μοντέλων, κατηγοριοποίηση και πρόβλεψη, οπτικοποίηση αποτελεσμάτων

5 5 Άμεση Αναλυτική Επεξεργασία (OLAP) Άμεση Αναλυτική Επεξεργασία (Online Analytical Processing - OLAP) Ανάλυση βασισμένη σε ένα κύβο OLAP Κύβος OLAP (OLAP Cube) Πολυδιάστατη όψη των αθροιστικών δεδομένων που βρίσκονται σε μια Αποθήκη Δεδομένων και αντιστοιχούν σε ένα θεματικό υποσύνολο. Χρησιμότητα Εκτέλεση πολύπλοκων ερωτημάτων επιχειρηματικής λογικής Ανάλυση δεδομένων σε πολλαπλές διαστάσεις.

6 6 Γεγονότα Γεγονότα - Μετρήσεις (Facts Measures) Αυτό που προσπαθούμε να μετρήσουμε Συνήθως αριθμητικά, και συναθροισμένα (sum, count, ή avg) Προσθετικά: Συνοψίζονται σε όλες τις διαστάσεις Ημι-προσθετικά: Συνοψίζονται σε ορισμένες διαστάσεις Μη-προσθετικά

7 Διαστάσεις Διαστάσεις (Dimensions) Για την κατανομή ή το διαχωρισμό των αριθμητικών στοιχείων Χιλιάδες εγγραφές με πολλά περιγραφικά χαρακτηριστικά (πεδία) Μη-κανονικοποιημένα δεδομένα Ιεραρχία (Hierarchy) Λογική δομή με ταξινομημένα επίπεδα (levels) για την οργάνωση των δεδομένων Συνάθροιση δεδομένων. Π.χ., στη διάσταση του χρόνου, μια ιεραρχία μπορεί να χρησιμοποιηθεί για να συναθροίσει δεδομένα από το επίπεδο του Μήνα στο επίπεδο του Τετραμήνου και από εκεί στο επίπεδο του Έτους Διαδρομή εμβάθυνσης Επίπεδο (Level) Μια θέση στην ιεραρχία. Π.χ., στη διάσταση του χρόνου ο Μήνας, το Τετράμηνο και το Έτος 7

8 8 Πίνακας Γεγονότων Πίνακας Γεγονότων (Fact Table) Πίνακας σε ένα σχήμα Αστέρα με μετρικές και αναφορές σε διαστάσεις Περιλαμβάνει δύο ειδών πεδία: πεδία με μετρικές και πεδία τα οποία είναι ξένα κλειδιά σε πίνακες διαστάσεων Το πρωτεύον κλειδί είναι ένα σύνθετο κλειδί το οποίο συντίθεται από όλα τα ξένα κλειδιά Περιλαμβάνει γεγονότα στο χαμηλότερο επίπεδο ή συναθροισμένα γεγονότα (συνοπτικός πίνακας) Δεδομένα στο ίδιο επίπεδο συνάθροισης Περιλαμβάνει εκατομμύρια εγγραφές με αριθμητικά πεδία

9 Βήματα Σχεδιασμού Σχήματος Αστέρα Προσδιορισμός της επιχειρηματικής διαδικασίας που θα αναλυθεί (π.χ. πωλήσεις). Προσδιορισμός των μετρικών ή γεγονότων (ύψος πωλήσεων σε ευρώ). Προσδιορισμός των διαστάσεων για τις μετρικές (προϊόν, τοποθεσία, χρόνος). Καταγραφή των πεδίων που περιγράφουν κάθε διάσταση (όνομα περιοχής, ονομασία καταστήματος). Καθορισμός του χαμηλότερου επιπέδου συνάθροισης των δεδομένων στον πίνακα γεγονότων. 9

10 Σημαντικά χαρακτηριστικά Αστέρα και Χιονονιφάδας Σχήμα Αστέρα Κάθε διάσταση έχει ένα πρωτεύον κλειδί. Ένας πίνακας διαστάσεων δεν έχει πατρικό πίνακα. Οι ιεραρχίες για τις διαστάσεις αποθηκεύονται στον πίνακα διαστάσεων. Σχήμα Χιονονιφάδας Ένας πίνακας διαστάσεων μπορεί να έχει ένα ή περισσότερους πατρικούς πίνακες. Οι ιεραρχίες αποθηκεύονται σε ξεχωριστούς πίνακες. 10

11 11 Ιεραρχίες επιπέδων για OLAP Μια διάσταση μοντελοποιεί όλους τους τρόπους με τους οποίους τα δεδομένα μπορούν να συναθροιστούν σε σχέση με μια συγκεκριμένη παράμετρο του περιεχομένου τους. Ημερομηνία, Προϊόν, Τοποθεσία, Πωλητής, Κάθε διάσταση έχει μια ιεραρχία επιπέδων συνάθροισης των δεδομένων (hierarchy of levels). (πολλά επίπεδα αδρομέρειας) Ημερομηνία: μέρα, εβδομάδα, μήνας, χρόνος, Ο χρήστης μπορεί να πλοηγηθεί από το ένα επίπεδο στο άλλο, δημιουργώντας νέους κύβους κάθε φορά M o n th Y e a r D a y W e e k

12 12 Product Κύβοι και Ιεραρχίες Διαστάσεων Sales volume Διαστάσεις: Product, Region, Date Ιεραρχίες διαστάσεων: Industry Country Year Category Region Quarter Month Product City Month Week Store Day

13 13 Country Παράδειγμα Κύβου TV PC VCR sum Date 1Qtr 2Qtr 3Qtr 4Qtr sum Συνολικές Ετήσιες Πωλήσεις TV σε U.S.A. U.S.A Canada Mexico sum

14 14 Παράδειγμα Κύβου Ήπειρος Κρήτη Αττική Χωρική Διάσταση Α Β Γ 2016 Διάσταση Προϊόντος Πωλήσεις Προϊόντα Α Β Γ Σύνολο 2014 Αττικη Ηπειρος Κρήτη Σύνολο Αττικη Ηπειρος Κρητη Σύνολο Αττικη Ηπειρος Κρητη Σύνολο Σύνολο

15 Κύβος Δεδομένων: Ένα πλέγμα των κυβοειδών all time item location supplier 0-D (κορυφή) κυβοειδές 1-D κυβοειδή time,item time,location item,location location,supplier time,supplier item,supplier 2-D κυβοειδή time,location,supplier time,item,location time,item,supplier item,location,supplier 3-D κυβοειδή 4-D (βάση) κυβοειδές time, item, location, supplier 15 15

16 16 Κυβοειδή που αντιστοιχούν στον Κύβο all product date country product,date product,country date, country 0-D (κορυφή) κυβοειδές 1-D κυβοειδή 2-D κυβοειδή product, date, country 3-D (βάση) κυβοειδές

17 Μορφές Επεξεργασίας Κύβων Δεδομένων Συναθροίσεις (συνολικές πωλήσεις, ποσοστά επί του συνόλου) Συγκρίσεις (προϋπολογισμός vs. δαπάνες) Ταξινόμηση - Κατάταξη (τα πρώτα 10) Πρόσβαση σε πιο αναλυτική πληροφορία Οπτικοποίηση με διαφορετικούς τρόπους Επεξεργασία OLAP Πλοήγηση Περιήγηση Στατιστική ανάλυση Χρονολογικές σειρές Σύνθετη μοντελοποίηση 18

18 19 Πράξεις OLAP Συναθροιστική Άνοδος ή Προς τα πάνω συσσώρευση (Roll-up) Συσσώρευση (Roll-up): Σύνοψη των δεδομένων κατά μήκος μιας διάστασης ή με μείωση των διαστάσεων Αναλυτική Κάθοδος ή Διαδρομή προς τα κάτω (Drill-down) - Εμβάθυνση Drill Down/Up: Πλοήγηση από τα πιο συνοπτικά (πάνω) έως τα πιο λεπτομερή (κάτω) επίπεδα ή εισαγωγή νέων διαστάσεων Οριζόντιος Τεμαχισμός (Slice) Slicing: ορισμός μίας σταθερής διάστασης (Slicer) για να εμφανίστεί ένας δισδιάστατος πίνακας Slice: υποσύνολο των διαστάσεων Κάθετος Τεμαχισμός (Dice) Dicing: δημιουργία νέου κύβου Περιστροφή (pivoting) Αναπροσανατολισμός του κύβου

19 Πράξεις OLAP Συναθροιστική Άνοδος ή Προς τα πάνω συσσώρευση (Roll-up) Πράξη με την οποία εκτελούμε ένα βήμα ανόδου στην ιεραρχία μιας διάστασης. Συνάθροιση της πληροφορίας = μετάβαση από χαμηλότερο σε υψηλότερο επίπεδο αδρομέρειας (π.χ. από day σε month) Αναλυτική Κάθοδος ή Διαδρομή προς τα κάτω (Drill-down) Η αντίστροφη πράξη του roll-up, όπου πάμε από ένα υψηλότερο επίπεδο ιεραρχίας μιας διάστασης σε ένα χαμηλότερο. 20

20 21 Πλοήγηση σε ιεραρχία διαστάσεων Ο κύβος αποτελείται από τρεις διαστάσεις: Χρώμα, Μοντέλο και Γεωγραφία. Η διάσταση Γεωγραφία έχει τρία επίπεδα: κατάστημα, περιοχή και περιφέρεια. Μία πράξη roll-up στη διάσταση Γεωγραφία μας δίνει ένα νέο κύβο που περιέχει αθροιστικές πωλήσεις προϊόντων ανά περιοχή, χρώμα και μοντέλο. Μία πράξη drill-down στη διάσταση Γεωγραφία, από το επίπεδο περιφέρειας, στον τελευταίο κύβο, στο επίπεδο καταστήματος, μας δίνει τον αρχικό κύβο

21 Οριζόντιος Τεμαχισμός (Slice) Slice ενός πολυδιάστατου διανύσματος είναι μια στήλη δεδομένων η οποία αντιστοιχεί σε μια μοναδική τιμή μιας διάστασης. Η αντίστοιχη πράξη ονομάζεται Slicing. Επιτρέπει την εξαγωγή και οπτικοποίηση πληροφορίας για μια συγκεκριμένη τιμή μιας διάστασης. Ένα ειδικό φίλτρο απομόνωσης μιας συγκεκριμένης τιμής μιας διάστασης. 22

22 23 Οριζόντιος Τεμαχισμός (Slicing)

23 24 Οριζόντιος Τεμαχισμός (Slicing)

24 25 Κάθετος Τεμαχισμός (Dice) Επιλογή ενός υποσυνόλου από όλες τις διαστάσεις για συγκεκριμένες τιμές των διαστάσεων (zoom). Δίνει πιο λεπτομερή πληροφόρηση σε μια πιο μικρή κλίμακα δεδομένων. Ενσωματώνει την πράξη της Διαδρομής προς τα κάτω (drilling).

25 26 Κάθετος Τεμαχισμός (Dice)

26 27 Περιστροφή (Pivoting) Περιστροφή (Pivoting) Πράξη αλλαγής της διάταξης των διαστάσεων ώστε να διευκολυνθεί η ανάλυση. Δεν μεταβάλλονται ούτε μειώνονται τα δεδομένα του υπερκύβου. Αλλάζει ο τρόπος παρουσίασής τους στην εφαρμογή της ανάλυσης.

27 28 Περιστροφή (Pivoting)

28 Αρχιτεκτονικές Εξυπηρετητών OLAP 29 Σχεσιακό OLAP (ROLAP) Χρήση σχεσιακού ή εκτεταμένου σχεσιακού ΣΔΒΔ για την αποθήκευση και διαχείριση των δεδομένων αποθήκης και την υλοποίηση του OLAP Βελτιστοποίηση του ΣΔΒΔ, υλοποίηση λογικής πλοήγησης με βάση τις συναθροίσεις και πρόσθετα εργαλεία και υπηρεσίες Μεγαλύτερη επεκτασιμότητα Πολυδιάστατο OLAP (MOLAP) Μηχανή πολυδιάστατης αποθήκευσης διανυσμάτων αραιής διάταξης Γρήγορη ευρετηρίαση σε προ-υπολογισμένα αθροιστικά δεδομένα Υβριδικό OLAP (HOLAP) (π.χ., Microsoft SQLServer) Ευελιξία, π.χ., χαμηλό επίπεδο: σχεσιακό, ανώτερο επίπεδο: διανυσματικό Ειδικοί διακομιστές SQL (π.χ., Redbricks) Εξειδικευμένη υποστήριξη ερωτημάτων SQL σε σχήματα αστέρα ή χιονονιφάδας

29 Σχεσιακά συστήματα OLAP (ROLAP) Χρήση ενός RDBMS ως μέσου αποθήκευσης και επερώτησης Επιπλέον λειτουργικότητα των client εργαλείων Δυνατότητα επαναχρησιμοποίησης συναθροίσεων Χρήση εντολών SQL Βελτιστοποίηση των ερωτήσεων ανά RDBMS Δυνατότητα υποβολής οποιασδήποτε ερώτησης Εύκολη χρήση από τους διαχειριστές που γνωρίζουν τη σχεσιακή τεχνολογία Αργά ως συστήματα 30

30 Βελτίωση Απόδοσης Συστημάτων ROLAP Εξειδικευμένες τεχνικές δεικτοδότησης (indexing) Εξειδικευμένες τεχνικές συνένωσης (join) Διαμοίραση των δεδομένων (data partitioning) και χρήση παράλληλων τεχνικών Εξειδικευμένες τεχνικές αποθήκευσης και επεξεργασίας ερωτήσεων για συναθροίσεις δεδομένων (aggregates) Επεκτάσεις της SQL και της επεξεργασίας των σχετικών ερωτήσεων 31

31 32 Συναθροίσεις Δεδομένων - Aggregations Εκτός από τις λεπτομερείς πληροφορίες των fact tables, μπορεί να υπολογίσουμε και συναθροίσεις των δεδομένων για καλύτερους χρόνους απόκρισης. Για παράδειγμα, αν ο fact table είναι SALES(GeographyCode, ProductCode, TimeCode, AccountCode, Amount, Unit) μπορούμε να υπολογίσουμε AVG(Sales) ανά Region, Product, Quarter MAX(Sales) ανά Brand, Month, με Region = Europe SUM(Sales) ανά City 32

32 Συναθροίσεις Δεδομένων 33 Χωριστός πίνακας/όψη αθροισμάτων Sales table RID City Amount 1 Athens $100 2 N.Y. $300 3 Rome $120 4 Athens $250 5 Rome $180 6 Rome $65 7 N.Y. $450 City-dimension sum table City Amount Athens $350 N.Y. $750 Rome $365 Επέκταση του υπάρχοντος βασικού πίνακα Extended Sales table RID City Amount Level 1 Athens $100 NULL 2 N.Y. $300 NULL 3 Rome $120 NULL 4 Athens $250 NULL 5 Rome $180 NULL 6 Rome $65 NULL 7 N.Y. $450 NULL 8 Athens $350 City 9 N.Y. $750 City 10 Rome $365 City

33 34 Αποτελεσματικός Υπολογισμός Κύβου Δεδομένων Ο κύβος δεδομένων μπορεί να θεωρηθεί ως ένα πλέγμα των κυβοειδών Το πιο κάτω κυβοειδές είναι ο βασικός κυβόλιθος Το άνω κυβοειδές (κορυφή) περιέχει μόνο ένα κελί Πόσα κυβοειδή σε ένα n-διαστάσεων κύβο με L επίπεδα; Υλοποίηση κύβων δεδομένων Πλήρης υλοποίηση: Υλοποίηση κάθε κυβοειδούς Καμία υλοποίηση: Υλοποίηση κανενός κυβοειδούς Μερική υλοποίηση: Υλοποίηση μερικών κυβοειδών T = n ( L i + 1) i = 1 Industry Region Year Category Country Quarter Ποια κυβοειδή να υλοποιηθούν; Product City Month Week Επιλογή με βάση το μέγεθος, διαμοιρασμό, συχνότητα χρήσης κλπ. Office Day

34 35 MOLAP: Πολυδιάστατα συστήματα OLAP Η αποθήκευση γίνεται σε πολυδιάστατους πίνακες (multi-dimensional arrays) «πίνακες» με την έννοια των γλωσσών προγραμματισμού και όχι του σχεσιακού μοντέλου Χρήση τεχνικών συμπιέσεως (οι πίνακες είναι αραιοί σε βαθμό ως και 80%) Στις αρχές του 2002 είχαν το 98% της αγοράς στο πεδίο των client tools + Πολύ γρήγοροι υπολογισμοί των λειτουργιών OLAP - Απαιτούν τον προϋπολογισμό των απαραίτητων συναθροίσεων

35 Παράδειγμα για την Ελληνική Γεωργία Πηγή δεδομένων ELSTAT Διαστάσεις Διοικητικός διαχωρισμός (Administrative) (περιφέρεια, νομός) Προϊόν (Product) (κατηγορία, τύπος) Μέγεθος (Size) Χρόνος (Time (year)) Γεγονότα - Μετρήσεις Πλήθος Εκμεταλλεύσεων (Number of holdings) Καλλιεργήσιμη έκταση (Cultivation area) HAICTA 2015, September 17-20, 2015, Kavala, Greece 36

36 37 Μορφή αρχικών δεδομένων HAICTA 2015, September 17-20, 2015, Kavala, Greece

37 38 Ενδιάμεση μορφή δεδομένων HAICTA 2015, September 17-20, 2015, Kavala, Greece

38 39 Παράδειγμα 1 για τον κύβο OLAP HAICTA 2015, September 17-20, 2015, Kavala, Greece

39 40 Παράδειγμα 2 για τον κύβο OLAP HAICTA 2015, September 17-20, 2015, Kavala, Greece

40 43 Σύνοψη Κύβος δεδομένων: Πολυδιάστατο μοντέλο Ένας κύβος δεδομένων αποτελείται από διαστάσεις και μετρικές Απεικόνιση σε σχήμα αστέρα ή χιονονιφάδας Λειτουργίες OLAP Συνάθροιση (rolling), Εμβάθυνση (drilling) Κάθετος και οριζόντιος τεμαχισμός (dicing, slicing Περιστροφή (pivoting) Υλοποίηση: Αποτελεσματικός υπολογισμός κύβων δεδομένων Μερική, πλήρης ή καθόλου υλοποίηση (materialization) Επεξεργασία ερωτημάτων OLAP Διακομιστές OLAP: ROLAP, MOLAP, HOLAP