Data Cube. Μ.Χατζόπουλος 1

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Data Cube. Μ.Χατζόπουλος 1"

Παίων Χριστιανός Ρέντης
7 χρόνια πριν
Προβολές:

1 Data Cube Μ.Χατζόπουλος Μ.Χατζόπουλος 1

2 Ανάλυση εδοµένων Εξαγωγή συναθροιστικών δεδοµένων από µια βάση δεδοµένων Οπτικοποίηση των αποτελεσµάτων Μπορούνοιπαραδοσιακέςεπίπεδεςβάσειςδεδοµένων; Οι σχεσιακές βάσεις δεδοµένων µοντελοποιούν τα Ν- διάσταστα δεδοµένα σαν µια σχέση µε Ν γνωρίσµατα. Μ.Χατζόπουλος 2

3 ΚΑΙΡΟΣ Ωρα Γεωγραφ_Πλ Γεωγραφ_Μηκος Υψοµετρο Θερµ Πιεση select avg(θερµ) from ΚΑΙΡΟΣ select count(distinct Ωρα) from ΚΑΙΡΟΣ Μ.Χατζόπουλος 3

4 Πολλά SQL συστήµατα έχουν προσθέσει συναρτήσεις Στατιστικές (ενδιάµεσος, τυπική απόκλιση) Φυσικής (κέντρο βάρους..) Οικονοµική ανάλυση Μερικά συστήµατα επιτρέπουν στο χρήστη να προσθέσει δικές του συναρτήσεις Μ.Χατζόπουλος 4

5 Select Ωρα, Υψοµετρο, avg(θερµ) From ΚΑΙΡΟΣ Group by Ωρα, Υψος Ο σχεσιακός τελεστής group by διαµερίζει ένα πίνακα σε οµάδες. Στη συνέχεια εφαρµόζεται η συναθροιστική συνάρτηση σε κάθε οµάδα. Η συναθροιστική συνάρτηση συνοψίζει κάποια στήλη και επιστρέφει µια τιµή για κάθε οµάδα. Το πρόβληµα µε την SQL είναι ότι δεν επιτρέπει συνάθροιση σε κατηγορίες που υπολογίζονται. Μ.Χατζόπουλος 5

6 Grouping Values Aggregate Values Partitioned Table Sum() Μ.Χατζόπουλος 6

7 Επεκτάσεις συναθροιστικών συναρτήσεων στο Red Brick Rank(expression) N_tile(expression, n) Ratio_To_Total(expression) Μ.Χατζόπουλος 7

8 Το Red Brick υποστηρίζει συνολικές συναθροίσεις σε ταξινοµηµένους πίνακες Cumulative(expression) Running_Sum(expression,n) Running_Average(expression,n) Μ.Χατζόπουλος 8

9 SELECT Percentile,MIN(Θερµ),MAX(Θερµ) FROM Καιρος GROUP BY N_tile(Θερµ,10) as Percentile HAVING Percentile = 5; Επιστρέφει την ελάχιστη και την µέγιστη θερµοκρασία για το 10% των µεσαίων θερµοκρασιών από όλες Μ.Χατζόπουλος 9

10 Προβλήµατα µε τον τυπικό τελεστή group by της SQL εν επιτρέπει συνάθροιση σε ιστογράµµατα (συνάθροιση πάνω από κατηγορίες που έχουν υπολογισθεί (σήµερα κάποια συστήµατα υποστηρίζουν) εν υποστηρίζει roll-up totals ή drill-down subtotals. εν υποστηρίζει pivot Μ.Χατζόπουλος 10

11 Συνάθροιση σε ιστογράµµατα select day, nation, MAX(Θερµ) from Καιρος GROUP BY Day(Time) AS day Country(Γεωγραφ_Πλ, Γεωγραφ_Μηκ) as nation Μ.Χατζόπουλος 11

12 Συνάθροιση σε ιστογράµµατα (συν). Η SQL 92 επιτρέπει SELECT day, nation, MAX(Θερµ) FROM ( SELECT Day(Time) AS day, Country(Γεωγραφ_Πλ, Γεωγραφ_Μηκ) AS nation, Θερµ FROM Weather ) AS foo GROUP BY day, nation; Μ.Χατζόπουλος 12

13 Μη υποστήριξη roll-up και drill-down Πωλήσεις Make Year Color Sales by Model by Year by Color Sales by Model by Year Sales by Model Chevy 1994 black black O πίνακας αυτός δεν είναι σχεσιακός Μ.Χατζόπουλος 13

14 Model Chevy Chevy Chevy Chevy Chevy Chevy Chevy Πιο Σχεσιακός Year Color 1994 black black Units Έχει προστεθεί η τιµή Μ.Χατζόπουλος 14

15 SELECT Model,,, SUM(Sales) FROM Sales WHERE Model = 'Chevy' GROUP BY Model UNION SELECT Model, Year,, SUM(Sales) FROM Sales WHERE Model = 'Chevy' GROUP BY Model, Year UNION SELECT Model, Year, Color, SUM(Sales) FROM Sales WHERE Model = 'Chevy' GROUP BY Model, Year, Color; Η συνάθροιση σε Ν διαστάσεις απαιτεί Ν τέτοιες ενώσεις Μ.Χατζόπουλος 15

16 Model Year Chevy Chevy Color black Units UNION SELECT Model,, Color, SUM(Sales) FROM Sales WHERE Model = 'Chevy' GROUP BY Model, Color; Μ.Χατζόπουλος 16

17 Cross Tab Chevy Sales Cross Tab Chevy total () black total () Υπάρχει πιο σοβαρό πρόβληµα γιατί το αποτέλεσµα δεν είναι σχέση η τελευταία γραµµή και στήλη δεν είναι συνήθεις black total () Sales Cross Tab 1994 Μ.Χατζόπουλος total ()

18 Ο τελεστής CUBE Η γενίκευση είναι προφανής σε πολλές διαστάσεις Ο παραδοσιακός τελεστής GROUP BY µπορεί να δηµιουργήσει το Ν διάστατο κύβο. Οιχαµηλότερεςδιαστάσειςσυναθροίζουνσεσηµεία, γραµµές, επίπεδακλπ. Ο τελεστής κτίζει ένα πίνακα που περιέχει όλες τις τιµές συνάθροισης Η συνολική συνάθροιση παριστάνεται µε την Μ.Χατζόπουλος 18

19 Aggregate Sum RED WHITE BLUE Group By (with total) By Color Sum RED WHITE BLUE Cross Tab Chevy By Color By Make Sum By Make & Year By Year FORD CHEVY By Color & Year The Data Cube and The Sub-Space Aggregates Sum By Color 1993 By Make RED WHITE BLUE By Make & Color Μ.Χατζόπουλος 19

20 Επέκταση του τελεστή group by για να καλύψει ιστογράµµατα GROUP BY { ( <column name> <expression>) [ AS <correlation name> ] [ <collate clause> ],...} Μ.Χατζόπουλος 20

21 Επεκτάσεις όσο αφορά την εµφάνιση του αποτελέσµατος SELECT department.name, sum(sales) FROM sales JOIN department USING (department_number) GROUP BY sales.department_number; εν υποστηρίζεται από το πρότυπο της SQL Μ.Χατζόπουλος 21

22 Πρόταση επέκτασης (Jim Gray) GROUP BY CUBE ( { ( <column name> <expression>) [ AS <correlation name> ] [ <collate clause> ],...} [WITH ( CUBE ROLLUP ) ] ) Μ.Χατζόπουλος 22

23 SELECT Model, Year, Color, SUM(sales) AS Sales FROM Sales WHERE Model in {'', 'Chevy'} AND Year BETWEEN 1990 AND 1992 GROUP BY CUBE(Model, Year, Color); SALES Model Year Color Sales Chevy 1990 red 5 Chevy Chevy 1990 blue 62 Chevy 1991 red 54 Chevy Chevy 1991 blue 49 Chevy 1992 red 31 Chevy Chevy 1992 blue red blue red blue red blue 39 CUBE DATA CUBE Model Year Color Sales Chevy 1990 blue 62 Chevy 1990 red 5 Chevy Chevy Chevy 1991 blue 49 Chevy 1991 red 54 Chevy Chevy Chevy 1992 blue 71 Chevy 1992 red 31 Chevy Chevy Chevy blue 182 Chevy red 90 Chevy 236 Chevy blue red blue red blue red blue 157 red blue red blue red blue red blue 339 red Μ.Χατζόπουλος Π Α Ρ Α Ε Ι Γ Μ Α

24 SELECT day, nation, MAX(Θερµ) FROM Καιρος GROUP BY ( Day(Time) AS day, Country(Γεωγραφ_Πλ, Γεωγραφ_Μηκ) AS nation WITH CUBE); Μ.Χατζόπουλος 24

25 Η σηµασιολογία του τελεστή CUBE είναι ότι πρώτα συναθροίζεισεόλαταγνωρίσµατατηςλίσταςτης select (όπως και στο παραδοσιακό GROUP BY). Στη συνέχεια ενώνει σε κάθε υπερ-συνάθροιση του ολικού κύβου αντικαθιστώντας µε το στις στήλες συνάθροισης. Αν υπάρχουν Ν γνωρίσµατα στη λίστα select τότε υπάρχουν 2 Ν -1 τιµέςυπερ-συνάθροισης. Ανοιαντίστοιχες πληθυκότητεςείναι C 1, C 2, C Ν τότεηπηθυκότητατου κύβουπουπροκύπτειείναιπ(c i +1) (ηεπιπλέονγιατην ). Μ.Χατζόπουλος 25

26 Μ.Χατζόπουλος 26 ΠΩΛΗΣΕΙΣ blue 80 red 30 blue red 20 blue red 30 blue red Πωλησεις Color Year Make

27 Ο τελεστής CUBE αποτελεί γενίκευση των απλών συναθροιστικών συναρτήσεων στις N διαστάσεις. sum RED WHITE BLUE Group by (with total) By Color OPEL By color RED WHITE BLUE By make sum By year By make By color Μ.Χατζόπουλος 27

28 Μ.Χατζόπουλος 28 ΠΩΛΗΣΕΙΣ blue 80 red 30 blue red 20 blue red 30 blue red Πωλησεις Color Year Make blue red blue red blue red blue red blue red Πωλησεις Color Year Make CUBE

29 Μ.Χατζόπουλος 29 ΠΩΛΗΣΕΙΣ blue 80 red 30 blue red 20 blue red 30 blue red Πωλησεις Color Year Make blue red blue red blue red blue red Πωλησεις Color Year Make CUBE

30 Κάθε τιµή παριστάνει ένα σύνολο (το σύνολο στο οποίο εφαρµόσθηκε η συναθροιστική συνάρτηση. Η τιµή δηµιουργεί κάποια πολυπλοκότητα. Είναι κάτι σαν την τιµή NULL. Είναι µια νέα λέξη κλειδί Η δεν συµµετέχει σε καµιά συνάθροιση όπως και η NULL. Η ερµηνεία του συνόλου καθορίζει την σηµασία των τελεστών σύγκρισης. Η αντιµετώπιση κάθε τιµής σαν σύνολο από συναθροίσεις καθορίζει την τιµή της. Μ.Χατζόπουλος 30

31 Επεκτάσεις στη σύνταξη της SQL Επεκτάσεις που αφορούν οπτικοποίηση και σύνταξη αναφορών Επεκτάσεις ερωτήσεων Μ.Χατζόπουλος 31

32 SELECT Model,Year,Color,SUM(Sales), SUM(Sales)/ (SELECT SUM(Sales) FROM Sales WHERE Model IN {, Chevy } AND Year Between 1990 AND 1992 ) FROM Sales WHERE Model IN {, Chevy } AND Year Between 1990 AND 1992 GROUP BY CUBE (Model, Year, Color); Μ.Χατζόπουλος 32

33 SELECT Model, Year, Color SUM(Sales) AS total, SUM(Sales) / total(,,) FROM Sales WHERE Model IN {, Chevy } AND Year Between 1990 AND 1992 GROUP BY CUBE(Model, Year, Color); Μ.Χατζόπουλος 33

34 Υπολογισµός του δείκτη (index) µιας τιµής index(v i ) = v i / (Σ j v j ) SELECT v FROM cube WHERE row = :i AND column = :j ή cube.v(:i, :j) Μ.Χατζόπουλος 34

35 Πωςθαµπορούσεναυλοποιηθείόµωςοκύβος Φυσική Υλοποίηση του Κύβου Καµιά Υλοποίηση Μερική Υλοποίηση του Κύβου Μ.Χατζόπουλος 35

36 Γνωστό benchmark για datawarehouses είναι το TPC-D. (Parts αγοράζονται από Suppliers και πωλούνται σε Customers σε τιµή πώλησης SP. Το µέτρο που ενδιαφέρει είναι ολικές πωλήσεις sales. Part Supplier Customer Κάθε πλειάδα είναι της µορφής (p, s, c) εποµένως έχουµε 8 πιθανές οµαδοποιήσεις Μ.Χατζόπουλος 36

37 part supplier customer (6M rows) part customer (6M rows) part supplier (0.8M rows) supplier customer (6M rows) part (0.2M rows) supplier (0.01M rows) customer (0.1M rows) none (1) Μ.Χατζόπουλος 37

38 psc pc ps sc p s c none Μ.Χατζόπουλος 38

39 1.Πόσες όψεις πρέπει να υλοποιήσουµε για να έχουµε αποδεκτή απόδοση; 2. οθέντος του διαθέσιµου χώρου S, ποιες όψεις υλοποιούµε ώστε να ελαχιστοποιείται το µέσο κόστος επερώτησης; Μ.Χατζόπουλος 39

40 psc 6Μ pc 6Μ ps 0.8M sc 6M p 0.2M s 0.01M c 0.1M none 1 Μ.Χατζόπουλος 40

41 Χρησιµοποίηση Ευρετηρίων Κάθε επερώτηση χρησιµοποιεί κάποια γνωρίσµατα επιλογής και κάποια συνάθροισης. Για κάθε υποκύβο µπορεί να χρησιµοποιηθεί ένα ευρετήριο (για παράδειγµαβ-δένδρο) Μ.Χατζόπουλος 41

42 psc pc ps sc p s c none Μ.Χατζόπουλος 42

43 Επερωτήσεις γ ps σ γ p σ s γ s σ p γ σ ps psc pc ps sc p s c none Μ.Χατζόπουλος 43

44 Τα ευρετήρια Β-δένδρων µπορούν να βελτιώσουν σηµαντικά τον χρόνο απόκρισης. Μια όψη µπορεί να έχει πολλά ευρετήρια. Το πλήθος των ευρετηρίων µιας όψης µε m γνωρίσµατα είναι m r=0 m ( )r! r Σεένακύβοείναι 3n! Μ.Χατζόπουλος 44

Σχετικά έγγραφα

Άμεση Αναλυτική Επεξεργασία (OLAP)

Άμεση Αναλυτική Επεξεργασία (OLAP) Άμεση Αναλυτική Επεξεργασία (OLAP) Άμεση Αναλυτική Επεξεργασία (Online Analytical Processing - OLAP) Ανάλυση βασισμένη σε ένα κύβο OLAP Κύβος OLAP (OLAP Cube) Μια πολυδιάστατη