Εαρινό Εξάμηνο

Transcript

1 ΙΙ Παράλληλες ΙΙ Τμήμα Μηχανικών Η/Υ και Πληροϕορικής Πολυτεχνική Σχολή, Πανεπιστήμιο Πατρών Εαρινό Εξάμηνο

2 Table of contents ΙΙ 1 Παράλληλες

3 Table of contents ΙΙ Παράλληλες 1 2

4 Table of contents ΙΙ Παράλληλες 1 2 3

5 Table of contents ΙΙ Παράλληλες

6 1 Παράλληλες 2 3 4

7 Αρχιτεκτονικές ΒΔ ΙΙ Παράλληλες Οι βασικές Αρχιτεκτονικές ΣΔΒΔ Κεντρικοποιημένα Συστήματα Παράλληλα Συστήματα Κατανεμημένα Συστήματα

8 Αρχιτεκτονικές ΒΔ ΙΙ Παράλληλες Οι βασικές Αρχιτεκτονικές ΣΔΒΔ Κεντρικοποιημένα Συστήματα Παράλληλα Συστήματα Κατανεμημένα Συστήματα Επιλογή της κατάλληλης με βάση: Διαθέσιμοι Πόροι Απαιτήσεις Εϕαρμογών

9 Παράλληλες Αρχιτεκτονικές ΙΙ Παράλληλες

10 Τεχνικές Τμηματοποίησης ΙΙ Για ένα σύνολο Δίσκων: D 0 D 1... D n 1 Παράλληλες Τεχνικές Round-Robin: Η i-οστη εγγραϕή αποθηκεύεται στο δίσκο D i mod n

11 Τεχνικές Τμηματοποίησης ΙΙ Για ένα σύνολο Δίσκων: D 0 D 1... D n 1 Παράλληλες Τεχνικές Round-Robin: Η i-οστη εγγραϕή αποθηκεύεται στο δίσκο D i mod n Hash-Partitioning: πραγματοποιώντας hashing σε ένα σύνολο ιδιοτήτων της σχέσης. Εύρος hashing: {0,1,, n-1}

12 Τεχνικές Τμηματοποίησης ΙΙ Για ένα σύνολο Δίσκων: D 0 D 1... D n 1 Παράλληλες Τεχνικές Round-Robin: Η i-οστη εγγραϕή αποθηκεύεται στο δίσκο D i mod n Hash-Partitioning: πραγματοποιώντας hashing σε ένα σύνολο ιδιοτήτων της σχέσης. Εύρος hashing: {0,1,, n-1} Range Partitioning: Κάθε δίσκος περιέχει εγγραϕές σε ένα εύρος ως προς κάποια ιδιότητα της σχέσης

13 Τεχνικές Τμηματοποίησης ΙΙ Για ένα σύνολο Δίσκων: D 0 D 1... D n 1 Παράλληλες Τεχνικές Round-Robin: Η i-οστη εγγραϕή αποθηκεύεται στο δίσκο D i mod n Hash-Partitioning: πραγματοποιώντας hashing σε ένα σύνολο ιδιοτήτων της σχέσης. Εύρος hashing: {0,1,, n-1} Range Partitioning: Κάθε δίσκος περιέχει εγγραϕές σε ένα εύρος ως προς κάποια ιδιότητα της σχέσης

14 Πρόσβαση ΙΙ Μορϕές Πρόσβασης Παράλληλες Σάρωση ολόκληρης της Σχέσης Point Queries Range Queries

15 Πρόσβαση ΙΙ Μορϕές Πρόσβασης Παράλληλες Σάρωση ολόκληρης της Σχέσης Point Queries Range Queries Καταλληλότητα Κάθε τεχνική τμηματοποίησης είναι καταλληλότερη για συγκεκριμένες μορϕές πρόσβασης

16 1 Παράλληλες 2 3 4

17 ΙΙ Παράλληλες Ομογενείς Το ίδιο λογισμικό και σχήμα ΒΔ σε όλους τους κόμβους, τα δεδομένα είναι μοιρασμένα μεταξύ των κόμβων. Στόχος: να ϕαίνεται σαν μια ενιαία ΒΔ, κρύβοντας την κατανομή της σε κόμβους

18 ΙΙ Παράλληλες Ομογενείς Το ίδιο λογισμικό και σχήμα ΒΔ σε όλους τους κόμβους, τα δεδομένα είναι μοιρασμένα μεταξύ των κόμβων. Στόχος: να ϕαίνεται σαν μια ενιαία ΒΔ, κρύβοντας την κατανομή της σε κόμβους Ετερογενείς Διαϕορετικό λογισμικό και σχήμα ΒΔ από κόμβο σε κόμβο Στόχος: η ολοκλήρωση διαϕορετικών ΒΔ που ήδη υπάρχουν

19 Αποθήκευση ΙΙ Παράλληλες Αντιγραϕή Κατακερματισμός Συνδυασμός των παραπάνω

20 Αποθήκευση με Αντιγραϕή ΙΙ Παράλληλες Πλεονεκτήματα Διαθεσιμότητα Παραλληλισμός Μειονεκτήματα Αυξημένο κόστος ενημέρωσης

21 Κατακερματισμός ΙΙ Παράλληλες Οριζόντιος: Πλειάδων (σ) Κατακόρυϕος: Ιδιοτήτων (π)

22 Οριζόντιος Κατακερματισμός ΙΙ Παράλληλες t 1 t 2 t 3 t 4 t 5 t 6 Ο οριζόντιος κατακερματισμός μπορεί να οριστεί ως μια επιλογή στη σχέση: r i = σ Pi (r) Ανακατασκευή: r = r 1 r 2 r n

23 Κατακόρυϕος Κατακερματισμός ΙΙ Παράλληλες t 1 t 2 t 3 t 4 t 5 t 6 Ο κατακόρυϕος κατακερματισμός μπορεί να οριστεί με προβολή: r i = Π Ri (r) Ανακατασκευή: r = r 1 r 2 r n

24 1 Παράλληλες 2 3 4

25 Παράδειγμα 1 ΙΙ Παράλληλες Reserves(sid, bid, day, name) 40 bytes ανα πλειάδα 100 πλειάδες/page 1000 pages πλειάδες

26 Παράδειγμα 1 ΙΙ Παράλληλες Reserves(sid, bid, day, name) 40 bytes ανα πλειάδα 100 πλειάδες/page 1000 pages πλειάδες Sailors(sid, sname, rating, age) 50 bytes ανα πλειάδα 80 πλειάδες/page 500 pages πλειάδες

27 Παράδειγμα 1 ΙΙ Παράλληλες Οριζόντιος κατακερματισμός Shanghai: rating < 5 Tokyo: rating 5

28 Παράδειγμα 1 ΙΙ Παράλληλες Οριζόντιος κατακερματισμός Shanghai: rating < 5 Tokyo: rating 5 SELECT AVG(S.age) FROM Sailors S WHERE S.rating > 3 AND S.rating < 7

29 Παράδειγμα 2 - JOIN: Απλή προσέγγιση ΙΙ Παράλληλες D: Κόστος ανάγνωσης/εγγραϕής σελίδας T: Κόστος μεταϕοράς σελίδας

30 Παράδειγμα 2 - JOIN: Απλή προσέγγιση ΙΙ Παράλληλες D: Κόστος ανάγνωσης/εγγραϕής σελίδας T: Κόστος μεταϕοράς σελίδας Sailors JOIN Reserves Με εμϕωλευμένο βρόγχο και τη σχέση Sailors στον εξωτερικό βρόγχο Κόστος

31 Παράδειγμα 2 - JOIN: Απλή προσέγγιση ΙΙ Παράλληλες D: Κόστος ανάγνωσης/εγγραϕής σελίδας T: Κόστος μεταϕοράς σελίδας Sailors JOIN Reserves Με εμϕωλευμένο βρόγχο και τη σχέση Sailors στον εξωτερικό βρόγχο Κόστος Κόστος: 500D + 500*1000(D+T)

32 Παράδειγμα 3 - JOIN: Μεταϕορά Σχέσης ΙΙ Παράλληλες Μεταϕέροντας αρχικά την σχέση Reserves.. Κόστος

33 Παράδειγμα 3 - JOIN: Μεταϕορά Σχέσης ΙΙ Παράλληλες Μεταϕέροντας αρχικά την σχέση Reserves.. Κόστος Κόστος: 1000Τ D

34 Παράδειγμα 3 - JOIN: Μεταϕορά Σχέσης ΙΙ Παράλληλες Μεταϕέροντας αρχικά την σχέση Reserves.. Κόστος Κόστος: 1000Τ D Αν το μέγεθος του αποτελέσματος είναι πολύ μεγάλο, μπορεί να συμϕέρει να μεταϕέρουμε και τις δύο σχέσεις στον κόμβο υποβολής της ερώτησης και να υπολογίσουμε τη συνένωση εκεί

35 Παράδειγμα 4 - SemiJOIN ΙΙ Παράλληλες S R : (R semijoin S) S (R semijoin π A (S)) S R (S semijoin R) (R semijoin S) (S semijoin R) όπου Α τα κοινά γνωρίσματα.

36 Παράδειγμα 4 - SemiJOIN ΙΙ Παράλληλες Τοποθεσίες - Σχέσεις T 1 : S(S#, SNAME) Κλειδιά: s1, s2, s3, s4, s5, s6 T 2 : SP(S#, P#, QTY) Κλειδιά: (s 1, p 1 ), (s 1, p 2 ), (s 1, p 3 ), (s 2, p 1 ), (s 2, p 2 ), (s 2, p 3 ), (s 3, p 1 ), (s 3, p 3 ), T 3 : P(P#, PNAME) Κλειδιά: p1, p2, p3, p4, p5, p6

37 Παράδειγμα 4 - SemiJOIN ΙΙ Παράλληλες Τοποθεσίες - Σχέσεις T 1 : S(S#, SNAME) Κλειδιά: s1, s2, s3, s4, s5, s6 T 2 : SP(S#, P#, QTY) Κλειδιά: (s 1, p 1 ), (s 1, p 2 ), (s 1, p 3 ), (s 2, p 1 ), (s 2, p 2 ), (s 2, p 3 ), (s 3, p 1 ), (s 3, p 3 ), T 3 : P(P#, PNAME) Κλειδιά: p1, p2, p3, p4, p5, p6 S#: 4 bytes P#: 4 bytes QTY: 10 bytes SNAME 96 bytes PNAME 196 bytes

38 Παράδειγμα 4 ΙΙ Παράλληλες Ερώτημα T 4 : S SP P Να υπολογιστούν οι μεταϕορές για τις παρακάτω περιπτώσεις χωρίς χρήση semi-join με χρήση semi-join

39 Λύση - Semi-Join ΙΙ Παράλληλες Εύρεση κόστους αν υποθέσουμε ότι κάνουμε S SemiJOIN SP Η ερώτηση θα εκτελεστεί ως εξής:

40 Λύση - Semi-Join ΙΙ Παράλληλες Εύρεση κόστους αν υποθέσουμε ότι κάνουμε S SemiJOIN SP Η ερώτηση θα εκτελεστεί ως εξής: προβάλλουμε το S# από την SP στον κόμβο Τ2 και θα το στείλουμε στον Τ1

41 Λύση - Semi-Join ΙΙ Παράλληλες Εύρεση κόστους αν υποθέσουμε ότι κάνουμε S SemiJOIN SP Η ερώτηση θα εκτελεστεί ως εξής: προβάλλουμε το S# από την SP στον κόμβο Τ2 και θα το στείλουμε στον Τ1 εκτελούμε το semi-join το οποίο θα δημιουργήσει το αποτέλεσμα S'

42 Λύση - Semi-Join ΙΙ Παράλληλες Εύρεση κόστους αν υποθέσουμε ότι κάνουμε S SemiJOIN SP Η ερώτηση θα εκτελεστεί ως εξής: προβάλλουμε το S# από την SP στον κόμβο Τ2 και θα το στείλουμε στον Τ1 εκτελούμε το semi-join το οποίο θα δημιουργήσει το αποτέλεσμα S' Στέλνουμε στον κόμβο Τ4, τα S', SP, P και εκτελούμε την ένωση

43 Λύση - Semi-Join ΙΙ Παράλληλες Εύρεση κόστους αν υποθέσουμε ότι κάνουμε S SemiJOIN SP Η ερώτηση θα εκτελεστεί ως εξής: προβάλλουμε το S# από την SP στον κόμβο Τ2 και θα το στείλουμε στον Τ1 εκτελούμε το semi-join το οποίο θα δημιουργήσει το αποτέλεσμα S' Στέλνουμε στον κόμβο Τ4, τα S', SP, P και εκτελούμε την ένωση Το SP πρέπει να το στείλουμε πάλι στον Τ4, άσχετα από το αν έχει ήδη συμμετάσχει στο semi-join στον κόμβο Τ1

44 Λύση - Semi-Join Αναλυτικά έχουμε: ΙΙ Παράλληλες

45 Λύση - Semi-Join ΙΙ Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Παράλληλες

46 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S

47 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S Δηλαδή, μεταϕέρονται 3*4=12 bytes

48 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S Δηλαδή, μεταϕέρονται 3*4=12 bytes Στον κόμβο Τ1, γίνεται το join της σχέσης S και των τιμών S# που ήρθανε από τον κόμβο Τ2, δηλαδή γίνεται η πράξη:

49 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S Δηλαδή, μεταϕέρονται 3*4=12 bytes Στον κόμβο Τ1, γίνεται το join της σχέσης S και των τιμών S# που ήρθανε από τον κόμβο Τ2, δηλαδή γίνεται η πράξη: S'= F JOIN S Η σχέση S' έχει μέγεθος 3*(4+96)=300 bytes

50 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S Δηλαδή, μεταϕέρονται 3*4=12 bytes Στον κόμβο Τ1, γίνεται το join της σχέσης S και των τιμών S# που ήρθανε από τον κόμβο Τ2, δηλαδή γίνεται η πράξη: S'= F JOIN S Η σχέση S' έχει μέγεθος 3*(4+96)=300 bytes Στη συνέχεια, μεταϕέρεται η σχέση S από τον κόμβο Τ1 στον κόμβο Τ4, δηλαδή μεταϕέρονται 300 bytes

51 Λύση - Semi-Join ΙΙ Παράλληλες Αναλυτικά έχουμε: Πρώτα θα γίνει στον κόμβο Τ2, προβολή των τιμών S# της σχέσης SP Δηλαδή θα γίνει η πράξη: F = ΠS#(SP). Η σχέση F έχει 3 εγγραϕές :s1, s2, s3. Αυτές οι τιμές μεταϕέρονται στον κόμβο Τ1, όπου βρίσκεται η σχέση S Δηλαδή, μεταϕέρονται 3*4=12 bytes Στον κόμβο Τ1, γίνεται το join της σχέσης S και των τιμών S# που ήρθανε από τον κόμβο Τ2, δηλαδή γίνεται η πράξη: S'= F JOIN S Η σχέση S' έχει μέγεθος 3*(4+96)=300 bytes Στη συνέχεια, μεταϕέρεται η σχέση S από τον κόμβο Τ1 στον κόμβο Τ4, δηλαδή μεταϕέρονται 300 bytes Η αξία της κίνησης αυτής είναι ότι με το S SEMIJOIN SP, αντί να μεταϕερθεί από τον κόμβο Τ1 στον κόμβο Τ4 ολόκληρη η σχέση S, μεταϕέρονται μόνο εκείνες οι εγγραϕές που πραγματικά χρειάζονται και θα χρησιμοποιηθούν

52 Λύση - Semi-Join ΙΙ Παράλληλες Κατόπιν, μεταϕέρεται η σχέση SP από τον κόμβο Τ2 στον κόμβο Τ4 (144 bytes) και επίσης μεταϕέρεται η σχέση P από τον κόμβο Τ3 στον κόμβο Τ4 (1200 bytes) Τέλος, στον κόμβο Τ4, πραγματοποιείται η ερώτηση R = S' JOIN SP JOIN P Το κόστος της ερώτησης αν χρησιμοποιηθεί το S SEMIJOIN SP, είναι =1656 bytes

53 Βέλτιστη Λύση ΙΙ Παράλληλες Βέλτιστη Λύση 1068 bytes. Πως?

54 1 Παράλληλες 2 3 4

55 ΙΙ Παράλληλες Abraham Silberschatz, Henry F. Korth and S. Sudarshan, Database System Concepts Fourth Edition, McGraw-Hill, 2002 Raghu Ramakrishnan and Johannes Gehkre, Database Management Systems Second Edition, McGraw Hill, 2000