Μαζικός Παραλληλισμός λ με Map - Reduce. Μοντέλο Θέματα υλοποίησης Παραδείγματα διαχείρισης δεδομένων

Μέγεθος: px

Εμφάνιση ξεκινά από τη σελίδα:

Download "Μαζικός Παραλληλισμός λ με Map - Reduce. Μοντέλο Θέματα υλοποίησης Παραδείγματα διαχείρισης δεδομένων"

Σαβαώθ Κοντολέων
7 χρόνια πριν
Προβολές:

1 Μαζικός Παραλληλισμός λ με Map - Reduce Μοντέλο Θέματα υλοποίησης Παραδείγματα διαχείρισης δεδομένων

2 Ευχαριστίες Οι διαφάνειες στηρίζονται σε μεγάλο βαθμό στο υλικό που είναι διαθέσιμο από το εργαστήριο Infolab του Stanford γιαταμαθήματα CS345A και CS

3 Τι είναι το MapReduce Πρόκειται για ένα προγραμματιστικό μοντέλο, που είναι κατάλληλο για επεξεργασία πολύ μεγάλων όγκων δεδομένων σε κατανεμημένους πόρους. Βασίζεται σε ιδέες γνωστές από δεκαετίες! Αρχικά αναπτύχθηκε από την Google αλλά οι περισσότεροι το χρησιμοποιούν μέσω της υλοποίησης ανοιχτού κώδικα Hd Hadoop. 3

4 Δημιουργία Ευρετηρίου (index) κειμένου - Ι Ροή σελίδων buffers 1 rat (rat, 1) (cat, 2) dog (dog, 1) (dog, 1) 2 dog (dog, 2) (dog, 2) cat (cat, 2) (dog, 3) rat (rat, 3) (rat, 1) 3 dog (dog, 3) (rat, 3) Ενδιάμεσα αποτελέ- σματα Δίσκος Φόρτωση Tokenizing Ταξινόμηση 4

5 Δημιουργία Ευρετηρίου (index) κειμένου - ΙΙ (cat, 2) (dog, 1) (ant, 5) Ενδιάμεσα αποτελέ- σματα (dog, 2) (dog, 3) (rat, 1) (rat, 3) (ant, 5) (cat, 4) (dog, 4) (dog, 5) (eel, 6) Merge (cat, 2) (cat, 4) (dog, 1) (dog, 2) (dog, 3) (dog, 4) (dog, 5) (eel, 6) (rat, 1) (rat, 3) (ant: 2) (cat: 2,4) (dog:12345) 1,2,3,4,5) (eel: 6) (rat: 1, 3) Τλ Τελικό αποτέλεσμα 5

6 Γενικό Μοντέλο επεξεργασίας: Map Ροή σελίδων Map buffers 1 rat (rat, 1) (cat, 2) dog (dog, 1) (dog, 1) 2 dog (dog, 2) (dog, 2) cat (cat, 2) (dog, 3) rat (rat, 3) (rat, 1) 3 dog (dog, 3) (rat, 3) Ενδιάμεσα αποτελέ- σματα Δίσκος Φόρτωση Tokenizing Ταξινόμηση 6

7 Γενικό Μοντέλο επεξεργασίας: Reduce (cat, 2) (dog, 1) (ant, 5) Ενδιάμεσα αποτελέ- σματα (dog, 2) (dog, 3) (rat, 1) (rat, 3) (ant, 5) (cat, 4) (dog, 4) (dog, 5) (eel, 6) Merge (cat, 2) (cat, 4) (dog, 1) (dog, 2) (dog, 3) (dog, 4) (dog, 5) (eel, 6) (rat, 1) (rat, 3) (ant: 2) (cat: 2,4) (dog:12345) 1,2,3,4,5) (eel: 6) (rat: 1, 3) Reduce Τλ Τελικό αποτέλεσμα 7

8 Συνοπτική Περιγραφή map ( κλειδί, τιμή ) λίστα από ζεύγη (κλειδί, τιμή ) ) reduce (κλειδί, λίστα από τιμές ) ->τελική_τιμή (list) Ή αλλιώς: Map: (k1, v1) [(k2, v2)] Reduce: (k2, [v2]) [v3] //σε εκδόσεις Hadoop μπορεί να αλλάξει το κλειδί k2 σε k3. -Το κλειδί δεν έχει εδώ την αυστηρή έννοια των ΒΔ, δηλ. μπορούν να υπάρχουν περισσότερες ενδιάμεσες τιμές με το ίδιο κλειδί. 8

9 map(string doc, String value); // doc: όνομα εγγράφου // value: περιεχόμενο εγγράφου for each word w in value: EmitIntermediate(w, 1 ); Παράδειγμα: καταμέτρηση εμφανίσεων λέξεων Παράδειγμα: map(doc, cat dog cat bat dog ) emits [cat 1], [dog 1], [cat 1], [bat 1], [dog 1] 9

10 Παράδειγμα: καταμέτρηση εμφανίσεων λέξεων reduce(string key, Iterator values); // key: λέξη // values: λίστα με καταμετρήσεις int result = 0; for each v in values: result += ParseInt(v) Emit(AsString(result)); Παράδειγμα: reduce( dog, ) emits 4 10

11 Σύνοψη παράλληλης εκτέλεσης User Program fork fork fork assign map Master assign reduce Input Data Split 0 read Split 1 Split 2 Worker Worker Worker locall write remote read, sort Worker Worker write Output File 0 Output File 1

12 Μοντέλο επεξεργασίας -Map Η είσοδος στη συνάρτηση map (π.χ., γραμμές από αρχείο, εγγραφές από ΒΔ, κλπ.) έχουν τη μορφή (κλειδί, τιμή). Η συνάρτηση map μετατρέπει κάθε ένα τέτοιο ζευγάρι σε ένα άλλο ζευγάρι (κλειδί, τιμή ). Επεξεργάζεται κάθε στοιχείο της εισόδου ξεχωριστά (γι αυτό και παραλληλίζεται εύκολα). Αντιστοιχεί στο ενδιάμεσο αποτέλεσμα (δηλ. την τιμή ) ένα κλειδί. O βαθμός παραλληλισμού καθορίζεται ρζ από το σύστημα. 12

13 Μοντέλο επεξεργασίας - Reduce H επεξεργασία της συνάρτησης reduce γίνεται αφού ολοκληρωθεί η επεξεργασία της map. Για κάθε ξεχωριστό κλειδί δί, δημιουργείται μία λίστα που περιέχει όλες τις αντίστοιχες τιμές. Η συνάρτηση reduce υπολογίζει μία τελική τιμή για το κλειδί επεξεργάζοντας τη λίστα με τις τιμές που παρήγαγε η map (το κλειδί δεν αλλάζει). Οι τιμές για κάθε κλειδί μπορούν να υπολογίζονται παράλληλα. 13

14 Συντονισμός κόμβος master O κόμβος master Ελέγχει αν μια εργασία (task) δεν έχει εκτελεστεί (idle), εκτελείται (in-progress) ή έχει ολοκληρωθεί (completed). Οι εργασίες χρονοδρομολογούνται μόλις ελευθερώνονται κόμβοι. Όταν ολοκληρώνεται μία map εργασία, ο master ενημερώνεται για τη θέση και το μέγεθος μγ των ενδιάμεσων αποτελεσμάτων,, που είναι σε τόσα αρχεία, όσα και οι κόμβοι για τη reduce. Κατόπιν ενημερώνονται οι κόμβοι για τη reducer. Επίσης ο master ελέγχει περιοδικά (με pings) τους κόμβους για τον εντοπισμόσφαλμάτων. μ 14

15 Θέματα υλοποίησης Συναρτήσεις συνδυασμού Σύστημα Αρχείων Διαμερισμός εισόδου και κλειδιών Αποτυχίες Εργασίες Backup Ταξινόμηση αποτελεσμάτων 15

16 Συναρτήσεις συνδυασμού (combine) [cat 1], [cat 1], [cat 1]... worker worker [dog 1], [dog 1]... worker Παρόμοιο με την εκτέλεση ενός τοπικού reduce στα ενδιάμεσα αποτελέσματα. [cat 3]... worker worker [dog 2]... worker 16

17 Κατανεμημένο Σύστημα Αρχείων Όλες οι μετακινήσεις δεδομένων γίνονται μέσω ενός κατανεμημένου συστήματος αρχείων. Ο κάθε worker μπορεί να προσπελαύνει κάθε μέρος της εισόδου Ο κάθε reduce worker έχει πρόσβαση και στους τοπικούς δίσκους κάθε worker μπορεί να γράφει στο δίσκο το κομμάτι της απάντησης που συνεισφέρει. Η απάντηση είναι σ ένα κατανεμημένο αρχείο 17

18 Διαμερισμός εισόδου και κλειδιών Πόσοι θα είναι κόμβοι worker; Καλύτερα να υπάρχουν πολλά κομμάτια εισόδου ανά κόμβο, για καλύτερη εξισορρόπηση φόρτου και για καλύτερη αντιμετώπιση αποτυχιών. Σε πόσα κομμάτια θα διαμεριστεί η είσοδος; Πιο πολλά από τον αριθμό των κόμβων, Που είναι ήδη ήημγ μεγάλος. Στα τυπικά παραδείγματα της google ο διαμερισμός είναι σε κομμάτια των 64MB. Η ανάθεση γίνεται έτσι ώστε να ανατίθονται κομμάτια της εισόδου στους πιο κοντινούς κόμβους. Όταν αυτό είναι εφικτό 18

19 Αποτυχίες Ο κόμβος Master εντοπίζει αποτυχίες και ξανα αναθέτει την εργασία του κόμβου που απέτυχε σε άλλο κόμβο worker. Aν οι αποτυχίες οφείλονται σε λάθη στα δεδομένα εισόδου, τότε το αντίστοιχο αρχικό κομμάτι δεδομένων μπορεί να αφαιρεθεί. split j worker ok? master redo j worker 19

20 Backup Εργασίες Υπάρχει περίπτωση ένα μηχάνημα να έχει μείνει πίσω στην εκτέλεση των εργασιών (straggler) λόγω π.χ., κάποιου τεχνικού προβλήματος, όπως χαλασμένος δίσκος. Εξαιτίας αυτού του μηχανήματος, όλη η επεξεργασία καθυστερεί. Όταν πολλές διεργασίες εκτελούνται παράλληλα, η πιο αργή καθορίζει και τον χρόνο ολοκλήρωσης. Λύση: όταν πλησιάζει η συνολική εργασία προς το τέλος, τότε ο συντονιστής χρονοδρομολογεί πολλαπλές φορές τις map/reduce υποεργασίες που απομένουν. Με το σκεπτικό ότι τουλάχιστον μία θα ολοκληρωθεί στον προβλεπόμενο χρόνο. Υπάρχουν επιπλέον μηχανισμοί για την διαγραφή περιττών (διπλών) αποτελεσμάτων όταν όλες οι υποεργασίες τελειώνουν κανονικά. 20

21 Ταξινόμηση αποτελεσμάτων Γίνεται σε κάθε κόμβο βάσει κλειδιού. [k 1, v 1 ] [k 3, v 3 ] [k 1, T 1 ] [k 2, T 2 ] [k 3, T 3 ] [k 4, T 4 ] 21

22 Παράδειγμα: ταξινόμηση εγγραφών 5 e 3 c 6 f 2 b 1 a 6 f* W1 W2 3 c 5 e 6 f 1 a 2 b 6 f* W5 1 a 3 c 5 e 7 g 9 i 8 h 7 g 4 d 9 i W3 9 i 7 g 4 d 8 h W6 2 b 4 d 6 f 6 f* 8 h Map: extract k, output [k, record] Reduce: Τίποτα! 22

23 Παραδείγματα -A Κατανεμημένο Grep: map: παράγει μία γραμμή αν η συγκεκριμένη γραμμή ταυτίζεται με το πρότυπο. reduce: απλή αντιγραφή των ενδιάμεσων δά αποτελεσμάτων στην έξοδο. 23

24 Παραδείγματα -B Καταμέτρηση ητης συχνότητας προσπέλασης μιας διεύθυνσης URL: Map:επεξεργασία των αρχείων log και παραγωγή ενδιάμεσων αποτελεσμάτων της μορφής <URL, 1> για κάθε προσπέλαση. Reduce: πρόσθεση όλων των τιμών για κάποιο συγκεκριμένο URL και παραγωγή ζευγών <URL, total count>. 24

25 Παραδείγματα - Γ Αντίστροφος Γράφος Web-Link: Map: παραγωγή ζευγών <target, source> για κάθε σύνδεσμο target προς μια σελίδα από την σελίδα source που εκείνη τη στιγμή επεξεργάζεται. Reduce: απλή αντιγραφή στην έξοδο των αποτελεσμάτων που έχουν τη μορφή ζευγών <target, list(source)>. 25

26 Παραδείγματα ερωτημάτων Έστω η σχέση Employees(id, dno, salary). θέλουμε να υπολογίσουμε το ερώτημα: Select dno, SUM(salary) from employees where salary>1000 group by dno Map: για κάθε πλειάδα με salary>1000 δημιουργείται ένα ζεύγος (dno,salary) Reduce: για κάθε τιμή του dno, η είσοδος είναι όλες οι αντίστοιχες τιμές salary. Η συνάρτηση απλώς τις προσθέτει. 26

27 Παραδείγματα σχεσιακών τελεστών Τελεστές όπως η επιλογή σ C ή η προβολή π A απαιτούν μόνο κατάλληλη συνάρτηση map. Έστω η σύνδεση R(X,Y) S(Y,Z). Map: Είσοδος: (όνομα σχέσης R ή S, μία πλειάδα t) Έξοδος: λίστα (τιμή του Υ, λίστα από (όνομα σχέσης, υπόλοιπο πλειάδας Χ ή Ζ)). Reduce: για κάθε τιμή του Υ, δημιουργεί όλα τα ζευγάρια ΧΖ. 27

28 Πλεονεκτήματα Το μοντέλο κρύβει τις τεχνικές λεπτομέρειες της παραλληλοποίησης και παρέχει built-in in μηχανισμούς ανάκαμψης από σφάλματα. Πολλά προβλήματα μπορούν να εκφραστούν με βάση το μοντέλο. Οι εφαρμογές κλιμακώνονται σε χιλιάδες μηχανήματα. Αλλά παρόμοια κλιμάκωση επιτυγχανεται και με παράλληλη λ επεξεργασία ερωτημάτων σε αρχιτεκτονικές shared nothing. 28

29 Μειονεκτήματα Το μοντέλο επεξεργασίας ξργ ςμοναδικής εισόδου και δύο σταδίων δεν είναι ευέλικτο ώστε να προσαρμόζεται σε όλα τα επιθυμητά σενάρια. Απαιτείται η συγγραφή κώδικα ακόμη και για τους πιο συνηθισμένους τελεστές, όπως επιλογής και προβολής. Δήλωση εργασιών σε πολύ χαμηλότερο επίπεδο σε σχέση με την SQL. Ο κώδικας μέσα στις συναρτήσεις map και reduce δεν είναι φανερός δυσκολία στην βελτιστοποίηση. 29

30 Υλικό για μελέτη MapReduce: Simplified Data Processing on Large Clusters, Jeffrey Dean and Sanjay Ghemawat, g p p p p Hadoop: υλοποίηση ανοιχτού κώδικα Pig Latin: A Not-So-Foreign Language for Data Processing, Christopher Olston, Benjamin Reedy, Utkarsh Srivastavava, Ravi Kumar, Andrew Tomkins, 30

Σχετικά έγγραφα

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΤΑΝΕΜΗΜΕΝΑ ΣΥΣΤΗΜΑΤΑ Εαρινό Εξάμηνο

ΟΙΚΟΝΟΜΙΚΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΘΗΝΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΤΑΝΕΜΗΜΕΝΑ ΣΥΣΤΗΜΑΤΑ Εαρινό Εξάμηνο 2016-2017 Υποχρεωτική εργασία Τα τελευταία χρόνια, λόγω της τεράστιας αύξησης της ποσότητας της πληροφορίας που έχουμε