Επέκταση του συστήματος ανοι τού κώδικα Pig

Transcript

1 Επέκταση του συστήματος ανοι τού κώδικα Pig Εμμανουή Ζουμπου άκης AEM: 1462 Επι έπ ν κα η ητής: Αναστάσιος Γούναρης, Λέκτορας τμ. Π ηροφορικής Α.Π.Θ. Ιούνιος 2012

2 2 2

3 Abstract The tremendous Internet growth over the last two decades, along with computer technology advancements and the rise of the Web 2.0 and social networks have led to huge amounts of data being created and transfered every day. To keep up with modern market's pace, modern organizations must be able to process, transform and analyze very large datasets with increased efficiency that traditional SQL - based Database Management Systems are uncapable to offer. To address this issue, programming model Map - Reduce was proposed, that enables simplified data processing on large clusters, but requires low level programming. This thesis concerns Pig, a high level dataflow system that offers SQL - style, high level data manipulation constructs and compiles the programs into sequences of Map-Reduce jobs, aiming at a sweet spot between SQL and Map - Reduce. In the first part of the thesis we describe and analyze the MapReduce programming model and its most known implementation, Hadoop. Next, an extended reference to Pig and its associated language, Pig Latin is made, followed by a detailed reference to system's implementation. Finally, an extension to Pig Latin is made in order to add support for θ-joins.

4 4 4

5 Ευ αριστίες Στο σημείο αυτό α ή ε α πρώτα απ' ό α να ευ αριστήσ ερμά τον επι έποντα κα η ητή μου κ. Αναστάσιο Γούναρη ια την κα οδή ηση, τις πο ύτιμες συμ ου ές, τον ρόνο που διέ εσε και την υπομονή που επέδειξε κατά την διάρκεια της εκπόνησης της παρούσας πτυ ιακής ερ ασίας. Επίσης, α ή ε α να ευ αριστήσ τους φί ους και συμφοιτητές μου που ήταν πάντα πρό υμοι να υσιάσουν τον προσ πικό τους ρόνο ια να με οη ήσουν. Τέ ος, α ή ε α να απευ ύν ένα με ά ο ευ αριστώ στην οικο ένειά μου, ια την κατανόηση και τη στήριξη που μου παρεί ε κα ' ό η την διάρκεια τ ν σπουδών μου.

6 6 6

7 Περιε όμενα 1 Εισα ή Σκοπός και δομή της ερ ασίας MapReduce και Hadoop MapReduce Προ ραμματιστικό μοντέ ο Παραδεί ματα προ ραμμάτ ν που μπορούν να υ οποιη ούν με MapReduce Υ οποιήσεις Hadoop Βασικές αρ ές Υποέρ α Pig και Pig Latin Pig Ιστορικά στοι εία Φι οσοφία Αρ ιτεκτονική Pig Latin Δομή προ ράμματος σε Pig Latin Χαρακτηριστικά Θέματα Υ οποίησης Επισκόπηση του συστήματος Μετατροπή ο ικού π άνου σε π άνο εκτέ εσης MapReduce Δομή ο ικού π άνου Μοντέ ο εκτέ εσης MapReduce Μετα ώττιση σε MapReduce

8 8 ΠΕΡΙΕΧΟΜΕΝΑ Βε τιστοποίηση π άνου και δημιουρ ία ερ ασίας MapReduce Ροές Απόδοση Χαρακτηριστικά που ε έ ονται Δοκιμαστικά δεδομένα Αποτε έσματα δοκιμών Υ οποίηση επέκτασης στο Pig Παραμετροποίηση περι ά οντος ανάπτυξης και ήψη πη αίου κώδικα Παραμετροποίηση του Eclipse Λήψη και μετα ώττιση πη αίου κώδικα του Pig στο Eclipse Τροποποίηση του Pig parser Τρόπος ειτουρ ίας Προσ ήκες στον κώδικα Παράδει μα εκτέ εσης Συμπεράσματα - προτάσεις ια με οντική έρευνα 51 Βι ιο ραφία 53 8

9 Κεφά αιο 1 Εισα ή Η α ματώδης εξέ ιξη του Internet τις τε ευταίες δύο δεκαετίες κα ώς και η τρομακτική πρόοδος της τε νο ο ίας τ ν υπο ο ιστών, παρά η α με την έκρηξη του Web 2.0 και τ ν κοιν νικών δικτύ ν, έ ουν επιφέρει μία πο ύ σημαντική αύξηση στον ό κο της π ηροφορίας που δημιουρ είται και διακινείται κα ημερινά. Αυτό έ ει ς αποτέ εσμα ό ο και περισσότεροι ορ ανισμοί να είναι ανα κασμένοι να συ έ ουν, να μετασ ηματίζουν και να ανα ύουν έναν τεράστιο ό κο δεδομέν ν, προκειμένου να μπορέσουν να συμ αδίσουν με τους φρενήρεις ρυ μούς εξέ ιξης της σύ ρονης α οράς. Για την αποτε εσματική, αποδοτική και ρή ορη δια είριση αυτών τ ν ποσοτήτ ν δεδομέν ν τα συμ ατικά συστήματα δια είρισης άσε ν δεδομέν ν αποδεικνύονται ανεπαρκή. Τόσο η αδυναμία τους να ειριστούν ρή ορα και αποδοτικά με ά ες ποσότητες ανεπεξέρ αστ ν και αδόμητ ν δεδομέν ν, όπ ς ια παράδει μα δεδομένα από αρ εία κατα ραφής μη ανών αναζήτησης, ια τα οποία δεν υπάρ ει π ηροφορία σ ήματος (schema information), όσο και η ιδιάζουσα φύση της ώσσας SQL, η οποία ξενίζει πο ούς προ ραμματιστές, α ά και δεν παρέ ει δυνατότητα ια ρητό έ ε ο του τρόπου εκτέ- εσης τ ν ερ τημάτ ν, έ ουν οδη ήσει στην αναζήτηση νέ ν, ενα ακτικών μοντέ ν επεξερ ασίας της π ηροφορίας. Το MapReduce [4] είναι ένα τέτοιο μοντέ ο, το οποίο έ ει ίνει πο ύ ν στό τα τε ευταία ρόνια, κυρί ς μέσ του συστήματος Hadoop [6] που στηρίζεται σε αυτό, και ρησιμοποιείται ευρέ ς σε ό ους τους τομείς της ιομη ανίας της π ηροφορικής, και μά ιστα από με ά α ονόματα του ώρου, όπ ς η Yahoo, η Google και το Facebook. Ενώ, όμ ς, το MapReduce παρέ- ει έναν πιο απ ό και άμεσο τρόπο με ά ου ό κου δεδομέν ν, η υπερ ο ική απ ότητα του μοντέ ου δυσκο εύει πάρα πο ύ το σ εδιασμό προ ραμμάτ ν 9

10 10 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ με ροές δεδομέν ν που αποτε ούνται από πο ά ήματα ή περιέ ουν διακ αδώσεις. Για την αντιμετώπιση αυτού του προ ήματος, δημιουρ ή ηκε το σύστημα Pig [7]. Tο Pig είναι ένα σύστημα ειρισμού ροών δεδομέν ν υψη ού επιπέδου, το οποίο έ ει σαν στό ο να συνδυάσει το υψη ό επίπεδο της ώσσας SQL, με τις εκτεταμένες δυνατότητες ειρισμού και την τα ύτητα που διακρίνει το MapReduce. Έτσι, προσφέρει μια διαδικαστική ώσσα υψη ού επιπέδου, την P iglatin, η οποία δια έτει εντο ές παρόμοιες με της SQL, οι οποίες, όμ ς μπορούν να κα ορίσουν ρητά τον τρόπο εκτέ εσης τ ν ερ τημάτ ν. Στη συνέ εια, τα προ ράμματα σε P iglatin μεταφράζονται σε ερ ασίες MapReduce και εκτε ούνται στο Hadoop. 1.1 Σκοπός και δομή της ερ ασίας Η παρούσα ερ ασία έ ει ς στό ο να παρουσιάσει τον τρόπο ειτουρ ίας και τα αρακτηριστικά του Pig, κα ώς και ορισμένα έματα που έ ουν σ έση με την υ οποίηση του συστήματος. Επίσης, έ ει ς στό ο την υ οποίηση μίας επέκτασης στο σύστημα, η οποία προσ έτει μία νέα εντο ή στη ώσσα P iglatin ια την υποστήριξη ενικών θ. Στο δεύτερο κεφά αιο ίνεται μία ανα υτική παρουσίαση του μοντέ ου MapReduce, κα ώς και του συστήματος Hadoop, το οποίο υ οποιεί το μοντέ ο. Στο τρίτο κεφά αιο παρουσιάζεται το σύστημα Pig κα ώς και η ώσσα που ρησιμοποιείται ια τη δημιουρ ία προ ραμμάτ ν Pig, η P iglatin. Το τέταρτο κεφά αιο ασ ο είται με έματα υ οποίησης του συστήματος Pig, όπ ς ο τρόπος μετατροπής τ ν π άν ν εκτέ εσης από την P iglatin στο MapReduce. Το πέμπτο κεφά αιο δεί νει ανα υτικά τη διαδικασία της υ οποίησης της επέκτασης του συστήματος Pig που αναφέρ ηκε παραπάν. Τέ- ος, στο έκτο κεφά αιο παρουσιάζονται τα συμπεράσματα από την εκπόνηση της ερ ασίας, κα ώς και προτάσεις ια με οντική έρευνα. 10

11 Κεφά αιο 2 MapReduce και Hadoop Στο κεφά αιο αυτό α ανα ύσουμε το προ ραμματιστικό μοντέ ο Map- Reduce. Το MapReduce είναι ένα σ ετικά νέο μοντέ ο ια την εκτέ εση κατανεμημέν ν υπο ο ισμών, το οποίο έ ει ν ρίσει ευρεία αποδο ή τα τε- ευταία ρόνια, με ό ο και περισσότερες εταιρίες και ορ ανισμούς να το υιο- ετούν ια την αποδοτική και ρή ορη εκτέ εση υπο ο ισμών πάν στον τεράστιο ό κο δεδομέν ν που δια έτουν. Επίσης, α αναφερ ούμε ανα υτικά στο Hadoop, ένα από τα πιο ποιοτικά και ευρέ ς διαδεδομένα και ρησιμοποιούμενα προϊόντα ο ισμικού που υποστηρίζουν το μοντέ ο MapReduce. 2.1 MapReduce Το MapReduce είναι ένα προ ραμματιστικό μοντέ ο, το οποίο παρουσιάστηκε το 2004 από την Google (μαζί με μια υ οποίησή του). Το μοντέ ο αυτό υποστηρίζει ε ενώς τη δυνατότητα εκτέ εσης κατανεμημέν ν υπο ο- ισμών από συστάδες (clusters) υπο ο ιστών πάν σε πο ύ με ά α σύνο α δεδομέν ν (data sets). Επίσης, αποτε εί ένα επίπεδο αφαίρεσης, το οποίο επιτρέπει μεν την έκφραση τ ν απαιτούμεν ν υπο ο ισμών ια την επεξερ ασία τ ν δεδομέν ν, αποκρύπτει δε τις πο ύπ οκες επτομέρειες υ οποίησης (που αφορούν στον παρα η ισμό, την ανο ή στις ά ες, την κατανομή τ ν δεδομέν ν και την εξισορρόπηση φόρτου) μέσα σε μία ι ιο ήκη. [4] Στην πιο απ ή του μορφή, ο ρήστης κα ορίζει μία συνάρτηση αντιστοί ισης (map function), η οποία επεξερ άζεται (ένα ή περισσότερα) ζεύ η κ ειδιού/τιμής (key/value pair), προκειμένου να δημιουρ ήσει ένα σύνο ο ενδιάμεσ ν ζευ ών κ ειδιού/τιμής. Επίσης, κα ορίζει και μια συνάρτηση συ ώ- 11

12 12 ΚΕΦΑΛΑΙΟ 2. MAPREDUCE ΚΑΙ HADOOP νευσης (reduce function), η οποία συ νεύει ό ες τις ενδιάμεσες τιμές που σ ετίζονται με το ίδιο ενδιάμεσο κ ειδί. [4] Σύμφ να με το [4], οι συ κεκριμένες ειτουρ ίες (map και reduce) είναι εμνευσμένες από τις συναρτήσεις map και reduce που υπάρ ουν στην Lisp (α ά και σε π ή ος ά ν συναρτησιακών σσών). Οι δημιουρ οί του διαπίστ σαν ότι με ά ος αρι μός τ ν υπο ο ισμών που πρα ματοποιούσαν εμπεριεί ε την εφαρμο ή κάποιας ειτουρ ίας αντιστοί ισης σε κά ε ο ική ε ραφή στην είσοδο τ ν προ ραμμάτ ν, με σκοπό τον υπο ο ισμό ενός συνό ου ενδιάμεσ ν ζευ ών κ ειδιού/τιμής, και έπειτα την εφαρμο ή κάποιας ειτουρ ίας συ ώνευσης ια ό ες τις τιμές που αντιστοι ούσαν στο ίδιο κ ειδί, έτσι ώστε να συνδυαστούν κατά η α τα παρα έντα δεδομένα Προ ραμματιστικό μοντέ ο Ο υπο ο ισμός που εκτε είται στο μοντέ ο δέ εται ς είσοδο ένα σύνο ο ζευ ών κ ειδιού/τιμής και παρά ει ς έξοδο ένα ά ο σύνο ο ζευ ών κ ειδιού/τιμής. Ο ρήστης της ι ιο ήκης MapReduce εκφράζει αυτό τον υπο ο ισμό ς δύο συναρτήσεις: Map και Reduce. Η συνάρτηση Map, η οποία ορίζεται από το ρήστη, δέ εται ένα ζεύ ος εισόδου και παρά ει ένα σύνο ο ενδιάμεσ ν ζευ ών κ ειδιού/τιμής. Η ι ιο- ήκη MapReduce ομαδοποιεί ό ες τις ενδιάμεσες τιμές με το ίδιο ενδιάμεσο κ ειδί και τις περνάει στην συνάρτηση Reduce. Η συνάρτηση Reduce, επίσης ορισμένη από το ρήστη, δέ εται ένα ενδιάμεσο κ ειδί και ένα σύνο ο τιμών ια αυτό το κ ειδί. Έπειτα, συ νεύει αυτές τις τιμές με σκοπό τη δημιουρ ία ενός (πι ανώς μικρότερου) συνό- ου τιμών. Οι ενδιάμεσες τιμές τροφοδοτούνται στην συνάρτηση μέσ ενός αντικειμένου που εκτε είται επανα ηπτικά ια κά ε ενδιάμεση τιμή (iterator). Αυτό επιτρέπει το ειρισμό ιστών από τιμές που είναι πο ύ με ά ες ια να ρέσουν στη μνήμη. Για να ίνει περισσότερο κατανοητός ο τρόπος ειτουρ ίας του μοντέ ου, α εξετάσουμε, παρακάτ, ένα απ ό παράδει μα. Ας ε ρήσουμε το πρό ημα της μέτρησης του αρι μού τ ν επανα ήψε ν κά ε έξης σε μία με ά η συ - ο ή ε ράφ ν. Ο ρήστης της ι ιο ήκης MapReduce α έ ραφε κώδικα ανά ο ο με τον παρακάτ : map( S t r i n g key, S t r i n g value ) : // key : document name // value : document contents 12

13 2.1. MAPREDUCE 13 for each word w in value : EmitIntermediate (w, "1" ) ; reduce ( S t r i n g key, I t e r a t o r v a l u e s ) : // key : a word // v a l u e s : a l i s t o f counts int r e s u l t = 0 ; for each v in v a l u e s : r e s u l t += ParseInt ( v ) ; Emit ( AsString ( r e s u l t ) ) ; Η συνάρτηση map δημιουρ εί, ια κά ε έξη, ένα ενδιάμεσο ζεύ ος κ ειδιού/τιμής, όπου το κ ειδί είναι η έξη που εξετάζεται, και η τιμή είναι ο αρι μός τ ν φορών που έ ει συναντη εί (στο συ κεκριμένο παράδει μα, μία φορά, εξ' ου και το "1"). Η συνάρτηση reduce συνα ροίζει ό ους τους αρι μούς τ ν φορών συνάντησης, ς προς κάποια συ κεκριμένη έξη. Επιπρόσ ετα, ο ρήστης α πρέπει να ράψει κώδικα ια να συμπ ηρώσει τα ονόματα τ ν αρ εί ν εισόδου και εξόδου, κα ώς και προαιρετικές παραμέτρους ρύ μισης, σε ένα αντικείμενο προδια ραφής MapReduce (mapreduce specification object). Τέ ος, ο ρήστης κα εί την συνάρτηση MapReduce, περνώντας ς όρισμα το προη ούμενο αντικείμενο προδια ραφής, και τότε ο κώδικας του ρήστη συνδέεται μαζί με τη ι ιο ήκη MapReduce (η οποία στην προκειμένη περίπτ ση έ ει υ οποιη εί σε C++). Παρ' ό ο που ο ψευδοκώδικας που παρουσιάστηκε παραπάν δέ εται και παρά ει α φαρι μητικά ς είσοδο και έξοδο, εννοιο ο ικά, οι τύποι τ ν συναρτήσε ν map και reduce που παρέ ονται από το ρήστη είναι: map ( k1, v1 ) l i s t ( k2, v2 ) reduce ( k2, l i s t ( v2 ) ) l i s t ( v2 ) όπου k1, v1, τα πεδία ορισμού του κ ειδιού και της τιμής κά ε ζεύ ους εισόδου και k2, v2 τα πεδία ορισμού του κ ειδιού και της τιμής κά ε ενδιάμεσου ζεύ ους, αντίστοι α. Μπορούμε να παρατηρήσουμε από τους παραπάν τύπους ότι τα κ ειδιά και οι τιμές εισόδου ανήκουν σε ένα διαφορετικό πεδίο ορισμού από ότι τα κ ειδιά και οι τιμές εξόδου (στη ενική περίπτ ση ισ ύει k1 k2 και v1 v2). Δη αδή, ο μετασ ηματισμός που επιτε εί η συνάρτηση map μπορεί να δίνει εντε ώς διαφορετική μορφή στα δεδομένα εισόδου, α άζοντας ακόμη και τον τύπο τους. Πιο συ κεκριμένα, ια κά ε ζεύ ος κ ειδιού/τιμής (key, value) στην είσοδο, με key k1 και value v1, πρα ματοποιείται μια αντιστοί ιση 13

14 14 ΚΕΦΑΛΑΙΟ 2. MAPREDUCE ΚΑΙ HADOOP (εξ' ου και το όνομα map) του κ ειδιού key σε ένα κ ειδί key k2 και της τιμής value σε μία τιμή value v2, και έτσι δημιουρ είται το ενδιάμεσο ζεύ ος τιμής/κ ειδιού (key, value ). Αντι έτ ς, οι ενδιάμεσες τιμές ανήκουν στο ίδιο πεδίο ορισμού με τις τιμές εξόδου (όπ ς έπουμε v2 = v2). Αυτό δεί νει ότι ο ρό ος της συνάρτησης reduce είναι η εκτέ εση κάποιας πράξης που ασίζεται στις ιδιότητες ή το π ή ος τ ν δεδομέν ν (όπ ς, ια παράδει μα, συνά ροιση), ρίς, όμ ς, να προ ρά στο μετασ ηματισμό τους. Σ εδόν πάντα αυτή η πράξη μειώνει το π ή ος τ ν δεδομέν ν (εξ' ού και το όνομα reduce) και μά ιστα, στην συντριπτική π ειονότητα τ ν περιπτώσε ν παρά ει καμία ή μία έξοδο Παραδεί ματα προ ραμμάτ ν που μπορούν να υ οποιη ούν με MapReduce Στη συνέ εια παρατί ενται μερικά αρακτηριστικά παραδεί ματα τύπ ν εφαρμο ών, τα οποία αναφέρονται στο [4], και τα οποία έ ουν υ οποιη εί επιτυ ώς με τη ρήση του μοντέ ου MapReduce. Κατανεμημένο Grep Η συνάρτηση map εξετάζει ένα αρ είο κειμένου και, ια κά ε ραμμή, ε έ ει αν ταιριάζει με κάποιο συ κεκριμένο πρότυπο. Σε περίπτ ση που ταιριάζει, παρά ει ένα ενδιάμεσο ζεύ ος δεδομέν ν (της μορφής LINE,1 ). Η συνάρτηση reduce είναι μία συνάρτηση που απ ά αντι ράφει τα παρε όμενα από την map ενδιάμεσα δεδομένα στην έξοδο. Εδώ παρατηρούμε ότι δεν υπάρ ει περιορισμός ς προς το πόσο απ ή μπορεί να είναι η συνάρτηση reduce, παρέ οντας έτσι ένα με ά ο α μό ευε ιξίας στους ρήστες, ώστε να μπορούν να προσαρμόζουν το μοντέ ο MapReduce στις ανά κες τους. Μέτρηση της συ νότητας επίσκεψης σε URL Η συνάρτηση map επεξερ άζεται αρ εία κατα ραφής που περιέ ουν αιτήσεις ια ιστοσε ίδες και, ια κά ε URL, παρά ει το ενδιάμεσο ζεύ ος URL,1. Έπειτα, η συνάρτηση reduce εκτε εί, ια ένα συ κεκριμένο κ ειδί URL τ ν ενδιάμεσ ν ζευ ών, ά ροιση τ ν τιμών τ ν ζευ ών που έ ουν το συ κεκριμένο URL ς κ ειδί και παρά ει ένα ζευ άρι της μορφής URL,total count. 14

15 2.1. MAPREDUCE 15 Αντίστροφος ράφος συνδέσμ ν Ιστού Η συνάρτηση map δημιουρ εί το ζεύ ος target,source ια κά ε σύνδεσμο προς το URL target, ο οποίος ρίσκεται στη σε ίδα με όνομα source. Η συνάρτηση reduce συνενώνει σε μία ίστα ό α τα source URLs που σ ετίζονται με ένα συ κεκριμένο target URL, και δημιουρ εί το ζεύ ος target,list(source). Διάνυσμα όρ ν ανά εξυπηρέτη Ένα διάνυσμα όρ ν συνοψίζει τις πιο σημαντικές έξεις που υπάρ ουν σε ένα έ ραφο ή μία συ ο ή ε ράφ ν σε μία ίστα ζευ ών της μορφής word,frequency. Η συνάρτηση map παρά ει ένα ενδιάμεσο ζεύ ος hostname,term vector, ια κά ε έ ραφο εισόδου (το hostname εξά εται από το URL του ε ράφου). Η συνάρτηση reduce δέ εται ό α τα ζεύ η hostname,term vector που αντιστοι ούν σε ένα συ κεκριμενο hostname και τα α ροίζει μεταξύ τους, παρά οντας ένα τε ικό ζεύ ος hostname,term vector. Αντεστραμμένος κατά ο ος Η συνάρτηση map ανα ύει κά ε έ ραφο μίας συ ο ής ε ράφ ν και παρά ει ενδιάμεσα ζεύ η της μορφής word,document ID. Η συνάρτηση reduce δέ εται ό α τα ενδιάμεσα ζεύ η ια μία συ κεκριμένη έξη, ταξινομεί τα αντίστοι α documentid και τα τοπο ετεί σε μία ίστα, παρά οντας ένα ζεύ ος της μορφής word,list(document ID). Το σύνο ο ό ν τ ν ζευ ών εξόδου αυτής της μορφής σ ηματίζει έναν απ ό αντεστραμμένο κατά ο ο. Στη συ κεκριμένη περίπτ ση, είναι εύκο ο να επεκτείνουμε τον παραπάν υπο ο- ισμό, έτσι ώστε να αμ άνουμε υπ' όψιν μας και τις έσεις τ ν έξε ν μέσα στο κείμενο. Περισσότερα παραδεί ματα Πέρα από τα παραπάν παραδεί ματα, το μοντέ ο MapReduce έ ει προτα εί ια ρήση και σε π ή ος ά ν εφαρμο ών, μέσ της προσαρμο ής του σε πο ά και διαφορετικά υπο ο ιστικά περι ά οντα, όπ ς σε συστήματα με πο ούς επεξερ αστές (multi-core) [16] [11], π έ ματα (grids) υπο ο ιστών [17], δυναμικά υπο ο ιστικά νέφη (dynamic clouds) [14] και περι ά οντα φορητών (mobile) συσκευών [5]. 15

16 16 ΚΕΦΑΛΑΙΟ 2. MAPREDUCE ΚΑΙ HADOOP Υ οποιήσεις Υπάρ ουν διάφορες υ οποιήσεις που υποστηρίζουν το μοντέ ο MapReduce. Η πιο ν στή είναι το Hadoop της Apache Software Foundation, στο οποίο α αναφερ ούμε εκτενώς στην επόμενη ενότητα. Εκτός από το Hadoop, υπάρ ει το GreenplumMapReduce, της εταιρίας Greenplum [1], το οποίο επίσης υ οποιεί το μοντέ ο MapReduce, α ά και το CloudMapReduce [13], το οποίο αναπτύ ηκε αρ ικά στα ερ αστήρια της Accenture Technology, και αποτε εί μια υ οποίηση του μοντέ ου MapReduce πάν στο ειτουρ ικό σύστημα νέφους της Amazon (Amazon Cloud OS). Τέ ος, υπάρ ουν και ορισμένες υ οποιήσεις που ασίζονται πάν στο μοντέ ο MapReduce, α ά εισά ουν και δικά τους αρακτηριστικά και ε τιώσεις, με στό ο την περαιτέρ ε τιστοποίηση τόσο της απόδοσης του μοντέ- ου, όσο και της ευκο ίας ρήσης και υιο έτησής του από τους προ ραμματιστές. Τέτοιες υ οποιήσεις είναι το AsterMapReduceAnalyticsP ortfolio της εταιρίας Teradata [3], το οποίο συνδυάζει το MapReduce με την κ ασσική SQL σε ένα ιδιότυπο π αίσιο ο ισμικού (framework), όπ ς και το Daytona της Microsoft [2], το οποίο υ οποιεί Επανα ηπτικό MapReduce (Iterative MapReduce) πάν στο νέφος της Microsoft, Windows Azure. 2.2 Hadoop Το Hadoop είναι ένα έρ ο ο ισμικού του Apache Software Foundation, το οποίο επιτρέπει την κατανεμημένη επεξερ ασία με ά ν συνό ν δεδομέν ν (data sets), τα οποία ρίσκονται σε συστάδες (clusters) υπο ο ιστών, ρησιμοποιώντας ένα απ ό προ ραμματιστικό μοντέ ο. [6] Βασικές αρ ές Οι ασικές αρ ές με άση τις οποίες είναι σ εδιασμένο το Hadoop είναι η πο ύ υψη ή κ ιμάκ ση (scaling) και η με ά η αξιοπιστία (reliability) και δια εσιμότητα (availability) του συστήματος. Για να επιτύ ει αυτούς τους στό ους, το Hadoop δεν ασίζεται στο υ ικό ια την πρό εψη και τον ειρισμό αστο ιών. Αντί ετα, η ίδια η ι ιο ήκη ο ισμικού είναι σ εδιασμένη έτσι ώστε να εντοπίζει και να δια ειρίζεται τις αστο ίες στο επίπεδο εφαρμο- ής (application layer), επιτυ άνοντας με αυτό τον τρόπο την παρο ή μίας υπηρεσίας υψη ής δια εσιμότητας πάν από μία συστάδα υπο ο ιστών, κά ε ένας από τους οποίους μπορεί να είναι επιρρεπής σε σφά ματα και αστο ίες. 16

17 2.2. HADOOP Υποέρ α Το έρ ο Hadoop, ια την υποστήριξη τ ν παραπάν ειτουρ ιών και απαιτήσε ν, περι αμ άνει τρία υποέρ α. Hadoop Common Το Hadoop Common είναι ένα σύνο ο οη ητικών ειτουρ ιών, οι οποίες δημιουρ ή ηκαν με σκοπό να υποστηρίξουν τα υπό οιπα υποέρ α του Hadoop. Μερικές από αυτές τις ειτουρ ίες είναι οι F ilesystem, RP C, κα ώς και οι ι ιο ήκες σειριοποίησης (serialization libraries). Hadoop Distributed File System Το Hadoop Distributed File System (HDFS) είναι κύριο σύστημα απο- ήκευσης που ρησιμοποιείται από τις εφαρμο ές Hadoop. Το σύστημα αυτό δημιουρ εί πο απ ά αντί ραφα από μερίδες δεδομέν ν (data blocks) και τις διανέμει σε πο ούς διαφορετικούς υπο ο ιστικούς κόμ ους της συστάδας. Με αυτόν τον τρόπο επιτυ άνει αφενός την αξιόπιστη ειτουρ ία του συστήματος, ό τ ν πο απ ών αντι ράφ ν, και αφετέρου την τα ύτατη εκτέ εση υπο ο ισμών ό της τοπικότητας τ ν δεδομέν ν. Hadoop MapReduce Το Hadoop MapReduce είναι ένα π αίσιο ο ισμικού (software framework) το οποίο υ οποιεί το προ ραμματιστικό μοντέ ο MapReduce. Προσφέρει τη δυνατότητα συ ραφής εφαρμο ών οι οποίες επεξερ άζονται τα ύτατα τεράστιες ποσότητες δεδομέν ν παρά η α, σε με ά ες συστάδες υπο ο ιστικών κόμ ν. 17

18 18 ΚΕΦΑΛΑΙΟ 2. MAPREDUCE ΚΑΙ HADOOP 18

19 Κεφά αιο 3 Pig και Pig Latin Στο κεφά αιο αυτό α εξετάσουμε το P ig, μία π ατφόρμα ια την συ - ραφή προ ραμμάτ ν ανά υσης δεδομέν ν, κα ώς και τη ώσσα P iglatin, η οποία ρησιμοποιείται ια το σκοπό αυτό. 3.1 Pig Το Pig [7] είναι μία π ατφόρμα του Apache Software Foundation που ρησιμοποιείται ια την ανά υση με ά ν συνό ν δεδομέν ν (data sets) Ιστορικά στοι εία Αρ ικά αναπτύ ηκε από μία ερευνητική ομάδα της Yahoo!, το 2006, με σκοπό να παράσ ει έναν εύκο ο τρόπο δημιουρ ίας και εκτέ εσης ερ ασιών MapReduce πάν σε πο ύ με ά α σύνο α δεδομέν ν. Το πρ τότυπο πο ύ σύντομα έ ινε δημοφι ές στους ρήστες, αφού ήταν έντονη η ανά κη ια μία ώσσα υψη ότερου επιπέδου από την απ ή MapReduce, κα ώς αυτό α οη- ούσε στην τα ύτερη και ευκο ότερη παρα ή τ ν σ ετικών εφαρμο ών. Έτσι, το 2007, συ κροτή ηκε από τη Yahoo! μία ειδική ομάδα ια να μετατρέψει το πρ τότυπο σε προϊόν ια ρήση και το έρ ο εντά ηκε στο Apache Software Foundation. [12] Φι οσοφία Για το Pig έ ουν κα ιερ εί ορισμένες ασικές αρ ές [8], οι οποίες οη- άνε τους προ ραμματιστές του να αποφασίσουν προς ποιές κατευ ύνσεις να 19

20 20 ΚΕΦΑΛΑΙΟ 3. PIG ΚΑΙ PIG LATIN συνε ίσουν την ανάπτυξή του σε ά ος ρόνου. Αυτές οι αρ ές παρουσιάζονται παρακάτ : Τα ουρούνια κατανα ώνουν τα πάντα Το Pig πρέπει να μπορεί να ειτουρ εί πάν σε δεδομένα ανεξάρτητα από την ύπαρξη μεταδεδομέν ν. Μπορεί να ειτουρ εί πάν σε σ εσιακά, εμφ - ευμένα ή μη δομημένα δεδομένα, και να μπορεί να επεκτα εί εύκο α, ώστε να ειτουρ εί σε δεδομένα πέρα από αρ εία, όπ ς απο ήκες ζευ ών κ ειδιού- /τιμής, άσεις δεδομέν ν, κ.τ.. Τα ουρούνια ζούνε παντού Το Pig προορίζεται ς μία ώσσα ια παρά η η επεξερ ασία δεδομέν ν. Αν και υ οποιή ηκε αρ ικά στο Hadoop, δεν είναι συσ ετισμένη με κάποιο συ κεκριμένο π αίσιο ο ισμικού (software framework), και α μπορούσε να υ οποιη εί και ια οποιοδήποτε ά ο. Τα ουρούνια είναι κατοικίδια ζώα Το Pig πρέπει να είναι σ εδιασμένο έτσι ώστε να μπορεί να ε ε εί και να επεξερ αστεί εύκο α από τους ρήστες. Επιτρέπει την α η επίδραση με τον κώδικα του ρήστη, μέσ συναρτήσε ν που προσδιορίζει. Ο κώδικας του ρήστη μπορεί να είναι ραμμένος σε Java ή σε οποιαδήποτε ώσσα μπορεί να μετα ττιστεί σε Java (π.. η Python). Τα ουρούνια πετάνε Το Pig πρέπει να επεξερ άζεται τα δεδομένα ρή ορα. Συνε ής επιδί ξη της ομάδας ανάπτυξης είναι η ε τί ση της απόδοσης, και η υ οποίηση νέ ν αρακτηριστικών ίνεται μόνο όταν υπάρ ει τρόπος, ώστε να μη αραίνει το ό ο σύστημα Αρ ιτεκτονική Η π ατφόρμα αυτή αποτε είται από δύο ασικά μέρη. Το πρώτο μέρος αποτε εί η ώσσα υψη ού επιπέδου P iglatin, με την οποία συ ράφονται τα προ ράμματα ανά υσης δεδομέν ν, ενώ το δεύτερο μία υποδομή κατά η η ια την αξιο ό ηση και αποτίμηση τ ν προ ραμμάτ ν αυτών. 20

21 3.2. PIG LATIN 21 Όσον αφορά το επίπεδο υποδομής (infrastructure layer), αποτε είται από ένα μετα ττιστή (compiler), ο οποίος παρά ει στην έξοδο ακο ου ίες από προ ράμματα σε MapReduce. Τα προ ράμματα αυτά μπορούν, έπειτα, να εκτε- εστούν σε κάποια από τις δια έσιμες υ οποιήσεις του MapReduce που προσφέρουν υψη ή κ ιμάκ ση και παρά η η εκτέ εση, όπ ς το Hadoop, το οποίο αναφέραμε στο προη ούμενο κεφά αιο. Το επίπεδο ώσσας (language layer), αποτε είται από την ώσσα P iglatin, την οποία α εξετάσουμε ενδε ε ώς στην ενότητα που ακο ου εί. 3.2 Pig Latin Η P iglatin είναι, όπ ς αναφέραμε και προη ουμέν ς, η ώσσα που ρησιμοποιείται ια την συ ραφή προ ραμμάτ ν στην π ατφόρμα Pig. Το αρακτηριστικό που την ξε ρίζει είναι ότι συνδυάζει τα κα ύτερα στοι εία από τον κόσμο της SQL και τον κόσμο του MapReduce. Προσφέρει, δη- αδή, τη δυνατότητα ια υψη ού επιπέδου δη τικά ερ τήματα στο πνεύμα της SQL, με τον αμη ού επιπέδου διαδικαστικό προ ραμματισμό στο στυ του MapReduce. [15] Δομή προ ράμματος σε Pig Latin Ένα πρό ραμμα ραμμένο σε ώσσα P iglatin είναι μια ακο ου ία από ήματα, παρόμοια με αυτά μίας διαδικαστικής ώσσας προ ραμματισμού, κα- ένα από τα οποία πρα ματοποιεί ένα μετασ ηματισμό πάν στα δεδομένα εισόδου. Οι μετασ ηματισμοί αυτοί είναι σ ετικά υψη ού επιπέδου, όπ ς ια παράδει μα το φι τράρισμα (filtering), η ομαδοποίηση (grouping) και η συνά- ροιση (aggregation). [15] Ουσιαστικά, οι εντο ές που ράφονται σε P iglatin προσδιορίζουν ένα π άνο εκτέ εσης ερ τήματος (query execution plan). Το π άνο αυτό οη- άει τους προ ραμματιστές να κατανοήσουν και να ε έ ξουν κα ύτερα τον τρόπο με τον οποίο εκτε είται η διερ ασία επεξερ ασίας τ ν δεδομέν ν (data processing task) που έ ουν ορίσει. Αυτή η μέ οδος είναι προτιμητέα από τους έμπειρους προ ραμματιστές συστημάτ ν σε σ έση με την κ δικοποίηση ς ερώτημα σε SQL, αφού μετά α έπρεπε να εξανα κάσουν το σύστημα να επι έξει το επι υμητό π άνο εκτέ εσης μέσ υποδείξε ν (hints) προς τον ε τιστοποιητή (optimizer). [15] 21

22 22 ΚΕΦΑΛΑΙΟ 3. PIG ΚΑΙ PIG LATIN Για να κατανοήσουμε κα ύτερα τις ασικές διαφορές στη δομή ενός ερ τήματος σε SQL και ενός προ ράμματος σε P iglatin, α εξετάσουμε ένα πο ύ απ ό, συ κριτικό παράδει μα που δίνεται στο [15]: Έστ ότι έ ουμε έναν πίνακα με το όνομα urls, με πεδία: url, category, pagerank. Από αυτόν τον πίνακα, ζητάμε να εντοπίσουμε, ια κά ε επαρκώς με ά η κατη ορία (στην περίπτ σή μας ζητάμε το π ή ος τ ν urls που ανήκουν στην κατη ορία να είναι με α ύτερος του 10 6 ) τον μέσο όρο του pagerank τ ν σε ίδ ν που έ ουν υψη ό pagerank (στην περίπτ σή μας με- α ύτερο του 0.2) στην συ κεκριμένη κατη ορία. Το ερώτημα SQL που απαντάει στο ζητούμενο είναι το παρακάτ : SELECT category, AVG( pagerank ) FROM u r l s WHERE pagerank > 0. 2 GROUP BY category HAVING COUNT( * ) > 10^6 Το ισοδύναμο πρό ραμμα σε P iglatin είναι: good_urls = FILTER u r l s BY pagerank > 0. 2 ; groups = GROUP good_urls BY category ; big_groups = FILTER groups BY COUNT( good_urls ) > 10^6; output = FOREACH big_groups GENERATE category, AVG( good_urls. pagerank ) ; Από αυτό το απ ό παράδει μα παρατηρούμε ότι το πρό ραμμα σε P iglatin ακο ου εί το πρότυπο του διαδικαστικού προ ραμματισμού, και συνεπώς είναι πιο εύ ηπτο στους προ ραμματιστές, ακόμη και ρίς νώση της ίδιας της P iglatin. Έτσι, σε περίπτ ση που κάποιος προ ραμματιστής δεν έ ει εμπειρία σε καμία από τις δύο ώσσες, α δυσκο ευτεί πο ύ περισσότερο με τον δη τικό αρακτήρα της SQL, παρά με το απ ό διαδικαστικό πρότυπο της P iglatin. Επίσης ίνεται εμφανές το ε ονός ότι ενώ στο ερώτημα SQL ο συντάκτης του ερ τήματος δεν έ ει τη δυνατότητα ια άμεση παρέμ αση στον τρόπο με τον οποίο α εκτε εστεί το ερώτημα ( ια παράδει μα, αν α ίνει πρώτα φι τράρισμα με άση το pagerank > 0.2 ή το count( ) > 10 6 ). Ο μόνος τρόπος παρέμ ασης είναι μέσ τ ν προαναφερ έντ ν υποδείξε ν (hints) στον ε τιστοποιητή ερ τημάτ ν (query optimizer). Αντι έτ ς, στο δεύτερο πρό- ραμμα, ο προ ραμματιστής είναι αυτός που ορίζει την σειρά με την οποία α εκτε εστεί κά ε μετασ ηματισμός επί του συνό ου τ ν δεδομέν ν, δη- αδή κα ορίζει ο ίδιος το π άνο εκτέ εσης (execution plan). Αυτό δίνει στον προ ραμματιστή ένα τεράστιο περι ώριο στη ε τί ση της αποδοτικότητας 22

23 3.2. PIG LATIN 23 τ ν προ ραμμάτ ν του ( ια παράδει μα, με την απ ή α α ή της σειράς εκτέ εσης τ ν μετασ ηματισμών στο π άνο εκτέ εσης), ρησιμοποιώντας παρόμοιες συναρτήσεις υψη ού επιπέδου με αυτές της SQL (είδαμε στο παράδει μα τις: F ILT ER, GROUP, κ.ά.), και ρίς να ανα καστεί να εμπ ακεί με προ ραμματισμό πο ύ αμη ού επιπέδου, όπ ς είναι ο προ ραμματισμός σε MapReduce Χαρακτηριστικά Εκτός από την δομή της ώσσας P iglatin και τα π εονεκτήματα που αυτή προσφέρει, υπάρ ουν και αρκετά αρακτηριστικά, τα οποία είναι πο ύ σημαντικά, ώστε η ώσσα να μπορεί να εξυπηρετήσει τους σκοπούς της εύκο ης, συ νής και επί τούτου (ad hoc) ανά υσης δεδομέν ν. Σύμφ να με το [15], τα αρακτηριστικά αυτά περι αμ άνουν υποστήριξη ια ένα ευέ ικτο, π ήρ ς εμφ ευμένο μοντέ ο δεδομέν ν (nested data model), εκτεταμένη υποστήριξη ια συναρτήσεις οριζόμενες από το ρήστη (user defined functions) και την ικανότητα ειτουρ ίας πάν σε σκέτα αρ εία δεδομέν ν (plain input files), ρίς την ανά κη ια π ηροφορίες σ ήματος (schema information). Στη συνέ εια, α αναφερ ούμε ανα υτικά σε κά ε ένα από τα παραπάν αρακτηριστικά. Γρή ορο ξεκίνημα και δια ειτουρ ικότητα Η P iglatin έ ει σ εδιαστεί έτσι ώστε να προσφέρει άμεση ανά υση τ ν δεδομέν ν. Για παράδει μα, αν ένας ρήστης έ ει στην κατο ή του ένα αρ- είο κατα ραφής (log file) από μία μη ανή αναζήτησης, μπορεί να εκτε έσει ερ τήματα σε P iglatin πάν σε αυτό άμεσα. Το μόνο που ρειάζεται είναι να παρέ ει μία συνάρτηση που δίνει τη δυνατότητα στο Pig να ανα ύσει (parse) τα περιε όμενα του αρ είου σε π ειάδες (tuples). Εκτός αυτού, δεν υπάρ ει καμία ανά κη ια την εκτέ εση κάποιας ά ης, ρονο όρας διαδικασίας "εισα ής" τ ν δεδομέν ν πριν από την εκτέ εση τ ν ερ τημάτ ν, όπ ς απαιτείται από τα συμ ατικά συστήματα δια είρισης άσε ν δεδομέν ν (database management systems). Παρόμοια, η έξοδος ενός προ ράμματος ραμμένου σε P iglatin μπορεί να μορφοποιη εί ανά ο α με τις προτιμήσεις του ρήστη, εφόσον ο ρήστης παρέ ει στο Pig μία συνάρτηση, η οποία να μετατρέπει π ειάδες (tuples) σε μία ακο ου ία από bytes. Αυτό το αρακτηριστικό, κα ιστά εύκο η την επακό ου η ρήση της εξόδου ενός προ ράμματος P iglatin σε κάποια ά η εφαρμο ή, όπ ς ια παράδει μα στο Excel. 23

24 24 ΚΕΦΑΛΑΙΟ 3. PIG ΚΑΙ PIG LATIN Ο ό ος ια τον οποίο ακο ου ή ηκε ο παραπάν σ εδιασμός είναι απ ός. Τα συμ ατικά συστήματα δια είρισης άσε ν δεδομέν ν έ ουν την απαίτηση τα δεδομένα να εισά ονται σε πίνακες του συστήματος ια τρεις κύριους ό- ους. Ο πρώτος ό ος είναι ια να μπορέσουν να παρέ ουν ε υήσεις ια την συνέπεια τ ν συνα α ών (transactional consistency). Έπειτα, ια να επιτρέπουν την αποδοτική προ ο ή τ ν π ειάδ ν (tuples), μέσ της ρήσης φυσικών ανα ν ριστικών π ειάδ ν (physical tuple identifiers). Tέ ος, ια να τακτοποιήσουν τα δεδομένα ια ο αριασμό του ρήστη και να κατα ράψουν το σ ήμα (schema), έτσι ώστε και ά οι ρήστες να μπορούν να ά ουν νόημα από τα δεδομένα. Επειδή, όμ ς, το Pig υποστηρίζει μόνο ερ ασίες ανά υσης δεδομέν ν με ανά ν ση (read-only data analysis workloads) και αυτές οι ερ ασίες τείνουν να είναι επικεντρ μένες στην ανί νευση, δεν είναι ανα καία η εξασφά ιση της συνέπειας τ ν συνα α ών, ούτε και η δημιουρ ία κατα ό ν με δείκτες σε π ειάδες. Επίσης, επειδή συνή ς στο περι ά ον που ρησιμοποιείται το Pig οι ρήστες ανα ύουν ένα προσ ρινό σύνο ο δεδομέν ν (data set), το οποίο και απορρίπτουν μετά από ί ο, είναι π εονάζουσα και η δημιουρ ία και η δια είριση ενός σ ήματος (schema) ια τα δεδομένα. Συνεπώς, απορρίπτοντας ό α αυτά τα περιττά αρακτηριστικά, το Pig αποκτάει ένα με ά ο π εονέκτημα όταν υπάρ ει η ανά κη ια άμεση και προσ ρινή ανά υση τεράστι ν ποσοτήτ ν αδόμητ ν δεδομέν ν, ρίς π ηροφορίες σ ήματος. Σε αυτό το σημείο πρέπει να σημει εί ότι το Pig υποστηρίζει απο ηκευμένα σ ήματα, α ά αυτά είναι αυστηρώς προαιρετικά. Εμφ ευμένο μοντέ ο δεδομέν ν Είναι πο ύ συ νό φαινόμενο στους προ ραμματιστές να σκέφτονται με όρους εμφ ευμέν ν δομών δεδομέν ν (nested data structures). Για παράδει μα, ια να κατα ράψουν την π ηροφορία σ ετικά με τις έσεις που έ ουν οι διάφοροι όροι σε μία συ ο ή κειμέν ν, οι περισσότεροι α σκέφτονταν αμέσ ς να δημιουρ ήσουν μια δομή δεδομέν ν του τύπου Map < documentid, Set < positions >>, ια κά ε διαφορετικό όρο. Από την ά η μεριά, οι συμ ατικές άσεις δεδομέν ν επιτρέπουν μόνο επίπεδους πίνακες, δη αδή επιτρέπουν μόνο ατομικά πεδία στις στή ες (εφόσον έ ουμε να διατηρη εί η πρώτη κανονική μορφή (First Normal Form). Αυτό σημαίνει ότι ια να μπορέσουμε να κατα ράψουμε την παραπάν π ηροφορία α πρέπει να ίνει κανονικοποίηση τ ν δεδομέν ν, με τη δημιουρ ία δύο ξε- ριστών πινάκ ν: term i nfo : (termid, termstring,...) και position i nfo : (termid, documentid, position). Στη συνέ εια, ια την ανάκτηση αυτής της 24

25 3.2. PIG LATIN 25 π ηροφορίας, α πρέπει να εκτε εστεί η πράξη της σύνδεσης (join) τ ν δύο πινάκ ν, με άση το termid και έπειτα η ομαδοποίηση με άση τα termid και documentid. Το Pig και η P iglatin κάνουν τα πρά ματα πιο απ ά, παρέ οντας π ήρη υποστήριξη ια το εμφ ευμένο μοντέ ο δεδομέν ν (nested data model) και, έτσι, επιτρέπουν την ύπαρξη σύν ετ ν, μη ατομικών τύπ ν δεδομέν ν (όπ ς οι set, map και tuple) ς πεδία πίνακα. Οι ό οι ια τους οποίους ε ρή ηκε ότι το εμφ ευμένο μοντέ ο δεδομέν ν είναι κατα η ότερο από την πρώτη κανονική μορφή είναι οι εξής: Η ε ύτητα του μοντέ ου με τον τρόπο σκέψης τ ν προ ραμματιστών, και συνεπώς η φυσικότητα με την οποία το αντιμετ πίζουν, σε σ έση με την πρώτη κανονική μορφή. Ο ε ενώς εμφ ευμένος τρόπος με τον οποίο απο ηκεύονται τα δεδομένα. Για παράδει μα, ένας ανι νευτής ιστού (web crawler) μπορεί να παρά ει ς έξοδο, ια κά ε url, το σύνο ο τ ν εξερ όμεν ν συνδέσμ ν (outlinks) από το συ κεκριμένο url. Επειδή, όμ ς το Pig ειτουρ εί απευ είας πάν σε αρ εία δεδομέν ν, όπ ς εξη ήσαμε και σε προη ούμενη υποενότητα, η διαδικασία του να δια ριστούν τα δεδομένα του αρ είου ώστε να έρ ουν σε πρώτη κανονική μορφή, και έπειτα ο επανασυνδυασμός τους μέσ συνδέσε ν (joins) αποδεικνύεται εξαιρετικά ρονο όρος και υπο ο ιστικά ακρι ός ια δεδομένα της τάξε ς τ ν εκατοντάδ ν GB. Το εμφ ευμένο μοντέ ο επιτρέπει την εκπ ήρ ση του στό ου ια μία ώσσα, στην οποία κά ε ήμα εκτε εί μόνο ένα μετασ ηματισμό πάν στα δεδομένα. Για παράδει μα, κά ε π ειάδα εξόδου που παρά εται από τον τε εστή GROUP έ ει ένα μη ατομικό πεδίο: ένα εμφ ευμένο σύνο ο από π ειάδες της εισόδου, οι οποίες ανήκουν στη συ κεκριμένη ομάδα. Με το εμφ ευμένο μοντέ ο δεδομέν ν ίνεται ευκο ότερο ια τους προ ραμματιστές να ράψουν ένα π ούσιο σύνο ο από συναρτήσεις οριζόμενες από το ρήστη (user defined functions). Συναρτήσεις οριζόμενες από το ρήστη Ένα πο ύ σημαντικό κομμάτι της ανά υσης τ ν δεδομέν ν είναι η προσαρμοσμένη επεξερ ασία. Η ανά κη ια προσαρμοσμένη επεξερ ασία μπορεί να 25

26 26 ΚΕΦΑΛΑΙΟ 3. PIG ΚΑΙ PIG LATIN προκύψει κατά την ανά υση αρ εί ν κατα ραφής αναζητήσε ν (search logs) ή την επεξερ ασία δεδομέν ν από ανι νευτές ιστού (web crawlers). Για παράδει μα, κάποιος ρήστης μπορεί να έ ει να πρα ματοποιήσει στε έ ση φυσικής ώσσας (natural language stemming) ια έναν συ κεκριμένο όρο, ή να αποφαν εί αν μία συ κεκριμένη σε ίδα είναι ή ό ι διαφημιστική (spam). Η P iglatin, ια να διευκο ύνει τέτοιες ειδικές ερ ασίες επεξερ ασίας δεδομέν ν, παρέ ει εκτενή υποστήριξη ια συναρτήσεις οριζόμενες από το ρήστη (user defined functions, UDFs). Στην πρα ματικότητα, κά ε όψη επεξερ ασίας στην P iglatin, συμπερι αμ ανομέν ν τ ν πράξε ν της ομαδοποίησης (grouping), του φι τραρίσματος (filtering), της σύνδεσης (joining) και της ανά π ειάδα επεξερ ασίας (per tuple processing), μπορούν να παραμετροποιη ούν μέσ της ρήσης τέτοι ν συναρτήσε ν. Όσον αφορά τις UDFs, τόσο η είσοδος, όσο και η έξοδός τους ακο ου- ούν το εμφ ευμένο μοντέ ο δεδομέν ν. Αυτό σημαίνει ότι μία UDF έ ει τη δυνατότητα να δέ εται μη ατομικές παραμέτρους ς είσοδο και να παρά ει μη ατομικές τιμές ς έξοδο. Αυτή η ευε ιξία που παρέ ει η P iglatin αποδεικνύεται συ νά πο ύ ρήσιμη, όπ ς μπορούμε να δούμε και στο παρακάτ παράδει μα: Έστ, οιπόν, ότι έ ουμε και πά ι τον πίνακα με το όνομα urls, με πεδία: url, category, pagerank. Από αυτόν τον πίνακα, ζητάμε να εντοπίσουμε, ια κά ε κατη ορία, τα top 10 urls, σύμφ να με το pagerank. Στην P iglatin κάποιος α μπορούσε απ ά να ράψει groups = GROUP u r l s BY category ; output = FOREACH groups GENERATE category, top10 ( u r l s ) ; όπου το top10() είναι μια UDF, η οποία δέ εται ένα σύνο ο από urls ( ια μία ομάδα τη φορά), και παρά ει ς έξοδο ένα σύνο ο που περιέ ει τα top 10 urls σύμφ να με το pagerank ια τη συ κεκριμένη ομάδα. Σε αυτή την περίπτ ση μπορούμε να παρατηρήσουμε ότι το τε ικό αποτέ εσμα περιέ ει μη ατομικά πεδία, αφού υπάρ ει μία π ειάδα ια κά ε κατη ορία, και ένα από τα πεδία της κά ε τέτοιας π ειάδας είναι το σύνο ο τ ν top 10 urls ια την κατη ορία στην οποία αναφέρεται η π ειάδα. Τέ ος, πρέπει να σημει εί ότι ο τύπος επιστροφής μίας UDF δεν περιορίζει το π αίσιο στο οποίο μπορεί να ρησιμοποιη εί. Η P iglatin έ ει μόνο έναν τύπο UDF, ο οποίος μπορεί να ρησιμοποιη εί παντού (όπ ς ια παράδει μα στο φι τράρισμα, στην ομαδοποίηση, κ.ά.), σε αντί εση με την SQL, η οποία επιτρέπει μόνο σε α μ τές συναρτήσεις να ρησιμοποιούνται στην πρόταση SELECT, σε αποτιμήσιμες συναρτήσεις να εμφανίζονται μόνο 26

27 3.2. PIG LATIN 27 στην πρόταση F ROM, και συνα ροιστικές συναρτήσεις μόνο σε συνδυασμό με GROUP BY ή P ART IT IONBY. Παρα η ισμός Επειδή η P iglatin έ ει ς ασικό στό ο την επεξερ ασία τεραστί ν ποσοτήτ ν δεδομέν ν, δεν έ ει νόημα να υπάρ ει πρό εψη ια μη παρά η η εκτέ εση. Συνεπώς, στην P iglatin περι αμ άνεται μόνο ένα μικρό σύνο ο προσεκτικά επι ε μέν ν εντο ών, οι οποίες έ ουν τη δυνατότητα να παρα - η ιστούν με ευκο ία. Εντο ές οι οποίες δεν επιτρέπουν την αποδοτική παρά η η εκτέ εση (όπ ς ια παράδει μα η εντο ές σύνδεσης με συν ήκες ανισότητας (non-equi-joins)), έ ουν παρα ειφ εί εκ προ έσε ς. 27

28 28 ΚΕΦΑΛΑΙΟ 3. PIG ΚΑΙ PIG LATIN 28

29 Κεφά αιο 4 Θέματα Υ οποίησης Στο κεφά αιο αυτό α εξετάσουμε σε περισσότερο ά ος τις πτυ ές του συστήματος Pig, όπ ς αυτές περι ράφονται στο [10], και οι οποίες διαφέρουν σε σ έση με τα συμ ατικά συστήματα άσε ν δεδομέν ν που ασίζονται στην SQL. Αρ ικά α πρα ματοποιήσουμε μία σύντομη επισκόπηση του συστήματος. Στη συνέ εια, α εξετάσουμε τον τρόπο με τον οποίο ίνεται η μετα ώττιση του φυσικού π άνου σε π άνο εκτέ εσης MapReduce. Τέ ος, α ασ ο η ούμε με τις εξ τερικές ροές δεδομέν ν και με έματα απόδοσης. 4.1 Επισκόπηση του συστήματος Το σύστημα Pig, όπ ς έ ουμε αναφέρει και στο προη ούμενο κεφά αιο, δέ εται ένα πρό ραμμα σε P iglatin ς είσοδο, και το μετατρέπει σε μία ή περισσότερες ερ ασίες MapReduce. Έπειτα, εκτε εί αυτές τις ερ ασίες σε μία δεδομένη συστάδα υπο ο ιστών, η οποία τρέ ει Hadoop. Ειδικότερα, το Pig δια έτει τρεις διαφορετικές ειτουρ ίες α η επίδρασης με το ρήστη: Διαδραστική ειτουρ ία (interactive mode): Σε αυτή τη ειτουρ ία παρουσιάζεται στο ρήστη το κέ υφος α η επίδρασης Grunt, το οποίο δέ εται εντο ές σε P iglatin. Σε αυτή τη ειτουρ ία ο ρήστης μπορεί να π ηκτρο ο εί σε πρα ματικό ρόνο τις εντο ές που επι υμεί, και να τις υπο ά ει προς εκτέ εση στο σύστημα. Ωστόσο, πρέπει να σημει εί ότι το σύστημα δεν εκτε εί άμεσα καμία από τις εντο ές που υπο ά ει ο ρήστης, α ά η εκτέ εση τ ν εντο ών πυροδοτείται μό- ις ο ρήστης ζητήσει τα αποτε έσματα στην έξοδο, μέσ της εντο ής ST ORE. 29

30 30 ΚΕΦΑΛΑΙΟ 4. ΘΕΜΑΤΑ ΥΛΟΠΟΙΗΣΗΣ Σ ήμα 4.1: Στάδια μετα ώττισης και εκτέ εσης του Pig.[10] Μαζική ειτουρ ία (batch mode): Στην ειτουρ ία αυτή, ο ρήστης παρέ ει στο σύστημα ένα αρ είο κώδικα (script) που περιέ ει μία σειρά εντο ών Pig (οι εντο ές αυτές, τυπικά, τε ειώνουν και πά ι με την εμφάνιση της εντο ής ST ORE). Ο τρόπος εκτέ εσης τ ν εντο ών δεν διαφέρει από την Διαδραστική ειτουρ ία. Ενσ ματ μένη ειτουρ ία (embedded mode): Αυτή η ειτουρ ία επιτρέπει στο Pig να παρέ εται ς ι ιο ήκη της Java, επιτρέποντας, έτσι, την υπο ο ή εντο ών P iglatin μέσ συναρτησιακών κ ήσε ν από κάποιο πρό ραμμα σε Java. Η συ κεκριμένη ειτουρ ία επιτρέπει την δυναμική κατασκευή προ ραμμάτ ν σε P iglatin, όπ ς επίσης και τον δυναμικό έ ε ο ροής, ια παράδει μα την επανά ηψη ια ένα μη προκα ορισμένο αρι μό επανα ήψε ν, αρακτηριστικό που δεν υποστηρίζεται απευ είας από την P iglatin. Ασ έτ ς από την συ κεκριμένη ειτουρ ία εκτέ εσης του Pig που επι- έ εται από τον ρήστη κά ε φορά, κά ε πρό ραμμα που υπο ά εται προς εκτέ εση περνάει μέσα από μια σειρά ημάτ ν που το μετασ ηματίζουν, πριν εκτε εστεί τε ικά. Στο σ ήμα 4.1 φαίνεται η σειρά τ ν ημάτ ν που ακο ου- ούνται: 30

31 4.2. ΜΕΤΑΤΡΟΠΗ ΛΟΓΙΚΟΥ ΠΛΑΝΟΥ ΣΕ ΠΛΑΝΟ ΕΚΤΕΛΕΣΗΣ MAPREDUCE 31 Το πρώτο ήμα είναι η ανά υση του προ ράμματος (parsing). Ο ανα υτής (parser) επα η εύει την ορ ή σύνταξη του προ ράμματος και τον σ στό ορισμό ό ν τ ν μετα ητών που ρησιμοποιούνται. Επίσης, ο ανα υτής εκτε- εί έ ε ο τύπ ν (type checking) και συμπερασμό του σ ήματος (schema inference). Επιπρόσ ετα, σε αυτό το ήμα εκτε ούνται και διάφοροι ά οι έ ε οι, όπ ς η επα ή ευση της δυνατότητας αρ ικοποίησης κ άσε ν που αναφέρονται σε UDFs και η επι ε αί ση της ύπαρξης τ ν όποι ν εξ τερικών εκτε έσιμ ν αρ εί ν αναφέρονται από το πρό ραμμα του ρήστη. Η έξοδος του ανα υτή είναι ένα κανονικό ο ικό π άνο (canonical logical plan), το οποίο έ ει ένα προς ένα αντιστοι ία ανάμεσα στις προτάσεις σε P iglatin και στους ο ικούς τε εστές, και αναπαρίσταται ς ένας κατευ υνόμενος, άκυκ ος ράφος (directed acyclic graph, DAG). Στο δεύτερο ήμα, το ο ικό π άνο που δημιουρ είται από τον ανα υτή περνάει μέσα από ένα ο ικό ε τιστοποιητή (logical optimizer). Σε αυτό το στάδιο πρα ματοποιούνται ο ικές ε τιστοποιήσεις, όπ ς η μεί ση της προ ο ής (projection pushdown). Στη συνέ εια, το ε τιστοποιημένο ο ικό π άνο μετα ττίζεται σε μία σειρά από ερ ασίες MapReduce, οι οποίες με τη σειρά τους υφίστανται και πά ι ε τιστοποίηση. Τέ ος, ο κατευ υνόμενος, άκυκ ος ράφος τ ν ε τιστοποιημέν ν ερ- ασιών MapReduce ταξινομείται τοπο ο ικά, και οι ερ ασίες υπο ά ονται στο Hadoop προς εκτέ εση, με την ίδια αυτή σειρά. Κατά την διάρκεια της διαδικασίας εκτέ εσης τ ν ερ ασιών από το Hadoop, το Pig κατα ράφει την κατάσταση εκτέ εσης του Hadoop και περιοδικά ενημερώνει το ρήστη ια την πρόοδο του συνο ικού προ ράμματος. Πι ανά ά η ή προειδοποιήσεις που προκύπτουν σε αυτό το στάδιο, κατα ράφονται επίσης και ανακοινώνονται στο ρήστη. 4.2 Μετατροπή ο ικού π άνου σε π άνο εκτέ εσης MapReduce Σε αυτή την ενότητα α περι ράψουμε την διαδικασία μετατροπής ενός ο- ικού π άνου σε ένα π άνο εκτέ εσης MapReduce. Αρ ικά α περι ράψουμε τους δύο διαφορετικούς τύπους π άνου και έπειτα α εξη ήσουμε πώς το Pig μεταφράζει το ένα π άνο στο ά ο και πώς ε τιστοποιεί το π άνο εκτέ εσης MapReduce. 31

32 32 ΚΕΦΑΛΑΙΟ 4. ΘΕΜΑΤΑ ΥΛΟΠΟΙΗΣΗΣ Σ ήμα 4.2: Λο ικό π άνο του Pig.[10] Δομή ο ικού π άνου Όπ ς έ ουμε αναφέρει στην προη ούμενη ενότητα, ένα πρό ραμμα σε P iglatin μεταφράζεται σε ένα ο ικό π άνο με μία ένα προς ένα αντιστοι ία πρότασης - ο ικού τε εστή. Στο παρακάτ παράδει μα μπορούμε να δούμε ένα πρό ραμμα P iglatin και το αντίστοι ο ο ικό π άνο του. Έστ, οιπόν, ότι έ ουμε το πρό ραμμα: A = LOAD ' f i l e 1 ' AS ( x, y, z ) ; B = LOAD ' f i l e 2 ' AS ( t, u, v ) ; C = FILTER A BY y>0; D = JOIN C BY x,b BY u ; E = GROUP D BY z ; F = FOREACH E GENERATE group,count(d) ; STORE F INTO ' output ' ; Στο πρό ραμμα αυτό αντιστοι εί το ο ικό π άνο του σ ήματος 4.2: 32

33 4.2. ΜΕΤΑΤΡΟΠΗ ΛΟΓΙΚΟΥ ΠΛΑΝΟΥ ΣΕ ΠΛΑΝΟ ΕΚΤΕΛΕΣΗΣ MAPREDUCE 33 Σ ήμα 4.3: Στάδια εκτέ εσης MapReduce.[10] Στο σ ήμα 4.2, κά ε τε εστής σημαίνεται με το σ ήμα (schema) τ ν δεδομέν ν εξόδου του. Επιπ έον, οι α κύ ες συμ ο ίζουν ένα σάκο που περιέ ει π ειάδες (bag of tuples). Σε αυτό το σημείο μπορούμε να παρατηρήσουμε ότι (με εξαίρεση τα εμφ ευμένα π άνα και τις ροές εξ τερικών αρ εί ν) το ο- ικό π άνο ενός ερ τήματος σε P iglatin μοιάζει πο ύ με σ εσιακή ά ε ρα όπου οι συναρτήσεις και οι συνα ροίσεις έ ουν οριστεί από το ρήστη Μοντέ ο εκτέ εσης MapReduce Μία ερ ασία Hadoop MapReduce αποτε είται από μία σειρά σταδί ν εκτέ- εσης, όπ ς φαίνεται και στο σ ήμα 4.3: Το στάδιο map επεξερ άζεται τα αρ ικά, ανεπεξέρ αστα δεδομένα εισόδου, ένα αντικείμενο τη φορά, και παρά ει μία ροή δεδομέν ν από αντικείμενα που σημαίνονται με κ ειδιά. Στο local sort στάδιο που ακο ου εί, τα δεδομένα που παρά ονται από το στάδιο map κά ε μη ανήματος ταξινομούνται με άση το κ ειδί τους. Έπειτα, τα τοπικώς ταξινομημένα δεδομένα (προαιρετικά) περνάνε από το στάδιο combiner όπου υφίστανται μερική συνά ροιση, με άση το 33

34 34 ΚΕΦΑΛΑΙΟ 4. ΘΕΜΑΤΑ ΥΛΟΠΟΙΗΣΗΣ κ ειδί. Στη συνέ εια, στο στάδιο shuffle τα δεδομένα επαναδιαμοιράζονται ανάμεσα στις μη ανές, έτσι ώστε να επιτευ εί μία συνο ική ορ άν ση τ ν δεδομέν ν, με άση το κ ειδί τους. Ακο ού ς, στο στάδιο merge, ό α τα δεδομένα που παρα αμ άνονται από ένα συ κεκριμένο μη άνημα συνδυάζονται σε μία και μοναδική ταξινομημένη ροή. (Σε περίπτ ση που ο αρι μός τ ν ροών είναι με ά ος, εκτε ούνται πο απ ά περάσματα.) Τε ικά, στο στάδιο reduce ίνεται η επεξερ ασία (τις περισσότερες φορές κάποια πράξη συνά- ροισης) τ ν δεδομέν ν που σ ετίζονται με το κά ε κ ειδί, ανά κ ειδί Μετα ώττιση σε MapReduce Για την μετατροπή ενός ο ικού π άνου σε π άνο εκτέ εσης MapReduce, το Pig ακο ου εί την εξής διαδικασία: 1. Το ο ικό π άνο (logical plan) μετατρέπεται σε φυσικό π άνο (physical plan). Η μετατροπή αυτή περι αμ άνει την αντικατάσταση τ ν ο ικών τε εστών από φυσικούς τε εστές. Στις περισσότερες περιπτώσεις, κά ε ο ικός τε εστής μετατρέπεται σε έναν αντίστοι ο φυσικό τε εστή. Εξαίρεση αποτε εί ο ο ικός τε εστής (CO)GROUP, ο οποίος κατά την μετατροπή αντιστοι ίζεται σε μία σειρά τριών φυσικών τε εστών: local rearrange, global rearrange και package. Ο όρος rearrange αναφέρεται είτε σε ειτουρ ία κατακερματισμού, είτε σε ειτουρ ία ταξινόμησης. Επιπ έον, ο συνδυασμός local rearrange και global rearrange έ ει ς αποτέ εσμα τα δεδομένα να τακτοποιη ούν με τέτοιον τρόπο, έτσι ώστε ό ες οι π ειάδες που έ ουν το ίδιο group by κ ειδί να κατα ήξουν στο ίδιο μη άνημα και διαδο ικά στη ροή δεδομέν ν. Επίσης, ο ο ικός τε εστής JOIN, μπορεί να μετατραπεί με δύο διαφορετικούς τρόπους: Να επανα ραφεί ς ο τε εστής COGROUP ακο ου ούμενος από τον τε εστή F OREACH, έτσι ώστε να εκτε έσει επιπεδοποίηση (flattening), η οποία με τη σειρά της παρά ει ένα παρά η ο (parallel) hash join ή ένα sort merge join. Να παρά ει ένα fragment replicate join, το οποίο εκτε είται είτε αποκ ειστικά στο στάδιο map, είτε αποκ ειστικά στο στάδιο reduce, ανά ο α με το τι ά ες ειτουρ ίες εκτε ούνται αμέσ ς πριν ή αμέσ ς μετά από αυτή. 34

35 4.2. ΜΕΤΑΤΡΟΠΗ ΛΟΓΙΚΟΥ ΠΛΑΝΟΥ ΣΕ ΠΛΑΝΟ ΕΚΤΕΛΕΣΗΣ MAPREDUCE 35 Σ ήμα 4.4: Μετατροπή ο ικού σε φυσικό π άνο.[10] 2. Έ οντας κατασκευάσει το φυσικό π άνο, το Pig προ ράει στην ανά- εση τ ν φυσικών τε εστών σε στάδια του Hadoop, με στό ο να ε α- ιστοποιήσει τον συνο ικό αρι μό τ ν σταδί ν reduce που ρειάζονται. Έτσι, παρά εται το π άνο MapReduce. Σε αυτό το π άνο, ο τε εστής local rearrange απ ά σημαίνει τις π ειάδες με κ ειδιά και ανα ν ριστικά ροής και αφήνει το στάδιο sort του Hadoop να κάνει την υπό οιπη δου ειά. Οι τε εστές global rearrange αφαιρούνται, επειδή η ο ική τους υ οποιείται από τα στάδια shuffle και merge του Hadoop. Επίσης, και οι τε εστές LOAD και ST ORE αφαιρούνται, μιας και η ανά- ν ση και η ε ραφή τ ν δεδομέν ν ανα αμ άνεται από το framework του Hadoop. Στα σ ήματα 4.4 και 4.5 φαίνεται το αποτέ εσμα τις μετατροπής, σύμφ να με τη διαδικασία που περι ράψαμε παραπάν : 35

36 36 ΚΕΦΑΛΑΙΟ 4. ΘΕΜΑΤΑ ΥΛΟΠΟΙΗΣΗΣ Σ ήμα 4.5: Μετατροπή φυσικού π άνου σε π άνο MapReduce.[10] Βε τιστοποίηση π άνου και δημιουρ ία ερ- ασίας MapReduce Βε τιστοποίηση π άνου Από τη στι μή που έ ει δημιουρ η εί ένα π άνο MapReduce, υπάρ ει ακόμη ώρος ια επιπ έον ε τιστοποιήσεις. Μία από αυτές, η οποία υ οποιείται αυτή τη στι μή από το Pig έ ει ς εξής: το Pig διασπάει τις διανέμουσες και α ε ρικές συνα ροιστικές συναρτήσεις (όπ ς ια παράδει μα η AV ERAGE) σε μία ακο ου ία τριών ημάτ ν: 1. Στο ήμα initial, στο οποίο πρα ματοποιείται η δημιουρ ία ζευ ών (sum, count), 2. στο ήμα intermediate, στο οποίο συνδυάζονται n ζεύ η (sum, count) σε ένα μόνο ζεύ ος 3. και στο ήμα final, στο οποίο συνδυάζονται n ζεύ η (sum, count) και αμ άνεται το πη ίκο. Αυτά τα τρία ήματα αντιστοι ίζονται στα στάδια map, combine και reduce. 36

37 4.3. ΡΟΕΣ 37 Σύμφ να με το [10], ρησιμοποιώντας τον combiner όσο πιο επι ετικά ίνεται, έ ει δύο π εονεκτήματα. Το πρώτο π εονέκτημα είναι ότι μειώνεται ο ό κος τ ν δεδομέν ν που α ειριστούν τα στάδια shuffle και merge, τα οποία συ νά κατανα ώνουν σημαντικό μέρος του ρόνου εκτέ εσης της ερ ασίας. Το δεύτερο π εονέκτημα είναι ότι με το combining τείνει να εξισορροπείται το ποσό τ ν δεδομέν ν που σ ετίζεται με κά ε ένα κ ειδί, πρά μα το οποίο μειώνει τις αποκ ίσεις μεταξύ του ρόνου εκτέ εσης και του φόρτου τ ν μη ανημάτ ν στο στάδιο reduce. Δημιουρ ία ερ ασίας MapReduce Το τε ευταίο ήμα της μετα ώττισης είναι η μετατροπή κά ε συνδυασμού MapReduce (ή σκέτου Map) σε μία περι ραφή ερ ασίας Hadoop, έτσι ώστε να μπορέσει να τροφοδοτη εί στο Hadoop ια εκτέ εση. Αυτό το ήμα περι αμ άνει την δημιουρ ία ενός.jar αρ είου, το οποίο περιέ ει τις κ άσεις υ οποίησης ια τις Map και Reduce, όπ ς και πι ανές UDFs, οι οποίες α κ η ούν ς μέρος της ερ ασίας προς εκτέ εση. 4.3 Ροές Ένας από τους στό ους του Pig είναι να επιτρέπει στους ρήστες να ενσ ματώνουν δικό τους κώδικα όπου είναι απαραίτητο στην διαδικασία της επεξερ ασίας τ ν δεδομέν ν. Με τις UDFs, παρέ εται ένας τέτοιος τρόπος στο ρήστη να ια συμπερι ά ει δικό του κώδικα. Το μειονέκτημα τ ν UDFs, έ αια, είναι ότι πρέπει να είναι ραμμένες σε Java ( ίνεται προσπά εια ια υποστήριξη περισσότερ ν σσών) και ότι πρέπει να είναι εναρμονισμένες με τη διεπαφή UDF του Pig. Οι ροές (streaming) επιτρέπουν σε δεδομένα τα οποία παρά ονται από εξ τερικά εκτε έσιμα αρ εία να παρέ ονται απευ είας ς ροή δεδομέν ν στην διαδικασία επεξερ ασίας δεδομέν ν του Pig. Έτσι, οι ρήστες είναι σε έση να αναμείξουν σ εσιακές ειτουρ ίες, όπ ς η ομαδοποίηση ή το φι τράρισμα με προσαρμοσμένα ή απαρ αι μένα εκτε έσιμα αρ εία. Τα εκτε έσιμα, αυτά, αρ εία, αμ άνουν την είσοδό τους από την προκα ορισμένη είσοδο ή από ένα αρ είο και ράφουν την έξοδο στην προκα ορισμένη έξοδο ή σε ένα αρ είο, επίσης. Για να δη εί η ροή ενός τέτοιου εκτε έσιμου αρ είου ρησιμοποιείται ειδική σύνταξη στην P iglatin, όπου κα ορίζονται οι διαδρομές (μαζί με τα ονόματα τ ν εκτε έσιμ ν) της εισόδου και της εξόδου, 37

38 38 ΚΕΦΑΛΑΙΟ 4. ΘΕΜΑΤΑ ΥΛΟΠΟΙΗΣΗΣ κα ώς και οι μορφές εισόδου και εξόδου με τις οποίες ρησιμοποιεί το συ- κεκριμένο εκτε έσιμο. Τέ ος, είναι πο ύ σημαντικό ότι στην P iglatin οι είσοδοι και οι έξοδοι από τα ήματα που έ ουν σ έση με ροές είναι σημασιο- ο ικά και συντακτικά οι ίδιες όπ ς και στα κανονικά σύνο α δεδομέν ν του Pig. Αυτό σημαίνει ότι οι ειτουρ ίες που αφορούν τις ροές μπορούν να συνδυαστούν και με ά ες ειτουρ ίες του Pig, όπ ς το φι τράρισμα (F ILT ER) και η σύνδεση (JOIN). 4.4 Απόδοση Για τις αρ ικές εκδόσεις του Pig, αυτό που εί ε σημασία ήταν η παρο ή της απαραίτητης ειτουρ ικότητας και απόδειξη της σκοπιμότητας του συστήματος ήταν η πρώτη προτεραιότητα. Όμ ς, κα ώς το Pig άρ ισε να υιο- ετείται ευρέ ς, η απόδοση του συστήματος πήρε ρή ορα τον υψη ότερο α μό προτεραιότητας. Έτσι, ια να καταστεί εφικτό να μετρη εί η απόδοση και η πρόοδος που ίνεται ανά ο α με τις επερ όμενες α α ές στον κώδικα του συστήματος, σ εδιάστηκε ένα ειδικό τεστ απόδοσης (benchmark) με το όνομα P ig Mix. Το P ig Mix εξετάζει σ εδόν ό ες τις ειτουρ ίες του Pig και είναι περίπου αντιπροσ πευτικό όσον αφορά το πώς ρησιμοποιείται το σύστημα σε κα ημερινή άση. Αποτε είται από μία συ ο ή προ ραμμάτ ν σε P iglatin, μαζί με τα σ ετικά σύνο α δεδομέν ν που απαιτούνται, και επίσης περι αμ άνει μία αντίστοι η υ οποίηση του κά ε προ ράμματος σε σκέτο MapReduce Χαρακτηριστικά που ε έ ονται Τα αρακτηριστικά του Pig που ε έ ονται ς προς την απόδοση έ ουν επι ε εί από την ομάδα ανάπτυξης του συστήματος με άση τα αρακτηριστικά που ρησιμοποιούνται περισσότερο στα τυπικά προ ράμματα που υπο- ά ει ο μέσος ρήστης στο σύστημα. Τα πιο σημαντικά από αυτά είναι: Ενώσεις (joins): κατανεμημένα hash-sort-merge join όπ ς και fragmentreplicate join. Ομαδοποιήσεις και συνομαδοποιήσεις (grouping and coogrouping): περι αμ άνεται και το GROUP ALL, στο οποίο ό ες οι π ειάδες συ - έ ονται σε μία και μόνη ομάδα (όπ ς ια παράδει μα στην περίπτ ση που έ ουμε να α ροίσουμε τις τιμές ό ν τ ν π ειάδ ν) 38