Κατανεμημένος και Παράλληλος Προγραμματισμός Ηλίας Κ. Σάββας Αναπληρωτής Καθηγητής Τμήμα Μηχανικών Πληροφορικής ΤΕ, ΤΕΙ Θεσσαλίας Email: savvas@teilar.gr Hadoop and MapReduce Download Install - Configure Παραδείγματα Από: Apache Hadoop:http://hadoop.apache.org/ Πλατφόρμες που υποστηρίζει: GNU/Linux για ανάπτυξη εφαρμογών και πλατφόρμα παραγωγής, Win32 για ανάπτυξη εφαρμογών. Κατανεμημένες λειτουργίες δεν έχουν ακόμη ελεγχθεί και κατά συνέπεια δεν υποστηρίζεται σαν πλατφόρμα παραγωγής. 3 1
Java Ελάχιστο απαιτούμενο λογισμικό (Linux) και Windows: JavaTM 1.6.x, κατά προτίμηση από την Sun, Έλεγχος: %java -version java version "1.6.0_20 OpenJDK Runtime Environment (IcedTea6 1.9.5) (6b20-1.9.5-0ubuntu1~10.04.1) OpenJDK Client VM (build 19.0-b09, mixed mode, sharing) Εάν δεν είναι εγκατεστημένη: download και install sun-java6- jdk: %sudo apt-get install sun-java6-jdk Και έλεγχος πάλι: %java -version 4 Απαιτείται: ssh / sshd Secure SHell (ssh): δικτυακό πρωτόκολλο που επιτρέπει την ασφαλή μετάδοση δεδομένων μεταξύ δύο κόμβων ενός δικτύου (χρησιμοποιεί κρυπτογραφία public-key cryptography για αυθεντικοποίηση του απομακρυσμένου κόμβου και επιτρέπει ο απομακρυσμένος κόμβος να αυθεντικοποιεί τον χρήστη), sshd (ssh Daemon) είναι το πρόγραμμα daemon για το ssh. Αυτά τα δύο προγράμματα μαζί αντικαθιστούν το rlogin και rsh, παρέχοντας ασφαλή κρυπτογραφημένη επικοινωνία μεταξύ δύο (un-trusted) κόμβων μέσω ενός μη ασφαλούς δικτύου. Το sshd είναι ο daemon που ακούει τις συνδέσεις από τους clients. rsync: λογισμικό που συγχρονίζει αρχεία και καταλόγους μεταξύ απομακρυσμένων κόμβων. Εγκατάσταση των ssh rsync: $ sudo apt-get install ssh $ sudo apt-get install rsync 5 Downloading Hadoop Από: http://hadoop.apache.org/common/releases.html, download download a release now hadoop-0.21.0/ hadoop-0.21.0.tar.gz Unzip το package και μετονομασία, στην περίπτωσή μου: /home/ilias/hadoop Configure hadoop-env.sh (path : /home/ilias/hadoop/conf/hadoop-env.sh) Να αλλαχτεί το: # The java implementation to use. Required. # export JAVA_HOME=/usr/lib/j2sdk1.5-sun Σε: # The java implementation to use. Required. export JAVA_HOME=/usr/lib/jvm/java-6-sun 6 2
Pseudo-Distributed Λειτουργία Μερικά επιπλέον configuration settings στο hadoop/conf/*-site.xml conf/core-site.xml: <configuration> <property> <name>fs.default.name</name> <value>hdfs://localhost:9000</value> </property> </configuration> 7 Configuration Settings (1 από 2) conf/hdfs-site.xml: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 8 Configuration Settings (2 από 2) nconf/mapred-site.xml: <configuration> <property> <name>mapred.job.tracker</name> <value>localhost:9001</value> </property> </configuration> 9 3
Μερικά βήματα ακόμη... Το Hadoop απαιτεί πρόσβαση ssh για να διαχειριστεί τους κόμβους (και τους απομακρυσμένους αλλά και τον τοπικό): Έλεγχος ssh: $ ssh localhost Εάν δεν επιτραπεί η πρόσβαση τότε θα δοκιμάσουμε με passphrase: Δημιουργία ζεύγους public/private κλειδιών: $ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa Προσθήκη στα αυθεντικά κλειδιά: $ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys 10 HDFS Architecture from: http://hadoop.apache.org/core/docs/current/hdfs_design.html) 11 Και τώρα...είμαστε έτοιμοι! Δημιουργία με format ενός νέου dfs (το τοπικό namenode): $ bin/hadoop namenode format Όχι format όσο το hadoop τρέχει, θα χαθούν όλα τα δεδομένα! Εκκίνηση όλων των hadoop's daemons: $ bin/start-all.sh localhost: starting datanode, logging to /home/ilias/hadoop/bin/../logs/hadoop-ilias-datanode-iliasdesktop.out localhost: starting secondarynamenode, logging to /home/ilias/hadoop/bin/../logs/hadoop-ilias-secondarynamenodeilias-desktop.out starting jobtracker, logging to /home/ilias/hadoop/bin/../logs/hadoopilias-jobtracker-ilias-desktop.out localhost: starting tasktracker, logging to /home/ilias/hadoop/bin/../logs/hadoop-ilias-tasktracker-iliasdesktop.out 12 4
Τερματισμός Τερματισμός όλων: $ bin/stop-all.sh localhost: stopping datanode localhost: stopping secondarynamenode stopping jobtracker localhost: stopping tasktracker 13 Startup Scripts start-all.sh / stop-all.sh: εκκίνηση/τερματισμός όλων των Hadoop daemons, δηλ. τα namenodes, datanodes, jobtracker και tasktrackers, start-mapred.sh / stop-mapred.sh: εκκίνηση/τερματισμός των Hadoop Map/Reduce daemons, δηλ. των jobtracker και tasktrackers, start-dfs.sh / stop-dfs.sh: εκκίνηση/τερματισμός των Hadoop DFS daemons, δηλ. των namenodes και datanodes. Επιπλέον scripts και documentation: wiki.apache.org/hadoop/gettingstartedwithhadoop 14 Πειραματίζοντας με το Hadoop Ας τρέξουμε ένα παράδειγμα που δίνεται από το Hadoop: $ ssh localhost $ bin/start-all.sh Αντιγραφή των input files στο κατανεμημένο σύστημα αρχείων $ bin/hadoop fs -put conf input Εκτέλεση του παρδείγματος: $ bin/hadoop jar hadoop-mapred-examples-0.21.0.jar grep input output 'dfs[a-z.]+ Πρόοδος Στο (μπορούμε να ανοίξουμε πολλά terminals και να τρέξουμε την ίδια job), Ή σε Namenodes: http://localhost:50070/ (filesystem, nodes, logs, κλπ., δείτε το!) Jobtracker: http://localhost:50030/ (job και tasks, δείτε το!) Και να μην ξεχάσουμε: $ bin/stop-all.sh 15 5
Tips Debugging των προγραμμάτων μας: http://wiki.apache.org/hadoop/howtodebugmapreduceprograms Τρέχουν οι διεργασίες του hadoop? $ jps 9600 DataNode 9411 NameNode. Ακούει το hadoop τα configured ports? $ sudo netstat -plten grep java tcp6 0 0 :::50030 :::* LISTEN 1000 133699 9903/java tcp6 0 0 :::37457 :::* LISTEN 1000 133248 9903/java... Προβλήματα? Ας δούμε τα log files στο /logs/ directory: $ cat logs/history/done/job_201102041102_0002_ilias more 16 Python (ξανά..) mapp_user.py / reduce_user.py Είναι η αφαίρεση (aabstraction) το κλειδί του προγραμματισμού? Αφαιρετικό: πολυχρησιμοποιημένη τεχνική σε τέχνες, μουσική, ιστορία κλπ Το 'abstract' σημαίνει να απομακρύνεσαι, να μην αναφέρεσαι σε κάτι συγκεκριμένο. Από:http://www.huntfor.com/arthistory/ C20th/abstraction.htm 18 6
Abstraction 1. Η διαδικασία της αφαίρεσης / απομάκρυνσης λεπτομερειών ώστε να απλοποιήσει και να επισύρει την προσοχή. Ορισμοί: Η τέχνη της αφαίρεσης / απομάκρυνσης από κάτι, Η τέχνη του να αφαιρεθεί η προσοχή από κάποιες ιδιότητες ενός σύνθετου αντικειμένου έτσι ώστε να δοθεί έμφαση σε άλλες. 2. Η διαδικασία της γενίκευσης ώστε να προσδιορισθεί ο πυρήνας του προβλήματος: Η διαδικασία μορφοποίησης γενικών εννοιών αφαιρώντας κοινές ιδιότητες και σημεία, Μορφοποίηση μίας γενικής ιδέας αφαιρώντας κοινά χαρακτηριστικά. (από J. Kramer, Communications, ACM, Vol:50, n:4, pp:36-42) 19 Παράδειγμα: Ποιο είναι καλύτερο? A Display( Θα ήθελα αυγά παρακαλώ ); Display( Θα ήθελα σοκολάτα παρακαλώ ); και Γιατί? B Function print(food) { Display( Θα ήθελα, food, παρακαλώ ); } Print(αυγά); Print(σοκολάτα);. 20 Παράδειγμα: Ποιο είναι καλύτερο? A Display( Θα ήθελα αυγά παρακαλώ ); Display( Θα ήθελα σοκολάτα παρακαλώ ); Γιατί ο επαναλαμβανόμενος κώδικα δείχνει (και είναι) πολύ λάθος! B Function print(food) { Display( Θα ήθελα, food, παρακαλώ ); } Print(αυγά); Print(σοκολάτα);. 21 7
Data Intensive Computing Petabyte datasets και Gigabit data streams αποτελούν σήμερα την βάση για data-intensive εφαρμογές, Σε 10 χρόνια τι??? Προκλήσεις: Διαχείριση και επεξεργασία εκθετικά αυξανόμενων δεδομένων, τα οποία σε κάποιες περιπτώσεις φθάνουν σε time-sensitive streams από πίνακες, αισθητήρες ή μηχανήματα, Μείωση του χρόνου ανάλυση δεδομένων ώστε να μπορούν να λαμβάνονται αποφάσεις έγκαιρα. 22 Τα υπολογιστικά προβλήματα γίνονται Data-Centric Σήμερα υπολογιστικά συστήματα και επιστημονικά μηχανήματα παράγουν πληροφορία της τάξης των petascale. The computation systems are often be used to analyze these huge information stores. Με το Data Intensive Computing οι επιχειρήσεις πλέον είναι σε θέση να φιλτράρουν και να μειώνουν την πληροφορία ώστε να μπορούν να παίρνουν αποφάσεις ταχύτερα και με ακρίβεια sooner. Επί τη ευκαιρία: 1.9 zettabyte δεδομένων μεταφέρθηκαν το 2007 (1 zettabyte = 1,000 exabyte or 8x10 21 bit) 23 Applications of Data Intensive Computing Αστρονομία: Το Large Synoptic Survey Telescope (LSST:www.lsst.org) παράγει μερικά petabytes δεδομένων κάθε χρόνο, Το Square Kilometre Array (SKA:www.skatelescope.org) παράγει 200 Gbytes ακατέργαστων δεδομένων το δευτερόλεπτο. Cyber security: Τεράστιες ποσότητες ακατέργαστων δεδομένων πρέπει να παρέχουν αποτελέσματα σε δευτερόλεπτα ή λεπτά!!! Social computing: Αποθήκευση, διαχείριση, αναζήτηση και παράδοση στους χρήστες μέσω του internet. 24 8
MapReduce (παράδειγμα): Μέτρηση λέξεων (Word Count) Map_user.py #!/usr/bin/env python import sys # το import.sy είναι σαν stdio.h της C # διάβασμα ανά γραμμή for line in sys.stdin: # χώρισε την κάθε γραμμή σε λέξεις words = line.split() # αντιστοίχισε κάθε λέξη στο 1 for word in words: print '%s\t%s' % (word, 1) 26 reduce_user.py Προφανώς κάθε κείμενο έχει πολλές ίδιες λέξεις. Επομένως αυτές πρέπει να συνδυασθούν σε ένα μετρητή και να μετρηθούν. Η συνάρτηση reduce ξεκινάει την διαδικασία reduce για κάθε ζευγάρι και απλά συνδυάζει τις ίδιες λέξεις σε ένα ζευγάρι του τύπου <word, total_count>. 27 9
reduce_user.py #!/usr/bin/env python import sys # maps words to their counts word_counter_array = {} # input comes from STDIN for line in sys.stdin: # remove leading and trailing spaces from the line line = line.strip() # assign words to <word> and 1 to count (from the input produced by map_user.py word, count = line.split('\t', 1) # count works only with integers if (count.isdigit()): count = int(count) word_counter_array[word] = word_counter_array.get(word, 0) + count else: # do nothing pass # write the results to STDOUT (standard output) for word, count in word_counter_array.items(): print '%s\t%s' % (word, count) 28 Map / Reduce ilias@iliaslaptop:~/python_tests$ echo aaa bbb aaa aaa ccc aaa ddd aaa bbb" python map_user.py aaa 1 bbb 1 aaa 1 aaa 1 ccc 1 aaa 1 ddd 1 aaa 1 ddd 1 ilias@iliaslaptop:~/python_tests$ echo " aaa bbb aaa aaa ccc aaa ddd aaa bbb" python map_user.py python reduce_user.py aaa 5 bbb 1 ccc1 ddd 2 29 Running our Map Reduce Project... (plain text UTF-8): The Iliad by Homer: http://www.gutenberg.org/ebooks/6130 The Odyssey by Homer: http://www.gutenberg.org/ebooks/3160 Ulysses by James Joyce: http://www.gutenberg.org/ebooks/4300 30 10
Τι δεν μπορεί το MapReduce Ας θυμηθούμε ότι: MapReduce δεν είναι DBMS (σαν το BigTable)! Και δεν έχει σκοπό να αντικαταστήσει ένα DBMS. Επομένως δεν έχει δυνατότητες και δεν τις χρειάζεται) σαν: Indexing, Writing reports, Updates, Transactions, Views, κ.α. Το MapReduce αποτελεί ένα programming model για επεξεργασία και δημιουργία μεγάλων δεδομένων (data sets). 31 Συμπεράσματα MapReduce: Η τεχνική η οποία κάνει Google, Amazon, Ubuntu, Facebook, Yahoo, Και πολλά άλλα clouds, MASSIVELY SCALABLE! Ευχαριστίες στις «παλιές» functional programming γλώσσες (LISP, ML, SCHEME, ) 32 References Jeffrey Dean and Sanjay Ghemawat, MapReduce: Simplified Data Processing on Large Clusters, Google, Inc., OSDI 2004, The Hadoop Distributed File System: Architecture and Design, http://hadoop.apache.org/common/docs/r0.1 8.2/hdfs_design.pdf, Apache Hadoop, http://hadoop.apache.org/. 33 11
Ερωτήσεις; Τέλος της # 09 ενότητας Χρησιμοποιείστε το email για όποιες επιπλέον απορίες / ερωτήσεις: savvas@teilar.gr Σημειώσεις μαθήματος (και όχι μόνο): https://e-class.teilar.gr/courses/cs386/ Εισαγωγή Lecture στον #9: παράλληλο Hadoop και προγραμματισμό MapReduce 34 12