Επιστημονικοί Υπολογισμοί - Μέρος ΙΙΙ: Παράλληλοι Υπολογισμοί Χαρμανδάρης Βαγγέλης Τμήμα Εφαρμοσμένων Μαθηματικών Πανεπιστήμιο Κρήτης Εαρινό Εξάμηνο 2013/14
Περιεχόμενα Κεφάλαιο 1: Εισαγωγή Κεφάλαιο 2: Αρχιτεκτονική Κεφάλαιο 3: Θεωρία Απόδοση Παράλληλου Προγραμματισμού Κεφάλαιο 4: Παράλληλοι Αλγόριθμοι Κεφάλαιο 5: Λογισμικό Βασικές Εφαρμογές Ι Κεφάλαιο 6: Περισσότερες Εφαρμογές ΙΙ Κεφάλαιο 7: Ανώτερες Εφαρμογές ΙΙΙ Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 2
Κεφάλαιο 1: Εισαγωγή Τι Σημαίνει Παράλληλη Επεξεργασία; Νόμος Moore. Στόχοι και Αναγκαιότητα της Παράλληλης Επεξεργασίας. Υπολογιστική Ισχύς. Παραδείγματα. Λίγη Ιστορία. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 3
Τι Σημαίνει Παράλληλη Επεξεργασία; Παράλληλη επεξεργασία (parallel processing) είναι ο καταμερισμός ενός προβλήματος σε πολλά υπό-προβλήματα (ή αλλιώς διεργασίες). Κατόπιν τα επιμέρους προβλήματα-διεργασίες (processes) ανατίθενται σε διαφορετικούς επεξεργαστές (processors). Η παράλληλη επεξεργασία επιτυγχάνεται με την ανάπτυξη κατάλληλων παράλληλων αλγορίθμων. Σειριακοί - Παράλληλοι Αλγόριθμοι (Serial vs Parallel Algorithms) Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 4
Νόμος Moore Νόμος Moore: ο αριθμός των transistors ανά τετραγωνικό εκατοστό σε ένα ολοκληρωμένο κύκλωμα διπλασιάζεται κάθε 18 μήνες. Η υπολογιστική ισχύς ενός επεξεργαστή διπλασιάζεται κάθε 18 μήνες! Ιστορικά στοιχεία: Moore's original statement that transistor counts had doubled every year can be found in his publication "Cramming more components onto integrated circuits", Electronics Magazine 19 April 1965: «The complexity for minimum component costs has increased at a rate of roughly a factor of two per year... Certainly over the short term this rate can be expected to continue, if not to increase. Over the longer term, the rate of increase is a bit more uncertain, although there is no reason to believe it will not remain nearly constant for at least 10 years. That means by 1975, the number of components per integrated circuit for minimum cost will be 65,000» Ιn 1975, Moore altered his projection to a doubling every two years. Despite popular misconception, he is adamant that he did not predict a doubling "every 18 months". However, an Intel colleague had factored in the increasing performance of transistors to conclude that integrated circuits would double in performance every 18 months. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 5
Νόμος Moore Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 6
Αναγκαιότητα της Παράλληλης Επεξεργασίας Υπάρχει μεγάλη ανάγκη προσέγγισης δύσκολων και περίπλοκων προβλημάτων. Περίπλοκα προβλήματα μεγάλης κλίμακας - Προσομοιώσεις (Simulations): -- Κβαντική Χημεία, Στατιστική Φυσική -- Σχεδιασμός Υλικών -- Βιολογικών Συστημάτων (Χαρτογράφηση DNA, Παραγωγή Φαρμάκων) -- Πρόβλεψη Κλίματος -- Μελέτη Γεωλογικών Φαινομένων -- Αστροφυσική και Κοσμολογία -- Αεροναυπηγική ---... ΚΑΙ ΠΟΛΛΑ ΑΛΛΑ Αυτό σημαίνει ότι απαιτείται περισσότερη υπολογιστική ισχύς. Νόμος Moore Αγγίζοντας τα φυσικά όρια: Ο αριθμός των transistors ανά τετραγωνικό εκατοστό σε ένα ολοκληρωμένο κύκλωμα δεν μπορεί να αυξάνεται επ άπειρο. Λύση είναι οι παράλληλοι υπολογισμοί: ταυτόχρονη εκτέλεση προγραμμάτων σε πολλούς επεξεργαστές. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 7
Στόχοι της Παράλληλης Επεξεργασίας Βασικός στόχος της παράλληλης επεξεργασίας είναι η ανάπτυξη της υπολογιστικής ισχύος μέσω της χρήσης πολλών επεξεργαστών. -- Μελέτη περίπλοκων προβλημάτων μεγάλης κλίμακας. -- Επίλυση μεγαλύτερων προβλημάτων πολύ γρηγορότερα. Προκλήσεις παράλληλης επεξεργασίας: -- Συντονισμός, έλεγχος και παρακολούθηση των επεξεργαστών. -- Ανάπτυξη κατάλληλων παράλληλων αλγορίθμων. -- Βέλτιστη κατανομή υπο-προβλημάτων στους επεξεργαστές. -- Βέλτιστη (όσο το δυνατόν λιγότερη) επικοινωνία μεταξύ επεξεργαστών. -- Εύκολη μεταφορά των κωδίκων σε διαφορετικά υπολογιστικά συστήματα. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 8
Παράλληλοι Υπολογισμοί: Γιατί; Μείωση του πραγματικού χρόνου εκτέλεσης των προγραμμάτων. Μελέτη περίπλοκων προβλημάτων μεγάλης κλίμακας τα οποία απαιτούν πολύ μεγάλη μνήμη: μεγάλα προβλήματα-συστήματα δεν «χωράνε» στη μνήμη ενός μόνο υπολογιστή. Πλεονεκτήματα παράλληλων υπολογισμών: -- Επίλυση προβλημάτων που δεν μπορούν να λυθούν με ένα μόνο επεξεργαστή. -- Οικονομία; -- Υπάρχει πολύ διαθέσιμη μνήμη. Μειονεκτήματα παράλληλων υπολογισμών: -- Δυσκολία στην κατασκευή παράλληλων υπολογιστών. -- Η ανάπτυξη παράλληλων αλγορίθμων δεν είναι εύκολη υπόθεση. -- Η επικοινωνία μεταξύ επεξεργαστών μπορεί να σκοτώσει το πρόγραμμα. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 9
Υπολογιστική Ισχύς - Βασική Ορολογία flops: πράξεις πραγματικών αριθμών ανά δευτερόλεπτο (FLoating point Operations Per Second). -- Kilo-flops (Kflops): 10 3 flops, -- Mega-flops (Mflops): 10 6 flops, -- Giga-flops (Gflops): 10 9 flops, -- Tera-flops (Tflops): 10 12 flops, -- Peta-flops (Pflops): 10 15 flops Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 10
Παράδειγμα: Πρόγνωση Καιρού (in Parallel Programming by Wilkison) Η ατμόσφαιρα χωρίζεται σε 3D κελιά. Οι υπολογισμοί περιλαμβάνουν θερμοκρασία, πίεση, υγρασία, ταχύτητα-διεύθυνση ανέμου κλπ. και υπολογίζονται σε χρονικά διαστήματα, χρησιμοποιώντας πληροφορία από το προηγούμενο διάστημα. Παράδειγμα: Υποθέστε ότι κάθε κελί είναι 1 mile 3. Για μοντελοποίηση ατμόσφαιρας της Γης σε ύψος 10 miles χρειαζόμαστε περίπου 5 x 10 8 κελιά. Υποθέστε ότι για κάθε υπολογισμό (κελί) χρειαζόμαστε 200 Flops. Συνολικά 10 11 Flops για κάθε χρονικό βήμα. Πρόβλεψη καιρού για 10 μέρες σε χρονικά διαστήματα 2 λεπτών σημαίνει ~10 4 χρονικά βήματα και συνολικό κόστος: 10 15 Flops! Υποθέστε ότι τρέχουμε το πρόγραμμα σε υπολογιστή με ισχύς 100 Mflops. Ο χρόνος εκτέλεσης που απαιτείται είναι 10 7 sec ~ 100 μέρες. Υπολογιστής με ισχύς 1 Pflops (10 9 Mflops). Ο χρόνος εκτέλεσης που απαιτείται είναι 1 sec! Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 11
Υπολογιστική Ισχύς Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 12
Οι 10 καλύτεροι υπολογιστές στον κόσμο (06/2010) 1. Jaguar, Cray XT, Oak Ridge National Laboratory, USA, Cray XT5-HE Opteron Six Core 2.6 GHz, 2009, N=224256. 2. Nebulae, Dawning TC3600 Blade, Intel X5650, NVidia Tesla C2050 GPU, National Supercomputing Centre in Shenzhen (NSCS), China, 2010, N=120640. 3. Roadrunner, IBM Cluster, Los Alamos, USA, PowerXCell 8i 3.2 Ghz, Voltaire Infiniband 2009, Ν=122400. 4. Kraken XT5, Cray XT5-HE Opteron Six Core 2.6 GHz, 2009, N=98928. 5. Jugene, Forschungszentrum Juelich (FZJ), IBM Cluster, Germany, Blue Gene/P Solution, 2009, N= 294912. 6. Pleiades, SGI Altix, NASA/Ames Research Center/NAS, USA, Xeon QC 3.0/2.66 GHz, 2010, Ν=81920. 7. Tianhe-1, NUDT TH-1 Cluster, Xeon E5540/E5450, ATI Radeon HD 4870 2, Infiniband, National SuperComputer Center in Tianjin/NUDT, China, 2010, N= 71680. 8. BlueGene/L, IBM Cluster, USA, PowerPC 440 700 MHz, 2007, Ν=212992. 9. Intrepid, BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2007, Ν= 163840. 10. Red Sky, Sun Blade x6275, Xeon X55xx 2.93 Ghz, Infiniband, Sandia National Laboratories / National Renewable Energy Laboratory, USA, 2010, Ν= 42440. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 13
Οι 10 καλύτεροι υπολογιστές στον κόσμο (06/2009) 1. Roadrunner, IBM Cluster, Los Alamos, USA, PowerXCell 8i 3.2 Ghz, Voltaire Infiniband 2008, Ν=129600. 2. Jaguar, Cray XT, Oak Ridge National Laboratory, USA, Cray XT5 QC 2.3 GHz, 2008, N=150152. 3. Jugene, Forschungszentrum Juelich (FZJ), IBM Cluster, Germany, Blue Gene/P Solution, 2009, N= 294912. 4. Pleiades, SGI Altix, USA, Xeon QC 3.0/2.66 GHz, 2008, Ν=51200. 5. BlueGene/L, IBM Cluster, USA, PowerPC 440 700 MHz, 2007, Ν=212992. 6. Kraken XT5, Cray XT, USA, Cray XT5 QC 2.3 GHz, 2008, Ν=66000. 7. BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2007, Ν= 163840. 8. Ranger, Sun Blade System, USA, Opteron QC 2.3 Ghz, 2008, Ν= 62976. 9. BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2009, Ν= 147456. 10. JUROPA, Sun-Bull-ParTec Cluster, Germany, Intel Xeon X5570, 2.93 GHz, 2009, Ν= 26304. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 14
And the World s Fastest Computer (06/2009) Roadrunner Cluster of 18 Connected Units: 6912 AMD dual-core Opterons, 2960 IBM Cell edp accelerators. Achieve 1.1 Pflops! Communicaion: InfiniBand 4x DDR fabric. 107 TB aggregate memory! Cost: $ 120 million! Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 15
Roadrunner Cell (microporcessor) architecture: the basic configuration is a multi-core chip composed of one "Power Processor Element" ("PPE") (sometimes called "Processing Element", or "PE"), and multiple "Synergistic Processing Elements" ("SPE"). The PPE and SPEs are linked together by an internal high speed bus dubbed "Element Interconnect Bus" ("EIB"). Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 16
Roadrunner: Example of Applications SPaSM (Scalable Parallel Short-Range Molecular Dynamics) code: Simulations of Metals VPIC code: Plasma simulation Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 17
Λίγη Ιστορία 1946: Alan Turing presents the first detailed design of a stored-program computer. 1966-67: Ταξινόμηση Flynn. 1985: Connection Machine CM-1, με 64 επεξεργαστές. 1988-90: Intel Hypercubes με επεξεργαστές Intel 386. 1990-92: Thinking Machines CM-5, Kendal Square KSR1, Maspar MP2(16k). 1993 : CRAY T3D (MPP, Alpha Chips), IBM SP1(PowerPC Chip). 1994 : SGI Power Challenge, IBM SP2. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 18
Ακόμα Λίγη Ιστορία... 1996: CRAY T3E, SGI/CRAY Origin 2000. 1997: Intel Paragon ASCI Red 1.8 Tflops, 3.2 Tflops(1999). 1999: IBM ASCI Blue Pacific, 3.8 Tflops. 2000: SGI, 3 TFlops, ASCI Blue Mountain. 2003: SGI Altix 3700 Bx2, 1.6 GHz, NUMALink, 11 Tflops. 2006: ASC Purple, IBM pseries, 75 Tflops. 2008: IBM Roadrunner, 1.1 Pflops. 2016: Expected ~ 100 Pflops Machine! 2020:??? Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 19
... Μέλλον (Dreams or Reality?) Συνδυασμός παράλληλης επεξεργασίας με καινούριας τεχνολογίας υπολογιστών. Κβαντικοί Υπολογιστές: Βασική αρχή: κβαντικές ιδιότητες μπορούν να χρησιμοποιηθούν για την αναπαράσταση και την εκτέλεση πράξεων σε δεδομένα. qubits (quantum bits) vs. bits: Κάθε bit είναι 0 ή 1. Σε ένα κβαντικό υπολογιστή ένα qubit μπορεί να είναι 0, 1 ή κάθε κβαντική τους υπέρθεση (quantum superposition). Γενικά κβαντικός υπολογιστής με n qubits μπορεί να είναι σε κβαντική υπέρθεση ως 2 n διαφορετικών καταστάσεων ταυτόχρονα (σε αντίθεση με ένα κανονικό υπολογιστή που μπορεί να είναι μόνο σε μία από τις 2 n καταστάσεις σε μία χρονική στιγμή). Κβαντικές λογικές πύλες (quantum logic gates) ελέγχουν τα qubits. Η σειρά των πυλών είναι ο κβαντικός αλγόριθμος. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 20
Κβαντικοί Υπολογιστές Παράδειγμα: Αναλογία σωματιδίων με δύο καταστάσεις spin: πάνω και κάτω (συνήθως γράφονται ως > και > ή 0> και 1>). Οι κβαντικοί υπολογιστές μπορούν να λύσουν μόνο πιθανολογικούς αλγόριθμους (probabilistic algorithms), δηλαδή αλγόριθμους που εμπεριέχουν κάποιο βαθμό τυχαιότητας στη λογική τους. Το 2009 παρουσιάστηκε ο πρώτος πολύ βασικός κβαντικός επεξεργαστής με 2 qubits που μπορεί να λύνει πολύ απλά προβλήματα. Μια σειρά σημαντικών πρακτικών προβλημάτων (e.g. χρήση μεγάλου αριθμού qubits, εύκολη ανάγνωση των qubits, controlling or removing quantum decoherence) αποτρέπει έως τώρα την χρήση κβαντικών επεξεργαστών σε περίπλοκα προβλήματα. Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 21
Βιολογικοί (ή DNA) Υπολογιστές... Μέλλον (Dreams or Reality?) Υπολογιστές ειδικά σχεδιασμένοι για βιολογικές εφαρμογές. Κατασκευασμένοι από DNA και RNA. Ειδικά ένζυμα αλλάζουν τις βάσεις του DNA. Αρχή της παράλληλης επεξεργασίας: χρησιμοποιώντας πολλά διαφορετικά μόρια του DNA μπορούν να δοκιμαστούν πολλές πιθανές καταστάσεις ταυτόχρονα. Συμβατό με τις βασικές αρχές της «θεωρίας υπολογισμών» (computability theory) που ισχύουν στους κανονικούς υπολογιστές. Ξεπερνά πολλά όρια της τεχνολογίας πυριτίου σε χωρητικότητα, ταχύτητα υπολογισμών. Ακόμη σε «εμβρυακό» στάδιο. But do not forget: Parallel Computing is and it will be a MUST!! Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 22
Βιβλιογραφία Parallel Programming, B. Wilkinson, M. Allen, Prentice Hall, 2005. Parallel Computing: Theory and Practice, M. J. Quinn, McGraw-Hill, 1994. http://www.top500.org/ Early computing: http://www.neatorama.com/2008/01/25/the-wonderful-world-of-earlycomputing/ Computer Museum History Center: http://www.computerhistory.org/ Quantum Computers: http://www.qubit.org/, http://en.wikipedia.org/wiki/quantum_computer Biological Computers: http://www.biologicalcomputers.net/, http://en.wikipedia.org/wiki/dna_computing Παράλληλοι Υπολογισμοί, Κεφάλαιο 1 23