EM 361: Παπάλληλοι Υπολογιζμοί Φαπμανδάπηρ Βαγγέληρ Τμήμα Εθαπμοζμένων Μαθημαηικών Πανεπιζηήμιο Κπήηηρ Φειμεπινό Εξάμηνο 2010/11
Πεπιεσόμενα Κεθάλαιο 1: Ειζαγωγή Κεθάλαιο 2: Απσιηεκηονική Κεθάλαιο 3: Θεωπία Απόδοζη Παπάλληλος Ππογπαμμαηιζμού Κεθάλαιο 4: Παπάλληλοι Αλγόπιθμοι Κεθάλαιο 5: Λογιζμικό Βαζικέρ Εθαπμογέρ Ι Κεθάλαιο 6: Πεπιζζόηεπερ Εθαπμογέρ ΙΙ Κεθάλαιο 7: Ανώηεπερ Εθαπμογέρ ΙΙΙ ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 2
Κεθάλαιο 1: Ειζαγωγή Τι Σημαίνει Παπάλληλη Επεξεπγαζία; Νόμορ Moore. Σηόσοι και Αναγκαιόηηηα ηηρ Παπάλληληρ Επεξεπγαζίαρ. Υπολογιζηική Ιζσύρ. Παπαδείγμαηα. Λίγη Ιζηοπία. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 3
Τι Σημαίνει Παπάλληλη Επεξεπγαζία; Παξάιιειε επεμεξγαζία (parallel processing) είλαη ν θαηακεξηζκόο ελόο πξνβιήκαηνο ζε πνιιά ππό-πξνβιήκαηα (ή αιιηώο δηεξγαζίεο). Καηόπηλ ηα επηκέξνπο πξνβιήκαηα-δηεξγαζίεο (processes) αλαηίζεληαη ζε δηαθνξεηηθνύο επεμεξγαζηέο (processors). Η παξάιιειε επεμεξγαζία επηηπγράλεηαη κε ηελ αλάπηπμε θαηάιιεισλ παξάιιεισλ αιγνξίζκσλ. Σεηξηαθνί - Παξάιιεινη Αιγόξηζκνη (Serial vs Parallel Algorithms) ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 4
Νόμορ Moore Νόμορ Moore: ν αξηζκόο ησλ transistors αλά ηεηξαγσληθό εθαηνζηό ζε έλα νινθιεξσκέλν θύθισκα δηπιαζηάδεηαη θάζε 18 κήλεο. Η ππνινγηζηηθή ηζρύο ελόο επεμεξγαζηή δηπιαζηάδεηαη θάζε 18 κήλεο! Ιζηοπικά ζηοισεία: Moore's original statement that transistor counts had doubled every year can be found in his publication "Cramming more components onto integrated circuits", Electronics Magazine 19 April 1965: «The complexity for minimum component costs has increased at a rate of roughly a factor of two per year... Certainly over the short term this rate can be expected to continue, if not to increase. Over the longer term, the rate of increase is a bit more uncertain, although there is no reason to believe it will not remain nearly constant for at least 10 years. That means by 1975, the number of components per integrated circuit for minimum cost will be 65,000» Ιn 1975, Moore altered his projection to a doubling every two years. Despite popular misconception, he is adamant that he did not predict a doubling "every 18 months". However, an Intel colleague had factored in the increasing performance of transistors to conclude that integrated circuits would double in performance every 18 months. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 5
Νόμορ Moore ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 6
Αναγκαιόηηηα ηηρ Παπάλληληρ Επεξεπγαζίαρ Υπάξρεη κεγάιε αλάγθε πξνζέγγηζεο δύζθνισλ θαη πεξίπινθσλ πξνβιεκάησλ. Πεξίπινθα πξνβιήκαηα κεγάιεο θιίκαθαο - Πξνζνκνηώζεηο (Simulations): -- Κβαληηθή Φεκεία, Σηαηηζηηθή Φπζηθή -- Σρεδηαζκόο Υιηθώλ -- Βηνινγηθώλ Σπζηεκάησλ (Φαξηνγξάθεζε DNA, Παξαγσγή Φαξκάθσλ) -- Πξόβιεςε Κιίκαηνο -- Μειέηε Γεσινγηθώλ Φαηλνκέλσλ -- Αζηξνθπζηθή θαη Κνζκνινγία -- Αεξνλαππεγηθή ---... ΚΑΙ ΠΟΛΛΑ ΑΛΛΑ Απηό ζεκαίλεη όηη απαηηείηαη πεξηζζόηεξε ππνινγηζηηθή ηζρύο. Νόκνο Moore Αγγίδνληαο ηα θπζηθά όξηα: Ο αξηζκόο ησλ transistors αλά ηεηξαγσληθό εθαηνζηό ζε έλα νινθιεξσκέλν θύθισκα δελ κπνξεί λα απμάλεηαη επ άπεηξν. Λύζε είλαη νη παξάιιεινη ππνινγηζκνί: ηαπηόρξνλε εθηέιεζε πξνγξακκάησλ ζε πνιινύο επεμεξγαζηέο. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 7
Σηόσοι ηηρ Παπάλληληρ Επεξεπγαζίαρ Βαζηθόο ζηόρνο ηεο παξάιιειεο επεμεξγαζίαο είλαη ε αλάπηπμε ηεο ππνινγηζηηθήο ηζρύνο κέζσ ηεο ρξήζεο πνιιώλ επεμεξγαζηώλ. -- Μειέηε πεξίπινθσλ πξνβιεκάησλ κεγάιεο θιίκαθαο. -- Δπίιπζε κεγαιύηεξσλ πξνβιεκάησλ πνιύ γξεγνξόηεξα. Πξνθιήζεηο παξάιιειεο επεμεξγαζίαο: -- Σπληνληζκόο, έιεγρνο θαη παξαθνινύζεζε ησλ επεμεξγαζηώλ. -- Αλάπηπμε θαηάιιεισλ παξάιιεισλ αιγνξίζκσλ. -- Βέιηηζηε θαηαλνκή ππν-πξνβιεκάησλ ζηνπο επεμεξγαζηέο. -- Βέιηηζηε (όζν ην δπλαηόλ ιηγόηεξε) επηθνηλσλία κεηαμύ επεμεξγαζηώλ. -- Δύθνιε κεηαθνξά ησλ θσδίθσλ ζε δηαθνξεηηθά ππνινγηζηηθά ζπζηήκαηα. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 8
Παπάλληλοι Υπολογιζμοί: Γιαηί; Μείσζε ηνπ πξαγκαηηθνύ ρξόλνπ εθηέιεζεο ησλ πξνγξακκάησλ. Μειέηε πεξίπινθσλ πξνβιεκάησλ κεγάιεο θιίκαθαο ηα νπνία απαηηνύλ πνιύ κεγάιε κλήκε: κεγάια πξνβιήκαηα-ζπζηήκαηα δελ «ρσξάλε» ζηε κλήκε ελόο κόλν ππνινγηζηή. Πιενλεθηήκαηα παξάιιεισλ ππνινγηζκώλ: -- Δπίιπζε πξνβιεκάησλ πνπ δελ κπνξνύλ λα ιπζνύλ κε έλα κόλν επεμεξγαζηή. -- Οηθνλνκία; -- Υπάξρεη πνιύ δηαζέζηκε κλήκε. Μεηνλεθηήκαηα παξάιιεισλ ππνινγηζκώλ: -- Γπζθνιία ζηελ θαηαζθεπή παξάιιεισλ ππνινγηζηώλ. -- Η αλάπηπμε παξάιιεισλ αιγνξίζκσλ δελ είλαη εύθνιε ππόζεζε. -- Η επηθνηλσλία κεηαμύ επεμεξγαζηώλ κπνξεί λα ζθνηώζεη ην πξόγξακκα. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 9
Υπολογιζηική Ιζσύρ - Βαζική Οπολογία flops: πξάμεηο πξαγκαηηθώλ αξηζκώλ αλά δεπηεξόιεπην (FLoating point Operations Per Second). -- Kilo-flops (Kflops): 10 3 flops, -- Mega-flops (Mflops): 10 6 flops, -- Giga-flops (Gflops): 10 9 flops, -- Tera-flops (Tflops): 10 12 flops, -- Peta-flops (Pflops): 10 15 flops ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 10
Παπάδειγμα: Ππόγνωζη Καιπού (in Parallel Programming by Wilkison) Η αηκόζθαηξα ρσξίδεηαη ζε 3D θειηά. Οη ππνινγηζκνί πεξηιακβάλνπλ ζεξκνθξαζία, πίεζε, πγξαζία, ηαρύηεηα-δηεύζπλζε αλέκνπ θιπ. θαη ππνινγίδνληαη ζε ρξνληθά δηαζηήκαηα, ρξεζηκνπνηώληαο πιεξνθνξία από ην πξνεγνύκελν δηάζηεκα. Παξάδεηγκα: Υπνζέζηε όηη θάζε θειί είλαη 1 mile 3. Γηα κνληεινπνίεζε αηκόζθαηξαο ηεο Γεο ζε ύςνο 10 miles ρξεηαδόκαζηε πεξίπνπ 5 x 10 8 θειηά. Υπνζέζηε όηη γηα θάζε ππνινγηζκό (θειί) ρξεηαδόκαζηε 200 Flops. Σπλνιηθά 10 11 Flops γηα θάζε ρξνληθό βήκα. Πξόβιεςε θαηξνύ γηα 10 κέξεο ζε ρξνληθά δηαζηήκαηα 2 ιεπηώλ ζεκαίλεη ~10 4 ρξνληθά βήκαηα θαη ζπλνιηθό θόζηνο: 10 15 Flops! Υπνζέζηε όηη ηξέρνπκε ην πξόγξακκα ζε ππνινγηζηή κε ηζρύο 100 Mflops. Ο ρξόλνο εθηέιεζεο πνπ απαηηείηαη είλαη 10 7 sec ~ 100 κέξεο. Υπνινγηζηήο κε ηζρύο 1 Pflops (10 9 Mflops). Ο ρξόλνο εθηέιεζεο πνπ απαηηείηαη είλαη 1 sec! ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 11
Υπολογιζηική Ιζσύρ ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 12
Οι 10 καλύηεποι ςπολογιζηέρ ζηον κόζμο (06/2010) 1. Jaguar, Cray XT, Oak Ridge National Laboratory, USA, Cray XT5-HE Opteron Six Core 2.6 GHz, 2009, N=224256. 2. Nebulae, Dawning TC3600 Blade, Intel X5650, NVidia Tesla C2050 GPU, National Supercomputing Centre in Shenzhen (NSCS), China, 2010, N=120640. 3. Roadrunner, IBM Cluster, Los Alamos, USA, PowerXCell 8i 3.2 Ghz, Voltaire Infiniband 2008, Ν=129600. 4. Kraken XT5, Cray XT5-HE Opteron Six Core 2.6 GHz, 2009, N=98928. 5. Jugene, Forschungszentrum Juelich (FZJ), IBM Cluster, Germany, Blue Gene/P Solution, 2009, N= 294912. 6. Pleiades, SGI Altix, NASA/Ames Research Center/NAS, USA, Xeon QC 3.0/2.66 GHz, 2010, Ν=81920. 7. Tianhe-1, NUDT TH-1 Cluster, Xeon E5540/E5450, ATI Radeon HD 4870 2, Infiniband, National SuperComputer Center in Tianjin/NUDT, China, 2010, N= 71680. 8. BlueGene/L, IBM Cluster, USA, PowerPC 440 700 MHz, 2007, Ν=212992. 9. Intrepid, BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2007, Ν= 163840. 10. Red Sky, Sun Blade x6275, Xeon X55xx 2.93 Ghz, Infiniband, Sandia National Laboratories / National Renewable Energy Laboratory, USA, 2010, Ν= 42440. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 13
Οι 10 καλύηεποι ςπολογιζηέρ ζηον κόζμο (06/2009) 1. Roadrunner, IBM Cluster, Los Alamos, USA, PowerXCell 8i 3.2 Ghz, Voltaire Infiniband 2008, Ν=129600. 2. Jaguar, Cray XT, Oak Ridge National Laboratory, USA, Cray XT5 QC 2.3 GHz, 2008, N=150152. 3. Jugene, Forschungszentrum Juelich (FZJ), IBM Cluster, Germany, Blue Gene/P Solution, 2009, N= 294912. 4. Pleiades, SGI Altix, USA, Xeon QC 3.0/2.66 GHz, 2008, Ν=51200. 5. BlueGene/L, IBM Cluster, USA, PowerPC 440 700 MHz, 2007, Ν=212992. 6. Kraken XT5, Cray XT, USA, Cray XT5 QC 2.3 GHz, 2008, Ν=66000. 7. BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2007, Ν= 163840. 8. Ranger, Sun Blade System, USA, Opteron QC 2.3 Ghz, 2008, Ν= 62976. 9. BlueGene/P, IBM Cluster, USA, PowerPC 450 850 MHz, 2009, Ν= 147456. 10. JUROPA, Sun-Bull-ParTec Cluster, Germany, Intel Xeon X5570, 2.93 GHz, 2009, Ν= 26304. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 14
And the World s Fastest Computer (06/2009) Roadrunner Cluster of 18 Connected Units: 6912 AMD dual-core Opterons, 2960 IBM Cell edp accelerators. Achieve 1.1 Pflops! Communicaion: InfiniBand 4x DDR fabric. 107 TB aggregate memory! Cost: $ 120 million! ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 15
Roadrunner Cell (microporcessor) architecture: the basic configuration is a multi-core chip composed of one "Power Processor Element" ("PPE") (sometimes called "Processing Element", or "PE"), and multiple "Synergistic Processing Elements" ("SPE"). The PPE and SPEs are linked together by an internal high speed bus dubbed "Element Interconnect Bus" ("EIB"). ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 16
Roadrunner: Example of Applications SPaSM (Scalable Parallel Short-Range Molecular Dynamics) code: Simulations of Metals VPIC code: Plasma simulation ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 17
Λίγη Ιζηοπία 1946: Alan Turing presents the first detailed design of a stored-program computer. 1966-67: Ταμηλόκεζε Flynn. 1985: Connection Machine CM-1, κε 64 επεμεξγαζηέο. 1988-90: Intel Hypercubes κε επεμεξγαζηέο Intel 386. 1990-92: Thinking Machines CM-5, Kendal Square KSR1, Maspar MP2(16k). 1993 : CRAY T3D (MPP, Alpha Chips), IBM SP1(PowerPC Chip). 1994 : SGI Power Challenge, IBM SP2. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 18
Ακόμα Λίγη Ιζηοπία... 1996: CRAY T3E, SGI/CRAY Origin 2000. 1997: Intel Paragon ASCI Red 1.8 Tflops, 3.2 Tflops(1999). 1999: IBM ASCI Blue Pacific, 3.8 Tflops. 2000: SGI, 3 TFlops, ASCI Blue Mountain. 2003: SGI Altix 3700 Bx2, 1.6 GHz, NUMALink, 11 Tflops. 2006: ASC Purple, IBM pseries, 75 Tflops. 2008: IBM Roadrunner, 1.1 Pflops. 2016: Expected ~ 100 Pflops Machine! 2020:??? ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 19
... Μέλλον (Dreams or Reality?) Σπλδπαζκόο παξάιιειεο επεμεξγαζίαο κε θαηλνύξηαο ηερλνινγίαο ππνινγηζηώλ. Κβανηικοί Υπολογιζηέρ: Βαζηθή αξρή: θβαληηθέο ηδηόηεηεο κπνξνύλ λα ρξεζηκνπνηεζνύλ γηα ηελ αλαπαξάζηαζε θαη ηελ εθηέιεζε πξάμεσλ ζε δεδνκέλα. qubits (quantum bits) vs. bits: Κάζε bit είλαη 0 ή 1. Σε έλα θβαληηθό ππνινγηζηή έλα qubit κπνξεί λα είλαη 0, 1 ή θάζε θβαληηθή ηνπο ππέξζεζε (quantum superposition). Γεληθά θβαληηθόο ππνινγηζηήο κε n qubits κπνξεί λα είλαη ζε θβαληηθή ππέξζεζε σο 2 n δηαθνξεηηθώλ θαηαζηάζεσλ ηαπηόρξνλα (ζε αληίζεζε κε έλα θαλνληθό ππνινγηζηή πνπ κπνξεί λα είλαη κόλν ζε κία από ηηο 2 n θαηαζηάζεηο ζε κία ρξνληθή ζηηγκή). Κβαληηθέο ινγηθέο πύιεο (quantum logic gates) ειέγρνπλ ηα qubits. Η ζεηξά ησλ ππιώλ είλαη ν θβαληηθόο αιγόξηζκνο. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 20
Κβανηικοί Υπολογιζηέρ Παπάδειγμα: Αλαινγία ζσκαηηδίσλ κε δύν θαηαζηάζεηο spin: πάλσ θαη θάησ (ζπλήζσο γξάθνληαη σο > θαη > ή 0> θαη 1>). Οη θβαληηθνί ππνινγηζηέο κπνξνύλ λα ιύζνπλ κόλν πηζαλνινγηθνύο αιγόξηζκνπο (probabilistic algorithms), δειαδή αιγόξηζκνπο πνπ εκπεξηέρνπλ θάπνην βαζκό ηπραηόηεηαο ζηε ινγηθή ηνπο. Τν 2009 παξνπζηάζηεθε ν πξώηνο πνιύ βαζηθόο θβαληηθόο επεμεξγαζηήο κε 2 qubits πνπ κπνξεί λα ιύλεη πνιύ απιά πξνβιήκαηα. Μηα ζεηξά ζεκαληηθώλ πξαθηηθώλ πξνβιεκάησλ (e.g. ρξήζε κεγάινπ αξηζκνύ qubits, εύθνιε αλάγλσζε ησλ qubits, controlling or removing quantum decoherence) απνηξέπεη έσο ηώξα ηελ ρξήζε θβαληηθώλ επεμεξγαζηώλ ζε πεξίπινθα πξνβιήκαηα. ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 21
Βιολογικοί (ή DNA) Υπολογιζηέρ... Μέλλον (Dreams or Reality?) Υπνινγηζηέο εηδηθά ζρεδηαζκέλνη γηα βηνινγηθέο εθαξκνγέο. Καηαζθεπαζκέλνη από DNA θαη RNA. Δηδηθά έλδπκα αιιάδνπλ ηηο βάζεηο ηνπ DNA. Αξρή ηεο παξάιιειεο επεμεξγαζίαο: ρξεζηκνπνηώληαο πνιιά δηαθνξεηηθά κόξηα ηνπ DNA κπνξνύλ λα δνθηκαζηνύλ πνιιέο πηζαλέο θαηαζηάζεηο ηαπηόρξνλα. Σπκβαηό κε ηηο βαζηθέο αξρέο ηεο «ζεσξίαο ππνινγηζκώλ» (computability theory) πνπ ηζρύνπλ ζηνπο θαλνληθνύο ππνινγηζηέο. Ξεπεξλά πνιιά όξηα ηεο ηερλνινγίαο ππξηηίνπ ζε ρσξεηηθόηεηα, ηαρύηεηα ππνινγηζκώλ. Αθόκε ζε «εκβξπαθό» ζηάδην. But do not forget: Parallel Computing is and it will be a MUST!! ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 22
Βιβλιογπαθία Parallel Programming, B. Wilkinson, M. Allen, Prentice Hall, 2005. Parallel Computing: Theory and Practice, M. J. Quinn, McGraw-Hill, 1994. http://www.top500.org/ Early computing: http://www.neatorama.com/2008/01/25/the-wonderful-world-of-earlycomputing/ Computer Museum History Center: http://www.computerhistory.org/ Quantum Computers: http://www.qubit.org/, http://en.wikipedia.org/wiki/quantum_computer Biological Computers: http://www.biologicalcomputers.net/, http://en.wikipedia.org/wiki/dna_computing ΔΜ 361: Παξάιιεινη Υπνινγηζκνί 2010/11, Κεθάιαην 1 23