Αρχιτεκτονική Υπολογιστών

Transcript

1 Αρχιτεκτονική Υπολογιστών Παραλληλισμός Βασικές Πηγές: Αρχιτεκτονική Υπολογιστών: μια Δομημένη Προσέγγιση, Α. Tanenbaum, Vrije Universiteit, Amsterdam. Computer Architecture and Engineering, K. Asanovic, CS1/2-52, University of Berkeley. Αρχιτεκτονική Υπολογιστών, Ν. Κοζύρης, Εθνικό Μετσόβιο Πολυτεχνείο. Compaq: Simultaneous Multi-Threading (Alpha EV8) Silicon Graphics: Multiprocessor Architecture Σύνθεση: Κ.Γ. Μαργαρίτης, Πανεπιστήμιο Μακεδονίας, Τμήμα Εφαρμοσμένης Πληροφορικής.

2 Αρχιτεκτονική Υπολογιστών Παραλληλισμός Επίπεδα Παραλληλισμού Παραλληλισμός επιπέδου Επεξεργαστή Παραλληλισμός επιπέδου Υπολογιστή Σύγκλιση Τεχνολογιών

3 Επίπεδα Παραλληλισμού Επίπεδο Δεδομένων (Data Level Parallelism, DLP): ταυτόχρονη εκτέλεση πράξεων σε ομοειδή δεδομένα, σεalu, κυλώματα ή και συνεπεξεργαστές ειδικού σκοπού, (32/64 bits, εσωτερικό GPU). Επίπεδο Εντολής (Instruction Level Parallelism, ILP): ταυτόχρονη εκτέλεση διαφορετικών εντολών ενός προγράμματος (Υπερβαθμωτή εκτέλεση, Διοχέτευση). Επίπέδο Εργασίας (Task/Thread Level Parallelism, Multithreading): ταυτόχρονη εκτέλεση πολλαπλών νημάτων (διεργασιών). Επίπέδο Λειτουργίας (Functional Parallelism): ταυτόχρονη εκτέλεση λειτουργιών (συνεπεξεργαστές GPU, DMA, I/O..) Επίπέδο Υπολογιστή/Υπολογισμού (Multiprocessors, Multicomputers): ταυτόχρονη εκτέλεση ενός ή διαφορετικών προγραμμάτων σε πολλαπλούς επεξεργαστές.

4 Παράλληλες Αρχιτεκτονικές Network Local Network (a) On-chip (b) coprocessor : Επίπεδο Επεξεργαστή. (c) multiprocessor (d) multicomputer : Επίπεδο Υπολογιστή. (e) Κατανεμημένο Σύστημα, Grid.

5 Παραλληλισμός Επιπέδου Εντολής (ILP) Pipelining (Διοχέτευση, Σωλήνωση) (α) Μια διοχέτευση πέντε σταδίων (β) Η κατάσταση κάθε σταδίου σε εννέα κύκλους ρολογιού.

6 Παραλληλία Επιπέδου Εντολής (ILP) Υπερβαθμωτή (Superscalar) Αρχιτεκτονική Υπερβαθμωτός επεξεργαστής με πέντε λειτουργικές μονάδες, τοποθετημένος σε διοχέτευση πέντε σταδίων (Pentim II).

7 Υπερβαθμωτή Αρχιτεκτονική (2) Execute unit Διπλή διοχέτευση και πολλαπλές μονάδες εκτέλεσης Κάθε διοχέτευση μπορεί να εκτελεί μια ανεξάρτητη ροή εντολών (Νήμα) Execute unit Execute unit Tanenbaum, Modern Operating Systems 3 e, (c) 2008 Prentice-Hall, Inc. All rights reserved

8 On-Chip Multithreading (1) Πολυ-νηματική εκτέλεση με απλή διοχέτευση και εκτός σειράς εκτέλεση. (a) (c) Τρία νήματα. Τα άδεια πλαίσια σημβολίζουν stalls. (d) Fine-grained multithreading (1 cycle). (e) Coarse-grained multithreading (max 3 cycles).

9 On-Chip Multithreading (2) Multithreading με διπλή διοχέτευση και υπερβαθμωτή εκτέλεση. (a) Fine-grained multithreading (1 cycle, 2 stages). (b) Coarse-grained multithreading (max 2 cycles, 2 stages). (c) Simultaneous multithreading (any cycle, any stage).

10 Hyperthreading στο Pentium 4 Κατανομή πόρων μεταξύ νημάτων στη μικροαρχιτεκτονική Pentium 4 NetBurst.

11 Compaq Simultaneous Multi Threading (1) Κάθε στάδιο της διοχέτευσης λειτουργεί σαν 4 σχετικά ανεξάρτητοι επεξεργαστές. Επέκταση της Υπερβαθμωτής Επεξεργασίας σε όλα τα στάδια διοχέτευσης.

12 Compaq Simultaneous Multi Threading (2)

13 Παραλληλισμός Επιπέδου Δεδομένων (a) Massively Parallel Processors (MPPs): μια CPU πολλές ALUs σε διάταξη πίνακα 1 ή 2 διαστάσεων (Vectror - Array Processors). (b) Coprocessors, GPUs. Επίσης ειδικές εντολές σε Pentium, AMD, GPUs..

14 Παραλληλισμός Επιπέδου Υπολογιστή computer Switch Network (α) Σύστημα μοιραζόμενης μνήμης (Multiprocessors, Multicores, SMPs). (β) Σύστημα κατανεμημένης μνήμης (Multicomputers, Clusters).

15 Clusters Networked Systems Τυπικό cluster, δικτυακός multicomputer. Μεταβίβαση μηνυμάτων (Message passing)

16 Ταξινόμηση Flynn Flynn s taxonomy of parallel computers.

17 Google (1) Επεξεργασία ερωτήματος στο Google.

18 Google (2) Τυπικό Google cluster.

19 'Κοινοί Τόποι' στην Αρχιτεκτονική Υπολογιστών 1. Η ενέργεια (ηλεκτρισμός) είναι φθηνή, το υλικό (ημιαγωγοί) είναι ακριβό. Τώρα: Power wall : Η ενέργεια είναι ακριβή! Το υλικό φθηνό: Μπορούμε να χωρέσουμε περισσότερα transistors από όσα μπορούμε να τροφοδοτήσουμε/ψύξουμε αποδοτικά. 2. Επαρκής αύξηση της απόδοσης: Παραλληλισμός σε Επίπεδο Εντολής (ILP) με τη βοήθεια μεταγλωττιστών και αρχιτεκτονικών βελτιώσεων (pipelining, superscalar, out-of-order, speculation, VLIW, ) Τώρα: ILP wall : μείωση του ρυθμού βελτίωσης της απόδοσης με τη πρόσθεση υλικού για περισσότερο ILP. 3. Οι πολλαπλασιασμοί είναι αργοί, η προσπέλαση μνήμης γρήγορη. Τώρα: Memory wall : Οι μνήμες είναι πια πολύ πιο αργές από τους επεξεργαστές (200 κύκλοι μηχανής για τη πρόσβαση στη DRAM, 4 κύκλοι για το πολλαπλασιασμό). 4. Η απόδοση των επεξεργαστών διπλασιάζεται κάθε 1.5 χρόνο. Τώρα: 'Ισως 5 χρόνια Power Wall + ILP Wall + Memory Wall = Brick Wall 22/09/10 19

20 Κατανάλωση ισχύος επεξεργαστών σε watts/cm2 20

21 Power Wall: προβολή του Nόμου του Moore 21

22 Απόδοση Επεξεργαστών

23 Συχνότητα ρολογιού Επεξεργαστή προς Ταχύτητα Διαύλου Μνήμης 23

24 Μemory Wall: Χάσμα Επεξεργαστή Μνήμης 1000 CPU processor 60%/yr Moore s Law Speed processor-memory performance gap: (grows 50% / yr) 100 (MHz) 10 DRAM Time 24 memory 7%/yr

25 Τέλος Εποχής του Ενός Επεξεργαστή: Πολλαπλοί 'Πυρήνες' (cores) Μια από τις μεγαλύτερες αλλαγές στην ιστορία των συστημάτων υπολογιστών Διπλασιασμός των επεξεργαστών (πυρήνων) ανά 2 χρόνια περίπου. Επέκταση του Simultaneous Multithreading σε συνδυασμό με ιεραρχία από τοπικές (κρυφές) μνήμες. Ουσιαστικά ανεξάρτητοι επεξεργαστές μοιραζόμενης μνήμης. Φαίνεται να επιλύει τα προβλήματα των : Power Wall, ILP Wall, Memory Wall. 22/09/10 25

26 Η επανάσταση που συμβαίνει σήμερα O «γνήσιος» νόμος του Moore συνεχίζει να ισχύει! Η πυκνότητα των κυκλωμάτων εξακολουθεί να αυξάνει ~2x κάθε 2 χρόνια Αλλά όχι η συχνότητα ρολογιού Θα διπλασιάζεται ο αριθμός των πυρήνων κάθε 2 χρόνια (?) Λίγος ή καθόλου ILP προς εκμετάλλευση. Ο παραλληλισμός πρέπει να μεταφερθεί στο σύστημα και το λογισμικό. Source: Intel, Microsoft (Sutter) and Stanford (Olukotun, Hammond) 26

27 Μια 'θάλασσα' επεξεργαστών; Intel 4004 (1971): 4-bit processor, 2312 transistors, 0.4 MHz, 10 micron PMOS, 11 mm2 chip RISC II (1983): 32-bit, 5 stage pipeline, 40,760 transistors, 3 MHz, 3 micron NMOS, 60 mm2 chip 125 mm2 chip, micron CMOS = 2312 RISC II+FPU+Icache+Dcache RISC II shrinks to ~ 0.02 mm2 at 65 nm Caches via DRAM or 1 transistor SRAM? επεξεργαστής = νέο transistor; 22/09/10 27

28 Transistor+Computer = Transputer ( ) Οι πολυεπεξεργαστές πάντα υπήρχαν 1970s, 80s, 90s, today s processors are nearing an impasse as technologies approach the speed of light.. David Mitchell, The Transputer: The Time Is Now (1989)...αλλά μόνο ως συστήματα ειδικού σκοπού Custom multiprocessors tried to beat uniprocessors Procrastination rewarded: 2X seq. perf. / 1.5 years Τώρα όμως όλες οι μεγάλες εταιρίες συμφωνούν.. We are dedicating all of our future product development to multicore designs. This is a sea change in computing Paul Otellini, President, Intel (2004)..και στρέφονται στους πολυεπεξεργαστές (AMD, Intel, IBM, Sun; all new Apples 2+ CPUs, NVIDIA, PlayStation..) Procrastination penalized: 2X sequential perf. / 5 yrs Biggest programming challenge: from 1 to 2 CPUs 22/09/10 28

29 Παραλληλισμός: Σύκλιση Τεχνολογιών Έως το 1985: Παραλληλία σε επίπεδο bit: 4-bit -> 8 bit -> 16-bit : Παραλληλία σε επίπεδο εντολής (Instruction Level Parallelism, ILP) 1995: Παραλληλία σε επίπεδο διεργασίας (νήματος, thread) (Simultaneous Multithreading) 2004: Παραλληλία σε επίπεδο πυρήνων (cores) Έως το 1985: κυρίως Υπερυπολογιστές, Πειραματικά Συστήματα : VLSI, Transputers, Δίκτυα, Κατανεμημένα Συστήματα : Clusters, SMPs, Threads, Δίκτυα Υψηλής Απόδοσης, Grids 2004: Παραλληλία σε πολλαπλά επίπεδα (πυρήνες, threads, επεξεργαστές, clusters, Grids) 29

30 Προβλήματα και προκλήσεις Αλλαγή προγραμματιστικού μοντέλου Αλγόριθμοι, Γλώσσες, Μεταγλωττιστές, Λειτουργικά Συστήματα, Αρχιτεκτονικές, Βιβλιοθήκες.. δεν είναι έτοιμα για Παραλληλισμό σε Επίπεδο Δεδομένων ή Διεργασίας(Νήματος). Σε αντίθεση με το Παραλληλισμό σε Επίπεδο Ετολής (ILP) το πρόβλημα μάλλον δεν μπορεί να λυθεί από τους 'αρχιτέκτονες' και τους 'μηχανικούς συστημάτων' χωρίς συνεργασία των προγραμματιστών εφαρμογών. Πιθανώς να χρειαστεί ανασχεδιασμός των επιπέδων αφαίρεσης (εικονικών μηχανών) στα σύγχρονα υπολογιστικά συστήματα. 22/09/10 30

31 Intel Itanium 22/09/10 31

32 IΒΜ Cell (1) 22/09/10 256KB local memory 256KB local memory 256KB local memory regfile 128x128 ALUs (4) 256KB local memory EIB regfile 128x128 FPUs (4) DMA, I/O Controllers 256KB local memory regfile 128x128 ALUs (4) 256KB local memory regfile 128x128 FPUs (4) 256KB local memory regfile 128x128 ALUs (4) regfile 128x128 FPUs (4) 256KB local memory regfile 128x128 ALUs (4) regfile 128x128 FPUs (4) 512K L2 I$ D$ 64-bit SMT Power core, 2x in-order superscalar 32 FPUs (4) ALUs (4) FPUs (4) ALUs (4) FPUs (4) ALUs (4) FPUs (4) ALUs (4)

33 IΒΜ Cell (2) 22/09/10 33

34 Intel Dunnington, 12/09/08 6 Pentium cores, ~90GFlops 22/09/10 34

35 Σύστημα πολλαπλών πυρήνων ειδικού σκοπού. Κάθε πυρήνας ασχολείται με άλλη εργασία.

36 NVIDIA GPU G800GL 22/09/10 36

37 NVIDIA Tesla, τέλος επεξεργαστές, 4 Tflops 22/09/10 37