10/12/2013 Συστήματα κατανεμημένης μνήμης (ΙΙ) + Μετρικές και επιδόσεις Β. Δημακόπουλοσ

Transcript

1 Υ07 Παράλληλα Συστήματα /12/2013 Συστήματα κατανεμημένης μνήμης (ΙΙ) + Μετρικές και επιδόσεις Β. Δημακόπουλοσ

2 » αρχιτεκτονική διαδρομητή και τεχνικές μεταγωγής στο δίκτυο διασύνδεσης

3 Ζνα δίκτυο διαςφνδεςθσ χαρακτθρίηεται από: Τθν τοπολογία του Ροίοσ κόμβοσ ςυνδζεται με ποιον Τθ διαδρόμθςι του (routing) Ροιο από όλα τα δυνατά μονοπάτια κα επιλεχκεί Ρολλζσ επιλογζσ πολιτικϊν Τον ζλεγχο ροισ του (flow control) Ρϊσ διανζμονται οι πόροι του δικτφου (κανάλια, buffers κλπ), τι ςυμβαίνει ςε περίπτωςθ ςυγκροφςεων Αρχιτεκτονικι του διαδρομθτι Τθ μεταγωγι του (switching) Ρϊσ μεταφζρεται εςωτερικά ςε ζναν διαδρομθτι το μινυμα από μία είςοδο ςε μία ζξοδό του Κυκλϊματοσ (circuit switching) Ρακζτου / μθνφματοσ / SAF (Store-and-Forward) Virtual Cut-Through (VCT) Wormhole #3

4 Βαςικι δομι του διαδρομθτι Buffers (Αν υπάρχουν!) Χρθςιμεφουν για τθν προςωρινι αποκικευςθ των πακζτων, πριν προχωριςουν ςτον επόμενο διαδρομθτι. Μπορεί να μθν υπάρχουν κακόλου (BUFFERLESS), να υπάρχουν μόνο ςτισ εξόδουσ (OUTPUT BUFFERED/QUEUED), μόνο ςτισ ειςόδουσ (INPUT BUFFERED/QUEUED) ι και ςτισ δφο μεριζσ, όπωσ εδϊ, αλλά μπορεί και να υπάρχουν κοινοί buffers (SHARED BUFFES). Channel Αποτελείται από το μζςο (π.χ. καλϊδιο), buffers και κυκλϊματα ελζγχου (link controllers) LC = Link Control Υλοποιεί τον ζλεγχο ροισ ςτο φυςικό επίπεδο (π.χ. χειραψία με τουσ γείτονεσ) Arbitration Τμιμα που αποφαςίηει τι κα ςυμβεί ςτθν περίπτωςθ ςυγκροφςεων (π.χ. δφο κανάλια ειςόδου πρζπει να πάνε ςτο ίδιο κανάλι εξόδου) Injection / Ejection Κανάλια που μεταφζρουν μθνφματα από / προσ τον τοπικό κόμβο (δθλαδι ειςάγουν κίνθςθ ςτο / αφαιροφν κίνθςθ από το δίκτυο). Αρχιτεκτονικζσ 1-port, k-port, allport Routing Τμιμα που αποφαςίηει το κανάλι εξόδου ςτο οποίο κα ςυνδεκεί ζνα κανάλι ειςόδου για να προωκθκεί κάποιο μινυμα (υλοποιεί τον αλγόρικμο διαδρόμθςθσ) Switch Συνδζει τα κανάλια ειςόδου με τα κανάλια εξόδου. Συνικωσ είναι διακόπτθσ crossbar εφόςον τα κανάλια δεν είναι πάρα πολλά. Μπορεί όμωσ να αποτελείται από ςφνολο διακοπτϊν, όπωσ π.χ. multistage δίκτυο ι ακόμα και point-to-point δίκτυο από διακόπτεσ. #4

5 Μεταγωγι Ενϊ ο ζλεγχοσ ροισ φυςικοφ μζςου μεταφζρει bits μεταξφ δφο διαδρομθτϊν, θ μεταγωγι (switching) ενϊνει εςωτερικά ςε ζναν διαδρομθτι το κανάλι ειςόδου με το επιλεγμζνο κανάλι εξόδου και μεταφζρει δεδομζνα. Κακορίηει το πϊσ και το πότε κα γίνει θ ςφνδεςθ αυτι Μπορεί να γίνει ςτιγμιαία, για μικρό ι για μεγάλο χρονικό διάςτθμα Μπορεί να γίνει αφοφ αποφαςιςτεί το κανάλι εξόδου, δθλαδι αφοφ ολοκλθρωκεί θ λειτουργία τθσ διαδρόμθςθσ ςτον router, κατά τθ διάρκειά τθσ ι ακόμα και πριν (!) Γενικά είναι ο μθχανιςμόσ που εςωτερικά ςτον διαδρομθτι προωκεί τα bits από μία είςοδο ςε μία προκακοριςμζνθ ζξοδο (θ επιλογι τθσ εξόδου δεν είναι αρμοδιότθτα τθσ μεταγωγισ αλλά τθσ λειτουργίασ τθσ διαδρόμθςθσ). Υψθλζσ επιδόςεισ: χρονικά, αν γίνεται, να υπάρχει επικάλυψθ με τισ υπόλοιπεσ λειτουργίεσ του διαδρομθτι. #5

6 Μεταγωγι κυκλϊματοσ Τρεισ φάςεισ: ςχθματιςμόσ (και δζςμευςθ) του μονοπατιοφ από το probe μεταφορά του μθνφματοσ αποδζςμευςθ του μονοπατιοφ Μήνυμα ACK #6

7 Μεταγωγι SAF Ρακζτου / μθνφματοσ / SAF (Store-and-Forward) Το μινυμα χωρίηεται ςε πακζτα ςτακεροφ μικουσ Κάκε πακζτο προωκείται ανεξάρτθτα. Οι κόμβοι (α) το λαμβάνουν και το αποκθκεφουν ςε buffer και (β) το προωκοφν ςτον επόμενο κόμβο #7

8 Μεταγωγι VCT Σαν το SAF αλλά: Αν το κανάλι εξόδου είναι ελεφκερο, κακϊσ λαμβάνονται τα bits τθσ επικεφαλίδασ, αποφαςίηεται το κανάλι εξόδου και όλο το μινυμα διοχετεφεται κατευκείαν εκεί (άρα ελάχιςτθ κακυςτζρθςθ). Αν όχι, buffering όπωσ ςτο SAF. Ταχφτθτα αν δεν υπάρξει εμπόδιο Πμωσ, δεν εξαλείφεται θ ανάγκθ για buffers που ζχει και το SAF. #8

9 Μεταγωγι wormhole Ανάμεςα ςε VCT και circuit switching. Το μινυμα χωρίηεται ςε ΡΟΛΥ μικρά πακζτα, τα flits (1-4 bytes). To πρϊτο αποτελεί τθν επικεφαλίδα Η επικεφαλίδα προχωρά με VCT αλλά τα υπόλοιπα flits ακολουκοφν (και δεςμεφουν) τουσ προθγοφμενουσ κόμβουσ, χωρίσ κενά, ςαν ςε pipeline. Αν θ επικεφαλίδα μπλοκάρει κάπου, τα flits αποκθκεφονται εκεί που βρίςκονται (άρα πολφ μικροί buffers απαιτοφνται). #9

10 Χρονικι ςυμπεριφορά (Υποκζτουμε ότι ςε κάκε παλμό το φυςικό μζςο μπορεί και μεταφζρει 1 flit τθ φορά) (3) t m Ο χρόνοσ για να γίνει θ μεταφορά 1 flit από μία είςοδο ςε μία ζξοδο (buffering + switch + buffering + οτιδιποτε άλλο) (1) t w Ο χρόνοσ για να μεταφερκεί 1 flit ςτο κανάλι. Αν το flit είναι W bits και θ ςυχνότθτα του καναλιοφ είναι Β Hz, το εφροσ ηϊνθσ είναι B*W bps, ι Β flits-per-second = 1/t w. (2) t r Ο χρόνοσ για να γίνει θ διαδρόμθςθ (να αποφαςιςτεί το κανάλι εξόδου) #10

11 Ασ υποκζςουμε ότι 1 flit = W bits Μινυμα L bits ςυν 1 flit για επικεφαλίδα διαδρόμθςθσ, ςυνολικά L+W bits ι M+1 flits, όπου M = ceil(l/w). Το μινυμα πρζπει να διανφςει μονοπάτι μικουσ D για να φτάςει ςτον προοριςμό του Δεν ςυναντάει κανζνα εμπόδιο (δθλαδι αναμονι λόγω κατειλθμμζνων καναλιϊν) ςτον δρόμο του #11

12 Μεταγωγι κυκλϊματοσ Αποτελείται από δφο φάςεισ: 1. Σχθματιςμόσ κυκλϊματοσ Ζνα routing probe διαςχίηει το μονοπάτι και δεςμεφει κανάλια ςχθματίηοντασ κόμβο-κόμβο ζνα φυςικό κφκλωμα μεταξφ πθγισ και προοριςμοφ Μόλισ φτάςει ςτον προοριςμό, ςτζλνεται ζνα acknowledgement flit προσ τα πίςω, ςτθν πθγι 2. Μεταφορά του μθνφματοσ Μόλισ λθφκεί το acknowledgement flit, θ πθγι ςτζλνει το μινυμα (το οποίο περνά χωρίσ καμία κακυςτζρθςθ από τουσ ενδιάμεςουσ routers) Είτε από τον προοριςμό, είτε κακϊσ περνοφν τα τελευταία bits του μθνφματοσ, καταςτρζφεται το δεςμευμζνο μονοπάτι. w (κατά τθ μεταφορά του μθνφματοσ, δεν εμπλζκονται buffers, άρα όχι t m ) #12

13 Χρόνοσ με μεταγωγι κυκλϊματοσ m m D(t w t t ) D(t t ) r m w m Mt w T circuit switching D t r 2(t m t w ) Mt w #13

14 Μεταγωγι πακζτου (store-and-forward, SAF) Το μινυμα διαςπάται ςε πακζτα ςτακεροφ μικουσ Κάκε buffer ςτα κανάλια ζχει μζγεκοσ ίςο με ζνα πακζτο. Η διαδρόμθςθ είναι ανεξάρτθτθ για κάκε πακζτο (άρα κάκε πακζτο περιζχει επικεφαλίδα με πλθροφορίεσ) Η μονάδα ελζγχου ροισ είναι το πακζτο και οι αποφάςεισ διαδρόμθςθσ ςε κάκε διαδρομθτι παίρνονται αφοφ παραλθφκεί ςε ζναν buffer ολόκλθρο το πακζτο Ραραλαβι αποκικευςθ προϊκθςθ (store-and-forward). 1 πακζτο με μζγεκοσ 5 flit #14

15 Χρόνοσ με μεταγωγι πακζτου m m ( t w t m )(M 1) T packet switching D t D(t r r (t t w w t t m m )(M 1) ) DM(t w t m ) #15

16 VCT (Virtual Cut-Through) Ακριβϊσ όπωσ και ςτο SAF, εκτόσ από το εξισ: Αντί για αναμονι ολόκλθρου του πακζτου, θ λειτουργία τθσ διαδρόμθςθσ ςε κάκε κόμβο ξεκινά αμζςωσ μόλισ παραλθφκεί θ επικεφαλίδα του πακζτου. Ρριν ζρκουν τα υπόλοιπα bits, το πακζτο αρχίηει να προωκείται (cuts through) προσ το επιλεγμζνο κανάλι εξόδου Ουςιαςτικά το μινυμα προχωρά ςαν ςε pipeline Aν θ επικεφαλίδα δεν μπορεί να προχωριςει, μπαίνει ςε buffer μαηί με τα υπόλοιπα bits του πακζτου που ζρχονται. #16

17 Χρόνοσ με VCT (πάντα, χωρίσ αναμονζσ) m T VCT r t m t w Mt w D t Ο χρόνοσ για να φτάςει το header flit Tα άλλα flit ακολουκοφν από πίςω και καταφκάνουν το ζνα μετά το άλλο. Αν ο χρόνοσ να διαςχιςκεί ζνασ διαδρομθτισ (t m ) είναι μεγαλφτεροσ από τον χρόνο μετάδοςθσ ςτο κανάλι (t w ), τότε ο όροσ πρζπει να είναι Mt m. #17

18 Wormhole switching Ακριβϊσ ςαν το VCT με τθ διαφορά ότι: Ζτςι, Αν το header flit μπλοκάρει, τα υπόλοιπα μπλοκάρουν και αποκθκεφονται εκεί που βρίςκονται και όχι εκεί που είναι το header flit Τα flits του πακζτου γίνονται pipelined ςτο μονοπάτι, χωρίσ κενό (γιατί;;) μεταξφ τουσ και με το header flit να «χαράηει» τθν πορεία Τα flits «καταλαμβάνουν» τα κανάλια ςτα οποία βρίςκονται ι ζχουν μπλοκάρει, εμποδίηοντασ ζτςι άλλα μθνφματα να προχωριςουν #19

19 Χρόνοσ με wormhole switching m T wormhole routing r t m t w Mt w D t (Κδιοσ με το VCT χωρίσ αναμονζσ.) #20

20 Απλοποίθςθ Γενικά μποροφμε να ποφμε ότι τα t m, t w και t r είναι παρόμοιασ τάξθσ μεγζκουσ. Αν τα κεωριςουμε ίςα με 1 «χρονικι μονάδα», τότε οι εκφράςεισ μασ απλοποιοφνται ωσ εξισ: T T T circuit switching packet switching T VCT wormhole routing D t D(t 2(t t ) Mt Θ(D M) r r t w m t m w ) DM(t w w t r t m t w Mt w Θ(D M) t t Mt Θ(D M) D t D t r m w w m ) Θ(DM) Υποκζτοντασ ότι Μ > D, τότε οι μεταγωγζσ κυκλϊματοσ, VCT και wormhole εξαρτϊνται ςχεδόν αποκλειςτικά από το M και άρα είναι ςε μεγάλο βακμό ανεξάρτθτεσ τθσ απόςταςθσ (distance insensitive). Πλα αυτά, βζβαια, με τθν προχπόκεςθ ότι δεν υπάρχουν ςυγκροφςεισ / αναμονζσ ςτο μονοπάτι του μθνφματοσ. #21

21 Σφγχρονα δίκτυα υψθλϊν ταχυτιτων Wormhole switching πλεονεκτιματα: Ταχφτθτα ακόμα και ςε δίκτυα μεγάλθσ διαμζτρου Ελάχιςτο buffering Οπότε γίνεται δυνατι θ υλοποίθςθ routers ςε ανεξάρτθτο chip και όχι μζςω τθσ μνιμθσ του κόμβου High-speed (low latency) routers and networks Δίκτυα χαμθλισ κακυςτζρθςθσ Ρ.χ. Myrinet, Infiniband κλπ. Ρολφ ακριβότερα Μειονζκτθμα: Μιασ και καταλαμβάνονται πολλά κανάλια ςε κάκε μινυμα, δεςμεφονται πολλαπλοί πόροι του δικτφου και ωσ αποτζλεςμα είναι ςχετικά εφκολο να οδθγθκοφμε ςε αδιζξοδα (deadlocks). Απαιτοφνται τεχνικζσ πολλαπλϊν εικονικϊν καναλιϊν (virtual channels) και προςεκτικοί αλγόρικμοι διαδρόμθςθσ #22

22 Distributed shared memory (DSM)

23 Γιατί; Συςτιματα κατανεμθμζνθσ μνιμθσ: Αρχιτεκτονικι: κλιμακώςιμη Ρρογραμματιςμόσ (MPI): αρκετά δφςκολοσ αλλά και δυνατότθτα επιδόςεων Συςτιματα κοινισ μνιμθσ (SMPs): Αρχιτεκτονικι: δφςκολα κλιμακώςιμη Ρρογραμματιςμόσ: οικείοσ / προςιτόσ Το ιδεϊδεσ: Κλιμακϊςιμεσ αρχιτεκτονικζσ που να προγραμματίηονται εφκολα (αλλά μθν ξεχνάμε και τισ επιδόςεισ) Μετά το ςειριακό, το πιο εφκολο είναι ο προγραμματιςμόσ κοινισ μνιμθσ (π.χ. OpenMP) Λφςθ: «emulation» τθσ κοινόχρθςτθσ μνιμθσ πάνω από το ςφνολο των ιδιωτικϊν μνθμϊν με hardware με software (π.χ. ςε clusters όπου είναι αδφνατον να αλλάξει το hardware) #24

24 Hardware κόμβοσ ςυςτιματοσ ΜΝΗΜΗ (ΤΟΡΙΚΗ) CPU ROUTER #25

25 Hardware ελεγκτισ DSM ΜΝΗΜΗ (ΤΟΡΙΚΗ) CPU ΕΛΕΓΚΤΗΣ DSM ROUTER Η CPU προςπελαφνει όλο τον χϊρο διευκφνςεων ενιαία Η τοπικι μνιμθ ζχει μόνο ζνα μικρό κομμάτι του χϊρου Ο ελεγκτισ DSM ελζγχει κάκε διεφκυνςθ που προςπελαφνει θ CPU (1) Αν είναι για τθν τοπικι μνιμθ δεν κάνει τίποτε (2) Αν όχι, αναλαμβάνει τθν επικοινωνία με τον κόμβο που τθν χειρίηεται (home node), ςτζλνοντασ κατάλλθλο μινυμα. Μόλισ ζρκει θ απάντθςθ, δίνει δεδομζνα ςτθ CPU ςαν να ιταν αποκθκευμζνο τοπικά Το μόνο που καταλαβαίνει θ CPU είναι θ διαφορά ςτθν ταχφτθτα προςπζλαςθσ κάποιων δεδομζνων (τα απομακρυςμζνα κάνουν πολφ παραπάνω χρόνο να ζρκουν) NUMA (non-uniform memory access) Χριςθ cache ςτον ελεγκτι για τα απομακρυςμζνα δεδομζνα ccnuma (cache coherent NUMA) #26

26 Γενικοποίθςθ: πολυπφρθνοσ ι πολυεπεξεργαςτικόσ κόμβοσ ΜΝΗΜΗ (ΤΟΡΙΚΗ) ΕΛΕΓΚΤΗΣ DSM CPU CPU CPU ROUTER Διπλό cache coherency: «εξωτερικό» πρωτόκολλο από ελεγκτι DSM για απομακρυςμζνα δεδομζνα Υποχρεωτικά πρωτόκολλο καταλόγων «εςωτερικό» πρωτόκολλο από caches των CPUs του κόμβου για τα τοπικά Ρρωτόκολλο snooping #27

27 Ραράδειγμα: AMD Opteron & HyperTransport - 2 HT channels per processor (node) - Cut-through switching - Can connect 8 nodes with up to 3 hops distance plus leave channels for I/O (average diameter is < 2) #28

28 Ραράδειγμα: AMD Opteron & HyperTransport Coherent HyperTransport Η ςυνοχι επιτυγχάνεται με flooding (broadcasting) Typical transaction: 1. Requestor sends message to home node (ηθτϊντασ κάποιο δεδομζνο) 2. Home node forwards / broadcasts to all nodes (διότι δεν γνωρίηει ποιοσ ζχει αντίγραφο ενθμερωμζνο) 3. Every node replies (with acknowledgement or the data) directly to the requestor 4. Requestor selects the correct data and notifies the home node. Αν οι κόμβοι είναι πολλοί, τα βιματα 2 και 3 προκαλοφν υπερβολικι κίνθςθ Δεν υπάρχει (χρειάηεται) κατάλογοσ. #29

29 Κλιμακϊνοντασ το Coherent HT HyperTransport Assist Από τθ ςειρά Magny Cours (ζωσ 12 πυρινεσ) Συςτιματα με 4 sockets => 48 πυρινεσ, το Coherent HT ειςάγει υπερβολικι κίνθςθ Υπάρχει πλζον κατάλογοσ (directory) ϊςτε να αποφεφγονται τα broadcasts Ο κατάλογοσ υλοποιείται ςτθν L3 cache Καταναλϊνει ~ 1 MΒ από τα 6 ΜΒ. Δθμιουργείται εγγραφι μόνο αν Ο κόμβοσ είναι home node για το δεδομζνο ΚΑΙ το δεδομζνο το ζχει πάρει και κάποιοσ άλλοσ επεξεργαςτισ Άρα το cache miss ςθμαίνει ότι το δεδομζνο δεν είναι cached πουκενά Ο «κατάλογοσ» είναι «μερικόσ»: 1 sharer ι more than one sharer #30

30 Intel QuickPath (QPI) Ξεκινϊντασ με τουσ επεξεργαςτζσ Core i7-9xx #31

31 QPI Home Snoop Το snoop είναι ατυχζσ #32

32 QPI Source Snoop Το snoop είναι ατυχζσ #33

33 QPI Το δεφτερο (source snoop) «γλιτϊνει» ζνα βιμα, άρα χαμθλότερο latency Καλφτερο για μικρά ςυςτιματα Πμωσ δθμιουργεί μεγαλφτερθ κίνθςθ Το home snoop είναι κλιμακϊςιμο και κάνει για μεγαλφτερα ςυςτιματα. Το source snoop είναι παρόμοιο με το Coherent HT Πμωσ ο requestor (και όχι ο home) είναι αυτόσ που εκπζμπει ςε όλουσ Αυτό δυςκολεφει τθ διευκζτθςθ των races (όταν γίνουν ταυτόχρονεσ αιτιςεισ για το ίδιο δεδομζνο, οι οποίεσ μεταδίδονται ςτουσ κόμβουσ με διαφορετικι ίςωσ ςειρά) κάτι που το ζλυνε o home ςτο coherent HT. #34

34 Μετρικές & Επιδόσεις

35 Χρόνοσ εκτζλεςθσ & επιτάχυνςθ Σειριακόσ χρόνοσ εκτζλεςθσ: Τ 1 (για τον καλφτερο ςειριακό αλγόρικμο) Ραράλλθλοσ χρόνοσ εκτζλεςθσ: T n (με n επεξεργαςτζσ) Δπιηάσςνζη (speedup): S n T T 1 n #36

36 Ραράδειγμα: πρόςκεςθ αρικμϊν Δπεξεπγαζηήρ: Γεδομένο: x 0 x 1 x 2 x 3 x 4 x 5 x 6 x 7 Βήμα 1: y 1 y 3 y 5 y 7 Βήμα 2: + + z 3 z 7 Βήμα 3: + w 7 #37

37 Ραράδειγμα: ανάλυςθ Κατά το βιμα j κάκε επεξεργαςτισ i, όπου: i = {12 j-1 1, 32 j-1 1, 52 j-1 1, }, ςτζλνει τον αρικμό που διακζτει, ςτον επεξεργαςτι: i+2 j-1. Σε κάκε βιμα, οι αρικμοί μειϊνονται κατά το ½, άρα: T n (log n) Σειριακόσ αλγόρικμοσ για το ίδιο πρόβλθμα απαιτεί Τ 1 = Θ(n) βιματα. Επομζνωσ, n S n log n #38

38 Ιδεϊδθσ επιτάχυνςθ & περίεργα Με n επεξεργαςτζσ, ςτθν καλφτερθ περίπτωςθ κα χρειαςτοφμε το 1/n του χρόνου, επομζνωσ το πολφ γραμμικι (ιδεϊδθσ) επιτάχυνςθ: S n n Ζχει, όμωσ παρατθρθκεί υπεργραμμικι (superlinear) επιτάχυνςθ, όπου S n > n (!) Κυριότεροι λόγοι: Το μζγεκοσ του ςυςτιματοσ (π.χ. μνιμθ) επθρεάηει τθν ταχφτθτα Η τυχαία φφςθ του αλγορίκμου #39

39 Αποδοτικότθτα και κόςτοσ Η επιτάχυνςθ δεν μασ λζει τίποτε για το πόςο καλά χρθςιμοποιοφμε το ςφςτθμα (π.χ. επιτάχυνςθ 10 με 1000 CPUs δεν είναι και τόςο καλό) Αποδοηικόηηηα e n Sn T1 e n 1 n nt n Αν S n = n ι ιςοδφναμα e n = 1 (100%), το πρόγραμμα ονομάηονται εντελϊσ παραλλθλοποιιςιμο. Στο παράδειγμά μασ, S n n log n και άρα e n 1 log n #40

40 Αποδοτικότθτα και κόςτοσ Κόζηορ cn nt n c1 T 1 Δείχνει ακροιςτικά πόςοσ χρόνοσ αφιερϊκθκε από όλουσ τουσ επεξεργαςτζσ Στθν ιδεϊδθ περίπτωςθ, πρζπει να αφιερωκεί τόςοσ χρόνοσ όςο απαιτεί και θ ςειριακι ζκδοςθ αλλά ςτθν πράξθ για διάφορουσ λόγουσ χρειαηόμαςτε παραπάνω χρόνο Ζνα πρόγραμμα κα ζχει βζλτιςτο κόςτοσ όταν το κόςτοσ του διαιροφμενο με το ςειριακό κόςτοσ είναι ςτακερόσ αρικμόσ: c T n 1 (1) #41

41 Εξάρτθςθ από τθν αρχιτεκτονικι Σθμαντικόσ χρόνοσ που πάει χαμζνοσ και δεν εμφανίηεται ςτθ ςειριακι εκτζλεςθ είναι ο χρόνοσ που ςπαταλιζται ςε επικοινωνίεσ / αλλθλεπίδραςθ μεταξφ των επεξεργαςτϊν: για πολυεπεξεργαςτζσ κοινισ μνιμθσ: αμοιβαίοσ αποκλειςμόσ και ςυγχρονιςμόσ για πολυεπεξεργαςτζσ κατανεμθμζνθσ μνιμθσ: αποςτολι / λιψθ μθνυμάτων #42

42 Ραράδειγμα: πρόςκεςθ αρικμϊν ςε γραμμικό γράφο Υπενκφμιςθ: ςτο βιμα j αν ο επεξεργαςτισ i ςυμμετζχει πρζπει να ςτείλει τον αρικμό του ςτον επεξεργαςτι i+2 j 1 Οι επεξεργαςτζσ i και i+2 j 1 πόςο απζχουν ςτον γραμμικό γράφο; Απάντθςθ: 2 j 1 ακμζσ. Άρα: το οποίο δίνει: T logn j1 n (1 2 ) j1 T n n log n 1 Ρροςζξτε ότι Τ n > Τ 1 (!!) #43

43 Ραράδειγμα: πρόςκεςθ αρικμϊν ςε υπερκφβο Βήμα 1 Βήμα 2 Βήμα 3 Σε κάκε βιμα, οι επεξεργαςτζσ i και i+2 j 1 είναι γειτονικοί. Άρα ζχουν απόςταςθ 1 και επομζνωσ, ςε κάκε βιμα κζλουμε 1 χρονικι μονάδα για επικοινωνία και 1 για υπολογιςμό: T n 2log n #44

44 Λίγοι επεξεργαςτζσ αφξθςθ κόκκου παραλλθλίασ Συνικωσ οι αλγόρικμοι ςχεδιάηονται χωρίσ να λαμβάνεται υπόψθ το μζγεκοσ του ςυςτιματοσ που κα φιλοξενιςει το πρόγραμμα. Γίνεται θ υπόκεςθ ότι για οποιοδιποτε μζγεκοσ προβλιματοσ / ειςόδου (Ν) κα διακζτουμε όςουσ επεξεργαςτζσ επικυμοφμε ι «μασ βολεφει» Για μζγεκοσ ειςόδου Ν (π.χ. πρόςκεςθ Ν αρικμϊν) ςυνικωσ υποκζτουμε ότι υπάρχουν τουλάχιςτον Ν επεξεργαςτζσ Πταν φτάςουμε ςτθν πράξθ, όμωσ, διακζτουμε ςυνικωσ πολφ λιγότερουσ (n < N)! Ρρζπει να ξαναςχεδιάςουμε τον αλγόρικμο; Απάντθςθ: Πχι, υπάρχει απλόσ τρόποσ να το αποφφγουμε. Ασ υποκζςουμε ότι μζγεκοσ ειςόδου = Ν και ςχεδιάςαμε τον αλγόρικμό μασ για Ν επεξεργαςτζσ ενϊ ςτθν πράξθ διακζτουμε μόνο n < Ν επεξεργαςτζσ. Οι Ν είναι οι εικονικοί επεξεπγαστέρ. Οι n είναι οι ππαγματικοί επεξεπγαστέρ. Μζκοδοσ: κάκε πραγματικόσ επεξεργαςτισ αναλαμβάνει τθν εξομοίωςθ Ν/n εικονικϊν (αφξθςθ κόκκου παραλλθλίασ) #45

45 Τι να περιμζνουμε από αυτό; Αναμενόμενοσ χρόνοσ εκτζλεςθσ: Χρόνοι υπολογιςμϊν αυξθμζνοι κατά Ν/n το πολφ Χρόνοι επικοινωνίασ αυξθμζνοι κατά Ν/n το πολφ, άρα: T n N n T N c n nt n n N n T N (NT N ) (c N ). Συμπζραςμα: δεν μειϊνεται θ αποδοτικότθτα και δεν αυξάνει το κόςτοσ #46

46 Ραράδειγμα: πρόςκεςθ ςε υπερκφβο με κυκλικι ανάκεςθ y ξ βήμα αλγόριθμξυ (2 οραγματικά βήματα) y y 1 y y 5 2 ξ βήμα αλγόριθμξυ (2 οραγματικά βήματα) 2 3 y 3 y z 3 y ξ βήμα αλγόριθμξυ (μόνξ ορόσυεση) 2 3 z 3 z 7 w 7 #47

47 Ραράδειγμα: ανάλυςθ Για τα πρϊτα log n βιματα του αρχικοφ αλγόρικμου, κάκε επεξεργαςτισ κάνει τθ δουλειά Ν/n εικονικϊν, άρα χρόνοσ εκτζλεςθσ: Θ((N/n) logn) Για τα υπόλοιπα, όλοι οι αρικμοί ζχουν μαηευτεί ςε ζναν επεξεργαςτι Άρα χρόνοσ: Θ(Ν/n) Συνολικά: T n = Θ((N/n) logn). Κόςτοσ c n = nt n = Θ(Nlogn), το οποίο δεν είναι βζλτιςτο, όπωσ ςυνζβαινε και ςτον αρχικό αλγόρικμο. #48

48 Λεπτομζρεια Με αυτό που κάναμε, ουςιαςτικά αυξιςαμε τον κόκκο παραλλθλίασ Κάκε επεξεργαςτισ εκτελεί περιςςότερα πράγματα πλζον Ταυτόχρονα όμωσ, κάποιεσ επικοινωνίεσ πλζον δεν χρειάηεται να γίνουν και ζτςι κερδίηουμε κάποιο χρόνο Ρϊσ; Ρεριμζναμε ότι ο χρόνοσ κα ιταν Θ((N/n)T n ) = Θ((N/n) logν). Πμωσ είδαμε ότι βγικε μικρότεροσ T n = Θ((N/n) logn). Η αφξθςθ του κόκκου ςτθν πράξθ μειϊνει τισ επικοινωνίεσ Ζτςι, μπορεί να μειωκεί και το κόςτοσ, και μάλιςτα να γίνει βζλτιςτο! #49

49 Ραράδειγμα: πρόςκεςθ ςε υπερκφβο με βζλτιςτο κόςτοσ Αλλαγι τθσ ανάκεςθσ: τμθματικι αντί κυκλικισ 0 1 y 2 1 y η φάση (μόνξ τξοικές ορξσυέσεις) y y 7 y y z 3 2 η φάση (αλγόριυμξς σε 2-κύβξ) y 5 y 7 z 7 #50

50 Ραράδειγμα: ανάλυςθ Στα πρϊτα βιματα προςκζςεισ τοπικζσ Θα μείνει 1 αρικμόσ ςε κάκε πραγματικό επεξεργαςτι Θ(Ν/n) Στθ ςυνζχεια αλγόρικμοσ για n αρικμοφσ Θ(log n) Συνολικά, ο απαιτοφμενοσ χρόνοσ κα διαμορφωκεί ωσ: T n = Θ(N/n) + Θ(log n) = Θ(N/n + log n). Κόςτοσ c n = nt n = Θ(N + nlogn). ΣΥΜΡΕΑΣΜΑ: Πςο ο όροσ N επικρατεί, δθλαδι Ν = Ω(nlogn), το κόςτοσ είναι c n = Θ(N) δθλαδι βζλτιςτο! #51

51 Ο νόμοσ του Amdahl Ζςτω ότι διακζτουμε n επεξεργαςτζσ και ότι το πρόγραμμά μασ ζχει τα εξισ χαρακτθριςτικά: Ζνα ποςοςτό f των εντολϊν μπορεί να εκτελεςτεί μόνο ςειριακά. Το υπόλοιπο ποςοςτό (1-f) των εντολϊν είναι εντελϊσ παραλλθλοποιιςιμο. Τότε: T1 Tn ft1 (1 f) n S n T T 1 n nf n (1 f) 1 f #52

52 Ο νόμοσ του Gustafson (Ι) Ρολλζσ φορζσ ενδιαφερόμαςτε, με αφξθςθ των επεξεργαςτϊν, μζςα ςτον ίδιο χρόνο να εκτελζςουμε το πρόγραμμά μασ με μεγαλφτερθ ακρίβεια => μεγαλφτερο πρόβλθμα Ρ.χ. πρόγνωςθ καιροφ Ζςτω λοιπόν ότι ενδιαφερόμαςτε ο χρόνοσ εκτζλεςθσ ενόσ προγράμματοσ με μζγεκοσ ειςόδου Ν να είναι Τ n (Ν) με n επεξεργαςτζσ. Το ερϊτθμα είναι, ποια είναι θ επιτάχυνςθ που πετυχαίνουμε; S n (N) T 1(N) T (N) n #53

53 Ο νόμοσ του Gustafson (ΙΙ) Αν κατά τθν εκτζλεςθ του παράλλθλου προγράμματοσ τα f (N) βιματα ιταν το ποςοςτό του ςειριακοφ κομματιοφ και το υπόλοιπο 1 f (N) εκτελζςτθκε παράλλθλα από τουσ n επεξεργαςτζσ, τότε ςε ζναν ςειριακό υπολογιςτι κα χρειαηόμαςταν χρόνο: T1 (N) f'(n)tn (N) (1 f'(n))nt n (N) Επομζνωσ: (N) S n f'(n) (1 f'(n))n n (n 1)f'(N) #54

54 Ο νόμοσ του Gustafson (ΙΙΙ) (N) S n f'(n) (1 f'(n))n n (n 1)f'(N) μποροφμε να επιτφχουμε οποιαδιποτε επιτάχυνςθ και κατά ςυνζπεια οποιαδιποτε αποδοτικότθτα ρυκμίηοντασ κατάλλθλα το f (N). Η ρφκμιςθ αυτι φυςικά γίνεται μζςω του Ν, δθλαδι βρίςκοντασ το κατάλλθλο μζγεκοσ ειςόδου το οποίο επιφζρει το επικυμθτό αποτζλεςμα. Ζτςι αν αυξθκεί ο αρικμόσ των επεξεργαςτϊν (γίνει κλιμάκωςθ προσ τα πάνω, του n) πρζπει να γίνει κλιμάκωςθ και του N προκειμζνου να επιτευχκεί θ απαιτοφμενθ επιτάχυνςθ. Για το λόγο αυτό θ ςχζςθ αναφζρεται και ωσ κλιμακωμζνθ επιτάχυνςθ (scaled speedup). #55