Παρουσίαση 1 ης Άσκησης:

Transcript

1 Εθνικό Μετσόβιο Πολυτεχνείο Σχολή Ηλεκτρολόγων Μηχ. και Μηχανικών Υπολογιστών Εργαστήριο Υπολογιστικών Συστημάτων Παρουσίαση 1 ης Άσκησης: Ανάπτυξη παράλληλου κώδικα σε πολυπύρηνες αρχιτεκτονικές κοινής μνήμης Ακ. Έτος ο Εξάμηνο

2 Conway s Game Of Life l Το Conway s Game of Life είναι παράδειγμα ενός κυψελικού αυτόματου (cellular automaton) Σε ένα ορθογώνιο ταμπλώ, κάθε κελί έχει δύο πιθανές καταστάσεις: μπορεί να είναι ζωντανό ή νεκρό Σε κάθε χρονικό βήμα/γενιά κάθε κελί εξετάζει τους γείτονές του και ενημερώνει την κατάστασή του: l Ένα ζωντανό κελί πεθαίνει από μοναξιά αν έχει λιγότερους από 2 γείτονες l Ένα ζωντανό κελί επιβιώνει αν έχει 2 ή 3 γείτονες l Ένα ζωντανό κελί πεθαίνει από υπερπληθυσμό (ή αγοραφοβία J) αν έχει περισσότερους από 3 γείτονες l Ένα νεκρό κελί με ακριβώς 3 γείτονες γίνεται ζωντανό λόγω αναπαραγωγής 2

3 Conway s Game Of Life l Εξαρτήσεις από τις τιμές των 8 γειτονικών κελιών, κατά την προηγούμενη χρονική στιγμή l Ζητούμενα: Παραλληλοποίησηαλγορίθμου στο OpenMP Μέτρηση χρόνου εκτέλεσης σε 1, 2, 4, 6, 8 πυρήνες 3

4 Αλγόριθμος Floyd-Warshall (FW) l Εύρεση ελάχιστου μονοπατιού ανάμεσα σε οποιοδήποτε ζεύγος κόμβων ενός κατευθυνόμενου γράφου (τα βάρη των ακμών μπορούν να είναι και αρνητικά). for (k=0; k<n; k++) for (i=0; i<n; i++) for (j=0; j<n; j++) A[i][j] = min(a[i][j], A[i][k]+A[k][j]); l l l Για κάθε χρονικό βήμα k υπολογίζει για κάθε ζεύγος κόμβων i-j αν υπάρχει συντομότερο μονοπάτι από τον i προς τον j περνώντας από το κόμβο k N: αριθμός κόμβων του γράφου Α: πίνακας διπλανών κορυφών (αν i,j δεν συνδέονται τότε Α[i][j] = αρχικά) l Πολυπλοκότητα: Θ(n 3 ) 4

5 Ακ. Έτος Παράδειγμα: γράφος 8 κόμβων

6 Ακ. Έτος Παράδειγμα: γράφος 8 κόμβων

7 Ακ. Έτος Παράδειγμα: γράφος 8 κόμβων

8 k=0 FW Task graph A 00 A 00 A 01 A 02 A 03 A 10 A 11 A 12 A 13 A 01 A 02 A 03 A 10 A 20 A 30 A 20 A 21 A 22 A 23 A 30 A 31 A 32 A 33 A 11 A 12 A 13 A 21 A 22 A 23 A 31 A 32 A 33 k=1 A 11 A 00 A 01 A 02 A 03 A 10 A 11 A 12 A 13 A 10 A 12 A 13 A 01 A 21 A 31 A 20 A 21 A 22 A 23 A 30 A 31 A 32 A 33 A 00 A 02 A 03 A 20 A 22 A 23 A 30 A 32 A 33 8

9 Σειριακή και παράλληλη εκτέλεση l Για μεγάλα Ν (ο Α δεν χωράει στην cache), ο FW είναι memory bound: Ο πίνακας Α πρέπει να μεταφέρεται από την κύρια μνήμη σε κάθε επανάληψη k Οι πράξεις που γίνονται είναι πολύ απλές (σύγκριση / πρόσθεση) σε ακέραιους ή πραγματικούς απλής ακρίβειας l Παράλληλη εκτέλεση: Τα loops i, j είναι παράλληλα Ο αλγόριθμος δεν κλιμακώνει καλά σε αρχιτεκτονικές κοινής μνήμης 9

10 Εναλλακτικές υλοποιήσεις: recursive l J.-S. Park, M. Penner, and V. K. Prasanna, Optimizing Graph Algorithms for Improved Cache Performance, IEEE TRANSACTIONS ON PARALLEL AND DISTRIBUTED SYSTEMS, VOL. 15, NO. 9, SEPTEMBER FWR (A, B, C) if (base case) FWI (A, B, C) else FWR (A 11, B 11, C 11 ); FWR (A 12, B 11, C 12 ); FWR (A 21, B 21, C 11 ); FWR (A 22, B 21, C 12 ); FWR (A 22, B 21, C 12 ); FWR (A 21, B 21, C 11 ); FWR (A 12, B 11, C 12 ); FWR (A 11, B 11, C 11 ); FWI (A, B, C) for (k=0; k<n; k++) for (i=0; i<n; i++) for (j=0; j<n; j++) A[i][j] = min(a[i][j], B[i][k]+C[k][j]); l Καλείται ως: FWR(A, A, A); 10

11 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 11

12 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 12

13 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 13

14 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 14

15 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 15

16 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 16

17 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 17

18 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 18

19 Εναλλακτικές υλοποιήσεις: recursive A 00 A 01 A 10 A 11 19

20 Εναλλακτικές υλοποιήσεις: recursive FWR (A, B, C) if (base case) FWI (A, B, C) else FWR (A 00, B 00, C 00 ); FWR (A 01, B 00, C 01 ); FWR (A 10, B 10, C 00 ); 1 2 Παραλληλία FWR (A 11, B 10, C 01 ); FWR (A 11, B 10, C 01 ); FWR (A 10, B 10, C 00 ); FWR (A 01, B 00, C 01 ); FWR (A 00, B 00, C 00 );

21 Εναλλακτικές υλοποιήσεις: tiled

22 l sandman: 4 x Intel Xeon E (Sandy Bridge) Συνολικά 32 πυρήνες (και 64 threads) Περιβάλλον εκτέλεσης Core 0 Core 1 Core 2 Core 3 Core 0 Core 1 Core 2 Core 3 (NUMA Node 0) 64GB RAM L3 16MiB L3 16MiB (NUMA Node 1) 64GB RAM Core 4 Core 5 Core 6 Core 7 Core 4 Core 5 Core 6 Core 7 Core 0 Core 1 Core 2 Core 3 Core 0 Core 1 Core 2 Core 3 (NUMA Node 2) 64GB RAM L3 16MiB L3 16MiB (NUMA Node 3) 64GB RAM Core 4 Core 5 Core 6 Core 7 Core 4 Core 5 Core 6 Core 7 22

23 Οδηγίες l Για χρήση του sandman: $ qsub q serial l nodes=sandman:ppn=64 <script> l ΠΡΟΣΟΧΗ: Χρησιμοποιείτε τα μηχανήματα της ουράς parlab για ανάπτυξη προγραμμάτων/έλεγχο ορθής λειτουργίας/εκσφαλμάτωση l Μπορείτε να χρησιμοποιήσετε OpenMP ή ΤΒΒs για την εκπόνηση της άσκησης l Μπορείτε να χρησιμοποιείτε τα μηχανήματα της ουράς parlab για την ανάπτυξη του παράλληλου κώδικα l Θα βρείτε τον κώδικα της άσκησης στον scirouter στο path: /home/parallel/pps/ /a1/fw-serial l Θα βρείτε παραδείγματα και οδηγίες μεταγλώττισης/εκτέλεσης για τα TBBs στον scirouter στο path: /home/parallel/pps/ /a1/tbb-workspace 23