Εφαρμογή σε υπολογισμούς αραιών πινάκων. Αντώνιος - Κορνήλιος Κούρτης 1 / 43. Εργαστήριο Υπολογιστικών Συστημάτων ΕΜΠ

Transcript

1 Ανάπτυξη Λογισμικού και Τεχνικών Συμπίεσης Δεδομένων για τη Βελτίωση της Επίδοσης Υπολογιστικών Εφαρμογών σε Παράλληλες Αρχιτεκτονικές Μοιραζόμενης Μνήμης Εφαρμογή σε υπολογισμούς αραιών πινάκων Αντώνιος - Κορνήλιος Κούρτης Εργαστήριο Υπολογιστικών Συστημάτων ΕΜΠ 1 / 43

2 Σκελετός Παράλληλα Συστήματα Μοιραζόμενης Μνήμης Συμπίεση για βελτίωση επίδοσης εφαρμογών με έντονες προσβάσεις μνήμης σε ΠΣΜΜ Αραιοί πίνακες και SpMxV CSR-DU CSR-VI CSX 2 / 43

3 Σκελετός Παράλληλα Συστήματα Μοιραζόμενης Μνήμης Υπόβαθρο Συμπίεση για βελτίωση επίδοσης εφαρμογών με έντονες προσβάσεις μνήμης σε ΠΣΜΜ Αραιοί πίνακες και SpMxV CSR-DU CSR-VI Συμβολή CSX 2 / 43

4 Πολυπύρηνοι επεξεργαστές Η εποχή των πολυπύρηνων επεξεργαστών (multicore era) (διέξοδος των αρχιτεκτόνων στο φράγμα της σειριακής επίδοσης) ( ) απαιτείται αλλαγή στο λογισμικό A τρόπος προγραμματισμού (εξετάζουμε εφαρμογές χωρίς κόστος παραλληλοποίησης) επίδοση core L1 core L1 core L1 core L1 L2 L2 main memory (or off-chip cache) 3 / 43

5 Κλάσεις εφαρμογών (ως προς την επίδοσή τους σε ένα σύστημα μοιραζόμενης μνήμης) core core core core L1 L1 L1 L1 L2 L2 main memory (or off-chip cache) 4 / 43

6 Κλάσεις εφαρμογών (ως προς την επίδοσή τους σε ένα σύστημα μοιραζόμενης μνήμης) Καλή συμπεριφορά χρονική τοπικότητα αναφορών χωρίς εξαρτήσεις core core core core L1 L1 L1 L1 L2 L2 main memory (or off-chip cache) 4 / 43

7 Κλάσεις εφαρμογών (ως προς την επίδοσή τους σε ένα σύστημα μοιραζόμενης μνήμης) Εφαρμογές με έντονες προσβάσεις μνήμης έλλειψη χρονικής τοπικότητας αναφορών υψηλός λόγος προσβάσεων μνήμης προς πράξεις υπολογισμών περιορισμένη επεκτασιμότητα λόγω κορεσμού core core core core L1 L1 L1 L1 L2 L2 main memory (or off-chip cache) 4 / 43

8 Προτεινόμενη αντιμετώπιση: Συμπίεση ανταλλαγή κύκλων μνήμης για κύκλους υπολογισμών c c m c m c c 5 / 43

9 Προτεινόμενη αντιμετώπιση: Συμπίεση ανταλλαγή κύκλων μνήμης για κύκλους υπολογισμών c c m c m c c c m κόστος αποσυμπίεσης 5 / 43

10 Προτεινόμενη αντιμετώπιση: Συμπίεση ανταλλαγή κύκλων μνήμης για κύκλους υπολογισμών c c m c m c c c κόστος αποσυμπίεσης m c c c m c προϋπόθεση: υπερκέραση κόστους αποσυμπίεσης 5 / 43

11 Ανακεφαλαίωση Πρόβλημα: } Έντονες προσβάσεις στη μνήμη Περιορισμένη επεκτασιμότητα Πολυπύρηνοι επεξεργαστές Προσέγγιση: { } προσβάσεων μνήμης Συμπίεση Βελτίωση επίδοσης υπολογισμών Εφαρμογή: Υπολογισμοί αραιών πινάκων πυρήνας SpMxV 6 / 43

12 Αραιοί πίνακες Μεγάλος αριθμός μηδενικών Εφαρμογές (επιστημονικές): μερικές διαφορικές εξισώσεις γράφοι γραμμικός προγραμματισμός Αποδοτική αναπαράσταση (μέγεθος και υπολογισμοί) μη-μηδενικές αριθμητικές τιμές δεδομένα δομής πίνακα Καθιερωμένα σχήματα αποθήκευσης: COO: πρώτη προσέγγιση CSR: βασική προσέγγιση (base-line) BCSR: εξελιγμένη προσέγγιση (state-of-the-art) 7 / 43

13 Σχήμα COO COOrdinate format Απoθήκευση μη-μηδενικών τιμών Συντεταγμένες για κάθε μη-μηδενική τιμή row_ind: col_ind: values: nnz 8 / 43

14 Σχήμα COO COOrdinate format Απoθήκευση μη-μηδενικών τιμών Συντεταγμένες για κάθε μη-μηδενική τιμή row_ind: col_ind: values: nnz 8 / 43

15 Σχήμα COO COOrdinate format Απoθήκευση μη-μηδενικών τιμών Συντεταγμένες για κάθε μη-μηδενική τιμή row_ind: col_ind: values: nnz 8 / 43

16 Σχήμα CSR (Compressed Sparse Row) nrows+1 row_ptr: col_ind: values: nnz 9 / 43

17 Σχήμα CSR (Compressed Sparse Row) nrows+1 row_ptr: col_ind: values: nnz 9 / 43

18 SpMxV πολλαπλασιασμός αραιού πίνακα με διάνυσμα y = A x, όπου A αραιός Σημαντικός υπολογιστικός πυρήνας λύση ΜΔΕ (GMRES, CG) για (CFD, economic modeling) γράφοι (PageRank) έντονη ερευνητική δραστηριότητα a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 a 41 a 42 a 43 a 14 a 24 a 34 a 44 x 1 x 2 x 3 = x 4 y 1 = a 1i x i y 2 = a 2i x i y 3 = a 3i x i y 4 = a 4i x i 10 / 43

19 SpMxV πολλαπλασιασμός αραιού πίνακα με διάνυσμα y = A x, όπου A αραιός Σημαντικός υπολογιστικός πυρήνας λύση ΜΔΕ (GMRES, CG) για (CFD, economic modeling) γράφοι (PageRank) έντονη ερευνητική δραστηριότητα a 11 a 12 a 13 a 21 a 22 a 23 a 31 a 32 a 33 a 41 a 42 a 43 a 14 a 24 a 34 a 44 x 1 x 2 x 3 = x 4 y 1 = a 1i x i y 2 = a 2i x i y 3 = a 3i x i y 4 = a 4i x i 10 / 43

20 SpMxV πολλαπλασιασμός αραιού πίνακα με διάνυσμα y = A x, όπου A αραιός Σημαντικός υπολογιστικός πυρήνας λύση ΜΔΕ (GMRES, CG) για (CFD, economic modeling) γράφοι (PageRank) έντονη ερευνητική δραστηριότητα a 11 a 12 a 13 a 14 y x 1 = a 21 x a 1i x i a 21 a 22 a 23 a 24 x 2 y a 31 a 32 a 33 a 34 2 = 1 + a 24 x 4 a 2i x i x 3 y 3 = = a 3i x i a 41 a 42 a 43 a 44 x 4 y 4 = a 4i x i 10 / 43

21 SpMxV για CSR for (i=0; i < N; i++) for (j=row_ptr[i]; j < row_ptr[i+1]; j++) y[i] += values[j] * x[col_ind[j]]; row_ptr: col_ind: x: x 0 x 1 x 2 x 3 x 4 x 5 values: y: y 0 y 1 y 2 y 3 y 4 y 5 11 / 43

22 SpMxV για CSR for (i=0; i < N; i++) for (j=row_ptr[i]; j < row_ptr[i+1]; j++) y[i] += values[j] * x[col_ind[j]]; i=3 row_ptr: (όρια γραμμής) col_ind: x: x 0 x 1 x 2 x 3 x 4 x 5 values: y: y 0 y 1 y 2 y 3 y 4 y 5 11 / 43

23 SpMxV για CSR i=3 row_ptr: (όρια γραμμής) col_ind: for (i=0; i < N; i++) for (j=row_ptr[i]; j < row_ptr[i+1]; j++) y[i] += values[j] * x[col_ind[j]]; (έμμεση πρόσβαση) x: x 0 x 1 x 2 x 3 x 4 x 5 ( ) values: ( ) y: y 0 y 1 y 2 y 3 y 4 y 5 11 / 43

24 Παραδοσιακές προσεγγίσεις βελτιστοποίησης SpMxV SpMxV χρησιμοποιείται συχνά πληθώρα εργασιών παραδοσιακός στόχος: βελτίωση επίδοσης υπολογισμών ειδικευμένα σχήματα αραιής αποθήκευσης (εκμετάλλευση κανονικοτήτων στους πίνακες) Παραδείγματα: διδιάστατα μπλοκ σταθερού μεγέθους BCSR [Im and Yelick 01] μονoδιάστατα μπλοκ μεταβλητού μεγέθους [Pinar and Heath 99] διαγώνια στοιχεία DIAG 12 / 43

25 Σχήμα BCSR Blocked CSR [Im and Yelick 01] όμοιο με CSR: μπλοκ r c αντί στοιχείων παραδοσιακός στόχος: βελτίωση επίδοσης υπολογισμών (register blocking) ειδικές εκδόσεις SpMxV γιά r c πιθανό padding A = brow ptr : bcol ind : ( ) blocks : bval : ( ) 13 / 43

26 Σχήμα BCSR Blocked CSR [Im and Yelick 01] όμοιο με CSR: μπλοκ r c αντί στοιχείων παραδοσιακός στόχος: βελτίωση επίδοσης υπολογισμών (register blocking) ειδικές εκδόσεις SpMxV γιά r c πιθανό padding A = brow ptr : bcol ind : ( ) blocks : bval : ( ) 13 / 43

27 Σχήμα BCSR Blocked CSR [Im and Yelick 01] όμοιο με CSR: μπλοκ r c αντί στοιχείων παραδοσιακός στόχος: βελτίωση επίδοσης υπολογισμών (register blocking) ειδικές εκδόσεις SpMxV γιά r c πιθανό padding A = brow ptr : bcol ind : ( ) blocks : bval : ( ) 13 / 43

28 Σχήμα BCSR Blocked CSR [Im and Yelick 01] όμοιο με CSR: μπλοκ r c αντί στοιχείων παραδοσιακός στόχος: βελτίωση επίδοσης υπολογισμών (register blocking) ειδικές εκδόσεις SpMxV γιά r c πιθανό padding A = brow ptr : bcol ind : ( ) blocks : bval : ( ) 13 / 43

29 Παραλληλοποίηση SpMxV (σύγχρονοι πολυπύρηνοι επεξεργαστές) Διαμερισμός δεδομένων - ανά γραμμές Ισοκατανομή φόρτου εργασίας - με βάση τα μη-μηδενικά στοιχεία thread 0 thread 1 both threads * = thread 0 thread 1 14 / 43

30 Επίδοση SpMxV (CSR) στη βιβλιογραφία αναφέρονται πολλά προβλήματα επίδοσης εκτεταμένη μελέτη επίδοσης σε 100 πίνακες [Goumas et al 09] SpMxV είναι εφαρμογή με έντονες προσβάσεις μνήμης¹ (παραδοσιακές προσεγγίσεις βελτίωσης υπολογισμών είναι άστοχες) ¹για πίνακες μεγαλύτερους από την cache 15 / 43

31 Επίδοση SpMxV (CSR) στη βιβλιογραφία αναφέρονται πολλά προβλήματα επίδοσης εκτεταμένη μελέτη επίδοσης σε 100 πίνακες [Goumas et al 09] SpMxV είναι εφαρμογή με έντονες προσβάσεις μνήμης¹ (παραδοσιακές προσεγγίσεις βελτίωσης υπολογισμών είναι άστοχες) all average εφαρμογή συμπίεσης για βελτίωση επίδοσης SpMxV ¹για πίνακες μεγαλύτερους από την cache 15 / 43

32 Σύνολο εργασίας CSR SpMxV (γιά nnz N) Ανάλυση δεδομένων προς συμπίεση: s idx : s val : nnz : ws : μέγεθος δείκτη στήλης μέγεθος αριθμητικής τιμής μη μηδενικές αριθμητικές τιμές όγκος δεδομένων συνόλου εργασίας ws = δεδομένα δομής αριθμητικές τιμές {}}{{}}{ nnz s idx + nnz s val s idx = 32 bit s val = 64 bit = δ δομής αρ τιμές 16 / 43

33 Ανακεφαλαίωση Συμπίεση για βελτίωση επίδοσης εφαρμογών με έντονες προσβάσεις μνήμη Αραιοί πίνακες και SpMxV CSR, BCSR SpMxV έντονες προσβάσεις στη μνήμη CSR-DU CSR-VI CSX 17 / 43

34 Συμπίεση δεδομένων δομής Καθιερωμένες προσεγγίσεις βελτιστοποίησης: επιτυγχάνουν συμπίεση (εμμέσα) BCSR ένας δείκτης στήλης ανά μπλοκ αλλά: μπορεί να οδηγήσει σε αύξηση όγκου 18 / 43

35 Συμπίεση δεδομένων δομής Καθιερωμένες προσεγγίσεις βελτιστοποίησης: επιτυγχάνουν συμπίεση (εμμέσα) BCSR ένας δείκτης στήλης ανά μπλοκ αλλά: μπορεί να οδηγήσει σε αύξηση όγκου Κωδικοποίηση δέλτα (για δεικτες στηλών): Παράδειγμα: ci δ τιμές δέλτα σε μία γραμμή: > 0 και < colind [Willcock and Lumsdaine 06] 18 / 43

36 Κωδικοποίηση δέλτα για δείκτες στηλών ci δ / 43

37 Κωδικοποίηση δέλτα για δείκτες στηλών α κωδικοποίηση κάθε τιμής ξεχωριστά (fine grain) υψηλό κόστος αποσυμπίεσης Εισάγονται εντολές διακλάδωσεις στον εσωτερικό βρόχο του SpMxV ci δ enc / 43

38 Κωδικοποίηση δέλτα για δείκτες στηλών α κωδικοποίηση κάθε τιμής ξεχωριστά (fine grain) υψηλό κόστος αποσυμπίεσης Εισάγονται εντολές διακλάδωσεις στον εσωτερικό βρόχο του SpMxV ci δ enc β DCSR [Willcock and Lumsdaine 06] 6 εντολές για την υλοποίηση του SpMxV μοτίβα (patterns) από σύνολα εντολών πολύπλοκο, όχι portable, εξαρτάται από τον πίνακα 19 / 43

39 Προτεινόμενη κωδικοποίηση δέλτα για δείκτες στηλών CSR-DU: coarse-grained η γραμμή χωρίζεται σε περιοχές μεταβλητού μεγέθους (περιοχές δέλτα) μέγεθος δέλτα ανά περιοχή ci δ enc DU εσωτερικοί βρόχοι χωρίς διακλαδώσεις μικρότερες δυνατότητες συμπίεσης μέγεθος περιοχής 19 / 43

40 Το σχήμα αποθήκευσης CSR-DU δεδομένα δομής πίνακας ctl: usize uflags body col_ind row_ptr usize 5 3 uflags D8 nr D16 header body (delta values) 4 20 / 43

41 CSR-DU επεκτάσεις αποστάσεις (άλματα) περιοχών μεγάλο μέγεθος δέλτα εξαιτίας αρχικής τιμής πεδίο ujmp στην επικεφαλίδα: απόσταση από προηγούμενη περιοχή εκτός εσωτερικού βρόχου 21 / 43

42 CSR-DU επεκτάσεις συνεχόμενα στοιχεία όταν τα στοιχεία είναι συνεχόμενα τα δεδομένα δομής μπορούν να παραληφθούν περιοχές με συνεχόμενα στοιχεία μέγεθος απόσταση από προηγούμενη περιοχή [Pinar and Heath 99] / 43

43 CSR-DU επεκτάσεις συνεχόμενα στοιχεία όταν τα στοιχεία είναι συνεχόμενα τα δεδομένα δομής μπορούν να παραληφθούν περιοχές με συνεχόμενα στοιχεία μέγεθος απόσταση από προηγούμενη περιοχή [Pinar and Heath 99] κωδικοποίηση παράμετρος seq: ελάχιστος αριθμός συνεχόμενων στοιχείων, για ομαδοποίηση πχ seq=7 τα στοιχεία του σχ τοποθετούνται σε περιοχές δέλτα 22 / 43

44 CSR-DU πειραματική αξιολόγηση Σύστημα: 2 quad-core Harpertown (2GHz, 6MB L2) C0 L1 C1 L1 C2 L1 C3 L1 Μεθοδολογία (SpMxV): σύνολο 50 πινάκων (από πραγματικές εφαρμογές) L2 L2 επαναληπτικά σύγκριση με CSR, BCSR (best) CPU CPU noseq, seq=4, seq=8 23 / 43

45 CSR-DU μείωση όγκου δεδομένων (σε σχέση με το CSR) CSR-DU: πίνακας dense: 249% για noseq 332% για seq μέση: 142% για noseq 193% για seq=8 211% για seq=4 BCSR: αυξάνει τον όγκο σε 28 (από τους 50) πίνακες -132% κατά μο (αύξηση) 162% στους 22 πίνακες που οδηγεί σε μείωση μόνο για 2 πίνακες καλύτερο από CSR-DU 24 / 43

46 CSR-DU μέση επιτάχυνση Speedup csr bcsr csrdu (noseq) csrdu (seq=8) csrdu (seq=4) Threads CSR-DU (seq = 4) 1 πυρήνας: -7% συγκριτικά με CSR 8 πυρήνες: 287% συγκριτικά με CSR, 35% συγκριτικά με BCSR 25 / 43

47 CSR-DU Επιλογή σχήματος Matrices csr bcsr (1x2) bcsr (1x3) bcsr (2x1) bcsr (2x2) bcsr (3x1) csrdu (noseq) csrdu (seq=8) csrdu (seq=4) Threads 1 πυρήνας: CSR-DU: 18 BCSR: 15 CSR:17 8 πυρήνες: CSR-DU: 43 BCSR: 4 CSR:3 26 / 43

48 Ανακεφαλαίωση CSR-DU κωδικοποίηση δέλτα χοντρού κόκκου συμπίεση δεδομένων δομής γενικό σχήμα χωρισμός πίνακα σε περιοχές περιοχές δέλτα κοινό μέγεθος τιμών δέλτα περιοχές με συνεχόμενα στοιχεία ωστόσο: δεδομένα δομής αποτελούν το 1 3 του ws 27 / 43

49 Συμπίεση αριθμητικών τιμών Τυπικά αποτελούν το μεγαλύτερο κομμάτι του ws Η συμπίεση είναι δύσκολη (γενικά): δεν περιέχουν εγγενή πλεονασμό πληροφορίας οι πράξεις ΚΥ οδηγούν σε στρογγυλοποιημένα αποτελέσματα sign exponent (11 bit) fraction (52 bit) / 43

50 Συμπίεση αριθμητικών τιμών Τυπικά αποτελούν το μεγαλύτερο κομμάτι του ws Η συμπίεση είναι δύσκολη (γενικά): δεν περιέχουν εγγενή πλεονασμό πληροφορίας οι πράξεις ΚΥ οδηγούν σε στρογγυλοποιημένα αποτελέσματα sign exponent (11 bit) fraction (52 bit) Σημαντικός αριθμός πινάκων με μικρό αριθμό μοναδικών τιμών (πλεονάζουσα πληροφορία) 28 / 43

51 Το σχήμα CSR-VI (CSR with Values Indexed) Έμμεση πρόσβαση τιμών CSR value structure values: nnz CSR-VI value structure val_ind: vals_unique: uv 29 / 43

52 Το σχήμα CSR-VI (CSR with Values Indexed) Έμμεση πρόσβαση τιμών CSR value structure values: nnz CSR-VI value structure val_ind: vals_unique: uv 29 / 43

53 Το σχήμα CSR-VI (CSR with Values Indexed) Έμμεση πρόσβαση τιμών CSR value structure values: nnz CSR-VI value structure val_ind: vals_unique: Ογκος δεδομένων CSR : nnz s val CSR-VI : uv s val + nnz s vi (s vi : μέγεθος δείκτη τιμής) s vi μικρότερος ακέραιος που μπορεί να δεικτοδοτήσει uv στοιχεία (πχ αν έχω 256 μοναδικές τιμές, s vi = 1 byte) uv 29 / 43

54 Το σχήμα CSR-VI (συζήτηση) Καταλληλότητα πινάκων (total-to-unique) ttu = nnz uv Υλοποίηση/επίδοση SpMxV for (i=0; i < N; i++) for (j=row_ptr[i]; j < row_ptr[i+1]; j++) y[i] += vals_unique[val_ind[j]] * x[col_ind[j]]; επιπλέον (έμμεση) πρόσβαση στη μνήμη τυχαία πρόσβαση στο vals_unique 30 / 43

55 CSR-VI πειραματική αξιολόγηση Σύστημα: 2 4 πυρήνες (ομοίως με CSR-DU) C0 L1 C1 L1 C2 L1 C3 L1 Μεθοδολογία (SpMxV): L2 L πίνακες (ttu 5) CSR-DUVI (συνδυασμός DU,VI) CPU CPU 31 / 43

56 CSR-VI/CSR-DUVI μείωση όγκου δεδομένων CSR-VI: μο: 392 % μέγιστη: 588 % ελάχιστη: 203 % CSR-DUVI: μο: 524 % (noseq) μο: 573 % (seq=4) μέγιστη: 881 % (seq=4) ελάχιστη: 283 % 32 / 43

57 CSR-VI μέση επιτάχυνση Speedup csr csrvi Threads 1 πυρήνας: 124% συγκριτικά με CSR 8 πυρήνες: 517% συγκριτικά με CSR 8 πυρήνες: 1 πίνακας με χειρότερη επίδοση (από CSR) 33 / 43

58 CSR-DUVI μέση επιτάχυνση csr csrduvi (noseq) csrduvi (seq=8) csrduvi (seq=4) Speedup Threads 8 πυρήνες: 123% συγκριτικά με CSR 8 πυρήνες: κανένας πίνακας με χειρότερη επίδοση (από CSR) μεγάλη μείωση όγκου δεδομένων ορισμένοι πίνακες χωράνε (σε σημαντικό ποσοστό) στη L2 34 / 43

59 Ανακεφαλαίωση CSR-DU δεδομένα δομής γενικό σχήμα περιοχές κωδικοποίηση δέλτα συνεχόμενα στοιχεία CSR-VI αριθμητικές τιμές ειδικό σχήμα κοινές τιμές έμμεσες αναφορές Πειραματική αξιολόγηση (Happertown) σημαντικά οφέλη στη συνέχεια: Πλαίσιο CSX προσαρμόσιμος SpMxV πυρήνας 35 / 43

60 CSX: Κίνητρο και προσέγγιση Κανονικότητες και σχήματα αποθήκευσης BCSR, [Pinar and Heath 99], DIAG πολλαπλές κανονικότητες composite formats [Agarwal et al 92] πολλαπλοί πίνακες κάθενας σε διαφορετικό σχήμα A x = (A 0 + A 1 ) x = A 0 x + A 1 x απαιτήσεις υποστήριξη πολλαπλών κανονικοτήτων επεκτασιμότητα προσαρμοσιμότητα 36 / 43

61 CSX: Κίνητρο και προσέγγιση Κανονικότητες και σχήματα αποθήκευσης BCSR, [Pinar and Heath 99], DIAG πολλαπλές κανονικότητες composite formats [Agarwal et al 92] πολλαπλοί πίνακες κάθενας σε διαφορετικό σχήμα A x = (A 0 + A 1 ) x = A 0 x + A 1 x απαιτήσεις υποστήριξη πολλαπλών κανονικοτήτων επεκτασιμότητα προσαρμοσιμότητα προσέγγιση σχήμα CSX (Compressed Sparse extended) επέκταση/γενίκευση περιοχών CSR-DU δημιουργία ειδικευμένου κώδικα SpMxV (στο χρόνο εκτέλεσης) ενοποιημένη ανίχνευση 36 / 43

62 Κανονικότητες CSX x x x περιοχές με γενικό τύπο για κάθε τύπο υλοποίηση της απαραίτητης πράξης (πχ SpMxV) 37 / 43

63 Κανονικότητες CSX x x x x x (y, x + i) (y, x) (y, x + 1) (y, x + 2) περιοχές με γενικό τύπο για κάθε τύπο υλοποίηση της απαραίτητης πράξης (πχ SpMxV) τύποι περιοχών περιοχές δέλτα συνεχόμενα οριζόντια στοιχεία 37 / 43

64 Κανονικότητες CSX x x x x x (y, x + i δ) (y, x) (y, x + δ) (y, x + 2 δ) περιοχές με γενικό τύπο για κάθε τύπο υλοποίηση της απαραίτητης πράξης (πχ SpMxV) τύποι περιοχών περιοχές δέλτα συνεχόμενα οριζόντια στοιχεία με σταθερή απόσταση δ 37 / 43

65 Κανονικότητες CSX x x x x x (y, x + i δ) x x x x x x x x x x x x x x x (y + i δ, x) (y + i δ, x + i δ) (y i δ, x + i δ) περιοχές με γενικό τύπο για κάθε τύπο υλοποίηση της απαραίτητης πράξης (πχ SpMxV) τύποι περιοχών περιοχές δέλτα συνεχόμενα οριζόντια στοιχεία με σταθερή απόσταση δ διαφορετικές κατευθύνσεις ειδικευμένος κώδικας ανάλλογα με τους τύπους περιοχών του πίνακα 37 / 43

66 Ανίχνευση κανονικοτήτων (1, 3) (2, 1) (2, 2) (2, 3) (2, 4) 1 1 (1, 3) (2, 1) (2, 2) (2, 3) (2, 4) ίδια σειρά με την αποθήκευση εύκολη ανίχνευση 38 / 43

67 Ανίχνευση κανονικοτήτων (1, 1) (1, 3) (2, 2) (3, 3) (4, 4) (1, 1) (1, 3) (2, 2) (3, 3) (4, 4) ίδια σειρά με την αποθήκευση εύκολη ανίχνευση 38 / 43

68 Ανίχνευση κανονικοτήτων (1, 1) (1, 3) (2, 2) (3, 3) (4, 4) i =nrows+j i j = min(i, j) (4, 1) (2, 1) (4, 2) (4, 3) (4, 4) (1, 1) (1, 3) (2, 2) (3, 3) (4, 4) (4, 1) (2, 1) (4, 2) (4, 3) (4, 4) sort (2, 1) (4, 1) (4, 2) (4, 3) (4, 4) ίδια σειρά με την αποθήκευση εύκολη ανίχνευση μετασχηματισμός (ανάλλογα με κανονικότητα) ταξινόμηση μετασχηματισμοί για διαφορετικές κανονικότητες (πχ μπλοκ) 38 / 43

69 Κωδικοποίηση πινάκων Η πλειονότητα: δ = 1 HORIZ,DIAG,VERT αλλά: DU8 DU16 DU32 Diagonal (1) Diagonal (11) Horizontal (1) Horizontal (2) Anti-diagonal (1) Vertical (1) ASIC_680ks stomach Chebyshev4 pre2 Si87H76 msdoor rajat31 39 / 43

70 Πειραματική αξιολόγηση stomach Si87H76 FEM_3D_thermal2 Ga41As41H72 cage13 rajat31 CSX (delta) CSX (horiz) CSX (full) G3_circuit F1 atmosmodj fdif202x202x / 43

71 Μελλοντικές κατευθύνσεις Ανακεφαλαίωση Συμπίεση CSR-DU CSR-VI CSX Μελλοντικές κατευθύνσεις: Πλαίσιο για προσαρμόσιμο πυρήνα SpMxV πίνακας (πχ συμμετρία πίνακα, τύπος δεδομένων) υποκείμενη αρχιτεκτονική (πχ αριθμός νημάτων,χαρακτηριστικά) Υποστήριξη διαφορετικών πράξεων αραιών πινάκων CSX Εφαρμογή τεχνικών συμπίεσης και άλλες κλάσεις υπολογισμών γράφοι βάσεις δεδομένων 41 / 43

72 Δημοσιεύσεις Improving the Performance of Multithreaded Sparse Matrix-Vector Multiplication using Index and Value Compression K Kourtis, G Goumas and N Koziris, ICPP08 Optimizing Sparse Matrix-Vector Multiplication Using Index and Value Compression K Kourtis and G Goumas and N Koziris CF08 Understanding the Performance of Sparse Matrix-Vector Multiplication G Goumas, K Kourtis, N Anastopoulos, Vs Karakasis and N Koziris PDP08 Performance Evaluation of the Sparse Matrix-Vector Multiplication on Modern Architectures Georgios Goumas, Kornilios Kourtis, Nikos Anastopoulos, Vasileios Karakasis and Nectarios Koziris The Journal of Supercomputing (October 2009) Υπό κρίση: Exploiting Compression Opportunities to Improve SpMxV Performance on Shared Memory Systems K Kourtis and G Goumas and N Koziris TACO CSX: An Extended Compression Format for SpMxV on Shared Memory Systems Kornilios Kourtis, Vasileios Karakasis, Georgios Goumas, and Nectarios Koziris SC10 42 / 43

73 EOF The First Rule of Program Optimization: Don t do it The Second Rule of Program Optimization (for experts only!): Don t do it yet - Michael A Jackson 43 / 43