ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΥΠΟΛΟΓΙΣΤΙΚΗ ΜΗΧΑΝΙΚΗ. ΜΕΤΑΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ του Οικονόμου Μάριου

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΥΠΟΛΟΓΙΣΤΙΚΗ ΜΗΧΑΝΙΚΗ ΜΕΤΑΠΤΥΧΙΑΚΗ ΕΡΓΑΣΙΑ του Οικονόμου Μάριου Συμπλήρωμα Schur σε παράλληλες αρχιτεκτονικές πολλαπλών GPU/CPU πυρήνων. Εφαρμογή στη μέθοδο των πεπερασμένων στοιχείων. ΕΠΙΒΛΕΠΩΝ Ανδρέας Γ. Μπουντουβής, Καθηγητής Σχολή Χημικών Μηχανικών ΕΜΠ ΑΘΗΝΑ 2014

2 Θα ήθελα να ευχαρισ τήσ ω τον Κύριο Ανδρέα Μπουντουβή και τον Κύριο Αντώνη Σπυρόπουλο που χωρίς την σ υμβολή τους, θα ήταν αδύνατη η ολοκλήρωσ η αυτής της εργασ ίας. Θα ήθελα επίσ ης να ευχαρισ τήσ ω τους γονείς μου, για τη σ υμπαράσ τασ η τους καθ όλη τη διάρκεια εκπόνησ ης της. 2

3 Περίληψη Η εργασ ία αυτή πραγματεύεται την μελέτη μιας παράλληλης εφαρμογής για την επίλυσ η προβλημάτων πεπερασ μένων σ τοιχείων. Αναλυτικότερα, λύνεται το πρόβλημα ελασ τικότητας, μιας τριδιάσ τατης δοκού. Βασ ικό χαρακτηρισ τικό της εφαρμογής είναι η χρήσ η του σ υμπληρώματος Schur. Εφαρμόζοντας σ το αρχικό χωρίο του προβλήματος, μια προσ αρμοσ μένη διαμέρισ η, είναι πολύ εύκολο να δημιουργηθούν μικρότερα και ανεξάρτητα αλγεβρικά σ υσ τήματα τα οποία μπορούν να επιλυθούν παράλληλα. Η εφαρμογή αυτή μπορεί να εκμεταλλευτεί τις δυνατότητες των σ ύγχρονων υβριδικών παράλληλων σ υσ τημάτων χρησ ιμοποιώντας το πρωτόκολλο MPI για την ανταλλαγή δεδομένων. Μπορεί επίσ ης να αξιοποιήσ ει τις ανεπτυγμένες δυνατότητες των GPU ώσ τε να επιτύχει πολύ καλύτερους χρόνους εκτέλεσ ης σ ε σ χέσ η με τα σ υσ τήματα που χρησ ιμοποιούν μόνο CPUs. Παρουσ ιάζονται μετρήσ εις χρόνων και επιτάχυνσ ης της εφαρμογής για διάφορα σ ενάρια, από 2 επεξεργασ τών μέχρι και σ υνδυασ μό 2 GPUs μαζί με 8 CPUs. Αναλύεται η απόδοσ η του παράλληλου μοντέλου και αποτυπώνονται οι απαιτήσ εις μιας διαμέρισ ης που οδηγεί σ ε επιτάχυνσ η της επίλυσ ης. 3

4 Schur Complement on multiple CPU/GPU parallel computer architectures. Application in the Finite Element Method. Oikonomou Marios Abstract In this thesis is examined a parallel computer application used for the solution of nite element problems. Specically, the problem that is solved is that of a 3D elastic beam. A key feature of the application is the usage of the Schur complement. A special partition, if applied to the initial domain, facilitates the formation of small and independent linear systems of equations which can be solved concurrently. The application takes advantage of modern hybrid parallel computers using the MPI protocol for data exchange. Furthermore the Graphic processing unit (GPU) is utilized to increase performance compared to CPU only architectures. The study presents the acceleration and performance of the application for dierent con- gurations, using two CPUs to eight CPUs combined with two GPUs. The eciency of the parallel model is analyzed and the requirements of a partition, that accelerates the solution process, are established. 4

5 Περιεχόμενα 1 Εισαγωγή 7 2 Το συμπλήρωμα Schur Ορισ μός των υποχωρίων Ορισ μός του σ υσ τήματος Schur Σχηματισ μός του μητρώου S Επίλυσ η του σ υσ τήματος με μεθόδους Krylov Ιδιότητες του σ υμπληρώματος Schur Διαμέρισ η του αρχικού χωρίου Το πρόβλημα ελαστικότητας του τριδιάστατου στερεού 16 4 Παράλληλη επεξεργασία Αρχιτεκτονικές μνήμης παράλληλων υπολογισ τών Υπολογισ μοί σ ε κάρτες γραφικών Επιλογή μοντέλου παράλληλης επεξεργασίας Επιλογή αρχιτεκτονικής για το σ υμπλήρωμα Schur Message Passing Interface - MPI Το πρόβλημα κατανομής του φορτίου Αναλυτική περιγραφή του μοντέλου Λεπτομέρειες υλοποίησης και δοκιμών Λεπτομέρειες του παράλληλου υπολογισ τή Σχετικά με το λογισ μικό Λεπτομέρειες του προβλήματος Επιλύτες των block και του σ υνόρου Επιδόσεις της εφαρμογής Αποκλεισ τική χρήσ η επεξεργασ τών Επίλυσ η σ τις κάρτες γραφικών Κατανομή φορτίου σ τις GPU Επίλυσ η με σ υνδυασ μό CPU - GPU GPUs - 4 Cpus (Σενάριο 1) GPUs - 4 Cpus (Σενάριο 2) GPUs - 6 Cpus (Σενάριο 3) GPUs - 6 Cpus (Σενάριο 4) GPUs - 8 Cpus (Σενάριο 5)

6 GPUs - 8 Cpus (Σενάριο 6) GPUs - 8 Cpus (Load balancing) GPUs - 8 Cpus (Load balancing - τυχαία διαμέρισ η) Επίλυσ η σ ε slaves όπου δεν έχουν αρκετή μνήμη Συμπεράσματα 50 6

7 1 Εισ αγωγή Η παράλληλη επεξεργασ ία έχει ανοίξει το δρόμο σ τη επίλυσ η δύσ κολων προβλημάτων, σ ε χρόνους που οι σ ειριακές μέθοδοι, αδυνατούν να επιτύχουν. Σε αρκετά προβλήματα διαφορικών εξισ ώσ εων ή προβλήματα μηχανικής, όπου οι βαθμοί ελευθερίας είναι της τάξεως των χιλιάδων ή εκατομμυρίων, επιτυγχάνεται σ ημαντική βελτίωσ η σ τους χρόνους εκτέλεσ ης. Ενας ακόμα λόγος που σ υντελεί σ την επιλογή της παράλληλης επεξεργασ ίας είναι η εξέλιξη των επεξεργασ τών. Πολλοί σ χεδιασ τές επεξεργασ τών θεωρούν πως τα επόμενα χρόνια θα είναι αρκετά δύσ κολο να αυξηθεί η ταχύτητα των σ ειριακών επεξεργασ τών (αρχιτεκτονικής Single Instruction Single Data). Η βιομηχανία των υπολογισ τών, λαμβάνοντας υπόψη το παραπάνω, έχει προχωρήσ ει σ την ανάπτυξη πολυπύρηνων επεξεργασ τών αλλά και τη χρήσ η των καρτών γραφικών (GPU) ως υπολογισ τικούς επεξεργασ τές. Συνεπώς, η δημιουργία παράλληλων αλγορίθμων έχει γίνει αντικείμενο μελέτης. Υπάρχουν δύο προσ εγγίσ εις σ ε αυτό. Η μία είναι να γίνει προσ πάθεια παραλληλοποίησ ης του σ ειριακού αλγορίθμου σ ε σ ημεία όπου επιτρέπεται, π.χ. αλγόριθμοι που χρησ ιμοποιούν απλές πράξεις γραμμικής άλγεβρας. Η άλλη περίπτωσ η είναι η δημιουργία ενός νέου αλγορίθμου όπου θα λειτουργεί εξαρχής με παράλληλη λογική. Μια τέτοια περίπτωσ η είναι και η μέθοδος σ υμπληρώματος Schur (Schur complement). Η βασ ική της ιδέα είναι να χωρισ τεί το αρχικό διακριτοποιημένο χωρίο σ ε υποχωρία και κατόπιν, να επιλυθούν οι αντίσ τοιχες εξισ ώσ εις σ ε ξεχωρισ τούς επεξεργασ τές. Σε αυτή την εργασ ία, θα επιλυθεί το πρόβλημα τρισ διάσ τατης ελασ τικότητας με χρήσ η πεπερασ μένων σ τοιχείων και του σ υμπληρώματος Schur. Θα γίνει μελέτη της επίδοσ ης της επίλυσ ης σ ε ένα σ ύσ τημα υβριδικού υπολογισ τή που σ υνδυάζει κατανεμημένη αλλά και κοινή μνήμη μεταξύ των επεξεργασ τών. Επιπρόσ θετα, θα χρησ ιμοποιηθούν και κάρτες γραφικών σ την επίλυσ η του προβλήματος. 7

8 2 Το σ υμπλήρωμα Schur 2.1 Ορισ μός των υποχωρίων Εσ τω ένα διακριτοποιημένο ορθογωνικό χωρίο Ω, σ το οποίο είναι για επίλυσ η η εξίσ ωσ η : u = f σ το Ω (2.1) Ο τελεσ τής ορίζεται ως: u = u Γ σ το Γ (2.2) = x + y Χωρίζοντας το χωρίο σ ε s υποσ ύνολα δημιουργούνται τα σ ύνορα Γ 13 και Γ 12 (σ χήμα 2.1). (2.3) Σχήμα 2.1: Χωρίο χωρισ μένο σ ε τρία υποχωρία Saad [18] Στην περίπτωσ η που ήταν γνωσ τές οι τιμές σ τα σ ύνορα Γ 13 και Γ 12, θα μπορούσ αν να χρησ ιμοποιηθούν σ αν σ υνθήκες Dirichlet και έτσ ι να προκύψουν τρεις απεπλεγμένες εξισ ώσ εις Poisson. Επιλέγοντας να λυθεί το παραπάνω πρόβλημα με διακριτοποίησ η πεπερασ μένων σ τοιχείων, προκύπτει το πλέγμα του σ χήματος 2.2. Κρίνεται αναγκαίο, κάθε πεπερασ μένο σ τοιχείο να ανήκει σ ε ένα μόνο υποχωρίο. Επίσ ης πρέπει να αριθμηθούν πρώτα οι εσ ωτερικοί κόμβοι των χωρίων κι ύσ τερα οι κόμβοι του σ υνόρου. 8

9 Σχήμα 2.2: Αρίθμησ η κόμβων [18] Ανάμεσ α σ τα υποχωρία, υπάρχει μια σ ειρά κόμβων (34-40) που αντισ τοιχούν σ τα σ ύνορα Γ 13 και Γ 12. Για να επιτευχθεί λύσ η σ το αρχικό χωρίο, είναι απαραίτητο να βρεθεί η λύσ η σ το σ ύνορο. Το πρόβλημα των πεπερασ μένων σ τοιχείων διατυπώνεται ως εξής: Να βρεθεί u V h τέτοιο ώσ τε α(u, v) = (f, v) v V h όπου το V h είναι ο χώρος των σ υναρτήσ εων σ χήματος και το α είναι διγραμμικός τελεσ τής που ορίζεται ως: ˆ ˆ u v a(u, v) = u vdx = x x + u v y y dx Εφόσ ον τα υποχωρία μεταξύ τους δεν είναι επικαλυπτόμενα, τότε Ω Ω a(u, v) = s a i (u, v) i=1 με ˆ a i (u, v) = u vdx Ω i Ο παραπάνω τρόπος γραφής των εξισ ώσ εων είναι ακριβώς ίδιος με τον τρόπο που χωρίζονται τα σ τοιχεία μεταξύ τους και δημιουργείται το μητρώο ακαμψίας. 9

10 Από την διακριτοποίησ η προκύπτει το σ ύσ τημα Au = b όπου το A είναι ένα μητρώο με την μορφή του σ χήματος (2.3): Σχήμα 2.3: Ενδεικτικός πίνακας που προκύπτει από διαμέρισ η του χωρίου για το πρόβλημα Poisson [18] Διαπισ τώνεται ότι ο πίνακας έχει χωρισ τεί σ ε διάφορα blocks κάποια από τα οποία έχουν σ τοιχεία, ενώ κάποια άλλα δεν έχουν. Στη σ υνέχεια της εργασ ίας, τα blocks αυτά θα έχουν τα εξής ονόματα: B 1 E 1 x 1 f 1 B 2 E 2 x 2 f =. B S E S x s f s F 1 F 2 F s C y g (2.4) όπου κάθε x i είναι το υποδιάνυσ μα των αγνώσ των u που βρίσ κονται εντός του χωρίου i, και το y είναι το υποδιάνυσ μα των αγνώσ των u του σ υνόρου. Αντίσ τοιχα, το κάθε f i είναι το υποδιάνυσ μα του b που αντισ τοιχεί σ το χωρίο i, ενώ το g είναι το υποδιάνυσ μα του b που αντισ τοιχεί σ το σ ύνορο. Το σ ύσ τημα μπορεί να διατυπωθεί και σ την εξής μορφή: ( ) ( ) x f A = με A = y g 10 ( B F ) E C (2.5)

11 2.2 Ορισ μός του σ υσ τήματος Schur Εχοντας το σ ύσ τημα της μορφής (2.5) και κάνοντας την υπόθεσ η ότι το μητρώο B αντισ τρέφεται, υπολογίζεται το x : Αντικαθισ τώντας σ την δεύτερη εξίσ ωσ η : x = B 1 (f Ey) (2.6) (C F B 1 E)y = g F B 1 f (2.7) Ο πίνακας S = C F B 1 E (2.8) ονομάζεται σ υμπλήρωμα Schur. Αν μπορεί να λυθεί το σ ύσ τημα 2.7, τότε υπολογίζονται οι άγνωσ τοι που βρίσ κονται πάνω σ το σ ύνορο. Αντικαθισ τώντας σ την εξίσ ωσ η (2.6), υπολογίζονται όλοι οι άγνωσ τοι εσ ωτερικά των χωρίων. Το γεγονός ότι το μητρώο B έχει αυτή τη μορφή, προσ φέρει τη δυνατότητα να επιλυθούν τα σ υσ τήματα του κάθε χωρίου ανεξάρτητα το ένα από το άλλο. Πρακτικά αυτό σ ημαίνει ότι τα σ υσ τήματα B i x i = f i : μπορούν να λυθούν παράλληλα σ ε διαφορετικούς επεξεργασ τές ταυτόχρονα. μπορούν να λυθούν μέχρι και σ ε υπολογισ τές που δεν έχουν επαρκή μνήμη για να λύσ ουν περισ σ ότερα του ενός, σ υσ τήματα. Ενας γενικευμένος αλγόριθμος για την επίλυσ η των Schur σ υσ τημάτων θα μπορούσ ε να είναι: 1. Υπολόγισ ε το δεξί μέλος g = g F B 1 f 2. Λύσ ε το σ ύσ τημα Sy = g 3. Γνωρίζοντας πλέον το y, λύσ ε το σ ύσ τημα x = B 1 (f Ey) 11

12 Η επίλυσ η του σ υσ τήματος (2.7) μπορεί να γίνει με δύο τρόπους όπου θα αναλυθούν σ τις επόμενες παραγράφους Σχηματισμός του μητρώου S Ο πρώτος τρόπος είναι ο ρητός σ χηματισ μός του μητρώου S. Ορίζοντας το μητρώο E = B 1 E και το διάνυσ μα f = B 1 f ο αλγόριθμος για την επίλυσ η του Schur σ υσ τήματος, γίνεται[18]: 1. Λύσ ε τα BE = E και B f = f 2. Υπολόγισ ε το g = g F f 3. Σχημάτισ ε το S = C F E 4. Λύσ ε το Sy = g 5. Υπολόγισ ε το x = f E y Σε αυτή την περίπτωσ η, η επίλυσ η των επιμέρους σ υσ τημάτων B i μπορεί να γίνει είτε με επαναληπτική μέθοδο ή με LU παραγοντοποίησ η [18]. Οταν το σ ύνορο μεταξύ των χωρίων είναι μεγάλο, τότε θα επιλυθούν αρκετές φορές σ υσ τήματα με το μητρώο B i. Οπότε θα είναι προτιμότερο να γίνει παραγοντοποίησ η σ την αρχή ώσ τε να γίνει γρήγορα η επίλυσ η των υπόλοιπων σ υσ τημάτων. Παρόλα αυτά τίποτα δεν προσ φέρεται χωρίς το ανάλογο κόσ τος. Στα περισ σ ότερα προβλήματα μηχανικής, το μητρώο του σ υσ τήματος Ax = b είναι αραιό και μπορεί να αποθηκευτεί, με οικονομικές σ ε μνήμη μεθόδους. Το αντίσ τοιχο σ υμβαίνει και με τα μητρώα B i αφού είναι υποσ ύνολα του ίδιου προβλήματος. Κάθε απόπειρα παραγοντοποίησ ης αυτών των μητρώων, οδηγεί σ ε προσ θήκη πολλών νέων σ τοιχείων με αποτέλεσ μα να αυξάνονται κατά πολύ οι απαιτήσ εις σ ε μνήμη. Μια σ ημαντική παρατήρησ η είναι ότι η κατασ κευή του μητρώου S είναι αρκετά απαιτητική σ ε μνήμη με αποτέλεσ μα να χάνεται το πλεονέκτημα επίλυσ ης μεγάλων σ υσ τημάτων. 12

13 2.2.2 Επίλυση του συστήματος με μεθόδους Krylov Οι επαναληπτικές μέθοδοι που βασ ίζονται σ ε υποχώρους Krylov απαιτούν τον πολλαπλασ ιασ μό του μητρώου A με ένα διάνυσ μα βάσ ης q. Υπάρχει τρόπος να πολλαπλασ ιασ τεί ο πίνακας S με οποιοδήποτε διάνυσ μα, εμμέσ ως, δηλαδή χωρίς να σ χηματισ τεί: Sq = (C F B 1 E)q = Cq F B 1 Eq (2.9) Ορίζοντας τα διανύσ ματα q = Eq, z = B 1 q και w = Cq + F z διαπισ τώνεται ότι w = Sq. Τα διανύσ ματα αυτά μπορούν να χωρισ τούν σ ε blocks, δηλαδή: q i = E i q (2.10) B i z i = q i (2.11) w = Cq + i Ω F i z i (2.12) Με αυτόν τον τρόπο, τα σ υσ τήματα της σ χέσ ης (2.11) μπορούν να επιλυθούν παράλληλα. Μέσ ω αυτής της υπολογισ τικής διαδικασ ίας, μπορεί να υπολογισ τεί το διάνυσ μα y. Παρότι το γινόμενο Sq δεν παρουσ ιάζει ιδιαίτερες δυσ κολίες, η χρήσ η προσ ταθεροποιητή (preconditioner) σ το μητρώο S είναι αρκετά πιο δύσ κολη ([18]). 2.3 Ιδιότητες του σ υμπληρώματος Schur Δίνεται το μητρώο A όπου δεν είναι ιδιάζον και χωρισ μένο όπως σ τη σ χέσ η (2.4) και ο υποπίνακας x B που και αυτός δεν είναι ιδιάζων. Ορίζεται ο τελεσ τής επιλογής σ υνόρου ως: R y = y με τις εξής y ιδιότητες[18]: 1. Ο πίνακας του σ υμπληρώματος Schur S δεν είναι ιδιάζων 2. Αν ο A είναι θετικά ορισ μένος, τότε είναι και ο S 13

14 3. Για κάθε y, S 1 y = R y A 1 0 y Η ιδιότητα (2) είναι αρκετά σ ημαντική καθώς αν το αρχικό πρόβλημα είναι θετικά ορισ μένο, τότε για τον υπολογισ μό του σ υνόρου μπορεί να χρησ ιμοποιηθεί η ίδια επαναληπτική μέθοδος που θα χρησ ιμοποιούνταν για το αρχικό πρόβλημα. 2.4 Διαμέρισ η του αρχικού χωρίου Από τα αρχικά σ τάδια εφαρμογής της μεθόδου Schur, ένα από τα ζητήματα που καλείται κανείς να αντιμετωπίσ ει είναι της διαμέρισ ης του χωρίου. Υπάρχουν διάφορα κριτήρια που καθορίζουν αν μια διαμέρισ η είναι καλή ή κακή: 1. Είναι αναγκαίο τα σ ύνορα μεταξύ των χωρίων να αποτελούνται από λίγους κόμβους. Οσ ο πιο μεγάλο είναι το όριο, τόσ ο πιο πολύ αυξάνεται το πλήθος των σ υσ τημάτων που πρέπει να επιλυθούν, είτε σ χηματισ τεί το μητρώο S είτε όχι. 2. Τα μεγέθη των χωρίων πρέπει να είναι τέτοια ώσ τε να ευνοούν την κατανομή φορτίου μεταξύ των επεξεργασ τών. Σε οποιαδήποτε άλλη περίπτωσ η, ο ένας επεξεργασ τής θα περιμένει τον άλλον. Σε πραγματικά προβλήματα, ο χωρισ μός γίνεται είτε από τον προγραμματισ τή, είτε χρησ ιμοποιούνται άλλες τεχνικές, όπως γεωμετρικές, χωρικές ή θεωρίας γράφων. 14

15 Σχήμα 2.4: Δύο διαφορετικές διαμερίσ εις για το πρόβλημα της αεροτομής[18] 15

16 3 Το πρόβλημα ελασ τικότητας του τριδιάσ τατου σ τερεού Σχήμα 3.1: Τρισ διάσ τατη πακτωμένη δοκός [5] Για την επίλυσ η του προβλήματος του τριδιάσ τατου σ τερεού, χρησ ιμοποιήθηκαν οχτακομβικά τρισ διάσ τατα σ τοιχεία. Κάθε ένα απ αυτά τα σ τοιχεία έχει διατυπωθεί σ ε φυσ ικές σ υντεταγμένες. Το πολυώνυμο παρεμβολής που χρησ ιμοποιούν τα σ τοιχεία αυτά είναι u(x, y, z) = a 1 + a 2 x + a 3 y + a 4 z + a 5 xy + a 6 yz + a 7 zx + a 8 xyz. Αν ορίσ ουμε τις σ υντεταγμένες κάθε σ ημείου του σ τοιχείου ως α i = μπορεί να γραφεί το διάνυσ μα μετατοπίσ εων ως ξ i η i µ i u = Na e (3.1) 16

17 Σχήμα 3.2: Οχτακομβικό σ τοιχείο σ ε φυσ ικές σ υνεταγμένες[1, :4] Οι σ υντεταγμένες των ξ, η, µ μπορούν να διατυπωθούν ως: ξπαίρνει την τιμή 1 σ την έδρα 1485 μέχρι την ηπαίρνει την τιμή 1 σ την έδρα 1265 μέχρι την µπαίρνει την τιμή 1 σ την έδρα 1234 μέχρι την Οι σ υναρτήσ εις σ χήματος του κάθε σ τοιχείου είναι: N1 e = 1(1 ξ)(1 η)(1 µ) N e 8 2 = 1 (1 + ξ)(1 η)(1 µ) 8 N3 e = 1(1 + ξ)(1 + η)(1 µ) N e 8 4 = 1 (1 ξ)(1 + η)(1 µ) 8 N5 e = 1(1 ξ)(1 η)(1 + µ) N e 8 6 = 1 (1 + ξ)(1 η)(1 + µ) 8 N7 e = 1(1 + ξ)(1 + η)(1 + µ) N e 8 2 = 1 (1 ξ)(1 + η)(1 + µ) 8 (3.2) Το μητρώο των τροπών (strains) σ τον τριδιάσ τατο χώρο είναι 17

18 ɛ = ɛ x ɛ y ɛ z γ xy γ yz γ zx Αντικαθισ τώντας την (3.1) προκύπτει: = u x v y w z u + v y x v + w z y w + u x z = Su (3.3) ɛ = SNα e = Bα e (3.4) όπου N i 0 0 x N 0 i 0 y N 0 0 i z B i = N i N i 0 y x 0 N i z N i z 0 N i y N i x Οταν το υλικό είναι γραμμικό και οι μετατοπίσ εις μικρές: σ x (3.5) σ = Επίσ ης, όταν το υλικό είναι ισ ότροπο, ο τανυσ τής D ορίζεται ως: σ y σ z τ xy τ yz τ zx = Dɛ (3.6) 18

19 D = E (1 + ν)(1 2ν) 1 ν ν ν ν ν ν ν sym. 1 2ν 2 0 Άρα το μητρώο ακαμψίας που προκύπτει από την αρχή των δυνατών έργων είναι: 1 2ν 2 (3.7) ˆ K e = B T EBdV e V e (3.8) Αφού τα σ τοιχεία είναι σ ε φυσ ικές σ υντεταγμένες, ορίζεται η Ιακωβιανή του μετασ χηματισ μού ως: και το μητρώο δυσ καμψίας ως K e = J = +1 1 x ξ x η x µ y ξ y η y µ z ξ z η z µ (3.9) B T EBdet(J)dξdηdµ (3.10) Η δημιουργία του τοπικού μητρώου έγινε σ το πρόγραμμα Mathematica και εισ ήχθη σ τον κώδικα των πεπερασ μένων σ τοιχείων ως αρχείο κειμένου. Η γεωμετρία του σ τερεού είναι όμοια με της δοκού. Η δοκός επιλέχθηκε γιατί είναι εύκολο να χωρισ τεί σ ε υποχωρία δημιουργώντας εγκάρσ ιες τομές. Στο σ χήμα (3.3) φαίνονται τα αποτελέσ ματα των μετατοπίσ εων ενώ η δοκός είναι σ ε κατακόρυφη κάμψη. 19

20 Σχήμα 3.3: Μετατοπίσ εις δοκού - Αποτελέσ ματα από τον κώδικα πεπερασ μένων σ τοιχείων 20

21 4 Παράλληλη επεξεργασ ία 4.1 Αρχιτεκτονικές μνήμης παράλληλων υπολογισ τών Υπάρχουν τρία είδη αρχιτεκτονικής: Κοινής μνήμης Σχήμα 4.1: Σύσ τημα κοινής μνήμης Το σ ύσ τημα έχει παραπάνω από έναν επεξεργασ τές οι οποίοι μπορούν να προσ πελάσ ουν την ίδια (ομοιογενή - UMA) μνήμη. Οι επεξεργασ τές μπορούν να εργάζονται ανεξάρτητα ο ένας από τον άλλο, αλλά οποιαδήποτε αλλαγή κάνει κάποιος σ τη μνήμη, είναι ορατή σ ε όλους τους επεξεργασ τές. Τα πλεονεκτήματα αυτής της αρχιτεκτονικής είναι ότι παρέχεται ένα εύκολο περιβάλλον για προγραμματισ μό αλλά και ότι η μεταφορά δεδομένων από επεξεργασ τή σ ε επεξεργασ τή είναι ταχύτατη, λόγω των γρήγορων δίαυλων. Από την άλλη πλευρά, τα μειονεκτήματα της μεθόδου είναι ότι δεν επεκτείνεται εύκολα σ ε περισ σ ότερους επεξεργασ τές καθώς οι προσ πελάσ εις της μνήμης μπορεί να αυξηθούν μέχρι και σ ε γεωμετρικό βαθμό. Τα τελευταία χρόνια αυτά τα σ υσ τήματα έχουν γίνει αρκετά κοινά σ την αγορά καθώς έχουν δημιουργηθεί chip που έχουν περισ σ ότερους από έναν επεξεργασ τές (πολυπύρηνα). Επίσ ης, έχουν εμφανισ τεί και αρχιτεκτονικές μη ομοιογενούς μνήμης (NUMA). Σε αυτές τις αρχιτεκτονικές, οι επεξεργασ τές και η μνήμη χωρίζονται σ ε ομάδες. Κάθε ομάδα επεξεργασ τών έχει πάλι πρόσ βασ η σ ε όλες της ομάδες μνήμης, με τη διαφορά ότι η προσ πέλασ η σ τη δική της ομάδα είναι ταχύτερη. 21

22 Κατανεμημένης μνήμης Σχήμα 4.2: Σύσ τημα μη κατανεμημένης μνήμης Σε αυτό σ ύσ τημα κάθε ομάδα επεξεργασ τή-μνήμης ονομάζεται κόμβος. Οι κόμβοι μπορεί να είναι πολύ διαφορετικοί μεταξύ τους. Κάθε κόμβος έχει την δική του τοπική μνήμη και έχει πρόσ βασ η μόνο σ ε αυτή. Με αυτόν τον τρόπο κάθε επεξεργασ τής λειτουργεί ανεξάρτητα και κάθε αλλαγή σ την μνήμη του, δεν είναι ορατή σ τους υπόλοιπους. Η ανταλλαγή δεδομένων μεταξύ των κόμβων, είναι ευθύνη του προγραμματισ τή, ο οποίος πρέπει να ορίσ ει ρητά με ποιόν τρόπο και πότε πρέπει να γίνει αυτή η επικοινωνία. Ενα από τα πλεονεκτήματα της αρχιτεκτονικής αυτής είναι ότι είναι επεκτάσ ιμη αφού αυξάνοντας τον αριθμό των επεξεργασ τών, αυξάνεται αυτομάτως και ο χώρος της μνήμης. Επιπρόσ θετα, κάθε επεξεργασ τής μπορεί να προσ πελάσ ει την δική του μνήμη με μεγάλη ταχύτητα και χωρίς να επηρεάζει την ταχύτητα προσ πέλασ ης των υπολοίπων. Ενα από τα σ ημαντικότερα μειονεκτήματα της μεθόδου, είναι ότι ο προγραμματισ τής είναι υπεύθυνος για αρκετές λεπτομέρειες της επικοινωνίας των επεξεργασ τών, κάτι που δεν αποτελεί ζήτημα σ τις αρχιτεκτονικές κοινής μνήμης. Τέλος, η ταχύτητα ανταλλαγής δεδομένων μεταξύ των επεξεργασ τών εξαρτάται από την ταχύτητα του δικτύου. Σχεδόν σ ε όλες τις περιπτώσ εις, τα δίκτυα είναι πολύ πιο αργά από τους διαύλους επικοινωνίας επεξεργασ τή-μνήμης με αποτέλεσ μα οι αρχιτεκτονικές κοινής μνήμης να είναι ταχύτερες σ ε αυτό το κομμάτι. 22

23 Υβριδικά συστήματα Σχήμα 4.3: Υβριδικά σ υσ τήματα Τα πιο γρήγορα σ υσ τήματα υπολογισ τών σ ήμερα, έχουν αυτήν την αρχιτεκτονική μνήμης. Αποτελούνται από κόμβους που ο κάθε ένας έχει περισ σ ότερους από έναν επεξεργασ τές με κοινή μνήμη. 4.2 Υπολογισ μοί σ ε κάρτες γραφικών Από το έτος 2003 [2] οι κάρτες γραφικών άρχισ αν να χρησ ιμοποιούνται για επεξεργασ ία γενικών και αριθμητικών δεδομένων, όπως ανάλυσ η πρωτεϊνών, ανάλυσ η ρίσ κου ή ερωτήματα σ ε μεγάλες βάσ εις δεδομένων. Οι κάρτες γραφικών είναι κατασ κευασ μένες με τέτοιο τρόπο ώσ τε να μπορούν να κάνουν πράξεις υπολογισ τικής γεωμετρίας σ ε τέτοια ταχύτητα που να μπορούν να παρουσ ιάσ ουν σ ε πραγματικό χρόνο, τριδιάσ τατα γραφικά. Οπότε, κατά κάποιο τρόπο, θα μπορούσ αν να χαρακτηρισ τούν ως διανυσ ματικοί επεξεργασ τές (οι διανυσ ματικοί επεξεργασ τές μπορούν σ ε έναν κύκλο ρολογιού, να κάνουν πράξεις μεταξύ διανυσ μάτων). Σημειώνεται ότι οι κάρτες γραφικών έχουν τη δική τους μνήμη, η οποία είναι σ υνήθως πιο γρήγορη από αυτή των επεξεργασ τών. Μία από τις πιο διαδεδομένες τεχνολογίες χρήσ ης καρτών γραφικών για γενικούς υπολογισ μούς, είναι η CUDA της NVIDIA. Θα ακολουθήσ ει μια γρήγορη επεξήγησ η της αρχιτεκτονικής FERMI η οποία υλοποιεί την CUDA. Κάθε κάρτα γραφικών έχει μια σ ειρά από Stream Multiprocessors. Κάθε Multiprocessor έχει μια σ ειρά από Stream Processors ή Cuda cores, όπου κάθε ένας μπορεί να εκτελεί, μία πράξη τη φορά, σ ε ένα βαθμωτό μέγεθος (θερμοκρασ ία για παράδειγμα) είτε είναι ακέραιος, είτε αριθμός κινητής υποδιασ τολής. Στην αρχιτεκτονική FERMI, σ υνήθως κάθε Multiprocessor έχει 32 Cuda cores. Ολοι οι πυρήνες ενός Stream Multiprocessor δέχονται μια κοινή εντολή και την εκτελούν την ίδια χρονική σ τιγμή. Για παράδειγμα, μπορούν να προσ θέσ ουν δύο διανύσ ματα με 32 σ τοιχεία το κάθε ένα, σ ε έναν κύκλο ρολογιού. 23

24 Σχήμα 4.4: Σχεδιάγραμμα ενός Stream Multiprocessor Κάθε φορά που χρειάζεται να γίνει ένας υπολογισ μός σ την κάρτα γραφικών, πρέπει να μεταφερθούν τα δεδομένα, από την κύρια μνήμη, σ την μνήμη της κάρτας γραφικών. Το αντίσ τροφο πρέπει να σ υμβεί όταν έχει τελειώσ ει ο υπολογισ μός και γίνεται σ υλλογή των αποτελεσ μάτων. Ο κώδικας που εκτελείται σ την κάρτα γραφικών ονομάζεται kernel. Κάθε kernel αντισ τοιχίζεται σ ε ένα grid όπου αυτό περιέχει blocks από νήματα. Κάθε block προγραμματίζεται να εκτελεσ τεί σ ε έναν και μοναδικό Multiprocessor. Αυτό σ ημαίνει ότι όλα τα νήματα σ ε αυτό το block έχουν τον ίδιο κώδικα εκτέλεσ ης. Ο Multiprocessor με τη σ ειρά του, ομαδοποιεί τα νήματα του block σ ε ομάδες των 32 που ονομάζονται wraps. Με αυτόν τον τρόπο, εκτελούνται και τα 32 νήματα του κάθε wrap ταυτόχρονα. 24

25 Σχήμα 4.5: Το μοντέλο προγραμματισ μού του CUDA Μετά την εμφάνισ η αυτής της τεχνολογίας, πολλά από τα παράλληλα σ υσ τήματα υπολογισ τών, έχουν αρχίσ ει να την ενσ ωματώνουν. Ετσ ι δημιουργείται μια νέα κατηγορία υβριδικών σ υσ τημάτων η οποία φαίνεται σ το σ χήμα 4.6. Σχήμα 4.6: Υβριδικά σ υσ τήματα με Επεξεργασ τές (CPU) και κάρτες γραφικών (GPU) 25

26 5 Επιλογή μοντέλου παράλληλης επεξεργασ ίας 5.1 Επιλογή αρχιτεκτονικής για το σ υμπλήρωμα Schur Τα σ ύγχρονα προβλήματα μηχανικής, ανάγονται σ ε προβλήματα εξισ ώσ εων με πολλές χιλιάδες βαθμούς ελευθερίας. Με τη μέθοδο Schur complement επιδιώκεται: Η επίλυσ η ενός προβλήματος σ ε παράλληλους υπολογισ τές Η επίλυσ η ενός προβλήματος το οποίο είναι τόσ ο μεγάλο που η μνήμη ενός υπολογισ τή δεν επαρκεί. Γι αυτούς τους λόγους επιλέχθηκε να αναπτυχθεί κώδικας ο οποίος δεν θα κάνει ρητό σ χηματισ μό του μητρώου S και για την επίλυσ η σ το σ ύνορο θα χρησ ιμοποιεί μια επαναληπτική μέθοδο Krylov. Η επιλογή της υβριδικής παράλληλης αρχιτεκτονικής, προσ φέρει επεκτασ ιμότητα σ ε μεγαλύτερα παράλληλα σ υσ τήματα, με περισ σ ότερη μνήμη, ώσ τε να μπορούν να επιλυθούν ακόμα μεγαλύτερα προβλήματα. Δόθηκε ιδιαίτερη προσ οχή ώσ τε να μπορούν να αξιοποιηθούν και κάρτες γραφικών, αν υπάρχουν σ ε τέτοια σ υσ τήματα. 5.2 Message Passing Interface - MPI Το πρωτόκολλο MPI [7] είναι από τα πιο καθιερωμένα περιβάλλοντα παράλληλου προγραμματισ μού. Η πιο βασ ική του λειτουργία, είναι ότι παρέχει σ τον προγραμματισ τή ένα interface όπου του επιτρέπει να σ τέλνει πακέτα με δεδομένα από τον έναν επεξεργασ τή σ τον άλλο. Το MPI αποκρύπτει σ χεδόν όλες τις λεπτομέρειες που αφορούν το δίκτυο μεταφοράς των δεδομένων μεταξύ των επεξεργασ τών. Ισ ως μια σ ημαντική εξαίρεσ η σ ε αυτό είναι η τοπολογία του δικτύου (πολλοί παράλληλοι αλγόριθμοι μπορούν να εκμεταλλευτούν καλύτερα σ υγκεκριμένες τοπολογίες). Το MPI προσ φέρει την δυνατότητα να μεταφερθούν πακέτα δεδομένων, και μεταξύ επεξεργασ τών που έχουν κοινή μνήμη. Αυτό το κάνει ιδανικό σ τη χρήσ η υβριδικών σ υσ τημάτων αφού απλοποιεί αρκετά την υλοποίησ η της εφαρμογής και την κάνει αρκετά φορητή ώσ τε να μπορεί να εκτελεσ τεί ακόμη και σ ε ετερογενή σ υσ τήματα υπολογισ τών. 26

27 Εκτός από το MPI υπάρχουν και άλλα περιβάλλοντα ανάπτυξης παράλληλων εφαρμογών. Ενα από τα πιο διαδεδομένα είναι το OpenMP. Βασ ική διαφορά του OpenMP από το MPI είναι ότι παραλληλοποιεί μια διαδικασ ία δημιουργώντας νήματα και όχι νέες διεργασ ίες. Βασ ικό πλεονέκτημα του είναι ότι τα νήματα δημιουργούνται πολύ πιο γρήγορα από τις διεργασ ίες αλλά και ότι η ανταλλαγή δεδομένων μεταξύ των νημάτων είναι πιο γρήγορη. Παρ όλα αυτά, το OpenMP μπορεί να λειτουργήσ ει μόνο σ ε σ υσ τήματα κοινής μνήμης. Εφόσ ον η εφαρμογή που θα δημιουργηθεί, θα χρησ ιμοποιηθεί σ ε υβριδικά σ υσ τήματα, θα μπορούσ ε να γίνει σ υνδυασ μός του MPI και του OpenMP. Λόγω του παράλληλου μοντέλου που επιλέχθηκε (παράγραφος 5.4) κρίθηκε ότι το OpenMP θα προσ έφερε ελάχισ τα σ ε ταχύτητα ενώ θα έκανε πολύ πιο δύσ κολο τον προγραμματισ μό της εφαρμογής. Παρ όλα αυτά, με το τωρινό μοντέλο παραλληλίας, είναι πιθανό οι διαφορετικοί επεξεργασ τές να έχουν ένα κοινό υποσ ύνολο από blocks (εξ. 2.11). Αυτό σ ημαίνει πως σ ε ένα κοινής μνήμης σ ύσ τημα, έχει σ παταληθεί μνήμη. Το OpenMP θα μπορούσ ε να βοηθήσ ει σ ε αυτήν την περίπτωσ η ώσ τε να μην υπάρχουν αντίγραφα των ίδιων block σ τη μνήμη. 5.3 Το πρόβλημα κατανομής του φορτίου Ενα από τα ζητήματα που ανακύπτουν σ τη μέθοδο του Schur Complement είναι η κατανομή του φορτίου μεταξύ των επεξεργασ τών. Στη γενική περίπτωσ η των επαναληπτικών μεθόδων ισ χύει x i+1 = x i + a d. Για να υπολογισ τεί το νέο x i θα πρέπει σ ε κάθε επανάληψη να λυθούν όλα τα σ υσ τήματα της εξίσ ωσ ης (2.11). Είναι λοιπόν φυσ ικό επόμενο, να μην επιλυθούν όλα τα σ υσ τήματα σ τον ίδιο χρόνο, καθώς μπορεί να έχουν διαφορετικό μέγεθος ή να εκτελούνται σ ε ετερογενές παράλληλο σ ύσ τημα όπου δεν έχουν όλοι οι επεξεργασ τές την ίδια ισ χύ. Οταν χρησ ιμοποιούνται επαναληπτικές μέθοδοι για την επίλυσ η των σ υσ τημάτων (εξ. 2.11), υπάρχει ένας ακόμα λόγος που εμφανίζονται διαφορετικοί χρόνοι επίλυσ ης και έχει να κάνει με τον αριθμό κατάσ τασ ης (condition number). Ο αριθμός κατάσ τασ ης ορίζεται ως: κ(a) = A A 1 και δείχνει την ευαισ θησ ία της λύσ ης για μικρές αλλαγές των τιμών του A. Οταν το condition number είναι μεγάλο, οι επαναληπτικές μέθοδοι εμφανίζουν πιο αργή σ ύγκλισ η και κατά σ υνέπεια αυξάνεται ο χρόνος επίλυσ ης του κάθε σ υσ τήματος. [8, 16]. 27

28 Σχήμα 5.1: Στιγμιότυπο παράλληλης επίλυσ ης όπου δεν υπάρχει κατανομή φορτίου Ως αποτέλεσ μα των διαφορετικών χρόνων επίλυσ ης των σ υσ τημάτων (εξ 2.11), ο χρόνος κάθε επανάληψης επίλυσ ης του σ υνόρου (εξ. 2.9) καθορίζεται από τον πιο αργό επεξεργασ τή (σ χήμα 5.1). Ετσ ι σ χεδόν όλοι οι επεξεργασ τές αναμένουν τον τελευταίο, χωρίς να κάνουν κάποιο υπολογισ μό. Για να περιορισ τεί αυτό το φαινόμενο, είναι αναγκαίο να έχουν ορισ τεί blocks τα οποία δεν θα αναλάβει κανείς επεξεργασ τής από την αρχή. Με αυτόν τον τρόπο, αυτός που έχει ολοκληρώσ ει την επίλυσ η των σ υσ τημάτων που είχε, θα αναλάβει ένα ή περισ σ ότερα από τα περισ σ ευούμενα. Ετσ ι, όλοι οι επεξεργασ τές θα πραγματοποιούν επίλυσ η και θα ελαχισ τοποιηθεί ο χρόνος αναμονής μεταξύ τους. 5.4 Αναλυτική περιγραφή του μοντέλου Σε αυτή την υλοποίησ η επιλέχθηκε το μοντέλο Master - Slave. Ο Master έχει σ τη μνήμη του όλα τα blocks και εκτελεί την επαναληπτική διαδικασ ία Krylov για να υπολογισ τούν οι τιμές του σ υνόρου. Κάθε Slave δέχεται όσ α block (εξ. 2.11) μπορεί να χωρέσ ει η μνήμη του ή όσ α του ορισ τούν. Κάθε φορά που ο Master εκτελεί μια επανάληψη Krylov, σ τέλνει τα block με τα διανύσ ματα που τα σ υνοδεύουν σ τον πρώτο ελεύθερο slave. Αυτό γίνεται επαναληπτικά μέχρι να εξαντληθούν όλα τα blocks. Σε αυτή τη φάσ η ο Master αναμένει τα αποτελέσ ματα από τους Slaves για να μπορέσ ει να προχωρήσ ει σ την επόμενη επανάληψη. Αυτό ονομάζεται φράγμα (barrier) και είναι το πρόβλημα που προσ παθεί να λύσ ει η κατανομή φορτίου (load balancing). Υπάρχουν ακόμα δύο σ ημαντικά ζητήματα, όσ ον αφορά τον αλγόριθμο. Για την επίτευξη του ελάχισ του χρόνου, ο αλγόριθμος δημιουργεί σ την αρχή μια ταξινομημένη λίσ τα με τα blocks από το μεγαλύτερο προς το μικρότερο. Επειτα, ταξινομεί τους slaves από τον πιο γρήγορο, σ τον πιο αργό. Στη σ υνέχεια ζητά από τον πρώτο διαθέσ ιμο slave, να επιλύσ ει το πρώτο block της λίσ τας που δεν έχει υπολογισ τεί, αν αυτό είναι δυνατόν. Αυτού του είδους η προσ έγγισ η, έχει σ αν αποτέλεσ μα την επεξεργασ ία των πιο μεγάλων block από τους πιο γρήγορους slaves και επίσ ης παρέχει σ ε αυτούς περισ σ ότερο χρόνο απ ότι σ τους αργούς. Ακόμη είναι αναγκαίο να αναφερθεί ότι ο Master ελέγχει 28

29 ποια block έχει σ τη μνήμη ο Slave και έτσ ι προτιμά να του σ τέλνει τα διανύσ ματα που αφορούν αυτά με σ κοπό την μείωσ η της επικοινωνίας μεταξύ τους. Σχήμα 5.2: Το μοντέλο Master Slave 29

30 6 Λεπτομέρειες υλοποίησ ης και δοκιμών 6.1 Λεπτομέρειες του παράλληλου υπολογισ τή Ολες οι μετρήσ εις έγιναν σ ε ένα υβριδικό cluster της σ χολής Χημικών Μηχανικών του Εθνικού Μετσ όβιου Πολυτεχνείου. Αποτελείται από τέσ σ ερις κόμβους HP ProLiant SL390s G7[4]. Τα χαρακτηρισ τικά κάθε κόμβου είναι: 2 Xeon CPUs 2.80GHz - Σύνολο: 12 πυρήνες (επεξεργασ τές) και 16 GB RAM. 2 nvidia GPUs Tesla M Σύνολο: 896 Cuda cores με 6 GB RAM σ τις κάρτες γραφικών. Οι κόμβοι είναι σ υνδεδεμένοι μεταξύ τους με δίκτυο Gigabit Ethernet. Η εφαρμογή δοκιμάσ τηκε με αρκετούς σ υνδυασ μούς επεξεργασ τών και κόμβων. Παρ όλα αυτά, οι μετρήσ εις επίδοσ ης της εφαρμογής έγιναν σ ε έναν κόμβο για λόγους διαθεσ ιμότητας του cluster. Εξαίρεσ η σ ε αυτό, αποτελούν οι δοκιμές με περισ σ ότερες από 2 GPUs. 6.2 Σχετικά με το λογισ μικό Η εφαρμογή αυτή αναπτύχθηκε σ ε γλώσ σ α C++ (του προτύπου 2003 [6]) με χρήσ η αντικειμενοσ τραφούς προγραμματισ μού. Η επιλογή της γλώσ σ ας έγινε με σ κοπό την αναγνωσ ιμότητα του κώδικα (κάτι που το πετυχαίνει αρκετά καλά το αντικειμενοσ τραφές μοντέλο) αλλά και τις επιδόσ εις της ε- φαρμογής. Παρόλο που η C++ είναι εξελιγμένη γλώσ σ α γενικού προγραμματισ μού, τα εκτελέσ ιμα αρχεία που παράγει είναι native, δηλαδή γλώσ σ ας μηχανής. Σε σ υνδυασ μό με τις βελτισ τοποιήσ εις που παρέχουν οι σ ημερινοί μεταγλωττισ τές, την καθισ τούν ως μια πολύ ισ χυρή και γρήγορη γλώσ σ α. Μια από τις βασ ικές βιβλιοθήκες που χρησ ιμοποιήθηκαν, ως κορμός, για την εφαρμογή είναι η Eigen 3.2 [14]. Η βιβλιοθήκη αυτή παρέχει χειρισ μό πινάκων (αραιών και πυκνών) αλλά και αρκετές από τις πράξεις της γραμμικής άλγεβρας. Η εκτεταμένη χρήσ η template που διαθέτει, την κάνουν αρκετά ευέλικτη και εύκολη σ τη χρήσ η. Διαθέτει επίσ ης και κάποιους επιλύτες γραμμικών σ υσ τημάτων. Η βιβλιοθήκη που χρησ ιμοποιήθηκε για την αξιοποίησ η των καρτών γραφικών είναι η Cula 4.0 [15]. Παρέχει αρκετούς επιλύτες αραιών πινάκων αλλά και τους preconditioners που μπορούν να εκμεταλλευτούν. Η Cula φροντίζει από μόνη της την μεταφορά των σ υσ τημάτων σ την μνήμη της 30

31 κάρτας γραφικών. Ενα μειονέκτημα που παρουσ ιάζει, είναι ότι δεν μπορεί να διατηρηθεί σ την μνήμη ένα μητρώο για δεύτερη επίλυσ η του. Παρ όλα αυτά, το κόσ τος μεταφοράς του παραμένει χαμηλό. Η τελευταία βιβλιοθήκη που χρησ ιμοποιήθηκε, ήταν η boost [3]. Αυτή παρέχει containers σ τα οποία μπορούν να τοποθετηθούν εύκολα, διάφορα αντικείμενα της C++ και να σ ταλούν μέσ ω του MPI σ ε κάποιον άλλο επεξεργασ τή. 6.3 Λεπτομέρειες του προβλήματος Κάθε φορά που εκτελείται μια εφαρμογή MPΙ, δημιουργούνται σ το λειτουργικό σ ύσ τημα τόσ ες νέες διεργασ ίες, όσ ες είναι και οι διαθέσ ιμες CPUs. Η δημιουργία μιας νέας διεργασ ίας έχει μια σ ταθερή χρονική επιβάρυνσ η. Κάτι αντίσ τοιχο σ υμβαίνει και με τα μηνύματα που σ τέλνουν οι CPUs μεταξύ τους. Αναλυτικότερα, κάθε μήνυμα περιέχει μια σ ταθερού μεγέθους κεφαλίδα η οποία έχει και αυτή σ ταθερή χρονική επιβάρυνσ η. Για να εμφανισ τούν καλές επιδόσ εις σ ε μια παράλληλη εφαρμογή, πρέπει ο σ υνολικός χρόνος εκτέλεσ ης να είναι πολύ μεγαλύτερος από την επιβάρυνσ η δημιουργίας νέων διεργασ ιών. Αντίσ τοιχα τα μηνύματα που ανταλλάσ σ ουν οι CPUs πρέπει να είναι αρκετά μεγαλύτερα από τις κεφαλίδες τους. Δεδομένης της επεξεργασ τικής ισ χύς του κόμβου και για να μην εμφανισ τούν φαινόμενα καθυσ τέρησ ης από αρχικοποίησ η, επιλέχθηκε να δημιουργηθεί πλέγμα διασ τάσ εων [161, 33, 33]. Αυτό σ ημαίνει πως το μητρώο δυσ καμψίας έχει διασ τάσ εις επί και έχει μη μηδενικά σ τοιχεία. Η λύσ η του προβλήματος με την επαναληπτική διαδικασ ία Biconjugate gradient stabilized (BicgStab) για υπόλοιπο 10 5 φαίνεται παρακάτω: Σχήμα 6.1: Λύσ η του προβλήματος της δοκού Η επίλυσ η του έγινε σ ε 259 επαναλήψεις και διήρκεσ ε 99 δευτερόλεπτα. 31

32 6.4 Επιλύτες των block και του σ υνόρου Ο επιλύτης που επιλέχθηκε και για τα block (εξ. 2.11) αλλά και για το σ ύνορο (εξ. 2.9) είναι η BicgStab [11]. Η επιθυμητή ακρίβεια επίλυσ ης ολόκληρου του σ υσ τήματος ορίζεται σ το 10 5 (όσ ες δοκιμές κατέληξαν με μεγαλύτερο υπόλοιπο δεν καταγράφηκαν). Ετσ ι επιλέχθηκε η ακρίβεια 10 6 για την επίλυσ η του σ υνόρου. Μετά τις μετρήσ εις, φάνηκε πως η ακρίβεια των επιλυτών των εξισ ώσ εων 2.11, παίζει πολύ σ ημαντικό ρόλο σ τη σ ύγκλισ η του σ υνόρου αλλά και σ την ακρίβεια των αποτελεσ μάτων όλου του σ υσ τήματος. Στην αρχή δοκιμάσ τηκαν επιλύτες με ακρίβεια αλλά παρουσ ιάσ τηκε δυσ κολία σ ύγκλισ ης όταν επιλύθηκαν σ τις κάρτες γραφικών. Οταν η επιθυμητή ακρίβεια μειώθηκε σ το 10 13, δεν υπήρξαν ιδιαίτερα προβλήματα σ τη σ ύγκλισ η. Το γεγονός ότι παρουσ ιάζονται διαφορετικά αποτελέσ ματα από τους επεξεργασ τές και τις κάρτες γραφικών είναι απολύτως φυσ ιολογικό λόγω των διαφορών σ την αρχιτεκτονική τους [17]. Αυτό σ ημαίνει πως οι υπολογισ μοί που γίνονται σ την GPU έχουν διαφορετικό round-o error από αυτούς που γίνονται σ την CPU. Αυτό μπορεί να σ υμβαίνει επειδή οι GPUs χρησ ιμοποιούν πάρα πολλά νήματα για να πραγματοποιήσ ουν υπολογισ μούς ενώ οι CPUs πολύ λιγότερα ή κανένα. Επίσ ης, η σ ύγκλισ η των επαναληπτικών μεθόδων αλλάζει αρκετά από βιβλιοθήκη σ ε βιβλιοθήκη. 32

33 7 Επιδόσ εις της εφαρμογής Στις παρακάτω μετρήσ εις ορίζονται οι εξής δείκτες : Χρόνος μεταφοράς: Είναι ο χρόνος που δαπανάται σ τις μεταφορές των blocks (εξ. 2.11) και των αποτελεσ μάτων, από τον master σ τους slaves. Χρόνος αναμονής: Είναι ο χρόνος από τη σ τιγμή που ένας επεξεργασ τής έχει τελειώσ ει με τους υπολογισ μούς και αναμένει τους υπόλοιπους επεξεργασ τές για να περάσ ουν το φράγμα και μετά όλοι μαζί, να προχωρήσ ουν σ την επόμενη επανάληψη. Υψηλός χρόνος αναμονής σ ημαίνει ότι δεν έχει γίνει σ ωσ τή κατανομή φορτίου. Χρόνος υπολογισ μού: Είναι ο χρόνος που αφιερώνει κάθε επεξεργασ τής σ την επίλυσ η των blocks (εξίσ ωσ η 2.11). Για να γίνεται σ ωσ τή κατανομή φορτίου, πρέπει όλοι οι επεξεργασ τές που σ υμμετέχουν σ τον υπολογισ μό, να έχουν περίπου ίδιο χρόνο υπολογισ μού. Συνολικός χρόνος υπολογισ μού: είναι ο χρόνος που χρειάζεται η εφαρμογή να λύσ ει με τη μέθοδο του Schur Complement το πρόβλημα της δοκού. Ο σ υνολικός χρόνος είναι πάντα μεγαλύτερος από τον μέγισ το χρόνο υπολογισ μού των slaves και είναι ίσ ος με το άθροισ μα του χρόνου μεταφοράς, αναμονής και υπολογισ μού. Επιτάχυνσ η ή Speed-up: Ορίζεται ως S = T 2 T i Σε όλες τις περιπτώσ εις το T 2 είναι ο χρόνος που χρειάζεται για να λύσ ουν το πρόβλημα της δοκού, δύο επεξεργασ τές με ισ ομερή διαμέρισ η δύο Block. Το T i είναι ο σ υνολικός χρόνος εκτέλεσ ης κάθε περίπτωσ ης με i πλήθος CPUs ή GPUs. 7.1 Αποκλεισ τική χρήσ η επεξεργασ τών Σε αυτό το σ ενάριο φαίνονται οι χρόνοι εκτέλεσ ης της εφαρμογής, όταν εκτελείται μόνο σ ε επεξεργασ τές. Κάθε επεξεργασ τής λαμβάνει ένα block (εξίσ ωσ η 2.11) και σ υνεχίζει να λύνει μόνο αυτό 33

34 το block (λειτουργία cached block). Ετσ ι μειώνεται ο χρόνος σ ε των μεταφορών σ το ελάχισ το. Η δοκός χωρίσ τηκε σ ε ίσ ου μεγέθους block. Στο διάγραμμα 7.1 φαίνεται το speed-up της εφαρμογής. Σχήμα 7.1: Διάγραμμα SpeedUp μόνο με χρήσ η Cpu Σχήμα 7.2: Χρόνοι εκτέλεσ ης των CPU Στο διάγραμμα 7.3 φαίνονται οι σ χέσ εις των residuals r i = Sy i g + F B 1 f (7.1) 34

35 που προκύπτουν από τις επαναλήψεις krylov της εξίσ ωσ ης 2.9 για κάθε περίπτωσ η. Γίνεται λοιπόν φανερό πως όσ ο περισ σ ότερα block υπάρχουν, ή διαφορετικά όσ ο περισ σ ότεροι άγνωσ τοι υπάρχουν σ το σ ύνορο, τόσ ο πιο δύσ κολη είναι η σ ύγκλισ η της μεθόδου. Σχήμα 7.3: Μόνο CPU residuals - επαναλήψεις Επεξεργασ τής Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.1: Χρόνοι σ ε sec. για την περίπτωσ η των 10 CPU Στον πίνακα 7.1 φαίνεται όπως αναμενόταν, πως οι χρόνοι που δαπανήθηκαν σ τις μεταφορές δεδομένων, είναι αμελητέοι. Ομως είναι ξεκάθαρο ότι κάποιοι επεξεργασ τές κάνανε αρκετά περισ σ ότερο χρόνο να λύσ ουν τα σ υσ τήματα που τους ανατέθηκαν και έτσ ι όλοι οι υπόλοιποι βρίσ κονταν σ ε κατάσ τασ η αναμονής ενώ θα μπορούσ αν να επιλύουν κάτι άλλο. Αυτό είναι ένα από τα βασ ικά προβλήματα του παράλληλου προγραμματισ μού και ονομάζεται load balancing. 35

36 7.2 Επίλυσ η σ τις κάρτες γραφικών Με αντίσ τοιχες σ υνθήκες, σ αν της παραγράφου 7.1, έγιναν και οι μετρήσ εις για τις κάρτες γραφικών. Σχήμα 7.4: Διάγραμμα Speed-up για αποκλεισ τική χρήσ η GPU 36

37 Σχήμα 7.5: Αποκλεισ τική χρήσ η GPU, Residual - επαναλήψεις GPU 1 2 Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.2: Χρόνοι σ ε sec. για την περίπτωσ η των 2 GPU με 2 blocks Στην περίπτωσ η των 2 GPU - 2 blocks, (πίνακας 7.2) ο σ υνολικός χρόνος εκτέλεσ ης είναι 607 δευτερόλεπτα και το Speed-up 8.3. Παρ ότι τα blocks έχουν το ίδιο μέγεθος, οι χρόνοι υπολογισ μού είναι σ χεδόν διπλάσ ιοι από τη μία κάρτα σ την άλλη με αποτέλεσ μα να μην υπάρχει σ ωσ τή κατανομή φορτίου. GPU Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.3: Χρόνοι σ ε sec. για την περίπτωσ η των 4 GPU με 4 blocks 37

38 Για την περίπτωσ η των 4 GPU - 4Blocks (πίνακας7.3), ο σ υνολικός χρόνος εκτέλεσ ης είναι και το Speed-up είναι GPU Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.4: Χρόνοι σ ε sec. για την περίπτωσ η των 6 GPU με 6 blocks Ο σ υνολικός χρόνος εκτέλεσ ης της περίπτωσ ης των 6 GPU (πίνακας 7.4) sec και το Speedup είναι Και σ ε αυτή την περίπτωσ η είναι φανερό πως η κατανομή φορτίου δεν είναι ιδανική. Στην καλύτερη των περιπτώσ εων, ο σ υνολικός χρόνος εκτέλεσ ης θα μπορούσ ε να είναι κοντά σ το χρόνο υπολογισ μού του πέμπτου slave. Τελευταία περίπτωσ η είναι με τις 8 GPU - 8 block όπου παρατηρείται πτώσ η του Speed-up και αδυναμία σ ύγκλισ ης σ την τιμή που σ υγκλίνουν οι προηγούμενες περιπτώσ εις Κατανομή φορτίου στις GPU Μιας και παρουσ ιάζονται μεγάλοι χρόνοι αναμονής, όταν κάθε GPU υπολογίζει ένα μόνο block τη φορά, παρατίθεται η παρακάτω περίπτωσ η όπου το χωρίο διαμερίζεται σ ε 4 blocks που τα έχουν και οι δύο κάρτες γραφικών σ τη μνήμη. GPU 1 2 Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.5: Χρόνοι σ ε sec για την περίπτωσ η των 2 GPU με load balancing Παρατηρείται μεγάλη βελτίωσ η σ το χρόνο εκτέλεσ ης ο οποίος είναι και το Speed-up είναι Αυτό που είναι σ ημαντικό είναι ότι οι κάρτες γραφικών πλέον αφιερώνουν σ χεδόν όλο το χρόνο εκτέλεσ ης σ ε υπολογισ μούς και όχι σ ε αναμονή ή μεταφορές δεδομένων, δεδομένου ότι δεν αυξάνονται κατά πολύ οι επαναλήψεις για την εύρεσ η του ορίου. 38

39 7.3 Επίλυσ η με σ υνδυασ μό CPU - GPU Από τις προηγούμενες παραγράφους είναι φανερό πως οι κάρτες γραφικών κάνουν πολύ ταχύτερους υπολογισ μούς από τους κοινούς επεξεργασ τές. Κάθε απόπειρα σ υνδυασ μού αυτών, απαιτεί να γίνει και η ανάλογη διαμέρισ η του χωρίου. Σε όλες τις περιπτώσ εις αυτού του κεφαλαίου, τα μεγάλα blocks σ τέλνονται σ τις κάρτες γραφικών, ενώ τα μικρά σ τους επεξεργασ τές. Σχήμα 7.6: residuals - επαναλήψεις για το υβριδικό μοντέλο GPUs - 4 Cpus (Σενάριο 1) Σε αυτή την περίπτωσ η έγινε η παρακάτω διαμέρισ η: Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU4 Πίνακας 7.6: Διαμέρισ η Σεναρίου 1 39

40 Οι άγνωσ τοι που βρίσ κονται σ το σ ύνορο είναι Ο σ υνολικός χρόνος εκτέλεσ ης είναι 419 δευτερόλεπτα και το Speed-up slave Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.7: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 1 Από τον πίνακα 7.7 είναι φανερό ότι οι CPUs (3-6) δεν έχουν τόσ ο μεγάλα blocks και έτσ ι αναμένουν τις κάρτες γραφικών GPUs - 4 Cpus (Σενάριο 2) Δεδομένου ότι πρέπει να φορτισ τούν λίγο περισ σ ότερο οι CPUs προκύπτει η παρακάτω διαμέρισ η με σ ύνορο μεγέθους 16335: Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU4 Πίνακας 7.8: Διαμέρισ η Σεναρίου 2 slave Μεταφορά , Αναμονή Υπολογισ μός , Πίνακας 7.9: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 2 Με αυτή τη διαμέρισ η, ο σ υνολικός χρόνος εκτέλεσ ης είναι 306 δευτερόλεπτα ο οποίος έχει βελτιωθεί αρκετά. Το Speed-up είναι

41 GPUs - 6 Cpus (Σενάριο 3) Σε αυτό το σ ενάριο το σ ύνορο είναι αγνώσ των και η διαμέρισ η είναι: Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU CPU CPU6 Πίνακας 7.10: Διαμέρισ η σ εναρίου 3 slave Μεταφορά Αναμονή Υπολογισ μός Σχήμα 7.7: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 3 Ο σ υνολικός χρόνος εκτέλεσ ης είναι και το Speed-up Είναι φανερό ότι ο slave 4 καθυσ τερεί πολύ την επίλυσ η καθώς έχει τον κατά πολύ μεγαλύτερο χρόνο υπολογισ μού. 41

42 GPUs - 6 Cpus (Σενάριο 4) Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU CPU CPU6 Πίνακας 7.11: Διαμέρισ η σ εναρίου 4 slave Μεταφορά Αναμονή Υπολογισ μός Σχήμα 7.8: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 4 Με αυτή τη διαμέρισ η ο σ υνολικός χρόνος είναι και το Speed-up GPUs - 8 Cpus (Σενάριο 5) Χρησ ιμοποιώντας την διαμέρισ η με σ ύνορο αγνώσ των: 42

43 Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU CPU CPU CPU CPU8 Πίνακας 7.12: Διαμέρισ η σ εναρίου 5 slave Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.13: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 5 Ο σ υνολικός χρόνος εκτέλεσ ης είναι sec ο οποίος είναι αρκετά καλός δεδομένου ότι οι CPU έχουν περιθώριο αύξησ ης φορτίου και ότι πλέον υπάρχουν αρκετά blocks. Σε αυτό το σ ενάριο το Speed-up είναι GPUs - 8 Cpus (Σενάριο 6) Η επόμενη διαμέρισ η έγινε με σ ύνορο αγνώσ των: 43

44 Βαθμοί ελευθερίας Επεξεργασ τής GPU GPU CPU CPU CPU CPU CPU CPU CPU CPU8 Πίνακας 7.14: Διαμέρισ η σ εναρίου 6 slave Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.15: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου 6 Ο τελικός χρόνος εκτέλεσ ης είναι δευτερόλεπτα και το Speed-up GPUs - 8 Cpus (Load balancing) Στα προηγούμενα σ ενάρια οι διαμερίσ εις προκύψανε μετά από αρκετές δοκιμές ώσ τε να έχουν γρήγορους χρόνους εκτέλεσ ης. Σε αυτή την δοκιμή θα δημιουργηθούν πολλά και μικρότερα blocks (15 σ το σ ύνολο) ώσ τε να μπορεί ο master να κάνει κατανομή φορτίου. Η διαμέρισ η που έγινε είναι με σ ύνορο αγνώσ των: 44

45 Βαθμοί ελευθερίας Πίνακας 7.16: Διαμέρισ η σ εναρίου load balancing Σχήμα 7.9: residuals - επαναλήψεις για το υβριδικό μοντέλο (load balancing) Σε αυτό το σ ενάριο κάθε slave μπορεί να έχει σ τη μνήμη του μέχρι 10 blocks. Τα τέσ σ ερα 45

46 μεγάλα blocks μπορούν να χωρέσ ουν μόνο σ την μνήμη των GPU, επιβάλλοντας έτσ ι τον υπολογισ μό τους μόνο από αυτές. Ο τελικός χρόνος εκτέλεσ ης είναι sec και το Speed-up είναι Συγκρίνοντας αυτό το σ ενάριο με το σ ενάριο 6 (7.3.6), θα μπορούσ ε να πει κάποιος ότι η κατανομή φορτίου δουλεύει αρκετά καλά. Αυτό το σ ενάριο χρειάσ τηκε λίγες επαναλήψεις παραπάνω απ τις διπλάσ ιες (του σ εναρίου 6) για να σ υγκλίνει. Παρ όλα αυτά, ό χρόνος αυξήθηκε μόλις κατά 38% και όχι 100%. slave Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.17: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου load balancing GPUs - 8 Cpus (Load balancing - τυχαία διαμέριση) Σε πραγματική επίλυσ η προβλημάτων, σ υνήθως δεν υπάρχει η πολυτέλεια χρόνου να γίνουν δοκιμές ώσ τε να προκύψει μια αποδοτική διαμέρισ η. Σε αυτό το σ ενάριο θα γίνει επίλυσ η του προβλήματος με διαμέρισ η των 18 block τυχαίου μεγέθους (χρησ ιμοποιώντας την σ υνάρτησ η rand() της C++). Η διαμέρισ η που προέκυψε, με σ ύνορο αγνώσ των, είναι η παρακάτω: 46

47 Βαθμοί ελευθερίας Πίνακας 7.18: Διαμέρισ η σ εναρίου load balancing τυχαίας διαμέρισ ης slave Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.19: Χρόνοι σ ε sec για την περίπτωσ η του σ εναρίου load balancing τυχαίας διαμέρισ ης 47

48 Σχήμα 7.10: residuals - επαναλήψεις για το υβριδικό μοντέλο (load balancing) τυχαίας διαμέρισ ης Ο σ υνολικός χρόνος εκτέλεσ ης είναι ήταν sec και το Speed-up είναι 7.8. Είναι λοιπόν φανερό πως η διαμέρισ η του χωρίου παίζει πολύ σ ημαντικό ρόλο σ τον τελικό χρόνο εκτέλεσ ης. Σενάριο Συνολικός χρόνος Speed-up load balancing load balancing random Πίνακας 7.20: Συγκεντρωτικός πίνακας σ εναρίων 7.4 Επίλυσ η σ ε slaves όπου δεν έχουν αρκετή μνήμη Σε αυτό το σ ενάριο η διαμέρισ η θα γίνει σ ε τέσ σ ερα blocks και θα επιλυθεί σ τις κάρτες γραφικών. Η ιδιαιτερότητα του σ εναρίου αυτού είναι ότι η κάθε κάρτα θα μπορεί να αποθηκεύσ ει ένα μόνο block 48

49 τη φορά. Αυτό σ ημαίνει πως σ ε κάθε υπολογισ μό θα πρέπει να ξανασ τέλνεται από τον master. GPU 1 2 Μεταφορά Αναμονή Υπολογισ μός Πίνακας 7.21: Χρόνοι για την περίπτωσ η των 2 GPU χωρίς αρκετή μνήμη Ο σ υνολικός χρόνος εκτέλεσ ης είναι δευτερόλεπτα και το Speed up μόλις Είναι ξεκάθαρο πως όταν τα blocks δεν διατηρούνται σ τη μνήμη των slaves, τότε ο χρόνος μεταφοράς παίζει ιδιαίτερο ρόλο. Βέβαια, αυτού του είδους η πρακτική, επιτρέπει την επίλυσ η σ υσ τημάτων και σ ε cluster όπου δεν έχουν αρκετή μνήμη ώσ τε να διατηρήσ ουν ολόκληρο το πρόβλημα. 49

50 8 Συμπεράσ ματα Από τις μετρήσ εις που έγιναν σ το κεφάλαιο 7, διαπισ τώνεται ότι με την αύξησ η του πλήθους των σ τοιχείων του σ υνόρου, αυξάνεται και ο αριθμός των επαναλήψεων για να επιλυθεί το σ ύνορο. Αποτέλεσ μα αυτού, είναι ότι ο σ υνολικός χρόνος εκτέλεσ ης αυξάνεται σ ημαντικά. Δικαιολογημένα λοιπόν, δεν παρουσ ιάζεται ιδιαίτερη αύξησ η του Speed-up όταν προσ τίθενται περισ σ ότερα CPUs ή GPUs. Παρατηρείται επίσ ης ότι είναι εκπληκτική η ταχύτητα με την οποία λύνονται τα σ υσ τήματα από τις GPUs. Το μεγαλύτερο Speed-up επετεύχθη, όταν το πρόβλημα επιλύθηκε με δύο κάρτες γραφικών και διαμέρισ η τεσ σ άρων blocks με load balancing. Γίνεται πλέον σ αφές ότι οι κάρτες γραφικών γίνονται απαραίτητες σ τον χώρο της υπολογισ τικής μηχανικής και σ τον ευρύτερο χώρο του επισ τημονικού υπολογισ μού. Δεν μπορούν σ ε καμία περίπτωσ η βέβαια να αντικατασ τήσ ουν τις CPUs καθώς δεν μπορούν να υπολογίσ ουν με τόσ η μεγάλη ακρίβεια (αυτό φαίνεται από την καθυσ τέρησ η σ τη σ ύγκλησ η του γραφήματος 7.5 σ ε σ χέσ η με αυτό των CPU) και δεν έχουν τόσ ο πολλή μνήμη όσ ο οι CPUs. Το τελευταίο είναι αρκετά μεγάλο πρόβλημα όταν υπάρχουν μεγάλα blocks. Στην περίπτωσ η που δεν υπάρχουν ισ χυρές CPUs σ το cluster τότε η επίλυσ η θα είναι πολύ αργή. Το ίδιο ακριβώς θα σ υμβεί αν γίνουν επιπρόσ θετες διαμερίσ εις σ τα μεγάλα block. Ενα ακόμα ζήτημα που αποκτά ιδιαίτερο ρόλο σ τους χρόνους εκτέλεσ ης είναι η σ υσ χέτισ η της κατανομής φορτίου με την ίδια τη διαμέρισ η. Από τις παραπάνω μετρήσ εις, φαίνεται πως είναι επιθυμητό να έχουμε μικρό αριθμό αγνώσ των σ τα σ ύνορα. Στις περισ σ ότερες περιπτώσ εις, αυτό μπορεί να σ υμβεί όταν έχουμε λίγα blocks. Για να γίνει σ ωσ τή κατανομή φορτίου, πρέπει το κάθε block να έχει το ανάλογο μέγεθος με αυτό των δυνατοτήτων του επεξεργασ τή που πρόκειται να το επιλύσ ει. Αυτό από μόνο του καθισ τά πολύ δύσ κολη την δημιουργία μιας αυτοματοποιημένης διαδικασ ίας που θα δημιουργεί διαμερίσ εις. Ενα βήμα περισ σ ότερο όταν κατά την δημιουργία της διαμέρισ ης πρέπει να ληφθεί υπ όψη και ο αριθμός κατάσ τασ ης του σ υσ τήματος που προκύπτει. Η άλλη προσ έγγισ ή είναι να δημιουργούνται περισ σ ότερα blocks από τις CPUs/GPUs. Ετσ ι είναι πιο πιθανό να γίνει καλύτερη κατανομή φορτίου. Στη περίπτωσ η της δοκού, αυτό αυξάνει πολύ τον πλήθος τον αγνώσ των σ το σ ύνορο κάνοντας πολύ πιο αργή την επίλυσ η. Πιθανόν σ ε κάποιο άλλο πρόβλημα αυτή η προσ έγγισ η να λειτουργούσ ε καλύτερα. 50