Τμήμα Μηχανικών Πληροφορικής & Τηλεπικοινωνιών Αρχιτεκτονική Υπολογιστών Ενότητα 13: (Μέρος Γ ) Συστήματα Παράλληλης & Κατανεμημένης Επεξεργασίας Δρ. Μηνάς Δασυγένης mdasyg@ieee.org Εργαστήριο Ψηφιακών Συστημάτων και Αρχιτεκτονικής Υπολογιστών http://arch.icte.uowm.gr/mdasyg
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ψηφιακά Μαθήματα στο Πανεπιστήμιο Δυτικής Μακεδονίας» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3
Σκοπός ενότητας Η κατανόηση των προκλήσεων και των προβλημάτων της παράλληλης και κατανεμημένης επεξεργασίας. Η κατανόηση των διαφορετικών αρχιτεκτονικών παράλληλων υπολογισμών. 4
Αρχικά, το λογισμικό γράφονταν για σειριακή επεξεργασία Συγκεκριμένα, το λογισμικό προγραμματίζονταν με τις εξής παραδοχές: Εκτέλεση σε έναν κεντρικό υπολογιστικό πυρήνα (central processing unit, cpu). Ο αλγόριθμος αποτελείται από διακεκριμένες σειρές από εντολές (instructions). Η εκτέλεση των εντολών είναι σειριακή. Εκτελείται μόνο μια εντολή σε κάποια χρονική στιγμή. 5
Η παραδοσιακή σειριακή εκτέλεση του αλγορίθμου 6
Η παράλληλη εκτέλεση του αλγορίθμου Με απλά λόγια η παράλληλη επεξεργασία είναι η ταυτόχρονη χρήση πολλαπλών υπολογιστικών πόρων για την επίλυση ενός συγκεκριμένου προβλήματος, με τις εξής παραδοχές: Εκτέλεση σε πολλαπλούς επεξεργαστικούς πυρήνες. Το πρόβλημα διαιρείται σε διακεκριμένα τμήματα τα οποία μπορούν να υπολογιστούν ταυτόχρονα. Κάθε διακεκριμένο τμήμα αποτελείται από σειρές εντολών. Οι εντολές από κάθε τμήμα εκτελούνται ταυτόχρονα σε διαφορετικές CPU. 7
Η παράλληλη επεξεργασία ενός προβλήματος 8
Τοποθεσία των CPU Οι πολλαπλοί επεξεργαστικοί πυρήνες μπορεί να βρίσκονται: Στον ίδιο υπολογιστή. Σε διαφορετικούς υπολογιστές οι οποίοι συνδέονται όμως με ένα δίκτυο διασύνδεσης (ονομάζεται κατανεμημένο σύστημα). Σε μια υβριδική κατάσταση (συνδυασμό των ανωτέρω, π.χ. κατανεμημένο σύστημα με πολλαπλούς επεξεργαστικούς πυρήνες ανά σταθμό). 9
Γιατί πλεονεκτεί η παράλληλη επεξεργασία; Μείωση κόστους/χρόνου εκτέλεσης: Όσο πιο πολλοί υπολογιστικοί πόροι είναι διαθέσιμοι, αναμένεται να μειωθεί ο χρόνος επεξεργασίας και ίσως το συνολικό κόστος του έργου. Αντιμετώπιση μεγάλων προβλημάτων: Υπάρχουν προβλήματα που είναι τόσο δύσκολο και πολύπλοκο να αντιμετωπιστούν που δε θα μπορούσαν ποτέ να ανατεθούν σε ένα μόνο υπολογιστή (επόμενη διαφάνεια: Οι μεγάλες σύγχρονες προκλήσεις). Παροχή ταυτόχρονων υπηρεσιών: Πολλοί χρήστες που απαιτούν ταυτόχρονη πρόσβαση σε κοινές υπηρεσίες και άμεση ανταπόκριση από το σύστημα. 10
Η σειριακή επεξεργασία είναι παρελθόν! Η μεγάλη ανάπτυξη στους σειριακούς υπολογιστές είναι πια παρελθόν για τους εξής λόγους: Η ταχύτητα εξαρτάται από το πόσο γρήγορα μετακινούνται ηλεκτρόνια μέσα από τους διαύλους, η οποία έχει φτάσει στα όριά της. Η βελτίωση των επεξεργαστών μέσω μείωσης της τεχνολογίας δε είναι δυνατή πια γιατί έχει φτάσει σε ελάχιστα επίπεδα (Intel 32nm @2010). Είναι πολύ πιο οικονομικό να κατασκευάσεις ένα σύστημα με πολλούς επεξεργαστές, παρά ένα σύστημα μονού επεξεργαστή για την ίδια απόδοση και κατανάλωση ισχύος. 11
Η παράλληλη επεξεργασία υπήρχε και στους σειριακούς επεξεργαστές Πολλαπλές μονάδες εκτέλεσης πράξεων (superscalar). Διασωληνωμένες Εντολές (pipeline). Hyper-threading και άλλες τεχνολογίες για την επίτευξη ψευδο-παραλληλίας. 12
Νόμος του Moore και παράλληλα συστήματα 13
Όμως η χρήση της παράλληλης επεξεργασίας δεν είναι εύκολη The free lunch is over. Υπάρχουν αρκετά προβλήματα που πρέπει να λυθούν για να υπάρχει αύξηση των επιδόσεων: Προβλήματα επικοινωνίας και συγχρονισμού (δίκτυα διασύνδεσης). Στον έλεγχο των ταυτόχρονων αναφορών στην κοινή μνήμη, ή στις συσκευές Ε/Ε (συνάφεια μνήμης). Στον τρόπο ανάθεσης των προγραμμάτων στις μονάδες επεξεργασίας. Στον τρόπο περιγραφής των παράλληλων προγραμμάτων. Στη διαδικασία ανάπτυξης και συντήρησης λογισμικού για παράλληλους υπολογιστές (τεχνικές σχεδιασμού παράλληλων αλγορίθμων). 14
Επίπεδα της παράλληλης επεξεργασίας Η παράλληλη επεξεργασία μπορεί να γίνει σε διάφορα επίπεδα: Επίπεδο εργασίας (Job level). Μεταξύ εργασιών. Μεταξύ των φάσεων μιας εργασίας. Επίπεδο προγράμματος (program level). Μεταξύ τμημάτων. Εντός βρόχων επανάληψης. Επίπεδο εντολής (instruction level). Μεταξύ των φάσεων εκτέλεσης μιας εντολής. Επίπεδο Αριθμητικής και Δυαδικού Ψηφίου. Μεταξύ στοιχείων μιας διανυσματικής πράξης. Εντός των λογικών κυκλωμάτων. 15
Οι υποδομές των παράλληλων επεξεργαστών σπίτι μας Intel, AMD, IBM cell. Nvidia CUDA. 16
Ποιες είναι οι 4 κατηγορίες υπολογιστών κατά Flynn SISD (Single Instruction Single Data). SIMD (Single Instruction, Multiple Data). MISD (Multiple Instruction Single Data). MIMD (Multiple Instruction, Multiple Data). 17
Οι 4 κατηγορίες κατά Flynn: (A) SISD Μια μοναδική ροή εντολών. Μια μοναδική ροή δεδομένων. Στην κατηγορία ανήκουν οι υπολογιστές που έχουν ένα επεξεργαστή μόνο. Υπάρχει σειριακή επεξεργασία των εντολών. Μια μόνο εντολή οδηγεί τον επεξεργαστή σε κάθε κύκλο. Υπάρχει μόνο μια ροή δεδομένων ως είσοδο στον επεξεργαστή ανά κύκλο. Η πιο εύκολη και διαδεδομένη υλοποίηση. 18
Οι 4 κατηγορίες κατά Flynn: (B) SIMD Υπάρχει μια μοναδική ροή εντολών. Υπάρχει μια πολλαπλή ροή δεδομένων. Η ίδια εντολή εκτελείται (Single Instruction) στον ίδιο κύκλο ρολογιού άλλα σε διαφορετικά σετ δεδομένων (Multiple Data). Στην κατηγορία αυτή ανήκουν οι διανυσματικοί υπολογιστές (vector computers). Είναι πολύ πιο αποδοτικοί από τους σειριακούςπαράγουν περισσότερα αποτελέσματα ανά κύκλο ρολογιού. 19
Οι 4 κατηγορίες κατά Flynn: (C) MISD Στην κατηγορία αυτή υπάρχουν πολλαπλές εντολές που ενεργούν πάνω σε μια ροή δεδομένων πάνω σε μια ροή δεδομένων. Ελάχιστα παραδείγματα αυτής της αρχιτεκτονικής έχουν υπάρξει. Μερικές πιθανές εφαρμογές: Πολλαπλοί αλγόριθμοι κρυπτογράφησης δοκιμάζονται πάνω σε ένα κωδικοποιημένο μήνυμα προκειμένου να το σπάσουν. Κάθε μονάδα επεξεργασίας εκτελεί ανεξάρτητες εντολές πάνω στα ίδια δεδομένα. Οι μονάδες επεξεργασίας διατάσσονται σε μια αλυσιδωτή μορφή. 20
Οι 4 κατηγορίες κατά Flynn: (D) MIMD Στην κατηγορία αυτή υπάρχουν πολλαπλές εντολές που ενεργούν πάνω σε πολλαπλές ροές δεδομένων. Multiple Instruction: Κάθε cpu μπορεί να εκτελεί διαφορετική ροή εντολών εντολών. Multiple Data: Κάθε cpu μπορεί να δουλεύει με είσοδο διαφορετική ροή δεδομένων. 21
Κατηγοριοποίηση κατά Flynn S in g le in s tru c tio n s in g le d a ta s tre a m (S IS D ) S in g le in s tru c tio n m u ltip le d a ta s tre a m (S IM D ) M u ltip le in s tru c tio n s in g le d a ta s tre a m (M IS D ) M u ltip le in s tru c tio n m u ltip le d a ta s tre a m (M IM D ) U n ip ro c e s s o rs V e c to r p ro c e s s o rs A rra y p ro c e s s o rs S h a re d m e m o ry (tig h tly c o u p le d D is trib u te d m e m o ry (lo o s e ly c o u p le d ) S y m m e tric m u ltip ro c e s s o r (S M P ) N o u n ifo rm m e m o ry a c c e s s (N U M A ) C lu s te rs 22
Τι ονομάζουμε συμμετρική πολυεπεξεργασία (SMP) Symmetric Multiprocessing (SMP). Δυο ή περισσότεροι ίδιοι (~συμμετρικοί) επεξεργαστές στο ίδιο σύστημα. Οι επεξεργαστές όλοι συνδέονται στον ίδιο δίαυλο συστήματος. Το ίδιο Λειτουργικό Σύστημα ενορχηστρώνει το σύστημα. Ο κάθε επεξεργαστής εργάζεται ανεξάρτητα σε εργασίες από τους υπολοίπους. Η μνήμη και η Ι/Ο είναι κοινά, προσβάσιμα σε κάθε επεξεργαστή με τον ίδιο χρόνο πρόσβασης. (UMA: Unified Memory Architecture). Οι επεξεργαστές είναι είτε στο ίδιο chip (multi-core) είτε σε ξεχωριστό chip πάνω στο ίδιο motherboard. 23
Κατηγοριοποίηση των συστημάτων μοιραζόμενης μνήμης Uniform Memory Access (UMA) Ομοιόμορφη προσπέλαση μνήμης. NonUniform Memory Access (NUMA) Μη ομοιόμορφη προσπέλαση μνήμης. 24
Uniform Memory Access (UMA) Ομοιόμορφη προσπέλαση μνήμης Η κοινή μνήμη είναι προσβάσιμη από όλους τους επεξεργαστές μέσω ενός δικτύου διασύνδεσης με τον ίδιο τρόπο που ένας και μόνο επεξεργαστής έχει πρόσβαση στην μνήμη. Το δίκτυο δίκτυο διασύνδεσης μπορεί να είναι: απλός δίαυλος, πολλαπλός δίαυλος, διασταύρωσης (single bus, multiple buses, crossbar). Κάθε επεξεργαστής έχει ίση ευκαιρία για εγγραφή/ανάγνωση στη μνήμη καθώς και ίση ταχύτητα πρόσβασης. SMP systems (Symmetric Multiprocessor systems). Επειδή η πρόσβαση στη μνήμη είναι ισορροπημένη. 25
Non Uniform Memory Access (NUMA) Μη ομοιόμορφη προσπέλαση μνήμης Κάθε επεξεργαστής έχει άμεση & ταχύτατη πρόσβαση σε ένα τμήμα της κοινής μνήμης. Υπάρχει ένας κοινός χώρος διεύθυνσης μνήμης (shared address space). Ο χρόνος πρόσβασης σε κάθε άρθρωμα μνήμης εξαρτάται από την απόσταση του κάθε επεξεργαστή από αυτό ==> Μη Ομοιόμορφη προσπέλαση μνήμης. Το δίκτυο διασύνδεσης μπορεί να είναι: ιεραρχικοί δίαυλοι, δένδρα, (hierarchical buses, tree). Η απόδοση εξαρτάται από την «τοπικότητα των δεδομένων» -- data locality δηλ για το αν οι αιτήσεις από τους επεξεργαστές για δεδομένα αφορούν τοπικές ή όχι θέσεις μνήμης. 26
Ανοιχτά θέματα στα Παράλληλα Συστήματα Πότε και πού θα εκτελεστεί μια διεργασία; Πως δημιουργούνται παράλληλες εφαρμογές; Πως επιτυγχάνεται η συνέπεια της μνήμης; Πως επιτυγχάνεται ο συγχρονισμός στις ταυτόχρονες διεργασίες; Πως επιτυγχάνεται η κλιμάκωση; Πως γίνεται η πρόσβαση σε κοινά δεδομένα από πολλαπλές διεργασίες; Ποιο είναι το δίκτυο διασύνδεσης; Θέματα σχεδίασης μνήμης (NUMA,UMA,COMA...). 27
Για περισσότερες πληροφορίες υπάρχει το μάθημα Συστήματα Παράλληλης (& Κατανεμημένης) Επεξεργασίας, υποχρεωτικό σε επόμενο εξάμηνο. 28
Τέλος Ενότητας 29
Σημείωμα Αναφοράς Copyright, Τμήμα Μηχανικών Πληροφορικής και Τηλεπικοινωνιών, Μηνάς Δασυγένης. «Αρχιτεκτονική Υπολογιστών». Κοζάνη 2015. Διαθέσιμο από τη δικτυακή διεύθυνση: https: //eclass.uowm.gr/courses/icte255/ 30
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Όχι Παράγωγα Έργα Μη Εμπορική Χρήση 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] h t t p ://creativecommons.org/licenses/by-nc-nd/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό 31
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 32