2. Στοιχεία Αρχιτεκτονικής Παράλληλων Υπολογιστών... 45

Transcript

1 ΠΕΡΙΕΧΟΜΕΝΑ Πρόλογος Εισαγωγή Οι Μεγάλες Σύγχρονες Επιστημονικές Προκλήσεις Εξέλιξη της Παράλληλης Επεξεργασίας Δεδομένων Οι Έννοιες της Σωλήνωσης, του Παραλληλισμού Δεδομένων και του Παραλληλισμού Ελέγχου Το Κόσκινο του Ερατοσθένη Ο Νόμος του Amdahl Κατηγοριοποίηση Ψηφιακών Υπολογιστικών Συστημάτων Γενικότητες Το Πρότυπο SISD Το Πρότυπο SIMD Το Πρότυπο MISD Το Πρότυπο MIMD Στοιχεία Αρχιτεκτονικής Παράλληλων Υπολογιστών Δίκτυα Διασύνδεσης Δίκτυα Μοναδικού Σταδίου (single stage networks) Δίκτυα Πολλαπλού Σταδίου (multiple stage networks) Αξιολόγηση Δικτύων Διασύνδεσης Παράλληλοι Υπολογιστές Κοινής Μνήμης Πολυεπεξεργαστές Ομοιόμορφης Προσπέλασης Μνήμης (UMA) Πολυεπεξεργαστές Μη Ομοιόμορφης Προσπέλασης Μνήμης (NUMA) Παράλληλοι Υπολογιστές Κατανεμημένης Μνήμης Επικοινωνία Επεξεργαστών Πρότυπα Παράλληλου Υπολογισμού Θεμελιώδεις Έννοιες Πρότυπα Πολυεπεξεργαστών... 89

2 4 Εισαγωγή στον Παράλληλο Υπολογισμό PRAM Πρότυπο Δικτύου BSP Πρότυπα Έργου Βάθους Γλωσσικό Πρότυπο με βάση τη NESL Προσομοιώσεις μεταξύ των Προτύπων Το Έργο Χρόνος Πλαίσιο Παρουσίασης Παράλληλων Αλγορίθμων Η έννοια του Βέλτιστου Παράλληλου Αλγορίθμου Στοιχεία της Θεωρίας Παράλληλης Πολυπλοκότητας Η Κλάση NC P Πλήρη Προβλήματα Παράλληλοι Αλγόριθμοι Κοινής Μνήμης Βασικές Τεχνικές Σχεδιασμού Παράλληλων Αλγορίθμων Δομή Ισοζυγισμένου Δένδρου Αναδρομικός Υπολογισμός Αθροισμάτων Προθεμάτων Μη Αναδρομικός Υπολογισμός Αθροισμάτων Προθεμάτων Η Τεχνική του Διπλασιασμού Δεικτών Εύρεση της Τάξης Στοιχείου Λίστας Η Τεχνική της Διαδρομής του Euler Υπολογισμός της Διαδρομής του Euler Εφαρμογές της Τεχνικής της Διαδρομής του Euler Η Τεχνική της Διαμέρισης Συγχώνευση Διαταγμένων Ακολουθιών Αλγόριθμοι Ταξινόμησης Αλγόριθμος Ταξινόμησης Συγχώνευσης Πιθανοτικός Αλγόριθμος Γρήγορης Ταξινόμησης Αλγόριθμοι Γράφων Εύρεση Συνεκτικών Συνιστωσών Τεχνικές Ανάπτυξης Αλγορίθμων σε Γράφους Παράλληλοι Αλγόριθμοι Κατανεμημένης Μνήμης Τεχνικές Παραλληλοποίησης σε Περιβάλλον Κατανεμημένης Μνήμης Αλγόριθμοι Ταξινόμησης

3 Περιεχόμενα Παράλληλη Ταξινόμηση με την Τεχνική της Σωλήνωσης Ο Αλγόριθμος της Περιττής Άρτιας Μετάθεσης σε Γραμμικό Δίκτυο Επέκταση σε Τοπολογία Δισδιάστατου Πλέγματος Ο Αλγόριθμος της Γρήγορης Ταξινόμησης σε Κατανεμημένη Μνήμη Παράλληλη Ταξινόμηση με Κανονική Δειγματοληψία O Αλγόριθμος της Διτονικής Ταξινόμησης Αλγόριθμοι Πολλαπλασιασμού Πινάκων Πολλαπλασιασμός Πινάκων σε Τοπολογία Δακτυλίου Πολλαπλασιασμός Πινάκων σε Τοπολογία Δισδιάστατου Πλέγματος Ο Αλγόριθμος του Cannon Ο Αλγόριθμος του Fox Πολλαπλασιασμός Πινάκων με την Τεχνική της Σωλήνωσης Αλγόριθμοι Επίλυσης Γραμμικών Συστημάτων Παραλληλοποίηση της Μεθόδου Απαλοιφής του Gauss Παραλληλοποίηση της Επαναληπτικής Μεθόδου Jacobi Η Μέθοδος Jacobi για την Επίλυση Διαφορικών Εξισώσεων Ανάδρομη Αντικατάσταση με την Τεχνική της Σωλήνωσης Προγραμματισμός Παράλληλων Μηχανών Πρότυπα Παράλληλου Προγραμματισμού Το Πρότυπο Κοινής Μνήμης Το Πολυνηματικό Πρότυπο Το Πρότυπο Ανταλλαγής Μηνυμάτων Το Πρότυπο Παραλληλισμού Δεδομένων Πρότυπα Προγραμματισμού σε Υψηλό Επίπεδο Το Πρότυπο SPMD (Single Program Multiple Data) Το Πρότυπο MPMD (Multiple Program Multiple Data) Προγραμματισμός Κοινής Μνήμης με Χρήση του OpenMP Εισαγωγή Το Πρότυπο Προγραμματισμού του OpenMP Βασικές Δομές και Διαταγές Παραλληλισμού

4 6 Εισαγωγή στον Παράλληλο Υπολογισμό Η βασική διαταγή παραλληλισμού Οι βασικές διαταγές διαμοιρασμού εργασίας Διαταγές Υποστήριξης Συγχρονισμού Η διαταγή critical Η διαταγή atomic Μηχανισμοί κλειδώματος Η διαταγή barrier Η διαταγή master Η διαταγή flush Ορισμός Διακριτών Εργασιών (Τasks) Άλλες Δυνατότητες και Παραδείγματα Η δήλωση reduction Η δήλωση collapse Άλλες δυνατότητες εμφωλιασμού Άλλα χρήσιμα παραδείγματα Άλλες συναρτήσεις βιβλιοθήκης του OpenMP Μετάφραση προγραμμάτων OpenMP σε C/C Προγραμματισμός Κατανεμημένης Μνήμης με Χρήση MPI Εισαγωγή Το Πρότυπο Προγραμματισμού του MPI Η Δομή ενός Προγράμματος MPI Βασικές Συναρτήσεις Ανταλλαγής Μηνυμάτων Συναρτήσεις Αναστέλλουσας Επικοινωνίας Συναρτήσεις Μη Αναστέλλουσας Επικοινωνίας Συναρτήσεις Συλλογικής Επικοινωνίας Η συνάρτηση MPI_Barrier Η συνάρτηση MPI_Bcast Η συνάρτηση MPI_Scatter Η συνάρτηση MPI_Gather Η συνάρτηση MPI_Reduce Διαχείριση Εικονικών Τοπολογιών Η συνάρτηση MPI_Cart_create Άλλες συναρτήσεις διαχείρισης καρτεσιανών τοπολογιών Άλλες Συναρτήσεις και Παραδείγματα

5 Περιεχόμενα Ορισμός Ομάδων Διεργασιών (Groups) Ομαδοποίηση Δεδομένων (pack/unpack) Παραγόμενοι Τύποι (structs) Οι συναρτήσεις MPI_Scatterv & MPI_Gatherv Άλλα Χρήσιμα Παραδείγματα Άλλες συναρτήσεις βιβλιοθήκης Μετάφραση προγραμμάτων MPI σε C/C ΒΙΒΛΙΟΓΡΑΦΙΑ