ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ Ι

Transcript

1 ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ Ι Ευστράτιος Γαλλόπουλος Καθηγητής ΗΥ343 Τµήµα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήµιο Πατρών Φθινόπωρο 2008 c 2008, Ευστράτιος Γαλλόπουλος

2

3 Προλεγόµενα Στο ϐιβλίο αυτό περιέχεται ύλη για τη διδασκαλία του Επιστηµονικού Υπολογισµού. Οπως ϑα διαπιστώσετε, η πλειοψηφία των «επιστηµονικών υπολογισµών» ανάγονται σε προβλήµατα της υπολογιστικής γραµµικής άλγεβρας. Ετσι η εισαγωγή στα ϑέµατα του επιστηµονικού υπολογισµού γίνεται χρησιµοποιώντας την περιοχή αυτή σαν όχηµα. Το µεγαλύτερο µέρος της ύλης που περιέχεται στο τεύχος αυτό καλύπτεται στο µάθηµα «Επιστηµονικός Υπολογισµός I» που διδάσκεται στο τρίτο έτος του τµήµατος Μηχανικών Η/Υ και Πληροφορικής του Πανεπιστη- µίου Πατρών. Τα πιο εξειδικευµένα τµήµατά του έχουν επίσης χρησιµοποιηθεί στην Υπολογιστική Γραµµική Άλγεβρα καθώς και σε παραδόσεις ειδικών ϑεµάτων Επιστηµονικού Υπολογισµού. Το µάθηµα στο ιαδίκτυο Η ηλεκτρονική σελίδα είναι αναπόσπαστο τµήµα του µαθήµατος καθώς περιέχει απαραίτητα στοιχεια (περιεχόµενα διαλέξεων, ανακοινώσεις, ϐαθµολογία, προβλήµατα και ασκήσεις, παραδείγµατα, on-line πληροφορίες και πηγές, ϐιβλιογραφία, προγράµµατα, κλπ.) Η σελίδα ανανεώνεται συνεχώς. Για τη Γλώσσα Είναι γνωστό ότι η Πληροφορική δοκιµάζει την ευελιξία κάθε γλώσσας. Τα Ελληνικά δεν αποτελούν εξαίρεση. Στις σηµειώσεις αυτές προτίµησα να επιχειρήσω την µετάφραση των αγγλικών όρων και να περιλάβω την αγγλική ορολογία σε παρένθεση όταν ο ελληνικός όρος είναι αδόκιµος. Επίσης δεν µετέ- ϕρασα τα καθιερωµένα αρκτικόλεξα (όπως RISC και SVD). Για τις µαθηµατικές συναρτήσεις χρησιµοποιούνται τα αγγλικά σύµβολα, π.χ. cos αντί για «συν» 1. Για τη δόκιµη µετάφραση των αγγλικών όρων χρησιµοποιήθηκαν τα παρακάτω λεξικά 2 : Λ1 «Αγγλοελληνικό Λεξικό Μαθηµατικών Ορων» των Α. Καλογεροπούλου, Μ. Γκίκα,. Καραγιαννάκη και Μ. Λάµπρου (εκδ. Τροχαλία : Αθήνα 1992), Λ2 «Αγγλοελληνικόν Λεξικόν των Θεωρητικών και Εφηρµοσµένων Μαθηµατικών» του Μεµά Κολαΐτη (εκδ. Τεχνικού Επιµελητηρίου της Ελλάδος : Αθήνα, 1976). Επισηµαίνουµε εδώ ότι µεταφράζουµε τον όρο matrix ως «µητρώο» γιατί ϑεωρούµε ότι έτσι αποδίδει και µεταφέρει καλύτερα στον αναγνώστη τον αλγεβρικό λογισµό που επιτρέπουν µεταβλητές αυτού του τύπου. Η επιλογή αυτή είναι διαφορετική από τη συνηθισµένη, αλλά λανθασµένη, κατά την άποψή µας, πρακτική αρκετών συγγραφέων που χρησιµοποιούν τον όρο «πίνακας» και άθελά τους δηµιουργούν σύγχυση µε παραπλήσιους (αλλά διαφορετικούς από το µητρώο) όρους όπως array και table. Για παράδειγµα, στη συνάρτηση polyval.m της MATLAB αναφέρεται στα σχόλια ότι «POLYVALM Matrix polynomial evaluation. If V is a vector whose elements are the coefficients of a polynomial, then POLYVALM(V,X) is the value of the polynomial evaluated with matrix argument X. See POLYVAL for 1 Η πρακτική αυτή ακολουθείται και σε άλλα συγγράµµατα, ϐλ. για παράδειγµα τα συγγράµµατα των ουγαλή-ακρίβη και Strang που αναφέρονται πιο κάτω. 2 Με παχειά στοιχεία αναφέρεται η σύντµηση που χρησιµοποιείται στο κείµενο όταν αναφερόµαστε στα λεξικά αυτά.

4 4 polynomial evaluation in the regular or array sense.» Αντίστοιχα προβλήµατα εµφανίζονται και σε άλλα συστήµατα, όπως η Mathematica, σε λογισµικά ϕύλλα, και αλλού. Άποψή µας είναι ότι µια πολύ πιο εύστοχη χρήση του όρου «πίνακας» είναι για τις δοµές δεδοµένων που χρησιµοποιούνται για τα µητρώα και τα διανύσµατα 3. Σηµειώνουµε ότι σε προηγούµενες εκδόσεις του ϐιβλίου χρησιµοποιούσαµε τον επίσης επιτυχηµένο, κατά τη γνώµη µας, νεολογισµό «µητρείο» του Μ. Κολαΐτη 4. Σχετικά µε την παρακολούθηση και τα «προαπαιτούµενα» Από τη ϕύση του, ο Επιστηµονικός Υπολογισµός στηρίζεται στην πρόοδο που έχει γίνει σε πολλούς τοµείς στην επιστήµη και στην τεχνολογία των Η/Υ. Εποµένως, για την πληρέστερη κατανόηση του µαθήµατος, ϑα ήταν χρήσιµη η εξοικείωσή σας µε τα ακόλουθα : α) ΗΥ110 (2ο εξ.): Γραµµική Άλγεβρα, ϐ) ΗΥ240 (4ο εξ.): Αριθµητική Ανάλυση και Περιβάλλον Υλοποίησης. Χρησιµοποιούνται επίσης στοιχεία από το ΗΥ261 (3ο εξ.) (Αρχιτεκτονική Υπολογιστών) και το ΗΥ205 (Εισαγωγή στους Αλγόριθµους). Χρήσιµες πηγές, στα ελληνικά, για τα (α) και (ϐ) είναι το Γραµµική Αλγεβρα και Εφαρµογές του G. Strang, Παν/κές Εκδόσεις Κρήτης (1996) καθώς και το Εισαγωγή στην Αριθµητική Ανάλυση των Γ.. Ακρίβη και Β.Α. ουγαλή, Παν/κές Εκδόσεις Κρήτης (1997). Τέλος αναφέρουµε ότι οι εργαστηριακές ασκήσεις ϑα γίνουν χρησιµοποιώντας κατά κύριο λόγο το (εξαιρετικά διαδεδοµένο και δηµο- ϕιλές) περιβάλλον MATLAB (έκδοση version 7). Επιπλέον των εγχειριδίων του περιβάλλοντος, ϑα ϐρείτε χρήσιµους οδηγούς και στην ιστοσελίδα του µαθήµατος. Εναλλακτικά, µπορείτε να πειραµατιστείτε και µε δηµόσια διαθέσιµο λογισµικό, συγκεκριµένα το περιβάλλον Scilab που προσφέρει παρόµοιες λειτουργίες µε τη MATLAB, αλλά διατίθεται δωρεάν (από Πηγές Βασικές πηγές µας ήταν τα εξής ϐιβλία : 1) G. Golub and C. F. Van Loan. Matrix Computations. The Johns Hopkins University Press, Baltimore, third edition, ) N.J. Higham. Accuracy and Stability of Numerical Algorithms. SIAM, Philadelphia, 2002, 2nd. ed. Συνιστούµε επίσης και το C.W. Ueberhuber. Numerical Computation, volumes 1 and 2. Springer, Berlin, για µια πιο εκτενή εισαγωγή στο πνεύµα του µαθήµατος. Ασκήσεις Το τέλος κάθε κεφαλαίου περιλαµβανει και ένα τµήµα ασκήσεων, διαµορφωµένες σε τρεις ενότητες. Η πρώτη ενότητα περιέχει «ερωτήσεις αυτοαξιολόγησης» που συνήθως απαιτούν λίγο χρόνο και χώρο για να απαντηθούν. Η δεύτερη περιέχει προβλήµατα που απαιτούν πιο διεξοδικές απαντήσεις. Η τρίτη ενότητα περιέχει εργαστηριακές ασκήσεις. Σε µερικές περιπτώσεις, οι απαντήσεις δίδονται µόνο περιληπτικά ή υπό σε γενικές γραµµές ή αναφέρονται στο ϐιβλίο. Ορισµένες από τις ασκήσεις είναι άλυτες ενώ µερικές ϕορές οι απαντήσεις µπορεί να είναι µακρύτερες λόγω των επιπλέον σχολίων (συχνά σε µικρότερη γραµµατοσειρά). Πολλές από τις ασκήσεις προέρχονται από ϑέµατα εξετάσεων και εργαστηριακών ασκήσεων παλαιότερων ετών ενώ ορισµένες έχουν αντληθεί από τη διεθνή ϐιβλιογραφία. Ευχαριστώ ϑερµά όσους ϐοήθησαν στο σχεδιασµό αυτών των ασκήσεων µε τις υποδείξεις και διορθώσεις τους και ιδιαίτερα τους ηµήτρη 3 Θα µπορούσαµε να πούµε ότι ο όρος «πίνακας», ως µετάφραση του matrix, αποτελεί έναν «κόθορνο» της Πληροφορικής, σύµφωνα µε το Λ2 (ς. xxxiv). 4 είτε και τη ς. 1xvii της εισαγωγής του Λ2 σχετικά µε αυτήν την επιλογή.

5 5 Ζεϊµπέκη, Κώστα Μπέκα, Εφη Κοκιοπούλου, Γιώργο Τσιρογιάννη, Τάσο Σιδηρόπουλο, Γιάννη Κουτή και Λουκά Γεωργιάδη. Ευχαριστώ επίσης τους ϕοιτητές του µαθήµατος που µε τις απαντήσεις τους και παρατηρήσεις τους ορισµένες ϕορές ϐοήθησαν στην κατασκευή «αποτελεσµατικότερων» απαντήσεων. Η προετοιµασία των ασκήσεων υποστηρίχθηκε από ένα Επιχειρησιακό Πρόγραµµα Εκπαίδευσης και Αρχικής Επαγγελµατικής Κατάρτισης (ΕΠΕΑΕΚ). Ευχαριστίες Ευχαριστώ όλους τους ϕοιτητές που διάβασαν προηγούµενες εκδοχές και εκδόσεις του ϐιβλίου. Θέλω όµως να κάνω και ιδιαίτερη µνεία στου Α. Αναγνωστόπουλο, Γεώργιο Γερούτη, Σωτήρη Γκέκα, Γιάννη αγκλή, Σ. Νικολάου, Απόστολο Παπαγεωργίου, Ανδρέα Παπαγεωργίου, Πέτρο Παπακωνσταντίνο, Ευστρατία Περγκαντή, Νικόλαο Πουλοκέφαλο, Τάσο Σιδηρόπουλο, Ευστράτιο Συκκά, Άλκη Τσιλιµαντό και Αλεξία Τσουµάνη που µε εκτεταµένες γραπτές πα- ϱατηρήσεις και διορθώσεις συνεισέφεραν σηµαντικά στη ϐελτίωση του κειµένου. Επίσης στη σηµαντική ϐοήθεια των Ευφροσύνης Κοκιοπούλου, Γιώργου Κόλλια, Γιάννη Κουτή, Κωνσταντίνου Μπέκα, Γιώργου Τσιρογιάννη, ηµήτρη Ζεϊµπέκη, Κυριάκου Πετράκου που ως µεταπτυχιακοί εργάστηκαν για την ανάπτυξη του µα- ϑήµατος. Οι σηµειώσεις αυτές γράφτηκαν χρησιµοποιώντας το πακέτο ελληνικών του LaTEX που ανέπτυξε ο κ. Απόστολος Συρόπουλος τον οποίο και ευχαριστώ και για τις τις χρήσιµες συµβουλές του. Παράκληση Οι ϱαγδαίες επιστηµονικές και τεχνολογικές εξελίξεις που Ϲούµε στη σηµερινή εποχή αφορούν σε µεγάλο ϐαθµό και στον Επιστηµονικό Υπολογισµό. Ετσι, αρκετά ϑέµατα που αναφέρονται στο παρόν ϐιβλίο αναθεωρούνται τακτικά. Επίσης, όσα σφάλµατα εντοπίζονται, διορθώνονται άµεσα και ανακοινώνονται µέσω της οικοσελίδας του µαθήµατος, όπου ϐρίσκεται πάντα και η πιο πρόσφατη εκδοχή του ϐιβλίου. Στη διαδικασία αυτή, οι υποδείξεις και παρατηρήσεις σας είναι πάντα ευπρόσδεκτες και χρήσιµες. Ε. Γαλλόπουλος Νοέµβριος 2008 Πάτρα

6

7 Περιεχόµενα 1 Εισαγωγή Οριοθετήσεις Εφαρµογές Αξιολόγηση Περιβάλλον Υλοποίησης Υλικό και Αρχιτεκτονική Γλώσσες, µεταφραστές, και Περιβάλλοντα Επίλυσης Προβλη- µάτων Αντί ανακεφαλαίωσης Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Εργαστηριακές ασκήσεις και εργασίες Μοντέλα υπολογισµών Τα µοντέλα στις ϕυσικές επιστήµες και στην τεχνολογία Μοντέλα στην επιστήµη των υπολογιστών Υπολογιστικά µοντέλα Υπολογιστικά µοντέλα µε ιεραρχία µνήµης Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Εργαστηριακές ασκήσεις και εργασίες Μοντέλο αριθµητικής και σφάλµατα υπολογισµού Απόλυτο και σχετικό σφάλµα Το σύστηµα αριθµών κινητής υποδιαστολής Υπερχείλιση, υποχείλιση και στρογγύλευση Κανονικοποίηση και κρυµµένο bit Ιδιότητες του συστήµατος α.κ.υ Το «έψιλον της µηχανής» Αριθµητικές πράξεις και µετάδοση σφάλµατος στρογγύλευσης Το πρότυπο αριθµητικής κινητής υποδιαστολής του ΙΕΕΕ Βασικές προδιαγραφές του προτύπου Υποκανονικοποιηµένοι αριθµοί και ϐαθµιαία υποχείλιση Αριθµητική ΙΕΕΕ εκτεταµένης ακρίβειας Η εντολή Fused Multiply and Add (FMA) Η επίδραση της Java Εκτίµηση σφάλµατος και ποιότητα υπολογισµών Μελέτη κατάστασης και σφάλµατος πολυωνυµικών µορφών

8 2 Περιεχόµενα Πίσω ευστάθεια ϱίζας είκτης κατάστασης ϱίζας Ενιαία ϑεωρία σφαλµάτων Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Εργαστηριακές ασκήσεις και εργασίες Προβλήµατα της Αριθµητικής Γραµµικής Αλγεβρας Ι Εισαγωγή Συµβολισµός Από τον τεµαχισµό πινάκων στα σύνθετα µητρώα Βασικές Πράξεις της Αριθµητικής Γραµµικής Άλγεβρας Εσωτερικά γινόµενα και τριάδες Πράξεις µητρώων διανυσµάτων Πολλαπλασιασµός µητρώου διανύσµατος Πράξεις µητρώων-µητρώων : Πολλαπλασιασµός Υπερταχύς πολλαπλασιασµός µητρώων Τα BLAS Μεθοδολογία και υπολογιστικό µοντέλο Περί προγραµµατισµού Σηµειώσεις Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Προβλήµατα της Αριθµητικής Γραµµικής Αλγεβρας II Εισαγωγή Θεωρία και πρακτική Τύποι µητρώων Επίλυση πυκνών γραµµικών συστηµάτων οµές δεδοµένων για την αποθήκευση πυκνών µητρώων Συστήµατα µε τριγωνικά µητρώα Γενικά συστήµατα Περί υλοποιήσεων Παραγοντοποίηση µε ορµαθούς Οδήγηση Ανάλυση σφάλµατος των µεθόδων επίλυσης Πολυπλοκότητα του ΑΓΑ Συµµετρικά ϑετικά ορισµένα µητρώα Παραγοντοποίηση Cholesky Λογισµικό Γενικές παρατηρήσεις Βιβλιογραφικές παρατηρήσεις Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Προβλήµατα της Αριθµητικής Γραµµικής Αλγεβρας III Παραγοντοποίηση QR και εφαρµογές Προβολές και ορθοκανονικοποίηση Στοιχειώδης προβολή Ορθοκανονικοποίηση µε Gram-Schmidt

9 Περιεχόµενα Τροποποιηµένος αλγόριθµος GS Μετασχηµατισµοί Householder και προβολές Πολλαπλασιασµός µε ανακλαστές Παραγοντοποίηση QR: µέθοδος Householder Πολυπλοκότητα της παραγοντοποίησης QR QR µε Householder κατά ορµαθούς Επίλυση ΑΓΑ.2 µε QR Μέθοδος των κανονικών εξισώσεων Λογισµικό Περιστροφή Givens Υπολογισµός περιστροφής Εφαρµογή περιστροφών Givens Λογισµικό QR µε Givens Άλλες εφαρµογές Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Προβλήµατα της Αριθµητικής Γραµµικής Αλγεβρας IV Πίνακες/µητρώα Ϲώνης Μητρώα ειδικής µορφής Πολυώνυµα και µητρώα : Μια «στενή» σχέση Μητρώα Vandermonde Μητρώα Toeplitz Πολλαπλασιασµός µε µητρώα Toeplitz Κυκλοτερή µητρώα Γρήγορες ερωτήσεις και ασκήσεις αυτοαξιολόγησης Προβλήµατα Το ιακριτό Μοντέλο Εισαγωγή Ορολογία ιακριτοποίηση και πεπερασµένες διαφορές Επίλυση Σ Ε µε πεπερασµένες διαφορές Επίλυση προβλήµατος αρχικών τιµών Μέθοδοι Euler Μέθοδοι Taylor, Runge-Kutta και παρεκβολή Richardson Προβλήµατα αρχικών-συνοριακών τιµών : Εξίσωση διάχυσης Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Εργαστηριακές ασκήσεις και εργασίες Α Στοιχεία Γραµµικής Αλγεβρας 317 Α.1 Νόρµες Α.1.1 Νόρµα διανύσµατος Α.1.2 Νόρµα µητρώου Α.2 Ιακωβιανά µητρώα και συνέχεια κατά Lipschitz Α.3 Χρήσιµα χαρακτηριστικά µητρώων

10 4 Περιεχόµενα

11 Κεφάλαιο 1 Εισαγωγή 1.1 Οριοθετήσεις Είναι πλέον κοινός τόπος πως µετά τη Θεωρία και το Πείραµα, ο Υπολογισµός µε ΗΥ 1 αποτελεί το τρίτο µεθοδολογικό εργαλείο στην έρευνα και στην ανάπτυξη της Επιστήµης και της Τεχνολογίας. Παραθέτουµε χαρακτηριστικά αποσπάσµατα από σχετικές αναφορές : Στα µέσα του 1980 συστήθηκε στις ΗΠΑ µία επιτροπή για να να εξετάσει τις τότε ανάγκες σε Υπολογιστικά Μαθηµατικά, Αλγόριθµους και Λογισµικό και να προσδιορίσει τρόπους µελλοντικής δράσης. Τα πορίσµατα της επιτροπής δηµοσιεύθηκαν στην έκθεση Future Directions in Computational Mathematics, Algorithms and Scientific Software. Η έκθεση αρχίζει ως ε- ξής : «The use of modern computers in scientific and engineering research and development over the last three decades has led to the inescapable conclusion that a third branch of scientific methodology has been created. It is now widely acknowledged that, along with the traditional theoretical and experimental methodologies, advanced work in all areas of science and technology has come to rely critically on the computational approach.» (Από το [33]). It is becoming clear that dramatic increases in computing power are necessary but insufficient to making high-performance computing a reality. Necessary is also the construction of a large body of applications capable of using that computational power effectively (Στο [3] από τους Alpern και Carter 2.) It is essential to recognize the fact that computer experiments can both be a two-way bridge between Physical Experiments and Mathematical Models, as well as an indepent source of physical understanding. Such experiments have a mind-bing potential for future explorations of nature s secrets, which is only vaguely recognized today. (Από το άρθρο 1 Επιλογισµός, δηλ. υπολογισµός µε ΗΥ σύµφωνα µέ το Λ2. 2 Οι Bowen Alpern και Larry Carter ήταν Computer Scientists στα εργαστήρια της IBM στα Yorktown Heights. Ο Carter είναι τώρα καθηγητής στο University of California, San Diego (UCSD). 5

12 6 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ του Jackson 3 [23]). Ο καθένας διατηρεί ασφαλώς την ανάµνηση των εργαστηριακών µαθηµάτων στο λύκειο : έπρεπε, µε ϐάση το προτεινόµενο πείραµα, να επαληθεύσουµε µετρήσεις, οι οποίες στη συνέχεια µεταφέρονταν σ ένα διάγραµµα, επιτρέποντας έτσι να συµπεράνουµε το νόµο. Μ αυτόν τον τρόπο, ελάχιστα δεδοµένα επέτρεπαν να καταλήξουµε σε σπουδαία αποτελέσµατα. Σήµερα, οι τεχνολογίες επαληθεύουν για µας τις παρατηρήσεις και τις µετρήσεις αυτών των παρατηρήσεων, αυτόµατα και σε πραγµατικό χρόνο, και στη συνέχεια καταγράφουν χωρίς περιορισµούς δυνατοτήτων αυτά τα δεδοµένα. Σε ση- µείο που ένα πρόγραµµα συνίσταται στο να καλεί τους χρήστες υπολογιστών σ ολόκληρο τον κόσµο για να συνδέσει περίπου δύο εκατοµµύρια µηχανή- µατα και να µπορέσει έτσι να επεξεργαστεί τα δεδοµένα. Κατά συνέπεια, αλλάζουµε επίσης επιστηµονικό υπόδειγµα : η σηµερινή επιστήµη δεν έχει πλέον καµία σχέση µε εκείνη η οποία υπήρχε πριν από µερικές δεκαετίες. (Από πρόσφατο άρθρο του Michel Serres 4 [35]) Η διατµηµατικότητα του ΕΥ δυσκολεύει τη διατύπωση ενός ικανοποιητικού ορισµού για το πεδίο. Μερικοί τον εξισώνουν µε την αριθµητική ανάλυση, και άλλοι µε το δυσκολοµετάφραστο επίσης όρο computational science and engineering ϐλ. επίσης τα σχόλια στο άρθρο «Computational Science and Engineering» [12]. Αναφέρουµε τον πλατύ ορισµό που έχει δοθεί από τους Golub και Ortega 5 στο [14, σελ. 2]: Scientific computing is the collection of tools, techniques, and theories required to solve on a computer mathematical models of problems in science and engineering. Θα λάβουµε την παρακάτω ϑέση : Στον ΕΥ µας ενδιαφέρουν ο σχεδιασµός, η ανάπτυξη, και η χρήση αποδοτικών υπολογιστικών εργαλείων που ϐοηθούν στην πρακτική ε- πίλυση των µαθηµατικών µοντέλων της επιστήµης και της τεχνολογίας. Η έµφαση στη λύση προβληµάτων που συνήθως προέρχονται από άλλες επιστήµες δεν πρέπει να µας ξενίζει. Αντιστοιχεί µάλιστα στην περιοχή του Mathematical Modelling που περιγράφεται ως «αντιµετώπιση ϱεαλιστικών προβληµάτων εκτός των Μαθηµατικών» [4, π. 220]. Ο σχεδιασµός και χρήση των εργαλείων του ΕΥ πρέπει να λαµβάνει υπόψη τη ϕυσική και τα µαθηµατικά του προβλήµατος καθώς και το περιβάλλον υλοποίησης (αρχιτεκτονική, λογισµικό, κλπ.) Στο µάθηµα του Γ έτους ϑα µας απασχολήσουν κυρίως ο σχεδιασµός και η υλοποίηση επιστηµονικού λογισµικού. Θα εξετάσουµε επίσης τη δοµή σύγχρονων πακέτων επιστηµονικού υπολογισµού. 3 Ο Atlee Jackson είναι ϕυσικός και διευθύνει το Center for Complex Systems Research στο Beckmann Center του University of Illinois at Urbana-Champaign. Είναι επίσης µέλος του Santa Fe Insitute. 4 Ο Michel Serres είναι ϕιλόσοφος και µέλος της Γαλλικής Ακαδηµίας 5 Ο Gene Golub ήταν ο ιδρυτής του προγράµµατος του ΕΥ στο Stanford και ο James Ortega είνα καθηγητής στο University of Virginia.

13 1.2. Εφαρµογές c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 7 Πίνακας 1.1: Αντιστοιχία εφαρµογών µε αριθµητικές µεθόδους ϐασισµένη στον [26] κβαντοχηµεία... *... * * * προσοµοίωση καιρού.... * *.... ϱευστοδυναµική *. *. * * *... γεωδαιτικά δίκτυα * * αντίστροφα προβλήµατα. *.. *..... δοµική µηχανική *. * * προσοµοίωση ηλεκτρικών στοιχείων *. *.. * *. *. προσοµοίωση κυκλωµάτων *. *.... *.. ηλεκτροµαγνητισµός * * * * * * *... οικονοµία/παράγωγα * * *.... * * * ανάκτηση πληροφορίας * *. * επεξεργασία σήµατος κ. εικόνας * * * * * * *.. * αλγ. πρβλ. στο ιαδίκτυο *.. * γραµµικά συστήµατα 2. γραµµ. συσ/µατα και πρβλ. ελαχ. τετραγ. 3. µη γραµµικά συστήµατα 4. πρβλ. ιδιοτιµών για αραιά µητρώα 5. ταχείς µετασχηµατισµοί (FFT, κλπ) 6. ταχείς ελλειπτικοί επιλυτές 7. πολυπλεγµατικές (=multigrid) µέθοδοι 8. άκαµπτες συνήθεις Ε 9. µέθοδοι Monte Carlo 10. ολοκληρωµατικοί µετασχηµατισµοί 1.2 Εφαρµογές Οι πιο σηµαντικές κατηγορίες χρήσεων τεχνικών του ΕΥ είναι οι εξής : 1) η προσοµοίωση, 2) η ανάλυση δεδοµένων (εικόνα, ήχος), 3) η υπολογιστική υποστήριξη των γραφικών, και 4) οι εφαρµογές που απαιτούν ανταπόκριση σε πραγµατικό χρόνο. Στον Πίνακα 1.1, µικρή παραλλαγή του οποίου δηµοσιεύθηκε στο άρθρο [26], παρουσιάζεται κατάλογος από σηµαντικές εφαρµογές από την επιστήµη και την τεχνολογία και τα υπολογιστικά προβλήµατα που πρέπει να λυθούν στις εφαρµογές αυτές. Αξίζει να σηµειωθεί ότι οι εφαρµογές που απαριθµούνται στον πίνακα επιλέχθηκαν επειδή απαιτούν σηµαντική υπολογιστική υποστήριξη. Οι συγγραφείς του [26] (όπου παρουσιάστηκε ο πίνακας) είχαν την ιδέα ότι για την αντιµετώπιση των µεγάλων υπολογιστικών προβληµάτων πρέπει πρώτα να αναλυθούν προσεκτικά οι υπάρχοντες κώδικες 6 ώστε να ϕανεί ξεκάθαρα ποιά τµήµατα του κώδικα έχουν το µεγαλύτερο κόστος. Οταν γίνει αυτό, µπορούµε να διακρίνουµε δύο κατηγορίες προβληµάτων. 1) Αυτά που επιταχύνονται ικανοποιητικά µέσω των ϐελτιστοποιήσεων που επιτυγχάνει ο µεταφραστής (restructuring compiler) και 2) αυτά τα οποία απαιτούν την χρήση πληροφορίας «υψηλότερου επιπέδου» για την αποτελεσµατική τους επιτάχυνση π.χ. µαθηµατικής πληροφορίας για την κατασκευή ταχύτερου αλγορίθµου. Προκύπτει ότι για να επιταχύνουµε τον κώδικα πρέπει να χρησιµοποιήσουµε 1. αποτελεσµατικότερους αλγόριθµους µέσω της αξιοποίησης της µαθηµατικής πληροφορίας, και 6 Χαρακτηρίζονται ως «παραδοσιακοί» (= legacy) ή «σκονισµένοι» (= dusty-deck) κώδικες.

14 8 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 2. αποτελεσµατικότερη µετάφραση. Ο πίνακας 1.1 αναδεικνύει τις υπολογιστικές ανάγκες που µοιράζονται πολλές εφαρµογές. Εποµένως καθίσταται σηµαντική η ϐελτιστοποίηση αυτών των υπολογισµών, οι οποίοι ενίοτε αποκαλούνται χαρακτηριστικά και υπολογιστικοί πυρήνες (= computational kernels). Για παράδειγµα, πάρα πολλές εφαρµογές απαιτούν µετασχηµατισµούς Fourier ενώ άλλες απαιτούν τη λύση πολύ µεγάλων γραµµικών συστηµάτων. Στην πρώτη περίπτωση χρησιµοποιούνται αλγόριθµοι που υλοποιούν τον ταχύ µετασχηµατισµό Fourier (το περίφηµο FFT) ενώ στη δεύτερη αλγόριθµοι για την αριθµητική επίλυση γραµµικών συστηµάτων (η α- παλοιφή Gauss είναι µία από τις µεθόδους που έχουµε στη διάθεσή µας). Οι κοινές ανάγκες των εφαρµογών αποτελούν κίνητρο για τη δηµιουργία ϐιβλιοθηκών επιστηµονικού λογισµικού. Η δηµιουργία τέτοιων ϐιβλιοθηκών (που να είναι αποτελεσµατικές και εύχρηστες) είναι από τα σηµαντικά ϑέµατα που απασχολούν την ευρύτερη περιοχή του επιστηµονικού υπολογισµού. Επισηµαίνουµε εδώ ότι οι έξι πρώτες κατηγορίες υπολογιστικών πυρήνων που απαριθµούνται στον πίνακα είναι ή ανάγονται σε προβλήµατα της γραµµικής άλγεβρας. Παρατήρηση Αν σας εκπλήσσει ότι κατατάσσουµε ακόµα και τους (διακριτούς) µετασχηµατισµούς Fourier στη γραµµική άλγεβρα, λέµε από τώρα - αν δεν το ξέρετε ήδη - ότι πρόκειται για έναν πολλαπλασιασµό µητρώου µε διάνυσµα και ότι ο αποκαλούµενος ταχύς µετασχηµατισµός Fourier είναι ένας τρόπος για να επιταχύνουµε τον πολλαπλασιασµό εκµεταλλευόµενοι την ειδική δοµή του µητρώου. Περισσότερα για το ϑέµα αυτό ϑα δούµε στο Κεφάλαιο 7. Για τους παραπάνω λόγους, µεγάλο µέρος του µαθήµατος του Επιστη- µονικού Υπολογισµού το αφιερώνουµε στο σχεδιασµό µεθόδων για την αποτελεσµατική επίλυση προβληµάτων της γραµµικής άλγεβρας που παρουσιάζονται στις µεγάλες εφαρµογές. Για µια ενδιαφέρουσα περιγραφή εφαρµογών που απαιτούν υπολογισµούς µεγάλης κλίµακας (και που πολλές ϕορές αποκαλούνται «Μεγάλες Προκλήσεις της Υπολογιστικής Επιστήµης 7» ) ϐλ. [24, 34]. Σηµειώνουµε πως αν και οι περισσότερες εφαρµογές που αναφέρονται στον πίνακα 1.1 προέρχονται από µοντέλα των ϕυσικών επιστηµών και της τεχνολογίας, σηµαντικά προβλήµατα ΕΥ προκύπτουν και στις οικονοµικές και κοινωνικές επιστήµες. Για παράδειγµα, µια τοπική ή εθνική οικονοµία µπορεί να µοντελοποιηθεί µε πίνακες που αναπαριστούν τις συνδιαλλαγές ανάµεσα στους τοµείς της π.χ. το ποσό παραγωγής πετρελαίου, χάλυβα και µηχανολογικών εργαλείων σε µια ϐιοµηχανική οικονοµία σχετίζεται µε την παραγωγή αυτοκινήτων. Τυχούσες αυξοµείωσεις στην παραγωγή σε έναν τοµέα της οικονοµίας πρέπει να συνοδεύονται από αντίστοιχη αύξηση ή µείωση στην ανάπτυξη τοµέων που εξαρτώνται (καταρχήν άµεσα αλλά και έµµεσα) από αυτόν. Αυτές οι σχέσεις παριστώνται µε πίνακες «εισόδου-εξόδου» (=input-output tables). Για την ανάλυση αυτών των πινάκων χρησιµοποιούνται µεθόδοι της αριθµητικής γραµµικής άλγεβρας 8. Μεγάλο υ- πολογιστικό ενδιαφέρον συγκεντρώνει και η αριθµητική επίλυση των εξισώσεων που µοντελοποιούν τα παράγωγα της χρηµαταγοράς (= derivatives) [6]. Πρόσφατα, εξετάζεται και η δυνατότητα σύνθεσης µοντέλου της οικονοµίας που συνδυάζει 7 Grand Challenges of Computational Science [22]. 8 Την µέθοδο αυτή την εισήγαγε ο Wassily Leontief (ϐραβείο Νόµπελ οικονοµικών) [28] και χρησι- µοποιήθηκε εκτενέστατα στις ΗΠΑ και στην (πρώην) ΣΕ.

15 1.3. Αξιολόγηση c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 9 µικρο-οικονοµικά µε µακρο-οικονοµικά στοιχεία µε τρόπο που δεν ήταν εφικτός ως τώρα [11] για περισσότερες πληροφορίες ϐλ Αξιολόγηση Τα κύρια κριτήρια που χρησιµοποιούνται για την αξιολόγηση των εργαλείων του επιστηµονικού υπολογισµού είναι : 1. Ακρίβεια 2. Ταχύτητα 3. Κόστος Ακρίβεια Επιθυµούµε ϐέβαια οι απαντήσεις που λαµβάνουµε να είναι «σωστές». Πέραν των γνωστών ϑεµελιωδών εµποδίων που υπάρχουν για την απόδειξη της πιστότητας κάθε προγράµµατος, στον ΕΥ εµφανίζονται και περαιτέρω δυσκολίες. Ενδεικτικός είναι και ο τίτλος µιας οµιλίας του John Rice (Purdue University) 9 : What is an Answer? Εξηγούµε : Στην πλειοψηφία τους, τα προβλήµατα του ΕΥ έ- χουν σαν αφετηρία µαθηµατικά µοντέλα που περιγράφονται µε κάποιο συνδυασµό διαφορικών, ολοκληρωµατικών και αλγεβρικών εξισώσεων. Θεµελιώδη ϱόλο παίζει η συνέχεια, η οποία µόνο προσεγγιστικά µπορεί να µοντελοποιηθεί στον υπολογιστή 10. Απαιτείται εποµένως η διακριτοποιήση του προβλήµατος, δηλ. των εξισώσεων, του χώρου ορισµού και των οριακών συνθηκών. Στην καλύτερη περίπτωση, η λύση είναι µια «καλή» προσέγγιση της πραγµατικής λύσης του αρχικού µαθηµατικού προβλήµατος. Επιλύοντας το πρόβληµα στον υπολογιστή έχουµε να αντιµετωπίσουµε σφάλµατα που οφείλονται 1) στα δεδοµένα, 2) στη διακριτοποίηση των εξισώσεων, 3) στη διακριτοποίηση των πραγµατικών αριθµών µε αριθµούς κινητής υποδιαστολής (α.κ.υ) και στις περιορισµένης ακρίβειας, αριθµητικές πράξεις µε αυτούς τους αριθµούς. 4) Στον περιορισµό της «πεπερασµένης επανάληψης» στις επαναληπτικές µεθόδους για την εύρεση αποτελέσµατος, λ.χ. των ϱιζών µη γραµµικής εξίσωσης, των ιδιοτιµών ενός µητρώου, κλπ. Στις µεθόδους αυτές ϐασιζόµαστε στη «σύγκλιση», αλλά στον υπολογιστή είµαστε υποχρεωµένοι να σταµατήσουµε τις επαναλήψεις όταν κάποιος δείκτης µέτρησης σφάλµατος γίνει αρκετά µικρός. 5) Σε δεδοµένα ή ενδιάµεσα αποτελέσµατα τα οποία δεν έχουν προβλεφθεί από τη λογική της µεθόδου επίλυσης. Εφόσον είναι σχεδόν αδύνατο να αποφευχθούν τα σφάλµατα, πρέπει να έχουµε τη δυνατότητα να εκτιµήσουµε την επίδρασή τους στο τελικό αποτέλεσµα. Εφόσον δεν έχουµε απεριόριστους πόρους και χρόνο, στην αξιολόγηση και σύγκριση των αποτελεσµάτων πρέπει να συνυπολογίσουµε το κόστος µε το οποίο επιτυγχάνεται η ακρίβεια της λύσης. Σηµειώνουµε ότι δεν είναι λογικό να περιµένουµε απαντήσεις οι οποίες έχουν µεγαλύτερη ακρίβεια από αυτήν των στοιχείων εισόδου ή από αυτήν που µπορεί να µετρηθεί στο πλαίσιο της εφαρµογής. Σηµειώνουµε ότι η εκτίµηση των σφαλµάτων (στρογγύλευσης) τα οποία οφείλονται στην α.κ.υ. 9 Στο πλαίσιο του συνεδρίου HERMIS, Αθήνα Μια εξαίρεση είναι οι µέθοδοι που ϐασίζονται στην απευθείας µοντελοποίηση των σωµατιδίων και των αλληλεπιδράσεών τους (particle methods).

16 10 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ ήταν από τα πρώτα προβλήµατα που απασχόλησαν τους πρωτοπόρους ερευνητές του ΕΥ. Τα αρχικά τους συµπεράσµατα ήταν απογοητευτικά και παραπλανητικά, π.χ. η αρχική µελέτη του σφάλµατος στην απαλοιφή Gauss από τον Hotelling [19], έδειχνε ότι αν επιλύσουµε n εξισώσεις, το σφάλµα στην τελική απάντηση µπορεί να είναι ίσο µε 4 n επί το σφάλµα µιας στρογγύλευσης. Αυτό οδήγησε τον John von Neumann και την οµάδα του να απορρίψουν αρχικά µια µέθοδο που σήµερα ϑεωρείται η πιο σηµαντική για την επίλυση γραµµικών συστηµάτων 11. Σηµειώνουµε την σχετική παράγραφο από το [5]: In the elimination method a series of n compound operations is performed each of which deps on the proceeding. An error at any stage affects all succeeding results and may become greatly magnified; this explains roughly why instability should be expected. It should be noticed that at each step a division is performed by a number whose size cannot be estimated in advance and which might be so small that any error in it would be greatly magnified by division... για την οποία ελέχθη αργότερα από τον «πατέρα» της µοντέρνας ανάλυσης σφαλ- µάτων, John Wilkinson, ότι almost every statement in it is either wrong or misleading. Ευτυχώς όµως, η πρακτική εµπειρία από την χρήση της απαλοιφής ερχόταν σε αντίθεση µε την απαισιόδοξη πρόβλεψη των αρχικών µελετών. Οπως µας πληροφορεί ο στενός συνεργάτης του von Neumann, Herman Goldstine, αυτή η σοβαρή αντίθεση, οδήγησε τον von Neumann και άλλους (συµπεριλαµβανοµένου και του Turing), να εξετάσουν το πρόβληµα από διαφορετική σκοπιά, και να επιβεβαιώσουν τελικά την αξία της απαλοιφής Gauss [13] ϐλ. επίσης [17]. Λέµε επίσης (παραφράζοντας τον Oscar Wilde) ότι Το µόνο χειρότερο από το να µην πάρουµε καµµία απάντηση είναι να πάρουµε λανθασµένη απάντηση. Με άλλα λόγια, τα εργαλεία µας κρίνονται από το κατά πόσο µας ενηµερώνουν για την ποιότητα των απαντήσεων, π.χ. αν µας προειδοποιούν ότι τα σφάλµατα των απαντήσεων υπερβαίνουν κάποια επιτρεπτά όρια. Εδώ ϐλέπουµε το παράδοξο και τη δυσκολία του εγχειρήµατος : Πως δηλαδή να διεξάγουµε τέτοιες µελέτες όταν δεν γνωρίζουµε την πραγµατική λύση (αν την ξέραµε δεν ϑα είχαµε λόγο να προχωρήσουµε στην αριθµητική επίλυση!) Προφανώς πρέπει να αποφασίσουµε να εγκαταλείψουµε τις ελπίδες για την εύρεση του πραγµατικού σφάλµατος, και να αρκεστούµε σε ϕράγµατα, όπως στην εύρεση άνω ϕράγµατος για το µέγιστο λάθος. Ταχύτητα As soon as an Analytical Engine exists, it will necessarily guide the future course of science. Whenever any result is sought by its aid, the question will then arise - By what course of calculation can these results be arrived at by the machine in the shortest time?... του Charles Babbage, [Passages from the Life of a Philosopher, 1864] Ζητούµε µεθόδους που λύνουν το πρόβληµα στον ελάχιστο δυνατό χρόνο. Συνήθως ο «ελάχιστος χρόνος» (όπως και το κάτω ϕράγµα στην πολυπλοκότητα του 11 «Μετρίου» µεγέθους.

17 1.3. Αξιολόγηση c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 11 Είδος Παράδειγµα Τάξη επιτάχυνσης υλικό ταχύτητα επεξεργαστή O(1) λογισµικό µεταφραστές ϐάθος pipe (vectorizing compilers) υλοποίηση 13 BLAS1 BLAS3 Ο(1) (αλγ. + λογισµ. + αρχιτ.) αρχιτεκτονική παραλληλία Ο(αριθµ. επεξ.) αλγόριθµος FFT Ο(n/ log n) Πίνακας 1.2: Συµβολή στην επιτάχυνση επίλυσης προβληµάτων προβλήµατος) δεν είναι γνωστός και πρέπει να αρκεσθούµε σε µεθοδους οι οποίες είναι ταχύτερες από τις προϋπάρχουσες. Χαρακτηριστικά στοιχεία που συµβάλλουν στην επιτάχυνση της επίλυσης ενός προβλήµατος παρουσιάζονται στον πίνακα Το λογισµικό του ΕΥ πρέπει να σχεδιάζεται µε τρόπο που να συνδυάζει τις επιταχύνσεις που προσφέρει το κάθε επίπεδο ϐελτιστοποίησης. Μια δυσκολία στο εγχείρηµά µας αυτό είναι η ποικιλία και γρήγορη εξέλιξη των αρχιτεκτονικών ΗΥ. Για παράδειγµα, συµβαίνει ένας αλγόριθµος που ϑεωρείται αργός ή µη πρακτικός σε µια αρχιτεκτονική, να είναι ο αλγόριθµος που ϑα επιλέξουµε για µια άλλη. Εποµένως, δεν πρέπει να προκαλεί έκπληξη το γεγονός ότι η µελέτη διαφορετικών αρχιτεκτονικών ΗΥ (π.χ. διανυσµατική επεξεργασία, παραλληλία) αποτέλεσε έναυσµα για τον σχεδιασµό νέων υπολογιστικών εργαλείων και για την επανεξέταση των ήδη υπαρχόντων 14. Σηµαντικό εµπόδιο στις αναλύσεις είναι και η έλλειψη πρακτικά αποδεκτών µοντέλων για τις νέες αρχιτεκτονικές : π.χ. τα µοντέλα RAM και PRAM δεν µπορούν να δώσουν ικανοποιητικές αναλύσεις των αλγορίθµων. Αξίζει να σηµειωθεί ότι προϊόντα του ΕΥ χρησιµοποιούνται ευρέως και σαν µετροπρογράµµατα (benchmarks) για την αξιολόγηση συστηµάτων ΗΥ. Για πα- ϱάδειγµα αναφέρουµε το Linpack benchmark που χρησιµοποιείται στις προδιαγραφές συστηµάτων ΗΥ, το οποίο αποτελείται από υπορουτίνες για την επίλυση γραµµικού συστήµατος. Κόστος Ενα άλλο σηµαντικό κριτήριο είναι το κόστος. Εφόσον οι απαντήσεις που λαµβάνουµε στον ΕΥ είναι συνήθως προσεγγιστικές, ο ϐαθµός της προσέγγισης και το κόστος της επίλυσης είναι άµεσα συνυφασµένα. Επίσης, καθώς οι πόροι είναι πεπερασµένοι και περιορισµένοι, η χρήση τους έρχεται µε κόστος το οποίο πρέπει να ληφθεί υπόψη στην επιλογή των εργαλείων και των µεθόδων. Σχεδιάζοντας µεθόδους που έχουν γενική χρήση και που είναι ανοικτές και επεκτάσιµες έχουµε ταχύτερη απόσβεση του κόστους και µειώνουµε το κόστος προσαρµογής της µεθόδου σε νέες ανάγκες. Αξίζει να σηµειωθεί πως µεγάλος αριθµός από προγράµµατα υψηλής ποιότητας και πιστότητας, λ.χ. η συλλογή των αλγορίθµων της ACM, το πακέτο LAPACK, κ.ά. διατίθενται ελεύθερα. 12 Τα στοιχεία προέρχονται από την µελέτη The Federal High Performance Computing Program που έγινε για λογαριασµό του προέδρου των ΗΠΑ το Οι Alpern και Carter χρησιµοποιούν και τον όρο performance programming [3]. 14 Για το ϑέµα αυτό αξίζει να διαβαστεί το εµπνευσµένο άρθρο του Beresford Parlett [30].

18 12 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ Ανακεφαλαίωση Συνοψίζουµε λέγοντας : Η αξιολόγηση των µεθόδων και των εργαλείων του ΕΥ, γίνεται µε ϐάση την ακρίβεια των αποτελεσµάτων, την ταχύτητα των υπολογισµών, και το κόστος της συνολικής διαδικασίας. Σηµειώνουµε ότι η σηµασία που αναλογεί σε κάθε κριτήριο εξαρτάται από τις συνθήκες του προβλήµατος. Παραδείγµατος χάριν, πολλοί ταχείς αλγόριθµοι που χρησιµοποιούνται στην ϑεωρία του υπολογισµού, απορρίπτονται ως µη πρακτικοί στον ΕΥ, για τους εξής λόγους : 1. Η αριθµητική τους συµπεριφορά είναι κακή. 2. Για να γίνει εµφανής η υποσχόµενη επιτάχυνση του αλγορίθµου το µέγεθος του προβλήµατος πρέπει να γίνει απαγορευτικά µεγάλο. 3. Η πολυπλοκότητα έχει υπολογισθεί µε ϐάση κάποιο ιδεατό µοντέλο προγραµµατισµού (π.χ. RAM) αλλά η υλοποίησή του αλγορίθµου οδηγεί σε σηµαντικό επιπλέον κόστος. Παράδειγµα Ο ταχύς µετασχηµατισµός Fourier οδήγησε σε αλγόριθµο χαµηλότερης πολυπλοκότητας (από Ο(n 2 ) σε Ο(n log n) ) ο οποίος δεν πάσχει από τα προαναφερθέντα προβλήµατα : η επιτάχυνση ήταν εµφανής για µικρό σχετικά n, η αριθµητική συµπεριφορά του αλγορίθµου ήταν ικανοποιητική και η υλοποίηση δεν εισήγαγε επιπρόσθετα προβλήµατα, µε αποτέλεσµα να χρησιµοποιείται ευρύτατα πολύ σύντοµα µετά την «ανακάλυψή» του. Παράδειγµα Ο υπερταχύς πολλαπλασιασµός µητρώων µε την µέθοδο Strassen, ενώ επιτυγχάνει πολυπλοκότητα Ο(n log 7 ) αντί του συνηθισµένου O(n 3 ), χρησιµοποιείται σπάνια γιατί παρουσιάζει πολλές από τις αδυναµίες που περιγράψα- µε. Η πραγµατικότητα όµως είναι ακόµα πιο ενδιαφέρουσα : µετά από εκτεταµένες προσπάθειες των ερευνητών, µέθοδοι τύπου Strassen έχουν αποδειχθεί πρακτικές και χρήσιµες σε ορισµένες κατηγορίες προβληµάτων και ΗΥ! Ετσι η πρόκληση για τους ερευνητές είναι πολύ πιο ενδιαφέρουσα από την απλή ταξινόµηση των µεθοδων σε «πρακτικές» και «µη πρακτικές». 1.4 Περιβάλλον Υλοποίησης Αναφέραµε από την αρχή ότι στον σχεδιασµό υπολογιστικών εργαλείων πρέπει να λαµβάνεται υπόψη το περιβάλλον υλοποίησης. Παραθέτουµε µερικά στοιχεία της σύγχρονης τεχνολογίας ΗΥ τα οποία έχουν καθοριστική επίδραση στον ΕΥ Υλικό και Αρχιτεκτονική Η µεγάλη πρόοδος στην τεχνολογία υλικού οδήγησε σε µεγάλη αύξηση της ταχύτητας των επεξεργαστών και της χωρητικότητας αποθήκευσης που παρέχεται από τα συστήµατα ΗΥ. Ετσι έχουµε την δυνατότητα να αποθηκεύσουµε και να λύσουµε προβλήµατα πολύ µεγαλύτερα από αυτά που λύναµε πριν µερικά χρόνια. Οπως ϑα δούµε, οι εξελίξεις στην αρχιτεκτονική των ΗΥ έχουν καθοριστική επίδραση στην ανάπτυξη και εξέλιξη του επιστηµονικού υπολογισµού. Χαρακτη- ϱιστικά αναφέρουµε :

19 1.4. Περιβάλλον Υλοποίησης c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ Την αρχιτεκτονική RISC µε τα συγκεκριµένα χαρακτηριστικά : αρχεία καταχωρητών (register files), οργάνωση ϕόρτωσης-αποθήκευσης LOAD-STORE, έντονη χρήση pipelining) ϐλ. [8] για µια διασκεδαστική και ενδιαφέρουσα παρουσίαση του προγραµµατισµού των αρχιτεκτονικών RISC ϐλ. επίσης και γενεαλογικές πληροφορίες για τους µικροεπεξεργαστές στο URL mvinant/g_info/cpu_hist.htm#risc. 2. Την ιεραρχική οργάνωση του συστήµατος αποθήκευσης (καταχωρητές, κρυ- ϕή µνήµη, κύρια µνήµη, δευτερεύουσα µνήµη/δίσκος). Η ιεραρχική οργάνωση απαντάται σε όλα σχεδόν τα σύγχρονα συστήµατα ΗΥ (παράλληλα και µη), και χρησιµοποιείται για την αντιµετώπιση των προβλη- µάτων που δηµιουργεί η άνιση ανάπτυξη της ταχύτητας των επεξεργαστών σε σχέση µε τον ϱυθµό µεταφοράς στοιχείων µεταξύ µνήµης και επεξεργαστή. Παραδείγµατος χάριν, ενώ είναι δυνατή η κατασκευή ενός επεξεργαστού σε ένα chip (single-chip processor), ο αριθµός των pins του chip και εποµένως ο ϱυθµός µεταφοράς στοιχείων από την µνήµη στον επεξεργαστή παραµένουν περιορισµένοι µε αποτέλεσµα οι σύγχρονοι single-chip επεξεργαστές να έχουν σχετικά µικρό εύρος επικοινωνίας 15 Ενας τρόπος να αντιµετωπισθεί αυτό το πρόβληµα είναι να διατεθεί µέρος του εµβαδού του chip για αποθήκευση. Το πλεονέκτηµα είναι ότι η on-chip µνήµη είναι προσπελάσιµη µε ϱυθµούς πολύ πιο γρήγορους από την µνήµη που είναι off-chip. Παραδείγµατα on-chip µνήµης είναι : (Αρχεία) καταχωρητών (register files). Κρυφή µνήµη εντολών (instruction cache). Κρυφή µνήµη στοιχείων (data cache). Βέβαια, το µέγεθος της µνήµης που µπορεί να τοποθετηθεί on chip είναι περιορισµένο. Οπως ϑα αναλυθεί σε επόµενο κεφάλαιο, η αποτελεσµατικότητα της ιεραρχικής µνήµης είναι άµεσα συνυφασµένη µε την τοπικότητα που συναντάται στις αναφορές του προγράµµατος. Συνοψίζοντας µπορούµε να πούµε ότι µια από τις µεγαλύτερες προκλήσεις που πρέπει να αντιµετωπίσουµε όταν σχεδιάζουµε συστήµατα υψηλής απόδοσης είναι η µετακίνηση των πληροφοριών (δεδοµένων και εντολών) µεταξύ της µνήµης και του επεξεργαστή µε ικανοποιητικό ϱυθµό. Οπως ανέφερε ένας από τους σηµαντικούς ερευνητές στον χώρο του ΕΥ :... the operation count is not necessarily an adequate figure of merit in comparing theoretically the value of algorithms in numerical analysis [... ] Other factors, such as [... ] the pattern in which memory banks of the computer are referenced, may be as important as the operation count in determining the speed of a program... [18] 3. Την ευρύτερη διάδοση και χρήση παράλληλων συστηµάτων και άλλων αρχιτεκτονικών δοµών για αυξηµένη απόδοση, π.χ. υπερβαθµωτούς (superscalar) 15 Λέγεται πως οι single-chip επεξεργαστές είναι pin-bandwidth limitated.

20 14 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ επεξεργαστές, συστάδες επεξεργαστών (= clusters), δίκτυα σταθµών εργασίας (networks of workstations = NOW) και οι τεχνολογίες Πλέγµατος (Grid) καθώς και οι ϱαγδαίες εξελίξεις στην περιοχή των πολυπύρηνων επεξεργαστών. Για λεπτοµερέστερη περιγραφή των στοιχείων αυτών ϐλ. [16]. Η παραλληλία ϑα συζητηθεί στα σχετικά µαθήµατα του και Ε έτους. Αξίζει να σηµειωθεί ότι πολλές από τις τεχνικές που αναπτύχθηκαν για την αποδοτική χρήση παραλλήλων (και διανυσµατικών) ΗΥ, αποδείχτηκαν χρήσιµες και στο πλαίσιο των απλούστερων, µη παραλλήλων, συστηµάτων που χρησιµοποιούµε καθηµερινά (π.χ. η χρήση τεχνικών αναπτυγµένων για διανυσµατικούς ΗΥ σε συστήµατα αρχιτεκτονικής RISC, και η αντιστοιχία παραλληλισµού µε ανταλλαγή µηνυµάτων και ιεραρχίας µνήµης). Οπως διαφαίνεται, εξάλλου, η παραλληλία ϑα αποτελέσει αναπόσπαστο στοιχείο των κοινών υπολογιστών του µέλλοντος. Για παράδειγµα, το µοντέλο SIMD = Single Instruction Multiple Data) το συναντάµε στις εντολές streaming της Intel, και υλοποιήσεις του µοντέλου στις µονάδες επεξεργασίας γραφικών (GPU = graphics processing units) Γλώσσες, µεταφραστές, και Περιβάλλοντα Επίλυσης Προ- ϐληµάτων εν πρέπει να έχουµε αυταπάτες. Οι χρήστες επιστηµονικού και άλλου λογισµικού, κατά κανόνα, αντιµετωπίζουν τον προγραµµατισµό σαν αναγκαία ενόχληση. Αντίθετα, για αυτούς που αναπτύσσουν λογισµικό, ο σχεδιασµός έξυπνων προγραµµάτων (ϑάπρεπε να) αποτελεί µια πρόκληση για ανάπτυξη και υλοποίηση τεχνικών που µπορούν αργότερα να εφαρµοστούν και σε ευρύτερο κύκλο προβλη- µάτων. Η ανάπτυξη νέων µεθοδολογιών προγραµµατισµού που εφαρµόζονται σε γενικότερα προβλήµατα και όχι µόνον στις ειδικές συνθήκες ενός προβλήµατος είναι αυτό που επικυρώνει την τεχνολογία λογισµικού σαν περιοχή της επιστήµης των υπολογιστών. Από την άλλη, οι χρήστες συνήθως έχουν µικρό ενδιαφέρον να αναπτύξουν γενικές µεθοδολογίες, ή ακόµα και στις περιπτώσεις που ενδια- ϕέρονται, έχουν λίγο χρόνο για να το κάνουν. Είναι εποµένως αναµενόµενο, ο χρήστης-επιστήµονας ή µηχανικός να εύχεται να είχε στη διάθεσή του κάποιο σύστηµα που µειώνει το σηµερινό «σηµαντικό χάσµα» (= semantic gap) µεταξύ των γλωσσών προγραµµατισµού και των µαθηµατικών συµβόλων. Θα ήθελε, για παράδειγµα, ένα σύστηµα που «καταλαβαίνει» τα µαθηµατικά σύµβολα που χρησιµοποιούνται στη διατύπωση των µαθηµατικών µοντέλων και που επιλύουν τα αντίστοιχα προβλήµατα. Το ϑέµα αυτό απασχόλησε τους ερευνητές από πολύ νω- ϱίς (δείτε π.χ. τις ιστορικές αναφορές στις συλλογές [7, 21]) και ϐρίσκεται στο κέντρο της περιοχής των αποκαλούµενων «Περιβαλλόντων Επίλυσης Προβληµάτων» (ΠΕΠ) (= Problem Solving Environments) (ϐλ. [21]). Μια από τις πρώτες µεγάλες προσπάθειες σ αυτή την κατεύθυνση ήταν η κατασκευή του συστήµατος ELLPACK [20] όπου µπορούσαν να ορισθούν ελλειπτικές διαφορικές εξισώσεις, το χωρίο ορισµού, και οι οριακές συνθήκες χρησιµοποιώντας τα συνηθισµένα µα- ϑηµατικά σύµβολα και γραφικά. Το ELLPACK ήταν σχεδιασµένο να επιστρέφει την αριθµητική λύση και πολύ ϐοηθητικές οπτικοποιήσεις. Σήµερα, πάρα πολλοί επιστήµονες και µηχανικοί χρησιµοποιούν περιβάλλοντα προγραµµατισµού πολύ υψηλού επιπέδου που προσφέρουν πολλά από τα στοιχεία που αναζητά κανείς στα ΠΕΠ. Αναφέρουµε, για παράδειγµα, τη Mathematica [36], τη Maple [2], τη Matlab [1], το Scilab [15]). Αξίζει επίσης να αναφερθεί και η πολύ µεγάλη ανά-

21 1.4. Περιβάλλον Υλοποίησης c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 15 πτυξη γλωσσών scripting 16 [29] (όπως η Python [27]) που προσφέρουν σηµαντική υποστήριξη για τη γρήγορη ανάπτυξη κώδικα αλλά και για τη συγγραφή προγραµµάτων υψηλού επιπέδου που µπορεί να απαρτίζονται από υποπρογράµµατα γραµµένα σε διαφορετικές γλώσσες και µε διαφορετικά χαρακτηριστικά [25]. Ενα σηµαντικό ερευνητικό πρόβληµα που τίθεται στην κατασκευή τέτοιων συστηµάτων είναι πως ϑα επιτευχθεί η Ϲητούµενη ευκολία προγραµµατισµού συγχρόνως µε την καλή επίδοση ; Το πρόβληµα ϐέβαια δεν είναι καινούργιο. Εχει τεθεί από τότε που αντικαταστάθηκε ο προγραµµατισµός σε γλώσσα µηχανής µε προγράµµατα σε γλώσσες υψηλού επιπέδου. Χρειάστηκαν χρόνια έρευνας ώσπου να ϕθάσουµε σε αποτελεσµατικούς µεταφραστές. Αντίστοιχα, περιµένουµε ότι η έρευνα ϑα οδηγήσει σε αποτελεσµατικούς τρόπους µετάφρασης προγραµµάτων που αναπτύχθηκαν σε ΠΕΠ. Προς το παρόν πάντως, η πλειοψηφία των υπολογιστικών εργαλείων είναι γραµµένα σε Fortran. Ακολουθεί η C (και παράγωγά της, π.χ. C++), ενώ α- σήµαντη είναι η χρήση άλλων γλωσσών. Για όσους αντιδρούν στην χρήση της Fortran, αξίζει να σηµειωθεί η µεγάλη εξέλιξη της γλώσσας αυτής. Η Fortran-90, για παράδειγµα, επιτρέπει την δυναµική ανάθεση µνήµης και το «αυτοκάλεσµα», τους δείκτες, τον ορισµό δοµών δεδοµένων πολυπλοκότερων από πίνακες, κλπ. Οπως λέγεται ότι είχε δηλώσει ο John Backus 17 I don t know what the technical characteristics of the standard language for scientific and engineering computation in the year 2000 will be... but I know it will be called Fortran. Για δεδοµένο ΗΥ, οι περισσότεροι αλγόριθµοι επιδέχονται πολλών υλοποιήσεων, ο καθένας από τους οποίους µπορεί να οδηγεί σε διαφορετική ταχύτητα επίλυσης. Για παράδειγµα, η διάταξη των ϐρόχων επηρεάζει σηµαντικά την ταχύτητα εκτέλεσης. Μεγάλο µέρος της έρευνας στην τεχνολογία των µεταφραστών εξετάζει µεθόδους για την αυτόµατη και ϐέλτιστη αναδιοργάνωση των ϐρόχων των προγραµµάτων ώστε να επιτυγχάνονται υψηλές επιδόσεις. Στα επόµενα κεφάλαια ϑα εξετάσουµε αρκετά τέτοια παραδείγµατα ϐλ. επίσης τις εργασίες [10] αλλά και την [31] µε το χαρακτηριστικό τίτλο The Influence of the Compiler on the Cost of Mathematical Software - in Particular on the Cost of Triangular Factorization. Σε µερικές περιπτώσεις, ο µεταφραστής είναι σε ϑέση να µετατρέψει το πρόγραµµα σε µορφή που οδηγεί σε πολύ καλύτερη επίδοση 18. Οι σύγχρονοι µεταφραστές χρησιµοποιούν τεχνικές του ΕΥ για την αύξηση της αποτελεσµατικότητάς τους. Τέλος πρέπει να σηµειωθούν και οι προσπάθειες να συνεργαστεί και το λειτουργικό σύστηµα µε το µεταφραστή για την καλύτερη εκµετάλλευση των πόρων του συστήµατος. 16 Μεταφράζεται ως «γλώσσα συγγραφής σεναρίων». 17 ιακεκριµένος ερευνητής ( ) µε ηγετικό ϱόλο στη σχεδίαση της γλώσσας Fortran και συνεφευρέτης της BNF. 18 Οι µετατροπές που γίνονται συνήθως από τους µεταφραστές είναι πολύ απλές. Η κατασκευή αποτελεσµατικών µεταφραστών είναι σηµαντικό πεδίο έρευνας. Για παραδείγµατα πολύπλοκων µετασχηµατισµών ϐλ. [32, 9].

22 16 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ 1.5 Αντί ανακεφαλαίωσης Στα σχήµατα 1.1 (α-ϐ) παρουσιάζεται η απόδοση ενός συγκεκριµένου ΗΥ για µια απλή πράξη της γραµµικής άλγεβρας, συγκεκριµένα την A A + xy T (1.1) όπου A είναι τετραγωνικό µητρώο µεγέθους n και τα x, y είναι διανύσµατα µεγέ- ϑους n. Η πράξη αυτή ονοµάζεται ανανέωση πρώτης τάξης και στο σχήµα είναι υλοποιηµένη µε τρείς τρόπους : 1. µε απλό πρόγραµµα Fortran (διπλά εµφωλευµένοι ϐρόχοι χωρίς ϐελτιστοποιήσεις), 2. µε ϐελτιστοποιήσεις της υλοποίησης και της µετάφρασης του προγράµµατος ώστε να λαµβάνεται υπόψη η αρχιτεκτονική του ΗΥ 3. χρησιµοποιώντας την υπορουτίνα που παρέχεται στην ϐιβλιοθήκη του ΗΥ. Το µέτρο απόδοσης είναι α) ο χρόνος για την επίλυση του προβλήµατος (1.1) υπολογισµένος από την ϱουτίνα του συστήµατος Unix dtime ως το άθροισµα των χρόνων user και system και ϐ) ο αριθµός των (εκατοµµυρίων) πράξεων α.κ.υ. ανά δευτερόλεπτο (Mflop/s) που εκτελούνται για n = 30 µέχρι n = Ερωτήσεις αυτοαξιολόγησης Ασκηση Ποιός είναι ο σκοπος του γνωστικού αντικείµενου που ονοµάζουµε «Επιστηµονικός Υπολογισµός»; Απάντηση. [Βιβλίο, εν. 1.1] Στον ΕΥ µας ενδιαφέρουν ο σχεδιασµός, η α- νάπτυξη, και η χρήση αποδοτικών υπολογιστικών εργαλείων που ϐοηθούν στην πρακτική επίλυση των µαθηµατικών µοντέλων της επιστήµης και της τεχνολογίας. Ασκηση Τι ονοµάζουµε «υπολογιστικούς πυρήνες»; Να δώσετε 3 παραδείγµατα τέτοιων πυρήνων. Απάντηση. [Βιβλίο, εν. 1.1] ιαδικασίες (που µπορεί να είναι υποπρογράµµατα ή τµήµατα προγράµµατος που - συνήθως - αντιστοιχούν σε συγκεκριµένες µα- ϑηµατικές διεργασίες ή υπολογισµούς) στις οποίες αναλώνεται σηµαντικό ποσοστό του χρόνου εκτέλεσης του προγράµµατος εφαρµογής που µελετούµε. Για το λόγο αυτό, ένα σηµαντικό ϐήµα στη µείωση του χρόνου εκτέλεσης ενός προγράµµατος εφαρµογής είναι η εύρεση των υπολογιστικών πυρήνων του και η επιτάχυνση της εκτέλεσής τους (π.χ. µε χρήση καλύτερου αλγορίθµου, κ.λπ.) Παραδείγµατα : α) Πολλαπλασιασµός µητρώου µε διάνυσµα, ϐ) ταχύς µετασχηµατισµός Fourier, γ) γεννήτρια τυχαίων αριθµών. Ασκηση Με ϐάση ποια τρία κριτήρια αξιολογούνται τα εργαλεία του Επιστηµονικού Υπολογισµού ; Απάντηση. [Βιβλίο, εν. 1.3] Τα κύρια κριτήρια που χρησιµοποιούνται για την αξιολόγηση των εργαλείων του επιστηµονικού υπολογισµού είναι α) ακρίβεια, ϐ) ταχύτητα, γ) κόστος. Ασκηση Να αναφέρετε τις πέντε κύριες πηγές σφαλµάτων στον επιστη- µονικό υπολογισµό.

23 1.6. Ερωτήσεις αυτοαξιολόγησης c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ time in sec n Mflop/s n Σχήµα 1.1: α) Χρόνος ανανέωσης πρώτης τάξης σε SGI Indigo-2 µε επεξεργαστή 250 MHz, 2 MB cache. Με συµβολίζεται 1η (απλή) υλοποίηση, µε η δεύτερη υλοποίηση και µε. η υλοποίηση µε υπορουτίνες από ϐιβλιοθήκη του συστήµατος. ϐ) Απόδοση του υπολογισµού σε Mflop/s στο SGI Indigo-2 µε 250 MHz, 2 MB cache. Με συµβολίζεται 1η (απλή) υλοποίηση, µε η δεύτερη υλοποίηση και µε. η υλοποίηση µε υπορουτίνες από ϐιβλιοθήκη του συστήµατος.

24 18 Κεφάλαιο 1. Εισαγωγή c 2008, Ε. ΓΑΛΛΟΠΟΥΛΟΣ Απάντηση. [Βιβλίο, εν. 1.3] Επιλύοντας το πρόβληµα στον υπολογιστή έχουµε να αντιµετωπίσουµε σφάλµατα που οφείλονται 1) στα δεδοµένα, 2) στη διακριτοποίηση των εξισώσεων, 3) στη διακριτοποίηση των πραγµατικών αριθµών µε αριθ- µούς κινητής υποδιαστολής (α.κ.υ) και στις περιορισµένης ακρίβειας, αριθµητικές πράξεις µε αυτούς τους αριθµούς. 4) Στον περιορισµό της «πεπερασµένης επανάληψης» στις επαναληπτικές µεθόδους για την εύρεση αποτελέσµατος, λ.χ. των ϱιζών µη γραµµικής εξίσωσης, των ιδιοτιµών ενός µητρώου, κλπ. Στις µεθόδους αυτές ϐασιζόµαστε στη «σύγκλιση», αλλά στον υπολογιστή είµαστε υποχρεωµένοι να σταµατήσουµε τις επαναλήψεις όταν κάποιος δείκτης µέτρησης σφάλµατος γίνει αρκετά µικρός. 5) Σε δεδοµένα ή ενδιάµεσα αποτελέσµατα τα οποία δεν έχουν προβλεφθεί από τη λογική της µεθόδου επίλυσης. Ασκηση Να αναφέρετε ένα σηµαντικό µετροπρόγραµµα για υπολογιστές υψηλής επίδοσης που προέρχεται από τον επιστηµονικό υπολογισµό. Απάντηση. [Βιβλίο, εν. 1.3] Τα προγράµµατα εκείνα της ϐιβλιοθήκης και LAPACK που αποσκοπούν στην επίλυση γενικού γραµµικού συστήµατος µεγέθους n. Συνηθισµένη τιµή του n είναι το Ασκηση Να αναφέρετε τρία σηµαντικά χαρακτηριστικά/τάσεις στις σύγχρονες αρχιτεκτονικές που έχουν επιδράσει άµεσα στο σχεδιασµό των αλγόριθµων για τον επιστηµονικό υπολογισµό. Απάντηση. [Βιβλίο, εν. 1.4] Είναι α) η αρχιτεκτονική RISC, ϐ) η ιεραρχική µνήµη, γ) οι παράλληλες, δικτυακές και πολυπύρηνες αρχιτεκτονικές. 1.7 Προβλήµατα Ασκηση Εστω το πολυώνυµο p(x) = n 1 j=0 α jx j όπου α n 1 0. α) Να δείξετε ότι ο υπολογισµός των τιµών του σε m σηµεία ζ 1,..., ζ m µπορεί να εκφραστεί σαν πολλαπλασιασµός µητρώου V µε διάνυσµα a. Ειδικότερα, να γράψετε τα V και a. ϐ) Να γράψετε αλγόριθµο τύπου Horner, π.χ. γραµµένο σε MATLAB, που να υπολογίζει το γινόµενο V a χωρίς να κατασκευάζει άµεσα το V. γ) Οταν n = m, και κάτω από ορισµένες συνθήκες (που αφορούν τα δεδοµένα και όχι την υπολογιστική πλατφόρµα) το κόστος του πολλαπλασιασµού V a είναι O(n log n) πράξεις α.κ.υ. Να αναφέρετε ακριβώς ποιες είναι οι συνθήκες αυτές ; Υποθέτουµε ότι τα V και a δεν είναι τετριµµένα (δηλαδή, οι τιµές των ζ j και τα α j δεν είναι µηδέν). Απάντηση. α) Το µητρώο Vandermonde ορίζεται ως εξής : V = ζ 1 ζ 2 ζ 3... ζ m ζ1 2 ζ2 2 ζ ζm ζ1 n 1 ζ2 n 1 ζ3 n 1... ζm n 1 Ο υπολογισµός της τιµής του πολυωνύµου στα m σηµεία ζ 1, ζ 2,..., ζ m µπο- ϱεί να γίνει µε τον πολλαπλασιασµό του αναστρόφου µητρώου Vandermonde µε το διάνυσµα : a = [ α 0 α 1 α 2... α n 1 ]