ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ Ι

Transcript

1 ΕΠΙΣΤΗΜΟΝΙΚΟΣ ΥΠΟΛΟΓΙΣΜΟΣ Ι Ευστράτιος Γαλλόπουλος Καθηγητής ΗΥ343 Τµήµα Μηχανικών Η/Υ και Πληροφορικής Πανεπιστήµιο Πατρών Φθινόπωρο 2011 c 2011, Ευστράτιος Γαλλόπουλος

2

3 Προλεγόµενα Στο ϐιβλίο αυτό περιέχεται ύλη για τη διδασκαλία του Επιστηµονικού Υπολογισµού. Οπως ϑα διαπιστώσετε, η πλειοψηφία των «επιστηµονικών υπολογισµών» ανάγονται σε προβλήµατα της υπολογιστικής γραµµικής άλγεβρας. Ετσι η εισαγωγή στα ϑέµατα του επιστηµονικού υπολογισµού γίνεται χρησιµοποιώντας την περιοχή αυτή σαν όχηµα. Το µεγαλύτερο µέρος της ύλης που περιέχεται στο τεύχος αυτό καλύπτεται στο µάθηµα «Επιστηµονικός Υπολογισµός I» που διδάσκεται στο τρίτο έτος του τµήµατος Μηχανικών Η/Υ και Πληροφορικής του Πανεπιστη- µίου Πατρών. Τα πιο εξειδικευµένα τµήµατά του έχουν επίσης χρησιµοποιηθεί στην Υπολογιστική Γραµµική Άλγεβρα καθώς και σε παραδόσεις ειδικών ϑεµάτων Επιστηµονικού Υπολογισµού. Το µάθηµα στο ιαδίκτυο Η ηλεκτρονική σελίδα είναι αναπόσπαστο τµήµα του µαθήµατος καθώς περιέχει απαραίτητα στοιχεια (περιεχόµενα διαλέξεων, ανακοινώσεις, ϐαθµολογία, προβλήµατα και ασκήσεις, παραδείγµατα, on-line πληροφορίες και πηγές, ϐιβλιογραφία, προγράµµατα, κλπ.) Η σελίδα ανανεώνεται συνεχώς. Για τη Γλώσσα Είναι γνωστό ότι η Πληροφορική δοκιµάζει την ευελιξία κάθε γλώσσας. Τα Ελληνικά δεν αποτελούν εξαίρεση. Στις σηµειώσεις αυτές προτίµησα να επιχειρήσω την µετάφραση των αγγλικών όρων και να περιλάβω την αγγλική ορολογία σε παρένθεση όταν ο ελληνικός όρος είναι αδόκιµος. Επίσης δεν µετέ- ϕρασα τα καθιερωµένα αρκτικόλεξα (όπως RISC και SVD). Για τις µαθηµατικές συναρτήσεις χρησιµοποιούνται τα αγγλικά σύµβολα, π.χ. cos αντί για «συν» 1. Για τη δόκιµη µετάφραση των αγγλικών όρων χρησιµοποιήθηκαν τα παρακάτω λεξικά 2 : Λ1 «Αγγλοελληνικό Λεξικό Μαθηµατικών Ορων» των Α. Καλογεροπούλου, Μ. Γκίκα,. Καραγιαννάκη και Μ. Λάµπρου (εκδ. Τροχαλία : Αθήνα 1992), Λ2 «Αγγλοελληνικόν Λεξικόν των Θεωρητικών και Εφηρµοσµένων Μαθηµατικών» του Μεµά Κολαΐτη (εκδ. Τεχνικού Επιµελητηρίου της Ελλάδος : Αθήνα, 1976). Επισηµαίνουµε εδώ ότι µεταφράζουµε τον όρο matrix ως «µητρώο» γιατί ϑεωρούµε ότι έτσι αποδίδει και µεταφέρει καλύτερα στον αναγνώστη τον αλγεβρικό λογισµό που επιτρέπουν µεταβλητές αυτού του τύπου. Η επιλογή αυτή είναι διαφορετική από τη συνηθισµένη, αλλά λανθασµένη, κατά την άποψή µας, πρακτική αρκετών συγγραφέων που χρησιµοποιούν τον όρο «πίνακας» και άθελά τους δηµιουργούν σύγχυση µε παραπλήσιους (αλλά διαφορετικούς από το µητρώο) όρους όπως array και table. Άποψή µας είναι ότι µια πολύ πιο εύστοχη χρήση του όρου «πίνακας» είναι για τις δοµές δεδοµένων που χρησιµοποιούνται για τα µητρώα και τα διανύσµατα. Σηµειώνουµε ότι σε προηγούµενες εκδόσεις του ϐιβλίου χρησιµοποιούσαµε τον επίσης επιτυχηµένο, κατά τη γνώµη µας, νεολογισµό «µητρείο» του 1 Η πρακτική αυτή ακολουθείται και σε άλλα συγγράµµατα, ϐλ. για παράδειγµα τα συγγράµµατα των ουγαλή-ακρίβη και Strang που αναφέρονται πιο κάτω. 2 Με παχειά στοιχεία αναφέρεται η σύντµηση που χρησιµοποιείται στο κείµενο όταν αναφερόµαστε στα λεξικά αυτά.

4 4 Μ. Κολαΐτη 3. είτε τη σχετική συζήτηση στον πρόλογο της ελληνικής µετάφρασης του ϐιβλίου του Alan Laub, «Ανάλυση µητρώων για επιστήµονες και Μηχανικούς», εκδ. Κλειδάριθµος, Αθήνα, 2009, όπου αποδεικνύεται από τις ιστορικές πηγές ότι το 1851, ο J.J. Sylvester εµπνεύσθηκε τον όρο matrix από τη «γονεϊκή µήτρα». Σχετικά µε την παρακολούθηση και τα «προαπαιτούµενα» Από τη ϕύση του, ο Επιστηµονικός Υπολογισµός στηρίζεται στην πρόοδο που έχει γίνει σε πολλούς τοµείς στην επιστήµη και στην τεχνολογία των Η/Υ. Εποµένως, για την πληρέστερη κατανόηση του µαθήµατος, ϑα ήταν χρήσιµη η εξοικείωσή σας µε τα ακόλουθα : α) ΗΥ110 (2ο εξ.): Γραµµική Άλγεβρα, ϐ) ΗΥ240 (4ο εξ.): Αριθµητική Ανάλυση και Περιβάλλον Υλοποίησης. Χρησιµοποιούνται επίσης στοιχεία από το ΗΥ261 (3ο εξ.) (Αρχιτεκτονική Υπολογιστών) και το ΗΥ205 (Εισαγωγή στους Αλγόριθ- µους). Με τη σειρά του, το µάθηµα προσφέρει γνώσεις που ϑα είναι χρήσιµες σε όσους ϑελήσουν να ασχοληθούν µε το συ-σχεδιασµό και την αναπτύξη αλγορίθ- µων για υπολογισµούς µεγάλης κλίµακας και µε την υλοποίησή τους σε αξιόπιστα προγράµµατα σε σύγχρονες αρχιτεκτονικές. Εφόσον γνωρίζετε ήδη τα στοιχεία της Γραµµικής Άλγεβρας, π.χ. στο επίπεδο του συγγράµµατος Εισαγωγή στη Γραµµική Αλγεβρα του G. Strang, Εκδόσεις Παν/µιου Πατρών (2006) για το (ϐ) µπορείτε να συµβουλευτείτε το σύγγραµµα Εισαγωγή στην Αριθµητική Ανάλυση των Γ.. Ακρίβη και Β.Α. ουγαλή, Παν/κές Εκδόσεις Κρήτης (1997) ή το «Αριθµητική Ανάλυση» του Μ.Ν. Βραχάτη, Εκδ. Ελληνικά Γράµµατα, Αθήνα, Οπως ϑα διαπιστώσετε, η ϕύση του αντικειµένου είναι τέτοια που επιβάλλει την ταυτόχρονη διδασκαλία της ϑεωρίας µε την πειραµατική διαδικασία στο εργαστή- ϱιο. Οι εργαστηριακές ασκήσεις ϑα γίνουν χρησιµοποιώντας κατά κύριο λόγο το (εξαιρετικά διαδεδοµένο και δηµοφιλές) περιβάλλον MATLAB (έκδοση version 7). Χρήσιµο ϐοήθηµα για το εργαστήριο και τη σύνδεσή του µε την ύλη του µαθήµατος είναι το ϐιβλίο του εµπνευστή και σχεδιαστή της MATLAB, Cleve Moler Αριθ- µητικές Μέθοδοι µε το MATLAB, εκδ. Κλειδάριθµος, Πολλά εγχειρίδια και on-line tutorials για το µάθηµα ϑα ϐρείτε στο διαδίκτυο και ιδιαίτερα στην ιστοσελίδα της Mathworks. Σας προτείνω να δείτε κάποια από αυτά. Μπορείτε επίσης να κατεβάσετε και να πειραµατιστείτε µε αντίστοιχο λογισµικό που είναι δηµόσια δια- ϑέσιµο. Αναφέροµαι στο περιβάλλον Scilab που προσφέρει παρόµοιες λειτουργίες µε τη MATLAB, αλλά διατίθεται δωρεάν (από καθώς και στο περιβάλλον Octave (δείτε στο που είναι «κλώνος» του MATLAB. Πηγές Πέραν της διεθνούς ϐιβλιογραφίας, ϐασικές πηγές µας για τα ϑέµατα αριθµητικής και υπολογισµών µε µητρώα είναι τα παρακάτω ϐιβλία : 1 N.J. H- igham. Accuracy and Stability of Numerical Algorithms. SIAM, Philadelphia, 2002, 2nd. ed. 2) G. Golub and C. F. Van Loan. Matrix Computations. The Johns Hopkins University Press, Baltimore, third edition, ) J. Demmel, Applied Numerical Linear Algebra, SIAM, Συνιστούµε επίσης και το C.W. Ueberhuber. Numerical Computation, volumes 1 and 2. Springer, Berlin, 1997, για µια εκτενέστερη παρουσίαση στο πνεύµα του µαθήµατος. Ασκήσεις Το τέλος κάθε κεφαλαίου περιλαµβανει και ένα τµήµα ασκήσεων, διαµορφωµένες σε τρεις ενότητες. Η πρώτη ενότητα περιέχει «ερωτήσεις αυτοα- 3 είτε και τη σ. 1xvii της εισαγωγής του Λ2 σχετικά µε αυτήν την επιλογή.

5 5 ξιολόγησης» που συνήθως απαιτούν λίγο χρόνο και χώρο για να απαντηθούν. Η δεύτερη περιέχει προβλήµατα που απαιτούν πιο διεξοδικές απαντήσεις. Η τρίτη ενότητα περιέχει εργαστηριακές ασκήσεις. Σε µερικές περιπτώσεις, οι απαντήσεις δίδονται µόνο περιληπτικά ή υπό σε γενικές γραµµές ή αναφέρονται στο ϐιβλίο. Ορισµένες από τις ασκήσεις είναι άλυτες ενώ µερικές ϕορές οι απαντήσεις µπορεί να είναι µακρύτερες λόγω των επιπλέον σχολίων (συχνά σε µικρότερη γραµµατοσειρά). Πολλές από τις ασκήσεις προέρχονται από ϑέµατα εξετάσεων και εργαστηριακών ασκήσεων παλαιότερων ετών ενώ ορισµένες έχουν αντληθεί από τη διεθνή ϐιβλιογραφία. Ευχαριστώ ϑερµά όσους ϐοήθησαν στο σχεδιασµό αυτών των ασκήσεων µε τις υποδείξεις και διορθώσεις τους και ιδιαίτερα τους Λουκά Γεωργιάδη, ηµήτρη Ζεϊµπέκη, Βασίλη Καλαντζή, Εφη Κοκιοπούλου, Γιάννη Κουτή, Κώστα Μπέκα, Τάσο Σιδηρόπουλο και Γιώργο Τσιρογιάννη. Ευχαριστώ επίσης τους ϕοιτητές του µαθήµατος που µε τις απαντήσεις τους και παρατηρήσεις τους ορισµένες ϕορές ϐοήθησαν στην κατασκευή «αποτελεσµατικότερων» απαντήσεων. Η προετοιµασία των ασκήσεων υποστηρίχθηκε από ένα Επιχειρησιακό Πρόγραµ- µα Εκπαίδευσης και Αρχικής Επαγγελµατικής Κατάρτισης (ΕΠΕΑΕΚ). Ευχαριστίες Ευχαριστώ όλους τους ϕοιτητές που διάβασαν προηγούµενες εκδοχές και εκδόσεις του ϐιβλίου. Θέλω όµως να κάνω και ιδιαίτερη µνεία στους Α. Αναγνωστόπουλο, Γεώργιο Γερούτη, Σωτήρη Γκέκα, Γιάννη αγκλή, Σ. Νικολάου, Απόστολο Παπαγεωργίου, Ανδρέα Παπαγεωργίου, Πέτρο Παπακωνσταντίνο, Ευστρατία Περγκαντή, Νικόλαο Πουλοκέφαλο, Τάσο Σιδηρόπουλο, Ευστράτιο Συκκά, Άλκη Τσιλιµαντό και Αλεξία Τσουµάνη που µε εκτεταµένες γραπτές πα- ϱατηρήσεις και διορθώσεις συνεισέφεραν σηµαντικά στη ϐελτίωση του κειµένου. Σηµαντική ήταν και η συµβολή των µεταπτυχιακών ϕοιτητών και διδασκόντων που έχουν προσφέρει επικουρικό έργο τα προηγούµενα χρόνια κατ αρχήν τους ηµήτρη Ζεϊµπέκη, Κώστα Μπέκα και Γιώργο Κόλλια, που στήριζαν το µάθηµα για πολλά χρόνια, καθώς και τους Γιώργο ρακόπουλο, Βασίλη Καλοφωλιά, Ε- ϕη Κοκιοπούλου, Γιάννη Κουτή, Γιώργο Τσιρογιάννη, Κυριάκο Πετράκο και Ηλία Τσιγαρίδα για την πολύτιµη ϐοήθειά τους. Οι σηµειώσεις αυτές γράφτηκαν χρησι- µοποιώντας το πακέτο ελληνικών του LaTEX καθώς και της συµβολοσειράς Kerkis που ανέπτυξε ο κ. Απόστολος Συρόπουλος τον οποίο και ευχαριστώ και για τις τις χρήσιµες συµβουλές του. Παράκληση Οι ϱαγδαίες επιστηµονικές και τεχνολογικές εξελίξεις που Ϲούµε στη σηµερινή εποχή αφορούν σε µεγάλο ϐαθµό και στον Επιστηµονικό Υπολογισµό. Ετσι, αρκετά ϑέµατα που αναφέρονται στο παρόν ϐιβλίο αναθεωρούνται τακτικά. Επίσης, όσα σφάλµατα εντοπίζονται, διορθώνονται άµεσα και ανακοινώνονται µέσω της οικοσελίδας του µαθήµατος, όπου ϐρίσκεται πάντα και η πιο πρόσφατη εκδοχή του ϐιβλίου. Στη διαδικασία αυτή, οι υποδείξεις και παρατηρήσεις σας είναι πάντα ευπρόσδεκτες και χρήσιµες. Ε. Γαλλόπουλος Οκτώβριο 2011 Πάτρα

6

7 Περιεχόµενα 1 Εισαγωγή Οριοθετήσεις Εφαρµογές Αξιολόγηση Περιβάλλον Υλοποίησης Υλικό και Αρχιτεκτονική Γλώσσες, µεταφραστές, και Περιβάλλοντα Επίλυσης Προβλη- µάτων Αντί ανακεφαλαίωσης Ερωτήσεις αυτοαξιολόγησης Προβλήµατα Εργαστηριακές ασκήσεις και εργασίες

8 2 ΠΕΡΙΕΧΟΜΕΝΑ

9 Κεφάλαιο 1 Εισαγωγή 1.1 Οριοθετήσεις Είναι πλέον κοινός τόπος πως µετά τη Θεωρία και το Πείραµα, ο Υπολογισµός µε ΗΥ 1 αποτελεί το τρίτο µεθοδολογικό εργαλείο στην έρευνα και στην ανάπτυξη της Επιστήµης και της Τεχνολογίας. Παραθέτουµε χαρακτηριστικά αποσπάσµατα από σχετικές αναφορές : ˆ Στα µέσα του 1980 συστήθηκε στις ΗΠΑ µία επιτροπή για να να εξετάσει τις τότε ανάγκες σε Υπολογιστικά Μαθηµατικά, Αλγόριθµους και Λογισµικό και να προσδιορίσει τρόπους µελλοντικής δράσης. Τα πορίσµατα της επιτροπής δηµοσιεύθηκαν στην έκθεση Future Directions in Computational Mathematics, Algorithms and Scientific Software. Η έκθεση αρχίζει ως ε- ξής : «The use of modern computers in scientific and engineering research and development over the last three decades has led to the inescapable conclusion that a third branch of scientific methodology has been created. It is now widely acknowledged that, along with the traditional theoretical and experimental methodologies, advanced work in all areas of science and technology has come to rely critically on the computational approach.» (Από το [31]). ˆ It is becoming clear that dramatic increases in computing power are necessary but insufficient to making high-performance computing a reality. Necessary is also the construction of a large body of applications capable of using that computational power effectively (Στο [4] από τους Alpern και Carter 2.) ˆ It is essential to recognize the fact that computer experiments can both be a two-way bridge between Physical Experiments and Mathematical Models, as well as an independent source of physical understanding. Such experiments have a mind-bending potential for future explorations of nature s secrets, which is only vaguely recognized today. (Από το άρθρο 1 Επιλογισµός, δηλ. υπολογισµός µε ΗΥ σύµφωνα µέ το Λ2. 2 Οι Bowen Alpern και Larry Carter ήταν Computer Scientists στα εργαστήρια της IBM στα Yorktown Heights. Ο Carter είναι τώρα καθηγητής στο University of California, San Diego (UCSD). 3

10 4 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ του Jackson 3 [22]). ˆ Ο καθένας διατηρεί ασφαλώς την ανάµνηση των εργαστηριακών µαθηµάτων στο λύκειο : έπρεπε, µε ϐάση το προτεινόµενο πείραµα, να επαληθεύσουµε µετρήσεις, οι οποίες στη συνέχεια µεταφέρονταν σ ένα διάγραµµα, επιτρέποντας έτσι να συµπεράνουµε το νόµο. Μ αυτόν τον τρόπο, ελάχιστα δεδοµένα επέτρεπαν να καταλήξουµε σε σπουδαία αποτελέσµατα. Σήµερα, οι τεχνολογίες επαληθεύουν για µας τις παρατηρήσεις και τις µετρήσεις αυτών των παρατηρήσεων, αυτόµατα και σε πραγµατικό χρόνο, και στη συνέχεια καταγράφουν χωρίς περιορισµούς δυνατοτήτων αυτά τα δεδοµένα. Σε ση- µείο που ένα πρόγραµµα συνίσταται στο να καλεί τους χρήστες υπολογιστών σ ολόκληρο τον κόσµο για να συνδέσει περίπου δύο εκατοµµύρια µηχανή- µατα και να µπορέσει έτσι να επεξεργαστεί τα δεδοµένα. Κατά συνέπεια, αλλάζουµε επίσης επιστηµονικό υπόδειγµα : η σηµερινή επιστήµη δεν έχει πλέον καµία σχέση µε εκείνη η οποία υπήρχε πριν από µερικές δεκαετίες. (Από άρθρο του Michel Serres 4 [34]) Η διατµηµατικότητα του ΕΥ δυσκολεύει τη διατύπωση ενός ικανοποιητικού ορισµού για το πεδίο. Μερικοί τον εξισώνουν µε την αριθµητική ανάλυση, και άλλοι µε το δυσκολοµετάφραστο επίσης όρο computational science and engineering ϐλ. επίσης τα σχόλια στο άρθρο «Computational Science and Engineering» [12]. Αναφέρουµε τον πλατύ ορισµό που έχει δοθεί από τους Golub και Ortega 5 στο [14, σελ. 2]: Scientific computing is the collection of tools, techniques, and theories required to solve on a computer mathematical models of problems in science and engineering. Θα λάβουµε την παρακάτω ϑέση : Στον Επιστηµονικό Υπολογισµό (ΕΥ) µας ενδιαφέρουν ο σχεδιασµός, η ανάπτυξη, και η χρήση αποδοτικών υπολογιστικών εργαλείων που ϐοηθούν στην πρακτική επίλυση των µαθηµατικών µοντέλων της επιστήµης και της τεχνολογίας. Η έµφαση στη λύση προβληµάτων που συνήθως προέρχονται από άλλες επιστήµες δεν πρέπει να µας ξενίζει. Αντιστοιχεί µάλιστα στην περιοχή του Mathematical Modelling που περιγράφεται ως «αντιµετώπιση ϱεαλιστικών προβληµάτων εκτός των Μαθηµατικών» [5, π. 220]. Ο σχεδιασµός και χρήση των εργαλείων του ΕΥ πρέπει να λαµβάνει υπόψη τη ϕυσική και τα µαθηµατικά του προβλήµατος καθώς και το περιβάλλον υλοποίησης (αρχιτεκτονική, λογισµικό, κλπ.) Στο µάθηµα του Γ έτους ϑα µας απασχολήσουν κυρίως ο σχεδιασµός και η υλοποίηση επιστηµονικού λογισµικού. Θα εξετάσουµε επίσης τη δοµή σύγχρονων πακέτων επιστηµονικού υπολογισµού. 3 Ο Atlee Jackson είναι ϕυσικός και διευθύνει το Center for Complex Systems Research στο Beckmann Center του University of Illinois at Urbana-Champaign. Είναι επίσης µέλος του Santa Fe Insitute. 4 Ο Michel Serres είναι ϕιλόσοφος και µέλος της Γαλλικής Ακαδηµίας 5 Ο Gene Golub ήταν ο ιδρυτής του προγράµµατος του ΕΥ στο Stanford και ο James Ortega είνα καθηγητής στο University of Virginia.

11 1.2. ΕΦΑΡΜΟΓΕΣ 5 Πίνακας 1.1: Αντιστοιχία εφαρµογών µε αριθµητικές µεθόδους ϐασισµένη στον [26] κβαντοχηµεία... *... * * * προσοµοίωση καιρού.... * *.... ϱευστοδυναµική *. *. * * *... γεωδαιτικά δίκτυα * * αντίστροφα προβλήµατα. *.. *..... δοµική µηχανική *. * * προσοµοίωση ηλεκτρικών στοιχείων *. *.. * *. *. προσοµοίωση κυκλωµάτων *. *.... *.. ηλεκτροµαγνητισµός * * * * * * *... οικονοµία/παράγωγα * * *.... * * * ανάκτηση πληροφορίας * *. * επεξεργασία σήµατος κ. εικόνας * * * * * * *.. * αλγ. πρβλ. στο ιαδίκτυο *.. * γραµµικά συστήµατα 2. γραµµ. συσ/µατα και πρβλ. ελαχ. τετραγ. 3. µη γραµµικά συστήµατα 4. πρβλ. ιδιοτιµών για αραιά µητρώα 5. ταχείς µετασχηµατισµοί (FFT, κλπ) 6. ταχείς ελλειπτικοί επιλυτές 7. πολυπλεγµατικές (=multigrid) µέθοδοι 8. άκαµπτες συνήθεις Ε 9. µέθοδοι Monte Carlo 10. ολοκληρωµατικοί µετασχηµατισµοί 1.2 Εφαρµογές Οι πιο σηµαντικές κατηγορίες χρήσεων τεχνικών του ΕΥ είναι οι εξής : 1) η προσοµοίωση, 2) η ανάλυση δεδοµένων (εικόνα, ήχος), 3) η υπολογιστική υποστήριξη των γραφικών, και 4) οι εφαρµογές που απαιτούν ανταπόκριση σε πραγµατικό χρόνο. Η προσοµοίωση σε Η/Υ, για παράδειγµα, έχει καταστεί οµότιµος τρόπος επιστηµονικής έρευνας καθώς σε πάρα πολλές περιπτώσεις, τα πειράµατα δεν αποτελούν επιλογή π.χ. λόγω κόστους, επικινδυνότητας, καταστροφικών επιπτώσεων, κ.λπ. είτε αν ϑέλετε για παράδειγµα τις αναφορές στο πρόγραµµα Scentific Discovery through Advanced Computing 6. Στον Πίνακα 1.1, µικρή παραλλαγή του οποίου δηµοσιεύθηκε στο άρθρο [26], παρουσιάζεται κατάλογος από σηµαντικές εφαρµογές από την επιστήµη και την τεχνολογία και τα υπολογιστικά προβλήµατα που πρέπει να λυθούν στις εφαρµογές αυτές. Αξίζει να σηµειωθεί ότι οι εφαρµογές που απαριθµούνται στον πίνακα επιλέχθηκαν επειδή απαιτούν σηµαντική υπολογιστική υποστήριξη. Οι συγγραφείς του [26] (όπου παρουσιάστηκε µια πρώτη µορφή του πίνακα) είχαν την ιδέα ό- τι για την αντιµετώπιση των µεγάλων υπολογιστικών προβληµάτων πρέπει πρώτα να αναλυθούν προσεκτικά οι υπάρχοντες κώδικες 7 ώστε να ϕανεί ξεκάθαρα ποιά τµήµατα του κώδικα έχουν το µεγαλύτερο κόστος. Οταν γίνει αυτό, µπορούµε να διακρίνουµε δύο κατηγορίες προβληµάτων. 1) Αυτά που επιταχύνονται ικανοποιητικά µέσω των ϐελτιστοποιήσεων που επιτυγχάνει ο µεταφραστής (restructuring compiler) αυτόµατα ή µε τη ϐοήθεια του προγραµµατιστή και 2) αυτά τα οποία α Χαρακτηρίζονται ως «παραδοσιακοί» (= legacy) ή «σκονισµένοι» (= dusty-deck) κώδικες.

12 6 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ παιτούν την χρήση πληροφορίας «υψηλότερου επιπέδου» για την αποτελεσµατική τους επιτάχυνση π.χ. µαθηµατικής πληροφορίας για την κατασκευή ταχύτερου αλγορίθµου. Προκύπτει ότι για να επιταχύνουµε τον κώδικα πρέπει να χρησιµοποιήσουµε 1. αποτελεσµατικότερους αλγόριθµους µέσω της αξιοποίησης της µαθηµατικής πληροφορίας, και 2. αποτελεσµατικότερη µετάφραση. Ο πίνακας 1.1 αναδεικνύει τις υπολογιστικές ανάγκες που µοιράζονται πολλές εφαρµογές. Εποµένως καθίσταται σηµαντική η ϐελτιστοποίηση αυτών των υπολογισµών, οι οποίοι ενίοτε αποκαλούνται χαρακτηριστικά και υπολογιστικοί πυρήνες (= computational kernels). Για παράδειγµα, πάρα πολλές εφαρµογές απαιτούν µετασχηµατισµούς Fourier ενώ άλλες απαιτούν τη λύση πολύ µεγάλων γραµµικών συστηµάτων. Στην πρώτη περίπτωση χρησιµοποιούνται αλγόριθµοι που υλοποιούν τον ταχύ µετασχηµατισµό Fourier (το περίφηµο FFT) ενώ στη δεύτερη αλγόριθµοι για την αριθµητική επίλυση γραµµικών συστηµάτων (η α- παλοιφή Gauss είναι µία από τις µεθόδους που έχουµε στη διάθεσή µας). Οι κοινές ανάγκες των εφαρµογών αποτελούν κίνητρο για τη δηµιουργία ϐιβλιοθηκών επιστηµονικού λογισµικού. Η δηµιουργία τέτοιων ϐιβλιοθηκών (που να είναι αποτελεσµατικές και εύχρηστες) είναι από τα σηµαντικά ϑέµατα που απασχολούν την ευρύτερη περιοχή του επιστηµονικού υπολογισµού. Επισηµαίνουµε εδώ ότι οι έξι πρώτες κατηγορίες υπολογιστικών πυρήνων που απαριθµούνται στον πίνακα είναι ή ανάγονται σε προβλήµατα της γραµµικής άλγεβρας. Οι Επτά+ Νάνοι Περί το 2005, ο Phil Collela από το Berkeley έκανε την υπό- ϑεση ότι οι περισσότεροι αριθµητικές µέθοδοι µπορούν να ταξινοµηθούν σε έναν µικρό αριθµό (7, σε πρώτη προσέγγιση) από κλάσεις. Αυτές οι κλάσεις ονοµάστηκαν χαρακτηριστικά Νάνοι. Κάθε κλάση περιέχει υπολογισµούς που παρουσιάζουν παρόµοιο τύπο υπολογισµών και επικοινωνίας (ο κύριος στόχος, όπως και των ερευνητών που συνέταξαν τον πίνακα 1.1, ήταν η εύρεση µεθοδολογίας για παραλληλοποίηση). Οι κλάσεις αυτές επεκτάθηκαν αργότερα σε 13 [6]. Απαριθµούµε τις 7 πρώτες κλάσεις και πληροφορίες γι αυτές. 1. Γραµµική Αλγεβρα για Πυκνά Προβλήµατα Πυκνά δεδοµένα (µητρώα, διανύσµατα). Συνήθως η πρόσβαση στη µνήµη γίνεται µε διασκελισµό (stride) 1 για τις γραµµές και µεγαλύτερο για τις στήλες. Οπως ϑα δούµε στο Κεφάλαιο ;;, τυπικά παραδείγµατα είναι τα BLAS-1 (πράξεις µεταξύ διανυσµάτων), BLAS-2 (πράξεις µεταξύ µητρώων και διανυσµάτων) και BLAS-3 (πράξεις µεταξύ µητρώων). 2. Γραµµική Αλγεβρα για Αραιά Προβλήµατα Τα δεδοµένα περιέχουν πολλά µηδενικά και αποθηκεύονται σε συµπιεσµένη µορφή (π.χ. compressed sparse row) για να µειωθούν οι ανάγκες για µνήµη και επικοινωνία. Λόγω της συµπίεσης, η πρόσβαση στα δεδοµένα (LOAD, STORE) συνήθως γίνεται µε έµµεση δεικτοδότηση. 3. Φασµατικές Μέθοδοι Τα δεδοµένα είναι στο πεδίο συχνοτήτων. Συνήθως, οι ϕασµατικές µέθοδοι χρησιµοποιούν πολλαπλές ϕάσεις πεταλούδας που συνδυάζουν πράξεις πολλαπλασιασµού-άθροισης και ειδικές µεταθέσεις, ε- πικοινωνία µεταξύ όλων (all-to-all) για µερικές ϕάσεις και αυστηρά τοπική για άλλες.

13 1.2. ΕΦΑΡΜΟΓΕΣ 7 4. Μέθοδοι N-σωµάτων Εξαρτώντα από τις αλληλεπιδράσεις µεταξύ διακριτών ση- µείων. Συµπεριλαµβάνουν µεθόδους particle-particle, όπου κάθε σηµείο εξαρτάται από όλα τα άλλα και οδηγούν σε υπολογισµούς πολυπλοκότητας O(N 2 ) καθώς και ιεραρχικές µεθόδους που συνδυάζουν δυνάµεις ή δυνα- µικά από πολλά σηµεία που οδηγούν σε πολυπλοκότητα O(NlogN) ή και O(N). 5. οµηµένα Πλέγµατα Αναπαρίστανται µε κανονικά πλέγµατα, όπου τα σηµεία ανανεώνονται ταυτόχρονα. Εχουν µεγάλη τοπικότητα χώρου. Το πλέγµα µπορεί να διαιρεθεί σε πιο λεπτά πλέγµατα σε περιοχές ειδικού ενδιαφέροντος (προσαρµοσµένη εκλέπτυνση). Η µετάβαση µεταξύ πλεγµάτων διαφορετικής λεπτότητας µπορεί να γίνεται δυναµικά. 6. Αδόµητα Πλέγµατα Μη κανονικά πλέγµατα όπου οι ϑέσεις των σηµείων εξαρτώνται από το πρόβληµα. Η ϑέση των σηµείων και η συνδέσεις των γειτονικών σηµείων πρέπει προσδιορίζεται ϱητά. Τα σηµεία ανανεώνονται ταυτόχρονα αλλά απαιτεί συνήθως πολλά επίπεδα έµµεσης δεικτοδότησης καθώς χρειά- Ϲεταιο πρώτα να καθοριστούν τα γειτονικά σηµεία και µετά να ϕορτωθούν οι τιµές τους. 7. Μόντε Κάρλο Οι υπολογισµοί είναι «προφανώς παράλληλοι» και εξαρτώνται α- πό στατιστικές που προέρχονται από επαναλαµβανόµενες τυχαίες δοκιµές. Παρατήρηση Αν σας εκπλήσσει ότι κατατάσσουµε ακόµα και τους (διακριτούς) µετασχηµατισµούς Fourier στη γραµµική άλγεβρα, λέµε από τώρα - αν δεν το ξέρετε ήδη - ότι πρόκειται για έναν πολλαπλασιασµό µητρώου µε διάνυσµα και ότι ο αποκαλούµενος ταχύς µετασχηµατισµός Fourier είναι ένας τρόπος για να επιταχύνουµε τον πολλαπλασιασµό εκµεταλλευόµενοι την ειδική δοµή του µητρώου. Περισσότερα για το ϑέµα αυτό ϑα δούµε στο Κεφάλαιο ;;. Για τους παραπάνω λόγους, µεγάλο µέρος του µαθήµατος του Επιστη- µονικού Υπολογισµού το αφιερώνουµε στο σχεδιασµό µεθόδων για την αποτελεσµατική επίλυση προβληµάτων της γραµµικής άλγεβρας που παρουσιάζονται στις µεγάλες εφαρµογές. Για µια ενδιαφέρουσα περιγραφή εφαρµογών που απαιτούν υπολογισµούς µεγάλης κλίµακας (και που πολλές ϕορές αποκαλούνται «Μεγάλες Προκλήσεις της Υπολογιστικής Επιστήµης 8» ) ϐλ. [24, 32]. Σηµειώνουµε πως αν και οι περισσότερες εφαρµογές που αναφέρονται στον πίνακα 1.1 προέρχονται από µοντέλα των ϕυσικών επιστηµών και της τεχνολογίας, σηµαντικά προβλήµατα ΕΥ προκύπτουν και στις οικονοµικές και κοινωνικές επιστήµες καθώς ϐέβαια και στην άκρως διεπιστηµονική περιοχή που µελετά το ιαδίκτυο, τον Παγκόσµιο Ιστό και όλα τα παρεµφερή ϑέµατα. Για παράδειγµα, µια τοπική ή εθνική οικονοµία µπορεί να µοντελοποιηθεί µε πίνακες που αναπαριστούν τις συνδιαλλαγές ανάµεσα στους τοµείς της π.χ. το ποσό παραγωγής πετρελαίου, χάλυβα και µηχανολογικών εργαλείων σε µια ϐιοµηχανική οικονοµία σχετίζεται µε την παραγωγή αυτοκινήτων. Τυχούσες αυξοµείωσεις στην παραγωγή σε έναν τοµέα της οικονοµίας πρέπει να συνοδεύονται από αντίστοιχη αύξηση ή µείωση στην ανάπτυξη τοµέων που εξαρτώνται (καταρχήν άµεσα αλλά και έµµεσα) από αυτόν. Αυτές οι σχέσεις παριστώνται µε πίνακες 8 Grand Challenges of Computational Science [21].

14 8 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ «εισόδου-εξόδου» (=input-output tables). Για την ανάλυση αυτών των πινάκων χρησιµοποιούνται µεθόδοι της αριθµητικής γραµµικής άλγεβρας 9. Μεγάλο υπολογιστικό ενδιαφέρον συγκεντρώνει και η αριθµητική επίλυση των εξισώσεων που µοντελοποιούν και αποτιµούν εξειδικευµένα προϊόντα των χρηµαταγορών, όπως τα παράγωγα (= financial derivatives). 1.3 Αξιολόγηση Τα κύρια κριτήρια που χρησιµοποιούνται σήµερα για την αξιολόγηση των εργαλείων του επιστηµονικού υπολογισµού συνοψίζονται στις παρακάτω λέξεις : 1. Ακρίβεια 2. Ταχύτητα 3. Κόστος 4. Ενέργεια Ακρίβεια Πρώτα Ϲητούµε να υπολογίζονται «σωστές» απαντήσεις. Πέραν των γνωστών ϑεµελιωδών εµποδίων που υπάρχουν για την απόδειξη της πιστότητας κάθε προγράµµατος, στον ΕΥ εµφανίζονται και περαιτέρω δυσκολίες. Ενδεικτικός είναι και ο τίτλος µιας οµιλίας του John Rice (Purdue University) 10 : What is an Answer? Εξηγούµε : Στην πλειοψηφία τους, τα προβλήµατα του ΕΥ έχουν σαν αφετηρία µαθηµατικά µοντέλα που περιγράφονται µε κάποιο συνδυασµό διαφο- ϱικών, ολοκληρωµατικών και αλγεβρικών εξισώσεων. Θεµελιώδη ϱόλο παίζει η συνέχεια, η οποία µόνο προσεγγιστικά µπορεί να µοντελοποιηθεί στον υπολογιστή. Εποµένως, συνήθως απαιτείται η διακριτοποιήση του προβλήµατος, δηλ. των εξισώσεων, του χώρου ορισµού και των οριακών συνθηκών. Στην καλύτερη περίπτωση, η λύση είναι µια «καλή» προσέγγιση της πραγµατικής λύσης του αρχικού µαθηµατικού προβλήµατος. Επιλύοντας το πρόβληµα στον υπολογιστή έχουµε να αντιµετωπίσουµε σφάλµατα που οφείλονται 1) στα δεδοµένα, 2) στη διακριτοποίηση των εξισώσεων, 3) στη διακριτοποίηση των πραγµατικών αριθµών µε αριθµούς κινητής υποδιαστολής (α.κ.υ) και στις περιορισµένης ακρίβειας, αριθµητικές πράξεις µε αυτούς τους αριθµούς. 4) Στον περιορισµό της «πεπερασµένης επανάληψης» στις επαναληπτικές µεθόδους για την εύρεση αποτελέσµατος, λ.χ. των ϱιζών µη γραµµικής εξίσωσης, των ιδιοτιµών ενός µητρώου, κλπ. Στις µεθόδους αυτές ϐασιζόµαστε στη «σύγκλιση», αλλά στον υπολογιστή είµαστε υποχρεωµένοι να σταµατήσουµε τις επαναλήψεις όταν κάποιος δείκτης µέτρησης σφάλµατος γίνει αρκετά µικρός. 5) Σε δεδοµένα ή ενδιάµεσα αποτελέσµατα τα οποία δεν έχουν προβλεφθεί από τη λογική της µεθόδου επίλυσης. Εφόσον είναι σχεδόν αδύνατο να αποφευχθούν τα σφάλµατα, πρέπει να έχουµε τη δυνατότητα να εκτιµήσουµε την επίδρασή τους στο τελικό αποτέλεσµα. Εφόσον δεν έχουµε απεριόριστους πόρους και χρόνο, στην αξιολόγηση και σύγκριση των αποτελεσµάτων πρέπει να συνυπολογίσουµε το κόστος µε το οποίο επιτυγχάνεται 9 Την µέθοδο αυτή την εισήγαγε ο Wassily Leontief (ϐραβείο Νόµπελ οικονοµικών) [28] και χρησι- µοποιήθηκε εκτενέστατα στις ΗΠΑ και στην (πρώην) ΣΕ. 10 Στο πλαίσιο του συνεδρίου HERMIS, Αθήνα 1996.

15 1.3. ΑΞΙΟΛΟΓΗΣΗ 9 η ακρίβεια της λύσης. Σηµειώνουµε ότι δεν είναι λογικό να περιµένουµε απαντήσεις οι οποίες έχουν µεγαλύτερη ακρίβεια από αυτήν των στοιχείων εισόδου ή από αυτήν που µπορεί να µετρηθεί στο πλαίσιο της εφαρµογής. Σηµειώνουµε ότι η εκτίµηση των σφαλµάτων (στρογγύλευσης) τα οποία οφείλονται στην α.κ.υ. ήταν από τα πρώτα προβλήµατα που απασχόλησαν τους πρωτοπόρους ερευνητές του ΕΥ. Τα αρχικά τους συµπεράσµατα ήταν απογοητευτικά και παραπλανητικά, π.χ. η αρχική µελέτη του σφάλµατος στην απαλοιφή Gauss από τον Hotelling [19], έδειχνε ότι αν επιλύσουµε n εξισώσεις, το σφάλµα στην τελική απάντηση µπορεί να είναι ίσο µε 4 n επί το σφάλµα µιας στρογγύλευσης. Αυτό οδήγησε τον John von Neumann και την οµάδα του να απορρίψουν αρχικά µια µέθοδο που σήµερα ϑεωρείται η πιο σηµαντική για την επίλυση γραµµικών συστηµάτων 11. Αντιγράφουµε τη σχετική παράγραφο από το [7]: In the elimination method a series of n compound operations is performed each of which depends on the proceeding. An error at any stage affects all succeeding results and may become greatly magnified; this explains roughly why instability should be expected. It should be noticed that at each step a division is performed by a number whose size cannot be estimated in advance and which might be so small that any error in it would be greatly magnified by division... για την οποία ελέχθη αργότερα από τον «πατέρα» της µοντέρνας ανάλυσης σφαλ- µάτων, John Wilkinson, ότι almost every statement in it is either wrong or misleading. Ευτυχώς όµως, η πρακτική εµπειρία από την χρήση της απαλοιφής ερχόταν σε αντίθεση µε την απαισιόδοξη πρόβλεψη των αρχικών µελετών. Οπως µας πληροφορεί ο στενός συνεργάτης του von Neumann, Herman Goldstine, αυτή η σοβαρή αντίθεση, οδήγησε τον von Neumann και άλλους (συµπεριλαµβανοµένου και του Turing), να εξετάσουν το πρόβληµα από διαφορετική σκοπιά, και να επιβεβαιώσουν τελικά την αξία της απαλοιφής Gauss [13] ϐλ. επίσης [17]. Λέµε επίσης (παραφράζοντας τον Oscar Wilde) ότι Το µόνο χειρότερο από το να µην πάρουµε καµµία απάντηση είναι να πάρουµε λανθασµένη απάντηση. Με άλλα λόγια, τα εργαλεία µας κρίνονται από το κατά πόσο µας ενηµερώνουν για την ποιότητα των απαντήσεων, π.χ. αν µας προειδοποιούν ότι τα σφάλµατα των απαντήσεων υπερβαίνουν κάποια επιτρεπτά όρια. Εδώ ϐλέπουµε το παράδοξο και τη δυσκολία του εγχειρήµατος : Πως δηλαδή να διεξάγουµε τέτοιες µελέτες όταν δεν γνωρίζουµε την πραγµατική λύση (αν την ξέραµε δεν ϑα είχαµε λόγο να προχωρήσουµε στην αριθµητική επίλυση!) Προφανώς πρέπει να αποφασίσουµε να εγκαταλείψουµε τις ελπίδες για την εύρεση του πραγµατικού σφάλµατος, και να αρκεστούµε σε ϕράγµατα, όπως στην εύρεση άνω ϕράγµατος για το µέγιστο λάθος. 11 «Μετρίου» µεγέθους.

16 10 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ Ταχύτητα As soon as an Analytical Engine exists, it will necessarily guide the future course of science. Whenever any result is sought by its aid, the question will then arise - By what course of calculation can these results be arrived at by the machine in the shortest time?... του Charles Babbage, [Passages from the Life of a Philosopher, 1864] Αναζητούµε µεθόδους που λύνουν τα προβλήµατα στον ελάχιστο δυνατό χρόνο. Προσέξτε ότι δεν διασαφηνίζουµε τι εννοοείται ως χρόνος επίλυσης. Για παράδειγ- µα, ϑα µπορούσε να είναι ο χρόνος που αναµένουµε µέχρι να επιστραφούν (time to solution). τα τελικά αποτελέσµατα ή το cpu time. Ο χρόνος επίλυσης καθορίζει επίσης την αποδοτικότητα της µεθόδου και του υπολογιστικού συστήµατος. Αναφέρουµε εξαρχής ότι η πρόοδος που έχει επιτευχθεί στη δραµατική µείωση του χρόνου επίλυσης µεγάλων προβληµάτων και η δυνατότητα αντιµετώπισης σήµερα ολοένα και πιο σύνθετων, πολύ µεγάλης κλίµακας, είναι αποτέλεσµα της συνέργειας πολλών παραγόντων που αγγίζουν όλες τις πλευρές (υλικό, λογισµικό, ϑεωρία και εφαρµογές) της επιστήµης και τεχνολογίας των Η/Υ 12. Για παράδειγ- µα, είναι λάθος ο ισχυρισµός ότι η πρόοδος στην επίλυση µεγάλων προβληµάτων έχει επιτευχθεί αποκλειστικά επειδή «οι υπολογιστές έγιναν γρηγορότεροι». Για παράδειγµα, χωρίς κατάλληλο λογισµικό υποστήριξης (µεταφραστή και Λ/Σ), δεν ϑα ήταν αποτελεσµατική η αξιοποίηση των πόρων του συστήµατος και ϑα το υ- ποχρησιµοποιούσαµε. Για να χρησιµοποιήσουµε την αναλογία µε τα αυτοκίνητα, δεν αρκεί να έχεις µια Φόρµουλα Ι. Για να αξιοποιήσεις τις δυνατότητές της, πρέπει να ξέρεις να την κουµαντάρεις. Παρόµοια, ένας αλγόριθµος χαµηλής πολυπλοκότητας δεν είναι πρακτικά χρήσιµος ωσότου υπάρξει υλοποίησή του σε πρόγραµµα που µπορεί να αξιοποιήσει τους πόρους του συστήµατος. Για παράδειγµα (όπως ϑα δούµε και σε επόµενο κεφάλαιο) υπάρχουν αλγόριθµοι για τον πολλαπλασιασµός µητρώων µεγέθους n n που χρειάζονται µόνον O(n ) αριθµητικές πράξεις (ο αλγόριθµος των Coppersmith και Winograd) όµως δεν χρησιµοποιείται ποτέ στην πράξη! Παραθέτουµε ενδεικτικά έναν ενδιαφέροντα πίνακα 1.2 µε στοιχεία που α- ϕορούν στους παράγοντες που συµβάλλουν στην επιτάχυνση της επίλυσης προ- ϐληµάτων του Επιστηµονικού Υπολογισµού 13 Αν και ορισµένους όρους που α- ναφέρονται ϑα τους µάθετε σε επόµενα κεφάλαια, και παρόλη την «ηλικία» του, ϑεωρούµε ότι ο πίνακας είναι αρκετά αποκαλυπτικός. Το λογισµικό του ΕΥ πρέπει να σχεδιάζεται µε τρόπο που να συνδυάζει τις επιταχύνσεις που προσφέρει το κάθε επίπεδο ϐελτιστοποίησης. Μια δυσκολία στο εγχείρηµά µας αυτό είναι η ποικιλία και γρήγορη εξέλιξη των αρχιτεκτονικών ΗΥ. Για παράδειγµα, συµβαίνει ένας αλγόριθµος που ϑεωρείται αργός ή µη πρακτικός σε µια αρχιτεκτονική, να είναι ο αλγόριθµος που ϑα επιλέξουµε για µια άλλη. Εποµένως, δεν πρέπει να προκαλεί έκπληξη το γεγονός ότι η µελέτη διαφορετικών αρχιτεκτονικών ΗΥ (π.χ. διανυσµατική επεξεργασία, παραλληλία) αποτέλεσε έναυσµα για τον σχεδιασµό νέων υπολογιστικών εργαλείων και για την επανεξέταση των ήδη υπαρχόντων 15. Σηµαντικό εµπόδιο στις 12 Τα πολλά, σχετικά, προαπαιτούµενα του µαθήµατος είναι ενδεικτικά αυτής της απαραίτητης συνέργειας 13 Τα στοιχεία προέρχονται από την µελέτη The Federal High Performance Computing Program που έγινε για λογαριασµό του προέδρου των ΗΠΑ το Οι Alpern και Carter χρησιµοποιούν και τον όρο performance programming [4]. 15 Για το ϑέµα αυτό αξίζει να διαβαστεί το εµπνευσµένο άρθρο του Beresford Parlett [29].

17 1.3. ΑΞΙΟΛΟΓΗΣΗ 11 Είδος Παράδειγµα Τάξη επιτάχυνσης υλικό ταχύτητα επεξεργαστή O(1) λογισµικό µεταφραστές ϐάθος pipe (vectorizing compilers) υλοποίηση 14 BLAS1 BLAS3 Ο(1) (αλγ. + λογισµ. + αρχιτ.) αρχιτεκτονική παραλληλία Ο(αριθµ. επεξ.) αλγόριθµος FFT Ο(n/ log n) Πίνακας 1.2: Συµβολή στην επιτάχυνση επίλυσης προβληµάτων αναλύσεις είναι και η έλλειψη πρακτικά αποδεκτών µοντέλων για τις νέες αρχιτεκτονικές : π.χ. τα µοντέλα RAM και PRAM δεν µπορούν να δώσουν ικανοποιητικές αναλύσεις των αλγορίθµων. Αξίζει να σηµειωθεί ότι προϊόντα του ΕΥ χρησιµοποιούνται ευρέως και σαν µετροπρογράµµατα (benchmarks) για την αξιολόγηση συστηµάτων ΗΥ. Αναφερό- µαστε εκτενέστερα στο ϑέµα αυτό στο τέλος του Κεφαλαίου ;;. Κόστος Ενα άλλο σηµαντικό κριτήριο είναι το κόστος µε το οποίο εννοούµε ϐασικά τις δαπάνες σε χρόνο και χρήµατα για το σχεδιασµό και την ανάπτυξη της µε- ϑόδου επίλυσης, για την προµήθεια ειδικού υλικού και λογισµικού, στο χρόνο που δαπανήθηκε για την εκσφαλµάτωση, κ.λπ. Επισηµαίνουµε ότι αυτά τα κόστη δεν είναι πάντα εύκολο να προβλεφτούν αν και έχουν µεγάλη σηµασία για την πορεία και ολοκλήρωση ενός έργου επιστηµονικού υπολογισµού. Επίσης, καθώς οι πόροι είναι συνήθως περιορισµένοι, η χρήση τους έρχεται µε κόστος το οποίο πρέπει να ληφθεί υπόψη στην επιλογή των εργαλείων και των µεθόδων. Σχεδιά- Ϲοντας µεθόδους που έχουν γενική χρήση και που είναι ανοικτές και επεκτάσιµες έχουµε ταχύτερη απόσβεση του κόστους και µειώνουµε το κόστος προσαρµογής της µεθόδου σε νέες ανάγκες. Αξίζει να σηµειωθεί πως µεγάλος αριθµός από προγράµµατα υψηλής ποιότητας και πιστότητας, λ.χ. η συλλογή των αλγορίθµων της ACM, το πακέτο LAPACK, κ.ά. διατίθενται ελεύθερα. Ενέργεια Energy aware algorithms are the wave of the future... από το άρθρο των Bekas και Curioni στο [8] Σήµερα ϑεωρείται σκόπιµο να συµπεριλαµβάνονται στα κριτήρια και η ενεργειακή απόδοση των εργαλείων του ΕΥ. Είναι προφανής η σηµασία που έχει το υλικό χαµηλής κατανάλωσης για σωρεία συσκευών. Είναι ϕυσικό εποµένως να επιζητούµε το ίδιο και από τα εργαλεία λογισµικού. Σηµειώνουµε ότι µόλις πριν λίγα χρόνια, αυτό το ϑέµα τράβηξε την προσοχή του κοινού µε δηµοσιογραφικές επικεφαλίδες του τύπου Google and you ll damage the planet (µετέφεραν µε χονδροκοµµένο τρόπο ευρήµατα ερευνών του ρ. Alex Wissner-Gross σχετικά µε το ενεργειακό αποτύπωµα της αναζήτησης πληροφοριών από τον Παγκόσµιο Ιστό). Πάντως, είναι γεγονονός ότι γίνονται σηµαντικές προσπάθειες πλέον για τη µέτρηση των ενεργειακών απαιτήσεων των µεγάλων υπολογισµών και για την αξιολόγηση τους µε ϐάση αυτές. Ενας τρόπος να γίνει αξιολόγηση είναι µε ϐάση την απόδοση (συνήθως σε mflop/s) ανά µονάδα ισχύος (συνήθως σε watt) (δηλ. performance per watt. Για παράδειγµα, συνηθίζεται να µετρώνται flops/watt,

18 12 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ δηλ. ποιά απόδοση σε flop/s επιτυγχάνεται ανά watt ισχύος (αν ενδιαφέρεστε, δείτε τα άρθρα [8, 11].). Ανακεφαλαίωση Συνοψίζουµε λέγοντας : Η αξιολόγηση των µεθόδων και των εργαλείων του ΕΥ, γίνεται µε ϐάση την ακρίβεια των αποτελεσµάτων, την ταχύτητα των υπολογισµών, το κόστος της συνολικής διαδικασίας και την ενεργειακή τους απόδοση. Σηµειώνουµε ότι η σηµασία που αναλογεί σε κάθε κριτήριο εξαρτάται από τις συνθήκες του προβλήµατος. Προφανώς ϑέλουµε τον ταχύτερο αλγόριθµο που είναι επίσης ο πιο ακριβής, ϕθηνός στο σχεδιασµό και στην υλοποίηση και µε τη µέγιστη απόδοση (υπολογιστική και ενεργειακή) σε όλα τα υπολογιστικά συστήµατα. υστυχώς, τις πιο πολλές ϕορές, τα παραπάνω κριτήρια συγκρούονται µεταξύ τους και δεν είναι δυνατόν σχεδιάσουµε αλγορίθµους που τα ϐελτιστοποιούν ό- λα ταυτόχρονα. Εποµένως, η πρόκληση είναι να διερευνηθούν συµβιβαστικές επιλογές (trade-offs). Σε πολλές περιπτώσεις, η ακρίβεια και ο αριθµός των πράξεων µπορεί να συνδέονται µε µία αντίστροφη σχέση. Στην ακραία περίπτωση, µπορεί ορισµένοι αλγόριθµοι χαµηλής πολυπλοκότητας από τη ϑεωρία του υπολογισµού, απορρίπτονται ως µη πρακτικοί στον ΕΥ. Απαριθµούµε µερικούς από τους λόγους : 1. Η αριθµητική τους συµπεριφορά µπορεί να είναι υποδεέστερη (ϑα δούµε περισσότερα γι αυτό σε επόµενα κεφάλαια). 2. Για να γίνει εµφανής η υποσχόµενη επιτάχυνση του αλγορίθµου το µέγεθος του προβλήµατος πρέπει να γίνει απαγορευτικά µεγάλο. 3. Η πολυπλοκότητα έχει υπολογισθεί µε ϐάση κάποιο ιδεατό µοντέλο προγραµµατισµού (π.χ. RAM) αλλά η υλοποίησή του αλγορίθµου οδηγεί σε σηµαντικό επιπλέον κόστος. Παράδειγµα Ο ταχύς µετασχηµατισµός Fourier οδήγησε σε αλγόριθµο χαµηλότερης πολυπλοκότητας (από Ο(n 2 ) σε Ο(n log n) ) ο οποίος δεν πάσχει από τα προαναφερθέντα προβλήµατα : η επιτάχυνση ήταν εµφανής για µικρό σχετικά n, η αριθµητική συµπεριφορά του αλγορίθµου ήταν ικανοποιητική και η υλοποίηση δεν εισήγαγε επιπρόσθετα προβλήµατα, µε αποτέλεσµα να χρησιµοποιείται ευρύτατα πολύ σύντοµα µετά την «ανακάλυψή» του. Παράδειγµα Οπως ϑα δούµε σε επόµενο κεφάλαιο ο υπερταχύς πολλαπλασιασµός µητρώων µε την µέθοδο Strassen, επιτυγχάνει πολυπλοκότητα Ο(n log 2 7 ) αντί του συνηθισµένου O(n 3 ), αλλά χρησιµοποιείται σπάνια γιατί παρουσιάζει πολλές από τις αδυναµίες που περιγράψαµε. Η πραγµατικότητα όµως είναι ακόµα πιο ενδιαφέρουσα : µετά από εκτεταµένες προσπάθειες των ερευνητών, µέθοδοι τύπου Strassen έχουν αποδειχθεί πρακτικές και χρήσιµες σε ορισµένες κατηγορίες προ- ϐληµάτων και ΗΥ! Ετσι η πρόκληση για τους ερευνητές είναι πολύ πιο ενδιαφέρουσα από την απλή ταξινόµηση των µεθοδων σε «πρακτικές» και «µη πρακτικές». Από την άλλη, µέθοδοι που είναι ακόµα πιο γρήγορες (όπως η µέθοδος των Coppersmith και Winograd) έχουν µόνον ϑεωρητικό ενδιαφέρον (δείτε π.χ. [33]). Παράδειγµα

19 1.4. ΠΕΡΙΒΑΛΛΟΝ ΥΛΟΠΟΙΗΣΗΣ Περιβάλλον Υλοποίησης Αναφέραµε από την αρχή ότι στον σχεδιασµό υπολογιστικών εργαλείων πρέπει να λαµβάνεται υπόψη το περιβάλλον υλοποίησης. Παραθέτουµε µερικά στοιχεία της σύγχρονης τεχνολογίας ΗΥ τα οποία έχουν καθοριστική επίδραση στον ΕΥ Υλικό και Αρχιτεκτονική Η µεγάλη πρόοδος στην τεχνολογία υλικού οδήγησε σε µεγάλη αύξηση της ταχύτητας των επεξεργαστών και της χωρητικότητας αποθήκευσης που παρέχεται από τα συστήµατα ΗΥ. Ετσι έχουµε την δυνατότητα να αποθηκεύσουµε και να λύσουµε προβλήµατα πολύ µεγαλύτερα από αυτά που λύναµε πριν µερικά χρόνια. Οπως ϑα δούµε, οι εξελίξεις στην αρχιτεκτονική των ΗΥ έχουν καθοριστική επίδραση στην ανάπτυξη και εξέλιξη του επιστηµονικού υπολογισµού. Χαρακτη- ϱιστικά αναφέρουµε : 1. Την αρχιτεκτονική RISC µε τα συγκεκριµένα χαρακτηριστικά : αρχεία καταχωρητών (register files), οργάνωση ϕόρτωσης-αποθήκευσης LOAD-STORE, έντονη χρήση pipelining) ϐλ. [9] για µια διασκεδαστική και ενδιαφέρουσα παρουσίαση του προγραµµατισµού των αρχιτεκτονικών RISC. Η συγκεκρι- µένη παρουσίαση έχει µεγάλο επιπρόσθετο ενδιαφέρον γιατί ϐρίσκεται α- κριβώς στο πνεύµα που διέπει το µάθηµα του Επιστηµονικού Υπολογισµού. 2. Την ιεραρχική οργάνωση του συστήµατος αποθήκευσης (καταχωρητές, κρυ- ϕή µνήµη, κύρια µνήµη, δευτερεύουσα µνήµη/δίσκος). Η ιεραρχική οργάνωση απαντάται σε όλα σχεδόν τα σύγχρονα συστήµατα ΗΥ (παράλληλα και µη), και χρησιµοποιείται για την αντιµετώπιση των προβλη- µάτων που δηµιουργεί η άνιση ανάπτυξη της ταχύτητας των επεξεργαστών σε σχέση µε τον ϱυθµό µεταφοράς στοιχείων µεταξύ µνήµης και επεξεργαστή. Παραδείγµατος χάριν, ενώ είναι δυνατή η κατασκευή ενός επεξεργαστού σε ένα chip (single-chip processor), ο αριθµός των pins του chip και εποµένως ο ϱυθµός µεταφοράς στοιχείων από την µνήµη στον επεξεργαστή παραµένουν περιορισµένοι µε αποτέλεσµα οι σύγχρονοι single-chip επεξεργαστές να έχουν σχετικά µικρό εύρος επικοινωνίας 16 Ενας τρόπος να αντιµετωπισθεί αυτό το πρόβληµα είναι να διατεθεί µέρος του εµβαδού του chip για αποθήκευση. Το πλεονέκτηµα είναι ότι η on-chip µνήµη είναι προσπελάσιµη µε ϱυθµούς πολύ πιο γρήγορους από την µνήµη που είναι off-chip. Παραδείγµατα on-chip µνήµης είναι : ˆ (Αρχεία) καταχωρητών (register files). ˆ Κρυφή µνήµη εντολών (instruction cache). ˆ Κρυφή µνήµη στοιχείων (data cache). Βέβαια, το µέγεθος της µνήµης που µπορεί να τοποθετηθεί on chip είναι περιορισµένο. Για τη µείωση του κόστους των µεταφορών, ϑέλουµε να µειώσουµε ή να καλύψουµε όσο γίνεται τις αναφορές στις πιο αποµακρυσµένες µνήµες κατά την εκτέλεση των προγραµµάτων. Μερικοί τρόποι που χρησι- µοποιούνται είναι η προσφόρτωση, η διαφύλλωση της µνήµης, η επικάλυψη των µεταφορών µε άλλες πράξεις δείτε τον Πίνακα 1.3 και διαβάστε πάλι 16 Λέγεται πως οι single-chip επεξεργαστές είναι pin-bandwidth limitated.

20 14 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ επικάλυψη µεταφορών ϐελτίωση της απόδοσης της µνήµης αξιοποίηση τοπικότητας προφόρτωση (prefetching) διαφύλλωση (interleaving) επαναχρησιµοποίηση από την cache µεταφορά ανά cache line Πίνακας 1.3: Μέθοδοι κάλυψης του κόστους µεταφορών το ϑέµα της ιεραρχικής µνήµης από προηγούµενα µαθήµατα (π.χ. Αρχιτεκτονική Υπολογιστών) και σχετικά ϐιβλία, όπως το κλασικό σύγραµµα των Hennessy και Patterson [16]. Οπως ϑα διαπιστώσετε, µέρος του µαθήµατος του ΕΥ αφορά σε τεχνικές που γίνονται στο επίπεδο του σχεδιασµού του αλγορίθµου και της υλοποίησής του σε πρόγραµµα για να αξιοποιηθεί όσο γίνεται η τοπικότητα στις αναφορές που εµπεριέχουν (π.χ. ελαχιστοποιώντας τις αστοχίες στις αναφορές στην κρυφή µνήµη). Υπενθυµίζουµε 3 είδη τοπικότητας (το τελευταίο ίσως το ϐλέπετε για πρώτη ϕορά) που µπορεί να παρουσιάζονται σε ένα πρόγραµµα : Χωρική τοπικότητα Αν Ϲητηθεί στοιχείο από τη ϑέση s, σύντοµα ϑα Ϲητη- ϑεί στοιχείο από παραπλήσια ϑέση. Χρονική τοπικότητα Αν Ϲητηθεί στοιχείο από τη ϑέση s, σύντοµα ϑα Ϲητηθεί πάλι το ίδιο στοιχείο Αλγοριθµική τοπικότητα Οταν ένα πρόγραµµα αναφέρεται κατ επανάληψη σε ορισµένα στοιχεία ή εκτελεί κάποιο τµήµα κώδικα και τα στοιχεία ή τµήµατα αυτά είναι κατανεµηµένα σε αρκετή απόσταση µεταξύ τους στους χώρους µνήµης. Για παράδειγµα, όταν απαντάται αλγοριθµική τοπικότητα, µπορούµε να προβλέψουµε τη συµπεριφορά του προγράµµατος (π.χ. ποιά ϑα είναι ή και τι ϑα Ϲητηθεί στην επόµενη εντολή) παρόλο που αυτά τα στοιχεία µπορεί να µην είναι γειτονικά (δηλ. δεν ισχύει χωρική ή χρονική τοπικότητα). εν ϑα αναφερθούµε περισσότερο σε αυτό το ϑέµα, παραπέµπουµε όµως στο [23] για περισσότερες πληροφορίες. Συνοψίζοντας µπορούµε να πούµε ότι µια από τις µεγαλύτερες προκλήσεις που πρέπει να αντιµετωπίσουµε όταν σχεδιάζουµε συστήµατα υψηλής απόδοσης είναι η µετακίνηση των πληροφοριών (δεδοµένων και εντολών) µεταξύ της µνήµης και του επεξεργαστή µε ικανοποιητικό ϱυθµό. Οπως ανέφερε εδώ και µια 35ετία ένας από τους σηµαντικούς ερευνητές στον χώρο του ΕΥ :... the operation count is not necessarily an adequate figure of merit in comparing theoretically the value of algorithms in numerical analysis [... ] Other factors, such as [... ] the pattern in which memory banks of the computer are referenced, may be as important as the operation count in determining the speed of a program... [18] Σήµερα ϕαίνεται ότι αυτό ισχύει πολύ περισσότερο. Οπως ανέφερε χαρακτηριστικά η καθηγήτρια Kathy Yelick του Berkeley στην παρουσίαση How HPC Hardware and Software are Evolving Towards Exascale 17 το (δείτε

21 1.4. ΠΕΡΙΒΑΛΛΟΝ ΥΛΟΠΟΙΗΣΗΣ 15 Counting flops is irrelevant, only data movement matters 3. Την ευρύτερη διάδοση και χρήση παράλληλων συστηµάτων και άλλων αρχιτεκτονικών δοµών για αυξηµένη απόδοση, όπως οι υπερβαθµωτοί (superscalar) επεξεργαστές, οι συστάδες επεξεργαστών (= clusters), η κατανεµηµένη επεξεργασία επί δικτύων, οι τεχνολογίες Πλέγµατος (Grid) και Νέφους (Cloud) και ιδιαίτερα οι ϱαγδαίες εξελίξεις στην περιοχή των πολυπύρηνων επεξεργαστών (multicore και manycore computing) και στην τεχνολογία των συστη- µάτων ειδικού σκοπού, όπως τα Graphics Processing Units (GPU) και των Field Programmable Gate Arrays (FPGA) που υποστηρίζουν πλέον πολλές εφαρµογές µε επιστηµονικούς υπολογισµούς. Πολλά από αυτά τα ϑέµατα ϑα τα διδαχθείτε σε µαθήµατα (επιλογής) του και Ε έτους. Αξίζει να σηµειωθεί ότι πολλές από τις τεχνικές που αναπτύχθηκαν για την αποδοτική χρήση παραλληλων (και διανυσµατικών) Η/Υ, αποδείχτηκαν χρήσιµες και στο πλαίσιο των απλούστερων, µη παραλληλων, συστηµάτων που χρησιµοποιούµε καθηµερινά (π.χ. χρήση τεχνικών αναπτυγµένων για διανυσµατικούς Η/Υ σε συστήµατα αρχιτεκτονικής RISC, και η αντιστοιχία παραλληλισµού µε ανταλλαγή µηνυµάτων και ιεραρχία µνήµης). Είναι σαφές επίσης πλέον ότι η παραλληλία εξελίχθηκε και από ακριβή εξωτική τεχνολογία είναι πλέον διαθέσιµη σε όλους - σε σηµείο που σε πολλά πανεπιστήµια, η διδασκαλία του προγραµµατισµού και των αλγορίθµων συνδυάζεται από την αρχή µε τις έννοιες του παράλληλου υπολογισµού Γλώσσες, µεταφραστές, και Περιβάλλοντα Επίλυσης Προ- ϐληµάτων εν πρέπει να έχουµε αυταπάτες. Οι χρήστες επιστηµονικού και άλλου λογισµικού, κατά κανόνα, αντιµετωπίζουν τον προγραµµατισµό σαν αναγκαία ενόχληση. Αντίθετα, για αυτούς που αναπτύσσουν λογισµικό, ο σχεδιασµός έξυπνων προγραµµάτων (ϑάπρεπε να) αποτελεί µια πρόκληση για ανάπτυξη και υλοποίηση τεχνικών που µπορούν αργότερα να εφαρµοστούν και σε ευρύτερο κύκλο προβλη- µάτων. Η ανάπτυξη νέων µεθοδολογιών προγραµµατισµού που εφαρµόζονται σε γενικότερα προβλήµατα και όχι µόνον στις ειδικές συνθήκες ενός προβλήµατος είναι αυτό που επικυρώνει την τεχνολογία λογισµικού σαν περιοχή της επιστήµης των υπολογιστών. Από την άλλη, οι χρήστες συνήθως έχουν µικρό ενδιαφέρον να αναπτύξουν γενικές µεθοδολογίες, ή ακόµα και στις περιπτώσεις που ενδιαφέρονται, έχουν λίγο χρόνο για να το κάνουν. Είναι εποµένως αναµενόµενο, ο χρήστηςεπιστήµονας ή µηχανικός να εύχεται να είχε στη διάθεσή του κάποιο σύστηµα που µειώνει το σηµερινό «σηµαντικό χάσµα» (= semantic gap) µεταξύ των γλωσσών προγραµµατισµού και των µαθηµατικών συµβόλων. Θα ήθελε, για παράδειγµα, ένα σύστηµα που «καταλαβαίνει» τα µαθηµατικά σύµβολα που χρησιµοποιούνται στη διατύπωση των µαθηµατικών µοντέλων και που επιλύουν τα αντίστοιχα προβλήµατα. Το ϑέµα αυτό απασχόλησε τους ερευνητές από πολύ νωρίς και ϐρίσκεται στο κέντρο της περιοχής των αποκαλούµενων «Περιβαλλόντων Επίλυσης Προβληµάτων» (ΠΕΠ) (= Problem Solving Environments) (ϐλ. [20]). Σήµερα, πάρα πολλοί επιστήµονες και µηχανικοί χρησιµοποιούν περιβάλλοντα προγραµµατισµού πολύ υψηλού επιπέδου που προσφέρουν πολλά από τα στοιχεία που αναζητά κανείς στα ΠΕΠ. Κατ αρχήν, η MATLAB [2], ένα σύστηµα που χρησιµοποιείται ευρύτατα από επιστήµονες και µηχανικούς καθώς και στο εργαστήριο του µαθήµατος. Α- ναφέρουµε, για παράδειγµα, το MATLAB [2], ένα σύστηµα που χρησιµοποιείται

22 16 ΚΕΦΑΛΑΙΟ 1. ΕΙΣΑΓΩΓΗ ευρύτατα από επιστήµονες και µηχανικούς καθώς και στο εργαστήριο του µαθή- µατος, το Mathematica [1], το Maple [3], και το Scilab [15]). Αξίζει επίσης να αναφερθεί και η πολύ µεγάλη ανάπτυξη γλωσσών scripting 18 όπως η Python [27] που προσφέρουν σηµαντική υποστήριξη για τη γρήγορη ανάπτυξη κώδικα αλλά και για τη συγγραφή προγραµµάτων υψηλού επιπέδου που µπορεί να απαρτίζονται από υποπρογράµµατα γραµµένα σε διαφορετικές γλώσσες και µε διαφορετικά χαρακτηριστικά [25]. Ενα σηµαντικό ερευνητικό πρόβληµα που τίθεται στην κατασκευή τέτοιων συστηµάτων είναι πως ϑα επιτευχθεί η Ϲητούµενη ευκολία προγραµµατισµού συγχρόνως µε την καλή επίδοση ; Το πρόβληµα ϐέβαια δεν είναι καινούργιο. Εχει τεθεί από τότε που αντικαταστάθηκε ο προγραµµατισµός σε γλώσσα µηχανής µε προγράµµατα σε γλώσσες υψηλού επιπέδου. Χρειάστηκαν χρόνια έρευνας ώσπου να ϕθάσουµε σε αποτελεσµατικούς µεταφραστές. Αντίστοιχα, περιµένουµε ότι η έρευνα ϑα οδηγήσει σε αποτελεσµατικούς τρόπους µετάφρασης προγραµµάτων που αναπτύχθηκαν σε ΠΕΠ. Προς το παρόν πάντως, η συντριπτική πλειοψηφία των υπολογιστικών εργαλείων είναι γραµµένα σε Fortran και σε C (και παράγωγά της, π.χ. C++), σε MATLAB και σε Java. Σχετικά µε τη Fortran, έχει ενδιαφέρον του John Backus ( ), διακεκριµένου ερευνητή, σχεδιαστή της γλώσσας καθώς και συνεφευρέτη της BNF, πως I don t know what the technical characteristics of the standard language for scientific and engineering computation in the year 2000 will be... but I know it will be called Fortran. Για κάθε ΗΥ, οι περισσότεροι αλγόριθµοι επιδέχονται πολλών υλοποιήσεων, ο καθένας από τους οποίους µπορεί να οδηγεί σε διαφορετική ταχύτητα επίλυσης. Για παράδειγµα, η διάταξη των εµφωλευµένων ϐρόχων επηρεάζει σε σηµαντικό ϐαθµό την ταχύτητα εκτέλεσης. Μεγάλο µέρος της έρευνας στην τεχνολογία των µεταφραστών εξετάζει µεθόδους για την αυτόµατη και ϐέλτιστη αναδιοργάνωση των ϐρόχων των προγραµµάτων ώστε να επιτυγχάνονται υψηλές επιδόσεις. Στα επόµενα κεφάλαια ϑα εξετάσουµε αρκετά τέτοια παραδείγµατα. Σε µερικές περιπτώσεις, ο µεταφραστής είναι σε ϑέση να µετατρέψει το πρόγραµµα σε µορφή που οδηγεί σε πολύ καλύτερη επίδοση 19. Οι σύγχρονοι µεταφραστές χρησιµοποιούν τεχνικές του ΕΥ για την αύξηση της αποτελεσµατικότητάς τους. Τέλος πρέπει να σηµειωθούν και οι προσπάθειες να συνεργαστεί και το λειτουργικό σύστηµα µε το µεταφραστή για την καλύτερη εκµετάλλευση των πόρων του συστήµατος. 1.5 Αντί ανακεφαλαίωσης είχνουµε στο Σχήµα 1.1 τις διαφορές στους χρόνους του πολλαπλασιασµού µητρώου µεγέθους n n µε διάνυσµα, δηλ. y Ax, για n = 100, 200,..., Οι χρονοµετρήσεις έγιναν κάτω από τις παρακάτω συνθήκες : 18 Μεταφράζεται ως «γλώσσα συγγραφής σεναρίων» ή ως το (κακόηχο) «σεναριογλώσσα». 19 Οι µετατροπές που γίνονται συνήθως από τους µεταφραστές είναι πολύ απλές. Η κατασκευή αποτελεσµατικών µεταφραστών είναι σηµαντικό πεδίο έρευνας. Για παραδείγµατα πολύπλοκων µετασχηµατισµών ϐλ. [30, 10].

23 1.5. ΑΝΤΙ ΑΝΑΚΕΦΑΛΑΙΩΣΗΣ 17 Σύστηµα Intel Atom 1.6 GHz, RAM 1.48 GB, caches: level 1, 32KB; level 2, 512KB cache (write-back). Οι πληροφορίες µέσω του προγράµµατος winaudit.exe. Λογισµικό Windows XP Pro, MATLAB 7.11 (R2010b) Μετρήσεις Λήφθηκαν µε τις εντολές tic, toc. Ο πρώτος κώδικας είναι προγραµµατισµένος για πρόσβαση στα στοιχεία του A κατά γραµµές, ο δεύτερος κατά στήλες και ο τελευταίος χρησιµοποιεί την ενδογενή πράξη της MATLAB: 1 function [y] = mulr(a,x); 2 [m,n]=size(a); 3 for i=1:m 4 y(i) = A(i,:)*x; 5 end Listing 1.1: MV κατά γραµµές 1 function [y] = mulc(a,x); 2 [m,n]=size(a); 3 y = A(:,1)*x(1); 4 for j=2:n 5 y = y + A(:,j)*x(j); 6 end Listing 1.2: MV κατά στήλες 1 function [y] = mulmv(a,x); 2 y = A*x; % y = mtimes(a,x); Listing 1.3: ενδογενής Σχήµα 1.1: Χρόνοι για τον υπολογισµό του γινοµένου µητρώο µε διάνυσµα