ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΡΕΒΕΚΑ ΑΛ. ΜΩΡΑΪΤΗ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΘΕΩΡΗΤΙΚΗ ΠΛΗΡΟΦΟΡΙΚΗ & ΘΕΩΡΙΑ ΣΥΣΤΗΜΑΤΩΝ ΚΑΙ ΕΛΕΓΧΟΥ ΑΝΑΠΤΥΞΗ ΤΗΣ ΕΠΑΝΑΛΗΠΤΙΚΗΣ ΜΕΘΟΔΟΥ ΣΥΖΥΓΩΝ ΚΛΙΣΕΩΝ ΓΙΑ ΤΗΝ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΚΑΙ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΠΡΟΡΡΥΘΜΙΣΗΣ ΓΙΑ ΤΗΝ ΒΕΛΤΙΩΣΗ ΤΟΥ ΡΥΘΜΟΥ ΣΥΓΚΛΙΣΗΣ ΤΗΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΡΕΒΕΚΑ ΑΛ. ΜΩΡΑΪΤΗ Επιβλέπων: Αθανάσιος Μυγδαλάς Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Δεκέμβριος

2 2

3 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΘΕΩΡΗΤΙΚΗ ΠΛΗΡΟΦΟΡΙΚΗ & ΘΕΩΡΙΑ ΣΥΣΤΗΜΑΤΩΝ ΚΑΙ ΕΛΕΓΧΟΥ ΑΝΑΠΤΥΞΗ ΤΗΣ ΕΠΑΝΑΛΗΠΤΙΚΗΣ ΜΕΘΟΔΟΥ ΣΥΖΥΓΩΝ ΚΛΙΣΕΩΝ ΓΙΑ ΤΗΝ ΕΠΙΛΥΣΗ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ ΚΑΙ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΠΡΟΡΡΥΘΜΙΣΗΣ ΓΙΑ ΤΗΝ ΒΕΛΤΙΩΣΗ ΤΟΥ ΡΥΘΜΟΥ ΣΥΓΚΛΙΣΗΣ ΤΗΣ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΡΕΒΕΚΑ ΑΛ. ΜΩΡΑΪΤΗ Επιβλέπων: Αθανάσιος Μυγδαλάς Καθηγητής Α.Π.Θ. Εγκρίθηκε από την τριμελή εξεταστική επιτροπή Α. Μυγδαλάς Ν. Καραμπετάκης Γ. Ραχώνης Καθηγητής Α.Π.Θ. Αν. Καθηγητής Α.Π.Θ. Επικ. Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Δεκέμβριος

4 .. Ρεβέκα Αλ. Μωραΐτη Πτυχιούχος Μαθηματικός Α.Π.Θ Copyright Ρεβέκα Αλ. Μωραΐτη, Με επιφύλαξη παντός δικαιώματος. All rights reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερμηνευτεί ότι εκφράζουν τις επίσημες θέσεις του Α.Π.Θ. 4

5 ΠΕΡΙΛΗΨΗ Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη μιας επαναληπτικής μεθόδου για την επίλυση αραιών, μεγάλης κλίμακας γραμμικών συστημάτων που προκύπτουν απ την εφαρμογή της μεθόδου Συζυγών Κλίσεων (Conjugate Gradient method). Στο πρώτο κεφάλαιο δίνονται κάποιες βασικές έννοιες, όσον αφορά τα γραμμικά συστήματα, αραιά ή πλήρη και τα είδη αριθμητικών μεθόδων (άμεσων ή επαναληπτικών) για την επίλυσή τους. Επίσης, τονίζεται η αποτελεσματικότητα της μεθόδου αυτής σε σχέση με άλλες επαναληπτικές μεθόδους. Στο δεύτερο κεφάλαιο παρουσιάζεται, αναλυτικά η CG μέθοδος, η προέλευση της, καθώς επίσης και η δομή της. Στη συνέχεια δίνονται οι τροποποιήσεις της μεθόδου. Το ενδιαφέρον επικεντρώνεται περισσότερο στις τεχνικές προρρύθμισης της CG μεθόδου, οι οποίες προσφέρουν ταχύτερη σύγκλιση στο προς επίλυση γραμμικό σύστημα. Τέλος, στα κεφάλαια 4, 5, 6 παρατίθενται υλοποιήσεις, χρήσεις της μεθόδου σε MATLAB και SCILAB, όπως επίσης παραδείγματα και εφαρμογές της. Επίσης, διατυπώνονται συμπεράσματα και προτείνονται ιδέες για μελλοντικές εφαρμογές. ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ Μέθοδος συζυγών κλίσεων, ρυθμός σύγκλισης, γραμμικά συστήματα, αραιοί πίνακες, προρρυθμιστές. 5

6 ABSTRACT The subject of the current thesis is the development of an iterative method for the solution of large, sparse linear systems. The iterative method we examine is the Conjugate Gradient method (with and without preconditioner). In the first section, we present basic principles about sparse or dense linear systems and two types of numerical methods (direct and iterative), which can be used to solve systems of linear equations. Also, we underline the efficiency of CG method comparing with other iterative methods. The second section refers extensively to the CG method, the structure of its algorithm and its derivation. The following section introduces several modifications of the method. Basically, we focus on the preconditioning techniques of CG method, which provide faster convergence to the linear system. Sections 4, 5 and 6 display method s realizations, its syntax and description on MATLAB and SCILAB and some numerical experiments and implementations using CG method with and without preconditioning. Furthermore, we express conclusions and we propose some ideas for future research. KEY WORDS Conjugate gradient method, rate of convergence, linear systems, sparse matrices, preconditioners. 6

7 ΕΥΧΑΡΙΣΤΙΕΣ Απ την πλευρά μου ευχαριστώ θερμά τον επιβλέποντα καθηγητή κ. Αθανάσιο Μυγδαλά για την εμπιστοσύνη που μου έδειξε ως προς την ανάθεση της διπλωματικής εργασίας, καθώς επίσης και για το αμέριστο και αδιάλειπτο ενδιαφέρον του κατά τη διάρκεια της εκπόνησής της. Επίσης, οφείλω να ευχαριστήσω τα υπόλοιπα μέλη της τριμελούς επιτροπής κ. Νικόλαο Καραμπετάκη και κ. Γεώργιο Ραχώνη για την μελέτη και αξιολόγηση της εργασίας. 7

8 Περιεχόμενα 1. Εισαγωγή Γενικά περί γραμμικών συστημάτων και τρόποι επίλυσης τους Αντικείμενο, στόχοι, μεθοδολογία, δομή της εργασίας Η Μέθοδος Συζυγών Κλίσεων Βασικές έννοιες Η μέθοδος Μεγίστης Καθόδου (Steepest Descent Method) Η μέθοδος των Συζυγών Κλίσεων (Conjugate Gradient Method) Τροποποιήσεις της Μεθόδου Συζυγών Κλίσεων Προρρυθμισμένη Μέθοδος Συζυγών Κλίσεων Παραλλαγές της Μεθόδου Συζυγών Κλίσεων Η Μέθοδος Συζυγών Κλίσεων σε κανονικές εξισώσεις Η Μέθοδος Μη Γραμμικών Συζυγών Κλίσεων (The Nonlinear Conjugate Gradient Method) Υλοποιήσεις Η υπερανάλυση χρησιμοποιώντας την προρρυθμισμένη μέθοδο συζυγών κλίσεων Εφαρμογή της CG μεθόδου στο MATLAB Εφαρμογή της CG μεθόδου στο SCILAB Εφαρμογές σε αραιά γραμμικά συστήματα Δύο εφαρμογές της Προρρυθμισμένης μεθόδου Συζυγών Κλίσεων πάνω σε ετερογενή υπολογιστικά πλέγματα Επίλυση αραιών γραμμικών συστημάτων με τη χρήση του προρρυθμιστή ατελούς παραγοντοποίησης (Incomplete Factorization) Εφαρμογή της Προρρυθμισμένης μεθόδου Συζυγών Κλίσεων για την επίλυση των εξισώσεων ροής υπόγειων υδάτων Μείωση του κόστους επικοινωνίας στον CG αλγόριθμο σε πολυεπεξεργαστές κατανεμημένης μνήμης Συμπεράσματα- Μελλοντική έρευνα ΒΙΒΛΙΟΓΡΑΦΙΑ ΠΑΡΑΡΤΗΜΑ

9 1. Εισαγωγή 1.1 Γενικά περί γραμμικών συστημάτων και τρόποι επίλυσης τους Σκοπός αυτής της εργασίας είναι να παρουσιάσει την επίλυση γραμμικών αλγεβρικών συστημάτων της μορφής n n n Ax b, A,det( A) 0, b \ 0 a11 a12 a13 a1 n x1 b1 a a a a x b n 2 2 a31 a32 a33 a 3n x 3 b 3 a a a a x b n1 n2 n3 nn n n Ο πίνακας πραγματικός, συμμετρικός και θετικά ορισμένος, o πίνακας-στήλη των αγνώστων και που είναι ο πίνακας των συντελεστών θα θεωρείται 9 είναι ο είναι ο πίνακας- στήλη των σταθερών όρων. Η επίλυση ενός τέτοιου συστήματος θα προέλθει μέσω της Μεθόδου Συζυγών Κλίσεων (Conjugate Gradient Method) και έπειτα μέσω της Προρρυθμισμένης Μεθόδου Συζυγών Κλίσεων (Preconditioned Conjugate Gradient Method). Τα γραμμικά συστήματα εμφανίζονται σχεδόν σε όλες τις θετικές επιστήμες και όχι μόνον. Τα βλέπουμε επίσης και σε περιπτώσεις πειραμάτων, όπου κανείς είναι αναγκασμένος να θεωρήσει πολλές παραμέτρους και να κάνει διάφορες μετρήσεις. Ειδικά στην επιστήμη των υπολογιστών, τα γραμμικά συστήματα είναι από τα πιο σημαντικά και κοινά προβλήματα. Η αυξημένη όμως ζήτηση για αποδοτικότερη και πιο αποτελεσματική επίλυση συνεχώς μεγαλύτερης κλίμακας γραμμικών συστημάτων, τα οποία προκύπτουν για παράδειγμα από την αριθμητική επίλυση διαφορικών εξισώσεων, μας οδήγησε στη χρήση αριθμητικών μεθόδων, διότι η χρήση συνηθισμένων αναλυτικών μεθόδων (π.χ. μέθοδος Cramer με ορίζουσες) αποτελεί μία επίπονη και χρονοβόρα διαδικασία. Πολλά προβλήματα που προκύπτουν στην επιστήμη και στην τεχνολογία, όπως για παράδειγμα προβλήματα μετάδοσης πληροφορίας, ρευστοδυναμικής, καταλήγουν στην επίλυση διαφορικών εξισώσεων με μερικές παραγώγους, οι οποίες μετά την διακριτοποίηση τους μας οδηγούν σε πολύ μεγάλους αραιούς (σποραδικούς) πίνακες (sparse matrices), δηλαδή πίνακες με λίγα μη μηδενικά στοιχεία. Έτσι καλούμαστε να επιλύσουμε αραιά γραμμικά συστήματα εξισώσεων, τα οποία προϋποθέτουν την

10 ύπαρξη μεθόδων που εκμεταλλεύονται την σποραδικότητα και καθιστά τους υπολογισμούς με τους πίνακες χαμηλότερου κόστους. Οι αριθμητικές μέθοδοι επίλυσης γραμμικών συστημάτων διαχωρίζονται σε δύο μεγάλες κατηγορίες: 1 η. Άμεσες ή απευθείας μέθοδοι (Direct methods) 2 η. Έμμεσες ή επαναληπτικές μέθοδοι (Iterative methods) Γενικά, οι άμεσες μέθοδοι απαιτούν αριθμό πράξεων της τάξης, ενώ οι επαναληπτικές μέθοδοι απαιτούν αριθμό πράξεων της τάξης ανά επανάληψη, όπου Ν ο αριθμός των εξισώσεων του γραμμικού συστήματος. Επομένως, μία επαναληπτική μέθοδος για να θεωρηθεί υπολογιστικά ελκυστική θα πρέπει να συγκλίνει σε λιγότερες από Ν επαναλήψεις. Στις άμεσες μεθόδους συμπεριλαμβάνονται, μεταξύ άλλων οι παρακάτω: απαλοιφή Gauss, απαλοιφή Gauss-Jordan, αλγόριθμος Thomas, παραγοντοποιήσεις LU και LDU, αλγόριθμος Cholesky κτλ. Η βασική ιδέα για τη λύση του συστήματος Ax=b είναι η μετατροπή του πίνακα Α σε ισοδύναμο τριγωνικό, το οποίο επιλύεται ευκολότερα. Πρακτικά, οι άμεσες μέθοδοι οδηγούν πολλές φορές σε λύση που διαφέρει από την ακριβή τιμή της λύσης κι επίσης τα σφάλματα στρογγύλευσης και αστάθειας μπορεί να οδηγήσουν σε μη ικανοποιητικά αποτελέσματα. Περνάμε τώρα στη δεύτερη κατηγορία αριθμητικών μεθόδων επίλυσης, αυτή των επαναληπτικών τεχνικών. Στην επίλυση μεγάλων συστημάτων οι επαναληπτικές μέθοδοι, εφόσον διατυπωθούν σωστά, φαίνεται να έχουν πιο πολλές δυνατότητες από τις άμεσες μεθόδους. Η υπεροχή τους οφείλεται στο γεγονός ότι οι περισσότερες επαναληπτικές μέθοδοι αξιοποιούν τα δύο βασικά χαρακτηριστικά των συστημάτων που προκύπτουν από τη μέθοδο πεπερασμένων διαφορών (αραιοί και διαγώνια κυρίαρχοι πίνακες). Οι περισσότερες επαναληπτικές μέθοδοι βασίζονται στη διατύπωση αναγωγικών τύπων επαναληπτικού χαρακτήρα. Ένας γενικός αλγόριθμος για μία οποιαδήποτε επαναληπτική μέθοδο είναι ο εξής: 1. Ξεκινάμε με μία αρχική προσέγγιση της πραγματικής λύσης x του γραμμικού συστήματος Ax=b. 2. Παράγουμε μία ακολουθία λύσεων που υπολογίζονται συνήθως από τον τύπο, όπου ο πίνακας Β διαφέρει ανάλογα με την επαναληπτική μέθοδο που χρησιμοποιούμε. Οι επαναληπτικές μέθοδοι χωρίζονται σε δύο κατηγορίες : 1 η. Στάσιμες μέθοδοι (Stationary methods) 2 η. Μη στάσιμες μέθοδοι (Non stationary methods) Οι στάσιμες μέθοδοι είναι πιο παλιές και πιο απλές στην εφαρμογή, αλλά συνήθως όχι τόσο αποτελεσματικές. Είναι μέθοδοι που σε κάθε επανάληψη εκτελούν τις ίδιες λειτουργίες στα διανύσματα επανάληψης. Παραδείγματα τέτοιων μεθόδων είναι η 10

11 μέθοδος Jacobi, η μέθοδος Gauss-Seidel, η μέθοδος διαδοχικής υπερχαλάρωσης (Successive Over Relaxation), η συμμετρική διαδοχική υπερχαλάρωση (Symmetric Successive Over Relaxation) κτλ. Οι μη στάσιμες μέθοδοι είναι μία πιο σύγχρονη εξέλιξη, λίγο πιο πολύπλοκες στην εφαρμογή τους, αλλά με αρκετά μεγάλη αποτελεσματικότητα. Επειδή σε πολλά προβλήματα η πολυπλοκότητα αυξάνει, είναι αναγκαίο να ανατρέξουμε σε πιο εξειδικευμένες και αναβαθμισμένες τεχνικές όπως η μέθοδος Συζυγών Κλίσεων (Conjugate Gradient ), η μέθοδος Μεγίστης Καθόδου (Steepest Descent), η μέθοδος Συζυγών Διευθύνσεων (Conjugate Directions) κτλ. Ο ρυθμός με τον οποίο συγκλίνει μία επαναληπτική μέθοδος εξαρτάται κυρίως από το φάσμα (σύνολο ιδιοτιμών) του πίνακα Α. Γι αυτό οι επαναληπτικές μέθοδοι χρησιμοποιούν και έναν δεύτερο πίνακα που μετατρέπει τον Α σε πίνακα με καλύτερο φάσμα. Αυτός ο δεύτερος πίνακας ονομάζεται προρρυθμιστής (preconditioner). Η σύγκλιση της μεθόδου εξαρτάται από το πόσο καλή είναι η επιλογή του προρρυθμιστή που θα επιλέξουμε. Σ αυτήν την εργασία θα ασχοληθούμε με την πιο διαδεδομένη επαναληπτική μέθοδο, η οποία είναι η μέθοδος Συζυγών Κλίσεων (CG) και χρησιμοποιείται για την επίλυση γραμμικών συστημάτων της μορφής Ax=b, όπου ο πίνακας Α είναι αραιός, συμμετρικός και θετικά ορισμένος. Η μέθοδος Συζυγών Κλίσεων αποτελεί βελτίωση της απλής επαναληπτικής μεθόδου και γενίκευση της μεθόδου Μεγίστης Καθόδου (Steepest Descent). Είναι πιο αποτελεσματική σε σύγκριση με άλλες επαναληπτικές μεθόδους, καθώς επιλύει μεγάλης κλίμακας γραμμικά συστήματα επιτυγχάνοντας γρηγορότερη σύγκλιση, η οποία μάλιστα μπορεί να βελτιωθεί με κατάλληλη επιλογή προρρυθμιστή. Στο σημείο αυτό υπενθυμίζουμε κάποιες βασικές έννοιες της Γραμμικής Άλγεβρας, οι οποίες θα μας χρειαστούν στη συνέχεια. ΤΥΠΟΙ ΠΙΝΑΚΩΝ Έχουμε τον τετραγωνικό πίνακα. Ο πίνακας, τα στοιχεία του οποίου ορίζονται από τη σχέση ονομάζεται ανάστροφος του Α και συμβολίζεται ως Α Τ. Με Α Η συμβολίζουμε τον συζυγοανάστροφο του Α, ο οποίος ορίζεται ως =. Συμμετρικός πίνακας: Α Τ =Α Ερμιτιανός πίνακας (Hermitian): Α Η =Α Ομαλός πίνακας: Α Η Α=ΑΑ Η Μη μηδενικός πίνακας: α ij 0, i,j=1,2,,n Διαγώνιος πίνακας: α ij =0, για j i, συμβολίζεται: Α=diag(α 11,α 22,,α nn ) Άνω τριγωνικός πίνακας: α ij =0 για i>j Κάτω τριγωνικός πίνακας: α ij =0 για i<j 11

12 Τριδιαγώνιος πίνακας: α ij =0 για κάθε ζεύγος i,j:, συμβολίζεται: Α=tridiag(α i,i-1,α ii,α i,i+1 ) Άνω Hessenberg πίνακας: α ij =0 για κάθε ζεύγος i,j: i>j+1 Θετικά ορισμένος πίνακας: x T Αx >0, για όλα τα μη μηδενικά διανύσματα x R n L-πίνακας: α ii >0 και α ij 0, i j, i,j=1,2,,n ΕΣΩΤΕΡΙΚΟ ΓΙΝΟΜΕΝΟ ΚΑΙ ΝΟΡΜΕΣ ΔΙΑΝΥΣΜΑΤΩΝ Θεωρούμε δύο διανύσματα x=(x i ) i=1,2,,n και y=(y i ) i=1,2,,n C n. Ορίζουμε το εσωτερικό γινόμενο των διανυσμάτων και το συμβολίζουμε (x,y) (ή <x,y>) ως εξής:. Ορίζουμε τη νόρμα του διανύσματος x=(x i ) i=1,2,,n C n και τη συμβολίζουμε ως εξής:.οι πιο κοινές νόρμες διανυσμάτων είναι οι παρακάτω: (Φυσική νόρμα) (Μέγιστη νόρμα) (Ευκλείδεια νόρμα) ΝΟΡΜΑ ΠΙΝΑΚΑ Έστω ο πίνακας Α C n.ορίζουμε τη νόρμα του πίνακα Α ως εξής: C Για p=q, οι πιο κοινές νόρμες πινάκων είναι οι παρακάτω: όπου ρ(α Τ Α) είναι η φασματική ακτίνα του πίνακα Α Τ Α. Φασματική ακτίνα ενός πίνακα Α είναι η απόλυτα μεγαλύτερη ιδιοτιμή του πίνακα και ισχύει γι αυτήν ότι ρ(α) για οποιαδήποτε φυσική νόρμα του Α. Αν ο πίνακας Α είναι ερμιτιανός και θετικά ορισμένος, τότε για κάθε διάνυσμα x C n η συνάρτηση ορίζει μία διανυσματική νόρμα, η οποία καλείται Α- νόρμα. Μ-ΠΙΝΑΚΑΣ Ορισμός: Ένας πίνακας ονομάζεται Μ-πίνακας όταν ικανοποιεί τις παρακάτω ιδιότητες: 1. α i,i 0 για i=1,2,,n 2. α i,j 0 για i j, i,j=1,2,,n 12

13 3. Α ομαλός 4. Α -1 [0], όπου [0] ο μηδενικός πίνακας Θεώρημα: Έστω Α, Β δύο πίνακες που ικανοποιούν τις σχέσεις: 1. Α Β 2. b ij 0 για κάθε i j Τότε αν ο πίνακας Α είναι Μ-πίνακας, τότε και ο πίνακας Β είναι Μ-πίνακας. 1.2 Αντικείμενο, στόχοι, μεθοδολογία, δομή της εργασίας Αντικείμενο της παρούσας διπλωματικής εργασίας είναι η ανάπτυξη της επαναληπτικής μεθόδου Συζυγών Κλίσεων για την επίλυση μεγάλης διάστασης γραμμικών συστημάτων. Κύριοι στόχοι που τίθενται στην εργασία αυτή είναι: Η καταρχήν ανάπτυξη της μεθόδου, όπως επίσης και ορισμένων τροποποιήσεων της, εστιάζοντας περισσότερο την προσοχή στην παρουσία των προρρυθμιστών που στόχο έχουν τη βελτίωση του ρυθμού σύγκλισης των γραμμικών συστημάτων. Η υλοποίηση της σε υπολογιστικά προγράμματα, π.χ. MATLAB, και η εφαρμογή της σε αριθμητικά πειράματα, έτσι ώστε να αποδειχθεί η αποτελεσματικότητα της σε σχέση με άλλες μεθόδους. Η μεθοδολογία που ακολουθήθηκε περιλαμβάνει τα εξής: Α. Έρευνα της σχετικής βιβλιογραφίας (πανεπιστημιακά βιβλία, άρθρα κλπ.). Β. Έρευνα σχετικών δικτυακών τόπων (wikipedia, netlib, κλπ.). Γ. Ανάλυση του υλικού που συγκεντρώθηκε. Δ. Ανάπτυξη της μεθόδου, εφαρμογή της και εξαγωγή συμπερασμάτων. Αρχικά παρατίθενται βασικές έννοιες περί γραμμικών συστημάτων και επαναληπτικών μεθόδων και εν συνεχεία αναπτύσσεται η μέθοδος Μεγίστης Καθόδου κι έπειτα η βελτίωση της, την οποία αποτελεί η μέθοδος Συζυγών Κλίσεων (CG method). Παρουσιάζεται η δομή της, διάφορες τροποποιήσεις της και φυσικά διάφορες τεχνικές προρρύθμισης, η παρουσία των οποίων παίζουν σημαντικό ρόλο στη βελτίωση του ρυθμού σύγκλισης της μεθόδου. Έπειτα δίνονται κάποια ενδεικτικά παραδείγματα, όπου σε σύγκριση με άλλες μεθόδους τονίζεται η αποδοτικότητα της και η χρησιμότητα της για περαιτέρω επιστημονική έρευνα λόγω των ικανοποιητικών της αποτελεσμάτων. 13

14 2. Η Μέθοδος Συζυγών Κλίσεων 2.1 Βασικές έννοιες Η μέθοδος των Συζυγών Κλίσεων (Conjugate Gradient, [1],[2],[3],[7]) είναι η πιο γνωστή επαναληπτική μέθοδος για την επίλυση αραιών συστημάτων των γραμμικών εξισώσεων. Δηλαδή είναι αποτελεσματική για συστήματα της μορφής Ax=b (1) όπου x είναι ένα άγνωστο διάνυσμα, b είναι ένα γνωστό διάνυσμα και Α είναι ένας γνωστός, τετραγωνικός, συμμετρικός, θετικά ορισμένος πίνακας. Τα συστήματα αυτά εμφανίζονται σε υπολογιστικές μεθόδους, όπως οι μέθοδοι των πεπερασμένων διαφορών και των πεπερασμένων στοιχείων για την επίλυση μερικών διαφορικών εξισώσεων, στην ανάλυση δομών πολύς μεγάλης κλίμακας, στην ανάλυση κυκλωμάτων κ. α. Η μέθοδος αυτή αποτελεί βελτίωση της μεθόδου Μεγίστης Καθόδου (Steepest Descent), γι αυτό το λόγο θα παρουσιάσουμε αρχικά τη μέθοδο Μεγίστης Καθόδου κι έπειτα των Συζυγών Κλίσεων, κάνοντας χρήση των τετραγωνικών μορφών. Το γραμμικό σύστημα της σχέσης (1) γράφεται ως εξής: a11 a12 a13 a1 n x1 b1 a a a a x b n 2 2 a31 a32 a33 a 3n x 3 b 3 a a a a x b n1 n2 n3 nn n n Το εσωτερικό γινόμενο δύο διανυσμάτων γράφεται ως x T y εκφράζει το άθροισμα. Σημειώνουμε ότι x T y=y T x. Εάν τα x και y είναι ορθογώνια, τότε ισχύει x T y=0. Η τετραγωνική μορφή είναι απλώς μία βαθμωτή, τετραγωνική συνάρτηση ενός διανύσματος με τη μορφή: όπου Α είναι ένας συμμετρικός, θετικά ορισμένος πίνακας, x και b είναι διανύσματα και c είναι μία σταθερά. Λόγω των ιδιοτήτων του πίνακα Α, η συνάρτηση f(x) ελαχιστοποιείται με τη λύση του συστήματος Ax=b. Δίνεται το παρακάτω παράδειγμα: 14 (2)

15 Το σύστημα Ax=b εμφανίζεται στο παρακάτω σχήμα. Γενικά η λύση x είναι το σημείο τομής των n υπερεπιπέδων, με διάσταση n-1. Συγκεκριμένα στο παράδειγμα μας η λύση είναι η x=[2,-2] Τ. (3) Σχήμα 1: Παράδειγμα δισδιάστατου γραμμικού συστήματος. Η λύση του βρίσκεται στην τομή των γραμμών. Η αντίστοιχη τετραγωνική μορφή f(x) εμφανίζεται στο σχήμα 2 και το διάγραμμα ισοϋψών καμπυλών της f(x) στο σχήμα 3. 15

16 Σχήμα 2: Γράφημα της τετραγωνικής μορφής f(x). Το ελάχιστο της επιφάνειας αυτής είναι και η λύση του Ax=b. 16

17 Σχήμα 3: Διάγραμμα ισοϋψών καμπυλών. Κάθε ελλειψοειδής καμπύλη έχει σταθερή f(x) [1]. Η κλίση της τετραγωνικής μορφής ορίζεται ως εξής:. (4) Η κλίση είναι ένα διανυσματικό πεδίο που, για το δοσμένο σημείο x, μας δείχνει τη διεύθυνση της μέγιστης αύξησης της f(x). Το σχήμα 4 που δίνεται παρακάτω δείχνει την κλίση των διανυσμάτων της εξίσωσης (2) σύμφωνα με τα δεδομένα (3) του παραδείγματος. Στη βάση του παραβολοειδούς (σχήμα 2), η κλίση είναι μηδέν. Έτσι μπορούμε να ελαχιστοποιούμε την f(x), θέτοντας f (x)=0. 17

18 Σχήμα 4: Η κλίση f (x) της τετραγωνικής μορφής. Για κάθε x, η κλίση μας δείχνει τη διεύθυνση της μέγιστης αύξησης της f(x) και είναι ορθογώνια με το διάγραμμα γραμμών [1]. Εφαρμόζοντας τη σχέση (4) στην (2), παίρνουμε: Εφόσον ο Α είναι συμμετρικός, τότε θα έχουμε Θέτοντας την παραπάνω κλίση ίση με μηδέν, παίρνουμε την εξίσωση (1), δηλαδή το γραμμικό σύστημα που επιθυμούμε να λύσουμε. Συνεπώς, η λύση του Αx=b είναι κρίσιμο σημείο της f(x). Επειδή ο πίνακας Α είναι θετικά ορισμένος, η λύση αυτή αποτελεί το ελάχιστο της f(x) κι έτσι το γραμμικό σύστημα Ax=b μπορεί να λυθεί βρίσκοντας το x που ελαχιστοποιεί την f(x). Επομένως οι μέθοδοι Μεγίστης Καθόδου και Συζυγών Κλίσεων καλούνται να επιλύσουν το πρόβλημα ελαχιστοποίησης της τετραγωνικής μορφής. (5) (6) 18

19 2.2 Η μέθοδος Μεγίστης Καθόδου (Steepest Descent Method) Στη μέθοδο Μεγίστης Καθόδου ([2],[5]), ξεκινάμε με ένα τυχαίο σημείο x (0) ολισθαίνοντας το προς τη βάση του παραβολειδούς. Εκτελούμε μία σειρά βημάτων x (1), x (2),, έως ότου φτάσουμε κοντά στη λύση x. Όταν εκτελούμε ένα βήμα, επιλέγουμε εκείνη τη διεύθυνση στην οποία η f ελαττώνεται γρηγορότερα και είναι αντίθετη της κλίσης f (x (i) ). Σύμφωνα με την (6), η διεύθυνση είναι f (x ( i ) )= b-ax ( i ). Επίσης το σφάλμα e ( i ) = x ( i ) -x είναι ένα διάνυσμα που μας υποδεικνύει πόσο απέχουμε από τη λύση. Το υπόλοιπο r ( i ) = b-a x ( i ) μας δείχνει πόσο απέχουμε από τη σωστή τιμή του διανύσματος b. Είναι φανερό ότι r ( i ) = -Αe ( i ) καθώς επίσης και r ( i ) = f (x ( i ) ). Επιστρέφοντας στο παράδειγμα που δόθηκε παραπάνω, ξεκινάμε θέτοντας x (0) = [-2,- 2] T. Το πρώτο μας βήμα, κατά μήκος της διεύθυνσης της μεγίστης καθόδου, θα βρίσκεται σε κάποιο σημείο της γραμμής του σχήματος 5(α). Με άλλα λόγια, επιλέγουμε ένα σημείο x (1) = x (0) +αr (0) (8) Το βήμα που εκτελούμε εξαρτάται από μία διαδικασία εύρεσης γραμμής (search line), η οποία επιλέγει το α έτσι ώστε να ελαχιστοποιεί την f κατά μήκος της γραμμής. Το σχήμα 5(b) μας δείχνει ότι η επιλογή του σημείου γίνεται από την τομή του κατακόρυφου επιπέδου με το παραβολοειδές. Στο σχήμα 5(c) βλέπουμε την παραβολή που ορίζεται απ την τομή των επιφανειών. Το α ελαχιστοποιεί την f όταν η παράγωγος κατά διεύθυνση είναι ίση με μηδέν. Από τον κανόνα αλυσίδας προκύπτει ότι,, όπου θέτοντας την ίση με μηδέν, συμπεραίνουμε ότι η επιλογή του α γίνεται έτσι ώστε r (0) και f (x (1) ) να είναι ορθογώνια (σχήμα 5(d)). Ο λόγος για τον οποίον τα διανύσματα αυτά είναι ορθογώνια στο ελάχιστο φαίνεται στο σχήμα 6, το οποίο μας δείχνει ορισμένα διανύσματα κλίσης. Η κλίση της παραβολής σε κάθε σημείο (σχήμα 5(c)) είναι ίση με το μέτρο της προβολής της κλίσης πάνω στη γραμμή (σχήμα 6, διακεκομμένα βέλη). Αυτές οι προβολές συμβολίζουν τον ρυθμό αύξησης της f. Η f ελαχιστοποιείται εκεί που μηδενίζεται η προβολή εκεί που η κλίση είναι ορθογώνια με τη γραμμή εύρεσης (search line). Για να προσδιορίσουμε το α, λαμβάνουμε υπόψη ότι f (x (1) )=-r (1), οπότε έχουμε: 19

20 Σύμφωνα λοιπόν με τα παραπάνω, η μέθοδος Μεγίστης Καθόδου είναι η εξής: (9) (10) (11) 20

21 Σχήμα 5: Η μέθοδος Μεγίστης Καθόδου. (α) Ξεκινώντας απ το [-2,-2] Τ, εκτελούμε ένα βήμα στη διεύθυνση της μεγίστης καθόδου της f. (b) Βρίσκουμε το σημείο τομής των 2 επιφανειών που ελαχιστοποιούν την f. (c) Η παραβολή είναι η τομή των επιφανειών, όπου το κατώτερο σημείο της είναι και ο στόχος του προβλήματος. (d) Η κλίση στο κατώτερο σημείο είναι ορθογώνια με την κλίση του προηγούμενου βήματος [1]. 21

22 Σχήμα 6: Η κλίση f απεικονίζεται σε ορισμένες θέσεις (συμπαγή βέλη). Επίσης απεικονίζεται η προβολή κάθε κλίσης (διακεκομμένα βέλη). Τα διανύσματα κλίσης συμβολίζουν τη διεύθυνση της μέγιστης αύξησης της f και οι προβολές συμβολίζουν τον ρυθμό αύξησης. Στη γραμμή εύρεσης (search line), η f ελαχιστοποιείται στο σημείο που η κλίση είναι κάθετη με τη γραμμή εύρεσης [1]. 22

23 Σχήμα 7: Εδώ η μέθοδος Μεγίστης Καθόδου ξεκινάει απ το [-2,-2] Τ και συγκλίνει στο [2,-2] Τ. Το παράδειγμα μας σταματάει τις επαναλήψεις, όταν επιτύχουμε σύγκλιση (σχήμα 7). Σημειώνουμε ότι η «ζιγκ- ζαγκ» γραμμή εμφανίζεται επειδή κάθε κλίση είναι ορθογώνια με την προηγούμενη της. Ο παραπάνω αλγόριθμος απαιτεί δύο πολλαπλασιασμούς πίνακα με διάνυσμα σε κάθε επανάληψη. Το υπολογιστικό κόστος της μεθόδου Μεγίστης Καθόδου εξαρτάται από τα γινόμενα πίνακα με διάνυσμα ένα μπορούμε να το απαλείψουμε. Πολλαπλασιάζοντας από αριστερά και τα δύο μέλη της σχέσης (11) με Α και προσθέτοντας το b, έχουμε Μολονότι η σχέση (9) χρειάζεται για τον υπολογισμό του r (0), η (12) χρησιμοποιείται για κάθε επανάληψη από εκεί και μετά. Το γινόμενο Ar, το οποίο εμφανίζεται στις (10) και (12) υπολογίζεται μόνο μία φορά. Το μειονέκτημα της χρήσης αυτής της αναδρομής είναι ότι η ακολουθία που ορίζεται στην (12) παράγεται χωρίς καμία ανατροφοδότηση απ την τιμή του x (i), ώστε η προσέγγιση του σφάλματος στρογγύλευσης να προκαλεί το x (i) να συγκλίνει σε κάποιο σημείο κοντά στο x. Κάτι 23 (12)

24 τέτοιο μπορεί να αποφευχθεί με την περιοδική χρήση της (9) που υπολογίζει το σωστό υπόλοιπο. Σύγκλιση της μεθόδου Μεγίστης Καθόδου Για να ορίσουμε τη σύγκλιση της μεθόδου Μεγίστης Καθόδου, θα πρέπει να ορίσουμε τη νόρμα ενέργειας (energy norm) ή Α-νόρμα.Η νόρμα αυτή είναι πιο χρήσιμη απ την ευκλείδεια. Επίσης είναι φανερό ότι η ελαχιστοποίηση της νόρμας είναι ισοδύναμη με την ελαχιστοποίηση της f(x (i) ). Σύμφωνα με τη νόρμα αυτή, παίρνουμε: (απ τη σχέση (11)) (απ τη συμμετρία του Α) (13) (14) Η σχέση (13) προκύπτει ως εξής: Θεωρούμε το σφάλμα ως ένα γραμμικό συνδυασμό ιδιοδιανυσμάτων, δηλαδή όπου είναι το μήκος της κάθε συνιστώσας του. Λαμβάνοντας υπόψη τη σχέση αυτή καθώς επίσης και την ιδιότητα για τυχαία ιδιοδιανύσματα, προκύπτουν τα παρακάτω: 24

25 Η ανάλυση της παραπάνω νόρμας εξαρτάται από την εύρεση του άνω φράγματος του ω. Για να δείξουμε πως τα βάρη και οι ιδιοτιμές επηρεάζουν τη σύγκλιση ας εξάγουμε ένα αποτέλεσμα για n=2. Υποθέτουμε ότι λ 1 λ 2. Ο αριθμός κατάστασης του Α ορίζεται ως κ= λ 1 /λ 2 1. Η κλίση του e (i) (σύμφωνα με το σύστημα συντεταγμένων που ορίζεται από τα ιδιοδιανύσματα), που εξαρτάται απ το αρχικό σημείο, συμβολίζεται με μ=ξ 2 /ξ 1. Έτσι έχουμε (15) Η τιμή του ω, η οποία προσδιορίζει τον ρυθμό σύγκλισης της Μεγίστης Καθόδου, παρουσιάζεται στο σχήμα 8 ως συνάρτηση του μ και κ. Το γράφημα μας δείχνει ότι αν e (0) είναι ένα ιδιοδιάνυσμα, τότε η κλίση μ είναι μηδέν, όπως κι ότι αν ω=0, τότε η σύγκλιση είναι στιγμιαία. Εάν οι ιδιοτιμές είναι ίσες, τότε ο αριθμός κατάστασης κ=1 και ω=0. Το σχήμα 9 απεικονίζει παραδείγματα από τις τέσσερις γωνίες τους σχήματος 8. Αυτές οι τετραγωνικές μορφές παριστάνονται σε ένα σύστημα συντεταγμένων που ορίζεται από ιδιοδιανύσματα. Τα σχήματα 9(α) και 9(b) είναι παραδείγματα με μεγάλο αριθμό κατάστασης. Η μέθοδος Μεγίστης Καθόδου μπορεί να συγκλίνει γρήγορα, εάν η επιλογή του αρχικού σημείου είναι καλή. Στα σχήματα 9(c) και 9(d), ο αριθμός κατάστασης είναι μικρός, με την τετραγωνική μορφή να είναι σχεδόν σφαιρική και τη σύγκλιση να είναι γρήγορη, άσχετα με το αρχικό σημείο που επιλέχτηκε. 25

26 Σχήμα 8: Η σύγκλιση ω της Μεγίστης Καθόδου ως συνάρτηση του μ (η κλίση του e (i) ) και κ (ο αριθμός κατάστασης του Α). Η σύγκλιση είναι γρήγορη όταν το μ ή το κ είναι μικροί αριθμοί. Για σταθερό πίνακα, η σύγκλιση είναι χειρότερη όταν μ=± κ. 26

27 Σχήμα 9: Αυτά τα τέσσερα παραδείγματα δείχνουν τα σημεία δίπλα απ τις αντίστοιχες τέσσερις γωνίες του γραφήματος στο σχήμα 8. (α) Μεγάλο κ, μικρό μ. (b) Ένα παράδειγμα ασθενούς σύγκλισης. κ και μ είναι μεγάλα. (c) Μικρό κ και μ. (d) Μικρό κ, μεγάλο μ [1]. Ένα άνω φράγμα του ω βρίσκεται, θέτοντας μ 2 =κ 2 : Η παραπάνω ανίσωση παριστάνεται γραφικά στο σχήμα 10. Όσο πιο κακής κατάστασης είναι ο πίνακας (που σημαίνει ότι ο αριθμός κατάστασης είναι μεγάλος), τόσο πιο αργή είναι η σύγκλιση της Μεγίστης Καθόδου. Στην περίπτωση ενός συμμετρικού, θετικά ορισμένου πίνακα, ο αριθμός κατάστασης ορίζεται ως κ= λ max /λ min, δηλαδή ο λόγος της μέγιστης προς την ελάχιστη ιδιοτιμή. Έτσι τα αποτελέσματα για τη σύγκλιση της μεθόδου Μεγίστης Καθόδου είναι 27

28 και (16) Σχήμα 10: Η σύγκλιση της Μεγίστης Καθόδου (σε κάθε επανάληψη) χειροτερεύει όσο ο αριθμός κατάστασης του πίνακα αυξάνεται. 28

29 Α-ορθογωνιότητα και μέθοδος Gram-Schmidt Πριν περάσουμε στη μέθοδο Συζυγών Κλίσεων, θα αναφέρουμε κάποιες βασικές έννοιες ως προς την Α-ορθογωνιότητα και τη μέθοδο Gram-Schmidt. Θεωρούμε ένα σύνολο Α-ορθογώνιων διανυσμάτων-διεύθυνσης d (0),d (1),,d (n-1) και έστω ένα σύνολο γραμμικά ανεξάρτητων διανυσμάτων u 0,u 1,,u n-1. Για να κατασκευάσουμε το d (i), παίρνουμε το u i και αφαιρούμε τις συνιστώσες που δεν είναι Α-ορθογώνιες με τα προηγούμενα διανύσματα-διεύθυνσης (σχήμα 11). Με άλλα λόγια θέτουμε d (0) =u 0 και για i>0, θέτουμε όπου το β ik ορίζεται για i>k. Για να βρούμε τις τιμές β ij ακολουθούμε την παρακάτω διαδικασία: διανυσμάτων) (απ την Α-ορθογωνιότητα των d 29

30 Σχήμα 11: Μέθοδος Gram-Schmidt για δύο διανύσματα. Ξεκινάμε με τα δύο γραμμικά ανεξάρτητα διανύσματα u 0 και u 1. Θέτουμε d (0) =u 0. Το διάνυσμα u 1 αναλύεται σε δύο συνιστώσες: u *, που είναι Α-ορθογώνιο (ή συζυγές) με το d (0) και u +, που είναι παράλληλο με το d (0). Μετά την εύρεση του συζυγούς, απομένει μόνο το Α-ορθογώνιο τμήμα και έχουμε d (1) =u *. 2.3 Η μέθοδος των Συζυγών Κλίσεων (Conjugate Gradient Method) Η μέθοδος ανήκει στην κατηγορία μεθόδων ελαχιστοποίησης και αποτελεί γενίκευση της Απλής Επαναληπτικής μεθόδου, καθώς και βελτίωση της μεθόδου Μεγίστης Καθόδου. Βελτιώνοντας λοιπόν την μέθοδο Μεγίστης Καθόδου, χρησιμοποιούμε μια νέα ακολουθία διαδοχικών προσεγγίσεων της λύσης όπου τα διανύσματα d είναι τυχαίες διευθύνσεις. Απ την μέθοδο Gram-Schmidt, αντικαθιστώντας όπου u i =r (i), προκύπτει ότι τα διανύσματα διεύθυνσης εξαρτώνται απ τα υπόλοιπα. Έτσι ο υποχώρος span{r (0), r (1),,r (i-1) } είναι ίσος με τον D i. Όπως κάθε υπόλοιπο είναι ορθογώνιο με τα 30

31 προηγούμενα διανύσματα-διεύθυνσης, είναι επίσης ορθογώνιο και με τα προηγούμενα υπόλοιπα. Άρα παίρνουμε ότι Απ την μέθοδο Μεγίστης Καθόδου έχουμε ότι:. (17) Η παραπάνω σχέση μας δείχνει ότι το νέο υπόλοιπο r (i+1) είναι ένας γραμμικός συνδυασμός του προηγούμενου υπολοίπου και του Ad (i-1). Επειδή d (i-1) D i, συνεπάγεται ότι κάθε νέος υποχώρος D i+1 προκύπτει από την ένωση του προηγούμενου υποχώρου D i και του υποχώρου AD i. Επομένως, Ο υποχώρος αυτός καλείται υποχώρος Krylov και δημιουργείται απ την επαναληπτική εφαρμογή ενός πίνακα σε ένα διάνυσμα. Η ιδιότητα που έχει είναι η εξής: επειδή ο AD i περιέχεται στον D i+1, το γεγονός ότι το υπόλοιπο r (i+1) είναι ορθογώνιο με τον D i+1 συνεπάγεται ότι το r (i+1) είναι Α-ορθογώνιο με τον D i. Η μέθοδος Gram-Schmidt γίνεται ευκολότερη καθώς r (i+1) είναι Α-ορθογώνιο με τα προηγούμενα διανύσματαδιεύθυνσης εκτός του d (i)!. Απ την μέθοδο Gram-Schmidt οι σταθερές β ij είναι. Για να απλοποιήσουμε τη σχέση αυτή εκτελούμε την παρακάτω διαδικασία. Πολλαπλασιάζοντας την (17) με r (i) παίρνουμε: Παρατηρούμε ότι δεν είναι απαραίτητη η αποθήκευση των παλιών διανυσμάτωνδιεύθυνσης για να εξασφαλίσουμε την Α-ορθογωνιότητα των νέων διανυσμάτων κάτι που κάνει τη μέθοδο Συζυγών Κλίσεων έναν σημαντικό αλγόριθμο, επειδή η 31

32 πολυπλοκότητα του χώρου και του χρόνου σε κάθε επανάληψη μειώνονται από (n 2 ) σε (m), όπου m είναι ο αριθμός των μη μηδενικών στοιχείων του Α. Επίσης, χρησιμοποιώντας τη συντομογραφία β (i) =β i,i-1 παίρνουμε: Λαμβάνοντας υπόψη όλα τα παραπάνω παίρνουμε τη μέθοδο των Συζυγών Κλίσεων, η οποία περιγράφεται απ τις εξής σχέσεις: Ο αλγόριθμος που περιγράφεται παρακάτω είναι ισοδύναμος με τις παραπάνω σχέσεις. Έστω ότι το διάνυσμα x 0 είναι μία αρχική, προσεγγιστική λύση Θέτουμε r 0 =b-αx 0 και d 0 =r 0, k=0. While r k 0 do Set k=k+1 End While 32

33 Σύγκλιση της μεθόδου Συζυγών Κλίσεων Η ανάλυση σύγκλισης είναι σημαντική επειδή η μέθοδος Συζυγών Κλίσεων χρησιμοποιείται ευρέως για προβλήματα με τόσο μεγάλης κλίμακας γραμμικά συστήματα που δεν είναι εφικτή να τρέχει ακόμα και σε n επαναλήψεις. Παρατηρούμε ότι η πρώτη επανάληψη της Μεγίστης Καθόδου ταυτίζεται με αυτήν της μεθόδου Συζυγών Κλίσεων. Επίσης σε κάθε βήμα της μεθόδου μας, η τιμή του σφάλματος e (i) επιλέγεται απ τον υποχώρο e (0) +D i, όπου Οι υποχώροι Krylov, όπως ο παραπάνω έχουν την εξής ιδιότητα. Για ένα σταθερό i, το σφάλμα έχει τη μορφή Οι συντελεστές ψ j σχετίζονται με τις τιμές α (i) και β (i). Την παρένθεση μπορούμε να την εκφράσουμε ως πολυώνυμο. Έστω P i (λ) ένα πολυώνυμο i βαθμού. Έτσι το σφάλμα γράφεται: με την απαίτηση ότι P i (0)=1. Η μέθοδος Συζυγών Κλίσεων επιλέγει αυτό το πολυώνυμο, εφόσον επιλέξει τους συντελεστές ψ j. Όπως στην ανάλυση της Μεγίστης Καθόδου εκφράσαμε το e (0) ως γραμμικό συνδυασμό των ιδιοδιανυσμάτων, εφαρμόζοντας τώρα το πολυώνυμο Ρ i στο e (0) παίρνουμε:,.. Η μέθοδος Συζυγών Κλίσεων βρίσκει το πολυώνυμο που ελαχιστοποιεί την παραπάνω σχέση, αλλά η σύγκλιση είναι τόσο καλή, όσο η σύγκλιση του χειρότερου ιδιοδιανύσματος. Έστω Λ(Α) το σύνολο των ιδιοτιμών του πίνακα Α, τότε θα έχουμε:. 33

34 . (18) Σχήμα 12: Η σύγκλιση της μεθόδου Συζυγών Κλίσεων μετά από i επαναλήψεις εξαρτάται από το πόσο κοντά στο μηδέν βρίσκεται ένα πολυώνυμο P i,i βαθμού σε κάθε ιδιοτιμή, δεδομένου του περιορισμού P i (0)=1 [1]. Το σχήμα 12 μας απεικονίζει για μερικές τιμές του i, το πολυώνυμο που ελαχιστοποιεί την (18) με βάση το παράδειγμα που δόθηκε στην αρχή του κεφαλαίου, για τις ιδιοτιμές 2 και 7. Υπάρχει μόνο ένα πολυώνυμο μηδενικού βαθμού που ικανοποιεί τη σχέση P 0 (0)=1, και είναι το P (0) (λ)=1 (σχήμα 12(α)). Το πολυώνυμο πρώτου βαθμού είναι P 1 (λ)=1-2x/9 (σχήμα 12(b)). Σημειώνουμε ότι P 1 (2)=5/9 και P 1 (7)=-5/9 και η νόρμα δεν είναι μεγαλύτερη από 5/9 της αρχικής τιμής. Το σχήμα 12(c) μας δείχνει, μετά από δύο επαναλήψεις, ότι η σχέση (18) γίνεται μηδέν. Αυτό συμβαίνει διότι ένα πολυώνυμο δευτέρου βαθμού προσαρμόζεται σε τρία σημεία (P 2 (0)=1, P 2 (2)=0 και P 2 (7)=0). Στο σχήμα 12(d) βλέπουμε ότι η μέθοδος μας συγκλίνει γρηγορότερα όταν οι ιδιοτιμές είναι συσσωρευμένες παρά να είναι ακανόνιστα διασκορπισμένες μεταξύ των λ min και λ max, επειδή είναι ευκολότερο να επιλέγει ένα πολυώνυμο που κάνει τη σχέση (18) μικρή. 34

35 Μία χρήσιμη προσέγγιση είναι να ελαχιστοποιήσουμε την (18) στο διάστημα [λ min,λ max ], παρά σε έναν πεπερασμένο αριθμό σημείων. Τα πολυώνυμα που το πραγματοποιούν αυτό βασίζονται στα πολυώνυμα Chebyshev. Το πολυώνυμο Chebyshev i βαθμού είναι: Ορισμένα πολυώνυμα Chebyshev απεικονίζονται στο σχήμα 13. Τα πολυώνυμα Chebyshev έχουν την ιδιότητα ότι για ω [-1,1] κι επίσης είναι μέγιστο για ω [-1,1].. Σχήμα 13: Το πολυώνυμο Ρ 2 (λ) ελαχιστοποιεί την (18) για λ min =2 και λ max =7. Η καμπύλη είναι μία εκδοχή του πολυώνυμου Chebyshev βαθμού 2. Η νόρμα του σφάλματος μετά από δύο επαναλήψεις δεν ξεπερνάει τις φορές της αρχικής τιμής της [1]. Η σχέση (18) ελαχιστοποιείται επιλέγοντας ως πολυώνυμο το: Το πολυώνυμο αυτό έχει τις ιδιότητες των πολυωνύμων Chebyshev για λ min λ λ max (σχήμα 13). Επομένως απ την (18) έχουμε 35

36 . (19) Ο δεύτερος προσθετέος μέσα στην παρένθεση συγκλίνει στο μηδέν καθώς το i αυξάνεται, έτσι είναι πιο σύνηθες να εκφράζουμε τη σύγκλιση της μεθόδου Συζυγών Κλίσεων με την ανισότητα. (20) Σχήμα 14: Η σύγκλιση των Συζυγών Κλίσεων (σε κάθε επανάληψη) συναρτήσει του αριθμού κατάστασης. Το σχήμα 14 απεικονίζει τη σύγκλιση σε κάθε επανάληψη της μεθόδου, αγνοώντας τον συντελεστή 2 της σχέσης (20). Στην πράξη, η μέθοδος Συζυγών Κλίσεων συγκλίνει γρηγορότερα εξαιτίας της κατανομής των καλών ιδιοτιμών ή των καλών 36

37 αρχικών σημείων. Συγκρίνοντας τις σχέσεις (20) και (16), είναι φανερό ότι η σύγκλιση της μεθόδου είναι γρηγορότερη απ αυτήν της Μεγίστης Καθόδου. Όμως αυτό δε σημαίνει ότι η σύγκλιση των Συζυγών Κλίσεων είναι ταχύτερη σε κάθε επανάληψη για παράδειγμα η πρώτη επανάληψη των Συζυγών Κλίσεων ταυτίζεται με αυτήν της Μεγίστης Καθόδου. Ο συντελεστής 2 της (20) προκαλεί μία χαλάρωση στις αρχικές επαναλήψεις. Παρατήρηση: Απ την σχέση (20) παρατηρούμε ότι η Α-νόρμα του σφάλματος της μεθόδου Συζυγών Κλίσεων φράσσεται από έναν όρο που είναι αύξουσα συνάρτηση του δείκτη κατάστασης. Επομένως, για να ελαχιστοποιήσουμε το φράγμα αυτό θα πρέπει κατά κάποιον τρόπο, να ελαχιστοποιήσουμε τον δείκτη κατάστασης του πίνακα-συντελεστή του συστήματος μας. Γνωρίζουμε, βέβαια, ότι στην περίπτωση όπου ο πίνακας Α είναι ερμιτιανός και θετικά ορισμένος, ο δείκτης κατάστασης δίνεται απ την σχέση κ=λ max /λ min. Έτσι θα πρέπει να ελαχιστοποιήσουμε το λόγο της μέγιστης προς την ελάχιστη ιδιοτιμή του πίνακα Α. Όπως διαπιστώνουμε κι απ τα φράγματα που βρέθηκαν θα πρέπει να προσπαθούμε να περιορίζουμε το εύρος διασποράς των ιδιοτιμών έτσι ώστε οι περισσότερες εξ αυτών να συγκεντρώνονται σε ένα και μόνο διάστημα. Οι υπόλοιπες, ελάχιστες σε πλήθος, ιδιοτιμές θα πρέπει να βρίσκονται εκτός του προαναφερθέντος διαστήματος και έτσι η ταχύτητα σύγκλισης δεν θα επηρεάζεται σοβαρά. Πολυπλοκότητα Οι πράξεις που κυριαρχούν κατά τη διάρκεια των επαναλήψεων, τόσο στη μέθοδο Μεγίστης Καθόδου όσο και των Συζυγών Κλίσεων, είναι τα γινόμενα πίνακαδιανύσματος. Γενικά, ένας πολλαπλασιασμός πίνακα με διάνυσμα απαιτεί (m) πράξεις, όπου m είναι ο αριθμός των μη μηδενικών στοιχείων του πίνακα Α. Σε πολλά προβλήματα ο πίνακας Α είναι αραιός και m (n). Μετά από αρκετές επαναλήψεις η νόρμα του σφάλματος μειώνεται ως εξής:. Λαμβάνοντας υπόψη την (16), ο μέγιστος αριθμός επαναλήψεων που απαιτείται για να επιτύχουμε αυτό το φράγμα χρησιμοποιώντας τη μέθοδο Μεγίστης Καθόδου είναι, ενώ η (20) μας δείχνει ότι ο μέγιστος αριθμός επαναλήψεων της μεθόδου Συζυγών Κλίσεων είναι. Κλείνοντας, τονίζουμε ότι στη μέθοδο Μεγίστης Καθόδου η πολυπλοκότητα χρόνου είναι (mκ), ενώ στη μέθοδο Συζυγών Κλίσεων είναι (m ). Και οι δύο αλγόριθμοι έχουν πολυπλοκότητα διαστήματος (m). 37

38 Οι προσεγγίσεις πεπερασμένων διαφορών και πεπερασμένων στοιχείων των δεύτερης τάξης ελλειπτικών διαφορικών εξισώσεων που ορίζονται σε d-διάστατα χωρία έχουν συχνά κ (n 2/d ). Επίσης στη Μέγιστη Κάθοδο, ο χρόνος εκτέλεσης για δισδιάστατα προβλήματα είναι (n 2 ) ενώ στις Συζυγείς Κλίσεις είναι (n 3/2 ). Σε τρισδιάστατα προβλήματα ο χρόνος εκτέλεσης και στις δύο μεθόδους αντίστοιχα είναι (n 5/3 ) και (n 4/3 ). Έτσι, σύμφωνα με τα παραπάνω επιβεβαιώνεται η αποτελεσματικότητα της μεθόδου Συζυγών Κλίσεων, σε σχέση με άλλες επαναληπτικές μεθόδους, λόγω της γρηγορότερης σύγκλισης και της πολυπλοκότητάς τους. Σημείωση: Στην παρουσίαση του αλγορίθμου των Συζυγών Κλίσεων, καθώς επίσης και της Μεγίστης Καθόδου παραλείφθηκαν μερικές λεπτομέρειες συγκεκριμένα πως επιλέγουμε ένα αρχικό σημείο και πότε σταματάμε τον αλγόριθμο. Η επιλογή του αρχικού σημείου x (0) γίνεται είτε θέτοντας μια πρόχειρη εκτίμηση της τιμής του x, είτε θέτοντας την τιμή 0. Όταν βρεθεί το ελάχιστο σημείο, τότε το υπόλοιπο είναι 0. Στην περίπτωση που εκτελεστεί άλλη μία επανάληψη και υπολογιστούν οι σχέσεις και καταλήγουμε σε διαίρεση με το μηδέν, κάτι που είναι αδύνατον. Συνεπώς, σταματάμε όταν το υπόλοιπο μηδενιστεί. Συνήθως, όμως, επειδή το σφάλμα δεν είναι διαθέσιμο, σταματάμε όταν η νόρμα υπολοίπου γίνει μικρότερη μιας συγκεκριμένης τιμής, δηλαδή όταν. 38

39 3.Τροποποιήσεις της Μεθόδου Συζυγών Κλίσεων 3.1 Προρρυθμισμένη Μέθοδος Συζυγών Κλίσεων Η χρήση προρρυθμιστή για τις διάφορες επαναληπτικές μεθόδους μπορεί να πει κανείς ότι αποτελεί το Α και το Ω για τη βελτίωση του ρυθμού σύγκλισης των μεθόδων αυτών. Η ανάγκη για τη χρήση προρρυθμιστή προέρχεται απ το γεγονός ότι η ταχύτητα σύγκλισης της επαναληπτικής μεθόδου, και ειδικότερα των Συζυγών Κλίσεων, εξαρτάται από τις ιδιότητες του φάσματος των ιδιοτιμών και κατ επέκταση από την φασματική ακτίνα. Η προρρύθμιση ([1],[7],[8]) δεν είναι τίποτα άλλο παρά η μετατροπή του αρχικού μας συστήματος σε ένα που να έχει την ίδια λύση, αλλά να είναι πιο εύκολο στην επίλυση του με κάποια επαναληπτική μέθοδο. Αναλόγως, την προρρύθμιση που επιλέγουμε, εξαρτάται και η αποτελεσματικότητα της επαναληπτικής μεθόδου που χρησιμοποιούμε. Αρχικά θα δούμε γενικά πως επηρεάζεται και πως αλλάζει η μέθοδος Συζυγών Κλίσεων με την προρρύθμιση και εν συνεχεία θα ασχοληθούμε και με ορισμένα είδη προρρυθμιστών. Απ τα παραπάνω συμπεραίνουμε, η προρρύθμιση είναι μία τεχνική για τη βελτίωση του αριθμού κατάστασης του πίνακα-συντελεστών Α. Υποθέτουμε ότι ο Μ είναι ένας συμμετρικός, θετικά ορισμένος πίνακας που προσεγγίζει τον Α, αλλά αντιστρέφεται ευκολότερα. Επομένως, θεωρούμε έναν μετασχηματισμό του αρχικού συστήματος, C C, σε ένα ισοδύναμο του σε ότι αφορά τη λύση, αλλά με καλύτερες ιδιοτιμές του φάσματος του νέου πίνακα συντελεστών. Το μετασχηματισμένο σύστημα θα είναι της μορφής C C. (1) Εάν κ(μ -1 Α) κ(μ), ή εάν οι ιδιοτιμές του Μ -1 Α είναι καλύτερα συγκεντρωμένες απ αυτές του πίνακα Α, μπορούμε να λύσουμε επαναληπτικά την (1) γρηγορότερα από το αρχικό σύστημα Αx=b. Όμως ακόμα κι αν οι πίνακες Α και Μ είναι συμμετρικοί και θετικά ορισμένοι, αυτό δε σημαίνει ότι είναι κι ο Μ -1 Α. Μπορούμε να παρακάμψουμε αυτή τη δυσκολία, επειδή για κάθε συμμετρικό, θετικά ορισμένο πίνακα Μ υπάρχει ένας (όχι απαραίτητα μοναδικός) πίνακας Ε που έχει την ιδιότητα ΕΕ Τ =Μ. (Έναν τέτοιον πίνακα Ε μπορούμε για παράδειγμα να πάρουμε με την παραγοντοποίηση Cholesky). Οι πίνακες Μ -1 Α και Ε -1 ΑΕ -Τ έχουν τις ίδιες ιδιοτιμές. Αυτό συμβαίνει διότι εάν είναι ένα ιδιοδιάνυσμα του Μ -1 Α με ιδιοτιμή λ, τότε το Ε Τ είναι ένα ιδιοδιάνυσμα του Ε -1 ΑΕ -Τα με ιδιοτιμή λ: Έτσι το σύστημα Αx=b μπορεί να μετασχηματιστεί σε,. 39

40 όπου πρώτα λύνουμε για και μετά για. Επειδή Ε -1 ΑΕ -Τ είναι συμμετρικός και θετικά ορισμένος πίνακας, το διάνυσμα μπορεί να υπολογιστεί μέσω της μεθόδου Συζυγών Κλίσεων. Η διαδικασία, η οποία χρησιμοποιεί τη μέθοδο των Συζυγών Κλίσεων για την επίλυση αυτού του συστήματος θα καλείται Προρρυθμισμένη Μέθοδος Συζυγών Κλίσεων: Η μέθοδος αυτή έχει το μειονέκτημα ότι ο πίνακας Ε πρέπει να υπολογιστεί. Όμως, με μερικές προσεκτικές αντικαταστάσεις μεταβλητών, μπορούμε να απαλείψουμε τον Ε. Θέτοντας, λοιπόν, και και χρησιμοποιώντας τις ταυτότητες και, εξάγουμε τη Μη Μετασχηματισμένη Προρρυθμισμένη Μέθοδο Συζυγών Κλίσεων (Untransformed Preconditioned Conjugate Gradient Method): Παρατηρούμε ότι στις παραπάνω εξισώσεις ο πίνακας Ε δεν εμφανίζεται καθόλου, παρά μόνο ο πίνακας Μ -1. Με τον ίδιο τρόπο θα μπορούσαμε να εξάγουμε την 40

41 Προρρυθμισμένη Μέθοδο Μεγίστης Καθόδου (Preconditioned Steepest Descent Method) χωρίς τη χρήση του πίνακα Ε. Η αποτελεσματικότητα του προρρυθμιστή Μ καθορίζεται απ τον αριθμό κατάστασης του πίνακα Μ -1 Α. Το πρόβλημα εξακολουθεί να είναι η εύρεση ενός προρρυθμιστή που προσεγγίζει αρκετά καλά τον πίνακα Α, έτσι ώστε να βελτιωθεί η σύγκλιση και να περιοριστεί το κόστος υπολογισμού του γινομένου Μ -1 r (i) σε κάθε επανάληψη. Στο σημείο αυτό θα πρέπει να τονιστεί ότι, εκ πρώτης όψεως, το γεγονός ότι ένα σύστημα της μορφής Μx=c θα λύνεται σε κάθε επανάληψη δίνει επιπλέον κόστος για την επαναληπτική μέθοδο. Στην πραγματικότητα όμως αυτό δεν ισχύει γιατί δεν χρειάζεται σε κάθε επανάληψη να παραγοντοποιούμε τον πίνακα Μ, αφού παραμένει ο ίδιος σε κάθε επαναληπτικό βήμα. Έτσι η παραγοντοποίηση γίνεται μόνο στην αρχή κι αυτό που επαναλαμβάνεται ανά βήμα είναι οι προς τα πίσω αντικαταστάσεις με διαφορετικά δεξιά μέλη κάθε φορά. Οι πράξεις αυτέ δεν έχουν πολύ κόστος και τα οφέλη που έχουμε ουσιαστικά ελαχιστοποιούν το επιπλέον κόστος. Στη συνέχεια δίνεται μία σειρά βασικών προρρυθμιστών της μεθόδου Συζυγών Κλίσεων. Προρρυθμιστής Jacobi Είναι ο απλούστερος όλων των προρρυθμιστών, αφού επιλέγουμε ο Μ να είναι ο διαγώνιος πίνακας με στοιχεία τα διαγώνια στοιχεία του πίνακα Α. Στην περίπτωση που ο πίνακας Α είναι ερμιτιανός και θετικά ορισμένος μπορούμε να παραγοντοποιήσουμε τον διαγώνιο πίνακα του προρρυθμιστή Jacobi σε Μ=Μ 1/2 Μ 1/2, με τον πίνακα Μ 1/2 να είναι η καλούμενη τετραγωνική ρίζα του πίνακα Μ. Μ αυτόν τον τρόπο μπορούμε να χρησιμοποιήσουμε στη μέθοδο των Συζυγών Κλίσεων δεξιό κι αριστερό προρρυθμιστή. Το κόστος με την χρήση του προρρυθμιστή αυξάνεται ελάχιστα, καθώς επίσης και τα οφέλη που προσφέρει είναι περιορισμένα. Βελτιώνοντας τον παραπάνω προρρυθμιστή, εισάγουμε τη μορφή του μπλοκ (block) προρρυθμιστή Jacobi. Η βασική ιδέα του είναι η διάσπαση του πίνακα Α σε μπλοκ υποπίνακες. Είναι προφανές ότι η διάσπαση αυτή δεν είναι μοναδική. Τα βασικά κριτήρια που καθορίζουν τη διάσπαση αυτή είναι η φύση του προβλήματος, όπως σε προβλήματα μερικών διαφορικών εξισώσεων, όπου η φύση του προβλήματος προβλέπει ένα συγκεκριμένο διαχωρισμό σε γραμμές σε δισδιάστατα προβλήματα και σε επίπεδα στην περίπτωση των τρισδιάστατων προβλημάτων. Επίσης, η μέθοδος όπως επίσης και η τεχνική (παράλληλη επεξεργασία) που επιλέγουμε για την επίλυση του προβλήματος, πολλές φορές μας επιβάλλουν ένα συγκεκριμένο διαχωρισμό. Τέλος, στην περίπτωση μεθόδων όπως των Συζυγών Κλίσεων, θα πρέπει η επιλογή του προρρυθμιστή να είναι τέτοια ώστε το ισοδύναμο προρρυθμισμένο σύστημα να εξακολουθεί να έχει πίνακα συντελεστών ερμιτιανό και θετικά ορισμένο ώστε να μπορεί να εφαρμοστεί η μέθοδος Συζυγών Κλίσεων και στο προρρυθμισμένο σύστημα. Ο μπλοκ Jacobi προρρυθμιστής έχει κι αυτός μικρό κόστος και εν γένει δίνει καλύτερα αποτελέσματα σε σχέση με τον απλό προρρυθμιστή Jacobi. Παρακάτω δίνεται το σχήμα 1 που απεικονίζει τις κλειστές καμπύλες του παραδείγματος (του δευτέρου κεφαλαίου) μετά την προρρύθμιση Jacobi. 41

42 Συγκρίνοντας το με το σχήμα 3 (Κεφάλαιο 2), είναι φανερό ότι παρατηρείται μια μικρή βελτίωση. Ο αριθμός κατάστασης έχει βελτιωθεί από 3.5 σε 2.8 περίπου. Φυσικά, η βελτίωση αυτή γίνεται αισθητή σε γραμμικά συστήματα με n 2. Προρρυθμιστής SSOR Ένας άλλος προρρυθμιστής που λόγω της δομής του χρησιμοποιείται ευρύτατα είναι ο προρρυθμιστής SSOR. Ο προρρυθμιστής αυτός προέρχεται από τον αρχικό πίνακα Α μέσω του διαχωρισμού Α=D-L-L T. Ο προρρυθμιστής πίνακας που προκύπτει από τη διάσπαση αυτή είναι: ή στη μορφή Βέβαια εδώ θα πρέπει να τονίσουμε ότι παρά το γεγονός ότι ο προρρυθμιστής για την βέλτιστη τιμή ω (ω opt) μπορεί θεωρητικά να δώσει πολύ καλά αποτελέσματα, το κόστος όμως για την εύρεση του ω opt είναι απαγορευτικό στη χρήση ενός τέτοιου προρρυθμιστή. Γι αυτό το λόγο χρησιμοποιείται η τιμή ω=1. 42

43 Προρρυθμιστές Ατελούς Παραγοντοποίησης Μία από τις πιο γνωστές και ευρείας χρήσης κατηγορίες προρρυθμιστών είναι αυτή που βασίζεται στην τεχνική της Ατελούς Παραγοντοποίησης (Incomplete Factorization) του πίνακα Α. Η βασική ιδέα αυτής της τεχνικής είναι να βρεθεί μια καλή προσέγγιση για τους παράγοντες L και U στην LU παραγοντοποίηση του πίνακα Α (=LU). Αυτό που προσπαθούμε να επιτύχουμε είναι κατά την απαλοιφή Gauss στον πίνακα Α, να χρησιμοποιούνται μη μηδενικά στοιχεία στους προσεγγιστικούς παράγοντες L και U μόνο στις θέσεις όπου ο πίνακας Α έχει μη μηδενικά στοιχεία. Αυτή η κατηγορία της Incomplete Factorization τεχνικής χαρακτηρίζεται ως ILU(0) και είναι η πιο διαδεδομένη. Σε άλλες περιπτώσεις είναι δυνατόν να επιτρέπονται και άλλα μη μηδενικά στοιχεία στους προσεγγιστικούς παράγοντες. Για παράδειγμα σε ένα ή δύο συμμετρικά στις υπερ- και υπο-διαγωνίους σε σχέση με τα μη μηδενικά στοιχεία του αρχικού πίνακα, οπότε τις μεθόδους αυτές τις χαρακτηρίζουμε ως ILU(1) και ILU(2) αντίστοιχα. Με την τεχνική αυτή παράγουμε μία προσέγγιση των πινάκων L και U της κλασικής απαλοιφής Gauss. Στην περίπτωση που ο πίνακας είναι ερμιτιανός και θετικά ορισμένος τότε αντί της ILU χρησιμοποιούμε την Incomplete Cholesky (IC), μία τεχνική που βρίσκει μία προσέγγιση για τον πίνακα L και κατά συνέπεια του γινομένου LL T της παραγοντοποίησης Cholesky. Η διαδικασία με την οποία μπορούμε να επιλύσουμε το σύστημα Μx=c που εμφανίζεται στη μέθοδο Συζυγών Κλίσεων, μπορεί να είναι η κλασική με προς τα εμπρός και προς τα πίσω αντικαταστάσεις, με πίνακες συντελεστών τους L και L Τ αντίστοιχα. Επίσης μια άλλη θεώρηση του πίνακα Μ σε θα έδινε το εξής σύστημα ισοδύναμων συστημάτων: και. Και τα δύο συστήματα είναι εύκολο να λυθούν με τη διαδικασία της προς τα εμπρός και προς τα πίσω αντικατάστασης αντίστοιχα. Μολονότι οι βασικοί προρρυθμιστές που αναφέρθηκαν παραπάνω μπορούν να βελτιώσουν σημαντικά την ταχύτητα σύγκλισης, ο συνδυασμός όμως της μεθόδου Συζυγών Κλίσεων με έναν πολυπλεγματικό αλγόριθμο (multigrid) ως προρρυθμιστή αποτελεί μία απ τις γρηγορότερες τεχνικές επίλυσης γραμμικών συστημάτων. Ο αλγόριθμος που προκύπτει είναι ανθεκτικός, αποτελεσματικός και επιδέχεται αλλαγές στην κλίμακα. Εφαρμογή του θα δούμε στο επόμενο κεφάλαιο. 3.2 Παραλλαγές της Μεθόδου Συζυγών Κλίσεων Στο δεύτερο κεφάλαιο παρουσιάστηκε η CG μέθοδος των M.R.Hestenes και Ε.Stiefel [6]. παρακάτω παρουσιάζονται μερικές στρατηγικές αναδιάταξης της CG μεθόδου. Η CG μέθοδος, στην αρχική της μορφή καλείται να υπολογίσει δύο εσωτερικά γινόμενα, όπου κάθε εσωτερικό γινόμενο χρησιμοποιείται για τον υπολογισμό ενός διανύσματος, το οποίο κι αυτό με τη σειρά του χρειάζεται για τον υπολογισμό του 43

44 επόμενου εσωτερικού γινομένου. Οι παραλλαγές των Saad/Meurant, Chronopoulos/Gear και Eijkhout δίνονται παρακάτω, συνδυάζοντας τα εσωτερικά γινόμενα. Περιλαμβάνουν περισσότερες βαθμωτές πράξεις απ την κανονική μέθοδο. Οι παραλλαγές αυτές [4], στην περίπτωση ενός απλού επεξεργαστή, δεν προσφέρουν ιδιαίτερα οφέλη. Όμως, σε έναν μεγάλο αριθμό επεξεργαστών και σε ένα δίκτυο λανθάνουσας κατάστασης, αντισταθμίζουν τις πρόσθετες πράξεις με τον μειωμένο χρόνο επικοινωνίας. Η μέθοδος Saad/Meurant Η πρώτη παραλλαγή απ τον Saad [4] χρησιμοποιεί: έτσι, ο όρος μπορεί να υπολογιστεί αναδρομικά χωρίς την ανάγκη του εσωτερικού γινομένου και πριν κατασκευαστεί το διάνυσμα. Εξαιτίας του υπολογισμού του, υπολογίζουμε το ταυτόχρονα με το. Το διάνυσμα υπολογίζεται από μια νέα αναδρομή. Όμως αυτή η μέθοδος εμπεριέχει και κάποιους κινδύνους κατά την αναδιάταξη των πράξεων. Πολλές φορές, οι παραλλαγές αυτές δεν εγγυώνται την ευστάθεια, σε αντίθεση με την αρχική μέθοδο. Έτσι, η πρώτη παραλλαγή που ουσιαστικά θα θεωρήσουμε είναι η τροποποίηση του Meurant [4] πάνω στη μέθοδο του Saad. Παρακάτω δίνεται η δομή του αλγορίθμου: Απ το σχηματίζουμε το και. Υπολογίζουμε ταυτόχρονα τα εσωτερικά γινόμενα, και. Με το υπολογίζουμε το και την τιμή του εσωτερικού γινομένου υπολογίζουμε επίσης το. Μ αυτό. Αποθηκεύουμε το διάνυσμα. Ανανεώνουμε το και. Ανανεώνουμε το. Η μέθοδος Chronopoulos/Gear Η δεύτερη παραλλαγή είναι αυτή των Chronopoulos/Gear [4]. Η βασική της σχέση είναι: 44

45 Η δομή του αλγορίθμου είναι η εξής: Απ το και υπολογίζουμε ταυτόχρονα τα και. Μ αυτό υπολογίζουμε το. Αναδρομικά υπολογίζουμε το απ το και. Με το υπολογίζουμε το και το χρησιμοποιούμε για να ανανεώσουμε τα και στα και. Εφαρμόζουμε τον προρρυθμιστή για να σχηματίσουμε το κι έπειτα τον πίνακα Α για τον σχηματισμό του. Κατασκευάζουμε το αναδρομικά απ την σχέση. Η μέθοδος Eijkhout Η παραλλαγή του Eijkhout [4] είναι παρόμοια με των Chronopoulos/Gear. Βασίζεται στον αναδρομικό υπολογισμό του απ το εσωτερικό γινόμενο. Η (2) αντικαθίσταται απ την Η (3) προϋποθέτει την αναδρομική κατασκευή των διανυσμάτων απ το γινόμενο πίνακα-διανύσματος. Επίσης, υπάρχει ένα τρίτο εσωτερικό γινόμενο σε κάθε επανάληψη. Αυτό το εσωτερικό γινόμενο συνδυάζεται με τα ήδη υπάρχοντα, καταλήγοντας έτσι μόνο σε μία αύξηση των βαθμωτών πράξεων ανά επανάληψη, χωρίς να αυξάνεται ο χρόνος επικοινωνίας. 3.3 Η Μέθοδος Συζυγών Κλίσεων σε κανονικές εξισώσεις Η μέθοδος Συζυγών Κλίσεων μπορεί να επιλύει συστήματα όπου ο πίνακας Α δεν είναι συμμετρικός, ούτε θετικά ορισμένος, καθώς επίσης και όχι τετραγωνικός. Η λύση στο πρόβλημα των ελαχίστων τετραγώνων μπορεί να βρεθεί, θέτοντας την παράγωγο της (1) ίση με το μηδέν. (1) (2) 45

46 Εάν ο πίνακας Α είναι τετραγωνικός και ομαλός, η λύση της (2) είναι η λύση του συστήματος Αx=b. Εάν ο Α δεν είναι τετραγωνικός και το σύστημα Αx=b είναι δεσμευμένο ( overconstrained )- που σημαίνει ότι έχει περισσότερες γραμμικά ανεξάρτητες εξισώσεις σε σχέση με τις μεταβλητές τότε δεν είναι βέβαιο ότι υπάρχει λύση στο Ax=b, αλλά είναι πιθανόν να βρούμε μία λύση που ελαχιστοποιεί την (1), το άθροισμα των τετραγώνων των σφαλμάτων της κάθε γραμμικής εξίσωσης. Εάν ο πίνακας Α Τ Α είναι συμμετρικός και θετικά ορισμένος τότε ισχύει για κάθε. Εάν το Αx=b δεν είναι υπό συνθήκες (underconstrained), τότε ο πίνακας Α Τ Α είναι ομαλός και οι μέθοδοι Μεγίστης Καθόδου και Συζυγών Κλίσεων μπορούν να επιλύσουν την (2). Η μόνη ενόχληση είναι ότι ο αριθμός κατάστασης του Α Τ Α είναι το τετράγωνο του αριθμού κατάστασης του πίνακα Α, που σημαίνει ότι η σύγκλιση θα είναι αισθητά πιο αργή. Επίσης, οφείλουμε να τονίσουμε ότι ο πίνακας Α Τ Α δεν σχηματίζεται άμεσα, επειδή είναι λιγότερο αραιός από τον Α. Ακόμα, αντί ο Α Τ Α να πολλαπλασιάζεται με το d, πρώτα βρίσκουμε το γινόμενο Ad και στη συνέχεια το Α Τ Αd. Όσον αφορά την αριθμητική ευστάθεια, αυτή βελτιώνεται εάν η τιμή d T ΑΤΑd (στην εξίσωση ) υπολογίζεται παίρνοντας πρώτα το εσωτερικό γινόμενο Αd. 3.4 Η Μέθοδος Μη Γραμμικών Συζυγών Κλίσεων (The Nonlinear Conjugate Gradient Method) Η μέθοδος Συζυγών Κλίσεων μπορεί να χρησιμοποιηθεί όχι μόνο για την εύρεση του ελαχίστου μιας τετραγωνικής μορφής, αλλά και για την ελαχιστοποίηση κάθε συνεχούς συνάρτησης f(x) για την οποία η κλίση f μπορεί να υπολογιστεί. Η μέθοδος αυτή βρίσκει εφαρμογή σε προβλήματα βελτιστοποίησης, όπως ο μηχανολογικός σχεδιασμός, η εκπαίδευση σε νευρωνικά δίκτυα και η μη γραμμική παλινδρόμηση. Για να παράγουμε τη μέθοδο Μη Γραμμικών Συζυγών Κλίσεων [1] θα πρέπει να γίνουν κάποιες αλλαγές στον γραμμικό αλγόριθμο. Ο αναδρομικός τύπος του υπολοίπου δεν μπορεί να χρησιμοποιηθεί, διότι είναι πολύ δύσκολο να υπολογίσουμε το α κι επίσης υπάρχουν πολλές επιλογές για το β. Στη μέθοδο Μη Γραμμικών Συζυγών Κλίσεων ισχύει ότι r (i) =-f (x (i) ). Τα διανύσματαδιεύθυνσης υπολογίζονται εφαρμόζοντας τη μέθοδο Gram-Schmidt στα υπόλοιπα, όπως συμβαίνει και στις Γραμμικές Συζυγείς Κλίσεις. Όμως για να παραστήσουμε μία γραμμή εύρεσης κατά μήκος των διανυσμάτων-διεύθυνσης είναι δυσκολότερο απ ότι στην γραμμική περίπτωση. Επίσης, όπως είδαμε και στο προηγούμενο κεφάλαιο έτσι κι εδώ, βρίσκουμε μία τιμή του α (i) που ελαχιστοποιεί την f(x (i) +α (i) d (i) ), εξασφαλίζοντας έτσι ότι η κλίση είναι ορθογώνια με το διάνυσμα-διεύθυνσης. 46

47 Στη γραμμική περίπτωση, υπάρχουν μερικοί ισοδύναμοι τύποι για την τιμή του β που βελτιώνουν τους υπολογισμούς. Δύο επιλογές είναι ο τύπος των Fletcher-Reeves και ο τύπος των Polak-Ribiere: Η μέθοδος Fletcher-Reeves συγκλίνει εάν το αρχικό σημείο είναι αρκετά κοντά στην ελάχιστη λύση. Στις περισσότερες των περιπτώσεων, όμως, η μέθοδος Polak-Ribiere συγκλίνει γρηγορότερα. Παρακάτω παρουσιάζονται τα κύρια σημεία της μεθόδου των Μη Γραμμικών Συζυγών Κλίσεων. Βρίσκουμε το που ελαχιστοποιεί την ή Στη μη γραμμική περίπτωση, εμφανίζεται το εξής πρόβλημα. Στις γενικευμένες συναρτήσεις υπάρχουν πολλά τοπικά ελάχιστα και η μέθοδος δεν εγγυάται τη σύγκλιση στο ολικό ελάχιστο, όπως επίσης μπορεί να μη βρεθεί τοπικό ελάχιστο, εάν η f δεν έχει κάτω φράγμα. Στο σχήμα 2 απεικονίζεται η μέθοδος των Μη Γραμμικών Συζυγών Κλίσεων. Στο 2(α) έχουμε μία συνάρτηση με πολλά τοπικά ελάχιστα. Το 2(b) μας δείχνει τη σύγκλιση της μεθόδου σύμφωνα με τον τύπο των Fletcher-Reeves. Σ αυτό το παράδειγμα, η μέθοδος δεν είναι τόσο αποτελεσματική όσο στην γραμμική περίπτωση, επειδή είναι δύσκολο να ελαχιστοποιήσουμε τη συνάρτηση f. Το 2(c) παρουσιάζει μία διατομή της επιφάνειας, ισοδύναμη με την πρώτη γραμμή-εύρεσης του 2(b). Σημειώνουμε ότι υπάρχουν αρκετά ελάχιστα η γραμμή-εύρεσης βρίσκει μία τιμή του α αντίστοιχη με το κοντινό ελάχιστο. Το 2(d) απεικονίζει τη σύγκλιση σύμφωνα με τον τύπο των Polak-Ribiere. 47

48 Σχήμα 2: Η σύγκλιση στη μη γραμμική περίπτωση της μεθόδου. (α) Μία συνάρτηση με πολλά τοπικά ελάχιστα και μέγιστα. (b) Η σύγκλιση με τον τύπο Fletcher-Reeves. (c) Διατομή της επιφάνειας αντίστοιχη της πρώτης γραμμής-εύρεσης.(d) Σύγκλιση σύμφωνα με τον τύπο των Polak-Ribiere [1]. 48

49 4. Υλοποιήσεις 4.1 Η υπερανάλυση χρησιμοποιώντας την προρρυθμισμένη μέθοδο συζυγών κλίσεων Η υπερανάλυση εικόνων είναι η εργασία που εκτελούμε για την παραγωγή εικόνων υψηλής ευκρίνειας από μία ακολουθία εικόνων χαμηλής ποιότητας κι ευκρίνειας. Πολλές εφαρμογές, συμπεριλαμβανομένων των εναέριων μέσων και των εγκαταστάσεων παρακολούθησης, απαιτούν υψηλής ποιότητας εικόνες, όπως για παράδειγμα στην ιατρική, στην επιστημονική έρευνα, στον στρατό κτλ. Πράγματι, πολλά απ τα προβλήματα όρασης πάσχουν από αισθητήρες ανεπαρκής ευκρίνειας, είτε εξαιτίας του κόστους, είτε των ορίων του λογισμικού. Η υπερανάλυση παρέχει μια αποτελεσματική και οικονομική εναλλακτική για τη βελτίωση της απόδοσης των οπτικών συσκευών. Αρχικά, η υπερανάλυση παρουσιάστηκε στη βιβλιογραφία για προβλήματα ενός πλαισίου (όπου πλαίσιο(frame) είναι η απεικόνισης μιας δομής σε διάφορες χρονικές στιγμές). Όμως οι τελευταίες μελέτες επικεντρώνονται περισσότερο στις πολυπλαισιακές (multiframe) ακολουθίες εικόνων, οι οποίες εκμεταλλεύονται πρόσθετες χωροχρονικές πληροφορίες που είναι διαθέσιμες στην ακολουθία εικόνων. Οι αλγόριθμοι υπερανάλυσης χωρίζονται σε δύο κατηγορίες: οι μέθοδοι πεδίου συχνοτήτων και μέθοδοι χωρικού πεδίου. Οι επαναληπτικές μέθοδοι είναι οι πιο σημαντικές μεταξύ των μεθόδων χωρικού πεδίου. Τα κύρια πλεονεκτήματα των επαναληπτικών μεθόδων είναι ότι έχουν την ικανότητα να χειρίζονται μεγάλες ακολουθίες εικόνων και χωρικά μεταβαλλόμενες μειώσεις. Υπάρχουν πολλές επαναληπτικές μέθοδοι για την επίλυση προβλημάτων υπερανάλυσης, με επικρατέστερη τη μέθοδο Συζυγών Κλίσεων (CG), λόγω της αποτελεσματικής επίλυσης μεγάλης κλίμακας συστημάτων με ελάχιστη αποθήκευση. Επειδή, πολλές φορές ο ρυθμός σύγκλισης της CG μεθόδου είναι αργός αν το σύστημα είναι κακώς τοποθετημένο, χρησιμοποιούμε έναν προρρυθμιστή για να επιταχύνουμε τη σύγκλιση. Ένας από τους πιο γνωστούς προρρυθμιστές είναι ο circulant προρρυθμιστής. Το μοντέλο απεικόνισης Η διαδικασία απεικόνισης είναι μία προς τα εμπρός διαδικασία που μετατρέπει την ευκρίνεια της εικόνας από υψηλή σε χαμηλή. Μια τυπική διαδικασία απεικόνισης αποτελείται από έναν γεωμετρικό μετασχηματισμό (π.χ. από 3D σε 2D), έναν όρο θαμπώματος (blurring term), έναν όρο για την μείωση της ευκρίνειας μιας ψηφιακής εικόνας (downsampling term) κι έναν όρο προσθετικού θορύβου (noise term). Λαμβάνοντας υπόψη τα παραπάνω, η προς τα εμπρός διαδικασία απεικόνισης διατυπώνεται ως εξής: όπου 49

50 f k είναι η k-στο πλαίσιο χαμηλής ευκρίνειας στην ακολουθία των βίντεο. D ο τελεστής που μειώνει την ευκρίνεια της ψηφιακής εικόνας. C k είναι ο τελεστή θαμπώματος F k είναι ο τελεστής γεωμετρικής παραμόρφωσης, ο οποίος μετασχηματίζει την υψηλή ευκρίνεια πλέγματος σε χαμηλή. x είναι η άγνωστη, ιδανική εικόνα υψηλής ευκρίνειας n k είναι ο προσθετικός θόρυβος. Στην υπερανάλυση θεωρείται ότι ο θόρυβος είναι ένας προσθετικός πίνακας του Gauss με μηδενικό μέσο (zero-mean). Απ την (1) παίρνουμε: ή όπου κάθε block του Η που συνδέεται με το i πλαίσιο έχει τη μορφή ενός block Toeplitz πίνακα. Αν θεωρήσουμε ότι ο θόρυβος είναι ασυσχέτιστος και με ομαλή διασπορά, τότε ο εκτιμητής μεγίστης πιθανοφάνειας μπορεί να χρησιμοποιηθεί για τη λύση της ελαχιστοποίησης της συνάρτησης: ή ισοδύναμα λύνοντας την σχέση Όπως έχουμε προαναφέρει, η CG μέθοδος αποτελεί τον σημαντικότερο αλγόριθμο για μεγάλης κλίμακας βελτιστοποίηση, διότι χρειάζεται την αποθήκευση ελάχιστων διανυσμάτων και συγκλίνει γρηγορότερα σε σχέση με τη μέθοδο Μεγίστης Καθόδου. Ο ρυθμός σύγκλισης της CG εξαρτάται απ τις ιδιάζουσες τιμές του πίνακα δεδομένων Η. Εάν οι ιδιάζουσες τιμές συσσωρεύονται γύρω από ένα σταθερό σημείο, τότε η σύγκλιση θα είναι γρήγορη. Στην περίπτωση της υπερανάλυσης ο Η είναι κακής κατάστασης χωρίς σημαντικό χάσμα στο φάσμα των ιδιάζουσων τιμών. Για να γίνει η CG μέθοδος αποδοτική, χρειαζόμαστε έναν προρρυθμιστή. Η PCG μέθοδος δεν είναι τίποτα άλλο, παρά η εφαρμογή της CG μεθόδου σε ένα μετασχηματισμένο σύστημα: όπου,,. Εδώ ο πίνακας C είναι ένας συμμετρικός, θετικά ορισμένος πίνακας που επιλέχτηκε έτσι ώστε ο πίνακας να είναι καλής κατάστασης ή πίνακας με συσσωρευμένες ιδιοτιμές. Πρακτικά, ορίζουμε τον προρρυθμιστή Μ απ την σχέση. Παρακάτω δίνεται ένα βήμα του PCG αλγορίθμου: 50

51 1. Υπολόγισε το μήκος βήματος (step length). 2. Ανανεώνουμε το και το διάνυσμα υπολοίπου. 3. Υπολογίζουμε το. 4. Ανανεώνουμε το νέο διάνυσμα διεύθυνσης ως συνδυασμό του υπολοίπου και του παλιού διανύσματος διεύθυνσης. Η επιλογή ενός καλού προρρυθμιστή επηρεάζει σημαντικά τον ρυθμό σύγκλισης. Έχουν αναπτυχθεί αρκετές μέθοδοι προρρύθμισης, μία εκ των οποίων είναι ο circulant προρρυθμιστής, ο οποίος μπορεί εύκολα να αντιστραφεί χρησιμοποιώντας τον γρήγορο μετασχηματισμό Fourier (Fast Fourier Transform). Ένα αντίστροφο φίλτρο βασισμένο σε έναν circulant προρρυθμιστή παρουσιάζει αρκετά μειονεκτήματα όσον αφορά την εύρεση της ανοχής, γι αυτό το λόγο χρησιμοποιούμε το φίλτρο Wiener. Το φίλτρο Wiener είναι ένα γραμμικό, χωρικά αναλλοίωτο φίλτρο, το οποίο προσπαθεί να ελαττώσει το σφάλμα υπολοίπου όσο το δυνατόν περισσότερο. Το φίλτρο αυτό ορίζεται στο φασματικό πεδίο ως: όπου Κ(u,v) είναι η συνάρτηση μεταφοράς του συστήματος, η οποία προσεγγίζεται από την προς τα εμπρός διαδικασία απεικόνισης, S f (u,v) και S w (u,v) είναι το φάσμα ισχύος των ιδανικών εικόνων και το φάσμα θορύβου, αντίστοιχα. Το φάσμα ισχύος υπολογίζεται απ την παρακάτω σχέση: Το φίλτρο Wiener βασισμένο στον προρρυθμιστή προσπαθεί να συσσωρεύσει τις μεγάλες κατά απόλυτη τιμή ιδιοτιμές σε μία, καθώς επίσης μεταφέρει αλλού τις ιδιοτιμές με απόλυτη τιμή κοντά στο μηδέν. Το πλεονέκτημα του φίλτρου αυτού είναι ότι δεν χρειάζεται να υπολογίζει αναλυτικά την ανοχή r. Πειραματικά αποτελέσματα Για να απεικονίσουμε την αποτελεσματικότητα του αλγορίθμου υπερανάλυσης που είναι βασισμένος στην PCG μέθοδο, αναπαραστήσαμε εικόνες υψηλής ευκρίνειας από μία ακολουθία εικόνων χαμηλής ευκρίνειας. Μετατοπίζουμε μία εικόνα με διάφορα subpixels, την θαμπώνουμε με μία 11 συνάρτηση διάδοσης σημείου του Gauss (Gaussian Point Spread Function) με τυπική απόκλιση 0.5, μειώνουμε την ευκρίνεια και προσθέτουμε θόρυβο του Gauss με διακύμανση και 0.02 για να κατασκευάσουμε πλαίσια χαμηλής ευκρίνειας. Απ αυτές της χαμηλής ευκρίνειας εικόνες αναπαριστούμε μία εικόνα υπερανάλυσης. Συγκρίνουμε τα αποτελέσματα του αλγορίθμου υπερανάλυσης με την διγραμμική παρεμβολή, την CG μέθοδο και με ένα αντίστροφο φίλτρο βασισμένο στην PCG μέθοδο. Το σχήμα 1 παριστάνει τα αποτελέσματα των αλγορίθμων υπερανάλυσης σε μια εικόνα κειμένου 51

52 με επίπεδο θορύβου Το σχήμα 2 παριστάνει τα αποτελέσματα των αλγορίθμων υπερανάλυσης μιας ακολουθίας εικόνων ενός φωτογράφου με επίπεδο θορύβου Το σχήμα 3 δείχνει τις γραφικές παραστάσεις του αντίστοιχου σφάλματος για κάθε επανάληψη για τα δύο δείγματα εικόνων με θόρυβο αντίστοιχα, όπου το σχετικό σφάλμα είναι η F-νόρμα των σφαλμάτων υπολοίπου διαιρεμένη από τη νόρμα του αρχικού σφάλματος υπολοίπου. Τα σχήματα 4-6 δείχνουν τα αποτελέσματα υπό θόρυβο Παρατηρούμε ότι τα αποτελέσματα της CG μεθόδου είναι καλύτερα απ την διγραμμική μέθοδο παρεμβολής. Επίσης, βλέπουμε ότι οι προρρυθμιστές βελτιώνουν τον ρυθμό σύγκλισης και την ευστάθεια. Σχήμα 1. Αποτελέσματα υπερανάλυσης για μια εικόνα κειμένου με θόρυβο 0.002: (a)η αρχική εικόνα, (b)δείγμα εικόνας χαμηλής ευκρίνειας, (c)εικόνα με τη διγραμμική μέθοδο παρεμβολής, (d)αποτέλεσμα της CG μεθόδου, (e)αποτέλεσμα απ το αντίστροφο φίλτρο βασισμένο στην PCG μέθοδο, (f)αποτέλεσμα απ το φίλτρο Wiener [14]. 52

53 Σχήμα 2. Αποτελέσματα υπερανάλυσης για την ακολουθία εικόνων του φωτογράφου με θόρυβο 0.002: (a)αρχική εικόνα, (b)δείγμα χαμηλής ευκρίνειας, (c)εικόνα από διγραμμική παρεμβολή, (d)αποτέλεσμα της CG μεθόδου, (e)αποτέλεσμα του αντίστροφου φίλτρου, (f)αποτέλεσμα του φίλτρου Wiener [14]. 53

54 Σχήμα 3. Γραφικές παραστάσεις της σύγκλισης της CG και PCG μεθόδου για (a)την ακολουθία εικόνων του κειμένου και (b)την ακολουθία εικόνων του φωτογράφου με θόρυβο

55 Σχήμα 4. Αποτελέσματα υπερανάλυσης των εικόνων του κειμένου με θόρυβο 0.02: (a)αρχική εικόνα, (b)δείγμα χαμηλής ευκρίνειας, (c)εικόνα απ την διγραμμική παρεμβολή, (d)αποτέλεσμα της CG μεθόδου, (e)αποτέλεσμα του αντίστροφου φίλτρου, (f)αποτέλεσμα του φίλτρου Wiener [14]. 55

56 Σχήμα 5. Αποτελέσματα υπερανάλυσης της ακολουθίας εικόνων του φωτογράφου με επίπεδο θορύβου (a)αρχική εικόνα, (b)δείγμα χαμηλής ευκρίνειας, (c)εικόνα από διγραμμική παρεμβολή, (d)αποτέλεσμα της CG μεθόδου, (e)αποτέλεσμα του αντίστροφου φίλτρου, (f)αποτέλεσμα του φίλτρου Wiener [14]. 56

57 Σχήμα 6. Γραφικές παραστάσεις της σύγκλισης της CG και PCG μεθόδου για (a) την ακολουθία εικόνων του κειμένου και (b)την ακολουθία εικόνων του φωτογράφου με επίπεδο θορύβου Εφαρμογή της CG μεθόδου στο MATLAB Γνωρίζουμε ότι η επίλυση των γραμμικών συστημάτων πραγματοποιείται με δύο μεθόδους: τις άμεσες (direct) και τις επαναληπτικές (iterative). Οι άμεσες μέθοδοι είναι συνήθως ταχύτεροι και εφαρμόσιμοι, εάν υπάρχει αρκετός χώρος αποθήκευσης για την εκτέλεσή τους. Οι επαναληπτικές μέθοδοι εφαρμόζονται σε ορισμένες περιπτώσεις ανάλογα με τις ιδιότητές τους όπως για παράδειγμα την διαγώνια υπεροχή ή την ύπαρξη διαφορικού τελεστή. Επίσης, αυτές οι μέθοδοι εφαρμόζονται σε MATLAB M-files και κάνουν χρήση είτε της άμεσης λύσης των υποπροβλημάτων είτε των προρρυθμιστών. Στην περίπτωση των αραιών γραμμικών συστημάτων, υπάρχουν εννιά διαθέσιμες εντολές στο MATLAB. 57

58 Εντολές bicg bicgstab cgs gmres lsqr minres pcg qmr symmlq Μέθοδος Biconjugate gradient Biconjugate gradient stabilized Conjugate gradient squared Generalized minimum residual LSQR implementation of Conjugate Gradients on Normal Equations Minimum residual Preconditioned Conjugate Gradient Quasiminimal residual Symmetric LQ Αυτές οι μέθοδοι είναι κατάλληλες για την επίλυση συστημάτων της μορφής. Για την PCG μέθοδο, pcg, ο πίνακας Α πρέπει να είναι συμμετρικός και θετικά ορισμένος. Οι minres και symmlq μπορούν να χρησιμοποιηθούν σε συμμετρικούς, αόριστους πίνακες. Για την lsqr, ο πίνακας δεν χρειάζεται να είναι τετραγωνικός. Οι υπόλοιπες πέντε εντολές μπορούν να λειτουργήσουν σε μη συμμετρικούς, τετραγωνικούς πίνακες. ή Και οι εννιά μέθοδοι κάνουν χρήση των προρρυθμιστών. Το γραμμικό σύστημα αντικαθίσταται από ένα ισοδύναμο σύστημα. Ο προρρυθμιστής Μ επιλέγεται ώστε να επιταχύνει τη σύγκλιση της επαναληπτικής μεθόδου. Παρακάτω δίνεται η σύνταξη και η περιγραφή της εντολής pcg. Σύνταξη x=pcg (A, b) pcg (A, b, tol) pcg (A, b, tol, maxit) pcg (A, b, tol, maxit, M) pcg (A, b, tol, maxit, M1, M2) pcg (A, b, tol, maxit, M1, M2, x0) pcg (A, b, tol, maxit, M1, M2, x0, p1, p2 ) [x, flag]= pcg (A, b, tol, maxit, M1, M2, x0, p1, p2 ) [x, flag, relres]= pcg (A, b, tol, maxit, M1, M2, x0, p1, p2 ) [x, flag, relres, iter]= pcg (A, b, tol, maxit, M1, M2, x0, p1, p2 ) [x, flag, relres, iter, resvec]= pcg (A, b, tol, maxit, M1, M2, x0, p1, p2 ) Περιγραφή Η x= pcg (A, b) προσπαθεί να επιλύσει ένα γραμμικό σύστημα εξισώσεων της μορφής A*x=b, ως προς x. Ο n n πίνακας συντελεστών Α πρέπει να είναι 58

59 συμμετρικός, θετικά ορισμένος, καθώς επίσης μεγάλης διάστασης και αραιός. Το διάνυσμα-στήλη b είναι διάστασης n. Εάν, η pcg συγκλίνει, τότε εμφανίζεται ένα μήνυμα με το αυτό το αποτέλεσμα. Στην περίπτωση που η pcg δεν συγκλίνει έπειτα απ τον μέγιστο αριθμό επαναλήψεων, ή σταματήσει για κάποιο λόγο, τότε εμφανίζεται ένα προειδοποιητικό μήνυμα, το οποίο εκθέτει το σχετικό υπόλοιπο norm(b-a*x)/norm(b) και σε ποια επανάληψη σταμάτησε ή απέτυχε η μέθοδος. pcg (A, b, tol) προσδιορίζει την ανοχή της μεθόδου. Εάν tol είναι [], τότε η pcg χρησιμοποιεί την προεπιλογή 1e-6. pcg (A, b, tol, maxit) προσδιορίζει τον μέγιστο αριθμό επαναλήψεων. Εάν ο πίνακας είναι [], τότε η pcg χρησιμοποιεί την προεπιλογή min(n,20). pcg (A, b, tol, maxit, M) και pcg (A, b, tol, maxit, M1, M2) χρησιμοποιούν συμμετρικούς, θετικούς προρρυθμιστές Μ ή Μ=Μ1*Μ2 και λύνουν αποτελεσματικά το σύστημα inv(m)*a*x=inv(m)*b ως προς x. Εάν ο Μ είναι [], τότε η pcg δεν εφαρμόζει προρρυθμιστή. Ο Μ μπορεί να είναι μία συνάρτηση που να επιστρέφει Μ\x. pcg (A, b, tol, maxit, M1, M2, x0) προσδιορίζει την αρχική τιμή. Εάν x0 είναι [], τότε η pcg χρησιμοποιεί την προεπιλογή του μηδενικού διανύσματος. pcg (A, b, tol, maxit, m1fun, m2fun, x0, p1, p2, ) περνάει τις παραμέτρους p1, p2, στις συναρτήσεις afun(x,p1,p2, ), m1fun(x,p1,p2, ) και m2fun(x,p1,p2, ). [x, flag]= pcg (A, b, tol, M1, M2, x0) επιστρέφει μία επισήμανση σύγκλισης (convergence flag). Flag Convergence 0 Η pcg συγκλίνει στην επιθυμητή ανοχή tol εντός των maxit επαναλήψεων 1 Η pcg επαναλαμβάνεται maxit φορές χωρίς να συγκλίνει 2 Ο προρρυθμιστής Μ είναι κακής κατάστασης 3 Η pcg μένει αδρανής (δύο διαδοχικές επαναλήψεις είναι ίδιες) 4 Ένα απ τα βαθμωτά μεγέθη που υπολογίζεται κατά την pcg γίνεται πολύ μικρό ή πολύ μεγάλο για να συνεχίσει τον υπολογισμό Όταν η επισήμανση (flag) δεν είναι μηδέν, τότε η λύση x είναι εκείνη με την ελάχιστη νόρμα υπολοίπου όλων των επαναλήψεων. Εάν, η επισήμανση έχει καθοριστεί, τότε δεν εμφανίζεται κανένα μήνυμα. [x, flag, relres]= pcg (A, b, tol, maxit, M1, M2, x0) επιστέφει επίσης το σχετικό υπόλοιπο norm(b-a*x)/norm(b). Εάν η επισήμανση (flag) είναι μηδέν, τότε relres<=tol. [x, flag, relres, iter]= pcg (A, b, tol, maxit, M1, M2, x0) επιστρέφει τον αριθμό της επανάληψης στην οποία έχει υπολογιστεί η λύση x, όπου 0<=iter<=maxit. 59

60 [x, flag, relres, iter, resvec]= pcg (A, b, tol, maxit, M1, M2, x0) επιστρέφει ένα διάνυσμα της νόρμας υπολοίπου σε κάθε επανάληψη, συμπεριλαμβανομένης της νόρμας norm(b-a*x0). ΠΑΡΑΔΕΙΓΜΑΤΑ Παράδειγμα 1 >> A = gallery('wilk',21); >> b=sum(a,2); >> tol=1e-12; >> maxit=15; >> M=diag([10:-1:1 1 1:10]); >> [x,flag,relres,iter,resvec]=pcg(a,b,tol,maxit,m) x =

61 flag = 4 relres = iter = 2 resvec =

62 Παρατηρούμε ότι η pcg σταμάτησε στην επανάληψη 3 χωρίς να συγκλίνει στην επιθυμητή ανοχή 1e-12, επειδή μία βαθμωτή ποσότητα έγινε πολύ μικρή ή πολύ μεγάλη ώστε να συνεχίσει τον υπολογισμό (flag =4). Στην επανάληψη 2 έχουμε σχετικό υπόλοιπο (relative residual) ίσο με Παράδειγμα 2 >> A=delsq(numgrid('C',25)); >> b=ones(length(a),1); >> [x,flag]=pcg(a,b); Σύμφωνα με τα αποτελέσματα έχουμε ότι flag=1, επειδή η pcg δεν συγκλίνει στην προεπιλεγμένη ανοχή (default tolerance) 1e-6 εντός των προεπιλεγμένων 20 επαναλήψεων (default iterations). >> R=cholinc(A,1e-3); >> [x,flag,relres,iter,resvec]=pcg(a,b,1e-8,10,r',r); flag = 0 relres = e-009 iter = 6 62

63 resvec = Παρατηρούμε ότι flag=0, επειδή η pcg συγκλίνει με τιμή e-9 (η τιμή του σχετικού υπόλοιπου) στην έκτη επανάληψη, όταν προρρυθμίζεται με την ατελή παραγοντοποίηση Cholesky με ανοχή (drop tolerance) 1e-3. Κάνοντας την γραφική παράσταση του σχετικού υπολοίπου σε κάθε επανάληψη, ξεκινώντας απ την αρχική εκτίμηση (αριθμός επανάληψης 0) έχουμε: >> semilogy(0:iter,resvec/norm(b),'-o') >> xlabel('iteration number') >> ylabel('relative residual') 63

64 Χρησιμοποιώντας τώρα στο παράδειγμα 2 την ατελή παραγοντοποίηση LU (luinc), αντί της ατελούς παραγοντοποίησης Cholesky (cholinc)-που είδαμε παραπάνω, παίρνουμε: >> [L,U]=luinc(A,1e-6); >> tol=1e-10; >> [x,flag,relres,iter,resvec]=pcg(a,b,tol,10,l,u) flag = 0 relres = e

65 iter = 3 resvec = Παρατηρούμε ότι flag=0, επειδή η pcg συγκλίνει με τιμή e-015 (η τιμή του σχετικού υπολοίπου) στην τρίτη επανάληψη, όταν προρρυθμίζεται με την LU παραγοντοποίηση με ανοχή 1e-10. Κάνοντας την γραφική παράσταση του σχετικού υπολοίπου-αριθμός επαναλήψεων έχουμε: 65

66 4.3 Εφαρμογή της CG μεθόδου στο SCILAB Η αντίστοιχη σύνταξη της pcg στο SCILAB είναι η παρακάτω: [x, flag, err, iter, res]= pcg(a, b [, tol [, maxiter [, M [, M2 [, x0 [, verbose ]]]]]]) [x, flag, err, iter, res]= pcg(a, b [key= value, ]) Περιγραφή Α: ένας πίνακας, ή μία συνάρτηση, ή μια λίστα υπολογισμού του Α*x για κάθε δοσμένο x. Παρακάτω περιγράφεται ο υπολογισμός του A*x βασισμένος στον τύπο του Α. Πίνακας. Εάν Α είναι ένας πίνακας, τότε μπορεί να είναι αραιός ή πυκνός. Συνάρτηση. Εάν Α είναι μία συνάρτηση, τότε πρέπει να έχει την ακόλουθη επικεφαλίδα: function y=a(x). Λίστα. Εάν Α είναι μία λίστα, το πρώτο στοιχείο της λίστας αναμένεται να είναι μία συνάρτηση και τα υπόλοιπα στοιχεία της λίστας είναι τα ορίσματα της συνάρτησης, απ τον δείκτη 2 ως το τέλος. Όταν καλείται η συνάρτηση, η τρέχουσα τιμή του x γίνεται το πρώτο όρισμα της συνάρτησης. b: δεξιό μέλος του διανύσματος (μέγεθος: n 1) tol: σφάλμα σχετικής ανοχής (προεπιλογή: 1e-8). Το κριτήριο τερματισμού βασίζεται στην 2-νόρμα του υπολοίπου r=b-ax, διαιρεμένη απ την 2-νόρμα διανύσματος b. maxiter: μέγιστος αριθμός των επαναλήψεων (προεπιλογή n). Μ: προρρυθμιστής: πλήρης ή αραιός πίνακας ή συνάρτηση που επιστρέφει Μ\x (καμία προεπιλογή). Μ2: προρρυθμιστής: πλήρης ή αραιός πίνακας ή συνάρτηση που επιστρέφει Μ2\x για κάθε x (καμία προεπιλογή). x0: αρχική εκτίμηση διανύσματος (προεπιλογή: zeros(n,1)) verbose: θέτουμε ίση με 1 για να ενεργοποιήσουμε την εισαγωγή της verbose (προεπιλογή 0). x: διάνυσμα της λύσης. flag: 0 εάν η pcg συγκλίνει στην επιθυμητή ανοχή εντός των maxiter επαναλήψεων, διαφορετικά είναι 1. err: τελική σχετική νόρμα του υπολοίπου (χρησιμοποιείται η 2-νόρμα του b). iter: αριθμός των επαναλήψεων που εκτελούνται. res: διάνυσμα απ τις σχετικές νόρμες. 66

67 Η pcg λύνει το γραμμικό σύστημα Α*x=b, χρησιμοποιώντας την CG μέθοδο με ή χωρίς προρρύθμιση. Η προρρύθμιση θα πρέπει να ορίζεται από έναν συμμετρικό, θετικά ορισμένο πίνακα Μ, ή δύο πίνακες Μ1 και Μ2, όπως Μ=Μ1*Μ2 στην περίπτωση που η συνάρτηση λύνει την σχέση inv(m)*a*x=inv(m)*b για x. Μ, Μ1, Μ2 μπορούν να είναι Scilab συναρτήσεις με τύπο y=milx(x) που υπολογίζουν την αντίστοιχη διαίρεση y=mi\x. Ο πίνακας Α πρέπει να είναι συμμετρικός, θετικά ορισμένος (πλήρης ή αραιός) ή μια συνάρτηση με τύπο y=ax(x) που υπολογίζει το y=a*x. ΠΑΡΑΔΕΙΓΜΑΤΑ Παρακάτω παρουσιάζονται προβλήματα καλής και κακής κατάστασης. Ο πρώτος πίνακας έχει αριθμό κατάστασης περίπου ίσο με 0.02 που κάνει τον αλγόριθμο να συγκλίνει σε 10 επαναλήψεις. Ο δεύτερος πίνακας έχει αριθμό κατάστασης ίσο με 1d- 6 και κάνει τον αλγόριθμο να συγκλίνει σε 22 επαναλήψεις αυτός είναι και ο λόγος που θέσαμε την παράμετρο maxiter ίση με 30. Ο τρίτος πίνακας δεν παρουσιάζει σύγκλιση. Πρώτος πίνακας (καλής κατάστασης): -->A=[ > > > > > > > > > ]; -->b=ones(10,1); -->[x,flag,err, iter, res]=pcg(a,b,1d-12,15) res = 67

68 D-13 iter = 10. err = 1.697D-13 flag = 0. x =

69 Δεύτερος πίνακας (κακής κατάστασης): >A=[ > > > > > > > > > ]; --> -->b=ones(10,1); -->[x,flag,err,iter,res]=pcg(a,b,1d-12,30) res =

70 D D D D D D D D D-13 iter = 22. err = 3.448D-13 flag = 70

71 0. x = Τρίτος πίνακας (αραιός, δεν έχουμε σύγκλιση): A=sprand(100,100,0.01,'normal'); -->b=ones(100,1); -->[x,flag,err,iter,res]=pcg(a,b,1d-12,20) res =

72 iter = 20. err = flag = 1. Τέταρτος πίνακας (αραιός, έχουμε σύγκλιση): ->A=[ > > >

73 --> > > > > > ]; -->b=ones(10,1); -->Asparse=sparse(A); -->[x, flag, err, iter, res]=pcg(asparse,b,maxiter=30,tol=1d-12); -->mprintf(" flag=%d, iter=%d, errrel=%e\n",fail,iter,err) flag=0, iter=10, errrel= e Εφαρμογές σε αραιά γραμμικά συστήματα 5.1 Δύο εφαρμογές της Προρρυθμισμένης μεθόδου Συζυγών Κλίσεων πάνω σε ετερογενή υπολογιστικά πλέγματα Η αποτελεσματική επαναληπτική επίλυση γραμμικών συστημάτων μεγάλης κλίμακας αποτελεί ένα σύνθετο πρόβλημα. Παρακάτω παρουσιάζεται μία μελέτη σχετικά με την επαναληπτική επίλυση μεγάλων γραμμικών συστημάτων σε πλέγματα υπολογιστών, λαμβάνοντας υπόψη τους περιορισμούς του λογισμικού του μεσισμικού επιπέδου (grid middleware) GridSolve, όπως και τους περιορισμούς των αλγορίθμων των Προρρυθμισμένων Συζυγών Κλίσεων. Επίσης, θα προσδιορίσουμε τα bottlenecks επαγόμενα απ το middleware και τον επαναληπτικό αλγόριθμο. Παρουσιάζοντας αριθμητικά πειράματα πάνω σε τρισδιάστατα bubbly flow προβλήματα χρησιμοποιώντας ετερογενές υπολογιστικό λογισμικό, βλέπουμε τη μείωση του υπολογιστικού χρόνου και την επιτάχυνση των υπολογισμών (κάνοντας χρήση της παραλλαγής των Chronopoulos/Gear των Συζυγών Κλίσεων). Οι δύο εφαρμογές που θα μελετήσουμε παρακάτω είναι η απλή Προρρυθμισμένη μέθοδος Συζυγών Κλίσεων (standard Preconditioned Conjugate Gradient Method) και η μέθοδος των Chronopoulos/Gear (που αποτελεί παραλλαγή της PCG μεθόδου) πάνω σε ετερογενές υπολογιστικό πλέγμα. Επίσης, θα γίνει χρήση της βιβλιοθήκης GridSolve που αποτελεί το μεσισμικό επίπεδο (grid middleware) του πλέγματος, για 73

74 την πρόσβαση σε απομακρυσμένους υπολογιστικούς πόρους. Η εξισορρόπηση του φορτίου επιτυγχάνεται χρησιμοποιώντας μία στρατηγική διαμερισμού των δεδομένων λαμβάνοντας υπόψη την κατάσταση των πόρων. Ο αριθμός των σημείων συγχρονισμού στον CG αλγόριθμο, ο οποίος ισούται με 2, μπορεί να γίνει ίσος με 1 χρησιμοποιώντας την μέθοδο των Chronopoulos/Gear. Θα εφαρμόσουμε τις μεθόδους στο bubbly flow πρόβλημα, το οποίο αποτελεί παράδειγμα του προβλήματος κινούμενου συνόρου (moving boundary problem). Τα αριθμητικά πειράματα δείχνουν ότι ελαχιστοποιώντας τον αριθμό των σημείων συγχρονισμού και αναθέτοντας περισσότερη δουλειά στους προρρυθμιστές, μπορεί να επιτευχθεί η επιτάχυνση για την επίλυση των γραμμικών συστημάτων. Αρχικά, θα παραθέσουμε μία παρουσίαση των ετερογενών αραιών γραμμικών επιλυτών στο GridSolve και στη συνέχεια τα αποτελέσματα των αριθμητικών πειραμάτων. Ετερογενείς αραιοί γραμμικοί επιλύτες στο GridSolve Για να προσομοιώσουμε προβλήματα κινούμενου συνόρου (moving boundary) χρησιμοποιούμε υπολογιστικά πλέγματα. Παραδείγματα τέτοιων προβλημάτων είναι το κολύμπι των ψαριών, το ρεύμα αέρα γύρω από τους έλικες του στροφείου μιας ανεμογεννήτριας και τα bubbly flows. Αυτές οι προσομοιώσεις περιλαμβάνουν την αριθμητική λύση των ισχυουσών fluid εξισώσεων σε ένα δομημένο πλέγμα, όπου ένα μεγάλο μέρος καταλαμβάνει η επίλυση ενός μεγάλου, αραιού, γραμμικού συστήματος Αx=b σε κάθε χρονικό βήμα. Όταν χρησιμοποιούμε μια μέθοδο διόρθωσης-πίεσης (pressure-correction method) για να λύσουμε τις ισχύουσες εξισώσεις των bubbly flows σε ένα πλέγμα, τότε προκύπτει ένα μεγάλο, αραιό, γραμμικό σύστημα από την διακριτοποίηση πεπερασμένων διαφορών της εξίσωσης Poisson με τις συνοριακές συνθήκες του Neumann: (1) με συναρτήσεις f και g. Το Ω και Ω συμβολίζουν το υπολογιστικό χωρίο και το σύνορο, αντίστοιχα, ενώ τα p και ρ συμβολίζουν την πίεση και την πυκνότητα. Στο διφασικό bubbly flow πρόβλημα, η πυκνότητα ορίζεται απ την εξής συνάρτηση: (2) όπου r=10-3 και Γ 0 και Γ 1 συμβολίζουν το νερό (φάση υψηλής πυκνότητας) και τους υδρατμούς (φάση χαμηλής πυκνότητας) αντίστοιχα και καθιστά δύσκολη την επίλυση του μέσω επαναληπτικών μεθόδων. Συγκεκριμένα, εδώ, θα περιοριστούμε σε έναν κυβικό μοναδιαίο χωρίο με μία μόνο φυσαλίδα (single bubble), τοποθετημένη στο κέντρο του υπολογιστικού χωρίου ακτίνας Εφαρμόζοντας πεπερασμένες διαφορές στην (1) σε ένα δομημένο n x n y n z πλέγμα καταλήγουμε σε ένα γραμμικό σύστημα: 74

75 Αx=b (3) όπου ο Α είναι ένας n n, block, συμμετρικός, θετικά ημι-ορισμένος, αραιός πίνακας και n= n x n y n z. Οι λόγοι που επιλέγουμε να λύσουμε αυτό το σύστημα με την PCG μέθοδο είναι οι εξής: (α) είναι η πιο προφανής επιλογή για μεγάλα και αραιά γραμμικά συστήματα και (β) η CG μέθοδος αποτελείται από 3 βασικούς υπολογιστικούς πυρήνες (π.χ. πολλαπλασιασμός πίνακα-διάνυσμα, εσωτερικό γινόμενο, ανανέωση διανύσματος), οι οποίοι είναι απλοί στη εφαρμογή και σχετικά απλοί στον παραλληλισμό σε (αποκλειστικά) παράλληλους υπολογιστές. Επίσης, ο πιο δόκιμος συνδυασμός με την CG μέθοδο, αποτελεί ο προρρυθμιστής (block) Jacobi λόγω των ελκυστικών του ιδιοτήτων. GridSolve Το GridSolve (GS) είναι ένα κατανεμημένο σύστημα προγραμματισμού που ανήκει στην κατηγορία των Network Enable Servers (NES). Τέτοιου είδους συστήματα αποτελούνται από 6 στοιχεία: χρήστες (clients), μεσολαβητές (agents), διακομιστές (servers), βάσεις δεδομένων (databases), παρατηρητές (monitors) και προγραμματιστές (schedulers). Παρακάτω δίνεται μια σχηματική αναπαράσταση του GridSolve (η διακεκομμένη γραμμή συμβολίζει την (γεωγραφική) απόσταση μεταξύ του χρήστη και των διακομιστών, [9]). 75

76 Οι GS διακομιστές (στοιχείο 3) είναι στοιχεία λογισμικού, τα οποία ξεκινούν απ τον κάθε υπολογιστικό κόμβο που αποτελείται από μία κεντρική μονάδα επεξεργασίας (CPU) ή από μία συστοιχία. Ο διακομιστής παρακολουθεί τον όγκο εργασίας του κόμβου και κρατάει μια λίστα ανανέωσης των υπηρεσιών (ή των εργασιών) που εγκαθίστανται στον διακομιστή. Υπηρεσίες μπορούν να προστεθούν ή να τροποποιηθούν χωρίς την επανεκκίνηση του διακομιστή. Ένας GS μεσολαβητής (στοιχείο 2) παρακολουθεί τον διακομιστή (server) καταγράφοντας την ταχύτητα CPU, τη χωρητικότητα μνήμης, τις υπολογιστικές υπηρεσίες και την διαθεσιμότητα. Τα αποτελέσματα της καταγραφής αποθηκεύονται σε μια βάση δεδομένων στον κόμβο του μεσολαβητή και ανανεώνονται περιοδικά. Για την εισαγωγή οποιουδήποτε προγράμματος από τον GS χρήστη, το οποίο είναι γραμμένο είτε σε C, Fortran, ή Matlab, το GS middleware επικοινωνεί αρχικά με τον μεσολαβητή. Με βάση την πολυπλοκότητα του προβλήματος, το μέγεθος των παραμέτρων εισόδου και τους διαθέσιμους υπολογιστικούς πόρους, ο μεσολαβητής επιστρέφει μια λίστα διακομιστών, ταξινομημένη με βάση τον ελάχιστο χρόνο πλήρωσης (completion time). Ο χρήστης καταφεύγει στη λίστα, αφού εκτελέσει μια γρήγορη εξέταση της απόδοσης του δικτύου. Οι παράμετροι εισόδου στέλνονται στον πρώτο διακομιστή 76

77 της λίστας και η εργασία, η οποία μπορεί να χωριστεί ή όχι σε τμήματα, εκτελείται στον διακομιστή. Το αποτέλεσμα αποστέλλεται πίσω στον χρήστη. Εάν η εργασία αποτύχει, τότε προφανώς υποβάλλεται ξανά στον επόμενο διακομιστή της λίστας. Παρατηρούμε ότι κάθε εργασία επικοινωνεί με τα δεδομένα μέσω του χρήστη, δημιουργώντας έτσι σε μια γέφυρα επικοινωνίας. Ως αποτέλεσμα, τα δεδομένα εισόδου και εξόδου που σχετίζονται με την εκάστοτε εργασία συνεχώς στέλνονται μπρος πίσω μεταξύ χρήστη και διακομιστή. Έτσι για να αποφύγουμε τις πολλαπλές αποστολές των ίδιων δεδομένων μεταξύ χρήστη και διακομιστή, ο χρήστης μπορεί να ανεβάζει δεδομένα σε μια αποθήκη δεδομένων ΙΒΡ (Internet Backplane Protocol), η οποία βρίσκεται κοντά σε υπολογιστικούς διακομιστές. Τα κυριότερα πλεονεκτήματα του GridSolve είναι: Δίνει την δυνατότητα σε διάφορα τμήματα επιστημονικής έρευνας να έχουν εύκολη πρόσβαση και χρήση σε απομακρυσμένους και αναβαθμισμένους υπολογιστικούς πόρους. Καθιστά την εύκολη πρόσβαση σε βιβλιοθήκες υψηλής επίδοσης, έτσι ώστε οι χρήστες να μην χρειάζονται την εγκατάσταση τους. Επιλέγει τους κατάλληλους πόρους λογισμικού/λειτουργικού για το κάθε πρόβλημα. Προσφέρει εύκολη εγκατάσταση και συντήρηση. Διαμερισμός αλγορίθμου και CG μέθοδοι Χρησιμοποιώντας το GridSolve για την επίλυση ενός μεγάλου γραμμικού συστήματος Ax=b, θεωρούμε ότι ο χρήστης επιθυμεί να χρησιμοποιήσει s διακομιστές (servers) για την επίλυση του. Ο προγραμματιστής, ο οποίος βρίσκεται στον GS μεσολαβητή, ενισχύεται έτσι ώστε να δημιουργήσει έναν απλό διαμερισμό της υπολογιστικής εργασίας στους s διακομιστές, χρησιμοποιώντας πληροφορίες για τους τρέχοντες διαθέσιμους πόρους. Στη συνέχεια επιστρέφει τον διαμερισμό αυτό στον χρήστη, εφόσον ο χρήστης έχει ήδη εισάγει μια σειρά κλήσεων (calls) καθορίζοντας το μέγεθος και την τοποθεσία της κάθε εργασίας. Έτσι εξασφαλίζουμε ότι η υπολογιστική εργασία εκτελείται, σύμφωνα πάντα με τον διαμερισμό που έχει πραγματοποιηθεί. Παρακάτω παρουσιάζεται ο αλγόριθμος της παραπάνω διαδικασίας, όπως επίσης ο αλγόριθμος της Προρρυθμισμένης μεθόδου Συζυγών Κλίσεων (PCG method) και της παραλλαγής των Chronopoulos/Gear. Αλγόριθμος 1 1: Ο μεσολαβητής διαμερίζει την εργασία βάσει των υπολογιστικών πόρων; 2: Ο χρήστης θέτει αρχικές τιμές και μεταφέρει αρχικά διανύσματα όπως το r 0 στην αποθήκη δεδομένων ΙΒΡ; Θέτουμε k=0; 3: while CG δεν συγκλίνει και k<k max do 4: Ο χρήστης αναθέτει τις CG εργασίες στους s διακομιστές και περιμένει μέχρι να τελειώσουν οι εργασίες; 77

78 5: Ο χρήστης διαμερίζει ξανά την εργασία, εάν υπάρξει οποιαδήποτε αλλαγή σ αυτήν ή στους υπολογιστικούς πόρους; 6: Θέτουμε k=k+1; 7: end while 8: Ο χρήστης διαβάζει την τελική απάντηση από την ΙΒΡ αποθήκη δεδομένων; Ο αλγόριθμος 1 παρουσιάζει τον γενικό αλγόριθμο Συζυγών Κλίσεων. Οι εργασίες χρησιμοποιούν τον φάκελο DSI (Distributed Passing Interface) για την επεξεργασία των διανυσμάτων στην ΙΒΡ αποθήκη. Μετά από κάθε επαναληπτικό βήμα, ο χρήστης μπορεί να αποφασίσει την επανάληψη της εργασίας και να την αναθέσει αναλόγως σε άλλους υπολογιστικούς διακομιστές. Αλγόριθμος 2 Χρειαζόμαστε: ο φάκελος διαχειρίζεται τα διανύσματα x, r, z, p, q στην ΙΒΡ αποθήκη δεδομένων και την παράμετρο k. Απαιτούμε: τον προρρυθμιστή Κ. 1: // Κάθε διακομιστής i εκτελεί τα ακόλουθα: 2: Διαβάζουμε το r i από την ΙΒΡ αποθήκη 3: Λύνουμε το z i από την Kz i =r i 4: Υπολογίζουμε ρ i =(r i,z i ) 5: Ανανεώνουμε το z i στην αποθήκη 6: -ΣΥΓΧΡΟΝΙΖΟΥΜΕ- (ο χρήστης αθροίζει τα ρ i ) 7: Διαβάζουμε τα z i και ρ i απ την αποθήκη 8: if k=1 then 9: Θέτουμε p i =z i 10: else 11: Θέτουμε β i =ρ/ρ old 12: Θέτουμε p i =z i +β i p i 13: end if 14: Υπολογίζουμε q i =Ap i 15: Υπολογίζουμε α i =ρ/(p i,q i ) 16: Ανανεώνουμε τα p i και q i στην αποθήκη 17: -ΣΥΓΧΡΟΝΙΖΟΥΜΕ- (ο χρήστης αθροίζει τα α i ) 18: Διαβάζουμε τα x i,r i και q i απ την αποθήκη 19: Θέτουμε x i =x i +αp i 20: Θέτουμε r i =r i -αq i 21: Ανανεώνουμε τα x i και r i στην αποθήκη 22: Ελέγχουμε την σύγκλιση; συνεχίζουμε αν είναι απαραίτητο 23: Οι χρήστες θέτουν ρ old =ρ Ο αλγόριθμος 2 εφαρμόζει την PCG μέθοδο. Παρατηρούμε ότι υπάρχουν δύο φράγματα συγχρονισμού για τον υπολογισμό του α και ρ. Σημειώνουμε ότι ο συγχρονισμός αποτελείται από τρία ξεχωριστά βήματα. Πρώτον, στο τέλος κάθε υποεργασίας (subtask) τα σχετικά δεδομένα ανανεώνονται στην αποθήκη (γραμμή 5). Η υποεργασία έπειτα επιστρέφει το εσωτερικό γινόμενο στον χρήστη (γραμμή 6). 78

79 Τέλος, η επόμενη υποεργασία ξεκινάει, αφού διαβαστούν απ την αποθήκη τα σχετικά δεδομένα (γραμμή 7). Έτσι, έχουμε ως αποτέλεσμα την πλήρη αντιγραφή των διανυσμάτων x, r, z, p και q στην ΙΒΡ αποθήκη. Επομένως, στην περίπτωση πιθανής αποτυχίας του διακομιστή κατά την εκτέλεση ενός επαναληπτικού βήματος, εξασφαλίζουμε την διατήρηση των δεδομένων στην ΙΒΡ αποθήκη και την συνέχιση της επαναληπτικής διαδικασίας χωρίς κανένα πρόβλημα. Αλγόριθμος 3 Χρειαζόμαστε: τη διαχείριση των x, r, w, p, q και s στην ΙΒΡ αποθήκη δεδομένων και των παραμέτρων α και β. Απαιτούμε: τον προρρυθμιστή Κ και τις αρχικές τιμές: Λύνουμε το w απ την Kw=r; s:=av; ρ:=(r,w); μ:=(s,w); α:=ρ/μ. 1: //Κάθε διακομιστής i εκτελεί τα ακόλουθα: 2: Διαβάζουμε τα x i και p i απ την αποθήκη 3: Ανάλογα με το εύρος ζώνης του πίνακα, διαβάζουμε και τα κατάλληλα διανύσματα q, r, w και s. 4: Θέτουμε p i =w i +βp i 5: Θέτουμε q i =s i +βq i 6: Θέτουμε x i =x i +αp i 7: Θέτουμε r i =r i -αq i 8: Ελέγχουμε τη σύγκλιση; συνεχίζουμε αν είναι απαραίτητο 9: Λύνουμε το w i απ την Kw i =r i 10: Υπολογίζουμε s i =Aw i 11: Υπολογίζουμε ρ i =(r i,w i ) 12: Υπολογίζουμε μ i =(s i,w i ) 13: Ανανεώνουμε τα x i,r i,w i,p i,q i και s i στην αποθήκη 14: Επιστρέφουμε τα ρ i και μ i στον χρήστη 15: -ΣΥΓΧΡΟΝΙΖΟΥΜΕ- 16: Ο χρήστης αθροίζει τα ρ i και μ i για όλα τα i 17: Ο χρήστης θέτει β= ρ/ρ old 18: Ο χρήστης υπολογίζει το α= ρ/(μ-ρβ/α) 19: Ο χρήστης θέτει ρ old =ρ Για την αύξηση του βαθμού ανάλυσης (granularity), εφαρμόζουμε τον αλγόριθμο 3 που είναι μια παραλλαγή των Chronopoulos/Gear της PCG μεθόδου, έχοντας ένα μόνο σημείο συγχρονισμού. Αυτή η μέθοδος παρουσιάζει 2n flops επιπλέον σε κάθε επαναληπτικό βήμα, σε σχέση με την αρχική μέθοδο. Η παραγωγή του πίνακα που προκύπτει απ τη διακριτοποίηση της εξίσωσης Poisson με μεταβαλλόμενη πυκνότητα, απαιτεί έναν αξιοσημείωτο αριθμό υπολογισμών, αυξάνοντας τον βαθμό ανάλυσης (granularity) ακόμα πιο πολύ. Αριθμητικά πειράματα Τα αριθμητικά πειράματα χωρίζονται σε τρία μέρη. Αρχικά, θα εξετάσουμε τη διαφορά μεταξύ της κανονικής CG μεθόδου και της παραλλαγής των Chronopoulos/Gear και θα πειραματιστούμε με κάποια χαρακτηριστικά γνωρίσματα 79

80 του μηχανισμού υποδομής κατανεμημένης αποθήκευσης (DSI: Distributed Storage Infrastructure). Η εφαρμογή με τα καλύτερα αποτελέσματα χρησιμοποιείται για το υπόλοιπο των πειραμάτων. Στη συνέχεια, περιγράφουμε τα πειράματα σε ένα ετερογενές υπολογιστικό περιβάλλον και τέλος, διεξάγουμε την συνολική εκτέλεση των πειραμάτων, κάνοντας χρήση των προρρυθμιστών Jacobi και block Jacobi. Το υπόλοιπο στο επαναληπτικό βήμα k ορίζεται ως r k =b-ax k.ως αρχικό διάνυσμα παίρνουμε το x 0 =0 και χρησιμοποιούμε ως κριτήριο τερματισμού. Για να ερευνήσουμε σωστά την αποτελεσματικότητα του αλγορίθμου στο λειτουργικό του πλέγματος, χρησιμοποιούμε δύο πλατφόρμες δοκιμών (grid testbeds). Η πρώτη πλατφόρμα είναι μία τοπική συστοιχία υπολογιστών, δηλαδή ένα σύστημα πολλαπλών χρηστών που αποτελείται από κόμβους με διαφορετικούς επεξεργαστές και εργασίες που θα εκτελεστούν (workloads). Η συστοιχία αποτελείται από δέκα όμοιους υπολογιστές με επεξεργαστή Core AMD Athlon 64 και δύο διπλούς Core CPU κόμβους (Intel Core 2 CPU 6700) με μνήμη 3GB και 8GB, αντίστοιχα, σε περιβάλλον Linux 2.6. Η δεύτερη πλατφόρμα δοκιμών είναι ο Distributed ASCI Supercomputer 3 (DAS-3) που αποτελείται από ένα σύνολο πέντε διαχωρισμένων συστοιχιών υπολογιστών, οι οποίες εκτείνονται σε τέσσερα ακαδημαϊκά ιδρύματα στην Ολλανδία. Και οι πέντε δικτυακοί τόποι είναι συνδεδεμένοι με SURFnet. Όσον αφορά το σύνολο των πειραμάτων ξεχωρίζουμε τις τρεις ακόλουθες εφαρμογές: στην τοπική συστοιχία υπολογιστών, 1. συνήθης PCG μέθοδος χρησιμοποιώντας έναν μόνο DSI φάκελο, 2. μέθοδος των Chronopoulos/Gear χρησιμοποιώντας έναν DSI φάκελο, 3. μέθοδος των Chronopoulos/Gear χρησιμοποιώντας έξι ξεχωριστούς DSI φακέλους για κάθε διάνυσμα, με τυχαία σειρά επιλογής. Σε κάθε πείραμα χρησιμοποιούμε τον προρρυθμιστή Jacobi με αριθμό επαναλήψεων ίσος με πέντε. Το σχήμα 1(a) μας δείχνει τον συνολικό χρόνο (wall clock time) που απαιτείται για την περάτωσης της δεύτερης εφαρμογής για διάφορες τιμές του n, χρησιμοποιώντας οκτώ διακομιστές. Παρατηρούμε ότι δίνοντας μεγάλες τιμές στο n, η δεύτερη εφαρμογή εκτελείται καλύτερα απ ότι αν δίναμε μικρότερες τιμές (οι οποίες δεν προσφέρουν σημαντική βελτίωση στο χρόνο εκτέλεσης, ακόμη κι αν χρησιμοποιήσουμε περισσότερους διακομιστές). Στο σχήμα 1(b) δίνονται τα αποτελέσματα και των τριών εφαρμογών για n= Είναι φανερό ότι οι εκτελέσεις των παραλλαγών Chronopoulos/Gear στην προσπάθεια τους να βελτιώσουν τον βαθμό ανάλυσης (granularity), καταλήγουν σε σημαντική επιτάχυνση. Επίσης, παρατηρούμε ότι οι εργασίες στην δεύτερη και τρίτη εφαρμογή τελειώνουν σχεδόν στον ίδιο χρόνο, σε αντίθεση με την πρώτη. Στο σχήμα 2 απεικονίζεται ο συνολικός χρόνος περάτωσης των εργασιών για εφτά διακομιστές, μετά από πέντε βήματα εφαρμογής της μεθόδου CG των Chronopoulos/Gear και χωρίζεται σε ένα τμήμα που αφορά την επικοινωνία και σε 80

81 ένα άλλο που αφορά τους υπολογισμούς. Σημειώνουμε ότι το σχήμα 2(b) δείχνει ότι χρησιμοποιώντας ξεχωριστούς DSI φακέλους η επικοινωνία γίνεται πιο ισορροπημένη. Όταν κάνουμε χρήση ενός μόνο DSI φακέλου, οι χρόνοι περάτωσης της κάθε εργασίας δεν βρίσκονται σε πλήρη ισορροπία, όπως φαίνεται και στο σχήμα 2(a). Αυτό συμβαίνει επειδή ο χρήστης, μολονότι εισάγει μια ακολουθία κλήσεων (calls), στο τέλος της πρώτης εργασίας οι ανανεώσεις στον DSI φάκελο συγχέονται με τις ανανεώσεις των υπόλοιπων εργασιών, κάτι που αποκαλύπτει την ποσότητα των δαπανών που απαιτούνται για την επικοινωνία. Σχήμα 1. Χρόνοι περάτωσης (wall clock times) των CG εφαρμογών στο GridSolve σε μια τοπική συστοιχία υπολογιστών: (a) διαφορετικό μέγεθος προβλήματος, δεύτερη εφαρμογή, μέχρι οκτώ διακομιστές, (b)n=4 10 6, και οι τρεις εφαρμογές, μέχρι οκτώ διακομιστές [9]. 81

82 Σχήμα 2. Διαχωρισμός του χρόνου περάτωσης (wall clock time) των εργασιών σε επικοινωνία και υπολογισμούς (μαύρο τμήμα), για n= και χρησιμοποιώντας εφτά διακομιστές: εισάγοντας έναν DSI φάκελο (a), εισάγοντας πολλαπλούς DSI φακέλους (b), [9]. Ετερογενές περιβάλλον Πάνω στις δύο πλατφόρμες δοκιμών εκτελούμε ετερογενή πειράματα. Στην τοπική συστοιχία υπολογιστών, προσομοιώνουμε τον όγκο εργασίας (workload) που επηρεάζει τον διαμερισμό της υπολογιστικής εργασίας. Στον DAS-3 δεν προσομοιώνεται ο όγκος εργασίας, αλλά οι διαφορές στην ταχύτητα του επεξεργαστή που είναι όμοιο με τον διαμερισμό της εργασίας. Στην τοπική συστοιχία, προσομοιώνουμε τον μεταβαλλόμενο όγκο εργασίας, εκτελώντας μια συγκεκριμένη διαδικασία σε κάθε διακομιστή. Η διαδικασία αυτή εναλλάσσεται μεταξύ μιας επαναλαμβανόμενης εκτέλεσης ενός πολλαπλασιασμού πίνακα (μεγάλης διάστασης) με διάνυσμα και της αδρανοποίησης της για τυχαίο 82

83 χρονικό διάστημα (της τάξης του δευτερολέπτου). Όσον αφορά την προρρύθμιση, επιλέγουμε τον προρρυθμιστή Jacobi για αυτά τα πειράματα. Έχοντας τέσσερις διακομιστές με ένα εκατομμύριο (προσεγγιστικά) εξισώσεις σε κάθε διακομιστή, δίνουμε το παρακάτω σχήμα 3. Στο σχήμα 3(a) ο όγκος εργασίας του κάθε διακομιστή παρουσιάζεται στην αρχή του κάθε επαναληπτικού βήματος, όπως παρατηρείται απ τον GridSolve μεσολαβητή. Το σχήμα 3(b) δείχνει την αντίστοιχη κατανομή των blocks πινάκων και των διανυσμάτων-γραμμής, όπου οι εργασίες είναι αριθμημένες από κάτω προς τα πάνω. Τα διαγράμματα δείχνουν, ξεκάθαρα, επίδραση του μεταβαλλόμενου όγκου εργασίας στην κατανομή. Για παράδειγμα, στο έκτο επαναληπτικό βήμα, ο διακομιστής 4, δεν είναι αρκετά απασχολημένος, με αποτέλεσμα η εργασία 4 να έχει το μεγαλύτερο μέγεθος. Για να εξετάσουμε την επίδραση της στρατηγικής διαμερισμού της υπολογιστικής εργασίας στο χρόνο εκτέλεση τους αλγορίθμου σε ένα ετερογενές υπολογιστικό περιβάλλον, μετράμε τους συνολικούς χρόνους περάτωσης (wall clock times) των πέντε επαναληπτικών βημάτων χρησιμοποιώντας είτε ομογενή, είτε ετερογενή διαμερισμό. Όμως, αρκετά πειράματα μας έχουν δείξει ότι η στρατηγική αυτή έχει μέτρια επίδραση στον συνολικό χρόνο εκτέλεσης. Εξαιτίας του μικρού λόγου υπολογισμού προς επικοινωνία, ο αλγόριθμος διαμερισμού επηρεάζει την επικοινωνία της κάθε εργασίας με την αποθήκη δεδομένων. Έτσι, ο συνολικός χρόνος εκτέλεσης δεν μειώνεται αισθητά όταν κάνουμε χρήση ετερογενών διαμερισμών σε ετερογενείς υπολογιστικούς πόρους. 83

84 Σχήμα 3. Ετερογενείς πειράματα σε τρισδιάστατo bubbly flow πρόβλημα (τοπική συστοιχία): όγκος εργασίας (a), κατανομή (b), [9]. Παράλληλη επεξεργασία Παρακάτω δίνονται τα αποτελέσματα της παράλληλης επεξεργασίας χρησιμοποιώντας δύο τεχνικές προρρύθμισης, τόσο στην τοπική συστοιχία υπολογιστών, όσο και στον DAS-3, χωρίς workload. Αρχικά, ορίζουμε το μέγεθος του προβλήματος να είναι ίσο με n=120 3 και εξετάζουμε την επιτάχυνση χρησιμοποιώντας μέχρι έξι διακομιστές στην τοπική συστοιχία. Το σχήμα 4(a) δείχνει τον συνολικό χρόνο περάτωσης μέχρι να επιτύχουμε σύγκλιση. Στο σχήμα 5(a) δίνονται τα αποτελέσματα της επιτάχυνσης του DAS-3 για n=25 3. Ένας διακομιστής ξεκινάει από έναν τυχαία επιλεγμένο κόμβο της κάθε συστοιχίας του DAS-3. Ο χρήστης βρίσκεται στον επικεφαλή κόμβο του VU ιστοτόπου (site). Αυξάνοντας το μέγεθος του προβλήματος σε ένα εκατομμύριο εξισώσεις σε κάθε διακομιστή και εκτελώντας πέντε επαναληπτικά βήματα με τη χρήση των προρρυθμιστών Jacobi και block Jacobi συμπεραίνουμε την γρήγορη αύξηση των δαπανών ως προς την επικοινωνία. Τα αποτελέσματα για την τοπική συστοιχία δίνονται στο σχήμα 4(b), ενώ το 5(b) μας παρουσιάζει τα αποτελέσματα του DAS-3. 84

85 Χρησιμοποιώντας τον προρρυθμιστή Jacobi καταλήγουμε σε έναν μη ευνοϊκό λόγο υπολογισμού προς επικοινωνία με αποτέλεσμα οι δαπάνες επικοινωνίας να αυξάνονται αρκετά γρήγορα. Απ την άλλη, με τον block Jacobi προρρυθμιστή ο λόγος είναι αρκετά ευνοϊκός, κάτι που φαίνεται κι απ την μειωμένη αύξηση του χρόνου εκτέλεσης. Σχήμα 4. Σύγκριση των δύο τεχνικών προρρύθμισης (τοπική συστοιχία): πειράματα επιτάχυνσης (a), πειράματα αλλαγής κλίμακας (b), [9]. 85

86 Σχήμα 5. Σύγκριση των δύο τεχνικών προρρύθμισης (DAS-3): πειράματα επιτάχυνσης (a), πειράματα αλλαγής κλίμακας (b), [9]. Παρουσιάζοντας, συνοπτικά, τα όσα αναφέρθηκαν παραπάνω έχουμε: την περιγραφή δύο εφαρμογών της PCG μεθόδου, χρησιμοποιώντας το μεσισμικό επίπεδο (grid middleware) GridSolve την εκτίμηση των εφαρμογών σε ετερογενές υπολογιστικό λειτουργικό και την παρουσίασή τους σε ρεαλιστικά προβλήματα την χρήση του μεσισμικού για την εφαρμογή ενός αλγορίθμου που διαμερίζει την υπολογιστική εργασία την χρήση πολλαπλών DSI φακέλων, έτσι ώστε να επιτύχουμε την μείωση των δαπανών επικοινωνίας μέσω μιας γέφυρας επικοινωνίας την αύξηση του βαθμού ανάλυσης (granularity) χρησιμοποιώντας την παραλλαγή των Chronopoulos/Gear με ένα σημείο συγχρονισμού σε κάθε επανάληψη και αφιερώνοντας περισσότερη δουλειά στη φάση της προρρύθμισης. 86

87 5.2 Επίλυση αραιών γραμμικών συστημάτων με τη χρήση του προρρυθμιστή ατελούς παραγοντοποίησης (Incomplete Factorization) Θεωρούμε το γραμμικό σύστημα όπου Α είναι ένας αραιός, συμμετρικός και θετικά ορισμένος πίνακας, τάξης n. Λύνουμε την (1) με τον αλγόριθμο προρρυθμισμένων συζυγών κλίσεων, όπου ο πίνακας προρρύθμισης, τον οποίο καλούμε C, είναι μία ατελής παραγοντοποιημένη μορφή του πίνακα Α. Ξεκινάμε, εκτελώντας μια ατελή παραγοντοποίηση του Α, όπου Ρ είναι ένας πίνακας μεταθέσεων, Ε είναι ένας συμμετρικός πίνακας του σφάλματος, L είναι ένας μοναδιαίος, κάτω τριγωνικός πίνακας και D είναι ένας διαγώνιος πίνακας. Έπειτα, τροποποιούμε τα διαγώνια στοιχεία στον D κατά την παραγοντοποίηση, ώστε να επιτύχουμε την εξής ιδιότητα όπου ζ είναι μία μη αρνητική παράμετρος και α ij και c ij είναι στοιχεία των Α και C, αντίστοιχα. Σε περίπτωση που κατά την παραγοντοποίηση ο ενεργός πίνακας γίνει μη ορισμένος, τροποποιούμε περαιτέρω τον D, έτσι ώστε να εξασφαλίσουμε το θετικά ορισμένο του πίνακα προρρύθμισης C. Έτσι, επιλύουμε το σύστημα (1) χρησιμοποιώντας την προρρυθμισμένη μέθοδο συζυγών κλίσεων, με άλλα λόγια, ο πίνακας συντελεστών Α πολλαπλασιάζεται από αριστερά με τον C -1 για να μειώσουμε τον αριθμό κατάστασης του πίνακα επανάληψης. Ατελής Παραγοντοποίηση (Incomplete Factorization) Η ατελής παραγοντοποίηση που χρησιμοποιούμε, βασίζεται στην απαλοιφή Gauss με οδηγούς τα διαγώνια στοιχεία, έτσι ώστε να διατηρήσουμε τη συμμετρία. Απαλείφουμε στοιχεία κατά την παραγοντοποίηση, εάν είναι αριθμητικά μικρότερα σε σχέση με τα διαγώνια στοιχεία της αντίστοιχης γραμμής και στήλης που ανήκουν, ή αν είναι fill-ins (στοιχεία ενός πίνακα, τα οποία από μηδέν γίνονται μη μηδενικά κατά την εκτέλεση ενός αλγορίθμου). Έτσι, εκφράζουμε τον Α με τον ακόλουθο τρόπο: όπου ο C παριστάνει την ατελή παραγοντοποίηση και ο Ε περιέχει τα στοιχεία που έχουμε απαλείψει. Ο λόγος που εκτελούμε μια ατελή παραγοντοποίηση (στην περίπτωση όπου ο Α είναι αραιός) είναι για να επιτύχουμε μια ακριβή παραγοντοποίηση του Α χωρίς την παραγωγή πολλών fill-ins στοιχείων. 87

88 Τα στοιχεία που απαλείφθηκαν κατά την παραγοντοποίηση του πίνακα του Α είναι μερικά απ τα οποία θα είχαν γίνει fill-ins αν γίνονταν αποδεκτά στην παραγοντοποίηση. Το κριτήριο για την απαλοιφή ενός στοιχείου κατά την παραγοντοποίηση είναι ότι η αριθμητική του τιμή, σε σχέση με τα διαγώνια στοιχεία της αντίστοιχης γραμμής και στήλης που ανήκει, είναι μικρότερη απ την σχετική ανοχή (drop tolerance) c. Στο κ-στο βήμα οδηγό βήμα, απαλείφουμε το α ij (k+1) εάν Πριν ξεκινήσουμε την παραγοντοποίηση, τα διαγώνια στοιχεία τροποποιούνται σύμφωνα με τον παρακάτω τύπο όπου ζ είναι μία μη αρνητική παράμετρος. Εάν ο Β είναι μία μορφή μετάθεσης του πίνακα Α, για παράδειγμα, Β=Ρ Τ ΑΡ και b ij είναι τα στοιχεία του Β, τότε το k-στο βήμα της ατελούς παραγοντοποίησης παίρνει τη μορφή της ψευδό-algol, όταν χρησιμοποιεί το κάτω τριγωνικό κομμάτι: Όπως έχουμε προαναφέρει η παραγοντοποίηση γίνεται σε έναν πίνακα Α, ο οποίος είναι θετικά ορισμένος. Πολλές φορές, όμως, το ορισμένο μπορεί να χαθεί εξαιτίας των στοιχείων που απαλείφονται και των τροποποιήσεων που γίνονται στα διαγώνια στοιχεία. Ένας τρόπος για να το αποτρέψουμε είναι να αυξήσουμε το μέγεθος της παραμέτρου ζ. Εφόσον δεν γνωρίζουμε, απ την αρχή, το μέγεθος του ζ, πρέπει να παρουσιάσουμε μια τροποποίηση των διαγώνιων στοιχείων, εάν αυτά πάρουν αρνητική τιμή, ή τιμή κοντά στο μηδέν, έτσι ώστε να διατηρήσουμε την ευστάθεια 88

89 της παραγοντοποίησης. Αυτό το πετυχαίνουμε, εξετάζοντας κάθε οδηγό στοιχείο d kk και απαιτούμε όπου u είναι μια σταθερά για την οποία επιλέξαμε την τιμή Εάν χρησιμοποιούμε μόνο οδηγούς στοιχεία που ικανοποιούν αυτό το κριτήριο, εξασφαλίζουμε ένα όριο στην αύξηση του μεγέθους των στοιχείων στον ενεργό πίνακα B (k), το οποίο δεν υπερβαίνει το (1+u -1 ) σε κάθε στάδιο. Αν η (7) δεν ικανοποιείται, τότε αλλάζουμε την τιμή του οδηγού σε Εάν d kk 0 και το μέγιστο στοιχείο εκτός διαγωνίου είναι μηδέν, τότε θέτουμε d kk :=1. Η τροποποίηση (8) μας εξασφαλίζει ότι οι πολλαπλασιαστές l ik σ αυτό το οδηγό βήμα θα είναι, κατ απόλυτη τιμή, μικρότεροι της μονάδας. Μια άλλη τεχνική για να διατηρήσουμε το θετικά ορισμένο είναι να αντικαταστήσουμε την διαγώνια τροποποίηση του αλγορίθμου μας με PCG αλγόριθμος και υπορουτίνες για την εφαρμογή του Παρακάτω δίνεται ο αλγόριθμος γραμμένος σε ψευδό-algol που ως αρχική προσέγγιση επιλέγουμε όπου ο C προκύπτει απ την ατελή παραγοντοποίηση του Α. 89

90 Το διάνυσμα g υπολογίζεται απ την επίλυση του γραμμικού συστήματος Απ την βιβλιοθήκη υπορουτίνων Harwell, αναπτύσσονται παρακάτω κάποιες υπορουτίνες, οι οποίες εφαρμόζουν τα προαναφερθέντα. Η ατελής παραγοντοποίηση ενεργοποιείται μέσω της ΜΑ31Α, η οποία παριστάνεται ως μία οδηγός ρουτίνα. Τα επίπεδα, τα οποία κατατάσσονται οι υπορουτίνες δίνονται στο σχήμα 1. Σχήμα 1. Η δομή των υπορουτίνων της ατελούς παραγοντοποίησης [10]. Ως είσοδο, ο χρήστης πρέπει να καθορίσει τα μη μηδενικά στοιχεία του άνω τριγωνικού τμήματος του πίνακα συντελεστών στις πρώτες nz θέσεις της διάταξης Α, όπου nz είναι ο αριθμός των μη μηδενικών στοιχείων (σχήμα 2). Επίσης, οι δείκτες γραμμής και στήλης βρίσκονται στις διατάξεις ΙΝΙ και ΙΝJ, δηλαδή το Α(k),k=1,,nz, έχει δείκτη γραμμής INI(k) και δείκτη στήλης INJ(k). Τα μη μηδενικά στοιχεία μπορούν να είναι σε οποιαδήποτε σειρά. Αφού αντιγράψουμε όλα τα στοιχεία, η παραγοντοποίηση εκτελείται αθροίζοντας τα αντίγραφα (μετά την εκτύπωση του προειδοποιητικού μηνύματος). Στην ΜΑ31C εκτελείται η διαδικασία της ατελούς παραγοντοποίησης. Πριν την έναρξη της παραγοντοποίησης, εκτελούμε την διαγώνια τροποποίηση που δίνεται απ 90

91 την (6) με ζ= c, όπου c η τιμή εισόδου της αντίστοιχης ανοχής (drop tolerance). Μ αυτόν τον τρόπο το μέγεθος των διαγώνιων στοιχείων μετά την τροποποίηση δεν πρέπει να υπερβαίνει το μέγεθος των μη μηδενικών στοιχείων που απαλείψαμε κατά την παραγοντοποίηση. Σχήμα 2. Εισαγωγή του πίνακα συντελεστών σε διατάξεις Α, ΙΝΙ και ΙΝJ [10]. Στην έξοδο της ΜΑ31Α, οι διατάξεις Α και ΙΝJ περιέχουν την ατελή παραγοντοποίηση και τον πίνακα συντελεστών όπως φαίνεται στο σχήμα 3. Οι πρώτες nz-n θέσεις περιέχουν τα μη μηδενικά στοιχεία εκτός διαγωνίου του πίνακα συντελεστών Α (όπου η γραμμή i προηγείται της i+1). H ΙΝJ περιέχει τους δείκτες στήλης των μη μηδενικών στις αντίστοιχες θέσεις της διάταξης Α. Το υπόλοιπο τμήμα των Α και ΙΝJ χρησιμοποιείται για τα μη μηδενικά, εκτός διαγωνίου στοιχεία του ατελώς παραγοντοποιημένου πίνακα. Ο αριθμός των μη μηδενικών στοιχείων κάθε γραμμής επιστρέφεται στην πρώτη στήλη της διάταξης ΙΚ και τα διαγώνια στοιχεία τοποθετούνται στις στήλες της διάταξης W. Αποθηκεύοντας αυτές τις διατάξεις (W, A, INJ και IK), γινόμενα την μορφής C -1 A μπορούν εύκολα να εκτελεστούν. 91

92 Σχήμα 3. Η αποθήκευση των στοιχείων [10]. Η υπορουτίνα ΜΑ31Β χρησιμοποιεί τον PCG αλγόριθμο για την επίλυση της (1). Ο πίνακας συντελεστών Α προρρυθμίζεται, χρησιμοποιώντας την ατελή παραγοντοποιημένη μορφή (C ) που υπολογίζεται απ την υπορουτίνα ΜΑ31Α. Η ΜΑ31Β αποτελεί την οδηγό ρουτίνα, η οποία ελέγχει τις παραμέτρους εισόδου και εξάγει διαγνώσεις για τα σφάλματα. Η δομή των υπορουτίνων δίνεται στο σχήμα 4. Σχήμα 4. Δομή των επαναληπτικών υπορουτίνων [10]. 92