ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΠΙΛΥΣΗΣ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ

ΚΕΦΑΛΑΙΟ IV ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΜΕΘΟ ΟΙ ΕΠΙΛΥΣΗΣ ΓΡΑΜΜΙΚΩΝ ΣΥΣΤΗΜΑΤΩΝ IV. Γενικές επαναληπτικές µέθοδοι Όπως είδαµε η ανάλυση της µεθόδου Guss έδειξε ότι η υπολογιστική προσπάθεια της µεθόδου για τη λύση ενός συστήµατος είναι O( 3 ). Εξ` άλλου, οι απαιτήσεις µνήµης είναι της τάξης του 2 (O( 2 )). Αν τώρα θεωρήσουµε συστήµατα µε 5, µε αραιούς πίνακες συντελεστών (που περιέχουν λίγους σχετικά συντελεστές ), τότε η εφαρµογή της µεθόδου απαλοιφής αποδεικνύεται χρονοβόρα. Τέτοια συστήµατα εµφανίζονται συνήθως στην αριθµητική επίλυσης συστηµάτων µε µερικές παραγώγους και χαρακτηρίζονται από αραιούς πίνακες συντελεστών, έτσι ώστε να απαιτούν µνήµη ανάλογη του, αντί του 2. Επιπλέον τα στοιχεία των πίνακων αυτών έχουν και άλλες πρόσθετες ιδιότητες. Για την επίλυση τέτοιων συστηµάτων εκτός των µεθόδων παραγοντοποίησης, εφαρµόζονται µε επιτυχία και οι επαναληπτικές µέθοδοι. Η απλούστερη µορφή των επαναληπτικών µεθόδων αποτελεί γενίκευση της επανάληψης του σταθερού σηµείου που είδαµε στο κεφάλαιο II. Συγκεκριµένα,, για να κατασκευάσουµε µια επαναληπτική µέθοδος ενός οµαλού συστήµατος x Ax=b, επιλέγουµε ένα πίνακα B και ένα διάνυσµα c, έτσι ώστε η εξίσωση x = Bx + c (IV..) να είναι ισοδύναµη µε την Ax- b=. Υπολογίζουµε τότε την ακολουθία {x k } k=,,2,... που προκύπτει από την επανάληψη : x k = Bx k- + c, k=,2,... (IV..2) ξεκινώντας από µια αρχική τιµή διανύσµατος x.αναζητούµε τότε συνθήκες που να εξασφαλίζουν ότι η ακολουθία {x k } συγκλίνει στη λύση x της (IV..) και άρα του συστήµατος. Θα λέµε ότι µια ακολουθία -διάστατων διανυσµάτων {x k } συγκλίνει στο διάνυσµα x όταν lim k x ik = x

όπου x ik υποδηλώνει την i-συντεταγµένη του διανύσµατος x. Για να επιλέξουµε τώρα ένα πίνακα B και ένα διάνυσµα c έτσι ώστε η µορφή (IV..) να είναι ισοδύναµη µε την Ax-b=, γράφουµε τον A ως διαφορά δύο πινάκων A=Q-P, όπου Q είναι ένας "εύκολα" αντιστρέψιµος πίνακας, οπότε παίρνουµε το ισοδύναµο σύστηµα : (Q-P)x = b x = Q - Px +Q - b = Q - (Q-A)x k- + Q - b =(I-Q - A)x k- + Q - b Η γενική επαναληπτική µέθοδος ορίζεται από την επαναληπτική εξίσωση : x k = Bx k- + c, k=,2,... x =δοθέν διάνυσµα (IV..3) όπου B=Q - P και c=q - b. Η επιλογή του Q θα πρέπει να είναι τέτοια ώστε, ο υπολογισµός του διανύσµατος Q -, για κάθε διάνυσµα, να απαιτεί πολύ λιγότερες πράξεις από ότι ο υπολογισµός του A -. Ετσι ο Q θα µπορούσε να είναι διαγώνιος (όπως στην επανάληψη Jcobi),τριγωνικός (όπως στην µέθοδο Guss-Seidel), ή ταινιακός πίνακας, ή και γινόµενο δύο τριγωνικών πινάκων, Ακόµα, όπως θα δούµε και στη συνέχεια, ο πίνακας Q - θα πρέπει να είναι µια αρκετά καλή προσέγγιση του A -, έτσι ώστε να ισχύει I-Q - A < για κάποια φυσική νόρµα πίνακα. Πριν συζητήσουµε συνθήκες για την σύγκλιση της (IV..3), ας εισάγουµε µερικούς χρήσιµους ορισµούς και βοηθητικές προτάσεις : Ορισµός IV.. θα λέµε ότι µια ακολουθία διανυσµάτων {x k } του R, k=,,2,... έχει όριο το διάνυσµα x, και θα σηµειώσουµε lim k x k =x, τότε και µόνον τότε, όταν η ακολουθία {x k -x}, k=,,2,... έχει όριο το µηδενικό διάνυσµα. Ορισµός IV..2 θα λέµε ότι µια ακολουθία x πινάκων {A k }, k=,,2,... έχει όριο τον πίνακα A, και θα σηµειώνουµε lim k A k =A, αν και µόνον αν η ακολουθία {A k -A}, k=,,2,... έχει όριο το µηδανικό x πίνακα. Μπορούµε να διαπιστώνουµε, όµως πιο εύκολα τη σύγκλιση µιας ακολουθίας διανυσµάτων {x k }, µε την βοήθεια της παρακάτω πρότασης : Πρόταση IV.. Ικανή και αναγκαία συνθήκη για να είναι lim k x k =x, είναι : lim k x k - x = για κάποια (τυχαία) νόρµα στο R. (IV..4) Απόδειξη: Αφήνεται σαν άσκηση.

Ας σηµειωθεί εδώ ότι αν µια ακολουθία διανυσµάτων συγκλίνει ως προς µια νόρµα σε ένα διάνυσµα, θα συγκλίνει στο ίδιο διάνυσµα και ως προς οποιαδήποτε άλλη. Λήµµα IV.. Αν. p,. q είναι δύο τυχαίες νόρµες στο R και {x k } µια ακολουθία του R, τότε αν x k - x p για k, θα είναι και x k - x q, για k, και αντιστρόφως. Ανάλογη πρόταση ισχύει και για τους πίνακες. Πρόταση IV.. Ικανή και αναγκαία συνθήκη για να είναι lim k A k =A, είναι lim k A k -A = (IV..5) για κάποια νόρµα πίνακα. Τότε σύµφωνα µε το Λήµµα IV.., η σχέση (IV..5) θα ισχύει και για οποιοδήποτε άλλη νόρµα. Πρόταση IV..3 Για κάθε πίνακα και για κάθε φυσική νόρµα. πίνακα είναι Ak < A k (IV..6) Πρόταση IV..4 Αν A <,τότε lim k Ak =. Απόδειξη: Eπειδή A <, είναι A k,και από την (IV..6) A k, δηλαδή A k. Πρόταση IV..5 Εστώ A ένας x πίνακας µε ιδιοτηµές λ i i=,2,...,, και φασµατική ακτίνα ρ(a) = mx λ i. Τότε για οποιαδήποτε φυσική νόρµα πίνακα ισχύει ρ(a)< A. Απόδειξη: Aφήνεται σαν άσκηση. Πρόταση IV..6 Ικανή και αναγκαία συνθήκη για να είναι lim k Ak =, είναι ρ(a)<. Απόδειξη Αν Ak, τότε από την πρόταση IV..2 είναι Ak, όπου. µια φυσική νόρµα. θεωρούµε τώρα µια τυχαία ιδιοτιµή του A και το αντίστοιχο ιδιοδιάνυσµα xλ, µε xλ =. Τότε : A k Ax supx = supx x A x = = mx u = x Άρα Ak Ak xλ = λk xλ = λk, και εποµένως λk, και k, από όπου προκύπτει λ <,δηλαδή ρ(a)<. Αντίστροφα αν ρ(a)<, µπορεί να αποδειχθεί ότι υπάρχει φυσική νόρµα., έτσι ώστε A ρ(a)+ε<,οπότε Ak A k (ρ(a)+ε)k,και άρα Ak. Επανερχόµενοι τώρα στη σύγκλιση της ακολουθίας (IV..3) έχουµε το παρακάτω σηµαντικό αποτέλεσµα : Au A k x λ Θεώρηµα IV.. Iκανή και αναγκαία συνθήκη για να συγκλίνει η ακολουθία {x k } στη λύση του συστήµατος Ax=b για οποιοδήποτε αρχικό διάνυσµα x, είναι η :

lim B k = k Aπόδειξη: Aπό τις (IV..) και (IV..2) λαµβάνουµε : από όπου συνάγουµε ότι : x k - x = B(x k- - x) = B 2 (x k-2 - x) = B 3 (x k-3 - x) =... = B k (x - x) x k - x B k x - x Εξ άλλου, εφόσον B k, B k,και εποµένως η ακολουθία {x k } συγκλίνει στο x για κάθε αρχικό x. Αντίστροφα, αν x k x, για κάθε x,τότε x k - x. Αν για i=, 2,..., επιλέξουµε διαδοχικά : x = x + e i, όπου e i = (,,...,,...,) T (το στη θέση i) λαµβάνουµε τις σχέσεις : x k - x = B k (x - x) = B i e i = i- στήλη του B k, i=,2,... Αρα B k = ( B k e,..., B k e ) e i (,,...,) για k. Μια ισοδύναµη συνθήκη για τη σύγκλιση υπαγορεύται κατευθείαν από την πρόταση IV..6,ενώ µια ικανή συνθήκη, από το πόρισµα IV..: Θεώρηµα IV..2 Για να συγκλίνει η ακολουθία {x k } στη λύση του συστήµατος Ax=b για οποιοδήποτε αρχικό διάνυσµα x, πρέπει και αρκεί ρ(b)<,όπου ρ(b) είναι η φασµατική ακτίνα του Α. Πόρισµα IV... Aν για κάποια νόρµα., ισχύει B <, τότε η ακολουθία {x k } συγκλίνει στο x για οποιοδήποτε αρχικό διάνυσµα x. Tο Πόρισµα IV.. αποτελεί τµήµα του εξής βασικού θεωρήµατος : Aν x η µοναδική λύση της διανυσµατικής εξίσωσης x=bx+c, τότε η ακολουθία που παράγεται από την επανάληψη x k =Bx k- +c, ξεκινώντας από ένα τυχαίο διάνυσµα x, συγκλίνει στο x τότε και µόνον τότε, όταν B <,για κάποια νόρµα πίνακα.. Γενικά, για τη σύγκλιση των επαναληπτικών µεθόδων αρκεί να βεβαιωνόµαστε ότι ισχύει ρ(b)<. Eπειδή όπως για µεγάλα συστήµατα η εύρεση της ρ(b) είναι πολύπλοκη και χρονοβόρα, εξετάζουµε πρώτα αν ισχύει η συνθήκη B < για κάποια από τις νόρµες. και. που υπολογίζονται πιο εύκολα.

Aνάλυση Σφάλµατος Aπό την ανισότητα x k - x σφάλµατος : x k - x B k x - x B k x - x προκύπτει το παρακάτω φράγµα του (IV..7) Από όπου φαίνεται ότι όσο µικρότερη είναι η B, τόσο ταχύτερη είναι η σύγκλιση της επαναληπτικής µεθόδου. Επίσης, επειδή για κάθε φυσική νόρµα είναι ρ(b)< B, ισχύει προσεγγιστικά : x k - x ρ(b) k x - x Από όπου συµπεραίνουµε ότι η ταχύτητα σύγκλισης µιας επαναληπτικής µεθόδου εξαρτάται από το µέγεθος του ρ(b): όσο µικρότερο του είναι το ρ(b), τόσο ταχύτερα πλησιάζουµε την λύση x, δηλαδή τηνν επιθυµητή ακρίβεια. Εξ` άλλου, αν B < λαµβάνουµε : x- x k- x- x k + x k - x k- B x- x k- + x k - x k- x- x k- (- B ) - x k - x k- x- x k B (- B ) - x k - x k- (IV..8) Eπειδή x k - x k- = B k- (x - x ), έχουµε x k - x k- B k- x - x, και (IV..8) γίνεται x - x k B k ( - B ) - x - x (IV..9) Eπειδή τα x k -x k- και x -x υπολογίζονται εύκολα, οι εκτιµήσεις σφάλµατος (IV..8) και (IV..9) είναι εξαιρετικά χρήσιµες στην εφαρµογή των επαναληπτικών µεθόδων. Aσκήσεις IV.. Eστω B ένας άνω-τριγωνικός πίνακας µε µηδενική κύρια διαγώνιο. είξτε ότι η επαναληπτηκή µέθοδος x k = Bx k- + c (c R) συγκλίνει IV..2 Yπολογείστε στα παραδείγµατα IΙΙ.. και IΙΙ..2 τις φασµατικές ακτίνες που αντιστοιχούν στις δυο µεθόδους. Επιχειρηµατολογείστε αναφορικά µε την ταχύτητα τους. IV..3 είξτε ότι οι επαναληπτικοί µέθοδοι µε πίνακες επανάληψης B =.9.9, B 2=.9.9 Συγκλίνουν πάντα (Yπόδειξη: δείξτε ότι, είτε υπάρχει µια νόρµα., ώστε B <, είτε ότι ισχύει Bk, για k ). IV..4 Nα δειχθεί το πόρισµα IV...

IV.2 Mέθοδος Jcobi Eστω ένα γραµµικό σύστηµα Ax=b, όπου ο Α είναι αντιστρέψιµος και µε µη µηδενικά διαγώνια στοιχεία. Στην επαναληπτική µέθοδο Jcobi επιλέγουµε τους πίνακες P και Q ως εξής : Q = dig([, 22,, ] Τ ) (διαγώνιος πίνακας µε τα στοιχεία στη διαγώνιο) 2 P = Q A = 2 2 Από όπου προκύπτει : Q = 22 Όπου τα B και c προσδιορίζονται εύκολα : b =, i j, c i, i = j H µέθοδος γράφεται : = b i, i =,..., (IV.2.) x k = Bx k- +c k=,2,... (IV.2.2) x =δοθέν διάνυσµα ή υπό την µορφή πινάκων : x k = - 2-2 22 - - 2 22 x k- + b b 2 22 k=,2,... - - 2 b (IV.2.3) Θέτοντας x k = (x k, x 2k,..., x k )T στην (IV.2.3) βρίσκουµε την αναλυτική µορφή :

x ik = b i - x j,k- j, i=,2,..., x ik δοθέν, i=,2,...,, k=,2,... (IV.2.4) Ως γνωστόν, ικανή και αναγκαία συνθήκη για τη σύγκλιση της ακολουθίας (IV.2.4) είναι ρ(q - P) = ρ(i-q - A) <. Eπίσης, µια ικανή συνθήκη για τη σύγκλιση της (IV.2.4) είναι I-Q - A <. H τελευταία όµως µπορεί να εξασφαλισθεί από µια άλλη ιδιότητα του Α, όπως προκύπτει από το ακόλουθο θεώρηµα : Θεώρηµα IV..3 Aν ο πίνακας Α έχει α.δ.κ τότε η µέθοδος Jcobi συγκλίνει για κάθε αρχικό διάνυσµα x. Aπόδειξη Aν ο Α έχει α.δ.κ τότε, οπότε µπορεί να εφαρµοσθεί η µέθοδος Jcobi. Επί πλέον, θα είναι < για i=,2,..., j i Aπό την παραπάνω ανισότητα και τις σχέσεις (IV.2.),προκύπτει B = mx i j Ij < Οπότε από το πόρισµα IV.. προκύπτει ότι η επανάληψη Jcobi συγκλίνει Παράδειγµα IV.2. Θεωρούµε το σύστηµα 4x - + z = 7 4x- 8 + z= -2-2x + + 5z = 5 To σύστηµα έχει α.δ.κ και εποµένως η µέθοδος Jcobi συγκλίνει για οποιοδήποτε αρχικό διάνυσµα. Ξεκινόντας µε αρχικό διάνυσµα u =(,2,2) και λαµβάνουµε : x k = /4 (7+ k- -z k- ) k = /8 (2+4x k- +z k- ) z k = /5 (5+2x k - k- ) H θεωρητική λύση είναι η x=(2,4,3). Tα αποτελέσµατα των διαδοχικών επαναλήψεων δίνονται στον πίνακα : k x k k z k. 2. 2..75 3.375 3. 2.84375 3.875 3.25 3.9625 3.925 2.9625 4.99625 3.9765625 3. 5.994463 3.995325 3.9375................................ 9 2. 4. 3.

Για την εκτίµηση του σφάλµατος στην 5 η επανάληψη, λαµβάνουµε εφαρµόζοντας την (IV..8): u 5 - u B (- B ) - u 5 - u 4 = = (.625/.375).875 =.325 H µέθοδος Jcobi διατυπώνεται από τον εξής αλγόριθµο : Αλγόριθµος Jcobi Iput, A, b, x, ανοχή Tοl, µέγιστος αριθµός επαναλήψεων NMx. Output λύση x, µήνηµα ότι εξαντλήθηκε ο NMx, φράγµα σφάλµατος Error. begi for i:= to do [ for j:= to do {κατασκευή το B στο C και το c στο d} if i the c := else c := - / d i := b i / ; ] Yπολόγισε C ; for k:= to do x k := Cx k- +d ; Error := C / (- C ) x k -x k- ; if x k - x k- < Tol { x k - x k- / x k < Tol } the [ write(x, Error), exit ; ] Write('εξαντλήθηκε ο NMx' ) ed Jcobi IV.3 Mέθοδος Guss-Seidel Eστω ένα γραµµικό σύστηµα Ax=b, όπου ο Α είναι αντιστρέψιµος και µε µη µηδενικά διαγώνια στοιχεία. Στην επαναληπτική µέθοδο Guss-Seidel επιλέγουµε τριγωνικούς πίνακες : - 2 - Q = 2 22 και P = Q-A = - 2 2 H µέθοδος γράφεται : x k = Bx k- +c k=,2,... (IV.3.) x = δοθέν

µε B=Q - P και c=q - b. Ισοδύναµα έχουµε το παρακάτω σύστηµα ως προς x k : Qx k = Px k- +b k=,2,..., το οποίο λύνεται µε εµπρός αντικατάσταση. Συγκεκριµένα παίρνουµε : x ik = b i - x jk - x j,k- i+, i=,2,..., (IV.3.2) Θεώρηµα IV.3. Aν ο πίνακας Α έχει α.δ.κ τότε η µέθοδος Guss-Seidel συγκλίνει για κάθε αρχικό διάνυσµα. Aπόδειξη Αφού ο Α έχει α.δ.κ θα είναι j p < για i =,2,..., Aς θέσουµε για κάθε R z = Q - P = B, λαµβάνουµε µέσω της (IV.3.2): zi = z j j, i =,2,..., j = i+ Θα δείξουµε ότι z i p, i=,2,...,, µε επαγωγή, Για i= λαµβάνουµε: z i 2 j j = 2 p Υποθέτουµε τώρα ότι ισχύει z k p για k=,2,...,i- και δείχνουµε ότι ισχύει και για k=i. Είναι : z i i z j + i+ j i p + i+ Συνεπώς ισχύει z i p για k=,...,. Aπο αυτήν συνεπάγεται άµεσα i j p B = z p Άρα B p< και σύµφωνα µε το πόρισµα IV.., η µέθοδος συγκλίνει. B p για κάθε R, µε. Συνήθως η µέθοδος Guss-Seidel υπερέχει υπολογιστικά της µεθόδου Jcobi. Yπάρχουν όµως συστήµατα για τα οποία συγκλίνει η µια µόνον από τις δύο µεθόδους. Επειδή, όπως αναπτύχθηκε πιο πάνω, η ταχύτητα σύγκλισης µιας επαναληπτικής µεθόδου εξαρτάται από το πόσο µικρό είναι το ρ(b), τότε δοσµένο σύστηµα θα πρέπει

να επιλέγεται εκείνη η επαναληπτική µέθοδος για την οποία το ρ(b) να γίνεται ελάχιστο. Παράδειγµα IV.3. Aν εφαρµόσουµε στο σύστηµα του παραδείγµατος IV.2. τη µέθοδο Guss-Seidel, λαµβάνουµε : x k = /4 (7+ k- -z k- ) k = /8 (2+4x k +z k- ) z k = /5 (5+2x k - k ) Eπειδή το σύστηµα έχει α.δ.κ η µέθοδος συγκλίνει. Ξεκινόντας µε το ίδιο αρχικό διάνυσµα u =(,2,2), λαµβάνουµε µια ακολουθία διανυσµάτων που συγκλίνει στη λύση (2,4,3), όπως φαίνεται στο παρακάτω πίνακα : k x k k z k. 2. 2..75 3.75 2.95 2.95 3.96875 2.98625 3.995625 3.9969375 2.999325................................. 8.99999983 3.99999988 2.99999996 9.99999998 3.99999999 3. 2. 4. 3. Συγκρίνοντας τους δύο πίνακες είναι φανερό ότι η µέθοδος Guss-Seidel συγκλίνει πιο γρήγορα από ότι η µέθοδος Jcobi. Aσκήσεις IV.3. Nα διατυπωθεί και να υλοποιηθεί στο Mtlb ο αλγόριθµος Guss-Seidel. IV.3.2 Nα υπολογισθούν οι λύσεις των συστηµάτων των ασκήσεων III.5. και III.5.9 µε εφαρµογή της µεθόδου Guss-Seidel. Nα χρησιµοποιηθεί ακρίβεια 3 σ.ψ. Να υπολογισθούν οι φασµαυικές ακτίνες των πινάκων συντελεστών και να εκτιµηθούν τα σχετικά σφάλµατα των λύσεων. IV.3.3 Nα υπολογισθούν οι λύσεις των συστηµάτων των ασκήσεων III.5. και III.5.9 µε εφαρµογή της µεθόδου Jcobi. Nα χρησιµοποιηθεί ακρίβεια 3 σ.ψ και να εκτηµιθούν τα σχετικά σφάλµατα των λύσεων. Συγκρίστε την ταχύτητα των µεθόδων Guss-Seidel και Jcobi για την προσέγγιση της ζητούµενης ακρίβειας.