Αριθµητική Ανάλυση 7 Οκτωβρίου 06 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Επαναληπτικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων ίνεται το γραµµικό σύστηµα Ax = b όπου A R n n είναι µη ιδιάζων πίνακας και x, b R n. Επαναληπτικές Μέθοδοι Οι επαναληπτικές µέθοδοι χρησιµοποιούνται όταν ο πίνακας A είναι : Μεγάλης τάξης ( 0 0 6 ) Αραιός Συγκεκριµένης δοµής Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Βασικές Επαναληπτικές Μέθοδοι Ax = b x = Gx + c R Ax = R b Ορίζουµε την επαναληπτική µέθοδο x = x + τ R (b Ax) x (k+) = x (k) + τ R (b Ax (k) ), k = 0,,, x (k+) = (I τ R A)x }{{} (k) + τ } R {{ b } G τ c τ x (k+) = G }{{} τ x (k) + c τ επαναλ. πίνακας Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Γραµµική στατική Επαναληπτική µέθοδος ου ϐαθµού Για τ = x (k+) = Gx (k) + c, k = 0,,, () όπου G = I R A και c = R b x (0) αυθαίρετο, x (), x (), x (), Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Σύγκλιση της Επαναληπτικής Μεθόδου Θεώρηµα 4.. Η επαναληπτική µέθοδος x (k+) = Gx (k) + c, k = 0,,, συγκλίνει αν και µόνον αν ρ(g) < () όπου ρ(g) = max λ i, η ϕασµατική ακτίνα i λ i ιδιοτιµές του G Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Απόδειξη Εστω x το όριο της ακολουθίας x (k), k = 0,,,... και e (k) το διάνυσµα του σφάλµατος στην k επανάληψη Αφού προκύπτει ότι e (k) = x (k) x x = Gx + c x (k+) x = G (x (k) x) }{{}}{{} e (k+) e (k) e (k+) = Ge (k) = G e (k ) = = G k+ e (0) e (k) = G k e (0) () Αρα lim k x(k) = x αν και µόνο αν lim k e(k) = 0 ή λόγω της () αν lim k (Gk e (0) ) = 0 για κάθε αυθαίρετο e (0). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
..Απόδειξη Συνεπώς από προηγούµενο ϑεώρηµα έχουµε ότι αναγκαία συνθήκη για να ισχύει lim k G k = 0 είναι η ρ(g) <. Αν τώρα υποθέσουµε ότι ρ(g) <, τότε ο I G είναι µη ιδιάζων και το σύστηµα (I G)x = k έχει µία και µοναδική λύση. Αν όµως ρ(g) < τότε lim G k = 0 ή k lim G k = 0. k Επειδή G k e (0) G k e (0) συνεπάγεται ότι lim G k e (0) = 0, οπότε k από την () προκύπτει ότι lim e (k) = 0 ή lim x (k) = x, k k δηλαδή ότι η ε.µ. () συγκλίνει. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7
Σύγκλιση της ε.µ. Ικανή και αναγκαία συνθήκη : ρ(g) < Ικανή συνθήκη : G α < Αριθµητική Ανάλυση 7 Οκτωβρίου 06 8 / 7
Κριτήριο διακοπής της σύγκλισης k επανάληψη x (k) = x (k) x (k) x (k). x (k) n k + επανάληψη x (k+) x (k+) x (k+). x (k+) n = x (k+) x (k+) x (k) α < ɛ, ɛ = 0 d ή όπου α = ή ή. x (k+) x (k) α x (k+) α < ɛ, ɛ = 0 d Αριθµητική Ανάλυση 7 Οκτωβρίου 06 9 / 7
Ταχύτητα σύγκλισης µιας επαναληπτικής µεθόδου Στην πράξη εκτός από την εξασφάλιση της σύγκλισης µιας ε.µ., µας ενδιαφέρει η ταχύτητα µε την οποία συγκλίνει η µέθοδος που χρησιµοποιούµε. Με άλλα λόγια επιθυµούµε να µελετήσουµε την ταχύτητα µε την οποία e (k) 0 για k. Από την () έχουµε ότι αν x (0) x, τότε e (k) e (0) Gk. (4) Ετσι η G k δίνει το µέγεθος µε το οποίο η norm του σφάλµατος έχει ελαττωθεί σε ένα κλάσµα έστω ϱ της e (0). Η ελάττωση αυτή µπορεί να επιτευχθεί αν διαλέξουµε το k έτσι ώστε G k ϱ. (5) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 0 / 7
Μέση ταχύτητα σύγλισης Για όλα λοιπόν τα αρκετά µεγάλα k ώστε G k η παραπάνω ανισότητα είναι ισοδύναµη µε την log ϱ k k log Gk (6) όπου ξ συµβολίζει τον ελάχιστο ακέραιο µεγαλύτερο του ξ. Η (6) δίνει τον ελάχιστο αριθµό επαναλήψεων για τη σύγκλιση της () Παρατηρούµε ότι ο αριθµός αυτός είναι αντιστρόφως ανάλογος προς την ποσότητα ( k log Gk ). Ετσι οδηγούµαστε στον ορισµό της µέσης ταχύτητας σύγκλισης που είναι η ποσότητα R k (G) = k log Gk. (7) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Ασυµπτωτική ταχύτητα σύγλισης Ορίζουµε ως ασυµπτωτική ταχύτητα σύγκλισης ή ταχύτητα σύγκλισης, την ποσότητα R(G) = lim R k (G) = logρ(g) (8) k καθόσον µπορεί να αποδειχθεί ότι ρ(g) = lim k ( G k k ). Για µια (όχι και τόσο καλή) προσέγγιση του αριθµού των επαναλήψεων που χρειάζεται η () για να συγκλίνει χρησιµοποιείται, σύµφωνα µε την (6), ο τύπος k logρ R(G). (9) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Συµπέρασµα Από τον ανωτέρω τύπο και την (8) συµπεραίνουµε ότι όσο µικρότερη είναι η ϕασµατική ακτίνα του επαναληπτικού πίνακα G τόσο ταχύτερα ϑα συγκλίνει ασυµπτωτικά η επαναληπτική µέθοδος. Ωστόσο για να εκτιµήσουµε την αποτελεσµατικότητα µιας επαναληπτικής µεθόδου ϑα πρέπει να λαβουµε υπόψη τόσο την ταχύτητα σύγκλισής της όσο και την υπολογιστική πολυπλοκότητα που απαιτεί η κάθε επανάληψη. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Βασική διάσπαση του πίνακα A A = D C L C U D = a a 0 a 0 a nn 0 a 0 0 C L = a a 0 0... a n a n a n... a n,n 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Βασική διάσπαση του πίνακα A A = D C L C U 0 a 0 0 C L = a a 0 0... a n a n a n... a n,n 0 C U = 0 a a a n 0 a a n 0 a n 0... an,n 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Χρήσιµες µορφές πολλαπλασιασµού πίνακα µε διάνυσµα στους τύπους των επαναληπτικών µεθόδων (D x) i = a ii x i, i =,,, n Θέτουµε και τότε έχουµε i (C L x) i = a ij x j, j= n (C U x) i = a ij x j, j=i+ L = D C L U = D C U i =,,, n i =,,, n Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
Χρήσιµες µορφές πολλαπλασιασµού πίνακα µε διάνυσµα στους τύπους των επαναληπτικών µεθόδων Θέτουµε και τότε έχουµε L = D C L U = D C U (D x) i = a ii x i, i =,,, n i a ij (L x) i = x j, a ii (U x) i = j= n j=i+ a ij a ii x j, i =,,, n i =,,, n Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7
Βασικές Επαναληπτικές Μέθοδοι Ορίζουµε την επαναληπτική µέθοδο x (k+) = x (k) + τ R (b Ax (k) ), k = 0,,, (0) x (k+) = (I τ R A)x }{{} (k) + τ } R {{ b } () G τ c τ x (k+) = G }{{} τ x (k) + c τ () επαναλ. πίνακας Αριθµητική Ανάλυση 7 Οκτωβρίου 06 8 / 7
Θεώρηµα 4.. Αν οι ιδιοτιµές r i, i =,,..., n του πίνακα R A είναι πραγµατικές το επαναληπτικό σχήµα () συγκλίνει αν και µόνον αν r > 0 και 0 < τ < /r n () ή r n < 0 και /r < τ < 0. (4) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 9 / 7
Απόδειξη Λόγω της () οι ιδιοτιµές λ i, i =,,..., n του G τ και εκείνες του R A ικανοποιούν τη σχέση λ i = τ r i, i =,,..., n. (5) Ικανή και αναγκαία συνθήκη για τη σύγκλιση της () είναι η ή ρ(g τ ) < (6) max λ i = max τ r i < (7) i n i n από την οποία εύκολα προκύπτουν οι () και (4). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 0 / 7
Παρατήρηση Ενώ το επαναληπτικό σχήµα x (k+) = G τ x (k) + c τ συγκλίνει αν ισχύουν µία από τις (), (4), η ϐασική µέθοδος x (k+) = Gx (k) + c µπορεί να αποκλίνει καθόσον είναι δυνατό ρ(g) >. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Θεώρηµα 4.. Αν οι ιδιοτιµές του πίνακα R A είναι πραγµατικές και το επαναληπτικό σχήµα () συγκλίνει, τότε για τ = τ 0 = r + r n (8) η ρ(g τ ) γίνεται ελάχιστη και η αντίστοιχη τιµή της δίνεται από τον τύπο ρ(g τ0 ) = k(r A) + k(r A) (9) όπου k(r A) = r n /r. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Παρατήρηση Από την (9) παρατηρούµε ότι ο πίνακας R ϑα πρέπει να εκλεγεί τέτοιος ώστε k(r A) k(a) καθόσον η ποσότητα ρ(g τ0 ) είναι µια αύξουσα συνάρτηση του k(r A) όταν r > 0 ( ανάλογη παρατήρηση ισχύει αν r n < 0). Με άλλα λόγια για επιπλέον ελαχιστοποίηση της ρ(g τ0 ) ϑα πρέπει να ελαχιστοποιηθεί η ποσότητα k(r A). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Θεώρηµα 4.. Αν οι ιδιοτιµές r i, i =,,..., n του πίνακα R A είναι πραγµατικές το επαναληπτικό σχήµα x (k+) = Gx (k) + c (0) συγκλίνει αν και µόνον αν 0 < r και r n <. () Επιπλέον, ρ(g) = { r, αν r n r n, αν r. () Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Παρατήρηση Για τη σύγκλιση της (0) ϑα πρέπει να ισχύει η επιπλέον συνθήκη r n < σε σχέση µε τη σύγκλιση της (). Επίσης είναι εύκολο να αποδειχθεί ότι ρ(g τ0 ) ρ(g) () πράγµα που σηµαίνει ότι η () ϑα έχει µεγαλύτερη ταχύτητα σύγκλισης από την (0) γι αυτό και ϑα αναφέρεται σαν η επιταχυντική µορφή της (0). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Επιλογή του πίνακα R Στη συνέχεια ο πίνακας R ϑα λάβει διάφορες µορφές και ϑα σχηµατίσουµε από την () τις αντίστοιχες επαναληπτικές µεθόδους. Ο πίνακας Α αναλύεται σαν A = D C L C U (4) όπου ο D είναι ένας διαγώνιος πίνακας του οποίου τα στοιχεία είναι τα ίδια µε τα διαγώνια στοιχεία του A και οι πίνακες C L, C U είναι τα αυστηρά κάτω και άνω τριγωνικά µέρη του Α, αντίστοιχα. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
Επαναληπτική µέθοδος Επιταχυντική Jacobi (Jacobi Overrelaxation (JOR)) x (k+) = x (k) + τ R (b Ax (k) ), k = 0,,, (5) Αν στην (5) διαλέξουµε τον R έτσι ώστε R = D τότε προκύπτει ή Αναλύοντας περισσότερο την (7) λαµβάνουµε x (k+) = (I τ D A }{{} )x (k) + τ D b }{{} (6) B τ c τ x (k+) = B τ x (k) + c τ, k = 0,,, (7) x (k+) = [( τ)i + τb]x (k) + τ c, (8) όπου B = L + U, L = D C L, U = D C U και c = D b. (9) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7
Επαναληπτική µέθοδος Jacobi(J) Αν τ = τότε προκύπτει η ε.µ Jacobi η οποία γράφεται: όπου x (k+) = Bx (k) + c, m = 0,,, B = I D A = I D (D C L C U ) = D C }{{} L + D C U = L + U }{{} L U είναι ο επαναληπτικός πίνακας της ε.µ. Jacobi. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 8 / 7
Σύγκλιση της ε.µ. (J) Ικανή και αναγκαία συνθήκη : Ικανή συνθήκη : Επειδή Η ε.µ. (J) συγκλίνει αν ισχύει max i=()n n j = }{{} j i ρ(b) < ρ(b) B = max a ij a ii < ή a ii i=()n n j = }{{} j i n a ij a ii j = }{{} j i a ij <, για κάθε i Αριθµητική Ανάλυση 7 Οκτωβρίου 06 9 / 7
Σύγκλιση της ε.µ. (J) Αυστηρά διαγωνίως υπερτερών πίνακας αν ισχύει a ii > n j = }{{} j i a ij, για κάθε i τότε ο πίνακας A λέγεται αυστηρά διαγωνίως υπερτερών (α.δ.υ). Αρα αν ο A είναι α.δ.υ. τότε ισχύει δηλ. η ε.µ. J συγκλίνει. ρ(b) B < Αριθµητική Ανάλυση 7 Οκτωβρίου 06 0 / 7
Επαναληπτική µέθοδος Jacobi(J) Υπό µορφή πινάκων : Υπό µορφή συνιστωσών : x (k+) i x (k+) = (L + U)x (k) + c, k = 0,,, x (k) x (k+) x (k) x (k+) x (k) = i = j= x (k). x (k) i x (k) i x (k) i+. x (k) n a ij x (k) j a ii n j=i+ x (k+). x (k+) i x (k+) i x (k+) i+. x (k+) n = x (k+) a ij x (k) j + bi, i = ()n a ii a ii Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Επαναληπτική µέθοδος (J) Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του Jacobi συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Ο επαναληπτικός πίνακας της µεθόδου Jacobi είναι ο 0 B = I D A = L + U = 0 0 0 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Επαναληπτική µέθοδος (J) Επίσης B = B =. Οι ιδιοτιµές του Β είναι 0, και -, εποµένως ρ(b) = < x (k+) = ( + x(k) ) x (k+) = (x(k) + x (k) ), k = 0,,... x (k+) = ( + x(k) ). Για x (0) = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) = έχουµε k = 0 x () = ( + x(0) ) = ( + 0) = x () = (x(0) + x (0) ) = ( + ) = x () = ( + x(0) ) = ( + 0) = Αριθµητική Ανάλυση 7 Οκτωβρίου 06 / 7
Επαναληπτική µέθοδος (J) k = k = x () = ( + x() ) = ( + ) = x () = (x() + x () ) = ( + ) = x () = ( + x() ) = ( + ) = x () = ( + x() ) = ( + ) = 4 x () = (x() + x () ) = ( + ) = x () = ( + x() ) = ( + ) = 4. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Αλγόριθµος της ε.µ Jacobi(J). ιάβασε n, ɛ, maxiter. Για i = ()n επανάλαβε ιάβασε x0 i ιάβασε b i για j = ()n επανάλαβε ιάβασε a ij. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε i x i = j= a ij a ii x0 j n j=i+ a ij a ii x0 j + bi a ii 4. itcount = itcount + 4. Αν x x0 < ɛ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Υπολογιστική πολυπλοκότητα του αλγορίθµου της ε.µ (J) 4. Για i = ()n επανάλαβε i a ij n x i = x0 j a ii j= j=i+ a ij a ii x0 j + b i a ii A πυκνός Στην κάθε επανάληψη απαιτούνται ιαιρέσεις : [(i ) + (n i) + ] n = n Πολλαπλασιασµοί : [(i ) + (n i)] n = n(n ) Προσθαφαιρέσεις : n(n ) Αν υποθέσουµε ότι απαιτούνται k επαναλήψεις για τη σύγκλιση της µεθόδου J, τότε έχουµε συνολικά : ιαιρέσεις : kn Πολλαπλασιασµοί : kn(n ) = kn kn Προσθαφαιρέσεις : kn(n ) = kn kn Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
Επαναληπτική µέθοδος Επιταχυντική Gauss-Seidel (EGS) x (k+) = x (k) + τ R (b Ax (k) ), k = 0,,, (0) Αν διαλέξουµε τον R έτσι ώστε R = D C L () τότε προκύπτει x (k+) = x (k) + τ(i L) D (b Ax (k) ) () ή x (k+) = L τ,x (k) + τ(i L) c () όπου L τ, = I τ(i L) D A και c = D b. (4) Εκφράζοντας τον L τ, σε όρους των L και U έχουµε Οπότε έχουµε L τ, = I τ(i L) (I L U) = ( τ)i + τ(i L) U. (5) x (k+) = ( τ)x (k) + L x (k+) + (τ ) L x (k) + τ U x (k) + τ c. (6) Η ανωτέρω µέθοδος καλείται Επιταχυντική Gauss-Seidel(EGS) και για τ = προκύπτει η γνωστή µέθοδος Gauss-Seidel(GS) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) Υπό µορφή πινάκων : Υπό µορφή συνιστωσών : x (k+) = (I L) U x (k) + c, k = 0,,, }{{} L x (k+) = Lx (k+) + Ux (k) + c, k = 0,,, x (k) x (k+) x (k) x (k+) x (k+) i x (k) = i = j= x (k). x (k) i x (k) i x (k) i+. x (k) n a ij x (k+) j a ii n x (k+). x (k+) i x (k+) i x (k+) i+. x (k+) n = x (k+) a ij x (k) j + bi, a ii a ii i = ()n j=i+ Αριθµητική Ανάλυση 7 Οκτωβρίου 06 8 / 7
Σύγκλιση της ε.µ. Gauss-Seidel Ικανή και αναγκαία συνθήκη : ρ(l ) < Ικανή συνθήκη : Αν ο A είναι α.δ.υ. τότε ισχύει L < δηλ. η ε.µ. GS συγκλίνει. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 9 / 7
Επαναληπτική µέθοδος Gauss-Seidel(GS) Για τ = προκύπτει ο τύπος της ε.µ GS όπου c = D b. x (k+) = L x (k+) + U x (k) + c, (7) Επαν. µέθοδοι EGS και GS υπό µορφή συνιστωσών EGS i x (k+) i = j= ^a ijx (k+) j GS για τ = προκύπτει +( τ)x (k) i i +(τ )( i x (k+) i = ^a ijx (k+) j + j= j= ν j=i+ ^a ijx (k) j )+τ( ν j=i+ ^a ijx (k) j )+τ ^b i, i = ()n (8) ^a ijx (k) j + ^b i, i = ()n. (9) όπου ^a ij = aij a ii και ^b i = bi a ii. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 40 / 7
Παρατηρήσεις Για την ύπαρξη των δύο ανωτέρω µεθόδων ϑα πρέπει να υπάρχει ο (D C L ) ή det(d C L ) = detd 0 πράγµα που ισχύει αν όλα τα διαγώνια στοιχεία του Α είναι διάφορα του µηδενός. Παρατηρούµε ότι στις ε.µ. EGS και GS οι αριθµητικές πράξεις επηρεάζονται αν εναλλάξουµε τη σειρά των εξισώσεων του συστήµατός µας. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του GS συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Ο επαναληπτικός πίνακας της µεθόδου GS είναι ο L = (I L) U = 0 0 0 0 0 0 0 0 0 0 0. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) Από τη σχέση (I L)X = I υπολογίζεται εύκολα ο (I L). Εποµένως L = 0 0 0 4 0 0 0 0 0 = 0 0 0 0 0 0 4 8 4 Οι ιδιοτιµές του L είναι οι 0, 0, / εποµένως ρ(l ) = / < που αποδεικνύει ότι η GS συγκλίνει. Παρατηρούµε ότι ρ(l ) = [ρ(b)] για το παρόν παράδειγµα.. x (k+) = ( + x(k) ) x (k+) = (x(k+) + x (k) ), k = 0,,... x (k+) = ( + x(k+) ). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 4 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) Για x (0) = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) =, έχουµε k = 0 k = x () = ( + x(0) ) = ( + 0) = x () = (x() + x (0) ) = ( + ) = 4 x () = ( + x() ) = ( + 4 ) = 7 8 x () = ( + x() ) = ( + 4 ) = 7 8 x () = (x() + x () ) = (7 8 + 7 8 ) = 7 8 x () = ( + x() ) = ( + 7 8 ) = 5 6 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 44 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) k = Παρατήρηση x () = ( + x() ) = ( + 7 8 ) = 5 6 x () = (x() + x () ) = (5 6 + 5 6 ) = 5 6 x () = ( + x() ) = 5 ( + 6 ) =. Η µέθοδος GS συγκλίνει πολύ γρηγορότερα από τη µέθοδο Jacobi προς την ακριβή λύση (,, ) T του συστήµατος. Αυτό αναµενόταν αφού R(L ) = R(B). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 45 / 7
Αλγόριθµος της ε.µ Gauss-Seidel(GS). ιάβασε n, ɛ, maxiter. Για i = ()n επανάλαβε για j = ()n επανάλαβε ιάβασε a ij ιάβασε b i ιάβασε x0 i. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε i x i = j= a ij a ii x j n j=i+ a ij a ii x0 j + bi a ii 4. itcount = itcount + 4. Αν x x0 < ɛ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Αριθµητική Ανάλυση 7 Οκτωβρίου 06 46 / 7
Επαναληπτική Επιταχυντική µέθοδος της ιαδοχικής Υπερµείωσης (Extrapolated Successive Overrelaxation (ESOR)) x (k+) = x (k) + τ R (b Ax (k) ), k = 0,,, (40) Είναι δυνατόν να ϐρεθούν δύο άλλες µέθοδοι αν εισάγουµε µία παράµετρο στη µορφή του R. Ετσι αν ϑέσουµε R = D ωc L (4) στην (40), όπου ω είναι ένας πραγµατικός αριθµός του οποίου ο ϱόλος στη ϕάση αυτή είναι να διαταράξει τον R έτσι ώστε να προσεγγίζει καλύτερα τον Α τότε έχουµε x (k+) = x (k) + τ(i ωl) D (b Ax (k) ), k = 0,,... (4) ή όπου x (k+) = L τ,ω x (k) + τ(i ωl) c (4) L τ,ω = I τ(i ωl) D A. (44) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 47 / 7
Επαναληπτική Επιταχυντική µέθοδος της ιαδοχικής Υπερµείωσης (Extrapolated Successive Overrelaxation (ESOR)) Προκειµένου να ϐρούµε την εξίσωση των συνιστωσών η (4) µπορεί να γραφτεί σαν x (k+) = ( τ)x (k) + ωlx (k+) + (τ ω)lx (k) + τ Ux (k) + τ c (45) οπότε έχουµε x (k+) i = ( τ)x (k) i +τ i + ω ^a ij x (k+) i j + (τ ω) n j=i+ j= j= ^a ij x (k) j ^a ij x (k) j + τ ^b i, i =,,..., n. (46) Κατά την υλοποίηση της ESOR είναι δυνατόν να γίνει εξοικονόµηση των υπολογισµών αν αποθηκευτεί η ποσότητα Lx (k) προκειµένου να χρησιµοποιηθεί στην επόµενη επανάληψη. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 48 / 7
Επαναληπτική µέθοδος της ιαδοχικής Υπερµείωσης (Successive Overrelaxation (SOR) ) Αν ϑέσουµε τ = ω στην ESOR λαµβάνουµε τη δηµοφιλή Successive Overrelaxation(SOR) µέθοδο, η οποία δίνεται διαδοχικά από τους τύπους x (k+) = x (k) + ω(i ωl) D (b Ax (k) ) (47) x (k+) = L ω x (k) + ω(i ωl) c (48) όπου ή L ω = I ω(i ωl) D A. (49) L ω = (I ωl) [( ω)i + ωu] είναι ο επαναληπτικός πίνακας της ε.µ. SOR. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 49 / 7
Επαναληπτική µέθοδος ( Successive Overrelaxation (SOR)) Επίσης η SOR γράφεται και σαν x (k+) = (I ωl) [( ω)i + ωu]x (k) + ω(i ωl) c (50) ή x (k+) = ( ω)x (k) + ω[lx (k+) + Ux (k) + c]. (5) Παρατηρήστε ότι η ποσότητα της αγκύλης είναι η GS µέθοδος, συνεπώς η (5) λαµβάνει τη µορφή x (k+) = ( ω)x (k) + ωx (k+) GS (5) όπου x (k+) GS συµβολίζει την k + επανάληψη της GS µεθόδου. Η (5) υπήρξε η αφετηρία της ανακάλυψης της SOR µεθόδου. Τέλος, υπό µορφή συνιστωσών η SOR δίνεται από τους τύπους x (k+) i = ( ω)x (k) i i + ω j= ^a ij x (k+) j + ω n j=i+ ^a ij x (k) j + ω^b i, i =,,..., n. (5) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 50 / 7
Σύγκλιση της ε.µ. SOR Αν λ i είναι οι ιδιοτιµές του L ω, τότε det(l ω) = n λ i i= Αλλά det(l ω) = det { (I ωl) [( ω)i + ωu] } det { (I ωl) } det {( ω)i + ωu} = ( ω) n = ( ω) n Αρα n n [ρ(l ω)] n λ i = λ i = ( ω) n = ω n i= i= ω ρ(l ω) Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Σύγκλιση της ε.µ. SOR Για να συγκλίνει η ε.µ. SOR ϑα πρέπει να ισχύει ρ(l ω ) < Αρα ή ω < 0 < ω < Εποµένως, αν η ε.µ. SOR συγκλίνει τότε 0 < ω <. Η ϐέλτιστη τιµή ω b της παραµέτρου ω προσδιορίζεται έτσι ώστε να ελαχιστοποιείται η ϕασµατική ακτίνα ρ(l ω ) του επαναληπτικού πίνακα της ε.µ. SOR. Η µελέτη της ρ(l ω ) σαν συνάρτηση της ω ϕαίνεται στο ακόλουθο σχήµα. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Μελέτη της ϕασµατικής ακτίνας ρ(l ω ) S(L ω).0 (, ) (, µ ) (ω b, ω b ).0 ω b.0 ω ω b = + ρ(b), ρ(l ω b ) = ω b Αριθµητική Ανάλυση 7 Οκτωβρίου 06 5 / 7
Επαναληπτική µέθοδος SOR Υπό µορφή πινάκων ή x (k+) = ( ω)x (k) + ωx (k+) GS, k = 0,,, x (k+) = ( ω)x (k) + ω(lx (k+) + Ux (k) + c), k = 0,,, Υπό µορφή συντεταγµένων x (k+) i = ( ω)x (k) i i + ω( j= i = ()n a ij x (k+) j a ii n j=i+ a ij x (k) j + b i ) a ii a ii Αριθµητική Ανάλυση 7 Οκτωβρίου 06 54 / 7
Επαναληπτική µέθοδος SOR Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του SOR συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Η µέθοδος SOR δίνεται από το ακόλουθο επαναληπτικό σχήµα : x (k+) = ( ω)x (k) + ωx (k+) GS, όπου x (k+) GS είναι το επαναληπτικό διάνυσµα που προκύπτει από την εφαρµογή της Gauss-Seidel µεθόδου. Εποµένως, για το τριδιαγώνιο σύστηµα του προηγούµενου παραδείγµατος, η SOR παράγει το επαναληπτικό σχήµα : Αριθµητική Ανάλυση 7 Οκτωβρίου 06 55 / 7
Επαναληπτική µέθοδος SOR x (k+) = ( ω)x (k) + ω ( + x(k) ) x (k+) = ( ω)x (k) + ω (x(k+) + x (k) ), k = 0,,... x (k+) = ( ω)x (k) + ω ( + x(k+) ). Η ϐέλτιστη τιµή του ω δίνεται από τον τύπο (Θεώρηµα.4.6) ω b = + ρ(b) ή ενώ ω b = = + 4 +.76. ρ(ω b ) = ω b 0.76. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 56 / 7
Επαναληπτική µέθοδος SOR Λαµβάνοντας, x (0) = (, 0, ) T, δηλαδή, x (0) =, x (0) = 0 και x (0) = έχουµε για k = 0 x () 4 = ( + ) + + ( + 0) = + = + 0.44 x () 4 = ( + ) 0 + + ( + 4( + ) + ) = ( + ) 0.8984 x () 4 = ( + ) + + 4( + ) ( + ( + ) ) = 4 ( + ) 0.8995 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 57 / 7
Αλγόριθµος της ε.µ SOR. ιάβασε n, ω, ɛ, maxiter. Για i = ()n επανάλαβε για j = ()n + επανάλαβε ιάβασε a ij ιάβασε x0 i. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε x i = ( ω)x0 i+ i +ω( j= a ij a ii x j n j=i+ a ij a ii x0 j + bi a ii ) 4. itcount = itcount + 4. Αν x x0 < ɛ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Αριθµητική Ανάλυση 7 Οκτωβρίου 06 58 / 7
Ασκηση ίνεται το γραµµικό σύστηµα: α 0 α α 0 α x x x = α α α, α R. Να ϐρεθεί ικανή και αναγκαία συνθήκη έτσι ώστε η ε.µ. (GS) να συγκλίνει.. Να δοθούν οι εξισώσεις υπο µορφή συνιστωσών της επαναληπτικής µεθόδου Gauss-Seidel(GS) για την επίλυση του ανωτέρω γραµµικού συστήµατος.. Για α = και x (0) = b να υπολογιστεί η προσεγγιστική τιµή x () της ε.µ. α) GS β) SOR για ω = /. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 59 / 7
Λύση Είναι: A = α 0 α α 0 α, b = α α α Η ϐασική διάσπαση του A είναι όπου D = 0 0 0 0 0 0, CL = A = D C L C U 0 0 0 α 0 0 0 α 0, CU = 0 α 0 0 0 α 0 0 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 60 / 7
Λύση ή D A = I L U όπου L = D C L = 0 0 0 α/ 0 0 0 α/ 0, U = D C U = 0 α/ 0 0 0 α/ 0 0 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
. Επαναληπτικός πίνακας της ε.µ GS Ο επαναληπτικός πίνακας της ε.µ GS είναι ο L = (I L) U Είναι: I L = 0 0 α/ 0 0 α/ Υπολογισµός του (I L) = (I L)(I L) = I x 0 0 y y 0 z z z Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
(I L)(I L) = I 0 0 α/ 0 0 α/ x 0 0 y y 0 z z z x 0 0 ( α/)x + y y 0 ( α/)y + z ( α/)y + z z x = y = α/, y = z = α /4, z = α/, z = = = 0 0 0 0 0 0 0 0 0 0 0 0 Αρα (I L) = 0 0 α/ 0 α /4 α/ Αριθµητική Ανάλυση 7 Οκτωβρίου 06 6 / 7
Εποµένως L = (I L) U = 0 α/ 0 0 α /4 α/ 0 α /8 α /4 Ικανή και αναγκαία συνθήκη σύγλισης της ε.µ. GS Η ε.µ GS συγλίνει ρ(l ) < Εύρεση των ιδιοτιµών του L det(l λi) = 0 λ α/ 0 0 α /4 λ α/ 0 α /8 α /4 λ = 0 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 64 / 7
Εύρεση των ιδιοτιµών του L det(l λi) = 0 λ α/ 0 0 α /4 λ α/ 0 α /8 α /4 λ = 0 ϱίζες : λ = 0, 0, α / Ικανή και αναγκαία συνθήκη σύγκλισης της ε.µ. GS Αν α = 0 τότε ρ(l ) = 0 <, οπότε η ε.µ. GS συγλίνει. Αν α 0 τότε ρ(l ) = α /, οπότε πρέπει : α / < < α < Αρα α (, ). Αριθµητική Ανάλυση 7 Οκτωβρίου 06 65 / 7
Επαναληπτική µέθοδος Gauss-Seidel (GS) Υπό µορφή πινάκων : x (k+) = (I L) Ux (k) + c, k = 0,,, x (k+) = Lx (k+) + Ux (k) + c, k = 0,,, Υπό µορφή συνιστωσών : x (k+) i i = j= a ij x (k+) j a ii n j=i+ a ij x (k) j + b i, i = () a ii a ii Αριθµητική Ανάλυση 7 Οκτωβρίου 06 66 / 7
. Οι εξισώσεις υπο µορφή συνιστωσών της ε.µ. GS για την επίλυση του ανωτέρω γραµµικού συστήµατος είναι οι : x (k+) = x (k+) = α x(k+) + α x(k) x (k+) = α x(k) + α + α α x(k+) + α, k = 0,, Αριθµητική Ανάλυση 7 Οκτωβρίου 06 67 / 7
. Υπολογισµός της προσεγγιστικής τιµής x () Για α = η ε.µ. GS δίνεται από το ακόλουθο επαναληπτικό σχήµα : x (k+) = ( + x(k) ) x (k+) = (x(k+) + x (k) ), k = 0,,,... x (k+) = ( + x(k+) ). Για x (0) = b = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) =, έχουµε για k = 0 x () = ( + x(0) ) = ( + 0) = x () = (x() + x (0) ) = ( + ) = 4 x () = ( + x() ) = ( + 4 ) = 7 8. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 68 / 7
k = x () = ( + x() ) = ( + 4 ) = 7 8 x () = (x() + x () ) = (7 8 + 7 8 ) = 7 8 x () = ( + x() ) = ( + 7 8 ) = 5 6 k = x () = ( + x() ) = ( + 7 8 ) = 5 6 x () = (x() + x () ) = (5 6 + 5 6 ) = 5 6 x () = ( + x() ) = 5 ( + 6 ) =. Αριθµητική Ανάλυση 7 Οκτωβρίου 06 69 / 7
β) ε.µ SOR x (k+) = ( ω)x (k) + ω ( α +αx(k) ) x (k+) = ( ω)x (k) + ω ( α +αx(k+) +αx (k) ) x (k+) = ( ω)x (k) + ω ( α +αx(k+) ), k = 0,,, Αριθµητική Ανάλυση 7 Οκτωβρίου 06 70 / 7
Για α = και x (0) = b = [, 0, ] T και για ω = / έχουµε : k = 0 i = i = x () = x(0) x () = x(0) i = + + x () = x(0) + ( + x(0) ) = + 4 ( + 0) = 4 (0 + x() + x (0) ) = 0 + 7 (/4 + ) = 4 6 ( + x() ) = + 55 ( + 7/6) = 4 64 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7
k = i = i = x () = x() i = x () = x() + x () = x() + + ( + x() ) = 4 + 47 ( + 7/6) = 4 64 (0 + x() + x () ) = 7 6 + 4 (47/64 + 55/64) = 58 56 ( + x() ) = 5 64 + 854 ( + 58/56) = 4 04 Αριθµητική Ανάλυση 7 Οκτωβρίου 06 7 / 7