Αριθµητική Ανάλυση. Ενότητα 3 Αριθµητικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων. Ν. Μ. Μισυρλής. Τµήµα Πληροφορικής και Τηλεπικοινωνιών,

Transcript

1 Αριθµητική Ανάλυση Ενότητα Αριθµητικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων Ν. Μ. Μισυρλής Τµήµα Πληροφορικής και Τηλεπικοινωνιών, Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

2 Επαναληπτικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων ίνεται το γραµµικό σύστηµα Ax = b όπου A R n n είναι µη ιδιάζων πίνακας και x, b R n. Επαναληπτικές Μέθοδοι Οι επαναληπτικές µέθοδοι χρησιµοποιούνται όταν ο πίνακας A είναι : Μεγάλης τάξης ( ) Αραιός Συγκεκριµένης δοµής Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

3 Βασικές Επαναληπτικές Μέθοδοι Ax = b x = Gx+c R Ax = R b Ορίζουµε την επαναληπτική µέθοδο x = x+τr (b Ax) x (k+) = x (k) +τr (b Ax (k) ), k = 0,,, x (k+) = (I τr A)x }{{} (k) +τr }{{ b } G τ c τ x (k+) = G }{{} τ x (k) + c τ επαναλ. πίνακας Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

4 Γραµµική στατική Επαναληπτική µέθοδος ου ϐαθµού Για τ = x (k+) = Gx (k) + c, k = 0,,, () όπου G = I R A και c = R b x (0) αυθαίρετο, x (), x (), x (), Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

5 Σύγκλιση της Επαναληπτικής Μεθόδου Θεώρηµα 4.. Η επαναληπτική µέθοδος x (k+) = Gx (k) + c, k = 0,,, συγκλίνει αν και µόνον αν ρ(g) < () όπου ρ(g) = max λ i, η ϕασµατική ακτίνα i λ i ιδιοτιµές του G Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

6 Απόδειξη Εστω x το όριο της ακολουθίας x (k), k = 0,,,... και e (k) το διάνυσµα του σφάλµατος στην k επανάληψη Αφού προκύπτει ότι e (k) = x (k) x x = Gx+ c x (k+) x }{{} e (k+) = G(x (k) x) }{{} e (k) e (k+) = Ge (k) = G e (k ) = = G k+ e (0) e (k) = G k e (0) () Αρα lim k x(k) = x αν και µόνο αν lim k e(k) = 0 ή λόγω της () αν lim k (Gk e (0) ) = 0 για κάθε αυθαίρετο e (0). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

7 ..Απόδειξη Συνεπώς από προηγούµενο ϑεώρηµα έχουµε ότι αναγκαία συνθήκη για να ισχύει lim k G k = 0 είναι ηρ(g) <. Αν τώρα υποθέσουµε ότιρ(g) <, τότε ο I G είναι µη ιδιάζων και το σύστηµα (I G)x = k έχει µία και µοναδική λύση. Αν όµως ρ(g) < τότε lim G k = 0 ή k lim G k = 0. k Επειδή G k e (0) G k e (0) συνεπάγεται ότι lim G k e (0) = 0, οπότε k από την () προκύπτει ότι lim e (k) = 0 ή lim x (k) = x, k k δηλαδή ότι η ε.µ. () συγκλίνει. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

8 Σύγκλιση της ε.µ. Ικανή και αναγκαία συνθήκη : ρ(g) < Ικανή συνθήκη : G α < Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 8 / 77

9 Κριτήριο διακοπής της σύγκλισης k επανάληψη x (k) = x (k) x (k) x (k). x (k) n k + επανάληψη x (k+) x (k+) x (k+). x (k+) n = x (k+) x (k+) x (k) α < ǫ, ǫ = 0 d ή όπου α = ή ή. x (k+) x (k) α x (k+) α < ǫ, ǫ = 0 d Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 9 / 77

10 Ταχύτητα σύγκλισης µιας επαναληπτικής µεθόδου Στην πράξη εκτός από την εξασφάλιση της σύγκλισης µιας ε.µ., µας ενδιαφέρει η ταχύτητα µε την οποία συγκλίνει η µέθοδος που χρησιµοποιούµε. Με άλλα λόγια επιθυµούµε να µελετήσουµε την ταχύτητα µε την οποία e (k) 0 για k. Από την () έχουµε ότι αν x (0) x, τότε e (k) e (0) Gk. (4) Ετσι η G k δίνει το µέγεθος µε το οποίο η norm του σφάλµατος έχει ελαττωθεί σε ένα κλάσµα έστω της e (0). Η ελάττωση αυτή µπορεί να επιτευχθεί αν διαλέξουµε το k έτσι ώστε G k. (5) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 0 / 77

11 Μέση ταχύτητα σύγλισης Για όλα λοιπόν τα αρκετά µεγάλα k ώστε G k η παραπάνω ανισότητα είναι ισοδύναµη µε την log k k log Gk (6) όπου ξ συµβολίζει τον ελάχιστο ακέραιο µεγαλύτερο του ξ. Η (6) δίνει τον ελάχιστο αριθµό επαναλήψεων για τη σύγκλιση της () Παρατηρούµε ότι ο αριθµός αυτός είναι αντιστρόφως ανάλογος προς την ποσότητα( k log Gk ). Ετσι οδηγούµαστε στον ορισµό της µέσης ταχύτητας σύγκλισης που είναι η ποσότητα R k (G) = k log Gk. (7) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

12 Ασυµπτωτική ταχύτητα σύγλισης Ορίζουµε ως ασυµπτωτική ταχύτητα σύγκλισης ή ταχύτητα σύγκλισης, την ποσότητα R(G) = lim R k (G) = logρ(g) (8) k καθόσον µπορεί να αποδειχθεί ότι ρ(g) = lim k ( G k k ). Για µια (όχι και τόσο καλή) προσέγγιση του αριθµού των επαναλήψεων που χρειάζεται η () για να συγκλίνει χρησιµοποιείται, σύµφωνα µε την (6), ο τύπος k logρ R(G). (9) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

13 Συµπέρασµα Από τον ανωτέρω τύπο και την (8) συµπεραίνουµε ότι όσο µικρότερη είναι η ϕασµατική ακτίνα του επαναληπτικού πίνακα G τόσο ταχύτερα ϑα συγκλίνει ασυµπτωτικά η επαναληπτική µέθοδος. Ωστόσο για να εκτιµήσουµε την αποτελεσµατικότητα µιας επαναληπτικής µεθόδου ϑα πρέπει να λαβουµε υπόψη τόσο την ταχύτητα σύγκλισής της όσο και την υπολογιστική πολυπλοκότητα που απαιτεί η κάθε επανάληψη. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

14 Βασική διάσπαση του πίνακα A A = D C L C U D = a a 0 a 0 a nn 0 a 0 0 C L = a a a n a n a n... a n,n 0 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

15 Βασική διάσπαση του πίνακα A A = D C L C U 0 a 0 0 C L = a a a n a n a n... a n,n 0 C U = 0 a a a n 0 a a n 0 a n 0... an,n 0 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

16 Χρήσιµες µορφές πολλαπλασιασµού πίνακα µε διάνυσµα στους τύπους των επαναληπτικών µεθόδων (D x) i = a ii x i, i =,,, n Θέτουµε και τότε έχουµε i (C L x) i = a ij x j, j= n (C U x) i = a ij x j, j=i+ L = D C L U = D C U i =,,, n i =,,, n Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

17 Χρήσιµες µορφές πολλαπλασιασµού πίνακα µε διάνυσµα στους τύπους των επαναληπτικών µεθόδων Θέτουµε και τότε έχουµε L = D C L U = D C U (D x) i = a ii x i, i =,,, n i a ij (L x) i = x j, a ii (U x) i = j= n j=i+ a ij a ii x j, i =,,, n i =,,, n Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

18 Βασικές Επαναληπτικές Μέθοδοι Ορίζουµε την επαναληπτική µέθοδο x (k+) = x (k) +τr (b Ax (k) ), k = 0,,, (0) x (k+) = (I τr A)x }{{} (k) +τr }{{ b } () G τ c τ x (k+) = G }{{} τ x (k) + c τ () επαναλ. πίνακας Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 8 / 77

19 Θεώρηµα 4.. Αν οι ιδιοτιµές r i, i =,,..., n του πίνακα R A είναι πραγµατικές το επαναληπτικό σχήµα () συγκλίνει αν και µόνον αν r > 0 και 0 < τ < /r n () ή r n < 0 και /r < τ < 0. (4) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 9 / 77

20 Απόδειξη Λόγω της () οι ιδιοτιµέςλ i, i =,,..., n του G τ και εκείνες του R A ικανοποιούν τη σχέση λ i = τr i, i =,,..., n. (5) Ικανή και αναγκαία συνθήκη για τη σύγκλιση της () είναι η ή ρ(g τ ) < (6) max λ i = max τr i < (7) i n i n από την οποία εύκολα προκύπτουν οι () και (4). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 0 / 77

21 Παρατήρηση Ενώ το επαναληπτικό σχήµα x (k+) = G τ x (k) + c τ συγκλίνει αν ισχύουν µία από τις (), (4), η ϐασική µέθοδος x (k+) = Gx (k) + c µπορεί να αποκλίνει καθόσον είναι δυνατόρ(g) >. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

22 Θεώρηµα 4.. Αν οι ιδιοτιµές του πίνακα R A είναι πραγµατικές και το επαναληπτικό σχήµα () συγκλίνει, τότε για τ = τ 0 = r + r n (8) ηρ(g τ ) γίνεται ελάχιστη και η αντίστοιχη τιµή της δίνεται από τον τύπο ρ(g τ0 ) = k(r A) +k(r A) (9) όπου k(r A) = r n /r. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

23 Παρατήρηση Από την (9) παρατηρούµε ότι ο πίνακας R ϑα πρέπει να εκλεγεί τέτοιος ώστε k(r A) k(a) καθόσον η ποσότηταρ(g τ0 ) είναι µια αύξουσα συνάρτηση του k(r A) όταν r > 0 ( ανάλογη παρατήρηση ισχύει αν r n < 0). Με άλλα λόγια για επιπλέον ελαχιστοποίηση της ρ(g τ0 ) ϑα πρέπει να ελαχιστοποιηθεί η ποσότητα k(r A). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

24 Θεώρηµα 4.. Αν οι ιδιοτιµές r i, i =,,..., n του πίνακα R A είναι πραγµατικές το επαναληπτικό σχήµα x (k+) = Gx (k) + c (0) συγκλίνει αν και µόνον αν 0 < r και r n <. () Επιπλέον, ρ(g) = { r, αν r n r n, αν r. () Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

25 Παρατήρηση Για τη σύγκλιση της (0) ϑα πρέπει να ισχύει η επιπλέον συνθήκη r n < σε σχέση µε τη σύγκλιση της (). Επίσης είναι εύκολο να αποδειχθεί ότι ρ(g τ0 ) ρ(g) () πράγµα που σηµαίνει ότι η () ϑα έχει µεγαλύτερη ταχύτητα σύγκλισης από την (0) γι αυτό και ϑα αναφέρεται σαν η επιταχυντική µορφή της (0). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

26 Επιλογή του πίνακα R Στη συνέχεια ο πίνακας R ϑα λάβει διάφορες µορφές και ϑα σχηµατίσουµε από την () τις αντίστοιχες επαναληπτικές µεθόδους. Ο πίνακας Α αναλύεται σαν A = D C L C U (4) όπου ο D είναι ένας διαγώνιος πίνακας του οποίου τα στοιχεία είναι τα ίδια µε τα διαγώνια στοιχεία του A και οι πίνακες C L, C U είναι τα αυστηρά κάτω και άνω τριγωνικά µέρη του Α, αντίστοιχα. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

27 Επαναληπτική µέθοδος Επιταχυντική Jacobi (Jacobi Overrelaxation (JOR)) x (k+) = x (k) +τr (b Ax (k) ), k = 0,,, (5) Αν στην (5) διαλέξουµε τον R έτσι ώστε R = D τότε προκύπτει ή Αναλύοντας περισσότερο την (7) λαµβάνουµε x (k+) = (I τd A)x (k) +τd b (6) }{{}}{{} B τ c τ x (k+) = B τ x (k) + c τ, k = 0,,, (7) x (k+) = [( τ)i+τb]x (k) +τc, (8) όπου B = L+U, L = D C L, U = D C U και c = D b. (9) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

28 Επαναληπτική µέθοδος Jacobi(J) Αν τ = τότε προκύπτει η ε.µ Jacobi η οποία γράφεται: όπου x (k+) = Bx (k) + c, m = 0,,, B = I D A = I D (D C L C U ) = D C }{{} L + D C U = L+U }{{} L U είναι ο επαναληπτικός πίνακας της ε.µ. Jacobi. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 8 / 77

29 Σύγκλιση της ε.µ. (J) Ικανή και αναγκαία συνθήκη : Ικανή συνθήκη : Επειδή Η ε.µ. (J) συγκλίνει αν ισχύει max i=()n n j = }{{} j i ρ(b) < ρ(b) B = max a ij a ii < ή a ii i=()n n j = }{{} j i n a ij a ii j = }{{} j i a ij <, για κάθε i Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 9 / 77

30 Σύγκλιση της ε.µ. (J) Αυστηρά διαγωνίως υπερτερών πίνακας αν ισχύει a ii > n j = }{{} j i a ij, για κάθε i τότε ο πίνακας A λέγεται αυστηρά διαγωνίως υπερτερών (α.δ.υ). Αρα αν ο A είναι α.δ.υ. τότε ισχύει δηλ. η ε.µ. J συγκλίνει. ρ(b) B < Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 0 / 77

31 Επαναληπτική µέθοδος Jacobi(J) Υπό µορφή πινάκων : Υπό µορφή συνιστωσών : x (k+) = (L+U)x (k) + c, k = 0,,, x (k) x (k+) x (k) x (k+) x (k) = x (k). x (k) i x (k) i x (k) i+. x (k) n x (k+). x (k+) i x (k+) i x (k+) i+. x (k+) n = x (k+) x (k+) i i a ij = x (k) j a ii j= n j=i+ a ij x (k) j a ii + bi a ii, i = ()n Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

32 Επαναληπτική µέθοδος (J) Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του Jacobi συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Ο επαναληπτικός πίνακας της µεθόδου Jacobi είναι ο 0 B = I D A = L+U = Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

33 Επαναληπτική µέθοδος (J) Επίσης B = B =. Οι ιδιοτιµές του Β είναι 0, και -, εποµένως ρ(b) = < x (k+) = (+x(k) ) x (k+) = (x(k) + x (k) ), k = 0,,... x (k+) = (+x(k) ). Για x (0) = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) = έχουµε k = 0 x () = (+x(0) ) = (+0) = x () = (x(0) + x (0) ) = (+) = x () = (+x(0) ) = (+0) = Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα / 77

34 Επαναληπτική µέθοδος (J) k = k = x () = (+x() ) = (+) = x () = (x() + x () ) = ( + ) = x () = (+x() ) = (+) = x () = (+x() ) = (+ ) = 4 x () = (x() + x () ) = (+) = x () = (+x() ) = (+ ) = 4. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

35 Αλγόριθµος της ε.µ Jacobi(J). ιάβασε n, ǫ, maxiter. Για i = ()n επανάλαβε ιάβασε x0 i ιάβασε b i για j = ()n επανάλαβε ιάβασε a ij. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε i x i = j= a ij a ii x0 j n j=i+ a ij a ii x0 j + bi a ii 4. itcount = itcount+ 4. Αν x x0 < ǫ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

36 Υπολογιστική πολυπλοκότητα του αλγορίθµου της ε.µ (J) 4. Για i = ()n επανάλαβε i a ij n x i = x0 j a ii j= j=i+ a ij a ii x0 j + b i a ii A πυκνός Στην κάθε επανάληψη απαιτούνται ιαιρέσεις : [(i )+(n i)+] n = n Πολλαπλασιασµοί : [(i )+(n i)] n = n(n ) Προσθαφαιρέσεις : n(n ) Αν υποθέσουµε ότι απαιτούνται k επαναλήψεις για τη σύγκλιση της µεθόδου J, τότε έχουµε συνολικά : ιαιρέσεις : kn Πολλαπλασιασµοί : kn(n ) = kn kn Προσθαφαιρέσεις : kn(n ) = kn kn Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

37 Επαναληπτική µέθοδος Επιταχυντική Gauss-Seidel (EGS) x (k+) = x (k) +τr (b Ax (k) ), k = 0,,, (0) Αν διαλέξουµε τον R έτσι ώστε R = D C L () τότε προκύπτει x (k+) = x (k) +τ(i L) D (b Ax (k) ) () ή x (k+) = L τ,x (k) +τ(i L) c () όπου L τ, = I τ(i L) D A και c = D b. (4) Εκφράζοντας τον L τ, σε όρους των L και U έχουµε Οπότε έχουµε L τ, = I τ(i L) (I L U) = ( τ)i+τ(i L) U. (5) x (k+) = ( τ)x (k) + L x (k+) +(τ ) L x (k) +τu x (k) +τc. (6) Η ανωτέρω µέθοδος καλείται Επιταχυντική Gauss-Seidel(EGS) και για τ = προκύπτει η γνωστή µέθοδος Gauss-Seidel(GS) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

38 Επαναληπτική µέθοδος Gauss-Seidel (GS) Υπό µορφή πινάκων : Υπό µορφή συνιστωσών : x (k+) = (I L) U x (k) + c, k = 0,,, }{{} L x (k+) = Lx (k+) + Ux (k) + c, k = 0,,, x (k) x (k+) x (k) x (k+) x (k+) i x (k) = i = x (k). x (k) i x (k) i x (k) i+. x (k) n a ij x (k+) j a ii x (k+). x (k+) i x (k+) i x (k+) i+. x (k+) n = x (k+) j= j=i+ Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 8 / 77 n a ij x (k) j a ii + bi a ii, i = ()n

39 Σύγκλιση της ε.µ. Gauss-Seidel Ικανή και αναγκαία συνθήκη : ρ(l ) < Ικανή συνθήκη : Αν ο A είναι α.δ.υ. τότε ισχύει L < δηλ. η ε.µ. GS συγκλίνει. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 9 / 77

40 Επαναληπτική µέθοδος Gauss-Seidel(GS) Για τ = προκύπτει ο τύπος της ε.µ GS όπου c = D b. x (k+) = L x (k+) + U x (k) + c, (7) Επαν. µέθοδοι EGS και GS υπό µορφή συνιστωσών EGS i x (k+) i = j= ^a ijx (k+) j GS για τ = προκύπτει +( τ)x (k) i i +(τ )( i x (k+) i = ^a ijx (k+) j + j= j= ν j=i+ ^a ijx (k) j )+τ( ν j=i+ ^a ijx (k) j )+τ ^b i, i = ()n (8) ^a ijx (k) j + ^b i, i = ()n. (9) όπου ^a ij = aij a ii και ^b i = bi a ii. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 40 / 77

41 Παρατηρήσεις Για την ύπαρξη των δύο ανωτέρω µεθόδων ϑα πρέπει να υπάρχει ο (D C L ) ή det(d C L ) = detd 0 πράγµα που ισχύει αν όλα τα διαγώνια στοιχεία του Α είναι διάφορα του µηδενός. Παρατηρούµε ότι στις ε.µ. EGS και GS οι αριθµητικές πράξεις επηρεάζονται αν εναλλάξουµε τη σειρά των εξισώσεων του συστήµατός µας. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

42 Επαναληπτική µέθοδος Gauss-Seidel (GS) Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του GS συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Ο επαναληπτικός πίνακας της µεθόδου GS είναι ο L = (I L) U = Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

43 Επαναληπτική µέθοδος Gauss-Seidel (GS) Από τη σχέση (I L)X = I υπολογίζεται εύκολα ο (I L). Εποµένως L = = Οι ιδιοτιµές τουl είναι οι 0, 0, / εποµένως ρ(l ) = / < που αποδεικνύει ότι η GS συγκλίνει. Παρατηρούµε ότιρ(l ) = [ρ(b)] για το παρόν παράδειγµα.. x (k+) = (+x(k) ) x (k+) = (x(k+) + x (k) ), k = 0,,... x (k+) = (+x(k+) ). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 4 / 77

44 Επαναληπτική µέθοδος Gauss-Seidel (GS) Για x (0) = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) =, έχουµε k = 0 k = x () = (+x(0) ) = (+0) = x () = (x() + x (0) ) = ( + ) = 4 x () = (+x() ) = (+ 4 ) = 7 8 x () = (+x() ) = (+ 4 ) = 7 8 x () = (x() + x () ) = ( ) = 7 8 x () = (+x() ) = (+ 7 8 ) = 5 6 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 44 / 77

45 Επαναληπτική µέθοδος Gauss-Seidel (GS) k = Παρατήρηση x () = (+x() ) = (+ 7 8 ) = 5 6 x () = (x() + x () ) = ( ) = 5 6 x () = (+x() ) = 5 (+ 6 ) =. Η µέθοδος GS συγκλίνει πολύ γρηγορότερα από τη µέθοδο Jacobi προς την ακριβή λύση(,, ) T του συστήµατος. Αυτό αναµενόταν αφού R(L ) = R(B). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 45 / 77

46 Αλγόριθµος της ε.µ Gauss-Seidel(GS). ιάβασε n, ǫ, maxiter. Για i = ()n επανάλαβε για j = ()n επανάλαβε ιάβασε a ij ιάβασε b i ιάβασε x0 i. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε i x i = j= a ij a ii x j n j=i+ a ij a ii x0 j + bi a ii 4. itcount = itcount+ 4. Αν x x0 < ǫ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 46 / 77

47 Επαναληπτική Επιταχυντική µέθοδος της ιαδοχικής Υπερµείωσης (Extrapolated Successive Overrelaxation (ESOR)) x (k+) = x (k) +τr (b Ax (k) ), k = 0,,, (40) Είναι δυνατόν να ϐρεθούν δύο άλλες µέθοδοι αν εισάγουµε µία παράµετρο στη µορφή του R. Ετσι αν ϑέσουµε R = D ωc L (4) στην (40), όπουω είναι ένας πραγµατικός αριθµός του οποίου ο ϱόλος στη ϕάση αυτή είναι να διαταράξει τον R έτσι ώστε να προσεγγίζει καλύτερα τον Α τότε έχουµε x (k+) = x (k) +τ(i ωl) D (b Ax (k) ), k = 0,,... (4) ή όπου x (k+) = L τ,ω x (k) +τ(i ωl) c (4) L τ,ω = I τ(i ωl) D A. (44) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 47 / 77

48 Επαναληπτική Επιταχυντική µέθοδος της ιαδοχικής Υπερµείωσης (Extrapolated Successive Overrelaxation (ESOR)) Προκειµένου να ϐρούµε την εξίσωση των συνιστωσών η (4) µπορεί να γραφτεί σαν x (k+) = ( τ)x (k) +ωlx (k+) +(τ ω)lx (k) +τux (k) +τc (45) οπότε έχουµε x (k+) i = ( τ)x (k) i i +ω +τ n j=i+ j= ^a ij x (k+) j i +(τ ω) j= ^a ij x (k) j ^a ij x (k) j +τ ^b i, i =,,..., n. (46) Κατά την υλοποίηση της ESOR είναι δυνατόν να γίνει εξοικονόµηση των υπολογισµών αν αποθηκευτεί η ποσότητα Lx (k) προκειµένου να χρησιµοποιηθεί στην επόµενη επανάληψη. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 48 / 77

49 Επαναληπτική µέθοδος της ιαδοχικής Υπερµείωσης (Successive Overrelaxation (SOR) ) Αν ϑέσουµετ = ω στην ESOR λαµβάνουµε τη δηµοφιλή Successive Overrelaxation(SOR) µέθοδο, η οποία δίνεται διαδοχικά από τους τύπους x (k+) = x (k) +ω(i ωl) D (b Ax (k) ) (47) x (k+) = L ω x (k) +ω(i ωl) c (48) όπου ή L ω = I ω(i ωl) D A. (49) L ω = (I ωl) [( ω)i+ωu] είναι ο επαναληπτικός πίνακας της ε.µ. SOR. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 49 / 77

50 Επαναληπτική µέθοδος ( Successive Overrelaxation (SOR)) Επίσης η SOR γράφεται και σαν x (k+) = (I ωl) [( ω)i+ωu]x (k) +ω(i ωl) c (50) ή x (k+) = ( ω)x (k) +ω[lx (k+) + Ux (k) + c]. (5) Παρατηρήστε ότι η ποσότητα της αγκύλης είναι η GS µέθοδος, συνεπώς η (5) λαµβάνει τη µορφή x (k+) = ( ω)x (k) +ωx (k+) GS (5) όπου x (k+) GS συµβολίζει την k + επανάληψη της GS µεθόδου. Η (5) υπήρξε η αφετηρία της ανακάλυψης της SOR µεθόδου. Τέλος, υπό µορφή συνιστωσών η SOR δίνεται από τους τύπους x (k+) i = ( ω)x (k) i i +ω j= ^a ij x (k+) j +ω n j=i+ ^a ij x (k) j +ω^b i, i =,,..., n. (5) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 50 / 77

51 Σύγκλιση της ε.µ. SOR Ανλ i είναι οι ιδιοτιµές τουl ω, τότε det(l ω) = n λ i i= Αλλά det(l ω) = det { (I ωl) [( ω)i+ωu] } det { (I ωl) } det{( ω)i+ωu} = ( ω) n = ( ω) n Αρα n n [ρ(l ω)] n λ i = λ i = ( ω) n = ω n i= i= ω ρ(l ω) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

52 Σύγκλιση της ε.µ. SOR Για να συγκλίνει η ε.µ. SOR ϑα πρέπει να ισχύει ρ(l ω ) < Αρα ή ω < 0 < ω < Εποµένως, αν η ε.µ. SOR συγκλίνει τότε 0 < ω <. Η ϐέλτιστη τιµήω b της παραµέτρουω προσδιορίζεται έτσι ώστε να ελαχιστοποιείται η ϕασµατική ακτίναρ(l ω ) του επαναληπτικού πίνακα της ε.µ. SOR. Η µελέτη της ρ(l ω ) σαν συνάρτηση της ω ϕαίνεται στο ακόλουθο σχήµα. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

53 Μελέτη της ϕασµατικής ακτίνας ρ(l ω ) S(L ).0 (,),µ ( b, b ) ω b =.0 b.0 + ρ(b), ρ(l ω b ) = ω b Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 5 / 77

54 Επαναληπτική µέθοδος SOR Υπό µορφή πινάκων ή x (k+) = ( ω)x (k) +ωx (k+) GS, k = 0,,, x (k+) = ( ω)x (k) +ω(lx (k+) + Ux (k) + c), k = 0,,, Υπό µορφή συντεταγµένων x (k+) i = ( ω)x (k) i i +ω( j= i = ()n a ij x (k+) j a ii n j=i+ a ij x (k) j + b i ) a ii a ii Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 54 / 77

55 Επαναληπτική µέθοδος SOR Παράδειγµα ίνεται το γραµµικό σύστηµα x x = x +x x = 0 x +x = Να δειχθεί ότι η µέθοδος του SOR συγκλίνει και να ϐρεθούν οι τρείς πρώτες επαναλήψεις, αν x (0) = (, 0, ). Λύση Η µέθοδος SOR δίνεται από το ακόλουθο επαναληπτικό σχήµα : x (k+) = ( ω)x (k) +ωx (k+) GS, όπου x (k+) GS είναι το επαναληπτικό διάνυσµα που προκύπτει από την εφαρµογή της Gauss-Seidel µεθόδου. Εποµένως, για το τριδιαγώνιο σύστηµα του προηγούµενου παραδείγµατος, η SOR παράγει το επαναληπτικό σχήµα: Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 55 / 77

56 Επαναληπτική µέθοδος SOR x (k+) = ( ω)x (k) +ω (+x(k) ) x (k+) = ( ω)x (k) +ω (x(k+) + x (k) ), k = 0,,... x (k+) = ( ω)x (k) +ω (+x(k+) ). Η ϐέλτιστη τιµή τουω δίνεται από τον τύπο (Θεώρηµα.4.6) ω b = + ρ(b) ή ενώ ω b = = ρ(ω b ) = ω b Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 56 / 77

57 Επαναληπτική µέθοδος SOR Λαµβάνοντας, x (0) = (, 0, ) T, δηλαδή, x (0) =, x (0) = 0 και x (0) = έχουµε για k = 0 x () 4 = ( + ) + + (+0) = + = x () 4 = ( + ) 0+ + ( + 4(+ ) + ) = (+ ) x () 4 = ( + ) + + 4(+ ) (+ (+ ) ) = 4 (+ ) Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 57 / 77

58 Αλγόριθµος της ε.µ SOR. ιάβασε n, ω, ǫ, maxiter. Για i = ()n επανάλαβε για j = ()n + επανάλαβε ιάβασε a ij ιάβασε x0 i. itcount = 0 4. Οσο ισχύει itcount maxiter επανάλαβε 4. Για i = ()n επανάλαβε x i = ( ω)x0 i+ i +ω( j= a ij a ii x j n j=i+ a ij a ii x0 j + bi a ii ) 4. itcount = itcount+ 4. Αν x x0 < ǫ τότε Για i = ()n επανάλαβε Τύπωσε x i Τέλος. 4.4 Για i = ()n επανάλαβε x0 i = x i 5. Τύπωσε( Οχι σύγκλιση µετά από maxiter επαναλήψεις ) 6. Τέλος Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 58 / 77

59 Ασκηση ίνεται το γραµµικό σύστηµα: α 0 α α 0 α x x x = α α α, α R. Να ϐρεθεί ικανή και αναγκαία συνθήκη έτσι ώστε η ε.µ. (GS) να συγκλίνει.. Να δοθούν οι εξισώσεις υπο µορφή συνιστωσών της επαναληπτικής µεθόδου Gauss-Seidel(GS) για την επίλυση του ανωτέρω γραµµικού συστήµατος.. Γιαα = και x (0) = b να υπολογιστεί η προσεγγιστική τιµή x () της ε.µ. α) GS β) SOR γιαω = /. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 59 / 77

60 Λύση Είναι: A = α 0 α α 0 α, b = α α α Η ϐασική διάσπαση του A είναι όπου D = , CL = A = D C L C U α α 0, CU = 0 α α Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 60 / 77

61 Λύση ή D A = I L U όπου L = D C L = α/ α/ 0, U = D C U = 0 α/ α/ Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

62 . Επαναληπτικός πίνακας της ε.µ GS Ο επαναληπτικός πίνακας της ε.µ GS είναι ο L = (I L) U Είναι: I L = 0 0 α/ 0 0 α/ Υπολογισµός του (I L) = (I L)(I L) = I x 0 0 y y 0 z z z Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

63 (I L)(I L) = I 0 0 α/ 0 0 α/ x 0 0 y y 0 z z z x 0 0 ( α/)x + y y 0 ( α/)y + z ( α/)y + z z x = y = α/, y = z = α /4, z = α/, z = = = Αρα (I L) = 0 0 α/ 0 α /4 α/ Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 6 / 77

64 Εποµένως L = (I L) U = 0 α/ 0 0 α /4 α/ 0 α /8 α /4 Ικανή και αναγκαία συνθήκη σύγλισης της ε.µ. GS Η ε.µ GS συγλίνει ρ(l ) < Εύρεση των ιδιοτιµών του L det(l λi) = 0 λ α/ 0 0 α /4 λ α/ 0 α /8 α /4 λ = 0 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 64 / 77

65 Εύρεση των ιδιοτιµών τουl det(l λi) = 0 λ α/ 0 0 α /4 λ α/ 0 α /8 α /4 λ = 0 ϱίζες : λ = 0, 0, α / Ικανή και αναγκαία συνθήκη σύγκλισης της ε.µ. GS Ανα = 0 τότερ(l ) = 0 <, οπότε η ε.µ. GS συγλίνει. Ανα 0 τότερ(l ) = α /, οπότε πρέπει : α / < < α < Αρα α (, ). Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 65 / 77

66 Επαναληπτική µέθοδος Gauss-Seidel (GS) Υπό µορφή πινάκων : x (k+) = (I L) Ux (k) + c, k = 0,,, x (k+) = Lx (k+) + Ux (k) + c, k = 0,,, Υπό µορφή συνιστωσών : x (k+) i i = j= a ij x (k+) j a ii n j=i+ a ij x (k) j + b i, i = () a ii a ii Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 66 / 77

67 . Οι εξισώσεις υπο µορφή συνιστωσών της ε.µ. GS για την επίλυση του ανωτέρω γραµµικού συστήµατος είναι οι : x (k+) = x (k+) = α x(k+) + α x(k) x (k+) = α x(k) + α + α α x(k+) + α, k = 0,, Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 67 / 77

68 . Υπολογισµός της προσεγγιστικής τιµής x () Γιαα = η ε.µ. GS δίνεται από το ακόλουθο επαναληπτικό σχήµα : x (k+) = (+x(k) ) x (k+) = (x(k+) + x (k) ), k = 0,,,... x (k+) = (+x(k+) ). Για x (0) = b = (, 0, ) T, δηλαδή για x (0) =, x (0) = 0 και x (0) =, έχουµε για k = 0 x () = (+x(0) ) = (+0) = x () = (x() + x (0) ) = ( + ) = 4 x () = (+x() ) = (+ 4 ) = 7 8. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 68 / 77

69 k = x () = (+x() ) = (+ 4 ) = 7 8 x () = (x() + x () ) = ( ) = 7 8 x () = (+x() ) = (+ 7 8 ) = 5 6 k = x () = (+x() ) = (+ 7 8 ) = 5 6 x () = (x() + x () ) = ( ) = 5 6 x () = (+x() ) = 5 (+ 6 ) =. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 69 / 77

70 β) ε.µ SOR x (k+) = ( ω)x (k) +ω ( α +αx(k) ) x (k+) = ( ω)x (k) +ω ( α +αx(k+) +αx (k) ) x (k+) = ( ω)x (k) +ω ( α +αx(k+) ), k = 0,,, Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 70 / 77

71 Γιαα = και x (0) = b = [, 0, ] T και γιαω = / έχουµε : k = 0 i = i = x () = x(0) + (+x(0) ) = + 4 (+0) = 4 x () = x(0) + (0+x() + x (0) ) = 0+ 4 (/4+) = 7 6 i = x () = x(0) + (+x() ) = + 55 (+7/6) = 4 64 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

72 k = i = i = x () = x() + (+x() ) = (+7/6) = 4 64 x () = x() + (0+x() + x () ) = (47/64+55/64) = i = x () = x() + (+x() ) = (+58/56) = 4 04 Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

73 Σηµειώµατα Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 7 / 77

74 Σηµείωµα Αναφοράς Copyright Εθνικόν και Καποδιστριακόν Πανεπιστήµιον Αθηνών 05, Νικόλαος Μισυρλής, Αριθµητική Ανάλυση. Ενότητα - Αριθµητικές Μέθοδοι για την επίλυση Γραµµικών Συστηµάτων Εκδοση:.0. Αθήνα 05. ιαθέσιµο από τη δικτυακή διεύθυνση: Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 74 / 77

75 Σηµείωµα Αδειοδότησης Το παρόν υλικό διατίθεται µε τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εµπορική Χρήση Παρόµοια ιανοµή 4.0 [] ή µεταγενέστερη, ιεθνής Εκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. ϕωτογραφίες, διαγράµµατα κ.λ.π., τα οποία εµπεριέχονται σε αυτό και τα οποία αναφέρονται µαζί µε τους όρους χρήσης τους στο «Σηµείωµα Χρήσης Εργων Τρίτων». [] Ως Μη Εµπορική ορίζεται η χρήση: που δεν περιλαµβάνει άµεσο ή έµµεσο οικονοµικό όφελος από την χρήση του έργου, για το διανοµέα του έργου και αδειοδόχο που δεν περιλαµβάνει οικονοµική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προορίζει στο διανοµέα του έργου και αδειοδόχο έµµεσο οικονοµικό όφελος (π.χ. διαφηµίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος µπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιµοποιεί το έργο για εµπορική χρήση, εφόσον αυτό του Ϲητηθεί. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 75 / 77

76 ιατήρηση Σηµειωµάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού ϑα πρέπει να συµπεριλαµβάνει: το Σηµείωµα Αναφοράς το Σηµείωµα Αδειοδότησης τη δήλωση ιατήρησης Σηµειωµάτων το Σηµείωµα Χρήσης Εργων Τρίτων (εφόσον υπάρχει) µαζί µε τους συνοδευόµενους υπερσυνδέσµους. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 76 / 77

77 Σηµείωµα Χρήσης Εργων τρίτων Το Εργο αυτό κάνει χρήση του ακόλουθου έργου: Εισαγωγή στην Αριθµητική Ανάλυση : Μια αλγοριθµική προσέγγιση, αυτο-έκδοση, Αθήνα, 009, Νικόλαος Μισυρλής. Καθηγητής: Ν. Μ. Μισυρλής Αριθµητική Ανάλυση - Ενότητα 77 / 77