ΜΕΜ251 Αριθμητική Ανάλυση Διάλεξη 09, 9 Μαρτίου 2018 Μιχάλης Πλεξουσάκης Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών
Περιεχόμενα 1. Επαναληπτικές μέθοδοι 2. Θεωρία γενικών επαναληπτικών μεθόδων 3. Σύγκλιση επαναληπτικών μεθόδων 1
Επαναληπτικές μέθοδοι
Οι μέθοδοι Jacobi και Gauss-Seidel Υποθέτουμε ότι τα διαγώνια στοιχεία του αντιστρέψιμου πίνακα A είναι όλα διαφορετικά από το μηδέν. Γράφουμε τις σχέσεις (Ax) i = b i, i = 1,..., n, στη μορφή x i = 1 i 1 n b i a ij x j a ij x j, i = 1,..., n. a ii j=1 j=i+1 Η σχέση αυτή προτείνει την εξής επαναληπτική μέθοδο για τη λύση του συστήματος Ax = b: δεδομένης κάποιας αρχικής προσέγγισης x (0) της λύσης x του Ax = b υπολογίζουμε x (m+1) i = 1 a ii i 1 b i j=1 a ij x (m) j n a ij x (m), i = 1,..., n, j=i+1 για m = 0, 1,... Αυτή είναι η λεγόμενη μέθοδος του Jacobi. j 2
Οι μέθοδοι Jacobi και Gauss-Seidel Παράδειγμα. Η ακριβής λύση του συστήματος 10 1 2 0 x 1 1 11 1 3 x 2 2 1 10 1 x 3 = 0 3 1 8 x 4 6 25 11 15 είναι η x = (1, 2, 1, 1) T. Αν ξεκινήσουμε τη μέθοδο του Jacobi με x (0) = (0, 0, 0, 0) T, τότε x (1) = (0.6, 2.2727, 1.1, 1.87) T x (2) = (0.93263636, 2.05330579, 1.04934091, 1.13088068) T... x (11) = (1.00002214, 1.99995896, 0.99996916, 0.99995967) T και x (11) x = 4.1037 10 5. 3
Οι μέθοδοι Jacobi και Gauss-Seidel Αν τώρα στον υπολογισμό του x (m+1) i για i > 1, αντί των x (m) 1,..., x (m) i 1 χρησιμοποιήσουμε τα x (m+1) 1,..., x (m+1), τότε προκύπτει η μέθοδος x (m+1) i = 1 b i a ii i 1 j=1 a ij x (m+1) j i 1 n a ij x (m), i = 1,..., n, j=i+1 για m = 0, 1,... Αυτή είναι η λεγόμενη μέθοδος Gauss-Seidel. Παράδειγμα. Αν εφαρμόσουμε τη μέθοδο Gauss-Seidel στο γραμμικό σύστημα του προηγούμενου παραδείγματος, χρησιμοποιώντας πάλι x (0) = (0, 0, 0, 0) T τότε, x (1) = (0.6, 2.2727, 1.1, 1.87) T και x (5) = (1.00009128, 2.00002134, 1.00003115, 0.9999881) T με x (5) x = 9.1280 10 5. j 4
Οι μέθοδοι Jacobi και Gauss-Seidel Θέτουμε D = diag(a 11,..., a nn ) και 0 a 21 0 L = a 31 a 32 0..... a n1 a n2 a n,n 1 0 0 a 12 a 13 a 1n 0 a 23 a 2n U = 0.... a n 1,n 0 Με αυτόν τον συμβολισμό έχουμε A = L + D + U και μπορούμε να γράψουμε τις μεθόδους Jacobi και Gauss-Seidel στη μορφή Dx (m+1) = (L + U)x (m) + b, (L + D)x (m+1) = Ux (m) + b 5
Θεωρία γενικών επαναληπτικών μεθόδων
Γενικές επαναληπτικές μέθοδοι Η μέθοδος Jacobi και η μέθοδος Gauss-Seidel είναι ειδικές περιπτώσεις της γενικής επαναληπτικής μεθόδου Mx (m+1) = Nx (m) + b, A = M N, m N 0, όπου M J = D, N J = (L + U) για τη μέθοδο Jacobi, και M GS = L + D, N GS = U τη μέθοδο Gauss-Seidel. Θα εξετάσουμε τη σύγκλιση αυτών των μεθόδων υπό την προϋπόθεση ότι ο M είναι αντιστρέψιμος οπότε x (m+1) = M 1 Nx (m) + M 1 b, m N 0, Είναι προφανές ότι αν η ακολουθία x (m) συγκλινει τότε το όριό της είναι η λύση του συστήματος Ax = b. 6
Γενικές επαναληπτικές μέθοδοι Χρησιμοποιώντας την προηγούμενη σχέση και την Mx = Nx + b έχουμε x (m+1) x = G(x (m) x), m N 0, όπου G είναι ο λεγόμενος πίνακας επανάληψης της μεθόδου, και ορίζεται ως G = M 1 N Επαγωγικά έχουμε x (m) x = G m (x (0) x), m N 0, άρα x (m) x G m x (0) x, m N 0 Επομένως, η ακολουθία x (m) συγκλίνει στη x αν και μόνο αν lim m G m = 0, δηλαδή lim m G m = 0. 7
Γενικές επαναληπτικές μέθοδοι Για να διατυπώσουμε ικανές και αναγκαίες συνθήκες για τη σύγκλιση επαναληπτικών μεθόδων χρειαζόμαστε το παρακάτω βοηθητικό αποτέλεσμα: Λήμμα. Έστω οποιαδήποτε νόρμα στον C n. Τότε, για κάθε P C n n, ισχύει ρ(p) P. Αντίστροφα, για κάθε P C n n και ϵ > 0, υπάρχει νόρμα στον C n τέτοια ώστε P ρ(p) + ϵ. Απόδειξη. Αν λ είναι ιδιοτιμή του P και 0 z C n είναι το αντίστοιχο ιδιοδιάνυσμα τότε, παίρνοντας νόρμες στη σχέση Pz = λz έχουμε λ z = λz = Pz P z = λ P δηλαδή ισχύει ο πρώτος ισχυρισμός του λήμματος. 8
Γενικές επαναληπτικές μέθοδοι Για το δεύτερο αποτέλεσμα θα χρειαστούμε τη μορφή Jordan του P. Έστω λ i C οι ιδιοτιμές του P. Γνωρίζουμε ότι υπάρχει αντιστρέψιμος S C n n, τέτοιος ώστε ο πίνακας J = S 1 PS να είναι της μορφής J = diag(j 1,..., J m ), όπου κάθε τετραγωνικός υποπίνακας J i είναι είτε 1 1 πίνακας (λ i ) ή είναι διδιαγώνιος πίνακας με λ i στη διαγώνιο και 1 στην υπερδιαγώνιό του. Θεωρούμε τώρα τον διαγώνιο πίνακα D = diag(1, ϵ, ϵ 2,..., ϵ n 1 ). Ο πίνακας J = D 1 JD είναι ίδιος με τον J με τη διαφορά ότι τυχόν μονάδες της υπερδιαγωνίου του J έχουν αντικατασταθεί από ϵ. Συνεπώς J ρ(p) + ϵ Θέτουμε τώρα Q = SD και ορίζουμε τη νόρμα στον C n από τη σχέση z = Q 1 z 9
Γενικές επαναληπτικές μέθοδοι Έχουμε P = Pz Q 1 PQz sup = sup 0 z C n z 0 z C n z = sup 0 z C n Jz z = J ρ(p) + ϵ. Με τη βοήθεια αυτού του αποτελέσματος μπορούμε τώρα να αποδείξουμε το βασικό θεώρημα σύγκλισης επαναληπτικών μεθόδων. 10
Σύγκλιση επαναληπτικών μεθόδων
Σύγκλιση επαναληπτικών μεθόδων Θεώρημα. Έστω x η λύση του συστήματος Ax = b. Τα παρακάτω είναι ισοδύναμα: α) Η γενική επαναληπτική μέθοδος συγκλίνει για κάθε x (0) C n, δηλαδή x (m) x, m. β) ρ(g) < 1, όπου G είναι ο πίνακας επανάληψης G = M 1 N. γ) Υπάρχει φυσική νόρμα πινάκων τέτοια ώστε G < 1. δ) lim m G M = 0 Απόδειξη. δ) = α). Αν G m 0, m τότε, για κάθε x (0) C n έχουμε από τη γενική επαναληπτική μέθοδο ότι x (m) x, m. 11
Σύγκλιση επαναληπτικών μεθόδων α) = β) Έστω ότι x (m) x, m. Τότε G m y 0, m, για κάθε y C n. Έστω λ ιδιοτιμή του G και z το αντίστοιχο ιδιοδιάνυσμα. Τότε G m z = λ m z, m N 0. Επειδή όμως G m z, m, έχουμε G m z 0 = λ m z 0 = λ < 1. Συνεπώς ρ(g) = max i λ i (G) < 1. β) = γ) Έστω ρ(g) < 1 και ϵ θετικός αριθμός τέτοιος ώστε 0 < ϵ < 1 ρ(g). Από το προηγούμενο λήμμα, υπάρχει φυσική νόρμα πινάκων στον C n n τέτοια ώστε G ρ(g) + ϵ < 1. γ) = δ) Αν G 1, επειδή G m = G G G G m έχουμε G m 0, δηλαδή G m 0, m. 12
Κριτήρια τερματισμού Ένα συνηθισμένο κριτήριο τερματισμού των επαναλήψεων είναι το x N x (N 1) ϵ, για δεδομένο ϵ > 0. Δείχνουμε ότι αν G = σ < 1 τότε x N x (N 1) ϵ = x (N) x ϵσ 1 σ Πράγματι, από τη σχέση x (N) x = G(x (N 1) x) έχουμε x (N) x = G(x (N) x) + G(x (N 1) x (N) ) δηλαδή (I G)(x (N) x) = G(x (N) G (N 1) ) Επειδή G = σ < 1 ο πίνακας I G είναι αντιστρέψιμος. Από προηγούμενη άσκηση (I G) 1 1 1 G = 1 1 σ το οποίο αποδεικνύει το ζητούμενο αποτέλεσμα. 13
Σύγκλιση των μεθόδων Jacobi και Gauss-Seidel Πέρα από το προηγούμενο αποτέλεσμα, μπορούμε να αποδείξουμε ότι οι μέθοδοι Jacobi και Gauss-Seidel συγκλίνουν όταν ο πίνακας A έχει αυστηρά κυριαρχική διαγώνιο. Συγκεκριμένα, Πρόταση. Έστω ότι ο πίνακας A έχει αυστηρά κυριαρχική διαγώνιο. Τότε α) Οι πίνακες επανάληψης G J = D 1 (L + U), G GS = (L + D) 1 U των μεθόδων Jacobi και Gauss-Seidel, αντίστοιχα, ικανοποιούν τις ανισότητες G J < 1, G GS < 1. β) Οι μέθοδοι Jacobi και Gauss-Seidel συγκλίνουν. 14
Ερωτήσεις; 14