Iterativne metode - vježbe

Transcript

1 Iterativne metode - vježbe 3. Iterativne metode za linearne sustave Nela Bosner, Zvonimir Bujanović Prirodoslovno-matematički fakultet - Matematički odjel 20. listopada 2010.

2 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

3 Gaussove eliminacije vs iterativne metode Nedostaci Gaussovih eliminacija: Prespore za matrice velikih dimenzija: O(n 3 ) za A R n n. Matrice u praksi su sparse i ne čuvaju se kao 2D-polje, već se spremaju samo elementi koji nisu jednaki 0. LU-faktorizacija uništava strukturu nula u sparse matricama. Zato takve sustave rješavamo iterativno: Algoritam (Općenita iterativna metoda) x (0) zadan; k=0; while ~uvjet_zaustavljanja k=k+1; x (k) = f(x (k 1) ); end x x (k) 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

4 Gaussove eliminacije vs iterativne metode Nedostaci Gaussovih eliminacija: Prespore za matrice velikih dimenzija: O(n 3 ) za A R n n. Matrice u praksi su sparse i ne čuvaju se kao 2D-polje, već se spremaju samo elementi koji nisu jednaki 0. LU-faktorizacija uništava strukturu nula u sparse matricama. Zato takve sustave rješavamo iterativno: Algoritam (Općenita iterativna metoda) x (0) zadan; k=0; while ~uvjet_zaustavljanja k=k+1; x (k) = f(x (k 1) ); end x x (k) 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

5 Općenita iterativna metoda Algoritam (Općenita iterativna metoda) x (0) zadan; k=0; while ~uvjet_zaustavljanja k=k+1; x (k) = f(x (k 1) ); end x x (k) Ciljevi: Efikasno računanje x (k) pomoću x (k 1) (jednostavna f ) x (k) k x, gdje je Ax = b. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

6 Općenita iterativna metoda Proučavat ćemo metode oblika x (k+1) = T x (k) + c, k = 0,1,2,... Ovdje: T R n n je matrica iteracije, c R n. Tipičan način konstrukcije metode: A = M N, M regularna. Ax = b (M N)x = b Mx = Nx + b Odavde dobivamo iterativnu metodu: x = M 1 Nx + M 1 b x (k+1) = M}{{ 1 N} x (k) + M }{{ 1 b } T c 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

7 Općenita iterativna metoda Proučavat ćemo metode oblika x (k+1) = T x (k) + c, k = 0,1,2,... Ovdje: T R n n je matrica iteracije, c R n. Tipičan način konstrukcije metode: A = M N, M regularna. Ax = b (M N)x = b Mx = Nx + b Odavde dobivamo iterativnu metodu: x = M 1 Nx + M 1 b x (k+1) = M}{{ 1 N} x (k) + M }{{ 1 b } T c 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

8 Općenita iterativna metoda Proučavat ćemo metode oblika x (k+1) = T x (k) + c, k = 0,1,2,... Ovdje: T R n n je matrica iteracije, c R n. Tipičan način konstrukcije metode: A = M N, M regularna. Ax = b (M N)x = b Mx = Nx + b Odavde dobivamo iterativnu metodu: x = M 1 Nx + M 1 b x (k+1) = M}{{ 1 N} x (k) + M }{{ 1 b } T c 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

9 Konvergencija općenite iterativne metode Teorem Neka je A = M N R n n regularna matrica i b R n. Niz iteracija x (0),x (1),...,x (k),... definiran sa x (k+1) = M 1 N x (k) + M 1 b konvergira prema x = A 1 b za svaku početnu iteraciju x (0) ako i samo ako je M regularna matrica, ρ(m 1 N) < 1 (spektralni radijus), Tvrdnja teorema vrijedi i kada drugi uvijet zamijenimo sa M 1 N < 1 za neku konzistentnu matričnu normu. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

10 Spektralni radijus, konzistentne norme Spektralni radijus: za A C n n je ρ(a) := max{ λ : λ Λ(A)} Matrična norma je konzistentna ako za sve A,B C n n vrijedi: Na primjer: 2, 1,, F. AB A B. Teorem Za svaku konzistentnu normu na C n n i svaku matricu A C n n vrijedi: ρ(a) A. Za svaku A C n n i svaki ε > 0 postoji konzistentna matrična norma A,ε takva da vrijedi: A A,ε ρ(a) + ε. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

11 Spektralni radijus, konzistentne norme Spektralni radijus: za A C n n je ρ(a) := max{ λ : λ Λ(A)} Matrična norma je konzistentna ako za sve A,B C n n vrijedi: Na primjer: 2, 1,, F. AB A B. Teorem Za svaku konzistentnu normu na C n n i svaku matricu A C n n vrijedi: ρ(a) A. Za svaku A C n n i svaki ε > 0 postoji konzistentna matrična norma A,ε takva da vrijedi: A A,ε ρ(a) + ε. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

12 Spektralni radijus, konzistentne norme Spektralni radijus: za A C n n je ρ(a) := max{ λ : λ Λ(A)} Matrična norma je konzistentna ako za sve A,B C n n vrijedi: Na primjer: 2, 1,, F. AB A B. Teorem Za svaku konzistentnu normu na C n n i svaku matricu A C n n vrijedi: ρ(a) A. Za svaku A C n n i svaki ε > 0 postoji konzistentna matrična norma A,ε takva da vrijedi: A A,ε ρ(a) + ε. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

13 Zadatak 3.1 Zadatak Neka vrijede pretpostavke Teorema o konvergenciji iterativne metode za T = M 1 N. Odredite kriterij zaustavljanja, tj. broj iteracija k dovoljan da vrijedi x (k) x < ε, za zadanu točnost ε. Rješenje. T k 1 T x(1) x (0) < ε. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

14 Zadatak 3.1 Zadatak Neka vrijede pretpostavke Teorema o konvergenciji iterativne metode za T = M 1 N. Odredite kriterij zaustavljanja, tj. broj iteracija k dovoljan da vrijedi x (k) x < ε, za zadanu točnost ε. Rješenje. T k 1 T x(1) x (0) < ε. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

15 Zadatak 3.2 Zadatak Dan je sustav Ax = b, gdje je A = , b = Odredite rastav A = M N i pripadnom iterativnom metodom riješite sustav tako da greška u svakoj nepoznanici bude manja od Iterativne metode za linearne sustave Osnovne iterativne metode -

16 Zadatak 3.2 Rješenje. Stavimo M = inv(m) , N = Iterativne metode za linearne sustave Osnovne iterativne metode -

17 Zadatak 3.2 Rješenje. Stavimo M = inv(m) , N = Iterativne metode za linearne sustave Osnovne iterativne metode -

18 Zadatak 3.2 Rješenje. T = M \ N Želimo x (k) x < Da li metoda konvergira? norm( T, inf ) Dakle, metoda x (k+1) = Tx (k) + c konvergira jer T < 1, uz c=m\b= [ ]. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

19 Zadatak 3.2 Rješenje. T = M \ N Želimo x (k) x < Da li metoda konvergira? norm( T, inf ) Dakle, metoda x (k+1) = Tx (k) + c konvergira jer T < 1, uz c=m\b= [ ]. 3. Iterativne metode za linearne sustave Osnovne iterativne metode -

20 Zadatak 3.2 Rješenje. Koliko iteracija je potrebno? Stavimo x (0) = 0; tada x (1) = c i x (1) x (0) = c = Prethodni zadatak: dovoljno je osigurati Dakle, možemo uzeti k = 3. T k 1 T c < 10 3 (0.04) k < 10 3 (0.04) k < k log(0.04) < log( ) k > Iterativne metode za linearne sustave Osnovne iterativne metode -

21 Zadatak 3.2 Rješenje. x0 = [0; 0; 0; 0; 0]; x1 = T*x0 + c x2 = T*x1 + c x3 = T*x2 + c x1 = x2 = x3 = Egzaktno rješenje je x=[ ]. Zaista, x x (3) < Iterativne metode za linearne sustave Osnovne iterativne metode -

22 Zadatak 3.2 Rješenje. x0 = [0; 0; 0; 0; 0]; x1 = T*x0 + c x2 = T*x1 + c x3 = T*x2 + c x1 = x2 = x3 = Egzaktno rješenje je x=[ ]. Zaista, x x (3) < Iterativne metode za linearne sustave Osnovne iterativne metode -

23 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Jacobijeva metoda

24 Jacobijeva metoda Rastavimo A = D + L + U. D=dijagonala, L=donji trokut, U=gornji trokut od A. Jacobi: M J = D, N J = L U, odnosno, x (k+1) = D 1 ( L U) x (k) + D }{{}}{{ 1 b }. T c J J Teorem Ako je matrica sustava A C n n strogo dijagonalno dominantna, tj. ako je n A ij < A ii, i = 1,2,...,n j=1 j i onda Jacobijeva metoda konvergira za svaku početnu iteraciju. (Tada je T J < 1.) 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Jacobijeva metoda

25 Jacobijeva metoda Rastavimo A = D + L + U. D=dijagonala, L=donji trokut, U=gornji trokut od A. Jacobi: M J = D, N J = L U, odnosno, x (k+1) = D 1 ( L U) x (k) + D }{{}}{{ 1 b }. T c J J Teorem Ako je matrica sustava A C n n strogo dijagonalno dominantna, tj. ako je n A ij < A ii, i = 1,2,...,n j=1 j i onda Jacobijeva metoda konvergira za svaku početnu iteraciju. (Tada je T J < 1.) 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Jacobijeva metoda

26 Jacobijeva metoda Algoritam (Jacobi) x (0) zadan. for k = 0,1,2,... for i = 1,2,...,n ( x (k+1) i = 1 b A ii i i 1 end end j=1 A ijx (k) j ) n j=i+1 A ijx (k) j Iz i-te jednadžbe izrazimo x i pomoću ostalih varijabli. Za aproksimaciju x (k+1) i koristimo vrijednosti preostalih x-eva iz k-tog koraka. U implementaciji se koriste dva vektora za x (k). 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Jacobijeva metoda

27 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

28 Gauss-Seidelova metoda Rastavimo A = D + L + U. D=dijagonala, L=donji trokut, U=gornji trokut od A. Gauss-Seidel: M GS = D + L, N GS = U, odnosno, x (k+1) = (D + L) 1 ( U) }{{} x (k) + (D + L) 1 b }{{}. T GS c GS Teorem Ako je matrica sustava A C n n simetrična i pozitivno definitna, onda Gauss-Seidelova metoda konvergira za svaku početnu iteraciju. Ako je matrica sustava A C n n strogo dijagonalno dominantna, onda Gauss-Seidelova metoda konvergira za svaku početnu iteraciju. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

29 Gauss-Seidelova metoda Rastavimo A = D + L + U. D=dijagonala, L=donji trokut, U=gornji trokut od A. Gauss-Seidel: M GS = D + L, N GS = U, odnosno, x (k+1) = (D + L) 1 ( U) }{{} x (k) + (D + L) 1 b }{{}. T GS c GS Teorem Ako je matrica sustava A C n n simetrična i pozitivno definitna, onda Gauss-Seidelova metoda konvergira za svaku početnu iteraciju. Ako je matrica sustava A C n n strogo dijagonalno dominantna, onda Gauss-Seidelova metoda konvergira za svaku početnu iteraciju. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

30 Gauss-Seidelova metoda Algoritam (Gauss-Seidel) x (0) zadan. for k = 0,1,2,... for i = 1,2,...,n ( x (k+1) i = 1 b A ii i i 1 end end j=1 A ijx (k+1) j ) n j=i+1 A ijx (k) j Iz i-te jednadžbe izrazimo x i pomoću ostalih varijabli. Za aproksimaciju x (k+1) i koristimo vrijednosti preostalih x-eva: iz k + 1-vog koraka ako smo ih već ranije izračunali: x (k+1) 1,x (k+1) 2,...,x (k+1) i 1 ; iz k-tog koraka ako ih još nismo izračunali: x (k) i+1,x(k) i+2,...,x(k) n. U implementaciji se koristi samo jedan vektor za x (k). 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

31 Zadatak 3.3 Zadatak Napišite funkcije xk = Jacobi(A,b,x0,kMax) i xk = GaussSeidel(A,b,x0,kMax) koje vraćaju aproksimaciju rješenja sustava Ax = b nakon kmax koraka Jacobijeve, odnosno Gauss-Seidelove metode s početnom iteracijom x0. Pomoću ovih metoda riješite sustav Ax = b uz A = , b = tako da greška u svakoj koordinati ne prelazi Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

32 Zadatak 3.3 Rješenje. Jacobi: T J = D 1 ( L U) = , c J = D 1 b = Metoda konvergira jer je ρ(t J ) T J = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T J k c J 1 T J < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

33 Zadatak 3.3 Rješenje. Jacobi: T J = D 1 ( L U) = , c J = D 1 b = Metoda konvergira jer je ρ(t J ) T J = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T J k c J 1 T J < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

34 Zadatak 3.3 Rješenje. Jacobi: T J = D 1 ( L U) = , c J = D 1 b = Metoda konvergira jer je ρ(t J ) T J = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T J k c J 1 T J < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

35 Zadatak 3.3 Rješenje. Jacobi: 0.8 x (1) = 0 1.2, x(2) = 2.0 x (4) = , x(5) =, x(3) = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

36 Zadatak 3.3 Rješenje. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

37 Zadatak 3.3 Rješenje. Gauss-Seidel: T GS = (D + L) 1 ( U) = c GS = (D + L) 1 b = Metoda konvergira jer je ρ(t GS ) T GS = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T GS k c GS 1 T GS < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

38 Zadatak 3.3 Rješenje. Gauss-Seidel: T GS = (D + L) 1 ( U) = c GS = (D + L) 1 b = Metoda konvergira jer je ρ(t GS ) T GS = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T GS k c GS 1 T GS < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

39 Zadatak 3.3 Rješenje. Gauss-Seidel: T GS = (D + L) 1 ( U) = c GS = (D + L) 1 b = Metoda konvergira jer je ρ(t GS ) T GS = 0.2 < 1. Broj koraka (uz x (0) = 0)): x (k) x T GS k c GS 1 T GS < 10 3 Slijedi k > , tj. dovoljno je uzeti k = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

40 Zadatak 3.3 Rješenje. Gauss-Seidel: 0.8 x (1) = , x(2) = x (4) = , x(5) =, x(3) = Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

41 Zadatak 3.3 Rješenje. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - Gauss-Seidelova metoda

42 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

43 JOR Uz ρ(t J ) 1, konvergencija Jacobijeve metode je spora. Uvodimo parametar relaksacije ω s ciljem da smanjimo spektralni radijus matrice iteracije i ubrzamo konvergenciju. Rastavimo A = ( 1 ω 1 ω D) + ( ω D + L + U). D=dijagonala, L=donji trokut, U=gornji trokut od A. JOR(ω): M JOR(ω) = 1 ω D, N JOR(ω) = 1 ω ω D L U, odnosno, JOR(1) = Jacobi. x (k+1) = ((1 ω)i + ωt J ) x (k) + ωd }{{}}{{ 1 b } T c JOR(ω) JOR(ω) = (1 ω)x (k) + ωx (k+1) J. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

44 Konvergencija JOR(ω) Teorem Ako konvergira Jacobijeva metoda, onda konvergira i JOR(ω) za svaki ω 0,1] i za svaku početnu iteraciju. Ako je matrica sustava A C n n simetrična i pozitivno definitna, te ako je λ < 1 za sve λ Λ(T J ), onda uz oznaku λ min = min{λ : λ Λ(T J )} 0 vrijedi: JOR(ω) konvergira za 0 < ω < za svaku početnu iteraciju. 2 1 λ min 2, JOR(ω) NE konvergira za ω < 0 ni za ω 2 JOR(ω) ne konvergira za ω < 0 ni za ω Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

45 Algoritam JOR(ω) Algoritam (JOR(ω)) x (0) zadan. for k = 0,1,2,... for i = 1,2,...,n end end x (k+1) i = (1 ω)x (k) i + ω A ii ( b i i 1 j=1 A ijx (k) j ) n j=i+1 A ijx (k) j Iz i-te jednadžbe izrazimo x i pomoću ostalih varijabli, napravimo težinsku sredinu s trenutnim rješenjem. Za aproksimaciju x (k+1) i koristimo vrijednosti preostalih x-eva iz k-tog koraka. U implementaciji se koriste dva vektora za x (k). 3. Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

46 Zadatak 3.4 Zadatak Napišite funkciju xk = JOR(w, A, b, x0, kmax) koja vraća aproksimaciju rješenja sustava Ax = b nakon kmax koraka JOR(ω) metode s početnom iteracijom x0. Odredite za koje ω R metoda JOR(ω) konvergira ako je matrica sustava A = Za koji ω je konvergencija najbrža? 3. Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

47 Zadatak 3.4 Rješenje. Napravite ovaj graf uz samo 1 poziv funkcije eig! 3. Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

48 Zadatak 3.4 Rješenje. Za ω = , b=[1;2;3], x0=[0;0;0]: x (1) = , x (2) = , x (3) = x (4) = , x (5) = , x (120) = Iterativne metode za linearne sustave Osnovne iterativne metode - JOR (Jacobi Over-Relaxation)

49 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

50 SOR Uz ρ(t GS ) 1, konvergencija Gauss-Seidelove metode je spora. Uvodimo parametar relaksacije ω s ciljem da smanjimo spektralni radijus matrice iteracije i ubrzamo konvergenciju. Rastavimo A = ( 1 ω 1 ω D + L) + ( ω D + U). D=dijagonala, L=donji trokut, U=gornji trokut od A. SOR(ω): M SOR(ω) = 1 ω D + L, N SOR(ω) = 1 ω ω D U, odnosno, x (k+1) = (D + ωl) 1 ((1 ω)d ωu) x (k) + ω(d + ωl) 1 b }{{}}{{} T SOR(ω) c SOR(ω) (1 ω)x (k) + ωx (k+1) GS. Ali, x (k+1) i = (1 ω)x (k) i + ωx (k+1) i,gs. SOR(1) = Gauss-Seidel. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

51 Konvergencija SOR(ω) Teorem Ako je matrica sustava A C n n simetrična i pozitivno definitna, onda SOR(ω) konvergira za svaki ω 0,2. SOR(ω) ne konvergira za ω < 0 ni za ω Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

52 Algoritam SOR(ω) Algoritam (SOR(ω)) x (0) zadan. for k = 0,1,2,... for i = 1,2,...,n end end x (k+1) i = (1 ω)x (k) i + ω A ii ( b i i 1 j=1 A ijx (k+1) j ) n j=i+1 A ijx (k) j Iz i-te jednadžbe izrazimo x i pomoću ostalih varijabli, napravimo težinsku sredinu s trenutnim rješenjem. Za aproksimaciju x (k+1) i koristimo vrijednosti preostalih x-eva: iz k + 1-vog koraka ako smo ih već ranije izračunali: x (k+1) 1,x (k+1) 2,...,x (k+1) i 1 ; iz k-tog koraka ako ih još nismo izračunali: x (k) i+1,x(k) i+2,...,x(k) n. U implementaciji se koristi samo jedan vektor za x (k). 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

53 Zadatak 3.5 Zadatak Napišite funkciju xk = SOR(w, A, b, x0, kmax) koja vraća aproksimaciju rješenja sustava Ax = b nakon kmax koraka SOR(ω) metode s početnom iteracijom x0. Grafički odredite za koje ω R metoda SOR(ω) konvergira ako je matrica sustava A = Grafički odredite ω za kojeg je konvergencija najbrža. Riješite sustav uz b=[32; -4; 111; 160] za ω = 1 i za optimalni ω tako da bude Ax (k) b < Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

54 Zadatak 3.5 Rješenje. 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

55 Zadatak 3.5 Rješenje. ω = 1 25 iteracija 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

56 Zadatak 3.5 Rješenje. ω = iteracija 3. Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

57 Zadatak 3.5 Rješenje. Za ω = 1.2: 2.4 x (1) = , x(2) = x (4) = , x(5) = , x(3) =, x(15) = Iterativne metode za linearne sustave Osnovne iterativne metode - SOR (Succesive Over-Relaxation)

58 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

59 Inverz matrice kao polinom Karakteristični polinom matrice A C n n : κ A (ξ ) := det(a ξ I) = a n ξ n + a n 1 ξ n a 1 ξ + a 0 Matrica poništava svoj karakteristični polinom: κ A (A) = a n A n + a n 1 A n a 1 A + a 0 = 0 Ako je A regularna, onda a 0 0 i A 1 = 1 a 0 ( an A n 1 + a n 1 A n a 2 A + a 1 ) Dakle, A 1 = p(a), za neki polinom stupnja n 1. Ako je Ax = b, onda x = A 1 b = p(a)b. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

60 Inverz matrice kao polinom Karakteristični polinom matrice A C n n : κ A (ξ ) := det(a ξ I) = a n ξ n + a n 1 ξ n a 1 ξ + a 0 Matrica poništava svoj karakteristični polinom: κ A (A) = a n A n + a n 1 A n a 1 A + a 0 = 0 Ako je A regularna, onda a 0 0 i A 1 = 1 a 0 ( an A n 1 + a n 1 A n a 2 A + a 1 ) Dakle, A 1 = p(a), za neki polinom stupnja n 1. Ako je Ax = b, onda x = A 1 b = p(a)b. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

61 Inverz matrice kao polinom Karakteristični polinom matrice A C n n : κ A (ξ ) := det(a ξ I) = a n ξ n + a n 1 ξ n a 1 ξ + a 0 Matrica poništava svoj karakteristični polinom: κ A (A) = a n A n + a n 1 A n a 1 A + a 0 = 0 Ako je A regularna, onda a 0 0 i A 1 = 1 a 0 ( an A n 1 + a n 1 A n a 2 A + a 1 ) Dakle, A 1 = p(a), za neki polinom stupnja n 1. Ako je Ax = b, onda x = A 1 b = p(a)b. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

62 Inverz matrice kao polinom Karakteristični polinom matrice A C n n : κ A (ξ ) := det(a ξ I) = a n ξ n + a n 1 ξ n a 1 ξ + a 0 Matrica poništava svoj karakteristični polinom: κ A (A) = a n A n + a n 1 A n a 1 A + a 0 = 0 Ako je A regularna, onda a 0 0 i A 1 = 1 a 0 ( an A n 1 + a n 1 A n a 2 A + a 1 ) Dakle, A 1 = p(a), za neki polinom stupnja n 1. Ako je Ax = b, onda x = A 1 b = p(a)b. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

63 Krilovljevi potprostori Za vektor v C n definiramo Krilovljev potprostor K k (v,a) := span{v,av,a 2 v,...,a k 1 v}. Dakle, ako je Ax = b, onda je x K n (b,a). Očekujemo da će već za k << n u prostoru K k (b,a) postojati dobre aproksimacije za x. Zašto Krilovljevi potprostori? Matrica sustava A je toliko velika ili je tako zadana da je jedina operacija koju možemo s njom izvesti oblika v Av (tzv. matvec ). Brzinu konvergencije obično mjerimo u broju operacija v Av. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

64 Krilovljevi potprostori Za vektor v C n definiramo Krilovljev potprostor K k (v,a) := span{v,av,a 2 v,...,a k 1 v}. Dakle, ako je Ax = b, onda je x K n (b,a). Očekujemo da će već za k << n u prostoru K k (b,a) postojati dobre aproksimacije za x. Zašto Krilovljevi potprostori? Matrica sustava A je toliko velika ili je tako zadana da je jedina operacija koju možemo s njom izvesti oblika v Av (tzv. matvec ). Brzinu konvergencije obično mjerimo u broju operacija v Av. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

65 Krilovljevi potprostori Za vektor v C n definiramo Krilovljev potprostor K k (v,a) := span{v,av,a 2 v,...,a k 1 v}. Dakle, ako je Ax = b, onda je x K n (b,a). Očekujemo da će već za k << n u prostoru K k (b,a) postojati dobre aproksimacije za x. Zašto Krilovljevi potprostori? Matrica sustava A je toliko velika ili je tako zadana da je jedina operacija koju možemo s njom izvesti oblika v Av (tzv. matvec ). Brzinu konvergencije obično mjerimo u broju operacija v Av. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora -

66 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

67 Metoda najbržeg silaska Oznake: x (k) k-ta iteracija e (k) = x x (k) greška u k-tom koraku r (k) = b Ax (k) rezidual u k-tom koraku Uoči: r (k) = Ae (k). Iteracije: x (k+1) = x (k) + α k (b Ax (k) ) = x (k) + α k r (k) = x (k) + α k Ae (k) Vrijednost α k ćemo odabrati tako da x (k+1) bude u nekom smislu optimalan. Uoči: e (k+1) = e (k) α k Ae (k), r (k+1) = r (k) α k Ar (k). 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

68 Metoda najbržeg silaska Oznake: x (k) k-ta iteracija e (k) = x x (k) greška u k-tom koraku r (k) = b Ax (k) rezidual u k-tom koraku Uoči: r (k) = Ae (k). Iteracije: x (k+1) = x (k) + α k (b Ax (k) ) = x (k) + α k r (k) = x (k) + α k Ae (k) Vrijednost α k ćemo odabrati tako da x (k+1) bude u nekom smislu optimalan. Uoči: e (k+1) = e (k) α k Ae (k), r (k+1) = r (k) α k Ar (k). 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

69 Metoda najbržeg silaska Oznake: x (k) k-ta iteracija e (k) = x x (k) greška u k-tom koraku r (k) = b Ax (k) rezidual u k-tom koraku Uoči: r (k) = Ae (k). Iteracije: x (k+1) = x (k) + α k (b Ax (k) ) = x (k) + α k r (k) = x (k) + α k Ae (k) Vrijednost α k ćemo odabrati tako da x (k+1) bude u nekom smislu optimalan. Uoči: e (k+1) = e (k) α k Ae (k), r (k+1) = r (k) α k Ar (k). 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

70 Metoda najbržeg silaska Uoči: x (0) = x e (0) x + span{e (0) } x (1) = x (0) + α 0 Ae (0) = x e (0) + α 0 Ae (0) x + span{e (0),Ae (0) } x (2) = x (1) + α 1 Ae (1) = x (1) + α 1 A(e (0) α 0 Ae (0) ) x + span{e (0),Ae (0),A 2 e (0) }... x (k) x + K k+1 (e (0),A) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

71 Metoda najbržeg silaska Kako odabrati α k? e (k+1) min? Ali e (k+1) = x x (k+1), x nepoznat Definiramo A-normu i A-skalarni produkt: za simetričnu, pozitivno definitnu A i vektor v je v A := v Av, u,v A := v Au (DZ: Dokažite da su ovo zaista norma, odnosno skal. produkt.) Definirajmo f(α k ) := e (k+1) A. Cilj: naći α k tako da f(α k ) minimalno. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

72 Metoda najbržeg silaska Kako odabrati α k? e (k+1) min? Ali e (k+1) = x x (k+1), x nepoznat Definiramo A-normu i A-skalarni produkt: za simetričnu, pozitivno definitnu A i vektor v je v A := v Av, u,v A := v Au (DZ: Dokažite da su ovo zaista norma, odnosno skal. produkt.) Definirajmo f(α k ) := e (k+1) A. Cilj: naći α k tako da f(α k ) minimalno. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

73 Metoda najbržeg silaska Kako odabrati α k? e (k+1) min? Ali e (k+1) = x x (k+1), x nepoznat Definiramo A-normu i A-skalarni produkt: za simetričnu, pozitivno definitnu A i vektor v je v A := v Av, u,v A := v Au (DZ: Dokažite da su ovo zaista norma, odnosno skal. produkt.) Definirajmo f(α k ) := e (k+1) A. Cilj: naći α k tako da f(α k ) minimalno. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

74 Metoda najbržeg silaska f(α k ) = (e (k+1) ) Ae (k+1) = (e (k+1) ) r (k+1) = (e (k) α k Ae (k) ) (r (k) α k Ar (k) ) = (e (k) α k r (k) ) (r (k) α k Ar (k) ) = α 2 k (r (k) ) Ar (k) 2α k (r (k) ) r (k) + (e (k) ) Ae (k) Uvjet optimalnosti: min α k 0 = f (α k ) = 2α k (r (k) ) Ar (k) 2(r (k) ) r (k) Slijedi: α k = (r (k) ) r (k) (r (k) ) Ar (k). 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

75 Metoda najbržeg silaska f(α k ) = (e (k+1) ) Ae (k+1) = (e (k+1) ) r (k+1) = (e (k) α k Ae (k) ) (r (k) α k Ar (k) ) = (e (k) α k r (k) ) (r (k) α k Ar (k) ) = α 2 k (r (k) ) Ar (k) 2α k (r (k) ) r (k) + (e (k) ) Ae (k) Uvjet optimalnosti: min α k 0 = f (α k ) = 2α k (r (k) ) Ar (k) 2(r (k) ) r (k) Slijedi: α k = (r (k) ) r (k) (r (k) ) Ar (k). 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

76 Metoda najbržeg silaska Algoritam (Metoda najbržeg silaska: A simetrična, poz. definitna) x (0) zadan. r (0) = b Ax (0) for k = 0,1,2,... α k = (r (k) ) r (k) (r (k) ) Ar (k) x (k+1) = x (k) + α k r (k) r (k+1) = r (k) α k Ar (k) end 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

77 Metoda najbržeg silaska Uoči: (r (k) ) r (k+1) = (r (k) ) r (k) α k (r (k) ) Ar (k) ) = 0, tj. rezidual r (k+1) = Ae (k+1) je okomit (pazi, ne A-okomit!) na r (k), pa je e (k+1) A-okomit na r (k). Zato možemo primjeniti A-Pitagorin poučak: e (k) 2 A = e (k+1) + α k r (k) 2 = e (k+1) 2 A +α 2 k A r (k) 2 to jest, greška monotono pada. (Ako je r (k) = 0, onda je x (k) egzaktno rješenje od Ax = b.) A > e (k+1) 2, A 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

78 Metoda najbržeg silaska Uoči: (r (k) ) r (k+1) = (r (k) ) r (k) α k (r (k) ) Ar (k) ) = 0, tj. rezidual r (k+1) = Ae (k+1) je okomit (pazi, ne A-okomit!) na r (k), pa je e (k+1) A-okomit na r (k). Zato možemo primjeniti A-Pitagorin poučak: e (k) 2 A = e (k+1) + α k r (k) 2 = e (k+1) 2 A +α 2 k A r (k) 2 to jest, greška monotono pada. (Ako je r (k) = 0, onda je x (k) egzaktno rješenje od Ax = b.) A > e (k+1) 2, A 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

79 Metoda najbržeg silaska konvergencija Teorem (konvergencija metode najbržeg silaska) Neka je A simetrična, pozitivno definitna matrica, te neka je κ = λ max(a) λ min (A). Tada vrijedi: odnosno, e (k) A κ 1 κ + 1 e (k 1) A, e (k) A ( κ 1 κ + 1 ) k e (0) A. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

80 Zadatak 3.6 Zadatak Napišite funkciju x=najbrzisilazak(a,b,x0) koja metodom najbržeg silaska računa aproksimaciju rješenja linearnog sustava Ax = b, uz početnu iteraciju x0. Iteracije zaustavite kada bude r (k) / b < Metodu testirajte za matricu A = UΛU, pri čemu je U slučajna ortogonalna matrica, te Λ = diag(1,2,...,100). Neka je x0 = 0, te b takav da je vektor x=[1; 1;... 1] egzaktno rješenje sustava. Usporedite e (k) sa ocjenom iz Teorema o konvergenciji. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

81 Zadatak 3.6 Rješenje. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda najbržeg silaska

82 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

83 Metoda konjugiranih smjerova Metoda najbržeg silaska često radi korake u smjeru koji se već ranije pojavio (tj. r (k) se može ponavljati) potencijalno spora konv. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

84 Metoda konjugiranih smjerova Rješenje: unaprijed odaberemo skup A-ortogonalnih vektora {d 0,d 1,...,d n 1 } i definiramo x (k+1) := x (k) + α k d k. Uoči: e (k+1) = e (k) α k d k, r (k+1) = r (k) α k Ad k. Skalar α k opet odaberemo tako da je e (k+1) A minimalna, tj. α k = d k r (k) d k Ad. k 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

85 Metoda konjugiranih smjerova Rješenje: unaprijed odaberemo skup A-ortogonalnih vektora {d 0,d 1,...,d n 1 } i definiramo x (k+1) := x (k) + α k d k. Uoči: e (k+1) = e (k) α k d k, r (k+1) = r (k) α k Ad k. Skalar α k opet odaberemo tako da je e (k+1) A minimalna, tj. α k = d k r (k) d k Ad. k 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

86 Metoda konjugiranih smjerova Lako se vidi da e (k),d 0 A = e (k),d 1 A =... = e (k),d k 1 A = 0, te e (k) span{d k,d k+1,...,d n 1 }. Preciznije, ako je e (0) = ξ 0 d 0 + ξ 1 d ξ k d k + ξ k+1 d k ξ n 1 d n 1, onda je e (k) = ξ k d k + ξ k+1 d k ξ n 1 d n 1. Dakle, e (n) = 0, tj. metoda (u egzaktnoj aritmetici) daje egzaktno rješenje u n koraka. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

87 Metoda konjugiranih smjerova Algoritam (Metoda konjugiranih smjerova: A simetrična, poz. definitna) x (0) zadan. Odaberi d 0,d 1,...,d n 1 tako da budu A-ortogonalni. r (0) = b Ax (0) for k = 0,1,2,... α k = d k r (k) d k Ad k x (k+1) = x (k) + α k d k r (k+1) = r (k) α k Ad k end 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

88 Metoda konjugiranih smjerova Neka svojstva: d j Ad i = 0, i j d j r (k) = d j Ae (k) = 0, j < k d j r (0) = d j r (1) =... = d j r (j) α k = d k r (0) d k Ad k Kako odabrati d 0,d 1,...,d n 1? A-Gram-Schmidtovim postupkom na linearno nezavisne vektore u 0,u 1,...,u n 1 : d k = u k β 0 d 0 β 1 d 1... β k 1 d k 1, β j = u k,d j A = d d j,d j A j Au k d j Ad j. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

89 Metoda konjugiranih smjerova Neka svojstva: d j Ad i = 0, i j d j r (k) = d j Ae (k) = 0, j < k d j r (0) = d j r (1) =... = d j r (j) α k = d k r (0) d k Ad k Kako odabrati d 0,d 1,...,d n 1? A-Gram-Schmidtovim postupkom na linearno nezavisne vektore u 0,u 1,...,u n 1 : d k = u k β 0 d 0 β 1 d 1... β k 1 d k 1, β j = u k,d j A = d d j,d j A j Au k d j Ad j. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

90 Zadatak 3.7 Zadatak Napišite funkciju Q=mgsA(A,X) koja modificiranim A-Gram-Schmidtovim postupkom redom A-ortogonalizira stupce matrice X i sprema ih kao stupce matrice Q. Napišite funkciju x=konjugiranismjerovi(a,b,x0,d) koja metodom konjugiranih smjerova računa aproksimaciju rješenja linearnog sustava Ax = b, uz početnu iteraciju x0. Iteracije zaustavite kada bude r (k) / b < Konjugirani smjerovi su stupci matrice D. Metodu testirajte za matricu A = UΛU, pri čemu je U slučajna ortogonalna matrica, te Λ = diag(1,2,...,100). Neka je x0 = 0, te b takav da je vektor x=[1; 1;... 1] egzaktno rješenje sustava. Usporedite sa metodom najbržeg silaska. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih smjerova

91 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

92 Metoda konjugiranih gradijenata Metoda konjugiranih gradijenata (CG): metoda konjugiranih smjerova d 0,...,d n 1 dobivamo A-Gram-Schmidtovim postupkom na vektorima r (0),r (1),...,r (n 1). Pokazat ćemo: d k = r (k) β k 1 d k 1, β k 1 = (r (k) ) r (k) (r (k 1) ) r (k 1) tj. β 0 = β 1 =... = β k 2 = 0 u A-Gram-Schmidtovom postupku d k = r (k) β 0 d 0 β 1 d 1... β k 1 d k Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

93 Metoda konjugiranih gradijenata Metoda konjugiranih gradijenata (CG): metoda konjugiranih smjerova d 0,...,d n 1 dobivamo A-Gram-Schmidtovim postupkom na vektorima r (0),r (1),...,r (n 1). Pokazat ćemo: d k = r (k) β k 1 d k 1, β k 1 = (r (k) ) r (k) (r (k 1) ) r (k 1) tj. β 0 = β 1 =... = β k 2 = 0 u A-Gram-Schmidtovom postupku d k = r (k) β 0 d 0 β 1 d 1... β k 1 d k Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

94 Metoda konjugiranih gradijenata Svojstvo A-Gram-Schmidtovog postupka: span{d 0,d 1,...,d k 1 } = span{r (0),r (1),...,r (k 1) }. Kako je CG metoda konjugiranih smjerova, vrijedi d j r (k) = 0, za j < k, pa onda i (r (j) ) r (k) = 0, i j. d k = r (k) β 0 d 0 β 1 d 1... β k 1 d k 1, β j = d j Ar (k) d j Ad j Uoči: (r (j+1) ) r (k) = (r (j) ) r (k) α j d j Ar (k), pa je d j Ar (k) = 0, j < k 1 d k 1 Ar (k) = (r (k) ) r (k) + (r (k 1) ) r (k) α k 1 = (r (k) ) r (k) α k 1 = (r (k) ) r (k) α k 1, 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

95 Metoda konjugiranih gradijenata Slijedi β j = 0, za j = 0,1,...,k 2, te β k 1 = (r (k) ) r (k) α k 1 d k 1 Ad = (r (k) ) r (k) k 1 d k 1 r (k 1) = (r (k) ) r (k) (r (k 1) ) r (k 1), jer je α k 1 = d k 1 r (k 1) d k 1 Ad k 1, te d k 1 = r (k 1) ξ d k 2, a d k 2 r (k 1) = 0. Slično, zbog d k r (k) = (r (k) ) r (k), možemo pisati α k = d k r (k) d k Ad k = (r (k) ) r (k) d k Ad. k 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

96 Metoda konjugiranih gradijenata Algoritam (Metoda konjugiranih gradijenata: A simetrična, poz. definitna) x (0) zadan. d 0 = r (0) = b Ax (0) for k = 0,1,2,... α k = (r (k) ) r (k) d k Ad k x (k+1) = x (k) + α k d k r (k+1) = r (k) α k Ad k β k = (r (k+1) ) r (k+1) (r (k) ) r (k) d k+1 = r (k+1) β k d k end 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

97 Metoda konjugiranih gradijenata konvergencija Može se pokazati da vektor e (k) ima najmanju A-normu od svih vektora iz mnogostrukosti Možemo pisati: e (0) + span{ae (0),A 2 e (0),...,A k e (0) }. e (k) = e (0) + τ 1 Ae (0) + τ 2 A 2 e (0) τ k A k e (0) = π(a)e (0), za neki polinom π P k stupnja k takav da je π(0) = 1. Dakle, ako je ˆπ polinom za kojeg se postiže π(a)e (0) A, onda je e (k) = ˆπ(A)e (0). min π P k π(0)=1 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

98 Metoda konjugiranih gradijenata konvergencija Može se pokazati da vektor e (k) ima najmanju A-normu od svih vektora iz mnogostrukosti Možemo pisati: e (0) + span{ae (0),A 2 e (0),...,A k e (0) }. e (k) = e (0) + τ 1 Ae (0) + τ 2 A 2 e (0) τ k A k e (0) = π(a)e (0), za neki polinom π P k stupnja k takav da je π(0) = 1. Dakle, ako je ˆπ polinom za kojeg se postiže π(a)e (0) A, onda je e (k) = ˆπ(A)e (0). min π P k π(0)=1 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

99 Metoda konjugiranih gradijenata konvergencija Može se pokazati da vektor e (k) ima najmanju A-normu od svih vektora iz mnogostrukosti Možemo pisati: e (0) + span{ae (0),A 2 e (0),...,A k e (0) }. e (k) = e (0) + τ 1 Ae (0) + τ 2 A 2 e (0) τ k A k e (0) = π(a)e (0), za neki polinom π P k stupnja k takav da je π(0) = 1. Dakle, ako je ˆπ polinom za kojeg se postiže π(a)e (0) A, onda je e (k) = ˆπ(A)e (0). min π P k π(0)=1 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

100 Metoda konjugiranih gradijenata konvergencija Za poz.def. A = UΛU je A 1/2 = UΛ 1/2 U i π(a) = Uπ(Λ)U, pa imamo: e (k) A = min π(a)e (0) A π P k π(0)=1 = min π P k π(0)=1 = min π P k π(0)=1 = min π P k π(0)=1 min π P k π(0)=1 = min π P k π(0)=1 (e (0) ) π(a) Aπ(A)e (0) (e (0) ) π(a) A 1/2 A 1/2 π(a)e (0) A 1/2 π(a)e (0) 2 = min π P k π(0)=1 π(a) 2 A 1/2 e (0) 2 π(λ) 2 e (0) A π(a)a 1/2 e (0) 2 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

101 Metoda konjugiranih gradijenata konvergencija Vrijedi: min π P k π(0)=1 π(λ) 2 = min π P k π(0)=1 max π(λ). λ Λ(A) Ocjenu za e (k) dobivamo tako da za π uvrstimo neki konkretni polinom stupnja k za kojeg vrijedi π(0) = 1. Uvrštavanjem Čebiševljevog polinoma za interval [λ min (A),λ max (A)] dobivamo: Teorem (konvergencija metode konjugiranih gradijenata) Neka je A simetrična, pozitivno definitna matrica, te neka je κ = λ max(a) λ min (A). Tada: ( ) k e (k) A κ 1 2 e (0) A. κ Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

102 Zadatak 3.8 Zadatak Napišite funkciju x=cg(a,b,x0) koja CG-metodom računa aproksimaciju rješenja linearnog sustava Ax = b, uz početnu iteraciju x0. Iteracije zaustavite kada bude r (k) / b < Metodu testirajte za matricu A = UΛU, pri čemu je U slučajna ortogonalna matrica, te (a) Λ = diag(1,2 2,3 2,...,100 2 ). (b) Λ = diag(1,2,3,...,100). (c) Λ = diag(1,1,3,3,5,5,...,97,97,99,100). (d) Λ = diag(1,...,1,20,...,20,...,90,100,...,100). }{{}}{{}}{{} Neka je x0 = 0, te b takav da je vektor x=[1; 1;... 1] egzaktno rješenje sustava. Usporedite sa ocjenom iz teorema i objasnite dobivene rezultate! 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

103 Zadatak 3.8 Rješenje. (a) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

104 Zadatak 3.8 Rješenje. (b) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

105 Zadatak 3.8 Rješenje. (c) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

106 Zadatak 3.8 Rješenje. (d) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - Metoda konjugiranih gradijenata

107 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

108 GMRES CG: simetrična, pozitivno definitna matrica sustava x (k) x (0) + K k 1 (r (0),A) r (k) = min π P k π(a)r (0) π(0)=1 A kratke rekurzivne formule za update x (k), r (k) ; ne treba baza za K k 1 (r (0),A) GMRES (Generalized Minimal RESidual): proizvoljna (regularna) matrica sustava x (k) x (0) + K k 1 (r (0),A) r (k) = min π P k π(a)r (0) π(0)=1 2 složeniji izračun x (k) ; treba baza za K k 1 (r (0),A) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

109 GMRES CG: simetrična, pozitivno definitna matrica sustava x (k) x (0) + K k 1 (r (0),A) r (k) = min π P k π(a)r (0) π(0)=1 A kratke rekurzivne formule za update x (k), r (k) ; ne treba baza za K k 1 (r (0),A) GMRES (Generalized Minimal RESidual): proizvoljna (regularna) matrica sustava x (k) x (0) + K k 1 (r (0),A) r (k) = min π P k π(a)r (0) π(0)=1 2 složeniji izračun x (k) ; treba baza za K k 1 (r (0),A) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

110 GMRES [r (0),Ar (0),A 2 r (0),...,A k 1 r (0) ] je loša baza za K k (r (0),A). Ortonormirana baza je numerički stabilna: gradimo redom o-n baze za K 1 K 2 K 3... pretp. da smo dosad sagradili V (k) = [v 1 v 2... v k ] o-n bazu za K k t.d. je K j = span{v 1,...,v j }, za sve j k. može se pokazati da je K k+1 = span{v (k),av k }. Gram-Schmidtovim algoritmom ortogonaliziramo Av k na V (k) : h k+1,k v k+1 = Av k h 1,k v 1 h 2,k v 2... h k,k v k. stavimo V (k+1) = [V (k) v k+1 ]. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

111 GMRES [r (0),Ar (0),A 2 r (0),...,A k 1 r (0) ] je loša baza za K k (r (0),A). Ortonormirana baza je numerički stabilna: gradimo redom o-n baze za K 1 K 2 K 3... pretp. da smo dosad sagradili V (k) = [v 1 v 2... v k ] o-n bazu za K k t.d. je K j = span{v 1,...,v j }, za sve j k. može se pokazati da je K k+1 = span{v (k),av k }. Gram-Schmidtovim algoritmom ortogonaliziramo Av k na V (k) : h k+1,k v k+1 = Av k h 1,k v 1 h 2,k v 2... h k,k v k. stavimo V (k+1) = [V (k) v k+1 ]. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

112 GMRES [r (0),Ar (0),A 2 r (0),...,A k 1 r (0) ] je loša baza za K k (r (0),A). Ortonormirana baza je numerički stabilna: gradimo redom o-n baze za K 1 K 2 K 3... pretp. da smo dosad sagradili V (k) = [v 1 v 2... v k ] o-n bazu za K k t.d. je K j = span{v 1,...,v j }, za sve j k. može se pokazati da je K k+1 = span{v (k),av k }. Gram-Schmidtovim algoritmom ortogonaliziramo Av k na V (k) : h k+1,k v k+1 = Av k h 1,k v 1 h 2,k v 2... h k,k v k. stavimo V (k+1) = [V (k) v k+1 ]. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

113 GMRES [r (0),Ar (0),A 2 r (0),...,A k 1 r (0) ] je loša baza za K k (r (0),A). Ortonormirana baza je numerički stabilna: gradimo redom o-n baze za K 1 K 2 K 3... pretp. da smo dosad sagradili V (k) = [v 1 v 2... v k ] o-n bazu za K k t.d. je K j = span{v 1,...,v j }, za sve j k. može se pokazati da je K k+1 = span{v (k),av k }. Gram-Schmidtovim algoritmom ortogonaliziramo Av k na V (k) : h k+1,k v k+1 = Av k h 1,k v 1 h 2,k v 2... h k,k v k. stavimo V (k+1) = [V (k) v k+1 ]. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

114 GMRES [r (0),Ar (0),A 2 r (0),...,A k 1 r (0) ] je loša baza za K k (r (0),A). Ortonormirana baza je numerički stabilna: gradimo redom o-n baze za K 1 K 2 K 3... pretp. da smo dosad sagradili V (k) = [v 1 v 2... v k ] o-n bazu za K k t.d. je K j = span{v 1,...,v j }, za sve j k. može se pokazati da je K k+1 = span{v (k),av k }. Gram-Schmidtovim algoritmom ortogonaliziramo Av k na V (k) : h k+1,k v k+1 = Av k h 1,k v 1 h 2,k v 2... h k,k v k. stavimo V (k+1) = [V (k) v k+1 ]. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

115 GMRES Definiramo ovu gornje-hessenbergovu matricu (reda (k + 1) k): H (k+1) = h 1,1 h 1,2 h 1,3 h 1,4... h 1,k 1 h 1,k h 2,1 h 2,2 h 2,3 h 2,4... h 2,k 1 h 2,k h 3,2 h 3,3 h 3,4... h 3,k 1 h 3,k h 4,3 h 4,4... h 4,k 1 h 4,k. h k,k 1 h k,k h k+1,k Tada: AV (k) = V (k+1) H (k+1), tj. A[v 1 v 2... v k ] = [v 1 v 2... v k v k+1 ]H (k+1) j-ti stupac: Av j je linearna kombinacija v 1,v 2,...,v j. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

116 GMRES Algoritam (Arnoldijev algoritam ortonormirana baza za K k (r (0),A)) v 1 = r (0) / r (0) ; for k = 1,2,... z = Av k ; for j = 1,2,...,k h j,k = v j z; z = z h j,k v j ; end h k+1,k = z ; if (h k+1,k == 0) stop v k+1 = z/h k+1,k ; end 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

117 GMRES Kada imamo bazu za K k (r (0),A): biramo x (k) x (0) + K k (r (0),A), tj. x (k) = x (0) + V (k) y, za neko y R k. cilj: r (k) min. r (k) b = Ax (k) = b A(x (0) + V (k) y) = r (0) AV (k) y = r (0) V (k+1) H (k+1) y = r (0) V (k+1) e1 V (k+1) H (k+1) y = V (k+1) ( r (0) e1 H (k+1) y) = r (0) e1 H (k+1) r (0) y = min e 1 H (k+1) y y 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

118 GMRES Kada imamo bazu za K k (r (0),A): biramo x (k) x (0) + K k (r (0),A), tj. x (k) = x (0) + V (k) y, za neko y R k. cilj: r (k) min. r (k) b = Ax (k) = b A(x (0) + V (k) y) = r (0) AV (k) y = r (0) V (k+1) H (k+1) y = r (0) V (k+1) e1 V (k+1) H (k+1) y = V (k+1) ( r (0) e1 H (k+1) y) = r (0) e1 H (k+1) r (0) y = min e 1 H (k+1) y y 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

119 GMRES Algoritam (GMRES) β = r (0) ; for k = 1,2,... Izračunaj V (k+1) i H (k+1) (jedan korak Arnoldijevog algoritma); Riješi problem najmanjih kvadrata min y β e 1 H (k+1) y ; x (k) = x (0) + V (k) y; if (x (k) dovoljno dobar) stop; end problem najmanjih kvadrata sa Hessenbergovog matricom se može riješiti puno efikasnije nego sa proizvoljnom; moguće je i bez rješavanja problema najmanjih kvadrata izračunati r (k), pa x (k) računamo tek kad je r (k) dovoljno malen. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

120 GMRES Algoritam (GMRES) β = r (0) ; for k = 1,2,... Izračunaj V (k+1) i H (k+1) (jedan korak Arnoldijevog algoritma); Riješi problem najmanjih kvadrata min y β e 1 H (k+1) y ; x (k) = x (0) + V (k) y; if (x (k) dovoljno dobar) stop; end problem najmanjih kvadrata sa Hessenbergovog matricom se može riješiti puno efikasnije nego sa proizvoljnom; moguće je i bez rješavanja problema najmanjih kvadrata izračunati r (k), pa x (k) računamo tek kad je r (k) dovoljno malen. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

121 GMRES konvergencija Pretp. A dijagonizabilna, tj. A = XΛX 1. r (k) = min π P k π(0)=1 = min π P k π(0)=1 min π P k π(0)=1 π(a)r (0) = κ 2 (X) ( min π P k π(0)=1 Xπ(Λ)X 1 r (0) X π(λ) X 1 r (0) Λ C, optimalan π je teško pronaći/ocijeniti. π(λ) ) r (0) 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

122 GMRES konvergencija Teorem (Greenbaum, Pták, Strakoš) Neka je zadan niz a 0 a 1... a n 1 > 0, te neka su λ 1,...,λ n proizvoljni kompleksni brojevi. Tada postoji matrica A čije su svojstvene vrijednosti λ 1,...,λ n, te vektor b takvi da reziduali GMRES metode za sustav Ax = b zadovoljavaju r (k) = ak, za sve k = 0,1,...,n Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

123 Zadatak 3.9 Zadatak Napišite funkciju x=gmres(a,b,x0) koja GMRES-metodom računa aproksimaciju rješenja linearnog sustava Ax = b, uz početnu iteraciju x0. Iteracije zaustavite kada bude r (k) / r (0) < Neka je a k = (12 k/10) 2, za k = 0,1,...,99. Prona dite matricu A reda 100 i vektor b takve da reziduali GMRES metode za sustav Ax = b zadovoljavaju r (k) = a k. Testirajte funkciju GMRES na ovom sustavu. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

124 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

125 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

126 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

127 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

128 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

129 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

130 Zadatak 3.9 Rješenje. Stavimo npr. λ j = cos 2πj 2πj + i sin , j = 1,...,100. Definiramo: g k = ak 1 2 a2 k, k = 1,2,...,100; (a 100 = 0); Q = [q 1 q 2...,q 100 ] slučajna ortogonalna matrica; b = g 1 q 1 + g 2 q g 100 q 100 ; B = [b v 1... v 99 ]; p(z) = z j=0 α j z j = (z λ 1 )(z λ 2 )...(z λ n ) = z 100 1; α α 1 A = B B 1 1 α Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

131 Zadatak 3.9 Rješenje. 3. Iterativne metode za linearne sustave Aproksimacije iz Krilovljevih potprostora - GMRES

132 Sadržaj 1 Osnovne iterativne metode Jacobijeva metoda Gauss-Seidelova metoda JOR (Jacobi Over-Relaxation) SOR (Succesive Over-Relaxation) 2 Aproksimacije iz Krilovljevih potprostora Metoda najbržeg silaska Metoda konjugiranih smjerova Metoda konjugiranih gradijenata GMRES 3 Prekondicioniranje 3. Iterativne metode za linearne sustave Prekondicioniranje -

133 Prekondicioniranje Prekondicioniranje modifikacija početnog sustava Ax = b koja ubrzava metodu za rješavanje sustava. Umjesto Ax = b, rješavamo M 1 Ax = M 1 b. Kada iterativna metoda treba izračunati z = M 1 Av, to radimo ovako: (1) t = Av; (2) Riješi sustav Mz = t. Cilj odabrati M tako da: M A u nekom smislu (M 1 A I). Sustavi tipa Mz = t se mogu jako brzo riješiti. CG, GMRES npr. κ(m 1 A) κ(a) ili Λ(M 1 A) koncentriran oko jedne točke. 3. Iterativne metode za linearne sustave Prekondicioniranje -

134 Prekondicioniranje Prekondicioniranje modifikacija početnog sustava Ax = b koja ubrzava metodu za rješavanje sustava. Umjesto Ax = b, rješavamo M 1 Ax = M 1 b. Kada iterativna metoda treba izračunati z = M 1 Av, to radimo ovako: (1) t = Av; (2) Riješi sustav Mz = t. Cilj odabrati M tako da: M A u nekom smislu (M 1 A I). Sustavi tipa Mz = t se mogu jako brzo riješiti. CG, GMRES npr. κ(m 1 A) κ(a) ili Λ(M 1 A) koncentriran oko jedne točke. 3. Iterativne metode za linearne sustave Prekondicioniranje -

135 Prekondicioniranje Prekondicioniranje modifikacija početnog sustava Ax = b koja ubrzava metodu za rješavanje sustava. Umjesto Ax = b, rješavamo M 1 Ax = M 1 b. Kada iterativna metoda treba izračunati z = M 1 Av, to radimo ovako: (1) t = Av; (2) Riješi sustav Mz = t. Cilj odabrati M tako da: M A u nekom smislu (M 1 A I). Sustavi tipa Mz = t se mogu jako brzo riješiti. CG, GMRES npr. κ(m 1 A) κ(a) ili Λ(M 1 A) koncentriran oko jedne točke. 3. Iterativne metode za linearne sustave Prekondicioniranje -

136 Prekondicioniranje dijagonalnom matricom M = dijagonala matrice A. Ako je A pozitivno definitna, onda možemo rješavati i gdje je D matrica iz ovog Teorema: Teorem (Van der Sluis) Ax = b DADy = Db, x = Dy, Neka je A pozitivno definitna matrica i D = diag( 1/A 1,1, 1/A 2,2,..., 1/A n,n ). Tada: κ(dad) n min D κ( A ), gdje je D skup svih dijagonalnih matrica sa pozitivnim elementima dijagonale. 3. Iterativne metode za linearne sustave Prekondicioniranje -

137 Prekondicioniranje simetričnih matrica Ako A simetrična, onda M 1 A ne mora biti simetrična. Ali, ako M = LL, onda M 1 Ax = M 1 b L L 1 Ax = L L 1 b L 1 AL y = L 1 b, uz x = L y. Sada je matrica sustava L 1 AL simetrična. Uoči: matrice M 1 A i L 1 AL su slične, pa su očuvana svojstva konvergencije koja ovise o spektru matrice sustava. 3. Iterativne metode za linearne sustave Prekondicioniranje -

138 Prekondicioniranje pozitivno definitnih matrica Kako dobiti M = LL? Ako A pozitivno definitna npr. incomplete Cholesky. MATLAB: R=cholinc(A, 0 ); L=R ; Algoritam (incomplete Cholesky) for i = 1,2,...,n L i,i = A i,i i 1 k=1 L2 i,k for j = i + 1,...,n if (A i,j 0) L j,i = (A i,j i 1 k=1 L i,kl j,k )/L i,i else L j,i = 0 end end Uoči: struktura nula u matrici L je ista kao stuktura nula u (donjem trokutu od) A! 3. Iterativne metode za linearne sustave Prekondicioniranje -

139 Prekondicioniranje u CG Ponekad M je pozitivno definitna, ali nije zadana u formi M = LL. Želimo verziju CG za sustav L 1 AL y = L 1 b koja ne koristi L već samo M. Neka CG za L 1 AL x = L 1 b koristi x (k), r (k), dk α k,β k. Uvedimo oznake: x (k) = L x (k), r (k) p = L r (k), d k = L dk. 3. Iterativne metode za linearne sustave Prekondicioniranje -

140 Prekondicioniranje u CG Ponekad M je pozitivno definitna, ali nije zadana u formi M = LL. Želimo verziju CG za sustav L 1 AL y = L 1 b koja ne koristi L već samo M. Neka CG za L 1 AL x = L 1 b koristi x (k), r (k), dk α k,β k. Uvedimo oznake: x (k) = L x (k), r (k) p = L r (k), d k = L dk. 3. Iterativne metode za linearne sustave Prekondicioniranje -

141 Prekondicioniranje u CG Tada: x (k+1) = L x (k+1) = L ( x (k) + α k dk ) = x (k) + α k d k r (k+1) = L r (k+1) = L( r (k) α k L 1 AL dk ) = r (k) α k Ad k d k+1 = L dk+1 = L ( r (k+1) β k dk ) = L L 1 r (k+1) β k d k α k = = M 1 r (k+1) β k d k r (k) ( r (k) ) d = (r (k) ) L L 1 r (k) k (L 1 AL ) dk d k Ad k β k = ( r (k+1) ) r (k+1) ( r (k) = (r (k+1) ) M 1 r (k+1) ) r (k) (r (k) ) M 1 r (k) = (r (k) ) M 1 r (k) d k Ad k 3. Iterativne metode za linearne sustave Prekondicioniranje -

142 Metoda konjugiranih gradijenata sa prekondicioniranjem Algoritam (CG sa prekondicioniranjem: A, M simetrične, poz. definitne) x (0) zadan; r (0) = b Ax (0) ; Riješi sustav Mp 0 = r (0) ; d 0 = p 0 ; for k = 0,1,2,... α k = (r (k) ) p k d k Ad ; k x (k+1) = x (k) + α k d k ; r (k+1) = r (k) α k Ad k ; Riješi sustav Mp k+1 = r (k+1) ; β k = (r (k+1) ) p k+1 (r (k) ) p k ; d k+1 = p k+1 β k d k ; end 3. Iterativne metode za linearne sustave Prekondicioniranje -

143 Zadatak 3.10 Zadatak Napišite funkciju x=cg_precond(a,m,b,x0) koja CG-metodom računa aproksimaciju rješenja linearnog sustava Ax = b, uz početnu iteraciju x0 i matricu prekondicioniranja M. Iteracije zaustavite kada bude b Ax (k) / b Ax (0) < Testirajte brzinu konvergencije: bez prekondicioniranja, uz prekondicioniranje dijagonalnom matricom, uz prekondicioniranje incomplete Cholesky faktorizacijom, ako je matrica sustava Ax = b Stieltjesova matrica iz datoteke stieltjes.mat. Neka je desna strana takva da je rješenje x=[ ]. 3. Iterativne metode za linearne sustave Prekondicioniranje -

144 Zadatak 3.10 Rješenje. spy(a); 3. Iterativne metode za linearne sustave Prekondicioniranje -

145 Zadatak 3.10 Rješenje. 3. Iterativne metode za linearne sustave Prekondicioniranje -