Analiză matricială şi condiţionarea unui. sistem liniar

Transcript

1 unui unui Norme, convergenţă, condiţionare UBB 18 martie 2015

2 Elemente de analiză matricială unui A C m m, A T transpusa lui A, A transpusa conjugată a lui A polinomul p(λ) = det(a λi ) polinomul caracteristic al lui A; rădăcinile lui se numesc valori proprii ale lui A Ax = λx, λ C valoare proprie, x = 0 vector propriu Valoarea ρ(a) = max{ λ : λ valoare proprie a lui A} raza spectrală a matricei A.

3 Matrice speciale unui O matrice se numeşte normală, dacă AA = A A unitară, dacă AA = A A = I ortogonală, dacă AA T = A T A = I, A reală hermitiană, dacă A = A simetrică, dacă A T = A, A reală O normă matricială este o aplicaţie : C m m R, care pentru orice matrice A, B şi orice scalar α C verifică (NM1) A 0, A = 0 A = 0 (NM2) αa = α A (NM3) A + B A + B (NM4) AB A B

4 - exemple fiind dată o normă vectorială pe C n, aplicaţia : C m n R Av A = sup v C n v =0 v = sup v C n v 1 Av = sup Av v C n v =1 este o normă matricială numita normă matricială subordonată (normei vectoriale date) sau normă indusă (de norma vectorială) sau normă naturală. Orice normă subordonată verifică I = 1 Un exemplu important de normă nesubordonată (neindusă) este norma Frobenius ( A F = i ) 1/2 a ij 2 = (tr (A A)) 1/2. j unui I F = n, deci norma Frobenius nu este subordonată

5 Norme induse clasice unui Teoremă Fie A C m m. Atunci A 1 = A 2 = A = Av sup 1 v C m \{0} v 1 Av sup 2 = v C m \{0} v 2 Av sup v C m \{0} v = max j a ij i ρ(aa ) = = max i a ij j ρ(a A) = A 2 Dacă A este normală (AA = A A), atunci A 2 = ρ(a).

6 Un rezultat util unui Teoremă (1) Fie A o matrice pătratică oarecare şi o normă matricială oarecare (indusă sau nu). Atunci ρ(a) A. (2) Fiind dată o matrice A şi un număr ε > 0, există cel puţin o normă matricială subordonată astfel încât A ρ(a) + ε.

7 Demonstraţie. (1) Fie p un vector propriu dominant, adică p = 0, Ap = λp şi λ = ρ(a) şi q un vector astfel încât pq = 0. Dar ρ(a) pq = λpq = Apq A pq, de unde prima parte. (2) U unitară a.î. U 1 AU este triunghiulară superior, şi are valorile proprii ale lui A pe diagonală U 1 AU = λ 1 t 12 t 13 t 1m λ 2 t 23 t 2m.... λ m 1 t m 1,m λ m unui Fiecărui scalar δ = 0 îi asociem matricea D δ = diag(1, δ, δ 2,..., δ m 1 ),

8 astfel ca (UD δ ) 1 A (UD δ ) = λ 1 δt 12 δ 2 t 13 δ m 1 t 1m λ 2 δt 23 δ m 2 t 2m.... λ m 1 δt m 1,m λ m Pentru ε dat, fixăm δ a.î. m j=i+1 δ j i t ij ε, i = 1,... m 1. Atunci aplicaţia : B C m m B = (UD d ) 1 B (UD δ ) îndeplineşte condiţiile problemei. Într-adevăr, datorită alegerii lui δ şi definiţiei unui A < ρ(a) + ε

9 unui şi este indusă de norma vectorială v C m (UD d ) 1 v.

10 Un alt rezultat util unui Teoremă Fie B o matrice pătratică de ordin m. Următoarele afirmaţii sunt echivalente: (1) lim k B k = 0 (2) lim k B k v = 0, v C m (3) ρ(b) < 1 (4) Există o normă matricială subordonată, astfel încât B < 1

11 unui Demonstraţie. (1) = (2) B k v B k v = lim k B k v = 0 (2)= (3) Dacă ρ(b) 1, putem găsi un p astfel încât p = 0, Bp = λp, λ 1. Deoarece B k p = λ k p, şirul de vectori ( B k p ) ar putea să nu conveargă către 0. k N (3)= (4) Din teorema 2 avem ρ(b) < 1 = astfel încât B ρ(b) + ε, ε > 0, deci B < 1. (4)= (1) B k B k 0, dacă B < 1.

12 1 unui Care este condiţionarea problemei: dându-se A C m m şi b C m 1 să se rezolve sistemul Ax = b. Considerăm exemplul (Wilson) cu soluţia [ ] T. x 1 x 2 x 3 x 4 =

13 2 unui Perturbăm membrul drept x 1 + x 1 x 2 + x 2 x 3 + x 3 x 4 + x 4 soluţia [ ] T. = o eroare (relativă) de 1/200 în date eroare relativă de 10/1 (amplificare a erorii relative de 2000 de ori)

14 3 Perturbăm matricea soluţia [ ] T. x 1 + x 1 x 2 + x 2 x 3 + x 3 x 4 + x 4 = Din nou, o variaţie mică în datele de intrare modifică complet rezultatul Matricea are un aspect,,bun, ea este simetrică, determinantul ei este 1, iar inversa ei este unui

15 unui Considerăm sistemul parametrizat, cu parametrul t (A + t A)x(t) = b + t b, x(0) = x. A nesingulară = funcţia x este diferenţiabilă în t = 0 şi x (0) = A 1 ( b Ax ). Dezvoltarea Taylor a lui x(t) este Estimarea erorii absolute x(t) = x + tx (0) + O(t 2 ). x(t) = x(t) x t x (0) + O(t 2 ) t A 1 ( b + A x ) + O(t 2 )

16 2 din b A x obţinem pentru eroarea relativă x(t) x t A 1 ( ) b x + A + O(t 2 ) A A 1 ( b t b + A ) + O(t 2 ) A Introducem notaţiile ρ A (t) = t A A, şi putem scrie pentru eroarea relativă x(t) x ρ b(t) = t b b A A 1 (ρ A (t) + ρ b (t)) + O(t 2 ) (1) unui

17 3 unui Definiţie Dacă A este nesingulară, numărul cond(a) = A A 1 (2) se numeşte număr al matricei A. Dacă A este singulară, cond(a) =. Relaţia (1) se poate scrie sub forma x(t) x cond(a) (ρ A (t) + ρ b (t)) + O(t 2 )

18 Matricea lui Hilbert H m = (h ij ) cu h ij = 1 i+j 1, i, j = 1,..., m. Szegő a demonstrat cond 2 (H m ) = ( ) 4m /4 πm. m cond 2 (H m ) Matricea Vandermonde V = (v ij ), v ij = t i 1 j, i, j = 1,..., m elemente echidistante în [-1,1] cond (V m ) 1 π e π 4 e m( π ln 2) unui t j = 1/j, j = 1,... m: cond (V m ) > m m+1.

19 unui David Hilbert ( ) Gábor Szegő ( )

20 Pentru A nesingulară, presupunem că putem reduce rezolvarea lui Ax = b (3) la rezolvarea problemei de punct fix x = Tx + c, (4) unde T este o matrice, c este un vector, I T este inversabilă şi punctul fix al lui (4) concide cu soluţia x a lui (3). Definim metoda iterativă ( prin: se ia un x (0) arbitrar şi se defineşte şirul x (k)) prin unui x (k+1) = Tx (k) + c. (5)

21 unui Lemă Dacă ρ(x ) < 1, există (I X ) 1 şi (I X ) 1 = I + X + X X k +. Demonstraţie. Fie S k = I + X + X X k. Deoarece avem (I X )S k = I X k+1, lim (I X )S k = I = lim S k = (I X ) 1, k k căci X k+1 0 ρ(x ) < 1.

22 Convergenţa unui Teoremă U.a.s.e. (1) metoda (5) este convergentă (2) ρ(t ) < 1 (3) T < 1 pentru cel puţin o normă matricială Demonstraţie. x (k) = Tx (k 1) + c = T (Tx (k 2) + c) + c = T (k) x (0) + (I + T + + T k 1 )c (5) convergentă (I T ) inversabilă ρ(t ) < 1 a.î. T < 1 (teorema 3).

23 Delimitarea erorii unui Aplicând teorema de punct fix a lui Banach obţinem Teoremă ( Dacă există a.î. T < 1, şirul x (k)) definit de (5) este convergent pentru orice x (0) R m şi au loc delimitările x x (k) T k x (0) x x x (k) T k 1 T T 1 T x (1) x (0) x (1) x (0).

24 Criteriul de oprire unui Criteriul de oprire x (k) x (k 1) 1 T ε. (6) T Propoziţie Dacă x este soluţia sistemului (3) şi T < 1, atunci x x (k) T 1 T x (k) x (k 1) (7)

25 Demonstraţia criteriului I Demonstraţie. p N avem x (k+p) x (k) x (k+1) x (k) x + + (k+p) x (k+p 1) (8) Din (5) rezultă x (m+1) x (m) T x (m) x (m 1) sau pentru k < m x (m+1) x (m) T m k 1 x (k) x (k 1). Aplicând aceste inegalităţi, pentru m = k,..., k + p 1, relaţia (8) devine unui

26 Demonstraţia criteriului II x (k+p) x (k) ( T + + T p ) x (k) x (k 1) ( T + + T p + ) x (k) x (k 1) de unde, deoarece T < 1 x (k+p) x (k) T 1 T x (k) x (k 1), din care prin trecere la limită în raport cu p se obţine (7). Dacă T 1 2, inegalitatea (7) devine x x (k) x (k) x (k 1), iar criteriul de oprire x (k) x (k 1) < ε. unui

27 unui Dacă metoda de rezolvare pentru Ax = b este nestabilă, atunci Ax 1 = b, unde x 1 este valoarea calculată. Vom calcula corecţia x 1 astfel încât A(x + x 1 ) = b = A x 1 = b Ax Se rezolvă sistemul şi se obţine un nou x, x 2 = x 1 + x 1. Dacă din nou Ax 2 = b, se calculează o nouă corecţie până când x i x i 1 < ε sau b Ax i < ε Calculul vectorului r i = b Ax i, numit reziduu, se va efectua în dublă precizie.

28 unui Fie sistemul Ax = b, A inversabilă. Scriem A sub forma A = M N, unde M este uşor de inversat (diagonală, triunghiulară, etc.) Ax = b Mx = Nx + b x = M 1 Nx + M 1 b Ultima ecuaţie are forma x = Tx + c, unde T = M 1 N şi c = M 1 b. Obţinem iteraţiile x (0) = arbitrar x (k+1) = M 1 Nx (k) + M 1 b.

29 unui Considerăm descompunerea A = D L U, unde D = diag(a), L = tril(a), U = triu(a). Se ia M = D, N = L + U. Se obţine T = T J = D 1 (L + U), c = c J = D 1 b. Metoda se numeşte metoda lui Jacobi Pe componente x (k) i = 1 b i a ii m j=1 j =i substituţia simultană a ij x (k 1) j, i = 1,... m, k = 1, 2,...

30 unui Figura: Carl Gustav Jacob Jacobi ( )

31 unui În descompunerea A = D L U, se ia M = D L, N = U Se obţine T = T GS = (D L) 1 U, c GS = (D L) 1 b. pe componente x (k) i = 1 a ii ( b i i 1 j=1 a ij x (k) j m j=i+1 a ij x (k 1) j ) i = 1,... m, k = 1, 2,...,

32 unui Pornim de la iteraţiile Jacobi x (k) i = 1 b i a ii m j=1 j =i a ij x (k 1) j, i = 1,... m, k = 1, 2,... deoarece x (k 1) j, j < i au fost deja actualizate le folosim în iteraţie x (k) i = 1 a ii ( b i i 1 j=1 a ij x (k) j m j=i+1 a ij x (k 1) j ) i = 1,... m, k = 1, 2,...,

33 Putem îmbunătăţi metoda Gauss-Seidel introducând un parametru ω şi alegând Avem Se obţine A = T = T ω = M = 1 ω D L ( ) ( ) 1 1 ω ω D L ω D + U ( ) 1 1 ( ) 1 ω ω D L ω D + U = (D ωl) 1 ((1 ω)d + ωu) c = c ω = (D ωl) 1 ωb unui variante: subrelaxare ω < 1, suprarelaxare ω > 1, Gauss-Seidel ω = 1

34 II Justificarea: pentru a accelera convergenţa metodei Gauss-Seidel, x (k) va fi media ponderată între x (k 1) şi x (k) al metodei Gauss-Seidel x (k) = (1 ω)x (k 1) + ωx (k) GS Folosind acum formula pe componente pentru metoda Gauss-Seidel, se obţine următoarea expresie pe componente pentru metoda relaxării x (k) i = (1 ω) x (k 1) ( ω b i a ii i + i 1 j=1 a ij x (k) j m j=i+1 a ij x (k 1) j ). unui

35 Convergenţa metodei relaxării Teoremă (Kahan) Dacă a ii = 0, i = 1,..., n, ρ(t ω ) < ω 1. De aici rezultă că ρ(t ω ) < 1 = 0 < ω < 2 (condiţie necesară). Teoremă (Ostrowski-Reich) Dacă A este o matrice pozitiv definită şi 0 < ω < 2, atunci SOR converge pentru orice alegere a aproximaţiei iniţiale x (0). Valoarea optimă a parametrului relaxării este 2 ω O = (ρ(t J )) 2 unui

36 Convergenţa metodelor Jacobi şi Gauss-Seidel Condiţia necesară şi suficientă de convergenţă pentru o metodă iterativă staţionară este ρ(t ) < 1 O condiţie suficientă este: T < 1, pentru o anumită normă Pentru metoda lui Jacobi (şi Gauss-Seidel) avem următoarele două condiţii suficiente de convergenţă a ii a ii m j=1 j =i m j=1 j =i a ij a ji unui (diagonal dominanţă pe linii şi respectiv pe coloane)

37 Bibliografie I Octavian Agratini, Ioana Chiorean, Gheorghe Coman, Trîmbiţaş Radu, Analiză numerică şi teoria aproximării, vol. III, Presa Universitară Clujeană, 2002, coordonatori D. D. Stancu şi Gh. Coman. R. Barrett, M. Berry, T. F. Chan, J. Demmel, J. Donato, J. Dongarra, V. Eijkhout, R. Pozo, C. Romine, H. van der Vorst, Templates for the Solution of Linear Systems: Building Blocks for Iterative Methods, 2nd ed., SIAM, Philadelphia, PA, 1994, disponibila prin www, James Demmel, Applied Numerical Linear Algebra, SIAM, Philadelphia, unui H. H. Goldstine, J. von Neumann, Numerical inverting of matrices of high order, Amer. Math. Soc. Bull. 53 (1947),

38 Bibliografie II unui Gene H. Golub, Charles van Loan, Matrix Computations, 3rd ed., Johns Hopkins University Press, Baltimore and London, C. G. J. Jacobi, Über eine neue Auflösungsart der bei der Methode der kleinsten Quadrate vorkommenden linearen Gleichungen, Astronomische Nachrichten 22 (1845), 9 12, Issue no W. H. Press, S. A. Teukolsky, W. T. Vetterling, B. P. Flannery, Numerical Recipes in C, Cambridge University Press, Cambridge, New York, Port Chester, Melbourne, Sidney, 1996, disponibila prin www,

39 Bibliografie III unui Y. Saad, Iterative Methods for Sparse Linear Systems, PWS Publishing, Boston, 1996, disponibilă via www la adresa Lloyd N. Trefethen, David Bau III, Numerical Linear Algebra, SIAM, Philadelphia, 1996.