Lastne vrednosti in vektorji

Poglavje Lastne vrednosti in vetorji Naloga Gerschgorinov izre Naj bo A C n n in C i = {z C i, z a ii n j=,j i a ij } rog v omplesni ravnini, za i =,, n Vse lastne vrednosti matrie A ležijo v uniji rogov n i= C i Rešitev Naj bo x lastni vetor in λ pripadajoča lastna vrednost Poglejmo si enaost po vrsticah A(i, :)x = a ij x j = λx i Kar je evivalentno j=,j i Uporabimo absolutno vrednost in ocenimo: λ a ii x i = j=,j i a ij x j j= a ij x j = (λ a ii )x i j=,j i Naj bo x = x Če postavimo i = dobimo, λ a j=,j i a ij x j x n a ij j=,j i a ij Kar pomeni λ C Iz tega že sledi, da vsaa lastna vrednost leži v uniji rogov Naloga 2 Naj bo A R n n diagonalno dominantna, tj Potem je A obrnljiva a ii > j=,j i a ij za vsa i Rešitev Dovolj je poazati, da so vse lastne vrednosti različne od 0 Fisirajmo lastno vrednost λ Po izreu leži v vsaj enem rogu Torej velja λ a ii j=,j i Ali je laho λ = 0 Če bi bila, bi veljalo a ii n j=,j i a ij < a ii Kar je protislovje Matria je res obrnljiva a ij

2 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Posledica Naj bo A R n n simetrična, vse lastne vrednosti so realne Vsa lastna vrednost leži v enem od intervalov [a ii a ij, a ii + a ij ] Posledica 2 Velja λ A j=,j i Doaza posledic sta preprosta in ju prepuščam bralcu j=,j i Naloga 3 Določi območje v aterem se nahajajo lastne vrednosti matrie (i) Uporabi Gerschgorinov izre 0 4 A = 0 05 5 3 20 (ii) Upoštevaj še, da imata matrii A in A T iste lastne vrednosti (iii) Podobna matria QAQ ima iste lastne vrednosti ot matria A Ponavadi si za Q izberemo ar diagonalno matrio Poišči optimalno matrio Q =, pri ateri dobiš najboljše oceno za tretjo lastno vrednost Uporabi Gerschgorinov izre Rešitev (i) Iz prve vrstice dobimo λ 0 5 Iz druge vrstice dobimo λ 0 5 Iz tretje vrstice dobimo λ 20 45 Oceno za območje laho izboljšamo tao, da isto oceno naredimo za A T in podobno matrio DAD, jer je D diagonalna matria Vsao območje je določeno z unijo rogov Lastne vrednosti se nahajajo v preseu vseh območij (ii) Zamenja se vloga vrstic in stolpcev Tao dobimo ocene λ 0 25, λ 0 7, λ 20 5 Lastne vredosti ležijo v preseu obeh unij (iii) Izračunamo in dobimo 0 4 QAQ = 0 05 5 3 20 Uporabimo Gerschgorinov izre in dobimo λ 0 4 +, λ 0 + 05, λ 20 45 Radi bi, da ima rog ooli 20 čimmanjši radij in prazen prese z ostalima dvema To pomeni 20 45 4+ +05 Za mejne dobimo vadratno enačbo 20 45 = 4 + 45 2 + 6 = 0 Dobimo x 2 = 6± 36 4 45 9 = 2 3 2 3 Torej dobimo 095 3 Vzamemo, i je čim manjši tj 2 3 2 3

3 Naloga 4 Poaži, da so levi in desni lastni vetorji matrie A pripadajoči različnim lastni vrednosti λ pravootni Rešitev Za levi lastni vetor x velja Ax = λ x, za desni lastni vetor y pa y H A = λ 2 y H Poazati moramo, da velja x H y = 0 Velja y H (Ax) = y H (λ )x = λ y H x = (y H A)x = (λ 2 y H )x = λ 2 y H x Tao dobimo (λ 2 λ )y H x = 0, iz česar že sledi y H x = 0 Naloga 5 Poaži, da ima hermitsa matria A H = A vse lastne vrednosti realne Rešitev Velja Ax = λx, iz tega dobimo x H A H = λx H = x H A = λx H V primeru, da velja λ λ, uporabimo prejšnjo nalogo in dobimo x H x = 0 Prišli smo do protislovja, saj x 0 Torej mora veljati λ = λ To pomeni, da so vse lastne vrednosti realne Naloga 6 Matria A se da diagonalizirati Poaži, da matria ne more imeti natano ene zelo občutljive vrednosti Rešitev Naj bo AX = XΛ, X = [x x 2 x n ], jer je Ax i = λ i x i in x i = Podobno definiramo še matrio levih lastnih vetorjev ] ( y i = ) deljenih z inverzom občutljivosti lastne vrednosti Y H = [y /s y 2 /s 2 y n /s n Tuaj je s i = yi Hx Vemo, da velja yh i x j = δ ij s i Velja namreč < Ax i, y j >= λ i < x i, y j >=< x i, A H y j >= λ j < x i, y j > Torej velja Y X = I = XY, ali drugače x i yi H = I s i i= Naj bo indes tao da velja s = max i s i Zapišemo s x y H = I i x i y H i s i Na obeh straneh uporabimo drugo normo Upoštevamo, da velja xy H 2 = max λ(yx H xy H ) = max λ(yy H ) =, jer je x 2 = y 2 = Matria yy H je ranga in velja (yy H )y = y(y H y) = y Laho uporabimo tudi Frobeniousovo normo, vendar dobimo slabšo oceno, saj velja I F = n Zlaha preverimo enaost xy H F = Ocenimo s + j s j Ker je lastna vrednost zelo občutljiva velja s >> Torej mora za vsaj en s j veljati s j s n

4 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Naloga 7 Matria A R n n se da diagonalizirati Naj velja AX = XΛ in Y T A = ΛY T Poaži, da za vsa i velja s i X 2 X Rešitev Definiramo x i = Xe i Xe i in y i = X H e i X H e i Velja namreč X A = ΛX Torej s i = y H i x i = eh i X Xe i Xe i X H e i = Xe i X H e i Dobimo s i = Xe i X H e i X X Naloga 8 Naj bo matria A R n n in T njena Schurova forma Velja zveza A = QT Q H, jer je Q ortogonalna matria in T zgornje triotna matria Naj bo λ enostavna lastna vrednost matrie A S pomočjo Schurove forme izračunaj pripadajoči lastni vetor Rešitev Za lastno vrednost in lastni vetor velja: Ax = QT Q H x = λx {}}{ QT Q H x λ QQ H x = 0 I Q(T λi)q H x = 0 /Q H (T λi) Q H x }{{} = 0 y T y = λy Vetor y je lastni vetor za T Lastna vrednost λ = t ii je eden izmed diagonalnih elementov T Oglejmo si oblio Enaost si oglejmo po bloih λ t ii y (T t ii I)y = 0 y i = 0 λ n t ii y n T λi = i n i i T λi T 2 T 3 0 0 T 23 n i 0 0 T 33 λi y 0 y 2 = 0 y 3 0 Iz tretje bločne vrstice dobimo (T 33 λi)y 3 = 0, ar nam da y 3 = 0, saj je (T 33 λi) obrnljiva Iz druge bločne vrstice pa dobimo T 23 y 3 = 0, ar nam ne da nič novega Iz prve bločne vrstice dobimo enačbo 0 {}}{ (T λi)y + T 2 y 2 + T 3 y 3 = 0,

5 iz česar dobimo (T λi)y = T 2 y 2 Ker je y 2 salar, laho izberemo y 2 = Torej je (T λ) T 2 y = = Q H x 0 Seveda sistem rešimo in ne računamo inverza Na oncu dobimo x = Qy Algoritem : Potenčna metoda y = y (0) začetni približe ; r = 0 ; while premajhna natančnost do y (r+) = Ay (r) ; y (r+) = y (r+) / y (r+) normirana varianta; r = r + ; end Naloga 9 Naj bo A R n n Iščemo dominantne lastne vrednosti s potenčno metodo Doaži, da vetorji po smeri onvergirajo dominantni lastni vrednosti Ali laho izluščimo lastne vetorje pripadjoče tem lastnim vrednostim? Obravnavaj naslednje primere Dominantna lastna vrednost je ena sama, λ > λ 2 Dominantni lastni vrednosti sta dve, velja λ 2 = λ Dominantni lastni vrednost sta dve, velja λ 2 = λ Rešitev Primer λ > λ 2 Naj bodo x, x 2,, x n pripadojoči lastni vetorji Zapišimo y (0) = n i= α i x i Velja y (r) = ni= α i λ r i x i Tao dobimo y (r+) y (r) = ni= α i λ r+ i x i() ni= α i λ r i x i() = α λ x () + n i=2 α i ( λ i λ ) r λ i x i() λ x () + n i=2 α i ( λ i λ ) r x i() Ker je λ i λ <, velja in y (r) onvergira x po smeri Primer λ = λ 2 Podobno ot prej dobimo y (r+) lim r y (r) = λ y (r+) y (r) = α λ x () + α 2 λ x 2() + n i=3 α i ( λ i λ ) r λ i x i() α x () + α 2 x ni=3 2() +α i ( λ i λ ) r x i()

6 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Torej velja y (r+) lim r y (r) in y (r) onvergira po smeri proti α x + α 2 x 2 Iz tega ne moremo dobiti lastnih vetorjev Primer λ 2 = λ V tem primeru podzaporedje z (r) = y (2r) onvergira po smeri α x + α 2 x 2, fator je λ 2 Podzaporedje w (r) = y (2r+) pa onvergira α x α 2 x 2 Iz y (r) = αx + βx 2 in y (r+) = αλ x λ βx 2 Iz česar dobimo = λ λ y (r) + y (r+) = 2αλ x λ y (r) y (r+) = 2βλ x 2 Izre (Bauer-Fie) Če je A = XΛX, jer je Λ = diag(λ,, λ n ), potem vse lastne vrednosti λ(ɛ) matrie A + ɛe ležijo v uniji rogov z λ i ɛ X X E = ɛ κ(x) E Doaz Naj bo λ(ɛ) lastna vrednost A + ɛe Predpostavimo laho λ(ɛ) λ i, i =,, n, saj sicer izre trivialno res Matria A + ɛe λ(ɛ)i je singularna Dobimo ( ) X (A + ɛe λ(ɛ)i)x = Λ λ(ɛ)i + ɛx EX = (Λ λ(ɛ)i) I + ɛ(λ λ(ɛ)i) X EX Ker je Λ λ(ɛ)i nesingularna matria (λ(ɛ) ni lastna vrednost originalne matrie), mora biti I + ɛ(λ λ(ɛ)i) X EX singularna matria To pa pomeni, da je I + ɛ(λ λ(ɛ)i) X EX ɛ (Λ λ(ɛ)i) X E X Ugotovimo, da velja Tao dobimo ončno oceno (Λ λ(ɛ)i) = min i λ i λ(ɛ) min λ i λ(ɛ) ɛ X E X, i ar je željeni rezultat [ ] [ ] A C A 0 Naloga 0 Naj bo T = v Schurovi formi Iščemo matrio S, da bo S 0 B T S = 0 B [ ] I R Matrio S laho izberemo v oblii Čemu mora zadoščati matria R? Enačbi, i jo dobiš 0 I pravimo Sylvestrova enačba

7 Rešitev Najprej poiščemo inverz matrie S, [ ] S I R = 0 I Izračunamo S T S = [ I R 0 I ] [ A C 0 B ] [ ] I R = 0 I [ I R 0 I Matria R mora torej zadoščati enačbi AR RB = C ] [ A AR + C 0 B ] [ ] A AR + C RB = 0 B Naloga (Sylvestrova enačba) To je matrična enačba AX XB = C, jer je A R m m, B R n n, X R m n, C R m n (i) Preo Schurovih deompozicij matri A in B transformiraj enačbo v oblio A Y Y B = C, jer sta A in B zgornje triotni matrii (ii) Zapiši algoritem za reševanje A Y Y B = C Kašnemu pogoju morata zadoščati matrii A in B, da bo enačba rešljiva (iii) Rešitev Y transformiraj v X Rešitev (i) Velja A = QA Q H, B = UB U H Iz tega sledi Q H \ QA Q H X XUB U H = C/U A (Q H XU) (Q H XU) B = Q H CU }{{}}{{}}{{} Y Y C A Y B Y = C (ii) for i = : n do d = C i ; for j = : i do d = d + b ji y j n 2 n operacij ; end y i = (A b ii I)/d n 2 + n operacij ; end ] Naj bo Y = [y y 2 y n zapisan po stolpcih stolpec i-ti stolpec A y b y = c (A b I)y = c A y i ( b iy + b 2iy 2 + + b iiy i ) = c A y i b iiy i = (A b ii)y i = b iy + b 2iy 2 + + b i,iy i + c Tao moramo na vsaem orau rešiti zgornje trioten sistem za y i, i bo rešljiv, če b ii λ(a ) Veljati mora λ(a) λ(b) = (iii) Transformacija je preprosta, Y = Q H XU X = QY U H

8 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Izre 2 Courant-Fisherjev minimax izre Za simetrično matrio A R n n velja λ (A) = min max R R n,dim(r)=n + x R,x 0 ρ(x, A) = max min S R n,dim(s)= x S,x 0 ρ(x, A) Izre 3 Cauchyjev izre o prepletanju Če je A simerična matria in A r glavna r r podmatria matrie A, potem velja λ r+ (A r+ ) λ r (A r ) λ r (A r+ ) λ 2 (A r+ ) λ (A r ) λ (A r+ Naloga 2 Naj bosta A, E R n n simetrični, da velja Doaži, da potem velja λ (A) λ 2 (A) λ n (A) in λ (E) λ 2 (E) λ n (E) Uporabi Courant-Fisherjev minimax izre Rešitev Velja λ (A) + λ n (E) λ (A + E) λ (A) + λ (E) λ (A) = jer je ρ(x, A + E) = xt (A+E)x x T x Velja tudi λ (A + E) = min max R R n,dim(r)=n + x R,x 0 = ρ(x, A) + ρ(x, E) Dobimo min max R R n,dim(r)=n + x R,x 0 ρ(x, A), (ρ(x, A) + ρ(x, E)) min ( max ρ(x, A) + ρ(x, E)) R R n,dim(r)=n + x R,x 0 λ n (E) ρ(x, E) λ (E) Če vzamemo max ρ(x, E) po celem prostoru, dobimo večjemu več Torej velja λ (A + E) λ (A) + λ (E) Za drugi del neenaosti laho uporabimo drugi del minimax izrea Laho pa uporabimo pravar doazano neenaost za A in E To nam da λ ( A E) = λ n + (A + E) λ ( A) + λ ( E) = (λ n + (A) + λ n (E)) Če neenaost pomnožimo z, smo ončali Naloga 3 Podana je tridiagonalna matria a c b a 2 c 2 b 2 R n n, cn b n jer velja b i c i > 0 i Poaži, da ima taa matria same realne lastne vrednosti Nasvet: poaži, da je matria podobna simetrični matrii Simetrične matrie imajo same realne lastne vrednosti Prav tao imajo podobne matrie iste lastne vrednosti Za podobnostno matrio laho uporabiš ar diagnoalno matrio D a n

9 Rešitev Izračunajmo d d 2 a c d b a 2 c 2 d b 2 2 cn d n b n a n d a c d 2 d b 2 d d a 2 c 2 2 d 3 d b 3 2 d 2 d n cn d n d b n n a n d n d n = d i d Torej mora veljati c i d i+ = b i+ i d i za i =,, n Dobili smo sistem n enačb za n neznan, torej laho izberemo d = Z inducijo zlaha preverimo, da potem velja d i = i ci j= b i Naloga 4 Jacobijeva rotacija je ortogonalna matria Q, i uniči izvedigonalne elemente v podmatrii 2 2 simetrične matrie A A Q T laq l = A () a al a 0 a l a ll 0 a ll Rotacija Q l deluje samo na -ti in l-ti stolpec in vrstico Zapišemo jo ot Q l = 0 c s, s c 0 jer velja c 2 + s 2 = Naredimo transformacijo in dobimo sistem enačb a h = a lh = ca hl + sa h a l = a l = (c 2 s 2 )a l + sc(a a ll ) = 0 a = c 2 a + s 2 a ll 2sca l a ll = c 2 a + s 2 a ll + 2sca l

0 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Iz tretje enačbe dobimo Za lažji izračun uvedemo še c 2 s 2 sc = a ll a a l β = a ll a 2a l in novo neznano t = s c Tao se naša enačba transformira v t2 + 2βt = 0 Njena stabilna rešitev je sign(β) t = β + β 2 + Potem laho izračunamo še c = t 2 + in s = ct Naloga 5 Poaži, da so lastne vrednosti matrie [ 0 ] A A T 0 enae ±σ i, jer so σ i singularne lastne vrednosti matrie A Rešitev Naj bo A = UΣV T singularni razcep matrie A, potem velja Av i = σ i u i in A T u i = σ i v i Tao dobimo [ ] [ ] [ ] [ ] [ ] 0 A ui ±Avi ±ui ui A T = 0 ±v i A T = σ u i = ±σ i v i i ±v i Naloga 6 Rešujemo posplošen problem lastnih vrednosti Ax = λbx, jer je A simetrična matria, B pa simetrična pozitivno definitna matria Posplošen problem lastnih vrednosti prevedi na navadnega s pomočjo (i) razcepa Cholesega B = V V T (ii) orena matrie B F = B, jer velja F 2 = B (i) (ii) Rešitev {}}{ Ax = λbx = λv V T x V Ax = λv T x V AV T V T x = λ V T x Na oncu dobimo problem Cy = λy, jer je y = V T x in C = C T = V AV T simetrična matria Ax = λbx = λf 2 x F AF F x = λ y {}}{ F x Tao spet dobimo problem oblie Cy = λy, jer je C = F AF in y = F x Spet ohranimo simetrijo y

Naloga 7 Reduciraj matrio A na zgornjo Hessenbergovo s pomočjo Householderjevih zrcaljenj Householderjevo zrcaljenje je matria oblie H = I 2 w T w wwt in predstavlja zrcaljenje pre ravnine določene z normalo w Če hočemo presliati vetor x v ±e, laho to naredimo s Householderjevim zrcaljenjem določenim z w = x + sign(x ) x 2 e Sicirajmo postope na matrii 5 5 Q H 2 Q 0 0 x x x 0 0 x x x Q 3 Q H 0 0 x x x 0 0 0 x x Q H 3 Q 2 0 0 x x x 0 0 x x x 0 0 x x x 0 0 0 x x function H = redh(a) [m, n] = size(a); for = : (m 2) x = A((+):m, ); e = zeros(m, ); e() = ; w = sign(x())*norm(x)*e + x; w = w/norm(w); B = A((+):m, :m); A((+):m, :m)= B 2*w*(w'*B); B = A(:m, (+):m); A(:m, (+):m)= B 2*(B*w)*w'; end; H = A; Naloga 8 Naj bo A simetrična matria z lastnimi pari Ax i = λ i x i, i =,, n Naj bo enotsi vetor x aprosimacija za lastni vetor x in naj bo η = ρ(x, A) = xt Ax = x T Ax x T x Rayleighov vocient za x Poaži, da potem velja η λ 2 A 2 x x 2 2 Rešitev Matria A je simetrična, tao se da diagonilizirati, A = XDX T, lastni vetorji tvorijo ortonormirano bazo Vetor x razvijemo po tej bazi, x = n i= α i x i Baza je ortonormirana, torej velja x T i x j = δ ij in posledično x 2 2 = n i= α 2 i = in xt Ax = n i= λ i α 2 i α 2 {}}{ x x 2 2 = (α ) 2 x + α i x i 2 2 = (α ) 2 + αi 2 = α 2 2α + + α 2 = 2( α ) i=2 i=2 η λ = λ i α 2 n i λ αi 2 = (λ i λ )αi 2 i= i= i=2

2 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI Ocenimo še λ i λ λ i + λ 2 A 2 Supaj dobimo η λ 2 A 2 i=2 α 2 i = 2 A 2 ( α 2 ) 2 A 2 2( α ) 4 A 2 x x 2 2 = 2 A 2 x x 2 2 Prvi Remesov postope poišče najboljšo enaomerno aprosimacijo funcije s polinomom stopnje n na zaprtem intervalue [a, b] S postopom poiščemo najslabšo množico, jer residual alternirajoče doseže svojo normo Algoritem 2: Prvi Remesov postope Začnemo s funcijo f in množico toč X, i vsebuje n + 2 začetnih toč x, x 2,, x n+2 na intervalu [a, b] (i) Reši linearni sistem enačb za neznane b 0, b,, b n b 0 + b x i b n x n i + ( ) i m = f(x i )(zai =, 2, n + 2) (ii) Koeficenti polinoma so b i, p(x) = b 0 + b xb n x n (iii) Poišči množico toč L, jer je dosežena masimalna napaa M = max x [a,b,] f(x) p(x) (iv) Če velja m = M, ončaj V nasprotnem zamenjaj dodaj eno točo iz L v X in iz nje odstrani eno začetno točo, tao da se ohrani alterniranje predznaa residuala r(x) = f(x) p(x) Naloga 9 (i) Poišči premico, i najboljše enaomerno aprosimira f(x) = ln(x) na intervalu [, 2] Uporabi prvi Remesov postope za začetno množico toč x =, x 2 = 3 2, x 3 = 2 (ii) Poišči parabolo, i najboljše enaomerno aprosimira f(x) = x na intervalu [, ] Uporabi prvi Remesov postope za začetno množico toč x = 2, x 2 =, x 3 = 3 2, x 3 = Rešitev (i) Dobimo sistem enačb b 0 + b m = 0 b 0 + 3 2 b + m = ln( 3 2 ) b 0 + 2b m = ln(2) Rešitve sistema so b = ln(2), b 0 = 2 ln(3) 7 4 ln(2) = = 066370 in m = b 0 + b = 2 ln(3) 3 4 ln(2) = 0294458 Poiščemo še estrem, (f(x) p(x)) = x b Estrem je dosežen pri x = ln(2) toče so x =, x 2 = ln(2), x 3 = 2 = 442695, velja še f(x) p(x) < 0 Tao zamenjamo x in x 2 Nove Ponovno rešimo sistem in dobimo b = ln(2), b 0 = 2 ( ln(2) ln(ln(2))) = 066337 Pri isanju masimuma spet dobimo x = ln(2) in ončamo

3 (ii) Dobimo sistem enačb b 0 2 b + 4 b 2 m = 2 b 0 + 0b + 0b 2 + m = 0 b 0 + 2 b + 4 b 2 m = 2 b 0 + b + b 2 + m =, i ga rešimo, b 0 = m = 8, b = 0, b 2 = Naš polinom je p(x) = 8 + x2 Poisati moramo še toče jer residual, r(x) = x 8 x2, doseže svojo normo Masimum residuala laho gledamo le na intervalu [0, ], saj je r(x) soda funcija Na tem intervalu velja r(x) = x 8 x2 Poiščemo ničle odvoda r (x) = 2x Kandidati za estrem so torej robne toče, in ničli odvoda 2, 2 Vrednosti r(x) v teh točah so povsod 8 Torej smo že ončali

4 POGLAVJE LASTNE VREDNOSTI IN VEKTORJI