1. Svojstveni problem

Transcript

1 Svojstveni problem Kanonske forme Definicija Neka je A kvadratna matrica reda n Polinom p(λ) = det(a λi) zove se karakteristični polinom matrice A Nultočke (korijeni karakterističnog polinoma su svojstvene vrijednosti matrice A Prvo, uočimo da svaka matrica A ima točno n svojstvenih vrijednosti (osnovni teorem algebre) Nadalje, iako je matrica realna, ona može imati kompleksne svojstvene vrijednosti i takve uvijek dolaze u konjugirano-kompleksnim parovima Na primjer, matrica [ ] 0 A = 0 je realna, ali su njezine svojstvene vrijednosti ±i Iako se ovakav način definicije svojstvenih vrijednosti čini pomalo čudnim, to je jedini način da se u definiciji izbjegnu svojstveni vektori Naime, standardna definicija za svojstveni par (λ, x), pri čemu je x 0, kaže da je λ svojstvena vrijednost, a x svojstveni vektor matrice A ako vrijedi Ax = λx Odatle se jednostavnim prebacivanjem na lijevu stranu dobiva (A λi)x = 0, pa će taj linearni sustav imati netrivijalno rješenje x ako i samo ako je matrica sustava singularna, što možemo provjeriti računanjem determinante Ovdje prikazan način definicije svojstvenih vrijednosti omogućava definiciju i lijevih i desnih svojstvenih vektora Definicija 2 Vektor x 0 koji zadovoljava Ax = λx je desni svojstveni vektor matrice A za svojstvenu vrijednost λ, a vektor y 0 koji zadovoljava y A = λy je lijevi svojstveni vektor matrice A za svojstvenu vrijednost λ Jasno je da su u nekim slučajevima desni i lijevi svojstveni vektori jednaki Na primjer, ako je matrica simetrična ili hermitska Iz uvodnih definicija nije jasno kako treba računati svojstvene vrijednosti, ni svojstvene vektore Naizgled jednostavno rješenje je rješavanje nelinearne jednadžbe p(λ) = 0 Međutim to se nikad tako ne radi, jer umjesto realnih svojstvenih vrijednosti može dati kompleksne Pokušajte, za vježbu, numerički naći sve nultočke vrlo pitomo izgleadajućeg polinoma p(x) = (x ) (x 2) (x 9) (x 20),

2 2 Svojstveni problem ali tako da je polinom napisan po potencijama od x Postavlja se pitanje u koju formu treba dovesti matricu A da joj lako pročitamo svojstvene vrijednosti Naravno, najjednostavnija forma je dijagonalna forma, ali ne mogu se sve matrice dijagonalizirati Na primjer, matrica [ ] A = 0 sigurno se ne može dijagonalizirati, jer bi njezina dijagonalna forma trebala biti [ ] 0 Λ = 0 Međutim i kod ove matrice lako se čitaju svojstvene vrijednosti Naime, determinanta trokutastih matrica je produkt njezinih dijagonalnih elemenata, pa su svojstvene vrijednosti ove matrice baš elementi koji pišu na njezinoj dijagonali Dakle, ostaje pronaći transformacije, koje će općenitu matricu dovesti u trokutastu formu, ali tako da ne mijenjaju svojstvene vrijednosti Međutim, čak iako napravimo transformacije koje realnu matricu dovode u trokutastu formu, time nećemo biti jako zadovoljni, jer ako matrica ima kompleksnih svojstvenih vrijednosti, onda ćemo morati koristiti kompleksnu aritmetiku (koja je podržana u nekim programskim jezicima), ali je beskrajno spora Umjesto trokutaste forme, matricu se može dovesti i na blok-gornjetrokutastu formu i to onu koja ima blokove na dijagonali ako je kompleksna vrijednost realna, a 2 2 blok na dijagonali za par konjugirano-kompleksnih svojstvenih vrijednosti Ako smo doveli matricu u takvu blok-gornjetrokutastu formu, tj ako su joj na dijagonali ili 2 2 blok-matrice A A 2 A b A 22 A 2b T =, onda je lako izračunati det(t λi) = A bb b det(a kk λi) k= Drugim riječima, time smo izbjegli korištenje kompleksne aritmetike Osnovne transformacije kojima se matrice dovode na takve kanonske forme su sličnosti Definicija 3 Neka je S proizvoljna nesingularna matrica, a A i B su takve da vrijedi B = S AS Matrice A i B zovemo sličnim matricama, a S sličnošću

3 Kanonske forme 3 Propozicija 4 Ako je B = S AS, matrice A i B imaju jednake svojstvene vrijednosti Nadalje, x (y) je desni (lijevi) svojstveni vektor matrice A, ako i samo ako je S x (S y) desni (lijevi) svojstveni vektor matrice B Dokaz Za kvadratne matrice vrijedi Binet Cauchyjev teorem pa imamo det(x Y ) = det X det Y, det(b λi) = det(s AS λs S) = det(s (A λi)s) = det(s ) det(a λi) det S = det(a λi) Time smo pokazali da A i B imaju isti karakteristični polinom Ako vrijedi Ax = λx, onda iz B = S AS izlazi da je A = SBS, pa mora vrijediti i SBS x = λx Pomnožimo li prethodnu relaciju slijeva sa S, dobivamo da je B(S x) = λ(s x) Obratnim čitanjem dobivamo i drugu implikaciju Što se tiče lijevih svojstvenih vektora, rezultat se dobiva na sličan način Neka vrijedi y A = λy Tada je Množenjem zdesna sa S dobivamo y SBS = λy (y S)B = λ(y S), pa zaključujemo da je S y lijevi svojstveni vektor za B Obratnim čitanjem dobijemo drugi smjer dokaza Zadatak 5 Jesu li matrice koje imaju iste svojstvene vrijednosti slične, tj vrijedi li na neki način obrat gornjeg teorema? Rješenje Ne vrijedi, na primjer matrice [ ] A = 0 i B = [ ] 0 0 imaju iste svojstvene vrijednosti (dvostruka svojstvena vrijednost ), ali prva ima samo jedan desni svojstveni vektor e i samo jedan lijevi svojstveni vektor e 2, dok druga matrica ima dva desna (e i e 2 ) i dva lijeva svojstvena vektora (e i e 2 ) Prema tome, matrice A i B ne mogu biti slične

4 4 Svojstveni problem Jedan od osnovnih teorema koji daje kanonsku strukturu matrice je Jordanov teorem, koji gotovo u potpunosti, karakterizira formu matrice najbližu dijagonalnoj za matrice koje se ne mogu dijagonalizirati Teorem 6 (Jordanova forma) Neka je A kvadratna matrica red n Tada postoji nesingularna matrica S, takva da je S AS = J, pri čemu je J tzv Jordanova forma, tj J je blok-dijagonalna, J = diag(j n (λ ), J n2 (λ 2 ),, J nk (λ k )), gdje je J ni matrica reda n i, λ i λ i J ni (λ i ) = λ i Matrica J je jedinstvena do na permutaciju dijagonalnih blokova Svaki J ni zove se Jordanov blok i njegova svojstvena vrijednost λ i ima algebarsku kratnost n i Ako je n i = i λ i se pojavljuje u samo jednom bloku, onda je λ i jednostruka svojstvena vrijednost Ako su sve svojstvene vrijednosti u matrici J jednostruke, onda je J dijagonalna, tj A se može dijagonalizirati Ako postoji barem jedan blok J ni reda barem 2, A je defektna matrica Bitno svojstvo defektnih matrica je da nemaju punu bazu svojstvenih vektora Broj svojstvenih vektora za svojstvenu vrijednost λ zove se geometrijska kratnost svojstvene vrijednosti Ipak, mnoge se matrice mogu dijagonalizirati Na primjer, kao posljedica Jordanovog teorema odmah je jasno da se mogu dijagonalizirati matrice koje imaju različite svojstvene vrijednosti Nadalje, postoje i matrice, koje možda imaju iste svojstvene vrijednosti, a još uvijek se mogu dijagonalizirati Najšira klasa takvih matrica su normalne matrice, tj matrice za koje vrijedi N N = NN Primjer 7 Za matricu A = λ i

5 Kanonske forme 5 je J = , S = Primijetite da 2 nije jednostruka nego trostruka svojstvena vrijednost matrice A Propozicija 8 Jordanov blok J ni (λ i ) ima samo jedan desni svojstveni vektor, i to je e i samo jedan lijevi svojstveni vektor i to e ni Dokaz Neka je J ni (λ i ) Jordanov blok za svojstvenu vrijednost λ, λ i λ i J ni (λ i ) = λ i Da bi x 0 bio svojstveni vektor za svojstvenu vrijednost λ i, mora vrijediti da je (J ni (λ i ) λ i I)x = 0, λ i odnosno, 0 0 (J ni (λ i ) λ i I)x = Odatle odmah slijedi da mora biti 0 0 x x 2 x ni x ni 0 = x 2 = x 3 = = x ni = x ni = 0, a x 0 Budući da ako je x svojstveni vektor, onda je to i µx, gdje je µ skalar, pa svojstveni vektor možemo normirati tako da mu je, recimo 2-norma jednaka Prema tome, desni svojstveni vektor je e Na sličan način zaključujemo i za lijeve svojstvene vektore Ipak, Jordanova forma je dosta nekorisna u numeričkom računanju Primjer 9 Neka je J n (0) Jordanov blok reda n za svojstvenu vrijednost 0, 0 0 J n (0) = 0 0

6 6 Svojstveni problem Ako na dijagonalu na mjesto (i, i) dodamo i ε, pri čemu je 0 < ε, onda smo malom perturbacijom potpuno promijenili karakter matrice i umjesto J n (0) imamo ε J n(0) = J n (0) + δj n (0) = 2ε (n )ε nε Jordanova forma te malo perturbirane matrice je dijagonalna, J n(0) = diag(ε, 2ε,, (n )ε, nε) Drugi razlog što se ne koristi Jordanova forma je da se ona ne može stabilno izračunati, tj kad završimo s računanjem S i J, ne može se garantirati da vrijedi za neki mali δa S (A + δa)s = J Zbog svega navedenog, umjesto Jordanove forme, u numeričkom se računanju koristi Schurova forma Umjesto nesingularne matrice S, koja može biti proizvoljno loše uvjetovana, koristit ćemo unitarnu matricu Q, samo dobivena forma više neće biti tako kompaktna Teorem 0 (Schurova kanonska forma) Neka je dana matrica A reda n Tada postoje unitarna matrica Q i gornjetrokutasta matrica T takve da vrijedi Q AQ = T Svojstvene vrijednosti matrice A su dijagonalni elementi matrice T Dokaz Dokaz je indukcijom po n, tj redu matrice A Za bazu indukcije uzmemo n = Tada, očito, možemo uzeti Q = Q = Neka je λ proizvoljna svojstvena vrijednost, a u pripadni svojstveni vektor normiran tako da je u 2 = Svojstveni vektor u se sigurno može dopuniti matricom Ũ do unitarne matrice U, U = [u, Ũ] Tada vrijedi [ ] [ ] u U AU = Ũ A[u, Ũ] = u Au u AŨ Ũ Au Ũ () AŨ Budući da je u jedinični svojstveni vektor za svojstvenu vrijednost λ, imamo u Au = u λu = λ u 2 2 = λ Nadalje, vrijedi Ũ Au = Ũ λu = λ 0 = 0,

7 Kanonske forme 7 jer su stupci matrice Ũ ortogonalni na u Prema tome, relaciju () možemo pisati kao [ ] U λ u AU = AŨ 0 Ũ AŨ Ako je vrijedila pretpostavka indukcije, da svaku matricu reda n možemo napisati u traženoj formi, onda to možemo napraviti i s matricom Ũ AŨ Dakle, Ũ AŨ = P T P, pri čemu je P unitarna matrica, a T gornjetrokutasta Uvrštavanjem u prethodnu jednadžbu, imamo [ ] [ ] [ ] U 0 λ u AU = AŨP 0, 0 P 0 T 0 P čime je teorem dokazan Uočimo da Schurova forma nije jedinstvena, jer svojstvene vrijednosti se na dijagonali mogu pojaviti u bilo kojem poretku Nadalje, Schurova forma može voditi na kompleksnu gornjetrokutastu matricu T, čak i onda kad je A realna Zbog efikasnosti računanja uvodi se realna Schurova forma Teorem (Realna Schurova kanonska forma) Ako je A realna matrica reda n, postoji ortogonalna matrica V takva da je V T AV = T, gdje je T realna blok-gornjetrokutasta s dijagonalnim blokovima ili 2 2 Njezine svojstvene vrijednosti su svojstvene vrijednosti dijagonalnih blokova, s time da realne svojstvene vrijednosti odgovaraju blokovima, a konjugirano-kompleksni parovi odgovaraju 2 2 blokovima Dokaz Slično kao u prethodnom teoremu, dokaz je indukcijom Ako je λ realna svojstvena vrijednost, korak u dokazu ekvivalentan je onome u prethodnom teoremu Prema tome, pretpostavimo da je λ kompleksna svojstvena vrijednost Tada je njezin svojstveni vektor u nužno kompleksan Neka je Au = λu Konjugiranjem prethodne relacije dobivamo S druge strane, vrijedi Au = Aū = Aū Au = λu = λū Iz posljednje dvije relacije odmah izlazi da je ( λ, ū) također svojstveni par, za A, jer je A = A, pa je Aū = λū

8 8 Svojstveni problem Neka je u R realni, a u I imaginarni dio vektora u: u R = (u + ū), 2 u I = (u ū) 2i Očito, tada vrijedi da u i ū razapinju isti potprostor kao i u R i u I i to je dvodimenzionalni potprostor za koji tvrdimo da je invarijantni potprostor Sjetimo se, za potprostor X reći ćemo da je invarijantan za A ako vrijedi AX X, tj ako za svaki x X vrijedi da je Ax X Svaki vektor x X, X = span{u, ū} možemo napisati kao pri čemu su α i β skalari Tada vrijedi x = αu + βū, Ax = A(αu + βū) = αλu + β λū, pa je to opet linearna kombinacija vektora iz X Označimo realnu matricu Ũ = [u R, u I ], i napravimo (skraćenu) QR faktorizaciju matrice Ũ (onu koja ima samo dva stupca) Tada vrijedi span{q} = span{u R, u I }, pa je i to invarijantan potprostor Izaberimo Q tako da Q dopunimo do ortogonalne baze, U tj U = [Q, Q] Tada vrijedi [ ] [ Q U T T AU = Q T A[Q, Q] Q = T AQ Q T A Q ] Q T AQ Q T A Q (2) Budući da Q razapinje invarijantni potprostor, postoji 2 2 matrica B takva da vrijedi AQ = QB Onda blokove u (2) možemo napisati kao Q T AQ = Q T QB = B, Q T AQ = Q T QB = 0 Prema tome, izlazi [ U T B Q AU = T A Q ] 0 Q T A Q Sada iskoristimo korak indukcije na matrici Q T A Q

9 Kanonske forme 9 Konačno, ako smo matricu doveli u Schurovu kanonsku formu, svojstvene vrijednosti lako čitamo s njezine dijagonale Pitanje je kako ćemo pronaći njezine svojstvene vektore Iz sličnosti znamo da su svojstveni vektori matrice T i matrice A jednostavno vezani, tj ako je T x = λx, onda je AQx = QT x = λqx, pa je Qx svojstveni vektor matrice A Ostaje nam samo pročitati svojstvene vektore matrice T iz njezine trokutaste forme Jednostavnosti radi pretpostavimo da tražimo svojstveni vektor za jednostruku svojstvenu vrijednost λ = t ii Napišimo linearni sustav za svojstvene vektore (T λi)x = 0 u blok formi T λi T 2 T 3 0 = 0 0 T T 33 λi x x 2 x 3 (T λi)x + T 2 x 2 + T 3 x 3 = T 23 x 3, (T 33 λi)x 3 pri čemu je T matrica reda i, T 22 = 0 reda, a T 33 reda (n i) Blok vektori x, x 2 i x 3 redom odgovaraju dimenzijama matrica T, T 22 i T 33 Budući da je λ jednostruka, onda su matrice T 33 λi i T λi nesingularne, pa iz posljednje blok-jednadžbe slijedi da mora biti a iz prve blok jednadžbe slijedi da je x 3 = 0, (T λi)x = T 2 x 2 (3) Primijetimo da x 2 možemo proizvoljno odabrati, tako da vektor x nije nul-vektor Recimo, uzmimo x 2 = Tada izlazi da je x = (T λi) T 2 Prema tome, svojstveni vektor za svojstvenu vrijednost λ je (T λi) T 2 x = 0 Drugim riječima, da bismo dobili svojstveni vektor x, moramo riješiti trokutasti linearni sustav (3) za x Računanje svojstvenog vektora za kompleksnu svojstvenu vrijednost zahtijeva rješavanje blok-gornjetrokutastog sustava

10 0 Svojstveni problem 2 Metode za nesimetrični problem svojstvenih vrijednosti U ovom poglavlju, zbog jednostavnosti pretpostavljamo da je matrica A uvijek realna Prvo ćemo opisati osnovne metode koje računaju jednu ili više svojstvenih vrijednosti, a onda metode koje računaju sve svojstvene vrijednosti matrice A 2 Metoda potencija Metoda potencija koristi se za računanje spektralnog radijusa matrice, a njezina je paralelizacija vrlo jednostavna Posebno je ima smisla spominjati kao uvod u metodu inverznih iteracija Pretpostavimo da je matrica A dijagonalna, A = diag(λ, λ 2,, λ n ), uz uvjet da za svojstvene vrijednosti matrice A vrijedi λ > λ 2 λ n Primijetimo da su tada svojstveni vektori matrice A vektori e i, i =,, n, tj svi vektori kanonske baze Ako je zadan startni vektor x 0, pogledajmo što možemo zaključiti o normiranim vektorima x i = Ai x 0 A i x 0 2 Za smjer vektora x i dovoljno je gledati samo brojnik, jer nazivnik samo normira vektor, ali ne mijenja smjer Neka su komponente vektora x 0 ξ ξ 2 x 0 =, s tim da pretpostavljamo da je ξ 0 Tada, ako znamo da je imamo ξ n A i = diag(λ i, λ i 2,, λ i n), ξ λ i ξ A i x 0 = A i ξ 2 = λ i 2ξ 2 = λi ξ ξ n λ i ( nξ n ( ) i λ 2 ξ2 λ ξ λ n λ ) i ξn ξ Po pretpostavci o tome da je λ jedinstvena po aspolutnoj vrijednosti najveća svojstvena vrijednost, izlazi da je ( ) i λk ξ k lim = 0, k = 2,, n i ξ λ

11 2 Metode za nesimetrični problem svojstvenih vrijednosti Drugim riječima, vrijedi lim i A i x 0 A i x 0 2 = e, tj A i x 0 konvergira prema svojstvenom vektoru za λ Da bismo analizirali općenitiji slučaj, pretpostavimo da se A može dijagonalizirati, tj da vrijedi A = SΛS, (4) a da su svojstvene vrijednosti poredane kao i prije, tj da je λ > λ 2 λ n Uočimo da iz jednadžbe (4) slijedi da su stupci od S svojstveni vektori od A (jednostavno, (4) napiše se kao AS = SΛ) Za stupce od S možemo pretpostaviti da su normirani Ponovno, neka je x 0 proizvoljni vektor (uz malu pretpostavku na njegovu prvu komponentu) Tada ga, koristeći S možemo napisati kao ξ x 0 = S(S ξ 2 x 0 ) = S Jedina pretpostavka koju ćemo staviti je da je ξ 0 Ako nije, izaberemo neki drugi vektor x 0 Nadalje, budući da je A = SΛS, vrijedi A i = (SΛS )(SΛS ) (SΛS ) = SΛ i S Ponovno, pogledajmo što se događa s potencijama matrice A, ξ λ i ξ A i x 0 = (SΛ i S ξ 2 )S = S λ i 2ξ 2 = λi ξ S λ i ( nξ n ξ n ξ n ( ) i λ 2 ξ2 λ ξ λ n λ ) i ξn ξ Ponovno zaključujemo da će posljednji vektor konvergirati prema e, pa imamo lim i A i x 0 A i x 0 2 = Se = s, tj ponovno potencije konvergiraju prema svojstvenom vektoru za svojstvenu vrijednost λ Dakle, metodom potencija smo lako izračunali svojstveni vektor za jedinstvenu po apsolutnoj vrijednosti najveću svojstvenu vrijednost matrice A Svojstvenu vrijednost λ lako ćemo izračunati iz As = λ s

12 2 Svojstveni problem Budući da je s normiran, onda množenjem slijeva sa s T dobivamo s T As = λ s T s = λ s 2 2 = λ Metoda potencija ima nekoliko loših osobina: ovakva analiza neće raditi ako je najveća (po vrijednosti) svojstvena vrijednost kompleksna (ima svoj konjugirano-kompleksni par), 2 brzina konvergencije ovisi o omjeru λ 2 /λ, i sporija je što je taj omjer veći, 3 metoda konvergira uvijek samo prema (po apsolutnoj vrijednosti) najvećoj svojstvenoj vrijednosti Primijetimo da bismo korištenjem realnog pomaka σ (engl shift) za matricu A, eventualno mogli dobiti samo još i po apsolutnoj vrijednosti najmanju svojstvenu vrijednost, ali ne i one između Naime, svojstvene vrijednosti matrice A σi su λ i σ Algoritam 2 (Metoda potencija) Za dani vektor x 0 i danu toleranciju ε iteriramo y = x 0 converged = false while not converged do x = y/ y 2 y = Ax λ = x T y converged = ( y λx 2 < ελ) end while Postoji nekoliko nivoa paralelizacije metode potencija, od računanja normi, umnoška matrice na vektor Ay i skalarnog produkta, do eventualnog korištenja paralelnog prefiksa kojim se mogu računati željene potencije matrice A 22 Metoda inverznih iteracija Ako metodu potencija primijenimo na matricu (A σi), dobili smo metodu inverznih iteracija, a vektor koji iteriramo konvergirat će prema svojstvenom vektoru svojstvene vrijednosti koja je najbliža σ Neka se A, kao i prije, može dijagonalizirati, tj postoji nesingularni S takav da je A = SΛS Tad vrijedi i A σi = SΛS σss = S(Λ σi)s Ako je σ nije svojstvena vrijednost od A, invertiranjem lijeve i desne strane dobivamo (A σi) = S(Λ σi) S, pa se odmah vidi da A i (A σi) imaju iste svojstvene vektore, a odgovarajuće svojstvene vrijednosti su (λ j σ)

13 2 Metode za nesimetrični problem svojstvenih vrijednosti 3 Slična analiza kao kod metode potencija pokazuje da ako startamo od vektora x 0, on će konvergirati svojstvenom vektoru koji odgovara po apsolutnoj vrijednosti najvećoj svojstvenoj vrijednosti matrice (A σi) Jasno je da je max j=,,n λ j σ = min λ j σ, j=,,n tj metoda će konvergirati prema svojstvenoj vrijednosti koja je najbliža σ Nazovimo tu najbližu svojstvenu vrijednost λ k Analizirajmo brzinu konvergencije metode Ponovno, neka je i neka je ξ k 0 Tada je ξ ξ 2 x 0 = S (A σi) i x 0 = (S(Λ σ) i S ξ 2 )S = S Budući da je λ k najbliža σ, onda je λ k σ λ j σ <, ξ ξ n ξ n ξ (λ σ) i ξ 2 (λ 2 σ) i ξ n (λ n σ) i = ξ k (λ k σ) i S ( ( λ k σ λ σ λ k σ λ n σ ) i ξ ξ k ) i ξn pa posljednji vektor u prethodnoj relaciji teži k e k za i Preciznije rečeno, ξ k lim i (A σi) i x 0 (A σi) i x 0 = Se k = s k, pa imamo konvergenciju prema svojstvenom vektoru koji pripada svojstvenoj vrijednosti λ k Kad znamo s k, jednostavno je izračunati i λ k, λ k = s T k As k Dobra osobina metode inverznih iteracija je da se pažljivim biranjem pomaka σ može doći do proizvoljne svojstvene vrijednosti Naravno, dobar izbor pomaka σ može bitno ubrzati konvergenciju Algoritam 3 (Metoda inverznih iteracija) Za dani vektor x 0 i danu toleranciju ε iteriramo y = x 0 converged = false while not converged do x = y/ y 2

14 4 Svojstveni problem (A σi)y = x /* linearni sustav! */ θ = x T y converged = ( y θx 2 < εθ) end while x = y/θ λ = σ + /θ ili λ = x T Ax Paralelizacija metode inverznih iteracija je očita i dvojaka Prvo, ako se želi računati istovremeno više svojstvenih vrijednosti koje su bliske različitim vrijednostima σ, onda su ti procesi idealno paralelni Nadalje, rješavanje linearnog sustava koji treba riješiti u svakoj iteraciji, može se paralelizirati 23 Ortogonalne iteracije ili iteracije potprostora Ortogonalne iteracije ili iteracije potprostora (engl subspace iteration) su generalizacija metode potencija koja iterira p-dimenzionalni potprostor, umjesto jednodimenzionalnog potprostora Naravno, time ćemo umjesto svojstvenog vektora koji odgovara po apsolutnoj vrijednosti najvećoj svojstvenoj vrijednosti, dobiti invarijantni potprostor koji odgovara svojstvenim vektorima za p po apsolutnoj vrijednosti najvećih svojstvenih vrijednosti Pretpostavimo da je matrica A takva da za njezine svojstvene vrijednosti vrijedi λ λ 2 λ p > λ p+ λ n Prvi problem je kako odabrati p-dimenzionalni potprostor Najjednostavniji je način uzeti p ortogonalnih vektora Dakle, neka je Z matrica startnih p vektora Napravimo (skraćenu) QR faktorizaciju matrice Z, Z = Q 0 R 0 Ako su vektori u Z bili linearno nezavisni, onda matrica Q 0 razapinje p-dimenzionalni (ortogonalni) potprostor Nakon toga izračunamo potenciju matrice A na Q 0, Y = A Q 0 Ako od matrice Y napravimo (skraćenu) QR faktorizaciju Y = Q R, onda zaključujemo da kad bi bilo Q := Q 0 = Q, onda bi one bile invarijantni potprostor od A, jer bi bilo AQ = QR Generalno, u i-tom koraku računamo Y i+ = A Q i, Y i+ = Q i+ R i+ Napravimo opet neformalnu analizu metode Uočimo da zbog prethodne relacije vrijedi span{ Q i+ } = span{y i+ } = span{a Q i }

15 2 Metode za nesimetrični problem svojstvenih vrijednosti 5 Budući da je onda imamo span{ Q i } = span{a i Q0 } = span{sλ i S Q0 }, ) i λ p SΛ i S Q0 = S diag(λ i, λ i n)s Q0 = λ i ps S Q0 ( ) i λ n λp Budući da je λ j λ p < za j > p, onda donji dio dijagonalne matrice u prethodnoj relaciji konvergira u nulu Preciznije ( λ λ p ) i ( λ S Q0 = ( ) i λ n λp [ V p p ] i W (n p) p, i i pritom W (n p) p i teži prema nul-matrici Ako je V p p 0 imala puni rang (generalizacija ξ 0), onda i V p p i ima puni rang Sada matricu svojstvenih vektora S, možemo particionirati na prvi komad od p svojstvenih vektora Sp n p i zadnji komad od n p, Ŝn (n p) p svojstvenih vektora Tada vrijedi SΛ i S Q0 = λ i ps Budući da vrijedi S = [s,, s p, s p+,, s n ] = [Sp n p, Ŝn (n p) p ] [ V p p ] i W (n p) p i = λ i p(sp n p V p p i span{ Q i } = span{a i Q0 } = span{sλ i S Q0 } = span{(sp n p V p p i očito je da na limesu, zbog W (n p) p i span{ Q i } span{s n p p 0, vrijedi + Ŝn (n p) p W (n p) p i ) + Ŝn (n p) p W (n p) p i )}, V p p i } = span{s n p p } jer je V p p i punog ranga Drugim riječima time smo dokazali željenu tvrdnju da Q i konvergira prema invarijantnom potprostoru razapetom s prvih p svojstvenih vektora Nadalje, primijetimo, ako smo uzeli prvih p < p vektora, onda ortogonalne iteracije s p vektora restringirane samo na početni komad od p vektora rade jednako kao da smo počeli s p vektora

16 6 Svojstveni problem Algoritam 4 (Metoda ortogonalnih iteracija) Za p nezavisnih vektora Z i danu toleranciju ε iteriramo Z = Q 0 R 0 i = 0 repeat Y i+ = A Q i factorize Y i+ = Q i+ R i+ /* Q i+ razapinje aproks invarijantni potp */ i = i + until convergence Naravno, algoritam ortogonalnih iteracija možemo raditi i za p = n Tada za početnu matricu Z možemo uzeti Z = I, pa za nju ne moramo raditi početnu QR faktorizaciju ( Q 0 = I, R 0 = I) Sljedeći teorem daje uvjete pod kojima ortogonalne iteracije konvergiraju prema Schurovoj formi matrice A Teorem 5 Neka je matrica A reda n i započnimo ortogonalne iteracije za p = n s početnom matricom Z = I Ako su sve svojstvene vrijednosti matrice A različite po apsolutnoj vrijednosti i ako sve glavne podmatrice S( : j, : j) imaju puni rang, onda A i := Q T i A Q i konvergira prema Schurovoj formi od A, tj prema gornjetrokutastoj matrici sa svojstvenim vrijednostima na dijagonali Svojstvene vrijednosti će na dijagonali biti posložene u padajućem poretku po apsolutnoj vrijednosti I u ovom algoritmu je paralelizacija jasna Prvo, može se paralelizirati matrično množenje Y i+ = A Q i, a zatim se može paralelizirati i QR faktorizacija Y i+ = Q i+ R i+ 24 QR iteracije Sljedeći cilj je napraviti pandan metodi inverznih iteracija, tj reorganizirati ortogonalne iteracije tako da upotrijebimo invertiranje i pomicanje Time ćemo dobiti jednu od najpoznatijih metoda za računanje svojstvenih vrijednosti matrica koju su nezavisno otkrili John Francis i Vera Kublanovskaja Algoritam 6 (QR algoritam) Za danu matricu A 0 iteriramo i = 0 repeat factorize A i = Q i R i /* QR faktorizacija */ A i+ = R i Q i i = i + until convergence Propozicija 7 Sve matrice A i dobivene prethodnim algoritmom su ortogonalno slične matrici A 0 Dokaz Budući da je Q T i A i = R i, uvrštavanjem u relaciju za A i+ dobivamo A i+ = Q T i A i Q i Zgodna je veza između ortogonalnih iteracija i QR algoritma

17 2 Metode za nesimetrični problem svojstvenih vrijednosti 7 Teorem 8 Neka je A i matrica izračunata QR algoritmom Istu matricu A i = Q T i A Q i dobivamo i algoritmom ortogonalnih iteracija, ako smo algoritam započeli sa Z = I Prema tome, A i konvergira prema Schurovoj formi, ako su sve svojstvene vrijednosti različite po normi Dokaz Pretpostavimo da je A i = Q T i A Q i Prema algoritmu ortogonalnih iteracija, imamo A Q i = Q i+ R i+, gdje je Q i+ ortogonalna, a R i+ gornjetrokutasta Tada je Q T i A Q i = Q T i ( Q T i+r i+ ) = ( Q T i Q T i+)r i+ =: QR, jer je QR faktorizacija jedinstvena do na znak S druge strane imamo Q T i+a Q i+ = ( Q T i+a Q i )( Q T i Q i+ ) = R i+ ( Q T i Q i+ ) = RQ, pa je to točno način kako QR algoritam iz A i dobiva A i+ QR iteracije nikad se ne rade bez pomaka σ, jer se time ubrzava konvergencija Algoritam 9 (QR algoritam s pomakom) Za danu matricu A 0 iteriramo i = 0 repeat choose shift σ i /* blizu svojstvene vrijednosti */ factorize A i σ i I = Q i R i /* QR faktorizacija */ A i+ = R i Q i + σ i I i = i + until convergence Propozicija 20 Matrice A i+ i A i dobivene QR iteracijama s pomakom su slične Dokaz Iz Q i R i = A i σ i I izlazi da je R i = Q T i (A i σ i I), pa onda izlazi A i+ = R i Q i + σ i I = (Q T i (A i σ i I))Q i + σ i I = Q T i A i Q i Ako je σ i stvarno svojstvena vrijednost, onda će QR iteracije u jednom jedinom koraku to otkriti Ako je σ i svojstvena vrijednost, onda je matrica A σ i I singularna, pa se to mora vidjeti u matrici R i, tj barem joj jedan dijagonalni element mora biti jednak 0 Pretpostavimo da je to element R i (n, n) Tada je čitav zadnji redak jednak 0, pa je posljednji redak od A i+ = R i Q i + σ i I jednak σ i e T n To znači da je algoritam konvergirao, matrica je reducibilna (dijagonalni blokovi su kvadratni, a blok na mjestu (2, ) je jednak 0, [ ] A a A i+ = 0 σ i Nakon toga posao se nastavlja na manjoj matrici A Taj postupak naziva se deflacija Ipak QR metoda nikad se ne radi na punoj matrici, jer je prespora Problemi koje treba riješiti su:

18 8 Svojstveni problem QR faktorizacija pune matrice traje O(n 3 ) operacija po faktorizaciji Kao što smo već rekli, svojstvenu vrijednost možemo otkriti u jednom koraku ako napravimo baš pomak σ i koji je jednak toj svojstvenoj vrijednosti Prema tome, ukupno trajanje QR iteracija bilo bi O(n 4 ), što je vrlo sporo 2 Kako treba izabrati pomak σ i da bi se ubrzala konvergencija u slučaju kompleksne svojstvene vrijednosti? Jasno je da se ne smije uzeti kompleksni pomak, jer će se time uvesti kompleksna aritmetika i bitno usporiti postupak 3 Kako ćemo prepoznati konvergenciju prema realnoj Schurovoj formi? 3 Svođenje na Hessenbergovu formu Da bismo efikasno proveli QR metodu, matricu je potrebno svesti na kompaktniju formu, a to je gornja Hessenbergova forma Gornja Hessenbergova forma za nesimetričnu matricu je gornjetrokutasta matrica s još jednom sporednom dijagonalom (elementi kojima je indeks retka za veći od indeksa stupca) Svođenje na Hessenbergovu formu provodi se korištenjem ortogonalnih sličnosti, tj traži se ortogonalna matrica Q takva da je QAQ T gornja Hessenbergova Ideja redukcije vrlo je slična QR faktorizaciji, samo se norma stupca, umjesto na dijagonalni element nabacuje na element ispod glavne dijagonale Pokažimo to na jednom 4 4 primjeru Primjer 2 Neka je A matrica reda 4, a a 2 a 3 a 4 A = a 2 a 22 a 23 a 24 a 3 a 32 a 33 a 34 a 4 a 42 a 43 a 44 Korištenjem, matrice [ Q = pri čemu je H Householderov reflektor, možemo poništiti elemente prvog stupca u matrici A, od mjesta 3 do n, pa imamo a a 2 a 3 a 4 a () 2 a () 22 a () 23 a () 24 Q A = 0 a () 32 a () 33 a () 34 0 a () 42 a () 43 a () 44 H ], Nakon toga primijenimo matricu Q T zdesna, pa dobijemo a a (2) 2 a (2) 3 a (2) 4 Q AQ T a () 2 a (2) 22 a (2) 23 a (2) 24 = 0 a (2) 32 a (2) 33 a (2) 34 0 a (2) 42 a (2) 43 a (2) 44

19 3 Svođenje na Hessenbergovu formu 9 Nakon toga biramo ortogonalnu matricu Q 2 = [ I2 H 2 ], takvu da poništi elemente drugog stupca koji se nalaze od mjesta 4 do n, Q 2 Q AQ T = a a (2) 2 a (2) 3 a (2) 4 a () 2 a (2) 22 a (2) 23 a (2) 24 0 a (3) 32 a (3) 33 a (3) a (3) 43 a (3) 44 Transformaciju Q T 2 moramo primijeniti i zdesna Q 2 Q AQ T Q T 2 = a a (2) 2 a (4) 3 a (4) 4 a () 2 a (2) 22 a (4) 23 a (4) a (4) 34 0 a (3) 32 a (4) 0 0 a (4) 43 a (4) 44 Time smo završili postupak Postupak smo mogli, umjesto Householderovim reflektorima provesti i Givensovim rotacijama Ako je matrica A bila simetrična, onda je simetrična i njezina Hessenbergova forma Q n 2 Q AQ T Q T n 2, pa je svođenje na Hessenbrgovu formu, zapravo trodijagonalizacija Nadalje, budući da koristimo Householderove reflektore, možemo koristiti činjenicu da su Hoseholderovi reflektori i sami simetrične matrice, pa je Q n 2 Q AQ T Q T n 2Q n 2 Q AQ Q n 2 Teorem 22 Hessenbergova forma se čuva u QR metodi Dokaz Ako je matrica A i σi bila gornja Hessenbergova, onda je njezina QR faktorizacija takva da je Q gornja Hessenbergova To se najlakše vidi ako QR faktorizaciju provodimo rotacijama, pa ona redom zahvaće retke i 2 u stupcu, 2 i 3 u 2 stupcu, Nakon toga, odmah se vidi da je i RQ gornja Hessenbergova, jer je to produkt gornje Hessenbergove i gornjetrokutaste matrice 3 Paralelno svođenje na Hessenbergovu formu Da bismo mogli napraviti paralelni algoritam, moramo uočiti kojim se redom moraju ažurirati podaci Promotrimo k-ti korak u svođenju na Hessenbergovu formu, kad djelujemo matricom Q k prvo slijeva, a onda zdesna

20 20 Svojstveni problem Prvo moramo izračunati vektor v k iz Householderovog reflektora H k = I v k vt k vk T v, k takav da ćemo time poništiti sve elemente k-tog stupca ispod (k +, k) Nakon toga stvarno poništimo elemente u k-tom stupcu 2 Sada u paraleli možemo napraviti ažuriranje stupca k + do n matrice A (od redaka k + do n 3 U paraleli, možemo ažurirati i zdesna prvih k redaka i to u stupcima k + do n 4 Nakon što završi ažuriranje stupaca iz točke 2, možemo nastaviti s ažuriranjem redaka Grafički, (pišu brojevi koraka) navedeni proces izgleda ovako: Opisani algoritam dosta je teško efikasno implementirati na računalu s razdijeljenom memorijom Zadatak je samo nešto lakši na računalu sa zajedničkom memorijom 32 Paralelna trodijagonalizacija Kao i kod paralelnog svođenja na Hessenbergovu formu, kod paralelne trodijagonalizacije za simetične matrice, javlja se vrlo sličan problem Naime i to je uglavnom sekvencijalan proces Jedna od ideja kako se to može napraviti je svođenje matrice na relativno usku vrpčastu strukturu (širina vrpce do 0), a zatim na trodijagonalnu matricu Objasnimo još točno na kakvu vrpčastu matricu se misli u ovom kontekstu Naime, širina vrpce nije jednoznačno definiran pojam Za matricu koja ima n bl dijagonala ispod glavne reći ćemo da je donjevrpčasta sa širinom vrpce n bl Jednako tako za matricu koja ima n bu dijagonala iznad glavne dijagonale, reći ćemo da je gornjevrpčasta sa širinom vrpce n bu Ako matrica ima i donje i gornje dijagonale, reći ćemo samo da je vrpčasta U ovoj terminologiji, dijagonala se nigdje ne broji kao vrpca 4 QR iteracije s implicitnim pomakom U ovom odjeljku pokazujemo kako možemo praktično raditi QR iteracije na gornjoj Hessenbergovoj matrici Umjesto da eksplicitno konstruiramo matricu Q,

21 4 QR iteracije s implicitnim pomakom 2 konstrurat ćemo je eksplicitno kao prudukt Givensovih rotacija Za tu konstrukciju potraban je implicitni Q teorem Nakon toga pokazat će se kako se radi jesnostruki pomak, a kako dvostruki (ako imamo konjugirano-kompleksni par svojstvanih vrijednosti, a da ipak ostanemo u domeni realne aritmetike) 4 Implicitni Q teorem Teorem 23 (Implicitni Q teorem) Neka je Q T AQ = Hnereducirana gornja Hessenbergova matrica (nereducirana znači da na dijagonali ispod glavne nema niti jedna 0) Stupci matrice Q počevši od drugog do n-tog su (do na znak) jednoznačno određeni prvim stupcem matrice Q Prethodni teorem (za dokaz vidjeti u Demmel, Applied Numerical Linear Algebra), pokazuje da za računanje A i+ = Q T i A i Q i u QR algoritmu trebamo samo izračunati prvi stupac matrice Q i, koji je proporcionalan prvom stupcu matrice A i σ i I, 2 izabrati ostale stupce matrice Q i tako da budu ortogonalni i da je A i+ nereducirana Hessenbergova Korektnost algoritma izlazi iz implicitnog Q teorema, jer je matrice Q jedinstvena do na znak Sam znak ne igra ulogu 42 QR algoritam za nesimetrične matrice s jednostrukim pomakom Ako je svojstvena vrijednost jednostruka, onda radimo tzv jednostruki pomak (engl single shift) Promotrimo algoritam na matrici reda 6 Neka je zasad Q matrica oblika c s s c Q =, i neka je A gornja Hessenbergova Djelovanjem s Q T slijeva i Q zdesna, transformirana matrica A, u oznaci A poprima sljedeći oblik A = Q T AQ =,

22 22 Svojstveni problem pritom označava element koji je prije trensformacije bio 0, međutim djelovanjem trensformacije presto je biti 0 Sada tu izbočinu (engl bulge) treba istjerivatiti (engl chasing the bulge) izvan matrice i to tako da slijeva uzmemo rotaciju u (2, 3) ravnini koja će poništiti taj novostvoreni element Naravno, istom rotacijom (samo transponiranom) moramo djelovati i zdesna Novi Q 2 izgleda ovako Q 2 = c 2 s 2 s 2 c 2 Nakon djelovanja s Q T 2 slijeva, dobivamo A 2 = Q T 2 A =, međutim, nakon primjene Q 2 zdesna, imamo A 2 = Q T 2 A Q 2 =, što znači da se izbočina pomaknula jedno mjesto dolje i desno U sljedećem koraku, poništimo tu izbočinu korištenjem Givensove rotacije u ravnini (3, 4), Q 3 = c 3 s 3 s 3 c 3 Nakon djelovanja s q T 2 slijeva, dobivamo A 3 = Q T 3 A 2 =,

23 4 QR iteracije s implicitnim pomakom 23 međutim, nakon primjene Q 3 zdesna, imamo A 3 = Q T 3 A 2 Q 3 = Postupak nastavljamo na isti način, tako da smo u sljedećem koraku stigli do A 4 = Q T 4 A 3 Q 4 = Sad još samo treba znati kako ćemo to posljednje izbočenje izbaciti izvan matrice Djelovanjem rotacije u (5, 6) ravnini Q 5 = c 5 s 5 s 5 c 5 poništit ćemo posljednju izbočinu i matrica A 5 = Q T 5 A 4 Q 5 će ponovno biti u gornjoj Hessenbergovoj formi Primijetimo da je djelovanje na matricu A bilo ovim redom, Q T AQ = (Q Q 2 Q 3 Q 4 Q 5 ) T AQ Q 2 Q 3 Q 4 Q 5, i da je dobivena matrica opet gornja Hessenbergova Primijetimo izgled matrice Q, c s Q = s 2 s 3 s 4 s 5 Već smo zaključili da prvi stupac od Q određuje do na znak sve ostale stupce u Q (implicitni Q teorem) Prvi stupca matrice Q izabrat ćemo tako da je proporcionalan s prvim stupcem A σ I), tj da je njegova norma To znači da je naš Q jednak onome koji bi bio dobiven QR faktorizacijom od A σi

24 24 Svojstveni problem 43 QR algoritam za nesimetrične matrice s dvostrukim pomakom Ako je svojstvena vrijednost kompleksna, onda ako želimo izvjeći kompleksnu aritmetiku, mora se narpaviti drugačija strategija pomaka Ideja je u nizu napraviti pomak za σ i σ A 0 σi = Q R A = R Q + σi A σi = Q 2 R 2 A 2 = R 2 Q 2 + σi Odatle odmah izlazi da je A 2 = Q T 2 Q T A 0 Q Q 2 Lema 24 Matrice Q i Q 2 možemo izabrati tako da vrijedi (a) Q Q 2 je realna, (b) prvi stupac matrice Q Q 2 se lako računa Dokaz Redom, iz prve dvije transformacije izlazi Q Q 2 R 2 R = Q (A σi)r = Q (R Q + (σ σ)i)r = Q R Q R + (σ σ))q R = (A 0 σi) 2 + (σ σ))(a 0 σi) =: M Budući da je σ σ R, onda je prethodna matrica realna, pa je Q Q 2 R 2 R, QR faktorizacija realne matrice Odatle je jasno da su i Q Q 2 R 2 R realne Prvi stupac matrice Q Q 2 je proporcionalan prvom stupcu matrice M, a ostali stupci se računaju korištenjem implicitnog Q teorema I ovaj algoritam natjerava izbočinu, samo je ona zbog dvostrukog pomaka 2 2 izbočina Na primjer, neka je A ponovno matrica red 6 Ako zahtijevamo da je prvi stupca proporcionalan prvom stupcu matrice M, dobivamo Q T A = i Q T AQ = Sada vrlo slično kao u jednostrukom pomaku izbočinu pomičemo prema kraju matrice

25 4 QR iteracije s implicitnim pomakom 25 Izbor pomaka Najčešće se pomak (engl shift) bira kao svojstvene vrijednosti 2 2 matrice u donjem lijevom kutu, tj kao svojstvene vrijednosti matrice [ ] an,n a n,n a n,n Ako su svojstvene vrijednosti realne, onda očekujemo konvergenciju prema dvjema svojstvenim vrijednostima na dnu matrice Ako se pak radi o kompleksnim vrijednostima, onda očekujemo konvergenciju prema 2 2 bloku koji, zapravo, sadrži kompleksnu svojstvenu vrijednost i njezin konjugirano kompleksni par Nažalost, ovakav izbor se pokazao izvrsnim u praksi, ali može se dogoditi da ovakav izbor pomaka padne u praksi Na primjer, to će se dogoditi za matricu a n,n Izbor pomaka za simetrični trodijagonalni QR Za simetrični trodijagonalni QR algoritam, pomak se najčešće bira kao kao svojstvena vrijednost bloka [ ] an,n a n,n a n,n koja je najbliža a n,n Taj izbor pomaka zove se Wilkinsonov shift i može se pokazati da su simetrične QR iteracije s tim pomakom kubično konvergentne za gotovo sve matrice A 44 Paralelni QR algoritam Postoji puno algoritama koji su pokušaji paralelizacije QR algoritma i za Hessenbergove i za trodijagonalne matrice Algoritmi su podosta komplicirani i nisu naročito paralelizibilni, jer su neke stvari u QR algoritmu očito nužno sekvencijalne a n,n

26 26 Svojstveni problem 5 Metoda podijeli pa vladaj za simetrični svojstveni problem Metodu podijeli pa vladaj otkrio je Cuppen 98, a njezinu točnu implementaciju napravili su Gu i Eisenstat 995 godine Metoda (uz diferencijalnu qd metodu) se smatra najbržom metodom za računanje svojstvenih vrijednosti matrica Prvo, pokažimo ideju za funkcioniranje metode Neka je T trodijagonalna matrica oblika T = = a b b a m b m b m a m b m b m a m+ b m+ b m+ a n b n b n a n a b b am b m b m a m b m a m+ b m b m+ b m+ an b n b n a n + b m b m b m b m [ ] T 0 = + b 0 T m vv T, 2 pri čemu je v T = [0,, 0,, 0,, 0] Prema tome, odmah je jasno da se traženje svojstvenih vrijednosti metodom podijeli pa vladaj sastoji od dva tridijagonalna problema i njihovom efikasnom ažuriranju matricama ranga

27 5 Metoda podijeli pa vladaj za simetrični svojstveni problem 27 Dakle, svojstvene vrijednosti matrice T možemo izračunati ovako [ ] [ ] T T = + b T m vv T Q Λ = Q T 2 Q 2 Λ 2 Q T + b m vv T 2 [ ] ([ ] ) [ ] Q Λ Q = + b m uu T T, Q T2 Q 2 gdje je [ ] [ Q T u = posljednji stupac matrice Q T Q T v = 2 prvi stupac matrice Q T 2 Drugim riječima, treba naći svojstvene vrijednosti matrice Λ 2 D = D + ρuu T, pri čemu je D dijagonalna, ρ = b m, a u je vektor Prvo pretpostavimo da je matrica D λi nesingularna, pa karakteristični polinom matrice D glasi det(d + ρuu T λi) = det[(d λi)(i + ρ(d λi) uu T )] Iz pretpostavke o nesingularnosti D λi, izlazi da mora biti det(i + ρ(d λi) uu T ) = 0 kad god je λ svojstvena vrijednost Nadalje, matrica I +ρ(d λi) uu T je jedinična matrica plus matrica ranga, za koju se lako računa determinanta Lema 25 Ako su x i y vektori, onda vrijedi det(i + xy T ) = + y T x Dokaz Matricu I + xy T možemo napisati u Jordanovoj formi kao Sada je I + xy T = S diag( + λ,,, )S det(i + xy T ) = det(s diag( + λ,,, )S ) = det(diag( + λ,,, )) = + λ, pri čemu je λ jedina svojstvena vrijednost matrice xy T koja je različita od 0 Nadalje, zbroj elemenata na dijagonali matrice xy T jednak je njezinom tragu, a taj trag je s jedne strane skalarni produkt vektora x i y, a s druge strane jednak je zbroju svih svojstvenih vrijednosti matrice xy T Međutim, sve svojstvene vrijednosti matrice, osim jedne jednake su 0, pa je taj trag baš jednak λ Iz prethodne leme izlazi da je det(i + ρ(d λi) uu T ) = + ρu T (D λi) u = + ρ n i= ] u 2 i d i λ i =: f(λ) Prethodna jednadžba obično se zove sekularna jednadžba, a vrijednosti za koje je f(λ) = 0 su svojstvene vrijednosti U najjednostavnijem slučaju su svi d i različiti, s svi u i 0 Budući da je f monotona, onda će, recimo, Newtonova metoda za nalaženje nultočaka konvergirati, ali ta konvergencija može biti vrlo spora ako su d i vrlo mali brojevi

28 28 Svojstveni problem Lema 26 Ako je α svojstvena vrijednost od D + ρuu T, onda je (D αi) u svojstveni vektor za tu svojstvenu vrijednost Nažalost, prethodna formula za računanje svojstvenih vektora je numerički nestabilna, pa se oni računaju na drugi način Algoritam 27 (Podijeli pa vladaj) Za simetričnu trodijagonalnu matricu T svojstvene vrijednosti Λ i vektori Q, T = QΛQ T dobivaju se rekurzivnim algoritmom proc dc_eig (T, Q, Λ) if n = return Q =, Λ = T else [ ] T form T = + b m vv T T 2 call proc dc_eig (T, Q, Λ ) call proc dc_eig (T 2, Q 2, Λ 2 ) form D = D + ρuu T from Q, Λ, Q 2, Λ 2 find eigenvalues [ Λ] and eigenvectors Q of D Q form Q = Q return Q and Λ end if Q 2

29 6 Bisekcija i inverzna iteracija 6 Bisekcija i inverzna iteracija 29 Metoda bisekcije služi za nalaže svojstvenih vrijednosti matrica u nekom zadanom interavalu [a, b Teorem koji se koristi je Sylvesterov teorem o inerciji Definicija 28 Inercija hermitske/simetrične matrice A je trojka (n, z, p), pri čemu je n broj negativnih, z broj nula, a p broj pozitivnih svojstvenih vrijednosti matrice A Teorem 29 (Sylvesterov teorem o inerciji) Neka je A simetrična matrica, a X nesingularna Onda matrice A i X T AX imaju istu inerciju Ako gledamo inerciju matrice A wi to je trojka (n, z, p), pri čemu je n broj negativnih svojstvenih vrijednosti, z broj nula svojstvenih vrijednosti, a p broj pozitivnih svojstvenih vrijednosti te matrice Na drugi način to možemo reći i ovako n je broj svojstvenih vrijednosti matrice A koje su manje od w, n je broj svojstvenih vrijednosti matrice A koje su jednake w, dok je p broj svojstvenih vrijednosti matrice A koje su veće od w Označimo s n b broj svojstvenih vrijednosti matrice A koje su manje od b, a s n a broj svojstvenih vrijednosti matrice A koje su manje od a, odnosno n b je broj negativnih svojstvenih vrijednosti matrice A bi, a n a je broj negativnih svojstvenih vrijednosti matrice A ai Iz prethodnih razmatranja odmah slijedi da je broj svojstvenih vrijednosti matrice A u intervalu [a, b jednak n b n a Preostaje jedino još vidjeti kako se to može izračunati Ako napravimo LDL T faktorizaciju matrice A wi, onda odmah čitamo inerciju matrice A wi, jer ona piše na dijagonali matrice D (L je donjetrokutasta matrica s jedinicama na dijagonali) Označimo s br_neg(a, z) broj svojstvenih vrijednosti matrice A koji je manji od z Algoritam 30 (Metoda bisekcije) Za danu simetričnu matricu A nalazi sve svojstvene vrijednosti koje se nalaze unutar intervala [a, b, s tim da se sve svojstvene vrijednosti koje se razlikuju za manje od tol smatraju jednakima n a = br_neg(a, a) n b = br_neg(a, b) if n a = n b quit /* nema sv vrijednosti unutar */ else put [a, n a, b, n b ] onto work_list end if /* work_list je lista intervala za bisekciju */ while work_list do remove [low, n low, up, n up ] from work_list if up low < tol then print n up n low sv vrijednosti u [up, low else mid = (up + low)/2 n mid = br_neg(a, mid) if n mid > n low

30 30 Svojstveni problem put [low, n low, mid, n mid ] onto work_list end if if n up > n mid put [mid, n mid, up, n up ] onto work_list end if end if end while