NM Pred. 07/08 1. Numerička matematika. Integralni tekst predloška za predavanja 07/

NM Pred. 07/08 1 Numerička matematika Integralni tekst predloška za predavanja 07/08 Luka Grubišić 05.03.2008

NM Pred. 07/08 2 1 Uvodno predavanje 1.1 Pravila ocjenjivanja Numerička matematika (31427) Nastavnici: L. Grubiić, S. Singer Suradnici: Z. Bujanović, A. Tafro, I. Velčić Elementi ocjenjivanja: 1. domaće zadaće (10%), 2. prvi kolokvij (40%), 3. drugi kolokvij (50%), 4. eventualni završni ispit (25%). 5. U kolegiju je moguć ostvariti i više od 100 bodova posebnim zalaganjem!

NM Pred. 07/08 3 Domaće zadaće Tijekom semestra zadaju se dvije domaće zadaće. Za svaku domaću zadaću student može zaraditi najviše 5 bodova. Zadaće se predaju u rokovima koje odrede asistenti. Kolokviji 1. Tijekom semestra pišu se dva kolokvija. Na prvom kolokviju moguće je zaraditi najmanje 40, a na drugom najmanje 50 bodova (oba kolokvija mogu imati bonus bodove). 2. Na kolokvijima se postavljaju i teoretska pitanja. Studenti koji ne pristupe nekom od kolokvija tijekom semestra, a svoj nedolazak pravovremeno opravdaju na odgovarajući način (npr. medicinskom dokumentacijom), kolokvij će polagati u dogovoru s nastavnicima. 3. Za prolaznu ocjenu potrebno je skupiti najmanje 45 bodova, od čega najmanje 40 moraju biti bodovi s kolokvija. Završni ispit Studenti koji su nezadovoljni ocjenom dobivenom na temelju kolokvija i domaćih zadaća, ili ih na završni ispit pozove nastavnik, izlaze na završni ispit.

NM Pred. 07/08 4 Na završnom ispitu moguće je ostvariti najviše još 25 bodova. Student može svojim neznanjem na završnom ispitu dobiti i negativnu ocjenu. Popravni ispit Studenti koji su tijekom semestra na kolokvijama skupili barem 10 bodova, a nisu položili kolegij, mogu pristupiti popravnom kolokviju. Popravni kolokvij obuhvaća gradivo cijelog kolegija i na njemu je moguće ostvariti 100 bodova. Na popravni kolokvij primjenjuje se isto pravilo o završnom ispitu kao za redovne kolokvije. Zaključivanje ocjene Bodovi Ocjena 0-44 1 45-59 2 60-74 3 75-89 4 90 i vise 5

NM Pred. 07/08 5 1.2 Literatura: Pored standardne literature navedena na web stranici kursa URL: http://web.math.hr/nastava/unm koristit ćemo i reference: 1. Zlatko Drmač et. al.; Numerička matematika, Elektronski udžbenik, http://web.math.hr/ rogina/2001096/num anal.pdf 2. Wolfgang Dahmen et. al.; Numerik für Ingenieure und Naturwissenschaftler (predložak za uvodno predavanje, vidjeti http://www.igpm.rwth-aachen.de/node/161) 3. Cleve Moler; Numerical Computing with MATLAB http://www.mathworks.com/moler/chapters.html 4. David Goldberg; What Every Computer Scientist Should Know About Floating-Point Arithmetic http://docs.sun.com/source/806-3568/ncg goldberg.html 5. User s guide for everything: Wikipedia http://en.wikipedia.org/

NM Pred. 07/08 6 1.3 Model problem Matematika u primjeni Praktični zadatak: Konstruirajmo uredaj (metronom) koji će reproducirati zadani takt perioda T? Metoda rješavanja: Konstruirajmo njihalo koje se njiše zadanim periodom! Teoretski zadatak: Za zadani period T odredimo početni položaj njihala?

NM Pred. 07/08 7 Dinamika njihala: s početnim uvjetom φ (t) = c sin(φ(t)), c = g l, φ(0) = x, φ (0) = 0. Parametri g; l; x: ubrzanje sile teže; duljina niti (l = 0.6m); početni položaj. Vrijedi φ (t, x) = q 2g l [cos(φ(t,x)) cos(x)], a to vodi na eliptički integral kojeg nije moguće analitički rješiti, iako φ(t, x) ima dokazivo lijepa svojstva! Pitanje o praktičnosti ove informacije? (http://en.wikipedia.org/pendulum %28mathematics%29)

NM Pred. 07/08 8 φ(t, π 2 ) (Numeričko rješenje pomoću paketa MATHEMATIKA TM): 1.5 1.0 0.5 0.5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 1.0 1.5

NM Pred. 07/08 9 φ(t, π 3 ) (Numeričko rješenje pomoću paketa MATHEMATIKA TM): 1.0 0.5 0.5 1.0 1.5 2.0 2.5 3.0 3.5 0.5 1.0

NM Pred. 07/08 10 Matematički zadatak Odredite x = x T 0, π 2, za kojeg je T(xT ) = 1.8. Rješenje: U trenutku T/4 njihalo stoji okomito: φ( T 4, x T) = 0. neka je f(x) := φ(t/4,x) = φ(0.45,x). Problem realizacije uredaja koji reproducira takt T je ekvivalentan problemu odredivanja nultočke x T 0, π 2 ove implicitno zadane funkcije f : f(x T ) = 0. Ovakav problem se naziva Problem nultočke (Očekujemo x T π 3, π 2!). Uz ovaj model javljaju se sljedeća matematička pitanja: 1. Izvrjednjavanje (tabuliranje) funkcije f : Rješavanje početnog problema Greška diskretizacije. 2. Implementacije metode rješavanje jednadžbe Greška zaokruživanja. 3. Daljnje greške: Greška u modelu, Greška u podacima,...

NM Pred. 07/08 11 Ubaci sliku

NM Pred. 07/08 12 Ciljevi Za različite numeričke zadatke (Računanje rješenja sustava linearnih i nelinearnih jednadžbi, Računanje integrala, Aproksimiranje (impicitno) zadane funkcije po djelovima polinomijalnom funkcijom) proučiti sljedeće klase problema: 1. Uvjetovanost problema, odnosno osjetljivost problema na numeričku smetnju. 2. Konstrukcija standardnih numeričkih metoda rješavanja danih problema. 3. Stabilnost numeričkih metoda, odnosno njihova osjetljivost na smetnju problema. 4. Efikasnost numeričke metode, tj. broj operacija te potreban memorijski prostor za rješavanje problema. 5. Točnost numeričkih metoda.

NM Pred. 07/08 13 2 Analiza greške numeričkih metoda, Uvjetovanost problema, Greške zaokruživanja i Stablinost Greška u podacima Greška u algoritmu Greška u rezultatu Slika 1: Pojednostavljen prikaz odnosa medu greškama u numeričkom procesu.

NM Pred. 07/08 14 2.1 Uvjetovanost problema Kao motivirajući primjer promotrimo analizu osjetljivosti problema na grešku u podacima. Osnovni pojam u ovom kontekstu je pojam Uvjetovanosti problema. Uvjetovanost je: Neovisna o konkretnoj numeričkoj metodi. Odgovara na pitanje: Koju točnost se može očekivati pri točnom računanju s pomaknutim (netočnim) podacima. Matematički se uvodi tako da primjenu numeričke metode na dane podatke x X idealiziramo kao problem izvrjednjavanja (računanja) funkcije f : X Y, u točki x X. X i Y su odgovarajući matematički objekti, npr. v. prostori.

NM Pred. 07/08 15 Primjeri Primjer 1. Računanje produkta x 1, x 2 R: Tada je f(x 1, x 2 ) = x 1 x 2, i X = R 2, Y = R. Primjer 2. Računanje sume x 1, x 2 R: Tada je f(x 1, x 2 ) = x 1 + x 2, i X = R 2, Y = R. Primjer 3. Odredivanje najmanje nultočke jednadžbe y 2 2x 1 y + x 2 = 0, uz uvijet x 2 1 > x 2. Za rješenje y 0 vrijedi y 0 = f(x 1, x 2 ) := x 1 q x 2 1 x 2. u ovom slučaju je X = {(x 1, x 2 ) R 2 x 2 1 > x 2 }, Y = R.

NM Pred. 07/08 16 Primjer 4. Računanje sjecišta pravaca P 1 = {(y 1, y 2 ) R 2 a 11 y 1 + a 12 y 2 = x 1 } P 2 = {(y 1, y 2 ) R 2 a 21 y 1 + a 22 y 2 = x 2 } Pri tome smatramo da su x i i a ij ; i,j = 1, 2 podaci. Rješenje. Ovaj problem zapisujemo u matričnoj notaciji kao Ay = x pri čemu je 2 3 2 3 A := 4 a 11 a 12 5 R 2 2, x = 4 x 1 5 R 2. a 21 a 22 x 2 Ukoliko pretpostavimo da je det A 0, tada je y = A 1 x. Zbog toga biramo f(x) = A 1 x, X = Y = R 2.

NM Pred. 07/08 17 Primjer 5. Za n = 30 treba izračunati integral I n = Z 1 0 t n t + 5 dt. Rješenje. Za I n, n N vrijedi rekurzija I n + 5I n 1 = Z 1 0 t n + 5t n 1 t + 5 dt = Z 1 0 t n 1 dt = 1 n. Rekurzija J 0 R, J n = 1 5J n n 1, n = 1,2,, 30 definira funkciju f : R R formulom f : J 0 J 30. U ovoj formulaciji pišemo I 30 = f(i 0 ) = f(ln 6 ), X = Y = R. 5

NM Pred. 07/08 18 Matematička formulacija problema Polazni podaci s greškom x inp X, x := x inp x X. Algoritam f Izlazni podaci y out = f(x imp ) Y, imaju grešku y Y, y := f(x imp ) f(x). Slika 2: Zadatak numeričke analize je odrediti vezu izmedu x i y.

NM Pred. 07/08 19 Ubaci sliku

NM Pred. 07/08 20 Kako mjeriti x i y? Uvodimo pojam normiranog vektorskog prostora. Pojam je (će biti) detaljno razraden u kolegijima LA1, MA3, VP,... Nama su bitne samo osnovna svojstva. Definicija 6. Preslikavanje V : V R je norma na vektorskom prostoru V ako: 1. v V 0, v V ; 2. v V = 0 ako i samo ako v = 0; 3. Za sve α F i v V vrijedi αv = α v ; 4. Ta sve v, w V vrijedi nejednakost trokuta v + w v + w. Vektorski prostor V na kojem je definirana V se naziva normirani vektorski prostor. Ova definicija nije prazna jer je R s normom R = pimjer normiranog vektorskog prostora.

NM Pred. 07/08 21 Primjeri normi (provjerite za vježbu) 1. Norma ili sup-norma (notacija!): Funkcije x := max i=1,...,n x i, f := sup t I f(t), x R n f C(I) su norme na R n, C(I); prostoru neprekidnih realnih funkcija na intervalu I. 2. Euklidska norma: Funkcija x 2 = x x = p P n i=1 x2 i je norma na Rn. 3. A 2 := sup x 0 Ax 2 x 2, A R n n je norma na R n n ; prostoru n n matrica. Izračunljivost? 4. Frobeniusova norma: Na prostoru R n n je funkcija A F = p tr(a A) = q Pn i,j=1 a2 ij norma. Pri tome je tr( ) operator traga, a A oznaćava transponiranu ili hermitski transponiranu matricu A. Slična definicija vrijedi i u prostoru R n m, prostoru n m matrica.

NM Pred. 07/08 22 Važna napomena! Primjer 7. Pojam (konačno dimenzionalnog) vektorskog prostora se nebi trebao vezivati samo uz R n. Prostor polinoma stupnja m mx P m := { a i x i a i R} i=0 je primjer m + 1 dimenzionalnog vektorskog prostora. Monomi m i (x) := x i, i = 0, 1,...,m su jedna baza za P m. Na prostoru P n se mogu promatrati razne norme. Na primjer p := p C[0,1] = max x [0,1] p(x), p P m je norma na P m.

NM Pred. 07/08 23 NOVI POJAM: Relativna i apsolutna uvjetovanost Apsolutna greška: x X, y Y, Relativna greška: δ x = x X x X, δ x = y Y y Y Relativna/apsolutna uvjetovanost problema mjeri koliko je rezultat osjetljiv na promjene polaznih podataka. Pišemo (veza s derivacijom?): κ rel (x) δ y δ x, κ abs (x) y Y x X Mjera osjetljivosti problema. Najčešće koristimo relativnu uvjetovanost! Problem je dobro uvjetovan (kondicioniran) što je δ y δ x uniformno manji za δ x 0.

NM Pred. 07/08 24 Razlika teorije i prakse (user s guide to analysis) Moguće je dokazati sljedeći općeniti teorem. Teorem 8. Na svakom končno dimenzionalnom prostoru V su sve norme ekvivalentne. To znaći da za svake dvije norme 1 i 2 na V postoje dvije konstante c i C, takve da c v 1 v 2 C v 1, za sve v V vrijedi. Sjetimo se da mi želimo mjeriti poželjno male x i y. Koliko vrijedi ovaj teorem ako ne znamo ništa o veličini konstanti C i c. Npr. vrijedi x x 2 n x, za sve x R n. Ogromno n?

NM Pred. 07/08 25 Landauov simbol (user s guide to analysis contd.) Definicija 9. Neka su g,h : R n R m funkcije i R n i R m norme i neka je x 0 R n. Ukoliko postoje konstante C > 0 i δ > 0 takve da za sve x x 0 R n δ vrijedi g(x) R m C h(x) R m tada kažemo da je za x koji teži prema x 0 je funkcija g reda O od h Pri tome pišemo g(x) = O(h(x)) (x x 0 ).

NM Pred. 07/08 26 Primjer 10. Za m = n = 1 je sin x = O(x) (x a), za sve a R, x 2 + 3x = O(x) (x 0), x 2 x 6 = O(x 3), (x 3). Za n = 2, m = 1 i g(x 1, x 2 ) = x 2 1(1 x 2 ) + (x 3 2 + x 1 )(1 x 2 1) vrijedi g(x 1, x 2 ) = O(x 1 + x 3 2), ((x 1, x 2 ) (0, 0)) g(x 1, x 2 ) = O( 1 x 1 + 1 x 2 ), ((x 1, x 2 ) (1,1)).

NM Pred. 07/08 27 DEFINICIJA: Relativna i apsolutna uvjetovanost Definicija 11. Apsolutna uvjetovanost po normi (problema) funkcije f je najmanji broj κ abs > 0 za koji je f(x) f(ex) κ abs x ex + O( x e α ) za α > 1 i x ex. Problem je loše postavljen ako takav κ abs ne postoji. Definicija 12. Relativna uvjetovanost po normi (problema) funkcije f je najmanji broj κ rel > 0 za koji je f(x) f(ex) f(x) κ rel x ex x + O( x ex α x α ) za α > 1 i x ex. Problem je loše postavljen ako takav κ rel ne postoji.

NM Pred. 07/08 28 Taylorov teorem (user s guide) Za dovoljno glatku funkciju f : R R vrijedi pri čemu je ξ x, ex. f(ex) = f(x) + f (x)(ex x) + f(2) (x) (ex x) 2 + 2 + f(k 1) (x) (k 1)! (ex x)k 1 + f(k) (ξ) (ex x) k k! p k 1 (ex) := f(x)+f (x)(ex x)+ f(2) (x) 2 (ex x) 2 + + f(k 1) (x) (k 1)! (ex x)k 1 je Taylorov polinom stupnja (k 1). U slučaju k = 1 dobivamo rep. aps. uvjetovanosti f(ex) f(x) ex x = f (ξ) Za relativnu uvjetovanost dobivamo f(ex) f(x) f(x) = f (ξ)x f(x) ex x x.

NM Pred. 07/08 29 Primjer 13. Za funkciju f : R R, f(x) = e 3x2 je uvjetovanost κ rel (x) := f x (x) f(x) = 6x2. Zaključujemo da je ova funkcija za x malo/veliko dobro/loše uvjetovana. Rješenje. Za x = 0.1 i ex = 0.10001 i za x = 4 i ex = 4.0004 je ex x x = 10 4 no imamo za x = 1 je za x = 4 je f(x) f(ex) f(x) f(x) f(ex) f(x) = 6.03 10 6 = 9.65 10 3

NM Pred. 07/08 30 Primjer 1 MULTIPLIKATIVNI PRIKAZ RELATIVNE GREŠKE: Ukoliko vrijedi ex x x ε x, ε x u < 1, takav da je ex = x(1 + ε x ). u < 1, tada postoji Rješenje. Za f(x 1, x 2 ) = x 1 x 2 vrijedi f(ex 1, ex 2 ) f(x 1, x 2 ) f(x 1, x 2 ) = x 1(1 + ε x1 )x 2 (1 + ε x2 ) x 1 x 2 x 1 x 2 = x 1x 2 ε x1 + x 1 x 2 ε x2 + x 1 ε x1 x 2 ε x2 x 1 x 2 ε x1 + ε x2 + ε x1 ε x2. ZAKLJUČAK:vrijedi κ rel 1 za (ε x1, ε x2 ) 0. Do rješenja možete doći i korištenjem...

NM Pred. 07/08 31 Taylorovog teorema u R n (user s guide) Za dovoljno glatku funkciju f : R n R vrijedi f(ex) = f(x) + f (x) (ex x) + (ex x) f (2) (x) (ex x) + č. v. reda 2 h pri tome je f (x) = f(x) = x1 f(x),, x f(x)i gradient, h i n a f (2) (x) = 2 n xi xj f(x) i,j=1 Hesseova matrica. Taylorov teorem sada pišemo kao f(ex) = f(x) + f (x) (ex x) + 1 2 (ex x) f (2) (x)(ex x) + O( ex x 3 ), f(ex) = f(x) + f (x) (ex x) + O( ex x 3 ), as (ex x). Posebno je sada (uz malo vektorskog računa) za Primjer 1 κ rel 1 f (x) x f(x) KOJA ANALIZA DAJE VIŠE INFORMACIJA?

NM Pred. 07/08 32 Primjer 2 (Zbrajanje x 1 i x 2 ) (Uz konvenciju da je ex = x(1 + ε x ), za neki ε x, ε x u < 1.) Rješenje. Za f(x 1, x 2 ) = x 1 + x 2 vrijedi f(ex 1, ex 2 ) f(x 1, x 2 ) f(x 1, x 2 ) = x 1(1 + ε x1 ) + x 2 (1 + ε x2 ) x 1 x 2 x 1 + x 2 = x 1ε x1 + x 2 ε x2 x 1 + x 2 max i=1,2 x i `εx1 + ε x2. x 1 + x 2 ZAKLJUČAK:vrijedi κ rel (x 1, x 2 ) = max i=1,2 x i x 1 + x 2. Uvjetovanost ovisi o x 1 i x 2. Ukoliko x 1 i x 2 imaju isti predznak, tada je κ rel 1. Što se dešava za x 1 x 2?

NM Pred. 07/08 33 Primjer 3 Zadatak: Računanje manje nultočke funkcije y 2 2x 1 y + x 2 = 0. Rješenje. Egzaktno rješenje je dano formulom y min = x 1 q x 2 1 x 2 =: f(x 1,x 2 ). Neka je ex i = x i + δ i, i = 1,2, tada Taylorova formula daje f(ex 1, ex 2 ) f(x 1, x 2 ) = x 1 f(x 1,x 2 )δ 1 + x 2 f(x 1, x 2 )δ 2 + O(δ 2 1, δ 2 2, δ 1 δ 2 ), odnosno ỹ min y min y min = x 1 p x 2 1 x 2 δ 1 x 1 + x 2 2 p x 2 1 x 2f(x 1, x 2 ) δ 2 x 2 + O(δ 2 1, δ 2 2, δ 1 δ 2 ). Za x 2 1 x 2 je problem dobro uvjetovan, dok je za x 2 1 x 2 nepopravljivo loše uvjetovan.

NM Pred. 07/08 34 Primjer 5 Rješenje. Neka je e I 0 I 0. Računamo f( e I 0 ) = e I 30 pomoću ei n = 1 n 5e I n 1, n = 1, 2,...,30. Budući da I 30 zadovoljava istu rekurziju sa sličnom početnom vrijednošću slijedi ei 30 I 30 = 5( e I 29 I 29 ) = 5 2 ( e I 28 I 28 ) = = 5 30 ( e I 0 I 0 ) pa sljedstveno dobivamo f( e I 0 ) f(i 0 ) f(i 0 ) = e I 30 I 30 I 30 = 530 I 0 I 30 e I 0 I 0 I 0 530 I 0 I 0 e I 0 I 0 I 0, odnosno κ rel 5 30 9 10 20.

NM Pred. 07/08 35 n ein 0 1.823215567939546e-001 1 8.839221603022707e-002 2 5.803891984886467e-002 3 4.313873408900998e-002 4 3.430632955495011e-002 5 2.846835222524946e-002 6 2.432490554041936e-002 7 2.123261515504607e-002 8 1.883692422476965e-002 9 1.692648998726284e-002 10 1.536755006368579e-002 11 1.407134059066198e-002 12 1.297663038002343e-002 13 1.203992502295977e-002 14 1.122894631377260e-002 15 1.052193509780369e-002 n e I n 16 9.890324510981541e-003 17 9.371906856857001e-003 18 8.696021271270546e-003 19 9.151472591015689e-003 20 4.242637044921560e-003 21 2.640586239443982e-002 22-8.657476651765363e-002 23 4.763520934578334e-001 24-2.340093800622500e+000 25 1.174046900311250e+001 26-5.866388347710097e+001 27 2.933564544225418e+002 28-1.466746557826995e+003 29 7.333767271893596e+003 30-3.666880302613464e+004 Koji se efekti mogu vidjeti na slici i što je za njih odgovorno? Jesu li greške zaokruživanja uvijek štetne? Je li moguće popraviti ovaj algoritam i izračunati integral nekom drugom rekurzijom?

NM Pred. 07/08 36 Primjer 5 (nastavak) Rekurzija e I n = 1 n 5e I n 1 se pokazala kao loša. Pokušajmo je transformirati! Promotrimo niz Kako izračunati y ν? y k 1 = 1 5 `1 k y k, k = ν,ν 1,...,n + 1. Ukoliko izaberemo y ν = I ν, slijedi da je y n = I n. Analogni račun kao i prije daje I n e I n I n 1 I ν I e ν 5 ν n I ν umjesto e I n I n I n 5 n e I 0 I 0 I 0. Ukoliko uzmemo e I ν = 0 i napravimo relativnu grešku od 100% u početnoj vrijednosti, dobivamo I n e I n I n 1 5 ν n, ν > n.

NM Pred. 07/08 37 Primjer 5 (nastavak 2) Ukoliko odaberemo ν n + log(1 ε ) log(5) dobivamo aproksimaciju I n e I n I n ε. Za izračun T 30 s relativnom točnošću od 10 4, dovoljno je uzeti ν = 36! n ein 36 0 35 5.555555555555556e-003 34 4.603174603174603e-003 33 4.961718020541551e-003 32 5.068262456497751e-003 31 5.236347508700450e-003 30 5.4043e-003 Za točnost od 10 znamenaka dovoljno je uzeti ν = 45 (cf. SIAM s 100-dolar-100 digit challenge http://www.comlab.ox.ac.uk/people/nick.trefethen/hundred.html)

NM Pred. 07/08 38 2.2 Greške zaokruživanja i stabilnost algoritma u aritmetici pomične točke U ovom poglavlju uvest ćemo model reprezentacije brojeva na računalu i prikazati osnovni model za analizu greške zaokruživanja. Teorem 14 (b-adski razvoj). Za x R i b N \ {1} postoje jedinstveni j {0,1}, l Z i za svaki k Z, k l jedinstveni d k {0,1,...,b 1}, takvi da je x = ( 1) j` lx d k b k. (1) k= Pri tome je d l 0 za x 0; j = l = 0 za x = 0 i d k < b 1 za beskonačno mnogo k l. Pišemo (x) b = ±d l d l 1 d 0.d 1 d 2

NM Pred. 07/08 39 b-adski zapis (1) je ekvivalentan s zapisom x = n( 1) j` = ( 1) j X i=1 lx k= d l i+1 b i d k b k l+1 o b l+1 b l+1 = ( 1) j X i=1 α i b i be (2) Definicija 15. Zapis (2) se naziva normalizirani zapis s pomičnom točkom broja x R u bazi b. Pri tome je m = ( 1) j X i=1 α i, j {0, 1}, α {0,1,2,...,b 1} bi mantisa, a X e = ( 1) p β i b i, p {0,1}, β i {0,1,...,b 1} i=0 eksponent x-a obzirom na bazu b. Zapis s pomičnom točkom je normaliziran ako je α 1 0.

NM Pred. 07/08 40 Skup normaliziranih brojeva s pomičnom točkom Definicija 16. Za b N \ {1}, t, s N definiramo skup normaliziranih brojeva s pomičnom točkom u bazi b, s duljinom mantise t i duljinom eksponenta s kao M(b, t,s) := n( 1) j tx i=1 α i p P s b i b( 1) i=0 β i b i : α i,β i {0,1,...,b 1}, o α 1 0, j, p {0,1} Primjer 17. Promotrimo skup M := M(2, 3, 1). Elemente od M možemo prikazati kao ±α 1 α 2 α 3 ± β0 β 1 ±(α 1 2 1 + α 2 2 2 + α 3 2 3 )2 ±(β 02 0 +β 1 2 1 ) Moguće mantise i eksponenti su Baza 2 Baza 10 ±100 ±1/2 ±101 ±5/8 ±110 ±3/4 ±111 ±7/8 Baza 2 Baza 10 ±00 ±0 ±01 ±2 ±10 ±1 ±11 ±3

NM Pred. 07/08 41 M(2, 3, 1) (nastavak) ukupno ima 57 brojeva najmanji prikazivi broj je 1 2 2 2 = 2 4 najveći prikazivi broj je 7 8 23 = 7 Brojevi su najgušći oko 0 (vidi sliku)!

NM Pred. 07/08 42 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 0 1 2 3 4 5 6 7

NM Pred. 07/08 43 1 0.8 0.6 0.4 0.2 0 0.2 0.4 Standardni prikaz 0.6 0.8 1 0 1 2 3 4 5 6 7 1 0.8 0.6 0.4 0.2 0 0.2 Logaritamska skala 0.4 0.6 0.8 1 3 2.5 2 1.5 1 0.5 0 0.5 1 1.5 2

NM Pred. 07/08 44 Greška zaokruživanja i projekcija na skup M Realni broj x R se prikazuje na računalu projekcijom na skup M. Definicija 18. Funkcija fl( ) : R M(b, t,s) je za x = ( 1) j X i=1 α i b i be R definirana formulom fl(x) = 8 < ( 1) j P t i=1 α ib i b e, za α t+1 < b/2 :( 1) j ( P t i=1 α ib i + b t )b e za α t+1 b/2 u slučaju kada je x < x min govorimo o underflow-u, a kada je x > x max govorimo o overflow-u.

NM Pred. 07/08 45 Teorem 19. Za apsolutnu grešku funkcije fl( ) : R M(b, t, s) vrijedi dok za relativnu grešku vrijedi fl(x) x 1 2 b t b e, fl(x) x x b 2 b t. Definicija 20. Broj 1 2 b1 t =: u se naziva strojna točnost (machine precision ili machine-epsilon) za M(b, t, s).

NM Pred. 07/08 46 IEEE standard za strojnu aritmetiku single double extended duljina 32 bita 64 bita 80 bitova mantisa 23 + 1 bit 52 + 1 bit 64 bita eksponent 8 bitova 11 bitova 15 bitova (u) 2 2 24 2 53 2 64 (u) 10 5.96 10 8 1.11 10 16 5.42 10 20 raspon 10 ±38 10 ±308 10 ±4932 Za sva tri tipa u ukupnoj duljini rezerviran je još jedan bit za predznak. Kod tipova single i double dodatni bit u duljini mantise je tzv. sakriveni bit (engl. hidden bit), jer je prvi znak iza binarne točke uvijek 1, pa se ne mora pamtiti.

NM Pred. 07/08 47 Osnovne operacije u IEEE aritmetici Neka je {+,,, /} neka računska operacija nad x, y M(b, t,s). Želja: fl(x y) = (1 + ε) (x y), ε u, x, y M, x y < x max. Naravno, dobiveni rezultat je tada prikaziv, tj. vrijedi fl(x y) M(b, t,s). U protivnom, postoje rezervirani eksponenti koji označavaju posebno stanje (overflow, underflow, dijeljenje s 0 i nedozvoljenu operaciju kao što su 0/0, 1). Medutim, nije moguće realizirati takve operacije!

NM Pred. 07/08 48 Osnovne operacije u IEEE aritmetici UMJESTO TOGA: IEEE standard definira osnovne operacije {,,, }, njihovo ponašanja je opisano nekim modelom greške. Definicija 21 (STANDARDNI MODEL GREŠKE). Za {,,, }, : M(b, t, s) M(b, t, s) M(b, t, s) kažemo da je osnovna strojna računska operacija ako vrijedi x y = (x + y)(1 + ε ), ε < u x y = (x y)(1 + ε ), ε < u x y = (x y)(1 + ε ), ε < u x y = (x/y)(1 + ε ), ε < u Pri tome je Dom( ) skup svih onih parova strojnih brojeva x, y za koje je x y M(b, t, s). NEMA GARANCIJE ZA: fl(x y) = x y!! Ipak pisat ćemo fl(x y) x y.

NM Pred. 07/08 49 U povijesti numeričke matematike bilo je više pokušaja aksiomatskog uvodenja strojnih operacija i strojnih brojeva M (npr. Kulisch, U. et. al., Priest, D.,...). Do sada nije naden dovoljno jednostavan i operativan skup aksioma koji bi opisao algebarsku strukturu (M, ). Praksa je pokazala da strojene operacije treba interpretirati u okviru nekog (pogodnog) perturbacijskog modela. Primjer je standardni model greške x y = (x y)(1 + ε ). Primjer 22. Zbrajanje brojeva računalom nije asocijativno. Izračunajmo S 1 = 10000 X i=1 1 i, S 2 = 1X i=10000 1 i u tri točnosti. Dobiveni rezultati su: single double extended S 1 9.78761291503906250 9.78760603604434465 9.78760603604438230 S 2 9.78760433197021484 9.78760603604438550 9.78760603604438227 Primijetite da nešto točniji rezultat daje zbrajanje S 2. ZAŠTO?

NM Pred. 07/08 50 2.3 Analiza stabilnosti algoritma x P y Slika 3: Idealiziran prikaz algoritma

NM Pred. 07/08 51 1 2 3 4 5 x 10 14 4 3 2 1 0 5 0.985 0.99 0.995 1 1.005 1.01 1.015 Slika 4: Akumulacija grešaka zaokruživanja: (x 1) 7 ili x 7 7x 6 + 21x 5 35x 4 + 35x 3 21x 2 + 7x 1, za x [0.988, 1.012]

NM Pred. 07/08 52 U Primjeru 5, primjeru računanja integrala I n rekurzijom, napravili smo analizu greške uz pretpostavku da je greška napravljena samo u prvoj vrijednosti, a da su sve ostale strojne operacije dale egzaktne rezultate. To nije realističan scenario. Kako inkorporirati greške urokovane strojinim operacijama u analizu greške rezultata? Ilustrirajmo to na najjednostavnijem primjeru računanja funkcije f : R R. Neka je ỹ aproksimacija rješenja nekog problema y = f(x), izračunata nekim algoritmom u strojnoj aritmetici s preciznošću u. PITANJE: Koliko je izračunato rješenje daleko od pravog? U većini slučajeva bili bismo zadovoljni s malom relativnom greškom u rezultatu ali to nije uvijek moguće postići. E rel = y ỹ y u,

NM Pred. 07/08 53 RJEŠENJE: Obratna analiza greške zaokruživanja Prethodno pitanje nije dobro postavljeno u okviru modela aritmetike koji koristimo! U okviru standardnog perturbacijskog modela se pitamo: Koji podaci x + x daju u egzaktnoj aritmetici ỹ = f(x + x)? NAPOMENA: Generalno, može postojati mnogo takvih x, pa je zanimljiv samo onaj najmanji. Definicija 23. Za izračunati ỹ je x = sign(τ argmin ) min{ τ : ỹ = f(x + τ)} obratna greška (engl. backward error) u x. Kažemo da je x apsolutna obratna greška, dok je x x relativna obratna greška. Grešku y = y ỹ nazivano greškom unaprijed (engl. forward error).

NM Pred. 07/08 54 Proces ogradivanja (ili procjene) obratne greške izračunatog rješenja zove se obratna analiza greške. Motivacija i opravdanja za primjenu tog postupka ima nekoliko. x y = f(x) obratna greška x + x greška unaprijed ŷ = f(x + x) Slika 5: Greške unaprijed i obratna greška

NM Pred. 07/08 55 1. Analiza propagiranja grešaka zaokruživanja unaprijed, kroz sve operacije algoritma do konačnog rezultata, je ubitačan posao, koji najčešće daje vrlo pesimističke ocjene na točnost rezultata. (cf. komplicirane ocjene za grešku u idealiziranim analizama test primjera is prethodnog poglavlja) 2. Model aritmetike iz Def. 21 kaže da je puno lakše greške zaokruživanja i aritmetike računala interpretirati kao perturbacije početnih podataka, uz egzaktne operacije. 3. Velika prednost obratne analize grešaka je da se procjena ili ograda greške unaprijed prepušta teoriji perturbacija (npr. ocjenama koje dobivamo primjenom Taylorovog teorema), tj. radi se teorija perturbacije za svaki problem, a ne za svaki problem i svaku metodu. NAPOMENA: Ulazni podaci imaju polazne pogreške (zbog mjerenja, prijašnjeg računanja ili zbog grešaka zaokruživanja nastalih spremanjem ulaznih podataka u računalo), pa ih ionako treba uzeti u obzir. Teško je kritizirati izračunati rezultat, čija je obratna greška reda veličine grešaka u ulaznim podacima.

NM Pred. 07/08 56 NOVI POJAM: Obratna stabilnost algoritma Definicija 24 ( Opisna ). Za algoritam ćemo reći da je obratno stabilan (engl. backward stable), ako za proizvoljni x, izračunati ỹ ima malu obratnu grešku, tj. vrijedi ỹ = f(x + x) za neki mali x. Što znači mali, naravno, ovisi o kontekstu. Funkcija f ovdje ovisi i o algoritmu, ali se računa točno (bez grešaka zaokruživanja). Primjer 25. Prisjetimo se svojstva algoritma zbrajanja x y = (1+ε ) (x+y) = (1+ε x ) x+(1+ε y ) y, ε α u, α {, x, y}. ZAKLJUČAK: Zbrajanje je obratno stabilna operacija, jer izračunati rezultat x y interpretirmo kao egzaktni rezultat za (1 + ε x ) x i (1 + ε y ) y. POVJESNA OPASKA: Ova tehnika obratne analize grešaka nastala je 1950-ih godina, a njeni začetnici su J. W. Givens, C. Lanczos i, iznad svih, J. H. Wilkinson.

NM Pred. 07/08 57 OPREZ: Ne postoji univerzalni model! Primjer 26. Većina potprograma (u bibliotekama računala) za računanje funkcije cos ne poštuje obratnu stabilnost ỹ = cos(x + x) uz relativno mali x. Umjesto toga, zadovoljavaju slabiju relaciju ỹ + y = f(x + x), y ε y, x ν x, koja je poznata pod imenom miješana unaprijed-unazad greška (engl. mixed forward-backward error). ZADATAK: Pokušajte sami pronaći kad ne vrijedi obratna stabilnost i opravdati da onda vrijedi ovakva stabilnost.

NM Pred. 07/08 58 Num. stabilnost: SKORO TOČAN REZULTAT ZA SKORO TOČNE PODATKE x y = f(x) obratna greška x + x greška unaprijed y f(x + x) ŷ Slika 6: Mješovita greška Definicija 27 ( opisna ). Kažemo da je algoritam numerički stabilan ako je stabilan u miješanom unaprijed-unazad smislu. Odavde odmah slijedi da je obratno stabilan algoritam i numerički stabilan! Uočite da su ove definicije prvenstveno orijentirane na algoritme, tj. uključuju i greške zaokruživanja. Veza izmedu greške unaprijed i obratne greške je uvjetovanost problema.

NM Pred. 07/08 59 Geometrija problema i pojam stabilnosti algoritma Od primjera iz uvoda nismo komentirali još jedino Primjer 4! Je li numerička analiza slijepa primjena Taylorovog teorema? Promotrimo problem 0.1000 10 3 x 1 + 0.1000 10 1 x 2 = 0.1000 10 1 0.1000 10 1 x 1 + 0.1000 10 1 x 2 = 0.2000 10 1. (3) Matrično je to x = A 1 b, za x = x 1, A = x 2 0.0001 1 b = 1 1 1 2

NM Pred. 07/08 60 Primjer 28 (Stabilnost Problema 4). PROBLEM: Neka je Ax = b, za A R n n, det(a) 0 i b R n zadani vektor. Ulazni podaci su elementi od A i b (njih n 2 + n), a rezultat je vektor x R n. Znamo da ovaj problem ima jedinstveno rješenje, tj. imamo korektno definiran problem, a pripadna funkcija je R n2 +n R n. Da bismo pojednostavnili stvari, pretpostavimo da je A fiksna zadana matrica koja se ne mijenja (perturbira). Dozvoljene su perturbacije samo vektora b desne strane sustava. Pripadna funkcija ovog problema je f : R n R n, zadana s x = f(b) := A 1 b.

NM Pred. 07/08 61 Taylorov teorem f je linearna funkcija, pa je f (b) = f(b) = A 1. Uvjetovanost po normi 2 je κ(b) := b 2 A 1 2 A 1 b 2, i ovisi i o A i o b. Eliminirajmo ovisnost o b? Prvo uvrstimo Ax = b, što daje κ(b) = Ax 2 A 1 2 x 2, a onda, koristeći bijektivnu vezu x i b, tražimo najgori mogući broj uvjetovanosti po svim b, odnosno, po svim x max b R n b =0 κ(b) = max x R n x 0 Ax 2 x 2 A 1 2 = A 2 A 1 2,

NM Pred. 07/08 62 Je li to cijela priča? Desna stranu možemo interpretirati kao broj uvjetovanosti matrice A linearnog sustava, pa definiramo conda := A A 1. (4) Za naš problem vrijedi conda 2.6184. Je li to dobro uvjetovan problem? Govori li to što o njegovom ponašanju u strojnoj aritmetici?

NM Pred. 07/08 63 3 Rješavanje sustava linearnih jednadžbi CILJEVI: Prezentirati standardne algoritme za stabilno rješavanje sustava linearnih jednadžbi. Prikazati analizu stabilnosti (teoriju perturbacija) za sustav linearnih jednadžbi. Detaljno(ije) prikazati modernu povratnu analizu greške na ovom netrivijalnom primjeru. Uvesti osnovne matrične dekompozicije i ukazati na vezu izmedu strukture problema i stabilnosti algoritma za njegovo rješavanje. Ukazati na modele u kojima se problem rješavanja sustava pojavljuje i ukazati na vezu modela i izbora agoritma za rješavanje.

NM Pred. 07/08 64 Kriva operacija na krivom mjestu! Primjer 29 (Numerička stabilnost Problema 4 Gaußov algoritam). Zadan je linearni sustav 0.0001 x 1 + x 2 = 1 x 1 + x 2 = 2. Matrica sustava je regularna, pa postoji jedinstveno rješenje x 1 = 1. 000 1, x 2 = 0. 999 8. Rješavamo li taj sustav računalom koje ima 4 decimalne znamenke mantise i 2 znamenke eksponenta, onda njegovo rješenje ovisi o poretku jednadžbi. Sustav zapisan u takvom računalu pamti se kao 0.1000 10 3 x 1 + 0.1000 10 1 x 2 = 0.1000 10 1 0.1000 10 1 x 1 + 0.1000 10 1 x 2 = 0.2000 10 1. (5)

NM Pred. 07/08 65 Gaussove eliminacije Množenjem prve jednadžbe s 10 4 i oduzimanjem od druge, dobivamo: (0.1000 10 1 0.1000 10 5 ) x 2 = 0.2000 10 1 0.1000 10 5. (6) Da bi računalo moglo oduzeti odgovarajuće brojeve, manji eksponent mora postati jednak većem, a mantisa se denormalizira. Dobivamo 0.1000 10 1 = 0.0100 10 2 = 0.0010 10 3 = 0.0001 10 4 = 0.0000 1 10 5, ali za zadnju jedinicu nema mjesta u mantisi, pa je mantisa postala 0. Slično je i s desnom stranom. Zbog toga jednadžba (6) postaje 0.1000 10 5 x 2 = 0.1000 10 5, pa joj je rješenje x 2 = 0.1000 10 1.

NM Pred. 07/08 66 Dogodila se katastrofa Uvrštavanjem u prvu jednadžbu, dobivamo: 0.1000 10 3 x 1 = 0.1000 10 1 0.1000 10 1 + 0.1000 10 1 = 0.0000, pa je x 1 = 0, što ni u kom smislu nije dobra aproksimacija točnog rješenja x 1 = 1. 000 1.

NM Pred. 07/08 67 Drugi pokušaj: Točan rezultat 4 znamenke Promijenimo li poredak jednadžbi u (5), dobivamo 0.1000 10 1 x 1 + 0.1000 10 1 x 2 = 0.2000 10 1 0.1000 10 3 x 1 + 0.1000 10 1 x 2 = 0.1000 10 1. Množenjem prve jednadžbe s 10 4 i oduzimanjem od druge, dobivamo drugu jednadžbu oblika (0.1000 10 1 0.1000 10 3 ) x 2 = 0.1000 10 1 0.2000 10 3, (7) pa se (7) svede na 0.1000 10 1 x 2 = 0.1000 10 1, tj. x 2 = 0.1000 10 1. Uvrštavanjem u prvu jednadžbu dobivamo 0.1000 10 1 x 1 = 0.2000 10 1 0.1000 10 1 0.1000 10 1 = 0.1000 10 1, pa je x 1 = 0.1000 10 1.

NM Pred. 07/08 68 Pouke ovog primjera Slijepa teoretska analiza je opasna. Skup strojnih brojeva s strojnim operacijama može biti bitno različit od skupa realnih brojeva! Je li to razlog za strah? Prvi korak: Ponavljanje lineane algebre.

NM Pred. 07/08 69 DEFINICIJA: Matrična norma Zamijenimo li u definiciji 6 vektor x F n matricom A F m n, dobivamo matričnu normu. Definicija 30 (Matrična norma F = R, C). Matrična norma je svaka funkcija : F m n R koja zadovoljava sljedeća svojstva: 1. A 0, A F m n, a jednakost vrijedi ako i samo ako je A = 0, 2. αa = α A, α C, A F m n, 3. A + B A + B, A, B F m n. Za matričnu normu ćemo reći da je konzistentna ako vrijedi 4. AB A B kad god je matrični produkt AB definiran.

NM Pred. 07/08 70 Primjeri matričnih normi 1. matrična 1-norma, maksimalna stupčana norma A 1 = max j=1,...,n m a ij, 2. matrična 2-norma, spektralna norma A 2 = (ρ(a A)) 1/2 = σ max (A), i=1 3. matrična -norma, maksimalna retčana norma A = max i=1,...,m n a ij, pri čemu je ρ oznaka za spektralni radijus kvadratne matrice (maksimalna po apsolutnoj vrijednosti svojstvena vrijednost) j=1 ρ(b) = max{ λ det(b λi) = 0}, (B kvadratna!), (8)

NM Pred. 07/08 71 Unitarno invarijantne matrične norme Posebno su važne unitarno invarijantne norme, tj. one za koje vrijedi UAV = A, (9) za sve unitarne matrice U i V. Primjer 31. Za matričnu 2-normu vrijedi UAV 2 = (ρ(v A U UAV )) 1/2 = (ρ(v A AV )) 1/2. Budući da je V unitarna, A A i V A AV su unitarno ekvivalentne, pa je UAV 2 = (ρ(a A)) 1/2 = A 2.

NM Pred. 07/08 72 Ad hoc numerička analiza Za analizu sistema Ax = b promatramo A(x + x) = b + b. Definirajmo M = max x 0 Ax x i m = min x 0 Ax x, tada je b M x, i b m x. te M m = A A 1 =: κ(a). Za mješovitu grešku vrijedi x x κ(a) b b Relativna greška je bezdimenzijska veličina, tj. ne ovisi o skaliranju faktora.

NM Pred. 07/08 73 Heuristika za κ(a) Za svaku matricu A je κ(a) 1. za svaki skalar c je κ(ca) = κ(a) Ako je D = diag(α 1,, α n ) F n n dijagonalna matrica sa skalarima α 1,...,α n na dijagonali, onda je κ(d) = max i α i min i α i. Primjetimo, za D = 0.1 I R 100 100 je det(d) = 10 100, ali κ(d) = 1. det vs. κ: Takva matrica se dakle, obzirom na problem rješavanja sustava, ponaš više kao identiteta nego kao singularna matrica. Silična heuristika i za proizvoljni D, κ(d) 1.

NM Pred. 07/08 74 Važnost dobrog primjera (C. Moler) Promotrimo primjer 4.1 2.8, b = 9.7 6.6 4.1, x = 9.7 1. 0 Vrijed Ax = b i b 1 = 13.8 i x 1 = 1. Neka je sada b = 4.11, tada je x = 0.34 9.70 0.97 Posebno je b 1 b 1 = 0.0007246, ali x 1 x 1 = 1.63. Ad hoc analiza daje κ 1 (A) = A 1 A 1 1 2249.4. Direktnim računanjem slijedi κ 1 (A) = 2249.4..

NM Pred. 07/08 75 Kako se rješavaju sustavi u praksi? F = R, C Zadani su matrica A F m n i vektor b F m. Teorem Kronecker Capelli daje odgovor na pitanje kad linearni sustav ima rješenje x F n i kad je ono jedinstveno. Ax = b (10) Označimo A (1) := A, b (1) := b. U skračenoj notaciji (10) pišemo kao 2 6 4 a (1) 11 a (1) a (1) 21 a (1). 12 a (1) 22 a (1).. 1n b (1) 1 2n b (1) 2 a (1) n1 a (1) n2 a (1) nn b (1) n KC Tm: Sustav ima rješenja akko je rang proširene matrice sustava jednak rangu matrice sustava!. 3 7 5

NM Pred. 07/08 76 Zaboravite Cramerovo pravilo. Prisjetimo se, j-ta komponenta rješenja sustava je x j = deta j deta, pri čemu je matrica A j jednaka matrici A, osim što je j-ti stupac u A j zamijenjen desnom stranom b. Složenost ovog načina rješavanja je eksponencijalna (dokažite to!) i nikad se ne koristi kao metoda numeričkog rješavanja. Koristimo metode svodenja na trokutastu formu, tj. konstruiramo ekvivalentni sustav Rx = y, gdje je R trokutasta matrica (recimo, gornja), iz koje se lako, tzv. povratnom supstitucijom, nalazi rješenje. Polinomijalna složenost. Stabilnost?

NM Pred. 07/08 77 Osnovni korak Gaußovog algoritma Neka je a (1) 11 pomnoženu s 0, tada od i-te jednadžbe oduzimamo prvu jednadžbu m i1 = a(1) i1, i = 2,...,n. a (1) 11 Time smo dobili ekvivalentni linearni sustav a (1) 11 a (1) 12 a (1) 0 a (2) 22 a (2).. 1n b (1) 1 2n b (2) 2 0 a (2) n2 a (2) nn b (2) n...

NM Pred. 07/08 78 Postupak poništavanja možemo nastaviti s drugim stupcem matrice A (2), od dijagonale nadolje. Ako je a (2) 22 0, biramo faktore m i2 = a(2) i2, i = 3,...,n, a (2) (11) 22 tako da poništimo sve elemente drugog stupca ispod dijagonale. Ako su svi a (i) ii 0, tada dobivamo završni linearni sustav, ekvivalentan polaznom, a (1) 11 a (1) 12 a (1) a (2) 22 a (2) 1n b (1) 1 2n b (2) 2......... a (n) nn b (n) n.

NM Pred. 07/08 79 Povratna supstitucija Uz pretpostavku da je a (n) nn 0, ovaj se linearni sustav lako rješava povratnom supstitucijom x n = b(n) n, a (n) nn x i = 1 a (i) ii ( b (i) i n j=i+1 ) a (i) ij x j, i = n 1,...,1. Za analizu greške zaokruživanja ovaj postupak idealiziramo i pedantnije zapisujemo kao y = ( c k 1 i=1 a i b i )/b k.

NM Pred. 07/08 80 Akumulacija grešaka zaokruživanja (najava) Lema 32 (Dokaz u poglavlju o LR faktorizaciji). Neka je vektor y izračunat u aritmetici pomične točke sljedećim odsječkom kôda s := c; for i := 1 to k 1 do s := s a[i] b[i]; y := s b[k]; uz pretpostavku sekvencijalnog izvršavanja petlje. Izračunati ỹ onda zadovoljava ỹ b k (1 + θ k ) = c k 1 i=1 a i b i (1 + θ i ), pri čemu je θ i γ i := iu 1 iu.

NM Pred. 07/08 81 Kada i kako radi Gaußov algoritam? Primjer 33. Matrica linearnog sustava 0 1 1 1 1 2 je regularna (deta = 1), sustav ima jedinstveno rješenje x 1 = x 2 = 1, a ipak ga ne možemo riješiti Gaussovim eliminacijama ako ne mijenjamo poredak jednadžbi. Primjer 34. Sustav 0.0001 1 1 1 0 2 smo, s druge strane, mogli rješiti Gaußovim algoritmom. Koliko dobro?

NM Pred. 07/08 82 Pivotiranje u Gaußovom algoritmu Sustav iz Primjera 33 34 možemo rješiti točno zamjenom poretka jednadžbi. Strategija permutiranja jednaẓbi i zamjene varijabli se zove pivotiranje 1. Parcijalno pivotiranje: Minimizirajmo korekcije elemenata pri prijelazu s A (k) na A (k+1). Izabiremo što je moguće veći nazivnik (po apsolutnoj vrijednosti), a to je upravo pivotni element. Tada vrijedi m ik 1, i = k + 1,...,n. 2. Potpuno pivotiranje: U k-tom koraku, bira se maksimalni element u cijelom ostatku matrice A (k), a ne samo u k-tom stupcu. Ako je u k-tom koraku a (k) rs = max k i,j n a(k) ij, onda ćemo zamijeniti r-ti i k-ti redak, s-ti i k-ti stupac i početi korak eliminacije elemenata k-tog stupca.

NM Pred. 07/08 83 Malo teorije (najava) Definicija 35. Neka je A F n n. Definiramo A k, A(1 : k, 1 : k) F k k formulom (A k ) ij := ( A(1 : k, 1 : k) ) ij := A ij, i, j = 1,...,k, i nazivamo je vodeća glavna podmatrica. Teorem 36. Neka je A F n n matrica za koju je deta(1 : k, 1 : k) 0, za svaki k = 1,...,n. Tada je Gaußovom algoritmu a (i) ii 0, i = 1,...n. Dokaz. Dokaz će biti implicitno dan u poglavlju o LR-dekompoziciji matrice :).

NM Pred. 07/08 84 Napišimo sad algoritam koji korištenjem Gaussovih eliminacija rješava linearni sustav Ax = b. Sve transformacije provodimo u istim poljima A i b koja na početku sadrže ulazne podatke. Algoritam. 37 (Gaussove eliminacije s parcijalnim pivotiranjem). {Trokutasta redukcija} for k := 1 to n 1 do begin {Nadi maksimalni element u ostatku stupca} max elt := 0.0; ind max := k; for i := k to n do if abs(a[i, k]) > max elt then begin max elt := abs(a[i, k]); ind max := i; end;

NM Pred. 07/08 85 if max elt > 0.0 then begin if ind max <> k then {Zamijeni k-ti i ind max-ti redak} begin for j := k to n do begin temp := A[ind max, j]; A[ind max, j] := A[k, j]; A[k, j] := temp; end; temp := b[ind max]; b[ind max] := b[k]; b[k] := temp; end;

NM Pred. 07/08 86 for i := k + 1 to n do begin A[i, k] := A[i, k]/a[k, k]; for j := k + 1 to n do A[i, j] := A[i, j] A[i, k] A[k, j]; b[i] := b[i] A[i, k] b[k]; end; end else {Matrica je singularna, stani s algoritmom} begin error := true; exit; end; end;

NM Pred. 07/08 87 {Povratna supstitucija, rješenje x ostavi u b} b[n] := b[n]/a[n, n]; for i := n 1 downto 1 do begin for j := i + 1 to n do b[i] := b[i] A[i, j] b[j]; b[i] := b[i]/a[i, i]; end; error := false; Zadatak. 1. Pokušajte samostalno napisati algoritam koji koristi potpuno pivotiranje. Posebnu pažnju obratite na efikasno pamćenje zamjena varijabli koje su posljedica zamjena stupaca. Može li se isti princip efikasno primijeniti i za pamćenje zamjena redaka, tako da se potpuno izbjegnu eksplicitne zamjene elemenata u matrici A i vektoru b?

NM Pred. 07/08 88 Složenost Gaußovih eliminacija (# aritm. op.) 1. U k-tom koraku se obavlja: n k dijeljenja, (n k + 1)(n k) množenja i (n k + 1)(n k) oduzimanja. = # arit. op.: n k + 2(n k + 1)(n k) = 2(n k) 2 + 3(n k) Svodenje na trokutastu formu: n 1 k=1 [ 2(n k) 2 +3(n k) ] = n 1 k=1 ( 2k 2 +3k ) = 1 6 ( 4n 3 +3n 2 7n ). 2. Povratna supstitucija: n 2 operacija što se dobije kao: (n 1) n/2 množenja i (n 1) n/2 zbrajanja te n dijeljenja. 3. UKUPNO:OP(n) = 6( 1 4n 3 + 9n 2 7n ), što je približno 2n 3 /3, za malo veće n.

NM Pred. 07/08 89 OVA ANALIZA: Najjednostavnija mjera efikasnosti Gaußovih eliminacija. Ignorira pivotiranje, jer tamo nema vidljivih aritmetičkih operacija. Medutim, usporedivanje dva realna broja u floating point aritmetici se obično radi oduzimanjem ta dva broja i usporedbom rezultata s nulom! Zadatak. 2. Ako se u Gaussovim eliminacijama poništavaju ne samo elementi ispod dijagonale, nego i iznad nje, dobivamo tzv. Gauss Jordanovu metodu, koja linearni sustav svodi na ekvivalentni dijagonalni sustav. Gauss Jordanove eliminacije se danas rijetko koriste u praksi. Napišite taj algoritam i pokažite da je broj računskih operacija, ne brojeći usporedivanja, u tom slučaju jednak OP(n) = n 3 + n 2 n. To je skoro 50% više računskih operacija nego u običnim Gaussovim eliminacijama.

NM Pred. 07/08 90 3.1 Analiza algoritama za rješavanje sustava linearnih jednadžbi 1. Matrični prikaz osnovnog algoritma i algoritma s pivotiranjem. 2. Analiza stabilnosti algorit(a)ma. 3. Numerička naliza praktične realizacije algorit(a)ma. 4. Primjeri nestabilnosti algoritma. 5. Karakterizacija nekih klasa matrica za koje je algoritam stabilan. 6. Algoritam i faktorizacija Choleskog, te QR faktorizacija. 7. Ponašanje algoritma na nekim klasama strukturiranih matrica.

NM Pred. 07/08 91 LR faktorizacija matrice i linearni sustavi Neka je A dan u faktoriziranu u obliku, L donjetrokutasta s jedinicama na dijagonali, a R gornjetrokutasta, A = LR, (12) ČINJENICE: Vrijedi: detl = 1, pa je deta = detl detr = detr. Rješenje linearnog sustava (10) se svodi na dva rješavanja trokutastih sustava. Polazni sustav u faktoriziranoj formi ima oblik LRx = b.

NM Pred. 07/08 92 Označimo li y = Rx, dobivamo dva sustava Ly = b, Rx = y. Oba sustava lako se rješavaju: prvi supstitucijom unaprijed y 1 = b 1 y i = b i i 1 j=1 a drugi povratnom supstitucijom x n = y n r nn x i = 1 r ii ( y i n j=i+1 l ij y j, i = 2,...,n, r ij x j ), i = n 1,...,1. Faktorizacija matrice = čuva mnoge korisne informacije. RAZMISLITI: Gaußov algoritam s više desnih strana?

NM Pred. 07/08 93 LR = L R L 1 L = ŨU 1 LOWER = UPPER Za elemente l ij i r ij matrica L i R vrijedi a ij = min{i,j} k=1 l ik r kj, s tim da je l ii = 1. Dalje slijedi (n. b. za i = n, računamo samo r nn ): r 1j = a 1j, j = 1,...,n, l j1 = a j1 r 11, j = 2,...,n, za i = 2,...,n : r ij = a ij l ji = 1 r ii Xi 1 k=1 a ji l ik r kj, j = i,...,n, Xi 1 k=1 Algoritam je moguće provesti akko je r ii 0. l jk r ki «, j = i + 1,...,n.

NM Pred. 07/08 94 Teorem 38 (Najavljen na slide-u 83). Postoji jedinstvena LR faktorizacija matrice A ako i samo ako su vodeće glavne podmatrice A k := A(1 : k, 1 : k), k = 1,...,n 1, regularne. Ako je A k singularna za neki k, faktorizacija može postojati, ali nije jedinstvena. Dokaz. Dokaz se provodi indukcijom po dimenziji matrice. Pretpostavimo da su sve matrice A k regularne. Za k = 1, postoji jedinstvena LR faktorizacija A 1 = [1] [a 11 ]. Pretpostavimo da A k 1 ima jedinstvenu faktorizaciju A k 1 = L k 1 R k 1. Tražimo faktorizaciju matrice A k, gdje je A k = A k 1 c b a kk = L k 1 0 l 1 R k 1 r 0 r kk := L k R k.

NM Pred. 07/08 95 Da bi jednadžbe bile zadovoljene, mora vrijediti L k 1 r = b, Rk 1l = c, a kk = l r + r kk. Matrice L k 1 i R k 1 su regularne, pa postoji jedinstveno rješenje r, l, pa onda i jedinstveni r kk. Pokažimo obrat, uz pretpostavku da je A nesingularna i da postoji LR faktorizacija od A. Tada je A k = L k R k, za k = 1,...,n. Budući da je A regularna, vrijedi deta = detr = r 11 r 22 r nn 0. Odatle slijedi deta k = r 11 r 22 r kk 0, tj. sve matrice A k su regularne.

NM Pred. 07/08 96 Nejedinstvenost LR faktorizacije Primjer koji ilustrira da LR faktorizacija može postojati u slučaju singularne matrice A, ali da nije jedinstvena, je faktorizacija nul-matrice 0 0 0 0 = 1 0 l 1 0 0 0 0. S druge strane, matrica A = 0 1 1 1 nema LR faktorizaciju, iako je regularna.

NM Pred. 07/08 97 R ist kao i kod Gaußa u 3 koraka 1. Neka je A (k) matrica dobivena u k-tom koraku Gaussovih eliminacija, tada je u blok zapisu pri čemu je A (k) 11 A (k) = A(k) 11 A (k) 12 0 A (k) 22, trokutasta matrica reda k 1 (tj. dosad sredena matrica), dok su preostale dvije matrice, generalno, pune.

NM Pred. 07/08 98 2. Tada je u sljedećem koraku A (k+1) = M k A (k) := I k 1 1 m k+1,k 1 m k+2,k....... m n,k 1 A (k), gdje su m ik multiplikatori iz relacije (11). Matricu M k je invertibilna i njen inverz se dobiva promjenom predznaka poddijagonalnih elemenata (cf. LA1). Slijedi: M n 1 M n 2 M 1 A = A (n) := R. (13)

NM Pred. 07/08 99 3. S druge strane, možemo dobiti i sam A A = M1 1 M2 1 Mn 1 1 R 1 m 21 1 =.. m. 32...... m n1 m n2 m n,n 1 1 Iz jedinstvenosti LR faktorizacije slijedi da je R = R. R := L R.

NM Pred. 07/08 100 Za kraj Jedinstvenost LR faktorizacije, te veza s Gaussovim eliminacijama, upućuju na uvodenje pojma pivotiranja u LR faktorizaciju. Parcijalno pivotiranje u matričnom zapisu: PA = LR, pri čemu je P ij = δ iπ(j), gdje je δ Kroneckerov simbol, a π permutacija skupa {1,...,n}. P je regularna; vrijedi PP = P P = I; pa dobivamo PAx = LRx = Pb. Potpuno pivotiranje se zapisuje kao PAQ = LR, gdje su P i Q matrice permutacije. U ovom je slučaju rješavanje linearnog sustava malo kompliciranije (skicirajte kako).

NM Pred. 07/08 101 LR faktorizacija s parcijalnim pivotiranjem Teorem 39. Za svaku regularnu matricu A postoji jedna permutacijska matrica P za koju je PA = LR jedan LR rastav. Matricu P možemo tako izabrati da vrijedi L ij 1, i, j {1, 2,, n}.

NM Pred. 07/08 102 Dokaz.[Skica] U prvom stupcu matrice A postoji barem jedan element a j1 0. Inače bi matrica bila singularna. Neka je P 1 permutacija takva da je (P 1 A) 11 = a j1 0. Takoder, postoji matrica L 1, koja je istog oblika kao i matrica M 1 iz (13), takva da vrijedi A (1) = L 1 A (0) = L 1 P 1 A = a 1 11 0.. B (1) Ovaj postupak možemo nastaviti induktivno dok ne dobijemo gornjetrokutastu matricu R = L n 1 P n 1 L n 2 P n 2 L 1 P 1 A. uz konvenciju P n 1 = I, matrica Π k = P n 1 P n 2 P k+1 je matrica permutacija. Budući da je Π k 1 = Π k P k, to vrijedi R = L n 1 L n 2 L 1 P 0 A, 0

NM Pred. 07/08 103 uz konvenciju L k = Π k L k Π 1 k. Dokaz završavamo opservacijom da je L k donjetrokutast matrica tipa kao i M k iz (13), dakle L = L 1 n 1 L 1 n 2 L 1 1.

NM Pred. 07/08 104 Teorija smetnje (stabilnosti) Pretpostavimo da, umjesto sustava Ax = b, egzaktno rješavamo sustav (A + A)(x + x) = b, (14) tj. samo je matrica sustava malo perturbirana. Možemo pretpostaviti da je norma perturbacije mala prema normi polazne matrice A ε A. Zbog toga, umjesto x, dobili smo rješenje x + x. Raspišimo (14) i iskoristimo Ax = b. Izlazi A x + A (x + x) = 0. Množenjem slijeva s A 1 i sredivanjem dobivamo x = A 1 A (x + x).

NM Pred. 07/08 105 Uzimanjem norme lijeve i desne strane, a zatim ocjenjivanjem odozgo, dobivamo x A 1 A x + x ε A 1 A x + x ε κ(a) ( x + x ). Premještanjem na lijevu stranu svih pribrojnika koji sadrže x dobivamo (1 ε κ(a)) x ε κ(a) x. Ako je ε κ(a) < 1, a to znači i A A 1 < 1, onda je x ε κ(a) 1 ε κ(a) x, (15) što pokazuje da je pogreška u rješenju približno proporcionalna uvjetovanosti matrice A. Pretpostavimo sad da, umjesto sustava Ax = b, egzaktno rješavamo sustav tj. samo je desna strana sustava malo perturbirana. A(x + x) = b + b, (16)

NM Pred. 07/08 106 Pretpostavke Možemo pretpostaviti da je norma perturbacije mala prema normi vektora b b ε b. Zbog te pertutrbacije, umjesto x, dobili smo rješenje x + x. Raspišimo (16) i iskoristimo Ax = b. Izlazi A x = b. Množenjem slijeva s A 1 dobivamo x = A 1 b. Uzimanjem norme lijeve i desne strane, a zatim ocjenjivanjem odozgo, dobivamo x A 1 b ε A 1 b ε A 1 Ax ε A 1 A x ε κ(a) x.

NM Pred. 07/08 107 Pogreška je proporcionalna s κ(a). Ako se istovremeno perturbiraju A i b, možemo prethodna dva pojedinačna rezultata udružiti u sljedeći teorem. Teorem 40. Neka je Ax = b i (A + A) (x + x) = b + b, (17) gdje je A ε E, b ε f, i neka je ε A 1 E < 1. Tada za x 0 vrijedi x x ε 1 ε A 1 E ( A 1 f x + A 1 E ). (18) Ova ocjena se može dostići barem probližno, do prvog reda veličine u ε.

NM Pred. 07/08 108 Dokaz. Ocjena (18) slijedi ako od lijeve i desne strane (17) oduzmemo (10) i dobijemo A x = b A x A x. Množenjem s A 1 slijeva, a zatim korištenjem svojstva normi lako pokazujemo da vrijedi (18). Pokažite, ako je x = 0, onda se (18) svodi na apsolutni oblik x ε A 1 f 1 ε A 1 E. Ocjena se skoro dostiže za A = ε E x wv i b = ε f w, gdje je w = 1, A 1 w = A 1 A = max 1 x x 0 x, a v je vektor dualan vektoru x, tj. vrijedi v x = 1. Napomena. U prethodnim ocjenama koristili smo relativni oblik perturbacije, poput A ε A, a ovdje smo dozvolili da je norma perturbacije manja ili jednaka normi neke proizvoljne matrice pogreške. Slično vrijedi i za normu perturbacije vektora b. Ako u teorem 40 ipak uvrstimo prirodne ograde, tj. ako uzmemo E = A i f = b, onda se ocjena (18) može pojednostavniti.

NM Pred. 07/08 109 Uvjetovanosti po normi (Teorem 40, drugim riječima) κ E,f (A, x) := lim ε 0 sup { x ε x (A + A) (x + x) = b + b, } A ε E, b ε f. Primjer matrice na kojoj se ocjen dostiže kaže da Teorem 40 implicira: κ E,f (A, x) := A 1 f x + A 1 E. Za E = A, f = b, vrijedi κ(a) κ E,f (A, x) 2κ(A). Uvrštavanjem u (18) dobivamo poznatu slabiju ocjenu x x 2ε κ(a) 1 ε κ(a).

NM Pred. 07/08 110 Pojam reziduala (ocjena greške unazad) Teorem 41 (Rigal i Gaches). Greška unatrag po normi definira se kao η E,f (x + x) := min{ε (A + A) (x + x) = b + b, A ε E, b ε f }. Greška η E,f (x + x) može se dostići i jednaka je η E,f (x + x) = r E x + x + f, (19) pri čemu je r = b A (x + x).

NM Pred. 07/08 111 Dokaz. Dokaz relacije (19) se provodi u dva koraka. Prvi je pokazati da vrijedi η E,f (x + x) r E x + x + f, a drugi da postoji takva perturbacija da se ocjena dostigne. Premjestimo li članove lijeve i desne strane jednakosti (A + A) (x + x) = b + b, dobivamo r = A (x + x) b. Primjenom norme s obje strane te uvrštavanjem ocjena, dobivamo r = A (x + x) b A x + x + b ε( E x + x + f ). Dijeljenjem lijeve i desne strane s E x + x + f, dobivamo traženu relaciju. Ostaje još pokazati da se donja ograda može dostići.

NM Pred. 07/08 112 Donja se ograda dostiže za A min = b min = E x + x E x + x + f rz, f E x + x + f r, pri čemu je vektor z dualan vektoru x + x, tj. z (x + x) = 1. Definicija 42 (REZIDUAL). Vrijednost r := b A (x + x) zovemo (egzaktni) rezidual približnog rješenja x + x. Naravno, rezidual pravog rješenja x je nula. Intuitivno očekujemo da je vektor koji daje mali rezidual (recimo, po normi) ujedno i dobro približno rješenje sustava. Prethodni teorem precizno opravdava to očekivanje.

NM Pred. 07/08 113 O notaciji U numeričkoj analizi možemo greške analizirati po normi ili po komponentama. Neka notacija ima dvojako značenje. Interpretacija će ili biti jasna iz konteksta ili eksplicitno navedena. Definicija 43 ( po komponentama). Za realne matrice A i B u analizi po komponentama notacija A B znaći A ij B ij. Definicija 44 ( po normi). Za simetrične matrice A i B u analizi po normi notacija A B znaći x (B A)x 0, za svaki x. Definicija 45. Za normu : F n R kažemo da je apsolutna, ako vrijedi x = x, x F n. KONVENCIJA: U analizi po komponentama pretpostavljamo da je E = E, i f = f. Pri tome je E ij := E ij!

NM Pred. 07/08 114 Perturbacija po komponentama Teorem 46. Neka je Ax = b i (A + A) (x + x) = b + b, gdje je A εe i b εf. Takoder, pretpostavimo da je ε A 1 E < 1, gdje je neka apsolutna norma. Za x 0 vrijedi x x ε 1 ε A 1 E A 1 E x + A 1 f, (20) x a za -normu se ocjena može dostići barem približno, do prvog reda veličine u ε.

NM Pred. 07/08 115 Dokaz.[Dokaz teorema 46] Prvi dio dokaza sličan je dokazu teorema 40 i slijedi iz iste jednakosti A x = b A x A x. U ocjena se približno dostiže stavljanjem A = ε D 1 ED 2, b = εd 1 f, gdje su D 2 = diag(sign(x i )), D 1 = diag(ξ j ), ξ j = sign(a 1 ) kj i A 1 E x + A 1 f = ( A 1 E x + A 1 f) k, tj. k je indeks komponente na kojoj se dostiže -norma lijeve strane.

NM Pred. 07/08 116 O analizi po komponentam (za vašu informaciju) Ovakvim komponentnim perturbacijama od A i b, koje su ograničene s E, f i faktorom ε, odgovara broj uvjetovanosti, mjeren u -normi za x, definiran sa cond(a, x) := lim sup E,f ε 0 ( x ε x (A + A) (x + x) = b + b, ) A εe, b εf. Prethodni teorem pokazuje da je ta uvjetovanost u -normi jednaka cond E,f (A, x) = A 1 E x + A 1 f x. Ocjena (20) dostiže do prvog reda veličine u ε, tj. na limesu ε 0 ostaje upravo drugi faktor na desnoj strani (20).

NM Pred. 07/08 117 Ako za E i f uzmemo prirodne vrijednosti E = A i f = b, obično se koristi tzv. Skeelov broj uvjetovanosti cond(a, x) := A 1 A x x, koji se od cond A, b (A, x) razlikuje najviše za faktor 2. Dozvolimo li da se x mijenja, pa uzmemo maksimum medu svim takvim uvjetovanostima, dobivamo uvjetovanost cond(a) koja ovisi samo o A cond(a, x) A 1 A := cond(a) = κ BS, (A), s tim da se jednakost u -normi dostže za x = e := (1,...,1). Ovo je poznata Bauer Skeelova uvjetovanost matrice A, u ovom slučaju, generirana -normom. Ta komponentna uvjetovanost može biti generirana i bilo kojom drugom matričnom normom κ BS (A) := A 1 A. I teorem 41 može se napisati u komponentnom obliku ako definiramo komponentnu grešku unatrag s ω E,f (x+ x) := min{ε (A+ A)(x+ x) = b+ b, A εe, b εf}.

NM Pred. 07/08 118 Teorem 47 (Oettli i Prager). Greška unatrag po komponentama jednaka je ω E,f (x + x) := max i r i (E x + x + f ) i, (21) gdje je r = b A (x + x). Moguće dijeljenje s 0 interpretira se na sljedeći način: ξ/0 jednako je 0, ako je ξ = 0, a inače je. Dokaz. Ponovno, lako je dokazati da je desna strana relacije (21) donja ograda za ω E,f (x + x). Ta donja ograda se dostiže za A = D 1 ED 2, b = D 1 f, gdje su! D 1 = diag r i (E x + x + f ) i, D 2 = diag(sign(x + x) i ). U prethodnim teoremima i ocjenama nismo precizno navodili kojim prostorima pripadaju pojedini objekti, posebno A i b. Pažljivijim pogledom lako je ustanoviti da sve vrijedi i u realnom i u kompleksnom slučaju.

NM Pred. 07/08 119 Numerička analiza (1.) Trokutasti sustavi Neka je T trokutasta matrica (ako eksplicitno ne kažemo, može biti gornjetrokutasta ili donjetrokutasta). Naš cilj je analizirali točnost rješenja linearnog sustava Tx = b supstitucijom unaprijed/unazad, kad računanje provodimo u aritmetici pomične točke. Osnovni korak je x i = ( b i n j=i+1 Kojeg radi lakšeg indeksiranja u analizi idealiziramo kao Prijevara? y = ( c k 1 i=1 t ij x j )/t ii ; (22) a i b i )/b k. (23)

NM Pred. 07/08 120 Filozofija: sami biramo gdje se perturbira Stvarni izračunati rezultat rekurzije (22) su neki brojevi x i, komponente izračunatog rješenja x polaznog linearnog sustava T x = b. Što vrijedi za x? Možemo birati oblik sustava čije egzaktno rješenje je x. Uzmimo da perturbacije dozvoljavamo samo u matrici T, a vektor b je fiksan. Dakle, izračunati x interpretiramo kao egzaktno rješenje perturbiranog linearnog sustava (T + T) x = b i tražimo odgovor na pitanje: koliko veliku perturbaciju T treba napraviti u matrici T da, u egzaktnoj aritmetici kao rješenje sustava (s fiksnim b), dobijemo izračunati vektor x. Obratnom analizom tražimo ocjenu veličine te perturbacije T obzirom na T. Naravno, želimo što manji T, tj. što bolju ocjenu. Trenutno nas uopće ne zanima koliko je točna aproksimacija x, odnosno ocjena za x = x x. To prepuštamo analizi unaprijed za cijeli problem, koji može uključivati i prethodno računanje matrice T i vektora b.

NM Pred. 07/08 121 Algoritam povratne supstitucije Algoritam. 48. Neka je T gornje trokutasta. Rješenje sustava T x = b računamo izvršavanjem rekurzije x n = b(n) n x i = a (n) nn, ( b (i) i n j=i+1 ) /a a (i) ij x (i) j ii, i = n 1,...,1. u aritmetici pomične točke. Zapišite ovaj algoritam za vježbu u notaciji Leme 49 (slijedi)

NM Pred. 07/08 122 Lema 49 (Dokaz prijenajavljenogrezultata). Neka je vektor y izračunat u aritmetici pomične točke sljedećim odsječkom kôda s := c; for i := 1 to k 1 do s := s a[i] b[i]; y := s b[k]; uz pretpostavku sekvencijalnog izvršavanja petlje. Izračunati ỹ onda zadovoljava ỹ b k (1 + θ k ) = c k 1 i=1 a i b i (1 + θ i ), pri čemu je θ i γ i := iu 1 iu. Dokaz. Označimo s kapicom vrijednosti izračunate u aritmetici pomične točke. Stanja varijable s parametriziramo indeksom i petlje. Neka je s 0 stanje varijable s prije početka petlje, a s i izračunata vrijednost od s nakon i-tog prolaza kroz

NM Pred. 07/08 123 petlju. Na samom početku algoritma je s 0 = c, jer je c već spremljen, pa uzimamo da je egzaktno prikaziv, tj. nema greške zaokruživanja pri dodjeljivanju ili kopiranju vrijednosti. Analogno, vrijednosti a i, b i i b k, takoder, smatramo egzaktnim, jer su već spremljene u memoriji računala. Kako dalje? Za svaku pojedinu aritmetičku operaciju koristimo standardni model aritmetike računala. Podsjetimo, za izračunati rezultat operacije x y nad prikazivim, već spremljenim operandima x i y vrijedi x y = (1 + ε) (x y), ε u, (24) uz uvjet da je x y u dozvoljenom rasponu, gdje je u jedinična greška zaokruživanja u odabranoj točnosti računanja. Može se pokazati da za osnovnu grešku zaokruživanja, osim multiplikativnog prikaza greške, vrijedi i fl(x) = x, ε u, 1 + ε

NM Pred. 07/08 124 ako je x u dozvoljenom (prikazivom) rasponu brojeva. Posljedica toga je da vrijedi i sljedeća modifikacija (24) ako je x y u dozvoljenom rasponu. x y = x y, ε u, (25) 1 + ε U svim ovakvim analizama grešaka zaokruživanja, standardno pretpostavljamo da su svi medurezultati u dozvoljenom rasponu prikazivih brojeva, tako da za svaku pojedinu operaciju možemo koristiti jednu od prethodne dvije relacije, kako nam odgovara. U svakom koraku petlje imamo dvije operacije množenje i oduzimanje, i to tim redom, zbog prioriteta aritmetičkih operacija. Prema (24), za izračunate vrijednosti vrijedi s i = ( s i 1 a i b i ) = (1+δ i ) ( s i 1 (1+ε i ) a i b i ), i = 1,...,k 1, gdje ε i označava grešku prilikom množenja, a δ i grešku prilikom oduzimanja. Po pretpostavci modela, za te greške vrijedi δ i u, ε i u.

NM Pred. 07/08 125 Na kraju algoritma, umjesto y, posljednje dijeljenje izračuna ỹ i prema (25) vrijedi ỹ = s k 1 b k = s k 1 b k (1 + δ k ), uz δ k u. Još moramo pokupiti sve prethodne greške. Za izračunate vrijednosti s i varijable s nakon svakog od k 1 koraka petlje, supstitucijom unaprijed

NM Pred. 07/08 126 dobivamo s 1 = (1 + δ 1 ) (c (1 + ε 1 ) a 1 b 1 ) = (1 + δ 1 ) c (1 + δ 1 ) (1 + ε 1 ) a 1 b 1, s 2 = (1 + δ 2 ) ( s 1 (1 + ε 2 ) a 2 b 2 ) = (1 + δ 1 ) (1 + δ 2 ) c (1 + δ 1 ) (1 + δ 2 ) (1 + ε 1 ) a 1 b 1 (1 + δ 2 ) (1 + ε 2 ) a 2 b 2, = k 1 s k 1 = c (1 + δ i ) i=1 k 1 i=1 a i b i (1 + ε i ) (1 + δ j ). k 1 j=i Relaciju za ỹ možemo napisati u obliku ỹ b k (1 + δ k ) = s k 1.

NM Pred. 07/08 127 Kad uvrstimo s k 1 izlazi k 1 ỹ b k (1 + δ k ) = c (1 + δ i ) i=1 k 1 i=1 a i b i (1 + ε i ) k 1 (1 + δ j ). j=i Ova relacija, medutim, još uvijek nema željeni oblik. Faktor uz c odgovara nekoj relativnoj perturbaciji od c, a to ne želimo, jer se c ne perturbira. Kad podijelimo cijelu relaciju s faktorom uz c, dobivamo ỹ b k 1 + δ k k 1 (1 + δ i ) = c k 1 i=1 a i b i 1 + ε i, i 1 (1 + δ j ) i=1 j=1 što ima traženi oblik, jer sve perturbacione faktore možemo interpretirati kao perturbacije b i -ova, uključujući b k, dok ỹ, c i a i ostaju neperturbirani. Faktore uz b i napišemo u obliku (1 + θ i ), za i = 1,...,k. Vidimo da se svaki takav faktor (1 + θ i ) sastoji od točno i faktora oblika (1 + δ) ili 1/(1 + δ), uz

NM Pred. 07/08 128 δ u. Ostaje još samo pokazati da je tada θ i iu, i = 1,...,k. 1 iu Taj rezultat je direktna posljedica sljedeće leme. Usput, vidimo da smo dokaz mogli provesti i bez (25), koristeći samo (24). U literaturi postoji nekoliko standardnih načina za pojednostavljenje i ocjenu produkata. Relativno jednostavan i elegantan je sljedeći način. Lema 50. Neka je u > 0 realni broj i n N takav da vrijedi nu < 1. Ako je δ i u i p i { 1, 1}, za i = 1,...,n, onda vrijedi n (1 + δ i ) p i = 1 + θ n, (26) i=1 uz ocjenu θ n γ n := nu 1 nu.

NM Pred. 07/08 129 Dokaz. Dokaz se provodi indukcijom po n. Za n = 1, pretpostavimo da je u < 1. Ako je p 1 = 1, onda je θ 1 = δ 1, pa je θ 1 u u 1 u. Ako je p 1 = 1, onda je 1 + δ 1 1 u > 0. Iz 1 + θ 1 = 1/(1 + δ 1 ) je θ 1 = 1 1 + δ 1 1 = δ 1 1 + δ 1, odakle slijedi ocjena θ 1 = δ 1 1 + δ 1 u 1 u. Općenito, iz nu < 1 slijedi u < 1, pa je lijeva strana relacije (26) produkt pozitivnih faktora, a θ n je dobro definiran i vrijedi θ n > 1. Pretpostavimo da tvrdnja vrijedi za neki n N. Ako produkt n + 1 faktora

NM Pred. 07/08 130 napišemo u obliku 1 + θ n+1 = (1 + δ i ) p i = n+1 i=1 i=1 n (1 + δ i ) pi (1 + δ n+1 ) p n+1 = (1 + θ n )(1 + δ n+1 ) p n+1, onda možemo koristiti pretpostavku indukcije za θ n. Za p n+1 = 1 dobivamo θ n+1 = θ n + δ n+1 + θ n δ n+1 pa je (relacija trokuta) θ n+1 nu 1 nu + u + nu2 1 nu s tim da koristimo (n + 1)u < 1. Za p n+1 = 1 dobivamo = (n + 1)u 1 nu < (n + 1)u 1 (n + 1)u, θ n+1 = 1 + θ n 1 + δ n+1 1 = θ n δ n+1 1 + δ n+1,

NM Pred. 07/08 131 pa je θ n+1 θ n + δ n+1 1 + δ n+1. Iz pretpostavke indukcije i 1 + δ n+1 1 u > 0 slijedi θ n+1 nu 1 nu + u 1 u uz (n + 1)u < 1. Dakle, tvrdnja vrijedi i za n + 1. = (n + 1)u nu2 (n + 1)u < 1 (n + 1)u + nu2 1 (n + 1)u,

NM Pred. 07/08 132 Obratna greška za Tx = b Teorem 51. Rješenje x gornjetrokutastog sustava T x = b, izračunato u aritmetici pomične točke Algoritmom 48, možemo interpretirati kao egzaktno rješenje gornjetrokutastog sustava (T + T) x = b, gdje je t ij γ n i+1 t ii, za i = j, γ i j t ij, za i j. Dokaz. Tvrdnja izlazi iz prethodne dvije leme.

NM Pred. 07/08 133 Uz malo više truda imamo poopćenje leme?? Ako ne želimo striktno fiksirati poredak operacija u relaciji (23), onda: Lema 52. Izraz (23) za y y = ( c k 1 i=1 a i b i )/b k računamo u aritmetici pomične točke. Bez obzira na poredak operacija, tj. redosljed zbrajanja ili oduzimanja u sumi u zagradi, izračunati ỹ zadovoljava k 1 ỹ b k (1 + θ (0) k ) = c i=1 a i b i (1 + θ (i) k ), pri čemu je θ (i) k γ k za sve i. Ako je b k = 1, tako da nema dijeljenja, onda je θ (i) k γ k 1 za sve i.

NM Pred. 07/08 134 Slično i za druge posljedice leme?? Ako se koristi bilo koji poredak računanja u teoremu 51, dolazi samo do promjene konstanti u ogradama. Obično se koristi sljedeća uniformna ocjena. Teorem 53. Neka je T R n n regularna trokutasta matrica reda n. Ako rješenje sustava T x = b računamo u aritmetici pomičnog zareza supstitucijom (unaprijed ili unatrag), za izračunato rješenje x vrijedi (T + T) x = b, T γ n T. Dokaz. Iskoristimo vezu izmedu (23) i algoritma supstitucije unatrag ili unaprijed, zatim primijenimo lemu 52 i uočimo da je γ k γ n za sve komponente rješenja sustava.

NM Pred. 07/08 135 Numerička analiza (2.) LR faktorizacija Analiza grešaka zaokruživanja kod rješavanja lineranog sustava korištenjem LR faktorizacije koristi dvije stvari: analizu grešaka zaokruživanja izraza oblika (23) y = ( c i analizu rješenja trokutastog sustava. k 1 i=1 a i b i )/b k. Rekurzije koje koristimo za računanje elemenata r kj i l jk matrica R i L su r kj = a kj l ik = ( a ik k 1 i=1 k 1 j=1 l ki r ij, j = k,...,n, l ij r jk )/r kk, i = k + 1,...,n. (27) Primijetite da su to izrazi istog oblika koje smo analizirali u lemi 49.

NM Pred. 07/08 136 Želimo ocijeniti koliko se razlikuju elementi matrice A obzirom na izračunate elemente matrica L i R. Primjenimo li lemu 52 za r kj dobivamo r kj (1 + θ (0) k ) = a kj k 1 (1 + θ (i) k ) l ki r ij, pri čemu je θ (i) k γ k. Prebacivanjem sume s jedne strane na drugu, te uzimanjem apsolutnih vrijednosti dobivamo a kj r kj k 1 i=1 i=1 k 1 l ki r ij γ k i=1 l ki r ij. (28) Na sličan način, korištenjem leme 52, analiziramo i drugu relaciju u (27) l ik r kk (1 + θ (0) k ) = a ik k 1 (1 + θ (i) k ) l ij r jk. j=1

NM Pred. 07/08 137 Analiza po komponentama Ponovno premještanjem pribrojnika, pa uzimanjem apsolutnih vrijednosti, dobivamo k a ik l ij r jk γ k j=1 k l ij r jk. (29) Koje je značenje relacija (28) i (29)? Prvo, primijetite da za sve elemente gornjeg trokuta matrice A vrijedi relacija (28), a za elemente strogo donjeg trokuta relacija (29), pa zajedno pokrivaju čitav A. Napišemo li to matrično, za čitav A, onda (28) i (29) daju j=1 A L R γ n L R.

NM Pred. 07/08 138 O LR faktorizaciji u ar. pomičnog zareza Teorem 54. U aritmetici pomične točke računamo LR faktorizaciju zadane matrice A reda n. Pretpostavimo da je algoritam uspješno završio (bez pojave prevelikih ili premalih brojeva koji nisu prikazivi, i bez pokušaja dijeljenja s nulom). Izračunati trokutasti faktori L i R onda zadovoljavaju L R = A + A, A γ n L R. PRIMJENA NA SUSTAV Ax = b: Teorem 55. U aritmetici pomične točke rješavamo linearni sustav Ax = b s matricom A reda n. Neka su L i R izračunati trokutasti faktori u LR faktorizaciji matrice A, i neka je x izračunato rješenje sustava Ax = b. Onda postoji perturbacija A matrice A za koju vrijedi (A + A) x = b, A γ 3n L R.

NM Pred. 07/08 139 Dokaz.[Proraditi za vježbu] Greške u rješenju lineranog sustava interpretiramo kao egzaktno rješenje linearnog sustava s malo perturbiranom matricom. Raščlanimo li perturbacije u matrici A, možemo vidjeti da su one posljedica: LR faktorizacije matrice (tu perturbaciju označimo s A 1 ), rješavanja trokutastih linearnih sustava Ly = b i Rx = y. Iz prethodnog teorema, za LR faktorizaciju dobivamo ocjenu L R = A + A 1, A 1 γ n L R. (30) Prema teoremu 53, rješavanje trokutastog sustava u aritmetici pomične točke možemo interpretirati kao točno rješavanje malo perturbiranog sustava. Tj., za zadane T i b, izračunamo rješenje x, i onda postoji perturbacija T za koju vrijedi (T + T) x = b, T γ n T. Primijenimo to na dva trokutasta sustava koja moramo riješiti. Njihove matrice su izračunati faktori L, odnosno R, a izračunata rješenja supstitucijama unaprijed,

NM Pred. 07/08 140 odnosno unatrag, neka su ỹ i x. Dobivamo da postoje perturbacije L i R za koje vrijedi ( L + L) ỹ = b, L γ n L, ( R + R) x = ỹ, R γ n R. (31) Tada b možemo napisati kao b = ( L + L) ( R + R) x = ( L R + L R + L R + L R) x = (A + A 1 + L R + L R + L R) x := (A + A) x. Za ovako definiranu perturbaciju A, iz (30) i (31) dobivamo ocjenu A = A 1 + L R + L R + L R A 1 + L R + L R + L R (3γ n + γn) 2 L R.

NM Pred. 07/08 141 Na kraju, za konstantu na desnoj strani vrijedi 3γ n + γ 2 n = 3 = nu 1 nu + ( nu 1 nu ) 2 = 3nu(1 nu) + (nu)2 (1 nu) 2 3nu 2(nu)2 1 2nu + (nu) 2 3nu 1 2nu 3nu 1 3nu = γ 3n, uz uvjet da je 3nu < 1, pa dobivamo ocjenu iz tvrdnje teorema.

NM Pred. 07/08 142 Jesmo li objasnili ponašanje primjera Ax = b za A = ε 1? 1 1 Tm 54 i 55 stabilnost ne ovisi o veličini multiplikatora, već o veličini elemenata koji se javljaju u matrici L R. Da bismo lakše proučavali stabilnost Gaussovih eliminacija (ili ekvivalentno LR faktorizacije + rješenja sustava), koristit ćemo norme, pa proučavamo omjer U našem primjeru je L R A ε 1. L R. (32) A

NM Pred. 07/08 143 Faktor rasta Kod parcijalnog pivotiranja vrijedi da je l ij 1 za sve i j. Indukcijom po koracima, zbog m ik = l ik i a (k+1) ij = a (k) ij m ik a (k) kj, slijedi r ij 2 i 1 max k i a kj. Kod parcijalnog je pivotiranja L malen, a R ograden relativno obzirom na A. Tradicionalno, obratna analiza greške koristi faktor rasta (engl. growth factor) ρ n = max i,j,k a (k) ij. max i,j a ij U procesu Gaussovih eliminacija, očito vrijedi r ij = a(i) ij ρn max i,j a ij.

NM Pred. 07/08 144 Teorem 56 (Wilkinson). Neka je A regularna kvadratna matrica reda n i neka je x izračunato rješenje sustava Ax = b Gaussovim eliminacijama s parcijalnim pivotiranjem u aritmetici pomične točke. Tada vrijedi (A + A) x = b, A n 2 γ 3n ρ n A. Dokaz. Uz parcijalno pivotiranje za egzaktne faktore L i R vrijede ocjene L 1 i R ρ n, a faktor n 2 je posljedica prijelaza na. Striktno govoreći, za izračunate faktore vrijede malo slabije ocjene L 1 + u i R ρ n, gdje je ρ n izračunati faktor rasta, pa desnu stranu treba tako i shvatiti. Medutim, ideja cijele tvrdnje je da se analizira pravi faktor rasta ρ n. Pretpostavka da koristimo parcijalno pivotiranje u prethodnom teoremu, nije nužna. Naime, isto vrijedi i za Gaussove eliminacije bez pivotiranja, samo s malo drugačijom konstantom.

NM Pred. 07/08 145 Uzroci nestabilnosti (pivotni rast) Korištenjem relacija za poništavanje elemenata a (k+1) ij = a (k) ij m ik a (k) kj, za parcijalno pivotiranje vrijedi da je a (k+1) ij a (k) ij + a(k) kj 2 max a (k) i,j ij. Prethodna ocjena, zajedno s definicijom faktora rasta daje jednostavnu ocjenu da je za parcijalno pivotiranje ρ n 2 n 1.

NM Pred. 07/08 146 Wilkinsonov primjer Pivotni rast se može dostići za sve matrice oblika 1 1 1 1 1 1 1 1 1... 1... 1 1 1 1 1 1 1. Za te matrice, parcijalno pivotiranje nije potrebno, a eksponencijalni rast elemenata primjećuje se u posljednjem stupcu. Ove su matrice samo jedna od klasa matrica koje dostižu takav maksimalni rast. Kasnije su N. Higham i D. Higham okarakterizirali oblik svih realnih matrica kod kojih se dostiže maksimalan pivotni rast (kod parcijalnog pivotiranja).

NM Pred. 07/08 147 Garantiramo male reziduale, ne i mali x Za analizu nestabilnosti Gaußovog algoritma bez pivotiranje, prisjetimo se veze reziduala i povratne greške r = A (x + x) b. Neka je x = x + x tada je prethodna analiza dala r A x C(n)u x x x κ(a) C(n)u.

NM Pred. 07/08 148 Skoro paralelni stupci Za A = 0.780 0.563 x 1 = 0.913 0.659 x 2 0.217 0.254 su FL(rješenje ) i egzaktno rješenje dani s x = 0.443, x = 1.000 1.000, 1.000 dok je rezidual r = 0.000460. 0.000541 Unatoč malom r je greška x x veča od x-a.

NM Pred. 07/08 149 Za vašu informaciju Ipak, ovo je samo umjetno konstruirani primjer, a u praksi je takvih matrica izrazito malo, pa se parcijalno pivotiranje ponaša mnogo bolje. I to je primijetio Wilkinson. Danas se tim problemom bavi N. L. TREFETHEN, koji je POKAZAO DA JE STATISTIČKI, za razne vrste slučajnih matrica da je PIVOTNI RAST U SLUČAJU PARCIJALNOG PIVOTORANJA u prosjeku okon 2/3. Za POTPUNO PIVOTIRANJE, situacija je bitno drugačija. Oznažimo s ρ c n pivotni rast za potpuno pivotiranje. Početkom šezdesetih WILKINSON JE DOKAZAO: ρ c n n 1/2( 2 3 1/2 n 1/(n 1)) 1/2 cn 1/2 n (log n)/4, ali ta ograda nije dostižna. Ograda je bitno sporije rastuća funkcija nego što je to2 n 1, ali još uvijek može biti dosta velika. Dugo se smatralo da je ρ c n n, a tek je 1991. ta slutnja oborena na matrici reda13, kad je naden faktor rasta13.0205. Kasnije je pokazano da, na primjer, za matricu reda25, ρ c n može doseći 32.986341. Ako promatramo g(n) = sup A R n n ρ c n (A), poznati su još i sljedeći rezultati n 2 3 4 5 g(n) 2 2.25 4 < 5.005.

NM Pred. 07/08 150 Posebni tipovi matrica Za posebne tipove matrica, katkad je moguće reći nešto više o ponašanju Gaussovih eliminacija, naročito o potrebi za pivotiranjem i veličini faktora rasta. Definicija 57 (DIJAGONALNO DOMINANTNE MATRICE). Za kompleksnu matricu A C n n reći ćemo da je dijagonalno dominantna po recima ako vrijedi n j=1 i =j a ij a ii, i = 1,...,n. Ako vrijedi stroga nejednakost za sve i = 1,...,n, onda kažemo da je A strogo dijagonalno dominantna po recima. Matrica A je (strogo) dijagonalno dominantna po stupcima, ako je A (strogo) dijagonalno dominantna po recima.

NM Pred. 07/08 151 Kada je Gauß savršeno stabilan? Teorem 58 (WILKINSON). Neka je A C n n regularna matrica. Ako je A dijagonalno dominantna po recima ili stupcima, tada A ima LR faktorizaciju (bez pivotiranja!) i za faktor rasta vrijedi ρ n 2. Ako je A dijagonalno dominantna po stupcima, tada je l ij 1 za sve i, j u LR faktorizaciji bez pivotiranja (pa parcijalno pivotiranje ne radi nikakve zamjene redaka).

NM Pred. 07/08 152 Dokaz Teorema 58 Dokaz. Prvo uočimo da pretpostavka regularnosti matrice A osigurava da dijagonalni elementi nisu nula, tj. vrijedi a ii 0 za sve i. U suprotnom, da je a ii = 0 za neki i, zbog dijagonalne dominantnosti i svi ostali elementi u tom retku ili stupcu morali bi biti jednaki nula, pa bi A očito bila singularna, što je protivno pretpostavci. Pretpostavimo da je matrica A dijagonalno dominantna po stupcima. Dokaz za dijagonalno dominantne matrice po recima bit će analogan. Na početku je a 11 0, pa sigurno možemo napraviti prvi korak eliminacija (bez pivotiranja) i dobiti matricu A (2) oblika A (2) = r 11 r 1 0 S.

NM Pred. 07/08 153 Prvi redak u A (2) je isti kao u A, a eliminacije nastavljamo na matrici S. Očito je da S mora biti regularna, na primjer, preko determinanti, zbog r 11 = a 11 i det(a) = r 11 det(s) 0. Moramo još pokazati da je matrica S ponovno dijagonalno dominantna po stupcima. Za j = 2,...,n vrijedi nx i=2 i j a (2) ij = n X i=2 i j a ij a i1 a 1 11 a 1j nx i=2 i j a ij + a 1 11 a 1j (koristimo dijagonalnu dominantnost u obje sume) ( a jj a 1j ) + a 1 11 a 1j ( a 11 a j1 ) nx a i1 i=2 i j = a jj a 1j a 1 11 a j1 (koristimo a b a b ) a jj a 1j a 1 11 a j1 = a (2) jj, što pokazuje da je i A (2) dijagonalno dominantna po stupcima. Dakle, indukcijom zaljučujemo da je u svakom koraku algoritma matrica dijagonalno dominantna po stupcima. To znači da je u svakom stupcu maksimalni element na dijagonali, pa su pripadni l ij 1.

NM Pred. 07/08 154 Faktor rasta za d.d. matrice (dokaz Teorema 58) Dokažimo sad tvrdnju o faktoru rasta. Neka je A dijagonalno dominantna po stupcima i A (k) matrica dobivena nakon k 1 koraka eliminacija. Dokaz za dijagonalno dominantne matrice po recima bit će analogan. Tvrdimo da je max k i,j n a(k) ij 2 max 1 i,j n a ij.

NM Pred. 07/08 155 U prvom koraku, za k = 2, vrijedi nx i=2 a (2) ij = n X i=2 i j nx i=2 i j nx i=2 i j nx i=1 i j a ij a i1 a 1 11 a 1j nx i=2 i j a ij + a 1 11 a 1j ( a 11 a j1 ) a ij + a 1j a 1 11 a 1j a j1 a ij a 1 11 a 1j a j1 a ij + a 1 11 a 1j nx a ij. i=1 nx i=2 i j a i1 Analogno, u matrici A (k) mora vrijediti (dokaz indukcijom) da je n i=k n a (k) ij a ij. i=1

NM Pred. 07/08 156 Sada imamo max k i,j n a(k) ij max k j n n i=k a (k) ij max k j n n a ij i=1 (koristimo dijagonalnu dominantnost po stupcima) 2 max k j n a jj 2 max 1 j n a jj (koristimo dijagonalnu dominantnost po stupcima) 2 max 1 i,j n a ij, što pokazuje da faktor rasta ne prelazi 2.

NM Pred. 07/08 157 Vrpčaste matrice Posebnoj vrsti matrica (vrpčastih) pripadaju i trodijagonalne matrice oblika A = d 1 e 1 c 2 d 2 e 2......... c n 1 d n 1 e n 1. c n d n Pretpostavimo da postoji LR faktorizacija bez pivotiranja za matricu A. (NAPOMENA: Diskusija iz ovog odjeljka vrijedi i za matrice koje imaju više od tri dijagonale. To je klasa vrpčastih matrica. Reformulirajte odgovarajuće rezultate za vježbu!)

NM Pred. 07/08 158 Tada nije teško pokazati da su matrice L i R oblika 1 r 1 e 1 l 2 1 r 2 e 2 L =......, R = l n 1 1 l n 1...... r n 1 e n 1 r n (33) Primijetite da je dijagonala iznad glavne jednaka u matricama A i R. Ostale elemente matrica L i R računamo po sljedećim rekurzijama r 1 = d 1, za i = 2,...,n : l i = c i /r i 1, r i = d i l i e i 1..

NM Pred. 07/08 159 Računamo li te vrijednosti u aritmetici pomične točke, onda za izračunate vrijednosti vrijedi (1 + ε i ) l i = c i r i 1, ε i u, (1 + θ i ) r i = d i l i e i 1 (1 + δ i ), θ i, δ i u. Premještanjem pribrojnika, te korištenjem apsolutne vrijednosti dobivamo c i l i r i 1 u l i r i 1, d i l i e i 1 r i u ( l i e i 1 + r i ). Ako ove relacije napišemo matrično, onda je A = L R + A, A u L R. (34) Rješavanje linearnog sustava Ax = b, nakon LR faktorizacije napravi još dodatnu grešku prilikom supstitucije unaprijed i unatrag. Na sličan način kao kod rješavanja trokutastog sustava, nije teško pokazati da za tako izračunato rješenje

NM Pred. 07/08 160 x vrijedi ( L+ L) ( R+ R) x = b, L u L, R (2u+u 2 ) R. (35) Kombiniranjem (34) i (35), dobivamo da je ukupna greška (A + A) x = b, A (4u + 3u 2 + u 3 ) L R. Naravno, ova ocjena obratne greške vrijedi za bilo koju nesingularnu trodijagonalnu matricu za koju postoji LR faktorizacija bez pivotiranja. Koje su to matrice?

NM Pred. 07/08 161 Struktura A uvjetuje povečanu točnost rješenja Teorem 59. Neka je A R n n nesingularna trodijagonalna matrica. Ako vrijedi bilo koji od uvjeta (a) (d), onda A ima LR faktorizaciju i vrijedi L R = LR : (a) A je simetrična pozitivno definitna, (b) A je totalno nenegativna, ili, ekvivalentno, L ij 0 i R ij 0, (c) A je M -matrica, ili, ekvivalentno, L i R imaju pozitivne dijagonalne elemente i nepozitivne vandijagonalne elemente, (d) A je po predznacima ekvivalentna matrici B koja je tipa (a) (c), tj. A se može prikazati u obliku A = D 1 BD 2, gdje su D 1 = D 2 = I.

NM Pred. 07/08 162 Dokaz Teorema 59 Dokaz. Dokažimo samo tvrdnju (a). Za simetričnu pozitivno definitnu matricu, možemo LR faktorizaciju napisati u obliku A = LDL. Kako se to pokazuje? U običnoj LR faktorizaciji, ako postoji, (a postoji, što se lako dokazuje, jer je dijagonala uvijek pozitivna), faktor R se rastavi na produkt R = DM dijagonalne matrice D i gornjetrokutaste matrice M s jedinicama na dijagonali. Dobivamo A = LDM, M donjetrokutasta, regularna. Zbog simetrije vrijedi A = A = MDL,

NM Pred. 07/08 163 pa je LDM = MDL. Množenjem slijeva s L 1 i zdesna s L dobivamo DM L = L 1 MD. Primijetimo da na lijevoj strani imamo produkt gornjetrokutastih matrica, a na desnoj strani donjetrokutastih, pa zaključujemo da su ti produkti dijagonalne matrice. Uočimo još da su te dijagonalne matrice baš jednake D (jer i M i L imaju na dijagonali jedinice), pa imamo L 1 MD = D = MD = LD = M = L. I ne samo to, D mora imati pozitivne elemente, jer bi inače postojao vektor x takav da je (Ax, x) 0, tj. A ne bi bila pozitivno definitna. Sada možemo, uz malo razmišljanja i raspisivanja, zaključiti da je L R = L D L = LDL = LR.

Pažljivo pokažite da je srednja jednakost korektna! NM Pred. 07/08 164

NM Pred. 07/08 165 Dijagonalno dominantne matrice Za dijagonalno dominantne trodijagonalne matrice: ne mora biti L R jednako LR = A, ali ne može biti ni mnogo veći. Teorem 60. Neka je A R n n nesingularna trodijagonalna matrica, dijagonalno dominantna po recima ili stupcima, i neka A ima LR faktorizaciju A = LR. Tada vrijedi L R 3 A.

NM Pred. 07/08 166 Dokaz teorema 60 Dokaz. Usporedujemo elemente matrica L R i A. Za elemente na sporednim dijagonalama, direktnim množenjem iz (33) dobivamo da vrijedi ( L R ) ij = a ij, za i j = 1. Ostalo je još pokazati što se zbiva s dijagonalnim elementima. Dovoljno je pokazati da vrijedi l i e i 1 + r i 3 d i. U nastavku dokaza pretpostavljamo da je A dijagonalno dominantna po recima (za dijagonalnu dominantnost po stupcima dokaz ide slično). Prvo tvrdimo da je e i r i,

NM Pred. 07/08 167 za sve indekse i. Dokaz se provodi indukcijom. Za i = 1 to je očito iz dijagonalne dominantnosti. Pretpostavimo da to vrijedi za i 1, a zatim iz (??) imamo redom r i d i l i e i 1 = d i c i r i 1 e i 1 d i c i e i. Na sličan način pokazuje se da je r i d i + c i. Konačno, dobivamo l i e i 1 + r i = c i e i 1 r i 1 + r i c i + r i c i + ( d i + c i ) 3 d i. Korištenjem prethodna dva teorema, dobivamo i ocjenu obratne greške za izračunato rješenje ovakvih specijalnih trodijagonalnih sustava.

NM Pred. 07/08 168 Teorem 61. Ako je zadana nesingularna trodijagonalna matrica A tipa (a) (d) iz teorema 59 i ako je jedinična greška zaokruživanja u dovoljno mala, tada Gaussove eliminacije za rješavanje sustava Ax = b uspješno završavaju i nalaze rješenje x za koje vrijedi (A + A) x = b, A 4u + 3u2 + u 3 1 u A. Isti zaključak vrijedi i za A dijagonalno dominantnu po recima ili stupcima, ali bez ograde na u, s tim da se ocjena množi faktorom 3. Dokaz. Za matricu A tipa (a) (c), pretpostavka da je u dovoljno mali osigurava pozitivnost izračunatih dijagonalnih elemenata r i matrice R, jer r i r i > 0, kad u 0. Lako se vidi da r i > 0 povlači da je L R = L R i za izračunate faktore. Sličan argument vrijedi i ako je A tipa (d). Zadnji dio tvrdnje za dijagonalno dominantne matrice A je trivijalan.

NM Pred. 07/08 169 Napomene Posljedica ovog teorema je da pivotiranje nije potrebno za tipove matrica na koje se odnosi tvrdnja. Tu činjenicu ćemo kasnije više puta iskoristiti u raznim primjenama (na primjer, kod kubične spline interpolacije). Čak i više od toga, korištenje pivotiranja može pokvariti i poništiti ove rezultate o stabilnosti. S druge strane, u postupku eliminacija mogu se pojaviti i veliki multiplikatori, ali oni nemaju negativnih posljedica na stabilnost. Na primjer, uzmimo M -matricu A = 2 6 4 2 2 0 ε 2 2 0 0 1 3 3 7 5 = 2 6 4 1 0 0 (ε 2)/2 1 0 0 1/ε 1 3 2 7 6 5 4 2 2 0 0 ε 0 0 0 3 3 7 5 = LR, gdje je 0 < ε < 2. Multiplikator l 32 nije ograničen kad ε 0, i na limesu dobivamo singularnu matricu A koja nema LR faktorizaciju (bez pivotiranja). Medutim, za ε > 0 vrijedi L R = A i Gaussove eliminacije (bez pivotiranja) su vrlo stabilne, upravo onako kao što teorem 61 kaže da moraju biti.

NM Pred. 07/08 170 3.2 Faktorizacija Choleskog Jedno od najvažnijih dodatnih svojstava koje jedan sistem linarnih jednadžbi Ax = b može imati je pozitivna definitnost matrice A. Definicija 62 (SPD matrice). Neka je A F n n. Matrica A je pozitivno definitna ako je 1. (hermitski) simetrična A = A 2. x Ax > 0, za svaki x 0. Ukoloko vrijedi samo x Ax 0, x F n, kažemo da je matrica pozitivno semidefinitna

NM Pred. 07/08 171 Karakterizacija SPD matrica Teorem 63. Neka je A F n n SPD, tada vrijedi 1. A je regularna matrica 2. Sve minore A(1 : k, 1 : k) su SPD, pa je uvijek deta(1 : k, 1 : k) > 0. 3. a ii > 0, za sve i {1, 2,, n} 4. a ij < a ii a jj 1 2 (a ii + a jj ) za i j. Tako je ujedno max ij a ij = max i a ii. 5. Ako je X F n n regularna matrica, onda je i matrica X AX SPD. 6. Ako je A F n n blok dijagonalna matrica oblika A = diag(a a, A 2 ), onda su A 1, A 2 SPD. Dokaz. Dokaz ostavljamao za vježbu. U koraku (3) primjenjujete nejednakost Schwarz-Cauchy-Bunjakovskog. Kada je ta nejednakost jednakost?

NM Pred. 07/08 172 Faktorizacija Choleskog Iz prethodnog teorema zaključujemo da za svaku SPD matricu postoji LR faktorizacija i da je R ii > 0, za sve i. NEKONSTRUKTIVNI DOKAZ: Neka je dana dijagonalna matrica D = diag(r 11,, R nn ), i neka je D = diag( R11,, R nn ). Postojanje LR rastava daje A = L R = L D D L = LL. Prikaz SPD matrice A = LL nazivamo faktorizacija Choleskog. Alternativo se i prikaz A = R R, uz R := L naziva faktorizacijom Choleskog.

NM Pred. 07/08 173 Konstruktivni dokaz faktorizacije Choleskog Teorem 64. Neka je A R n n simetrična pozitivno definitna matrica. Onda postoji jedinstvena gornja trokutasta matrica R R n n s pozitivnim dijagonalnim elementima takva da je A = R R. Drugim riječima, A ima jedinstvenu faktorizaciju Choleskog. Napomena.[TEST POZITIVNE DEFINITNOSTI] Ovaj konstruktivni dokaz daje ujedno i numerički test pozitivne definitnosti. Simetrična matrica A je pozitivno definitna akko ima faktorizaciju Choleskog. Tj. da se u provodenju konstruktivnog postupka iz ovog dokaza u aritmetici pomične točke ne pojavi pivot koji je negativan ili nula.

NM Pred. 07/08 174 Dokaz.[KONSTRUKTIVNI DOKAZ FAKTORIZACIJA CHOLESKOG] Dokaz se provodi indukcijom po redu n matrice. Za n = 1, A = [a 11 ] je sigurno simetrična, a pozitivna definitnost je ekvivalentna s a 11 > 0. Tada je R = [ a 11 ] dobro definirana i očito vrijedi A = [ a 11 ] [ a 11 ] = R R. Pretpostavimo da tvrdnja vrijedi za matrice reda n 1. Neka je A bilo koja simetrična pozitivno definitna matrica reda n. Onda je vodeća glavna podmatrica A n 1 = A(1 : n 1, 1 : n 1) pozitivno definitna, pa ima jedinstvenu faktorizaciju Choleskog A n 1 = R n 1R n 1. Tražimo faktorizaciju matrice A u blok zapisu oblika A = A n 1 c c a nn = R n 1 0 r r nn R n 1 r 0 r nn := R R. Množenjem faktorizacije dobivamo jednadžbe koje moraju zadovoljavati nepoznati (36)

NM Pred. 07/08 175 vektor r R n 1 i skalar r nn R n 1r = c, r r + r 2 nn = a nn. Matrica R n 1 je regularna, pa postoji jedinstveno rješenje r prvog linearnog sustava. Iz druge jednadžbe slijedi r 2 nn = a nn r r. (37) Da bismo dobili jedinstveno realno pozitivno rješenje za r nn, treba pokazati da je lijeva ili desna strana pozitivna. Primjenom Binet Cauchyjevog teorema u (36) dobivamo 0 < det(a) = det(r ) det(r) = (det(r)) 2 = (det(r n 1 ) r nn ) 2 = (det(r n 1 )) 2 r 2 nn, odakle, zbog regularnosti matrice R n 1, slijedi r 2 nn > 0, pa (37) daje jedinstveni realni r nn > 0. To ujedno dokazuje da R ima pozitivnu dijagonalu.

NM Pred. 07/08 176 Algoritam. 65 (Algoritam Choleskog). ULAZ: Matrica A R n n. IZLAZ: Faktor Coleskog R for j = 1..n do for i = 1..j 1 do end for end for r ij = ( a ij r jj = ( a jj j 1 k=1 i 1 k=1 r ki r kj ) /rii rkj 2 ) 1/2

NM Pred. 07/08 177 Napomena. Složenost ovog algoritma opet mjerimo brojem aritmetičkih operacija (flop-ova) u floating-point aritmetici. Prebrajanjem dobivamo da približno (asimptotski proporcionalno) vrijedi OP(n) 1 3 n3, s tim da pišemo samo vodeći član, a ignoriraramo sve ostale članove nižeg reda. Vidimo da je složenost ili cijena faktorizacije Choleskog približno polovina složenosti (cijene) LR faktorizacije. To je dodatna motivacija za korištenje ove faktorizacije za simetrične pozitivno definitne matrice.

NM Pred. 07/08 178 Analiza stabilnosti faktorizacije Choleskog Pretpostavljamo da u aritmetici pomične točke vrijedi sqrt(x) = (1 + ε) x, ε < u. Tada vrijedi (dokaz po analogiji za vježbu) Lema 66. Izraz y = ( c k 1 i=1 a i b i ) 1/2 računamo u aritmetici pomičnog zareza. Izračunati ỹ zadovoljava ỹ 2 (1 + θ k+1 ) = c k 1 i=1 a i b i (1 + θ (i) k 1 ), pri čemu je θ (i) k 1 γ k 1, za i = 1,...,k 1, i θ k+1 γ k+1.

NM Pred. 07/08 179 Osnovi teoremi o numerici fakt. Choleskog Teorem 67. Neka je A R n n simetrična pozitivno definitna matrica. Pretpostavimo da algoritam za nalaženje faktorizacije Choleskog završava bez greške u aritmetici računala. Tako izračunati faktor R zadovoljava R T R = A + A, A γ n+1 R T R. Za sustav Ax = R Rx = b (analogni dokazi kao teorema 54 i 55) Teorem 68. Neka je A R n n simetrična pozitivno definitna matrica i neka je x izračunato rješenje linearnog sustava Ax = b u aritmetici pomičnog zareza, na bazi faktorizacije Choleskog matrice A i pripadnih supstitucija unaprijed i unatrag. Onda je (A + A) x = b, A γ 3n+1 R T R.

NM Pred. 07/08 180 Ocjena e R e R A Iz definicije 2 norme slijedi R R 2 = R 2 2 n R 2 2 = n R R 2 = n A 2. Dakle slijedi za R R = A + A ocjena R R 2 n A + A 2 n( A 2 + DeltaA 2 ) n( A 2 + γ n R R 2 ) n(1 nγ n+1 ) 1 A 2. Uz pretpostavku nγ n+1 < 1. FAKTORIZACIJA CHOLESKOG IMA SAVRŠENU STABILNOST PO NORMI!

NM Pred. 07/08 181 Struktura SPD Usporedimo s primjerom A = ε 1 1 1? Tu je vrijedilo L R 2 A 2 ε 1.

NM Pred. 07/08 182 Struktura skupa SPD matrica nam daje Teorem 69. Neka je (A + F) x = b, gdje je A SPD i neka je max ij F ij Aii A jj ε. Tada postoji simetrična matrica A, takva da je (A + A) x = b. Pri tome je A ij Aii A jj ε, max i A ii A ii (2n 1)ε. Napomena. Zaključak ove analize se može sažeti na izjavu: Pozitivno definitne sustave možemo riješiti s pogreškom koja je ekvivalentna malim promjenama koeficijenata u matrici sustava.

10 10 Residual NM Pred. 07/08 183 Oprez! Primjer 70. Hilbertova matrica je dana formulom (H n ) ij = 1 i+j 1, i, j = 1,, n. Ova matrica je pozitivno definitna. Ipak već za n = 14, algoritam Choleskog u dvostrukoj točnosti puca. (Uvjetovanost?) Rješenje. Algoritam Choleskog je sličan Gaußovom algoritmu bez pivoritanja. Štoviše u ovom primjeru za n = 14,..., 20 rješenje dobivamo korištenjem Gaußa (formule ne sadrže drugi korjen). SJETIMO SE:Gauß vraća male reziduale, ali ne i male greške. Vidi sliku! 10 5 Error 10 0 10 5 10 10 10 15 10 20 0 2 4 6 8 10 12 14 16 18

NM Pred. 07/08 184 Mali reziduali i velike greške 10 10 Residual Error 10 5 10 0 10 5 10 10 10 15 10 20 0 2 4 6 8 10 12 14 16 18 Slika 7: Za SPD matricu A je ex x x uc(n)κ(a). Budući da κ(h n ) jako brzo eksplodira, Choleski puca zbog negativnih pivota. Ipak, LR algoritam bez pivotiranja uredno daje rješenja koje poštuje teoriju. Jesmo li to očekivali?

NM Pred. 07/08 185 4 Aproksimacija i interpolacija TEME: Uvod u aproksimaciju. Taylorov polinom. Interpolacija. Lagrangeov interpolacijski polinom. Ocjena pogreške. Podijeljene i konačne razlike. Newtonov oblik interpolacijskog polinoma. Numeričko deriviranje. Hermitska interpolacija. Optimalni izbor čvorova interpolacije. Čebiševljevi polinomi. Linearni spline. B-spline. Ocjena interpolacijske pogreške. Kubični spline.

NM Pred. 07/08 186 4.1 Polinomijalna interpolacija

NM Pred. 07/08 187 Polinomijalna interpolacija ULAZ: Neka su dani parovi x 1 x 2 x 3 x n y 1 y 2 y 3 y n koji prezentiraju f : R R sa svojstvom f(x i ) = y i, i = 1,, n. IZLAZ: Polinom p n (x) = a 0 + a 1 x + a 2 x 2 + a n x n koji zadovoljava uvijet interpolacije p n (x i ) = y i, i = 1,, n. (38)

NM Pred. 07/08 188 Rješenje vodi na linearni sustav Uvjete (38) možemo zapisati u matričnom obliku 1 x 1 1 x 2 1 x n 1 1 x 1 2 x 2 2 x n 2 1 x 1 3 x 2 3 x n 3.... a 0 a 1 a 2. = y 0 y 1 y 2.. 1 x 1 n x 2 n x n n a n y n Matrica V n se naziva Vandermonde-ova matrica (wiki). Polinom p n je jedinstvano odreden koeficijentima [ a 0 a 1 a 2 a n ]. Nalaženje interpolacoijskog polinimoma se može svesti na problem rješavanja specijalnog (strukturiranog) sustava linearnih jednadžbi. Matrica V n je invertibilna akko je x i x j, i, j = 0,, n.

NM Pred. 07/08 189 Napomena (unaprijed) Korektnost rješavanja interpolacijskog problema možemo provjeriti grafičkim prikazom p n. (npr. odgovara li rješenje našoj intuiciji o funkciji f ) Znamo sa Slike 4 da računanje vrijednosti polinoma u aritmetici pomične točke nije trivijalan problem! RJEŠENJE(bit će detaljnjije obradeno kasnije): Hornerov algoritam Algoritam. 71 (Horner). Za koeficijente a 0,, a n polinoma p n i x R. Računamo y = p n (x) = a 0 + x(a 1 + x(a 2 + + x(a n 1 + xa n ) )) function y = horner(a,x) n = length(a)-1; k = length(x); y(1:k,1) = a(n+1); for j = n:-1:1, Pseudo kod, MATLAB TM notacija. y = a(j) + y.*x; end

NM Pred. 07/08 190 LR ALGORITAM: Interpolacija sin(x) na [0, 20π] 5 0 5 p 40 (x) sin(x) 10 0 10 20 30 40 50 60 70 ČINJENICE: 1. κ(v 40 ) 10 73 2. koeficijenti a i jako variraju u veličini. REZULTAT: Primjenom Gaußovih eliminacijamo smo dobili: INTERPOLANT KOJI NE ISPUNJAVA UVIJET INTERPOLACIJE uz cijenu O(n 3 ) operacija.

NM Pred. 07/08 191 Želimo u O(n 2 ) vremenu dobiti: 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 0 10 20 30 40 50 60 70 1 0.8 0.6 0.4 0.2 0 0.2 0.4 0.6 0.8 1 0 2 4 6 8 10 12 14 16 Slika 8: Po djelovima kubična interpolacija svih 40 točaka i uvečani prikaz interpolacije na intervalu [0, 5π]

NM Pred. 07/08 192 Prva ideja LAGRANGEOVA INTERPOLACIJA PITANJE Možemo li nači bazu B = {b 0 (x),, b n (x)} prostora polinoma stupnja n P n := { n a i x i a i R} i=0 u kojoj će odgovarajuća matrica Ṽn iz uvjeta interpolacije (38) imati manju kondiciju nego li je imala u bazi K = {1, x, x 2,, x n }. Takoder, tražimo da matrica ev n = 2 3 b 0 (x 1 ) b 1 (x 1 ) b 2 (x 1 ) b n (x 1 ) b 0 (x 2 ) b 1 (x 2 ) b 2 (x 2 ) b n (x 2 ) 6... 4. 7 5 b 0 (x n ) b 1 (x n ) b 2 (x n ) b n (x n ) ne bude gusto popunjena, jer inaće nećemo dobiti algoritam koji je brži od O(n 3 ) operacija!.

NM Pred. 07/08 193 Lagrangeova baza Jedan pogodan sistem funkcija je Vrijedi l j (x) = ni =j i=0 ni =j i=0 (x x i ) (x j x i ) P n, j = 0, 1,, n. l j (x i ) = δ ij, i, j = 0, 1,, n, pa je matrica Ṽn DIJAGONALNA, štoviše ona je identiteta! PITANJE PLAUZIBILNOSTI: Cijena računanja p n (x) = y 0 l 0 (x) + + y n l n (x), je O(n 2 ) za svaki x [x 0, x n ]. OSTAJE NERAZJAŠNJENO: Možemo li s ovakvim funkcijama (i kako) numerički stabilno računati? Sjetimo se primjera sa Slike 4.

NM Pred. 07/08 194 Informacije Termin prvog kolokvija je: ponedjeljak, 28. 4., u 12 sati. Moja predavanja za Numeričku matematiku su dostupna s http://web.math.hr/ luka/ Skraćena verzija skripata za Numeričku matematiku 1. dio (prvih 7 tjedana): http://web.math.hr/ singer/num mat/num mat1.pdf Drugi dio stiže negdje pred kraj kolokvija! Pitanje: Promjena predavaonice u 005 Kolege iz Teorije igara sjede po podovima. Posječenost predavanja iz NM?

NM Pred. 07/08 195 Uvedimo notaciju ZAKLJUČAK: Do dada smo vidjeli da složenost interpolacijskog problema ovisi o nekim geometrijskim činjenicama o prostoru P n. Za lakšu analizu veze P n i interpolacijskog problema (38) uvodimo notaciju: Polinom koji zadovoljava (38) za funkciju f i x 0,...,x n pišemo P(f x 0,...,x n ) Za u parovima različite x 0,...,x n uvodimo pojam Newtonovog baznog polinoma ω n (x) := (x x 0 )(x x 1 ) (x x n ). za funkciju f i točke x 0 < x 1 uvodimo pojam podjeljene razlike i pišemo f[x 0, x 1 ] = f(x 1) f(x 0 ) x 1 x 0.

NM Pred. 07/08 196 QUICK WINS (dosadašnje analize) Ukoliko pažljivo pročitamo dosadašnje rezultate i prisjetimo se ( LA1 (Skripta str. 104)) det(v n ) = 0 j<i n (x i x j ) 1. Neka su točke x 0,...,x n u parovima različte, tada postoji jedinstveni p n P n koji zadovoljava uvijet (38). To je Lagrangeov interpolacijski polinom i vrijedi p n (x) = P(f x 0,...,x n )(x). 2. Preslikavanje f P(f x 0,...,x n ) je linearan operator. Tj. vrijedi P(αf + βg x 0,...,x n ) = αp(f x 0,...,x n ) + βp(g x 0,...,x n ). 3. Za svaki q P n vrijedi P(q x 0,...,x n ) = q.

NM Pred. 07/08 197 Aitkenova lema (Hijerarhijska struktura interpolacijskog problema) Interpolaciju dvije točke možemo promatrati kao njihovu konveksnu kombinaciju P(f x 1, x 2 )(x) = x x 0 x 1 x 0 f(x 1 ) + x 1 x x 1 x 0 f(x 0 ). Za n točaka vrijedi: Lema 72 (AITKEN). Vrijedi P(f x 0,...,xn) = x x 0 xn x 0 P(f x 1,...,xn)(x) + x n x xn x 0 P(f x 0,...,x n 1 )(x). Napomena. Ovo možemo izreći kao:interpolacija funkcije f u točkama x 0,...,x n je konveksna kombinacija interpolanata nižeg stupnja na mreži {x 1,...,x n } i na mreži {x 0,...,x n 1 }.

NM Pred. 07/08 198 Dokaz.[Skica] Za i < n vrijedi x i x 0 x n x 0 P(f x 1,...,x n )(x i ) + x n x i x n x 0 P(f x 0,...,x n 1 )(x i ) = x i x 0 x n x 0 f(x i ) + x n x i x n x 0 f(x i ) = f(x i ) = P(f x 0,...,x n )(x i ). U rubnim točkama je dokaz malo drugačiji (Kakav?). Konačno, dokaz slijedi iz jedinstvenosti interpolacijskog polinoma! Algoritam. 73 (RAČUNAJE P(f x 0,...,x n )(x)). Za fiksni x neka je P i,k = P(f x i k,...,x i )(x), 0 k i n. P i,k = x x i k x i x i k P i,k 1 + x i x x i x i k P i 1,k 1 = P i,k 1 + x x i x i x i k (P i,k 1 P i 1,k 1 ).

NM Pred. 07/08 199 AITKEN: Interpolacija sin(x) na [0, 5π] 1.5 1 0.5 0 0.5 1 1.5 0 2 4 6 8 10 12 14 16

NM Pred. 07/08 200 AITKEN: Interpolacija sin(x) na [0, 5π] 1.5 1 0.5 0 0.5 1 1.5 0 2 4 6 8 10 12 14 16

NM Pred. 07/08 201 DALJE O STRUKTURI: Veze izmedu P n 1 i P n? Kako se mijenja Lagrangeov polinom dodavanjem jedne točke u mrežu? Koliko je stabilan (obzirom na promjene točaka) interpolacijski problem? Analiza greške? Lema 74. Za Lagrangeove polinome P n 1 = P(f x 0,...,x n 1 ) i P n = P(f x 0,...,x n ) vrijedi gdje je P n (x) = P n 1 (x) + δ n ω n (x), δ n = f(x n) P n 1 (x n ) ω n 1 (x n ) R, a ω i (x) = (x x 0 ) (x x i ) je i-ti Newtonov bazni polinom.

NM Pred. 07/08 202 DALJE O STRUKTURI: Veze izmedu P n 1 i P n? Dokaz. Budući da je P n 1 P n 1 i ω n (x) = (x x 0 ) (x x n ) P n, vrijedi Q n (x) = P n 1 (x) + δ n ω n (x) P n. Za i < n je P n 1 (x i ) = f(x i ), i ω n (x i ) = 0, pa zaključujemo Q n (x i ) = f(x i ), i = 0, 1,...,n 1. Iz definicije δ n slijedi Q n (x n ) = f(x n ). Zaključak leme slijedi iz jedinstvenosti interpolacijskog polinoma.

NM Pred. 07/08 203 Dekompozicija prostora P n : Optimalnost projekcije (sjetimo se LA)? Kako vidjeti kvalitetu reprodukcije strukture funkcije f? Sjetimo se primjera sin(x). P n (x) δ n ω n (x) P n 1 P n 1 (x)

NM Pred. 07/08 204 Brzi zaključci 1. Koeficijent δ n ovisi samo o funkciji f i o (u parovima različitim) čvorovima x 0,, x n. Zbog toga je smisleno definirati f[x 0,...,x n ] := δ n. (39) 2. Očigledno je f[x 0,...,x n ] koeficijent uz x n u polinomu P(f x 0,, x n )(x). 3. Ovu konstrukciju možemo induktivno ponoviti za P n 1 (x). Tako dolazimo do prikaza P n (x) u Newtonovoj bazi ω i (x), i = 0,, n. Ovaj dokaz ćemo kasnije provesti na drugi način i s više detalja. 4. LA: Teoremi o projekciji kažu i nešto o grešci!!!

NM Pred. 07/08 205 Ocjena greške interpolacijskog polinoma Teorem 75. Pretpostavimo da funkcija f ima (n + 1)-u derivaciju na segmentu [a, b] za neki n N {0}; x k [a, b], k = 0,...,n, su medusobno različiti čvorovi interpolacije, tj. x i x j za i j; p n je interpolacijski polinom za f u tim čvorovima. Za bilo koju točku x [a, b] postoji točka ξ x min := min{x 0,...,x n, x} < ξ < max{x 0,...,x n, x} =: x max takva da za grešku interpolacijskog polinoma vrijedi e(x) := f(x) p n (x) = ω n(x) (n + 1)! f(n+1) (ξ).

NM Pred. 07/08 206 Ocjena greške interpolacijskog polinoma Dokaz. 1. slučaj x = x k je čvor interpolacije Tada je ω(x k ) = 0, pa su obje strane posljednje relacije jednake 0, a ξ je proizvoljan. 2. slučaj x nije čvor interpolacije Tada je ω n (x) 0 i grešku interpolacije prikazujemo u obliku e(x) = f(x) p n (x) = ω n (x)s(x), s time da je s(x) korektno definiran čim x nije čvor. Fiskirajno x i definiramo funkciju u varijabli t g(t) = e(t) ω(t)s(x) = e(t) ω(t) e(x), t [a, b]. ω n (x)

NM Pred. 07/08 207 Ocjena greške interpolacijskog polinoma Zaključak: funkcija pogreške e ima točno onoliko derivacija (po t) koliko i f, i one su neprekidne kad su to i derivacije od f ; x nije čvor, pa je g (n+1) je korektno definirana na [a, b]. Nadimo koliko nultočaka ima funkcija g. Ako za t uvrstimo x k, dobivamo g(x k ) = e(x k ) ω(x k ) e(x) = 0, k = 0,...,n. ω n (x) Jednako tako je i g(x) = e(x) e(x) = 0. Drugim riječima, g ima barem n + 2 nultočke na [x min, x max ].

NM Pred. 07/08 208 Ocjena greške interpolacijskog polinoma Budući da je g derivabilna na [x min, x max ], Rolleov teorem = g ima barem n + 1 nultočku unutar (x min, x max ). Induktivnom primjenom Rolleovog teorema zaključujemo da g (j) ima bar n + 2 j nultočaka na (x min, x max ), za j = 0,...,n + 1; za j = n + 1 dobivamo da g (n+1) ima bar jednu nultočku ξ (x min, x max ).

NM Pred. 07/08 209 Ocjena greške interpolacijskog polinoma Nadalje, p n je polinom stupnja najviše n, pa je p (n+1) n = 0, ω je polinom stupnja n + 1, pa je e (n+1) (t) = f (n+1) (t), ω (n+1) (t) = (n + 1)!. Uvrštavanjem u e (n+1) (t) u (n + 1)-u derivaciju za g dobivamo g (n+1) (t) = e (n+1) (t) ω (n+1) (t) e(x) ω n (x) = f (n+1) (t) (n + 1)! e(x) ω n (x).

NM Pred. 07/08 210 Ocjena greške interpolacijskog polinoma Konačno, ako uvažimo da je g (n+1) (ξ) = 0, onda je odnosno 0 = g (n+1) (ξ) = f (n+1) (ξ) (n + 1)! e(x) = ω n(x) (n + 1)! f(n+1) (ξ), što smo trebali dokazati. e(x) ω n (x), Ako je f (n+1) ograničena na [a, b], ili, jače, ako je f C n+1 [a, b], tj. f ima neprekidnu (n + 1)-u derivaciju na [a, b]...

NM Pred. 07/08 211 Ocjena greške interpolacijskog polinoma... onda se iz prethodnog teorema dobiva sljedeća ocjena greške interpolacijskog polinoma za funkciju f u točki x [a, b] f(x) p n (x) ω n(x) (n + 1)! M n+1, M n+1 := max x [a,b] f(n+1) (x). Ova ocjena slijedi direktno iz teorema, a korisna je ako relativno jednostavno možemo izračunati ili odozgo ocijeniti M n+1.

NM Pred. 07/08 212 Newtonov oblik interpolacijskog polinoma Lagrangeov oblik interpolacijskog polinoma nije pogodan za povećanje stupnja interpolacijskog polinoma. Postoji Newtonova forma interpolacijskog polinoma koja se izvodi tako da se interpolacijskom polinomu dodaju nove točke interpolacije, tj. povećava se stupanj interpolacijskog polinoma. Interpolacijski polinom stupnja 0 Nadimo konstantu koja interpolira funkciju f u točki x 0 p 0 (x) = f 0.

NM Pred. 07/08 213 Newtonov oblik interpolacijskog polinoma Interpolacijski polinom stupnja 1 Dodajmo još jedan čvor interpolacije, x 1. Polinom p 1 napišimo kao zbroj polinoma p 0 i korekcije r 1, Uočimo r 1 mora biti stupnja 1; iz uvjeta interpolacije u x 0 imamo p 1 (x) = p 0 (x) + r 1 (x). f 0 = p 1 (x 0 ) = p 0 (x 0 ) + r 1 (x 0 ) = f 0 + r 1 (x 0 ), tj. mora biti r 1 (x 0 ) = 0, odnosno r 1 mora imati oblik r 1 (x) = a 1 (x x 0 ),

NM Pred. 07/08 214 Newtonov oblik interpolacijskog polinoma iz uvjeta interpolacije u x 1 imamo f 1 = p 1 (x 1 ) = p 0 (x 1 ) + r 1 (x 1 ) = f 0 + r 1 (x 1 ), tj. mora biti r 1 (x 1 ) = f 1 f 0, pa je a 1 = f 1 f 0 x 1 x 0. Interpolacijski polinom stupnja 2 Dodajmo još jedan čvor interpolacije, x 2. Polinom p 2 napišimo kao zbroj polinoma p 1 i korekcije r 2, p 2 (x) = p 1 (x) + r 2 (x).

NM Pred. 07/08 215 Newtonov oblik interpolacijskog polinoma Uočimo r 2 mora biti stupnja 2; iz uvjeta interpolacije u x 0 i x 1 imamo f k = p 2 (x k ) = p 1 (x k ) + r 2 (x k ) = f k + r 2 (x k ), k = 0, 1 tj. mora biti r 1 (x k ) = 0, odnosno r 2 mora imati oblik r 2 (x) = a 2 (x x 0 )(x x 1 ), koeficijent a 2 računamo iz uvjeta interpolacije u x 2.

NM Pred. 07/08 216 Newtonov oblik interpolacijskog polinoma Nastavimo li postupak, konstriurali smo interpolacijski polinom n 1 p n (x) = a 0 + a 1 (x x 0 ) + + a n (x x k ), tj. konstruirali smo trokutastu Newtonovu bazu k=0 1, (x x 0 ), (x x 0 )(x x 1 ), (x x k ) n 1 k=0 polinoma stupnja manjeg ili jednakog n. Sada samo treba odrediti koeficijente a k.

NM Pred. 07/08 217 Newtonov oblik interpolacijskog polinoma Već smo pokazali da je a 0 = f 0, a 1 = f 1 f 0 x 1 x 0. Budući da dižemo stupanj interpolacijskog polinoma, onda a k ovisi samo o funkciji f i točkama x 0,...,x k. Oznaka: a k = f[x 0,...,x k ], a veličinu f[x 0,...,x k ] zovemo k-ta podijeljena razlika.

NM Pred. 07/08 218 Podijeljene razlike Lema 76. Za medusobno različite točke x 0,...,x n, podijeljena razlika f[x 0,...,x n ] ne ovisi o permutaciji točaka σ, tj. f[x 0,...,x n ] = f[x σ(0),...,x σ(n) ]. Dokaz. Označimo koeficijente interpolacijskog polinoma p n s a k ako je poredak točaka x 0,...,x n, s b k ako je poredak točaka x σ(0),...,x σ(n).

NM Pred. 07/08 219 Dakle, n 1 Y p n (x) = a 0 + a 1 (x x 0 ) + + a n (x x k ) k=0 n 1 Y = b 0 + b 1 (x x σ(0) ) + + b n (x x σ(k) ). k=0 Budući da se radi o istom polinomu koeficijenti uz odgovarajuće potencije moraju biti jednaki; usporedivanjem koeficijenata uz x n vidimo da je a n = b n.

NM Pred. 07/08 220 Podijeljene razlike Ostaje još samo pitanje kako efikasno računati f[x 0,...,x n ]. Lema 77. Za podijeljene razlike vrijedi sljedeća rekurzija s tim da je f[x k ] = f k. f[x 0,...,x n ] = f[x 1,...,x n ] f[x 0,...,x n 1 ] x n x 0,

NM Pred. 07/08 221 Podijeljene razlike Dokaz. Označimo koeficijente interpolacijskog polinoma p n s a k ako je poredak točaka x 0,...,x n, s b k ako je poredak točaka x n,...,x 0. Dakle, n 1 p n (x) = a 0 + a 1 (x x 0 ) + + a n (x x k ) k=0 n = b 0 + b 1 (x x n ) + + b n (x x k ). k=1 U prethodnoj lemi je dokazano da je a n = b n. Usporedimo sad koeficijente uz x n 1.

NM Pred. 07/08 222 Podijeljene razlike Koeficijent uz x n 1 dobivamo kao zbroj dva koeficijenta koeficijent uz pretposljednji član u p n, što je a n 1 u jednom slučaju, a b n 1 u drugom, u posljednjem članu u produktu članova oblika (x xk ) uzmemo iz jedne zagrade x k, a iz ostalih x, odnosno Uvažimo da je a n = b n n 1 n a n 1 a n x k = b n 1 b n x k. k=0 n 1 a n 1 a n k=0 k=1 n x k = b n 1 a n x k, k=1

NM Pred. 07/08 223 Podijeljene razlike pa dobivamo b n 1 a n 1 = a n (x n x 0 ). Budući da je a n = f[x 0,...,x n ], a n 1 = f[x 0,...,x n 1 ], b n 1 = f[x n,...,x 1 ] = f[x 1,...,x n ], odmah izlazi tražena rekurzija. Start rekurzije je f[x k ] = f k, što se vidi iz konstantnog interpolacijskog polinoma.

NM Pred. 07/08 224 Podijeljene razlike Tablica podijeljenih razlika: x k f[x k ] f[x k, x k+1 ] f[x k, x k+1, x k+2 ] f[x 0,..., x n ] x 0 f[x 0 ] f[x 0, x 1 ] x 1 f[x 1 ] f[x 0, x 1, x 2 ].. f[x 1, x 2 ]. f[x n 2, x n 1 ]... x n 1 f[x n 1 ] f[x n 2, x n 1, x n ] f[x n 1, x n ] x n f[x n ].... f[x 0,..., x n ]

NM Pred. 07/08 225 Newtonov oblik interpolacijskog polinoma Konačni izgled Newtonovog interpolacijskog polinoma p n (x) = f[x 0 ] + f[x 0, x 1 ](x x 0 ) + f[x 0, x 1, x 2 ](x x 0 ) (x x 1 ) + + f[x 0, x 1,...,x n ](x x 0 ) (x x n 1 ). Od tablica podijeljenih razlika treba samo gornji rub. To se može računati u jednodimenzionalnom polju. Algoritam. 78. (Za računanje podijeljenih razlika) za i = 1 do n radi { za j = n do i radi { f[j] = (f[j] - f[j - 1])/(x[j] - x[j - i]); }; };

NM Pred. 07/08 226 Newtonov oblik interpolacijskog polinoma Nakon završetka algoritma za računanje podijeljenih razlika gornji rub se nalazi redom u polju f. Algoritam izvrednjavanja interpolacijskog polinoma u točki oblik Hornerove sheme. Algoritam. 79. (Za izvrednjavanje interpolacijskog polinoma) sum = f[n]; za i = n - 1 do 0 radi { sum = sum * (x - x[i]) + f[i]; }; /* Na kraju je p n(x) = sum. */

NM Pred. 07/08 227 Ekvidistantni čvorovi Newtonova forma interpolacijskog polinoma može se pojednostavniti ako su čvorovi ekvidistantni. Prisjetimo se, Newtonov interpolacijski polinom izgleda ovako: p n (x) = f[x 0 ] + f[x 0, x 1 ](x x 0 ) + f[x 0, x 1, x 2 ](x x 0 ) (x x 1 ) + + f[x 0, x 1,...,x n ](x x 0 ) (x x n 1 ). Pojednostavljenje računanja radi se u podijeljenim razlikama f[x 0, x 1,...,x k ], faktoru (x x 0 ) (x x k 1 ) = k 1 j=0 (x x j).

NM Pred. 07/08 228 Ekvidistantni čvorovi Pojednostavnimo prvo podijeljenu razliku. Točke su ekvidistantne s razmakom h ako je x j = x 0 + j h, j = 0,...,n. Konačnu razliku unaprijed definiramo kao f j = f j+1 f j. Operator zovemo operator konačnih razlika unaprijed. Konačnu razliku reda k, za k N, definiramo rekurzivno kao uz dogovor 0 f j = f j. k f j = k 1 f j+1 k 1 f j,

NM Pred. 07/08 229 Ekvidistantni čvorovi Nadimo vezu podijeljenih i konačnih razlika. Lema 80. Ako su točke x j ekvidistantne, za bilo koji k 0 vrijedi Dokaz. Dokaz ide indukcijom po k. f[x j,...,x j+k ] = 1 k! h k k f j. Za k = 0, rezultat je očito istinit po definiciji. Baza indukcije. Za k = 1 imamo pa tvrdnja vrijedi za k = 1. f[x j, x j+1 ] = f j+1 f j x j+1 x j = f j h,

NM Pred. 07/08 230 Ekvidistantni čvorovi Korak indukcije. Pretpostavimo da za sve uzastopne točke x j,...,x j+k 1, za bilo koji dozvoljeni j, vrijedi f[x j,...,x j+k 1 ] = Zaključak. Ako je j + k n, onda je 1 (k 1)! h k 1 k 1 f j. f[x j,...,x j+k ] = f[x j+1,...,x j+k ] f[x j,...,x j+k 1 ] x k x 0 = f[x j+1,...,x j+k ] f[x j,...,x j+k 1 ] = 1 kh ( k h 1 (k 1)! h k 1 k 1 f j+1 = 1 k!h k ( k 1 f j+1 k 1 f j ) = 1 k!h k k f j = (pretp. ind.) 1 (k 1)! h k 1 k 1 f j )

NM Pred. 07/08 231 Ekvidistantni čvorovi Pojednostavnimo još faktor (x x 0 ) (x x k 1 ). Označimo s x = x 0 + s h. s tim da s može biti i realan broj. Tada je x x j = x 0 + s h (x 0 + j h) = (s j)h, pa je k 1 (x x j ) = j=0 k 1 k 1 (s j)h = h k (s j). j=0 j=0

NM Pred. 07/08 232 Ekvidistantni čvorovi Po definiciji binomnih koeficijenata, s tim da smije biti i s R ( ) ( ) s s(s 1) (s k + 1) s =, k > 0, k k! 0 Odmah slijedi da je ( ) s (s j) = h k k!. k h k k 1 j=0 = 1. Sada možemo napisati interpolacijski polinom s ekvidistantnim čvorovima.

NM Pred. 07/08 233 Ekvidistantni čvorovi Uočimo da se faktor h k k! skrati (u nazivniku dolazi od konačnih razlika, a u brojniku od produkta (x x j )), pa interpolacijski polinom izgleda ovako: p n (x) = f[x 0 ] + f[x 0, x 1 ](x x 0 ) + f[x 0, x 1, x 2 ](x x 0 ) (x x 1 ) + + f[x 0, x 1,...,x n ](x x 0 ) (x x n 1 ) ( ) ( ) s s = 0 f 0 + 1 f 0 + + n f 0, 1 n pri čemu je x = x 0 + s h.

x 0 f 0 f 0 NM Pred. 07/08 234 Ekvidistantni čvorovi Tablica konačnih razlika: x k f k f k 2 f k n f k x 1 f 1 2 f 0.. f 1..... n f 0 f n 2... x n 1 f n 1 2 f n 2 x n f n f n 1 Ova tablica se računa u jednom jednodimenzionalnom polju, kao i kod podijeljenih razlika.

NM Pred. 07/08 235 Sraz teorije i prakse Ponovimo koje smo elemente greške identificirali. Analiza je pokazala f(x) p n (x) ω n(x) (n + 1)! M n+1, M n+1 := max x [a,b] f(n+1) (x), pri ćemu je ω n (x) = (x x 0 ) (x x n ). Grešku možemo smanjivati: 1. Izgladivanjem funkcije f, tj. smanjivanjem M n+1 = max x [a,b] f(n+1) (x). 2. Pogodnim izborom točaka mreže a x 0,...,x n b, tj. smanjivanjem boljim izborom subdivizije x i. ω n (x) max x [a,b] (x x 0) (x x n )

NM Pred. 07/08 236 Sraz teorije i prakse? Iako znamo da vrijedi Weierstraßov teorem koji tvrdi da za svaku neprekidnu funkciju f(x) postoji niz polinoma stupnja n, nazovimo ih B n (x), tako da f(x) B n (x) 0 za n. polinomi B n općenito ne moraju biti Lagrangeovi interpolacioni polinomi! Štoviše, pokazuje se da ako točke x i loše biramo (vidi Primjer 83) ili ako funkcija f nije dovoljno glatka (Primjer 81 ) niz P n ne konvergira prema f n. MOŽE LI SE SITUACIJA SPASITI?

NM Pred. 07/08 237 Konvergencija interpolacionih polinoma (f NIJE GLATKA) Primjer 81 (Bernstein, 1912.). Neka je f(x) = x i neka je p n (x) interpolacijski polinom u n + 1 ekvidistantnih točaka u [ 1, 1]. Tada f(x) p n (x) 0, kad n, samo u tri točke: x = 1, 0, 1.

NM Pred. 07/08 238 Konvergencija interpolacionih polinoma Primjer 82. Promotrimo grafove interpolacionih polinoma stupnjeva 1 6 koji interpoliraju funkciju f(x) = log(x) za x [0.1, 10] na ekvidistantnoj mreži. Rješenje. Primijetit ćete da je greška interpolacije najveća na prvom podintervalu bez obzira na stupanj interpolacionog polinoma. Razlog leži u činjenici da funkcija log(x) ima singularitet u 0, a početna točka interpolacije je blizu. Prva grupa slika su redom funkcija (crno) i interpolacioni polinom (crveno) za ekvidistantnu mrežu, te pripadna greška.

NM Pred. 07/08 239 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 1.

NM Pred. 07/08 240 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 2.

NM Pred. 07/08 241 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 3.

NM Pred. 07/08 242 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 4.

NM Pred. 07/08 243 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 5.

NM Pred. 07/08 244 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 6.

NM Pred. 07/08 245 y 1 0.5 0.5 1 2 3 4 5 6 7 8 9 10 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 1.

NM Pred. 07/08 246 y 1 0.5 0.5 1 2 3 4 5 6 7 8 9 10 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 2.

NM Pred. 07/08 247 y 0.5 0.25 0.25 0.5 1 2 3 4 5 6 7 8 9 10 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 3.

NM Pred. 07/08 248 y 0.5 0.25 0.25 0.5 1 2 3 4 5 6 7 8 9 10 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 4.

NM Pred. 07/08 249 y 0.25 1 2 3 4 5 6 7 8 9 10 x 0.25 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 5.

NM Pred. 07/08 250 y 0.25 1 2 3 4 5 6 7 8 9 10 x 0.25 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 6.

NM Pred. 07/08 251 Konvergencija interpolacionih polinoma? Primjer 83. Promotrimo primjer interpolacije Runge-ove funkcije f(x) = 1 1 + x 2 za x [ 5, 5] na ekvidistantnoj mreži interpolacionim polinomima stupnjeva 1 6, 8, 10, 12, 14, 16 (parnost funkcije!). Ponovno, kao i u prošlom primjeru, grafovi su u parovima.

NM Pred. 07/08 252 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 1.

NM Pred. 07/08 253 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 1.

NM Pred. 07/08 254 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 2.

NM Pred. 07/08 255 y 0.5 6 5 4 3 2 1 1 2 3 4 5 6 x 0.5 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 2.

NM Pred. 07/08 256 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 3.

NM Pred. 07/08 257 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, greška interpolacionog polinoma stupnja 3.

NM Pred. 07/08 258 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 4.

NM Pred. 07/08 259 y 0.5 6 5 4 3 2 1 1 2 3 4 5 6 x 0.5 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 4.

NM Pred. 07/08 260 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 5.

NM Pred. 07/08 261 y 0.5 6 5 4 3 2 1 1 2 3 4 5 6 x 0.5 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 5.

NM Pred. 07/08 262 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Ekvidistantna mreža, interpolacioni polinom stupnja 6.

NM Pred. 07/08 263 y 0.5 6 5 4 3 2 1 1 2 3 4 5 6 x 0.5 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 6.

NM Pred. 07/08 264 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x 1 Ekvidistantna mreža, interpolacioni polinom stupnja 8.

NM Pred. 07/08 265 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x 1 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 8.

NM Pred. 07/08 266 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x 1 2 Ekvidistantna mreža, interpolacioni polinom stupnja 10.

NM Pred. 07/08 267 y 2 1 6 5 4 3 2 1 1 2 3 4 5 6 x 1 2 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 10.

NM Pred. 07/08 268 y 4 3 2 1 6 5 4 3 2 1 1 2 3 4 5 6 1 x 2 3 Ekvidistantna mreža, interpolacioni polinom stupnja 12.

NM Pred. 07/08 269 y 3 2 1 6 5 4 3 2 1 1 2 3 4 5 6 1 x 2 3 4 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 12.

NM Pred. 07/08 270 y 7 5 3 1 6 5 4 3 2 1 1 2 3 4 5 6 1 x 3 5 Ekvidistantna mreža, interpolacioni polinom stupnja 14.

NM Pred. 07/08 271 y 5 3 1 6 5 4 3 2 1 1 2 3 4 5 6 1 x 3 5 7 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 14.

NM Pred. 07/08 272 y 10 6 2 6 5 4 3 2 1 1 2 3 4 5 6 2 x 6 10 14 Ekvidistantna mreža, interpolacioni polinom stupnja 16.

NM Pred. 07/08 273 y 14 10 6 2 6 5 4 3 2 1 1 2 3 4 5 6 2 x 6 10 Ekvidistantna mreža, greška interpolacionog polinoma stupnja 16.

NM Pred. 07/08 274 Detalji o Runge-ovom primjeru (skripta str. 118) Primjer 84 (Runge, 1901.). Promotrimo funkciju f(x) = 1, x [ 5, 5]. 1 + x2 i izaberimo ekvidistantne čvorove interpolacije x k, k = 0,...,n x k = 5 + kh, h = 10 n, k = 0,...,n. Zanima nas ponašanje grešaka koje nastaju dizanjem stupnja n interpolacionog polinoma.

NM Pred. 07/08 275 Detalji o Runge-ovom primjeru (skripta str. 118) Rješenje. Za grešku dobivamo e n (x) = f(x) p n (x) = ω n (x) f[x 0, x 1,...,x n, x]. Pokazuje se (vidi skripta) da vrijedi ( 1) r+1 1, ako je n = 2r + 1, f[x 0, x 1,...,x n, x] = f(x) r (1 + x 2 x, ako je n = 2r. k) k=0 (40) Baza: Ako je r = 0, onda je n = 1 i x 1 = x 0, a zbog parnosti funkcije f i f( x 0 ) = f(x 0 ).

NM Pred. 07/08 276 Detalji o Runge-ovom primjeru (skripta str. 118) Izračunajmo podijeljenu razliku f[x 0, x 1, x] = f[x 0, x 0, x] = f[ x 0, x] f[x 0, x 0 ] x x 0 = f(x) f(x 0) 1 x 2 x 2 = f(x) 0 1 + x 2. 0 Time je pokazana baza indukcije. Za korak indukcije pogledajte skripta. DALJNJI ELEMENTI GREŠKE ω n (x)! Budući da je (x x k ) (x x n k ) = (x x k ) (x + x k ) = x 2 x 2 k, onda je za n = 2r + 1 n (x x k ) = k=0 r (x 2 x 2 k). k=0

NM Pred. 07/08 277 Detalji o Runge-ovom primjeru (skripta str. 118) U parnom je slučaju n = 2r, x r = 0, pa izdvajanjem srednje točke dobivamo n (x x k ) = x k=0 r 1 (x 2 x 2 k) = 1 x k=0 r (x 2 x 2 k), k=0 ili zajedno ω n (x) = n (x x k ) = k=0 r (x 2 x 2 k) k=0 1, ako je n = 2r + 1, 1/x, ako je n = 2r. Time smo pokazali željeni oblik formule za podijeljene razlike.

NM Pred. 07/08 278 Detalji o Runge-ovom primjeru (skripta str. 118) Ako tu formulu uvrstimo u grešku, dobivamo e n (x) = f(x) p n (x) = ω n (x) f(x) = ( 1) r+1 f(x) g n (x), ( 1) r+1 ry (1 + x 2 k) k=0 8 < 1, ako je n = 2r + 1, : x, ako je n = 2r. gdje je g n (x) = r k=0 x 2 x 2 k 1 + x 2 k. (41) Funkcija f pada od 0 do 5, pa se zbog simetrije, njena najveća vrijednost nalazi u 0, a najmanja u ±5, pa imamo 1 26 f(x) 1. ZBOG TOGA, KONVERGENCIJA NEWTONOVIH POLINOMA OVISI SAMO O g n (x).

NM Pred. 07/08 279 Detalji o Runge-ovom primjeru (skripta str. 118) Osim toga je i g n parna, tj. g n (x) = g n ( x), pa možemo sve gledati na intervalu [0, 5]. I apsolutnu vrijednost funkcije g n možemo napisati na malo neobičan način g n (x) = ( e h ln g n(x) ) 1/h. Odavde slijedi, za detalje računa pogledati skripta, da za x > 3.63 i h = 10/n imamo pa i lim g n(x) =, n e n (x), tj. niz interpolacijskih polinoma divergira za x > 3.63!

NM Pred. 07/08 280 Možemo li spasiti ovaj primjer? Sjetimo se da za grešku vrijedi e n (x) = f(x) p n (x) = (x x 0 ) (x x n ) f[x 0, x 1,...,x n, x]. POTRAŽIMO NEKU BOLJU SUBDIVIZIJU a x 0 x n b. Umjesto ekvidistantnih točaka interpolacije uzmimo neekvidistantne. Npr. na intervalu [a, b], Čebiševljeve točke su x k = 1 2 ( a + b + (a b) cos 2k + 1 2n + 2 ), k = 0,...,n. Pokazuje se da će porastom stupnja niz interpolacionih polinoma u čebiševljevim točkama konvergirati prema funkciji f. JE LI TO RJEŠENJE SAMO KONKRETNOG PROBLEMA, ILI JE TO STRUKTURALNA INFORMACIJA?

NM Pred. 07/08 281 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 1.

NM Pred. 07/08 282 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, greška interpolacionog polinoma stupnja 1.

NM Pred. 07/08 283 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 2.

NM Pred. 07/08 284 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, greška interpolacionog polinoma stupnja 2.

NM Pred. 07/08 285 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 3.

NM Pred. 07/08 286 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, greška interpolacionog polinoma stupnja 3.

NM Pred. 07/08 287 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 4.

NM Pred. 07/08 288 y 0.25 6 5 4 3 2 1 1 2 3 4 5 6 x 0.5 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 4.

NM Pred. 07/08 289 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 5.

NM Pred. 07/08 290 y 0.5 6 5 4 3 2 1 1 2 3 4 5 6 x 0.25 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 5.

NM Pred. 07/08 291 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 6.

NM Pred. 07/08 292 y 0.5 0.25 6 5 4 3 2 1 1 2 3 4 5 6 x 0.25 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 6.

NM Pred. 07/08 293 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 8.

NM Pred. 07/08 294 y 0.125 6 5 4 3 2 1 1 2 3 4 5 6 x 0.25 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 8.

NM Pred. 07/08 295 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 10.

NM Pred. 07/08 296 y 0.125 6 5 4 3 2 1 1 2 3 4 5 6 x 0.125 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 10.

NM Pred. 07/08 297 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 12.

NM Pred. 07/08 298 y 0.075 6 5 4 3 2 1 1 2 3 4 5 6 x 0.075 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 12.

NM Pred. 07/08 299 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 14.

NM Pred. 07/08 300 y 0.05 6 5 4 3 2 1 1 2 3 4 5 6 x 0.05 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 14.

NM Pred. 07/08 301 y 1 6 5 4 3 2 1 1 2 3 4 5 6 x Čebiševljeva mreža, interpolacioni polinom stupnja 16.

NM Pred. 07/08 302 y 0.025 6 5 4 3 2 1 1 2 3 4 5 6 x 0.025 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 16.

NM Pred. 07/08 303 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 1.

NM Pred. 07/08 304 y 0.25 1 2 3 4 5 6 7 8 9 10 x 0.5 1 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 1.

NM Pred. 07/08 305 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 2.

NM Pred. 07/08 306 y 0.25 1 2 3 4 5 6 7 8 9 10 x 0.5 1 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 2.

NM Pred. 07/08 307 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 3.

NM Pred. 07/08 308 y 0.125 1 2 3 4 5 6 7 8 9 10 x 0.25 0.5 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 3.

NM Pred. 07/08 309 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 4.

NM Pred. 07/08 310 y 0.125 1 2 3 4 5 6 7 8 9 10 x 0.25 0.5 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 4.

NM Pred. 07/08 311 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 5.

NM Pred. 07/08 312 y 0.1 1 2 3 4 5 6 7 8 9 10 x 0.25 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 5.

NM Pred. 07/08 313 y 1 1 2 3 4 5 6 7 8 9 10 x 1 Čebiševljeva mreža, interpolacioni polinom stupnja 6.

NM Pred. 07/08 314 y 0.1 1 2 3 4 5 6 7 8 9 10 x 0.25 Čebiševljeva mreža, greška interpolacionog polinoma stupnja 6.

NM Pred. 07/08 315 Prije analize bad news Teorem 85 (Faber, 1914.). Za svaki mogući izbor točaka interpolacije postoji neprekidna funkcija f, za čiji interpolacijski polinom p n (x) stupnja n vrijedi f(x) p n (x) 0. Ipak! Situacija nije bezizgledna jer vrijedi e(x) := f(x) p n (x) = ω n(x) (n + 1)! f(n+1) (ξ). POUKA: Glatkoća funkcije f pomaže ili drugim riječima (B. Parlett): Ne ulazite u ring s jednom rukom vezanom na ledima.

NM Pred. 07/08 316 Pregled dosadašnjih zaključaka u interpolaciji Neka je f neprekidna funkcija na [a, b]. Pokazali smo da postoje različiti pristupi (obzirom na strategiju minimizacije greške ili računskog opterećenja ). Mi kao matemetičaki tražimo OPTIMALNI: Ako usporedujemo polinomne aproksimacije funkcije f dobivene različitim metodama, pitamo se koja je od njih najbolja, tj. koja daje najmanju maksimalnu grešku. Označimo s ρ n (f) maksimalnu grešku aproksimacije ρ n (f) = Za koji se polinom dostiže ta greška inf f p. deg(p) n ρ n (f) = f p n. Ako je polinom p n jedinstven, zanima nas kako ga možemo konstruirati. Polinom p n zovemo minimaks aproksimacija funkcije f na intervalu [a, b].

NM Pred. 07/08 317 Ipak! U ovom kursu nećemo dati odgovor na pitanje nalaženja optimalnog interpolacijskog polinoma. rješenje se dobiva Remesovim algoritmom (vidi velika skripta na URL-u: http://web.math.hr/ rogina/2001096/num anal.pdf ) Umjesto toga, promatrat ćemo tehnički jednostavniji problem nalaženja kvazioptimalne aproksimacije. Minimiziramo grešku max e(x) max ω n(x) a x b a x b (n + 1)! max a ξ b f(n+1) (ξ) tako da minimiziramo, skalirano na kanonski interval, izraz max ω n(x) = max ω n(x) (x x 0 ) (x x n ) 1 x 1 1 x 1 po svim subdivizijama x i.

NM Pred. 07/08 318 Rješenje smo već navjestili Prisjetimo se Rung-eovog primjera i Čebiševljevih točaka x k = 1 2 ( a + b + (a b) cos 2k + 1 2n + 2 ), k = 0,...,n. Pokazuje se da se minimum ω n (x) postiže upravo za te x i. Vrijedi: Za a = 1 i b = 1 x i, i = 0, 1,..., n su nultočke Čebiševljevih polinoma T n+1 (x) = cos((n + 1) arccos(x)), x [ 1, 1]. T n (x) su doista polinomi i zadovoljavaju rekurziju T n+1 (x) 2xT n (x) + T n 1 (x) = 0 (42) uz početne vrijednosti T 0 (x) = 1 i T 1 (x) = x.

NM Pred. 07/08 319 T n (x) imaju ekstreme, za x [ 1, 1], u točkama y j = cos( jπ (n+1) ), j = 0,...,n + 1 koji su T(y j ) = ( 1) j, j = 0,...,n + 1.