Numerička matematika 8. predavanje

Numerička matematika 8. predavanje Saša Singer singer@math.hr web.math.pmf.unizg.hr/~singer PMF Matematički odsjek, Zagreb NumMat 2017, 8. predavanje p. 1/122

Sadržaj predavanja Metoda najmanjih kvadrata (nastavak): QR faktorizacija. Householderovi reflektori. QR faktorizacija i pivotiranje. Rješenje matrične formulacije problema najmanjih kvadrata korištenjem QR faktorizacije. Neprekidni problem najmanjih kvadrata. Jednostavni primjer. Složeniji primjer. Ortogonalne familije funkcija, ortogonalni polinomi. Primjeri ortogonalnih familija funkcija. NumMat 2017, 8. predavanje p. 2/122

Komentar rezultata 1. kolokvija Rezultati prvog kolokvija komentar: Općenito gledajući, rezultati su relativno loši :-( Prosjek bodova je 24.46, na 146 pristiglih. To je čak 3.5 boda manje nego lani! Idemo redom... Pohvala svima koji imaju 40 bodova ima ih samo 4. Medutim, za neke moglo je i puno bolje. Svi s 20 bodova ozbiljno su ugroženi takvih je 38. Kolokviji ispituju gradivo cijelog kolegija, a ne samo vježbe! Nažalost, samo (manji) dio vas je to ozbiljno shvatio. NumMat 2017, 8. predavanje p. 3/122

Komentar rezultata 1. kolokvija nastavak Evo statistike po zadacima, na 146 pristiglih studenata: Zadatak 1 2 3 4 5 ukupno Uk. bod. 10 10 10 10 10 50 Prosjek 2.64 3.40 5.98 9.24 3.20 24.46 Komentar o tužnom dijelu rezultata (bez 1. zadatka): 2. zad. Limes uvjetovanosti = l Hospitalovo pravilo, a funkcija i popravak su primjer s predavanja. 3. zad. Egistencija i jedinstvenost za LR = predavanja. Savjet: Isplati se bar pogledati i predavanja. 5. zad. Pa to su vježbe! Što bi??? NumMat 2017, 8. predavanje p. 4/122

Informacije riješeni zadaci... Zadaci. Na mojoj i službenoj web stranici možete naći riješene zadatke iz neprekidnih najmanjih kvadrata (pdf format). Tamo ima 6 zadataka s detaljnim rješenjima, a neki zadaci imaju i dva rješenja. Neprekidni najmanji kvadrati se detaljno rade na predavanjima, skupa sa zadacima, a ovo je dodatak za vježbanje. NumMat 2017, 8. predavanje p. 5/122

Informacije Konzultacije: samo za NM: utorak u 15 sati (iza predavanja), petak, 12 14 sati, ili po dogovoru. Ne zaboravite, žive su i domaće zadaće na adresi http://web.math.hr/nastava/unm/zadace.php ili, izravno http://degiorgi.math.hr/nm/ Dodatni bodovi čekaju na vas. NumMat 2017, 8. predavanje p. 6/122

Informacije Moja web stranica za Numeričku matematiku je http://web.math.hr/~singer/num_mat/ Tamo su kompletna predavanja iz prošlih godina, a stizat će i nova (kako nastaju). Skraćena verzija skripte 1. dio (prvih 7 tjedana): http://web.math.hr/~singer/num_mat/num_mat1.pdf Skraćena verzija skripte 2. dio (drugih 6 tjedana): http://web.math.hr/~singer/num_mat/num_mat2.pdf NumMat 2017, 8. predavanje p. 7/122

Householderovi reflektori NumMat 2017, 8. predavanje p. 8/122

Householderovi reflektori Za zadani jedinični vektor u R m, matrica H definirana s H = H(u) := I 2uu T, u 2 = 1, zove se Householderov reflektor. Matrica H je simetrična, i ortogonalna, jer je HH T = H 2 = (I 2uu T )(I 2uu T ) = I 4uu T +4u(u T u)u T = I 4uu T +4 u 2 2uu T = I. NumMat 2017, 8. predavanje p. 9/122

Zašto baš ime reflektor? Promatrajmo hiperravninu koja je okomita na vektor u. Reflektor H sve vektore x preslikava u simetrične obzirom na tu hiperravninu, x = Hx. u x x NumMat 2017, 8. predavanje p. 10/122

Poništavanje Householderovim reflektorima Neka je zadan vektor x. Treba naći Householderov reflektor H koji poništava sve komponente vektora x, osim prve. Dakle, treba naći jedinični vektor u koji definira takav reflektor H. Tražimo da je Hx = c 0. 0 = c e 1, c R. Za početak, H je unitarna matrica, pa čuva normu vektora, odakle slijedi da je c = ± x 2. x 2 = Hx 2 = c. NumMat 2017, 8. predavanje p. 11/122

Poništavanje Householderovim reflektorima Napišimo traženu jednadžbu preko nepoznatog vektora u Hx = (I 2uu T )x = x 2u(u T x) = ± x 2 e 1. Uočimo da je u T x broj = skalarni produkt dva vektora. Zanemarimo na trenutak mogućnost da je u T x = 0. Onda je u = 1 2(u T x) (x x 2e 1 ). Obzirom na to da u T x ne znamo, možemo zaključiti da je u = α(x x 2 e 1 ), za neki α R, tj. da je u paralelan s vektorom ũ = x x 2 e 1. Konačno, konstantu α nalazimo normiranjem vektora ũ na normu 1. NumMat 2017, 8. predavanje p. 12/122

Poništavanje Householderovim reflektorima Prema tome, u = ũ ũ 2, ako je ũ 0. U protivnom, stavljamo u = 0, odnosno, H = I. Uočite da oba izbora predznaka ( ) u definiciji ũ uvijek daju Hx = c e 1 = ± x 2 e 1. Ako je x = 0, onda je ũ = 0, a to znači da je H = I. Tada možemo uzeti bilo koji u, jer je H 0 = 0 za svaki H. U protivnom je i x 2 0, pa barem jedan izbor predznaka ( ) u formuli za ũ daje ũ 0. Ako drugi izbor daje ũ = 0, onda je x = ± x 2 e 1. Dakle, oba reflektora su korektna. NumMat 2017, 8. predavanje p. 13/122

Izbor predznaka za u Ranija mogućnost da je u T x = 0 ne pravi nikakve poteškoće. Onda je Hx = x = ± x 2 e 1 i samo tada bar jedan izbor predznaka daje ũ = 0. Dobiveni H(u) je i tada korektan! Za x 0, u praksi se, zbog numeričke stabilnosti, često koristi ũ = x+sign(x 1 ) x 2 e 1, zato da nema kraćenja pri računanju prve komponente od ũ, tj. da oba pribrojnika budu istog znaka, ũ 1 = x 1 +sign(x 1 ) x 2. To znači da je c = sign(x 1 ), što ponekad zbunjuje u praksi. Na primjer, za x = e 1 dobivamo Hx = e 1! Stvarno, uz pažljiviji poredak računanja, to nije potrebno! NumMat 2017, 8. predavanje p. 14/122

Drugi način definicije H Napomena. Normiranje ũ u se, formalno, može izbjeći, ako definiramo H(ũ) = I 2 ũũt ũ T ũ. Kako djelovati s H na ostale stupce? Kad smo izračunali u, ne treba računati cijelu matricu H. Dovoljno je pogledati kako ona djeluje na neki vektor z: Hz = (I 2uu T )z = z 2u(u T z). Dakle, treba izračunati skalarni produkt u T z, a zatim modificirati vektor z (to je neki stupac radne matrice). Ako koristimo H(ũ), onda ũ T z stalno treba dijeliti s ũ 2 2. NumMat 2017, 8. predavanje p. 15/122

QR faktorizacija korištenjem reflektora QR faktorizacija provodi se sustavnom primjenom Householderovih reflektora na matricu G i to slijeva. Prvo se reflektorom H 1 ponište svi elementi prvog stupca (do na prvi), a na ostale stupce se djeluje reflektorom H 1. Zatim se ponište elementi dijela drugog stupca od dijagonale nadolje (osim dijagonalnog elementa). To se radi skraćenim reflektorom H 2. Na cijelu radnu matricu onda djelujemo reflektorom [ ] 1 H 2 =. H 2 U pripadnom vektoru u, prva komponenta je u 1 = 0. NumMat 2017, 8. predavanje p. 16/122

QR faktorizacija korištenjem reflektora I tako redom. U k-tom koraku, za k = 1,...,n, reflektorom H k se poništava k-ti skraćeni stupac u radnoj matrici od dijagonale nadolje. Na cijelu radnu matricu onda djelujemo reflektorom [ ] I H k =, s tim da je I reda k 1, a H k je reda m k +1. Ako želimo formirati ortogonalnu matricu Q, onda je H n H n 1 H 1 G = R, tj. Q T = H n H n 1 H 1, ili Q = (H n H n 1 H 1 ) T = H 1 H n 1 H n. H k NumMat 2017, 8. predavanje p. 17/122

QR faktorizacija i pivotiranje NumMat 2017, 8. predavanje p. 18/122

Računanje QR faktorizacije Neka je G zadana matrica tipa m n, s tim da je m n. Računanje QR faktorizacije matrice G provodimo u nizu od n koraka. Ako dozvolimo i m < n, broj koraka je min{m, n}. Na početku algoritma označimo R (0) := G. Opišimo kako izgleda k ti korak algoritma, za k = 1,...,n. Na početku k-tog koraka trenutna radna matrica je R (k 1). U njoj prvih k 1 stupaca već ima gornjetrokutastu formu, tj. nule ispod dijagonale. Ti stupci se više neće mijenjati! NumMat 2017, 8. predavanje p. 19/122

Računanje QR faktorizacije Izgled radne matrice R (k 1) na početku k-tog koraka: r (1) 1,1 r (2) 1,2 r (k 1) 1,k 1 r (2) 2,2 r (k 1) 2,k 1.... r (k 1) k 1,k 1 r (k 1) 1,k r (k 1) 1,n r (k 1) 2,k r (k 1) 2,n. r (k 1) k 1,k r (k 1) k 1,n r (k 1) k,k r (k 1) k,n. r (k 1) m,k r m,n (k 1)... NumMat 2017, 8. predavanje p. 20/122

Računanje QR faktorizacije U k-tom koraku u matrici R (k 1) poništavamo sve elemente k-tog stupca ispod dijagonale, nekom ortogonalnom transformacijom Q k. Tako dobivamo novu radnu matrcu R (k) koja ima jedan sredeni stupac više. Ovu transformaciju možemo prikazati u obliku R (k) = Q k R (k 1), k = 1,...,n. Na kraju dobivamo gornju trokutastu matricu R := R (n). Nije bitno kako računamo Q k rotacijama ili reflektorima! NumMat 2017, 8. predavanje p. 21/122

Pivotiranje stupaca u QR faktorizaciji Slično kao kod LR faktorizacije, i kod QR faktorizacije možemo koristiti pivotiranje. Uobičajeno se koristi pivotiranje stupaca GP = QR, gdje je P matrica permutacije. Ako su x l, l = k,...,n, skraćeni stupci, na prvo mjesto dovodi se onaj s najvećom normom, tj. takav da je x k 2 maksimalna. Postupak dovodenja na prvo mjesto ponavljamo u svakom koraku QR faktorizacije sa sve kraćim i kraćim stupcima. NumMat 2017, 8. predavanje p. 22/122

Svrha pivotiranja Svrha? Ako je matrica G bila takva da su joj stupci (skoro) linearno zavisni, onda se QR faktorizacijom s pivotiranjem odreduje rang matrice G. Teorem. Neka je G R m n matrica ranga r. Tada postoje n n matrica permutacije P, ortogonalna matrica Q reda m, te gornja trokutasta matrica R 0 ranga r, tipa min{m,n} n, tako da vrijedi i (R 0 ) kk 2 GP = QR = Q [ R 0 0 j (R 0 ) ij 2, 1 k min{m,n}, k j n. i=k ] NumMat 2017, 8. predavanje p. 23/122

Rješenje matrične formulacije korištenjem QR faktorizacije NumMat 2017, 8. predavanje p. 24/122

Korištenje QR faktorizacije Već smo najavili da ćemo za rješenje diskretnog problema najmanjih kvadrata koristiti QR faktorizaciju. Prisjetimo se, ako je A punog stupčanog ranga (tj. vrijedi rang(a) = m), onda QR faktorizacija matrice A ima oblik [ ] A = QR = [ Q 0 Q 0 ] R 0 = Q 0 R 0. 0 Za početak, ako minimiziramo Ax b 2 2, minimizirali smo i Ax b 2. Zbog unitarne invarijantnosti 2-norme, imamo min x Ax b 2 2 = min x Q T (Ax b) 2 2 = min x Q T Ax Q T b 2 2. NumMat 2017, 8. predavanje p. 25/122

Korištenje QR faktorizacije Za Q uzmimo ortogonalnu matricu iz QR faktorizacije, pa je [ ] 2 min Q T (Ax b) 2 R 0 2 = min x Q T b x x 0 = min x = min x [ [ R 0 0 ] x [ R 0 x Q T 0b 0 (Q 0) T b 2 Q T 0 (Q 0) T ] ] b = min x ( R 0 x Q T 0b 2 2 + (Q 0) T b 2 2 2 2 2 2 ). NumMat 2017, 8. predavanje p. 26/122

Korištenje QR faktorizacije Primijetimo da samo prvi član u prethodnom minimumu ovisi o x, a drugi ne. Budući da je R 0 kvadratna i punog ranga, onda je i regularna, pa postoji jedinstveno rješenje x linearnog sustava R 0 x = Q T 0b. Time smo prvi član u kvadratu norme napravili najmanjim mogućim, jer je R 0 x Q T 0b 2 2 = 0. Zaključak. Onda vrijedi min x Ax b 2 = (Q 0) T b 2, a postiže se za vektor x koji je rješenje sustava R 0 x = Q T 0b. NumMat 2017, 8. predavanje p. 27/122

Drugi način Napomena. Postoji i lakši način da se dode do prethodnog zaključka, ako znamo da su rješenja problema minimizacije min x Ax b 2 jednaka rješenju sustava normalnih jednadžbi A T Ax = A T b. Ako je A T A nesingularna, što je ekvivalentno tome da A ima puni stupčani rang, onda problem najmanjih kvadrata ima jedinstveno rješenje x = (A T A) 1 A T b. NumMat 2017, 8. predavanje p. 28/122

Drugi način Napravimo skraćenu QR faktorizaciju matrice A A = Q 0 R 0. Uvrštavanjem u rješenje x izlazi x = (A T A) 1 A T b = ((Q 0 R 0 ) T Q 0 R 0 ) 1 (Q 0 R 0 ) T b = (R T 0Q T 0Q 0 R 0 ) 1 R T 0Q T 0b = (R T 0R 0 ) 1 R T 0Q T 0b = R 1 0 (R T 0) 1 R T 0Q T 0b = R 1 0 Q T 0b, pa je x, očito, rješenje sustava R 0 x = Q T 0b. NumMat 2017, 8. predavanje p. 29/122

Primjer Primjer. Diskretnom linearnom metodom najmanjih kvadrata nadite funkciju oblika ϕ(x) = x+a bx+c koja aproksimira slijedeći skup podataka (točaka): x i 0 1 2 3 4 f i 2.02 0.97 0.82 0.70 0.67. Nadite aproksimacije i pogreške u čvorovima x i i sumu kvadrata apsolutnih grešaka S. NumMat 2017, 8. predavanje p. 30/122

Primjer linearizacija Rješenje nadite korištenjem sustava normalnih jednadžbi i faktorizacije Choleskog, korištenjem QR faktorizacije, korištenjem QR faktorizacije s pivotiranjem stupaca. Rješenje. Traženi oblik funkcije je nelinearan, pa ga treba linearizirati. To možemo napraviti na više načina. 1. Pomnožimo oblik funkcije ϕ s bx+c i dobivamo odnosno (bx+c)ϕ(x) = x+a, a+bxϕ(x)+cϕ(x) = x. NumMat 2017, 8. predavanje p. 31/122

Primjer linearizacija 2. Ovu funkciju a+bxϕ(x)+cϕ(x) = x možemo podijeliti s ϕ(x), pa dobivamo drugu linearizaciju a Primijetite da ove dvije linearizacije 1 ϕ(x) +bx+c = x ϕ(x). ne moraju (i neće) dati isto rješenje! Obje pripadaju grupi linearizacija oblika pri čemu je w = w(u,v). D+Eu+Fv = w, NumMat 2017, 8. predavanje p. 32/122

Primjer sustav normalnih jednadžbi Prvo riješimo problem korištenjem sustava normalnih jednadžbi i faktorizacije Choleskog. Za 1. slučaj metoda najmanjih kvadrata ima oblik S = n i=0 ( wi ( a+bu i +cv i ) ) 2 min, pri čemu su supstitucije za varijable u = xϕ(x), v = ϕ(x), w = x, a za vrijednosti varijabli u čvorovima u i = x i f i, v i = f i, w i = x i. NumMat 2017, 8. predavanje p. 33/122

Primjer sustav normalnih jednadžbi Deriviranjem po sve tri varijable izlazi S n a = 2 i=0 S b = 2 n i=0 S c = 2 n i=0 ( wi ( a+bu i +cv i ) ) ( 1) = 0 ( wi ( a+bu i +cv i ) ) u i = 0 ( wi ( a+bu i +cv i ) ) v i = 0. NumMat 2017, 8. predavanje p. 34/122

Primjer sustav normalnih jednadžbi Odavde dobivamo simetrični, pozitivno definitni linearni sustav n n n (n+1) u i v i w i i=0 i=0 n n n a i=0 u i u 2 i u i v i b i=0 i=0 i=0 = n u i w i i=0 n n n c v i u i v i vi 2 n v i w i i=0 i=0 i=0 i=0. NumMat 2017, 8. predavanje p. 35/122

Primjer sustav normalnih jednadžbi Kad uvrstimo zadane podatke, za 1. slučaj dobivamo linearni sustav Mx = d, gdje je 5 7.39 5.18 10 M = 7.39 15.2229 5.5513, d = 21.27. 5.18 5.5513 6.6326 7.39 Faktorizacija Choleskog matrice M je M = R T R, uz 2.2360679775 3.3049084707 2.3165664247 R 2.0737598704 1.0149391114 0.4858174557. NumMat 2017, 8. predavanje p. 36/122

Primjer sustav normalnih jednadžbi Sad moramo još riješiti dva trokutasta sustava: R T y = d, Rx = y. Rješenja prvog, pa drugog sustava su 4.4721359550 y 3.1295812465, x 0.4247159232 1.7685862981 1.9369990502 0.8742294419. Prema tome, rješenje za parametre u 1. slučaju je a = 1.7685862981, b = 1.9369990502, c = 0.8742294419. NumMat 2017, 8. predavanje p. 37/122

Primjer sustav normalnih jednadžbi Vrijednosti u čvorovima dobivamo tako da uvrstimo x i u ϕ(x) ϕ(x i ) = x i +1.7685862981 1.9369990502x i +0.8742294419, pripadne greške su f i ϕ(x i ), a zbroj kvadrata grešaka je S = 4 (f i ϕ(x i )) 2. i=0 Izračunajte sami! NumMat 2017, 8. predavanje p. 38/122

Primjer sustav normalnih jednadžbi Za 2. slučaj treba uvesti supstitucije za varijable u = 1 ϕ(x), v = x, w = x ϕ(x), i vrijednosti varijabli u čvorovima u i = 1 ϕ(f i ), v i = x i, w i = x i f i. Metoda najmanjih kvadrata imat će oblik S = n i=0 ( wi (au i +bv i c) ) 2 min. NumMat 2017, 8. predavanje p. 39/122

Primjer sustav normalnih jednadžbi Pripadni linearni sustav glasi Mx = d, gdje je 7.0636 13.7258 5.6666 M 13.7258 30 10, d 5.6666 10 5 Rješenje za parametre u 2. slučaju je a = 1.7522057170, b = 1.9387446017, c = 0.8534831289. Ova rješenja se ponešto razlikuju od prethodnih! 19.0704 42.6467 13.7258. NumMat 2017, 8. predavanje p. 40/122

Primjer QR faktorizacija Riješimo sad 1. slučaj korištenjem QR faktorizacije. Uvrštavanjem točaka (x i,f i ) u dobivamo a+bxϕ(x)+cϕ(x) = x, a+bx i f i +cf i = x i, i = 0,...,4, pa su A i b iz problema minimizacije jednaki 1 0.00 2.02 1 0.97 0.97 A = 1 1.64 0.82, b = 1 2.10 0.70 1 2.68 0.67 0 1 2 3 4. NumMat 2017, 8. predavanje p. 41/122

Primjer QR faktorizacija Skraćena forma QR faktorizacije od A je A = Q 0 R 0, gdje je 0.4472135955 0.7127151128 0.5364927787 0.4472135955 0.2449656815 0.6476203098 Q 0 0.4472135955 0.0781189772 0.2814102151, 0.4472135955 0.2999382951 0.0650056784 0.4472135955 0.5796235221 0.4575434246 R 0 2.2360679775 3.3049084707 2.3165664247 2.0737598704 1.0149391114 0.4858174557 Uočite: R 0 = R iz faktorizacije Choleskog za M = A T A.. NumMat 2017, 8. predavanje p. 42/122

Primjer QR faktorizacija Desna strana linearnog sustava je Q T 0b, gdje je 4.4721359550 Q T 0b 3.1295812465. 0.4247159232 Rješenje trokutastog sustava R 0 x = Q T 0b je 1.7685862981 x 1.9369990502 0.8742294419 Napravite isto sami za drugu linearizaciju. NumMat 2017, 8. predavanje p. 43/122

Primjer QR faktorizacija s pivotiranjem Ako napravimo QR faktorizaciju s pivotiranjem stupaca, dobit ćemo AP = Q 0 R 0, gdje je poredak stupaca p = [2,3,1], 0.0000000000 0.9409894604 0.3321538334 0.2486125437 0.2870820614 0.7315708741 Q 0 0.4203346099 0.1033900358 0.3129274676, 0.5382333419 0.0306530483 0.0596152612 0.6868882649 0.1431559168 0.5029913595 R 0 3.9016534956 1.4228070243 1.8940687604 2.1466765410 1.1576525926 0.2689684102. NumMat 2017, 8. predavanje p. 44/122

Primjer QR faktorizacija s pivotiranjem Desna strana linearnog sustava je Q T 0b, gdje je 5.4515348490 Q T 0b 0.1707206788. 0.4756938448 Dobiveno rješenje trokutastog sustava R 0 x = Q T 0b je 1.9369990502 x 0.8742294419. 1.7685862981 NumMat 2017, 8. predavanje p. 45/122

Primjer QR faktorizacija s pivotiranjem Sad još treba vratiti x u pravi poredak. Budući da je finalni pivotni vektor bio p = [2,3,1], to odgovara matrici permutacije P = 0 1 0 0 0 1 1 0 0. Pravo rješenje x dobit ćemo kao x = P T x = 1.7685862981 1.9369990502 0.8742294419. NumMat 2017, 8. predavanje p. 46/122

Veza QR faktorizacije i faktorizacije Choleskog Neka je G pravokutna matrica tipa (m,n), koja ima puni stupčani rang, tj. rang(g) = n m. Matrica G ima jedinstvenu skraćenu QR faktorizaciju, pa je puni QR oblika [ ] R 0 G = Q, 0 gdje je R 0 jedinstvena gornja trokutasta matrica reda n, s pozitivnim dijagonalnim elementima, a Q je unitarna matrica. S druge strane, neka je H := G G Gramova matrica skalarnih produkata stupaca matrice G. Znamo da je onda H pozitivno definitna matrica. Zato H ima jedinstvenu faktorizaciju Choleskog... NumMat 2017, 8. predavanje p. 47/122

Veza QR faktorizacije i faktorizacije Choleskog H = R R, gdje je R gornja trokutasta s pozitivnom dijagonalom. Tvrdnja. Ovi trokutasti faktori su jednaki, tj. vrijedi R = R 0. Dokaz. U H = G G uvrstimo QR faktorizaciju od G i skratimo Q Q = I. Jedinstvenost faktora R daje tvrdnju. Ista veza (jednakost) vrijedi i za faktorizacije s pivotiranjem: pivotiranje stupaca po normi u QR faktorizaciji, i dijagonalno pivotiranje u faktorizaciji Choleskog. Korist: ako znamo faktor G matrice H, i tražimo R, ne treba računati H, pa Choleskog, već samo QR od G. NumMat 2017, 8. predavanje p. 48/122

Neprekidni problem najmanjih kvadrata NumMat 2017, 8. predavanje p. 49/122

Još jednom o najmanjim kvadratima U uvodu o aproksimaciji rečeno je da se parametri funkcije ϕ F po metodi najmanjih kvadrata, traže tako da bude min e(x) 2, ϕ F pri čemu je e(x) = f(x) ϕ(x). Da bismo mogli naći minimalnu grešku u neprekidnom slučaju, moramo definirati skalarni produkt za neprekidne funkcije na odgovarajućem intervalu. Definicija norme nije dovoljna, jer je rješenje već u diskretnom slučaju bila projekcija na potprostor, a za to nam je potreban skalarni produkt. NumMat 2017, 8. predavanje p. 50/122

Definicija norme i skalarnog produkta Neka je w(x) zadana funkcija. w(x) je težinska funkcija ako je w(x) 0 na intervalu [a,b], w(x) može biti jednaka 0 samo u izoliranim točkama. Težinska L 2 -norma (ili samo 2-norma) funkcije u na [a,b] je u 2 = ( b a w(x) u(x) 2 dx) 1/2. Ako je ta norma konačna i za funkciju u i za funkciju v, onda možemo definirati težinski skalarni produkt u,v = b a w(x) u(x)v(x) dx. NumMat 2017, 8. predavanje p. 51/122

Definicija skalarnog produkta Skalarni produkt u, v je dobro definiran (konačan), jer vrijedi Cauchy Schwarzova nejednakost u, v je skalarni produkt, jer u,v u 2 v 2. 1. u,u 0, a jednak je 0 za one funkcije u koje su nula u svim točkama gdje je w(x) > 0 (v. Mjera i integral), 2. vrijedi linearnost u prvom argumentu α 1 u 1 +α 2 u 2,v = α 1 u 1,v +α 2 u 2,v, 3. i antilinearnost/linearnost (C/R) u drugom argumentu, u,β 1 v 1 +β 2 v 2 = β 1 u,v 1 + β 2 u,v 2. NumMat 2017, 8. predavanje p. 52/122

Ortogonalne funkcije Napomena. Ako se radi o realnim funkcijama, onda kompleksno konjugiranje drugog argumenta izbacujemo. U nastavku radimo samo s poljem R, tj. s realnim funkcijama. Za funkcije u i v reći ćemo da su ortogonalne ako vrijedi u,v = 0. Ako su u i v ortogonalne, onda vrijedi u+v 2 = u,u + u,v + v,u + v,v Pitagorin poučak! = u 2 +2 u,v + v 2 = u 2 + v 2. NumMat 2017, 8. predavanje p. 53/122

Sustavi ortogonalnih funkcija Ako imamo sustav ortogonalnih funkcija u k, k = 0,...,m, za koje vrijedi u i,u j = 0, za i j, i,j = 0,...,m, i u k 0 tamo gdje je w(x) > 0, onda vrijedi m 2 m α k u k = α k 2 u k 2 2. k=0 2 k=0 Prethodna jednakost znači da je ortogonalni sustav funkcija linearno nezavisan tamo gdje je w(x) > 0. Ako je lijeva strana jednaka nula, mora biti i desna, a po pretpostavci je u k 2 > 0, pa je jedino moguće da je α k = 0 za k = 0,...,m. NumMat 2017, 8. predavanje p. 54/122

Norma kvadrata greške Ako je ϕ linearna funkcija, tj. ϕ(x) = a 0 ϕ 0 (x)+ +a m ϕ m (x), onda za normu kvadrata greške dobivamo S := e 2 2 = f ϕ 2 2 = f,f 2 f,ϕ + ϕ,ϕ. Ako uvrstimo oblik funkcije ϕ i definiciju skalarnog produkta, dobivamo S = b a w(x)f 2 (x)dx 2 + b a b a ( m w(x)f(x) ( m w(x) j=0 j=0 ) a j ϕ j (x) dx a j ϕ j (x)) 2 dx. NumMat 2017, 8. predavanje p. 55/122

Sustav normalnih jednadžbi Kvadrat norme greške S je funkcija koeficijenata a j. Dakle, Radi o kvadratnoj funkciji u m+1 varijabli, pa je uvjet minimuma da su sve parcijalne derivacije jednake 0. pa mora biti... 0 = S b = 2 a i a 2 ( m w(x) b a j=0 ) a j ϕ j (x) ϕ i (x)dx w(x)f(x)ϕ i (x)dx, NumMat 2017, 8. predavanje p. 56/122

Sustav normalnih jednadžbi... pa mora biti m a j b w(x)ϕ i (x)ϕ j (x)dx = b w(x)f(x)ϕ i (x)dx, j=0 a a za i = 0,...,m. Uočimo da su odgovarajući integrali skalarni produkti, pa imamo m ϕ i,ϕ j a j = ϕ i,f. Ako označimo j=0 m ij = ϕ i,ϕ j, t i = ϕ i,f, i,j = 0,...,m, NumMat 2017, 8. predavanje p. 57/122

Sustav normalnih jednadžbi pri čemu je a T = [a 0,a 1,...,a m ], onda problem najmanjih kvadrata možemo pisati kao sustav normalnih jednadžbi Matrica M, reda m+1, je očito simetrična, Ma = t. ali i pozitivno (semi)definitna. Dodatno, ako su funkcije ϕ 0,...,ϕ m linearno nezavisne na [a, b], onda je M pozitivno definitna matrica. NumMat 2017, 8. predavanje p. 58/122

Pozitivna (semi)definitnost matrice M Pozitivna (semi)definitnost izlazi iz definicije elemenata m ij. Za svaki vektor x imamo m m m m x T Mx = x i x j ϕ i,ϕ j = x i ϕ i,x j ϕ j i=0 j=0 m = x i ϕ i, i=0 j=0 m x j ϕ j = i=0 j=0 m 2 x i ϕ i, i=0 2 što je očito nenegativno. Nuli je jednako ako i samo ako je m x i ϕ i 0, čim je w(x) > 0. i=0 Ako su ϕ 0,...,ϕ m linearno nezavisne, odavde slijedi i x = 0. NumMat 2017, 8. predavanje p. 59/122

Rješenje problema najmanjih kvadrata Neka su funkcije ϕ 0,...,ϕ m linearno nezavisne na [a,b]. Zaključak. Simetrične pozitivno definitne matrice su nesingularne, pa postoji jedinstveno rješenje problema M a = t. Nadalje, izračunati vektor a je jedinstveni minimum za problem najmanjih kvadrata, jer je Hesseova matrica drugih parcijalnih derivacija H, takoder, pozitivno definitna, što slijedi iz tj. H = 2M! h ij = 2 S b = 2 a i a j a w(x)ϕ i (x)ϕ j (x)dx = 2m ij, NumMat 2017, 8. predavanje p. 60/122

Jednostavni primjer Primjer. Neprekidnom metodom najmanjih kvadrata nadite polinom stupnja 1 koji aproksimira funkciju f(x) = e x na intervalu [ 1,1] uz težinsku funkciju w(x) = 1. Rješenje. Treba minimizirati S = 1 (e x a 1 x a 0 ) 2 dx min. 1 NumMat 2017, 8. predavanje p. 61/122

Jednostavni primjer Deriviranjem dobivamo pa uz oznake S 1 = 2 a 1 1 S 1 = 2 a 0 s k := 1 1 1 (e x a 1 x a 0 )xdx (e x a 1 x a 0 )dx, x k dx, t k := treba riješiti sljedeći linearni sustav... 1 1 e x x k dx, NumMat 2017, 8. predavanje p. 62/122

Jednostavni primjer... treba riješiti sljedeći linearni sustav s 2 a 1 +s 1 a 0 = t 1 s 1 a 1 +s 0 a 0 = t 0, Izračunajmo integrale s lijeve strane s k = = 1 1 x k dx = 1 k +1 xk+1 1 1 2, za k paran, k +1 0, za k neparan. = 1 ( 1)k+1 k +1 NumMat 2017, 8. predavanje p. 63/122

Jednostavni primjer Za integrale desne strane dobivamo t 0 := 1 1 e x dx = e x 1 1 = e e 1 t 1 := 1 1 xe x dx = { u = x dv = e x dx du = dx v = e x } = xe x 1 1 1 1 e x dx = e+e 1 (e e 1 ) = 2e 1. NumMat 2017, 8. predavanje p. 64/122

Jednostavni primjer Linearni sustav tada glasi: 2 3 a 1 +0 a 0 = 2e 1 0 a 1 +2 a 0 = e e 1, a njegovo rješenje je a 1 = t 1 s 2 = 3e 1 1.103638324, a 0 = t 0 = e e 1 s 0 2 = sh(1) 1.175201194. Pravac dobiven neprekidnom metodom najmanjih kvadrata je p 1 (x) 1.103638324x+1.175201194. NumMat 2017, 8. predavanje p. 65/122

Složeniji primjer Primjer. Neprekidnom metodom najmanjih kvadrata nadite polinome stupnjeva 1, 2 i 3 koji aproksimiraju funkciju f(x) = sinx na intervalu [0,π] uz težinsku funkciju w(x) = cosx. Rješenje. Skicirajmo prvo funkcije f i w. 1 cosx π 2 sinx π NumMat 2017, 8. predavanje p. 66/122

Složeniji primjer Budući da su obje funkcije simetrične oko točke π 2, polinome se isplati pisati u bazi (x π 2 )k. Ključna je parnost težinske funkcije w oko π, jer u matrici 2 sustava dobivamo hrpu nula (oko polovine elemenata). Neka je p n polinom stupnja n, zapisan u toj par nepar bazi Treba minimizirati S = π 0 p n (x) = n k=0 a nk ( x π 2) k. cosx ( sinx p n (x) ) 2 dx min. NumMat 2017, 8. predavanje p. 67/122

Složeniji primjer Iz uvjeta S a nk = 0, k = 0,...,n, dobivamo linearni sustav n j=0 a nj π 0 ( cosx x π ) k+jdx π = 2 0 ( cosx sinx x π kdx, 2) za k = 0,...,n. NumMat 2017, 8. predavanje p. 68/122

Složeniji primjer Nadimo sad potrebne integrale: π 0 ( x π ) k cosx dx = 2 = π 2 π 2 y k siny dy = 2 y = x π 2 dy = dx π 2 0 x = 0 y = π 2 x = π y = π 2 0, za k neparan, y k sinydy, za k paran. Napomena. Neparni koeficijenti su nula jer je baza pogodno odabrana, tako da koristi činjenicu da je w(x) parna funkcija obzirom na π. Baza sadrži samo parne i neparne funkcije. 2 NumMat 2017, 8. predavanje p. 69/122

Složeniji primjer Nadimo rekurziju za integral s k := 2 π 2 0 y k sinydy = ( = 2 y k cosy = { u = y k 1 dv = cosydy = 2ky k 1 siny ( π = 2k 2 π 2 0 π 2 0 { u = y k +k dv = sinydy π 2 0 ) y k 1 cosydy du = (k 1)y k 2 } dy v = siny ( k(k 1) 2 ) k 1 k(k 1)sk 2. π 2 0 du = ky k 1 dy v = cosy ) y k 2 sinydy } NumMat 2017, 8. predavanje p. 70/122

Složeniji primjer Još treba izračunati Sada je s 0 = π 2 π 2 siny dy = 2 π 2 s 2 = 4 π 2 4s 0 = 2π 4, 0 sinydy = 2cosy π 2 0 = 2. ( π ) 3 s 4 = 8 12s2 = π 3 24π +48, 2 ( π ) 5 s 6 = 12 30s4 = 3 2 8 π5 24π 3 +720π 1440. NumMat 2017, 8. predavanje p. 71/122

Složeniji primjer Ostaje još izračunati integrale s desne strane: t k := 2 π ( x π 2) k cosx sinxdx = 0 y = x π 2 dy = dx x = 0 y = π 2 x = π y = π 2 = π 2 π 2 y k siny cosydy = 2 π 2 0, za k neparan, y k sinycosydy = π 2 y k sin(2y)dy, za k paran. 0 0 NumMat 2017, 8. predavanje p. 72/122

Složeniji primjer Za parne indekse k s desne strane imamo t k := π 2 0 y k sin(2y)dy = = 1 2 yk cos(2y) = { u = y k 1 dv = cos(2y)dy π 2 0 + k 2 { u = y k dv = sin(2y)dy π 2 0 ) y k 1 cos(2y)dy du = (k 1)y k 2 } dy v = sin(2y)/2 = 1 ( π ) k k + 2 2 2 1 2 yk 1 sin(2y) = 1 ( π ) k k(k 1) t k 2. 2 2 4 π 2 0 k 1 2 du = ky k 1 dy v = cos(2y)/2 π 2 0 } y k 2 sin(2y)dy NumMat 2017, 8. predavanje p. 73/122

Složeniji primjer Još treba izračunati Sada je t 0 = π 2 0 t 2 = 1 2 sin(2y)dy = 1 2 cos(2y) π 2 ( π 2 0 = 1. ) 2 1 2 t 0 = π2 8 1 2 = π2 4. 8 Linearni sustav sada ima oblik n j=0 a nj s k+j = t k, k = 0,...,n. NumMat 2017, 8. predavanje p. 74/122

Složeniji primjer Za n = 1 sustav je: s 0 a 10 +s 1 a 11 = t 0 s 1 a 10 +s 2 a 11 = t 1. Kad uvrstimo izračunate s k i t k, imamo 2 a 10 + 0 a 11 = 1 0 a 10 +(2π 4) a 11 = 0. Rješenje tog sustava je a 10 = 1 2, a 11 = 0, pa je aproksimacijski polinom p 1 (x) = 1 2. NumMat 2017, 8. predavanje p. 75/122

Složeniji primjer Za n = 2 sustav je: s 0 a 20 +s 1 a 21 +s 2 a 22 = t 0 s 1 a 20 +s 2 a 21 +s 3 a 22 = t 1 s 2 a 20 +s 3 a 21 +s 4 a 22 = t 2. Ako uvrstimo izračunate veličine, sustav glasi: 2 a 20 + 0 a 21 + (2π 4) a 22 = 1 0 a 20 +(2π 4) a 21 + 0 a 22 = 0 (2π 4) a 20 + 0 a 21 +(π 3 24π+48) a 22 = π2 4 8. NumMat 2017, 8. predavanje p. 76/122

Složeniji primjer Rješenje tog sustava je a 20 0.964909552, a 21 = 0, a 22 0.407246447, pa je aproksimacijski polinom ( p 2 (x) 0.407246447 x π 2 +0.964909552. 2) Za n = 3 dobije se rješenje p 3 = p 2 (provjerite sami). Uočiti bitna olakšanja uz izbor par nepar baze (x π 2 )k : Zbog parne simetrije težine i zadane funkcije oko točke π 2, u svim polinomima ostaju samo parni članovi, tj. koeficijenti uz neparni dio baze su jednaki nula! NumMat 2017, 8. predavanje p. 77/122

Još jedan primjer Primjer. Ako funkciju f(x) na [0,1] uz w(x) = 1 aproksimiramo polinomom stupnja n po neprekidnoj metodi najmanjih kvadrata, matrica linearnog sustava je pri čemu su M = s k := 1 0 s 0 s 1 s n s 1 s 2 s n+1.. s n s n+1 s 2n x k dx = xk+1 k +1 1 0, = 1 k +1. Matrica linearnog sustava je Hilbertova matrica reda n + 1! NumMat 2017, 8. predavanje p. 78/122

Komentari primjera U posljednja dva primjera uočili smo sljedeće: Ako za bazu biramo funkcije 1,x,x 2,..., matrica sustava može biti vrlo loše uvjetovana. U složenijem primjeru, podizanjem stupnja polinoma mijenjaju se koeficijenti polinoma p n. Na primjer, a 0 ovisi o stupnju n. Prethodna dva problema otklanjaju se ako se za bazu funkcija uzmu ortogonalne funkcije. NumMat 2017, 8. predavanje p. 79/122

Ortogonalne funkcije NumMat 2017, 8. predavanje p. 80/122

Ortogonalne funkcije i najmanji kvadrati Linearni sustav za neprekidni problem najmanjih kvadrata zapisali smo kao m ϕ i,ϕ j a j = ϕ i,f, i = 0,...,m. j=0 Ako ϕ i, i = 0,...,m, tvore ortogonalni sustav funkcija, onda je ϕ i,ϕ j = 0 za i j, ϕ j,ϕ j = ϕ j 2 > 0. Uvrštavanjem u linearni sustav, dobivamo da je sustav dijagonalan, a njegovo rješenje je a j = ϕ j,f ϕ j,ϕ j, j = 0,...,m. NumMat 2017, 8. predavanje p. 81/122

Problemi Oblikom koeficijenata a j nismo izbjegli sve probleme. Tipično norme ϕ j 2 2 padaju kad j raste, dok su brojnici reda veličine f. Za koeficijente a j se očekuje da rapidno padaju. Zbog toga se očekuju greške nastale kraćenjem pri računanju skalarnog produkta u brojniku. Alternativna forma za računanje a j je a j = 1 f ϕ j 2 2 j 1 k=0 a k ϕ k,ϕ j, j = 0,...,m. Uočite da je skalarni produkt sume s ϕ j jednak nuli zbog ortogonalnosti. NumMat 2017, 8. predavanje p. 82/122

Algoritam računanja koeficijenata Sljedeći algoritam računa ne samo a j, nego i aproksimaciju ϕ (m) (x) = m j=0 a j ϕ j (x). Računanje koeficijenata s[-1] = 0; za j = 0 do m radi { a[j] = f - s[j - 1], phi[j] / phi[j] 2 2; s[j] = s[j - 1] + a[j] * phi[j]; }; Vrijednost ϕ (m) (x) izračunata je u s[m]. NumMat 2017, 8. predavanje p. 83/122

Projekcija je opet rješenje Tvrdimo da je greška aproksimacije f ϕ (m) okomita na sve linearne kombinacije funkcija ϕ k, za k = 0,...,m. Dovoljno je pokazati da je greška okomita na svaki ϕ k f ϕ (m),ϕ k = f m a j ϕ j,ϕ k = f a k ϕ k,ϕ k j=0 = f,ϕ k a k ϕ k,ϕ k = f,ϕ k ϕ k,f ϕ k,ϕ k ϕ k,ϕ k = 0. Dobiveni rezultat ima jednostavno geometrijsko značenje aproksimacija je ortogonalna projekcija na prostor Φ m razapet funkcijama ϕ k, za k = 0,...,m. NumMat 2017, 8. predavanje p. 84/122

Projekcija je opet rješenje Iz ortogonalnosti f ϕ (m),ψ = 0, gdje je ψ Φ m bilo koja linearna kombinacija ϕ k, zaključujemo da je i f ϕ (m),ϕ (m) = 0. Tada, zbog okomitosti, možemo pisati f 2 2 = f ϕ (m) 2 2 + ϕ (m) 2 2 = f ϕ (m) 2 2 + m = f ϕ (m) 2 2 + a j 2 ϕ j 2 2. m j=0 a j ϕ j 2 2 j=0 NumMat 2017, 8. predavanje p. 85/122

Greška rješenja Iz prethodne relacije slijedi da se greška aproksimacije može zapisati kao f ϕ (m) 2 = ( f 2 2 m 1/2 a j 2 ϕ j 2) 2. j=0 Ako je zadan niz prostora Φ m, m = 0,1,2,..., onda je iz prethodne relacije jasno da je f ϕ (0) 2 f ϕ (1) 2 f ϕ (2) 2, što jasno slijedi i iz činjenice da je Φ 0 Φ 1 Φ 2. NumMat 2017, 8. predavanje p. 86/122

Greška rješenja Ako je prostora Φ k beskonačno mnogo, očito je da je norma greške aproksimacije monotono padajuća i odozdo ograničena s 0, pa mora konvergirati. Mora li norma greške konvergirati u 0? Odgovor je ne! Naravno, nužni i dovoljni uvjet da bi greška konvergirala u nulu je f 2 2 = j=0 a j 2 ϕ j 2 2, što se odmah čita iz oblika greške. NumMat 2017, 8. predavanje p. 87/122

Ortogonalizacija Ako je zadan skup funkcija ˆϕ j koje su linearno nezavisne, ali nisu ortogonalne na nekom intervalu, ˆϕ j ortogonaliziramo korištenjem (modificiranog) Gram Schmidtovog procesa ortogonalizacije. Funkcije ϕ j koje razapinju isti prostor kao ˆϕ j ne treba normirati. Ortogonalizacija započinje s: Zatim, za j = 1,2,... stavimo ϕ j := ˆϕ j j 1 k=0 ϕ 0 := ˆϕ 0. a k ϕ k, a k = ˆϕ j,ϕ k. ϕ k 2 2 Tada je ϕ j ortogonalan na sve prethodne ϕ k, k = 0,...,j 1. NumMat 2017, 8. predavanje p. 88/122

Primjer Primjer. Nadite ortogonalnu bazu za prostor razapet funkcijama 1,x,x 2 na intervalu [ 1,1] s težinskom funkcijom w = 1. Rješenje. Skalarni produkt funkcija u i v definiran je s u,v = 1 w(x)u(x)v(x) dx = 1 u(x)v(x) dx. 1 1 Prva funkcija u ortogonalnoj bazi jednaka je prvoj zadanoj funkciji, ϕ 0 (x) = 1. NumMat 2017, 8. predavanje p. 89/122

Primjer Sada je x,ϕ 0 = 1 x 1dx = (neparnost) = 0, pa je ϕ 0,ϕ 0 = 1 1 1 Odatle odmah dobivamo 1 1dx = x 1 1 = 2, a 0 = x,ϕ 0 ϕ 0,ϕ 0 = 0 2 = 0. ϕ 1 (x) = x a 0 1 = x. NumMat 2017, 8. predavanje p. 90/122

Primjer Za ortogonalni polinom stupnja 2 treba izračunati a 0 i a 1 1 x 2,ϕ 0 = x 2 1dx = x3 1 3 = 2 3, x 2,ϕ 1 = 1 1 1 x 2 xdx = (neparnost) = 0, ϕ 1,ϕ 1 = 1 1 x xdx = 2 3, pa je 1 a 0 = x2 2,ϕ 0 ϕ 0,ϕ 0 = 3 2 = 1 3, a 1 = x2,ϕ 1 ϕ 1,ϕ 1 = 0 2 3 = 0. NumMat 2017, 8. predavanje p. 91/122

Primjer Odatle je ϕ 2 (x) = x 2 a 1 x a 0 1 = x 2 1 3. Primjer. Korištenjem ortogonalnih polinoma izračunatih u prethodnom primjeru, po neprekidnoj metodi najmanjih kvadrata nadite polinome stupnjeva 0 i 1 koji aproksimiraju funkciju f(x) = e x na intervalu [ 1,1] uz težinsku funkciju w(x) = 1. NumMat 2017, 8. predavanje p. 92/122

Jednostavni primjer ortogonalni polinomi Rješenje problema najmanjih kvadrata je funkcija ϕ (m) = m j=0 a j ϕ j, a j = ϕ j,f ϕ j,ϕ j, j = 0,1. Za račun koeficijenata a j moramo izračunati 1 1 ϕ 0,ϕ 0 = 1 1dx = 2, ϕ 0,e x = 1 e x dx = e e 1, 1 1 1 1 ϕ 1,ϕ 1 = x xdx = 2 3, ϕ 1,e x = x e x dx = 2e 1. 1 1 NumMat 2017, 8. predavanje p. 93/122

Jednostavni primjer ortogonalni polinomi Odatle odmah izlazi a 0 = e e 1 2 = sh(1), a 1 = 2e 1 2 3 = 3e 1. Aproksimacija konstantom je a polinomom stupnja 1 ϕ (0) (x) = sh(1)ϕ 0 (x) = sh(1) 1, ϕ (1) (x) = sh(1)ϕ 0 (x)+3e 1 ϕ 1 (x) = sh(1) 1+3e 1 x, što se poklapa s već izračunatim rješenjem koje nije koristilo ortogonalne polinome. NumMat 2017, 8. predavanje p. 94/122

Primjeri ortogonalnih familija funkcija NumMat 2017, 8. predavanje p. 95/122

Trigonometrijske funkcije Trigonometrijske funkcije {1,cosx,cos2x,cos3x,...,sinx,sin2x,sin3x,...} čine ortogonalnu familiju funkcija na intervalu [0, 2π] uz težinsku funkciju w(x) = 1. Pokažimo da je to zaista istina. Neka su k,l N 0. Tada vrijedi 2π 0 sinkx sinlxdx = 1 2 2π 0 ( cos(k +l)x cos(k l)x ) dx. NumMat 2017, 8. predavanje p. 96/122

Ortogonalnost trigonometrijskih funkcija Ako je k = l, onda je prethodni integral jednak 1 2 ( sin(k +l)x k +l ) 2π x = π. 0 Ako je k l, onda je jednak 1 2 ( sin(k +l)x k +l ) sin(k l)x 2π = 0. k l 0 Drugim riječima, vrijedi 2π 0 sinkx sinlxdx = { 0, k l, π, k = l, k,l = 1,2,..., NumMat 2017, 8. predavanje p. 97/122

Ortogonalnost trigonometrijskih funkcija Na sličan način, pretvaranjem produkta trigonometrijskih funkcija u zbroj, možemo pokazati da je 2π 0, k l, coskx coslxdx = 2π, k = l = 0, k,l = 0,1,..., 0 π, k = l > 0, te, takoder, da je 2π 0 coskx sinlxdx = 0, k = 0,1,..., l = 1,2,... NumMat 2017, 8. predavanje p. 98/122

Fourierov red Ako periodičku funkciju f, osnovnog perioda duljine 2π, aproksimiramo (u smislu najmanjih kvadrata) redom oblika a 0 2 + (a k coskx+b k sinkx), k=1 onda, množenjem odgovarajućim trigonometrijskim funkcijama i integriranjem, dobivamo a k = 1 π 2π 0 f(x) coskxdx, b k = 1 π 2π 0 f(x) sinkxdx. Prethodni red poznat je pod imenom Fourierov red, a koeficijenti kao Fourierovi koeficijenti. NumMat 2017, 8. predavanje p. 99/122

Fourierov red i najmanji kvadrati Ako Fourierov red odsiječemo za k = m, onda dobijemo tzv. trigonometrijski polinom Taj polinom je f m (x) = a m 0 2 + (a k coskx+b k sinkx). k=1 najbolja aproksimacija u smislu najmanjih kvadrata za f, u klasi trigonometrijskih polinoma stupnja manjeg ili jednakog m. Uz ortogonalnost trigonometrijskih funkcija (obzirom na integralni skalarni produkt), postoji i diskretna ortogonalnost (integral se zamijeni sumom). NumMat 2017, 8. predavanje p. 100/122

Klasični ortogonalni polinomi NumMat 2017, 8. predavanje p. 101/122

Klasični ortogonalni polinomi uvod U praksi najčešće susrećemo pet tipova klasičnih ortogonalnih polinoma. Prisjetimo se, za polinome {p 0,p 1,p 2,...,p n,...}, (indeks polinoma označava stupanj), kažemo da su ortogonalni obzirom na težinsku funkciju w, na [a,b], ako vrijedi b w(x)p m (x)p n (x)dx = 0, za m n. a NumMat 2017, 8. predavanje p. 102/122

Klasični ortogonalni polinomi uvod Težinska funkcija odreduje sistem polinoma do na konstantni faktor u svakom od polinoma. Izbor takvog faktora zove se još i standardizacija ili normalizacija. Zajedničke karakteristike ortogonalnih polinoma: Ortogonalni polinomi zadovoljavaju tročlanu rekurziju p n+1 (x)+α n (x)p n (x)+β n (x)p n 1 (x) = 0, n = 1,2,..., s tim da su poznate početne funkcije p 0 i p 1, i sve funkcije α n, β n, za n N. NumMat 2017, 8. predavanje p. 103/122

Klasični ortogonalni polinomi uvod Zajedničke karakteristike ortogonalnih polinoma (nastavak): Oprez. Prethodnu rekurziju zadovoljavaju i mnoge specijalne funkcije koje nisu ortogonalne! Nultočke ortogonalnih polinoma uvijek se nalaze unutar intervala [a, b] na kojem su polinomi ortogonalni. Dokaze za tročlanu rekurziju i nultočke možete naći u skripti. Napravit ćemo ih malo kasnije. NumMat 2017, 8. predavanje p. 104/122

Čebiševljevi polinomi prve vrste Čebiševljevi polinomi prve vrste označavaju se s T n, ortogonalni su na intervalu [ 1, 1] obzirom na težinsku funkciju w(x) = 1 1 x 2. Relacija ortogonalnosti: 1 1 T m (x)t n (x) 1 x 2 dx = 0, za m n, π, za m = n = 0, π/2, za m = n 0. NumMat 2017, 8. predavanje p. 105/122

Čebiševljevi polinomi prve vrste Oni zadovoljavaju rekurzivnu relaciju T n+1 (x) 2xT n (x)+t n 1 (x) = 0, uz start T 0 (x) = 1, T 1 (x) = x. Za njih postoji i eksplicitna formula T n (x) = cos(narccosx). Osim toga, n-ti Čebiševljev polinom prve vrste T n zadovoljava diferencijalnu jednadžbu (1 x 2 )y xy +n 2 y = 0. NumMat 2017, 8. predavanje p. 106/122

Čebiševljevi polinomi prve vrste Graf prvih par polinoma izgleda ovako. y 1 0.75 0.5 0.25 1 0.75 0.5 0.25 0.25 0.5 0.75 1 0.25 0.5 0.75 1 x T 1 (x) T 2 (x) T 3 (x) T 4 (x) NumMat 2017, 8. predavanje p. 107/122

Čebiševljevi polinomi prve vrste na [0, 1] Katkad se koriste i Čebiševljevi polinomi prve vrste transformirani na interval [0, 1], u oznaci T n. Dobivaju se korištenjem linearne (preciznije, afine) transformacije [0,1] x ξ := 2x 1 [ 1,1]. Relacija ortogonalnosti postaje 1 T 0, za m n, m(x)t n(x) dx = π, za m = n = 0, x x 2 0 π/2, za m = n 0, NumMat 2017, 8. predavanje p. 108/122

Čebiševljevi polinomi prve vrste na [0, 1] a rekurzivna relacija Tn+1 (x) 2(2x 1)T n (x)+t n 1 (x) = 0, uz start T 0(x) = 1, T 1(x) = 2x 1. NumMat 2017, 8. predavanje p. 109/122

Čebiševljevi polinomi druge vrste Čebiševljevi polinomi druge vrste označavaju se s U n, ortogonalni su na intervalu [ 1, 1] obzirom na težinsku funkciju w(x) = 1 x 2. Relacija ortogonalnosti: 1 1 1 x2 U m (x)u n (x)dx = { 0, za m n, π/2, za m = n. NumMat 2017, 8. predavanje p. 110/122

Čebiševljevi polinomi druge vrste Zadovoljavaju istu rekurziju kao i polinomi prve vrste uz malo drugačiji start U n+1 (x) 2xU n (x)+u n 1 (x) = 0, U 0 (x) = 1, U 1 (x) = 2x. Za njih postoji i eksplicitna formula U n (x) = sin((n+1)arccosx). sin(arccos x) n-ti Čebiševljev polinom druge vrste U n zadovoljava diferencijalnu jednadžbu (1 x 2 )y 3xy +n(n+2)y = 0. NumMat 2017, 8. predavanje p. 111/122

Čebiševljevi polinomi druge vrste Graf prvih par polinoma izgleda ovako. y 5 4 3 2 1 1 0.75 0.5 0.25 0.25 0.5 0.75 1 1 2 3 4 x U 1 (x) U 2 (x) U 3 (x) U 4 (x) NumMat 2017, 8. predavanje p. 112/122

Legendreovi polinomi Legendreovi polinomi označavaju se s P n, ortogonalni su na intervalu [ 1, 1] obzirom na težinsku funkciju w(x) = 1. Relacija ortogonalnosti: 1 1 P m (x)p n (x)dx = { 0, za m n, 2/(2n+1), za m = n. NumMat 2017, 8. predavanje p. 113/122

Legendreovi polinomi Oni zadovoljavaju rekurzivnu relaciju (n+1)p n+1 (x) (2n+1)xP n (x)+np n 1 (x) = 0, uz start P 0 (x) = 1, P 1 (x) = x. Osim toga, n-ti Legendreov polinom P n zadovoljava diferencijalnu jednadžbu (1 x 2 )y 2xy +n(n+1)y = 0. NumMat 2017, 8. predavanje p. 114/122

Legendreovi polinomi Graf prvih par polinoma izgleda ovako. y 1 0.75 0.5 0.25 1 0.75 0.5 0.25 0.25 0.5 0.75 1 0.25 0.5 0.75 1 x P 1 (x) P 2 (x) P 3 (x) P 4 (x) NumMat 2017, 8. predavanje p. 115/122

Laguerreovi polinomi Laguerreovi polinomi označavaju se s L n, ortogonalni su na intervalu [0, ) obzirom na težinsku funkciju w(x) = e x. Relacija ortogonalnosti: 0 e x L m (x)l n (x)dx = { 0, za m n, 1, za m = n. NumMat 2017, 8. predavanje p. 116/122

Laguerreovi polinomi Oni zadovoljavaju rekurzivnu relaciju (n+1)l n+1 (x)+(x 2n 1)L n (x)+nl n 1 (x) = 0, uz start L 0 (x) = 1, L 1 (x) = 1 x. Osim toga, n-ti Laguerreov polinom L n zadovoljava diferencijalnu jednadžbu xy +(1 x)y +ny = 0. NumMat 2017, 8. predavanje p. 117/122

Laguerreovi polinomi Graf prvih par polinoma izgleda ovako. y 3 2 1 L 1 (x) 0 1 2 3 4 5 6 x L 2 (x) L 3 (x) 1 L 4 (x) 2 NumMat 2017, 8. predavanje p. 118/122

Laguerreovi polinomi Često nailazi na još jednu rekurziju za Laguerreove polinome L n+1 (x)+(x 2n 1) L n (x)+n 2 Ln 1 (x) = 0, uz jednaki start L 0 (x) = 1, L1 (x) = 1 x. Usporedivanjem ove i prethodne rekurzije dobivamo da je L n (x) = n!l n (x), tj. radi se samo o drugačijoj normalizaciji { e x 0, za m n, Lm (x) L n (x)dx = (n!) 2, za m = n. 0 NumMat 2017, 8. predavanje p. 119/122

Hermiteovi polinomi Hermiteovi polinomi označavaju se s H n, ortogonalni su na intervalu (, ) obzirom na težinsku funkciju w(x) = e x2. Relacija ortogonalnosti: e x2 H m (x)h n (x)dx = { 0, za m n, 2 n n! π, za m = n. NumMat 2017, 8. predavanje p. 120/122

Hermiteovi polinomi Oni zadovoljavaju rekurzivnu relaciju H n+1 (x) 2xH n (x)+2nh n 1 (x) = 0, uz start H 0 (x) = 1, H 1 (x) = 2x. Osim toga, n-ti Hermiteov polinom H n zadovoljava diferencijalnu jednadžbu y 2xy +2ny = 0. NumMat 2017, 8. predavanje p. 121/122

Hermiteovi polinomi Graf prvih par polinoma izgleda ovako. y 250 200 150 100 50 H 1 (x) 3 2 1 1 2 3 50 x H 2 (x) H 3 (x) H 4 (x) NumMat 2017, 8. predavanje p. 122/122