Numerična analiza. Bor Plestenjak. Fakulteta za matematiko in fiziko. Jadranska 21, 4. nadstropje, soba 4.04

Transcript

1 Numerična analiza Bor Plestenjak Fakulteta za matematiko in fiziko Jadranska 21, 4. nadstropje, soba 4.04 govorilne ure: četrtek oz. po dogovoru

2 1.1 Uvod Pri numeričnem reševanju dane naloge iščemo rešitev v numerični obliki. To pomeni, da npr. namesto 3 iščemo Numerična metoda je postopek, s katerim iz začetnih numeričnih podatkov s končnim zaporedjem elementarnih operacij izračunamo numerični približek za rezultat določenega problema. Elementarne operacije so odvisne od okolja, mi bomo pod to šteli +,, /, in. Numerična analiza se ukvarja z analizo numeričnih metod.

3 Numerično računanje ni eksaktno računanje Za začetek se prepričajmo, da je numerično računanje nekaj drugega kot eksaktno računanje, saj ves čas računamo s števili, ki so predstavljena v plavajoči vejici. Vzamemo kalkulator in izračunamo 100 (100/3 33) 100/3. Rezultat je (ne)pričakovan, npr. v Matlabu dobimo Za osnovne računske operacije naj bi veljala asociativnost, toda, če npr. vzamemo x = y = z = , potem v Matlabu dobimo x y z z y x =

4 Problemi, s katerimi se bomo ukvarjali nelinearne enačbe: poišči ničlo funkcije f : R R. linearni sistemi: poišči x R n, ki reši sistem Ax = b za A R n n in b R n. predoločeni sistemi: poišči x R n, ki minimizira Ax b 2 za A R m n in b R m, kjer je m > n. lastne vrednosti: poišči (vse) 0 x C n in λ C, da bo Ax = λx za A R n n. interpolacija: poišči polinom, ki gre skozi točke (x 0, y 0 ),..., (x n, y n ). integriranje: izračunaj integral b a f(x)dx. diferencialne enačbe: reši y = f(x, y), y(x 0 ) = y 0.

5 Kdaj uporabljamo numerične metode Ko drugih možnosti ne poznamo, npr.: iskanje ničel polinoma pete stopnje: x 5 + 3x 1 = 0, reševanje transcendentne enačbe: x + ln x = 0, računanje določenega integrala: 1 0 ex2 dx. Kadar so udobnejše oz. manj zahtevne od analitičnih rešitev, npr.: računanje inverzne matrike velikosti , Cardanove formule za ničle kubičnega polinoma.

6 Problem prevedemo na lažji problem Glavni princip pri numeričnem reševanju je, da namesto podanega težkega problema rešujemo lažji problem, ki ima ali enako rešitev ali pa se rešitvi ne razlikujeta dosti. Npr.: neskončne procese nadomestimo s končnimi procesi, neskončno razsežne prostore nadomestimo s končno razsežnimi, diferencialne enačbe nadomestimo z algebraičnimi enačbami, nelinearni problem nadomestimo z linearnim, zapletene funkcije nadomestimo z enostavnejšimi, npr. s polinomi, matrike nadomestimo z matrikami, ki imajo enostavnejšo obliko, npr. zgornja trikotna oblika, zgornja Hessenbergova oblika.

7 Numerične metode se stalno razvijajo Dejavniki razvoja so: novi pristopi in novi algoritmi razvoj računalnikov, razvoj paralelnih računalnikov.

8 Glavne zahteve za dobro numerično metodo Dobra numerična metoda naj bi imela naslednje lastnosti: zanesljivost: na enostavnih problemih vedno deluje pravilno. robustnost: običajno deluje na težjih problemih, kadar pa ne deluje, vrne informacijo o tem. natančnost: izračuna rešitev tako natančno, kot je to možno glede na natančnost podanih začetnih podatkov. ekonomičnost: časovna (število operacij) in prostorska (poraba spomina). uporabnost: lahko jo uporabimo na širokem spektru problemov. prijaznost do uporabnika: je dobro dokumentirana in ima enostaven uporabniški vmesnik.

9 Absolutna in relativna napaka Pri numeričnem računanju vedno izračunamo numerični približek za točno rešitev problema. Razlika med približkom in točno vrednostjo je napaka približka. relativno napako. Naj bo x točna vrednost, x pa približek za x. Ločimo absolutno in Če je x = x + d a, potem je d a absolutna napaka. Če je x = x(1 + d r) oziroma d r = x x x, potem je d r relativna napaka.

10 1.2 Plavajoča vejica V računalniku so števila zapisana v plavajoči vejici kot kjer je m = 0.c 1 c 2,... c t mantisa in x = ±m b e, b: baza (2, lahko tudi 10 ali 16), t: dolžina mantise, e: eksponent v mejah L e U, c i : števke v mejah od 0 do b 1. Če je c 1 0, potem je število normalizirano, sicer pa denormalizirano. Zapis označimo s P (b, t, L, U).

11 Zgled Vsa normalizirana pozitivna predstavljiva števila iz množice P (2, 3, 1, 1) so: = = = = = = = = = = = =

12 Standard IEEE single: P (2, 24, 125, 128), število je shranjeno v 32 bitih, eksponent predznak mantisa c 2 c 3... c 24 (c 1 = 1) double: P (2, 53, 1021, 1024), število je shranjeno v 64 bitih, eksponent predznak mantisa c 2 c 3... c 53 (c 1 = 1) standard IEEE pozna še števila 0,, in NaN.

13 Tehnične podrobnosti zapisa predstavljivih števil eksponent mantisa predznak c 2 c 3... c 24 (c 1 = 1) Če je s predznak, 0 e 255 eksponent in 0 f < 1 število 0.c 2... c 24, velja Primeri pozitivnih števil: 0 < e < 255 poljuben f x = ( 1) s (1 + f) 2 e 127 e = 255 f = 0 x = ( 1) s e = 255 f 0 x = NaN e = 0 f = 0 x = ( 1) s 0 e = 0 f 0 x = ( 1) s (0 + f) e f število x = ( ) = x = x = NaN x = x = = 2 132

14 Osnovna zaokrožitvena napaka Števila, ki niso predstavljiva, predstavimo s približki, ki jih dobimo z zaokrožanjem. Naj bo x število in f l(x) najbližje predstavljivo število. Velja fl(x) = x(1 + δ) in δ u, kjer je u = 1 2 b1 t osnovna zaokrožitvena napaka: single: u = 2 24 = double: u = 2 53 =

15 Računanje po standardu IEEE Standard IEEE zagotavlja, da velja: fl(x y) = (x y)(1 + δ), δ u za = +,, /, fl( x) = x(1 + δ), δ u Izjema je, če pride do prekoračitve (overflow) ali podkoračitve (underflow) obsega predstavljivih števil. V tem primeru dobimo po IEEE: prekoračitev: ±, podkoračitev: 0.

16 Nesreča rakete Arianne 4. junija 1996 je pri prvem poletu rakete Ariane 5, ki naj bi nadomestila manjšo raketo Ariane 4, prišlo do nesreče. Raketa je po 40 sekundah zavila s prave poti in eksplodirala. Pozneje se je izkazalo, da je do nesreče prislo zaradi prekoračitve obsega. Ker program ni imel testiranja prekoračitve, se je sesul, s tem pa tudi celoten polet. Podrobna analiza je pokazala, da je del programa, ki je povzročil napako, prišel iz programa za Ariane 4, kjer je vedno deloval brez napak. Tokrat pa je močnejša raketa povzročila, do so bile izmerjene količine prevelike in prišlo je do prekoračitve obsega. Več lahko najdete na:

17 1.3 Napake pri numeričnem računanju Računamo vrednost funkcije f : X Y pri danem x. Numerična metoda vrne približek ŷ za y, razlika D = y ŷ pa je celotna napaka približka. Izvori napake so: nenatančnost začetnih podatkov, napaka numerične metode, zaokrožitvene napake med računanjem.

18 Celotno napako lahko razdelimo na tri dele Neodstranljiva napaka: Namesto z x računamo s približkom x in namesto y = f(x) izračunamo y = f(x). Neodstranljiva napaka je D n = y y. D n je posledica napak začetnih podatkov. Napaka metode: Namesto f računamo vrednost funkcije g, ki jo lahko izračunamo s končnim številom operacij. Namesto y = f(x) tako izračunamo ỹ = g(x). Napaka metode je D m = y ỹ. Pri sami numerični metodi pogosto neskončen proces nadomestimo s končnim (seštejemo le končno členov neskončne vrste, po končnem številu korakov prekinemo iterativno metodo). Zaokrožitvena napaka D z : Pri računanju ỹ = g(x) se pri vsaki računski operaciji pojavi zaokrožitvena napaka, tako da namesto ỹ izračunamo ŷ. Sama vrednost ŷ je odvisna od vrstnega reda operacij in načina izračuna g(x). Zaokrožitvena napaka je D z = ỹ ŷ. Celotna napaka: Končna napaka je D = D n + D m + D z. Velja D D n + D m + D z.

19 Računanje sin(π/10) z osnovnimi operacijami v P (10, 4, 5, 5) D n : namesto z x = π/10 računamo z x = D n = y y = sin(π/10) sin(0.3142) = D m : namesto sin(x) izračunamo g(x) za g(x) = x x 3 /6. D m = y ỹ = D z : odvisna je od vrstnega reda in načina računanja g(x). Primer: a 1 = fl(x x) = fl( ) = a 2 = fl(a 1 x) = fl( ) = a 3 = fl(a 2 /6) = fl( ) = ŷ = fl(x a 3 ) = fl( ) = D z = ỹ g(x) = Celotna napaka je D = D n + D m + D z =

20 1.4 Stabilnost in občutljivost Če se rezultat pri majhni spremembi argumentov (motnji oz. perturbaciji) ne spremeni veliko, je problem neobčutljiv, sicer pa je občutljiv. S tem se ukvarja teorija motenj. a) x + y = 2 x y = 0 = x = y = 1. Zmotimo desno stran: x + y = x y = = x = , y = Ta sistem je neobčutljiv. b) x y = x y = 1.97 Zmotimo desno stran: x y = x y = = x = y = 1. = x = 2.97, y = Ta sistem je zelo občutljiv.

21 Stopnja občutljivosti Stopnjo občutljivosti merimo z razmerjem med velikostjo spremembe rezultata in velikostjo spremembe podatkov. Zgled: Naj bo f : R R zvezna in odvedljiva funkcija. Zanima nas razlika med f(x) in f(x + δx), kjer je δx majhna motnja. Velja f(x + δx) f(x) f (x) δx, torej je f (x) absolutna občutljivost f v točki x. Za oceno relativne napake dobimo f(x + δx) f(x) f(x) f (x) x f(x) δx x, torej je f (x) x f(x) relativna občutljivost f v točki x.

22 1.5 Analiza zaokrožitvenih napak Pri računskem procesu pravimo, da je stabilen oz. nestabilen, ločimo pa direktno in obratno stabilnost. S tem se ukvarja analiza zaokrožitvenih napak. direktna analiza: Iz x namesto y = f(x) izračunamo ŷ. Če je razlika med y in ŷ majhna (absolutno oz. relativno), je proces direktno stabilen (absolutno oz. relativno), sicer pa nestabilen. obratna analiza: Iz x namesto y = f(x) izračunamo ŷ. Sedaj se vprašamo, za koliko moramo spremeniti argument x v x, da bo f( x) = ŷ. Če je razlika med x in x majhna (absolutno oz. relativno), je proces obratno stabilen (absolutno oz. relativno), sicer pa nestabilen.

23 Zgled analize zaokrožitvenih napak Računamo produkt p = x 0 x 1 x n predstavljivih števil x 0, x 1,..., x n. Eksaktni algoritem je: p 0 = x 0 i = 1,..., n p i = p i 1 x i p = p n Dejanski algoritem pa: p 0 = x 0 i = 1,..., n p i = p i 1 x i (1 + δ i ), p = p n δ i u Dobimo Velja Ocenimo (1 + u) n = 1 + p = p(1 + γ) = p(1 + δ 1 ) (1 + δ n ). (1 u) n (1 + γ) (1 + u) n. ( n ( n u + u 1) 2) 2 + = 1 + nu + O(u 2 ), (1 u) n 1 nu (indukcija) Če je nu 1 ocenimo γ < nu. To pomeni, da je relativna napaka odvisna od števila množenj in da se z vsakim množenjem poveča za u. Računanje produkta n števil je direktno in obratno stabilno.

24 Analiza zaokrožitvenih napak za skalarni produkt Imamo dva vektorja predstavljivih števil x = (x 1 x n ) T in y = (y 1 y n ) T, računamo pa s = y T x = n i=1 x iy i. Eksaktni algoritem je: s 0 = 0 i = 0,..., n p i = x i y i s i = s i 1 + p i s = s n Obratna analiza nam da ŝ = n i=1 x iy i (1 + γ i ), kjer je Dejanski algoritem pa: ŝ 0 = 0 i = 0,..., n p i = x i y i (1 + α i ), α i u ŝ i = (ŝ i 1 + p i )(1 + β i ), β i u ŝ = ŝ n 1 + γ 1 = (1 + α 1 )(1 + β 2 ) (1 + β n ) in 1 + γ i = (1 + α i )(1 + β i ) (1 + β n ), i = 2,..., n. Tako dobimo ocene γ 1 nu in γ i (n i + 2)u za i = 2,..., n. To pomeni, da je ŝ točni skalarni produkt relativno malo zmotenih vektorjev x in y. Računanje skalarnega produkta je tako obratno stabilno.

25 Pri direktni analizi najprej izračunamo absolutno napako: ŝ s = n x i y i γ i, i=1 torej ŝ s n x i y i γ i nu i=1 n x i y i = nu y T x. Dobimo ŝ s s y T x y T x nu. Če so vsi x i y i enakega predznaka, dobimo ŝ s s nu in računanje je direktno stabilno, sicer pa imamo v primeru, ko sta vektorja blizu ortogonalnosti, lahko veliko relativno napako. i=1

26 1.6.1 Računanje števila π π je limita obsega S n pravilnega mnogokotnika, včrtanega v krog s polmerom r = 1 2. Naj bo a n stranica pravilnega n-kotnika. Poiščimo zvezo med a n in a 2n : Velja a 2n = ( an 2 ) ( an 2 ) 2 2 = 1 1 a 2 n, 2 od tod pa iz S n = na n sledi 1 S 2n = 2na 2n = 2n 1 ( Sn n ) 2 2.

27 Računanje števila π, 2.del Začnemo pri S 6 = 3 in uporabljamo formulo S 2n = 2n ( ) 1 1 S n 2 n 2. n Sn n Sn Formula odpove, saj pride do odštevanja skoraj enako velikih števil, napaka pa se množi z 2n. V zgornji tabeli (enojna natančnost) so napačne decimalke rdeče. Kadar imamo nestabilen postopek, nam ne pomaga niti računanje z večjo natančnostjo. Prava rešitev je preurediti postopek tako, da se med računanjem ne izgublja natančnost.

28 Računanje števila π, 3.del Za stabilno računanje je potrebno formulo preurediti. Stabilna oblika je ( 1 1 ( ) ( ) Snn ( ) ) Snn 2 S 2n = 2n ( ( ) = S ) n Snn ( ). Snn 2 Sedaj dobimo pravilne rezultate: n Sn n Sn

29 1.6.2 Seštevanje Taylorjeve vrste za e x Vemo, da je e x = ( 1) n x n n=0 in da vrsta konvergira za vsak x C. Če pa vrsto seštevamo numerično po vrsti, potem za x > 0 ne dobimo najboljših rezultatov. n! x e x vrsta relativna napaka

30 Razlog je, da zaporedje členov vrste alternira, poleg tega pa po absolutni vrednosti nekaj časa naraščajo, preden začnejo padati proti 0. Ko so členi največji, se zameglijo majhne decimalke, ki ostanejo netočne do konca računanja. n an sn n an sn

31 1.6.3 Reševanje kvadratne enačbe Vemo, da sta rešitvi kvadratne enačbe ax 2 + bx + c = 0 podani s formulo x 1,2 = b ± b 2 4ac. 2a Če vzamemo npr. a = , b = , c = , potem v dvojni natančnosti po zgornji formuli dobimo x 1 = , x 2 = točni ničli pa sta x 1 = , x 2 = Ena ničla je izračunana natančno, pri x 2 pa je prišlo do odštevanja približno enako velikih števil v števcu. Če drugo ničlo izračunamo preko x 2 = c/(ax 1 ), dobimo pravilno x 2 =

32 1.6.4 Računanje I 10 Integrale I n = 1 0 x n e x 1 dx, n = 0, 1,..., lahko računamo rekurzivno preko formule I n = x n e x n 1 0 x n 1 e x 1 dx = 1 ni n 1, saj poznamo začetno vrednost I 0 = 1 e 1. V enojni natančnosti dobimo n I n n I n Razlog je v formuli I n = 1 ni n 1. Napaka pri členu I n 1 se pomnoži z n in torej po absolutni vrednosti hitro narašča, točne vrednosti I n pa padajo.

33 Računanje I 10, 2. del Če računamo v obratni smeri: I n 1 = 1 I n n, se napaka v vsakem koraku deli z n. Če začnemo pri nekem dovolj velikem členu, lahko z začetnim I n = 0 izračunamo vse začetne člene dovolj natančno. Če začnemo z I 26 = 0 tako dobimo (v enojni natančnosti) vse člene od I 12 do I 0 na vse decimalke točno. I n 1 ni n 1 n I n n I n

34 1.6.5 Zaporedno korenjenje in kvadriranje Vzamemo število x > 0, ga najprej 80-krat korenimo in nato 80-krat kvadriramo. Kaj dobimo? Izkaže se, da za x 1 dobimo 1, za 0 < x < 1 pa dobimo 0! Za razumljivejšo razlago si poglejmo model kalkulatorja HP 48G, kjer je baza desetiška, dolžina mantise pa je 12. Poglejmo najprej primer 0 < x < 1. Za takšne x velja x > x. Največje predstavljivo število, ki je še manjše od 1, je oziroma 0. 9 }.{{.. 9}. Zaradi 1 + x = x 1 8 x2 + velja = = }{{} }.{{.. 9} 87..., 11 in število se zaokroži na 0. 9 }.{{.. 9}. Tako s korenjenjem nikoli ne pridemo do 1, ko pa kvadriramo, je število vedno manjše, dokler ne pride do podkoračitve in dobimo Prvo predstavljivo število, ki je večje od 1 je Tu dobimo = = }{{} }.{{.. 9} 87..., 10 kar se zaokroži na 1. Tako s korenjenjem pridemo do 1, s kvadriranjem pa se to ne spremeni.

35 1.6.6 Tričlenska rekurzivna formula Dana je tričlenska rekurzivna formula x k+1 = 2.25x k 0.5x k 1 in začetni dve vrednosti x 1 = 1/3 in x 2 = 1/12. x k = k. Pri teh pogojih je splošna rešitev Numerično dobimo naslednje točke (logaritemska skala)

36 Tričlenska rekurzivna formula, 2.del Odgovor se skriva v dejstvu, da je splošna rešitev dane diferenčne enačbe ( ) 1 k x k = α + β2 k. 4 Zaradi zaokrožitvenih napak je β 0 in prej ali slej drugi člen prevlada. Zaradi zaokrožitvenih napak imamo na začetku x 1 = 1 3 ( ) x 2 = 1 3 ( ) Splošna (točna) rešitev za zgornja x 1, x 2 je x k = 1 3 (41 k + 2 k 57 ), do preobrata pride ravno ko je 4 1 k = 2 k 57 oziroma k 20.

37 1.6.7 Seštevanje številske vrste Znano je, da velja k=1 1 k 2 = π2 6 = Kako bi to sešteli, če tega ne bi vedeli? Prištevamo člene, dokler se vsota ne spreminja več. V enojni natančnosti tako dobimo , vrednost pa dosežemo pri k = V tem koraku delni vsoti 1.6 prištevamo Seštevamo v obratnem vrstnem redu od malih cifer proti velikim. Izkaže se, da bi za približek z 8 točnimi decimalkami morali sešteti 10 9 členov! Seveda nobeden izmed zgornjih dveh načinov ni primeren, se pa da z ustrezno numerično metodo dobiti dovolj natančen približek z uporabo relativno malo členov.

38 1.6.8 Računanje (e x 1)/x Računamo f(x) = (e x 1)/x v bližini x = 0, kjer je lim x 0 f(x) = 1. Z algoritmom if x = 0 y = 1 else y = (e x 1)/x end dobimo pri majhnih x velike napake, algoritem pa deluje. z = e x if z = 1 y = 1 else y = (z 1)/ ln z end

39 Primerjava algoritmov za računanje (e x 1)/x x Algoritem 1 Algoritem

40 Primerjava algoritmov za računanje (e x 1)/x pri x = Pri prvem algoritmu dobimo ( e x ) ( ) y = fl = fl x = Pri drugem algoritmu pa ( e x ) ( ) y = fl = fl ln(e x ) = To je sicer lepo, vendar! Točne vrednosti, ki bi morale nastopati v drugem algoritmu so ( e x ) ( ) y = fl = fl = ln(e x ) Kako je možno, da iz dveh netočnih vrednosti dobimo točno? algoritem stabilen. Pokažimo, da je drugi

41 Analiza stabilnega algoritma za računanje (e x 1)/x Najprej izračunamo ẑ = e x (1 + δ), kjer je δ u. Denimo, da je ẑ = 1. To pomeni e x (1 + δ) = 1, torej x = ln(1 + δ) = δ + δ 2 /2 δ 3 /3 +, in vrednost f(x) je pravilno zaokrožena na 1, saj je f(x) = 1 + x/2 + x 2 /6 +. Če je ẑ 1, potem računamo y = (z 1)/ ln z. Numerično velja ŷ = (ẑ 1)(1 + ɛ 1) (1 + ɛ 3 ), ɛ 1, ɛ 2, ɛ 3 u. ln ẑ(1 + ɛ 2 ) Če vpeljemo w = ẑ 1, dobimo To pomeni, da za majhne x, ko je z 1, velja g(ẑ) := ẑ 1 ln ẑ = w ln(1 + w) = 1 + w 2 + O(w2 ). g(ẑ) g(z) ẑ z 2 ex δ 2 δ 2. Ker je g(z) 1, to pomeni, da je ŷ = y(1 + α), kjer je α 3.5u. Čeprav sta ẑ 1 in ln ẑ slaba približka za z 1 in ln z, pa je (ẑ 1)/ ln ẑ zelo dober približek za y = (z 1)/ ln z.

42 Problem železniške tračnice Imamo 150m dolgo tračnico, ki je na obeh koncih trdno vpeta. Zaradi velike vročine se tračnica raztegne za 1cm in se dvigne v obliki krožnega loka. Na 10 decimalk točno izračunaj, kolikšna je maksimalna oddaljenost od tal. 150m+1cm 150m h=? Kolikšno oddaljenost pričakujete? Tračnica se dvigne za cm. Če ne verjamete, poskusite rešiti nalogo!