POGLAVLJE 1 NJUTNOVA METODA

Transcript

1 POGLAVLJE 1 NJUTNOVA METODA U prethodnom poglavlju videli smo da gradijentne metode koriste samo prvi izvod (gradijent) kao pravac duž koga se minimizuje zadata funkcija. Medutim, to nije uvek najefikasniji način za bezuslovnu minimizaciju funkcije. Ako se pri konstrukciji iterativnog algoritma koriste izvodi višeg reda, dobijena metoda može imati bolje performanse u pored enju sa nekom od gradijentnih metoda. Za razliku od gradijentne metode, Njutnova metoda koristi izvode i prvog i drugog reda date funkcije za konstrukciju interativnog niza. Pokazuje se da Njutnova metoda zaista brže konvergira ka (lokalnom) minimumu funkcije, pod pretpostavkom da je početna tačka dovoljno blizu traženog minimuma. U ovom poglavlju izložićemo koncept Njutnove metode, a predstavićemo i neke od njenih modifikacija koje su korisne za praktičnu primenu. Biće analizirani uslovi konvergencije i brzina konvergencije Njutnove metode. Posebno će biti analiziran slučaj primene Njutnove metode na minimizaciju kvadratne funkcije. 1.1 Njutnova metoda opšte osobine Ideja Njutnove metode je sledeća. Za izabranu početnu tačku X (0) konstruisati kvadratnu aproksimaciju posmatrane funkcije, tako da se vrednost aproksimacije, kao i vrednosti njenog prvog i drugog izvoda u tački X (0) poklapaju sa odgovarajućim vrednostima funkcije i prvog i drugog izvoda u istoj tački. 1

2 2 POGLAVLJE 1. NJUTNOVA METODA Zatim se, umesto problema minimizacije polazne funkcije, posmatra problem minimizacije dobijene kvadratne aproksimacije. Minimum kvadratne aproksimacije X (1) (koji se relativno lako nalazi, jer je funkcija kvadratna) predstavlja polaznu tačka za sledeću iteraciju. Opisana procedura se sprovodi na isti način i dobijamo novu početnu tačku X (2), zatim X (3), itd. Ponavljanjem procedure konstruišemo iterativni niz {X (k) }, koji predstavlja niz aproksimacija minimuma polazne funkcije. Ukoliko je polazna funkcija kvadratna, tada je kvadratna aproksimacija identična polaznoj funkciji i metoda vodi ka minimumu funkcije u jednom koraku. Ako to nije slučaj, tada u svakoj iteraciji minimizacijom kvadratne aproksimacije dobijamo po jednu aproksimaciju minimuma polazne funkcije. Kvadratnu aproksimaciju polazne funkcije f : R n R, možemo dobiti koristeći Tejlorov razvoj, pod uslovom da je funkcija dva puta neprekidno diferencijabilna, odnosno f C 2 (R n ). Ukoliko u Tejlorovom razvoju funkcije f u okolini tačke X (k) zanemarimo članove počevši od reda 3, dobijamo f(x) f(x (k) )+ 1 1! (X X(k) ) T f(x k )+ 1 2! (X X(k) ) T 2 f(x (k) )(X X (k) ). Ako sa q(x) označimo izraz na desnoj strani, tada q(x) = f(x (k) ) + (X X (k) ) T f k (X X(k) ) T F (X (k) )(X X (k) ) predstavlja traženu kvadratnu aproksimacija funkcije f C 2 (R n ). Primetimo da je f k = f(x k ) gradijent, a F (X (k) ) = 2 f(x k ) Hesijan funkcije f u tački X k. Kako umesto minimizacije fukcije f rešavamo problem minimizacije njene kvadratne aproksimacije q, nad imo najpre tačku X u kojoj su zadovoljeni NUPR za lokalni minimum funkcije q. Rešavamo jednačinu 0 = q(x) = f k + F (X (k) )(X X (k) ), odnosno odakle je f k = F (X (k) )(X X (k) ), X X (k) = F (X (k) ) 1 f k, X = X (k) F (X (k) ) 1 f k.

3 1.1. NJUTNOVA METODA OPŠTE OSOBINE3 Ako je F (X (k) ) > 0, tada q dostiže minimum u tački X = X (k+1), gde je X (k+1) = X (k) F (X (k) ) 1 f k. Dakle, opšta Njutnova metoda za nalaženje lokalnog minimuma X funkcije f : R n R, f C 2 (R n ), sastoji se iz sledećih koraka: Algoritam 4.1 Korak 0. Izabrati početnu tačku X (0) i postaviti k = 0. Korak 1. Odrediti narednu tačku iterativnog niza koristeći formulu X (k+1) = X (k) F (X (k) ) 1 f k. Korak 2. Nakon dobijanja nove tačke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, algoritam se zaustavlja i X X (k+1). Ukoliko kriterijum zaustavljanja nije zadovoljen, postaviti k = k + 1 i ići na Korak 1. O konvergenciji i kriterijumima zaustavljanja Njutnove metode biće reči u narednoj sekciji. Napomenimo da je Njutnova metoda u literaturi poznata i pod imenom Njutn-Rapsonova metoda 1. Primer 1.1 Posmatrajmo funkciju f : R 4 R definisanu sa f(x) = (x 1 +10x 2 ) 2 +5(x 3 x 4 ) 2 +(x 2 2x 3 ) 4 +10(x 1 x 4 ) 4, X = [x 1, x 2, x 3, x 4 ] T Primenom Njutnove metode u tri koraka nad imo približnu vredost njenog minimuma, odnosno X (3) X. Za početnu tačku iterativnog niza uzmimo X (0) = [3, 1, 0, 1] T. Gradijent funkcije f u proizvoljnoj tački X = [x 1, x 2, x 3, x 4 ] T R 4 je f(x) = 2(x x 2 ) + 40(x 1 x 4 ) 3 20(x x 2 ) + 4(x 2 2x 3 ) 3 10(x 3 x 4 ) 8(x 2 2x 3 ) 3 10(x 3 x 4 ) 40(x 1 x 4 ) 3 a Hesijan F (X) u proizvoljnoj tački X je odred en sledećom matricom (x 1 x 4 ) (x 1 x 4 ) (x 2 2x 3 ) 2 24(x 2 2x 3 ) (x 2 2x 3 ) (x 2 2x 3 ) (x 1 x 4 ) (x 1 x 4 ) 2 1 Isaac Newton ( ), Joseph Raphson ( ),.

4 4 POGLAVLJE 1. NJUTNOVA METODA U prvoj iteraciji, treba odrediti tačku X (1) = X (0) F (X (0) ) 1 f 0 = X (0) + d 0, gde je sa d 0 označen član F (X (0) ) 1 f 0. Uvrštavanjem koordinata tačke X (0) dobijamo vektor gradijenta u tački X (0) i Hesijan matricu f 0 = f(x (0) ) = [306, 144, 2, 310] T F (X (0) ) = Da bismo izračunali vrednost d 0 = F (X (0) ) 1 f 0, možemo postupiti na dva načina. Prvi način je nalaženje inverza matrice F (X (0) ), koji zatim treba pomnožiti sa desne strane vektorom f 0. Drugi način je odrediti d 0 kao rešenje sistema linearnih jednačina F (X (0) )d 0 = f 0, zapisanog u matričnom obliku. Primenjujući jedan od ova dva načina, dobijamo rešenje odakle je d 0 = [ , , , 0.746] T,. X (1) = [1.5873, , , ] T i f(x (1) ) = U drugoj iteraciji, na isti način dobijamo X (2) = X (1) F (X (1) ) 1 f 1 = X (1) + d 1, X (2) = [1.5082, , , ] T i f(x (2) ) = U trećoj iteraciji, X (3) = X (2) F (X (2) ) 1 f 2 = X (2) + d 2, X (3) = [0.7037, , , ] T i f(x (2) ) = 1.24.

5 1.1. NJUTNOVA METODA OPŠTE OSOBINE5 Iz Primera 1.1 možemo videti da u k-toj iteraciji Njutnove metode narednu tačku iterativnog niza računamo kao X (k+1) = X (k) + d k, gde je d k = F (X (k) ) 1 f k, odnosno rešenje sistema jednačina F (X (k) )d k = f k. Dakle, Njutnova metoda može se zapisati i na sledeći način, koji je pogodan za implementaciju. Algoritam 4.2 Korak 0. Izabrati početnu tačku X (0). Postaviti k = 0. Korak 1. Rešiti jednačinu F (X (k) )d k = f k po nepoznatom vektoru d k. Korak 2. Izračunati novu tačku iterativnog niza po formuli X (k+1) = X (k) +d k. Korak 3. Nakon dobijanja nove tačke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X tačka lokalnog minimuma funkcije f. Ukoliko nije, staviti da je k = k + 1 i ići na Korak 1. Primetimo da rešavanje jednačine F (X (k) )d k = f k po nepoznatom d k podrazumeva korišćenje neke metode za rešavanje sistema linearnih jednačina. To znači da nam je za efikasnu implementaciju Njutnove metode neophodna neka numerički efikasna i stabilna metoda za rešavanje sistema linearnih jednačina. Izloženu Njutnovu metodu za minimizaciju funkcije f : R n R, f C 2 (R n ) možemo koristiti i kao metodu za rešavanje jednačine g(x) = 0, gde je g : R n R n vektorska funkcija definisana sa f(x) = g(x) = [g 1 (X), g 2 (X),..., g n (X)], g i (X) = f x i (X), i = 1, 2,..., n. Kako je f C 2 (R n ), važi g C 1 (R n ). Dalje, F (X) je Jakobijan funkcije g u tački X = [x 1,..., x n ] T, odnosno [ ] gi F (X) = g(x) = (X), i, j = 1, 2,.., n. x j Njutnova metoda za rešavanje jednačine g(x) = 0 se sastoji iz sledećih koraka. Algoritam 4.3 Korak 0. Izabrati početnu tačku X (0). Postaviti k = 0. Korak 1. Rešiti jednačinu F (X [ (k) )d k = ] G k po nepoznatom vektoru d k, gde je G k = g(x (k) ) a F (X (k) ) = gi x j (X (k) ). Korak 2. Izračunati novu tačku iterativnog niza po formuli X (k+1) = X (k) +d k.

6 6 POGLAVLJE 1. NJUTNOVA METODA Korak 3. Nakon dobijanja nove tačke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X tačka lokalnog minimuma funkcije f. Ukoliko nije, postaviti k = k + 1 i ići na Korak 1. Razmatrajući efikasnost Njutnove metode, možemo primetiti da postoje tri tipa troškova, u smislu broja operacija koje je potrebno izvesti: nalaženje prvog i drugog izvoda, izvod enje aritmetičkih operacija i čuvanje rezultata i med urezultata. Klasična Njutnova metoda koju smo izložili zahteva odred ivanje prvog i drugog izvoda, računanje gradijenta i Hesijana u tački, rešavanje sistema linearnih jednačina (ili, alternativno, računanje inverza Hesijan matrice) i čuvanje matrica i vektora. Prilikom rešavanja problema minimizacije funkcije n promenljivih, odred ujemo Hesijan matricu dimenzije n n, koja sadrži n 2, odnosno O(n 2 ) elemenata. To znači da treba izračunati vrednost O(n 2 ) izraza u zadatoj tački da bismo odredili sve elemente Hesijan matrice, pod uslovom da su računanja korektna. Kada izračunamo Hesijan matricu u zadatoj tački, dalje nam je potrebno O(n 3 ) aritmetičkih operacija da bismo rešili sistem linearnih jednačina ili odredili inverz matrice. Kako n raste, ovi računski troškovi se značajno uvećavaju i neretko dovode do toga da se rešenje ne može naći usled ograničenja memorije, vremena ili računarskih resursa, iako ono teorijski postoji. U nekim slučajevima, moguće je automatizovati proces nalaženja izvoda funkcije, što dalje omogućava aumatizovanje računanja izvoda u zadatoj tački. Podsetimo da problemi velikih dimenzija često imaju retku Hesijan matricu, te korišćenjem tehnika za rad sa retkim matricama možemo smanjiti broj operacija i memorijske resurse potrebne za njihovo čuvanje. Računski troškovi se mogu redukovati i korišćenjem različitih modifikacija Njutnove metode koje u izvesnoj meri pojednostavljuju klasični oblik metode i istovremeno redukuju proces računanja. Većina ovih modifikacija koriste samo prvi izvod ili izbegavaju rešavanje sistema lineranih jednačina (odnosno, računanje inverza Hesijan matrice), čime se računski troškovi primene Njutnove metode smanjuju na O(n 2 ). Modifikacije koje su dizajnirane za rešavanje problema velikih dimenzija koriste tehnike za redukciju potrebnog memorijskog prostora na O(n). Med utim, pojednostavljenje Njutnove metode uglavnom vodi ka lošijim performansama dobijenih modifikacija u odnosu na klasičnu metodu. Modifikacije uglavnom imaju sporiju brzinu konvergencije, jer koriste više pojednostavljenih iteracija da bi dovele do rešenja problema sa zadatom tačnošću. U praksi se klasična Njutnova metoda ne koristi često, upravo zbog svoje računske

7 1.2. OPŠTI USLOVI KONVERGENCIJE NJUTNOVE METODE7 složenosti, iako ona predstavlja idealnu metodu za rešavanje problema minimizacije koji brzo konvergira. Zato se u praksi teži konstrukciji jednostavnijih algoritama koji u što većoj meri zadržavaju dobre osobine klasične Njutnove metode, a posebno brzine konvergencije. 1.2 Opšti uslovi konvergencije Njutnove metode Ukoliko je Hesijan matrica F (X) funkcije f : R n R pozitivno definitna za svako X R n, Njutnova metoda za minimizaciju funkcije f konvergira za bilo koji izbor početne tačke iterativnog niza. Med utim, ukoliko Hesijan matrica nije pozitivno definitna u nekoj tački X R n, Njutnov algotitam se ne mora obavezno kretati u pravcu opadanja vrednosti funkcije, odnosno može se desiti da nejednakost f(x (k+1) ) < f(x (k) ) ne važi za svako k. U tom slučaju, Njutnova metoda često ne konvergira ka lokalnom minimumu. Na Slici 1.1 ilustrovan je jednodimenzioni slučaj, pri čemu je Hesijan matrica pozitivno definitna za svako X (k). Slika 1.2 ilustruje slučaj kada Hesijan matrica nije pozitivno definitna, te niz tačaka dobijen Njutnovom metodom ne konvergira lokalnom minimumu. Ipak, treba napomenuti da čak i u slučaju da je Hesijan matrica pozitivno defi- Slika 1.1: Njutnova metoda: f (X (k) ) > 0 (iterativni niz konvergira lokalnom minimumu) nitna, može se desiti da f(x (k+1) ) < f(x (k) ) ne važi za neko k. Na primer, to

8 8 POGLAVLJE 1. NJUTNOVA METODA se može dogoditi u nekim od prvih koraka iteracije, kada je početna tačka X (0) daleko od lokalnog minimuma. U slučaju da se početna tačka nalazi dovoljno blizu lokalnog minimuma, vrednost funkcije kroz iteracije Njutnove metode brzo opada i dobijeni niz tačaka brzo konvergira traženom minimumu. Analiza konvergencije Njutnove metode je jednostavna ukoliko je f : R n R Slika 1.2: Njutnova metoda: f (X (k) ) < 0 (iterativni niz ne konvergira lokalnom minimumu) kvadratna funkcija. Štaviše, Njutnov iterativni niz konvergira ka tački X za koju je f(x ) = 0 u samo jednom koraku. Zaista, neka je kvadratna funkciju oblika f(x) = 1 2 XT QX b T X, gde je Q simetrična, pozitivno definitna matrica reda n i b R n dati vektor. Tada je gradijent f(x) = QX b i Hesijan F (X) = Q. Kako je matrica Q invertibilna, važi f(x ) = 0 ako i samo ako je QX = b, odnosno X = Q 1 b. Imajući to u vidu, primenom Njutnove metode dobijamo prvu tačku iterativnog niza X (1) = X (0) F (X (0) ) 1 f(x (0) ) = X (0) Q 1 (QX (0) b) = Q 1 b. Primetimo da je X (1) = X i da za tačku X važe NUPR, jer je Hesijan matrica F (X) = Q pozitivno definitna za svako X, te je tačka X (1) = X lokalni minimum funkcije f. Dakle, u slučaju kvadratne funkcije, red konvergencije Njutnove metode je za proizvoljni izbor početne tačke X (0).

9 1.2. OPŠTI USLOVI KONVERGENCIJE NJUTNOVE METODE9 Analizirajmo sada konvergenciju Njutnove metode u opštem slučaju i pokažimo da je red konvergencije iterativnog niza {X (k) } dobijenog Njutnovom metodom najmanje 2, pod pretpostavkom da {X (k) } konvergira tački lokalnog minimima X. Pre formulacije teoreme koja govori o konvergenciji Njutnove metode, navodimo lemu koja će nam biti potrebna za dokaz te teoreme. Lema 1.1 Neka je F : R n R n R n matrična funkcija koja je neprekidna u tački X R n. Ako postoji F (X ) 1, tada postoji F (X) 1 za svaku tačku X koja je dovoljno blizu X i funkcija F ( ) 1 je neprekidna u tački X. Dokaz Leme 1.1 može se pronaći u [?] i [?]. Teorema 1.1 Data je funkcija f : R n R, f C 3 (R n ). Neka je X R n tačka za koju je f(x ) = 0 i pretpostavimo da je matrica F (X ) invertibilna. Pod navedenim pretpostavkama, za svaku početnu tačku X (0) koja je dovoljno blizu X, iterativni niz {X (k) }, konstruisan Njutnovom metodom pri minimizaciji funkcije f, je dobro definisan i konvergira ka X sa redom konvergencije koji je najmanje 2. Dokaz. Razvijmo funkciju f u Tejlorov red u okolini tačke X (0). f(x) = f(x (0) ) + F (X (0) )(X X (0) ) + O( X X (0) 2 ), f(x) f(x (0) ) F (X (0) )(X X (0) ) = O( X X (0) 2 ). Kako je po pretpostavci teoreme f C 3 (R n ) i Hesijan matrica F (X ) invertibilna, tada možemo naći konstante ε > 0, c 1 > 0 i c 2 > 0 za koje važi sledeće: a) Ako tačke X (0) i X pripadaju zatvorenoj ε okolini tačke X, odnosno X (0), X U(X, ε), gde je U(X, ε) = {X X X ε}, tada X (0) i X zadovoljavaju sledeću nejednakost f(x) f(x (0) ) F (X (0) )(X X (0) ) c 1 X X (0) 2 ; b) Za svaku tačku X U(X, ε) važi F (X) 1 c 2.

10 10 POGLAVLJE 1. NJUTNOVA METODA Nejednakost pod a) sledi iz činjenice da ostatak Tejlorovog razvoja funkcije f sadrži treće izvode funcije f, koji su neprekidni (jer f C 3 (R n )), a prema tome i ograničeni u zatvorenoj okolini U(X, ε). Kako je funkcija F (X) neprekidna za svako X R n (jer je f C 3 (R n )) i Hesijan matrica F (X ) invertibilna, imajući u vidu Lemu 1.1, zaključujemo da postoji F (X) 1 za svako X U(X, ε). Funkcija F ( ) 1 je neprekidna u tački X, pa postoji c 2 > 0 tako da nejednakost pod b) F (X) 1 c 2 važi za svako X U(X, ε). Pretpostavimo da se početna tačka nalazi dovoljno blizu X, odnosno X (0) U(X, ε). Tada, zamenjujući X = X u prvoj od dobijenih nejednakosti i koristeći pretpostavku da je f(x ) = 0, dobijamo F (X (0) )(X (0) X ) f(x (0) ) c 1 X (0) X 2. Kako je prva tačka iterativnog niza X (1) dobijena Njutnovim algoritmom X (1) = X (0) F (X (0) ) 1 f(x (0) ), oduzimajući X sa obe strane gornje jednakosti i uzimajući normu, dobijamo X (1) X = X (0) X F (X (0) ) 1 f(x (0) ) Odavde se lako dobija da je = F (X (0) ) 1 [F (X (0) )(X (0) X ) f(x (0) )] F (X (0) ) 1 F (X (0) )(X (0) X ) f(x (0) ). X (1) X c 1 c 2 X (0) X 2. Pretpostavimo da smo početnu tačku X (0) izabrali tako da važi gde je α (0, 1). Tada je X (0) X α c 1 c 2 < ε, X (1) X α X (0) X. Koristeći princip matematičke indukcije, može se pokazati da za svako k važi

11 1.2. OPŠTI USLOVI KONVERGENCIJE NJUTNOVE METODE11 odnosno X (k+1) X c 1 c 2 X (k) X 2, X (k+1) X α X (k) X. Odavde zaključujemo da je lim k X (k) X = 0, što znači da niz {X (k) } konvergira ka X kad k. Red konvergencije je najmanje 2 jer je X (k+1) X = O( X (k) X 2 ). Teorema 1.1 implicitno podrazumeva da je Hesijan matrica 2 f(x (k) ) regularna za svako k i zaključci Teoreme 1.1 važe samo ukoliko se dovoljno približimo tački X. Kako je po pretpostavci Hesijan matrica 2 f(x ) pozitivno definitna, neprekidnost Hesijana povlači da će 2 f(x (k) ) biti pozitivno definitna za dovoljno veliko k. Naredne teorema se odnose na brzinu konvergencije Njutnovog iterativnog niza, koji je konstruisan pri minimizaciji funkcije definisane na konveksnom skupu. Teorema 1.2 Neka je f : S R realna funkcija definisana na otvorenom konveksnom skupu S R n i neka važe sledeće pretpostavke. a) Funkcija 2 f je Lipšicova 2 na skupu S, što znači da postoji konstanta L <, takva da za svako X, Y S važi 2 f(x) 2 f(y ) L X Y. b) Neka je {X (k) } S iterativni niz definisan sa X (k+1) = X (k) + p k, k = 0, 1, 2,... koji konvergira ka tački X S, tj. lim k X (k) = X i pri tom je X (k) X za svako k. c) Hesijan matrica 2 f(x ) funkcije f u tački X je pozitivno definitna. Pod navedenim pretpostavkama a) c) važi sledeće: niz {X (k) } konvergira superlinearno ka X kad k i f(x ) = 0 ako i samo ako je p k d k lim = 0, k p k gde je d k = F (X (k) ) 1 f k Njutnov pravac u tački X (k). 2 Rudolf Otto Sigismund Lipschitz ( )

12 12 POGLAVLJE 1. NJUTNOVA METODA p Dokaz. : Pretpostavimo da važi lim k d k k p k = 0. Dokaz ćemo izvesti iz dva dela. Najpre ćemo pokazati da je f(x ) = 0, a zatim da niz {X (k) } konvergira ka X superlinearno, kad k. 1) Dokažimo prvo da je f(x ) = 0. Kako je f k = F (X (k) )d k i X (k+1) X (k) = p k, imamo f(x (k+1) ) = [ ] f(x (k+1) ) f(x (k) ) F (X (k) )(X (k+1) X (k) ) + F (X (k) )(p k d k ). Normiranjem gornje jednakosti i deljenjem sa p k, uz pretpostavku da je p k > 0, dobijamo f(x (k+1) ) p k f(x(k+1) ) f(x (k) ) F (X (k) )(X (k+1) X (k) ) p k + F (X (k) ) p k d k. p k Sa druge strane, može se pokazati da važi f(x (k+1) ) f(x (k) ) F (X (k) )(X (k+1) X (k) ) = O( p k 2 ). Dakle, postoji konstanta γ > 0 takva da je f(x (k+1) ) γ p k 2 lim lim k p k k p k + lim F k (X(k) ) p k d k = 0. p k Primetimo da je lim k F (X (k) ) <, imajući u vidu pretpostavke teoreme. Kako je lim k p k = 0, važi f(x ) = lim k f(x(k) ) = 0. 2) Dokažimo da niz {X (k) } konvergira superlinearno ka X kad k. Prema pretpostavkama teoreme o funkciji f i njenim izvodima, može se pokazati da postoji pozitivna konstanta α takva da f(x (k+1) ) = f(x (k+1) ) f(x ) α X (k+1) X,

13 1.2. OPŠTI USLOVI KONVERGENCIJE NJUTNOVE METODE13 za dovoljno veliko k. Prema tome, imamo f(x (k+1) ) p k Imajući u vidu lim k f(x (k+1) ) p k α X(k+1) X p k α X (k+1) X X (k+1) X + X (k) X = α X(k+1) X / X (k) X X (k+1) X / X (k) X + 1. = 0, zaključujemo da je X (k+1) X lim k X (k) X = 0, što upravo znači da niz {X (k) } konvergira superlinearno ka X kad k. : Pretpostavimo da niz {X (k) } konvergira superlinearno ka X i da je f(x p ) = 0. Dokažimo da važi lim k d k k p k = 0. Iz polaznih pretpostavki, sledi da postoji konstanta β > 0 takva da je f(x (k+1) ) = f(x (k+1) ) f(x ) β X (k+1) X, za dovoljno veliko k. Na osnovu pretpostavke o superlinearnoj konvergenci niza {X (k) } ka X i prethodno dobijene nejednakosti, imamo da je X (k+1) X 0 = lim k X (k) X 1 f(x (k+1) ) lim k β X (k) X 1 = lim k β 1 = lim k β Kako je lim k X (k+1) X X (k) X f(x (k+1) ) p k p k X (k) X f(x (k+1) ) X (k+1) X (k). p k X (k) X = 1, zaključujemo da je f(x (k+1) ) lim = 0. k p k

14 14 POGLAVLJE 1. NJUTNOVA METODA Slično postupku u delu 1) u dokazu suprotnog smera, može se pokazati F (X (k) )(p k d k ) p k f(x(k+1) ) f(x (k) ) F (X (k) )(X (k+1) X (k) ) p k + f(x(k+1) ) p k. Kako je granična vrednost desne strane gornje jednakosti jednaka nuli, zaključujemo da važi F (X (k) )(p k d k ) lim = 0. k p k Konačno, imajući u vidu pretpostavku da je matrica F (X ) pozitivno definitna, i matrica F (X (k) ) će biti pozitivno definitna za dovoljno veliko k. Dakle, važi p k d k lim = 0, k p k što je i trebalo dokazati. Teorema 4.2 Neka je f : S R realna funkcija definisana na otvorenom konveksnom skupu S R n, pri čemu je 2 f Lipšicova funkcija na skupu S. Neka je {X (k) } S iterativni niz definisan sa X (k+1) = X (k) + 2 f(x (k) ) 1 f(x (k) ), k = 0, 1, 2,... Pretpostavimo da je X S lokalni minimum funkcije f na skupu S, pri čemu je Hesijan matrica 2 f(x ) pozitivno definitna. Pod navedenim pretpostavkama, za svaku početnu tačku {X (0) } koja je dovoljno blizu tački X, iterativni niz {X (k) } je dobro definisan i konvergira ka tački X kad k sa redom konvergencije najmanje 2. Dokaz teoreme prepuštamo čitaocu. 1.3 Modifikacija Njutnove metode sa svojstvom spusta Kao što smo videli u prethodnoj sekciji, Njutnova metoda brzo konvergira ukoliko je početna tačka iterativnog niza dovoljno blizu lokalnog minimuma.

15 1.3. MODIFIKACIJA NJUTNOVE METODE SA SVOJSTVOM SPUS Med utim, ne postoje garancije da će metoda konvergirati ka tački lokalnog minimuma ukoliko započinjemo pretragu daleko od nje. Čak se može desiti da je Hesijan matrica singularna u tačkama koje se nalaze daleko od lokalnog minimuma, pa Njutnov iterativni niz neće biti dobro definisan. Takod e, može se desiti da Njutnova metoda nema uvek svojstvo spusta, tj. moguće je da f(x (k+1) ) > f(x (k) ) za neko k. U ovoj sekciji pokazaćemo da je moguće modifikovati klasičan Njutnov algoritam tako da svojstvo spusta uvek važi, tj da je f(x (k+1) ) < f(x (k) ) za svako k. Da bismo konstruisali ovu modifikaciju, neophodna nam je sledeća teorema. Teorema 1.3 Neka je {X (k) } iterativni niz dobijen Njutnovom metodom pri minimizaciji funkcije f : R n R, f C 2 (R n ) Ukoliko je Hesijan F (X (k) ) > 0 i f k = f(x (k) ) 0 za svako k, tada je d k = F (X (k) ) 1 f k pravac spusta od tačke X (k) do X (k+1), odnosno d k = X (k+1) X (k) < 0. Drugim rečima, postoji konstanta α 0 R, α 0 > 0 takva da za svako α (0, α 0 ) važi nejednakost f(x (k) + αd k ) < f(x (k) ). Dokaz. Označimo sa g(α) = f(x (k) + αd k ), α 0. Primetimo da je funkcija g dva puta neprekidno diferencijabilna, jer je f C 2 (R n ). Tada je g (α) = f(x (k) + αd k ) T d k. Imajući u vidu da je F (X (k) ) > 0 i f k 0, iz gornje jednakosti dobijamo g (0) = f(x (k) ) T d k = f T k F (X (k) ) 1 f k < 0. Prema tome, možemo naći realnu konstantu α 0 > 0 takvu da za svako α (0, α 0 ) važi g(α) < g(0), što dalje povlači da za svako α (0, α 0 ) važi što je i trebalo dokazati. f(x (k) + αd k ) < f(x (k) ),

16 16 POGLAVLJE 1. NJUTNOVA METODA Teorema 1.3 predstavlja osnov za modifikaciju Njutnove metode sa svojstvom spusta. Iterativni niz {X (k) } se prema modifikovanom algoritmu konstruiše na sledeći način gde je α k minimum funkcije X (k+1) = X (k) α k F (X (k) ) 1 f(x (k) ), g(α) = f(x (k) αf (X (k) ) 1 f(x (k) )), za α 0. Drugim rečima, u svakoj iteraciji modifikovane Njutnove metode vršimo pretragu u pravcu vektora F (X (k) ) 1 f(x (k) ). Na osnovu Teoreme 1.3, zaključujemo da niz tačaka {X (k) } dobijen ovom modifikacijom ima svojstvo spusta, odnosno važi f(x (k+1) ) < f(x (k) ), ukoliko je f(x (k) ) 0. Štaviše, s obzirom na izbor konstante α k, niz {X (k) } ima svojstvo najbržeg spusta pri prelasku iz tačke X (k) u tačku X (k+1). 1.4 Levenberg-Markardova modifikacija Ako prilikom konstrukcije Njutnovog iterativnog niza {X (k) }, Hesijan matrica funkcije F (X (k) ) nije pozitivno definitna, tada pravac d k = F (X (k) ) 1 f k ne mora voditi ka tački X (k+1) u kojoj je vrednost funkcije manja u odnosu na vrednost u tački X (k). Klasična Njutnova metoda se može modifikovati, kako bi obezbedili da je pravac pretrage istovremeno i pravac opadanja vrednosti funkcije. Ideja Levenberg-Markardove 3 modifikacije je sledeća. Posmatrajmo simetričnu matricu F, koja ne mora biti pozitivno definitna. Neka su λ 1, λ 2,..., λ n sopstvene vrednosti matrice F, a v 1, v 2,..., v n odgovarajući sopstveni vektori. Pretpostavimo da su sve sopstvene vrednosti matrice F realne, pri čemu ne moraju biti sve pozitivne. Uočimo zatim matricu G = F + µi, gde je µ 0. Primetimo da su sopstvene vrednosti matrice G upravo λ 1 +µ, λ 2 +µ,..., λ n +µ. Kako je Gv i = (F + µi)v i = F v i + µiv i = λ i v i + µiv i = (λ i + µ)v i, 3 Kenneth Levenberg, Donald W. Marquardt ( )

17 1.5. METODA GARANTOVANOG SPUSTA 17 sledi da je v i istovremeno i sopstveni vektor matrice G, koji odgovara sopstvenoj vrednosti λ i +µ, za svako i = 1, 2,..., n. Ukoliko je µ dovoljno veliko, tada su sve sopstvene vrednosti matrice G pozitivne, te je matrica G pozitivno definitna. Imajući u vidu gore izloženo, iterativni niz Levenberg-Markardove modifikacije Njutnove metode možemo definisati na sledeći način X (k+1) = X (k) (F (X (k) ) + µ k I) 1 f k, pri čemu je µ k 0, k = 0, 1, 2,.. Prema prethodnom razmatranju, za dovoljno velike vrednosti µ k 0 pravac pretrage d k = F (X (k) + µ k I) 1 f k uvek vodi ka opadanju vrednosti funkcije f (videti Teoremu 1.3). Ukoliko uvedemo korak α k, gde je α k minimum funkcije za iterativni niz g(α) = f(x (k) αf (X (k) ) 1 f(x (k) )), za α 0, X (k+1) = X (k) α k (F (X (k) ) + µ k I) 1 f k, k = 0, 1, 2.. važi svojstvo najbržeg spusta, odnosno f(x (k+1) ) < f(x (k) ), za svako k. Ukoliko u formuli koja definiše iterativni niz Levenberg-Markardove modifikacije pustimo da µ k 0 kad k, ova modifikacija se približava klasičnoj Njutnovoj metodi. Ukoliko pustimo da µ k kad k, tada se algoritam približava gradijentnoj metodi sa malim korakom α k. U praksi, možemo početi pretragu koristeći male vrednosti µ k, a zatim ih postepeno povećavati dok iterativni algoritam ne postigne svojstvo spusta, tj. f(x (k+1) ) < f(x (k) ). 1.5 Metoda garantovanog spusta U opštem slučaju, Njutova metoda za minimizaciju funkcije f : R n R polazeći od zadate početne tačke X (0) generiše iterativni niz {X (k) } oblika X (k+1) = X (k) + αd k, k = 0, 1, 2,... gde je α > 0 korak spusta takav da je f(x (k+1) ) = f(x (k) + αd k ) < f(x (k) ). Imajući u vidu Teoremu 1.3, navedeni uslov će biti ispunjen ukoliko je d k pravac spusta funkcije f od X (k) do X (k+1), odnosno ukoliko važi d T k f(x (k) ) < 0.

18 18 POGLAVLJE 1. NJUTNOVA METODA Podsetimo se da kod klasične Njutnove metode imamo gde je vektor d k definisan sa X (k+1) = X (k) + d k, d k = 2 f(x (k) ) 1 f(x (k) ) = F (X (k) ) 1 f(x (k) ). Dakle, da bi d k bio pravac spusta pri minimizaciji funkcije f, mora biti zadovoljen uslov odnosno d T k f(x (k) ) = f(x (k) ) T F (X (k) ) 1 f(x (k) ) < 0, f(x (k) ) T F (X (k) ) 1 f(x (k) ) > 0. Ovaj uslov će biti zadovoljen ukoliko je matrica F (X (k) ) 1 pozitivno definitna, što je ekvivalentno uslovu da je F (X (k) ) pozitivno definitna. Primetimo da je uslov pozitivne definitnosti matrice F (X (k) ) jači u odnosu na uslov d T k f(x(k) ) < 0. U ovoj sekciji predstavićemo modifikaciju Njutnove metode, koja je zasnovana na matričnoj faktorizaciji, kako bismo obezbedili da uslov d T k f(x(k) ) < 0 bude ispunjen za svako k. Podsetimo se da se Njutnov iterativni niz konstruiše aproksimacijom f(x (k) + d k ) kvadratnim izrazom dobijenim iz Tejlorovog razvoja za svako k f(x (k) + d k ) f(x (k) ) + d T k f(x (k) ) dt k F (X (k) ) 1 d k, pri čemu se kvadratna funkcija na desnoj strani gornjeg izraza minimizuje po d k. U slučaju da je F (X (k) ) pozitivno definitna matrica, može se pokazati da se minimum dobija za f(x (k) ) = 0, što vodi ka formuli za Njutnov iterativni niz. Med utim, ukoliko F (X (k) ) nije pozitivno definitna, kvadratna funkcija na desnoj strani gornjeg izraza nema konačan minimum. Jedan od načina da se prevazid e ovaj problem je da zamenimo Hesijan F (X (k) ) nekom pozitivno definitnom matricom koja je u izvesnom smislu bliska Hesijan matrici F (X (k) ). Time ćemo obezbediti egzistenciju pravca duž koga funkcija f opada u odnosu na vrednost funkcije u tački X (k). Nalaženje pravca spusta je ekvivalentno minimizaciji kvadratne aproksimacije funkcije f dobijene iz Tejlorovog razvoja u kome je F (X (k) ) zamenjena nekom bliskom, pozitivno definitnom matricom.

19 1.5. METODA GARANTOVANOG SPUSTA 19 Da bismo našli pravac spusta d k, potrebno je rešiti sistem linearnih jednačina 2 f(x (k) )d k = f(x (k) ). Ukoliko je 2 f(x (k) ) pozitivno definitna, tada možemo primeniti faktorizaciju matrice 2 f(x (k) ) = LDL T, gde je matrica D dijagonalna sa pozitivnim elementima na glavnoj dijagonali, a L donje trougaona matrica. Ukoliko 2 f(x (k) ) nije pozitivno definitna, tada će se prilikom njene faktorizacije u nekom trenutku računanja pojaviti element d ii na glavnoj dijagonali matrice D za koji važi d ii 0. U tom slučaju, element d ii treba zameniti sa nekom pozitivnom vrednošću, recimo d ii, ili nekim drugim (malim) pozitivnim brojem. Može se pokazati da je modifikacija elemenata matrice D prilikom faktorizacije Hesijana ekvivalentno zameni matrice 2 f(x (k) ) matricom 2 f(x (k) ) + E, gde je E dijagonalna matrica. 2 f(x (k) ) + E dobijamo Faktorizacijom modifikovane Hesijan matrice 2 f(x (k) ) + E = LDL T, gde je modifikovana Hesijan matrica sada pozitivno definitna, a matrica D dijagonalna sa pozitivnim elementima na glavnoj dijagonali. Pomoću novodobijene faktorizacije možemo nać pravac spusta d k kao rešenje sistema jednačina (LDL T )d k = f(x (k) ). Dakle, osnovna ideja ove modifikacije Njutnove metode je zamena Hesijan matice 2 f(x (k) ) pozitivno definitnom matricom 2 f(x (k) ) + E, koja se dalje razlaže faktorizacijom na LDL T, gde je D dijagonalna sa pozitivnim elementima na glavnoj dijagonali. Ovaj postupak se naziva modifikovana faktorizacija matrice. Primetimo da se faktorizacija primenjuje čak i u slučaju da je Hesijan matrica 2 f(x (k) ) pozitivno definitna za svako k (tada je E = 0). Primer 1.2 Pretpostavimo da je Hesijan matrica u tački X zadata sa 2 f(x) =

20 20 POGLAVLJE 1. NJUTNOVA METODA Ova matrica je simetrična, ali nije pozitivno definitna, jer je glavni minor drugog reda negativan. Primenimo na ovu matricu postupak modifikovane faktorizacije. U prvoj fazi faktorizacije 2 f(x) = L T DL T, dobijamo dijagonalnu matricu D koja nema sve pozitivne elemente na glavnoj dijagonali. Kako je d 11 = 1, zamenićemo ovaj element elementom 4, tj. izabraćemo e 11 = 5. Uzimajući da je e 11 = 5, dobijamo d 11 = 4, l 11 = l 31 = 1 i l 21 = 1 2. U sledećoj fazi modifikovane faktorizacije, dobijamo da je d 22 = 4, pa zamenjujemo ovaj element elementom sa vrednošću 8. Dakle, biramo e 22 = 12, te dobijamo d 22 = 8, l 22 = 1 i l 32 = 1 2. U poslednjoj fazi dobijamo d 33 = 16, te nije potrebna modifikacija. Napomenimo da smo pozitivne elemente e 11 i e 22 birali tako da postupak faktorizacije matrice bude što jednostavniji u računskom smislu. Konačno, dobijamo 2 f(x) + E = = = LDL T Dobijena modifikovana faktorizacija Hesijan matrice se dalje koristi za računanje vektora pravca d k, kao što je gore opisano. Napomenimo da postoji izvesna fleksibilnost pri modifikaciji dijagonalne matrice D, jer ta modifikacija nije jedinstveno odred ena. U svakom slučaju, modifikacija matrice D mora biti takva da je rezultujuća modifikacija Hesijana pozitivno definitna matrica. Dalje, da bi bili zadovoljeni uslovi konvergencije, modifikacija Hesijana mora biti regularna matrica. Štaviše, poželjno je da modifikacija Hesijana ne bude bliska singularnoj matrici. Preciznije, u praksi se zahteva da najmanja sopstvena vrednost matrice bude veća od neke unapred zadate pozitivne vrednosti δ, dok njena norma mora biti ograničena nekom konstantom c < (pokazati!). Navedeni uslovi definišu opseg u kome se kreću elementi modifikovane matrice D. Sada ćemo izložiti algoritam modifikacije Njutnove metode pod nazivom metoda garantovanog spusta, koja obezbed je konvergenciju konstruisanog iterativnog niza X (k), pri čemu Hesijan matrica 2 f(x (k) ) ne mora biti pozitivno definitna za svako k. Algoritam metode garantovanog spusta sastoji se iz sledećih koraka.

21 1.6. GAUS-NJUTNOVA METODA 21 Algoritam 4.4 Korak 0. Izabrati početnu tačku X (0) i pozitivnu konstantu ε za kriterijum zaustavljanja. Postaviti k = 0. Korak 1. Izračunati f(x 0 ). Ukoliko je f(x 0 ) < ε, zaustaviti postupak i X X 0. U suprotnom, preći na Korak 2. Korak 2. Izvršiti modifikovanu faktorizaciju Hesijana u tački X (k) 2 f(x (k) ) + E = LDL T. Ukoliko je Hesijan pozitivno definitna matrica, staviti E = 0. Korak 3. Rešiti sistem linearnih jednačina (LDL T )d k = f(x (k) ). Korak 4. Formirati iterativni niz tačaka po formuli X (k+1) = X (k) +α k d k, gde je α k minimum funkcije g(α) = f(x (k) + αd k ), za α 0. Korak 5. Nakon dobijanja nove tačke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja f(x (k+1) ) < ε. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X tačka lokalnog minimuma funkcije f. U suprotnom, postaviti k = k + 1 i preći na korak 2. Napomenimo da modifikacija Hesijan matrice mora biti izabrana tako da gore navedeni uslovi za konvergenciju metode budu ispunjeni. 1.6 Gaus-Njutnova metoda Posmatrajmo problem najmanjih kvadrata min m (r i (X)) 2, i=1 gde su r i : R n R, i = 1, 2,..., m zadate nelinearne funkcije. Ovaj problem se u literaturi naziva nelinearnim problemom najmanjih kvadrata. Označimo sa r : R n R m vektorsku funkciju definisanu sa r(x) = [r 1 (X), r 2 (X),..., r m (X)] T, X R n. Funkciju cilja možemo zapisati u obliku f(x) = r(x) T r(x). Da bismo primenili Njutnovu metodu za minimizaciju funkcije f, izračunajmo najpre gradijent i

22 22 POGLAVLJE 1. NJUTNOVA METODA Hesijan funkcije f u proizvoljnoj tački. Gradijent je [ f f(x) = (X), f (X),..., f ] (X), x 1 x 2 x n gde je f x j (X) = 2 m i=1 r i (X) r i x j (X). Dalje, Jakobijan funkcije r : R n R m je oblika r 1 x 1 (X)..... J(X) =.... r m x 1 (X).. r 1 x n (X) r m x n (X), te se gradijent funkcije f : R n R može predstaviti na sledeći način f(x) = 2J(X) T r(x). Da bismo odredili Hesijan matricu funkcije f, nad imo najpre njenu (k, j)-tu komponentu: 2 f (X) = ( ) ( ) f (X) = m 2 r i (X) r i (X) x k x j x k x j x k x i=1 j m ( ri = 2 (X) r i 2 ) r i (X) + r i (X) (X). x k x j x k x j i=1 Ako sa S(X) označimo matricu čija je (k, j)-ta komponenta m Hesijan matricu funkcije f možemo zapisati u obliku F (X) = 2[J(X) T J(X) + S(X)]. i=1 r i (X) 2 r i x k x j (X), Prema tome, iterativni niz konstruisan Njutnovom metodom za rešavanje nelinearnog problema najmanjih kvadrata je definisan na sledeći način X (k+1) = X (k) F (X (k) ) 1 f(x (k) ), k = 0, 1, 2,... X (k+1) = X (k) [J(X (k) ) T J(X (k) )+S(X (k) )] 1 J(X (k) ) T r(x (k) ), k = 0, 1, 2,...

23 1.6. GAUS-NJUTNOVA METODA 23 U nekim primenama, matrica S(X), koja sadrži druge izvode funkcije r, može biti izostavljena, jer su ti članovi uglavnom zanemarljivo mali. U tom slučaju, iterativni niz Njutnove metode se svodi na X (k+1) = X (k) [J(X (k) ) T J(X (k) )] 1 J(X (k) ) T r(x (k) ), k = 0, 1, 2,... Ovaj algoritam je u literaturi poznat pod imenom Gaus-Njutnov metod 4. Primetimo da Gaus-Njunov metoda ne zahteva računanje drugog izvoda funkcije r. Primer 1.3 Tokom jednog eksperimenta posmatramo neki fizički proces. Pretpostavimo da smo u toku trajanja eksperimenta izvršili m merenja posmatranog procesa u m vremenskih tačaka. Neka su t 1, t 2,..., t m vremena u kojima smo vršili merenja a y 1, y 2,..., y m rezultati merenja. Vrednosti (t i, y i ) i = 1, 2,..., m su prikazane na Slici 1.3 za m = 21. Primetimo da je t 1 = 0 i t 21 = 10. Slika 1.3: Rezultati merenja (t i, y i ), i = 1, 2,..., 21 Dalje, želimo da dobijene rezultate merenja aproksimiramo sinusoidom oblika y = A sin(ωt + φ), sa odgovarajućim vrednostima parametara A, ω i φ. 4 Johann Carl Friedrich Gauss ( ), Sir Isaac Newton ( )

24 24 POGLAVLJE 1. NJUTNOVA METODA Slika 1.4: Aproksimacija dobijena nelinearnom metodom najmanjih kvadrata Posmatrajmo funkciju m (y i A sin (ωt i + φ)) 2, i=1 koja predstavlja sumu kvadrata odstupanja vrednosti sinusoide y u mernim tačkama. Problem je odrediti nepoznate parametare A, ω i φ, tako da gornja suma kvadrata odstupanja bude minimalna. Označimo sa X = [A, ω, φ] T vektor nepoznatih parametara. Tada se zadatak moze posmatrati kao nelinearni problem najmanjih kvadrata min n (r i (X)) 2, i=1 pri čemu je r i (X) = y i A sin (ωt i + φ), X = [A, ω, φ] T, i = 1, 2,..., m. Jakobijan funkcije r(x) = [r 1 (X), r 2 (X),..., r 21 (X)] je matrica J(X) dimenzija 21 3 oblika J(X) = [J(X) i1 J(X) i2 J(X) i3 ], i = 1, 2,..., 21,

25 1.7. ZADACI ZA VEŽBU 25 čiji su elementi po vrstama J(X) i1 = r i A (X) = sin (ωt i + φ), J(X) i2 = r i ω (X) = t ia cos (ωt i + φ), J(X) i3 = r i φ (X) = A cos (ωt i + φ), za svako i = 1, 2,..., 21, pri čemu je X = [A, ω, φ] T nepoznati vektor. Primenjujući Gaus-Njutnov algoritam, dobijamo da su optimalne vrednosti za parametre sinusoide A = 2.01, ω = i φ = Dobijena sinusoida je predstavljena na Slici Zadaci za vežbu Zadatak 1.1 Data je funkcija f : R R, definisana sa f(x) = x 4 1. a) Konstuisati Njutnov iterativni niz za minimizaciju funkcije f, počevši od tačke x (0) = 4. b) Dokazati da dobijeni niz konvergira globalnom minimumu funkcije f. c) Odrediti red konvergencije dobijenog niza. Zadatak 1.2 Posmatrajmo funkciju f : R R, definisanu sa f(x) = x 4/3. Njutnovom metodom minimizovati datu funkciju f. Da li je tačka dobijena kao granična vrednost Njutnovog iterativnog niza lokalni ili globalni minimum? b) a) Diskutovati konvergenciju Njutnovog iterativnog niza u zavisnosti od početne tačke x (0). Zadatak 1.3 Posmatrajmo Rozenbrokovu 5 funkciju f : R 2 R definisanu sa f(x) = 100(x 2 x 2 1) 2 + (1 x 1 ) 2, X = [x 1, x 2 ] T R 2. 5 Howard Harry Rosenbrock ( )

26 26 POGLAVLJE 1. NJUTNOVA METODA a) Pokazati da je tačka X = [1, 1] T jedinstveni globalni minimum funkcije f na R 2. b) Konstruisati Njutnov iterativni niz počevši od tačke X (0) = [0, 0] T. c) Konstruisati iterativni niz gradijentnom metodom sa fiksnim korakom α k = 0.05 i istom početnom tačkom. d) Uporediti brzine konvergencije iterativnih nizova dobijenih pod c) i d). Zadatak 1.4 Konstruisati Njutnov iterativni niza za minimizaciju funkcije f : R 2 R definisane sa f(x) = 2x x 2 2 2x 1 x 2 + 2x x 4 1, X = [x 1, x 2 ] T R 2. Za početnu tačku uzeti X (0) = [0, 1] T i izračunati prve tri iteracije X (i), i = 1, 2, 3. Zadatak 1.5 Posmatrajmo problem minimizacije funkcije iz Zadatka 1.4 i uvedimo smenu promenjive Y = AX + b, gde je [ ] 3 1 A =, b = [ 1, 2] T. 4 1 Pokazati da pravac d k iz polaznog Njutnovog iterativnog niza ostaje isti i nakon uvod enja smene promenljivih. Zadatak 1.6 Posmatrajmo problem minimizacije proizvoljne funkcije f : R n R, koji rešavamo Njutnovom metodom. Ako uvedemo smenu promeljive oblika Y = AX + b, pokazati da Njutnov pravac ostaje isti ukoliko je A invertibilna matrica. Zadatak 1.7 Data je funkcija f : R R definisana sa f(x) = (x x 0 ) 4, gde je x 0 realna konstanta. a) Konstruisati Njutnov iterativni niz {x (k) } za minimizaciju funkcije f. b) Pokazati da x (k) x 0 kad k za proizvoljni izbor početne tačke x (0). c) Da li za niz {x (k) } važe uslovi Teoreme 1.1, koja kaže da je pod odred enim uslovima red konvergencije Njutnovog iterativnog niza najmanje 2? d) Koji je red konvergencije niza {x (k) }?

27 1.7. ZADACI ZA VEŽBU 27 Zadatak 1.8 Posmatrajmo funkciju f(x) = (x x 0 ) 4 čiju smo minimizaciju Njutnovom metodom razmatrali u Zadatku 1.7. Označimo sa y k = x (k) x 0, k = 0, 1, 2,.., gde je x (k) tačka dobijena u k- toj iteraciji Njutnovom metodom. a) Pokazati da za niz {y k } važi y k+1 = 2 3 yk. b) Odrediti red konvergencije niza {y (k) }. Zadatak 1.9 Posmatrajmo modifikovan Njutnov algoritam za minimizaciju funkcije f : R n R koji generiše iterativni niz definisan sa X (k+1) = X (k) α k F (X (k) ) 1 f k, gde je F (X (k) ) Hesijan funkcije f u tački X (k), f k gradijent funkcije f u tački X (k) i α k minimum funkcije g(α) = f(x (k) αf (X (k) ) 1 f k ), α 0. Primeniti ovu modifikaciju na problem minimizacije kvadratne funkcije f(x) = 1 2 XT QX, gde je Q simetrična, pozitivno definitna matrica reda n i b R n zadati vektor. Da li i ova modifikacija konvergira u jednom koraku ka tački X, za koju je f(x ) = 0 za proizvoljan izbor početne tačke X (0)?