Nelinearno programiranje

Nelinearno programiranje Zorica Stanimirovi, Matemati ki fakultet, Studentski trg 16/IV, 11 000 Belgrade, Serbia, email: zoricast@matf.bg.ac.rs 4. Njutnova metoda 4.1 Denicija Njutnove metode U prethodnom poglavlju videli smo da gradijentne metode koriste samo prvi izvod (gradijent) kao pravac duº koga se minimizuje zadata funkcija. Mežutim, to nije uvek najekasniji na in za bezuslovnu minimizaciju funkcije. Ako se pri konstrukciji iterativnog algoritma koriste izvodi vi²eg reda, dobijeni metod moºe imati bolje performanse nego npr. metod najbrºeg spusta. Za razliku od gradijentne metode, Njutnova metoda koristi izvode prvog i drugog reda date funkcije za konstrukciju interativnog niza. Pokazuje se da Njutnova metoda zaista brºe konvergira ka (lokalnom) minimumu funkcije, pod pretpostavkom da je po etna ta ka relativno blizu traºenog minimuma. Ideja Njutnove metode je slede a: za zadatu po etnu ta ku konstruisati kvadratnu aproksimaciju posmatrane funkcije, takvu da se vrednost funkcije, kao i vrednosti prvog i drugog izvoda aproksimacije u polaznoj ta ki poklapaju sa odgovaraju om vrednosti funkcije i vrednostima prvog i drugog izvoda zadate funkcije u istoj ta ki. Umesto problema minimizacije polazne funkcije, posmatra se problem minimizacije kvadratne aproksimacije. Dobijeni minimum kvadratne aproksimacije je polazna ta ka za slede i korak i procedura se iterativno ponavlja. Ukoliko je polazna funkcija kvadratna, tada je kvadratna aproksimacija identi na polaznoj funkciji i metod vodi ka minimumu funkcije u jednoj iteraciji. Ukoliko to nije slu aj, tada emo minimizacijom kvadratne aproksimacije dobiti aproksimaciju minimuma polazne funkcije. Kvadratnu aproksimaciju date funkcije f : R n R, f C 2 (R n ), moºemo dobiti koriste i Tejlorov razvoj, pod uslovom da je funkcija dva puta neprekidno diferencijabilna. Ukoliko u Tejlorovom razvoju funkcije f u okolini ta ke X k zanemarimo lanove po ev²i od reda 3, dobijamo f(x) f(x (k) ) + 1 1! (X X(k) ) T f(x k ) + 1 2! (X X(k) ) T 2 f(x (k) )(X X (k) ). Ako sa q(x) ozna imo izraz na desnoj strani, tada je q(x) = f(x (k) ) + (X X (k) ) T f k + 1 2 (X X(k) ) T F (X (k) )(X X (k) kvadratna aproksimacija funkcije f C 2 (R n ), gde je f k = f(x k ) gradijent a F (X (k) ) = 2 f(x k ) Hesijan funkcije f u ta ki X k ). Kako umesto minimizacije fukcije f re²avamo problem minimizacije njene kvadratne aproksimacije q, nažimo najpre ta ku X u kojoj su zadovoljeni NUPR za lokalni minimum funkcije q, odnosno 1

odakle je 0 = q(x) = f k + F (X (k) )(X X (k) ), f k = F (X (k) )(X X (k) ), F (X (k) ) 1 f k = X X (k), X = X (k) F (X (k) ) 1 f k. Ako je F (X (k) ) > 0, tada q dostiºe minimum u ta ki X = X (k+1), gde je X (k+1) = X (k) F (X (k) ) 1 f k. Dakle, klasi ni Njutnov metod se sastoji iz slede ih koraka: 1. korak Izabrati po etnu ta ku X (0) 2. korak Formirati iterativni niz ta aka po formuli X (k+1) = X (k) F (X (k) ) 1 f k, k = 0, 1, 2,... 3. korak Nakon dobijanja nove ta ke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X ta ka lokalnog minimuma funkcije f. O konvergenciji i kriterijumima zaustavljanja Njutnove metode bi e re i u narednoj sekciji. Napomenimo da je Njutnova metoda u literaturi poznata i pod imenom Njutn-Rapsonova metoda. Primer 4.1 Posmatrajmo funkciju f : R 4 R denisanu sa f(x) = f(x 1, x 2, x 3, x 4 ) = (x 1 + 10x 2 ) 2 + 5(x 3 x 4 ) 2 + (x 2 2x 3 ) 4 + 10(x 1 x 4 ) 4. i primenom Njutnove metode kroz tri iteracije nažimo pribliºnu vredost njenog minimuma, tj. X (3) X. Za po etnu ta ku iterativnog niza uzmimo X (0) = [3, 1, 0, 1] T. Gradijent funkcije f u proizvoljnoj ta ki X = [x 1, x 2, x 3, x 4 ] T R 4 je 2(x 1 + 10x 2 ) + 40(x 1 x 4 ) 3 f(x) = 20(x 1 + 10x 2 ) + 4(x 2 2x 3 ) 3 10(x 3 x 4 ) 8(x 2 2x 3 ) 3, 10(x 3 x 4 ) 40(x 1 x 4 ) 3 a Hesijan je odrežen sa F (X) = 2 + 120(x 1 x 4 ) 2 20 0 120(x 1 x 4 ) 2 20 200 + 12(x 2 2x 3 ) 2 24(x 2 2x 3 ) 2 0 0 24(x 2 2x 2 3) 10 + 48(x 2 2x 3 ) 2 10 120(x 1 x 4 ) 2 0 10 10 + 120(x 1 x 4 ) 2 U prvoj iteraciji, ra unamo ta ku X (1) = X (0) F (X (0) ) 1 f 0 = X (0) + d 0, gde smo sa d 0 ozna ili lan F (X (0) ) 1 f 0. Uvr²tavanjem koordinata ta ke X (0) dobijamo da je gradijent f 0 = f(x (0) ) = [306, 144, 2, 310] T. 2

a Hesijan F (X (0) ) = 482 20 0 480 20 212 24 0 0 24 58 10 480 0 10 490 Da bismo izra unali vrednost d 0 moºemo postupiti na dva na ina. Prvi na in je nalaºenje inverza matrice F (X (0) ) i mnoºenjem sa desne strane vektorom f 0. Drugi na in je da se d 0 dobije kao re²enje sistema linearnih jedna ina F (X (0) )d 0 = f 0. Primenjuju i jedan od ova dva na ina, dobijamo da je d 0 = [ 1.4127, 0.8413, 0.2540, 0.746] T, te je X (1) = [1.5873, 0.1587, 0.2540, 0.2540] T i f(x (1) ) = 31.8. U drugoj iteraciji, na isti na in dobijamo da je X (2) = X (1) F (X (1) ) 1 f 1 = X (1) + d 2 1 = [1.5082, 0.1058, 0.1694, 0.1694], i f(x (2) ) = 6.28. U tre oj iteraciji, X (3) = X (2) F (X (2) ) 1 f 2 = X (2) + d 2 = [0.7037, 0.0704, 0.1121, 0.1111] i f(x (2) ) = 1.24. Iz gornjeg primera, moºemo videti da u k-toj iteraciji Njutnove metode ra unamo X (k+1) = X (k) + d k, gde je d k = F (X (k) ) 1 f k, te se Njutnova metoda moze zapisati i na slede i na in koji je pogodan za implementaciju. 1. korak Izabrati po etnu ta ku X (0) 2. korak Re²iti jedna inu F (X (k) )d k = f k po nepoznatom vektoru d k, k = 0, 1, 2,... 3. korak Izra unati novu ta ku iterativnog niza po formuli X (k+1) = X (k) + d k 4. korak Nakon dobijanja nove ta ke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X ta ka lokalnog minimuma funkcije f. Ukoliko nije, i i na korak 2. Primetimo da re²avanje jedna ine F (X (k) )d k = f k po nepoznatom d k podrazumeva kori² enje neke metode za re²avanje sistema linearnih jedna ina. To zna i da nam je za ekasnu implementaciju Njutnove metode neophodan neki ekasan i stabilan metod koji re²ava sistem linearnih jedna ina. Njutnov metod za minimizaciju funkcije f : R n R, f C 2 (R n ) se moºe posmatrati kao metod za re²avanje jedna ine g(x) = 0, gde je f(x) = g(x) = [g 1 (X), g 2 (X),..., g n (X)], g i (X) = f x i (X), i = 1, 2,..., n. Primetimo da je g : R n R n i g C 1 (R n ). U ovom slu aju primene Njutnove metode, F (X) je zapravo Jakobijan funkcije g u ta ki X = [x 1,..., x n ] T, odnosno F (X) = g(x) = [ gi x j (X)], i, j = 1, 2,.., n. Preciznije, Njutnova metoda se sastoji iz slede ih koraka: 1. korak Izabrati po etnu ta ku X (0) 2. korak Re²iti jedna inu F (X (k) )d k = G k po nepoznatom vektoru d k, k = 0, 1, 2,..., gde je G k = g(x (k) ) a F (X (k) ) = [ gi x j (X (k) )]. 3

3. korak Izra unati novu ta ku iterativnog niza po formuli X (k+1) = X (k) + d k 4. korak Nakon dobijanja nove ta ke iterativnog niza X (k+1), proveriti da li je ispunjen kriterijum zaustavljanja. Ukoliko jeste, stajemo sa procesom i X X (k+1), gde je X ta ka lokalnog minimuma funkcije f. Ukoliko nije, i i na korak 2. Razmatraju i ekasnost Njutnove metode, moºemo primetiti da postoje tri tipa "tro²kova" u smislu broja operacija koje je potrebno izvesti: nalaºenje prvog i drugog izvoda, ra unanje (tj. izvoženje aritmeti kih operacija) i uvanje rezultata i mežurezultata. Klasi na Njutnova metoda koju smo razmatrali zahteva odreživanje prvog i drugog izvoda, ra unanje gradijenta i Hesijana u ta ki, re²avanje sistema linearnih jedna ina (ili alternativno ra unanje inverza matrice Hesijana) i uvanje matrica i vektora. Za problem minimizacije dimenizije n, matrica Hesijana je dimenzije n n i sadrºi n 2, odnosno O(n 2 ) elemenata, ²to zna i da se mora izra unati vrednost O(n 2 ) izraza u zadatoj ta ki da bi se odredili svi elementi matrice Hesijana (pod uslovom da su ra unanja korektna). Kada se izra una matrica Hesijana u zadatoj ta ki, dalje nam je potrebno O(n 3 ) aritmeti kih operacija da se re²i sistem linearnih jedna ina ili odredi inverz matrice. Kako n raste, ovi tro²kovi se zna- ajno uve avaju i neretko dovode do toga da se re²enje ne moºe na i usled ograni enja memorije, vremena ili ra unarslih resursa, iako ono teorijski postoji. U nekim slu ajevima mogu e je automatizovati proces nalaºenja izvoda funkcije, ²to dalje omogu ava aumatizovanje ra unanja izvoda u zadatoj ta ki. Dalje, problemi velikih dimenzija esto imaju retku matricu Hesijana, pa kori² enjem tehnika za rad sa retkim matricama moºe se smanjiti broj operacija i memorijski resursi potrebni za njihovo uvanje. Tro²kovi primene Njutnove metode mogu se redukovati i kori² enjem razli itih modikacija koje pojednostavljuju klasi nu metodu i redukuju proces ra unanja. Ve ina ovih algoritama koriste samo prvi izvod ili izbegavaju re²avanje sistema lineranih jedna ina, ime se tro²kovi primene Njutnove metode smanjuju na O(n 2 ). Modikacije koje su dizajnirane za re²avanje problema velikih dimenzija koriste tehnike za redukciju potrebnog memorijskog prostora na O(n). Mežutim, pojednostavljenje klasi ne Njutnove metode uglavnom vodi ka lo²ijim performansama dobijenih modikacija u odnosu na orginalnu metodu. Modikacije imaju sporiju brzinu konvergencije jer koriste vi²e pojednostavljenih iteracija da bi do²le do re²enja problema sa zadatom ta no² u. U praksi se klasi na Njutnova metoda ne koristi esto, upravo zbog svoje ra unske sloºenosti, iako ona predstavlja idealan metod za re²avanje problema minimizacije koji brzo konvergira, ²to emo videti u narednoj sekciji. Stoga se u praksi teºi konstrukciji jednostavnijih modikacija koje u ²to ve oj meri zadrºavaju dobre osobine klasi ne Njutnove metode, posebno brzine konvergencije. 4.2 Konvergencija Njutnove metode Ukoliko je Hesijan F (X) funkcije f : R n R pozitivno denitan, Njutnov metod konvergira za bilo koji izbor po etne ta ke iterativnog niza. Mežutim, ukoliko Hesijan nije pozitivno denitan, Njutnov algotitam se ne mora obavezno kretati u smeru opadanja vrednosti funkcije, tj. ne mora vaºiti f(x (k+1) ) < f(x (k) ). Posledica je da Njutnov metod esto ne konvergira ka lokalnom minimumu u slu aju da Hesijan nije pozitivno denitna matrica. Na Slici 4.1 ilustrovana je situacija u jednodimenzionom slu aju kada je Hesijan pozitivno denitan. Slika 4.2 4

ilustruje slu aj kada Hesijan nije pozitivno denitan i niz ta aka dobijen Njutnovom metodom ne konvergira. Slika 1: Njutnova metoda za f (X) > 0 (iterativni niz konvergira lokalnom minimumu) Slika 2: Njutnova metoda: f (X) < 0 (iterativni niz ne konvergira lokalnom minimumu) Ipak, treba napomenuti da ak i u slu aju da je Hesijan pozitivno denitan, moºe se desiti da je f(x (k+1) ) < f(x (k) ) za neko k. Na primer, to se moºe desii ukoliko je po etna ta ka X (0) daleko od lokalnog minimuma. U slu aju da se po etna ta ka nalazi relativno blizu lokalnog minimuma, niz ta aka dobijenih Njutnovom metod brzo konvergira traºenom minimumu. Analiza konvergencije Njutnove metode je jednostavna ukoliko je f : R n R kvadratna funkcija. tavi²e, Njutnov iterativni niz konvergira ka ta ki X za koju je f(x ) = 0 u samo jednom koraku. Zaista, neka je kvadratna funkciju oblika f(x) = 1 2 XT QX b T X, gde je Q simetri na, pozitivno denitna matrica reda n i b R n dati vektor. Tada je gradijent f(x) = QX b i Hesijan F (X) = Q. Pod pretpostavkom da je matrica Q invertibilna, f(x ) = 0 ako i samo ako je QX = b, odnosno X = Q 1 b. Imaju i to u vidu, primenom Njutnove metode dobijamo prvu ta ku iterativnog niza X (1) = X (0) F (X (0) ) 1 f(x (0) ) = X (0) Q 1 (QX (0) b) = Q 1 b = X, 5

koja je upravo jednaka ta ki X za koju vaºe NUPR. Dakle, u slu aju kvadratne funkcije, red konvergencije Njutnove metode je za proizvoljni izbor po etne ta ke X (0). Analizirajmo sada konvergenciju Njutnove metode u op²tem slu aju i pokaºimo da je red konvergencije iterativnog niza {X (k) } dobijenog Njutnovom metodom ka ta ki lokalnog minimuma X najmanje 2. Pre formulacije teoreme koja govori o konvergenciji Njutnove metode, navodimo lemu koja e nam biti potrebna za dokaz teoreme. Lema 4.1 Neka je F : R n R n R n matri na funkcija koja je neprekidna u ta ki X R n. Ako postoji F (X ) 1, tada postoji F (X) 1 za svaku ta ku X koja je dovoljno blizu X i funkcija F ( ) 1 je neprekidna u ta ki X. Dokaz leme 4.1 moºe se prona i u [2] i [1]. Teorema 4.1 Neka je f : R n R za koju vaºi f C 3 (R n ). Neka je X R n ta ka za koju je f(x ) = 0 i matrica F (X ) je invertibilna. Tada, za svaku po etnu ta ku X (0) koja je dovoljno blizu X, Njutnov iterativni niz {X (k) } je dobro denisan za svako k i konvergira ka X sa redom konvergencije koji je najmanje 2. Dokaz. Razvijmo funkciju f u Tejlorov red u okolini ta ke X (0) odakle je f(x) = f(x (0) ) + F (X (0) )(X X (0) ) + O( X X (0) 2 ), f(x) f(x (0) ) F (X (0) )(X X (0) ) = O( X X (0) 2 ). Kako je po pretpostavci teoreme f C 3 (R n ) i Hesijan F (X ) invertibilna matrica, postoje konstante ε > 0, c 1 > 0 i c 2 > 0 takve da, ukoliko ta ke X (0) i X pripadaju zatvorenoj ε okolini ta ke X, u oznaci U(X, ε) = {X X X ε}, vaºi f(x) f(x (0) ) F (X (0) )(X X (0) ) c 1 X X (0) 2 Ova nejednakost sledi iz injenice da ostatak Tejlorovog razvoja funkcije f sadrºi tre e izvode funcije f C 3 (R n ), koji su neprekidni, a prema tome i ograni eni u zatvorenoj okolini U(X, ε). Kako je Hesijan F (X ) invertibilna matrica, imaju i u vidu Lemu 4.1, zaklju ujemo da postoji F (X) 1 za svako X U(X, ε). Funkcija F ( ) 1 je neprekidna u ta ki X, pa postoji c 2 > 0 tako da je F (X) 1 c 2 za svako X U(X, ε). Pretpostavimo da se po etna ta ka nalazi blizu X, odnosno X (0) U(X, ε). Tada, zamenjuju i X = X u prvoj od dobijenih nejednakosti i koriste i pretpostavku da je f(x ) = 0, dobijamo F (X (0) )(X X (0) ) f(x (0) ) c 1 X (0) X 2. Kako je prva ta ka iterativnog niza X (1) dobijena Njutnovim algoritmom 6

X (1) = X (0) F (X (0) ) 1 f(x (0) ), oduzimaju i X sa obe strane gornje jednakosti i uzimaju i normu, dobijamo X (1) X = X (0) X F (X (0) ) 1 f(x (0) ) = F (X (0) ) 1 [F (X (0) )(X (0) X ) f(x (0) )] Odavde se lako dobija da je F (X (0) ) 1 (F (X (0) )(X (0) X ) f(x (0) )). X (1) X c 1 c 2 X (0) X 2. Pretpostavimo da smo po etnu ta ku X (0) izabrali tako da vaºi gde je α (0, 1). Tada je X (0) X α c 1 c 2, X (1) X α X (0) X. Dobijena nejednakost vaºi za k = 1. Koriste i princip matemati ke indukcije, dobijamo odnosno X (k+1) X c 1 c 2 X (k) X 2, X (k+1) X α X (k) X. Odavde zaklju ujemo da je lim k X (k) X = 0, pa niz {X (k) } konvergira ka X kad k. Red konvergencije je najmanje 2 jer je X (k+1) X c 1 c 2 X (k) X 2, odnosno X (k+1) X = O( X (k) X 2 ). 4.3 Modikacija Njutnove metode sa svojstvom spusta Kao ²to smo videli u prethodnom poglavlju, Njutnova metoda brzo konvergira ukoliko je po- etna ta ka iterativnog niza relativno blizu lokalnog minimuma. Mežutim, ne postoje garancije da e metod konvergirati lokalnom minimumu ukoliko po injemo pretragu daleko od nje. ƒak se moºe desiti da je Hesijan singularan u ta kama koje su daleko od traºenog lokalnog minimuma, pa metod ne e biti dobro denisan. Takože, moºe se desiti da metod nema uvek svojstvo spusta, tj. mogu e je da f(x (k+1) ) > f(x (k) ) za neko k. Mogu e je modikovati klasi an Njutnov algoritam tako da svojstvo spusta vaºi, tj da je f(x (k+1) ) > f(x (k) ) za svako k. Da bismo konstruisali tu modikaciju neophodna nam je slede a teorema. Teorema 4.3 Neka je {X (k) } iterativni niz dobijen Njutnovom metodom pri minimizaciji zadate funkcije f : R n R. Ukoliko je Hesijan F (X (k) ) > 0 i f k = f(x (k) ) 0 za svako k = 0, 1, 2,..., tada je d k = F (X (k) ) 1 f k = X (k+1) X (k) pravac spusta od ta ke X (k+1) do X (k). Drugim re ima, postoji konstanta α 0 > 0 takvo da za svako α (0, α 0 ) nejednakost 7

vaºi za svako k = 0, 1, 2,... f(x (k) + αd k ) < f(x (k) ) Dokaz. Ozna imo sa g(α) = f(x (k) + αd k ). Tada je odakle dobijamo g (α) = f(x (k) + αd k ) T d k, g (0) = f(x (k) ) T d k = f T k F (X (k) ) 1 f k < 0, jer je F (X (k) ) > 0 i f k 0. Prema tome, moºemo na i α 0 > 0 takvo da za svako α (0, α 0 ), g(α) < g(0), ²to dalje povla i da za svako α (0, α 0 ) va zi ²to je i trebalo dokazati. f(x (k) + αd k ) < f(x (k) ), Teorema 4.3 predstavlja osnov za modikaciju Njutnove metode koja ima svojstvo spusta. Iterativni niz {X (k) } se prema modikaciju konstrui²e na slede i na in X (k+1) = X (k) α k F (X (k) ) 1 f(x (k) ), gde je α k minimum funkcije g(α) = f(x (k) αf (X (k) ) 1 f(x (k) )) po svim α 0. Preciznije, u svakoj iteraciji modikovane Njutnove metode vr²imo pretragu u pravcu vektora F (X (k) ) 1 f(x (k) ). Na osnovu Teoreme 4.3 zaklju ujemo da niz ta aka {X (k) } dobijen modikacijom Njutnove metode ima svojstvo spusta (opadanja) kad god je f(x (k) ) 0. f(x (k+1) ) < f(x (k) ), 4.4 Levenberg-Markardova modikacija Ako matrica Hesijana F (X (k) ) nije pozitivno denitna, tada pravac d k = F (X (k) ) 1 f k ne mora voditi ka opadanju vrednosti funkcije. Njutnova metoda se moºe modikovati na jednostavan na in da bi se obezbedili da je pravac pretrage istovremeno i pravac spusta funkcije. Ideja Levenberg-Markardove modikacije je slede a. Posmatrajmo simetri nu matricu F, koja ne mora biti pozitivno denitna. Neka su λ 1, λ 2,..., λ n sopstvene vrednosti matrice F kojima odgovaraju sopstveni vektori v 1, v 2,..., v n. Pretpostavimo da su sopstvene vrednosti realne, ali da ne moraju biti sve pozitivne. Dalje, posmatrajmo matricu G = F + µi, gde je µ 0. Primetimo da su sopstvene vrednosti matrice G upravo λ 1 + µ, λ 2 + µ,..., λ n + µ. Kako je Gv i = (F + µi)v i = F v i + µiv i = λ i v i + µiv i = (λ i + µ)v i, sledi da su v i istovremeno sopstveni vektori matrice G koji odgovaraju sopstvenim vrednostima λ i + µ, i = 1, 2,..., n. Ukoliko je µ dovoljno veliko, tada su sve sopstvene vrednosti matrice G pozitivne i matrica G je pozitivno denitna. Iterativni niz Levenberg-Markardove modikacije je denisan sa 8

X (k+1) = X (k) (F (X (k) ) + µ k I) 1 f k, gde su µ k 0. Prema prethodnom razmatranju, za dovoljno velike vrednosti µ k 0 pravac pretrage d k = F (X (k) + µ k I) 1 f k uvek vodi ka opadanju vrednosti funkcije f (videti teoremu 4.3). Ukoliko dalje uvedemo korak α k, gde je α k minimum funkcije g(α) = f(x (k) αf (X (k) ) 1 f(x (k) )) za α 0, za iterativni niz X (k+1) = X (k) α k (F (X (k) ) + µ k I) 1 f k vaºi svojstvo opadanja. Ukoliko u formuli koja deni²e iterativni niz Levenberg-Markardove modikacije pustimo da µ k 0, ova modikacija se pribliºava klasi noj Njutnovoj metod. Ukoliko pustimo da µ k, tada se algoritam pribliºava gradijentnoj metodi za malim korakom. U praksi, moºemo po eti sa malim vrednostima µ k koje se zatim postepeno pove avaju dok iterativni algoritam ne postigne svojstvo opadanja, tj. f(x (k+1) ) < f(x (k) ). Zadaci za veºbu Zadatak 4.1 a) Konstuisati Njutnov iterativni niz za minimizaciju funkcije f : R R, f(x) = X 4 1, po e²i od ta ke X (0) = 4. b) Dokazati da dobijeni niz konvergira globalnom minimumu funkcije f. c) Odrediti stopu konvergencije dobijenog niza. Zadatak 4.2 a) Njutnovom metodom minimizovati funkciju f : R R, f(x) = X 4/3. Da li je ta ka dobijena kao grani na vrednost Njutnovog iterativnog niza lokalni ili globalni minimum? b) Diskutovati konvergenciju Njutnovog iterativnog niza u zavisnosti od po etne ta ke X (0). Zadatak 4.3 Posmatrajmo Rosenbrokovu funkciju f : R 2 R denisanu sa gde je X = (x 1, x 2 ) R 2. f(x 1, x 2 ) = 100(x 2 x 2 1) 2 + (1 x 1 ) 2, a) Pokazati da je ta ka (1, 1) jedinstveni globalni minimum funkcije f na R 2. b) Konstruisati Njutnov iterativni niz po ev²i od ta ke X (0) = (0, 0). c) Konstruisati iterativni niz gradijentnom metodom sa ksnim korakom α k = 0.05 i istom po etnom ta kom. d) Uporediti brzine konvergencije iterativnih nizova dobijenih pod c) i d). Zadatak 4.4 Konstruisati Njutnov iterativni niza za minimizaciju funkcije f : R 2 R denisane sa f(x 1, x 2 ) = 2x 2 1 + x 2 2 2x 1 x 2 + 2x 3 1 + x 4 1 gde je X = (x 1, x 2 ) R 2. Za po etnu ta ku uzeti X (0) = (0, 1) i izra unati prve tri iteracije X (i), i = 1, 2, 3. Zadatak 4.5 Data je funkcija f : R R denisana sa f(x) = (X X 0 ) 4, gde je X 0 realna konstanta. 9

a) Konstruisati Njutnov iterativni niz {X (k) } za minimizaciju funkcije f. b) Pokazati da X (k) X 0 kad k za proizvoljni izbor po etne ta ke X (0). c) Da li za niz {X (k) } vaºe uslovi Teoreme 4.1 koja kaºe da je pod odreženim uslovima red konvergencije Njutnovog iterativnog niza najmanje 2? d) Koji je red konvergencije niza {X (k) }? Zadatak 4.6 Posmatrajmo funkciju f(x) = (X X 0 ) 4 iju smo minimizaciju Njutnovom metodom razmatrali u prethodnom zadatku. Ozna imo sa Y k = X (k) X 0, k = 0, 1, 2,.., gde je X (k) ta ka dobijena u k- toj iteraciji Njutnovom metodom. a) Pokazati da za niz {Y k } vaºi Y k+1 = 2 3 Y k. b) Odrediti red konvergencije niza {Y (k) }. Zadatak 4.7 Posmatrajmo modikovan Njutnov algoritam za minizmizaciju funkcije f : R n R koji generi²e iterativni niz denisan sa X (k+1) = X (k) α k F (X (k) ) 1 f k, gde je F (X (k) ) Hesijan, f k gradijent funkcije f u ta ki X (k) a α k minimum funkcije f(x (k) αf (X (k) ) 1 f k ) po α 0. Primeniti ovu modikaciju na problem minimizacije kvadratne funkcije f(x) = 1 2 XT QX, gde je Q simetri na, pozitivno denitna materica reda n a b R n dati vektor. Da li i ova modikacija konvergira u jednom koraku ka ta ki X za koju je f(x ) = 0 za proizvoljan izbor po etne ta ke X (0)? Literatura [1] Chong, E.K.P, ak, S.H, An Introduction to Optimization, Second Edition, John Wiley & Sons, Inc, 2001. [2] Russell, D., Optimization Theory, New York: W. A. Benjamin, 1970. 10