POGLAVLJE 1 BEZUSLOVNA OPTIMIZACIJA U ovom poglavlju proučavaćemo problem bezuslovne optimizacije: min f(x) (1.1) pri čemu nema dodatnih ograničenja na X = (x 1,..., x n ) R n. Probleme bezuslovne optimizacije često srećemo prilikom aproksimacije funkcije zadate preko skupa podataka 1, gde funkcija cilja predstavlja razliku izmed u modela aproksimanta i ulaznih podataka, izražena u nekoj normi u R n, a cilj problema je minimizovati tu razliku [?], [?], [?], [?], [?]. Metode bezuslovne optimizacije kojima se rešavaju problemi bezuslovne optimizacije imaju i širi značaj, jer se koriste kao polazna osnova za metode uslovne optimizacije. 1.1 Neophodni i dovoljni uslovi za egzistenciju lokalnog minimuma Uslovi optimalnosti koji su diskutovani u prethodnom poglavlju važe i u slučaju bezuslovne optimizacije, tj. uzimajući da je S = R n u odgovarajućim teoremama i njihovim posledicama. 1 engl. data fitting 1
2 Zorica Stanimirović Teorema 1.1 Neophodni uslovi prvog reda za lokalni minimum (NUPR). Neka je f C 1 realna funkcija na R n. Ako je X lokalni minimum funkcije f, tada važi f(x ) = 0. Tačke X R n koje zadovovoljavaju uslov f(x ) = 0 nazivaju se stacionarnim tačkama. Svi kandidati za lokalni minimum (maksimum) nalaze se med u stacionarnim tačkama. Sada ćemo se podsetiti pojma kvadratne forme i nekih njenih osobina koje ćemo koristiti u nastavku knjige. Definicija 1.1 Kvadratnom formom nazivamo funkciju a : R n R definisanu sa n n a(x) = a ij x i x j, X = [x 1,..., x n ] T R n. i=1 j=1 Ne gubeći na opštosti, za kvadratnu formu se pretpostavlja da je simetrična, tj. da važi a ij = a ji, za svako i, j = 1, 2,..., n. Matrica A = [a ij ] se naziva matricom kvadratne forme i takod e se pretpostavlja da je A simetrična. Definicija 1.2 Za kvadratnu formu a : R n R kažemo da je 1. pozitivno definitna, ukoliko je a(x) > 0, a pozitivno semidefinitna, ukoliko je a(x) 0, za svako X R n, X 0 2. negativno definitna, ukoliko je a(x) < 0, a negativno semidefinitna, ukoliko je a(x) 0, za svako X R n, X 0 3. nedefinitna, odnosno nije definitna, ukoliko ne važi ni 1. ni 2. Imajući u vidu definiciju matrice kvadratne forme, definiciju 1.2 možemo izraziti i na sledeći način. Definicija 1.3 Neka je A = [a ij ] matrica kvadratne forme a : R n R. Za kvadratnu formu a kažemo da je 1. pozitivno definitna, ukoliko je A > 0, a pozitivno semidefinitna, ukoliko je A 0,
Nelinearno programiranje 3 2. negativno definitna, ukoliko je A < 0, a negativno semidefinitna, ukoliko je A 0, 3. nedefinitna, odnosno nije definitna, ukoliko ne važi ni 1. ni 2. U opštem slučaju ispitivanje uslova X T AX > 0 i X T AX 0 nije jednostavno u praksi, te se za ispitivanje uslova pozitivne (semi)definitnosti koristi Silvesterov kriterijum 2, videti [?] i [?]. Teorema 1.2 Silvesterov kriterijum za pozitivnu semidefinitnost matrice. Simerična matrica A = [a ij ] dimenzije n je pozitivno definitna ako i samo ako su svi glavni minori matrice A pozitivni, tj. D 1 = a 11 > 0, D 2 = a 11 a 12 a 21 a 22 > 0,..., D n = a 11... a 1n...... a n1... a nn > 0. Primer 1.1 Data je matrica A = 4 3 2 3 6 2 2 2 6 Kako je D 1 = 4 > 0, D 2 = 4 3 3 6 = 15 > 0 i D 3 = det(a) = 26 > 0, iz Silvesterovog kriterijuma sledi da je matrica A pozitivno definitna. Teorema 1.3 Silvesterov kriterijum za negativnu semidefinitnost matrice. Simerična matrica A = [a ij ] dimenzije n je negativno definitna ako i samo ako glavni minori matrice A naizmenično menjaju znak. D 1 < 0, D 2 > 0, D 3 > 0,... Karakterizacija uslova pozitivne semidefinitnosti matrice je nešto složenija, o čemu govori sledeća teorema. 2 James Joseph Sylvester (1814 1897)
4 Zorica Stanimirović Teorema 1.4 Potrebni i dovoljni uslovi za pozitivnu semidefinitnost matrice. Simerična matrica A = [a ij ] dimenzije n je pozitivno semidefinitna ako i samo ako su svi minori matrice A simetrični u odosu na glavnu dijagonalu nenegativni. Primer 1.2 Za matricu A = 1 1 1 1 1 1 1 1 2 odredimo minore koji su simetrični u odnosu na glavnu dijagonalu. Minori reda 1: a 11 = 1 > 0, a 22 = 1 > 0 i a 33 = 2 > 0. Minori reda 2: a 11 a 12 a 21 a 22 = 0, a 11 a 13 a 31 a 33 = 1 > 0 i a 22 a 23 a 32 a 33 = 1 > 0. a 11 a 12 a 13 Minor reda 3: a 21 a 22 a 23 = det(a) = 0. a 31 a 32 a 33 Kako su svi minori matrice A simetrični u odnosu na glavnu dijagonalu nenegativni, na osnovu Silvesterovog kriterijuma matrica A je pozitivno semidefinitna. Primetimo da za veće dimenzije matrica primena Silvesterovog kriterijuma zahteva znatno više računa, jer je potrebno izračunati veliki broj minora. Recimo, za matricu dimenzije n treba ispitati ( ( n 1) + n ( 2) +... + n n) minora. Med utim, karakterizacija definitnosti matrice se može izvesti i pomoću njenih sopstvenih vrednosti [?], [?]. Teorema 1.5 Neka su λ 1, λ 2,..., λ n sopstvene vrednosti simetricne kvadratne matrice A kvadratne forme a(x) = n n a ij x i x j, X = [x 1,..., x n ] T R n. Za kvadratnu formu kažemo da je i=1 j=1 1. pozitivno definitna, ukoliko je λ i > 0 za svako i {1, 2,.., n}, 2. pozitivno semidefinitna, ukoliko za svako i {1, 2,.., n} važi λ i 0, 3. negativno definitna, ukoliko je λ i < 0 za svako i {1, 2,.., n}, 4. negativno semidefinitna, ukoliko za svako i {1, 2,.., n} važi λ i 0,
Nelinearno programiranje 5 5. nedefinitna, ukoliko postoje i, j {1, 2,.., n}, takvi da su λ i i λ j različitog znaka. Teoreme koje slede odnose se na neophodne i dovoljne uslovi drugog reda za lokalni minimum. Teorema 1.6 Neophodni uslovi drugog reda za lokalni minimum (NUDR). Neka je f C 2 realna funkcija na R n. Ako je X lokalni minimum funkcije f, tada je f(x ) = 0 i Hesijan 2 f(x ) je pozitivno semidefinitna matrica. Teorema 1.7 Dovoljni uslovi drugog reda za strogi lokalni minimum (DUDR). Neka je f C 2 realna funkcija na R n. Ako je f(x ) = 0 i Hesijan 2 f(x ) je pozitivno definitna matrica, tada je X strogi lokalni minimum funkcije f. Primer 1.3 Posmatrajmo funkciju f : R 2 R definisanu sa f(x) = 1 3 x3 1 + 1 2 x2 1 + 2x 1 x 2 + 1 2 x2 2 x 2 + 9, X = [x 1, x 2 ] T. Uslov za stacionarnu tačku je f(x) = [x 2 1 + x 1 + 2x 2, 2x 1 + x 2 1] T = 0. Iz druge komponente vektora f(x) dobijamo x 2 = 1 2x 1. Uvrštavanjem dobijene veze u prvu komponentu vektora f(x), koja je takod e jednaka nuli, dobijamo x 2 1 3x 1 + 2 = 0. Lako zaključujemo da je x 1 = 1 ili x 1 = 2, odakle sledi da postoje dve stacionarne tačke: A = [1, 1] T i B = [2, 3] T. Hesijan funkcije f u proizvoljnoj tački X R n je [ ] 2x1 + 1 2 F (X) =, 2 1 [ ] [ ] 3 2 5 2 te je F (A) = i F (B) =. 2 1 2 1 Kako je F (B) pozitivno definitna matrica, tačka B je strogi lokalni minimum funkcije f. Kako Hesijan F (A) nije definitna matrica, tačka A nije ni minimum, ni maksimum funkcije f. Primetimo da funkcija f na svom domenu R 2 nema ni globalni minimum ni globalni maksimum, jer je f neograničena kad x 1 ±.
6 Zorica Stanimirović Primer 1.4 Data je funkcija f : R 2 R izrazom f(x) = x 2 1 x 2 2, X = [x 1, x 2 ] T. Grafik funkcije f je prikazan na Slici 1.1 (hiperbolički paraboloid). Prema NUPR, da bi tačka X bila kandidat za lokalni minimum ili maksimum, mora da važi f(x) = [2x 1, 2x 2 ] T = 0, odakle sledi da funkcija ima samo jednu stacionarnu tačku O = [0, 0] T. Med utim, Hesijan funkcije f je [ ] 2 0 F (X) = 0 2 i nije definitan ni za jednu tačku iz X R 2, pa ni za O = [0, 0] T. Dakle, u taǩi O nisu zadovoljeni DUDR, te ona nije ni lokalni minimum, niti lokalni maksimum. Slika 1.1: Grafik funkcije f(x) = x 2 1 x 2 2, X R 2 Važno je primetiti da je moguća izvesna neodred enost kod neophodnih i dovoljnih uslova za minimum funkcije. Naime, neodred enost može nastati u slučaju da je tačka X stacionarna ( f(x ) = 0), a Hesijan F (X ) pozitivno semidefinitna matrica. Posmatrajmo, na primer, tri jednostavne funkcije jedne promenljive f 1, f 2, f 3 : R R, definisane sa f 1 (x) = x 3, f 2 (x) = x 4 i f 3 (x) = x 4. Za tačku x = 0 važi f i (0) = f i (0)f i (0) = 0, i = 1, 2, 3, te je x stacionarna tačka za sve tri funkcije. Med utim, samo funkcija f 2 ima minimum u
Nelinearno programiranje 7 tački x. Za funkciju f 3, tačka x = 0 je lokalni maksimum, dok za f 1 predstavlja prevojnu tačku (videti Sliku 1.2). Da bi se ova neodred enost otklonila, potrebni su dodatni uslovi koji uključuju izvode višeg reda. Slika 1.2: Neodred enost uslova optimalnosti u tački O(0, 0) za funkcije f 1 (x) = x 3, f 2 (x) = x 4 i f 3 (x) = x 4 1.2 Zadaci za vežbu Zadatak 1.1 Posmatrajmo funkciju f : R R definisanu sa f(x) = 3x 3 + 7x 2 15x 3. Naći sve stacionarne tačke funkcije i odrediti da li su u pitanju tačke minimuma ili maksimuma (ili ni jedno ni drugo). Ispitati karakter minimuma odnosno maksimuma, ako postoje (lokalni, globalni, strogi,...). Zadatak 1.2 Neka je funkcija f : R 2 R definisana izrazom f(x) = cx 2 1 + x 2 2 2x 1 x 2 2x 2, X = [x 1, x 2 ] T, gde je c R neki skalar. a) Odrediti stacionarne tačke funkcije f u zavisnosti od parametra c. b) Za koje vrednosti parametra c funkcija f može imati minimum? c) Za koje vrednosti parametra c funkcija f može imati maksimum?
8 Zorica Stanimirović Diskutovati karakter minimuma/maksimuma u zavisnosti od vrednosti parametra c (lokalni, globalni, strogi,...). Zadatak 1.3 Odrediti sve vrednosti parametra α tako da tačka A = [1, 0] T predstavlja (lokalni) minimum ili (lokalni) maksimum funkcije f : R 2 R definisane sa f(x) = α 3 x 1 e x 2 + 2α 2 ln(x 1 + x 2 ) (α + 2)x 1 + 8αx 2 + 16x 1 x 2, X = [x 1, x 2 ] T. Zadatak 1.4 Data je funkcija f : R 2 R definisana sa f(x) = (x 2 x 2 1)(x 2 2x 2 1), X = [x 1, x 2 ] T. Posmatrajmo problem min f(x), X R 2 a) Pokazati da tačka O = [0, 0] T zadovoljava NUPR i NUDR za zadatu funkciju. b) Pokazati da je tačka O = [0, 0] T lokalni minimum funkcije f duž svake prave koja prolazi kroz koordinatni početak (tj. oblika x 2 = mx 1 ). c) Pokazati da tačka O = [0, 0] T nije lokalni minimum funkcije f (uputstvo: posmatrati na primer, krive oblika x 2 = kx 2 1). Zadatak 1.5 Dat je problem min f(x), gde je f : R 2 R funkcija definisana sa f(x) = (x 1 2) 2 + (x 2 3) 2 + 1, pri čemu je X = [x 1, x 2 ] T R 2. Naći sve stacionarne tačke funkcije f i odrediti da li su u pitanju tačke minimuma ili maksimuma (ili ni jedno ni drugo) Ispitati karakter minimuma odnosno maksimuma, ako postoje (lokalni, globalni, strogi,...). Zadatak 1.6 Posmatrajmo probleme a) min R 2 f 1 (X), gde je f 1 (X) = (x 1 2) 2 + (x 2 3) 2 + 1, b) min R 2 f 2 (X), gde je f 2 = (x 1 2) 2 + (x 2 3) 2, c) min R 2 f 3 (X), gde je f 3 (X) = (x 1 2) 2 + (x 2 3) 2,
Nelinearno programiranje 9 i pritom je X = [x 1, x 2 ] T R 2. U kakvom su odnosu rešenja problema: min R 2 f(x) iz Zadatka 1.5, min R 2 f 1 (X), min R 2 f 2 (X) i min R 2 f 3 (X)? Da li svi problemi imaju isto optimalno rešenje? Obrazložiti odgovor. Zadatak 1.7 Posmatrajmo kvadratnu formu f : R n R oblika f(x) = 1 2 XT QX c T X, gde je argument X = [x 1,..., x n ] T R n, Q = [q ij ] realna kvadratna matrica dimenzije n, a c = [c 1,..., c n ] T n dimenzioni vektor čije su koordinate realni brojevi. a) Napisati NUPR za zadatu funkciju. Kada postoji stacionarna tačka funkcije f? b) Koje uslove mora zadovoljiti matrica Q da bi funkcija f imala lokalni minimum? c) Pod kojim uslovima za matricu Q funkcija f ima stacionarnu tačku, ali ne i tačke lokalnog minimuma i maksimuma? Zadatak 1.8 Data je funkcija f : R n R definisana sa f(x) = Ax b 2 2, gde je A realna matrica m n, m n i b vektor dužine m. Pretpostavimo da je rang(a) = n i posmatrajmo problem min f(x). a) Napisati NUPR za zadatu funkciju. Da li je to istovremeno i dovoljan uslov? b) Odrediti optimalno rešenje problema u zatvorenoj formi. Zadatak 1.9 Ako je X tačka lokalnog minimuma funkcije f : R n R, tada je f(x ) T d 0 u pravcu proizvoljnog vektora dopustivog pravca d. Dokazati da je, u slučaju problema bezuslovne optimizacije, ovaj uslov zadovoljen samo ako je gradijent u tački X jednak nuli.
10 Zorica Stanimirović Zadatak 1.10 Posmatrajmo problem min R n f(x). Ako je f : R n R konveksna funkcija na R n, tada je svaka stacionarna tačka funkcije f istovremeno i tačka globalnog minimuma. Dokazati. Zadatak 1.11 Navesti primere funkcija koje imaju sledeće osobine: a) f ima tačku lokalnog minimuma, ali ne i globalnog minimuma, b) f nema ni tačku lokalnog, ni globalnog minimuma, c) f ima i tačku lokalnog i globalnog minimuma, d) f ima više tačaka globalnog minimuma. Zadatak 1.12 Navesti primer funkcije f : R 2 R koja ima sledeću osobinu: a) f je diferencijabilna na R 2 i f ima beskonačno mnogo tačaka minimuma na R 2, ali ne i tačku maksimuma; b) f je diferencijabilna na R 2 i f ima samo jednu stacionarnu tačku koja je tačka lokalnog minimum, ali ne i globalnog minimuma.