KONVEKSNA OPTIMIZACIJA. (zadaci) Milan Jovanović

Transcript

1 KONVEKSNA OPTIMIZACIJA (zadaci) Milan Jovanović 1

2 Osnovu ove zbirke čine zadaci sa ispita iz Matematičkog programiranja, predmeta koji se predaje na PMF BL od 1998\1999 školske godine. To su zadaci označeni brojevima: 8,10,1,14,15,16,0,5,6,8,9,30,31,3,33,34,35,36,37,38,41,4,46,47,5 i 53. Pridodati su i neki zadaci, koji ilustruju važnost nekih uslova ( npr. regularnosti), kao i zadaci za koje su potrebni elementi subdiferencijalnog računa. Ovo je učinjeno stoga što, bez obzira na naziv ovaj kurs je posvećen konveksnom programiranju, sa neznatnim uopštenjima.

3 1. Dokazati da vrijedi co(s 1 + S ) = cos 1 + cos. co(c 1 C ) = (1 λ)c 1 +λc. 0 λ 1 co(k 1 K ) = K 1 + K, ako je 0 K 1 K. 6. Odrediti konuse V, T, K za tačku ] x 0 = i skup C 1 dat sa [ 1 1 (1 x 1 x ) 3 0, x 1 0, x 0, odnosno C, za koji je x 1 + x 1, x 1 0, x 0.. Ako je C 1 C =, a R n, onda ili C 1 co(c {a}) =, C co(c1 {a}) =. 7. Naći normalan konus N (C, x), C = { x R n Ax = b }. A je m n matrica, b R m. 3. Razdvojiti skupove : C 1 = {x R n x i 1}, n 1 C = {x R n x i + 1 x n }. 4. Odrediti konveksan zatvoren skup C R n takav da za sve c R n vrijedi inf c, x = c. x C 5. Pokazati da skup extc, gdje je C = co(s {e 1 + e 3, e 1 e 3 }), S = { x 1 x R 3 x 1 +x = 1} 0 nije zatvoren. 8. Pokazati da je skup {(x, y) P x + y 3 x 3 + y 4 }, konveksan, ako je P = [ 1 3, + ) [ 1, + ). 9. Pokazati da je funkcija f(x) = (1 + x ) p konveksna na R n, za p Neka su A(x), G(x), H(x) aritmetička, geometrijska i harmonijska sredina koordinata tačke x pri čemu x redom pripada skupovima R n, R n +, int R n +. Pokazati da su funkcije konkavne. A, G, H 3

4 11. Naći subdiferencijale funkcija n promjenljivih datih izrazima : max{x i : i = 1,..., n}, max{ x i : i = 1,..., n}. 1. Odrediti f c ako je x, x < 0 f(x) = x(x + ), 0 x x, x 13 Za funkciju { 1 + x, 1 x 0 f(x) = x 1, 0 x 1, odrediti konjugovanu funkciju. Uporediti njihovu diferencijabilnost i konveksnost. 14. Za funkciju naći 15. Pokazati da je f(x) = x 1, x R f c, f cc, f, f c. f(x) = x 1 x konveksna na R + i naći njenu konjugovanu funkciju f c. 17. Odrediti konjugovanu funkciju za f : R n R, f(x) = max{ 0, a, x + α}. 18. Neka gradijent konveksne funkcije f : R n R ispunjava Lipšicov uslov sa konstantom L. Pokazati da je x f c (x) 1 L x konveksna funkcija na skupu C {x R n f c (x) }. 19. Neka je f pozitivno homogena funkcija na konveksnom konusu K. Tada a) f je konveksna ako i samo ako za sve x, y K vrijedi f(x + y) f(x) + f(y). b) f je konveksna ako je negativna i kvazikonveksna na K. 0. Pokazati da je funkcija recipročna pozitivnoj, konkavnoj na C R n funkciji, na tom skupu konveksna. Ako je f pozitivna, konveksna na C, onda je 1 f kvazikonkavna funkcija. 16. Pokazati da je funkcija x 1 f(x) = + x (x 1 1) + (x 1) 1. Neka je f diferencijabilna na R n. Tada je x tačka njenog globalnog minimuma ako i samo ako je f(x) = 0, f(x) = f cc (x). kvazikonveksna na H (e 1 +e, 1). 4

5 . Naka je f konveksna, subdiferencijabilna funkcija na konveksnom skupu C. Pokazati da je vektor x rješenje problema minf(x), x C, ako i samo ako vrijedi 0 f(x ) + N C (x ). 3. Naći min f(x), x R, f(x) = x i a i, pri čemu za date realne brojeve a 1,..., a n važi a 1 <... < a n. 4. Ispitati uslove regularnosti problema: 7. Naći minimum funkcije f(x) = m x v i, x B 1, dok su v 1,..., v m R n dati vektori. 8. Riješiti zadatak: 15 x x min 5 x x , x 1, x > Naći min f(x) f(x) = x 1 + x x 1 x x 1 + x, pri us lovima: x R +, x x 9, 3 x x 1. (x 1 + 1) + x min x R, x x Naći minimum funkcije na skupu f(x) = x R 3 + B 1 H ([ Riješiti problem: ], 1). x 1 + x + + n x n min x x n 1, x 1 0,..., x n Naći maksimum Vandermondove determinante, pri uslovima 0 x 1 x x 3, x 1 +x +x Odrediti sedlaste tačke Lagranžove funkcije pridružene problemu: x x x 1 x x 3 min x 1 x +x 1 x 3 4, x 1, x, x 3 > Naći minimum funkcije f(x) = x x, x R 4 + x 3 x 1 + x 4 x 1 1, x x 3 + x 4 x

6 33. Riješiti zadatak nekonveksne minimizacije funkcije f(x 1, x ) = x 1 x na skupu koji je dat sa x 1 + (x 1) 1, x 1 1, (x 1 + 1) + x Naći maksimum funkcije f(x 1, x ) = x 1 x na konveksnom omotaču tačaka: [ ] [ ] [ ] 8 10,,, [ 5 8 ] [ 0, 6 ], [ Odrediti udaljenost tačke od skupa T (, 1, 5, 4 ) ]. {x R 4 x 1 x x 3 x 4 }. 37. Riješiti zadatak razlomljenog programiranja min pri uslovima x 1 x 3x 1 + x +, 3x 1 + x 7, x 1 + 4x 5, 4x 1 3x 17, x 1 0, x Kvadratnu formu x 1 + x 1 x + x 10 x 1 10 x minimizirati na skupu B 5 H ([ 3 1 ] ), Neka je F : R n R n diferencijabilna, sa pozitivno definitnom Jakobijevom matricom. Pokazati da funkcija f(x) = x, F (x), pri uslovima x 0, F (x) 0, ima minimum u tački x ako i samo ako vrijedi x, F (x ) = Naći projekciju tačke T (0, 1) na poliedar dat sistemom nejednačina: x x 3, 3 x 1 + x 6, x 1 + x U terminima matematičkog programiranja opisati ograničenost poliedra { x R n + Ax = b}, gdje je b R m. 41. Neka su x 0, y 0 dopustive tačke za kanonski LP i njegov dual. Tada su to optimalne tačke ako i samo ako je Ax 0 b, y 0 = A y 0 c, x 0 = 0. 6

7 4. Formirati dualan za LP problem min x 1 + x + 3 x 3, pri uslovima x 1 x + x 3 = 1, x 1 + x 3, x 1 0, x 0, x 3 0, pa ih riješiti. 43. Za problem minimizacije funkcije f(x) = x, x R n +, uz uslov 1, x n, odrediti dualan problem, pa ih riješiti. 44. Pomoću teorije dualnosti riješiti zadatak linearnog programiranja x 1 + x + + nx n min, x 1 1 x 1 + x x 1 + x + + x n n x 1 0, x 0,..., x n Odrediti dualan problem za min e x 1 + e x, x 1 + x, x 1 0, x Neka je f konveksna funkcija i f(x 0 ) 0 za neki x 0 R n. Pomoću tih vektora odrediti donju granicu vrijednosti π u problemu minf(x), 1, x 1, x 0. Može li f da bude odozdo neograničena na R n +? 48. Odrediti dualan problem za min f(x), x K R n. Funkcija f je konveksna na zatvorenom konveksnom konusu K. 49. Naći minimimum funkcije f(x) = pri uslovu a) x i a i, x R n x i = 0, b) x i Ispitati konveksnost funkcije f(x, y) = x y +x y 3 x 3 y, na R +, pa naći njen minimum uz dodatni uslov 1 x + y 6, i napisati dualan problem. 50. Analizirati problem: min f(x), x G, f(x) = max { 0, x }, x G = {x D x 1 0}, D = {x R x 1}, i njegov dualan problem. 7

8 51. Ispitati stabilnost, naći π i δ za problem minimizacije (P ) gdje je D F = {(x, y) R + R x 1 = y 1 } i F (x, y) = max{ 1, x y 1 }. 53. Odrediti marginalnu funkciju problema: min f(x 1, x ) = x, x 1 + x 1, x 1 x 0. Ispitati njegovu stabilnost. 5. Za problem minimizacije u kom je f(x 1, x ) = e x, g(x 1, x ) = x 1 + x x 1 0 odrediti marginalnu funkciju i ispitati stabilnost. 54. Naći p c (0) za problem f(x 1, x ) = x 1 + x min, ako je dopustivi skup dat sa x 1 1 0, x 1 0, x 1 + x 0. 8

9 RJEŠENJA 1. a) Iz relacije S 1 + S cos 1 + cos i konveksnosti skupa cos 1 + cos slijedi co(s 1 + S ) cos 1 + cos. p p Neka je sada x cos 1, tj. x = λ i x i, p N, x i S 1, λ i 0, λ i = 1. Iz Karateodorijeve teoreme slijedi da je x + cos co(x + S) tako da za proizvoljan i {1,..., p} imamo x i + cos co(x i + S ) co(s 1 + S ). Odavde je p λ i x i + λ 1 cos + + λ p cos λ 1 co(s 1 + S ) + + λ p co(s 1 + S ), odnosno za sve x cos 1, što znači da je b) Neka je x = x + cos co(s 1 + S ), cos 1 + cos S 1 + S. p λ i x i, J k = {i x i C k }, s k = Uzmimo da je 0 < s 1 < 1. Tada je x = s 1 i J 1 λ i s 1 x i + s i J λ i i J k λ i, k = 1,. s x i s 1 C 1 + s C, s 1 + s = 1. Slučajevi s 1 {0, 1}, kao i obratna inkluzija su trivijalni. c) Ako je 0 K onda je αk = K za sve α 0. Prema prethodnom imamo co(k 1 K ) = (1 λ)k 1 + λk = K 1 + K = K 1 + K. 0 λ 1 0 λ 1 Inače tvrd enje ne vrijedi. Za konuse K 1 = {0} R +, K = {1} R + vrijedi co(k 1 K ) = [0, 1] R +, dok je K 1 + K = K.. Ako je a C 1 C, stvar je jasna: a C 1 C co(c 1 {a}) = C 1 C =. U protivnom, neka su oba presjeka neprazna. Za x C 1 co(c {a}), prema prethodnom zadatku, postoji tačka c C takva da je x [a, c ]. 9

10 Slično za y C co(c1 {a}) postoji c 1 C 1 tako da je y [a, c 1 ]. Skup [x, c 1 ] [c, y] je neprazan podskup skupa C 1 C. 3. Hiperravan H(e n ; 1) razdvaja date skupove, pošto za x C 1 vrijedi dok za x C imamo e n, x e n x 1, e n, x = x n 1 + x x n 1 1. Ovdje je C 1 C, ali (int C 1 ) C =. 4. Dati uslov se može zapisati u ekvivalentnom obliku sup c, x = c, x C za sve c R n. Odavde je, za proizvoljan x C i sve vektore c, pa uzimajući specijalno c = x slijedi što znači da je c, x c, x, x x, C K(0, 1). Pokažimo da je tačna i suprotna inkluzija. Ukoliko postoji x 0 / C, x 0 1, onda na osnovu teoreme stroge separacije postoje i vektor c 0 0 i broj γ 0 takvi da vrijedi Odavde je tada c 0, x 0 > γ 0 > c 0, x, x C. sup c 0, x γ 0 < c 0, x 0 c 0 x 0 c 0. x C Ovo ne može po uslovima zadatka, tako da je C = K(0, 1). 10

11 5. ext C = nije zatvoren skup., S \ Kako je C 1 = C, to je u oba slučaja V = T = {v R v v 1 }. Med utim, linearizujući konusi su različiti. Za skup C 1 prvo ograničenje je aktivno, a gradijent u x 0 je 0 vektor. Slijedi da je K < (x 0 ) =, a K(x 0 ) = R. U drugom slučaju je [ 1 ] [ K < (x 0 ) = intk(x 0 ), K(x 0 ) = {v R v1 ], 0} = V. 1 v 7. Uzmimo da je r(a) = m, g i (x) = a i, x b i i tačka x 0 R n takva da je J (x 0 ) = {i a i, x 0 = b i }, neprazan skup. Pošto je skup vrsta a i, i J (x 0 ) linearno nezavisan, na osnovu Gordan- Štimkeove teoreme, skup {v a i, v < 0, i J (x 0 )} je neprazan, tako da je T (x 0 ) = K(x 0 ). Sada, za normalan konus vrijedi y N (x 0 ) y, v 0 v K(x 0 ). Posljednja formula znači da treba naći one y za koje nije rješivo a i,, v 0, i J (x 0 ) y, v > 0. Prema Farkaševoj teoremi postoji z 0, z i = 0 (i / J (x 0 )) takav da je y = A z, odakle je N (x 0 ) = cone{a i, i J (x 0 )}. 8. Za funkciju f : R R, f(x, y) = x + x 3 y 3 + y 4 vrijedi [ ] 3x 1 0 f(x)v, v = 0 6y v, v = (3x 1)v 3y 1 + 6(y y)v. 11

12 Imamo da je f PsemiD matrica na [ 1 3, + ) [ 1, + ). Znači f je konveksna na tom skupu, pa njen nivoski skup { (x, y) [ 1 3, + ) [ 1, + ) f(x, y) 0 odnosno dati skup, je konveksan. }, 9. Za Heseovu matricu date funkcije f vrijedi f(x)v, v = p(1 + x ) p (1 + (p 1) x ) v 0, za sve x, v R n. Med utim konveksnost slijedi i iz činjenice da je kompozicija konveksne funkcije sa rastućom konveksnom funkcijom takod e konveksna. Ovdje je prva funkcija norma, a druga t (1 + t ) p. 10. Sa A(x) = 1 n 1, x je na Rn data linearna, pa samim tim i konkavna funkcija. x G(x) je poseban slučaj Kob - Daglasove funkcije, pri α = 1, α i = 1 n, i = 1, n, a ona je tada konkavna. Za funkciju vrijedi H(x) = n H3 (x) intr n n + x H(x) = x 1 x n x 1.. x n [ x 1,..., x n Nejednakost iz uslova negativne definitnosti H(x)v, v 0, za sve v R n, x R n ++ ekvivalentna je sa ] n H (x)diag[x 3 1,..., x 3 n ]. ( n v i ) 1 x i x i v i x 3 i, 1

13 a ova je najednakost Koši- Bunjakovskog za vektore [ ] [ ] 1 1 v 1 v,...,,,..., n. x1 xn x 3 1 x 3 n 11. Neka je f(x) = max,...,n f i(x), gdje su f i konveksne, onda je f(x) = co i J (x) f i (x), J (x) = {i f i (x) = f(x)}. U prvom slučaju je f i (x) = x i, Kako je f i (x) = e i subdiferencijal se lako odred uje. Tako je f(0) = co{e 1,..., e n } = σ n. Za funkciju f(x) = x vrijedi n f(0) = co [ e i, e i ] = B 1 (0, 1). 1. Za y > 1 imamo sup x R (xy f(x)) sup(xy f(x)) = sup( + x(y 1)) = +. x > x > Uzmimo da je y 1. Maksimum izraza + x(y 1) sada je y. Preostale mogućnosti za xy f(x) jesu sa maksimumom 0, ili (y + 1 ), i xy + x, x < 0, xy x( x), 0 x <, pri čemu za posljednji izraz, tj. za p(x) = x + (y )x vrijedi p(0) = 0, p() = y. Poredeći ove vrijednosti zaključujemo da je f c (y) = y 1, y 1 0, 1 y 0 y, 0 y 1 13

14 13. f c (y) = y 1 4y, y 1 1, 1 y y 4, 0 y y, y. Možemo uočiti da je f strogo konveksna funkcija, ali nije diferencijabilna. Njena konjugovana funkcija je diferencijabilna, ali nije strogo konveksna. Uopšte vrijedi da stroga konveksnost funkcije f povlači diferencijabilnost funkcije f c. 14. Konjugovana funkcija f c može se dobiti direktno. Med utim, uočimo da je f = f 1 f, gdje je Pri tome je f 1 (x) = x 1, f (x) = x + 1. Sada, zbog imamo D(f c 1) = D(f c ) = [ 1, 1], f c 1(y) = y, f c (y) = y. (f 1 f ) c = f c 1 f c, f c (y) = max{ y, y} = y, y [ 1, 1]. Dalje, f cc (x) = 0 na intervalu [ 1, 1], a za ostale vrijednosti je f cc = f. Funkcija f je diferencijabilna, osim u tačkama: -1, 0, 1. Na primjer, f(1) = [f (1), f +(1)] = [0, 1], dok je f(0) =. 15. Za konveksnost ove funkcije vidjeti zadatak 10., uz α = 1, n =, α 1 = α = 1. 14

15 Sada, pošto je f pozitivno homogena funkcija imamo f c (y) = 0 na D(f c ). Preostaje da odredimo njen domen, tj. skup {y R y, x f(x) x R +}. Dakle, za sve (x 1, x ) R + i y = (y 1, y ) treba da vrijedi y 1 x 1 + y x x 1 x. Mora biti y 1 < 0, y < 0, pa uzimajući y 1 = y = x 1, x 1 = x izlazi y 1 y 1,tj. y 1 1. Isto je i za drugu koordinatu, pa slijedi y 1 y 1 4. Neka su sada y 1, y negativni i y 1 y 1 4. Imamo ili ( y 1)x 1 + ( y )x ( y 1 )( y )x 1 x x 1 x, y 1 x 1 + y x x 1 x. Prema tome dobijamo da je { f c 0, y1 < 0, y (y) = < 0, 4 y 1 y 1 +, inače 16. Za kvazikonveksnost funkcije f potrebna je i dovoljna konveksnost svakog nivoskog skupa L α = {x H f(x) α}. Na datom poluprostoru H = H (e 1 + e, 1) je 0 f(x) 1, tako da odmah vidimo sljedeće: L α =, α < 0, L α = {0}, α = 0, L α = H, α 1. Za 0 < α < 1 vrijedi L α = H B(x β, r β ), x β = L α = H B( [ β β [ β β ], r β = β(1 + β), β = α 1 α, ], β(1 + β)), β = α 1 α, 15

16 budući da je ekvivalentno sa x 1 + x (x 1 1) + (x 1) α x 1 + x + βx 1 + βx β. 17. U slučaju da je a = 0 funkcija f je konstantna, pa je D(f c ) = {0}, i f c (0) = max{0, α}. Uzmimo da je a 0, pri čemu je, na primjer a 1 0. Za y [0, a], tj. za y = λa, gdje je 0 λ 1 vrijedi sup x { λa, x f(x)} max{ sup a,x α λ a, x, sup a,x α Dakle, [0, a] D(f c ), a kako za x 1 = α a 1 e1 vrijedi to je Dokažimo još da je λa, x 1 f(x 1 ) = λα, f c (λa) = λα. D(f c ) = [0, a]. (λ 1) a, x α} = λα. Neka je sada y / [0, a]. Tačka y može se strogo razdvojiti od posmatranog intervala. Preciznije, prema teoremi stroge separacije postoji vektor c 0 takav da je c, y > c, λa za sve λ [0, 1]. Odavde, uzimajući λ = 0, pa λ = 1 dobijamo c, y > 0, i c, y > c, a + α t, za sve vrijednosti t veće od nekog t 0. Sada je sup x { y, x f(x)} sup{ y, tc f(tc)} sup t{ y, c max{0, a, c + α }} = +. t>t 0 t t>0 16

17 18. Neka su y, y 0 C, i neka je x 0 f c (y 0 ). Tada je Za funkciju f vrijedi nejednakost y 0 f(x 0 ), tj. y 0 = f(x 0 ). f(x) f(x 0 ) + f(x 0 ), x x 0 + L x x0. Iz nje, koristeći formulu f(x 0 ) + f c (y 0 ) = x 0, y 0 dobijamo Dalje je y, x f(x) f c (y 0 ) + y y 0, x L x x0. sup{ y, x f(x)} f c (y 0 ) + sup{ y y 0, x L x x x x0 }. Stavljajući da je imamo q(x) = L x x0, f c (y) f c (y 1 ) + q c (y y 0 ). Kako je q c (y) = 1 L y + y, x 0, izlazi da je za sve y C f c (y) f c (y 0 ) + x 0, y y L y y0. Ova nejednakost je isto što i f c (y) 1 L y f c (y 0 ) 1 L y0 + x 0 1 L y0, y y 0, tako da posmatrana funkcija ima subgradijent u tački y 0. Sada je dovoljno iskoristiti činjenicu da subdiferencijabilnost funkcije u svakoj tački skupa povlači njenu konveksnost. 19. a) Iz konveksnosti i homogenosti slijedi f(x 1 + x ) = f( x1 + x ) f(x1 ) + f(x ) = f(x 1 ) + f(x ). 17

18 Obratno je, za sve x 1, x K, λ [0, 1] f((1 λ)x 1 + λx ) f((1 λ)x 1 ) + f(λx ) = = (1 λ)f(x 1 ) + λf(x ). b) Pretpostavimo da je f kvazikonveksna, homogena ali da nije konveksna. Prema prethodnom tvrd enju, za neke x 1, x K vrijedi Uzmimo da je, na primjer Kako je nivoskom skupu pripadaju tačke f(x 1 + x ) > f(x 1 ) + f(x ). f(x 1 ) f(x ). f( f(x1 ) f(x ) x ) = f(x1 ) f(x ) f(x ) = f(x 1 ), L = {x K f(x) f(x 1 )} x 1, i f(x 1 ) f(x ) x. Zbog kvazikonveksnosti funkcije f skup L je konveksan, pa mora da bude i x 0 f(x 1 ) f(x ) f(x 1 ) = f(x 1 ) + f(x ) x1 + f(x 1 ) + f(x ) f(x ) x L. Sada imamo da je Med utim, isto tako je f(x 0 ) max{f(x 1 ), f(x )} = f(x 1 ). f(x 0 f(x 1 ) ) = f( f(x 1 ) + f(x ) (x1 + x f(x 1 ) )) = f(x 1 ) + f(x ) f(x1 + x ) > f(x 1 ). Kontradikcija. 0. Budući da je t 1 t, t > 0 konveksna funkcija, imamo da za sve t 1, t > 0, λ [0, 1] vrijedi 1 1 λ + λ, (1 λ)t 1 + λt t 1 t 18

19 a, zbog konkavnosti funkcije f je f(x λ ) (1 λ)f(x 1 ) + λf(x ) za sve x 1, x C, pri čemu je x λ = (1 λ)x 1 + λx. Koristeći ove dvije nejednakosti, dobijamo g(x λ ) = 1 f(x λ ) 1 (1 λ)f(x 1 ) + λ f(x ) 1 λ f(x 1 ) + λ f(x ) = (1 λ)g(x1 )+λ g(x ), tako da je funkcija g = 1 f konveksna. Uočimo da konveksnost i konkavnost ne mogu da zamjene uloge. Na primjer f(x) = x + 1 je konveksna funkcija na R, ali 1 f nije konkavna. Možemo da utvrdimo jedino da je 1 f kvazikonkavna. Zaista, neka je f konveksna i α > 0. Tada je α f konveksna, pa je skup odnosno {x C α f(x) 1}, {x C g(x) α} konveksan skup. Za α 0 nivoski skup je C. 1. Neka je x tačka minimuma funkcije f, koja je u njoj diferencijabilna. Uslov f(x ) = 0 je poznat. Dalje, kako je uvijek f cc = f f, to je i f cc (x ) f(x ). Konstantna funkcija a : x f(x ) je afina minoranta funkcije f, pa je a f, i specijalno vrijedi f(x ) f(x ), odnosno Pretpostavimo sada da je f(x ) f cc (x ). f(x ) = 0 i f(x ) = f cc (x ), pa dokažimo da je x tačka minimuma funkcije f cc. Tada će zbog f(x ) = f cc (x ) f cc (x) f(x) x R n, 19

20 x da bude tačka minimuma funkcije f. Dalje, pošto je f cc konveksna funkcija dosta je dokazati da je njen gradijent u x nula vektor. Dakle, za t > 0 vrijedi f cc (x + te k ) f cc (x ) t f(x + te k ) f(x ). t Odavde, na osnovu pretpostavke f(x ) = 0 dobijamo (f cc ) +(x, e k ) 0. Isto je i za pravac e k, te za sve k=1,...,n vrijedi 0 ( f cc ) +(x, e k ) (f cc ) +(x, e k ) 0, odakle slijedi f cc (x ) = 0.. Neka je 0 f(x ) + N C (x ). Tada postoji takav da je S jedne strane za sve x C je a sa druge, zbog slijedi tj. tako da imamo u f(x ), u N C (x ). f(x) f(x ) u, x x, x x C x T C (x ) u, x x 0, u, x x 0, f(x) f(x ) 0 x C. Obratno, neka je x tačka minimuma funkcije f na C. To možemo zapisati na sljedeći način f(x) f(x ) 0, x x x C. Prema tome vrijedi 0 f(x ), a još je 0 N C (x ). 0

21 3. Data funkcija je konveksna, ali nije diferencijabilna pa ćemo koristiti sljedeće: f(x ) = minf(x) 0 f(x ) Uzmimo da je f(x) = f k (x), f k (x) = x a k. Tada je f(x) = f k (x), gdje je k=1 Sada se dobija da je k=1 { 1}, x < a k f k (x) = [ 1, 1], x = a k {1}, x > a k. f(a k ) = [k n, k n], f(x) = {k n}, za a k < x < a k+1. U slučaju da je n neparan vrijedi dok pri parnom n imamo f(a n+1 ) = [ 1, 1], f(x) = {0}, x (a n, a n +1 ), f(a n ) = [, 0], i f(a n +1 ) = [0, ]. U svim ostalim slučajevima 0 nije u subdiferencijalu. Dakle, za neparan n je x = a n+1, a za parne vrijednosti skup tačaka minimuma je [a n, a n +1 ]. 4. Očigledno, rješenje zadatka je x = 0, ali KKT uslovi nisu ispunjeni budući da postaje f(x ) + u g(x ) = 0 e 1 + u 0 = 0. Nijedan od uslova regularnosti ne vrijedi, pošto u Fric Džonovoj teoremi jedino za u 0 = 0 imamo u 0 f(x ) + u g(x ) = 0. Na primjer, tangencijalni i linearizujući konus su različiti: T G (x ) = R +, K(x, G) = R. 1

22 5. Linearna funkcija ekstreme dostiže na vrhovima konveksnog kompaktnog skupa. Dobijamo da je x = ( 1,, 0). 5 5 Inače, KKT uslovi su ispunjeni uz u = ( 5 8, 1 4, 0, 0, 0). 6. Funkcija f(x) = kx k je konveksna, f(0) = 0, i 0 G, pa je x = 0. k=1 Inače da bi se dobio zadatak diferencijabilne optimizacije dovoljno je prvo ograničenje drukčije zapisati: x k 1 0, i x k 1 0. k=1 Tada, za odgovarajuću Lagranžovu funkciju L : R n R R R n R, L(x, u, v, u) = u v + (kx k + u v u k )x k KKT uslovi su ispunjeni sa x = 0, u = v = 0, u = 0. Na primjer, jasno je da nije u v 0. Ako je u 0, v = 0, slijedi kx k + u u k = 0, (k = 1, n) i x k = 1. Odavde je kx k + ux k = u k x k = 0 k=1 i k=1 k=1 kx k + u = 0, k=1 što je nemoguće. Slično je i sa u = 0, v 0. Za u = v = 0 dobija se redom za sve k = 1, n kx k = u k, kx k = u k x k = 0, x k = Dopustivi skup možemo zapisati kao G = {x R n x, x 1}. Sada Lagranžova funkcija glasi m L(x, α) = x v i + α( x, x 1).

23 KKT uslovi postaju m (x v i ) + αx = 0, α( x 1) = 0, α 0, x 1. Stavljajući da je v 0 = v1 + + v m, dobijamo za prvu jednačinu m (m + α)x = mv 0. U( slučaju da je v 0 1, uzimajući da je α = 0 dobijamo KKT tačku v 0, 0 ). Ako je v 0 > 1, onda mora biti α > 0, x = 1 ( druga jednačina ) i v 0 = α + m ( ) v 0, tako da je m v 0, m( v0 1) odgovarajuća KKT tačka. Jasno, ovo je zadatak konveksne optimizacije pa je njegovo optimalno rješenje v 0, v 0 1 x = v 0 v 0, v0 > Neka je f(x) = 15x x, g 1 (x) = x 1 x 0, g (x) = x 1, g 3 (x) = x. Sve ove funkcije su konveksne 10 ( g 1 (x) = x 3 1 ispunjen je Slejterov uslov x 3 je PsemiD matrica na G), (na primjer g(50, 90) = [ 13 0, 50, 90] < 0), pa su KKT uslovi potrebni i dovoljni za postojanje rješenja. Dakle, treba riješiti sistem: 15 5 x y 1 y = 0, x y 1 y = 0, 3

24 y 1 ( 5 x x 17 0 ) = 0, y x 1 = 0, y 3 x = 0, y 0, x G. Kako (0, x ), (x 1, 0) / G, mora biti y = y 3 = 0, pa i y 1 0. Dobijamo 3x 1 = y 1, 16x = y 1, = 17 x 1 x 0, odakle je 3x 1 = 4x, = 17 x 1 x 0, i x opt = (0, 15). Jasno, mogli smo odmah isključiti drugo i treće ograničenje, kao neaktivna. 9. f(x) = x 1 + x x 1 + x, Sada vidimo da je na skupu f(x) = f(x)v, v = [ x f(x) = 1 x 1 + x x 1 [ ] 4 x (x 1 + x ) 3 [x x, x 1 ]. 1 4 (x 1 + x ) 3 (x 1v x v 1 ) 0 {x R x > x 1 } G. Dakle, KKT uslovi su potrebni i dovoljni za postojanje globalnog minimuma. Kako f(x) = 0 x 1 = x, to je x 1 = 0. Ovo nije moguće, pa x / intg. Vidimo da su uslovi sljedeći: x bdg, y 0, x 1 ( ) + y 1 3y y 3 = 0, 1 ( ) + 3y 1 4y y 4 = 0, x 1 + x x 1 + x y 1 (x 1 + 3x 9) = 0, y (3x 1 + 4x 1) = 0, y 3 x 1 = 0, y 4 x = 0. Prvo, oni nisu ispunjeni za x = (0, 3) pošto bi bilo y 4 = 0, 1 + y 1 3y y 3 = 0, 1 + 3y 1 4y = 0, odnosno 4 + 5y + 3y 3 = 0, što nije moguće zbog y 0. Dakle, x 1 0 i y 3 = 0. Mora biti i y 4 = 0, inače je x = 0, 1+3y 1 = 4y +y 4, te y 1 0, x 1 = 9. Sada je y = 0, ali i y 1 = 1. Ostaje: x 1 ], 4

25 (a) y 1 = 0, y 0, tj. 3x 1 + 4x = 1, što sa 1 + 6( ) = x 1 + x x 8( ) daje x 1 = 48 x 1 + x , x = , y 0.4, f(x opt ) = (b) y = 0, y 1 0 ne treba analizirati, budući da ako x opt pripada duži čiji su krajevi tačke (9, 0), (0, 3), onda optimalna tačka (zbog konveksnosti f) postoji i u intg. x L(x, u)= (x 3 x 1 )(x 3 x )(x x 1 ) u 1 x 1 +u (x 1 x )+u 3 (x x 3 )+u 4 (x 1 +x +x 3 3). KKT uslovi su: Kako je mora biti (x 3 x )(x 1 x x 3 ) u 1 + u + u 4 = 0, (x 3 x 1 )(x 1 x + x 3 ) u + u 3 + u 4 = 0, (x x 1 )( x 1 x + x 3 ) u 3 + u 4 = 0, u 1 x 1 = 0, u (x 1 x ) = 0, u 3 (x x 3 ) = 0, u 4 (x 1 + x + x 3 3) = 0, u 0, x G. V (x 1, x 1, x 3 ) = V (x 1, x, x ) = 0, x 1 x i x x 3, tj. u = u 3 = 0. Takod je je u 1 = 3u 4 i u 1 0 (slijedi i u 4 0), te je x 1 = 0, x + x 3 = 3. Sada se dobija x 3 (x 3 x ) = x (x 3 x ) Iz x 3 x = x 3 1 x x 3. x x 3 x {, + }, zbog x 3 x, x + x 3 = 3 slijedi x 3 = 3 3. Dakle, ( V 0, 3 3, 3 + ) 3 = 3 3 = V opt. 5

26 31. Sedlaste tačke funkcije L(x, u) = x x x 1 x x 3 + u 0 (x 1 x + x 1 x 3 4) u 1 x 1 u x u 3 x 3 naći ćemo med u KKT tačkama polaznog problema. Jedina takva tačka je Nejednakost je trivijalna, dok se svodi na Imamo a funkcija (x 0, u 0 ), x 0 = (, 1, 1 ), u0 = ( 1, 0, 0, 0). 4 L(x 0, u) L(x 0, u 0 ) L(x 0, u 0 ) L(x, u 0 ) x 1 x + x 1 x 3 + 4x x 3 + x 1 x + x 1 x 3 + 4x x x 1 x x (x 1 x x 3 ) x 1 x x 4 +, 3 x 1 x x 3 t ϕ(t) = 6 3 t + 4 t ima minimum ϕ(1) = 10. Napomenimo da (P ) nije zadatak konveksnog programiranja ( g 1 (x) = x 1 x + x 1 x 3 4 nije konveksna), a ni dopustivi skup nije kompaktan. Med utim, pošto je (, 1, 1, 1 4, 0, 0, 0) sedlasta tačka, to je x opt = (, 1, 1 ). 3. S obzirom da je ispunjen Slejterov uslov ( uzeti npr. tačku (8,, 5, ) ), a ne postoji KKT tačka slijedi G opt =. Za promjenu zadržimo funkciju cilja, a ograničenja izmjenimo tako da je x 4 0 umjesto x 4 > 0. 6

27 Sada su aktivna ograničenja x 3 + x 4 x 1, x + x 4 x 3, x 4 0. U novom zadatku Karuš Kun Takerovi uslovi su 1 u 1 = 0, x 1 x 3 + u = 0, u 1 u = 0, u 1 + u u 3 = 0, u 1 ( x 1 + x 3 + x 4 ) = 0, u (x x 3 + x 4 ) = 0, u 3 x 4 = 0. Ako je u 3 = 0, onda je ( prema četvrtom uslovu ) u 1 = 0, tako da KKT tačke nema. Neka je u 3 0, x 4 = 0. Slijedi u 1 = u 3, u 1 = u, x 1 = x, x 1 = x 3 i x 1 =, pa je tačka 5 ( 5, 5, ) 5, 0 moguće rješenje novog zadatka, a da li je vidite sami. 33. Neprekidna funkcija data sa f(x) = x 1 x ima tačku minimuma na kompaktnom skupu x 1 (x 1) 1 G = { x R g(x) 0}, g(x) = (x 1 + 1) + x 1. x 1 1 Analizirajući odgovarajuće KKT uslove: x 1 (y y 1 1) + y y 3 = 0, x (y y 1 ) + y 1 1 = 0, dobijamo da KKT tačke (x, y) su y 1 (x 1 + x x ) = 0 y (x 1 + x + x 1 ) = 0 y 3 (x 1 + 1) = 0, y 0, g(x) 0, (0, 0, 1, 0, 0) i ( 1, 1, t, 1, + t), t > 0. 7

28 Pri tome skup G nije regularan u ( 1, 1). Ovdje na dovoljne uslove optimalnosti ne možemo računati, uključujući i to da dobijene tačke nisu sedlaste za Lagranžovu funkciju. Med utim, vidimo da iz slijedi x 1, 1 x 1 0, f(x 1, x ) = x 1 x = f( 1, 1), dok (0, 0) nije tačka lokalnog minimuma, pošto je G ( 1 n, 0) (0, 0), ali f( 1, 0) < f(0, 0). n Zaključno, x opt = ( 1, 1). 34. Dopustivi skup je dat sistemom linearnih nejednačina. Odredićemo minimum funkcije f(x 1, x ). Nije teško vidjeti da je jedino aktivno ograničenje KKT uslovi se redukuju na Slijedi da je 4x 1 + 5x 60. x + 4y 3 = 0 x 1 + 5y 3 = 0 4x 1 + 5x 60. (x, y ) = (7.5, 6, 0, 0, 1.5, 0, 0) jedina KKT tačka. Funkcija f je pseudokonveksna na G R + pa je (7.5, 6) tačka njenog globalnog minimuma na tom skupu. Maksimum polazne funkcije iznosi 45. Napomenimo da je dovoljan uslov optimalnosti drugog reda u ovom problemu [ ] [ ] 0 1 v1 v, v < 0, za sve v = 0, v 1 0 v 1 = 5 4 v. 35. L(x, y) = (x 1 ) +(x 1) +(x 3 5) +(x 4 4) +y 1 (x 1 x )+y (x x 3 )+y 3 (x 3 x 4 ). 8

29 KKT uslovi su (x 1 ) + y 1 = 0, y 1 (x 1 x ) = 0, (x 1) y 1 + y = 0, y (x x 3 ) = 0, (x 3 4) y + y 3 = 0, y 3 (x 3 x 4 ) = 0, (x 4 4) y 3 = 0. Posmatrane funkcije su konveksne, f je strogo konveksna, pa rješenje problema je jedinstveno. Iz sistema slijedi x 1 + x + x 3 + x 4 = 1. Za y 1 0, y = 0, y 3 0 je x 1 = x, x 3 = x 4. Sada iz x 3 +x 4 = 9 izlazi x = ( 3, 3, 9, 9 ), y = (1, 0, 1), tako da je d(x, G) = Neka je P dati poliedar. Za traženu projekciju x = pr(e ) vrijedi e x = min x 1 + (x 1). x P Budući da je korjenska funkcija rastuća dovoljno je riješiti problem kvadratne minimizacije: min x 1+(x 1), x P = {x R + x 1 +3x 3, 3x 1 +x 6, x 1 +x 1}. KKT uslovi su x 1 y 3y y 3 y 4 = 0, (x 1) 3y 1 y + y 3 y 5 = 0, y 1 (3 x 1 3x ) = 0, y (6 3x 1 x ) = 0, y 3 ( x 1 + x 1) = 0, y 4 x 1 = 0, y 5 x = 0, y 0, x P. Mora biti x 1 0, zato što (0, x ) / P. Sada je y 4 = 0. Ako bi bilo x 0, onda je (peta jednačina) y 3 = 0, a to ne može zbog drugog uslova. Znači, x 0, i y 5 = 0. Ako je y 1 0, nije y 3 0 (dobija se (x 1, x ) = (0, 1)), ali nije ni y 3 = 0 ( bilo bi (x 1) 0, i x 1 = 3(1 x ) 0.) Prema tome, y 1 = 0. Uslovi su sada: x 1 3y y 3 = 0, x y + y 3 =, y (6 3x 1 x ) = 0, y 3 (x 1 x + 1) = 0. Ovdje je 5y = x 1 + x, tako da izlazi y 0 i 3x 1 + x = 6. Pri y 3 0 dobijamo x 1 = 4 5, x = 9 5, y = 1 5, y 3 = 3 5 < 0. 9

30 Preostaje, y 3 = 0 i zaključno imamo x = ( 1 13, 1 13 ), y = (0, 8, 0, 0, 0). 13 P D (e ) = ( 1 13, 1 13 ). 37. Slejterov uslov je očigledno ispunjen, tako da je potrebno naći KKT ta čke. Posljednje ograničenje nije aktivno, tako da uz x G, λ 0, preostali KKT uslovi su: 7x + (3x 1 + x + ) = 3λ 1 + λ 4λ 3 + λ 4, 7x 1 4 (3x 1 + x + ) = λ 1 4λ + 3λ 3, λ 1 (7 3x 1 x ) = 0, λ ( x 1 + 4x 5) = 0, λ 3 (4x 1 3x 17) = 0, λ 4 x 1 = 0. Iz drugog uslova je λ 0, pa je x 1 = 4x 5. Mora da bude x 1 0 ( jer (0, 5 4 ) / G ), kao i λ 4 = 0. Sada, iz prve dvije jednakosti, nakon 3 sabiranja, izlazi 169(x 1) = λ 1 λ 3, odakle ( zbog λ 0 ) je λ 1 0. Dakle, x 1 = 3 13, x = 13, pri čemu je λ 1 = 1 7, λ = Funkcija cilja f nije konveksna na G, što vidimo iz npr. 17 f( , 6 ) f(17, 0) + f(3 4 13, 13 ), i λ 3 = 0. ali zbog njene pseudokonveksnosti (količnik dvije linearne funkcije, druga pozitivna na G), KKT uslovi su i dovoljni, te je f( 3 13, 13 ) = 7 39 globalni minimum. Problemi ove vrste efikasno se rješavaju na sljedeći način. Smjenom y 0 = zadatak postaje : 1 3x 1 + x +, y 1 = y 0 x 1, y = y 0 x odnosno, min y 1 y, y R + 3y 1 + y 7y 0, 4y 1 3y 17y 0, y 1 + 4y 5y 0, 3y 1 + y + y 0 = 1, 30

31 min y 1 y 7y 1 + 9y 7, 59y y 17, 13y y 5, y 1 0, y 0, Možemo koristiti simpleks metodu. Uvodeći izravnavajuće promjenljive, i uzimajući 1 c = 0 0, b = , A = , B = vidimo da bazna matrica B zadovoljava početni uslov simpleks metode, pošto B 1 b = = Test vektor je t = c BB 1 A c = [ 0, 0, 1 6, 0, 7 6 ] 0, pa je y = ( 3 117, 117 ). Pošto je y 0 = 1 9 to je opet x = ( 3 13, 13 ) [ ] q(x) =, funkcija q je strogo konveksna, g 1, g su konveksne, ispunjen je Slejterov uslov, te su KKT uslovi potrebni i dovoljni.pri tome je optimalna tačka jedinstvena. KKT uslovi su: [ ] [ ] [ ] [ ] x1 + x 5 x u x 1 + x u x =, 1 0 u 1 (x 1 + x 5) = 0, u (3x 1 + x 6) = 0, x G, u 0. Za u = 0 dobije se globalni minimum od q, ali on nije u dopustivom skupu G. Ako je u 1 = 0, u 0 izlazi x 1 + x = 10 iz datog sistema, i 3x 1 + x = 6. Dobija se tačka [ 5, 4 5 ], opet van G. Za u 1 0, u = 0 imamo (1 + u 1 )x 1 = u 1 x, što sa x 1 + x = 5 daje u 1 = 1, te je x = [ 1 ]. 31

32 39. Ako problem ima rješenje x onda, na osnovu teoreme F. Džona, postoje broj u 0 i vektori u 1, u za koje vrijedi: u 0 F (x ) + u 0 F x (x )x F x (x )u 1 u = 0, u 1, F (x ) = 0, u, x = 0, (u 0, u 1, u ) 0. Sada nakon množenja prve jednačine vektorom u 0 x u 1 dobijamo F x (x )(u 0 x u 1 ), u 0 x u 1 + u 0 F (x ), x + u 1, u = 0. Svi sabirci, po pretpostavkama, su nenegativni tako da moraju biti jednaki 0. Prema tome je u 0 F (x ), x = 0. Ako je u 0 = 0, onda zbog u 1, u = 0, i u 1 0, u 0, imamo (u 0, u 1, u ) = 0, što je nemoguće. Dakle, u 0 0 tako da je Obratno : x, F (x ) = 0. x, F (x ) = 0, x 0, F (x) 0 x, F (x) 0 = x, F (x ). 40. Dati skup G je ograničen ako zadatak max x, x G ima rješenje. Birajući euklidsku normu dobijamo zadatak kvadratnog programiranja. Za normu x 1 = x i, uvažavajući nenegativnost promjenljivih imamo zadatak linearnog programiranja: 1, x max, Ax = b, x 0. Polazni problem ima rješenje ako je dopustivi skup dualnog zadatka neprazan. Dakle, G je ograničen ako i samo ako postoji v R m takav da je A v 1. 3

33 41. Za kanonski zadatak linearnog programiranja min c x, A x b, x 0 dualan je max y b, A y c, y 0. Ako su x 0, y 0 optimalne tačke datih problema, prema teoremi jake dualnosti mora biti c, x 0 = y 0, b, tako da iz A y 0 c redom slijedi A y 0, x 0 c, x 0, y 0, Ax 0 y 0, b, y 0, Ax 0 b 0. Nejednakost suprotna posljednjoj je očigledna, pa je y 0, Ax 0 b = 0. Isto se postupa i za Obratno, uslov i jednakost povlače A y 0 c, x 0 = 0. Ax 0 b, y 0 = A y 0 c, x 0, Ax 0, y 0 = x 0, A y 0 b, y 0 = c, x 0. Dalje, iz y A c slijedi y Ax c x, za sve x 0, a zbog Ax b i y 0 imamo y b y Ax, odakle je g(y) = y b y Ax c x = f(x). Specijalno, za sve dopustive x, y vrijedi g(y) f(x 0 ) = g(y 0 ), f(x 0 ) = g(y 0 ) f(x). 4. Smjenom x 1 = ξ 1, ξ 1 0 zadatak postaje min ξ 1 + ξ + 3ξ 3 + 0ξ 4 1ξ 1 1ξ + ξ 3 + 0ξ 4 = 1 ξ 1 + ξ + 0ξ 3 + 1ξ 4 = 3 33

34 ξ 1 0, ξ 0, ξ 3 0, ξ 4 0. Njemu je dualan sljedeći zadatak: max η 1 + 3η 1η 1 η 1 1η 1 + η η 1 + 0η 3 0η 1 + 1η 0 On se lako rješava grafički i optimalna tačka je ( ) 3, 0. Jasno, minimalna vrijednost u polaznom problemu je 3, a optimalni vektor se može naći, prema prethodnom zadatku, iz sistema ξ 1 + ξ + 3ξ 3 = 3, Dobijamo ξ 0 = ξ 1 ξ ξ 3 ξ 4 1, [ 3 0 [ 0, 0, 1 ] [, 0, te je x 0 = 0, 0, 1. ] ] = Kako je (P ) problem konveksnog programiranja dualan problem ( u Vulfovom smislu ) glasi: max L(y, u), x L(y, u) = 0, y R n, u R n+1 +. U ovom slučaju (D) je max y y n + u 0 (n y 1 y n ) u 1 y 1 u n y n, y i u i u 0 = 0, (i = 1, n), u 0. Ovaj problem se svodi na max 1 (u i u 0 ) + nu 0, u 0 0, u i 0. 4 Vidimo da dualan zadatak nije jednostavniji od polaznog. Za (P ) KKT uslovi su, jasno, već dati u (D), tj. oni glase x i u i u 0 = 0, (i = 1, n) 34

35 pri čemu još mora da vrijedi u i x i = 0, u 0 (n x 1 x n ) = 0, u 0. Ako bismo za neki indeks i imali u i 0, onda je x i = 0 i u 0 = u i < 0. Dakle, mora da bude u = 0, odakle je x = u 0 1. Iz 0 / G izlazi u 0 > 0, x, 1 = n, u 0 =, i x = 1. Rješenje dualnog zadatka je (1, 1). 44. Dualan zadatak glasi: max y 1 + y + + ny n y 1 + y + + y n 1 y + + y n y n n y 1 0, y 0,..., y n 0. Jasno, sve nejednakosti sem prve su stroge, pa prema zadatku 41., zbog A y 0 c, x 0 = 0, mora da bude Slijedi da je x 0 = = x 0 n = 0. x 0 1 = n i x = (n, 0,..., 0). 45. f(x, y) = [ y 3 x + y x + y x 3 Za konveksnost funkcije f je potrebno da bude y 3, x 3. Med utim, tada je (y 3)(x 3) < (x + y), pa f nije PsemiD matrica na R +. S obzirom da je dopustivi skup kompaktan, postoji tačka minimuma date ]. 35

36 funkcije. Mi ćemo je naći med u KKT tačkama, pošto vrijedi Slejterov uslov. Imamo sistem y + xy 6x u 1 + u u 3 = 0, x + xy 6y u 1 + u u 4 = 0, u 1 (1 x y) = 0, u (x + y 6) = 0, u 3 x = 0, u 4 y = 0. U slučaju da je xy 0 imamo u 3 = u 4 = 0. Iz prve dvije jednačine je y x + 6(y x) = 0, odnosno x = y. Sistem postaje tako da KKT tačke su 3x 6x u 1 + u = 0 u 1 (1 x) = 0, u (x 3) = 0, (,, 0, 0, 0, 0) i (3, 3, 0, 3, 0, 0). Uzimajući da je xy = 0 dobijaju se i preostale KKT tačke: Sada se može odrediti 46. Dualan problem je (0, 6, 0, 36, 7, 0) i (6, 0, 0, 36, 0, 7). f min = 108, fmax = 0. sup ϕ(u), u 0 ϕ(u) = inf L(x, u). x R Funkcija x L(x, u) je konveksna na R, za svaki ( fiksiran) vektor u 0, pa se tačke minimuma, odnosno vrijednosti funkcije ϕ dobiju iz jednačine [ ] e x 1 u 1 + u 3 e x = 0. u + u 3 Sada, za u 1 + u 3 > 0, i u + u 3 > 0, dobijamo Dakle, ϕ(u) = x 1 = ln( u 1 + u 3 ), x = ln u + u 3. { (u1 u 3 ) ln(u 3 u 1 ) + (u u 3 ) ln(u 3 u ) + ln u 3, u 3 > max{u 1, u }, u 3 max{u 1, u }. Zaključno, (D) glasi max : (u 1 u 3 ) ln(u 3 u 1 ) + (u u 3 ) ln(u 3 u ) + ln u 3, u U = {u R 3 + u 3 1 u}. 36

37 47. Ocjenu minimuma f(x ) možemo dobiti iz teoreme slabe dualnosti: f(x) ϕ(u), za sve (x, u) G R n+1 +. Kako je dobijamo ocjenu odnosno [ u 0 = 0 f(x 0 ) f(x ) ϕ(u 0 ), ] 0 f(x ) inf y L(y, u0 ). Kako je, u našem slučaju, funkcija y L(y, u 0 ) [ ] [ ] L(y, u 0 0 1, y 1 ) = f(y) + f(x 0, = f(y) y, f(x 0 ), ) y konveksna, za odred ivanje njenog infimuma iskoristićemo Fermaovu teoremu. Imamo odakle je očigledno x L(y, u 0 ) = f(y) f(x 0 ), x L(x 0, u 0 ) = 0, i ϕ(u 0 ) = L(x 0, u 0 ). Slijedi f(x ) f(x 0 ) x 0, f(x 0 ). Na drugi način, zbog f(x 0 ) 0, imamo da je min x σ n f(x0 ), x = f(x 0 ), 0 = 0. Iz konveksnosti funkcije f na R n slijedi f(x) f(x 0 ) f(x 0 ), x f(x 0 ), x 0, pa za sve x σ n važi nejednakost f(x) f(x 0 ) f(x 0 ), x 0. 37

38 48. max f c (y), y D = {y R n y, x 0 x K}. 49. Ovo su zadaci konveksnog programiranja sa nediferencijabilnom funkcijom cilja f. a) Prelazeći na dualan problem dobijamo jednodimenzionalan slučaj. Lagranžova funkcija glasi L(x, u) = x i a i + u x i, x R n, u R. Dalje je ϕ(u) = inf L(x, u) = x u a i, u 1, u > 1. Na primjer, za u 1 imamo L(x, u) = ( x i a i + u(x i a i )) + u a i u a i = L(a, u). Dulan problem max ϕ(u), 1 u 1, ima rješenje u = sgn a i, ϕ(u ) = a i. Dakle, f(x ) = a i, a koordinate tačke minimuma x dobijaju se iz sistema jednačina x i a i = a i, x i = Primalni problem nema rješenje, budući da na skupu G = { x D g(x) = x 1 0 } = [0, + ) [1, + ) 38

39 vrijedi Znači, f(x) = x x > 0, i lim t f(0, t) = 0. π = 0. Funkcija f je konveksna, pa je odgovarajući dualan problem pri čemu je Sada je Dakle, sup ϕ(u), u R n +, ϕ(u) = inf x D L(x, u), L(x, u) = max{0, x x } ux 1. { 0, 0 u 1 ϕ(u) =, 1 < u δ = ϕ(u ), u [0, 1]. Pošto za marginalnu funkciju p imamo p(0) = π R, i dualan problem ima rješenje, to na osnovu teoreme jake dualnosti polazni problem je stabilan Pošto je F (x, 0) {0, + }, to je min F (x, 0) = 0. Minimum se dostiže, x na primjer, u tački (0, 0), tako da je π = 0. Marginalna funkcija p F, p F (y) = inf x F (x, y) dodijeljena problemu (P F ) glasi: 1, y 1 < 0 p F (y) = 0, y 1 = 0 +, y 1 > 0. Polazni problem nije stabilan zato što je p F (0) = : p F (0) = { y 0 p F (y) p F (0) + y 0, y, y } { y 0 p F (y) y 0, y, y 1 < 0 } = { y 0 1 y 0, y, y 1 < 0 } =. 39

40 Napomenimo da ako je y 0 0, onda postoji vektor y, y 1 < 0 ortogonalan na y 0, a za y 0 = 0, y1 0 > 0 dovoljno je uzeti y 1 = 1. Izračunajmo δ. Iz jednakosti F c (0, y) = pf c (y) y 0 1 slijedi tako da je { F c 1, y1 0, y (0, y) = = 0 +, inače δ = sup F c (0, y) = 1. y, 5. Dopustivi skup p(v) = inf{e x (x 1, x ) G v }, v R. G v = {x R x 1 + x x 1 v} je prazan za v < 0, pa je p(v) = +. Za v = 0 vrijedi G v = {(x 1, 0) x 1 0}, i p(0) = 1. U slučaju da je v > 0, imamo (n, vn) G v, lim n e vn = 0, što sa f(x) > 0 povlači p(v) = 0. Dakle, +, v < 0 p(v) = 1, v = 0 0, v > 0. Da bismo iskoristili Gejlovu teoremu odredimo p(0). Iz p(v) p(0) s(v 0), v D(p), slijedi da je 1 sv, za sve v > 0, što je nemoguće. Znači da je p(0) =, te problem nije stabilan. 40

41 53. Marginalna funkcija je data sa p(v) = min f(x), gdje je x G(v) G(v) = { v R 3 x 1 + x v 1, x 1 + x v }. Skup G(v) =, za v > v 1, pa je u tom slučaju p(v) = +. Ostali dopustivi skupovi su konveksni i kompaktni, te linearna funkcija f ima minimum u njegovom vrhu. Dobija se v 1, v 1 + v v p(v 1, v ) = + 1+4(v 1+v ), 1 4 v 1 < v < v 1 0, v = v 1 +, v > v 1 Nije sasvim lako odrediti p(0). Zato ćemo za utvrd ivanje stabilnosti iskoristiti činjenicu da konveksan problem koji ima rješenje x je stabilan ako i samo ako postoji u takav da je (x, u ) KKT tačka. Ovdje je očigledno 5 x = 5 1 1,, dok za u 0 mora da vrijedi x 1u 1 + u = 0, i 1 + x 1u 1 x u = 0, što ne može biti. Dakle, ovaj problem nije stabilan. 54. Može se odrediti marginalna funkcija p, pa onda njena konjugovana funkcija. Dobija se p(y) = 0, y 1 1, y 1, y 3 0 y 3, max{ 1 + y 1, 1 + y } 1, y 1, y 3 < 0 y 1 + y 3 + y y1 +, 1 + y < y y 1 y + y 3 + y y +, 1 + y 1 < y y Odavde se vidi da je Dom(p c ) = R 3 +, tako da nećemo direktno odred ivati konjugovanu funkciju. Kako posmatramo problem konveksne minimizacije, imamo da je p c ( u) = ϕ(u), u R 3 +, pri čemu je ϕ(u) = inf L(x, u). x D 41

42 U ovom slučaju je L(x, u) = x 1 + x + u 1 (x 1 1) + u (x 1) + u 3 (x 1 + x ), D = R. Za u 0, na R konveksna funkcija, x (1 + u 1 )x 1 + (1 + u )x + u 3 (x 1 + x ) u 1 u dostiže minimum u tački tako da dobijamo u 3 ( (1 + u 1 ), u 3 (1 + u ) ), p c (u) = u 3 4 ( 1 1 u u ) u 1 u. Sada možemo odrediti traženi subdiferencijal, tj. skup Iz slijedi Jasno, vrijedi { s R 3 p c (u) p c (0) s, u u 0, u 0 }. p c (u) s, u, u 3 4 ( 1 1 u u ) s + e 1 + e, u, u 0. {s s 1 1, s 1, s 3 0 } p c (0). U tačnost obrnute inkluzije uvjeravamo se uzimajući da je redom u = e 1, e, te 3 (t 0 + ). Do rezultata smo mogli doći i pomoću relacije s p c (0) 0 p(s). 4

43 Izvori i kraj 43

44 1. Skoro svi rezultati za konveksne skupove (tijela i konuse) u konačno dimenzionim euklidskim prostorima potiču od H. Minkovskog.. Tuy, Hoang: Convex Analysis and Global Optimization, Kluwer, Dordrecht, Suharev, A.G., Timohov, A.V., Fedorov, V.V. : Kurs metodov optimizaciji, Nauka, Moskva, Problem je složeniji bez pretpo stavki za skup C. Tada se može koristiti sljedeće([41.]). Ako je sup x A c, x = sup c, x x B za sve vektore c, onda je cl coa = cl cob. Pri tome treba imati na umu: sup c, x = sup c, x = x A x coa sup c, x. Nakon toga dovoljno x cla je pokazati da je sup c, x = c. x K(0,1) 5. Klasičan primjer. Na primjer u Rockafellar, R. Tyrrell: Convex Analysis, Princeton, Zangwill, Willard I.: N onlinearp rogramming Prentice-Hall, New Jersey, ? 8. c ([3]) 9. Ova konveksna funkcija javlja se u primjenjenoj matematici, na primjer u teoriji mehanike fluida. ([19]) 10. Za konkavnost geometrijske i harmonijske sredine može se koristiti uslov konkavnosti pozitivno homogenih funkcija, med utim i tada se mora koristiti nejednakost Koši- Bunjakovskog. 11. Alekseev, V.,M., Galeev,.M, Tihomirov, V.M.: Sbornik zadach po optimizacii Nauka, Moskva, Elster, K-H., Reinhardt, R., Schäuble, M., Donath, G.: Einf ührung in die nichtlineare optimierung Teubner, Leipzig, Uopšte vrijedi da je f c diferencijabilna, ako je f strogo konveksna funkcija. ([18]). 14.? 15. Ako je funkcija pozitivno homogena onda je njena konjugovana jednaka nuli na svom domenu 16. Uopšte 17.? f(x) = x x1 x x je kvazikonveksna funkcija na poluprostoru {x R n x x 1 x x }. Boyd, Stephen, Vanderberghe, Lieven: Convex Optimization Cambridge University Press, Hiriart-Urruty, J.B., Lemarechal, C.: Convex Analysis and M inimization Algorithms II. Springer, Berlin,

45 19. Drugi dio zadatka vrijedi i ako je f(x) 0, za sve x K Korablev, A. I.: O proizvodnih po napravlenijam kvazivipuklih funkcionalov, Konveksnost kompozicije funkcija izučio je već Jensen (1906), dok su uopštenja za kvazikonveksne funkcije data u Fenchel,W.: Convex Cones Sets and F unctions. Princeton Univ Ovo uopštenje Fermaove teoreme dokazao je Hiriart-Urruty,J.B. : When is a point x satisfying f(x) = 0 a global minimum of f? Amer. Math. Monthly 93(1986) Primjetimo da za funkcije konveksne i diferencijabilne na R n drugi uslov je ispunjen, tako da je tada f(x ) = minf(x) f(x ) = 0. 8 Cameron, Neil: Introduction to Linear and Convex P rogramming Cambridge Univ. Press, Cambridge, Problem je približno riješen u J. Kaška, M. Pišek: Kvadratickolinearni lomene programovani, Ekon.- matem. obzor, (1966) Specijalan slučaj ( n = 3) problema iz Malozemov, V. N., Shemiakina, I. V.: Maximization of the Vandermonde determinant and the Laguerre polynomials, Metody vychislenii Vol 19.(001) varijanta problema iz [3] 3. Peressini, A. L., Sullivan, F. E., Uhl, J. J.: T he Mathematics of Nonlinear P rogramming, Springer, ?. Pšeničnij, B.N.: Vipuklij analiz i ekstremalnije zadači, Nauka, Moskva, Fenchel,W.[1], Ognjanović, S. Borwein, Jonathan M., Lewis, Adrian S.: Convex Analysis and N onlinear Optimization Springer, New York, ? 5.? 6.? 7.? 34. kao [38] 35.? 36.? 37. Kalihman, I. L.: Sbornik zadač po matematičeskom programirovaniju, Moskva, Jahn, Johannes: Introduction to the T heory of N onlinear Optimization Springer,Berlin, Vajda, S.: T heory of Linear and N onlinear P rogramming. Longman, London,

46 40.? 41. Uporediti sa u g(x) = 0 u KKT uslovima. To su uslovi ravnoteže ( equilibrium condition) linearnog programiranja, ili complementary slackness conditions [36]. 4.? 43.? 44.? 45.? 46. c 47.? 48. Avriel, Mordecai: N onlinear P rogramming Prentice-Hall, New Jersey, Vasilev, F.P.:M etodi Optimizacii, Faktorial Press, Moskva,00. 50, kao [3] 51. Rockafellar, R. T. : Duality and stability in extremum problems involving convex functions, Pacific J. Math.,1(1967), Primjer je dao Duffin, Richard J., 53. c 54. c 46