KONVEKSNO PROGRAMIRANJE

Transcript

1 KONVEKSNO PROGRAMIRANJE 1

2 Sadržaj Konveksni skupovi Konveksne funkcije Optimalnost Dualnost Neke metode u (KP) Rješenja Osnovni pojmovi Simboli

3 Uvod Neka je f realna funkcija sa domenom D(f) R n, i neka je G D(f) neprazan skup. Opšti ( apstraktan ) problem matematičkog programiranja sastoji se u odred ivanju vrijednosti π = inf x G f(x) i skupa Problem označamo sa G = {x G : f(x) = π}. (P A) : min{ f(x) : x G}. Tačka x G je rješenje problema (PA) ako vrijedi f(x) f(x ) x G. U suštini, x je tačka globalnog minimuma funkcije f na skupu G. Često je lakše, a nekad i jedino moguće naći tačku minimuma date funkcije na nekom podskupu skupa G. Zato kažemo da je x lokalno rješenje datog problema, ako je to tačka lokalnog minimuma funkcije f na skupu G, tj. ako postoji okolina O tačke x takva da vrijedi f(x) f(x ) x G O. Ovdje je: min{c x + c 0 : x G}, G = {x R n : Ax b, Bx = d}. D = D(g) = D(h) = R n, g(x) = Ax b, h(x) = Bx d, matrice A i B su tipa m n, odnoso p n, a b R m i d R p. J J 1 J J = J m J p I m 3

4 Definicija i primjeri KONVEKSNI SKUPOVI Definicija 1 Skup C R n je konveksan ako za sve x 1, x C i sve λ [0, 1] vrijedi (1 λ)x 1 + λx C. Dakle, duž [x 1, x ] =... je podskup skupa C ako mu pripadaju njeni krajevi x 1 i x. slika 1. C Iz definicije slijedi da je skup C konveksan ako za svaki λ [0, 1] je (1 λ)c + λc C, (1) Od osnovnih skupovnih operacija konveksnost čuvaju sabiranje skupova i množenje realnim brojem. Isto tako vrijedi Teorema 1 Neka su C 1 i C konveksni skupovi. Tada je C 1 C konveksan. Dokaz. Iz x 1, x C 1 C, zbog konveksnosti datih skupova, slijedi [x 1, x ] C 1 i [x 1, x ] C, pa je [x 1, x ] C 1 C. Napomenimo da je presjek i proizvoljno mnogo konveksnih skupova opet konveksan skup. Očigledno je da unija dva konveksna skupa ne mora biti konveksan skup. Primjer 1 Prazan skup (po definiciji), {a}, i R n su konveksni skupovi. Primjer Jedinična kugla B i kugla sa centrom u x 0, poluprečnika r: su konveksni skupovi. Zaista, za x 1, x B, λ [0, 1] imamo B(x 0, r) = x 0 + rb 0 (1 λ)x 1 λx (1 λ) x 1 + λ x (1 λ) 1 + λ 1 = 1. Primjer 3 Neka je {v 1,..., v k } R n linearno nezavisan skup. Tada je ravan konveksan skup. Specijalno su prava R = x 0 + lin(v 1,..., v k ) P = x 0 + lin(v 1 ) i hiperravan konveksni skupovi. H = x 0 + lin(v 1,..., v n 1 ) 4

5 Inače svaka hiperravan je data sa H(a, α) = {x R n : a, x = α}, gdje je a R n, a 0 i α R. Za a = 0 dobijamo ( ako je α 0) ili čitav prostor (α = 0). Primjer 4 Zatvoreni poluprostor kao i su konveksni skupovi. H + (a, α) = {x R n : a, x α}, a 0, H (a, α) = {x R n : a, x α} Ovo slijedi iz jednakosti a, (1 λ)x 1 + λx = (1 λ) a, x 1 + λ a, x. Dakle, i H = H + H je konveksan skup. Primjer 5 Skup K R n naziva se konus ako vrijedi Ova implikacija je ekvivalentna sa x K, α 0 αx K. αk K, za sve α 0. Ako je konus konveksan skup onda se naziva konveksan konus. Za njihovu karakterizaciju potrebna je i dovoljna prethodna formula i zatvorenost skupa K u odnosu na sabiranje, tj. K + K K. Iz ove dvije formule slijedi konveksnost: (1 λ)k + λk K + K K λ [0, 1]. Obratno, na osnovu K K, ako je konus konveksan imamo K + K 1 K + 1 K = K. Primjer 6 Neka su v 1, v dopustivi pravci skupa C u tački x 0. Postoje pozitivni brojevi t 1 i t takvi da za i = 1, vrijedi x 0 + tv i C, t ]0, t i [. Sada, za sve pozitivne t manje od min{t 1, t } imamo x 0 + t(v 1 + v ) = 1 ( x 0 + tv 1) + 1 ( x 0 + tv ) 1 C + 1 C = C, tako da je i v 1 + v dopustiv pravac. Jasno, za svaki dopustivi pravac v i sve α > 0 pravac αv je dopustiv. Uključujući ovdje i nula vektor dobijamo konveksan konus V(x 0, C). 5

6 Primjer 7 Skup S R n odred uje konus cone S = {x R n : x = αy, y S, α 0}. To je konus generisan skupom S. Nije teško vidjeti da je cone C konveksan konus, ako je C konveksan skup. Specijalno, cone {a} = {x R n : x = αa, α 0}. je poluprava, a V(x 0, C) = cone (C {x 0 }) Ukoliko neki skup nije konveksan, možemo mu dodijeliti najmanji konveksan skup koji ga sadrži (poredak je dat relacijom.) u tom cilju, za proizvoljan neprazan skup S R n posmatraćemo sve njegove konveksne nadskupove. Njihov presjek je neprazan ( podskup mu je S ) i konveksan. Nazivamo ga konveksni omotač skupa S i pišemo co S. Dakle, co S = C. Primjer 8 Skup S C co {x 0, x 1,..., x k } naziva se k-dimenzionalni simpleks u R n, ako je {x 1 x 0,..., x k x 0 } linearno nezavisan. Specijalno, co {0, e 1,..., e n } je standardan n-simpleks u R n, dok je σ n = co {e 1,..., e n+1 } n- dimenzionalni jedinični simpleks u R n+1 slika Na osnovu definicije, za prozvoljne skupove S, T i konveksan skup C vrijedi S T co S co T, C = co C, co (co S) = co S. Kao što znamo, λ 1 x λ k x k je linearna kombinacija vektora x 1,..., x k S ako su λ 1,..., λ k R, a afina kombinacija ako je još λ λ k = 1. Dodajući uslov nenegativnosti λ 1 0,..., λ k 0 dobijamo konveksnu kombinaciju datih vektora. Za svaki prirodan broj k, proizvoljnom nepraznom skupu S dodjeljujemo skup svih konveksnih kombinacija svakih k njegovih elemenata : { k } k co k S = λ i x i : x i S, λ i = 1, λ i 0. Pomoću njih opisaćemo konveksni omotač skupa S. Prije svega, vrijedi: S T co k S co k T, () 6

7 (1 λ)co p S + λco q S co p+q S, (3) za sve λ [0, 1], a za svaki konveksan skup C je co k C C. (4) Ova inkluzija se dokazuje indukcijom. Teorema Ako je S neprazan podskup od R n, onda je co S = co k S. k N Dokaz. Sa jedne strane je S = co 1 S co k S, odakle je co S co co k S. k N k N Pošto iz (3) slijedi da je posmatrana unija konveksan skup imamo co S co k S. k N Dalje, zbog S co S vrijedi co k S co k (co S), a na osnovu (4) je co k (co S) co S, tako da imamo co k S co S. Kako posljednja inkluzija vrijedi za sve prirodne brojeve, to je co k S co S. k N Ovaj rezultat se može precizirati. Teorema 3 (Karateodori,1911) Ako je S R n neprazan skup vrijedi co S = n+1 k=1 co k S. Dokaz. Neka je x co S. Tada je x = λ 1 x λ k x k, za neke x 1,..., x k S, λ 1 {( 0,..., λ k ) 0, λ λ k } = 1. Ako je k > n + 1, onda je skup x i vektora R 1 n+1 : i = 1,..., k linearno zavisan. Postoje realni brojevi α 1,..., α k, koji nisu svi jednaki 0, takvi da je α 1 x α k x k = 0, α α k = 0. Bar jedan od njih je pozitivan, pa neka je λ j λ i = min. Imamo α j α i>0 α i x = x λ j α j 0 = k λ i x i λ j α j k α i x i = k ( λ i λ ) j α i x i. α j Pošto je λ i λ j α i 0 ( za i takvo da je α i 0 to je očigledno, a za ostale α j k ( zbog izbora indeksa j ) i λ i λ ) j α i = 1 λ j 0 = 1, to je x linearna α j α j 7

8 kombinacija tačaka skupa {x 1,..., x j 1, x j+1,..., x k }. ( ) x i Redukcija se nastavlja sve dok skup preostalih vektora ne postane lin- 1 earno nezavisan, tj. dok ih ne ostane najviše n + 1. Tada je x Dakle, co S n+1 k=1 n+1 k=1 co k S. Obratna inkluzija izlazi iz prethodne teoreme. co k S. Primjer 9 Na osnovu Karateodorijeve teoreme dobijamo n+1 σ n = {x R n+1 : x i = 1, x i 0} Teoreme razdvajanja Definicija Konveksni skupovi C 1, C R n su razdvojeni ako postoje tačka a R n, a 0 i realan broj α takvi da za sve x C 1 i sve y C, vrijedi Iz definicije vidimo da vrijedi a, y α a, x. C 1 H + (a, α), C H (a, α), pa možemo reći da hiperravan H(a, α) razdvaja (separira) teskupove. Ako su C 1, C u različitim otvorenim poluprostorima, oni su strogo razdvojeni. Tada za sve x C 1 i sve y C vrijedi a, y < α < a, x. Dokažimo prvo jednu pomoćnu, ali važnu teoremu. Teorema 4 Neka je C R n konveksan skup i 0 / C. Tada su skupovi a) C i {0} strogo razdvojeni, ako je C zatvoren skup. b) C i {0} razdvojeni. Dokaz. a) Neka je r > 0 takav broj da je C B(0, r) neprazan skup. On je kompaktan skup (kao presjek zatvorenog skupa i zatvorene kugle), pa neprekidna funkcija x x dostiže na njemu minimum, u nekoj tački c. Dakle, za sve tačke x posmatranog presjeka vrijedi x c. Za ostale tačke skupa C je x r c. Zaključno, za sve x C vrijedi x c, odnosno x c. Kako je C konveksan i c C, to za svaki x C i sve λ ]0, 1[ imamo c + λ(x c) C, pa je c + λ(x c) c, odnosno, x c, c + λ x c 0. 8

9 Pri λ 0+, dobijamo da je c, x c. Uzimajući da je a = c, i α = c slijedi a 0 (jer 0 / C = c = 0), i α > 0, tako da dobijamo a, x > α > a, 0, za sve x C. b) Ako 0 nije u cl C, koji je takod e konveksan skup, imamo situaciju iz a). Zato, neka je 0 cl C \ C. Postoji niz {c k }, c k R n \ cl C, takav da c k 0. Za svaki k N skup c k + cl C je konveksan i zatvoren. Tom skupu ne pripada 0, pa prema a), postoji niz vektora (a k ) takav da za sve x cl C vrijedi a k, c k + x > a k, 0 = 0. Pošto je a k 0 imamo a k a k, x a k ck 0, a k S(0, 1). { } a k Niz a k ima podniz koji konvergira ka a S(0, 1). Pri tome je a = 1, tako da u graničnom procesu dobijamo, za sve x C a, x 0 = a, 0. Sada možemo dokazati osnovne teoreme razdvajanja. Teorema 5 Neka su C 1, C R n neprazni, disjunktni, konveksni i zatvoreni. Ako je jedan od njih ograničen, onda postoji hiperravan koja ih strogo razdvaja. Dokaz. Razlika C 1 C datih skupova, po pretpostavkama, je konveksan i zatvoren skup. Uz ovo, uslov C 1 C = znači da je 0 / C 1 C. Prema prethodnoj teoremi postoji a R n, a 0 i β > 0 tako da za sve x C 1 i sve y C vrijedi a, x y > β > 0, odakle je a, x > a, y + β > a, y. Skup { a, x : x C 1 } je ograničen odozdo sa a, y + β, za proizvoljan fiksiran y C. Sada je inf x C 1 a, x β gornja med a skupa { a, y : y C }, pa imamo inf a, x sup a, y + β > sup a, y. x C 1 y C y C Uzimajući α izmed u uočenog supremuma i infimuma slijede nejednakosti iz definicije. 9

10 Koristeći drugi dio teoreme 5, a ponavljajući prethodni postupak, uz izbor dobija se α [sup a, y, inf a, x ] C C 1 Teorema 6 Neprazni, disjunktni i konveksni skupovi C 1 i C su razdvojeni. Posljedica 1 Ako je još skup C 1 otvoren, uz uslove teoreme 6, onda postoji hiperravan H(a, α), takva da vrijedi C 1 int H (a, α), i C H + (a, α). Dokaz. Iz prethodne teoreme slijedi da je a, x α za sve x C 1. Ako bi bilo a, x 0 = α za neki x 0 C 1, onda ( imajući na umu da je i x 0 + ε a a C 1, pri malom ε > 0 ) dobijamo a, x 0 + ε a a = α + ε α. Ovo nije moguće, tako da preostaje a, x < α a, y, za sve x C 1, i sve y C. EKSTREMALNE TAČKE Definicija 3 Tačka x C je vrh (ekstremalna tačka ) konveksnog skupa C R n ako ne postoje različite tačke x 1, x C takve da vrijedi x = x1 + x. Lako se vidi da je x vrh konveksnog skupa C ako i samo ako iz x 1, x C, i λ ]0, 1[, x = (1 λ)x 1 + λx slijedi x 1 = x. Drugim riječima vrh skupa nije unutrašnja tačka intervala koji leži u skupu C. Primjer 10 Neka je A m n matrica čiji je rang m < n i b R m. Skup S + (A, b) = {x R n : Ax = b, x 0} ima vrh, ako je neprazan. n Skup kolona {a 1,..., a n } je linearno zavisan, pa postoje α i j=1 α ja j = 0 Stavimo β = min αi >0 y i α i Neka je y S + i z = y βu Vrijedi Az = b, z 0, z n = 0 Neograničeni, zatvoreni konveksni skupovi, poput hiperravni, ne moraju imati vrhove. Situacija je drukčija ako je skup ograničen. 10

11 Teorema 7 Svaki neprazan, konveksan, kompaktan skup C R n ima vrh. Dokaz. Prema Vajerštrasovoj teoremi, u C postoji tačka maksimuma neprekidne funkcije x x. Pokazaćemo da je ona jedan vrh. Neka je x 0 ta tačka i još x 0 = x1 + x, za neke x 1, x C. Pomoću jednakosti paralelograma (...) dobijamo x 1 x + x 0 = ( x 1 + x ) 4 x 0, odakle je x 1 x 0, i x 1 = x, pa je x 0 vrh skupa C. Pokažimo da linearna funkcija l : R n R, l(x) = c, x dostiže minimum i maksimum na kompaktnom, konveksnom skupu C u njegovom vrhu. Prije svega, postoji x C takva da je min l(x) = x C l(x ). Jasno, skup C = {x C : l(x) = l(x } je konveksan i kompaktan, pa ima vrh x 0. Pokažimo da je on vrh i skupa C. Ako nije, postoje različite tačke x 1, x iz C, od kojih bar jedna nije u C, takve da je x 0 = x 1 + x. Pošto {x 1, x } C mora biti l(x 1 ) + l(x ) > l(x 0 ), a zbog linearnosti funkcije l to je nemoguće. Ova primjedba ima poseban značaj u linearnom programiranju. Mi ćemo je iskoristiti za dalju analizu konveksnog omotača. Naime, u izgradnji konveksnog omotača kompaktnog, konveksnog skupa ne sudjeluju, u suštini, sve njegove tačke, nego samo vrhovi. U narednoj teoremi ext C označava skup svih vrhova skupa C. Teorema 8 (Minkovski, 1911) Neka je C R n neprazan, konveksan, kompaktan skup. Tada C = co (ext C). Teoreme alternative Pomoću teorema razdvajanja dokazaćemo neke od važnih teorema alternative. Alternativni sistemi linearnih (ne)jednačina su oni kod kojih samo jedan ima rješenje. Na primjer, alternativni sistemi su : i Ax = b, x 0 (5) A y 0, b y < 0. (6) Ovdje je A m n matrica, b R m dok vektori 0, x i y u skladu s tim. nepoznati vektori su u skladu s tim. Kao i ranije skup rješenja sistema (5) označimo sa S + (A, b), tvrd enje u kojem tačno jedan od navedenih sistema ima rješenje možemo dati na sljedeći način. 11

12 Teorema 9 (Farkaš, 190) S + (A, b) ako i samo ako y A 0 y b 0. (7) Dokaz. Neka je S + (A, b). Tada iz y A 0, množenjem sa x 0 S + (A, b) dobijamo y Ax 0 0, odnosno y b 0. Za dokaz implikacije: (7) = S + (A, b) poslužimo se kontrapozicijom. disjunktni skupovi Dakle, neka je S + (A, b) =. To znači da su C 1 = {Ax : x R n +}, C = {b} Oni su konveksni, a C 1 i zatvoren, pa ih strogo razdvaja neka hiperravan H(y, α). Dakle, za sve x 0 vrijedi y b < α < y Ax. (8) Specijalno, za x = 0 dobijamo y b < 0, štaviše α < 0. Pokažimo da je y A 0. Uzmimo, suprotno, da je (y A) i = β < 0, za neki i {1,..., m}. Vektor x = (1 + α β )ei nema negativne koordinate i y (Ax) = (y A)x = β(1 + α β ) < α. Posljednje protivrječi (8), pa je y A 0 i y b < 0, a to je negacija formule (7). Pomoću Farkaševe dokazaćemo još neke teoreme alternative. Teorema 10 (Aleksandrov, Fan) Sistemi Ax b, (9) su alternativni. A y = 0, b y > 0, y 0 (10) Dokaz. Sistem (10) je ekvivalentan sa sistemom odnosno sa A y = 0, b y = 1, y 0, (11) ( A b ) ( 0 y = 1 ), y 0. Njemu je, prema Farkašovoj teoremi, alternativan sistem ( ) ( ) z (A, b) 0, (z 0, ζ) > 0, ζ 1 1

13 tj. što je, uz x = z ζ, ekvivalentno sa Az + ζb 0, ζ > 0, Ax b. Teorema 11 (Mockin 1936) Sistem nema rješenje ako i samo ako sistem ima rješenje. Ax < 0, Bx 0 (1) A u + B v = 0, u 0, v 0. u 0 (13) Dokaz. Neka prvi sistem nema rješenje po x. Ekvivalentno, sistem ( x nema rješenje po ξ odnosno ( A e B 0 Ax + ξe 0 Bx 0 ξ > 0. ). Ovo je ekvivalentno sa implikacijom ) ( x ξ ( A (x, ξ) B e 0 ) ( x 0 = (0, 1) ξ ) ( 0 0 = (x, ξ) 1 ) 0, ) 0. Sad prema Farkašovoj teoremi zaključujemo da je nepostojanje rješenja sistema (9) ekvivalentno sa postojanjem vektora (u, v) 0 takvog da je što je (10). A u B v = 0, e u + 0 v = 1, Uzimajući u Mockinovoj teoremi da je B = O direktno slijedi sljedeći rezultat. Teorema 1 (Gordan 1873, Štimke, 1915) Samo jedan od sistema Ax < 0, (14) ima rješenje. A y = 0, y 0, y 0 (15) 13

14 Od ostalih navedimo da su alternativni sljedeći sistemi: a) [Gejl] Ax b, x 0 i A y 0, b y > 0, y 0. b) [Fredholm] Ax = b i A y = 0, b y > 0. 14

15 KONVEKSNE FUNKCIJE 1. Definicija, primjeri, osnovna svojstva Neka je f realna funkcija definisana na skupu D(f) R n, i C D(f) neprazan, konveksan skup. Definicija 4 Funkcija f je konveksna na C ako za sve x 1, x C i svaki λ [0, 1] vrijedi f ( (1 λ)x 1 + λx ) (1 λ)f(x 1 ) + λf(x ). (16) Ako je u nejednakosti (16) znak < umjesto, za sve x 1 x i svaki λ ]0, 1[, kažemo da je f strogo konveksna funkcija. Funkcija f je konkavna ako je -f konveksna, tj. ako umjesto (16) vrijedi f ( (1 λ)x 1 + λx ) (1 λ)f(x 1 ) + λf(x ). Primjer 11 Afina funkcija a(x) = a, x +α je konveksna na C = R n. Ona je i konkavna na tom skupu. Afine funkcije su jedine koje su konveksne i konkavne. Primjer 1 f(x) = x je konveksna na R n, što direktno slijedi iz svojstava norme. Med utim, ako je int C, x 1 int C, x = (1+t)x 1 (t malo, dovoljno da bude x C) i λ = 1, onda (16) postaje jednakost. Dakle, norma nije strogo konveksna na C sa nepraznom unutrašnošću. Primjer 13 Pošto vrijedi (1 λ)x 1 + λx = (1 λ) x 1 + λ x (1 λ)λ x 1 x vidimo da je f(x) = x strogo konveksna na R n. Primjer 14 Kvadratna forma q(x) = Cx, x + c, x je konveksna na svakom C R n, ako i samo ako je simetrična matrica C pozitivno semidefinitna. Ovo slijedi iz (1 λ)q(x 1 ) + λq(x ) q((1 λ)x 1 + λx ) = λ(1 λ) C(x 1 x ), x 1 x. Kvadratna forma je strogo konveksna ako i samo ako je C pozitivno definitna. Sljedeće teoreme se jednostavno dokazuju. Teorema 13 Neka su f 1,..., f m konveksne na C R n, i α 1,..., α m nenegativni realni brojevi. Tada je f = α 1 f α m f m konveksna funkcija na C. Teorema 14 Funkcija f je konveksna na C ako i samo ako za svaki m N, sve x 1,..., x m C, λ 1 0,..., λ m 0, takve da je λ λ m = 1 vrijedi f(λ 1 x λ m x m ) λ 1 f(x 1 ) + + λ m f(x m ). 15

16 Ovo je Jensenova nejednakost za konveksne funkcije, a može se dokazati indukcijom, slično dokazu formule (4). Važni skupovi koji su pridruženi svakoj funkciji f : D(f) R, S D(f) R n su nadgraf (epigraf), podgraf (hipograf) i nivoski (Lebegov) skup : {( ) } x epi f = D(f) R : α f(x) α hypo f = epi ( f), lev (f, α) = {x D(f) : f(x) α}. Teorema 15 Neka je C R n konveksan skup. Funkcija f je konveksna na C ako i samo ako je epi f konveksan skup. Jasno, f je konkavna ako i samo ako je hypo f konveksan skup. Svaki nivoski skup (uključujući ) konveksne funkcije je konveksan. Na osnovu nejednakosti (16) dokaz je trivijalan. Primjer 15 Neka su f, g konveksne funkcije na C R n. Tada je konveksna funkcije f g definisana sa: f g(x) = max {f(x), g(x)}. Ovdje je dovoljno pokazati da je epi f g = epi f epi g, pa uz prethodnu teoremu iskoristiti i činjenicu da je presjek konveksnih skupova konveksan. Ovo vrijedi i za proizvoljno konveksnih funkcija, tj. je konveksna. sup f i Primjer 16 Neka je a afina funkcija, i A f skup svih afinih minoranti konveksne funkcije f: A f = {a : a(x) f(x) x C}. Stavimo f(x) = sup a A f a(x), i pokažimo da je tako definisana funkcija f : C R. {( ) } x Uzmimo prvo da je int C = i da mu pripada x 0. Skup C 1 = : x intc, x x n+1 > f(x) n+1 ( ) x 0 je konveksan, otvoren (f je neprekidna na int C) i ne pripada mu f(x 0. ( ) ) a Prema teoremi separacije (P osljedica1) postoje 0 i β, takvi da za sve α x int C vrijedi a, x 0 + αf(x 0 ) β < a, x + αx n+1. 16

17 Za x = x 0 i x n+1 = f(x 0 ) + 1 dobijamo α > 0, a za x n+1 = f(x) + ε (ε 0+) Jasno, a(x) = a α, x + β f(x) x int C. α a(x 0 ) = f(x 0 ). Neka je, sada x bd C. Pošto je [x 0, x[ int C, prema prethodnom imamo a( x0 +x ) f( x0 +x ) f(x0 )+f(x), a( x0 +x ) a(x 0 ) f(x), a(x) f(x). Dakle, za sve x C vrijedi a(x) f(x), odakle slijedi da je f definisana na C. Prema prethodnom primjeru ona je konveksna funkcija. Uvijek vrijedi f f, a kažemo da je f zatvorena ako je f = f. Navedimo da se u nekonveksnom slučaju može desiti da je A f =. Tada stavljamo f. Za ovakvu situaciju kao primjer možemo razmotriti funkciju x x 3, x R. Jedan nelinearan sistem nejednačina Da bismo jednostavnije formulisali tvrd enje o sistemima nejednačina sa konveksnim funkcijama, koje je tipa teorema alternative definisaćemo pojam konveksnih vektorskih funkcija. Za funkciju g : R n R m, g = (g 1,..., g m ) kažemo da je konveksna vektorska funkcija, ako su sve komponentne funkcije g i konveksne. U tom slučaju prirodno, nivoski skup {x R n : g(x) a}, a = (a 1,..., a m ) je presjek nivoskih skupova lev(g i, a i ). Slijedeću, važnu teoremu dokazali su Fan, Gliksberg i Hofman (1957). Teorema 16 Neka je g = (g 1,..., g m ) konveksnea vektorska funkcija na konveksnom skupu C D(g i ). Tada m vrijedi {x C : g(x) < 0} = ( u 0)( x C) u, g(x) 0. Dokaz. Skup C 1 = {y R m : g(x) < y, za neki x C} je konveksan i neprazan. Ako je skup {x C : g(x) < 0} prazan, onda 0 ne pripada skupu C 1. Prema Teoremi separacije 5. postoji u R m \{0}, takav da vrijedi u, y 0. Kako za svaki fiksiran x C, i svaki realan broj ε > 0 imamo g(x) + εe C 1, to je u, g(x) + εe 0. Sada, pri ε 0, dobijamo nejednakost u, g(x) 0, za svaki x C. Pokažimo još da je u 0. Ako bismo imali da je neki u j < 0, uzimajući y k = g(x) + εe + ke j, k N dobili bismo lim k u, y k =. 17

18 Obratno tvrdjenje imamo kontrapozicijom na osnovu g(x 0 ) < 0, u 0 u, g(x 0 ) < 0. Neprekidnost i zatvorenost Konveksne funkcije imaju važno svojstvo da su neprekidne na otvorenom skupu. Preciznije, vrijedi Teorema 17 Neka je C R n konveksan skup sa nepraznim interiorom i neka je f : C R konveksna funkcija. Tada je f neprekidna na int C. Dokaz. Neka je g(x) = f(x + x 0 ) f(x 0 ), x 0 int C. Tada je g konveksna i g(0) = 0. Treba dokazati da je g neprekidna u 0. Prije svega postoji t > 0 takav da je zatvorena kugla tb 1 C {x 0 }, i g je ograničena na toj kugli. Ograničenost slijedi iz teoreme Minkovskog i Jensenove nejednakosti (vidjeti i... ). Neka je sada ε ]0, 1[. Za sve x εtb 1 vrijedi ( ( )) ( ) 1 1 g(x) = g (1 ε)0 + ε ε x (1 ε)g(0) + εg ε x εm. Isto tako, iz zapisa 0 = ε x + ε ( 1ε ) 1 + ε x, dobijamo g(x) εm. Dakle, za svaki ε > 0 postoji δ > 0 takav da za sve x δb 1 vrijedi g(x) g(0) εm. Situacija se mijenja ako se neprekidnost posmatra na čitavom C, koji nije otvoren skup. { 1, x = 0 Primjer 17 f data sa f(x) = je konveksna, ali u 0 nije neprekidna, 0, x > 0 čak ni poluneprekidna odozdo. Uočimo da je njen nivoski skup lev( 1 ) =]0, + [ otvoren. Postoje odozdo poluneprekidne konveksne funkcije koje nisu neprekidne. x Primjer 18 f(x 1, x ) = 1 + x, x 1 > 0 x 1 je konveksna, zatvorena, 0, (x 1, x ) = (0, 0) ali nije neprekidna. Ovdje se nejednakost (16) pri x 1 = (ξ 1, η 1 ) x = (ξ, η ) svodi na 0 (ξ 1 η ξ η 1 ). Nivoski skupovi su zatvoreni:, {0} i B(( α, 0), α ). Funkcija nije neprekidna u 0, zbog f( 1 n, 1 n ) f(0, 0). 18

19 Inače pojam poluneprekidnosti je posebno važan, pa ćemo mu posvetiti više pažnje. Uopšte vrijedi Teorema 18 Funkcija f je poluneprekidna odozdo na skupu S R n ako i samo ako je svaki njen nivoski skup zatvoren u S, ili ako i samo ako je epif zatvoren skup u S R. Ako je skup S zatvoren, onda za poluneprekidnost odozdo je potrebna i dovoljna zatvorenost nadgrafa u R n+1, odnosno zatvorenost svakog nivoskog skupa u R n... Mi ćemo pokazati da se za konveksne funkcije pojmovi zatvorenosti i poluneprekidnosti odozdo ne razlikuju. Prije toga istaknimo sljedeće. Primjedba 1 U Primjeru 17. smo vidjeli da za konveksnu funkciju f i tačku x 0 int C postoji afina minoranta takva da je (( a To znači da hiperravan H ( α x 0 a(x 0 ) = f(x 0 ), a(x) f(x) x C. (17) ) ), β, β = αf(x 0 ) + a, x 0, sadrži tačku ), a nalazi se ispod nadgrafika epi f. Stoga se naziva potporna hiper- f(x 0 ) ravan (hiperravan oslonca). Jasno, za ξ < f(x 0 ) imamo afinu minorantu takvu da je njena vrijednost u x 0 upravo ξ. To je x a(x) + ξ f(x 0 ). I( u slučaju ) da je x 0 rubna tačka domena postoji hiperravan H kojoj pripada x 0 f(x 0, a epi f je u H ), ili H +. Med utim ne mora da vrijedi nejednakost iz (17) pošto H može biti okomita na R n (Primjer 19, x 0 = 0, H = H(e 1, 0)). Ovdje možemo uočiti da ako je epi f zatvoren i konveksan, a x 0 je {( rubna tačka )} x 0 zatvorenog C, onda nakon strogog razdvajanja skupova epi f i, ξ ξ < f(x 0 ), dobijamo afinu funkciju a a(x) = a α, x x0 + ξ, za koju vrijedi a(x) f(x), za sve x C, i a(x 0 ) = ξ. Teorema 19 Funkcija f je konveksna i poluneprekidna odozdo na zatvorenom konveksnom skupu C ako i samo ako je zatvorena. Dokaz. Neka je f = f. Prema primjerma 11 i 15 f je konveksna. Pokažimo da je i poluneprekidna odozdo. Za to je dovoljna zatvorenost nivoskih skupova (teorema 0). Neka je x k lev (f, α) i x k x 0. Skup C je zatvoren tako da je x 0 C. Dalje, imamo redom za sve prirodne brojeve k f(x k ) = f(x k ) α, sup a(x k ) α, a(x k ) α. Slijedi a(x 0 ) α, i x 0 lev (f, α). Dokažimo a A f obratnu implikaciju. Uvijek je f f Neka je f poluneprekidna odozdo i konveksna i neka je f(x 0 ) > f(x 0 ), za neki x 0 C. Tada je f(x 0 ) > ξ = f(x0 )+f(x 0 ). 19

20 Postoji afina minoranta a funkcije f takva da je a(x 0 ) = f(x0 )+f(x 0 ). Med utim, zbog f(x 0 ) a(x 0 ) mora da je f(x 0 ) f(x 0 ), što je suprotno pretpostavci. Slijedi f = f. Diferencijabilnost Kao prvo ustanovimo da konveksna funkcija f u unutrašnjoj tački x 0 domena, u svakom pravcu v, ima (jednostrani) izvod : f (x 0 f ( x 0 + tv ) f(x 0 ) ; v) = lim x 0+ t Naime, postoji ε > 0 takav da je x 0 +tv C za sve t ε. Funkcija g :]0, ε] R, g(t) = f(x0 + tv) f(x 0 ) t je neopadajuća, jer za 0 < t 1 < t ε nejednakost g(t 1 ) g(t ) glasi ( f(x 0 + t 1 v) 1 t ) 1 f(x 0 ) + t 1 f ( x 0 + t v ), t t a ova vrijedi zbog konveksnosti funkcije f. Slijedi da postoji lim g(t), koji je x 0+ konačan, budući da je g(t 0 ) g(t) za sve t ]0, ε[ i fiksiran t 0 ] ε, 0[. Dakle, f (x 0 ; v) = lim g(t) = inf g(t). x 0+ 0<t ε Uočimo da je za svaki x C vektor v = x x 0 dopustiv pravac, pri čemu je ε = 1. Sada iz prethodne formule dobijamo odnosno važnu nejednakost f (x 0 ; x x 0 ) = lim g(t) = inf g(t) g(1), x 0+ 0<t 1 f (x 0 ; x x 0 ) f(x) f(x 0 ). (18) Sljedeće dvije teoreme sadrže kriterijume konveksnosti diferencijabilnih funkcija. Teorema 0 Nejednakosti f(x ) f(x 1 ) + f(x 1 ), x x 1 (19) i f(x ) f(x 1 ), x x 1 0 (0) vrijede, za sve x 1, x C, ako i samo ako je f je konveksna na C. 0

21 Teorema 1 Neka je f neprekidna na C i dva puta neprekidno diferencijabilna na int C =. Tada, f je konveksna na C ako i samo ako za sve x int C, v R n f(x)v, v 0. (1) Subdiferencijali Imamo, prema nejednakosti (19), da za diferencijabilnu konveksnu funkciju, za fiksiran x 0 C i sve x C vrijedi f(x) f(x 0 ) f(x 0 ), x x 0. Ovo daje mogućnost uopštavanja pojma gradijenta. Definicija 5 Subgradijent funkcije f : S R, S R n u tački x 0 S je vektor y 0 R n takav da za sve x S vrijedi f(x) f(x 0 ) y 0, x x 0. () Skup svih subgradijenata funkcije f u x 0 naziva se subdiferencijal i označava sa f(x 0 ). Dakle, f(x 0 ) = { y 0 : f(x) f(x 0 ) y 0, x x 0 x S }. Primjedba Geometrijski, hiperravan u R n+1 data sa 1 a n+1 x n+1 = y 0, x x 0 + f(x 0 ) jehiperrvan ( ) oslonca za epi f u tački (x 0, f(x 0 )). Kako je njen vektor normale y 0 a = ta hiperravan nije ortogonalna na R 1 n. Jasno je i obratno, ako je hiperravan H(a, f(x 0 ) y 0, x 0 ) potporna za epi f u (x 0, f(x 0 )) i nevertikalna, onda je y 0 subgradijent funkcije f u x 0. Tada je a n+1 0 i y 0 = a 1.. f(x 0 ). a n slika Na datoj slici je grafik konveksne funkcije date sa { 1 1 x, 1 x 0 f(x) = x 1 x, 0 x < 1 Uslov f(x) je važan pa ćemo ga posebno istaknuti. Definicija 6 Funkcija f je subdiferencijabilna u x 0 D(f) ako je f(x 0 ). Izložićemo osnovna svojstva subdiferencijala, kao i neke formule subdiferencijalnog računa. 1

22 Teorema Subdiferencijal je zatvoren i konveksan skup. Dokaz. Neka je f(x 0 ). Prvi dio tvrdnje slijedi iz neprekidnosti skalarnog proizvoda u nejednakosti iz definicije. Dalje, uzmimo y 0, y 1 f(x 0 ) i λ [0, 1]. Kako za sve x D(f), i za i = 0, 1 imamo f(x) f(x 0 ) y i, x x 0, to nakon množenja sa 1 λ (za i = 0), a sa λ (za i = 1), te sabiranja dobijamo Dakle, (1 λ)y 0 + λy 1 f(x 0 ). f(x) f(x 0 ) (1 λ)y 0 + λy 1, x x 0. Vidjeli smo da ni konveksna funkcija ne mora biti subdiferencijabilna u svim tačkama (npr. iz bd C). Za ostale tačke situacija je drukčija. Teorema 3 Neka je f konveksna funkcija i x 0 int C. Tada je f(x 0 ). Dokaz. Za x 0 int C prema primjedbi 1 (), za sve x C vrijedi a(x) a(x 0 ) f(x) f(x 0 ), tj. a α, x x0 f(x) f(x 0 ), što znači da je a α f(x0 ). Ustanovimo vezu izmed u subdiferencijala i jednostranih izvoda. Tim ćemo dobiti još jedan uslov da je subdiferencijal neprazan. Teorema 4 Neka je f konveksna na C R n, x 0 C. Tada je y 0 f(x 0 ) ako i samo ako za svaki dopustivi pravac v vrijedi y 0, v f (x 0 ; v). (3) Dokaz. Neka je y 0 subgradijent i v dopustiv pravac. Tada, za sve t ]0, t 0 [ je x 0 + tv C i f ( x 0 + tv ) f ( x 0) y 0, tv, odakle je f ( x 0 ; v ) y 0, v. Obratno, iz (18) i (3) direktno slijedi (). Primjedba 3 Iz (3) slijedi sup y (x ) y, v f (x 0 ; v). Ako je x 0 int C, 0 onda je funkcija v f (x 0 ; v) konveksna na R n. Zbog neprekidnosti ona je ograničena na jediničnoj kugli. Sada imamo, da za sve y (x 0 ), y 0 vrijedi y, y y f (x 0 y ; y ) M, tj. y M. Znači, (x0 ) je ograničen skup, pa iz Teoreme 4, slijedi njegova kompaktnost. Prethodna nejednakost postaje max y, v f (x 0 ; v). Za x 0 int C i sve v R n vrijedi i više (Zadatak...) y (x 0 ) max y, v = f (x 0 ; v). (4) y (x 0 )

23 Teorema 5 Konveksna funkcija f je diferencijabilna u x 0 int C ako i samo ako je f(x 0 ) jednočlan skup. Za računanje subdiferencijala važno je naredno tvrd enje. Teorema 6 (Moro - Rokafelar) Neka su f 1, f konveksne funkcije na skupu C sa nepraznim interiorom. Tada za sve x 0 C vrijedi (f 1 + f )(x 0 ) = f 1 (x 0 ) + f (x 0 ). (5) Konjugovane funkcije Problem minimizacije funkcije f na skupu S R n je ekvivalentan sa problemom max ( f(x)), x S. U vezi s njima korisno je razmotriti skup problema max { y, x f(x) : x S}, za sve y R n. Vidimo da se ovdje javlja nova funkcija y max ( y, x f(x)) x C vezana za f. Označava se sa f c i naziva konjugovana funkcija funkcije f. Definicija 7 Konjugovana funkcija funkcije f : D f R, D f R n je funkcija f c : D f c R, f c (y) = sup ( y, x f(x)), (6) x D f gdje je D(f c ) skup tačaka za koje je supremum konačan. Primjedba 4 Situcija u kojoj je D(f c ) = nije isključena, što pokazuje primjer funkcije f(x) = x 3, D f = R. Ovdje je sup (yx x 3 ) = +, za sve y R. x R Ako je domen konjugovane funkcije neprazan možemo odmah ustanoviti neka njena bitna svojstva. Teorema 7 Neka je f proizvoljna funkcija za koju je D f c. Tada je D f c konveksan skup, a f c zatvorena konveksna funkcija. Dokaz. Za y 1, y D f c, λ [0, 1] vrijedi sup ( (1 λ)y 1 + λy, x f(x) ) (1 λ) sup x D f x D ( f y 1, x f(x) ) + λ sup x D f ( y, x f(x) ) < +, te je (1 λ)y 1 + λy D f c, i f c ( (1 λ)y 1 + λy ) (1 λ)f c ( y 1) + λf c ( y ). Uostalom, nadgraf epi f c je zatvoren i konveksan skup. 3

24 Iz definicije direktno slijedi da za sve x D f i sve y D f c vrijedi f(x) + f c (y) x, y. (7) Ova nejednakost se zove Fenhelova ili Jang-Fenhelova. Prirodno je definisati konjugovanu funkciju funkcije f c, i ustanoviti njenu vezu sa f. Umjesto (f c ) c pišemo f cc, i to je bikonjugovana funkcija funkcije f. Dakle f cc (x) = sup ( x, y f c (y)). (8) y D f c Koristeći Fenhelovu nejednakost f(x) y, x f c (y), na osnovu (8) dobijamo da za sve x D(f) vrijedi f(x) f cc (x). (9) slike f... Neka je D(f c ). Kao i gore f ima afinu minorantu, i vrijedi A f D(f c ), pošto za a A f tj. iz a, x α f(x) x D(f) slijedi a, x f(x) α pa je a D(f c ). Dalje je f c (a) α, odakle je a, x α a, x f c (a), sup ( a, x α) sup ( a, x f c (a)), a A f a D(f) f(x) f cc (x). (30) Odgovor na pitanje kada su funkcija i njena bikonjugovana funkcija jednake direktno izlazi iz nejednakosti (9) i (30) Teorema 8 (Fenhel-Moro) Funkcija f je odozdo poluneprekidna i konveksna na zatvorenom C ako i samo ako je f = f cc. (31) Dokaz. Iz jednakosti slijedi da je f konveksna, i poluneprekidna odozdo ( f cc je konveksna i zatvorena ). Obratno, iz konveksnosti i poluneprekidnosti je f = f. Kako još imamo f f cc f, slijedi f = f cc. Veza izmed u subdiferencijala funkcije f i njene konjugovane funkcije data je sljedećim tvrd enjima. Teorema 9 Neka je f proizvoljna funkcija i x 0 D f. Tada vrijedi y 0 f(x 0 ) f c (y 0 ) + f(x 0 ) = y 0, x 0, (3) y 0 f(x 0 ) = x 0 f c ( y 0). (33) Ako je f konveksna i zatvorena u x 0, onda vrijedi i obratna implikacija. 4

25 Dokaz. y 0 f(x 0 ) povlači f(x) f(x 0 ) y 0, x x 0, odnosno y 0, x 0 f(x 0 ) y 0, x f(x), za sve x D f, što znači da je y 0 D(f c ) i y 0, x 0 f(x 0 ) f c (y 0 ). Pomoću Fenhelove nejednakosti dobijamo y 0, x 0 = f(x 0 ) + f c ( y 0). Na drugu stranu, iz ove jednakosti imamo y 0, x 0 f(x 0 ) = f c (y 0 ) y 0, x f(x), tj. za sve x D f vrijedi y 0, x x 0 f(x) f(x 0 ), te je y 0 f(x 0 ). U dokazu druge formule pod imo od y 0 f(x 0 ). Prema već dokazanom je f c (y 0 ) x 0, y 0 y = y, x 0 f(x 0 ) f c (y). Znači, za sve y D f c imamo f c (y) f c (y 0 ) x 0, y y 0, tj. x 0 f c (y 0 ). Obratno, iz prve ekvivalencije i Moro-Fenhelove teoreme (tj. f(x 0 ) = f cc (x 0 )) slijedi x 0 f c (y 0 ) = f cc (x 0 ) + f c (y 0 ) = x 0, y 0 = f(x 0 ) + f c (y 0 ) = x 0, y 0 = y 0 f(x 0 ). { 1, x = 0 Primjer 19 Funkcija f(x) =, je konveksna, i f(0) =. 0, x ]0, { 1] 0, y 0 Njena konjugovana funkcija je f c (y) = y, y 0, dok je f c (0) = [0, 1]. Uočimo da f nije zatvorena u 0. Ako modifikujemo f tako da je f(x) = 0 za x > 0, onda je isto f(0) =, dok je domen konjugovane ], 0], f c (y) = 0, a f c (0) = [0, + [. Primjer 0 Za afinu funkciju f(x) = a, x + β vrijedi D f c = {a}, f (a) = β. Jedina potporna hiperravan na epif je data navedenom afinom funkcijom, te je jasno D f c = {a}. Zbog f(x) = a vrijedi f c (a) = a, x a, x β = β. Detaljnije, sup ( y, x a, x β) = sup y a, x β x R n x R n je konačan samo za y = a. Inače, za x = t(y a) 0 imamo sup y a, x sup t y a = +. x R n t>0 5

26 Primjer 1 Ako je C simetrična PsemiD matrica reda n, q(x) = 1 Cx, x, x R n, onda je konjugovana funkcija q data sa q (Cx) = 1 Cx, x, x Rn. (34) U slučaju da je C P D matrica, iz q(x) = Cx = y dobijamo x = C 1 y, tako da formula (30) postaje q c (y) = y, C 1 y 1 y, C 1 y, = 1 C 1 y, y, y R n. Pokažimo da je D q c = {Cx : x R n } ako C jeste P semid, ali ne i P D matrica. Zaista, iz y D q c je ) q (y) = sup ( y, x f(x)) sup ( y, αx 0 α x R n α R Cx0, x 0, za fiksiran x 0 0, koji ćemo izabrati tako da bude Cx 0, x 0 = 0. Sada slijedi q c (y) sup α y, x 0, odakle proizilazi jednakost y, x 0 = 0. Znači da je y ortogonalan na {x : Cx = 0}, pa se nalazi u {Cx : x R n }. Obratno, za y = Cx α R imamo ( Cx, v 1 ) Cv, v q c (Cx) = sup v R n = 1 Cx, x 1 inf C(v x), v x = v Rn = 1 Cx, x. Specijalno, za C = I dobija se rezultat za euklidsku normu. Konveksne funkcije sa vrijednostima ur Neka je R = R {, + } prošireni skup realnih brojeva. Svaka funkcija f : S R, S R n može se dodefinisati na sljedeći način tako da vrijedi f(x) = { f(x), x S +, x R n \ S, min f(x) = min f(x). x S x R n (35) Posebno je važno da se konveksnost funkcije f može prenijeti na f. Posmatraćemo sada funkcije f : R n R. Kažemo da je takva funkcija konveksna ako je njen nadgrafik konveksan skup, što je ekvivalentno sa f ( (1 λ)x 1 + λx ) (1 λ)α + λβ, 6

27 za sve x 1, x R n, α f(x 1 ), β f(x ) i sve λ [0, 1]. Skup dom(f) = {x R n : f(x) < + } naziva se efektivni domen funkcije f i on je konveksan ako je f konveksna. Nas će zanimati funkcije koje ne uzimaju vrijednost, a identički nisu +, odnosno ako vrijedi dom(f), / f(r n ). (36) Primjedba 5 Ako nije ispunjen ovaj uslov, konveksna funkcija može biti konačna jedino na rubu svog efektivnog domena. Zaista, ako je x int dom(f), f(x 1 ) =, postoje x dom(f), λ ]0, 1[, za koje je x = (1 λ)x 1 + λx, i pri tome vrijedi f(x) (1 λ)f(x 1 ) + λf(x ) =. Primjer jedne takve funkcije je, x < 0 f(x) = 0, x = 0 +, x > 0. Definicije iz ranijih razmatranja prenose se i na funkcije f : R n R, uz uobičajene operacije sa ±. Tako je f poluneprekidna odozdo u x 0 R n ako je f(x 0 ) lim f(x). x x 0 Ovdje uočimo da iz neprekidnosti funkcije f ne slijedi da je (polu)neprekidna i funkcija f, data formulom (33). Na primjer, f(x) = x je neprekidna na ]0, + [, ali f(x) = { x, x > 0 +, x 0 nije ni poluneprekidna u 0. Vektor y 0 R n je subgradijent funkcije f u x 0 ako za sve x R n vrijedi f(x) f(x 0 ) + y 0, x x 0. Neposredno slijedi da f(x 0 ) = povlači f(x 0 ) = R n, kao i da je f. U suprotnom imamo važno tvrd enje, koje se dokazuje kao teorema 6. Teorema 30 Ako je konveksna funkcija f konačna u tački x 0 onda vrijedi f(x 0 ) = {y 0 : f (x 0 ; v) y 0, v v}. S druge strane imamo da, ako je f(x 0 ) konačan i f(x 0 ), onda je f konveksna i vrijedi (34). Konjugovana funkcija za f : R n ], + ] f c (y) = sup x R n { y, x f(x)} može uzeti vrijednost +. Pri tome, ako je f c +, onda je f cc. Mi ćemo redovno posmatrati konveksne funkcije uz uslov (34). 7

28 Primjer Za linearnu funkciju l(x) = a, x, a 0, na R n imamo { l c 0, y = a (y) = +, y a Primjer 3 Karakteristična (indikatorna) funkcija skupa C { 0, x C i C (x) = +, x / C je konveksna, ako je C konveksan skup. Njena konjugovana funkcija ic(y) c = sup y, x x C naziva se potporna funkcija skupa C. Označava se sa s C, tj. imamo s C (x) = sup x, y. y C Dakle, l c (y) = i {a} (y). Uočimo da za funkciju f za sve x R n vrijedi f(x) = f(x) + i C (x). Primjer 4 Ako je C konveksan skup, funkcija f = d(, C) tj. udaljenost tačke od skupa C, data sa f(x) = inf x v, v C je konveksna funkcija. Da bismo odredili njenu konjugovanu funkciju uočimo da je f = f 1 f, gdje je f 1 (x) = x, a f (x) = i C (x). Sada je, prema teoremi { sup y, x, y B f c (y) = f1 c (y) + f c (y) = δ B (y) + δc c (y) = x C +, y B. Na kraju dokažimo teoremu koju ćemo koristiti u teoriji dualnosti. Teorema 31 Konveksna funkcija, konačna u x 0 je subdiferencijabilna u x 0 ako i samo ako vrijedi f (x 0 ; v) >, v R n Dokaz. Neka je f(x 0 ) =, tada je njegova potporna funkcija S druge strane, kako je s f(x 0 ) =. v f (x 0 ; v) konveksna, pozitivno homogena, njena konjugovana funkcija je indikatorna za neki konveksan skup. Iz Fenhelove nejednakosti i teoreme 37 slijedi da je to upravo subdiferencijal u x 0. Dakle, zbog imamo (46) s f(x 0 )(v) = clf (x 0 ; v), 8

29 pa mora postojati vektor v 0 takav da je f (x 0 ; v 0 ) =. Konveksne funkcije i ekstremi Konveksne funkcije imaju niz svojstava koja olakšavaju odred ivanje ekstrema: Svaki lokalni minimum je globalni minimum. Skup tačaka minimuma je konveksan skup, a ako je f strogo konveksna, taj skup je najviše jednočlan. Tačka strogog maksimuma konveksne funkcije nije u skupu int D f. x je tačka globalnog minimuma diferencijabilne konveksne funkcije f na konveksnom skupu C ako i samo ako vrijedi f(x ), x x 0 za sve x C. (37) Ako f nije diferencijabilna prethodna nejednakost se zamjenjuje sa 0 f(x ). (38) Dokažimo prvo tvrd enje. Neka je f(x ) minimum funkcije f na D f B(x, ε) i neka je x D f. Postoji broj λ takav da je λx + (1 λ)x B(x, ε) ( npr. ε ako je x van te kugle, dovoljno je uzeti neki λ ] 0, x x [.) Sada je, zbog konveksnosti funkcije f, f(x ) f((1 λ)x + λx) (1 λ)f(x ) + λf(x), odakle je f(x ) f(x) za sve x D f. Ako bi konveksna funkcija imala strogi maksimum u x int D f, za neke tačke x 1, x B(x, ε) int D f bilo bi ( x x = x 1 + x, i f(x 1 + x ) ) = f f(x1 ) + f(x ) < f(x ). U vezi sa maksimumom konveksne funkcije navedimo sljedeće. Ako je C int D f kompaktan skup, onda postoji x C, tačka globalnog maksimuma, pošto je f neprekidna. Kompaktan, konveksan C je konveksni omotač ( svojih vrhova, s s s ) pa je x = λ i v i, λ i = 1, λ i 0. Dalje je f(x ) = f λ i v i s λ i f(v i ) s λ i max i {1,...,s} f(vi ) = max i {1,...,s} f(vi ) f(x ). Dakle, vrijedi max i {1,...,s} f(vi ) = f(x ), tako da postoji vrh skupa C u kojem f dostiže maksimum na C. Posljednje tvrd enje slijedi direktno iz nejednakosti (19), odnosno (). Inače uslov (37) možemo zamijeniti sa f(x ), v 0 za sve dopustive pravce v u x. (39) 9

30 Zaista, iz x, x C slijedi x + λ(x x ) C, za sve λ ]0, 1[, tako da je x x dopustiv pravac, za sve x C. Obratna implikacija je jasna. Primjer 5 Kob - Daglasova funkcija je konveksna za Zaista, Primjeri konveksnih funkcija f(x) = α 0 x α 1 1 xαn n, x R n +, α 0 < 0, α 1 > 0,..., α n > 0 n α i 1. f(x)v, v ( n ) = f(x) v i α i x i n α i v i x i tako da iz nejednakosti Koši-Bunjakovskog je f(x) v, v 0. n Ako je α i > 1, f nije konveksna, jer stavljajući 1 = (1,..., 1) imamo ( ) f = α 0 n α i > α 0 1 =, f(0) + f(1). Problemu (KP): inf {f(x) : x G}, G = {x C : g(x) 0} dodijeljena je Lagranžova funkcija L : C R m + R L(x, u) = f(x) + u, g(x) Primjer 6 Funkcija a) x L(x, u) je konveksna, ako je f konveksna, a g konveksna vektorska funkcija, b) u ϕ(u) = inf x C L(x, u) je konkavna na Rm +. Jasno a) direktno slijedi iz Teoreme 13., dok za b) imamo ϕ(λ 1 u 1 + λ u ) = inf x ( f(x) + λ1 u 1 + λ u, g(x) ) = = inf x λ 1 inf x ( λ1 f(x) + λ 1 u 1, g(x) + λ f(x) + λ u, g(x) ) ( f(x) + u 1, g(x) ) + λ inf x ( f(x) + u, g(x) ) = = λ 1 ϕ(u 1 ) + λ ϕ(u ), za sve λ 1, λ 0, λ 1 + λ = 1. 30

31 Primjer 7 U optimizaciji je posebno važna marginalna funkcija koja se pridružuje problemu (P) (funkcija osjetljivosti problema (P)). Označava se sa p, a data je sa p(v) = inf f(x) v x G(v) Rm, gdje je Ponekad ćemo pisati G(v) = {x D : g(x) v}, G(0) = G. p(v) = inf f(x). g(x) v Primjetimo da zbog G(0) = G za optimalnu vrijednost π problema (P) imamo π = p(0). Vidjećemo da to nije jedini motiv za izučavanje ovih funkcija. Neka je V = {v : G(v) }. Što se tiče domena imamo sljedeće. Ako je D neprazan, onda je i V neprazan ( za x 0 iz D, f(x 0 ) je u V ). Dalje, za v 0 V i x 0 takav da je g(x 0 ) v 0 imamo p(v 0 ) f(x 0 ) < +, pa vrijedi dom(p) = V. Za jednakost D(p) = V, trebaju i dodarni uslovi: ako je π > i L = lev( ϕ; π), onda je domen marginalne funkcije skup V, sa nepraznim interiorom. Zaista, neka je y 0 L. Vrijedi ϕ(y 0 ) π, odakle je π ϕ(y 0 ) f(x) + y 0, g(x). Za sve v i sve x G(v) je y 0, g(x) y 0, v, pa zaključujemo < π y 0, v < p(v). Od svojstava funkcije p navedimo sljedeća: a) Bez obzira kakve su funkcije f i g, funkcija p je opadajuća, tj. Iz ovog svojstva slijedi v 1 v = p(v 1 ) p(v ). y p(0) = y 0. (40) b) Ako su f i g konveksne na C, onda je p konveksna na V. c) d) p(0) = L. (41) p c ( u) = ϕ(u), u R m +. (4) 31

32 Dokaz. a) v 1 v G(v 1 ) G(v ) p(v 1 ) p(v ). Dalje, zbog 0 e i je p(0) p(e i ) i 0 p(e i ) p(0) y, e i 0 = y i, i = 1, m. b) Neka je v 1, v V, λ 1, λ 0, λ 1 + λ = 1. Za svaki ε > 0 postoje x 1 ε G(v 1 ), x ε G(v ) takvi da vrijedi p(v 1 ) f(x 1 ε) < p(v 1 ) + ε, p(v ) f(x ε) < p(v ) + ε. Zbog konveksnosti funkcije g je λ 1 x 1 ε + λ x ε G(λ 1 v 1 + λ v ), tako da imamo p(λ 1 v 1 + λ v ) = inf f(x) f(λ 1x 1 x G(λ 1v 1 +λ v ε + λ x ε) ) λ 1 f(x 1 ε) + λ f(x ε) < λ 1 p(v 1 ) + λ p(v ) + ε. Pošto je ε > 0 proizvoljan, mora biti c) Iz y 0 L slijedi p(λ 1 v 1 + λ v ) λ 1 p(v 1 ) + λ p(v ). ( p(0) inf f(x) y 0, g(x) ), x Neka je v V i x takav da je g(x) v. Zbog y 0 y 0, g(x) y 0, v, pa imamo 0, v g(x) 0 je p(0) + y 0, v f(x), p(0) + y 0, v inf f(x) = p(v), g(x) v što znači da je y 0 p(0). Dakle, L p(0). Neka je sada y 0 p(0). Za sve v V vrijedi p(v) p(0) y 0, v Uzmimo fiksiran x 0 D i stavimo v 0 = g(x 0 ). Sada vrijedi odakle je, zbog p(v 0 ) = i p(0) p(v 0 ) + y 0, v 0, inf f(x) g(x) g(x 0 ) f(x0 ), p(0) f(x 0 ) + y 0, g(x 0 ), p(0) inf x 0 f(x0 ) + y 0, g(x 0 ) = ϕ( y 0 ). Kako je prema (38) y 0 0, dobijamo y 0 L, pa je p(0) L. { d) Stavimo da je f(x, f(x), x G(v) v) =, tako da je p(v) = inf f(x, v). +, inače x D p c ( u) = sup ( u, v p(v)) = sup ( u, v inf v R m v R m x D f(x, v)) = 3

33 = sup x D sup ( u, v f(x, v)) = sup v R m x D sup v:g(x) v ( u, v f(x, v)) = = sup ( u, g(x) f(x)) = inf (f(x) + u, g(x) ) = ϕ(u). x D x D Primjedba 6 Formula (38) se na isti način dokazuje za p(v), v int V. To je uopštenje činjenice da izvod opadajuće funkcije jedne promjenljive nije pozitivan. U d) je data veza izmed u važnih funkcija p i ϕ, iz koje se takod e vidi da je ϕ konkavna. USLOVI OPTIMALNOSTI Prvo ćemo se baviti potrebnim uslovima za postojanje tačke minimuma funkcije f na skupu G R n. Za konveksne funkcije smo imali da je nejednakost f(x ), v 0 za svaki dopustivi pravac v V(x, G) potreban i dovoljan uslov za postojanje tačka minimuma x. Ovo znači da ako je x tačka minimuma, onda ne postoji dopustivi pravac v takav da vrijedi f(x ), v < 0. Bez konveksnosti uslov je potreban, stim da je tada minimum lokalni. Zaista, ako za neki v vrijedi f(x f(x + tv) f(x ) ), v = lim < 0, t 0 t onda imamo da je f(x + tv) < f(x ), za sve vrijednosti t ]0, t 0 [, odnosno, x nije tačka lokalnog minimuma funkcije f na G. Za... bitno je to da u dopustive pravce tačke x G int D u odnosu na skup G = {x D : g i (x) 0, i J }, spadaju vektori v za koje Zaista, iz g i (x ), v < 0 za svaki i J (x ) = {i J : g i (x ) = 0}. g i (x g i (x + tv) g i (x ) ), v = lim, t 0 t za i J (x ) izlazi g i (x + tv) lim < 0, t 0+ t pa postoji t i > 0 takav da je za sve t ]0, t i [ g i (x + tv) < 0. Zbog neprekidnosti funkcija isto vrijedi i za i J \ J (x ). Dakle, za sve t ]0, t 0 [, t 0 = min i J t i i sve i J je g i (x + tv) 0. 33

34 Sada je jasno da, ako je x tačka lokalnog minimuma funkcije f na skupu G, pri čemu je D otvoren, onda sistem nejednačina f(x ), v < 0, (43) g i (x ), v < 0, i J (x ) (44) nema rješenje na G. Sada možemo dokazati dvije osnovne teoreme optimalnosti. Označimo sa G(x) Jakobijevu matricu u x diferencijabilne funkcije g : R n R m. Teorema 3 (F. Džon, 1948) Neka su f, g diferencijabilne i neka je x tačka lokalnog minimuma funkcije f na skupu G. Tada postoje y R m, y 0 R takvi da vrijedi: (y 0, y ) 0, (y 0, y ) 0, (45) y 0 f(x) + G (x )y = 0, (46) y, g(x ) = 0. (47) Dokaz. Ako je J (x ) =, onda je x intg, tako da je f(x ) = 0, i dovoljno je uzeti y 0 = 1, y = 0. U suprotnom, neka je A matrica čije vrste su vektori f(x ), g i (x ), pri i J (x ). Ako je x tačka lokalnog minimuma funkcije f na skupu G, onda sistem nejednačina (44) odnosno sistem f(x ), v < 0, g i (x ), v < 0, i J (x ) (48) Av < 0 nema rješenja. Sada, prema Gordan-Štimkeovoj teoremi, postoji vektor takav da je (y 0, z ) 0, (y 0, z ) 0 A ( y 0 z ) = 0. Formirajmo novi vektor y stavljajući da je yi = z i za i J (x ), a yi = 0 za i J \ J (x ). Sada prethodna jednakost postaje ( f(x ), G (x ) ) ( ) y 0 y = 0, odnosno y 0 f(x) + G (x )y = 0. Uslov (48) je ispunjen pošto je y i = 0 ili g i(x ) = 0. Med utim, F. Džonova teorma nema veliku praktičnu vrijednost. Preciznije, u situaciji da sistem G (x )y = 0, y 0 34

35 ima netrivijalno rješenje, možemo uzeti da je y0 = 0, pa funkcija f ne sudjeluje u ovim uslovima za postojanje svog ekstrema. Prema tome, potrebno je obezbjediti dodatni uslov da bude ispunjeno y 0 > 0. Takvi uslovi nazivaju se uslovi regularnosti. a jedan takav je Mangasarijan- Fromovicev uslov: Sistem (36) ima rješenje, tj. v R n : g i (x ), v < 0, i J (x ). (49) Teorema 33 (Karuš 1939, Kun, Taker 1951) Neka su funkcije f : R n R, g = (g 1,..., g m ) : R n R m diferencijabilne u tački x lokalnog minimuma funcije f na skupu G, i neka je ispunjen Mangasarjan- Fromovicev uslov. Tada postoji tačka y R n + takva da vrijedi f(x ) + m yi g i (x ) = 0, (50) m yi g i (x ) = 0. (51) Dokaz. Ispunjeni su uslovi Džonove teoreme, a uslov (37) se svodi na y0 f(x ) + yi g i (x ) = 0. (5) i J (x ) Neka je v vektor iz (37). Nakon skalarnog množenja dobijamo y0 f(x ), v + yi g i (x ), v = 0, i J (x ) Ako je y = 0, onda je y 0 > 0, zbog (y 0, y ) 0, i (y 0, y ) 0. Ako je y 0, zbog Mangasarijan-Fromovicevog uslova, drugi sabirak je negativan, odakle slijedi y 0 f(x ), v > 0, što opet daje y 0 > 0. Nakon dijeljenja sa y 0 dobijemo (51). Uočimo da za konkavnu (specijalno afinu) funkciju g i uslov g i (x ), v < 0 može da se zamijeni sa g i (x ), v 0, budući da je za sve t > 0 g i (x + tv) g i (x ) + t g i (x ), v 0 Sada uslov (44) možemo i precizirati: Ako je x tačka lokalnog minimuma funkcije f na G, onda nema rješenja sistem f(x ), v < 0, g i (x ), v 0, i J K (x ) = {i J (x ) : g i je konkavna}, g i (x ), v < 0, i J (x ) \ J K (x ). (53) 35

36 Kao što smo koristili Mangasarijan-Fromovicev uslov koristiti tzv. AHU uslov regularnosti (Erou, Hurvic, Uzava): Postoji v R n takav da za nekonkavne g i, i J (x ) vrijedi g i (x ), v < 0, dok za konkavna aktivna ograničenja u x je g i (x ), v 0. Tada postupamo na sljedeći način. Uzmimo da matrica A kao vrste ima f(x ), g i (x ), i J \ J K, a B g i (x ), i J K. Tada se iz y0 f(x ), v + yi g i (x ), v + yi g i (x ), v = 0, i J (x )\J K (x ) i J K (x ) ako bi bilo y 0 = 0 dobija jednačina po v koja nema rješenje, zbog AHU uslova i Mockinove teoreme alternative. Da bismo se lakše izražavali uvedimo sljedeće pojmove. Svako rješenje po (x, y) sistema: g(x) 0, y 0, (54) f(x) + G (x)y = 0, (55) y g(x) = 0, (56) zvaćemo KKT tačka problema minimizacije (P), a navedene uslove KKT uslovi. Dakle, prema prethodnoj teoremi, uz uslov MF ili AHU, KKT uslovi su potrebni za postojanje lokalnog rješenja problema (NP). Primjer 8 Rješenje problema minimizacije funkcije f : R R f(x 1, x ) = (x 1 + 1) + x, na skupu G = {x R : x x 0} očigledno je x = (0, 0), ali uslov (55) postaje e 1 + y 0 = 0, pa x nije KKT tačka. Uočimo da Erou-Hurvic-Uzavin uslov nije ispunjen, pošto g(x) = x x nije konkavna, a g(0) = 0. Primjer 9 Posmatrajmo opšti zadatak linearnog programiranja: min{ c, x : Ax b}. Stavimo f(x) = c, x i g(x) = b Ax. Ako je G = {x R n : g(x) 0} neprazan, onda je ispunjen AHU uslov regularnosti u svakoj dopustivoj tački. Kako je f(x) = c, G(x) = A, 36

37 KKT uslovi postaju: Ax b, u 0, c A u = 0 u, b Ax = 0. Treći uslov b, u = u, Ax zbog u, Ax = A u, x, uz drugi uslov je ekvivalentan sa b, u = c, x. Dakle, ako je x rješenje osnovnog problema linearnog programiranja, onda postoji u 0 takav da vrijedi c = A u i Naravno, prethodni uslov se može zamijeniti sa Za kanonski zadatak linearnog programiranja u, b Ax = 0 (57) b, u = c, x. (58) min{ c, x : Ax b, x 0}. imamo f(x) = c, x, g(x) = ( b Ax x ) ( A, f(x) = c, G(x) = I ), tako da su KKT uslovi : Drugi i treći uslov su pa eliminacijom vektora v dobijamo: Ax b, x 0, ( u ) 0, v 0 u c (A, I) = 0 ( ) ( v ) u b Ax, = 0. v x c A u = v, u, b Ax = v, x, Ax b, x 0, u 0, c A u u, b Ax = x, c A u. Jasno, posljednja jednačina je ekvivalentna sa b, u = c, x, a može se uz prethodne uslove i precizirati. Naime, zbog x 0, A y c vrijedi u, Ax = 37

38 A u, x c, x = u, b, odakle je u, b Ax 0. Kako je obratna nejednakost očigledna dobijamo jednakost, a samim tim i potreban uslov u, b Ax = 0, x, c A u = 0. (59) Dovoljni uslovi optimalnosti Jedan od osnovnih rezultata u konveksnoj optimizaciji je da su KKT uslovi dovoljni za potojanje optimalnog rješenja. Preciznije, vrijedi Teorema 34 Neka su f i g konveksne funkcije, diferencijabilne u x 0 G. Ako postoji y 0 R m takav da je (x 0, y 0 ) KKT tačka, onda je x 0 tačka globalnog minimuma funkcije f na skupu G. Dokaz. Prvo, neka je J (x 0 ) = tj. g(x 0 ) < 0. Pošto je još y 0 0, i y 0, g(x 0 ) = 0, mora da bude y 0 = 0. Sada jednakost (4) postaje f(x 0 ) = 0. Zbog konveksnosti funkcije f, za sve x G imamo f(x) f(x 0 ) f(x 0 ), x x 0 = 0. Ukoliko je J (x 0 ), to za proizvoljan x G i sve i J (x 0 ) vrijedi g i (x) 0 = g i (x 0 ), pa je, zbog konveksnosti funkcija g i, g i (x 0 ), x x 0 0. Sada iz (4) izlazi f(x 0 ), x x 0 = yi 0 g i (x 0 ), x x 0 0, odakle je opet zbog konveksnosti. i J (x 0 ) f(x) f(x 0 ), za sve x G, Primjer 30 Sada vidimo da su potrebni uslovi za postojanje rješenja opšteg zadatka LP i dovoljni, s obzirom da su afine funkcije konveksne. Dakle, x takav da je Ax b je rješenje datog problema ako postoji u 0 takav da je c = A u, u, b Ax = 0. Ovo je lako i direktno dokazati. Prvo, neposredno slijedi da je b, u = c, x. Sada, za svaki dopustivi vektor x, zbog Ax b i u 0 imamo b, u Ax, u. Odavde, za sve dopustive x je c, x c, x : c, x = b, u Ax, u = x, A u = c, x. 38