Metódy vol nej optimalizácie

Metódy vol nej optimalizácie Metódy vol nej optimalizácie p. 1/34

Motivácia k metódam vol nej optimalizácie p. 2/34

Metódy na riešenie úloh typu min f 0 (x) x K R n (MP) kde K = {x R n f i (x) 0,i I, h j (x) = 0,j J}, sú založené na postupnom riešení úloh na vol ný extrém min f(x) x R n (U1) 1. Metódy využívajúce vlastnosti Lagrangeovej funkcie 2. Bariérové metódy / metódy vnútorného bodu p. 3/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Lagrangeova funkcia a Lagrangeove multiplikátory pre úlohu (U3) min f 0 (x) x K 3 (U3) kde K 3 = {x f i (x) 0, i = 1,...,m} Lagrangeova funkcia: L : R n R m + R, L(x,u) = f 0 (x)+ m i=1 u if i (x) u 0- Lagrangeove premenné Pre x K 3 a u 0 L(x,u) f 0 (x) p. 4/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Vektor Lagrangeovych multiplikátorov Nech ˆx K 3 je optimálnym riešením úlohy (U3). Vektor û 0 m nazveme vektorom Lagrangeových multiplikátorov prináležiacim optimálnemu riešeniu ˆx, ak pre Lagrangeovu funkciu platí: x R n : f 0 (ˆx) L(x,û). p. 5/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Nech ˆx K 3 je optimálnym riešením úlohy (U3) a û 0 m je príslušný vektor Lagrangeových multiplikátorov. Potom platia nasledujúce vzt ahy: 1. f 0 (ˆx) = L(ˆx,û), 2. Dôsledok: û i f i (ˆx) = 0, i = 1,2,...,m. Vektor Lagrangeovych multiplikátorov û 0 je teda taký špeciálny vektor, že vol né minimum funkcie L(x, û) je zároveň optimálnym riešením ˆx úlohy (U3). p. 6/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Vektor Lagrangeových multiplikátorov nemusí vždy existovat! Jeho existenica závisí od spôsobu vyjadrenia množiny prípustných riešení: min f 0 (x) = x x K 3, K 3 = R + = {x f 1 (x) 0} Optimálne riešenie: ˆx = 0,f 0 (ˆx) = 0. Ak f 1 (x) = x, tak û = 1. Ak f 1 (x) = (min{0,x}) 2, tak vektor Lagrangeovych multiplikátorov neexistuje { x x 0 L(x,u) = x+ux 2 x 0 p. 7/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Súvis so sedlovým bodom Lagrangeovej funkcie: Definícia sedlového bodu: Majme dve neprázdne množiny X R n, Y R m a na nich definovanú funkciuφ : X Y R. Bod(x 0,y 0 ) X Y nazývame sedlovým bodom funkcie Φ, ak platia nasledovné dve nerovnosti: x X, y Y : Φ(x 0,y) Φ(x 0,y 0 ) Φ(x,y 0 ). p. 8/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Funkcia Φ(x,y) = x 2 y 2 má sedlový bod (x 0,y 0 ) = (0,0). 4 2 0-2 -4 2 1 0 y -1-2 -2 x 0 2 p. 9/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Veta: Bod ˆx je optimálne riešenie úlohy min f 0 (x) f i (x) 0, i = 1,2,...,m (U3) a û 0 je vektor Lagrangeových multiplikátorov prináležiaci k bodu ˆx bod (ˆx,û) je sedlový bod Lagrangeovej funkcie t. j. platí x R n, u R m + : L(ˆx,u) L(ˆx,û) L(x,û). p. 10/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Ako prvý využil Hugh Everett III - Generalized Lagrange Multiplier Method for Solving Problems of Optimum Allocation of Resources, Operations Research, Vol. 11, No. 3, May-June 1963, pp. 399-417. p. 11/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Everett si uvedomil, že vyriešením konkrétnej úlohy na vol ný extrém získa riešenie úlohy na viazaný extrém so špecifickými ohraničeniami. Everettova veta: Nech u k 0 a predpokladajme, že x k X minimalizuje funkciu L(x,u k ) na X (otvorená množina). Potom x k je optimálnym riešením úlohy min f 0 (x) f i (x) f i (x k ), i = 1,2,...,m Everettova metóda: V k-tej iterácii sa počíta vol né minimum funkcie L(x,u k ), vektor u k sa pomocou získaného minima upresňuje na u k+1, atd. Hlavná nevýhoda: minimum funkcie L(x,u k ) nemusí vždy existovat p. 12/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Rozšírené Lagrangeove funkcie Po Everettovom článku - záujem o jednoduchšie úlohy: min f 0 (x) h i (x) = 0, i = 1,2,...,m (U2) Klasická Lagrangeova funkcia: L : R n R m R, L(x,u) = f(x)+ m i=1 u ih i (x) 1969 - Hestenes a Powell - rozšírená Lagrangeova funkcia : H(x,y) = L(x,y)+ α 2 m h i (x) 2, α > 0 i=1 p. 13/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Magnus R. Hestenes a Michael J. D. Powell p. 14/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Nech ˆx K 2 = {x h i (x) = 0, i = 1,...,m} je optimálnym riešením úlohy (U2). Vektor ŷ R m nazveme vektorom Hestenesovych multiplikátorov prináležiacich optimálnemu riešeniu ˆx ak pre Hestenesovu funkciu platí: x : f 0 (ˆx) H(x,ŷ). Tiež platí: Bod ˆx je optimálne riešenie úlohy (U2) a ŷ R m je vektor Hestenesovych multiplikátorov prináležiaci k ˆx práve vtedy, ked bod (ˆx,ŷ) je sedlový bod Hestenesovej funkcie H(x,y). p. 15/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE V čom je Hestenesova rozšírená funkcia lepšia ako klasická Lagrangeova funkcia? Za istých predpokladov: Pre dostatočne vel ké α má funkcia H(x,ȳ) = L(x,ȳ)+ α 2 m h i (x) 2 i=1 minimum ȳ Ak x je stacionárnym bodom H(x, ȳ), tak x je stacionárnym bodom L(x, z) pre z : z i = ȳ i +αh i ( x). Pre optimálne ˆx platí û = ŷ p. 16/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Algoritmus Hestenesovej metódy: V k-tej iterácii: Daný je vektor multiplikátorov y k a penalizačný parameter α k Nájde sa vol né minimum x k Hestenesovej funkcie H(x,y k ) so štartovacím bodom x k 1, t.j. x k := argminh(x,y k ). Multiplikátor sa vylepšuje podl a pravidla: y k+1 i = y k i +α k h i (x k ). Zvolí sa nový penalizačný parameter α k+1 α k a proces sa opakuje. p. 17/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE 1973 - T. Rockafellar adaptoval Hestenesovu funkciu na úlohu min f 0 (x) f i (x) 0, i = 1,2,...,m (U3) Pomocou doplnkových premenných upravil ohraničenia f i (x) 0 na h i (x,z i ) = f i (x)+z 2 i = 0. Úlohu (U3) previedol na klasickú úlohu na vol ný extrém (U2), definoval príslušnú Hestenesovu funkciu H(x,y,z). Eliminoval doplnkové premenné z i a definoval tzv. Rockafellarovu funkciu R(x,y) = min z R mh(x,y,z) p. 18/34

METÓDY VYUŽÍVAJÚCE VLASTNOSTI LAGRANGEOVEJ FUNKCIE Podobne ako v prípade Hestenesovej funkcie sa definuje pojem Rockafellarovych multiplikátorov a odvodí sa iteračné pravidlo pre ich aproximáciu Algoritmus Rockafellarovej metódy: V k-tej iterácii: Daný je vektor multiplikátorov y k 0 a penalizačný parameter α k Nájde sa vol né minimum x k Rockafellarovej funkcie R(x,y k ) so štartovacím bodom x k 1. Multiplikátor sa vylepšuje podl a pravidla: y k+1 i = max[0,y k i +α k f i (x k )]. Zvolí sa nový penalizačný parameter α k+1 α k a proces sa opakuje. p. 19/34

BARIÉROVÉ METÓDY 1964-1968, Fiacco & McCormick - Sequential Unconstrained Minimization Technique - SUMT Úloha konvexného programovania min f 0 (x) f i (x) 0, i = 1,2,...,m (U3) kde f 0,f 1,...,f m sú konvexné Predpoklady: f i sú diferencovatel né existuje optimálne riešenie úloy (U3) K 0 3 = {x f i (x) < 0,i = 1,...,m} p. 20/34

BARIÉROVÉ METÓDY Myšlienka metódy Úlohu (U3) možno ekvivalentne formulovat ako (U1): min f 0 (x)+ m i=1 I(f i(x)) x R n (U1) kde I : R R je indikátorová funkcia definovaná ako: I(t) = { 0 t 0 t > 0 Avšak účelová funkcia v (U1) nie je diferencovatel ná, štandardné metódy vol nej optimalizácie sa nedajú aplikovat p. 21/34

BARIÉROVÉ METÓDY Myšlienka metódy Funkcia I sa aproximuje vhodnou diferencovatel nou funkciou parametrizovanou kladným parametrom r > 0, ktorý určuje presnost aproximácie Bariérové funkcie: B : (,0) R Fiacco-McCormickova bariéra: B r (t) = r t, logaritmická bariéra: B r (t) = rln( t) Čím menšia je hodnota parametra r, tým lepšia je aproximácia. p. 22/34

BARIÉROVÉ METÓDY Myšlienka metódy 10 5 0-5 -3-2.5-2 -1.5-1 -0.5 0 0.5 1 Aproximácie funkcie I logaritmickou bariérovou funkciou pre hodnoty r = 8,4,2,1, 1 2, 1 4. p. 23/34

BARIÉROVÉ METÓDY Myšlienka metódy Vo všeobecnosti má bariérová funkcia B : (,0) R nasledovné vlastnosti: 1. 2. 3. lim B(t) = +, t 0 t < 0 : B (t) > 0, t < 0 : B (t) > 0. p. 24/34

BARIÉROVÉ METÓDY Účelovú funkciu v úlohe (U1) f 0 (x)+ m i=1 I(f i(x)) môžno teraz nahradit tzv. parametrizovanou transformačnou funkciou T r : K 0 3 R, T r (x) = f 0 (x)+ m B r (f i (x)) i=1 kde r > 0 je parameter, K 0 3 - otvorená množina. Transformačná funkcia T r je teda súčtom Pôvodnej účelovej funkcie f 0 a tzv. bariéry m i=1 B r(f i (x)) p. 25/34

BARIÉROVÉ METÓDY 6 4 2 0-2 -4 0-1 -2-3 0-0.5-1 -1.5-2 -2.5-3 Logaritmická bariéra pre ohraničenie (x 1,x 2 ) 0. p. 26/34

BARIÉROVÉ METÓDY Úloha na vol ný extrém min T r (x) x K 0 3 (U1) je len aproximáciou pôvodnej úlohy min f 0 (x)+ m i=1 I(f i(x)) x R n (U1) pre zmenšujúcu sa hodnotu parametra r > 0 sa úlohy stále viac podobajú. bez ohl adu na hodnotu parametra r > 0, hodnota funkcie T r (x) prudko rastie pre f i (x) 0 - na hranici vytvára funkcia bariéru Za daných predpokladov je funkcia T r (x) konvexná. p. 27/34

BARIÉROVÉ METÓDY Teoreticky: mohli by sme zvolit malú hodnotu parametra r, napr. r = 10 9 a hl adat aproximáciu minima pôvodnej úlohy (U3) ako minimum funkcie T r (x). Bariérová vlastnost spôsobuje, že hl adanie minima takejto funkcie je výpočtovo náročné - potrebujeme dobrý štartovací bod. Vol né minimá x(r) funkcie T r (x) konvergujú pre zmenšujúcu sa hodnotu parametra r k optimálnemu rieše niu pôvodnej funkcie - t. j. lim r 0+ x(r) = ˆx V praxi: rieši sa postupnost úloh (U1) r Min{T r (x) x K 0 3} pre zmenšujúcu sa hodnotu parametra r > 0. p. 28/34

BARIÉROVÉ METÓDY Algoritmus: Vstup: x 0 - štartovací bod r 1 - pošciatočná hodnota parametra α - faktor redukcie k-ta iterácia: Nájdeme minimum funkcie T rk (x) na K 0 3 (nejakou) metódou vol néj optimalizácie so štartovacím bodom x(r k 1 ) - x(r k ) = argmin{t rk (x) x K 0 3}. Ak x(r k ) je dobrou aproximáciou optimálneho riešenia ˆx - koniec. Inak: r k+1 = αr k p. 29/34

BARIÉROVÉ METÓDY Veta: (Fiacco & McCormick) Nech f 0,f 1,...,f m sú diferencovatel né funkcie, K 0 3, nech α je množina S α = {x K 3 f 0 (x) α} ohraničená a transformačná funkcia T r (x) je rýdzo konvexná. Potom pre l ubovolné r > 0 má funkcia T r (x) práve jedno minimum x(r) a platí: 1. lim T r (x(r)) = f 0 (ˆx), r 0 + 2. 3. lim f 0 (x(r)) = f 0 (ˆx), r 0 + lim r 0 + m B r (f i (x(r))) = 0. i=1 p. 30/34

BARIÉROVÉ METÓDY 1968 - Fiacco & McCormick: dokázali konvergenciu presných riešení pre vel mi všeobecné konvexné úlohy snaha riešit každý transformačnú úlohu čo najpresnejšie aplikované na neštrukturované úlohy bez analýzy duálnych vlastností numerické problémy pri impementácii záujem o SUMT zanikol p. 31/34

BARIÉROVÉ METÓDY Renesancia SUMT 1972 - Klee & Minty - simplexová metóda nie je (v najhoršom priípade) polynomiálna 1984 - Narendra Karmarkar - projektívny algoritmus na riešenie úloh LP 1986 - ukázalo sa že Karmarkarov algoritmus úzko súvisí s logaritmickou bariérovou metódou p. 32/34

BARIÉROVÉ METÓDY Nové prístupy: SUMT metódy vnútorného bodu (MVB) MVB boli najskôr analyzované na úlohách s najjednoduchšou štruktúrou - LP, neskôr aplikované na zložitejšie úlohy; používa sa len logaritmická bariéra - vd aka dobrým analytickým vlastnostiam; transformačné úlohy na vol ný extrém sa riešia modifikovanou Newtonovou metódou; ústredným pojmom sa stala centrálna trajektória C = {x(r) K 0 3 r > 0}, krivka riešení transformačných úloh; vlastnosti centrálnej trajektórie sa analyzovali a využiívali na navrhovanie algoritmov; p. 33/34

BARIÉROVÉ METÓDY podarilo sa určit okolie centrálnej trajektórie, kde bola garantovaná kvadratická konvergencia Newtonovej metódy - algoritmy vol ne sledujú centrálnu trajektóriu pri aplikovaní MVB na zložitejšie konvexné úlohy vznikali problémy s analýzou Newtonovej metódy 1994 - Nesterov & Nemirovski - Interior Point Polynomial Time Algorithms in Convex programming, SIAM vznik vových odvetví optimalizácie - kónické programovanie p. 34/34