Mădălina Roxana Buneci. Optimizări

Mădălna Roxana Bunec Optmzăr Edtura Academca Brâncuş Târgu-Ju, 8

Mădălna Roxana Bunec ISBN 978-973-44-87-

Optmzăr CUPRINS Prefaţă...5 I. Modelul matematc al problemelor de optmzare...7 II. Optmzăr pe mulţm deschse...7 III. Optmzăr cu restrcţ egaltăţ... IV. Elemente de analză convexă...3 IV.. Mulţm convexe...3 IV.. Problema cele ma bune aproxmăr...38 IV.3. Separarea mulţmlor convexe prn hperplane...4 IV.4. Hperplan de sprjn...48 IV.5.Conur convexe...5 IV.6. Conur duale ş negaltăţ generalzate...6 IV.7. Funcţ convexe...7 V. Condţ de optmaltate cazul problemelor de optmzare cu restrcţ negaltăţ...87 V.. Condţ sufcente de optmaltate de tp punct şa...88 V.. Condţ de optmaltate pentru funcţ convexe...9 V.3. Condţa necesară de optmaltate Frtz-John...9 V.4. Condţa de regulartate Slater...95 V.5. Condţ necesare ş sufcente de optmaltate cazul problemelor de optmzare convexă... V.6. Restrcţ actve...4 V.7. Condţ necesare de optmaltate cazul funcţlor dferenţable...5 V.8. Mnm în sensul pante maxme. Mnm în sensul lu Lagrange...8 V.9. Condţ de optmaltate cazul funcţlor convexe dferenţable... VI. Dualtate în optmzarea convexă...5 VI.. Dualtate în sens Wolfe...8 3

Mădălna Roxana Bunec VI.. Dualtate în sens Lagrange...3 VII. Metode numerce de rezolvare a problemelor de optmzare fără restrcţ...9 VII.. Procedur de alegere optmală a pasulu...3 VII... Metoda secţun de aur...37 VII... Metoda bsecţe...4 VII..3. Metoda tangente (metoda lu Newton)...4 VII.. Procedur de alegere suboptmală a pasulu...47 VII.3. Procedur de alegere a drecţe...57 VII.3.. Metoda gradentulu (metoda cele ma rapde descreşter)......58 VII.3.. Drecţ cvas-newton...7 VII.3.3. Metoda Newton clască...74 VII.3.4. Metoda Newton cu pas varabl...84 VII.3.5. Metode Newton modfcate...9 VII.3.6. Metoda drecţlor conjugate. Metoda gradentulu conjugat...97 VII.3.7. Metode cvas-newton (Metode de metrcă varablă)...5 Anexă (noţun de analză matematcă ş algebră lnară)...7 A. Spaţ topologce. Spaţ metrce. Spaţ normate. Spaţ Hlbert...7 A. Elemente de analză matrceală...4 Bblografe...47 Index...49 4

Optmzăr PREFAŢĂ În prezent tehncle de optmzare sunt utlzate în ngnere, fnanţe, statstcă ş în multe alte domen. Această carte reprezntă o ntroducere în studu metodelor moderne de rezolvare a problemelor de optmzare nelnară. În cele şapte captole ale aceste lucrăr sunt prezentate rezultate prvnd optmzărle pe mulţm deschse (optmzăr fără restrcţ), optmzărle cu restrcţ egaltăţ ş optmzăr cu restrcţ negaltăţ. Un captol al cărţ este destnat prezentăr unor noţun fundamentale ale analze convexe. În ultmul captol sunt prezentate metode numerce de rezolvare a problemelor de optmzare fără restrcţ. Sunt evdenţate atât aspectele teoretce cât ş practce. Algortm sunt însoţţ de mplementarea lor în MAPLE. Cartea se adresează celor nteresaţ de optmzăr, care au relatv puţne cunoştnţe prealable în domenul. Noţunle de analză matematcă ş algebră lnară necesare pentru înţelegerea materalulu prezentat în această carte sunt recaptulate într-o anexă. Notaţle utlzate, precum ş câteva rezultate necesare ce ţn calculul dferenţal (dfereţale, formula Taylor, teorema funcţlor mplcte) sunt prezentate pe scurt la sfârştul captolulu I. Manualul de faţă corespunde programe analtce a cursulu de Optmzăr / Metode de Optmzare (de la Ingnera Sstemelor, Automatcă). În afară de destnaţa e drectă de manual pentru studenţ facultăţlor tehnce, cartea poate serv, pentru ce nteresaţ, ca punct de plecare în studul ma aprofundat al metodelor de optmzare. 5

Mădălna Roxana Bunec Optmzaton Abstract. The purpose of ths boo s to descrbe modern methods for solvng optmzaton problems. The seven chapters of the boo contan results concernng optmzaton over an open set (unconstraned optmzaton), optmzaton wth equalty constrants and nequalty constraned problems. Chapter IV provdes a concse ntroducton to Convex Analyss (basc propertes of convex sets and convex functons, separatng and supportng hyperplanes, convex hulls and extremal sets, convex cones, dual cones and generalzed nequaltes). Numercal methods for unconstraned optmzaton are consdered n the last chapter. Theoretcal as well as practcal aspects are emphaszed. The algorthms are mplemented n MAPLE. The chapters are: I. The mathematcal model of optmzaton problems; II. Optmzaton over an open set; III Optmzaton wth equalty constrants; IV. Elements of convex analyss; V. Optmalty condton the case of nequalty constraned problems; VI. Dualty n convex optmzaton; VII. Numercal methods for unconstraned optmzaton. The mathematcal bacground needed to understandng ths materal s recalled n an annex. These lecture notes were developed for a fourteen-wee course the author has taught for the students at System Engneerng. 6

Optmzăr I. Modelul matematc al problemelor de optmzare Prn optmzare se înţelege un ansamblu de metode ş tehnc care determnă găsrea soluţe cele ma bune (soluţe optmă) pentru o problemă dată. Modelul matematc al orcăre probleme de optmzare presupune mnmzarea sau maxmzarea une funcţ f: X R, numtă funcţe obectv. Adcă rezolvarea probleme nf f ( x) sau probleme sup f ( x) x X 7 x X Un punct x X cu propretatea că f(x ) f(x) (respectv, f(x ) f(x)) pentru orce x X se numeşte punct de mnm global (respectv, punct de maxm global) al lu f pe X. Un punct x X cu propretatea că exstă V o vecnătate a lu x (presupunând că X este spaţu topologc) astfel încât f(x ) f(x) (respectv, f(x ) f(x)) pentru orce x X V se numeşte punct de mnm local (respectv, punct de maxm local) al lu f. Deoarece sup f x x X = - nf (- f ( x) ) x X nu se restrânge generaltatea dacă vom trata doar problemele de forma: x X nf f x Vom num soluţe optmă a probleme (P) un punct de mnm global al lu f pe X. Vom num soluţe optmă locală a probleme (P) un punct de mnm local al lu f. Exstă un număr mportant de subclase de probleme de optmzare. Cele ma smple sunt aşa numtele optmzăr fără restrcţ. În cazul optmzărlor fără restrcţ urmărm să rezolvăm probleme de forma: (P) nf f x n x R.,

Mădălna Roxana Bunec unde funcţa obectv este f: R n R. Un alt tp de probleme de optmzare sunt optmzărle cu restrcţ egaltăţ. În cazul acestora urmărm să rezolvăm probleme de forma: x X nf f x unde X = {x R n : ϕ(x) = } cu ϕ: R n R m (ϕ desemnează restrcţle). Pentru consstenţă se presupune că m n, altfel exstând probabltatea să nu exste nc un vector x R n care să îndeplnească condţa ϕ(x) = (ţnând cont că ϕ(x) este un vector dn R m condţa ϕ(x) = trebue înţeleasă în sensul că fecare dntre cele m componente ale lu ϕ(x) să fe nulă, adcă ϕ(x) să fe vectorul nul dn R m ). Un alt tp mportant de probleme de optmzare sunt optmzărle cu restrcţ negaltăţ. În cazul acestora urmărm să rezolvăm probleme de forma: x X nf f x unde X = {x R n : ϕ(x) } cu ϕ: R n R m (ϕ desemnează restrcţle). Ţnând cont că ϕ(x) este un vector dn R m condţa ϕ(x) trebue înţeleasă în sensul că fecare dntre cele m componente ale lu ϕ(x) să fe nenegatvă). Cele ma generale probleme de optmzăr mplcă atât restrcţ egaltăţ cât ş restrcţ negaltăţ (ar negaltăţle pot f exprmate ş sub forma : ϕ(x) - ϕ(x) ). De asemenea exstă subclasfcăr ce ţn cont de funcţa obectv (lnară sau nelnară) ş de restrcţ (lnare sau nelnare). Notaţ Prezentăm notaţle care vor f foloste ş reamntm câteva rezultate legate de funcţle dferenţable. Spaţul R n Consderăm spaţul vectoral real V = R n, n N*. Facem convenţa ca vector dn R n să fe consderaţ vector coloană. Vom folos ndc nferor pentru a desemna componentele unu vector dn R n ş ndc superor pentru a desemna 8

Optmzăr dverş vector. Vom nota cu (sau cu când vom dor să o dstngem de alta) următoarea normă pe R n : pentru orce x = (x, x,, x n ) t R n. n x = j= Norma se numeşte normă eucldană ş provne dn produsul scalar n <x, y> = x jy j = x t y pentru x = (x, x,, x n ) t ş y = (y, y,, y n ) t. j= x j / (în sensul că x = <x,x> ). Este cunoscut că: R n este spaţu Hlbert (în raport cu produsul scalar de ma sus) R n este spaţu Banach (în raport cu norma ndusă de produsul scalar) R n este spaţu metrc complet (în raport cu dstanţa eucldană ndusă de norma ) R n este spaţu topologc (în raport cu topologa ndusă de dstanţa eucldană). În raport cu această topologe R n este spaţu local compact. O submulţme A lu R n este compactă dacă ş numa dacă este închsă (echvalent, conţne lmta fecăru şr convergent cu termen dn A) ş mărgntă (echvalent, exstă M> astfel încât x M pentru orce x A). Dferenţabltate n Fe X o submulţme deschsă a lu R n ş x X, x =( x, x,..., x ). Fe f: X R o funcţe ş fe n. Dacă exstă ş este fntă următoarea lmtă + n - + n lm x x x - x f atunc ea se notează cu ( x ) f(x, x,...,, x, x,..., x ) - f(x,x,..., x, x, x,...,x ) x ş se numeşte dervata parţală de ordnul a lu f în x în raport cu x (a -a varablă), ar f se spune dervablă parţal (de ordnul ) în x. Se poate arăta că dacă f este dervablă parţal, atunc f este contnuă. Dacă f admte dervate parţale de ordnul într-o vecnătate a lu x ş dacă funcţle f x x ( x) 9

Mădălna Roxana Bunec sunt dervable parţal de ordnul în x, atunc f dervablă parţal de ordnul al - lea în x. Se utlzează notaţle f x x j f x x ( x) = ( x) ş ( x) = ( x) j f x f x x,, j n Funcţa f : X R m se numeşte dferenţablă în x dacă ş numa dacă exstă o aplcaţe lnară T : R n R m astfel încât lm x x ( ) f x f x T x x x x = În această stuaţe T se numeşte dferenţala lu f în x. Funcţa f se numeşte dferenţablă pe X dacă este dferenţablă în fecare punct dn X. Notăm cu f, f,..., f m : X R, componentele scalare ale funcţe f (avem f(x)= (f (x), f (x),..., f m (x)) t pentru orce x X). Se poate arăta că Dacă f este dferenţablă în x, atunc toate componentele scalare ale lu f admt dervate parţale de ordnul în x. Recproca nu este adevărată Dacă toate componentele scalare ale lu f admt dervate parţale de ordnul, contnue în x, atunc f este dferenţablă în x. Presupunem că f : X R m este dferenţablă. Se arătă că matrcea asocată aplcaţe lnare T (dferenţala lu f în x ) este matrcea jacobană a funcţe f calculată în punctul x : Jf x f f f (x ) (x )... (x ) x x x n f f f (x ) (x )... (x ) = x x xn... fm fm fm (x ) (x )... (x ) x x x n unde f, f,..., f m sunt componentele scalare ale funcţe f. Avem

Optmzăr f f f (x ) (x )... (x ) x x x x n f f f x (x ) (x )... (x ) T(x)=Jf(x ) x= x x xn...... fm fm fm (x ) (x )... (x ) x x x x n n Dacă m = n, determnantul matrce jacobene det(jf(x )) se numeşte jacobanul sau (determnatul funcţonal) al funcţlor f, f,..., f n în raport cu varablele x, x,..., x n calculat în punctul x. În cazul partcular m= (f: X R) avem T(x) = Jf(x ) x= f f f ( x ), ( x ),..., ( x ) n f = ( x ) x x x x. x n Notăm f ( x ) = f t f f x, x,..., x x x x n f. Atunc avem T(x) = f ( x ) t x = < f ( x ) Teorema creşterlor fnte. Fe G o submulţme deschsă a lu R n ş f:g R o funcţe dferenţablă. Fe a, b G astfel încât I(a, b) = {ta+(-t)b, t [, ]} G. Atunc are loc negaltatea x x... x n gradentul funcţe, x>. În cazul n=m=, avem T(x) = f (x )x pentru orce x R. În general, vom nota T cu f (x ) sau f () (x ) (prn analoge cu cazul funcţlor reale de o varablă reală). Notăm cu L(R n, R m ) mulţmea aplcaţlor lnare de la R n la R m. Este bne cunoscut că L(R n, R m ) este spaţu normat: pentru orce A L(R n, R m ), A = sup A(x). x

Mădălna Roxana Bunec f(b) f(a) b-a sup z I a,b. f ( z) Dacă funcţa f : X R m V a lu x ş dacă funcţa este dferenţală în fecare punct dntr-o vecnătate x f (x) [: V L(R n, R m )] este dferenţablă în x, atunc f se numeşte de două or dferenţablă în x ş în acest caz se notează cu f (x ) = ( f ) (x ) ş se numeşte dferenţala de ordnul a lu f. Inductv se defnesc dferenţalele de ordn superor: f () = ( ) ( f ), unde f () = f, ar f () reprezntă dferenţala de ordnul a lu f. Se poate arăta că Dacă f este de două or dferenţablă în x, atunc toate componentele scalare ale lu f admt dervate parţale de ordnul în x. Recproca nu este adevărată. Dacă toate componentele scalare ale lu f admt dervate parţale de ordnul, contnue în x, atunc f este de două or dferenţablă în x. Dacă f x x j f x x j ( x ) ş f x x j sunt contnue în punctul x f, atunc ( x ) (crterul de comutatvtate al lu Schwarz) x x Dacă f este de două or dferenţablă în x f, atunc ( x ) f x x j ( x ) Dacă f : X R m (crterul de comutatvtate al lu Young) x x este de două or dferenţablă, atunc dferenţala de ordnul, f ( x ): R n L( R n, R m ), are propretatea n n m n n m f ( x ) L ( R, L ( R, R )) L ( R, R ; R ) dec f (x ) poate f prvtă ca o aplcaţe -lnară (blnară). j j = =

Optmzăr În cazul m=, se arată că matrcea asocată forme blnare f (x ) dn n n L R, R ; R este hessana lu f. Vom nota hessana lu f cu Hf(x ). Avem Hf(x f ) = ( x ) x x j, j n Crterul lu Young mplcă faptul că f (x ) este formă blnară smetrcă, sau echvalent hessana este matrce smetrcă: Hf(x ) = Hf(x ) t. Dferenţala de ordnul al -lea a lu f în x este dată de n t f f x u,v =<u, Hf x v>=u Hf x v= x uv x x,j= unde u = (u, u,..., u n ) t, v = (v, v,..., v n ) t R n. Funcţa f : X R m se numeşte de clasă C ( ) dacă toate componentele scalare ale lu f admt dervate parţale de ordnul contnue pe X. Orce funcţe de clasă C este de -or dferenţablă. j j Formula lu Taylor Începem cu o observaţe. Fe X o submulţme deschsă a lu R n ş x X fxate. Deoarece X este deschsă ş x X, exstă δ > astfel încât B(x, δ ) X. Vom arăta că un vector x R n este în B(x, δ ) dacă ş numa dacă x se scre sub forma x = x + δh cu δ < δ ş h R n cu h =. Într-adevăr, putem lua δ = x-x ş h = δ (x-x ) pentru x x ş δ= pentru x = x. Teoremă (formula lu Taylor). Fe X o submulţme deschsă a lu R n, N ş f: X R o funcţe de or dferenţablă într-un punct x X. Fe δ > astfel încât B(x, δ ) X. Atunc pentru orce h R n cu h = ş pentru orce δ R cu δ < δ, avem f(x + δh)= f(x )+! δf() (x )(h)+! δ f () (x )(h,h) +! δ f () (x )(h,h,..., h) + o(δ ), unde δ o δ lm δ =. 3

Mădălna Roxana Bunec Dacă f este de + or dferenţablă pe B(x, δ ) X, atunc pentru orce h dn R n cu h = ş pentru orce δ R cu δ < δ exstă θ (, ) astfel încât f(x + δh)= f(x )+! δf() (x )(h)+! δ f () (x )(h,h) +...... +! δ f () (x )(h,h,..., h) + ( + )! δ+ f (+) (x + θδh)(h,h,...,h). Vom utlza în specal formulele lu Taylor de ordnul ş : Dacă X o submulţme deschsă a lu R n ş f:x R o funcţe dferenţablă în x X, atunc exstă δ > astfel încât pentru orce h R n cu h = ş pentru orce δ R cu δ < δ avem f(x + δh) = f(x ) + δ< f(x o δ ), h> + o(δ), unde lm = δ δ Dacă X o submulţme deschsă a lu R n ş f:x R o funcţe de două or dferenţablă în x X, atunc exstă δ > astfel încât pentru orce h R n h = ş pentru orce δ R cu δ < δ avem unde f(x + δh) = f(x ) + δ< f(x ), h> + δ <h, Hf(x ) h> + o(δ ), δ o δ lm δ =. Dervata după drecţe Fe X o submulţme deschsă a lu R n, f: X R o funcţe, x X ş h R n cu h. Dacă exstă ş este fntă următoarea lmtă f atunc ea se notează cu ( x ) punctul x. h δ f x +δh - f x lm δ ş se numeşte dervată după drecţa h a funcţe f în Să presupunem că funcţa f: X R este dferenţablă pe X să luăm δ > astfel încât x + δh X pentru orce δ R cu δ < δ (exstă un astfel de δ deoarece X fnd deschsă exstă r > astfel încât B(x, r) X ş atunc δ = r h cu are propretatea cerută) 4

Optmzăr Consderăm funcţa ϕ: (-δ, δ ) R defntă prn Pe de o parte avem ( δ ) =f ( x +δh) - f ( x ) ϕ, δ (-δ, δ ) f ( x + δh ) - f ( x ) ϕ δ - ϕ f ϕ ( ) = lm = lm = x δ δ δ δ h ar pe de altă parte, deoarece ( δ ) =f ( x +δh) - f ( x ) f ( u ( δ) )- f ( x ) = x + δh = ( x + δh, ş dec x + δh,..., (*) ϕ =, unde u(δ) x n + δh n ) t, avem n f ϕ δ = x + δ h h = f x + δh,h x ϕ =< f x,h >. (**) Dn (*) ş (**) rezultă că dacă f: X R este dferenţablă pe X atunc f h ( x ) = < f x,h > Funcţ mplcte Teorema funcţlor mplcte. Fe U o submulţme deschsă a lu R n R m, (x, y ) U ş f = (f, f,..., f m ) : U R m o funcţe de clasă C într-o vecnătate a punctulu (x, y ) astfel încât f(x, y ) = ş ( y ( y )) det J f x, f f f (x, y ) (x, y )... (x, y ) y y y n f f f (x, y ) (x, y )... (x, y ) = y y y n... fm fm fm (x, y ) (x, y )... (x, y ) y y y n Atunc exstă o vecnătate deschsă V a lu x, o vecnătate W a lu y ş o aplcaţe ϕ : V W (local uncă) cu următoarele propretăţ:. ϕ este clasă C. ϕ(x ) = y 3. x V => f(x, ϕ(x)) = 5

Mădălna Roxana Bunec 4. x V, y W, f(x, y) = => y =ϕ(x) Dacă în plus, f este de clasă C ( ) atunc ϕ este de clasă C. 6

Optmzăr II. Optmzăr pe mulţm deschse Teorema. (condţ necesare de ordnul ) Fe X o submulţme deschsă a lu R n ş f: X R o funcţe dferenţablă pe X. Dacă x este o soluţe optmă a probleme atunc x X nf f x f(x ) =. Demonstraţe. Deoarece X este deschsă ş x X, exstă δ > astfel încât B(x, δ ) X. Orce vector x B(x, δ ) se scre sub forma x = x + δh cu δ < δ ş h R n cu h =. Deoarece x este o soluţe optmă a probleme nf f ( x) că Aplcând formula lu Taylor obţnem unde δ o δ lm δ Împărţnd cu δ >, rezultă x X f(x + δh) f(x ) pentru orce δ < δ. (.) f(x + δh) = f(x ) + δ< f(x ), h> + o(δ), =. Înlocund în relaţa (.) obţnem, f(x ) + δ< f(x ), h> + o(δ) f(x ) δ< f(x ), h> + o(δ) pentru orce δ < δ < f(x ), h> + o( δ) δ Trecând la lmtă δ, δ > ş ţnând cont că δ o δ lm δ =, obţnem < f(x ), h> pentru orce h = (h, h,..., h n ) t R n. 7, rezultă

Mădălna Roxana Bunec Fe n. Dacă luăm h = ş h j = pentru j, atunc h = ş negaltatea de ma sus devne f x ( x ). Dacă luăm h = - ş h j = pentru j, atunc h = ş negaltatea devne f În consecnţă ( x ) x f - ( x ) x. = pentru orce n, sau echvalent f(x ) =. Teorema. (condţ necesare de ordnul ) Fe X o submulţme deschsă a lu R n ş f: X R o funcţe de două or dferenţablă pe X. Dacă x este o soluţe optmă a probleme x X nf f x atunc f(x ) = ş Hf(x ) este poztv semdefntă. Demonstraţe. Dn teorema rezultă că f(x ) =. Deoarece X este deschsă ş x X, exstă δ > astfel încât B(x, δ ) X. Orce vector x B(x, δ ) se scre sub forma x = x + δh cu δ < δ ş h R n cu h =. Aplcând formula lu Taylor obţnem f(x + δh) = f(x ) + δ< f(x ), h> + δ <h, Hf(x ) h> + o(δ ), unde că δ o δ lm δ = f(x ) + δ <h, Hf(x ) h> + o(δ ) (.) =. Deoarece x este o soluţe optmă a probleme nf f ( x) f(x + δh) f(x ) pentru orce δ < δ. Ţnând cont de relaţa (.) obţnem, f(x ) + δ <h, Hf(x ) h> + o(δ ) f(x ) x X, rezultă 8

Optmzăr δ <h, Hf(x )h> + o(δ ) pentru orce δ < δ Împărţnd cu δ >, rezultă <h, Hf(x )h> + o δ δ Trecând la lmtă δ, δ > ş ţnând cont că Fe v R n, v ş fe h = δ o δ lm δ =, obţnem <h, Hf(x )h> pentru orce h R n cu h =. v v v. Atunc <h, Hf(x )h> <v, Hf(x )v> sau echvalent ş Hf(x ) este poztv semdefntă. Observaţa 3. Condţle necesare stablte în teoremele ş sunt valable ş pentru soluţle optme locale. Într-adevăr dacă x este o soluţe optmă locală (punct de mnm local al lu f) atunc exstă o mulţme deschsă V X astfel încât x V ş x este punct de mnm global pentru restrcţa lu f la V, adcă x este o soluţe optmă a probleme x V Demonstraţe. Deoarece funcţa h <h, Hf(x )h> este contnuă pe R n, rezultă că restrcţa e la mulţmea compactă S(, ) = {x R n : x = } este mărgntă ş îş atnge extremele (în partcular, mnmul). Dec exstă u R n astfel încât u = ş 9 nf f x ş dec f(x ) = ar în cazul în care f este de două or dferenţablă Hf(x ) este poztv semdefntă. Teorema 4. (condţ sufcente de ordnul ) Fe X o submulţme deschsă a lu R n ş f: X R o funcţe de două or dferenţablă pe X. Fe x X astfel încât f(x ) = ş Hf(x ) este poztv defntă. Atunc x este soluţe optmă locală a probleme nf f ( x), x X.

Mădălna Roxana Bunec <u, Hf(x )u> <v, Hf(x )v> pentru orce v cu v = (4.). Fe h oarecare dn R n. Dacă în relaţa (4.) luăm v = h h, obţnem <u, Hf(x )u> h <h, Hf(x )h> h <u, Hf(x )u> <h, Hf(x )h> Această ultmă negaltate este verfcată ş de h =. Cum u (deoarece u = ) ş cum Hf(x ) este poztv defntă, rezultă că <u, Hf(x )u >. Notând α = <u,hf(x )u> >, avem h α <h, Hf(x )h> pentru orce h R n. Deoarece X este deschsă ş x X, exstă δ > astfel încât B(x, δ ) X. Orce vector x B(x, δ ) se scre sub forma x = x + δh cu δ < δ ş h R n cu h =. Aplcând formula lu Taylor obţnem f(x + δh) = f(x ) + δ< f(x ), h> + δ <h, Hf(x )h> + o(δ ), Ţnând cont că = f(x ) + δ <h, Hf(x )h> + o(δ ) = f(x ) + δ ( <h, Hf(x )h> + f(x ) + δ ( o( δ ) α+ δ o δ lm δ o δ < δ < δ să avem δ (4.) rezultă δ o δ δ ) (4.) =, rezultă că exstă δ > astfel încât pentru orce δ cu > - α, ş ca urmare o( δ ) α+ ) δ >. Dec ţnând cont de f(x + δh) f(x ) pentru orce h cu h = ş δ cu δ < mn(δ, δ ). Dacă notăm r = mn(δ, δ ). Atunc orce x B(x, r), x x poate f scrs sub forma x x x = x + δh cu h = ş δ < r (luăm h = (x-x ), δ = (x-x ) ). Ca urmare pentru orce x B(x, r), avem f(x) f(x ). Dec x este soluţe optmă locală (punct de mnm local al lu f).

Optmzăr III. Optmzăr cu restrcţ egaltăţ Teorema. (condţ necesare de ordnul ) Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C pe X ş m un număr întreg poztv, m n. Fe ϕ, ϕ,...,ϕ m : X R m funcţ de clasă C pe X ş fe X = {x X : ϕ (x) =, ϕ (x) =,..., ϕ m (x) = }. Fe x X astfel încât ϕ ( x ), ϕ ( x ),..., m ( x ) sau echvalent rangul matrce ϕ ϕ ϕ (x ) (x )... (x ) x x x n ϕ ϕ ϕ (x ) (x )... (x ) x x xn... ϕm ϕm ϕm (x ) (x )... (x ) x x x n este m. Dacă x este o soluţe optmă a probleme atunc exstă λ =( λ, f(x ) = λ,..., λ ( x ) x X nf f x λ m ) t R m unc astfel încât λ ( x ) ϕ + ϕ ϕ sunt lnar ndependenţ, λ +... + m ϕ m x. Demonstraţe. Deoarece rangul matrce rangul matrce

Mădălna Roxana Bunec ϕ ϕ ϕ (x ) (x )... (x ) x x x n ϕ ϕ ϕ (x ) (x )... (x ) x x xn... ϕm ϕm ϕm (x ) (x )... (x ) x x x n este m, eventual renumerotând putem presupune că matrcea ϕ x j, j m este nesngulară (nversablă). Notăm ϕ(x) = (ϕ (x), ϕ (x),..., ϕ m (x)) t pentru x X, w = ( x, x,..., m m x ) t ar u = ( x +, x m+,..., x n ) t. Fe U ş V două mulţm deschse cu propretatea că u U R n-m, v V R m ş V U X. Aplcând teorema funcţlor mplcte pentru sstemul de ecuaţ ϕ(w, u) =, în vecnătatea punctulu (w, u ) cu ϕ(w, u ) =, rezultă că exstă două numere strct poztve r ş s astfel încât B(u, r) U ş B(w, s) V, precum ş o funcţe de clasă C, local uncă, ψ : B(u, r) B(w, s), cu propretăţle că ψ(u ) = w ş ϕ(ψ(u), u) = pentru orce u B(u, r). Ca urmare u este soluţe optmă a probleme u B u,r ( ψ ) nf f u,u (problemă de optmzare pe o mulţme deschsă fără restrcţ). În consecnţă g(x ) =, unde g(u) = f(ψ(u), u) pentru orce u B(u, r). Dec w ( ( ) ψ ) ψ ( u ) + u ψ ( u ) + fu ( w,u ) ( x ) ψ ( u ) + fu ( x ) f u,u f w,u f w w f ψ u, u = = = (.) Deoarece ϕ(ψ(u), u) = pentru orce u B(u, r), rezultă că ϕ ( ψ ) ψ ( u) + ( ) w u,u ϕu ψ u,u = pentru orce u B(u, r). Dec ψ ( u) = - ϕ ( ψ ( u ), u) ( ) w ϕu ψ u,u ş

Optmzăr ( u ψ ) = - ϕ w w,u ϕ u ( w,u ) = - ϕ w x u ( x ) Ţnând cont de (.) ş de (. ) obţnem Cum ş - f w ( x ) ϕ w x ϕ u ( x ) + fu ( x ) f u dacă notăm obţnem sau echvalent = ( x ) = ( f ) w x ϕ w x ϕ u ( x ) f(x ) = f w ( x ) = ( f ) w x ϕ w x w ( x ) t λ = fw ( x ) ( fw ( x ),fu ( x )) = λ ( x ) ϕ + ϕ ϕ w x ϕ, t λ ϕ w ( x ), ϕ u ( x ) λ ( x ) ϕ (.). λ +... + m ϕ m x. Observaţe. Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C pe X ş m un număr întreg poztv, m n. Fe ϕ, ϕ,...,ϕ m : X R m funcţ de clasă C pe X ş fe X = {x X : ϕ (x) =, ϕ (x) =,..., ϕ m (x) = }. Se defneşte funcţa Lagrange asocată probleme de optmzare cu restrcţ egaltăţ L: X R m R prn L(x, λ) = f(x) - λ ϕ ( x) m, λ = (λ, λ,..., λ m ) t. Teorema poate f reformulată: Dacă x este o soluţe optmă a probleme x X nf f x 3

Mădălna Roxana Bunec ş dacă ϕ ( x ), ϕ ( x ),..., m ( x ) R m ϕ sunt lnar ndependenţ, atunc exstă λ astfel încât (x, λ ) să fe punct staţonar al funcţe Lagrange L, adcă x L(x,λ ) = ş λ L(x, λ ) =, unde x L(x, λ L ) = t L L x,, x,,..., x, λ λ λ x x xn m = f(x ) - λ ( ϕ x ) λ L(x, λ L ) = t L L x,, x,,..., x, λ λ λ λ λ λm = (ϕ (x ), ϕ (x ),..., ϕ m (x ) Condţa λ L(x, λ ) = este echvalentă cu condţa x X. Teorema 3. (condţ necesare de ordnul ) Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C pe X ş m un număr întreg poztv, m n. Fe ϕ, ϕ,...,ϕ m : X R m funcţ de clasă C pe X ş fe X = {x X : ϕ (x) =, ϕ (x) =,..., ϕ m (x) = }. Fe x X astfel încât ϕ ( x ), ϕ ( x ),..., m ( x ) Dacă x este o soluţe optmă a probleme atunc exstă λ =( λ, ş f(x ) = pentru orce v S(x ), unde λ,..., λ ( x ) x X nf f x λ m ) t R m unc astfel încât λ ( x ) ϕ + ϕ ( m ) ( ) ϕ sunt lnar ndependenţ. λ +... + m ϕ m x. < Hf x λ Hϕ x v, v > S(x ) ={x R n :< ϕ ( x ), x> =, < ϕ ( x ), x> =,...,< m ( x ) ϕ, x> = }. Demonstraţe. Dn teorema rezultă că exstă λ =( λ, unc astfel încât 4 λ,..., λ m ) t R m

f(x ) = λ ( x ) Optmzăr λ ( x ) ϕ + ϕ λ +... + m ϕ m x. Notăm ϕ(x) = (ϕ (x), ϕ (x),..., ϕ m (x)) t pentru x X. Fe v S(x ) = {x R n : ϕ ( x )( x) = }, v. Arătăm că exstă ε > ş o curbă c = (c, c,..., c n ): (-ε, ε) R n, de clasă C astfel încât c() = x, ċ () = v ş ϕ(c(t)) = pentru orce t (-ε, ε), unde ċ (t) = ( c (t), c (t),... c n (t)) t, t (-ε,ε). m Construm curba c de forma c(t) = x + tv + ψ ( t) ϕ ( x ) ψ = (ψ, ψ,..ψ m ) : (-ε, ε) R m, unde este o funcţe ce urmează să fe determnată astfel încât să avem ϕ(c(t)) = pentru orce t (-ε, ε) (ε > convenabl ales). Deoarece X este deschsă ş x X exstă r> astfel încât B(x r, r) X. Luăm δ = m v + ϕ m x + tv + u ϕ ( x ) ( x ) B(x, r) X.. Avem pentru orce (t,u ) W = (-δ, δ) B(, δ) R m+. Consderăm funcţa m F : W R m, F(t,u) = ϕ x + tv + u ϕ ( x ), u = (u, u,...,u n ) t Avem det(j u F(,)) = det(jϕ(x )Jϕ(x ) t ), deoarece rangul matrce ϕ ϕ ϕ (x ) (x )... (x ) x x x n ϕ ϕ ϕ (x ) (x )... (x ) Jϕ(x ) = x x xn... ϕm ϕm ϕm (x ) (x )... (x ) x x x n 5

Mădălna Roxana Bunec este m. În plus, F(,) = ϕ(x ) =. În consecnţa, aplcând teorema funcţlor mplcte rezultă că exstă ε >, V o vecnătate a punctulu R m ş o funcţe de clasă C, ψ = (ψ, ψ,..ψ m ) : (-ε, ε) V astfel încât ψ() = ş m ϕ x + tv + ψ t ϕ x pentru orce t (-ε, ε). m Ca urmare c(t) = x + tv + ψ ( t) ϕ ( x ) îndeplneşte condţle: ϕ(c(t)) = pentru orce t (-ε, ε) ş c() = x. Dferenţnd în raport cu t în obţnem m ϕ x + tv + ψ t ϕ x = m ( c t ) v ( t) ( x ) ϕ + ψ ϕ 6 =. Pentru t =, se obţne ϕ ( x )( v) + Jϕ(x )Jϕ(x ) t ( t) ψ = de unde ţnând cont că v S(x ) ş că det(jϕ(x )Jϕ(x ) t ), rezultă ψ ( t) =. În consecnţă ċ () = v. Deoarece F este de clasă C, ψ este de clasă C ş ca urmare c este de clasă C. Notăm ċ (t) = ( c (t), c (t),... c n (t)) t Atunc punctul t = este soluţe optmă a probleme nf t [, ε) ( ) f c t Ca urmare G (), unde G(t) = f(c(t)), t [, ε). Avem m G (t) = f (c(t)) ċ (t) = f (c(t)) ċ (t) λ ϕ ( c( t) ) ş în consecnţă m = f (c(t)) ċ (t) λ ϕ ( c( t) ) c( t), G () = f (c())( ċ (), ċ ()) + f (c()) ċ () - m - λ ϕ ( c )( c ( ),c ) - λ ϕ ( c )( c ) m

Optmzăr m = f (c())( ċ (), ċ ()) - λ ϕ ( c )( c ( ),c ) m = f (x )(v, v) - λ ϕ ( x )( v, v) m = ( ) ( ) < Hf x λ Hϕ x v, v > Teorema 4. (condţ sufcente de ordnul ) Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C pe X ş m un număr întreg poztv, m n. Fe ϕ, ϕ,...,ϕ m : X R m funcţ de clasă C pe X ş fe X = {x X : ϕ (x) =, ϕ (x) =,..., ϕ m (x) = }. Fe x X astfel încât ϕ ( x ), ϕ ( x ),..., m ( x ) Presupunem că exstă λ =( λ, ş f(x ) = λ ( x ) pentru orce v S(x ), v unde λ,..., ϕ + ϕ ϕ să fe lnar ndependenţ. λ m ) t R m astfel încât λ ( x ) ( m ) ( ) λ +... + m ϕ m x. < Hf x λ Hϕ x v, v > > S(x ) ={x R n :< ϕ ( x ), x> =, < ϕ ( x ), x> =,...,< m ( x ) Atunc x este o soluţe optmă locală a probleme x X nf f x. ϕ, x> = }. Demonstraţe. Presupunem prn absurd că x nu este soluţe optmă locală. Atunc exstă un şr (x ) în X astfel încât lm x = x ş f(x ) < f(x ) pentru orce. Fecare x poate f reprezentat ca x = x + δ h cu δ >, h = (luăm δ = x x ş h = δ ( x - x )). Deoarece h {x R n, x =} care este o mulţme compactă, rezultă că, eventual trecând la un subşr, (h ) este convergent. Fe 7

h = lm h rezultă că Mădălna Roxana Bunec. Evdent h. Dn faptul că ϕ (x + δ h ) -ϕ (x ) = pentru orce, ( x h ) ( x ) ϕ + δ ϕ = lm δ dec h S(x ). = lm x, h = lm < ϕ > + o( δ ) lm Aplcând formula lu Taylor pentru f obţnem f(x + δ h K ) = f(x ) + δ < f(x ), h > + f(x + δ h ) - f(x ) = δ < f(x ), h > + > δ < f(x ), h > + Aplcând formula lu Taylor pentru ϕ obţnem de unde, ϕ (x + δ h ) = ϕ (x ) + δ < ϕ (x ), h > + ş înmulţnd cu = δ ( x ) = δ < ϕ (x ), h >+ λ ş sumând rezultă m λ < ϕ, h > + Dn (4.) ş (4.) rezultă că δ ( x ),h o δ < ϕ > + δ δ = < ϕ (x ), h >, δ <h, Hf(x )h > + o( δ ) δ <h, Hf(x )h >+ o( δ ) δ <h, Hf(x )h >+ o( δ ) (4.) δ <h, Hϕ (x )h > + o( δ ), δ <h, Hϕ (x )h >+ o( δ ), m δ ( ) h,h x h > δ < f(x ), h > - δ ( x ) + λ < ϕ > + o( δ ) (4.) m λ < ϕ, h > + δ <h, Hf(x ) h > - m δ ( ) h,h x h λ < ϕ > + o( δ ) 8

unde lm δ Optmzăr ( ) =. Ţnând cont că < f(x ), h > - ( x ) o δ δ m λ < ϕ, h > =, împărţnd la δ ş trecând la lmtă după, obţnem m λ < h, Hϕ x h >, <h, Hf(x ) h > - ceea ce contrazce poteza. Dec atunc x este o soluţe optmă locală. Observaţe 5. Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C pe X ş m un număr întreg poztv, m n. Fe ϕ, ϕ,...,ϕ m : X R m funcţ de clasă C pe X ş fe X = {x X : ϕ (x) =, ϕ (x) =,..., ϕ m (x) = }. Fe L: X R m R funcţa Lagrange: Notăm L(x, λ) = f(x) - λ ϕ ( x) m, λ = (λ, λ,..., λ m ) t. L L L x x xn x L(x, λ) = ( x, λ), ( x, λ),..., ( x, λ) L x, x x j H x L(x, λ) = ( λ), j n t =Hf(x) - λ Hϕ ( x) m = f(x) - λ ϕ ( x) m. = Teorema 8 poate f reformulată: Dacă x este o soluţe optmă a probleme x X nf f x ş dacă ϕ ( x ), ϕ ( x ),..., m ( x ) λ R m astfel încât. x L(x, λ )= ϕ sunt lnar ndependenţ, atunc exstă. <v, H x L(x, λ )v> pentru orce v S(x ), unde S(x ) = {x R n :< ϕ ( x ),x> =, < ϕ ( x ),x> =,...,< m ( x ) ϕ,x> = } 9

Mădălna Roxana Bunec Teorema 9 poate f reformulată: Dacă x X astfel încât ϕ ( x ), ( x ) m ( x ) ϕ să fe lnar ndependenţ ş dacă exstă λ R m astfel încât. x L(x, λ )=. <v, H x L(x, λ )v> pentru orce v S(x ), v, unde S(x ) = {x R n :< ϕ ( x ), x> =, < ϕ ( x ), x> =,...,< m ( x ) atunc x este o soluţe optmă locală a probleme nf f x. x X ϕ,..., ϕ, x > = } 3

Optmzăr IV. Elemente de analză convexă IV.. Mulţm convexe Defnţe. Fe V un spaţu lnar peste K (K= R sau K= C). O submulţme X V se numeşte convexă dacă pentru orce x, x X ş orce λ (,) avem λx + (-λ)x X. Deoarece x + (-)x = x ş x + (-)x = x, rezultă că X V este convexă dacă pentru orce x, x X ş orce λ [,] avem λx + (-λ)x X. Pentru orce x, x V, mulţmea {λx + (-λ)x, λ (,)} se numeşte segment deschs de capete x ş x. Mulţmea {λx + (-λ)x, λ [,]} se numeşte segment închs de capete x ş x. Interpretare geometrcă. V = R, K=R, x = (a, b ) t, x = (a, b ) t. b Segmentul de capete x ş x b a a Mulţme convexă Mulţme care nu e convexă 3

Mădălna Roxana Bunec Propozţa. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X V. Atunc următoarele afrmaţ sunt echvalente:. X este mulţme convexă. λx + (-λ)x = X pentru orce λ (,) 3. αx + βx = (α+β)x pentru orce α, β [, ) Demonstraţe. =>. Fe λ (,) ş fe y λx + (-λ)x. Atunc exstă x, x X astfel încât y = λx + (-λ)x X, deoarece X este convexă. Dec λx + (-λ)x X De asemenea pentru orce x X, avem x = λx + (-λ)x λx + (-λ)x. Ca urmare X λx + (-λ)x. => 3. Dacă unul dntre α ş β este atunc egaltatea este evdentă. Fe α, β (, ). Este uşor de observat că (α+β)x αx + βx (deoarece pentru orce y (α+β)x, exstă x X astfel încât y = (α+β)x = αx + βx αx + βx). Fe y αx + βx. Atunc exstă x X ş x X astfel încât y = αx + βx. Notăm λ = α β (, ). Avem - λ = α + β Ca urmare αx + βx (α + β)x. α y = (α + β) ( α + β x + α + β ş β α + β x ) = (α + β)(λx + (-λ)x ) (α + β)(λx +(-λ)x)= (α + β)x 3 =>. Fe x, x X ş λ (,). Atunc - λ > ş avem conform 3 Dec X este convexă. λx + (-λ)x λx + (-λ)x = (λ + -λ)x = X = X. Propozţa 3. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe {X } I o famle de submulţm convexe ale lu V. Atunc X = I X este mulţme convexă. 3

Optmzăr Demonstraţe. Fe x, x X ş λ (,). Deoarece Fe x, x X = X rezultă că orcare ar f I, avem x, x X. Cum X este convexă, rezultă că I λx + (-λ)x X pentru orce I. În consecnţă λx + (-λ)x X, de unde I rezultă că X este convexă. I Propozţa 4. Fe V ş V două spaţ lnare peste K (K= R sau K= C) ş fe A : V V o aplcaţe lnară. Fe b V ş fe f: V V, f(x) = A(x) +b. Atunc. Dacă X V este o mulţme convexă, atunc f(x) este convexă.. Dacă Y V este o mulţme convexă, atunc f - (Y) este convexă Demonstraţe.. Fe y, y f(x) ş λ (,). Deoarece Fe y, y f(x) rezultă că exstă x, x X astfel încât y = f(x ) ş y = f(x ). Avem λy + (-λ)y = λf(x ) + (-λ)f(x ) = λa(x ) + λb + (-λ)a(x ) + (-λ)b = λa(x ) + (-λ)a(x ) +b = A(λx + (-λ)x ) +b = f(λx + (-λ)x ) Cum X este convexă λx + (-λ)x X, ş dec λy + (-λ)y f(x), ceea ce mplcă f(x) convexă.. Fe x, x f - (Y) ş λ (,). Deoarece x, x f - (Y) rezultă că f(x ) Y ş f(x ) Y. Cum Y este convexă, f(x ), f(x ) Y ş λ (,), rezultă că λf(x ) + (-λ)f(x ) Y. Pe de altă parte avem f(λx + (-λ)x ) = A(λx + (-λ)x ) +b = λa(x ) + (-λ)a(x ) +b = λa(x ) + (-λ)a(x ) + (λ + -λ)b = λa(x ) + λb + (-λ)a(x ) + (-λ)b = λf(x ) + (-λ)f(x ) Y, de unde rezultă că λx + (-λ)x f - (Y), ceea ce mplcă f - (Y) convexă. 33

Mădălna Roxana Bunec Exemple. Fe V un spaţu pre-hlbert peste R, a R ş c V. Următoarele mulţmle sunt convexe:. H = {x V: <x, c> = a }. S > = {x V: <x, c> > a } 3. S = {x V: <x, c> a }. Lema 5. Fe V un spaţu normat peste K (K= R sau K= C) ş fe X o submulţme convexă a lu V. Dacă x nt(x) ş x X, atunc pentru orce λ (,). λx + (-λ)x nt(x) Demonstraţe. Fe λ (,). Deoarece x nt(x), exstă r > astfel încât B(x, r) nt(x). Dn faptul că x X rezultă că B(x, λr) X. Fe y B(x,λr) X. Avem x = x y + y B(, λr) + y B(, λr) + X. Pe de altă parte λx + (-λ)x + λb(, λr) λx + (-λ) B(, λr)+ (-λ)x+ λb(, λr) = = λx + B(, λr)+ (-λ)x = λb(x, r) + (-λ)x λx + (-λ)x = X. În consecnţă λx + (-λ)x + λb(, λr) X, ceea ce conduce la Dec λx + (-λ)x nt(x). B(λx + (-λ)x, λ r) X. Propozţe 6. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme convexă a lu V. Atunc nt(x) ş X sunt mulţm convexe. Demonstraţe. Faptul că nt(x) este mulţme convexă rezultă dn lema 5. Fe x, y X ş fe λ (,). Deoarece x X, exstă un şr (x ) de elemente dn X astfel încât lm x = x. Analog, exstă un şr (y ) de elemente dn X astfel încât y. Dn faptul că X este convexă rezultă că λx + (-λ) y X. Ţnând cont că λx + (-λ) y = λ lm x +(-λ) deducem că X este mulţme convexă. lm y 34 = lm λ x + λ y X, lm y =

Optmzăr Defnţa 7. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme a lu V. Se numeşte acoperre convexă (sau înfăşurătoare convexă) a lu X ş se notează cu co(x) cea ma mcă (în sensul relaţe de ncluzune) mulţme convexă în care este nclusă X. Se numeşte combnaţe lnară convexă a m vector x, x,..., x m dn V orce vector x = m λx cu λ pentru orce =..m ş m λ =. Conform defnţe co(x) este determnată de următoarele propretăţ:. co(x) este convexă. X co(x) 3. Dacă Y este o mulţme convexă cu X Y, atunc co(x) Y. Lema 8. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme lu V. Atunc co(x) este ntersecţa tuturor mulţmlor convexe ce nclud pe X. Demonstraţe. Notăm C ntersecţa tuturor mulţmlor convexe ce nclud pe X. Conform propozţe 3, C este mulţme convexă. Evdent X C ş în plus, dacă Y este o mulţme convexă cu X Y, atunc Y este dn famla a căre ntersecţe este C, dec C Y. Ca urmare co(x) = Y. Lema 9. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme lu V. Atunc X este convexă dacă ş numa dacă X=co(X). Demonstraţe. Evdent. Lema. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme convexă a lu V. Atunc X conţne orce combnaţe lnară convexă de vector dn X. Demonstraţe. Fe m vector x, x,..., x m dn V ş fe λ, λ,..., λ m R, cu m λ pentru orce =..m ş λ =. Demonstrăm prn nducţe după m că x = 35

Mădălna Roxana Bunec m λx X. Dacă m =, atunc x = x X. Presupunem afrmaţa adevărată pentru m ş o demonstrăm pentru m+. Fe x, x,..., x m+ dn V ş fe λ, λ,..., λ m+ K, cu λ pentru orce =..m+ ş m+ λ =. Dacă λ m+ =, atunc fe λ = λ =...= λ m = ş m+ λx = x m+ X. Dacă λ m+ =, atunc conform poteze de nducţe m+ m λx = λx X. Presupunem că λ m+ {,} ş notăm λ = m λ (,). Avem m λ pentru orce =..m ş λ =. Aplcând poteza de nducţe rezultă λ λ că m λ x X. Ţnând cont că λ m+ λx = λ m λ x + (-λ) x m+ λ ş că X este o mulţme convexă, deducem că m+ λx. Am arătat astfel că dacă afrmaţa este adevărată pentru m este adevărată ş pentru m+. Propozţa. Fe Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme lu V. Atunc co(x) este mulţmea tuturor combnaţlor lnare convexe de vector dn X. Demonstraţe. Notăm cu C mulţmea tuturor combnaţlor lnare convexe de vector dn X. Pentru orce x X avem x = x C, dec X C. Arătăm că C este mulţme convexă. Fe z, z C. Atunc exstă m N, λ, λ,..., λ m R, cu λ 36

m Optmzăr pentru orce =..m ş λ =, ş exstă x, x,..., x m X astfel încât z = λx. De asemenea exstă p N, µ, µ,..., µ p R, cu µ pentru orce =..p ş m p µ =, ş exstă y, y,..., y p X astfel încât z = avem p µ y. Pentru orce λ (, ) λz + (-λ)z = λ λx +(-λ) m p µ y = m p λλx + λ µ y Ţnând cont că m p λλ + ( ) λ µ m = λ λ +(-λ) µ = λ + (-λ) =, rezultă că λz + (-λ)z este o combnaţe lnară convexă de vector dn X, dec λz + (-λ)z C, de unde rezultă că C este convexă. Faptul că C este convexă ş conţne pe X, are drept consecnţă co(x) C. Pentru orce x C, exstă m N, λ, λ,..., λ m K, cu λ pentru orce =..m p ş m λ =, ş exstă x, x,..., x m X astfel încât x = m λx. Deoarece x, x,..., x m X co(x) ş deoarece co(x) este convexă, aplcând lema obţnem co(x), adcă C co(x). Astfel C = co(x). m λx Propozţe. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme deschsă a lu V. Atunc co(x) este deschsă. Demonstraţe. Dn faptul că X co(x), rezultă că nt(x) nt(co(x)). Cum X este deschsă, nt(x) = X, ş dec X nt(co(x)). Conform propozţe 6, nt(co(x)) este convexă. Cum X nt(co(x)) convexă, rezultă co(x) nt(co(x)), de unde se obţne co(x) este deschsă. 37

Mădălna Roxana Bunec Defnţe 3. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme convexă a lu V. Un vector x X se numeşte punct extremal sau vârf al lu X dacă ş numa dacă nu exstă două puncte dstncte x, x X astfel încât x să se scre sub forma x = λx + (-λ)x cu λ (,). O submulţme convexă A X se numeşte submulţme extremală a lu X dacă pentru orce λ (,) ş x, x X cu λx + (-λ)x A rezultă x ş x A. Propozţe 4. Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X o submulţme convexă a lu V. Următoarele afrmaţ sunt echvalente. x este punct extremal al lu X. Mulţmea X - {x } este convexă Demonstraţe. Evdent. IV.. Problema cele ma bune aproxmăr Defnţe 5. Fe (S, d) un spaţu metrc ş X o submulţme a sa. Fe x un element al lu S. Se numeşte element de cea ma bună aproxmare a lu x pe X un element p X astfel încât d(p, x ) = nf d(x, x ) x X Teoremă 6. Fe H un spaţu Hlbert (real sau complex), X o submulţme nevdă convexă închsă a lu H ş x H. Atunc exstă ş este unc este element p de cea ma bună aproxmare a lu x pe X. x X Demonstraţe. Deoarece pentru orce x X avem x x, rezultă că nf x x ş că exstă un şr (x n ) n în X astfel încât: n n lm x x = nf x x. x X 38

Optmzăr Pentru orce m, n N *, avem xn + xm X deoarece X este convexă. Ca urmare xn + xm x x X nf x x xn + x m x x X nf x x 4 xn x + x m x ( nf x x ). x X Fe ε> fxat. Atunc deoarece n n lm x x = nf x x, exstă n ε N x X astfel încât pentru orce n n ε avem Pentru orce m, n n ε avem x n x < ( x n x m = x n x - (x m x ) x X nf x x ) + ε/4. = x n x + x m x - x n x + x m x x n x + x m x - 4( x X x X x X nf x x ) < 4( nf x x ) + ε - 4( nf x x ) = ε. Dec şrul (x n ) n este şr Cauchy ş în consecnţă convergent (fndcă H este complet). Fe p = lm x n. Dn faptul că X este închsă ş x n X pentru orce n, rezultă că n p X. Pe de altă parte avem p x = lm x n n n n - x = lm x x = nf x x x X ş dec p este element de cea ma bună aproxmare a lu x pe X. Să demonstrăm unctatea elementulu de cea ma bună aproxmare. Presupunem prn absurd că exstă p p elemente de cea ma bună aproxmare a lu x pe X. Deoarece X este o mulţme convexă, p = p + p X. Avem 39

Mădălna Roxana Bunec p-x = p + p -x = 4 p x + p x < < 4 p x + p x + 4 p x (p x ) = ( p x + p x ) p x. Dec p X ş p-x < p x, contradcţe cu faptul că p este element de cea ma bună aproxmare a lu x pe X. Rezultă că presupunerea este falsă, ş în consecnţă elementul de cea ma bună aproxmare este unc. Teoremă 7. Fe H un spaţu pre-hlbert real, X o submulţme convexă a lu H ş x H. Un element p X este element de cea ma bună aproxmare a lu x pe X dacă ş numa dacă pentru orce x X. Demonstraţe. Presupunem că p 4 X este element de cea ma bună aproxmare a lu x pe X ş demonstrăm că pentru orce x X. Presupunem prn absurd că exstă y X astfel încât Evdent y p. Fe α astfel încât >. p x, p y < α < mn,. p y Deoarece X este o mulţme convexă ş α (, ), αy + (-α)p X. Avem αy + (-α)p x = <αy + (-α)p x, αy + (-α)p x > = <α(y p )+ p x, α(y p )+ p x > = <α(y p ), α(y p ) > + <α(y p ), p x >+ = α y p - α + p x =α(α y p - ) + p x < p x. Am obţnut astfel o contradcţe cu faptul că p este element de cea ma bună aproxmare a lu x pe X. În consecnţă, presupunerea este falsă ş dec

Optmzăr pentru orce x X. Recproc, presupunem că pentru orce x X ş demonstrăm că p X este element de cea ma bună aproxmare a lu x pe X. Dacă p = x, atunc este evdent că p este element de cea ma bună aproxmare a lu x pe X. Presupunem p x ş consderăm un x X oarecare. Avem p -x = = = + p -x x- x. Dec p -x p -x x- x pentru orce x X. Împărţnd negaltatea cu p -x >, obţnem p -x x- x pentru orce x X, adcă p X este element de cea ma bună aproxmare a lu x pe X. Teoremă 8. Fe H un spaţu pre-hlbert real, H un subspaţu lnar al lu H ş x H. Un element p H este element de cea ma bună aproxmare a lu x pe H dacă ş numa dacă p -x H (sau echvalent, = pentru orce x H ). Demonstraţe. Dacă H un subspaţu lnar al lu H, atunc H este în partcular, o mulţme convexă. Dacă = pentru orce x H, atunc în partcular, = ş = pentru orce x H. Conform teoreme precedente rezultă că p H este element de cea ma bună aproxmare a lu x pe H. Recproc, să presupunem că p H este element de cea ma bună aproxmare a lu x pe H, ş să demonstrăm că = pentru orce x H. Conform teoreme precedente avem pentru orce x H, sau echvalent pentru orce x H. (8.) 4

Mădălna Roxana Bunec Fe x H fxat ş fe α >. Pentru orce x H, αx ş -αx H. Înlocund în relaţa (8.) cu αx, respectv cu -αx, obţnem: (sau echvalent, α) (sau echvalent, -α). De unde rezultă că, - , pentru orce α>. α α Trecând la lmtă, α, obţnem . În consecnţă, = pentru orce x H. IV.3. Separarea mulţmlor convexe prn hperplane Defnţe 9. Fe H un spaţu pre-hlbert real, a H\{} ş b R. Se numeşte hperplan determnat de a ş b mulţmea: H a,b = {x H: <a, x> = b}. Spunem că hperplanul H a,b separă mulţmle X, Y H dacă ş numa dacă sup < a, x > b x X nf < a, y >. y Y Se spunem că mulţmle X, Y H sunt separable prntr-un hperplan, dacă exstă un hperplan H a,b care le separă. Propozţe. Fe H un spaţu pre-hlbert real. Mulţmle X, Y H nevde sunt separable prntr-un hperplan dacă ş numa dacă mulţmle {} ş Y-X sunt separable prntr-un hperplan. Demonstraţe. Presupunem că H a,b separă mulţmle X ş Y. Atunc de unde rezultă că sup < a, x > b nf < a, y > y Y x X nf < a, y > - sup < a, x > = nf < a, y > + nf < a, x > y Y x X y Y x X 4

Dec H a, separă mulţmle {} ş Y X. Optmzăr nf < a, y > + nf < a, x > x X = y Y nf < a, y > + nf < a, x > x X = y Y nf < a, z >. z Y X Recproc dacă H a,b separă mulţmle {} ş Y X, atunc b nf < a, z >, z Y X ş ca urmare <a, x> <a, y> pentru orce x X ş y Y, de unde rezultă că Notăm b = consecnţă: x X sup < a, x > nf < a, y >. y Y x X sup < a, x >, b = nf < a, y > ş c = b + b. Avem b c b ş în y Y sup < a, x > c x X nf y Y ceea ce este echvalent cu H a,c separă mulţmle X ş Y. < a, y >, Lema. Fe H un spaţu Hlbert real ş X H o mulţme nevdă convexă închsă. Atunc exstă p X astfel încât pentru orce x X avem <p, p-x>. Demonstraţe. Conform teoreme 6 exstă p X element de cea ma bună aproxmarea a lu pe X. Conform teoreme 7 pentru orce x X avem <p, p-x>. Propozţe. Fe H un spaţu Hlbert real ş fe x H. Fe X H o mulţme convexă nevdă închsă astfel încât x X. Atunc exstă a H\{} ş b R astfel încât pentru orce x X. <a,x > , 43

Mădălna Roxana Bunec Demonstraţe. Aplcând lema mulţm convexe închse X - {x } rezultă că exstă a X-{x } astfel încât pentru orce x X avem <a, a x + x > <a, a + x > <a, x> Notăm b = <a, a + x >. Deoarece a X-{x }, a (altfel x X). Dec pentru orce x X avem b <a, x> ş pe de altă parte b = <a, a + x > = <a, a> + <a, x > > <a, x >. Teoremă 3. Fe H un spaţu Hlbert real fnt dmensonal. Fe X H o mulţme convexă. Atunc mulţmle {} ş X sunt separable prntr-un hperplan dacă ş numa dacă nt(x). Demonstraţe. Presupunem că hperplanul H a,b separă mulţmle {} ş X. Atunc b nf < a, x >, x X ş ca urmare <a, x> pentru orce x X. Pentru orce n N *, avem < a, - n a> = - n <a, a> <, dec - a X. Presupunând prn absurd că nt(x), rezultă că exstă δ> astfel n încât B(, δ) X. Pe de altă parte, dn faptul că lm a =, rezultă că n n exstă n δ N, astfel încât - n a B(, δ) X pentru orce n n δ, ceea ce contrazce faptul că - n δ a X. Recproc, să presupunem că dacă nt(x). Dacă X, atunc aplcând propozţa, rezultă că exstă un hperplan ce separă {} ş X, ş în consecnţă {} ş X. Dacă X, cum nt(x), rezultă Fr(X). Atunc exstă un şr (x n ) n în H- 44

X astfel încât Optmzăr lm x n =. Pentru fecare n, x n X. Aplcând propozţa, rezultă n că exstă a n H-{} ş b n R, astfel încât <a n, x n > b n <a n, z> (3.) pentru orce z X. Fără a reduce generaltatea putem lua b n = <a n, x n >. Împărţnd în (3.) cu a n, obţnem: pentru orce x X X. < a n - a n, x n > a n - b n < a n - a n, x> (3.) Cum pentru orce n, a n - a n S(,) = {x H : x = } ş S(,) este compactă, eventual trecând la un subşr, rezultă că ( a n - a n ) n este convergent la un a S(,). Ca urmare ( a n - b n ) n este convergent la (ţnând cont că b n = <a n,x n > ş lm x n n =). Trecând la lmtă în (3.) cu n, obţnem <a, x> pentru orce x X. În consecnţă, H a, separă mulţmle {} ş X. Corolar 4. Fe H un spaţu Hlbert real fnt dmensonal. Fe X, Y H două mulţm convexe nevde. Atunc mulţmle X ş Y sunt separable prntr-un hperplan dacă ş numa dacă nt(y-x). Demonstraţe. Conform propozţe, mulţmle X, Y H nevde sunt separable prntr-un hperplan dacă ş numa dacă mulţmle {} ş Y-X sunt separable prntr-un hperplan. Dn teorema 3 rezultă că {} ş Y-X sunt separable prntr-un hperplan dacă ş numa dacă nt(y-x). Corolar 5. Fe H un spaţu Hlbert real fnt dmensonal. Fe X, Y H două mulţm convexe nevde cu propretatea că X Y =. Atunc mulţmle X ş Y sunt separable prntr-un hperplan. Demonstraţe. Dacă X Y =, atunc Y-X ş în partcular, nt(y-x). Conform corolarulu 4, mulţmle X, Y sunt separable prntr-un hperplan. 45

Mădălna Roxana Bunec Corolar 6. Fe H un spaţu Hlbert real fnt dmensonal. Fe X, Y H două mulţm convexe nevde cu propretatea că nt(x) ş nt(x) Y =. Atunc mulţmle X ş Y sunt separable prntr-un hperplan care nu conţne nc un punct dn nt(x). Demonstraţe. Dacă nt(x) Y =, atunc conform corolarulu 5 exstă un hperplan H a,b care separă nt(x) de Y. Dec exstă a H\{} ş b R astfel încât <a, x> b <a,y> (6.) pentru orce x nt(x) ş orce y Y. Deoarece nt(x), exstă x nt(x). Fe x X oarecare ş fe λ (,). Atunc λx + (-λ)x nt(x) (conform leme 5) ş ţnând cont de (6.) rezultă că pentru orce y Y avem <a, λx + (-λ)x > b <a,y> (6.) Trecând la lmtă în (6.) cu λ (λ <) obţnem că pentru orce y Y ş x X avem <a, x > b <a,y>. (6.3) Cum x X a fost ales arbtrar rezultă că hperplanul H a,b separă X ş Y. Presupunem prn absurd că H a,b nt(x). Fe x H a,b nt(x). Avem <a,x> = b ş deoarece x nt(x), exstă ε > astfel încât B(x, ε) nt(x). Deoarece <a,a> >, exstă N astfel încât Fe δ = Pe de altă parte <a, a> = <a,a> > b ε. Atunc x + δ(a-x) B(x, ε) nt(x) ş ca urmare a x < a, x + δ(a-x)> b. (6.3) <a, x + δ(a-x)> =<a, (-δ)x + δa> = (-δ)<a, x> + δ<a, a> = (-δ)b + δ<a, a> 46

Optmzăr > (-δ)b + δb = b. (6.4) Astfel dn (6.3) ş dn (6.4) se obţne o contradcţe (b < b). În consecnţă presupunerea că H a,b nt(x) este falsă. Teoremă 7. Fe H un spaţu Hlbert real. Fe X H o mulţme convexă compactă ş Y H o mulţme convexă închsă cu propretatea că X Y=. Atunc exstă a H\{} ş b R astfel încât <a, x> pentru orce x X ş orce y Y. Demonstraţe. Este uşor de observat că mulţmea X-Y ={x-y: y Y ş x X> este o mulţme închsă. Deoarece X Y=, rezultă că X-Y. Conform propozţe exstă a H\{} ş c R astfel încât < c <a,z>, pentru orce z X-Y. Ca urmare, c + <a,x> <a,y>, (7..) pentru orce x X ş orce y Y. Deoarece funcţa x <a, x> este contnuă, rezultă că îş atnge extremele pe mulţmea compactă X. În partcular, exstă x X astfel încât <a, x> <a, x > pentru orce x X. Pe de altă parte, ţnând cont de (7.) ş de faptul că x X, obţnem c + <a,x > <a,y>, pentru orce y Y, ş dec <a,x > < c + <a,x > nf < a, y > y Y Luând b = ( nf < a, y > +<a, y Y x >), 47

Mădălna Roxana Bunec avem <a, x> <a, x > <a, y> y Y pentru orce x X ş orce y Y. IV.4. Hperplan de sprjn hperplanul Defnţe 8. Fe H un spaţu pre-hlbert real ş fe X H, spunem că H a,b = {x H: <a, x> = b}. (a H \ {} ş b R) este hperplan de sprjn al lu X dacă sup < a, x > = b. x X Un hperplan de sprjn H a,b al lu X ce conţne un punct x H, se spune hperplan de sprjn al lu X în x. Un hperplan de sprjn H a,b al lu X în x X se spune hperplan de sprjn strct dacă H a,b X = {x } (x este uncul punct de ntersecţe al hperplanulu de sprjn H a,b cu X). Teoremă 9. Fe H un spaţu Hlbert real fnt dmensonal. Fe X H o mulţme convexă ş fe x X. Condţa necesară ş sufcentă de exstenţă a unu hperplan de sprjn al lu X care să conţnă x este ca x Fr(X). Demonstraţe. Fe H a,b un hperplan de sprjn al lu X care conţne pe x. Arătăm că H a,b nt(x) =. Presupunem prn absurd că H a,b nt(x). Fe x H a,b nt(x). Avem <a,x> = b, ar dn faptul că x nt(x) rezultă căexstă ε > astfel încât B(x, ε) nt(x). Deoarece <a,a> >, exstă N astfel încât Fe δ = <a, a> = <a,a> > b ε. Atunc x + δ(a-x) B(x, ε) nt(x) X ş ca urmare a x < a, x + δ(a-x)> b. (9. ) 48

Optmzăr Pe de altă parte <a, x + δ(a-x)> =<a, (-δ)x + δa> = (-δ)<a, x> + δ<a, a> = (-δ)b + δ<a, a> > (-δ)b + δb = b (9.). Astfel dn (9.) ş dn (9.) se obţne o contradcţe (b < b). În consecnţă presupunerea că H a,b nt(x) este falsă. În consecnţă, cum x H a,b, rezultă că x nt(x). Dec x X-nt(X) = Fr(X). Recproc, fe x Fr(X). Atunc nt(x-x ) ş aplcând corolarul 4 rezultă că exstă un hperplan H a,b care separă X de {x }, sau echvalent exstă a H\{} ş b R astfel încât: <a, x> b <a, x > pentru orce x X. Deoarece x X rezultă că exstă un şr (x n ) n în X astfel încât lm x n = x. Avem n ş trecând la lmtă cu n, obţnem <a, x n > b <a, x > <a, x > b <a, x >, adcă b = <a, x > sau echvalent x H a,b. Avem pe de o parte ş pe de altă parte sup < a, x > b (9.3) x X sup < a, x > <a, x n > x X ş trecând la lmtă cu n, obţnem sup < a, x > <a, x >, (9.4) x X 49

Mădălna Roxana Bunec Dn (9.3) ş (9.4) ţnând cont că b = <a, x >, rezultă că sup < a, x > = b, dec x X H a,b este hperplan de sprjn al lu X ce trece prn x. Teoremă 3 (teorema Kren-Mlman). Fe H un spaţu Hlbert real. Fe X H o mulţme convexă nevdă compactă. Atunc închderea acoper lnare convexe a mulţm punctelor extremale ale lu X este egală cu X. Demonstraţe. Pasul : Arătăm că mulţmea punctelor extremale ale lu X este nevdă. Fe A ={A X, A submulţme închsă extremală a lu X}. Arătăm A că este nductv ordonată relatv la relaţa de ordne defntă prn A < B B A. Fe F = {A } I o famle total ordonată de elemente dn A. Atunc A este nevdă I deoarece {A } I este o famle de submulţm închse ale lu X cu propretatea ntersecţe fnte ar X este compactă. Se observă vă că A este majorant al lu F. Dec conform leme lu Zorn A are un element maxmal. Fe A un astfel de element maxmal. Arătăm că A are un sngur element. Presupunem prn absurd că exstă x ş x A cu x x. Atunc exstă a H-{} astfel încât <a,x > <a, x >. Fe A = {x A, <a,x>=nf{<a,y>, y A }}. Atunc A este o submulţme extremală a lu X ce este nclusă strct în A, ceea ce contrazce maxmaltatea lu A. Dec A are un sngur element ş în consecnţă, mulţmea punctelor extremale ale lu X este nevdă. Pasul : Notăm cu L închderea acoper lnare convexe a mulţm punctelor extremale ale lu X. Arătăm că L = X. Presupunem prn absurd că exstă x X astfel încât x L. Atunc conform propozţe exstă a H-{} ş b R astfel încât <a, x > (3.) pentru orce z L. Fe B = {x X, <a,x>=nf{<a,y>, y K}}. Atunc B este o submulţme extremală a lu X. Conform pasulu mulţmea punctelor extremale ale lu B este nevdă. Fe z un punct extremal al lu B. Deoarece z este punct extremal I 5

Optmzăr ş pentru K (B fnd extremală în K), rezultă că z L. Pe de o parte conform (3.) avem <a, x > < <a,z >, (3.) ar pe de altă parte, z B dec <a,z > = nf{<a,y>, y K} <a, x > (3.3). Dn (3.) ş (3.3) se obţne o contradcţe (<a, x > < <a,z > <a, x > ), în consecnţă presupunerea că L X este falsă. Observaţe 3. Dacă H un spaţu Hlbert real de dmensune fntă n ş X o submulţme convexă nevdă compactă a lu H, atunc orce x X poate f scrs ca o combnaţe lnară convexă de puncte extremale ale lu X (demonstraţa se face prn nducţe după n). Ma mult, se poate arăta că orce x X poate f scrs ca o combnaţe lnară convexă de cel mult n+ puncte extremale ale lu X. IV.5.Conur convexe Defnţe 3. Fe H un spaţu lnar (real sau complex). Mulţmea K H se numeşte con convex dacă ş numa dacă satsface condţle:. K este mulţme convexă. αx K pentru orce x K ş orce α R cu α >. O mulţme K H se numeşte con convex închs dacă. K este închsă. K este con convex. Observaţe 33.. Dacă mulţmea K este con convex, atunc pentru orce x, y K, avem x + y K (într-adevăr, dn condţa dn defnţa conulu convex avem x K ş y K; deoarece K este convexă avem x + y K, ş ţnând cont dn nou de condţa, rezultă că ( x + y) K, adcă x +y K).. Dacă H este spaţu normat ş dacă mulţmea nevdă K H este con convex atunc K (într-adevăr, fe x K; pentru orce n, conform condţe dn 5

Mădălna Roxana Bunec defnţa conulu convex avem n x K ş ca urmare lm x K, dec K). În n n partcular, dacă mulţmea nevdă K este con convex închs atunc K. Propozţe 34. Fe H un spaţu normat ş fe K H un con convex. Atunc K ş nt(k) sunt conur convexe. Demonstraţe. Mulţmea K H fnd con convex, K este mulţme convexă, ceea ce mplcă K ş nt(k) mulţm convexe (conform propozţe 6). Rămâne să arătăm că nt(k) ş K satsfac ş condţa dn defnţa 3 (a conulu convex). Fe x K ş fe α>. Deoarece x X, exstă un şr (x n ) n de elemente dn K astfel încât lm x n n = x. Dn faptul că mulţmea K este con, rezultă că αx n K ş dec lm αx n n K, ceea ce mplcă αx = α lm x n n = lm αx n n K. Fe x nt(k) ş fe α>. Dacă α <, atunc ţnând cont de faptul că K ş de lema 5, rezultă că αx = αx + (-α) nt(k). Pentru α, fe {α} partea fracţonală a lu α ş fe [α] > partea întreagă a lu α. Atunc deoarece K este con convex { } [α] α x K ş conform leme 5, { } αx = ({α} + [α])x = {α}x + [α]x = {α}x + (-{α}) [α] α x nt(k). Exemple 35. (de conur convexe). K=. K= 3. K= n coloane. 4. K= coloane. n R + ={x R n, x }, x=(x, x,..., x n ) t x j pentru orce j n) n R ++ ={x R n, x }, x=(x, x,..., x n ) t > x j > pentru orce j n) n S + este mulţmea matrcelor smetrce poztv semdefnte cu n ln ş n S ++ este mulţmea matrcelor smetrce poztv defnte cu n ln ş n 5. K={(x,t) R n R: p(x) t } unde p este o normă oarecare pe R n. 5

Optmzăr Defnţe 36. Fe H un spaţu pre-hlbert real ş fe K o submulţme a lu H. Se numeşte con dual al lu K mulţmea avem K* = {y H: <x, y> pentru orce x K} Propozţe 37. Fe H este un spaţu pre-hlbert real. Atunc:. Pentru orce K H, K* (conul dual al lu K) este con convex închs.. Dacă L K, atunc K* L*. 3. Pentru orce K H,( K )* = K*. Demonstraţe.. Fe y, y K* ş fe λ (,). Atunc pentru orce x K <x, λy + (-λ)y > = λ <x, y > + (-λ) <x, y >, dec λy + (-λ)y K*, ş ca urmare K* este mulţme convexă. Fe α > ş fe y K*. Atunc pentru orce x K, <x, αy> = α <x, y>, dec αy K*. Am arătat că mulţmea K* este convexă ş că pentru orce α > ş orce y K*, αy K*. Dec K* este con convex. Fe (y n ) n un şr de elemente dn K* convergent la un element z H. Pentru orce n N ş pentru orce x K, avem <x,y n >, ş trecând la lmtă cu n, obţnem K**= K, unde K** este conul dual al lu K* (conul dual al lu K). 53 <x, lm y n >, n adcă <x, z>, de unde rezultă z K*. În consecnţă, K* este mulţme închsă.. Dacă y K*, atunc <x,y> pentru orce x K, ş în partcular <x,y> pentru orce x L (deoarece L K), ş dec y L*. 3. Conform ( K )* K*. Fe y K*. Fe x K ş fe (x n ) n un şr de elemente dn K convergent la un element x. Pentru orce n N avem <x n, y>, ş trecând la lmtă cu n, obţnem < lm x n adcă <x, y>, de unde rezultă y ( K )* n, y>, Teoremă 38. Fe H un spaţu Hlbert real ş fe K H un con convex. Atunc

Mădălna Roxana Bunec Demonstraţe.. Fe x K. Atunc exstă un şr (x n ) n astfel încât lm x n = x. Dn faptul că pentru orce n ş orce y K*, avem n prn trecere la lmtă după n, obţnem <x n, y>, < lm x n n, y>, de unde x = lm x n n K**. Fe x K**. Presupunem prn absurd că x K. Deoarece K este convexă ş închsă, rezultă că exstă p K element de cea ma bună aproxmare a lu x pe K. Cum x K, rezultă că p x. Conform teoreme 6 (caracterzarea elementulu de cea ma bună aproxmare), avem , pentru orce x K. Pentru orce x K, avem < = = + = - , Ca urmare < , (38.) pentru orce x K. Cum K, rezultă că > sau echvalent <x p, x > <. (38.) Arătăm că x p K*. Presupunând prn absurd că x p K*, ar rezulta că exstă x K astfel încât <x, x -p > <. Înmulţnd -λ (cu λ >) se obţne -λ<x, x -p > > <λx, p x > >. 54

Optmzăr Ţnând cont că λx K ş de (38.) obţnem < <λx, p x > < . Trecând la lmtă cu λ se obţne o contradcţe: . Aşadar x p K* ş cum x K**, rezultă că <x p, x >, ceea ce contrazce negaltatea (38.). În consecnţă presupunerea x K este falsă. Atunc Propozţe 39. Fe H un spaţu Hlbert real fnt dmensonal ş fe K H. nt(k*) = {y H: <x, y> > pentru orce x K\{}} Demonstraţe. Fe y nt(k*). Presupunem prn absurd că exstă x K\{} astfel încât <x, y> =. Cum y nt(k*), rezultă că exstă ε> astfel încât B(y, ε) K*. Deoarece y - <x, y - ε x B(y, ε) K*, avem x ε ε ε x> = <x, y> - <x, x> = - <x, x> <. x x x Am obţnut o contradcţe. Dec <x, y> > pentru orce x K \{}. Recproc fe y H cu propretatea că <x, y > > pentru orce x K\{}. Fe S(,) = {x H: x = }. Funcţa x <x,y > fnd contnuă, îş atnge extremele pe mulţmea compactă S(,) K. În partcular, exstă x S(,) K astfel încât <x,y > <x, y > pentru orce x S(,) K. Notăm δ = <x, y >. Dacă y B(y, δ). Atunc pentru orce x S(,) avem <x, y-y > x y y = y y < δ. Dec pentru orce y B(y, δ) ş orce x S(,) K, avem <x, y> = <x, y y + y > = <x, y y > + <x, y > 55

Mădălna Roxana Bunec > - δ + <x, y > - δ + δ = δ >. Pentru orce y B(y, δ) ş orce x K\{}, avem x x K S(,) ş <x, y> = x < x x, y> >. Dec B(y, δ) K*, ş în consecnţă y nt(k*). Exemplul 4. Fe p o normă pe spaţul Hlbert R n ş fe q norma duală a lu p: q(u) = sup {<x,u>, p(x) }. Conul dual al K={(x,t) R n R: p(x) t }. este K*={(u,v) R n R: q(u) v }. Pentru a demonstra aceasta este sufcent să arătăm că pentru orce x, u R n ş t, v R cu următoarele afrmaţ sunt echvalente:. pentru orce x R n ş t R cu p(x) t, avem <x,u> + tv. q(u) v. =>. Presupunem prn absurd că avem q(u) > v. Atunc exstă x cu p(x) astfel încât <x,u> > v <-x,u> + v<, ceea ce contrazce cu t =. =>. Dacă t=, atunc x= ş negaltatea este evdentă. Presupunem t (strct) poztv. Deoarece q(u) v, rezultă că <y,u> v pentru orce y cu p(y), în partcular pentru y = - x. Dec t <- t x,u> v <x,u> + tv. În partcular, K={(x,t) R n R: x t} => K*={(x,t) R n R: x t}. 56

Optmzăr K={(x,t) R n R: x t}=> K*={(x,t) R n R: x t}. Am notat cu,, următoarele norme uzuale pe R n : x = max x j j n x = n x j j= n x = j= x j / (x = (x, x,, x n ) t R n ). Exemplul 4. În spaţul matrcelor M n,n (R) peste corpul R se consderă produsul scalar <A, B> = Trace(B t A) = unde A= (a j ), j n ş B= (b j ), j n. Fe poztv semdefnte. Mulţmea K = Y n S +. Atunc exstă v, v R n astfel încât n n j= b, ja j n S + este mulţmea matrcelor dn M n,n (R) n S + este con convex ş K* = > v t Yv = Trace(vv t Y), n S +. Într-adevăr, fe de unde rezultă că matrcea poztv semdefntă X = vv t satsface <X, Y> <, dec Y K*. Recproc, fe Y S n n +. Cum orce X S + poate f scrsă sub forma X = n λ t vv cu λ pentru orce (valorle propr ale lu X), avem n t <X, Y> = < λvv, Y> = de unde rezultă că Y K *. n λ Trace( t v v Y) = n λ t v Yv, Defnţe 4. Fe H un spaţu pre-hlbert real ş fe a, a,..., a m m vector în H. Se numeşte con poledral mulţmea m K= { λa, λ pentru orce m}. 57

Mădălna Roxana Bunec m Observaţe. Conul poledral K= { λa, λ pentru orce m} este închs. Arătăm prn nducţe după m că K = K. Dacă m = afrmaţa este evdentă. Presupunem afrmaţa adevărată pentru m- ş o demonstrăm pentru m. Fe x K. Atunc x = j lm m λ j a cu j λ pentru orce m ş j. Dacă şrurle ( λ ) j sunt mărgnte pentru orce, atunc trecând eventual la un subşr, avem j j ( λ, λ,..., de unde, rezultă x = j lm j j λ m ) t ( λ, m λ j a = ( λ ) j este nemărgnt. Atunc lm j subşr avem λ ( j max λ, m j { } λ,..., λ m ) t cu λ pentru orce m m λa K. Presupunem că unul dntre şrurle max { λ j, m} λ, j max λ, m j { },..., =. Eventual, trecând la un λ j m j { λ } max, m ) t µ unde µ = (µ,µ,...,µ m ) t cu µ pentru orce m. Deoarece pentru orce j j exstă astfel încât λ j j { λ } max, m =, rezultă µ. Pentru fecare j notăm γ j = j λ mn, m cu propretatea ca µ. µ Se observă că astfel încât j λ -µ γ j pentru orce {,,..., m} ş că pentru orce j exstă j λ -µ γ j =. Pentru fecare {,,..., m} notăm J = {j : j λ -µ γ j = }. Dn faptul că J J... J m = N, rezultă că exstă astfel încât J este nfntă. Ca urmare putem extrage exstă subşr ( λ. Deoarece µ a + µ a +...+ µ m a m =, avem j 58 ) cu propretatea că j J pentru orce

x = j lm m λ j a = lm j Optmzăr m j ( λ γ jµ ) = lm m j λ γ j µ a. Aplcând poteza de nducţe rezultă că x K. fe m j a = lm j λ γ µ a Propozţe 43. Fe a, a,..., a m m vector în un spaţul pre-hlbert real H ş Atunc K este un con convex ş K = {x H, <a, x> pentru orce m}. m K * = { λa, λ pentru orce m}. Demonstraţe. Fe λ (,) ş fe x, x K. Atunc pentru orce m <a, λx + (-λ)x > = λ<a, x > + (-λ)<a, x > de unde rezultă λx + (-λ)x K, ş dec K este mulţme convexă. Dacă α> ş x K, atunc pentru orce m <a, αx> = α<a, x> de unde rezultă αx K, ş dec K ţnând seama ş de faptul că este mulţmea K este convexă, rezultă K con convex. Notăm m L = { λa, λ pentru orce m}. Atunc L este con convex închs (conform observaţe de ma sus). Fe y L*. Atunc <y, m λa > pentru orce λ= (λ, λ...,λ m ) t cu λ pentru orce m. Punând λ = ş λ j = pentru j, se obţne că dacă y L*, atunc <y, a >. Recproc dacă <y, a > pentru orce m, atunc m <y, λa > pentru orce λ= (λ, λ...,λ m ) t cu λ 59

Mădălna Roxana Bunec pentru orce m. Ca urmare L* = K, de unde deducem L**=K*. Ţnând seama că L este con convex închs, rezultă L=K*. Propozţe 44 (Lema Faras Mnows). Fe A M m,n (R) (mulţmea matrcelor cu m ln ş n coloane având coefcenţ real) ş fe b R m. Consderăm sstemele: (S) Ax = b, x (S) A t u, <b,u> < Atunc unul ş numa unul dntre sstemele (S) ş (S) este compatbl. Demonstraţe. Presupunem că sstemul (S) este compatbl. Atunc pentru orce u cu A t u avem dec sstemul (S) este ncompatbl. <b, u> = <Ax, u> = <x, A t u>, Presupunem acum că (S) este ncompatbl. Notăm a, a,..., a n coloanele matrce A ş consderăm conurle L = {u R m, A t u } = { u R m, <a, u> pentru orce n } B= {Ax, x } = {x a +x a +...+x n a n, x pentru orce n }. Conform propozţe 43, L * = B. Faptul că sstemul (S) este ncompatbl este echvalent cu b L* = B, dec exstă x, x,..., x n astfel încât b = x a +x a +...+x n a n. Aşadar sstemul (S) este compatbl. Observaţe. Lema Faras-Mnows poate f generalzată după cum urmează. Fe H Hlbert real, K un con convex în H ş b H. Atunc fe b K, fe exstă u K* astfel încât <b, u> <. Într-adevăr, dacă b K, atunc conform propozţe, exstă u H\{} ş c R astfel încât <u, b> < c <u, w>, pentru orce w K. Deoarece K*, rezultă că c ş ca urmare <u, b> <. Rămâne să arătăm că u K*. Presupunem prn absurd că exstă w K astfel încât <u, w> <. Cum pentru orce λ > avem λw K ş <u, λw> c, trecând la lmtă 6

Optmzăr cu λ se obţne contradcţa - c. Dec pentru orce w K avem <u,w>, adcă u K*. IV.6. Conur duale ş negaltăţ generalzate Defnţe 45. Fe H un spaţu normat ş fe K H. Mulţmea K se numeşte con propru dacă sunt satsfăcute următoarele condţ. K este con convex. K este mulţme închsă 3. K este soldă (nt(k) ) 4. K este punctată (adcă pentru orce x K cu propretatea că -x K, rezultă x = ) Orce con propru K defneşte o relaţe de ordne parţală (reflexvă, antsmetrcă ş tranztvă) pe H după cum urmează x K y dacă ş numa dacă y x K. Screm x K y dacă y K x. De asemenea orce con propru K defneşte o relaţe de ordne strctă (reflexvă ş tranztvă) pe H: Screm x K y dacă y K x. x K y dacă ş numa dacă y x nt(k). Fe S o submulţme a lu H. Un element x S se numeşte element mnm lu S dacă x K y pentru orce y S. Un element x S se numeşte element mnmal lu S dacă pentru orce y S cu propretatea că y K x, rezultă y = x. Lema 46. Fe H un spaţu normat ş fe K H un con propru. Atunc următoarele afrmaţ sunt adevărate:. x K x pentru orce x H ( K este reflexvă). dacă x K y ş y K x, atunc x = y ( K este antsmetrcă) 6

Mădălna Roxana Bunec 3. dacă x K y ş y K z, atunc x K z ( K este tranztvă) 4. dacă x K y ş u K v, atunc x + u K y + v 5. dacă x K y ş α, atunc αx K αy 6. dacă x n K y n pentru orce n ş x K y. lm x n n = x ar lm y n n =y, atunc Demonstraţe. Rezultă drect utlzând defnţa relaţe K ş ţnând seama că în partcular, K este con convex închs. Lema 47. Fe H un spaţu normat ş fe K H un con propru. Atunc următoarele afrmaţ sunt adevărate:. x K x pentru orce x H ( K este reflexvă). dacă x K y ş y K z, atunc x 3. dacă x K y, atunc x K y 4. dacă x K y ş α >, atunc αx z ( este tranztvă) K K αz 5. dacă x K y ş u K v, atunc x + u K y + v 6. dacă x K y ar u ş v sufcent de mc (în normă), atunc x+u K K y+v Demonstraţe. -4 rezultă drect utlzând defnţa relaţe seama că nt(k) este con convex. K ş ţnând 5. Fe x,y,u,v H astfel încât x K y ş u K v. Atunc avem (y-x) nt(k) ş (v-u) K; ţnând cont că mulţmea K este convexă ş aplcând lema 5 avem (y-x) + (v-u) nt(k), ş folosnd faptul că nt(k) este con convex, rezultă că 6

Optmzăr ( (y-x) + (v-u)) nt(k), adcă (y+v) - (x+u) nt(k), ceea ce este echvalent cu x + u K y + v. 6. Fe x,y H astfel încât x K y. Atunc y-x nt(k) ş exstă ε> astfel încât B(y-x, ε) nt(k). Pentru orce u,v H cu u < ε ş v < ε, avem y x- (y-x+v-u) = - v+u v + u < ε, dec (y-x+v-u) B(y-x, ε) nt(k), ceea ce mplcă x + u K y + v. Exemplul 48. Consderăm spaţul Hlbert R n. Fe K= n R + ={x R n, x }, unde pentru x=(x, x,, x n ) t R n, prn x înţelegem x j pentru orce j n. Este uşor de arătat că K*= R n + ş că nt( R ) = n + n R ++, unde n R ++ ={x R n, x > }. (pentru x=(x, x,, x n ) t R n, prn x > înţelegem x j > pentru orce j n). Pentru K= n R + ş x=(x, x,, x n ) t, y=(y, y,, y n ) t R n, avem x K y x j y j pentru orce j n x K y x j < y j pentru orce j n. Propozţa 49. Fe H un spaţu pre-hlbert real ş fe K H un con convex. Atunc următoarele afrmaţ sunt adevărate. Dacă nt(k), atunc K* este mulţme punctată.. Dacă H este fnt dmensonal ş dacă mulţmea K este punctată, atunc nt(k* ). 3. Dacă H este fnt dmensonal ş dacă mulţmea K este con propru, atunc K* este con propru ş K** = K. Demonstraţe.. Presupunem prn absurd că exstă y, astfel încât y, -y K*, ceea ce este echvalent cu 63

Mădălna Roxana Bunec <x,y> = pentru orce x K. Fe x nt(k) ş fe ε > astfel încât B(x, ε) K. Atunc x + ε y B(x, ε) K ş y dec < x + ε y,y> = y Deoarece <x,y> = (fndcă x K) ş dn egaltatea de ma sus rezultă că de unde < y,y> =, ceea ce contrazce y. ε < y,y> = y. Dacă avem K={}, atunc K* = H ş afrmaţa este evdentă. Fe x K\{}. Exstă y K* astfel încât <x, y > > (altfel ar rezulta că <x, y> = pentru orce y K*, de unde s-ar deduce <- x, y> =, ş dec - x K). Înlocund x cu x x ş y cu Notăm δ = <x, y >. Pentru x B(x, δ) avem y y putem presupune că x = ş y =. <x x, y > x x y = x x < δ. Dec pentru orce x B(x, δ), avem <x, y > = <x x + x, y > = <x x, y > + <x, y > > - δ + <x, y > - δ + δ = δ >. Pentru orce x K\{}, avem 3 δ x x x B(x, δ) ş <x, y > = 3 δ x < 3 δ x x, y> 64

Optmzăr = 3 δ x < 3 δ x x x, y> + 3 δ x < x, y> >. În consecnţă y nt(k*), deoarece conform propozţe 39 nt(k*) = {y H: <x, y> > pentru orce x K\{}}. 3. Rezultă dn ş. Propozţa 5. Fe H un spaţu Hlbert real fnt dmensonal. Fe K H un con convex propru. Atunc. x K y <u,x> <u,y> pentru orce u K*. x K y <u, x> < <u, y> pentru orce u K* cu u. 3. u K* v <u, x> <v, x> pentru orce x K 4. u K v <u, x> < <v, x> pentru orce x K cu x. Demonstraţe. Rezultă drect utlzând defnţa relaţlor K ş K. Afrmaţle 3 ş 4 rezultă dn ş înlocund K cu K* Teorema 5. Fe A M m,n (R) (mulţmea matrcelor cu m ln ş n coloane având coefcenţ real), fe b R m ş fe K R m un con propru. Consderăm sstemele: (S) Ax K b (S) A t u =, u K*, u, <b,u> Atunc unul ş numa unul dntre sstemele (S) ş (S) este compatbl. Demonstraţe. Presupunem că (S) este ncompatbl. Atunc dacă notăm L = {Ax-b, x R n } avem L nt(k) =. Deoarece L este o mulţme convexă ş L nt(k) =, rezultă că exstă un hperplan care separă L ş K, adcă exstă a ş t R astfel încât 65

Mădălna Roxana Bunec <a, z> t <a,y> (5.) pentru orce z K ş orce y L. Presupunem prn absurd că exstă z K astfel încât <a, z> >. Ţnând cont că pentru orce λ >, λz K ş de (5.) obţnem < <a, λz> t. Trecând la lmtă cu λ se obţne o contradcţe: t. Dec <a, z> pentru orce z K, de unde rezultă că dacă notăm u = -a, avem u K* ş dn (5.) rezultă: <u, Ax b> <u, z> (5.) pentru orce x R n ş orce z K. Punând x = ş z = obţnem <u, b>. Dn relaţa (5.) rezultă că <u, Ax - b > -t <u, Ax > - t + <u,b> <A t u, x > -t + <u,b> (5.3) pentru orce x R n. Presupunem prn absurd că exstă x R n astfel încât <A t u, x> >. Înlocund în (5.3) x cu λx ş trecând la lmtă cu λ se obţne o contradcţe: -t + <u,b>. Dec <A t u, x> pentru orce x R n, de unde rezultă A t u = (altfel ar exsta x cu <A t u, x> <, ş ţnând cont că <A t u, -x> s-ar ajunge la o contradcţe). Recproc, să presupunem că ambele sstemele, (S) ş (S), sunt compatble. Atunc exstă x astfel încât Ax b nt(k) ş u K*, u astfel încât A t u = ş <b,u>. Ca urmare avem < <u, Ax -b > = <u, Ax> - <u, b> = <A t u, x> - <u, b> = -<u, b>, ceea ce conduce la contradcţa <. În consecnţă, sstemele (S) ş (S) nu pot f smultan compatble. Lema 5 (Lema lu Gordon). Fe A M m,n (R) (mulţmea matrcelor cu m ln ş n coloane având coefcenţ real) ş fe b R m. Consderăm sstemele: (S) Ax > (S) A t u =, u, u Atunc unul ş numa unul dntre sstemele (S) ş (S) este compatbl. 66

Optmzăr Demonstraţe. Se aplcă teorema 5 cu K = m R + (atunc nt(k) = m R ++ ). Teoremă 53. Fe H un spaţu Hlbert real fnt dmensonal. Fe K H un con convex propru ş fe S o submulţme a lu H. Atunc punctul x S este elementul mnm al lu S relatv la relaţa K dacă ş numa dacă pentru orce u K*, x este uncul punct de mnm al funcţe x <x,u> pe mulţmea S. Demonstraţe. Presupunem că x S este elementul mnm al lu S relatv la relaţa K ş luăm u K. Atunc pentru orce y S, x K y ( y x K), ş dec <y-x, u> de unde rezultă că x este punct de mnm al funcţe x <x,u> pe mulţmea S. Cum u K*, rezultă că pentru orce y x ( y-x ) cu y x K avem <y-x, u> > ş ca urmare, x este uncul punct de mnm al funcţe x <x,u> pe mulţmea S. Recproc, să presupunem că pentru orce u K*, x este uncul punct de mnm al funcţe x <x,u> pe mulţmea S ş că x nu este elementul mnm al lu S. Atunc exstă y S astfel încât x K y, adcă exstă u K* astfel încât <y-x, u > <. Ca urmare <y, u > < <x, u >, ceea ce contrazce faptul că x este punct de mnm al funcţe x <x,u >. Teoremă 54. Fe H un spaţu Hlbert real. Fe K H un con convex propru ş fe S o submulţme a lu H.. Dacă exstă u K* astfel încât x este punct de mnm al funcţe x <x,u> pe mulţmea S, atunc punctul x este element mnmal al lu S relatv la relaţa K. 67

Mădălna Roxana Bunec. Dacă H este fnt dmensonal ş mulţmea S este convexă ş dacă x este element mnmal al lu S relatv la relaţa K, atunc exstă u K*, u astfel încât x este punct de mnm al funcţe x <x,u> pe mulţmea S. Demonstraţe.. Fe u K* astfel încât x este punct de mnm al funcţe x <x,u> pe mulţmea S. Presupunem prn absurd că x S nu este element mnmal al lu S relatv la relaţa K. Atunc exstă y S, y x astfel încât y K x, ş ca urmare <x-y, u> >, ceea ce contrazce faptul că x este punct de mnm al funcţe x <x,u> pe mulţmea S.. Presupunem că x este element mnmal al lu S relatv la relaţa K sau echvalent ((x K) \ {x }) S =. Deoarece (x K) \ {x }) ş S sunt mulţm convexe nevde rezultă că exstă un hperplan care le separă, adcă exstă u H\{} ş b R astfel încât <u, x - z> b <u, y> (54.) pentru orce z K \ {} ş orce y S. În partcular, <u, x > b + <u, z>, (54.) pentru orce z K \ {}. Presupunând prn absurd că exstă z K\{} astfel încât <u, z> <, înlocund în (54.) z cu λz ş trecând la lmtă cu λ, obţnem o contradcţe <u, x > -. Dec u K*. Fe z K\{} fxat. Dn (54.) rezultă că <u, x - λz> <u, y> (54.3) pentru orce λ > ş orce y S. Trecând la lmtă cu λ în (54.3) obţnem <u, x > <u, y> adcă încât x este punct de mnm al funcţe x <x,u> pe S (ar u K*, u ). Exemplul 55. Consderăm un produs a căru fabrcare necestă n resurse (cum ar f forţă de muncă, electrctate, combustbl, apă, etc.). Produsul poate f fabrcat în ma multe felur. Fecăre metode de fabrcaţe î se asocază un vector x = (x, x,..., x n ) t R n, x semnfcând canttatea de matere prmă (resursă) consumată pentru fabrcarea produsulu prn metoda respectvă ( n). Presupunem de asemenea că resursele 68

Optmzăr au valoare, dec că se preferă consumarea une canttăţ cât ma mc dn fecare resursă. Notăm cu P mulţmea vectorlor x asocaţ metodelor de fabrcaţe. O metodă de fabrcaţe se numeşte efcentă sau Pareto optmală dacă vectorul x asocat este element mnmal al lu P relatv K cu K= m R +. Mulţmea vectorlor asocaţ metodelor efcente de fabrcaţe se numeşte frontera efcentă. Optmaltăţ Pareto se poate da următoarea nterpretare. Spunem că o metodă de producţe cărea î corespunde un vector x = (x, x,..., x n ) t este ma bună decât o altă metodă cărea î corespunde un vector y = (y, y,..., y n ) t dacă x j y j pentru orce j n ş pentru un anumt, x < y, adcă x K y, x y cu K = m R +. Cu alte cuvnte o metodă de producţe este ma bună decât alta dacă nu consumă canttăţ ma mar de resurse, ar pentru una dntre resurse consumă ma puţn. O metodă de producţe este Pareto optmală dacă nu exstă nc o altă metodă de producţe ma bună decât ea. Pentru a găsm metodele de producţe Pareto optmale se poate proceda în felul următor. Pentru fecare u K* (K* = K = mn <x, u>. x P m R + ) se rezolvă problema Pentru u = (u, u,..., u n ) t condţa u K* u > pentru orce n. Interpretarea lu u = (u, u,..., u n ) t este următoarea: u reprezntă costul untăţ dn resursa pentru orce n. Mnmul funcţe x <x, u> pe mulţmea P reprezntă costul mnm pentru fabrcarea produsulu, ar un punct de mnm x al aceste funcţ reprezntă vectorul asocat une metode de fabrcaţe pentru care costul producţe va f mnm. Dacă toate preţurle u ( n) sunt poztve dn teorema 54 () rezultă că metoda de fabrcaţe obţnută va f efcentă (Pareto optmală). 69

Mădălna Roxana Bunec IV.7. Funcţ convexe Defnţe 56. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe f : X R o funcţe. Funcţa f se numeşte convexă dacă pentru orce x, x X avem f(λx + (-λ)x ) λf(x ) + (-λ) f(x ), orcare ar f λ (,) (sau echvalent orcare ar f λ [, ]). Funcţa f se numeşte strct convexă dacă pentru orce x, x X cu x x avem f(λx + (-λ)x ) < λf(x ) + (-λ) f(x ), orcare ar f λ (,). Funcţa f se numeşte concavă dacă f este convexă. Funcţa f se numeşte strct concavă dacă f este strct convexă. Propozţe 57 (Inegaltatea Jensen). Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V ş f : X R o funcţe convexă. Atunc pentru orce x, x,..., x m dn V ş orce λ, λ,..., λ m K, cu λ pentru orce =..m ş m λ =, avem m f( λx ) λf (x ). Demonstraţe. Fe m vector x, x,..., x m dn V ş fe λ, λ,..., λ m K, cu m λ pentru orce =..m ş m λ =. Demonstrăm prn nducţe după m că m f( λx ) λf (x ). Dacă m =, atunc f(x) = f(x) f(x). Presupunem afrmaţa adevărată pentru m ş o demonstrăm pentru m+. Fe x, x,..., x m+ dn V ş fe λ, λ,..., λ m+ K, cu λ m 7

Optmzăr pentru orce =..m+ ş m+ λ =. Dacă λ m+ =, atunc λ = λ =...= λ m =, m+ λx = x m+ ş m+ f( λx ) = f(x m+ ) f(x m+ ) = m+ λf (x ). Dacă λ m+ =, atunc m+ m λx = λx ş conform poteze de nducţe: m+ f( λx ) = f( λx ) Presupunem că λ m+ {,} ş notăm m m m+ λf (x ) = λf (x ). λ = m λ (,). Avem că m λ pentru orce =..m ş λ =. Aplcând poteza de nducţe rezultă λ λ m λ f( x ) λ m λ f (x ). λ Ţnând cont că m+ λx = λ m λ x + (-λ) x m+ λ ş că f este convexă, deducem că m+ f( λx ) = f(λ m m λ x + (-λ) x m+ λ ) λf( x ) + (-λ)f (x m+ ) λ λ m λ λ f (x ) + (-λ)f (x m+ ) = λf (x ) +λ m+ f (x m+ ). λ m 7

Mădălna Roxana Bunec Am arătat astfel că dacă afrmaţa este adevărată pentru m este adevărată ş pentru m+. Propozţe 58 (defnţ echvalente ale funcţlor convexe). Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V ş f : X R o funcţe. Următoarele afrmaţ sunt echvalente:. Funcţa f convexă pe X. Pentru orce x X ş y V, funcţa g x,y defntă prn g x,y (t) = f(x+ty) este convexă pe T(x,y) = {t R: x +ty X} 3. Pentru orce x, y X, funcţa h x,y defntă prn h x,y (λ) = f(λx+(-λ)y) este convexă pe [,]. 4. Mulţmea este convexă. ep(f) = {(x,α) X R : f(x) α} (epgrafcul lu f) Demonstraţe. =>. Arătăm că mulţmea T(x,y) este convexă. Fe t, t T(x,y) ş fe λ (,). Atunc x + (λt + (-λ)t ) y = λ(x + t y) + (-λ)(x + t y) X. Arătăm că g x,y este convexă. Fe t, t T(x,y) ş fe λ (,). Atunc g x,y (λt + (-λ)t ) = f(x + (λt + (-λ)t ) y) = f(λ(x + t y) + (-λ)(x + t y)) λ f(x + t y)+ (-λ)f(x + t y) f convexa =λ g x,y (t ) + (-λ) g x,y (t ). => 3. Pentru orce x, y X ş orce λ [,] avem h x,y (λ) = f(λx+(-λ)y) = f(y +λ(x-y)) =g y,x-y (λ), de unde ţnând cont că [,] T(y, x-y) ş că g y, x-y este convexă, rezultă că h x,y este convexă. 7

Optmzăr 3 => 4. Fe z, z ep(f) ş fe λ (,). Deoarece z, z ep(f), rezultă că exstă x, x X ş α, α R, astfel încât z = (x, α ), z = (x, α ), f(x ) α ş f(x ) α. Avem λz + (-λ)z = λ(x, α ) + (-λ)(x, α ) =(λx + (-λ)x, λ α + (-λ)α ). Pe de altă parte funcţa h x,x este convexă pe [,] ş ca urmare h (λ + λ ) λ h () + (-λ) h () x,x Cum f(x ) α ş f(x ) α, x,x x,x f(λx + (-λ)x ) λf(x ) + (-λ) f(x ). f(λx + (-λ)x ) λf(x ) + (-λ) f(x ) λα + (-λ)α, adcă (λx + (-λ)x, λ α + (-λ)α ) ep(f), ş dec λz + (-λ)z ep(f). 4 =>. Fe x, x X ş fe λ (,). Deoarece z = (x, f(x )) ep(f), z = (x, f(x )) ep(f) ş ep(f) este convexă, rezultă că λz + (-λ)z ep(f). Ţnând cont ş de faptul că λz + (-λ)z = λ(x, f(x )) + (-λ)(x, f(x )) =(λx + (-λ)x, λf(x ) + (-λ), f(x )) ep(f), rezultă că f(λx + (-λ)x ) λf(x ) + (-λ)f(x ), dec că f este convexă. Propozţe 59. Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V ş f : X R o funcţe convexă: Atunc pentru orce α R mulţmea: este convexă. C(α) = {x X: f(x) α} Demonstraţe. Fe α R, x, x C(α) ş fe λ (,). Atunc avem f(x ) α, f(x ) α ş ţnând cont că f este convexă f(λx + (-λ)x ) λf(x ) + (-λ)f(x ) λα + (-λ)α = α, dec λx + (-λ)x C(α), ş ca urmare C(α) este convexă. 73

Mădălna Roxana Bunec Propozţe 6. Fe H un spaţu Hlbert real fnt dmensonal ş fe X o submulţme convexă deschsă a lu H. Fe f : X R o funcţe. Următoarele afrmaţ sunt echvalente:. Funcţa f convexă pe X. Pentru orce x X exstă u H astfel încât pentru orce x X. f(x) f(x ) <u, x x > Demonstraţe. =>. Fe x X. Dn faptul că f este convexă, rezultă că ep(f) este mulţme convexă în spaţu Hbert fnt dmensonal H R. Deoarece (x, f(x )) Fr(ep(F)) rezultă că exstă un hperplan de sprjn în (x, f(x )), dec exstă a = (u,t) H R, (u,t), astfel încât <u,x> + tα <u,x > + tf(x ) (6.) pentru orce (x, α) ep(f). Arătăm că t <. Presupunem prn absurd că t >. Trecând la lmtă în (6.) cu α, obţnem o contradcţe: <u,x > + tf(x ). Dec t. Presupunem prn absurd că t =, ş atunc u. Dn (6.), obţnem <u, x - x> (6.) pentru orce x X. Deoarece X este deschsă ş x X, rezultă că exstă ε> astfel încât B(x, ε) X. Deoarece x ε + u obţnem ε - u u B(x, ε) X, înlocund în (6.), <u, u>, de unde rezultă <u,u> =, ceea ce contrazce u. În consecnţă, t <. Notăm u = - u. Împărţnd în (6.) cu t ş luând α = f(x), obţnem t <u, x x > f(x) - f(x ). =>. Fe x, x X ş fe λ (,). Notăm x λ = λx + (-λ)x X. Ţnând cont de poteză, rezultă că exstă u H astfel încât f(x) f(x λ ) <u, x x λ >, 74

Optmzăr pentru orce x X. În partcular, pentru x = x ş x = x obţnem: f(x ) f(x λ ) <u, x x λ >, (6.3) f(x ) f(x λ ) <u, x x λ >. (6.4) Înmulţnd (6.3) cu λ ş (6.4) cu (-λ) ş adunând relaţ obţnute, rezultă λf(x ) + (-λ) f(x ) λf(x λ ) - (-λ) f(x λ ) λ<u, x x λ > + (-λ) <u, x x λ > λf(x ) + (-λ) f(x ) f(x λ ) <u, λx λx λ +(-λ)x (-λ) x λ > λf(x ) + (-λ) f(x ) f(x λ ) <u, λx + (-λ)x x λ > λf(x ) + (-λ) f(x ) f(x λ ) λf(x ) + (-λ) f(x ) f(x λ ). În consecnţă, λf(x ) + (-λ) f(x ) f(λx + (-λ)x ), adcă f este convexă. Propozţe 6. Fe H un spaţu Hlbert real fnt dmensonal ş fe X o submulţme convexă a lu H. Fe f : X R o funcţe convexă ş fe x nt(x). Atunc f este contnuă în x. Demonstraţe. Deoarece x nt(x), exstă ε > astfel încât B(x, ε) X. Fe {e, e,..., e m } o bază ortonormată a lu H ş fe P = {x + m λe : max λ m ε m }. ε Este uşor de observat că B(x, ) P B(x, ε) ş că P este o mulţme convexă m ş compactă (este închsă ş mărgntă). Mulţmea punctelor extremale ale lu P este Ex(P) = {x + m λe : λ = ε m pentru orce m}. Mulţmea Ex(P) conţne m puncte. Ca urmare orce punct x P se scre sub forma x = m αx cu α, x Ex(P) ş m α =. Dacă notăm M = max f (x) x Ex(P) ( max f (x) x Ex(P) rezultă că exstă deoarece Ex(P) este fntă) ş ţnem cont că f este convexă, f(x) = f( m m αx ) αf ( x ) 75 M.

Mădălna Roxana Bunec Ca urmare, pentru orce x ε B(x, ) P, avem f(x) M. Fe x x, m x B(x, ε ) ş fe t = m m x x (, ). Notăm ε y = ( + t ) x - t x. y = ( - t ) x + t x. Avem y x = y x = ε, ş dec y, y m ε B(x, ). În plus, avem m y = ( + t ) x - t x x = t t + y + ş ţnând cont că f este convexă, rezultă că f(x ) t t + f(y ) + t + x, (t+) f(x ) t f(y ) + f(x) t + f(x) f(x ) f(x) t((f(y ) f(x )). Ţnând cont că y ε B(x, ) P, rezultă f(y ) M ş dec m Pe de altă parte, avem ş ţnând cont că f este convexă, rezultă că f(x ) f(x) t(m f(x )) (6.). y = ( - t ) x + t x x = t y + (-t)x, f(x) tf(y ) + (- t)f(x ) f(x) f(x ) t((f(y ) f(x )). Ţnând cont că y ε B(x, ) P, rezultă f(y ) M ş dec m f(x) f(x ) t(m f(x )) f(x ) f(x) t(f(x )- M) (6. ). 76

Optmzăr Dn (6. ) ş (6. ) rezultă că f(x) f(x ) t(m f(x )) = de unde deducem că f este contnuă în x. m x x ε (M f(x )), Propozţe 6 (operaţ cu funcţ convexe) Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X V o submulţme convexă. Atunc. Dacă f: X R este o funcţe convexă ş α, atunc αf este convexă.. Dacă f, f : X R sunt două funcţ convexe, atunc f + f este convexă. 3. Dacă f, f : X R sunt două funcţ convexe, atunc max{f, f } este convexă. 4. Dacă f: X R este o funcţe convexă, A: V V un operator lnar ş b V, atunc x f(a(x)+b) [Y R] este convexă, unde Y ={x: A(x) + b X} 5. Dacă I este o famle de ndc ş pentru orce I, f : X R este o funcţe convexă, atunc sup f I mulţmea {f (x): I} este mărgntă superor este convexă, presupunând că pentru orce x X, 6. Dacă W un spaţu lnar peste K (K= R sau K= C), Y W o submulţme convexă, g : X Y R o funcţe convexă, ş dacă pentru orce x X, mulţmea {g(x,y): y Y} este mărgntă nferor, atunc funcţa f: X R, defntă prn f(x) = nf g(x, y), este convexă. y Y Demonstraţe. Se aplcă defnţa funcţe convexe. Să arătăm 4, 5 ş 6. 4. Fe x, x Y ş λ (,). Atunc f(a(λx + (-λ)x )+b) = f(λ(a(x ) +b) +(-λ)(a(x )+b)) λf(a(x ) +b) +(-λ)f(a(x )+b). f convexa 5. Fe x, x X ş λ (,). Pentru orce j I, avem f j (λx + (-λ)x ) λf j (x ) + (-λ)f j (x ) f j convexa λ sup f (x ) + (-λ) sup f (x ), I 77 I

de unde deducem I Mădălna Roxana Bunec sup f (λx + (-λ)x ) λsup f (x ) + (-λ) sup f (x ). I I 6. Fe x, x X ş λ (,). Pentru orce y, y Y, avem g(λx + (-λ)x, λy + (-λ)y ) Ţnând cont de defnţa lu f, avem f(λx + (-λ)x ) = nf g (λx + (-λ)x, y) y Y = y Y λg(x, y ) + (-λ)g(x, y ) g convexa nf g (λx + (-λ)x, λy + (-λ)y) nf y,y Y y,y g (λx + (-λ)x, λy + (-λ)y ) nf (λg(x, y ) + (-λ)g(x, y )) Y = λ nf y Y g(x, y)) + (-λ) nf y g(x, y) Y = λf(x ) + (-λ)f(x ). Propozţe 63 (compunerea funcţlor convexe) Fe V un spaţu lnar peste K (K= R sau K= C) ş fe X V o submulţme convexă. Atunc. Dacă f: X R este o funcţe convexă ş g: co(f(x)) R este monoton crescătoare ş convexă, atunc g f este o funcţe convexă.. Dacă g: X R m, g(x) = (g (x), g (x),..., g m (x)) t, are propretatea că fecare componentă scalară g este convexă ş dacă f: Y R este convexă (unde Y este o submulţme convexă a lu R m ce conţne g(x)) ş are propretatea că pentru orce y z (în R m ), f(y) f(z), atunc f g este o funcţe convexă Demonstraţe.. Fe x, x X ş λ (,). Atunc g f(λx + (-λ)x ) = g(f(λx + (-λ)x )) g(λf(x ) + (-λ)f(x )) f convexa g crescatoare λ g(f(x )) + (-λ)g(f(x )) g convexa. Fe x, x X ş λ (,). Atunc 78

Optmzăr f g(λx + (-λ)x ) = f(g (λx + (-λ)x ),..., g m (λx + (-λ)x )) f(λg (x ) + (-λ)g (x ),..., λg m (x ) + (-λ)g m (x )) g convexa f "crescatoare" = f(λg(x ) + (-λ)g(x )). λ f(g(x )) + (-λ)f(g(x )) f convexa Defnţe 64. Fe H un spaţu Hlbert real, fe X o submulţme convexă a lu H ş f : X R o funcţe convexă. Notăm Y = {y H, Funcţa g : Y R, defntă prn g(y) = funcţe f. sup (<y, x> - f(x)) < } x X sup (<y, x> - f(x)), se numeşte conjugata x X Propozţe 65. Fe H un spaţu Hlbert real, fe X o submulţme convexă a lu H ş f : X R o funcţe convexă. Conjugata funcţe f este o funcţe convexă. de unde ş ca urmare Demonstraţe. Fe y, y Y ş fe λ (,). Deoarece y, y Y, avem sup (<y, x> - f(x)) + x X sup (λ<y, x> - λf(x)) + x X sup (<y, x> - f(x)) <, x X sup ((-λ)<y, x> - (-λ)f(x)) <, x X sup (λ<y, x> - λf(x) + (-λ)<y, x> - (-λ)f(x)) < x X sup (<λy + (-λ)y, x> - f(x)) <, x X dec λy + (-λ)y Y, adcă Y este convexă. Fe g conjugata funcţe f. Arătăm că g este convexă. Fe y, y Y ş fe λ (,). Avem g(λy + (-λ)y ) = = sup (<λy + (-λ)y,x> - f(x)) x X sup (λ<y,x> - λf(x) + (-λ)<y,x> - (-λ)f(x)) x X sup (λ<y,x> - λf(x)) + x X 79 sup ((-λ)<y,x> - (-λ)f(x)) x X

Mădălna Roxana Bunec = λ sup (<y,x> - f(x)) + (-λ) sup (<y,x> -f(x)) x X = λg(y ) + (-λ)g(y ), de unde rezultă că g este convexă. x X Propozţe 66. Fe H un spaţu Hlbert real, fe X o submulţme convexă deschsă a lu H ş f : X R o funcţe convexă. Dacă g : Y R este conjugata funcţe f, atunc. <x, y> f(x) + g(y) pentru orce x, y Y. Pentru orce x X, exstă y x Y, astfel încât <x, y x > = f(x) + g(y x ). 3. Dacă Y este deschsă, atunc conjugata lu g este f. 4. V ş W sunt două subspaţ ortogonale ale lu H, atunc nf sup x X f(x) V y Y W Demonstraţe.. Dn defnţa conjugate avem <y, x> - f(x) g(y) pentru orce x X ş orce y Y, de unde rezultă. -g(y). Fe x X. Conform propozţe 6, rezultă că exstă u H astfel încât pentru orce x X, sau echvalent f(x) f(x ) <u, x x > <u, x > - f(x) <u, x > - f(x ) pentru orce x X, de unde trecând la supremum după x, obţnem Dec <u, x > - f(x ) = y x = u, rezultă. <u, x > - f(x ) sup <u, x > - f(x) <u, x > - f(x ). x X sup <u, x > - f(x), adcă <u, x > - f(x ) = g(u ). Luând x X 3. Fe h conjugata lu g. Pentru orce x X ş orce y Y, dn avem <x, y> - g(y) f(x ), de unde rezultă că 8

f(x ) Optmzăr sup (<x, y> - g(y)). (66.) y Y Pe de altă parte dn rezultă că exstă y x astfel încât <x, y x > - g( y x ) = f(x ), dec f(x ) sup (<x, y> - g(y)). (66.) y Y Dn (66.) ş (66.) rezultă că f(x ) = sup (<x, y> - g(y)) = h(x ) pentru orce x X. y Y 4. Pentru orce x V ş orce y W, avem <x, y> = fndcă V ş W sunt ortogonale. Dn reyultă că f(x) + g(y) pentru orce x X V ş orce y Y W. În consecnţă, nf f(x) sup V y Y x X W -g(y) Propozţe 67. Fe X o submulţme convexă deschsă a lu R n ş fe f:x R o funcţe dferenţablă pe X. Următoarele afrmaţ sunt echvalente: de unde,. f este convexă. f(y) f(x) < f(x), y -x> pentru orce x, y X 3. < f(y) - f(x), y - x> pentru orce x, y X Demonstraţe. =>. Fe x, y X ş fe λ (,). Deoarece f este convexă, f(λy + (-λ)x) λf(y) + (-λ)f(x) f(y) f(x) Trecând la lmtă cu λ, λ >, obţnem f(y) f(x) f (x + λ (y x)) f (x) λ f (x) = < f(x), y-x>. (y x) =>. Rezultă aplcând propozţa 6 cu u = f(x ). => 3. Fe x, y X. Ţnând cont de avem 8.

Mădălna Roxana Bunec f(y) f(x) < f(x), y-x> f(x) f(y) < f(y), x-y> ş adunând cele două relaţ obţnem < f(x) - f(y), y-x> < f(y) - f(x), y-x>. 3 =>. Aplcând formula lu Taylor, rezultă că exstă θ (, ) astfel încât f(y) f(x) = < f(y+θ(x-y), y-x> (67.) Dn 3 rezultă < f(y+θ(x-y)) - f(x), y+θ(x-y) - x> < f(y+θ(x-y)) - f(x), (-θ)(y x)> < f(y+θ(x-y)), (-θ)(y x)> < f(x), (-θ)(y x)> (-θ)< f(y+θ(x-y)), (y x)> (-θ)< f(x), (y x)> < f(y+θ(x-y)), (y x)> < f(x), (y x)> (67.) Folosnd (67.) ş (67.), obţnem < f(y) f(x), (y x)> < f(x), (y x)>. Propozţe 68 Fe X o submulţme convexă deschsă a lu R n ş fe f:x R o funcţe de clasă C. Următoarele afrmaţ sunt echvalente:. f este convexă. Hf(x) este poztv semdefntă pentru orce x X Demonstraţe. =>. Presupunem prn absurd că exstă x X astfel încât Hf(x) nu este poztv semdefntă, adcă exstă v R n, v astfel încât <v, Hf(x)v> <. Deoarece f este de clasă C rezultă că exstă o vecnătate ε > astfel încât <v, Hf(y)v> < pentru orce y B(x,ε). De asemenea pentru orce t R, t avem pentru orce y B(x,ε). Fe δ = ε <tv, Hf(y)(tv)> = t <v, Hf(y)v> < (68.). Este uşor de observat că x + t v B(x,ε) v pentru orce t cu t δ. Aplcând formula lu Taylor, rezultă că exstă t (, δ) astfel încât 8

Optmzăr f(x+δv) = f(x) + < f(x), δv> + <δv, Hf(x+t v)(δv)> f(x+δv) - f(x) = < f(x), δv> + <δv, Hf(x+t v)(δv)> (68.) Ţnând cont de propozţa 67 (), deoarece f este convexă avem Dn (68.) ş (68.3) rezultă ceea ce contrazce (68.). f(x+δv) - f(x) < f(x), x+δv -x> = < f(x), δv> (68.3) < f(x), δv> + <δv, Hf(x+t v)(δv)> < f(x), δv> <δv, Hf(x+t v)(δv)> δ <v, Hf(x+t v)v> =>. Fe x, y X. δ. Aplcând formula lu Taylor, rezultă că exstă z = x+θ(y-x) astfel încât f(y) = f(x) + < f(x), y-x> + <y-x, Hf(z)(y-x)> (68.4) Deoarece Hf(z) este poztv semdefntă, <y-x, Hf(z)(y-x)> de (68.4) rezultă că f(y) = f(x) + < f(x), y-x>, de unde, folosnd propozţa 67 (), rezultă că f este convexă ş ţnând seama Alte tpur de convextate Defnţe 69. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe f : X R o funcţe. Funcţa f se numeşte cvas-convexă dacă pentru orce x, x X avem f(λx + (-λ)x ) max(f(x ), f(x )), orcare ar f λ (,) (sau echvalent orcare ar f λ [, ]). Funcţa f se numeşte strct cvas-convexă dacă pentru orce x, x X cu f(x ) f(x ) avem 83

Mădălna Roxana Bunec f(λx + (-λ)x ) < max(f(x ), f(x )), orcare ar f λ (,). Funcţa f se numeşte cvas-concavă dacă f este cvas-convexă. Funcţa f se numeşte strct cvas-concavă dacă f este strct cvas-convexă. Funcţa f se numeşte cvas-lnară dacă f este cvas-convexă ş cvas-concavă. Propozţe 7 (defnţ echvalente ale funcţlor cvas-convexe). Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V ş f : X R o funcţe. Următoarele afrmaţ sunt echvalente:. Funcţa f cvas-convexă pe X. Pentru orce x X ş y V, funcţa g x,y defntă prn g x,y (t) = f(x+ty) este cvas-convexă pe T(x,y) = {t R: x +ty X} 3. Pentru orce x, y X, funcţa h x,y defntă prn h x,y (λ) = f(λx+(-λ)y) este cvas-convexă pe [,]. 4. Pentru orce α R mulţmea: C(α) = {x X: f(x) α} este convexă. Dacă în plus X este deschsă ş f este de clasă C, atunc orcare dntre afrmaţle -4 sunt echvalente cu afrmaţle 5 ş 6 de ma jos: 5. Pentru orce x, x X cu f(x ) f(x ), avem < f(x ), x - x > 6. Pentru orce x, x X cu < f(x ), x - x > >, avem f(x ) > f(x ). Defnţe 7. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe f : X (, ) o funcţe. Funcţa f se numeşte log-convexă dacă funcţa x log(f(x)) este convexă pe X (adcă pentru orce x, x X avem f(λx + (-λ)x ) f(x ) λ f(x ) -λ, orcare ar f λ (,) (sau echvalent orcare ar f λ [, ])). Funcţa f se numeşte log-concavă dacă funcţa x log(f(x)) este concavă pe X (adcă pentru orce x, x X avem f(λx + (-λ)x ) f(x ) λ f(x ) -λ, orcare ar f λ (,) (sau echvalent orcare ar f λ [, ])). 84

Optmzăr Defnţe 7. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă, fe H un spaţu normat ş fe K H un con propru. O funcţe f: X H se numeşte convexă relatv la relaţa de ordne parţală defntă de conul K pe H dacă pentru orce x, x X avem f(λx + (-λ)x ) K λf(x ) + (-λ) f(x ), orcare ar f λ (,) (sau echvalent orcare ar f λ [, ]).(reamntm că y K y dacă ş numa dacă y y K) 85

Mădălna Roxana Bunec 86

Optmzăr V. Condţ de optmaltate cazul problemelor de optmzare cu restrcţ negaltăţ.. Notaţ. n R + = {x R n, x }, unde pentru x=(x, x,..., x n ) t, x dacă ş numa dacă x j pentru orce j n. n R ++ = {x R n, x >}, unde pentru x=(x, x,..., x n ) t, x > dacă ş numa dacă x j > pentru orce j n. 3. Pentru o funcţe ϕ : X R m, notăm ϕ j m componentele scalare ale lu ϕ (adcă ϕ(x) = (ϕ (x), ϕ (x),..., ϕ m (x) t pentru orce x X). Prn ϕ(x) înţelegem ϕ (x) pentru orce j m, ar prn ϕ(x) > înţelegem ϕ (x)> pentru orce j m. 4. Pentru o funcţe ϕ : X R m, notăm Vom consdera problema de optmzare: unde f: X R, ϕ : X R m, m. X ϕ = {x X: ϕ(x) }. x X nf f x ϕ Defnţe. Fe X o mulţme, f: X R, ϕ : X R m, m. Funcţa Lagrange asocată probleme de optmzare cu restrcţ negaltăţ se defneşte ca L : X m R+ R, x X nf f x ϕ, 87

Mădălna Roxana Bunec L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x), pentru orce x X ş orce u m R +. Componentele u, u,..., u m ale vectorulu u se numesc varable duale ale probleme de optmzare sau multplcator Lagrange. V.. Condţ sufcente de optmaltate de tp punct şa Defnţe. Fe X o mulţme, L : X m R+ R o funcţe. Punctul (x,u ) X R m + se numeşte punct şa pentru L dacă L(x, u) L(x, u ) L(x, u ) pentru orce u R m + ş x X. Cu alte cuvnte u este punct de maxm pentru funcţa u L(x, u) ar x este punct de mnm pentru funcţa x L(x, u ). Propozţe 3. Fe X o mulţme, f: X R, ϕ : X R m, m ş L:X R m + R funcţa Lagrange asocată probleme de optmzare x X nf f x ϕ Dacă (x,u ) X R m + este punct şa pentru L, atunc x este punct de mnm global pentru f pe X ϕ ş are loc condţa ecarturlor complementare: <u, ϕ(x )>. Demonstraţe. Deoarece (x,u ) X R m + este punct şa pentru L, pentru orce u R m + avem L(x, u) L(x, u ) f(x ) - <u,ϕ(x )> f(x ) - <u,ϕ(x )> 88

Optmzăr - <u,ϕ(x )> - <u,ϕ(x )> <u,ϕ(x )> - <u,ϕ(x )> (3.) Arătăm că ϕ(x ). Presupunem prn absurd că exstă, m, astfel încât ϕ (x ) <. Luăm u = ( u, u,..., ş înlocundu-l în (3.) obţnem, u, + u, -ϕ (x )> u +,..., u m ) t R m + ceea ce contrazce ϕ (x ) <. Dec ϕ(x ), ş ca urmare x X ϕ. Deoarece ϕ(x ) ş u, avem Înlocund u = în (3.) obţnem <u, ϕ(x )>. (3.) <u, ϕ(x )>. (3.3) Dn (3.) ş (3.3) obţnem condţa ecarturlor complementare: <u, ϕ(x )> =. Deoarece (x,u ) X R m + este punct şa pentru L, pentru orce x X avem L(x, u ) L(x, u ) f(x ) - <u,ϕ(x )> f(x) - <u,ϕ(x)> Ţnând cont de condţa ecarturlor complementare rezultă pentru orce x X f(x ) f(x) - <u,ϕ(x)>. (3.4) Pentru orce x X ϕ, avem ϕ(x), de unde rezultă <u,ϕ(x)>. (3.) Dn (3.4) ş (3.5) obţnem că pentru orce x X ϕ f(x ) f(x) - <u,ϕ(x)> f(x), 89

Mădălna Roxana Bunec adcă x este punct de mnm global al lu f pe X ϕ. V.. Condţ de optmaltate pentru funcţ convexe Propozţe 4. Fe V un spaţu normat, X o submulţme convexă a lu V ş f:x R o funcţe convexă. Atunc un punct x este punct de mnm local pentru f dacă ş numa dacă x este punct de mnm global pentru f. Demonstraţe. Evdent dacă x este punct de mnm global pentru f atunc x este punct de mnm local pentru f. Recproc să presupunem că atunc x este punct de mnm local pentru f. Fe x X. Dacă x = x, atunc f(x) = f(x ) f(x ). Presupunem că x x. Deoarece x este punct de mnm local pentru f, rezultă că exstă ε > astfel încât f(x ) f(y) (4.) pentru orce y X B(x, ε). Dacă luăm λ = mn(, ε ), x x atunc λ (, ]. Ţnând cont că X este convexă ş că x, x X, rezultă Pe de altă parte x + λ(x-x ) = λx + (-λ)x X (4.). x + λ(x-x ) x = λ(x-x ) = λ x-x ε x-x ε = < ε, x x de unde rezultă că x + λ(x-x ) B(x, ε) ş ţnând cont de (4.), se obţne Folosnd (4.) rezultă x + λ(x-x ) B(x, ε) X. 9

Optmzăr f(x ) f(x + λ(x-x )) = f(λx + (-λ)x ) λf(x) + (-λ) f(x ) f convexa f(x ) λf(x) + (-λ) f(x ) λf(x ) λf(x) f(x ) f(x), dec x este punct de mnm global pentru f. Propozţe 5. Fe X o submulţme convexă deschsă a lu R n ş f : X R o funcţe convexă dferenţablă. Atunc un punct x X este punct de mnm global pentru f dacă ş numa dacă f(x ) =. Demonstraţe. Presupunem că x X este punct de mnm global pentru f. Atunc (deoarece avem o problemă de optmzare pe o mulţme deschsă X) rezultă f(x ) =. Recproc, presupunem că f(x ) =. Dn faptul că f este convexă, rezultă că orcare ar f x X, avem de unde f(x) f(x ) < f(x ), x x > = <, x x > =, f(x) f(x ). Aşadar x este punct de mnm global pentru f. Propozţe 6. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe ϕ = (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ :X R este concavă pentru orce m. Atunc mulţmea este convexă. X ϕ = {x X: ϕ(x) }. Demonstraţe. Fe x, x X ϕ ş fe λ (,). Fe, m. Deoarece x ş x X ϕ, avem ϕ (x ) ş ϕ (x ). Ţnând cont de faptul că ϕ este concavă, obţnem ϕ (λx + (-λ)x ) λϕ (x ) + (-λ)ϕ (x ). 9

Mădălna Roxana Bunec Cum ϕ (λx + (-λ)x ) pentru orce, m, rezultă λx + (-λ)x X ϕ. Aşadar X ϕ este convexă. Propozţe 7. Fe V un spaţu normat, X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ= (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ :X R este concavă pentru orce m. Atunc x X ϕ este soluţe optmă locală a probleme nf f x x X dacă ş numa dacă x X ϕ este soluţe optmă globală (adcă, x este punct de mnm local pentru f pe X ϕ dacă ş numa dacă x este punct de mnm global pentru f pe X ϕ ). ϕ Demonstraţe. Conform propozţe 6, X ϕ este mulţme convexă. Se aplcă în contnuare propozţa 4. V.3. Condţa necesară de optmaltate Frtz-John Propozţe 8. (condţa necesară Frtz-John) Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ = (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ : X R este concavă pentru orce m. Dacă x X ϕ este punct de mnm al lu f pe X ϕ, atunc exstă t R + ş u R m + astfel încât. (t, u ). <u,ϕ(x )> = 3. (x,u ) este punct şa pentru funcţa Lagrange-Frtz-John, L t :X R m + R, defntă prn 9

Demonstraţe. Notăm Optmzăr L t (x, u) = t f(x) - <u,ϕ(x)> = t f(x) - P = {(α,v) R R m : α f(x ) ş v } m u ϕ (x). S = {(α,v) R R m : exstă x X astfel încât α f(x) ş v -ϕ(x)} Arătăm că P ş S sunt mulţm convexe. Fe (α,v ), (α,v ) P ş λ (, ). Avem λ(α,v ) + (-λ)(α,v ) = (λα + (-λ)α, λv + (-λ)v ) (8.) Deoarece (α,v ), (α,v ) P avem α f(x ), α f(x ) ş λα + (-λ)α λf(x ) + (-λ)f(x ) = f(x ) (8.) Deoarece (α,v ), (α,v ) P avem v, v ş λv + (-λ)v (8.3) Dn (8.), (8.) ş (8.3) avem λ(α,v ) + (-λ)(α,v ) P, ş ca urmare P este convexă. Fe (α,v ), (α,v ) S ş λ (, ). Deoarece (α,v ), (α,v ) S, exstă x,x X astfel încât α f(x ) ş v -ϕ(x ) ş α f(x ) ş v -ϕ(x ). Arătăm că (λα + (-λ)α, λv + (-λ)v ) S. Deoarece X este convexă, avem Dn faptul că f este convexă rezultă că λx + (-λ) x X. f(λx + (-λ) x ) λf(x ) + (-λ)f(x ) λα + (-λ)α (8.4) Deoarece pentru orce {,,..., m} funcţa ϕ este concavă, rezultă -ϕ este convexă ş ca urmare -ϕ (λx + (-λ) x ) -λϕ (x ) - (-λ)ϕ (x ) λv + (-λ)v (8.5) Ţnând cont de (8.4), (8.5) ş de faptul că λ(α,v ) + (-λ)(α,v ) = (λα + (-λ)α, λv + (-λ)v ) rezultă că λ(α,v ) + (-λ)(α,v ) S ş în consecnţă S este convexă. 93

Mădălna Roxana Bunec Arătăm că nt(p) S =. Presupunem prn absurd că (α,v) nt(p) S. Dn faptul că (α,v) nt(p) se obţne α < f(x ) ş v <. Iar dn faptul că (α,v) S rezultă că exstă x X astfel încât α f(x) ş v -ϕ(x). Ca urmare, ϕ(x) -v > de unde x X ϕ. Aşadar se obţne contradcţa α < f(x ) f(x) α, x punct de mnm dec nt(p) S =. În consecnţă, P ş S pot f separate prntr-un hperplan, dec exstă a =(t, u ) R m+, a astfel încât t α + <u, v> t β + <u, w> pentru orce (α,v) S ş (β,w) P (8.6) Avem t (presupunând prn absurd că t < ş trecând la lmtă cu β - ş cu α în (8.6) obţnem contradcţa - ). De asemenea avem u (presupunând prn absurd că exstă astfel încât v = -ϕ(x ) ş α = f(x ) u < ş luând în (8.6) w = (-ϕ (x ), -ϕ (x ),... -ϕ - (x ), t-ϕ (x ), -ϕ + (x ),... -ϕ n (x )) t, cu t < ş β=f(x ) obţnem contradcţe cu u <. t f(x )+ <u, -ϕ(x)> t f(x ) + <u, w> <u, w+ϕ(x)> t u Ţnând seama de (8.6) ş de faptul că (f(x),-ϕ(x)) S pentru orce x X ş (f(x ),) P obţnem Dacă în (8.7) luăm x = x obţnem t f(x) -<u, ϕ(x)> t f(x ) pentru orce x X (8.7) -<u, ϕ(x )>. 94

Optmzăr Pe de altă parte avem ϕ(x ) ş cum u rezultă <u, ϕ(x )>. Aşadar <u, ϕ(x )> =. Pentru orce u R m + avem dec L t (x, u) = t f(x ) - <u,ϕ(x )> t f(x ) = t f(x ) +<u, ϕ(x )> = L t (x, u) Pentru orce x X avem dec L t L t (x, u ) pentru orce u R m +. (8.8) (x, u ) = t f(x) - <u,ϕ(x)> (8.7) t f(x ) = t f(x ) - <u, ϕ(x )> = L t (x, u ) L t (x, u ) pentru orce x X. (8.9) Dn (8.8) ş (8.9) rezultă că (x, u ) este punct şa pentru funcţa L t. L t (x, u ), L t (x, u ), V.4. Condţa de regulartate Slater Defnţe 9. Fe V un spaţu lnar peste K (K= R sau K= C) ş X V o submulţme convexă. Se spune că un punct x X este n nterorul relatv al lu X dacă pentru orce x X exstă x X ş λ (, ) astfel încât x = λx + (-λ)x. Pentru orce x dn nterorul relatv al lu X, orce x X ş λ (,), λx +(- λ)x este în nterorul relatv al lu X. Interorul relatv al une mulţm convexe (nevde) este o mulţme convexă (nevdă). Dacă X este nterorul relatv al mulţm convexe X, atunc nterorul relatv al lu X este X []. 95

Mădălna Roxana Bunec Defnţe. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe ϕ = (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ j :X R este concavă pentru orce j m. Spunem că un punct x dn nterorul relatv al mulţm X este punct Slater dacă ϕ j ( x ) > pentru orce j cu ϕ j nelnară ϕ j ( x ) pentru orce j cu ϕ j lnară Spunem că mulţmea X ϕ = {x X: ϕ j (x) pentru orce j, j m}. satsface condţa de regulartate Slater dacă exstă un punct Slater x X. O restrcţe ϕ j se numeşte restrcţe sngulară dacă are propretatea că ϕ j (x) = pentru orce x X ϕ. În caz contrar, ϕ j se numeşte restrcţe regulată. Se notează cu: J s = {j: j m, ϕ j (x) = pentru orce x X ϕ }(mulţmea restrcţlor sngulare) J r = {j: j m, exstă x X ϕ astfel încât ϕ j (x)<} = {,,..., m}\ J s (mulţmea restrcţlor regulate) dacă Un punct x dn nterorul relatv al mulţm X se numeşte punct Slater deal ϕ j ( x ) > pentru orce j J r (mulţmea restrcţlor regulate) ϕ j ( x ) = pentru orce j J s (mulţmea restrcţlor sngulare) Lema. Fe V un spaţu lnar peste K (K= R sau K= C), fe X V o submulţme convexă ş fe ϕ = (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ j :X R este concavă pentru orce j m. Dacă X ϕ satsface condţa de regulartate Slater, atunc exstă un punct Slater deal x X ϕ. Demonstraţe. Deoarece X ϕ satsface condţa de regulartate Slater, exstă un punct Slater x X ϕ. Pentru orce j J r exstă x j X ϕ astfel încât ϕ j (x j ) >. Dacă luăm λ >, λ j > pentru orce j J r astfel încât λ + λ j =, atunc ţnând cont de j J r concavtatea funcţlor ϕ j, rezultă că x = λ x + j λ jx este un punct Slater deal. j J r 96

Optmzăr Propozţe (Lema lu Faras varanta convexă). Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ= (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ j : X R este concavă pentru orce j m. Presupunem că X ϕ = {x X: ϕ(x) } satsface condţa de regulartate Slater. Atunc sstemul f(x) < ϕ(x) x X nu are nc o soluţe dacă ş numa dacă exstă v R m + astfel încât Demonstraţe. Dacă sstemul f(x) - <v, ϕ(x)> pentru orce x X. f(x) < ϕ(x) x X are o soluţe x, atunc pentru orce v R m + f(x ) - <v, ϕ(x )> < - <v, ϕ(x )>, ş ca urmare nu exstă v R m + astfel încât f(x ) - <v, ϕ(x )>. Recproc să presupunem că sstemul nu admte nc o soluţe. Notăm S = {(α,v) R R m : exstă x X astfel încât α > f(x), v j -ϕ j (x) pentru orce j J r ş v j = - ϕ j (x) pentru orce j J s } Arătăm că S este mulţme convexă. Fe (α,v ), (α,v ) S ş λ (, ). Deoarece (α,v ), (α,v ) S, exstă x, x X astfel încât α > f(x ), v j -ϕ j (x ) pentru orce j J r, v j = -ϕ j (x ) pentru orce j J s ş α > f(x ) v j -ϕ j (x ) pentru orce j J r, v j 97

Mădălna Roxana Bunec = -ϕ j (x ) pentru orce j J s. Arătăm că (λα + (-λ)α, λv + (-λ)v ) S. Deoarece X este convexă, avem λx + (-λ) x X. Dn faptul că f este convexă rezultă că f(λx + (-λ) x ) λf(x ) + (-λ)f(x ) < λα + (-λ)α (.) Deoarece pentru orce j funcţa ϕ j este concavă, rezultă -ϕ j este convexă ş ca urmare pentru orce j J r, avem -ϕ j (λx + (-λ) x ) -λϕ j (x ) - (-λ)ϕ j (x ) λ v j + (-λ) v (.) Deoarece X ϕ satsface condţa de regulartate Slater rezultă că orce restrcţe sngulară este lnară. Ca urmare, pentru orce j J s, avem ϕ j (λx + (-λ) x ) = λϕ j (x ) + (-λ)ϕ j (x ) = -λ v j - (-λ) v (.3) Ţnând cont de (.), (.), (.3) ş de faptul că λ(α,v ) + (-λ)(α,v ) = (λα + (-λ)α, λv + (-λ)v ) rezultă că λ(α,v ) + (-λ)(α,v ) S ş în consecnţă S este convexă. Fe W=sp(S) subspaţul vectoral generat de S. Deoarece sstemul consderat nu are nc o soluţe, S. Ca urmare, {} ş S (prvte ca submulţm ale lu W) pot f separate prntr-un hperplan, dec exstă a =(t, u ) R m+, a astfel încât t α + <u, v> pentru orce (α,v) S (.4) Hperplanul H a, ={x W: <a,x> = } nu poate conţne toate punctele dn S (în caz contrar, S H a, subspaţu vectoral, ca urmare W= sp(s) H a, = W, ceea ce contrazce faptul ca dmh a, = dm W ). Dec exstă ( α, v ) S astfel încât t α + <u, v > > (.5) Avem t (presupunând prn absurd că t < ş trecând la lmtă cu α în j j (.4) obţnem contradcţa - ). De asemenea avem u pentru orce J r (presupunând prn absurd că exstă J r astfel încât u < ş luând în (.4) 98

Optmzăr v= (,,..., t,,..., ) t = te, cu t > (sufcent de mare) obţnem t α + t u ş trecând la lmtă cu t obţnem contradcţa - ). Ţnând seama de (.4) ş de faptul că (ε+f(x),-ϕ(x)) S pentru orce x X ş orce ε> obţnem ş trecând la lmtă cu ε rezultă t f(x) +t ε - <u, ϕ(x)> pentru orce x X t f(x) - <u, ϕ(x)> (.6) pentru orce x X. Arătăm că t. Presupunem prn absurd cã t =. Atunc u ş dn (.6) ar rezulta cã <u,ϕ(x)> (.7) pentru orce x X. Cum X ϕ satsface condţa de regulartate Slater, exstă un punct Slater deal x X ϕ, adcă un punct x X ϕ pentru care ϕ j ( x ) > pentru orce j J r ş ϕ j ( x ) = pentru orce j J s. Înlocund în (.7) x cu x se obţne Cum j J r ϕ (.8) u j j ( x) u pentru orce J r ş ϕ ( x ), rezultă că u j j ( x) cont de (.8), se obţne u j j ( x) ϕ j J r sume sunt nenegatv rezultă u j ϕ j ( x) astfel ş ţnând cont de (.5) rezultă ϕ j J r, ar ţnând = pentru orce x X ϕ. Cum toţ termen = pentru orce j J r ş x X ϕ. Se obţne u j = pentru orce J r, (.9) j j u v > (.) j J s 99

Cum ( α, v ) S exstă x* X astfel încât Mădălna Roxana Bunec v j = - ϕ j (x*) pentru orce j J s. Înlocund în (.) obţnem ( x ) * jϕj u < (.) j J s Deoarece punctul Slater deal x este în nterorul relatv al lu X ş x* X, rezultă că exstă x X ş λ (, ) astfel încât x = λx* + (-λ) x. Utlzând faptul că ϕ j ( x ) = pentru j J s ş că toate restrcţle sngulare sunt lnare se obţne = u j ϕ j ( x) * = u jϕj λ x + ( λ) x j J s j J s * = λ u jϕj ( x ) j J s > (.) = +( λ) u j ϕ j x ( λ) u ϕ x j J s j j < j J s de unde rezultă că u j ϕ j ( x) > (.) j J s Luând în (.7) x = x ş ţnând de relaţa (.9), conform cărea J r, se obţne u j ϕ j ( x), j J s u = pentru orce ceea ce contrazce (.). În consecnţă, presupunerea că t = este falsă ş dec t >. Împărţnd cu t > în (.6) ş notând w = t u se obţne pentru orce x X. Avem j j (.3) f(x) - w ϕ ( x) j J r J s w j pentru orce j J r. Rămâne să arătăm că putem alege w astfel încât w j > pentru orce j J s. Demonstrăm prn nducţe după

Optmzăr numărul de elemente dn J s (număr de restrcţ actve). Dacă J s =, atunc evdent lema este adevărată. Dacă J s conţne un sngur element s, sstemul -ϕ s (x) < ϕ j (x), j J r x X nu are nc o soluţe. Aplcând raţonamentul care ne-a condus la (.3) sstemulu de ma sus rezultă că exstă w j pentru orce j J r astfel încât j j j J r ϕ (.4) -ϕ s (x) - w ( x) pentru orce x X. Luând w s > max{ - la (.3) se obţne f(x) - pentru orce x X. w s, } înmulţnd (.4) cu w s ş adunînd- w j w s w j j ( x + ϕ ) - ( w s + w s )ϕ s (x) j J r Presupunem că lema este adevărată pentru probleme cu număr de restrcţ sngulare ma mc sau egal cu ş demonstram că este adevărată pentru cazul în care numărul de elemente dn J s este +. Fe s J s. Atunc J s \ {s} are elemente. Sstemul -ϕ s (x) < ϕ j (x), j J r (J s \ {s}) x X nu are nc o soluţe. Aplcând poteza de nducţe, rezultă că exstă w j pentru orce j J r ş w j > pentru orce j J s \{s} astfel încât -ϕ s (x) - w jϕj ( x) (.5) j J r ( J s \{s})

pentru orce x X. Luând w s > max{ - la (.3) se obţne f(x) - pentru orce x X. Mădălna Roxana Bunec w s, } înmulţnd (.4) cu w s ş adunînd- w j ws w + j ϕ j ( x) - ( w s + w s )ϕ s (x) j J r ( J s \{ s} ) Ca urmare exstă v cu v j > pentru orce j J s astfel încât f(x) - <v, ϕ(x)> V.5. Condţ necesare ş sufcente de optmaltate cazul problemelor de optmzare convexă Propozţe 3. (condţ necesare în cazul poteze de regulartate Slater) Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ= (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ : X R este concavă pentru orce m. Presupunem că X ϕ satsface condţa de regulartate Slater. Dacă x X ϕ este punct de mnm al lu f pe X ϕ, atunc exstă u R m + astfel încât (x,u ) este punct şa pentru funcţa Lagrange, L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> = f(x) - Demonstraţe. Consderăm sstemul m u ϕ (x). f(x)-f(x ) < ϕ(x) x X

Optmzăr Deoarece x X ϕ este punct de mnm al lu f pe X ϕ, sstemul consderat nu are nc o soluţe. Aplcând lema lu Faras-varanta convexă, rezultă că exstă u R m + astfel încât f(x) f(x ) - <u, ϕ(x)> pentru orce x X. (3.) Luând în (3.) x = x se obţne - <u, ϕ(x )> sau echvalent <u, ϕ(x )>. Cum x X ϕ ş u R m + avem <u, ϕ(x )>. Dec <u, ϕ(x )> =. Pentru orce u R m + avem L(x, u) = f(x ) - <ϕ(x ), u > f(x ) = f(x ) - <u, ϕ(x )> = L(x, u ) (3.) <ϕ x,u> Pentru orce x X avem: L(x, u ) = f(x ) - <u, ϕ(x )> = f(x ) f(x) <u, ϕ(x)> = L(x, u ). (3.3) ( 3.) Dn (3.) ş (3.3) rezultă că (x, u ) este punct şa pentru funcţa Lagrange L. Propozţe 4. (condţ necesare ş sufcente în cazul poteze de regulartate Slater) Fe V un spaţu normat, X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ= (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ :X R este concavă pentru orce m. Presupunem că X ϕ satsface condţa de regulartate Slater. Următoarele afrmaţ sunt echvalente:. x este punct de mnm local pentru f pe X ϕ. x este punct de mnm global pentru f pe X ϕ 3. Exstă u R m + astfel încât (x,u ) este punct şa pentru funcţa Lagrange, L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> = f(x) - u ϕ (x). Demonstraţe. Echvalenţa dntre ş rezultă dn propozţa 7. 3 m

3 => rezultă dn propozţa 3 => 3 rezultă dn propozţa 3. Mădălna Roxana Bunec V.6. Restrcţ actve Defnţe 5. Fe X o mulţme, f: X R, ϕ = (ϕ, ϕ,..., ϕ m ): X R m, m. Se consderă problema de optmzare x X nf f x unde X ϕ = {x X: ϕ(x) }. Restrcţa ϕ (x) se numeşte restrcţe actvă în punctul x X ϕ dacă ϕ (x ) =. Notăm cu I(x ) = {: m, ϕ (x ) = }, mulţmea restrcţlor actve în x. Propozţe 6. Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ=(ϕ,ϕ,...,ϕ m ):X R m cu propretatea că ϕ : X R este concavă pentru orce m. Dacă x X ϕ este soluţe optmă a probleme x X ϕ nf f x ϕ, (6.) atunc x este soluţe optmă a probleme nf x X ϕ(x ) f x (6.) unde X ϕ (x ) = {x X: ϕ (x) pentru orce I(x )} (I(x ) = {: ϕ (x ) = } este mulţme restrcţlor actve în x ). Demonstraţe. Presupunem prn absurd că x este soluţe optmă pentru problema (6.) ş nu este soluţe optmă pentru problema (6.). Atunc exstă x X ϕ (x ) astfel încât f( x ) < f(x ). Pentru orce λ (,) notăm x λ = λ x + (-λ)x X. 4

Optmzăr Pentru orce I(x ) avem ϕ (x λ ) = ϕ (λ x + (-λ)x ) λϕ ( x ) + (-λ)ϕ (x ) = λϕ ( x ) (6.3) ϕ concava Pentru orce I(x ) avem ϕ (x ) >. Dacă ϕ ( x ) atunc ϕ (x λ ) Dacă I(x ) ş ϕ ( x )< atunc λϕ ( x ) + (-λ)ϕ (x ) ϕ concava ş luând ϕ (x λ ) λϕ ( x ) + (-λ)ϕ (x ) =ϕ (x ) + λ(ϕ ( x )-ϕ (x )) ϕ concava mn : j I x, ϕ j(x) < (,), ϕj(x ) ϕj(x) ϕj(x ) λ = se obţne ϕ (x λ ). Ţnând cont ş de (6.3) rezultă că exstă λ (,), astfel încât. ϕ (x λ ) pentru orce, sau echvalent x λ X ϕ. Deoarece f( x ) < f(x ), rezultă f(x λ ) λf( x ) + (-λ)f(x ) < λf(x ) + (-λ)f(x ) = f(x ), f convexa ceea ce contrazce faptul că x este soluţe optmă pentru problema (6.). Aşadar presupunerea este falsă ş dec x este soluţe optmă pentru problema (6.). V.7. Condţ necesare de optmaltate cazul funcţlor dferenţable Propozţe 7. (Frtz-John). Fe X o submulţme deschsă a lu R n, f:x R o funcţe de clasă C ş ϕ = (ϕ,ϕ,..., ϕ m ) : X R m de clasă C (.e. ϕ :X R este de clasă C pentru orce m). Dacă x este punct de mnm local al lu f pe X ϕ atunc exstă u R ş u R m cu (u, u ) astfel încât 5

Mădălna Roxana Bunec m. u f(x ) - u ϕ (x ) =. u ş u 3. u ϕ (x ) = pentru orce, m. Demonstraţe. Fe I(x ) = {: m, ϕ (x ) = }, mulţmea restrcţlor actve în x. Arătăm că nu exstã v R n astfel ca -< f(x ), v> > < ϕ (x ), v> >, I(x ) Presupunem prn absurd că ar exsta v R n, cu propretăţle anteroare. Atunc v. Fe mulţmea S = {x +tv: t (-ε,ε)}, cu ε> sufcent de mc astfel încât S X ar pentru orce t (-ε,ε) să avem ϕ (x +tv) > pentru orce I(x ), < ϕ (x +tv), v> > pentru orce I(x ) ş < f(x + tv), v> <, (un astfel de ε exstă; într-adevăr, ţnând cont că x X deschsă, ϕ (x ) > pentru I(x ) ş ϕ contnuă, < ϕ (x ), v> >, I(x ) ş ϕ contnuă, < f(x ), v> < ş f contnuă, rezultă că exstă δ> astfel încât pentru orce x B(x,δ) X să avem ϕ (x) > pentru I(x ), < ϕ (x), v> >, I(x ) ş, < f(x), v> < ; luăm ε = δ). Consderăm funcţle v g : (-ε,ε) R, g(t) = -f(x +tv), t (-ε,ε) (7.) Deoarece h : (-ε,ε) R, h (t) = ϕ (x +tv), t (-ε,ε) pentru I(x ). n f g (t) = - (x + tv)v j = -< f(x + tv), v> > x h (t) = j= j n ϕ (x + tv)v j = < ϕ (x +tv), v> >, I(x ) j= x j rezultă că g ş h, I(x ) sunt funcţ strct crescătoare pe mulţmea (-ε,ε). Fe t>, t (-ε,ε). Avem h (t) > h () pentru I(x ) (deoarece h este strct crescătoare), de unde 6

Optmzăr ϕ (x +tv) > ϕ (x ) =, I(x ). Pe de altă parte, deoarece t (, ε), avem ϕ (x +tv)> pentru orce I(x ). Ca urmare x +tv X ϕ. Dn faptul că g este strct crescătoare rezultă că g(t) > g(), de unde - f(x +tv) > - f(x ) f(x +tv) < f(x ) ş cum x +tv X ϕ se obţne o contradcţe cu faptul că x este punct de mnm al lu f pe X ϕ. În consecnţă, sstemul (7.) este ncompatbl. Aplcând lema lu Gordon rezultă că exstă u, u j, j I(x ) nu toate nule astfel încât - u f(x ) + u j ϕj(x ) =. j I(x ) Dacă luăm u = pentru orce I(x ) ( m), obţnem u f(x ) - m ϕ u (x ) =. Avem u, u ş în plus, u ϕ (x ) = pentru orce, m (deoarece dacă I(x ), ϕ (x ) =, ar dacă I(x ), u = ). Propozţe 8. Fe X o submulţme deschsă a lu R n, f:x R o funcţe de clasă C, ϕ : X R m de clasă C ş ψ : X R p de clasă C. Dacă x este punct de mnm local al lu f pe X ϕ,ψ = {x X: ϕ(x), ψ(x) = }, atunc exstă u R ş u R m, v R p nu toţ nul astfel încât. u f(x ) - m ϕ u (x ) - p v ψ(x ) =. u ş u 3. u ϕ (x ) = pentru orce, m. 7

Mădălna Roxana Bunec V.8. Mnm în sensul pante maxme. Mnm în sensul lu Lagrange Defnţe 9. Fe X o submulţme deschsă a lu R n, ϕ : X R m ş X ϕ = {x X: ϕ(x) }. Un vector v R n \{} se numeşte drecţe admsblă (relatv la X ϕ ) într-un punt x X ϕ dacă exstă ε> astfel încât x + tv X ϕ pentru orce t [, ε). Se observă uşor că dacă x nt(x ϕ ), atunc orce vector v R n \{} este drecţe admsblã în B(x,δ) X ϕ. Dacă luă ε = x. Într-adevăr dacă x nt(x ϕ ), atunc exstă δ> astfel încât δ, atunc pentru orce t [,ε) avem v x +tv B(x,δ) X ϕ. Propozţe. Fe X o submulţme deschsă a lu R n, ϕ : X R m dferenţablă ş X ϕ = {x X: ϕ(x) }. Dacă v R n \{} este drecţe admsblă în punctul x X ϕ, atunc este îndeplntă condţa < ϕ (x ), v>, pentru orce I(x ), unde I(x ) = {: m, ϕ (x ) = } este mulţme restrcţlor actve în x. Demonstraţe. Presupunem că v R n \{} este drecţe admsblă în punctul x X ϕ. Atunc exstã exstă ε > astfel încât x + tv X ϕ pentru orce t [, ε). Ca urmare pentru orce {,,.., m}, ϕ (x +tv). Deoarece pentru orce I(x ) avem ϕ (x ) =, rezultă că ϕ (x +tv) - ϕ (x ) pentru orce I(x ) ş orce t [, ε). (.) Dn (.) rezultă că pentru orce I(x ) avem ϕ ş deoarece ( x ) v ϕ v ( x ) = ( x tv) ( x ) ϕ + ϕ lm t t t > = < ϕ (x ), v>, se obţne < ϕ (x ), v>, pentru orce I(x ). 8

Optmzăr Observaţe. Fe X o submulţme convexă deschsă a lu R n, ϕ : X R m de clasă C ş x X ϕ = {x X: ϕ(x) }. Notăm M = {: ϕ este convexă}, M = {,,..., m} \ M. Dacă v R n \{}verfcă < ϕ (x ), v>, M < ϕ (x ), v> >, M atunc v este drecţe admsblă în x. Într-adevăr, ţnând cont că x X deschsă, ϕ (x ) > pentru I(x ) ş ϕ contnuă, < ϕ (x ), v> >, M ş ϕ contnuă, rezultă că exstă δ> astfel încât pentru orce x B(x,δ) X să avem ϕ (x) > pentru I(x ) ş < ϕ (x), v> >, M. Dacă luăm ε = δ, atunc pentru orce t [, ε) v avem x + tv B(x,δ) X ş ϕ (x + tv) > pentru I(x ). Fe I(x ) M. Aplcând formula lu Taylor, rezultă că exstă θ (, ) astfel încât ϕ (x + tv) - ϕ (x ) = < ϕ (x + θtv), tv> = t< ϕ (x + θtv), tv> > ϕ (x + tv) > (deoarece, ϕ (x ) = ). Pentru I(x ) M, avem ϕ (x + tv) - ϕ (x ) < ϕ (x ), tv> = t< ϕ (x ), v> ϕ (x + tv). Dec pentru orce {,,..., m} ş orce t [, ε), avem x + tv X ϕ. Aşadar v este drecţe admsblă în x. Defnţe. Fe X o submulţme deschsă a lu R n, f: X R dferenţablă, ϕ : X R m ş X ϕ = {x X: ϕ(x) }. Un punct x X ϕ se numeşte punct de mnm în sensul pante maxme pentru f pe X ϕ dacă pentru orce drecţe admsblă v în x avem < f(x ), v>. Defnţe. Fe X o submulţme deschsă a lu R n, f: X R dferenţablă, ϕ : X R m dferenţablă ş X ϕ = {x X: ϕ(x) }. Fe L:X R m + funcţa Lagrange defntă prn L(x, u) = f(x) - <u,ϕ(x)>. Un punct x X ϕ se numeşte punct de mnm 9

Mădălna Roxana Bunec în sensul lu Lagrange pentru f pe X ϕ dacă exstă un vector u R m +, numt vectorul multplcatorlor lu Lagrange, astfel încât <u, ϕ(x )> = x L(x, u ) =, unde x L(x, u ) reprezntă gradentul funcţe x L(x, u ) calculat n x. Propozţe 3. Fe X o submulţme deschsă a lu R n f: X R dferenţablă, ϕ : X R m dferenţablă ş X ϕ = {x X: ϕ(x) }. Dacă (x,u ) X m R+ este punct şa pentru funcţa Lagrange, L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)>, atunc x este punct de mnm în sensul lu Lagrange pentru f pe X ϕ ar u este vectorul multplcatorlor Lagrange. Demonstraţe. Conform propozţe 3 dacă (x,u ) X R m + este punct şa pentru L, atunc are loc condţa ecarturlor complementare: <u, ϕ(x )>. Pe de altă parte deoarece (x,u ) X R m + este punct şa pentru L, atunc x este punct de mnm pentru funcţa x L(x,u ) pe mulţmea X. Ş cum X este o mulţme deschsă ş L o funcţe dferenţablă, rezultă că x este punct staţonar pentru x L(x,u ), adcă x L(x, u ) =. Aşadar x este punct de mnm în sensul lu Lagrange pentru f pe X ϕ ar u este vectorul multplcatorlor Lagrange. V.9. Condţ de optmaltate cazul funcţlor convexe dferenţable Propozţe 4. Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă, ϕ = (ϕ,ϕ,...,ϕ m ) : X R m cu propretatea că ϕ :X R este concavă pentru orce m. Fe X ϕ = {x X: ϕ(x) }. Atunc următoarele afrmaţ sunt echvalente:

Optmzăr. x X ϕ este punct de mnm în sensul pante maxme pentru f pe X ϕ,. x X ϕ este punct de mnm pentru f pe X ϕ. Demonstraţe. =>. Presupunem prn absurd că x nu este punct de mnm pentru f pe X ϕ. Atunc exstă x X ϕ astfel încât f(x ) < f(x ). Pentru orce t [,), avem x + t(x x ) = tx + (-t)x X ϕ (X ϕ fnd convexă). În consecnţă, x x este drecţe admsblă în x. Deoarece x este punct de mnm în sensul pante maxme pentru f pe X ϕ ş x x este drecţe admsblă în x, rezultă că < f(x ), x -x >. (4.) Ţnând cont că f este convexă ş dferenţablă obţnem f(x ) f(x ) < f(x ), x -x > (4.) f(x ) f(x ) ceea ce contrazce încât f(x ) < f(x ). În consecnţă, x este punct de mnm pentru f pe X ϕ. =>. Presupunem că x este punct de mnm pentru f pe X ϕ ş fe v o drecţe admsblă în x. Deoarece exstă ε> astfel încât x + tv X ϕ pentru orce t [, ε) ş deoarece x este punct de mnm pentru f pe X ϕ avem de unde f v ( x ) t t f(x +tv) - f(x ) = lm > t f x + tv f x f ş deoarece ( x ) v = < f(x ), v>, se obţne < f(x ), v>. Dec x este punct de mnm în sensul pante maxme pentru f pe X ϕ Propozţe 5. Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă, ϕ = (ϕ,ϕ,...,ϕ m ): X R m dferenţablă cu propretatea că ϕ :X R este concavă pentru orce m. Presupunem că X ϕ = {x X: ϕ(x) }

Mădălna Roxana Bunec satsface condţa de regulartate Slater. echvalente: Atunc următoarele afrmaţ sunt. x X ϕ este punct de mnm în sensul lu Lagrange pentru f pe X ϕ. x X ϕ este punct de mnm în sensul pante maxme pentru f pe X ϕ Demonstraţe. =>. Presupunem că x este punct de mnm în sensul lu Lagrange pentru f pe X ϕ. Atunc exstă un vector u R m + astfel încât <u, ϕ(x )> = x L(x, u ) =, unde x L(x, u ) reprezntă gradentul funcţe x L(x, u ) calculat n x. Dec = <u, ϕ(x )> = m ϕ u (x ), ϕ ş cum pentru fecare, u (x ) ( u ş ϕ(x ) ), rezultă că u ϕ (x ) = pentru orce. Dacă I(x ) (mulţmea restrcţlor actve în x ), atunc ϕ (x ) >, ş în consecnţă u =. Aşadar avem = x L(x, u ) = f(x ) - f(x ) = m ϕ u (x ) = f(x ) - u ϕ (x ) (5.) I(x ) I(x ) ϕ u (x ) Fe v R n o drecţe admsblă în x. Atunc avem < f(x ), v> = = (5.) I(x ) u < ϕ (x ), v >, I(x ) conform propozţe. Ca urmare x X ϕ este punct de mnm în sensul pante maxme pentru f pe X ϕ. =>. Presupunem că x X ϕ este punct de mnm în sensul pante maxme pentru f pe X ϕ. Atunc conform propozţe 4, x este punct de mnm pentru f pe X ϕ. Conform propozţe 3, exstă u R m + astfel încât (x,u ) este punct şa pentru funcţa Lagrange, L:X R m + R, defntă prn

Optmzăr L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x). Conform propozţe 3, x este punct de mnm în sensul lu Lagrange pentru f pe X ϕ ar u este vectorul multplcatorlor Lagrange. Teoremă 6. (condţ necesare ş sufcente de optmaltate în cazul poteze de regulartate Slater: cazul funcţlor convexe dferenţable) Fe X o submulţme convexă deschsă a lu R n, f: X R dferenţablă ş convexă, ϕ = (ϕ,ϕ,...,ϕ m ): X R m dferenţablă cu propretatea că ϕ :X R este concavă pentru orce m. Presupunem că X ϕ ={x X:ϕ(x) } satsface condţa de regulartate Slater. Următoarele afrmaţ sunt echvalente: 4. x este punct de mnm local pentru f pe X ϕ 5. x este punct de mnm global pentru f pe X ϕ 6. Exstă u R m + astfel încât (x,u ) este punct şa pentru funcţa Lagrange, L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x) 7. x este punct de mnm în sensul lu Lagrange pentru f pe X ϕ 8. x este punct de mnm în sensul pante maxme pentru f pe X ϕ Demonstraţe. <=> conform propozţe 4 3 => conform propozţe 3 => 3 conform propozţe 3 4 <=> 5 conform propozţe 5 3 => 4 conform propozţe 3 5 <=> conform propozţe 4 Observaţe. Fe X o submulţme convexă deschsă a lu R n, f: X R convexă dferenţablă, ϕ:x R m cu propretatea că ϕ :X R este concavă 3

Mădălna Roxana Bunec dferenţablă pentru orce m. Presupunem că X ϕ = {x X: ϕ(x) } satsface condţa de regulartate Slater ş presupunem dată problema de optmzare x X Un punct (x,u ) X R m, u = ( u, u,.. () nf f x ϕ (x ) pentru orce =,,..., m ϕ. u m ) t care îndeplneşte condţle () f(x ) - m ϕ u (x ) = () (v) m ϕ u (x ) = u pentru orce =,,..., m se numeşte punct KKT (Karush-Kuhn-Tucer). Se observă că (x,u ) X R m este punct KKT dacă ş num dacă x este punct de mnm în sensul lu Lagrange ar u este vectorul multplcatorlor lu Lagrange. În potezele teoreme 6 (x,u ) este punct KKT dacă ş numa dacă (x,u ) este punt şa pentru funcţa Lagrange, L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x) Evdent dacă (x,u ) este punct KKT, atunc x este soluţe optmă a probleme x X nf f x ϕ. 4

Optmzăr VI. Dualtate în optmzarea convexă Defnţe. Fe X ş Y două mulţm nevde ş f: X R ş g: Y R două funcţ. Consderăm problemele nf f (x) x X sup g(y) y Y (P) (P) Problema (P) se numeşte duala probleme (P) dacă sunt îndeplnte următoarele două condţ:. f(x) g(y) pentru orce x X ş y Y.. Dacă una dntre problemele (P) sau (P) admte soluţe optmă atunc ş cealaltă admte soluţe optmă ş valorle optme concd. Se ma spune că problemele (P) ş (P) sunt probleme duale. Lema. Fe X ş Y două mulţm nevde ş f: X R ş g: Y R două funcţ astfel încât problemele nf f (x) x X sup g(y) y Y (P) (P) să verfce condţa dn defnţa dualtăţ. Dacă x X ş y Y sunt astfel încât f(x ) = g(y ), atunc x este soluţe optmă pentru (P), ar y este soluţe optmă pentru (P). Demonstraţe. Presupunem prn absurd că x nu este soluţe optmă pentru (P). Atunc exstă x X astfel încât f(x ) < f(x ) = g(y ), ceea ce contrazce faptul că f(x ) g(y ) (conform condţe dn defnţa ). 5

exstă y Mădălna Roxana Bunec Presupunem prn absurd că y nu este soluţe optmă pentru (P). Atunc Y astfel încât g(y ) > g(y ) = f(x ), ceea ce contrazce faptul că f(x ) g(y ) (conform condţe dn defnţa ). Lema 3. Fe X ş Y două mulţm nevde ş F: X Y R o funcţe. Consderăm f: X R, defntă prn ş g: Y R, defntă prn Atunc problemele f(x) = sup{f(x,y), y Y} g(y) = nf{f(x,y), x X}. nf f (x) x X sup g(y) y Y verfcă prma condţe dn defnţa dualtăţ. Demonstraţe. Avem (P3) (P4) f(x) = sup{f(x,u), u Y} F(x,y) nf{f(t,y), t X} = g(y), pentru orce x X ş y Y. Defnţe 4. Fe X ş Y două mulţm nevde ş F: X Y R o funcţe. Un punct (x, y ) se numeşte punct şa pentru funcţa F dacă pentru orce x X ş y Y. F(x, y) F(x, y ) F(x, y ), Propozţa 5. Fe X ş Y două mulţm nevde ş F: X Y R o funcţe. Consderăm f: X R, defntă prn ş g: Y R, defntă prn f(x) = sup{f(x,y), y Y} ş problemele g(y) = nf{f(x,y), x X}. nf f (x) x X sup g(y) y Y 6 (P3) (P4)

Optmzăr Atunc următoarele afrmaţ sunt echvalente.. (x, y ) este punct şa pentru F. x este soluţe optmă pentru (P3), y este soluţe optmă pentru (P4), ş f(x ) = g(y ) Demonstraţe. =>. Deoarece F(x, y) F(x, y ) F(x, y ), pentru orce x X ş y Y, rezultă că sup{f(x, y), y Y} F(x, y ) nf{f(x, y ), x X}, f(x ) F(x, y ) g(y ) (5.) Dar conform leme 3, avem f(x ) g(y ), ş ca urmare dn (5.) rezultă că f(x ) = F(x, y ) = g(y ). Dn g(y) = nf{f(x,y ), x X} F(x, y ) = g(y ), rezultă y soluţe optmă a probleme (P4), ar dn f(x ) = F(x, y ) sup{f(x,y), y Y} = f(y), rezultă x soluţe optmă a probleme (P3). =>. Pentru orce x X ş y Y, avem F(x, y) sup{f(x,u), u Y} = f(x ) = g(y ) = nf{f(t,y ), t X} F(x, y ) dec F(x, y) F(x, y ) (5.). Punând în (5.) y = y obţnem F(x, y ) F(x, y ) (5.3) pentru orce x X. Punând în (5.) x=x obţnem F(x, y) F(x, y ). (5.4) Dn (5.3) ş (5.4) rezultă că (x, y ) este punct şa pentru F. Observaţe. Dacă funcţa F dn propozţa anteroară admte un punct şa atunc problemele P3 ş P4 sunt duale. Teoremele de exstenţă a punctulu şa se numesc teoreme mnmax. 7

Mădălna Roxana Bunec VI.. Dualtate în sens Wolfe Defnţe 6. Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă, ϕ = (ϕ,..., ϕ m ): X R m dferenţablă cu propretatea că ϕ :X R este concavă pentru orce m ş fe X ϕ = {x X: ϕ(x) }. Consderăm problema de optmzare x X nf f x ϕ (P) ş funcţa Lagrange L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)>. Se numeşte duală în sens Wolfe a probleme (P) problema unde (x,u) Y sup L x, u (W) Y = {(x,u) X R m + : x L(x,u) = }. (pentru (x*,u*) X R m +, x L(x*, u*) reprezntă gradentul funcţe x L(x, u*) calculat n x*). Lema 7. Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă, ϕ = (ϕ,..., ϕ m ) : X R m dferenţablă cu propretatea că ϕ :X R este concavă pentru orce m ş fe X ϕ = {x X: ϕ(x) }. Dacă L:X R m + R, este defntă prn L(x, u) = f(x) - <u,ϕ(x)> ş Y = {(x,u) X R m + : x L(x,u) = }, atunc f(x ) L(x, u) pentru orce x X ϕ ş orce (x, u) Y. Demonstraţe. În cele ce urmează vom ţne cont că dacă x X ş (x,u) Y, atunc f fnd convexă, f(x ) f(x ) < f(x ), x -x > 8

Optmzăr ϕ fnd concavă ϕ (x ) ϕ (x ) < ϕ (x ), x -x > ş deoarece (x,u) Y avem x L(x,u) = sau echvalent, f(x ) - m u ϕ(x ) =. Ca urmare pentru orce (x, u) Y ş x X avem L(x, u) = f(x ) - <u,ϕ(x )> = f(x ) + f(x ) f(x ) - <u,ϕ(x )> = f(x ) ( f(x ) f(x ) )- <u,ϕ(x )> f(x ) < f(x ), x x >- <u,ϕ(x )> f convexa = f(x ) - <u,ϕ(x )> (x,u) Y f(x ) - ϕ concava m m u ( ϕ (x ) ϕ (x )) - <u,ϕ(x )> = f(x ) - <u, ϕ(x )> + <u, ϕ(x )> - <u,ϕ(x )> = f(x ) - <u, ϕ(x )> f(x ). x X ϕ,u Teorema 8 (teorema drectă de dualtate) Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă ş fe ϕ = (ϕ,..., ϕ m ) : X R m dferenţablă cu propretatea că ϕ :X R este concavă pentru orce m. Presupunem că X ϕ = {x X: ϕ(x) } satsface condţa de regulartate Slater. Dacă x este soluţe optmă a probleme de optmzare x X nf f x ϕ atunc exstă u R m + astfel încât (x, u ) să fe soluţe optmă a duale în sens Wolfe (P) a probleme (P): ş în plus, f(x ) = L(x, u ). (x,u) Y sup L x, u (W) 9

Mădălna Roxana Bunec Demonstraţe. Deoarece X ϕ satsface condţa de regulartate Slater, faptul că x este punct de mnm global pentru f pe X ϕ este echvalent cu exstenţa unu u R m + astfel încât x să fe punct de mnm în sensul lu Lagrange pentru f pe X ϕ ar u vectorul multplcatorlor Lagrange. Ca urmare exstă u astfel încât x L(x, u ) = (de unde, (x,u ) Y) ş <ϕ(x ), u > =. În consecnţă, L(x, u ) = f(x ) - <ϕ(x ), u > = f(x ). Dn lema ş lema 7 rezultă că (x, u ) este soluţe optmă pentru problema duală (W). Lema 9. Fe X o submulţme convexă deschsă a lu R n, f:x R dferenţablă ş convexă ş fe X = {x X: x }. Atunc x X este soluţe optmă pentru problema nf f x x X dacă ş numa dacă sunt îndeplnte următoarele condţ. x. f(x ) 3. <x, f(x )> = Demonstraţe. Deoarece X satsface condţa de regulartate Slater, faptul că x este punct de mnm global pentru f pe X este echvalent cu exstenţa unu u R m + astfel încât x să fe punct de mnm în sensul lu Lagrange pentru f pe X ar u vectorul multplcatorlor Lagrange. Prn urmare x L(x, u ) = ş <x, u > =. Funcţa Lagrange L:X R m + R fnd defntă prn L(x, u) = f(x) - <u,x>, avem x L(x,u) = f(x) u pentru orce (x,u) X R m +. Aşadar x L(x, u ) = sau echvalent f(x ) = u. În consecnţă, x este punct de mnm global pentru f pe X dacă ş numa dacă x, f(x ), <x, f(x )> =. Lema. Fe X o submulţme deschsă a lu R n, f:x R de clasă C ş fe

Optmzăr X = {x X: x }. Dacă x X este soluţe optmă pentru problema x X nf f x atunc. x. f(x ) 3. <x, f(x )> = Demonstraţe. Pentru funcţa f:x R o funcţe de clasă C ş ϕ : X R m cu. ϕ : X R, ϕ (x) = x pentru orce m, dacă x este punct de mnm local al lu f pe X ϕ = X atunc exstă u R ş u R m cu (u, u ) astfel încât. u f(x ) - m ϕ u (x ) =. u ş u 3. u ϕ (x ) = pentru orce, m. Cum ϕ (x) = e = (,,...,,,..) t al +lea vector al baze canonce dn R n, rezultă că exstă u R ş u R m cu (u, u ) astfel încât. u f(x ) - m u e =. u ş u 3. u x = pentru orce, m. Dacă am avea u =, atunc ar rezulta m u =, ş cum u pentru orce, s-ar deduce că urmare u = pentru orce, ceea ce ar contrazce (u, u ). Aşadar u ş ca f(x ) = m u e u. Ţnând cont de faptul că u x = pentru orce, m, obţnem

Mădălna Roxana Bunec <x, f(x )> = m u x u = m u x u =. Teorema (teorema nversă de dualtate) Fe X o submulţme convexă deschsă a lu R n, f : X R de or dferenţablă ş convexă, fe ϕ=(ϕ,...,ϕ m ):X R m de or dferenţablă cu ϕ concavă pentru orce m ş fe X ϕ = {x X: ϕ(x) }. Fe L:X R m + R funcţa Lagrange defntă prn L(x, u) = f(x) - <u,ϕ(x)> ş fe problema (x,u) Y sup L x, u (W) unde Y = {(x,u) X R m + : x L(x,u) = }. Dacă (x, u ) este soluţe optmă pentru problema (W) ş H x L(x,u ) este nesngulară, atunc x este soluţe optmă pentru problema x X nf f x ϕ (P) ş în plus, f(x ) = L(x, u ). Demonstraţe. Deoarece (x, u ) este soluţe optmă pentru problema (W), atunc x X, u ş x L(x, u ) =. Ţnând cont că x L(x, u ) = det(h x L(x,u )) ş aplcând teorema funcţlor mplcte, rezultă că exstă o vecnătate deschsă V a lu u ş o funcţe dferenţablă ζ: V X astfel încât x L(ζ(u), u) = ζ(u ) = x pentru orce u V. Deoarece (x, u ) este soluţe optmă pentru problema (W), rezultă că u este soluţe optmă ş pentru problema

u V,u Optmzăr sup L ζ (u),u (.) Notăm g(u) = L (ζ(u), u) pentru orce u V ş consderăm problema u V,u nf g u (.) Ţnând cont că u este soluţe optmă pentru problema (.) ş aplcând lema obţnem. u. - g(u ) 3. <u, g(u )> = Cum g(u) = < x L(ζ(u), u), ζ(u)> + u L(ζ(u), u) =< x L(ζ(u), u), ζ(u)> - ϕ(ζ(u)), rezultă că g(u ) = < x L(ζ(u ), u ), ζ(u )> - ϕ(ζ(u )) = < x L(x, u ), ζ(u )> - ϕ(x ) = <, ζ(u )> - ϕ(x ) = - ϕ(x ) adcă ϕ(x ). Aşadar x X ϕ. Pe de alta parte = < g(u ), u > = <- ϕ(x ), u > = - <- ϕ(x ), u >. Avem L(x, u ) = f(x ) - <ϕ(x ), u > = f(x ) ş cum conform leme 7 problemele (P) ş (W) verfcă prma condţe dn defnţa dualtăţ, aplcând lema rezultă că x este soluţe optmă a probleme (P). VI.. Dualtate în sens Lagrange Defnţe. Fe o mulţme X, fe funcţle f: X R, ϕ : X R m ş fe X ϕ = {x X: ϕ(x) }. Consderăm problema de optmzare x X nf f x ϕ (P) 3

Mădălna Roxana Bunec ş funcţa Lagrange L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)>. Notăm g(u) = nf L( x, u) x X Lagrange a probleme (P) problema pentru orce u u R m + sup g u (L) m R +. Se numeşte duală în sens Lema 3. Fe X o mulţme, fe funcţle f: X R, ϕ: X R m ş fe X ϕ = {x X: ϕ(x) }. Fe L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> (funcţa Lagrange) ş fe g(u) = nf L( x, u) funcţe concavă. x X Demonstraţe. Fe u, u pentru orce u 4 m + m R + ş fe λ (,). Avem g(λu + (-λ)u ) = nf L(x, x λu + (-λ)u ) X = nf (f(x) - x <λu + (-λ)u, ϕ(x)>) X = nf x X = nf x X nf x X = λ nf x X (f(x) - λ<u, ϕ(x)> - (-λ)<u, ϕ(x)>) R. Atunc g: R (λf(x) - λ<u, ϕ(x)> + (-λ)f(x)- (-λ)<u, ϕ(x)>) (λf(x) - λ<u, ϕ(x)>) + nf x X (f(x) - <u, ϕ(x)>) + (-λ) nf x X = λg(u ) + (-λ)g(u ), de unde rezultă că g este concavă. Observaţe Duala în sens Lagrange este echvalentă cu m + sup g u u R nf u R m + g u (L) m + R este o ((-λ)f(x)- (-λ)<u, ϕ(x)>) f(x) - <u, ϕ(x)>)

Optmzăr care este o problemă de optmzăr convexe (char dacă funcţle f ş ϕ dn problema (P) nu sunt convexe) pentru care este îndeplntă condţa de regulartate Slater. Propozţe 4. Fe X o mulţme, fe funcţle f: X R, ϕ: X R m ş fe X ϕ = {x X: ϕ(x) }. Fe L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> (funcţa Lagrange) ş fe g(u) = nf L( x,u) x X pentru orce u x X nf f x ϕ (P) m R +. Atunc problemele ş u R m + sup g u (L) satsfac prma condţe dn defnţa dualtăţ. Demonstraţe. Fe x X ϕ ş u. Avem g(u ) = nf L( x, u ) x X = nf (f(x) - x <u, ϕ(x)>) X f(x ) - <u, ϕ(x )> f(x ) ϕ x,u Corolar 5. Cu notaţle dn propozţa anteroară, dacă exstă x X ϕ ş u astfel încât f(x ) = g(u ), atunc x este soluţe optmă a probleme (P), u este soluţe optmă a probleme (L) ş în plus (x, u ) este punct şa pentru L (în partcular, dacă f ş ϕ sunt dferenţable, atunc (x, u ) este punct KKT pentru problema (P)). Demonstraţe. Faptul că x este soluţe optmă a probleme (P) ş u este soluţe optmă a probleme (L) rezultă dn propozţa 4 ş lema. de unde Avem f(x ) - <u, ϕ(x )> nf (f(x) - x <u, ϕ(x)>) = g(u ) = f(x ), X ş cum <u, ϕ(x )>, rezultă că de fapt - <u, ϕ(x )> <u, ϕ(x )> =. 5

Mădălna Roxana Bunec Pentru orce u avem L(x, u) = f(x ) -<u,ϕ(x )> f(x ) = f(x ) - <u, ϕ(x )> = L(x, u ). (5.) Pentru orce x X avem L( x, u ) = f( x ) -<u,ϕ( x )> nf (f(x) - x <u, ϕ(x)>) X = g(u ) = f(x ) = f(x ) - <u, ϕ(x )> = L(x, u ). (5.) Dn (5.) ş (5.) rezultă că (x, u ) este punct şa pentru L. Dacă f ş ϕ sunt dferenţable, atunc deoarece (x, u ) este punct şa pentru L rezultă că x este punct de mnm pentru f pe X ϕ în sensul lu Lagrange, ar u este vectorul multplcatorlor lu Lagrange, adcă (x, u ) punct KKT pentru problema (P) (conform propozţe 6 dn captolul V Condţ de optmaltate cazul problemelor de optmzare cu restrcţ negaltăţ ). Propozţe 6. Fe X o mulţme, fe funcţle f: X R, ϕ: X R m ş fe X ϕ = {x X: ϕ(x) }. Fe L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> (funcţa Lagrange) ş fe g(u) = nf L( x, u) x X pentru orce u m R +. Dacă (x, u ) este punct şa pentru funcţa Lagrange L, atunc x este soluţe optmă a probleme u este soluţe optmă a probleme x X nf f x u R ϕ m + sup g u ş valorle optme concd: f(x ) = g(u ). Demonstraţe. Dacă (x, u ) este punct şa pentru funcţa Lagrange L, atunc x este soluţe optmă a probleme nf f x x X ş în plus, are loc <ϕ(x ), u > = (propozţa 3 dn captolul V Condţ de optmaltate cazul problemelor de optmzare cu restrcţ negaltăţ ). ϕ (P) (L) (P) 6

Optmzăr Conform propozţe 5, faptul că (x, u ) este punct şa pentru funcţa Lagrange L mplcă u soluţe optmă a probleme Conform propozţe 4 avem u R m + sup g u (L) g(u ) f(x ). (6.) Pe de altă parte, deoarece u este soluţe optmă pentru problema (L) avem g(u ) g() = nf x X Dn (6.) ş (6.) rezultă că g(u ) = f(x ). (f(x) - <, ϕ(x)>) nf f(x) = x X f(x ). (6.) Propozţe 7. Fe V un spaţu lnar peste K (K= R sau K= C), X o submulţme convexă a lu V, f:x R o funcţe convexă ş ϕ= (ϕ, ϕ,..., ϕ m ) : X R m cu propretatea că ϕ : X R este concavă pentru orce m. Presupunem că X ϕ = {x X: ϕ(x) } satsface condţa de regulartate Slater. Fe L:X R m + R, defntă prn L(x, u) = f(x) - <u,ϕ(x)> (funcţa Lagrange) ş fe g(u) = nf L( x, u) pentru orce u m R +. Atunc x X ϕ este soluţe optmă a probleme x X nf f x ϕ (P) dacă ş numa dacă exstă u soluţe optmă a probleme ş f(x ) = g(u ). m + sup g u u R x X Demonstraţe. În poteza de regulartate Slater exstenţa une soluţ optme x pentru problema (P) este echvalentă cu exstenţa unu punct şa (x, u ) pentru funcţa L (cf. propozţlor 3 ş 3 dn captolul V Condţ de optmaltate cazul problemelor de optmzare cu restrcţ negaltăţ ). Concluza propozţe rezultă dn corolarul 5 ş propozţa 6. (L) 7

Mădălna Roxana Bunec 8

Optmzăr VII. Metode numerce de rezolvare a problemelor de optmzare fără restrcţ Consderăm X o submulţme convexă deschsă a lu R n, f: X R o funcţe convexă dferenţablă ş problema de optmzare nf f (x) x X (P) Metodele teratve de rezolvare a probleme constau în construrea unu şr (x ) îndeplnnd condţa : f(x + ) < f(x ), pentru orce (x X dat). ş având un punct lmtă un x X care să fe punct staţonar pentru f (cu alte cuvnte şrul (x ) are un subşr ( x j )j cu propretatea că lm x j j = x X ş f( x ) = ). Funcţa f fnd convexă, X fnd deschsă ş f( x ) =, rezultă că x este punct de mnm global pentru f pe X (soluţe optmă a probleme studate). Dacă f nu este convexă, atunc pentru a asgura că x este punct de mnm local (soluţe optmă locală) ar trebu verfcate condţle de ordnul (Hf( x ) poztv defntă). Metodele teratve de rezolvare a problemelor de optmzare fără restrcţ pot f clasfcate în - Metode de ordn : utlzează doar valorle funcţe f în punctul x ş eventual în câteva puncte vecne (de explorare). - Metode de ordn : necestă calculul valor funcţe f precum ş al gradentulu lu f în punctul x. Aceste metode realzează un comproms între smpltate (volum de calcul) ş efcenţă, fnd frecvent utlzate în practcă 9

Mădălna Roxana Bunec - Metode de ordn : necestă atât valorle funcţe f, a gradentulu ş hessane lu f în punctul x cât ş nversarea hessane. Prn compensaţe cu volumul de calcul aceste metode asgură o vteză de convergenţă superoară. - Metode de ordn superor: volum de calcul sport pentru evaluarea valorle dervatelor de ordn superor lu ale funcţe f, fnd rar foloste în practcă Vom prezenta n contnuare metode de ordnul ş denumte metode de căutare lnară ( lnesearch methods ). Şrul construt are forma + R = + n x x t v t, t pas de deplasare v R drecţe de deplasare f(x + ) < f(x ), pentru orce. Defnţe. X o submulţme deschsă a lu R n (LS), f: X R o funcţe dferenţablă ş x X. Un vector v R n se numeşte drecţe descendentă în x dacă <v, f(x)> <. Dacă v este drecţe descendentă în x atunc exstă λ > astfel încât pentru orce t (, λ ), f(x + tv) < f(x). Într-adevăr, aplcând formula lu Taylor de ordnul, exstă δ > astfel încât pentru orce δ R cu δ < δ v avem o δ f(x+ δv) = f(x) + δ< f(x),v>v + o(δ), unde lm = δ δ Exstă λ >, λ δ astfel încât pentru orce < t < λ, urmare: f(x+ tv) = f(x) + t(< f(x),v>v + o( t) ) < f(x). t o( t) t < - < f(x),v>v ş ca Pe de altă parte dacă pentru orce v R n avem <v, f(x)>, atunc x este punct de staţonar pentru f (ar dacă presupunem în plus, f convexă, atunc x este punct de mnm pentru f). Într-adevăr, luând v = - f(x), rezultă -< f(x), f(x)> sau echvalent f(x) =. 3

Optmzăr Algortmul generc pentru construcţa şrulu (x ) care să abă un punct lmtă x X care să fe punct staţonar pentru f este schţat ma jos. x X dat cât tmp f(x ) execută pasul : *se determnă o drecţe de deplasare v care să fe drecţe descendentă în x (dacă nu exstă o astfel de drecţe atunc STOP, x este soluţe optmă ma precs f(x ) = ) pasul : *se determnă pasul de deplasare t astfel încât f(x + t v ) < f(x ) pasul 3: x + = x + t v ; :=+; La eşre x cu propretatea f(x ) = este punct staţonar al lu f. În practcă se dă ε > (precza cu care se dentfcă soluţa optmă) ar crterul de oprre f(x ) se înlocueşte cu una dn condţle a. f(x ) < ε (gradentul este sufcent de mc ) b. x + - x < ε (cele două teraţ succesve sunt sufcent de apropate ) c. f(x ) - f(x + ) < ε (mcşorarea funcţe obectv nu este semnfcatvă ) unde este o norma convenabl aleasă. În crterle de oprre pot f foloste valor relatve, astfel de exemplu condţa de la c poate f înlocută cu + f ( x ) + f ( x ) f x În cele ce urmează vom presupune că în etapa a algortmulu de ma sus a fost determnată o drecţe de deplasare v ş rămâne să determnăm pasul de deplasare t. Metodele de determnare a pasulu t pot f clasfcate în. procedur de alegere optmală a pasulu (algortm de căutare lnară exactă). procedur de alegere suboptmală a pasulu (algortm de căutare lnară nexactă < ε 3

Mădălna Roxana Bunec VII.. Procedur de alegere optmală a pasulu condţa Procedurle de alegere optmală a pasulu presupun determnarea lu t dn f(x +t v ) = nf f(x + tv ) t (adcă t este soluţe optmă a probleme nf f(x + tv )). Altfel spus procedurle de t alegere optmală a pasulu presupun mnmzare funcţe ϕ: [, λ ) R, defntă prn ϕ(t) = f(x +tv ), unde λ este ales astfel încât x +tv X pentru orce t [, λ ) (ţnând cont că x X ş X este o mulţme deschsă, rezultă că exstă δ> astfel încât B(x,δ) X, λ = v δ îndeplneşte condţa cerută). Lema. X o mulţme convexă ş f: X R o funcţe convexă. Atunc funcţa ϕ: [, λ ) R, defntă prn ϕ(t) = f(x +tv ), este convexă, unde λ R este ales astfel încât x +tv X pentru orce t [, λ ). Demonstraţe. Fe t, t [, λ ) ş fe λ (,). Atunc ϕ(λt + (-λ)t ) = f(x + (λt + (-λ)t )v ) = f(λ(x + t v )+(-λ)(x + t v )) λ f(x + t v )+ (-λ)f(x + t v ) =λ ϕ(t ) + (-λ) ϕ(t ). f convexa Metodele de explorare drectă pentru determnarea unu punct de mnm al lu ϕ constau în dentfcarea în prealabl a unu nterval [a, b ] care conţne un punct de mnm al lu ϕ. Lema 3. Fe I un nterval de numere reale, ϕ : I R o funcţe convexă care admte un punct de mnm.. Dacă t, t, t 3 I, t < t < t 3, astfel încât ϕ(t ) > ϕ(t ) ϕ(t 3 ). atunc exstă un punct de mnm al lu ϕ în ntervalul [t, t 3 ].. Dacă I = [a, λ ), λ R ş t (a, λ ) cu ϕ(t) ϕ(a), atunc exstă un punct de mnm al lu ϕ în ntervalul [a, t]. 3

Optmzăr Demonstraţe. Fe t * un punct de mnm al lu ϕ.. Presupunem prn absurd t* < t sau echvalent t (t*, t ). Atunc exstă λ (, ) astfel încât t = λt*+(-λ)t ş ca urmare ϕ(t ) = ϕ(λt*+(-λ)t ) λϕ(t*) + (-λ)ϕ(t ) λϕ(t ) + (-λ)ϕ(t ) = ϕ(t ) ceea ce contrazce ϕ(t ) > ϕ(t ). Dec t* t. Dacă t* t 3, atunc t* [t, t 3 ]. Dacă t*>t 3 sau echvalent t 3 (t, t*), atunc exstă λ (, ) astfel încât t 3 = λt +(-λ)t* ş ca urmare ϕ(t 3 ) = ϕ(λt +(-λ)t*) λϕ(t ) + (-λ)ϕ(t*) λϕ(t ) + (-λ)ϕ(t ) = ϕ(t ) ϕ(t 3 ). De ac rezultă ϕ(t*) = ϕ(t ), adcă t este punct de mnm pentru ϕ ş în plus t [t, t 3 ].. Dacă t* t, atunc t* [a, t]. Dacă t*>a sau echvalent t (a t*), atunc exstă λ (, ) astfel încât t= λa+(-λ)t* ş ca urmare ϕ(t) = ϕ(λa+(-λ)t*) λϕ(a) + (-λ)ϕ(t*) λϕ(a) + (-λ)ϕ(a) = ϕ(a) ϕ(t), de unde rezultă ϕ(t*) = ϕ(a), adcă a este punct de mnm pentru ϕ ş în plus a [a,t]. Algortm de determnare al a unu nterval [a, b ] care conţne un punct de mnm pentru funcţa convexă ϕ: [a, ) R (presupunând că ϕ admte un punct de mnm): ϕ: [a, ) R funcţe convexă c > dat t:=a; t: = a+c; y:=ϕ(t); y:=ϕ(t); dacă y y, atunc a : =t ş b : = t altfel cât tmp y > y execută y : = y; t:=t; t:= t+c; y: = ϕ(t); a : = t-c; b : = t; Procedura MAPLE de ma jos are drept parametr funcţa convexă ϕ, a (capatul nferor al ntervalulu de defnţe al lu ϕ) ş c>. Procedura returnează 33

Mădălna Roxana Bunec ntervalul [a, b ] ce conţne un punct de mnm pentru ϕ: [a, ) R (presupunând că ϕ admte un punct de mnm): > nt:=proc(ph,a,c) > local a,b,y,y,t,t; > t:=evalf(a); t:=evalf(a+c); y:=ph(t); y:=ph(t); > f y<=y then a:=t; b:=t else > whle y>y do y:=y;t:=t;t:=t+c;y:=ph(t) od; > a:=t-c; b:=t > f; > RETURN([a, b]) > end; Exemplu 4. Aplcăm această procedură funcţlor ϕ : [, ) R, ϕ (t) = t - 3t+5 ş ϕ : [-3/4, ) R, ϕ (t) = t ln(t+): > ph:=t->t^ -3*t-5; > ph:=t->t-ln(t+); ş obţnem > I:=nt(ph,,); I := [.,. ] > I:=nt(ph,-3/4,); I := [ -.75,.5 ] După determnarea unu nterval [a, b ] ce conţne un punct de mnm pentru ϕ: [a, λ ) R ( λ R ) prn metodele de explorare drectă se urmăreşte reducerea teratvă a lungm acestu nterval până la atngerea une precz mpuse ε> de localzare a lu unu punct de mnm t*. Cu alte cuvnte se urmăreşte construrea unu şr de ntervale [a j, b j ], j cu propretatea că lungmea ntervalulu [a j, b j ] pentru orce j. lm L j =, unde L j = b j - a j este Lema 5. Fe I un nterval de numere reale, ϕ : I R o funcţe convexă ş [a,b] I un subnterval ce conţne un punct de mnm al lu ϕ. Fe a, b (a,b) cu a < b.. Dacă ϕ( a ) < ϕ( b ), atunc ntervalul [a, b ] conţne un punct de mnm pentru ϕ. j 34

Optmzăr. Dacă ϕ( a ) ϕ( b ), atunc ntervalul [ a,b] conţne un punct de mnm pentru ϕ. Demonstraţe. Fe t * un punct de mnm al lu ϕ.. Presupunem prn absurd t* > b sau echvalent b ( a,t*). Atunc exstă λ (, ) astfel încât b = λ a +(-λ)t* ş ca urmare ϕ( b ) = ϕ(λ a +(-λ)t*) λϕ( a ) + (-λ)ϕ(t*) λϕ( a ) + (-λ)ϕ( a ) = ϕ( a ) ceea ce contrazce ϕ( b ) > ϕ( a ). Dec b t*.. Dacă t* a, atunc t* [ a, b]. Dacă t*< a sau echvalent a (t*, b ), atunc exstă λ (, ) astfel încât a = λt*+(-λ) b ş ca urmare ϕ( a ) = ϕ(λt*+(-λ) b ) λϕ(t*) + (-λ)ϕ( b ) λϕ( b ) + (-λ)ϕ( b ) = ϕ( b ) ϕ( a ), de unde rezultă ϕ(t*) = ϕ( b ), adcă b este punct de mnm pentru ϕ ş în plus b [ a,b]. Această lemă sugerează următorul algortm de construcţe a şrulu de ntervale [a j,b j ], j cu propretatea că lm b j - a j = (sau cel puţn, având propretatea că dacă precza ε> este fxată exstă j ε cu b j - a ε j < ε) ş astfel încât ε fecare nterval [a j,b j ] să conţnă un punct de mnm pentru funcţa convexă ϕ: ϕ - funcţe convexă j ε > dat precza de localzare a unu punct de mnm t* al lu ϕ [a, b ] nterval nţal ce conţne un punct de mnm al lu ϕ j: = ; cât tmp b j -a j ε execută Pasul : *se aleg a j < b j, a j, b j (a j, b j ) Pasul : dacă ϕ( a j ) <ϕ( b j ) atunc a j+ =a j ; b j+ = b j ; altfel a j+ = a j ; b j+ =b j ; t* (b j +a j )/ j: = j+; 35

Mădălna Roxana Bunec Eroarea absolută cu care (b j +a j )/ aproxmează t* (punct de mnm al lu ϕ) este cel mult ε. Exstă dverse posbltăţ de alegere a a j, b j (a j, b j ) cu a j foarte mc. Atunc L j+ = b j+ a j+ = (b j a j ) + δ = L j + δ pentru orce j. Aşadar L j = j b j ε - a j = ε L L j ε + δ +L. Avem lm L j = δ. Dec dacă δ < j ε, atunc exstă j ε cu < ε. Descrem ma jos algortmul corespunzător: ϕ - funcţe convexă ε > dat precza de localzare a unu punct de mnm t* al lu ϕ δ > dat (având propretatea că δ< ε/) [a, b ] nterval nţal ce conţne un punct de mnm al lu ϕ a: = a ; b: = b ; cât tmp b a ε execută c: = (a+b)/; dacă ϕ(c-δ) < ϕ(c+δ) atunc b: = c+δ altfel a:= c-δ t* (b +a)/; Procedura MAPLE dchotomous_search mplementează algortmul de ma sus. Parametr procedur sunt: funcţa convexă ϕ, lsta I cu capetele a, b ale unu nterval ce conţne un punct de mnm pentru ϕ, precza ε de localzare a unu punct de mnm ş δ. Procedura întoarce o aproxmaţe a unu punct de mnm al lu ϕ cu eroare cel mult ε. > dchotomous_search:=proc(ph,i,epslon,delta) > local a,b,c; > a:=evalf(i[]);b:=evalf(i[]); > whle b-a>=epslon do 36

Optmzăr > c:=(a+b)/; > f evalf(ph(c-delta))<evalf(ph(c+delta))then b:=c+delta > else a:=c-delta f; > od; > RETURN((a+b)/) > end; Exemplu 6. Aplcăm procedura dchotomous_search funcţlor ϕ, respectv ϕ dn exemplul 4 ş ntervalelor date de lstele I, respectv I obţnute ca urmare a aplcăr procedur nt (în exemplul 4): > dchotomous_search(ph,i,^(-5),^(-5)/4);.546434 > dchotomous_search(ph,i,^(-5),^(-5)/4); -.8343865-5 Exstă însă o modaltate ma bună de alegere a a j, b j (a j, b j ) cu a j < b j astfel încât la fecare teraţe să se facă o sngură evaluare a funcţe ϕ (în loc de două câte se efectuează în algortmul precedent). VII... Metoda secţun de aur Această metodă este bazată pe aşa numta secţune de aur (golden secton). Secţunea de aur a unu segment este o dvzunea a acestua în două subsegmente astfel încât raportul dntre lungmea subsegmentulu ma lung ş lungmea întregulu segment este egală este egal cu raportul dntre lungmea subsegmentulu ma scurt ş cea a subsegmentulu ma lung: α -α 37

Mădălna Roxana Bunec Dacă lungmea segmentulu consderat este ar lungmea subsegmentulu ma lung este α, atunc α = α α, sau echvalent α + α - =. Sngura soluţe a aceste ecuaţ dn ntervalul [, ] este α = 5.68. Pentru fecare j se aleg a j = a j + (-α)(b j a j ) ar Dacă ϕ( a j )<ϕ( b j ), atunc a j+ = a j ş b j+ = b j ş ca urmare b j + b j = a j + α(b j a j ). =a j+ + α( b j+ a j+ ) =a j +α (b j -a j ) = a j +(-α)(b j a j ) = a j. Legătura dntre cele două teraţ j ş j+ este lustrată ma jos: Iteraţa j a j a j b j b j Iteraţa j+ a j+ a j + b j + b j+ Dec la teraţa j+ va trebu să evaluăm doar ϕ( a j + ) deoarece valoarea lu ϕ( b j + )=ϕ( a j ) este cunoscută de la teraţa j. Analog dacă ϕ( a j ) ϕ( b j ), atunc a j+ = a j ş b j+ =b j ş ca urmare a j + =a j+ + (-α)( b j+ a j+ ) = a j +(-α)α(b j -a j ) = = a j + (-α)(b j a j ) +(α-α )(b j a j ) = a j +(-α )(b j a j ) = = a j +α(b j a j ) = b j. Cazul ϕ( a j ) ϕ( b j ): Iteraţa j a j a j b j b j Iteraţa j+ a j+ a j + b j + b j+ 38

Optmzăr Ca urmare în acest caz va trebu să evaluăm doar ϕ( b j + ϕ( a j + )=ϕ( b j ) este cunoscută de la teraţa j. ) deoarece valoarea lu În ambele cazur avem L j+ = b j+ a j+ = α(b j a j ) = αl j pentru orce j. Aşadar L j = α j L pentru orce j ş ca urmare j lm L j =. Numărul de teraţ ln ε L necesare pentru reducerea lungm ntervalulu L j < ε este n ε = ln ( α) Descrem ma jos algortmul corespunzător denumt metoda secţun de aur: ε > dat precza de localzare a unu punct de mnm t* al lu ϕ [a, b ] nterval nţal ce conţne un punct de mnm al lu ϕ α : = 5 ln ε b a a: = a ; b: = b ; L: = b-a; nmax:= ln ( α) a : = a + (-α)l; b : = a + αl; y:=ϕ( a ); y: = ϕ( b ); j: = ; cât tmp j < nmax execută + +. dacă y < y atunc b:= b ; L:=b-a; b : = a ; y:=y; a : = a + (-α)l; y:=ϕ( a ); altfel a: = a ; L:=b-a; a : = b ; y:=y; b : = a + αl; y:=ϕ( b ); j: = j +; t* (b +a)/; Procedura MAPLE golden_secton mplementează algortmul de ma sus. Parametr procedur sunt: funcţa convexă ϕ, lsta I cu capetele a, b ale unu nterval ce conţne un punct de mnm pentru ϕ ş precza ε de localzare a unu punct de mnm al lu ϕ. Procedura întoarce o aproxmaţe a unu punct de mnm al lu ϕ cu eroare cel mult ε. > golden_secton:=proc(ph,i,epslon) > local alpha,beta,a,b,y,y,l,u,v,j,nmax; 39

Mădălna Roxana Bunec > alpha:=evalf((5^(/)-)/);beta:=-alpha; > a:=evalf(i[]);b:=evalf(i[]);l:=b-a; > u:=a+beta*l;v:=a+alpha*l;y:=ph(u);y:=ph(v); > nmax:=cel(ln(epslon/l)/ln(alpha));j:=; > whle j<nmax do > f y<y then b:=v;l:=b-a; > y:=y;v:=u;u:=a+beta*l;y:=ph(u) > else a:=u;l:=b-a; > y:=y;u:=v;v:=a+alpha*l;y:=ph(v); > f; > j:=j+ > od; > RETURN((a+b)/) > end; Exemplu 7. Aplcăm procedura golden_secton funcţlor ϕ, respectv ϕ dn exemplul 4 ş ntervalelor date de lstele I, respectv I obţnute ca urmare a aplcăr procedur nt (în exemplul 4): > golden_secton(ph,i,^(-5));.548 > golden_secton(ph,i,^(-5));.965968 Alt grup de metode pentru determnarea unu punct de mnm al funcţe convexe ϕ se bazează pe echvalenţa: t* punct de mnm <=> ϕ (t*) =. Ca urmare pentru determnarea lu t* se poate aplca orce metodă de rezolvare a ecuaţe (nelnare) ϕ (t) =. Vom exemplfca cu metoda bsecţe ş metoda tangente. VII... Metoda bsecţe Metoda bsecţe (metoda înjumătăţr ntervalulu) presupune cunoscut un nterval [a,b ] cu propretatea că ϕ (a ) ϕ (b ) <. Pentru găsrea rădăcn ecuaţe ϕ (t) = se mcşorează la fecare pas ntervalul în care funcţa ϕ îş schmbă semnul. Metoda bsecţe presupune înjumătăţrea la fecare pas a acestu nterval. Astfel 4

Optmzăr a + b se determnă mjlocul c = al ntervalulu (a,b ). dacă ϕ (c) ϕ (a )<, atunc se contnuă algortmul cu ntervalul [a,c] dacă ϕ (c) ϕ (b )<, atunc se contnuă algortmul cu ntervalul [c,b ] dacă ϕ (c) = s-a determnat o rădăcnă a ecuaţe ϕ (t) =. Se construeşte astfel un şr de ntervale [a j, b j ], j cu lungmea lu L j+ = b j+ a j+ = L j. Dec lm L j = lm L j j j =. În plus, fecare dn aceste ntervale conţne o soluţe a ecuaţe ϕ (t) =. Presupunând că se dă o precze ε>, consderăm că mjlocul ntervalulu [a j, b j ] este o aproxmaţe satsfăcătoare a soluţe ecuaţe ϕ (t) = dacă ln L L j = b j a j < ε. Numărul de teraţ necesare pentru ca L j < ε este n ε = ln ϕ convexă dervablă [a,b ] cu ϕ (a ) ϕ (b ) < 4 ( ε) +. ε > dat precza de localzare a unu punct de mnm t* al lu ϕ (sau echvalent punct staţonar al lu ϕ) ( ε) ln b a a: = a ; b:=b ; nmax:= ln cât tmp j < nmax execută a + b c: = ; dacă ϕ (c) = atunc +; j: = ; a :=c; b:=c; j: = nmax+; altfel dacă ϕ (c) ϕ (a)< atunc b : = c; altfel a : = c; j: = j+; a + b t* a + b La eşre c= este o aproxmaţe a une rădăcn t* (a,b ) a ecuaţe ϕ (t) = cu eroarea absolută t*-c < ε. Procedura MAPLE bsecton mplementează algortmul de ma sus. Parametr procedur sunt: funcţa convexă ϕ, lsta I cu punctele a, b cu

Mădălna Roxana Bunec propretatea că ϕ (a ) ϕ (b ) < ş precza ε de localzare a unu punct de mnm al lu ϕ. Procedura întoarce o aproxmaţe a unu punct staţonar (sau echvalent punct de mnm) al lu ϕ cu eroare cel mult ε. > bsecton:=proc(ph,i,epslon) > local c,a,b,d,j,nmax; > a:=evalf(i[]);b:=evalf(i[]);d:=d(ph); > nmax:=cel(ln(abs((b-a)/epslon))/ln()); j:=; > whle j<nmax do > c:=(a+b)/; > f d(c)= then a:=c;b:=c;j:=nmax+ else > f evalf(d(c)*d(a))< then b:=c else a:=c f f; > j:=j+ od; > c:=(a+b)/; > RETURN(c) > end; Exemplu 8. Aplcăm procedura bsecton funcţlor ϕ, respectv ϕ dn exemplul 4 ş ntervalelor date de lstele I, respectv I obţnute ca urmare a aplcăr procedur nt (în exemplul 4): > evalf(d(ph)(i[])*d(ph)(i[])); -3. > bsecton(ph,i,^(-5));.5 > evalf(d(ph)(i[])*d(ph)(i[])); -.666666667 > bsecton(ph,i,^(-5));. VII..3. Metoda tangente (metoda lu Newton) Prn metoda tangente (metoda lu Newton) se determnă o rădăcnă a une ecuaţ h(t) = ca lmta unu şr. Se pleacă de la un punct t dat. Presupunând că s-a construt termenul t j-, termenul t j se determnă ca fnd abscsa ntersecţe dntre tangenta la grafcul funcţe h în t j- ş axa abscselor. 4

Optmzăr t j t j- Presupunem că funcţa h: [a, b ] R este de or dervablă ş că h nu se anulează. Ecuaţa tangente în t n- fnd: rezultă (luând y = ) y h(t j- ) = h (x j- )(x x j- ) t j = t j- - 43 ( j ) ( t j ) h t h Convergenţa şrulu este determnată de termenul nţal t. Ma precs dacă t se află într-o vecnătate sufcent de mcă a soluţe t* a ecuaţe h(t) =, atunc şrul (t j ) j converge la t*. Ma mult, avem unde m = nf h [ ] t a,b M t t m t* - t j ( t) ş M = sup h ( t) t [a,b ]. j j. Pentru rezolvarea ecuaţe ϕ (t) =, şrul corespunzător metode tangente este defnt prn: ar algortmul corespunzător: t j = t j- - ϕ strct convexă de clasă C t dat (punct nţal) ϕ ϕ ( t j ) ( t j ), t dat ε > dat precza de localzare a unu punct de mnm t* al lu ϕ (sau t : = t ; echvalent punct staţonar al lu ϕ)

t : = t - ϕ ϕ ( t ) ( t ) cât tmp t t ε execută t := t ; t : = t - ; ϕ ϕ ( t ) ( t ) Mădălna Roxana Bunec ; La eşre t este o aproxmaţe a une rădăcn t* a ecuaţe ϕ (t) = cu eroarea absolută ma mcă decât ε. Prezentăm în contnuare o varantă a acestu algortm pentru cazul în care şrul construt nu converge. Introducem ca dată suplmentară de ntrare numărul maxm de termen dn şr ce urmează a f calculaţ (Nmax) ş afşăm termenul şrulu corespunzător fecăre teraţ. Condţa de oprre se transformă t : = t ; t : = t - j:=; ϕ ϕ ( t ) ( t ) ; t j - t j- < ε sau n > Nmax cât tmp ( t t ε) ş (j Nmax) execută t := t ; t : = t - j: = j+; ϕ ϕ afşează t; ( t ) ( t ) ; Trebue verfcat la eşrea dn cclu dacă ϕ (t ). Dacă problema este bne condţonată (adcă ϕ * ( t ) mc), aceasta condţe va asgura acurateţea aproxmaţe. Procedurle MAPLE corespunzătoare sunt prezentate ma jos: > newton:=proc(ph,t,epslon) > local t,t,d,d; > d:=d(ph); d:=d(d);t:=evalf(t);t:=t-d(t)/d(t); > whle ((t-t)^)>=epslon do > t:=t;t:=t-d(t)/d(t) od; > RETURN(t) 44

Optmzăr > end; > newton_:=proc(ph,t,epslon,nmax) > local t,t,d,d,j; > d:=d(ph); d:=d(d);t:=evalf(t);t:=t-d(t)/d(t); j:=; > whle (((t-t)^)>=epslon) and (j<=nmax) do > t:=t;t:=t-d(t)/d(t); j:=j+; > prnt(t) >od; > RETURN(t) > end; Exemplu 9. Aplcăm procedura newton funcţe ϕ dn exemplul 4 cu punctele nţale t =, respectv t = : > newton(ph,,^(-5)); > newton(ph,,^(-5));.5.5 ş funcţe ϕ dn exemplul 4 cu punctele nţale t =.7, respectv t = -.7 : > newton(ph,.7,^(-5)); -.7398 - > newton(ph,-.7,^(-5)); -.7398 - Aplcăm procedura newton_ funcţe ϕ cu punctele nţale t = (număr maxm de teraţ ), respectv t = (număr maxm de teraţ ) : > newton_(ph,,^(-5), );.5.5 > newton_(ph,-3,^(-5),);.5.5 precum ş funcţe ϕ cu punctele nţale: t =.7 (număr maxm de teraţ 5), t = -.7 (număr maxm de teraţ 5), t =.5 (număr maxm de teraţ 5), respectv t =.5 (număr maxm de teraţ 5): 45

Mădălna Roxana Bunec > newton_(ph,.7,^(-5),5); -.4999999 -.57648 -.3339345 -.4483 -.7398 - -.7398 - > newton_(ph,-.7,^(-5), 5); -.4999999 -.57648 -.3339345 -.4483 -.7398 - -.7398 - > newton_(ph,.5,^(-5),5); -.44465-5.96464478-35.573679-6.77449 -.593993 7 -.593993 7 > newton_(ph,.5,^(-5), 5); -.5565 -.477455449 -.887464-4.76494536 -.7466784 -.7466784 Se observă că pentru punctele nţale t =.5 ş t =.5 şrul construt prn metoda lu Newton nu converge la punctul staţonar al funcţe ϕ. 46

Optmzăr VII.. Procedur de alegere suboptmală a pasulu Procedurle de alegere suboptmală a pasulu presupun determnarea pasulu t dn condţa realzăr une reducer semnfcatve (dar nu neapărat optmale) a funcţe f în drecţa v (v drecţe descendentă în x ) : f(x + t v ) < f(x ) Aşa cum am arătat ma înante dacă f este dferenţablă ş v descendentă în x, atunc exstă λ > astfel încât pentru orce t (, λ ) Dec orce valoare t (, f(x + tv ) < f(x ). este o drecţe λ ) satsface f(x + t v ) < f(x ). Să observăm însă în exemplul următor ce se întâmplă dacă valorle t sunt prea mc. Fe f : R R, f(x) = x, x =, v = -, t =, + x+ = x + t v pentru orce. (x, f(x )) (x, f(x )) (x, f(x )) Deoarece paş de deplasare t sunt prea mc şrul construt x = - j j= converge la ş nu la punctul de mnm x = al funcţe f. Algortmul de alegere a lu t prezentat ma jos prevne stuaţa în care pasul t ar deven prea mc. t nt > valoare nţală dată (de exemplu, t nt = dacă domenul de defnţe al lu f este R n ) β (, ) dat (de exemplu, β = ) t: = t nt cât tmp f(x +tv ) f(x ) execută t : = t * β; 47

t : = t; Mădălna Roxana Bunec Ca urmare t va lua cea a mare valoare dntre cele de forma t nt β j, j =,,... care îndeplneşte condţa f(x +t nt β j v ) < f(x ). Pe de altă parte nc stuaţa în care t este prea mare relatv la descreşterea lu f nu convne după cum rezultă dn exemplul următor. Fe f:r R, f(x) = x, x =, v = (-) + 3, t = +, + x+ = x + t v pentru orce. (x, f(x )) (x, f(x )) (x, f(x )) (x 3, f(x 3 )) (x 4, f(x 4 )) În acest exemplu paş t sunt prea mar relatv la valorle cu care descreşte f, ar termen x = (-) + osclează de o parte ş cealaltă a mnmulu. Şrul (x ) are două subşrur convergente la ş respectv -, fără ca vreunul dn punctele - sau să fe punct de mnm pentru f. Pentru a preven această stuaţe se mpune o condţe ma tare decât smpla descreştere f(x + t v ) < f(x ), ş anume: f(x + t v ) f(x ) + t δ< f(x ), v > () unde δ (, ). Condţa () poartă denumrea de condţa lu Armjo. Algortmul bactracng Armjo (de căutare lnară) pentru determnarea lu t este redat ma jos: t nt > valoare nţală dată (de exemplu, t nt = ) β (, ) dat (de exemplu, β = ) δ (, ) - dat (de exemplu, δ =. sau -4 ) t: = t nt ; 48

Optmzăr cât tmp f(x +tv ) > f(x ) + t δ< f(x ), v > execută t : = t * β; t : = t; Procedura MAPLE suboptmal are drept parametr funcţa f, punctul x, drecţa descendentă v, ş valorle t nt, β ş δ. Procedura întoarce pasul t astfel încât condţa Armjo să fe verfcată. > suboptmal:=proc(f,x,v,tnt,beta,delta) > local y, t,n,g,g,x; > n:=vectdm(x); >g:=grad(f(seq(x[],..n)),vector([seq(x[],..n)])); >g:=vector([seq(subs(seq(x[]=x[],..n),g[j]),j=..n)]); >y:=evalf(f(seq(x[],..n))); >t:=evalf(tnt);x:=vector(n);x:=evalm(x+t*v); > whle f(seq(x[],..n))>y+t*delta*sum(g[]*v[],..n) > do t:=t*beta; x:=evalm(x+t*v) > od; > RETURN(t) > end; Aplcând această procedură funcţe f : R R, defntă prn f (x,y) = 3x +y -xy -4x +y -3 > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; f := ( x, y ) 3 x + y x y 4 x + y 3 ş punctulu x = [,], drecţe v = [,-] ş luând t nt =, β =.5 ş δ =. (respectv δ =.45) obţnem: > suboptmal(f,vector([,]),vector([,-]),,.5,.);.5 > suboptmal(f,vector([,]),vector([,-]),,.5,.45);.5 Rămâne să arătăm că algortmul de determnare a lu t se termnă într-un număr fnt de paş ş că valoarea lu t nu devne prea mcă. În plus vom studa convergenţa şrulu construt (x ). Vom presupune că gradentul funcţe f este o funcţe Lpschtz contnuă. 49

Mădălna Roxana Bunec Defnţe. Fe V ş W două spaţ normate ş X V o submulţme. Funcţa F:X W se numeşte Lpschtz contnuă pe X dacă exstă o constantă γ> (numtă constanta Lpschtz) astfel încât pentru orce x,y X să avem: F(y) F(x) γ y-x. Este uşor de observat că orce Lpschtz contnuă pe X este unform contnuă pe X (în partcular, contnuă pe X). Restrcţa orcăre funcţ de clasă C la o mulţme compactă K este Lpschtz contnuă pe K (rezultă dn teorema creşterlor fnte). Observaţe. Pentru funcţ având dferenţale de ordnul, respectv de ordnul, Lpschtz contnue sunt valable următoarele formule Taylor: Presupunem că: X este o submulţme deschsă a lu R n, f:x R o funcţe de clasă C, f Lpschtz contnuă (cu constanta Lpschtz γ L ), x X, h R n cu propretatea că x +λh X pentru orce λ [, ]. Atunc f(x + h) - f(x ) - < f(x ), h> γl h Presupunem că: X o este o submulţme deschsă a lu R n, f:x R o funcţe de clasă C, Hf Lpschtz contnuă (cu constanta Lpschtz γ P ), x X, h R n cu propretatea că x +λh X pentru orce λ [, ]. Atunc f(x + h) - f(x ) - < f(x ), h> - <Hf(x )h, h> 6 γp h 3 Teoremă 3. Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C având gradentul f Lpschtz contnuu cu constanta Lpschtz γ ş fe x X. Dacă δ (, ) ş v este o drecţe descendentă în x, atunc condţa Armjo este satsfăcută pentru orce t [, λ ( x,v) ], unde λ ( x,v) = δ < v, f x > γ v (norma consderată fnd ). Demonstraţe. Fe t [, λ ( x,v) ]. Deoarece f(x+ tv) - f(x) - t< f(x), v> f(x+ tv) - f(x) - t< f(x), v> γt v 5

Optmzăr rezultă că f(x+tv) f(x) + t< f(x), v> + γt v f(x) + t< f(x), v> + γt v, f ( x) = f(x) + t< f(x), v> + t(δ-) <v, f(x)> = f(x) + δt<v, f(x)> δ < > v γ v Corolar 4. Fe f: R n R o funcţe de clasă C având gradentul f Lpschtz contnuu cu constanta Lpschtz γ ş fe x X. Dacă β (, ), δ (,) ş v este o drecţe descendentă în x K, atunc pasul t generat de algortmul bactracng-armjo satsface condţa t v, f x β δ < > mn t nt, γ v (norma consderată fnd ). Demonstraţe. Exstă două posbltăţ. t nt satsface condţa Armjo ş atunc t = t nt.. t nt nu satsface condţa Armjo ş atunc t este de forma t nt β cu N *. Fe j cel ma mare număr natural cu propretatea că t nt β j > δ < v, f x >. (4.) γ v Atunc t nt β j+ δ < v, f x > γ v ş conform teoreme precedente t nt β j+ satsface condţa Armjo. Aşadar t t nt β j+ = β t nt β j > ( 4.) β δ < v, f x >. γ v 5

Mădălna Roxana Bunec În consecnţă, în ambele cauze t v, f x β δ < > mn t nt,. γ v Teoremă 5 (convergenţa algortmlor de căutare lnară nexactă în cazul generăr pasulu de deplasare prn algortmul bactracng-armjo). Fe f: R n R o funcţe de clasă C având gradentul f Lpschtz contnuu fe x X. Se construeşte şrul defnt prn x + = x + t v, unde v este o drecţe descendentă în x, ar t este pasul de deplasare obţnut aplcând algortmul bactracng-armjo. Atunc are loc una dn următoarele tre stuaţ:. f(x ) = pentru un anumt. nf f ( x ) = - lm mn < v, f x >, 3. (norma consderată fnd ). termenul e general converge la zero: 5 < v, f x > Demonstraţe. Presupunem că nf f ( x ) Dn condţa Armjo rezultă că pentru orce f(x + t v ) f(x ) + t δ< f(x ), v > f(x + ) - f(x ) t δ< f(x ), v > f(x ) - f(x + ) - t δ< f(x ), v >. Sumând după se obţne f(x ) - f(x j+ j ) t v, f ( x ) = δ < >. v = >- ş că f(x ) pentru orce. Cu alte cuvnte şrul sumelor parţale ale sere cu termen poztv t δ < v, f x > este mărgnt, dec sera este convergentă ş ca urmare =

Optmzăr lm t < f(x ), v > =. (5.) Fe γ constanta Lpschtz asocată gradentulu f. Notăm K =, t K =, t β δ < v, f x > > γ v nt β δ < v, f x >. γ v nt Ţnând cont de corolarul 4, rezultă că pentru orce K avem t β δ < v, f x > γ v γ β ( δ) v, f x t < > < v, f x > v γ β ( δ) < > v, f x t < v, f x > (5.) v Pentru orce K avem t t nt ş ca urmare < f(x ), v > = Dn (5.) ş (5.3) rezultă că mn < v, f x >, Dar dn (5.) rezultă că < > v, f x t t < v, f x > v ( δ) 53 < v, f x > t t nt mn < v, f x > t, lm mn < v, f x > t, ( δ) (5.3). γ < > β t γ < > β t v, f x t nt v, f x t nt =.

Mădălna Roxana Bunec lm mn < v, f x >, ş ca urmare < v, f x > v = Observaţe 6. După cum rezultă teorema anteroară algortmul bactracng-armjo (prn care t este cel ma mare număr de forma t nt β (cu N) care satsface condţa Armjo) asgură convergenţa metodelor de căutare lnară nexactă, dacă se mpun condţ suplmentare asupra lu f (f să fe mărgntă nferor) ş asupra drecţe v astfel încât dn condţa 3 a teoreme 5 să rezulte convergenţa la a şrulu ( f(x )) sau măcar a unu subşr al acestua. Exstă însă ş alte modaltăţ pentru a evta ca t să devnă prea mc sau prea mare (relatv la descreşterea lu f). Se spune că t satsface condţle Wolfe dacă f(x + t v ) f(x ) + t δ < f(x ), v > (7a) < f(x + t v ), v > δ < f(x ), v > (7b) cu < δ < δ < (de exemplu, δ = -4 ş δ =.9 dacă drecţa v este aleasă prntro metodă de tp Newton sau δ =. dacă drecţa v este aleasă prn metoda de gradentulu conjugat). Se spune că t satsface condţle Wolfe în sens tare dacă f(x + t v ) f(x ) + t δ < f(x ), v > (8a) < f(x + t v ), v > δ < f(x ), v > (8b) cu < δ < δ <. Se spune că t satsface condţle Goldsten dacă f(x ) + t (-δ)< f(x ), v > f(x + t v ) f(x ) + t δ< f(x ), v > (9) cu < δ <. Un dezavantaj al condţlor lu Goldsten relatv la condţle Wolfe este acela că prma dntre negaltăţ poate exclude toate punctele de mnm ale funcţe ϕ (ϕ(t) = f(x + tv )). Condţle Goldsten se utlzează în cazul metode Newton, dar nu sunt potrvte pentru metodele cvas-newton. De asemenea algortmul bactracng-armjo este foarte potrvt metode Newton, dar ma puţn potrvt metodele cvas-newton sau de gradent conjugat (ce vor f descrse în subcaptolul următor). 54

Optmzăr Ca ş în cazul algortmulu bactracng-armjo, condţle Wolfe nu sunt sufcente pentru a asgura convergenţa ndferent de alegerea drecţlor v. Următoarea teoremă datorată lu Zoutendj stă la baza rezultatelor prvnd convergenţa dverselor metode în care paş de deplasare satsfac condţle Wolfe. Teoremă (convergenţa algortmlor de căutare lnară nexactă în cazul în care pasul de deplasare satsface condţle Wolfe) Fe f:r n R o funcţe de clasă C având gradentul f Lpschtz contnuu cu constanta Lpschtz γ ş fe x X. Se construeşte şrul defnt prn x + = x + t v, unde v este o drecţe descendentă în x, ar pasul de deplasare t îndeplneşte condţle Wolfe (7a, 7b) pentru orce. Atunc are loc una dn următoarele tre stuaţ:. f(x ) = pentru un anumt. nf f ( x ) 3. Sera = - cos θ f x θ =, unde este convergentă. În partcular, lm cos f ( x ) cos(θ ) = < f x,v > f x Demonstraţe. Presupunem că nf f ( x ) v. >- ş că f(x ) pentru orce. Datortă condţlor Wolfe, ma precs, dn (7b) rezultă că < f(x + t v ) - f(x ), v > (δ -) < f(x ), v > (.) Dn faptul că f este Lpschtz contnuă, rezultă că f(x + t v ) - f(x ) γt v de unde, < f(x + t v ) - f(x ), v > γt v. (.) Dn (.) ş dn (.) obţnem negaltatea 55

Mădălna Roxana Bunec δ t γ < f x,v >, ş folosnd prma condţe Wolfe (7a) rezultă ma departe f(x + t v ) f(x δ ) + γ v ( ( f x ),v ) < > δ v δ Dacă notăm c = δ ş ţnem cont că x + t v = x + obţnem γ f(x + ) f(x ) - c ar sumând după ş ţnând seama că cos(θ ) = ( ( < f x ),v > ) 56 v < f x,v > f x f(x + ) f(x ) - c j cos θ j f x j= θ j f x j cos j= c (f(x ) - f(x + )) v, rezultă Cu alte cuvnte şrul sumelor parţale ale sere cu termen poztv cos este mărgnt, dec sera este convergentă ş ca urmare θ f x θ =. termenul e general converge la zero: lm cos f ( x ) Observaţe. Rezultate smlare teoreme precedente se obţn în cazul în care pasul t satsface condţle Goldsten pentru orce sau condţle Wolfe în sens tare pentru orce. Ş în cazul acestor strateg dacă f este mărgntă nferor, fe f(x ) = pentru un anumt, fe este îndeplntă condţa numtă condţa Zoutendj. sera cos θ f x convergentă () Observaţe 3. Încheem acest subcaptol cu un comentaru asupra aleger lu t nt (prma încercare pentru determnarea pasulu t ). Indferent de stratege

Optmzăr (bactracng-armjo, Wolfe (sau Wolfe în sens tare), Goldsten), dacă metoda de determnare a drecţe este de tp Newton sau cvas-newton, atunc t nt =. În cazul metodelor gradentulu sau gradentulu conjugat este mportant ca la fecare pas să se ţnă cont de nformaţa curentă. Astfel t nt la pasul (adcă cel folost pentru determnarea lu t ) poate f luat t - f ( x ),v ( ) < f ( x ),v > sau f x f x f ( x ),v < > < >. VII.3. Procedur de alegere a drecţe Reamntm că metodele căutare lnară pentru rezolvarea (numercă) a probleme de optmzare nf f (x) x X constau în construrea unu şr (x ) de forma + R = + n x x t v t, t pas de deplasare v R cu x X dat. Şrul (x ) trebue să verfce condţa : drecţe de deplasare f(x + ) < f(x ), pentru orce. (LS) ş să abă un punct lmtă un x X care să fe punct staţonar pentru f. În general, în funcţe de ordnul (I sau II) al metode de căutare lnară folostă, alegerea une drecţ de deplasare v se face pe baza unor prescrpţ generale justfcate apror în cazul pătratc (cazul în care funcţa obectv f:r n R este de forma f(x) = <x,cx> + <x, d> cu C M n,n (R) o matrce smetrcă ş d R n un vector fxat; în această stuaţe funcţa f este convexă dacă ş numa dacă C este poztv defntă) ş fundamentate pe baza analze convergenţe ş caracterstclor numerce ale algortmulu rezultat. 57

Mădălna Roxana Bunec VII.3.. Metoda gradentulu (metoda cele ma rapde descreşter) Metoda gradentulu presupune alegerea drept drecţe de deplasare pentru construcţa termenulu x + = x + t v a vectorulu v = - f(x ) pentru orce. Evdent dacă f(x ), atunc v = - f(x ) este drecţe descendentă în x, deoarece <v, f(x )> = - < f(x ), f(x )> = - f(x ) <. (ar în cazul în care f(x ) =, algortmul se opreşte deoarece s-a dentfcat un punct staţonar al lu f, x = x ). Să observăm că vteza de varaţe a une funcţ dferenţable f în x, într-o drecţe v cu v = f(x ) este dată de dervata în x după drecţa v, adcă ( f x + tv) f ( x ) f lm = ( x ) t Maxmzarea în raport cu v a t v ( + ) f x tv f x lm t t = <v, f(x )> ( f x + tv) f ( x ) lm =- t echvalentă cu mnmzarea exprese <v, f(x )>. Denumrea de metoda cele ma rapde descreşter este justfcată de faptul că v = - f(x ) reprezntă soluţa optmă a probleme de mnmzare v V nf < v, f x >, unde V = {v R n : v = f(x ) }= {v R n : v = f(x ) }. Într-adevăr, funcţa Lagrange asocată probleme de mnmzare este L:R n R R, L(v, λ) = <v, f(x )> - λ( v - f(x ) ) = <v, f(x )> - λ(<v, v> - f(x ) ) Dacă v este soluţe optmă, atunc exstă λ R astfel încât 3. v L(v, λ)= 4. λ L(v, λ) = <=> v V <=> v = f(x ) 5. <u, H v L(v, λ)u> pentru orce u {u R n : <v, u> = } Ţnând cont că = x L(v, λ) = f(x ) - λv rezultă că λv = f(x ), de unde λ = f x v =. t este 58

Optmzăr Cum H v L(v, λ) = dag(-λ, -λ,..., -λ), rezultă că pentru a f îndeplntă condţa 3 este necesar ş sufcent ca λ ş ca urmare: Aşadar v = λ = -. λ f(x ) = - f(x ). Cum <u, HvL(v, -/)u> > pentru orce u, rezultă că v =- f(x ) este soluţe optmă locală. Deoarece problema admte soluţe optmă globală (V fnd compactă), rezultă de fapt că v =- f(x ) este soluţe optmă globală. Teoremă 4 (convergenţa metode gradentulu în cazul aleger optmale a pasulu de deplasare) Fe f: R n R o funcţe de clasă C ş fe x R n. Presupunem că mulţmea D = {x R n : f(x) f(x )} este compactă. Se construeşte şrul defnt prn x + = x t f(x ), unde t este pasul de deplasare optmal asocat drecţe v = - f(x ), adcă t este soluţa optmă a probleme nf f(x + tv ). t Atunc orce punct lmtă x al şrulu (x ) este punct staţonar pentru f (adcă f( x ) = ). j Demonstraţe. Fe x un punct lmtă al şrulu (x ). Atunc exstă un subşr ( x )j al şrulu (x ) cu propretatea că x = lm x j. Lmta x D deoarece x D j pentru orce ar D este o mulţme compactă. Presupunem prn absurd că f( x ). Pentru orce j avem j j f( x + ) f( x + ) f( x j - t f( x j )) pentru orce t. Trecând la lmtă cu j ş ţnând cont că f ş f sunt funcţ contnue obţnem lm f( x + ) lm f( x j j j j - t f( x j )) 59

Mădălna Roxana Bunec f( lm j j x + ) f( lm ( x j j - t f( x j ))) f( x ) f( x - t f( x )) f( x - t f( x ))-f( x ) ( ) f x t f x f x t pentru orce t >. Trecând la lmtă după t ( t > ) obţnem f ( ) ( x ) f x = < f( x ), - f( x )> = - f( x ). f( x ) de unde rezultă că f( x ) =, ceea ce contrazce presupunerea f( x ). Dec x este punct staţonar pentru f. Teoremă 5 (convergenţa metode gradentulu în cazul generăr pasulu de deplasare prn algortmul bactracng-armjo) Fe f: R n R o funcţe de clasă C având gradentul f Lpschtz contnuu ş fe x X. Se construeşte şrul defnt prn x + = x + t v, unde v = - f(x ), ar t este pasul de deplasare obţnut aplcând algortmul bactracng-armjo. Atunc are loc una următoarele tre stuaţ: 4. f(x ) = pentru un anumt 5. nf f ( x ) 6. lm f ( x ) = - = Demonstraţe. Presupunem că nf f ( x ) >- ş că f(x ) pentru orce. Presupunem prn absurd că şrul ( f(x )) nu converge la. Atunc exstă ε > astfel încât pentru orce j N exstă j j astfel încât 6

Ca urmare pentru orce j avem Optmzăr j f( x ) ε. j j Aşadar şrul mn f ( x ), f ( x ) mn f x, f x mn (ε, ε ) > { } nu converge la. Pe de altă parte dn teorema 5, deoarece drecţa de deplasare v = - f(x ), rezultă că lm mn < v, f x >, = < v, f x > v { } = lm mn f ( x ), f ( x ) { } ceea ce contrazce faptul că şrul mn f ( x ), f ( x ) În consecnţă presupunerea este falsă ş dec lm f ( x ). nu converge la. =. Teoremă 6 (convergenţa metode gradentulu în cazul în care paş de deplasare satsfac condţle Wolfe) Fe f: R n R o funcţe de clasă C având gradentul f Lpschtz contnuu ş fe x X. Se construeşte şrul defnt prn x + = x + t v, unde v = - f(x ), ar pasul de deplasare t îndeplneşte condţle Wolfe (7a, 7b) pentru orce. Atunc are loc una următoarele tre stuaţ:. f(x ) = pentru un anumt. nf f ( x ) 3. lm f ( x ) = - = Demonstraţe. Presupunem că nf f ( x ) Conform teoreme, lm cos f ( x ) θ =, unde >- ş că f(x ) pentru orce. 6

cos(θ ) = Mădălna Roxana Bunec < f x,v > f x v < f x, f x > = =. f x f x Dec, lm f ( x ) = sau echvalent lm f ( x ) =. x dat): Algortmul asocat metode gradentulu este schţat ma jos (se presupune : = ; cât tmp f(x ) execută pasul : *se calculează f(x ); pasul : *se determnă pasul de deplasare t (optmal sau suboptmal) asocat drecţe de deplasare - f(x ); pasul 3: x + = x - t f(x ); : = +; Prezentăm în contnuare mplementărle în MAPLE ale algortmulu de ma sus asocate dverselor metode de determnare a pasulu t. Procedurle au drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Procedurle folosesc comenz (vector, grad, etc.) dn pachetul lnalg. Ca urmare înante de utlzarea procedurlor acesta trebue încărcat: > wth(lnalg): Funcţonare procedurlor va f exemplfcată pentru funcţle > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; f := ( x, y ) 3 x + y x y 4 x + y 3 > f:=(x,y)->*(y-x^)^+(x-)^; f := ( x, y ) ( y x ) + ( x ) > f3:=(x,y)->9*x^-x*y+y^; f3 := ( x, y ) 9 x x y + y De asemenea în fecare caz în parte vom asoca reprezentarea grafcă (3D ş contour). Implementare metoda gradentulu cu determnarea optmală a pasulu folosnd metoda secţun de aur: > gradent_gold:=proc(f,x,epslon) 6

Optmzăr > local x,x,n,g,g,t,t,t,y,y,alpha,beta, a,b,l,u,v,nmax,j,ph; > n:=vectdm(x); x:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do >ph:=t->f(seq(x[]-g[]*t,..n)); > t:=.; t:=.; y:=ph(t); y:=ph(t); > f y<=y then a:=t; b:=t else > whle y>y do y:=y;t:=t;t:=t+;y:=ph(t) od; > a:=t-; b:=t > f; > alpha:=evalf((5^(/)-)/);beta:=-alpha; > L:=b-a;u:=a+beta*L;v:=a+alpha*L;y:=ph(u);y:=ph(v); >nmax:=cel(ln(epslon/(*l))/ln(alpha));j:=; > whle j<nmax do > f y<y then b:=v;l:=b-a; > y:=y;v:=u;u:=a+beta*l;y:=ph(u) > else a:=u;l:=b-a; > y:=y;u:=v;v:=a+alpha*l;y:=ph(v); > f; > j:=j+ > od; > t:=(a+b)/; > x:=evalm(x-t*g); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > gradent_gold(f,vector([,]),^(-4)); [.6337, -.6675 ] 63

Mădălna Roxana Bunec Număr de teraţ: 5 > gradent_gold(f3,vector([,-]),^(-4)); [.64-8, -.35758753 ] Număr de teraţ: 38 Implementare metoda gradentulu cu determnarea optmală a pasulu folosnd metoda bsecţe: > gradent_bsect:=proc(f,x,epslon) > local x,n,g,g,t,t,t,y,y,c,,nmax,d; > n:=vectdm(x); x:=vector(n); x:=map(evalf,x); 64

Optmzăr > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > d:=unapply(subs(seq(x[]=evalm(x-g*tt)[],..n),- sum(g[j]*g[j],j=..n)),tt); > t:=.;y:=d(.);t:=t+.5;y:=d(t); > whle y*y> do t:=t+.5;y:=d(t) od; > nmax:=cel(ln(abs(*t/epslon))/ln()); :=; >whle <nmax do >c:=(t+t)/; >f d(c)= then t:=c;t:=c else >f evalf(d(c)*d(t))< then t:=c else t:=c f > f; >:=+ >od; >t:=(t+t)/; > x:=evalm(x-t*g); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > gradent_bsect(f,vector([,]),^(-4)); [.5999974, -.48879 ] Număr de teraţ: 5 65

Mădălna Roxana Bunec > gradent_bsect(f,vector([,]),^(-4)); [.99997396,.99989879 ] Număr de teraţ: 796 > gradent_bsect(f3,vector([,-]),^(-4)); [.57874-8, -.35797638 ] Număr de teraţ: 38 Implementare metoda gradentulu cu determnarea optmală a pasulu folosnd metoda Newton: > gradent_newt:=proc(f,x,epslon) > local x,x,n,g,h,g,t,t,t,jj,d,d; 66

Optmzăr > n:=vectdm(x); x:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); >H:=hessan(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > d:=unapply(subs(seq(x[]=evalm(x-g*tt)[],..n),- sum(g[j]*g[j],j=..n)),tt); >d:=unapply(subs(seq(x[]=x[]- g[]*tt,..n),sum(sum(h[j,]*g[j],j=..n)*g[],=..n)),tt); >t:=.;t:=t-d(t)/d(t);jj:=; >whle ((t-t)^>=epslon/) and (jj<=) do >t:=t;t:=t-d(t)/d(t); jj:=jj+ od; >f jj> then prnt(`metoda Newton folosta pentru determnarea pasulu optmal nu converge`); RETURN(NULL) f; > t:=t; > x:=evalm(x-t*g); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > gradent_newt(f,vector([,]),^(-4)); [.5999974, -.4899 ] Număr de teraţ: 5 67

Mădălna Roxana Bunec > gradent_newt(f,vector([,]),^(-4)); [.9999853,.99983778 ] Număr de teraţ: 797 > gradent_newt(f3,vector([,-]),^(-4)); [.4-3, -.35679586 ] Număr de teraţ: 38 Implementare metoda gradentulu cu determnarea suboptmală a pasulu folosnd algortmul bactracng-armjo: > gradent:=proc(f,x,epslon) > local x,x,,n,g,g,t,y,tnt,beta,delta; > tnt:=;beta:=.5;delta:=.; 68

Optmzăr > n:=vectdm(x); x:=vector(n); x:=vector(n); > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > y:=evalf(f(seq(x[],..n))); t:=evalf(tnt); > x:=evalm(x-t*g); > whle f(seq(x[],..n))>y-t*delta*sum(g[]^,..n) > do t:=t*beta; x:=evalm(x-t*g); > od; > x:=evalm(x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(eval(x)) > end; > gradent(f,vector([,]),^(-4)); [.6635, -.7 ] Număr de teraţ: > gradent(f,vector([,]),^(-4)); [.9999838,.9998464 ] 69

Mădălna Roxana Bunec Număr de teraţ: 85 > gradent(f3,vector([,-]),^(-4)); [ -. -3, -.339495758 ] Număr de teraţ: 6 VII.3.. Drecţ cvas-newton Fe B M n.n (R) o matrce poztv defntă (în partcular, B este smetrcă). Luăm drept drecţe de deplasare pentru construcţa termenulu x + = x + t v vectorul v = - B f(x ) pentru orce. Evdent dacă f(x ), atunc v = - B f(x ) este drecţe descendentă în x, deoarece 7

Optmzăr <v, f(x )> = - <. (am utlzat faptul că dacă B este poztv defntă, atunc ş B este poztv defntă). O drecţe de deplasare de forma v = - numeşte drecţe cvas-newton. B f(x ), cu B o matrce poztv defntă, se Să observăm că v = - B f(x ) reprezntă soluţa probleme de optmzare: nf v R n f(x ) + <v, f(x )> + <v, B v>. Un caz de nteres partcular este dat de posbltatea ca B = Hf(x ) (presupunând că hesssana lu f în x este poztv defntă). În această stuaţe v = -Hf(x ) - f(x ) se numeşte drecţe Newton ş reprezntă soluţa probleme de optmzare nf v R n f(x ) + <v, f(x )> + <v, Hf(x )v> (să observăm că f(x ) + <v, f(x )> + <v, Hf(x )v> f(x + v) ). Teoremă 7 (convergenţa metodelor pentru care drecţa de deplasare este de tp cvas-newton în cazul generăr pasulu de deplasare prn algortmul bactracng-armjo) Fe f:r n R o funcţe de clasă C 7 având gradentul f Lpschtz contnuu ş fe x R n. Fe (B ) un şr de matrce dn M n,n (R) poztv defnte cu propretatea că exstă două constante reale c mn ş c max astfel încât pentru orce valoare propre λ(b ) a matrce B ş pentru orce să avem Se construeşte şrul defnt prn unde v = - B < c mn λ(b ) c max. x + = x + t v, f(x ) ar t este pasul de deplasare obţnut aplcând algortmul bactracng-armjo. Atunc are loc una dntre următoarele tre stuaţ:. f(x ) = pentru un anumt. nf f ( x ) 3. lm f ( x ) = - =

Mădălna Roxana Bunec Demonstraţe. Presupunem că nf f ( x ) >- ş că f(x ) pentru orce. Notăm cu λ mn (B), respectv λ max (B), cea ma mcă respectv cea ma mare valoare propre a une matrce smetrce B M n,n (R). Pentru orce vector nenul p R n avem ş în partcular, pentru B=B Ca urmare < Bp, p > λ mn (B) λmax (B) p < Bp,p > < c mn λ mn (B ) λmax (B ) c max. p <v, f(x )> = λ mn ( B ) f(x ) = λ max ( B ) f(x ) c max f(x ). (7.) De asemenea v = B f(x ) = = λ max ( B ) f(x ) λ cmn de unde ţnând cont ş de (7.) rezultă < v, v f x f(x ). (7.) c c mn Dn teorema 5, deoarece drecţa de deplasare v = - lm mn < v, f x >, = Dn (7.) ş (7.3) rezultă < > mn v, f x, < v, f x > ş ţnând cont de (7.4) obţnem v max mn ( B ) f(x ). (7.3) < v, f x > v c B f(x ) f(x ), rezultă că (7.4) mn mn f ( x ), f ( x ) max c c max 7

Optmzăr mn = lm mn f ( x ), f ( x ) c max c c max. (7.5) Presupunem prn absurd că şrul ( f(x )) nu converge la. Atunc exstă ε> astfel încât pentru orce j N exstă j j astfel încât Ca urmare pentru orce j avem j f( x ) ε. j c mn j mn f x, f x cmax cmax c mn Aşadar şrul mn f ( x ), f ( x ) c c max max c mn ε, cmax c mn max ε >. nu converge la, ceea ce contrazce (7.5). În consecnţă presupunerea este falsă ş dec lm f ( x ) =. Teoremă 8 (convergenţa metodelor pentru care drecţa de deplasare este de tp cvas-newton în cazul în care paş de deplasare satsfac condţle Wolfe) Fe f:r n R o funcţe de clasă C având gradentul f Lpschtz contnuu ş fe x R n. Fe (B ) un şr de matrce dn M n,n (R) poztv defnte cu propretatea că numerele lor de condţonare sunt unform mărgnte (adcă o constantă c > astfel încât B B c pentru orce sau echvalent λ λ max mn ( B ) ( B ) c pentru orce, unde λ mn (B ), respectv λ max (B ), este cea ma mcă respectv cea ma mare valoare propre a lu B ). Se construeşte şrul defnt prn unde v = - B x + = x + t v, f(x ) ar pasul de deplasare t satsface condţle Wolfe pentru orce. Atunc are loc una dntre următoarele tre stuaţ:. f(x ) = pentru un anumt. nf f ( x ) 3. lm f ( x ) = - = 73

Mădălna Roxana Bunec Demonstraţe. Presupunem că nf f ( x ) >- ş că f(x ) pentru orce. Pentru orce vector nenul p R n ş orce matrce smetrcă B avem < Bp, p > λ mn (B), (8.) p unde λ mn (B) este cea ma mcă valoare propre a lu B. Conform teoreme, lm cos θ f x =, unde cos(θ ) = ( 8.) = < f x,v > f x λ mn v ( B ) f ( x ) B f ( x ) f x ( ) ( ) B B f x < f x,b f x > = f x B f x = λ f ( x ) ( B ) B f ( x ) max f x B B f x = B B c. = Dec avem lm cos f ( x ) θ = ş cos(θ ) c pentru orce. Ca urmare lm f ( x ) = sau echvalent lm f ( x ) =. VII.3.3. Metoda Newton clască Teoremă 9 (convergenţa metode Newton clasce) Fe X o submulţme deschsă a lu R n, f: X R o funcţe de clasă C având hessana Hf Lpschtz contnuă ş fe x X. Fe x un punct de mnm local al lu f cu propretatea că Hf( x ) este poztv defntă (cu alte cuvnte, fe x un punct care îndeplneşte condţle sufcente pentru a f punct de mnm local al lu f). Se construeşte şrul defnt prn 74

Optmzăr x + = x Hf(x ) - f(x ), Dacă x este într-o vecnătate sufcent de mcă V a lu x, atunc. fecare termen x V ar şrul (x ) converge la x.. rata de convergenţă a lu (x ) la x este pătratcă, adcă exstă o constantă c > astfel încât: lm sup x x + x x = c. 3. rata de convergenţă a şrulu ( f(x ) ) la este pătratcă. Demonstraţe. Punctul x fnd punct de mnm local al lu f, avem f( x )=. Deoarece Hf( x ) este poztv defntă ş Hf este contnuă exstă r > astfel încât pentru orce x B( x, r ), Hf(x) este poztv defntă, dec nversablă. De asemenea exstă r < r astfel încât pentru orce x B( x, r ) să avem Hf(x) - Hf( x ) -. Notăm r 3 = mn,r, γ Hf ( x) unde γ este constanta Lpschtz asocată funcţe Hf. Arătăm prn nducţe după că dacă x B( x, r 3 ), atunc x B( x, r 3 ) pentru orce. Avem x - Hf(x ) - f(x ) - x = x - x - Hf(x ) - f(x ) = = Hf(x ) - (Hf(x )(x - x )- ( f(x ) - f( x ))) Hf(x ) - (Hf(x )(x - x )- ( f(x ) - f( x ))) Pe de altă parte Hf( x ) - (Hf(x )(x - x )- ( f(x ) - f( x ))). (9.) (Hf(x )(x - x )- ( f(x ) - f( x ))) = = ( ( + ( )))( ) Hf x Hf x t x x x x dt Hf x Hf x + t x x x x dt γ t x x dt 75

Mădălna Roxana Bunec = γ x - x. (9.) Dn (9.) ş (9.) rezultă că x + - x C x - x unde C = γ Hf( x ) -. Dn negaltatea de ma sus, rezultă că dacă x B( x, r 3 ), atunc x + B( x, r 3) B( x, r 3 ), şrul (x ) converge la x ar rata convergenţe este pătratcă. Dacă notăm v = Hf(x ) - f(x ), atunc f(x ) + Hf(x )v = ş f(x + ) = f(x + )- f(x ) - Hf(x )v + = ( + )( ) Hf x tv x x dt Hf x v ( + ) Hf x tv Hf x v dt γt v dt = γ v. = γ Hf(x ) - f(x ) γ Hf(x ) - f(x ) γ Hf( x ) - f(x ) de unde rezultă că rata de convergenţă a şrulu ( f(x ) ) la este pătratcă. Observaţe 3 (legătura cu metoda Newton pentru rezolvarea ecuaţlor nelnare). Metoda Newton pentru rezolvarea sstemelor nelnare F(x)= (unde G este o submulţme deschsă a lu R n ar F: G R n este o funcţe cu propretatea că F x j jacobanul, notat JF(x) = ( x ), j n, este o matrce nversablă pentru x G) constă în determnarea soluţe sstemulu consderat ca lmtă a şrulu (x ), unde x + = x JF(x ) - F(x ) cu termenul nţal x G într-o vecnătate sufcent de mcă a soluţe sstemulu. 76

Optmzăr Determnarea punctulu de mnm al funcţe convexe dferenţable f:x R (X o submulţme deschsă a lu R n ) este echvalentă cu rezolvarea sstemulu de ecuaţ f(x) =. Dacă notăm F = f ş presupunem în plus, că f este strct convexă, atunc JF(x) = Hf(x) este o matrce nversablă pentru orce x. Şrul corespunzător metode Newton pentru rezolvarea sstemulu f(x) = este defnt prn: adcă tocma şrul tratat în teorema 9. x + = x JF(x ) - F(x ) = x Hf(x ) - f(x ) Observaţe 3. Determnarea termenulu x + = x Hf(x ) - f(x ) al şrulu defnt în teorema 9 presupune calculul nverse matrce Hf(x ). Pentru mcşorarea volumulu de calcul putem proceda în felul următor. Observăm că x + = x Hf(x ) - f(x ) <=> Hf(x ) (x + - x ) = - f(x ) Astfel în loc să nversăm matrcea Hf(x ), rezolvăm sstemul de ecuaţ lnare Hf(x )v = - f(x ) (cu necunoscutele v, v,..., v n ) ş calculăm x + = x + v. Pentru rezolvarea acestu sstem se recomandă factorzarea Cholesy a matrce Hf(x ), adcă screrea sub forma Hf(x ) = LL t trunghulară cu elementele de pe dagonala prncpală poztve: λ unde L este o matrce nferor L = λ λ λ n λ n λ n3 λ nn Apo sstemul Hf(x )v = - f(x ) se rezolvă în etape: se rezolvă întâ sstemul Ly = f(x ) (cu soluţa y =- λ f x ( x ), y = λ (- ( x ) x f - λjy ),,..,n) ş apo j= sstemul L t v = y (cu soluţa v n = λ y n, nn v = n λ (y - λ jv j ), = n-,..,). j= + Factorzarea Cholesy a une matrce poztv defnte A=(a j ),j n poate f calculată drect rezolvând un sstem de n ecuaţ. Dacă L = (λ j ),j n cu λ j = pentru orce j > =,,,n, atunc relaţa A = LL t este echvalentă cu n a j = λ λ j = λ = m = λ j, unde m = mn(, j). 77

Mădălna Roxana Bunec pentru orce,j {,,, n}. Dacă se mpun condţle λ > pentru orce, acest sstem este compatbl determnat. Pentru = j = obţnem a = λ pentru =,,.., n. Pentru j = obţnem a = λ λ ( =,.., n) ar pentru j =, 3,, n, obţnem Pentru orce j + j a jj = λ = a j = = j λ j + λ jj λ j + λ j λ j, În consecnţă, putem scre următorul algortm de calcul al factorzăr Cholesy pentru o matrce A poztv defntă: pentru j =,,...,n execută j λ jj : = a jj λ = j pentru = j+, j+,...,n execută λ j := λ (a j - = jj j λ λ j ) ; Matrcea nferor trunghulară L cu propretatea că A = LL t ş că are elementele de pe dagonala prncpală poztve se numeşte factor Cholesy. Dacă matrcea A nu este poztv defntă factorzarea Cholesy eşuează (adcă dacă pentru un anumt j avem a jj j λ j ). Exemplfcăm algortmul de ma sus pentru matrcea smetrcă = 4 A = 4 - - = 4, = 4 4 - = >, 3 = 8 >. Dec A este poztv defntă. Calculăm factorul Cholesy L conform algortmulu: λ = a = 4 =. λ = a λ, =,3: λ =, λ 3 = λ = a - λ = 4 - = 3 => λ = 3 78

Optmzăr λ λ 3 = a 3 - λ 3 λ = - => λ 3 = - = - 3 3 3 λ 33 = a 33 - λ 3 - λ 3 = - = => λ33 = 3 3 6 =. 3 3 L = 3-3 3 6 3 Comanda cholesy(a) dn pachetul lnalg dn Maple calculează factorul Cholesy L pentru o matrce poztv defntă A. Verfcarea faptulu că A este sau nu poztv defntă se poate face cu comanda defnte(a, tp), unde A este o matrce smetrcă, ar tp poate f unul dntre şrurle de caractere: 'postve_def', 'postve_semdef', 'negatve_def', sau 'negatve_semdef'. > wth(lnalg): > A:=matrx(3,3,[[4,,],[,4,-],[,-,]]); 4 A := 4 - - > defnte(a, postve_def); true > cholesy(a); 3 3 6 3 3 Algortmul asocat metode Newton clasce este schţat ma jos (se presupune x dat): : = ; 79

Mădălna Roxana Bunec cât tmp f(x ) execută pasul : *se calculează f(x ) ş Hf(x ) pasul : *se rezolvă sstemul Hf(x )v = - f(x ) (se recomandă factorzarea Cholesy a matrce Hf(x ) = LL t ) pasul 3: x + = x + v ; : = +; Prezentăm în contnuare mplementarea în MAPLE ale algortmulu de ma sus. Procedura are drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Procedura foloseşte comenz (vector, grad, hessan, cholesy, etc.) dn pachetul lnalg. Ca urmare înante de utlzarea procedur acesta trebue încărcat: > wth(lnalg): Funcţonare procedur va f exemplfcată pentru funcţle > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; f := ( x, y ) 3 x + y x y 4 x + y 3 > f:=(x,y)->*(y-x^)^+(x-)^; f := ( x, y ) ( y x ) + ( x ) În cazul funcţe f, care este o funcţe pătratcă strct convexă, se va executa o sgură teraţe pentru determnarea soluţe optme. În cazul celelalte funcţ hessana Hf (,) este poztv defntă, dar aplcabltatea metode Newton depnde de punctul nţal x. Implementare metode Newton clasce: > newton:=proc(f,x,epslon) > local x,g,h,g,h,l,y,v,n,p,md,pp; > n:=vectdm(x); x:=vector(n);y:=vector(n); >v:=vector(n); L:=matrx(n,n); > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > H:=hessan(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > H:=evalm(matrx(n,n,[seq(seq(subs(seq(x[]=x[],..n), H[j,p]),j=..n),p=..n)])); > for p from to n do md:=h[p,p]-sum(l[p,]^,..p-); 8

Optmzăr >f md<= then >prnt(`hessana nu este poztv defnta n`, evalm(x)); >RETURN(NULL) >else L[p,p]:=md^(/); >for pp from p+ to n do >L[pp,p]:=(H[pp,p]-sum(L[pp,]*L[p,],..p-))/L[p,p] od >f >od; >y[]:=-g[]/l[,]; >for p from to n do >y[p]:=(-g[p]-sum(l[p,j]*y[j],j=..p-))/l[p,p] od; > v[n]:=y[n]/l[n,n]; > for p from n- by - to do >v[p]:=(y[p]-sum(l[j,p]*v[j],j=p+..n))/l[p,p] od; > x:=evalm(x+v); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > newton(f,vector([,]),^(-4)); [.6, -. ] > newton(f,vector([,]),^(-4)); [.,. ] > newton(f,vector([,]),^(-4)); Hessana nu este poztv defnta n, [.,. ] > newton(f,vector([-,]),^(-4)); [.9999999936,.999999975 ] Pentru funcţa f ş punctul nţal (-.5,.) t prezentăm ma jos ş reprezentarea grafcă (3D ş contour) a teraţlor: > newton(f,vector([-.5,.]),^(-4)); [.99999986,.999998366 ] 8

Mădălna Roxana Bunec Număr de teraţ: 6 Prezentăm în contnuare o varantă a acestu algortm pentru cazul în care şrul construt nu converge. Introducem ca dată suplmentară de ntrare numărul maxm de termen dn şr ce urmează a f calculaţ (Nmax). > newton_:=proc(f,x,epslon,nmax) > local x,g,h,g,h,l,y,v,n,p,,md,pp; > n:=vectdm(x); x:=vector(n);y:=vector(n); > v:=vector(n); L:=matrx(n,n); > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > H:=hessan(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x);:=; > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle (norm(g,)>=epslon) and (<Nmax) do > H:=evalm(matrx(n,n,[seq(seq(subs(seq(x[]=x[],..n), H[j,p]),j=..n),p=..n)])); > for p from to n do md:=h[p,p]-sum(l[p,]^,..p-); >f md<= then prnt(`terata `, ); >prnt(`hessana nu este poztv defnta n`, evalm(x)); >prnt(h); RETURN(NULL) >else L[p,p]:=md^(/); >for pp from p+ to n do >L[pp,p]:=(H[pp,p]-sum(L[pp,]*L[p,],..p-))/L[p,p] od >f >od; > y[]:=-g[]/l[,]; > for p from to n do 8

Optmzăr >y[p]:=(-g[p]-sum(l[p,j]*y[j],j=..p-))/l[p,p] od; > v[n]:=y[n]/l[n,n]; > for p from n- by - to do >v[p]:=(y[p]-sum(l[j,p]*v[j],j=p+..n))/l[p,p] od; > x:=evalm(x+v);:=+; > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; >prnt(`numar de terat`,); > RETURN(evalm(x)) > end; Consderăm funcţa f 4 : R \ {(,y) t, y R} R defntă prn > f4:=(x,y)->/(x-)^4/4+(y^-x); f4 := ( x, y ) + y x 4 ( x ) 4 Hessana Hf 4 este poztv defntă în orce punct dn domenul de defnţe: > hessan(f4(x,y),[x,y]); 5 ( x ) 6 Punctul (,) t este (sngurul) punct staţonar pentru f 4, dec este punct de mnm local (pentru restrcţa lu f 4 la mulţmea convexă {(x,y) t R : x < }, (,) t este punct de mnm global): > grad(f4(x,y),[x,y]);, y ( x ) 5 Aplcăm procedura newton_ pentru dverse puncte nţale x. > newton_(f4,vector([.5,]),^(-4),); Numar de terat, 7 [.86443-5, -. -6 ] > newton_(f4,vector([.,.]),^(-4),5); Numar de terat, 5 [.33496474 956973, -. -5 ] > newton_(f4,vector([-.5,.]),^(-4),5); terata, 9 Hessana nu este poztv defnta n, [.36843434 586454, -. -7 ] 83

Mădălna Roxana Bunec. Se observă că dacă x = (.5, ) t şrul asocat metode Newton converge la (,), în tmp ce pentru x = (.,.) t ş x =(-.5,.) şrurle asocate nu converg. Faptul că procedura afşează mesajul hessana nu este poztv defntă se datorează vrgule f 4 moble ( ( x ) x devne mc ş este asmlat cu zero). VII.3.4. Metoda Newton cu pas varabl Metoda Newton clască prezentată ma înante foloseşte drept drecţe de deplasare aşa numta drecţe Newton v =-Hf(x ) f(x ) ş pasul de deplasare t = pentru orce. În general, convergenţa metode Newton cu pasul t = este asgurată numa pentru un domenu relatv restrâns de puncte nţale x. De aceea având în vedere extnderea domenulu de convergenţă al metode, în practcă paş t asocaţ drecţlor se aleg prn procedur optmale sau suboptmale. Metoda corespunzătoare se numeşte metoda Newton cu pas varabl, rezervându-se termenul de metodă Newton clască doar pentru cazul în care t = pentru orce. Teoremă 3 (convergenţa metode Newton cu pas varabl în cazul generăr pasulu de deplasare prn algortmul bactracng-armjo) Fe f:r n R o funcţe de clasă C având hessana Hf Lpschtz contnuă ş fe x R n. Se construeşte şrul defnt prn x + = x t Hf(x ) - f(x ), unde t este pasul de deplasare asocat drecţe v = - Hf(x ) - f(x ). Presupunem în plus, că pentru fecare, Hf(x ) este poztv defntă ş că pasul t este obţnut aplcând algortmul bactracng-armjo cu t nt = ş δ <. Dacă şrul (x ) converge la un punct x pentru care Hf( x ) este poztv defntă, atunc. exstă astfel încât t = pentru orce.. rata de convergenţă a lu (x ) la x este pătratcă 84

Optmzăr Demonstraţe. Notăm λ mn (Hf( x )) cea ma mcă valoare propre a lu Hf( x ). Datortă faptulu că lm x = x, exstă astfel încât pentru orce să avem: <v, Hf(x )v > λ mn(hf( x )) v. ş ca urmare <v, f(x )> = -<v, f(v )> = = <v, Hf(x )v > λ mn(hf( x )) v (3.) Pe de altă parte < v, v f x = < v, f ( x ) > v, Hf = ( x ) v < v > v Dn (3.) ş (3.) rezultă mn < v, f x >, Aplcând teorema 5 obţnem λ mn(hf( x )) v (3.) < v, f x > v = de unde rezultă că j lm mn j j λ Hf x mn v, v < v, f x > lm mn < v, f x >, v v =. Notăm γ constanta Lpschtz asocată lu Hf. Aplcând formula Taylor, rezultă că exstă z = x + θv cu θ (,) astfel încât f(x + v ) f(x ) - < f(x ), v > = < f(x ), v > + <Hf(z)v, v > = < f(x ), v > + <Hf(x )v, v > + (<Hf(z)v, v > - <Hf(x )v, v >) = < f(x ) +Hf(x )v, v > + <(Hf(z)- Hf(x ))v, v > 85

Mădălna Roxana Bunec Hf(z)- Hf(x ) v (am ţnut cont că f(x ) + Hf(x )v = ) γ z- x v = γ θv v γ v 3 (3. 3) Deoarece lm v =, rezultă că exstă astfel încât pentru orce să avem γ v λ mn (Hf( x ))(-δ) Dn (3.) ş (3.3) rezultă că f(x + v ) f(x ) < f(x ), v > + λ mn(hf( x ))(-δ) v < f(x ), v > + (-δ) <v, Hf(x )v > = < f(x ), v > - (-δ) <v, f(x )> =δ< f(x ), v > În consecnţă, f(x + v ) f(x ) +δ< f(x ), v >, ş dec t = t nt = pentru orce max(, ). Aşadar pentru orce max(, ), termenul x + este defnt ca x + = x Hf(x ) - f(x ). Aplcăm ma departe teorema 9. Următorul rezultat datorat lu Denns ş More [7] arată că dacă o drecţe cvas-newton v = -B f(x ) aproxmează drecţa Newton într-un anumt sens, atunc pasul t = satsface condţle Wolfe: Teoremă 33. Fe f:r n R o funcţe de clasă C având hessana Hf Lpschtz contnuă, fe x R n ş fe (B ) un şr de matrce dn M n,n (R) poztv defnte. Se construeşte şrul defnt prn x + = x + t v, 86

Optmzăr unde v = - B f(x ) ar pasul de deplasare t satsface condţle Wolfe pentru orce. Dacă şrul (x ) converge la un punct x pentru care f( x ) = ş Hf( x ) este poztv defntă ş dacă lm + f x Hf x v v atunc exstă astfel încât pentru orce pasul t = satsface condţle Wolfe = (ar convergenţa este superlnară, adcă x + x lmsup x x = ). O varantă a algortmulu asocat metode Newton cu pas varabl este schţat ma jos (se presupune x dat; de asemenea dacă pentru o anumtă teraţe matrcea Hf(x ) nu este poztv defntă, atunc se alege drept drecţe de deplasare v =- f(x ) ): : = ; cât tmp f(x ) execută pasul : *se calculează f(x ) ş Hf(x ) pasul : dacă Hf(x ) este poztv defntă atunc *se rezolvă sstemul Hf(x )v = - f(x ) (se recomandă factorzarea Cholesy a matrce Hf(x )) altfel v : = f(x ) pasul 3: *se determnă pasul de deplasare t (optmal sau suboptmal) asocat drecţe de deplasare v ; pasul 4: x + = x + t v ; : = +; Prezentăm în contnuare mplementarea în MAPLE ale algortmulu de ma sus. Procedura are drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Procedura foloseşte comenz (vector, grad, hessan, cholesy, etc.) dn pachetul lnalg. Ca urmare înante de utlzarea procedur acesta trebue încărcat: > wth(lnalg): Funcţonare procedur va f exemplfcată pentru funcţle > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; 87

Mădălna Roxana Bunec f := ( x, y ) 3 x + y x y 4 x + y 3 > f:=(x,y)->*(y-x^)^+(x-)^; f := ( x, y ) ( y x ) + ( x ) > f4:=(x,y)->/(x-)^4/4+(y^-x); f4 := ( x, y ) + y x 4 ( x ) 4 > f6:=(x,y)->x^*(4-.*x^+x^4/3)+x*y+y^*(-4+4*y^); f6 := ( x, y ) x + + 4. x + 3 x4 x y y ( 4 + 4 y ) Implementare metode Newton cu pas varabl (pasul de deplasare este generat prn algortmul bactracng-armjo; în stuaţa în care hessana Hf(x ) nu este poztv defntă se utlzează drept drecţe de deplasare - f(x )) : > newton_var:=proc(f,x,epslon) > local x,x,g,h,g,h,l,y,v,n,p,t,z,tnt,beta,delta, pp,md,test; > n:=vectdm(x); x:=vector(n);x:=vector(n); > y:=vector(n);v:=vector(n); L:=matrx(n,n); >beta:=.5;delta:=.;tnt:=.; > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > H:=hessan(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > H:=evalm(matrx(n,n,[seq(seq(subs(seq(x[]=x[],..n), H[j,p]),j=..n),p=..n)]));test:=; > for p from to n do md:=h[p,p]-sum(l[p,]^,..p-); >f md<= then p:=n+;test:= >else L[p,p]:=md^(/); >for pp from p+ to n do >L[pp,p]:=(H[pp,p]-sum(L[pp,]*L[p,],..p-))/L[p,p] od >f >od; > f test= then y[]:=-g[]/l[,]; > for p from to n do >y[p]:=(-g[p]-sum(l[p,j]*y[j],j=..p-))/l[p,p] od; > v[n]:=y[n]/l[n,n]; 88

Optmzăr > for p from n- by - to do >v[p]:=(y[p]-sum(l[j,p]*v[j],j=p+..n))/l[p,p] od; >else v:=evalm(-g) f; > z:=evalf(f(seq(x[],..n))); t:=tnt; x:=evalm(x+t*v); > whle f(seq(x[],..n))>z+t*delta*sum(g[]*v[],..n) > do t:=t*beta; x:=evalm(x+t*v); > od; > x:=evalm(x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > newton_var(f,vector([,]),^(-4)); [.6, -. ] > newton_var(f,vector([,]),^(-4)); [.,. ] > newton_var(f,vector([-,]),^(-4)); [.999999387,.99999878 ] > newton_var(f4,vector([-.5,.]),^(-4)); [.439499-7,. -8 ] Pentru funcţle f 6 cu punctul nţal (, -) t ş f cu punctul nţal (, ) t prezentăm ma jos ş reprezentarea grafcă (3D ş contour) a teraţlor: > newton_var(f6,vector([,-]),^(-4)); [ -.8984754,.76564383 ] Număr de teraţ: 6 89

Mădălna Roxana Bunec > newton_var(f,vector([,]),^(-4)); [.9999999666,.999999987 ] Număr de teraţ: 9 VII.3.5. Metode Newton modfcate În ultmul algortm prezentat în cursul trecut în stuaţa în care hessana Hf(x ) nu era poztv defntă se folosea drept drecţe de deplasare v = - f(x ) specfcă metode gradentulu. Altă varantă este modfcarea ad-hoc a matrce Hf(x ). Ma precs, folosrea une drecţ de forma B = Hf(x ) + E unde E este o matrce aleasă astfel încât Hf(x ) + E să fe sufcent de poztv defntă (E = dacă Hf(x ) este sufcent de poztv defntă ). Metodele de acest tp poartă numele de metode Newton modfcate (sau metode Newton cu modfcarea hessane). Algortmul asocat metodelor de tp Newton modfcate este schţat ma jos (se presupune x dat) : = ; cât tmp f(x ) execută pasul : * se calculează B = Hf(x ) + E, unde E este o matrce aleasă astfel încât Hf(x ) + E să fe sufcent de poztv defntă (E = dacă Hf(x ) este sufcent de poztv defntă ) pasul : *se rezolvă sstemul B v = - f(x ) pasul 3: *se determnă pasul de deplasare t (suboptmal) asocat drecţe de deplasare v ; pasul 4: x + = x + t v ; : = +; 9

Optmzăr Pentru determnarea matrce B putem pleca de la descompunerea spectrală a matrce smetrce Hf(x ), adcă screrea e sub forma Hf(x ) = QDQ t, unde Q este o matrce ortogonală (având pe coloane vector propr a lu Hf(x )) ar D o matrce dagonală (având pe dagonala prncpală valorle propr ale lu Hf(x )): λ D = λ λ n Se poate lua B = Hf(x ) + E = QD m Q t, unde µ D m = µ µ n cu µ = max (ε, λ ) pentru orce n (sau eventual, µ = max (ε, λ ) pentru orce n), ε fnd un număr poztv mc (de exemplu, ε = ε mach, unde ε mach este precza maşn). O astfel de descompunere necestă un volum mare de calcul dacă n mare. Un volum ma mc de calcul se obţne dacă se estmează doar cea ma mcă valoare propre λ mn (Hf(x )) a matrce Hf(x ) ş se a max(, ε-λ mn (Hf(x ))) E = max(, ε-λ mn (Hf(x ))) max(, ε-λ mn (Hf(x ))) = max(, ε-λ mn (Hf(x )))I n ε fnd un număr poztv mc. Dacă matrcea Hf(x ) are o valoare propre negatvă mare în modul ş restul valorlor propr poztve dar mc în modul, atunc se poate întâmpla ca prn această metodă drecţa de deplasare obţnută să fe esenţal drecţa cele ma rapde descreşter. 9

Mădălna Roxana Bunec Alte metode de modfcare a hessane se bazează pe factorzăr Cholesy. Probabl cea ma smplă dee este de a determna un scalar τ > cu propretatea că Hf(x ) + τi n este sufcent de poztv defntă. Un algortm pentru determnarea lu τ (bazat pe factorzăr Cholesy) este prezentat ma jos (pentru smpltate notăm Hf(x ) = A, ar elementele de pe dagonala prncpală cu a, n) : ρ > dat (de exemplu, ρ = -3 ) dacă mn{a, n} > atunc τ : = altfel τ : = - mn{a, n} + ρ pentru =,, execută * se încearcă factorzarea Cholesy LL t = A + τ I n dacă factorzarea reuşeşte atunc return L ş STOP altfel τ + : = max (τ, ρ) Prezentăm în contnuare mplementarea în MAPLE ale algortmulu de ma sus. Procedura are drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Deoarece procedura foloseşte comenz (vector, grad, hessan, cholesy, etc.) dn pachetul lnalg, înante de utlzarea e pachetul trebue încărcat: > wth(lnalg): Funcţonare procedur va f exemplfcată pentru funcţle > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; f := ( x, y ) 3 x + y x y 4 x + y 3 > f:=(x,y)->*(y-x^)^+(x-)^; f := ( x, y ) ( y x ) + ( x ) > f4:=(x,y)->/(x-)^4/4+(y^-x); f4 := ( x, y ) + y x 4 ( x ) 4 > f6:=(x,y)->x^*(4-.*x^+x^4/3)+x*y+y^*(-4+4*y^); f6 := ( x, y ) x + + 4. x + 3 x4 x y y ( 4 + 4 y ) 9

Optmzăr Implementarea une varante a metode Newton modfcate (pasul de deplasare este generat prn algortmul bactracng-armjo) : > newton_modf:=proc(f,x,epslon) > local x,x,g,h,g,h,l,y,v,n,t,z,tnt, beta,delta,p,pp,rho,tau,md,test,dd; > n:=vectdm(x); x:=vector(n); x:=vector(n);y:=vector(n); >v:=vector(n);beta:=.5;delta:=.;tnt:=.; >L:=matrx(n,n);dd:=floor(Dgts/); > g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > H:=hessan(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > whle norm(g,)>=epslon do > H:=evalm(matrx(n,n,[seq(seq(subs(seq(x[]=x[],..n), H[j,p]),j=..n),p=..n)])); > rho:=.; >md:=mn(seq(h[,],..n)); >f md> then tau:=. else tau:=-md+rho f; >test:=; >whle test= do test:=; >for p from to n do >md:=h[p,p]+tau -sum(l[p,]^,..p-); >f md<=^(-dd) then test:=;tau:=max(rho,*tau);p:=n+; >else L[p,p]:=md^(/); for pp from p+ to n do >L[pp,p]:=(H[pp,p]-sum(L[pp,]*L[p,],..p-))/L[p,p] od >f >od; >od; > y[]:=-g[]/l[,]; > for p from to n do >y[p]:=(-g[p]-sum(l[p,j]*y[j],j=..p-))/l[p,p] od; > v[n]:=y[n]/l[n,n]; > for p from n- by - to do >v[p]:=(y[p]-sum(l[j,p]*v[j],j=p+..n))/l[p,p] od; > z:=evalf(f(seq(x[],..n))); t:=tnt; >x:=evalm(x+t*v); > whle f(seq(x[],..n))>z+t*delta*sum(g[]*v[],..n) 93

Mădălna Roxana Bunec > do t:=t*beta; x:=evalm(x+t*v); > od; > x:=evalm(x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); > od; > RETURN(evalm(x)) > end; > newton_modf(f,vector([,]),^(-4)); [.6, -. ] > newton_modf(f,vector([,]),^(-4)); [.,. ] > newton_modf(f,vector([-,]),^(-4)); [.999999387,.99999878 ] > newton_modf(f,vector([-.5,.]),^(-4)); [.4,.999999998 ] > newton_modf(f3,vector([,-]),^(-4)); [.474458 -,. -8 ] > newton_modf(f5,vector([,3]),^(-4)); [.5659489,. -53 ] > newton_modf(f4,vector([.5,3]),^(-4)); [.86443-5, -. -6 ] > newton_modf(f4,vector([-.5,.]),^(-4)); [.439499-7,. -8 ] > newton_modf(f6,vector([-,-]),^(-4)); [.89843639, -.7659488 ] > newton_modf(f6,vector([-,]),^(-4)); [ -.89849,.765644 ] > newton_modf(f6,vector([,]),^(-4)); [ -.89843639,.7659488 ] Pentru funcţle f 6 cu punctul nţal (, -) t ş f cu punctul nţal (, ) t prezentăm ma jos ş reprezentarea grafcă (3D ş contour) a teraţlor: > newton_modf(f6,vector([,-]),^(-4)); [.89849, -.765644 ] 94

Optmzăr Număr de teraţ: 6 > newton_modf(f,vector([,]),^(-4)); [.3,.9999999948 ] Număr de teraţ: 5 Deş smplu de mplementat algortmul prezentat ma înante poate necesta un volum mare de calcul (în stuaţa în care se încearcă factorzăr Cholesy pentru multe valor τ ). Poate f avantajos ca τ să crească la fecare teraţe cu un factor ma mare, de exemplu în loc de. Altă stratege de modfcare hessane este de a aplca algortmul de factorzare Cholesy ş de a măr elementele dagonale care apar în algortm. Acest 95

Mădălna Roxana Bunec algortm Cholesy modfcat garantează pe de parte exstenţa factorulu Cholesy cu elemente care nu depăşesc în modul norma hessane, ar pe de altă parte nu modfcă hessana dacă este sufcent de poztv defntă. Începem descrerea aceste strateg prn recaptularea aşa numte descompuner LDL t a une matrce smetrce A cu mnor prncpal nenul. O screre a matrce A sub forma A = LDL t, unde L este o matrce nferor trunghulară cu elementele de pe dagonala prncpală egale cu, ş D o matrce dagonală se numeşte factorzare LDL t. Ţnând cont de relaţle: j j a j = L D L j = L = = D L j + L j D jj pentru j =,,,n. obţnem următorul algortm pentru calculul factorzăr LDL t a une matrce A pentru j=,,...,n execută j D jj := a jj - L = D j pentru = j+, j+,...,n execută L j : = j (aj - D jj = L D L ) j Algortmul funcţonează pentru matrce smetrce cu mnor prncpal nenul, în partcular pentru matrce A poztv defnte. Legătura între factorul Cholesy M al matrce A (A= MM t cu M =(m j ),j o matrce nferor trunghulară cu elementele de pe dagonala prncpală poztve) ş factorzare A = LDL t este m j = L j D jj pentru orce,j. Algortmul de factorzare Cholelesy modfcat aplcat une matrce A presupune date două valor ε > ş η >. Se calculează A + E = LDL t = MM t astfel încât D jj ε ş m j η pentru orce ş j. Algortm Cholesy modfcat pentru calculul factorzăr A + E = LDL t = MM t pentru j=,,...,n execută j C jj : = a jj - L = D j ; θ j := max{c j, j< n} D jj := θj max C j,, ε η 96

Optmzăr pentru = j+, j+,...,n execută j C j : = (a j - L D L j ); L j : = = Cjj ; D jj Să verfcăm că într-adevăr m j η pentru orce ş j: m j = L j D jj = C j D jj θ jj C η η. Pentru a reduce modfcărle asupra lu A se pot face permutăr smetrce de ln ş coloane (algortmul Cholesy modfcat datorat lu Gll, Murray ş Wrght [4]) obţnându-se factorzarea PAP t + E = LDL t = MM t, unde P este matrcea de permutare. VII.3.6. Metoda drecţlor conjugate. Metoda gradentulu conjugat Fe C M n,n (R) o matrce poztv defntă. Matrcea C nduce un produs scalar pe R n, notat <, > C : <x, y> C : = <Cx, y>, x, y R n. Do vector x, y R n se numesc conjugaţ în raport cu C (sau C ortogonal) dacă <Cx, y> = (sau echvalent, <x, y> C = ). Dacă vector v, v,..., v sunt nenul conjugaţ în raport cu C do câte do, atunc v, v,..., v sunt lnar ndependenţ (deoarece conjugarea în raport cu C înseamnă ortogonaltate în raport cu produsul scalar <, > C ş într-un spaţu pre- Hlbert orce famle de vector nenul ortogonal do câte do este lnar ndependentă). În partcular, dacă = n, vector v, v,..., v n consttue o bază în R n. Lema 34. Fe f:r n R o funcţe defntă prn f(x) = <x,cx> + <x, d> cu C M n,n (R) o matrce poztv defntă ş d R n un vector fxat, ş fe v, v,..., v n- o famle de vector nenul conjugaţ în raport cu C do câte do. Atunc exstă ş este unc un punct de mnm global x* al lu f ş x* = < d, v > v. < Cv, v > n 97

Mădălna Roxana Bunec Demonstraţe. Avem f(x) = Cx + d ş Hf(x) = C pentru orce x R n. Deoarece C este poztv defntă rezultă că f este convexă, dec un punct x* este punct de mnm dacă ş numa dacă x* este punct staţonar. Avem f(x * ) = <=> x* = -C - d, ş ca urmare x* = -C - d este uncul punct de mnm al lu f. Deoarece v, v,..., v n- sunt vector nenul conjugaţ în raport cu C do câte do, e consttue o bază în R n. În consecnţă, exstă scalar α, α,..., α n- R astfel încât -C - d = n α v <-C - d, v j > C = n j α < v, v > -<C - d, v j > C = α j <v, v j > C -<d, v j > = α j <Cv j, v j > C α j = Aşadar x* = -C - d = < d, v >. < j j Cv, v > n j < d, v > v < Cv, v > Lema 35. Fe f:r n R o funcţe defntă prn f(x) = <x,cx> + <x, d> cu C M n,n (R) o matrce poztv defntă ş d R n un vector fxat. Dacă v R n este un vector nenul, atunc soluţa optmă a probleme nf f(x + tv ) este t t = Demonstraţe. Pentru orce t avem < f x, v > < Cv, v > f(x +tv ) = t <v,cv > + t(<v, Cx > + <v, d>) <x,cx > + de unde rezultă că + <x,cx > + <x,d> 98

Optmzăr < Cx + d, v > < f x, v > t = =. < Cv, v > < Cv, v > Propozţe 36. Fe f:r n R o funcţe defntă prn f(x) = <x,cx> + <x,d> cu C M n,n (R) o matrce poztv defntă ş d R n un vector fxat, ş fe v, v,..., v n- o famle de vector nenul conjugaţ în raport cu C do câte do. Se construeşte şrul (x ) : x + = x + t v, x dat, n- unde t este pasul optmal asocat drecţe v, adcă t este soluţa optmă a probleme nf f(x + tv ). Atunc x n = x* uncul punct de mnm al lu f. t Demonstraţe. Deoarece v, v,..., v n- sunt vector nenul conjugaţ în raport cu C do câte do, e consttue o bază în R n. În consecnţă, exstă scalar α, α,..., α n- R astfel încât x = n α v <x, v j > C = n j α < v, v > <x, v j > C = α j <v, v j > C <Cx, v j > = α j <Cv j, v j > C α j = j < Cx, v > j j < Cv, v >. Aşadar x = n < Cx, v > v (36.) < Cv, v > Adunând relaţle x + = x + t v pentru =..-, obţnem x = x + t v. (36.) <x, v > C = x + t < v, v > <Cx, v > = <Cx, v > (36.3) C 99

Dec Mădălna Roxana Bunec < f(x ), v > = <Cx + d, v > = <Cx, v > + <d, v > = ( 36.3) Dn lema 35 rezultă că t = <Cx, v > + <d, v > (36.4) < f x, v > = < Cv, v > ( 36.4 ) pentru orce, ş înlocund în (36.) cu n ş fecare t, obţnem: x n = x + n = < f x, v > v < Cv, v > < Cx, v > < d, v > < Cv, v > < Cv, v > = x + = x + < Cx, v > < d, v > v < Cv, v > < Cv, v > n n < Cx, v > n < d, v > v + v < Cv, v > < Cv, v > = ( 36.) x x + < d, v > v < Cv, v > n Conform leme 34, f are unc punct de mnm (36.5) x* = < d, v > v, < Cv, v > n ş în consecnţă ţnând cont ş de (36.5), rezultă x n =x*. Lema 37. Fe f:r n R o funcţe defntă prn f(x) = <x,cx> + <x,d> cu C M n,n (R) o matrce poztv defntă ş d R n un vector fxat, ş fe v, v,..., v m- (m un număr natural) o famle de vector conjugaţ în raport cu C do câte do. Se construeşte şrul (x ) : x + = x + t v, x dat, m unde t este pasul optmal asocat drecţe v, adcă t este soluţa optmă a probleme nf f(x + tv ). Atunc < f(x + ), v > = pentru orce {,,, }. t Demonstraţe. Vom face demonstraţa nductv după. Pentru = avem < f(x ), v > = <Cx + d, v > = <Cx + t Cv, v > + <d, v >

ş ţnând cont că t = Optmzăr = <Cx, v > + t <Cv, v > + <d, v >, < f x, v > < Cx, v > < d, v > = < Cv, v > < Cv, v > < Cv, v > (conform, leme 35) rezultă că < f(x ), v > =. Presupunem afrmaţa adevărată pentru ş o demonstrăm pentru +. Pentru = avem < f(x + ), v > = <Cx + + d, v > = <Cx + t Cv, v > + <d, v > ar dn lema 35, t = = <Cx, v > + t <Cv, v > + <d, v >, < f x, v > < Cx, v > < d, v > = < Cv, v > < Cv, v > < Cv, v >. Aşadar < f(x ), v > =. Pentru {,,, -}, conform poteze de nducţe < f(x ),v > =, ş ca urmare < f(x + ), v > = <Cx + + d, v > = <Cx + t Cv + d, v > = < f(x ), v > + t <Cv, v > = t <v, v > C =. Propozţe 38. Fe f:r n R o funcţe defntă prn f(x) = <x,cx> + <x,d> cu C M n,n (R) o matrce poztv defntă ş d R n un vector fxat, ş fe v, v,..., v n- o famle de vector nenul conjugaţ în raport cu C do câte do. Se construeşte şrul (x ) : x + = x + t v, x dat, n- unde t este pasul optmal asocat drecţe v, adcă t este soluţa optmă a probleme nf t f(x + tv ). Atunc x + este soluţe optmă a probleme nf x A Sp{v, v,, v } = x + n λv, λ R. f(x), unde A = x + Demonstraţe. Adunând relaţle x + = x + t v pentru =.., obţnem x + = x + t v. Fe x A. Atunc exstă λ, λ,..., λ n- R astfel încât x = x + n λ v. Avem < f(x + ), x-x + + > = < f x, λ t v >

Mădălna Roxana Bunec + = ( ) λ t < f x, v > = conform leme 37. Dec pentru orce x A avem f(x) f(x + ) < f(x + ), x-x + > =, ş ca urmare x + este punct de mnm pentru f pe A. În cazul metode gradentulu conjugat vector C- conjugaţ v, v,..., v n- se construesc prn ortogonalzarea relatv la produsul scalar <, > C a sstemulu de vector f(x ), - f(x ),..., f(x n- ) folosnd procedeul Gram-Schmdt. Astfel v = - f(x ) v = - f(x ) + λ v unde λ (..-) se determnă astfel încât pentru orce ş orce j -, <v, v j > =. Astfel λ = < v, f x > < v, v > C C < Cv, f x > = < Cv, v > Conform leme 37, pentru orce avem < f(x ), f(x ) > = -< f(x ), v > = ş pentru orce ş + < f(x ), f(x ),> = < - v + j λ v, f(x )> =. j=,j Pe de altă parte f(x + ) = Cx + + d = Cx + t Cv + d = f(x ) + t Cv ş ca urmare pentru orce {,,, -} = < f(x + ), f(x )> = < f(x ), f(x )> + t <Cv, f(x )> = t <Cv, f(x )>. Aşadar <Cv, f(x )> = ş dec λ = pentru orce {,,, -}. Dec v = - f(x ) + λ v = - f(x ) + λ - v -

= - f(x ) + Optmzăr < Cv, f x > < Cv, v > v-. Dec v + = - f(x + ) + β v, unde β = < f x, v > Cum dn lema 35 t = ş < Cv, v > + < Cv, f x > < Cv, v > f(x + ) = Cx + + d = Cx + t Cv + d = f(x ) + t Cv = f(x ) < f x, v > < > Cv Cv, v rezultă că Cv = < Cv, v > < f x, v > ( f(x ) - f(x + )). În consecnţă β = + + < f ( x ), v > < f x f x, f x > ş ţnând cont că v = - f(x ) + β - v -, de unde < f(x ), v > = -< f(x ), f(x )> (conform leme 37, < f(x ), v - > = ), rezultă β = + + < f ( x ), f ( x ) > < f x f x, f x > Deoarece < f(x ), f(x + )> =, β poate f exprmat echvalent: β = + + f ( x ), f ( x ) < f x, f x > < >. În vrtutea condţe de C-ortogonaltate, în cazul funcţlor pătratce, metoda gradentulu conjugat converge într-un număr fnt de paş n (conform propozţe 36). Deoarece formulele de calcul pentru β nu depnd explct de matrcea C, metoda poate f aplcată unor funcţ ma generale. Dacă funcţa f nu este pătratcă atunc cele două formule de calcul ale lu β nu sunt echvalente. În cazul în care 3

β = Mădălna Roxana Bunec + + f ( x ), f ( x ) < f x, f x > < >. se obţne algortmul Fletcher-Reeves, ar în cazul în care β = + + < f ( x ), f ( x ) > < f x f x, f x > se obţne algortmul Pola-Rbere. Schţăm ma jos ce do algortm. Algortmul Fletcher-Reeves (se presupune x dat) : = ; v := f(x ); cât tmp f(x ) execută pasul : *se determnă pasul de deplasare t (optmal sau suboptmal) asocat drecţe de deplasare v ; pasul : x + = x + t v ; pasul 3: β : = : = +; + + f ( x ), f ( x ) < f x, f x > < > ; v+ :=- f(x + ) + β v. Algortmul Pola-Rbere (se presupune x dat) : = ; v := f(x ); cât tmp f(x ) execută pasul : *se determnă pasul de deplasare t (optmal sau suboptmal) asocat drecţe de deplasare v ; pasul : x + = x + t v ; pasul 3: β : = + + < f ( x ), f ( x ) > < f x f x, f x > ; : = +; v + :=- f(x + ) + β v. 4

Optmzăr Prezentăm în contnuare mplementarea în MAPLE a celor do algortm de ma sus. Procedurle au drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Procedurle folosesc comenz dn pachetul lnalg. Funcţonare procedurlor va f exemplfcată pentru funcţle: > f:=(x,y)->3*x^+*y^-*x*y-4*x+*y-3; f := ( x, y ) 3 x + y x y 4 x + y 3 > f:=(x,y)->*(y-x^)^+(x-)^; f := ( x, y ) ( y x ) + ( x ) > f4:=(x,y)->/(x-)^4/4+(y^-x); f4 := ( x, y ) + y x 4 ( x ) 4 > f6:=(x,y)->x^*(4-.*x^+x^4/3)+x*y+y^*(-4+4*y^); f6 := ( x, y ) x + + 4. x + 3 x4 x y y ( 4 + 4 y ) Pentru funcţle f 6 cu punctul nţal (, -) t ş f cu punctul nţal (, ) t vom prezenta ş reprezentarea grafcă (3D ş contour) a teraţlor (cele două funcţ nu sunt funcţ convexe!). Implementarea algortmulu Fletcher-Reeves (pasul optmal de deplasare este obţnut prn metoda secţun de aur) : > FletcherReeves:=proc(f,x,epslon) > local x,,n,g,g,v,beta,t,t,t, y,y,alpha,alpha,a,b,l,u,w,nmax,j,ph; > n:=vectdm(x); x:=vector(n);v:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >v:=evalm(-g); > whle norm(g,)>=epslon do >ph:=t->f(seq(x[]+t*v[],..n)); > t:=.; t:=.; y:=ph(t); y:=ph(t); > f y<=y then a:=t; b:=t else > whle y>y do y:=y;t:=t;t:=t+;y:=ph(t) od; > a:=t-; b:=t f; > alpha:=evalf((5^(/)-)/);alpha:=-alpha; 5

Mădălna Roxana Bunec > L:=b-a;u:=a+alpha*L;w:=a+alpha*L;y:=ph(u); >y:=ph(w);nmax:=cel(ln(epslon/(*l))/ln(alpha));j:=; > whle j<nmax do > f y<y then b:=w;l:=b-a; > y:=y;w:=u;u:=a+alpha*l;y:=ph(u) > else a:=u;l:=b-a; > y:=y;u:=w;w:=a+alpha*l;y:=ph(w); > f; >j:=j+ > od; > t:=(a+b)/;beta:=sum(g[]*g[],..n); > x:=evalm(x+t*v); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >beta:=sum(g[]*g[],..n)/beta;v:=evalm(-g+beta*v); > od; > RETURN(evalm(x)) > end; > FletcherReeves(f,vector([,]),^(-4)); [.6898, -.6 ] > FletcherReeves(f,vector([,]),^(-4)); [.999977999,.999953739 ] > FletcherReeves(f,vector([-,]),^(-4)); [.99999579,.999994 ] > FletcherReeves(f,vector([-.5,.]),^(-4)); [.999986479,.99997399 ] > FletcherReeves(f3,vector([,-]),^(-4)); [.8487-5, -.958 ] > FletcherReeves(f4,vector([.5,3]),^(-4)); [.9674978-6,.38586544 ] > FletcherReeves(f4,vector([-.5,.]),^(-4)); [ -.6337353-5, -.695436-5 ] > FletcherReeves(f6,vector([-,-]),^(-4)); [ -.8984733,.765653 ] > FletcherReeves(f6,vector([-,]),^(-4)); [.736464, -.79683383 ] 6

Optmzăr > FletcherReeves(f6,vector([,]),^(-4)); [.8984733, -.765653 ] > FletcherReeves(f,vector([,]),^(-4)); [.999978974,.999956467 ] 7 teraţ > FletcherReeves(f6,vector([,-]),^(-4)); [ -.736464,.79683383 ] 4 teraţ Implementarea algortmulu Pola-Rbere (pasul optmal de deplasare este obţnut prn metoda secţun de aur) : > PolaRbere:=proc(f,x,epslon) > local x,,n,g,g,g,v,beta,t,t,t,y,y, >alpha,alpha,a,b,l,u,w,nmax,j,ph; 7

Mădălna Roxana Bunec > n:=vectdm(x); x:=vector(n);v:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); > x:=map(evalf,x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >v:=evalm(-g); > whle norm(g,)>=epslon do >ph:=t->f(seq(x[]+t*v[],..n)); > t:=.; t:=.; y:=ph(t); y:=ph(t); > f y<=y then a:=t; b:=t else > whle y>y do y:=y;t:=t;t:=t+;y:=ph(t) od; > a:=t-; b:=t f; > alpha:=evalf((5^(/)-)/);alpha:=-alpha; > L:=b-a;u:=a+alpha*L;w:=a+alpha*L;y:=ph(u);y:=ph(w); >nmax:=cel(ln(epslon/(*l))/ln(alpha));j:=; > whle j<nmax do > f y<y then b:=w;l:=b-a; > y:=y;w:=u;u:=a+alpha*l;y:=ph(u) > else a:=u;l:=b-a; > y:=y;u:=w;w:=a+alpha*l;y:=ph(w); > f; >j:=j+ > od; > t:=(a+b)/; > x:=evalm(x+t*v); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >beta:=sum((g[]-g[])*g[],..n)/sum(g[]*g[],..n); >g:=evalm(g);v:=evalm(-g+beta*v); > od; > RETURN(evalm(x)) > end; > PolaRbere(f,vector([,]),^(-4)); [.673636, -.999878 ] > PolaRbere(f,vector([,]),^(-4)); [.999999936,.999999874 ] > PolaRbere(f,vector([-,]),^(-4)); [.9999998969,.9999997969 ] 8

Optmzăr > PolaRbere(f,vector([-.5,.]),^(-4)); [.,.463 ] > PolaRbere(f3,vector([,-]),^(-4)); [ -.965-6, -.366547736-5 ] > PolaRbere(f4,vector([.5,3]),^(-4)); [ -.5499-5, -.877 ] > PolaRbere(f4,vector([-.5,.]),^(-4)); [.8357387-5,.68755 ] > PolaRbere(f6,vector([-,-]),^(-4)); [ -.8984347334,.765683 ] > PolaRbere(f6,vector([-,]),^(-4)); [ -.736585,.796854846 ] > PolaRbere(f6,vector([,]),^(-4)); [.8984347334, -.765683 ] > PolaRbere(f,vector([,]),^(-4)); [.999999959,.9999997978 ] 9 teraţ > PolaRbere(f6,vector([,-]),^(-4)); [.736585, -.796854846 ] 9

Mădălna Roxana Bunec 4 teraţ Pentru a lmta acumularea erorlor datorate mprecze calcululu paşlor t, se recomandă renţalzarea drecţe v sub forma v = - f(x ) după fecare m teraţ, m n. Se obţn astfel metodele de gradent conjugat cu renţalzare (restart), caracterzate prn calcularea la pasul 3 β =, dacă + întreg m β, în caz contrar ş alegerea drecţe de deplasare v + :=- f(x + ) + β v. Prezentăm în contnuare mplementarea în MAPLE ale algortmlor Flecher- Revees ş Pola-Rbere cu renţalzare (restart) după fecare n teraţ (n este numărul de varable de care depnde funcţa obectv). Vom opta pentru alegerea suboptmală a pasulu. Procedurle au drept parametr funcţa obectv f, punctul nţal, notat x, ş precza ε (crterul de oprre este f(x ) < ε). Procedurle folosesc comenz dn pachetul lnalg. Funcţonare procedurlor va f exemplfcată pentru aceleaş funcţ ca procedurle fără restart (FlecherReeves, PolaRbere) Implementarea algortmulu Fletcher-Reeves cu restart (pasul suboptmal deplasare este generat prn algortmul bactracng-armjo) : > FletcherReeves_r:=proc(f,x,epslon) > local x,x,,n,g,g,v,beta,z,tnt,beta_pas,delta,t, ; de

Optmzăr > n:=vectdm(x); x:=vector(n);x:=vector(n);v:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); >beta_pas:=.5;delta:=.;tnt:=.; > x:=map(evalf,x);:=; > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >v:=evalm(-g); > whle norm(g,)>=epslon do > z:=evalf(f(seq(x[],..n))); t:=tnt;x:=evalm(x+t*v); > whle f(seq(x[],..n))>z+t*delta*sum(g[]*v[],..n) > do t:=t*beta_pas; x:=evalm(x+t*v); > od; > beta:=sum(g[]*g[],..n); > x:=evalm(x);:=+; > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >f rem(+,n)= then beta:= else >beta:=sum(g[]*g[],..n)/beta f;v:=evalm(-g+beta*v); > od; > RETURN(evalm(x)) > end; > FletcherReeves_r(f,vector([,]),^(-4)); [.657569, -.945 ] > FletcherReeves_r(f,vector([,]),^(-4)); [.99993774,.99986355 ] > FletcherReeves_r(f,vector([-,]),^(-4)); [.999969533,.999849938 ] > FletcherReeves_r(f,vector([-.5,.]),^(-4)); [.364,.76377 ] > FletcherReeves_r(f3,vector([,-]),^(-4)); [ -.876357-6, -.3359875 ] > FletcherReeves_r(f4,vector([.5,3]),^(-4)); [.443465-5,.73597 ] > FletcherReeves_r(f4,vector([-.5,.]),^(-4)); [.7334899-5,. ] > FletcherReeves_r(f6,vector([-,-]),^(-4)); [ -.898456,.76573686 ]

Mădălna Roxana Bunec > FletcherReeves_r(f6,vector([-,]),^(-4)); [ -.898459,.76566759 ] > FletcherReeves_r(f6,vector([,]),^(-4)); [.898456, -.76573686 ] > FletcherReeves_r(f,vector([,]),^(-4)); [.99995593,.99988383 ] 5 teraţ > FletcherReeves_r(f6,vector([,-]),^(-4)); [.898459, -.76566759 ] 4 teraţ

Optmzăr Implementarea algortmulu Pola-Rbere cu restart(pasul suboptmal de deplasare este generat prn algortmul bactracng-armjo) : > PolaRbere_r:=proc(f,x,epslon) > local x,x,,n,g,g,g,v,beta,z,tnt,beta_pas,delta,t,; > n:=vectdm(x); x:=vector(n);x:=vector(n);v:=vector(n); >g:=grad(f(seq(x[],..n)),[seq(x[],..n)]); >beta_pas:=.5;delta:=.;tnt:=.; > x:=map(evalf,x);:=;; > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >v:=evalm(-g); > whle norm(g,)>=epslon do > z:=evalf(f(seq(x[],..n))); t:=tnt;x:=evalm(x+t*v); > whle f(seq(x[],..n))>z+t*delta*sum(g[]*v[],..n) > do t:=t*beta_pas; x:=evalm(x+t*v); > od; > x:=evalm(x); > g:=vector([seq(subs(seq(x[]=x[],..n), g[j]),j=..n)]); >:=+; >f rem(+,n)= then >beta:=sum((g[]-g[])*g[],..n)/sum(g[]*g[],..n) else beta:= f; >g:=evalm(g);v:=evalm(-g+beta*v); > od; > RETURN(evalm(x)) > end; > PolaRbere_r(f,vector([,]),^(-4)); [.599989467, -.99997775 ] > PolaRbere_r(f,vector([,]),^(-4)); [.999948998,.99988346 ] > PolaRbere_r(f,vector([-,]),^(-4)); [.9999495,.9998796744 ] > PolaRbere_r(f,vector([-.5,.]),^(-4)); [.999944538,.999887 ] > PolaRbere_r(f3,vector([,-]),^(-4)); 3

Mădălna Roxana Bunec [ -.7499758-5,.535496 ] > PolaRbere_r(f4,vector([.5,3]),^(-4)); [ -.665484, -.344577-7 ] > PolaRbere_r(f4,vector([-.5,.]),^(-4)); [.9696757, -.5-9 ] > PolaRbere_r(f6,vector([-,-]),^(-4)); [ -.89844754,.766893 ] > PolaRbere_r(f6,vector([-,]),^(-4)); [.89843, -.7656985 ] > PolaRbere_r(f6,vector([,]),^(-4)); [.89844754, -.766893 ] > PolaRbere_r(f,vector([,]),^(-4)); [.999935557,.999863 ] 445 teraţ > PolaRbere_r(f6,vector([,-]),^(-4)); [ -.89843,.7656985 ] 4

Optmzăr 4 teraţ VII.3.7. Metode cvas-newton (Metode de metrcă varablă) În cazul metodelor cvas-newton (metode de metrcă varablă) drecţa de deplasare se alege sub forma v = - H f(x ) unde H este o matrce poztv defntă reprezentând o aproxmare a nverse hessane Hf(x ). În cele ce urmează notăm s = x + x ş y = f(x + ) - f(x ),. În cazul une funcţ pătratce strct convexe f:r n R, adcă a une funcţ de forma f(x) = <x,cx> + <x, d> cu C M n,n(r) o matrce poztv defntă ş d R n un vector fxat, avem f(x) = Cx + d ş Hf(x) = C pentru orce x R n. Ca urmare: y = f(x + ) - f(x ) = C(x + - x ) = Cs, s = C - y, ar C = Hf(x j ) pentru orce j. Plecând de la această observaţe se vor căuta H, aproxmaţ a nverselor matrcelor Hf(x ), care să îndeplnească următoarele condţ:. s = H + y pentru orce, (condţa s = H + y se numeşte condţa secante, ar mplcaţa s = S y pentru orce, - => s = S + y pentru orce, - se numeşte propretatea de eredtate) 5