V.7. Condiţii necesare de optimalitate cazul funcţiilor diferenţiabile

Metode de Optimizare Curs V.7. Condiţii necesare de optimalitate cazul funcţiilor diferenţiabile Propoziţie 7. (Fritz-John). Fie X o submulţime deschisă a lui R n, f:x R o funcţie de clasă C şi ϕ = (ϕ,ϕ 2,..., ϕ m ) : X R m de clasă C (i.e. ϕ i :X R este de clasă C pentru orice i m). Dacă x este punct de minim local al lui f pe X ϕ atunci există u R şi u R m cu (u, u ) astfel încât. u f(x ) - m u (x ) = 2. u şi u 3. ui ϕ i (x ) = pentru orice i, i m. Demonstraţie. Fie I(x ) = {i: i m, ϕ i (x ) = }, mulţimea restricţiilor active în x. Arătăm că nu existã v R n astfel ca -< f(x ), v> > < ϕ i (x ), v> >, i I(x ) Presupunem prin absurd că ar exista v R n, cu proprietăţile anterioare. Atunci v. Fie mulţimea S = {x +tv: t (-ε,ε)}, cu ε> suficient de mic astfel încât S X iar pentru orice t (-ε,ε) să avem ϕ i (x +tv) > pentru orice i I(x ), < ϕ i (x +tv), v> > pentru orice i I(x ) şi < f(x + tv), v> <, (un astfel de ε există; într-adevăr, ţinând cont că x X deschisă, ϕ i (x ) > pentru i I(x ) şi ϕ i continuă, < ϕ i (x ), v> >, i I(x ) şi ϕ i continuă, < f(x ), v> < şi f continuă, rezultă că există δ> astfel încât pentru orice x B(x,δ) X să avem ϕ i (x) > pentru i I(x ), < ϕ i (x), v> >, i I(x ) şi, < f(x), v> < ; luăm ε = δ). Considerăm funcţiile v g : (-ε,ε) R, g(t) = -f(x +tv), t (-ε,ε) (7.) Deoarece h i : (-ε,ε) R, h i (t) = ϕ i (x +tv), t (-ε,ε) pentru i I(x ).

Mădălina Roxana Buneci Metode de Optimizare Curs - 27 n f g (t) = - (x + tv)v j = -< f(x + tv), v> > x h i (t) = j= j n ϕi (x + tv)v j = < ϕ i (x +tv), v> >, i I(x ) j= x j rezultă că g şi h i, i I(x ) sunt funcţii strict crescătoare pe mulţimea (-ε,ε). Fie t>, t (-ε,ε). Avem h i (t) > h i () pentru i I(x ) (deoarece h i este strict crescătoare), de unde ϕ i (x +tv) > ϕ i (x ) =, i I(x ). Pe de altă parte, deoarece t (, ε), avem ϕ i (x +tv)> pentru orice i I(x ). Ca urmare x +tv X ϕ. Din faptul că g este strict crescătoare rezultă că g(t) > g(), de unde - f(x +tv) > - f(x ) f(x +tv) < f(x ) şi cum x +tv X ϕ se obţine o contradicţie cu faptul că x este punct de minim al lui f pe X ϕ. În consecinţă, sistemul (7.) este incompatibil. Aplicând lema lui Gordon rezultă că există u, u j, j I(x ) nu toate nule astfel încât - u f(x ) + u j ϕj(x ) =. j I(x ) Dacă luăm u i = pentru orice i I(x ) ( i m), obţinem u f(x ) - m u (x ) =. Avem u, u şi în plus, ui ϕ i (x ) = pentru orice i, i m (deoarece dacă i I(x ), ϕ i (x ) =, iar dacă i I(x ), u i = ). Propoziţie 8. Fie X o submulţime deschisă a lui R n, f:x R o funcţie de clasă C, ϕ : X R m de clasă C şi ψ : X R p de clasă C. Dacă x este punct de minim local al lui f pe 2

Metode de Optimizare Curs X ϕ,ψ = {x X: ϕ(x), ψ(x) = }, atunci există u R şi u R m, v R p nu toţi nuli astfel încât. u f(x ) - m u (x ) - p v i ψi(x ) = 2. u şi u 3. ui ϕ i (x ) = pentru orice i, i m. V.8. Minim în sensul pantei maxime. Minim în sensul lui Lagrange Definiţie 9. Fie X o submulţime deschisă a lui R n, ϕ : X R m şi X ϕ = {x X: ϕ(x) }. Un vector v R n \{} se numeşte direcţie admisibilă (relativ la X ϕ ) într-un punt x X ϕ dacă există ε> astfel încât x + tv X ϕ pentru orice t [, ε). Se observă uşor că dacă x int(x ϕ ), atunci orice vector v R n \{} direcţie admisibilã în x. Într-adevăr dacă x int(x ϕ ), atunci există δ> astfel încât B(x,δ) X ϕ. Dacă luă ε = δ, atunci pentru orice t [,ε) avem v x +tv B(x,δ) X ϕ. este Propoziţie 2. Fie X o submulţime deschisă a lui R n, ϕ : X R m diferenţiabilă şi X ϕ = {x X: ϕ(x) }. Dacă v R n \{} este direcţie admisibilă în punctul x X ϕ, atunci este îndeplinită condiţia < ϕ i (x ), v>, pentru orice i I(x ), unde I(x ) = {i: i m, ϕ i (x ) = } este mulţime restricţiilor active în x. Demonstraţie. Presupunem că v R n \{} este direcţie admisibilă în punctul x X ϕ. Atunci existã există ε > astfel încât x + tv X ϕ pentru orice t [, ε). Ca urmare pentru orice i {, 2,.., m}, ϕ i (x +tv). Deoarece pentru orice i I(x ) avem ϕ i (x ) =, rezultă că 3

Mădălina Roxana Buneci Metode de Optimizare Curs - 27 ϕ i (x +tv) - ϕ i (x ) pentru orice i I(x ) şi orice t [, ε). (2.) Din (2.) rezultă că pentru orice i I(x ) avem ϕi v ( x ) t t> ( x tv) i ( x ) ϕ i + ϕ = lim t ϕ şi deoarece i ( x ) v = < ϕ i (x ), v>, se obţine < ϕ i (x ), v>, pentru orice i I(x ). Observaţie. Fie X o submulţime convexă deschisă a lui R n, ϕ : X R m de clasă C şi x X ϕ = {x X: ϕ(x) }. Notăm Dacă v R n \{}verifică M = {i: ϕ i este convexă}, M 2 = {, 2,..., m} \ M. < ϕ i (x ), v>, i M < ϕ i (x ), v> >, i M 2 atunci v este direcţie admisibilă în x. Într-adevăr, ţinând cont că x X deschisă, ϕ i (x ) > pentru i I(x ) şi ϕ i continuă, < ϕ i (x ), v> >, i M 2 şi ϕ i continuă, rezultă că există δ> astfel încât pentru orice x B(x,δ) X să avem ϕ i (x) > pentru i I(x ) şi < ϕ i (x), v> >, i M 2. Dacă luăm ε = δ, atunci pentru v orice t [, ε) avem x + tv B(x,δ) X şi ϕ i (x + tv) > pentru i I(x ). Fie i I(x ) M 2. Aplicând formula lui Taylor, rezultă că există θ (, ) astfel încât ϕ i (x + tv) - ϕ i (x ) = < ϕ i (x + θtv), tv> = t< ϕ i (x + θtv), tv> > ϕ i (x + tv) > (deoarece, ϕ i (x ) = ). Pentru i I(x ) M, avem ϕ i (x + tv) - ϕ i (x ) < ϕ i (x ), tv> = t< ϕ i (x ), v> ϕ i (x + tv). 4

Metode de Optimizare Curs Deci pentru orice i {,2,..., m} şi orice t [, ε), avem x + tv X ϕ. Aşadar v este direcţie admisibilă în x. Definiţie 2. Fie X o submulţime deschisă a lui R n, f: X R diferenţiabilă, ϕ : X R m şi X ϕ = {x X: ϕ(x) }. Un punct x X ϕ se numeşte punct de minim în sensul pantei maxime pentru f pe X ϕ dacă pentru orice direcţie admisibilă v în x avem < f(x ), v>. Definiţie 22. Fie X o submulţime deschisă a lui R n, f: X R diferenţiabilă, ϕ : X R m diferenţiabilă şi X ϕ = {x X: ϕ(x) }. Fie L:X R funcţia Lagrange definită prin L(x, u) = f(x) - <u,ϕ(x)>. Un punct x X ϕ se numeşte punct de minim în sensul lui Lagrange pentru f pe X ϕ dacă există un vector u R, numit vectorul multiplicatorilor lui Lagrange, astfel încât <u, ϕ(x )> = x L(x, u ) =, unde x L(x, u ) reprezintă gradientul funcţiei x L(x, u ) calculat in x. Propoziţie 23. Fie X o submulţime deschisă a lui R n diferenţiabilă, ϕ : X R m (x,u ) X prin f: X R diferenţiabilă şi X ϕ = {x X: ϕ(x) }. Dacă m R+ este punct şa pentru funcţia Lagrange, L:X R L(x, u) = f(x) - <u,ϕ(x)>, R, definită atunci x este punct de minim în sensul lui Lagrange pentru f pe X ϕ iar u este vectorul multiplicatorilor Lagrange. Demonstraţie. Conform propoziţiei 3 dacă (x,u ) X R este punct şa pentru L, atunci are loc condiţia ecarturilor complementare: <u, ϕ(x )>. 5

Mădălina Roxana Buneci Metode de Optimizare Curs - 27 Pe de altă parte deoarece (x,u ) X R este punct şa pentru L, atunci x este punct de minim pentru funcţia x L(x,u ) pe mulţimea X. Şi cum X este o mulţime deschisă şi L o funcţie diferenţiabilă, rezultă că x este punct staţionar pentru x L(x,u ), adică x L(x, u ) =. Aşadar x este punct de minim în sensul lui Lagrange pentru f pe X ϕ iar u este vectorul multiplicatorilor Lagrange. V.9. Condiţii de optimalitate cazul funcţiilor convexe diferenţiabile Propoziţie 24. Fie X o submulţime convexă deschisă a lui R n, f:x R diferenţiabilă şi convexă, ϕ = (ϕ,ϕ 2,...,ϕ m ) : X R m cu proprietatea că ϕ i :X R este concavă pentru orice i m. Fie X ϕ = {x X: ϕ(x) }. Atunci următoarele afirmaţii sunt echivalente:. x X ϕ este punct de minim în sensul pantei maxime pentru f pe X ϕ, 2. x X ϕ este punct de minim pentru f pe X ϕ. Demonstraţie. => 2. Presupunem prin absurd că x nu este punct de minim pentru f pe X ϕ. Atunci există x X ϕ astfel încât f(x ) < f(x ). Pentru orice t [,), avem x + t(x x ) = tx + (-t)x X ϕ (X ϕ fiind convexă). În consecinţă, x x este direcţie admisibilă în x. Deoarece x este punct de minim în sensul pantei maxime pentru f pe X ϕ şi x x 2 este direcţie admisibilă în x, rezultă că < f(x ), x -x >. (24.) Ţinând cont că f este convexă şi diferenţiabilă obţinem f(x ) f(x ) < f(x ), x -x > (24.) f(x ) f(x ) ceea ce contrazice încât f(x ) < f(x ). În consecinţă, x este punct de minim pentru f pe X ϕ. 2 =>. Presupunem că x este punct de minim pentru f pe X ϕ şi fie v o direcţie admisibilă în x. Deoarece există ε> astfel încât x + tv X ϕ pentru orice t [, ε) şi deoarece x este punct de minim pentru f pe X ϕ avem 6

de unde f v Metode de Optimizare Curs ( x ) t t> f(x +tv) - f(x ) ( + ) ( ) f x tv f x = lim t f şi deoarece ( x ) v = < f(x ), v>, se obţine < f(x ), v>. Deci x este punct de minim în sensul pantei maxime pentru f pe X ϕ Propoziţie 25. Fie X o submulţime convexă deschisă a lui R n, f:x R diferenţiabilă şi convexă, ϕ = (ϕ,ϕ 2,...,ϕ m ): X R m diferenţiabilă cu proprietatea că ϕ i :X R este concavă pentru orice i m. Presupunem că X ϕ = {x X: ϕ(x) } satisface condiţia de regularitate Slater. Atunci următoarele afirmaţii sunt echivalente:. x X ϕ este punct de minim în sensul lui Lagrange pentru f pe X ϕ 2. x X ϕ este punct de minim în sensul pantei maxime pentru f pe X ϕ Demonstraţie. => 2. Presupunem că x este punct de minim în sensul lui Lagrange pentru f pe X ϕ. Atunci există un vector u R astfel încât <u, ϕ(x )> = x L(x, u ) =, unde x L(x, u ) reprezintă gradientul funcţiei x L(x, u ) calculat in x. Deci = <u, ϕ(x )> = m i ϕi u (x ), şi cum pentru fiecare i, i ϕi u (x ) ( u şi ϕ(x ) ), rezultă că i i u ϕ (x ) = pentru orice i. Dacă i I(x ) (mulţimea restricţiilor active în x ), atunci ϕ i (x ) >, şi în consecinţă u i =. Aşadar avem 7

Mădălina Roxana Buneci Metode de Optimizare Curs - 27 = x L(x, u ) = f(x ) - f(x ) = m u (x ) = f(x ) - u (x ) (25.) i I(x ) i I(x ) u (x ) Fie v R n o direcţie admisibilă în x. Atunci avem < f(x ), v> = < u (x ), v> = (25.) i I(x ) u i < ϕ i(x ), v >, i I(x ) conform propoziţiei 2. Ca urmare x X ϕ este punct de minim în sensul pantei maxime pentru f pe X ϕ. 2 =>. Presupunem că x X ϕ este punct de minim în sensul pantei maxime pentru f pe X ϕ. Atunci conform propoziţiei 24, x este punct de minim pentru f pe X ϕ. Conform propoziţiei 3, există u R astfel încât (x,u ) este punct şa pentru funcţia Lagrange, L:X R R, definită prin L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u iϕi (x). Conform propoziţiei 23, x este punct de minim în sensul lui Lagrange pentru f pe X ϕ iar u este vectorul multiplicatorilor Lagrange. Teoremă 26. (condiţii necesare şi suficiente de optimalitate în cazul ipotezei de regularitate Slater: cazul funcţiilor convexe diferenţiabile) Fie X o submulţime convexă deschisă a lui R n, f: X R diferenţiabilă şi convexă, ϕ = (ϕ,ϕ 2,...,ϕ m ): X R m diferenţiabilă cu proprietatea că ϕ i :X R este concavă pentru orice i m. Presupunem că X ϕ ={x X:ϕ(x) } satisface condiţia de regularitate Slater. Următoarele afirmaţii sunt echivalente:. x este punct de minim local pentru f pe X ϕ 2. x este punct de minim global pentru f pe X ϕ 3. Există u R astfel încât (x,u ) este punct şa pentru funcţia Lagrange, L:X R R, definită prin 8

Metode de Optimizare Curs L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x) i i 4. x este punct de minim în sensul lui Lagrange pentru f pe X ϕ 5. x este punct de minim în sensul pantei maxime pentru f pe X ϕ Demonstraţie. <=> 2 conform propoziţiei 4 3 => 2 conform propoziţiei 3 2 => 3 conform propoziţiei 3 4 <=> 5 conform propoziţiei 25 3 => 4 conform propoziţiei 23 5 <=> conform propoziţiei 24 Observaţie. Fie X o submulţime convexă deschisă a lui R n, f: X R convexă diferenţiabilă, ϕ:x R m cu proprietatea că ϕ i :X R este concavă diferenţiabilă pentru orice i m. Presupunem că X ϕ = {x X: ϕ(x) } satisface condiţia de regularitate Slater şi presupunem dată problema de optimizare x X ( ) inf f x Un punct (x,u ) X R m, u = ( u, u,.. 2 ϕ. u m ) t care îndeplineşte condiţiile (i) ϕ i (x ) pentru orice i =, 2,..., m (ii) f(x ) - m u (x ) = (iii) (iv) m i ϕi u (x ) = ui pentru orice i =, 2,..., m se numeşte punct KKT (Karush-Kuhn-Tucker). Se observă că (x,u ) X R m este punct KKT dacă şi numi dacă x este punct de minim în sensul lui Lagrange iar u este vectorul multiplicatorilor lui Lagrange. În ipotezele teoremei 26 (x,u ) este punct KKT dacă şi numai dacă (x,u ) este punt şa pentru funcţia Lagrange, L:X R R, definită prin 9

Mădălina Roxana Buneci Metode de Optimizare Curs - 27 L(x, u) = f(x) - <u,ϕ(x)> = f(x) - m u ϕ (x) i i Evident dacă (x,u ) este punct KKT, atunci x este soluţie optimă a problemei x X ( ) inf f x ϕ.