Laborator/Seminar 2. Probleme de optimizare convexa

Transcript

1 Laborator/Seminar 2 Probleme de optimizare convexa 1 Introducere Problemele de optimizare, min f(x) x R n s.l. g i (x) 0, i = 1,..., m, (1) Ax b = 0, in care functia obiectiv f si functiile ce definesc constrangerile de inegalitate g i sunt convexe se numesc probleme de optimizare convexe. Convexitatea detine un rol crucial, deoarece problemele cu aceasta proprietate prezinta trasaturi teoretice foarte bune (e.g., punctele de minim locale sunt, de asemenea, puncte de minim globale); si ceea ce este mai important, pot fi rezolvate numeric in mod eficient, ceea ce nu este valabil pentru problemele neconvexe. Vom studia mai departe notiunile de functie convexa si multime convexa pentru a sublinia proprietatile remarcabile ale problemelor convexe. 1.1 Multimi convexe Pentru o expunere clara si concisa, introducem urmatoarele definitii: Definitie 1. Multimea S R n se numeste convexa daca pentru oricare doua puncte x 1, x 2 S si un scalar α [0 1] avem αx 1 +(1 α)x 2 S (i.e. segmentul generat de oricare doua puncte din S este inclus in S). x 1 x 2 x 1 x 2 Figure 1: (dreapta). Exemplu de multime convexa (stanga) si multime neconvexa 1

2 {[ x Exemplu 1. Fie multimea L n = t] } R 3 : x t, denumita si conul Lorentz sau conul de inghetata. Trasati graficul acestei multimi in Matlab. Rezolvare. Figura conului este data de urmatoarea secventa de cod: function create_cone [y1,y2]=meshgrid(-1:0.01:1,-1:0.01:1); y3=sqrt(y1.^2+y2.^2); dom=[y3>1]; z3=y3; z3(dom)=inf; figure(1) hold on surf(y1,y2,z3) set(gca, FontSize,15) hold off end Figure 2: Con de ordinul doi (con Lorentz). Studiul multimilor convexe si al proprietatilor acestora faciliteaza analiza multimilor fezabile aferente problemelor de tipul (1) si a sirurilor generate de algoritmi cu restrictii la aceste multimi. In continuare vom introduce si analiza notiunea de functie convexa. 1.2 Functii convexe Definitie 2. Functie f : R n R se numeste convexa daca domeniul sau efectiv domf este o multime convexa si f(αx 1 + (1 α)x 2 ) αf(x 1 ) + (1 α)f(x 2 ), 2

3 pentru orice x 1, x 2 domf si α [0, 1]. α f(x)+(1 α) f(y)) f(α x+(1 α)y) x y Figure 3: Exemplu de functie convexa f(x) = x 2. Inegalitatea lui Jensen denota faptul ca f este o functie convexa daca si numai daca p p f( α i x i ) α i f(x i ) pentru orice x i domf and α i [0, 1], i α i = 1. Interpretarea geometrica a convexitatii este foarte simpla. Pentru o functie convexa, fie doua puncte din domeniul sau x, y domf, atunci valorile functiei evaluate in punctele din intervalul [x, y] sunt mai mici decat cele aflate pe segmentul cu capetele (x, f(x)) si (y, f(y)). Remarca 1. O functie este convexa daca si numai daca restrictia domeniului sau la o dreapta (care intersecteaza domeniul) este de asemenea, convexa. Cu alte cuvinte, f este convexa daca si numai daca oricare ar fi x domf si o direcţie d, funcţia g(α) = f(x + αd) este convexa pe domeniul {α R x + αd domf}. Aceasta proprietate este foarte utila in problemele ce implica teste de convexitate ale functiilor. Pentru a sublinia legatura dintre notiunile introduse mai sus, facem urmatoarea observatie: orice multime M definita ca multimea subnivel a unei anumite functii f, i.e. M = {x R n : f(x) 0}, este convexa daca si numai daca functia f este convexa. Demonstratia acestei afirmatii se afla in sectiunea de probleme rezolvate. [ ] 2 1 Exemplu 2. Fie functia convexa f : R 2 R, f(x) = 1 2 xt x [ 0.5 1]x, Trasati graficul functiei in Matlab. Rezolvare. Graficul functiei este generat de urmatoarea secventa de cod: function create_parab [x,y] = meshgrid([-10:.2:10]); 3

4 z=x.^2+0.25*(y.^2)-x.*y-0.5*x+y; surf(x,y,z,gradient(z)) end Pachet CVX CVX reprezinta un sistem de modelare a problemelor de optimizare convexa pe baza limbajului Matlab. CVX realizeaza transformarea comenzilor Matlab intr-un limbaj de modelare, cu posibilitatea de declarare a constrangerilor si functiei obiectiv prin intermediul sintaxei Matlab standard. De exemplu, consideram urmatorul model de optimizare convexa: min x R n Ax b 2 s.t. Cx = d x 1. Urmatoarea secventa de cod genereaza si rezolva o instanta aleatoare a acestui model: m = 10; n = 8; p = 2; A = randn(m,n); b = randn(m,1); C = randn(p,n); d = randn(p,1); cvx_begin variable x(n) minimize(norm(a*x - b, 2)) subject to C*x == d norm(x, Inf) <= 1 cvx_end 4

5 2.1 Instalare Un scurt ghid de instalare presupune urmatorii pasi: 1. Descarca de la adresa : fisierul.zip sau.tar.gz; 2. Dezarhiveaza intr-un director dorit (diferit de directorul toolbox al Matlabului); 3. Porneste Matlab-ul; 4. Deplasati directorul curent in directorul ce contine CVX si executati in consola comanda cvx_setup; 5. In unele cazuri (de cele mai multe ori in Linux) este nevoie de crearea sau modificarea fisierului startup.m ce asigura utilizatorul ca nu va introduce comanda cvx_setup la fiecare pornire a Matlab-ului. 2.2 Preliminarii Daca instalarea este realizata cu succes, incepem prin a preciza ca orice program CVX se scrie in interiorul unei functii Matlab. Pentru a diferentia continutul codului CVX de restul programului Matlab, programele CVX incep cu comanda cvx_begin si se termina cu cvx_end. Valorile variabilelor create in portiunea de cod Matlab se pot folosi ca parametrii in problemele de optimizare rezolvate cu CVX. La inceputul oricarui program CVX se definesc variabilele de decizie si dimensiunile acestora, e.g. m = 10; n = 8; A = randn(m,n); b = randn(m,1); cvx_begin variable x(n) minimize( norm(a*x-b) ) cvx_end In acest exemplu, variabila de decizie este un vector din R n. 2.3 Elemente de baza Variabilele CVX se declara folosind comanda variable si specificarea dimensiunii variabilei, inainte de a se utiliza in constrangeri sau in expresia functiei obiectiv. Sintaxa declararii are urmatoarea forma: variable x(10) variable Y(20,10) variable Z(5,5,5) Sunt disponibile o varietate de optiuni aditionale pentru precizarea structurii matriceale, in cazul in care variabila de decizie este de tip matrice,e.g. variable Y(50,50) symmetric variable Z(100,100) hermitian toeplitz Pentru lista intreaga a optiunilor consultati 5

6 Declararea functiei obiectiv a problemei de optimizare necesita precizarea tipului de problema (e.g. minimizare, maximizare) prin intermediul cuvintelor cheie minimize si maximize,e.g., minimize( norm( x, 1 ) ) maximize( geo_mean( x ) ) Precizam ca este imperativ ca functia obiectiv sa fie convexa cand folosim minimize si concava cand folosim maximize. Constrangerile suportate de modelele CVX sunt cele de egalitate (liniare) impuse prin operatorul ==, inegalitate impuse de prin operatorii <= si prin operatorul >=. Pentru constrangeri de tip box (lant de inegalitati) este disponibila sintaxa l<=x<=u. Exemplu 3. Determinati bila de raza maxima (i.e. centrul si raza) din spatiul Euclidian bidimensional, ce poate fi inscrisa intr-un poliedru descris de inegalitati liniare. Rezolvare. In cazul general, fiind dat setul de inegalitati liniare a T i x b i, formularea problemei in termeni de optimizare este data de: max r x R n,r R s.t. a T i x + r a i 2 b i, i = 1,..., n, unde r reprezinta raza bilei, iar x centrul acesteia. Alegand datele inegalitatilor liniare, coordonatele centrului si raza bilei cautate sunt generate de urmatoarea secventa de program: % Generare date de intrare a1 = [ 2; 1]; a2 = [ 2; -1]; a3 = [-1; 2]; a4 = [-1; -2]; b = ones(4,1); % Crearea si rezolvarea problemei de optimizare cvx_begin variable r(1) variable x_c(2) maximize ( r ) a1 *x_c + r*norm(a1,2) <= b(1); a2 *x_c + r*norm(a2,2) <= b(2); a3 *x_c + r*norm(a3,2) <= b(3); a4 *x_c + r*norm(a4,2) <= b(4); cvx_end % Generare figura x = linspace(-2,2); theta = 0:pi/100:2*pi; plot( x, -x*a1(1)./a1(2) + b(1)./a1(2), b- ); 6

7 hold on plot( x, -x*a2(1)./a2(2) + b(2)./a2(2), b- ); plot( x, -x*a3(1)./a3(2) + b(3)./a3(2), b- ); plot( x, -x*a4(1)./a4(2) + b(4)./a4(2), b- ); plot( x_c(1) + r*cos(theta), x_c(2) + r*sin(theta), r ); plot(x_c(1),x_c(2), k+ ) xlabel( x_1 ) ylabel( x_2 ) title( Bila de raza maxima inscrisa intr-un poliedru 2D ); axis([ ]) axis equal Exemplu 4. Determinati filtrul FIR cu cel mai apropriat comportament de cel al unei functii de transfer date H d (ω). Realizati proiectarea filtrului prin intermediul minimizarii erorii absolute maxime (norma infinit). Rezolvare. Formularea problemei de mai sus in termeni de optimizare conduce la rezolvarea urmatoarei probleme: min max H(ω) H d(ω), ω [0,π] unde H este functia raspunsului in frecventa, iar variabila de decizie are rolul raspunsului la impuls. O aproximare abordabila a problemei de mai sus presupune extragerea unui set finit m de frecvente ω i, i = 1,..., m, si rezolvarea problemei,i.e. min ω [0,π] max H(ω i) H d (ω i ), 1 i m Mai departe, prezentam secventa de cod ce rezolva problema de optimizare: n = 20; m = 15*n; w = linspace(0,pi,m) ; % omega 7

8 %******************************************************************** % Construim un raspuns in frecventa dorit %******************************************************************** D = 8.25; Hdes = exp(-j*d*w); % valoare intarziere % raspuns in frecventa dorit % Filtru Gaussian cu faza liniara (decomentati liniile de mai jos pentru proiectare) % var = 0.05; % Hdes = 1/(sqrt(2*pi*var))*exp(-(w-pi/2).^2/(2*var)); % Hdes = Hdes.*exp(-j*n/2*w); %********************************************************************* % Rezolvam problema minimax de proiectare a filtrului %********************************************************************* % A reprezinta matricea folosita la calculul raspunsului in frecventa % A(w,:) = [1 exp(-j*w) exp(-j*2*w)... exp(-j*n*w)] A = exp( -j*kron(w,[0:n-1]) ); % formularea optimala a filtrului Chebyshev cvx_begin variable h(n,1) minimize( max( abs( A*h - Hdes ) ) ) cvx_end % verificam daca problema a fost rezolvata cu succes disp([ Problem is cvx_status]) if ~strfind(cvx_status, Solved ) h = []; end %********************************************************************* % Generam figurile aferente filtrului %********************************************************************* % figura raspunsului la impuls pentru filtrul FIR figure(1) stem([0:n-1],h) xlabel( n ) ylabel( h(n) ) % figura raspunsului in frecventa H = [exp(-j*kron(w,[0:n-1]))]*h; figure(2) % magnitudine subplot(2,1,1); plot(w,20*log10(abs(h)),w,20*log10(abs(hdes)), -- ) xlabel( w ) ylabel( mag H in db ) axis([0 pi ]) 8

9 legend( optimizat, dorit, Location, SouthEast ) % faza subplot(2,1,2) plot(w,angle(h)) axis([0,pi,-pi,pi]) xlabel( w ), ylabel( faza H(w) ) 3 Exercitii rezolvate 1. Fie multimea S descrisa de S = {x R n : a T i x b i, c T j x = d j, i = 1,..., m, j = 1,..., p} = {x R n : Ax b, Cx = d}. Aratati ca multimea este convexa. Rezolvare. Se arata ca pentru orice x 1, x 2 S si α [0, 1] rezulta αx 1 + (1 α)x 2 S. Daca x 1, x 2 S atunci avem { Ax 1 b, Cx 1 = d Ax 2 b, Cx 2 = d. Notand x α = αx 1 +(1 α)x 2, putem finaliza demonstratia prin urmatoarea observatie: Ax α = αax 1 + (1 α)ax 2 αb + (1 α)b = b Cx α = αcx 1 + (1 α)cx 2 = αd + (1 α)d = d. In acest fel am aratat ca multimea definita mai sus este convexa. 9

10 Remarca 2. Multimile definite de egalitati si inegalitati liniare, cum este cea din enuntul problemei 1, se numesc poliedre. 2. Aratati ca urmatoarele multimi se pot defini sub forma unor poliedre: (a) S 1 = {x R n : x 0, x 1 = 1}, (b) S 2 = {x R n : x 1}. Rezolvare. : (a) Observam urmatoarele echivalente: S 1 = {x R n : x 0, = {x R n : x 0, n x i = 1} n x i = 1} = {x R n : I n x 0, [1... 1]x = 1}, unde I n reprezinta matricea identitate de ordin n. (b) Urmand acelasi rationament avem: S 1 = {x R n : max 1 i n x i 1} = {x R n : x i 1, i = 1,..., n} = {x R n : 1 x i 1, i = 1,..., n} = {x R n : x i 1, x i 1, i = 1,..., n} [ ] 1 = {x R n In : x I n. }, 1 unde I n reprezinta matricea identitate de ordin n. 3. Fie multimile {[ x (a) L n = t] } R n+1 : x t con Lorentz sau con de ordin II; (b) S n + = {X S n : X 0} con semidefinit. Aratati ca multimile de mai sus sunt conuri auto-duale. Rezolvare: (a) Din definitia conului dual avem L n = {y R n : x, y 0, x L n. Problema se reduce la a demonstra ca L n = L n. Ceea ce este echivalent cu satisfacerea simultana a incluziunilor: L n L n si L n L n. 10

11 [ ] y1 Aratam prima incluziune. Fie y = L v n, atunci pentru orice x = [ ] x1 L t n avem: x, y = y1 T x 1 + vt 0. (2) Stiind ca x L n atunci x t. Ramane sa demonstram ca y v. Din ipoteza ca (2) are loc pentru orice vector x L n, atunci inegalitatea [ ] x1 este satisfacuta, de asemenea, pentru un x ales. Alegand x = = t [ y 1 ] y 1 si inlocuind in (2) obtinem: 1 yt 1 y 1 y 1 + v = y 1 + v 0, din care rezulta prima incluziune. [ ] y1 Pentru a doua incluziune, fie y = L v n, x = inegalitatea Cauchy-Schwartz x, y x y rezulta [ ] x1 t L n. Din y T 1 x 1 + vt > y 1 x 1 + vt vt + vt = 0, unde in a doua inegalitate am folosit ipoteza x, y L n. In concluzie, pentru orice y L n avem ca y L n. (b) Similar, aratam prin dubla incluziune ce S+ n = S+ n. Fie Y S+ n atunci Tr(Y X) 0. Se observa urmatoarele relatii: deci Y S n +. x T Y x = T r(x T Y x) = T r(y xx T ) = T r(y X) 0. Pentru a doua incluziune, presupunem Y, X matrici pozitiv semidefinite. Remarcam urmatoarea relatie: T r(y X) = T r(y V T V ) = T r(v Y V T ) 0, (3) in care am folosit descompunerea valorilor proprii corespunzatoare matricii X si proprietatea de permutare a functiei matriceale T r( ). In concluzie, Y S+ n datorita relatiei (3), de unde reiese a doua incluziune. 4. Aratati ca urmatoarele functii sunt convexe: (a) f(x) = log x, domf = (0, ). (b) f(x) = 1 2 xt Qx + q T x + r, domf = R n, Q 0. (c) f(x, t) = xt x t, domf = R n (0, ). (d) f(x) = Ax b, A R m n, domf = R n. (e) f(x) = log det X, domf = S

12 Rezolvare: (a) Observam ca functia f(x) = log x satisface conditiile de ordin 2 ale convexitatii: f (x) = 1 > 0, x > 0. x2 (b) De asemenea, hessiana functiei f(x) = 1 2 xt Qx + q T x + r este data de 2 f(x) = Q. Remarcam ca functia este convexa deoarece matricea Q 0 (este pozitiv semidefinita). (c) In aceeasi maniera aratam ca functia f(x, t) = xt x t este convexa pe domeniul R n (0, ]. Din calculul hessianei avem ca: [ 2 2 t f(x) = I n 2x ] t, 2xT t 2 2x T x t 3 unde cu I n am notat matricea identitate de ordin n. Pentru a determina daca functia indeplineste conditiile de ordin 2 ale convexitatii observam ca: [ ] [ [u T v T ] 2 u f(x) = [u T v T 2 t ] u 2xv ] t 2 v 2xT u t 2 = 2 t ut u 2uT xv t 2 + 2xT xv t 3 2xT uv t 2 + 2xT xv 2 t 3 = 2 t 3 ( t 2 u T u 2tu T xv + x T xv 2) = 2 t 3 tu xv 2. Tinand[ cont ] de domeniul de definitie al functiei, remarcam ca pentru orice u vector, termenul drept din ultima egalitate este pozitiv. De aici este v evidenta proprietatea de pozitiv definire a matricii hessiene corespunzatoare functiei. (d) Deoarece functia este nediferentiabila in punctul 0, observam ca functia f(x) = Ax b nu este diferentiabila in punctele x ce satisfac Ax = b. Fie doua puncte din multimea domf pentru care f(x 1 ) = Ax 1 b, f(x 2 ) = Ax 2 b. Pentru a arata convexitatea functiei f, notam x α = αx 1 + (1 α)x 2 si observam sirul de relatii: f(x α ) = f(αx 1 + (1 α)x 2 ) = A (αx 1 + (1 α)x 2 ) b α(ax 1 b) + (1 α)(ax 2 b) = α Ax 1 b + (1 α) Ax 2 b = αf(x 1 ) + (1 α)f(x 2 ). (e) Fie functia f(x) = log det X, X S n ++. Aratam convexitatea lui f prin intermediul reducerii domeniului acesteia la o dreapta. Mai exact, folosim urmatoarea proprietatea a functiilor convexe, pe care o enuntam pentru cazul scalar (cu toate ca aceasta se pastreaza si in 12

13 cazul multivariabil): o functie f : R R este convexa daca pentru orice parametri a, b R, functia g(x) = f(ax + b) este convexa. Revenind la functia matriceala, consideram matricile X S n ++, D S n si aratam ca functia g(t) = f(x + td) este convexa, observand urmatoarele egalitati: g(t) = log det(x + td) = log det(x 1/2 X 1/2 + td) = log det (X ( 1/2 I n + tx 1/2 DX 1/2) X 1/2) ( = log det X 1/2 det (I n + tx 1/2 DX 1/2) det X 1/2) ( = log det X det (I n + tx 1/2 DX 1/2)) ( = log det X log det I n + tx 1/2 DX 1/2). Pe de alta parte, stiind ca pentru orice matrice A S n, cu spectrul Λ(A) = {λ 1,..., λ n }, transformarea B = I n + ta, t R, modifica spectrul astfel incat Λ(B) = {1 + tλ 1,..., 1 + tλ n } si det B = n (1 + tλ i ). Pentru a aplica aceasta proprietate in sirul de relatii de mai sus, notam Z = X 1/2 DX 1/2 avand spectrul Λ(Z) = {µ 1,..., µ n }. Rescriind g(t), rezulta: g(t) = log det X log = log det X n (1 + tµ i ) n log(1 + tµ i ). Mai departe, observam ca functia h(u) = log(1 + tu) din componenta celei de mai sus, este convexa, deoarece cea de-a doua derivata satisface h (u) = λ i 0, u R. (1 + tλ i ) 2 Stiind ca functia definita de suma de functii convexe este convexa, ajungem la concluzia ca g(t) este convexa in t. Deci, f(x) este convexa. 5. Determinati problema convexa de programare semidefinita ce aproximeaza urmatoarea problema neconvexa: n unde A R m n si x 2 = x 2 i. max x R xt A T Ax n s.l. x 2 1, 13

14 Rezolvare. Reamintim ca pentru orice Q R n n si x R n, functia Tr(Q) satisface relatia: Tr(x T Qx) = Tr(Qxx T ). Pe baza acestei relatii, problema de mai sus se scrie sub urmatoare forma echivalenta: max T r ( A T AX ) X R n n s.l. rang(x) = 1, T r(x) = 1. Se obtine relaxarea convexa prin renuntarea la constrangerea de egalitate neliniara rang(x) = 1. In concluzie, avem max T r ( A T AX ) X R n n s.l. T r(x) = 1. 4 Exercitii propuse 1. Precizati care dintre urmatoarele functii este convexa, concava sau niciuna dintre variante. Argumentati. (a) f(x 1, x 2 ) = 2x 2 1 4x 1 x 2 8x 1 + 3x 2, (b) f(x 1, x 2 ) = x 1 e (x 1+3x 2 ), (c) f(x 1, x 2 ) = x 2 1 3x x 1 x x 1 10x 2, (d) f(x 1, x 2, x 3 ) = 2x 1 x 2 + 2x x x 2 3 5x 1 x 3, (e) f(x 1, x 2, x 3 ) = 2x 2 1 3x 2 2 2x x 1 x 2 + 3x 1 x 3 + 4x 2 x Determinati submultimea din {x R : x > 0} pe care functia f(x) = e axb este convexa. Parametrii a, b satisfac a > 0, b In ce domeniu al axei reale este convexa functia f(x) = x 2 (x 2 1)? 4. Fie functiile convexe f 1,..., f m : R n R. Aratati ca urmatoarele compuneri ale acestora sunt convexe: (a) g(x) = m α i f i (x), α i > 0, (b) h(x) = max{f 1 (x),..., f m (x)}. 5. Fie multimea K = {x R n : x 0}. (a) Aratati ca multimea K este un con. (b) Sa se determine conul dual. 6. Aratati ca functia f(x) = r α i x [i] este convexa in x, unde α 1 α r 0 si x [n] reprezinta a n-a cea mai mare componenta din vectorul x. 7. Determinati functiile conjugate corespunzatoare functiilor: 14

15 (a) f(x) = max 1 i n x i cu domeniul R n ; (b) f(x) = X p cu domeniul R ++, unde p > 1. Comentati cazul in care p < 0. ( ) (c) f(x) = n 1/n x i cu domeniul R n ++; (d) f(x, t) = log(t 2 x T x) cu domeniul {(x, t) R n R : x 2 t}. 8. Aratati ca functia: 1 f(x) = x 1 x 2 1 1, x 3 1 x 4 definita pe domeniul in care toti numitorii sunt pozitivi, este convexa si strict descrescatoare. (Cazul cand n = 4 nu prezinta nicio particularitate, caracteristicile functiei se mentin si pentru cazul general.) 9. Presupunem ca functia f este convexa, iar λ 1 > 0, λ i 0, i = 1,..., k si k λ i = 1. Fie x 1,..., x n domf, aratati ca are loc inegalitatea: f(λ 1 x λ n x n ) λ 1 f(x 1 ) + + λ n f(x n ). 10. Aratati ca o functie f : R R este convexa daca si numai daca domeniul domf este convex si det 1 x 1 y 1 z 0, f(x) f(y) f(z) pentru orice x, y, z domf si x < y < z. 11. Aratati maximum-ul unei functii convexe peste poliedrul P = conv {v 1,..., v k } este atins intr-unul dintre varfurile poliedrului, i.e., sup f(x) = max f(v i). x P,...,k Indiciu: Jensen. Presupuneti ca afirmatia este falsa si folositi inegalitatea lui 12. Fie functia convexa f. Definim functia g dupa cum urmeaza: f(αx) g(x) = min α>0 α. (a) Aratati ca functia g este omogena, i.e. g(tx) = tg(x) pentru orice t 0. (b) Aratati ca daca o functie h este omogena si h(x) f(x) pentru orice x, atunci avem h(x) g(x) pentru orice x. 15

16 (c) Aratati ca functia g definita mai sus este convexa. 13. Fie functia omogena f : R n R, i.e. f(tx) = tf(x), t 0, x R n. O functie omogena se numeste subaditiva daca satisface, in plus, urmatoarea relatie: f(x) + f(y) f(x + y). Aratati ca, pentru functiile omogene, subaditivitatea este echivalenta cu convexitatea. 14. Fie multimea Q nevida, marginita si convexa in R n, si functia f definita de: f(x) = max y Q yt x. Functia f se numeste functia suport a multimii Q. (a) Aratati ca functia f este omogena si convexa. (b) Determinati explicit functia suport pentru multimile Q p definite de Q p = {x R n : Ax p 1}, p = 1, 2,, unde matricea A este inversabila. 15. Fie functia convexa f : R n R. Definim proprietatea de convexitate tare, enumerand conditiile de ordin 0, 1 si 2 (ce depind de gradul de diferentiabilitate al functiei), intr-un mod similar cu cele corespunzatoare cazului convex. Pentru µ > 0, functia f se numeste µ tare convexa in raport cu norma-p daca: (i) Conditii ordin 0 : functia f satisface urmatoarea inegalitate pentru orice x, y R n f(αx + (1 α)y) αf(x) + (1 α)f(y) µα(1 α) x y 2 2 p. (ii) Conditii ordin 1 : functia f este diferentiabila si satisface urmatoarea inegalitate pentru orice x, y R n f(y) f(x) + f(x), y x + µ 2 x y 2 p. (iii) Conditii ordin 2 : functia f este diferentiabila de doua ori si satisface urmatoarea inegalitate pentru orice x R n 2 f(x) µi n, unde x p = ordin n. ( n x p i ) 1 p, 0 < p 1, iar In matricea identitate de Aratati ca: 16

17 (a) Pentru norma 2, conditiile de ordin 1 implica conditiile de ordin 0, i.e. daca functia f satisface conditiile de ordin 1 atunci ea satisface si conditiile de ordin 0. (b) Pentru norma 2, orice functie diferentiabila o data si µ tare convexa satisface relatia f(x) f(y), x y µ x y 2 2. (c) Functia g(x) = 1 2 x 2 2 este 1-tare convexa in raport cu norma 2. (d) Functia g(x) = 1 2 x 2 p este (p 1)-tare convexa in raport cu norma p, pentru p > 1. (e) Functia g(x) = log n n x i log x i este 1-tare convexa in raport cu norma 1 pe domeniul {x R n + : x 1 1}. 16. Fie functia f definita de: f(y, t) = max x R n y, x t 2 x 2. Determinati domeniul functiei f si aratati ca expresia acesteia se rescrie in urmatoarea forma: { 0, daca y = 0, t = 0 f(y, t) = y 2 2t, daca t > Fie matricea simetrica si pozitiv definita Q R n n and u, v R n we have u T v u T Quv T Q 1 v. 18. Fie matricile E, H and F de dimensiuni compatibile si F T F I. Aratati ca pentru orice α > 0, avem EF H + H T F T E T αee T + 1 α HT H. Indiciu: Se foloseste inegalitatea (αe T F H) T (αe T F H) Fie matricea simetrica M de forma: [ ] A B M = B T, C unde matricea C este inversabila. Se numeste complementul Schur al lui M, matricea S = A BC 1 B T. Un rezultat des folosit in teoria matriceala precizeaza ca urmatoarele relatii sunt echivalente: (a) M 0 (M este pozitiv semidefinita); (b) A 0, (I AA )B = 0, C B T A B 0; (c) C 0, (I CC )B = 0, A B T C B 0, unde cu A am notat pseudo-inversa matricii A. Mai mult, daca M 0 obtinem un caz particular al echivalentelor: 17

18 (a) M 0 (M este pozitiv definita); (b) A 0, C B T A 1 B 0; (c) C 0, A B T C 1 B 0. Evidentiem, mai departe, un exemplu de aplicatie al acestui rezultat. Fie functia f : R n S n ++ R definita de: f(x, Y ) = x T Y 1 x. Aratati ca f este convexa folosind proprietatile complementului Schur. 20. Demonstrati ca urmatoarea problema de optimizare este convexa: min f(x) = x x 2 x R 2 g(x) = x x h(x) = (x 1 + x 2 ) 2 = 0. Rezolvare. Pentru a arata convexitatea problemei din enunt: min f(x) x R 2 s.l. g(x) 0, h(x) = 0. este suficient sa demonstram convexitatea functiilor f, g si liniaritatea functiei h. Observam ca hessiana functiei f are forma explicita 2 f(x) = I 2 0, unde I 2 este matricea identitate de ordin 2. Deci, functia f satisface conditia de convexitate de ordin 2. x In cazul functiei g, distingem posibilitatea ca inegalitatea 1 1+x sa fie satisfacuta doar in cazul in care x 1 0. In concluzie, constrangerea g(x) 0 este echivalenta cu o constrangere liniara (si deci convexa) x 1 0. Similar, pentru egalitatea definita de functia h, gasim urmatoarea echivalenta intre multimi: {x R 2 : h(x) = 0} {x R 2 : x 1 + x 2 = 0}, rezultand o functie liniara in x. In final, putem rescrie problema sub forma unui QP: min x x 2 x R 2 x 1 0 x 1 + x 2 = 0. 18

19 21. Demonstrati ca o problema de optimizare de tipul: min max 1 i m at i x + b i x R n Ax 0 x 0 poate fi adusa la forma de programare liniara. Rezolvare. O rescriere evidenta a problemei din enunt este data procedura tipica de aducere a unei functii obiectiv oarecare aferenta unei probleme de optimizare la una liniara: min t x R n max 1 i m at i x + b i t Ax 0 x 0. Fie o submultime discreta a spatiului R, A = {a 1,..., a n }. Daca cel mai mare element din multime este marginit de un scalar M R, atunci se deduce usor ca toate elementele multimii sunt marginite de M,i.e. a j max 1 i n a i M, j = 1,..., n. Daca aplicam aceasta ratiune si formularii de mai sus se ajunge la: min t x R n a T i x + b i t, i = 1,..., m Ax 0 x 0. Daca folosim notatiile y = standard: min y y R n+1ct [ ] x, c = t [ ] [ ] 0 ai si d 1 i = obtinem o forma LP 1 d T i y + b i 0, i = 1,..., m Ax 0 x 0. 19

20 22. Fie problema de optimizare : min f(x) x R n Gx h Ax = b, ( ) := ct x + d e T x + f cu domf(x) = { x R n : e T x + f > 0 }. Aratati ca aceasta problema poate fi adusa la forma de programare liniara. Rezolvare. Notam u(x) = e T x + f > 0. e aceasta devine: T x u(x) + f 1 u(x) = 1 > 0. De asemenea, folosim notatia y(x) = Reformuland functia obiectiv avem:. f(x) = ct x + d u(x) Impartind relatia prin u(x), x u(x) R n si z(x) = 1 u(x) R. = c T x u(x) + d 1 u(x) = ct y(x) + dz(x) Folosind schimbarea de variabila, putem aduce problema de minimizare dupa x la una ce presupune minimizarea dupa y(x) si z(x). Pentru a schimba variabila constrangerilor, impartim prin u ultimile doua seturi de egalitati/inegalitati. Astfel, obtinem: min y R n,z R ct y + dz e T y + fz = 1 Gy hz Ay = bz. 23. O functie se numeste monomiala daca se prezinta sub forma: f(x) = cx a1 1 xa2 2...xa n n, unde c > 0 si x R n ++, daca si numai daca x i > 0, i = 1 : n, a i R. Considerand problema de programare geometrica : min f(x) (4) x Rn g i (x) 1, i = 1 : m (5) h i (x) = 1, i = 1 : p. (6) cu f i, h i functii monomiale, aratati ca o astfel de problema de programare geometrica poate fi scrisa sub forma unui LP. Rezolvare. Din teoria optimizarii stim ca punctul de optim al unei probleme de optimizare cu functia obiectiv f(x), este acelasi cu cel al problemei cu functia obiectiv log f(x). 20

21 In cazul neconstrans, conditiile suficiente de optimalitate pentru pentru problema originala (cu functia obiectiv f(x)) sunt f(x ) = 0. Observam ca pentru cazul compunerii cu functia logaritm (cu functia obiectiv log f(x)) conditiile de optimalitate se transforma in f(x ) f(x ) = 0. Precizam fara demonstratie ca pentru cazul constrans are loc o echivalenta logaritmica similara, i.e avand problema originala min x R n cxa1 1 xa2 2...xan n c i x bi 1 1 xbi xbi n n 1 i = 1 : m e j x dj 1 1 xdj xdj n n = 1 j = 1 : p, compunand functia obiectiv si constrangerile cu functia logaritm, obtinem o problema cu acelasi punct de optim: min x R log(cxa 1 n 1 xa xa n n ) log(c i x bi 1 1 xbi xbi n n ) 0 i = 1 : m log(e j x dj 1 1 xdj xdj n n ) = 0 j = 1 : p. Folosind schimbarea de variabila log x i = y i, observam reformularea functiilor monomiale: f(x) = log(cx a xan n = log c + a i log x i = log c + n ) n a i y i. Astfel, rezulta o forma LP a problemei in variabila y. 21