Obvestila. Matematično programiranje z aplikacijami. Pregled predmeta Matematično programiranje z aplikacijami. Vaje: Nadaljujemo z začinjeno pizzo.

Transcript

1 Obvestila. z aplikacijami Drago Bokal Oddelek za matematiko in računalništvo Fakulteta za naravoslovje in matematiko Univerza v Mariboru 21. februar Prosojnice: MPA NN Naslov predavanja.pdf Za tiskanje: MPA NN Naslov predavanja p.pdf Prosim, sporočite pripombe na bokal@uni-mb.si. Predavanja: natisnite in preglejte prosojnice, sledite predavanjem in sodelujte, pred vajami ponovite ob knjigi, po vajah zastavite vprašanja, vzpostavite rutino. Sodelujte! Sprašujte! Tecite zmagovalni krog! Govorilne ure. Odmori. Pregled predmeta z aplikacijami. Nadaljujemo zgodbo predmeta Operacijske raziskave. Celoštevilsko programiranje, grafi Kombinatorična optimizacija. Nelinearno, stohastično programiranje MPA. Nelinearno programiranje. Stohastično nelinearno programiranje. Konveksno programiranje. Robustna optimizacija. Vaje: Nadaljujemo z začinjeno pizzo. V bankah in zavarovalnicah ni bilo zanimanja (kriza, ne zaposlujejo več)? Perspektiva: finančni matematiki: optimizatorji v podjetju? Trajnostni razvoj. Informacijsko-komunikacijske tehnologije. Zmagovalna kombinacija: znanja računalniške in finančne matematike. Projekt: Optimiziranje porabe stroškov za Energetsko Agencijo Podravja. Naslednji korak: pregled narejenega in definicija naloge za naprej. Datum zagovora?

2 Struktura problema min f (x) p. p. c i (x) = 0 i E c i (x) 0 i I x R n f (x) poljubna zvezna, diferenciabilna (kriterijska) funkcija, c i (x) poljubne zvezne, diferenciabilna (omejitvene) funkcije, E množica omejitev z enakostmi, I množica omejitev z nenakostmi, Osnovni koncepti nelinearnega programa. R množica dopustnih rešitev, zaprta, neprazna, omejena. a i = c i normalni vektor omejitve c i, A = (a i ) i E I Jakobijeva matrika problema, a i stolpci Jakobijeve matrike problema. a i (x) vektor najhitrejšega naraščanja omejitve c i v točki x. c i (x) = 0, i I : omejitev narašča v dopustno območje, a i (x) pravokoten na ničelno nivojno ploskev. Aktivne omejitve. A(x) = {i I E c i (x) = 0}. x : optimalna rešitev problema. A : aktivne omejitve v optimalni rešitvi. Neaktivne omejitve lahko (lokalno) ignoriramo. Problem obravnavamo kot problem omejitev z enakostmi E = A. Primer: min x 1 x 2, kjer x 2 x 2 1, x2 1 + x Pristopi k reševanju. Ni splošne metode (kot npr. simpleksna metoda za LP). Iterativni pristopi, eliminacija (enakosti), nato neomejena optimizacija, metoda dopustne smeri, prevedba omejitev v kazenske funkcije, metoda s kaznovanjem, tipično kazenske funkcije pomagajo pri konvergenci metod, transformacija originalnega modela.

3 Transformacije nelinearnih programov. Transformacije nelinearnih programov: Eliminacija. Ideja: prevedemo v enostavnejšo, lažje rešljivo obliko. Previdno: možni problemi: Prava transformacija za vaš problem, Pogosto ni bijekcije rešitev. Primer: iterativna linearizacija. Na vsakem koraku rešimo linearni problem. Iteriranje zaključimo, ko blizu rešitve originalnega problema. Enakosti c i (x) = 0 uporabimo za izražanje spremenljivk, φ(x 1 ) = x 2, nato min x f (x) = min x1 f (x 1, φ(x 1 )) = min x1 ψ(x 1 ). Če I = ali A(x ) = E z eliminacijo dobimo problem brez omejitev. Problemi: šibka pogojenost φ. Če I =, ugibamo A(x ) in popravljamo. Ugibanje osnovano na Lagrangeovih multiplikatorjih; v optimalni rešitvi nenegativni. Algoritmi izmenjevanja/aktivne množice, podobni simpleksni metodi. Transformacije nelinearnih programov. Omejitve s strogimi neenakostmi c i (x) > 0: Rešimo problem c i (x) ε > 0, za zaporedje ε 0. Kazenske funkcije: Prevedemo v problem brez omejitev, katerega rešitev je rešitev prvotnega problema. Skaliraje: Omejitve ali spremenljivke različnih velikostnih redov. Omejitve: množimo s konstantami, ki izenačijo red velikosti. Spremenljivke, tipično: množenje s konstantami. Strogo pozitivne spremenljivke: eksponiranje y = e x. Analitična karakterizacija lokalnih minimumov Izrek Predpostavimo, da problem nima omejitev. g(x) := f (x) = 0. ničeln gradient, ni naraščajoče smeri. G (x) := 2 f (x) 0. Hessejeva matrika pozitivno semidefinitna, pozitivna ukrivljenost. s T Gs 0, s R n. (1) Naj bo x R n lokalni minimum dvakrat odvedljive zvezne funkcije f : R n R. Potem velja g(x) = 0 in G (x) 0. (2) Če je g(x) = 0 in s T G (x)s > 0 za vsak s = 0, je potem je x lokalni minimum funkcije f.

4 Lagrangeovi množitelji intuitivno Lokalni ekstrem mora biti dopusten. V notranjosti območja enako kot pri nevezanem ekstremu. Na meji območja funkcija ne sme padati/naraščati v dopustnih smereh. Predpostavimo, da so vse omejitve enakosti. Razvoj omejitve v Taylorjevo vrsto: c i (x + δ) = c i (x ) + δ T a i (x ) + o( δ ) = 0. Ker se gibljemo v dopustnem območju, velja δ T a i (x ) = 0. Če f (x) pada vzdolž δ, potem δ T g(x ) < 0. Protislovje, x lokalni minimum na dopustnem območju. Torej za noben δ ne velja oboje hkrati: x + δ R, f (x + δ) < f (x ). Lagrangeovi množitelji intuitivno Torej 0 = δ T g(x ) = i E λ i δ T a i (x ) 0. Torej g(x ) = i E λ i a i (x ). Torej, če g(x ) lahko razvijemo po bazi a i (x ), je v x lokalni ekstrem. Koeficienti razvoja: Lagrangeovi množitelji λ i. Pri konveksnem problemu: dualni problem. Lagrangeovi množitelji posplošitev dualnih spremenljivk iz linearnega programiranja. Metoda Lagrangeovih množiteljev za probleme z enakostmi. Rešujemo sistem g(x) = i E a i (x)λ i, c i (x) = 0, i E. Spremenljivke x R n, λ R m. n + m spremenljivk, n + m enačb. Netrivialen problem: enačbe nelinearne. Lagrangeova funkcija. Lagrangeova funkcija problema: L(x, λ) = f (x) i E λ i c i (x). Če x lokalni minimum, potem obstaja λ, da sta (x, λ) stacionarna točka Lagrangeove funkcije. Stabilnostna analiza v okolici x : c i (x) = ε i, L(x(ε), λ(ε), ε) = f (x(ε)) + i E λ i (ε)(c i (x(ε)) ε i ) V minimumu: f (x(ε)) = L(x(ε), λ(ε), ε). df dε i = dl dε i =... = λ i. Lagrangeov množitelj predstavlja naklon kriterijske funkcije ob spreminjanju vrednosti ustrezne omejitve. Občutljivost kriterijske funkcije na spremembo omejitve.

5 Kuhn-Tuckerjevi pogoji Izrek min f (x) p. p. c i (x) = 0 i E c i (x) 0 i I x R n. Naj v lokalnem minimumu x velja pogoj regularnosti. Potem obstajajo Lagrangeovi množitelji λ, da x in λ zadoščata naslednjim pogojem: x L(x, λ) = 0, i E: c i (x) = 0, i I : c i (x) 0, i I : λ i 0, i I E: λ i c i (x) = 0. Kuhn-Tuckerjevi pogoji Regularnost: velja, če so vektorji a i (x ), i A neodvisni. i : λ i c i (x ) = 0: pogoj komplementarnosti; omejitev je aktivna (c i (x ) = 0) ali pa je λ i = 0. Stroga komplementarnost: i: c i (x ) > 0 ali λ i > 0. c i (x ) = 0 in λ i = 0: x je na meji omejitve, prehodno stanje. Dopustna smer. x dopustna točka, x (k) x, x (k) = x vsi dopustni. Zapišemo x (k) x = δ (k) s (k), kjer δ 0, s (k) = 1. s (k) je zaporedje smeri, če ima limito s. Limita s je dopustna smer. F(x) je množica dopustnih smeri v točki x. Če dopustimo s (k) = ε, ε > 0, in dodamo vektor s = 0, dobimo stožec dopustnih smeri, tangentni stožec v x. Linearizirana dopustna smer. x dopustna točka, F { (x) = s = 0 i E : s T a i (x) = 0 i I A(x) : s T a i (x) 0 }. F(x) težko matematično obravnavati. F (x) preprostejši. Ideal: F (x) = F(x). Velja: F (x) F(x). Naj bo s F(x) in x (k) x tak da s (k) s. Razvoj v Taylorjevo vrsto v x k : c i (x k ) = c i (x) + δ (k)t s (k) a i (x) + o(δ (k) ). Za i E: c i (x k ) = c i (x) = 0, s (k) a i (x) + o(1) = 0, k : o(1) 0, s (k) a i (x) s T a i (x) = 0. Za i I A(x): c i (x k ) c i (x) = 0, s (k) a i (x) + o(1) 0, k : o(1) 0, s (k) a i (x) s T a i (x) 0. Oba pogoja skupaj: s F (x) po definiciji. Želimo F(x) = F (x). Kuhn-Tucker to predpostavita.

6 Obstoj zaporedja smeri. Obstoj zaporedja smeri. Lema (o regularnosti) Naj bo x R dopustna točka in naj velja vsaj eden od pogojev: (i) vse omejitve c i, i A(x ) so linearne. (ii) množica vektorjev {a i (x ) i A(x )} je linearno neodvisna. Potem velja F (x ) = F(x ). Ob (i) je definicija F(x ) identična definiciji F (x ). Predpostavimo (ii) in poiščemo dopustno zaporedje smeri za s F(x ). Rešujemo nelinearni sistem r(x, θ) = 0, kjer r i (x, θ) = c i (x) θs T a i (x ), i A(x ), r i (x, θ) = (x x ) T b i θs T b i, i I \ A(x ). b i neki izbrani vektorji. Permutiramo indekse, da je A(x ) = {1,..., m}. Lema (o regularnosti) Naj bo x R dopustna točka in naj velja vsaj eden od pogojev: (i) vse omejitve c i, i A(x ) so linearne. (ii) množica vektorjev {a i (x ) i A(x )} je linearno neodvisna. Potem velja F (x ) = F(x ). Ena od rešitev sta x = x, θ = 0; vsaka (x, θ) iz neke male okolice sta tudi rešitev. Jakobijeva matrika J(x, θ) = x r T (x, θ) = [A(x ) : B]. Po (ii) ima A(x ) poln rang. Lahko izberemo B, da ima J poln rang. Po izreku o implicitni preslikavi obstaja okolica Ω za x in Ω 0 za θ = 0, v kateri za vsak θ Ω 0 obstaja enolična rešitev x(θ) Ω x. Obstoj zaporedja smeri. Množica smeri spuščanja. Lema (o regularnosti) Naj bo x R dopustna točka in naj velja vsaj eden od pogojev: (i) vse omejitve c i, i A(x ) so linearne. (ii) množica vektorjev {a i (x ) i A(x )} je linearno neodvisna. Potem velja F (x ) = F(x ). Z odvajanjem r(x, θ) dobimo 0 = dr i dθ = j Velja torej 0 = J T dx dθ J(x ) T s. Zato velja dx θ=0 = s. dθ r i x j dx j dθ + r i θ. Izberemo zaporedje θ (k) 0; zaporedje x (k) = x(θ (k) ) je dopustno zaporedje smeri za s F. Q.E.D. Definicija Naj bo x R dopustna točka. D(x) = { s s T g(x) < 0 } je množica smeri, v katerih funkcija f (x) pada v x. Rečemo ji množica smeri spuščanja. Lema (o dopustnih smereh spuščanja) Naj bo x lokalni minuimum f (x) na R. Potem velja D(x ) F(x ) =. V lokalnem minimumu ni dopustnih smeri spuščanja. Dokaz: Naj bo s F(x ) in x (k) x pripadajoče dopustno zaporedje smeri. Razvijemo f v Taylorjevo vrsto okrog x : f (x (k) ) = f (x) + δ (k) s (k)t g(x ) + o(δ (k) ).

7 Množica smeri spuščanja. Vložek iz OR: Farkaseva lemma. Lema (o dopustnih smereh spuščanja) Naj bo x lokalni minuimum f (x) na R. Potem velja D(x ) F(x ) =. Ker je x (k) lokalni ekstrem, velja f (x (k) ) f (x) za dovolj velike k. Delimo z δ (k), dobimo s (k)t g(x ) + o(1) 0. V limiti velja s (k) s, o(1) 0, torej s T g(x ) 0. Zato s D(x ), D(x ) F(x ) =. Q.E.D. Lema (Farkaseva lema) Naj bodo dani vektorji a 1,..., a m in g. Množica S = { s s T g < 0 i : s T a i 0 } je prazna natanko tedaj, ko obstajajo λ i 0, tako da velja g = m i=1 λ i a i. Posledica Množica S = { s s T g(x) < 0 i E : s T a i (x) = 0 i I A(x) : s T a i (x) 0 } je prazna natanko tedaj, ko obstajajo λ i, za katere velja g(x) = i A(x) λ i a i (x) in je i A(x) I : λ i 0. Dokaz: Za i E zapišemo s T a i (x) = 0 kot s T a i (x) 0 in s T ( a i (x)) 0. Vložek iz OR: Farkaseva lemma. Posledica Množica S = { s s T g(x) < 0 i E : s T a i (x) = 0 i I A(x) : s T a i (x) 0 } je prazna natanko tedaj, ko obstajajo λ i, za katere velja g(x) = i A(x) λ i a i (x) in je i A(x) I : λ i 0. Po Farkasevi lemi je F prazna natanko tedaj, ko: za i I A(x) obstajajo λ i 0, za i E obstajajo λ + i 0, λ i 0, da velja g(x) = i I A(x) a i (x)λ i + i E a i (x)λ + i i E a i (x)λ i. Za i E definiramo λ i = λ + i λ i. Dobimo g(x) = i A(x) λ i a i (x), i I A(x): λ i 0. Q.E.D. Dokaz potrebnosti Kuhn-Tuckerjevih pogojev. Naj bo x lokalni minimum. Po lemi o dopustnih smereh spuščanja je F(x ) D(x ) =. Po regularnosti je F (x ) D(x ) =. Po posledici Farkaseve leme obstajajo Lagrangeovi množitelji, tako da: x L(x, λ) = 0 ker g(x ) = i A(x ) a i (x )λ i, i E: c i (x ) = 0, ker x dopusten, i I : c i (x ) 0, ker x dopusten, i I : λ i 0, po posledici, i I E: λ i c i (x) = 0, po posledici. Q.E.D.