Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις

Transcript

1 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις Όπως είδαµε στα προηγούµενα παραδείγµατα, η εξαγωγή συµπεράσµατος για το είδος του κρίσιµου σηµείου έγινε µέσω της 2 ης παραγώγου (Hessian). d Εναλλακτικά: Μιά συνάρτηση f :!! λέµε ότι είναι : d κυρτή (convex) άν f z+ υ f z f z υ z υ!, αυστηρά κυρτή (strictly convex) άν είναι κυρτή και ισχύει f z+ υ f z = f z υ υ =! d f(z)+ f(z) υ f(z+υ) f(z) z+υ υ z f(z ) υ z z +υ f(z +υ )=f(z )+ f(z ) υ f(z ) Έστω z* κρίσιµο σηµείο της αυστηρά κυρτής f (z) δηλαδή f z =. d Εποµένως f z υ f z f z υ υ f z υ f z υ + > =! + >! Συµπέρασµα: Ένα κρίσιµο σηµείο z* µιάς αυστηρά κυρτής συνάρτησης f (z) την ελαχιστοποιεί, δηλαδή z = arg min d f ( z) z! d 23

2 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Τι θα γίνει όμως αν μας ζητηθεί να ελαχιστοποιήσουμε ως προς το z R 2 την f ( z) = 2 z Qz + S z Q = Q = 2 S = με ταυτόχρονη ικανοποίηση της g z Δηλαδή, αν στο γενικό πρόβλημα της = c z b = c = min f z z βελτιστοποίησης μιάς συνάρτησης f (z) συμπεριληφθούν και n ισοτικοί περιορισμοί της g ( z) μορφής g i (z)= i =,, n τότε το μαθηματικό g2 ( z) st. G( z) = = πρόβλημα βελτιστοποίησης γίνεται:! gn ( z) Προφανως ο αριθμός των περιορισμών πρέπει να είναι μικρότερος από αυτόν της διάστασης του προβηματος ( n < d ) γιατί αλλοιώς το πρόβλημα υπερπεριορίζεται, επειδή ο δυνατός χώρος (feasible space), δηλ. o χώρος που ικανοποιεί την G(z)=, εκφυλίζεται σε ένα ή και κανένα σημείο. Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 24 b = 3

3 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Αντιµετωπίζουµε το πρόβληµα : ως εξής: gn ( z) Εισάγουµε διάνυσµα πολλαπλασιαστών Lagrange λ = [ λ διαστάσεως λ2! λ n ] n, ίδιας δηλαδή µε του G(z), του διανύσµατος ισοτικών περιορισµών. Σχηµατίζουµε τη Lagrangian:! f ( z) = f ( z) + λ G( z) = f ( z) + λg( z) + " λngn( z) Έστω ότι ελαχιστοποιούµε την Λαγκρανζιανή!f z δηλαδή βρούµε Έστω z z* που ικανοποιεί τους ισοτικούς περιορισµούς, δηλαδή G(z) = = G(z*) τότε λ R n λ ισχύει: min Αν το z* ελαχιστοποιεί την Λαγκρανζιανή f z, τότε ελαχιστοποιεί και την f z για αυτά και μόνο τα z που ανήκουν στο σύνολο των σημείων z όπου ισχύει G(z) =. z st ( z) ( z) ( z) 2. G z = = f g g! z = arg min " d f z " f z > " f z z z z! = + = f ( z) λ G( z) f ( z ) λ G( z ) f z f z f z f z G z G z = + + = =! f z! f z >! 25

4 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί! " Αν το z* ελαχιστοποιεί την! d f ( z) τότε f z =.. Το αντίστροφο ισχύει µόνο αν η! f ( z) είναι κυρτή, κάτι που εξαρτάται και από το λ! n. Επίσης, για να ισχύει η εξίσωση ισοτικών περιορισµών, πρέπει G z =!. Αυτές οι d+n εξισώσεις οδηγούν στην λύση z, λ των d+n αγνώστων. = πr 2 h Παράδειγµα: µεγιστοποίηση του όγκου f r,h ενός κυλίνδρου, όπου r : η ακτίνα του και h : το ύψος του, υπό το περιορισµό g z που δείχνει ότι η συνολική του επιφάνεια είναι σταθερή, ίση µε Α. Αν z = r h σχηµατίζουµε την Lagrangian!f z και µε µερική παραγώγιση λαµβάνουµε τις: d=2 εξισώσεις:! z f z πr 2 + λ2πr = 2πr 2 + 2πrh A = = f ( z) + λ Τ g( z) = f ( r,h) = πr 2 h + λ 2πr 2 + 2πrh A = 2πrh + λ 4πr + 2πh z = h = 2r = 4λ n = 2πr 2 + 2πrh A = n= εξισώσεις: λ f! z λ = ± A ( 6π ) 2 Το θεωρούµενο ακρότατο είναι: z = r h = A 6π για την θετική τιµή του λ * (η αρνητική δίνει αρνητικές τιµές για τα r *, h * ). 2 A ( 6π ) 26

5 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Επιστροφή στο παράδειγµα-2: ελαχιστοποίηση της f ( z) = ( 2)z Qz + S z όπου και g( z) = c z b = c = b = 3 Q = Q = 2 S = Σχηµατίζουµε την!f ( z) = f ( z) + λ Τ g( z) = και µε 2 z Qz + S z + λ Τ ( c z b) µερική παραγώγιση λαµβάνουµε τις: d εξισώσεις: z! f z = Qz + S + c λ = z = Q S + c λ ( c Q S + b) z = Q S c c Q c n εξισώσεις: Οπότε z = 3 2! λ f z = c z b = c Q ( S + c λ ) b = λ = c Q c ( c Q S + b) Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 27

6 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Οι ισοϋψείς είναι μορφής ελλειπτικής. Ο ισοτικός περιορισμός είναι η κατα κόρυφη γραμμή... Το κρίσιμο σημείο z* είναι το σημειο επαφής. Γενικά, για να εξασφαλιστεί η ελαχιστοποίση η! f ( z) πρέπει να είναι κυρτή για λ = λ Πως ελέγχεται όμως αυτό? Γενικά, το βασικό εργαλείο είναι η χρήση παραγώγων 2 ης Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 28 τάξης (Hessian). Όμως

7 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις & Ισοτικοί Περιορισμοί Ανάλυση Κυρτότητας ( Convexity Analysis) σε ειδικές περιπτώσεις: Αν ο ισοτικός περιορισμός είναι γραμμικός, δηλαδή : G( z) = C z e= τότε η παραγώγιση της! f ( z) ως προς z οδηγεί στην G! f ( z) = f ( z) + λ ( z) = f ( z) + λ C z Αν λοιπόν η f (z) είναι «αυστηρά κυρτή» τότε : { }! f z+ υ! f z = f z+ υ + λ C z+ υ e f z + λ C z e = = f z+ υ f z + λ C υ f z υ+ λ C υ =! = f z + λ C υ = f z υ!f ( z +υ) f! ( z) f! ( z) υ Επειδή η f (z) είναι «αυστηρά κυρτή», η ανισότητα ισχύει σαν ισότητα μόνο όταν υ = και κατά συνέπεια το ίδιο θα ισχύει για την επόμενη ανισότητα : αυστηρά κυρτή Η γενικώτερη ανάλυση με χρήση Hessian είναι πέραν αυτού του μαθήματος.. Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ Ισότητα µόνο όταν υ = 29

8 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις Τετραγωνικός Προγραμματισμός Έστω το πρόβληµα ελαχιστοποίησης: Είναι η f (z) αυστηρά κυρτή? min z 2 z Qz + S z s.t. G z = C z b = Q = Q > R d d C R n d, n < d, rank C = n f ( z +υ) f ( z) = 2 z +υ Q z +υ + S ( z +υ) 2 z Qz + S z = z Qυ + S υ + 2 υ Qυ = z f ( z) υ + 2 υ Qυ z f ( z) υ = f ( z) + λ Τ G( z) f (z) : Αυστηρά Κυρτή Άρα, συµφωνα µε προηγ. σελ., και η!f z αυστηρά κυρτή. Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 3

9 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Πεπερασμένες Διαστάσεις Τετραγωνικός Προγραμματισμός Εποµένως, τα ακρότατα της f (z) θα ελαχιστοποιούν την f (z). Έτσι, σύµφωνα µε τα προηγούµενα, αναζητούµε τη λύση z, λ των! z f ( z) = R d Qz + S + c λ = z = Q S + c λ z = Q S c ( c c ) ( c Q S + b)! λ f ( z) = G( z) R n c z b = c Q ( S + c λ ) b = λ = ( c c ) ( c Q S + b) Η η εξίσωση έχει νόηµα γιατί Q >, άρα µη-ιδιόµορφος. Η 2 η εξίσωση έχει νόηµα γιατί Q > Q - > και C: full rank, rank(c) = n C Q - C >, άρα η λύση λ * έχει νόηµα. Εποµένως η λύση z = Q S c c c ( c Q S + b) ελαχιστοποιεί την f ( z) = 2 z Qz + S z Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 3

10 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Άπειρες Διαστάσεις Μέχρι τώρα εξετάσαµε το πρόβληµα της βελτιστοποίησης για z R d. Επεκτείνουµε τώρα τη βελτιστοποίηση για z C [t,t f ], δηλαδή το χώρο των συναρτήσεων που ορίζονται στο [t, t f ] και έχουν συνεχή παράγωγο («λείες») και εποµένως έχουν 2 η παράγωγο. Οµιλώντας µαθηµατικά «πολύ χαλαρά» : η βελτιστοποίηση σε χώρο πεπερασµένων διαστάσεων (δηλ. z R d ) αφορά το καθορισµό του διανύσµατος z * (δηλ. των d συντεταγµένων του), που βελτιστοποιεί µία συνάρτηση. η βελτιστοποίηση σε χώρο «απείρων» διαστάσεων αφορά το καθορισµό της (πιθανώς διανυσµατικής» δηλ. µε d συντεταγµένες) συνάρτησης z * (t) σε όλα τα («άπειρα» δηλαδή) σηµεία του [t, t f ] που συνιστούν το πεδίο ορισµού της, ετσι ωστε να βελτιστοποιεί ένα συναρτησιακό. z * z * z * 2 z * (t) F( ) F(z * ) z z(t) F( ) F(z) z 2 32

11 Εισαγωγή στο Λογισμό των Μεταβολών : Βελτιστοποίηση σε Άπειρες Διαστάσεις Ένα συναρτησιακό F(z) είναι µία απεικόνιση που αντιστοιχεί ένα πραγµατικό αριθµό σε κάθε συνάρτηση z (που ανήκει σε κάποιο συγκεκριµένη κατηγορία συναρτήσεων). «Xαλαρά» οµιλώντας, το συναρτησιακό είναι µία «συνάρτηση συναρτήσεων»... Στα πλαίσια αυτού του µαθήµατος τα προς εξέταση συναρτησιακά θα είναι της t µορφής f F( z) = f t,z( t),!z ( t) dt Νόρµα Συνάρτησης: αντιστοιχίζει σε κάθε συνάρτηση x(t) που ορίζεται στο [t, t f ], έναν πραγµατικό αριθµό x και ικανοποιεί τις εξής ιδιότητες. x, x = x( t) = t t,t f. α x = α x α!. x + y x + y Κατα συνέπεια η νόρµα x της συνάρτησης διαφοράς δύο συναρτήσεων (x(t)=y(t)-z(t)) εκφράζει την «εγγύτητα» των συναρτήσεων y(t), z(t). Ασκηση: Να απόδειχθεί ότι η είναι νόρµα. t x! max { x t } t t t f Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 33

12 Το πρώτο πρόβλημα που επιλύθηκε στο πλαίσιο του Λογισμού των Μεταβολών Ελαχιστοποίηση της αεροδυναμικής αντίστασης ενός σώματος εκ περιστροφης με μηδενική γωνία πρόσπτωσης σε υπερηχητική ροή. Αεροδυναμική Αντίσταση q : πίεση r=r(x): ακτίνα του σώματος σε κάθε σημείο x r()=α : μέγιστη ακτίνα του σώματος x : αξονική απόσταση από σημείο μέγιστης ακτίνας dr/dx=-tanθ C p = C p (θ): συντελεστής πίεσης l: μηκός σώματος D = 2πq C p θ Να ευρεθεί η συνάρτηση ( που dx x) x,l ελαχιστοποιεί την αεροδυναμική αντίσταση D. dr x=l x= r dr [ ] Ετέθη ως πρόβλημα και λύθηκε το 686 από τον Isaac Newton του οποίου το αεροδυναμικό μοντέλο είναι καλό στις υπερηχητικές ταχύτητες και οχι στις υποηχητικές. Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 34

13 Ολική Μεταβολή Συναρτησιακού Έστω συναρτησιακό F z dt Σε κάθε συνάρτηση z(t) αντιστοιχεί μία πραγματική τιμή του συναρτησιακού. Θεωρούμε την συνάρτηση z(t)+δz(t) όπου δz(t) είναι μία «μικρή συνάρτηση», δηλαδή δ z << z(t)+δz(t) z(t) δz(t) 2 Προφανώς F z + δ z + 2 z t. Οπότε η ολική μεταβολή (increment) του συναρτησιακού F γράφεται και μετά από πράξεις = z 2 ( t) + 2z( t) H νορμα συναρτησεων έχει σκοπό την αποτίμηση του μεγέθους των π.χ. θα μπορούσαμε στην παραπάνω περίπτωση να υιοθετήσουμε νόρμες τη μορφής δ z = max t, [ ] δ z t όπου δ z t είναι μιά (συνήθης) νόρμα του διανύσματος δ z t την χρονική στιγμή t. t i = t f = = { z( t) + δ z( t) + δ z( t) } dt! F( z + δ z) F( z) = z( t) + δ z( t) ΔF z,δ z Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 35 δ z 2 = 2 { + 2 z( t) + δ z( t) } dt z 2 t 2 ΔF( z,δ z) = { 2 z( t) + 2 δ z( t) } dt + δ z( t) dt δ z( t) 2 dt + 2z( t) dt

14 Πρώτη Μεταβολή Συναρτησιακού Η ολική μεταβολή του παραδείγματος ΔF( z,δ z) = 2 z( t) + 2 είναι ειδική περίπτωση της γενικής μορφής ΔF( z,δ z) = δ F( z,δ z) + g( z,δ z) δ z Όπου η δf(z,δz) είναι γραμμική ως προς το δz, δηλ. δ F z,α δ z Αν lim g( z,δ z) = τότε το F είναι διαφορίσιμο επί της συναρτησεως z, και δ z ο όρος δf(z,δz), αποκαλείται πρώτη μεταβολή (variayon) του F επί της συναρτησεως z Από την ολική μεταβολή ΔF z,δ z του παραδείγματος διαπιστώνουμε ότι = 2 z( t) + 2 = 2 z( t) { δ z( t) } dt + δ z( t) dt = α δ F( z,δ z) 2 { δ z( t) } dt + δ z( t) dt η πρώτη μεταβολή είναι δ F z,δ z δ z t και 2 ότι lim g( z,δ z) = lim δ z( t) dt =, δηλ. το συναρτησιακό F είναι διαφορίσιμο. δ z δ z Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 36

15 Ακρότατα Συναρτησιακών Ένα συναρτησιακό J με πεδίο ορισμού το Ω έχει τοπικό ακρότατο στο x* αν υπάρχει ε > τέτοιο ώστε όλες οι συναρτήσεις x Ω που ικανοποιούν την x-x* < ε η ολική μεταβολή του J έχει το ίδιο πρόσημο. Το J(x*) είναι Τοπικό Ελάχιστο αν Τοπικό Μέγιστο αν Aν οι παραπάνω ισχύουν για οιοδήποτε ε > τότε το J(x*) είναι η ακρότατη τιμή (ολικά ελάχιστη / μέγιστη) και x* ειναι ακρότατο (ολικό ελάχιστο / μέγιστο). Θεωρούμε ΔJ = J x ΔJ = J x J x J x Το x ως συναρτηση διανυσματική (δηλ. διάνυσμα που κάθε στοιχείο του είναι μία συνάρτηση) με πεδίο ορισμού το Ω, Το J(x) να είναι ενα διαφορίσιμο συναρτησιακο (βλ. προηγ. σελ.) του x, και Οι συναρτήσεις στο Ω ΔΕΝ φράσσονται από κάποια όρια. Ακρογωνιαίο Θεώρημα Λογισμού των Μεταβολών = Αν x* ειναι ακρότατο τότε για τη πρώτη μεταβολή ισχύει δ J x,δ x για όλες τις αποδεκτές δ x Η συναρτηση δx είναι αποδεκτή αν x Ω x+δx Ω Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 37

16 Ακρότατα Συναρτησιακών μίας Συνάρτησης Θέλουμε να βρούμε την αναγκαία συνθήκη που πρέπει να ικανοποιείται από ένα ακρότατο του συναρτησιακού όπου ο αρχικός χρόνος t και αρχική τιμή x(t )=x είναι καθορισμένα (στο τέλος αυτής της παραγράφου θα φανεί πόσο εύκολα μπορεί να αντιμετωπισθεί η αντίθετη περίπτωση...) ενώ ο τελικός χρόνος t f και η τελική τιμή x(t f )=x f είναι «ελεύθερα» (ακαθόριστα). Ξεκινούμε με την ολικη μεταβολή = J ( x + δ x) J ( x ) ΔJ x,δ x Αναπτύσσοντας τον όρο κατα aylor γύρω από τις x,!x Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 38

17 Ακρότατα Συναρτησιακών μίας Συνάρτησης Το 2 ο ολοκλήρωμα γράφεται Επίσης υπενθυμίζουμε ότι d dt g!x δ x = d dt g!x g δ x + δ!x!x t f g δ!x!x dt = t t f t d dt g!x δ x dt t f d g dt!x δ x dt g δ!x!x dt = g!x δ x t t f t t f t f t d dt g!x δ x dt Οι 2 τελευταίες σχέσεις μαζί με την τελευταία σχέση της ολικής μεταβολής δίδουν: δ x( t f ) = x( t f ) x ( t f ) δ x f = x( t f + δt f ) x ( t f ) Αντικαθιστόντας στην ολική μεταβολή και παίρνοντας τους όρους της πρώτης μεταβολής... Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 39

18 Ακρότατα Συναρτησιακών μίας Συνάρτησης... και εφαρμόζοντας το Ακρογωνιαίο Θεώρημα Λογισμού των Μεταβολών... Αποδεικνύεται ότι η παραπάνω συνθήκη είναι ισοδύναμη με τις: Εξίσωση Euler Οριακές Συνθήκες Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 4

19 Ακρότατα Συναρτησιακών μίας Συνάρτησης: Πρόβλημα - Ο τελικός χρόνος t f και τελική τιμή x(t f )=x f είναι καθορισμένα Οριακές Συνθήκες Η εύρεση του ακροτάτου γίνεται με την επίλυση της Διαφορικής Εξισώσεως... Εξίσωση Euler και οι σταθερές ολοκληρώσεως θα προκύψουν από την ικανοποίηση των καθορισμένων t f, x(t f )=x f Παράδειγμα: Να ευρεθεί το ακρότατο της με x( ) =, x( π 2) = Euler x( ) =, x( π 2) = 4

20 Ακρότατα Συναρτησιακών μίας Συνάρτησης: Πρόβλημα - 2 Τελικός χρόνος t f καθορισμένος - τελική τιμή x(t f ) «ελεύθερη» Η εύρεση του ακροτάτου γίνεται με την επίλυση της Διαφορικής Εξισώσεως... Εξίσωση Euler... και οι σταθερές ολοκληρώσεως θα προκύψουν από την ικανοποίηση των... Οριακές Συνθήκες... λαμβανομένου υπόψη και και του καθορισμένου τελικού χρόνου t f Παράδειγμα: Να ευρεθεί η λεία καμπύλη ελαχίστου μήκους που συνδέει το σημείο x(t = ) = µε τη γραµµη t = 5. Το ισοδύναµο πρόβληµα αφορά το χρονικό διάστηµα t = έως t f = 5 µε x(t ) = και ελαχιστοποίηση της Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 42

21 Ακρότατα Συναρτησιακών μίας Συνάρτησης: Πρόβλημα - 2 Euler Αρχική Συνθήκη Οριακή Συνθήκη Ασκηση: Για x() = και x(2) ελεύθερο να ευρεθεί το ακρότατο της Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 43

22 Το Πρόβλημα Ελευθέρων Αρχικών & Τελικών: Χρόνου & Οριακών Συνθηκών Αλήθεια ΓΙΑΤΙ μας ενδιαφέρει κάτι τέτοιο? Ντετερμινιστικά Καθορισμένη Τροχιά Σελήνης tf,x(tf) ti,x(ti) ΓΗ Μετάβαση από Γή στη Σελήνη με Ελάχιστη Ενέργεια tf min P ( x ( t ), x! ( t ),t ) dt ti Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ Ισχύς 44

23 Ακρότατα Συναρτησιακών μίας Συνάρτησης: Πρόβλημα - 3 Τελικός χρόνος t f «ελεύθερος» - τελική τιμή x(t f )=x f καθορισμένη Η εύρεση του ακροτάτου γίνεται με την επίλυση της Διαφορικής Εξισώσεως... Εξίσωση Euler... και οι σταθερές ολοκληρώσεως θα προκύψουν από την ικανοποίηση των... Οριακές Συνθήκες... λαμβανομένης υπόψη και και της καθορισμένης τελική τιμή x(t f ) = x f Παράδειγμα: Για x()=4, x(t f )=4 και t f > «ελεύθερο» να ευρεθεί το ακρότατο της Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 45

24 Ακρότατα Συναρτησιακών μίας Συνάρτησης: Πρόβλημα - 3 Euler Αρχική / Τελική Συνθήκη Οριακή Συνθήκη Kostas J. Kyriakopoulos - Σ.Α.Ε. ΙΙ 46