ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ ΚΕΦ. 2 ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ

ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ ΚΕΦ. ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Βλ. - Hller-Leberman, Introducton to Operatons Research, 6 th edton, Κεφάλαιο 3 -Ε.Φ. Μαγείρου, Σημειώσεις Μαθηματικού Προγραμματισμού Ε.Φ. Μαγείρου Επιμέλεια σημειώσεων: Δ. Κ. Βασιλάκης

. Βελτιστοποίηση χωρίς περιορισμούς (unconstraned optmzaton)... 3.. Βασικό Θεώρημα... 3.. Ερμηνεία θεωρήματος... 4..3 Διαδικασίες αναζήτησης... 6..3. Αλγόριθμος Αναζήτησης Συντεταγμένων... 8..3. Αλγόριθμος Αναζήτησης Βαθμίδας... 9..3.3 Βελτιστοποίηση συνάρτησης μίας μεταβλητής.... Βελτιστοποίηση με περιορισμούς... 3.. Ισοτικοί περιορισμοί μέθοδος Lagrange... 3... Απλή λύση με αντικατάσταση... 3... Έμμεση λύση με μέθοδο Lagrange... 4...3 Μέθοδος Lagrange με ένα περιορισμό και δύο μεταβλητές... 4...4 Γενική διατύπωση Πολλοί περιορισμοί... 6...5 Ερμηνεία των πολλαπλασιαστών μ... 9.. Αριθμητική λύση συστημάτων εξισώσεων... 0... Μέθοδος Διχοτόμησης... 0... Μέθοδος Νεύτωνα.....3 Ανισοτικοί περιορισμοί... 3..3. Απόδειξη Συνθηκών Kuhn-Tucker.. Error! Bookmark not defned...3. Παραδείγματα εφαρμογής συνθηκών... 6..3.3 Αλγεβρική δικαιολόγηση (Karush)... 4..3.4 Γεωμετρική δικαιολόγηση (Kuhn-Tucker)... 5..3.5 Διαδικασία Βελτιστοποίησης... 3

. Βελτιστοποίηση χωρίς περιορισμούς (unconstraned optmzaton) Έστω συνάρτηση Ν μεταβλητών N f:.. Βασικό Θεώρημα N f f (,, ) f (,,, ) (,,, ) N N N N N N f όπου *,,,N Για μικρά ( *, *,, *) εξετάζουμε μόνο το γραμμικό όρο. N. Εναλλακτικά: N f f f (,, ) f (,, ) (,, ) N N N N Παράδειγμα : f (, ) e f e f e Με ακριβείς υπολογισμούς έχουμε: 0 f (0,0) e 0. 0.0 f (0., 0.) e.63 ενώ προσεγγιστικά: f Άρα: f (0,0) (0,0) 0 f (0., 0.) f (0,0) 0. 0 ( 0.). Παρατηρούμε ότι το σφάλμα είναι 0.0, δηλαδή 3

Πώς αποδεικνύεται; (π.χ. για μεταβλητές) f f (, ) f (, ) Αν η f (, ) f (, ) f (, ) f (, ) f f (, ) (, ) f είναι συνεχής, τότε f f f (, ) (, ) ( *, ) οπότε έχουμε: f (, ) (, ) ( *, ) f f f ΑΜΕΛΗΤΕΟ!.. Ερμηνεία θεωρήματος Έστω ότι έχουμε δύο διανύσματα (, ) και y (y,y ) που σχηματίζουν μεταξύ τους γωνία θ. (, ) θ ' y (y, y ) Εσωτερικό γινόμενο διανυσμάτων: θεώρημα y y y y Γενικά: αν N, y, y y 4

Στο MS Ecel το εσωτερικό γινόμενο διανυσμάτων υλοποιείται με την συνάρτηση SUMPRODUCT. Π.χ. η SUMPRODUCT(A:A5;B:B5) υπολογίζει το Α*Β+Α*Β+...+Α5*Β5. Καθετότητα διανυσμάτων: y y 0 y 0 N Βαθμίδα ή κλίση (Gradent): Ορίζεται ως το διάνυσμα: f f f f (,, N) (,, N), (,, N),, (,, N) N Π.χ. αν f (, ) Με τί ισούται το f (,) ; e τότε f (0,0) (,0) (γιατί;) Έκφραση βασικού θεωρήματος προσέγγισης: N f f (,, N) f Παρατήρηση: αν f (,, N) 0, τότε το σημείο (,, N) δεν είναι βέλτιστο, ΔΙΟΤΙ αν εξετάσουμε μια οικογένεια μεταβολών f f ( ),, f για, τότε N f f f f. Άρα για 0 μικρό (αν π.χ. θέλουμε να βρούμε μέγιστο) έχουμε f 0 και άρα μπορούμε να αυξήσουμε την τιμή της συνάρτησης. Άρα αναγκαίο για την ύπαρξη βέλτιστου στο σημείο * ( *,, N*) : f (*) 0 5

..3 Διαδικασίες αναζήτησης Αλγόριθμοι που όταν f 0 βελτιώνουν την τιμή της f έως ότου βρεθεί ακρότατο (μέγιστο ή ελάχιστο). Αναζήτηση κατά διεύθυνση d (d,d,,d ) Έστω κάποια διεύθυνση N το μέγιστο της f πάνω στα σημεία Παρατηρήστε ότι: και αρχικό σημείο. Πώς βρίσκουμε td για αριθμό t ; (,d σταθερά) f ( (t t)d) f ( td) f ( td) t d (γιατί;) f άρα f ( td) d (Δt: αριθμός) t f df και έτσι lm ( td) f ( td) d t 0 t dt Άρα, αν f d 0, μπορούμε να αυξήσουμε την τιμή της f θέτοντας: t 0αν f d 0 t 0αν f d 0 Γεωμετρικό παράδειγμα: (μεγιστοποίηση με αναζήτηση στη διεύθυνση d ) d d f ( ) f ( ) ' d ' d Ισοσταθμικές { : f () c} f ( ) d είναι αρνητικό (γιατί;). Επομένως το μέγιστο Στο σημείο το γινόμενο πάνω στη διέυθυνση dείναι στο σημείο ' d, δηλαδή t 0. 6

f ( ) d είναι θετικό (γιατί;). Επομένως το μέγιστο Στο σημείο το γινόμενο πάνω στη διεύθυνση dείναι στο σημείο ' d, δηλαδή t 0. Αριθμητικό παράδειγμα: Έστω η συνάρτηση f (,y) y y και θέλουμε να την ελαχιστοποιήσουμε, οπότε μεγιστοποιούμε την αρνητική της g(, y) y y. Έστω ότι αρχίζουμε από το σημείο (, y) (3,5) (,0). Δηλαδή τα σημεία (3 t,5) διεύθυνση έχουμε: και εξετάζουμε την διεύθυνση, οπότε αν κινηθούμε κατά t πάνω σε αυτή τη g(3 t,5) (3 t) 5 5(3 t) g(t) dg (3 t) 5 0 t dt κι έτσι το νέο (,y) είναι (.5,5) και το t είναι αρνητικό όπως και αναμέναμε (γιατί;). Εξετάζουμε τώρα τη διεύθυνση (0,), δηλαδή σημεία (.5,5 t), οπότε: g(t).5 (5 t).5(5 t) dg (5 t).5 0 t 7.5 dt με νέο (,y) (.5,.5). Η αρχική τιμή της f είναι f (3,5) 9, ενώ τελικά έχει μειωθεί σε f (.5,.5) 4.69. Το βέλτιστο προκύπτει τελικά για y 0 μετά από παρόμοια βήματα. Άσκηση: Αρχίζοντας από το σημείο ( n,y n) και μεγιστοποιώντας ως προς την διεύθυνση (,0), αποδείξτε για την ίδια συνάρτηση ότι το επόμενο σημείο είναι το (y,y ).Τι ισχύει αν μεγιστοποιήσουμε ως προς (0,) ; Με βάση αυτά αναλύστε n n τον σχετικό αλγόριθμο με αναζητήσεις κατά (,0),(0,),(,0),(0,),κ.ο.κ. 7

..3. Αλγόριθμος Αναζήτησης Συντεταγμένων Στο προηγούμενο αριθμητικό παράδειγμα μεγιστοποιώντας διαδοχικά πάνω στις διευθύνσεις (,0) και (0,) εφαρμόσαμε ουσιαστικά τον Αλγόριθμο Αναζήτησης Συντεταγμένων: e,e,,e τα μοναδιαία διανύσματα. Έστω N Αρχίζοντας από αυθαίρετο 0 μεγιστοποιούμε κατά την διεύθυνση e και παίρνουμε το. Αρχίζοντας από το μεγιστοποιούμε κατά την διεύθυνση e και παίρνουμε το κ.ο.κ. Συνεχίζουμε εναλλάσσοντας κυκλικά τις διευθύνσεις, δηλαδή e,e,,e, e,,e, e, N N Σταματάμε όταν δεν πάρουμε βελτίωση Ν φορές, δηλαδή αν: *. k k kn Το βέλτιστο είναι στο *. Άσκηση: Αποδείξτε ότι το κριτήριο τερματισμού είναι ορθό. Σχόλια: Αν και ο Αλγόριθμος Αναζήτησης Συντεταγμένων είναι ορθός δεν είναι απαραίτητο να τερματίσει! Δώστε ένα παράδειγμα αναφερόμενοι στην άσκηση της ενότητας..3. Μία γεωμετρική εικόνα της συμπεριφοράς του αλγορίθμου δίνεται παρακάτω: 3 * 0 e e 8

..3. Αλγόριθμος Αναζήτησης Βαθμίδας Ένας πολύ σημαντικός αλγόριθμος είναι ο Αλγόριθμος Αναζήτησης βαθμίδας: Διαλέγουμε αυθαίρετο σημείο 0 Αναθεωρούμε:. και θέτουμε δείκτη k d f ( ). Υπολογίζουμε τη διεύθυνση k Μεγιστοποιούμε κατά την d από το σημείο k, υπολογίζοντας έτσι το νέο σημείο. Εάν το k f ( k) είναι «μικρό» (π.χ. αν 0 3 Διαφορετικά, θέτουμε k k N f ( k ) για ), τότε ο αλγόριθμος τερματίζει. και επαναλαμβάνουμε την αναθεώρηση. Σχόλια: Μειονέκτημα: απαιτεί υπολογισμό των παραγώγων κάθε φορά Πλεονέκτημα: χρειάζεται λιγότερα βήματα από ότι ο Αλγόριθμος Αναζήτησης Συντεταγμένων. Γεωμετρική Συμπεριφορά: 0 f f f Παρατηρούμε ότι οι διευθύνσεις είναι και πάλι κάθετες μεταξύ των σε διαστάσεις (γιατί;). Ο αλγόριθμος αυτός εμφανίζει αρκετά συχνά παθολογική συμπεριφορά, δηλαδή πολλά αναποτελεσματικά βήματα. Αναλυτικό παράδειγμα Αναζήτησης Βαθμίδας: Έστω το ακόλουθο πρόβλημα βελτιστοποίησης: 9

mnf (,y) ( 4y y),y 4 y Υπολογίζουμε πρώτα: y f f (,y) 4y f y 4 y Γνωρίζουμε εκ των προτέρων ότι το ελάχιστο της f βρίσκεται στο y 0, καθώς 0 f (0,0) 0, ενώ ο πίνακας 4 είναι θετικά ορισμένος.. Αρχίζουμε την αναζήτηση στον αλγόριθμο ξεκινώντας από το σημείο έστω (,y ) (,) όπου 0 0 Εξετάζουμε το t* 4 (γιατί;). 0 f (,) 3. mn f (, 3t) t ή mn 4( 3t) ( 3t) t, οπότε. Επομένως, (,y ) (,y 3t*) (, 3 4) (, 4). Δηλαδή, 0 0 οδηγούμαστε σε ένα νέο σημείο (, 4) όπου f (, 4) (3 4,0). f (,y ) f (,y )! Παρατηρήστε ότι 0 0 3. Εξετάζουμε πλέον το f ( 3 4t, 4) που έχει ελάχιστο για t* (γιατί;), άρα (,y ) ( 4, 4) και f ( 4, 4) (0, 3 4) (δηλαδή f (,y ) f (,y )! ) 0 0 Ο παρακάτω πίνακας δείχνει πως εξελίσσεται ο αλγόριθμος. Αριθμός επανάληψης t* y f f f y 0 t 3 0 3-0.5.000 0.50 0.75000 0.750 0.000-0.50 0.50 0.8750 0.000 0.750 3-0.5 0.50 0.06 0.04687 0.87 0.000 4-0.06 0.06 0.07 0.000 0.87 5-0.5 0.06 0.06 0.0093 0.047 0.000 6-0.06 0.06 0.00073 0.000 0.047 7-0.5 0.06 0.004 0.0008 0.0 0.000 8-0.004 0.004 0.00005 0.000 0.0 0

..3.3 Βελτιστοποίηση συνάρτησης μίας μεταβλητής Βασικό στοιχείο σε οποιαδήποτε αναζήτηση είναι η μεγιστοποίηση μίας συνάρτησης μίας μεταβλητής με σκοπό τον υπολογισμό του t* κάθε φορά. Πώς μπορούμε να κάνουμε τη μεγιστοποίηση χωρίς υπολογισμό παραγώγων; Έστω μία μονόμορφη (unmodal) συνάρτηση, δηλαδή μία συνάρτηση με ένα μοναδικό (τοπικό ή ολικό) μέγιστο ή ελάχιστο. Οι συναρτήσεις αυτές είναι γενικότερες από τις κοίλες συναρτήσεις και συναντώνται συχνά στην πράξη. Μονόμορφη Κοίλη Σε τέτοιες μονόμορφες συναρτήσεις η αναζήτηση είναι πολύ αποτελεσματική και βασίζεται στην εξής παρατήρηση: Αν y z και f (),f (z) f (y), το μέγιστο της f είναι μεταξύ και z. (αποδείξτε το!) Έστω τώρα ότι υπολογίζουμε την f στο σημείο w με y w z. Ισχύει ότι f (w) f (z) (γιατί;). Αν ισχύει ότι f(w) f (y), τότε το μέγιστο βρίσκεται στο διάστημα [y,z]. Αν ισχύει ότι f(w) f (y), τότε το μέγιστο βρίσκεται στο διάστημα [,w]. y w z y w z f (w) f (y) ma [y,z] f (w) f (y) ma [,w]

Αναζήτηση χρυσής τομής Έστω ότι έχουμε διαπιστώσει ότι το ma είναι στο [0,], χωρίς απώλεια γενικότητας. Σχεδιάζουμε μετρήσεις στα διάφορα,y με 0 y. Ανάλογα με τα αποτελέσματα το ma θα βρίσκεται είτε στο [,] είτε στο [0,y]. Το [,] περιλαμβάνει το y όπου έχει ήδη γίνει μέτρηση της f. Το [0,y] περιλαμβάνει το όπου έχει ήδη γίνει μέτρηση της f. Καλό θα είναι: Τα διαστήματα αβεβαιότητας που θα προκύψουν να είναι ίσα. Να μπορούμε να χρησιμοποιήσουμε όλες τις προηγούμενες μετρήσεις. Από το. προκύπτει η συνθήκη y. Από το. ότι y y Δηλαδή η θέση του στο [0,y] είναι ό,τι και του y στο [,]. Άρα y και y ή που είναι ο λόγος της χρυσής τομής. Δηλαδή y* 0.6803... επίσης y y ή y y 0 και άρα * y* 0.380... y* 5 Άρα με κάθε υπολογισμό της f το διάστημα αβεβαιότητας πολλαπλασιάζεται με y*( ) και έτσι μειώνεται εκθετικά! Αν π.χ. το αρχικό διάστημα είναι 0 μονάδες, μετά από 0 υπολογισμούς της f θα έχει γίνει ίσο με 0.0007.

. Βελτιστοποίηση με περιορισμούς.. Ισοτικοί περιορισμοί μέθοδος Lagrange Πρόβλημα: ma(mn)f (,,, n),, για n, τέτοια ώστε g (,,, n) 0 k περιορισμοί g k(,,, n) 0... Απλή λύση με αντικατάσταση Αν μπορούμε να «λύσουμε» τις εξισώσεις των g θα προκύψουν n k ελεύθεροι άγνωστοι, τους οποίους μπορούμε να αντικαταστήσουμε στην f και να έχουμε ένα πρόβλημα με n kελεύθερους αγνώστους. Π.χ. mn y 3z y z 0 y z 3 Γράφουμε τους περιορισμούς ως y z y 3 z Λύνοντας ως προς,y έχουμε: 3z y z 3 Οπότε το πρόβλημα γράφεται ως προς τον ελεύθερο άγνωστο z : f (, y,z) y 3z f ((z), y(z),z) Που λύνεται θέτοντας απλά g(z) ( 3z) ( z 3) 3z g 0. z Η μέθοδος αυτή δεν είναι εφικτή αν δεν λύνεται το σύστημα g (,,, ) 0,,,k. n 3

... Έμμεση λύση με μέθοδο Lagrange Εισαγωγή Έστω, (διανύσματα) ικανοποιούν τον περιορισμό g 0 g() g( ) 0. Τότε, αν το είναι εφαπτόμενη της ισοσταθμικής. Επίσης: g( ) g() g() Αλλά: g() g( ) 0, οπότε g() 0 Άρα το g(), δηλαδή «μικρό», αντιπροσωπεύει την είναι κάθετο στην εφαπτόμενη της ισοσταθμικής άρα είναι και κάθετο στην ισοσταθμική. Παράδειγμα: g(, y) y και η ισοσταθμική Είναι (,y) g(,y) 0 g g g, (,y) y, η οποία είναι περιφέρεια κύκλου ακτίνας. που προφανώς είναι ακτίνα του κύκλου, που είναι εξ ορισμού κάθετη στην εφαπτόμενη σε οποιοδήποτε σημείο του. g(, y) 4y Η ισοσταθμική για g 0 είναι έλλειψη με κάθετη στο (,y) ίση με (,8y) (γιατί;) g g g g g g...3 Μέθοδος Lagrange με ένα περιορισμό και δύο μεταβλητές Γεωμετρική εικόνα σε διαστάσεις: Έστω maf (,y) με περιορισμό g(,y) 0. 4

f c 3 g f f c c c c 3 f c g(, y) 0 Όπως παρατηρούμε, στο βέλτιστο οι ισοσταθμικές g(, y) 0 και f c εφάπτονται, άρα τα f και g είναι συγγραμικά, δηλαδή f g, όπου αριθμός! Άρα αναγκαίες συνθήκες για να είναι το (*,y*) βέλτιστη λύση είναι: f (*,y*) g(*,y*) g(*,y*) 0 Η πρώτη σχέση συνεπάγεται δύο συνθήκες: f g (*,y*) (*,y*) 0 f g (*,y*) (*,y*) 0 y y που μαζί με την g(*,y*) 0 αποτελούν 3 εξισώσεις. Άρα, αν αναζητήσουμε το βέλτιστο, αυτό είναι μεταξύ των λύσεων του συστήματος εξισώσεων: f g (, y) (, y) 0 f g (, y) (, y) 0 y y g(, y) 0 ως προς 3 αγνώστους,y,. Παράδειγμα: mn y y με g(, y) y 0 5

Οι συνθήκες για το βέλτιστο είναι: f g y 0 f g y 0 y y y Οι δύο πρώτες δίνουν λύνοντας ως προς : y 3 y η τρίτη σχέση δίνει y και άρα 3. Εφόσον Η τιμή του είναι πολύ χρήσιμη όπως θα δούμε και στην συνέχεια. Για περισσότερες μεταβλητές, π.χ.: mn f (, y,z) y z y z με g(,y,z): y z 5 Οι συνθήκες είναι: f g 0 (3 σχέσεις) g 0 (4 η σχέση) Δηλαδή: f g 4 y z 0 f g y 0 y y f g 4z 0 z z y z 5 Λύνοντας τις τρεις πρώτες ως προς έχουμε: 0 y z 4 Οπότε από την τέταρτη σχέση προκύπτει ότι 0 3 0 y 0 3 z 5 3, από όπου προκύπτουν τα...4 Γενική διατύπωση Πολλοί περιορισμοί Έστω τώρα ένα υποτιθέμενο βέλτιστο στο πρόβλημα: 6

ma(mn) f (,,, n) με περιορισμούς: g (,,, n) 0 k περιορισμοί g k(,,, n) 0 ( *, *,, *). ( *, *,, * ). Το υποτιθέμενο βέλτιστο συμβολίζεται με n Εξετάζουμε μία μεταβολή, δηλαδή το n n ( *, *,, * ) ικανοποιεί όλους τους Εφόσον το n n περιορισμούς, θα πρέπει : g ( *, *,, *),,, 0 για κάθε περιορισμό (γιατί;) n n Επιπλέον θα πρέπει για να είναι το ( *, *,, n*) βέλτιστο: f ( *, *,, n*),,, n 0. Διότι, αν π.χ. f 0, τότε μία μεταβολή στο κατά αύξηση της αντικειμενικής (τι θα συνέβαινε αν f 0 ;) θα οδηγούσε σε f ( *, *,, *) Μπορεί να αποδειχθεί ότι το παραπάνω συνεπάγεται ότι το n θα πρέπει να είναι γραμμικός συνδυασμός των g ( *, *,, n*), δηλαδή: f ( *, *,, n*) g ( *,, n*) kg k( *,, n*) 0,,. για κάποιους αριθμούς k Έτσι οι συνθήκες βέλτιστου είναι οι εξής n k σχέσεις: k n σχέσεις, μία για κάθε f g 0 g 0 k σχέσεις, μία για κάθε περιορισμό Τα υποψήφια βέλτιστα είναι οι λύσεις του παραπάνω συστήματος εξισώσεων ως προς αγνώστους,,, n,,,, k. Οι συνθήκες γράφονται συνήθως με βάση τη Λαγκραντζιανή (Lagrangean) συνάρτηση: k L(,,,,,,, ) f (,, ) g (,, ) n k n n Θα πρέπει λοιπόν να ισχύουν οι ακόλουθες συνθήκες: 7

L f g k 0,,n L g (,, n ) 0,,k Παράδειγμα: mn y z f (, y,z) y z 0 g (, y,z) 3y z 0 g (, y,z) Έχουμε: L y z ( y z ) ( 3y z) οπότε: L 0 L y 3 0 y L z 0 z L L y z 0 3y z 0 Το σύστημα αυτό (5 εξισώσεις-5 άγνωστοι) είναι μη γραμμικό, όμως μπορεί να απλοποιηθεί: Από τις 3 πρώτες σχέσεις έχουμε: ( ) y (3 ) z ( ) Οπότε αντικαθιστώντας στην τελευταία σχέση και απαλείφοντας το παίρνουμε: 8

3y z 0 3 ( ) (3 ) ( ) 4 9 6 0 Οπότε: 0 y z 3 ( ) 4 Από την 4 η σχέση είναι: y z 0 9 0 Ποιο είναι όμως το σωστό, το θετικό ή το αρνητικό; Αντικαθιστώντας στην f y z f Βλέπουμε ότι πρέπει να επιλεγεί το αρνητικό για ελάχιστο και το θετικό για μέγιστο! (Παρατήρηση: η λύση αυτή στον Solver έχει μικρότερη ακρίβεια )...5 Ερμηνεία των πολλαπλασιαστών μ Τα ονομάζονται Πολλαπλασιαστές Lagrange κι έχουν μεγάλη χρησιμότητα. Έστω ότι είχαμε λύσει ένα πρόβλημα για το οποίο είχαν υπολογισθεί οι Πολλαπλασιαστές. Θεωρούμε το ίδιο πρόβλημα με νέους περιορισμούς. Έστω ότι το προηγούμενο g (,,, n) αντί για n g (,,, ) 0 βέλτιστο ήταν στο ( *, *,, n*) και το νέο βέλτιστο στο ( *, *,, n * n). Τότε, αν τα είναι μικρά, θα πρέπει: g ( *,, *),, (γιατί;) n n Η δε μεταβολή στο βέλτιστο είναι f ( *,, *),, Αλλά, f k k g και άρα: f ( g ). k n n Αυτό σημαίνει ότι η μεταβολή κατά του -περιορισμού μεταβάλλει την αντικειμενική συνάρτηση στο βέλτιστο κατά ( ), δηλαδή το δείχνει πόσο επηρεάζει ο -περιορισμός την αντικειμενική συνάρτηση! Εφαρμογή: Στο παράδειγμα ενός περιορισμού, mn y y με g(, y) y 0, το βέλτιστο ήταν 34 ( y, 3 ). 9

Αν τώρα ο περιορισμός γίνει y., τα βέλτιστα που προκύπτουν (με τον Solver) είναι y 0.55 και η αντικειμενική συνάρτηση είναι 0.9075, δηλαδή μία μεταβολή (αύξηση) f 0.9075 0.75 0.575. Η μεταβολή που προβλέπει η θεωρία είναι ( ) ( 3 ) 0.0 0.500... Αριθμητική λύση συστημάτων εξισώσεων Τα παραπάνω προβλήματα βελτιστοποίησης ανάγονται μέσω της μεθόδου Lagrange, στην επίλυση ενός συστήματος n εξισώσεων με n αγνώστους. Δίνουμε μία επισκόπηση των βασικών αριθμητικών μεθόδων για λύση τέτοιων προβλημάτων. Ας θεωρήσουμε αρχικά μία απλή εξίσωση f()=0, f:r R.... Μέθοδος Διχοτόμησης O αλγόριθμος έχει ως εξής: 0. Αρχίζουμε με δύο σημεία mn ma mn ma και ( ) τέτοια ώστε (ερώτηση: πώς βρίσκουμε αρχικά τέτοια και mn ma f ( ) 0 και f ( ) 0 σημεία;). Γνωρίζουμε ότι υπάρχει τουλάχιστον ένα * με f (*) 0 * [, ]. Θέτουμε. mn Αν και ma mn f ( ) 0 Αν, τότε ma. f ( ) 0 ma, τότε * [, ] και άρα θέτουμε mn * [, ] ma mn mn και άρα θέτουμε ma ma mn και. ma mn Τώρα [ ]. Θέτουμε. σταματάμε, διαφορετικά επιστρέφουμε στο βήμα.. Αν Η μέθοδος είναι σχετικά απλή, δεν χρειάζεται υπολογισμούς παραγώγων, όμως είναι σχετικά αργή: αν αρχίσουμε με αβεβαιότητα, τότε σε 0 επαναλήψεις έχουμε ακρίβεια μόνο ενός χιλιοστού ( )! 0 0

... Μέθοδος Νεύτωνα Η μέθοδος του Νεύτωνα είναι σαφώς ταχύτερη, αλλά απαιτεί υπολογισμούς παραγώγων. Μία προσέγγιση στην f ικανοποιητική αν η f '' είναι μικρή (γιατί;) είναι η f ( ) f () f '(). Υπολογίζουμε ένα ώστε η γραμμική προσέγγιση να μηδενίζεται, δηλαδή 0 f ( n) f ( n) f '( n)( n n) f ( n) οπότε n n f '( n). n είναι κοντά στο * Η μέθοδος είναι ταχύτατη, καθώς αν * είναι ρίζα και το ισχύει ότι: * * n n Έτσι ανεξάρτητα από το το διάστημα n * μειώνεται ταχύτατα. Παράδειγμα: Υπολογίστε τον φυσικό λογάριθμο του 0 χρησιμοποιώντας την ενσωματωμένη συνάρτηση του MS Ecel Θέλουμε να βρούμε ουσιαστικά τη ρίζα της e και όχι την ενσωματωμένη ln. f () e 0. Η μέθοδος Νεύτωνα δίνει (ρίζα της γραμμικής προσέγγισης στο n e 0 n n n 0 e n e Τα αποτελέσματα αν 0 δίνονται από τον παρακάτω πίνακα. n n ): Αριθμός Επανάληψης n ep( n ) 0.00000000.78883 3.6787944 39.5986564.933843 8.755535 3.46458994.75865940 4.35070 0.5965 5.30667 0.00077084 6.305850 0.00000003 7.3058509 0.00000000 8.3058509 0.00000000 Πολλές διαστάσεις Η μέθοδος Νεύτωνα επεκτείνεται και σε πολλές μεταβλητές. Ενδεικτικά για δύο μεταβλητές ισχύει: f (,y y) f (,y) f (,y) f (,y) y g(,y y) g(,y) g (,y) g (,y) y όπου f,g:r R και y y f f g g f, f, g, g y y y y

Θέτοντας f(, y y) g(, y y) 0 έχουμε ότι: f (,y) J(, y) y g(, y) f J(, y) g Όπου ο πίνακας f y g y Άρα η μέθοδος Νεύτωνα γράφεται ως: n n f ( n,y n) J( n,y n) y n y n g( n,y n) ονομάζεται Jacoban. και συνεπάγεται την αντιστροφή του πίνακα Jacoban, κάτι αρκετά επιβαρυντικό για προβλήματα πολλών μεταβλητών. Παράδειγμα: Λύστε το σύστημα: f (, y) ye 0 0 g(, y) y 4 0 Με τη μέθοδο Νεύτωνα δύο διαστάσεων είναι: f ye 0 ye e g και J(, y) y 4 e J(, y) κ.λ.π. πρέπει y. y e 4 4, y 0 δίνεται από τον παρακάτω πίνακα. ενώ Η σειρά των επαναλήψεων για 0 0 Jacobean InvJacobean D, Dy Αριθμός επανάληψης y f-g y y. 0 4 0-0 f 0 54.5985-0.08356 0.83564 D 0 g 0.08356 0-0.83564 Dy 3.868436 0.83564 -.673607 f 8.363793 45.46049-0.06994.445 0.0450696 D 0 g 0.06994-0.445-0.0450696 Dy 3.77774 0.86-0.08967 f 9.980383 43.457089-0.0986.9576 0.004438 D 0 g 0.0986-0.9576-0.004438 Dy 3 3.769330 0.306698-0.00096 f 9.9997704 43.3509-0.099839.9983 6.885E-06 D 0 g 0.099839-0.9983-6.885E-06 Dy 4 3.769333 0.306767 -.88E-09 f 0 43.3507-0.099844.998436 5.45E- D 0 g 0.099844-0.998436-5.45E- Dy 5 3.769333 0.306767 0 f 0 43.3507-0.099844.998436 0 D 0 g 0.099844-0.998436 0 Dy 6 3.769333 0.306767 0 f 0 43.3507-0.099844.998436 0 D 0 g 0.099844-0.998436 0 Dy

..3 Ανισοτικοί περιορισμοί Θυμηθείτε ότι αν το πρόβλημα ma f () με g() 0, έχει λύση με πολλαπλασιαστή ( L f g ), τότε, αν ο περιορισμός γίνει g() η αξία του μέγιστου θα αλλάξει κατά. Θεωρήστε τώρα το πρόβλημα: maf (,,, n) g (,,, ) 0 n ή mnf (,,, n) g (,,, ) 0 n g (,,, ) 0 k n (Τυπική μορφή μεγίστου) g (,,, ) 0 k n (Τυπική μορφή ελαχίστου) Παρατηρήστε ότι η έκφραση αυτή είναι γενικότερη από την ισοτική περίπτωση, και καθώς οι ισοτικοί περιορισμοί π.χ g() 0 είναι δύο ανισοτικοί: g() 0 g() 0. Σε αυτήν την περίπτωση των ανισοτικών περιορισμών οι αναγκαίες συνθήκες είναι περίπου ίδιες με τις Lagrange και οφείλονται στους Karush (930) και Kuhn-Tucker (950) γι αυτό και συνήθως τις αποκαλούμε Συνθήκες KuhnTucker (Κ-Τ). Στην περίπτωση των ισοτικών περιορισμών οι Συνθήκες Lagrange δίνουν: L f g g g k k L 0,, N L 0,,k και τετριμμένα: g 0 Στην περίπτωση ανισοτικών περιορισμών και συγκεκριμένα για την τυπική μορφή μεγίστου οι Συνθήκες Kuhn-Tucker γράφονται ως: Για βέλτιστο υπάρχουν 0,,,k ώστε να ισχύουν οι Συνθήκες Lagrange: L 0,,N g () 0,,,k g () 0,,,k (ή L 0 όπου L η Lagrangean συνάρτηση) 3

Η επιβεβαίωση του αν ένα δεδομένο ικανοποιεί τις Συνθήκες Κ-Τ είναι να βρεθεί αν υπάρχει λύση θετική των ισοτήτων..3. Αλγεβρική δικαιολόγηση Ιδέα: οι ανισοτικοί περιορισμοί μεταβλητή (τα Προγραμματισμό). g 0 Έχουμε λοιπόν για το νέο πρόβλημα: L 0 γράφονται ως. g 0 με πρόσθετη είναι αντίστοιχα με τις μεταβλητές απόκλισης στο Γραμμικό L f (g ) (g ) Οι συνθήκες είναι: k k k L f g g k k (τα δεν εμφανίζονται!) L g 0 L 0 (οι περιορισμοί) που είναι ισοδύναμο με g 0. 0 ή Ποιό είναι όμως το πρόσημο του ; Έστω ότι έχουμε πρόβλημα μεγιστοποίησης. Αν γράψουμε τότε g με 0, g. Άρα το νέο πρόβλημα έχει λιγότερες εφικτές λύσεις από το πρόβλημα με g 0 (ή g 0). Συνεπώς το νέο πρόβλημα πρέπει να έχει μικρότερη ή ίση λύση (βέλτιστη τιμή της αντικειμενικής συνάρτησης). Δηλαδή, από τη Θεωρία Lagrange (βλ. ενότητα...5) πρέπει: 0 0. Σε πρόβλημα ελαχιστοποίησης θα πρέπει: 0 0 (γιατί;) Παράδειγμα: mn y με y 0 L y y Όπως προηγουμένως έχουμε: y έχουμε y και. Αν 0 4

Δηλαδή το y ικανοποιεί τις συνθήκες Κ-Τ...3. Γεωμετρική δικαιολόγηση Έστω υποψήφιο βέλτιστο * (σε πρόβλημα μεγιστοποίησης) και έστω g (*) 0,, και g (*) 0, 3,,k (δηλαδή δύο από τους περιορισμούς είναι ισότητες στο βέλτιστο). Για να είναι το * όντως βέλτιστο, δεν μπορεί να υπάρχει διάνυσμα d που να ικανοποιεί f (*) d 0 και g (*) d 0,,. [Διότι τότε για μικρό αριθμό 0 εξετάζουμε το νέο υποψήφιο βέλτιστο. Για αυτό το υποψήφιο βέλτιστο είναι f f (*) d 0 και o * d g g (*) d 0,,, ενώ αν το είναι αρκετά μικρό ικανοποιούνται o και οι υπόλοιποι ανισοτικοί περιορισμοί. Άρα το είναι βελτίωση του * που δεν είναι συνεπώς βέλιστο!] Εξετάζοντας το παραπάνω επιχείρημα προκύπτουν οι παρακάτω επιτρεπτές θέσεις του f (*) που χαρακτηρίζονται από την συνθήκη: To f είναι θετικός γραμμικός συνδυασμός των g g 0. με για τα με g * επιτρεπτέςθέσεις για τοf g 0 g 0 d g f μη επιτρεπτή θέση, καθώς κίνηση κατά το d είναι εφικτή και βελτιώνει την f Άρα στο βέλτιστο * είναι g (*) 0,,, s. Προφανώς παίρνουμε τις Συνθήκες Kuhn-Tucker s g (*), όπου f (*) k f (*) g (*) 0 αν θέσουμε 0 για s,,k όπου θεωρούμε ότι g (*) 0. 5

..3.3 Παραδείγματα εφαρμογής συνθηκών ΚΤ Παράδειγμα : mn y y f g Στο βέλτιστο, τα f και Διαφορετικά, αν κινούμαστε κατά το μείωνε την f. Άτοπο για βέλτιστο! Γράφουμε: g πρέπει να είναι συγγραμικά και ίδιας κατεύθυνσης. g θα είχαμε επιτρεπτή μετακίνηση που θα mn y ma y y 0 Άρα: L y y L 0 y L y 0 y y =0 συνεπάγεται ότι Άρα αν 0 από την y y 0 y Επομένως 0. Δηλαδή, η λύση y και ικανοποιεί τις Συνθήκες Κ-Τ. Αν στο προηγούμενο πρόβλημα προσθέσουμε τον περιορισμό y, τότε προφανώς η λύση δεν αλλάζει. Τότε ο πολλαπλασιαστής αυτής της σχέσης μπορεί να θεωρηθεί μηδενικός! Παράδειγμα : Το πρόβλημα ma y με y 6

έχει L y y. Οπότε y (γιατί;) Αν 0, τότε y αλλά και y 0. Άτοπο! Άρα πρέπει 0, οπότε y 0, αλλά και αυτό άτοπο εφόσον y! Επομένως, δεν υπάρχουν σημεία ικανοποίησης των συνθηκών Κ-Τ! (γιατί;) Παράδειγμα 3: mn y με y Ο περιορισμός γράφεται ισοδύναμα +y+0, και έχουμε πάλι L=- -y +μ(+y+) Οι συνθήκες Κ-Τ λένε ότι υπάρχει στο ελάχιστο o, y o ένας αριθμός μ0 ώστε (α) L / = -+μ=0 και L /y = -y+μ=0 (β) μ( o + y o +) = 0 Αν είναι μ>0, από το (α) έχουμε =y=μ/>0 και λόγω του (β) θα πρέπει +y+=0, πού όμως είναι άτοπο. Άρα πρέπει μ=0, και λόγω του (α), =y=0= μ. Αυτό το αποτέλεσμα είναι το ίδιο με αυτό που θα προέκυπτε αν είχαμε να βρούμε ακρότατο χωρίς ανισοτικούς περιορισμούς. Έχουμε δηλαδή μία περίπτωση αναποτελεσματικών περιορισμών, οπότε οι συνθήκες ΚΤ ανάγονται σε ισοτικές συνθήκες Lagrange. y Βέλτιστο στο (0,0) Παράδειγμα 4: με mn y ( y ) 0 Θέτουμε L = - - y + μ[-( +y )] για μ0. Πρέπει να είναι για βέλτιστο: (α) L / = --μ=0 και L /y = --μy=0 (β) μ(-( +y )) = 0 Από το (α) φαίνεται ότι δεν μπορεί να είναι μ=0. Άρα είναι μ>0, οπότε από το (α) =y=-/μ που είναι αρνητικά. Εφόσον μ>0, πρέπει ο περιορισμός να είναι αποτελεσματικός δηλαδή = +y και άρα =y=-/. Επομένως είναι μ=/. Βέλτιστο 7

Παράδειγμα 5: με ma y ( y ) 0 Θέτουμε L = +y + μ[-( +y )] με μ0 και οι συνθήκες είναι: (α) L / = -μ=0 και L /y = -μy=0 (β) μ(-( +y )) = 0 Πάλι η περίπτωση μ=0 απορρίπτεται οπότε είναι μ>0, και από το (α): =y=/(μ), που είναι θετικά. Εφόσον μ>0, πρέπει ο περιορισμός να είναι αποτελεσματικός δηλαδή = +y και άρα =y=/. Επομένως είναι μ=/. Παράβαλε με το Παράδειγμα 4. Παράδειγμα 6: με ma y ( y ) 0 y 0 Έχουμε L = --y+ μ [-( +y )] + μ y, με μ και μ 0. Οι συνθήκες είναι (α) L / = --μ =0 και L /y = --μ y+μ =0 (β) μ (-( +y )) = 0 και μ y = 0 Είναι πάλι μ >0, διαφορετικά -=0 από την πρώτη σχέση της (α). Αν τώρα μ =0, από την δεύτερη σχέση της (α) προκύπτει ότι = -μ y που όμως μας δίνει y αρνητικό και μη αποδεκτό λόγω του περιορισμού y0. Aρα το μ είναι αυστηρά θετικό και επομένως y=0. Από την σχέση =-μ της (α) έπεται ότι μ >0 και άρα - -y = - = 0 οπότε = και =. Αλλά =-/μ <0 και επομένως =-. Επομένως είναι μ =/ και από την σχέση = -μ y+μ έπεται ότι μ =. Βλέπε Σχήμα 6. Στο σημείο (-,0) έχουμε g =(-,-y) = (,0) ενώ g =(0,). Έχουμε τέλος -f=(,) και ισχύει όντως ότι f + μ g +μ g =0 για τις παραπάνω τιμές των μ,g, μ και g. Παρατηρήστε ότι στο (-,0) ικανοποιούνται ισοτικά και οι δύο περιορισμοί. Παράδειγμα 7: (Επιβεβαίωση) Οι συνθήκες Kuhn Tucker μπορούν να χρησιμοποιηθούν για να επιβεβαιώσουν ότι ένα δεδομένο σημείο είναι ή δεν είναι το βέλτιστο ενός προβλήματος. Η εργασία αυτή είναι αρκετά απλούστερη από το να εντοπισθούν όλες οι λύσεις των συνθηκών Kuhn Tucker. Έστω λοιπόν το πρόβλημα ma 3+4y με περιορισμούς +y, +8y8,,y 0. Διαγραμματικά βλέπουμε πώς το βέλτιστο είναι στο =8/7 y=6/7. Πώς επιβεβαιώνουμε ότι όντως το σημείο αυτό είναι βέλτιστο; 8

Ισοσταθμ. αντικειμενικής ος Περιορ. Βέλτιστο ος Περιορ. 0 8 Θέτουμε L = 3+4y+ μ [--y] + μ [8--8y]+ μ 3 + μ 4 y με μ, μ, μ 3, μ 4 0. Οι συνθήκες βελτιστοποίησης είναι: (α) L / = 3-μ - μ + μ 3 =0 και L /y = 4-μ -8μ + μ 4 =0 (β) μ [--y] =0 μ [8--8y]=0 μ 3 =0 μ 4 y=0 Αν =8/7 y=6/7, θα είναι μ 3 = μ 4 =0 οπότε οι σχέσεις (α) γίνονται ένα σύστημα εξισώσεων με δύο αγνώστους μ + μ =3 και μ +8μ = 4 που έχει μοναδική λύση μ =0/7 και μ =/7. Τα μ που εντοπίσθηκαν με τον τρόπο αυτό είναι μη αρνητικά, οπότε οι συνθήκες Kuhn Tucker ικανοποιούνται κατ' αρχήν πράγμα που δεν θα συνέβαινε αν η λύση στο σύστημα προέκυπτε αρνητική. Πρέπει όμως επιπλέον λόγω της θετικότητας των μ και των σχέσεων (β) να ισχύει και --y = 8--8y =0, που επιβεβαιώνονται για τις συγκεκριμένες τιμές των,y. Μία άλλη κορυφή στο διάγραμμα των περιορισμών είναι η =0, y=. Εξετάζουμε αν στο σημείο αυτό ικανοποιούνται οι συνθήκες βελτίστου. Για τις τιμές αυτές θα είναι μ 4 =0 και επιπλέον καθώς η +y ικανοποιείται ανισοτικά, θα πρέπει μ =0 λόγω της πρώτης σχέσης στις (β). Έτσι οι σχέσεις (α) γίνονται πάλι ένα σύστημα δύο εξισώσεων με δύο αγνώστους και συγκεκριμένα 3-μ +μ 3 =0, 4-8μ =0. Η λύση των είναι μ =/ και μ 3 =-5/, πράγμα που σημαίνει ότι οι συνθήκες ΔΕΝ ικανοποιούνται. Παράδειγμα 8: (Επιβεβαίωση) Έστω το πρόβλημα ma +3y με περιορισμούς +y, +8y8,,y 0. Οι περιορισμοί είναι οι ίδιοι όπως προηγουμένως, αλλά από την διαγραμματική παράσταση δεν είναι σαφές που θα είναι το βέλτιστο, δεδομένου ότι οι ισοσταθμικές της αντικειμενικής δεν είναι γραμμικές. Από το διάγραμμα φαίνεται πάντως ότι τα υποψήφια βέλτιστα είναι στις κορυφές του σχήματος, δηλαδή () =y=0 () =8/7 y=6/7 () = y=0 και (v) =0 y=. Θέτουμε L = +3y + μ [--y] + μ [8--8y]+ μ 3 + μ 4 y με μ, μ, μ 3, μ 4 0. Οι συνθήκες βελτιστοποίησης είναι: (α) L / = -μ - μ + μ 3 =0 και L /y = 6y-μ -8μ + μ 4 =0 (β) μ [--y] =0 μ [8--8y]=0 μ 3 =0 μ 4 y=0 Στο () είναι μ = μ =0 και από την (α) έπεται ότι μ 3 = μ 4 =0 και οι συνθήκες ικανοποιούνται, αν και το σημείο () δεν έχει κανένα ενδιαφέρον από πλευράς βελτιστοποίησης. Στο () είναι μ 3 = μ 4 =0 οπότε η (α) γίνεται 6/7 = μ + μ και 36/7 = μ +8μ. Λύνοντάς τις προκύπτει μ = 9/49, μ =0/49 που είναι αποδεκτές καθώς οι γραμμικοί περιορισμοί ικανοποιούνται ισοτικά. 9

Στο () είναι μ = μ 3 =0 οπότε η (α) γίνεται 4-μ =0 και μ =μ 4 οπότε είναι μ =μ 4 =4, που είναι παραδεκτό. Στο (v) είναι μ = μ 4 =0 οπότε η (α) δίνει ένα σύστημα εξισώσεων ως προς μ και μ 3 με λύση μ =μ 3 =3/4 που επίσης ικανοποιεί τις συνθήκες βέλτιστου. Από τα 4 σημεία αυτά, η τιμή της αντικειμενικής στο () είναι 0, στο () είναι 3.50, στο () είναι 4, και τέλος στο (v) είναι 3. Άρα το καθολικό βέλτιστο είναι το σημείο (). Τα παραπάνω μας δείχνουν ότι η ικανοποίηση των συνθηκών Kuhn Tucker είναι αναγκαία αλλά όχι ικανή για συνολικό βέλτιστο. Κάτω από συνθήκες κυρτότητας είναι εύκολο να αποδειχθεί ότι οι συνθήκες είναι και ικανές, ενώ αν υπάρξουν πρόσθετες συνθήκες δεύτερης τάξης τότε ένα οποιοδήποτε σημείο που ικανοποιεί τις συνθήκες είναι τοπικό αλλά όχι ολικό βέλτιστο. Το ίδιο θέμα εμφανίζεται και στο επόμενο παράδειγμα. Παράδειγμα 9: (Οι συνθήκες K-T είναι αναγκαίες αλλά όχι ικανές) Έστω το πρόβλημα ma +y με περιορισμό +y. Θέτουμε L = +y + μ[ +y -] με μ0 και οι συνθήκες είναι: (α) L / = +μ=0 και L /y = +μy=0 (β) μ( +y -) = 0 Για να ικανοποιούνται οι Κ-Τ θα πρέπει να είναι μ>0, και από το (α) = y = -/(μ) που είναι αρνητικά. Εφόσον μ>0, πρέπει ο περιορισμός να είναι αποτελεσματικός δηλαδή = +y και άρα = y = -/. και μ=/. Όμως είναι τελείως προφανές ότι το σημείο (-/, -/) δεν είναι ούτε τοπικό ούτε και φυσικά ολικό βέλτιστο. Μάλιστα δεν υπάρχει ολικό βέλτιστο καθώς ο περιορισμός δεν αποκλείει απεριόριστη αύξηση των,y και έτσι δίνουν στην αντικειμενικά απείρως μεγάλες τιμές. Επίσης, μετακινούμενοι κατά την περιφέρεια του μοναδιαίου κύκλου κοντά στο σημείο (-/, -/) επιτυγχάνουμε αύξηση της αντικειμενικής, και άρα δεν έχουμε ούτε καν τοπικό βέλτιστο. Παράδειγμα 0α: (Οι συνθήκες Κ-Τ δεν είναι καν αναγκαίες σε ακραίες περιπτώσεις) Έστω το πρόβλημα ma -y με περιορισμούς y0 και 3 -y0. Το δεν μπορεί να πάρει θετικές τιμές (γιατί;) όποτε το προφανές βέλτιστο είναι στο =y=0. Για το πρόβλημα αυτό οι συνθήκες Κ-Τ είναι L = - y + λy + μ[ 3 -y] και L / = -3μ = 0 και L /y = -+(λ-μ) = 0. Προφανώς η πρώτη ισότητα δεν ικανοποιείται στο =0, και άρα παρόλο που το σημείο (0,0) είναι βέλτιστο ΔΕΝ ικανοποιεί τις υποτιθέμενες αναγκαίες συνθήκες Κ-Τ. Το πρόβλημα αυτό παρατηρείται διότι δεν ισχύει η επιπλέον "ιδιότητα των περιορισμών" που αναφέρθηκε στην θεωρία. Η ιδιότητα αυτή περίπου απαιτεί να είναι γραμμικά ανεξάρτητα τα διανύσματα κλίσης των αποτελεσματικών περιορισμών, και τότε όντως οι συνθήκες Κ-Τ είναι αναγκαίες. Αυτό φαίνεται και στο παράδειγμα 0β, όπου μία απειροελάχιστη αλλαγή στους περιορισμούς οδηγεί σε βέλτιστο όπου ικανοποιούνται οι συνθήκες Κ-Τ, καθώς τα σχετικά διανύσματα κλίσεως είναι ανεξάρτητα. Παράδειγμα 0β: (Οι συνθήκες Κ-Τ είναι αναγκαίες αν ισχύει η ιδιότητα των περιορισμών) 30

Έστω το πρόβλημα ma -y με περιορισμούς yε και 3 -y0, με ε ένα πολύ μικρό θετικό αριθμό (οπότε ο πρώτος περιορισμός αντιστοιχεί περίπου με τον y0 που είχαμε στο προηγούμενο παράδειγμα). Πάλι το δεν μπορεί να πάρει θετικές τιμές (γιατί;) και το βέλτιστο είναι πάλι στο =y=0. Για το πρόβλημα αυτό είναι L = - y + λ[y-ε] + μ[ 3 -y] και οι συνθήκες Κ-Τ είναι: L / = -le-3m = 0 και L /y = -+(l-m) = 0. Στο =0 οι συνθήκες ικανοποιούνται με λ=/ε και μ=-+/ε. Τα διανύσματα βαθμίδας στο πρόβλημα αυτό είναι (ε,) και (0,-) που είναι γραμμικά ανεξάρτητα. Αντίθετα, στο παράδειγμα 0α τα διανύσματα βαθμίδος είναι (0,) και (0,-) που είναι εξαρτημένα. Μία πολύ καλή (αλλά προχωρημένη) παρουσίαση των ιδιοτήτων περιορισμών δίνεται στο βιβλίο του P. Varaya Notes on Optmzaton που είναι διαθέσιμο στο διαδίκτυο (Κεφ. V.)...3.4 Διαδικασίες Βελτιστοποίησης με αναζήτηση Η γεωμετρική ερμηνεία των συνθηκών για βέλτιστο μας οδηγεί στον εξής απλό αλγόριθμο αναζήτησης: 0. Αρχίζουμε με αυθαίρετο 0. Αν δεν είναι βέλτιστο, βρίσκουμε διάνυσμα d τέτοιο ώστε f ( ) d 0 και 0 0 Προφανώς στην βιβλιογραφία έχουν αναπτυχθεί πολλοί αλγόριθμοι επίλυσης των προβλημάτων αυτών με αναζήτηση Παράδειγμα αλγορίθμου αναζήτησης: Στο πρόβλημα: ma y g y 0 g y 0 g ( ) d 0 για τους περιορισμούς που ικανοποιούνται ισοτικά, g ( ) 0. 0 Αυτό απαιτεί βέβαια λύση προβλήματος εξίσωσης για θετικές ρίζες, δηλαδή Γραμμικού Προγραμματισμού.. Εξετάζουμε το μονοδιάστατο πρόβλημα (με μία μεταβλητή ) maf ( d) με τέτοιο ώστε g ( d) 0. 0 0 0 3. Η λύση του μας δίνει ένα * και ένα νέο υποψήφιο βέλτιστο *d που είναι καλύτερο από το προηγούμενο o. 0 4. Αν το νέο σημείο δεν είναι «ικανοποιητικό» επαναλαμβάνουμε το βήμα. * 3

Αρχίζουμε με,y 0 0,0, όπου g 0, g 0. Βρίσκουμε ένα d ώστε f d, d 0 και Διαλέγουμε το d 0, και εξετάζουμε τα σημεία, 0 είναι 3 (γιατί;) Θέτουμε,y, 3 που πάλι δεν είναι βέλτιστο (γιατί;) Μια νέα «καλή» διεύθυνση μεταβολής d είναι η d 3, νέο υποψήφιο βέλτιστο κ.ο.κ. y g d 0, d 0.. Το καλύτερο που μας οδηγεί σε, y d d, y 0 0, y Εντοπίστε το,y. Είναι βέλτιστο; Προχωρήστε το αλγόριθμο για μερικά βήματα. Άσκηση-ερώτηση: Περιγράψτε ένα αλγοριθμικό σχήμα που να στηρίζεται στην αλγεβρική απόδειξη των συνθηκών ΚΤ. Συγκεκριμένα έστω ότι λύσαμε τη μορφή Lagrange με τα αλλά κάποιο δεν είναι μη αρνητικό. Πώς μεταβαίνουμε σε ένα πρόβλημα που έχει «καλύτερη» λύση;..3.5 Επιπλέον παραδείγματα Παράδειγμα : Έστω το πρόβλημα: ma y 3z με περιορισμούς: y 3z 0 y z 6, y,z 0 Εισάγοντάς το στον Solver μάς προτείνεται από το λογισμικό η λύση y 0, z 0 3. Επιβεβαιώστε ότι στο σημείο αυτό ισχύουν όλες οι συνθήκες βελτίστου Κ-Τ. Έχουμε: 3

L y 3z 0 y 3z 6 y z y z 3 4 5 (γιατί;) Στο προτεινόμενο σημείο είναι 0 5 Οι συνθήκες παραγώγων είναι: L 3 0 L y 4 0 y L 6z 3 5 0 z,y,z,, οι σχέσεις αυτές γίνονται: 0 Αντικαθιστώντας τις τιμές των 5 3 0 4 0 3 0 0 3 0 που είναι παραδεκτές τιμές. Άρα οι συνθήκες Άρα 3 4 επιβεβαιώνονται. Παράδειγμα : Έστω υποψήφια λύση 3, y z 0 για το ίδιο πρόβλημα. Εξετάστε αν ισχύουν και σ αυτήν οι συνθήκες βελτίστου. 0 λόγω συμπληρωματικότητας. Οι συνθήκες παραγώγων γίνονται: Είναι 3 L 6 0 3 L 0 4 0 4 3 y L 0 5 0 5 3 z Άρα αποδεκτή λύση είναι και αυτή, αφού οι συνθήκες επιβεβαιώνονται και εδώ! Σχόλια: Και οι δύο λύσεις 3,0,0 και 0,0,0 3 είναι τοπικά βέλτιστα. Προφανώς η δεύτερη λύση δίνει μεγαλύτερη τιμή στην αντικειμενική συνάρτηση. Το λογισμικό Solver ενδέχεται να καταλήξει είτε στη μία λύση είτε στην άλλη, ανάλογα με τις αρχικές συνθήκες. Επιβεβαιώστε το. Ποιά είναι η ολική βέλτιστη λύση; Προβλήματα σαν το προηγούμενο είναι γνωστά ως «Τετραγωνικός Προγραμματισμός» (Quadratc Programmng). Για τέτοια προβλήματα έχουν αναπτυχθεί ειδικοί αλγόριθμοι, παρόμοιοι με εκείνους του Γραμμικού Προγραμματισμού. 33

Παράδειγμα 3: Έστω η υποψήφια λύση, y z 0 για το ίδιο πρόβλημα. Εξετάστε αν ισχύουν και για αυτήν οι συνθήκες βελτίστου. Είναι 0 οπότε οι συνθήκες παραγώγων δίνουν: 3 0 0 Αδύνατη! 4 5 3 0 0 Άρα δεν ικανοποιούνται οι συνθήκες! Τι ισχύει για την λύση y z 0; 34