ΠΑΝΕΠΙΣΤΗΜΙΟ ΔΥΤΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΟΣ. Αναπλ. Καθηγητής Μιχαήλ Γεωργιάδης

ΠΑΝΕΠΙΣΤΗΜΙΟ ΔΥΤΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ & ΤΗΛΕΠΙΚΟΙΝΩΝΙΩΝ ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ 6 ου ΕΞΑΜΗΝΟΥ ΣΗΜΕΙΩΣΕΙΣ ΜΑΘΗΜΑΤΟΣ Αναπλ. Καθηγητής Μιχαήλ Γεωργιάδης Απρίλιος 8

ΜΕΡΟΣ Ι ΒΑΣΙΚΑ ΘΕΜΑΤΑ ΠΡΟΒΛΗΜΑΤΩΝ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ ΜΗ-ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

. ΒΑΣΙΚΑ ΘΕΜΑΤΑ ΠΡΟΒΛΗΜΑΤΩΝ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ. Γενική Μορφή Mn subject to h g ( ) ( ) = ( ) Αντικειενική Συνάρτηση Περιορισοί ισοτήτων Περιορισοί ισοτήτων Οι περιορισοί ισοτήτων πορούν να πάρουν την ορφή περιορισών ορίων όπως: L και U.. Ορισοί Βαθοί Ελευθερίας. Έστω DIM ( h) = m και ( ) n DIM =. Αν n > m τότε υπάρχουν n m βαθοί ελευθερίας. Ο αριθός των βαθών ελευθερίας είναι ο αριθός των εταβλητών αποφάσεων. Ο στόχος είναι να επιλεγούν οι βέλτιστες τιές των εταβλητών αποφάσεων ώστε να βελτιστοποιείται η οναδιαία αντικειενική συνάρτηση. Εφικτή Λύση. Είναι οι τιές του διανύσατος των εταβλητών οι οποίες ικανοποιούν τους περιορισούς ισοτήτων και ανισοτήτων. Κάθε N R : h =, g ( ) ( ). Non-lnear nequalty constrant Optmal Soluton Non-lnear nequalty constrant Lnear Inequalty Constrant Feasble Regon Lnear Equalty Constrant Optmal Soluton Lnear Inequalty Constrant Σχήα : Γενικά χαρακτηριστικά ενός δυσδιάστατου προβλήατος βελτιστοποίησης

{ = } n Εφικτή Περιοχή. Το σετ των εφικτών λύσεων, F = R h( ), g( ) Βέλτιστη Λύση. Μία εφικτή λύση η οποία εξασφαλίζει την βέλτιστη τιή της αντικειενικής συνάρτησης. Για προβλήατα ελαχιστοποίησης, η βέλτιστη F :, F λύση είναι οποιοδήποτε ( ) ( ).. ΤΑΞΙΝΟΜΗΣΗ ΠΡΟΒΛΗΜΑΤΩΝ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ. Δοή Προβλήατος Για τις ανάγκες του αθήατος ορίζουε τα προβλήατα βελτιστοποίησης ως προβλήατα ελαχιστοποίησης. mn s. t. h g ( ) ( ) = ( ) Η αθηατική δοή της αντικειενικής συνάρτησης και των περιορισών επηρεάζει τον τρόπο ε τον οποίο το πρόβληα πορεί να λυθεί. Οι βασικές κατηγορίες των προβληάτων βελτιστοποίησης είναι: Γραικός Προγραατισός (LP). Η αντικειενική συνάρτηση και όλοι οι περιορισοί είναι γραικές συναρτήσεις. Μη-γραικός προγραατισός (NLP). Τουλάχιστον ία συνάρτηση του προβλήατος (αντικειενική συνάρτηση ή περιορισοί) είναι η-γραική. Υπάρχουν πολλές υπο-κατηγορίες προβληάτων η γραικού προγραατισού για τα οποία υπάρχουν ειδικές τεχνικές επίλυσης: o Υπάρχουν περιορισοί? Αν όχι το πρόβληα είναι η περιορισένο NLP. Διαφορετικά είναι ένα NLP πρόβληα ε περιορισούς. o Είναι οι συναρτήσεις συνεχείς? Παραγωγίσιες? Διπλά παραγωγισίες? o Είναι η η-γραικότητες αυθαίρετες ή ακολουθούν συγκεκριένες ορφές? Για παράδειγα γραικός τετραγωνικός προγραατισός T υπό περιορισούς όπου ( ) = Q και h ( ) και g( ) είναι γραικές συναρτήσεις. Προβλήατα Μικτού-Ακέραιου (γραικού ή η γραικού προγραατισού) (MILP, MINLP). Ένα σετ από το διάνυσα των εταβλητών είναι διαδικές ή ακέραιες εταβλητές, δηλαδή για κάποιες p < n, R, =,... p και N, = p +,..., n. Τα προβλήατα αυτά θα τα εξετάσουε σε επόενο κεφάλαιο.

. Παραδείγατα.. Εννάλακτης Θερότητας o Ένα ρεύα ε ρυθό ροής 75, g/έτος πρέπει να ψυχθεί από To = 5 C σε o T = C. Η διαθέσιη βοηθητική παροχή είναι νερό ψύξης το οποίο εισέρχεται o στους to = C και πρέπει να εξέλθει σε έγιστη θεροκρασία 6 o C ( t ma ). Το κόστος του νερού είναι c w ( /g). Ο ενναλάκτης έχει ένα συντελεστή εταφοράς θερότητα U ( J / m K ) και ένα ετήσιο κόστος c A ( /m o C). Σχεδιάστε τον ενναλάκτη στο ελάχιστο ετήσιο κόστος. W 8 F 5 lb./yr A 5 F Q F t W A: Area Q: Heat Load Βέλτιστος σχεδιασός Ενναλάκτη θερότητας Προσδιορίστε τις εταβλητές αποφάσεων Γράψτε το πρόβληα στην γενική αθηατική ορφή. Είναι καλή πρακτική να διατηρούνται οι εξισώσεις σε όσο δυνατόν γενικευένη ορφή. Πόσοι βαθοί ελευθερίας? Τι ορφής είναι αυτό το πρόβληα? Μεταβλητές: Q, A, W, t trade o ανάεσα στο Α και W (γιατί?) w 4

Μοντελοποίηση: mn Q, A, W, tw s. t. C = c Q FC Q WC Q UA A + c W A p ( T T ) pw ( t t ) ( T t ) ( T t ) o o w w T ln T o o = = t t t t w o w o t t ma w o Q, W, A = Περιορισοί ισοτήτων Περιορισοί ανισοτήτων.. Ισοζύγιο Μάζας (reconclaton) A B (a) 9.4 g/hr (b) 94. g/hr (c) 9.8 g/hr C (a). g/hr (b).8 g/hr (c).4 g/hr Μία διεργασία έχει δύο ρεύατα τροφοδοσίας Α και C και ένα ρεύα εξόδου Β. Υποθέστε ότι οι ρυθοί ροής των ρευάτων Β και C ετρούνται κάθε ώρα. Οι ετρήσεων για τρεις ώρες σταθερής λειτουργίας δίνονται στο παραπάνω σχήα. Ορίστε τις καλύτερες εκτιήσεις του ρεύατος Α από αυτά τα δεδοένα. Μεταβλητές: M A Μοντέλο της διεργασίας: M A + M C = M B Αντικειενική συνάρτηση: Ελαχιστοποίηση του αθροίσατος των τετραγώνων των αποκλίσεων ανάεσα στην είσοδο και έξοδο ( ) = ( +. 9. 4) + ( +. 8 94. ) + ( + 4. 98. ) A A A A M M M M Περιορισοί: Ο όνος περιορισός είναι το φυσικό όριο: M A 5

Προσδιορίστε τις εταβλητές και οντελοποιήστε το πρόβληα Τι πρόβληα είναι αυτό? Μπορείτε να ορίσετε στενά όρια για το M A? Πως αυτά τα στενά όρια θα πορούσαν να βοηθήσουν την βελτιστοποίηση? Λύστε το πρόβληα. Βασικά Θέατα Βελτιστοποίησης Θέατα που θα εξεταστούν: Πως χαρακτηρίζονται τα βέλτιστα? Πως προσδιορίζουε ένα σηείο που εξασφαλίζει τις συνθήκες βέλτιστου? Είναι η βέλτιστη λύση οναδική?.. Τοπικά και Ολικά Βέλτιστα Θυηθείτε τον ορισό της βέλτιστης λύσης. Στην πραγατικότητα αν η ιδιότητα < ικανοποιείται για κάθε στην εφικτή περιοχή, τότε το είναι το ( ) ( ) ολικό ελάχιστο. Αν αυτή η συνθήκη ικανοποιείται για όλα τα στην περιοχή του τότε το είναι τοπικό ελάχιστο όπως φαίνεται στο παρακάτω σχήα. Τύποι Ελάχιστων 6

.. Κυρτές και Κοίλες Συναρτήσεις... Ορισός Μία συνάρτηση είναι Κυρτή σε ία περιοχή R (παρακάτω σχήα) εάν και όνο εάν για δύο διαφορετικές τιές, που βρίσκονται στην περιοχή R ισχύει: ( α + ( α ) ) α ( ) + ( α ) ( ), α [,] Μία συνάρτηση είναι Κοίλη σε ία περιοχή R (παρακάτω σχήα) εάν και όνο εάν για δύο διαφορετικές τιές, που βρίσκονται στην περιοχή R ισχύει: ( α + ( α ) ) α ( ) + ( α ) ( ), α [,] () ( ) () ( ) Conve uncton Concave uncton Παραδείγατα Κυρτής και Κοίλης Συναρτήσεως... Έλεγχος κυρτότητας στην βελτιστοποίηση Η κυρτότητα είναι ένα χρήσιο θέα στην βελτιστοποίηση διότι ια κυρτή συνάρτηση έχει το πολύ ένα (ολικό) ελάχιστο. Έτσι από τη στιγή που γνωρίζουε πώς να χαρακτηρίσουε και να προσδιορίζουε το σηείο αυτό δεν χρειάζεται να ανησυχούε για την οναδικότητα του. Πρέπει να τονιστεί ότι η κυρτότητα είναι όνο ια ικανή συνθήκη για την οναδικότητα ενός ελάχιστου. Στο εξής θα επικεντρωνόαστε σε συνεχείς διπλά διαφορίσιες συναρτήσεις. Η δεύτερη παράγωγος ιας συνάρτησης σχετίζεται στενά ε τις ιδιότητες της κυρτότητας της. 7

Παραδείγατα: " Η συνάρτηση ( ) = είναι αυστηρά κυρτή. Προσέξτε ότι: ( ) = 4 > " Η συνάρτηση ( ) = είναι η conve. ( ) 4 6 = το οποίο πορεί να είναι θετικό ή αρνητικό ανάλογα ε την τιή του. Ορισός: Ο πίνακας H ( ) των παραγώγων δευτέρας τάξης της ( ) πίνακας Hessan H ( ) ( ) ονοάζεται =. O Πίνακας Hessan είναι πάντα συετρικός. = +. Τότε:, h + h h Παράδειγα: Έστω ( ) H (, ) = (, ) = ( ) ( ),, h h = (, ) (, ) h h Ικανές και αναγκαίες συνθήκες για κυρτότητας. Για συναρτήσεις πολλών εταβλητών " ( ) είναι κυρτή ( ) " ( ) είναι αυστηρά κυρτή ( ) > Για συναρτήσεις πολλών εταβλητών ( ) είναι αυστηρά conve z T H ( ) z >, z. Ιδιότητες Πίνακα Hessan. z T H z > z ο πίνακας Hessan λέγεται αυστηρά θετικός H είναι αυστηρά θετικός αν και όνο αν όλες οι ιδιοτιές του είναι θετικές. Αν ( ), ( ) = Παράδειγα: Είναι η συνάρτηση ( ) + +.5 + 7 + 8 4 conve στο R? Υπολογίστε τον πίνακα Hessan: (, ) (, ) (, ) = 4; Υπολογισός ιδιοτιών: = ;, +, = H 4 (, ) = 8

4 λ H λi = det λ 4 λ λ [ H λi ] = det = λ 7λ + 8 = Άρα, λ = 5.56 > και λ >. Άρα η ( ) είναι αυστηρά conve. Conve Regon g () = g () = g () = (g () ) Non-Conve Regon Παραδείγατα κυρτών και κοίλων περιοχών.. Προβλήατα Κυρτής Βελτιστοποίησης Ένα πρόβληα βελτιστοποίησης είναι κυρτό (και άρα έχει ένα οναδικό ελάχιστο) αν η αντικειενική συνάρτηση και η εφικτή περιοχή είναι κυρτή. Ορισός: Μία περιοχή R είναι κυρτή, αν και όνο αν για κάθε X α + α X R, α,. = ( ) είναι τέτοιο ώστε [ ], R, το σηείο 9

Ικανή συνθήκη για κυρτότητα: Αν οι περιορισοί ισοτήτων h ( ) είναι γραικοί και οι περιορισοί ανισοτήτων g ( ) είναι κυρτές συναρτήσεις, τότε η περιοχή F είναι κυρτή. Η ορφή της περιοχής αναζήτησης του βέλτιστου έχει σηαντικό αποτέλεσα στην λήψη κατάλληλων αποτελεσάτων στην βελτιστοποίηση, όπως φαίνεται στο παρακάτω σχήα. Ένα πρόβληα ε ία κυρτή αντικειενική συνάρτηση και κυρτή εφικτή περιοχή έχει ένα οναδικό ολικό ελάχιστο. Feasble mamum Unconstraned mamum Feasble regon Unconstraned mamum Feasble mamum Local Mamum Local and Global Mamum 5 4 5 5 Η επίδραση την η κυρτότητας στην εφικτή περιοχή

.4 ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΧΩΡΙΣ ΠΕΡΙΟΡΙΣΜΟΥΣ Πώς βρίσκουε το ελάχιστο του παρακάτω προβλήατος? mn n R ( ).4. Ικανές και αναγκαίες συνθήκες ελάχιστου Ικανές συνθήκες Αν η ( ) έχει ένα ακρότατο στο ( ) = ή = n Αναγκαίες Συνθήκες Αν ο πίνακας Hessan H ( ) της ( ) στάσιο σηείο, τότε το είναι ένα στάσιο σηείο. > είναι τέτοια ώστε ( ), είναι ένα ισχυρό τοπικό ελάχιστο. T H, το ) Παραδείγατα: 4 mn ( ) =. Στάσιο σηείο ( ) = 4 = H ( ) = = = θετικός, = είναι ένα ελάχιστο. mn, = 4 + 4.5 4 +. Πίνακας Hessan. Μολονότι ο πίνακας Hessan δεν είναι αυστηρά 4 ( ), Στάσιο σηείο: + + 4

( ) = = 4.5 + + 4 4 = = 4 + 4 =, Λύνοντας το παραπάνω σύστηα ε την έθοδο Newton, παίρνουε τα παρακάτω αποτελέσατα. Στάσιο Σηείο ( ), Ιδιοτιές (.94,.854).9855 7.4,.97 Τοπικό Ελάχιστο (-.5,.8) -.54.5,.5 Ολικό Ελάχιστο (.6,.49).8 7., -.56 Ρηχό σηείοα.4. Αλγοριθικές Μέθοδοι για Βελτιστοποίηση Πολλών Μεταβλητών χωρίς Περιορισούς Κάθε έθοδος πρέπει να είναι Αποτελεσατική, δεδοένου ότι θα είναι επαναληπτική Σθεναρή, δηλαδή να οδηγεί σε λύση, εφόσον ια γενική η-γραική συνάρτηση είναι απρόβλεπτη και πορεί να έχει τόσο τοπικά ελάχιστα, όσο και ρηχά σηεία Οι πιο πολλές επαναληπτικές έθοδοι εναλλάσσονται ανάεσα σε δύο φάσεις: Επιλογή της κατεύθυνσης βελτιστοποίησης Ελαχιστοποίηση σε αυτή την κατεύθυνση έως κάποιο βαθό για την εύρεση του επόενου σηείου = + Δ + Οι έθοδοι τοπικής βελτιστοποίησης απαιτούν ένα αρχικό σηείο και ένα κριτήριο σύγκλισης επιπλέον του ορισού του προβλήατος. Οι διαθέσιες τεχνικές διαφέρουν στον τρόπο ε τον οποίο δηιουργούν τις κατευθύνσεις του ψαξίατος.

Gradent Steepest descent Η έθοδος Steepest Descent κινείται στην αντίθετη κατεύθυνση από την κλίση Άεσες Μέθοδοι: Δεν απαιτούν πληροφορία παραγώγων και βασίζονται όνο σε υπολογισούς συναρτήσεων. Είναι κατάλληλες για απλά προβλήατα ικρών διαστάσεων. Έεσες Μέθοδοι: Χρησιοποιούν παραγώγους για τον ορισό της κατεύθυνσης βελτιστοποίησης. Μέθοδοι πρώτης τάξης, όπως η Steepest Descent, χρησιοποιούν όνο παραγώγους πρώτης τάξης, ενώ έθοδοι όπως η Newton χρησιοποιούν επιπλέον παραγώγους δευτέρας τάξης..4.. Η έθοδος Steepest Descent (ή έθοδος κλίσεων) Βασική Ιδέα: Η κλίση ( ) ια συνάρτησης ( ) στο σηείο είναι ένα διάνυσα στο σηείο αυτό, που δίνει την τοπική κατεύθυνση της εγαλύτερης αύξησης στην ( ) και είναι ορθογώνια (κάθετη) στα contours της ( ) στο σηείο (δείτε το παραπάνω διάγραα). Για να ελαχιστοποιήσουε την ( ) κινούαστε συνεχώς προς την αντίθετη κατεύθυνση: η κατεύθυνση αναζήτησης s είναι το αντίθετο της κλίσης: s = ( ). Η κατεύθυνση αναζήτησης ακολουθείται συνεχώς έχρι να φτάσουε στο στάσιο σηείο. Προσέξτε ότι στην έθοδο αυτή το αρνητικό της κλίσης δίνει την κατεύθυνση της ελαχιστοποίησης, αλλά ΟΧΙ το έγεθος του βήατος που πρέπει να επιλεγεί. Στην th επανάληψη της Steepest Descent, η ετάβαση από το σηείο σε άλλο σηείο + = + λ s + δίνεται από: = λ ( )

λ είναι ένα οναδιαίο διάνυσα το οποίο ορίζει το ήκος του βήατος στην Όπου κατεύθυνση της Steepest Descent ( ). Πόσο εγάλο πρέπει να είναι το λ, για την βέλτιστη απόδοση του αλγορίθου? Αν το λ είναι ικρό, το διάστηα που ακολουθείται είναι συνεχές αλλά χρειάζονται πάρα πολλές επαναλήψεις. Αν το λ είναι εγάλο, πορούε να οδηγηθούε σε ία σηαντική αύξηση στην αντικειενική συνάρτηση, όπως φαίνεται στο παρακάτω σχήα. () + Η σωστή επιλογή του λ πορεί να επιτευχθεί ε τους ακόλουθους τρόπους: Ορισός εκ των προτέρων του λ σταθερό σε κάθε επανάληψη Εφαρογή ιας ονοδιάστατης επιλογή (ψαξίατος) κατά ήκος του αρνητικού της κλίσης, ε στόχο να επιλεγεί το έγεθος του βήατος: + = λ + Έστω ( ) ( ) ελαχιστοποίησης, mn F( ) βήατος. Αλγόριθος: ( ) ( ( ) F λ. Η λύση του ονοδιάστατος προβλήατος ο λ, επιτρέπει τον προσδιορισό του βέλτιστου ήκους o Βήα. Επιλέξτε ένα αρχικό σηείο. Βάλτε τον ετρητή επαναλήψεων =. Ορίστε το κριτήριο σύγκλισης στο ε. Βήα. Υπολογίστε αναλυτικά ή αριθητικά τις ερικές παραγώγους πρώτης τάξης της ( ) ( ), j =,... n Βήα. Υπολογίστε το διάνυσα αναζήτησης s = j ( ) λ ελαχιστοποιώντας την F( λ ) Βήα 4. Ορίστε το έγεθος του βήατος αριθητικά ή χρησιοποιώντας το καθορισένο ήκος βήατος. + Βήα 5. Υπολογίστε το επόενο σηείο = + λ s +. Βήα 6. Συγκρίνεται το ( ) ε το ( ) 4

+ Αν ( ) ε τότε έχει επιτευχθεί σύγκλιση Αν όχι τότε ορίστε = + και επιστρέψτε στο βήα. Προσοχή. Τερατισός πορεί να συβεί σε κάθε στάσιο σηείο: τοπικό ελάχιστο ή ρηχό σηείο. Εξετάστε τον πίνακα Hessan της αντικειενικής συνάρτησης για τον χαρακτηρισό του στάσιου σηείου. Αν είναι οριστικά θετικός, το ελάχιστο έχει βρεθεί. Διαφορετικά, έχει βρεθεί ένα ρηχό σηείο και η αναζήτηση πρέπει να συνεχιστεί. Για να ετακινηθούε από το ρηχό σηείο,πρέπει να γίνει χρήση εθόδου που δεν βασίζεται σε κλίσης. Η ελαχιστοποίηση συνεχίζεται ακολούθως ε τον ίδιο τρόπο. Παράδειγα mn( + ) Σηείο έναρξης: ( ) = (, ) T = = 4 Υπολογισός κλίσεων: ( ) (, ) Διάνυσα Αναζήτησης: s = 4 (, ) = 4 ( ) =, 4 Observe that s s a vector pontng toward the optmum at (,) + = λ ( ) = ( λ, 4λ) T 5

( ) Ελαχιστοποίηση ( + ) = ( + s ) = ( ) F λ λ w.r.t. λ + ( λ ) = ( ) = ( λ) + ( 4λ) ( ) F λ = 5 λ + λ Ελάχιστο στο σηείο + 4λ = λ = Υπολογίστε το επόενο σηείο + = + = + = Δ Προσοχή: Το σηείο που βρέθηκε σε ία όνο επανάληψη είναι η λύση! Ωστόσο, αν αλλαχθεί η κλίακα του προβλήατος ορίζονται νέες εταβλητές y =, y = / mn y ( 4 y ) + Σηείο έναρξης: ( ) y = Κλίσεις: (, ) = (, 8) T () ( ) T λ( 8, ) ( λ, 8λ) Δ y = y y = = T mn ( y y ) ( ) ( ) + Δ = λ + 4 8λ = 5 68λ + 6λ ελάχιστο στο λ = 7. Νέο σηείο (.784,. ) T = 9 () = (.,. ) y 7885 46 T το οποίο αντιστοιχεί σε Η έθοδος Steepest descent εξαρτάται από την κλίακα! 6

.4.. Μέθοδοι Παραγώγων Δευτέρας Τάξης Βασική ιδέα: Για να είναι το ένα στάσιο σηείο της συνάρτησης ( ), ία αναγκαία συνθήκη είναι ( ) =. Αυτό είναι ένα σετ από n αλγεβρικές εξισώσεις ε n αγνώστους, οι οποίες πορούν να λυθούν για τον προσδιορισό του χρησιοποιώντας αριθητικές τεχνικές, όπως η έθοδος Newton. Επίλυση συστήατος η-γραικών εξισώσεων. Έστω F( ) ( ) επίλυση ενός συστήατος εξισώσεων της ορφής ( ) = επαναληπτικής έθοδου βασισένη στην Ιακωβιανή J ( ). Για την F απαιτείται η χρήση ίας του συστήατος (πίνακας παραγώγων πρώτης τάξης). Επέκταση Πρώτης τάξης του συστήατος ε την έθοδο Taylor στο σηείο δίνει: F T T ( ) F( ) + [ F( )] ( ) = F( ) + [ J ( )] ( ) Στο σηείο της λύσης αυτό πορεί να γραφεί: F T ( ) = F( ) + [ J ( )] ( ) Αναδιατάσσοντας την παραπάνω εξίσωση: [ J ( )] F( ) Έτσι, ξεκινώντας από ία υπόθεση για το υπολογισό: = [ J ( )] F( ) + +, ένα νέο σηείο ορίζεται ε βάση τον Αν η Ιακωβιανή πορεί να υπολογιστεί αναλυτικά, η έθοδος αυτή είναι γνωστή ως έθοδος Newton. Αν χρησιοποιηθεί κάποια προσέγγιση αυτής, είναι η Quas- Newton ή η Broyden έθοδος. Σχέση εταξύ της εθόδου Newton και του προβλήατος βελτιστοποίησης. Η Ιακωβιανή του συστήατος F ( ) = ( F( ) ( ) )είναι ο πίνακας Hessan της αρχικής αντικειενικής συνάρτησης ( ). Σύφωνα ε την παραπάνω εξίσωση η κατεύθυνση αναζήτησης δίνεται από [ J ( )] F( ) s = [ H ( )] ( ) ( s = ( ) ή ισοδύναα: Πώς αυτό συγκρίνεται ε τις εθόδους πρώτης τάξης? Η κατεύθυνση αναζήτησης της steepest descent πορεί να θεωρηθεί ως ορθογώνια σε ία γραική προσέγγιση (ή 7

εφαπτόενη) της αντικειενικής συνάρτησης στο σηείο στο σηείο κάνουε ία τετραγωνική προσέγγιση της ( ). Τώρα θεωρείστε ότι. Όπου ( ) T T ( ) ( ) + [ ( )] Δ + ( Δ ) H ( ) Δ H είναι ο πίνακας Hessan της ( ) υπολογιζόενος στο και Δ =. Αυτή η προσέγγιση λαβάνει υπόψιν τις καπύλες (curvature) της ( ) στο και χρησιοποιείται στις εθόδους δευτέρας τάξης για τον καθορισό της κατεύθυνσης αναζήτησης. Επιλογή εγέθους του βήατος. + Στην εξίσωση [ J ( )] F( ) = το έγεθος του βήατος είναι. Μία πιο γενική εξίσωση είναι: = λ [ H ( )] ( ) + Αν η ( ) είναι τετραγωνική η έθοδος Newton απαιτεί όνο ένα βήα για να φτάσει στο ελάχιστο και τότε λ = πορεί να χρησιοποιήσει. Για πιο γενικές η-γραικές συναρτήσεις το λ πορεί να τεθεί ή να + οριστεί από την ελαχιστοποίηση F( λ ) = ( ). Ωστόσο, δεν είναι αναγκαίο να βρεθεί η τιή του λ η οποία ελαχιστοποιεί το F ( λ). Κάποιος πορεί να δεχτεί κάθε λ το οποίο οδηγεί σε ία η ηδενική ελάττωση της αντικειενική συνάρτησης ( ). Χρησιοποιώντας την επέκταση κατά Taylor έχουε: () ( ) ( ) ( ) ( ) ( ) T ( ) ( ) = ( + Δ ) = ( ) + λ [ ( )] Δ () ( ) ( ) ( ) T ( ) ( ) ( ) λ [ ( )] Δ ( ) Η τιή του λ πρέπει να είναι τέτοια ώστε έχουε: λ T ( ) [ ( )] Δ ( ) ( ) ( ) ( ) ( ) < ( ) < +.... Έτσι πρέπει να ( ) Κάθε τιή του λ που ικανοποιεί την παραπάνω πορεί να χρησιοποιηθεί. Παραδείγατα ( ) mn = 4 + Ξεκινώντας από αρχικό σηείο = [ ] T 8

8 ( ) ( ) =, άρα ( ) = ( 6, ) T 8 H( ) = άρα H ( ) = 6 6 6 Χρησιοποιώντας λ = το βήα δίνεται από: Δ H ( ) 6 6 6 = = 6 = Η επόενη τιή-σηείο είναι = + Δ = + = και ( ) =. Μπορεί να ελεγχθεί ότι σε αυτό το σηείο το ( ) () ( ) = και ο πίνακας Hessan είναι οριστικά θετικός. Παράδειγα mn ( ) = + + + + = ( ) H( ) Ξεκινώντας ε αρχικό σηείο = + + + + άρα ( ) = 5, 4 + = + Στο σηείο [ ] T =, ( ) ( ) ( ) T H =, ( ) = 5 4 Η κατεύθυνση του βήατος δίνεται από ( ) - ( ) [ H ( )] 5 4 7 5 5 ( ) = = = + λ Δ 7 = + λ 5 7λ 5 = 5 λ 5 9

( ) ( ) F( λ ) 7λ 5 7λ = 5 ( ) ( ) λ + 5 ( ) ( ) ( ) ( ) λ 5 7λ + 5 ελαχιστοποίηση το λ (ελαχιστοποίηση σε ία διάσταση) Λύση λ =.6 Το βήα εποένως δίνεται από: ( ) ( ) T ( ) T Δ =.6 7 / 5, / 5 =.4,. 64 λ + 5 + Η νέα τιή-σηείο δίνεται: ( ) = 55. Προσέξτε ότι ( ) = ( ) ( ).4 + Δ = και ( ).6 =. 5 Προσοχή: Συνήθως χρησιοποιούνται τιές λ Αλγόριθος της εθόδου Newton: Βήα. Δίνεται ένα αρχικό σηείο. Ορίστε τον δείκτη των επαναλήψεων σε = και το κριτήριο της σύγκλισης σε ε. Επιλέξτε το λ. [ ] Βήα.Υπολογίστε τα ( ), ( ), H( ) or H( ) Βήα.Βρείτε το Δ λύνοντας το παρακάτω σύστηα γραικών εξισώσεων H ( ) Δ = λ ( ) Βήα 4. Υπολογίστε το +! = + ήκος του βήατος λ και επιστρέψτε στο βήα (προσέξτε ότι ( ) Βήα 5. λ Δ < ) + Ελέγξτε για σύγκλιση: Αν ( ) < ε +! Δ. Αν ( ) > ( ) τερατίστε. Διαφορετικά θέσετε = + και επιστρέψτε στο βήα. Η σύγκλιση της εθόδου Newton είναι τετραγωνική., ελαττώστε το

Άλλες έθοδοι δευτέρας τάξης Οι έθοδοι Quas-Newton βασίζονται σε ία προσέγγιση H ~ ( ) του H ( ) Hessan πίνακα. Το H ~ ( ) ~ πίνακας Hessan ( ) αντί του πρέπει να είναι συετρικό. Επιπλέον, αν ο αρχικός H είναι οριστικά θετικός η προσέγγιση πρέπει επίσης να είναι οριστικά θετική. Η προσέγγιση κατασκευάζεται από διάφορους συνδυασούς των παραγώγων πρώτης τάξης, καθώς είναι υπολογιστικά φτηνότερα να υπολογιστούν από ότι ο ακριβής πίνακας Hessan. Για παράδειγα, η ενηέρωση BFGS δίνεται από: ~ + H ~ = H Δg Δg + T Δg Δ T ~ T ~ H Δ Δ H T ~ Δ H Δ + Όπου Δg = ( ) ( ) ~ και Δ = [ H ] Δg Όλες οι έθοδοι πορούν να θεωρηθούν ως εξέλιξη της εθόδου Newton. Στην έθοδο Newton το Η είναι ακριβώς αυτό και η σύγκλιση είναι τετραγωνική. Στην έθοδο Quas-Newton H = H ~ και η σύγκλιση είναι superlnear. Στην έθοδο Steepest Descent H = H = I και η σύγκλιση είναι γραική. Υπάρχει ένα tradeo (δοσοληψία) ανάεσα στο κόστος υπολογισού του πίνακας Hessan και του ρυθού σύγκλισης..5 ΜΗ-ΓΡΑΜΜΙΚΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΜΕ ΠΕΡΙΟΡΙΣΜΟΥΣ Εξετάζουε το παρακάτω πρόβληα: mn ( ) subject to h( ) = g( ) Μοναδιαία Αντικειενική συνάρτηση Περιορισοί ισοτήτων Ανισοτικοί περιορισοί Θα εξετάσουε αρχικά πως πορεί το παραπάνω πρόβληα να ετατραπεί σε ένα πρόβληα βελτιστοποίησης χωρίς περιορισούς..5.. Από την υπό περιορισούς στην χωρίς περιορισούς βελτιστοποίηση.5.. Η προσέγγιση της εφικτής διαδροής Εξετάστε το παρακάτω πρόβληα που περιλαβάνει όνο περιορισούς ισοτήτων

mn subject to ( ) h( ) = n R Μπορούε να οδηγηθούε σε πρόβληα χωρίς περιορισούς, διαγράφοντας τις m εταβλητές, χρησιοποιώντας m εξισώσεις οι οποίες ετά γίνονται πλεονάζουσες. Το πρόβληα που προκύπτει πορεί να λυθεί ε την έθοδο Newton ή την Steepest descent. Όλοι οι αρχικοί περιορισοί ισοτήτων ικανοποιούνται σε κάθε επανάληψη και ακολουθείται ία προσέγγιση της εφικτής διαδροής. Παράδειγα. Εξετάστε το πρόβληα ορισού ενός σηείου που βρίσκεται πλησιέστερα στο σηείο (,) σε ένα οναδιαίο κύκλο ε κέντρο το σηείο (,). mn s. t. (, ) = + ( ) + ( ) = Η ισότητα πορεί να γραφεί ως = ( ) από την αντικειενική συνάρτηση. Το πρόβληα γίνεται: ( ) και έτσι να διαγραφεί το mn + Και έτσι το πρόβληα γίνεται ένα πρόβληα ίας εταβλητής χωρίς περιορισούς. (,) 4 Γραφική αναπαράσταση του προβλήατος Μειονεκτήατα: Η έθοδος αυτή δεν πορεί να χρησιοποιηθεί σε εγάλα προβλήατα. Διαγραφή των εταβλητών δεν είναι πάντα εφικτή αναλυτικά. Η χρήση της εθόδου Newton για την επίλυση των ισοτήτων αριθητικά πορεί να είναι υπολογιστικά απαιτητική και να έχει αριθητικές δυσκολίες. Η διαγραφή των εταβλητών δεν οδηγεί αναγκαία σε οναδική λύση. Στο συγκεκριένο παράδειγα η ισότητα είναι ισοδύναη ε ( ) = ± Δεν είναι πάντα εύκολο να επιλεχθεί η σωστή λύση.

.5.. Συναρτήσεις Ποινών Μία άλλη προσέγγιση είναι ο σχηατισός της παρακάτω συνάρτησης: Φ m ( ) = ( ) + K [ h ( ) ], K > = Θεωρώντας ότι όλοι οι περιορισοί ικανοποιούνται (δηλ. h ( ) = ), η παραπάνω συνάρτηση είναι η ίδια όπως η αρχική αντικειενική συνάρτηση ( ). Από την άλλη, αν οι h ( ) = παραβιάζονται για κάποια, τότε το Φ ( ) είναι εγαλύτερη από την ( ). Εποένως, αναένουε ότι η λύση του προβλήατος χωρίς περιορισούς mn φ Θα ικανοποιεί τους περιορισούς ( ) = h. Μειονεκτήατα: Το εγάλο πρόβληα είναι ότι δεν υπάρχει συστηατικός τρόπος για την επιλογή του Κ. ( ) Αν το Κ είναι πολύ ικρό, ο όρος της ποινής ίσως δεν είναι επαρκής για να εξασφαλίσει ότι όλοι οι περιορισοί ισοτήτων ικανοποιούνται. Αυτό το φαινόενο πορεί να αποδοθεί στην ύπαρξη τοπικών ελάχιστων. Όσο πιο εγάλο είναι το Κ, τόσο πιο η σταθερό (ll-condtoned) είναι το πρόβληα χωρίς περιορισούς..5.. Συνθήκες βέλτιστου για προβλήατα χωρίς περιορισούς Εξετάζουε πάλι το πρόβληα ( ) = + s.t. ( ) ( ) + = Εάν αγνοήσουε τον περιορισό, τότε το ΔΕΝ περιορίζεται στον οναδιαίο κύκλο ε κέντρο (,) και το ελάχιστο βρίσκεται στο = (, ) T, όπου ( ) =. Ωστόσο αν το επιβάλλεται στον κύκλο, η λύση ετακινείται στο (.7,. 44) T ( ) = 6. 789. Σε αυτό το σηείο, οι κλίσεις της ( ) ( ) = ( 4.4,. 88) T =, όπου δίνονται από. Οι συνθήκες βέλτιστου, για αυτό το παράδειγα ε περιορισούς, είναι τελείως διαφορετικές από την περίπτωση χωρίς περιορισούς. Υποθέστε ότι το σηείο ) είναι το ελάχιστο στον κύκλο. Τότε, το αποτέλεσα ικρών βηάτων δ στην αντικειενική συνάρτηση θα είναι:

) ) ) ) ) ) ) + δ = + δ + + δ = + + δ + δ + H.O.T. ( ) ( ) ( ) Η παρουσία των περιορισών ισότητας επιβάλει στο να ην είναι επιτρεπτά όλα τα δ : Πρέπει να εξασφαλιστεί ότι ένουε στον κύκλο και έτσι πρέπει να ισχύει: ) ) ( + δ ) + ( + δ ) = ) ) ) ) ( ) ( ) ( ) ( ) + + δ + δ + H.O.T = ) ) + =, και έτσι Εφόσον εξορισού το ) είναι στον κύκλο τότε ( ) ( ) ) ) δ + δ = (αγνοούε τους H.O.T όρους ) ( ) ( ) Αγνοώντας τους όρους ανώτερης τάξης (H.O.T) και βάζοντας αζί τις γραικές επεκτάσεις πρώτης τάξης της αντικειενικής συνάρτησης δ = δ = δ + δ ) και τους περιορισούς, έχουε: ( ) ) ) ) ( ) ( δ ) = δ δ Αυτό είναι ένα γραικό σύστηα εξισώσεων. Αν ο πίνακας του αριστερού έρους είναι non-sngular,πορούε να λύσουε το παραπάνω σύστηα για να βρούε ένα νέο βήα δ = (δ, δ ), το οποίο θα πετύχει κάθε αλλαγή στην συπεριλαβανοένου και της ελάττωσης! Όως εφόσον το ) είναι ένα ελάχιστο, αυτό δεν είναι δυνατό και άρα ο πίνακας είναι sngular. Το Sngularty εννοεί ότι οι γραές του πίνακα είναι γραικώς εξαρτηένες, δηλαδή υπάρχουν πολλαπλασιαστές λ and λ έτσι ώστε: και λ ~ ~ + λ λ ~ + λ ( ) = ( ~ ) = όπου λ and λ δεν πορεί είναι ταυτόχρονα ηδέν. Θεωρείστε ότι το λ είναι η ηδενικό και ορίζοντας διαιρέσουε ε το λ και να πάρουε: ~ ( ~ + λ ) = ~ + λ ~ = ( ) λ λ λ = πορούε να Συνοψίζοντας, οι αναγκαίες συνθήκες για την ύπαρξη βέλτιστου και εφικτού σηείου είναι: 4

~ ~ + λ( ) = ~ ( ~ + λ ) = ( ~ ) ( ~ + ) = Το παραπάνω είναι σύστηα τριών εξισώσεων ε τρεις αγνώστους τους, ~ ~, και λ. Η λύση του συστήατος δίνει: ~ =.679, ~ =. 445, λ =. 656 Αναγκαίες Συνθήκες: mn h s.t. R ( ) ( ) = n Θεώρηα: Αν η () έχει ένα ακραίο σηείο υπό περιορισούς στο ~, έτσι ώστε h ( ) =, τότε οι κλίσεις ( ~ ) και h ( ~ ) είναι γραικά ανεξάρτητες και ικανοποιούν την συνθήκη:.e. ( ) + λ h ( ) = Έτσι οι αναγκαίες συνθήκες για ύπαρξη βέλτιστου και εφικτού σηείου είναι: m ~ m = ( ~ ) + λ h ( ~ ) = και h ( ) = Το οποίο αποτελεί ένα σύστηα από (n + m) εξισώσεις ε ( n) (n + m) αγνώστους λ ( m) Η Συνάρτηση Lagrangan Ορίστε ία συνάρτηση L(,λ) L ως εξής: (, λ ) = ( ) + λ h ( ) m = ~ = =,..., m Τα στάσια σηεία αυτής της συνάρτησης συβαίνουν στο (, λ) = L ή 5

m L = ~ ) = L = h ( ) = λ ( ) + λ h ( ) = Εφόσον αυτές είναι οι αναγκαίες συνθήκες για το γενικό περιορισούς mn ( ) h( ) = s.t. n R πρόβληα υπό η συνάρτηση Lagrangan L έχει ένα στάσιο σηείο στο ελάχιστο του προβλήατος υπό περιορισούς. Προσέξτε ότι ένα στάσιο σηείο της L δεν είναι πάντα ένα ελάχιστο υπό περιορισούς. λ είναι ο πολλαπλασιάσεις Lagrange του περιορισού..5.. Συνθήκες Kuhn-Tucer σε προβλήατα βελτιστοποίησης ε περιορισούς Ας δούε πάλι το παράδειγα που εξετάσαε πριν ε λύση =. 679, ~ =.445. Τώρα προσθέτουε τον περιορισό ανισοτήτων., και άρα εξετάζουε το πρόβληα: mn ( ) = + s.t. ( ) ( ) + =. Προφανώς αυτό δεν αλλάζει την λύση, εφόσον ~ ( =.679) είναι ήδη εγαλύτερο από το.. Σε αυτή την περίπτωση ο περιορισός είναι ανενεργός και θα πορούσε να αγνοηθεί. Από την άλλη πλευρά αν απαιτήσουε. 5, αυτό θα επηρεάσει την λύση εφόσον το ~ =. 679 παραβιάζει αυτήν την απαίτηση. Από το παρακάτω διάγραα είναι φανερό, ότι το ελάχιστο είναι στο σηείο Α όπου =.5 6

.5 A 4 Σε αυτή την περίπτωση, ο περιορισός. 5 ικανοποιείται στην πραγατικότητα ως ισότητα =.5 και λέγεται ΕΝΕΡΓΟΣ περιορισός. Για τους σκοπούς της βελτιστοποίησης ενεργείς περιορισοί ανισοτήτων πορούν να αντιετωπιστούν ως ισότητες στις οποίες αντιστοιχεί ένας πολλαπλασιαστής Lagrange. Πολλαπλασιαστές Lagrange για ενεργούς περιορισούς ανισοτήτων Εξετάζουε το παρακάτω πρόβληα: mn s. t. g ( ) ( ) R = = n + ) δ Feasble regon = Είναι φανερό από το παραπάνω διάγραα ότι ο περιορισός θα είναι ενεργός στην λύση, δηλαδή =. Τώρα εξετάζουε ένα σηείο ~ στην υπερβολή =. Όπως πριν εξετάζουε ικρά βήατα δ από το ελάχιστο ~. Ωστόσο, σε αυτή την περίπτωση το βήα δεν είναι ανάγκη να ας οδηγήσει σε ένα άλλο σηείο στην καπύλη =. Τότε, 7

~ - ~ ( + δ) = ( ) + ( ~ + δ )( ~ + δ ) ~ δ + ~ δ + H.O.T Η δεύτερη εξίσωση πορεί να αναδιαταχθεί αγνοώντας τους όρους ανώτερης τάξης και παρατηρώντας ότι ~ ~ = ) ) ) ) + δ + δ + δ δ = )) = ( ~ + δ ) = ( ~ ) + ~ δ ) ) δ δ + ~ δ Συβολίζοντας το ~ δ ~ + δ ε δg, έχουε: ) ) ) ) δ δ δ = δg Όπως πριν, για να είναι το ~ ελάχιστο, οι γραές του πίνακα στο αριστερό έρος πρέπει να είναι γραικώς εξαρτηένες. Άρα, θα πρέπει να υπάρχουν και, εκ των οποίων τουλάχιστον το ένα η ηδενικό, έτσι ώστε : ~ ~ + ~ + ~ = = Θεωρώντας ότι το είναι η ηδενικό και ορίζοντας ως ~ ~ ~ ~ = = Αρα δ = ~ δ ~ ~ + ~ δ = δ + δ και άρα δ = δg = έχουε: Θυηθείτε ότι εξορισού δg ή δg άρα πορούε να ελαττώσουε παραπάνω την αντικειενική συνάρτησης αν <. Αυτό είναι ανεπιθύητο ε την απαίτηση ότι το ~ είναι το ελάχιστο. Άρα το πρέπει να είναι ΜΗ αρνητικό. Συπέρασα: Ενεργείς ανισοτικοί περιορισοί αντιετωπίζονται όπως οι περιορισοί ισοτήτων, ε τον επιπλέον περιορισό ότι οι πολλαπλασιαστές τους Lagrange πρέπει να είναι ΜΗ αρνητικοί. 8

Εξετάζουε το παρακάτω γενικό πρόβληα: mn () s.t. h()= g() R n Στην βέλτιστη λύση του παραπάνω η Lagrangan συνάρτηση πρέπει να ικανοποιεί την συνθήκη : Προσοχή: j m λ P h g + + = = j = and actve j j =,..., n Οι ανενεργείς ανισοτικοί περιορισοί αγνοούνται Υπάρχει ένας επιπλέον περιορισός για κάθε ενεργό ανισοτικό περιορισό Ωστόσο δεν είναι γνωστό εκ των προτέρων, ποιες ανισότητες είναι ενεργείς και ποιες ανενεργείς. Έτσι εισάγουε πολλαπλασιαστές Lagrange για κάθε ανισοτικό περιορισό και γράφουε. j m λ P h g + + = j =,..., n = j = j Και απλά δηλώνουε ότι: αν το g είναι ενεργός = g είναι ανενεργός Η τελευταία συνθήκη πορεί να γραφεί πιο ολοκληρωένα ως: p = Για να κατανοηθεί αυτό παρατηρούε ( ) = ; = p g,... Για ενεργούς περιορισούς g () =, Για ανενεργούς περιορισούς g () <, = Η παραπάνω συνθήκη ονοάζεται συπληρωατική συνθήκη: τα and g () είναι συπληρωατικά το ένα ε το άλλο, ε την έννοια ότι τουλάχιστον ένα από αυτά είναι ηδέν σε κάθε περιορισό. 9

Οι Βέλτιστου Συνθήκες Kuhn Tucer για Ελάχιστο υπό Περιορισούς (Αναγκαίες): Συνθήκες Lagrange: L T T (, λ, ) = ( ) + λ h( ) + g( ) = Συπληρωατικές Συνθήκες: Εφικτές Συνθήκες: T g ( ) = Ικανές Συνθήκες Kuhn Tucer (ΚΤ) Θεωρούε ένα εφικτό σηείο g( ) h( ) = του γενικού προβλήατος mn () s.t. h()= g() R n για το οποίο ισχύουν οι συνθήκες ΚΤ. Ορίζουε τον πίνακα Hessan της περιορισένης Lagrangan συνάρτησης ως: L ( ) = ( ) + λ h ( ) + g ( ) Όπου Ι είναι το σετ των ενεργών ανισοτικών περιορισών (δηλ. = { : g ( ) = } I ). Ορίστε το σετ + I των ισχυρά ενεργών ανισοτικών περιορισών ως + : I = I > και των σετ I των ασθενών ενεργών ανισοτικών περιορισών { } ως { : } = I = I. Ο κώνος των εφικτών κατευθύνσεων είναι τότε το σετ C το οποίο: : g C = g h I T + ( ) = I T ( ) I ( ) T = =,..., m Αν ο πίνακας Hessan της περιορισένης Lagrangan συνάρτησης είναι οριστικά θετικός στο σηείο ΚΤ, δηλ.

T ( ) > C L, Τότε το Εάν η ( ) είναι ία αυστηρά τοπική λύση (ελάχιστο). είναι κυρτή και η εφικτή περιοχή είναι επίσης κυρτή, κάθε σηείο το οποίο ικανοποιεί τις συνθήκες ΚΤ είναι το ολικό ελάχιστο του προβλήατος. Θεώρηα: Εάν η ( ) είναι κυρτή και η εφικτή περιοχή είναι επίσης κυρτή τότε υπάρχει ένα τοπικό ελάχιστο ) () ) είναι το ολικό ελάχιστο () Οι συνθήκες Kuhn-Tucer είναι ικανές και αναγκαίες Παράδειγα: ( ) s.t. ( ) Οι αναγκαίες συνθήκες είναι L = mn = 4 + 5 h = + 6= (, λ) = 4 + 5 + λ( + 6) L L = L = L = λ 8 + λ = + λ = + 6 = Σύστηα γραικών εξισώσεων ε αγνώστους,, λ. Η λύση δίνει λ = 7, = 7., = 86.

Εύρεση των σηείων ΚΤ. Επαναληπτική στρατηγική ενεργών σετ. Βασική Ιδέα. Η βασική δυσκολία στην εύρεση των σηείων ΚΤ είναι ο προσδιορισός των ενεργών ανισοτικών περιορισών. Για να αντιετωπιστεί αυτό το θέα ακολουθείται ια επαναληπτική στρατηγική η οποία ορίζει ένα διαφορετικό σετ ενεργών περιορισών σε κάθε επανάληψη. Αλγόριθός Βήα : Θεωρούε ότι δεν υπάρχουν ενεργείς ανισότητες. Ορίζουε το σετ των ενεργών περιορισών J A = και οι πολλαπλασιαστές =, =,..., p Βήα : Βρίσκουε τα, λ, για τα οποία ισχύει: = h g m m ( ) + λ h ( ) + g ( ) ( ) ( ) = =, =,..., m =, J A J A = όπου λ είναι οι πολλαπλασιαστές των ισοτήτων και οι πολλαπλασιαστές των ενεργών ανισοτήτων. (στην πρώτη επανάληψη κανένας) Βήα : Τεστ Τερατισού Αν g ( ) και =,..., p, τότε έχει βρεθεί η λύση και τερατίζεται ο αλγόριθός Διαφορετικά, προσθέτουε τον οποιαδήποτε ανισοτικό περιορισό που έχει παραβιαστεί ( g ( ) > ) στο σετ J A, ορίζουε και αποακρύνεται από το J A η ανισότητα ε τον πιο αρνητικό πολλαπλασιαστή (αν υπάρχουν) και ορίζουε τον πολλαπλασιαστή αυτής της ανισότητας σε. Επιστροφή στο βήα.

Παράδειγα: Βελτιστοποίηση ε Ανισοτικούς Περιορισούς Επαναληπτική στρατηγική ενεργών περιορισών για την επίλυση των συνθηκών Kuhn-Tucer = + s.t. g = g = g = g4 = 4 mn ( ) Feasble Regon g g 4 g g Επανάληψη : Βήα. Θεωρείστε ότι δεν υπάρχουν ενεργής ανισοτικοί περιορισοί J A = και =, =,,,4. Βήα. Βρείτε το σηείο p για το οποίο ( ) + g ( ) = = λ J a Προσέξτε ότι δεν υπάρχουν πολλαπλασιαστές λ εφόσον δεν υπάρχουν περιορισοί ισοτήτων! Η παραπάνω συνθήκη ισοδυναεί ε: + = + = εξισώσεις ε αγνώστους (, ) = δίνει = = δίνει = Προσέξτε ότι αυτή είναι η λύση του προβλήατος χωρίς περιορισούς. Βήα. Ελέγχουε αν κάποιοι περιορισοί παραβιάζονται..

4 g (,) = (> ) παραβίαση g (,) = (< ) OK g (,) = (> ) παραβίαση g 4 (,) = 4 (< ) OK Προσθέτουε τους περιορισούς, στο ενεργό σετ : J A = {g, g }, 4 = = και επιστρέφουε στο βήα. Επανάληψη : Βήα. Βρίσκουε τα,, έτσι ώστε ( ) ( ) ( ) ( ) ( ) = = = + + g g g g ( ) ( ) = = = + + = + + g g g g g g ( ) ( ) ( ) ( ) = = = + + = + + 4 εξισώσεις, 4 άγνωστοι,,, Η λύση είναι: ( ) 4,,, = = T Βήα. Υπάρχει παραβίαση περιορισών? g (,) = = OK g (,) = < OK g (,) = > OK g 4 (,) = 4 < OK Όλοι οι πολλαπλασιαστές < ( =,...4) και άρα βρέθηκε το ολικό βέλτιστο, ( ) ( ) 5,, = T

Αν το βήα απαιτεί την λύση ενός η γραικού συστήατος εξισώσεων, τότε πορεί να χρησιοποιηθεί η έθοδος Newton, η οποία απαιτεί κάποιες αρχικές τιές για, λ,. 5