EΘNIKO ΜEΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΧΗΜΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΤΟΜΕΑΣ ΙΙ: Ανάλυσης, Σχεδιασμού & Ανάπτυξης Διεργασιών & Συστημάτων Υπολογιστικές Μέθοδοι Ανάλυσης και Σχεδιασμού Μάθημα Επιλογής 8 ου εξαμήνου Διδάσκων: Α. Κοκόσης Συνεργάτες: Α. Νικολακόπουλος, Θ.Χ. Ξενίδου
5 η ΔΙΑΛΕΞΗ ΜΕΘΟΔΟΙ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ 2
Αναλυτικές μέθοδοι Βασική ιδέα: Χρήση αναγκαίων και ικανών συνθηκών για τον προσδιορισμό των βέλτιστων. Αναλυτικές εκφράσεις χρειάζονται για - παραγώγους πρώτης τάξης - παραγώγους δεύτερης τάξης - εκφράσεις για αναγκαίες συνθήκες Δυσκολίες - Οι συνθήκες παράγουν σύνολα μη γραμικών εξισώσεων που είναι δύσκολο (ή αδύνατο) να λυθούν: πολλαπλές λύσεις - Μπορεί να είναι δύσκολο να υπολογιστούν οι αναλυτικές εκφράσεις των παραγώγων
Επαναληπτικές μέθοδοι Κατηγοριοποίηση Άμεσες μέθοδοι Έμμεσες μέθοδοι Χωρίς χρήση Χρήση πληροφορίας παραγώγων παραγώγων - ομαλές συναρτήσεις - πρώτου βαθμού - μη ομαλές συναρτήσεις - δεύτερου βαθμού Μέθοδοι συναρτήσεων -Παραγωγή σειράς σημείων - Σύγκριση και απόρριψη κατώτερων σημείων - Επανάληψη Μέθοδοι κατεύθυνση - Παραγωγή κατευθύνσεων βελτίωσης - Βελτιστοποίηση ως προς επιλεγμένη κατεύθυνση - Επανάληψη
Αναζήτηση ως προς μια μεταβλητή (μέθοδος κατεύθυνσης) F = 1 F = 100 Βήματα: κινούμαστε κατά μήκος των x 1 και x 2 1 Επιλέγουμε αρχικό σημείο x 0 F = 10 2 Βελτιστοποιούμε κατά μήκος του x 1 x 1 3 - Βελτιστοποιούμε κατά μήκος του x 2 x 2 * 4 Επαναλαμβάνουμε από (2) x4 x 2 x3 3 Πλεονεκτήματα: πολύ απλή x 0 x 1 Μειονεκτήματα: πολύ αργή (ειδικά σε τελευταίες επαναλήψεις)
Μέθοδος του Powell x 0 d x 1 x2 X* * Βασική ιδέα: χρήση αναζήτηση με βάση μια μεταβλητή για την εξεύρεση χαρακτηριστικών κατευθύνσεων. Χρήση της χαρακτηριστικής κατεύθυνσης στα υπόλοιπα στάδια. Βήματα - Αναζήτηση με βάση μια μεταβλητή x 0 x 1 x 2 - Υπολογισμός κατεύθυνσης d - Βελτιστοποίηση κατά μήκος της d: x 2 x*
Έμμεσες μέθοδοι Βασική ιδέα: Γιατί να χρησιμοποιούμε αυθαίρετες κατευθύνσεις όταν σημαντικές κατευθύνσεις είναι διαθέσιμες από τις παραγώγους?? Απότομη κάθοδος: Κατεύθυνση d = - f(x*) Μέθοδος 1 - Υποθέτουμε x o 2 Υπολογίζουμε γζ κατεύθυνση αναζήτησης: ης d = - f(x( ) 3 Βρίσκουμε βήμα που ελαχιστοποιεί την f(x) 4 Θέτουμε x +1 = x + a. d 5 - = +1 και επαναλαμβάνουμε από (2)
Μέθοδος Newton: πληροφορία δεύτερης τάξης Για μη γραμμικά συστήματα μια καλύτερη προσέγγιση για την κατεύθυνση βελτίωσης είναι: d = { 1 H ( x )} f ( x ) Για τετραγωνικά συστήματα (H(x ) = σταθερή) η μέθοδος μετατρέπεται στην απότομη κάθοδο Η κατεύθυνση αναζήτησης απαιτεί την αντιστροφή ενός πίνακα, μια χρονοβόρα και δαπανηρή διαδικασίαδ Η μέθοδος έχει καλύτερη σύγκλιση όταν προσεγγίζει το βέλτιστο Η μέθοδος είναι χρήσιμη μόνο για ορισμένους πίνακες μ ς χρή μη μ γ ρ μ ς ς τους Hesse
Γενίκευση των επαναληπτικών μεθόδων Απότομης καθόδου: d = f ( x 1 Μέθοδος Newton: { } d = H ( x ) f ( x ) ) d = { B } 1 f ( x ) Ένας θετικά ορισμένος πίνακας BFGS Χρησιμοποιεί μια προσεγγιστική εκδοχή του πίνακα Hess που δεν απαιτεί αντιστροφή, αλλά μόνο υπολογισμό μιας νέας γραμμής και στήλης σε κάθε επανάληψη Μέθοδος Marquandt B = { H } + λ I Επιλογή του λ που κάνει τον B θετικά ορισμένο
Μέθοδοι συζυγών παραγώγων (Conjugate gradent methods) Συζυγείς κατευθύνσεις ως προς Q d T 1 Qd2 = Επιλογή σημείων βελτιστοποίησης 0 + x = x + ak f ( x ) a k = ( f ( x ) d T T d ) H ( x ) d - Ανάπτυξη συζυγών κατευθύνσεων γύρω από τον πίνακα του Hess - Τετραγωνικό πρόβλημα n-διαστάσεων: Εγγυάται σύγκλιση σε n επαναλήψεις
Μέθοδος σύγκρισης συναρτήσεων Χρήσιμη για μη ομαλές συναρτήσεις ή όταν οι πληροφορίες ρ παράγωγων γ δεν είναι αξιόπιστες ή δύσκολες να επιτευχθούν (δηλ. ασυνεχείς συναρτήσεις, συναρτήσεις με μη φραγμένες παραγώγους κλπ.) Μέθοδοι εξάλειψης περιοχής Μειώνουν συστηματικά την εφικτή περιοχή απορρίπτοντας τα τμήματα που δεν περιέχουν το βέλτιστο Μέθοδοι πολύτοπων (Επίσης αναφέρονται ως smplex) Παράγουν πολύτοπο και ανανεώνουν τα σημεία κορυφών προς την βέλτιστη λύση
Μέθοδος Πολύτοπου (smplex) A C B 1 Υπολογίζει την f στα σημεία κορυφών 2 Υπολογίζει το f στο κέντρο c = n n+1+ 1 1 x k + 1 k = 1 3 Αντικατοπτρίζει το χειρότερο σημείο στο κέντρο A 4 Αναπτύσσει νέο πολύτοπο και επαναλαμβάνει
Μέθοδος Πολύτοπου: παράδειγμα x 2 11 12 4 13 3 10 9 15 7 2 8 14 6 1 0 0 0 x 2 0 x 0 0 x 1 1 x 0 1 2 1 2 3 4 3 4 5 x 1
Βελτιστοποίηση με περιορισμούς; Συνάρτηση Lagrange (αναλυτικές μέθοδοι) Αντικειμενική εμε ήμε παράλληλο έλεγχο περιορισμών Συνδυασμός των παραπάνω
Γραφική αναπαράσταση d 0 x 0 x r 1 x r 2 x 1 d 1 x 2 x 0 x 1 : βελτιστοποίηση κατά μήκος του d 0 x 1 x r1 : επιστροφή (restoraton) στην εφικτή περιοχή λύνοντας: Εφικτή περιοχή h( x 1 ) h( x 1 r ) = 0 d 0,d 1, d n : βελτιστοποίηση κατευθύνσεων x 0, x 1, x r1, x 2, : σημεία επαναλήψεων
Μέθοδος μειωμένης κλίσης (Reduced gradent method) Βασική Ιδέα: Χρήση των ενεργών περιορισμών γιατηναπαλοιφή των μεταβλητών του προβλήματος βελτιστοποίησης και μετατροπή του σε πρόβλημα χωρίς περιορισμούς. Παράδειγμα προβλήματος: Ένα πρόβλημα 150 μεταβλητών με 145 εξισωτικούς περιορισμούς. Χρησιμοποιούμε τους 145 περιορισμούς για να απαλείψουμε 145 μεταβλητές. Αυτό μειώνει το πρόβλημα σε πρόβλημα χωρίς περιορισμούς με 5 μεταβλητές.
Γενική περίπτωση mn f ( x ) Υ.π. h ( x ) = 0 x = [ x ] I, x D Ιndependent (ανεξάρτητες) Dependent (εξαρτημένες) Τότε df = f x dx + f I dx D I x D df dx I = f x I + f x D dx dx I U11 D Μειωμένη κλίση h h dh = dxi + dxd = xi xd 0 1 df f h h f dx = x x x x I I I D D
Slde 17 U11 Είναι σωστό αυτό; Nkolakopoulos Athanassos; 19/5/2014
Παράδειγμα mn x 2 1 2 x 2 Έστω x = x, x = x τότε I 1 D 2 Υ.π. 3x1 + 4x2 = 24 df df f h h f = = dxi dx x x x x 1 1 1 1 2 2 1 1 ( ) ( ) = 2x 3 4 2 3 = 2x1 + = d1 2 * 3 Ελαχιστοποίηση κατά μήκος d1 x1 = 4
Μειωμένη κλίση: γενικά σχόλια Αργή σύγκλιση, ειδικά λόγω επιστροφής στην εφικτή περιοχή Προχωρημένες εκδόσεις (χωρίς επιστροφές) χρησιμοποιούν την συνάρτηση Lagrange: n n 2 (, λ ) = ( ) + λ ( ) + p ( ) L= 1 = 1 L x f x h x h x όπου τα p είναι συντελεστές ποινής Εμπορικά λογισμικά (GRG2, GINO, MINOS) Εμπορικά λογισμικά (GRG2, GINO, MINOS) περιλαμβάνουν διάφορα καθιερωμένα πακέτα
Βελτιστοποίηση υψηλής απόδοσης Τεχνικές επιβάρυνσης (penalty methods) Κίνητρο: Να μετατρέψουν το πρόβλημα με περιορισμούς σε πρόβλημα χωρίς επιβάλοντας υψηλό κόστος στην παραβίαση των περιορισμών mn f ( x ) υπ hx ( ) = 0 mn f ( x ) + p h ( x ) p : πολύ μεγάλο f x mn f ( x ) + p c ( x ) mn f ( x ) υπ 2 όπου cx ( ) = max[0, gx ( )] gx ( ) 0
Μέθοδοι φράγματος (barrer methods) Κίνητρο: Μετατρέπουμε σε πρόβλημα χωρίς περιορισμούς προσθέτοντας όρους στην αντικειμενική συνάρτηση ρη ηπου έχουν αποτέλεσμα μεγάλο κόστος όταν προσεγγίζεται το όριο mn f ( x ) 1 1 mn f( x) υπ p g( x) gx ( ) 0 p: πολύ μεγάλο Πλεονεκτήματα: Μπορούν να προσδόσουν μγ μεγάλη επιτάχυνση σε μοντέλα μεγάλης κλίμακας (δηλ. εφαρμογές άμυνας, πρόβλεψη καιρού, προγραμματισμό πτήσεων) όπου οι συμβατικές μέθοδοι πάσχουν (σημαντική εφαρμογή: Μέθοδος Karmakar) Μειονεκτήματα: Δεν είναι εύρωστος και δεν συγκλίνει πάντα με βεβαιότητα