ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ

ΥΠΕΥΘΥΝΟΣ ΚΑΘΗΓΗΤΗΣ Α. Ντούνης ΔΙΔΑΣΚΩΝ ΑΚΑΔ. ΥΠΟΤΡΟΦΟΣ Χ. Τσιρώνης ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ - Επίλυση ασκήσεων - Αλγόριθμοι αναζήτησης - Επαναληπτική κάθοδος

ΕΠΙΛΥΣΗ ΑΣΚΗΣΕΩΝ ΠΡΑΞΗΣ Θα επιλυθούν δύο επαναληπτικές ασκήσεις. Να διατυπώσετε και να λύσετε τις συνθήκες ΚΚΤ για το πρόβλημα ελαχιστοποίησης της συνάρτησης f 1 (x 1,x 2,x 3 ) = 3x 1 + x 2 x 3 2 στο οποίο να ικανοποιείται και ο περιορισμός x 1 2x 2 = x 3 2. Να εφαρμόσετε τις συνθήκες ΚΚΤ για να προσδιορίσετε τις λύσεις του προβλήματος ελαχιστοποίησης της συνάρτησης f 2 (x 1,x 2 ) = e x 1 x 2 που ικανοποιούν συγχρόνως και τους περιορισμούς e x 1 + e x 2 20 και x 1 0. 2

ΟΡΙΑ ΑΝΑΛΥΤΙΚΩΝ ΜΕΘΟΔΩΝ Σε πολλές περιπτώσεις δεν είναι δυνατή η εφαρμογή των αναλυτικών μεθόδων (πχ. συνθήκες ΚΚΤ): Όταν δεν υπάρχει η δυνατότητα αναλυτικής περιγραφής της αντικειμενικής συνάρτησης. Όταν οι εξισώσεις που προκύπτουν από τις συνθήκες ελαχιστοποίησης δε λύνονται αναλυτικά. Λύση: Οι αριθμητικές τεχνικές! Προσεγγιστική λύση προβλημάτων. Αλγόριθμοι αριθμητικής ανάλυσης. Επίλυση με τη βοήθεια Η/Υ. 3

ΑΡΙΘΜΗΤΙΚΕΣ ΤΕΧΝΙΚΕΣ Προβλήματα χωρίς περιορισμούς: Επαναληπτικές τεχνικές (με αναδρομικούς τύπους). Είτε εμπλέκουν παραγώγους της συνάρτησης είτε δεν απαιτούν τον υπολογισμό παραγώγων. Στόχος: Εντοπισμός των τοπικών ελαχίστων μέσω της επαναληπτικής αναζήτησης προς κατευθύνσεις οι οποίες συγκλίνουν με πιθανή λύση του προβλήματος. Προβλήματα με περιορισμούς: Μετασχηματισμός σε προβλήματα χωρίς περιορισμούς. Ακολουθία αλγορίθμων ελαχιστοποίησης με κριτήρια τερματισμού ή/και έλεγχο παραβίασης των περιορισμών. 4

ΕΠΙΣΚΟΠΗΣΗ ΑΛΓΟΡΙΘΜΩΝ Αλγόριθμοι για προβλήματα χωρίς περιορισμούς: Μέθοδοι αναζήτησης (ομοιόμορφη, χρυσή τομή, ). Μέθοδοι αναζήτησης με παραγώγους (διχοτόμηση, ). Μέθοδοι κλίσης (μέγιστη κάθοδος, Newton, ). Τροποποιημένες μέθοδοι κλίσης (συζυγείς κλίσεις, ). Κλίση χωρίς παραγώγους (συντεταγμένη κάθοδος, ). Αλγόριθμοι για προβλήματα με περιορισμούς: Μέθοδοι εφικτών κατευθύνσεων (κλίση προβολή). Μέθοδοι φραγής (παράμετροι φραγμού). Μέθοδοι ποινής (penalty functionals). 5

ΤΕΧΝΙΚΕΣ ΑΝΑΖΗΤΗΣΗΣ (1D) Στόχος: Σταδιακός περιορισμός του διαστήματος αναζήτησης σε ένα προκαθορισμένο κατώτερο όριο. Παράδειγμα σε μια διάσταση: f(x) με ελάχιστο x* [α, β]. Εύρεση του [α, β ] με α x* β, α α, β β, α β ε. Θεώρημα σύγκλισης της αναζήτησης ελαχίστου: Έστω f: R R σχεδόν κυρτή (κοίλη) στο διάστημα [α, β], και x 1, x 2 [α, β] ώστε x 1 < x 2. Αν f(x 1 ) < f(x 2 ) (f(x 1 ) f(x 2 )) τότε f(x) f(x 1 ) (f(x) f(x 2 )) για κάθε x (x 2, β] ([α, x 1 ]). Παρατήρηση: Το διάστημα μικραίνει προς μια από τις διευθύνσεις που ορίζει το τότε «ενδιάμεσο» σημείο. 6

ΟΜΟΙΟΜΟΡΦΗ ΑΝΑΖΗΤΗΣΗ Χωρισμός [a,β] σε n ίσα τμήματα. Πλέγμα υπολογισμού της f: n-1 σημεία εύρος δ=(β-α)/n. Αν η μικρότερη τιμή της f είναι στο x, το θεώρημα σύγκλισης δίνει για το ελάχιστο ότι x* ( x δ, x + δ). [Ακρίβεια προσδιορισμού x*] [Εύρος διαμέρισης δ]. Ακρίβεια αντιστρόφως ανάλογη του αριθμού τμημάτων n. Η δυσμενής επίπτωση στην απόδοση αντιμετωπίζεται με σταδιακή μείωση του δ πλησιάζοντας στο όριο x x Η μέθοδος μετατρέπεται σε ανομοιόμορφη! < ε. 7

ΜΕΘΟΔΟΣ ΧΡΥΣΗΣ ΤΟΜΗΣ Χωρίζουμε σε 3 άνισα διαστήματα μέσω εσωτερικών σημείων που ισαπέχουν των άκρων (x 1 α = β x 2 = ρ). Αρχικά διαστήματα αναζήτησης: [α, x 2 ] και [x 1, β]. Κανόνες επιλογής των επόμενων διαστημάτων: 1 δ(νέο διάστημα) = γ x δ(παλαιό διάστημα), με 0 < γ < 1. 2 Παλαιό ενδιάμεσο σημείο του οποίου το διάστημα δεν επιλέγεται Ενδιάμεσο σημείο του νέου διαστήματος. Μείωση των απαιτούμενων υπολογισμών της f! Η σταθερά αναλογίας προκύπτει ως λύση της εξίσωσης γ 2 + γ - 1 = 0 Λόγος χρυσής τομής: γ GM = ( 5 1)/2. Παραλλαγή: Αλγόριθμος Fibonacci (μη σταθερό γ). 8

ΠΑΡΑΔΕΙΓΜΑ ΠΡΩΤΟ Να ελαχιστοποιηθεί η f(x) = x 4-14x 3 + 60x 2-70x στο [0,2] και με ακρίβεια 0.3, με τη μέθοδο χρυσής τομής. Εκτίμηση αριθμού επαναλήψεων για ζητούμενη ακρίβεια: - m επαναλήψεις Συρρίκνωση του [0,2] κατά γ m GM φορές. - Μικρότερος ακέραιος που ικανοποιεί 0.618 m 0.3/2 (το 4). Tιμές υπόλοιπων παραμέτρων: α = 0, β = 2, ρ = 1 - γ GM = 0.38197. Εφαρμογή των τεσσάρων επαναλήψεων (m = 1,2,3,4): 1 x 1 = α + ρ(β-α) = 0.764, x 2 = α + (1-ρ)(β-α) = 1.236. f(x 1 ) = -24.36, f(x 2 ) = -18.96 > f(x 1 ) Νέο διάστημα: [α,x 2 ]. 2 x 3 = α + ρ(x 2 -α) = 0.47, x 4 = x 1 f(x 3 ) = -21.1 > f(x 4 ) [x 3,x 2 ]. 3 x 5 = x 4, x 6 = x 3 + (1-ρ)(x 4 -x 3 ) = 0.94 f(x 5 ) < f(x 6 ) [x 3,x 6 ]. 4 x 7 = x 3 + ρ(x 7 -x 3 ) = 0.65, x 8 = x 5 f(x 7 ) > f(x 8 ) [x 7,x 2 ] (δ < 0.3). 9

ΜΕΘΟΔΟΣ ΔΙΧΟΤΟΜΗΣΗΣ Χωρισμός σε 2 ίσα διαστήματα μέσω του εσωτερικού σημείου x 1 = (α + β)/2 και υπολογισμός της f (x 1 ). f (x 1 ) = 0: Το x 1 είναι το ζητούμενο ελάχιστο. f (x 1 ) > 0: x < x 1 f(x) < f(x 1 ), επόμενο διάστημα το [α,x 1 ]. f (x 1 ) < 0: x < x 1 f(x) > f(x 1 ), επόμενο διάστημα το [x 1,β]. Επαναληπτική εφαρμογή έως ότου βρούμε διάστημα μήκους μικρότερου της ακρίβειας ε. Απαιτούμενος αριθμός βημάτων: Είναι ο μικρότερος ακέραιος που ικανοποιεί την (1/2) m ε/(β - α). 10

ΠΑΡΑΔΕΙΓΜΑ ΔΕΥΤΕΡΟ Να ελαχιστοποιηθεί η f(x) = 2x 2-1 στο [-1,1] και με ακρίβεια 0.5, με τη μέθοδο διχοτόμησης. Tιμές παραμέτρων προβλήματος: α = -1, β = 1. Παράγωγος αντικειμενικής συνάρτησης: f (x) = 4x. Εκτίμηση αριθμού επαναλήψεων για ζητούμενη ακρίβεια: - m επαναλήψεις Συρρίκνωση του [-1,1] κατά 2 -m φορές. - Μικρότερος ακέραιος που ικανοποιεί 2 m 0.5/2 (το 2). Εφαρμογή των δύο επαναλήψεων (m = 1,2): 1 x 1 = (α+β)/2 = 0 f(x 1 ) =f (x 1 ) = -1 < 0 Νέο διάστημα: [x 1,β]. 2 x 2 = (x 1 +β)/2 = 0 f(x 2 ) = -0.5, f (x 2 ) = 1 > 0 [x 2,x 1 ] (δ < 0.5). 11

ΤΕΧΝΙΚΕΣ ΚΑΘΟΔΟΥ (3D) Kατευθυντική αναζήτηση επί των τιμών της συνάρτησης f. Κανόνες ορισμού κατευθύνσεων προς τις οποίες η f μειώνεται. Στόχος: Ακολουθία σηµείων που να προσεγγίζει σταδιακά το Χ*. Διατύπωση αλγορίθμου επαναληπτικής καθόδου: Εκκίνηση από σημείο Χ [0] σε κατάλληλη απόσταση από το Χ*, και ελαχιστοποίηση f με εφαρμογή κανόνων μετάβασης της μορφής Χ [κ+1] = Χ [κ] + λ [κ] D [κ], με λ>0 παράμετρο κλίμακας και D R n διεύθυνση ώστε f(χ [κ+1] ) < f(χ [κ] ) σε κάθε μετατόπιση κ. 12

ΕΠΙΛΟΓΗ ΠΑΡΑΜΕΤΡΩΝ Συνοπτική λειτουργία του αλγορίθμου: Αρχική εκτίμηση λύσης Σταδιακή (βηματική) διορθώση. [Διόρθωση] = [Μήκος βήματος] x [Διάνυσμα κατεύθυνσης]. Κατανόηση λειτουργίας μέσω αναπτύγματος Taylor. f X [k+1] f X k = λ [k] D [k] f X k + O λ k λ [κ] << 1 O λ k λ [k] D [k] f X k Κυρίαρχος όρος D f. Κατάλληλη διεύθυνση προσέγγισης του Χ*: D f < 0. Καθοριστική η επιλογή των δύο παραμέτρων λ, D. Συνδυασμός ακρίβειας, ομαλότητας, ταχύτητας σύγκλισης. Μεταβολή καθοδόν προς το Χ* Ταχύτερη επίλυση??? 13

ΣΥΝΘΗΚΕΣ ARMIJO/GOLDSTEIN Συνθήκη επαρκούς ελάττωσης βήματος (Armijo): Έστω συνάρτηση f: R n R στην οποία εφαρμόζεται ένας αλγόριθμος επαναληπτικής αναζήτησης με βήμα λ και διάνυσμα κατεύθυνσης D. Στην επανάληψη k, για να είναι το επιλεγμένο βήμα κατάλληλο, θα πρέπει να υπάρχει c 1 (0,1) τέτοιο ώστε f X [k] + λ k D k f X k c 1 λ k D k f X k. Συνθήκη επαρκούς ελάττωσης κλίσης (Goldstein): Έστω f: R n R όπου εφαρμόζεται αλγόριθμος αναζήτησης με βήμα λ και διάνυσμα κατεύθυνσης D. Στην επανάληψη k, για να είναι η επιλεγμένη διεύθυνση κατάλληλη, θα πρέπει να υπάρχει c 2 (0,1) με f X [k] λ k D k D k c 2 f X [k] D k. 14

ΛΕΙΤΟΥΡΓΙΑ ΤΩΝ ΣΥΝΘΗΚΩΝ Armijo: Οι περιοχές της f που φράσσονται πάνω από το ευθύγραμμο τμήμα προσδιορίζουν το λ. Goldstein: [κλίση της f στο k] < [κλίση της f στο 0]. 15

ΕΡΩΤΗΣΕΙΣ - ΣΥΖΗΤΗΣΗ Επίλυση ασκήσεων Αλγόριθμοι αναζήτησης Επαναληπτική κάθοδος 16