Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 1 / 20

Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων Ισαάκ Η Λαγαρής 1 Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων 1 Με υλικό από το υπό προετοιμασία βιβλίο των: Βόγκλη, Παρσόπουλου, Παπαγεωργίου και Λαγαρή Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων ) Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 1 / 20

Βελτιστοποίηση: Περι τίνος πρόκειται Πολλά προβλήματα από διάφορους τομείς της επιστήμης μπορούν να διατυπωθούν έτσι ώστε η λύση τους να επιτυγχάνεται με την εύρεση του ελαχίστου μιας συνάρτησης πολλών μεταβλητών 1 Η ευσταθής ισορροπία ενός συστήματος επιτυγχάνεται στο σημείο όπου η συνάρτηση της δυναμικής του ενέργειας είναι ελαχίστη 2 Η προσαρμογή ενός παραμετρικού μοντέλου σε μετρήσεις, επιτυγχάνεται με την εύρεση του ελαχίστου της συνάρτησης Απόκλισης 3 Η διαχείριση των αμοιβαίων κεφαλαίων υλοποιείται μέσω ελαχιστοποίησης της συνάρτησης Κινδύνου / Ανταμοιβής Ο τομέας της Βελτιστοποίησης ασχολείται με την ανάπτυξη μεθόδων για τον εντοπισμό των ελαχίστων μιας συνάρτησης πολλών μεταβλητών Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 2 / 20

Είδη-Κατηγορίες προβλημάτων Υπάρχουν διάφορες κατηγορίες προβλημάτων βελτιστοποίησης Συνεχή προβλήματα Διακριτά προβλήματα Μικτά προβλήματα Επίσης κάθε κατηγορία αναλύεται περαιτέρω σε υποκατηγορίες Θα ασχοληθούμε με την πρώτη κατηγορία, όπου καλούμαστε να ελαχιστοποιήσουμε μια συνεχή συνάρτηση πολλών μεταβλητών: min f(x), x R n x Η υπό ελαχιστοποίηση συνάρτηση f(x), ονομάζεται Αντικειμενική Συνάρτηση Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 3 / 20

Υποκατηγορίες Τοπική ελαχιστοποίηση Καθολική ελαχιστοποίηση Ελαχιστοποίηση χωρίς περιορισμούς Ελαχιστοποίηση με περιορισμούς Ισοτικοί περιορισμοί: min f(x) υπό: c i (x) = 0, i = 1, 2, x Ανισοτικοί περιορισμοί: min f(x) υπό: h i (x) 0, i = 1, 2, x Ισοτικοί και Ανισοτικοί: min f(x) υπό: c i (x) = 0, i = 1, 2, x και: h i (x) 0, i = 1, 2, Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 4 / 20

Χαρακτηρισμός Ελαχίστων { απομονωμένοι τοπικοί ελαχιστοποιητές καθολικός ελαχιστοποιητής τοπικός ελαχιστοποιητής Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων ) Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 5 / 20

Παραδείγματα Να ευρεθεί η σκάλα με το ελάχιστο μήκος που να μπορεί να ακουμπάει και στο έδαφος και στον τοίχο, δεδομένου του ορθογωνίου εξογκώματος διαστάσεων a b y x b a A B Γ B A Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων ) Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 6 / 20

Αν ορίσουμε ως y το ύψος του σημείου που η σκάλα ακουμπάει στον τοίχο και x το αντίστοιχο μήκος στο έδαφος, τότε το ύψος της σκάλας μπορεί να υπολογιστεί ως: λ = x 2 + y 2 Εύκολα παρατηρεί κανείς από την ομοιότητα των τριγώνων ABΓ και A B Γ, ότι: x y = x a bx xy + ay = 0 b Λύνοντας δε ως προς x και αντικαθιστώντας, έχουμε: ( ) ay 2 λ = + y y b 2 που αποτελεί την αντικειμενική συνάρτηση του προβλήματος Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 7 / 20

Προσαρμογή δεδομένων Έστω τα M = 100 σημεία (t i, y i ), i = 1, 2,, M Μοντέλο με δύο παραμετρικές συναρτήσεις Gauss: p(t; A, B, α, β, σ α, σ β ) = Ae (t α) 2 2σ 2 α + Be (t β) 2 2σ 2 β Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Πανεπιστήμιον Ιωαννίνων ) Σημειώσεις διαλέξεων: Βελτιστοποίηση πολυδιάστατων συνεχών συναρτήσεων 8 / 20

Οι παράμετροι α, β αντιστοιχούν στις θέσεις των δύο κορυφών του γραφήματος, ενώ οι A, B στα ύψη τους Επίσης οι παράμετροι σ α και σ β, καθορίζουν τα εύρη των αντίστοιχων συναρτήσεων Gauss Αναζητούμε λοιπόν μια εξάδα παραμέτρων A, B, α, β, σ α, σ β που να ελαχιστοποιεί το άθροισμα των τετράγωνων των αποκλίσεων των τιμών y i, από τις τιμές που προβλέπει το μοντέλο p(t i ; A, B, α, β, σ α, σ β ) Παράμετροι: A, B, α, β, σ α, σ β Αντικειμενική συνάρτηση: (Συνάρτηση Απόκλισης ) M f(a, B, α, β, σ α, σ β ) = [p(t i ; A, B, α, β, σ α, σ β ) y i ] 2 i=1 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 9 / 20

Ορολογία-Σύμβολα Δεδομένης της αντικειμενικής συνάρτησης f(x), x R n, ορίζουμε τις παρακάτω ποσότητες: Το διάνυσμα κλίσης: g = f(x), με g i = f(x) x i Ο Εσσιανός πίνακας: B = 2 f(x), με B ij = 2 f(x) x i x j Ο αντίστροφος Εσσιανός: H = B 1 Το διάνυσμα Newton: h N = Hg Το διάνυσμα Cauchy: h C = ( g T g g T Bg ) g Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 10 / 20

Στοιχεία από την Γραμμική Άλγεβρα Ένα διάνυσμα x R n, αναπαρίσταται ως ένα διάνυσμα στήλης Το ανάστροφο διάνυσμα ως άνυσμα γραμμής: x T = (x 1, x 2,, x n ) Το εσωτερικό γινόμενο δύο διανυσμάτων x T y = y T x x i y i i=1,n Eνας συμμετρικός πίνακας, A R n n λέγεται θετικά ορισμένος εάν ισχυέι: x T Ax > 0, x 0 και θετικά ημιορισμένος όταν: x T Ax 0, x 0 Οι ως άνω θετικά ορισμένοι πίνακες έχουν όλες τις ιδιοτιμές θετικές Οι δε θετικά ημιορισμένοι, έχουν ιδιοτιμές θετικές ή και μηδενικές Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 11 / 20

Sherman-Morrison-Woodbury Εάν A R n n συμμετρικός και αντιστρέψιμος πίνακας, και u, v R n και με την επιπλέον ιδιότητα 1 + v T A 1 u 0 τότε ισχύει: ( A + uv T ) 1 = A 1 A 1 uv T A 1 1 + v T A 1 u Η παραπάνω σχέση είναι πολύ χρήσιμη στο πλαίσιο των μεθόδων Quasi-Newton Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 12 / 20

Ανάπτυξη Taylor Η ανάπτυξη μιας συνάρτησης σε πολυωνυμική σειρά (σειρά Taylor) είναι κεντρικής σημασίας για προσεγγίσεις που συχνά χρησιμοποιούνται για την ανάπτυξη μεθόδων βελτιστοποίησης Για συνεχείς και παραγωγίσιμες συναρτήσεις πολλών μεταβλητών ισχύει: f(x + p) = f(x) + m=1 Διατηρώντας μέχρι και τετραγωνικούς όρους: 1 ( p T ) m f(x) m! f(x + p) = f(x) + p T f(x) + 1 2 pt 2 f(x)p + O ( p 3) Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 13 / 20

Φθίνουσες κατευθύνσεις Η εξίσωση ευθείας στον n-διάστατο χώρο που διέρχεται από το σημείο x 1 και είναι παράλληλη προς το άνυσμα d, δίδεται από: x(λ) = x 1 + λd Η παράγωγος df(x(λ)) dλ λ=0 ονομάζεται κατευθυντική παράγωγος της f(x), στο σημείο x 1, στην κατεύθυνση d df(x(λ)) f(x 1 + λd) f(x 1 ) dλ λ=0 = lim = d T f(x 1 ) λ 0 + λ Κατευθύνσεις d, με αρνητική κατευθυντική παράγωγο, ονομάζονται Φθίνουσες κατευθύνσεις Συνεπώς η κατεύθυνση d είναι φθίνουσα στο σημείο x 1, εάν ισχύει: d T f(x 1 ) < 0 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 14 / 20

Διατύπωση Τοπική ελαχιστοποίηση χωρίς περιορισμούς: Να ευρεθεί ένα σημείο x R (n) τέτοιο ώστε: f(x ) f(x), x R (n) με την ιδιότητα: x x < ϵ για κάποιο ϵ > 0 οσονδήποτε μικρό Για τον εντοπισμό απομονωμένων (ή ισχυρών) ελαχίστων η διατύπωση είναι ελαφρώς διαφορετική: Να ευρεθεί ένα σημείο x R (n) τέτοιο ώστε: f(x ) < f(x), x R (n) με την ιδιότητα: x x < ϵ για κάποιο ϵ > 0 οσονδήποτε μικρό Το πρόβλημα της εύρεσης του καθολικού ελαχίστου μιας συνάρτησης χωρίς περιορισμούς, παρότι πολύ πιο δύσκολο, έχει απλούστερη διατύπωση: f(x ) < f(x), x R (n) Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 15 / 20

Αναγκαία συνθήκη 1 ης τάξεως: f(x ) = 0 Έστω x η θέση του ελαχίστου της f(x), δηλαδή f(x ) f(x) Έστω επίσης το διάνυσμα: e T i = (0, 0,, 1, 0, 0,, 0), όπου το μοναδικό μη μηδενικό στοιχείο είναι η συνιστώσα i Έχουμε: f(x ) x i f(x + ae i ) f(x ) = lim 0 a 0 + a Όμως επίσης έχουμε: f(x ) x i f(x ) f(x ae i ) = lim 0 a 0 + a Από τα παραπάνω συνάγεται ότι αναγκαστικά ισχύει: f(x ) x i = 0, i = 1, 2,, n, f(x ) = 0 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 16 / 20

Αναγκαία συνθήκη 2 ας τάξεως: 2 f(x ) θετικά ημιορισμένος Χρησιμοποιώντας την αναγκαία συνθήκη πρώτης τάξεως, στο ανάπτυγμα Taylor προκύπτει: και εξ αυτού: f(x + ah) = f(x ) + a2 2 h 2 f(x )h + O ( a 3 h 3) f(x + ah) f(x ) lim a 0 a 2 = 1 2 h 2 f(x )h + lim O ( a h 3) a 0 = 1 2 h 2 f(x )h 0 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 17 / 20

Ικανές συνθήκες Πρώτης τάξεως: f(x ) = 0 Δευτέρας τάξεως: 2 f(x ) θετικά ορισμένος Από το ανάπτυγμα Taylor και την συνθήκη πρώτης τάξεως συνεπάγεται: f(x + p) f(x ) p T p = 1 p T 2 f(x )p 2 p T + O( p ) p Στο όριο του p 0, O( p ) = 0 και το δεξί μέλος είναι θετικό Συνάγεται λοιπόν ότι: f(x + p) > f(x ) για p 0 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 18 / 20

Προβλήματα με περιορισμούς ΔΙΑΤΥΠΩΣΗ min x R n f(x) με τους περιορισμούς: c i (x) = 0, i = 1, 2,, M h i (x) 0, i = 1, 2,, K Οι ικανές και οι ικανές συνθήκες για προβλήματα με περιορισμούς, είναι διαφορετικές από τις αντίστοιχες ελλείψει περιορισμών Στην βιβλιογραφία αναφέρονται ως συνθήκες Karush-Kuhn-Tucker, και δεν θα μας απασχολήσουν στο πλαίσιο του παρόντος μαθήματος Θα αντιμετωπίσουμε τα προβλήματα με περιορισμούς, μετατρέπωντάς τα σε προβλήματα χωρίς περιορισμούς, με μεθόδους τιμωρίας και εμποδίων Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 19 / 20

Παράδειγμα με περιορισμούς min x R 2(x 1 2) 2 + (x 2 1) 2 με τους περιορισμούς: x 2 1 x 2 0, x 1 + x 2 2 h 1 (x) = x 2 1 + x 2 h 2 (x) = x 1 x 2 + 2 3 25 c2 55 15 2 15 feasible region 1 x* 01 05 c1 0 05 75 35 1 1 05 0 05 1 15 2 25 3 Ισαάκ Η Λαγαρής 1 (Τμήμα Μηχανικών Η/Υ & Πληροφορικής Σημειώσεις διαλέξεων: Πανεπιστήμιον Βελτιστοποίηση Ιωαννίνων πολυδιάστατων ) συνεχών συναρτήσεων 20 / 20