ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ

ΥΠΕΥΘΥΝΟΣ ΚΑΘΗΓΗΤΗΣ Α. Ντούνης ΔΙΔΑΣΚΩΝ ΑΚΑΔ. ΥΠΟΤΡΟΦΟΣ Χ. Τσιρώνης ΕΙΣΑΓΩΓΗ ΣΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ - Θεώρημα ΚΚΤ - Γενικές συνθήκες (ΝEC) - Δυαδικά προβλήματα

ΠΕΡΙΟΡΙΣΜΟΙ ΑΝΙΣΟΤΗΤΑΣ Πως χειριζόμαστε τους περιορισμούς ανισότητας? Τροποποίηση μαθηματικών συνθηκών για να διατηρηθεί η δυνατότητα χρήσης των πολλαπλασιαστών Lagrange. Βασική ιδέα: Αφαίρεση των μη ενεργών περιορισμών και μετατροπή των ενεργών σε περιορισμούς ισότητας. Διατύπωση θεωρήματος Karush-Kuhn-Tucker: Σε πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, k περιορισμούς στις σχέσεις W(Χ) 0 και συνάρτηση Lagrange L: Q R n+k R, το εφικτό σημείο Χ* S είναι λύση αν και μόνο αν υπάρχει M* R k ώστε M 0, L(X, M) L(X, M ) L(X, M ) και M W(Χ ) = 0. 2

ΑΝΑΛΥΣΗ ΘΕΩΡΗΜΑΤΟΣ ΚΚΤ Γενίκευση των ιδιοτήτων της μεθόδου Lagrange: Από τους γενικευμένους πολλαπλασιαστές M, μέρος τους αντιστοιχεί στους ανισοτικούς περιορισμούς. Οι Μ οφείλουν να ικανοποιούν μια πρόσθετη συνθήκη ορθογωνιότητας ως προς τις συναρτήσεις W(Χ*). (Χ*, M*) = Σημείο καμπής της L L(Χ, Μ ) = 0. Διαδοχική εφαρμογή του θεωρήματος ΚΚΤ 3

ΠΑΡΑΔΕΙΓΜΑ ΠΡΩΤΟ Έστω Χ* R n που ικανοποιεί τις συνθήκες ΚKΤ για το πρόβλημα ελαχιστοποίησης της f(x)=αx (f: R n R, Α R n ) με k περιορισμούς W(Χ) 0. Αν οι Α δεν είναι όλοι 0, τουλάχιστον ένας περιορισμός είναι ενεργός στο Χ*. Ορίζουμε γενικευμένους πολλαπλασιαστές Μ R k, με βάση τους οποίους οι συνθήκες ΚΚΤ γράφονται ως εξής: A + Μ W Χ = 0, Μ W Χ = 0, Μ 0. Έστω ότι στο Χ* όλοι οι περιορισμοί είναι μη ενεργοί. Για να ικανοποιείται η 2 η συνθήκη ΚΚΤ, θα πρέπει να ισχύει Μ*= 0. Η 3 η συνθήκη ικανοποιείται πάντα, ενώ η 1 η γίνεται Α = 0. Καταλήξαμε σε άτοπο! Υπάρχει κάποιο i ώστε w i (Χ*)=0. 4

ΓΕΝΙΚΕΥΜΕΝΗ LAGRANGIAN Ορισμός γενικευμένης συνάρτησης Lagrange: Σε πρόβλημα βελτιστοποίησης με αντικειμενική συνάρτηση f: S R n R, m συνθήκες C(Χ) = 0 και k συνθήκες W(Χ) 0, ορίζεται η γενικευμένη συνάρτηση Lagrange με κλασσικούς πολλαπλασιαστές Λ 0 και γενικευμένους πολλαπλασιαστές Μ 0 να είναι η L X, Λ, M = f X + Λ C Χ + Μ W(Χ). Μια σύγκριση με τον κλασσικό ορισμό της L Αρχικό πρόβλημα Νέο πρόβλημα n διαστάσεις, m+k περιορισμοί n+m+k διαστάσεις Όσοι από τους ανισοτικούς περιορισμούς W ικανοποιούν την ισότητα τοπικά στο X*, χαρακτηρίζονται ως ενεργοί. 5

ΑΝΑΓΚΑΙΕΣ ΣΥΝΘΗΚΕΣ ΝΕC Αναγκαία συνθήκη NEC 1 ης τάξης: Έστω πρόβλημα με αντικειμενική συνάρτηση f: S R n R, m περιορισμούς C(Χ) = 0, k περιορισμούς W(Χ) 0 και γενικευμένη συνάρτηση Lagrange L: Q R n+m+k R. Αν το Χ* S είναι τοπικό ελάχιστο, τότε υπάρχουν Λ* R m, Μ* R k ώστε M* W(X*) = 0, L(Χ, Λ, Μ ) = f(χ ) + Λ C(Χ ) + Μ W(Χ ) = 0. Αναγκαία συνθήκη NEC 2 ης τάξης: Έστω το πρόβλημα βελτιστοποίησης που τέθηκε παραπάνω. Αν το Χ* S είναι τοπικό ελάχιστο, τότε υπάρχουν Λ* R m και Μ* R k ώστε M* W(X*) = 0, L(Χ, Λ, Μ ) = 0, και 2 L 0 στο εφαπτόμενο επίπεδο των ενεργών περιορισμών. 6

ΙΚΑΝΗ ΣΥΝΘΗΚΗ ΝΕC Ικανή συνθήκη NEC 2 ης τάξης: Σε πρόβλημα με αντικειμενική συνάρτηση f: S R n R, m περιορισμούς C(Χ) = 0, k περιορισμούς W(Χ) 0 και γενικευμένη συνάρτηση Lagrange L: Q R n+m+k R. Αν στο Χ* S υπάρχουν Λ* R m, Μ* R k ώστε να ισχύει M* W(X*) = 0, L(Χ, Λ, Μ ) = 0 και 2 L 0 στο εφαπτόμενο επίπεδο των ενεργών περιορισμών, τότε το Χ* είναι τοπικό ελάχιστο. Ειδικές περιπτώσεις προβλημάτων: Περιορισμοί ανίσωσης Μικτό πρόβλημα για C = Λ = 0. Αν οι f, C, W είναι κυρτές, οι αναγκαίες συνθήκες ισχύουν και ως ικανές για την ύπαρξη ολικού ελαχίστου. 7

ΠΑΡΑΔΕΙΓΜΑ ΔΕΥΤΕΡΟ Έχουμε το πρόβλημα ελαχιστοποίησης της f(x) = B T X (f: R n R, B = R n {0}) με τον περιορισμό X T X 1. Να γραφούν και λυθούν οι συνθήκες ΚΚΤ (εύρεση Χ*). Ορίζουμε τη συνάρτηση περιορισμού w(x) = X T X 1 0. Υπολογισμός της συνάρτησης Lagrange του προβλήματος: L = f X + λ w X = B T X + λ Χ T Χ 1. Υπολογισμός των κλίσεων των συναρτήσεων f και w: f X = B T, w X = 2 X T. Διαμόρφωση των τριών συνθηκών ΚΚΤ: B + 2 λ Χ = 0, λ Χ 2 1 = 0, λ 0. 8

ΠΑΡΑΔΕΙΓΜΑ ΔΕΥΤΕΡΟ (συν.) Έχουμε το πρόβλημα ελαχιστοποίησης της f(x) = B T X (f: R n R, B = R n {0}) με τον περιορισμό X T X 1. Να γραφούν και λυθούν οι συνθήκες ΚΚΤ (εύρεση Χ*). Θεωρώντας τον (μοναδικό) ενεργό ανισοτικό περιορισμό στο Χ*, η 2 η συνθήκη ΚΚΤ γίνεται X* 2 = 1 και η 3 η λ* > 0. Επίλυση της 1 η συνθήκης ως προς Χ* Χ* = - Β/2λ*. Αντικατάσταση στη 2 η συνθήκη Β 2 1 = 0 4λ 2 λ = Β > 0. 2 Από την 1 η συνθήκη, το ελάχιστο της f είναι: Χ* = - Β/ B. Αλγεβρική αναπαράσταση x i = b i b 1 2 +b 2 2 + +b n 2 (i = 1, 2,, n). 9

ΤΟ ΔΥΑΔΙΚΟ ΠΡΟΒΛΗΜΑ Απλούστευση επίλυσης πολύπλοκων προβλημάτων. Συσχέτιση δεδομένου προβλήματος με άλλο πρόβλημα, στο οποίο έχουν αρθεί οι αρχικοί περιορισμοί. Μεθοδική αξιοποίηση της λύσης του απλοποιημένου προβλήματος στην επίλυση του αρχικού προβλήματος. Εφαρμογή του θεωρήματος Κarush - Kuhn - Τucker. Ορισμός δυαδικού προβλήματος: Έστω αποτελούμενο πρόβλημα ελαχιστοποίησης P με αντικειμενική συνάρτηση f(χ) και συνάρτηση Lagrange L(Χ,Λ). Ως δυαδικό πρόβλημα DP του P ορίζεται εκείνο της μεγιστοποίησης της βοηθητικής συνάρτησης h(λ) = L(Χ, Λ). 10

ΘΕΩΡΗΜΑ ΔΥΑΔΙΚΟΤΗΤΑΣ Διατύπωση θεωρήματος της δυαδικότητας: Έστω Χ* εφικτό σημείο προβλήματος P με αντικειμενική συνάρτηση f και Λ* εφικτό σημείο του προβλήματος DP. Αν f(χ*) = L(Χ*,Λ*) το Χ* είναι λύση του P και το Λ* του DP. Δυαδική προσέγγιση στην επίλυση προβλημάτων: Ανάλυση και κατανόηση του δεδομένου προβλήματος P. Διατύπωση του δυαδικού προβλήματος DP. Υπολογισμός της λύσης Λ* του προβλήματος DP. Εύρεση της λύσης του P με ελαχιστοποίηση της L(X, Λ*). Μη δυνατότητα εφαρμογής Χάσμα δυαδικότητας. 11

ΠΑΡΑΔΕΙΓΜΑ ΤΡΙΤΟ Έστω πρόβλημα P με f(x) = ½X T QX (f: R n R, Q R + n xr +n ) με τον περιορισμό w(χ) = A T X β 0 (Α R n, β R,Α 0, β<0). Λύστε το P με χρήση του θεωρήματος δυαδικότητας. Η συνάρτηση Lagrange του P προκύπτει ίση με: L X, λ = 1Τ2 Χ Τ Q X + λ Α Τ Χ β. λ 0 L κυρτή Mοναδικό ελάχιστο Χ* της L(Χ, λ): L X, λ = 0 Q X + λα = 0 X = λq 1 A. Αντικατάσταση του Χ* στην L Πράξεις: L X, λ = λ 2 /2 Α Τ Q 1 A λβ. Μεγιστοποίηση L ως προς λ λ* = - β/(α Τ Q -1 A) > 0. λ* λύση του DP Χ* = βq -1 A/(Α Τ Q -1 A). 12

ΕΡΩΤΗΣΕΙΣ - ΣΥΖΗΤΗΣΗ Θεώρημα ΚΚΤ Γενικές συνθήκες (ΝΕC) Δυαδικά προβλήματα 13