ΣΧΟΛΗ ΠΟΛΙΤΙΚΩΝ ΜΗΧΑΝΙΚΩΝ ΕΜΠ ΕΙΣΑΓΩΓΗ ΣΤΗN ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΣΥΣΤΗΜΑΤΩΝ 3 η ΕΝΟΤΗΤΑ ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ Μ. Καρλαύτης Ν. Λαγαρός
Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες Χρήσης Creative Commons. για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άδεια χρήσης άλλου τύπου, αυτή πρέπει να αναφέρεται ρητώς.
ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ - ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ Πρόκειται για προβλήματα που έχουν μη γραμμική αντικειμενική συνάρτηση και/ή μη γραμμικούς περιορισμούς. Τα μη γραμμικά προβλήματα διατυπώνονται ουσιαστικά όπως τα γραμμικά. Η διαφορά εντοπίζεται στα μαθηματικά που χρησιμοποιούνται για την επίλυσή τους. Σκοπός είναι η απαρίθμηση των δυνατών λύσεων και η επιλογή της βέλτιστης. ΓΕΝΙΚΑ ΧΑΡΑΚΤΗΡΙΣΤΙΚΑ Τα προβλήματα που απαιτούν μη γραμμικό προγραμματισμό εμφανίζουν τα ακόλουθα χαρακτηριστικά : Είναι μη γραμμικά. Έχουν μη κυρτές περιοχές εφικτότητας. Έχουν ασυνεχείς μεταβλητές. Εμφανίζουν το μειονέκτημα ότι επιδέχονται μικρό αριθμό περιορισμών. 93
ΜΑΘΗΜΑΤΙΚΗ ΔΙΑΤΥΠΩΣΗ Μεγιστοποίηση (ή ελαχιστοποίηση) : Υπό τους περιορισμούς : 94
Όπου : Η f(x, x,.,x n ) όπως και στον γραμμικό προγραμματισμό είναι η συνάστηση του Μ.Γ.Π. Οι g (x, x,.,x n )(,, ) b,, g m (x, x,.,x n ) (,, ) b οι περιορισμοί του μη γραμμικού προγραμματισμού. Ένα πρόβλημα που δεν έχει περιορισμούς λέγεται πρόβλημα χωρίς περιορισμούς. Το σύνολο όλων των σημείων (x, x,.,x n ) είναι πραγματικοί αριθμοί και λαμβάνουν τιμές από το σύνολο R n. 95
ΔΙΑΦΟΡΕΣ ΓΡΑΜΜΙΚΟΥ- ΜΗ ΓΡΑΜΜΙΚΟΥ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ Για τον γραμμικό προγραμματισμό :. Επιτρεπτή περιοχή κυρτό σύνολο. Αν υπάρχει βέλτιστη λύση αποτελεί ακραίο σημείο της επιτρεπτής περιοχής. Για τον μη γραμμικό προγραμματισμό :. Η επιτρεπτή περιοχή πιθανόν να μην είναι κυρτό σύνολο.. Η βέλτιστη λύση δεν είναι απαραίτητα να είναι ακραίο σημείο της επιτρεπτής περιοχής του Μ.Γ.Π. 96
ΠΙΘΑΝΕΣ ΒΕΛΤΙΣΤΕΣ ΛΥΣΕΙΣ Μ.Γ.Π. Αντικειμενική συνάρτηση Βέλτιστη λύση Αντικειμενική συνάρτηση Βέλτιστη λύση. Feasible Region Γραμμική αντικειμενική συνάρτηση Μη γραμμικοί περιορισμοί Αντικειμενική συνάρτηση Βέλτιστη λύση Feasible Region Μη γραμμική αντικειμενική συνάρτηση Γραμμικοί περιορισμοί Αντικειμενική συνάρτηση Βέλτιστη λύση Feasible Region Μη γραμμική αντικειμενική συνάρτηση Μη γραμμικοί περιορισμοί Feasible Region Μη γραμμική αντικειμενική συνάρτηση Γραμμικοί περιορισμοί 97
ΔΙΑΦΟΡΑ ΤΟΠΙΚΗΣ-ΚΑΘΟΛΙΚΗΣ ΒΕΛΤΙΣΤΗΣ ΛΥΣΗΣ X Τοπική βέλτιστη λύση Επιτρεπτή περιοχή B C E F Τοπική και καθολική βέλτιστη λύση G A D X 98
ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Με τον όρο βελτιστοποίηση νοείται η αξιολόγηση μιας λύσης, με βάση ορισμένα κριτήρια, ως βέλτιστης ανάμεσα σε διαθέσιμες εναλλακτικές λύσεις. Για την άμεση προσέγγιση της βελτιστοποίησης χρησιμοποιούνται τεχνικές που διακρινόνται σ αυτές που αφορούν προβλήματα με ή χωρίς περιορισμούς και σ αυτές που εξαρτώνται από το πλήθος των μεταβλητών και διακρίνονται σε μονοδιάστατες και πολυδιάστατες. Οι πολυδιάστατες τεχνικές μη-γραμμικού προγραμματισμού χωρίζονται στις εξής κατηγορίες :.Κύριες ή Αποδεκτές Μέθοδοι..Μέθοδοι Συντελεστών Ποινής. 3.Δυαδικές Μέθοδοι. 4.Μέθοδοι Lagrange. 99
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ LAGRANGE Να βρεθούν ακρότατα για τη συνάρτηση : Υπό τον περιορισμό : F(x, y, z)=x +y +z G(x, y, z)=x +y -z - =0 Η συνάρτηση Lagrange είναι : u= f(x, y, z)+ λ G(x, y, z) Υπό τους όρους : u/ x =0, u/ y =0, u/ z =0 Όπου x, y, z ανεξάρτητες μεταβλητές και λ σταθερά που ονομάζεται πολλαπλασιαστής Lagrange. Έχουμε : F(x, y, z)=x +y +z G(x, y, z)=x +y -z - =0 () 00
ΕΠΙΛΥΣΗ Εφόσον u= x +y +z +λ (x +y -z ) Τότε : u/ x = x+ λx =0 () u/ y = y+ λ4y =0 (3) u/ z = z + λz =0 Έστω (x 0, y 0, z 0 ) μία λύση του προβλήματος. (4) Αν z 0 0 τότε από (4) λ=. Για να ισχύει λ= πρέπει x=y=0 από (), (3). Στην περίπτωση αυτή η () δίνει z 0 = - ΑΤΟΠΟ Ως εκ τούτου απαιτείται z 0 = 0 για κάθε λύση. Αν x 0 τότε από (), λ= - που σημαίνει y=z=0 από (3), (4). Στην περίπτωση αυτή η () δίνει x 0 = =>x 0 =± Έχουμε επομένως δύο λύσεις που ικανοποιούν τις εξισώσεις : (,0,0) και (-,0,0) Ομοίως αν y 0 τότε από (3) λ=-/ που σημαίνει x=z=0 από (),(4) Στην περίπτωση αυτή η () δίνει y 0 =± / Προκύπτουν έτσι δύο ακόμα λύσεις : (0, /,0) και (0,- /,0) 0
ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ ΜΕΘΟΔΟΙ ΕΠΙΛΥΣΗΣ Χωρίς περιορισμούς Οι κλασικές μέθοδοι επίλυσης προβλημάτων χωρίς περιορισμούς είναι οι μέθοδοι της μέγιστης καθόδου, των συζυγών κλίσεων και η μέθοδος Newton. Οι μέθοδοι αυτόι ακολουθούν ένα επαναληπτικό σχήμα της μορφής : x (g) = x (g-) + a (g) s (g) Όπου a είναι το μήκος βήματος s η διεύθυνση κατά την οποία γίνεται η έρευνα για το βέλτιστο στην επανάληψη g x (g), x (g-) είναι η προσέγγιση του βέλτιστου σχεδιασμού κατά την επανάληψη g- και g αντιστοιχα. Απαιτείται επίσης: ο υπολογισμός του διανύσματος κλίσης της αντικειμενικής συνάρτησης F(x) Το μητρώο Hess F(x) 0
Το διάνυσμα κλίσης για έναν σχεδιασμό x δίνεται από την σχέση: f f f f ( x) =... Όπου n το πλήθος των μεταβλητών σχεδιασμού. x Το μητρώο Hess της αντικειμενικής συνάρτησης για το σχεδιασμό x δίνεται από τη σχέση: x x n f f f x x x x x f f f f( x) = x x x x x f f f xn x xn x xn n n 03
Το διάνυσμα κλίσης της ΠΑΡΑΔΕΙΓΜΑ f = x +(x ) 3-3x (x 3 ) είναι f = (5-3(x 3 ), 6(x ) 3, -6x x 3 ) To μητρώο Hess της ίδιας συνάρτησης είναι : f = (5-3(x 3 ), 6(x ) 3, -6x x 3 ) 0 0 6x 3 f = 0 x 0 6x 0 6x 3 04
ΜΕΘΟΔΟΣ ΤΗΣ ΜΕΓΙΣΤΗΣ ΚΑΘΟΔΟΥ (Steepest Descent) Πρόκειται για μια απλή μέθοδο που χρησιμοποιεί το διάνυσμα κλίσης (θετικό για μεγιστοποίηση, αρνητικό για ελαχιστοποίηση) της αντικειμενικής συνάρτησης. Η διεύθυνση έρευνας δίνεται από τη σχέση : s (g) =± F (x (g-) ) Έτσι: x (g) = x (g-) ± a (g-) F (x (g-) ) Επειδή η κλίση είναι ο ρυθμός μεταβολής της συνάρτησης στο σημείο αυτό, η χρήση της κλίσης βοηθά στη μείωση του αριθμού των επαναλήψεων που απαιτούνται. F(x) =5 - F (x k ) F(x) =0 F(x) =5 x k F (x k ) 05
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ ΜΕΓΙΣΤΗΣ ΚΑΘΟΔΟΥ Σκοπός είναι η ελαχιστοποίηση της συνάρτησης f(x, x, x 3 ) = (x ) + x ( x ) + (x ) x x 3 + (x 3 ) + x 3 Επιλέγουμε 0 x 0 0 0 f(x)= [x +(-x ),-x +x -x 3,-x +x 3 +] = s 0 = - f(x 0 )= -[(0)+-0, -0+0-0, -0+0+]=-[,0,]= [-,0,-] Άρα x = [0,0,0]+ a o [-,0,-] = [- a o,0,- a o ] 06
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ ΜΕΓΙΣΤΗΣ ΚΑΘΟΔΟΥ Στη συνέχεια πρέπει να καθοριστεί το a o f(x )=(a o ) + (-a o )()+0-0+(a o ) +(-a o ) =(a o ) -(a o ) df(x )/da o = 4(a o )- Θέτω ίσο με μηδέν και επιλύω: 4(a o )= => a o = /4 = ½ Έτσι : x = [0,0,0]+ a o [-,0,-]= [0,0,0]+[-/,0,-/] => x =[-/,0,-/] 07
ΜΕΘΟΔΟΣ ΤΩΝ ΣΥΖΥΓΩΝ ΚΛΙΣΕΩΝ (Conjugate gradient) Η διεύθυνση έρευνας s (g) για g επαναλήψεις δίνεται από τη σχέση s g+ = f ( x g+ ) + s g T g f ( x T f ( x ) f ) f Η μέθοδος των συζυγών κλίσεων συγκλίνει σε ακριβώς n επαναλήψεις αν η αντικειμενική συνάρτηση είναι τετραγωνικής μορφής σε αντίθετη περίπτωση η μέθοδος συγκλίνει σε περίπου n επαναλήψεις. Όπου n ο αριθμός των μεταβλητών στο διάνυσμα x. ΜΕΘΟΔΟΣ NEWTON Μια επαναληπτική έκφραση για τη μέθοδο Newton είναι η εξής : x g+ = x g - [ f(x g )] - f(x g ) Όπου g ο αριθμός των επαναλήψεων. Η μέθοδος χρησιμοποιεί το διάνυσμα κλίσης και το μητρώο Hess γεγονός που μειώνει τις επαναλήψεις αλλά αυξάνει τους υπολογισμούς σε κάθε επανάληψη. + g ( x ( x g+ g ) ) 08
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ NEWTON Σκοπός είναι η ελαχιστοποίηση της συνάρτησης f(x, x, x 3 ) = (x ) + x ( x ) + (x ) x x 3 + (x 3 ) + x 3 ΕΠΙΛΥΣΗ f(x)= [x +(-x ),-x +x -x 3,-x +x 3 +] Το μητρώο Hess είναι : f ( x) = 0 0 09
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ NEWTON Το αντίστροφο του μητρώου Hess είναι : Επιλέγουμε : 0 [ ] = = 4 3 4 4 4 3 0 0 ) ( x f = 0 0 0 0 x
ΠΑΡΑΔΕΙΓΜΑ ΜΕΘΟΔΟΥ NEWTON Και υπολογίζουμε το διάνυσμα κλίσης για την η επανάληψη : f(x 0 )=[0-0+, -0+0-0, -0+0+] => f(x 0 )=[,0,] Το καινούργιο x είναι: 0 0 0 x = x f( x ) f( x ) 3 0 4 4 = 0 0 0 3 4 4 Άρα : x = Υπολογίζουμε το νέο διάνυσμα κλίσης f(x )= [-++, -+, -+]= [0,0,0] Εφόσον το διάνυσμα κλίσης ισούται με 0 η μέθοδος συγκλίνει.
ΜΕΤΑΕΥΡΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ Πιο δημοφιλείς μεταευρεστικοί αλγόριθμοι : Μέθοδος Στρατηγικών Εξέλιξης Μέθοδος των Γενετικών Αλγορίθμων Μέθοδος του Σμήνους Σωματιδίων Μέθοδος της Αποικίας Μυρμηγκιών Διαχειρίζονται έναν πληθυσμό από λύσεις ταυτόχρονα. Βασικό πλεονέκτημα είναι ότι λόγω του τυχηματικού τους χαρακτήρα δεν εγκλωβίζονται σε τοπικά ελάχιστα. Εντοπίζουν την περιοχή της καθολικά βέλτιστης λύσης. Βασικό μειονέκτημα είναι ότι απαιτούν μεγάλο πλήθος υπολογισμών της αντικειμενικής συνάρτησης.
ΜΕΤΑΕΥΡΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ 3
ΜΗ ΓΡΑΜΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΕΝΟΣ ΚΡΙΤΗΡΙΟΥ ΜΕΘΟΔΟΙ ΕΠΙΛΥΣΗΣ Με περιορισμούς Μαθηματική διατύπωση προβλήματος βελτιστοποίησης με περιορισμούς Opt(min/max) F(x) s.t. h j (x)=0, j=,,p g i (x) 0, i=,,m Κλασσικές μεθοδολογίες επίλυσης Άμεσες μέθοδοι Έμμεσες μέθοδοι 4
ΣΥΝΘΗΚΕΣ KUHN-TUCKER Το πρόβλημα βελτιστοποίησης με περιορισμούς μπορεί να μετατραπεί σε πρόβλημα χωρίς περιορισμούς ως εξής L( x*, λ) = F( x) + Όπου L(x,λ) η συνάρτηση Lagrange της F και λ, λ οι συντελεστές Lagrange. Αναγκαία αλλά όχι ικανή συνθήκη για να αποτελεί ο x* βέλτιστο (τοπικό ή ολικό) F( x*) + j= Αν ο σχεδιασμος x* είναι τοπικό βέλτιστο τότε ισχύουν οι συνθήκες Kuhn-Tucker Ο σχεδιασμός x* είναι εφικτός. λ i g i (x*) =0, i=,,m και λ i 0 p λ L( x*, ) = F( x) + j= p p j= λ ( x*) + j j λ i h λ ( x*) + j j λ i h ( x*) = 0 Οι συνθήκες Kuhn-Tucker είναι αναγκαίες συνθήκες για βέλτιστο. Όταν η εφικτή περιοχή είναι κυρτή, οι συνθήκες είναι και ικανές. m i= λ h ( x*) + j j λ i m i= g i m i= ( x*) = 0 g g i i ( x*) = 0 5
ΠΑΡΑΔΕΙΓΜΑ KUHN-TUCKER min(x -) +(x -) s.t. -x +x = x +x F(x)=(x -) +(x -) g(x)= x +x - h(x)= -x +x - Σχηματίζουμε την εξίσωση Lagrange : L(x,λ,μ,s)= (x -) +(x -) +λ(x +x -+s )+μ(-x +x -) Τότε : L ( x ) + λ µ = 0 x L ( x ) λ µ 0 x + + = L x+ x + s = 0 3 λ L x+ x = 0 4 µ L λs 0 5 s = λ 0 s 0 6
ΠΑΡΑΔΕΙΓΜΑ KUHN-TUCKER η υπόθεση Αν s>0 τότε από 5 προκύπτει ότι λ=0 Από, => x -μ-=0 x +x -3=0 --> 6 x +μ-4=0 Από 4,6 => x =, x = Από 3 => s <0 Επομένως οι συνθήκες K-T δεν ικανοποιούνται. η υπόθεση Αν s=0 τότε από 5 προκύπτει ότι λ>0 Από 3,4 => x =/, x =3/ Από, προκύπτει λ=, μ=0 Ικανοποιούνται οι συνθήκες Κ-Τ και εφόσον η εφικτή περιοχή είναι κυρτή πρόκειται για ολικό βέλτιστο. 7
ΤΕΤΡΑΓΩΝΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Η μέθοδος αυτή χρησιμοποιεί γραμμικοποιημένες συναρτήσεις περιορισμού τετραγωνική προσέγγιση της αντικειμενικής συνάρτησης για την μόρφωση και επίλυση ενός τετραγωνικού υποπροβλήματος. Κάθε υποπρόβλημα είναι της μορφής Min /p T H p+ c T p s.t. A p+h(x)=0 A p+g(x) 0 Όπου: p: το διάνυσμα κατεύθυνσης το οποίο πρέπει κάθε φορά να βρίσκεται μεταξύ κάποιων ορίων =, = x x x c: το διάνυσμα των παραγώγων της αντικειμενικής συνάρτησης ως προς τις μεταβλητές σχεδιασμού Α: το Ιακωβιανό μητρώο των συναρτήσεων περιορισμού Η: το μητρώο Ηessian της συνάρτησης lagrangian. x u s u s 8
ΤΕΤΡΑΓΩΝΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Μέθοδοι επίλυσης του QP υποπροβλήματος Κύρια Δυϊκή Επιλέγεται η χρήση μιας κύριας μεθόδου τύπου Newton-Lagrange η οποία χωρίζεται σε τρείς φάσεις i.επίλυση του QP υποπροβλήματος για την εύρεση του διανύσματος κατεύθυνσης. ii.έρευνα γραμμής κατά μήκος του διανύσματος κατεύθυνσης p. iii.προσαρμογή του μητρώου Hessian H. 9
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα Πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοιχτά Ακαδημαϊκά Μαθήματα Ε.Μ.Π.» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση.