(S k R n ) (C k R m )

Transcript

1 KΕΦΑΛΑΙΟ 7 υναµικός Προγραµµατισµός 7.1 ΕΙΣΑΓΩΓΗ Η θεωρία αποφάσεων διακρίνεται σε δύο µεγάλες κατηγορίες, µε βάση το αν ο υπεύθυνος απόφασης είναι µοναδικός φορέας ή πολλοί φορείς. Μέχρι τώρα αναπτύχθηκαν µέθοδοι της πρώτης κατηγορίας, οι οποίες µπορεί να διακριθούν σε στατικές ή µονοσταδιακές και σε σειριακές ή πολυσταδιακές όπου ο χρόνος µπορεί να είναι διακριτός ή συνεχής. Στο στατικό πρόβληµα αφορά την ελαχιστοποίηση της συνάρτησης κόστους που είναι µια συνάρτηση του διανύσµατος µεταβλητών απόφασης min J(u) u R n u Στο σειριακό πρόβληµα το διάνυσµα των µεταβλητών κατάστασης του συστήµατος εξελίσσεται στον χρόνο ή στον χώρο σύµφωνα µε ένα σύστηµα εξισώσεων στις οποίες εµπλέκονται και οι µεταβλητές απόφασης. Η συνάρτηση κόστους είναι το άθροισµα του κόστους µετάβασης σε κάθε σταδίου και τελικά εξαρτάται από τη (γνωστή) αρχική κατάσταση και τις τιµές των µεταβλητών απόφασης σε κάθε στάδιο. Για το µη γραµµικό σύστηµα x + 1 = f (x, u ) µε συνάρτηση κόστους µετάβασης g = g (x, u ) το συνολικό κόστος είναι N-1 J( u) = G N (x ) + g (x,u ) = G Φ (x,u) + J(x,u) 4 3 Κόστος N N ( N 0 ) κόστος τελική ς κατάστασης = 0 κόστοςενδιάµεσης κατάστασης συνάρτηση µόνο των αποφάσεων u Ζητείται να βρεθεί η σειρά αποφάσεων (πολιτική) u που ελαχιστοποιεί το κόστος: min J(u) u Η λύση του παραπάνω προβλήµατος αναπτύχθηκε ήδη στο Κεφάλαιο 3 σαν εφαρµογή για εξάσκηση 3.4 για τον βέλτιστο έλεγχο, χρησιµοποιώντας κλασσικές µεθόδους βελτιστοποίησης. Η προσέγγιση αυτή απαιτεί οι συναρτήσεις να είναι συνεχείς και παραγωγίσιµες και να µην υπάρχουν περιορισµοί. Ο δυναµικός προγραµµατισµός (.Π.) είναι µια µέθοδος που διαχωρίζει το πρόβληµα πολυσταδιακής βελτιστοποίησης σε µια σειρά προβληµάτων µονοσταδιακής βελτιστοποίησης που µπορεί να επιλυθούν µε µια από τις ήδη

2 γνωστές µεθόδους. Ο διαχωρισµός γίνεται µε τέτοιο τρόπο ώστε η βέλτιστη λύση του αρχικού προβλήµατος να µπορεί να προκύψει από τις βέλτιστες λύσεις των επί µέρους προβληµάτων, η µέθοδος επίλυσης των οποίων δεν επηρεάζει το αποτέλεσµα. Παράδειγµα 7.1 Έστω ένας ταµιευτήρας και x = στάθµη του νερού στον ταµιευτήρα τη χρονική στιγµή (µεταβλητή κατάστασης), η στάθµη x 0 τη χρονική στιγµή 0 είναι γνωστή r = εισροή νερού στον ταµιευτήρα τη χρονική στιγµή, (µεταβλητή εισόδου), γνωστή για = 0, Ν u = εκροή από τον ταµιευτήρα τη χρονική στιγµή (µεταβλητή απόφασης), ζητούµενο για = 0, Ν Εξίσωση κατάστασης (ισοζύγιο µάζας ταµιευτήρα): x +1 = x - u + r = 0, Ν-1 και x 0 γνωστό g (x, u ) = κόστος απόφασης για εκροή u τη στιγµή Συνολικό Κόστος = J(u) = g (x ) N N 123 κόστος τελική ς κατάστασης + N-1 Την χρονική στιγµή : είναι γνωστή η κατάσταση x λαµβάνεται η απόφαση u υπολογίζεται το κόστος g (x, u ) δηµιουργείται η νέα κατάσταση x +1 g (x,u ) = 0 κόστος ενδιάµεσης µετάβασης 7.2 ΑΛΓΟΡΙΘΜΟΣ ΥΝΑΜΙΚΟΥ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΥ Ορισµός: Πολιτική π = {µ 0,, µ Ν-1 } είναι ένα σύνολο συναρτήσεων που προσδιορίζει τις τιµές των µεταβλητών απόφασης u από τις τιµές των µεταβλητών κατάστασης x, δηλαδή u = µ (x ) Το πρόβληµα είναι να ελαχιστοποιηθεί το κόστος για όλες τις δυνατές πολιτικές π min J (x0) = J (x0) π π Έστω S = το σύνολο όλων των δυνατών καταστάσεων τη χρονική στιγµή (S R n ) C = το σύνολο όλων των δυνατών αποφάσεων τη χρονική στιγµή (C R m )

3 Για κάθε x S u = µ (x ) C U (x ) = το σύνολο όλων των εφικτών αποφάσεων τη χρονική στιγµή, αν η κατάσταση είναι x (δηλαδή λαµβάνει υπόψη τους περιορισµούς του προβλήµατος, U (x ) C ). Ορισµός: Αποδεκτή Πολιτική π = {µ 0,, µ Ν-1 } είναι ένα σύνολο συναρτήσεων που έχουν πεδίο τιµών το σύνολο U (x ) ή µ : S C και µ (x ) U (x ) x S Αναδροµική µορφή του Κόστους Μετάβασης Θεώρηµα: Το κόστος ενδιάµεσης µετάβασης εξαρτάται µόνο από την τρέχουσα κατάσταση τη χρονική στιγµή και παίρνει τη µορφή (η υπογράµµιση των διανυσµάτων παραλείπεται στο εξής) J (x ) = g (x, u ) + J +1 (f (x, u )) Απόδειξη J Ν = g Ν (x Ν ) = J Ν (x Ν ) J Ν-1 = g Ν (x Ν ) + g Ν-1 (x Ν-1, u Ν-1 ) = g Ν-1 (x Ν-1, u Ν-1 ) + J Ν (x Ν ) = g Ν-1 (x Ν-1, µ Ν-1 (x Ν-1 )) + J Ν (f Ν(x Ν-1, µ Ν-1 (x Ν-1 ))) = J Ν-1(x Ν-1 ) J Ν-2 = g Ν (x Ν ) + g Ν-1 (x Ν-1, u Ν-1 ) + g Ν-2 (x Ν-2, u Ν-2 ) = g Ν-2 (x Ν-2, u Ν-2 ) + J Ν-1(x Ν-1 ) = g Ν-2 (x Ν-2, µ Ν-2 (x Ν-2 )) + J Ν-1 (f Ν-1(x Ν-2, µ Ν-2 (x Ν-2 ))) = J Ν-2(x Ν-2 ) κ.λπ. Σύµφωνα µε το προηγούµενο θεώρηµα το πρόβληµα ελαχιστοποίησης σε κάθε στάδιο γράφεται J Ν (x Ν ) = g Ν (x Ν ) J (x ) = min [g (x, u ) + J +1 (f (x, u ))] = N-1, N-2,...,0 u U (x ) όπου J (x ) = J (x ) = βέλτιστο κόστος για το πρόβληµα αρχίζοντας από την κατάσταση x τη χρονική στιγµή και έτσι J 0 (x 0 ) = J (x 0 ) = ελάχιστο κόστος µετάβασης από x 0 σε x Ν Θεώρηµα (Βασικό του.π.) Εάν π = { µ 0,..., µ Ν-1 } έτσι ώστε µ (x ) επιτυγχάνει το ελάχιστο για κάθε x τότε η π είναι η βέλτιστη πολιτική 3

4 Αλγόριθµος (προς τα πίσω) J Ν (x Ν ) = g Ν (x Ν ) Για = N-1, N-2,...,0 Για κάθε x S Για κάθε u U (x ) υπολόγισε το J (x ) = g (x, u ) + J +1 (x +1 ) και ελαχιστοποίησε το ως προς u J (x ) Αρχή Βελτιστότητας Εάν η { µ 0,..., µ Ν-1 } είναι βέλτιστη για το αρχικό πρόβληµα, τότε η {µ,..., µ Ν-1 } είναι βέλτιστη για το πρόβληµα που αρχίζει τη στιγµή Η αρχή αυτή προτάθηκε από τον R. Bellman, ο οποίος από τις αρχές της δεκαετίας του 1950 ανέπτυξε τη θεωρία του.π. σε 60 βιβλία και 600 άρθρα περιοδικών. Είναι χαρακτηριστικό της ιδιοµορφίας της εργασίας του ότι η πρώτη δηµοσίευση του για το.π. απορρίφθηκε σαν απλοϊκή. Το Θεώρηµα και η Αρχή Βελτιστότητας σηµαίνουν ότι η βέλτιστη πολιτική θα αποφέρει ελάχιστο κόστος µετάβασης στην τελική κατάσταση από οποιοδήποτε ενδιάµεσο στάδιο. Η απόδειξη της Αρχής της Βελτιστότητας χρησιµοποιεί τις εξής δύο προτάσεις: 1) min [h 1 (x) + h 2 (x, y)] = min [h 1 (x) + min h 2 (x, y)] x y 2) x, y min [h(x, µ(x)] = µ min [h(x,u)] u Απόδειξη µε µαθηµατική επαγωγή προς τα πίσω Για i = N J Ν (x Ν ) = g Ν (x Ν ) = J (x Ν ) Έστω ισχύει για i+1 Για i έχουµε J i+1 (x i+1 ) = J (x i+1 ) = J (x i ) = {µ i,..., µ -Ν -1} min {µ i+ 1,..., µ -Ν -1} N-1 min [g N (x N ) + = i N-1 [g N (x N ) + = i+ 1 g (x, µ (x ))] g (x, µ (x ))]

5 5 = min [g i (x i, µ i (x i )) + g N (x N ) + {µ i,..., µ -Ν -1} N-1 = i+ 1 g (x, µ (x ))] συνάρτηση του µ i συνάρτηση του µ i+1,..,µ Ν-1 χρησιµοποιώντας την (1) = min g i (x i, µ i (x i )) + µ i min {µ i+ 1,..., µ -Ν -1} N-1 [g N (x N ) + = i+ 1 = min g i (x i, µ i (x i )) + J (x i+1 ) µ i = min g i (x i, µ i (x i )) + J i+1 (x i+1 ) µ i χρησιµοποιώντας την (2) = min g i (x i, u i ) + J i+1 ( f i(x i, u i )) = J i (x i) u i Ui (x i ) g (x, µ (x ))] Πολυπλοκότητα Αλγόριθµος.Π. C x S x N Εξαντλητικός υπολογισµός για κάθε S C C S Για Ν στάδια π = { µ 0,..., µ Ν-1 } { C S } Ν = C S Ν Εποµένως ο αλγόριθµος.π. είναι πολύ ταχύτερος, όµως για µεγάλο αριθµό µεταβλητών απόφασης και πολλά στάδια ο υπολογιστικός φόρτος µπορεί να είναι τεράστιος ( curse of dimensionality ). Παράδειγµα Συντοµότερη διαδροµή σε δίκτυο Ζητείται ο αγωγός µε το ελάχιστο κόστος ανάµεσα στα Α-Ζ όπου τα κόστη µετάβασης είναι όπως αναγράφονται στην εικόνα: A C 1 D 1 B B 2 11 C B 3 14 C 3 14 κανένας βρόγχος δεν έχει αρνητικό κόστος (αλλοιώς το κόστος ελαχιστοποιείται επαναλαµβάνοντας τον βρόγχο αυτόν πολλές φορές πριν την άφιξη) αν η σύνδεση ij δεν υπάρχει θέτουµε c ij = άπειρο λαµβάνεται c ii = 0 D 2 D Z

6 κατάσταση x = κόµβος στο στάδιο στάδιο µετάβαση µεταξύ κόµβων έλεγχος απόφαση ποιά είναι η επόµενη κατάσταση δυναµική εξίσωση x +1 = u κόστος g (x, u ) = c x u = cij αν x N = A 0 αν x N = Z J (x ) = min [ c + J +1 (u )] ή J (i) = αλγόριθµος.π. J Ν (x Ν ) = g Ν (x Ν ) = u x u κόστος να φτάσουµε στον κόµβο j ξεκινώντας από τον i στάδιο κατάσταση απόφαση νέα κατάσταση κόστος min [c ij + J +1 (j)] = βέλτιστο j κόστος µέχρι τώρα ολικό κόστος i j j c ij J j 4 D 1 Z Z D 2 Z Z D 3 Z Z C 1 D 1 D D 2 D D 3 D C 2 D 1 D D 2 D D 3 D C 3 D 1 D D 2 D D 3 D B 1 C 1 C C 2 C C 3 C B 2 C 1 C C 2 C C 3 C B 3 C 1 C C 2 C C 3 C A B 1 B B 2 B B 3 B Βέλτιστη πολιτική: Α [10] Β 1 [8] C 1 [8] D 1 [9] Z f =35 ή Α [10] Β 1 [9] C 3 [7] D 1 [9] Z f =35 Εξαντλητικός υπολογισµός: 3 3 = n N-1 N 3 υναµικός Προγραµµατισµός: 3x3x2 + 3x2 = (N-2) n 2 + 2n (N ο αριθµός των σταδίων, n ο αριθµός των κόµβων σε κάθε ενδιάµεσο στάδιο)

7 7 Παράδειγµα Σύστηµα Ύδρευσης Συνολική διαθέσιµη ποσότητα νερού Q = 5. Ζητείται να γίνει βέλτιστη διάθεση σε τρεις καταναλωτές j = 1, 2, 3 όταν είναι γνωστό ότι b j x j Οφέλη B = a (1 e ) Κόστη d C = c j j x j j j a j b j c j d j Η λύση θα προκύψει σε 3 στάδια, όπου σε κάθε στάδιο θα ληφθεί απόφαση για έναν καταναλωτή. Μεταβλητή κατάστασης S j = διαθέσιµο νερό στο στάδιο j Μεταβλητή απόφασης x j = νερό που διατέθηκε στον j καταναλωτή (στάδιο) Εξίσωση κατάστασης S j+1 = S j - x j Αντικειµενική συνάρτηση g (x ) = a (1 e j j j b jx j ) c j x d j j Αλγόριθµος υναµικού Προγραµµατισµού J Ν (S Ν ) = g Ν (S Ν ) = 0 J j (x j ) = max [g j (x j ) + J j+1 ( S j - x j )] j = N-1, N-2,...,0 x j S 1 = 5 S 2 = S 1 - x 1 S 3 = S 2 - x 2 S 4 = S 3 x 3 Στάδιο 1 x 1 g 1 (x 1 ) Στάδιο 2 x 2 g 2 (x 2 ) Στάδιο 3 x 3 g 3 (x 3 ) x 1 = 0 x 2 = 1 x 3 = 4 f = 18

8 S 3 x 3 S 4 g 3 (x 3,S 3 ) J 4 (S 4 ) J 3 (S 3 ) J 3 (S 3 ) x S 2 x 2 S 3 g 2 (x 2, S 2 ) J 3 (S 3 ) J 2 (S 2 ) J 2 (S 2 ) x S 1 x 1 S 2 g 1 (x 1, S 1 ) J 2 (S 2 ) J 1 (S 1 ) J 1 (S 1 ) x

9 9 Αλγόριθµος προς τα µπρος J +1 (s +1 ) = max [g (x, s ) + J (s )] x S 1 x 1 S 2 g 1 (x 1, S 1 ) J 1 (S 1 ) J 2 (S 2 ) J 2 (S 2 ) S S 2 x 2 S 3 g 2 (x 2, S 2 ) J 2 (S 2 ) J 3 (S 3 ) J 3 (S 3 ) S S 3 x 3 S 4 g 3 (x 3, S 3 ) J 3 (S 3 ) J 4 (S 4 ) J 4 (S 4 ) S

10 Παράδειγµα 7.4 υναµικός Προγραµµατισµός µε πολλές µεταβλητές κατάστασης Ένας εργολάβος χρησιµοποιεί ζεύγη προωθητή-εκσκαφέα για να διεκπεραιώνει εκσκαφές. Καθώς ο προωθητής ή ο εκσκαφέας παλιώνει, το ετήσιο κέρδος από το ζεύγος µειώνεται, εξαιτίας του αυξηµένου κόστους συντήρησης. Απλοποιώντας το πρόβληµα, ας υποθέσουµε ότι ο εργολάβος δε χρησιµοποιεί τον προωθητή πάνω από 4 έτη και τον εκσκαφέα πάνω από 2 έτη και ότι το εκτιµώµενο καθαρό κέρδος από το ζεύγος, ανάλογα µε την ηλικία των µηχανηµάτων, είναι όπως στον πίνακα: Ηλικία προωθητή Ηλικία εκσκαφέα Καθαρό κέρδος (χιλιάδες $) Το κόστος ενός νέου προωθητή ή εκσκαφέα είναι $9,000 και $3,000 αντίστοιχα. Αντικαταστάσεις στο τέλος του έτους i χρεώνονται στο ίδιο έτος. Στο τέλος κάθε έτους ο εργολάβος επιλέγει µια από τις εξής τέσσερις πολιτικές: Κόστος (χιλιάδες $) Κ Καµµία αντικατάσταση 0 Π Αντικατάσταση µόνο του προωθητή 9 Ε Αντικατάσταση µόνο του εκσκαφέα 3 Αντικατάσταση και των δύο 12 Να προσδιοριστεί η πολιτική αντικατάστασης που µεγιστοποιεί το κέρδος για µια δεδοµένη χρονική περίοδο (ορίζοντας σχεδιασµού Ν). Να επιλυθεί το πρόβληµα για Ν = 4. Η λύση θα προκύψει σε 4 στάδια, όπου σε κάθε στάδιο θα ληφθεί η απόφαση αντικατάστασης. Μεταβλητή κατάστασης: S i = [s 1i s 2i ] T = ηλικία προωθητή 1 ή εκσκαφέα 2 στην αρχή του έτους i υνατές αποφάσεις: U i = {Κ, Π, Ε, } = σύνολο αποφάσεων στο τέλος του έτους i Μεταβλητές απόφασης: u i = [u 1i u 2i ] T = µεταβολή στην ηλικία προωθητή 1 ή εκσκαφέα 2 λόγω της απόφασης αντικατάστασης στο τέλος του έτους i, εποµένως U i = {Κ, Π, Ε, } = {[0,0] Τ, [-(s 1i + 1), 0] Τ, [0, -(1 + s 2i )] Τ, [-(s 1i + 1), -(1 + s 2i )] Τ } Εξίσωση κατάστασης S i+1 = S i u i

11 Αντικειµενική συνάρτηση g i (S i, x i ) = Κέρδος από την κατάσταση S i - Κόστος απόφασης x i 11 Αλγόριθµος υναµικού Προγραµµατισµού J Ν (S Ν ) = g Ν (S Ν ) = 0 J i (x i ) = max [g i (S i, x j ) + J j+1 (S i+1 )] j = N-1, N-2,...,0 1 x i S 3 x 3 S 4 g 3 (x 3, S 3 ) J 4 (S 4 ) J 3 (S 3 ) J 3 (S 3 ) x 3 [0,0] Κ [1,1] Κ [1,0] Κ [2,1] Κ [2,0] Κ [3,1] Κ [3,0] Κ [4,1] Κ [0,1] Κ [1,2] Κ [1,1] Κ [2,2] Κ [2,1] Κ [3,2] Κ [3,1] Κ [4,2] Κ Είναι προφανές ότι οι καταστάσεις αυτές δεν είναι δυνατές µε βάση τους κανόνες αντικατάστασης των µηχανηµάτων. Όµως επειδή η τελική κατάσταση δεν ενδιαφέρει, η βέλτιστη πολιτική για το τελευταίο έτος είναι να µη γίνει καµιά αντικατάσταση πράγµα που έχει µηδενικό κόστος. S 2 x 2 S 3 g 2 (x 2, S 2 ) J 3 (S 3 ) J 2 (S 2 ) J 2 (S 2 ) x 2 [0,0] Κ [1,1] Κ Π [0,1] Ε [1,0] [0,0] [1,0] Κ [2,1] Κ Π [0,1] Ε [2,0] [0,0] [2,0] Κ [3,1] Κ Π [0,1] Ε [3,0] [0,0] [3,0] Κ --- Π [0,1] Π Ε ---- [0,0] [0,1] Κ ---- Ε [1,0] Ε [0,0] [1,1] Κ ---- Ε [2,0] Ε [0,0]

12 [2,1] Κ ---- Ε [3,0] Ε [0,0] [3,1] Κ ---- Ε ---- [0,0] S 1 x 1 S 2 g 1 (x 1, S 1 ) J 2 (S 2 ) J 1 (S 1 ) J 1 (S 1 ) x 1 [0,0] Κ [1,1] Κ Π [0,1] Ε [1,0] Ε [0,0] [1,0] Κ [2,1] Π [0,1] Π Ε [2,0] [0,0] [2,0] Κ [3,1] Π [0,1] Π Ε [3,0] [0,0] [3,0] Κ --- Π [0,1] Π Ε ---- [0,0] [0,1] Κ ---- Ε [1,0] Ε [0,0] [1,1] Κ ---- Ε [2,0] [0,0] [2,1] Κ ---- Ε [3,0] [0,0] [3,1] Κ ---- Ε ---- [0,0] S 0 x 0 S 1 g 0 (x 0, S 0 ) J 1 (S 1 ) J 0 (S 0 ) J 0 (S 0 ) x 0 [0,0] Κ [1,1] Κ Π [0,1] Ε [1,0]

13 [0,0] [1,0] Κ [2,1] Κ Π [0,1] Π Ε [2,0] [0,0] [2,0] Κ [3,1] Π [0,1] Π Ε [3,0] [0,0] [3,0] Κ --- Π [0,1] Π Ε ---- [0,0] [0,1] Κ ---- Ε [1,0] Ε [0,0] Κ ---- [1,1] Ε [2,0] Ε [0,0] [2,1] Κ ---- Ε [3,0] [0,0] [3,1] Κ ---- Ε ---- [0,0] Εποµένως η πολιτική αντικατάστασης που µεγιστοποιεί το κέρδος για ορίζοντα σχεδιασµού Ν = 4 είναι: [0,0] Κ [1,1] [0,0] Κ [1,1] = $24 χιλιάδες Παρατηρήσεις (1) Ο αλγόριθµος προς τα πίσω είναι σαφές ότι µπορεί να επεκταθεί για οποιοδήποτε ορίζοντα σχεδιασµού. (2) Μια πιο λεπτοµερής ανάλυση µπορεί να χρησιµοποιήσει αποπληθωρισµό των καθαρών εσόδων. (3) Σε µια γενικότερη ανάλυση τα κόστη αντικατάστασης και οι δυνατότητες παραγωγής µπορεί να µεταβάλλονται για κάθε έτος (Bellman R., and S.E. Dreyfus, Applied Dynamic Programming, Princeton University Press, Princeton, New Jersey, 1962, σ. 118).

14 Παράδειγµα 7.5 Αντικειµενική συνάρτηση µε µορφή γινοµένου Η επαναληπτική σχέση του αλγόριθµου του δυναµικού προγραµµατισµού µπορεί να προκύπτει σαν γινόµενο του κόστους µετάβασης για κάθε στάδιο. Για παράδειγµα, σε συστήµατα που αποτελούνται από πολλές συνιστώσες σε σειρά (κινητήρας-αντλία-στρόβιλος) η συνολική απόδοση είναι το γινόµενο των αποδόσεων των επί µέρους στοιχείων, οι οποίες είναι αυξανόµενες συναρτήσεις του κόστους. Ας υποθέσουµε ότι υπάρχουν διαθέσιµες C χρηµατικές µονάδες για τη λειτουργία ενός συστήµατος µε n συνιστώσες. Η απόδοση της i συνιστώσας είναι E i = E i (C i ). Ζητείται να προσδιοριστούν τα κόστη C i ώστε η απόδοση του συστήµατος H C) = E ( C ) να είναι µέγιστη, όπου C = n C i i= 1 n ( i i i= 1 Για ένα σύστηµα µε δύο συνιστώσες Η 2 (C) = E 2 (C 2 ) H 1 (C - C 2 ) ενώ γενικά ισχύει Η n (C) = E n (C n ) H n-1 (C C n ) Σε µια απλή περίπτωση εάν ισχύει E i (C i ) = a C i + b ή (µε a =1, b = 0) E i (C i ) = C i έχουµε: n = 1 n = 2 max Η 1 (C) = E 1 (C 1 ) = C 1 Η 1 (C) = C c 1 maxη 2 (C) = E 2 (C 2 ) H 1 (C - C 2 ) = C 2 (C - C 2 ) C 2 = C/2, c 2 Η 2 (C) = (C/2) 2 Έστω ότι για n = -1 ισχύει Η -1 (C) = C -1 1 n = maxη (C) = E (C ) H C C -1 (C C ) = C c -1, Η (C) = (C/) Απόδειξη: d Η (C ) = dc 2 C C -1 1 C C C C C -1-1 Η µέγιστη απόδοση είναι C C + C -1 2 (-1) n 1 = -1 1 = 0 C C C + C = 0 C = C/ C = C/

15 15 H C ( C) = C C -1 1 C = ( -1) C -1 H C ( C) = Εποµένως µε µαθηµατική επαγωγή, ισχύει C n = C/n, Η C n (C) = n, n = 1, 2, 3. n 1 C = C 7.3 ΓΡΑΜΜΙΚΟΣ-ΤΕΤΡΑΓΩΝΙΚΟΣ ΕΛΕΓΧΟΣ Ας υποθέσουµε γραµµική δυναµική εξίσωση συστήµατος και τετραγωνικό κριτήριο κόστους x +1 = A x + B u x 0 γνωστό, x R n u R m N-1 J = ½ x N T Q N x N + = 0 {½ x T Q x + ½ u T R u } ποινή κατάστασης ποινή απόφασης Q 0, R > 0 π J π 0 (για ελαχιστοποίηση οι µεταβλητές κατάστασης και απόφασης πρέπει να είναι κοντά στο µηδέν) Αλγόριθµος.Π. J N (x N ) = ½ x T N Q N x N J (x ) = min {½ x T Q x + ½ u T R u + J +1 (A x + B u ) } u για = N-1 J N-1 (x N-1 ) = = min {½ x N-1 T Q N-1 x N-1 + ½ u N-1 T R N-1 u N-1 + u N-1 ½ (A N-1 x N-1 + B N-1 u N-1 ) T Q N (A N-1 x N-1 + B N-1 u N-1 ) } min {½ x T N-1 Q N-1 x N-1 + ½ u T N-1 R N-1 u N-1 + u N-1 ½ (x T N-1 A T N-1 Q N A N-1 x N-1 )+ ½ (x T N-1 A T N-1 Q N B N-1 u N-1 )+ ½ (u T N-1 B T N-1 Q N A N-1 x N-1 )+ ½ (u T N-1 B T N-1 Q N B N-1 u N-1 )} (οι διαγώνιοι όροι είναι ίσοι ως ανάστροφοι και βαθµωτοί διαστάσεων (1,1)) = min {½ x T N-1 (Q N-1 + A T N-1 Q N A N-1 )x N-1 + u N-1 1

16 ½ u N-1 T (R N-1 + B N-1 T Q N B N-1 )u N-1 +(x N-1 T A N-1 T Q N B N-1 u N-1 )} dj N-1 /du N-1 = 0 = (R N-1 + B N-1 T Q N B N-1 )u N-1 + B N-1 T Q N A N-1 x N-1 u N-1 = - (R N-1 + B N-1 T Q N B N-1 ) -1 B N-1 T Q N A N-1 x N-1 = L N-1 x N-1 χρησιµοποιώντας αυτή την εξίσωση στη συνάρτηση J N-1 προκύπτει J N-1 (x N-1 ) = ½ x N-1 T K N-1 x N-1 όπου K N-1 = A N-1 T [Q N - Q N B N-1 (R N-1 + B N-1 T Q N B N-1 ) -1 B N-1 T Q N ] A N-1 + Q N-1 συµµετρικός πίνακας και K N-1 0, καθόσον J N-1 0 για = N-2 J N-2(x N-2 ) = min {½ x N-2T Q N-2 x N-2+ ½ u N-2T R N-2 u N-2 + u N-2 ½ (A N-2 x N-2 + B N-2 u N-2 ) T K N-1 (A N-2 x N-2 + B N-2 u N-2 ) } αλλαγές Ν-1 Ν-2, Q N Κ N-1 οπότε γενικά u = - (R + B T K +1 B ) -1 B T K +1 A x = L x J (x ) = ½ x T K x όπου K N = Q N K = A T [K +1 - K +1 B (R + B T K +1 B ) -1 B T K +1 ] A + Q (1) δοµή του προβλήµατος: γραµµικοί περιορισµοί και τετραγωνική συνάρτηση κόστους (2) η βέλτιστη µεταβλητή ελέγχου είναι γραµµική συνάρτηση της µεταβλητής κατάστασης σε κάθε χρονική στιγµή (L ) το βέλτιστο κόστος είναι τετραγωνική συνάρτηση της µεταβλητής κατάστασης σε κάθε χρονική στιγµή (Κ ) οι πίνακες L και Κ είναι συναρτήσεις των A, B, Q, R οπότε µπορεί να υπολογιστούν και αποθηκευτούν (ανεξάρτητοι από τη δυναµική σε πραγµατικό χρόνο) (3) οµή του ελέγχου

17 17 x u x +1 = A x + B u L το κόστος για εκκίνηση από το x τη στιγµή είναι J = ½ x T K x Είναι εµφανώς ένα απλό και εύχρηστο σύστηµα ελέγχου, αλλά είναι επιθυµητό το L να είναι ένας πίνακας χρονικά αµετάβλητος (σταθερό κέρδος): u = L x (4) Για γραµµικά χρονικά αµετάβλητα συστήµατα οι πίνακες A, B, Q, και R είναι χρονικά αµετάβλητοι, όµως οι L και Κ µεταβάλλονται χρονικά K = A T [K +1 - K +1 B(R+ B T K +1 B) -1 B T K +1 ] A+ Q L = - (R + B T K +1 B ) -1 B T K +1 A κάτω από ορισµένες συνθήκες καθώς άπειρο, L L και Κ Κ τότε χρειάζεται να επιλυθεί η αλγεβρική εξίσωση Ricatti (εξίσωση Πινάκων) K = A T [K - K B(R+ B T K B) -1 B T K ] A+ Q η οποία έχει περισσότερες από µία λύσεις, όµως µόνο µία είναι θετικά ηµιορισµένη ( 0). Παράδειγµα 7.6 Γραµµικός-τετραγωνικός έλεγχος H οικολογική ισορροπία µιας λίµνης απαιτεί η συγκέντρωση c µιας χηµικής ουσίας να µην αποµακρύνεται σηµαντικά από την τιµή c στη διάρκεια του καλοκαιριού. Αν δε ληφθούν µέτρα, η συγκέντρωση µειώνεται µε ρυθµό a ανάλογο της απόκλισης από την επιθυµητή τιµή c. Είναι δυνατόν να υπάρξει παρέµβαση, όπου για κάθε µονάδα της µεταβλητής ελέγχου u, η απόκλιση της συγκέντρωσης c αυξάνεται κατά β µονάδες. Η ποινή αποµάκρυνσης από την τιµή c και το κόστος ανά µονάδα της µεταβλητής u είναι q και r αντίστοιχα και αυξάνονται τετραγωνικά (q 0, r 0). Ζητείται η πολιτική (σειρά των τιµών της u) που πρέπει να εφαρµοστεί ώστε να επιτευχθεί το ελάχιστο κόστος. Κατάστρωση Λύσης Ορίζουµε x = c c την απόκλιση της συγκέντρωσης από την επιθυµητή τιµή κατά τη χρονική στιγµή.

18 Η δυναµική εξίσωση του συστήµατος είναι c +1 - c = c - c a (c - c) + β u x +1 = α x + β u x 0 = δ γνωστό όπου α = 1 a Το κόστος J δίδεται από την εξίσωση J N N = ½ q x N + {½ q x + ½ r u } = 0 Η λύση του προβλήµατος δίδεται από u = - (r+b 2 K +1 ) -1 ab K +1 x και το ελάχιστο κόστος αρχίζοντας από τη χρονική στιγµή της βέλτιστης λύσης είναι J = ½ K x 2 όπου η τιµή της Κ υπολογίζεται από την αναδροµική σχέση (εξίσωση Ricatti) K Ν = q K = α 2 [K +1 - β 2 K +1 2 (r+b 2 K +1 ) -1 ] + q = 0, 1, N-1 Ειδικές περιπτώσεις Χαµηλό κόστος µεταβλητής ελέγχου (q >> r) 2 u 0 = - b/a x 0 u = 0 = 1, 2, N-1 J 0 = ½ q x 0 K Ν = K = q Χαµηλή ποινή απόκλισης (q << r) K Ν = K = 0 u = 0 = 0, 1, N-1 J 0 = 0 ΠΡΟΒΛΗΜΑΤΑ ΓΙΑ ΕΞΑΣΚΗΣΗ 7.1 (Star Nichols) Μια εταιρεία παραγωγής αδρανών διαθέτει τέσσερα όµοια µηχανήµατα θραύσης-διαλογής και τέσσερις τοποθεσίες πρώτης ύλης που µπορεί να χρησιµοποιήσει σε ένα έργο. Το κέρδος εξαρτάται από τον συνδυασµό µηχανήµατος τοποθεσίας σύµφωνα µε τον παρακάτω πίνακα. Ζητείται να προσδιοριστεί ο αριθµός των µηχανηµάτων που πρέπει να χρησιµοποιηθούν σε κάθε τοποθεσία, ώστε να µεγιστοποιηθεί το έργο.

19 Το πρόβληµα είναι παρόµοιο µε το Παράδειγµα Σύστηµα Ύδρευσης. Εδώ ο συνολικά διαθέσιµος αριθµός µηχανηµάτων Ν = 4. Η λύση θα προκύψει σε 4 στάδια, όπου σε κάθε στάδιο θα ληφθεί απόφαση για µια τοποθεσία. Μεταβλητή κατάστασης S j = διαθέσιµος αριθµός µηχανηµάτων στη j τοποθεσία (στάδιο) Μεταβλητή απόφασης x j = αριθµός µηχανηµάτων που διατέθηκε στη j τοποθεσία Εξίσωση κατάστασης S j+1 = S j - x j Αλγόριθµος υναµικού Προγραµµατισµού Η βέλτιστη λύση είναι: Τοποθεσία Αριθµός µηχανηµάτων J Ν (S Ν ) = g Ν (S Ν ) = 0 J j (x j ) = max [g j (x j ) + J j+1 ( S j - x j )] j = N-1, N-2,...,0 x j Σύνολο Τοποθεσία Μηχανήµατα Κέρδος Στο παράδειγµα 7.4 θεωρείστε δεδοµένο ότι ο εργολάβος αρχίζει µε νέα µηχανήµατα S 1 = [0,0] Τ και επιλύστε το πρόβληµα χρησιµοποιώντας τον αλγόριθµο προς τα µπρος του δυναµικού προγραµµατισµού. 7.3 Θεωρείστε την ακόλουθη παραλλαγή του Παραδείγµατος 7.3 που αφορά ένα σύστηµα άρδευσης (Πηγή: Hall, W.A., and J. Dracup, Water Resources Engineering, McGraw-Hill, New Yor, 1970). Μια διώρυγα άρδευσης πρόκειται να κατασκευαστεί για να εξυπηρετεί τρεις περιοχές σε απόσταση 30, 50 και 75 m κατάντη του σηµείου εκτροπής. Η συνολική διαθέσιµη ποσότητα νερού ετησίως είναι Q = 800 µονάδες. Ζητείται να γίνει βέλτιστη διάθεση του νερού στις τρεις περιοχές j = 1, 2, 3 όταν είναι γνωστό ότι τα οφέλη και κόστη είναι όπως στον πίνακα 19

20 Ποσότητα νερού Β 1 Β 2 Β 3 c όπου Β j ετήσιο όφελος από την άρδευση στην περιοχή j (χιλιάδες $) c αποπληθωρισµένο κόστος του αγωγού µεταφοράς (χιλιάδες $/m) Η λύση θα προκύψει σε 3 στάδια, όπου σε κάθε στάδιο θα ληφθεί απόφαση για µια περιοχή. Μεταβλητή κατάστασης S j = διαθέσιµο νερό στο στάδιο j Μεταβλητή απόφασης x j = νερό που διατέθηκε στη j περιοχή (στάδιο) Εξίσωση κατάστασης S j+1 = S j - x j Αντικειµενική συνάρτηση: Το καθαρό όφελος g j (x j ) για διάθεση ποσότητας x j είναι ίσο µε το όφελος B j µείον το κόστος του αγωγού (= c x (µήκος αγωγού από την προηγούµενη υδροληψία) Αλγόριθµος υναµικού Προγραµµατισµού J Ν (S Ν ) = g Ν (S Ν ) = 0 J j (x j ) = max [g j (x j ) + J j+1 ( S j - x j )] j = N-1, N-2,...,0 x j S 3 x 3 S 4 B 3 (x 3 ) c 3 (x 3 ) J 4 (S 4 ) J 3 (S 3 ) J 3 (S 3 ) x Παρατηρούµε ότι το κόστος του αγωγού από τη 2 στην 3 εξαρτάται από την απόφαση πόση ποσότητα νερού θα διατεθεί στην 3, και όχι από το πόση ποσότητα είναι διαθέσιµη.

21 S 2 x 2 S 3 B 2 (x 2 ) c 2 (S 2 ) J 3 (S 3 ) J 2 (S 2 ) J 2 (S 2 ) x Παρατηρούµε ότι το κόστος του αγωγού από την 1 στη 2 εξαρτάται από την απόφαση πόση ποσότητα νερού είναι διαθέσιµη και όχι από το πόση ποσότητα θα διατεθεί στην 2, διότι όλη η ποσότητα πρέπει να παροχετευθεί για να είναι διαθέσιµη κατάντη. S 1 x 1 S 2 Β 1 (x 1 ) c 1 (S 1 ) J 2 (S 2 ) J 1 (S 1 ) J 1 (S 1 ) x