ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ

Transcript

1 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Εισαγωγή Ο Δυναμικός Προγραμματισμός (ΔΠ) είναι μία υπολογιστική μέθοδος η οποία εφαρμόζεται όταν πρόκειται να ληφθεί μία σύνθετη απόφαση η οποία προκύπτει από τη σύνθεση επιμέρους αποφάσεων που αλληλοεξαρτώνται. Η αλληλοεξάρτηση μπορεί να προκύπτει επειδή οι αποφάσεις είτε παρουσιάζουν κάποια χρονική διαδοχή, όπως στην περίπτωση αναζήτησης της συντομότερης διαδρομής σ'ένα γράφημα, και της περίπτωσης αναζήτησης του βέλτιστου σχήματος παραγωγής και αποθεματοποίησης σ'ένα ορίζοντα προγραμματισμού πολλών περιόδων, είτε συνδέονται με κοινούς περιορισμούς, όπως στην περίπτωση κατανομής περιορισμένων μέσων σε ανταγωνιστικές δραστηριότητες. Οι αποφάσεις αυτές μπορεί να λαμβάνονται σ'ένα περιβάλλον γνωστών συνθηκών (ντετερμινιστικός δυναμικός προγραμματισμός) ή ακόμα και σ'ένα περιβάλλον αβεβαιότητας (στοχαστικός δυναμικός προγραμματισμός). Η μέθοδος επίλυσης τέτοιων προβλημάτων βασίζεται στη διασύνδεση των επιμέρους αποφάσεων με κατάλληλη αναδρομική σχέση ώστε η σύνθεση των επιμέρους αποφάσεων να δίνει την τελικά ζητούμενη απόφαση. Το αρχικό πρόβλημα διασπάται σε επιμέρους υποπροβλήματα τα οποία συνδέονται με τη βοήθεια κατάλληλων αναδρομικών σχέσεων. Για να καλυφθούν όλες οι εκδοχές από τη διασύνδεση των επιμέρους προβλημάτων, τα υποπροβλήματα αυτά λύνονται παραμετρικά, δηλαδή για όλες τις δυνατές τιμές ορισμένων παραμέτρων. Αυτό αποτελεί και το κυρίως υπολογιστικό κόστος της μεθόδου, το οποίο, αν και είναι σημαντικό, είναι πάντως πολύ μικρότερο από το κόστος της πλήρους απαρίθμησης και αξιολόγησης όλων των δυνατών λύσεων. Επειδή το κόστος της υπολογιστικής προσπάθειας στα προβλήματα ΔΠ είναι αρκετά υψηλό, η μέθοδος χρησιμοποιείται για προβλήματα που δεν είναι δυνατό να αντιμετωπισθούν με μεθόδους Γραμμικού ή Ακέραιου Προγραμματισμού.

2 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Από τη σκοπιά αυτή η μέθοδος ΔΠ παρουσιάζει μεγαλύτερη ευελιξία από άλλες μεθόδους, το τίμημα όμως για την ευελιξία αυτή είναι συνήθως το αυξημένο υπολογιστικό κόστος. Χαρακτηριστικό του ΔΠ είναι ότι δεν υπάρχει γενικευμένη διατύπωση της μεθόδου που να έχει άμεση λειτουργική ισχύ. Οι αναδρομικές σχέσεις που συνεπάγεται η μέθοδος διαφοροποιούνται ριζικά από πρόβλημα σε πρόβλημα. Γι'αυτό ίσως ο καλύτερος τρόπος να μελετηθούν οι ιδιότητες του ΔΠ, καθώς και οι δυνατές εφαρμογές του, είναι με τη βοήθεια μερικών χαρακτηριστικών παραδειγμάτων. Παράδειγμα ο Στο δίκτυο του Σχήματος ζητείται να βρεθεί ο συντομότερος δρόμος από τον κόμβο () στον κόμβο (0) του δικτύου. Οι αριθμοί στην αρχή κάθε κλάδου παριστάνουν τις επιμέρους αποστάσεις μεταξύ των κόμβων. Αντί να υπολογίσουμε το συνολικό μήκος των =8 δυνατών διαδρομών από το () στο (0), ένας πιο αποτελεσματικός τρόπος να λύσουμε το πρόβλημα είναι να το "σπάσουμε" σε μικρότερα προβλήματα τα οποία λύνουμε διαδοχικά και συνδέουμε τις λύσεις τους. Δηλαδή, αντιμετωπίζουμε το πρόβλημα σε χωριστά βήματα, όπου καθένα αποτελεί την επίλυση ενός επιμέρους προβλήματος που η λύση του δίνει πληροφορίες για την επίλυση του επόμενου προβλήματος, μέχρις ότου φτάσουμε στο αρχικό πρόβλημα. () 4 () () (5) (6) 6 4 (8) (0) 4 5 (4) Σχήμα (7) 4 (9)

3 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Έτσι αρχίζοντας από το τέλος, βρίσκουμε ότι η ελάχιστη διαδρομή από το (8) στο (0) είναι και η ελάχιστη διαδρομή από το (9) στο (0) είναι 4. Οπισθοχωρώντας ένα βήμα ακόμη, βρίσκουμε την ελάχιστη απόσταση από το (5) στο (0) χρησιμοποιώντας τα προηγούμενα αποτελέσματα. (5) 4 (8) (6) 6 (7) Σχήμα Η ελάχιστη απόσταση από το (5) στο (0) είναι: και η διαδρομή είναι μέσω του (8). mi {+, 4+4} = 4 Μπορούμε να επεκταθούμε προς τα πίσω, βήμα-βήμα. Έτσι έχουμε: Η ελάχιστη απόσταση από το (6) στο (0) είναι 7 (μέσω (9)). Η ελάχιστη απόσταση από το (7) στο (0) είναι 6 (μέσω (8)). Βήμα από το τέλος: Η ελάχιστη απόσταση από το () στο (0) είναι (μέσω (5) ή (6)). Η ελάχιστη απόσταση από το () στο () είναι 7 (μέσω (5)). Η ελάχιστη απόσταση από το (4) στο (0) είναι 8 (μέσω (5) ή (6)). Βήμα 4 από το τέλος: Η ελάχιστη απόσταση από το () στο (0) είναι (μέσω () ή (4)). Από τα αποτελέσματα αυτά και μόνο μπορούμε να προσδιορίσουμε τη βέλτιστη διαδρομή: Από το () η πρώτη απόφαση μας φέρνει στο () ή στο (4). Εάν πάμε στο (), τότε το επόμενο βήμα είναι στο (5), ύστερα στο (9)

4 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ (8) και τέλος στο (0). Εάν πάμε στο (4), τότε το επόμενο βήμα είναι στο (5) ή στο (6). Εάν πάμε στο (5), τότε τα επόμενα βήματα είναι (8), (0). Εάν πάμε στο (6), τότε προχωρούμε μέσω (9) στο (0). Έτσι υπάρχουν τρεις βέλτιστες διαδρομές: () () (5) (8) (0) () (4) (5) (8) (0) () (4) (6) (9) (0) Και οι τρεις έχουν, φυσικά, το ίδιο συνολικό μήκος. Χαρακτηριστικά προβλημάτων ΔΠ: Η αρχή της βελτιστοποίησης του Bellma Τα προβλήματα ΔΠ παρουσιάζουν τα ακόλουθα χαρακτηριστικά: () Οι αποφάσεις λαμβάνονται διαδοχικά. () Το πρόβλημα μπορεί να διαιρεθεί σε βήματα (φάσεις) και σε κάθε βήμα απαιτείται να ληφθεί μια "στρατηγική" απόφαση. () Κάθε βήμα έχει ένα ορισμένο αριθμό "καταστάσεων" που συνδέονται με αυτό. (4) Το αποτέλεσμα μιας στρατηγικής απόφασης που λαμβάνεται σε κάθε βήμα είναι να μετατρέπει την παρούσα κατάσταση σε μια κατάσταση που συνδέεται με το επόμενο βήμα. (5) Με κάθε απόφαση συνδέεται ένα κέρδος ή μία ζημία (κόστος). Για παράδειγμα, στο προηγούμενο πρόβλημα το ο βήμα από το τέλος είχε τις δυνατές καταστάσεις (8), (9), ενώ το ο βήμα από το τέλος τις καταστάσεις (5), (6) και (7). Εάν βρισκόμαστε σε μια από τις καταστάσεις του ου βήματος από το τέλος, η απόφαση να ακολουθήσουμε ένα ορισμένο κλάδο μας φέρνει σε μια από τις καταστάσεις του επόμενου βήματος (ο βήμα από το τέλος). (6) Ο αντικειμενικός σκοπός, που εκφράζεται από την αντικειμενική συνάρτηση, είναι να μεγιστοποιηθεί το συνολικό κέρδος ή να ελαχιστοποιηθεί η συνολική ζημία, ή γενικώτερα να επιτευχθεί το καλύτερο δυνατό αποτέλεσμα. (7) Τέλος, ο τρόπος με τον οποίο βρεθήκαμε σε μια κατάσταση ενός βήματος είναι άσχετος με τις αποφάσεις που θα επακολουθήσουν. Δηλαδή οι αποφάσεις που θα επακολουθήσουν εξαρτώται μόνο από την κατάσταση στην οποία βρισκόμαστε και όχι από τον τρόπο με τον οποίο βρεθήκαμε σ'αυτήν την κατάσταση. 4

5 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Τέτοια προβλήματα διέπονται από την ακόλουθη "αρχή του Bellma" που χαρακτηρίζει τη βέλτιστη λύση: "Μια βέλτιστη διαδοχή αποφάσεων έχει την ιδιότητα ότι, ανεξάρτητα από τις αρχικές αποφάσεις, οι αποφάσεις που απομένουν πρέπει να συνιστούν μια βέλτιστη στρατηγική (πολιτική) σε σχέση με την κατάσταση που απορρέει από τις αρχικές αποφάσεις". Στο παράδειγμα που ήδη εξετάστηκε, εάν υποθέσουμε ότι μια διαδοχή αποφάσεων είναι βέλτιστη και ότι οι δύο πρώτες αποφάσεις (αρχικές) αυτής της διαδοχής μας φέρνουν στον κόμβο (5), θα πρέπει και η υπόλοιπη διαδρομή, από τον κόμβο (5) στον (0), να είναι βέλτιστη, δηλαδή θα πρέπει και οι υπόλοιπες αποφάσεις να δίνουν τη συντομότερη διαδρομή από τον κόμβο (5) στον (0). 9.4 Η γενική αναδρομική σχέση Μπορούμε να εκφράσουμε φορμαλιστικά τις παραπάνω ιδιότητες χρησιμοποιώντας ορισμένους συμβολισμούς. Έστω: x s : ο αριθμός των φάσεων που απομένουν, δηλαδή είναι ο δείκτης αρίθμησης των φάσεων αρχίζοντας από το τέλος. : η μεταβλητή που καθορίζει την απόφαση στη φάση (από το τέλος). : η μεταβλητή που καθορίζει την κατάσταση που βρισκόμαστε. (s,x ) : η συνάρτηση που εκφράζει το βέλτιστο αποτέλεσμα για τις τελευταίες φάσεις μαζί, όταν στη υοστή από το τέλος βρισκόμαστε στην κατάσταση s και παίρνουμε την απόφαση που καθορίζει η μεταβλητή x. r(x,s) : το κέρδος ή ζημία που προκύπτει όταν βρισκόμαστε στην κατάσταση s της υοστής φάσης και πάρουμε την απόφαση x. T(x,s) : η κατάσταση της φάσης στην οποία μας οδηγεί η απόφαση x που λαμβάνεται όταν βρισκόμαστε στην κατάσταση s της υοστής φάσης. Έστω έχουμε: Τότε ισχύει η αναδρομική σχέση: (s) = max x { r( x,s) + ( T( x, s) )} x η τιμή της x που δίνει τη βέλτιστη τιμή της (s). Τότε ( x, s) ( x,s) (s) = max = x 5

6 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Συνήθως οι τιμές (s) για τα διάφορα s είναι εύκολο να βρεθούν. Έτσι μπορούμε να εφαρμόσουμε αναδρομικά τη σχέση που βρήκαμε και να επωφεληθούμε από το γεγονός ότι η τιμή του s είναι συνήθως καθορισμένη για την αρχική φάση (την πρώτη από την αρχή). Οι τιμές x μας δίνουν τη διαδοχή των αποφάσεων που οδηγούν στη βέλτιστη λύση. Παράδειγμα ο Μια επιχείρηση επιθυμεί να κατανείμει 5 μονάδες προϊόντος στα τέσσερα καταστήματά της ώστε να μεγιστοποιήσει τα κέρδη της. Τα αναμενόμενα κέρδη από την κατανομή των μονάδων στα διαφορετικά καταστήματα δίνονται από τον παρακάτω πίνακα: ΚΑΤΑΣΤΗΜΑΤΑ ΜΟΝΑΔΕΣ Α Β Γ Δ Υποτίθεται ότι δεν προκύπτει επιπλέον κέδρος με το να κατανείμουμε περισσότερες από 4 μονάδες σ'ένα μόνο κατάστημα. Έστω: (s) το μέγιστο δυνατό κέρδος που προκύπτει από την κατανομή s μονάδων στα τελευταία καταστήματα. x ο αριθμός των μονάδων που κατανέμονται στο υοστό από το τέλος κατάστημα. Δηλαδή εδώ το κάθε βήμα αντιστοιχεί στην κατανομή μονάδων σ'ένα από τα καταστήματα. x το βέλτιστο x για κάποιο ορισμένο s. Τότε: s (s) x 0,,,4,,4,5 6

7 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ και (s) { r ( x ) + ( s x )} = max 0 x s όπου r (x ), το κέδρος που προκύπτει από την κατανομή x μονάδων στο υοστό (από το τέλος) κατάστημα. Προφανώς, εάν διατίθενται συνολικά s μονάδες για τα τελευταία καταστήματα και κατανεμηθούν x στο υοστό, θα μείνουν s x για τα τελευταία. Έτσι όταν = έχουμε για το (s): [ r ( x ) + ( s )] (x,s) = x x s (s) x 0 0+0= = +0= 0 0+4=4 +=5 +0= 5 0+4=4 +4=6 +=6 4+0=4 6, 4 0+4=4 +4=6 +4=7 4+=7 5+0=5 7, 5 0+4=4 +4=6 +4=7 4+4=8 5+=8 5+0=5 8,4 Παρόμοια για = ο συνοπτικός πίνακας που δίνει το (s) και το αντίστοιχο x είναι (οι αναλυτικοί υπολογισμοί παραλείπονται): s (s) x 0 0 0,,, Τέλος για =4 έχουμε: 4 (s) = max {0+0, +9, +7, +5, 4+, 4+0} = 0 με x 4 =0,. Έτσι προκύπτουν οι βέλτιστες κατανομές: ΚΑΤΑΣΤΗΜΑΤΑ Α Β Γ Δ η 0 Βέλτιστες η 0 Κατανομές η 0 4η 7

8 Παράδειγμα ο ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Ζητείται να βρεθεί το άριστο σχήμα παραγωγής, δηλαδή αυτό που αντιστοιχεί σε ελάχιστο κόστος σε ένα σύστημα που διακρίνεται από τα ακόλουθα χαρακτηριστικά: (α) (β) (γ) (δ) Σε κάθε περίοδο t η ζήτηση είναι d t και πρέπει να ικανοποιηθεί. Το συνολικό κόστος για παραγωγή x μονάδων σε καθεμιά περίοδο είναι c(x) και θεωρείται γνωστό (c(x) είναι η συνάρτηση κόστους παραγωγής που για απλοποίηση των υπολογισμών λαμβάνεται η ίδια για όλες τις περιόδους). Το κόστος αποθέματος είναι κ δρχ. ανά μονάδα προϊόντος και ανά περίοδο. Η μέγιστη δυναμικότητα παραγωγής είναι α μονάδες ανά περίοδο και η μέγιστη ικανότητα αποθήκευσης β μονάδες, ενώ ο ορίζοντας προγραμματισμού είναι περίοδοι. Για τους αριθμητικούς υπολογισμούς λαμβάνουμε: =4 περίοδοι και d t = (t=,,,4) Η c(x) δίνεται από τον ακόλουθο πίνακα: c(x) x Eπίσης δίνεται ότι α=5, β=4, κ= και ότι το αρχικό απόθεμα είναι 0. Ας είναι: x : η παραγωγή τη υοστή περίοδο από το τέλος, όπου 0 x 5. (s) : το συνολικό ελάχιστο κόστος παραγωγής των τελευταίων περιόδων, όταν αρχίζουμε τη υοστή περίοδο από το τέλος με απόθεμα s (0 s 4). και Έχουμε: ( x, s) [ c( x ) + ( s + x ) + ( s + x ) ] = ( s) mi [ c( x ) + ( s + x ) + ( s + x ) ] = x 8

9 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ όπου: s+x : είναι το απόθεμα που διατηρείται από τη μέχρι τη ( ) περίοδο από το τέλος, και, (s+x ) : είναι το αντίστοιχο κόστος του. Επίσης, c(x ) : είναι το κόστος παραγωγής των x μονάδων. Ειδικά για την πρώτη περίοδο από το τέλος έχουμε 0 (s)=0 για s 0 και x = s, όπου προφανώς για = s. Προκύπτουν λοιπόν οι ακόλουθοι πίνακες: Για = (πρώτη περίοδος από το τέλος) s (s)=c( s) x (s) Για = (x,s) = c(x) + (s + x ) + (s + x ) x s x (s) (s)

10 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Για = (x,s) = c(x) + (s + x ) + (s + x ) x s x (s) (s) Τέλος έχουμε ότι (0) mi[ c(x ) + (x ) + (x ) ] x 4 = για x 5 αφού το αρχικό απόθεμα s=0. Έτσι προκύπτει ότι 4 (0)=67 για x 4 = ή 4. Οπότε έχουμε δύο ισοδύναμα άριστα σχήματα παραγωγής: (α) x 4 =, x =4, x =5, x =0 (β) x 4 =4, x =5, x =0, x =. Δυναμικός προγραμματισμός με συνεχείς μεταβλητές Στα προβλήματα που εξετάστηκαν οι μεταβλητές s και x είχαν ακέραιες τιμές και ήταν φραγμένες από πάνω. Έτσι σε κάθε φάση υπήρχε ένας πεπερασμένος αριθμός καταστάσεων. Σε περιπτώσεις όμως που συμβαίνει, είτε η μεταβλητή s, είτε η x, είτε και οι δύο, να παίρνουν συνεχείς τιμές, ενδέχεται ο αριθμός των καταστάσεων σε κάθε φάση να είναι άπειρος. Συνήθως όμως το διάστημα τιμών της s μέσα στο οποίο η s, όντας συνεχής, λαμβάνει άπειρες τιμές, χωρίζεται σε ένα πεπερασμένο αριθμό υποδιαστημάτων, σε καθένα από τα οποία η αντικειμενική συνάρτηση παίρνει την ίδια άριστη τιμή. Παράδειγμα 4ο: Το πρόβλημα του γυλιού (Kaspack problem) Ένας επενδυτικός φορέας πρόκειται να επιλέξει μεταξύ 5 επενδυτικών έργων. Για κάθε έργο, που θεωρείται σαν μια αδιαίρετη 0

11 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ μονάδα, είναι γνωστή η απόδοση του c j και το κόστος της επένδυσης b j (j=,,, 4, 5) όπως δείχνει ο παρακάτω πίνακας: κ < 5 j= Έργο Απόδοση Κόστος Α c =05, b = 5, Β c = 0,0 b =, Γ c = 5,7 b =,0 Δ c 4 =,4 b 4 =,7 Ε c 5 = 59, b 5 =,8 5 j= b =,9 Εάν το προς επένδυση κεφάλαιο κ είναι περιορισμένο, δηλαδή b, ποια έργα πρέπει να επιλεγούν ώστε να μεγιστοποιείται η j συνολική απόδοση των έργων που επιλέγονται; Έστω: x j = 0 Το πρόβλημα ακέραιου προγραμματισμού που προκύπτει είναι: max όταν b j= j= j x j c j x j κ εάν το j έργο επιλέγεται εάν όχι x j =0, j=,, όπου στην περίπτωση αυτή =5. Ας ορίσουμε (s) η μέγιστη δυνατή συνολική απόδοση όταν κεφάλαιο s διατίθεται στα τελευταία έργα. Φυσικά έχουμε ότι 0 (s)=0 για s 0. Οι αναδρομικές σχέσεις που προκύπτουν είναι: [ c x + (s b x )] (s) = max x και ο μετασχηματισμός της κατάστασης s από τη φάση στη φάση j j =,,, 5

12 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ T(x,s) = s b Με βάση τις σχέσεις αυτές μπορούμε να καταστρώσουμε τους ακόλουθους υπολογιστικούς πίνακες, λαμβάνοντας υπόψη ότι τα δεδομένα απόδοσης και κόστους είναι αριθμημένα από το τέλος προς την αρχή, δηλαδή c (b ) είναι η απόδοση (κόστος) του έργου Ε, c (b ) του έργου Δ, κ.ο.κ. Για = { c } (s) max x x= 0, = όταν s b x x s x x =0 x = (s) x,8 s 0 59, 59, 0 s <, Για = s x [ c x + (s b x )] (s) = max x = 0, x =0 x = (s) x 4,5 s 59, 59,+,4 90,6,8 s < 4,5 59,,4 59, 0,7 s <,8 0,4,4 0 s <, Η ολοκλήρωση του παραδείγματος στην περίπτωση που κ=0 αφήνεται για άσκηση. Παράδειγμα 5ο Μια επιχείρηση επιθυμεί να διαφημίσει τα προϊόντα της. Οι δυνατότητές της είναι να τα διαφημίσει σε μέσα μαζικής ενημέρωσης το πολύ 4 διαφημίσεις στο καθένα. Το κόστος για κάθε διαφήμιση είναι: Στο ο μέσο μαζικής ενημέρωσης 0. Στο ο 40, και στο ο 50. Ο ολικός προϋπολογισμός της επιχείρησης είναι 400. Τα καθαρά έσοδα από τη διαφήμιση είναι:

13 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Αριθμός διαφημίσεων Μέσα Μαζικής Ενημέρωσης (Μ.Μ.Ε.) (Το κόστος και τα έσοδα αναφέρονται σε χιλ. δρχ.) Πόσο συχνά πρέπει να διαφημίσει η επιχείρηση σε καθένα από τα μέσα μαζικής ενημέρωσης ώστε να μεγιστοποιήσει τα καθαρά κέρδη της και να μην υπερβεί τον προϋπολογισμό της; Ορίζουμε: s : ο αριθμός των δρχ. που μένουν διαθέσιμες από τις δρχ. για διαφήμιση στα τελευταία χρόνια τ (x ) : τα κέρδη από x διαφημίσεις στο μέσο c : το κόστος μιας διαφήμισης στο μέσο (s) : το μέγιστο κέρδος της επιχείρησης από τη διάθεση s χιλ. δρχ. στο μέσο =, και { τ (x ) + (s c x )} (s) = max 0 x Θεωρούμε ότι =,, όπως και τα μέσα μαζικής ενημέρωσης (Μ.Μ.Ε.) με τη σειρά,,. Αρχίζουμε ως γνωστό από το τέλος. Άρα για = θα έχουμε να διαθέσουμε στο Μ.Μ.Ε. τα ακόλουθα ποσά s με τις αντίστοιχες αποδόσεις (s) και αριθμός διαφημίσεων x. s c

14 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Για = (x,s) = τ(x ) όπου c x s s (s) x 00 s s < s < s < s < Για = { τ (x ) + (s c x )} (s) = max x s (s) x < ,60, , 90,00,0,0 70 0,40,50, ,0,40,50 0, ,80,90,00 40, ,0,40,50 50,

15 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Για =, s=400 x = 0 (s,x ) = 0+ (400) = 60 = = 60+ (70) = 0 = = 80+ (40) = 0 = = 90+ (0) = 40 = 4 =00+ (80) = 40 Έτσι βρίσκουμε τις βέλτιστες κατανομές να είναι: Μ.Μ.Ε. Κόστος Κέρδη Διαφημίσεις Παράδειγμα 6ο Τρεις ερευνητικές ομάδες Α, Β, Γ εργάζονται για να λύσουν με διαφορετικές μεθόδους το ίδιο πρόβλημα. Πρόκειται να κατανεμηθούν δύο ακόμη επιστήμονες στις τρεις αυτές ομάδες. Ο παρακάτω πίνακας δίνει την πιθανότητα να αποτύχει η κάθε ομάδα όταν 0,, επιπλέον επιστήμονες προστεθούν σ'αυτή. Ομάδα Α Β Γ Αριθμός επιπλέον επιστημόνων 0 0,40 0,60 0,80 0,0 0,40 0,50 0,5 0,0 0,.0 Ζητείται να κατανεμηθούν οι δύο επιστήμονες στις τρεις ομάδες ώστε να ελαχιστοποιείται η πιθανότητα να αποτύχουν και οι τρεις ομάδες συγχρόνως. Ας προσπαθήσουμε να λύσουμε το πρόβλημα χρησιμοποιώντας μια αναδρομική σχέση: 5

16 Έστω: x ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ : ο αριθμός των επιστημόνων που τοποθετούνται (επιπλέον) μόνο στη υοστή ομάδα (μετρούμενη από το τέλος), s ο αριθμός των επιστημόνων που κατανέμονται στις τελευταίες ομάδες συνολικά. (s) : η ελάχιστη δυνατή πιθανότητα να αποτύχουν και οι τελευταίες ομάδες όταν τους έχουν διατεθεί συνολικά s επιστήμονες. p (x ) : η πιθανότητα αποτυχίας της υοστής ομάδας όταν έχουν κατανεμηθεί σ'αυτήν x επιστήμονες. Θα πρέπει να είναι περίπου προφανές, ότι κάθε ομάδα αποτελεί ένα βήμα (ή μια φάση του προβλήματος) και ότι η "κατάσταση" που βρισκόμαστε όταν "περνάμε" από αυτό το βήμα εξαρτάται από την παράμετρο s που καθορίζει πόσοι επιστήμονες απομένει να κατανεμηθούν στα τελευταία βήματα. Με τους συμβολισμούς που ήδη καθορίσαμε: { p (x ) (s x )} (s) = mi x = 0,, K,s διότι εάν υπολείπονται να κατανεμηθούν s στις τελευταίες ομάδες, και κατανεμηθούν x στη υοστή, θα μείνουν s x για τις τελευταίες. Δηλαδή T(x,s)=s x. Έστω x η τιμή της x που δίνει τη βέλτιστη τιμή στην (s). Για τις τιμές της (s), δηλαδή για =, έχουμε τον ακόλουθο πίνακα: s (s) x 0 0,8 0 0,5 () Για = 0, s 0 x 6 (s) x 0 0,6 0,8=0,48 0,48 0 0,6 0,5=0, 0,4 0,8=0, 0,0 0 0,6 0,=0,8 0,4 0,5=0, 0, 0,8=0,6 0,6

17 Για = και s= έχουμε: ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ s 0 x () x 0,4 0,6=0,064 0, 0,=0,06 0,5 0,48=0,07 0,06 Από τον τελευταίο αυτό πίνακα προκύπτει ότι η ζητούμενη πιθανότητα είναι 0,06. Επίσης χρησιμοποιώντας και τους προηγούμενους πίνακες βρίσκουμε ότι η κατανομή που αντιστοιχεί στην πιθανότητα αυτή είναι x =, x = 0 και x =, δηλαδή, στην ομάδα Γ, 0 στην ομάδα Β και στην ομάδα Α. Δυναμικός προγραμματισμός και αβεβαιότητα Στα προηγούμενα παραδείγματα εξετάστηκαν προβλήματα με "ντετερμινιστική" συμπεριφορά. Η συνέπεια της συμπεριφοράς αυτής ήταν ότι η απόφαση που παίρναμε σε κάθε φάση είχε ένα μονοσήμαντα καθορισμένο αποτέλεσμα και ως προς την αντικειμενική συνάρτηση αλλά και ως προς το μετασχηματισμό της "τρέχουσας" κατάστασης σε κάποια κατάσταση της επόμενης φάσης. Με την παρουσία αβεβαιότητας η κάθε απόφαση μπορεί να έχει περισσότερα από ένα "δυνατά" αποτελέσματα, το καθένα από τα οποία έχει μια καθορισμένη πιθανότητα να συμβεί και, επίσης, μπορεί να οδηγήσει σε μετασχηματισμό της παρούσας "κατάστασης" σε περισσότερες από μια δυνατές καταστάσεις της επόμενης φάσης, η καθεμιά από τις οποίες έχει μια ορισμένη πιθανότητα να συμβεί. Παράδειγμα 7ο Ένας παίκτης αρχίζει το παιχνίδι του με δύο μάρκες. Πρόκειται να στοιχηματίσει φορές και κάθε φορά μπορεί να παίξει το πολύ όσες μάρκες έχει στη διάθεσή του. Σε κάθε στοίχημα (γύρο) είτε κερδίζει είτε χάνει τόσες μάρκες όσες στοιχηματίζει. Σε κάθε γύρο η πιθανότητα επιτυχίας είναι 0,6, και η πιθανότητα αποτυχίας 0,4. Ο παίκτης ενδιαφέρεται να μεγιστοποιήσει την πιθανότητα στο τέλος των τριών γύρων να καταλήξει με τουλάχιστον 4 μάρκες, ώστε να μπορεί να πληρώσει το ξενοδοχείο του. Τι στρατηγική πρέπει να ακολουθήσει; Έστω (s) η πιθανότητα ότι, με γύρους ακόμη να παίξει και με s μάρκες στην κατοχή του, ο παίκτης μπορεί να κατορθώσει να τελειώσει το παιγνίδι έχοντας στην κατοχή του συνολικά r μάρκες (r=4). 7

18 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ τότε: Έστω x οι μάρκες που στοιχηματίζει στο υοστό γύρο από το τέλος, { 0,6 (s + x ) + 0,4 (s x )} (s) = max 0 x s Για = έχουμε: s (s) x , 0,6 0,6,, 4 (s 4) Για = έχουμε: s 0 x (s) x 0 (0)=0 0 0 ()=0 0,6 0,6+0,4 0=0,6 0,6 ()=0,6 0,6 0,6+0,4 0=0,6 0,6 +0,4 0=0,6 0,6 0, ()=0,6 0,6 +0,4 0,6=0,84 0,6 +0,4 0=0,6 0,84 4 (4)= 0,6 +0,4 0,6< < < 0 >4 (s 4) Τέλος για = και s= έχουμε: s 0 x () x ()=0,6 0,6 0,84+0,4 0,6=0,648 0,6 +0,4 0=0,6 0,648 8

19 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Έτσι η λύση του παιχνιδιού είναι: ος γύρος Παίζει Εάν κερδίσει s= ος γύρος Παίζει Εάν χάσει s= ος γύρος Παίζει Εάν κερδίσει s=4 Εάν χάσει s= Εάν κερδίσει s=0 Εάν χάσει s= ος γύρος ος γύρος ος γύρος Παίζει 0 Παίζει Παίζει Εάν κερδίσει s=4 Εάν χάσει s=0 Εάν κερδίσει s=0 Εάν χάσει s=4 Στο Σχήμα παριστάνονται γραφικά όλες οι δυνατές επιλογές του παίκτη. Ορισμένες επιλογές δεν συνεχίζονται στα επόμενα βήματα. Στις περιπτώσεις αυτές η επιτυχία ή αποτυχία αντίστοιχα είναι εξασφαλισμένη ήδη, πράγμα που σημαίνει ότι η πιθανότητα επιτυχίας με κατάλληλη στρατηγική είναι ή αντίστοιχα με οποιαδήποτε στρατηγική η αποτυχία είναι δεδομένη. Για την άριστη στρατηγική ο παίκτης ξεκινά με x = οπότε η πιθανότητα επιτυχίας είναι: 0,4 0,6 0,6 + 0,6 [0,4 0,6 0,6] = 0,44+0,504= 0,648. Aυτή αντιστοιχεί σε x =. Εύκολα επαληθεύεται ότι κάθε άλλη στρατηγική έχει μικρότερη πιθανότητα επιτυχίας. 9

20 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ x p x p x p s= x =0 x = x = p= p=0,4 p=0,6 s= s= x =0 p= x = p=0,6 s=4 s= s= x = x = p=0,4 p=0,6 p=0,4 p=0,6 s= x =0 p= x = x =0 x = x = x = p=0,4 p=0,6 p= p=0,4 p=0,6 p=0,4 s=4 s=0 s=4 s= s=0 x = s= x = s= x = s= s=4 s=0 p=0,4 p=0,6 p=0,4 p=0,6 p=0,4 p=0,6 s=0 s=4 s=0 s=4 s=0 s=4 p=0,4 p=0,6 s=0 p=0,6 p=0,4 p=0,6 s=5 s=0 s=6 s=4 Σχήμα 0

21 ΔΥΝΑΜΙΚΟΣ ΠΡΟΓΡΑΜΜΑΤΙΣΜΟΣ Δυναμικός προγραμματισμός και διαφορικός λογισμός Πολλές φορές, όταν η μεταβλητή απόφασης x είναι συνεχής, και επιπλέον τα r(x,s) και εκφράζονται με συναρτησιακές σχέσεις, είναι δυνατό να βελτιστοποιήσουμε με τη βοήθεια διαφορικού λογισμού τη βασική αναδρομική σχέση: Παράδειγμα [ r(x,s) + (T(x,s))] (s) = max. x Να ελαχιστοποιηθεί το w i (x i ) όταν x i = B και x i 0 (i=,,). i= Εάν s είναι το προς κατανομή ποσό στις απομένουσες, από το τέλος, φάσεις και x i το ποσό που κατανέμεται στη φάση i έχουμε: Για = έχουμε: Για = έχουμε: οπότε: x οπότε έχουμε: T(x r (x =,s) = s i= x, s) w (x ) = και x = s (s) ws { w (x ) + w (s x } (s) = mi ) 0 x s { w (x ) + w (s x ) } = w x w (s x ) = 0 x Παρόμοια για = έχουμε: x x ws = w + w (s) = w ww s (s) = w + w = w w s (w w + w w + w w ) και + w (s) = (w > 0 w w w + w w w s + w w )

22 ΠΑΝΑΓΙΩΤΗΣ Α. ΜΗΛΙΩΤΗΣ Τέλος μπορούμε να δείξουμε επαγωγικά ότι οι εκφράσεις της γενικής λύσης είναι: x κ = s w κ κ = s κ= κ= w κ w κ κ=,,, Eφαρμογή: για = και Β=9, w =, w =, w =6 Έχουμε: (9) = 8 x (9) =,5 οπότε s x =7,5 x (7,5) = οπότε s x =7,5 =4,5 x (4,5) = 4,5