ΚΕΦΑΛΑΙΟ : ΕΛΑΧΙΣΤΟΠΟΙΗΣΗ ΣΥΝΟΛΙΚΟΥ ΑΝΑΜΕΝΟΜΕΝΟΥ ΑΠΟΠΛΗΘΩΡΙΣΜΕΝΟΥ ΚΟΣΤΟΥΣ ΓΙΑ ΤΑ ΜΟΝΤΕΛΑ ΤΟΥ ΑΠΕΙΡΟΥ ΧΡΟΝΙΚΟΥ ΟΡΙΖΟΝΤΑ. Εισγωγή στον οληθωρισµένο δυνµικό ρογρµµτισµό Θεωρούµε ότι ρτηρούµε µί εν εξελίξει διδικσί κτά τις χρονικές στιγµές t K. Έστω X η κτάστση της διδικσίς τη χρονική στιγµή. Το σύνολο των δυντών κτστάσεων της διδικσίς είνι ριθµήσιµο κι χάριν ευκολίς θεωρούµε ότι είνι το σύνολο των µη ρνητικών κερίων. Αφού ρτηρήσουµε κάοι χρονική στιγµή ότι η κτάστση της διδικσίς είνι.χ. η κτάστση µορούµε ν ειλέξουµε µί ενέργει ή ν λάβουµε µί όφση A κι υό την είδρση υτής της ενέργεις η εόµενη κτάστση της διδικσίς θ είνι η κτάστση µε ιθνότητ. Αυτή η µετάβση ειφέρει έν κόστος η νµενόµενη τιµή του οοίου είνι. Γι κάθε κτάστση της διδικσίς το σύνολο A των ενεργειών ή οφάσεων θεωρείτι εερσµένο. Έστω η ενέργει ου λµβάνετι κτά τη χρονική στιγµή. Πολιτική olcy είνι οοιοσδήοτε κνόνς ειλογής των ενεργειών. εν θέτουµε κνένν εριορισµό γι το σύνολο των ειτρεόµενων ολιτικών. Έτσι γι ράδειγµ η ενέργει ου ειλέγετι σε µί συγκεκριµένη χρονική στιγµή ό µί ολιτική µορεί ν εξρτάτι ό την ιστορί της διδικσίς µέχρι εκείνη τη χρονική στιγµή ή µορεί ν είνι τυχιοοιηµένη υό την έννοι ότι η ενέργει ειλέγετι µε κάοι ιθνότητ A. Έν σηµντικό υοσύνολο του συνόλου όλων των ολιτικών είνι το σύνολο των στάσιµων ολιτικών. Μί ολιτική κλείτι στάσιµη sttory ν είνι µη τυχιοοιηµένη κι η ενέργει ου ειλέγετι ό υτήν τη χρονική στιγµή εξρτάτι µόνον ό την κτάστση της διδικσίς κτά τη χρονική στιγµή. Θεωρούµε ότι υάρχει ένς θετικός ργµτικός ριθµός B τέτοιος ώστε γι κάθε ενέργει A κι κάθε κτάστση της διδικσίς ισχύει ότι: < B. Το συνολικό νµενόµενο οληθωρισµένο κόστος σε άειρο χρονικό ορίζοντ υό τον έλεγχο της ολιτικής ν η ρχική κτάστση της διδικσίς είνι η κτάστση ορίζετι ως εξής: t E X t t X t όου η στθερά νήκει στο διάστηµ κι κλείτι οληθωριστικός ράγοντς dscout ctor. Με E συµβολίζουµε τη δεσµευµένη µέση τιµή δοθείσης της ολιτικής. Η οσότητ είνι κλώς ορισµένη διότι το γεγονός ότι τ κόστη είνι φργµέν κι ότι < έχει ως συνέει 47
48. B Το κίνητρο της εισγωγής του οληθωριστικού ράγοντ είνι οικονοµικό διότι το κόστος ου θ ληρώσουµε στο µέλλον έχει µικρότερη ξί ό υτό ου ληρώνουµε σήµερ. Το ρόβληµ ου µς ενδιφέρει είνι ν βρούµε εκείνη την ολιτική ου ελχιστοοιεί το συνολικό νµενόµενο οληθωρισµένο κόστος γι κάθε ρχική κτάστση της διδικσίς. Μί ολιτική * κλείτι βέλτιστη otml ν * γι όλ τ. Έστω. Συνεώς µί ολιτική * κλείτι βέλτιστη ν * γι όλ τ. Η εξίσωση του ρκάτω θεωρήµτος είνι γνωστή ως εξίσωση βελτιστοοίησης otmlty equto γι τ µοντέλ του άειρου χρονικού ορίζοντ. Θεώρηµ. Ισχύει η κόλουθη εξίσωση:. m A Αόδειξη. Έστω µί τυχί ολιτική. Υοθέτουµε ότι η ολιτική ειλέγει την ενέργει κτά τη χρονική στιγµή µε ιθνότητ. A Τότε: A W όου W είνι το συνολικό νµενόµενο οληθωρισµένο κόστος ό τη χρονική στιγµή κι µετά δοθέντος ότι η κτάστση κτά τη χρονική στιγµή είνι η κτάστση. Αό τους ορισµούς των κι W έετι ότι: W κι συνεώς m A A A. m A Αφού η ολιτική είνι µί τυχί ολιτική ό την ράνω νισότητ έχουµε ότι:
49. m A Γι ν οδείξουµε την ντίστροφη νισότητ έστω η ενέργει ου είνι τέτοι ώστε:. m A Έστω η ολιτική ου ειλέγει την ενέργει κτά την χρονική στιγµή κι ν η εόµενη κτάστση είνι η κτάστση τότε θεωρώντς ότι η διδικσί ξεκινάει ό την κτάστση κολουθεί µί ολιτική τέτοι ώστε:. > ε ε Συνεώς. ε Αφού ό την ράνω νισότητ έχουµε ότι:. ε Συνεώς λόγω της έχουµε:. m ε A Η Εξίσωση έετι ό την Εξίσωση κι την ράνω σχέση διότι ε είνι ένς υθίρετος θετικός ριθµός.
Έστω B I το σύνολο των φργµένων ργµτικών συνρτήσεων εί του χώρου των κτστάσεων της διδικσίς. Ισχύει ότι B I γι όλες τις ολιτικές. Μί στάσιµη ολιτική είνι µί συνάρτηση : I A όου I είνι ο χώρος κτστάσεων της διδικσίς µε την ερµηνεί σύµφων µε την οοί είνι η ενέργει ου ειλέγετι οοτεδήοτε η κτάστση της διδικσίς είνι η κτάστση. Γι κάθε στάσιµη ολιτική ορίζουµε τη συνάρτηση T : B I B I τέτοι ώστε: T u u. ηλδή γι κάθε συνάρτηση u B I η οσότητ κτάστση δίνετι ό τον ράνω τύο. Η συνάρτηση σύνολο B I. Ένς χρήσιµος τρόος ερµηνείς της συνάρτησης T u είνι µί συνάρτηση της οοίς η τιµή στην T u είνι φργµένη κι συνεώς νήκει στο T u είνι ο εξής. Η τιµή T u στην κτάστση είνι το νµενόµενο κόστος ν χρησιµοοιήσουµε ρχικά την ολιτική κι µετά ό µί ερίοδο στµτήσουµε τη διδικσί λµβάνοντς έν τελικό κόστος ίσο µε u ν η τελική κτάστση είνι η κτάστση. Ορισµός. Γι οοιεσδήοτε συνρτήσεις u v B I ισχύει ότι u v ν u v γι κάθε. Είσης γι u u B I ισχύει ότι: u u ν u u κθώς γι κάθε. Είνι T T κι γι > T T T. Το ρκάτω λήµµ νφέρει σηµντικές ιδιότητες των συνρτήσεων T. Λήµµ. Αν u v B I κι µί στάσιµη ολιτική ισχύει ότι: u v T u T v T κι T u γι κάθε u B I. Αόδειξη. Το έετι άµεσ ό τον ορισµό της T. Το ισοδυνµεί µε την εξίσωση:. Η ράνω εξίσωση ληθεύει ν δεσµευτούµε στην κτάστση στην οοί µετβίνει η διδικσί κτά τη χρονική στιγµή ν χρησιµοοιηθεί η ολιτική. Γι το ρχικά ρτηρούµε ότι: 5
T u T u u u δηλδή T u είνι το νµενόµενο κόστος ν χρησιµοοιήσουµε την ολιτική κι στµτήσουµε τη διδικσί µετά ό δυο εριόδους λµβάνοντς έν τελικό κόστος ίσο µε u. Με εγωγή οδεικνύετι ότι η οσότητ T u είνι το νµενόµενο κόστος ν χρησιµοοιήσουµε την ολιτική γι βήµτ κι µετά στµτήσουµε τη διδικσί λµβάνοντς έν τελικό κόστος ίσο µε u. Αφού < κι η συνάρτηση u είνι φργµένη έετι ότι T u. Με βάση τ ράνω µορούµε ν δείξουµε το κόλουθο σηµντικό θεώρηµ. Θεώρηµ.4 Έστω η στάσιµη ολιτική η οοί ότν η διδικσί βρίσκετι στην κτάστση ειλέγει την ενέργει εκείνη ου ελχιστοοιεί το δεξιό µέλος της δηλδή είνι τέτοι ώστε: m A. Τότε γι κάθε κι συνεώς η ολιτική είνι βέλτιστη. Αόδειξη. Είνι T m A όου η τελευτί ισότητ έετι ό το Θεώρηµ.. Άρ T. Αό την τελευτί ισότητ έετι ότι: T T T T κι µε εγωγή έχουµε T γι. Πίρνοντς το όριο γι κι χρησιµοοιώντς το του Λήµµτος. έχουµε ότι. Αοδείξµε την ύρξη µίς -βέλτιστης ολιτικής. Συγκεκριµέν οδείξµε την ύρξη µίς στάσιµης -βέλτιστης ολιτικής ου ροσδιορίζετι ό την Εξίσωση. Συνεώς ν µορούµε ν βρούµε το ελάχιστο συνολικό νµενόµενο οληθωρισµένο κόστος τότε η στάσιµη ολιτική η οοί 5
ότν η διδικσί βρίσκετι στην κτάστση ειλέγει εκείνη την ενέργει ου ελχιστοοιεί την ράστση είνι -βέλτιστη. Υοθέτουµε ότι γι µί στάσιµη ολιτική έχουµε υολογίσει το νµενόµενο κόστος. Έστω * µί στάσιµη ολιτική η οοί ότν η διδικσί βρίσκετι στην κτάστση ειλέγει την ενέργει εκείνη ου ελχιστοοιεί την ράστση: δηλδή * είνι τέτοι ώστε * * m A. Ερώτηµ: Πόσο «κλή» είνι η * συγκρινόµενη µε την ολιτική ; Το κόλουθο οτέλεσµ δείχνει ότι η ολιτική * είνι τουλάχιστον τόσο «κλή» όσο κι η. Στη συνέχει θ δείξουµε ότι δύο ράγµτ είνι δυντά: Η ολιτική * είνι γνήσι «κλύτερη» της γι τουλάχιστον µί ρχική κτάστση ή β Η ολιτική * είνι -βέλτιστη. Πόρισµ.5. Ισχύει ότι * γι κάθε. Αόδειξη. Είνι * * * T όου η νισότητ οφείλετι στον ορισµό της ολιτικής * κι η ισότητ στο Λήµµ.. Συνεώς T * κι εφρµόζοντς * T κι στ δύο µέλη της ράνω νισότητς ό την µονοτονί της T * Λήµµ. ροκύτει ότι: T * T * κι µε εγωγή *. T Πίρνοντς το όριο κθώς κι χρησιµοοιώντς το Λήµµ. ροκύτει το οτέλεσµ του ορίσµτος. Η τεχνική σύµφων µε την οοί ξεκινώντς ό µί ρχική στάσιµη ολιτική κι χρησιµοοιώντς το Πόρισµ.5 βρίσκουµε µί κλύτερη στάσιµη ολιτική βελτιώνοντς την ροηγούµενη κι στη συνέχει βελτιώνοντς την νέ ολιτική κ.ο.κ. είνι γνωστή ως λγόριθµος βελτίωσης των ολιτικών olcy mrovemet lgorthm or olcy terto lgorthm. Θ νφερθούµε στη συνέχει σ υτό το θέµ µε ερισσότερες λετοµέρειες. 5
.. Συστολές κι οληθωρισµένος δυνµικός ρογρµµτισµός. Στη συνέχει θ δούµε τον τρόο µε τον οοίο η θεωρί συστολών µορεί ν εφρµοστεί σε ροβλήµτ βελτιστοοίησης στοχστικών µοντέλων. Το εόµενο ερώτηµ ου µς σχολεί είνι ως µορούµε ν ροσδιορίσουµε την οσότητ. Πριν ντήσουµε σ υτό το ερώτηµ ρθέτουµε ορισµένες ροκτρκτικές γνώσεις ό τη θεωρί συστολών. Γι οοιδήοτε συνάρτηση u B I έστω u su u. Ορισµός.6 Μί συνάρτηση T : B I B I κλείτι συστολή cotrcto mg ν Tu Tv β u v γι κάοιο β < κι γι κάθε u v B I. Η συνάρτηση u v είνι η συνάρτηση της οοίς η τιµή στο είνι u v. Πρκάτω νφέρουµε έν σηµντικό θεώρηµ το οοίο ρθέτουµε χωρίς όδειξη. Γι την όδειξη συµβουλευθείτε οοιοδήοτε βιβλίο Συνρτησικής Ανάλυσης. Θεώρηµ.7 Στθερού Σηµείου γι Συστολές otrcto Mg Fxed ot Theorem. Αν T : B I B I είνι συστολή τότε υάρχει µί µονδική συνάρτηση g B I τέτοι ώστε: Tg g. Ειλέον γι κάθε u B I T u g κθώς. Γι ν εφρµόσουµε το θεώρηµ ς ορίσουµε τη συνάρτηση T : B I B I ως εξής: T u m u. A Αό το Θεώρηµ. έετι ότι: T. Συνεώς ν µορέσουµε ν δείξουµε ότι η συνάρτηση T είνι συστολή τότε υτό θ συνεάγετι ότι η µορεί ν βρεθεί τουλάχιστον ροσεγγιστικά ν διδοχικά εφρµόσουµε την T σε οοιδήοτε ρχική συνάρτηση u B I. Αυτή η διδικσί είνι γνωστή ως µέθοδος των διδοχικών ροσεγγίσεων method o successve roxmtos. Θεώρηµ.8 Η συνάρτηση T είνι µί συστολή. 5
Αόδειξη. Γι κάθε u v B I έχουµε: T u T v m u m v A A m u v A όου είνι τέτοι ώστε: ιδοχικά έχουµε: v m v. A T u T v u v [ u v ] su[ u v ] su[ u v ]. Αό την ράνω ροκύτουσ νισότητ έχουµε ότι: su { T u T v } su[ u v ]. Με ενλλγή των ρολών των u κι v ροκύτει ότι su{ } su[ ]. Συνδυάζοντς τις δύο ράνω νισότητες έετι ότι su T u T v su u v ή ισοδύνµ T u T v u v. Το ζητούµενο οτέλεσµ οδείχτηκε. T v T u v u Ως άµεσο εκόλουθο του ράνω θεωρήµτος κι του Θεωρήµτος Στθερού Σηµείου ίρνουµε το κόλουθο όρισµ: Πόρισµ.9 Η συνάρτηση είνι η µονδική λύση της εξίσωσης: m A. Ειλέον γι κάθε συνάρτηση u B I T u κθώς. Πρτηρήσεις. Μί ιδιίτερ χρήσιµη ειλογή γι τη συνάρτηση u είνι ν θεωρήσουµε ως u τη µηδενική συνάρτηση δηλδή. u Τότε ν θεωρήσουµε T ροκύτει ότι η 54
οσότητ ισούτι µε το ελάχιστο συνολικό νµενόµενο οληθωρισµένο κόστος γι το ρόβληµ του εερσµένου χρονικού ορίζοντ µήκους. Πολλές φορές σηµντικά οτελέσµτ ου φορούν την οσότητ µορούν ν οδειχτούν φού ρώτ οδειχθεί η ισχύ τους γι την οσότητ κι µετά άρουµε το όριο γι. Γι ράδειγµ µορεί ν δειχθεί ότι η οσότητ είνι µονότονη ως ρος φού δειχθεί ότι υτό ισχύει γι την οσότητ. Η οµοιότητ της µορφής των συνρτήσεων κι θ φνεί σε ράδειγµ ου θ ρουσιάσουµε ρκάτω. Το Πόρισµ.9 µς ειτρέει ν δείξουµε ότι στον λγόριθµο βελτίωσης των ολιτικών δύο ράγµτ είνι δυντά: Η νέ ολιτική είνι «γνήσι» κλύτερη ό την ροηγούµενη ή β κι οι δύο ολιτικές είνι βελτιστες. Αυτός ο ισχυρισµός οδεικνύετι ως εξής: Αν * τότε ό τη σχέση: * * m A. κι ό το Λήµµ. έετι ότι η κι συνεώς ό το Πόρισµ.9 έχουµε. Η συνάρτηση T είνι µί συστολή. ικνοοιεί το δεξιό µέλος της εξίσωσης βελτιστοοιησης Πράγµτι T u T v su T u T v su [ u v ] u v γι κάθε u v B I. Άρ η T είνι µί συστολή. Συνεώς ό το Λήµµ. ροκύτει ότι η η µονδική λύση της εξίσωσης:. είνι v Αν το σύνολο των κτστάσεων της διδικσίς είνι εερσµένο γι ράδειγµ ν είνι το σύνολο { K } ο λγόριθµος βελτίωσης των ολιτικών λειτουργεί ως εξής: Ειλέγουµε µί ρχική στάσιµη ολιτική. Υολογίζουµε τις οσότητες K λύνοντς το ρκάτω γρµµικό σύστηµ εξισώσεων µε γνώστους: K. Κτόιν βρίσκουµε τη στάσιµη ολιτική * η οοί ότν η διδικσί βρίσκετι στην κτάστση ειλέγει την ενέργει A ου ελχιστοοιεί την ράστση ριθµός των δυντών στάσιµων ολιτικών είνι εερσµένος διότι ο ριθµός των κτστάσεων είνι 55 Κτόιν βρίσκουµε τις οσότητες K γι ν βελτιώσουµε την ολιτική * κ.ο.κ. Εειδή ο *.
εερσµένος τελικά θ φτάσουµε σε µί στάσιµη ολιτική γι την οοί δεν υάρχει «γνήσι» βελτίωση. Αυτή είνι η βέλτιστη ολιτική. Συνοψίζοντς υάρχουν δύο διφορετικοί λγόριθµοι γι τη λύση του ροβλήµτος: Μέθοδος των διδοχικών ροσεγγίσεων Method o successve roxmtos. β Αλγόριθµος βελτίωσης των ολιτικών olcy-terto lgorthm. Τονίζουµε ότι όλ τ ράνω οτελέσµτ ισχύουν ν ντί της ελχιστοοίησης του συνολικού νµενόµενου οληθωρισµένου κόστους µς ενδιφέρει η µεγιστοοίηση του συνολικού νµενόµενου οληθωρισµένου κέρδους. Σε υτήν την ερίτωση η εξίσωση βελτιστοοίησης ντίστοιχη της είνι: mx R A όου R είνι το νµενόµενο κέρδος ότν βρισκόµστε στη κτάστση κι λάβουµε την όφση ντίστοιχο του.. Πρδείγµτ Πράδειγµ Έν µοντέλο γι την ντικτάστση ενός µηχνήµτος. Θεωρούµε έν µηχάνηµ το οοίο µορεί ν βρίσκετι σε οοιδήοτε ό τις κτστάσεις K. Υοθέτουµε ότι στην ρχή κάθε µέρς η κτάστση του µηχνήµτος ρτηρείτι κι οφσίζετι ν θ ντικτστθεί ή ν δεν θ ντικτστθεί. Αν οφσιστεί ν ντικτστθεί τότε υοθέτουµε ότι το µηχάνηµ ντικθιστάτι µέσως ό έν κινούργιο. Η κτάστση του κινούργιου µηχνήµτος είνι η κτάστση. Το κόστος ντικτάστσης του µηχνήµτος είνι ίσο µε R. Ειλέον υοθέτουµε ότι υάρχει έν κόστος συντήρησης ίσο µε γι κάθε µέρ ου το µηχάνηµ είνι στην κτάστση. Είσης έστω η ιθνότητ έν µηχάνηµ ου βρίσκετι στην κτάστση στην ρχή κάοις µέρς ν µετβεί στην κτάστση στην ρχή της εόµενης µέρς. Έχουµε κόµ τις εξής υοθέσεις γι το κόστος συντήρησης κι τις ιθνότητες µετάβσης: Η συνάρτηση είνι φργµένη κι ύξουσ. Η έκφρση είνι ύξουσ ως ρος γι κάθε κ κ. Η Υόθεση σηµίνει ότι το κόστος συντήρησης είνι µί ύξουσ συνάρτηση της κτάστσης. Η Υόθεση σηµίνει ότι η ιθνότητ µετάβσης σε οοιοδήοτε σύνολο τιµών { κ κ... } ύξουσ συνάρτηση της ρούσς κτάστσης. 56 είνι µι Σε υτό το µοντέλο οι ενέργειες ου ντιστοιχούν στις κτστάσεις... είνι η Ενέργει ου σηµίνει «ντικτάστση» κι η Ενέργει ου σηµίνει «µη-ντικτάστση». Στην κτάστση ντιστοιχεί µόνο
η Ενέργει. Αό την εριγρφή του µοντέλου έχουµε τις κόλουθες εκφράσεις γι τις οσότητες : R Γι την εύρεση της µορφής της βέλτιστης ολιτικής θ χρειστούµε το κόλουθο λήµµ του οοίου η όδειξη ρλείετι βσίζετι στην Υόθεση. Λήµµ. Γι οοιδήοτε ύξουσ συνάρτηση h η συνάρτηση h ρος. είνι είσης ύξουσ ως Στην όδειξη του ρκάτω λήµµτος θ χρησιµοοιήσουµε την Πρτήρηση. Λήµµ. Αν οι Υοθέσεις κι ισχύουν τότε η οσότητ είνι ύξουσ. Αόδειξη. Θ δείξουµε ρχικά ότι είνι ύξουσ. Η όδειξη θ γίνει εγωγικά ως ρος. Γι κι έχουµε: { } m R Αφού ύξουσ έχουµε ότι είνι ύξουσ. Έστω ότι ύξουσ. Τότε m R Αό την εγωγική υόθεση κι το Λήµµ. ροκύτει ότι είνι ύξουσ ως ρος. Όµως lm. Άρ είνι ύξουσ. Η µορφή της βέλτιστης ολιτικής δίνετι στο ρκάτω θεώρηµ. 57
Θεώρηµ. Υάρχει ένς µη-ρνητικός κέριος τέτοιος ώστε η ντικθιστά το µηχάνηµ ότν η κτάστση του µηχνήµτος είνι µεγλύτερη του ντικθιστά ότν είνι µικρότερη ή ίση του. Αόδειξη. Η εξίσωση βελτιστοοίησης είνι: m R Έστω : mx : R βέλτιστη ολιτική κι δεν το Αό τ δυο ροηγούµεν λήµµτ έετι ότι είνι ύξουσ ως ρος. Συνεώς: *. R > * Το οτέλεσµ έετι άµεσ ό το Θεώρηµ.4. Πράδειγµ Έν λό µοντέλο γι τον έλεγχο οθεµάτων. Υοθέτουµε ότι έν κτάστηµ ώλησης υτοκινήτων χωράει το ολύ υτοκίνητ. Αν στην ρχή της ηµέρς το κτάστηµ διθέτει { } υτοκίνητ υάρχει δυντότητ ν ργγελθούν υτοκίνητ τ οοί φθάνουν στο κτάστηµ µέσως. Το κόστος ργγελίς υτοκινήτων είνι ίσο µε όου ιθνότητ 58 6 8. Η ζήτησης υτοκινήτων ό το συγκεκριµένο κτάστηµ κτά τη διάρκει µίς ηµέρς δίνετι ό τις σχέσεις: υτοκινήτων στο κτάστηµ υερβίνει τη ζήτηση d holdg cost ίσο µε d.. Αν κάοι µέρ ο ριθµός των 8 4 8 h z h Υοθέτουµε ότι υτοκινήτων στο κτάστηµ είνι µικρότερος της ζήτησης d της ηµέρς τότε υάρχει έν οθεµτικό κόστος z z. Αν κάοι µέρ ο ριθµός των της ηµέρς τότε υάρχει έν κόστος λόγω έλλειψης shortge cost ίσο µε d. Υοθέτουµε ότι z z z. Μς ενδιφέρει η εύρεση της ολιτικής ου ελχιστοοιεί το συνολικό νµενόµενο οληθωρισµένο κόστος ότν ο οληθωριστικός ράγοντς είνι ίσος µε.9. Λύση. Ο χώρος κτστάσεων είνι ο ριθµός των υτοκινήτων ου διθέτει το κτάστηµ κτά την ρχή της ηµέρς δηλδή είνι το σύνολο { }. Στην κτάστση ντιστοιχεί η ενέργει { K } όου είνι ο ριθµός των υτοκινήτων ου ργγέλνοντι. Τ δεδοµέν του ροβλήµτος συνοψίζοντι στον ρκάτω ίνκ:
Κτάστση Ενέργει 9.5 5.5.875.5.65.5.5.75.5.5.5.5 9.5.875.5 8.65.5.5 9.75.5.5.5.5.65.5.5 7.75.5.5.5.5.75.5.5.5.5 Ο ίνκς ειβεβιώνετι εύκολ. Γι ράδειγµ: d.5 d d 8.65 7 8 h h h 8 4 8 4 4 4 8 6 7 c h c c c 5.5. 8 4 8 Θ βρούµε τη βέλτιστη ολιτική χρησιµοοιώντς τον λγόριθµο βελτίωσης των ολιτικών. Έστω η κολουθί των στάσιµων ολιτικών ου ράγοντι ό τον λγόριθµο. Ως ρχική ολιτική K ειλέγουµε εκείνη ου ελχιστοοιεί τις οσότητες. Μί τέτοι ειλογή έχει οδειχθεί συµφέρουσ ό την ρκτική εµειρί. 59
Αό τον ράνω ίνκ έχουµε:. Γι ν βρούµε το κόστος ου ντιστοιχεί στην ολιτική λύνουµε το ρκάτω σύστηµ των γρµµικών εξισώσεων:.65.5.5.65.5.5.65.5.5.9.5.5.5.5.9 8.9.9.75 Η λύση είνι: 86.5 84.5 78.5 75.6. Θ ροσθήσουµε ν βελτιώσουµε την ολιτική βσιζόµενοι στο Πόρισµ.5. Οι υολογισµοί γίνοντι ρκάτω: ΚΑΤΑΣΤΑΣΗ Ενέργει.9 85.6 ΚΑΤΑΣΤΑΣΗ Ενέργει.9 ΚΑΤΑΣΤΑΣΗ Ενέργει.9 [ 86.5.5 84.5.5 78. ].9.65 5 78.5 8.6 6
ΚΑΤΑΣΤΑΣΗ Ενέργει.9 Άρ η βελτιωµένη στάσιµη ολιτική είνι η ολιτική όου. Πρτηρούµε ότι:. Γι ν βρούµε το κόστος ου ντιστοιχεί στην ολιτική λύνουµε το σύστηµ:.9.5.5.5.5.9.5.5.5.5.65.5.5.9.5.5.5.5.75 9.75.9.75 Η λύση είνι: 77.7 75.7 7.7 67.7. Θ ροσθήσουµε ν βελτιώσουµε την ολιτική. Οι υολογισµοί γίνοντι ρκάτω: ΚΑΤΑΣΤΑΣΗ.9 5.5.9[.875 77.7.5 75.7] 84. 85 ΚΑΤΑΣΤΑΣΗ.9 ΚΑΤΑΣΤΑΣΗ Ενέργει.9.9[.6577.7.575.7.57.7] 7.7 7.75.9[.577.7.575.7.57.7.5 67.7 ] 7.7 6
ΚΑΤΑΣΤΑΣΗ Ενέργει.9.75.9[.577.7.575.7.57.7.5 67.7 ] 67.7 Άρ η βελτιωµένη ολιτική είνι η ολιτική όου. Πρτηρούµε ότι. Άρ η ολιτική είνι.9-βέλτιστη. Συνεώς ν κι υάρχουν 4 διφορετικές στάσιµες ολιτικές ο λγόριθµος βελτίωσης των ολιτικών φτάνει στη βέλτιστη ολιτική µετά ό δύο µόνο ενλήψεις. Χρησιµοοιώντς τη µέθοδο των διδοχικών ροσεγγίσεων θέτουµε γι { } κι... T m A όου { } κι A {... }. Ισχύει ότι: κθώς γι { }. Έστω g... η στάσιµη ολιτική η οοί γι κάθε { } ειλέγει εκείνη την ενέργει A ου ειτυγχάνει το ελάχιστο στην ράνω εξίσωση. Αό το Θεώρηµ.4 g κθώς όου g είνι η βέλτιστη στάσιµη ολιτική.9. Στον ρκάτω ίνκ ρθέτουµε τις οσότητες κι g γι διάφορες τιµές του. g g g g g 8.8 6.7 4.7 9.65 6.7.8.8 5.79.8 5.45 49.45 44.44 4.45 74.5 7.5 67.5 64.5 5 77.4 75.4 67.4 67.4 77.7 75.7 67.7 67.7 Πρτηρούµε ότι η.9-βέλτιστη ολιτική εµφνίζετι γι ενώ η οσότητ διφέρει ό την οσότητ λιγότερο ό % γι 5. Αυτά τ οτελέσµτ συµφωνούν µε εκείν ου λάβµε χρησιµοοιώντς τον λγόριθµο βελτίωσης των ολιτικών. Πράδειγµ Πώληση µίς ειχείρησης. Έστω ότι θέλουµε ν ουλήσουµε µί ειχείρηση µς. Κάθε µέρ λµβάνουµε µι ροσφορά κι ρέει µέσως ν ντήσουµε ν τη δεχόµστε ή την ορρίτουµε. Τ µεγέθη των ροσφορών είνι νεξάρτητες κι ισόνοµες τυχίες µετβλητές. Η ιθνότητ ν είνι το µέγεθος µίς ροσφοράς ίσο µε -ευρώ N ισούτι µε. Υοθέτουµε ότι µί ροσφορά ου 6
ορρίτετι υτόµτ χάνετι. Η διδικσί δικότετι µετά την οδοχή µίς ροσφοράς. Ειλέον υοθέτουµε ότι υάρχει έν κόστος συντήρησης ίσο µε γι κάθε µέρ ου η ειχείρηση ρµένει ούλητη κι ότι υάρχει ένς οληθωριστικός ράγοντς ίσος µε νά ηµέρ όου < <. Το ρόβληµ είνι ν βρούµε εκείνη την ολιτική ου µεγιστοοιεί το νµενόµενο συνολικό οληθωρισµένο κέρδος. Λύση. Το σύνολο των κτστάσεων της διδικσίς είνι: S {... N } όου οι κτστάσεις...n ντιστοιχούν στο µέγεθος µις ροσφοράς ου µόλις ρουσιάζετι. Η κτάστση είνι η κτάστση ρος την οοί υοθέτουµε ότι µετβίνει η διδικσί µόλις µί ροσφορά γίνει οδεκτή. Αν η διδικσί µετβεί στην κτάστση ρµένει εκεί άντοτε δηλδή η κτάστση είνι µί ορροφούσ κτάστση. Το σύνολο των ενεργειών είνι: A { δε } όου ορρίτουµε την ροσφορά κι δε δεχόµστε την ροσφορά. Γι {...N } έχουµε: R δε R R A δε {...N } Η εξίσωση βελτιστοοίησης γι υτό το ρόβληµ ίρνει τη µορφή: N mx N. Ο δεξιός όρος µέσ στ άγκιστρ είνι µί στθερά ν κι η τιµή της µέχρι στιγµής είνι άγνωστη. Έστω * N : m N >. Εοµένως η βέλτιστη ολιτική δέχετι οοιδήοτε ροσφορά ου είνι µεγλύτερη ή ίση µε * κι ορρίτει όλες τις ροσφορές ου είνι µικρότερες του *. Πρτηρούµε ότι: * N. Γι µερικές τιµές των ρµέτρων είνι βέλτιστο ν οδεχόµστε οοιδήοτε ροσφορά είνι η ερίτωση *. Ακόµ είνι άντοτε βέλτιστο ν οδεχόµστε µί ροσφορά µεγέθους N. Πρτηρούµε είσης ότι: N * < κι *. Η γρφική ράστση της φίνετι στο κόλουθο σχήµ: 6
* N Πρτηρούµε ότι είνι µί κυρτή συνάρτηση. Συνεώς η µορφή της βέλτιστης ολιτικής βρέθηκε. Μένει ν ροσδιορίσουµε την τιµή της κρίσιµης κτάστσης *. Ενώ γι τον ροσδιορισµό της µορφής της βέλτιστης ολιτικής χρησιµοοιήθηκε µόνο η εξίσωση βελτιστοοίησης γι τον ροσδιορισµό της τιµής * θ χρησιµοοιηθούν γνώσεις λογισµού ιθνοτήτων. Έστω η ολιτική εκείνη ου οδέχετι µί ροσφορά ν κι µόνο ν είνι µεγλύτερη ή ίση µε ευρώ N. Χρησιµοοιώντς την ολιτική η νµενόµενη τιµή της ροσφοράς µ ου τελικά γίνετι δεκτή είνι: µ N N είνι ουσιστικά η δεσµευµένη µέση τιµή του µεγέθους µίς ροσφοράς δοθέντος ότι είνι µεγλύτερη ή ίση µε. Έστω T ο ριθµός των ορριφθέντων ροσφορών ου έχουµε ροτού µί ροσφορά γίνει δεκτή ν χρησιµοοιείτι η ολιτική. Η µετβλητή T είνι µί τυχί µετβλητή ου κολουθεί τη γεωµετρική κτνοµή µε ιθνότητ ειτυχίς θ. Η ιθνογεννήτρι της T είνι: T θ E z. θz οθέντος της T το νµενόµενο συνολικό οληθωρισµένο κέρδος ν χρησιµοοιήσουµε την ολιτική είνι: 64
T T T T K µ µ. Πίρνοντς τη µέση τίµη της ράνω έκφρσης ως ρος T το νµενόµενο συνολικό οληθωρισµένο κέρδος είνι ίσο µε: θ θ θ µ θ θ θ θ N N N N. Η τιµή του ου ντιστοιχεί στη βέλτιστη ολιτική ρέει ν µεγιστοοιεί το νµενόµενο κέρδος. Έετι λοιόν ότι η τιµή * είνι εκείνη η τιµή N ου µεγιστοοιεί την ράνω έκφρση. Πράδειγµ 4. Στην ρχή κάθε µήν έν µηχάνηµ εξετάζετι κι τξινοµείτι σε µί ό τις ρκάτω κτστάσεις. Κτάστση Ερµηνεί άριστη κτάστση σν κινούργιο δουλεύει έχοντς άθει µικρή βλάβη δουλεύει έχοντς άθει µεγάλη βλάβη δε δουλεύει Αφού ρτηρήσουµε την κτάστση στην οοί βρίσκετι το µηχάνηµ ρέει ν οφσίσουµε ν θ το ντικτστήσουµε µε έν κινούργιο µηχάνηµ Ενέργει ή ν δεν θ το ντικτστήσουµε Ενέργει. Όµως στην κτάστση µόνο η ενέργει είνι ειτρετή κι στην κτάστση µόνο η ενέργει είνι ειτρετή. Αν ληφθεί η ενέργει ότν το µηχάνηµ είνι στις κτστάσεις τότε έχουµε έν µηνιίο κόστος λειτουργίς του µηχνήµτος ίσο µε κι 5 ντίστοιχ. Ειλέον το µηχάνηµ θ µετβεί στην κτάστση στην ρχή του εόµενου µήν µε ιθνότητ. Αν ληφθεί η ενέργει ότν το µηχάνηµ είνι στις κτστάσεις κι το µηχάνηµ ντικθίσττι κριί ό έν κινούργιο µηχάνηµ κτάστση κι έχουµε έν κόστος ντικτάστσης ίσο µε 5 κι ντίστοιχ. Το µηχάνηµ θ µετβεί στην κτάστση στην ρχή του εόµενου µήν µε ιθνότητ. Οι οσότητες c κι γι υτό το ρόβληµ δίνοντι στον ρκάτω ίνκ: 65
Πίνκς µε τ δεδοµέν του ροβλήµτος Κτάστση Ενέργει c.75.875.65.75.875.65.75.875.65 5.75.5 6.75.875.65.75.875.65 Χρησιµοοιείστε τον λγόριθµο βελτίωσης των ολιτικών γι την εύρεση της.95-βέλτιστης ολιτικής. Λύση. Ξεκινάµε ό την ολιτική ου ελχιστοοιεί τις οσότητες. Γι ν βρούµε το κόστος γρµµικών εξισώσεων: c. Αυτή είνι η λύνουµε το σύστηµ των.95.75.875.65.95.75.875.65 5.95.75.5.95.75.875.65 Η λύση του συστήµτος είνι: Γι τις κτστάσεις { } βρίσκουµε την ενέργει { } 95.5 754.88 68. 5.5 ου ελχιστοοιεί την ράστση.95 c κι ροκύτει η ολιτική: Γι ν βρούµε το κόστος λύνουµε το σύστηµ:.95.75.875.65.95.75.875.65 6.95.75.875.65 66
.95.75.875.65 Η λύση του συστήµτος είνι: 968.8 6.98 868.8 5.5 Γι τις κτστάσεις βρίσκουµε την ενέργει { } ου ελχιστοοιεί την ράστση:.95. κι ροκύτει η ολιτική:. Πρτηρούµε ότι. Άρ η ολιτική είνι βέλτιστη. Άσκηση. Εκτελώντς έν κτάλληλο ρόγρµµ βρείτε τη.95-βέλτιστη ολιτική κι τις οσότητες γι το µοντέλο του Πρδείγµτος 4 χρησιµοοιώντς τη µέθοδο των διδοχικών.95 ροσεγγίσεων. Τ οτελέσµτ θ ρέει ν συµφωνούν µε εκείν ου λάβµε χρησιµοοιώντς τον λγόριθµο βελτιώσης των ολιτικών. Υόδειξη. Είνι λογικό ν στµτήσουµε τον λγόριθµο ότν φτάσουµε σε κάοιο τέτοιο ώστε: mx < ε. Στο θετικό ριθµό ε µορούµε ν δώσουµε διάφορες τιµές.χ...5. νάλογ µε την κρίβει ου ειθυµούµε. 67