ΚΕΦΑΛΑΙΟ 3: ΕΛΑΧΙΣΤΟΠΟΙΗΣΗ ΤΟΥ ΜΑΚΡΟΠΡΟΘΕΣΜΟΥ ΑΝΑΜΕΝΟΜΕΝΟΥ ΜΕΣΟΥ ΚΟΣΤΟΥΣ ΑΝΑ ΜΟΝΑ Α ΧΡΟΝΟΥ ΓΙΑ ΤΑ ΜΟΝΤΕΛΑ ΤΟΥ ΑΠΕΙΡΟΥ ΧΡΟΝΙΚΟΥ ΟΡΙΖΟΝΤΑ

ΚΕΦΑΛΑΙΟ 3: ΕΛΑΧΙΣΤΟΠΟΙΗΣΗ ΤΟΥ ΜΑΚΡΟΠΡΟΘΕΣΜΟΥ ΑΝΑΜΕΝΟΜΕΝΟΥ ΜΕΣΟΥ ΚΟΣΤΟΥΣ ΑΝΑ ΜΟΝΑ Α ΧΡΟΝΟΥ ΓΙΑ ΤΑ ΜΟΝΤΕΛΑ ΤΟΥ ΑΠΕΙΡΟΥ ΧΡΟΝΙΚΟΥ ΟΡΙΖΟΝΤΑ 3. Εισγωγή Το µκροπρόθεσµο νµενόµενο µέσο κόστος g π νά µονάδ χρόνου υπό τον έλεγχο της πολιτικής π δοθέντος ότι η ρχική κτάστση της διδικσίς είνι η κτάστση ορίζετι ως εξής: g π l E π C a. Γι κάθε κτάστση της διδικσίς µί πολιτική π * είνι βέλτιστη ν: g π* g π. π Σε ντίθεση µε το πρόβληµ της ελχιστοποίησης του συνολικού νµενόµενου ποπληθωρισµένου κόστους στο πρόβληµ της ελχιστοποίησης του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου η ύπρξη µίς βέλτιστης πολιτικής δεν είνι βέβιη. Υπάρχουν προβλήµτ ελέγχου µίς στοχστικής διδικσίς στ οποί η βέλτιστη πολιτική είτε δεν υπάρχει είτε κι ν κόµη υπάρχει δεν είνι µί στάσιµη πολιτική. Πρδείγµτ τέτοιων περιπτώσεων νφέροντι στις σελίδες 4-44 του βιβλίου [5] κι στις σελίδες 28-32 του βιβλίου [6]. Πολλοί ερευνητές έχουν σχοληθεί µε το θέµ της κτσκευής κτάλληλων υποθέσεων οι οποίες εξσφλίζουν την ύπρξη µίς βέλτιστης στάσιµης πολιτικής. Στο βιβλίο [6] Κεφάλιο 7 γίνετι µί νλυτική προυσίση των πρόσφτων ποτελεσµάτων σχετικά µε το θέµ υτό µε ρκετές νφορές σε προηγούµενες εργσίες. Στο πρόν εδάφιο υποθέτουµε ότι υπάρχει ένς θετικός ριθµός Μ τέτοιος ώστε γι κάθε ενέργει κι κάθε κτάστση της διδικσίς ισχύει ότι: C a < M. Το Θεώρηµ 3. πρέχει µί ικνή συνθήκη γι την ύπρξη µίς βέλτιστης στάσιµης πολιτικής. Η πόδειξη του θεωρήµτος βρίσκετι στη σελίδ 44 του βιβλίου [5]. Θεώρηµ 3. Έστω ότι υπάρχει µί άνω φργµένη κολουθί ριθµών { h } κι µί στθερά g έτσι ώστε: 68

h C a g a h a A Τότε υπάρχει µί βέλτιστη στάσιµη πολιτική { } η οποί οποτεδήποτε η διδικσί βρίσκετι στην κτάστση επιλέγει εκείνη την ενέργει Επιπλέον η στθερά g είνι ίση µε g όπου { }. a που ελχιστοποιεί το δεξιό µέλος της εξίσωσης. Η εξίσωση είνι γνωστή ως εξίσωση βελτιστοποίησης γι το πρόβληµ της ελχιστοποίησης του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου. Οι τιµές { } είνι γνωστές ως οι σχετικές τιµές elave values της βέλτιστης στάσιµης πολιτικής. Γι κάθε κτάστση της διδικσίς το πρκάτω θεώρηµ πρέχει µί συνθήκη η οποί εγγυάτι την ύπρξη µίς κολουθίς των σχετικών τιµών { h } µέσω της συνάρτησης. h Θεώρηµ 3.2 Έστω ότι γι µί κτάστση της διδικσίς γι πράδειγµ την κτάστση υπάρχει µί στθερά B τέτοι ώστε: < B γι κάθε κι κάθε. Τότε: Υπάρχει µί άνω φργµένη κολουθί ριθµών { h } κι µί στθερά g που ικνοποιούν την εξίσωση βελτιστοποίησης. β Υπάρχει µί κολουθί ριθµών { } τέτοι ώστε: l γι την οποί ισχύει ότι: h l { } γ l g. κι Η πόδειξη του Θεωρήµτος 3.2 βρίσκετι στις σελίδες 46-49 του βιβλίου [5]. Από το β του Θεωρήµτος 3.2 προκύπτει ότι η συνάρτηση h λµβάνει τη δοµή της συνάρτησης. Γι πράδειγµ ν η συνάρτηση είνι άυξουσ ή κυρτή τότε έπετι ότι το ίδιο συµβίνει µε τη συνάρτηση h. Ας θεωρήσουµε το Πράδειγµ του Εδφίου 2.3 στο οποίο είχµε: C κι P. R C P R. Επειδή ύξουσ ως προς Λήµµ 2. προκύπτει ότι R. 69

Συνεπώς υπάρχει µί στθερά g κι µι ύξουσ συνάρτηση hτέτοι ώστε: g h R C P h C P h κι η πολιτική που επιλέγει εκείνες τις ενέργειες που ελχιστοποιούν το δεξιό µέλος της πρπάνω σχέσης σε κάθε κτάστση της διδικσίς είνι η βέλτιστη πολιτική ως προς την ελχιστοποίηση του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου. Αν θέσουµε: * a C P h R C P h τότε η βέλτιστη πολιτική έχει την ίδι δοµή µε την βέλτιστη πολιτική. Στο πρόβληµ της ελχιστοποίησης του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου η κόλουθη υπόθεση χρειάζετι ν εισχθεί έτσι ώστε ν είνι εφικτός ο υπολογισµός µίς βέλτιστης στάσιµης πολιτικής. Υπόθεση *. Γι κάθε στάσιµη πολιτική υπάρχει µί κτάστση η οποί είνι τέτοι ώστε ο νµενόµενος χρόνος κι το νµενόµενο κόστος που πιτούντι γι τη µετάβση στην κτάστση πό οποιδήποτε κτάστση της διδικσίς υπό τον έλεγχο της πολιτικής είνι πεπερσµένο. Η πρπάνω Υπόθεση * εξσφλίζει επίσης ότι το µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου οποισδήποτε στάσιµης πολιτικής που υιοθετείτι γι τον έλεγχο της διδικσίς είνι νεξάρτητο της ρχικής κτάστσης της διδικσίς. Όπως στο πρόβληµ της ελχιστοποίησης του συνολικού νµενόµενου ποπληθωρισµένου κόστους έτσι κι στο πρόβληµ της ελχιστοποίησης του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου ο λγόριθµος βελτίωσης των πολιτικών κι η µέθοδος των διδοχικών προσεγγίσεων συνιστούν τις βσικές υπολογιστικές τεχνικές γι την εύρεση της βέλτιστης πολιτικής. Ο λγόριθµος βελτίωσης των πολιτικών βσίζετι στ κόλουθ Θεωρήµτ 3.3 κι 3.4 οι ποδείξεις των οποίων βρίσκοντι στις σελίδες 9-27 του βιβλίου [7]. Θεώρηµ 3.3 Έστω ότι υπάρχει µί κτάστση η οποί ικνοποιεί την Υπόθεση *. Έστω g το µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου υπό τον έλεγχο της στάσιµης πολιτικής { } κι h K g T όπου T κι K είνι ο νµενόµενος χρόνος κι το νµενόµενο κόστος ντίστοιχ που πιτούντι µέχρι η διδικσί ν επιστρέψει στην κτάστση ν ρχικά βρισκότν στην κτάστση κι η πολιτική έχει υιοθετηθεί γι τον έλεγχο της διδικσίς. 7

Τότε οι ποσότητες h κι g είνι η µονδική λύση του κόλουθου συστήµτος των γρµµικών εξισώσεων µε γνώστους g κι h : h C g P h h. 2 Η Εξίσωση 2 είνι γνωστή ως εξίσωση κνονικοποίησης oalzg equao. Θεώρηµ 3.4 Έστω ότι υπάρχει µί κτάστση η οποί ικνοποιεί την Υπόθεση *. Έστω g κι g ~τ µκροπρόθεσµ νµενόµεν µέσ κόστη νά µονάδ χρόνου υπό τον έλεγχο των στάσιµων πολιτικών ~ ~ κι { } ντίστοιχ. Υποθέτουµε ότι: { } ~ C g ~ P h h όπου οι ποσότητες h έχουν οριστεί µέσω της εξίσωσης: h K g T. Τότε: g ~ g. Οι ποσότητες h είνι γνωστές ως οι σχετικές τιµές elave values της πολιτικής. Στη συνέχει περιγράφουµε σε βήµτ τον λγόριθµο βελτίωσης των πολιτικών. Ο λγόριθµος βελτίωσης των πολιτικών The Polcy-Ieao Algoh Βήµ Ένρξη. Επιλέγουµε µί στάσιµη πολιτική R. Βήµ Υπολογισµός σχετικών τιµών της πολιτικής R. Γι υτήν την πολιτική υπολογίζουµε τη µονδική λύση { R h R } g του κόλουθου συστήµτος γρµµικών εξισώσεων: h R C R g h s R P R h R όπου s είνι µι υθίρετη επιλεγµένη κτάστση της διδικσίς. Βήµ 2 Βήµ βελτίωσης των πολιτικών. Γι κάθε κτάστση της διδικσίς επιλέγουµε την ενέργει a που επιτυγχάνει το ελάχιστο της πράστσης: 7 C a g R P a h R. aea

Η νέ στάσιµη πολιτική R λµβάνετι επιλέγοντς R a γι κάθε κτάστση της διδικσίς µε την προϋπόθεση ότι η ενέργει R επιλέγετι ίδι µε την ενέργει της προηγούµενης πολιτικής ενέργει υτή ελχιστοποιεί την ποσότητ νάµεσ στ άγκιστρ. R ότν η Βήµ 3 Σύγκλιση. Αν η κινούρι πολιτική R είνι ίδι µε την προηγούµενη πολιτική R ο λγόριθµος στµτά. ιφορετικά επιστρέφουµε στο Βήµ µε την πολιτική R ν ντικθίσττι πό την πολιτική R. Ο λγόριθµος βελτίωσης των πολιτικών συγκλίνει µετά πό ένν πεπερσµένο ριθµό επνλήψεων eaos σε µί βέλτιστη πολιτική ως προς την ελχιστοποίηση του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου. Είνι ένς ευστθής λγόριθµος ο οποίος συγκλίνει σχετικά γρήγορ. Ο ριθµός των επνλήψεων του λγορίθµου είνι νεξάρτητος του ριθµού των κτστάσεων της διδικσίς κι συνήθως κυµίνετι µετξύ 3 κι 5. Επίσης το µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου των πολιτικών που πράγοντι πό τις επνλήψεις του λγορίθµου επιτυγχάνει σηµντική βελτίωση στην τιµή του στις πρώτες επνλήψεις του λγορίθµου συγκλίνοντς στο ελάχιστο µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου. 3.2 Η µέθοδος των διδοχικών προσεγγίσεων Ο λγόριθµος βελτίωσης των πολιτικών πιτεί σε κάθε επνάληψή του την επίλυση ενός συστήµτος γρµµικών εξισώσεων µε διάστση ίδι µε τη διάστση του χώρου κτστάσεων της διδικσίς γι την οποί επιλύετι. Το γεγονός υτό επιβρύνει υπολογιστικά τους λγορίθµους βελτίωσης των πολιτικών κι τους κάνει λιγότερο ελκυστικούς σε προβλήµτ Μρκοβινών διδικσιών ποφάσεων µε µεγάλους χώρους κτστάσεων. Ένς ενλλκτικός λγόριθµος ποφεύγει την επίλυση συστηµάτων γρµµικών εξισώσεων χρησιµοποιεί ένν νδροµικό τρόπο επίλυσης των προβληµάτων κι βσίζετι στο δυνµικό προγρµµτισµό. Ο λγόριθµος στηρίζετι στη µέθοδο των διδοχικών προσεγγίσεων ehod o successve aoaos κι υπολογίζει νδροµικά µί κολουθί τιµών συνάρτησης η οποί προσεγγίζει την τιµή του ελχίστου µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου. Αυτές οι συνρτήσεις πρέχουν άνω κι κάτω φράγµτ στην τιµή του ελάχιστου µκροπρόθεσµου νµενόµενου µέσου κόστους κι υπό µί συγκεκριµένη συνθήκη περιοδικότητς της διδικσίς υτά τ φράγµτ προσεγγίζουν την τιµή του ελχίστου µκροπρόθεσµου νµενόµενου µέσου κόστους. Η µέθοδος των διδοχικών προσεγγίσεων ποτελεί την κλύτερη υπολογιστική µέθοδο γι την επίλυση προβληµάτων Μρκοβινών διδικσιών ποφάσεων µε µεγάλους χώρους κτστάσεων. Ο λγόριθµος υπολογίζει νδροµικά γι 2 K τη συνάρτηση πό τον τύπο: C a a A a. 72

Η ποσότητ µπορεί ν θεωρηθεί ως το ελάχιστο συνολικό νµενόµενο κόστος ότν ποµένουν χρονικές περίοδοι γι το τέλος της διδικσίς. Η προύσ κτάστση είνι η κτάστση κι το τελικό κόστος είνι ίσο µε ότν η διδικσί κτλήξει στην κτάστση. Σύµφων µε τη µέθοδο των διδοχικών προσεγγίσεων γι µεγάλες τιµές του οι διφορές θ είνι πολύ κοντά στην τιµή του ελάχιστου µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου. Η στάσιµη πολιτική της οποίς οι ενέργειες ελχιστοποιούν την πράστση νάµεσ στ άγκιστρ γι κάθε κτάστση της διδικσίς στην πρπάνω εξίσωση θ είνι η βέλτιστη. Τ βήµτ της µεθόδου των διδοχικών προσεγγίσεων είνι: Ο λγόριθµος των διδοχικών προσεγγίσεων alue-eao algoh Βήµ Ένρξη. Επιλέγουµε µε C a γι κάθε κτάστση της διδικσίς. Βήµ. Υπολογίζουµε τη συνάρτηση γι κάθε κτάστση της διδικσίς πό τον τύπο: C a a A a. κι κθορίζουµε την πολιτική της οποίς οι ενέργειες ελχιστοποιούν το δεξιό µέλος της συνάρτησης. Βήµ 2. Υπολογίζουµε τ φράγµτ: M { } a κι { } 2 K. Ο λγόριθµος στµτά µε την πολιτική R ότν M ε a όπου ε είνι ένς προκθορισµένος πολύ µικρός ριθµός π.χ. ε 3. ιφορετικά πηγίνουµε στο Βήµ 3. Βήµ 3. Θέτουµε : κι µετβίνουµε στο Βήµ. Η λγόριθµος των διδοχικών προσεγγίσεων δεν έχει την ευστάθει του λγορίθµου βελτίωσης των πολιτικών. Ο ριθµός των επνλήψεων που πιτούντι πό τη µέθοδο των διδοχικών προσεγγίσεων γι τη σύγκλιση του λγορίθµου εξρτάτι πό το υπό εξέτση πρόβληµ κι συνήθως υξάνετι ότν υξάνετι ο ριθµός των κτστάσεων της διδικσίς. Το όριο νοχής ε κι η συνάρτηση επηρεάζει τον ριθµό των πιτούµενων επνλήψεων του λγορίθµου. Σηµείωση. Τονίζουµε ότι όλ τ ποτελέσµτ που προυσιάσµε σε υτό το κεφάλιο ισχύουν ν ντί γι την ελχιστοποίηση του µκροπρόθεσµου νµενόµενου µέσου κόστους νά µονάδ χρόνου µς ενδιφέρει η µεγιστοποίηση του µκροπρόθεσµου νµενόµενου µέσου κέρδους νά µονάδ χρόνου. 73

3.3 Πρδείγµτ Πράδειγµ Θεωρούµε έν µηχάνηµ το οποίο επιδεινώνετι µε την πάροδο του χρόνου κι επιθεωρείτι στην ρχή κάθε ηµέρς γι ν διπιστωθεί ο βθµός επιδείνωσής του. Υποθέτουµε ότι το µηχάνηµ µετά πό κάθε επιθεώρησή του βρίσκετι σε µί πό τις κτστάσεις K N όπου κάθε κτάστση νπριστά το βθµό επιδείνωσης του µηχνήµτος κι θεωρείτι κλύτερη πό την κτάστση. Αν η προύσ κτάστση του µηχνήµτος είνι ίση µε κι το µηχάνηµ δεν επισκευάζετι τότε στην ρχή της επόµενης ηµέρς το µηχάνηµ µετβίνει στην κτάστση µε πιθνότητ q. Υποθέτουµε ότι το µηχάνηµ δε µπορεί ν επιδιορθωθεί πό µόνο του. ηλδή ισχύει ότι q γι < κι q. Στην κτάστση N το µηχάνηµ δυσλειτουργεί κι πιτείτι µί επισκευή του η οποί διρκεί δυο ηµέρες. Στις ενδιάµεσες κτστάσεις < < N µπορούµε ν επιλέξουµε είτε ν θέσουµε σε λειτουργί µί προληπτική συντήρηση του µηχνήµτος είτε ν µην επέµβουµε στη λειτουργί του µηχνήµτος. Η προληπτική συντήρηση διρκεί µί ηµέρ. Το επιδιορθωµένο µηχάνηµ µετβίνει στην κτάστση. Σκοπός µς είνι ν κθορίσουµε ένν κνόν συντήρησης ο οποίος ν ελχιστοποιεί το µκροπρόθεσµο ποσοστό του χρόνου στον οποίο το µηχάνηµ θ βρίσκετι υπό επισκευή. Υποθέτοντς ότι το κόστος γι κάθε ηµέρ επισκευής του µηχνήµτος είνι ίσο µε τη µονάδ το µκροπρόθεσµο µέσο κόστος νά ηµέρ είνι το µκροπρόθεσµο ποσοστό ηµερών κτά τις οποίες το σύστηµ θ βρίσκετι υπό επισκευή. Επειδή η επισκευή του µηχνήµτος ότν βρίσκετι στην κτάστση N διρκεί δύο ηµέρες κι σε έν Μρκοβινό µοντέλο ποφάσεων σε δικριτό χρόνο η κτάστση πρέπει ν ορίζετι στην ρχή κάθε ηµέρς θ πρέπει ν εισάγουµε µί βοηθητική κτάστση γι την περίπτωση κτά την οποί η επισκευή του µηχνήµτος βρίσκετι σε εξέλιξη στην ρχή κάποις ηµέρς κτά την οποί το µηχάνηµ βρίσκετι στην κτάστση N. Το σύνολο όλων των δυντών κτστάσεων της διδικσίς είνι: S { 2 K N N }. Η κτάστση N ντιστοιχεί στις περιπτώσεις κτά τις οποίες µετά πό µί επιθεώρηση ο βθµός επιδείνωσης του µηχνήµτος είνι ίσος µε ενώ η κτάστση N ντιστοιχεί στην περίπτωση κτά την οποί η επισκευή του µηχνήµτος είνι ήδη σε εξέλιξη γι µί ηµέρ ότν το µηχάνηµ διπιστωθεί ότι βρίσκετι στην κτάστση N. Οι δύο δυντές ενέργειες είνι: a ν ποφσιστεί επισκευή κι a διφορετικά. Το σύνολο των ενεργειών γι κάθε κτάστση S είνι: A {} A {} < < N A N A N { }. Oι πιθνότητες µετάβσης a είνι: < < N q < N. N N N Οι υπόλοιπες πιθνότητες µετάβσης είνι a. Επιπλέον τ κόστη C a γι κάθε κτάστση S κι κάθε ενέργει a {} είνι C κι C. Υποθέτουµε ότι N 5. Οι πιθνότητες επιδείνωσης του µηχνήµτος q δίνοντι πό τον πίνκ: 74

q.75.2.5.5.2.5.2.25.3..25..7 Ο λγόριθµος βελτίωσης των πολιτικών ξεκινά µε την πολιτική η οποί ορίζει την ενέργει της επισκευής του µηχνήµτος a σε κάθε κτάστση εκτός της κτάστσης. η Επνάληψη. Βήµ. Γι την πολιτική R της οποίς οι ενέργειες είνι: R R R R R R το µέσο κόστος g R κι οι σχετικές τιµές h R µπορούν 2 3 4 5 6 ν υπολογιστούν ως η µονδική λύση του συστήµτος των γρµµικών εξισώσεων: h R g.75h R.2h2 R.5h3 R h k R g h R k 234. R g h 5 6 R R g h h h 6 R 6 R h όπου η κτάστση s 6 επιλέγετι γι την εξίσωση κνονικοποίησης. Οι λύσεις υτών των γρµµικών εξισώσεων δίνουν: R. 2 g R. 8 h R h 2 R h 3 R h 4 R. 8 h 5 h R. 6 Βήµ 2. Οι υπολογισµοί γι το βήµ βελτίωσης των πολιτικών γι την πολιτική επόµενο πίνκ. R προυσιάζοντι στον Κτάστση Ενέργει a C a g R 6 a h R 2 3 4.2..8.2.8.2.2.25.8.8.2.2.7.8.36.8.2 75

Πρτηρούµε ότι γι την κτάστση 3 η ενέργει a που κθορίζετι πό την προύσ πολιτική είνι µί πό τις ενέργειες που ελχιστοποιούν την ποσότητ βελτίωσης των πολιτικών. Η ενέργει που λµβάνετι στην κτάστση 3 είνι η ενέργει a θ µπορούσε ν επιλεγεί κι η ενέργει a. Από τον πρπάνω πίνκ λµβάνουµε τη νέ πολιτική R R 2 R 3 R4 R5 R6. R της οποίς οι ενέργειες είνι: R Βήµ 3. Η νέ πολιτική συνεχίζετι µε τη δεύτερη επνάληψη. R είνι διφορετική πό την προηγούµενη πολιτική R συνεπώς ο λγόριθµος 2 η Επνάληψη. Βήµ. Γι την προύσ πολιτική R το µέσο κόστος R g κι οι σχετικές τιµές υπολογιστούν ως η µονδική λύση του κόλουθου συστήµτος των γρµµικών εξισώσεων: R g.75h R.2h2 R. h3 R R g.5h2 R.2h3 R.2h4 R. h5 R R g h R k 3 4 R g h6 R g h h R. h 5 h 2 h k h 5 R h 6 R Η λύση του συστήµτος δίνει: R. 72 R. g h 6 6 R. 828 h R. 78 h 2 R h 3 R h 4 R h µπορούν ν R. 828 h 5 Βήµ 2. Το βήµ βελτίωσης των πολιτικών γι την πολιτική R φίνετι στον πρκάτω πίνκ: Κτάστση Ενέργει a C a g R 6 a h R 2 3 4.78..828. 78.72.5.828.72.828. 35.72.25.828.72.828. 48.72.7.828.72 76

Από τον πίνκ βλέπουµε ότι η νέ πολιτική 3 3 3 3 R R R R είνι ίδι µε την προηγούµενη πολιτική 3 4 5 6 3 R της οποίς οι ενέργειες είνι: R 3 3 R2 R συνεπώς είνι η βέλτιστη ως προς την ελχιστοποίηση του µέσου κόστους νά µονάδ χρόνου. Το ελάχιστο ποσοστό ηµερών στις οποίες το µηχάνηµ είνι υπό επισκευή είνι ίσο µε.72. Άσκηση. Εκτελέστε έν κτάλληλο πρόγρµµ γι την εύρεση της βέλτιστης πολιτικής στο Πράδειγµ µε τη µέθοδο των διδοχικών προσεγγίσεων. Στη συνέχει περιγράφουµε έν πολύ πιο σύνθετο µοντέλο πό υτά που έχουµε ήδη µελετήσει. Το µοντέλο υτό σχετίζετι µε έν σύστηµ πργωγής που διθέτει ένν ενδιάµεσο ποθηκευτικό χώρο. Η προυσί του ποθηκευτικού χώρου διευκολύνει την πργωγική διδικσί. Πράδειγµ 2 Βέλτιστη προληπτική συντήρηση ενός συστήµτος πργωγής µε ένν ενδιάµεσο ποθηκευτικό χώρο. Θεωρούµε έν σύστηµ πργωγής το οποίο ποτελείτι πό έν µηχνισµό τροφοδοσίς I ένν ποθηκευτικό χώρο Β κι µί µονάδ πργωγής P. Ο µηχνισµός τροφοδοτεί τη µονάδ πργωγής µε έν κτέργστο υλικό. Ο ποθηκευτικός χώρος του κτέργστου υλικού έχει τοποθετηθεί νάµεσ στο µηχνισµό κι τη µονάδ πργωγής µε σκοπό ν ποφεύγοντι συχνές δικοπές της πργωγικής διδικσίς εξιτίς ενδεχόµενων σοβρών βλβών του µηχνισµού τροφοδοσίς. Η µονάδ πργωγής δέχετι το κτέργστο υλικό µε στθερό ρυθµό ίσο µε d µονάδες του υλικού νά µονάδ χρόνου. Υποθέτουµε ότι η µέγιστη χωρητικότητ του ποθηκευτικού χώρου είνι ίση µε K µονάδες του κτέργστου υλικού. Όσο ο ποθηκευτικός χώρος δεν είνι πλήρης ο µηχνισµός τροφοδοτεί τη µονάδ πργωγής µε το κτέργστο υλικό µε στθερό ρυθµό ίσο µε µονάδες του υλικού νά µονάδ χρόνου. Υποθέτουµε ότι > d. Ότν ο ποθηκευτικός χώρος είνι πλήρης ο µηχνισµός ελττώνει την τχύτητ τροφοδοσίς του πό µονάδες του υλικού νά µονάδ χρόνου σε d µονάδες του υλικού νά µονάδ χρόνου. d I B P Σχήµ. Το σύστηµ πργωγής Το σύστηµ πργωγής που περιγράψµε πεικονίζετι στο πρπάνω σχήµ. Ως έν πράδειγµ υτού του συστήµτος µπορεί ν θεωρηθεί µί πλτφόρµ η οποί έχει τοποθετηθεί στη θάλσσ µε σκοπό την 77

άντληση ργού πετρελίου. Το πετρέλιο µετφέρετι µέσω σωλήνων πό την πλτφόρµ πρώτ σε δεξµενές κι µετέπειτ προς τ διυλιστήρι που βρίσκοντι στην κτή. Στην περίπτωση υτή το ργό πετρέλιο η πλτφόρµ τ διυλιστήρι κι οι δεξµενές είνι το κτέργστο υλικό ο µηχνισµός η µονάδ πργωγής κι ο ποθηκευτικός χώρος ντίστοιχ. Υποθέτουµε ότι ο µηχνισµός επιθεωρείτι τις χρονικές στιγµές τ... οι οποίες θεωρούµε ότι ισπέχουν µετξύ τους κι τξινοµείτι σε µί πό τις 2 κτστάσεις... οι οποίες νπριστούν το βθµό επιδείνωσής του. Ο βθµός επιδείνωσης σηµίνει ότι η λειτουργί του µηχνισµού είνι ρίστη. Ο βθµός επιδείνωσης σηµίνει ότι ο µηχνισµός δεν λειτουργεί. Στους ενδιάµεσους βθµούς επιδείνωσης... θεωρούµε ότι ο µηχνισµός λειτουργεί. Ο βθµός επιδείνωσης σηµίνει ότι η λειτουργί του µηχνισµού είνι σχεδόν ρίστη ο βθµός επιδείνωσης 2 σηµίνει ότι η λειτουργί του µηχνισµού είνι πάρ πολύ κλή... ο βθµός επιδείνωσης σηµίνει ότι ο µηχνισµός έχει υποστεί σοβρή βλάβη λλά ωστόσο λειτουργεί. Αν τη χρονική στιγµή επιθεώρησης τ ο βθµός επιδείνωσης του µηχνισµού είνι ίσος µε < κι το περιεχόµενο του ποθηκευτικού χώρου είνι ίσο µε 78 < K τότε την επόµενη χρονική στιγµή επιθεώρησης τ το περιεχόµενο του ποθηκευτικού χώρου θ είνι ίσο µε d K. Αυτή η ύξηση του περιεχοµένου του ποθηκευτικού χώρου θ συµβεί κόµη κι ότν ο βθµός επιδείνωσης του µηχνισµού τη χρονική στιγµή επιθεώρησης τ είνι ίσος µε. Σε κάθε χρονική στιγµή επιθεώρησης η κτάστση του µηχνισµού µπορεί ν νπρστθεί πό το ζεύγος των µετβλητών όπου {... } είνι ο βθµός επιδείνωσης του µηχνισµού κι {...} είνι η ηλικί του µηχνισµού. Θεωρούµε ότι ν ο βθµός επιδείνωσης του µηχνισµού είνι ίσος µε τη χρονική στιγµή τη χρονική στιγµή γίνετι ίσος µε µε πιθνότητ. Υποθέτουµε ότι η πιθνότητ ν γίνει τελικά ο βθµός επιδείνωσης του µηχνισµού ίσος µε πό οποιοδήποτε ρχικό βθµό επιδείνωσης είνι µη-µηδενική. Αν σε κάποι χρονική στιγµή επιθεώρησης ο µηχνισµός βρίσκετι στην κτάστση τότε υποχρεωτικά θέτουµε σε λειτουργί µί επισκευή του. Αν σε κάποι χρονική στιγµή επιθεώρησης ο µηχνισµός βρίσκετι σε µί κτάστση τότε δεν επεµβίνουµε στη λειτουργί του ή θέτουµε σε λειτουργί µί προληπτική συντήρησή του. Θεωρούµε ότι µί προληπτική συντήρηση κι µί επισκευή του µηχνισµού δεν είνι δυντόν ν δικοπούν κι επνφέρουν το µηχνισµό στην κτάστση. Υποθέτουµε ότι οι πιτούµενοι χρόνοι γι µί προληπτική συντήρηση κι µί επισκευή του µηχνισµού κολουθούν τη Γεωµετρική κτνοµή µε πιθνότητ επιτυχίς a κι b ντίστοιχ. Συνεπώς η πιθνότητ µί προληπτική συντήρηση κι µί επισκευή του µηχνισµού ν διρκέσουν χρονικές µονάδες είνι ίση µε a a κι b b ντίστοιχ. Κτά τη διάρκει µις προληπτικής συντήρησης ή µις επισκευής του µηχνισµού η τροφοδοσί του ποθηκευτικού χώρου µε κτέργστο υλικό δικόπτετι. Αν κτά τη διάρκει της προληπτικής

συντήρησης ή της επισκευής ο ποθηκευτικός χώρος περιέχει κάποι ποσότητ του κτέργστου υλικού η µονάδ πργωγής λειτουργεί κνονικά κθώς δέχετι το υλικό του ποθηκευτικού χώρου µε στθερό ρυθµό ίσο µε d µονάδες του υλικού νά µονάδ χρόνου. Αν κτά τη διάρκει της προληπτικής συντήρησης ή της επισκευής ο ποθηκευτικός χώρος δειάσει τότε η µονάδ πργωγής δικόπτει τη λειτουργί της. Θεωρούµε ότι ν κτά τη διάρκει µις προληπτικής συντήρησης ή µις επισκευής του µηχνισµού ο ποθηκευτικός χώρος δειάσει η έλλειψη του κτέργστου υλικού στον ποθηκευτικό χώρο επιφέρει έν κόστος γι κάθε µονάδ χρόνου κτά την οποί ο ποθηκευτικός χώρος είνι κενός. Η µονάδ του κόστους επιλέγετι έτσι ώστε γι κάθε µονάδ χρόνου κτά την οποί ο µηχνισµός συντηρείτι προληπτικά ή επισκευάζετι κι ο ποθηκευτικός χώρος είνι κενός το κόστος είνι ίσο µε d µονάδες κόστους. Αν σε κάποι χρονική στιγµή επιθεώρησης ο µηχνισµός βρίσκετι στην κτάστση κι δεν επεµβίνουµε στη λειτουργί του θεωρούµε ότι υπάρχει έν κόστος λειτουργίς µέχρι την επόµενη χρονική στιγµή επιθεώρησης το οποίο είνι ίσο µε c ν ο ποθηκευτικός χώρος δεν είνι πλήρης κι ίσο µε c ~ ν ο ποθηκευτικός χώρος είνι πλήρης ντίστοιχ. Γι κάθε µονάδ χρόνου κτά την οποί ο µηχνισµός συντηρείτι προληπτικά ή επισκευάζετι θεωρούµε ότι υπάρχει έν κόστος ίσο µε c ή µε c ντίστοιχ όπου είνι η ηλικί του µηχνισµού. Υποθέτουµε επίσης ότι υπάρχει έν κόστος ίσο µε h > γι κάθε µονάδ χρόνου κτά την οποί µί µονάδ του κτέργστου υλικού είνι ποθηκευµένη στον ποθηκευτικό χώρο. Έστω PM η κτάστση στην οποί βρίσκετι ο µηχνισµός ότν θέτουµε σε λειτουργί µί προληπτική συντήρησή του. Ο χώρος κτστάσεων του συστήµτος είνι το κόλουθο άπειρο σύνολο: S {... PM} {...} {... K} όπου S νπριστά την κτάστση του συστήµτος στην οποί είνι ο βθµός επιδείνωσης του µηχνισµού είνι η ηλικί του µηχνισµού κι είνι το περιεχόµενο του ποθηκευτικού χώρου. Μί πολιτική είνι ένς κνόνς µε τον οποίον επιλέγοντι οι ενέργειες κτά τις χρονικές στιγµές επιθεώρησης του µηχνισµού τ.... Υπάρχουν τρεις ενέργειες: ενέργει δεν επεµβίνουµε στη λειτουργί του µηχνισµού ενέργει θέτουµε σε λειτουργί µί προληπτική συντήρηση του µηχνισµού ενέργει 2 θέτουµε σε λειτουργί µί επισκευή του µηχνισµού. Στις κτστάσεις K η ενέργει 2 είνι υποχρεωτική. Στις κτστάσεις PM K η µόνη δυντή ενέργει είνι η ενέργει. Στις κτστάσεις K οι ενέργειες κι είνι δυντές. Θεωρούµε µί Μρκοβινή διδικσί ποφάσεων σε δικριτό χρόνο µε χώρο κτστάσεων S κι νζητούµε τη στάσιµη πολιτική η οποί γι οποιδήποτε ρχική κτάστση του συστήµτος ελχιστοποιεί το µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου. 79

Υποθέτουµε ότι ισχύουν οι κόλουθες συνθήκες γι τ κόστη τις πιθνότητες µετάβσης τους νµενόµενους χρόνους της προληπτικής συντήρησης κι τους νµενόµενους χρόνους της επισκευής του µηχνισµού. Συνθήκη : Γι κάθε... c c L c κι c~ c~ L c~. ηλδή γι κάθε στθερή ηλικί του µηχνισµού το κόστος της λειτουργίς του υξάνετι όσο υξάνετι ο βθµός επιδείνωσής του. Συνθήκη 2: Γι κάθε... c ~ c. ηλδή η µείωση της τχύτητς µε την οποί ο µηχνισµός τροφοδοτεί τη µονάδ πργωγής µε κτέργστο υλικό πό µονάδες του υλικού νά µονάδ χρόνου σε d µονάδες του υλικού νά µονάδ χρόνου ότν ο ποθηκευτικός χώρος είνι πλήρης επιφέρει ντίστοιχη µείωση στο κόστος της λειτουργίς του µηχνισµού. Συνθήκη 3: < b < a. ηλδή ο νµενόµενος χρόνος γι µί προληπτική συντήρηση είνι µικρότερος πό τον νµενόµενο χρόνο γι µί επισκευή του µηχνισµού. Συνθήκη 4: Γι κάθε... c c. ηλδή ο ρυθµός κόστους της προληπτικής συντήρησης δεν υπερβίνει το ρυθµό κόστους της επισκευής γι οποιδήποτε στθερή ηλικί του µηχνισµού. Συνθήκη 5: Θεωρούµε ότι c c~ c c είνι ύξουσες συνρτήσεις ως προς δηλδή η ύξηση της ηλικίς του µηχνισµού έχει ως επκόλουθο την ύξηση στο κόστος της λειτουργίς του στο κόστος της προληπτικής συντήρησής του κι στο κόστος της επισκευής του. Συνθήκη 6: Θεωρούµε ότι su c < κι su c <. Η συνθήκη υτή εγγυάτι ότι τ νµενόµεν κόστη του µοντέλου είνι φργµέν. Συνθήκη 7: Γι κάθε k... η συνάρτηση D k k είνι ύξουσ ως προς κι ως προς. Μπορεί ν ποδειχθεί ότι η Συνθήκη 7 είνι ισοδύνµη µε την κόλουθη συνθήκη. 8

Συνθήκη 8: Γι κάθε συνάρτηση h η οποί είνι ύξουσ ως προς κι ως προς η συνάρτηση h είνι επίσης ύξουσ ως προς κι ως προς. Χάριν πλότητς κι χωρίς βλάβη της γενικότητς υποθέτουµε ότι d. Γι κάθε ρχική κτάστση της διδικσίς το ελάχιστο νµενόµενο ποπληθωρισµένο κόστος N ότν ποµένουν N βήµτ µέχρι το τερµτισµό της διδικσίς µπορεί ν υπολογιστεί νδροµικά γι κάθε N 2... πό τις πρκάτω εξισώσεις: N c h N PM N K ~ K N c hk K N PM K N N c h d b b d d N N K PM N c h d a a PM d d N N K όπου S κι είνι ο ποπληθωριστικός πράγοντς. Επισηµίνουµε ότι η έκφρση d a d νπριστά τη ζήτηση σε κτέργστο υλικό η οποί χάνετι κτά τη διάρκει µις χρονικής περιόδου κτά την οποί ο µηχνισµός συντηρείτι προληπτικά ή επισκευάζετι κι ο ποθηκευτικός χώρος περιέχει µονάδες του κτέργστου υλικού στην ρχή της περιόδου. Η έκφρση d a d νπριστά το περιεχόµενο του ποθηκευτικού χώρου στο τέλος µις χρονικής περιόδου κτά την οποί ο µηχνισµός συντηρείτι προληπτικά ή επισκευάζετι κι ο ποθηκευτικός χώρος περιέχει µονάδες του κτέργστου υλικού στην ρχή της περιόδου. 8

Ο πρώτος όρος νάµεσ στ άγκιστρ στις πρπάνω εξισώσεις ντιστοιχεί στην ενέργει δεν επεµβίνουµε στη λειτουργί του µηχνισµού κι ο δεύτερος όρος ντιστοιχεί στην ενέργει θέτουµε σε λειτουργί µί προληπτική συντήρηση του µηχνισµού. Από τις πρπάνω εξισώσεις πίρνουµε το κόλουθο ποτέλεσµ. Λήµµ. Γι κάθε N... ισχύει ότι: N N K PM N N K N N K PM N PM N K. Απόδειξη. Η πόδειξη γίνετι µε επγωγή ως προς N. Το λήµµ ισχύει γι N διότι γι κάθε S. Υποθέτουµε ότι ισχύει γι N. Θ πρέπει ν ποδείξουµε ότι ισχύει γι N. Αρχικά θ ποδείξουµε το στη συνέχει το κι µετέπειτ το. : Έστω D d N d N. ιδοχικά έχουµε ότι: PM N c h d a d N a PM d N c h d a d N a d N c c h d h d d d N ad N bd N. Η πρώτη νισότητ προκύπτει πό την επγωγική υπόθεση γι το κι πό τη Συνθήκη 4. Η δεύτερη νισότητ προκύπτει πό τη Συνθήκη 3 κι την νισότητ D η οποί είνι συνέπει της επγωγικής υπόθεσης γι το κι το. : Θ πρέπει ν δείξουµε ότι: 82

N N K κι N N K. 2 Η νισότητ 2 µπορεί ν επληθευτεί εύκολ χρησιµοποιώντς το γι K : N c h PM N N. N PM N Γι K η ντίστοιχη νισότητ προκύπτει µε πρόµοιο τρόπο. Γι K κι έχουµε ότι: N c h c h N. N PM N N PM N Η πρπάνω νισότητ προκύπτει πό τη Συνθήκη κι πό την νισότητ: N N η οποί είνι συνέπει της επγωγικής υπόθεσης των κι κι της Συνθήκης 8. Έτσι η νισότητ έχει ποδειχθεί γι K. Με πρόµοιο τρόπο η νισότητ µπορεί ν ποδειχθεί γι K. : Από τη Συνθήκη 5 κι την επγωγική υπόθεση γι το προκύπτει ότι οι εκφράσεις N κι PM N είνι ύξουσες ως προς. Από την επγωγική υπόθεση γι το κι το κι τη Συνθήκη 8 προκύπτει ότι η έκφρση: 83

N είνι ύξουσ ως προς. Από την µονοτονί της έκφρσης PM N ως προς κι τη Συνθήκη 5 προκύπτει ότι η έκφρση N K είνι ύξουσ ως προς. Με πρόµοιο τρόπο µπορεί ν ποδειχθεί ότι η έκφρση K N είνι επίσης ύξουσ ως προς. Γι κάθε ρχική κτάστση S της διδικσίς έστω το ελάχιστο συνολικό νµενόµενο ποπληθωρισµένο κόστος σε άπειρο χρονικό ορίζοντ. Ισχύει ότι: l N N. Από το κι το του Λήµµτος πίρνουµε το πρκάτω ποτέλεσµ. Λήµµ 2. K K. Έστω π * η στάσιµη πολιτική η οποί ελχιστοποιεί το συνολικό νµενόµενο ποπληθωρισµένο κόστος γι οποιδήποτε ρχική κτάστση της διδικσίς. Η ύπρξη της πολιτικής π * είνι επκόλουθο της Συνθήκης 6. Το πρκάτω λήµµ εγγυάτι την ύπρξη µις βέλτιστης στάσιµης πολιτικής η οποί γι οποιδήποτε ρχική κτάστση της διδικσίς ελχιστοποιεί το µκροπρόθεσµο νµενόµενο µέσο κόστος νά µονάδ χρόνου. Λήµµ 3. Υπάρχει ένς θετικός πργµτικός ριθµός B τέτοιος ώστε * B γι κάθε κτάστση S κι κάθε όπου * a. K Απόδειξη. Υποθέτουµε ότι η ρχική κτάστση του συστήµτος είνι η κτάστση S. Έστω a C a... η κτάστση του συστήµτος τη χρονική στιγµή η ενέργει η οποί επιλέγετι τη χρονική στιγµή κι το υφιστάµενο κόστος τη χρονική στιγµή ντίστοιχ. Έστω π η µηστάσιµη πολιτική η οποί θέτει σε λειτουργί µί προληπτική συντήρηση ή µί επισκευή του µηχνισµού ότν το σύστηµ βρίσκετι ρχικά στην κτάστση κι µετά την ολοκλήρωση της προληπτικής συντήρησης ή της επισκευής επιλέγει τις ίδιες ενέργειες µε εκείνες της βέλτιστης πολιτικής π *. Έστω επίσης π το συνολικό νµενόµενο ποπληθωρισµένο κόστος σε άπειρο χρονικό ορίζοντ υπό 84

85 τον έλεγχο της πολιτικής π ν είνι η ρχική κτάστση του συστήµτος. Έστω...} 2 { T ο πιτούµενος χρόνος µέχρι ν ολοκληρωθεί µί προληπτική συντήρηση ή µί επισκευή του µηχνισµού. Από τους ορισµούς των π κι T έχουµε διδοχικά ότι: a C E π π T T a C E a C E π π T d T P a C E π * a C E T π * } su su a{ E hk c c hk d T π * } su su a{ T E hk c c hk d * B όπου } su su a{ hk c c hk d b B E νπριστά την νµενόµενη τιµή κι π E νπριστά την υπό-συνθήκη νµενόµενη τιµή δοθέντος ότι η πολιτική π έχει υιοθετηθεί γι τον έλεγχο της διδικσίς. Η προτελευτί πρπάνω νισότητ ισχύει διότι. Από το κι το του Λήµµτος έχουµε ότι: * ~ * S όπου. ~ K Εποµένως ισχύει ότι:. ~ } * a{ * S B B Το Λήµµ 3 υποδηλώνει ότι υπάρχουν ριθµοί S s s v κι µί στθερά g έτσι ώστε: PM v v g h c v K

~ v K c hk g v K v PM K v c h d g bv d b v d K v PM c h d g av d a v PM d K. Ο πρώτος όρος νάµεσ στ άγκιστρ στις πρπάνω εξισώσεις ντιστοιχεί στην ενέργει δεν επεµβίνουµε στη λειτουργί του µηχνισµού κι ο δεύτερος όρος ντιστοιχεί στην ενέργει θέτουµε σε λειτουργί µί προληπτική συντήρηση του µηχνισµού. Αν γι µί κτάστση του συστήµτος ο πρώτος όρος είνι µικρότερος πό το δεύτερο όρο τότε η βέλτιστη πολιτική επιλέγει στην κτάστση υτή την ενέργει. Αν ντιθέτως ο πρώτος όρος είνι µεγλύτερος πό το δεύτερο όρο τότε η βέλτιστη πολιτική επιλέγει την ενέργει. Αν ο πρώτος κι ο δεύτερος όρος είνι ίσοι τότε κι οι δύο ενέργειες θεωρούµε ότι είνι βέλτιστες. Οι ριθµοί v s s S είνι τέτοιοι ώστε: v s l[ s *] γι µί κολουθί ριθµών { } < < γι την οποί ισχύει ότι: l. Από το Λήµµ 2 κι τις πρπάνω ορικές εκφράσεις προκύπτει το κόλουθο ποτέλεσµ. Πόρισµ 4. v v K v v K. Η πρκάτω πρότση πρέχει έν χρκτηρισµό της µορφής της βέλτιστης πολιτικής. Πρότση 5. Γι κάθε στθερό περιεχόµενο K του ποθηκευτικού χώρου κι κάθε στθερή ηλικί του µηχνισµού υπάρχει µί κρίσιµη τιµή * * του βθµού επιδείνωσης του µηχνισµού τέτοι ώστε η βέλτιστη πολιτική θέτει σε λειτουργί µί προληπτική συντήρηση ν κι µόνο ν ο βθµός επιδείνωσης του µηχνισµού είνι µεγλύτερος ή ίσος µε την κρίσιµη τιµή *. 86

Απόδειξη. Υποθέτουµε ότι η βέλτιστη πολιτική επιλέγει την ενέργει στην κτάστση K. Τότε ισχύει ότι: v PM c h g v. 3 Γι ν δείξουµε ότι η βέλτιστη πολιτική επιλέγει την ενέργει στην κτάστση ρκεί ν δείξουµε ότι: h g v v PM c. 4 Από το Πόρισµ 4 κι τις Συνθήκες κι 8 προκύπτει ότι το δεξιό µέλος της νισότητς 4 είνι µεγλύτερο ή ίσο µε το δεξιό µέλος της νισότητς 3. Εποµένως η νισότητ 3 συνεπάγετι την νισότητ 4. Με πρόµοιο τρόπο ποδεικνύετι το ίδιο ποτέλεσµ γι την περίπτωση κτά την οποί K. Η Πρότση 5 υποδηλώνει ότι η βέλτιστη πολιτική είνι µονότονη γι στθερό περιεχόµενο του ποθηκευτικού χώρου κι στθερή ηλικί του µηχνισµού. Θεωρούµε το µοντέλο που περιγράψµε πρπάνω µε τις πρκάτω υποθέσεις: c c c ~ c~ c c c c. Οι υποθέσεις υτές υποδηλώνουν ότι σε κάθε χρονική στιγµή επιθεώρησης η κτάστση του µηχνισµού προσδιορίζετι µόνο πό το βθµό επιδείνωσης {... } κι δεν εξρτάτι πό την ηλικί του. Η επιδείνωση του µηχνισµού θεωρούµε ότι είνι στάσιµη διότι οι πιθνότητες µετάβσης δεν εξρτώντι πό την ηλικί του. Ο χώρος κτστάσεων του συστήµτος στην περίπτωση υτή είνι το κόλουθο πεπερσµένο σύνολο: 87

S {... PM} {... K} όπου S νπριστά την κτάστση του συστήµτος στην οποί είνι ο βθµός επιδείνωσης του µηχνισµού κι είνι το περιεχόµενο του ποθηκευτικού χώρου. Η Πρότση 5 πίρνει την κόλουθη µορφή. Πρότση 6. Γι κάθε στθερό περιεχόµενο K του ποθηκευτικού χώρου υπάρχει µί κρίσιµη τιµή * * τέτοι ώστε η βέλτιστη πολιτική θέτει σε λειτουργί µί προληπτική συντήρηση ν κι µόνο ν ο βθµός επιδείνωσης του µηχνισµού είνι µεγλύτερος ή ίσος µε την κρίσιµη τιµή *. Η Πρότση 6 υποδηλώνει ότι στην περίπτωση της στάσιµης επιδείνωσης όπως κι στην περίπτωση της µηστάσιµης επιδείνωσης του µηχνισµού η βέλτιστη πολιτική είνι µονότονη γι στθερό περιεχόµενο του ποθηκευτικού χώρου. Η βέλτιστη πολιτική µπορεί ν υπολογιστεί µε εφρµογή του λγορίθµου βελτίωσης των πολιτικών κι της µεθόδου των διδοχικών προσεγγίσεων. Έν ριθµητικό πράδειγµ προυσιάζετι πρκάτω. Θεωρούµε την περίπτωση κτά την οποί 5 K a.9 b.2 9 d 8 c.4 c.8 h.5 c. ~.5. Υποθέτουµε ότι οι µη-µηδενικές πιθνότητες µετάβσης είνι τέτοιες ώστε: c 2. Αυτό σηµίνει ότι ν ο πρών βθµός επιδείνωσης του µηχνισµού είνι ίσος µε τότε ο επόµενος βθµός επιδείνωσης κτνέµετι οµοιόµορφ στο σύνολο {... }. Οι πιθνότητες µετάβσης ικνοποιούν τη Συνθήκη 7 διότι γι κάθε k... η ποσότητ: k 2 2 k είνι ύξουσ ως προς 5. Ως ρχική µονότονη πολιτική στο Βήµ του λγορίθµου βελτίωσης των πολιτικών επιλέγουµε την πολιτική η οποί χρκτηρίζετι πό τις κρίσιµες τιµές 5. 88

Πίνκς. Οι διδοχικές µονότονες πολιτικές Οι κρίσιµες τιµές των πολιτικών Μέσο κόστος L 5 6.46 3 L 4.392 37 34 3 3 27 4 23 3.872 5 8 6 4 7 9 8 9 33 29 26 3 22 4 7 5 3 3.855 6 9 7 4 8 9 Στον πρπάνω πίνκ προυσιάζοντι οι διδοχικές µονότονες πολιτικές που πράγει ο λγόριθµος κι τ ντίστοιχ µκροπρόθεσµ νµενόµεν µέσ κόστη τους νά µονάδ χρόνου. Συνεπώς το ελάχιστο µκροπρόθεσµο νµενόµενο µέσο κόστος είνι ίσο µε 3.855 κι η βέλτιστη πολιτική χρκτηρίζετι πό τις κρίσιµες τιµές που δίνοντι στον πίνκ κι ντιστοιχούν σε υτήν την τιµή. Πρτηρήστε τη σηµντική βελτίωση στην τιµή του µέσου κόστους µετά πό την πρώτη επνάληψη του λγορίθµου. Η τιµή 4.392 είνι σχετικά «κοντά» στην τελική τιµή του ελάχιστου µέσου κόστους δηλδή στην τιµή 3.855. 89