ΕΙ ΙΚΑ ΘΕΜΑΤΑ ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ ΚΕΦ. 2 ΑΛΥΣΙ ΕΣ MARKOV

ΕΙ ΙΚΑ ΘΕΑΤΑ ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ ΚΕΦ ΑΛΥΣΙ ΕΣ MARKOV

Πίνακας Περιεχοένων Γενικά3 Εργοδικότητα 3 Πιθανότητες πρώτης ετάβασης Αναενόενος χρόνος8 4 Κλάσεις Ισοδυναίας Κατάταξη Καταστάσεων6 5 Γενική δοή της τελικής ήτρας 3 6 Συναρτήσεις Κόστους36 7 ιαδικασία Αποφάσεως Markov 4 7 Πεπερασένος Ορίζοντας 4 7 Άπειρος Ορίζοντας45

Γενικά ε τον όρο διακριτή στοχαστική ανέλιξη εννοούε ια ακολουθία τυχαίων εταβλητών X, X, X, X που παίρνουν διακριτές τιές Η κάθε εταβλητή X παίρνει τιές από ένα πεπερασένο σύνολο τιών S που ονοάζεται σύνολο καταστάσεων (state space) Αν δηλαδή το σύνολο καταστάσεων είναι S{S, S,, S M }, τότε η X πορεί να πάρει οποιαδήποτε τιή S, S, ή S M Επίσης, η παράετρος παίρνει τιές από ένα σύνολο Τ (, Ε R) που ονοάζεται παραετρικός χώρος Εδώ θα θεωρήσουε ότι ο παραετρικός χώρος είναι επίσης διακριτός (συνήθως εκφράζει χρόνο) Έτσι η X εκφράζει την τιή της εταβλητής την περίοδο, οπότε ια στοχαστική ανέλιξη περιγράφει πως εξελίσσεται ένας δείκτης (πχ η τιή ιας ετοχής, η ζήτηση ενός αγαθού κλπ) στον χρόνο (ανά ήνα, ανά εβδοάδα κλπ) ια πλήρης πιθανολογική περιγραφή των X απαιτεί την γνώση των πιθανοτήτων (X S, X S,, X S ) για όλα τα X,X,,X, S, S,, S ια k k k k ζ ζ ζ ζ ζ ζ τέτοια περιγραφή είναι οπωσδήποτε περίπλοκη, γι αυτό εξετάζουε ειδικές περιπτώσεις ανελίξεων όπου οι πιθανότητες εκφράζονται απλούστερα Η πιο απλή ειδική περίπτωση είναι να έχουε ανεξάρτητες τυχαίες εταβλητές X ε γνωστές κατανοές Τότε ία από κοινού κατανοή πχ (X S, X S, X S ) 5 3 υπολογίζεται σαν το γινόενο (X S ) (X S ) (X S ), και η 5 3 περιγραφή είναι πλήρης Αν όως θέλουε να περιγράψουε φαινόενα όπου υπάρχει εξάρτηση εταξύ των εταβλητών X, τότε τέτοιοι υπολογισοί δεν είναι εφικτοί Εφεξής θα συβολίζουε τις καταστάσεις S ι, S j, S k κλπ ε, j, k κλπ αντίστοιχα ια απλή ορφή εξάρτησης είναι η περίπτωση όπου η X να εξαρτάται όνο από την τιή που πήρε η ανέλιξη την προηγούενη χρονική στιγή (X - ) και όχι από παλαιότερες τιές, δηλαδή δεν εξαρτάται από τις τιές των X -, X -3, κλπ Η εξάρτηση αυτή περιγράφεται ως εξής: ( X / X, X,, X ) - - - - (X / X - - ) 3

Αυτή είναι η λεγόενη Ιδιότητα Markov και ια στοχαστική ανέλιξη που έχει αυτήν την ιδιότητα ονοάζεται Αλυσίδα Markov Εποένως, σε ια Αλυσίδα Markov η πιθανότητα να πάρει η εταβλητή X την τιή εξαρτάται όνο από την τιή της X (πού βρισκόταν η ανέλιξη στο αέσως προηγούενο βήα) και όχι από τις τιές - των X -, X -3, κλπ ηλαδή η δεσευένη πιθανότητα (X j / X ) () εξαρτάται από το - (ποια κατάσταση θα βρεθεί τώρα η αλυσίδα), το j αλλά και το (δηλαδή από τις καταστάσεις και από τον χρόνο) Αν επιπρόσθετα ο χρόνος δεν επηρεάζει τις πιθανότητες, είναι δηλαδή, (X j / X ) () ανεξάρτητο του, τότε - λέε ότι οι εταβάσεις είναι ανεξάρτητες του χρόνου και έχουε την λεγόενη οοιογένεια χρόνου Θα περιορισθούε εδώ σε εταβάσεις που είναι ανεξάρτητες του χρόνου Εφόσον οι καταστάσεις, k, j, είναι πεπερασένες, οι πιθανότητες ετάβασης ή jk πορούν να θεωρηθούν στοιχεία ιας τετραγωνικής ήτρας (πίνακα) { } που θα ονοάζουε ήτρα ετάβασης και στην οποία το στοιχείο ε δείκτη γραής και δείκτη στήλης j δείνει την πιθανότητα να εταβεί η ανέλιξη στην κατάσταση j (την επόενη χρονική περίοδο) όταν βρίσκεται στην κατάσταση (την τρέχουσα χρονική περίοδο) Παράδειγα Θεωρούε έναν καταναλωτή κάποιου προϊόντος για το οποίο υπάρχουν δύο άρκες, η Α και η Β Ο καταναλωτής πορεί να αγοράζει κάποιο ήνα το προϊόν Α ή το Β Έστω ότι έχουε παρατηρήσει ότι αν ο καταναλωτής αγοράζει κάποιο ήνα το Α, τον επόενο ήνα αγοράζει πάλι το Α ε πιθανότητα 8%, ενώ αν αγοράζει το Β τον επόενο ήνα αγοράζει πάλι το Β ε πιθανότητα όως 7% Οι προτιήσεις του καταναλωτή κάθε ήνα πορούν να περιγραφούν σαν τυχαίες εταβλητές {X, X, X } ε X A ή Β, δηλαδή το σύνολο S είναι το {Α,Β} Οι πληροφορίες που ας δίνονται για τις πιθανότητες πορούν να εκφραστούν ως εξής: (X + A / X A) 8 και άρα 4

(X + B / X A) - (X + A / X A) -8 Επίσης, (X + B / X Β) 7 και άρα (X + Α / X Β)3 (θυηθείτε ότι οι υπό συνθήκη πιθανότητες αθροίζουν σε ονάδα) Άρα η ήτρα ετάβασης είναι: A 8 B 3 7 A B M Από τα παραπάνω προκύπτει ότι για κάθε κατάσταση, θεωρώντας j πεπερασένο σύνολο καταστάσεων S {,,,M} Αυτό προκύπτει διότι M j (X + j / X ), και φυσικά ισχύει για κάθε (γραή του πίνακα ετάβασης) Θα λέε ότι ια τετραγωνική ήτρα είναι στοχαστική, αν έχει όνο η αρνητικά στοιχεία και τα στοιχεία κάθε γραής της αθροίζουν στη ονάδα Εποένως, παρατηρούε ότι ο πίνακας ετάβασης ίας αλυσίδας Markov είναι στοχαστική ήτρα ή αντίστροφα κάθε στοχαστική ήτρα πορούε να θεωρήσουε ότι ορίζει ία αλυσίδα Markov Άσκηση: είξτε ότι αν η είναι στοχαστική ήτρα τότε η Ρ είναι επίσης στοχαστική Είδαε ότι αν οι X, X,, X είναι ανεξάρτητες τυχαίες εταβλητές τότε (x,, x ) (x) (x ) (x ) Όως, απλοποίηση των υπολογισών πορεί να προκύψει και στις αλυσίδες Markov Συγκεκριένα, το γεγονός X, X,, X έχει πιθανότητα: (X,, X ) (X,, X ) (X - -,, X ) (X,, X ) - - (X / X - - ) (X - -,, X ) (από Ιδιότητα Markov ) 5

(X / X - - ) (X - - / X - - ) (X / X ) ( X ) (X ),,3 -, ή ισοδύναα (X,,X / X ),,3 -, Παράδειγα Έστω / / 3 / 4 / 4 / 4 3/ 4 / 3 ε 3 καταστάσεις,,3 που αντιστοιχούν στις γραές και στήλες του πίνακα ()Υπολογίστε την πιθανότητα Χ και Χ 3 3 δεδοένου ότι Χ Η πιθανότητα Ρ(Χ 3 3, Χ / Χ ) ισοούται ε Ρ Ρ 3 /4 3/4 3/6 (ακριβώς ίδια τιή θα είχε και η πιθανότητα Ρ(Χ 5 3, Χ 4 / Χ 3 ) Γιατί;) ()Υπολογίστε την πιθανότητα παραονής στις καταστάσεις ή επί τρεις περιόδους συνολικά, δεδοένου ότι η ανέλιξη ξεκινά στην κατάσταση (ή ισοδύναα την πιθανότητα η ανέλιξη να ην περάσει από την κατάσταση 3 επί τρεις περιόδους) Η πιθανότητα είναι Ρ Ρ + Ρ Ρ + Ρ Ρ + Ρ Ρ (/) + + / /4 + /4 /4 7/6 Τα παραπάνω εφαρόζονται στον υπολογισό του Ρ (Χ j / X o ) για δεδοένο Στο παράδειγα της αγοράς, ας υπολογίσουε την πιθανότητα (X (X + A / X A) Προφανώς είναι : + A / X (X A) + A, X A) (X A) (X + A, X + A, X A ) + (X (X A ) + A, X + B, X A ) 6

(X+ A / X+ A, X A ) (X+ A, X A ) (X+ A / X+ B, X A ) (X+ + (X A ) (X A ) (X + B, X A) + A / X + A) (X + A / X A) + (X + A / X + B) (X B / X A) AA AA + BA AB 8 8 + 3 7 Παρατηρήστε ότι για τους υπολογισούς χρησιοποιήθηκαν οι ιδιότητες των πιθανοτήτων υπό συνθήκη καθώς και οι ιδιότητες Markov και οοιογένειας χρόνου Τo παραπάνω αποτέλεσα γενικεύεται ως εξής: (υπενθυίζουε ότι θεωρούε πεπερασένο σύνολο καταστάσεων S{,,,M}, ενώ συβολίζουε ε την πιθανότητα Ρ(X + j / X ) ) (X + (X + j, X ) (X j/ X ) ( X ) k S + j, X ( X + k, X ) ) (X k + j, X ( X + k, X ) ( X ) ( X k, X + + k, X ) ) ( X + j / X + k,x ) ( X k / X ) + k k ( X + j / X + k) ( X + k / X ) k k S kj Στο τελευταίο βήα χρησιοποιήθηκε η ιδιότητα Markov και η οοιογένεια χρόνου Αν συβολίσουε ε (k) την πιθανότητα ετάβασης από την κατάσταση στην j σε (k) k βήατα (περιόδους), δηλαδή (X + j/ X ), οι παραπάνω () υπολογισοί έδειξαν ότι Όως, ο όρος είναι ακριβώς το k k kj k k k kj (,j) στοιχείο της ήτρας Αν συβολίσουε το (, j) στοιχείο της ήτρας ως (), οι παραπάνω υπολογισοί δείχνουν ότι εύκολα να δείξουε ότι ισχύει ακόλουθο θεώρηα Επαγωγικά πορούε Θεώρηα (k) Ισχύει (α) k (k ) 7

(β) Εξίσωση Chapma-Kolmogorov ( m< ) () (m) ( m) k kj k S Όσον αφορά στο (α), το αποδείξαε για k Αν υποθέσουε ότι ισχύει για κάποιο β, τότε ( β+ ) M l l ( β) lj M l l β lj Όως το τελευταίο άθροισα είναι το (,j) στοιχείο του γινοένου της ήτρας επί την ήτρα β, άρα είναι το (,j) στοιχείο της β + Όσον αφορά στην απόδειξη του (β), αφήνεται σαν άσκηση Παράδειγα 3 Υπολογίστε τα Εάν (k) 8 3 7 7 3 Τότε 45 55 ηλαδή η πιθανότητα ετάβασης από την κατάσταση στην σε δύο βήατα είναι,3 Επίσης, 3 7 3 8 65 35 45 55 3 7 55 475 Παρατηρούε, αν συνεχίσουε τους υπολογισούς ότι: 6 3 3 66 394 7 6 63 397 59 49 595 45 και γενικά ότι 6 4 6 4 8

Η ιδιάζουσα ορφή της εξής: Αν η αρχική κατανοή της X είναι στο προηγούενο παράδειγα πορεί να οδηγήσει στο (X A) π, (X B) π ή αλλιώς π ( π, π), τότε η κατανοή της X (έστω π ) είναι π ( π, π) και για είναι κατανοής! 6 4 π π 6 4 ( 6 4 ) που είναι ανεξάρτητο της αρχικής Αυτό σηαίνει ότι η πιθανότητα να φτάσει η στοχαστική ανέλιξη σε ια συγκεκριένη κατάσταση ύστερα από άπειρα βήατα, είναι ανεξάρτητη της αρχικής κατανοής, δηλαδή των πιθανοτήτων να ξεκινήσει από συγκεκριένες καταστάσεις! Αυτό είναι ένα ιδιαίτερα ευνοϊκό αποτέλεσα για τις εφαρογές και όπως θα δούε συβαίνει αρκετά συχνά, όχι όως πάντοτε Είναι προφανές ότι το διάνυσα π π () και π () π ικανοποιεί τις εξισώσεις: Η πρώτη εξίσωση προκύπτει από την εξής παρατήρηση : ( ) π π π π lm lm Αν οι εξισώσεις () και () έχουν ια οναδική λύση και το όριο lm υπάρχει, τότε η «τελική» κατανοή lm π π, που είναι ανεξάρτητο από την π είναι ανεξάρτητη της αρχικής π από την οποία ξεκινήσαε π, εφόσον Προσοχή Το ότι το σύστηα x x, X έχει οναδική λύση δεν σηαίνει απαραίτητα ότι το όριο lm π υπάρχει Αν υπάρχει το όριο απλώς, τότε για δεδοένη αρχική κατανοή π βρίσκω την κατανοή π (ως lm π π ) Αν όως επιπλέον το 9

σύστηα εξισώσεων () και () έχουν οναδική λύση, τότε το την αρχική κατανοή π π δεν εξαρτάται από Παράδειγα Θεωρήστε και (, ) π 3 3 Είναι + ενώ k k ηλαδή το όριο lm δεν υπάρχει k Άρα (, k π ) ενώ π (, ) + 3 3 3 3 οπότε ούτε το lm π δεν υπάρχει Αν όως το lm υπάρχει και αν το σύστηα x x, X έχει οναδική λύση, θα πρέπει π ισορροπία (steady-state) x Σε αυτή την περίπτωση η αλυσίδα Markov οδηγείται σε

Εργοδικότητα Το τι θα συβεί στην κατανοή σύγκλιση εξαρτάται όπως είδαε και από την ήτρα όλες εκείνες οι ήτρες για τις οποίες το όριο ήτρες λέγονται εργοδικές π για εγάλο και κατά πόσο θα υπάρχει κάποια lm ας ενδιαφέρουν δηλαδή υπάρχει (συγκλίνει) Τέτοιες Ορισός ία στοχαστική ήτρα λέγεται εργοδική, αν και όνο αν υπάρχει το όριο lm Γράφουε δε lm Οι δυνάεις ιας τετραγωνικής ήτρας υπολογίζονται εύκολα αφού πρώτα διαγωνοποιηθεί Αν λ λ,,, λ, τότε Λ όπου Λ είναι ία διαγώνιος ήτρα ε στοιχεία Λ Λ Λ και γενικά Λ Προφανώς, όπως γνωρίζουε από τη Γραική Άλγεβρα η Λ είναι διαγώνιος ήτρα ε στοιχεία λ, λ,, λ, όπου λ οι ιδιοτιές (χαρακτηριστικές τιές) της Αν η είναι στοχαστική ήτρα (όπως οι ήτρες ετάβασης στις αλυσίδες Markov) τότε όλες οι ιδιοτιές της λ είναι κατ απόλυτη τιή ικρότερες ή ίσες της ονάδας Θεώρηα Για όλες τις ιδιοτιές λ ιας στοχαστικής ήτρας ισχύει ότι λ *** Απόδειξη Αν π ιδιοδιάνυσα, είναι π λπ λ π j π Παίρνοντας απόλυτες τιές είναι: λ π j π π ( ), συνεπώς για το j στοιχείο του π είναι

Αν λ π max π (και π ) είναι j π π j π j π j Άρα για να διερευνήσουε αν υπάρχει ή όχι το lm για στοχαστική ήτρα αρκεί να εξετάσουε τις ιδιοτιές της Συγκεκριένα, αν λ < θα είναι lm λ, ενώ αν λ και λ είναι λ Όως αν λ και λ τότε το lm λ δεν υπάρχει (Το ίδιο ισχύει αν π π λ συν + η όπου η φανταστική ονάδα ε ) κ k *** Παράδειγα Έστω Το χαρακτηριστικό πολυώνυο είναι λ λ det( λ I ) det λ λ + λ λ λ 3 Οι ιδιοτιές είναι εκείνα τα λ λ που ικανοποιούν την λ 3 Υπάρχουν τρεις διαφορετικές ιδιοτιές 3 λ, +, 3 Άρα Λ + 3 3 3 Επιβεβαίωσε ότι Λ 3 I

Ένας χρήσιος τρόπος χαρακτηρισού εργοδικών ητρών είναι ο εξής: Θεώρηα ια στοχαστική ήτρα είναι εργοδική αν και όνο αν: (α) Η όνη ιδιοτιή ε λ είναι η και (β) Αν η λ έχει πολλαπλότητα k, υπάρχουν k ανεξάρτητα ιδιοδιανύσατα που αντιστοιχούν στην λ ετρική απόδειξη Οι παραπάνω συνθήκες επιτρέπουν την διαγωνοποίηση της ήτρας ε ορφή Λ Λ λ λ j ε τα λ < Τότε lm Λ, άρα Λ Παράδειγα Έστω 4 6 7 3

Είναι λ 4 λ 6 λ λ λ λ λ 7 det ( I ) ( ) ( ) λ Και άρα οι ιδοτιές είναι και (ε πολλαπλότητα ) και ε πολλαπλότητα ιαπιστώνεται ε υπολογισούς ότι στην λ αντιστοιχούν τα γραικώς ανεξάρτητα ιδιοδιανύσατα ( ) και ( ), στην λ το (-,, 9, -7) και στην λ το (4, 5, -3, ) Άρα σύφωνα ε το παραπάνω θεώρηα η είναι εργοδική Είναι λοιπόν για: 4 5 9 3, Λ ε 7 Λ και 8 7 5 5 7 9 9 Λ Λ, εφόσον 8 5 9 7 5 7 9 5 9 3 5 Αν λοιπόν π (,,, ), τότε π 8 5,,, 7 5 4

ενώ αν π (,,, ), είναι π 9,,, 7 9 Βλέπουε στο τελευταίο παράδειγα ότι το διάνυσα από τις τιές του π Κάτι τέτοιο όως δεν ισχύει όταν η ήτρα είναι κανονική π έχει τιές που εξαρτώνται Ορισός ια στοχαστική ήτρα είναι κανονική αν και όνο αν για κάποιο ακέραιο κ >, η κ έχει όλα τα στοιχεία της θετικά (όχι ηδέν) Παράδειγα 9 Η είναι κανονική, ενώ η 8 5 5 Η είναι κανονική εφόσον δεν είναι 75 5 5 5 Η δεν είναι κανονική Η χρησιότητα των κανονικών ητρών αφείλεται στο επόενο θεώρηα Θεώρηα 3 Αν ία ήτρα είναι κανονική, η όνη ιδιοτιή της ε λ είναι η λ, και έχει πολλαπλότητα (η απόδειξη παραλείπεται) Από το θεώρηα αυτό σε συνδυασό ε όσα έχουε δει έχρι τώρα έπεται ότι: Θεώρηα 4 Αν ία στοχαστική ήτρα είναι κανονική τότε: (α) Είναι εργοδική (β) Η έχει όλες τις γραές της ίδιες 5

Απόδειξη Το (α) προκύπτει εύκολα από τα θεωρήατα 3 και lm lm Άρα Το (β) είναι πολύ σηαντικό Ισχύει διότι ( ) κάθε γραή π της ικανοποιεί τη σχέση π π, που όως σύφωνα ε το θεώρηα έχει όνο ία λύση (το οναδικό ιδιοδιάνυσα της ιδιοτιής λ, για το οποίο αν π x, x j ) j Έτσι ονάδα π π, όπου π το ιδιοδιάνυσα της για λ ε άθροισα στοιχείων τη π π Όως σε αυτήν την περίπτωση για οποιαδήποτε αρχική κατανοή π π ( ) π πως άρχισε η διαδικασία π π ηλαδή η τελική κατανοή π π είναι π δεν εξαρτάται από το Παράδειγα Έστω η ήτρα ετάβασης Καταρχάς, η ήτρα αυτή είναι κανονική (γιατί;) Για λ το ιδιοδιάνυσα ( π, π) ικανοποιεί ( π, π ) ( π, π ) π+ π, π ( ) 6

Από την πρώτη εξίσωση έχουε: 3 π π 3 Άρα 3 3 3 3 Έτσι, αν πχ π ( ), 4 5 5 τότε 3 3 π (, 4 ) (, ) 5 5 3 3 3 3 που είναι ανεξάρτητο από το π Συπεραίνουε γενικά ότι αν ια ήτρα είναι κανονική, τότε η αλυσίδα Markov οδηγείται πάντα σε ισορροπία (steady state), όπου το διάνυσα λύση του συστήατος: x x S X π είναι η οναδική όπου π x Το σύστηα έχει m+ εξισώσεις και m αγνώστους Οι x x ονοάζονται εξισώσεις ισορροπίας (balace equatos), ενώ η X ονοάζεται εξίσωση κανονικοποίησης (ormalzato equato) Για να βρούε τη λύση π του συστήατος χρησιοποιούε m- εξισώσεις ισορροπίας και την εξίσωση κανονικοποίησης 7

3 Πιθανότητες πρώτης ετάβασης Αναενόενος χρόνος Έστω X, δηλαδή η αλυσίδα ξεκινάει από ία κατάσταση, και ενδιαφερόαστε για το πότε θα φτάσει η X για πρώτη φορά σε ια κατάσταση j (Αν j ενδιαφερόαστε για το πότε θα επιστρέψει στην αρχική κατάσταση) Για την εξέταση αυτού του θέατος, είναι χρήσιο να ορίσουε το έγεθος f () j (X j, X κ jγια κ < X ) που είναι η πιθανότητα να γίνει η πρώτη ετάβαση στην κατάσταση j την περίοδο (σε βήατα) δεδοένου ότι η αρχική κατάσταση ήταν η () () () Προφανώς για, f και f, j Παραδείγατα / 3 / 3 (α) Στον πίνακα ετάβασης αντιστοιχεί το διάγραα καταστάσεων / / (όπου κάθε κατάσταση αντιστοιχεί σε έναν κόβο και πάνω στις κατευθυνόενες ακές σηειώνονται οι αντίστοιχες πιθανότητες ετάβασης) /3 / /3 / Από αυτό συπεραίνουε ότι: () / 3, ενώ f, 3 () f (για να υπάρξει πρώτη ετάβαση στην ύστερα από ακριβώς βήατα πρέπει να πάε αέσως στην κατάσταση, να παραείνουε εκεί για - βήατα και ύστερα να επιστρέψουε στην ) () f, 3 3 κλπ 8

(β) Έστω το διάγραα: 3/4 /4 f () () () (εξ ορισού) () f 3/ 4 και f (γιατί;) () 3 f, 4 4 () () f, f f και f () () εταξύ των () f και () () υπάρχει η σχέση: () που ισχύει για τον εξής λόγο: ( ) jj () ( ) jj ( ) f + f + + f + f () Είδαε ότι (X j X ), δηλαδή η πιθανότητα να βρεθεί το X στην j στον χρόνο ε δεδοένο ότι ξεκινάει στην Όως το γεγονός { X j} αναλυθεί στα γεγονότα { X j,x j,x j } κ λ jj () πορεί να για λ κ για κ,,, που είναι αοιβαία αποκλειόενα Εποένως η () είναι το άθροισα των πιθανοτήτων των γεγονότων αυτών, που πορεί κανείς να επιβεβαιώσει ότι αντιστοιχούν στους όρους του αθροίσατος του δεξιού σκέλους της εξίσωσης Από την παραπάνω σχέση και την γνώση των ( jj ) ( κ ) κ και των,k,, πορεί κανείς να υπολογίσει αναδροικά τα () f ως εξής : () () f 9

f f () () () jj f (3) (3) f () () jj f () jj f () () f () ( ) jj f ( ) () jj f ( ) jj Η παραπάνω σχέση πορεί να επιλυθεί και αναλυτικά ε τη έθοδο των Ροπογεννητριών, κάτι όως που δεν θα εξετάσουε Παράδειγα 8 3 7 () Βρείτε τα f,, 3 Είναι () () f Άρα, f 8 () Το f f ( ) 7 8 6 () () () f (3) (3) () () () f f (7 8 + 45) 7 8 8 6 4 Προφανώς, ο υπολογισός των αρκετά εγάλο () f είναι αρκετά επίπονος ιδιαίτερα εάν το είναι ( ) Το άθροισα f f ας δείχνει ε ποια πιθανότητα θα υπάρξει κάποια ετάβαση έσα στο χρόνο (είτε πρώτη ετάβαση σε ένα βήα, είτε πρώτη ετάβαση σε δύο βήατα, είτε πρώτη ετάβαση σε τρία βήατα, κλπ) εν είναι απαραίτητο να ισχύει πάντα ότι f Αν f, θα υπάρξει οπωσδήποτε κάποια ετάβαση, αν όως f <, υπάρχει περίπτωση να ην υπάρξει ποτέ ετάβαση στην j (αυτό συβαίνει στις περιπτώσεις όπου υπάρχει κάποια πιθανότητα να οδηγηθούε σε ια κατάσταση k που δεν πορεί ε τίποτα να ας οδηγήσει τελικά στην j) Αντίστοιχα,

() αν f f < υπάρχει περίπτωση να ην επιστρέψουε ποτέ στην κατάσταση απ όπου ξεκινήσαε Ορισός ια κατάσταση ονοάζεται εταβατική (traset) αν f f < ενώ () διαφορετικά αν f f ονοάζεται επαναλαβανόενη (recurret) () ια κατάσταση ονοάζεται συγκεντρωτική (absorbg) αν Εποένως, αν ία κατάσταση είναι συγκεντρωτική ισχύει προφανώς ότι f (είναι και επαναλαβανόενη), ενώ f j Από τη στιγή που εισερχόαστε σε ία συγκεντρωτική κατάσταση δεν πορούε να πάε πουθενά αλλού () Τέλος, αν για ια κατάσταση ισχύει ότι για όλα τα που δεν είναι ακέραια πολλαπλάσια κάποιου αριθού d, τότε η ονοάζεται περιοδική ε περίοδο d, εφόσον το d είναι ο εγαλύτερος δυνατός ακέραιος ία περιοδική κατάσταση είναι και επαναλαβανόενη Παραδείγατα (α) Έστω 3 3 3 Είναι () f f < εφόσον ε πιθανότητα η επόενη κατάσταση είναι η 3 3 που είναι συγκεντρωτική (άρα υπάρχει η ηδενική πιθανότητα να η εταβούε τελικά ποτέ στην ) Επίσης είναι f f < για τον ίδιο λόγο Τέλος, ισχύει και f < (γιατί;) ()

() ( κ) 33 33 > Όως είναι f, f κ, και άρα () f 33 Άρα οι καταστάσεις {, } είναι εταβατικές ενώ η { 3 } συγκεντρωτική και επαναλαβανόενη (β) Οι δύο καταστάσεις της έχουν περίοδο, ενώ οι καταστάσεις της έχουν περίοδο 4 Όλες είναι επαναλαβανόενες (γ) Οι καταστάσεις {, } της είναι επαναλαβανόενη,5,5,5,5 είναι εταβατικές, ενώ η { 3 } (δ) Και οι δύο καταστάσεις της είναι επαναλαβανόενες Αυτό 3 3 ισχύει για τον εξής λόγο: Αν X, η πιθανότητα να ην υπάρξει επιστροφή στην κατάσταση σε καία από τις χρονικές στιγές,,, είναι ( 3) τείνει στο καθώς f, όπου Αφού f και επίσης (ε ίδιο επιχείρηα) είναι

Αναενόενος χρόνος πρώτης ετάβασης Αν και τα () f, οι πιθανότητες πρώτης ετάβασης, υπολογίζονται δύσκολα, οι αναενόενες τιές των χρόνων πρώτης ετάβασης υπολογίζονται εύκολα Συνήθως συβολίζουε ε τον αναενόενο χρόνο πρώτης ετάβασης ο οποίος ορίζεται: () () f αν f f διαφορετικά Παρατήρηση Αν f f <, το () () θα πρέπει να είναι f ( f ) +, όπου f > είναι η πιθανότητα να η συβεί ποτέ ετάβαση από την στην j Έτσι δικαιολογείται ο παραπάνω ορισός Ενδέχεται επίσης να είναι f αλλά () () f Αντίστοιχα ακόη και για ία επαναλαβανόενη κατάσταση πορεί να ισχύει ότι, εάν το σύνολο S των καταστάσεων δεν είναι πεπερασένο Σε ια τέτοια περίπτωση η κατάσταση λέγεται ηδενικώς επαναλαβανόενη (ull recurret) διαφορετικά λέγεται θετικώς επαναλαβανόενη (postve recurret) πορεί βέβαια να αποδειχθεί ότι κάτι τέτοιο δεν συβαίνει αν οι καταστάσεις είναι πεπερασένες, όπως οι περιπτώσεις που εξετάζουε εδώ, όπου όλες οι επαναλαβανόενες καταστάσεις είναι θετικώς επαναλαβανόενες ια κατάσταση που είναι θετικώς επαναλαβανόενη και η περιοδική ονοάζεται εργοδική Άρα, ένας ισοδύναος ορισός για την εργοδική ήτρα (βλ προηγούενη ενότητα) είναι ότι όλες οι επαναλαβανόενες καταστάσεις της είναι εργοδικές Αν όλα τα είναι πεπερασένα, τότε ικανοποιούν την σχέση + k k j kj Αυτό ισχύει διότι για να γίνει ετάβαση από το στο j: -Είτε θα γίνει άεσα ε πιθανότητα οπότε θα χάσουε ια ονάδα χρόνου 3

-Είτε θα γίνει άεσα ετάβαση σε ία κατάσταση k j ε πιθανότητα k και από εκεί κάποια στιγή θα εταβούε τελικά στην j Τότε ο χρόνος θα είναι συν τον αναενόενο χρόνο ετάβασης από την k στη j Εποένως: + k k j ετάβαση στη j ( + kj ) συνολικός χρόνος ετάβασης ετάβαση σε k j ηλαδή, + k + k kj + k k j k j k j kj Εάν χρησιοποιήσουε την σχέση + για όλους τους δυνατούς k k j kj συνδυασούς καταστάσεων ( N ) και j, τότε θα προκύψει ένα σύστηα N εξισώσεων ε N αγνώστους, το οποίο καλούαστε να λύσουε Αυτό πορούε να το αποφύγουε εάν ας ζητείται να υπολογίσουε συγκεκριένη τιή του πορούε τότε να παγιώσουε το j και να εξετάσουε ως αγνώστους όνο τα j, j,, Nj καθώς τα υπόλοιπα ' ε j' j δεν υπεισέρχονται στις αντίστοιχες εξισώσεις Έτσι έχουε τελικά ένα σύστηα Ν εξισώσεων ε Ν αγνώστους του οποίου ο χρόνος επίλυσης είναι O(N 4 ) Παραδείγατα / 3 / 3 (α) Έστω / / Αν θέλουε να υπολογίσουε τα, προκύπτει το σύστηα: + + / 3 + + / Άρα, 5 / 3 Αν θέλουε να υπολογίσουε τα, προκύπτει το σύστηα: + 3 + + 3/ 5 / 4

Παρατηρήστε ότι: 3/ 5 / 5 (γνωρίζουε ήδη πώς να την υπολογίσουε) 3/ 5 / 5 ηλαδή, και Γενικά ισχύει ότι, εφόσον η ήτρα είναι κανονική (β) Έστω,8,,7,3 που πορεί να ερηνευθεί σαν η πιθανότητα,5,5 προαγωγής ενός στελέχους από ένα βαθό ιεραρχίας στον επόενο σε ένα έτος Η ερώτηση είναι πόσα έτη (αναενόενη τιή) χρειάζονται για να φτάσει ένα στέλεχος από τον ο στον 4 ο βαθό Θέλουε να υπολογίσουε δηλαδή το 4 Εδώ έχουε: +,5 34 34 34 4 + 4 + 3 34,3 4,3 + 4 6 / 3 4 + 4 + 4, 4 +, 6 / 3 4 3/ 3 5

4 Κλάσεις Ισοδυναίας Κατάταξη Καταστάσεων Τα παραπάνω παραδείγατα παρουσιάζουν ορισένα φαινόενα που πορούν να αναλυθούν διαγραατικά: Λέε ότι η κατάσταση επικοινωνεί ε την j αν είναι () () > (ή f > ) για κάποιο (Προσοχή! Θεωρούε ότι, j και (), j Άρα κάθε κατάσταση επικοινωνεί ε τον εαυτό της!) και γράφουε j Αν είναι j και επικοινωνούν εταξύ τους j γράφουε j Τότε λέε ότι οι δύο καταστάσεις πορεί εύκολα να επιβεβαιωθεί ότι η σχέση ικανοποιεί τις εξής ιδιότητες: (α) (β) για κάθε j συνεπάγεται (γ) Αν j και j j k τότε είναι k Για το (γ) αν j και (m ) (m ) jk j k τότε > και > για κάποια m και m (m+ m) (m) (m) k jk > Τότε, > Εποένως, k ε παρόοιο τρόπο αποδεικνύεται ότι k Αυτό σηαίνει ότι η είναι σχέση ισοδυναίας στο σύνολο S των καταστάσεων Αν [] { j j} δηλαδή το [] είναι ένα υποσύνολο του S που περιλαβάνει όλες τις καταστάσεις που επικοινωνούν ε το και αντιστρόφως, τότε το [] ονοάζεται κλάση ισοδυναίας της κατάστασης Ισχύει προφανώς ότι αν και [] j δεν έχουν τοή, δηλαδή [ ] [ j] / k [] j θα ήταν k και εφόσον j θα είναι [ ] [ j] (γιατί;) ενώ αν j / οι κλάσεις [ ] ιότι αν υπήρχε κατάσταση k [] και k j και άρα j, που όως δεν πορεί να ισχύει / j Επίσης προφανώς ισχύει ότι για κάθε, [ ] ενώ [] S Αυτό 6

σηαίνει ότι οι κλάσεις ισοδυναίας [ ] διαερίζουν το σύνολο των καταστάσεων S, δηλαδή [] S S Οι σχέσεις, και οι κλάσεις ισοδυναίας για ία συγκεκριένη αλυσίδα Markov πορούν να προσδιορισθούν γραφικά ως εξής: Έστω ια ήτρα ετάβασης Κατασκευάζουε προσανατολισένο γράφηα ε κορυφές όλες τις καταστάσεις, j, k, του συνόλου S Προσθέτουε πλευρές (, j ) όνον αν > Στο γράφηα που τελικά προκύπτει: Θα είναι j όνο αν υπάρχει κάποιο ονοπάτι από προς j Θα είναι j όνο αν υπάρχει κύκλωα που περιλαβάνει τις και j Εποένως, οι κλάσεις ισοδυναίας είναι οι συνεκτικές συνιστώσες του γραφήατος Παράδειγα,5,5,5,4,,5,6,5,4 Το αντίστοιχο γράφηα είναι: 3 4 Είναι:,, 3, 4,,, 3, 4, 3 3, 3 4, 4 4, 4 3 7

Άρα,, 3 3, 3 4 και άρα οι κλάσεις ισοδυναίας είναι [] [ ] {, } [ 3] [ 4] { 3,4} Η σηασία της έγκειται στο ακόλουθο θεώρηα: Θεώρηα Έστω j (α) Αν η είναι επαναλαβανόενη, το ίδιο ισχύει και για την j (β) Αν η είναι εταβατική, το ίδιο ισχύει και για την j (γ) Αν η είναι περιοδική ε περίοδο d, το ίδιο ισχύει και για την j Η απόδειξη για το (α) και το (β) πορεί να προκύψει εύκολα ε αναγωγή σε άτοπο Εποένως κάθε κλάση ισοδυναίας αποτελείται από καταστάσεις που έχουν όλες την ίδια ιδιότητα ένδρο Κλάσεων Ισοδυναίας πορούε να κατασκευάσουε ένα δεύτερο γράφηα ε κορυφές τις διαφορετικές κλάσεις ισοδυναίας [][], j, και πλευρές ([ ] [ ]), j όνο αν j (δηλαδή για κάθε κόβο της πρώτης υπάρχει κάποια ετάβαση σε κάθε κόβο της δεύτερης, όχι όως αντιστρόφως) Παρατηρούε ότι αν ([, ] [ j ]) είναι ια πλευρά, η ([ ] [ ]) πλευρά, γιατί θα ήταν j και δύο διαφορετικές κλάσεις ισοδυναίας j, δεν πορεί να είναι j οπότε θα ήταν [ ] [ j], δηλαδή δεν θα είχαε ε το ίδιο σκεπτικό, στο νέο γράφηα δεν υπάρχουν κυκλώατα Εποένως, το γράφηα που προκύπτει είναι δάσος (σύνολο από δένδρα που δεν συνδέονται εταξύ τους) ή δένδρο αν δεν υπάρχουν εονωένα υποσυστήατα Εξετάζουε τώρα τις κορυφές από τις οποίες δεν ξεκινά καία πλευρά (φύλλα του δένδρου) Τέτοιες κορυφές υπάρχουν, γιατί αλλιώς θα υπήρχε κάποιο κύκλωα Αυτές οι κορυφές αντιστοιχούν σε επαναλαβανόενες καταστάσεις, ενώ οι υπόλοιπες αντιστοιχούν σε κλάσεις ισοδυναίας ε εταβατικές καταστάσεις 8

Παράδειγα Έστω ότι από τον πίνακα ετάβασης προκύπτει το ακόλουθο γράφηα: 3 4 5 6 7 8 Είναι: [] { } [] {} [] 3 [] 4 { 3, 4} [] 5 [] 6 { 5, 6} [] 7 [] 8 { 7, 8} To γράφηα των κλάσεων ισοδυναίας είναι: [] [3] [] [5] [7] Τα φύλλα είναι οι κλάσεις [ 3 ] και [ 7 ] Εποένως οι καταστάσεις 3,4 και 7,8 είναι επαναλαβανόενες, ενώ οι υπόλοιπες είναι εταβατικές 9

5 Γενική δοή της τελικής ήτρας Όλη η συζήτηση που θα γίνει σε αυτήν την ενότητα προϋποθέτει την ύπαρξη της ήτρας Στην περίπτωση που η τυχαίνει να είναι και κανονική, γνωρίζουε πλέον ότι όλες οι γραές της είναι ίδιες καθώς και επίσης γνωρίζουε πως πορούε να υπολογίσουε τα στοιχεία της (πώς;) Εδώ θα εξετάσουε τι συβαίνει όταν αναφερόαστε σε η κανονικά συστήατα Είδαε προηγουένως ότι οι καταστάσεις που ανήκουν στην ίδια κλάση ισοδυναίας θα είναι είτε όλες επαναλαβανόενες, είτε όλες εταβατικές Στην πρώτη περίπτωση πορούε να παρατηρήσουε ότι οι επαναλαβανόενες αυτές καταστάσεις (και εφόσον είναι η περιοδικές, άρα είναι εργοδικές) αντιστοιχούν σε ένα κανονικό υποσύστηα, εποένως η τετραγωνική υπο- ήτρα της η οποία αντιστοιχεί σε αυτές τις καταστάσεις θα έχει όλες τις γραές της ίδιες (και πορεί να υπολογισθεί από τις γνωστές εξισώσεις που αναφέρθηκαν σε προηγούενη ενότητα)! Η δυσκολία πλέον έγκειται στο να υπολογισθούν τα υπόλοιπα στοιχεία της Σε αυτό βοηθάει το εξής θεώρηα: Θεώρηα Έστω, j καταστάσεις του συνόλου S Ισχύει γενικά: f ( ), ( () f jj f ) Απόδειξη Το θεώρηα αυτό πορεί να ερηνευθεί «διαισθητικά» ως εξής: Θεωρήστε την τροχιά της ανέλιξης, δηλαδή ια υλοποίηση των X,X,X,,X, N Αν X ~ ε βεβαιότητα, το ( ) είναι η πιθανότητα να βρισκόαστε στην j ετά από «πολύ χρόνο» ια εκτίηση αυτού του εγέθους δίνεται από την συχνότητα στο χρόνο της παραονής στην j, δηλαδή τι ποσοστό του συνολικού χρόνου παραένουε 3

στην j Αν έχουε φτάσει στο j, τότε η κατάσταση ξαναγίνεται j ετά από jj βήατα κατά έσο όρο, άρα η χρονική συχνότητα είναι το αντίστροφο, δηλαδή jj Από όλες τις δυνατές τροχιές όνο f από αυτές θα φτάσουν κάποτε στην j Έτσι το έσο ποσοστό επίσκεψης στην j είναι όντως f jj ηλαδή η ανέλιξη θα βρεθεί ύστερα από άπειρα βήατα στην κατάσταση j ε αυτήν την πιθανότητα ε βάση αυτόν τον τύπο, πορούε να καταλήξουε σε δύο βασικά συπεράσατα: I Αν ία κατάσταση j είναι εταβατική (οπότε ισχύει ότι jj ), τότε για κάθε, ( ) ηλαδή η ήτρα έχει όλες τις στήλες που αντιστοιχούν σε εταβατικές καταστάσεις ε ηδενικά στοιχεία όνο II Αν ία κατάσταση j είναι θετικώς επαναλαβανόενη (οπότε ισχύει ότι το jj είναι πεπερασένο), τότε για κάθε που πορεί να οδηγήσει στην j θα είναι ( ) > Συνοψίζοντας τις ιδιότητες των επαναλαβανόενων και εταβατικών καταστάσεων είαστε πλέον σε θέση να υπολογίσουε όλα τα στοιχεία της ήτρας : I Αν j και j είναι επαναλαβανόενες καταστάσεις που ανήκουν στην ίδια κλάση, τότε f Επιπλέον ισχύει ότι j j f j Άρα, για κάθε k f f j που ανήκει και αυτή στην ίδια κλάση ε τις j και j, ισχύει ότι ( ) ( ) j k j k Από εδώ προκύπτει ότι όλες οι γραές της υπο- kk ήτρας που αντιστοιχεί στις επαναλαβανόενες αυτές καταστάσεις της ίδιας κλάσης είναι εταξύ τους ίδιες II Αν j και j είναι επαναλαβανόενες καταστάσεις που ανήκουν σε διαφορετικές κλάσεις, τότε f Άρα: ( ) ( ) j j j j f j j j j 3

Εποένως, αν θεωρήσουε ια ανέλιξη όπου οι καταστάσεις, είναι εταβατικές, οι 3,4 επαναλαβανόενες στην ίδια κλάση, και οι 5,6,7 επαναλαβανόενες σε ία άλλη κλάση, τότε η γενική ορφή της ήτρας θα είναι η ακόλουθη: 3 4 5 6 7 f 3 / 33 f 4 / 44 f 5 / 55 f 6 / 66 f 7 / 77 f 3 / 33 f 4 / 44 f 5 / 55 f 6 / 66 f 37 / 77 3 / 33 / 44 4 / 33 / 44 5 / 55 / 66 / 77 6 / 55 / 66 / 77 7 / 55 / 66 / 77 Πρακτικά, ο υπολογισός των f και για τις διάφορες καταστάσεις πορεί να είναι επίπονος και χρονοβόρος Ωστόσο, τα στοιχεία στις κανονικές υπο-ήτρες που προκύπτουν από τις επαναλαβανόενες η-περιοδικές καταστάσεις (εδώ υπάρχουν δύο τέτοιες υπό-ήτρες, ποιες;) πορούν να υπολογισθούν από τις εξισώσεις Ισορροπίας και Κανονικοποίησης που έχουε δει σε προηγούενη ενότητα (όπου σαν ήτρα χρησιοποιούε την αντίστοιχη υπο-ήτρα της αρχικής) Συνεπώς, πορούε αέσως να υπολογίσουε και τα 33, 44, 55, 66 και 77 Πλέον ας ένει να υπολογίσουε όνον τα f που βρίσκονται στις δύο πρώτες γραές της ήτρας Σύφωνα ε τα προηγούενα συπεράσατα έχουε όως: f 3 f 4 και f 5 f 6 f 7 f 3 f 4 και f 5 f 6 f 7 ηλαδή ας αρκεί ο υπολογισός 4 πιθανοτήτων f για να έχουε προσδιορίσει όλα τα στοιχεία της ήτρας Εκτός των εθόδων που ήδη έχουε δει, ια άλλη πρακτική έθοδος για των υπολογισό των f βασίζεται στην παρατήρηση ότι η, εκτός από την σχέση γραών, ικανοποιεί και την σχέση στηλών Εκεταλλευόενοι αυτήν την σχέση πορούε για την συγκεκριένη περίπτωση να 3

δηιουργήσουε ένα σύστηα δύο εξισώσεων ε δύο αγνώστους f 3, f 3 και ένα άλλο x σύστηα ε δύο αγνώστους f 5, f 5 Ενδεικτικά: για το πρώτο σύστηα, η πρώτη εξίσωση θα προκύψει αν πολλαπλασιάσουε την η γραή της ήτρας ε την 3 η στήλη της είναι ίσο ε το στοιχείο f 3 33 + f 3 33 + 3 ( ) 3 33 + 4 ηλαδή: Ενώ η δεύτερη εξίσωση θα είναι: f 3 33 + f 3 33 + 3 33 + 4 33 33 f 3 33 f 3 33 και αυτό το γινόενο θα πρέπει να Παραδείγατα (α) Έστω Προσδιορίστε τη ήτρα Το αρχικό γράφηα είναι 3 και εποένως οι κλάσεις είναι [ ] { } και [ ] [ 3] {,3} 33

Το νέο γράφηα είναι [] [] και άρα οι {, 3 } είναι επαναλαβανόενες και η περιοδικές (εργοδικές) ενώ η εταβατική Η υπάρχει και σύφωνα ε όσα είπαε είναι της ορφής x x x y y y Από την ' έπεται ότι Εποένως, 3 και 33 3 x 3 ενώ y 3, όπου ' Για το x λύνουε την εξίσωση: x + 3 x x 3 Άρα y 3 (β) Έστω ότι η είναι η ακόλουθη 7x7 ήτρα: / /4 /4 /4 / /4 / / /3 /3 /3 /3 /3 / /6 /3 /3 /6 / 34

Αφού σχεδιάσουε τα δύο διαγράατα και εντοπίσουε τις κλάσεις ισοδυναίας καταλήγουε τελικά στην ακόλουθη ήτρα : 3 4 5 6 7 33 48 5 67 67 4 4 76 33 3 4 6 4 4 6 5 37 9 4 6 37 9 4 7 37 9 4 Το πώς προκύπτει αυτή η ήτρα αφήνεται σαν άσκηση στον αναγνώστη 35

6 Συναρτήσεις Κόστους Έστω j,, οι καταστάσεις σε ία αλυσίδα Markov Συχνά σε κάθε κατάσταση συνδέουε ένα κόστος (ή κέρδος αναλόγως το πρόβληα) C( j ), και έτσι στον χρόνο έχουε κόστος C( X ) Αν η ανέλιξη ξεκινήσει από ια κατάσταση τότε το αναενόενο κόστος του χρόνου θα είναι: ( ) M { } () E C X X C j () j N Ν και Επίσης συχνά ενδιαφερόαστε για το διαχρονικό έσο κόστος CN C( X ) την αναενόενη τιή του η οποία είναι: ( N ) Ν Ν Ν () E E C (C ( X ) () () X ) C j C j Ν Ν j j Ν () Έτσι βλέπουε ότι η παράσταση ( N ) Ν () παρουσιάζει ενδιαφέρον Ν Προφανώς το ( N) είναι το -j στοιχείο της ήτρας Ν Ν Ν πορεί κανείς εύκολα να διαπιστώσει ότι N+ Ν Ν + () N Όως για Ν, η Ν+ είναι φραγένη από τη ήτρα, άρα lm Ν - Ν Ν+ ηλαδή, αν εφαρόσουε όρια στην σχέση () βλέπουε ότι το lm Ν Ν υπάρχει και ικανοποιεί την σχέση: Άρα το N που είναι η -στή γραή της Ν έχει σαν όριο την -στή της, που ικανοποιεί την εξίσωση 36

Αν τώρα το σύστηα εξισώσεων x x, x έχει οναδική λύση, η λύση αυτή ταυτίζεται ε τα lm π για τα j Προσοχή! Ενδέχεται η εξίσωση αυτή να Ν N έχει οναδική λύση, αλλά η ήτρα να ην είναι κανονική, ούτε καν εργοδική! Παρατηρούε ότι σ αυτήν την περίπτωση (οναδικής λύσης) όλες οι γραές είναι ίδιες, δηλαδή της π π j για κάθε, και άρα το π ( π,, πm ) δίνει κάθε γραή Έχοντας βρει τα π πορούε να υπολογίσουε την τιή της παράστασης ως C lm E C( X ) π j C( j) που ας δίνει την αναενόενη τιή του Ν Ν j έσου διαχρονικού κόστους για άπειρες περιόδους Σύφωνα ε τα παραπάνω, η τιή του C είναι ανεξάρτητη από την αρχική κατάσταση όταν το παραπάνω σύστηα έχει οναδική λύση (αυτό εξασφαλίζεται όταν η ήτρα είναι κανονική, αλλά όχι όνο τότε ), ενώ διαφορετικά εξαρτάται και από την αρχική κατάσταση της αλυσίδας Παραδείγατα (α) () ( ) { ( ) C C οπότε E } + 5 εφόσον η όνη λύση της x x είναι x (, ) Παρατηρήστε εδώ ότι η ήτρα δεν είναι εργοδική (άρα ούτε κανονική), άρα η δεν υπάρχει! Υπάρχει όως η 8 (β) 3 7 Τότε, ( 6, 4) π Αν () C ( ) C τότε C 6 + 4 6 37

Πολλές φορές ενδιαφέρεται κανείς για το προεξοφληένο αναενόενο κόστος (κέρδος) (όταν ξεκινάε από ία κατάσταση, έχρι την περίοδο N και για επιτόκιο απόδοσης ρ% στην περίοδο): V (, Ν) E Ν C( X ) X ( + ρ) που ουσιαστικά είναι η αναενόενη τιή της παρούσας αξίας του συνολικού διαχρονικού κόστους (όχι της έσης τιής) έχρι την περίοδο Ν Είναι όως: M Ν C( X ) Ν C( X) () j ( +ρ ) +ρ j ( +ρ) V(, Ν ) C( ) + E X j C + E X j Παρατηρούε ότι C( X ) ( +ρ) Ν E X j V j, Ν ( ) +ρ οπότε είναι V(, Ν ) C( ) + V( j, Ν ) j ή σε διανυσατική ορφή V + ρ ( N) C + V( Ν ) όπου ( N) (, Ν) (, Ν) ( Ν) V V V και V, ( ) C C C( ) Αποδεικνύεται ότι το όριο lm V( Ν) V Ν υπάρχει και ικανοποιεί τη σχέση I V C, ενώ είναι προφανές ότι το προεξοφληένο αναενόενο κόστος +ρ (σε αντίθεση ε το αναενόενο έσο) εξαρτάται από την αρχική κατάσταση 38

Παραδείγατα 8 (α) 3 7 οπότε 9 +ρ Το V ικανοποιεί τη σχέση 677 και άρα V 499 C ρ 8-9 V 3 7 V (β) Υπολογίστε τα V ( ), V( ), V( ) Είναι ( ) C 8 7 V ικανοποιεί την V () + 9 3 7 7 Το () 8 7 87 V + 9 3 7 7 635 και ( ) V για ρ (γ) Υπολογίστε τα (), V( ) Είναι πάλι V( ), V( ) 8 8 + 3 7 3 ( ) V 8 8 5 + 3 7 3 75 39

7 ιαδικασία Αποφάσεως Markov 7 Πεπερασένος Ορίζοντας Θεωρούε ότι σε κάποιο οντέλο που περιγράφεται από πεπερασένες καταστάσεις,, M πορούε να παρέβουε στις ήτρες ετάβασης επιλέγοντας κάποια δράση d,,, D Έτσι πλέον έχουε D ήτρες ετάβασης, d που προσδιορίζουν τις διάφορες πιθανότητες ετάβασης ανάλογα ε το ποια δράση d έχει επιλεγεί Το κόστος (όφελος) ανά χρονική στιγή είναι πλέον συνάρτηση όχι όνο της κατάστασης που βρισκόαστε, αλλά και του χρόνου (χρονικού ορίζοντα) καθώς και της δράσης που έχει επιλεγεί, δηλαδή είναι (,d, N) C (εάν βρισκόαστε στην κατάσταση και επιλέγουε δράση d, οπότε οι πιθανότητες ετάβασης σε κάποια άλλη κατάσταση καθορίζονται από την ήτρα ) d ια στρατηγική δ προσδιορίζει ποια δράση d πρέπει να επιλεγεί (σύφωνα ε την στρατηγική) για κάθε συγκεκριένη χρονική στιγή (ή χρονικό ορίζοντα) και σαν συνάρτηση της κατάστασης Είναι δηλαδή (, N) d δ που σηαίνει ότι η στρατηγική είναι ία συνάρτηση δ : S T D (όπου το D είναι το σύνολο των δράσεων) Παράδειγα ια ηχανή είτε λειτουργεί ικανοποιητικά, είτε λειτουργεί ελαττωατικά, είτε καθόλου (καταστάσεις,, 3 αντίστοιχα) Το όφελος είναι 5,3, ονάδες ανά περίοδο, ανάλογα ε την κατάσταση Οι δράσεις είναι d,, 3 όπου: :Καία παρέβαση :Συντήρηση ηχανής 3:Ριζική επιδιόρθωση ηχανής Το κόστος των δράσεων είναι,, 5 αντίστοιχα ία στατηγική (ανεξάρτητη του χρόνου) είναι πχ δ () δ( ) δ( 3) 3, δηλαδή όποτε η ηχανή λειτουργεί ικανοποιητικά να ην παρεβαίνουε καθόλου, όποτε λειτουργεί ελαττωατικά να την συντηρούε και όποτε δεν λειτουργεί καθόλου να την επιδιορθώνουε ριζικά (άλλη στρατηγική θα πορούσε να είναι η δ ( ) δ( ) δ( 3) 3 ) Σε 4

περίπτωση που εφαροστεί η στρατηγική δ, η ήτρα ετάβασης προκύπτει από τις επιέρους ήτρες d Έστω πχ: 7 9 6 4 5 5 3 Για την συγκεκριένη στρατηγική δ προκύπτει η ήτρα ετάβασης (γιατί;): 7 δ 5 5 (εξαρτάται όνο από την κατάσταση) ενώ το κόστος ανά περίοδο είναι C ( δ) 5 5 3 5 5 Αν το προεξοφλητικό επιτόκιο είναι ρ, τότε το άπειρο προεξοφληένο αναενόενο όφελος V δ ικανοποιεί τη σχέση είπαε στην προηγούενη ενότητα, ή V δ Cδ + δ Vδ σύφωνα ε όσα, 7 5 45 5 5 Vδ Vδ 37 5 359 Το αναενόενο έσο διαχρονικό όφελος χωρίς προεξόφληση βρίσκεται ως εξής: Λύνουε το σύστηα x x ε όλα τα στοιχεία του x να αθροίζουν στη ονάδα δ Το σύστηα έχει οναδική λύση 4 53 C 5 + 5 5 5 5 5 4 x,, 5 5 5, άρα: 4

Το φυσικό πρόβληα που θέλει να λύσει κανείς είναι να βρει τη βέλτιστη στρατηγική ε κριτήριο την εγιστοποίηση του αναενόενου οφέλους, προεξοφληένου ή όχι, για πεπερασένο ή άπειρο ορίζοντα Η σηασία του απείρου ορίζοντα έγκειται στο ότι η βέλτιστη στρατηγική είναι απλούστερη από αυτή του πεπερασένου ορίζοντα και προσεγγίζει ικανοποιητικά το βέλτιστο όφελος για σχετικά εγάλους ορίζοντες Για πεπερασένο ορίζοντα η βέλτιστη στρατηγική βρίσκεται ε δυναικό προγραατισό (είτε θέλουε να υπολογίσουε το προεξοφληένο ή το έσο όφελος-κόστος) Έστω (, Ν) V το βέλτιστο (έγιστο προεξοφληένο αναενόενο όφελος) αν X και για χρονικό ορίζοντα Ν περιόδων, δηλαδή: Ν Ν max E δ (, ) ( ), δ(x, N ) X ( + ρ) C x V Θέλουε να βρούε για ποια στρατηγική δ προκύπτει αυτό το έγιστο πορεί εύκολα να επιβεβαιωθεί ότι η εξίσωση υναικού Προγραατισού που δίνει το V (, + ) Ν είναι: ( + ) max C(,d) + ( d) V( j, Ν) Ν V, d D + ρ j Η βέλτιστη δράση για X και χρονικό ορίζοντα Ν + δίνεται από το d που ικανοποιεί το max ηλαδή, ξεκινώντας από ία κατάσταση θέλουε να προσδιορίσουε για ποια δράση d θα εγιστοποιήσουε το άθροισα του οφέλους που προκύπτει από αυτή τη δράση συν το έγιστο προεξοφληένο αναενόενο όφελος που αντιστοιχεί σε ία κατάσταση j και για ορίζοντα N, αν εταβούε από την στην j ε πιθανότητα που καθορίζει η ήτρα ετάβασης d Προφανώς για να λυθεί η εξίσωση Π χρειάζεται να υπολογίσουε το V (,), το οποίο όως υπολογίζεται πολύ εύκολα Παράδειγα Στο προηγούενο παράδειγα : 4

Για Ν: { } ( ) ( ) Κ ρδος( ) Κ στος ( ) V, max C,d max έ ό d Άρα: d,,3 d { } V(,) max 5, 5, 5 5 5 d { } V(, ) max 3, 3, 3 5 3 d { } V(3,) max,, 5 d Πράγα που δείχνει ότι d σε κάθε περίπτωση, δηλαδή δεν πρέπει να γίνει καία παρέβαση στην ηχανή 5 V 3 Άρα (,) Για N: ( ) max C(,d) + ( d) V( j,) V, d,,3 + ρ j ή 3 Για ρ V (,) max C(,d ) + ( d) V ( j,) max 5 + ( 7 5 + 3+ ), d,,3 +ρ j 5 4 + ( 9 5 + 3 ), + max{ 873 836 454} Άρα V(,) 873 και (,) Αντίστοιχα είναι: δ, δηλαδή η καλύτερη δράση είναι η 5 V(,) max 3 + { 6 3 }, 3 + ( 5 5 + 5 3 ), 3 5 + max{ 463 564 54} 564 και δ (,) 43

5 V( 3,) max,, 5+ και δ ( 3,) Για N: 873 V(, ) max 5 + ( 7 873+ 564 ), 4 + ( 9 873+ 564 ), + max{ 58 66 794} 66 δ (, ) 873 V(, ) max 3 + 6 564, + ( 5 873+ 5 564 ), + max{ 68 853 593} 853 δ (,) 873 V( 3,) max +, +, 5+ max{ 94} 94 δ ( 3,) 3 Επιβεβαιώστε ότι (,) δ(,3) δ για,, 3 Η παραπάνω έθοδος εφαρόζεται είτε για προεξοφληένo είτε για η προεξοφληένο αναενόενο όφελος Στη δεύτερη περίπτωση θέτουε απλώς ρ, και η υπόλοιπη διαδικασία είναι ακριβώς η ίδια Προφανώς, πορούε να εφαρόσουε την ίδια έθοδο και όταν θέλουε να ελαχιστοποιήσουε το προεξοφληένο αναενόενο κόστος για πεπερασένο ορίζοντα, βάζοντας m αντί για max 44

7 Άπειρος Ορίζοντας Για άπειρο χρονικό ορίζοντα θέλουε να βρούε την βέλτιστη στρατηγική δ (, Ν) πορεί να αποδειχθεί ότι η βέλτιστη στρατηγική είναι ανεξάρτητη του χρόνου (statoary polcy) όταν ο ορίζοντας είναι εγάλος και όταν αναφερόαστε σε αναενόενο προεξοφληένο (ή η) όφελος (ή κόστος), είναι δηλαδή (, Ν ) δ(, N ) δ( ) N N δ Στην περίπτωση άπειρου ορίζοντα ε προεξοφληένο όφελος θέτουε () max E d ( ), δ(x ) X ( + ρ) C X V πορεί πάλι να επιβεβαιωθεί ότι η V ( ) ικανοποιεί την εξίσωση Π: () max C(,d) + ( d) V( j) V d,,, D + ρ j Η εξίσωση αυτή ερηνεύεται ως εξής: έστω ότι από την αρχική κατάσταση επιλέγεται κάποια δράση d, και γίνεται ία ετάβαση στην j (σύφωνα ε την ήτρα ) Το αναενόενο κόστος είναι: C (, d ) για την ηδενική περίοδο συν το d προεξοφληένο όφελος ε έναρξη X j και ε στάθιση (d) Η όλη διαδικασία πρέπει να συνεχισθεί κατά τον βέλτιστο τρόπο και άρα το αναενόενο όφελος είναι () j V Προφανώς η καλύτερη d βελτιστοποιεί το C (, d ) συν το αναενόενο όφελος V ( j), προεξοφληένο ε ( d) + ρ και σταθισένο ε το εν είναι προφανές πως λύνεται η παραπάνω εξίσωση Π, αντίθετα ε τις προηγούενες, που ίσχυαν για πεπερασένο ορίζοντα Θα εξετάσουε εδώ ερικές από τις εθόδους που χρησιοποιούνται για την επίλυση 45

έθοδος Προσέγγισης Αξίας (value terato) Έστω πρόβληα ορίζοντα Ν και βέλτιστης αξίας ( Ν) V, max E δ C( x ),δ X ( + ρ) Ν Ισχύει ότι V(, Ν) max C(,d) ( d) V( j, Ν ) + d + ρ j για ρ (ακόη και για ρ που δεν έχουε προεξόφληση) για Ν πεπερασένο και Αν όως το lm V(, Ν) N υπάρχει (που πορεί να συβεί όνο εάν ρ>, γιατί;) τότε το ορισός όριο lm V(, Ν) V( ) N προγραατισού, δηλαδή ικανοποιεί την: () max C(,d) + ( d) V( j) V d + ρ j ικανοποιεί το όριο της παραπάνω εξίσωσης δυναικού Αυτή είναι η εξίσωση δυναικού προγραατισού για ορίζοντα άπειρης διάρκειας Άρα για να υπολογίσουε τα V() αρκεί να υπολογίζουε διαδοχικά τα V(,N) για Ν,,, έχρι ένα «εγάλο» Ν, χρησιοποιώντας την εξίσωση Π Όως πόσο εγάλο πρέπει να γίνει αυτό το Ν, ώστε το σφάλα να είναι ανεκτό; ρ πορεί να αποδειχθεί ότι V(, N) V() V(, ) V() (όπου Ν ( + ρ) u() max u(j) για ια οποιαδήποτε συνάρτηση u(j) ), και άρα για ρ> ένα αρκετά j S εγάλο Ν εξασφαλίζει πολύ ικρό σφάλα πορεί επίσης να αποδειχθεί ότι αν V(, N) τότε ερ V(, N +) ( + ρ) V(, N) V() ε 46

Τα παραπάνω πορούν να χρησιοποιηθούν ως κριτήρια τερατισού του υπολογισού του V(): αν πχ υπολογίσουε τα V(,N+) για κάποιο επίπεδο Ν+ και διαπιστώσουε ότι η έγιστη διαφορά τους (κατ απόλυτη τιή) ε τα τα V(,N) του ερ προηγούενου επιπέδου είναι ικρότερη ή ίση από την ποσότητα, τότε ( + ρ) είαστε βέβαιοι ότι τα V(,N) προσεγγίζουν τα V() (που είναι το ζητούενο) ε σφάλα όχι εγαλύτερο από ε Βέβαια, όπως εύκολα διαπιστώνει κανείς, η έθοδος αυτή είναι υπολογιστικά επίπονη έθοδος Προσέγγισης Στρατηγικών (polcy terato) Εναλλακτικά, χρησιοποιούε τον παρακάτω αλγόριθο προσέγγισης στρατηγικών που οφείλεται στον RBellma (α) Ξεκινάε από ία τυχαία στρατηγική δ o Υπολογίζουε το προεξοφληένο όφελος V δ που αντιστοιχεί σε αυτήν την στρατηγική ε βάση τη γνωστή εξίσωση V C V δ δ + δ δ + ρ (β) Έστω ότι για ια στρατηγική δ k, βρήκαε το όφελός της στρατηγική k+ δ ως εξής : η ( ) + ρ δ k παράσταση C(,d) + ( d) V ( j) j δk V δk Βρίσκουε ία νέα + είναι η δράση d που εγιστοποιεί την (γ) Αν δ () δ ( ) για κάθε, τότε έχουε βρει την βέλτιστη στρατηγική, συνεπώς k k+ το βέλτιστο όφελος βρίσκεται από την V δ C + k + δ k + δ V k + δ + + ρ k ιαφορετικά, θέτουε k k + και επαναλαβάνουε το βήα (β) 47

Παράδειγα Θεωρούε το παράδειγα ε τη ηχανή από την προηγούενη υποενότητα Έστω ότι η αρχική ας στρατηγική δ είναι τέτοια ώστε δ ( ), δ ( ), ( 3) 3 o δ Το αναενόενο όφελος είναι 45 Vδ 37 359 Η δ υπολογίζεται ως εξής : Για την () δ εξετάζουε το ( ) άρα () δ, που σηαίνει ότι η max 5 + 7 45 + 37 + 359, 45 4 + ( 9 45 + 37 ), + max{ 45 43 366} δ σίγουρα διαφέρει από την δ o Για την δ ( ) ισχύει δ ( ), ενώ ( 3) 3 δ (Αποδείξτε το σαν άσκηση) Το αναενόενο όφελος από την δ βρίσκεται λύνοντας την εξίσωση : 4 9 V + 5 5 V 5 δ δ Οπότε 486 Vδ 377 35 (που σηαίνει ότι η δ είναι καλύτερη, όπως αναέναε) Για να βρούε την δ : Για την δ () εξετάζουε το 486 max 5 + ( 7 486 + 377 + 35 ), 486, max 478 486 375 { } 48

Άρα () () δ δ ε το ίδιο σκεπτικό βρίσκουε ότι δ ( ) ( ) και ( ) ( 3) 3 δ δ 3 δ Άρα σύφωνα ε τον αλγόριθο (3 ο βήα), η βέλτιστη στρατηγική είναι η δ δ και το βέλτιστο όφελος το 486 Vδ V 377 δ 35 πορεί να αποδειχθεί ότι η προσέγγιση στρατηγικών είναι σωστή και οδηγεί στη βέλτιστη στρατηγική Αυτό που χρειάζεται να αποδείξουε είναι ότι η στρατηγική που εγιστοποιεί κάθε φορά το δεξί έλος της εξίσωσης Π, οδηγεί πάντα σε αναενόενο προεξοφληένο όφελος συνολικά καλύτερο από κάθε προηγούενη στρατηγική που είχε εξετάσει ο αλγόριθος Απόδειξη: Συβολίζουε την Είναι: V δ σαν V k k Vk k k+ k + k+ k+ ρ j C(,δ k () ) + ( δ k+ ) Vk ( j) C,δ k ( ) + + ρ j + ρ j + k k j j () V () C(,δ () ) C(,δ ( ) ) + ( δ ) V () j ( δ ) V () ( ) ( δ ) V ( ) + + k k j + k+ k+ k k+ k+ + ρ + ρ j ( δ )[ V () j V () j ] ( δ )[ V (j) V (j)] j k Αυτό ισχύει επειδή C + k+ k k + ρ j + ρ j (,δ () ) ( δ ) V ( j) C(,δ ( ) ) + ( δ ) V ( ) k + k k j εφόσον γνωρίζουε ότι σύφωνα ε τον αλγόριθο η ( ) + ρ εγιστοποιεί την παράσταση C(,d) + ( d) V ( j) j δk δ k + είναι η δράση d που 49

Έστω V() j V ( j) V ( j) + ρ k+ k Από τα παραπάνω προκύπτει ότι V V Από την σχέση αυτή προκύπτει ότι V( j) για όλα τα j Γιατί αν ήταν V() j <, έστω V() j το ικρότερο από τα V( ) Όως τότε j j V (όπου η j + ρ γραή της ήτρας ) θα είναι εγαλύτερο και όχι ικρότερο του V() j, εφόσον η είναι στοχαστική και < + ρ () j V () j Vk + k για όλα τα j Γεγονός άτοπο Άρα V() j, δηλαδή Επίλυση ε Γραικό Προγραατισό Το πρόβληα της βέλτιστης στρατηγικής ε κριτήριο την βελτιστοποίηση του η προεξοφληένου έσου οφέλους πορεί να λυθεί είτε ε εθόδους όπως οι παραπάνω, είτε ε γραικό προγραατισό Θεωρούε προσωρινά ότι η επιλογή δράσεων πορεί να είναι πιθανολογική Ας υποθέσουε ότι έχουε καταστάσεις ενώ συβολίζουε ε D jd την πιθανότητα D jd (επιλέγεται η δράση d η κατάσταση είναι j ) Τότε είναι: y jd (η κατάσταση είναι j και επιλέγεται η d ) D jd π j ε π j την οριακή πιθανότητα να είναι η j,,, και αποφάσεις δράσης d,,, D, X στην j Το αναενόενο έσο όφελος είναι : 5

E D () c C( j,d) D π y jd C jd j d jd j j, d Πρέπει βέβαια να ισχύει: (α) D j d y jd (άθροισα πιθανοτήτων) D (β) y π π ( d) D y ( d) j d D D jd j d d d d και (γ) y jd j, d Εποένως, οδηγούαστε σε ένα πρόβληα εγιστοποίησης του E ( C) που είναι το ακόλουθο πρόβληα ΓΠ max D j d C jd y jd ε συνθήκες: D j d y jd D y y ( d) d jd D j,, d y d, d d Βρίσκοντας τα βέλτιστα y d πορούε να βρούε την βέλτιστη στρατηγική ως εξής : Είναι D jd D y d jd y jd πορεί να αποδειχθεί από την θεωρία του γραικού προγραατισού ότι για κάθε j, όνον ένα y > ενώ όλα τα άλλα είναι, και άρα η βέλτιστη απόφαση δεν είναι jd πιθανολογική, εφόσον D εκτός από κάποιο jd * d για το οποίο D jd Έτσι προσδιορίζουε για κάθε κατάσταση j, τη δράση d(j) που βελτιστοποιεί, δηλαδή προσδιορίζουε τη βέλτιστη στρατηγική δ 5

Παράδειγα Στο προηγούενο παράδειγα, η συνάρτηση κέρδους είναι : { + + 3 + + + ( ) 3 + 3 + ( ) 3 + ( ) 33} max 5y 4y y 3y y y y y 5 y Η εγιστοποίηση γίνεται ε περιορισούς: 3 3 d y d y και d y + y + y3, 7y +, 9y +y3 + y +, 5y +y 3 + y 3 + y 3 + y 33 y + y + y 3, y +, y + y3 +, 6y +, 5y + y 3 + y 3 + y 3+ y 33 y 3 + y 3 + y 33, y + y + y3 +, 4y + y + y 3 +y 3 +y 3 + y 33 Η επίλυση του προβλήατος γραικού προγραατισού (9 εταβλητές, 4 περιορισοί) ε Smplex ή ε κάποια άλλη έθοδο δίνει την βέλτιστη στρατηγική (δοκιάστε σαν άσκηση να λύσετε το πρόβληα ε κάποιο γνωστό λογισικό βελτιστοποίησης) Η Γραική Βελτιστοποίηση πορεί να εφαροστεί και για την επίλυση του προβλήατος εγιστοποίησης του συνολικού αναενόενου προεξοφληένου οφέλους σε άπειρο ορίζοντα Οι σχέσεις: () max C(,d) + ( d) V( j) V για κάθε κατάσταση,, M d D + ρ j ισοδυναούν ε την λύση του εξής προβλήατος Γραικού Προγραατισού: (χρησιοποιούε το σύβολο V αντί για V()) 5

m όπου: M V j j V C(, d) + + ρ M j (d)v j,,, M d D Άγνωστοι σε αυτό το πρόβληα είναι τα V,,,,M Απόδειξη Ευθύ: Για να αποδείξουε ότι ια λύση του ΓΠ ικανοποιεί τον Π: για ία τυχαία λύση βέλτιστη λύση V του ΓΠ θα πρέπει προφανώς να ισχύει ότι: V max C(,d) + ( d) Vj d D + ρ j Επιπλέον ισχύει η ισότητα για τουλάχιστον ένα d, διότι αν ίσχυε σε βέλτιστο αυστηρά η ανισότητα V > C(,d) + ( d) Vj για κάθε d, ή ισοδύναα + ρ j (d) V > C,d + ρ + ρ j θα πορούσαε να ειώσουε το ( ) + ( d) Vj επηρεάσουε τις απλές ανισότητες Άρα το βέλτιστη λύση του ΓΠ Εποένως, δεν πορεί V παίρνοντας καλύτερη λύση χωρίς να V δεν θα πορούσε να ανήκει στη V > max C(,d) + ( d) Vj d D + ρ j Άρα η λύση του Γραικού Προγραατισού ικανοποιεί την εξίσωση του υναικού Προγραατισού (ως ισότητα) Αντίστροφο: Αν η λύση του Π δεν ήταν η βέλτιστη λύση στον ΓΠ τότε θα είχαε δύο λύσεις στον Π (η τρέχουσα συν η βέλτιστη του ΓΠ), κάτι που πορεί να αποδειχθεί άτοπο 53

Παράδειγα ίνεται το ακόλουθο σύστηα δύο καταστάσεων και δύο αποφάσεων {d,d } ε τις αντίστοιχες για κάθε απόφαση ήτρες ετάβασης, 4, 6, 5, 5 και, 5, 75, 8, ενώ το κέρδος ανά κατάσταση και απόφαση δίνεται από: Απόφαση Κατάσταση d d - D Αν, 9 και θέλουε να προσδιορίσουε το έγιστο προεξοφληένο + ρ αναενόενο κέδρος για άπειρο ορίζοντα και την στρατηγική που οδηγεί σε αυτό, πορούε να οδηγηθούε στο ισοδύναο πρόβληα ΓΠ: m V + V V V V V +, 9(, 4V +, 6 +, 9(, 5V +, 5 V ) V +, 9(, 5V +, 75 +, 9(, 8V +, V V V V, ελεύθερες εταβλητές ) ) ) d d d d Λύνοντας το πρόβληα ΓΠ καταλήγουε στην λύση: V 89,, V 68, 45 Επιβεβαιώστε ότι η βέλτιστη στρατηγική είναι η δ ( ) d δ( ) d (αποδείξτε ότι ο πρώτος και ο τέταρτος περιορισός ισχύουν ως ισότητες) Υπολογίστε την αξία της και επιβεβαιώστε ότι ικανοποιεί την εξίσωση Π 54

ια τελευταία έθοδος για τον προσδιορισό του βέλτιστου έσου αναενόενου οφέλους δίνεται χωρίς άεση αιτιολόγηση: (α) Έστω αριθοί R, υ,, υ (υ, για j,,) τέτοιοι ώστε: () R + υ C() + υ j για κάθε,,,m () υ j j Τότε το R είναι το έσο αναενόενο όφελος, ε όφελος ανά κατάσταση το C () (β) Έστω αριθοί R, υ j j,, ε υ τέτοιοι ώστε για κάθε,, να + d,, D j ισχύει: R υ max C(,d) + ( d) υ j Τότε το R είναι το βέλτιστο έσο αναενόενο όφελος Η βέλτιστη στρατηγική είναι εκείνη που για την κατάσταση, δίνει τη δράση d ( δ( ) ) του max όπου επιτυγχάνεται η τιή Και η εξίσωση πορεί να λυθεί είτε ε την έθοδο των προσεγγίσεων ε στρατηγικές είτε ε αξίες Παράδειγα Ας θεωρήσουε το αρχικό παράδειγα ε τις ηχανές Η προσέγγιση στρατηγικών προχωράει ως εξής : Ξεκινάε ε ια τυχαία αρχική στρατηγική ( ), δ ( ), ( 3) 3 δ δ Τότε C 5 5, 7, 5, δ, δ 5, 55

οπότε έχουε: R R + υ R + υ 3 5, 7 +, 5 5,, 5, υ υ3 R ' 53 5 υ' υ' 3 46 5 8 5 H νέα στρατηγική δ βρίσκεται βελτιστοποιώντας ως προς τα υ, υ3 : Αν είναι δ () η δράση όπου επιτυγχάνεται το 46 8 46 max 5 +, +,, 4 +,, max 5 5 5 άρα () δ { 3,53, 3,69, } Αν η ( ) δ βρίσκεται από το: 46 8 46 max 3 +,6 +,4, +,5, 5 5 5 άρα ( ) δ {,5,,467, } Άρα 4 C δ και 5, 9, 5, 5 δ, και R R + υ R + υ 3 4, 9 +, 5 5,, 5 υ υ3 R '' 3 υ'' υ' ' 3 3 6 3 Για να βρούε το δ () εξετάζουε το 56

6 max 5 +, +,, 4 +,, max 3 3 3 και άρα δ () ( ) δ { 3,47, 3,67, } ε τον ίδιο τρόπο επιβεβαιώνεται ότι δ ( ) ( ) και ( ) ( 3) 3 δ δ 3 δ Άρα η δ δ είναι η βέλτιστη στρατηγική και το βέλτιστο έσο όφελος είναι 3 57