ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ ΙΙ

ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ ΙΙ ΑΛΥΣΙΔΕΣ ΜΑΡΚΟΦ & ΕΦΑΡΜΟΓΕΣ Ν. ΔΕΡΒΑΚΟΥ Σημειώσεις Παραδόσεων Αθήνα 23

ΑΛΥΣΙΔΕΣ ΜΑΡΚΟΦ & ΕΦΑΡΜΟΓΕΣ Ι. ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΑΔΙΚΑΣΙΕΣ Ορισμός : Στοχαστική διαδικασία ή ανέλιξη είναι η διατεταγμένη σειρά τυχαίων μεταβλητών (τ.μ.) {Χ t }, όπου ο δείκτης t παίρνει τιμές από ένα σύνολο Τ, που ονομάζεται δεικτο-σύνολο (index set), δηλ. tt, και για κάθε tt, η Χ t παριστάνει ένα μετρήσιμο μέγεθος ή χαρακτηριστικό κάποιου συστήματος, διαδικασίας ή φαινομένου, όταν ο δείκτης έχει την τιμή t και η Χ t παίρνει τιμές σε ένα σύνολο Κ, που ονομάζεται σύνολο καταστάσεων (state sace), δηλ. Χ t Κ

Παράδειγμα Η στοχαστική διαδικασία {Χ, Χ 2, Χ 3,...} μπορεί να είναι το μοντέλο, δηλ. να παριστάνει την τιμή του αποθέματος ενός προϊόντος στο τέλος μιας ημέρας. Στην περίπτωση αυτή : το σύνολο Τ N*, δηλ. το t παίρνει τιμές {, 2, 3,...} που αντιστοιχούν στο τέλος της ης, 2 ης, 3 ης,... ημέρας το σύνολο Κ μπορεί να είναι είτε το N εάν η ποσότητα πώλησης του προϊόντος είναι διακριτή μεταβλητή (π.χ. αριθμήσιμα τεμάχια), είτε το R + εάν π.χ. η ποσότητα πώλησης του προϊόντος είναι συνεχής μεταβλητή (π.χ. κιλά, τόνοι, κλπ) 3

Ο δείκτης t κατά κανόνα παριστάνει χρόνο, αλλά είναι δυνατόν να αναπαριστά και άλλα μεγέθη. Π.χ. ο δείκτης t μπορεί να αναπαριστά απόσταση από ένα συγκεκριμένο σημείο, έστω, ενός αυτοκινητόδρομου και η X t να απαριθμεί το πλήθος των αυτοκινήτων στο διάστημα (, t] Σύμβαση : Στη συνέχεια θα θεωρούμε ότι ο δείκτης t παριστάνει χρόνο ή χρονικά σημεία Οι στοχαστικές διαδικασίες διακρίνονται ανάλογα : με το σύνολο καταστάσεων Κ, δηλ. με το είδος των τιμών που μπορούν να πάρουν οι τ.μ. Χ t, με το δεικτο-σύνολο Τ, δηλ. με το είδος των τιμών που μπορεί να πάρει ο δείκτης t, και με τη σχέση εξάρτησης μεταξύ των τ.μ. Χ t. Συγκεκριμένα : 4

Το σύνολο Τ μπορεί να είναι : είτε διακριτό (π.χ. το σύνολο των ακεραίων) είτε συνεχές (π.χ. το σύνολο των πραγματικών) Παρόμοια το σύνολο Κ μπορεί να είναι : είτε διακριτό (πεπερασμένο ή άπειρο αριθμητό) είτε συνεχές Έτσι, γενικά για μια στοχαστική διαδικασία μπορούμε να διακρίνουμε 4 περιπτώσεις : α) Διακριτός χρόνος, διακριτό σύνολο καταστάσεων β) Διακριτός χρόνος, συνεχές σύνολο καταστάσεων γ) Συνεχής χρόνος, διακριτό σύνολο καταστάσεων δ) Συνεχής χρόνος, συνεχές σύνολο καταστάσεων Θα ασχοληθούμε, κατά κύριο λόγο με την περίπτωση α) και κατά δεύτερο λόγο με την γ) δεδομένου ότι οι αλυσίδες Μαρκόφ αποτελούν ειδικές περιπτώσεις αυτών. 5

Παρατηρήσεις :. Τα χρονικά σημεία μπορεί να είναι ισαπέχοντα ή ανισοαπέχοντα 2. Οι καταστάσεις μιας στοχαστικής διαδικασίας μπορεί να συνιστούν ένα ποιοτικό όπως και ένα ποσοτικό χαρακτηριστικό 6

Παράδειγμα Κατάστημα φωτογραφικών ειδών Ένα κατάστημα πώλησης φωτογραφικών ειδών διατηρεί απόθεμα ενός είδους φωτογραφικής μηχανής (φ.μ.), κάνοντας νέες παραγγελίες στο τέλος κάθε εβδομάδας. Έστω : D, D 2,... : η ζήτηση κατά τη διάρκεια της ης, 2 ης,..., εβδομάδας αντίστοιχα. Υποθέτουμε ότι οι εβδομαδιαίες ζητήσεις είναι ανεξάρτητες τ.μ. με την ίδια γνωστή κατανομή πιθανότητας (αποτελούν δηλαδή ένα τυχαίο δείγμα). Έστω π.χ. ότι ακολουθούν κατανομή Poisson με παράμετρο λ= 7

Έστω : Χ : το πλήθος των φ.μ. στο κατάστημα στην αρχή των χρόνων Χ : το πλήθος (απόθεμα) των φ.μ. στο κατάστημα στο τέλος της ης εβδομάδας Χ 2 : το πλήθος (απόθεμα) των φ.μ. στο κατάστημα στο τέλος της 2 ης εβδομάδας,.... κλπ Υποθέτουμε ότι : Χ = 3 και το κατάστημα ακολουθεί πολιτική παραγγελιών (s, S) με s = (παραγγελία σε μηδενικό απόθεμα) και S = 3 (μέγιστο δυνατό απόθεμα) Άρα το μέγεθος της παραγγελίας Q είναι Q = 3 Χάνονται τυχόν πωλήσεις που δεν ικανοποιούνται Οι παραγγελίες ικανοποιούνται άμεσα 8

Η { Χ t }, t =,, 2,... είναι μια στοχαστική διαδικασία, διακριτού χρόνου. Σύνολο Καταστάσεων : Κ= {,, 2, 3} Σχέση εξάρτησης μεταξύ των τ.μ. Χ t : X t max[(3 Dt max[(x t D ), ], t ), ], αν αν X X t t Παραλλαγή Πολιτική (s, S) = (2, 3) με Q t = 3 φ.μ., αν Χ t = & Q t = 2 φ.μ., αν Χ t = 9

ΙΙ. ΑΛΥΣΙΔΕΣ ΜΑΡΚΟΦ ου ΒΑΘΜΟΥ Με δεδομένο ένα σύνολο καταστάσεων Κ, υποθέτουμε ότι : Η διαδικασία { Χ t } ξεκινά από κάποια κατάσταση (ή γεγονός) κ Κ, δηλ. Χ = κ Μεταβαίνει σε διαδοχικά βήματα από μια κατάσταση σε άλλη Μαρκοβιανή Ιδιότητα Μια στοχαστική διαδικασία { Χ t } έχει τη Μαρκοβιανή Ιδιότητα αν : Ρ{Χ t+ = j Χ = κ, Χ = κ,..., Χ t- = κ t-, Χ t = i } = = Ρ{Χ t+ = j Χ t = i }, για κάθε t =,, 2,... και κ, κ,..., κ t- Κ

Ερμηνεία Η Μαρκοβιανή Ιδιότητα είναι ισοδύναμη με την έκφραση ότι : «η υπό συνθήκη πιθανότητα να βρεθεί μελλοντικά η διαδικασία σε μια κατάσταση, όταν είναι γνωστές όλες οι καταστάσεις του παρελθόντος και η τωρινή κατάστασή της, είναι ανεξάρτητη της παρελθούσης ιστορίας της και εξαρτάται μόνο από την τωρινή κατάστασή της» (Διαδικασία χωρίς μνήμη) Διαδικασία Μαρκόφ λέγεται μια στοχαστική διαδικασία { Χ t } που έχει τη Μαρκοβιανή Ιδιότητα Αλυσίδα Μαρκόφ λέγεται μια στοχαστική διαδικασία { Χ t } που έχει τη Μαρκοβιανή Ιδιότητα και διακριτό σύνολο καταστάσεων Κ

Ομογενείς & Μη-ομογενείς Αλυσίδες Μαρκόφ Οι υπό συνθήκη πιθανότητες Ρ{Χ t+ = j Χ t = i }, t =,,... ονομάζονται πιθανότητες μετάβασης (transition robabilities) ης τάξης και στη γενική περίπτωση εξαρτώνται από το χρόνο t Εάν οι πιθανότητες μετάβασης εξαρτώνται από τον χρόνο t, τότε ονομάζονται μη-ομογενείς και έχουμε μη-ομογενή αλυσίδα Μαρκόφ Εάν οι πιθανότητες μετάβασης είναι ανεξάρτητες του χρόνου t, δηλ. εάν για κάθε i, j ισχύει : Ρ{Χ t+ = j Χ t = i } = Ρ{Χ = j Χ = i } ij, για κάθε t τότε έχουμε ομογενείς (ή στάσιμες) πιθανότητες μετάβασης και ομογενή αλυσίδα Μαρκόφ Θα ασχοληθούμε μόνον με ομογενείς αλυσίδες Μαρκόφ 2

Χωρίς βλάβη της γενικότητας, θεωρούμε στη συνέχεια ότι Κ= {,, 2,..., Μ} Πιθανότητες Μετάβασης Ανωτέρας Τάξης Στις ομογενείς Αλυσίδες Μαρκόφ, για κάθε i, j K και n N*, ισχύει προφανώς η σχέση : Ρ{Χ t+n = j Χ t = i } = Ρ{Χ n = j Χ = i } (n ) i j, για κάθε t (n ) i j Οι υπό συνθήκη (δεσμευμένες) πιθανότητες : ονομάζονται πιθανότητες μετάβασης n-οστής τάξης ή πιθανότητες μετάβασης n βημάτων εκφράζουν την πιθανότητα «η διαδικασία ξεκινώντας από την κατάσταση i, να βρεθεί στην κατάσταση j μετά από n βήματα» 3

(n ) i j Οι ικανοποιούν τις σχέσεις : (n ) i j M (n ) i j j, για κάθε i, j =,,..., M και nn, για κάθε i =,,..., M και nn Πίνακας (Μήτρα) Πιθανότητων Μετάβασης P (n) P (n) M (n ) (n ) (n ) M (n ) (n ) (n ) M M (n ) M (n ) M (n ) MM, (M+)x(M+) Σύμβαση : P () P και ( ) i j i j 4

Ομογενής Πεπερασμένη Αλυσίδα Μαρκόφ ου Βαθμού Είναι μια στοχαστική διαδικασία { Χ t } με διακριτά σύνολα χρόνων και καταστάσεων, για την οποία ισχύουν :. Οι πιθανότητες μετάβασης είναι ομογενείς (στάσιμες) 2. Το πλήθος των καταστάσεων είναι πεπερασμένο 3. Η Μαρκοβιανή Ιδιότητα 4. Υπάρχει ένα σύνολο (απόλυτων) πιθανοτήτων αρχικών συνθηκών P{ X = i }, για όλα τα i. 5

Ομογενής Πεπερασμένη Αλυσίδα Μαρκόφ ν οστου Βαθμού Ισχύουν οι παραπάνω συνθήκες, μόνο που η Μαρκοβιανή Ιδιότητα διατυπώνεται ως εξής : Ρ{Χ t = j Χ = κ, Χ = κ,..., Χ t-2 = κ t-2, Χ t- = κ t- } = = Ρ{Χ t = j Χ t-ν = κ t-ν, Χ t-(ν-) = κ t-(ν-),..., Χ t- = κ t- }, για κάθε t =, 2,... και κ, κ,..., κ t- Κ Ερμηνεία «η υπό συνθήκη πιθανότητα να βρεθεί η διαδικασία στην κατάσταση j τη χρονική στιγμή t, όταν είναι γνωστές όλες οι προηγούμενες καταστάσεις της, εξαρτάται μόνο από τις καταστάσεις στις οποίες βρισκόταν η διαδικασία τις ν προηγούμενες χρονικές στιγμές, νn και ν t» Θα ασχοληθούμε μόνον με αλυσίδες Μαρκόφ ου Βαθμού 6

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Η στοχαστική διαδικασία { Χ t }, που εκφράζει το πλήθος (απόθεμα) φ.μ. στο κατάστημα στο τέλος της t-εβδομάδας, είναι μία ομογενής, πεπερασμένη αλυσίδα Μαρκόφ ου βαθμού. Υπενθύμιση : Η τ.μ. D t (ζήτηση) ακολουθεί κατανομή Poisson με παράμετρο λ=. Προσδιορισμός των πιθανοτήτων ης μετάβασης, δηλ. του πίνακα : P [ ij ] 2 3 2 3 2 2 22 32 3 3 23 33 7

= P{ X t = X t- = } Αν X t- = Χ t = max {(3 D t ), } Για να ισχύει Χ t = πρέπει D t 3 Άρα = P{ D t 3 } = P{ D t = } P{ D t = } P{ D t =2 } 2 e e e 2,5e,8!! 2! = P{ X t = X t- = } Αν X t- = Χ t = max {( D t ), } Για να ισχύει Χ t = πρέπει D t Άρα = P{D t } = P{D t =} e e,632 2 = P{ X t = X t- = 2 } Αν X t- = 2 Χ t = max {(2 D t ), } Για να ισχύει Χ t = πρέπει D t = Άρα 2 = P{ D t = } e e,368!! 8

Συνεχίζοντας ομοίως, βρίσκουμε τελικώς : P [ ij ],8,632,264,8,84,368,368,84,368,368,368,368,368 9

ΙΙI. ΕΞΙΣΩΣΕΙΣ ΤΩΝ CHAPMAN KOLMOGOROV Οι εξισώσεις αυτές παρέχουν μια μέθοδο υπολογισμού των (n ) πιθανοτήτων μετάβασης n-τάξης, i και διατυπώνονται ως j εξής : Για κάθε i, j, n και v n, ισχύει : M (n) (v)(nv) (v)(nv) (v)(nv) (v)(nv) i j ik k j i j i j im Mj () k Ερμηνεία «η υπό συνθήκη πιθανότητα η διαδικασία, ξεκινώντας από την κατάσταση i, να βρεθεί στην κατάσταση j μετά από n βήματα, είναι ακριβώς η υπό συνθήκη πιθανότητα η διαδικασία, ξεκινώντας από την κατάσταση i, να μεταβεί σε κάποια κατάσταση k μετά από v βήματα και από εκεί στην κατάσταση j σε n v βήματα» 2

Ειδικές Περιπτώσεις : α. Για κάθε i, j, n και για v =, ισχύει : (n) i j M k [ i ik, i (n) k j,, ] [, (n) j (n) j (n) j β. Για κάθε i, j, n και για v = n, ισχύει : (n) i j M k (n-) ik k j im i (n) j (n-) i j i,, (n-) i j ] (n) T M j (n-) (n-) (n-) [ i, i,,im ] [ j, j,, M j γ. Για κάθε i, j και για n=2, ισχύει : (2) i j M k ik k j i j i j [ i, i,,im] [ j, j,, M j T ] im T ] im (n) M j (n-) im M j M j (2) (3) (4) 2

Παρατηρούμε ότι οι παραπάνω σχέσεις (), (2), (3) και (4) είναι αντιστοίχως ισοδύναμες με τις : P (n) = P (v) P (n-v) ( ) P (n) = PP (n-) (2 ) P (n) = P (n-) P (3 ) P (2) = PP = P 2 (4 ) Ισχύει δηλαδή γενικά : P (n) = P n, για κάθε nn 22

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Ο Πίνακας μετάβασης 2 σταδίων (βημάτων) είναι : P ( 2 ) P 2,8,632,264,8,84,368,368,84,8,632,264,8,368,368,368,84,368,368,84,368,368,368,368,368,368,368 23

P ( 2 ),249,283,35,249,286,252,39,286,3,233,233,3,65,233,97,65 Έτσι, π.χ. Εάν υπάρχει απόθεμα φ.μ. στο τέλος μιας εβδομάδας, η πιθανότητα να μην υπάρχει καμία φ.μ. μετά από 2 εβδομάδες (2) είναι,283, Εάν υπάρχει απόθεμα 2 φ.μ. στο τέλος μιας εβδομάδας, η πιθανότητα να υπάρχουν 3 φ.μ. μετά από 2 εβδομάδες είναι (2) 23,97, κλπ 24

Παρομοίως, Πίνακας μετάβασης 4 σταδίων (βημάτων) είναι :,249,286,3,65 ( 4 ) ( 2 ) ( 2 ),283,252,233,233 P P P,35,39,233,97,249,286,3,65,249,286,3,65,283,252,233,233,35,39,233,97,249,286,3,65 25

P ( 4 ),289,282,284,289,286,285,283,286,26,268,263,26,64,66,7,64 Έτσι, π.χ. Εάν υπάρχει απόθεμα φ.μ. στο τέλος μιας εβδομάδας, η πιθανότητα να μην υπάρχει καμία φ.μ. μετά από 4 εβδομάδες (4) είναι,282 26

Απόλυτη Πιθανότητα να βρίσκεται η διαδικασία στην κατάσταση j μετά από n βήματα. Ζητάμε απόλυτες και όχι υπό συνθήκη (δεσμευμένες) πιθανότητες, όπως είναι οι πιθανότητες μετάβασης. Δηλαδή, έστω (n) j P{X n j }, για κάθε j =,, 2,..., Μ Για τον υπολογισμό τους είναι αναγκαία η γνώση της κατανομής πιθανότητας των αρχικών καταστάσεων (αρχικές συνθήκες), δηλαδή των πιθανοτήτων : () i P{X i }, για κάθε i,,2,...,m Τότε, για κάθε j =,, 2,..., Μ, ισχύει : (n) j P{X n j } ()(n) j M i ()(n) i ij ()(n) j ()(n) M Mj 27

Οι παραπάνω σχέσεις μπορούν να γραφούν συνοπτικά σε μορφή πινάκων Πράγματι, εάν ορίσουμε : ( ) () () (),,, M, το διάνυσμα των αρχικών συνθηκών (n ) (n) (n) (n),,, M, το διάνυσμα των απόλυτων πιθανοτήτων P, τον πίνακα πιθανοτήτων ης μετάβασης Τότε ισχύει : (n ) ( ) P (n ) ( ) P n 28

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Έστω ότι ζητείται η (απόλυτη) πιθανότητα να υπάρχουν 3 φ.μ απόθεμα μετά από 2 εβδομάδες, δηλ. η (2) 3 Έχει υποτεθεί ότι αρχικά υπάρχουν 3 φ.μ. ως απόθεμα, δηλ. Χ = 3. Άρα : () () () () 2 και 3 (2) ()(2) Επομένως : P{X 3},65,65 3 2 3 33 () () () () Εναλλακτικά, εάν δινόταν ότι 2 3 /4 θα είχαμε : (2) 3 ()(2) 3 ()(2) 3 (/4),65 (/4),233 (/4),97 (/4),65 ()(2) 2 23 ()(2) 3 33,65 29

ΙV. ΧΡΟΝΟΙ ΠΡΩΤΗΣ ΔΙΕΛΕΥΣΗΣ Ορισμοί: Χρόνος πρώτης διέλευσης από την κατάσταση j ξεκινώντας από την κατάσταση i, έστω T ij, είναι το πλήθος βημάτων (σταδίων) που απαιτούνται για τη μετάβαση της διαδικασίας από την κατάσταση i στην κατάσταση j για πρώτη φορά. Χρόνος επαναλήψεως (recurrence time) της κατάστασης i, έστω Τ ii, είναι το πλήθος βημάτων (σταδίων) που απαιτούνται για να επιστρέψει η διαδικασία (για πρώτη φορά) στην αρχική κατάσταση i. Δηλ. είναι ο χρόνος πρώτης διέλευσης για j=i. Γενικά, οι χρόνοι πρώτης διέλευσης είναι τυχαίες μεταβλητές. Μας ενδιαφέρουν κυρίως οι κατανομές πιθανοτήτων που μπορούμε να ορίσουμε για αυτούς. Συγκεκριμένα : 3

Έστω (n) fij P{T ij n } (n) δηλ. f ij είναι η πιθανότητα ο χρόνος πρώτης διέλευσης από την κατάσταση j ξεκινώντας από την κατάσταση i να είναι ακριβώς n βήματα. Οι πιθανότητες πρώτης διέλευσης υπολογίζονται επαγωγικά από τις πιθανότητες μετάβασης, αφού εύκολα αποδεικνύεται ότι ισχύουν : f () i j f (2) i j f (3) i j () i j (2) i j (3) i j f f i j () i j jj ()(2) i j jj f (2) ij (2) i j j j ij jj f (n) i j (n) i j f ()(n-) i j j j f (2)(n-2) i j j j f (n-) i j j j 3

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Ενδεικτικά υπολογίζουμε : () f 3 3,8 (2) f (2) () 3 3 f3,249-,8,8,243 κλπ Κατάταξη καταστάσεων (n) Για κάθε i, j και για τις πιθανότητες f ij ισχύουν : f (n),(προφανώς ) n f ij (n) ij Η δεύτερη σχέση εκφράζει το γεγονός ότι η διαδικασία ξεκινώντας από την κατάσταση i μπορεί να μην επισκεφτεί ποτέ την κατάσταση j 32

Εάν i = j και εάν επιπλέον n n f (n) ii f (n) ii,, τότε η κατάσταση i λέγεται μεταβατική ή παροδική (transient state) τότε η κατάσταση i λέγεται επαναληπτική (recurrent state) ii, τότε η κατάσταση i λέγεται απορροφητική (absorbing state) [ειδική περίπτωση επαναληπτικής] Οι παραπάνω σχέσεις αποτελούν ένα θεωρητικό Κριτήριο για την κατάταξη των καταστάσεων το οποίο όμως είναι πρακτικώς δύσκολο να εφαρμοστεί 33

Άλλος Τρόπος - Παράδειγμα /4 3/4 /2 /2 Έστω P 2 3 /3 2/3 4 3/4 /4 /2 /2 4 3 /3 2 2/3 Καταστάσεις :, :επαναληπτικές (κάθε τόξο που ξεκινά από μία από αυτές, ανήκει σε κύκλο που την περιέχει) 2 : απορροφητική (το μόνο τόξο που ξεκινά από αυτή καταλήγει στη ίδια) 3, 4 : μεταβατικές (υπάρχει τόξο που ξεκινά από κάθε μία από αυτές, και δεν ανήκει σε κύκλο που την περιέχει) 34

Αναμενόμενες τιμές των χρόνων πρώτης διέλευσης από την κατάσταση j ξεκινώντας από την κατάσταση i. μ ij, nf n, (n) ij εάν εάν n n f f (n) ij (n) ij Εάν i=j, προκύπτει το μ ii δηλ. ο αναμενόμενος χρόνος επαναλήψεως της κατάστασης i. Εάν n f εξίσωση : (n) ij, τότε τα μ ij ικανοποιούν μονοσήμαντα την μ i j kj ik μ k j 35

36 Απόδειξη Έχουμε : kj ik k j j i j i ) μ ( μ j k ik k j j k ik j i j i μ μ j k ik k j k ik j i μ μ j k ik k j j i μ μ

Περαιτέρω Κατάταξη Επαναληπτικών καταστάσεων Εάν η κατάσταση i είναι επαναληπτική και επιπλέον μ ii <, τότε ονομάζεται θετική επαναληπτική (ositive recurrent state) μ ii =, τότε ονομάζεται μηδενική επαναληπτική (null recurrent state) Σε μια αλυσίδα Μαρκόφ πεπερασμένου αριθμού καταστάσεων, υπάρχουν μόνον θετικές επαναληπτικές και παροδικές (μεταβατικές) καταστάσεις και ποτέ μηδενικά επαναληπτικές 37

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Έστω ότι ζητείται η αναμενόμενη τιμή του χρόνου μέχρι να έχουμε για πρώτη φορά μηδενικό απόθεμα (ξεκινώντας αρχικά με 3 φ.μ.), δηλ το μ 3. Επειδή όλες οι καταστάσεις είναι επαναληπτικές ισχύουν : μ 3 = + 3 μ + 32 μ 2 + 33 μ 3 μ 2 = + 2 μ + 22 μ 2 + 23 μ 3 μ = + μ + 2 μ 2 + 3 μ 3 ή μ 3 = +,84μ +,368μ 2 +,368μ 3 μ 2 = +,368μ +,368μ 2 μ 3 = +,368μ Σύστημα 3x3 με λύση : μ =,58 εβδ., μ 2 =2,5 εβδ., μ 3 =3,5 εβδομάδες. 38

V. ΑΛΛΕΣ ΚΑΤΑΤΑΞΕΙΣ ΚΑΤΑΣΤΑΣΕΩΝ ΜΙΑΣ ΑΛΥΣΙΔΑΣ ΜΑΡΚΟΦ Μια κατάσταση j είναι προσιτή από μία κατάσταση i, εάν υπάρχει n, τέτοιο ώστε (n) i j Εάν μια κατάσταση j είναι προσιτή από μια κατάσταση i και επιπλέον η κατάσταση i είναι προσιτή από την j, τότε λέμε ότι οι καταστάσεις i και j επικοινωνούν. Ικανή και Αναγκαία συνθήκη για να επικοινωνούν όλες οι καταστάσεις μεταξύ τους είναι να υπάρχει ένα n ανεξάρτητο από τα i και j για το οποίο (n), για όλα τα i, j i j 39

Ισχύουν οι ακόλουθες Ιδιότητες :. Κάθε κατάσταση επικοινωνεί με τον εαυτό της, αφού (αναγωγική ιδιότητα) 2. Εάν η κατάσταση i επικοινωνεί με την κατάσταση j, τότε και η j επικοινωνεί με την i (συμμετρική ιδιότητα) () ii 3. Εάν η κατάσταση i επικοινωνεί με την κατάσταση j και η κατάσταση j επικοινωνεί με την κατάσταση k, τότε και η i επικοινωνεί με την k (μεταβατική ιδιότητα) Άρα : η σχέση «επικοινωνίας» είναι σχέση ισοδυναμίας το σύνολο των καταστάσεων μιας αλυσίδας Μαρκόφ μπορεί να χωρισθεί σε υποσύνολα ισοδυναμίας που ονομάζονται κλάσεις κάθε κλάση αποτελείται από καταστάσεις που επικοινωνούν μεταξύ τους 4

Μια αλυσίδα Μαρκόφ που αποτελείται από μία μόνον κλάση, δηλ. που όλες οι καταστάσεις της επικοινωνούν μεταξύ τους, ονομάζεται μη-απλουστεύσιμη ή απλή αλυσίδα Μαρκόφ Σε μια πεπερασμένου πλήθους καταστάσεων αλυσίδα Μαρκόφ, τα μέλη μιας κλάσης : είτε είναι όλες παροδικές (μεταβατικές) καταστάσεις, οπότε η κλάση λέγεται παροδική (μεταβατική) είτε είναι όλες θετικές επαναληπτικές καταστάσεις, οπότε η κλάση λέγεται τελική Οι μη-απλουστεύσιμες, πεπερασμένου πλήθους καταστάσεων αλυσίδες Μαρκόφ, περιλαμβάνουν μόνον θετικές επαναληπτικές καταστάσεις 4

Εναλλακτικό Κριτήριο για τον προσδιορισμό επαναληπτικών καταστάσεων Εάν υπάρχει ένα n ανεξάρτητο από τα i και j για το οποίο (n) i j, για όλα τα i, j, τότε όλες οι καταστάσεις επικοινωνούν μεταξύ τους και είναι θετικές επαναληπτικές Παρατηρήσεις : Εάν i, j είναι δύο επαναληπτικές καταστάσεις που ανήκουν σε διαφορετικές τελικές κλάσεις, τότε (n) i j για κάθε n. (Άμεση συνέπεια του ορισμού της τελικής κλάσης) Εάν j είναι μια παροδική κατάσταση τότε : lim (n) n i j 42

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Στο παράδειγμα αυτό : όλες (και οι 4) καταστάσεις επικοινωνούν μεταξύ τους, αφού (2) για όλα τα i και j, i j η αλυσίδα Μαρκόφ είναι μη-απλουστεύσιμη, όλες οι καταστάσεις είναι θετικά επαναληπτικές (μία τελική κλάση) 43

Περιοδικότητα Καταστάσεων Μια κατάσταση i ονομάζεται περιοδική με περίοδο t >, εάν ο ΜΚΔ του συνόλου των n, τέτοιων ώστε (n) ii, είναι ίσος με t>. Μια κατάσταση i ονομάζεται απεριοδική, εάν ο ΜΚΔ του συνόλου των n, τέτοιων ώστε (n), είναι ίσος με t=. Εάν μια κατάσταση σε μια κλάση είναι απεριοδική, τότε όλες οι καταστάσεις της κλάσης αυτής είναι απεριοδικές Οι θετικές επαναληπτικές καταστάσεις που είναι επιπλέον και απεριοδικές,ονομάζονται εργοδικές Αν όλες οι καταστάσεις μιας αλυσίδας Μαρκόφ είναι εργοδικές, η αλυσίδα Μαρκόφ λέγεται εργοδική ii 44

45 Παραδείγματα Ι. Έστω P, 2 P P 3 P, κλπ, P P 2 4 Περιοδικές καταστάσεις με t=2

46 ΙΙ. Έστω P, 2 P, 3 P κλπ, P 4 P Περιοδικές καταστάσεις με t=3 2

VII. ΠΙΘΑΝΟΤΗΤΕΣ ΣΤΑΘΕΡΗΣ ΚΑΤΑΣΤΑΣΗΣ (Steady-state robabilities) Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Υπολογίζοντας τις πιθανότητες μετάβασης 8 ης τάξης, διαπιστώνουμε ότι : P 8 P ( 4 ) P ( 4 ),285,285,285,285,285,285,285,285,264,264,264,264,66,66,66,66 Δηλ. οι γραμμές του πίνακα είναι ίδιες, γεγονός που σημαίνει ότι η πιθανότητα να βρίσκεται η διαδικασία στη κατάσταση j μετά από 8 εβδομάδες, είναι ανεξάρτητη της αρχικής κατάστασης 47

Για μία εργοδική αλυσίδα Μαρκόφ, αποδεικνύεται ότι (n) υπάρχει το lim και είναι ανεξάρτητο του i. n Δηλ. αποδεικνύεται ότι ισχύει : i j lim n (n) i j π όπου τα π j ικανοποιούν μονοσήμαντα τις παρακάτω εξισώσεις σταθερής κατάστασης : π π j M j j π j M i π i ij, j,,...,m j σε μορφή πινάκων π, όπου π (π j ) π π P, M π j, j,,...,m j 48

Τα π j ονομάζονται πιθανότητες σταθερής (ή μόνιμης) κατάστασης της αλυσίδας Μαρκόφ, και ισχύει : π j, j,,...,m μj j Παρατηρήσεις : (n) Για περισσότερες από μία τελικές κλάσεις το limij εξαρτάται n από τις αρχικές συνθήκες Οι εξισώσεις σταθερής κατάστασης είναι (Μ+2)-το-πλήθος, ενώ οι άγνωστες πιθανότητες είναι (Μ+)-το πλήθος. Άρα μία εξίσωση πλεονάζει. M Προφανώς όχι η π Τα π j μπορούν να ερμηνευθούν και ως στάσιμες πιθανότητες, με την έννοια ότι : Αν () j P{X τότε j}π, j (n) j j για κάθε P{X n j j j}π, n, 2,... j 49

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Από τις εξισώσεις σταθερής κατάστασης έχουμε : π π P π π π2 π3 (π,π,π 2,π3 π π π2 )(π π 3,π,π 2,π 3,8,632 ),264,8,84,368,368,84,368,368,368,368,368 5

π π π π 2 3,8π,632π,368π,368π π π π 2 3,264π,368π 2 2,8π,368π,368π 3 3 3 (π,π,π2,π3 )(,285,,285,,264,,66) Αντίστοιχα, για τους μέσους χρόνους επαναλήψεως των καταστάσεων ισχύει : μ μ μ μ 22 33 (π (π (π (π ) 3,5 εβδομάδες ) 3,5 εβδομάδες 2 3 ) 3,79 ) 6,2 εβδομάδες εβδομάδες 5

VIII. ANAMENOMENO ΜΕΣΟ ΚΟΣΤΟΣ ΑΝΑ ΜΟΝΑΔΑ ΧΡΟΝΟΥ ή ANAMENOMENO ΜΕΣΟ ΜΟΝΑΔΙΑΙΟ ΚΟΣΤΟΣ (ΑΜΜΚ) Στην προηγούμενη παράγραφο είδαμε ότι σε μία εργοδική (θετικές επαναληπτικές και απεριοδικές καταστάσεις) (n) αλυσίδα Μαρκόφ, αποδεικνύεται ότι υπάρχει το limij και n είναι ανεξάρτητο του i. Εάν αγνοηθεί η απαίτηση για απεριοδικές καταστάσεις το (n) limij μπορεί να μην υπάρχει. n Ωστόσο υπάρχει πάντοτε το ακόλουθο όριο : lim n n n k (k) i j όπου π j οι πιθανότητες σταθερής κατάστασης π j 52

Παράδειγμα Έστω P Περιοδικές καταστάσεις με t = 2, αν n περιττός Έστω (), τότε : (n), αν n άρτιος Άρα δεν υπάρχει (n) το lim, αν Xk n Θέτουμε : I (k ), αν Xk Έχουμε : E[Ι ( k )] = P(X k =) + P(X k =) = ()(k) = Άρα : lim n n lim n E n k n (k) n k [ I lim n n (k)] n k 2 E [ I( k)] π (k) 53

Έστω C(X t ) : το κόστος όταν η διαδικασία βρίσκεται στην κατάσταση X t τον χρόνο t, t =,, 2,... C(X t ) : τυχαία μεταβλητή που μπορεί να πάρει τις τιμές C(j) = {C(), C(),..., C(M)}, ανεξάρτητα του t. Αποδεικνύεται ότι ισχύει : Αναμενόμενο Μέσο Μοναδιαίο Κόστος AMMK lim n E n n t C(X t ) M j C(j )π(j ) Η πιθανότητα π j εκφράζει επίσης : o την αναμενόμενη τιμή του ποσοστού του χρόνου που η διαδικασία βρίσκεται στην κατάσταση j o την αναμενόμενη τιμή του ποσοστού των βημάτων (σταδίων) που οδηγούν στην κατάσταση j 54

Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Θεωρούμε ότι υπάρχει κάποιο κλιμακούμενο κόστος όταν υπάρχουν φ.μ. στο κατάστημα στο τέλος της εβδομάδας. Δηλ. έστω : Αν X t = C()= Αν X t = C()=2 Αν X t =2 C(2)=6 Αν X t =3 C(3)=2 Τότε : n M AMMK lime C(X t ) C(j )π(j ) n n t j =x,285 + 2x,285 + 6x,264 + 2x,66 = 4,5 Εναλλακτικά εάν είχαμε C(j)=2j, για j=,, 2, 3, τότε : ΑΜΜΚ =x,285 + 2x,285 + 4x,264 + 6x,66 = 2,422 55

IX. ANAMENOMENO ΜΕΣΟ ΜΟΝΑΔΙΑΙΟ ΚΟΣΤΟΣ ΠΙΟ ΣΥΝΘΕΤΗΣ ΣΥΝΑΡΤΗΣΗΣ ΚΟΣΤΟΥΣ Παράδειγμα Κατάστημα φωτογραφικών ειδών (συνέχεια) Έστω ότι λαμβάνουμε υπόψη (μόνον) το κόστος παραγγελίας και το κόστος μη-ικανοποίησης της ζήτησης Δηλ. ισχύει C(X t-, D t ) Λαμβάνοντας υπόψη την ανεξαρτησία των τ.μ., αποδεικνύεται ότι ισχύει : AMMK lim n E n n t όπου k( j ) = E {C(j, D t )} C(X t-,d t ) M j k(j )π(j ) 56

Θεωρούμε κόστος παραγγελίας : +5z, αν παραγγελθούν z > φ.μ. και κόστος για κάθε (μία) μη-ικανοποίηση ζήτησης : 5 χ.μ. Έτσι παίρνουμε τη συνάρτηση κόστους : C(X t-,d t ) 53 5max[(D t - 3), 5max[(D t - X t- ), ], ], αν αν X X t- t- Επομένως έχουμε : C(, D t ) = 6 + 5 max {(D t 3), } και k() = E[C(, D t )] = 6 + 5 E[max {(D t 3), }] = = 6 + 5 [ P D (4) + 2P D (5) + 3P D (6) +... ] =6,2 57

Παρατήρηση : Στην απόδειξη χρησιμοποιήσαμε τη σχέση P D (4) + 2P D (5) + 3P D (6) +... = n4 (n 3)P(n) D n4 np(n) 3 D n4 P(n) = [λ - P D () - P D () - 2P D (2) - 3P D (3)] -3[ - P D () - P D () - P D (2) - P D (3)] = = -P D ()-2P D (2)-3P D (3)-3+3P D ()+3P D ()+3P D (2)+3P D (3) = = -2 + 3P D () + 2P D () + P D (2) = = -2 + 3 e - + 2e - + (/2)e - =,233 Ομοίως βρίσκουμε : D 58

k() = E[C(, D t )] = 5 E[max {(D t ), }] = = 5 [ P D (2) + 2P D (3) + 3P D (4) +... ] =8,4 k(2) = E[C(2, D t )] = 5 E[max {(D t 2), }] = = 5 [ P D (3) + 2P D (4) + 3P D (5) +... ] = 5,2 k(3) = E[C(3, D t )] = 5 E[max {(D t 3), }] = = 5 [ P D (4) + 2P D (5) + 3P D (6) +... ] =,2 Άρα τελικώς : AMMK k(j 3 j )π(j ) =6,2x,285 + 8,4x,285 + 5,2x,264 +,2x,66 = 47,96 59

Άσκηση : Να υπολογίσετε το ΑΜΜΚ εάν υπάρχει πρόσθετο κόστος αποθέματος, C(X t- ) = 5j Υπόδειξη: Ισχύει C(X t-,d t 6 5max([ D ) 5max([ Dt - X t- t -3), ] 5max([,)] 5max([ X t- 3 -D -D t t,)],,)], αν X αν X t- t- 6

X. ΠΡΟΒΛΗΜΑ ΑΝΤΙΚΑΤΑΣΤΑΣΕΩΣ Μια μονάδα επιθεωρείται σε διαδοχικές ισαπέχουσες χρονικές στιγμές και κατατάσσεται σε μια από τις ακόλουθες καταστάσεις: : η μονάδα είναι καινούργια ή «2»: λειτουργεί μεν, αλλά έχει υποστεί βλάβη «3» : δεν λειτουργεί Όταν αντικαθιστούμε τη μονάδα, η λειτουργία της σταματά για ένα χρονικό διάστημα και υπάρχει κάποιο συνολικό κόστος αντικατάστασης. Ορίζουμε τη στοχαστική διαδικασία Χ t : {η κατάσταση στην οποία βρίσκεται η χρησιμοποιούμενη μονάδα τη χρονική στιγμή t} 6

62 ΠΟΛΙΤΙΚΗ Α : Η μονάδα αντικαθίσταται μόνον όταν πάψει να λειτουργεί (κατάσταση 3), με μοναδιαίο κόστος 2 χ.μ. Υποθέτουμε ότι η {X t } είναι μια Αλυσίδα Μαρκόφ με τον ακόλουθο πίνακα πιθανοτήτων μετάβασης 3 2 3 2 /2 /2 /4 3/4 /8 7/8 P π π π π 3 2 P π π Από τις εξισώσεις σταθερής κατάστασης έχουμε :

π π π π 3 7/8π π π 3/4π 2 π 3 /2π 2 π 3 (π,π,π2,π3 )(2/5, 7/5, 4/5, 2/5) Άρα : n 3 AMMK lime C(X t ) C(j )π(j ) n n t j =xπ + xπ + xπ 2 + 2xπ 3 = 2(2/5) = 26,67 χ.μ. 63

ΠΟΛΙΤΙΚΗ Β : Η μονάδα αντικαθίσταται όταν είναι είτε στην κατάσταση 3, με μοναδιαίο κόστος 2 χ.μ., είτε στις καταστάσεις ή 2, με μοναδιαίο κόστος χ.μ., Τότε : P 2 3 7/8 2 /8 3 Καταστάσεις,, 2 : Περιοδικές με t=2 Κατάσταση 3 : Μεταβατική (π,π,π2,π3 )(/2, 7/6, /6, ) ΑΜΜΚ : (7/6)x + (/6)x = 5 χ.μ. 64

ΠΟΛΙΤΙΚΗ Γ : Η μονάδα αντικαθίσταται όταν είναι είτε στην κατάσταση 3, με μοναδιαίο κόστος 2 χ.μ., είτε στην κατάσταση 2, με μοναδιαίο κόστος χ.μ., Τότε : P 2 3 7/8 3/4 2 /8 /4 3 (π,π,π2,π3 )(2/, 7/, 2/, ) ΑΜΜΚ : (2/)x = 8,6 χ.μ. 65

XΙ. ΕΦΑΡΜΟΓΕΣ Α. Μονοδιάστατος Τυχαίος Περίπατος (one-dimensional random walk) Ένας μονοδιάστατος τυχαίος περίπατος είναι μία αλυσίδα Μαρκόφ με χώρο καταστάσεων ένα είτε πεπερασμένο είτε αριθμήσιμο υποσύνολο των ακεραίων στην οποία εάν ένα σωματίδιο βρίσκεται στην κατάσταση i, μπορεί στην επόμενη (απλή) μετάβασή του είτε να παραμείνει στην κατάσταση i είτε να μετακινηθεί σε μία από τις γειτονικές καταστάσεις i- ή i+ O χαρακτηρισμός «τυχαίος περίπατος» φαίνεται κατάλληλος καθώς μία πραγματοποίηση της διαδικασίας περιγράφει το μονοπάτι που ακολουθεί ένα («μεθυσμένο») άτομο το οποίο κινείται τυχαία κάνοντας είτε ένα βήμα μπροστά είτε ένα βήμα πίσω. 66

67 Εάν ο χώρος καταστάσεων περιορισθεί στους φυσικούς (μη-αρνητικούς ακέραιους) αριθμούς, ο πίνακας πιθανοτήτων πρώτης μετάβασης έχει την ακόλουθη μορφή : i i i 2 i 2 r q r q r q r P i i i 2 2 Όπου : i >, q i >, r i και i + q i + r i = για i =, 2,... ενώ, r και + r =

Το ποσό των χρημάτων ενός παίκτη που συμμετέχει σε τυχερό παίγνιο, περιγράφεται από έναν μονοδιάστατο τυχαίο περίπατο. Συγκεκριμένα θεωρείστε ότι ένας παίκτης Α με ποσό Κ χ.μ., παίζει ενάντια σε έναν απείρως πλούσιο αντίπαλο (π.χ. καζίνο) και ότι σε κάθε «γύρο» του παιγνιδιού με πιθανότητα K > κερδίζει χ.μ., ενώ με πιθανότητα q K = K χάνει χ.μ. Προφανώς r i =, i=, 2,... και r = Η διαδικασία Χ n που εκφράζει το χρηματικό ποσό του παίκτη Α μετά από n «γύρους» του παιγνιδιού, είναι τυχαίος περίπατος Η κατάσταση είναι απορροφητική και το γεγονός να φθάσει η διαδικασία στην κατάσταση είναι γνωστό ως «καταστροφή παίκτη/ gambler s ruin» 68

Εάν θεωρήσουμε ότι ένας παίκτης Α με αρχικό ποσό Κ χ.μ., παίζει (με τις προηγούμενες υποθέσεις) ενάντια σε έναν αντίπαλο Β με αρχικό ποσό Λ χ.μ (όπου Κ+Λ=Ν), τότε η διαδικασία Χ n που εκφράζει το χρηματικό ποσό του παίκτη Α μετά από n «γύρους» του παιγνιδιού, είναι τυχαίος περίπατος με πεπερασμένο χώρο καταστάσεων {,, 2,..., Ν} με δύο απορροφητικές καταστάσεις τις και «Ν» Η τ.μ. Ν Χ n εκφράζει το χρηματικό ποσό του παίκτη Β μετά από n «γύρους» του παιγνιδιού Διδιάστατος τυχαίος περίπατος Τριδιάστατος τυχαίος περίπατος 69

B. Ροή επιτυχιών (Success runs) Έστω μια ακολουθία δοκιμών Bernoulli με πιθανότητα επιτυχίας και αποτυχίας q =. Έστω Χ = και Χ n =, αν η n-οστη δοκιμή είναι αποτυχία Χ n = κ, αν η τελευταία αποτυχία συνέβη στην n-κ δοκιμή για κ=, 2,..., n και n =, 2,.... Το ενδεχόμενο «Χ n =κ» σημαίνει ότι στη n-οστη δοκιμή συμπληρώνεται μια ροή κ επιτυχιών Επειδή : i, = P {X n+ = X n =i} = P {αποτυχίας} = q i,i+ = P {X n+ =i+ X n =i} = P {επιτυχίας} = i,j =, για j, i+ O πίνακας πιθανοτήτων ης μετάβασης είναι : 7

7 4 3 2 2 q q q P Ισχύουν : Για κάθε i =, 2,... έχουμε : i = q >, άρα i και i = 2... i-,i = i >, άρα i Άρα i για κάθε i =, 2,..., δηλ. η ροή επιτυχιών είναι απλή αλυσίδα Μαρκόφ

(n) f = P{X n =, X r, r=, 2,..., n- X =}= = 2... n-2,n- n-, = n- q, n=,2,... (Γεωμετρική Κατανομή) Επομένως : (n) n- q f q n n Και άρα η κατάσταση είναι επαναληπτική Ο μέσος χρόνος επανόδου είναι : (n) n- μ nf n q q n n Και άρα η κατάσταση είναι θετική 72

() (2) (n) Επειδή,,,, η κατάσταση είναι απεριοδική Άρα όλες οι καταστάσεις είναι θετικές επαναληπτικές και απεριοδικές (εργοδικές) και η αλυσίδα είναι εργοδική. Επομένως υπάρχει η στάσιμη κατανομή και ισχύει : π = q (π +π +π 2 +... ) = q= q π = π = q.... π n = π n- =... = n q, n=,, 2,... 73