Κεφάλαιο 3: Μαρκοβιανές Αλυσίδες

Σχολή Εφαρµοσµένων Μαθηµατικών και Φυσικών Επιστηµών Εθνικό Μετσόβιο Πολυτεχνείο Στοχαστικές Ανελίξεις Κεφάλαιο 3: Μαρκοβιανές Αλυσίδες Κοκολάκης Γεώργιος

Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άδεια χρήσης άλλου τύπου, αυτή πρέπει να αναγράφεται ρητώς

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ από 8) 3 Μαρκοβιανή Αλυσίδα (ΜΑ) είναι µια Μαρκοβιανή Ανέλιξη {Χ t : t T} µε διακριτό σύνολο καταστάσεων S = {s, s 2, } και διακριτό παραµετρικό χώρο T = {,, 2, } Ως συνέπεια της Μαρκοβιανής ιδιότητας η πιθανότητα µε την οποία ένα Μαρκοβιανό Σύστηµα βρίσκεται σε µια κατάσταση κατά την χρονική στιγµή t = n δεν εξαρτάται από όλες τις προγενέστερες καταστάσεις από τις οποίες διήλθε παρά µόνο από την αµέσως προηγούµενη δηλαδή την κατάσταση κατά τη χρονική στιγµή t = n Για απλούστευση του συµβολισµού θα συµβολίζουµε την κατάσταση s i απλώς µε i εφόσον δεν υπάρχει πρόβληµα ερµηνείας

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 2 από 8) 4 Συµβολίζοντας µε α i την αρχική πιθανότητα να βρίσκεται ένα Μαρκοβιανό σύστηµα στην κατάσταση i κατά την χρονική στιγµή t = και p ij (n) την πιθανότητα µετάβασης από την κατάσταση i στην κατάσταση j κατά το n-βήµα, δηλαδή µε και α i = P[X = i] (i =,2, ) p ij (n) =P[X n = j X n- = i] (i, j =, 2, ) (ν =, 2, ), () θα έχουµε για την εξέλιξη (διαδροµή, τροχιά) {Χ ν = i ν : ν =,,, n} ενός Μαρκοβιανού Συστήµατος P[Χ ν = i ν : ν =,,, n] = P[X = i ] n n ν= P [X ν = iν Xν = iν ] = αi pi ν ν i ( ) ν (2) ν=

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 3 από 8) 5 Το διάνυσµα-γραµµή p () µε στοιχεία p () = α j (j =, 2, ) ονοµάζεται κατανοµή αρχικών καταστάσεων και οι τετραγωνικοί πίνακες P(n) µε στοιχεία p ij (n) (i, j =, 2, ) και (n =, 2, ) ονοµάζονται Πίνακες Πιθανοτήτων Μετάβασης Μια µεγάλη κατηγορία Μαρκοβιανών αλυσίδων είναι εκείνη κατά την οποία οι Πίνακες πιθανοτήτων µετάβασης P(n) = P (n =, 2, ), δεν εξαρτώνται δηλαδή από τον χρόνο Σ αυτή την περίπτωση λέµε ότι έχουµε µια οµογενή Μαρκοβιανή αλυσίδα Σε µια οµογενή Μαρκοβιανή αλυσίδα θα έχουµε συνεπώς χρονικά αναλλοίωτες τις πιθανότητες µετάβασης, δηλαδή p ij (n) = p ij (n=, 2, ), χωρίς φυσικά αυτό να σηµαίνει ότι και οι πιθανότητες καταστάσεων P[X n = j] (n =,, 2, ) παραµένουν χρονικά αναλλοίωτες

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 4 από 8) 6 Για την εξέλιξη {Χ ν = i ν : ν =,,, n} µιας οµογενούς Μαρκοβιανής αλυσίδας {Χ n : n =,, 2, } µε κατανοµή αρχικών καταστάσεων p () = α και πιθανότητες µετάβασης θα έχουµε p ij = P[X n = j X n- = i] (i, j =, 2, ) (n =, 2, ) (3) n () P[X ν = i ν : ν =,,, n] = p p =α (4) i iν iν i p iν iν Είναι προφανές ότι το άθροισµα των στοιχείων του διανύσµατος p () = (p (), p 2 (), ) δίνει τη µονάδα Το ίδιο ισχύει και για το άθροισµα των στοιχείων κάθε γραµµής του στοχαστικού πίνακα P Έχουµε δηλαδή ν= n ν=

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 5 από 8) 7 και () p = j j p = (i =, 2, ) j ij (5α) (5β) Κάθε διάνυσµα-γραµµή p () () µε µη αρνητικά στοιχεία { p, j =, 2, } τα οποία j ικανοποιούν την (5α) αποτελεί κατανοµή αρχικών καταστάσεων Κάθε τετραγωνικός πίνακας P µε µη αρνητικά στοιχεία p ij τα οποία ικανοποιούν την (5β) ονοµάζεται Στοχαστικός και αποτελεί Πίνακα Πιθανοτήτων Μετάβασης µιας Οµογενούς Μαρκοβιανής αλυσίδας Ό,τι ακολουθεί αφορά αποκλειστικά Οµογενείς Μαρκοβιανές αλυσίδες και συνεπώς όταν µιλάµε για Μαρκοβιανή αλυσίδα θα εννοούµε οµογενή Παράδειγµα Ηµέρες χαµηλής / υψηλής βροχόπτωσης Κατά τη χειµερινή περίοδο µια ηµέρα χαµηλής βροχόπτωσης ακολουθείται από ηµέρα υψηλής βροχόπτωσης µε πιθανότητα p ενώ µια ηµέρα υψηλής βροχόπτωσης ακολουθείται από ηµέρα χαµηλής βροχόπτωσης µε πιθανότητα q Ο πίνακας πιθανοτήτων µετάβασης είναι:

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 6 από 8) 8 Χ Υ X & p p # P = Y % q q " Παράδειγµα 2 Απλός τυχαίος περίπατος Ο απλός τυχαίος περίπατος {Χ n : n =, 2, } θετικού βήµατος Ζ n = µε πιθανότητα p και αρνητικού βήµατος Z n = - µε πιθανότητα q = p αποτελεί µια Μαρκοβιανή αλυσίδα Με σύνολο καταστάσεων το S = = {, -2, -,,, 2, } ο πίνακας πιθανοτήτων µετάβασης έχει στοιχεία p ij = για j i ±, p i,i+ = p = - q και q = p i,i-, i Έχουµε συνεπώς πίνακα πιθανοτήτων µετάβασης:

3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ (σελ 8 από 8) P " # % & = p q p q p q p q b a -a - b

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ από 8) Σε µια ΜΑ {Χ n : n =,, 2, } µε πίνακα πιθανοτήτων µετάβασης P οι πιθανότητες p ij (i, j =, 2, ) αποτελούν τις πιθανότητες µετάβασης από την κατάσταση i στην κατάσταση j σε ένα βήµα Ως εκ τούτου ονοµάζονται επίσης πιθανότητες µετάβασης ης τάξης Ο όρος µετάβαση δεν χρησιµοποιείται µε την στενή έννοια του όρου κατά την οποία οι καταστάσεις i και j πρέπει να είναι διαφορετικές Αντίθετα, τίποτα από τα προηγούµενα δεν αποκλείει να έχουµε πιθανότητα p ii > και συνεπώς το σύστηµα να παραµένει στην ίδια κατάσταση για µια ακόµη χρονική περίοδο Με εφαρµογή του Θεωρήµατος Ολικής Πιθανότητας είναι δυνατόν να προσδιορίσουµε τις δεσµευµένες πιθανότητες υψηλότερων τάξεων που ορίζονται από τη σχέση p = P[X = j X = i] = P[X + = j X i] (k =, 2, ) (2) (k) ij k n k n = γνωστές ως πιθανότητες µετάβασης k-τάξεως Υπενθυµίζεται ότι οι ως άνω πιθανότητες δεν εξαρτώνται από το n, αφού η ΜΑ θεωρείται Οµογενής

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 2 από 8) 2 Είναι φανερό ότι ισχύει k p ( ) = για κάθε i =, 2, και k =,2, j ij Πριν προχωρήσουµε στον προσδιορισµό των παραπάνω πιθανοτήτων αποδεικνύουµε το παρακάτω Θεώρηµα Εάν P k (k =, 2,, m) είναι στοχαστικοί πίνακες της ίδιας διάστασης τότε το γινόµενο P = P είναι στοχαστικός πίνακας m k= k Απόδειξη Αρκεί να αποδείξουµε ότι ισχύει για m = 2 Έστω Q και R δύο στοχαστικοί πίνακες της ίδιας διάστασης και P = QR Έχουµε και p = q r (i, j =, 2, ) ij ν iν νj pij = qi νr νj= qi νr νj= qiν{ r νj} = qi ν = (i =, 2, ) j j ν ν j ν j Πόρισµα Αν ο πίνακας P είναι στοχαστικός τότε και ο πίνακας P n είναι στοχαστικός ν

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 4 από 8) 4 Οι αναδροµικές σχέσεις (22α) και (23α) είναι γνωστές ως οπισθοδροµικές (backward) εξισώσεις Chapman-Kolmogorov και οι αναδροµικές σχέσεις (22β) και (23β) ως προδροµικές (forward) εξισώσεις Chapman-Kolmogorov καθόσον στις µεν (22α) και (23α) έχουµε ανάλυση η οποία αναφέρεται στο απώτερο παρελθόν και συγκεκριµένα στο πρώτο βήµα κατά το οποίο έχουµε τη µετάβαση (i ν), στις δε (22β) και (23β) έχουµε ανάλυση η οποία αναφέρεται στο πιο προχωρηµένο στάδιο και συγκεκριµένα στο τελευταίο βήµα κατά το οποίο έχουµε τη µετάβαση (ν j) µε ν =, 2, Επειδή για k = θα έχουµε και p p (i, j =, 2, ) () ij ij P ( ) = P Συνεπώς από οποιαδήποτε από τις δύο σχέσεις (23α) ή (23β) προκύπτει ότι Ισχύει συνεπώς το παρακάτω (k) k P = P (k =, 2, ) (24)

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 5 από 8) 5 Θεώρηµα 2 του πίνακα P k Οι πιθανότητες µετάβασης k-τάξεως (k) p δίνονται από τα στοιχεία ij (k) Η πιθανότητα p µπορεί επίσης να ερµηνευθεί ως η δεσµευµένη πιθανότητα η ij ΜΑ {Χ n : n =,, 2, } να βρίσκεται στην κατάσταση j, όχι κατ ανάγκη για πρώτη φορά, κατά τη χρονική στιγµή t = k µε δεδοµένο ότι έχει ξεκινήσει από την κατάσταση i Επειδή τώρα έχουµε p () ij = δ ij = # " για για i = i j j, µπορούµε να θέσουµε P ) = P = I (, µε Ι ταυτοτικό πίνακα ίδιας διάστασης µε τον P Έτσι οι σχέσεις (22) και (23) ισχύουν και για k = Οµοίως για τη σχέση (24) έχουµε: n n P ( ) = P για n =,, 2, (25)

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 6 από 8) 6 (k) Η πιθανότητα p µπορεί επίσης να ερµηνευθεί ως η δεσµευµένη πιθανότητα η ij ΜΑ {Χ n : n =,, 2, } να βρίσκεται στην κατάσταση j, όχι κατ ανάγκη για πρώτη φορά, κατά τη χρονική στιγµή t = k µε δεδοµένο ότι έχει ξεκινήσει από την κατάσταση i Επειδή τώρα έχουµε p () ij = δ ij = # " για για i = i j j, µπορούµε να θέσουµε P ) = P = I (, µε Ι ταυτοτικό πίνακα ίδιας διάστασης µε τον P Έτσι οι σχέσεις (22) και (23) ισχύουν και για k = Οµοίως για τη σχέση (24) έχουµε: n n P ( ) = P για n =,, 2, (25)

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 7 από 8) 7 Προφανείς γενικεύσεις των αποτελεσµάτων (22) έως (25) αποτελούν οι σχέσεις που ακολουθούν και υπό µορφή πινάκων (m+ n) (m) (n) p ij = piν pν j (m, n =,, 2, ) (26) ν ( m+ n) (m) (n) n+ m P = P P = P (m, n =,, 2, ) (27) Με εφαρµογή και πάλι του Θεωρήµατος Ολικής Πιθανότητας και της (25) έχουµε ( n) το παρακάτω αποτέλεσµα σχετικά µε τις αδέσµευτες πιθανότητες p j = P[ Xn = j], να βρίσκεται δηλαδή το ΜΣ {Χ n : n =,, 2, } στη κατάσταση j σε χρόνο t = n Οι εν λόγω πιθανότητες αποτελούν τα στοιχεία του διανύσµατος-γραµµή p (n) το οποίο ονοµάζεται κατανοµή καταστάσεων σε χρόνο n

32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ (σελ 8 από 8) 8 Θεώρηµα 3 Η κατανοµή καταστάσεων σε χρόνο n δίνεται από τη σχέση p ( n) ( ) n = p P (n =,, 2, ) (28) ( n) Απόδειξη Πράγµατι για τις αδέσµευτες πιθανότητες p = P[ X j] έχουµε: j n = (n) () (n) p = p p (j =, 2, ) (n =,, 2, ), j η οποία υπό µορφή πινάκων γράφεται ν ν p νj p P ( n ) ( ) ( n) = (n =,, 2, ), Εισάγοντας τώρα στην παραπάνω σχέση την (25) προκύπτει η (28)

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ2 από 26) 2 Θεώρηµα 2 Κάθε στοχαστικός πίνακας P έχει τη µονάδα ως ιδιοτιµή µε αντίστοιχο ιδιοδιάνυσµα το e = (,, ) T s Απόδειξη Προφανής, αφού για κάθε i έχουµε p = και συνεπώς P e = e j= ij Σχετικά µε τη συµπεριφορά της κατανοµής καταστάσεων p (n) = (p (n),, p s (n) ) σε χρόνο n ισχύει το παρακάτω: Θεώρηµα 3 Έστω P στοχαστικός πίνακας s s µε διαφορετικές ιδιοτιµές λ j (j =,, s) Τότε υπάρχει το όριο lim p (n) (π,, π s ) για n (32) Πριν προχωρήσουµε στην απόδειξη του θεωρήµατος αυτού θα µελετήσουµε περαιτέρω τον στοχαστικό πίνακα στο Παράδειγµα της προηγούµενης Παραγράφου

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ3 από 26) 2 Παράδειγµα Έστω ΣΑ {Χ n : n =, 2, } µε δύο καταστάσεις και µε στοχαστικό πίνακα & α α # P = % β β " (33) µε α, β Εάν α = β =, η ΣΑ {Χ n : n =, 2, } µεταπηδά σε κάθε βήµα της από την κατάσταση στην κατάσταση 2 και από την κατάσταση 2 στην κατάσταση Συνεπώς σε άρτιο αριθµό βηµάτων n = 2m, έστω, θα βρίσκεται πάντα στην κατάσταση από την οποία ξεκίνησε ενώ σε περιττό αριθµό βηµάτων n = 2m + θα βρίσκεται στην εναλλακτική κατάσταση Οι δύο καταστάσεις συνεπώς και 2 επανεµφανίζονται διαρκώς ανά δύο βήµατα (περιοδικές καταστάσεις µε περίοδο d = 2) Εάν πάλι α = β = η ΣΑ θα βρίσκεται πάντα στην κατάσταση από την οποία ξεκίνησε (απορροφητικές καταστάσεις)

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ4 από 26) 22 Ας θεωρήσουµε τώρα ότι ένα τουλάχιστον από τα α, β είναι και Τούτο σηµαίνει ότι για τη δεύτερη ιδιοτιµή λ, έστω, του στοχαστικού πίνακα P έχουµε λ = α β ± και ιδιαίτερα λ < (από το Θεώρηµα 2 η πρώτη ιδιοτιµή του P είναι η µονάδα) Οι δύο ιδιοτιµές συνεπώς του P είναι διαφορετικές µεταξύ τους Τούτο σηµαίνει ότι ο πίνακας P αναλύεται ως ακολούθως: ' P = R % " R, (34) & λ# όπου οι στήλες r και r 2 του R ικανοποιούν αντίστοιχα τις εξισώσεις P r i = λ i r i (i =, 2) Από το Θεώρηµα 2 έχουµε r = e = (, ) T, ενώ η δεύτερη λύση είναι r 2 = (α, -β) Τ Εφαρµόζοντας την ανάλυση (34) λαµβάνουµε ή διαφορετικά n ' P = R % n " R, & λ #

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ6 από 26) 24 Από τα αποτελέσµατα (36) και (38) βλέπουµε ότι οι γραµµές του ορίου Π=lim P n για n : (α) συµπίπτουν µεταξύ τους, (β) ταυτίζονται µε την οριακή κατανοµή καταστάσεων lim p (n) = π και (γ) η τελευταία είναι ανεξάρτητη από την κατανοµή αρχικών καταστάσεων p () Επίσης από τις (33) και (36) διαπιστώνουµε ότι η οριακή κατανοµή καταστάσεων π ικανοποιεί την εξίσωση: π P = π, (39) αποτελεί δηλαδή ένα αριστερό ιδιοδιάνυσµα (γραµµή) του πίνακα πιθανοτήτων µεταβάσεων P το οποίο είναι κανονικοποιηµένο µε την έννοια ότι το άθροισµα των στοιχείων του δίνει τη µονάδα Επιστρέφουµε τώρα στην απόδειξη του Θεωρήµατος 3

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ7 από 26) 25 Απόδειξη Αφού εξ υποθέσεως οι ιδιοτιµές του στοχαστικού πίνακα P είναι διαφορετικές, µετά από αναδιάταξη θα ικανοποιούν την παρακάτω σχέση (βλ Θεώρηµα και Θεώρηµα 2) λ > λ 2 > > λ s Κατά συνέπεια ο στοχαστικός πίνακας P γράφεται (διαγωνιοποίηση) υπό την µορφή P = R Λ R -, όπου Λ διαγώνιος s s πίνακας µε στοιχεία τις ιδιοτιµές λ =, λ 2,, λ s του P και R ένας s s αντιστρέψιµος πίνακας µε στήλες τα αντίστοιχα ιδιοδιανύσµατα του P Ως εκ τούτου θα έχουµε P n = R Λ n R - = ' % R % % % & λ 2 λ s " " " " # n R ή διαφορετικά

26 33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ8 από 26) P n = R Λ n R - = n s n 2 " " " " " # % % % % % & ' λ λ R R (3) και συνεπώς παίρνοντας τα όρια για n η (3) συνεπάγεται ότι lim P n = R(lim Λ n ) R - = " " " " # % % % % & ' R R Π (3) Συµβολίζοντας τώρα µε r ij τα στοιχεία του πίνακα R -, θέτοντας δηλαδή R - { r ij } = " # % & ss s2 s 2s 22 2 s 2 r r r r r r r r r, έχουµε

27 Π = lim P n = " " " " # % % % % & ' R R " # % & " # % & = r r r r r r r r r r r r s 2 ss s2 s 2s 22 2 s 2 " # % & = s s 2 s s s 2 2 2 2 s 2 r r r r r r r r r r r r r r r r r r 33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ9 από 26)

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ2 από 26) 3 Η πρώτη γραµµή του R - όµως αποτελεί το αριστερό ιδιοδιάνυσµα του P που αντιστοιχεί στην ιδιοτιµή λ = Ως εκ τούτου η οριακή κατανοµή π ικανοποιεί την εξίσωση π P = π (35) Από την παραπάνω σχέση συµπεραίνουµε ότι αν ως αρχική κατανοµή καταστάσεων p () είχαµε την οριακή κατανοµή π, τότε για την κατανοµή καταστάσεων σε χρόνο n θα είχαµε: (n) n n n p = πp = ( πp) P = πp = = πp = π, (36) δηλαδή η κατανοµή καταστάσεων θα παρέµενε χρονικά αναλλοίωτη και ίση µε π Ως εκ τούτου η οριακή κατανοµή καταστάσεων π ονοµάζεται στάσιµη κατανοµή ή κατανοµή ισορροπίας Σηµείωση Από την (3) βλέπουµε ότι η σύγκλιση γίνεται µε γεωµετρική ταχύτητα η οποία καθορίζεται από την ιδιοτιµή λ 2, τη µέγιστη κατά µέτρο δηλαδή ιδιοτιµή µετά την λ ( = )

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ3 από 26) 3 Από την αποδεικτική διαδικασία που εφαρµόσαµε στο Θεώρηµα 3 η συνθήκη = λ > λ 2 > > λ s δεν είναι αναγκαία Τούτο διότι επιτυγχάνεται πάλι κατάλληλη διαγωνιοποίηση του στοχαστικού πίνακα P µε ανάλογη συµπεριφορά Συγκεκριµένα κάθε στοχαστικός πίνακας P είτε παραµένει ως έχει (µη υποβιβάσιµος) είτε µπορεί να γραφεί υπό διαγώνια ή υποδιαγώνια µορφή (υποβιβάσιµος) Δηλαδή στη δεύτερη περίπτωση παίρνει την µορφή Q P =, (37) V T µε τον πίνακα V ενδεχοµένως µηδενικό Από την παραπάνω µορφή του P βλέπουµε ότι ο πίνακας Q είναι στοχαστικός και συνεπώς είτε είναι µη υποβιβάσιµος είτε υποβιβάσιµος Στην περίπτωση που είναι υποβιβάσιµος συνεχίζουµε την ως άνω διαδικασία και τελικά η µελέτη του στοχαστικού πίνακα P αναγάγεται στην µελέτη στοχαστικών πινάκων χαµηλότερης διάστασης οι οποίοι είτε είναι µη υποβιβάσιµοι είτε υποβιβάσιµοι της µορφής (37) µε τον στοχαστικό πίνακα Q µη υποβιβάσιµο και τον πίνακα Τ γνήσια υποστοχαστικό, έχει δηλαδή µία τουλάχιστον γραµµή µε άθροισµα στοιχείων <

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ4 από 26) 32 Για πίνακες της µορφής (37) έχουµε n & Q # n P = n, (38) % V n T " και αποδεικνύεται µε βάση την γνήσια υποστοχαστικότητα του Τ ότι lim T n = Η ασυµπτωτική, συνεπώς, συµπεριφορά των δυνάµεων του P καθορίζεται από αυτήν των δυνάµεων του µη υποβιβάσιµου πίνακα Q Για την συµπεριφορά των δυνάµεων Q n (n =, 2, ) έχουµε το παρακάτω θεώρηµα από το οποίο αποτελεί γενίκευση του Θεωρήµατος 3 Θεώρηµα 4 (Perron Frobenius) Κάθε µη υποβιβάσιµος ( s s )-στοχαστικός πίνακας Q έχει d ιδιοτιµές λ ν (ν =,, d) που δίνονται από λ ν = ω ν- (ν =, 2,, d) µε ω = e 2πi/d µε i =, (39) δηλαδή τις d µιγαδικές ρίζες της µονάδας, και (m-) ιδιοτιµές λ j πολλαπλότητας k j (j = 2,, m) αντίστοιχα που ικανοποιούν τη συνθήκη m m µε s = d + k j = k j, µε k =d j=2 j= λ j < (j = 2,, m) (32)

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ8 από 26) 36 Συµπεραίνουµε συνεπώς ότι σε κάθε Μαρκοβιανή αλυσίδα θα έχουµε δύο γενικές κατηγορίες καταστάσεων, έστω R και T, µε την κατηγορία T ενδεχοµένως κενή Οι καταστάσεις της κατηγορίας R επανεµφανίζονται επ άπειρον, επαναληπτικές καταστάσεις, και µάλιστα µε περιοδική συµπεριφορά όταν οι ιδιοτιµές του στοχαστικού πίνακα P µε µέτρο τη µονάδα είναι d >, περιοδικές ή κυκλικές καταστάσεις περιόδου d, ενώ οι καταστάσεις της κατηγορίας T σταδιακά παύουν να επανεµφανίζονται παροδικές καταστάσεις Έτσι η ΜΑ εγκλωβίζεται τελικά στην κλάση R των επαναληπτικών καταστάσεων Επίσης, όταν η περίοδος d >, η ακολουθία των πινάκων P n (n =, 2, ) δεν συγκλίνει µε την γνωστή έννοια του όρου αλλά υπό την έννοια της σύγκλισης (324) (όριο κατά Cezaro) Για περισσότερες λεπτοµέρειες σχετικά µε την ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων πεπερασµένης διάστασης ο αναγνώστης µπορεί να ανατρέξει στο σύγγραµµα: Cox DR & Miller HD, σελ 8-29 Οι ως άνω γενικές κατηγορίες, υποβιβάσιµων και µη υποβιβάσιµων Μαρκοβιανών αλυσίδων, επαναληπτικών και παροδικών καταστάσεων, περιοδικών και µη περιοδικών καταστάσεων, θα εξεταστούν διεξοδικά στα πλαίσια της µελέτης των Μαρκοβιανών αλυσίδων µε άπειρο, αλλά αριθµήσιµο, πλήθος καταστάσεων αφού πρώτα εισάγουµε τις απαιτούµενες βασικές έννοιες και ορισµούς

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ2 από 26) 38 Παράδειγµα 3 Ο παρακάτω στοχαστικός πίνακας αφορά την ποσότητα ύδατος σε δεξαµενή ενός δικτύου ύδρευσης κάθε πρωί Ανάλογα µε την ποσότητα ύδατος που υπάρχει η δεξαµενή θωρείται ότι βρίσκεται στην κατάσταση Ε, όταν περιέχει µικρή ποσότητα, στην Ε 2, όταν περιέχει µέτρια ποσότητα, στην Ε 3, όταν περιέχει υψηλή ποσότητα και στην Ε 4 ότι είναι πλήρης Να προσδιοριστεί η κατανοµή ισορροπίας αν υπάρχει Ε Ε 2 Ε 3 Ε 4 E & 2 4 3 # E 2 = 3 4 2 P E 2 4 4 3 E 4 % 5 5"

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ2 από 3) 39 Με βάση την (35) συµπεραίνουµε ότι αν υπάρχει κατανοµή ισορροπίας π αυτή θα ικανοποιεί την εξίσωση π P = π, σε συνδυασµό µε την συνθήκη 4 π i = i= Έχουµε συνεπώς το σύστηµα των εξισώσεων π 2 = 8π 2π 3 = 7π 2-4π 5π 4 = 6π 3-4π 2-3π π + π 2 + π 3 + π 4 = από το οποίο προκύπτει ότι π 2 = 8π, π 3 = 26π και π 4 = (2/5)π µε π = 5/296, οπότε η κατανοµή ισορροπίας είναι: π = (5/296, 4/296, 3/296, 2/296)

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ23 από 3) 4 Έχουµε συνεπώς µια (οµογενή) Μαρκοβιανή Αλυσίδα µε πίνακα πιθανοτήτων µετάβασης " P= # / c / c 2 / c 2 / c 2 / c 2 / c / c / c % ' ' ' ' ' ' (326) ' ' ' ' ' & Δηλαδή p i,i- = i/c, p i,i+ = - i/c (i =,, 2,, c) και µηδενικές τις υπόλοιπες πιθανότητες µετάβασης

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ25 από 3) 43 Κάνοντας δέσµευση σε αµέσως προηγούµενη κατάσταση έχουµε για την f n+ (s) X f n+ (s) = [E[s n + X,X = x ] X = x ] (n =,, 2, ) E n και λόγω της Μαρκοβιανής ιδιότητας Όµως και συνεπώς X f n+ (s) = [E[s n + X ] X = x ] (n =,, 2, ) (328) E[s E n i c X n + i i X n = i] = s + { }s + (n =,, 2, ) X E[s c µε την τµ Χ n {,, 2,, c} X Xn + n Xn n Xn + X n ] = s + { } s (n =,, 2, ) i c c

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ26 από 3) 44 Οπότε, E[s X n + 2 Xn Xn X n ] = {( s )X ns + (cs)s } (329) c Παίρνοντας την µέση τιµή της παραπάνω ποσότητας ως προς την τµ X n, µε την δέσµευση ότι Χ = x, θα έχουµε: 2 X X f n+ (s) = {( s )E[X ns n n X = x ] + (cs)e[s X x ]} c = (33) Όµως και d ds oπότε η (33) γράφεται f f n (s) = [s X n X = x ] n (s) = E E[X n s X n X = x ], 2 ' f n+ (s) = {( s )f n (s) + (cs)f n (s)} (n =,, 2, ) (33) c

33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠ/ΝΗΣ ΔΙΑΣΤΑΣΗΣ: ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ (σελ28 από 3) 46 Μια διαφορετική προσέγγιση στο πρόβληµα του προσδιορισµού της οριακής κατανοµής είναι η παρακάτω: Έστω f(s) = limf n (s) για n Τότε η (33) γράφεται ή διαφορετικά, ' 2 f(s) = {( s )f (s) + (cs)f (s)} c 2 ' ( s )f (s) = c( s)f (s)} Οπότε µε s θα έχουµε ' f f (s) (s) = c + s από την οποία προκύπτει µετά από ολοκλήρωση και συνεπώς ln f(s) = cln( + s) + k f (s) + c = A{ s} (334)

34 Ταξινόµηση Καταστάσεων (σελ 4 από 32) 52 Από τις παραπάνω σχέσεις προκύπτει µια µερική διάταξη των κλάσεων επικοινωνουσών καταστάσεων Ορισµός 2 Για δύο κλάσεις επικοινωνουσών καταστάσεων C I και C J λέµε ότι η C I υπερέχει της C J, και γράφουµε C I C J, ή ισοδύναµα C J C I, όταν η C I C J και C J / C I Από τη σχέση (γ ) είναι φανερό ότι ενδέχεται να υπάρχουν κλάσεις οι οποίες δεν διατάσσονται µεταξύ τους (µερική διάταξη) Οι κλάσεις αυτές δεν οδηγούν σε καµία άλλη κλάση και ως εκ τούτου ονοµάζονται κλειστές Ορισµός 3 Μια κλάση επικοινωνουσών καταστάσεων C λέγεται κλειστή όταν δεν οδηγεί σε καµία άλλη κλάση, διαφορετικά λέγεται ανοικτή Όταν µια κατάσταση αποτελεί από µόνη της µια κλειστή κλάση ονοµάζεται απορροφητική Με βάση τον παραπάνω ορισµό εάν µια κατάσταση s i, έστω, ανήκει σε µια κλειστή κλάση C, τότε για κάθε άλλη κατάσταση s j που δεν ανήκει στην C θα έχουµε ( p n ) ij = για κάθε n και συνεπώς P ij = n= (n) p = ij

34 Ταξινόµηση Καταστάσεων (σελ 5 από 32) 53 Αντίστροφα, εάν οι πιθανότητες µετάβασης p ij = για όλα τα ζεύγη καταστάσεων (s i, s j ) µε s i εντός µιας κλάσης C και s j εκτός αυτής, τότε η κλάση C είναι κλειστή Τούτο διότι έχουµε p ik p kj = (k =, 2, ) και από αυτή προκύπτει ότι (2) p = p p = για κάθε s i C και s j C ij ik kj k Έτσι διαδοχικά έχουµε: και συνεπώς (n+ ) (n) p = p p = (n = 2, 3, ) ij ik kj k ( p n ) ij = (n =, 2, ) για κάθε s i C και s j C Για δύο µη επικοινωνούσες καταστάσεις s i και s j µια, τουλάχιστον, από τις παρακάτω δύο σχέσεις είναι αληθής (n) P ij = p ij = (42) n=

34 Ταξινόµηση Καταστάσεων (σελ 6 από 32) 54 Παράδειγµα Στη ΜΑ µε καταστάσεις Ε i (i=,, 5) και στοχαστικό πίνακα E E 2 E 3 E 4 E 5 E α α E 2 P = E β γ β γ (43) 3 E 4 δ δ E ε ζ ε ζ 5 µε θετικές πιθανότητες όπου δεν υπάρχει παρατηρούµε τα παρακάτω Η κατάσταση Ε 2 οδηγεί αποκλειστικά στη ίδια, κατά συνέπεια αποτελεί από µόνη της µια κλειστή κλάση, έστω C, και η ίδια είναι απορροφητική Η κατάσταση Ε 4 οδηγεί στην ίδια και στην Ε 2, κατά συνέπεια αποτελεί από µόνη της µια δεύτερη κλάση C 2 ανοικτή προς την κλάση C Η κατάσταση Ε οδηγεί στην ίδια όπως και στην Ε 2 Συνεπώς αποτελεί από µόνη της µια κλάση C 3 ανοικτή προς την κλάση C Οι καταστάσεις Ε 3 και Ε 5 επικοινωνούν (αµφίδροµα) µεταξύ τους αλλά επίσης οδηγούν στην κατάσταση Ε και µέσω αυτής στην Ε 2 Συνεπώς οι καταστάσεις Ε 3, Ε 5 αποτελούν µια τέταρτη κλάση C 4 η οποία είναι ανοικτή προς την κλάση C

34 Ταξινόµηση Καταστάσεων (σελ 7 από 32) 55 Έχουµε συνεπώς τέσσερις κλάσεις επικοινωνουσών καταστάσεων και συγκεκριµένα τις κλάσεις: C = {Ε 2 }, C 2 = {Ε 4 }, C 3 = {Ε } και C 4 = {Ε 3, Ε 5 } Από πλευράς (µη αµφίδροµης) επικοινωνίας των κλάσεων έχουµε: C 2 C, C 3 C και C 4 C 3 Από πλευράς διάταξης (ή ιεράρχησης) των κλάσεων έχουµε: C 2 C και C 4 C 3 C Στο παράδειγµα αυτό έχουµε συνεπώς µερική διάταξη των κλάσεων Με βάση την παραπάνω διάταξη των κλάσεων και αναδιάταξη των καταστάσεων, ο πίνακας πιθανοτήτων µετάβασης παίρνει την παρακάτω κατά τµήµατα υποδιαγώνια (block-subdiagonal) µορφή, γνωστή ως κανονική µορφή του P

56 " # % & ε ζ ζ ε β γ γ β α α δ δ = E E E E E 5 3 4 2 P Από την παραπάνω µορφή του πίνακα P είναι φανερό ότι οι καταστάσεις των κλάσεων C 2, C 3 και C 4 θα επανεµφανίζονται όλο και µε µικρότερη πιθανότητα αφού υπάρχουν θετικές πιθανότητες δ, α και α(β + ε) αντίστοιχα το Μαρκοβιανό σύστηµα να µεταπηδήσει στην κλάση C και να παραµείνει επ άπειρον εκεί 34 Ταξινόµηση Καταστάσεων (σελ 8 από 32)

34 Ταξινόµηση Καταστάσεων (σελ 9 από 32) 57 Παράδειγµα 2 Να ταξινοµηθούν οι καταστάσεις των παρακάτω ΜΑ σε κλάσεις και να γίνει ιεράρχηση E E 2 Ε 3 E 4 E 5 E & 4 5 # E 2 2 3 5 P = E 3 E 4 2 6 2 E % 3 5 5 " Παρατηρούµε ότι η κατάσταση Ε 3 δεν οδηγεί παρά µόνο στην ίδια Συνεπώς είναι απορροφητική και αποτελεί από µόνη της µια κλειστή κλάση C = {Ε 3 } Οι καταστάσεις Ε, Ε 2 και Ε 5 επικοινωνούν µεταξύ τους αφού η διαδροµή Ε Ε 2 Ε 5 Ε έχει θετική πιθανότητα p = (6)(5)() = 3 Συνεπώς αποτελούν µια δεύτερη κλάση C 2 = {Ε, Ε 2, Ε 5 } Επειδή έχουµε Ε 2 Ε 3, η κλάση C 2 C Η κατάσταση Ε 4 δεν επικοινωνεί µε καµία άλλη κατάσταση, όµως οδηγεί στην κατάσταση Ε 5 της κλάσης C 2, καθώς και στην κατάσταση Ε 3 της C Συνεπώς αποτελεί από µόνη της µια κλάση C 3 µε C 3 C, C 2 Με βάση τα παραπάνω η ιεράρχηση των κλάσεων έχει ως ακολούθως: C 3 C 2 C

34 Ταξινόµηση Καταστάσεων (σελ από 32) 58 Αναδιατάσσοντας τις καταστάσεις ο στοχαστικός πίνακας P στην κανονική του µορφή είναι: E 3 E Ε 2 E 5 E 4 E 3 & # E 4 5 P = E 2 3 2 5 E 5 3 5 E % 2 2 6 4 " Από την παραπάνω µορφή του πίνακα P είναι φανερό ότι οι καταστάσεις των κλάσεων C 2 και C 3 θα επανεµφανίζονται όλο και µε µικρότερη πιθανότητα αφού σε κάθε βήµα υπάρχει θετική πιθανότητα απορρόφησης από την κατάσταση Ε 3 Συγκεκριµένα έχουµε ότι η πιθανότητα παραµονής στις κλάσεις C 2 και C 3 για χρόνο n, φράσσεται από την γεωµετρικά φθίνουσα ακολουθία p n µε p < 9 (= min{p i3 : i 3})

59 Μια ΜΑ η οποία αποτελείται µόνο από κλειστές κλάσεις επικοινωνουσών καταστάσεων έχει (διαγώνιο) στοχαστικό πίνακα της µορφής " # % & = P P P P k 2, (44) όπου κάθε πίνακας P k (k =, 2, ) είναι στοχαστικός Οι δυνάµεις ενός πίνακα µε την παραπάνω δοµή έχουν πάλι την ίδια δοµή Συγκεκριµένα: " # % & = P P P P n k n 2 n n (n =, 2, ) (45) 34 Ταξινόµηση Καταστάσεων (σελ από 32)

34 Ταξινόµηση Καταστάσεων (σελ 3 από 32) 6 Επί παραδείγµατι η διαδροµή Ε Ε 3 Ε 5 Ε 2 Ε 4 Ε έχει πιθανότητα (- α)(-γ)(-ε)(-β)(-δ) > Στην περίπτωση κατά την οποία η ΜΑ είναι υποβιβάσιµη, µε πλέον της µιας κλειστές κλάσεις και µία τουλάχιστον ανοικτή, τότε η ΜΑ αναλύεται σε επί µέρους Μαρκοβιανές αλυσίδες Συγκεκριµένα για κάθε κλειστή κλάση C L (L =, 2, ) προσδιορίζουµε όλες τις ανοικτές κλάσεις οι οποίες οδηγούν σ αυτήν Δηµιουργούνται έτσι νέοι πίνακες πιθανοτήτων µετάβασης οι οποίοι µπορούν να µελετηθούν ξεχωριστά Έτσι, για µια κλειστή κλάση C L έχουµε: P V2 T22 P L = (46) V k Tkk Η πρώτη γραµµή αντιστοιχεί στην κλειστή κλάση C L και οι επόµενες στις ανοικτές κλάσεις C LI µε C LI C L για Ι =, 2, Η κλειστή κλάση C L έχει πίνακα πιθανοτήτων µετάβασης τον στοχαστικό πίνακα P Ο πίνακας P L, όπως και οι πίνακες Τ II, είναι γενικά υποστοχαστικοί, όµως αυτό δεν δηµιουργεί πρόβληµα

62 Παράδειγµα 4 Αν θεωρήσουµε ότι ο στοχαστικός πίνακας (43) στο Παράδειγµα έχει α = τότε οι κλάσεις C = {E 2 } και C 2 = {E } είναι κλειστές Από τον στοχαστικό πίνακα P προκύπτουν δύο πίνακες πιθανοτήτων µετάβασης P και P 2 Συγκεκριµένα µε α = ο στοχαστικός πίνακας P υπό την κανονική του µορφή είναι E 2 E 4 E E 3 E 5 " # % & ε ζ ζ ε β γ γ β δ δ = E E E E E 5 3 4 2 P, από τον οποίο προκύπτουν οι πίνακες: E 2 E 4 " # % & δ δ = E E 4 2 P 34 Ταξινόµηση Καταστάσεων (σελ 4 από 32)

34 Ταξινόµηση Καταστάσεων (σελ 5 από 32) 63 και E E 3 E 5 E P 2 = E3 β γ β γ E ε ζ ε ζ 5 Παρατηρούµε ότι τα στοιχεία κάθε γραµµής των παραπάνω πινάκων έχουν άθροισµα τη µονάδα και συνεπώς είναι στοχαστικοί Στην περίπτωση που δηµιουργούνται υποστοχαστικοί πίνακες, η υποστοχαστικότητα µπορεί να αρθεί προσθέτοντας µια γραµµή, και µία στήλη αντίστοιχα, που αντιπροσωπεύει το σύνολο όλων των καταστάσεων που έχουν εξαιρεθεί, θεωρούµενo το σύνολο αυτό ως µία απορροφητική κατάσταση Ε Δηµιουργείται έτσι ένας νέος πίνακας πιθανοτήτων µετάβασης ο οποίος είναι στοχαστικός και µπορεί να µελετηθεί ξεχωριστά

64 34 Ταξινόµηση Καταστάσεων (σελ 6 από 32) Συγκεκριµένα έχουµε µία νέα ΜΑ µε πίνακα πιθανοτήτων µετάβασης P της µορφής: " # % & = kk kl k 22 2 2 T V V T V V P P Η πρώτη γραµµή αντιστοιχεί στην κλάση C = {Ε }, η δεύτερη γραµµή αντιστοιχεί αντιστοιχεί στην κλειστή κλάση C L και οι επόµενες στις ανοικτές κλάσεις C LI µε C LI C L για Ι =, 2,, όπως προηγουµένως

34 Ταξινόµηση Καταστάσεων (σελ 7 από 32) 65 Σε κάθε περίπτωση υποβιβάσιµων ΜΑ, απλουστεύοντας την αναπαράσταση των πινάκων, µπορούµε να γράψουµε: C C & Q P = T % V T # T " (47) µε Q στοχαστικό πίνακα Με C συµβολίζουµε το σύνολο των καταστάσεων όλων των κλειστών κλάσεων και µε Τ το σύνολο των καταστάσεων όλων των ανοικτών κλάσεων Επειδή ο πίνακας V δεν µπορεί να είναι µηδενικός, αφού εξ ορισµού έχουµε Τ C, έπεται ότι ο πίνακας T είναι υποστοχαστικός Οι δυνάµεις ενός στοχαστικού πίνακα P µε την δοµή (47) είναι: µε και V = V n n & Q # P = n (n =, 2, 3, ) (48) % Vn T " V n+ = V Q n + TV n (n =, 2, ) (49)

34 Ταξινόµηση Καταστάσεων (σελ 8 από 32) 66 Με βάση την σχέση (48), η ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων P n καθορίζεται από την ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων Q n, οι οποίοι αφορούν το σύνολο C των καταστάσεων όλων των κλειστών κλάσεων, καθώς και από την ασυµπτωτική συµπεριφορά των υποστοχαστικών πινάκων Τ n, οι οποίοι αφορούν το σύνολο Τ των καταστάσεων όλων των ανοικτών κλάσεων Αν και η µελέτη της ασυµπτωτικής συµπεριφοράς πινάκων της παραπάνω µορφής είναι αντικείµενο της επόµενης ενότητας σηµειώνουµε εδώ ότι, όπως και στις ΜΑ µε πεπερασµένο πλήθος καταστάσεων έτσι και εδώ, η υποστοχαστικότητα του πίνακα Τ συνεπάγεται ότι Τ n για n (4) Τούτο σηµαίνει ότι p ( n) ij για κάθε ζεύγος καταστάσεων s i, s j που ανήκουν σε ανοικτές κλάσεις Επίσης η (4), σε συνδυασµό µε την (48), συνεπάγεται ότι η κατανοµή καταστάσεων p (n) έχει όλες τις συνιστώσες που αντιστοιχούν σε καταστάσεις ανοικτών κλάσεων να συγκλίνουν στο µηδέν

34 Ταξινόµηση Καταστάσεων (σελ 9 από 32) 67 Δηλαδή p i (n) όταν s i Τ Δηλαδή το σύνολο Τ έχει σταδιακά περιοριζόµενη πιθανότητα επανεµφάνισης και το Μαρκοβιανό σύστηµα απορροφάται τελικά από την C Από τα παραπάνω γίνεται φανερό ότι µε βάση την έννοια της (αµφίδροµης) επικοινωνίας µεταξύ καταστάσεων έχουµε δύο βασικές κατηγορίες ΜΑ Η πρώτη είναι η κατηγορία των µη υποβιβάσιµων (irreducible) ΜΑ και η δεύτερη είναι η κατηγορία των υποβιβάσιµων (reducible) ΜΑ Είδαµε επίσης ότι η κατηγορία των υποβιβάσιµων ΜΑ τελικά αναγάγεται σε επί µέρους ΜΑ η κάθε µία εκ των οποίων είτε είναι µη υποβιβάσιµη και συνεπώς µπορεί να µελετηθεί ξεχωριστά, είτε αποτελείται από µια κλειστή, και συνεπώς µη υποβιβάσιµη, κλάση C και ένα σύνολο Τ καταστάσεων ανοικτών κλάσεων Ακολουθούν επί µέρους ταξινοµήσεις των καταστάσεων

34 Ταξινόµηση Καταστάσεων (σελ 2 από 32) 68 34 Επαναληπτικές και Παροδικές Καταστάσεις Έστω Τ ij o χρόνος που παρέρχεται (αριθµός βηµάτων) για να βρεθεί για πρώτη φορά ένα ΜΣ στην κατάσταση j ξεκινώντας από την κατάσταση i Έστω (n) επίσης f η πιθανότητα P[Τ ij ij = n X = i] (n =, 2, ) Έχουµε δηλαδή και Τ ij = inf {n : X n = j µε X = i} (i, j =, 2, ) (4) (n) fij ij = = P[T = n X i] (n =, 2, ), (42α) ή ισοδύναµα (n) fij n = = P[X = j, Xν j ( ν =,2,,n ) X i] (n =, 2, ) (42β) Η πιθανότητα να διέλθει η ΜΑ κάποια στιγµή από την κατάσταση j έχοντας ξεκινήσει από την κατάσταση i δίνεται συνεπώς από την = n= (n) f = P[T < X = i] f (i, j =, 2, ) (43) ij ij ij

34 Ταξινόµηση Καταστάσεων (σελ 2 από 32) 69 Για i = j η (43) δίνει την πιθανότητα να επανέλθει η ΜΑ κάποια στιγµή στην κατάσταση i Έχουµε δηλαδή = n= (n) f = P[T < X = i] f (i =, 2, ) (44) ii ii ii Η ποσότητα f ονοµάζεται πιθανότητα ης µετάβασης (διέλευσης) της ΜΑ ij στην (από την) κατάσταση j έχοντας ξεκινήσει από την κατάσταση i Ανάλογα η τυχαία µεταβλητή Τ ij ονοµάζεται χρόνος ης µετάβασης της ΜΑ {Χ n } στην κατάσταση j έχοντας ξεκινήσει από την κατάσταση i Όταν έχουµε i = j τότε µιλάµε για την πιθανότητα, αντίστοιχα τον χρόνο, της ης επανόδου στην κατάσταση i Πρέπει να τονίσουµε ότι επειδή µιλάµε για πρώτη µετάβαση σε µια κατάσταση και () πρώτη επάνοδο σε µια κατάσταση έχουµε εξ ορισµού f = ij Σηµείωση: Η ποσότητα T ij αναφέρεται παραπάνω ως τυχαία µεταβλητή καθ υπέρβαση της γνωστής έννοιας του όρου Τούτο διότι δεν γνωρίζουµε αν πράγµατι ( n (i, j =, 2, ) Το αντίθετο µάλιστα, όπως θα δούµε σε διάφορα f ) n ij = (n) παραδείγµατα παρακάτω, πολύ συχνά οι πιθανότητες f έχουν άθροισµα ij f n ( ) n ij < Το πρόβληµα αυτό παύει να είναι ουσιαστικό επιτρέποντας στην τυχαία µεταβλητή Τ ij να λαµβάνει την τιµή µε, όχι κατ ανάγκη µηδενική, πιθανότητα f ij, όµως εδώ µας χρειάζεται µια έννοια και ένας ορισµός

34 Ταξινόµηση Καταστάσεων (σελ 23 από 32) 7 Από το θεώρηµα αυτό προκύπτουν άµεσα τα παρακάτω συµπεράσµατα: (α) Εάν f ii = τότε η κατάσταση i επανεµφανίζεται άπειρες φορές µε πιθανότητα τη µονάδα ηλαδή η κατάσταση i έχει πεπερασµένο πλήθος επανεµφανίσεων µε πιθανότητα µηδέν (αφού για κάθε k έχουµε {f ii } k = ) (β) Εάν f ii < τότε η κατάσταση i επανεµφανίζεται άπειρες φορές µε πιθανότητα µηδέν ηλαδή η κατάσταση i έχει πεπερασµένο πλήθος επανεµφανίσεων µε πιθανότητα τη µονάδα (αφού {f ii } k ) (γ) Με εκκίνηση από την κατάσταση i οι διελεύσεις από την κατάσταση j γίνονται άπειρες φορές µε πιθανότητα f ij όταν f jj = και πιθανότητα όταν f jj < Ορισµός 2 Η κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται επαναληπτική ή έµµονη (recurrent, persistent) όταν f ii = και παροδική (transient) όταν f ii <

34 Ταξινόµηση Καταστάσεων (σελ 27 από 32) 75 Μια διεξοδική απόδειξη του παραπάνω αποτελέσµατος δίνεται στην επόµενη ενότητα Σχετικά µε τον µέσο χρόνο ης επανόδου στην κατάσταση i, αντίστοιχα τον µέσο χρόνο ης διέλευσης από την κατάσταση j έχουµε το παρακάτω: µ ij = (n) nf όταν f ij = ij # n= (i, j =, 2, ) (423) όταν f ij < " Μια παροδική κατάσταση i έχει µέσο χρόνο επανόδου µ ii =, αφού εξ ορισµού υπάρχει πιθανότητα - f ii > µε την οποία ο χρόνος επανόδου Τ ii = Το ίδιο ισχύει για τον µέσο χρόνο διέλευσης από µια παροδική κατάσταση j ξεκινώντας από οποιαδήποτε κατάσταση i, παροδική ή επαναληπτική, αφού έχουµε - f ij > Επίσης, µια επαναληπτική κατάσταση i δεν είναι απαραίτητο να έχει πεπερασµένο µέσο χρόνο επανόδου Οµοίως, δύο επαναληπτικές και επικοινωνούσες µεταξύ τους καταστάσεις i και j δεν είναι απαραίτητο να έχουν πεπερασµένο µέσο χρόνο µετάβασης από την µια στην άλλη

34 Ταξινόµηση Καταστάσεων (σελ 29 από 32) 77 Παράδειγµα 5 Στη ΜΑ µε πίνακα πιθανοτήτων µετάβασης E E P = E E 2 3 4 Ε Ε 2 Ε 3 Ε 4 & 3 7# 4 6 5 5 % 7 3 " παρατηρούµε ότι κάθε κατάσταση εδώ είναι περιοδική µε περίοδο d = 2 Πράγµατι, αν η ΜΑ ξεκινήσει από την κατάσταση Ε ή την Ε 3, οι καταστάσεις αυτές θα επανεµφανίζονται µόνο σε άρτιο αριθµό βηµάτων, ενώ οι καταστάσεις Ε 2 και Ε 4 θα επανεµφανίζονται σε περιττό αριθµό βηµάτων Οµοίως, αν η ΜΑ ξεκινήσει από την κατάσταση Ε 2 ή την Ε 4, οι καταστάσεις αυτές θα επανεµφανίζονται µόνο σε άρτιο αριθµό βηµάτων, ενώ οι καταστάσεις Ε και Ε 3 θα επανεµφανίζονται σε περιττό αριθµό βηµάτων Η συµπεριφορά αυτή φαίνεται πιο καθαρά προσδιορίζοντας τον πίνακα P 2

34 Ταξινόµηση Καταστάσεων (σελ 3 από 32) 78 Ε Ε 2 Ε 3 Ε 4 E & 6 39 # 2 E 2 = 42 58 P E 55 45 3 E 4 % 36 64" Κάθε άρτια δύναµη του στοχαστικού πίνακα P θα έχει µηδέν στις ίδιες θέσεις που έχει µηδέν o πίνακας P 2 Κάθε περιττή δύναµη του P θα έχει µηδέν στις ίδιες θέσεις που έχει ο P Όπως θα διαπιστώσουµε παρακάτω, αν µια µη υποβιβάσιµη ΜΑ έχει µια κατάσταση περιοδική τότε έχει όλες τις καταστάσεις της περιοδικές µε την ίδια περίοδο Όταν η περίοδος είναι d (>) ο πίνακας P n, µε n = k mod d, έχει µηδέν στις ίδιες θέσεις που έχει ο πίνακας P k (k =,,, d-)

34 Ταξινόµηση Καταστάσεων (σελ 3 από 32) 79 Παράδειγµα 6 Ο απλός τυχαίος περίπατος είναι περιοδικός αφού σε άρτιο αριθµό βηµάτων δεν µπορεί να βρεθεί σε περιττή θέση όταν ξεκινά από άρτια, ούτε επίσης µπορεί να βρεθεί σε άρτια θέση όταν ξεκινά από περιττή Ορισµός 5 Μια απεριοδική και γνήσια επαναληπτική κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται εργοδική (ergodic) Δηλαδή µια κατάσταση i είναι εργοδική εάν και µόνο εάν ισχύουν τα παρακάτω: (i) d i = (απεριοδική), n (ii) fii ( ) fii =, n= (iii) µ n= ( n) ii nf ii < Ορισµός 6 Μια Μαρκοβιανή Αλυσίδα λέγεται εργοδική όταν όλες οι καταστάσεις της είναι εργοδικές

34 Ταξινόµηση Καταστάσεων (σελ 32 από 32) 8 Είναι χρήσιµος ο παρακάτω ορισµός που αφορά τις τροχιές µιας ΜΑ Ορισµός 7 Λέµε ότι η ΜΑ διαγράφει µονότονη τροχιά όταν σε κάθε βήµα επισκέπτεται µια κατάσταση διαφορετική των προηγουµένων Σηµειώνεται ότι το πλήθος των µονότονων τροχιών που µπορεί να διαγράψει µια ΜΑ σε πεπερασµένο χρόνο n είναι αριθµήσιµο αφού το σύνολο S n είναι αριθµήσιµο Λήµµα Εάν κάθε µονότονη τροχιά µεταξύ δύο καταστάσεων i και j (i j) έχει µηδενική πιθανότητα, τότε οι καταστάσεις αυτές δεν είναι επικοινωνούν µεταξύ τους Απόδειξη Για την µετάβαση από την κατάσταση i στην κατάσταση j απαιτείται να υπάρχει µία τουλάχιστον µονότονη τροχιά από τη µια κατάσταση στην άλλη µε θετική πιθανότητα Τούτο διότι διαφορετικά η ΜΑ θα επανέρχεται επ άπειρον σε καταστάσεις που είχε επισκεφθεί στο παρελθόν Είναι προφανές ότι µια ΜΑ µε πεπερασµένο πλήθος καταστάσεων Ν, δεν είναι δυνατόν να διαγράψει µονότονη τροχιά σε χρόνο n > N- Κατά συνέπεια αν µια κατάσταση i οδηγεί στην κατάσταση j η µετάβαση γίνεται, µε την έννοια της θετικής πιθανότητας, σε χρόνο n Ν Εδώ συµπεριλαµβάνουµε και την περίπτωση i = j

35 Ανανεωτική Εξίσωση (σελ 3 από 5) 83 Απόδειξη Το ενδεχόµενο {Χ = i}{x n = j}, δηλαδή να ξεκινήσει από την κατάσταση i και να βρεθεί στην κατάσταση j σε χρόνο n, αναλύεται σε ένωση ασυµβιβάστων ενδεχοµένων ως ακολούθως: " n % {X =i}{x n =j}={x =i} # {T (ν) ij =n} & ' (54) Δηλαδή, ξεκινώντας η ΜΑ από την κατάσταση i, βρίσκεται στην κατάσταση j σε χρόνο n µε ν συνολικά διελεύσεις από την κατάσταση j (ν =, 2,,n) Οπότε έχουµε και συνεπώς n ν= P[{X =i}{x n =j}]= P[{T (ν) ij =n}{x =i}], ν= n P[X n =j X =i]= P[T (ν) ij =n X =i] ν=

35 Ανανεωτική Εξίσωση (σελ 4 από 5) 84 (ν) Για τους χρόνους T ij της ν-οστής διέλευσης της ΜΑ από την κατάσταση j, έχοντας ξεκινήσει από την κατάσταση i, ισχύει η παρακάτω ανανεωτική σχέση T (ν) ij =T () (ν-) ij +T jj (ν = 2, 3, ) µε (i, j =, 2, ) () T ij = Τ ij (55) (ν-) Επιπρόσθετα οι τµ T ij και T jj (ν = 2, 3, ) είναι ανεξάρτητες λόγω της Μαρκοβιανής ιδιότητας Για τις γεννήτριες συναρτήσεις των f F ij n ( n) ( s) = n s f και P ( s) ij ij n ( n) = n s pij ( n) = P[ T = n X i] (n ) και p = P[ X = j X i] (n ) ( n) ij ij o = ij n o = αντίστοιχα, θα αποδείξουµε ότι ισχύει το παρακάτω

35 Ανανεωτική Εξίσωση (σελ 5 από 5) 85 Θεώρηµα 2 (Ανανεωτική Εξίσωση) Οι γεννήτριες P ij (s) και F ij (s) ικανοποιούν τις εξισώσεις P ij (s) - δ ij = F ij (s)p jj (s), s S (,) (i, j =, 2, ) (56) Απόδειξη Έστω F ijν (s) η γεννήτρια συνάρτηση των πιθανοτήτων µε και f (n) ijν =P[T (ν) ij =n X =i], n =,, 2, ( i, j, ν =, 2, ) (57) f (n) ijν = για n < ν =, 2, (i, j =, 2, ) (58) f () ij = () p = δ ij ij = # " όταν όταν i i = j j (i, j =, 2, ) (59)

35 Ανανεωτική Εξίσωση (σελ 6 από 5) 86 Έχουµε δηλαδή F ijν (s)= f (n) s n ijν (i, j, ν =, 2, ), (5) n= Από την (55) για ν = έχουµε T ij () = Τ ij και συνεπώς Από την (55) επίσης για ν 2 έχουµε F ij (s)=f ij (s) (i, j =, 2, ) (5) T (ν) (ν-) ij =T ij +T jj (i, j =, 2, ) (ν-) Επειδή οι τµ Τ ij και T jj είναι ανεξάρτητες, η γεννήτρια πιθανοτήτων του (ν-) αθροίσµατος T ij +T jj είναι το γινόµενο των γεννητριών τους Συνεπώς έχουµε την παρακάτω αναδροµική εξίσωση: F ijν (s)=f ij (s)f jjν- (s) για ν 2 (i, j =, 2, ) (52)

35 Ανανεωτική Εξίσωση (σελ 8 από 5) 88 () Όµως P ij (s) = (n) () p ij = pij και επειδή pij = δ θα έχουµε ij + n P ij (s)-δ ij = F ijν (s) ν= (55) Εισάγοντας τώρα την (53) στην παραπάνω σχέση λαµβάνουµε P " s δ " = F " (s) F s Όµως από την (54) έχουµε F ij (s) = Συνεπώς P " δ " = F " s + F s Σύµφωνα µε την (55), η σειρά στα δεξιά της παραπάνω σχέσης είναι P jj (s) δ jj = P jj (s) και συνεπώς P ij (s)-δ ij =F ij (s)p jj (s), s S (i, j =, 2, ) (56)

35 Ανανεωτική Εξίσωση (σελ 9 από 5) 89 Σηµείωση n Σύµφωνα µε το θεώρηµα του Abel για δυναµοσειρές G(s) = n α n s, είτε το όριο είναι πεπερασµένο µε α n, έχουµε ότι για s, limg(s) = n αn είτε όχι Έχοντας διαπιστώσει ότι S (-, ), η σχέση (56) ισχύει και για s = Συνεπώς µπορούµε να θεωρήσουµε ότι η κοινή περιοχή σύγκλισης είναι η S = (-, ] Η περιοχή S εύκολα επεκτείνεται στο κλειστό διάστηµα [-, ], αν και τούτο δεν πρόκειται να µας χρειαστεί σε ότι ακολουθεί Από την παραπάνω εξίσωση (56) για i = j έχουµε: P ( s) F ( s) P ( s), s (-, ] (i =, 2, ) (57) ii = ή ισοδύναµα τις σχέσεις ii ii P ii ( s) =, s (-, ] (i =, 2, ) F ( s) ii (58α) F ii (s) P (s) ii =, s (-, ] (i =, 2, ), P ii (s) (58β)

8

35 Ανανεωτική Εξίσωση (σελ 2 από 5) 92 Oρισµός Μια ιδιότητα ονοµάζεται ιδιότητα κλάσης όταν ισχύει για όλες τις καταστάσεις µιας κλάσης επικοινωνουσών καταστάσεων Θεώρηµα 5 Οι παρακάτω ιδιότητες είναι ιδιότητες κλάσεως: (α) (β) (γ) Επαναληπτικότητα, Γνήσια Επαναληπτικότητα, Περιοδικότητα Απόδειξη (α) Επαναληπτικότητα Αφού οι καταστάσεις i και j είναι (αµφίδροµα) επικοινωνούσες, υπάρχουν ακέραιοι m και n τέτοιοι ώστε p (m) ij > και p (n) ji > Επειδή {X m+k+n = i} {X m = j}{x m+k = j}{x m+k+n = i} θα έχουµε για τις αντίστοιχες δεσµευµένες πιθανότητες µε δεδοµένο ότι Χ = i, P[X m+k+n = i X =i] P[{X m =j}{x m+k =j}{x m+k+n = i} X =i]

35 Ανανεωτική Εξίσωση (σελ 3 από 5) 93 Εφαρµόζοντας την Μαρκοβιανή ιδιότητα παίρνουµε p (m+k+n) ii p (m) ij p (k) (n) jj p ji (k =,, 2, ) και συνεπώς p (m+k+n) (k) (n) ii Ap jj ji (k =,, 2, ) µε Α=p () " p () " > Αθροίζοντας ως προς k προκύπτει: (m+k+n) (k) p ii A p jj k k µε A > (522) () Από την παραπάνω ανισότητα συµπεραίνουµε ότι όταν p < τότε και () p < Δηλαδή όταν η κατάσταση i είναι παροδική τότε και η κατάσταση j είναι παροδική Εναλλάσσοντας µεταξύ τους τα i, j συµπεραίνουµε ότι όταν η κατάσταση i είναι επαναληπτική, τότε και η κατάσταση j είναι επαναληπτική

35 Ανανεωτική Εξίσωση (σελ 4 από 5) 94 (β) Γνήσια Επαναληπτικότητα Προκύπτει από την (522) αφού πρώτα αποδειχθεί ότι µια επαναληπτική κατάσταση i είναι µηδενικά επαναληπτική εάν και µόνο εάν p () για n Το αποτέλεσµα αυτό εµπεριέχεται στο Θεώρηµα 64 της επόµενης Ενότητας και χάριν συντοµίας αποφεύγουµε να δώσουµε ειδική απόδειξη εδώ Έτσι λαµβάνοντας τα όρια των µελών της (522) για k προκύπτει ότι εάν p () τότε και p (), δηλαδή όταν η επαναληπτική κατάσταση i είναι µηδενικά επαναληπτική τότε και η επαναληπτική κατάσταση j είναι µηδενικά επαναληπτική Εναλλάσσοντας µεταξύ τους τα i, j συµπεραίνουµε ότι όταν η επαναληπτική κατάσταση i είναι γνήσια επαναληπτική τότε και η επαναληπτική κατάσταση j είναι γνήσια επαναληπτική (γ) Περιοδικότητα Έστω d i και d j οι περίοδοι των καταστάσεων i και j αντίστοιχα Από τη σχέση (522) µε k = παίρνουµε p (m+n) ii Ap () jj =A > (523)

36 Εργοδικά Θεωρήµατα (σελ από 24) 96 Εδώ θα εξετάσουµε την ασυµπτωτική συµπεριφορά των πιθανοτήτων µεταβάσεων n- τάξης p ( n) ij, καθώς και αυτήν των κατανοµών καταστάσεων n-τάξης p (n) για n σε ΜΑ µε αριθµήσιµο πλήθος καταστάσεων Ήδη από την προηγούµενη Παράγραφο προέκυψαν ορισµένα συµπεράσµατα σχετικά µε την ασυµπτωτική συµπεριφορά των ως άνω ποσοτήτων Άµεσα επίσης από το αποτελέσµατα της Παραγράφου 35 προκύπτουν τα παρακάτω δύο θεωρήµατα Θεώρηµα Αν η κατάσταση i είναι παροδική τότε p n) ( για n (6) ii Απόδειξη Κατά το Θεώρηµα 53 η κατάσταση i είναι παροδική εάν και µόνο εάν η (n) σειρά n p συγκλίνει Τότε όµως πρέπει p ( n) ii για n ii Επειδή η παροδικότητα είναι ιδιότητα κλάσης το παραπάνω θεώρηµα συνεπάγεται ότι για κάθε κατάσταση j η οποία επικοινωνεί (αµφίδροµα) µε µια παροδική κατάσταση i θα έχουµε επίσης p ( n) jj για n Επίσης ισχύει το παρακάτω γενικότερο

36 Εργοδικά Θεωρήµατα (σελ 2 από 24) 97 Θεώρηµα 2 Όταν κατάσταση j είναι παροδική τότε για οποιαδήποτε κατάσταση i p n) Απόδειξη Άµεση συνέπεια του Θεωρήµατος 54 ( για n (62) ij Θεώρηµα 3 Εάν i j και η κατάσταση i είναι επαναληπτική, τότε f ji = (63) Απόδειξη Αφού i j υπάρχει µία τουλάχιστον µονότονη τροχιά από την i στη j µε πιθανότητα α > Από την κατάσταση j η πιθανότητα να µη µεταβεί ποτέ στη κατάσταση i είναι f " Οπότε η πιθανότητα ξεκινώντας από την κατάσταση i να µην επανέλθει ποτέ στην κατάσταση αυτή είναι f α( f " ) Όµως η κατάσταση i είναι επαναληπτική και συνεπώς f ii = Άρα f ji = Άµεση συνέπεια του παραπάνω θεωρήµατος είναι το παρακάτω Πόρισµα Όταν i j και η κατάσταση i είναι επαναληπτική τότε f ij = f ji =

36 Εργοδικά Θεωρήµατα (σελ 3 από 24) 98 Πόρισµα 2 Όταν i j και η κατάσταση j είναι παροδική τότε και η κατάσταση i είναι παροδική, έχουµε δηλαδή f ii < (64) Με βάση το Θεώρηµα 3, και τα Πορίσµατα και 2, συµπεραίνουµε ότι όταν ένα Μαρκοβιανό σύστηµα ξεκινά από µια επαναληπτική κατάστασή τότε κάθε κατάσταση την οποία επισκέπτεται καθίσταται επαναληπτική και επικοινωνούσα µε τις προηγούµενες Η επαναληπτική κατάσταση i συνεπώς παράγει µια κλειστή κλάση C επικοινωνουσών καταστάσεων To Μαρκοβιανό σύστηµα συνεπώς ξεκινώντας από την επαναληπτική κατάσταση i της κλειστής κλάσης C θα διέλθει µε πιθανότητα τη µονάδα από κάθε κατάσταση της κλάσης αυτής και µόνο αυτής Σε Μαρκοβιανές αλυσίδες µε πεπερασµένο πλήθος καταστάσεων, έστω s, κάθε κλειστή κλάση C επικοινωνουσών καταστάσεων αποτελείται συνεπώς από επαναληπτικές καταστάσεις Επιπρόσθετα, οι χρόνοι επανεπίσκεψης / µετάβασης είναι µεγαλύτεροι του s µε πιθανότητα q < Ως εκ τούτου σε πεπερασµένες Μαρκοβιανές Αλυσίδες οι µέσοι χρόνοι επανόδου / µετάβασης µεταξύ καταστάσεων µιας κλειστής κλάσης είναι πεπερασµένοι και συνεπώς οι καταστάσεις αυτές είναι γνήσια επαναληπτικές Έτσι κάθε κλειστή κλάση πεπερασµένου Μαρκοβιανού συστήµατος είναι γνήσια επαναληπτική και κάθε ανοικτή κλάση είναι παροδική

36 Εργοδικά Θεωρήµατα (σελ 4 από 24) 99 Συνοψίζοντας τα παραπάνω έχουµε τα ακόλουθα συµπεράσµατα σχετικά µε τους µέσους χρόνους επανόδου στις καταστάσεις µιας Μαρκοβιανής Αλυσίδας µε αριθµήσιµο πλήθος καταστάσεων: (i) Όταν η κατάσταση i είναι παροδική, τότε και για οποιαδήποτε κατάσταση j επικοινωνούσα µε την i µ i = Ε[Τ ii ] =, (65α) µ j = Ε[Τ jj ] = (65β) (ii) Όταν είναι η κατάσταση i είναι επαναληπτική, τότε E[T ] = n f =,ανηγνήσιαεπαναληπτική, <, ανγνήσιαεπαναληπτική και για οποιαδήποτε κατάσταση j επικοινωνούσα µε την i (65γ) E[T ] = n f =,ανηγνήσιαεπαναληπτική, <, ανγνήσιαεπαναληπτική (65δ)

36 Εργοδικά Θεωρήµατα (σελ 5 από 24) () Στα παρακάτω θα ασχοληθούµε µε την οριακή συµπεριφορά των πιθανοτήτων p " και τη σύνδεση της οριακής αυτής συµπεριφοράς µε τύπους των καταστάσεων i και j Το θεώρηµα που ακολουθεί αφορά αποκλειστικά την κατάσταση i και για απλούστευση του συµβολισµού παραλείπουµε τον δείκτη i στην όλη αποδεικτική διαδικασία, θέτουµε δηλαδή p () αντί p (), f () αντί f µ αντί κοκ Η απόδειξη του θεωρήµατος θα γίνει σε τρία στάδια Θεώρηµα 4 Όταν η κατάσταση i είναι απεριοδική, τότε p (n) ii π i =, # " µ i > αν µη γνήσια επαναληπτική ή παροδική,, αν γνήσια επαναληπτική (66) Απόδειξη Στάδιο Όταν η κατάσταση i είναι παροδική το θεώρηµα ισχύει λόγω του Θεωρήµατος (n) Έστω ότι η κατάσταση i είναι επαναληπτική Τότε έχουµε f = n f = Ορίζουµε την φθίνουσα ακολουθία (n) f n= k+ F = (k =,, 2, ) k (67)

36 Εργοδικά Θεωρήµατα (σελ 6 από 24) Για την ως άνω ακολουθία έχουµε: (n) F = f =, n (68) και F k F k- (k =, 2, ) (69) f (k) = F k- F k (k =, 2, ) (6) Παίρνοντας το άθροισµα των F k για k =,, έχουµε: Εξ ορισµού όµως (n) (n) (n) F = f = f = nf k k= k= n= k+ n= k= n= n= nf (n) n = E[T], µε µέση τιµή Ε[Τ] πεπερασµένη ή όχι ανάλογα µε το εάν η κατάσταση i είναι γνήσια επαναληπτική ή όχι

36 Εργοδικά Θεωρήµατα (σελ 7 από 24) 2 Συνεπώς k= 2 ο Στάδιο Από την γνωστή συνελικτική σχέση Fk = E[T] =µ (6) (n) = n (k) (n k) p f p (n =, 2, ) (62) k= µε f (k) = F k- F k (k =, 2, ) λαµβάνουµε p (n) = n k= f (k) p (n k) = n k= {F k F }p k (n k) = n k= F k p (n k) n k= F k p (n k) και συνεπώς n (n) (n k) (n k) p = F p F p k= k n k= k

36 Εργοδικά Θεωρήµατα (σελ 8 από 24) 3 Φέρνοντας στα αριστερά το δεύτερο άθροισµα έχουµε: p (n) n n (n k) (n k) + Fk p = Fk p k= k= Επειδή λόγω επαναληπτικότητας εξ υποθέσεως F =, θα έχουµε p (n) = F p (n) και συµπτύσσοντας το αριστερό µέλος σε ένα άθροισµα προκύπτει η αναδροµική σχέση n n (n k) (n k) Fk p = Fk p (n =, 2, ) k= k= Από την παραπάνω σχέση τώρα παίρνουµε διαδοχικά n n n 2 k k k = k= k= (n k) (n k) (n 2 k) () F p = F p = F p = = F p, k= έχουµε δηλαδή την ακολου A n n k= F k p (n-k) = (n =, 2, )

36 Εργοδικά Θεωρήµατα (σελ 9 από 24) 4 Επειδή p (n) = για n <, µπορούµε να θεωρήσουµε ότι το παραπάνω άθροισµα επεκτείνεται και σε όρους µε k > n Γράφουµε συνεπώς (n k) An Fk p = = k= (n =, 2, ) (63) µε την σειρά να συγκλίνει απολύτως αφού οι όροι της είναι µη αρνητικοί Παίρνοντας τώρα το όριο της ακολουθίας {A n } για n έχουµε: n k = k= (n k) lim A = lim F p για n (64) Με k σταθερό θα µπορούσαµε να περάσουµε το όριο µέσα στο άθροισµα εάν γνωρίζαµε ότι η ακολουθία {p (n-k) }, και συνεπώς η {p (n) }, συγκλίνει για n Ας υποθέσουµε προς στιγµή ότι συγκλίνει και έστω π το όριο αυτής Τότε από την (64) προκύπτει ότι π k= F k =,

36 Εργοδικά Θεωρήµατα (σελ από 24) 5 από την οποία µε εισαγωγή της (6) προκύπτει ότι: { F } k =µ k= π = (65) 3 ο Στάδιο Η απόδειξη ότι η ακολουθία p () ( = p () ) συγκλίνει είναι αρκετά εκτεταµένη και γι αυτό θα περιοριστούµε εδώ σε µια σύντοµη περιγραφή της Έστω α = "# sup p () και β = "# inf p () Προφανώς έχουµε α β και υπάρχουν ( υπακολουθίες ) και ( ) της ( ) µε "# ( p p p p ) = α και "# p ) = β Κάνοντας χρήση βασικών αποτελεσµάτων της Θεωρίας Αριθµών εύκολα αποδεικνύεται ότι για µια µη περιοδική κατάσταση i υπάρχει αριθµός Ν πέραν του οποίου έχουµε p () > για όλα τα n > N (Πρακτικά αυτό σηµαίνει ότι οι πίνακες () πιθανοτήτων µετάβασης υψηλότερης τάξης p " (= P ) σταδιακά γεµίζουν, καθώς δηλαδή το n αυξάνεται, όλο και µεγαλύτερο πλήθος µη µηδενικών στοιχείων () έχουν) Mε βάση την παραπάνω ανισότητα και τη συνελικτική σχέση (62) p " αποδεικνύεται ότι για οποιοδήποτε σταθερό k οι υπακολουθίες ( ) και p ( ) της p ( ) έχουν όρια "# () = "# () = α και "# () = "# ( p p ) = β

36 Εργοδικά Θεωρήµατα (σελ από 24) 6 Συνεπώς µε < από τη σχέση (63) έχουµε F p () Επίσης από την ίδια σχέση έχουµε για κάθε ε > και για n < n αρκετά µεγάλα F p () ε Από την πρώτη ανισότητα παίρνοντας, µε σταθερό n, το όριο για n και εν συνεχεία το όριο για n λαµβάνουµε α / Τούτο σηµαίνει ότι για µ = έχουµε = β = και συνεπώς "# p ( ) = Για µ < εφαρµόζουµε την ίδια διαδικασία και στη δεύτερη ανισότητα και λαµβάνουµε την σχέση β /µ, οπότε σε συνδυασµό με την α / και την α β έχουµε α = β = /µ και συνεπώς "# p ( =

36 Εργοδικά Θεωρήµατα (σελ 2 από 24) 7 Η ερµηνεία του παραπάνω θεωρήµατος είναι ότι µια απεριοδική κατάσταση i είναι () γνήσια επαναληπτική, και συνεπώς εργοδική, εάν και µόνο εάν p = και p () () π > Είναι µη γνήσια επαναληπτική εάν και µόνο εάν p = και p () Με βάση το συµπέρασµα αυτό εύκολα αποδεικνύεται ότι η γνήσια επαναληπτικότητα είναι ιδιότητα κλάσεως (βλ Θεώρηµα 55(β) της προηγούµενης Ενότητας) Σηµείωση Για περιοδική κατάσταση i µε περίοδο d µας ενδιαφέρει η σύγκλιση της ακολουθίας p (") για n, αφού για n µη ακέραιο πολλαπλάσιο της περιόδου d έχουµε p () = Στη περίπτωση αυτή η αποδεικτική διαδικασία παραµένει η ίδια µε (n d), (n d) και (kd) στη θέση των αντιστοίχων ποσοτήτων Θεώρηµα 5 Έστω κατάσταση j απεριοδική Τότε για οποιαδήποτε άλλη κατάσταση i που επικοινωνεί µε την j, αν j µη γνήσια επαναληπτική ή π αροδική, (n) p π = ij j, αν j γνήσια επαναληπτική (66) µ j

36 Εργοδικά Θεωρήµατα (σελ 3 από 24) 8 Απόδειξη Το πρώτο σκέλος του θεωρήµατος για παροδικές καταστάσεις ισχύει αφού η παροδικότητα είναι ιδιότητα κλάσεως Για επαναληπτικές καταστάσεις, γνήσια ή όχι, ξεκινάµε πάλι από την γνωστή συνελικτική σχέση n p (n) ij = k= f (k) (n k) ij p jj = f (k) (n k) ij p jj (n =, 2, ) k= Για τις διαφορές µεταξύ () " και " / τώρα έχουµε: p () " f " = f " p f " = f " {p } (67) Από το προηγούµενο όµως θεώρηµα έχουµε για την επαναληπτική κατάσταση j ότι p () για n

36 Εργοδικά Θεωρήµατα (σελ 4 από 24) 9 Ταυτόχρονα η σειρά στο δεξιό µέλος της (67) συγκλίνει απολύτως αφού: f " () p + f " + Συνεπώς, λαµβάνοντας τα όρια ως προς n των δύο µελών της (67) και περνώντας το όριο µέσα στη σειρά λαµβάνουµε p () i Επειδή τώρα οι καταστάσεις i και j επικοινωνούν και είναι επαναληπτικές από το Θεώρηµα 3 έχουµε f ij =

36 Εργοδικά Θεωρήµατα (σελ 5 από 24) Επειδή η σχέση (67) ισχύει για οποιοδήποτε ζεύγος καταστάσεων i και j, έπεται ότι ισχύει και το παρακάτω: Πόρισµα Σε µια απεριοδική Μαρκοβιανή Αλυσίδα για κάθε ζεύγος καταστάσεων i και j έχουµε: p () " ", (68) όπου ως όριο θεωρούµε το µηδέν όταν = Συνδυάζοντας τα αποτελέσµατα των προηγουµένων πέντε θεωρηµάτων έχουµε το παρακάτω γενικό αποτέλεσµα Εργοδικό Θεώρηµα (Κolmogorov) Έστω X n =,, µια µη υποβιβάσιµη και απεριοδική Μαρκοβιανή αλυσίδα µε πίνακα πιθανοτήτων µετάβασης P Τότε: (i) Είτε όλες οι καταστάσεις είναι παροδικές είτε όλες µη γνήσια επαναληπτικές και lim ( ) = για n (i, j =, 2, ), (69)

36 Εργοδικά Θεωρήµατα (σελ 9 από 24) 4 Εφαρµογή Εξάρτηµα µηχανής επιθεωρείται σε τακτά χρονικά διαστήµατα Το εξάρτηµα αντικαθίσταται µε ένα καινούργιο αν θεωρηθεί ότι έχει κάποιο λειτουργικό πρόβληµα ή, διαφορετικά, περνά από συντήρηση και επανατοποθετείται στη µηχανή για µια ακόµα περίοδο λειτουργίας Δίνεται ότι η πιθανότητα αντικατάστασης µετά από k περιόδους λειτουργίας είναι p k (k > ) Λέµε ότι η µηχανή κατά την n-περίοδο λειτουργίας της βρίσκεται στην κατάσταση i όταν το εξάρτηµα διανύει την i-περίοδο λειτουργίας του (i =, 2, ) Η ανέλιξη {X n : n } είναι Μαρκοβιανή µε πιθανότητες µεταβάσεων p i = p i και p i,i+ = q i = - p i (i =, 2, ) Έχουµε δηλαδή # # # P= # # # # "# p q p 2 q 2 p 3 q 3 p 4 q 4 & & & & & & & %&

36 Εργοδικά Θεωρήµατα (σελ 2 από 24) 5 Είναι φανερό ότι από την κατάσταση είναι δυνατόν να πάµε διαδοχικά σε οποιαδήποτε κατάσταση j και από αυτήν στην κατάσταση πάλι Συνεπώς όλες οι καταστάσεις επικοινωνούν µε την κατάσταση, άρα και µεταξύ τους Άρα η Μαρκοβιανή αλυσίδα είναι µη υποβιβάσιµη Η κατάσταση έχει "περίοδο" επανεµφάνισης d = αφού p > Συνεπώς η κατάσταση είναι απεριοδική, και η αλυσίδα επίσης απεριοδική Θα εξετάσουµε τώρα αν η αλυσίδα είναι παροδική Προς αυτό αρκεί να εξετάσουµε αν η κατάσταση είναι παροδική ή όχι Από τον πίνακα P έχουµε ότι το σύστηµα ξεκινώντας από την κατάσταση θα χρειαστεί χρόνο επανόδου στην ίδια κατάσταση Τ > n µε πιθανότητα P[T > n] = q q n d n (n ) Συνεπώς έχουµε P[T n] = d n µε την ακολουθία {d n } φραγµένη και φθίνουσα Έστω d = lim d n για n H πιθανότητα να χρειαστεί πεπερασµένος χρόνος για την επάνοδο στην κατάσταση είναι P[T < ] = lim d n = - d Ως εκ τούτου η αλυσίδα είναι παροδική εάν και µόνο εάν d = lim d n >

36 Εργοδικά Θεωρήµατα (σελ 2 από 24) 6 Σηµείωση Αποδεικνύεται ότι d = lim d n > εάν και µόνο εάν p < Πράγµατι εάν k p k =, από την ανισότητα x e -x προκύπτει ότι q k = - p k exp{-p k } και συνεπώς k k d n = n n n q k = (-p k ) e -p k k= k= k= =exp{- p k } n k= Από την τελευταία προκύπτει ότι εάν k p = τότε d n k Αντίστροφα, ας υποθέσουµε ότι µεγάλο m θα έχουµε: k p k <, τότε για κάθε ε > και αρκετά p < ε

36 Εργοδικά Θεωρήµατα (σελ 22 από 24) 7 Από τη γνωστή ανισότητα για θετικούς α k (k =, 2, ) n k α n k (αποδεικνύεται µε επαγωγή εύκολα) έχουµε για αρκετά µεγάλο m και n lim n km q k = lim n km p k n km p k > ε > και συνεπώς, όταν k p k <, έχουµε n d = lim d n = lim q k > για n k= Διαπιστώσαµε συνεπώς ότι η αλυσίδα είναι παροδική εάν και µόνο εάν p =

36 Εργοδικά Θεωρήµατα (σελ 23 από 24) 8 Όµως E [T] = n= np[t = n] = n= n{p[t > n ] P[T > n]} = n {d d } = (d d ) + (2d 2d ) + (3d 3d ) + = n= n n 2 2 3 d n= n µε d = P T > = Συνεπώς η αλυσίδα είναι γνήσια επαναληπτική, και συνεπώς εργοδική, εάν και µόνο εάν n d n < Στην περίπτωση αυτή, σύµφωνα µε το Εργοδικό Θεώρηµα υπάρχει κατανοµή ισορροπίας η οποία δίνεται από την λύση του συστήµατος των εξισώσεων π = π P µε j= (n) και ισχύει lim p = π = / µ (j=, 2, ) ij j j > π j =, (624) Αντίστροφα, µπορούµε να διερευνήσουµε την ύπαρξη στάσιµης κατανοµής του ως άνω συστήµατος

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ από 3) 2 Ας συµβολίσουµε µε R το σύνολο όλων των επαναληπτικών καταστάσεων από όλες τις επαναληπτικές κλάσεις R I (I =, 2, ) µιας Μαρκοβιανής αλυσίδας και µε Τ το σύνολο όλων των παρoδικών καταστάσεων από όλες τις παροδικές κλάσεις T I (I =, 2, ) Θεωρούµε ότι R για να έχει νόηµα ο χρόνος εξόδου από το σύνολο T των παροδικών καταστάσεων Θεώρηµα Έστω R I µια επαναληπτική κλάση Εάν i R I τότε p ij = για όλα τα j R I Απόδειξη Ας υποθέσουµε ότι p ij > για κάποιο j R I Όταν περάσει η ΜΑ στην κατάσταση j δύο πράγµατα µπορούν να συµβούν: είτε επανέρχεται στην κατάσταση i είτε δεν επανέρχεται ποτέ Η επάνοδος στην κατάσταση i αποκλείεται, αφού οι καταστάσεις i και j θα ήσαν τότε επικοινωνούσες και συνεπώςθα ανήκαν στην ίδια κλάση Επίσης η µη επάνοδος στην κατάσταση i αποκλείεται, αφού τότε η κατάσταση i θα ήταν παροδική και όχι επαναληπτική Συνεπώς p ij = για όλα τα j R I

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 2 από 3) 2 Με βάση το παραπάνω θεώρηµα συµπεραίνουµε ότι κάθε επαναληπτική κλάση είναι κλειστή και κάθε ανοικτή κλάση είναι παροδική Το αντίστροφο, δηλαδή ότι κάθε κλειστή κλάση είναι επαναληπτική και κάθε παροδική κλάση είναι ανοικτή, δεν ισχύει σε ΜΑ µε άπειρο πλήθος καταστάσεων αλλά µόνο σε ΜΑ µε πεπερασµένο πλήθος καταστάσεων Επί παραδείγµατι, στον χωρίς φράγµατα µη συµµετρικό απλό τυχαίο περίπατο όλες οι καταστάσεις είναι παροδικές ενώ επικοινωνούν (αµφίδροµα) µεταξύ τους και συνεπώς αποτελούν µια κλειστή κλάση Επίσης, το ίδιο συµβαίνει στον συµµετρικό τυχαίο περίπατο σε τρεις ή υψηλότερες διαστάσεις ενώ δεν συµβαίνει το ίδιο σε µια και σε δύο διαστάσεις (βλ Άσκ 3) Με βάση το παραπάνω θεώρηµα ένας στοχαστικός πίνακας P µετά από κατάλληλη αναδιάταξη των καταστάσεων γράφεται υπό την παρακάτω κανονική µορφή: R P = µε V T R R 2 R =, (7) R I

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 3 από 3) 22 όπου ο στοχαστικός πίνακας R αφορά όλες τις επαναληπτικές καταστάσεις του συνόλου R όλων των επαναληπτικών κλάσεων R I (I=, 2, ), και ο υποστοχαστικός πίνακας Τ αφορά όλες τις παροδικές Από την παραπάνω µορφή του πίνακα P, ή διαφορετικά επαναλαµβάνοντας την αποδεικτική διαδικασία του προηγούµενου θεωρήµατος, είναι προφανές ότι για κάθε επαναληπτική κλάση R I θα έχουµε p ( n) ij = για όλα τα n όταν i I και j R I Συνεπώς (n) f ij =, i R I, j R I, f n ij = (72) αφού έχουµε, βλ (42), f ij (n) =p ij n- (n) (ν) - f ij ν= p (n-ν) jj = (n =, 2, ) (73) Στα παρακάτω θεωρούµε ΜΑ µε πεπερασµένο πλήθος καταστάσεων Συνεπώς κάθε παροδική κλάση είναι ανοικτή

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 4 από 3) 23 Θεώρηµα 2 Σε κάθε πεπερασµένη ΜΑ ισχύουν τα παρακάτω: (i) Κάθε επαναληπτική κατάσταση είναι γνήσια επαναληπτική (ii) Μία τουλάχιστον κατάσταση είναι επαναληπτική Απόδειξη Απλή και αφήνεται στον αναγνώστη Είναι ενδιαφέρον να προσδιορίσουµε τις πιθανότητες της (οριστικής) εγκατάλειψης του συνόλου Τ των παροδικών καταστάσεων και µετάβασης σε επαναληπτική κατάσταση j Συγκεκριµένα θέλουµε να υπολογίσουµε τις πιθανότητες f ij µε κατάσταση i παροδική και j επαναληπτική Θεώρηµα 3 Έστω Τότε R επαναληπτική κλάση καταστάσεων µιας πεπερασµένης ΜΑ f = p f + p, i Τ και j R (74) ij k T ik kj R ik

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 5 από 3) 24 Απόδειξη Με ανάλυση στο αποτέλεσµα του ου βήµατος και εφαρµογή της Μαρκοβιανής ιδιότητας έχουµε τα παρακάτω: f P[T < X = i] = p P[T < X = k, X = i ij ij ik ij ] k = p P[T < X = k ik kj k] = p P[T < X = k] + k T p P[T < X = k] + p P[T < X = k ik kj ik kj ik kj ] k R k T R = p f + p f + p f, ik kj ik kj k T k R k T R ik kj = p f + p, k T ik kj ik R αφού f kj = όταν k R και f kj = όταν k R µε βάση την (72)

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 6 από 3) 25 Σχετικά µε τον µέσο χρόνο παραµονής στο σύνολο Τ των παροδικών καταστάσεων έχουµε τα παρακάτω: Έστω i και j δύο παροδικές καταστάσεις και Ν ij ο συνολικός αριθµός των χρονικών περιόδων µε {Χ n = j} (n =,, 2, ) έχοντας ξεκινήσει από την κατάσταση i Η τµ Ν ij εκφράζει δηλαδή τον συνολικό χρόνο τον οποίο η ΜΑ θα διανύσει στην παροδική κατάσταση j, έχοντας ξεκινήσει από την παροδική κατάσταση i Θέτοντας m ij = Ε[Ν ij X = i] και κάνοντας ανάλυση της µέσης τιµής µε δέσµευση στο αποτέλεσµα του ου βήµατος έχουµε τα παρακάτω: Συνεπώς m ij = δ ij + E[N {X = i}{x = k}]p k = δij + E[N kj X = k ij k}]p m ij = δ ij + p ik m kj k ik ik

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 7 από 3) 26 Επειδή όµως οι επαναληπτικές κλάσεις είναι κλειστές έχουµε m kj = Συνεπώς το άθροισµα στα δεξιά της παραπάνω σχέσης περιορίζεται πάνω στο σύνολο T των παροδικών καταστάσεων Έχουµε συνεπώς: m = δ + p m (i, j Τ) Υπό µορφή πινάκων η παραπάνω σχέση γράφεται: ij ij T ik kj (75) Μ = Ι + ΤΜ, (76) όπου Ι ο ταυτοτικός πίνακας και Τ ο πίνακας πιθανοτήτων µετάβασης µεταξύ των παροδικών καταστάσεων Από την παραπάνω σχέση προκύπτει: Επειδή T n, από την προφανή σχέση (Ι Τ)Μ = Ι (77) (Ι Τ){Ι + Τ + Τ 2 + + Τ n- } = I T n (n =, 2, ), συµπεραίνουµε ότι ο πίνακας Ι Τ έχει αντίστροφο και ισχύει η σχέση Ν (Ι Τ) - = Ι + Τ + Τ 2 + Τ 3 + (78)

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 8 από 3) 27 Σε µια Μαρκοβιανή αλυσίδα, µε παροδικές και επαναληπτικές καταστάσεις, ο πίνακας Ν ονοµάζεται πρωταρχικός (fundamental) Από τις (77) και (78) λαµβάνουµε τους µέσους χρόνους m ij παραµονής σε παροδικές καταστάσεις Συγκεκριµένα έχουµε: Μ = Ν = (Ι Τ) - = Ι + Τ + Τ 2 + Τ 3 + (79) Από τα παραπάνω συµπεραίνουµε ότι όταν το σύστηµα ξεκινά από παροδική κατάσταση i, ο µέσος χρόνος εισόδου στo σύνολο R των επαναληπτικών καταστάσεων δίνεται από το άθροισµα των στοιχείων της i-γραµµής του πρωταρχικού πίνακα Ν Συµβολίζοντας µε Τ ir τον χρόνο εισόδου στο σύνολο R λαµβάνουµε: Ε[Τ ir X = i] = k T n ik (i Τ) (7) Η τελευταία δίνει παράλληλα και τον µέσο χρόνο παραµονής της ΜΑ στο σύνολο Τ των παροδικών καταστάσεων µε εκκίνηση από κατάσταση i Τ

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 9 από 3) 28 Όπως θα περίµενε κανείς η πιθανότητα f ij να µεταβεί κάποια στιγµή η ΜΑ στην παροδική κατάσταση j από την παροδική i συνδέεται µε την µέση χρονική διάρκεια m ij που η ΜΑ διανύει στην κατάσταση j Πράγµατι κάνοντας ανάλυση της µέσης τιµής m ij µε δέσµευση στο αν η ΜΑ διέρχεται ή όχι κάποια στιγµή από την παροδική κατάσταση j, έχουµε: m = E[N ij {Tij < }{X = i}]p[tij < X ij = i] Με βάση την Μαρκοβιανή ιδιότητα + [N {T = }{X = i}]p[t = X i] ij E ij ij ij = E [N {T < }{X = i}] = E[N X = j] = m, ενώ E[N ij {Tij = }{X = i}] = Θέτοντας f ij = P[T ij < X = i] παίρνουµε ij jj jj και από αυτήν m ij = m jj f ij (i, j Τ) (7) f ij = m ij /m jj (i, j Τ) (72)

29 Παράδειγµα Θεωρούµε το πρόβληµα της καταστροφής ενός παίκτη Α µε αρχικό κεφάλαιο a = 2 και κεφάλαιο αντιπάλου b = 2 Έστω Χ n το κεφάλαιο που διαθέτει ο παίκτης Α αµέσως µετά το n-παιχνίδι (X = 2) Ο στοχαστικός πίνακας P είναι: 2 3 4 " # % & = p q p q p q 4 3 2 P 37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ από 3)

3 Με αναδιάταξη των καταστάσεων ο πίνακας P παίρνει την παρακάτω κανονική µορφή: 4 2 3 " # % & = q p p q p q 3 2 4 P, οπότε, ο υποστοχαστικός πίνακας Τ είναι: 2 3 " # % & = q p q p 3 2 T, 37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ από 3)

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 2 από 3) 3 και ο πρωταρχικός πίνακας Ν είναι: 2 3 2 2 p + q p p 2 2 N = ( I T) = 2 q p /(p + q ) 2 2 3 q q q p + Συνεπώς, µε M = N έχουµε n 2 = q/(p 2 +q 2 ), n 22 = /(p 2 +q 2 ) και n 23 = p/(p 2 +q 2 ) Η µέση διάρκεια του παιχνιδιού είναι το άθροισµα m 2 = n 2 + n 22 + n 23 = 2/( p 2 +q 2 ) Για p = q = 5 έχουµε µέση διάρκεια παιχνιδιού µ = 4 Επίσης, f 23 = m 23 /m 33 = n 23 /n 33 = p/(q + p 2 ) και για p = q = 5 έχουµε f 23 = 2/3 Αξίζει να σηµειωθεί ότι η f 23, η πιθανότητα δηλαδή τελικής µετάβασης από την κατάσταση 2 στην κατάσταση 3, δίνει επίσης την πιθανότητα να κερδίσει τελικά ο παίκτης Α στην περίπτωση κατά την οποία ο αντίπαλος Β είχε αρχικό ποσό b =

37 Μέση Διάρκεια Παροδικών Καταστάσεων (σελ 3 από 3) 32 Πράγµατι από το πρόβληµα της καταστροφής του παίκτη στον απλό τυχαίο περίπατο έχουµε ότι η πιθανότητα απορρόφησης στη θέση b είναι: β = λ λ b a λ a = + {p / q} {q / p} b a {p / q} a Θέτοντας a = 2 και b = παίρνουµε τελικά p p β = = = f 2 2 2 23 q + pq + p q + p

Χρηµατοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα Το έργο «Ανοικτά Ακαδηµαϊκά Μαθήµατα ΕΜΠ» έχει χρηµατοδοτήσει µόνο την αναδιαµόρφωση του εκπαιδευτικού υλικού Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράµµατος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηµατοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταµείο) και από εθνικούς πόρους