3.1. ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Κεφ ΙΙΙ Μαρκοβιανές Αλυσίδες 3 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ Μαρκοβιανή Αλυσίδα (ΜΑ) είναι µια Μαρκοβιανή ανέλιξη {Χ t : t } µε διακριτό χώρο καταστάσεων {s, s 2, } και διακριτό παραµετρικό χώρο {,, 2, } Ως συνέπεια της Μαρκοβιανής ιδιότητας η πιθανότητα µε την οποία µία ΜΑ βρίσκεται σε µια κατάσταση κατά την χρονική στιγµή t δεν εξαρτάται από όλες τις προγενέστερες καταστάσεις από τις οποίες διήλθε παρά µόνο από την αµέσως προηγούµενη, δηλαδή την κατάσταση κατά τη χρονική στιγµή t Για απλούστευση του συµβολισµού θα συµβολίζουµε την κατάσταση s i απλώς µε i εφόσον δεν υπάρχει πρόβληµα ερµηνείας Συµβολίζοντας µε α i την αρχική πιθανότητα να βρίσκεται ένα Μαρκοβιανό σύστηµα στην κατάσταση i κατά την χρονική στιγµή t και () την πιθανότητα µετάβασης από την κατάσταση i στην κατάσταση j κατά το -βήµα, δηλαδή µε και α i P[X i] (i,2, ) () P[X j X - i] (i, j, 2, ) (, 2, ), () θα έχουµε για την εξέλιξη (διαδροµή, τροχιά) {Χ ν i ν : ν,,, } ενός Μαρκοβιανού Συστήµατος P[Χ ν i ν : ν,,, ] P[X i ] P [X ν ν i ν X ν i ν ] α i i ν ν i ( ) ν (2) ν Το διάνυσµα-γραµµή () µε στοιχεία j () α j (j, 2, ) ονοµάζεται κατανοµή αρχικών καταστάσεων και οι τετραγωνικοί πίνακες P() µε στοιχεία () (i, j, 2, ) και (, 2, ) ονοµάζονται Πίνακες Πιθανοτήτων Μετάβασης Μια µεγάλη κατηγορία Μαρκοβιανών αλυσίδων είναι εκείνη κατά την οποία οι Πίνακες πιθανοτήτων µετάβασης P() P (, 2, ), δεν εξαρτώνται δηλαδή από τον χρόνο Σ αυτή την περίπτωση λέµε ότι έχουµε µια οµογενή Μαρκοβιανή 5

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες αλυσίδα Σε µια οµογενή ΜΑ θα έχουµε συνεπώς χρονικά αναλλοίωτες τις πιθανότητες µετάβασης, δηλαδή () (, 2, ) χωρίς φυσικά αυτό να σηµαίνει ότι και οι πιθανότητες P[X j] παραµένουν χρονικά αναλλοίωτες Για την εξέλιξη {Χ ν i ν : ν,,, } µιας οµογενούς Μαρκοβιανής αλυσίδας {Χ :,, 2, } µε κατανοµή αρχικών καταστάσεων () α και πιθανότητες µετάβασης θα έχουµε P[X j X - i] (i, j, 2, ) (, 2, ) (3) i ν ν ν ν ν ν () P[X ν i ν : ν,,, ] i i α i i i (4) Είναι προφανές ότι το άθροισµα των στοιχείων του διανύσµατος () ( (), 2 (), ) δίνει τη µονάδα Το ίδιο επίσης ισχύει και για το άθροισµα των στοιχείων κάθε γραµµής του στοχαστικού πίνακα P Έχουµε δηλαδή και () j j (i, 2, ) j (5α) (5β) Κάθε διάνυσµα-γραµµή () () µε µη αρνητικά στοιχεία (j, 2, ) τα οποία ικανοποιούν την (5α) αποτελεί κατανοµή αρχικών καταστάσεων Κάθε τετραγωνικός πίνακας P µε µη αρνητικά στοιχεία τα οποία ικανοποιούν την (5β) ονοµάζεται Στοχαστικός και αποτελεί Πίνακα Πιθανοτήτων Μετάβασης µιας Μαρκοβιανής αλυσίδας Ότι ακολουθεί αφορά αποκλειστικά Οµογενείς Μαρκοβιανές αλυσίδες και συνεπώς όταν µιλάµε για Μαρκοβιανή αλυσίδα θα εννοούµε οµογενή Παράδειγµα Ηµέρες χαµηλής/υψηλής βροχόπτωσης Κατά τη χειµερινή περίοδο µια ηµέρα χαµηλής βροχόπτωσης ακολουθείται από ηµέρα υψηλής βροχόπτωσης µε πιθανότητα α ενώ µια ηµέρα υψηλής βροχόπτωσης ακολουθείται από ηµέρα χαµηλής βροχόπτωσης µε πιθανότητα β Ο πίνακας πιθανοτήτων µετάβασης είναι: Χ Υ P X α α Y β β j 52

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Παράδειγµα 2 Απλός τυχαίος περίπατος Ο απλός τυχαίος περίπατος {Χ :, 2, } θετικού βήµατος Ζ µε πιθανότητα και αρνητικού βήµατος Z - µε πιθανότητα q αποτελεί µια Μαρκοβιανή αλυσίδα Με χώρο καταστάσεων το {, -2, -,,, 2, } ο πίνακας πιθανοτήτων µετάβασης έχει στοιχεία για j i ±, i,i+ - q και q i,i-, i Έχουµε συνεπώς πίνακα πιθανοτήτων µετάβασης: q q q P Παράδειγµα 3 Απλός τυχαίος περίπατος µε απορροφητικές καταστάσεις Με χώρο καταστάσεων {-a, -a+,, -,,,, b-, b}, τις καταστάσεις -a και b απορροφητικές και πιθανότητα θετικού βήµατος ο πίνακας πιθανοτήτων µετάβασης είναι: -a b P a q q q q b 53

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες 32 ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ ΥΨΗΛΟΤΕΡΗΣ ΤΑΞΗΣ Σε µια ΜΑ {Χ :,, 2, } µε πίνακα πιθανοτήτων µετάβασης P οι πιθανότητες (i, j, 2, ) αποτελούν τις πιθανότητες µετάβασης από την κατάσταση i στην κατάσταση j σε ένα βήµα Ως εκ τούτου ονοµάζονται επίσης πιθανότητες µετάβασης ης τάξης Ο όρος µετάβαση δεν χρησιµοποιείται µε την στενή έννοια του όρου κατά την οποία οι καταστάσεις i και j πρέπει να είναι διαφορετικές Αντίθετα, τίποτα από τα προηγούµενα δεν αποκλείει να έχουµε πιθανότητα ii > και συνεπώς το σύστηµα να παραµένει στην ίδια κατάσταση για µια ακόµη χρονική περίοδο Με εφαρµογή του Θεωρήµατος Ολικής Πιθανότητας είναι δυνατόν να προσδιορίσουµε τις δεσµευµένες πιθανότητες υψηλότερων τάξεων που ορίζονται από τη σχέση P[X k j X i] P[X + k j X i] (k, 2, ) (2) (k) γνωστές ως πιθανότητες µετάβασης k-τάξεως Υπενθυµίζεται ότι οι ως άνω πιθανότητες δεν εξαρτώνται από το διότι η ΜΑ θεωρείται Οµογενής Είναι φανερό ότι ισχύει k ( ) για κάθε i, 2, και k,2, j Πριν προχωρήσουµε στον προσδιορισµό των παραπάνω πιθανοτήτων αποδεικνύουµε το παρακάτω Θεώρηµα διάστασης τότε το γινόµενο P Εάν P k (k, 2,, m) είναι στοχαστικοί πίνακες της ίδιας m P k k είναι στοχαστικός πίνακας Απόδειξη Αρκεί να αποδείξουµε ότι ισχύει για m 2 Έστω Q και R δύο στοχαστικοί πίνακες της ίδιας διάστασης και P QR Έχουµε και q r (i, j, 2, ) ν iν νj q iν r νj q iν r νj q iν{ r νj} q iν (i, 2, ) j j ν ν j ν j ν Πόρισµα Αν ο πίνακας P είναι στοχαστικός τότε και ο πίνακας P είναι στοχαστικός 54

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Σχετικά µε τις πιθανότητες µεταβάσεων k-τάξεως είναι προφανές ότι ισχύουν οι αναδροµικές εξισώσεις και (k) (k ) iν νj (k 2, 3, ) (22α) ν (k) (k ) iν νj (k 2, 3, ) (22β) ν Συµβολίζοντας µε P (k) (k) τον πίνακα µε στοιχεία τα µπορούµε να γράψουµε τις παραπάνω δύο εξισώσεις υπό µορφή πινάκων ως ακολούθως: και ( k) (k ) P P P (k 2, 3, ) (23α) P (k ) P P (k 2, 3, ) (23β) ( k) Οι αναδροµικές σχέσεις (22α) και (23α) είναι γνωστές ως οπισθοδροµικές (backward) εξισώσεις Chama-Kolmogorov και οι αναδροµικές σχέσεις (22β) και (23β) ως προδροµικές (forward) εξισώσεις Chama-Kolmogorov καθόσον στις µεν (22α) και (23α) έχουµε ανάλυση η οποία αναφέρεται στο απώτερο παρελθόν και συγκεκριµένα στο πρώτο βήµα κατά το οποίο έχουµε τη µετάβαση (i ν), στις δε (22β) και (23β) έχουµε ανάλυση η οποία αναφέρεται στο πιο προχωρηµένο στάδιο και συγκεκριµένα στο τελευταίο βήµα κατά το οποίο έχουµε µετάβαση (ν j) µε ν, 2, Επειδή για k έχουµε θα έχουµε και (i, j, 2, ) () P ( ) P Συνεπώς από οποιαδήποτε από τις δύο σχέσεις (23α), (23β) προκύπτει ότι Ισχύει συνεπώς το παρακάτω (k) k P P (k, 2, ) (24) Θεώρηµα 2 Οι πιθανότητες µετάβασης k-τάξεως του πίνακα P k (k) δίνονται από τα στοιχεία 55

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Η πιθανότητα (k) µπορεί επίσης να ερµηνευθεί ως η δεσµευµένη πιθανότητα η ΜΑ {Χ :,, 2, } να βρίσκεται στην κατάσταση j, όχι κατ ανάγκη για πρώτη φορά, κατά τη χρονική στιγµή t k µε δεδοµένο ότι έχει ξεκινήσει από την κατάσταση i Επειδή τώρα έχουµε () δ για για i j i j, µπορούµε να θέσουµε P ) P I (, µε Ι τον ταυτοτικό πίνακα της ίδιας διάστασης µε τον P Έτσι οι σχέσεις (22) και (23) ισχύουν και για k Οµοίως για τη σχέση (24) έχουµε: P ( ) P για,, 2, (25) Γενικεύσεις των αποτελεσµάτων (22) έως (25) αποτελούν οι σχέσεις που ακολουθούν και υπό µορφή πινάκων (m+ ) (m) () iν νj (m,,, 2, ) (26) ν ( m+ ) (m) () + m P P P P (m,,, 2, ) (27) Με εφαρµογή και πάλι του Θεωρήµατος Ολικής Πιθανότητας και της (25) έχουµε ( ) το παρακάτω αποτέλεσµα σχετικά µε τις αδέσµευτες πιθανότητες P[ X j], j να βρίσκεται δηλαδή το ΜΣ {Χ :,, 2, } στη κατάσταση j κατά τη χρονική στιγµή t Οι εν λόγω πιθανότητες αποτελούν τα στοιχεία του διανύσµατος-γραµµή () το οποίο ονοµάζεται κατανοµή καταστάσεων σε χρόνο Θεώρηµα 3 Η κατανοµή καταστάσεων σε χρόνο δίνεται από τη σχέση ( ) ( ) P (,, 2, ) (28) Απόδειξη Πράγµατι για τις αδέσµευτες πιθανότητες ( ) j P[ X j] έχουµε: () () () (j, 2, ) (,, 2, ), j ν ν νj η οποία υπό µορφή πινάκων γράφεται 56

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες ( ) ( ) ( ) P (,, 2, ), Εισάγοντας τώρα στην παραπάνω σχέση την (25) προκύπτει η (28) 33 ΣΤΟΧΑΣΤΙΚΟΙ ΠΙΝΑΚΕΣ ΠΕΠΕΡΑΣΜΕΝΗΣ ΙΑΣΤΑΣΗΣ : ΣΤΑΣΙΜΗ ΚΑΤΑΝΟΜΗ Θα ασχοληθούµε τώρα µε ΜΑ στις οποίες το σύνολο καταστάσεων S είναι πεπερασµένο µε s έστω στοιχεία Ο πίνακας πιθανοτήτων µεταβάσεων ης τάξεως P θα είναι συνεπώς ένας τετραγωνικός στοχαστικός πίνακας s s Θεώρηµα Εάν ο χώρος καταστάσεων S είναι ένα πεπερασµένο σύνολο µε το πλήθος στοιχείων s τότε για τις ιδιοτιµές του λ j (j,, s) του πίνακα πιθανοτήτων µεταβάσεων P ισχύει: λ j (j, 2,, s) (3) Απόδειξη Έστω λ µια οποιαδήποτε ιδιοτιµή του P µε αντίστοιχο ιδιοδιάνυσµα x (x,, x s ) T Έχουµε συνεπώς P x λ x Έστω τώρα x m max{ x,, x s } Αναφερόµενοι στο m-στοιχείο του διανύσµατος λx θα έχουµε από την παραπάνω σχέση: s s s s x λ x λx x x x x m m mj j mj j mj m m mj m j j j j και συνεπώς το ζητούµενο Θεώρηµα 2 Κάθε στοχαστικός πίνακας P έχει τη µονάδα ως ιδιοτιµή µε αντίστοιχο ιδιοδιάνυσµα το e (,, ) T s Απόδειξη Προφανής, αφού για κάθε i έχουµε και συνεπώς P e e j Σχετικά µε τη συµπεριφορά της κατανοµής καταστάσεων () χρόνο ισχύει το παρακάτω: (,, ) () () s σε Θεώρηµα 3 Έστω P στοχαστικός πίνακας s s µε διαφορετικές ιδιοτιµές λ j (j,, s) και µε λ j < για j > Τότε υπάρχει το όριο 57

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες lim () (π,, π s ) T για (32) Πριν προχωρήσουµε στην απόδειξη του θεωρήµατος αυτού θα µελετήσουµε περαιτέρω το Παράδειγµα της προηγούµενης Ενότητας Παράδειγµα Έστω ΣΑ {Χ :, 2, } µε δύο καταστάσεις και µε στοχαστικό πίνακα α P β α β (33) µε α, β Εάν α β, η ΣΑ {Χ :, 2, } µεταπηδά σε κάθε βήµα της από την κατάσταση στην κατάσταση 2 και από την κατάσταση 2 στην κατάσταση Συνεπώς σε άρτιο αριθµό βηµάτων 2m, έστω, βρίσκεται πάντα στην κατάσταση από την οποία ξεκίνησε ενώ σε περιττό αριθµό βηµάτων 2m + θα βρίσκεται στην εναλλακτική κατάσταση Οι δύο καταστάσεις συνεπώς και 2 επανεµφανίζονται διαρκώς ανά δύο βήµατα (περιοδικές καταστάσεις µε περίοδο d 2) Εάν πάλι α β η ΣΑ θα βρίσκεται πάντα στην κατάσταση από την οποία ξεκίνησε (απορροφητικές καταστάσεις) Ας θεωρήσουµε τώρα ότι το ζεύγος (α, β) (, ), (, ) Τούτο σηµαίνει ότι για τη δεύτερη ιδιοτιµή, λ έστω, του στοχαστικού πίνακα P έχουµε λ α β ± και ιδιαίτερα λ < (από το Θεώρηµα 2 η πρώτη ιδιοτιµή του P είναι η µονάδα) Οι δύο ιδιοτιµές συνεπώς του P είναι διαφορετικές µεταξύ τους Τούτο σηµαίνει ότι ο πίνακα P αναλύεται ως ακολούθως: P R R, (34) λ όπου οι στήλες r και r 2 του R ικανοποιούν αντίστοιχα τις εξισώσεις P r i λ i r i (i, 2) µε λ και λ 2 λ α β Από το Θεώρηµα 2 έχουµε r e (, ) T, ενώ η δεύτερη λύση είναι r 2 (α, -β) Τ Εφαρµόζοντας την ανάλυση (34) λαµβάνουµε ή διαφορετικά P R R, λ 58

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες β α λ α α P + α + β, (35) α + β β α β β και επειδή λ < θα έχουµε για µε π π β α 2 π lim P, (36) α + β β α π π2 π β α [ π, π ] π 2, α + β α + β (37) Από την (28) τώρα λαµβάνουµε για την οριακή κατανοµή καταστάσεων (διάνυσµα γραµµή) Συγκεκριµένα έχουµε () () lim lim P π (38) Από τα αποτελέσµατα (36) και (38) βλέπουµε ότι οι γραµµές του ορίου lim P για : (α) συµπίπτουν µεταξύ τους, (β) ταυτίζονται µε την οριακή κατανοµή καταστάσεων lim () π και (γ) η τελευταία είναι ανεξάρτητη από την κατανοµή αρχικών καταστάσεων () Επίσης από τις (33) και (36) διαπιστώνουµε ότι η οριακή κατανοµή καταστάσεων π ικανοποιεί την εξίσωση: π P π, (39) αποτελεί δηλαδή το αριστερό ιδιοδιάνυσµα (γραµµή) του πίνακα πιθανοτήτων µεταβάσεων P το οποίο είναι κανονικοποιηµένο, µε την έννοια ότι το άθροισµα των στοιχείων του δίνει τη µονάδα, και αντιστοιχεί στην πρώτη ιδιοτιµή λ Επιστρέφουµε τώρα στην απόδειξη του Θεωρήµατος 3 Απόδειξη Αφού ο στοχαστικός (s s)-πίνακας P έχει διαφορετικές ιδιοτιµές γράφεται υπό την µορφή (διαγωνιοποιείται) P R Λ R -, όπου Λ διαγώνιος (s s)-πίνακας µε στοιχεία τις ιδιοτιµές λ, λ 2,, λ s του P και R ένας αντιστρέψιµος (s s)-πίνακας µε στήλες τα αντίστοιχα ιδιοδιανύσµατα του P Ως εκ τούτου θα έχουµε 59

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες P R Λ R - λ R λs 2 R ή διαφορετικά P R Λ R - λ R λs 2 R (3) Επειδή εξ υποθέσεως έχουµε λ j < για j >, παίρνοντας τα όρια για η (3) συνεπάγεται ότι lim P R(lim Λ ) R - R R Π (3) Συµβολίζοντας τώρα µε r τα στοιχεία του πίνακα R -, θέτοντας δηλαδή 2 s r r r R - { r 2 2 2s r r r } s s2 ss r r r, έχουµε Π lim P R R r r r r r r 2 s 2 s r2 r 22 r 2s r r r s s2 ss 6

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες 2 s rr rr rr 2 s r2r r2r r2r 2 s rr s rr s rr s Ο οριακός πίνακας Π, ως όριο στοχαστικών πινάκων, οφείλει να είναι στοχαστικός και συνεπώς τα στοιχεία του π r i r j (i, j, 2,, s) θα ικανοποιούν τις σχέσεις οπότε έχουµε s π (i, 2,, s), j s j i c j r { r } Για συνεπώς έχουµε δηλαδή r r r (i, 2,, s) π π π 2 s 2 s 2 s r r r π π 2 π s lim, P c 2 s r r r π π 2 π s Π (π,, π s ) e π (32) µε π διάνυσµα-γραµµή που δίνεται από τη σχέση και 2 s π c(r, r,, r ) (33) s j r } c { j Βλέπουµε πάλι ότι όλες οι γραµµές του οριακού πίνακα Π συµπίπτουν µεταξύ τους Επιπρόσθετα η οριακή κατανοµή καταστάσεων είναι 6

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες P π, (34) () () 2 s lim lim c(r, r,, r ) τα στοιχεία δηλαδή του π είναι εκείνα της πρώτης γραµµής του πίνακα R -, κανονικοποιηµένα ώστε το άθροισµα τους να είναι Η πρώτη γραµµή του R - όµως αποτελεί το αριστερό ιδιοδιάνυσµα του P που αντιστοιχεί στην ιδιοτιµή λ Ως εκ τούτου η οριακή κατανοµή π ικανοποιεί την εξίσωση π P π (35) Από την παραπάνω σχέση συµπεραίνουµε ότι αν ως αρχική κατανοµή καταστάσεων () είχαµε την οριακή κατανοµή π, τότε για την κατανοµή καταστάσεων σε χρόνο θα είχαµε: () π P ( πp) P π P π P π, (36) δηλαδή η κατανοµή καταστάσεων θα παρέµενε χρονικά αναλλοίωτη και ίση µε π Ως εκ τούτου η οριακή κατανοµή καταστάσεων π ονοµάζεται στάσιµη κατανοµή ή κατανοµή ισορροπίας Σηµείωση Από την (3) βλέπουµε ότι η σύγκλιση γίνεται µε γεωµετρική ταχύτητα η οποία καθορίζεται από την ιδιοτιµή λ 2, τη µέγιστη κατά µέτρο δηλαδή ιδιοτιµή µετά την λ ( ) Από την αποδεικτική διαδικασία που εφαρµόσαµε στο Θεώρηµα 3 η απαίτηση διαφορετικών ιδιοτιµών δεν είναι αναγκαία Τούτο διότι επιτυγχάνεται πάλι κατάλληλη αναπαράσταση του στοχαστικού πίνακα P µε ανάλογη συµπεριφορά των δυνάµεων P Συγκεκριµένα κάθε στοχαστικός πίνακας P είτε παραµένει ως έχει (µη υποβιβάσιµος) είτε µπορεί να πάρει block-διαγώνια ή block-υποδιαγώνια µορφή (υποβιβάσιµος) ηλαδή ο στοχαστικός πίνακας P γράφεται υπό τη µορφή: Q P, (37) V T µε τον πίνακα V ενδεχοµένως µηδενικό Από την παραπάνω µορφή του P βλέπουµε ότι ο πίνακας Q είναι στοχαστικός και συνεπώς είτε είναι µη υποβιβάσιµος είτε υποβιβάσιµος Στην περίπτωση που είναι υποβιβάσιµος συνεχίζουµε την ως άνω διαδικασία και τελικά η µελέτη του στοχαστικού πίνακα P αναγάγεται στην µελέτη στοχαστικών πινάκων χαµηλότερης διάστασης οι οποίοι είτε είναι µη υποβιβάσιµοι είτε υποβιβάσιµοι της µορφής (37) µε τον στοχαστικό πίνακα Q µη υποβιβάσιµο και τον πίνακα Τ γνήσια υποστοχαστικό, δηλαδή µε άθροισµα στοιχείων µιας τουλάχιστον γραµµής, < Για πίνακες της µορφής (37) έχουµε 62

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Q P, (38) V T και αποδεικνύεται µε βάση τη γνήσια υποστοχαστικότητα του Τ ότι lim T Η ασυµπτωτική, συνεπώς, συµπεριφορά των δυνάµεων του P καθορίζεται από αυτήν των δυνάµεων του µη υποβιβάσιµου πίνακα Q Για την συµπεριφορά των δυνάµεων Q (, 2, ) έχουµε το παρακάτω θεώρηµα από το οποίο αποτελεί γενίκευση του Θεωρήµατος 3 Θεώρηµα 4 (Perro Frobeius) Κάθε µη υποβιβάσιµος στοχαστικός (k k) πίνακας Q έχει d ιδιοτιµές λ ν (ν,, d-) που δίνονται από λ ν ω ν (ν,,, d -) µε ω e 2πi/d και i, (39) δηλαδή τις d µιγαδικές ρίζες της µονάδας, και (m-) ιδιοτιµές λ j πολλαπλότητας k j (j 2,, m) που ικανοποιούν τη συνθήκη m µε k d + k j 2 j λ j < (j 2,, m) (32) Επιπλέον, για τον στοχαστικό πίνακα Q ισχύει η ανάλυση κατά Jorda (Jorda caoical form) σύµφωνα µε την οποία υπάρχει αντιστρέψιµος (k k) πίνακας Η τέτοιος ώστε J(λ ) Η Q Η - J k (λ 2 2), J k (λ m m) (32) όπου J(λ ) τετραγωνικός πίνακας (d d) της µορφής λ λ2 J (λ ) (322) λd και J k j ( λ j ) (j 2,, m) τετραγωνικοί πίνακες (kj k j ) της µορφής 63

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες λ j λ j J k ( λ j j) λ ji+ M (323) λ j Με βάση το ιωνυµικό Τύπο και τη συνθήκη λ j < (j 2,, m) αποδεικνύεται ότι οι δυνάµεις { J ( λ ) } (j 2,, m) µε > k j είναι της µορφής k j j {J k (λ)} λ I + λ M λ M + + k k k και συνεπώς για συγκλίνουν σε µηδενικούς πίνακες της αντίστοιχης διάστασης Από την παραπάνω ανάλυση συµπεραίνουµε ότι όταν το πλήθος των ιδιοτιµών λ ν του Q µε µέτρο τη µονάδα είναι d τότε, ανεξαρτήτως της πολλαπλότητας των άλλων ιδιοτιµών, οι δυνάµεις Q, και κατά συνέπεια οι δυνάµεις P, συγκλίνουν για Όταν d > παρουσιάζεται περιοδικότητα στις επανεµφανίσεις των καταστάσεων και ισχύει το παρακάτω: lim d + ν Q lim Q Π d k ν για (324) Ως εκ τούτου ανάλογη συµπεριφορά παρουσιάζουν οι δυνάµεις του στοχαστικού πίνακα P Συµπεραίνουµε συνεπώς ότι σε κάθε Μαρκοβιανή αλυσίδα θα έχουµε δύο γενικές κατηγορίες καταστάσεων, έστω R και T, µε την κατηγορία T ενδεχοµένως κενή Οι καταστάσεις της κατηγορίας R επανεµφανίζονται επ άπειρον, επαναληπτικές καταστάσεις, και µάλιστα µε περιοδική συµπεριφορά όταν οι ιδιοτιµές του στοχαστικού πίνακα P µε µέτρο τη µονάδα είναι περισσότερες της µιας (d > ), περιοδικές ή κυκλικές καταστάσεις περιόδου d, ενώ οι καταστάσεις της κατηγορίας T σταδιακά παύουν να επανεµφανίζονται παροδικές καταστάσεις Έτσι η ΜΑ εγκλωβίζεται τελικά στην κλάση R των επαναληπτικών καταστάσεων Επίσης, όταν η περίοδος d >, η ακολουθία των πινάκων P (, 2, ) δεν συγκλίνει µε την γνωστή έννοια του όρου αλλά υπό την έννοια της σύγκλισης (324) (όριο κατά Cezaro) 64

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Για περισσότερες λεπτοµέρειες σχετικά µε την ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων πεπερασµένης διάστασης ο αναγνώστης µπορεί να ανατρέξει στο σύγγραµµα: Cox DR & Miller HD, σελ 8-29 Οι ως άνω γενικές κατηγορίες, υποβιβάσιµων και µη υποβιβάσιµων Μαρκοβιανών αλυσίδων, επαναληπτικών και παροδικών καταστάσεων, περιοδικών και µη περιοδικών καταστάσεων, θα εξεταστούν διεξοδικά στα πλαίσια της µελέτης των Μαρκοβιανών αλυσίδων µε άπειρο, αλλά αριθµήσιµο, πλήθος καταστάσεων αφού πρώτα εισάγουµε τις απαιτούµενες βασικές έννοιες και ορισµούς Παράδειγµα 2 Έστω ΣΑ {Χ :, 2, } µε τρεις καταστάσεις και µε στοχαστικό πίνακα Ε Ε 2 Ε 3 E α α P E 2 β β E γ γ γ γ 3 2 2 µε < α, β, γ + γ 2 < Εδώ οι καταστάσεις Ε και Ε 2 επανεµφανίζονται επ άπειρον ενώ η κατάσταση Ε 3 ( ) σταδιακά θα παύσει να επανεµφανίζεται αφού έχουµε ( i, 2) και i 3 ( ) 33 { γ γ2} για Για α β οι καταστάσεις και 2 θα επανεµφανίζονται διαδοχικά η µια µετά την άλλη αφού παρέλθει κάποιο χρονικό διάστηµα Παράδειγµα 3 Ο παρακάτω στοχαστικός πίνακας αφορά την ποσότητα ύδατος σε δεξαµενή ενός δικτύου ύδρευσης κάθε πρωί Ανάλογα µε την ποσότητα ύδατος που υπάρχει η δεξαµενή θωρείται ότι βρίσκεται στην κατάσταση Ε όταν περιέχει µικρή ποσότητα, στην Ε 2 όταν περιέχει µέτρια ποσότητα, στην Ε 3 όταν περιέχει υψηλή ποσότητα και στην Ε 4 όταν είναι πλήρης Να προσδιοριστεί η κατανοµή ισορροπίας αν υπάρχει Ε Ε 2 Ε 3 Ε 4 E 2 4 3 E 2 3 4 2 P E 2 4 4 3 E 4 5 5 Με βάση την (35) συµπεραίνουµε ότι αν υπάρχει κατανοµή ισορροπίας π αυτή θα ικανοποιεί την εξίσωση 65

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες σε συνδυασµό µε την συνθήκη π P π, 4 π i i Έχουµε συνεπώς το σύστηµα των εξισώσεων π 2 8π 2π 3 7π 2-4π 5π 4 6π 3-4π 2-3π π + π 2 + π 3 + π 4 από το οποίο προκύπτει ότι π 2 8π, π 3 26π και π 4 (2/5)π µε π 5/296, οπότε η κατανοµή ισορροπίας είναι: π (5/296, 4/296, 3/296, 2/296) 33 Μοντέλο ιάχυσης Ehrefest Πορώδης µεµβράνη χωρίζει ένα δοχείο σε δύο τµήµατα Α και Β της αυτής χωρητικότητας Εντός του δοχείου υπάρχουν c µόρια ενός αερίου τα οποία διαπερνούν τη µεµβράνη από το τµήµα Α στο τµήµα Β και αντίστροφα Θεωρούµε ότι ανά µονάδα χρόνου (ενός millisecod πχ) ένα µόριο µετακινείται από το ένα τµήµα στο άλλο µε πιθανότητα ανάλογη του αριθµού των µορίων που βρίσκονται στο ίδιο τµήµα Μας ενδιαφέρει να βρούµε τις πιθανότητες καταστάσεων -τάξεως καθώς και την κατανοµή ισορροπίας, αν υπάρχει, του αριθµού των µορίων που βρίσκονται στο τµήµα Α Έστω Χ o αριθµός των µορίων στο τµήµα Α κατά τη χρονική στιγµή t Έχουµε συνεπώς να µελετήσουµε τη συµπεριφορά της ΣΑ {X :,, 2, } Η εν λόγω ΣΑ είναι Μαρκοβιανή µε χώρο καταστάσεων S {,, 2,, c} εχόµενοι ότι κατά τη χρονική στιγµή t έχουµε αριθµό µορίων στο τµήµα Α Χ i, κατά τη χρονική στιγµή t + θα έχουµε: i µε πιθανότητα i/c + (325) i + µε πιθανότητα -i/c X Έχουµε συνεπώς µια (οµογενή) Μαρκοβιανή Αλυσίδα µε πίνακα πιθανοτήτων µετάβασης 66

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες / c / c P 2 / c 2 / c (326) / c ηλαδή, i,i- i/c, i,i+ - i/c (i,, 2,, c) και µηδενικές τις υπόλοιπες πιθανότητες µετάβασης Σηµείωση Μπορεί να επιβεβαιώσει κανείς, αν και όχι εύκολα, ότι για τις ιδιοτιµές λ j του ως άνω στοχαστικού πίνακα P ισχύουν τα παρακάτω: λ, λ 2 - και λ j < για j 3,, c+, έχουµε δηλαδή εδώ d 2 (µιγαδικές) ρίζες της µονάδας Λαµβάνοντας τις γεννήτριες πιθανοτήτων f (s) των τµ Χ µε δεδοµένο ότι Χ x έχουµε: f (s) [s X X x ] (,, 2, ) (327) E Κάνοντας δέσµευση σε αµέσως προηγούµενη κατάσταση έχουµε για την f + (s) X f + (s) [E[s + X, X x ] X x ] (,, 2, ) E και λόγω της Μαρκοβιανής ιδιότητας Όµως και συνεπώς Οπότε, E[s X f + (s) [E[s + X ] X x ] (,, 2, ) (328) E i i + s + { }s c c (,, 2, ) X i i+ E[s X i] X X X ] s + { } s c c µε την τµ Χ {,, 2,, c} X + X X + (,, 2, ) 67

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες E[s X + 2 X X X ] {( s )X s + (cs)s } (329) c Παίρνοντας την µέση τιµή της παραπάνω ποσότητας µε την δέσµευση ότι Χ x θα έχουµε: 2 X X f + (s) {( s )E[X s X x ] + (cs)e[s X x ]} c (33) Όµως και d ds f f (s) [s X X x ] (s) E[X E s X X x ], oπότε η (33) γράφεται 2 ' f + (s) {( s )f (s) + (cs)f (s)} (,, 2, ) (33) c µε αρχική συνθήκη την X x f (s) E [s X x ] s (332) Η ως άνω διαφοροεξίσωση µπορεί να λυθεί διαδοχικά για, 2,, και να επιβεβαιωθεί αν υπάρχει ή όχι το όριο για Αναπτύσσοντας την οριακή c k γεννήτρια σε δυναµοσειρά a + aks έχουµε: c k k f(s) lim f (s) a + a s k (333) Οι συντελεστές a k της δυναµοσειράς δίνουν τις οριακές πιθανότητες P[X k X x ] (k,,, c) Επίσης, παραγωγίζοντας ως προς s τα µέλη της (333) και θέτοντας s προκύπτουν αναδροµικές σχέσεις από τις µπορούµε να υπολογίσουµε τη µέση τιµή M E[X X x ] καθώς και τη διασπορά V Var[X X x ] (, 2, ) (βλ άσκηση 325) Μια διαφορετική προσέγγιση στο πρόβληµα του προσδιορισµού της οριακής κατανοµής είναι η παρακάτω: 68

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Έστω f(s) limf (s) για Τότε η (33) γράφεται ή διαφορετικά, ' 2 f(s) {( s )f (s) + (cs)f (s)} c 2 ' ( s )f (s) c( s)f (s)} Οπότε µε s - θα έχουµε ' f f (s) c (s) + s από την οποία προκύπτει µετά από ολοκλήρωση και συνεπώς l f(s) cl ( + s) + k f (s) + c A{ s} (334) Παίρνοντας τα όρια των δύο µελών για s λαµβάνουµε 2 c A, οπότε Α 2 -c Εισάγοντας την παραπάνω τιµή του Α στην (334) έχουµε f (s) + 2 2 c { s} (335) Η τελευταία είναι η γεννήτρια πιθανοτήτων της ιωνυµική κατανοµής µε παραµέτρους c και ½ Έχουµε συνεπώς ως κατανοµή ισορροπίας την c P[X k X x ] c k (336) 2 Βλέπουµε ότι η ως άνω κατανοµή δεν εξαρτάται από την αρχική κατάσταση x, και αυτό είναι σωστό αφού έτσι πρέπει να είναι µια κατανοµή ισορροπίας Όµως παρατηρούµε την εξής αντινοµία Όταν έχουµε αρχική κατάσταση {Χ k} (k,,, c) η πιθανότητα να βρεθεί στην ίδια θέση σε περιττό αριθµό βηµάτων είναι πάντα µηδέν και συνεπώς η υπακολουθία πιθανοτήτων {P[X 2+ k X k] :, 2, } έχει όριο το µηδέν Η αντινοµία αυτή οφείλεται στην περιοδικότητα της Μαρκοβιανής αλυσίδας και αίρεται αν θεωρήσουµε την οριακή κατανοµή (336) ως όριο κατά Cezaro µε d 2 (βλ (324)) Οι ιωνυµικές πιθανότητες (336) ερµηνεύονται πλέον ως ποσοστά του χρόνου κατά τον οποίο η Μαρκοβιανή αλυσίδα βρίσκεται στις καταστάσεις k,,, c αντίστοιχα 69

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες 34 ΤΑΞΙΝΟΜΗΣΗ ΚΑΤΑΣΤΑΣΕΩΝ Έστω ΜΑ {Χ :,, 2, } µε χώρο καταστάσεων {s, s 2, } και πίνακα πιθανοτήτων µετάβασης P Λέµε ότι η κατάσταση s i οδηγεί στην s j, και ( ) γράφουµε s i s j, όταν υπάρχει τέτοιο ώστε > Για την κατάσταση sj τώρα είναι δυνατόν να έχουµε επίσης ότι s j s i Σ αυτή την περίπτωση µιλάµε για (αµφίδροµη) επικοινωνία µεταξύ των καταστάσεων s i και s j Ορισµός ύο καταστάσεις s i και s j λέγονται αµφίδροµα επικοινωνούσες, ή απλώς επικοινωνούσες, και γράφουµε s i s j, όταν υπάρχουν ακέραιοι m και τέτοιοι ώστε () > και >, m, (4) (m) ji Η ως άνω έννοια της επικοινωνίας µεταξύ δύο καταστάσεων αποτελεί µια σχέση ισοδυναµίας πάνω στο S, έχει δηλαδή τις παρακάτω τρεις ιδιότητες: (α) ανακλαστικότητα, (β) συµµετρικότητα και (γ) µεταβατικότητα Παρότι οι ιδιότητες αυτές φαίνονται προφανείς, είναι χρήσιµο να τις επιβεβαιώσουµε (α) Ανακλαστικότητα: Για κάθε κατάσταση s i έχουµε s i s i () ii Συνεπώς (β) Συµµετρικότητα: (γ) Μεταβατικότητα: Για κάθε ζεύγος καταστάσεων s i, s j µε s i s j εξ ορισµού ότι υπάρχουν ακέραιοι m τέτοιοι ώστε (m ) > και ( ) > Τότε όµως υπάρχουν επίσης ακέραιοι m2 ( ji ) και 2 ( m ) τέτοιοι ώστε 2 ( ) > Άρα sj s i 2 (m ) > και Για κάθε τριάδα καταστάσεων s i, s j και s k µε s i s j και s j s k εξ ορισµού υπάρχουν ακέραιοι m, m 2 και, 2 τέτοιοι (m ) (m 2 ) ( ) ( 2 ) >, jk > και ji >, kj > Τότε όµως και > (m + 2 (m (m 2 (m (m 2 ik iν νk jk ν > (+ 2) ( 2) ( ) (m 2) (m ) ki kν νi kj ji ν ji Συνεπώς s i s k 7

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Από την παραπάνω σχέση ισοδυναµίας παράγεται µια διαµέριση του συνόλου των καταστάσεων S σε κλάσεις ισοδυναµίας, ή καλύτερα, κλάσεις επικοινωνουσών καταστάσεων C, C 2, Σε κάθε µια από τις κλάσεις αυτές οι καταστάσεις επικοινωνούν αµφίδροµα αλλά µεταξύ καταστάσεων διαφορετικών κλάσεων δεν µπορεί να υπάρχει αµφίδροµη επικοινωνία διότι τότε οι κλάσεις τους θα αποτελούσαν µία κλάση Συγκεκριµένα για δύο καταστάσεις, έστω s i και s j, που ανήκουν σε δύο διαφορετικές κλάσεις επικοινωνουσών καταστάσεων C I και C J αντίστοιχα ισχύει ένα και µόνο από τα παρακάτω (α) s i s j και s j / s i, (β) s j s i και s i / s j, (γ) s i / s j και s j / s i Για τις αντίστοιχες κλάσεις καταστάσεων C I και C J συνεπώς έχουµε: (α ) C I C J και C J / C I όταν ισχύει η (α), (β ) C J C I και C I / C J όταν ισχύει η (β), (γ ) C I / C J και C J / C I όταν ισχύει η (γ) Από τις παραπάνω σχέσεις προκύπτει µια µερική διάταξη των κλάσεων επικοινωνουσών καταστάσεων Ορισµός 2 Για δύο κλάσεις επικοινωνουσών καταστάσεων C I και C J λέµε ότι η C I υπερέχει της C J, και γράφουµε C I C J, ή ισοδύναµα C J C I, όταν η C I C J και C J / C I Από τη σχέση (γ ) είναι φανερό ότι ενδέχεται να υπάρχουν κλάσεις οι οποίες δεν διατάσσονται µεταξύ τους (µερική διάταξη) Ενδέχεται επίσης να υπάρχουν κλάσεις οι οποίες δεν οδηγούν σε καµία άλλη κλάση και ως εκ τούτου ονοµάζονται κλειστές Ορισµός 3 Μια κλάση επικοινωνουσών καταστάσεων C λέγεται κλειστή (ως προς την έξοδο) όταν δεν οδηγεί σε καµία άλλη κλάση, διαφορετικά λέγεται ανοικτή Όταν µια κατάσταση αποτελεί από µόνη της µια κλειστή κλάση ονοµάζεται απορροφητική Με βάση τον παραπάνω ορισµό εάν µια κατάσταση s i, έστω, ανήκει σε µια κλειστή κλάση C, τότε για κάθε άλλη κατάσταση s j που δεν ανήκει στην C θα έχουµε ( ) () για κάθε και συνεπώς P ª 7

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Αντίστροφα, εάν οι πιθανότητες µετάβασης για όλα τα ζεύγη καταστάσεων (s i, s j ) µε s i εντός µιας κλάσης C και s j εκτός αυτής, τότε η κλάση C είναι κλειστή Τούτο διότι έχουµε ik kj (k, 2, ) και από αυτή προκύπτει ότι Έτσι διαδοχικά έχουµε: (2) ik kj για κάθε s i C και s j C k (+ ) () ik kj ( 2, 3, ) k Συνεπώς ( ) (, 2, ) για κάθε s i C και s j C Για δύο µη επικοινωνούσες καταστάσεις s i και s j µια, τουλάχιστον, από τις παρακάτω σχέσεις είναι αληθής: () () ji ji (42) P, P Παράδειγµα Στη ΜΑ µε καταστάσεις Ε i (i,, 5) και στοχαστικό πίνακα E E 2 E 3 E 4 E 5 E α α E 2 P E β γ β γ 3 E 4 δ δ E ε ζ ε ζ 5 (43) µε θετικές πιθανότητες όπου δεν υπάρχει παρατηρούµε τα παρακάτω Η κατάσταση Ε 2 οδηγεί αποκλειστικά στη ίδια, κατά συνέπεια αποτελεί από µόνη της µια κλειστή κλάση, έστω C, και η ίδια είναι απορροφητική Η κατάσταση Ε 4 οδηγεί στην ίδια και στην Ε 2, κατά συνέπεια αποτελεί από µόνη της µια δεύτερη κλάση C 2 ανοικτή προς την κλάση C Η κατάσταση Ε οδηγεί στην ίδια όπως και στην Ε 2 Συνεπώς αποτελεί από µόνη της µια κλάση C 3 ανοικτή προς την κλάση C Οι καταστάσεις Ε 3 και Ε 5 επικοινωνούν (αµφίδροµα) µεταξύ τους αλλά επίσης οδηγούν στην κατάσταση Ε και µέσω αυτής στην Ε 2 Συνεπώς οι καταστάσεις Ε 3, Ε 5 αποτελούν µια τέταρτη κλάση C 4 η οποία είναι ανοικτή προς την κλάση C 3 Έχουµε συνεπώς τέσσερις κλάσεις επικοινωνουσών καταστάσεων και συγκεκριµένα τις κλάσεις: C {Ε 2 }, C 2 {Ε 4 }, C 3 {Ε } και C 4 {Ε 3, Ε 5 } 72

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Από πλευράς (µη αµφίδροµης) επικοινωνίας των κλάσεων έχουµε: C 2 C, C 3 C και C 4 C 3 Από πλευράς διάταξης (ή ιεράρχησης) των κλάσεων έχουµε: C 2 C και C 4 C 3 C Στο παράδειγµα αυτό έχουµε συνεπώς µερική διάταξη των κλάσεων Με βάση την παραπάνω διάταξη των κλάσεων και αναδιάταξη των καταστάσεων, ο πίνακας πιθανοτήτων µεταβάσεων παίρνει την παρακάτω block-υποδιαγώνια µορφή, γνωστή ως κανονική µορφή του P E 2 E 4 E E 3 E 5 E 2 E 4 δ δ P E α α E 3 β γ β γ E ε ζ ε ζ 5 Από την παραπάνω µορφή του πίνακα P είναι φανερό ότι οι καταστάσεις των κλάσεων C 2, C 3 και C 4 θα επανεµφανίζονται όλο και µε µικρότερη πιθανότητα αφού υπάρχουν θετικές πιθανότητες, δ, α και α(β + ε) αντίστοιχα, µε τις οποίες το Μαρκοβιανό σύστηµα µεταπηδά στην κλάση C και παραµένει επ άπειρον εκεί Παράδειγµα 2 Να ταξινοµηθούν οι καταστάσεις των παρακάτω ΜΑ σε κλάσεις και να γίνει ιεράρχηση E E P E E E 2 3 4 5 E E 2 Ε 3 E 4 E 5 4 5 2 3 5 2 6 2 3 5 Παρατηρούµε ότι η κατάσταση Ε 3 δεν οδηγεί παρά µόνο στην ίδια Συνεπώς είναι απορροφητική και αποτελεί από µόνη της µια κλειστή κλάση C {Ε 3 } Οι καταστάσεις Ε, Ε 2 και Ε 5 επικοινωνούν µεταξύ τους αφού η διαδροµή Ε Ε 2 Ε 5 Ε έχει θετική πιθανότητα (5)(5)() 25 Συνεπώς αποτελούν µια δεύτερη κλάση C 2 {Ε, Ε 2, Ε 5 } Επειδή έχουµε Ε 2 Ε 3, η κλάση C 2 C 73

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Η κατάσταση Ε 4 δεν επικοινωνεί µε καµία άλλη κατάσταση, όµως οδηγεί στην κατάσταση Ε 5 της κλάσης C 2, καθώς και στην κατάσταση Ε 3 της C Συνεπώς αποτελεί από µόνη της µια κλάση C 3 µε C 3 C, C 2 Με βάση τα παραπάνω η ιεράρχηση των κλάσεων έχει ως ακολούθως: C 3 C 2 C Αναδιατάσσοντας τις καταστάσεις ο στοχαστικός πίνακας P στην κανονική του µορφή είναι: E E P E E E 3 2 5 4 E 3 E Ε 2 E 5 E 4 4 5 3 2 5 3 5 2 2 6 Από την παραπάνω µορφή του πίνακα P είναι φανερό ότι οι καταστάσεις των κλάσεων C 2 και C 3 θα επανεµφανίζονται όλο και µε µικρότερη πιθανότητα αφού σε κάθε βήµα υπάρχει θετική πιθανότητα απορρόφησης από την κατάσταση Ε 3 Συγκεκριµένα έχουµε ότι η πιθανότητα παραµονής στις κλάσεις C 2 και C 3 για χρόνο, φράσσεται από την γεωµετρικά φθίνουσα ακολουθία µε 9 ( mi{ i3 : i 3}) Μια ΜΑ η οποία αποτελείται µόνο από κλειστές κλάσεις έχει στοχαστικό πίνακα της µορφής P P P 2 P k, (44) όπου κάθε πίνακας P k (k, 2, ) είναι στοχαστικός Οι δυνάµεις ενός πίνακα µε την παραπάνω δοµή έχουν πάλι την ίδια δοµή Συγκεκριµένα: P P 2 P Pk (, 2, ) (45) 74

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες H παραπάνω διαγώνια δοµή του στοχαστικού πίνακα P για µια ΜΑ η οποία αποτελείται µόνο από κλειστές κλάσεις, µας επιτρέπει να µελετήσουµε κάθε κλειστή κλάση χωριστά, σαν να είχαµε δηλαδή διάφορες Μαρκοβιανές αλυσίδες µε κάθε µια να αποτελείται από µία µόνο κλάση επικοινωνουσών καταστάσεων Ορισµός 4 Μία Μαρκοβιανή Αλυσίδα ονοµάζεται µη υποβιβάσιµη (irreducible) εάν έχει µία µόνο κλάση επικοινωνουσών καταστάσεων, το σύνολο S Κατά συνέπεια µια ΜΑ είναι µη υποβιβάσιµη εάν και µόνο εάν όλες οι καταστάσεις επικοινωνούν µεταξύ τους Παράδειγµα 3 Η ΜΑ µε καταστάσεις Ε i (i,, 5) και στοχαστικό πίνακα E E 2 E 3 E 4 E 5 E α α E 2 β β P E3 γ γ E 4 δ δ E5 ε ε µε < α, β, γ, δ, ε < είναι µη υποβιβάσιµη αφού όλες οι καταστάσεις της επικοινωνούν µεταξύ τους Επί παραδείγµατι η διαδροµή Ε Ε 3 Ε 5 Ε 2 Ε 4 Ε έχει πιθανότητα αβγδε > Στην περίπτωση κατά την οποία η ΜΑ είναι υποβιβάσιµη, µε µια τουλάχιστον κλειστή κλάση και µία τουλάχιστον ανοικτή, τότε η ΜΑ αναλύεται σε επί µέρους Μαρκοβιανές αλυσίδες Συγκεκριµένα για κάθε κλειστή κλάση C L (L, 2, ) προσδιορίζουµε όλες τις ανοικτές κλάσεις οι οποίες οδηγούν σ αυτήν ηµιουργούνται έτσι νέοι πίνακες πιθανοτήτων µετάβασης οι οποίοι µπορούν να µελετηθούν ξεχωριστά Έτσι, για µια κλειστή κλάση C L έχουµε: P V2 T22 P L V k Tkk (46) Η πρώτη γραµµή αντιστοιχεί στην κλειστή κλάση C L και οι επόµενες στις ανοικτές κλάσεις C µε C CL για Ι, 2, Η κλειστή κλάση C L έχει πίνακα L I LI πιθανοτήτων µετάβασης τον στοχαστικό πίνακα P Ο πίνακας P L, όπως και οι 75

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες πίνακες Τ kk, (k > ) είναι γενικά υποστοχαστικοί, όµως αυτό δεν δηµιουργεί κανένα πρόβληµα όπως θα δούµε παρακάτω Παράδειγµα 4 Αν θεωρήσουµε ότι ο στοχαστικός πίνακας (43) στο Παράδειγµα έχει α τότε οι κλάσεις C {E 2 } και C 2 {E } είναι κλειστές Από τον στοχαστικό πίνακα P προκύπτουν δύο πίνακες πιθανοτήτων µετάβασης P και P 2 Συγκεκριµένα µε α ο στοχαστικός πίνακας P υπό την κανονική του µορφή είναι από τον οποίο προκύπτουν οι πίνακες: και E 2 E 4 E E 3 E 5 E 2 E 4 δ δ P E, E 3 β γ β γ E ε ζ ε ζ 5 P E E 2 4 E 2 E 4 δ δ E E 3 E 5 E P E β γ β γ 2 3 E ε ζ ε ζ 5 Παρατηρούµε ότι τα στοιχεία κάθε γραµµής των παραπάνω πινάκων έχουν άθροισµα τη µονάδα και συνεπώς είναι στοχαστικοί Σηµείωση Στην περίπτωση που δηµιουργούνται υποστοχαστικοί πίνακες, η υποστοχαστικότητα µπορεί να αρθεί προσθέτοντας µια γραµµή, και µία στήλη αντίστοιχα, που αντιπροσωπεύει το σύνολο όλων των καταστάσεων που έχουν εξαιρεθεί, θεωρούµενo το σύνολο αυτό ως µία απορροφητική κατάσταση Ε ηµιουργείται έτσι ένας νέος πίνακας πιθανοτήτων µετάβασης ο οποίος είναι στοχαστικός και µπορεί να µελετηθεί ξεχωριστά Συγκεκριµένα έχουµε µία νέα ΜΑ µε πίνακα πιθανοτήτων µετάβασης P της µορφής: 76

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες V P V 2 k P V V 2 kl T 22 T kk Η πρώτη γραµµή αντιστοιχεί στην κλάση C {Ε }, η δεύτερη γραµµή αντιστοιχεί αντιστοιχεί στην κλειστή κλάση C L και οι επόµενες στις ανοικτές κλάσεις C µε C CL για Ι, 2,, όπως προηγουµένως L I LI Σε κάθε περίπτωση υποβιβάσιµων ΜΑ απλουστεύοντας την αναπαράσταση των πινάκων µπορούµε να γράψουµε: C T C Q P T V T (47) µε Q στοχαστικό πίνακα Με C συµβολίζουµε το σύνολο των καταστάσεων όλων των κλειστών κλάσεων και µε Τ το σύνολο των καταστάσεων όλων των ανοικτών κλάσεων Επειδή ο πίνακας V δεν µπορεί να είναι µηδενικός, αφού εξ ορισµού έχουµε ότι το σύνολο Τ οδηγεί στο C, έπεται ότι ο πίνακας T είναι υποστοχαστικός Οι δυνάµεις ενός στοχαστικού πίνακα P µε τη δοµή (47) είναι: µε και V V Q P (, 2, 3, ) (48) V T V + VQ + TV (, 2, ) (49) Με βάση την σχέση (48), η ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων P καθορίζεται από την ασυµπτωτική συµπεριφορά των στοχαστικών πινάκων Q, οι οποίοι αφορούν το σύνολο C των καταστάσεων όλων των κλειστών κλάσεων, καθώς και από την ασυµπτωτική συµπεριφορά των υποστοχαστικών πινάκων Τ, οι οποίοι αφορούν το σύνολο Τ των καταστάσεων όλων των ανοικτών κλάσεων Αν και η µελέτη της ασυµπτωτικής συµπεριφοράς πινάκων της παραπάνω µορφής είναι αντικείµενο της επόµενης ενότητας σηµειώνουµε εδώ ότι, όπως και στις ΜΑ 77

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες µε πεπερασµένο πλήθος καταστάσεων έτσι και εδώ, η υποστοχαστικότητα του πίνακα Τ συνεπάγεται ότι Τούτο σηµαίνει ότι Τ για (4) ( ) για κάθε ζεύγος καταστάσεων si, s j που ανήκουν σε ανοικτές κλάσεις Επίσης η (4), σε συνδυασµό µε την (48), συνεπάγεται ότι η κατανοµή καταστάσεων () έχει όλες τις συνιστώσες που αντιστοιχούν σε καταστάσεις ανοικτών κλάσεων να συγκλίνουν στο µηδέν ηλαδή ( ) όταν si Τ ηλαδή το σύνολο Τ έχει σταδιακά περιοριζόµενη πιθανότητα επανεµφάνισης και το Μαρκοβιανό σύστηµα απορροφάται τελικά µέσα στο C Από τα παραπάνω γίνεται φανερό ότι µε βάση την έννοια της (αµφίδροµης) επικοινωνίας µεταξύ καταστάσεων έχουµε δύο βασικές κατηγορίες ΜΑ Η πρώτη είναι η κατηγορία των µη υποβιβάσιµων (irreducible) ΜΑ και η δεύτερη είναι η κατηγορία των υποβιβάσιµων (reducible) ΜΑ Είδαµε επίσης ότι η κατηγορία των υποβιβάσιµων ΜΑ τελικά αναγάγεται σε επί µέρους ΜΑ η κάθε µία εκ των οποίων είτε είναι µη υποβιβάσιµη και συνεπώς µπορεί να µελετηθεί ξεχωριστά, είτε αποτελείται από µια κλειστή, και συνεπώς µη υποβιβάσιµη, κλάση C και ένα σύνολο Τ καταστάσεων ανοικτών κλάσεων Ακολουθούν επί µέρους ταξινοµήσεις των καταστάσεων 34 Επαναληπτικές, Παροδικές και Περιοδικές Καταστάσεις Έστω Τ o χρόνος που παρέρχεται (αριθµός βηµάτων) για να βρεθεί για πρώτη φορά ένα ΜΣ στην κατάσταση j ξεκινώντας από την κατάσταση i Έστω επίσης f η πιθανότητα P[Τ X i] (, 2, ) Έχουµε δηλαδή () j και Τ if { : X j µε X i} (i, j, 2, ) (4) () f P[T X i] (, 2, ), (42α) ή ισοδύναµα () f P[X j, X ν j ( ν,2,, ) X i] (, 2, ) (42β) Η πιθανότητα να διέλθει η ΜΑ κάποια στιγµή από την κατάσταση j έχοντας ξεκινήσει από την κατάσταση i δίνεται συνεπώς από την () f P[T < X i ] f (i, j, 2, ) (43) 78

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Για i j η (43) δίνει την πιθανότητα να επανέλθει η ΜΑ κάποια στιγµή στην κατάσταση i Έχουµε δηλαδή () f ii P[T ii < X i] f ii (i, 2, ) (44) () Η ποσότητα ονοµάζεται πιθανότητα ης µετάβασης (διέλευσης) της ΜΑ f στην (από την) κατάσταση j έχοντας ξεκινήσει από την κατάσταση i Ανάλογα η τυχαία µεταβλητή Τ ονοµάζεται χρόνος ης µετάβασης της ΜΑ {Χ } στην κατάσταση j έχοντας ξεκινήσει από την κατάσταση i Όταν έχουµε i j τότε µιλάµε για την πιθανότητα, αντίστοιχα τον χρόνο, της ης επανόδου στην κατάσταση i Πρέπει να τονίσουµε ότι επειδή µιλάµε για πρώτη µετάβαση σε µια κατάσταση και () πρώτη επάνοδο σε µια κατάσταση έχουµε εξ ορισµού για όλα τα i, j Σηµείωση: Η ποσότητα T αναφέρεται παραπάνω ως τυχαία µεταβλητή καθ υπέρβαση της γνωστής έννοιας του όρου Τούτο διότι δεν γνωρίζουµε αν πράγµατι f ( (i, j, 2, ) Το αντίθετο µάλιστα, όπως θα δούµε σε ) διάφορα παραδείγµατα παρακάτω, πολύ συχνά οι πιθανότητες ) < f έχουν άθροισµα f ( Το πρόβληµα αυτό παύει να είναι ουσιαστικό επιτρέποντας στην τυχαία µεταβλητή Τ να λαµβάνει την τιµή µε, όχι κατ ανάγκη µηδενική, πιθανότητα f Ορισµός Η απεικόνιση Τ: Ω {,, } { } ονοµάζεται χρόνος διακοπής (stoig time) όταν για κάθε το ενδεχόµενο {Τ } εξαρτάται αποκλειστικά από τις τµ {Χ ν : ν,,, } Τούτο σηµαίνει ότι για κάθε {,, } το ενδεχόµενο {Τ } εξαρτάται µόνο από όλο το παρελθόν µέχρι και το παρόν και όχι από το µέλλον Πιο συγκεκριµένα, το ενδεχόµενο {Τ } ανήκει στο σ-πεδίο που παράγεται από τις τµ {Χ ν : ν,,, }, δηλαδή από την εξέλιξη της {Χ ν } µέχρι τη χρονική στιγµή Με βάση τον παραπάνω ορισµό οι χρόνοι ης µετάβασης / επανόδου Τ, όπως και οι χρόνοι ν- οστής διέλευσης από την κατάσταση j, (ν) () f T έστω, αποτελούν χρόνους διακοπής (ν) Επίσης το su{ T : ν, 2, } αποτελεί χρόνο διακοπής Σε αντίθεση, ο χρόνος ( τ τελευταίας µετάβασης / επανόδου T ) su{ : X j } δεν αποτελεί χρόνο (τ) διακοπής αφού το ενδεχόµενο {T } δεν εξαρτάται µόνο από τις τµ {Χ ν : ν,,, } αλλά και από τις µελλοντικές {Χ ν : ν > } 79

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Είναι προφανές ότι το ενδεχόµενο {Τ < } είναι ταυτόσηµο µε το ενδεχόµενο να διέλθει κάποια στιγµή η ΜΑ από την κατάσταση j έχοντας ξεκινήσει από την κατάσταση i, να διέλθει δηλαδή τελικά, αλλά όχι κατ ανάγκη για τελευταία φορά, από την j Σύµφωνα µε την (43) έχουµε τη σχέση αυτή προκύπτει το παρακάτω () < f P[T X i] f Από Θεώρηµα Μια ΜΑ η οποία ξεκινά από την κατάσταση i έχει πιθανότητα να διέλθει από την κατάσταση j τουλάχιστον k φορές ίση µε k P[διέλευσης από την s j τουλάχ k φορές X i] f { f jj } (45) Απόδειξη α τρόπος: Για να διέλθει από την κατάσταση j τουλάχιστον k φορές πρέπει να διέλθει από την κατάσταση αυτή κάποια στιγµή για πρώτη φορά και εν συνεχεία να την επανεπισκεφθεί τουλάχιστον k φορές Το πρώτο έχει πιθανότητα f Λόγω της Μαρκοβιανής ιδιότητας κάθε επόµενη επίσκεψη στην κατάσταση j έχει πιθανότητα f jj Συνεπώς για τις k τουλάχιστον νέες επισκέψεις στην κατάσταση j η πιθανότητα είναι {f jj } k- Το γινόµενο f {f jj } k- δίνει τη ζητούµενη πιθανότητα β τρόπος: Έστω K ο αριθµός διελεύσεων από την κατάσταση j µε εκκίνηση από την κατάσταση i Εφαρµόζοντας διαδοχικά την Μαρκοβιανή ιδιότητα έχουµε: k P[K k] f P[K jj k ] ff jj [K jj k 2] f {f jj} Από το θεώρηµα αυτό προκύπτουν άµεσα τα παρακάτω συµπεράσµατα: (α) (β) (γ) Εάν f ii τότε η κατάσταση i επανεµφανίζεται άπειρες φορές µε πιθανότητα τη µονάδα ηλαδή η κατάσταση i έχει πεπερασµένο πλήθος επανεµφανίσεων µε πιθανότητα µηδέν (αφού για κάθε k έχουµε {f ii } k ) Εάν f ii < τότε η κατάσταση i επανεµφανίζεται άπειρες φορές µε πιθανότητα µηδέν ηλαδή η κατάσταση i έχει πεπερασµένο πλήθος επανεµφανίσεων µε πιθανότητα τη µονάδα (αφού {f ii } k ) Με εκκίνηση από την κατάσταση i οι διελεύσεις από την κατάσταση j γίνονται άπειρες φορές µε πιθανότητα f όταν f jj και πιθανότητα όταν f jj < Ορισµός 2 Η κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται επαναληπτική ή έµµονη (recurret, ersistet) όταν f ii και παροδική (trasiet) όταν f ii < 8

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Θεώρηµα 2 Ισχύει η παρακάτω σχέση () ( ν) ( ν) f jj, 2, (i, j, 2, ) (46) ν Απόδειξη Με αναφορά στο χρόνο ης διέλευσης από την κατάσταση j το ενδεχόµενο {X j} αναλύεται σε ένωση ασυµβιβάστων ενδεχοµένων Συγκεκριµένα έχουµε: ν {X i}{x j} {X i}{x j}{t ν (i, j, 2, ) } Συνεπώς δεσµεύοντας ως προς τον χρόνο της ης διέλευσης έχουµε: από την οποία προκύπτει: P ν P[X j X i] [{ X j}{ T ν} X i], P[X j X i] P [ T ν X i] P[ X j { X i}{ T ν}] (47) ν Για τον πρώτο παράγοντα του γινοµένου µέσα στο παραπάνω άθροισµα εξ ορισµού έχουµε: P [ T (ν, 2, ) (48) ( ν) ν X i] f Για το δεύτερο παράγοντα λόγω της Μαρκοβιανής ιδιότητας διαπιστώνουµε τα παρακάτω: Για ν έχουµε Για ν > ( ) P[X j {X i}{t }] P[X j X j] jj (49) P[X j {X i}{t ν}] P[X j {X i}{x k j, k,, ν }{X ν j}] και συνεπώς ( ν) P[X j {X i}{t ν}] P[X j X ν j] jj (42) Εισάγοντας τις σχέσεις (48) - (42) στην (47) προκύπτει η (46) 8

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Είναι φανερό ότι µέσω της (46) η ακολουθία { : } δίνει την ακολουθία () ( ) () { : } και αντίστροφα, η ακολουθία { : } δίνει την { : } Η αντίστροφη σχέση είναι η παρακάτω: () f () () ( ν) ( ν) f f jj, 2, (i, j, 2, ) (42) ν () Υπενθυµίζεται ότι δ Σηµείωση Το δεξιό µέλος της (46) εκφράζει την συνέλιξη µεταξύ των ( ) () ακολουθιών { :, 2, } και { :,, 2, }, είναι δηλαδή µια f ακολουθία {q} {f ) * { } Όµως η γεννήτρια συνάρτηση της συνέλιξης δύο ακολουθιών ταυτίζεται µε το γινόµενο των αντιστοίχων γεννητριών (η απόδειξη είναι σχετικά εύκολη) Κατά συνέπεια, αν µε Q, F και P jj συµβολίσουµε τις γεννήτριες συναρτήσεις των εν λόγω ακολουθιών, θα έχουµε τη σχέση Q (s) () F (s)p jj (s) Επειδή τώρα στη σχέση (46) δεν υπάρχει ο όρος ( δ ), αφού η σχέση ισχύει για >, θα έχουµε Q(s) P (s) δ Οπότε προκύπτει η παρακάτω σχέση, γνωστή ως ανανεωτική εξίσωση: jj P (s) - δ F (s)p jj (s) (i, j, 2, ) (422) Μια διεξοδική απόδειξη του παραπάνω αποτελέσµατος δίνεται στη επόµενη Ενότητα Σχετικά µε τον µέσο χρόνο ης επανόδου στην κατάσταση i, αντίστοιχα τον µέσο χρόνο ης διέλευσης από την κατάσταση j έχουµε το παρακάτω: () f όταν f µ (i, j, 2, ) (423) όταν f < Μια παροδική κατάσταση i έχει µέσο χρόνο επανόδου µ ii, αφού εξ ορισµού υπάρχει πιθανότητα - f ii > µε την οποία ο χρόνος επανόδου Τ ii Επίσης, µια επαναληπτική κατάσταση i δεν είναι απαραίτητο να έχει πεπερασµένο µέσο χρόνο επανόδου Οµοίως, δύο επαναληπτικές και επικοινωνούσες µεταξύ τους καταστάσεις i και j δεν είναι απαραίτητο να έχουν πεπερασµένους µέσους χρόνους µετάβασης από τη µία στην άλλη Ορισµός 3 Μια επαναληπτική κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται γνήσια επαναληπτική (ositive recurret) όταν µ ii <, και µη γνήσια επαναληπτική (ull recurret, ull) όταν µ ii f 82

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Ορισµός 4 Κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται περιοδική (eriodic) όταν υπάρχει ακέραιος d > έτσι ώστε ) ( όταν kd µε k, 2, ii (424) Ο µεγαλύτερος ακέραιος, d i έστω, µε την παραπάνω ιδιότητα ονοµάζεται περίοδος της κατάστασης i Ο παραπάνω ορισµός σηµαίνει ότι η ΜΑ µπορεί να επανέρχεται στην κατάσταση i µόνο σε χρόνους kd i ιαφορετικά διατυπωµένος ο παραπάνω ορισµός έχει ως εξής: Η περίοδος d i µιας κατάστασης i είναι ο µκδ{ : ( ) ii > } ηλαδή, ως περίοδος µιας κατάστασης i ορίζεται ο Μέγιστος Κοινός ιαιρέτης των χρόνων κατά τους οποίους η επιστροφή στη κατάσταση αυτή είναι επιτρεπτή Η κατάσταση i λέγεται περιοδική εφόσον di > Παράδειγµα Στη ΜΑ µε πίνακα πιθανοτήτων µετάβασης Ε Ε 2 Ε 3 Ε 4 E 3 7 E 2 4 6 P E 5 5 3 E 4 7 3 παρατηρούµε ότι κάθε κατάσταση εδώ είναι περιοδική µε περίοδο d 2 Πράγµατι, αν η ΜΑ ξεκινήσει από την κατάσταση Ε ή την Ε 3, οι καταστάσεις αυτές θα επανεµφανίζονται µόνο σε άρτιο αριθµό βηµάτων, ενώ οι καταστάσεις Ε 2 και Ε 4 θα επανεµφανίζονται µόνο σε περιττό αριθµό βηµάτων Οµοίως, αν η ΜΑ ξεκινήσει από την κατάσταση Ε 2 ή την Ε 4, οι καταστάσεις αυτές θα επανεµφανίζονται µόνο σε άρτιο αριθµό βηµάτων, ενώ οι καταστάσεις Ε και Ε 3 θα επανεµφανίζονται µόνο σε περιττό αριθµό βηµάτων Η συµπεριφορά αυτή φαίνεται πιο καθαρά προσδιορίζοντας τον πίνακα P 2 Ε Ε 2 Ε 3 Ε 4 E 6 39 2 E 2 42 58 P E 55 45 3 E 4 36 64 Κάθε άρτια δύναµη του στοχαστικού πίνακα P θα έχει µηδέν στις ίδιες θέσεις που έχει µηδέν o πίνακας P 2 Κάθε περιττή δύναµη του P θα έχει µηδέν στις ίδιες θέσεις που έχει ο P 83

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Όπως θα διαπιστώσουµε παρακάτω, αν µια µη υποβιβάσιµη ΜΑ έχει µια κατάσταση περιοδική τότε έχει όλες τις καταστάσεις της περιοδικές µε την ίδια περίοδο Επίσης, όταν η περίοδος είναι d (>) ο πίνακας P, µε k mod d, έχει µηδέν στις ίδιες θέσεις που έχει ο πίνακας P k (k,,, d-) Παράδειγµα 2 Ο απλός τυχαίος περίπατος είναι περιοδικός αφού σε άρτιο αριθµό βηµάτων δεν µπορεί να βρεθεί σε περιττή θέση όταν ξεκινά από άρτια, ούτε επίσης µπορεί να βρεθεί σε άρτια θέση όταν ξεκινά από περιττή Ορισµός 5 Μια απεριοδική και γνήσια επαναληπτική κατάσταση i µιας Μαρκοβιανής Αλυσίδας λέγεται εργοδική (ergodic) ηλαδή µια κατάσταση i είναι εργοδική εάν και µόνο εάν ισχύουν τα παρακάτω: (i) d i, (ii) f ii ( ) f ii, (iii) µ ( ) ii f ii < Ορισµός 6 Μια Μαρκοβιανή Αλυσίδα λέγεται εργοδική όταν όλες οι καταστάσεις της είναι εργοδικές Είναι χρήσιµος ο παρακάτω ορισµός που αφορά τις τροχιές µιας ΜΑ Ορισµός 7 Λέµε ότι η ΜΑ διαγράφει µονότονη τροχιά όταν σε κάθε βήµα επισκέπτεται µια κατάσταση διαφορετική των προηγουµένων Σηµειώνεται ότι το σύνολο των µονότονων τροχιών που µπορεί να διαγράψει µια ΜΑ σε πεπερασµένο χρόνο είναι αριθµήσιµο αφού το σύνολο είναι αριθµήσιµο Θεώρηµα 3 Εάν i j (i j) τότε υπάρχει µονότονη τροχιά από την i στη j µε θετική πιθανότητα Απόδειξη Τούτο διότι σε διαφορετική περίπτωση η ΜΑ θα επανέρχεται επ άπειρον σε καταστάσεις που έχει επισκεφθεί στο παρελθόν χωρίς ποτέ να διέρχεται από την κατάσταση j Είναι προφανές ότι µια ΜΑ µε πεπερασµένο πλήθος καταστάσεων Ν, δεν είναι δυνατόν να διαγράψει µονότονη τροχιά σε χρόνο N Κατά συνέπεια αν µια κατάσταση i οδηγεί στην κατάσταση j η µετάβαση γίνεται µε θετική πιθανότητα σε χρόνο Τ Ν (Εδώ συµπεριλαµβάνεται και η περίπτωση i j) 84

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες 35 ΑΝΑΝΕΩΤΙΚΗ ΕΞΙΣΩΣΗ Για τις πιθανότητες πρώτης µετάβασης, αντίστοιχα πρώτης επανόδου, ( ) f P[ T X i] (,2, ) ορίζουµε τις γεννήτριες πιθανοτήτων o ( ) F ( s) s f, s F (i, j, 2, ), (5) όπου F είναι η κοινή περιοχή σύγκλισης όλων των F (s) Για κάθε ζεύγος καταστάσεων (i, j) οι πιθανότητες () f (, 2, ) αποτελούν κατανοµή ως προς ), όχι κατ ανάγκη πλήρη, και συνεπώς f ( Ως εκ τούτου η σύγκλιση των ως άνω δυναµοσειρών ισχύει, τουλάχιστον, για s Άρα F [-, ] Ανάλογα για την ακολουθία πιθανοτήτων ορίζουµε τις γεννήτριες συναρτήσεις ( ) P[ X j X o i] (,, 2, ) ( ) P ( s) s, s P (i, j, 2, ), (52) όπου P είναι η κοινή περιοχή σύγκλισης όλων των P (s) Σηµείωση Εδώ οι πιθανότητες () (,, 2, ) δεν αποτελούν κατανοµή ως προς και συνεπώς το άθροισµά τους δυνατόν να υπερβαίνει τη µονάδα ή και να αποκλίνει Εν τούτοις, µε βάση το Θεώρηµα Cauchy-Hadamard, η ακτίνα σύγκλισης αυτών είναι R Συνεπώς, για τη κοινή περιοχή σύγκλισης των ως άνω δυναµοσειρών έχουµε γενικά P (-, ) (ν) Έστω τώρα T (ν, 2, ) ο χρόνος της ν-οστής διέλευσης από την κατάσταση j έχοντας ξεκινήσει από την κατάσταση i (για i j πρόκειται για τον χρόνο της ν- οστής επανόδου στην κατάσταση i) Προφανώς Τ T () Θεώρηµα εξισώσεις: Οι πιθανότητες µετάβασης -τάξης ικανοποιούν τις παρακάτω () (ν) i] ν P[T X για, 2, (i, j, 2, ) (53) 85

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες Απόδειξη Το ενδεχόµενο {Χ i}{x j}, δηλαδή να ξεκινήσει από την κατάσταση i και να βρεθεί στην κατάσταση j σε χρόνο, αναλύεται σε ένωση ασυµβιβάστων ενδεχοµένων ως ακολούθως: (ν) {X i}{x j} {X i} {T } (54) ν ηλαδή, ξεκινώντας η ΜΑ από την κατάσταση i, βρίσκεται στην κατάσταση j σε χρόνο µε ν συνολικά διελεύσεις από την κατάσταση j (ν, 2,,) Οπότε έχουµε και συνεπώς (ν) ν P[{X i}{x j}] P[{T }{X i}], (ν) ν P[X j X i] P[T X i] (ν) Για τους χρόνους T της ν-οστής διέλευσης της ΜΑ από την κατάσταση j, έχοντας ξεκινήσει από την κατάσταση i, ισχύει η παρακάτω ανανεωτική σχέση (ν) () (ν ) T T + T jj (ν 2, 3, ) µε (i, j, 2, ) T Τ () (55) (ν ) Επιπρόσθετα οι τµ T και T jj (ν 2, 3, ) είναι ανεξάρτητες λόγω της Μαρκοβιανής ιδιότητας Για τις γεννήτριες συναρτήσεις των f F ( ) ( s) s f και P ( s) ( ) s ( ) P[ T X i] ( ) και P[ X j X i] ( ) ( ) o o αντίστοιχα, θα αποδείξουµε ότι ισχύει το παρακάτω Θεώρηµα 2 (Ανανεωτική Εξίσωση) Οι γεννήτριες P (s) και F (s) ικανοποιούν τις εξισώσεις P (s) δ + F (s)p jj (s), s (-, ) (i, j, 2, ) (56) Απόδειξη Έστω F ν (s) η γεννήτρια συνάρτηση των πιθανοτήτων 86

ΓΕ Κοκολάκης, Σηµειώσεις Στοχαστικών Ανελίξεων Κεφ ΙΙI Μαρκοβιανές Αλυσίδες µε και () (ν) fν P[T X i],,, 2, ( i, j, ν, 2, ) (57) () f ν για < ν, 2, (i, j, 2, ) (58) () f () όταν i j δ (i, j, 2, ) όταν i j (59) Έχουµε δηλαδή F ν (s) f s (i, j, ν, 2, ), (5) () ν Από την (55) για ν έχουµε () T Τ και συνεπώς F (s) F (s) (i, j, 2, ) (5) Από την (55) επίσης για ν 2 έχουµε T T + T ( (i, j, 2, ) (ν) ν ) jj Επειδή οι τµ Τ και (ν ) T jj είναι ανεξάρτητες, η γεννήτρια πιθανοτήτων του (ν ) αθροίσµατος T + T jj είναι το γινόµενο των γεννητριών τους Συνεπώς έχουµε την παρακάτω αναδροµική εξίσωση: F ν (s) F (s)f jjν (s) για ν 2 (i, j, 2, ) (52) Συνδυάζοντας τις σχέσεις (5) για ν, και (52) για ν 2, γράφουµε µε F ν (s) F (s)f jjν (s), (i, j, ν, 2, ) (53) F (s), (i, j, ν, 2, ) (54) Κάνοντας χρήση της (58) το προηγούµενο Θεώρηµα δίνει 87