«ΔΙΑΚΡΙΤΕΣ ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ»

ΤΕΙ ΚΑΒΑΛΑΣ ΤΜΗΜΑ ΔΙΑΧΕΙΡΙΣΗΣ ΠΛΗΡΟΦΟΡΙΩΝ «ΔΙΑΚΡΙΤΕΣ ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ» Του σπουδαστή ΣΤΑΜΟΥΛΗ ΓΕΩΡΓΙΟΥ Επιβλέπων Δρ ΓΕΡΟΝΤΙΔΗΣ ΙΩΑΝΝΗΣ Αναπληρωτής Καθηγητής ΚΑΒΑΛΑ 006

ΠΕΡΙΕΧΟΜΕΝA Σελίδα ΕIΣΑΓΩΓΗ 3 ΚΕΦΑΛΑΙΟ ο ΟΜΟΓΕΝΕΙΣ ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ Εισαγωγή 5 Οι πιθανότητες μετάβασης μιας ομογενούς Μαρκοβιανής 6 αλυσίδας 3 Η κατανομή πιθανοτήτων στις καταστάσεις μιας Μαρκοβιανής 0 αλυσίδας 4 Η γεωμετρική ερμηνεία των πιθανοτήτων p() 4 5 Στατιστική συμπερασματολογία σε πεπερασμένες Μαρκοβιανές 7 αλυσίδες ΚΕΦΑΛΑΙΟ ο ΑΣΥΜΠΤΩΤΙΚΗ ΣΥΜΠΕΡΙΦΟΡΑ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ Η πιθανοθεωρητική και αλγεβρική προσέγγιση 3 Κατηγοριοποίηση των καταστάσεων μιας Μαρκοβιανής αλυσίδας 5 3 Διαδικασία εύρεσης των βασικών και μη βασικών καταστάσεων 8 4 Διαδικασία γραφής της κανονικής μορφής 3 5 Κυκλικές υποκλάσεις 38 6 Ο Αλγόριθμος εύρεσης των κυκλικών υποκλάσεων 4 7 Η γεωμετρική ερμηνεία της περιοδικής περίπτωσης 48 ΚΕΦΑΛΑΙΟ 3 ο ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΑΠΟΡΡΟΦΗΣΗΣ 3 Εισαγωγή 6 3 Ο Βασικός πίνακας 66 33 Εφαρμογές Μαρκοβιανών αλυσίδων απορρόφησης 69 - -

ΒΙΒΛΙΟΓΡΑΦΙΑ 79 - -

ΕΙΣΑΓΩΓΗ Η μελέτη των στατιστικών πιθανοτήτων ασχολείται με ανεξάρτητες στοχαστικές διαδικασίες Οι διαδικασίες αυτές αποτελούν τη βάση της κλασικής θεωρίας πιθανοτήτων και της στατιστικής Η σύγχρονη θεωρία πιθανοτήτων μελετά τυχαίες διαδικασίες όπου η γνώση των προηγούμενων αποτελεσμάτων επηρεάζει τις προβλέψεις των επόμενων αποτελεσμάτων Όταν παρατηρούμε μια διαδικασία τυχαίων πειραμάτων, όλα τα αποτελέσματα του παρελθόντος μπορούν να επηρεάσουν τις προβλέψεις μας για τα μελλοντικά αποτελέσματα Για παράδειγμα, να προβλέψουμε τους βαθμούς ενός μαθητή σε ένα μάθημα, μέσω μίας σειράς διαγωνισμάτων Το 907, ο Α Α Markov ξεκίνησε τη μελέτη ενός σημαντικού νέου τύπου στοχαστικών διαδικασιών Σ αυτή τη διαδικασία, το αποτέλεσμα ενός πειράματος μπορούσε να επηρεάσει την έκβαση του επόμενου μόνο πειράματος Αυτού του είδους η διαδικασία ονομάζεται Μαρκοβιανή αλυσίδα Η κατασκευή μιας Μαρκοβιανής αλυσίδας απαιτεί δύο βασικά συστατικά: ένα πίνακα μετάβασης και μία αρχική κατανομή Οι Μαρκοβιανές αλυσίδες χρησιμοποιούνται για να περιγράψουν διάφορες διαδικασίες όπως είναι η θεωρία ουρών αναμονής και η θεωρία ανανέωσης με φάσεις, ενώ μπορούν να χρησιμοποιηθούν και σαν μοντέλο αναφοράς σε τεχνικές κωδικοποίησης, όπως η αριθμητική κωδικοποίηση Έχουν επίσης πολλές βιολογικές εφαρμογές, ιδιαίτερα στις πληθυσμιακές διαδικασίες, οι οποίες είναι χρήσιμες στη μοντελοποίηση των βιολογικών πληθυσμών Κρυφά Μαρκοβιανά μοντέλα έχουν χρησιμοποιηθεί στη βιοπληροφορική επίσης, για παράδειγμα για την περιοχή κωδικοποίησης και την πρόβλεψη γονιδίων Ακόμη, Μαρκοβιανές αλυσίδες χρησιμοποιούνται σε ένα μεγάλο εύρος διαδικασιών που ποικίλλουν από την ιατρική μέχρι τη συγγραφή μουσικών κομματιών Η εργασία αυτή αποτελείται από τρία κεφάλαια: Στο πρώτο κεφάλαιο, παρουσιάζονται οι ομογενείς Μαρκοβιανές αλυσίδες, οι πιθανότητες μετάβασής τους, η κατανομή των πιθανοτήτων, καθώς και η γεωμετρική τους ερμηνεία - 3 -

Στο δεύτερο κεφάλαιο, περιγράφονται η ασυμπτωτική συμπεριφορά των Μαρκοβιανών αλυσίδων, η πιθανοθεωρητική και αλγεβρική προσέγγιση και η κατηγοριοποίηση των καταστάσεων ενώ δίνονται μερικά παραδείγματα και εφαρμογές Στο τρίτο κεφάλαιο, αναλύονται οι Μαρκοβιανές αλυσίδες απορρόφησης και μελετάται ο βασικός πίνακας που αντιστοιχεί σε αυτές Τέλος δίνονται μερικά παραδείγματα εφαρμογών των Μαρκοβιανών αλυσίδων απορρόφησης - 4 -

ΚΕΦΑΛΑΙΟ ο ΟΜΟΓΕΝΕΙΣ ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ Εισαγωγή στις Μαρκοβιανές αλυσίδες Στο κεφάλαιο αυτό θα θεμελιώσουμε τη μελέτη των Μαρκοβιανών αλυσίδων που είναι η σημαντικότερη κατηγορία των στοχαστικών διαδικασιών όσον αφορά στις εφαρμογές Ο σπόρος της μελέτης των Μαρκοβιανών αλυσίδων ρίχτηκε από τον Α Μarkον (907) που τότε ήταν καθηγητής του Πανεπιστημίου της Μόσχας Το αρχικό του κίνητρο ήταν να γενικεύσει το πρόβλημα σε μία σειρά από ανεξάρτητες δοκιμές Beroull τοποθετώντας μία εξάρτηση για την κάθε δοκιμή σε σχέση με την προηγούμενη Σήμερα, οι εφαρμογές των Μαρκοβιανών αλυσίδων είναι σημαντικές και πολύ εκτεταμένες Η δυναμική επίσης νέων εφαρμογών τους είναι μεγάλη και αυτό είναι πολύ γνωστό Έτσι ο κίνδυνος «κακών εφαρμογών» του τύπου είναι μεγάλος Οι πιθανότητες μετάβασης μιας ομογενούς Μαρκοβιανής Αλυσίδας Έστω S {,,, k} ο χώρος των καταστάσεων μιας Μαρκοβιανής αλυσίδας Στο κεφάλαιο αυτό θ' ασχοληθούμε με πεπερασμένες Μαρκοβιανές αλυσίδες, δηλαδή με χώρους καταστάσεων πεπερασμένους Όταν δεν αναφερόμαστε συγκεκριμένα αν ο χώρος καταστάσεων είναι πεπερασμένος ή αριθμήσιμος τότε πάντοτε θα υπονοείται ότι είναι πεπερασμένος Έστω Xt, ( t 0,, ) η Μαρκοβιανή αλυσίδα με τιμές από το χώρο των καταστάσεων S Ορίζουμε τις υπό συνθήκες πιθανότητες p ( t) Prob( X X ) για,,, k και t,, () t t - 5 -

Οι πιθανότητες p () t είναι η πιθανότητα η Μαρκοβιανή αλυσίδα X t να μεταβεί στην κατάσταση δεδομένου ότι την προηγούμενη χρονική στιγμή ήταν στην κατάσταση Οι πιθανότητες p () t για,,, k και t,, ονομάζονται και πιθανότητες μετάβασης της Μαρκοβιανής αλυσίδας Ο πλέον βολικός τρόπος αναφοράς σ' αυτές τις πιθανότητες είναι με τη μορφή ενός πίνακα P() t με πεπερασμένες διαστάσεις όταν ο χώρος των καταστάσεων είναι πεπερασμένος Δηλαδή S p ( t) p ( t) p k ( t) p( t) p( t) pk ( t) P() t pk( t) pk ( t) pkk ( t) Ο πίνακας P() t ονομάζεται πίνακας μετάβασης της Μαρκοβιανής αλυσίδας για το χρονικό διάστημα [ t, t) Είναι προφανές ότι αν οι πιθανότητες p () t είναι συναρτήσεις της χρονικής στιγμής χρειαζόμαστε τις τιμές τους για κάθε χρονική στιγμή t Διακρίνουμε τις παρακάτω περιπτώσεις: Ορισμός Μία Μαρκοβιανή αλυσίδα καλείται στάσιμη (statoery) ή ομογενής (homogeeous) αν η πιθανότητα μετάβασης από τη μία κατάσταση στην άλλη είναι ανεξάρτητη από το χρόνο που γίνεται η μετάβαση Έτσι έχουμε για όλες τις καταστάσεις και Prob( X X ) p για κάθε t t t,, Όταν μία Μαρκοβιανή αλυσίδα δεν είναι ομογενής τότε ονομάζεται μηομογενής Στην ομογενή Μαρκοβιανή αλυσίδα είναι προφανές ότι έχουμε ένα μόνο πίνακα μετάβασης P σε αντίθεση με τη μη ομογενή Μαρκοβιανή όπου - 6 -

έχουμε μία ακολουθία πινάκων μετάβασης { P( t)} t 0 Οι χαρακτηριστικές ιδιότητες του πίνακα μετάβασης P είναι ότι είναι μη αρνητικός δηλαδή όλα τα στοιχεία του είναι θετικά ή μηδέν και ότι το άθροισμα των γραμμών του είναι ίσο με τη μονάδα Κάθε πίνακας που έχει τις δύο αυτές ιδιότητες καλείται στοχαστικός πίνακας Πράγματι αν πάρουμε μία γραμμή του πίνακα έχουμε p p p Prob[ X X ] Prob[ X X ] k t t t t Prob[ X k X ] t t Prob[( X ) ( X ) ( X k) X ] t t t t Prob[ X S X ] t t Ο πίνακας P μιας ομογενούς Μαρκοβιανής αλυσίδας περιέχει όλη την επαρκή πληροφορία γι' αυτήν Με αυτό εννοούμε ότι για να απαντήσουμε όλα τα σημαντικά προβλήματα σε μία ομογενή Μαρκοβιανή αλυσίδα μας είναι επαρκής η γνώση του πίνακα P Για τις εφαρμογές είναι επίσης σημαντικό ότι κάθε στοιχείο του πίνακα όπως θα δούμε παρακάτω εκτιμάται μόνο του Αυτό ελαττώνει σημαντικά τον αριθμό των ελάχιστων δεδομένων που μας είναι αναγκαία για να εκτιμήσουμε τον πίνακα μετάβασης μιας Μαρκοβιανής αλυσίδας Αντίστροφα κάθε στοχαστικός πίνακας P ορίζει μονοσήμαντα μια Μαρκοβιανή αλυσίδα τουλάχιστον θεωρητικά Αν τώρα οι καταστάσεις του έχουν και φυσικό νόημα τότε έχουμε ένα πραγματικό πρόβλημα και όχι ένα σενάριο επιστημονικής φαντασίας ΠΑΡΑΔΕΙΓΜΑ Θεωρούμε δύο δοχεία τα οποία περιέχουν k μπάλες το καθένα Οι μπάλες είναι αριθμημένες από το έως το k Κάθε φορά διαλέγουμε στην τύχη ένα αριθμό και αλλάζουμε δοχείο στην μπάλα δηλαδή αν η μπάλα 3 είναι στο δοχείο τότε την τοποθετούμε στο δοχείο κοκ - 7 -

Καλούμε με X τον αριθμό που εκφράζει τις μπάλες στο δοχείο Ο χώρος των καταστάσεων της στοχαστικής διαδικασίας X είναι προφανώς S {0,,,, k} Επίσης κανείς εύκολα μπορεί να δει ότι έχει την Μαρκοβιανή ιδιότητα είναι δηλαδή μια πεπερασμένη Μαρκοβιανή διαδικασία Ο πίνακας μετάβασης P αυτής δίνεται από 0 0 0 0 0 0 0 0 0 0 0 k k 0 0 0 0 0 P k k 0 0 k k 0 0 ΠΑΡΑΔΕΙΓΜΑ Υποθέτουμε ότι ένα σύστημα εκπαίδευσης αποτελείται από d στάδια το καθένα από τα οποία διαρκεί από μία χρονική μονάδα Στο τέλος κάθε σταδίου η προαγωγή ενός φοιτητή αποφασίζεται με εξετάσεις Έτσι το τέλος κάθε χρονικής περιόδου ένας φοιτητής: ) περνάει τις εξετάσεις του και προάγεται στο επόμενο στάδιο, ) αποτυγχάνει στις εξετάσεις και επαναλαμβάνει το ίδιο στάδιο, 3) εγκαταλείπει πριν από τις εξετάσεις και φεύγει από το σύστημα Κάτω από αυτές τις υποθέσεις η πρόοδος ενός φοιτητή μπορεί να περιγραφεί σαν μια Μαρκοβιανή διαδικασία με καταστάσεις,, d, d+ όπου d+ είναι η κατάσταση που εκφράζει την έξοδο από το σύστημα Καλούμε P την πιθανότητα επιτυχίας στις εξετάσεις του σταδίου, q την πιθανότητα αποτυχίας και w την πιθανότητα εγκατάλειψης του συστήματος Ο πίνακας μετάβασης της Μαρκοβιανής αλυσίδας είναι - 8 -

3 d- d d+ q p 0 0 0 w 0 q p 0 0 w 3 0 0 q3 0 0 w 3 P d 0 0 0 qd pd w d d 0 0 0 0 qd pd qd d 0 0 0 0 0 3 Η κατανομή πιθανοτήτων στις καταστάσεις μιας Μαρκοβιανής αλυσίδας Ένα από τα σημαντικά προβλήματα στις Μαρκοβιανές αλυσίδες είναι η εύρεση των πιθανοτήτων η Μαρκοβιανή αλυσίδα { X } 0 να είναι στην κατάσταση τη χρονική στιγμή για όλα τα δυνατά και Ορίζουμε τις πιθανότητες p ( ) Prob( X ),, k, 0,,, τις πιθανότητες το σύστημα να βρίσκεται στην κατάσταση μετά -βήματα Στην περίπτωση που ο χρόνος αρχίζει στο 0 τα -βήματα είναι ισοδύναμα με τη χρονική στιγμή Μαζεύουμε τις πιθανότητες αυτές σε ένα διάνυσμα p( ) [ p ( ), p ( ),, p ( )] 0 k υποθέτοντας ότι k είναι οι καταστάσεις του συστήματος Οι πιθανότητες p(0) [ (0), (0),, (0)] p0 p p k είναι οι πιθανότητες αρχικής κατάστασης του συστήματος Είναι προφανές ότι ισχύει - 9 -

k 0 p ( ) για κάθε 0,,, μια και σ' οποιαδήποτε χρονική στιγμή το σύστημα θα βρίσκεται σε μία από τις k καταστάσεις Θα αποδείξουμε το παρακάτω θεώρημα όπου φαίνεται ότι ο υπολογισμός των πιθανοτήτων πιθανοτήτων p( ) ανάγεται στον υπολογισμό των p ( ) Prob( X X ) 0 Θεώρημα 3 Εάν ο πίνακας μετάβασης μιας πεπερασμένης Μαρκοβιανής αλυσίδας είναι P τότε ισχύουν τα παρακάτω P( ) p(0) P για,, k p ( m ) p ( m) p ( ) l0 Η δεύτερη σχέση είναι γνωστή και σαν η σχέση Chapma - Kolmogorov για τις Μαρκοβιανές αλυσίδες Απόδειξη Θεωρούμε την πιθανότητα ( ) p m δηλαδή την πιθανότητα το σύστημα να βρίσκεται στην κατάσταση m τη χρονική στιγμή Στον παρακάτω πίνακα δίνεται μία ανάλυση των δυνατών τρόπων με τους οποίους το σύστημα είναι δυνατό να βρεθεί στην κατάσταση m τη χρονική στιγμή Έτσι στην πρώτη στήλη δίνονται όλες οι δυνατές θέσεις που μπορεί να έχει τη χρονική στιγμή ( ) Κατόπιν στο χρονικό διάστημα κάνει το κατάλληλο βήμα και τη χρονική στιγμή βρίσκεται στην κατάσταση m Ας πάρουμε για παράδειγμα - 0 -

την πρώτη γραμμή, τη χρονική στιγμή ( ) το σύστημα βρίσκεται στην κατάσταση 0 με πιθανότητα p ( ) 0 και στο χρονικό διάστημα (, ] κάνει ένα βήμα με πιθανότητα p 0m και βρίσκεται στην κατάσταση m τη χρονική στιγμή αυτό είναι Επειδή τα ενδεχόμενα είναι ανεξάρτητα, η πιθανότητα να συμβεί p ( ) 0 p0m Στη τέταρτη στήλη δίνονται οι πιθανότητες όλων των δυνατών τρόπων να βρεθεί το σύστημα μας στην κατάσταση m στιγμή και επειδή είναι ανά δύο ασυμβίβαστοι έχουμε τη χρονική p ( ) p ( ) p p ( ) p p ( ) p m 0 0m m k km ή όπως αλλιώς γράφεται p( ) p( ) P η σχέση αυτή όμως αν γραφεί επαναληπτικά μας δίνει p( ) p(0) P Από τον ορισμό της η πιθανότητα p ( ) είναι η πιθανότητα μετάβασης του συστήματος από την κατάσταση στην κατάσταση σε -βήματα (χρονικές στιγμές) Κατά συνέπεια είναι το (, ) στοιχείο του πίνακα P Ισχύει όμως ότι P P P m m και από τον ορισμό του πολλαπλασιασμού δύο πινάκων έχουμε k l l l0 p ( m) p ( m) p ( ) - -

Το θεώρημα που μόλις αποδείξαμε ισχύει και για μη-πεπερασμένες Μαρκοβιανές αλυσίδες Η απόδειξη είναι ακριβώς η ίδια Πίνακας Χρονική Βήμα στο Χρονική στιγμή Πιθανότητα στιγμή ( ) (, ] 0 k m m m m m p0( ) p0m p( ) p m p( ) pm p ( ) p k km 4 Η γεωμετρική ερμηνεία των πιθανοτήτων p() Η γεωμετρική ερμηνεία των πιθανοτήτων p( ) είναι ιδιαίτερα χρήσιμη για τη διαισθητική εμβάθυνση στις Μαρκοβιανές αλυσίδες Η περίπτωση της Μαρκοβιανής αλυσίδας με τρεις καταστάσεις προσφέρεται για το σκοπό αυτό Γι' αυτό θα χρησιμοποιήσουμε ένα τέτοιο παράδειγμα Το διάνυσμα p( ) για κάθε 0,,, είναι ένα στοχαστικό διάνυσμα εν γένει με k στοιχεία όσα και οι καταστάσεις της Μαρκοβιανής αλυσίδας, δηλαδή p( ) [ p ( ), p ( ),, p ( )] k Μπορούμε να θεωρήσουμε ότι το p ( ) είναι ένα σημείο του k με συντεταγμένες τις p ( ) για,,, k Για κάθε 0,,, έχουμε και ένα διαφορετικό σημείο στο χώρο των χώρο k k και έτσι έχουμε μία κίνηση μέσα στο του σημείου p ( ) την οποία γεννά ο πίνακας P αλυσίδας με βάση την εξίσωση της Μαρκοβιανής p( ) p(0) P - -

Το διάνυσμα p( ) είναι στοχαστικό, δηλαδή όλα του τα στοιχεία είναι μη αρνητικά και συγχρόνως k p ( ) για 0,,, Άμεση συνέπεια αυτού είναι ότι όλα τα σημεία p ( ) (,,, k : 0,,, ) είναι πάνω στο υπερεπίπεδο και στην πλευρά των αξόνων που έχουν μόνο θετικές συντεταγμένες Για παράδειγμα, αν οι καταστάσεις της Μαρκοβιανής αλυσίδας είναι τρεις, τότε όλα τα σημεία p ( ) (,,, k κυρτό σύνολο που περικλείεται από τα σημεία (,0,0), (0,,0), (0,0,) ) θα είναι στο Ο τρόπος που αναφέραμε είναι ο πλέον φυσικός για να έχουμε μια γεωμετρική ερμηνεία η οποία να προσφέρει μια διαισθητική εμβάθυνση Ο τρόπος αυτός μάλιστα έχει αποδειχθεί αρκετά χρήσιμος και για την ανάπτυξη νέων ιδεών πάνω στις Μαρκοβιανές αλυσίδες Τώρα όμως θα παρουσιάσουμε και μια ισοδύναμη γεωμετρική ερμηνεία, η οποία είναι ίσως ελαφρά πιο εύχρηστη Αν θεωρήσουμε ένα ισόπλευρο τρίγωνο του οποίου το ύψος είναι ίσο με, τότε αν πάρουμε οποιοδήποτε σημείο εσωτερικό του τριγώνου αυτού οι αποστάσεις του από τις απέναντι πλευρές έχουν άθροισμα ίσον με (0,0,) p ( ) 3 ( ) p p ( ) p ( ) x (,0,0) y (0,,0) - 3 -

Έτσι για παράδειγμα αν έχουμε τις πιθανότητες p( ) = (03, 0, 05) τότε έχουμε τη γεωμετρική παράστασή τους που δίνει το παρακάνω σχήμα Είναι πάντα εύκολο κατασκευαστικά και με μεγάλη ακρίβεια να βρίσκουμε το σημείο στο εσωτερικό του τριγώνου που απέχει από τις απέναντι πλευρές συγκεκριμένες αποστάσεις ίσες με τις αντίστοιχες τιμές των p ( ) p ( ) 0,5 3 p( ) p ( ) 0, p ( ) 0,3 3 Το σημείο είναι προφανές ότι αντιστοιχεί στο διάνυσμα πιθανοτήτων (, 0, 0), μια και η απόσταση από την πλευρά, 3 είναι ένα και από τις άλλες δύο είναι ίση με το μηδέν 5 Στατιστική συμπερασματολογία για τις πεπερασμένες Μαρκοβιανές αλυσίδες Ένα εύλογο ερώτημα που δημιουργείται είναι το πρόβλημα της εκτίμησης των πιθανοτήτων που περιέχονται στον πίνακα P Με άλλα λόγια αν έχουμε ένα φαινόμενο που θέλουμε να φτιάξουμε ένα στοχαστικό μοντέλο γι' αυτό και το στοχαστικό αυτό μοντέλο είναι μία πεπερασμένη Μαρκοβιανή - 4 -

αλυσίδα πώς θα εκτιμήσουμε τις πιθανότητες μετάβασης από τη μια κατάσταση στην άλλη Στην παράγραφο αυτή την απάντηση θα τη δώσουμε δίνοντας τους εκτιμητές μέγιστης πιθανοφάνειας για τις πιθανότητες μετάβασης σε μια πεπερασμένη Μαρκοβιανή αλυσίδα Ένα άλλο σημαντικό ερώτημα το οποίο προκύπτει όταν κανείς προσπαθεί να φτιάξει ένα στοχαστικό μοντέλο που είναι μία Μαρκοβιανή αλυσίδα είναι το πρόβλημα του ελέγχου της υπόθεσης της ομογένειας (ή στατικότητας) των πιθανοτήτων μετάβασης της Μαρκοβιανής αλυσίδας Με άλλα λόγια τον έλεγχο της στατιστικής υπόθεσης ότι οι πιθανότητες μετάβασης είναι ανεξάρτητες από το χρόνο Υποθέτουμε ότι έχουμε μία Μαρκοβιανή αλυσίδα η οποία έχει καταστάσεις και ότι την παρατηρούμε αρκετό χρόνο ώστε να συμπληρωθούν μεταβάσεις Συμβολίζουμε με, (,,,, k ) τότε προφανώς έχουμε ότι τον αριθμό των μεταβάσεων από το k στο k k Οι αριθμοί συνηθίζεται να γράφονται σε μία μορφή πίνακα όπως δίνονται στον πίνακα: 3 k Σύνολο 3 k 3 3 3 3 33 k 3k 3 k k k k 3 kk k - 5 -

Το πρόβλημα είναι τώρα από αυτές τις παρατηρήσεις πως θα εκτιμήσουμε τις πιθανότητες μετάβασης p (,,,, k ) Οι εκτιμητές τους οποίους θα δώσουμε θα είναι οι εκτιμητές μέγιστης πιθανοφάνειας που θα τους συμβολίσουμε με p Για δεδομένη αρχική κατάσταση και έναν αριθμό προσπαθειών το δείγμα των μεταβάσεων που θα συμβούν,, 3,, k μπορεί να θεωρηθεί σαν ένα δείγμα μεγέθους από την πολυωνυμική κατανομή με πιθανότητες p, p,, pk και k p Η πιθανότητα να εμφανισθεί αυτό το αποτέλεσμα είναι! p p p!!! k k k έτσι ώστε k και k p Για όλες τις καταστάσεις η συνάρτηση πιθανοφάνειας δηλαδή η πιθανότητα να εμφανισθούν όλες οι μεταβάσεις που εμφανίζονται στον πίνακα είναι k! p p p!!! k k k Ξεκινώντας με αυτές τις βασικές ιδέες και ακολουθώντας τον κλασσικό τρόπο υπολογισμού των εκτιμητών μέγιστης πιθανοφάνειας φθάνουμε στο γεγονός ότι p,,,,, k - 6 -

Το πρόβλημα του ελέγχου των υποθέσεων σε Μαρκοβιανές αλυσίδες έχει δύο σκέλη Το πρώτο σκέλος είναι όταν θέλουμε να ελέγξουμε αν τα δεδομένα μας προέρχονται από μία συγκεκριμένη Μαρκοβιανή αλυσίδα δηλαδή γνωρίζουμε εκ των προτέρων πια είναι τα στοιχεία του πίνακα P και θέλουμε να ελέγξουμε και αν τα πειραματικά μας δεδομένα συμφωνούν μ' αυτές τις τιμές Το δεύτερο σκέλος είναι ο έλεγχος αν οι τιμές των πιθανοτήτων μετάβασης είναι σταθερές μέσα στο χρόνο Αρχίζουμε με το πρώτο ερώτημα, και έστω ότι η μηδενική υπόθεση είναι H : P P* 0 όπου P* ο εκ των προτέρων γνωστός πίνακας μετάβασης και P εκτιμάται από τα πειραματικά δεδομένα Για μεγάλο μπορεί να δειχθεί ότι τα την κανονική κατανομή και ότι το στατιστικό αυτός που ασυμπτωτικά ακολουθούν ( p p ) / * έχει ασυμπτωτικά την κανονική κατανομή με μέση τιμή 0 και διακύμανση p ( p ) Με βάση αυτά είναι φανερό ότι για μια συγκεκριμένη μετάβαση ένα στατιστικό κριτήριο ελέγχου υπόθεσης μπορεί να στηριχθεί στο γεγονός ότι το στατιστικό k * ( p p ), p *,,, k έχει την x κατανομή με ( k ) βαθμούς ελευθερίας Οι βαθμοί αυτοί ελευθερίας υπολογίζονται με την προϋπόθεση ότι δεν υπάρχουν μηδενικά στοιχεία * p στο παραπάνω στατιστικό Αν υπάρχουν μηδενικά στοιχεία στην - 7 -

γραμμή τότε πρέπει να ληφθούν υπόψη μόνο τα μη μηδενικά στοιχεία Για την περίπτωση που θέλουμε να ελέγξουμε όλες μαζί τις μεταβάσεις τότε ένα στατιστικό κριτήριο ελέγχου υπόθεσης μπορεί να στηριχθεί στο γεγονός ότι το στατιστικό ( p p ) k k * p * έχει την x κατανομή με k( k ) a βαθμούς ελευθερίας, όπου a είναι ο αριθμός των μηδενικών στοιχείων στον πίνακα εκείνες τις τιμές των και για τις οποίες * p >0 P* και τα αθροίσματα είναι για Ένα ασυμπτωτικά ισοδύναμο στατιστικό κριτήριο λαμβάνεται από το λόγο πιθανοφάνειας βασισμένο πάνω στο λήμμα των Neyma - Pearso Το κριτήριο του λόγου πιθανοφάνειας για την υπόθεση από το γεγονός ότι το στατιστικό H 0 μπορεί να σχηματισθεί k k * p l έχει την x κατανομή με kk ( ) βαθμούς ελευθερίας Το δεύτερο σκέλος του ελέγχου στατιστικής υπόθεσης που θα μας απασχολήσει είναι ο έλεγχος ομογένειας Σ' αυτήν την περίπτωση έστω ότι P() t είναι ο πίνακας μετάβασης της Μαρκοβιανής αλυσίδας κατά τη χρονική στιγμή t δηλαδή στο διάστημα [ tt, ) Τότε ο εκτιμητής μέγιστης πιθανοφάνειας για την πιθανότητα μετάβασης p () t σε μια δεδομένη χρονική στιγμή είναι () t p () t ( t) - 8 -

όπου () t είναι ο αριθμός των μεταβάσεων από την κατάσταση στην κατάσταση κατά τη διάρκεια του χρονικού διαστήματος [, ) tt Όταν έχουμε ένα σύνολο από παρατηρήσεις μιας Μαρκοβιανής αλυσίδας σε ένα μεγάλο χρονικό διάστημα [0, T) και υποθέτουμε ότι οι πιθανότητες μετάβασης είναι ομογενείς ή στάσιμες δηλαδή σταθερές μέσα στο χρόνο τότε κάτω από αυτήν την υπόθεση ο εκτιμητής μέγιστης πιθανοφάνειας για οποιαδήποτε μετάβαση δίνεται από p T t T t () t () t Αν θεωρήσουμε τη μηδενική υπόθεση ότι οι πιθανότητες μετάβασης για μία συγκεκριμένη κατάσταση παραμένουν σταθερές μέσα στο χρόνο τότε H : ( ) 0 p t p για όλα τα F() και t, δεδομένου του όπου F () είναι το σύνολο των τιμών του για το οποίο p ( t) 0 και έστω () ο αριθμός των μελών του συνόλου F () Τότε κάτω από αυτή την υπόθεση το στατιστικό T ( ) ( ) [ p ( t) p ] x t t F ( ) p έχει κατά προσέγγιση την x κατανομή με ( T) l( ) βαθμούς ελευθερίας Για τον έλεγχο της υπόθεσης ότι μία συγκεκριμένη μετάβαση δεδομένου του χρησιμοποιήσουμε το στατιστικό έχει πιθανότητα ανεξάρτητη από το χρόνο μπορούμε να T (, ) ( ) x t t [ p ( t) p ] p που έχει κατά προσέγγιση την x κατανομή με ( T ) βαθμούς ελευθερίας - 9 -

Υπάρχουν και στατιστικά βασισμένα στο γενικευμένο λόγο πιθανοφάνειας για κάθε μία από τις προηγούμενες υποθέσεις Τα στατιστικά αυτά και τα προηγούμενα είναι ασυμπτωτικά ισοδύναμα Το στατιστικό γενικευμένου λόγου πιθανοφάνειας για όλες τις μεταβάσεις είναι το () t ( )l ( ) T k k t t t p - 0 -

ΚΕΦΑΛΑΙΟ ο Ασυμπτωτική συμπεριφορά Μαρκοβιανών αλυσίδων Η πιθανοθεωρητική και αλγεβρική προσέγγιση Η ασυμπτωτική συμπεριφορά των Μαρκοβιανών αλυσίδων είναι ένα από τα σημαντικότερα προβλήματα και έχει συγχρόνως και θεωρητικό και πρακτικό ενδιαφέρον Με την ορολογία ασυμπτωτική αναφερόμαστε στην εύρεση του ορίου lm ( ) Υπάρχουν για τον σκοπό αυτό δύο προσεγγίσεις: t pt (α) Η πιθανοθεωρητική προσέγγιση Στην περίπτωση αυτή το βασικό εργαλείο για την εύρεση του lm P t t στο οποίο τελικά ανάγεται το πρόβλημα της ασυμπτωτικής συμπεριφοράς είναι η θεωρία πιθανοτήτων Δηλαδή ουσιαστικά επιλέγεται το μονοπάτι της αξιοποίησης του γεγονότος ότι τα στοιχεία του πίνακα P είναι πιθανότητες και κάθε θετικό στοιχείο στον πίνακα έχει συγκεκριμένο φυσικό νόημα (β) Η αλγεβρική προσέγγιση Στην περίπτωση αυτή το βασικό εργαλείο είναι η θεωρία πινάκων Ακόμα πιο συγκεκριμένα, γίνεται αξιοποίηση της υπάρχουσας θεωρίας μη αρνητικών πινάκων που άρχισε με το θεώρημα των Perro Frobeous με την επιπλέον σημαντική συνθήκη ότι ο πίνακας P είναι στοχαστικός Από πρακτική άποψη ιδιαίτερο ενδιαφέρον έχει η περίπτωση που η σύγκλιση του παραπάνω ορίου είναι γρήγορη Αυτό συμβαίνει γιατί στις πραγματικές εφαρμογές των Μαρκοβιανών αλυσίδων δεν είναι ρεαλιστικό να προβαίνει κάποιος σε προβλέψεις που ξεπερνούν το χρονικό ορίζοντα των 5 ή 6 χρονικών βημάτων Το γεγονός αυτό καθιστά ιδιαίτερα σημαντική την εύρεση των συνθηκών αν υπάρχουν, κάτω από τις οποίες η ταχύτητα σύγκλισης είναι γεωμετρική - -

Κατηγοριοποίηση των καταστάσεων μιας Μαρκοβιανής αλυσίδας Στην παράγραφο αυτή θα προχωρήσουμε στην κατηγοριοποίηση των καταστάσεων μιας Μαρκοβιανής αλυσίδας αφού όπως θα δούμε στα επόμενα η ασυμπτωτική συμπεριφορά εξαρτάται από το είδος των καταστάσεων της Μαρκοβιανής αλυσίδας Η κατηγοριοποίηση αυτή είναι ανάλογη με αυτή των καταστάσεων ενός μη αρνητικού πίνακα μια και ο στοχαστικός πίνακας P είναι η βάση της Μαρκοβιανής αλυσίδας Αρχίζουμε με τους παρακάτω ορισμούς Ορισμός κατάσταση Μία κατάσταση καλείται προσιτή (accessble) από την εάν για κάποιο ακέραιο 0 ισχύει p ( ) 0 Δύο καταστάσεις που είναι προσιτές μεταξύ τους λέμε ότι επικοινωνούν (commucate) Η σχέση επικοινωνίας δύο καταστάσεων, συμβολίζεται με Ορισμός 3 Μία κατάσταση ονομάζεται μη βασική εάν για κάποια κατάσταση για την οποία, ισχύει Επίσης η ονομάζεται μη βασική εάν δεν υπάρχει καμία κατάσταση τέτοια ώστε Μία κατάσταση ονομάζεται βασική εάν δεν είναι μη βασική Κατά συνέπεια εάν η είναι βασική και τότε Πρόταση () Για μία Μαρκοβιανή Αλυσίδα ισχύουν: Για κάθε κατάσταση τουλάχιστον μία κατάσταση () Αν η κατάσταση που δεν είναι κατάσταση απορρόφησης υπάρχει τέτοια ώστε είναι βασική τότε () Αν και τότε (v) Αν η κατάσταση είναι βασική και τότε και η είναι βασική και - -

(v) Έστω Β το σύνολο των βασικών καταστάσεων μιας Μαρκοβιανής αλυσίδας Η σχέση επικοινωνίας είναι μία σχέση ισοδυναμίας για το σύνολο Β Απόδειξη () Αφού p και S p άρα υπάρχει τουλάχιστο ένα τέτοιο ώστε p 0 () Αν η κατάσταση πρότασης είναι προφανής Αν είναι κατάσταση απορρόφησης τότε η αλήθεια της p τότε σύμφωνα με την πρόταση () υπάρχει μία κατάσταση τέτοια ώστε p 0 Αφού η είναι βασική με βάση τον ορισμό έπεται ότι και άρα υπάρχει 0 τέτοιο ώστε p ( ) 0 Από το θεώρημα των Chapma Kolmogorov έχουμε ότι: p ( ) p p ( ) p p ( ) p p ( ) 0 S Άρα και κατά συνέπεια () Αφού και έπεται ότι υπάρχουν 0 και m 0 τέτοια ώστε p ( ) 0 και p ( m) 0 Έχουμε όμως από το θεώρημα των Chapma Kolmogorov ότι p ( m) p ( ) p ( m) p ( ) p ( m) 0 r r r0 Με τον ίδιο τρόπο αποδεικνύεται και η αντίστροφη πορεία (v) Αφού η κατάσταση είναι βασική και έπεται ότι υπάρχουν m - 3 -

και τέτοια ώστε p ( m) 0 και p ( ) 0 κατά συνέπεια Έστω k μία οποιαδήποτε κατάσταση τέτοια ώστε και υπάρχει τέτοιο ώστε ( v) p 0 Από την πρόταση () έχουμε ότι και Αφού όμως η είναι βασική έπεται ότι, άρα η είναι βασική με βάση τον ορισμό (v) Η πρόταση αυτή αποδεικνύεται εύκολα από τις προηγούμενες Αφού η σχέση επικοινωνίας αποτελεί μία σχέση ισοδυναμίας το σύνολο των βασικών καταστάσεων χωρίζεται με βάση τη σχέση επικοινωνίας σε κλάσεις βασικών καταστάσεων Καταστάσεις βασικές που ανήκουν σε διαφορετικές κλάσεις βασικών καταστάσεων δεν είναι προσιτές μεταξύ τους Η εύρεση των βασικών και μη βασικών καταστάσεων ενός πίνακα, καθώς και των κλάσεων τους, μπορεί να γίνει με την παρακάτω διαδικασία 3 Διαδικασία εύρεσης των βασικών και μη βασικών καταστάσεων Φάση Ξεκινάμε με την κατάσταση σημειώνοντας σε ένα διάγραμμα ροής όλες τις καταστάσεις οι οποίες είναι προσιτές από την κατάσταση, δηλαδή κ - 4 -

Φάση Συνεχίζουμε το διάγραμμα ροής για κάθε κατάσταση στην οποία έχουν καταλήξει τόξα από την σημειώνοντας όλες τις καταστάσεις που είναι προσιτές από αυτήν δηλαδή r r κ r 3 r 4 r 5 Συνεχίζουμε μ αυτόν τον τρόπο το διάγραμμα ροής για όλες τις καταστάσεις οι οποίες εμφανίζονται στο δεξί άκρο, εκτός από αυτές που έχουν ήδη εμφανισθεί σε προηγούμενη φάση Τελειώνουμε με τη διαδικασία όταν έχουν εμφανισθεί όλες οι καταστάσεις Εάν υπάρχουν καταστάσεις που δεν έχουν εμφανιστεί στο διάγραμμα ροής, ξεκινάμε με κάποια από αυτές ένα καινούριο διάγραμμα μέχρι που να εξαντληθούν όλες ΠΑΡΑΔΕΙΓΜΑ Έστω η Μαρκοβιανή αλυσίδα με πίνακα μετάβασης 0 0 0 09 0 0 0 06 04 0 0 0 0 07 03 0 0 0 P 08 0 0 0 0 0 0 0 0 04 04 0 03 0 0 04 0 03-5 -

Το διάγραμμα ροής με βάση τη διαδικασία που περιγράφαμε είναι 4 (a) 4 (b) 3 3 3 5 4 6 4 (c) 5 (d) 6 Από το τμήμα (α) του διαγράμματος ροής των καταστάσεων της Μαρκοβιανής αλυσίδας προκύπτει, ότι το σύνολο {,4} αποτελεί μία κλάση βασικών καταστάσεων Από το τμήμα (b) προκύπτει ότι οι καταστάσεις {,3} αποτελούν μία κλάση βασικών καταστάσεων Από το (c) έχουμε ότι η {5} είναι μη βασική κατάσταση Από το (d) έχουμε ότι η {6} είναι μη βασική κατάσταση Στο σημείο αυτό, είμαστε σε θέση να περιγράψουμε τον τρόπο που φέρνουμε ένα στοχαστικό πίνακα στη λεγόμενη κανονική μορφή 4 Διαδικασία γραφής της κανονικής μορφής Η κανονική μορφή ενός στοχαστικού πίνακα προκύπτει από την αρχική του μορφή τηρώντας της εξής σειρά γραφής των καταστάσεων (α) Γράφουμε πρώτα τις κλάσεις των βασικών καταστάσεων με αύξουσα σειρά ως προς το πλήθος των καταστάσεων των κλάσεων - 6 -

(β) Γράφουμε μετά τις κλάσεις των μη βασικών καταστάσεων με τέτοια σειρά, ώστε να είναι πρώτες εκείνες που είναι προσιτές από άλλες Δηλαδή δεν πρέπει να υπάρχει στον πίνακα μη βασική κλάση καταστάσεων η οποία να είναι προσιτή από άλλη κλάση που βρίσκεται «ψηλότερα» στον πίνακα ΠΑΡΑΔΕΙΓΜΑ Οι βασικές κλάσεις του παραδείγματος είναι οι {, 4} και {, 3} Οι μη βασικές καταστάσεις είναι οι {5} και η {6} Από αυτές καμία δεν είναι προσιτή από την άλλη κατά συνέπεια η σειρά τους δεν παίζει κανένα ρόλο Άρα η κανονική μορφή του πίνακα P είναι η παρακάτω 0 09 0 0 0 0 08 0 0 0 0 0 0 0 06 04 0 0 P 0 0 07 03 0 0 0 04 0 0 04 0 03 04 0 0 0 03 Έστω μία Μαρκοβιανή αλυσίδα που έχει k βασικές κλάσεις καταστάσεων και s μη βασικές Τότε είναι φανερό ότι η γενική μορφή της κανονικής μορφής του πίνακα μετάβασης P της Μαρκοβιανής αλυσίδας θα είναι P 0 0 0 0 P 0 0 P 0 0 0 0 0 0 Pκ 0 R R Rκ Q όπου P, P,, P είναι στοχαστικοί πίνακες οι οποίοι αντιστοιχούν στις μεταβάσεις εσωτερικά σε κάθε μία από τις k βασικές κλάσεις καταστάσεων Ο πίνακας Q είναι της μορφής - 7 -

Q Q T Q 0 Qs όπου οι πίνακες Τέλος οι πίνακες Q,Q,,Qs R,R,,Rκ αντιστοιχούν στις μη βασικές καταστάσεις αντιστοιχούν στις μεταβάσεις από τις μη βασικές στις βασικές κλάσεις καταστάσεων Είναι ενδιαφέρον να δούμε τη μορφή που θα έχει ο πίνακας P για ν' αντιληφθούμε τις δυνατότητες που μας προσφέρει η κανονική μορφή Υψώνοντας συνεχώς τον πίνακα P τους πίνακες γραφεί στη μορφή στην κανονική του μορφή και παίρνοντας 3 P,P, γίνεται αντιληπτό ότι γενικά ο πίνακας P μπορεί να P 0 0 0 0 P 0 0 P = 0 0 0 0 0 0 Pκ 0 () () () R R Rκ Q όπου () R είναι γενικά μια πολύπλοκη block μορφή πίνακα που αντιστοιχεί στο κομμάτι εκείνο του αρχικού πίνακα που περιέχει τις μεταβάσεις από τις μη βασικές καταστάσεις στην -κλάση βασικών καταστάσεων Η μελέτη εν γένει της ασυμπτωτικής συμπεριφοράς των πινάκων () R για,,, k είναι πολύ δύσκολη και σίγουρα δεν είναι πάντα εφικτή Ο πίνακας Q είναι εν γένει υποστοχαστικός και είναι γνωστό ότι το όριο του του Q είναι ίσο με το μηδέν Αν ο πίνακας λοιπόν δεν έχει μη βασικές καταστάσεις, τότε η μελέτη της ασυμπτωτικής του συμπεριφοράς ανάγεται στην εύρεση του ορίου του () () () των πινάκων P, P,, P κ Όμως ο πίνακας P (,,, k ) είναι ένας πίνακας που όλες οι καταστάσεις του είναι βασικές και επικοινωνούν - 8 -

Ανάγεται λοιπόν η μελέτη της ασυμπτωτικής συμπεριφοράς μιας Μαρκοβιανής αλυσίδας στη γενικότερη της μορφή στη μελέτη ενός αριθμού από Μαρκοβιανές αλυσίδες η κάθε μια από τις οποίες έχει μόνο μια κλάση από βασικές καταστάσεις και δεν έχει μη βασικές Ιδιαίτερο ενδιαφέρον έχει η μελέτη των Μαρκοβιανών αλυσίδων με μια βασική κλάση καταστάσεων και κάποιες μη βασικές Γενικά σ' αυτή την περίπτωση ο πίνακας πιθανοτήτων μετάβασης είναι της μορφής P 0 P= R Q Οι Μαρκοβιανές αλυσίδες με πίνακα πιθανοτήτων μετάβασης αυτής της μορφής ονομάζονται αδιαχώριστες (decomposable) Μαρκοβιανές αλυσίδες Υψώνοντας συνεχώς τον παραπάνω πίνακα γίνεται αμέσως αντιληπτό ότι P = R ( ) P 0 Q όπου ( ) - R = Q RP ν=0, P είναι ένας πίνακας με μια βασική κλάση καταστάσεων Η μελέτη της decomposable Μαρκοβιανής αλυσίδας επειδή το όριο του Q του είναι 0 ανάγεται στην εύρεση των ορίων του του P και της σειράς - Q RP 0 Η σειρά αυτή είναι δυνατόν να μελετηθεί με μεθόδους από την αναλυτική θεωρία πινάκων - 9 -

Θα δώσουμε τώρα έναν άλλο ορισμό που αποτελεί χαρακτηρισμό για μια ιδιαίτερη κλάση Μαρκοβιανών αλυσίδων Ορισμός 3 Μια Μαρκοβιανή αλυσίδα καλείται αδιαχώριστη αν έχει μόνο μία βασική κλάση καταστάσεων και δεν έχει μη βασικές καταστάσεις ΠΑΡΑΔΕΙΓΜΑ 3 Η Μαρκοβιανή αλυσίδα με πίνακα μετάβασης 03 0 05 P 0 09 0 0 0 08 Το διάγραμμα ροής των καταστάσεων είναι 3 3 Είναι φανερό ότι οι καταστάσεις {,, 3} αποτελούν μία βασική κλάση καταστάσεων, άρα η Μαρκοβιανή αλυσίδα είναι αδιαχώριστη Όλοι μας έχουμε την αίσθηση τι είναι περιοδικό φαινόμενο Οι τέσσερεις εποχές του έτους είναι από τα πρώτα περιοδικά φαινόμενα που - 30 -

παρατηρεί ο άνθρωπος καθώς μεγαλώνει και συνειδητοποιεί το περιβάλλον του Μπορούμε όμως να φανταστούμε και ένα άλλο φαινόμενο όπου υπάρχει μια πιθανότητα p να εμφανιστεί το φαινόμενο τη στιγμή που συμπληρώνεται η περίοδος του και μια πιθανότητα ( p) να μην εμφανιστεί Η έννοια της περιοδικότητας σ' αυτήν τη βάση είναι μια γενικευμένη έννοια της ιδέας της περιοδικότητας σίγουρα όμως μπορούμε να τη δεχθούμε έτσι Αυτή ακριβώς, είναι και η έννοια της περιοδικότητας μιας κατάστασης σε μια Μαρκοβιανή αλυσίδα που θα δώσουμε παρακάτω Πριν όμως δώσουμε τον αυστηρό ορισμό ας προσπαθήσουμε να παρουσιάσουμε ένα παράδειγμα Μια ηλιόλουστη μέρα της άνοιξης δίπλα σε μια λιμνούλα με νούφαρα Ένας βάτραχος πηδάει από νούφαρο σε νούφαρο Όπως είδαμε αν ορισθεί σαν κατάσταση το νούφαρο που βρίσκεται ο βάτραχος τότε η κίνηση του βάτραχου μπορεί να θεωρηθεί σα Μαρκοβιανή αλυσίδα Ας υποθέσουμε ότι διάφορα καλάμια στη λίμνη εμποδίζουν την ελεύθερη κίνηση του βάτραχου και ότι τελικά οι επιτρεπτές κινήσεις του δίνονται στο παρακάτω σχήμα Θα προσπαθήσουμε να δούμε ποια είναι η περίοδος της κατάστασης Ας υποθέσουμε ότι ο βάτραχος βρίσκεται στην κατάσταση τότε για να ξαναβρεθεί στην ένα ή θα κάνει το πρώτο βήμα προς τα δεξιά και μετά 4 βήματα θα βρεθεί στην ή προς τα αριστερά και μετά 6 βήματα θα βρεθεί στην Γενικά ο βάτραχος μπορεί να ξαναβρεθεί στην κατάσταση μετά 4, 6, 8, 0,, βήματα Δηλαδή αν μπορούσε να βρεθεί και μετά βήματα χωρίς δισταγμό θα μπορούσαμε να πούμε ότι η περίοδος της κατάστασης είναι Όμως δεν είναι εκτός λογικής να ορίσουμε σαν περίοδο το και έτσι φθάνουμε στον εξής ορισμό της περιόδου μιας κατάστασης μιας Μαρκοβιανής αλυσίδας - 3 -

5 7 8 6 / 9 / 4 3 Ορισμός 4 () Η κατάσταση έχει περίοδο d εάν οι παρακάτω δύο συνθήκες ισχύουν p ( ) 0 για κάθε εκτός εάν md για κάποιο θετικό ακέραιο m () d είναι ο μέγιστος ακέραιος με την ιδιότητα () Η κατάσταση περίοδο μιας κατάστασης με ονομάζεται απεριοδική όταν () d d Συμβoλίζoυμε την Ένας ισοδύναμος ορισμός της περιόδου μιας κατάστασης μιας Μαρκοβιανής αλυσίδας είναι ο παρακάτω Ορισμός 5 Περίοδος μιας κατάστασης είναι ο μέγιστος κοινός διαιρέτης (μκδ) όλων των για τους οποίους p ( ) 0 Χωρίς απόδειξη δίνουμε το παρακάτω θεώρημα Θεώρημα Εάν τότε και ( ) ( ) Από το θεώρημα αυτό γίνεται φανερό ότι όλες οι καταστάσεις μιας Μαρκοβιανής αλυσίδας που ανήκουν στην ίδια κλάση (ισοδυναμίας) έχουν την ίδια περίοδο Αυτό μας επιτρέπει να μιλάμε για ιδιότητα της κλάσης μιας και - 3 -

όλες οι καταστάσεις που επικοινωνούν έχουν την ίδια περίοδο 5 Κυκλικές υποκλάσεις Έστω μία αδιαχώριστη Μαρκοβιανή αλυσίδα μία βασική κλάση καταστάσεων με περίοδο d Η κίνηση της Μαρκοβιανής αλυσίδας υπακούει σε μια κυκλική συμπεριφορά την οποία θα περιγράψουμε Έστω δύο καταστάσεις, τότε αφού όλες οι καταστάσεις της επικοινωνούν, υπάρχουν φυσικοί αριθμοί p ( t) 0 r, s, t τέτοιοι ώστε p ( r) 0, p ( s) 0 και Τότε έχουμε: p ( r t) p ( r) p ( t) 0 και p ( s t) p ( s) p ( t) 0 Κατά συνέπεια το d διαιρεί τα ( r t) και ( s t), επομένως και τη διαφορά του ( s t) ( r t) s r Έτσι, αν r ad b, όπου a και b μη αρνητικοί ακέραιοι και ακέραιο c Άρα, αν το 0 b d οδηγεί στο, τότε σε s cd b για κάποιο μη αρνητικό βήματα, δηλαδή p ( ) 0, τότε b(mod d), όπου 0 b d και το b εξαρτάται από τα και και είναι ανεξάρτητο από το Για δεδομένο μπορούμε να θεωρήσουμε το υποσύνολο C () b του το οποίο αποτελείται από όλες τις καταστάσεις που αντιστοιχούν στην ίδια κλάση υπολοίπου b(mod d) δηλαδή C ( ) { : p ( ) 0 b, για όλα τα b(mod d) }, 0 b d Προφανώς τα C () b, b0,,, d έχουν ανά δύο τομή το κενό σύνολο και η ένωση τους είναι το Ακόμη, για δύο μη αρνητικούς ακεραίους και είναι C ( ) C ( ) εάν (mod d) - 33 -

Λήμμα Έστω μία αδιαχώριστη Μαρκοβιανή αλυσίδα μία κλάση βασικών καταστάσεων με περίοδο d Εάν, και επιπλέον C () τότε C ( ) C ( ) για όλους τους μη αρνητικούς ακεραίους και Απόδειξη Εάν xc ( ), τότε υπάρχει ακέραιος, έτσι ώστε p ( ) 0 x για όλα τα (mod d) Αφού C (), τότε υπάρχει ακέραιος m, έτσι ώστε p ( m) 0 για όλα τα m mod d) Είναι όμως p ( m ) p ( m) p ( ) 0 x x και προφανώς αυτό ισχύει για όλα τα m ( )mod d, άρα xc () και κατά συνέπεια C ( ) C ( ) ΑΝΤΙΣΤΡΟΦΑ: Κατ' ανάλογο τρόπο μπορεί να δεχθεί ότι C ( ) C ( ) άρα C ( ) C ( ) Άμεση συνέπεια του Λήμματος είναι ότι τα σύνολα C () b, 0 b d δεν εξαρτώνται από το να τα σημειώνουμε απλά με C Συνέπεια αυτού είναι ότι είναι επαρκές Ονομάζουμε τις κλάσεις C b ( 0 ) οι b d οποίες όπως είδαμε η τομή τους είναι ανά δύο το κενό σύνολο και η ένωση τους η βασική κλάση καταστάσεων, κυκλικές υποκλάσεις της κλάσης Το παρακάτω θεώρημα δίνει την εξήγηση γι' αυτήν την ονομασία Θεώρημα Έστω μία αδιαχώριστη Μαρκοβιανή αλυσίδα μία κλάση βασικών - 34 -

καταστάσεων με περίοδο d Εάν C b, 0 b d και p 0 τότε Cb Απόδειξη Έστω και τέτοιο ώστε p ( ) 0 Αφού C b τότε d b Επιπλέον Όμως άρα p ( ) p ( ) p 0 b(mod d) ( ) ( b )(mod d) και επειδή προφανώς έχουμε Cb Συνέπεια του προηγούμενου θεωρήματος είναι το συμπέρασμα ότι η Μαρκοβιανή αλυσίδα μεταβαίνει από το C 0 στο C,, από το Cd στο Cd και από το Cd πίσω στο C 0 κλπ Επίσης έπεται ότι για μια Μαρκοβιανή αλυσίδα τα υποσύνολα C b ( 0 ) δεν είναι κενά Τα σύνολα b d C b ( 0 ) ονομάζονται κυκλικά κινούμενες υποκλάσεις της ή της b d αδιαχώριστης Μαρκοβιανής αλυσίδας Είναι προφανές ότι ο πίνακας μετάβασης μιας αδιαχώριστης Μαρκοβιανής αλυσίδας περιόδου μορφή d μπορεί να γραφεί στη 0 P 0 0 0 0 P 0 P = 0 0 0 0 0 0 0 P Pd - 0 0 0 d - όπου P,P,,P d- στοχαστικοί πίνακες γενικά ορθογώνιοι - 35 -

6 Ο Αλγόριθμος εύρεσης των κυκλικών υποκλάσεων Με ένα παράδειγμα θα δώσουμε τον αλγόριθμο με τον οποίο βρίσκουμε τις κυκλικά κινούμενες υποκλάσεις ενός πίνακα βασική κλάση καταστάσεων Έστω ο πίνακας P που αποτελείται από μία 0 0 0 08 0 0 0 04 0 0 0 0 0 04 0 0 0 0 0 05 04 P 0 03 07 0 0 0 0 0 04 06 0 0 0 0 0 0 0 03 07 0 0 0 0 0 09 0 0 0 πίνακας P Είναι εύκολο να διαπιστωθεί με τη διαδικασία που περιγράψαμε ότι ο αποτελείται από μία βασική κλάση καταστάσεων χωρίς μη βασικές καταστάσεις είναι δηλαδή αδιαχώριστος Θα περιγράψουμε τώρα τη διαδικασία με την οποία μπορούμε να βρούμε τις κυκλικές υποκλάσεις του πίνακα P Αρχίζουμε με την κατάσταση και καλούμε C 0 την υποκλάση που την περιέχει Από το θεώρημα προκύπτει ότι οι καταστάσεις για τις οποίες p 0 ανήκουν στην C δηλαδή 4,5C Όλες οι καταστάσεις k για τις οποίες p4 0 και p5 0 ανήκουν στην C δηλαδή,3c Συνεχίζοντας μ' αυτόν τον τρόπο παίρνουμε C 0 C C C 3 4,5,3,6,7 Σταματάμε να ψάχνουμε για καινούριες υποκλάσεις όταν μι μία κατάσταση που έχουμε ήδη κατατάξει εμφανίζεται ξανά Έχουμε ότι C C 0 3 κατά συνέπεια C C 0 3 και C 0 προηγούμενη διαδικασία οπότε παίρνουμε = {, 6, 7} Επαναλαμβάνουμε την - 36 -

C 0 C C,6,7 4,5,3 Έτσι η περίοδος είναι d =3 Πρόταση 4 Μία κατάσταση μιας Μαρκοβιανής αλυσίδας είναι βασική αν και μόνο εάν είναι επαναληπτική ή απορρόφησης Οι μη βασικές καταστάσεις είναι παροδικές Όπως αναλύσαμε σε προηγούμενη παράγραφο η κανονική μορφή ενός πίνακα μετάβασης P είναι P 0 0 0 0 P 0 0 P= 0 0 0 0 0 0 Pκ 0 R R R Q όπου P,P,,P είναι στοχαστικοί πίνακες που αντιστοιχούν σε μεταβάσεις εσωτερικά σε βασικές κλάσεις καταστάσεων ή ισοδύναμα σε κλειστά σύνολα επαναληπτικών καταστάσεων Είναι ενδιαφέρον να δούμε τη μορφή που θα έχει ο πίνακας των δυνάμεων του πίνακα P P Αυτό μπορεί εύκολα να γίνει με συνεχείς υψώσεις οπότε γίνεται αντιληπτό ότι: P 0 0 0 0 P 0 0 P = 0 0 0 0 0 0 P 0 ( ) ( ) ( ) R R R Q Είναι φανερό ότι αν ο πίνακας μετάβασης P δεν έχει παροδικές καταστάσεις τότε η ασυμπτωτική συμπεριφορά της Μαρκοβιανής αλυσίδας ανάγεται στη - 37 -

μελέτη Μαρκοβιανών αλυσίδων η κάθε μία από τις οποίες αποτελείται από μία κλάση βασικών καταστάσεων ή από ένα κλειστό σύνολο επαναληπτικών καταστάσεων Η κάθε μία από τις κλάσεις αυτές μπορεί να είναι όπως έχουμε προηγούμενα αναλύσει απεριοδική ή περιοδική Αν η Μαρκοβιανή αλυσίδα έχει παροδικές καταστάσεις τότε σαν άσκηση ο αναγνώστης μπορεί να δείξει ότι Q 0 καθώς το Στο σημείο αυτό θα πρέπει να παρατηρήσουμε ότι μία Μαρκοβιανή αλυσίδα έχει τουλάχιστο μια επαναληπτική κατάσταση Το γεγονός αυτό έχει σαν αποτέλεσμα η μελέτη των Μαρκοβιανών αλυσίδων με μία κλειστή κλάση επαναληπτικών καταστάσεων και με κάποιες παροδικές καταστάσεις να έχει κάποιο ιδιαίτερο ενδιαφέρον Γενικά στην περίπτωση αυτή ο πίνακας μετάβασης είναι της μορφής P 0 P= R Q Οι Μαρκοβιανές αλυσίδες με πίνακα μετάβασης αυτής της μορφής ονομάζονται (decomposable) Μαρκοβιανές αλυσίδες Υψώνοντας συνεχώς τον παραπάνω πίνακα γίνεται αμέσως αντιληπτό ότι P 0 Q P = R όπου ( ) - R = Q RP ν=0 Είναι άμεσα προφανές ότι επειδή Q 0 καθώς το η ασυμπτωτική συμπεριφορά των decomposable Μαρκοβιανών αλυσίδων επεκτείνεται στη συμπεριφορά του παραπάνω αθροίσματος καθώς το - 38 -

Παρατήρηση 4 Σύμφωνα με το θεώρημα των Chapma - Kolmogorov έχουμε ότι lm p( ) p(0)lm P p(0) Π π (,,, ) δηλαδή ασυμπτωτικά οι πιθανότητες η Μαρκοβιανή αλυσίδα να είναι στις καταστάσεις,,,k δίνονται από τη γραμμή του πίνακα Π ΠΑΡΑΔΕΙΓΜΑ 6 Έστω η Μαρκοβιανή αλυσίδα X t με πίνακα πιθανοτήτων μετάβασης P και έστω 0 0 0 0 0 05 05 P 0 05 05 0 05 05 0 0 Το διάγραμμα ροής της Μαρκοβιανής αλυσίδας X t είναι 4 3 3 4-39 -

Παρατηρούμε ότι η Μαρκοβιανή αλυσίδα X t αποτελείται από μία βασική κλάση καταστάσεων δηλαδή όλες οι καταστάσεις της είναι επαναληπτικές Θα εξετάσουμε τώρα αν είναι περιοδική Έχουμε C C C C 3 0 3, 0,, από όπου παίρνουμε ότι C 0 C 0,, 3,, και κατά συνέπεια C 0 = 0,,, 3 άρα η X t είναι απεριοδική Κατά συνέπεια υπάρχει το lm P Π και είναι ένας ευσταθής στοχαστικός πίνακας του οποίου η γραμμή π είναι η λύση των εξισώσεων πp = π και π' = ' από όπου παίρνουμε ότι 0,5 3 0 0,5 0,5 3 0,5 0,5 3 0,5 0 3 0 3 Η λύση του συστήματος μας δίνει 0,43, 0, 86, 0, 86, 0, 86 0 3 Η απόδειξη του θεωρήματος σε ότι αφορά ιδιότητες του πίνακα - 40 -

μετάβασης P αποκλειστικά στο γεγονός ότι οι σχέσεις μεταξύ των στοιχείων του πίνακα ap 0 ( ) 0 για κάποιο ακέραιο P 0 στηρίχτηκε Αυτό ήταν συνέπεια του γεγονότος ότι υποθέσαμε ότι η Μαρκοβιανή αλυσίδα μας είναι κανονική Όμως υπάρχει μία μεγάλη κατηγορία πινάκων μετάβασης τους οποίους ap 0 ( ) 0 P για χωρίς η αντίστοιχη Μαρκοβιανή αλυσίδα να είναι κανονική Γενικά θα ονομάζουμε μικτή μία Μαρκοβιανή αλυσίδα αν ο πίνακας μετάβασης της ap 0 ( ) 0 P είναι τέτοιος ώστε για κάποιο ακέραιο Γενικά μπορεί με ανάλογο τρόπο ν αποδειχθεί ότι 0 να ισχύει Θεώρημα 3 Εάν P τότε ο πίνακας είναι ένας πίνακας μετάβασης μιας μικτής Μαρκοβιανής αλυσίδας P καθώς το πίνακα Π του οποίου η γραμμή π θετικά στοιχεία του στοχαστικού διανύσματος συγκλίνει σε ένα ευσταθή στοχαστικό εν γένει δεν έχει όλα τα στοιχεία θετικά Τα π αντιστοιχούν στις επαναληπτικές καταστάσεις της Μαρκοβιανής αλυσίδας Έχουμε επίσης ότι ( ) 0 / 0 p p ( a( P )) για κάθε κατάσταση και που ανήκουν στο S και για κάθε ακέραιο 7 Η γεωμετρική ερμηνεία της περιοδικής περίπτωσης Έστω η Μαρκοβιανή αλυσίδα πιθανοτήτων μετάβασης X t με καταστάσεις S {,,3} και πίνακα 0 0 P 0 0 0 0 Το διάγραμμα ροής αυτής της Μαρκοβιανής αλυσίδας είναι - 4 -

3 επομένως η Μαρκοβιανή αλυσίδα X t αποτελείται από μία βασική κλάση καταστάσεων Θα χρησιμοποιήσουμε τώρα τον αλγόριθμο που μόλις περιγράψαμε, για να βρούμε τις κυκλικές υποκλάσεις της Μαρκοβιανής αλυσίδας Έχουμε C 0 C C C 3 3 άρα η περίοδος της Μαρκοβιανής αλυσίδας είναι 3 και οι κυκλικές υποκλάσεις είναι C 0 ={}, C ={} και C ={3} και ο P στην μορφή των υποκλάσεων γράφεται C 0 C C C0 0 0 P C 0 0 C 0 0 Αν πάρουμε τις διάφορες δυνάμεις του P, έχουμε 0 0 P() P 0 0, 0 0 0 0 P() P 0 0 0 0 0 0 0 0 3 P(3) P 0 0, (4) P P, P(5) P, P(6) P 3-4 -

δηλαδή παρατηρούμε ότι γενικά P P P t 3 Το αρχικό τρίγωνο με την επίδραση του πίνακα P δεν συρρικνώνεται αλλά στρίβει κατά 0 Δηλαδή το σημείο πάει στο, το στο 3 και το 3 στο Γενικά κάθε μετασχηματισμός μέσω του P 0 Στη στροφή αυτή υπάρχει ένα σημείο, το θα στρίβει το τρίγωνο κατά p( ),, 3 3 3 το οποίο μένει σταθερό σε κάθε στροφή Αυτό είναι και το κέντρο βάρους του τριγώνου Εδώ θα πρέπει να σημειώσουμε ότι σύμφωνα με το θεώρημα σταθερού σημείου του Brouwer για κάθε Μαρκοβιανή αλυσίδα υπάρχει τουλάχιστο ένα σημείο που παραμένει αναλλοίωτο όταν εφαρμόζεται ο μετασχηματισμός P Είναι φανερό ότι το lm P t t δεν υπάρχει αφού έχουμε ότι P 3 0 0 0 0 0 0 P 3 0 0 0 0 0 0-43 -

P 3 0 0 0 0 0 0 για 0,,, Επομένως η ακολουθία των δυνάμεων του πίνακα υπακολουθίες τις 3 P, 3 P και 3 P P έχει τρεις οι οποίες συγκλίνουν σε τρία διαφορετικά όρια Ας υποθέσουμε ότι το αρχικό διάνυσμα είναι το τότε p(0) [ p (0), p (0), p (0)] 3 3 lm (3 ) (0) p p P [ p3(0), p (0), p(0)] p( ) 3 lm (3 ) (0) p p P [ p(0), p3(0), p (0)] p( ) 3 lm p(3 ) p(0) P [ p (0), p(0), p3(0)] p0( ) Θεωρούμε το άθροισμα p ( ),, 3 0 3 3 3 το οποίο είναι το σημείο το οποίο παραμένει αναλλοίωτο στο μετασχηματισμό Το παραπάνω αποτέλεσμα είναι κατά πολύ γενικότερο για τις περιοδικές Μαρκοβιανές αλυσίδες και ονομάζεται κατά Cezaro σύγκλιση των Μαρκοβιανών αλυσίδων και θ' αναφερθούμε σ' αυτό παρακάτω Θεωρούμε τώρα μια Μαρκοβιανή αλυσίδα η οποία είναι αδιαχώριστη και περιοδική με περίοδο d Δηλαδή οι καταστάσεις αποτελούνται από μία επαναληπτική κλάση περιόδου d ή από μία κλάση βασικών καταστάσεων Ο πίνακας μετάβασης μιας τέτοιας Μαρκοβιανής αλυσίδας μπορεί να γραφεί στη μορφή - 44 -

C 0 C C Cd P C C C C 0 P 0 0 0 0 P 0 0 0 0 P 0 0 0 P 0 0 d d d d Υψώνοντας συνεχώς τον παραπάνω πίνακα μέχρι τη δύναμη δυνατό να γίνει αντιληπτό ότι d P είναι C 0 C Cd P d C C X 0 0 0 X 0 0 0 Cd 0 0 Xd όπου X = PP P P P d- - για 0,,, d Προφανώς οι πίνακες X, (,,, d) είναι στοχαστικοί πίνακες (σαν γινόμενα στοχαστικών) και επειδή οι κλάσεις των καταστάσεων αποτελούν μία πεπερασμένη επαναληπτική κλάση οι στοχαστικοί πίνακες C X είναι πίνακες μετάβασης μίας αδιαχώριστης απεριοδικής Μαρκοβιανής αλυσίδας Με τον ίδιο τρόπο είναι αμέσως αντιληπτό ότι C 0 C Cd P d C 0 0 X C X 0 0 0 0 Cd 0 0 Xd και κατά συνέπεια - 45 -

C 0 C Cd C C 0 0 d lm P P* C Π 0 0 0 Π 0 0 0 d d όπου Π lm X d και επειδή X είναι πίνακας μετάβασης μιας αδιαχώριστης απεριοδικής Μαρκοβιανής αλυσίδας έχουμε ότι οι Π, ( 0,,, d) είναι ευσταθείς στοχαστικοί πίνακες με όλα τα στοιχεία της θετικά και τα οποία υπολογίζονται εύκολα σαν η λύση του συστήματος π π Χ για 0,,, d όπου η γραμμή του πίνακα Π Έχουμε ότι d r d r r lm P lm P P P* P, r 0,,, d κατά συνέπεια η ακολουθία { P } 0 διασπάται σε d συγκλίνουσες υπακολουθίες με όρια τα r P* P, r 0,,, d Θεωρούμε το άθροισμα P 0 το οποίο γράφουμε P P P d[( )/ d ] 0 0 d[( )/ d ] - 46 -

όπου [ ] είναι το ακέραιο μέρος του αριθμού Έχουμε ότι P d[( )/ d ] d [( )/ d ] 0 r0 0 P dr και κατά συνέπεια [( ) / d] lm P lm P lm [( ) / d] d[( )/ d ] d [( )/ d ] d [( )/ d ] d r d r 0 r0 0 r0 0 P d r r Είναι γνωστό όμως ότι lm P P* P κατά συνέπεια και ο αριθμητικός μέσος της ακολουθίας θα συγκλίνει στο ίδιο όριο δηλαδή [( )/ d] d r lm P P* P [( ) / d] 0 r για r 0,,, d Έχουμε όμως ότι [( ) / d] lm d επομένως d[( )/ d ] d lm P P* P d r0 r Είναι εύκολο να δειχθεί ότι lm P 0 d[( )/ d ] κατά συνέπεια - 47 -

d r lm P P* P Π d 0 r0 d γιατί d d P P* P* P P* Η παραπάνω σύγκλιση την οποία αποδείξαμε ονομάζεται σύγκλιση κατά Cesaro Είναι εύκολο να γίνει αντιληπτό ότι ο πίνακας στοχαστικός πίνακας του οποίου η γραμμή γράφεται σαν Π d είναι ένας ευσταθής ' πd ( π0, π,, πd ) d Κατά συνέπεια αποδείξαμε ότι Θεώρημα 4 Έστω μία αδιαχώριστη περιοδική Μαρκοβιανή αλυσίδα με περίοδο Έστω P ο πίνακας μετάβασης της Μαρκοβιανής αλυσίδας τότε η ακολουθία { P } 0 διασπάται σε d συγκλίνουσες υπακολουθίες με όρια τα d P* P r για r 0,,, d όπου P* lm P d Έστω C C 0,,, Cd οι κυκλικές υποκλάσεις της Μαρκοβιανής αλυσίδας και Τότε έστω P, P,, Pd 0 οι αντίστοιχοι πίνακες μετάβασης X PP P P P για 0,,, d d Οι πίνακες X ( 0,,, d ) ορίζουν d κανονικές Μαρκοβιανές αλυσίδες και Π lm X ευσταθείς στοχαστικοί πίνακες και - 48 -

C 0 C Cd P* C C Π 0 0 0 Π 0 0 Cd 0 0 Πd Έστω π η γραμμή του πίνακα Π Η ακολουθία { P } 0 συγκλίνει κατά Cesaro στον πίνακα Π d d d r0 P* P r όπου Π d είναι ένας ευσταθής στοχαστικός πίνακας του οποίου η γραμμή π d δίνεται από πd ( π0, π,, πd ) d ΠΑΡΑΔΕΙΓΜΑ 7 Έστω η Μαρκοβιανή αλυσίδα Y t, με πίνακα πιθανοτήτων P και έστω 3 4 5 0 0 0 07 03 0 0 0 0 P 30 08 0 0 0 4 0 0 0 0 5 0 0 0 0 Το διάγραμμα ροής της Μαρκοβιανής αλυσίδας είναι - 49 -

3 4 3 5 5 Από το διάγραμμα ροής γίνεται φανερό ότι οι καταστάσεις της Μαρκοβιανής αλυσίδας {,, 3, 4, 5} αποτελούν ένα σύνολο βασικών καταστάσεων Αποτελείται λοιπόν η Μαρκοβιανή αλυσίδα καταστάσεων Y t από μια κλάση βασικών Θα βρούμε τώρα τις κυκλικές υποκλάσεις της αν υπάρχουν Έχουμε C 0 C C C 3 4,5 3, συνεχίζοντας έχουμε C 0 C C, 4,5 3 Άρα ο πίνακας γράφεται P έχει περίοδο 3 και με βάση τις κυκλικές του υποκλάσεις 4 5 3 0 0 07 03 0 0 0 0 0 P 4 0 0 0 0 6 0 0 0 0 30 08 0 0 0-50 -

Όπου ο πίνακας P 0 07 03 P0 0 είναι ο πίνακας μετάβασης από την κυκλική κλάση C 0 στην C, επίσης P P είναι ο πίνακας πιθανοτήτων μετάβασης από την κυκλική κλάση C στη C 0 και τέλος ο πίνακας P P 0 08 είναι ο πίνακας μετάβασης από την κυκλική κλάση C στην C 0 Τώρα σύμφωνα με το συμβολισμό του θεωρήματος 3 θα υπολογίσουμε τον πίνακα P* ο οποίος είναι το όριο του πίνακα όπου d=: είναι η περίοδος Έχουμε λοιπόν σύμφωνα με το συμβολισμό 3 P του όπου P 3 C 0 C C C0X0 0 0 C 0 X 0 C 0 0 X 07 03 0 08 X0 P0 P P 0 08 0 0 08-5 -

07 03 04 086 X P PP 0 0 08 0 04 086 X 07 03 P P P 0 08 0 0 Έχουμε όμως από το θεώρημα 3 C 0 C C C lm X 0 0 0 0 d P* lm P C 0 lm X 0 C 0 0 lm X Επειδή ο πίνακας X 0 είναι ευσταθής στοχαστικός πίνακας έχουμε ότι 0 08 0 08 lm X0 lm 0 08 0 08 και όμοια 04 086 04 086 lm X lm 04 086 04 086 Άρα * P 4 5 3 0 08 0 0 0 0 08 0 0 0 4 0 0 04 086 0 5 0 0 04 086 0 3 0 0 0 0-5 -

Έχουμε ότι 3r 3 r r lm P lm P P P* P (για r,) Δηλαδή * PP 0 0 04 086 0 0 0 04 086 0 0 0 0 0 0 0 0 0 0 08 0 0 0 και PP * 0 0 0 0 0 0 0 0 0 08 0 0 0 0 08 0 0 0 0 0 04 08 0 Θεωρούμε τώρα το άθροισμα r P r0 τότε σύμφωνα με το θεώρημα 3 η παραπάνω σειρά συγκλίνει στον πίνακα Π d όπου lm P Π P* P r 3 r0 3 r0 r άρα - 53 -

Π 3 0 08 04 086 3 3 3 3 3 0 08 04 086 3 3 3 3 3 0 08 04 086 3 3 3 3 3 0 08 04 086 3 3 3 3 3 0 08 04 086 3 3 3 3 3 από όπου καταλήγουμε ότι η ακολουθία πίνακα { P } 0 συγκλίνει κατά Cesaro στον Π 3 0066 067 0047 087 0333 0066 067 0047 087 0333 0066 067 0047 087 0333 0066 067 0047 087 0333 0066 067 0047 087 0333-54 -

ΚΕΦΑΛΑΙΟ 3 ο ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΑΠΟΡΡΟΦΗΣΗΣ 3 ΕΙΣΑΓΩΓΗ Στο προηγούμενο κεφάλαιο, όπου κάναμε την ταξινόμηση των καταστάσεων διακρίναμε τις καταστάσεις σε επαναληπτικές και παροδικές Όταν το σύστημα φύγει από το σύνολο των καταστάσεων που είναι παροδικές δεν επανέρχεται σ' αυτό ποτέ ενώ αντίθετα όταν εισέλθει στο σύνολο των καταστάσεων που είναι επαναληπτικές δεν το εγκαταλείπει ποτέ Οι επαναληπτικές καταστάσεις μιας Μαρκοβιανής αλυσίδας μπορεί να χωρίζονται σε περισσότερα από ένα κλειστά σύνολα και σε κάθε ένα από αυτά, όταν το σύνολο εισέλθει, είναι αδύνατο να το εγκαταλείψει Εάν το σύνολο των καταστάσεων που είναι επαναληπτικές έχει μόνο ένα στοιχείο τότε η κατάσταση αυτή ονομάζεται κατάσταση απορρόφησης Για αυτή την κατάσταση έστω θα έχουμε πάντα P = και τα υπόλοιπα στοιχεία στη γραμμή του πίνακα πιθανοτήτων μετάβασης θα είναι ίσα με το 0 Θα δώσουμε τώρα τον παρακάτω ορισμό Ορισμός 3 Σε μια πεπερασμένη Μαρκοβιανή αλυσίδα στην οποία οι επαναληπτικές καταστάσεις είναι καταστάσεις απορρόφησης καλείται μια Μαρκοβιανή αλυσίδα απορρόφησης Έστω P ο πίνακας μετάβασης και έστω ότι οι επαναληπτικές καταστάσεις, χωρίς βλάβη της γενικότητας, αποτελούν ένα κλειστό σύνολο Τότε με αλλαγές των γραμμών και των στηλών του πίνακα P μπορούμε να μαζέψουμε μαζί όλες τις επαναληπτικές καταστάσεις και όλες τις παροδικές καταστάσεις Υποθέτουμε ότι υπάρχουν είναι παροδικές Τότε ο πίνακας P παίρνει τη μορφή k καταστάσεις και ότι s από αυτές - 55 -

k s s Q 0 k s P R Q s (3) Ο πίνακας Q είναι ss και συμπεριλαμβάνει τις πιθανότητες μετάβασης ανάμεσα στις παροδικές καταστάσεις πίνακας R είναι ( k s) s και αποτελείται από τις πιθανότητες μετάβασης από τις παροδικές στις επαναληπτικές Ο πίνακας Q είναι ( k s) ( k s) πιθανότητες μετάβασης ανάμεσα στις επαναληπτικές καταστάσεις και αποτελείται από τις Θα αποδείξουμε τώρα ένα ενδιαφέρον θεώρημα που χαρακτηρίζει τη συμπεριφορά μιας Μαρκοβιανής αλυσίδας Θεώρημα 3 Σε μια Μαρκοβιανή αλυσίδα, ανεξάρτητα από την αρχική κατάσταση, η πιθανότητα ότι μετά από βήματα η διαδικασία θα βρίσκεται σε μια επαναληπτική κατάσταση πηγαίνει προς τη μονάδα καθώς το πηγαίνει προς το άπειρο Απόδειξη: Αν η Μαρκοβιανή αλυσίδα αρχίσει σε μία επαναληπτική κατάσταση τότε όπως είναι γνωστό δεν μπορεί να εγκαταλείψει το σύνολο των επαναληπτικών καταστάσεων και κατά συνέπεια θα βρίσκεται πάντα με πιθανότητα σε μία επαναληπτική κατάσταση Το ίδιο θα συμβεί φυσικά αν σε οποιοδήποτε βήμα η Μαρκοβιανή αλυσίδα μεταβεί σε μία επαναληπτική κατάσταση Απομένει λοιπόν να δούμε τι συμβαίνει όταν η αρχική κατάσταση είναι παροδική Αφού η Μαρκοβιανή αλυσίδα είναι πεπερασμένη είναι φανερό ότι ο αριθμός των παροδικών καταστάσεων είναι πεπερασμένος Έχει λοιπόν νόημα να καλέσουμε με p την πιθανότητα η οποία είναι το ελάχιστο από τις πιθανότητες μετάβασης από οποιαδήποτε παροδική κατάσταση σε μία επαναληπτική σε το πολύ βήματα Κατά συνέπεια η πιθανότητα να μη βρεθεί σε το πολύ βήματα η Μαρκοβιανή αλυσίδα σε επαναληπτική κατάσταση είναι το πολύ - 56 -