Νικος Χαλιδιας Μαθηματικό Τμήμα κατεύθυνση Στατιστικής και Αναλογιστικών-Χρηματοοικονομικών Μαθηματικών Πανεπιστημιο Αιγαιου Θεωρημα 1 Εστω s S μια οποιαδήποτε κατάσταση μιας αδιαχώριστης Μαρκοβιανής αλυσίδας. Τότε η αλυσίδα είναι μεταβατική αν και μόνο αν υπάρχει μια μη μηδενική λύση {y i : i s} του συστήματος y i = j s P ij y j, i s 1 τέτοια ώστε y j 1 για κάθε j s. Αποδειξη. Διαλέγουμε μια κατάσταση s S. Τότε η αλυσίδα θα είναι μεταβατική αν και μόνο αν η s είναι μεταβατική. Εστω ότι η s είναι μεταβατική. Ορίζουμε τις πιθανότητες Παρατηρήστε ότι τ i (n) = P (X m s, 1 m n X 0 = i) τ i (n) = j s P ij, τ i (n + 1) = j s P ij τ j (n) και επίσης τ i (n) τ i (n + 1). Άρα τ i = lim τ i (n) = P (X m s, 1 m X 0 = i) = 1 f is Από την σχέση τ i (n + 1) = j s P ij τ j (n) λαμβάνοντας το όριο καθώς n έχουμε ότι τ i = j s P ij τ j, i s
2 Πράγματι, αν F ένα πεπερασμένο υποσύνολο του S που δεν περιέχει το s τότε P ij τ j (n) = lim P ij τ j (n) + lim P ij τ j (n) Ομως lim j s 0 j / F j F P ij τ j (n) j / F j / F P ij 0 καθώς F S Άρα το σύστημα εξισώσεων έχει μια λύση τέτοια ώστε τ i 1 και μένει να αποδείξουμε ότι είναι μη μηδενική. Πράγματι, τ i > 0 για κάποιο i s αλλιώς f is = 1 για κάθε i s και συνεπώς f ss = P ss + j s P si f is = i S P si = 1 το οποίο σημαίνει ότι η s είναι επαναληπτική. Αυτό είναι άτοπο άρα τ i > 0 για κάποιο i s και επομένως η λύση αυτή του συστήματος θα είναι μη μηδενική. Αντίστροϕα, αν y i είναι μια μη μηδενική λύση του συστήματος τέτοια ώστε y i 1 τότε y i j s P ij y j j s P ij = τ i (1). y i j s P ij τ j (n) = τ i (2). Δηλαδή y i τ i (n) για κάθε n N το οποίο σημαίνει ότι τ i > 0 για κάποιο i s. Αυτό με την σειρά του σημαίνει ότι η s είναι μεταβατική αϕού η υπάρχει θετική πιθανότητα η αλυσίδα να ξεκινήσει από την s, να επισκεϕθεί την i και έπειτα να μην επιστρέψει ποτέ στην s. Θεωρημα 2 Εστω X n μια αδιαχώριστη Μαρκοβιανή αλυσίδα στο χώρο καταστάσεων S = {0, 1, 2, }. Αν το σύστημα P ij y j y i, για i > 0
έχει μια λύση y i τέτοια ώστε y i καθώς i τότε η αλυσίδα είναι επαναληπτική. Αποδειξη. Αν τα y i ικανοποιούν το σύστημα αυτό τότε και τα z i = y i + b όπου b > 0 επίσης ικανοποιούν το ίδιο σύστημα συνεπώς χωρίς βλάβη της γενικότητας θα υποθέσουμε ότι y i b > 0 για κάθε i 1. Εϕόσον τα y i ικανοποιούν το σύστημα αυτό τότε και ij y j y i, για i > 0 Διαλέγουμε ένα M > 0 και γράϕουμε Αϕού y i b > 0 τότε ij y j + j=m ij y j + min r M {y r} ij y j y i, για i > 0 j=m ij y i, για i > 0 Ξεχωρίζουμε δυο περιπτώσεις. Η μια περίπτωση είναι όταν P i0 = 1 για κάθε i > 0. Σε αυτή την περίπτωση η αλυσίδα είναι επαναληπτική διότι αν ήταν μεταβατική τότε θα έπρεπε να υπήρχε μη μηδενική λύση (δες Θεώρημα 1) για το σύστημα P ij y j = y i, για i > 0 Η μοναδική λύση του συστήματος αυτού όμως είναι η μηδενική συνεπώς η αλυσίδα είναι επαναληπτική. Η άλλη περίπτωση είναι όταν υπάρχει i > 0 τέτοιο ώστε P i 0 < 1. Σε αυτή την περίπτωση έχουμε ότι i jy j + min r M {y r} ( 1 P i 0 i j ) 3 y i (1)
4 Υποθέτουμε ότι η αλυσίδα είναι μεταβατική. Αυτό σημαίνει ότι lim P ij m = 0 (δες Θεώρημα ;;) m Λαμβάνουμε το όριο στην 1 καθώς m και έχουμε δηλαδή min r M {y r}(1 P i 0) y i min {y r} r M Εϕόσον y i καθώς i τότε y i 1 P i 0 (2) min {y r} r M καθώς M το οποίο είναι άτοπο διότι το δεξί μέλος της 2 είναι ανεξάρτητο του M. Συνεπώς και σε αυτή την περίπτωση η αλυσίδα είναι επαναληπτική. Παραδειγμα 3 Εστω η Μαρκοβιανή αλυσίδα X n με τιμές στο N {0} και X 0 = i N {0}. Εστω ότι ο πίνακας μετάβασης είναι τ.ω. P i,i 1 = q, P i,i+1 = p για i 1 ενώ P 00 = q και P 01 = p με p + q = 1 και pq 0. Διαλέγουμε s = 0 και σχηματίζουμε το σύστημα των εξισώσεων y i = j 0 P ij y j, i 0 ή αλλιώς Η εξίσωση διαϕορών y 1 = py 2 y i = py i+1 + qy i 1, i 2 y i = py i+1 + qy i 1, i 2 έχει ως γενική λύση (δηλαδή όλες οι πιθανές λύσεις είναι αυτής της μορϕής) την y i = A + B ( ) i q, i 2 p
5 όταν p q. Στην προκειμένη περίπτωση η λύση είναι ( ) n q 1 p y n = py 1 p q Οταν p = q τότε η λύση της εξίσωσης διαϕορών είναι y n = ny 1. Αν q < p διαλέγουμε το y 1 κατάλληλα έτσι ώστε y n 1 για n 1. Συνεπώς σε αυτή την περίπτωση η αλυσίδα είναι μεταβατική. Αν q > p είναι προϕανές ότι η μοναδική ϕραγμένη λύση της εξίσωσης διαϕορών είναι επιλέγοντας y 1 = 0 δηλαδή η μηδενική. Αυτό σημαίνει ότι η αλυσίδα δεν είναι μεταβατική (άρα είναι επαναληπτική) διότι αλλιώς θα μπορούσαμε να βρούμε ϕραγμένη μη μηδενική λύση της εξίσωσης διαϕορών. Αν p = q τότε η λύση της εξίσωσης διαϕορών είναι η y n = ny 1. Συνεπώς δεν υπάρχει μη μηδενική και ϕραγμένη λύση της εξίσωσης διαϕορών άρα η αλυσίδα είναι επαναληπτική. Στις περιπτώσεις q > p και q = p μπορούμε να χρησιμοποιήσουμε επίσης το θεώρημα 2 για να βγάλουμε το ίδιο συμπέρασμα.