Sidney I. Resnik Adventures in Stochastic Processes

Transcript

1 Σηµειώσεις Στοχαστικών Ανελίξεων

2

3 Αντώνης Τσολοµύτης & Γραµµατική Χατζηκωνσταντή Σηµειωσεις Στοχαστικων Ανελιξεων Βασισµένες στο ϐιβλίο : Sidney I Resni Adventures in Stochastic Processes Γοργύρα Σάµος 2001

4 4

5 Περιεχόµενα 1 Προκαταρκτικά 7 11 Εισαγωγή 7 12 Τυχαίες µεταβλητές µε µη αρνητικές ακέραιες τιµές 7 13 ιανυσµατικές τυχαίες µεταβλητές 9 14 Συνέλιξη Ιδιότητες συνέλιξης Γεννήτριες Συναρτήσεις Παράγωγος γεννήτριας συνάρτησης Γεννήτριες και συνέλιξη Γεννήτριες συναρτήσεις, σύνθεση και τυχαία αθροίσµατα Η απλή κλαδωτή διαδικασία Ροπές Πιθανότητα εξαφάνισης πληθυσµού Οριακές κατανοµές & ϑεώρηµα συνέχειας Απλός τυχαίος περίπατος 24 2 Αλυσίδες Marov Προσοµοίωση τµ µε µη αρνητικές τιµές Κατασκευή µιας αλυσίδας Marov Παραδείγµατα Υψηλότερες τάξης πιθανότητες µετάβασης ιάσπαση του χώρου καταστάσεων Στοχαστική ιαδικασία Μετάβαση και επανάληψη Περιοδικότητα Ιδιότητες Αλληλεγγύης 53 Ευρετήριο ελληνικών όρων 57 Ευρετήριο ξενόγλωσσων όρων 59 5

6 6 ΠΕΡΙΕΧΟΜΕΝΑ Το κοµµάτι των σηµειώσεων από την παράγραφο 25 και µετά γράφτηκε ως εργασία για το µάθηµα από την ϕοιτήτρια του µεταπτυχιακού προγράµµατος του Τµήµατος Μαθηµατικών του Πανεπιστηµίου Αιγαίου κα Γραµµατική Χατζηκωνσταντή

7 Κεφάλαιο 1 Προκαταρκτικά 11 Εισαγωγή Τυχαία µεταβλητή είναι µία συνάρτηση X από ένα χώρο πιθανότητας στο R Οποιαδήποτε συνάρτηση X δεν είναι απαραίτητα τυχαία µεταβλητή Για να συµ- ϐαίνει αυτό πρέπει να ικανοποιεί κάποια προϋπόθεση που ονοµάζεται µετρησιµότητα Επειδή η ιδιότητα αυτή απαιτεί αρκετά ϑεωρητικά µαθηµατικά και επειδή όλες οι συναρτήσεις που ϑα µας απασχολήσουν την ικανοποιούν, ϑα παραλείψουµε τη συζήτηση αυτής της έννοιας Ο χώρος πιθανότητας το πεδίου ορισµού µιας τυχαίας µεταβλητής X δεν είναι παρά ένα σύνολο Ω που περιέχει όλα τα πιθανά ενδεχόµενα ενός πειράµατος Ετσι αν µε P(A) συµβολίζουµε την πιθανότητα να συµβεί το ενδεχόµενο A τότε P(Ω) = 1 δηλαδή η πιθανότητα να συµβεί κάτι από το Ω είναι πιθανοθεωρητικά ϐέβαιο (αφού το Ω περιέχει όπως είπαµε όλα τα πιθανά ενδεχόµενα) Μια στοχαστική διαδικασία είναι µια συλλογή τυχαίων µεταβλητών {X t : t T} όπου το T είναι κάποιο σύνολο δεικτών Συχνά η µεταβλητή t συµβολίζει χρόνο οπότε T = [0, ) Κάθε X t είναι συνάρτηση από το Ω στο R Αν µετράµε σε διακριτό χρόνο (πχ δευτερόλεπτα) τότε T = {0, 1, 2, } Για παράδειγµα X t µπορεί να είναι το πλήθος των ανθρώπων σε µία ουρά τη χρονική στιγµή t, ή τα χρήµατα που πλήρωσε µια ασφαλιστική εταιρεία στο διάστηµα [0, t] Πολλές ϕορές επιτρέπουµε το πεδίο τιµών να περιέχει και το ηλαδή X t R { } Για παράδειγµα µπορεί µια τυχαία µεταβλητή X να µετράει τον απαιτούµενο χρόνο για να συµβεί κάποιο ϕαινόµενο Αν αυτό δεν συµβαίνει ποτέ τότε είναι ϕυσικό να ϑεωρήσουµε το ως τιµή της X 12 Τυχαίες µεταβλητές µε µη αρνητικές ακέραιες τιµές Εστω X τυχαία µεταβλητή µε τιµές στο σύνολο {0, 1, 2, 3, } (πχ αριθµός ασφαλισµένων κάποια χρονική στιγµή) Εστω p = P(X = ) η πιθανότητα να εί- 7

8 8 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ ναι η τιµή της X για = 0, 1, 2, 3 Τότε P(X < ) = sum p και P(X = ) = 1 =1 p =: p Αν P(X = ) > 0 ϑέτουµε E(X) = Αλλιώς ϑέτουµε E(X) = p = P(X = ) (11) Πολλές ϕορές παραλείπουµε τις παρενθέσεις και γράφουµε EX αντί για E(X) Αν f : {0, 1, 2, } [0, ] τότε E ( f (X) ) = 0 f ()p Αν f : {0, 1, 2, } [, ] τότε E ( f (X) ) = E ( f + (X) ) E ( f (X) ), (όπου f + = max{f, 0}, f = min{f, 0}) εφόσον µιά από τις δύο µέσες τιµές υπάρχουν και είναι πεπερασµένες Αν και οι δύο είναι τότε λέµε ότι η E ( f (X) ) δεν υπάρχει Η µέση τιµή υπάρχει πάντα όταν f () p < Αν p = 0 και f () = n τότε Ef (X) = E(X n ) και καλείται n-στη ϱοπή f () = ( EX) n τότε Ef (X) = E(X EX) n και καλείται n-στη κεντρική ϱοπή Αν n = 2 τότε Var(X) = E(X EX) 2 = EX 2 (EX) 2 (12) Ορισµός 121 Η ακολουθία p λέγεται κατανοµή της X Λέµε ότι η X ακολουθεί την κατανοµή p Παραδείγµατα : ιωνυµική κατανοµή p = b(; n, p) = ( n ) p (1 p) n είναι η πιθανότητα για επιτυχίες σε n πειράµατα Bernoulli ( δηλαδή πειράµατα όπου το αποτέλεσµα είναι είτε επιτυχία είτε αποτυχία (πχ ϱίψη νοµίσµατος)) όπου η επιτυχία εµφανίζεται µε πιθανότητα p Για τη διωνυµική κατανοµή έχουµε : ( ) n P(X = ) = b(; n, p) = p (1 p) n για 0 n και 0 p 1 Επίσης EX = np και Var X = np(1 p) Κατανοµή Poisson λ λ P(X = ) = p = p(; λ) = e! για = 0, 1, 2,, λ > 0 Επίσης έχουµε EX = λ και Var X = λ Γεωµετρική κατανοµή P(X = ) = p = g(; p) = (1 p) p

9 13 ΙΑΝΥΣΜΑΤΙΚΕΣ ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ 9 για 0 p 1 και = 0, 1, 2, Η ποσότητα p είναι το πλήθος των αποτυχιών πρίν την πρώτη επιτυχία σε πειράµατα Bernoulli Συνήθως ϑέτουµε q = 1 p Τότε EX = q p = p q = p = p = q p =1 ( ) 1 q = p =1 j=1 q j 1 q = j=1 j=1 q j = j=1 =j q 1 q q Λήµµα 122 Αν η X έχει τιµές στο {0, 1, 2, } τότε EX = P(X > ) =1 Απόδειξη : P(X > ) = j=+1 ( j 1 p j ) = 1 j=0 = jp j j=1 = EX p j 13 ιανυσµατικές τυχαίες µεταβλητές ιανυσµατική τυχαία µεταβλητή είναι ένα διάνυσµα X = (X 1, X 2,, X ) όπου κάθε συντεταγµένη X j είναι τυχαία µεταβλητή Για την κατανοµή της X γράφουµε Αν f : {0, 1, 2,, } [0, ] τότε P(X 1 = j 1, X 2 = j 2,, X = j ) = p j1,j 2,,j Ef (X 1, X 2,, X ) = (j 1,j 2,,j ) f (j 1, j 2,, j )p j1,j 2,,j (13)

10 10 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ Αν f : {0, 1, 2,, } R τότε Ef (X 1, X 2,, X ) = Ef + (X 1, X 2,, X ) Ef (X 1, X 2,, X ), εφόσον µία από τις δύο µέσες τιµές είναι πεπερασµένη Γενικώς για τα αθροίσµατα τυχαίων µεταβλητών ισχύει ότι αν a 1, a 2,, a R ( ) E a i X i = a i EX i, i=1 i=1 εφόσον η σειρά στα δεξιά έχει νόηµα (δεν είναι της µορφής ) Ορισµός 131 ύο τυχαίες µεταβλητές X, Y λέγονται ανεξάρτητες όταν P(X = και Y = l) = P(X = )P(Y = l) (14) Οµοίως οι X 1, X 2,, X λέγονται ανεξάρτητες όταν m P(X 1 = p i1 και X 2 = p i2 και και X im = p im ) = P(X ij = p ij ) j=1 για κάθε επιλογή δεικτών i 1, i 2,, i m Αν οι X 1, X 2,, X είναι ανεξάρτητες τυχαίες µεταβλητές, τότε για κάθε f 1, f 2,, f : {0, 1, 2,, } R έχουµε E f i (X i ) = Ef i (X i ), (15) i=1 i=1 το οποίο αφήνεται ως άσκηση Επίσης ως άσκηση αφήνεται και ο ακόλουθος τύπος : ( ) Var a i X i = a 2 i Var(X i ) i=1 i=1 εφόσον Cov(X i, X j ) = 0 για κάθε δύο διαφορετικούς δείκτες i, j, όπου Cov(X, Y ) = E ( (X EX)(Y EY ) )

11 14 ΣΥΝΕΛΙΞΗ Συνέλιξη Εστω X, Y ανεξάρτητες τυχαίες µεταβλητές µε ακέραιες τιµές και P(X = ) = a, P(Y = ) = b για = 0, 1, 2, Για n 0 έχουµε ( n ) P(X + Y = n) = P (X = i, Y = n i) = = = i=0 P(X = i, Y = n i) i=0 P(X = i)p(y = n i) i=0 a i b n i i=0 = p n ηλαδή η κατανοµή της X +Y η ακολουθία p n είναι η συνέλιξη των κατανοµών a n της X και b n της Y (και όχι το άθροισµα) Ορισµός 141 Η συνέλιξη δύο ακολουθιών {a n : n 0} και {b n : n 0} είναι µία νέα ακολουθία {c n : n 0} όπου Συµβολισµός : c n = a i b n i =: a n b n (16) i=0 Γράφουµε X {p } αν P(X = ) = p Ετσι αν X, Y ανεξάρτητες τυχαίες µεταβλητές µε X {p } και Y {q } τότε X + Y {p q } Γράφουµε X d = Y και λέµε ότι οι τυχαίες µεταβλητές ακολουθούν την ίδια κατανοµή όταν P(X = ) = P(Y = ) για κάθε = 0, 1, 2, Παράδειγµα : Αν X p(; λ), Y p(; µ) και X, Y ανεξάρτητες τότε X + Y p(; λ + µ) Πράγµατι έχουµε : P(X + Y = ) = P(X = i)p(y = i) i=0 λ λi µ i = e i! e µ ( i)! i=0 = e (λ+µ) 1 ( ) λ i µ i! i i=0 = e (λ+µ) (λ + µ)!

12 12 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ Παράδειγµα : Αν X b(; n, p), Y b(; m, p) δύο ανεξάρτητες τυχαίες µετα- ϐλητές τότε X + Y b(; n + m, p) (αφού οι επιτυχίες σε n δοκιµές Bernoulli ακολουθούµενες από τις επιτυχίες σε m δοκιµές Bernoulli είναι οι επιτυχίες σε n + m δοκιµές Bernoulli) 141 Ιδιότητες συνέλιξης Οι ϐασικές ιδιότητες της συνέλιξης είναι οι ακόλουθες : αντιµεταθετική a n b n = b n a n προσεταιριστική a n (b n c n ) = (a n b n ) c n δηλαδή X + (Y + Z) d = (X + Y ) + Z Για συντοµία αντί για p n p n γράφουµε p 2 n Ετσι αν X 1 και X 2 δύο ανεξάρτητες τυχαίες µεταβλητές µε την ίδια κατανοµή p n, τότε X 1 + X 2 p 2 n Οµοίως αν οι τυχαίες µεταβλητές X 1, X 2,, X έχουν την ίδια κατανοµή p n τότε X 1 + X X p n 15 Γεννήτριες Συναρτήσεις := p n p n p } {{ n } ϕορές Ορισµός 151 Αν a 0, a 1,, a n, ακολουθία αριθµών και υπάρχει s 0 > 0 ώ- στε η σειρά A(s) := j=0 a js j συγκλίνει για s < s 0 τότε ονοµάζουµε την A(s) γεννήτρια συνάρτηση της ακολουθίας a j Ο λόγος για αυτό το όνοµα είναι ότι αν γνωρίζουµε την A(s) τότε µπορούµε εύκολα να υπολογίσουµε την ακολουθία a j από την σχέση a j = A (j) (0)/j! Ενδιαφερόµαστε για γεννήτριες συναρτήσεις πυκνοτήτων πιθανότητας p Αν X {p } τότε η P(s) = p s λέγεται και γεννήτρια της X Παρατηρήστε ότι P(s) = Es X (γιατί ;) και P(1) = p 1 οπότε η ακτίνα σύγκλισης είναι τουλάχιστον 1 (P(1) = 1 αν και µόνο αν P(X = ) = 0) Παράδειγµα : Αν X p(; λ) τότε P(s) = e λ λ s = e λ! = e λ e λs = e λ(s 1), για όλα τα s > 0 Παράδειγµα : Αν X b(; n, p) τότε (( ) n P(s) = )p q n 0 = (q + ps) n s = (λs)! ( ) n (ps) q n

13 15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 13 Παράδειγµα : Αν X g(; p) τότε για 0 < s < q 1 P(s) = (q p)s = p 1 qs 151 Παράγωγος γεννήτριας συνάρτησης Η γεννήτρια συνάρτηση ικανοποιεί τον τύπο d n ds n P(s) s=0 = n!p n (17) για κάθε n = 0, 1, 2 Άρα η γεννήτρια συνάρτηση καθορίζει την p Γεννήτριες και ϱοπές Αν X {p }, p = 1, P(s) = Es X και ϑέσουµε q να είναι η ουρά της µεταβλητής, δηλαδή q = P(X > ) και Q(s) = q s τότε Q(s) = 1 P(s) 1 s Πράγµατι έχουµε ( ) Q(s) = p i s = = i=1 i=+1 1 s i 1 s p i = i=0 = (1 s) 1( 1 P(s) ) i=1 ( i 1 1 s i 1 s p i ) s p i Άρα, αφήνοντας το s να πλησιάσει ο 1 από αριστερά παίρνουµε ότι 1 P(s) lim = q = EX s 1 1 s ηλαδή, EX = P (1) Γενικά ισχύει : lim s 1 d n ds P(s) = n P(n) (1) = ( 1)( 2) ( n + 1)p = E ( X(X 1) (X n + 1) ) Ετσι αν ϑέσω n = 2 τότε P (1) = EX 2 EX οπότε Var(X) = P (1) + P (1) ( P (1) ) 2

14 14 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ 152 Γεννήτριες και συνέλιξη Η συνέλιξη ακολουθιών είναι µία «δύσκολη» διαδικασία Στην επόµενη πρόταση ϐλέπουµε ότι αν υπολογίσουµε τις γεννήτριες συναρτήσεις τότε η συνέλιξη µετατρέπεται σε απλό γινόµενο Πρόταση 152 Η γεννήτρια συνάρτηση µιάς συνέλιξης είναι το γινόµενο των γεννητριών συναρτήσεων Αν X 1, X 2 είναι ανεξάρτητες τυχαίες µεταβλητές µε µη αρνητικές ακέραιες τιµές και P Xi (s) = X i (i = 1, 2) οι γεννήτριες συναρτήσεις τους, τότε P X1 +X 2 (s) = P X1 (s)p X2 (s) Ετσι αν οι ακολουθίες (a j ), (b j ) έχουν γεννήτριες συναρτήσεις τις A(s), B(s) τότε η γεννήτρια συνάρτηση της συνέλιξης (a j ) (b j ) είναι το γινόµενο A(s)B(s) Παρατηρήστε ότι αν X 1 d = X 2 και είναι και ανεξάρτητες τότε Απόδειξη : P X1 +X 2 (s) = ( P X1 (s) ) 2 P X1 +X 2 (s) = Es X 1+X 2 = Es X 1 s X 2 = Es X 1 Es X 2 = P X1 (s)p X2 (s), αφού οι s X 1 και s X 2 είναι ανεξάρτητες (γιατί ;) Εστω s 0 η ακτίνα σύγκλισης των A(s) και B(s) (υποθέτουµε ότι είναι η ίδια) Τότε η γεννήτρια της συνέλιξης για s < s 0 είναι η ( ) a b n s n = a b n s n n=0 = n= a s n= = A(s)B(s) b n b n s n Παράδειγµα : Αν X 1 p(; λ), X 2 p(; µ) και οι X 1 και X 2 είναι ανεξάρτητες τότε P X1 +X 2 (s) = P X1 (s)p X2 (s) = e λ(s 1) e µ(s 1) = e (λ+µ)(s 1) άρα X 1 + X 2 p(; λ + µ) Παράδειγµα : Αν (X i ) n i=1 είναι ανεξάρτητες τυχαίες µεταβλητές Bernoulli µε την ίδια κατανοµή τότε η τυχαία µεταβλητή X = X 1 + X X n δηλώνει το πλήθος των επιτυχιών σε n πειράµατα Bernoulli και έχουµε : P X (s) = n P Xi (s) = ( P X1 (s) )n = (q + ps) n, i=1

15 15 ΓΕΝΝΗΤΡΙΕΣ ΣΥΝΑΡΤΗΣΕΙΣ 15 όπου q = 1 p Παράδειγµα : Αν (X i ) r i=1 είναι ανεξάρτητες τυχαίες µεταβλητές που ακολουθούν την γεωµετρική κατανοµή g(; p) τότε η τυχαία µεταβλητή X = X 1 + X X r δηλώνει το πλήθος των αποτυχιών µέχρι να έχουµε r επιτυχίες σε ανεξάρτητα πειράµατα Bernoulli Η πυκνότητα της X λέγεται αρνητική διωνυµική κατανοµή Γνωρίζουµε ότι P X1 (s) = p/(1 qs), οπότε r P X (s) = P Xi (s) = ( ( ) r P Xi (s) )r p = = P(X = )s 1 qs i=1 Σκοπός µας είναι να υπολογίσουµε την κατανοµή της X, δηλαδή να υπολογίσουµε την ποσότητα P(X = ) για κάθε = 1, 2, Με τη ϐοήθεια του διωνυµικού αναπτύγµατος αναλύουµε σε σειρά την ποσότητα (p/1 qs) r ως προς s Το διωνυµικό ανάπτυγµα δίνεται γενικώς από τον τύπο ( ) α (1 + t) α = t, για t < 1 όπου ( ) α = (α)! := α(α 1) (α + 1)! Αν ϑέσουµε στον παραπάνω τύπο α = r έχουµε : ( ) r p ( ) r = p r (1 qs) r = p r ( 1) q s, 1 qs άρα ( ) r P(X = ) = ( 1) p r q 153 Γεννήτριες συναρτήσεις, σύνθεση και τυχαία αθροίσµατα Εστω X n, n 1 ανεξάρτητες τυχαίες µεταβλητές µε την ίδια κατανοµή και µε µη αρνητικές ακέραιες τιµές Εστω X 1 (p ) και Es X 1 = P X1 (s) για 0 s 1 Εστω N µία άλλη τυχαία µεταβλητή ανεξάρτητη των X n για όλα τα n µε επίσης µη αρνητικές ακέραιες τιµές και κατανοµή P(N = j) = α j, j 0 και Es N = P N (s) για 0 s 1 Ορίζουµε S 0 = 0 και S n = X 1 + X X n για n 1 Τότε η τυχαία µεταβλητή S N λέµε ότι ακολουθεί τη σύνθετη κατανοµή των X i και N Για j 0, P(S N = j) = P(S N = j, N = ) = P(S = j, N = ) = P(S = j)p(n = ) = p j α,

16 16 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ όπου p j = P(S = j) η j τιµή της συνέλιξης της p n Άρα η γεννήτρια συνάρτηση της S N είναι η ( ) P SN (s) = P(S N = j)s j = p j α s j j=0 j=0 = = ( α j=0 p j s j ) = ( ) α P(S = j)s j α (P X1 (s)) = P N (P X1 (s)), j=0 δηλαδή, P SN (s) = P N (P X1 (s)) (18) Αν N p(; λ) παίρνουµε τη σύνθετη κατανοµή Poison µε γεννήτρια συνάρτηση την p SN (s) = e λ(px 1 (s) 1) (αφού p N (s) = e λ(s 1) ) Παράδειγµα : Ενα εστιατόριο παραδίδει κατ οίκον ϕαγητό Οι τηλεφωνικές πα- ϱαγγελίες ακολουθούν κατανοµή Poisson µε παράµετρο λ και ο υπάλληλος στο τηλέφωνο σηµειώνει σωστά τη διεύθυνση του παραλήπτη µε πιθανότητα p Ποιά είναι η κατανοµή του αριθµού των παραγγελιών που ϑα παραδοθούν στη σωστή διεύθυνση ; Λύση : Εστω η τυχαία µεταβλητή X i µε { 1 αν σηµειωθεί σωστά η διευθυνση X i = 0 αλλιώς Εστω N p(; λ) Τότε ο αριθµός των επιτυχηµένων παραδόσεων είναι S N µε γεννήτρια την P SN (s) = P N ( PX1 (s) ) = P N (q + ps) = e λ(q+ps 1) = e λ(ps p) = e λp(s 1), δηλαδή S N p(; λp) Το αποτέλεσµα της σύνθεσης είναι η µείωση της πα- ϱαµέτρου λ σε λp Αυτό το ϕαινόµενο ονοµάζεται εκλέπτυνση της διαδικασίας Poisson 16 Η απλή κλαδωτή διαδικασία Μια σηµαντική εφαρµογή των γεννητριών συναρτήσεων είναι η απλή κλαδωτή διαδικασία (ανέλιξη) ιαισθητικά περιγράφουµε τη διαδικασία ως εξής : έστω µία πυκνότητα p µη αρνητικών ακεραίων Ενας πληθυσµός ξεκινάει από ένα προγεννήτορα ο οποίος αποτελεί τη γενιά µηδέν Η πρώτη γενιά δηµιουργείται από

17 16 Η ΑΠΛΗ ΚΛΑ ΩΤΗ ΙΑ ΙΚΑΣΙΑ 17 τον προγεννήτορα ο οποίος παράγει απογόνους µε πιθανότητα p Η διαδικασία αυτή επαναλαµβάνεται για κάθε απόγονο ανεξάρτητα Η διαδικασία συνεχίζεται µέχρι να εξαφανιστεί το είδος (το οποίο συµβαίνει όταν κανείς δεν δίνει απογόνους) Αυτό είναι ένα απλοποιηµένο µοντέλο για την αύξηση του πληθυσµού Ιστορικά η πρώτη εµφάνιση αυτής της διαδικασίας εµφανίστηκε στην µελέτη της επιβίωσης του οικογενειακού ονόµατος : πόσους απογόνους πρέπει να παράγει µία οικογένεια για να διατηρηθεί το οικογενειακό όνοµα Αυστηρά τώρα, το µοντέλο ορίζεται ως εξής : έστω {Z n,j : n 1, j 1} ανεξάρτητες τυχαίες µεταβλητές µε την ίδια κατανοµή (p ) και τιµές µη αρνητικούς ακεραίους Ορίζουµε τώρα την διαδικασία {Z n : n 1} ϑέτοντας Z 0 = 1 Z 1 = Z 1,1 Z 2 = Z 2,1 + Z 2,2 + + Z 2,Z1 Z n = Z n,1 + Z n,2 + + Z n,zn 1 (ϑεωρούµε ότι µηδέν το πλήθος αριθµών δίνουν άθροισµα µηδέν Ετσι για παράδειγµα αν τύχει να συµβεί Z n = 0 τότε δεχόµαστε ότι και το Z n+1 είναι µηδέν αφού ισούται µε το άθροισµα µηδέν στο πλήθος προσθεταίους (µε άλλα λόγια µόλις µηδενιστεί µία διαδικασία παραµένει µηδέν)) Το Z n,j αντιστοιχεί στο πλήθος των µελών της n-στης γενιάς που είναι απόγονοι του j µέλους της n 1-γενιάς Παρατηρούµε ότι η Z n 1 είναι ανεξάρτητη των {Z n,j : j 1} η οποία παρατήρηση είναι κρίσιµη για τη συνέχεια Εστω P n (s) = Es Z n η γεννήτρια της Z n και έστω P(s) = Es Z 1 = p s για 0 s 1 Φανερά P 0 (s) = s και P 1 (s) = P(s) Από την (18) έχουµε ότι ( ) P n (s) = P n 1 P(s) άρα P 2 (s) = P ( P(s) ) P 3 (s) = P 2 ( P(s) ) = P ( P ( P(s) )) = P ( P 2 (s) ) P n (s) = P n 1 ( P(s) ) = P ( Pn1 (s) ) Εν γένει ο ακριβής υπολογισµός είναι δύσκολος Μια περίπτωση που ο υπολογισµός είναι εύκολος είναι στην περίπτωση p b(; p) στην οποία P(s) = q+ps P 2 (s) = q + p(q + ps) = q + pq + p 2 s P 3 (s) = q + pq + p 2 (q p s) = q + pq + p 2 q + p 3 s P n+1 (s) = q + pq + p 2 q + + p n q + p n+1 s

18 18 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ Παρατηρήστε ότι s s 1 και 161 Ροπές lim P n+1(s) = n qp j = j=0 q 1 p = 1 Εστω m = EZ 1 = p, σ 2 = Var(Z 1 ) Εστω m < και σ 2 < Για να υπολογίσουµε το EZ n =: m n παρατηρούµε ότι m n = P n(1) και P n(s) = ( P n 1 ( P(s)P ) ) = P n 1( P(s) ) P (s) Ετσι αν το s τείνει στο 1 από αριστερά ϑα προκύψει m n = m n 1 m Επαναλαµβάνοντας τη διαδικασία αυτή έχουµε m n = m n 2 m 2 = m n 3 m 3 = = m 1 m n 1 = m n δηλαδή EZ n = m n Για παράδειγµα αν η κατανοµή είναι διωνυµική και P(s) = q + ps τότε m = p συνεπώς EZ n = p n Οµοίως µπορούµε να υπολογίσουµε τη διακύµανση Var Z n ξεκινώντας από την P n (s) = ( P P n 1 (s) ) =, οπότε προκύπτει µετά από πράξεις ότι { ( ) σ Var Z n+1 = 2 m n 1 m n+1 αν m 1 1 m σ 2 (n + 1) αν m = Πιθανότητα εξαφάνισης πληθυσµού Εστω το γεγονός «εξαφάνιση του πληθυσµού» E = n=1 P(Z n = 0) Αναζητούµε την πιθανότητα π = P(E) Είναι εύκολο να δεί κανείς ότι ισχύει άρα {Z n = 0} {Z n+1 = 0} π = P ( =1{Z = 0}) = lim P n ( n =1{Z = 0}) = lim P(Z n = 0) = lim P n(0) =: lim π n n n n = lim P(εξαφάνιση πριν από τη n-στη γενιά) n Άρα για να υπολογίσουµε το π χρειαζετε να γνωρίζουµε την P n (ώστε να υπολογίσουµε µετά το P n (0)) Ο τρόπος για να αποφευχθεί αυτό περιγράφετε στο ακόλουθο ϑεώρηµα Επειδή αν p 0 = 0 τότε π = 0 και αν p 0 = 1 τότε π = 1 ϑα υποθέσουµε ότι ισχύει η µή τετριµµένη περίπτωση 0 < p 0 < 1 Θεώρηµα 161 Αν m = Z 1 1 τότε π = 1 Αν m > 1 τότε π < 1 και το π είναι η ελάχιστη (και άρα µοναδική) µη αρνητική λύση της εξίσωσης s = P(s) στο διάστηµα (0, 1)

19 16 Η ΑΠΛΗ ΚΛΑ ΩΤΗ ΙΑ ΙΚΑΣΙΑ 19 Απόδειξη : Βήµα πρώτο : Το π είναι λύση της s = P(s) Για να το δούµε αυτό παρατηρήστε ότι {Z n = 0} {Z n+1 = 0} άρα π n := P(Z n = 0) συγκλίνει το π από αριστερά Οµως P n+1 (s) = ( P P n (s) ) Θέτοντας s = 0 παίρνουµε π n+1 = P(π n ) Τέλος, αφήνοντας το n να πάει στο άπειρο και χρησιµοποιώντας τη συνέχεια της P προκύπτει π = P(π) Βήµα δεύτερο : Το π είναι η ελάχιστη λύση της s = P(s) στο διάστηµα [0, 1] Εστω q µία άλλη λύση της s = P(s) µε 0 q 1 Τότε π 1 = P(0) P(q) = q αφού η συνάρτηση P είναι αύξουσα συνάρτηση (γιατί ;) Άρα π 1 q Τώρα όµως επαναλαµβάνουµε τη διαδικασία : π 2 = P 2 (0) = P ( P(0) ) = P(π 1 ) P(q) = q άρα π 2 q Οµοίως δείχνουµε π n q συνεπώς π = lim n π n q Βήµα τρίτο : Η s = P(s) έχει λύση στο διάστηµα [0, 1] Η P(s) είναι κυρτή συνάρτηση (στρέφει τα κοίλα πάνω) αφού P (s) = ( 1)p s 2 0 =2 Αφού τώρα P(0) = p 0 > 0 τα γραφήµατα της y = s και της y = P(s) (δες σχήµα 11) έχουν το πολύ δύο κοινά σηµεία για 0 s 1 και µία λύση είναι πάντα η s = 1 (αφού P(1) = =1 p 1 = 1) Αν P (1) = m 1 το γράφηµα είναι το πρώτο του σχήµατος 11 αλλιώς είναι το δεύτερο Σχήµα 11: Θέση κυρτής συνάρτησης σε σχέση µε την κύρια διαγώνιο Πρόταση 162 Για 0 s < 1 ισχύει lim n P n (s) = π

20 20 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ Απόδειξη : Εστω s π Τότε P(s) P(π) = π άρα P(s) π Ετσι έχουµε P 2 (s) = P ( P(s) ) P(π) = π Επαναλαµβάνοντας αυτή τη διαδικασία προκύπτει ότι P n (s) π Αλλά π n = P n (0) P n (s) π και π n π συνεπώς P n (s) π Αν π s < 1 τότε π = P(π) P(s) s Αυτό διότι αφού π < 1 το γράφηµα της y = P(s) είναι το δεύτερο γράφηµα στο Σχήµα 11 Άρα P(s) s για κάθε π s < 1 Η P είναι αύξουσα άρα οπότε, P(π) = π P 2 (s) P(s) s, π P n (s) P n 1 (s) P(s) s Ετσι έχουµε ότι η P n (s) είναι µία ϕθίνουσα ακολουθία (ως προς n) Θέτουµε P (s) = lim n P n (s) Εστω πως υπάρχει ένα s 0 ώστε lim n P n (s 0 ) = α > π Τότε P(α) = lim P( P n (s 0 ) ) = lim P n+1(s 0 ) = α n n Άρα είτε α = π είτε η P(s) = s έχει λύση στο (π, 1) οπότε είναι γραµµική στο [π, α] άρα και στο [π, 1] (λόγῳ κυρτότητας) Τότε όµως p = 0 για 2 (αφού η P(s) = p 0 + p 1 s + p 2 s 2 + ) και m 1 Συνεπώς π = 1 το οποίο είναι άτοπο Παρατήρηση : Η P n (s) π λέει ότι η =1 P(Z n = )s συγκλίνει στο π = lim n P(Z n = 0) για n Άρα αναµένουµε ότι lim n P(Z n = ) = 0 για κάθε 1 Παράδειγµα : Μιά εταιρεία λογισµικού έχει ένα περίπτερο σε µία έκθεση µε έναν υπάλληλο Ο υπάλληλος παίρνει παραγγελίες από πελάτες και για κάθε πελάτη συµπληρώνει µία ϕόρµα παραγγελίας που του παίρνει περίπου 3 λεπτά Καθώς συµπληρώνεται κάποια ϕόρµα παραγγελίας υπάρχει πιθανότητα p j να εµφανιστούν j ακόµα πελάτες στην ουρά Ο υπάλληλος ενδιαφέρεται για την πιθανότητα να καταφέρει να κάνει διάλλειµα ίνονται p 0 = 0, 2, p 1 = 0, 2, p 2 = 0, 6 και p = 0 για κάθε 3 Θεωρούµε την τυχαία µεταβλητή µε κατανοµή p 0, p 1, p 2, και την απλή κλαδωτή διαδικασία που προκύπτει Ο υπάλληλος ϑα κάνει διάλλειµα αν µηδενιστεί το πλήθος των πελατών στην ουρά, δηλαδή αν µηδενιστεί η διαδικασία P(s) = 0, 2 + 0, 2s + 0, 6s 2 Ισχύει m = 0, , 6 2 = 1, 4 > 1 Άρα η s = P(s) έχει λύση στο [0, 1] µικρότερη του 1 s = 0, 2 + 0, 2s + 0, 6s 2 0, 6s 2 0, 8s + 0, 2 = 0 s = 0, 8 ± 0, , 6 0, 2, 2 0, 6

21 17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ & ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 21 δηλαδή s = 1 ή s = 1/3 Η πρώτη απορρίπτεται άρα η πιθανότητα να κάνει διάλλειµα ο υπάλληλος είναι 1/3 17 Οριακές κατανοµές & ϑεώρηµα συνέχειας Εστω X n, n 0 µη αρνητικές τµ µε ακέραιες τιµές και κατανοµές, P(X n = ) = p (n) και P n (s) = Es X n Ορισµός 171 Λέµε ότι η X n συγκλίνει ως προς την κατανοµή στη τµ X 0, και d γράφουµε X n ( X 0, αν κάθε p (n) συγκλίνει στο p(0), δηλαδή για κάθε 0 )n lim n p(n) = p (0) 0 Το επόµενο ϑεώρηµα δείχνει ότι η σύγκλιση ως προς την κατανοµή είναι ισοδύναµη µε την σύγκλιση των γεννητριών : P n (s) P(s) καθώς n και για κάθε s [0, 1] Θεώρηµα 172 (Συνέχειας) Εστω n = 1, 2, 3, ώστε {p (n), 0} είναι κατανοµή πιθανότητας για κάθε n, p (n) 0 και p(n) = 1 Τότε υπάρχει ακολουθία {p (0), 0} ώστε lim n p(n) = p (0) για 0 αν και µόνο αν υπάρχει P 0 (s) για 0 < s < 1 ώστε lim P n(s) = lim p (n) n n s = P 0 (s) για κάθε 0 < s < 1 Σε αυτή την περίπτωση ισχύει P 0 (s) = p(0) s και p(0) = 1 αν και µόνο αν lim P 0(s) =: P 0 (1) = 1 s 1 Παρατήρηση : Η χρησιµότητα του παραπάνω ϑεωρήµατος είναι ότι είναι συνή- ϑως πιό εύκολο να δείξει κανείς τη σύγκλιση γεννητριών συναρτήσεων παρά τη σύγκλιση των πιθανοτήτων κατανοµής Απόδειξη : Εστω s (0, 1) Για κάθε > 0 υπάρχει m N ώστε i=m+1 si < Ετσι έχουµε : P n (s) P(s) (n) p p (0) s =1 m (n) p p (0) + s =1 =m+1 m (n) p p (0) + =1

22 22 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ αφήνοντας το n να πάει στο άπειρο έχουµε p (n) p (0) 0 για κάθε άρα lim sup P n (s) P(s) Συνεπώς P n (s) P(s) Αντιστρόφως, κάθε ακολουθία κατανοµής πιθανότητας {f (n) j, j 0} n 1 έχει συγκλίνουσα υπακολουθία αφού f (n) j [0, 1] το οποίο είναι συµπαγές Άρα η f (n) 1 έχει συγκλίνουσα υπακολουθία, έστω την f (1 n ) 1 (δες Billingsley p 566) Αν η p (n) δεν συγκλίνει ϑα έχει δύο υπακολουθίακά όρια (ενδεχοµένως διαφο- ϱετικά) έστω το ένα πάνω στην ακολουθία δεικτών n και το άλλο στην ακολουθία δεικτών n Εχουµε, lim n lim n p (n ) s = lim P n n (s) = P 0(s) p (n ) s = lim n P n (s) = P 0(s) οπότε και τα δύο αυτά υπακολουθιακά όρια έχουν την ίδια γεννήτρια Η γεννήτρια συνάρτηση όµως καθορίζει µοναδικά την ακολουθία κατανοµής πιθανότητας (αφού, για παράδειγµα, p (0) Συνεπώς τα δύο όρια είναι ίδια και άρα η p (n) = P () 0 (s)/!, όπου P() 0 (s) η παράγωγος της P 0(s)) συγλίνει Παράδειγµα : Προσσέγιση της Poisson από δυωνυµικές Αν X n b ( ; n, p(n) ) και lim np(n) = lim EX n = λ (0, ), n n d τότε X n X 0 και X 0 p(; λ) Επιβεβαιώνουµε µε τις γεννήτριες συναρτήσεις lim P n(s) = lim n n EsX n ( ) n 1 p(n) + p(n)s = lim n ( (s 1)np(n) = lim 1 + n n = e λ(s 1) Μιά πιό σύνθετη εκδοχή της προσσέγγισης της Poisson λέγεται Law of rare events: Πρόταση 173 Εστω µία διπλή ακολουθία ανεξάρτητων Bernoulli τµ {X n, : 1} (όχι απαραίτητα µε την ίδια κατανοµή) που ικανοποιούν τις εξής συνθήκες : i P(X n, = 1) = p (n) = 1 P(X n, = 0) ii sup 1 n p (n) =: δ(n) 0 καθώς n iii n =1 p (n) = E n =1 X n, λ (0, ) ) n

23 17 ΟΡΙΑΚΕΣ ΚΑΤΑΝΟΜΕΣ & ΘΕΩΡΗΜΑ ΣΥΝΕΧΕΙΑΣ 23 Αν PO(λ) είναι µία τµ που ακολουθεί την κατανοµή Poisson µε παράµετρο λ, τότε =1 X n, d PO(λ) Απόδειξη : Η γεννήτρια της n =1 X n, είναι η n P Xn, (s) = =1 Άρα αρκεί να δείξουµε ότι lim n =1 n ( 1 p (n) + ) p (n)s =1 log ( 1 p (n)(1 s) ) = λ(s 1) αφού αυτό ϑα έλεγε (υψώνοντας το e στην παραπάνω ισότητα) ότι P n =1 X (s) eλ(s 1) n, Ισχυρισµός : Για κάθε 0 x 1/2 η ποσότητα R(x) = x log(1 x) ικανοποιεί την R(x) 2x 2 και είναι αύξουσα Με ϐάση τον ισχυρισµό ϑα έχουµε log ( 1 p (n)(1 s) ) = =1 p (n)(1 s) + =1 ( R p (n)(1 s) ) Ετσι αρκεί να δείξουµε ότι lim n n =1 R( p (n)(1 s) ) = 0 Επιλέγουµε n µεγάλο ώστε sup 1 n p (n) δ(n) 1/2 Εχουµε, ( R p (n)(1 s) ) =1 2 ( R p (n) ) =1 ( p (n) ) 2 =1 =1 2 sup p (n) p (n) 1 n =1 2δ(n) p (n) 2 0 λ =1 Μένει να αποδείξουµε τον ισχυρισµό Παρατηρούµε ότι R (x) = x = x 1 x 0 για x (0, 1) Άρα η R είναι αύξουσα συνάρτηση Θεωρούµε την f (x) = 2x 2 R(x) = 2x 2 + x + log(1 x)

24 24 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ και f (x) = 4x x = x (3 4x) 0 1 x αν 0 x 3/4 Συνεπώς, f (x) = 0 αν και µόνο αν x = 0 ή x = 3/4 δηλαδή στο διάστηµα [0, 1/2] ϑα έχει ελάχιστο είτε στο 0 είτε στο 1/2 Οµως f (1/2) = 1 log 2 > 0 = f (0) άρα έχει ελάχιστο στο 0 Άρα, για κάθε x [0, 1/2] ισχύει f (x) f (0) = 0 και ισοδύναµα R(x) 2x 2 18 Απλός τυχαίος περίπατος Εστω (X n ) n 1 ανεξάρτητες τµ µε κοινή κατανοµή και τιµές στο { 1, 1} και P(X 1 = 1) = p = 1 P(X 1 = 1) = 1 q για 0 p, q 1 και p + q = 1 διαδικασία (S n ) n 0 µε Ορίζουµε τον απλό τυχαίο περίπατο ως τη S 0 = 0, S n = X 1 + X X n, n 1 Η διαδικασία αυτή µοντελοποιεί το εξής : ϱίξτε ένα νόµισµα Αν έρθει η Α πλευρά κερδίζετε 1 Αν έρθει η Β πλευρά χάνετε 1 S n είναι τα χρήµατα που έχει ο παίκτης αυτού του παιχνιδιού µετά από n παιχνίδια Εστω N = inf{n 1 : S n = 1} δηλαδή η πρώτη ϕορά που ο τυχαίος περίπατος έιναι στο 1 ή αλλιώς που ο παίκτης έχει κέρδος Θα χρησιµοποιήσουµε γεννήτριες συναρτήσεις για να υπολογίσουµε την κατανοµή της N Εστω φ n = P(N = n), n 0 ώστε φ 0 = 0, φ 1 = p Αν n 2, για να πάει ο τυχαίος περίπατος από το 0 στο 1 σε n ϐήµατα, το πρώτο ϐήµα πρέπει αναγκαστικά να είναι στο 1 (µε πιθανότητα q) Από το 1 πρέπει να πάει στο 0 (έστω σε j ϐήµατα) Άρα αυτό ϑα συµβεί µε πιθανότητα φ j, και από το 0 ϑα πρέπει να πάει στο 1 έστω σε ϐήµατα µε πιθανότητα φ Άρα 1 + j + = n και n 2 φ n = qφ j φ n j 1 για n 2 Ας δούµε το παραπάνω µε µεγαλύτερη αυστηρότητα Για n 2 j=1 n 2 [N = n] = [X 1 = 1] A j B n j 1, j=1 όπου για n = 2 το δεξί µέρος το ϑεωρούµε ίσο µε το και το A j είναι το ενδεχόµενο ο τυχαίος περίπατος επιστρέψει για πρώτη ϕορά από το 1 στο 0 σε j ϐήµατα, και το B n j 1 είναι το ενδεχόµενο ο τυχαίος περίπατος να πάει για πρώτη ϕορά από

25 18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 25 το 0 στο 1 σε n j 1 ϐήµατα δηλαδή A j = [inf{n : B n j 1 = [inf{n : X i+1 = 1} = j] i=1 X j+i+1 = 1} = n j 1] i=1 Το A j εξαρτάται από τις X 2, X 3,, X j+1 και το B n j 1 από τα X j+2,, X n Άρα τα ενδεχόµενα [X 1 = 1], A j και B n j 1 είναι ανεξάρτητα και για διαφορετικά j τα [X 1 = 1] A j B n j 1 είναι ξένα Ετσι έχουµε n 2 P(N = n) = φ n = qp(a j )P(B n j 1 ) j=1 Τώρα, {X 1, X 2, } d = {X 2, X 3, } (19) δηλαδή για κάθε 1,, m { 1, 1} έχουµε P(X 1 = 1,, X m = m ) = P(X 2 = 1,, X m+1 = m ) αφού και οι δύο ακολουθίες στην (19) έχουν την ίδια κατανοµή Άρα P(A j ) = P ( inf{n : ) X i = 1} = j = φ j n=1 και οµοίως P(B n j 1 = φ n j 1 Συνεπώς n 2 φ 0 = 0, φ 1 = p, φ n = qφ j φ n j 1 (110) j=1 για n 2 Για να λύσουµε την (110) ως προς φ n πολλαπλασιάζουµε µε s n και αθροίζουµε ως προς n Εστω Φ(s) = n=0 φ ns n η γεννήτρια συνάρτηση της

26 26 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ (φ n ) n Εχουµε : φ n s n = n=2 = ( n 2 ) qφ j φ n j 1 s n n=2 j=1 ( n 2 ) qφ j φ n j 1 s n n=2 j=0 ( ) = φ n j 1 s n j 1 φ j s j qs j=0 n=j+2 ( ) = φ m s m φ j s j qs (m = n j 1) j=0 m=1 = Φ(s)φ j s j qs j=0 = ( qs Φ(s) ) 2 Αυτό µαζί µε τον ορισµό της Φ δίνει Φ(s) ps = qsφ 2 (s) Συνεπώς Φ(s) = 1 ± 1 4pqs 2 2qs Η λύση µε το + απορρίπτεται αφού πρέπει Φ(0) = φ 0 = 0 Άρα Φ(s) = 1 1 4pqs 2, 2qs για 0 s 1 Από το δυωνυµικό ανάπτυγµα τώρα δηλαδή για όλα τα j 1 n=0 ( φ n s n = 1 1 2qs ( 1/2 = j j=1 ( ) 1/2 )( 1) j (4pqs 2 ) j j=0 )( 1) j j+1 (4pq)j 2q s2j 1, ( ) 1/2 (4pq) φ 2j 1 = ( 1) j+1 j j 2q, φ 2j = 0,

27 18 ΑΠΛΟΣ ΤΥΧΑΙΟΣ ΠΕΡΙΠΑΤΟΣ 27 Για να αποκτήσουµε µία διαίσθηση για το τι συµβαίνει παρατηρούµε ότι P(N < ) = Φ(1) = 1 1 4p(1 p) 2q 1 p q = 2q { 1 αν p q = p/q αν p < q Ετσι αν p < q δηλαδή ο τυχαίος περίπατος κινείται στη ϑετική κατεύθυνση δυσκολότερα τότε P(N = ) = 1 p/q > 0 Σε αυτή την περίπτωση P(S n 0, n) > 0 και στο σύνολο ϑετικής πιθανότητας n=0[s n 0] ο παίκτης δεν κερδίζει ποτέ Οταν P(N = ) > 0 έχουµε από τον ορισµό EN = Οταν p q τότε EN = Φ (1) ( 4pq = 2q 2q(1 / 1 4pq)) 2q 2 1 4pq άρα = 2p 1 p q p q 2q EN = { αν p = 1 = 1/2 (p q) 1 αν p > q Μελετάµε τώρα την επιστροφή στο µηδέν Εστω N 0 = inf{n 1 : S n = 0} Εστω f 0 = 0, f 2n = P(N 0 = 2n), n 1 και F(s) = n=0 f 2ns 2n για 0 s 1 Εχουµε, { 1 + inf { n : n i=1 N 0 = X i+1 = 1 } στο [X 1 = 1] 1 + inf { n : n i=1 X i+1 = 1 } στο [X 1 = 1] Εστω N + = inf { n : } { X i+1 = 1 και N = inf n : i=1 } X i+1 = 1 Αφού {X i, i 1} d = {X i, i 2} συνεπάγεται ότι N d = N + Επίσης η N + καθορίζεται από τις {X i+1, i 1} και άρα είναι ανεξάρτητη από την X 1 Οµοίως η N είναι ανεξάρτητη από την X 1 Ετσι έχουµε F(s) = Es N 0 = Es N 0 1 [X1 = 1] + Es N 0 1 [X1 =1] = 1+N + 1 [X1 = 1] + 1+N 1 [X1 =1] = s N + P[X 1 = 1] + s N P[X 1 = 1] (ανεξαρτησία) = sφ(s)q + spes N (αφού N d = N + ) i=1

28 28 ΚΕΦΑΛΑΙΟ 1 ΠΡΟΚΑΤΑΡΚΤΙΚΑ Παρατηρούµε τώρα ότι N = inf d = inf = inf = inf { { { { n : n : n : n : } X i+1 = 1 i=1 } X i = 1 i=1 } ( X i ) = 1 i=1 i=1 X i = 1 } Η { n i=1 X i, n 1} είναι απλός τυχαίος περίπατος µε κατανοµή P(X 1 = 1) = P( X 1 = 1) = P(X 1 = 1) = q και P(X 1 = 1) = p Άρα η Φ (s) := Es N προκύπτει από τον τύπο της Φ(s) µε εναλλαγή των p και q Ετσι F(s) = sq 1 1 4pqs 2 2qs = 1 1 4pqs 2 + sp 1 1 4pqs 2 2ps και Συνεπώς F(1) = P(N 0 < ) = 1 1 4pq = 1 p q 1 αν p = q P(N 0 < ) = 2q αν p > q 2p αν p < q Άρα µόνο αν p = q = 1/2 ο τυχαίος περίπατος επιστρέφει σίγουρα στο µηδέν Ακόµα όµως και σε αυτή την περίπτωση που P(N 0 < ) = 1, p = q = 1/2 έχουµε F(s) = 1 1 s 2 F (s) = 1 2 (1 s2 ) 1/2 2s καθώς s 1 Οπότε EN 0 = F (s) s=1 = δηλαδή η επιστροφή στο µηδέν είναι ϐέβαιη αλλά µετά από τυχαίο αριθµό ϐηµάτων (χρόνου) µε άπειρη µέση τιµή!

29 Κεφάλαιο 2 Αλυσίδες Marov Οι αλυσίδες Marov υλοποιούν µοντέλα πολύ κοντά σε πραγµατικά προβλήµατα Το κύριο νέο στοιχείο που εισάγεται µε τις αλυσίδες Marov είναι το ότι επιτρέπουν την ύπαρξη «εξαρτήσεων» Οι τυχαίες µεταβλητές έχουν τώρα εξαρτήσεις (δεν είναι ανεξάρτητες) και αυτό είναι που τις κάνει ικανές να προσεγγίζουν πραγµατικά προβλήµατα Ταυτόχρονα οι εξαρτήσεις δεν είναι ιδιαίτερα πολύπλοκες και συνεπώς οι υπολογισµοί είναι εφικτοί Ξεκινάµε µε την κατασκευή αλυσίδων Marov {X n : n 0} όπου ο χώρος καταστάσεων (τιµών) είναι το N {0} ή υποσύνολό του (πχ το {0, 1, 2,, m}) Τυπικό παράδειγµα αλυσίδας Marov ϐρίσκουµε στο ακόλουθο παράδειγµα Μιά παρέα ϐγαίνει καθηµερινά για ϐραδινό ϕαγητό στα εστιατόρια της πόλης Η επιλογή του εστιατορίου δεν είναι ανεξάρτητη κάθε µέρα αλλά εξαρτάτε από την επιλογή της προηγούµενης µέρας Θέλουµε να ϐρούµε ένα µοντέλο που να υλοποιεί την επιλογή των εστιατορίων Χρειαζόµαστε µία αρχική κατανοµή a (δηλαδή η πιθανότητα επιλογής του εστιατορίου είναι a ) Χρειαζόµαστε επίσης τις πιθανότητες µετάβασης p ij, δηλαδή την πιθανότητα να επιλεγεί το j εστιατόριο δεδοµένου ότι την προηγούµενη ηµέρα είχε επιλεγεί το i 21 Προσοµοίωση τµ µε µη αρνητικές τιµές Εστω X τµ, P(X = ) = a, 0, i=0 a i = 1 Εστω η U οµοιόµορφα κατανεµηµένη στο [0, 1] τµ Μπορούµε να προσοµοιάσουµε την X µε την U ως εξής Οταν η U παίρνει τιµή στο διάστηµα ( 1 i=0 a i, i=0 a i] διαλέγουµε τον αριθµό (ϑεωρούµε ότι 1 i=0 a i = 0) Ορίζουµε τώρα την Y ϑέτοντας Y = 1 ( 1 i=0 a i, i=0 a i] (U) Ετσι η Y παίρνει την τιµή αν και µόνο αν U ( 1 i=0 a i, i=0 a i] το οποίο συµβαίνει µε πιθανότητα a Άρα η Y έχει την ίδια κατανοµή µε την X 29

30 30 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV 22 Κατασκευή µιας αλυσίδας Marov Ας υποθέσουµε ότι οι χώροι καταστάσεων (το πεδίο τιµών της των τµ) είναι το S = {0, 1, 2 } Εστω {a }, 0, a 0 και 6 a = 1 µιά αρχική κατανοµή Εστω P = p 00 p 01 p 10 p 11 ο πίνακας µετάβασης, όπου p ij 0, j=0 p ij = 1 για i = 0, 1, 2, Εστω {U n : n 0} ανεξάρτητες τµ οµοιόµορφα κατανεµηµένες στο (0, 1) Ορίζουµε X 0 = 1 ( 1 i=0 a i, i=0 a i] (U 0) Κατασκευάσαµε έτσι τον πρώτο όρο της αλυσίδας Marov µια τµ µε κατανοµή a Οι υπόλοιπες τµ X n ορίζονται επαγωγικά Ορίζουµε τη συνάρτηση f (i, u) µε πεδίο ορισµού το S [0, 1] µε f (i, u) = 1 ( 1 i=0 p i, i=0 p i] (u), δηλαδή f (i, u) = αν και µόνο αν u ( 1 i=0 p i, i=0 p i] Ορίζουµε X n+1 = f (X n, U n+1 ) Παρατηρήστε ότι αν X n = i τότε η X n+1 = µε πιθανότητα p i (που εξαρτάται δηλαδή από την τιµή της προηγούµενης τµ) Επίσης η X 0 εξαρτάται από τη U 0 Η X 1 από τη X 0 και U 1, άρα από τις U 0, U 1 Η X 2 από την X 1 και την U 2 δηλαδή από τις U 0, U 1, U 2 κοκ, η X n+1 από τις U 0, U 1,, U n+1 Ιδιότητες : P(X 0 = ) = a, 0 P(X n+1 = j X n = i) = p ij (21) αφού P(X n+1 = j X n = i) = P ( f (X n, U n+1 = j X n = i ) = P ( f (i, U n+1 ) = j X n = i ) = P ( f (i, U n+1 ) = j ) εφόσον οι U n+1 και X n είναι ανεξάρτητες P(X n+1 = j X 0 = i 0,, X n 1 = i n 1, X n = i) = p ij (22) αφού το πρώτο µέλος της παραπάνω σχέσης ισούται µε P ( f (i, U n+1 ) = j X 0 = i 0,, X n = j ) = P ( f (i, U n+1 ) = j ) = p ij

31 22 ΚΑΤΑΣΚΕΥΗ ΜΙΑΣ ΑΛΥΣΙ ΑΣ MARKOV 31 αφού η U n+1 είναι ανεξάρτητη των X n Η ιδιότητα P(X n+1 = j X 0 = i 0,, X n 1 = i n 1, X n = i) = P(X n+1 = j X n = i) λέγεται ιδιότητα του Marov P(X n+1 = 1,, X n+m = m X 0 = i 0,, X n 1 = i n 1, X n = i) = P(X n+1 = 1,, X n+m = m X n = i) = P(X 1 = 1,, X m = m X 0 = i) Για να το δείξουµε αυτό παρατηρούµε ότι το αριστερό µέλος της παραπάνω σχέσης ισούται µε ( P f (i, U n+1 ) = ( ) 1, f f (i, U n+1 ), U n+2 = 2, ) X 0 = i 0,, X n 1 = i n 1, X n = i ( = P f (i, U 1 ) = ( ) ) 1, f f (i, U 1 ), U 2 = 2, U 0 = i 0, f (i 0, U 1 ) = i 1, = P (f (i, U 1 ) = ( ) ) 1, f f (i, U 1 ), U 2 = 2, X 0 = i 0 = P(X 1 = 1,, X m = m X 0 = i) Ορισµός 221 Κάθε διαδικασία {X n : n 0} που ικανοποιεί τις (21) και (22) ονοµάζεται αλυσίδα Marov µε αρχική κατανοµή (a ) και πίνακα πιθανότητας µετάβασης P Συχνά ο πίνακας P ονοµάζεται και πίνακας Marov ή στοχαστικός πίνακας Η διαδικασία που κατασκευάσαµε παραπάνω συχνά ονοµάζεται προσοµοιω- µένη αλυσίδα Marov Θα δείξουµε παρακάτω ότι οποιαδήποτε αλυσίδα Marov {X n : n 0} παράγεται από µία προσοµοίωση όπως παραπάνω, µε την έννοια ότι {X n : n 0} d = {X n : n 0} Πρόταση 222 Αν X n αλυσίδα Marov τότε P(X 0 = i 0, X 1 = i 1,, X = i ) = a i0 p i0 i 1 p i1 i 2 p i 1 i (23) για i 0, i 1,, i S, 0 Αντίστροφα αν δοθούν πυκνότητα πιθανότητας (a ) και πίνακας µετάβασης P και µία ακολουθία τυχαίων µεταβλητών X n που ικανοποιεί την (23) είναι αλυσίδα Marov (δηλαδή ικανοποιεί τις (21) και (22» Απόδειξη : Για την απόδειξη χρησιµοποιούµε τον κανόνα αλυσίδας δεσµευµένης πιθανότητας : αν A 0, A 1,, A ενδεχόµενα τότε ισχύει ( ) ( P i=1 A ) ( ) i = P A 1 i=0 A i P A 1 2 i=0 A i P(A 1 A 0 )P(A 0 )

32 32 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV εφόσον P ( j i=0 A i) > 0, j = 0, 1,, 1 Αν η X n είναι αλυσίδα Marov, έστω A j = (X j = i j ) Αν για j = 0, 1,, 1 τότε P(X 0 = i 0,, X = i ) = P(X 0 = i 0,, X j = i j ) > 0 (24) (22) = P(X j = i j X 0 = i 0,, X j 1 = i j 1 )P(X 0 = i 0 ) j=1 P(X j = i j X j 1 = i j 1 )a i0 j=1 = a i0 p ij 1 i j j=1 Αν η (24) δεν ισχύει για κάποιο τότε έστω j ο πρώτος δείκτης για τον οποίον δεν ισχύει, δηλαδή j = inf{j 0 : P(X 0 = i 0,, X j = i j ) = 0} Αν j = 0 τότε a i0 = 0 οπότε η (23) είναι προφανώς σωστή Αν j > 0 τότε Οπότε P(X 0 = i 0, X 1 = i 1,, X j 1 = i j 1) = a i0 p i0 i 1 p i1 i 2 p ij 2 i j 1 > 0 (25) p ij 1 i j = P(X 0 = i 0,, X j = i j ) / P(X 0 = i 0,, X j 1 = i j 1) = 0 οπότε πάλι η (23) ισχύει Αντίστροφα, αν ισχύει η (23) τότε για a i0 p i0 i 1 p i1 i 2 p i 2 i 1 > 0 έχουµε P(X X 0 = i 0,, X 1 = i 1 ) = P(X 0 = i 0,, X = i ) / P(X 0 = i 0,, X 1 = i 1 ) = a i0 p i0 i 1 p i1 i 2 p i 1 i / ai0 p i0 i 1 p i1 i 2 p i 2 i 1 = p i 1 i, δηλαδή η ιδιότητα Marov ισχύει 23 Παραδείγµατα Παράδειγµα 1 (ανεξάρτητες δοκιµές) Αν οι X n είναι ανεξάρτητες τµ έχουµε µία τετριµµένη αλυσίδα Marov Αν PX 0 = ) = a, = 0, 1, 2,, m τότε P(X n+1 = i n+1 X 0 = i 0,, X n = i n ) = P(X n+1 = i n+1 ) = a in+1 = P(X n+1 = i n+1 X n = i n )

33 23 ΠΑΡΑ ΕΙΓΜΑΤΑ 33 και a 0 a 1 a m P = a 0 a 1 a m Παράδειγµα 2 (απλή κλαδωτή διαδικασία) Οι Z nj µεταβλητές µε κοινή κατανοµή p, Z 0 = 1 και είναι ανεξάρτητες τυχαίες Άρα Z n = Z n1 + + Z nzn 1 P(Z n = i n Z 0 = i 0,, Z n 1 = i n 1 ) = P = P ( i n 1 ) Z nj = i n Z 0 = i 0,, Z n 1 = i n 1 j=1 ( i n 1 ) Z nj = i n δηλαδή έχουµε την ιδιότητα Marov αφού το τελευταίο εξαρτάται µόνο από το i n και το i n 1 Άρα =1 j=1 ( i ) P(Z n = j Z n 1 = i) = P Z n = j = p i j Παράδειγµα 3 (τυχαίος περίπατος) Εστω {X n, n 1} ανεξάρτητες τµ µε κοινή κατανοµή P(X n = ) = a για < < Ορίζουµε τον τυχαίο περίπατο µε S 0 = 0, S n = Η S n είναι αλυσίδα Marov αφού X i, n 1 i=1 P(S n+1 = i n+1 S 0 = 0, S 1 = i 1,, S n = i n ) = P(X n+1 + i n = i n+1 S 0 = 0,, S n = i n ) = P(X n+1 = i n+1 i n ) = a in+1 i n = P(S n+1 = i n+1 S n = i n ) αφού η X n+1 είναι ανεξάρτητη των S 0,, S n Μια ειδική περίπτωση είναι εκείνη όπου οι µεταβολές είναι ±1 µε πίνακα µετάβασης q 1 r 1 p P = 0 q 2 r 2 p q m r m p m

34 34 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV Η «τρι-διαγώνια» δοµή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου µε ϐήµα ±1 Παρατηρήστε ότι P(S n = 0 S n 1 = 0) = P(S n = m S n 1 = m) = 1 γεγονός το οποίο µοντελοποιεί την απορροφητική ϕύση των 0 και m, και επίσης ισχύουν P(X n+1 = i + 1 X n = i) = p i P(X n+1 = i 1 X n = i) = q i P(X n+1 = i X n = i) = r i για 1 i m 1 Η περίπτωση όπου r i = 0, p i = p και q i = q ονοµάζεται «Gamblers Ruin»: ο παίκτης ξεκινάει µε αρχικό κεφάλαιο i και ο αντίπαλος µε m i Παίζεται το παιχνίδι µε ένα κέρµα και η κατάσταση του συστήµατος (η τιµή της X n ) είναι τα χρήµατα του παίκτη µας µετά από n παιχνίδια Οταν ο παίκτης κερδίζει σε µία ϱίψη τα χρήµατά του αυξάνονται κατά µία µονάδα αλλιώς ελαττώνονται κατα µία µονάδα Αν η διαδικασία µεταβεί στην κατάσταση m ο αντίπαλος «καταστρέφεται» ενώ αν µεταβεί στην κατάσταση 0 ο παίκτης µας «καταστρέφεται» Παράδειγµα 4 (Αριθµός συνεχών επιτυχιών) Ο χώρος καταστάσεων είναι το {0, 1, 2, } και ο πίνακας µεταφοράς είναι ο q 0 p q 1 0 p P = q p 2 0 Τα παραπάνω µοντελοποιούν πολλά προβλήµατα Για παράδειγµα έστω p i = p και q i = q για κάθε i 0 Ενας παίκτης του baset-ball πετυχαίνει καλάθι από τη γραµµή ελευθέρων ϐολών µε πιθανότητα p Αν έχει n συνεχόµενες επιτυχίες, την επόµενη ϕορά που ϑα εκτελέσει ελεύθερες ϐολές έχει την ευκαιρία να µεγαλώσει σε n + 1 το πλήθος των συνεχόµενων επιτυχιών (πιθανότητα p) Αν αποτύχει (πιθανότητα q) τότε µηδενίζεται η ακολουθία των συνεχόµενων επιτυχιών Παράδειγµα 5 ( Ενα µοντέλο αποθήκης) Εστω I(t) το πλήθος των µονάδων ενός προϊόντος τη χρονική στιγµή t Το πλήθος αυτό ελέγχεται στην αποθήκη τις χρονικές στιγµές T 0, T 1, T 2, Μιά συνιθισµένη πολιτική επανατροφοδότησης της αποθήκης ϐασίζεται σε δύο τιµές 0 s < S Αν η τιµή X n := I(T n ) είναι µικρότερη ή ίση µε το s τότε αµέσως προστίθενται στην αποθήκη τόσες µονάδες όσες απαιτούνται για να ϕτάσει το απόθεµα την ποσότητα S Αλλιώς, αν X n (s, S] τότε δεν γίνεται επανατροφοδοσία Εστω D n η συνολική Ϲήτηση τη χρονική περίοδο [T n 1, T n ) και έστω D n για n 1 ανεξάρτητες τµ µε την ίδια κατανοµή και ανεξάρτητες της X 0 Εστω επίσης ότι X 0 S Τότε { (Xn D X n+1 = n+1 ) + αν s < X n S (S D n+1 ) + αν X n s

35 23 ΠΑΡΑ ΕΙΓΜΑΤΑ 35 όπου ως συνήθως x + = { x αν x > 0 0 αν x 0 Αυτή η ανέλιξη ακολουθεί το µοντέλο X n+1 = g(x n, D n+1 ), n 0, άρα είναι αλυσίδα Marov Οι παράµετροι που µας ενδιαφέρουν σε αυτό το µοντέλο είναι οι ακόλουθοι : i το µέσο ύψος του προϊόντος στην αποθήκη µακροπρόθεσµα : lim N 1 N N X j Από τον νόµο των µεγάλων αριθµών για τις αλυσίδες Marov προκύπτει ότι είναι ίσο µε N lim jp(x n = j) n j=1 ii Μακροπρόθεσµα µη ικανοποιηµένη Ϲήτηση : για n 1 έστω U n η µη ικανοποιηµένη Ϲήτηση για την περίοδο [T n 1, T n ) για n 1, οπότε j=0 { min{dn X U n = n 1, 0} αν s < X n 1 S min{d n S, 0} αν X n 1 s και Ϲητάµε το N j=1 U j για µεγάλα N iii Μακροπρόθεσµα το µέσο µήκος των περιόδων όπου υπάρχει Ϲήτηση χωρίς επαρκή προσφορά : N lim 1 {Uj >0} N j=1 Παράδειγµα 6 (Το µοντέλο αποθήκευσης του Moran) Σε µία τεχνητή λίµνη αποθηκεύεται νερό µε τη ϐοήθεια ενός ϕράγµατος Εστω c η χωρητικότητα της λίµνης και X n το επίπεδο στη λίµνη το οποίο παρατηρήται τη χρονική στιγµή n Στο διάστηµα [n, n + 1) υπάρχει είσοδος A n+1 ποσότητας νερού στη λίµνη η οποία µπορεί να οδηγήσει σε υπερχείλιση Στο τέλος του διαστήµατος [n, n + 1) m µονάδες νερού αποσύρονται από τη λίµνη (αν υπάρχουν m µονάδες στη λίµνη) Αν υπάρχουν λιγότερες από m µονάδες στη λίµνη η λίµνη αδειάζεται Υποθέτουµε ότι οι A n είναι ανεξάρτητες τµ µε την ίδια κατανοµή και ανεξάρτητες της X 0 Άρα X n+1 = min{(x n + A n+1 m) +, c}, δηλαδή της µορφής X n+1 = g(x n, V n+1 ) άρα είναι αλυσίδα Marov µε χώρο καταστάσεων το {0, 1, 2,, c} Αν P(A 1 = n) = a n, P(A 1 n) = a n και

36 36 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV P(A 1 n) = a n τότε ο πίνακας µετάβασης είναι ο a m a m+1 a m+2 a c a c+m 1 a c+m a m 1 a m a m+1 a c 1 a c+m 2 a c+m 1 P = a 0 a m 1 a m Παράδειγµα 7 ( ιακριτό µοντέλο ουρών) Υπάρχουν δύο µοντέλα ουρών τα οποία ονοµάζονται M/G/1 και G/M/1 (για λόγους που ϑα δούµε παρακάτω) Οι πελάτες ϕτάνουν στον (µοναδικό) εξυπερετητή και εξυπηρετούνται µε τη σειρά που ϕθάνουν Εστω X(t) οι πελάτες στην ουρά τη στιγµή t (µαζί µε αυτόν που εξυπηρετείται) Για το µοντέλο M/G/1 υποθέτουµε ότι η ολοκλήρωση εξυπηρέτησης ενός πελάτη συµβαίνει τις στιγµές T 0, T 1, (τότε ϕεύγει κάποιος από το σύστηµα) Εστω X n = X(T n +) το πλήθος των πελατών τη στιγµή T n (το + δηλώνει ότι µετράµε αφού γίνει η αποχώρηση αυτού που εξυπηρετήθηκε) Εστω A n+1 το πλήθος των πελατών που ϕτάνουν στο σύστηµα κατά τη διάρκεια εξυπηρέτησης του πελάτη που ϑα ϕύγει τη στιγµή T n+1 Τότε X n+1 = (X n 1) + A n+1 Αν A n ανεξάρτητες τµ µε ίδια κατανοµή και ανεξάρτητη της X 0 τότε η X n είναι αλυσίδα Marov Αν P(A 1 = ) = a για 0 τότε εύκολα ελέγχει κανείς ότι P = a 0 a 1 a 2 a 3 a 0 a 1 a 2 a 3 0 a 0 a 1 a a 0 a 1 Για το µοντέλο G/M/1 έστω ότι οι πελάτες ϕτάνουν τις στιγµές tau 0, τ 1, και S n+1 το πλήθος των πελατών που εξυπηρετήθηκαν (και άρα έφυγαν) από το σύστηµα στο διάστηµα [τ n, τ n+1 ) Θέτουµε X n = X(τ n ) για το πλήθος στην ουρά πριν ϕτάσουν οι πελάτες της τ n στιγµής Τότε X n+1 = (X n S n+1 + 1) + Αν S n είναι ανεξάρτητες τµ µε την ίδια κατανοµή και P(S 1 = j) = a j τότε i=1 a i a i=2 P = a i a 1 a i=3 a i a 2 a 1 a 0 0

37 24 ΥΨΗΛΟΤΕΡΕΣ ΤΑΞΗΣ ΠΙΘΑΝΟΤΗΤΕΣ ΜΕΤΑΒΑΣΗΣ Υψηλότερες τάξης πιθανότητες µετάβασης Ενα από τα πλεονεκτήµατα των αλυσίδων Marov είναι ότι πιθανότητες που µας ενδιαφέρουν υπολογίζονται µε πράξεις πινάκων Αν P = (p ij ) ο πίνακας µετάβασης µιάς αλυσίδας Marov {X n : n 0} υποθέτουµε ότι οι αρχικές πιθανότητες είναι P(X 0 j) = a j Οι δυνάµεις του P ορίζονται ως P 2 = P P = ( ( ) p (2) ) ij = p i p j και γενικά P n+1 = P n P = P P n = ( ( p (2) ) ij = p (n) i p j ) = ( p i p (n) j ) Το P 0 το ϑεωρούµε ως τον ταυτοτικό πίνακα Οι πιθανότητες µετάβασης Marov σε n ϐήµατα είναι P(X n = X 0 = i) = P(X n+m X m = i) δηλαδή η πιθανότητα ένας περίπατος να καταλήξει από το i στο j σε n ϐήµατα δεν εξαρτάται από το πότε ξεκίνησε Πρόταση 241 Για κάθε n 0 και για κάθε i, j στο χώρο καταστάσεων S ισχύει p (n) ij = P(X n = j X 0 = i) Απόδειξη : Για n = 0 ή 1 είναι προφανές Για n = 2 έχουµε P(X 2 = j X 0 = i) = P(X 2 = j, X X 0 = i) = P(X 2 = j, X 1 =, X 0 = i)/a i = a i p i p j /a i = p i p j /a i = p (2) ij

38 38 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV Επαγωγικά τώρα, ας υποθέσουµε ότι ισχύει για N Τότε για N + 1 έχουµε P(X N+1 = j X 0 = i) = P(X N+1 = j, X 1 =, X 0 = i)/a i = P(X N+1 = j X 1 =, X 0 = i)p(x 1 =, X 0 = i)/a i = = P(X N = j X 0 = )P(X 1 = X 0 = i) p i p (N) j = p (N+1) ij Η ταυτότητα P n+m = P n P m p (n+m) ij = p (n) i p(m) j µερικές ϕορές λέγεται και ταυτότητα Chapman-Kolmogorov και εκφράζει το γεγονός ότι η πιθανότητα µετάβασης από το i στο j σε n + m ϐήµατα µπορεί να υπολογιστεί από τις πιθανότητες µετάβασης από την i κατάσταση σε οποιαδήποτε ενδιάµεση κατάσταση σε n ϐήµατα και την πιθανότητα µετάβασης από την κατάσταση στην j σε m ϐήµατα Πόρισµα 242 Οι πιθανότητες P(X n = j) υπολογίζονται από τον τύπο a (n) j := P(X n = j) = i a i p (n) ij Απόδειξη : P(X n = j) = i = i P(X n = j X 0 = i)p(x 0 = i) a i p (n) ij Ο υπολογισµός των P n γίνεται είτε µε τη ϐοήθεια υπολογιστή είτε µε διαγωνοποίηση

39 25 ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ ιάσπαση του χώρου καταστάσεων 251 Στοχαστική ιαδικασία Μια οικογένεια τυχαίων µεταβλητών {X(t), t T} λέγεται στοχαστική διαδικασία ηλαδή για κάθε t του συνόλου T η X(t) είναι µια τυχαία µεταβλητή Το σύνολο T λέγεται σύνολο δεικτών της διαδικασίας Αν το σύνολο T είναι αριθµήσιµο τότε η στοχαστική διαδικασία {X(t), t T} λέγεται διαδικασία διακριτής παραµέτρου ή διαδικασία διακριτού χρόνου Αν το σύνολο T είναι µη αριθµήσιµο τότε η διαδικασία {X(t), t T} λέγεται διαδικασία συνεχούς παραµέτρου ή διαδικασία συνεχούς χρόνου Αλυσίδα Marov είναι κάθε διαδικασία {X n, n > 0} που ικανοποιεί : P(X n+1 = j X n = i) = p ij P(X n+1 = j) X 0 = i 0,, X n1 = i n 1, X n = i) = p ij µε αρχική κατανοµή {a } και πίνακα πιθανότητας µετάβασης P Με τις αλυσίδες Marov επιτρέπεται η ύπαρξη εξαρτήσεων Οι Τυχαίες Μεταβλητές έχουν τώρα εξαρτήσεις, έτσι µπορούµε να προσεγγίσουµε πραγµατικά προβλήµατα Ας υποθέσουµε {X n, n > 0} είναι µια Αλυσίδα Marov µε διακριτό χρόνο σε χώρο S Για να καταλάβουµε τη λύση του συστήµατος έινα σηµαντικό να καταλά- ϐουµε ποια µονοπάτια διαµέσου του χώρου των καταστάσεων είναι δυνατά και να καταλάβουµε τις επιτρεπόµενες κινήσεις της διαδικασίας Για B S έστω τ B = inf{n > 0 : X n B} Είναι ο χρόνος εκκίνησης του B Χονδρικά µπορούµε να ϑέσουµε τ j = τ{j} Για να καταλάβουµε ποιες καταστάσεις µπορούν να προσεγγιστούν από µια αρχική κατάσταση i, το παρακάτω είναι ϐασικό Ορισµός 251 Για i, j S λέµε ότι j προσεγγίζεται από το i, γράφοντας i j, αν P i [t j ] > 0 Με άλλα λόγια,ξεκινώντας από το i, µε ϑετική πιθανότητα, η αλυσίδα ϕτάνει στην κατάσταση j Οµοίως αν j είναι µια ακολουθία του i, το i οδηγεί στο j, j µπορεί να προσεγγιστεί από το i Επειδή το n = 0 επιτρέπεται στη σχέση τ B = inf{n > 0 : X n B}, παίρνουµε i i για όλα τα i S} αφού P i [τ i < ] = 1, στην πραγµατικό- = 0] = P i [x 0 = i] = 1 Εδώ είναι το πιο σηµαντικό κριτήριο για την τητα P i [τ i προσέγγιση Εχουµε i j αν και µόνο αν υπάρχει n 0 : p (n) ij > 0 ηλαδή η πιθανότητα να ξεκινήσουµε από την κατάσταση i και να ϕτάσουµε στην κατάσταση j σε n ϐήµατα Η επάρκεια της παραπάνω σχέσης είναι απλή Εχουµε [X n = j] [τ j n] [τ j < ] όπου [X n = j] περιγράφει το γεγονός : η διαδικασία να ϐρίσκεται στη j κατάσταση την χρονική στιγµή n Το [τ j n] περιγράφει το γεγονός : ο χρόνος µέχρι να ϕτάσουµε στη j κατάσταση Επειδή p ij > 0 έχουµε ότι 0 < p (n) ij P i [τ j < ]

40 40 ΚΕΦΑΛΑΙΟ 2 ΑΛΥΣΙ ΕΣ MARKOV Αντίστροφα αν για όλα τα n 0, p (n) ij = 0 δηλαδή η j δεν προσεγγίζεται από την i κατάσταση Εχουµε από το [;] ότι P(Ποτέ να µην πάει στην j Ξεκινάει από την i) = P( {X n = j} X 0 = i} n=0 P{X n = j X 0 = i} = p (n) ij = 0 n=0 n=0 Εδώ έχουµε µερικά απλά παραδείγµατα τα οποία επεξηγούν την έννοια της προσέγγισης i Η ντετερµινιστική µονότονη αλυσίδα Marov Ο χώρος καταστάεων είναι {1, 2, 3, } a 1 = P(X 0 = 1) = 1 και για i 0 έχουµε p i,i+1 = 1, έτσι ώστε η διαδικασία να πηγαίνει αιτιοκρατικά ανάµεσα στους ακεραίους αριθµούς προς το + ηλαδή i i + 1 και στην πραγµατικότητα για κάθε j > i παίρνουµε i j ii (Βλέπε [;]) Εστω {X n, n 1} ανεξάρτητες τυχαίες µεταβλητές µε κοινή κατανοµή P(X n = ) = a, < < + Ορίζουµε τον τυχαίο περίπατο µε S 0 = 0, S n = n i=1 X i, n 1 (ϐλέπε [;]) Η S n είναι αλυσίδα Marov Η τριδιαγώνια δοµή του πίνακα είναι χαρακτηριστική του τυχαίου περίπατου µε ϐήµα ±1 Το P(S n = 0 S n 1 = 0) = P(S n = m S n 1 = m) = 1 είναι το γεγονός το οποίο µοντελοποιεί την απορροφητική ϕύση των 0 και m και επίσης ισχύουν P(X n+1 = i + 1 X n = i) = p i P(X n+1 = i 1 X n = i) = q i P(X n+1 = i X n = i) = r i για 1 i m 1 Η περίπτωση όπου r i = 0, p i = p, q i = q ονοµάζεται Gambler s Ruin (ϐλέπε [;]) Ο παίκτης ξεκινάει µε αρχικό κεφάλαιο i και ο αντίπαλος µε m i Παίζεται το παιχνίδι µε ένα κέρµα και η κατάσταση του συστήµατος (η τιµή της X n ) είναι τα χρήµατα του παίκτη µας µετά από n παιχνίδια Οταν ο παίκτης κερδίζει µετά σε µια ϱίψη τα χρηµατά του αυξάνονται κατά µία µονάδα αλλίως ελαττώνονται κατά µια µοναδα Αν η διαδικασία µεταβεί στην κατάσταση m ο αντίπαλος καταστρέφεται ενώ αν µεταβεί στην κατάσταση 0, ο παίκτης µας καταστρέφεται Εστω η Gambler s Ruin µε χώρο καταστάσεων {0, 1,, m} Εχουµε ότι m m, 0 0 και καµιά άλλη ακολουθία των 0 και m δεν υπάρχει Το 0 είναι µια ακολουθία για κάθε κατάσταση εκτός από τη m iii Απλή Κλαδωτή : 0 0 και το 0 να µην έχει άλλες ακολουθίες Εστω {Z nj : n 1, j 1} ανεξάρτητες τυχαίες µεταβλητές µε την ίδια κατανοµή (p ) και τιµές µη αρνητικούς ακεραίους Ορίζουµε την διαδικασία {Z n : n 1} Αν τύχει να συµβεί Z n = 0 τότε δεχόµαστε ότι και το Z n+1 = 0 είναι 0 αφού ισούται µε το άθροισµα 0 στο πλήθος προσθεταίους, µε άλλα λόγια µόλις µηδενιστεί µια διαδικασία παραµένει 0

41 25 ΙΑΣΠΑΣΗ ΤΟΥ ΧΩΡΟΥ ΚΑΤΑΣΤΑΣΕΩΝ 41 Η έννοια της διέλευσης µας λέει ποιές καταστάσεις µπορούν τελικά να προσεγγιστούν από τη δοθείσα κατάσταση i Ο παρακάτω ορισµός µας δηµιουργεί την ερώτηση : Αν ένα µονοπάτι της ϑετικής πιθανότητας υπάρχει από µια κατάσταση σε µια δεύτερη τότε υπάρχει ένα επιστρεφόµενο µονοπάτι από τη δεύτερη κατάσταση στην πρώτη ; Ορισµός 252 Οι καταστάσεις i και j επικοινωνούν, γράφοντας i j αν i j και j i Η επικοινωνία είναι µια ισοδύναµη σχέση που σηµαίνει : i i i (η σχέση είναι αυτοπαθείς) αφού i i ii i j αν και µόνο αν j i (η σχέση είνα συµµετρική) iii Αν i j και j τότε i (η σχέση είναι µεταβατική) Μόνο η τελευταία ιδιότητα χρειάζεται σχόλιο : Αν i j και j δείχνουµε i Αν i j υπάρχει n έτσι ώστε p (n) ij > 0 Παροµοίως p (m) j > 0 για µερικά m αφού j Ετσι από Champan Kolmogorov p n+m i = r=0 p (n) ir p (m) r p (n) ij p (m) j > 0 έτσι ώστε i Ο χώρος καταστάσεων S µπορεί να χωριστεί σε ασυσχέτιστες λεπτοµερής και ισοδύναµες κλάσεις της σχέσης Παίρνουµε µια κατάσταση, και τη λέµε 0, ϐάζουµε 0 και όλες οι καταστάσεις επικοινωνούν µε το 0 σε µία κλάση λεγόµενη C 0 Τότε παίρνουµε µία κατάσταση S C 0, λεγόµενη i, και το ϐάζουµε και όλες οι καταστάσεις επικοινωνούν µε το i µε µια άλλη κλαση την οποία ονοµάζουµε C 1 Συνεχίζουµε µε αυτό τον τρόπο µέχρι όλες οι καταστάσεις να έχουν προσδιοριστεί Εχουµε C i C j =, i j και i C i = S Τα C 0, C 1, ονοµάζονται ισοδύναµες κλάσεις Εχουµε µερικά παραδείγµατα i Gambler s Ruin µε χώρο καταστάσεων {0, 1, 2, 3} και πίνακα µετάβασης /2 0 1/ /2 0 1/2 Υπάρχουν 3 κλάσεις {0}, {3}, {1, 2} ii Θεωρούµε την Αλυσίδα Marov µε χώρο καταστάσεων {1, 2, 3, 4} και µε 1/2 1/2 0 0 πίνακα 1/2 1/ /2 1/2 Εδώ υπάρχουν 2 κλάσεις C 1 = {1, 2}, 0 0 1/2 1/2 C 2 = {3, 4}