MARKOVLJEVI LANCI popravni kolokvij veljače (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!)

Transcript

1 MARKOVLJEVI LANCI popravni kolokvij - 2. veljače 204. (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!). (a) Neka je X (X n : n 0) Markovljev lanac sa skupom stanja S i matricom prijelaza P. (a) (2 boda) Definirajte povratnost stanja i S. (a2) (4 boda) Iskažite teorem o svojstvima ekvivalentnim povratnosti stanja i S. (a) (6 bodova) Neka su i,j S stanja koja komuniciraju. Dokažite da je i povratno ako i samo ako je j povratno. (b) (4 boda) Postoji li Markovljev lanac s konačno mnogo povratnih i konačno mnogo prolaznih stanja? Obrazložite vaše tvrdnje. (c) (4 boda) Postoji li Markovljev lanac s beskonačno prebrojivo mnogo povratnih i beskonačno prebrojivo mnogo prolaznih stanja? Obrazložite vaše tvrdnje. Rješenje: (a) Kažemo da je stanje i S povratno ako je P i (T i < ), gdje je T i min{n : X n i}. (a2) Sljedeće tvrdnje su ekvivalentne: (i) i S je povratno; (ii) p(k) ii ; (iii) E i N i ; (iv) P i (N i ). (a) Zbog i j i j i postoje m,n N takvi da je p (m) ij > 0 i p (n) ji > 0. Ako je i povratno, onda je p(k) ii. Tada iz Chapman-Kolmogorovljeve jednakosti slijedi pa je j takoder povratno. p (k) jj p (m) ij p (n) ji p (k) ii

2 (b) Da. Npr., neka je X Markovljev lanac sa skupom stanja S {, 2, } i matricom prijelaza 0 0 P Tada je C {,2} povratna, a C 2 {} prolazna klasa komuniciranja. (c) Da. Npr., neka je X Markovljev lanac sa skupom stanja S N i prijelaznim vjerojatnostima p 2i,2i,p 2i,2i+, i N. Tada su stanja 2,4,6,... povratna, a,,5,... prolazna.

3 2. Naploči jenacrtanadužina. Podijelimo junatri jednaka dijela iodtri novodobivene manje dužine svaku proglasimo otvorenom s vjerojatnošću 2. One koje nisu otvorene obrišemo. Postupak ponovimo s onim dužinama koje su ostale na ploči: svaku od tih manjih dužina podijelimo na tri nove od kojih je svaka otvorena s vjerojatnošću 2. One koji nisu otvorene obrišemo, te postupak ponavljamo. (a) (4 boda) Definirajte pripadni proces grananja. (Uputa: promatrajte broj dužina na ploči u n-tom koraku) (b) (6 bodova) Izračunajte vjerojatnost da nakon drugog koraka ostane nešto od (početne) dužine na ploči. (c) (2 boda) Odredite očekivani broj dužina nakon petog koraka. (d) (8 bodova) Izračunajte vjerojatnost da se u jednom trenutku na ploči ne nalazi niti jedna dužina (tj. da od početne dužine ne ostane ništa). Rješenje: (a) Označimo sa Z n broj dužina na ploči nakon n-tog koraka. Stavimo Z 0 i očito Z ima binomnu razdiobu B(, 2 ) (svaku dužinu dijelimo na manje, gdje je uspjeh ako je dužina otvorena, tj. vjerojatnost uspjeha je 2.) ( ) 0 2 (b) Tražimo P(Z 2 > 0). Kako je Z B(, 2), tj. Z, pripadna funkcija izvodnica (sl. varijable Z ) glasi P(s) s s2 + 8 s. Vrijedi P(Z 2 > 0) P(Z 2 0) P Z2 (0) (P P)(0) P(P(0)) P( ) (c) E(Z ) 2 2, pa je E(Z 5) (E(Z )) (prema zadatku s vježbi). (d) Tražimo vjerojatnost izumiranja procesa (Z n : n 0). Zbog E(Z ) 2 tražena vjerojatnost je jedinstveno rješenje jednadžbe P(s) s koje se nalazi u intervalu 0,. P(s) s s+ s2 + 8 s s 8s +2s 2 2s+ 0 (s )(8s 2 +20s ) 0 s,s 2, 8± 42 6 Dakle, tražena vjerojatnost je π ± 22. 4

4 . Neka je X {X n : n 0} Markovljev lanac sa skupom stanja S {,2,,4} i matricom prijelaza P (a) (6 bodova) Odredite povratnost, prolaznost, pozitivnu povratnost, period svakog stanja te ispitajte ireducibilnost lanca. (b) (6 bodova) Za i S definiramo T i : min{n 0: X n i}. Izračunajte P 2 (T < T 4 ). (c) (8 bodova) Odredite stacionarnu distribuciju lanca te izračunajte koji postotak vremena lanac boravi u skupu stanja {,} nakon dugo vremena.. Rješenje: (a) Lanac je ireducibilan: 2 jer p > 0 (dakle, ), p 2 > 0 (dakle, 2) i p 2 > 0. Zbog p 2 > 0 je 2, odakle slijedi da 2. Slično, zbog p > 0 i zbog p > 0 povlači. 2 4 zbog p 24 > 0 i 4 2 zbog p 42 > 0 odakle slijedi 2 4. Zbog tranzitivnosti relacije komuniciranja vrijedi 4, 2 i 4. Jer je skup stanja konačan lanac je povratan, a iz istog razloga je i pozitivno povratan. Zbog p > 0 period stanja je, a zbog ireducibilnosti sva stanja imaju isti taj period, dakle, lanac je aperiodičan. (b) Izračunajmo h i P i (T < T 4 ). Promijenimo li stanja i 4 u apsorbirajuća dobivamo novu matricu prijelaza P za koju vrijedi h i P i (T < + ). Na osnovu Teorema 4.2 s predavanja vrijedi da je vektor h (h i : i S) minimalno nenegativno rješenje sustava jednadžbi: h h 2 h + h h + 6 h 4 h 2 h + 4 h h 4 h 4 0. čije rješenje je h 2 h 2. Dakle, tražena vjerojatnost P 2(T < T 4 ) h 2 2.

5 (c) Stacionarnu distribuciju π (π,π 2,π,π 4 ) nalazimo rješavanjem jednadžbe π πp, tj. rješavanjem sustava π 5 π + π π π 2 π π + 2 π 4 π 2 5 π + 6 π 2 π π + 6 π π + 2 π 4 uz uvjet π +π 2 +π +π 4. Rješenje je π ( 25, 6, 6, Boravak u skupu stanja {,} opisuje funkcija f : S R definirana sa f(i) {,}(i) {}(i) + {}(i). Stoga je prema ergodskom teoremu traženi postotak boravka lanca u skupu stanja {,} jednak #{0 n N : X n {,}} lim lim N + N n + N N 6). f(x n ) i {,2,,4} f(i)π i π +π

6 4. (20 bodova) U nekom gradu se u lokalnom hidrometeorološkom uredu statistički proučava vrijeme. Promatra se tri tipa vremena: - kiša, 2 - snijeg i - vrijeme bez padalina. Nakon statističke obrade vremena kroz dulji niz godina zaključeno je da se vrijeme može modelirati homogenim Markovljevim lancem s matricom prijelaza P Takoder su izmjerene i prosječne dnevne količina padalina i one su za kišnih i snježnih dana dane redom s.5 mm i 2.4 mm.. (a) Izračunajte postotak dana s padalinama u tom gradu. (b) Izračunajte prosječnu dnevnu količinu padalina u nekom duljem vremenskom periodu. (c) Izračunajte prosječnu duljinu perioda s padalinama. (d) Izračunajte prosječni broj snježnih dana izmedu dva dana bez padalina. Rješenje: Pronadimo prvo stacionarnu razdiobu rješavanjem sustava πp π, gdje je π (π,π 2,π ); 0.5π +0.π 2 +0.π π 0.π +0.5π 2 +0.π π 2 0.4π +0.4π π π π +π 2 +π. Dobijemo rješenje π, π 2 i π 6. Primijetimo da je X ireducibilan. 2 (a) Koristeći ergodski teorem s funkcijom f {,2} slijedi #{0 n N : X n {,2}} lim lim N + N n + pa je postotak dana s padalinama jednak 50%. f(x n ) N N π +π 2 2 i {,2,} f(i)π i (b) Koristeći ergodski teorem s funkcijom f: S R definiranom s f().5, f(2) 2.4, f() 0 slijedi N lim n + N f(x n ) i {,2,} pa je prosječna dnevna količina padalina 0.9 mm. f(i)π i

7 (c) Tražimo E T () π 2. (d) Budući je X ireducibilan i S konačan slijedi da su mu sva stanja pozitivno povratna. Stoga je po Propoziciji 7.8 s ν i E E T () T () {Xni}, i {,2,} definirana stacionarna distribucija. Zbog jedinstvenosti (Teorem 7.4) je ν π pa je E T () {Xni} π i E T () π i π. U ovom slučaju tražimo E T () {Xn2} π 2 π 2.

8 5. (a) Neka je X (X n : n 0) ireducibilan Markovljev lanac s prostorom stanja S i prijelaznom matricom P. Za i S stavimo T i min{n : X n i}. (a) ( boda) Iskažite ergodski teorem. (a2) (5 bodova) Neka je π (π i : i S) stacionarna distribucija od X i f : S [0, ) funkcija. Dokažite da vrijedi: ( Ti ) E i (T i ) E i f(x k ) f(j)π j. j S (b) (b) ( boda) Definirajte graničnu distribuciju Markovljevog lanca X (X n : n 0). Rješenje: (b2) ( boda) Iskažite precizno teorem o egzistenciji granične distribucije. (b) (6 bodova) Neka su X i Y nezavisni Markovljevi lanci s prostorom stanja S i istom prijelaznom matricom P. Pretpostavimo da je produktni lanac W (X,Y) ireducibilan i povratan. Dokažite da vrijedi lim P(X n j) P(Y n j) 0, za svaki j S. n (a) (a) Ergodski teorem: Pretpostavimo da je Markovljev lanac X (X n : n 0) ireducibilan i pozitivno povratan, te neka je π njegova jedinstvena stacionarna distribucija. Pretpostavimo da je f nenegativna ili ograničena realna funkcija definirana na S. Tada vrijedi (a2) P ( lim n n k ) n f(x ) f(j)π j. j S f(j)π j f(j) E j S j S i (T i ) E i E i (T i ) E i E i (T i ) E i j S T i T i ( T i j S T E i (T i ) E i i f(x k ) (Xk j) f(j) (Xk j) f(j) (Xk j) )

9 (b) (b) Vidi Definiciju 8.. (b2) Vidi Teorem 8.9. (b) Produktni proces W je Markovljev lanac s prijelaznom matricom P čiji su elementi p (i,k)(j,l) p ij p kl. Neka je i 0 S. Definiramo T min{n 0 : W n (i 0,i 0 )}. Zbog pretpostavke da je W ireducibilan i povratan, po Teoremu 6. (predavanja) slijedi da je P(T < ). Dakle, s vjerojatnosti lanci X i Y će se spariti (i to u stanju i 0 ). Sada pokazujemo da za svaki n N i sve j S vrijedi P(X n j,t n) P(Y n j,t n). () Računamo P(X n j,t n) k S k S n n n P(X n j,t m) n P(W n (j,k),t m) n P(T m) p (n m) (i 0 i 0 )(j,k) P(T m)p (n m) i 0 j P(T m)p (n m) i 0 j, k S p (n m) i 0 k gdje smo u trećem retku iskoristili Markovljevo svojstvo procesa W. Slični račun pokazuje da je i desna strana u () jednaka n P(T m)p(n m) i 0 j. Primjetimo da zbog P(X n j) P(X n j,t n)+p(x n j,t > n), analogne relacije za Y, te jednakosti ()) vrijedi P(X n j) P(Y n j) P(X n j,t > n) P(Y n j,t > n) E( (Xnj) (T>n) (Ynj) (T>n) ) E( (Xnj) (Ynj) (T>n) ) E (T>n) P(T > n). Budući da je P(T < ), vrijedi da je lim n P(T > n) 0. Slijedi da je lim P(X n j) P(Y n j) 0, za svaki j S. n