MARKOVLJEVI LANCI 1. kolokvij studenog (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!)

Transcript

1 MARKOVLJEVI LANCI 1. kolokvij studenog (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!) 1. Neka je (X n ) n 0 Markovljev lanac sa skupom stanja S i prijelaznom matricom P = (p ij ). (a) (3 boda) Iskažite Markovljevo svojstvo. (b) (3 boda) Za m N 0, i S dokažite da je uvjetno na X m = i slučajni proces (X m+n ) n 0 (δ i, P )-Markovljev lanac nezavisan od slučajnih varijabli X 0, X 1,..., X m. (c) (2 boda) Izračunajte vjerojatnost da Markovljev lanac (X n ) n 0 koji kreće iz stanja i S zauvijek ostaje u stanju i, tj. izračunajte P i (X n = i za svaki n N). (d) (2 boda) Izračunajte vjerojatnost da Markovljev lanac (X n ) n 0 koji kreće iz stanja i neprestano alternira izmedu stanja i i j (za neke i, j S, i j), tj. izračunajte Rješenje: P i ( {X2n = i za svaki n N} {X 2n 1 = j za svaki n N} ). (a) Pogledajte definiciju 1.2 s predavanja. (b) Pogledajte teorem 1.6 s predavanja. (c) Primijetimo da za svaki m N vrijedi P i (X 1 = X 2 = = X m = i) = p m ii pa puštanjem m i korištenjem monotonosti vjerojatnosti obzirom na padajuće nizove dogadaja slijedi da je tražena vjerojatnost jednaka { lim P 1 ako je p ii = 1, i(x 1 = X 2 = = X m = i) = lim m m pm ii = 0 ako je p ii < 1. (d) Primijetimo da za svaki m N vrijedi ( P i X2 = X 4 = = X 2m = i, X 1 = X 3 = = X 2m 1 = j ) = p ij p ji p ij p }{{ ji = p m ij p m ji } 2m faktora pa puštanjem m i korištenjem monotonosti vjerojatnosti obzirom na padajuće nizove dogadaja slijedi da je tražena vjerojatnost ovog puta jednaka { lim (p ijp ji ) m 1 ako je p ij = p ji = 1, = m 0 ako je p ij < 1 ili p ji < 1.

2 2. (10 bodova) Promatramo populaciju u kojoj svaka ženka daje točno 3 potomka. Svaki potomak je ženka s vjerojatnošću p 0, 1, a mužjak s vjerojatnošću q = 1 p. Izračunajte vjerojatnost izumiranja ženki u toj populaciji u ovisnosti o parametru p. Pritom pretpostavljamo da populacija započinje točno jednom ženkom te da ona uvijek sadrži dovoljan broj mužjaka. Rješenje: Označimo sa Z n broj ženki u n-toj generaciji i s π vjerojatnost izumiranja ženki u populaciji. Tada je Z 1 B(3, p) pa je E Z 1 = 3p. Sada koristimo teorem s vježbi. Ako je E Z 1 1, odnosno p 1, tada je π = 1. 3 Ako je E Z 1 > 1, odnosno p > 1, tada je π jednistveno nenegativno rješenje jednadžbe 3 s = P (s) koje je strogo manje od 1. Vrijedi: čija rješenja su P (s) = s (q + ps) 3 = s p 3 s 3 + 3p 2 qs 2 + (3pq 2 1)s + q 3 = 0 (s 1) ( ) p 3 s 2 + (3p 2 q + p 3 )s + 3p 2 q + p 3 + 3pq 2 1 = 0, }{{} q 3 (s 1) ( p 3 s 2 + p 2 (3 2p)s (1 p) 3) = 0, s 1 = 1, s 2 = p(3 2p) p(4 3p) 2p 2, s 3 = p(3 2p) + p(4 3p). 2p 2 Zbog 3 2p > 0 slijedi s 2 < 0 pa je π = s 3 = p(3 2p) + p(4 3p) 2p 2. Alternativno, stavimo x 3 = s. Tada je (q + ps) 3 = s q + ps = 3 s q + px 3 = x p(x 3 x) + q(1 x) = 0 (x 1)[px(x + 1) q] = 0 (x 1)(px 2 + px q) = 0 pa su rješenja x 1 = 1, x 2,3 = p ± p 2 + 4pq 2p je π = = p ± 4p 3p 2 2p ( p 3 4) 3. = 1 2 ± 1 p 3 4. Stoga

3 3. Zadan je Markovljev lanac X = (X n : n 0) na prostoru stanja S = {1, 2, 3, 4, 5} s matricom prijelaza 1/5 1/5 1/5 1/5 1/5 0 2/5 1/5 1/5 1/5 P = 0 0 3/5 1/5 1/ /5 1/ (a) (3 boda) Odredite klase komuniciranja. Obrazložite. (b) (2 boda) Ispitajte povratnost/prolaznost svakog stanja. (c) (2 boda) Odredite Cl({i}) za sva stanja i S, pri čemu je Cl({i}) najmanji zatvoreni skup stanja koji sadrži i. Obrazložite! (d) (3 boda) Ako lanac kreće iz stanja 1, izračunajte vjerojatnost da on prije posjeti stanje 5, nego stanje 4. Rješenje: (a) Primjetimo da za sve i, j S vrijedi i j ako i samo ako je i j, tj. i j ako i samo ako je i = j. Dakle, postoji 5 klasa komuniciranja: C i = {i}, za i = 1,..., 5. (b) Klase C i za i 5 nisu zatvorene, pa su nužno prolazne. Dakle, stanja 1,..., 4 su prolazna. Budući da je skup stanja konačan, on mora sadržavati barem jedno povratno stanje iz čega zaključujemo da je stanje 5 povratno. (Alternativno, to smo mogli direktnije zaključiti, jer je stanje 5 apsorbirajuće pa je nužno povratno.) (c) Po zadatku s vježbi, Cl({i}) = {j S : i j}, za svako i S. zaključujemo da je Cl({i}) = {i, i + 1,..., 5} za sve i S. Iz dijela (a) sada (d) Za sve i S definiramo prvo vrijeme posjeta stanju i s T i = min{n 0 : X n = i}, uz konvenciju min = +. Traži se P 1 (T 5 < T 4 ) i ta vjerojatnost se neće promijeniti ako stanje 4 proglasimo apsorbirajućim (uz stanje 5, koje to već jest). Dakle, promatramo novi Markovljev lanac s matricom prijelaza: P = 1/5 1/5 1/5 1/5 1/5 0 2/5 1/5 1/5 1/ /5 1/5 1/

4 i za njega računamo P 1 (T 5 < T 4 ) = P 1 (T 5 < ). Stavimo h i = P i (T 5 < ) za svaki i S. Po teoremu s predavanja vektor vjerojatnosti pogadanja h = (h i : i S) je minimalno nenegativno rješenje sustava jednadžbi: h 1 = 5 i=1 p 1jh j = 1 h h h h h 5 5, h 2 = 5 i=1 p 2jh j = 0 h h h h h 5 5, h 3 = 5 i=1 p 3jh j = 0 h h h h h 5 5, h 4 = 5 i=1 p 4jh j = 0 h h h h h 5, h 5 = 1. Kako bismo lakše riješili sustav, primijetimo h 4 = P 4 (T 5 < ) = 0 i da je četvrta jednadžba suvišna. Rješavanjem dobivamo h 1 = h 2 = h 3 = 1 2 pa je tražena vjerojatnost h 1 = 1 2.

5 4. Prijatelji Fabijan i Janko igraju stolni tenis. Ishod svake partije ovisi o ishodima prethodnih dviju partija. Ukoliko je Fabijan pobijedio u obje prethodne partije, sljedeću partiju će pobijediti s vjerojatnošću 2 3. Ukoliko je Fabijan pobijedio u točno jednoj od prethodne dvije partije, sljedeću partiju će pobijediti s vjerojatnošću 1 2. Ukoliko je Fabijan izgubio u obje prethodne partije, sljedeću će partiju će pobijediti s vjerojatnošću 1 4. (a) (3 boda) Modelirajte problem kao Markovljev lanac i nadite mu matricu prijelaza. (b) (3 boda) Kolika je vjerojatnost da će, nakon dvije uzastopne Jankove pobjede, Fabijan u sljedeće tri partije pobijediti barem jedanput? (c) (4 boda) Koliko će očekivano Fabijan i Janko još odigrati partija dok Janko prvi put ne pobijedi dvije partije za redom, ako znamo da je prethodne dvije partije dobio Fabijan? Rješenje: (a) Neka X n označava ishod (n 1)-ve i n-te partije za n 1. Označimo sa S = {F F, F J, JF, JJ} skup stanja, pri čemu F, odnosno J, označavaju pobjedu Fabijana, odnosno Janka. Matrica prijelaza lanca je 2/3 1/3 0 0 P = 0 0 1/2 1/2 1/2 1/ /4 3/4 (b) Primjetimo da je lakše računati vjerojatnost komplementa traženog dogadaja, tj. vjerojatnost da će nakon dvije uzastopne Jankove pobjede, Fabijan izgubiti sve tri sljedeće partije. Dakle, tražena vjerojatnost je jednaka ( 3 ) 3 1 P JJ (X 1 = JJ, X 2 = JJ, X 3 = JJ) = 1 p 3 37 JJ,JJ = 1 = (c) Ovdje tražimo E F F (T JJ ). Stavimo g i = E i (T JJ ) za svaki i S. Po teoremu s predavanja vektor očekivanja vremena pogadanja g = (g i : i S) je minimalno nenegativno rješenje sustava jednadžbi: g F F = g F F g F J, g F J = g JF g JJ, g JF = g F F g F J, g JJ = 0. Rješavanjem dobijemo g F F = 15 2, g F J = 9 2, g JF = 7 pa je E F F (T JJ ) = g F F = 15 2.

6 5. Neka je (X n ) n 0 Markovljev lanac sa skupom stanja S. (a) (3 boda) Definirajte povratnost stanja i S. Pritom definirajte i pojmove koje koristite u definiciji. (b) (7 bodova) Iskažite i dokažite rezultat o karakterizaciji povratnosti stanja i u terminima n- koračnih prijelaznih vjerojatnosti p (n) ii. U dokazu napišite i definicije svih pojmova vezanih uz povratnost koje spominjete te jasno formulirajte i pokažite i sve pomoćne tvrdnje koje koristite. Rješenje: (a) Pogledajte definiciju 6.1. (b) Pogledajte propoziciju 6.3 s predavanja. Za dokaz pogledajte i propoziciju 6.2(a) i definicije funkcija izvodnica P ii i F ii.

7 6. (Zadatak za dodatne bodove) Košarkaš izvodi niz slobodnih bacanja. Na početku pogada s vjerojatnošću 1. Nakon toga njegova uspješnost ovisi o tome je li se ohrabrio serijom neposredno 2 prethodnih pogodaka ili obeshrabrio serijom neposredno prethodnih promašaja. Ukoliko je košarkaš dosadašnja bacanja završio serijom od točno k 1 uzastopnih pogodaka, tada će u narednom bacanju pogoditi s vjerojatnošću k. k+1 Ukoliko je košarkaš dosadašnja bacanja završio serijom od točno k 1 uzastopnih promašaja, tada će u narednom bacanju pogoditi s vjerojatnošću 1. 2 k (a) (5 dodatnih bodova) Hoće li košarkaš s vjerojatnošću 1 kad-tad doći do serije od 5 uzastopnih pogodaka? Detaljno obrazložite odgovor! (b) (5 dodatnih bodova) Hoće li košarkaš s vjerojatnošću 1 kad-tad doći do serije od 5 uzastopnih promašaja? Detaljno obrazložite odgovor! Rješenje: Markovljev lanac (X n ) n 0 možemo modelirati skupom stanja S = Z, pri čemu: 0 označava početno stanje, k (za k N) označava stanje kod kojeg košarkaš ima seriju od k pogodaka, k (za k N) označava stanje kod kojeg košarkaš ima seriju od k promašaja te prijelaznim vjerojatnostima: p 0,1 = p 0, 1 = 1, 2 p k,k+1 = k, p k+1 k, 1 = 1 za svaki k N, k+1 p k, k 1 = 1 1, p 2 k k,1 = 1 za svaki k N, 2 k dok je p ij = 0 za sve ostale parove stanja (i, j). (a) NE. Pitamo se vrijedi li P 0 (T 5 < ) = 1, tj. P 0 (T 5 = ) = 0. Kako bismo pokazali da to nije istina, ocijenit ćemo grubo P 0 (T 5 > n) P(X 0 = 0, X 1 = 1, X 2 = 2,..., X n = n) = p 0, 1 p 1, 2 p 2, 3 p n+1, n = 1 n 1 (1 1 ) = 1 n 1 (1 1 ) 2 2 k 4 2 k k=1 za bilo koji n 3. Matematičkom indukcijom po m N se lako dokaže da za svake brojeve x 1, x 2,..., x m [0, 1] vrijedi nejednakost k=2 m (1 x l ) 1 l=1 m x l. l=1 Njenom primjenom dobivamo P 0 (T 5 > n) 1 4 ( n 1 1 ) 1 1 ( 1 2 k 4 k=2 k=2 1 ) = 1 ( 1 1 ) = 1 2 k

8 Prelaskom na limes kada n i korištenjem monotonosti vjerojatnosti obzirom na padajuće nizove dogadaja slijedi P 0 (T 5 = ) = lim n P 0 (T 5 > n) 1 8 > 0. (b) DA. Pitamo se vrijedi li P 0 (T 5 < ) = 1 i upravo to ćemo i dokazati. Najprije pokažimo jednostavniju činjenicu: P 1 (T 1 < ) = 1. Naime, za proizvoljni n N imamo P 1 (T 1 = ) P(X 0 = 1, X 1 = 2,..., X n = n + 1) = p 1,2 p 2,3 p n,n+1 = n n + 1 = 1 n + 1, pa puštanjem n dobivamo P 1 (T 1 = ) = 0, tj. doista vrijedi P 1 (T 1 < ) = 1. Kako je po Markovljevom svojstvu P 0 (T 1 < ) = 1 2 P 1(T 1 < ) + 1 }{{} 2 P 1(T 1 < ), }{{} očigledno =1 po dokazanom =1 usput dobivamo i P 0 (T 1 < ) = 1. Radi jakog Markovljevog svojstva još preostaje dokazati P 1 (T 5 < ) = 1. Posljednja vjerojatnost se neće promijeniti ako prostor stanja Markovljevog lanca suzimo na S = { 5, 4, 3, 2, 1, 1, 2, 3,...} te prikladno promijenimo prijelazne vjerojatnosti p 5,i tako da bude p 5,1 = 1. Novodobiveni Markovljev lanac s vjerojatnošću 1 iz stanja 1 u najviše 5 koraka dolazi u stanje 1 pa očigledno imamo P 1 (T 1 < ) = 1. U kombinaciji s već dokazanim P 1 (T 1 < ) = 1 zaključujemo P 1 (T (1) 1 < ) = 1, tj. stanje 1 je povratno. Kako svaka dva stanja novog lanca komuniciraju, vidimo da je on ireducibilan i povratan. Po teoremu 6.11 s predavanja vrijedi P 1 (T 5 < ) = 1, što smo i željeli dokazati.