Funkcije izvodnice Definicija. Neka je (a n ; n N 0 ) niz realnih brojeva. Tada se tom nizu pridružuje red potencija A(s) := a n s n n=0 koji zovemo funkcijom izvodnicom niza (a n ). Definicija.2 Neka je X nenegativna cjelobrojna diskretna slučajna varijabla: P (X = n) = p n, n N 0, p n =. Tada P X (s) := X. n=0 p n s n nazivamo funkcijom izvodnicom slučajne varijable n=0 Napomena: Uočite da je FI za slučajnu varijablu X uvijek postoji za s (, ). Propozicija.3 (i) Funkcija izvodnica jedinstveno odreduje svoj niz. (ii) Neka su X i Y nenegativne cjelobrojne slučajne varijable takve da je P X (s) = P Y (s). Tada je X D = Y. (iii) Ako su X i Y nezavisne nenegativne cjelobrojne slučajne varijable. Tada je P X+Y (s) = P X (s) P Y (s) 5
6. FUNKCIJE IZVODNICE (iv) Nenegativna cjelobrojna slučajna varijabla ima konačan n ti moment ako i samo ako postoji n ta derivacija slijeva funkcije izvodnice P X (s) u s =. U tom slučaju je E[X(X ) (X n + )] = dn ds n P X( ). Specijalno, E[X] = (P X ) ( ). Zadatak.4 Bacamo simetričnu kocku i neka je X slučajna varijabla koja označava broj koji se pojavio na kocki. Odredite funkciju izvodnicu za X i onda E[X]. Rješenje: P X (s) = s+s2 +s 3 +s 4 +s 5 +s 6 6, E[X] = 3.5 Odredimo funkcije izvodnice nekih poznatih slučajnih varijabli. Primjer.5 (a) Neka je X Bernoullijeva slučajna varijabla ( ) 0 X. q p Tada je P X (s) = q + ps. (b) Neka je X B(n, p). Tada je X = n i= X i, gdje je ( ) 0 X i, i =,..., n. q p Koristeći Propoziciju.3 (iii) i (a) dio primjera n P X (s) = P Xi (s) = (q + ps) n. (c) Neka je X Poissonova slučajna varijabla s parametrom λ; i= P X (s) = k= λ λk P (X = k) = e k! λ λk e k! sk = e λ (λs) k = e λ(s ). k! k=
. FUNKCIJE IZVODNICE 7 (d) Neka je X geometrijska slučajna varijabla s parametrom p > 0; P (X = k) = q k p, k N 0 P X (s) = q k ps k = p q k s k = p qs. k= Zadatak.6 Bacamo simetričnu kocku. Neka je T slučajna varijabla koja označava prvo vrijeme kad su se pojavile dvije uzastopne 5 ice. Odredite E[T ]. Rješenje: Označimo a n = P(T = n). Tada je a = 0, a 2 = 6 6 = 36, k= a n = 5 6 a n + 5 36 a n 2, n 3 P T (s) = s 2 36 30s 5s 2 E[T ] = (P T ) ( ) = 42. Zadaci za vježbu Zadatak.7 Neka je (X n ; n ) niz nezavisnih jednako distribuiranih nenegativnih cjelobrojnih slučajnih varijabli nezavisan od nenegativne cjelobrojne slučajne varijable N. Ako je S n = X +... + X n pokažite P SN (s) = P N (P X (s)). Zadatak.8 Neka su X i Y nezavisne nenegativne cjelobrojne slučajne varijable takve da je X + Y B(n, p). Pokažite da postoje m i m 2 iz N takvi da je m + m 2 = n, X B(m, p), Y B(m 2, p). Zadatak.9 Neka je G X (s) funkcija izvodnica slučajne varijable X. Pokažite da je F (s) = E[X] G X(s) s funkcija izvodnica neke nenegativne slučajne varijable. (Rez. P(Y = n) = P(X>n), n N E[X] 0.) Zadatak.0 Bacamo simetričnih kocki. Koristeći funkcije izvodnice nadite vjerojatnost da je zbroj brojeva na bačenim kockama djeljiv s 4. (Rez. +.) 4 4 3
2 Jednostavni proces grananja Neka je (Z n,k ;n N, k N) niz nenegativnih cjelobrojnih nezavisnih jednako distribuiranih slučajnih varijabli. Jednostavni proces granjanja (Z n ;n 0) je definiran na sljedeći način: Z 0 := Z := Z, Z 2 := Z 2, + Z 2,2 + Z 2,Z Z 2 := Z 3, + Z 3,2 + Z 3,Z2. Z n := Z n, + Z n,2 + Z n,zn. pri čemu je Z n,0 = 0, n N. Očigledno je proces grananja (Z n ) potpuno odreden distribucijom od Z = Z,. Neka je P(s) funkcija izvodnica od Z. Stavimo P n (s) := P Zn (s) funkcija izvodnica n te generacije procesa grananja. Propozicija 2. Dokažite P n (s) = P n (P(s)) = (P} {{ P} )(s), n 2. n Teorem 2.2 Neka je (Z n,k ;n N, k N) niz nenegativnih cjelobrojnih nezavisnih jednako distribuiranih slučajnih varijabli i (Z n ) pripadni proces grananja. Neka je m = E[Z ] i π = P( {Z n = 0}) = lim P(Z n = 0) n n= 5
SADRŽAJ 6 vjerojatnost izumiranja procesa. Ako je m onda je π =. Ako je m > onda je π < i π je jedinstveno nenegativno rješenje jednadžbe P(s) = s koje je strogo manje od. Zadatak 2.3 Neka inicijalna krvna kultura starta s jednom crvenom stanicom. U danoj jedinici vremena crvena stanica odumire i biva zamjenjena s 2 crvene krvne stanice s vjerojatnošću /4, s crvenom i jednom bijelom stanicom s vjerojatnošću 2/3 i s 2 bijele stanice s vjerojatnošću /2. Svaka crvena stanica se reproducira na opisani način, dok svaka bijela stanica odumire u danoj vremenskoj jedinici bez reprodukcije. Pokažite da je vjerojatnost odumiranja kulture /3. Zadatak 2.4 Odredite očekivani broj crvenih krvnih stanica u drugoj generaciji za Zad.2.3. Koliki je očekivani broj crvenih krvnih stanica u n toj generaciji? Zadatak 2.5 Promatramo populaciju u kojoj svaki muškarac ima točno dvoje djece. Dijete je dječak ili djevojčica s istom vjerojatnošću. Neka je (Z n ) proces grananja koji predstavlja broj muškaraca u n-toj generaciji. Pokažite da populacija muškaraca sigurno izumire. Nadalje, pokažite da je vjerojatnost izumiranja populacije muškaraca 5 2 ako svaki muškarac ima troje djece umjesto dvoje. Zadatak 2.6 U modelu binomnog procesa grananja (Z n ) sa P(s) = q + ps stavimo T := inf{n N : Z n = 0}. T predstavlja prvo vrijeme izumiranja binomne populacije. Izračunajte P(T = n), n N. Zadatak 2.7 Promatramo dva nezavisna procesa grananja, prvi s binomnom distribucijom grananja B(3, 2/3), a drugi s distribucijom grananja zadanom funkcijom izvodnicom P(s) = 0.2+0.4s+0.3s 2 +0.s 3. Kolika je vjerojatnost da će proces koji u nultoj generaciji starta sa po jednom jedinkom iz svake populacije odumrijeti? Zadatak 2.8 Žuti časopis Stardust svaki tjedan objavljuje tračeve. Svaki trač je istinit s vjerojatnošću /0. Za svaki neistinit trač oklevetana osoba tužit će časopis s vjerojatnošću /3. Ako redakcija nije bila tužena za neki objavljeni trač, novinari će za sljedeći broj iz toga trača pripremiti nove i to: jedan novi s vjerojatnošću 2/7, dva nova s vjerojatnošću 2/7, odnosno tri vjerojatnošću 3/7. Ako je pak redakcija bila tužena, u strahu od daljnih
SADRŽAJ 7 zahtjeva za odštetom, novinari iz tog trača neće stvarati nove. Ako je Stardust u prvom broju krenuo s 5 tračeva, izračunajte vjerojatnost da Stardust nikad ne ostane bez tračeva. Zadaci za vježbu Zadatak 2.9 Neka je (Z n ) jednostavni proces grananja P(s) funkcija izvodnica potomaka, S := + n= Z n ukupna populacija u svim generacijama. Ako je P(s) = /3 + /6s + /3s 2 izračunajte P(S = ). Zadatak 2.0 U jednostavnom procesu grananja koji starta od jedne jedinke i za koji je funkcija izvodnica distribucije grananja dana s P(s) = 3 (+s+s2 ) izračunajte (P n (0) P n (0)), n= gdje je P n (s) funkcija izvodnica n te generacije Z n (po definiciji je P 0 (s) = s.) Zadatak 2. Da li postoji populacija u kojoj svaka jedinka daje(od nula) do najviše dva potomka i za koju vrijedi: vjerojatnost da jedinka ima dva potomka je dvostruko veća nego da ima jednog potomka i vjerojatnost izumiranja populacije je π = /2. Pretpostavlja se da je dinamika populacije modelirana kako kao proces grananja (Z n ;n 0) uz Z 0 =. Ukoliko takva populacija postoji izračunajte P(Z 2 = 0). Zadatak 2.2 Populacija krijesnica se sastoji od zelenih i zlatnih krijesnica, koje se razmnožavaju na sljedeći način: svaka zlatna krijesnica daje dvije zlatne krijesnice i nakon toga umire, a svaka zelena krijesnica prije nego umre daje 3 nove krijesnice od kojih je svaka s vjerojatnošću /2, neovisno o ostalima, zelena ili zlatna. Ako populacija starta od jedne zelene krijesnice, izračunajte očekivani broj zlatnih krijesnica u n toj generaciji. Zadatak 2.3 Neka je (Z n,n 0) jednostavan proces grananja u kojemu je distribucija razmnožavanja takva da svaka jedinka rada najviše dva potomka. Pri tome vrijedi da je vjerojatnost da će jedinka roditi dva potomka jednaka vjerojatnosti da će jedinka roditi najviše jednog potomka i vjerojatnost da će jedinka roditi jednog potomka je trosruko veća od vjerojatnosti da neće
SADRŽAJ 8 roditi niti jednog. Izračunajte vjerojatnost izumiranja populacije. Izračunajte vjerojatnost da će populacija izumrijeti točno u trećoj generaciji, odnosno P(Z 3 = 0,Z 2 0).
2 Markovljevi lanci-rezultati i upute 2.9) π, π = P (π) 2.0) π, π = P (π) 2.) Postoji 2.2) 3(2 n ( 3 2 )n ) 2.3) P (Z 3 = 0, Z 2 0) = P (Z 3 = 0) P (Z 2 = 0). 5
3 Markovljevi lanci Zadatak 3. U kutiji A se nalaze dvije bijele kuglice, u kutiji B se nalaze 3 crne kuglice. Iz svake kutije se izvlači po jedna kuglica i potom se izvučena kuglica iz kutije A stavlja u kutiju B i obratno. Neka je S = {0,, 2} skup koji označava koliko je crnih kuglica u kutiji A. Modelirajte pripadni Markovljev lanac i odredite vjerojatnost da se u kutiji nalaze 2 crne kuglice poslije 3 prebacivanja. Zadatak 3.2 [Socijalna gibanja] Pretpostavimo da se dana obitelj nalazi u srednjoj klasi (stanje 2) u nultoj generaciji. Kolika je vjerojatnost da će u prvoj generaciji obitelj biti u gornjoj klasi (stanje 3) i da će u drugoj generaciji potom pasti u nižu klasu? Matrica prijelaza medu socijalnim klasama je opisana matricom: 0.7 0.2 0. P = 0.3 0.5 0.2. 0.2 0.4 0.4 Primjer procesa koji nije Markovljev. Zadatak 3.3 Primjerom pokažite da ako je (X n ; n 0) Markovljev lanac da tada (f(x n ); n 0) ne mora, općenito, biti Markovljev lanac za funkciju f : S R. Rješenje. Neka je (S n ) jednostvna simetična šetnja na Z i f : Z R definirana s f(x) = x +, tj. f(x) = 0, x < 0 i f(x) = x, x 0. Definirajmo Y n := f(s n ).
2 3. MARKOVLJEVI LANCI Tada je i P(Y 3 = 0 Y 2 = 0) = 2/3 P(Y 3 = 0 Y 2 = 0,Y = 0) = /8. Prema tome (Y n ) nije Markovljev lanac iako (S n ) jest. Zadatak 3.4 Dokažite: ako su A 0,A,...,A n S i (X n ; n 0) Markovljev lanac tada vrijedi P(X n+ = j X n = i,x n A n,...,x 0 A 0 ) = P(X n+ = j X n = i). Pokažite primjerom da je sljedeća tvrdnja netočna: za A 0,A,...,A n S, A n > vrijedi P(X n+ = j X n A n,x n A n,...,x 0 A 0 ) = P(X n+ = j X n = i). Zadatak 3.5 Neka je (X n ; n 0) i pretpostavimo da je p ii > 0 te neka je η i = {n ; X n i} prvo vrijeme izlaska iz stanja i. Pokažite da η i ima geometrijsku distribuciju u odnosu na uvjetnu vjerojatnost P i ( ) = P( X 0 = i). Zadatak 3.6 Zadana je matrica prijelaza P Markovljevog lanca (X n ; n 0). Odredite klase komuniciranja skupa stanja S = {, 2, 3, 4, 5, 6} /3 0 2/3 0 0 0 0 /4 0 3/4 0 0 P = 2/3 0 /3 0 0 0 0 /5 0 4/5 0 0. /4 /4 0 0 /4 /4 /6 /6 /6 /6 /6 /6 Teorem 3.7 Vrijedi (i) (ii) P ii (s) = F ii (s) P ij (s) = F ij (s)p jj (s).
3. MARKOVLJEVI LANCI 3 Nadalje, vrijedi kriterij i S je povratno stanje f ii = n=0 p(n) ii = i S je prolazno stanje f ii < n=0 p(n) ii <. Zadatak 3.8 Zadan je Markovljev lanac s prostorom stanja S = {, 2, 3}, početnom distribucijom p = (/3, /3, /3) i matricom prijelaza /3 /3 /3 P = /4 3/4 0 0 0 Neka je τ i () = inf{n > 0 : X n = i}, i S. a) Neka je k N Odredite P (τ () = k), zatim P (τ () < ) i zaključite da li je stanje prolazno ili povratno. b) Izračunajte E[τ ()]. Zadatak 3.9 Za podkup C S, S skup stanja, definiramo zatvarač od C u oznaci Cl(C) kao najmanji zatvoren skup stanja koji sadrži C. (i) Dokažite da je Cl({j}) = {k S; j k}. (ii) Što je Cl({j}) za determinističko gibanje na N 0? (iii) Ako je j S povratno stanje, pokažite da je Cl({j}) klasa komuniciranja koja sadrži stanje j. Zadatak 3.0 Neka je (X n ) Markovljev lanac sa skupom stanja S = {, 2, 3, 4, 5} i matricom prijelaza /2 0 /2 0 0 0 /4 0 3/4 0 P = 0 0 /3 0 2/3 /4 /2 0 /4 0. /3 0 /3 0 /3 Odredite klase komuniciranja i ispitajte povratnost i prolaznost svakog stanja.
4 3. MARKOVLJEVI LANCI Zadatak 3. Harry-ev posao s restoranom fluktuira izmedu 3 stanja: 0-bankrot, -na rubu bankrota, 2-solventnost. Matrica prijelaza Markovljevog lanca iz stanja u stanje je 0 0 P = 0.5 0.25 0.25. 0.5 0.25 0.25 a) Kolika je vjerojatnost da ako Harry krene iz stanja solventnosti ikada bankrotira? b) Koliki je očekivani broj godina koliko treba voditi restoran da bi iz stanja solventnosti (n=0) bankrotirao? Zadatak 3.2 Zadan je Markovljev lanac sa skupom stanja S = {, 2, 3, 4} i matricom prijelaza 0. 0.2 0.7 0 P = 0.2 0.3 0.3 0.2 0.3 0. 0. 0.5. 0.4 0.3 0.2 0. Distribucija početnog stanja je uniformna. a) Koliko je očekivano vrijeme prije prve posjete stanju? b) Harry se kladio s Bobom u 0 dolara da će stanje biti posjećeno prije stanja 4. Koliki dobitak očekuje Harry? Zadatak 3.3 Riješite Zadatak.6 pomoću apsorpcijskih vjerojatnosti. Sljedeći primjer je napravljen kao dodatak Teoremu 4.2 s predavanja. Primjer 3.4 ( radanje-umiranje lanac ) Markovljev lanac je opisan dijagramom na donjoj slici: q p q i p i q i+ p i+ 0 i i + Stanje 0 je apsorbirajuće. Cilj nam je odrediti vjerojatnosti h i = P i (τ 0 () < )
3. MARKOVLJEVI LANCI 5 koju interprtiramo kao vjerojatnost izumiranja ako krenemo iz stanja i. Rekurzija koju dobijamo je: h i = p i h i+ + q i h i, i =, 2,... uz početni uvjet h 0 =. Neke klasične tehnike za ovu rekurziju ne rade, pa stavljamo u i = h i h i. Slijedi p i u i+ = q i u i, tj. u i+ = ( qi p i ) ( ) qi q i q u i = u = γ i u, p i p i p gdje je γ i = q iq i q p i p i p. Sada je u + + u n = h 0 h i pa je h i = A(γ 0 + + γ i ), gdje je A = u i γ 0 =. Sada moramo specificirati A. U slučaju i=0 γ i =, zbog 0 h i slijedi A = 0 i onda h i =, za sve i. Ako je i=0 γ i < tada možemo uzeti sve A > 0 koji zadovoljavaju A(γ 0 + + γ i ) 0 za sve i. Prema tome minimalno nenegativno rješenje jednadžbe iz Teorema 4.2 s predavanja dobiva se za A = ( i=0 γ i) i tada je h i = j=i γ j j=0 γ. j U tom slučaju je, za i =, 2,... h i <, pa imamo pozitivnu vjerojatnost preživljavanja.
6 3. MARKOVLJEVI LANCI Zadaci za vježbu Zadatak 3.5 Neka je (X n ) Markovljev lanac sa skupom stanja S = {, 2, 3, 4, 5} i matricom prijelaza 0 0 0 0 0 /2 0 0 /2 P = 0 0 /3 0 2/3 2/3 0 0 /3 0. 0 /4 /2 0 /4 (a)odredite klase ekvivalencije prostora stanja, te povratnost(prolaznost) svakog stanja. (b) Ako je početna razdioba lanca uniformna, kolika je vjerojatnost da će posjetiti stanje 2 prije stanja 4? Zadatak 3.6 Neka je (X n ) Markovljev lanac sa skupom stanja S = {, 2, 3, 4} i matricom prijelaznih vjerojatnosti 0 /3 2/3 0 P = /4 0 /2 /4 /3 0 /3 /3. /5 2/5 0 2/5 (a) Odredite klase ekvivalencije prostora stanja i povratnost(prolaznost) svakog stanja. (b) Ako je početna distribucija lanca p = (/6, /3, /6, /3) izračunajte vjerojatnost da lanac posjeti stanje prije stanja 3. Koliko je očekivano vrijeme do prvog posjeta lanca skupu stanja {, 3}? Zadatak 3.7 Neka je (X n ; n N) niz nezavisnih jednako distribuiranih slučajnih varijabli koje označavaju ishod bacanja simetrične kocke. Neka je S n = n k= X k i T = inf{n N : S n je djeljivo s 3}. Odredite E[T].(Uputa: S = {ostatci pri djeljenju s 3})
3. MARKOVLJEVI LANCI 7 Zadatak 3.8 Pretpostavimo da vjerojanost da danas kiši iznosi 0.3 ako je jučer bilo sunčano i prekjučer bilo sunčano, odnosno 0.6 ako je ili jučer ili prekjučer kišilo. Neka V n označava vrijeme u danu n, neka K označava stanje za kišu, S za sunce. (V n : n 0) nije Markovljev lanac, ali X n = (V n,v n ) jest Markovljev lanac s prostorom stanja {KK,KS,SK,SS}. a) Nadite matricu prijelaza Markovljevog lanca (X n ;n 0). b) Izračunajte vjerojatnost da će kišiti u srijedu ako nije kišilo u nedjelju ni u ponedjeljak. Zadatak 3.9 Iva i još četvoro djece stoje na vrhovima pravilnog peterokuta te se dodaju loptom tako da dodaju s vjerojatnošću /2 svakom od dvoje djece koja stoje na najbliža dva vrha. Kolika je vjerojatnost da ako lopta krene od Ive lopta obide svu ostalu djecu prije nego se vrati Ivi? Zadatak 3.20 Neka su č (X n ) i (Y n ) nezavisni Markovljevi lanci s istim skupom stanja S = {0, } i matricom prijelaza ( ) P = 2, X 0 = 0, Y 0 =. Neka je T = inf{n N : X n = Y n }. Odredite E[T]. 2 3 2 3
8 3. MARKOVLJEVI LANCI Markovljevi lanci-rezultati,upute rješenja 3.5) a) Klase komuniciranja su C = {, 4}, C 2 = {2, 3, 5}. Sva stanja su povratna. b)3/5 3.6) a) Ireducibilan je+konačan= sva su stanja povratna. b)p(x τ = ) = /2, E[τ] =.5. 3.7) E[T] = 2. 3.8) a)stanja u matrici P su označena u redosljedu kako je napisano u tekstu zadatka: 0.6 0.4 0 0 P = 0 0 0.6 0.4 0.6 0.4 0 0. 0 0 0.3 0.7 b) p (2) ss,kk + p(2) ss,sk = 0.3 0.6 + 0.7 0.3 = 0.39. 3.9)/4 3.20)Formiramo novi Markovljev lanac ((X n,y n );n 0)sa skupom stanja S S = {00, 0, 0, }. Zbog nezavisnosti dobivamo novu matricu prijelaza P = 4 3 3 4 9 4 6 3 2 9 4 3 6 2 9 krećemo iz stanja 0. Apsorpcijska matrica 0 0 0 3 6 3 6 3 3 6 6 0 0 0 Dakle pa je Dakle, E[T] = E 0 [T] = 2. Good luck! Q = ( 6 3 3 6 4 6 6 9 ), ( ) (I Q) =, ( ) 2. 2
4 Stacionarne distribucije Zadaci za vježbu Zadatak 4. Godišnje istraživanje zavoda za zdravstvo je pokazalo da 75% pušača nastavlja s pušenjem, 8% ljudi koji su prestali s pušenjem će ponovno nastaviti pušiti. Ako su 72% ljudi u populaciji bili pušaći u 2007, koliki postotak pušaća će biti u 2008? Koliki će, dugoročno, biti postotak pušaća? Zadatak 4.2 Imamo Markovljev lanac na satu: stanja su, 2,... 2 i iz svakog stanja lanac ide skače s vjerojatnošću 0.5 u jedno od dva susjedna stanja. Ako krenemo iz stanja 2 koliki je očekivani broj koraka do povratka u 2? Zadatak 4.3 Neka je (X n, n 0) ireducibilan Markovljev lanac s prebrojivim skupom stanja S. Ako za matricu prijelaza P = [p ij ] vrijedi P 2 = P, tada (a) dokažite da je lanac aperiodičan; (b) odredite stacionarnu distribuciju; (c) dokažite da je za sve i, j S, p ij = p ji. Zadatak 4.4 Pretpostavimo da krećemo s promatranjem bacanja simetričnog novčića čim se pojavi PG te stajemo kad se kad se ponovno pojavi PG tj. pismo i glava jedno iza drugoga. Koliko očekujemo bacanja? 9
20 4. STACIONARNE DISTRIBUCIJE Zadatak 4.5 Jedan košarkaš pogada svoje šuteve sa sljedećim vjerojatnostima: s vjerojatnošću /2 ako je promašio posljednja dva šuta, s vjerojatnošću 2/3 ako je pogodio jedan od svoja dva posljednja šuta i s vjerojatnošću 3/4 ako je pogodio oba svoja dva posljednja šuta. Izračunajte košarkašev postotak šuta nakon dugog vremena igranja. Uputa: Za prostor stanja uzmite S = {P P, P U, UP, UU}, gdje stanje predstavlja uredeni par posljednja dva košarkaševa šuta, te P označava promašaj U predstavlja ubačaj. Zadatak 4.6 Neka je (S n, n 0) Markovljev lanac sa skupom stanja S = {0,, 2,...} i matricom prijelaznih vjerojatnosti 0 0 0 q 0 p 0 P = 0 q 0 p,. pri čemu je p (0, ). Dokažite da je taj Markovljev lanac ireducibilan i odredite u ovisnosti o parametru p (0, ) kada je on povratan, pozitivno povratan, odnosno prolazan. Zadatak 4.7 Neka je (π j : j S) stacionarna distribucija, ne nužno ireducibilnog, Markovljevog lanca P. Pokažite da ako je π j > 0, i j, da je tada π j > 0. (Uputa: π = πp n = π j π i p (n) ij > 0.) Zadatak 4.8 Za matricu prijelaza P kažemo da je dvostruko stohastička ako suma u svakom njezinom stupcu jednaka tj. i S p ij =, j S. (a) Pokažite da ako konačan Markovljev lanac ima dvostruko stohastičku matricu tada su mu sva stanja pozitivno povratna. Ako je dodtno MArkovljev lanac ireducibilan i aperiodičan, tada je lim n p ij = /N, gdje je S = N. (b) Dokažite da ako Markovljev lanac ima dvostruko stohastičku matricu i S = onda je ili prolazan ili nul-povratan. Zadatak 4.9 Imamo slučajnu šetnju na grafu ABCDE na slici dolje, tako da skačemo iz vrha u vrh proporcionalno broju susjednih vrhova.
4. STACIONARNE DISTRIBUCIJE 2 (a) Nadite očekivani vrijeme prvog povrataka u vrh A. (b) Nadite očekivani broj posjeta stanju D prije povratka u stanje A. Markovljevi lanci-rezultati,upute rješenja 4.) 56.2%, 24.2% 4.2) 2 4.4) 4 4.6) p < 0.5 pozitivno povratan, p = 0.5, nul-povratan p > 0.5 prolazan 4.9) a) 6 b).
5 Markovljevi lanci s neprekidnim vremenom Propozicija 5. Ako su slučajne varijable nezavisne tada vrijedi P (X < Y ) = pri čemu u v označava min{u, v}. X Exp(a), Y Exp(b) a, X Y Exp(a + b), a + b Osnovni objekti u (homogenim) Markovljevim lancima s neprekidnim vremenom s kojima radimo: Intezitet napuštanja stanja je funkcija λ : S (0, ), Matrica prijelaza pripadnog diskretnog Markovljevog lanca: Q = [q i,j ] i,j S, q ii = 0, i S, Generatorska matrica : pri tome je A = [a i,j ] ij S, a ij = λ(i)q ij, i j, 23
24 5. MARKOVLJEVI LANCI S NEPREKIDNIM VREMENOM a ii = λ(i). U slučaju S = {0,, 2,...} ovako izgleda generatorska matrica: A = 0 2 0 λ(0) λ(0)q 0 λ(0)q 02 λ()q 0 λ() λ()q 2 2 λ(2)q 20 λ(2)q 2 λ(2). Zadatak 5.2 Promatramo stroj koji može biti u dva stanja: 0-ispravno, - neispravno. Stroj je ispravan u eksponencijalno distribuiranom vremenu očekivane duljine /λ > 0. Nakon što nastupi kvar, trajanje popravka je eksponencijalno distribuirano vrijeme s očekivanom duljinom /µ > 0. Označimo s (X t ; t R + ) stanje stroja u trenutku t. Neka je S = {0, } prostor stanja. Odredite matricu prijelaza diskretnog Markovljevog lanca i generatorsku matricu. Koliki postotak vremena je stroj ispravan? Rješenje: Diskretni Markovljev lanac: λ : S (0, ), je zadana s generatorska matrica je Na kraju, rješavamo Q = ( 0 ) 0 0 0 λ(0) = λ λ() = µ = A = ( 0 ) 0 λ λ µ µ πa = 0,, pri čemu je π = [π 0, π ] 0, π 0 + π =. Rješavanjem sustava slijedi π 0 = µ µ + λ, π = λ µ + λ pa je traženi postotak ispravnosti stroja µ µ+λ %.
5. MARKOVLJEVI LANCI S NEPREKIDNIM VREMENOM 25 Zadatak 5.3 Brod ima 2 navigacijska uredaja i jednog mehaničara koji otklanja kvarove. Svaki od uredaja radi eksponencijalno distribuirano vrijeme s očekivanim trajanjem od 30 dana dok svaki kvar zahtjeva popravak s očekivanim trajanjem od 2 dana. Sastavite Markovljev lanac s prostorom stanja S = {0,, 2} = broj ispravnih uredaja. Odredite generatorsku matricu Markovljevog lanca te odredite postotak vremena neispravnosti oba uredaja. Rješenje: Označimo s X, X 2 Exp( ) vrijeme ispravnosti uredaja, a s 30 Y Exp( ) vrijeme potrebno mehaničaru za popravak. 2 Prvo odredujemo intezitet napuštanja stanja: λ(0) =, jer izlazak iz stanja 0 ovisi samo o mehaničaru, 2 λ() = + = 6 što je parametar za X 2 30 30 i Y Exp( + ) tj. izlazimo 2 30 iz stanja ako je mehaničar popravio uredaj u kvaru prije kvara ispravnog uredaja ili se i drugi stroj pokvario prije nego je mehaničar završio popravak kvara prvog uredaja, λ(2) = + = 2 što je parametar za X 30 30 30 X 2 Exp( + ) tj. gledamo 30 30 što prije nastupi: kvar prvog ili drugog uredaja. Sada odredujemo matricu prijelaza diskretnog Markovljevog lanca: jer P = 0 2 0 0 0 5 0, 6 6 2 0 0 p 0 = (mehaničar će sigurno popraviti ), p 0 = P (X i < Y ) = p 2 = P (Y < X i ) = 30 30 + 2 2 + 30 2 = 6, = 5 6, p 2 =. (kvar će se sigurno desiti). Sada konačno dobivamo generatorsku matricu: A = 0 2 0 0 2 2 6 5 30 30 30 2 0 2 30 2 30,
26 5. MARKOVLJEVI LANCI S NEPREKIDNIM VREMENOM odakle rješavanjem sustava πa = 0, 2 i=0 π i = = π 0 = 2 257 = 0.78%. Zadatak 5.4 Jedan frizer može završiti frizuru s očekivanim vremenom eksponencijalne razdiobe od /3 sata. Mušterije se pojavljuju po eksponencijalnoj razdiobi s očekivanjem od /2 sata, ali ako su obje stolice za čekanje u radnji zauzete ne vraćaju se više. Koliki postotak vremena su u radnji 3 mušterije(tj. kada posao cvate)? Rješenje: Označimo: S := {0,, 2, 3} =broj mušterija u radnji. Dalje, vremena dolazaka mušterija su modelirani s eksp. sl. var. X i Exp(2) a duljina frizerovog posla Y Exp(3). Funkcija inteziteta: Diskretni M. lanac: Generatorska matrica: Sada rješavamo sustav λ(0) = 2, (tj.x i Exp(2)), λ() = 2 + 3 = 5, (Y X i Exp(3 + 2) λ(2) = 2 + 3 = 5, (Y X i Exp(3 + 2) A = odakle slijedi π 3 = 8/56. λ(3) = 3 =, (Y Exp(3). P = 0 2 3 0 0 0 0 3 2 0 0 5 5 2 3 2 0 0. 5 5 3 0 0 0 0 2 3 0 2 2 0 0 3 5 2 0 2 0 3 5 2. 3 0 0 3 3 πa = 0
6 Reverzibilni Markovljevi lanci Zadatak 6. Pokažite da Markovljev lanac zadan s 0 2/3 /3 P = /3 0 2/3 2/3 /3 0 ima stacionarnu distribuciju π ali nije detaljno uravnotežen. Zadatak 6.2 Pokažite da je Markovljev lanac zadan slikom reverzibilan te mu odredite detaljno uravnoteženu dristribuciju. Zadatak 6.3 Da li su sljedeća dva (ireducibilna) Markovljeva lanca reverzibilna : a) 0.4 0.6 0 P = 0.2 0.4 0.4 0 0.3 0.7 b) S je konačan skup stanja Markovljevog lanca P = [p ij ], p ij = p ji? (R: a) Da, π = [/8, 3/8, 4/8] b) Da, π i = /N, N = card(s). ) 29
7 Električne mreže Zadatak 7. Kroz strujni krug na slici puštamo napon od V tako da je φ A =, φ B = 0. Otpori na pojedinim žicama su zapisani na odgovarajućim bridovima grafa. A C D /2 /2 B (a) Odredite sprovodljivosti vrhova i napravite matricu prijelaza pripadne slučajne šetnje. (b) Odredite tokove struja za vrh C. (c) Odredite efektivni otpor. (d) Odredite vjerojatnost da pripadna slučajna šetnja na gornjem grafu koja kreće iz vrha A stigne u vrh B prije nego se vrati nazad u vrh A. Rješenje: (a) Sprovodljivosti odgovarajućih bridova : A C D 2 2 B 3
32 7. ELEKTRIČNE MREŽE Sprovodljivosti odgovarajućih vrhova : C A = 2, C B = 3, C C = 4, C D = 5. Matrica prijelaza pripadne slučajne šetnje : P = A B C D A 0 0 /2 /2 B 0 0 /3 2/3 C /4 /4 0 /2. D /5 2/5 2/5 0 (b) Tokovi struja : γ xy = φ x φ y R xy, gdje je R xy otpor brida xy, φ x = P x (T A < T B ). Prvo računamo: φ A =, φ B = 0, φ C = 7 6, φ D = 3 8 = tokovi stuja za vrh C : γ CA = 9 6, γ CD = 2 6, γ CB = 7 6. (c) gdje je γ A = x (d)tražena vjerojatnost je R ef = φ A γ A, γ Ax = 9 6 + 0 6 = 9 6 = R ef = 9 6 = 6 9. p ESC = C ef C A = 9 32.