MARKOVLJEVI LANCI 2. kolokvij - 9. veljače (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!)

Transcript

1 MATIČNI BROJ STUDENTA IME I PREZIME BROJ BODOVA MARKOVLJEVI LANCI. kolokvij - 9. veljače 009. (Knjige, bilježnice, dodatni papiri i kalkulatori nisu dozvoljeni!. Neka je X (X n : n 0 Markovljev lanac sa skupom stanja S i prijelaznom matricom P (p ij : i, j S. Za mjeru λ na S i prijelaznu matricu P kažemo da su u detaljnoj ravnoteži ako vrijedi λ i p ij λ j p ji za sve i, j S. (a ( boda Dokažite da ako su λ i P u detaljnoj ravnoteži, tada je λ invarijantna mjera Markovljevog lanca X. (b ( boda Da li vrijedi obrat tvrdnje (a? Dokažite ili opovrgnite! (c ( boda Neka je X (λ, P -Markovljev lanac koji je ireducibilan, te neka je λ vjerojatnosna distribucija. Pretpostavimo da su λ i P u detaljnoj ravnoteži. Dokažite da je X reverzibilan. Rješenje: (a Treba pokazati da vrijedi λ λp, odnosno λ i λ jp ji za sve i S. Računamo, λ j p ji λ i p ij λ i p ij λ i, gdje prva jednakost slijedi zbog λ i P u detaljnoj ravnoteži, a posljednja zbog p ij. (b Ne! Postoji puno kontraprimjera. Jedan je sljedeći: neka je P bilo koja 3 3 dvostruko stohastička matrica (zbroj elemenata po recima i po stupcima jednak jedan. Tada je π (/3, /3, /3 stacionarna distribucija. Ako P nije simetrična, ne vrijedi uvjet detaljne ravnoteže. Ili, X determinističko gibanje na desno na Z (ne na N. Tada je λ (λ i : i Z, definirano s λ i za sve i Z, invarijantna mjera, ali nije zadovoljen uvjet detaljne ravnoteže. (c Treba pokazati da je za sve N N, slučajni proces Y (Y n : 0 n N definiran s Y n : X N n opet (λ, P -Markovljev lanac. Zbog (a je λ invarijantna mjera, a kako je po pretpostavci vjerojatnosna distribucija, to je λ stacionarna distribucija. Računamo konačno dimenzionalne distribucije od Y : P(Y 0 i 0, Y i,..., Y N i N P(X 0 i N, X i N,..., X N i 0 λ in p in i N... p i i 0 p in i N λ in p in i N... p i i 0 p in i N p in i N... p i0 i λ i0 λ i0 p i0 i... p in i N. Iz Teorema.5 slijedi da je Y (Y n : 0 n N (λ, P -Markovljev lanac.

2 . (6 bodova Neka je X (X n : n 0 ireducibilan Markovljev lanac na prebrojivom prostoru stanja S, te neka je π stacionarna distribucija od X. Za i S definiramo T i : min{n > 0 : X n i}. Dokažite da za svaku ograničenu funkciju f : S R vrijedi f(jπ j ( E i (T i E T i i n f(x n, Rješenje: π(f f(jπ j f(j E i (T i E i E i (T i E i E i (T i E i T i k0 T i k0 ( T i k0 T E i (T i E i i f(x k. k0 (Xk j f(j (Xk j f(j (Xk j Drugi redak slijedi iz Propozicije 7.8, a zamjena sumacije i integracije se opravdava Lebesgueovim teoremom o dominiranoj konvergenciji.

3 3. (5 bodova Trnoružica spava po cijele dane u dvorcu okovanom trnjem čekajući princa da ju oslobodi čarolije zle vještice. Trnoružica može spavati u dvije različite pozicije: na ledima i na trbuhu. Na ledima spava eksponencijalno vrijeme s očekivanjem pola sata, pa se zatim zbog udobnosti premjesti u poziciju spavanja na trbuh, u kojoj provede eksponencijalno vrijeme s očekivanjem 0 minuta, nakon koje se opet zbog udobnosti okrene na leda itd. Odredite postotak vremena koji Trnoružica provede spavajući na trbuhu. Rješenje: Prostor stanja: S {, }, spavanje na ledima, spavanje na trbuhu. Matrica prijelaza pripadnog diskretnog Markovljevog lanca je Q a funkcija λ : S 0, + je zadana sa [ ] 0, 0 pa je generatorska matrica A jednaka λ( 30, λ( 0, A [ ]. Tražimo stacionarnu distribuciju, tj. rješavamo sustav πa 0 gdje je π (π, π 0 i π + π. Rješavanjem dobivamo da je π 3 5, π 5 pa Trnoružica π 40% vremena provede spavajući na trbuhu. 5

4 4. (7 bodova Neustrašiva Lara Croft u svojoj najnovijoj pustolovini traži izgubljene (ukradene! spise genijalnog znanstvenika koji bi iz temelja mogli promijeniti svijet. Potraga prepuna opasnosti i nevjerojatnih zavjera ju dovodi do hrama jedne drevne civilizacije. Hram ima oblik grafa na slici. Sastoji se od 4 prostorije A, B, C, D koje su povezane uskim hodnicima. Jedini B A D ulaz u hram je u vrhu A, a traženi spisi se nalaze u prostoriji D. Lara je izgubila kompas pa se njeno gibanje hodnicima hrama odvija kao slučajna šetnja na zadanom grafu. U svakom vrhu ona bira neki od njemu susjednih vrhova s vjerojatnošću obrnuto proporcionalnoj broju mogućih izbora (tj. broju bridova koji izlaze iz tog vrha. (a Izračunajte očekivano vrijeme Larina boravka u hramu do prvog povratka na ulaz hrama (tj. u prostoriju A. (b Izračunajte očekivano vrijeme do pronalaska spisa. Pretpostavljamo da će Lara sigurno naći spise ako posjeti prostoriju D. (c Nakon što Lara pronade spise pokrene se mehanizam za urušavanje ulaza i ona ostaje zatočena u hramu. Ne gubeći nadu, ona i dalje luta hodnicima u potrazi za nekim rješenjem. Izračunajte Larin postotak posjeta prostoriji D nakon dugog lutanja po hramu. Rješenje: Odredimo prvo matricu prijelaza pripadnog Markovljevog lanca. Na osnovu podataka zadanih u zadatku dobivamo da ona izgleda P A B C D C A B C D 0 / / 0 /3 0 /3 /3 /3 /3 0 /3 0 / / 0 Lanac je očito ireducibilan i aperiodičan (lako se provjeri da je p ( > 0, p (3 > 0 i povratan (jer ima konačan skup stanja i ireducibilan je. Računamo stacionarnu distribuciju, tj. vjerojatnosni vektor redak π takav da vrijedi π πp. Raspisivanjem dobivamo sustav π A 3 π B + 3 π C. π B π A + 3 π C + π D π C π A + 3 π B + π D π D 3 π B + 3 π C

5 koji ima rješenje π (, 3, 3,. Prema Teoremu 7. sa predavanja, stacionarna distribucija je jedinstvena. Prema Teoremu 7.4 s predavanja sva stanja su pozitivno povratna. (a Traži se E A τ A ( gdje je τ A ( min{n : X n A}. Prema Teoremu 7.4 vrijedi E A τ A ( π A 5. (b Označimo T D min{n 0 : X n D} i g i E i T D, i {A, B, C, D}. Analizom prvog koraka ili primjenom Teorema 4.3 sa predavanja dobivamo da vrijedi tj. g A p AB g B + p AC g C + g B p BA g A + p BC g C + p BD g D + g C p CA g A + p CB g B + p CD g D + g D 0 g A + (g B + g C g B + 3 (g A + g C g C + 3 (g A + g B g D 0 koji ima rješenje g A 5, g B 4, g C 4, g D 0. Nas zanima E A T D g A 5. (c Traži se lim N N + N n0 {D}(X n što je po ergodskom teoremu jednako {D} (i π i π D 5. i S

6 5. (6 bodova Kroz strujni krug na slici puštamo napon od V tako da je φ A, φ B 0. Otpori na pojedinim žicama su zapisani na odgovarajućim bridovima grafa. (a Odredite tokove struja za vrh E. A E B C 0.5 D (b Izračunajte vjerojatnost da slučajna šetnja koja krene iz vrha A stigne u vrh B prije nego se vrati nazad u vrh A. Rješenje: Prije svega odredimo matricu prijelaza pripadne slučajne šetnje. Sprovodljivost c xy izmedu vrhova x i y je jednaka c xy r xy gdje je r xy otpor brida koji spaja vrhove x i y, zadan na slici. Za prijelazne vjerojatnosti vrijedi p xy c xy c x, gdje je c x z V c xz. Prvo računamo c ove: c AE, c AC, c CD, c ED, c EB, c DB, pa onda c A 3, c B, c C 5, c D 4, c E 3. Uvrštavanjem u formulu za prijelazne vjerojatnosti dobivamo A B C D E A 0 0 /3 0 /3 B P / / C / /5 0. D 0 /4 / 0 /4 E /3 /3 0 /3 0 (a Tokovi struja u vrhu E zadovoljavaju Ohmov zakon: γ EA c EA (φ E φ A, γ ED c ED (φ E φ D, γ EB c EB (φ E φ B. Potencijali φ zadovoljavaju sustav φ P φ u vrhovima {C, D, E} te φ A, φ B 0. Raspisivanje daje sustav φ C 5 φ A φ D φ D φ D 4 φ B + φ C + 4 φ E φ E 3 φ A + 3 φ B + 3 φ D φ D čijim rješavanjem dobivamo φ C 5, φ 3 D, φ 3 E 4. Uvrštavanjem natrag u 3 Ohmov zakon dobivamo tokove struja u vrhu E: γ EA 7 3, γ ED 3 3, γ EB 4 3. (b Označimo T A min{n 0 : X n A}, T B min{n 0 : X n B}. Neka je S dogadaj čiju vjerojatnost trebamo izračunati. Analizom prvog koraka (plus Markovljevo svojstvo dobivamo P A (S p AC P C (T B < T A + p AE P E (T B < T A.

7 Sa predavanja znamo da je φ i P i (T A < T B, i {A, B, C, D, E}. Takoder je P C (T A T B P E (T A T B 0 jer šetnja ne može istovremeno biti u dva različita vrha. Sada je P A (S p AC P C (T B < T A + p AE P E (T B < T A p AC ( φ C + p AE ( φ E 3 ( 5 3 gdje je + 3 ( Traženu vjerojatnost smo mogli izračunati i kao P A (S p esc γ A c A, pa je γ A γ AE + γ AC c AE (φ A φ C + c AE (φ A φ E P A (S p esc γ A c A