Verjetnost 2 Peto poglavje

Transcript

1 e z e z November 2011

2 Vsebina e z

3 Šibka in krepka markovska e z Naj bo X = {X (t) t [0, )} družina slučajnih spremenljivk z zalogo vrednosti v neki množici stanj S, t.j. slučajni proces z. Pravimo, da ima proces X (šibko) markovsko, če za vsa stanja j, i 1,..., i n 1 S in poljubno zaporedje časov t 1 < t 2 < < t n velja P(X (t n ) = j X (t 1 ) = i 1,..., X (t n 1 ) = i n 1 ) = P(X (t n ) = j X (t n 1 ) = i n 1 ). Za proces X pa rečemo, da ima krepko markovsko, če za poljuben čas ustavljanja T ter poljubna dogodka A in B, kjer je A odvisen le od {X (t) t > T }, B pa le od {X (t) t T }, velja P(A X (T ) = i, B) = P(A X (T ) = i) za vse i S. Tu smo pojem čas ustavljanja vpeljali po analogiji z diskretnim, kar pomeni naslednje.

4 Šibka in krepka markovska e z Naj bo X = {X (t) t [0, )} družina slučajnih spremenljivk z zalogo vrednosti v neki množici stanj S, t.j. slučajni proces z. Pravimo, da ima proces X (šibko) markovsko, če za vsa stanja j, i 1,..., i n 1 S in poljubno zaporedje časov t 1 < t 2 < < t n velja P(X (t n ) = j X (t 1 ) = i 1,..., X (t n 1 ) = i n 1 ) = P(X (t n ) = j X (t n 1 ) = i n 1 ). Za proces X pa rečemo, da ima krepko markovsko, če za poljuben čas ustavljanja T ter poljubna dogodka A in B, kjer je A odvisen le od {X (t) t > T }, B pa le od {X (t) t T }, velja P(A X (T ) = i, B) = P(A X (T ) = i) za vse i S. Tu smo pojem čas ustavljanja vpeljali po analogiji z diskretnim, kar pomeni naslednje.

5 Šibka in krepka markovska nadaljevanje e z Slučajno spremenljivko T (z vrednostmi v nenegativnih realnih številih) poimenujemo čas ustavljanja (glede na dani proces {X (t) t [0, )}), če velja, da je pri poljubnem t 0 dogodek {T t} odvisen le od slučajnih spremenljivk {X (s); s t}. Navedimo dva izreka. Izrek Če ima proces krepko markovsko, potem ima tudi šibko markovsko.

6 Šibka in krepka markovska nadaljevanje e z Slučajno spremenljivko T (z vrednostmi v nenegativnih realnih številih) poimenujemo čas ustavljanja (glede na dani proces {X (t) t [0, )}), če velja, da je pri poljubnem t 0 dogodek {T t} odvisen le od slučajnih spremenljivk {X (s); s t}. Navedimo dva izreka. Izrek Če ima proces krepko markovsko, potem ima tudi šibko markovsko. Izrek Rojstni proces ima krepko markovsko.

7 Šibka in krepka markovska nadaljevanje e z Slučajno spremenljivko T (z vrednostmi v nenegativnih realnih številih) poimenujemo čas ustavljanja (glede na dani proces {X (t) t [0, )}), če velja, da je pri poljubnem t 0 dogodek {T t} odvisen le od slučajnih spremenljivk {X (s); s t}. Navedimo dva izreka. Izrek Če ima proces krepko markovsko, potem ima tudi šibko markovsko. Izrek Rojstni proces ima krepko markovsko. Toda vrnimo se k splošnejšim markovskim am (v zveznem času). Tako pravimo slučajnemu procesu s števno množico stanj S, ki zadošča (šibki) markovski i.

8 Šibka in krepka markovska nadaljevanje e z Slučajno spremenljivko T (z vrednostmi v nenegativnih realnih številih) poimenujemo čas ustavljanja (glede na dani proces {X (t) t [0, )}), če velja, da je pri poljubnem t 0 dogodek {T t} odvisen le od slučajnih spremenljivk {X (s); s t}. Navedimo dva izreka. Izrek Če ima proces krepko markovsko, potem ima tudi šibko markovsko. Izrek Rojstni proces ima krepko markovsko. Toda vrnimo se k splošnejšim markovskim am (v zveznem času). Tako pravimo slučajnemu procesu s števno množico stanj S, ki zadošča (šibki) markovski i.

9 Prehodne verjetnosti e z Za markovsko o vpeljemo pojem prehodne verjetnosti P(X (t) = j X (s) = i) (1) za 0 s t. Za markovsko o pravimo, da je homogena, če so verjetnosti, opredeljene z (1), vselej odvisne le od razlike med obema časovnima točkama, torej od t s. V nadaljevanju se bomo omejili le na markovske e s to jo. Prehodno verjetnost (1) označimo v tem primeru s p ij (t s). Izrek (Enačbe Chapman-Kolmogorov) Prehodne verjetnosti (homogene) markovske e zadoščajo sistemu enačb p ij (s + t) = k S p ik (s)p kj (t).

10 Prehodne verjetnosti e z Za markovsko o vpeljemo pojem prehodne verjetnosti P(X (t) = j X (s) = i) (1) za 0 s t. Za markovsko o pravimo, da je homogena, če so verjetnosti, opredeljene z (1), vselej odvisne le od razlike med obema časovnima točkama, torej od t s. V nadaljevanju se bomo omejili le na markovske e s to jo. Prehodno verjetnost (1) označimo v tem primeru s p ij (t s). Izrek (Enačbe Chapman-Kolmogorov) Prehodne verjetnosti (homogene) markovske e zadoščajo sistemu enačb p ij (s + t) = k S p ik (s)p kj (t).

11 Polgrupna e z Prehodne verjetnosti zapišemo v prehodno matriko velikosti S S : P(t) = {p ij (t)} i,j S za t [0, ). Te matrike imajo naslednje i: 1 (pozitivnost) p ij (t) 0, 2 (normiranost) j S p ij(t) = 1, 3 P(0) = I, 4 (polgrupna ) P(s + t) = P(s)P(t).

12 Polgrupna e z Prehodne verjetnosti zapišemo v prehodno matriko velikosti S S : P(t) = {p ij (t)} i,j S za t [0, ). Te matrike imajo naslednje i: 1 (pozitivnost) p ij (t) 0, 2 (normiranost) j S p ij(t) = 1, 3 P(0) = I, 4 (polgrupna ) P(s + t) = P(s)P(t). Prvo in drugo skupaj poimenujemo stohastičnost matrike. Četrta je matrično zapisan sistem enačb Chapman-Kolmogorov. V tem zapisu jo poimenujemo polgrupna. Zaradi vseh teh i pravimo družini stohastična polgrupa matrik. {P(t) t [0, )}

13 Polgrupna e z Prehodne verjetnosti zapišemo v prehodno matriko velikosti S S : P(t) = {p ij (t)} i,j S za t [0, ). Te matrike imajo naslednje i: 1 (pozitivnost) p ij (t) 0, 2 (normiranost) j S p ij(t) = 1, 3 P(0) = I, 4 (polgrupna ) P(s + t) = P(s)P(t). Prvo in drugo skupaj poimenujemo stohastičnost matrike. Četrta je matrično zapisan sistem enačb Chapman-Kolmogorov. V tem zapisu jo poimenujemo polgrupna. Zaradi vseh teh i pravimo družini stohastična polgrupa matrik. {P(t) t [0, )}

14 Generator 1 e z Za polgrupo {P(t) t [0, )} pravimo, da je standardna, če velja P(t) I, ko gre t 0. Najprej povejmo, da je polgrupa standardna natanko tedaj, kadar so funkcije p ij (t) zvezne funkcije v t za vse i, j S. V nadaljevanju se bomo omejili na markovske e s standardno stohastično polgrupo matrik. Take imajo vrsto i, ki jih bomo navedli, a jih ne bomo preverjali. Vprašajmo se, kaj se lahko zgodi na kratkem intervalu (t, t + h) pod pogojem, da velja X (t) = i. 1 Veriga lahko ostane v istem stanju z verjetnostjo p ii (h) + o(h). 2 Veriga se lahko premakne v stanje j i z verjetnostjo p ij (h) + o(h). Dokazati se namreč da, da je verjetnost dveh ali več prehodov na intervalu (t, t + h) enaka o(h). Za majhne h velja še:

15 Generator 1 e z Za polgrupo {P(t) t [0, )} pravimo, da je standardna, če velja P(t) I, ko gre t 0. Najprej povejmo, da je polgrupa standardna natanko tedaj, kadar so funkcije p ij (t) zvezne funkcije v t za vse i, j S. V nadaljevanju se bomo omejili na markovske e s standardno stohastično polgrupo matrik. Take imajo vrsto i, ki jih bomo navedli, a jih ne bomo preverjali. Vprašajmo se, kaj se lahko zgodi na kratkem intervalu (t, t + h) pod pogojem, da velja X (t) = i. 1 Veriga lahko ostane v istem stanju z verjetnostjo p ii (h) + o(h). 2 Veriga se lahko premakne v stanje j i z verjetnostjo p ij (h) + o(h). Dokazati se namreč da, da je verjetnost dveh ali več prehodov na intervalu (t, t + h) enaka o(h). Za majhne h velja še:

16 Generator 2 e z 3 Obstaja taka konstanta g ii, da velja p ii (h) = 1 + g ii h + o(h). 4 Za vsak j i obstaja taka konstanta g ij, da velja p ij (h) = g ij h + o(h). Števila g ij postavimo v matriko velikosti S S, ki jo označimo z G in poimenujemo {P(t) t [0, )}. Tretjo in četrto zgornjo lahko zapišemo v matrični obliki P(h) I G = lim. h 0 h Matrika G je torej desni odvod v točki h = 0. Po definiciji so vsi izvendiagonalni elementi ja nenegativni in vsi diagonalni elementi nepozitivni.

17 Generator 2 e z 3 Obstaja taka konstanta g ii, da velja p ii (h) = 1 + g ii h + o(h). 4 Za vsak j i obstaja taka konstanta g ij, da velja p ij (h) = g ij h + o(h). Števila g ij postavimo v matriko velikosti S S, ki jo označimo z G in poimenujemo {P(t) t [0, )}. Tretjo in četrto zgornjo lahko zapišemo v matrični obliki P(h) I G = lim. h 0 h Matrika G je torej desni odvod v točki h = 0. Po definiciji so vsi izvendiagonalni elementi ja nenegativni in vsi diagonalni elementi nepozitivni.

18 Zgledi polgrup in njihovih jev e z Ker so prehodne matrike stohastične, imajo v času konstantne vsote vrstic, zato ima, ki je njihov odvod, pogosto ničelne vsote vrstic: 5 j S g ij = 0 za vse i S. V posebnem to načeloma velja, kadar je prehodna matrika končna ali končno-diagonalna. Prvi zgled. Generator rojstnega procesa ima na prvi naddiagonali intenzivnosti rojstev in na diagonali iste intenzivnosti z negativnim predznakom. Drugi zgled. Generator rojstno-smrtnega procesa ima na prvi naddiagonali intenzivnosti rojstev, na prvi poddiagonali intenzivnosti smrti in na diagonali vsote obeh intenzivnosti z negativnim predznakom.

19 Zgledi polgrup in njihovih jev e z Ker so prehodne matrike stohastične, imajo v času konstantne vsote vrstic, zato ima, ki je njihov odvod, pogosto ničelne vsote vrstic: 5 j S g ij = 0 za vse i S. V posebnem to načeloma velja, kadar je prehodna matrika končna ali končno-diagonalna. Prvi zgled. Generator rojstnega procesa ima na prvi naddiagonali intenzivnosti rojstev in na diagonali iste intenzivnosti z negativnim predznakom. Drugi zgled. Generator rojstno-smrtnega procesa ima na prvi naddiagonali intenzivnosti rojstev, na prvi poddiagonali intenzivnosti smrti in na diagonali vsote obeh intenzivnosti z negativnim predznakom.

20 1 e z Izpeljimo sistem diferencialnih enačb za splošne markovske e. V naslednjem računu upoštevajmo Chapman-Kolmogorov: p ij (t + h) p ij (t) = k S p ik (t)p kj (h) k S p ik (t)δ kj = k S p ik (t)(p kj (h) δ kj ). Delimo s h in pošljemo h navzdol proti 0, da dobimo (za desne odvode) p ij(t) = k S p ik (t)g kj. Isti račun ponovimo v matrični obliki P(t + h) P(t) P(t)P(h) P(t) = h h V limiti dobimo P (t) = P(t)G. = P(t) P(h) I h.

21 1 e z Izpeljimo sistem diferencialnih enačb za splošne markovske e. V naslednjem računu upoštevajmo Chapman-Kolmogorov: p ij (t + h) p ij (t) = k S p ik (t)p kj (h) k S p ik (t)δ kj = k S p ik (t)(p kj (h) δ kj ). Delimo s h in pošljemo h navzdol proti 0, da dobimo (za desne odvode) p ij(t) = k S p ik (t)g kj. Isti račun ponovimo v matrični obliki P(t + h) P(t) P(t)P(h) P(t) = h h V limiti dobimo P (t) = P(t)G. = P(t) P(h) I h.

22 2 e z Tako smo dobili naprejšnji sistem diferencialnih enačb p ij(t) = k S p ik (t)g kj oziroma P (t) = P(t)G. V izpeljavi drugega sistema zamenjamo vlogi t in h, ko uporabimo polgrupno. Tokrat naredimo le matrični račun: P(t + h) P(t) h = P(h)P(t) P(t) h = P(h) I h P(t).

23 2 e z Tako smo dobili naprejšnji sistem diferencialnih enačb p ij(t) = k S p ik (t)g kj oziroma P (t) = P(t)G. V izpeljavi drugega sistema zamenjamo vlogi t in h, ko uporabimo polgrupno. Tokrat naredimo le matrični račun: P(t + h) P(t) h = P(h)P(t) P(t) h = P(h) I h P(t). V limiti dobimo P (t) = GP(t). Nazajšnji sistem diferencialnih enačb je torej p ij(t) = k S g ik p kj (t) oziroma P (t) = GP(t).

24 2 e z Tako smo dobili naprejšnji sistem diferencialnih enačb p ij(t) = k S p ik (t)g kj oziroma P (t) = P(t)G. V izpeljavi drugega sistema zamenjamo vlogi t in h, ko uporabimo polgrupno. Tokrat naredimo le matrični račun: P(t + h) P(t) h = P(h)P(t) P(t) h = P(h) I h P(t). V limiti dobimo P (t) = GP(t). Nazajšnji sistem diferencialnih enačb je torej p ij(t) = k S g ik p kj (t) oziroma P (t) = GP(t).

25 Rešitve diferencialnih enačb e z rešujemo skupaj z začetnim pogojem P(0) = I. Podobne nastopajo v mnogih aplikacijah v naravoslovju, tehniki in ekonomiji. Največ aplikacij je v t.i. teoriji sistemov. Rešitve se dajo pogosto zapisati v obliki P(t) = e tg = exp(tg). Tu definiramo matrično eksponentno funkcijo s pomočjo vrste exp(tg) = n=0 kjer pa nastopi vprašanje konvergence. t n n! G n,

26 Rešitve diferencialnih enačb e z rešujemo skupaj z začetnim pogojem P(0) = I. Podobne nastopajo v mnogih aplikacijah v naravoslovju, tehniki in ekonomiji. Največ aplikacij je v t.i. teoriji sistemov. Rešitve se dajo pogosto zapisati v obliki P(t) = e tg = exp(tg). Tu definiramo matrično eksponentno funkcijo s pomočjo vrste exp(tg) = n=0 t n n! G n, kjer pa nastopi vprašanje konvergence. Drugo tehnično vprašanje je, pod kakšnimi pogoji smemo vrsto členoma odvajati. Če je to možno, potem je jasno, da zgornja matrična funkcija reši tako naprejšnji kot nazajšnji sistem, izpolnjuje pa tudi začetni pogoj.

27 Rešitve diferencialnih enačb e z rešujemo skupaj z začetnim pogojem P(0) = I. Podobne nastopajo v mnogih aplikacijah v naravoslovju, tehniki in ekonomiji. Največ aplikacij je v t.i. teoriji sistemov. Rešitve se dajo pogosto zapisati v obliki P(t) = e tg = exp(tg). Tu definiramo matrično eksponentno funkcijo s pomočjo vrste exp(tg) = n=0 t n n! G n, kjer pa nastopi vprašanje konvergence. Drugo tehnično vprašanje je, pod kakšnimi pogoji smemo vrsto členoma odvajati. Če je to možno, potem je jasno, da zgornja matrična funkcija reši tako naprejšnji kot nazajšnji sistem, izpolnjuje pa tudi začetni pogoj.

28 Čas zadrževanja e z Izberimo neko stanje i in čas t ter privzemimo pogoj X (t) = i. Vpeljimo čas zadrževanja (pred naslednjim prehodom), ki je soroden medprihodnemu času: Tedaj velja T = inf{s 0; X (t + s) i}. 6 T je porazdeljen eksponentno s parametrom g ii. To preprosto sledi iz dejstva, da ima T nepomnjenja: P(T > r + s T > r) = P(T > r + s X (t + r) = i) = P(T > s) pri poljubnih pozitivnih r in s. Parameter dobimo z odvajanjem repne verjetnosti. Velja tudi naslednje.

29 Čas zadrževanja e z Izberimo neko stanje i in čas t ter privzemimo pogoj X (t) = i. Vpeljimo čas zadrževanja (pred naslednjim prehodom), ki je soroden medprihodnemu času: Tedaj velja T = inf{s 0; X (t + s) i}. 6 T je porazdeljen eksponentno s parametrom g ii. To preprosto sledi iz dejstva, da ima T nepomnjenja: P(T > r + s T > r) = P(T > r + s X (t + r) = i) = P(T > s) pri poljubnih pozitivnih r in s. Parameter dobimo z odvajanjem repne verjetnosti. Velja tudi naslednje. 7 V trenutku, ko a zapusti stanje i, je verjetnost, da bo prešla v stanje j i, enaka g ij g ii.

30 Čas zadrževanja e z Izberimo neko stanje i in čas t ter privzemimo pogoj X (t) = i. Vpeljimo čas zadrževanja (pred naslednjim prehodom), ki je soroden medprihodnemu času: Tedaj velja T = inf{s 0; X (t + s) i}. 6 T je porazdeljen eksponentno s parametrom g ii. To preprosto sledi iz dejstva, da ima T nepomnjenja: P(T > r + s T > r) = P(T > r + s X (t + r) = i) = P(T > s) pri poljubnih pozitivnih r in s. Parameter dobimo z odvajanjem repne verjetnosti. Velja tudi naslednje. 7 V trenutku, ko a zapusti stanje i, je verjetnost, da bo prešla v stanje j i, enaka g ij g ii.

31 Lévyjeva dihotomija e z Klasifikacija stanj je pri ah z presenetljivo bolj enostavna kot v primeru diskretnega časa. Najprej se izkaže, da velja. (Lévyjeva dihotomija) Za poljubni stanji i in j velja bodisi p ij (t) = 0 za vse t > 0 bodisi p ij (t) > 0 za vse t > 0. V primeru i = j velja le druga od obeh možnosti. Dokaz druge od obeh trditev je lažji. Ker je a standardna, konvergira p ii (t) s t 0 proti 1. Zato obstaja tak h > 0, da je p ii (t) > 0 za vse t [0, h]. Izberimo zdaj t > 0 poljuben in dovolj velik n, da je hn > t. Po enačbi Chapman-Kolmogorov je tedaj ( ( t )) n p ii (t) p ii > 0. n

32 Lévyjeva dihotomija e z Klasifikacija stanj je pri ah z presenetljivo bolj enostavna kot v primeru diskretnega časa. Najprej se izkaže, da velja. (Lévyjeva dihotomija) Za poljubni stanji i in j velja bodisi p ij (t) = 0 za vse t > 0 bodisi p ij (t) > 0 za vse t > 0. V primeru i = j velja le druga od obeh možnosti. Dokaz druge od obeh trditev je lažji. Ker je a standardna, konvergira p ii (t) s t 0 proti 1. Zato obstaja tak h > 0, da je p ii (t) > 0 za vse t [0, h]. Izberimo zdaj t > 0 poljuben in dovolj velik n, da je hn > t. Po enačbi Chapman-Kolmogorov je tedaj ( ( t )) n p ii (t) p ii > 0. n Za primer i j s podobnim trikom dokažemo obstoj takega h > 0, da je p ij (t) > 0 za vse t > h in p ij (t) = 0 za vse t h. Bistveno težje je dokazati, da je bodisi h = 0 bodisi h =.

33 Lévyjeva dihotomija e z Klasifikacija stanj je pri ah z presenetljivo bolj enostavna kot v primeru diskretnega časa. Najprej se izkaže, da velja. (Lévyjeva dihotomija) Za poljubni stanji i in j velja bodisi p ij (t) = 0 za vse t > 0 bodisi p ij (t) > 0 za vse t > 0. V primeru i = j velja le druga od obeh možnosti. Dokaz druge od obeh trditev je lažji. Ker je a standardna, konvergira p ii (t) s t 0 proti 1. Zato obstaja tak h > 0, da je p ii (t) > 0 za vse t [0, h]. Izberimo zdaj t > 0 poljuben in dovolj velik n, da je hn > t. Po enačbi Chapman-Kolmogorov je tedaj ( ( t )) n p ii (t) p ii > 0. n Za primer i j s podobnim trikom dokažemo obstoj takega h > 0, da je p ij (t) > 0 za vse t > h in p ij (t) = 0 za vse t h. Bistveno težje je dokazati, da je bodisi h = 0 bodisi h =.

34 e z Lévyjeva dihotomija nam med drugim pove, da e z ne poznajo cikličnega obnašanja. Naj bo π neka verjetnostna po stanjih e, to pomeni, da je π = {π i i S} z jo π i 0 za i S in i π i = 1. Na π gledamo kot na neko vrstico, s katero lahko potem množimo prehodno matriko z leve. Izrek ( ) Za verjetnostno π po stanjih sta ekvivalentni naslednji trditvi. 1 π je levi lastni vektor pri lastni vrednosti 1 prehodne matrike P(t) ta vse t 0, torej je πp(t) = π. 2 π je levi lastni vektor pri lastni vrednosti 0 ja G, torej je πg = 0.

35 e z Lévyjeva dihotomija nam med drugim pove, da e z ne poznajo cikličnega obnašanja. Naj bo π neka verjetnostna po stanjih e, to pomeni, da je π = {π i i S} z jo π i 0 za i S in i π i = 1. Na π gledamo kot na neko vrstico, s katero lahko potem množimo prehodno matriko z leve. Izrek ( ) Za verjetnostno π po stanjih sta ekvivalentni naslednji trditvi. 1 π je levi lastni vektor pri lastni vrednosti 1 prehodne matrike P(t) ta vse t 0, torej je πp(t) = π. 2 π je levi lastni vektor pri lastni vrednosti 0 ja G, torej je πg = 0.

36 nadaljevanje e z Prva od teh i nam pove, da v primeru, ko je a porazdeljena s π v časovni točki t = 0, ima to od tega trenutka dalje za vselej, torej za vse t > 0. Druga pa je primernejša za računanje stacionarne porazdelitve, saj je potrebno izračunati lastni vektor samo za eno matriko, t.j. G. Porazdelitev π, ki zadošča eni (in zato obema) izmed trditev tega izreka, se namreč imenuje stacionarna. Dokaz iz prve v drugo točko gre po definiciji, saj je πg = lim h 0 [ 1 (πp(h) π) h ] = 0.

37 nadaljevanje e z Prva od teh i nam pove, da v primeru, ko je a porazdeljena s π v časovni točki t = 0, ima to od tega trenutka dalje za vselej, torej za vse t > 0. Druga pa je primernejša za računanje stacionarne porazdelitve, saj je potrebno izračunati lastni vektor samo za eno matriko, t.j. G. Porazdelitev π, ki zadošča eni (in zato obema) izmed trditev tega izreka, se namreč imenuje stacionarna. Dokaz iz prve v drugo točko gre po definiciji, saj je πg = lim h 0 [ 1 (πp(h) π) h ] = 0. Idejo dokaza v obratno smer navedimo samo za primer, ko se da polgrupa zapisati z matrično eksponetno funkcijo. V tem primeru je t k πp(t) = k! πg k = π. k=0

38 nadaljevanje e z Prva od teh i nam pove, da v primeru, ko je a porazdeljena s π v časovni točki t = 0, ima to od tega trenutka dalje za vselej, torej za vse t > 0. Druga pa je primernejša za računanje stacionarne porazdelitve, saj je potrebno izračunati lastni vektor samo za eno matriko, t.j. G. Porazdelitev π, ki zadošča eni (in zato obema) izmed trditev tega izreka, se namreč imenuje stacionarna. Dokaz iz prve v drugo točko gre po definiciji, saj je πg = lim h 0 [ 1 (πp(h) π) h ] = 0. Idejo dokaza v obratno smer navedimo samo za primer, ko se da polgrupa zapisati z matrično eksponetno funkcijo. V tem primeru je t k πp(t) = k! πg k = π. k=0

39 Nerazcepne e e z Za o pravimo, da je nerazcepna, če za poljubni stanji i j S obstaja tak čas t > 0, da je p ij (t) > 0. Po Lévyjevi dihotomiji potem velja p ij (t) > 0 za vse t > 0. Markovski i z priredimo markovsko o z diskretnim, katere prehodne verjetnosti so enake g ij za j i. Pravimo ji prvotni i vpeta markovska a. a je nerazcepna natanko tedaj, kadar je nerazcepna njej vpeta markovska a z diskretnim. g ii

40 Nerazcepne e e z Za o pravimo, da je nerazcepna, če za poljubni stanji i j S obstaja tak čas t > 0, da je p ij (t) > 0. Po Lévyjevi dihotomiji potem velja p ij (t) > 0 za vse t > 0. Markovski i z priredimo markovsko o z diskretnim, katere prehodne verjetnosti so enake g ij za j i. Pravimo ji prvotni i vpeta markovska a. a je nerazcepna natanko tedaj, kadar je nerazcepna njej vpeta markovska a z diskretnim. Obnašanje markovske e z torej popišemo z dvema podatkoma. Prvi podatek so časi zadrževanja v vsakem od stanj, drugi podatek pa so skoki med stanji, ki jih popiše vpeta a. Dosegljivost nekega stanja iz nekega drugega stanja v zveznem času mora biti torej ekvivalentna z dosegljivostjo med njima v diskretnem času. g ii

41 Nerazcepne e e z Za o pravimo, da je nerazcepna, če za poljubni stanji i j S obstaja tak čas t > 0, da je p ij (t) > 0. Po Lévyjevi dihotomiji potem velja p ij (t) > 0 za vse t > 0. Markovski i z priredimo markovsko o z diskretnim, katere prehodne verjetnosti so enake g ij za j i. Pravimo ji prvotni i vpeta markovska a. a je nerazcepna natanko tedaj, kadar je nerazcepna njej vpeta markovska a z diskretnim. Obnašanje markovske e z torej popišemo z dvema podatkoma. Prvi podatek so časi zadrževanja v vsakem od stanj, drugi podatek pa so skoki med stanji, ki jih popiše vpeta a. Dosegljivost nekega stanja iz nekega drugega stanja v zveznem času mora biti torej ekvivalentna z dosegljivostjo med njima v diskretnem času. g ii

42 Ergodijski izrek e z Izrek (Ergodijski izrek) Naj bo X nerazcepna markovska a s standardno stohastično polgrupo prehodnih matrik P(t). Tedaj veljata naslednji trditvi. 1 Če obstaja stacionarna π, potem je ta enolična in velja p ij (t) π j, ko gre t, za vse i, j S, neodvisno od i. 2 Če ne obstaja stacionarna, potem velja p ij (t) 0, ko gre t, za vse i, j S, neodvisno od i. Tokrat uporabimo (na primer) metodo okostja. Tako pravimo markovski i z diskretnim Y, ki jo priredimo markovski i z X pri nekem h > 0 tako, da za njeno prehodno matriko enega koraka vzamemo Q = P(h). Po enačbah Chapman-Kolmogorov je tedaj Q n = P(nh).

43 Ergodijski izrek e z Izrek (Ergodijski izrek) Naj bo X nerazcepna markovska a s standardno stohastično polgrupo prehodnih matrik P(t). Tedaj veljata naslednji trditvi. 1 Če obstaja stacionarna π, potem je ta enolična in velja p ij (t) π j, ko gre t, za vse i, j S, neodvisno od i. 2 Če ne obstaja stacionarna, potem velja p ij (t) 0, ko gre t, za vse i, j S, neodvisno od i. Tokrat uporabimo (na primer) metodo okostja. Tako pravimo markovski i z diskretnim Y, ki jo priredimo markovski i z X pri nekem h > 0 tako, da za njeno prehodno matriko enega koraka vzamemo Q = P(h). Po enačbah Chapman-Kolmogorov je tedaj Q n = P(nh).

44 Ergodijski izrek nadaljevanje e z Na okostju uporabimo limitni izrek za nerazcepne aciklične e v diskretnem času in ugotovimo, da iskana limita (pozitivna ali ničelna) obstaja na podzaporedjih t n = nh; označimo jo s π h. Pri dveh različnih racionalnih h 1 in h 2 imata pripadajoči podzaporedji neskončno mnogo skupnih točk in zato isto limito π h 1 = π h 2. Uporabimo še zveznost P(t). Zgled. a je rojstno-smrtni proces natanko tedaj, kadar je njej vpeta a slučajni sprehod (z eno odbijajočo steno). Naj bodo intenzivnosti rojstev enake λ n, intenzivnosti smrti pa µ n. Čas zadrževanja v stanju n je porazdeljen eksponentno s parametrom λ n + µ n, verjetnost rojstva (ob preskoku) je verjetnost smrti pa p n = λ n λ n + µ n, µ n

45 Ergodijski izrek nadaljevanje e z Na okostju uporabimo limitni izrek za nerazcepne aciklične e v diskretnem času in ugotovimo, da iskana limita (pozitivna ali ničelna) obstaja na podzaporedjih t n = nh; označimo jo s π h. Pri dveh različnih racionalnih h 1 in h 2 imata pripadajoči podzaporedji neskončno mnogo skupnih točk in zato isto limito π h 1 = π h 2. Uporabimo še zveznost P(t). Zgled. a je rojstno-smrtni proces natanko tedaj, kadar je njej vpeta a slučajni sprehod (z eno odbijajočo steno). Naj bodo intenzivnosti rojstev enake λ n, intenzivnosti smrti pa µ n. Čas zadrževanja v stanju n je porazdeljen eksponentno s parametrom λ n + µ n, verjetnost rojstva (ob preskoku) je verjetnost smrti pa p n = λ n λ n + µ n, µ n

46 Osnovne sestavine e z Imejmo markovsko o z diskretnim Y s števno množico stanj S, z začetno porazdelitvijo π 0 in prehodno matriko Q, ki ima, da so vsi njeni diagonalni elementi enaki 0, torej je q ii = 0 za vse i S. (Spomnimo se, da je imela vpeta markovska a te i.) Nadalje imejmo zaporedje n.e.p. slučajnih spremenljivk {E n } n=0, ki so neodvisne tudi od e Y in so vse porazdeljene eksponentno s parametrom 1. Imejmo še števno množico strogo pozitivnih intenzivnosti zadrževanja {λ i } i S.

47 Osnovne sestavine e z Imejmo markovsko o z diskretnim Y s števno množico stanj S, z začetno porazdelitvijo π 0 in prehodno matriko Q, ki ima, da so vsi njeni diagonalni elementi enaki 0, torej je q ii = 0 za vse i S. (Spomnimo se, da je imela vpeta markovska a te i.) Nadalje imejmo zaporedje n.e.p. slučajnih spremenljivk {E n } n=0, ki so neodvisne tudi od e Y in so vse porazdeljene eksponentno s parametrom 1. Imejmo še števno množico strogo pozitivnih intenzivnosti zadrževanja {λ i } i S. Tvorili bomo rekurzivno zaporedje slučajnih časov T 0 = 0 in T n+1 = T n + E n λ Yn. To pomeni, da je čas zadrževanja, prirejen n-tem koraku diskretne e, porazdeljen eksponentno s parametrom λ Yn. Slučajna spremenljivka T n pa potem pomeni vsoto prvih n izmed teh časov.

48 Osnovne sestavine e z Imejmo markovsko o z diskretnim Y s števno množico stanj S, z začetno porazdelitvijo π 0 in prehodno matriko Q, ki ima, da so vsi njeni diagonalni elementi enaki 0, torej je q ii = 0 za vse i S. (Spomnimo se, da je imela vpeta markovska a te i.) Nadalje imejmo zaporedje n.e.p. slučajnih spremenljivk {E n } n=0, ki so neodvisne tudi od e Y in so vse porazdeljene eksponentno s parametrom 1. Imejmo še števno množico strogo pozitivnih intenzivnosti zadrževanja {λ i } i S. Tvorili bomo rekurzivno zaporedje slučajnih časov T 0 = 0 in T n+1 = T n + E n λ Yn. To pomeni, da je čas zadrževanja, prirejen n-tem koraku diskretne e, porazdeljen eksponentno s parametrom λ Yn. Slučajna spremenljivka T n pa potem pomeni vsoto prvih n izmed teh časov.

49 Osnovne i e z Slučajni proces z tvorimo zdaj po predpisu X (t) = Y n za T n t < T n+1. Poglejmo si nekaj i tako dobljenega slučajnega procesa. Najprej ugotovimo sledeče. 1 Časi zadrževanja zveznega procesa v posameznih korakih {T m T m 1 } m N so porazdeljeni eksponentno s parametrom λ Ym 1 in pogojno neodvisni pri pogoju {Y n } n. 2 Proces ima markovsko.

50 Osnovne i e z Slučajni proces z tvorimo zdaj po predpisu X (t) = Y n za T n t < T n+1. Poglejmo si nekaj i tako dobljenega slučajnega procesa. Najprej ugotovimo sledeče. 1 Časi zadrževanja zveznega procesa v posameznih korakih {T m T m 1 } m N so porazdeljeni eksponentno s parametrom λ Ym 1 in pogojno neodvisni pri pogoju {Y n } n. 2 Proces ima markovsko. sledi po kratkem računu, ki pokaže P(Y n+1 = j, T n+1 T n > u Y 0 = i 0,..., Y n = i n, T 0,..., T n ) = P(Y n+1 = j, T n+1 T n > u Y n = i n ).

51 Osnovne i e z Slučajni proces z tvorimo zdaj po predpisu X (t) = Y n za T n t < T n+1. Poglejmo si nekaj i tako dobljenega slučajnega procesa. Najprej ugotovimo sledeče. 1 Časi zadrževanja zveznega procesa v posameznih korakih {T m T m 1 } m N so porazdeljeni eksponentno s parametrom λ Ym 1 in pogojno neodvisni pri pogoju {Y n } n. 2 Proces ima markovsko. sledi po kratkem računu, ki pokaže P(Y n+1 = j, T n+1 T n > u Y 0 = i 0,..., Y n = i n, T 0,..., T n ) = P(Y n+1 = j, T n+1 T n > u Y n = i n ).

52 Dva zgleda e z Prvi zgled. Najprej rojstno smrtni proces še po obratni varianti. Vlogo vpete markovske e igra slučajni sprehod na množici stanj S = N {0} ter prehodnimi verjetnostmi q n,n+1 = p n, q n,n 1 = 1 p n pri n 1 ter q 01 = 1 (t.j. sprehod z eno odbijajočo steno). Intenzivnosti zadrževanja označimo z {α n } n S. Od tod dobimo intenzivnosti rojstev λ n = p n α n in intenzivnosti smrti µ n = (1 p n )α n za n 1 in µ 0 = 0. Drugi zgled. V naslednji i z naj bodo časi zadrževanja vsi enaki λ. Tedaj so T n časi Poissonovega toka s parametrom λ. Označimo ta proces z N(t). Tedaj je X (t) = Y N(t). Tu lahko eksplicitno izračunamo polgrupo matrik:

53 Dva zgleda e z Prvi zgled. Najprej rojstno smrtni proces še po obratni varianti. Vlogo vpete markovske e igra slučajni sprehod na množici stanj S = N {0} ter prehodnimi verjetnostmi q n,n+1 = p n, q n,n 1 = 1 p n pri n 1 ter q 01 = 1 (t.j. sprehod z eno odbijajočo steno). Intenzivnosti zadrževanja označimo z {α n } n S. Od tod dobimo intenzivnosti rojstev λ n = p n α n in intenzivnosti smrti µ n = (1 p n )α n za n 1 in µ 0 = 0. Drugi zgled. V naslednji i z naj bodo časi zadrževanja vsi enaki λ. Tedaj so T n časi Poissonovega toka s parametrom λ. Označimo ta proces z N(t). Tedaj je X (t) = Y N(t). Tu lahko eksplicitno izračunamo polgrupo matrik: P ij (t) = P(X (t) = j X (0) = i) = P(Y n = j Y 0 = i)p(n(t) = n) = n=0 (λt) n e λt n! q (n) ij.

54 Dva zgleda e z Prvi zgled. Najprej rojstno smrtni proces še po obratni varianti. Vlogo vpete markovske e igra slučajni sprehod na množici stanj S = N {0} ter prehodnimi verjetnostmi q n,n+1 = p n, q n,n 1 = 1 p n pri n 1 ter q 01 = 1 (t.j. sprehod z eno odbijajočo steno). Intenzivnosti zadrževanja označimo z {α n } n S. Od tod dobimo intenzivnosti rojstev λ n = p n α n in intenzivnosti smrti µ n = (1 p n )α n za n 1 in µ 0 = 0. Drugi zgled. V naslednji i z naj bodo časi zadrževanja vsi enaki λ. Tedaj so T n časi Poissonovega toka s parametrom λ. Označimo ta proces z N(t). Tedaj je X (t) = Y N(t). Tu lahko eksplicitno izračunamo polgrupo matrik: P ij (t) = P(X (t) = j X (0) = i) = P(Y n = j Y 0 = i)p(n(t) = n) = n=0 (λt) n e λt n! q (n) ij.

55 Stabilnost e z Za intenzivnosti zadrževanja {λ i } i S smo privzeli, da vse ležijo na intervalu (0, + ). Poglejmo, kaj bi bil naravni pomen obeh robnih vrednosti. Ker pomeni λ 1 i povprečni čas zadrževanja, lahko robna vrednost λ i = 0 naravno modelira absorbirajoče stanje i S. Opazimo, da zaradi privzetka, da so diagonalni elementi prehodne matrike Q vsi enaki 0, torej je q ii = 0 za vse i S, absorbirajočega stanja ne moremo modelirati z diskretnim delom e. Primer λ i = + pa modelira stanje i S, ki ga a obišče in v istem trenutku zapusti. Tako stanje imenujemo trenutno stanje. Kadar pa za intenzivnost zadrževanja velja osnovni privzetek 0 < λ i < +, potem pravimo, da je stanje i S stabilno.

56 Stabilnost e z Za intenzivnosti zadrževanja {λ i } i S smo privzeli, da vse ležijo na intervalu (0, + ). Poglejmo, kaj bi bil naravni pomen obeh robnih vrednosti. Ker pomeni λ 1 i povprečni čas zadrževanja, lahko robna vrednost λ i = 0 naravno modelira absorbirajoče stanje i S. Opazimo, da zaradi privzetka, da so diagonalni elementi prehodne matrike Q vsi enaki 0, torej je q ii = 0 za vse i S, absorbirajočega stanja ne moremo modelirati z diskretnim delom e. Primer λ i = + pa modelira stanje i S, ki ga a obišče in v istem trenutku zapusti. Tako stanje imenujemo trenutno stanje. Kadar pa za intenzivnost zadrževanja velja osnovni privzetek 0 < λ i < +, potem pravimo, da je stanje i S stabilno. Oglejmo si še, kaj se zgodi s procesom v času T = lim n T n. Če je T =, nam za to ni treba skrbeti. Prehodi so se lepo razvrstili skozi čas. Prejšnja definicija opredeli samo te primere.

57 Stabilnost e z Za intenzivnosti zadrževanja {λ i } i S smo privzeli, da vse ležijo na intervalu (0, + ). Poglejmo, kaj bi bil naravni pomen obeh robnih vrednosti. Ker pomeni λ 1 i povprečni čas zadrževanja, lahko robna vrednost λ i = 0 naravno modelira absorbirajoče stanje i S. Opazimo, da zaradi privzetka, da so diagonalni elementi prehodne matrike Q vsi enaki 0, torej je q ii = 0 za vse i S, absorbirajočega stanja ne moremo modelirati z diskretnim delom e. Primer λ i = + pa modelira stanje i S, ki ga a obišče in v istem trenutku zapusti. Tako stanje imenujemo trenutno stanje. Kadar pa za intenzivnost zadrževanja velja osnovni privzetek 0 < λ i < +, potem pravimo, da je stanje i S stabilno. Oglejmo si še, kaj se zgodi s procesom v času T = lim n T n. Če je T =, nam za to ni treba skrbeti. Prehodi so se lepo razvrstili skozi čas. Prejšnja definicija opredeli samo te primere.

58 Eksplozija e z Kadar pa je T <, se je v končnem času zgodilo neskončno prehodov. V tem primeru pravimo, da ima a eksplozijo. Točneje, pravimo, da je proces regularen, če velja P(T = X (0) = i) = 1 za vse i S. Izrek (Regularnost) Za poljubno stanje i S velja, da je ( P(T < X (0) = i) = P n 1 λ Yn ) < X (0) = i. a je zato regularna natanko tedaj, ko je ( ) 1 P = X (0) = i = 1 za vse i S. n λ Yn

59 Eksplozija e z Kadar pa je T <, se je v končnem času zgodilo neskončno prehodov. V tem primeru pravimo, da ima a eksplozijo. Točneje, pravimo, da je proces regularen, če velja P(T = X (0) = i) = 1 za vse i S. Izrek (Regularnost) Za poljubno stanje i S velja, da je ( P(T < X (0) = i) = P n 1 λ Yn ) < X (0) = i. a je zato regularna natanko tedaj, ko je ( ) 1 P = X (0) = i = 1 za vse i S. n λ Yn

60 Eksplozija nadaljevanje e z Pojem smo srečali že pri rojstnih procesih. Tam smo tudi dokaj natančno preverili ekvivalentnost s sorodnim pogojem, kot je pogoj iz tega izreka. Dokaz zato tokrat opustimo. Raje si poglejmo nekaj preprostih posledic. 1 Če so intenzivnosti zadrževanja omejene z neko konstanto, potem je a regularna. 2 Če so intenzivnosti zadrževanja linearne, t.j. λ i = λi, potem je a regularna. 3 Če je množica stanj končna, potem je a regularna.

61 Eksplozija nadaljevanje e z Pojem smo srečali že pri rojstnih procesih. Tam smo tudi dokaj natančno preverili ekvivalentnost s sorodnim pogojem, kot je pogoj iz tega izreka. Dokaz zato tokrat opustimo. Raje si poglejmo nekaj preprostih posledic. 1 Če so intenzivnosti zadrževanja omejene z neko konstanto, potem je a regularna. 2 Če so intenzivnosti zadrževanja linearne, t.j. λ i = λi, potem je a regularna. 3 Če je množica stanj končna, potem je a regularna. 4 Označimo s T S množico minljivih stanj e Y. Če a X nima trenutnih stanj (kar smo že privzeli) in če je P (Y n T, n X (0) = i) = 0 za vse i S, potem je a regularna. Odslej privzemimo, da je a regularna in so vsa stanja stabilna.

62 Eksplozija nadaljevanje e z Pojem smo srečali že pri rojstnih procesih. Tam smo tudi dokaj natančno preverili ekvivalentnost s sorodnim pogojem, kot je pogoj iz tega izreka. Dokaz zato tokrat opustimo. Raje si poglejmo nekaj preprostih posledic. 1 Če so intenzivnosti zadrževanja omejene z neko konstanto, potem je a regularna. 2 Če so intenzivnosti zadrževanja linearne, t.j. λ i = λi, potem je a regularna. 3 Če je množica stanj končna, potem je a regularna. 4 Označimo s T S množico minljivih stanj e Y. Če a X nima trenutnih stanj (kar smo že privzeli) in če je P (Y n T, n X (0) = i) = 0 za vse i S, potem je a regularna. Odslej privzemimo, da je a regularna in so vsa stanja stabilna.

63 Prehodne verjetnosti e z Najprej bi radi tudi v obratnem pristopu prišli do prehodnih verjetnosti P ij (t) = P(X (t) = j X (0) = i). Izrek Za poljubni stanji i, j S ter poljuben čas t > 0 velja, da je t P ij (t) = δ ij e λ i t + λ i e λ i s q ik P kj (t s) ds. (2) 0 k i

64 Prehodne verjetnosti e z Najprej bi radi tudi v obratnem pristopu prišli do prehodnih verjetnosti P ij (t) = P(X (t) = j X (0) = i). Izrek Za poljubni stanji i, j S ter poljuben čas t > 0 velja, da je t P ij (t) = δ ij e λ i t + λ i e λ i s q ik P kj (t s) ds. (2) 0 k i Verjetnost P ij (t) razcepimo glede na vrednost prvega skoka T 1 ; dobimo P ij (t) = P(X (t) = j, T 1 > t X (0) = i)+p(x (t) = j, T 1 t X (0) = i). (3)

65 Prehodne verjetnosti e z Najprej bi radi tudi v obratnem pristopu prišli do prehodnih verjetnosti P ij (t) = P(X (t) = j X (0) = i). Izrek Za poljubni stanji i, j S ter poljuben čas t > 0 velja, da je t P ij (t) = δ ij e λ i t + λ i e λ i s q ik P kj (t s) ds. (2) 0 k i Verjetnost P ij (t) razcepimo glede na vrednost prvega skoka T 1 ; dobimo P ij (t) = P(X (t) = j, T 1 > t X (0) = i)+p(x (t) = j, T 1 t X (0) = i). (3)

66 Prehodne verjetnosti nadaljevanje e z Prva od obeh verjetnosti nas pripelje do prvega sumanda v (2). Za drugo potrebujemo podrobnejšo analizo, katere osnovne ideje predstavimo tu. Proces zapišimo formalno v obliki X (t) = Y n χ [Tn,Tn+1 )(t), kjer za n 1 : T n = n=0 n 1 j=0 E j λ Yj. Če se je prvi skok zgodil v intervalu (s, s + ds), se je zgodil z verjetnostjo λ i e λ i s ds. V trenutku skoka si je a izbrala stanje, v katerega bo preskočila, denimo k i z verjetnostjo q ik. Po tistem nam markovska dovoli, da pozabimo na zgodovino in preidemo z verjetnostjo P kj (t s) v stanje j. Dobljene verjetnosti moramo sešteti po vseh možnih k in vseh s. Po tej poti pridemo iz drugega izraza v (3) do drugega izraza v (2). Ta preprosti premislek lahko preverimo z enostavnim, a mukotrpnim računom.

67 Prehodne verjetnosti nadaljevanje e z Prva od obeh verjetnosti nas pripelje do prvega sumanda v (2). Za drugo potrebujemo podrobnejšo analizo, katere osnovne ideje predstavimo tu. Proces zapišimo formalno v obliki X (t) = Y n χ [Tn,Tn+1 )(t), kjer za n 1 : T n = n=0 n 1 j=0 E j λ Yj. Če se je prvi skok zgodil v intervalu (s, s + ds), se je zgodil z verjetnostjo λ i e λ i s ds. V trenutku skoka si je a izbrala stanje, v katerega bo preskočila, denimo k i z verjetnostjo q ik. Po tistem nam markovska dovoli, da pozabimo na zgodovino in preidemo z verjetnostjo P kj (t s) v stanje j. Dobljene verjetnosti moramo sešteti po vseh možnih k in vseh s. Po tej poti pridemo iz drugega izraza v (3) do drugega izraza v (2). Ta preprosti premislek lahko preverimo z enostavnim, a mukotrpnim računom.

68 Standardnost e z Kot preprosto posledico tega izreka dokažemo, da je polgrupa, dobljena po obratni poti, standardna. Obstaja torej njena desna limita v točki t = 0 in je enaka identični matriki. Izrek Prehodna matrika P(t) s koeficienti P ij (t) je standardna. Poučen je alternativni dokaz tega dejstva. Denimo, da je v trenutku t = 0 a v stanju i. Potem je v času 0 t < T 1 še zmerom v tem stanju. Ker je T 1 E 0 /λ i, je lim X (t) = i t 0

69 Standardnost e z Kot preprosto posledico tega izreka dokažemo, da je polgrupa, dobljena po obratni poti, standardna. Obstaja torej njena desna limita v točki t = 0 in je enaka identični matriki. Izrek Prehodna matrika P(t) s koeficienti P ij (t) je standardna. Poučen je alternativni dokaz tega dejstva. Denimo, da je v trenutku t = 0 a v stanju i. Potem je v času 0 t < T 1 še zmerom v tem stanju. Ker je T 1 E 0 /λ i, je lim X (t) = i t 0 skoraj gotovo pri pogoju {X (0) = i}. Skoraj gotova konvergenca pa ima za posledico konvergenco v porazdelitvi (po zakonu, šibko konvergenco), zato velja lim P(X (t) = j X (0) = i) = δ ij. t 0

70 Standardnost e z Kot preprosto posledico tega izreka dokažemo, da je polgrupa, dobljena po obratni poti, standardna. Obstaja torej njena desna limita v točki t = 0 in je enaka identični matriki. Izrek Prehodna matrika P(t) s koeficienti P ij (t) je standardna. Poučen je alternativni dokaz tega dejstva. Denimo, da je v trenutku t = 0 a v stanju i. Potem je v času 0 t < T 1 še zmerom v tem stanju. Ker je T 1 E 0 /λ i, je lim X (t) = i t 0 skoraj gotovo pri pogoju {X (0) = i}. Skoraj gotova konvergenca pa ima za posledico konvergenco v porazdelitvi (po zakonu, šibko konvergenco), zato velja lim P(X (t) = j X (0) = i) = δ ij. t 0

71 Odvedljivost 1 e z Druga posledica prejšnjega izreka pa je dejstvo, da je prehodna matrika tudi z desne odvedljiva v točki t = 0 (po komponentah). Dobljena matrika je seveda nam že dobro znani. Izrek (Oblika ja) Obstaja desni odvod matrične funkcije P(t) po komponentah v vseh časovnih točkah t. V točki t = 0 je ta odvod enak { d dt P λi, če i = j; ij(t) = a ij = λ i q ij, če i j. V matričnem zapisu dobi enačba iz tega izreka obliko P (0) = A. Tu označuje matrika A s komponentami a ij.

72 Odvedljivost 1 e z Druga posledica prejšnjega izreka pa je dejstvo, da je prehodna matrika tudi z desne odvedljiva v točki t = 0 (po komponentah). Dobljena matrika je seveda nam že dobro znani. Izrek (Oblika ja) Obstaja desni odvod matrične funkcije P(t) po komponentah v vseh časovnih točkah t. V točki t = 0 je ta odvod enak { d dt P λi, če i = j; ij(t) = a ij = λ i q ij, če i j. V matričnem zapisu dobi enačba iz tega izreka obliko P (0) = A. Tu označuje matrika A s komponentami a ij.

73 Odvedljivost 2 e z Slednja enačba ima na diagonali naslednji pomen: 1 P ii (t) = λ i t + o(t). To se pravi, da je λ i t približno enaka verjetnosti, da bo a zapustila stanje i pred t, oziroma je λ i pretok verjetnosti, da bo a zapustila stanje i pred t. Oglejmo si še pomen iste izven diagonale: P ij (t) = λ i q ij t + o(t). To se pravi, da je λ i q ij t približno enaka verjetnosti, da bo a zapustila stanje i in prešla v stanje j. Torej je λ i q ij pretok verjetnosti, da bo a prešla iz stanja i v stanje j pred t.

74 Odvedljivost 2 e z Slednja enačba ima na diagonali naslednji pomen: 1 P ii (t) = λ i t + o(t). To se pravi, da je λ i t približno enaka verjetnosti, da bo a zapustila stanje i pred t, oziroma je λ i pretok verjetnosti, da bo a zapustila stanje i pred t. Oglejmo si še pomen iste izven diagonale: P ij (t) = λ i q ij t + o(t). To se pravi, da je λ i q ij t približno enaka verjetnosti, da bo a zapustila stanje i in prešla v stanje j. Torej je λ i q ij pretok verjetnosti, da bo a prešla iz stanja i v stanje j pred t. Da bi dokazali izrek, vstavimo v rekurzivno integralsko enačbo za P ij (t) substitucijo u = t s:

75 Odvedljivost 2 e z Slednja enačba ima na diagonali naslednji pomen: 1 P ii (t) = λ i t + o(t). To se pravi, da je λ i t približno enaka verjetnosti, da bo a zapustila stanje i pred t, oziroma je λ i pretok verjetnosti, da bo a zapustila stanje i pred t. Oglejmo si še pomen iste izven diagonale: P ij (t) = λ i q ij t + o(t). To se pravi, da je λ i q ij t približno enaka verjetnosti, da bo a zapustila stanje i in prešla v stanje j. Torej je λ i q ij pretok verjetnosti, da bo a prešla iz stanja i v stanje j pred t. Da bi dokazali izrek, vstavimo v rekurzivno integralsko enačbo za P ij (t) substitucijo u = t s:

76 Odvedljivost 3 e z P ij (t) = e λ i t δ ij + t 0 λ i e λ i u k i q ik P kj (u) du. (4) Funkcija pod integralskim znakom na desni strani (4) je očitno omejena. Ker je integral omejene funkcije kot funkcija zgornje meje zvezna, je na levi strani te zvezna funkcija. To pa velja za vse pare indeksov i in j. S tem dejstvom v roki se ponovno ozrimo na enačbo (4). Tokrat opazimo, da je na desni strani integral zvezne funkcije. Ta pa je vselej odvedljiva funkcija in njen odvod je enak integrandu v točki zgornje meje. Tako dobimo

77 Odvedljivost 3 e z P ij (t) = e λ i t δ ij + t 0 λ i e λ i u k i q ik P kj (u) du. (4) Funkcija pod integralskim znakom na desni strani (4) je očitno omejena. Ker je integral omejene funkcije kot funkcija zgornje meje zvezna, je na levi strani te zvezna funkcija. To pa velja za vse pare indeksov i in j. S tem dejstvom v roki se ponovno ozrimo na enačbo (4). Tokrat opazimo, da je na desni strani integral zvezne funkcije. Ta pa je vselej odvedljiva funkcija in njen odvod je enak integrandu v točki zgornje meje. Tako dobimo P ij(t) = λ i P ij (t) + λ i q ik P kj (t). (5) k i

78 Odvedljivost 3 e z P ij (t) = e λ i t δ ij + t 0 λ i e λ i u k i q ik P kj (u) du. (4) Funkcija pod integralskim znakom na desni strani (4) je očitno omejena. Ker je integral omejene funkcije kot funkcija zgornje meje zvezna, je na levi strani te zvezna funkcija. To pa velja za vse pare indeksov i in j. S tem dejstvom v roki se ponovno ozrimo na enačbo (4). Tokrat opazimo, da je na desni strani integral zvezne funkcije. Ta pa je vselej odvedljiva funkcija in njen odvod je enak integrandu v točki zgornje meje. Tako dobimo P ij(t) = λ i P ij (t) + λ i q ik P kj (t). (5) k i

79 Nazajšnje e z Z enačbo (5) smo končali dokaz zadnjega izreka. Upoštevamo še definicijo ja, da dobimo P ij(t) = k S [ λ i δ ik (t) + λ i q ik ] P kj (t) = k S a ik P kj (t). (6) To pa je ravno nazajšnji sistem enačb. Tako smo dokazali naslednji izrek. Izrek (Nazajšnje ) Za matrično polgrupo, prirejeno markovski i z po obratni poti, velja, da je zvezna in zvezno odvedljiva. Zanjo in njen, podan z izrekom Oblika ja, veljajo (6).

80 Nazajšnje e z Z enačbo (5) smo končali dokaz zadnjega izreka. Upoštevamo še definicijo ja, da dobimo P ij(t) = k S [ λ i δ ik (t) + λ i q ik ] P kj (t) = k S a ik P kj (t). (6) To pa je ravno nazajšnji sistem enačb. Tako smo dokazali naslednji izrek. Izrek (Nazajšnje ) Za matrično polgrupo, prirejeno markovski i z po obratni poti, velja, da je zvezna in zvezno odvedljiva. Zanjo in njen, podan z izrekom Oblika ja, veljajo (6). Do naprejšnjih enačb moramo prehoditi spet celo pot preko ustrezne rekurzivne integralske, ki jo dobimo s pogojevanjem na koncu intervala...

81 Nazajšnje e z Z enačbo (5) smo končali dokaz zadnjega izreka. Upoštevamo še definicijo ja, da dobimo P ij(t) = k S [ λ i δ ik (t) + λ i q ik ] P kj (t) = k S a ik P kj (t). (6) To pa je ravno nazajšnji sistem enačb. Tako smo dokazali naslednji izrek. Izrek (Nazajšnje ) Za matrično polgrupo, prirejeno markovski i z po obratni poti, velja, da je zvezna in zvezno odvedljiva. Zanjo in njen, podan z izrekom Oblika ja, veljajo (6). Do naprejšnjih enačb moramo prehoditi spet celo pot preko ustrezne rekurzivne integralske, ki jo dobimo s pogojevanjem na koncu intervala...