Xt () Procese stocastce (2) Fe u proces stocastc de parametru cotuu s avad spatul starlor dscret. Cu spatul starlor S = {,,, N} sau S = {,, } Defta : Procesul X() t este u proces Markov daca: PXt { ( ) = x Xt ( ) = x,, Xt ( ) = x} = + + PXt { ( ) = x Xt ( ) = x} + + petru tot t t +, < < s x,, x + Propretatea d relata de ma sus este umta propretatea Markov Fd data starea cureta, starea vtoare a procesulu u depde de trecut (adca de modul care acesta a evoluat paa starea cureta) I ceea ce prveste evoluta procesulu, starea cureta cote toate formatle Xt () Exemple Procesul cu crester depedete este totdeaua u proces Markov Xt ( ) = Xt ( ) + ( Xt ( ) Xt ( )) Cosecta: procesul Posso A() t este u proces Markov: Potrvt defte 3, cresterle tr-u proces Posso sut depedete
Omogetatea tmp Xt () Defte: Procesul Markov este omoge raport cu tmpul daca: P{ Xt ( + Δ ) = yxt ( ) = x} = PX { ( Δ ) = yx() = x} petru tot t, Δ s x, y S P{ X( t+δ ) = y X( t) = x} Altfel spus, probabltatle sut depedete de t Xt () Ratele traztlor de stare Fe procesul Markov omoge raport cu tmpul Ratele traztlor de stare q j, ude, j S se defesc astfel: qj: = lm P { X ( h ) = j X () = } h! h PX { ()} =, S Dstrbuta tala s ratele de trazte a starlor q j determa probabltatle de stare Kolmogorov PXt { ()} = j, j S coform ecuatlor I acest curs e om refer uma la procese Markov omogee
Tmpul de metere a ue star are dstrbute expoetala Xt () Fe procesul Markov omoge raport cu tmpul stare Pe durata uu scurt terval de tmp (, tt+ h] probabltatea codtoata de a avea o trazte d stare stare j este qh j + oh ( ) (depedeta de celelalte tervale de tmp) Fe q rata totala de trazte d starea : q = q j j Pe durata uu scurt terval de tmp (, tt+ h] probabltatea codtoata de a avea o trazte d stare orce alta stare este qh + o( h) Este mod clar o propretate fara memore Dec tmpul de metere orcare stare este dstrbut expoetal cu testatea q. Probabltatle de trazte de stare Fe T tmpul de metere starea s T j tmpul (potetal) de metere starea care se terma cu o posbla trazte starea j. T = Exp( q ), T = Exp( q ) j j T j poate f vazut ca mmul tervalelor depedete s expoetal dstrbute: T = mt j j Fe p j probabltatea codtoata de a avea o trazte d starea starea j cad e aflam starea (probabltatea de trazte de stare) p = P{ T = T } = j j q q j
Dagramele traztlor de stare U proces Markov poate f reprezetat prtr-o dagrama a traztlor de stare care este u graf oretat care: Nodurle corespud starlor Arcele oretate corespud posblelor trazt de star trazta d starea starea j q j > Exemplu: Fe procesul Markov cu tre star: S = {,,2} Ireductbltatea Defte: exsta o cale de la starea la starea j daca pe dagrama starlor avem u arc oretat de la la j. I acest caz pord d starea se va ajuge starea j cu o probabltate poztva j j j Defte: spuem ca starle s j comuca daca s. S Defte: Procesul Markov este reductbl daca toate starle comuca ua cu cealalta
Ecuatle balasulu global s dstrbutle la echlbru Xt () Fe u proces Markov reductbl cu ratele traztlor de stare q j π= ( π π, S) Defte: Fe o dstrbute defta pe spatul S, π= ( N) S Relata de ma sus reprezta dstrbuta de echlbru a procesulu daca sut satsfacute ecuatle de balas global (GBE) petru fecare ; j π q = π q ( GBE ) j j j j S Este posbl ca sa u exste o dstrbute a echlbrulu, dar daca spatul starlor este ft o uca dstrbute trebue sa exste I cazul procesulu Markov Xt (), alegad dstrbuta echlbrulu (daca ea exsta) ca s dstrbute tala, acesta deve statoar( cu dstrbuta statoara) π Exemple π +π +π 2 = ( N) π =π2 π =π +π2 ( GBE) π ( + ) =π 2 + π =, π =, π 2 = 3+ 3+ 3+
Ecuatle balasulu local Xt () Fe u proces Markov reductbl cu ratele traztlor de stare q j π= ( π π, S) Propozte: Fe o dstrbute defta pe spatul S, π = ( N) S Daca urmatoarele ecuat ale balasulu local sut satsfacute (LBE), petru fecare, j S : π π q =π q ( LBE) j j j atuc este dstrbuta de echlbru a procesulu. Demostrate: (GBE) rezulta d (LBE) sumad petru tot j I acest caz procesul Markov Xt () este umt reversbl (aratad d puct de vedere statstc la fel ambele sesur ale parametrulu t) Procesul de astere s moarte Fe u proces Markov Xt () cu parametru cotuu s spatul starlor dscret: S = {,,, N} sau S = {,, }. Defte: Procesul Xt () este u proces de astere s moarte (BD) daca traztle de stare sut posble uma tre star vece j > q j = Se oteaza acest caz: : = q, λ : = q, + I partcular defm = s λ N = daca N <
Defte U proces de astere s moarte autorzeaza petru u sstem care la mometul t se afla starea X(t) de marmea trazta la mometul medat urmator t (t >t) uma catre starle adacete x=+ sau x=-. Evdet ca starea se poate pastra s la mometul t. Δ t = t t p ( t+δ t) = p ( t) p ( Δ t) + p ( Δ t) +, +, + p ()[ t p ( Δt) p ( Δt)], +, proces omoge p ( Δ t) = p Δ t+ o( Δt),,
Probabltatea absoluta de stare procesul de astere s moarte proces omoge trazt adacete N() t = ; probabltatle codtoate de trazte p ( Δ t) =λ Δt( Δt) λ Δ t+ o( Δt), + p ( Δ t) =Δt( λδt) Δ+ t o( Δt), p ( Δ t) = ( λ Δt)( Δt) ( λ + ) Δ t+ o( Δt), proces de astere pura p, + ( Δ t) =λ Δ t + o( Δ t) p ( Δ t) = λ Δ t+ o( Δt), relata de ormare : ( N) p, + ( Δ t) + p, ( Δ t) = Matrcea de trazt p p p T p p p p 2 M = {, } = 2 22 2M p p p M M2 MM p( j+ ) = p( j) T p( j) = p() T p ( Δ t) = λ Δ t+ o( Δt), ecuata vtorulu d p, = p ( t) = lm = dt Δ t p( t) = p( t) Q j p ( Δt) q, = lm = Δ t Δt p ( Δt) q, ( Δ t) = lm Δ t Δt p ( t+δt) p ( t) Δt
codtle echlbrulu statstc GBE p p + p p = p p + p p, +,, + +, codtle echlbrulu statstc LBE pp = pp p p = p p,, N N, N N N, N p p = p p p p = p p,,, +, + +, Ireductbltatea Propozte: U proces de astere s moarte este reductbl daca s uma daca S \{ N} > petru tot s petru tot S \{} λ > Dagrama traztlor de stare a uu proces BD cu star fte reductbl: Dagrama traztlor de stare ale uu proces BD cu star fte reductbl:
Dstrbutle de echlbru () Fe u proces de astere s moarte reductbl Xt () Ne propuem sa deducem probabltatea de stare: ( S ) daca aceasta exsta πλ =π Ecuatle balasulu local: (LBE) + + Dstrbutle de echlbru () Se obte formula recursva: Impuad codta de ormalzare se obte: λ π = π π =π + + j= λ j j λ j π =π = S S j= j
Dstrbutle de echlbru (2) Dstrbutle de echlbru exsta daca s uma daca: S j= λ j j < Spatul starlor ft:: suma de ma sus e totdeaua fta s dstrbuta de echlbru este: N λ j λ j π =π π = ( + ) Spatul starlor ft: j= j = j= λj λj, ( ) j= j = j= j π =π π = + j Exemple π λ=π + + π =ρπ ( ρ : =λ/ ) ( LBE) π =π ρ π +π +π 2 =π ( +ρ+ρ ) = ( N) 2 ρ π = +ρ+ρ 2
Procesul de astere pur Defte: U proces de astere s moarte este u proces de astere pur daca petru tot S = Dagrama traztlor de stare a uu proces de astere pur cu star fte este: Dagrama traztlor de stare ale uu proces de astere pur cu star fte este: Exemple: procesul Posso este u proces de astere pur (cu rata de astere costata λ petru tot ). =λ S = {,, } Procesul de astere pur u este codata reductbl (c statoar) Procesul de astere pur Apare o astere: Nu se tampla mc: prob{ N( t +Δ t) = + N( t) = } = p ( Δt),, + prob{ N( t +Δ t) = N( t) = } = p ( Δt) p, + ( Δ t) + p, ( Δ t) =
λ Procesul de astere pur Proces omoge: p, + ( Δ t) = λδ t+ o( Δt) p ( Δ t) = λ Δ t+ o( Δt), Plecad de la ec vtorulu: p () t = λ p () t p () t = λ p () t λ p () t p () t = λ p () t N N N Idepedeta rate de astere fata de starea sstemulu:, Presupuad: p () =, daca = daca λ = λ, ( λt) p () t =! Rezulta: DISTRIBUTIE POISSON e λt Matrcea T petru procesul de astere pura Star t - + N- Star t+δt λδt λδt λ Δt - + N- N λ Δt Δ λδt t λ Δt λ Δt + λn Δt λ t Δ N N
Matrcea Q petru procesul de astere pura Star Star - + N- N λ λ λ - λ λ λ λ + λ + N- λ N λ N N Procesul de moarte pura Dstrbuta duratelor de servcu tr-u sstem de prelucrare a cererlor de apel poate f obtuta pr cosderarea uu proces de moarte pura, a caru evolute descedeta tmp e reprezetata grafcul d fgura: prob{ N( t +Δ t) = + N( t) = } = p ( Δt), +
Procesul de moarte pura La mometul tal t = populata sstemulu este N() = s ea scade permaet tmp Ecuatle vtorulu: p () t = p () t p () t = p () t + p () t + + p () t = p () t Presupuad petru orce atural ecuatle de ma sus dev = Cu codtle tale: p () t = p () t p () t = ( p () t + p ()) t + p () t = p () t petru = p() t = petru Matrcea T petru procesul de moarte pura Star Star t+ - + - Δt Δt - + Δt Δt Δt + Δt + t - Δt Δt
Matrcea Q petru procesul de astere pura Star t Star t+ - + - - + + + - Soluta ecuate (c) este: Procesul de moarte pura Iar a ecuate (b) Daca sa starea sstemulu u se defeste pr populata c pr umarul de ettat decedate Cu () t p t = e ( t) t p() t = e petru = o, ( )! m () = mt () = Nt () Atuc se obte char o dstrbute Posso:Cu codtle tale: Nt () = m ( t) t p() t = e petru m = o, m!