8.3. Estimarea parametrilor

Transcript

1 8.3. Estmarea parametrlor Modelarea uu feome aleatoru real, precum trafcul ofert de o sursă formaţoală, ue reţele de comucaţ, îseamă detfcarea uu model probablstc, M, varablă aleatore sau proces aleatoru, de la caz la caz, care, d puct de vedere statstc, geerează rezultate smlare. Idetfcarea presupue atât alegerea tpulu (de exemplu: varablă aleatore gaussaă, cât ş fxarea setulu θ, de valor ale parametrlor caracterstc (meda ş varaţa, î exemplul cosderat. Stablrea valorlor petru parametr asocaţ modelulu avut î vedere, pe scurt: estmarea parametrlor, se face utlzâd o aumtă metodă de calcul, care, î cele ma multe cazur, se bazează pe potrvrea mometelor (momet matchg sau pe estmarea verosmltăţ maxme a datelor (maxmum lkelhood estmato. Î prmul caz, petru u model cu parametr, se rezolvă u sstem de ecuaţ, obţute pr egalarea formulelor de calcul al prmelor momete teoretce (pe asamblu, dervate d trasformata specfcă (fucţa caracterstcă, trasformata Laplace sau fucţa geeratoare de probabltăţ, cu mometele pe eşato, corespuzătoare. Î plus, exstă ş costrâgerle (legăturle propr modelulu (de exemplu, cazul dstrbuţe multomale, ude spaţul de eşatoare este partţoat îtr-u umăr de evemete, E,,E, cu probabltăţ legate pr relaţa p k = k = ceea ce face ca, î fal, metoda să fe, câteodată, mpractcablă. Aplcaţa 8.3. Realzaţ u program î MatLab care să geereze u eşato de date, coform ue dstrbuţ cu spaţul de eşatoare clus î mulţmea umerelor aturale. Programul va f parametrzat, utlzatorul avâd posbltatea să preczeze dmesuea eşatoulu, vectorul realzărlor posble ş vectorul probabltăţlor asocate (de exemplu:, [2 5 9] ş [..3.6], ar rezultatele se vor salva î format ASCII, îtr-u fşer cu extesa txt. Idcaţe: vez aplcaţa , ar petru screrea îtr-u fşer, se apelează, de exemplu, la fucţa fprtf. Aplcaţa Folosd programul obţut î urma îdeplr teme ateroare, geeraţ u eşato de de rezultate, cu valor î mulţmea {,4,7,9 } ş cu frecveţele relatve de aparţe:{ /,2/,4 /,3 /}, după care stablţ valorle parametrlor ce caracterzează modelul teoretc, corespuzător, aplcâd metoda potrvr mometelor. Idcaţ: Se mplemetează, î MatLab u program care prea rezultatele dtr-u fşer text (vez, de exemplu, fucţa load ş calculează valorle prmelor tre momete pe eşato, corespuzătoare, cu ajutorul relaţe:

2 2 ESTIMAREA PARAMETRILOR m k k y = = (8.3. ude: = dmesuea eşatoulu, k = ordul mometulu, y = rezultatul d eşatoul de date y = ( y,..., y. Pr egalarea acestor valor cu expresle aaltce ale prmelor 3 momete pe asamblu, se obţ 3 ecuaţ. La acestea se adaugă relaţa de ormare, ceea ce coduce la u sstem de 4 ecuaţ care, î fal, se rezolvă umerc Verosmltatea maxmă a datelor A doua categore de metode de estmare a parametrlor stableşte setul θ, de valor corespuzătoare, căutâd să maxmzeze probabltatea ca respectvul asamblu de valor să fe cel care coduce la rezultatele îregstrate î eşatoul de date, y, sau, ceea ce este echvalet, coform celor ce urmează a f prezetate î cotuare, [Bald], să estmeze verosmltatea (fucţa de verosmltate maxmă a datelor. Plecâd de la defţa probabltăţlor codţoate ş de la faptul că parametr modelulu, pr faptul că sut ecuoscute, costtue u vector de varable aleator, otat, î cele ce urmează, cu Θ, se poate scre egaltate: P θ y P y = P y Θ= θ P θ (8.3.2 Θ ( ( ( Θ( Semfcaţa termelor d egaltatea (8.3.2 este următoarea: P Θ ( θ = probabltatea a pror ca parametr modelulu M, adcă varabla aleatore vectorală Θ, să a valorle preczate î asamblul θ (fără a ţe cot de vreu rezultat expermetal, Θ ( P θ y = probabltatea a posteror ca parametr modelulu M să a valorle preczate î asamblul θ, î codţle î care, expermetal, s-a obţut eşatoul y ; este char probabltatea care, coform celor spuse ma sus, se doreşte a f maxmă, P y = probabltatea a pror de aparţe a rezultatelor d eşatoul ( y (adcă, dferet de valorle varable aleator vectorale Θ, P ( y Θ= θ = probabltatea a posteror de aparţe a rezultatelor d eşatoul y dacă parametr modelulu au valorle preczate î θ, adcă verosmltatea (fucţa de verosmltate a datelor (data lkelhood. Drept cosecţă, probabltatea a posteror, P Θ ( θ y este dată de relaţa: P Θ ( θ y P = ( y Θ= θ PΘ ( θ P ( y (8.3.3

3 ar estmarea, propru-zsă, a parametrlor este, cocret, o problemă de optmzare ce poartă deumrea de estmarea probabltăţ a posteror maxme MAP (Maxmum A Posteror estmato. Aplcaţa Presupuâd că sosrea celulelor îtr-uul d porturle de trare ale ue reţele de comutaţe poate f modelată pr termedul ue secveţe de varable aleator..d. după o dstrbuţe Beroull, stablţ care este şasa ca valoarea 4, atrbută parametrulu q, asocat repartţe alese, să fe cea care coduce la stetzarea (geerarea artfcală a următorulu eşato real, de rezultate (prelevate pr măsurător: y =,,,,,,,,,,,,,,,,,,, ( Idcaţ: Parametrul dstrbuţe Beroull poate lua valor î tervalul (,. Î cosecţă, acest parametru este o varablă aleatore cotuă, otată î cele ce urmează Q, care, dat fd faptul că u sut preczăr suplmetare, se cosderă a f uform dstrbută pe spaţul e de eşatoare. Faptul că varabla Q este cotuă mpue ca demersul ce urmează să stablească valoarea ue destăţ de probabltate î locul ue probabltăţ, relaţa (8.3.2 deved, î acest caz: fq( q y P( y = P( y Q = q fq( q î care, desgur, asamblul de valor θ s-a îlocut cu uca valoare q ş: fq ( q = destatea a pror de probabltate ca parametrul dstrbuţe Beroull să a valorare q, ar f q y = destatea a posteror de probabltate ca parametrul Q ( dstrbuţe Beroull să a valorare q, î codţle î care, expermetal, s-a obţut eşatoul y, Pr urmare, dat fd faptul că s-a cosderat u model caracterzat pr depedeţa realzărlor, îseamă că: ( y = = ( = P Q q P y Q q = care, pr logartmare, coduce la: logp( y Q = q = logp( Q = q + logp( Q = q ude: y y este rezultatul d eşatoul y, este dmesuea eşatoulu egală, î cazul de faţă, cu 2, este umărul rezultatelor d eşato egale cu, este umărul rezultatelor d eşato egale cu. Î prvţa probabltăţ P( y, aceasta este dată, î mod asemăător, de relaţa: log P( y = log P( + log P( 3

4 4 ESTIMAREA PARAMETRILOR ude probabltatea P ( ş, î acelaş mod, P (, se calculează pr medere pe tot asamblul de valor ale varable Q, adcă: P( = ( q f ( qdq = * * * Î geeral, valorle probabltăţlor sut mult subutare, motv petru care, pr logartmare s, apo, pr schmbare de sem, petru a lucra cu umere poztve, relaţa (8.3.3, ce costtue fucţa obectv a probleme de optmzare ma sus amttă, deve: AP( θ = logp θ y = logp y θ log P( θ + log P( y (8.3.4 Q ( ( Î relaţa (8.3.4 ş î cotuare se utlzează o otaţe smplfcată, care cosderă mplct varabla aleatore vectorală Θ, echvaleţa cu otaţa folostă ateror fd următoarea : P ot ot ( θ y = P Θ ( θ y, P( = P( = y θ y Θ θ ş ot = P Θ P( θ ( θ Ma mult de atât, logartmarea trasformă produsul î sumă de terme ce deseor, coţâd doar câte ua d varable, pot f optmzaţ separat. Schmbarea de sem face ca problema de maxmzare a estmăr a posteror să devă o problemă de mmzare a fucţe d relaţa ( Î cadrul aceste fucţ, cel de-al trelea terme u depde de θ (vez Aplcaţa Pr urmare, acest terme este costat ş u terve î stablrea soluţe, adcă a setulu de valor, θ *, corespuzător mmulu, ceea ce face ca fucţa obectv să devă: AP( θ = logp( y θ log P( θ (8.3.5 Ma mult, î cazul frecvet îtâlt, cosderat ş î Aplcaţa 8.3.3, î care dstrbuţa a pror a asamblurlor de valor, θ, este uformă pe spaţul de eşatoare a parametrlor, adcă P ( θ = ct., atuc fucţa obectv deve: L( θ = logp ( y θ (8.3.6 fd vorba, î această stuaţe, de o problemă de estmare a verosmltăţ logartmate maxme a datelor, ML (Maxmum data log-lkelhood estmato. Aplcaţa Stablţ dstrbuţa care caracterzează lugmea pachetelor IP dacă, î urma prelucrăr datelor prmare (raw data, colectate cu ajutorul utltarulu TCPdump, dtr-u segmet Etheret, de legătură a ue reţele locale (LA la Iteret, s-au obţut rezultatele îscrse î tabelul Prma le d tabel preczează, î octeţ, cele ma reprezetatve lugm, corespuzătoare uu procet de 8% d totalul trafculu observat, ar a doua le este rezervată umărulu respectv de aparţ. Tabelul 8.3.: Lugm tpce de pachete IP ş frecveţe absolute de aparţe

5 lugme (octeţ umăr aparţ Rezolvare: Se alege, ca model probablstc, M, dstrbuţa multomală cu asamblul de parametr π = ( π, π2, π3 ce repreztă probabltăţle de aparţe a pachetelor de lugme, cu =, 3. Î cosecţă, dat fd faptul că modelul presupue că aparţle sut depedete, îseamă că: P ( y π 3 = π ude: y = eşatoul de date, care coţe lugmle fecăru pachet îregstrat, cosderat reprezetatv, ar = este umărul de aparţ observate (coţute î y ale pachetelor de lugme, cu =, 3. Î aceste codţ, problema ML, de estmare a verosmltăţ maxme a datelor, este: m L( π = logπ cu codţa π = π Rezolvarea aceste probleme se face plecâd de la următorul lagragea asocat: L = logπ µ π Pr dervăr parţale ş egalăr cu zero, adcă: L = µ= π π se ajuge, î fal, la rezultatul: π = =... = µ Valoarea multplcatorulu Lagrage, µ, s-a obţut aplcâd relaţa de ormare, valoarea reprezetâd umărul total de pachete luate î cosderare (dmesuea eşatoulu y Algortmul EM Complextatea ue probleme ML împedcă, î geeral, stablrea soluţe î maeră aaltcă. Drept urmare, î astfel de stuaţ, se recurge la mjloace emprce, precum algortmul pr medere ş maxmzare (EM Expectato Maxmzato. Algortmul EM [Demp], [Reder], ecestă fxarea uu puct de plecare care, de obce, costă îtr-u asamblu de valor θ, atrbute, î mod arbtrar, parametrlor cosderaţ de modelul ales. Urmează, apo, succesuea repetată a = 5

6 6 ESTIMAREA PARAMETRILOR do paş: pasul E: destat estmăr probabltăţlor a posteror, luâd î cosderare asamblul valorlor cosderate la îceputul teraţe; pasul M: dedcat rezolvăr probleme de optmzare î urma cărea se obţe u ou asamblu de valor. Asamblul ou, de valor, este folost, ca puct de plecare, de următoarea teraţe sau se cosderă soluţe dacă dfereţa dtre cele două verosmltăţ, de la îceputul ş de la sfârştul teraţe curete este sub u aumt prag (de exemplu: % Stud de caz Modul cocret de formulare ş aplcare a algortmulu EM urmează a f prezetat î cele ce urmează, pr termedul câtorva exemple cu largă aplcabltate practcă î actvtatea de modelare a surselor de trafc. Este vorba de: modele de amestec (mxture model laţur Markov ascuse (hdde Markov cha dstrbuţ cu faze (phase-type dstrbuto procese Markov de sosr (Markov arrval process procese Markov de sosr poderate (Batch Markov arrval porcess Model de amestec U exemplu de problemă complexă, care ecestă utlzarea algortmulu EM, este cea care rezultă atuc câd cosderăm că feomeul aalzat poate f descrs aaltc cu ajutorul uu model probablstc de amestec (mxture model. U astfel de model se obţe pr combarea lară a ma multor modele probablstce, de complextate feroară, avâd, î cosecţă, o dstrbuţe, F, dată de relaţa: k Fk (8.3.7 k= F = λ î care: F k, cu k =,, sut dstrbuţle modelelor cluse, λ k, cu k =,, sut coefceţ de amestec (adcă şasa modelulu M k, legaţ ître e pr relaţa λ k =. k Aplcaţa Reprezetaţ grafc o realzare posblă, pe parcursul a paş, geerată de u amestec probablstc de două dstrbuţ cu spaţle de eşatoare S = {,} ş S 2 = {,2}. * * * Odată asumat u model de amestec, M, posbltatea realzăr ue aumte valor, y, se poate scre, plecâd de la teorema probabltăţ totale:

7 ( = ( = ( k ( k = λk ( k (8.3.8 P y P y M P y M P M P y M k= k= ude M k, cu k =,, sut modelele costtutve, cosderate avâd toate spaţul de eşatoare dscret. Îseamă că, plecâd de la verosmltatea eşatoulu y, care coţe rezultate, adcă de la: P( y M = P( y M (8.3.9 = se ajuge, î fal, la următoarea problemă de optmzare: m log λk P( y Mk cu codţa λ k = (8.3. = k= k Rezolvarea probleme (8.3. se face, desgur, cosderâd lagrageaul corespuzător: L = logλk P( y Mk µ λk (8.3. = k= k care, pr dervare ş egalarea cu zero, geerează următoarele ecuaţ: L P( y Mk = µ= (8.3.2 λk = P( y Pr amplfcarea fecăre ecuaţ cu coefcetul de amestec, λ k, corespuzător, ş îsumarea tuturor ecuaţlor se obţe (de verfcat! petru multplcatorul Lagrage valoarea µ =. Ma mult, ştd că: P( y Mk P( Mk y = (8.3.3 P( y P( Mk se face substtuţa î ecuaţa (8.3.2 ş, arăş amplfcâd cu λ k, se obţ următoarele relaţ de estmare a coefceţlor de amestec: k P Mk P Mk y = ( ( λ = = cu k =, (8.3.4 Aceste relaţ evdeţază faptul că estmatorul fecăru coefcet de amestec repreztă meda pe eşato a probabltăţ ca modelul î cauză să fe cel care a codus la geerarea rezultatelor d eşatoul y. Pe lâgă coefceţ de amestec, ma trebue estmate ş valorle parametrlor corespuzător modelele costtutve, petru ca modelul de amestec să fe complet specfcat. Astfel, cosderâd că fecare model, M k, are u asamblu propru de parametr, cu valor preczate î vectorul θ k, îseamă că: 7

8 8 ESTIMAREA PARAMETRILOR L θ λ P y k = P y θ ( ( Mk kj, = kj,, cu k =, (8.3.5 ude θ kj, este valoarea atrbută parametrulu j, al modelulu M k. Folosd aceeaş substtuţe (vez relaţa î relaţa (8.3.5 ş egalâd cu zero, se obţe următorul set de ecuaţ cu ajutorul cărora se determă valorle parametrlor asocaţ fecăru model: P( Mk y P( y Mk =, cu k =, (8.3.6 = P( y Mk θkj, Ecuaţle (8.3.6 pot f aduse la forma: = ( Mk logp y P( Mk y =, cu k =, (8.3.7 θ kj, care evdeţază faptul că ecuaţle de estmare a parametrlor (8.3.7 repreztă o mede poderată a ecuaţlor de estmare care au î cosderare u sgur rezultat, adcă: logp( y Mk =, cu k =, (8.3.8 θkj, Î geeral, sstemul de ecuaţ (8.3.7 este dfcl sau mposbl de rezolvat, motv petru care, petru probleme de acest ge se poate recurge, aşa cum s-a ma meţoat, la algortmul EM. Astfel, Î cazul de faţă, al uu model cu amestec de dstrbuţ, paş d fecare teraţe a algortmulu EM se ocupă cu: pasul E: calculează probabltăţle ( k P M y luâd î cosderare valorle parametrlor, stablte arbtrar, dacă e vorba de prma teraţe, sau î urma calculelor efectuate î teraţa precedetă; pasul M: rezolvă problema de optmzare (8.3. stabld coefceţ de amestec (8.3.4 ş parametr modelelor costtutve ( Aplcaţa Estmaţ, folosd algortmul EM, testatea mede a trafculu pe o le de trare îtr-u comutator de celule dacă se are î vedere îregstrarea următoare: y = (,,,,,,,,,,,,,,,,,,, Valorle bare repreztă exsteţa (, respectv exsteţa (, ue celule î tervalul de tmp corespuzător, ar ca model se cosderă u amestec de două dstrbuţ Beroull de parametr q ş q 2. Rezolvare: Algortmul EM are, î acest caz, următoarea evoluţe: Iţalzăr: q =,3 ; q 2 =,5 ; λ =,4 ; λ 2 =,6

9 adcă: Iteraţa Pasul E: D relaţa (8.3.8: P( = P( M =λ P( M +λ2 P( M2 =λ ( q +λ ( q =,4,7 +,6,5 =,58 ( 2 2 P( = P M = =,42 D relaţa (8.3.3: P M =λ P M P( = =,483 ( ( ( 2,57 ; ( P M = = ; PM ( 2 = =,74 Pasul M: D relaţa (8.3.4: ( P( M λ = 2 3 P M + 7 =,44 D ecuaţle (8.3.7: log( q logq 3 P( M + 7 P( M = q q P M = =,286 ş λ 2 = =,586 6, , = ş, î mod asemăător: 6,72 + 5, =. q q q2 q2 Pr urmare, la sfârştul teraţe avem următoarele rezultate: q =,24 ; q 2 =, 43 ; λ =,44 ; λ 2 =,586 A rămas de verfcat dacă exstă dfereţe ma mar decât pragul ales, de decze (de exemplu: %, prvd cele două verosmltăţ, de la îceputul ş de la sfârştul teraţe curete, î caz afrmatv trecâdu-se la teraţa următoare. Aplcaţa Realzaţ u program care să geereze ş să salveze îtr-u fşer ASCII u eşato de date coform uu model de amestec a 4 dstrbuţ expoeţale cu med dferte, bomale, cu umăr detc de repetăr, dar cu şase dferte de succes. Programul se realzează parametrzat, utlzatorul putâd fxa parametr dstrbuţlor, coefceţ de amestec ş dmesuea eşatoulu. Aplcaţa Verfcaţ corecttudea programulu realzat ateror mplemetâd u program care să estmeze parametr modelulu de amestec cosderat î Aplcaţa precedetă. Idcaţ: Se va avea î vedere modul de rezolvare adoptat î cadrul teme cu observaţa că, î cazul modelelor costtutve cu spaţul realzărlor cotuu, probabltăţle de geul Py ( M ş Py ( se îlocueşte cu destăţle k 9

10 ESTIMAREA PARAMETRILOR de probabltate corespuzătoare: f( y M ş f( y Laţur Markov ascuse U alt exemplu de problemă complexă, ce poate f rezolvată utlzâd algortmul EM, îl costtue estmarea parametrlor asocaţ uu model cu laţ Markov ascus, HMM (Hdde Markov Model. U astfel de model presupue că, petru geerarea eşatoulu de rezultate y = ( y,..., y,..., y, ude repreztă mometul (pasul î care apare rezultatul y, se utlzează dstrbuţ dstcte { D, D2,..., D }, dtre care doar ua coduce la aparţa fecăru rezultat. Alegerea dstrbuţe se face pe baza dclor acestora, preczaţ de stărle î care se găseşte u laţ Markov cu, desgur, stăr, î mometele de aparţe a rezultatelor. Aplcaţa Alcătuţ u posbl eşato de rezultate geerate de modelul markova ascus, specfcat î fgura 8.3..,5, Coform celor preczate ma sus, îseamă că u model Markov ascus este reprezetat de următorul asamblu de varable: { Y,..., Y,..., Y; S,..., S,..., S } (8.3.9 î care: Y = Y,..., Y,..., Y este u vector de varable aleator cotue ş/sau { } dscrete, care geerează eşatoul "vzbl" de rezultate = { y,..., y,..., y } y, fecare dtre ele urmâd ua d cele dstrbuţ asocate stărlor; S este u vector de varable aleator dscrete, care au valor de la la ş care geerează succesuea "ascusă" de stăr s = s,..., s,..., s pr care trece laţul Markov ascus. Ma mult: = { S,..., S,..., S} { } k (, 2,..., ( P S S S S = P S S pr faptul că este vorba de u laţ Markov ş: PY ( S, Y, S, Y..., S+, Y+, SS Y,..., SY, = PY ( S (8.3.2 adcă toate varablele d vectorul Y sut mutual depedete, depzâd doar de stare laţulu Markov d mometul î cauză, (coform mecasmulu de Stare Dstrbuţe ormală (5, 2 Bomală (/2, 3 Geometrcă (5/ 4 Expoeţală (/5 Fgura 8.3.: Exemplu de model Markov ascus

11 geerare specfcat ateror. Î aceste codţ, u model cu laţ Markov ascus este complet deft de Θ = ABp,, (, ude: asamblul de parametr { } o A este matrcea stocastcă de trazţ ître stăr (î poteza că laţul este omoge î tmp: A = { a, }, cu a ( j j, P S j S = = = ş, j =, ( o p ( este vectorul probabltăţlor ţale de stare: p ( = { p k (}, cu pk ( = P( S = k ş k =, ( o B este setul de dstrbuţ asocate stărlor ( k =, : ( fy ( y S = k PY = y S = k î cazul dscret B = { b k ( }, cu bk( y = ( î cazul cotuu Î vederea estmăr parametrlor sus meţoaţ, se are î vedere faptul că, pe lâgă verosmltatea logartmată a datelor observate ş complete (complete data log-lkelhood, adcă logp ( y θ, exstă ş verosmltatea logartmată a datelor complete (complete data log-lkelhood, adcă log P ( ysθ,, ude θ este u asamblu de valor atrbute parametrlor. Dat fd faptul că datele S sut ascuse, dec ecuoscute, ele pot f cosderate varable aleator, ceea ce îseamă că ş verosmltatea logartmată a datelor complete este, la râdul e, o varablă aleatore. Î cosecţă, î acest caz, al formaţlor complete, algortmul EM stableşte, î prmul pas, expresa de calcul a mărm logp ( y θ, pr mederea varable log P ( ysθ,, î codţle cuoaşter datelor, y, ş a valorlor atrbute parametrlor, θ. Stablrea exprese determste, de calcul a mărm logp ( y θ, ce urmează a f maxmzată fucţe de θ, î al dolea pas al algortmulu, a î cosderare următoarea fucţe. [Blmes] : ( P( ( ( Q θθ, = E log,, ysθ y θ ( ( î care θ este estmatorul curet al parametrlor. Relaţa ( repreztă o mede codţoată care se determă luâd î cosderare dstrbuţa margal codţoată a datelor eobservate, f S ( (, syθ, caz î care relaţa respectvă deve: ( ( ( = ( S ( Q θθ, log P ysθ, f syθ, ds s S ( cu S spaţul realzărlor varable S. Dacă e cazul, fs (, ( syθ se poate îlocu

12 2 ( ( ( î relaţa ( cu fys, (, = fs(, fy( ESTIMAREA PARAMETRILOR ysθ syθ y θ, îtrucât ambele dstrbuţ u depd de mărmea θ, ce terve î următorul pas al algortmulu. ( Odată stabltă expresa determstă a fucţe Q( θθ,, algortmul trece la pasul al dolea. Î cadrul acestu pas se caută oul set de valor ale parametrlor, dat de relaţa: ( θ = arg max Q( θ, θ ( θ Modul de acţue al algortmulu EM asgură creşterea verosmltăţ de la o teraţe la alta, fără îsă a precza dacă puctul staţoar "ats" este maxm local, global sau puct şa. Î cosecţă, se recomadă ca algortmul EM să fe repetat de ma multe or, luâd î cosderare pucte de plecare dferte. Prezetarea de ma sus se lmtează, desgur, la vel de prcpu, mplemetarea propru-zsă a algortmulu fd puterc depedetă de stuaţle avute î vedere. Astfel, î cazul estmăr parametrlor uu model cu laţ Markov ascus, petru care varabla ascusă, S, este dscretă, se pleacă de la fucţa: ( θθ, = log ( ysθ, ( ysθ, Q P P s S ( ( î care, petru smplfcarea otaţe, θ îl îlocueşte pe θ, ar S este spaţul tuturor secveţelor de lugme. Luâd î cosderare u aumt set de rezultate observate, = y,..., y,..., y s = s,..., s,..., s, avem că: y { } ş o aumtă secveţă, { } s s s, s s = 2 ( = P ysθ, p ( b ( y a b ( y ( sau, cosderâd ş starea S, datea geerăr rezultatelor: ( =, P ysθ, p ( a b ( y (8.3.3 s s s s = Desgur, d acest momet, o secveţă posblă de stăr coţe + îregstrăr, adcă s = { s, s,..., s,..., s}, ar umărul varablelor asocate laţulu creşte cu uu, vectorul î cauză deved: S = { S, S,..., S,..., S}. Relaţa (8.3.3 permte screrea fucţe Q sub forma: Q( θθ, = ( log ps ( P( ysθ, + log a ( s,, s P ysθ (8.3.3 s S s S = log bs ( y s S = P( ysθ, + î care cele tre subasamblur de parametr, adcă vectorul probabltăţlor

13 ţale de stare, matrcea de trazţ ş dstrbuţle asocate stărlor, sut doar câte uul î terme sume, fd astfel permsă optmzarea lor separată. Prmul terme d (8.3.3 se poate scre sub forma: ( log ps ( P( ysθ, = ( log pk( P( y, s = k θ s S k = 3 ( deoarece s pate f,2,...,, ar P( y, s = k θ = P( ys, = ( s = k, s =,..., s = θ ( ca dstrbuţe margală, ce a î cosderare doar pasul. Pr urmare, ţâd cot că p ( =, îseamă că ecuaţle optmzăr sut: k= k ( k ( log p ( P y, s = k θ µ p ( = cu =, ( Dervâd, amplfcâd cu p ( ş sumâd după rezultă: (, k ( P y s = k θ p = cu k =, ( P ( y θ Al dolea terme d egaltatea (8.3.3 deve: log as ( ( (,, log,,, s P ysθ = a j P y s s j = = θ ( S j k p ( k= k= s = = = = îtrucât s, respectv P y, s =, s = j θ este probabltatea margală codţoată, ce a î cosderare 2 paş: ş. Î cosecţă, cosderâd termeul drept al egaltăţ (8.3.36, căutare soluţe se face asemăător cazulu precedet, de această dată cu legătur de tpul a j = j, s, pot f egal cu,2,...,, ar ( =, ceea ce coduce la următorul rezultat: a j, = = ( y, =, = θ P s s j = ( y, = θ P s ( Ultmul subasamblu de parametr se obţe asemăător, ţâd cot, de exemplu, î cazul câd varablele asocate stărlor sut dscrete, cu umăr ft de realzăr, L, cu k =,, de următorul asamblu de costrâger L k = k k b ( x =, î fal, rezultatul corespuzător fd:

14 4 ESTIMAREA PARAMETRILOR b ( x k ( y, θ P s = k δ y, x = = cu δ y, x = ( y, = θ P s k dacă y = î rest = x ( Calcularea, î mod sstematc, a probabltăţlor d relaţle (8.3.35, ( ş ( se face apelâd la următoarele două procedur recursve, [Rab]: Procedura îate (forward procedure: a î cosderare probabltatea observăr ue secveţe parţale, de geul: y, y2,..., y, cu ultma valoare geerată î starea, cu =,, adcă: α ( = P( Y = y,..., Y = y, S = θ ( ş preczează următoarele relaţ de calcul recursv: α ( = PY ( = y, S = θ = p( b( y (8.3.4 α j( + = P( Y = y,..., Y = y, Y+ = y+, S+ = j θ = (8.3.4 = α( a, j bj( y+ = ( ( P Y = y θ = P y, S = k θ = α ( ( k= k= Procedura îapo (backward procedure: a î cosderare probabltatea observăr ue secveţe parţale, de geul: y+, y+ 2,..., y, î codţle î care, la pasul, procesul se află î starea, cu =,, adcă: β ( = P Y = y,..., Y = y S =, θ ( ( + + ş preczează următoarele relaţ de calcul recursv: β ( = ş β ( = a, j bj( y+ β j( + ( j = ( = βk k k P y θ ( p ( b ( y ( k = Ma mult, petru ceea ce e teresează î cotuare, sut de remarcat următoarele două egaltăţ: P y, S = θ = α ( β ( ( ( ( P y, S =, S = j θ =α ( a b ( y β ( + ( , j j + j k

15 Pr termedul lor, se pot troduce următoarele două mărm auxlare: P( y, S = k θ αk( βk( γ k( = P( S = k y, θ = = P ( y θ αj( βj( j, j = ( y, =, + = θ P ( y θ ( = y, θ ( +,...,, + = =, θ P( y+,..., y S =, θ P S S j ε ( = P S P y y S j S = 5 ( ( γ( a, j bj( y+ β j( + = β ( Cu ajutorul mărmlor defte î relaţle ( ş ( ş cosderâd că laţul Mrkov se află î regm staţoar, se obţ, î fal, următoarele relaţ sstematce (efcete de calcul al parametrlor căutaţ: p ( = p ( =γ ( (8.3.5 k k k εj, ( = aj, = γ ( = δy, x γ k = k x = γk ( = (8.3.5 ( b ( ( Aplcaţa 8.3. Realzaţ u program î MatLab care să geereze u eşato de rezultate coform uu model cu laţ Markov ascus, î care procesul evoluează coform dagrame de trazţ preczată î fgura 8.3.2, ar stărlor l se asocază dstrbuţ Beroull de parametr q, respectv q 2. Programul se realzează parametrc, atrburea valorlor petru mărmle caracterstce (, αβ,, q, q2 lăsâdu-se la lattudea utlzatorulu. α α 2 β Fgura 8.3.2: Dagrama de trazţ a laţulu Markov d Aplcaţa 8.3. β

16 6 ESTIMAREA PARAMETRILOR Idcaţ: se foloseşte fucţa MatLab hmmgeerate(, coform formaţlor d fereastra de comadă, î urma comez help hmmgeerate, sau î paga de referţă d strumetarul statstc (Statstcs Toolbox, accesată î urma comez doc hmmgeerate. Aplcaţa 8.3. Cosderâd modelul d aplcaţa precedetă ş eşatoul geerat î urma rezolvăr acestea, realzaţ u program î MatLab care, petru estmarea parametrlor, mplemetează algortmul EM corespuzător. Idcaţe: desgur, verfcarea corecttud de mplemetare presupue ca valorle obţute î urma aplcăr algortmulu să fe apropate de cele foloste î Aplcaţa precedetă, petru geerarea eşatoulu cosderat, de rezultate Dstrbuţ matrceal expoeţale O dstrbuţe cu faze, de geul celor prezetate î cadrul captolulu Metoda fazelor, repreztă, la modul geeral, dstrbuţa tmpulu de absorbţe, τ, ce caracterzează u laţ Markov, St (, cu u umăr de stăr (faze traztor (cu trazţ de trare ş de eşre ş o stare absorbată (doar cu trazţ de trare. Petru u astfel de laţ, î care starea se cosderă starea absorbată, matrcea geeratoare ftezmală poate f pusă sub forma:, Q = ( γ, Γ, ude blocurle partţe repreztă: γ - vectorul eşrlor (ext vector ale căru elemete, γ, sut ratele de trazţe d starea, cu =,, î starea, Γ - matrcea geeratoare de faze ale căre elemete, Γ j,, sut ratele de trazţ ître stăr traztor, cu, j =, ş j, ar Γ,, cu =,, sut ratele de eşre d stărle traztor, cu sem schmbat. Luâd î cosderare cele două mărm, γ ş Γ, matrcea probabltăţlor de trazţe de-a lugul uu terval, y, adcă: y P( y = exp( Q y = Q ( =! poate f adusă la forma: P( y = ( exp( Γ y exp( Γ y t î care s-a ţut cot că γ = Γ, cu = (,,...,, deoarece toate lle d Q au suma ulă. Pr urmare, ţâd cot ş de vectorul probabltăţlor ţale ale stărlor traztor, p (, se ajuge la următoarele caracterstc aaltce ale

17 7 tmpulu de absorbţe, adcă ale ue dstrbuţ cu faze: fucţa de dstrbuţe: Fτ ( y = p( exp( Γ y ( destatea de probabltate: fτ ( y = p( exp( Γ y γ ( trasformata Laplace: τˆ ( s = p( ( s I Γ γ ( mometul de ordul : E[ τ ] = (! p( Γ ( Relaţle ( ( arată că o dstrbuţe cu faze, deumtă ş dstrbuţe matrceal expoeţală (matrx expoetal dstrbuto, urmare a faptulu că o matrce este argumet al expoeţale, este complet specfcată de mărmle p ( ş Γ, umărul parametrlor caracterstc fd, î prcpu, egal cu + (. Cocret, îsă, î cazurle practce, majortatea elemetelor d p ( ş Γ, sut ule, precum î exemplele de dstrbuţ cu 4 faze, d tabelul Semfcaţle otaţlor îtâlte î tabelul sut: µ - rata de eşre d starea, α ş β - probabltăţle de selecţe a uea d cele două trazţ de eşre d starea. Tabelul 8.3.2: Coţutul lu p ( ş Γ î cazul uor dstrbuţ partculare cu faze p ( Γ

18 8 ESTIMAREA PARAMETRILOR Hpoexpoeţală (m Erlag (,,, Cox ( α =,,, Hperexpoeţală ( α, α2, α3, α 4 µ µ µ 2 µ 2 µ 3 µ 3 µ 4 α ( 2 +β 2 µ αµ 2 α ( 3 +β 3 µ 2 αµ 3 2 ( α 4 +β 4 µ 3 α 4µ 3 µ 4 µ µ 2 µ 3 µ Î prvţa mede tmpulu de absorbţe, a mometulu de ordul, t t aceasta se obţe calculâd, ma îtâ, vectorul Τ = ( τ, τ2,, τ = Γ care coţe medle tmplor de absorbţe, τ, câd procesul pleacă d starea. Urmează, apo, îmulţrea cu vectorul probabltăţlor ţale de stare, p (, adcă aplcarea teoreme probabltăţlor totale, rezultatul fal fd meda tmpulu de absorbţe, τ, dferet de starea de plecare. Aplcaţa Preczaţ coţutul vectorulu de eşre ş reprezetaţ grafc dagrama de trazţ petru fecare dstrbuţe cu faze d tabelul Aplcaţa Se cosderă reţeaua de faze d fgura Determaţ fucţa de destate de probabltate, meda ş varaţa varable aleatore corespuzătoare, ştd că µ =µ 2 = 4sec. Ce valor au compoetele vectorulu T? Idcaţe: Calculul medlor tmpulu de absorbţe, codţoate de starea de 4 / 3 µ 3/4 2/3 / 4 4/5 µ 2 / 5 eşre Fgura 8.3.3: Exemplu de reţea î două faze

19 plecare, se determă rezolvâd sstemul Γ Τ =. Ţâd cot de datele probleme, coţutul matrce Γ, este dat de produsul: Γ = M ( I Π î care M = dag( µ, µ 2,, µ este matrcea ratelor de eşre d faze, ar P = { p j, }, cu p, = ş, j =,, este matrcea de rutare î reţeaua de faze. Î urma substtur ş pr rearajare de terme, se ajuge la următorul sstem: t t T = M + P T care motvează faptul că meda tmpulu de absorbţe (de traversare a reţele, îcepâd d faza, este egală suma dtre meda faze ş medle tmplor de absorbţe îcepâd d stărle la care se ajuge î urma trazţe, poderate cu probabltăţle corespuzătoare, de rutare. Cocret, î cazul reţele aalzate, ua d ecuaţle oulu sstem este: τ = + τ2 µ 4 * * * Estmarea parametrlor ue dstrbuţ cu faze, folosd algortmul EM, pleacă, precum î exemplul ateror, al modelulu cu laţ Markov ascus, de la a cosdera că datele observate sut complete îtrucât rezultatele obţute u preczează decât cât tmp -a trebut procesulu, de la o realzare la alta, să ajugă î starea absorbată, restul formaţlor prvd starea de plecare, secveţa stărlor vztate ş durata de staţoare î acestea fd ecuoscute. Pr urmare, aflarea asamblulu complet de date presupue observarea modulu î care evoluează laţul Markov cotuu, cosderat, ceea ce este echvalet cu îregstrarea secveţe de stăr: S, S,, SM, S M ( =, urmată de laţul Markov dscret asocat, ş succesu de tmp de staţoare î respectvele stăr: T, T,, TM, T M ( =, cu M umărul de saltur (trazţ pâă î starea absorbată. Avâd î vedere cele spuse ma sus, îseamă că, î spatele uu rezultat partcular observabl, y, se "ascude" următorul rezultat partcular eobservat complet: x = ( s, s,..., sm, t, t,..., tm, cu codţa: t + t tm = y. Desgur, ambele rezultate dferă de la o realzare la alta a procesulu, ceea ce coduce la cosderarea următoarelor varable aleator: Y - rezultatul observabl, = S S SM T T TM X (,,...,,,,..., - rezultatul eobservat complet Destatea de probabltate a rezultatulu eobservat, X, corespuzător uu rezultat observat, Y, se determă ţâd cot că probabltăţle de trazţe cu u pas ale laţulu Markov asocat sut date de relaţa: t 9

20 2 ESTIMAREA PARAMETRILOR Γ k, Γ petru, k =, ş k pk, = P( S+ = k S= = γ k Γ petru =, ş k = (8.3.6 ude Γ = Γ, = γ + Γ, j este rata de eşre d starea. Pr urmare: j = j ( xp(, Γ ( exp( exp( = ps ( exp( Γs t Γs, s exp( Γs tm γs f = p Γ Γ t p Γ Γ t p s s s s, s s s m s, m m m m m (8.3.6 Relaţa ateroară este valablă î cazul uu sgur rezultat observat. Atuc câd, îsă, se are î vedere u eşato de rezultate partculare observate: y = ( y, y2,..., y, tră î dscuţe următorul eşato de rezultate partculare eobservate ş complete, adcă: { [] [] [] [] [ ] [ ] [ ] [ s ],..., s, t } [],..., t,..., s [],..., s, [ t ],..., t [ ] x = ( [ ] [ ] m ude t t [ ] = y, cu =,. m m m m Fără a ţe cot de datele observate, destatea de probabltate a eşatoulu X, de rezultate eobservate ş complete, este dată, coform teore geerale a famle de dstrbuţ expoeţale [Taer] de relaţa:,, j = = = j= j B, j ( (, = ( exp( Γ Γ f xp Γ p Z ( î care se regăsesc următoarele statstc sufcete: B = I [ ] este umărul de realzăr care poresc d starea, cu =, { S = } = [ ] m [ ] Z = I [ ] { S = } T k este tmpul total petrecut î starea, cu =, = k= [ ] m j I [ ] [ ] { Sk =, Sk+ = j} = k= k = este umărul total de saltur d starea î starea j, petru j, =,, j =, Mărmea I {Ev} este fucţa dcator, egală cu dacă evemetul argumet, Ev, se verfcă ş î caz cotrar. O statstcă este o fucţe determstă care are ca argumet u eşato de rezultate X, X2,..., X. O statstcă ale căre valor partculare sut, de cele ma multe or, î aproperea uu parametru pe asamblu (de exemplu: meda

21 este u estmator al acestua (petru exemplu ateror: meda pe eşato. O statstcă este sufcetă petru u aumt model probablstc caracterzat de u uc parametru dacă permte estmarea parametrulu î cauză. De exemplu, meda pe eşato este o statstcă sufcetă î cazul dstrbuţe expoeţale, dar u este sufcetă î cazul dstrbuţe uforme pe tervalul [, θ ], petru care statstca sufcetă este: T = max{ X, X2,..., X }. Desgur, î mod atural, petru u model probablstc cu ma mulţ parametr, precum dstrbuţa Gauss, caracterzarea sa completă se poate face pr termedul uu set de statstc sufcete, care, î cazul exemplulu cosderat, sut: estmatorul mede ş estmatorul varaţe, Luâd î cosderare relaţa (8.3.63, algortmul EM caută, î pasul E, să determe meda fucţe de verosmltate logartmată a datelor complete, câd s-a observat eşatoul y ş se cosderă asamblul curet de valor ale parametrlor p ( ş Γ. Expresa aceste med este: L = E B log p( + Z Γ, + j log Γ, j y, p(, Γ = = = = j= j = log p ( E B yp, (, Γ + Γ E Z yp, (, Γ, = = + logγj, E j,, (, yp Γ = j= j 2 ( Î urma meder, se obţe o exprese determstă, care are ca argumete parametr procesulu. Această exprese este folostă de pasul M al algortmulu petru stablrea valorlor petru care verosmltatea este maxmă. Dat fd structura verosmltăţ î dscuţe, problema de optmzare se poate separa î două compoete: ua care se ocupă de maxmzarea sume care coţe elemetele vectorulu p ( ş alta care are î vedere sumele ce coţ elemetele matrce Γ. Implemetarea celor preczate ma sus coduce la următorul coţut al algortmulu EM: pasul E: calcularea medlor statstclor sufcete, corespuzătoare eşatoulu de rezultate observate, y, codţoate de valorle curete ale estmărlor prvd setul de parametr p ( ş Γ, stablte arbtrar, dacă este prma teraţe, sau obţute î urma efectuăr pasulu M, î teraţa precedetă. Dat fd faptul că toate statstcle sut sume pe eşato, îseamă că mederea codţoată se poate face separat, petru fecare rezultat, y, î parte. Pr

22 22 ESTIMAREA PARAMETRILOR [ ] [ ] [ ] urmare, cosderâd B, Z ş j, cotrbuţle la statstc, corespuzătoare realzăr a procesulu, îseamă că medle căutate sut date de relaţle: [ ] E B yp, (, Γ = E B y, p(, Γ petru =, ( = [ ] E Z, (, = E Z y, (, yp Γ p Γ petru =, ( = [ ] j, j, = E, (, = E y, (, yp Γ p Γ petru =,, j =,, j ( Pasul M: calculează ole valor estmate urmare a optmzăr fucţe de verosmltate, rezultatele fale fd: E B, (, p ( yp Γ = petru =, ( E j,, (, yp Γ Γ j, = E Z yp, (, Γ E, yp, (, Γ γ = E Z yp, (, Γ petru, j =,, j ( petru =, (8.3.7 Γ, = γ + Γ, j petru, j =, (8.3.7 j = j Medle codţoate, d relaţle de calcul ale pasulu E, se calculează, la râdul lor, cu ajutorul relaţlor [Asm]: [ ] p( b( y Γ E B y, (, p Γ = petru =, ( p( b( y Γ [ ] c( y, p(, Γ E Z y, p(, Γ = petru =, ( p( b( y Γ [ ] Γj cj ( y, p(, Γ E j, y, p(, Γ = petru, j =,, j ( p( b( y Γ [ ] γ a( y p(, Γ E, y, p(, Γ = petru =, ( p( b( y Γ

23 ude a( y p(, Γ, b( y Γ ş c( y, p(, Γ, cu =,, sut vector de fucţ, cu următoarele expres: a( y p(, Γ = p( exp( Γ y ( b( y Γ = exp( Γ y γ ( y ( c( y, p(, Γ = p( exp( Γ u exp Γ ( y u γ du, =, ( cu = (,,...,,,,..., vector cu ucul elemet eul, egal cu, pe pozţa. Ca exemplfcare, meda d relaţa ( se deduce astfel: [ ] [ ] ( =, < + d [ ] P( y < Y y + dy PS y Y y y [ ] E B y, (, p Γ = = [ ] [ ] [ ] ( = ( < + d = PS Py Y y y S = = P y Y y y [ ] ( < + d [ ] ( p( f y S = cf.(*.56 p ( exp( Γ y γ = = f( y p( exp( Γ y γ 23 ( Î acest caz, vectorul este traspus ş repreztă vectorul probabltăţlor [ ] ţale, p (, corespuzătoare realzăr, apărute î codţle î care S =. Fucţle d relaţle ( (8.3.78, ca urmare a expreslor ce le caracterzează, permt screrea următorulu sstem de ecuaţ dfereţale: a ( y p(, Γ = a( y p(, Γ Γ (8.3.8 b ( y Γ = Γ b( y Γ (8.3.8 c ( y, p(, Γ = Γ c( y, p(, Γ + a( y p(, Γ γ, =, ( Acest sstem se rezolvă, î geeral, umerc, utlzâd o metodă stadard, de exemplu Ruge-utta, ş ţâd cot de următoarele codţ ţale: a( p(, Γ = p (, b( Γ = γ ş c(, p(, Γ =, cu =, ( Aplcaţa Cosderâd următorul eşato de rezultate: y = (,., să se estmeze, folosd algortmul EM, cu u prag de decze de %, parametr corespuzător cazulu î care se are î vedere, ca model, o dstrbuţe hperexpoeţală cu doar două stăr.

24 24 ESTIMAREA PARAMETRILOR Rezolvare: dagrama de trazţ a procesulu Markov corespuzător, împreuă cu matrcea de trazţe ître stărle traztor ş vectorul eşrlor, sut prezetate î fgura Eşatoul complet de date este: { s [] [] [2] [2] [3] [3], t, s, t, s, t } x = ( p ( = q p 2 ( = q 2 µ µ 2 Γ µ µ = µ γ= µ 2 2 ar destatea de probabltate corespuzătoare, luâd î cosderare probabltăţle ţale de stare: p ( = q ş p 2 ( = q, precum ş matrcea trazţlor, Γ, este (coform : B 2 ( (, B B B = ( 2 exp( µ exp( µ µ µ f xp Γ q q Z Z ( deoarece, î acest caz:, = B ş 2, = B2. Pr urmare, meda fucţe de verosmltate logartmată, codţoată de rezultatele observate, y, precum ş de parametr p ( ş Γ, este: Elog f (, (, xyp Γ = = = E B yp, (, Γ (lq+ l µ E Z yp, (, Γ µ ( E B2 yp, (, Γ { l( q + lµ 2} E Z2 yp, (, Γ µ 2 Petru calcularea medlor d relaţa (8.3.86, trebue rezolvat următorul sstem de ecuaţ dfereţale: µ ( a, a 2 = ( a, a2 µ 2 b µ b = b µ 2 2 b 2 c µ c µ = + a, cu =, 2 c µ 2 2 c2 µ 2 Prmele două ecuaţ sut: Fgura 8.3.4: Dstrbuţe hper-expoeţală cu două faze

25 25 a +µ a = ş a 2 + µ 2a2 = ( petru care, ţâd cot de codţle ţale, se găsesc următoarele soluţ: a( y = p(exp( µ y ş a2( y = p2(exp( µ 2y ( Ecuaţle avâd ca ecuoscute fucţle b ( y ş b 2 ( y sut: b +µ b = ş b 2 + µ 2b2 = ( ar soluţle corespuzătoare, dat fd codţle ţale, sut: b( y =µ exp( µ y ş b2( y = µ 2exp( µ 2y (8.3.9 Ultmele perech de ecuaţ sut: c, +µ c, µ p(exp( µ y = cu =, 2 (8.3.9 c 2, +µ 2 c2, µ 2 p(exp( µ y = Fd vorba de ecuaţ dfereţale, î care termeul lber este fucţe de argumetul y, îseamă că soluţa este, î cazul prme perech, de forma: c, ( y = C, ( yexp( µ y ( Stablrea termeulu C, ( y se face substtud expresa ( î ecuaţa corespuzătoare d (8.3.9, ceea ce coduce la o ouă ecuaţe dfereţală, de forma: C, ( y µ p( = ( Soluţa ecuaţe ( este: C, ( y = C, µ p( y ( ea trebud să satsfacă ş ecuaţa corespuzătoare d (8.3.9, î fal obţâdu-se: c, ( y = p( µ y exp( µ y, cu =, 2 ( ş, pr aaloge: c ( y = p ( µ y exp( µ y, cu =, 2 ( , 2 Odată stablte mărmle de ma sus, se trece la calcularea medlor d relaţa ( Astfel: 3 p( µ exp( µ y E B yp, (, Γ =, cu =, 2 ( = p ( µ exp( µ y k k k k = 3 p( µ exp( µ y y 2 = pk µ k µ ky k = E Z yp, (, Γ =, cu =, 2 ( ( exp(

26 26 ESTIMAREA PARAMETRILOR E j,, (, yp Γ =, cu, j =,2 ş j ( µ p( exp( µ y E, yp, (, Γ =, cu =,2 ( = p ( µ exp( µ y k k k k = Cum era de aşteptat, î acest caz partcular, umărul medu de eşr (trazţ î starea absorbată, dtr-o stare traztore este egal cu umărul medu de trăr î starea respectvă. Calculele î vederea estmăr parametrlor, care mplcă ş pasul M, î care se fac atrburle coform relaţlor ( (8.3.7, ecestă, char ş î cazul de faţă, realzarea uu program. Acesta trebue ca, la sfârştul fecăre teraţ, să determe oua valoare a verosmltăţ logartmate, î vederea comparăr cu cea ateroară, execuţa îchedu-se câd dfereţa dtre cele două este sub pragul mpus (%. Aplcaţa Reluaţ Aplcaţa precedetă î cazul î care eşatoul de rezultate este: y = (5,25,, ar ca dstrbuţe cu faze se cosderă modelul hpo-expoeţal cu două stăr (2-Erlag. Aplcaţa Deduceţ formulele de calcul ce urmează a f mplemetate îtr-u program care aplcă algortmul EM petru estmarea parametrlor ce caracterzează o dstrbuţe cu faze, a căru laţ Markov urmează dagrama de trazţ d fgura ş preczaţ ce valoare capătă verosmltatea logartmată, luâd î cosderare rezultatele obţute î cadrul prme teraţ ş cuoscâd că eşatoul de rezultate este y = (2,2,8. p ( p 2 ( µ 2 µ 2 Fgura 8.3.5: Dagrama de trazţ cosderată î Aplcaţa Aplcaţa Rezolvaţ Aplcaţa cosderâd modelul probablstc de amestec, ca strumet de calcul. Aplcaţa Rezolvaţ problemele euţate ma sus folosd metoda potrvr mometelor. Idcaţe: Expresa de calcul al mometelor este preczată î relaţa ( Valorle estmate ale respectvelor momete, luâd î cosderare eşatoul de rezultate, y, se calculează, petru cazul geeral, tot î MatLab, cu formula (8.3..

27 Aplcaţa Realzaţ u program care să îregstreze î format ASCII eşatoae de rezultate coform orcăru tp partcular de dstrbuţ cu 4 faze. Aplcaţa Realzaţ u program care prea datele dtr-u fşer txt ş aplcă algortmul EM î cazul orcăru tp partcular de dstrbuţe cu 4 faze. Idcaţe: Rezolvarea sstemulu de ecuaţ dfereţale se face umerc, folosd strumetele puse la dspozţe de MatLab. Verfcarea corecttud cu care programul a fost realzat se face prelucrâd, pr termedul său, u fşer geerat cu programul alcătut cu ocaza rezolvăr teme precedete ş comparâd valorle fxate cu cele estmate petru parametr corespuzător. 27