Metode procjene parametara

Transcript

1 Sveu ili²te J. J. Strossmayera u Osijeku Odjel za matematiku Mario Erdeg Metode procjene parametara Diplomski rad Osijek, 2016.

2 Sveu ili²te J. J. Strossmayera u Osijeku Odjel za matematiku Mario Erdeg Metode procjene parametara Diplomski rad Mentor: doc. dr. sc. Dragana Jankov Ma²irevi Osijek, 2016.

3 Sadrºaj 1 Uvod 4 2 Osnovni pojmovi iz teorije vjerojatnosti Slu ajna varijabla Diskretna slu ajna varijabla Neprekidna slu ajna varijabla Slu ajni vektor Diskretan slu ajni vektor Neprekidan slu ajni vektor Numeri ke karakteristike Numeri ke karakteristike diskretne slu ajne varijable Numeri ke karakteristike neprekidne slu ajne varijable Numeri ke karakteristike slu ajnog vektora Nizovi slu ajnih varijabli Statistika Statisti ki modeli Procjena parametara Metode procjene parametara Metoda supstitucije Primjeri procjene parametara metodom supstitucije Metoda momenata Primjeri procjene parametara metodom momenata Metoda maksimalne vjerodostojnosti Primjeri procjene parametara metodom maksimalne vjerodostojnosti Literatura 39 Saºetak 40 Title and summary 41 šivotopis 42

4 1 Uvod Statistika je jedna od najprisutnijih grana primjenjene matematike. Statistika se bavi prikupljanjem podataka, njihovom analizom, te izvoženjem zaklju aka iz tih podataka. Gotovo svaki dan smo okruºeni raznim statisti kim podacima u svim podru jima ljudskog zanimanja, na primjer prosje an broj novorožene djece, prosje- an broj poginulih u prometu u raznim vrstama prijevoza. ƒesto smo uli re enicu: "Statisti ki gledano po broju poginulih na godi²njoj razini, avion kao prijevozno sredstvo, je najsigurniji." U politici se provode razne ankete o rejtingu stranaka, politi ara. Sve te ankete se temelje na statistici. Financijske institucije pomo u statistike procjenjuju razne razine rizika i na temelju njih odrežuju cijenu (kamate) svojih usluga. Teorijska osnova na kojoj je izgražena matemati ka statistika temelji se na teoriji vjerojatnosti. Drugo poglavlje posve eno je osnovnim denicijama i teoremima iz teorije vjerojatnosti. U tre em poglavlju emo se posvetiti samoj statistici i pojmovima koji su nam potrebni u radu. ƒetvrto poglavlje je glavno poglavlje ovog diplomskog rada. U njemu emo obraditi najpoznatije metode za procjenu parametara u parametarskim statisti kim modelima, a to su metoda supstitucije, metoda momenata kao jedan specijalni oblik primjene principa supstitucije u procjeni parametara i metoda maksimalne vjerodostojnosti (maximum likelihood method). 4

5 2 Osnovni pojmovi iz teorije vjerojatnosti Temeljni pojam teorije vjerojatnosti je vjerojatnosni prostor. Neka je Ω prostor elementarnih dogažaja odnosno prostor svih mogu ih realizacija nekog slu ajnog pokusa. S ω ozna avamo elemente iz Ω i zovemo ih elementarni dogažaji. Da bi mogli denirati vjerojatnosni prostor, osim prostora elementarnih dogažaja potrebno je denirati σ-algebru i funkciju na toj σ-algebri koju nazivamo vjerojatnost. Denicija 1. Neka je F familija podskupova od Ω odnosno F P(Ω), gdje je P(Ω) partitivni skup od Ω. Tada je F σ-algebra skupova na Ω ako vrijedi: 1. F, 2. A F A c F, 3. A i F, i N A i F. Ureženi par prostora elementarnih dogažaja i pripadaju e σ-algebre nazivamo izmjeriv prostor tj. (Ω, F) je izmjeriv prostor. Denicija 2. Na izmjerivom prostoru (Ω, F) denirajmo funkciju P : F R koja ima sljede a svojstva: 1. P (A) 0, A F, 2. P (Ω) = 1, 3. Ako je (A i, i I) F, I N familija disjunktnih dogažaja tj. A i A j = za i j, tada vrijedi: P ( ) A i = P (A i ). i I Funkciju P zovemo vjerojatnost, a svojstva nazivamo aksiomima vjerojatnosti. Svojstvo 1. nazivamo nenegativnost vjerojatnosti, svojstvo 2. zovemo normiranost vjerojatnosti, a svojstvo 3. nazivamo σ-aditivnost vjerojatnosti. Ureženu trojku (Ω, F, P ) zovemo vjerojatnosni prostor, gdje je F σ-algebra na Ω, a P vjerojatnost na F. U sljede em teoremu emo navesti osnovna svojstva vjerojatnosti. i I 5

6 Teorem 1. Neka je (Ω, F, P ) vjerojatnosni prostor. Tada vrijedi: 1. Neka je A F. Tada vrijedi P (A c ) = 1 P (A) (vjerojatnost suprotnog dogažaja), 2. P ( ) = 0 (vjerojatnost praznog skupa), 3. Ako su A, B F i A B onda je P (A) P (B) (monotonost vjerojatnosti), 4. Neka su A, B F. Tada vrijedi P (A B) = P (A) + P (B) P (A B) (vjerojatnost unije dogažaja), 5. Neka je A n F, n N. Tada je ( P (σ-subaditivnost vjerojatnosti), n=1 A n ) P (A n ) 6. Neka je A n F, n N, rastu i niz dogažaja, tj. A 1 A 2... Tada vrijedi ( P n=1 n=1 A n ) = lim n P (A n ) (neprekidnost vjerojatnosti obzirom na rastu i niz dogažaja), 7. Neka je A n F, n N, padaju i niz dogažaja tj. A 1 A Tada vrijedi ( P n=1 A n ) = lim n P (A n ) (neprekidnost vjerojatnosti obzirom na padaju i niz dogažaja). Dokaz. Vidi [1, str ]. 2.1 Slu ajna varijabla Da bi mogli analizirati odrežene karakteristike slu ajnog pokusa potrebno je denirati realnu funkciju koja svakom slu ajnom dogažaju pridruºuje neki realan broj. Takve funkcije emo zvati SLUƒAJNE VARIJABLE. Denicija 3. Neka je (Ω, F, P ) vjerojatnosni prostor i B R σ-algebra na R, takozvana Borelova σ-algebra. Funkciju X : Ω R takvu da je skup {ω Ω : X(ω) B} F za proizvoljan skup B B R tj. takvu da vrijedi X 1 (B) F za proizvoljan B B R nazivamo slu ajna varijabla. 6

7 Skup vrijednosti koje slu ajna varijabla X moºe poprimiti zove se slika slu ajne varijable i ozna ava s R(X). S obzirom na sliku, slu ajne varijable dijelimo na diskretne slu ajne varijable (slika je diskretan skup, tj. kona an ili prebrojiv skup) i na neprekidne slu ajne varijable (kojima je slika neprebrojiv skup). Klasikacija slu ajnih varijabli provodi se i na osnovi njihovih funkcija distribucija takožer na diskretne i neprekidne, a funkcijom distribucije su opisana i vjerojatnosna svojstva slu ajne varijable. Denicija 4. Neka je (Ω, F, P ) vjerojatnosni prostor, X slu ajna varijabla na njemu. Funkciju F : R [0, 1] koja svakom realnom broju x pridruºuje vjerojatnost da vrijednost slu ajne varijable bude manja ili jednaka tom broju, tj. funkciju F (x) = P {ω Ω : X(ω) x} = P {X x}, x R zovemo funkcija distribucije slu ajne varijable X Diskretna slu ajna varijabla Denicija 5. Slu ajna varijabla X na vjerojatnosnom prostoru (Ω, F, P ) je diskretna ako postoji diskretan skup D R takav da je P {X D} = 1. Diskretne slu ajne varijable su odrežene slikom koja ima najvi²e prebrojivo mnogo elemenata, odnosno R(X) = {x i, i I}, I N. Svakom elementu iz slike moºemo pridruºiti vjerojatnost: p i = P {X = x i } = P {ω Ω : X(ω) = x i }, i I, I N. Diskretnu slu ajnu varijablu X moºemo zapisati na sljede i na in: ( ) x1 x X = 2... x n.... p 1 p 2... p n... Ovakav zapis zovemo tablica distribucije ili distribucija slu ajne varijable X. Pri tome moraju biti zadovoljena sljede a svojstva: 1. x i x j, za svaki i j, 2. p i 0, za svaki i I, 3. p i = 1. Napomena 1. Na diskretnom vjerojatnosnom prostoru (Ω, P(Ω), P ) je svaka funkcija X : Ω R slu ajna varijabla i to diskretnog tipa. 7

8 Vjerojatnost proizvoljnog dogažaja A Ω takožer moºemo odrediti iz tablice distribucije. Vrijedi: P {X A} = x i A p i. Napomenimo jo² da je funkcija distribucije diskretne slu ajne varijable dana s F (x) = P {X = x i } = p i, x R. x i R(X), x i x Neprekidna slu ajna varijabla x i R(X), x i x Denicija 6. Neka je dan vjerojatnosni prostor (Ω, F, P ) i slu ajna varijabla X : Ω R za koju vrijedi: {ω Ω: X(ω) x} = {X x} F, za svaki x R, postoji nenegativna realna funkcija realne varijable f, takva da vrijedi: P {ω Ω: X(ω) x} = P {X x} = x f(t)dt, x R. Funkciju X zovemo neprekidna slu ajna varijabla, a funkciju f funkcija gusto e slu ajne varijable X. Za funkciju gusto e neprekidne slu ajne varijable vrijedi sljede e: f(x) 0, za svaki x R f(x)dx = 1. Funkcija distribucije neprekidne slu ajne varijable dana je s F (x) = P {X x} = x f(t)dt, x R. 8

9 2.2 Slu ajni vektor U ovom poglavlju emo prou avati slu ajne vektore. U nastavku navodimo preciznu deniciju slu ajnog vektora. Denicija 7. Neka je (Ω, F, P ) vjerojatnosni prostor. Funkciju X = (X 1, X 2,..., X n ): Ω R n koja svakom ishodu slu ajnog pokusa pridruºuje ureženu n-torku realnih brojeva x = (x 1, x 2,..., x n ) zovemo n-dimenzionalni slu ajni vektor ako vrijedi: za svaki x 1,..., x n R. {X 1 x 1 } {X 2 x 2 }... {X n x n } F Vjerojatnosna svojstva slu ajnog vektora opisujemo funkcijom distribucije. Denicija 8. Neka je (Ω, F, P ) vjerojatnosni prostor, X n-dimenzionalni slu ajni vektor. Funkciju F : R n [0, 1] deniranu s F (x 1,..., x n ) = P {X 1 x 1,..., X n x n } zovemo funkcija distribucije slu ajnog vektora X. Kao ²to smo slu ajne varijable promatrali posebno diskretne, a posebno neprekidne, tako emo u nastavku promatrati i slu ajne vektore. Zbog jednostavnosti promatramo dvodimenzionalne slu ajne vektore Diskretan slu ajni vektor Slika diskretnog dvodimenzionalnog slu ajnog vektora (X, Y ) je dana s: R(X, Y ) = {(x i, y j ) : (i, j) I}, I N N, a pripadne vjerojatnosti s: p(x i, y j ) = P {X = x i, Y = y j }, (i, j) I N N. (1) Vrijednostima (1) odrežena je distribucija slu ajnog vektora. Za niz brojeva (p(x i, y j ), i, j N) vrijedi: 1. p(x i, y j ) 0 za sve i, j N, 2. p(x i, y j ) = 1. j=1 9

10 Ako je (Ω, P(Ω), P ) diskretan vjerojatnosni prostor i (X, Y ) slu ajan vektor na tom prostoru, tada su i komponente slu ajnog vektora X, Y slu ajne varijable na istom vjerojatnosnom prostoru. Vrijedi: p X (x i ) = P {X = x i } = j N P {X = x i, Y = y j }. Takožer vrijedi: p Y (y j ) = P {Y = y j } = i N P {X = x i, Y = y j }. Denirajmo nezavisnost diskretnih slu ajnih varijabli. Denicija 9 (Nezavisnost slu ajnih varijabli). Neka je (Ω, P(Ω), P ) diskretan vjerojatnosni prostor, a X, Y slu ajne varijable na njemu. Kaºemo da su X i Y nezavisne slu ajne varijable ako za sve skupove A, B R vrijedi: P {X A, Y B} = P {X A} P {Y B}. Teorem 2. Neka je (X, Y ) diskretan slu ajan vektor na vjerojatnosnom prostoru (Ω, P(Ω), P ) Slu ajne varijable X, Y su nezavisne ako i samo ako za sve x i R(X), y j R(Y ). Dokaz. Vidi [1, Teorem 3.2] Neprekidan slu ajni vektor p(x i, y j ) = p X (x i ) p Y (y j ), Denicija 10. Kaºemo da je X = (X, Y ) neprekidan dvodimenzionalni slu ajni vektor ako postoji nenegativna realna funkcija f : R 2 R takva da se funkcija distribucije od X moºe zapisati u obliku: F (x, y) = x y f(u, v)du dv. Funkciju f zovemo funkcija gusto e neprekidnog dvodimenzionalnog slu ajnog vektora. Kao u slu aju diskretnih slu ajnih vektora denirat emo nezavisnost i za neprekidne slu ajne vektore. Denicija 11. Neka je (X, Y ) neprekidan slu ajni vektor, F njegova funkcija distribucije, te neka su F X, F Y funkcije distribucije slu ajnih varijabli X i Y. Slu ajne varijable X, Y su nezavisne ako za svaki (x, y) R 2 vrijedi: F (x, y) = F X (x) F Y (y). 10

11 2.3 Numeri ke karakteristike ƒesto nam u primjeni, uz poznavanje distribucije slu ajne varijable, mogu pomo i i neki karakteristi ni brojevi za pojedinu slu ajnu varijablu. Takve brojeve zovemo numeri ke karakteristike slu ajne varijable. Najvaºnija i najpoznatija numeri ka karakteristika slu ajnih varijabli je matemati ko o ekivanje (o ekivanje). Kao i do sada posebno emo promatrati diskretnu slu ajnu varijablu, a posebno neprekidnu slu ajnu varijablu Numeri ke karakteristike diskretne slu ajne varijable Denicija 12. Neka je (Ω, P(Ω), P ) diskretan vjerojatnosni prostor, a X diskretna slu ajna varijabla na njemu. Ako red ω Ω X(ω)P {ω} apsolutno konvergira, onda kaºemo da slu ajna varijabla X ima matemati ko o ekivanje, ozna avamo ga s E[X] i vrijedi: E[X] = ω Ω X(ω)P {ω}. U slu aju diskretne slu ajne varijable uz pomo njezine distribucije moºemo odrediti o ekivanje te slu ajne varijable. To nam omogu ava sljede i teorem. Teorem 3. Neka je (Ω, P(Ω), P ) diskretni vjerojatnosni prostor, X diskretna slu- ajna varijabla na njemu sa sljede om distribucijom: ( ) x1 x X = 2... x n.... p 1 p 2... p n... Redovi X(ω)P {ω} i x i p i istovremeno ili apsolutno divergiraju ili apsolutno ω Ω i N konvergiraju. U slu aju apsolutne konvergencije sume su im jednake i vrijedi: E[X] = ω Ω X(ω)P {ω} = i N x i p i. Navesti emo jo² nekoliko vaºnih svojstava vezanih za o ekivanje slu ajne varijable. Neka je X diskretna slu ajna varijabla, g : R(X) R funkcija takva da postoji E[g(X)]. Tada vrijedi: E[g(X)] = i N g(x i )p i. Neka su a, b realni brojevi i X slu ajna varijabla za koju postoji o ekivanje. Tada i slu ajna varijabla ax + b ima o ekivanje i vrijedi: E[aX + b] = ae[x] + b. 11

12 Ako su X, Y dvije slu ajne varijable na istom vjerojatnosnom prostoru i postoji E[X] i E[Y ], te vrijedi X(ω) Y (ω), za svaki ω Ω, onda je i E[X] E[Y ] (monotonost o ekivanja). Ako je X slu ajna varijabla sa svojstvom X(ω) 0 za svaki ω Ω, te postoji E[X] tada je i E[X] 0 (nenegativnost o ekivanja). Sljede i teorem nam daje jo² jedno vaºno svojstvo o ekivanja. Teorem 4. Neka je (Ω, P(Ω), P ) vjerojatnosni prostor i X, Y slu ajne varijable na tom prostoru za koje postoji E[X], E[Y ], te a, b R. Tada slu ajna varijabla ax + by ima o ekivanje i vrijedi: E[aX + by ] = ae[x] + be[y ]. Svojstvo iz prethodnog teorema zovemo linearnost o ekivanja. Osim o ekivanja vaºno je spomenuti i momente slu ajne varijable koje navodimo u sljede oj deniciji. Denicija 13. Neka je (Ω, P(Ω), P ) diskretan vjerojatnosni prostor, X slu ajna varijabla na njemu i neka je r > 0: ako postoji E[X r ] onda broj µ r r-tog reda) od X, = E[X r ] zovemo r-ti moment (moment ako postoji E[ X r ] onda broj E[ X r ] zovemo r-ti apsolutni moment (apsolutni moment r-tog reda), ako postoji E[X] i E[ X E[X] r ] onda broj E[ X EX r ] zovemo r-ti centralni moment od X. O ekivanje je moment prvog reda. Drugi centralni moment odnosno E[(X E[X]) 2 ] zovemo varijanca i ona predstavlja drugu najvaºniju numeri ku karakteristiku slu ajne varijable. Naj e² e oznake za varijancu su V arx, σ 2. Varijanca predstavlja o ekivano kvadratno odstupanje slu ajne varijable od njezinog o ekivanja. Jo² jedna vaºna karakteristika je standardna devijacija. Standardna devijacija je drugi korijen iz varijance tj. σ = V arx. U nastavku navodimo dva bitna svojstva varijance: 1. Neka je X slu ajna varijabla koja ima kona nu varijancu, a, b realni brojevi. Vrijedi: V ar(ax + b) = a 2 V arx. 2. V arx = E[X 2 ] (E[X]) 2. 12

13 2.3.2 Numeri ke karakteristike neprekidne slu ajne varijable Denicija 14. Neka je (Ω, F, P ) vjerojatnosni prostor, X neprekidna slu ajna varijabla na njemu s funkcijom gusto e f. Ako je x f(x)dx kona an integral, onda kaºemo da slu ajna varijabla X ima o ekivanje i broj E[X] = xf(x)dx zovemo matemati ko o ekivanje (ili samo o ekivanje) neprekidne slu ajne varijable X. Varijanca neprekidne slu ajne varijable ra una se na sljede i na in: V arx = (x E[X]) 2 f(x)dx. Napomena 2. Sva svojstva za o ekivanje i varijancu koja su navedena u diskretnom slu aju vrijede i za neprekidne slu ajne varijable Numeri ke karakteristike slu ajnog vektora Sljede i teorem daje nam na in ra unanja o ekivanja slu ajne varijable koja nastaje iz kompozicije funkcije dvije varijable g i diskretnog slu ajnog vektora (X, Y ). Teorem 5. Neka je (Ω, P(Ω), P ) diskretan vjerojatnosni prostor, (X, Y ) diskretan slu ajan vektor na njemu, a g : R(X, Y ) R realna funkcija. Tada redovi: E[g(X, Y )] = ω Ω g(x, Y )(ω) i g(x i, y j )p(x i, y j ) i j istovremeno ili apsolutno konvergiraju ili apsolutno divergiraju, a u slu aju apsolutne konvergencije sume su im jednake. Napomena 3. Ako uzmemo za g(x, y) = x dobivamo: g(x i, y j )p(x i, y j ) = x i p(x i, y j ) i j i j = x i p(x i, y j ) = x i p X (x i ) = E[X]. i j i 13

14 2.4 Nizovi slu ajnih varijabli Budu i da u statistici promatramo nizove podataka u ovom poglavlju emo uvesti neke vaºne rezultate za nizove slu ajnih varijabli. Denicija 15. Kaºemo da niz slu ajnih varijabli (X n, n N) zadovoljava slabi zakon velikih brojeva ako za svaki ɛ > 0 vrijedi: { } 1 lim P n n S n E[S n ] ɛ = 0, gdje je S n = X k. k=1 Slabi zakon velikih brojeva govori da vjerojatnost da se realizacija prosjeka niza slu ajnih varijabli razlikuje od o ekivanja prosjeka za vi²e od nekog proizvoljno malog broja teºi nuli kada raste broj slu ajnih varijabli od kojih se ra una prosjek. Denicija 16. Niz slu ajnih varijabli (X n, n N) je nezavisan i jednako distribuiran ako vrijedi: sve slu ajne varijable u nizu su jednako distribuirane, za svaki n N slu ajne varijable X n su mežusobno nezavisne. Uo imo da nezavisne i jednako distribuirane slu ajne varijable imaju jednako o ekivanje i varijancu. Primjer 1. Neka je X n aritmeti ka sredina nezavisnih jednako distribuiranih slu ajnih varijabli X 1,..., X n, a (X n, n N) pripadni niz aritmeti kih sredina. Ako je E[X n ] = µ, V arx n = σ 2, onda je: E[X n ] = µ, V arx n = σ2 n. Na niz (X n, n N) moºemo primjeniti slabi zakon velikih brojeva tj. za svaki ɛ > 0 vrijedi: lim n P { X n µ ɛ} = 0. Centralni grani ni teoremi govore pod kojim uvjetima niz funkcija distribucija standardiziranih suma slu ajnih varijabli konvergira prema funkciji distribucije standardne normalne distribucije. 14

15 Denicija 17 (Konvergencija po distribuciji). Neka je (X n, n N) niz slu ajnih varijabli, a (F n, n N) pripadni niz funkcija distribucija. Ako postoji funkcija distribucije F takva da F n (x) F (x), za svaki x u kojem je F neprekidna, tada kaºemo da niz slu ajnih varijabli (X n, n N) konvergira po distribuciji prema slu ajnoj varijabli X, ija je F funkcija distribucije i pi²emo X n D X. Teorem 6 (Lévy). Neka je (X n, n N) niz nezavisnih jednako distribuiranih slu ajnih varijabli s o ekivanjem µ i varijancom σ 2, te S n n-ta parcijalna suma tog niza. Tada vrijedi: S n E[S n ] V arsn D Z N (0, 1). Na primjer, primjenom centralnog grani nog teorema na aritmeti ku sredinu nezavisnih i jednako distribuiranih slu ajnih varijabli (X n, n N), s o ekivanjem µ i varijancom σ 2 slijedi: n X n µ σ D Z N (0, 1) tj. aritmeti ka sredina X n asimptotski ima N ( µ, σ2 n ) distribuciju. 15

16 3 Statistika 3.1 Statisti ki modeli Statisti ko zaklju ivanje se temelji na statisti kim modelima. Statisti ki model je familija funkcija distribucije koja se uzima u obzir za zaklju ivanje o danom problemu. P je oznaka koju emo koristiti za statisti ki model. U ovom radu emo se baviti samo parametarskim statisti kim modelima, tj. modelima kod kojih je familija distribucija poznata do na parametar. Parametar emo ozna avati s θ = (θ 1,..., θ k ), a prostor dozvoljenih vrijednosti parametara s Θ. Najjednostavniji statisti ki model je model jednostavnog slu ajnog uzorka. Denicija 18. Statisti ki model zovemo model jednostavnog slu ajnog uzorka iz funkcije distribucije F ako za slu ajni vektor X = (X 1,..., X n ) ija je realizacija (x 1,..., x n ) vrijedi: slu ajne varijable X 1,..., X n su nezavisne, sve slu ajne varijable X 1,..., X n imaju istu funkciju distribucije F. Promatrana veli ina u ovim modelima je slu ajna varijabla sa svojom funkcijom distribucije F. Slu ajan vektor X = (X 1,..., X n ) emo zvati slu ajan uzorak, a njegovu realizaciju samo uzorak. Denicija 19 (STATISTIKA). Neka je t: R n S izmjeriva funkcija, gdje je S R k, X = (X 1,..., X n ) slu ajan uzorak, tj. X : Ω R n. Kompoziciju funkcije t i slu ajnog uzorka X zovemo statistika i ozna avamo s T, odnosno T = t(x) = t(x 1,..., X n ): Ω S. Funkciju distribucije moºemo odrediti na temelju podataka. Takvu funkciju distribucije zovemo empirijska funkcija distribucije [4, str. 418] Denicija 20. Neka je (X 1,..., X n ) slu ajan uzorak iz funkcije distribucije F. Funkciju F n : R [0, 1] deniranu s F n (x) = broj X i-ova koji su x, x R n zovemo empirijska funkcija distribucije od F bazirana na uzorku X 1,..., X n. F n (x) je slu ajna varijabla i vrijedi F n (x) = 1 n I {Xi x}, x R. 16

17 Sljede i teorem pokazuje da ako imamo veliki broj podataka tada empirijska distribucija odgovara funkciji distribucije statisti kog modela. Teorem 7 (Glivenko-Cantelli). Neka je X jednostavan slu ajan uzorak iz distribucije F, te neka je F n (x) empirijska funkcija distribucije slu ajnog uzorka. Tada vrijedi: P { lim sup F n (x) F (x) = 0 } = 1 n x R Dokaz. Izaberemo k N i podjelimo interval [0, 1] na ekvidistantne djelove: [0, 1] = [0, 1] [ 1, 2]... [ k 1, 1]. k k k k Za svaki i = 1,..., k deniramo: x i,k := min{x R : i k F (x)}, x 0,k =, x k+1,k =. Za svaki x R i za izabrani k postoji i {0, 1,..., k 1} takav da je x (x i,k, x i+1,k ] te vrijedi: F (x i+1,k ) F (x) 1 k, F (x) F (x i,k ) 1 k, odnosno F (x) se od F (x i 1,k) i F (x i,k ) ne razlikuje za vi²e od 1 k. Slijedi: F n (x) F (x) F n (x i+1,k ) F (x i+1,k ) + 1 k, F n (x) F (x) F n (x i,k ) F (x i,k ) 1 k. Sada je sup F n (x) F (x) max F n(x i,k ) F (x i,k ) + 1 x R,...,k k. Jaki zakon velikih brojeva garantira lim F n (x i,k ) F (x i,k ) = 0 g.s. n Ako sa A i,k ozna imo sljede i skup A i,k = {ω Ω : lim n F n (x i,k ) F (x i,k ) = 0} iz prethodnog razmatranja slijedi da je P (A i,k ) = 1 za svaki i = 1,..., k, odnosno P (A C i,k ) = 0. Denirajmo nove skupove: A k = {ω Ω : lim max F n n(x i,k ) F (x i,k ) = 0}.,...,k Trebamo dokazati da je vjerojatnost skupa A = {ω Ω : lim n sup x R F n (x) F (x) = 0} jednaka 1. Iz denicije skupova A k i A i,k vidimo da je: k k A k = A i,k, A C k = A C i,k, Primjenom pravila vjerojatnosti dobivamo: 0 P (A C k ) k P (A C i,k) = 0 P (A C k ) = 0 pa je P (A k ) = 1 17

18 Za skup A vrijedi: k N A k A. A C k N AC k Primjenom vjerojatnosti i pravila σ-subaditivnosti vjerojatnosti vrijedi: ( P (A C ) P k N A C k ) P (A C k ) = 0 k N Iz toga slijedi da je P (A) = 1. Da bi statisti ki model bio koristan za procjenu parametara, on mora biti odrediv. Denicija 21. Neka je P = {F θ (x) : θ Θ} parametarski statisti ki model i Θ R k prostor dozvoljenih vrijednosti parametara. Parametar θ Θ je odrediv ako za svaki θ 1 θ 2, pri emu su θ 1,θ θ 2 Θ vrijedi F θ1 F θ2. Denicija 22. Pretpostavimo da slu ajni vektor X = (X 1,..., X n ) ima funkciju distribucije F θ gdje je θ Θ. Kaºemo da je familija distribucija P = {F θ : θ Θ R k } k-parametarska eksponencijalna familija distribucija ako se funkcija gusto e svake F θ P moºe prikazati u obliku: { k } f(x; θ) = exp c i (θ)t i (x) d(θ) + S(x) I A (x) (2) pri emu je x = (x 1,..., x n ), A ne ovisi o θ, c i : Θ R, T i : R n R. Denicija 23 (Dovoljne statistike). Neka je X = (X 1,..., X n ) slu ajan uzorak iz parametarskog statisti kog modela P = {F θ (x) : θ Θ} i neka je T = t(x), t: R n R k statistika. Kaºemo da je T dovoljna statistika za θ ako za svaki t R k, t = t(x 1,..., x n ), uvjetna distribucija slu ajnog uzorka X uz uvjet T = t ne ovisi o θ tj. P θ {X A T = t} ne ovisi o θ. Ako X ima funkciju gusto e f(x; θ) onda je T dovoljna statistika ako vrijedi f X T (x; θ t) = h(x), gdje je h neka funkcija koja ne ovisi o θ. Teorem 8 (Neymanov teorem faktorizacije). Neka je X slu ajan uzorak iz statisti kog modela P = {f(x; θ) : θ Θ}. Statistika T = t(x), t: R n R k je dovoljna za θ ako i samo ako se funkcija gusto e slu ajnog vektora X moºe faktorizirati kao: f(x; θ) = g θ (t(x)) h(x), gdje je g θ : R k R, h: R n [0, ), za svaki θ Θ. Neymanov teorem faktorizacije tvrdi da je statistika dovoljna ako funkciju gusto e moºemo napisati kao produkt dviju funkcija, od kojih jedna ovisi o danoj statistici, a druga ovisi samo o uzorku. 18

19 Denicija 24 (Minimalna dovoljna statistika). Dovoljna statistika T je minimalna dovoljna statistika ako je T funkcija svake druge dovoljne statistike S, tj. ako postoji funkcija ψ S takva da je T = ψ S (S). Teorem 9. Neka je familijom funkcija gusto e {f(x; θ) : θ Θ} zadan parametarski statisti ki model za X i neka su x, y bilo koje dvije realizacije za koje je f(x; θ) > 0, f(y; θ) > 0 za neki θ Θ. Ako za svake dvije takve realizacije x, y vrijedi f(x; θ) f(y; θ) = τ(x, y) t(x) = t(y), onda je T = t(x) minimalna dovoljna statistika za θ. Sljede i teorem govori o minimalnoj dovoljnosti statistika u klasi eksponencijalnih distribucija. Teorem 10. Neka je slu ajni vektor X s pripadnom funkcijom gusto e f(x; θ) lan eksponencijalne klase [ k ] f(x; θ) = exp c i (θ)t i (x) d(θ) + S(x) I A (X), gdje je θ Θ R k. Tada je T (X) = (T 1 (X),..., T k (X)) k-dimenzionalna dovoljna statistika, a ako su c i (θ) mežusobno nezavisne onda je ona minimalna dovoljna statistika. Denicija 25 (Potpuna statistika). Neka je P = {f(x; θ) : θ Θ} parametarski statisti ki model. T je potpuna statistika ako za svaku izmjerivu funkciju g vrijedi: E θ [g(t )] = 0, za svaki θ θ g(t ) = 0 gotovo sigurno. 3.2 Procjena parametara Modeli koje prou avamo u ovom radu su parametarski modeli. Oni su nam poznati do na nepoznati parametar θ Θ R k. Budu i da nam je parametar nepoznat, cilj nam je na temelju podataka procijeniti vrijednost parametra. S θ ozna avamo pravu vrijednost nepoznatog parametra, a ˆθ nazivamo procjenitelj. Preciznu deniciju navodimo u nastavku. Denicija 26. Neka je P = {F θ : θ Θ R k } parametarski statisti ki model, θ k-dimenzionalni parametar, Θ prostor dozvoljenih vrijednosti parametara. Neka je X = (X 1,..., X n ) slu ajan uzorak s distribucijom iz danog modela i t: R n Θ funkcija. Slu ajan vektor T = t(x) jest procjenitelj za θ. 19

20 Denicija 27. Neka je X slu ajan uzorak s distribucijom iz parametarskog statisti kog modela P = {F θ : θ Θ R k }, T procjenitelj na temelju slu ajnog uzorka X, te neka je ˆθ procjena parametra na temelju jedne realizacije slu ajnog uzorka. Tada funkciju L: Θ Θ [0, ); L(ˆθ, θ) zovemo funkcija gubitka. Za svaki θ funkcija gubitka je slu ajna varijabla, pa joj moºemo odrediti o ekivanje. Denicija 28. Neka je X slu ajan uzorak s distribucijom iz parametarskog statisti kog modela P = {F θ : θ Θ R k }, T procjenitelj na temelju slu ajnog uzorka, te neka je L odabrana funkcija gubitka. Tada R(T, θ) = E θ [L(T, θ)] zovemo funkcija rizika. Napomena 4. Ako za funkciju gubitka uzmemo funkciju L(x, y) = (x y) 2, tada je funkcija rizika na temelju takve funkcije gubitka R(T, θ) = E θ [T θ] 2 i zovemo je srednje-kvadratna pogre²ka. Funkciju gubitka zovemo kvadratna gre²ka. Denicija 29 (Nedopustivi procjenitelj). Za danu funkciju gubitka L, procjenitelj T je nedopustiv za θ ako postoji procjenitelj T 1 takav da je R(T 1 ; θ) R(T ; θ), za svaki θ Θ, R(T 1 ; θ 0 ) < R(T ; θ 0 ), za neki θ 0 Θ. Procjenitelj je nedopustiv ako postoji neki drugi procjenitelj koji ima manju funkciju rizika. Glavni cilj nam je prona i procjenitelj koji ima ²to manju funkciju rizika. Denicija 30 (Nepristranost). Neka je P = {F θ : θ Θ R k } parametarski statisti ki model, θ k-dimenzionalni parametar. Procjenitelj T za parametar θ je nepristran ako za svaki θ Θ vrijedi: E θ [T ] = θ. Srednjekvadratna pogre²ka nepristranog procjenitelja jednaka je varijanci procjenitelja za parametar θ. Funkciju b θ (T ) = E θ T θ zovemo pristranost procjenitelja. Ako je procjenitelj nepristran pristranost ima vrijednost nula. Teorem 11. Neka je dan statisti ki model P = {F θ : θ Θ R k } i neka je S 0 familija svih procjenitelja za θ koji imaju varijancu σ0. 2 Ako postoji nepristran procjenitelj iz te familije, onda on ima najmanju srednjekvadratnu pogre²ku mežu svim procjeniteljima iz S 0. Teorem 12 (Rao-Blackwell). Neka je X jednostavan slu ajan uzorak iz parametarskog statisti kog modela P = {F θ : θ Θ R k } i neka je T = t(x) dovoljna statistika za parametar θ Θ. Neka je dana funkcija g : Θ R i S = s(x) nepristrani procjenitelj za g(θ) kona ne varijance za svaki θ Θ. Deniramo li S = E θ [S T ], onda je: 20

21 S nepristran za g(θ) V ar θ S < V ar θ S osim ako je P θ {S = S} = 1. Dokaz. Neka je S = E θ [S T ] procjenitelj, T dovoljna statistika. Pokaºimo da je nepristran procjenitelj za g(θ). E θ S = E θ [E[S T ]] = E θ S = g(θ) ime smo pokazali da je S nepristran procjenitelj. Pokaºimo da vrijedi i druga tvrdnja. O ito je V ar θ S = E θ [S g(θ)] 2 = E θ [S S + S g(θ)] 2 = E θ [S S ] 2 + E θ [S g(θ)] 2 + 2E θ [(S S )(S g(θ))] (3) te Takožer vrijedi E θ [S S ] 2 0, E θ [S g(θ)] 2 = V ar θ S. E[(S S )(S g(θ))] = E[(S E(S T ))(E(S T ) g(θ))] = E[E[(S E(S T ))(E(S T ) g(θ))] T ] = E[(E[S T ] g(θ)) T ] E[S E[S T ] T ] = 0, jer je E[S E[S T ] T ] = E[S T ] E[S T ] = 0. Uvr²tavaju i u (3) dobivene rezultate slijedi: V ar θ S = E θ [S S ] 2 + V ar θ S V ar θ S. Iz prethodnog ra una je vidljivo da je V ars < V ars osim u slu aju kad je P θ {S = S} = 1. Svaki nepristrani procjenitelj trebao bi biti funkcija dovoljne statistike. Ako to nije tako onda primjenom ovog teorema dobivamo procjenitelj manje varijance. Procjenitelja S zovemo Rao- Blackwellov procjenitelj, a postupak dobivanja tog procjenitelja zovemo Rao-Blackwellizacija. Teorem 13 (Lehman-Schee). Neka je T dovoljna i potpuna statistika za θ i neka je S nepristran procjenitelj za g(θ), g : Θ R kona ne varijance. Tada S = E[S T ] ima najmanju varijancu mežu svim nepristranim procjeniteljima kona ne varijance za g(θ) i jedinstven je po vjerojatnosti gotovo sigurno za svaki θ Θ. 21

22 Dokaz. Neka je V neki drugi nepristrani procjenitelj kona ne varijance, tj. E θ [V ] = g(θ), V ar θ V <. Nadalje, denirajmo V = E θ [V T ], gdje je T dovoljna i potpuna statistika. Sada prema prethodnom teoremu slijedi da je V arv V arv. Sada, za svaki θ Θ vrijedi 0 = g(θ) g(θ) = E θ [S ] E θ [V ] = E θ [S V ] Zbog potpunosti od T zaklju ujemo = E θ [E[S T ] E[V T ]] = E θ [h(t )]. P θ {h(t ) = 0} = 1, za svaki θ Θ iz ega slijedi P θ {S = V } = 1, za svaki θ Θ. Ako u modelu postoji potpuna i dovoljna statistika T, te ako nažemo nepristran procjenitelj S, onda postoji jedinstveni nepristrani procjenitelj minimalne varijance S = E[S T ]. U nastavku navodimo jo² neka bitna svojstva procjenitelja kao ²to su ekasnost, konzistentnost, te asimptotska nepristranost. Denicija 31. Neka je P = {F θ : θ Θ R k } parametarski statisti ki model. Ako su ˆθ 1, ˆθ 2 Θ R k nepristrani procjenitelji za nepoznati parametar θ Θ R k, takvi da je V ar ˆθ 1 < V ar ˆθ 2, onda kaºemo da je procjenitelj ˆθ 1 ekasniji od procjenitelja ˆθ 2. Zbog jednostavnosti, konzistentnost i asimptotsku normalnost emo denirati za jednodimenzionalni parametar tj. Θ R. Denicija 32. Neka je P = {F θ : θ Θ R} parametarski statisti ki model, a θ jednodimenzionalni parametar. Procjenitelj T je konzistentan ako za pripadni niz procjenitelja T n = t(x 1,..., X n ), n N, za svaki ɛ > 0 i θ Θ vrijedi lim P θ{ T n θ > ɛ} = 0. n Denicija 33. Neka je P = {F θ : θ Θ R} parametarski statisti ki model, θ jednodimenzionalni parametar te neka je T n = t(x 1,..., X n ), n N niz procjenitelja za parametar θ. Kaºemo da je T n asimptotski normalan za θ ako postoji niz nenegativnih brojeva a(n) takvih da je T n θ a(n) D Z N (0, 1) za dovoljno veliki n. 22

23 4 Metode procjene parametara U ovom poglavlju emo obraditi naj e² e metode za procjene parametara u parametarskim statisti kim modelima, a to su metoda supstitucije, metoda momenata i metoda maksimalne vjerodostojnosti. 4.1 Metoda supstitucije Princip supstitucije se temelji na fundamentalnom teoremu matemati ke statistike, Glivenko-Cantelli teoremu (vidi teorem 7). Metodom supstitucije ºelimo procijeniti parametre koji ovise o funkciji distribucije slu ajnog uzorka F. Takve parametre zovemo funkcionalni parametri. Primjer 2. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak s funkcijom distribucije F. nepoznati parametar µ = E[X 1 ] µ(f ) = x df (x), ili nepoznati parametar σ 2 = V ar(x 1 ) σ 2 (F ) = (x µ(f )) 2 df (x). Odredimo procjenu funkcije distribucije F. Procjenu distribucije emo ozna iti s ˆF. Zatim na temelju procjenjene funkcije distribucije procjenjujemo funkcionalni parametar ˆθ = θ( ˆF ). Funkciju distribucije moºemo procjeniti s empirijskom funkcijom distribucije za jednostavan slu ajan uzorak, odnosno: F n (x) = 1 n I {Xi x}. Vrijedi E[F n (x)] = 1 n P {X i x} = P {X 1 x} = F (x), odnosno empirijska funkcija distribucije je nepristran procjenitelj za procjenu funkcije distribucije jednostavnog slu ajnog uzorka. 23

24 4.1.1 Primjeri procjene parametara metodom supstitucije Princip supstitucije emo objasniti na jednom poznatom primjeru. Primjer 3 (LORENZOVA KRIVULJA). Lorenzova krivulja pokazuje neravnomjernost u raspodjeli dohotka nekog gospodarstva. S g F : [0, 1] [0, 1] emo ozna iti postotak dohotka koji posjeduje 100t% najsiroma²nijih stanovnika nekog gospodarstva. Funkciju g F deniramo s: g F (t) = t F 1 (s)ds 0 1 F 1 (s)ds 0, gdje je F 1 (s) = inf {x : F (x) s}, s (0, 1). Na x-osi prikazujemo kumulativan postotak stanovni²tva, a na y-osi kumulativne postotke dohotka najsiroma²nijih. Plava krivulja prikazuje jednu realnu Lorenzovu Slika 1: Primjer Lorenzove krivulje krivulju, dok zelena krivulja prikazuje idealnu Lorenzovu krivulju tj. krivulju gdje je bogatstvo idealno rasporeženo. To je situaciju gdje 100i% najsiroma²nijih posjeduje 100i% bogatstva za svaki i [0, 1]. 24

25 4.2 Metoda momenata Metoda momenata je jedna od prvih metoda za procjenu parametara koju je uveo K. Pearson ( ). Metoda se temelji na tome da su izra unate vrijednosti statisti kih momenata na temelju slu ajnog uzorka X 1,..., X n bliske teorijskim vrijednostima momenata vjerojatnosne distribucije koja je pretpostavljena u danom statisti kom modelu. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz distribucije F θ (x). Pretpostavimo da moºemo denirati k funkcionalnih parametara koji ovise o θ: η 1 (F ) = g 1 (θ) η k (F ) = g k (θ),. (4) gdje su g 1,..., g k nepoznate funkcije. η 1 (F ),..., η k (F ) procijenimo s η 1 (F n ),..., η k (F n ). Ako postoji jedinstveno rje²enje ˆθ sustava: η 1 (F n ) = g 1 (θ) η k (F n ) = g k (θ), onda je ˆθ procjena parametra θ metodom momenata. Za funkcije η koristimo momente ili centralne momente. Denirajmo populacijske momente: moment reda k: µ k = EX k, sredi²nji moment reda k: m k = E[X EX] k, i uzora ke momente odnosno momente na temelju podataka: uzora ki moment reda k: A k = 1 Xi k, n centralni uzora ki moment reda k: B k = 1 n Vidimo da vrijedi: A 1 = 1 X i = X n, n B 1 = 0, B 2 = 1 (X i X n ) 2 2 = S n. n 25. (X i A 1 ) k.

26 Dakle, metodom momenata izjedna avamo uzora ke momente i odgovaraju e populacijske momente. Ako imamo k-parametarski statisti ki model onda nam je potrebno k jednadºbi da bi mogli odrediti parametre modela. Napomena 5. Pokazat emo da je A k nepristran, konzistentan i asimptotski normalan procjenitelj za µ k. 1. Nepristranost: Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz parametarskog statisti kog modela P = {F θ : θ Θ R k }, te neka je A r = 1 Xi r, EXi r < i n µ r = E[X r i ]. Tada vrijedi E[A r ] = 1 n E[Xi r ] = 1 n odnosno A r je nepristran procjenitelj za µ r. µ r = µ r, 2. Konzistetnost: Pretpostavimo da je E[X1 2r ] <. V arxi r = E[Xi 2r ] (E[Xi r ]) 2, te neka je (A r (n), n R) niz procjenitelja za µ r. Primjenom slabog zakona velikih brojeva na niz procjenitelja vrijedi: A r (n) P µ r za n odnosno A r je konzistentan procjenitelj za µ r. 3. Asimptotski normalan: Neka je θ = h(a r ) gdje je h neprekidna funkcija, te neka je (A r (n), n R) niz procjenitelja za µ r Tada primjenom teorema o neprekidnoj transformaciji slijedi: h(a r (n)) P h(µ r ) = θ. Primjenom centralnog grani nog teorema vrijedi: A r(n) µ r V ara r(n) D N (0, 1) tj. A r (n) je asimptotski normalan. Teorem 14 (Delta metoda). Neka su X 1..., X n, Y slu ajne varijable, c R, (a n ) niz pozitivnih realnih brojeva, takav da je lim n a n =, te neka: a n (X n c) D Y. Nadalje, neka je g derivabilna funkcija u to ki c. Tada vrijedi: a n [g(x n ) g(c)] D g (c) Y. 26

27 Napomena 6. Kori²tenjem delta metode ra unamo standardnu gre²ku procjenitelja dobivenog metodom momenata. Naime, ako imamo (X 1,..., X n ) jednostavan slu ajan uzorak iz F θ takav da postoji E[X1 2r ], g je derivabilna funkcija za koju vrijedi θ = g(µ r ), tada za niz procjenitelja T n = g(a r (n)) vrijedi: ( ) n D V ar(xi r) g(a r (n)) g(µ r ) g (µ r ) N (0, 1). ( ) T n = g(a r (n)) a N 0, [g (µ r )] 2 V ar(xr 1 ) se n θ (T n ) g (µ r ) V ar(x1 r), gdje je n se θ (T n ) standardna pogre²ka niza procijenitelja dobivenog metodom momenata. Kao ²to smo vidjeli, za metodu momenata je potreban veliki broj podataka kako bi procjenjeni parametri bili dovoljno dobri. Zato metoda momenata esto daje krive procjenitelje za mali broj podataka Primjeri procjene parametara metodom momenata Primjer 4. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz U[ θ, θ], θ > 0. Slu ajna varijabla X iz uniformne distribucije na intervalu [ θ, θ] dana je sljede om funkcijom gusto e f(x) = { 1 2θ, za x [ θ, θ] 0, ina e. Slika 2: Uniformna distribucija na [ 2, 2] 27

28 Primjetimo da je u na²em slu aju µ 1 = 0. Budu i da je prvi moment jednak nula, poku²ati emo s drugim momentom. Dobivamo µ 2 = θ θ Izjedna avaju i A 2 s µ 2 dobivamo x 2 1 2θ dx = 1 2θ A 2 = ˆθ 2 3 x 3 3 θ θ = θ2 3. Dakle, ˆθ = 3A 2 je procjenitelj za θ metodom momenata. Primjer 5. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Γ(α, β). Slu ajna varijabla iz Gama distribucije s parametrima α, β > 0 dana je sljede om funkcijom gusto e: f(x) = { 1 x α 1 e x Γ(α)β α β, x > 0 0, ina e i pi²emo X Γ(α, β), gdje je Gama funkcija Γ: (0, ) R denirana s: Γ(x) = 0 t x 1 e t dt. Imamo da je E[X 1 ] = α β, V arx 1 = αβ 2. Izjedna avanjem uzora kih i populacijskih momenata dobivamo sustav od dvije jednadºbe s dvije nepoznanice (ˆα, ˆβ) : X n = ˆα ˆβ, S n 2 = ˆα ˆβ2. (5) Rije²avanjem sustava (5) dobivamo procjenitelje za parametre α, β metodom momenata: ˆα = X 2 n 2 S, ˆβ = S 2 n. n X n Primjer 6. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz normalne distribucije s parametrima µ R, σ 2 > 0. 28

29 Slika 3: Gama distribucija Slu ajna varijabla X iz N (µ, σ 2 ) dana je sljede om funkcijom gusto e: f X (x) = 1 σ (x µ) 2 2π e 2σ 2 i pi²emo X N (µ, σ 2 ). Ova distribucija je poznata i pod nazivom Gaussova distribucija. Ako je µ = 0, σ 2 = 1 takvu distribuciju zovemo standardna normalna distribucija. Slika 4: Standardna normalna distribucija N (0, 1) Procijenimo parametre µ, σ 2 metodom momenata. E[X] = 1 σ 2π xe (x µ)2 2σ 2 dx = x µ σ = t = 1 2π (σt + µ)e t2 2 dt 29

30 Budu i da vrijedi dobivamo: = 1 ( 2π te t2 2 dt = 0, te E[X] = µ 2π σte t2 2 dt + µ e t2 2 dt ). e t2 2 dt = 2π, uvr²tavanjem u o ekivanje e t2 2 dt = µ 2π 2π = µ. U svrhu odreživanja varijance V arx = E[X 2 ] (E[X]) 2, odredimo najprije E[X 2 ]: Vrijedi pa je E[X 2 ] = 1 σ 2π x 2 e (x µ)2 2σ 2 dx = = 1 2π x µ σ = t = 1 σ 2π (σ 2 t 2 + 2σµt + µ 2 )e t2 2 dt. t 2 e t2 2 dt = 2π te uvr²tavanjem u E[X 2 ] dobivamo E[X 2 ] = σ 2 + µ 2, V ar[x] = σ 2 + µ 2 µ 2 = σ 2. (σt + µ) 2 e t2 2 σdt Izjedna avanjem populacijskih momenata µ i σ 2 s pripadnim uzora kim momentima dobivamo: ˆµ = X n ˆσ 2 = S n 2. Primjer 7. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Laplaceove distribucije. Slu ajna varijabla iz Laplaceove distribucije s parametrima α > 0 i β R dana je sljede om funkcijom gusto e: f(x) = α 2 e α x β, x R. Procjenimo parametre α, β iz danog statisti kog modela. 30

31 Slika 5: Laplaceova distribucija E[X] = xf(x)dx = α 2 xe α x β dx = α 2 β xe α(x β) dx + α 2 β xe α(x β) dx = α(x β) = t, dt = αdx = α 2 [ 0 ( = α 1 2 α 2 ( ) t α + β e t dt α + 0 te t dt + β α 0 0 ( ) t α + β e t dt α ] e t dt + 1 te t dt + β α 2 α 0 0 e t dt Kako je 0 tet dt = 1, 0 et dt = 1, te t dt = 1, e t dt = 1, dobivamo 0 0 ( ) E[X] = α 1 2 α + β 2 α + 1 α + β = 1 2 α 2α + β α + β 2 = β. ). Odredimo: E[X 2 ] = β x 2 f(x)dx = α 2 = α x 2 e α(x β) dx + α 2 2 β x 2 e α x β dx x 2 e α(x β) dx. 31

32 Primjenom iste supstitucije kao i u odreživanju E[X] dobivamo 0 E[X 2 ] = 1 2 = 1 [ 1 2 α 2 ( 0 t α + β ) 2 e t dt + t 2 e t dt + 2β α + 1 t 2 e t dt + 2β α 2 α ( ) 2 t α + β e dt t 0 te t dt + β 2 e t dt ] te t dt + β 2 e t dt. Takožer, vrijedi da je 0 t2 e t dt = 2, t 2 e t dt = 2 te uvr²tavanjem u prethodni 0 izraz dobivamo E[X 2 ] = 1 [ 2 2 α 2β 2 α + β2 + 2 α + 2β ] 2 α + β2 = 2 α + 2 β2, V arx = E[X 2 ] (E[X]) 2 = 2 α 2 + β2 β 2 = 2 α 2. Izjedna avanjem populacijskih i uzora kih momenata dobivamo X n = ˆβ, =. (6) 2ˆα 2 S n 2 Rije²avanjem sustava (6) dobivamo procjenitelje za parametre α, β Laplaceova statisti kog modela metodom momenata: 0 ˆα = 2 S n, ˆβ = X n. 4.3 Metoda maksimalne vjerodostojnosti Metoda maksimalne vjerodostojnosti (Maximum Likelihood Method) je popularna statisti ka metoda za procjenu parametara u parametarskim modelima, jer se moºe primjeniti na najve i dio teorijskih distribucija. Metodu maksimalne vjerodostojnosti je otkrio engleski statisti ar A. Fisher ( ), iako se sli ne metode pojavljuju i u radovima poznatih matemati ara J.H.Lamberta ( ), Bernoullija ( ) i Lagrangea ( ). Neka je X = (X 1,..., X n ) jednostavan slu ajan uzorak iz parametarskog statisti kog modela, te neka je f(x; θ) pripadna funkcija gusto e. Za ksni θ Θ, funkcija f(x; θ) je funkcija gusto e. Ako umjesto ksnog parametra θ ksiramo (x 1,..., x n ) tada dobivamo funkciju vjerodostojnosti, odnosno: 32

33 za ksni θ je (x 1,..., x n ) f(x; θ) funkcija gusto e, za ksni (x 1,..., x n ) je θ f(x; θ) funkcija vjerodostojnosti. Funkciju vjerodostojnosti ozna avamo s L X (θ). Funkcija vjerodostojnosti denirana je na sljede i na in: n P θ {X i = x i }, X i je diskretna slu ajna varijabla, L X (θ) = n f(x i ; θ), X i je neprekidna slu ajna varijabla. Denicija 34. Pretpostavimo da za danu realizaciju slu ajnog uzorka X funkcija vjerodostojnosti L X (θ) postiºe svoj maksimum u vrijednosti S(x). Tada je S(x) procjena parametra θ metodom maksimalne vjerodostojnosti, a S(X) procjenitelj maksimalne vjerodostojnosti, tj. ML-procjenitelj. Problem maksimiziranja L X (θ) je, zbog strogog rasta funkcije ln, analogan problemu maksimiziranja funkcije l X (θ) = ln L X (θ). Napomena 7. Metoda maksimalne vjerodostojnosti ima vrlo vaºno svojstvo invarijantnosti. Neka je φ = g(θ), gdje je g bijektivna funkcija, te neka je ˆθ ML-procjenitelj za θ. Tada je g(ˆθ) ML-procjenitelj za g(θ) = φ. Ako je l X (θ) derivabilna funkcija i θ k-dimenzionalni parametar, odnosno θ = (θ 1,..., θ k ), onda moºemo odrediti l X(θ) θ i za svaki i = 1,..., k, te dobivene funkcije izjedna imo s nulom. Iz tih jednadºbi odredimo procjenu za parametre. Procjenitelje koje dobijemo iz tih jednadºbi zovemo ML-procjenitelji. Svojstva ML-procjenitelja: 1. ML-procjenitelj ne mora biti nepristran, 2. ako je ML-procjenitelj jedinstven, onda je on funkcija bilo koje dovoljne statistike, 3. ako je ML-procjenitelj jedinstven i postoji potpuna dovoljna statistika tada vrijedi: ako je ML-procjenitelj nepristran onda je ujedno i najmanje varijance ako je funkcija od ML-procjenitelja g(ˆθ) nepristran procjenitelj za θ ona je ujedno i minimalne varijance. 33

34 4.3.1 Primjeri procjene parametara metodom maksimalne vjerodostojnosti Primjer 8. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz eksponencijalnog modela s parametrom λ > 0. Slu ajna varijabla X iz eksponencijalne distribucije dana je sa sljede om funkcijom gusto e: { λe f(x) = λx, za x > 0 0, ina e. Slika 6: Eksponencijalna distribucija s parametrom λ = 0.85 Funkcija vjerodostojnosti dana je sljede im izrazom: L X (λ) = n λe λx i = λ n e λ x i, tj. l X (λ) = ln λ n λ Deriviranjem izraza (7) i izjedna avanjem s nula dobivamo: l X (λ) = n n x λ i = 0 λ = 1 l X (λ) = n λ 2 < 0, pa je ˆλ = 1 X n 1 n, x i x i. (7) ML-procjenitelj za λ iz Exp(λ) modela. Primjer 9. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz statisti kog modela N (µ, σ 2 ), θ = (µ, σ 2 ) nepoznati parametar. 34

35 Funkcija vjerodostojnosti za parametar θ = (µ, σ 2 ) je dana s: n n L X (µ, σ 2 1 ) = f(x i ; θ) = (x 2πσ 2 e i µ) 2 2σ 2 = (2π) n 2 (σ 2 ) n 1 2 e 2σ 2 (x i µ) 2 Analogno traºenju maksimuma L X (µ, σ 2 ) traºiti emo maksimum funkcije: l X (µ, σ 2 ) = ln L X (µ, σ 2 ) = ln ((σ 2 ) n2 1 e 2σ 2 (x i µ) 2) = n 2 ln σ2 1 2σ 2 (x i µ) 2. (8) Da bi odredili procjenitelje potrebno je odrediti parcijalne derivacije od (8) po parametrima µ, σ 2. l X µ = 1 (x σ 2 i µ) = 0 n (x i µ) = 0 n x i = nµ µ = 1 x n i, l X = n (x σ 2 2 σ 2 2(σ 2 ) 2 i µ) 2 = 0 n = 1 (x 2σ 2 2(σ 2 ) 2 i µ) 2 / (2(σ 2 ) 2 ) nσ 2 = n (x i µ) 2 σ 2 = Odnosno dobili smo: ˆµ = 1 X n i = X n ˆσ 2 = 1 (X n i ˆµ) 2 = 1 n (x i µ) 2. n (X i X n ) 2 = S2 = 1 n 1 (X i X n ) 2 = n 1 n S2. Iz toga slijedi da je X n ML-procjenitelj za µ, a n 1 n S2 ML- procjenitelj za σ 2. Napomena 8. Usporežuju i procjenitelje koje smo dobili metodom momenata i metodom maksimalne vjerodostojnosti vidimo da su oni isti. U nastavku emo pokazati da nisu oba dobivena procjenitelja nepristrana tj. jedan procjenitelj je nepristran, a drugi nije jer je: E[X n ] = E[ 1 X n i ] = 1 E[ n X n i ] = 1 E[X n i ] = µ, odnosno X }{{} n je nepristran, ali µ E[S n 2 ] = n 1 n σ2 σ 2, pa n 1S 2 n n nije nepristran procjenitelj za σ 2, no za velike n N je E[S n 2 ] = n 1 n σ2 σ 2, odnosno ML-procjenitelj je asimptotski nepristran za σ 2. 35

36 Primjer 10. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz geometrijske distribucije s danom funkcijom gusto e za x = k R(X) = N. Funkcija vjerodostojnosti je dana s f(x; θ) = θ(1 θ) x, L X (θ) = n θ(1 θ) x i = θ n (1 θ) x i, odnosno l X (θ) = ln L X (θ) = n ln θ + x i ln(1 θ). Odreživanjem derivacije od l X (θ) i izjedna avanjem derivacije s nulom dobivamo da je 1 ˆθ = X n + 1 ML-procjenitelj za parametar θ. Prema centralnom grani nom teoremu vrijedi X n EX n V arxn D Y N (0, 1) (9) Takožer, uvr²tavanjem EX n = 1 θ, V arx θ n = 1 θ nθ 2 N (0, 1), odnosno n ( X n u (9) dobivamo ( ) ) 1 θ 1 D Z 1 N (0, 1 θ ). θ 2 Xn 1 θ θ 1 θ n D Z Budu i da je T n funkcija od X n odnosno T n = g(x n ), deniramo funkciju g(x) = 1 x+1. Sada je g (x) = 1 (1+x) 2 te primjenom delta metode dobivamo n(tn θ) = n g(x n ) g( 1 θ 1) D Z 2 N (0, θ 2 (1 θ)) ime smo pokazali da je ML-procjenitelj asimptotski normalan. 36

37 Primjer 11. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Poissonove distribucije s parametrom λ > 0. Poznato je da diskretna slu ajna varijablja X ima Poissonovu distribuciju s parametrom λ > 0 ako su pripadne vjerojatnosti dane s gdje je i R(X) = N 0. λ λi p i = P {X = i} = e i!, Funkcija vjerodostojnosti za Poissonovu distribuciju dana je sljede im izrazom: odnosno ( 1 l X (λ) = ln n λ x i! L X (λ) = n λ x i x i! e λ = λ x i n e nλ, x i! ) ( ) x i 1 e nλ = ln n + x i! x i ln λ nλ. (10) Deriviranjem izraza (10) i izjedna avanjem s nula dobivamo l X (λ) = 1 λ 0 λ = x i x i n =, n l X (λ) = 1 x λ 2 i 0, odnosno druga derivacija je negativna pa X i funkcija vjerodostojnosti postiºe maksimum u ˆλ = = X n n. Dakle, X n je ML-procjenitelj za parametar λ iz Poissonove distribucije. U sljede em primjeru ponovo emo promotriti procjenu parametara iz Laplaceove distribucije, koja je ve denirana u primjeru 7. Primjer 12. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Laplaceove distribucije, a α > 0 i β R nepoznati parametri. te Funkcija vjerodostojnosti je: L X (α, β) = ( ) n α e α n x i β, α > 0, β R 2 l X (α, β) = n ln( α 2 ) α x i β. Na temelju svojstava eksponencijalne funkcije slijedi da funkcija maksimalne vjerodostojnosti za Laplaceovu distribuciju postiºe najve u vrijednost za onaj β R, za 37

38 koji izraz n x i β postiºe najmanju vrijednost, a to vrijedi za β = m gdje je m medijan danog niza podataka. Medijan predstavlja sredi²nji podatak iz sortiranog niza. Da bi odredili medijan niza podataka, podatke je potrebno sortirati. Sortiranjem niza podataka x 1,..., x n, dobivamo sljede i niz brojeva x (1)... x (n) za koji vrijedi x (1)... x (n). Tada je m = x n+1 2 ako je n neparan, a m = x n 2 +x n ako je n paran. Medijan mo- ºemo promatrati kao slu ajnu varijablu koju emo ozna iti s M. Upravo ta slu ajna varijabla je ML-procjenitelj za parametar β. Nadalje, odreživanjem parcijalne derivacije od l X po α dobivamo l X α = n α x i β = 0 α = n. x i β Budu i da smo β procjenili s M tada za α dobivamo sljede eg procjenitelja: ˆα = n. X i M Usporežuju i procjenitelje koje smo dobili metodom momenata i metodom maksimalne vjerodostojnosti za isti model moºemo uo iti da su oni razli iti, ²to dovodi do zaklju ka da dane metode ne daju uvijek iste procjenitelje. 38

39 Literatura [1] M. Ben²i, N. uvak, Uvod u vjerojatnost i statistiku, Odjel za matematiku, Osijek, [2] N. Grubi²i, Uloga inferencijalne statistike u pobolj²anju proizvodnih procesa -zavr²ni rad, Fakultet strojarstva i brodogradnje, Sveu ili²te u Zagrebu, Zagreb, [3] D. Markovi, Problem procjene parametara u Weibullovom modelu, Disertacija, Zagreb, [4] N. Sarapa, Teorija vjerojatnosti, kolska knjiga, Zagreb,

40 Saºetak U ovom radu smo obradili neke od najpoznatijih metoda za procjenu parametara u statisti kim modelima. Statistika je jedna od najpoznatijih grana primjenjene matematike. Sama matemati ka statistika se temelji na vjerojatnosti pa smo najprije denirali neke za statistiku vaºne pojmove iz vjerojatnosti kao ²to su slu ajna varijabla, slu ajni vektor, zatim vaºne numeri ke karakteristike slu ajnih varijabli kao ²to su o ekivanje i varijanca, te bitne pojmove o nizovima slu ajnih varijabli, jer se statistika temelji na nizovima podataka, koje modeliramo slu ajnim varijablama. Potom smo denirali pojmove vezane uz statistiku, kao ²to je jednostavan slu ajan uzorak, empirijska distribucija, statistika i drugo. U posljednjem i glavnom poglavlju ovog rada obradili smo sljede e metode za procjene parametara: metodu supstitucije, metodu momenata i metodu maksimalne vjerodostojnosti, te smo promatrane metode primjenili na nekim vaºnim distribucijama kao ²to su uniformna, Poissonova, geometrijska, Laplaceova i najvaºnija Gaussova distribucija. 40

41 Title and summary In this thesis, we have covered some of the most popular methods for estimating parameters in statistical models. Statistics is one of the most popular branches of applied mathematics. Mathematical statistics is based on probability, so we rst dened some important terms of probability theory such as a random variable, random vector and also important numerical characteristics of random variables, such as the expectation and variance, and important terms like sequence of the random variables, because the statistics are based on data sets which are modeled by random variables. Then we dene some basic terms related to statistics, such as a simple random sample, empirical distribution, statistics and others. In the last and the main section of the paper we dened in details the following methods for parameter estimation: substitution method, method of moments and maximum likelihood method, and we also applied them on some important distributions such as Uniform, Poisson, Geometric, Laplace and the most important Gauss distribution. 41