MATEMATIČKA STATISTIKA

Transcript

1 MATEMATIČKA STATISTIKA Bilješke s predavaja (prof. dr. sc. Miljeko Huzak akademske godie 04./05. Natipkao i uredio: Kristija Kilassa Kvaterik Ova skripta služi samo kao pomoć u praćeju predavaja iz istoimeog kolegija i e može zamijeiti prisustvovaje a jima. Zahvaljujem se svim kolegama i kolegicama koji su dosad ukazali a greške u skripti i time omogućili jeo poboljšaje. Zagreb, ožujak 06.

2 Sadržaj 0 Uvod 0. Slučaje varijable i vektori Fukcije slučajih varijabli/vektora Matematičko očekivaje Uvjeto matematičko očekivaje. Prostor L. Teorem o projekciji Uvjeto očekivaje Osovi pojmovi matematičke statistike 0. Statistička struktura Dovolje statistike Potpue statistike Ekspoecijale familije Statistička procjea Nepristrai procjeitelji Nepristrai procjeitelji uiformo miimale varijace Efikasi (učikoviti procjeitelji Procjea metodom maksimale vjerodostojosti Nizovi procjeitelja Kozistetost i asimptotska ormalost MLE Zadatci Testiraje statističkih hipoteza 7

3 Poglavlje 0 Uvod 0. Slučaje varijable i vektori Neka je (Ω, F proizvolja izmjeriv prostor i eka je još da izmjeriv prostor (R k, B(R k za k. Defiicija 0.. Slučaja varijabla (k = ili slučaji vektor (k > je izmjerivo preslikavaje X : (Ω, F (R k, B(R k, tj. takvo preslikavaje za koje vrijedi X (, x] F, x R k. Pritom za x = (x,..., x R k, k, imamo, x] :=, x ]..., x k ]. Neka je (Ω, F, P vjerojatosi prostor. Defiicija 0.. Neka je X : Ω R k s.v. defiira a (Ω, F, P. Iducirau vjerojatost P X : B(R k [0, ] defiirau s P X (B := P(X B = P(X (B zovemo zakoom razdiobe od X. Očito je (R k, B(R k, P X vjerojatosi prostor. Zovemo ga iducirai vjerojatosi prostor. U statistici as zaima takav prostor. Defiicija 0.3. Neka je X s.v. sa zakoom razdiobe P X. Fukciju F = F X : R k [0, ] defiirau s F X (x := P X (, x], x R k, zovemo fukcija distribucije od X. Svojstva fukcije distribucije F X (u slučaju k = : ( eprekida je zdesa, tj. F X (x+ = F X (x; ( eopadajuća je: x, x R, x < x, x ], x ] F X (x F X (x ;

4 Iz svojstava ( i ( slijedi da F X ima limese slijeva u svakoj točki. Još jedo svojstvo jest: (3 F X ( := lim F X(x = 0, F X (+ := lim F X(x =. x x + Svojstva fukcije distribucije F X (u slučaju k : ( eprekida je zdesa; Za fukciju g : R k R defiiramo bi a i g(a,..., a k := g(a,..., a i, b i, a i+,..., a k g(a,..., a i, a i, a i+,..., a k, Sada imamo b a g(a := bk a k ( ( b a ( b a g(a. ( za sve a, b R k, b a, vrijedi b a F X (a 0; U slučaju jede koordiate dobivamo F X (b F X (a 0 (tj. svojstvo ( fukcije distribucije slučaje varijable. U slučaju k = je a, b] = a, b ] a, b ] pa imamo b a F X (a = b a ( b a F X (a, a Iduće je svojstvo = b a (F X (b, a F X (a, a = (F X (b, b F X (b, a (F X (a, b F X (a, a = P X (, b ], b ] P X (, b ], a ] P X (, a ], b ] + P X (, a ], a ] = P X ( a, b] 0. (3 lim x i F X(x,..., x k = 0, i =,..., k, lim x +. x k + F X (x,..., x k =. Defiicija 0.4. Svaku fukciju F : R k [0, ] koja ima svojstva (, ( i (3 zovemo vjerojatosa fukcija distribucije. Ako je F vjerojatosa fukcija distribucije, oda postoji vjerojatosi prostor i a jemu defiiraa slučaja varijabla/vektor takav da je F fukcija distribucije te slučaje varijable/vektora. Naime, a skupu S = { a, b]: a, b R k, a b} (koji je geerator Borelove σ-algebre B(R k defiiramo vjerojatosu mjeru sa P F ( a, b] := b a F (a. Tada je (R k, B(R k, P F vjerojatosi prostor. Na jemu defiiramo slučaju varijablu/vektor Vrijedi X : R k R k, X(ω := ω. 3

5 F X (x = P F ({ω R k : X(ω x} = P F ({ω R k : ω x} = P F (, x] = F (x. Dakle, F je fukcija distribucije s.v. X. Defiicija 0.5. Kažemo da je X eprekida slučaja varijabla ukoliko je jea fukcija distribucije F X apsoluto eprekida, tj. ako postoji fukcija f : R k [0, takva da F X (x = x Fukciju f zovemo fukcija gustoće od X. f(ydλ(y. Precizo, ako je P X λ, prema Rado - Nikodymovom teoremu postoji dp X dλ f takva da P X (B = f dλ, B =, x]. B Dakle, fukcija gustoće f je Rado - Nikodymova derivacija iducirae vjerojatosti P X u odosu a Lebesgueovu mjeru λ. Za fukciju gustoće eprekide slučaje varijable vrijedi R k f(xdλ(x =. Obrato, eka je f : R k [0, takva da vrijedi gorja jedakost. Tada je sa F (x := f(ydλ(y,x] defiiraa vjerojatosa fukcija distribucije. Defiicija 0.6. Slučaja varijabla/vektor X je diskreta ukoliko postoji prebrojiv podskup D B(R k takav da P X (D =. Neka je D = {a, a,...} i P X (D =. Defiirajmo mjeru µ D a (R k, B(R k µ D (B := i {ai }(B = B D. µ D se aziva brojeća mjera i oa je σ-koača. Tada je P X apsoluto eprekida mjera u odosu a µ D i, jer je g dµ D = g(a i, vrijedi A a i A dp X (a i dµ } D {{} = {a i } dp X dµ D dµ D = P X ({a i } }{{}. f X (a i = P(X = a i 4

6 0. Fukcije slučajih varijabli/vektora Neka je X : Ω R k s.v. i eka je g : R k R l Borelova fukcija. Tada je Y := g X = g(x: Ω R l takoder s.v. Za koje se g eprekide s.v. preslikaju u eprekide s.v.? Zadatak 0... Ako je X eprekida slučaja varijabla s gustoćom f, tada je i Y = X eprekida slučaja varijabla. Pokažite to i adite gustoću varijable Y. Rješeje. Za y R imamo F Y (y := P(Y y. Ukoliko je y 0, imamo { F Y (y = P(X P( = 0, y < 0, y = P(X = 0 = 0, y = 0. Ukoliko je y > 0, imamo F Y (y = P(X y = P( y X y = y Za oba itegrala koristimo zamjeu varijabli čime dobivamo F Y (y = a pri čemu je = 0 y y 0 g : y, 0 0, y, y f(xdx = 0 y g : 0, y 0, y, g (x = x = z, g (x = x = z, dx = dz dz, dt = z z, f( z y z dz + f( z 0 z dz = z (f( z + f( zdz = g(z := y 0 y y f(xdx + f(xdx. 0 f( z y f( z dz + z 0 z dz g(zdz, { 0, z 0, (f( z + f( z, z > 0. z Dakle, Y je eprekida slučaja varijabla s gustoćom g. Ako je, a primjer, X N(0,, tada je f(x = π e x, pa je g(x = ( e ( x π dz g x + e ( π x = pa vidimo da je X Γ (,, odoso X χ (. Primijetimo još i da je f Y (z = f(g (z d (z Im g (z + f(g (z d π / x e x, dz g (z Im g (z. 5

7 Zadatak 0... Neka su X, X ezavise jedako distribuirae slučaje varijable iz U(0,. Defiirajmo Y := log X cos(πx, Y := log X si(πx. Pokažite da su Y, Y ezavise jedako distribuirae slučaje varijable iz N(0,. Rješeje. Defiirajmo fukciju g : 0, 0, R, g(x, x := (y, y, pri čemu je y = log x cos(πx, y = log x si(πx. Tada je g(x, X = (Y, Y. Nadalje, (X, X je eprekida s gustoćom f X,X (x, x = f X (x f X (x = 0, 0, (x, x. Koristeći teorem o zamjei varijabli pokušat ćemo gustoću vektora (Y, Y prikazati u obliku produkta margialih gustoća. Uočimo da fukcija g ije ijekcija - zato je za primjeu teorema o zamjei varijabli potrebo odrediti itervale ijektivosti od g. Imamo y + y = log x x = e y +y, čime je x u potpuosti odrede. Za odredivaje x razlikujemo ekoliko slučajeva: 0 < πx < π 0 < x < 4 Vrijedi y = tg(πx x = y π arctg y, y pa defiiramo bijektivu fukciju (od. je iverz g : 0, 0, ( 0, 0, = Im g, g (y, y = 4 e y +y, π arctg y. y π < πx < 3π 4 < x < 3 4 Budući da je Im arctg = π, π, koristimo periodičost fukcije tages i čijeicu da je π < πx π < π y = tg(πx π x = y + π arctg y, y pa defiiramo g : 0, 4, π < πx < π 3 4 < x < (, 0 R = Im g, g (y, y = e y +y, + π arctg y y Sličo kao u prethodom slučaju, vidimo da je π < πx π < 0 pa slijedi te defiiramo 3 g 3 : 0, 4, y y = tg(πx π x = + π arctg y y, ( 0,, 0 = Im g 3, g3 (y, y = 6 e y +y., + π arctg y y.

8 Vrijedi Jg (y, y = abs y e y +y y e y +y y π(y +y y π(y +y Sada je gustoća od (Y, Y daa s pa slijedi = y π e +y = Jg (y, y = Jg f Y,Y (y, y = f X,X (g (y, y Jg (y, y Im g (y, y + f X,X (g (y, y Jg (y, y Im g (y, y + f X,X (g3 (y, y Jg3 (y, y Im g3 (y, y, f Y,Y (y, y = y π e +y ( Im g (y, y + Im g (y, y + Im g3 (y, y = y π e +y R (y, y = y π e +y = e y π e y π, 3 (y, y. a odavde direkto slijedi da su Y i Y ezavise i Y, Y N(0,. Naime, margiale gustoće slučajog vektora (Y, Y su upravo f Y (y = e y e y dy = e y e y dy = e y, R π π π R π π }{{} i potpuo aalogo za f Y. Zadatak Neka su X,..., X ezavise slučaje varijable, ( X i Γ(α i, β, i =,...,. Pokažite da za Y := X X vrijedi Y Γ α i, β. Rješeje. Ukoliko je X Γ(α, β, tada je X eprekida slučaja varijabla s gustoćom gdje je Γ(α = 0 f X (x = Γ(αβ α xα e t α e t dt, α > 0, gama fukcija. x β 0, (x, Pokazat ćemo da tvrdja vrijedi u slučaju =. Općeito se tvrdja dokazuje matematičkom idukcijom po. Dakle, eka su X Γ(α, β, X Γ(α, β, ezavise slučaje varijable. Za z 0 očito imamo f X +X (z = 0. Za z > 0 imamo z f X +X (z = f X (xf X (z xdx = R 0 Γ(α β α xα e x β Γ(α β (z α xα e z x β dx = Γ(α + α β α +α z Γ(α Γ(α β α +α Γ(α + α β α +α z α +α e z β 0 z α +α xα (z x α dx [ = y = x ] = z Γ(α + α β α +α z α +α e z β y α ( y α dy, B(α, α 0 }{{} = 7 =

9 pa slijedi X + X Γ(α + α, β. Pritom je beta fukcija. Γ(α Γ(α Γ(α + α = B(α, α = 0 t α ( t α dt Zadatak Neka su X,..., X ezavise i jedako distribuirae slučaje varijable iz U(0, i eka su mi{x,..., X } = X ( < X ( <... < X ( = max{x,..., X } g.s. tzv. uredaje statistike. (a Pokažite da su X (k slučaje varijable za svaki k =,...,. (b Pokažite da su X (k eprekide slučaje varijable za svaki k =,..., i odredite im fukcije gustoće. Rješeje. (a Neka su X,..., X defiirae a vjerojatosom prostoru (Ω, F, P i eka je x R. Za k =,..., i ω Ω je X (k (ω x ako i samo ako je X j (ω x za barem k ideksa j pa imamo {X (k x} = j A{X j x} {X i x} F, A {,...,} A k i {,...,}\A jer je riječ o koačim uijama i presjecima dogadaja. Dakle, X (k je izmjerivo preslikavaje za svaki k =,..., pa je X (k slučaja varijabla za svaki k =,...,. (b Neka je k {,..., } proizvolja. Dovoljo je pokazati da je fukcija distribucije F X(k g.s. derivabila a R. Za x 0 je F X(k (x = P(X (k 0 = 0 jer je X i 0, za i =,...,. Takoder, za x je F X(k (x = P(X (k = jer je X, za i =,...,. Neka je sada 0 < x <. Imamo {X (k x} c = j A{X j x} {X i x}, A {,...,} A k A {,...,} A k i {,...,}\A pa zbog ezavisosti slučajih varijabli X,..., X i koače aditivosti vjerojatosti imamo F X(k (x = k ( P(X j x P(X }{{} i x = x j ( x j }{{} j j A =x i {,...,}\A = x j=0 k ( F X(k (x = x j ( x j. j j=0 8

10 Odavde vidimo da je F X(k (kao poliom derivabila a 0,. Dakle, jedie točke u kojima f ije derivabila su 0 i, pa zaključujemo da je X (k eprekida slučaja varijabla za svaki k =,...,. Tada je fukcija gustoće za 0 < x < je jedaka ( k ( k ( f X(k (x = F X (k (x = jx j ( x j ( jx j ( x j j j j=0 j=0 ( k ( k ( = jx j ( x j ( j + x j ( x j j j j= j= ( + ( k + x k ( x k k k [( ( ] = j ( j + x j ( x j j j j= }{{} =0 ( + ( k + x k ( x k, k ( f X(k (x = ( k + x k ( x k 0, (x = x k ( x k 0, (x k = Γ(kΓ( k+ Γ(+ x k ( x k 0, (x = pa vidimo X (k B(k, k +, k =,...,. (k!( k!! B(k, k + xk ( x k 0, (x, 9

11 0.3 Matematičko očekivaje Neka je X slučaja varijabla a (Ω, F, P. Vrijedi X = X + X, gdje je X + = max{x, 0} 0, X = max{ X, 0} 0. Defiicija 0.7. Kažemo da slučaja varijabla X = X + X očekivaje ukoliko je barem jeda od itegrala EX + := X + dp, EX := X dp, Ω Ω ima matematičko koača. U tom je slučaju matematičko očekivaje od X, u ozaci EX, jedako EX := EX + EX R. Dakle, slučaja varijabla X ima matematičko očekivaje ako je X, kao izmjeriva fukcija a prostoru vjerojatose mjere (Ω, F, P, itegrabila u odosu a mjeru P. Napomea. Skup L := {X : Ω R X je slučaja varijabla takva da E X < } je vektorski prostor i matematičko očekivaje je lieari fukcioal a L. Po teoremu o zamjei varijabli slijedi EX = XdP = xdp X (x = Ω R xdf X (x. Defiicija. Kažemo da slučaji vektor X = (X,..., X d ima matematičko očekivaje ukoliko svaka kompoeta X,..., X d ima matematičko očekivaje. U tom je slučaju matematičko očekivaje od X vektor EX = (EX,..., EX d R d, EX = xdp(x = xdf X (x. R d R d Napomea. Ako je X diskreta slučaja varijabla sa zakoom razdiobe oda je EX = i EX = xf X (xdx. P(X = a i = p i, i =,,..., a i p i. Ako je X eprekida slučaja varijabla s gustoćom f, oda je Neka je (X, F, µ prostor mjere, (Y, G izmjeriv prostor i f : X Y (F, G-izmjeriva fukcija. Tada je fukcija µf : G [0, ], µf (B := µ(f (B, mjera a (Y, G i za svaku fukciju g : Y R koja je (G, B(R-izmjeriva vrijedi gd(µf = g fdµ, pri čemu jeda od ovih itegrala postoji Y ako i samo ako postoji drugi. Gorja jedakost slijedi ukoliko promatramo prostor mjere (Ω, F, P i stavimo µ = P, f = X, g : R R, g(x = x. Za više detalja pogledati literaturu iz kolegija Mjera i itegral. X 0

12 Poglavlje Uvjeto matematičko očekivaje. Prostor L. Teorem o projekciji Defiirajmo skup L = L (Ω, F, P = {X : Ω R X je slučaja varijabla takva da E X < }. Skup L je vektorski prostor. Defiirajmo preslikavaje, : L L R, X, Y := E(X Y. To je preslikavaje dobro defiirao zbog Cauchy - Schwarzove ejedakosti za matematičko očekivaje. No, to preslikavaje ije skalari produkt jer e vrijedi pozitiva defiitost, tj. vrijedi X, X = 0 X = 0 g.s. Zato promatramo relaciju ekvivalecije X Y X = Y g.s. i odgovarajući kvocijeti skup L := L / uz E[X] := EX. Iduciraa orma jest X = X, X = E(X. Schwarz - Cauchy - Buyakowski ejedakost u L glasi Takoder, vrijedi i jedakost paralelograma E XY X Y. X + Y + X Y = X + Y. Teorem. (Teorem o projekciji. Neka je K potpu potprostor od L. Tada za dau slučaju varijablu X L postoji Y K takva da ( X Y = if{ X W : W K}, ( X Y Z, Z K. Svojstva ( i ( su ekvivaleta. Ako g.s. Ỹ K ima svojstvo ( ili (, tada je Y = Ỹ

13 Dokaz. Defiirajmo := if X W 0. Neka je (Y N K iz takav da X W K Y (taj iz možemo kostruirati koristeći defiiciju ifimuma skupa. Za r, s N prema relaciji paralelograma vrijedi X Y r + X Y s = X (Y r + Y s }{{} + (Y r Y s, } K {{ } pa prelaskom a limes kad r dobijemo + X Y s + lim r Y r Y s, a zatim prelaskom a limes kad s imamo + lim s,r Y r Y s. Dakle, 0 lim Y r Y s 0 pa slijedi lim Y r Y s = 0, tj. (Y N je C-iz pa zbog s,r s,r potpuosti potprostora K postoji Y K takav da Y = lim Y. Sada je X Y X Y + Y Y X Y lim X Y + lim Y Y = + 0, pa vrijedi X Y =. Pokažimo sada da iz ( slijedi (. Za Z K i t R proizvolje je Y + tz K pa je X (Y + tz X Y t R t Z t Z, X Y + X Y X Y t R t Z t Z, X Y 0 t R 4 Z, Y X 4 Z 0 0 Z, Y X = 0. Pokažimo i obrat. Za Z K proizvolja imamo X Z = X Y + (Y Z = X Y + X Y, Y Z + Y Z X Y, }{{} =0 pa vidimo da iz ( slijedi (. Neka slučaje varijable Y, Ỹ zadovoljavaju ( ili (. Imamo = X Ỹ = X Y + Y Ỹ Y Ỹ = 0 Y = Ỹ g.s.

14 . Uvjeto očekivaje Teorem.. Neka je (Ω, F, P vjerojatosi prostor, X slučaja varijabla takva da E X < te G σ-podalgebra od F. Tada postoji slučaja varijabla Y koja ima sljedeća svojstva ( Y je G-izmjeriva (tj. Y (B = {Y B} G, B B(R, ( E Y <, (3 E[Y G ] = E[X G ], G G. Ako je Ỹ eka druga slučaja varijabla sa svojstvima (, ( i (3, tada je Ỹ = Y g.s. Defiicija.3. Slučaja varijabla Y iz iskaza teorema zove se verzija uvjetog matematičkog očekivaja od X uz dao G i pišemo Y = E[X G]. Ako su X, Y dvije slučaje varijable a istom vjerojatosom prostoru i X L, skraćeo pišemo E[X σ(y ] =: E[X Y ] (pritom je σ(y = {Y (B: B B(R}. Napomea. Neka je (X, Y slučaji vektor s fukcijom gustoće f X,Y. Tada za y R takve da f Y (y > 0 defiiramo E[X Y = y] = xf X Y (x ydx, pri čemu je f X Y (x y = f X,Y (x, y (uočimo da je to vjerojatosa fukcija gustoće. f Y (y Sada možemo defiirati tzv. regresijsku fukciju { E[X Y = y] f Y (y > 0 ϕ: R R, ϕ(y := 0 f Y (y = 0 Propozicija.4. ϕ(y je verzija od E[X Y ]. Dokaz. Treba provjeriti da slučaja varijabla Z := ϕ(y zadovoljava svojstva (-(3 iz teorema.. ( Neka je B B(R proizvolja. Imamo R Z (B = (ϕ Y (B = Y (ϕ (B σ(y, }{{} B(R pa vidimo da je Z izmjeriva u odosu a σ(y. ( E ϕ(y = = = = R R R R ϕ(y f Y (ydy = E[X Y = y] f Y (ydy R ( xf X Y (x ydx f Y (ydy x f X Y (x ydx f Y (ydy R f Y (y>0 R ( ( x f X,Y (x, y dxdy = [Fubii] = x f X,Y (x, ydy dx R R R x f X (xdx = E X < 3

15 (3 Neka je G σ(y proizvolja. Tada je G = Y (B = {Y B} za eki B B(R i imamo E[Z G ] = E[ϕ(Y {Y B} ] = ϕ(y B (yf Y (ydy R ( = x fx,y (x, y dx B (yf Y (ydy R R f Y (y ( = xf X,Y (x, y B (ydx dy = [Fubii] R R = x B (yf X,Y (x, ydxdy = E[X B (Y ] = E[X G ]. R Pritom zbog G = Y (B vrijedi G = B Y. Primjer.5. Neka su X,..., X ezavise jedako distribuirae Beroullijeve slučaje varijable s parametrom p = P(X i = 0,. Neka je X := (X,..., X, Y := X X. (a Odredite uvjetu distribuciju slučajog vektora X uz dao Y = k, k {0,,..., }. (b Izračuajte E[X i Y ]. Rješeje. (a Fiksirajmo (x,..., x {0, }, x x = k. Imamo f X Y (x,..., x k = f X,Y (x,..., x, k f Y (k Vrijedi (b Vrijedi = P(X = x,..., X = x, Y = k P(Y = k = P(X = x... P(X = x P(Y = k = P(X = (x,..., x, Y = k P(Y = k = P(X = x,..., X = x P(Y = k = pk ( p ( k pk ( p = ( k k k. {f X Y (x,..., x k > 0} = {0, } {x x = k}, }{{} =:A k i vidimo da je uvjeta distribucija od X uz dao Y = k uiforma a A k. E[X i Y = k] = E[π i (X Y = k] = A k = ( x i = ( k Ak k = ( k ( k = ( k ( k k = k, π i (x,..., x f X Y (x,..., x k A k {x i =0} 0 + A k {x i =} 4

16 pa je regresijska fukcija ϕ: R R, ϕ(x := { k x = k {0,,..., } 0 iače Dakle, jeda verzija od E[X i Y ] je ϕ(y = Y = X X = X. Primjer.6. Neka je (X, Y dvodimezioali ormali slučaji vektor, tj. ( [ ] σ (X, Y (µ, µ, σ σ ρ σ σ ρ σ, < ρ <. Nadite E[X Y ] i E[Y X]. Rješeje. Gustoća vektora (X, Y je daa s { [ (x f X,Y (x, y = π σ σ exp µ ρ x µ x µ ( ]} x µ +. ρ ( ρ σ σ σ σ Takoder zamo da je margiala gustoća [ f Y (y = exp ( ] y µ, σ π σ pa imamo [ f X Y (x y = π σ exp ρ σ( ρ Vidimo da je pa je regresijska fukcija X Y N ( µ + ρ σ (y µ, σ σ ( ρ, E[X Y = y] = µ + ρ σ σ (y µ = ϕ(y. ( x µ ρ σ ] (y µ. σ Dakle, a zbog simetrije je E[X Y ] = µ + ρ σ σ (Y µ, E[Y X] = µ + ρ σ σ (X µ. Dokaz teorema.. Dokaz provodimo kroz ekoliko koraka. g.s.-jedistveost od E[X G] Pretpostavimo da postoje dvije slučaje varijable Y, Ỹ koje zadovoljavaju uvjete (, (, (3 teorema za isti X i istu σ-podalgebru G od F. Iz uvjeta ( i ( slijedi Y, Ỹ 5

17 L (Ω, G, P. Iz uvjeta (3 za proizvolji G G zbog liearosti matematičkog očekivaja slijedi E[(Y Ỹ G] = E[Y G ] E[Ỹ G] = E[X G ] E[X G ] = 0. Pretpostavimo Y Ỹ g.s., tj. P(Y Ỹ > 0. Budući da je {Y Ỹ } {Y > Ỹ } {Y < Ỹ }, slijedi 0 < P(Y Ỹ P(Y > Ỹ + P(Y < Ỹ. Pretpostavimo BSO da je P(Y > Ŷ > 0. Vrijedi { Y > Ỹ + } {Y > Ỹ }, pa zbog eprekidosti vjerojatosti u odosu a rastuće izove dogadaja imamo ( lim P Y > Ỹ + = P(Y > Ỹ > 0, ( pa postoji N takav da P Y > Ỹ + > 0 (u suprotom bi gorji limes bio maji ili jedak uli. { Defiirajmo G := Y > Ỹ + } G. Imamo E[(Y Ỹ G] = 0 i (Y Ỹ G G > 0, pa zbog mootoosti matematičkog očekivaja slijedi 0 = E[(Y Ỹ G] P(G > 0. Kotradikcija. Egzistecija E[X G] za X L Budući da je G σ-podalgebra od F, skup K := L (Ω, G, P je potpu potprostor prostora L = L (Ω, F, P. Primjeom teorema o projekciji (teorem. slijedi da postoji Y K takav da (i E[(Y X ] = if W K E[(W X ], tj. (ii E[(Y XZ] = 0, Z K. Uočimo da za Y očito vrijede svojstva ( i ( iz teorema. Nadalje, za G G vrijedi G K pa slijedi 0 (ii = E[(Y X G ] = E[Y G ] E[X G ], pa vrijedi i svojstvo (3 iz teorema. 3 Egzistecija E[X G] za X L Lema A. Ako je X = X X i Y = E[X G], Y = E[X G], tada Y Y = E[X G]. Dokaz. Očito Y Y zadovoljava svojstva ( i (. Neka je sada G G proizvolja. Imamo E[(Y Y G ] = E[Y G ] E[Y G ] = E[X G ] E[X G ] = E[X G ], pa vidimo da vrijedi i svojstvo (3. 6

18 Tvrdimo da je dovoljo dokazati egzisteciju E[X G] za X L, X 0 (aime, u općem slučaju možemo promatrati dekompoziciju X = X + X i primijeiti lemu A. Neka je X 0 slučaja varijabla iz L. Tada postoji iz ograičeih slučajih varijabli (X takav da X X (pr. X := X {X<}. Tada (zbog ograičeosti vrijedi X L, N. Prema koraku, postoji Y = E[X G], N. Lema B. Neka je U 0 ograičea slučaja varijabla i V = E[U G]. Tada je V 0 g.s. Dokaz. ( Pretpostavimo suproto, tj. P(V < 0 > 0. Tada postoji N takav da P V < { > 0. Defiirajmo G := V < } G. Sada zbog mootoosti matematičkog očekivaja slijedi 0 E[U G ] = E[V G ] ( P V < < 0, što je kotradikcija. Budući da je X + X X + X 0, prema lemi B imamo 0 E[X + X G] g.s. = Y + Y g.s. Y Y + g.s. Defiirajmo Y (ω := lim Y (ω. Po kostrukciji je Y G-izmjeriva pa vrijedi svojstvo (. Takoder, za sve G G imamo Y G Y G g.s. (jer X G X G. Po Lebesgueovom teoremu o mootooj kovergeciji imamo E[Y G ] E[Y G ], E[X G ] E[X G ], pa zbog E[Y G ] = E[X G ], N, slijedi E[Y G ] = E[X G ], od. Y zadovoljava svojstvo (3. Budući da je Y 0 g.s. (prema lemi B, iz svojstva (3 za G = Ω slijedi pa Y zadovoljava i svojstvo (. E Y = EY = E[Y Ω ] = E[X Ω ] = EX <, Teorem.7 (Svojstva uvjetog očekivaja. Neka su X, X σ-podalgebre od F. Tada vrijedi L, N, te G, H (a Ako je Y = E[X G], oda EY = EX (tj. E[E[X G]] = EX, (b Ako je X G-izmjeriva, oda X = E[X G], (c Ako je Y = E[X G], Y = E[X G] i α, α R, oda α Y + α Y = E[α X + α X G], (d Ako je X 0 i Y = E[X G], oda je Y 0 g.s., (e (Teorem o mootooj kovergeciji Ako je 0 X X, Y = E[X G] i Y = E[X G], oda Y Y g.s., 7

19 (f (Fatouova lema Ako je 0 X, N, X := lim X te Y = E[X G], N, Y = E[X G], oda Y lim Y g.s., g.s. (g (Teorem o domiiraoj kovergeciji Ako je X X te postoji slučaja varijabla V takva da X V, N, EV <, te Y = E[X G], N, Y = E[X G], g.s. oda Y Y, (h (Jeseova ejedakost Neka je f : R R koveksa i E[ f(x ] <. Tada E[f(X G] f(e[x G] g.s., (i Ako je H G, tada E[E[X G] H] = E[X H] g.s., (j Ako je Z G-izmjeriva i ograičea slučaja varijabla, tada E[ZX G] = ZE[X G] g.s., (k Ako je X ezavisa od G, tada E[X G] = EX g.s.. Dokaz. Tvrdje (a i (b slijede direkto iz defiicije uvjetog očekivaja. Tvrdja (d je tvrdja leme B u dokazu teorema.. Tvrdje (e, (f, (g, (h su posljedice aalogih teorema iz teorije mjere, od. matematičke aalize. Dokazujemo preostale tvrdje. (c Svojstva ( i ( uvjetog očekivaja očito vrijede pa je dovoljo provjeriti svojstvo (3. Neka je G G proizvolja. Vrijedi E[(α Y + α Y G ] = α E[Y G ] + α E[Y G ] = α E[X G ] + α E[X G ] = E[(α X + α X G ]. (i Neka je Y = E[X G] i Z = E[Y H]. Y L je G-izmjeriva i za svaki G G vrijedi E[Y G ] = E[X G ]. Takoder, Z L je H-izmjeriva i za svaki H H vrijedi E[Z H ] = E[Y H ] = E[X H ] (pri čemu posljedja jedakost vrijedi jer je H G. Zato prema defiiciji slijedi da je Z verzija od E[X H]. (j BSOMP X 0 (u općem slučaju promatramo X = X + X. Tvrdju dokazujemo Lebesgueovom idukcijom. Neka je Z = G za eki G G. Defiirajmo Y := G E[X G] = ZE[X G]. Y je (po kostrukciji G-izmjeriva i itegrabila. Takoder, eka je G G proizvolja. Imamo E[Y G ] = E[E[X G] G G ] = E[E[X G] G G ] g.s. = E[X G G ] = E[(X G G ], pa prema defiiciji slijedi Y = E[X G G] g.s. ZE[X G] = E[ZX G] g.s. 8

20 Neka je Z = k α i Gi za eke G i G, i =,..., k. Tada je prema svojstvu (c i. koraku [( k ] E α i Gi X G = k α i [ Gi X G] g.s. = ZE[X G] = E[ZX G] g.s. k α i Gi E[X G] 3 Neka je sada Z 0. Tada postoji rastući iz eegativih jedostavih slučajih varijabli (Z takav da Z Z. No tada ZX 0, Z X 0, N i Z X ZX, pa prema teoremu o mootooj kovergeciji (svojstvo (e i. koraku slijedi E[ZX G] = lim E[Z X G] = lim Z E[X G] = ZE[X G] g.s. 4 Neka je Z proizvolja G-izmjeriva i ograičea slučaja varijabla. Tada je Z = Z + Z (zamo Z +, Z 0, pa prema svojstvu (c i 3. koraku imamo E[ZX G] = E[Z + X Z X G] = E[Z + X G] E[Z X G] = Z + E[X G] Z E[X G] = (Z + Z E[X G] = ZE[X G]. (k Po defiiciji, X i G su ezavisi ako i samo ako su X i G ezavise slučaje varijable za sve G G. Treba provjeriti da je Y = EX verzija od E[X G]. Svojstva ( i ( su očita pa je dovoljo provjeriti svojstvo (3. Za proizvolja G G (zbog ezavisosti X i G imamo E[Y G ] = E[(EX G ] = EX E[ G ] = E[X G ]. Primjer.8 (Poopćeje primjera.5. Neka su X,..., X ezavise i jedako distribuirae slučaje varijable, X D i = X i E X <. Pokažite da je X = E[X i Y ] g.s., i =,...,. Rješeje. Defiiramo Y := X X, Y i := E[X i Y ], i =,...,. Tvrdimo Y i = Y g.s., i =,...,. Svojstva ( i ( su očita, provjeravamo svojstvo (3. Za G = Y (B σ(y imamo E[Y i G ] = E[X i Y (B] = X i dp = x i dp X,...,X (x Y (B x +...+x B = x i dp X (x dp X (x dp X (x = [po simetriji] x +...+x B = x dp X (x dp X (x dp X (x = E[Y G ]. x +...+x B Dakle, Y i = Y g.s., i =,...,, pa imamo Y = E[Y Y ] = E[X i Y ] = Y i = Y g.s. Y = Y = X = Y i = E[X i G] g.s., i =,...,. 9

21 Poglavlje Osovi pojmovi matematičke statistike. Statistička struktura Defiicija.. Neka je (Ω, F izmjeriv prostor i P možia vjerojatosih mjera a (Ω, F. Tada je uredea trojka (Ω, F, P statistička struktura. Ako je P jedočlaa možia, tada je statistička struktura vjerojatosi prostor. Često je možia P parametriziraa: P = {P θ : θ Θ}. Θ je skup vrijedosti parametra θ. Pretpostavljamo Θ R m, m, te da je parametrizacija ijektiva θ θ P θ P θ, θ, θ Θ. Primjer.. (i Ω = {0, }, F = P(Ω, P θ ({0} = θ, P θ ({} = θ, Θ = [0, ] R. θ je parametar Beroullijeve razdiobe. (ii Ω = R, F = B(R, Θ = R 0,, θ = (µ, σ. Za B B(R imamo P θ (B := πσ e σ (x µ dx. Ovime su opisai parametri ormale razdiobe. B θ θk (iii Ω = Z + = {0,,,...}, F = P(Ω, Θ = 0, R, P θ ({k} = e k!, k Ω. θ θx Alterativo, Ω = R, F = B(R, f(x; θ = e x! Z + (x, i za B F imamo P θ (B = x B Z + f(x; θ. Obje ove statističke strukture opisuju Poissoovu razdiobu. Defiicija.3. Neka je X : Ω R d s.v. i (Ω, F, P statistička struktura, P = {P θ : θ Θ}. Za θ Θ imamo F (x; θ = P θ (X x, x R d. Tada je F ( ; θ fukcija distribucije od X uz vjerojatost P θ P. Kažemo da X pripada statističkom modelu P = {F ( ; θ: θ Θ}. 0

22 U primjeama izučavamo s.v. X i jeu populacijsku razdiobu. Stoga će am od iteresa biti oa statistička struktura koja se sastoji od zakoa razdiobe od X, a ideksiraa je parametrom θ. Uz tu pretpostavku pa možemo poistovjetiti P i P. F ( ; θ P θ, Najčešće će X biti eprekida ili diskreta slučaja varijabla (vektor s gustoćom f( ; θ (u odosu a P θ. U tom slučaju uz iterpretaciju kao u, P θ F ( ; θ f( ; θ, pa možemo poistovjetiti P i {f( ; θ: θ Θ}. Defiicija.4. -dimezioali slučaji uzorak a statističkoj strukturi (Ω, F, P je iz X, X,..., X slučajih varijabli (vektora a (Ω, F takvih da su ezavise i jedako distribuirae u odosu a svaku vjerojatost P P. Defiicija.5. Statistika a statističkoj strukturi (Ω, F, P je svaka slučaja varijabla (vektor T : Ω R d takva da postoji N i -dimezioali slučaji uzorak (X,..., X a (Ω, F, P te izmjerivo preslikavaje t: R R d takvo da je T = t(x,..., X. Primjer.6. Neka je X,..., X slučaji uzorak a statističkoj strukturi (Ω, F, P, pri čemu su X,..., X slučaje varijable. Tada su statistike: (i uzoračka aritmetička sredia: X = (X X, (ii uzoračka varijaca: S = ((X X (X X. Od sada pa adalje pretpostavljamo slučaj.3., tj. da je P = {f( ; θ: θ Θ}. Fraza eka je (X,..., X slučaji uzorak iz modela P zači da je X,..., X slučaji uzorak takav da je zako razdiobe od X i opisa gustoćom f( ; θ, θ Θ.

23 . Dovolje statistike Pretpostavimo da je (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}. Pojam dovoljosti se odosi a pojedostavjeje iformacije dae uzorkom tako da ukupa iformacija ostae ista. Defiicija.7. Neka je (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} te eka je T = t(x,..., X, t: R R k, statistika. Kažemo da je T dovolja statistika za θ (za P ako za svaki y R k uvjeta distribucija slučajog vektora X = (X,..., X uz dao T = y e ovisi o θ. Neka je f X,T (x, y; θ zajedička gustoća od (X, T. Statistika T je dovolja za θ ako uvjeta gustoća f X T (x y = f X,T (x, y; θ f T (y; θ e ovisi o θ, za sve θ Θ i sve x, y. Primjer.8. Neka je P = {f( ; θ: θ Θ} Beroullijev model, tj. f(x; θ = θ x ( θ x {0,} (x, Θ = 0,, i eka je X = (X,..., X -dimezioali slučaji uzorak. Tada je f X (x,..., x ; θ = θ P x i ( θ P x i {0,} (x,..., x. Stavimo T := X X. Tada je T b(, θ i ( f T (y; θ = P θ (T = y = θ y ( θ y {0,,...,} (y. y Za y = k {0,,..., } je f T (y; θ > 0. Neka je k {0,,..., }. Tada iz primjera.5 zamo f X T (x,..., x k; θ = ( k, od. X T = k ima uiformu razdiobu koja e ovisi o θ. Dakle, po defiiciji je T dovolja statistika za θ. Propozicija.9. T = t(x,..., X je dovolja statistika za θ ako i samo ako za svaku drugu statistiku S = s(x,..., X vrijedi da uvjeta distribucija od S uz dao T = y e ovisi o θ za svaki y. Dokaz. Specijalo, to vrijedi i za S = X = (X,..., X, pa je po defiiciji T dovolja statistika za θ. Neka je S = s(x,..., X R l proizvolja statistika i T dovolja statistika za θ. Tada za proizvolja B B(R l i y takav da f T (y; θ > 0 vrijedi P θ (S B T = y = P θ (s(x B T = y = P θ (X s (B T = y = f X T (x ydx. s (B No poditegrala fukcija u posljedjem itegralu e ovisi o θ jer je T dovolja statistika pa iti čitav itegral e ovisi o θ.

24 Teorem.0 (Neyma - Fisherov teorem o faktorizaciji. Statistika T = t(x,..., X R k je dovolja za θ ako i samo ako se gustoća slučajog uzorka X = (X,..., X, f(x,..., x ; θ, može faktorizirati a sljedeći ači f(x,..., x ; θ = g θ (t(x,..., x h(x,..., x, (. gdje su za svaki θ Θ, g θ : R k [0,, h: R [0,, izmjeriva preslikavaja. Dokaz. Dokaz ćemo provesti samo za diskreti model P. Neka je x = (x,..., x R. Neka je T dovolja statistika za θ. Tada za x R i y R k takve da t(x = y uz f T (y; θ > 0 imamo f X (x; θ = P θ (X = x = P θ (X = x, T = y = P θ (X = x T = yp θ (T = y, pa možemo staviti h(x = P θ (X = x T = y (ova fukcija e ovisi o θ, ali ovisi o x, g θ (y = f T (y; θ = P θ (T = y. Pretpostavimo da vrijedi (. za sve y R k takve da f T (y; θ = P θ (T = y > 0. Tada f X T (x y; θ = P θ (X = x T = y = P θ(x = x, T = y P θ (T = y = { 0 y t(x P θ (X=x P θ (T =y y = t(x Za y = t(x račuamo P θ (T = y = P θ (t(x = y = = t(x =y P θ(x = x P θ (T = y = t(x =y f X (x ; θ (. = t(x =y P θ (X = x g θ (t(xh(x g θ (y t(x =y h(x. g θ (t(x h(x, }{{} =y Posljedji izraz e ovisi o θ za sve y pa je po defiiciji T dovolja statistika za θ. Primjer.. Neka je X = (X,..., X slučaji uzorak iz ormalog modela N(µ, σ, θ = (µ, σ R 0, = Θ. Neka je T = (X, S. Tada je T dovolja statistika za θ. Naime, f X (x,..., x ; θ = = = πσ e σ (x i µ (π / (σ / exp exp (π / (σ / { σ } (x i x + x µ { σ [( s + (x µ ] = g θ (x, s h(x,..., x, { gdje je g θ (t, t = exp } (π / (σ / σ [( t + (t µ ], pa prema Neyma - Fisherovom teoremu o faktorizaciji slijedi tvrdja. 3 }

25 Korolar.. Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}, η : R k R k bijekcija i T = t(x, W = w(x: Ω R k dvije statistike takve da je W = η(t. Tada je T dovolja za θ ako i samo ako je W dovolja za θ. Dokaz. Pretpostavimo da je T dovolja statistika za θ. Po Neyma - Fisherovom teoremu gustoća od X se može faktorizirati f(x; θ = g θ (t(xh(x. Defiirajmo fukciju Tada je zbog w = η t g θ : R k [0,, g θ (y := g θ (η (y. f(x; θ = g θ (t(xh(x = g θ (w(xh(x, pa je prema obratu Neyma - Fisherovog teorema i W dovolja statistika za θ. Obrat tvrdje vrijedi zbog simetrije (aime, T = η (W, a η je takoder bijekcija. Napomea. Za statistike koje su bijektive trasformacije jeda druge kažemo da su ekvivalete statistike. Tako je jeda statistika koja je ekvivaleta statistici iz primjera.: ( (X, S X i,. Korolar.3. Statistika T = t(x je dovolja za θ ako i samo ako vrijedi da je za sve θ, θ Θ, θ θ, izraz f X (x; θ f X (x; θ fukcija od t(x, ψ θ,θ (t(x. X i Dokaz. Po Neyma - Fisherovom teoremu imamo pa za θ θ imamo f X (x; θ = g θ (t(xh(x, f X (x; θ f X (x; θ = g θ(t(x g θ (t(x =: ψ θ,θ (t(x. Pretpostavimo da vrijedi zadai uvjet. Tada je dobro defiirao preslikavaje ψ θ,θ (t(x = f X(x; θ f X (x; θ, θ θ. Fiksirajmo θ 0 Θ. Tada iz pretpostavke za sve x i θ Θ vrijedi f X (x; θ = ψ θ,θ0 (t(xf X (x; θ 0 = g θ (t(xh(x, { ψ θ,θ0 (y θ θ 0 g θ (y :=, h(x := f X (x; θ 0, θ = θ 0 pa je prema obratu Neyma - Fisherovog teorema T dovolja statistika za θ. 4

26 Primjer.4. Neka je X = (X, X, X 3 slučaji uzorak iz Beroullijevog modela b(, θ, 0 < θ <. Očito je X dovolja statistika za θ. Promatrajmo statistike T = X + X + X 3, S = (X, X + X, koje su takoder dovolje za θ. Koja od statistika T, S, X više reducira iformaciju o epozatoj vrijedosti parametra θ, a koja se alazi u uzorku X? Defiicija.5. Dovolja statistika T je miimala dovolja statistika ako je T fukcija svake druge dovolje statistike. Precizije, T = t(x R k je miimala dovolja statistika za θ ako je (i dovolja statistika za θ, (ii za svaku drugu statistiku S dovolju za θ postoji fukcija ϕ takva da T = ϕ(s. Primjer.6. Neka je X = (X,..., X slučaji uzorak iz ormalog modela N(θ,, θ R. Imamo f X (x; θ = f(x i ; θ = = g θ ( (π x i h(x, e / P (x i θ = (π e x e θ P x i θ / pri čemu h(x := e x, g (π / θ (y := e θy θ. Zato je prema Neyma - Fisherovom teoremu T = t(x = X X (t(x = x x dovolja statistika za θ. Je li oa miimala dovolja statistika? Neka je S = s(x = s(x,..., X bilo koja dovolja statistika za θ. Prema Neyma - Fisherovom teoremu, f X (x; θ = g θ (s(x h(x. Neka su x, y R takvi da s(x = s(y. Imamo e ( x y e θ(t(x t(y = f X(x; θ f X (y; θ = h(x h(y, θ R. Budući da desa straa e ovisi o θ, slijedi t(x = t(y. Sada, uz S R m, defiirajmo fukciju ϕ: R m R, { t(x,..., x (z,..., z m = s(x,..., x s(r ϕ(z,..., z m := 0 (z,..., z m / s(r Zbog s(x = s(y t(x = t(y, x, y R, ϕ je dobro defiiraa fukcija i imamo Dakle, T je miimala dovolja statistika. ϕ(s = ϕ(s(x = t(x = T. Ukoliko je f vjerojatosa fukcija gustoće, oda skup supp f = {x D f : f(x > 0} zovemo osač gustoće. 5

27 Teorem.7. Neka je P = {f 0, f,..., f m } koača statistički model, pri čemu vrijedi supp f i = supp f 0, i =,..., m. Ako je X = (X,..., X slučaji uzorak za P, tada je ( f (X i T = t(x = f 0 (X i,..., f m (X i f 0 (X i miimala dovolja statistika za P. Dokaz. U korolaru.3 uzmemo θ {,..., m}, θ = 0: f X (x; θ f X (x; 0 = f θ(x i f 0(x i = f θ (x i f 0 (x i = π θ(t(x, pri čemu je sa π θ (t(x ozačea projekcija a θ-tu kompoetu vektora t(x. No sada za proizvolje θ, θ, θ θ, imamo f X (x; θ f X (x; θ = f X (x;θ f X (x;0 f X (x;θ f X (x;0 = π θ (t(x π θ (t(x, pa je prema korolaru.3 T dovolja statistika. Neka je S = s(x eka dovolja statistika za P. Poovo prema korolaru.3 za θ θ pa za θ {,..., m}, θ = 0 vrijedi Dakle, gdje je ϕ = ( ψ,0,..., ψ m,0. f X (x; θ f X (x; θ = ψ θ,θ (s(x, π θ (t(x = ψ θ,0 (s(x. T = (π (T,..., π m (T = ( ψ,0 (S,..., ψ m,0 (S =: ϕ(s, 6

28 .3 Potpue statistike Defiicija.8. Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} te eka je T = t(x R k statistika. T je potpua statistika ako za svaku izmjerivu fukciju g : R k R vrijedi (( θ Θ E θ [g(t ] = 0 (( θ Θ g(t = 0 P θ g.s. Lema.9. Neka je T R k potpua statistika i ϕ: R k R m izmjeriva fukcija. Tada je i S = ϕ(t potpua statistika. Dokaz. Neka je g proizvolja izmjeriva fukcija takva da za sve θ Θ vrijedi Tada je za sve θ Θ E θ [g(s] = 0. E θ [(g ϕ(t ] = 0. Budući da je T potpua statistika, tada je P θ -g.s. Dakle, za sve θ Θ je g(s = 0 P θ -g.s. statistika. (g ϕ(t = 0 θ Θ. Sada po defiiciji slijedi da je S potpua Primjer.0. Neka je X = (X,..., X slučaji uzorak iz Beroullijevog modela b(, θ, θ 0,, i T = X X. Tada je T potpua statistika. Naime, eka je g bilo koja izmjeriva fukcija takva da je θ 0, E θ [g(t ] = 0 ( θ 0, g(k k k=0 ( α > 0 g(k k g(k = 0 k=0 k = 0,,..., θ k ( θ k = 0 α k = 0 g(t = 0 P θ g.s., θ 0, : ( θ α := θ θ Naime, P θ (T {0,,..., } = P θ (g(t = 0 =, θ 0,. Primjer. (Primjer dovolje statistike koja ije potpua. Neka je X = (X,..., X slučaji uzorak iz modela N(θ, θ, θ 0,, te promatrajmo statistiku ( T = (T, T := X i,. Imamo f X (x; θ = θ π e = (θ π / exp θ (x i θ X i { θ t (x + θ t (x } 7 =: g θ (t (x, t (x, }{{} =h(x

29 pa je prema Neyma - Fisherovom teoremu T dovolja statistika za θ. S druge strae, T ije potpua statistika jer postoji izmjeriva fukcija g takva da za sve θ > 0 vrijedi E θ [g(t ] = 0 te postoji θ > 0 takav da P θ (g(t 0 > 0. Defiirajmo fukciju Za θ > 0 imamo [ E θ T + ] [ T = E θ (X + g : R R, g(t, t := t + t. = E θ (X + [ = E θ X X i ] = E θ [ (X + ] (X i X + X (X i X ( + X (X i X ] ( + ( S [ ( = E θ (X θ + ( θx [ = E θ θ ( X θ θ + ( θ E θ [X ] }{{} =θ = θ E θ [ (X θ θ ( ] + θ ( S θ ( θ } {{ } =0 ] + [ ] ( S θ E θ + θ Budući da je (X,..., X slučaji uzorak iz ormalog modela, vrijedi ( + θ + θ ( ] S θ ( θ X X θ θ ( X θ N(0, χ (, θ ( S θ χ (, a odavde slijedi [ E θ T + ] T = θ + θ ( + = + + θ = 0. S druge strae, P θ (g(t, T > 0 > 0 (T i T su ezavise statistike. ( θ Teorem.. Ako je T potpua i dovolja statistika, oda je T i miimala dovolja statistika. Općeito, za slučaji uzorak (X,..., X iz N(µ, σ modela vrijedi X µ ( S N(0,, σ σ χ (, Takoder, ako je X χ (, tada EX =. X µ S t(, (X i µ σ χ (. 8

30 .4 Ekspoecijale familije Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}.Pretpostavimo da su X i d-dimezioali slučaji vektori (ili varijable za d = te Θ R m. Defiicija.3. Model P je k-parametarska ekspoecijala familija ako je odgovarajuća gustoća f( ; θ P oblika { k } f(x; θ = C(θh(x exp Q i (θt i (x, (. za eki k N i izmjerive fukcije C, Q i : R m R, h, t i : R d R, pri čemu su fukcije t,..., t k liearo ezavise. Često je pogodo za parametre modela P daog s (. uzeti η i = Q i (θ, i =,..., k, { k } f(x; η = C(ηh(x exp η i t i (x.. (.3 Kažemo da je gustoća f daa kaoskom formulom, a parametre (η,..., η k zovemo prirodim parametrima. Sa (.3 je daa vjerojatosa fukcija gustoće ako i samo ako za (η,..., η k vrijedi e Pk η it i (x h(xdx < (.4 R d u eprekidom slučaju, od. ako i samo ako e P k η it i (x h(x < (.5 x Odgo- Primjer.4. (a Promatrajmo Beroullijev model b(, θ, θ 0, = Θ. varajuća fukcija gustoće jest { } f(x; θ = θ x ( θ x θ {0,} (x = ( θ exp x log {0,} (x, θ u diskretom slučaju. Ozačimo sa Σ skup svih takvih prirodih parametara (η,..., η k (tj. takvih da vrijedi (.4 ili (.5. Tada je Σ R k koveksa skup. Neka je Q = (Q,..., Q k : Θ R k. Kažemo da je k-parametarska ekspoecijala familija puog raga ukoliko slika Q(Θ sadrži otvorei eprazi k-dimezioali pravokutik. θ pa imamo C(θ = θ, h(x = {0,} (x, Q (θ = log θ, t (x = x, od. riječ je o -parametarskoj ekspoecijaloj familiji. Nadalje, ako defiiramo Q = Q : 0, R, Q(θ = log vidimo da je Q( 0, = R, pa je familija puog raga. 9 θ θ,

31 (b Za ormali model N(µ, σ, θ = (µ, σ R 0, =: Θ, imamo f(x; µ, σ = { exp } µ { (x µ = e σ µ πσ σ exp πσ σ x σ x pa je ovaj model -parametarska ekspoecijala familija. Uz ( µ Q: R 0, R, Q(µ, σ = σ, = (Q σ (µ, σ, Q (µ, σ, vrijedi Q(R 0, = R, 0, pa je i ova familija puog raga. (c Za poliomijali model p(; p,..., p k, θ = (p,..., p k Θ := {(q,..., q k 0, k : q q k < }, uz ozake p 0 = p... p k, A = {(y 0,..., y k {0,,..., } k+ : y y k = } imamo f(x 0, x,..., x k ; θ = =! x 0!x! x k! px 0 0 p x p x k k A(x 0, x,..., x k! x 0!x! x k! A(x 0, x,..., x k p 0 exp { k x i log p i p 0 pa je ovaj model k-parametarska ekspoecijala familija (i pokaže se da je takoder puog raga. Teorem.5. Neka je X = (X,..., X slučaji uzorak iz k-parametarske ekspoecijale familije s gustoćama (.. Tada je ( T = (T,..., T k = t (X i, t (X i,..., t k (X i (.6 dovolja statistika za θ. Dokaz. Gustoća od X se može prikazati u obliku { k f X (x,..., x ; θ = f(x i ; θ = C(θ h(x h(x exp Q j (θ pa tvrdja slijedi prema Neyma - Fisherovom teoremu (teorem.0. j= }, }, } t j (x i, Napomea. Dovolju statistiku (.6 zovemo priroda dovolja statistika. Primjer.6 (Krivulja ekspoecijala familija. Promatrajmo model N(θ, θ, θ 0, Θ. Vrijedi f(x; θ = { θ π exp } (x θ θ { = e θ π exp θ x } θ x, pa je ovaj model -parametarska ekspoecijala familija. Uočimo da za prirode parametre η = Q (θ = θ, η = Q (θ = θ vrijedi η = η, η > 0. 30

32 Takoder, uz Q = (Q, Q, vidimo da ova familija ije puog raga (tj. e postoji otvorei pravokutik a, b c, d Q(Θ. ( Zamo da je statistika T = X i, dovolja za θ, ali ije potpua (primjer.. Je li miimala dovolja? X i Lema.7. Ako je P familija distribucija sa zajedičkim osačem, P 0 P te ako je T miimala dovolja statistika za P 0 i dovolja za P, tada je T miimala dovolja i za P. Dokaz. Neka je S bilo koja dovolja statistika za P. Tada je S dovolja i za P 0, a budući da je T miimala dovolja statistika za P 0, postoji fukcija ϕ takva da T = ϕ(s. Teorem.8. Neka je T = (T,..., T k priroda dovolja statistika k-parametarskog ekspoecijalog modela (.. Tada je T miimala dovolja statistika ukoliko je zadovolje jeda od uvjeta (i model je puog raga, (ii Q(Θ sadrži k + točaka koje razapiju R k, tj. postoje η i = Q(θ i, i = 0,,..., k, takvi da [η η 0,..., η k η 0 ] = R k. Dokaz. Zbog (i (ii dovoljo je dokazati miimalost prirode dovolje statistike za slučaj (ii. Neka su η i = Q(θ i, i = 0,,..., k, takvi da su η i η 0, i =,..., k, liearo ezavisi vektori u R k. Neka je P 0 koača potfamilija od P takva da P 0 = {f( ; θ i : i = 0,,..., k}. Prema teoremu.7, miimala dovolja statistika za P 0 je T = (T,..., T k, { k } T j f(x i ; η j = f(x i ; η 0 = C(θ j C(θ 0 exp (η jl η 0l T l, j =,..., k, gdje je T = (T,..., T k priroda dovolja statistika, a X = (X,..., X slučaja uzorak iz modela P. Logaritmirajem dobijemo log T j = log C(θ j + C(θ 0 }{{ } =:γ j l= k (η jl η 0l T l, j =,..., k, l= tj. imamo sljedeći lieari sustav log T γ η η 0 η k η 0k. =..... log T k γ k η k η 0 η kk η 0k T. T k = AT, pri čemu je A, prema pretpostavci, regulara matrica. Zato imamo log T γ T = A. = φ(t. log T k γ k 3

33 Ako je S proizvolja dovolja statistika za P 0, tada postoji fukcija ϕ takva da T = ϕ(s, pa je T = φ(t = (φ ϕ(s, tj. T je miimala dovolja statistika za P 0. Prema lemi.7 je T miimala dovolja statistika za P. Teorem.9. Neka je T = (T,..., T k priroda dovolja statistika k-parametarske ekspoecijale familije puog raga. Tada je T potpua statistika. Dokaz. Neka je gustoća f zadaa u obliku (.3 te eka je I = a, a a, a... a k, a k Q(Θ Σ, (aime, traslacijom u parametarskom prostoru uvijek možemo postići da je (0, 0,..., 0 Q(Θ. Neka je g : R k R takva izmjeriva fukcija da je za sve η Σ E η [g(t ] = 0. Imamo 0 = E η [g(t ] = g(t(x R = R = R C(ηh(xe Pk j= η jt j (x dx C(ηg(t(xe P j= η jt j (x h(xdx C(ηg(t(xe Pk j= η jt j (x dν, gdje je mjera ν(a := A h(xdx, A B(R, apsoluto eprekida (u odosu a Lebesgueovu mjeru, ν λ. Specijalo, to vrijedi i za svaki η I. Nadalje, ako zapišemo g = g + g, oda za sve η I vrijedi e Pk j= η jy j g + (ydµ(y = e Pk j= η jy j g (ydµ(y, R k R k gdje je µ mjera dobivea primjeom teorema o zamjei varijabli µ(b := (νt (B = h(xdx, B B(R k, t = (t,..., t k, T = t(x. t (B Specijalo, ako je η = 0, tada defiiramo A := g + (ydµ(y = R k g (ydµ(y. R k Naravo, preostaje dokazati (pr. Lebesgueovom idukcijom sljedeću tvrdju: ukoliko su µ, ν mjere a izmjerivom prostoru (X, F i ν µ, tj. ν(a = hdµ, tada je izmjeriva fukcija f : X R A itegrabila u odosu a ν ako i samo ako je fukcija fh itegrabila u odosu a µ i vrijedi X f dν = X fh dµ. Ova tvrdja opravdava posljedju dobiveu jedakost u raspisu E η[g(t ]. 3

34 Ako je A = 0, oda g + = 0, g = 0 µ-g.s., tj. g = 0 µ-g.s., pa imamo g t = 0 ν-g.s. Sada zbog apsolute eprekidosti slijedi g(t = 0 P η -g.s. za svaki η. Ukoliko je A > 0, vrijedi = R k g + (y A dµ(y = g (y R A k dµ(y, pa vidimo da su A g+, A g fukcije gustoće ekih slučajih varijabli u vjerojatosom modelu. Bez smajeja općeitosti možemo pretpostaviti da su g +, g vjerojatose fukcije gustoće u odosu a mjeru µ. Može se pokazati da za sve ξ,..., ξ k R vrijedi P k j= ξ jy j g + P k (ydµ(y = j= ξ jy j g (ydµ(y, R k e i (vidi: E. L. Lehma: Testig Statistical Hypothesis, 4, teorem 3.. Odavde slijedi [ ϕ g +(ξ,..., ξ k = E g + e i P ] [ k j= ξ jt j = E g e i P ] k j= ξ jt j = ϕ g (ξ,..., ξ k, pa je g + g µ-g.s. (aime, preslikavaje f ϕ f je ijekcija prema teoremu jedistveosti; vidi: N. Sarapa: Teorija vjerojatosti, teorem 3... Dakle, g = g + g = 0 µ-g.s., a odavde g(t = 0 P θ -g.s. za svaki θ Θ, pa je T potpua statistika. Primjer.30. Neka je X = (X,..., X slučaji uzorak iz modela U(0, θ, θ 0, = Θ. Odgovarajuća gustoća jest pa se gustoća od X može zapisati kao f X (x; θ = R k e i f(x; θ = θ 0,θ (x, θ 0,θ (x i = θ x (, (θ = g θ (x ( }{{}. =:h(x Zato je prema Neyma - Fisherovom teoremu T = X ( = max i X i dovolja statistika za θ. Za jeu fukciju distribucije imamo F X( (x = P(X ( x = P(X x,..., X x = P(X x = F X (x pa je jea gustoća 0 x 0 F X( (x; θ = F X (x; θ 0 < x < θ x θ f X( (x; θ = { 0 x / 0, F X (x; θ f(x; θ x 0, θ Neka je g : R R takva fukcija da E θ [g(t ] = 0 za svaki θ > 0. To je ekvivaleto s θ 0 g(x x θ dx = 0, θ > 0, 33

35 Dakle, θ g(xx dx 0 }{{} =:G(θ = 0, θ > 0. G(θ = 0 θ > 0 g(θθ = 0 θ > 0 g(y = 0 y > 0 g(x ( = 0 P θ -g.s. θ > 0 Odavde slijedi da je T = X ( i potpua statistika. Budući da je dovolja i potpua, T je i miimala dovolja statistika. 34

36 Poglavlje 3 Statistička procjea 3. Nepristrai procjeitelji Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}, Θ R p. Na osovi zadaog uzorka želimo procijeiti vrijedost parametra θ, ili općeito, eke jegove fukcije τ(θ τ(θ R k. Defiicija 3.. (Točkovi procjeitelj od τ(θ je statistika T = t(x = t(x,..., X u R k. Napomea. Smisleo je promatrati procjeitelje za koje vrijedi da je za dovoljo veliki T τ(θ. Koje procjeitelje za τ(θ odabrati? Jeda od kriterija za usporedivaje procjeitelja je sredjekvadrata pogreška. Defiicija 3.. Neka je T = t(x procjeitelj za τ(θ R. Sredjekvadrata greška od T (u odosu a P θ je, ako postoji, broj MSE θ (T = E θ [(T τ(θ ], θ Θ. Koristeći sredjekvadratu pogrešku kao mjeru greške procjee, ajbolji procjeitelj za τ(θ bio bi procjeitelj T takav da No, takav procjeitelj T e mora užo postojati. MSE θ (T MSE θ (T, θ Θ. (3. Primjer 3.3. Uzmimo Θ = {, }, P = {P, P }, P θ (A = θe θ x dx, A B(R. Promatrajmo statistike T, T, te τ(θ = θ. Vrijedi { MSE θ (T = E θ [( θ ] = ( θ 0 θ = = θ = A 35

37 MSE θ (T = E θ [( θ ] = ( θ = { 0 θ = θ = Pretpostavimo da je T ajbolji procjeitelj u smislu sredjekvadrate pogreške. Tada za eki drugi procjeitelj T od θ i sve θ {, } vrijedi MSE θ (T MSE θ (T. Specijalo, to vrijedi i za procjeitelje T, T : Za θ = imamo a za θ = vrijedi 0 MSE θ (T ( θ θ {, }, 0 MSE θ (T ( θ θ {, }. 0 MSE (T 0 (T = 0 P -g.s. T P -g.s., 0 MSE (T 0 (T = 0 P -g.s. T P -g.s., što je očito kotradikcija. Dakle, takav procjeitelj T e postoji. Defiicija 3.4. Procjeitelj T = t(x za τ(θ R je epristra za τ(θ ako vrijedi E θ [T ] = τ(θ, θ Θ. (3. Procjeitelj koji ije epristra zove se pristra procjeitelj za τ(θ. Primjer 3.5. (a U Beroullijevom modelu b(, θ, θ [0, ], procjeitelj X [0, ] za τ(θ = θ je epristra E θ [X ] = E[X ] = θ, θ [0, ]. (b Općeito, eka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} s koačim očekivajem µ(θ := E θ [X ]. Tada je X epristra procjeitelj za µ(θ. (c Uz iste pretpostavke kao u (b pretpostavimo još i da postoji koača varijaca σ (θ := Var θ [X ]. Tada je epristra procjeitelj za σ (θ. S = (X i X (d Za jedodimezioali model P = {f( ; θ: θ Θ} ozačimo sa F ( ; θ, θ Θ, pripade fukcije distribucije. Empirijska fukcija distribucije F (x je statistika F (x = {X x}, x R. Budući da je za sve θ Θ i x R E θ [ F (x] = E θ [ {X x}] = P θ (X x = F (x; θ, empirijska je fukcija distribucije epristra procjeitelj za F ( ; θ. 36

38 Sljedeći am primjer pokazuje da epristra procjeitelj e mora uvijek postojati. Primjer 3.6. Promatrajmo Beroullijev model b(, θ, θ 0,. (a Za = je X slučaji uzorak. Uzmimo τ(θ = θ. Pretpostavimo da je T = t(x epristra procjeitelj za τ(θ, tj. E θ [t(x ] = θ, θ 0,, t(0 ( θ + t( θ = θ, θ 0,. No, posljedja je jedakost emoguća po teoremu o jedakosti polioma (poliom. stupja e može biti jedak poliomu. stupja. (b Uzmimo sada slučaja uzorak X = (X,..., X, τ(θ =, te pretpostavimo da je θ T = t(x epristra procjeitelj za τ(θ. Imamo E θ [t(x,..., X ] =, θ 0,, θ t(x,..., x θ x+...+x ( θ (x+...+x = θ {0,} t(0, 0,..., 0( θ + t(x,..., x θ x +...+x ( θ (x +...+x = θ Prelaskom a limes lim θ 0+ beskoača. Kotradikcija. {0,} i, x i 0 dobivamo da je limes lijeve strae koača, a dese Defiicija 3.7. Kažemo da je fukcija τ(θ procjejiva ukoliko postoji barem jeda epristra procjeitelj za ju. Je li fukcija epristraog procjeitelja epristra procjeitelj, tj. ako je T epristra procjeitelj za τ(θ i η : τ(θ R, je li η(t epristra procjeitelj za η(τ(θ? Općeito ije. Na primjer, ako je (X,..., X slučaji uzorak iz N(µ, σ, µ R, σ > 0, i T = X, oda je T epristra procjeitelj za µ, ali E µ,σ [X ] = Var µ,σ X + (E µ,σ X = σ + µ µ. Lema 3.8. Ako je η(y = a + by, b 0, y R, te ako postoji matematičko očekivaje, tada E θ [T ] = τ(θ E θ [η(t ] = a + bτ(θ. Dokaz. Slijedi iz liearosti matematičkog očekivaja i čijeice da je matematičko očekivaje kostate jedako toj kostati. Zadatak 3... Neka je P Poissoov model P (θ, θ > 0, te eka je X = (X,..., X slučaji uzorak iz P. Je li statistika T = t(x = ( X epristra procjeitelj za τ(θ = e θ? Rješeje. Vrijedi E θ [T ] = E θ [( X ] = k=0 ( k θk k! e θ = e θ ( θ k = e θ e θ = e θ = τ(θ. k! No, ova je statistika besmisle procjeitelj za dau fukciju (poprima samo vrijedosti, što je graiča vrijedost od τ(θ, i -, što je vrijedost koja se e alazi u slici τ(θ. 37 k=0

39 3. Nepristrai procjeitelji uiformo miimale varijace Defiicija 3.9. Neka je τ(θ procjejiva fukcija i W familija svih epristraih procjeitelja za τ(θ koji su koače varijace ( θ Θ, Var θ T <. Statistika T je epristra procjeitelj uiformo miimale varijace za τ(θ (UMVUE ako je T epristra procjeitelj za τ(θ i vrijedi T W, θ Θ, Var θ T Var θ T. (3.3 Napomea. Primijetimo da je UMVUE T W. Nadalje, T zadovoljava (3. jer je u slučaju epristraih procjeitelja MSE θ (T = E θ [(T τ(θ ] = Var }{{} θ T. =E θ T Teorem 3.0. Neka je N familija epristraih procjeitelja koače varijace za η(θ = 0. Tada je epristra procjeitelj T za τ(θ UMVUE ako i samo ako vrijedi S N, θ Θ, E θ [T S] = 0. (3.4 Dokaz. Pretpostavimo da vrijedi (3.4. Neka je θ Θ proizvolja. Razlikujemo slučaja: E θ [T ] = 0. Tada T 0 P θ -g.s. pa je E θ T = 0, Var θ T = 0. Odavde slijedi Var θ T = 0 Var θ T, T W. E θ [T ] > 0. Neka je U W. Tada je T U N (zaista, T U je procjeitelj koače varijace i zbog liearosti matematičkog očekivaja vrijedi E ψ [T U] = τ(ψ τ(ψ = 0 = η(ψ, ψ Θ. Zato je prema (3.4 pa dijeljejem s E θ [T ] > 0 slijedi E θ [T (T U] = 0 E θ [T ] = E θ [T U] CS E θ [T ] E θ [U ], Eθ [T ] E θ [U ] E θ [T ] (τ(θ E θ [U ] (τ(θ E θ [T ] (E θ T E θ [U ] (E θ U Var θ T Var θ U eg. Uiformly Miimum Variace Ubiased Estimator 38

40 Pretpostavimo sada da je T UMVUE za τ(θ, tj. da vrijedi (3.3. Neka su S N i θ Θ proizvolji. Tada je U λ := T + λs, λ R, epristra procjeitelj za τ(θ koače varijace. Zbog (3.3 za svaki λ R vrijedi Odavde imamo No za kovarijacu cov θ (T, S imamo pa slijedi Var θ T Var θ U λ. Var θ T Var θ T + λ Var θ S + λ cov θ (T, S. cov θ (T, S = E θ [T S] E θ T E θ S = E }{{} θ [T S], =0 0 λ Var θ S + λe θ [T S], λ R. Ukoliko desu strau ove ejedakosti shvatimo kao kvadratu fukciju po λ, vidimo da jea diskrimiata mora biti maja ili jedaka uli, tj. pa slijedi (3.4. 4(E θ [T S] 4 Var θ S 0 0 (E θ [T S] 0 E θ [T S] = 0, Lema 3.. Neka je (X, Y slučaji vektor takav da E[X ] <, E[Y ] <. Tada za koeficijet korelacije cov(x, Y ρ(x, Y = Var X Var Y vrijedi (i ρ(x, Y, (ii ρ(x, Y = α, β R, α > 0, X = αy + β g.s. (iii ρ(x, Y = α, β R, α < 0, X = αy + β g.s. Dokaz. Primjeom Cauchy - Schwarzove ejedakosti dobivamo cov(x, Y Var X Var Y, pa slijedi tvrdja (i. Jedakost vrijedi ako i samo su X EX i Y EY g.s. kolieare slučaje varijable, tj. ako postoji λ R takav da X EX = Y EY X = λy + EX λey g.s., pa imamo α = λ, β = EX λey. Sada račuamo cov(x, Y za X = αy + β g.s. pa slijedi cov(x, Y = cov(αy + β, Y ρ(x, Y = pa vrijede i tvrdje (ii i (iii. = α cov(y, Y + cov(β, Y }{{} =0 = α Var Y, α Var Y Var Y α Var Y = α α 39 = sg α,