MATEMATIČKA STATISTIKA

MATEMATIČKA STATISTIKA Bilješke s predavaja (prof. dr. sc. Miljeko Huzak akademske godie 04./05. Natipkao i uredio: Kristija Kilassa Kvaterik Ova skripta služi samo kao pomoć u praćeju predavaja iz istoimeog kolegija i e može zamijeiti prisustvovaje a jima. Zahvaljujem se svim kolegama i kolegicama koji su dosad ukazali a greške u skripti i time omogućili jeo poboljšaje. Zagreb, ožujak 06.

Sadržaj 0 Uvod 0. Slučaje varijable i vektori.......................... 0. Fukcije slučajih varijabli/vektora..................... 5 0.3 Matematičko očekivaje........................... 0 Uvjeto matematičko očekivaje. Prostor L. Teorem o projekciji........................ Uvjeto očekivaje.............................. 3 Osovi pojmovi matematičke statistike 0. Statistička struktura............................. 0. Dovolje statistike...............................3 Potpue statistike............................... 7.4 Ekspoecijale familije........................... 9 3 Statistička procjea 35 3. Nepristrai procjeitelji........................... 35 3. Nepristrai procjeitelji uiformo miimale varijace.......... 38 3.3 Efikasi (učikoviti procjeitelji...................... 44 3.4 Procjea metodom maksimale vjerodostojosti.............. 49 3.5 Nizovi procjeitelja.............................. 5 3.6 Kozistetost i asimptotska ormalost MLE............... 58 3.7 Zadatci..................................... 67 4 Testiraje statističkih hipoteza 7

Poglavlje 0 Uvod 0. Slučaje varijable i vektori Neka je (Ω, F proizvolja izmjeriv prostor i eka je još da izmjeriv prostor (R k, B(R k za k. Defiicija 0.. Slučaja varijabla (k = ili slučaji vektor (k > je izmjerivo preslikavaje X : (Ω, F (R k, B(R k, tj. takvo preslikavaje za koje vrijedi X (, x] F, x R k. Pritom za x = (x,..., x R k, k, imamo, x] :=, x ]..., x k ]. Neka je (Ω, F, P vjerojatosi prostor. Defiicija 0.. Neka je X : Ω R k s.v. defiira a (Ω, F, P. Iducirau vjerojatost P X : B(R k [0, ] defiirau s P X (B := P(X B = P(X (B zovemo zakoom razdiobe od X. Očito je (R k, B(R k, P X vjerojatosi prostor. Zovemo ga iducirai vjerojatosi prostor. U statistici as zaima takav prostor. Defiicija 0.3. Neka je X s.v. sa zakoom razdiobe P X. Fukciju F = F X : R k [0, ] defiirau s F X (x := P X (, x], x R k, zovemo fukcija distribucije od X. Svojstva fukcije distribucije F X (u slučaju k = : ( eprekida je zdesa, tj. F X (x+ = F X (x; ( eopadajuća je: x, x R, x < x, x ], x ] F X (x F X (x ;

Iz svojstava ( i ( slijedi da F X ima limese slijeva u svakoj točki. Još jedo svojstvo jest: (3 F X ( := lim F X(x = 0, F X (+ := lim F X(x =. x x + Svojstva fukcije distribucije F X (u slučaju k : ( eprekida je zdesa; Za fukciju g : R k R defiiramo bi a i g(a,..., a k := g(a,..., a i, b i, a i+,..., a k g(a,..., a i, a i, a i+,..., a k, Sada imamo b a g(a := bk a k ( ( b a ( b a g(a. ( za sve a, b R k, b a, vrijedi b a F X (a 0; U slučaju jede koordiate dobivamo F X (b F X (a 0 (tj. svojstvo ( fukcije distribucije slučaje varijable. U slučaju k = je a, b] = a, b ] a, b ] pa imamo b a F X (a = b a ( b a F X (a, a Iduće je svojstvo = b a (F X (b, a F X (a, a = (F X (b, b F X (b, a (F X (a, b F X (a, a = P X (, b ], b ] P X (, b ], a ] P X (, a ], b ] + P X (, a ], a ] = P X ( a, b] 0. (3 lim x i F X(x,..., x k = 0, i =,..., k, lim x +. x k + F X (x,..., x k =. Defiicija 0.4. Svaku fukciju F : R k [0, ] koja ima svojstva (, ( i (3 zovemo vjerojatosa fukcija distribucije. Ako je F vjerojatosa fukcija distribucije, oda postoji vjerojatosi prostor i a jemu defiiraa slučaja varijabla/vektor takav da je F fukcija distribucije te slučaje varijable/vektora. Naime, a skupu S = { a, b]: a, b R k, a b} (koji je geerator Borelove σ-algebre B(R k defiiramo vjerojatosu mjeru sa P F ( a, b] := b a F (a. Tada je (R k, B(R k, P F vjerojatosi prostor. Na jemu defiiramo slučaju varijablu/vektor Vrijedi X : R k R k, X(ω := ω. 3

F X (x = P F ({ω R k : X(ω x} = P F ({ω R k : ω x} = P F (, x] = F (x. Dakle, F je fukcija distribucije s.v. X. Defiicija 0.5. Kažemo da je X eprekida slučaja varijabla ukoliko je jea fukcija distribucije F X apsoluto eprekida, tj. ako postoji fukcija f : R k [0, takva da F X (x = x Fukciju f zovemo fukcija gustoće od X. f(ydλ(y. Precizo, ako je P X λ, prema Rado - Nikodymovom teoremu postoji dp X dλ f takva da P X (B = f dλ, B =, x]. B Dakle, fukcija gustoće f je Rado - Nikodymova derivacija iducirae vjerojatosti P X u odosu a Lebesgueovu mjeru λ. Za fukciju gustoće eprekide slučaje varijable vrijedi R k f(xdλ(x =. Obrato, eka je f : R k [0, takva da vrijedi gorja jedakost. Tada je sa F (x := f(ydλ(y,x] defiiraa vjerojatosa fukcija distribucije. Defiicija 0.6. Slučaja varijabla/vektor X je diskreta ukoliko postoji prebrojiv podskup D B(R k takav da P X (D =. Neka je D = {a, a,...} i P X (D =. Defiirajmo mjeru µ D a (R k, B(R k µ D (B := i {ai }(B = B D. µ D se aziva brojeća mjera i oa je σ-koača. Tada je P X apsoluto eprekida mjera u odosu a µ D i, jer je g dµ D = g(a i, vrijedi A a i A dp X (a i dµ } D {{} = {a i } dp X dµ D dµ D = P X ({a i } }{{}. f X (a i = P(X = a i 4

0. Fukcije slučajih varijabli/vektora Neka je X : Ω R k s.v. i eka je g : R k R l Borelova fukcija. Tada je Y := g X = g(x: Ω R l takoder s.v. Za koje se g eprekide s.v. preslikaju u eprekide s.v.? Zadatak 0... Ako je X eprekida slučaja varijabla s gustoćom f, tada je i Y = X eprekida slučaja varijabla. Pokažite to i adite gustoću varijable Y. Rješeje. Za y R imamo F Y (y := P(Y y. Ukoliko je y 0, imamo { F Y (y = P(X P( = 0, y < 0, y = P(X = 0 = 0, y = 0. Ukoliko je y > 0, imamo F Y (y = P(X y = P( y X y = y Za oba itegrala koristimo zamjeu varijabli čime dobivamo F Y (y = a pri čemu je = 0 y y 0 g : y, 0 0, y, y f(xdx = 0 y g : 0, y 0, y, g (x = x = z, g (x = x = z, dx = dz dz, dt = z z, f( z y z dz + f( z 0 z dz = z (f( z + f( zdz = g(z := y 0 y y f(xdx + f(xdx. 0 f( z y f( z dz + z 0 z dz g(zdz, { 0, z 0, (f( z + f( z, z > 0. z Dakle, Y je eprekida slučaja varijabla s gustoćom g. Ako je, a primjer, X N(0,, tada je f(x = π e x, pa je g(x = ( e ( x π dz g x + e ( π x = pa vidimo da je X Γ (,, odoso X χ (. Primijetimo još i da je f Y (z = f(g (z d (z Im g (z + f(g (z d π / x e x, dz g (z Im g (z. 5

Zadatak 0... Neka su X, X ezavise jedako distribuirae slučaje varijable iz U(0,. Defiirajmo Y := log X cos(πx, Y := log X si(πx. Pokažite da su Y, Y ezavise jedako distribuirae slučaje varijable iz N(0,. Rješeje. Defiirajmo fukciju g : 0, 0, R, g(x, x := (y, y, pri čemu je y = log x cos(πx, y = log x si(πx. Tada je g(x, X = (Y, Y. Nadalje, (X, X je eprekida s gustoćom f X,X (x, x = f X (x f X (x = 0, 0, (x, x. Koristeći teorem o zamjei varijabli pokušat ćemo gustoću vektora (Y, Y prikazati u obliku produkta margialih gustoća. Uočimo da fukcija g ije ijekcija - zato je za primjeu teorema o zamjei varijabli potrebo odrediti itervale ijektivosti od g. Imamo y + y = log x x = e y +y, čime je x u potpuosti odrede. Za odredivaje x razlikujemo ekoliko slučajeva: 0 < πx < π 0 < x < 4 Vrijedi y = tg(πx x = y π arctg y, y pa defiiramo bijektivu fukciju (od. je iverz g : 0, 0, ( 0, 0, = Im g, g (y, y = 4 e y +y, π arctg y. y π < πx < 3π 4 < x < 3 4 Budući da je Im arctg = π, π, koristimo periodičost fukcije tages i čijeicu da je π < πx π < π y = tg(πx π x = y + π arctg y, y pa defiiramo g : 0, 4, 3 4 3 3π < πx < π 3 4 < x < (, 0 R = Im g, g (y, y = e y +y, + π arctg y y Sličo kao u prethodom slučaju, vidimo da je π < πx π < 0 pa slijedi te defiiramo 3 g 3 : 0, 4, y y = tg(πx π x = + π arctg y y, ( 0,, 0 = Im g 3, g3 (y, y = 6 e y +y., + π arctg y y.

Vrijedi Jg (y, y = abs y e y +y y e y +y y π(y +y y π(y +y Sada je gustoća od (Y, Y daa s pa slijedi = y π e +y = Jg (y, y = Jg f Y,Y (y, y = f X,X (g (y, y Jg (y, y Im g (y, y + f X,X (g (y, y Jg (y, y Im g (y, y + f X,X (g3 (y, y Jg3 (y, y Im g3 (y, y, f Y,Y (y, y = y π e +y ( Im g (y, y + Im g (y, y + Im g3 (y, y = y π e +y R (y, y = y π e +y = e y π e y π, 3 (y, y. a odavde direkto slijedi da su Y i Y ezavise i Y, Y N(0,. Naime, margiale gustoće slučajog vektora (Y, Y su upravo f Y (y = e y e y dy = e y e y dy = e y, R π π π R π π }{{} i potpuo aalogo za f Y. Zadatak 0..3. Neka su X,..., X ezavise slučaje varijable, ( X i Γ(α i, β, i =,...,. Pokažite da za Y := X +... + X vrijedi Y Γ α i, β. Rješeje. Ukoliko je X Γ(α, β, tada je X eprekida slučaja varijabla s gustoćom gdje je Γ(α = 0 f X (x = Γ(αβ α xα e t α e t dt, α > 0, gama fukcija. x β 0, (x, Pokazat ćemo da tvrdja vrijedi u slučaju =. Općeito se tvrdja dokazuje matematičkom idukcijom po. Dakle, eka su X Γ(α, β, X Γ(α, β, ezavise slučaje varijable. Za z 0 očito imamo f X +X (z = 0. Za z > 0 imamo z f X +X (z = f X (xf X (z xdx = R 0 Γ(α β α xα e x β Γ(α β (z α xα e z x β dx = Γ(α + α β α +α z Γ(α Γ(α β α +α Γ(α + α β α +α z α +α e z β 0 z α +α xα (z x α dx [ = y = x ] = z Γ(α + α β α +α z α +α e z β y α ( y α dy, B(α, α 0 }{{} = 7 =

pa slijedi X + X Γ(α + α, β. Pritom je beta fukcija. Γ(α Γ(α Γ(α + α = B(α, α = 0 t α ( t α dt Zadatak 0..4. Neka su X,..., X ezavise i jedako distribuirae slučaje varijable iz U(0, i eka su mi{x,..., X } = X ( < X ( <... < X ( = max{x,..., X } g.s. tzv. uredaje statistike. (a Pokažite da su X (k slučaje varijable za svaki k =,...,. (b Pokažite da su X (k eprekide slučaje varijable za svaki k =,..., i odredite im fukcije gustoće. Rješeje. (a Neka su X,..., X defiirae a vjerojatosom prostoru (Ω, F, P i eka je x R. Za k =,..., i ω Ω je X (k (ω x ako i samo ako je X j (ω x za barem k ideksa j pa imamo {X (k x} = j A{X j x} {X i x} F, A {,...,} A k i {,...,}\A jer je riječ o koačim uijama i presjecima dogadaja. Dakle, X (k je izmjerivo preslikavaje za svaki k =,..., pa je X (k slučaja varijabla za svaki k =,...,. (b Neka je k {,..., } proizvolja. Dovoljo je pokazati da je fukcija distribucije F X(k g.s. derivabila a R. Za x 0 je F X(k (x = P(X (k 0 = 0 jer je X i 0, za i =,...,. Takoder, za x je F X(k (x = P(X (k = jer je X, za i =,...,. Neka je sada 0 < x <. Imamo {X (k x} c = j A{X j x} {X i x}, A {,...,} A k A {,...,} A k i {,...,}\A pa zbog ezavisosti slučajih varijabli X,..., X i koače aditivosti vjerojatosti imamo F X(k (x = k ( P(X j x P(X }{{} i x = x j ( x j }{{} j j A =x i {,...,}\A = x j=0 k ( F X(k (x = x j ( x j. j j=0 8

Odavde vidimo da je F X(k (kao poliom derivabila a 0,. Dakle, jedie točke u kojima f ije derivabila su 0 i, pa zaključujemo da je X (k eprekida slučaja varijabla za svaki k =,...,. Tada je fukcija gustoće za 0 < x < je jedaka ( k ( k ( f X(k (x = F X (k (x = jx j ( x j ( jx j ( x j j j j=0 j=0 ( k ( k ( = jx j ( x j ( j + x j ( x j j j j= j= ( + ( k + x k ( x k k k [( ( ] = j ( j + x j ( x j j j j= }{{} =0 ( + ( k + x k ( x k, k ( f X(k (x = ( k + x k ( x k 0, (x = x k ( x k 0, (x k = Γ(kΓ( k+ Γ(+ x k ( x k 0, (x = pa vidimo X (k B(k, k +, k =,...,. (k!( k!! B(k, k + xk ( x k 0, (x, 9

0.3 Matematičko očekivaje Neka je X slučaja varijabla a (Ω, F, P. Vrijedi X = X + X, gdje je X + = max{x, 0} 0, X = max{ X, 0} 0. Defiicija 0.7. Kažemo da slučaja varijabla X = X + X očekivaje ukoliko je barem jeda od itegrala EX + := X + dp, EX := X dp, Ω Ω ima matematičko koača. U tom je slučaju matematičko očekivaje od X, u ozaci EX, jedako EX := EX + EX R. Dakle, slučaja varijabla X ima matematičko očekivaje ako je X, kao izmjeriva fukcija a prostoru vjerojatose mjere (Ω, F, P, itegrabila u odosu a mjeru P. Napomea. Skup L := {X : Ω R X je slučaja varijabla takva da E X < } je vektorski prostor i matematičko očekivaje je lieari fukcioal a L. Po teoremu o zamjei varijabli slijedi EX = XdP = xdp X (x = Ω R xdf X (x. Defiicija. Kažemo da slučaji vektor X = (X,..., X d ima matematičko očekivaje ukoliko svaka kompoeta X,..., X d ima matematičko očekivaje. U tom je slučaju matematičko očekivaje od X vektor EX = (EX,..., EX d R d, EX = xdp(x = xdf X (x. R d R d Napomea. Ako je X diskreta slučaja varijabla sa zakoom razdiobe oda je EX = i EX = xf X (xdx. P(X = a i = p i, i =,,..., a i p i. Ako je X eprekida slučaja varijabla s gustoćom f, oda je Neka je (X, F, µ prostor mjere, (Y, G izmjeriv prostor i f : X Y (F, G-izmjeriva fukcija. Tada je fukcija µf : G [0, ], µf (B := µ(f (B, mjera a (Y, G i za svaku fukciju g : Y R koja je (G, B(R-izmjeriva vrijedi gd(µf = g fdµ, pri čemu jeda od ovih itegrala postoji Y ako i samo ako postoji drugi. Gorja jedakost slijedi ukoliko promatramo prostor mjere (Ω, F, P i stavimo µ = P, f = X, g : R R, g(x = x. Za više detalja pogledati literaturu iz kolegija Mjera i itegral. X 0

Poglavlje Uvjeto matematičko očekivaje. Prostor L. Teorem o projekciji Defiirajmo skup L = L (Ω, F, P = {X : Ω R X je slučaja varijabla takva da E X < }. Skup L je vektorski prostor. Defiirajmo preslikavaje, : L L R, X, Y := E(X Y. To je preslikavaje dobro defiirao zbog Cauchy - Schwarzove ejedakosti za matematičko očekivaje. No, to preslikavaje ije skalari produkt jer e vrijedi pozitiva defiitost, tj. vrijedi X, X = 0 X = 0 g.s. Zato promatramo relaciju ekvivalecije X Y X = Y g.s. i odgovarajući kvocijeti skup L := L / uz E[X] := EX. Iduciraa orma jest X = X, X = E(X. Schwarz - Cauchy - Buyakowski ejedakost u L glasi Takoder, vrijedi i jedakost paralelograma E XY X Y. X + Y + X Y = X + Y. Teorem. (Teorem o projekciji. Neka je K potpu potprostor od L. Tada za dau slučaju varijablu X L postoji Y K takva da ( X Y = if{ X W : W K}, ( X Y Z, Z K. Svojstva ( i ( su ekvivaleta. Ako g.s. Ỹ K ima svojstvo ( ili (, tada je Y = Ỹ

Dokaz. Defiirajmo := if X W 0. Neka je (Y N K iz takav da X W K Y (taj iz možemo kostruirati koristeći defiiciju ifimuma skupa. Za r, s N prema relaciji paralelograma vrijedi X Y r + X Y s = X (Y r + Y s }{{} + (Y r Y s, } K {{ } pa prelaskom a limes kad r dobijemo + X Y s + lim r Y r Y s, a zatim prelaskom a limes kad s imamo + lim s,r Y r Y s. Dakle, 0 lim Y r Y s 0 pa slijedi lim Y r Y s = 0, tj. (Y N je C-iz pa zbog s,r s,r potpuosti potprostora K postoji Y K takav da Y = lim Y. Sada je X Y X Y + Y Y X Y lim X Y + lim Y Y = + 0, pa vrijedi X Y =. Pokažimo sada da iz ( slijedi (. Za Z K i t R proizvolje je Y + tz K pa je X (Y + tz X Y t R t Z t Z, X Y + X Y X Y t R t Z t Z, X Y 0 t R 4 Z, Y X 4 Z 0 0 Z, Y X = 0. Pokažimo i obrat. Za Z K proizvolja imamo X Z = X Y + (Y Z = X Y + X Y, Y Z + Y Z X Y, }{{} =0 pa vidimo da iz ( slijedi (. Neka slučaje varijable Y, Ỹ zadovoljavaju ( ili (. Imamo = X Ỹ = X Y + Y Ỹ Y Ỹ = 0 Y = Ỹ g.s.

. Uvjeto očekivaje Teorem.. Neka je (Ω, F, P vjerojatosi prostor, X slučaja varijabla takva da E X < te G σ-podalgebra od F. Tada postoji slučaja varijabla Y koja ima sljedeća svojstva ( Y je G-izmjeriva (tj. Y (B = {Y B} G, B B(R, ( E Y <, (3 E[Y G ] = E[X G ], G G. Ako je Ỹ eka druga slučaja varijabla sa svojstvima (, ( i (3, tada je Ỹ = Y g.s. Defiicija.3. Slučaja varijabla Y iz iskaza teorema zove se verzija uvjetog matematičkog očekivaja od X uz dao G i pišemo Y = E[X G]. Ako su X, Y dvije slučaje varijable a istom vjerojatosom prostoru i X L, skraćeo pišemo E[X σ(y ] =: E[X Y ] (pritom je σ(y = {Y (B: B B(R}. Napomea. Neka je (X, Y slučaji vektor s fukcijom gustoće f X,Y. Tada za y R takve da f Y (y > 0 defiiramo E[X Y = y] = xf X Y (x ydx, pri čemu je f X Y (x y = f X,Y (x, y (uočimo da je to vjerojatosa fukcija gustoće. f Y (y Sada možemo defiirati tzv. regresijsku fukciju { E[X Y = y] f Y (y > 0 ϕ: R R, ϕ(y := 0 f Y (y = 0 Propozicija.4. ϕ(y je verzija od E[X Y ]. Dokaz. Treba provjeriti da slučaja varijabla Z := ϕ(y zadovoljava svojstva (-(3 iz teorema.. ( Neka je B B(R proizvolja. Imamo R Z (B = (ϕ Y (B = Y (ϕ (B σ(y, }{{} B(R pa vidimo da je Z izmjeriva u odosu a σ(y. ( E ϕ(y = = = = R R R R ϕ(y f Y (ydy = E[X Y = y] f Y (ydy R ( xf X Y (x ydx f Y (ydy x f X Y (x ydx f Y (ydy R f Y (y>0 R ( ( x f X,Y (x, y dxdy = [Fubii] = x f X,Y (x, ydy dx R R R x f X (xdx = E X < 3

(3 Neka je G σ(y proizvolja. Tada je G = Y (B = {Y B} za eki B B(R i imamo E[Z G ] = E[ϕ(Y {Y B} ] = ϕ(y B (yf Y (ydy R ( = x fx,y (x, y dx B (yf Y (ydy R R f Y (y ( = xf X,Y (x, y B (ydx dy = [Fubii] R R = x B (yf X,Y (x, ydxdy = E[X B (Y ] = E[X G ]. R Pritom zbog G = Y (B vrijedi G = B Y. Primjer.5. Neka su X,..., X ezavise jedako distribuirae Beroullijeve slučaje varijable s parametrom p = P(X i = 0,. Neka je X := (X,..., X, Y := X +... + X. (a Odredite uvjetu distribuciju slučajog vektora X uz dao Y = k, k {0,,..., }. (b Izračuajte E[X i Y ]. Rješeje. (a Fiksirajmo (x,..., x {0, }, x +... + x = k. Imamo f X Y (x,..., x k = f X,Y (x,..., x, k f Y (k Vrijedi (b Vrijedi = P(X = x,..., X = x, Y = k P(Y = k = P(X = x... P(X = x P(Y = k = P(X = (x,..., x, Y = k P(Y = k = P(X = x,..., X = x P(Y = k = pk ( p ( k pk ( p = ( k k k. {f X Y (x,..., x k > 0} = {0, } {x +... + x = k}, }{{} =:A k i vidimo da je uvjeta distribucija od X uz dao Y = k uiforma a A k. E[X i Y = k] = E[π i (X Y = k] = A k = ( x i = ( k Ak k = ( k ( k = ( k ( k k = k, π i (x,..., x f X Y (x,..., x k A k {x i =0} 0 + A k {x i =} 4

pa je regresijska fukcija ϕ: R R, ϕ(x := { k x = k {0,,..., } 0 iače Dakle, jeda verzija od E[X i Y ] je ϕ(y = Y = X +... + X = X. Primjer.6. Neka je (X, Y dvodimezioali ormali slučaji vektor, tj. ( [ ] σ (X, Y (µ, µ, σ σ ρ σ σ ρ σ, < ρ <. Nadite E[X Y ] i E[Y X]. Rješeje. Gustoća vektora (X, Y je daa s { [ (x f X,Y (x, y = π σ σ exp µ ρ x µ x µ ( ]} x µ +. ρ ( ρ σ σ σ σ Takoder zamo da je margiala gustoća [ f Y (y = exp ( ] y µ, σ π σ pa imamo [ f X Y (x y = π σ exp ρ σ( ρ Vidimo da je pa je regresijska fukcija X Y N ( µ + ρ σ (y µ, σ σ ( ρ, E[X Y = y] = µ + ρ σ σ (y µ = ϕ(y. ( x µ ρ σ ] (y µ. σ Dakle, a zbog simetrije je E[X Y ] = µ + ρ σ σ (Y µ, E[Y X] = µ + ρ σ σ (X µ. Dokaz teorema.. Dokaz provodimo kroz ekoliko koraka. g.s.-jedistveost od E[X G] Pretpostavimo da postoje dvije slučaje varijable Y, Ỹ koje zadovoljavaju uvjete (, (, (3 teorema za isti X i istu σ-podalgebru G od F. Iz uvjeta ( i ( slijedi Y, Ỹ 5

L (Ω, G, P. Iz uvjeta (3 za proizvolji G G zbog liearosti matematičkog očekivaja slijedi E[(Y Ỹ G] = E[Y G ] E[Ỹ G] = E[X G ] E[X G ] = 0. Pretpostavimo Y Ỹ g.s., tj. P(Y Ỹ > 0. Budući da je {Y Ỹ } {Y > Ỹ } {Y < Ỹ }, slijedi 0 < P(Y Ỹ P(Y > Ỹ + P(Y < Ỹ. Pretpostavimo BSO da je P(Y > Ŷ > 0. Vrijedi { Y > Ỹ + } {Y > Ỹ }, pa zbog eprekidosti vjerojatosti u odosu a rastuće izove dogadaja imamo ( lim P Y > Ỹ + = P(Y > Ỹ > 0, ( pa postoji N takav da P Y > Ỹ + > 0 (u suprotom bi gorji limes bio maji ili jedak uli. { Defiirajmo G := Y > Ỹ + } G. Imamo E[(Y Ỹ G] = 0 i (Y Ỹ G G > 0, pa zbog mootoosti matematičkog očekivaja slijedi 0 = E[(Y Ỹ G] P(G > 0. Kotradikcija. Egzistecija E[X G] za X L Budući da je G σ-podalgebra od F, skup K := L (Ω, G, P je potpu potprostor prostora L = L (Ω, F, P. Primjeom teorema o projekciji (teorem. slijedi da postoji Y K takav da (i E[(Y X ] = if W K E[(W X ], tj. (ii E[(Y XZ] = 0, Z K. Uočimo da za Y očito vrijede svojstva ( i ( iz teorema. Nadalje, za G G vrijedi G K pa slijedi 0 (ii = E[(Y X G ] = E[Y G ] E[X G ], pa vrijedi i svojstvo (3 iz teorema. 3 Egzistecija E[X G] za X L Lema A. Ako je X = X X i Y = E[X G], Y = E[X G], tada Y Y = E[X G]. Dokaz. Očito Y Y zadovoljava svojstva ( i (. Neka je sada G G proizvolja. Imamo E[(Y Y G ] = E[Y G ] E[Y G ] = E[X G ] E[X G ] = E[X G ], pa vidimo da vrijedi i svojstvo (3. 6

Tvrdimo da je dovoljo dokazati egzisteciju E[X G] za X L, X 0 (aime, u općem slučaju možemo promatrati dekompoziciju X = X + X i primijeiti lemu A. Neka je X 0 slučaja varijabla iz L. Tada postoji iz ograičeih slučajih varijabli (X takav da X X (pr. X := X {X<}. Tada (zbog ograičeosti vrijedi X L, N. Prema koraku, postoji Y = E[X G], N. Lema B. Neka je U 0 ograičea slučaja varijabla i V = E[U G]. Tada je V 0 g.s. Dokaz. ( Pretpostavimo suproto, tj. P(V < 0 > 0. Tada postoji N takav da P V < { > 0. Defiirajmo G := V < } G. Sada zbog mootoosti matematičkog očekivaja slijedi 0 E[U G ] = E[V G ] ( P V < < 0, što je kotradikcija. Budući da je X + X X + X 0, prema lemi B imamo 0 E[X + X G] g.s. = Y + Y g.s. Y Y + g.s. Defiirajmo Y (ω := lim Y (ω. Po kostrukciji je Y G-izmjeriva pa vrijedi svojstvo (. Takoder, za sve G G imamo Y G Y G g.s. (jer X G X G. Po Lebesgueovom teoremu o mootooj kovergeciji imamo E[Y G ] E[Y G ], E[X G ] E[X G ], pa zbog E[Y G ] = E[X G ], N, slijedi E[Y G ] = E[X G ], od. Y zadovoljava svojstvo (3. Budući da je Y 0 g.s. (prema lemi B, iz svojstva (3 za G = Ω slijedi pa Y zadovoljava i svojstvo (. E Y = EY = E[Y Ω ] = E[X Ω ] = EX <, Teorem.7 (Svojstva uvjetog očekivaja. Neka su X, X σ-podalgebre od F. Tada vrijedi L, N, te G, H (a Ako je Y = E[X G], oda EY = EX (tj. E[E[X G]] = EX, (b Ako je X G-izmjeriva, oda X = E[X G], (c Ako je Y = E[X G], Y = E[X G] i α, α R, oda α Y + α Y = E[α X + α X G], (d Ako je X 0 i Y = E[X G], oda je Y 0 g.s., (e (Teorem o mootooj kovergeciji Ako je 0 X X, Y = E[X G] i Y = E[X G], oda Y Y g.s., 7

(f (Fatouova lema Ako je 0 X, N, X := lim X te Y = E[X G], N, Y = E[X G], oda Y lim Y g.s., g.s. (g (Teorem o domiiraoj kovergeciji Ako je X X te postoji slučaja varijabla V takva da X V, N, EV <, te Y = E[X G], N, Y = E[X G], g.s. oda Y Y, (h (Jeseova ejedakost Neka je f : R R koveksa i E[ f(x ] <. Tada E[f(X G] f(e[x G] g.s., (i Ako je H G, tada E[E[X G] H] = E[X H] g.s., (j Ako je Z G-izmjeriva i ograičea slučaja varijabla, tada E[ZX G] = ZE[X G] g.s., (k Ako je X ezavisa od G, tada E[X G] = EX g.s.. Dokaz. Tvrdje (a i (b slijede direkto iz defiicije uvjetog očekivaja. Tvrdja (d je tvrdja leme B u dokazu teorema.. Tvrdje (e, (f, (g, (h su posljedice aalogih teorema iz teorije mjere, od. matematičke aalize. Dokazujemo preostale tvrdje. (c Svojstva ( i ( uvjetog očekivaja očito vrijede pa je dovoljo provjeriti svojstvo (3. Neka je G G proizvolja. Vrijedi E[(α Y + α Y G ] = α E[Y G ] + α E[Y G ] = α E[X G ] + α E[X G ] = E[(α X + α X G ]. (i Neka je Y = E[X G] i Z = E[Y H]. Y L je G-izmjeriva i za svaki G G vrijedi E[Y G ] = E[X G ]. Takoder, Z L je H-izmjeriva i za svaki H H vrijedi E[Z H ] = E[Y H ] = E[X H ] (pri čemu posljedja jedakost vrijedi jer je H G. Zato prema defiiciji slijedi da je Z verzija od E[X H]. (j BSOMP X 0 (u općem slučaju promatramo X = X + X. Tvrdju dokazujemo Lebesgueovom idukcijom. Neka je Z = G za eki G G. Defiirajmo Y := G E[X G] = ZE[X G]. Y je (po kostrukciji G-izmjeriva i itegrabila. Takoder, eka je G G proizvolja. Imamo E[Y G ] = E[E[X G] G G ] = E[E[X G] G G ] g.s. = E[X G G ] = E[(X G G ], pa prema defiiciji slijedi Y = E[X G G] g.s. ZE[X G] = E[ZX G] g.s. 8

Neka je Z = k α i Gi za eke G i G, i =,..., k. Tada je prema svojstvu (c i. koraku [( k ] E α i Gi X G = k α i [ Gi X G] g.s. = ZE[X G] = E[ZX G] g.s. k α i Gi E[X G] 3 Neka je sada Z 0. Tada postoji rastući iz eegativih jedostavih slučajih varijabli (Z takav da Z Z. No tada ZX 0, Z X 0, N i Z X ZX, pa prema teoremu o mootooj kovergeciji (svojstvo (e i. koraku slijedi E[ZX G] = lim E[Z X G] = lim Z E[X G] = ZE[X G] g.s. 4 Neka je Z proizvolja G-izmjeriva i ograičea slučaja varijabla. Tada je Z = Z + Z (zamo Z +, Z 0, pa prema svojstvu (c i 3. koraku imamo E[ZX G] = E[Z + X Z X G] = E[Z + X G] E[Z X G] = Z + E[X G] Z E[X G] = (Z + Z E[X G] = ZE[X G]. (k Po defiiciji, X i G su ezavisi ako i samo ako su X i G ezavise slučaje varijable za sve G G. Treba provjeriti da je Y = EX verzija od E[X G]. Svojstva ( i ( su očita pa je dovoljo provjeriti svojstvo (3. Za proizvolja G G (zbog ezavisosti X i G imamo E[Y G ] = E[(EX G ] = EX E[ G ] = E[X G ]. Primjer.8 (Poopćeje primjera.5. Neka su X,..., X ezavise i jedako distribuirae slučaje varijable, X D i = X i E X <. Pokažite da je X = E[X i Y ] g.s., i =,...,. Rješeje. Defiiramo Y := X +... + X, Y i := E[X i Y ], i =,...,. Tvrdimo Y i = Y g.s., i =,...,. Svojstva ( i ( su očita, provjeravamo svojstvo (3. Za G = Y (B σ(y imamo E[Y i G ] = E[X i Y (B] = X i dp = x i dp X,...,X (x Y (B x +...+x B = x i dp X (x dp X (x dp X (x = [po simetriji] x +...+x B = x dp X (x dp X (x dp X (x = E[Y G ]. x +...+x B Dakle, Y i = Y g.s., i =,...,, pa imamo Y = E[Y Y ] = E[X i Y ] = Y i = Y g.s. Y = Y = X = Y i = E[X i G] g.s., i =,...,. 9

Poglavlje Osovi pojmovi matematičke statistike. Statistička struktura Defiicija.. Neka je (Ω, F izmjeriv prostor i P možia vjerojatosih mjera a (Ω, F. Tada je uredea trojka (Ω, F, P statistička struktura. Ako je P jedočlaa možia, tada je statistička struktura vjerojatosi prostor. Često je možia P parametriziraa: P = {P θ : θ Θ}. Θ je skup vrijedosti parametra θ. Pretpostavljamo Θ R m, m, te da je parametrizacija ijektiva θ θ P θ P θ, θ, θ Θ. Primjer.. (i Ω = {0, }, F = P(Ω, P θ ({0} = θ, P θ ({} = θ, Θ = [0, ] R. θ je parametar Beroullijeve razdiobe. (ii Ω = R, F = B(R, Θ = R 0,, θ = (µ, σ. Za B B(R imamo P θ (B := πσ e σ (x µ dx. Ovime su opisai parametri ormale razdiobe. B θ θk (iii Ω = Z + = {0,,,...}, F = P(Ω, Θ = 0, R, P θ ({k} = e k!, k Ω. θ θx Alterativo, Ω = R, F = B(R, f(x; θ = e x! Z + (x, i za B F imamo P θ (B = x B Z + f(x; θ. Obje ove statističke strukture opisuju Poissoovu razdiobu. Defiicija.3. Neka je X : Ω R d s.v. i (Ω, F, P statistička struktura, P = {P θ : θ Θ}. Za θ Θ imamo F (x; θ = P θ (X x, x R d. Tada je F ( ; θ fukcija distribucije od X uz vjerojatost P θ P. Kažemo da X pripada statističkom modelu P = {F ( ; θ: θ Θ}. 0

U primjeama izučavamo s.v. X i jeu populacijsku razdiobu. Stoga će am od iteresa biti oa statistička struktura koja se sastoji od zakoa razdiobe od X, a ideksiraa je parametrom θ. Uz tu pretpostavku pa možemo poistovjetiti P i P. F ( ; θ P θ, Najčešće će X biti eprekida ili diskreta slučaja varijabla (vektor s gustoćom f( ; θ (u odosu a P θ. U tom slučaju uz iterpretaciju kao u, P θ F ( ; θ f( ; θ, pa možemo poistovjetiti P i {f( ; θ: θ Θ}. Defiicija.4. -dimezioali slučaji uzorak a statističkoj strukturi (Ω, F, P je iz X, X,..., X slučajih varijabli (vektora a (Ω, F takvih da su ezavise i jedako distribuirae u odosu a svaku vjerojatost P P. Defiicija.5. Statistika a statističkoj strukturi (Ω, F, P je svaka slučaja varijabla (vektor T : Ω R d takva da postoji N i -dimezioali slučaji uzorak (X,..., X a (Ω, F, P te izmjerivo preslikavaje t: R R d takvo da je T = t(x,..., X. Primjer.6. Neka je X,..., X slučaji uzorak a statističkoj strukturi (Ω, F, P, pri čemu su X,..., X slučaje varijable. Tada su statistike: (i uzoračka aritmetička sredia: X = (X +... + X, (ii uzoračka varijaca: S = ((X X +... + (X X. Od sada pa adalje pretpostavljamo slučaj.3., tj. da je P = {f( ; θ: θ Θ}. Fraza eka je (X,..., X slučaji uzorak iz modela P zači da je X,..., X slučaji uzorak takav da je zako razdiobe od X i opisa gustoćom f( ; θ, θ Θ.

. Dovolje statistike Pretpostavimo da je (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}. Pojam dovoljosti se odosi a pojedostavjeje iformacije dae uzorkom tako da ukupa iformacija ostae ista. Defiicija.7. Neka je (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} te eka je T = t(x,..., X, t: R R k, statistika. Kažemo da je T dovolja statistika za θ (za P ako za svaki y R k uvjeta distribucija slučajog vektora X = (X,..., X uz dao T = y e ovisi o θ. Neka je f X,T (x, y; θ zajedička gustoća od (X, T. Statistika T je dovolja za θ ako uvjeta gustoća f X T (x y = f X,T (x, y; θ f T (y; θ e ovisi o θ, za sve θ Θ i sve x, y. Primjer.8. Neka je P = {f( ; θ: θ Θ} Beroullijev model, tj. f(x; θ = θ x ( θ x {0,} (x, Θ = 0,, i eka je X = (X,..., X -dimezioali slučaji uzorak. Tada je f X (x,..., x ; θ = θ P x i ( θ P x i {0,} (x,..., x. Stavimo T := X +... + X. Tada je T b(, θ i ( f T (y; θ = P θ (T = y = θ y ( θ y {0,,...,} (y. y Za y = k {0,,..., } je f T (y; θ > 0. Neka je k {0,,..., }. Tada iz primjera.5 zamo f X T (x,..., x k; θ = ( k, od. X T = k ima uiformu razdiobu koja e ovisi o θ. Dakle, po defiiciji je T dovolja statistika za θ. Propozicija.9. T = t(x,..., X je dovolja statistika za θ ako i samo ako za svaku drugu statistiku S = s(x,..., X vrijedi da uvjeta distribucija od S uz dao T = y e ovisi o θ za svaki y. Dokaz. Specijalo, to vrijedi i za S = X = (X,..., X, pa je po defiiciji T dovolja statistika za θ. Neka je S = s(x,..., X R l proizvolja statistika i T dovolja statistika za θ. Tada za proizvolja B B(R l i y takav da f T (y; θ > 0 vrijedi P θ (S B T = y = P θ (s(x B T = y = P θ (X s (B T = y = f X T (x ydx. s (B No poditegrala fukcija u posljedjem itegralu e ovisi o θ jer je T dovolja statistika pa iti čitav itegral e ovisi o θ.

Teorem.0 (Neyma - Fisherov teorem o faktorizaciji. Statistika T = t(x,..., X R k je dovolja za θ ako i samo ako se gustoća slučajog uzorka X = (X,..., X, f(x,..., x ; θ, može faktorizirati a sljedeći ači f(x,..., x ; θ = g θ (t(x,..., x h(x,..., x, (. gdje su za svaki θ Θ, g θ : R k [0,, h: R [0,, izmjeriva preslikavaja. Dokaz. Dokaz ćemo provesti samo za diskreti model P. Neka je x = (x,..., x R. Neka je T dovolja statistika za θ. Tada za x R i y R k takve da t(x = y uz f T (y; θ > 0 imamo f X (x; θ = P θ (X = x = P θ (X = x, T = y = P θ (X = x T = yp θ (T = y, pa možemo staviti h(x = P θ (X = x T = y (ova fukcija e ovisi o θ, ali ovisi o x, g θ (y = f T (y; θ = P θ (T = y. Pretpostavimo da vrijedi (. za sve y R k takve da f T (y; θ = P θ (T = y > 0. Tada f X T (x y; θ = P θ (X = x T = y = P θ(x = x, T = y P θ (T = y = { 0 y t(x P θ (X=x P θ (T =y y = t(x Za y = t(x račuamo P θ (T = y = P θ (t(x = y = = t(x =y P θ(x = x P θ (T = y = t(x =y f X (x ; θ (. = t(x =y P θ (X = x g θ (t(xh(x g θ (y t(x =y h(x. g θ (t(x h(x, }{{} =y Posljedji izraz e ovisi o θ za sve y pa je po defiiciji T dovolja statistika za θ. Primjer.. Neka je X = (X,..., X slučaji uzorak iz ormalog modela N(µ, σ, θ = (µ, σ R 0, = Θ. Neka je T = (X, S. Tada je T dovolja statistika za θ. Naime, f X (x,..., x ; θ = = = πσ e σ (x i µ (π / (σ / exp exp (π / (σ / { σ } (x i x + x µ { σ [( s + (x µ ] = g θ (x, s h(x,..., x, { gdje je g θ (t, t = exp } (π / (σ / σ [( t + (t µ ], pa prema Neyma - Fisherovom teoremu o faktorizaciji slijedi tvrdja. 3 }

Korolar.. Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}, η : R k R k bijekcija i T = t(x, W = w(x: Ω R k dvije statistike takve da je W = η(t. Tada je T dovolja za θ ako i samo ako je W dovolja za θ. Dokaz. Pretpostavimo da je T dovolja statistika za θ. Po Neyma - Fisherovom teoremu gustoća od X se može faktorizirati f(x; θ = g θ (t(xh(x. Defiirajmo fukciju Tada je zbog w = η t g θ : R k [0,, g θ (y := g θ (η (y. f(x; θ = g θ (t(xh(x = g θ (w(xh(x, pa je prema obratu Neyma - Fisherovog teorema i W dovolja statistika za θ. Obrat tvrdje vrijedi zbog simetrije (aime, T = η (W, a η je takoder bijekcija. Napomea. Za statistike koje su bijektive trasformacije jeda druge kažemo da su ekvivalete statistike. Tako je jeda statistika koja je ekvivaleta statistici iz primjera.: ( (X, S X i,. Korolar.3. Statistika T = t(x je dovolja za θ ako i samo ako vrijedi da je za sve θ, θ Θ, θ θ, izraz f X (x; θ f X (x; θ fukcija od t(x, ψ θ,θ (t(x. X i Dokaz. Po Neyma - Fisherovom teoremu imamo pa za θ θ imamo f X (x; θ = g θ (t(xh(x, f X (x; θ f X (x; θ = g θ(t(x g θ (t(x =: ψ θ,θ (t(x. Pretpostavimo da vrijedi zadai uvjet. Tada je dobro defiirao preslikavaje ψ θ,θ (t(x = f X(x; θ f X (x; θ, θ θ. Fiksirajmo θ 0 Θ. Tada iz pretpostavke za sve x i θ Θ vrijedi f X (x; θ = ψ θ,θ0 (t(xf X (x; θ 0 = g θ (t(xh(x, { ψ θ,θ0 (y θ θ 0 g θ (y :=, h(x := f X (x; θ 0, θ = θ 0 pa je prema obratu Neyma - Fisherovog teorema T dovolja statistika za θ. 4

Primjer.4. Neka je X = (X, X, X 3 slučaji uzorak iz Beroullijevog modela b(, θ, 0 < θ <. Očito je X dovolja statistika za θ. Promatrajmo statistike T = X + X + X 3, S = (X, X + X, koje su takoder dovolje za θ. Koja od statistika T, S, X više reducira iformaciju o epozatoj vrijedosti parametra θ, a koja se alazi u uzorku X? Defiicija.5. Dovolja statistika T je miimala dovolja statistika ako je T fukcija svake druge dovolje statistike. Precizije, T = t(x R k je miimala dovolja statistika za θ ako je (i dovolja statistika za θ, (ii za svaku drugu statistiku S dovolju za θ postoji fukcija ϕ takva da T = ϕ(s. Primjer.6. Neka je X = (X,..., X slučaji uzorak iz ormalog modela N(θ,, θ R. Imamo f X (x; θ = f(x i ; θ = = g θ ( (π x i h(x, e / P (x i θ = (π e x e θ P x i θ / pri čemu h(x := e x, g (π / θ (y := e θy θ. Zato je prema Neyma - Fisherovom teoremu T = t(x = X +... + X (t(x = x +... + x dovolja statistika za θ. Je li oa miimala dovolja statistika? Neka je S = s(x = s(x,..., X bilo koja dovolja statistika za θ. Prema Neyma - Fisherovom teoremu, f X (x; θ = g θ (s(x h(x. Neka su x, y R takvi da s(x = s(y. Imamo e ( x y e θ(t(x t(y = f X(x; θ f X (y; θ = h(x h(y, θ R. Budući da desa straa e ovisi o θ, slijedi t(x = t(y. Sada, uz S R m, defiirajmo fukciju ϕ: R m R, { t(x,..., x (z,..., z m = s(x,..., x s(r ϕ(z,..., z m := 0 (z,..., z m / s(r Zbog s(x = s(y t(x = t(y, x, y R, ϕ je dobro defiiraa fukcija i imamo Dakle, T je miimala dovolja statistika. ϕ(s = ϕ(s(x = t(x = T. Ukoliko je f vjerojatosa fukcija gustoće, oda skup supp f = {x D f : f(x > 0} zovemo osač gustoće. 5

Teorem.7. Neka je P = {f 0, f,..., f m } koača statistički model, pri čemu vrijedi supp f i = supp f 0, i =,..., m. Ako je X = (X,..., X slučaji uzorak za P, tada je ( f (X i T = t(x = f 0 (X i,..., f m (X i f 0 (X i miimala dovolja statistika za P. Dokaz. U korolaru.3 uzmemo θ {,..., m}, θ = 0: f X (x; θ f X (x; 0 = f θ(x i f 0(x i = f θ (x i f 0 (x i = π θ(t(x, pri čemu je sa π θ (t(x ozačea projekcija a θ-tu kompoetu vektora t(x. No sada za proizvolje θ, θ, θ θ, imamo f X (x; θ f X (x; θ = f X (x;θ f X (x;0 f X (x;θ f X (x;0 = π θ (t(x π θ (t(x, pa je prema korolaru.3 T dovolja statistika. Neka je S = s(x eka dovolja statistika za P. Poovo prema korolaru.3 za θ θ pa za θ {,..., m}, θ = 0 vrijedi Dakle, gdje je ϕ = ( ψ,0,..., ψ m,0. f X (x; θ f X (x; θ = ψ θ,θ (s(x, π θ (t(x = ψ θ,0 (s(x. T = (π (T,..., π m (T = ( ψ,0 (S,..., ψ m,0 (S =: ϕ(s, 6

.3 Potpue statistike Defiicija.8. Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} te eka je T = t(x R k statistika. T je potpua statistika ako za svaku izmjerivu fukciju g : R k R vrijedi (( θ Θ E θ [g(t ] = 0 (( θ Θ g(t = 0 P θ g.s. Lema.9. Neka je T R k potpua statistika i ϕ: R k R m izmjeriva fukcija. Tada je i S = ϕ(t potpua statistika. Dokaz. Neka je g proizvolja izmjeriva fukcija takva da za sve θ Θ vrijedi Tada je za sve θ Θ E θ [g(s] = 0. E θ [(g ϕ(t ] = 0. Budući da je T potpua statistika, tada je P θ -g.s. Dakle, za sve θ Θ je g(s = 0 P θ -g.s. statistika. (g ϕ(t = 0 θ Θ. Sada po defiiciji slijedi da je S potpua Primjer.0. Neka je X = (X,..., X slučaji uzorak iz Beroullijevog modela b(, θ, θ 0,, i T = X +... + X. Tada je T potpua statistika. Naime, eka je g bilo koja izmjeriva fukcija takva da je θ 0, E θ [g(t ] = 0 ( θ 0, g(k k k=0 ( α > 0 g(k k g(k = 0 k=0 k = 0,,..., θ k ( θ k = 0 α k = 0 g(t = 0 P θ g.s., θ 0, : ( θ α := θ θ Naime, P θ (T {0,,..., } = P θ (g(t = 0 =, θ 0,. Primjer. (Primjer dovolje statistike koja ije potpua. Neka je X = (X,..., X slučaji uzorak iz modela N(θ, θ, θ 0,, te promatrajmo statistiku ( T = (T, T := X i,. Imamo f X (x; θ = θ π e = (θ π / exp θ (x i θ X i { θ t (x + θ t (x } 7 =: g θ (t (x, t (x, }{{} =h(x

pa je prema Neyma - Fisherovom teoremu T dovolja statistika za θ. S druge strae, T ije potpua statistika jer postoji izmjeriva fukcija g takva da za sve θ > 0 vrijedi E θ [g(t ] = 0 te postoji θ > 0 takav da P θ (g(t 0 > 0. Defiirajmo fukciju Za θ > 0 imamo [ E θ T + ] [ T = E θ (X + g : R R, g(t, t := t + t. = E θ (X + [ = E θ X X i ] = E θ [ (X + ] (X i X + X (X i X ( + X (X i X ] ( + ( S [ ( = E θ (X θ + ( θx [ = E θ θ ( X θ θ + ( θ E θ [X ] }{{} =θ = θ E θ [ (X θ θ ( ] + θ ( S θ ( θ } {{ } =0 ] + [ ] ( S θ E θ + θ Budući da je (X,..., X slučaji uzorak iz ormalog modela, vrijedi ( + θ + θ ( ] S θ ( θ X X θ θ ( X θ N(0, χ (, θ ( S θ χ (, a odavde slijedi [ E θ T + ] T = θ + θ ( + = + + θ = 0. S druge strae, P θ (g(t, T > 0 > 0 (T i T su ezavise statistike. ( θ Teorem.. Ako je T potpua i dovolja statistika, oda je T i miimala dovolja statistika. Općeito, za slučaji uzorak (X,..., X iz N(µ, σ modela vrijedi X µ ( S N(0,, σ σ χ (, Takoder, ako je X χ (, tada EX =. X µ S t(, (X i µ σ χ (. 8

.4 Ekspoecijale familije Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}.Pretpostavimo da su X i d-dimezioali slučaji vektori (ili varijable za d = te Θ R m. Defiicija.3. Model P je k-parametarska ekspoecijala familija ako je odgovarajuća gustoća f( ; θ P oblika { k } f(x; θ = C(θh(x exp Q i (θt i (x, (. za eki k N i izmjerive fukcije C, Q i : R m R, h, t i : R d R, pri čemu su fukcije t,..., t k liearo ezavise. Često je pogodo za parametre modela P daog s (. uzeti η i = Q i (θ, i =,..., k, { k } f(x; η = C(ηh(x exp η i t i (x.. (.3 Kažemo da je gustoća f daa kaoskom formulom, a parametre (η,..., η k zovemo prirodim parametrima. Sa (.3 je daa vjerojatosa fukcija gustoće ako i samo ako za (η,..., η k vrijedi e Pk η it i (x h(xdx < (.4 R d u eprekidom slučaju, od. ako i samo ako e P k η it i (x h(x < (.5 x Odgo- Primjer.4. (a Promatrajmo Beroullijev model b(, θ, θ 0, = Θ. varajuća fukcija gustoće jest { } f(x; θ = θ x ( θ x θ {0,} (x = ( θ exp x log {0,} (x, θ u diskretom slučaju. Ozačimo sa Σ skup svih takvih prirodih parametara (η,..., η k (tj. takvih da vrijedi (.4 ili (.5. Tada je Σ R k koveksa skup. Neka je Q = (Q,..., Q k : Θ R k. Kažemo da je k-parametarska ekspoecijala familija puog raga ukoliko slika Q(Θ sadrži otvorei eprazi k-dimezioali pravokutik. θ pa imamo C(θ = θ, h(x = {0,} (x, Q (θ = log θ, t (x = x, od. riječ je o -parametarskoj ekspoecijaloj familiji. Nadalje, ako defiiramo Q = Q : 0, R, Q(θ = log vidimo da je Q( 0, = R, pa je familija puog raga. 9 θ θ,

(b Za ormali model N(µ, σ, θ = (µ, σ R 0, =: Θ, imamo f(x; µ, σ = { exp } µ { (x µ = e σ µ πσ σ exp πσ σ x σ x pa je ovaj model -parametarska ekspoecijala familija. Uz ( µ Q: R 0, R, Q(µ, σ = σ, = (Q σ (µ, σ, Q (µ, σ, vrijedi Q(R 0, = R, 0, pa je i ova familija puog raga. (c Za poliomijali model p(; p,..., p k, θ = (p,..., p k Θ := {(q,..., q k 0, k : q +... + q k < }, uz ozake p 0 = p... p k, A = {(y 0,..., y k {0,,..., } k+ : y 0 +... + y k = } imamo f(x 0, x,..., x k ; θ = =! x 0!x! x k! px 0 0 p x p x k k A(x 0, x,..., x k! x 0!x! x k! A(x 0, x,..., x k p 0 exp { k x i log p i p 0 pa je ovaj model k-parametarska ekspoecijala familija (i pokaže se da je takoder puog raga. Teorem.5. Neka je X = (X,..., X slučaji uzorak iz k-parametarske ekspoecijale familije s gustoćama (.. Tada je ( T = (T,..., T k = t (X i, t (X i,..., t k (X i (.6 dovolja statistika za θ. Dokaz. Gustoća od X se može prikazati u obliku { k f X (x,..., x ; θ = f(x i ; θ = C(θ h(x h(x exp Q j (θ pa tvrdja slijedi prema Neyma - Fisherovom teoremu (teorem.0. j= }, }, } t j (x i, Napomea. Dovolju statistiku (.6 zovemo priroda dovolja statistika. Primjer.6 (Krivulja ekspoecijala familija. Promatrajmo model N(θ, θ, θ 0, Θ. Vrijedi f(x; θ = { θ π exp } (x θ θ { = e θ π exp θ x } θ x, pa je ovaj model -parametarska ekspoecijala familija. Uočimo da za prirode parametre η = Q (θ = θ, η = Q (θ = θ vrijedi η = η, η > 0. 30

Takoder, uz Q = (Q, Q, vidimo da ova familija ije puog raga (tj. e postoji otvorei pravokutik a, b c, d Q(Θ. ( Zamo da je statistika T = X i, dovolja za θ, ali ije potpua (primjer.. Je li miimala dovolja? X i Lema.7. Ako je P familija distribucija sa zajedičkim osačem, P 0 P te ako je T miimala dovolja statistika za P 0 i dovolja za P, tada je T miimala dovolja i za P. Dokaz. Neka je S bilo koja dovolja statistika za P. Tada je S dovolja i za P 0, a budući da je T miimala dovolja statistika za P 0, postoji fukcija ϕ takva da T = ϕ(s. Teorem.8. Neka je T = (T,..., T k priroda dovolja statistika k-parametarskog ekspoecijalog modela (.. Tada je T miimala dovolja statistika ukoliko je zadovolje jeda od uvjeta (i model je puog raga, (ii Q(Θ sadrži k + točaka koje razapiju R k, tj. postoje η i = Q(θ i, i = 0,,..., k, takvi da [η η 0,..., η k η 0 ] = R k. Dokaz. Zbog (i (ii dovoljo je dokazati miimalost prirode dovolje statistike za slučaj (ii. Neka su η i = Q(θ i, i = 0,,..., k, takvi da su η i η 0, i =,..., k, liearo ezavisi vektori u R k. Neka je P 0 koača potfamilija od P takva da P 0 = {f( ; θ i : i = 0,,..., k}. Prema teoremu.7, miimala dovolja statistika za P 0 je T = (T,..., T k, { k } T j f(x i ; η j = f(x i ; η 0 = C(θ j C(θ 0 exp (η jl η 0l T l, j =,..., k, gdje je T = (T,..., T k priroda dovolja statistika, a X = (X,..., X slučaja uzorak iz modela P. Logaritmirajem dobijemo log T j = log C(θ j + C(θ 0 }{{ } =:γ j l= k (η jl η 0l T l, j =,..., k, l= tj. imamo sljedeći lieari sustav log T γ η η 0 η k η 0k. =..... log T k γ k η k η 0 η kk η 0k T. T k = AT, pri čemu je A, prema pretpostavci, regulara matrica. Zato imamo log T γ T = A. = φ(t. log T k γ k 3

Ako je S proizvolja dovolja statistika za P 0, tada postoji fukcija ϕ takva da T = ϕ(s, pa je T = φ(t = (φ ϕ(s, tj. T je miimala dovolja statistika za P 0. Prema lemi.7 je T miimala dovolja statistika za P. Teorem.9. Neka je T = (T,..., T k priroda dovolja statistika k-parametarske ekspoecijale familije puog raga. Tada je T potpua statistika. Dokaz. Neka je gustoća f zadaa u obliku (.3 te eka je I = a, a a, a... a k, a k Q(Θ Σ, (aime, traslacijom u parametarskom prostoru uvijek možemo postići da je (0, 0,..., 0 Q(Θ. Neka je g : R k R takva izmjeriva fukcija da je za sve η Σ E η [g(t ] = 0. Imamo 0 = E η [g(t ] = g(t(x R = R = R C(ηh(xe Pk j= η jt j (x dx C(ηg(t(xe P j= η jt j (x h(xdx C(ηg(t(xe Pk j= η jt j (x dν, gdje je mjera ν(a := A h(xdx, A B(R, apsoluto eprekida (u odosu a Lebesgueovu mjeru, ν λ. Specijalo, to vrijedi i za svaki η I. Nadalje, ako zapišemo g = g + g, oda za sve η I vrijedi e Pk j= η jy j g + (ydµ(y = e Pk j= η jy j g (ydµ(y, R k R k gdje je µ mjera dobivea primjeom teorema o zamjei varijabli µ(b := (νt (B = h(xdx, B B(R k, t = (t,..., t k, T = t(x. t (B Specijalo, ako je η = 0, tada defiiramo A := g + (ydµ(y = R k g (ydµ(y. R k Naravo, preostaje dokazati (pr. Lebesgueovom idukcijom sljedeću tvrdju: ukoliko su µ, ν mjere a izmjerivom prostoru (X, F i ν µ, tj. ν(a = hdµ, tada je izmjeriva fukcija f : X R A itegrabila u odosu a ν ako i samo ako je fukcija fh itegrabila u odosu a µ i vrijedi X f dν = X fh dµ. Ova tvrdja opravdava posljedju dobiveu jedakost u raspisu E η[g(t ]. 3

Ako je A = 0, oda g + = 0, g = 0 µ-g.s., tj. g = 0 µ-g.s., pa imamo g t = 0 ν-g.s. Sada zbog apsolute eprekidosti slijedi g(t = 0 P η -g.s. za svaki η. Ukoliko je A > 0, vrijedi = R k g + (y A dµ(y = g (y R A k dµ(y, pa vidimo da su A g+, A g fukcije gustoće ekih slučajih varijabli u vjerojatosom modelu. Bez smajeja općeitosti možemo pretpostaviti da su g +, g vjerojatose fukcije gustoće u odosu a mjeru µ. Može se pokazati da za sve ξ,..., ξ k R vrijedi P k j= ξ jy j g + P k (ydµ(y = j= ξ jy j g (ydµ(y, R k e i (vidi: E. L. Lehma: Testig Statistical Hypothesis, 4, teorem 3.. Odavde slijedi [ ϕ g +(ξ,..., ξ k = E g + e i P ] [ k j= ξ jt j = E g e i P ] k j= ξ jt j = ϕ g (ξ,..., ξ k, pa je g + g µ-g.s. (aime, preslikavaje f ϕ f je ijekcija prema teoremu jedistveosti; vidi: N. Sarapa: Teorija vjerojatosti, teorem 3... Dakle, g = g + g = 0 µ-g.s., a odavde g(t = 0 P θ -g.s. za svaki θ Θ, pa je T potpua statistika. Primjer.30. Neka je X = (X,..., X slučaji uzorak iz modela U(0, θ, θ 0, = Θ. Odgovarajuća gustoća jest pa se gustoća od X može zapisati kao f X (x; θ = R k e i f(x; θ = θ 0,θ (x, θ 0,θ (x i = θ x (, (θ = g θ (x ( }{{}. =:h(x Zato je prema Neyma - Fisherovom teoremu T = X ( = max i X i dovolja statistika za θ. Za jeu fukciju distribucije imamo F X( (x = P(X ( x = P(X x,..., X x = P(X x = F X (x pa je jea gustoća 0 x 0 F X( (x; θ = F X (x; θ 0 < x < θ x θ f X( (x; θ = { 0 x / 0, F X (x; θ f(x; θ x 0, θ Neka je g : R R takva fukcija da E θ [g(t ] = 0 za svaki θ > 0. To je ekvivaleto s θ 0 g(x x θ dx = 0, θ > 0, 33

Dakle, θ g(xx dx 0 }{{} =:G(θ = 0, θ > 0. G(θ = 0 θ > 0 g(θθ = 0 θ > 0 g(y = 0 y > 0 g(x ( = 0 P θ -g.s. θ > 0 Odavde slijedi da je T = X ( i potpua statistika. Budući da je dovolja i potpua, T je i miimala dovolja statistika. 34

Poglavlje 3 Statistička procjea 3. Nepristrai procjeitelji Neka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ}, Θ R p. Na osovi zadaog uzorka želimo procijeiti vrijedost parametra θ, ili općeito, eke jegove fukcije τ(θ τ(θ R k. Defiicija 3.. (Točkovi procjeitelj od τ(θ je statistika T = t(x = t(x,..., X u R k. Napomea. Smisleo je promatrati procjeitelje za koje vrijedi da je za dovoljo veliki T τ(θ. Koje procjeitelje za τ(θ odabrati? Jeda od kriterija za usporedivaje procjeitelja je sredjekvadrata pogreška. Defiicija 3.. Neka je T = t(x procjeitelj za τ(θ R. Sredjekvadrata greška od T (u odosu a P θ je, ako postoji, broj MSE θ (T = E θ [(T τ(θ ], θ Θ. Koristeći sredjekvadratu pogrešku kao mjeru greške procjee, ajbolji procjeitelj za τ(θ bio bi procjeitelj T takav da No, takav procjeitelj T e mora užo postojati. MSE θ (T MSE θ (T, θ Θ. (3. Primjer 3.3. Uzmimo Θ = {, }, P = {P, P }, P θ (A = θe θ x dx, A B(R. Promatrajmo statistike T, T, te τ(θ = θ. Vrijedi { MSE θ (T = E θ [( θ ] = ( θ 0 θ = = θ = A 35

MSE θ (T = E θ [( θ ] = ( θ = { 0 θ = θ = Pretpostavimo da je T ajbolji procjeitelj u smislu sredjekvadrate pogreške. Tada za eki drugi procjeitelj T od θ i sve θ {, } vrijedi MSE θ (T MSE θ (T. Specijalo, to vrijedi i za procjeitelje T, T : Za θ = imamo a za θ = vrijedi 0 MSE θ (T ( θ θ {, }, 0 MSE θ (T ( θ θ {, }. 0 MSE (T 0 (T = 0 P -g.s. T P -g.s., 0 MSE (T 0 (T = 0 P -g.s. T P -g.s., što je očito kotradikcija. Dakle, takav procjeitelj T e postoji. Defiicija 3.4. Procjeitelj T = t(x za τ(θ R je epristra za τ(θ ako vrijedi E θ [T ] = τ(θ, θ Θ. (3. Procjeitelj koji ije epristra zove se pristra procjeitelj za τ(θ. Primjer 3.5. (a U Beroullijevom modelu b(, θ, θ [0, ], procjeitelj X [0, ] za τ(θ = θ je epristra E θ [X ] = E[X ] = θ, θ [0, ]. (b Općeito, eka je X = (X,..., X slučaji uzorak iz modela P = {f( ; θ: θ Θ} s koačim očekivajem µ(θ := E θ [X ]. Tada je X epristra procjeitelj za µ(θ. (c Uz iste pretpostavke kao u (b pretpostavimo još i da postoji koača varijaca σ (θ := Var θ [X ]. Tada je epristra procjeitelj za σ (θ. S = (X i X (d Za jedodimezioali model P = {f( ; θ: θ Θ} ozačimo sa F ( ; θ, θ Θ, pripade fukcije distribucije. Empirijska fukcija distribucije F (x je statistika F (x = {X x}, x R. Budući da je za sve θ Θ i x R E θ [ F (x] = E θ [ {X x}] = P θ (X x = F (x; θ, empirijska je fukcija distribucije epristra procjeitelj za F ( ; θ. 36

Sljedeći am primjer pokazuje da epristra procjeitelj e mora uvijek postojati. Primjer 3.6. Promatrajmo Beroullijev model b(, θ, θ 0,. (a Za = je X slučaji uzorak. Uzmimo τ(θ = θ. Pretpostavimo da je T = t(x epristra procjeitelj za τ(θ, tj. E θ [t(x ] = θ, θ 0,, t(0 ( θ + t( θ = θ, θ 0,. No, posljedja je jedakost emoguća po teoremu o jedakosti polioma (poliom. stupja e može biti jedak poliomu. stupja. (b Uzmimo sada slučaja uzorak X = (X,..., X, τ(θ =, te pretpostavimo da je θ T = t(x epristra procjeitelj za τ(θ. Imamo E θ [t(x,..., X ] =, θ 0,, θ t(x,..., x θ x+...+x ( θ (x+...+x = θ {0,} t(0, 0,..., 0( θ + t(x,..., x θ x +...+x ( θ (x +...+x = θ Prelaskom a limes lim θ 0+ beskoača. Kotradikcija. {0,} i, x i 0 dobivamo da je limes lijeve strae koača, a dese Defiicija 3.7. Kažemo da je fukcija τ(θ procjejiva ukoliko postoji barem jeda epristra procjeitelj za ju. Je li fukcija epristraog procjeitelja epristra procjeitelj, tj. ako je T epristra procjeitelj za τ(θ i η : τ(θ R, je li η(t epristra procjeitelj za η(τ(θ? Općeito ije. Na primjer, ako je (X,..., X slučaji uzorak iz N(µ, σ, µ R, σ > 0, i T = X, oda je T epristra procjeitelj za µ, ali E µ,σ [X ] = Var µ,σ X + (E µ,σ X = σ + µ µ. Lema 3.8. Ako je η(y = a + by, b 0, y R, te ako postoji matematičko očekivaje, tada E θ [T ] = τ(θ E θ [η(t ] = a + bτ(θ. Dokaz. Slijedi iz liearosti matematičkog očekivaja i čijeice da je matematičko očekivaje kostate jedako toj kostati. Zadatak 3... Neka je P Poissoov model P (θ, θ > 0, te eka je X = (X,..., X slučaji uzorak iz P. Je li statistika T = t(x = ( X epristra procjeitelj za τ(θ = e θ? Rješeje. Vrijedi E θ [T ] = E θ [( X ] = k=0 ( k θk k! e θ = e θ ( θ k = e θ e θ = e θ = τ(θ. k! No, ova je statistika besmisle procjeitelj za dau fukciju (poprima samo vrijedosti, što je graiča vrijedost od τ(θ, i -, što je vrijedost koja se e alazi u slici τ(θ. 37 k=0

3. Nepristrai procjeitelji uiformo miimale varijace Defiicija 3.9. Neka je τ(θ procjejiva fukcija i W familija svih epristraih procjeitelja za τ(θ koji su koače varijace ( θ Θ, Var θ T <. Statistika T je epristra procjeitelj uiformo miimale varijace za τ(θ (UMVUE ako je T epristra procjeitelj za τ(θ i vrijedi T W, θ Θ, Var θ T Var θ T. (3.3 Napomea. Primijetimo da je UMVUE T W. Nadalje, T zadovoljava (3. jer je u slučaju epristraih procjeitelja MSE θ (T = E θ [(T τ(θ ] = Var }{{} θ T. =E θ T Teorem 3.0. Neka je N familija epristraih procjeitelja koače varijace za η(θ = 0. Tada je epristra procjeitelj T za τ(θ UMVUE ako i samo ako vrijedi S N, θ Θ, E θ [T S] = 0. (3.4 Dokaz. Pretpostavimo da vrijedi (3.4. Neka je θ Θ proizvolja. Razlikujemo slučaja: E θ [T ] = 0. Tada T 0 P θ -g.s. pa je E θ T = 0, Var θ T = 0. Odavde slijedi Var θ T = 0 Var θ T, T W. E θ [T ] > 0. Neka je U W. Tada je T U N (zaista, T U je procjeitelj koače varijace i zbog liearosti matematičkog očekivaja vrijedi E ψ [T U] = τ(ψ τ(ψ = 0 = η(ψ, ψ Θ. Zato je prema (3.4 pa dijeljejem s E θ [T ] > 0 slijedi E θ [T (T U] = 0 E θ [T ] = E θ [T U] CS E θ [T ] E θ [U ], Eθ [T ] E θ [U ] E θ [T ] (τ(θ E θ [U ] (τ(θ E θ [T ] (E θ T E θ [U ] (E θ U Var θ T Var θ U eg. Uiformly Miimum Variace Ubiased Estimator 38

Pretpostavimo sada da je T UMVUE za τ(θ, tj. da vrijedi (3.3. Neka su S N i θ Θ proizvolji. Tada je U λ := T + λs, λ R, epristra procjeitelj za τ(θ koače varijace. Zbog (3.3 za svaki λ R vrijedi Odavde imamo No za kovarijacu cov θ (T, S imamo pa slijedi Var θ T Var θ U λ. Var θ T Var θ T + λ Var θ S + λ cov θ (T, S. cov θ (T, S = E θ [T S] E θ T E θ S = E }{{} θ [T S], =0 0 λ Var θ S + λe θ [T S], λ R. Ukoliko desu strau ove ejedakosti shvatimo kao kvadratu fukciju po λ, vidimo da jea diskrimiata mora biti maja ili jedaka uli, tj. pa slijedi (3.4. 4(E θ [T S] 4 Var θ S 0 0 (E θ [T S] 0 E θ [T S] = 0, Lema 3.. Neka je (X, Y slučaji vektor takav da E[X ] <, E[Y ] <. Tada za koeficijet korelacije cov(x, Y ρ(x, Y = Var X Var Y vrijedi (i ρ(x, Y, (ii ρ(x, Y = α, β R, α > 0, X = αy + β g.s. (iii ρ(x, Y = α, β R, α < 0, X = αy + β g.s. Dokaz. Primjeom Cauchy - Schwarzove ejedakosti dobivamo cov(x, Y Var X Var Y, pa slijedi tvrdja (i. Jedakost vrijedi ako i samo su X EX i Y EY g.s. kolieare slučaje varijable, tj. ako postoji λ R takav da X EX = Y EY X = λy + EX λey g.s., pa imamo α = λ, β = EX λey. Sada račuamo cov(x, Y za X = αy + β g.s. pa slijedi cov(x, Y = cov(αy + β, Y ρ(x, Y = pa vrijede i tvrdje (ii i (iii. = α cov(y, Y + cov(β, Y }{{} =0 = α Var Y, α Var Y Var Y α Var Y = α α 39 = sg α,