Optimalnost u procjeni Nepristran procjenitelj minimalne varijance Cramer-Rao donja granica - ekasnost Konzistentnost. Vjeºbe - Statistika II.

Transcript

1 Vjeºbe - Statistika II. dio

2 Optimalnost u procjeni Procjenitelja ima puno, pa treba imati kriterije za usporedbu izmežu njih. Radi jednostavnosti promatramo samo jednodimenzionalne parametre θ Θ R Funkcija gubitka (loss function) L(ˆθ, θ) = L : Θ Θ [0, + ) pokazuje koli inu odstupanja procjenitelja ˆθ od parametra θ. Npr. L(a, b) = (a b) 2, L 1 (a, b) = a b, L 2 (a, b) = b a 1 ln( b a ). Uvijek koristimo L(a, b) = (a b) 2, osim ako nije druga ije nazna eno.

3 Funkcija rizika (risc function) je R(ˆθ, θ) = E θ L(ˆθ, θ), θ Θ. To je o ekivano odstupanje u procesu procjenjivanja parametra θ. Za L(a, b) = (a b) 2 dobijemo srednju kvadratnu gre²ku (MSE) R(ˆθ, θ) = E θ (ˆθ θ) 2, Denicija 1. Za danu funkciju gubitka L, procjenitelj ˆθ je nedopustiv za θ ako postoji procjenitelj ˆθ 1 tako da je R(ˆθ 1 ; θ) R(ˆθ; θ), θ Θ i R(ˆθ 1 ; θ 0 ) < R(ˆθ; θ 0 ) za neki θ Θ. U suprotnom je procjenitelj dopustiv.

4 Nepristranost procjenitelja šelimo onaj procjenitelj koji ima najmanji rizik - optimalan u srednjekvadratnom smislu. Denicija 2. Procjenitelj ˆθ nepoznatog parametra θ iz statisti kog modela {F θ ; θ Θ} je nepristran ako je E θ ˆθ = θ, θ Θ. Ako procjenitelj nije nepristran, onda kaºemo da je pristran. Pristranost procjenitelja ˆθ deniramo kao razliku b θ (ˆθ) = E θ ˆθ θ.

5 Napomena 1. Nepristranost ima veze s optimalno² u u srednje kvadratnom smislu. Naime, moºe se pokazati da vrijedi ( 2 R(ˆθ, θ) = Var(ˆθ) + b θ (ˆθ)), odakle se vidi da nepristran procjenitelj ima najmanji rizik mežu svim procjeniteljima s istom varijancom. Osim toga, vidimo i da je rizik nepristranog procjenitelja jednak njegovoj varijanci.

6 Zadaci Zadatak 1. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz familije {F µ, µ = EX i R}. Ispitajte je li Xn nepristran procjenitelj za µ.

7 Zadatak 2. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz distribucije s varijancom σ 2 2 n. Pokaºite da S n i=1 (X i Xn ) 2 nije nepristran = 1 n n i=1 (X i Xn ) 2 procjenitelj za σ 2 2, no da je procjenitelj S n = 1 n 1 nepristran za σ 2. Nazivamo ga "popravljena uzora ka varijanca".

8 Zadatak 3. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz U[0, θ]. (a) Odredite a tako da statistika ˆθ = ax (n) bude nepristran procjenitelj parametra θ, pri emu je X (n) maksimalna statistika poretka. (b) Izra unajte kvadratnu funkciju rizika za dobiveni ˆθ.

9 Zadatak 4. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz U[0, θ]. Provjerite je li ˆθ = 2 Xn nepristran procjenitelj za θ, te nažite funkciju rizika tog procjenitelja.

10 Zadatak 5. Neka su ˆθ 1, ˆθ 2 nepristrani procjenitelji za θ 1 i θ 2, redom. (a) Je li aˆθ 1 + bˆθ 2 nepristran procjenitelj za aθ 1 + bθ 2? (b) Je li ˆθ 1 2 nepristran procjenitelj za θ2 1?

11 Zadatak 6. Neka su S1 2 i S 2 2 nepristrani procjenitelji varijance neke distribucije dobiveni iz jednostavnih slu ajnih uzoraka (X 1,..., X n1 ) i (X 1,..., X n2 ). Dokaºite da je statistika S 2 = (n 1 1)S (n 2 1)S 2 2 n 1 + n 2 2 takožer nepristran procjenitelj varijance te distribucije.

12 Zadatak 7. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz binomne B(n, p) distribucije. Pokaºite da je statistika ˆθ = X i(n X i ), i = 1,..., n, n 1 nepristran procjenitelj varijance Var X i = npq.

13 Zadatak 8. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz eksponencijalne E(λ), λ > 0 distribucije s pripadnom funkcijom gusto e f (x; λ) = λe λx 1 (0, ) (x). Izra unajte EX 1, VarX 1, te nažite funkciju rizika procjenitelja ˆλ = X (1) nepoznatog parametra λ, pri emu je X (1) minimalna statistika poretka.

14 Zadatak 9. Na osnovi danih mjerenja stranice kvadrata a u milimetrima dobiveni su podaci 321, 323, 318, 327, 324, ²to su realizacije nezavisnih, jednako distribuiranih slu ajnih varijabli X 1,..., X 5. Odredite nepristran procjenitelj povr²ine a 2.

15 Zadatak 10. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak. Neka je ˆθ = K n 1 k=1 (X k+1 X k ) 2 procjenitelj za VarX 1. Koji uvjet mora biti ispunjen da bi ˆθ bio nepristran procjenitelj za VarX 1?

16 Zadatak 11 (DZ). Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz U[a, b], gdje je poznata duljina h = b a, ali nije poznato sredi²te intervala c = (a + b)/2. Za procjenitelja od c uzima se Provjerite njegovu nepristranost. ĉ = X (1) + X (n). 2

17 Zadatak 12 (DZ). Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz distribucije s gusto om f (x; λ) = 1 2λ x x e λ 1(0, (x). Provjerite je li nepristran procjenitelj za λ. ˆλ = 1 n n i=1 X i

18 Nepristran procjenitelj minimalne varijance U klasi svih procjenitelja htjeli bi prona i onaj koji ima najmanju srednju kvadratnu gre²ku. Pokazuje se da je takav pristup nemogu u klasi svih procjenitelja (θ = 12?!), traºimo takav procjenitelj mežu svim nepristranim procjeniteljima nepoznatog parametra. To e onda biti nepristrani procjenitelj minimalne varijance - jo² ga zovemo i najbolji nepristrani procjenitelj ili UMVU procjenitelj (unifomly minimum variance unbiased) Postoji nekoliko pristupa traºenju UMVU procjenitelja.

19 Rao-Blackwell pristup Sljede i teorem ukazuje na put kojim moºemo i i u smanjenju varijance procjenitelja, ali jo² uvijek ne kaºe kako posti i minimalnu varijancu u klasi nepristranih procjenitelja. Teorem 1 (Rao-Blackwell). Neka je X = (X 1,..., X n ) slu ajan uzorak iz parametarskog statisti kog modela {F θ (x) : θ Θ} i neka je T = t(x) dovoljna statistika za θ. Neka je S = S(X) nepristran procjenitelj za g (θ), g : Θ R kona ne varijance za sve θ Θ. Deniramo li S = E θ (S T ) onda je (i) S nepristran procjenitelj za g (θ) (ii) Var θ S < Var θ S osim ako P θ (S = S) = 1.

20 Napomena 2. Ovaj teorem sugerira da svaki nepristran procjenitelj treba biti funkcija dovoljne statistike (onda e biti S = S). Ako nije, moºemo konstruirati procjenitelj manje varijance njegovim uvjetovanjem na dovoljnu satistiku. Napomena 3. Uo imo da S = E θ (S T ) ne ovisi o θ jer je T dovoljna statistika. Pobolj²ani procjenitelj S naziva se Rao-Blackwellov procjenitelj, a postupak njegova dobivanja se ponekad naziva Rao-Blackwellizacija.

21 Zadaci Zadatak 13. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz B(20, p) populacije. (a) Nažite nepristran procjenitelj za parametar g (p) = 4p(1 p) 19 u funkciji od X 1. (b) Popravite dobiveni procjenitelj teoremom Rao-Blackwell.

22 Zadatak 14. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Poissonove distribucije s parametrom θ > 0, tj. X i P(θ). (a) Nažite procjenitelj S u funkciji od X 1 za g(θ) = θ 2 e θ. (b) Popravite S teoremom Rao-Blackwell.

23 Zadatak 15. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz Poissonove distribucije s parametrom λ > 0, tj. X i P(λ). (a) Nažite nepristrani procjenitelj S za g (λ) = e λ (1 + λ) u funkciji od X 1 (b) Popravite S teoremom Rao-Blackwell.

24 Lehmann-Schee pristup Ve smo rekli da dovoljnih statistika ima puno. S kojom od njih treba uvjetovati procjenitelj u teoremu Rao-Blackwell da bi se dobio ²to bolji procjenitelj? Teorem 2 (Lehmann-Schee). Neka je T potpuna dovoljna statistika za θ i neka je S nepristran procjenitelj za g (θ), g : Θ R kona ne varijance za sve θ Θ. Tada S = E θ (S T ) ima najmanju varijancu mežu svim nepristranim procjeniteljima kona ne varijance za g (θ) i jedinstven je P θ -g.s. za sve θ.

25 Ovaj fantasti an rezultat ima nekoliko posljedica u modelima u kojima postoji potpuna dovoljna statistika: (i) Ako postoji bilo koji nepristran procjenitelj kona ne varijance onda moºemo na i UMVU procjenitelj. (ii) Ako postoji UMVU procjenitelj on je funkcija potpune dovoljne statistike i jedinstven je (P θ -g.s.). (iii) Ako je neki nepristran procjenitelj kona ne varijance funkcija potpune dovoljne statistike on je jedinstveni UMVU procjenitelj.

26 Zadaci Zadatak 16. Jesu li Rao-Blackwell procjenitelji iz prethodnih zadataka UMVU procjenitelji?

27 Zadatak 17. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz N (µ, σ 2 ). (a) Je li Xn UMVU procjenitelj za µ? (b) Je li S 2 n UMVU procjenitelj za σ2?

28 Zadatak 18. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz P(λ). Nažite UMVU procjenitelj za λ.

29 Zadatak 19. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz distribucije s gusto om Nažite UMVU procjenitelj za θ. f (x; θ) = 1 θ x 1 θ θ 1(0,1) (x), θ > 0.

30 Zadatak 20. Nažite UMVU procjenitelj za parametar θ na osnovu jednostavnog slu ajnog uzorka iz U(0, θ) distribucije.

31 Cramer-Rao donja granica - ekasnost Ovdje su opisani rezultati koji se mogu iskoristiti u potrazi za nepristranim procjeniteljima minimalne varijance. Zbog jednostavnosti pretpostavljamo da je parametarski prostor Θ R. Ovi rezultati odnose se na tzv. regularne modele.

32 Denicija 3. Neka je s {f (x; θ) : θ Θ R} dan statisti ki model za X = (X 1,..., X n ), gdje je f funkcija gusto e. Re i emo da je model regularan ako vrijedi (i) skup A = {x : f (x; θ) > 0} ne ovisi o θ (ii) Θ je otvoreni interval (iii) za svaki x funkcija θ f (x; θ) je diferencijabilna na Θ (iv) Fisherova informacija uzorka I(θ) = E θ [ ( θ ln f (X, θ) ) 2 ] zadovoljava 0 < I(θ) < (v) f (x; θ)dx = θ R n R n f (x; θ)dx. θ

33 Fisherova informacija uzorka mjeri koli inu informacija o nepoznatom parametru sadrºanu u uzorku. Ako je (X 1,..., X n ) jednostavan slu ajan uzorak, Fisherovu informaciju uzorka ra unamo kao ( ) 2 n ln f (x, θ) f (x, θ)dx, X neprekidna s.v., R θ I(θ) = ( ) 2 n θ ln P θ(x = ξ j ) P θ (X = ξ j ), X diskretna s.v. j N

34 Primjer 1. Izra unajte Fisherovu informaciju jednostavnog slu ajnog uzorka (X 1,..., X n ) koji dolazi iz populacije s funkcijom gusto e f θ (x) = 2θ 2 x 3 e θx 2 1 [0, ) (x), θ > 0.

35 Teorem 3 (Cramer-Rao). Neka je X = (X 1,..., X n ) slu ajan uzorak iz regularnog modela {f (x; θ) : θ Θ R}. Ako statistika T = t(x ) zadovoljava uvjete (i) E θ T <, θ Θ (ii) g(θ) = E θ T je diferencijabilna (iii) gdje je U θ (x) = θ ln f (x; θ). tada vrijedi g (θ) = E θ [T U θ (X )], θ, Var θ T (g (θ)) 2, I(θ) gdje je I θ = E θ (Uθ 2 ) Fisherova informacija uzorka. Napomena 4. to je informacija o parametru ve a, to je granica za varijancu nepristranog procjenitelja manja.

36 Denicija 4. Nepristran procjenitelj T za g (θ) u regularnom modelu zovemo ekasan procjenitelj ako postiºe Cramer-Rao donju granicu, tj. ako vrijedi Var θ T = (g (θ)) 2. I(θ) Denicija 5. Neka su ˆθ 1 i ˆθ 2 nepristrani procjenitelji za θ. Ako je Var ˆθ 1 < Var ˆθ 2 kaºemo da je ˆθ 1 ekasniji od ˆθ 2.

37 Cramer-Rao nam nudi jo² jedan na in kako prona i UMVU procjenitelj. Ako je procjenitelj ekasan, onda je on i UMVU. Obratno ne mora vrijediti, tj. postoje modeli u kojima se ne moºe posti i Cramer-Rao granica. To je nedostatak ovog pristupa. Ipak, u jednoparametarskim eksponencijalnim modelima CR granica se postiºe.

38 Zadaci Zadatak 21. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz E(λ), λ > 0. Nažite Fisherovu informaciju eksponencijalne razdiobe za parametar 1 λ, te ispitajte ekasnost statistike Xn za taj parametar. Je li Xn UMVU procjenitelj?

39 Zadatak 22. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz X P(λ), λ > 0. Nažite Fisherovu informaciju danog uzorka, te ispitajte ekasnost statistike Xn za nepoznati parametar λ.

40 Zadatak 23. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz N(µ, σ 2 ) gdje je varijanca σ 2 poznata. Koriste i CR nejednakost ispitajte je li uzora ka sredina Xn ekasan procjenitelj nepoznatog parametra µ.

41 Zadatak 24. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz U[0, θ], θ > 0. Poznato je da je ˆθ n = n+1 X n (n) nepristrani procjenitelj parametra θ. Ispitajte koji je od procjenitelja ˆθ i 2 Xn ekasniji za nepoznati parametar θ.

42 Zadatak 25. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz N(µ, 1). Za procjenu nepoznatog parametra µ predloºeni su procjenitelji θ 1 = nx 1 (X X n ), θ 2 = (n 1) X 1 + X 2 2 (X X n ). Provjerite njihovu nepristranost. Koji je procjenitelj ekasniji?

43 Konzistentnost procjenitelja Denicija 6. U ovisnosti o dimenziji uzorka n pratimo jednostavan slu ajan uzorak (X 1,..., X n ). Niz procjenitelja (ˆθ n, n N) za parametar θ je konzistentan (po vjerojatnosti) ako vrijedi da ε > 0 ( ) lim P θ ˆθ n θ > ε = 0, θ Θ x Denicija 7. Niz procjenitelja (ˆθ n, n N) za parametar θ je konzistentan u srednjekvadratnom smislu ako lim E(ˆθ n θ) 2 = lim R(θ) = 0, θ Θ x x

44 Napomena 5. Iz ƒebi²evljeve nejednakosti ) P θ ( ˆθ n θ > ε E(ˆθ n θ) 2 ε 2 slijedi da konzistentnost u srednjekvadratnom smislu povla i konzistentnost po vjerojatnosti.

45 Zadaci Zadatak 26. Neka je (X 1,..., X n ) jednostavan slu ajan uzorak iz N (m, m). Tada su 2 X n i S n nepristrani procjenitelji nepoznatog parametra m. Pokaºite da su ti procjenitelji konzistentni te ispitajte koji je ekasniji.

46 Zadatak 27. Neka je (X 1,..., X n ) niz nezavisnih slu ajnih varijabli takvih da je EX i = βt i VarX i = σ 2 gdje su t i, i = 1... n poznati realni brojevi, a β je nepoznati parametar. Ovo je model jednostavne linearne regresije tipa X i = βt i + ε i, i = 1... n. Pokaºite da je n i=1 ˆβ n = t i X i n i=1 t2 i nepristran procjenitelj za β, te ispitajte kada je on konzistentan.