Procjena parametara. Zadatak 4.1 Neka je X 1, X 2,..., X n slučajni uzorak iz populacije s konačnim očekivanjem µ i varijancom σ 2.

Transcript

1 4 Procjea parametara Neka je X slučaja varijabla čiju distribuciju proučavamo. Defiicija: Slučaji uzorak duljie za X je iz od ezavisih i jedako distribuiraih slučajih varijabli X 1, X,..., X koje imaju istu razdiobu kao i X. Za ω Ω je x 1 = X 1 (ω), x = X (ω),..., x = X (ω) jeda realizacija slučajog uzorka i zovemo je uzorak. Statistika je fukcija slučajog uzorka. Razdioba slučaje varijable X je često opisaa parametrima koje pokušavamo procijeiti. Defiicija: Procjeitelj T = f (X 1,..., X ) je epristrai procjeitelj za parametar τ ako vrijedi ET = τ. Zadatak 4.1 Neka je X 1, X,..., X slučaji uzorak iz populacije s koačim očekivajem µ i varijacom σ. Pokažite da je (a) X := X X epristrai procjeitelj za µ, (b) S := 1 1 (X i X ) epristrai procjeitelj za σ. Rješeje: =µ =µ X1 + + X EX EX (a) E[X ] = E = 1 = µ

2 4. PROCJENA PARAMETARA (b) E[S ] = E 1 (X i X ) = E Xi X X i + X = = 1 1 E Xi X + X = 1 1 E Xi X = = 1 1 E Xi 1 ( X i ) = 1 E[Xi 1 ] 1 E[( X i ) ] = = 1 1 = 1 1 [Var X i +(EX i ) ] 1 [Var( X i ) +( E[ σ =µ = Var X i σ + µ 1 [σ + (µ) ] X i ] ) ] = = EX i = 1 1 ( 1)σ = σ. 4.1 Metoda maksimale vjerodostojosti Neka je (x 1,..., x ) opažei uzorak za slučaju varijablu X s gustoćom f(x θ), gdje je θ = (θ 1,..., θ k ) Θ R k epozati parametar. Defiiramo fukciju vjerodostojosti L: Θ R sa Vrijedost ˆθ = ˆθ(x 1,..., x ) Θ za koju je L(θ) := f(x 1 θ) f(x θ), θ Θ. L(ˆθ) = max θ Θ L(θ) zovemo procjea metodom maksimale vjerodostojosti. Statistika ˆθ(X 1,..., X ) je procjeitelj metodom maksimale vjerodostojosti ili kraće MLE. Zadatak 4. Neka je X 1, X,..., X slučaji uzorak iz geometrijske razdiobe s parametrom p 0, 1. Nadite MLE za p. Rješeje: X G(p) P(X = k) = (1 p) k 1 p, k N f(x p) = (1 p) x 1 p, x N 0, iače

3 4. PROCJENA PARAMETARA 3 Neka je x 1, x,..., x opažei uzorak. Tada vrijedi x 1, x,..., x N i L(p) = f( p) = (1 p) p, p 0, 1 Fukcija x l x je strogo rastuća pa je dovoljo maksimizirati fukciju l(p) = l L(p) = l(1 p) + l p. Vrijedi l (p) = + 1 p p l (p) = 0 p = p = 1 p l (p) = pa fukcija l poprima maksimum u ˆp = (1 p) p < 0. Dakle, MLE za parametar p je 1 Zadatak 4.3 Neka je X 1, X,..., X slučaji uzorak iz Poissoove razdiobe s parametrom λ > 0. (a) Nadite MLE za λ. (b) Ispitajte je li MLE epristrai procjeitelj za λ. Rješeje: (a) Neka je x 1, x,..., x opažei uzorak. Tada je L(λ) = f( λ) = λ! e λ = X. λ x 1! x! e λ = c λ e λ, gdje c > 0 e ovisi o λ. Stoga je dovoljo maksimizirati fukciju x i l(λ) = l λ e λ = l λ λ, λ > 0.

4 4 4. PROCJENA PARAMETARA Vrijedi l (λ) = λ l (λ) = 0 λ = l (λ) = λ 0 pa fukcija l poprima maksimum u ˆλ = i MLE za λ je X. (b) Prema zadatku 4.1 je E[X ] = EX 1 = λ X je epristrai procjeitelj za λ. Napomea: Ako je ˆθ MLE za θ i g : Θ g(θ) eka fukcija, oda je g(ˆθ) MLE za g(θ). Zadatak 4.4 Nadite MLE parametara θ = (µ, σ ) ormalog modela N(µ, σ ). Ispitajte epristraost procjeitelja. Rješeje: Stavimo θ 1 = µ i θ = σ. Neka je x 1, x,..., x opažei uzorak. Tada je L(θ 1, θ ) = f( θ 1, θ ) = 1 e ( θ 1 ) θ = c θ θ π e 1 (x θ i θ 1 ) za (θ 1, θ ) R 0, +. Budući da je c > 0 i fukcija x l x strogo rastuća, dovoljo je maksimizirati fukciju l(θ 1, θ ) = l θ e 1 (x θ i θ 1 ) = l θ 1 ( θ 1 ). θ Vrijedi l θ 1 = 1 θ l = θ θ θ ( θ 1 ) = 0 θ 1 = ( θ 1 ) = 0 θ = ( θ 1 )

5 4. PROCJENA PARAMETARA 5 Zbog prethode apomee stavimo ˆθ 1 = Budući da je Hesseova matrica Hl(ˆθ 1, ˆθ ) = 1ˆθ = x, ˆθ = ( x) = 1 s. ṋ 1ˆθ (x θ i ˆθ 1 ) ( ˆθ 1 ) ( ˆθ = 1 ) 1 ˆθ 1ˆθ3 egativo defiita, MLE za µ je X, a MLE za σ je 1 S. Prema zadatku 4.1 slijedi ṋ 0 θ 0 E[X ] = µ i E[ 1 S ] = 1 E[S ] = 1 σ = σ Dakle, X je epristrai procjeitelj za µ, ali 1 S ije epristrai procjeitelj za σ. Zadatak 4.5 Neka je X 1,..., X slučaji uzorak iz modela s fukcijom gustoće 0, x t f(x t) = e (x t), x > t. Nadite MLE za parametar t R. Rješeje: Neka je x 1, x,..., x opažei uzorak. Tada je +t L(t) = f( t) = e, x(1) > t. 0, iače Fukcija t L(t) strogo raste a, x (1), a dalje je jedaka 0. Stoga se maksimum postiže u ˆt = x (1) i MLE za t je X (1) = mi{x 1,..., X }. Zadatak 4.6 Neka je X 1, X,..., X slučaji uzorak iz diskrete uiforme razdiobe a skupu {1,,..., m}, m N. (a) Nadite MLE za m. (b) Ispitajte je li MLE epristrai procjeitelj za m. 1 ˆθ

6 6 4. PROCJENA PARAMETARA Rješeje: (a) Neka je x 1, x,..., x opažei uzorak. Vrijedi 1, x {1,..., m} f(x m) = m 0, iače pa je L(m) = f( m) = 1, m x () m. 0, iače Fukcija m L(m) strogo pada a [x (), +, a iače je jedaka 0. Stoga se maksimum postiže u ˆm = x () pa je MLE za m jedak X () = max{x 1,..., X }. (b) MLE ije epristrai procjeitelj za m jer je E[X () ] = E[max{X 1,..., X }] = = P(max{X 1,..., X } k) = = = k=1 (1 P(max{X 1,..., X } < k)) = k=1 m (1 P(X 1 < k,..., X < k)) = k=1 m (1 P(X 1 < k) P(X < k)) = k=1 m m 1 (1 P(X 1 < k) ) = (1 P(X 1 k) ) = k=1 4. Metoda momeata k=0 m 1 k=0 k 1 < m. m Procjeitelje metodom momeata dobivamo izjedačavajem momeata razdiobe s odgovarajućim uzoračkim mometima. Zadatak 4.7 Neka je X 1,..., X slučaji uzorak za X Γ(α, β), α, β > 0. Nadite procjeitelje za α i β metodom momeata. Rješeje: Neka je x 1, x,..., x opažei uzorak. Prema zadatku.7 je EX = αβ i Var X = αβ. Izjedačavajem populacijskog i uzoračkog očekivaja, te populacijske i uzoračke varijace, dobivamo pa je αβ = x αβ = s α = x s, β = s x. Dakle, procjeitelj za α metodom momeata je X, a procjeitelj za β je S S X.

7 4. PROCJENA PARAMETARA Pouzdai itervali za parametre ormale razdiobe Defiicija: Neka su L = l (X 1,..., X ) i D = d (X 1,..., X ) statistike slučajog uzorka X 1,..., X. Za [L, D ] kažemo da je (1 α) % pouzdai iterval za parametar τ ako vrijedi P(L τ D ) 1 α, α 0, 1. Napomea: Neka su X i N(µ, σ ), i = 1,..., ezavise slučaje varijable. Tada je: X µ N(0, 1) σ (4.1) ( 1)S χ ( 1) σ (4.) X µ t( 1) S (4.3) (X i µ) χ () σ (4.4) Zadatak 4. Neka je X 1,..., X slučaji uzorak iz ormale razdiobe s varijacom i epozatim očekivajem µ. Aritmetička sredia uzorka je x = 4.7. Nadite 95% pouzdai iterval za parametar µ. Rješeje: Budući da je X 1,..., X N(µ, ), prema 4.1 je Z := X µ N(0, 1). Iz 1 α = 0.95 dobivamo dau pouzdaost α = Iz tablice ormale distribucije odredimo z α = z 0.05 = 1.96 za koji vrijedi P( z 0.05 Z z 0.05 ) = α z α/ z α/

8 4. PROCJENA PARAMETARA Stoga je odoso P P 1.96 X µ 1.96 = 0.95, X 1.96 µ X = Dakle, 95% pouzdai iterval za parametar µ je X 1.96, X Aritmetička sredia uzorka je x = 4.7 pa je procjea 95% pouzdaog itervala za µ a osovi opažeog uzorka , = [4.14, 43.5]. Zadatak 4.9 Razvijea je ova slitia metala za izgradju svemirskih letjelica. Izvršeo je 15 mjereja koeficijeta apetosti te je izračuata sredia uzorka x = 39.3 i stadarda devijacija s =.6. Pretpostavljamo da je mjerea veličia ormalo distribuiraa. Nadite 90% pouzdai iterval za očekivaje populacije. Rješeje: Budući da je X 1,..., X 15 N(µ, σ ), prema 4.3 je T := X 15 µ S t(14). Iz 1 α = 0.90 dobivamo dau pouzdaost α = Iz tablice t-distribucije odredimo t α ( 1) = t 0.05(14) = za koji vrijedi P( t 0.05 (14) T t 0.05 (14)) = α t α/ t α/

9 4. PROCJENA PARAMETARA 9 Stoga je odoso P X 15 µ = 0.90, S 15 S 15 P X µ X S15 = Dakle, 90% pouzdai iterval za parametar µ je X S 15 15, X S Uvrštavajem aritmetičke sredie uzorka x = 39.3 i stadarde devijacije uzorka s =.6 dobivamo da je procjea 90% pouzdaog itervala za µ a osovi opažeog uzorka jedaka , = [3.1, 40.4]. Zadatak 4.10 Na slučajom uzorku od 5 elemeata iz ormale razdiobe izračuata je varijaca uzorka s = 1.5. Procijeite 90% pouzdai iterval za varijacu populacije. Rješeje: Budući da je X 1,..., X 5 N(µ, σ ), prema 4. je V := 4 S 5 σ χ (4). Za dau pouzdaost α = 0.10, iz tablice χ -distribucije odredimo za koje vrijedi χ α ( 1) = χ 0.05 (4) = i χ 1 α ( 1) = χ 0.95 (4) = 13.4 P(χ 0.95 (4) V χ 0.05 (4)) = α χ 1 α/ χ α/

10 90 4. PROCJENA PARAMETARA Stoga je odoso P S = 0.90, σ 4 S P σ 4 S 5 = Dakle, 90% pouzdai iterval za parametar µ je 4 S , 4 S Uvrštavajem varijace uzorka s = 1.5 dobivamo da je procjea 90% pouzdaog itervala za σ a osovi opažeog uzorka jedaka , = [.4, 1.66] Napomea: (a) Za t-distribucija se asimptotski poaša kao jediiča ormala distribucija pa za velike (u praksi 31) umjesto t α () možemo uzeti z α iz tablice ormale distribucije. (b) Neka je alpha=0.05. U R-u z α dobijemo aredbom > qorm(1-alpha) [1] Neka je alpha=0.05 i = 14. Tada t α () dobivamo aredbom > qt(1-alpha,) [1] Neka je sada alpha=0.05 i = 4. Naredbe za χ α() i χ 1 α() su redom: > qchisq(1-alpha,) [1] > qchisq(alpha,) [1]

11 4. PROCJENA PARAMETARA Aproksimativi pouzdai itervali Defiicija: Niz statistika {Z : N} je asimptotski ormala ako kovergira po distribuciji slučajoj varijabli Z N(0, 1), odoso ako je Pišemo: Z AN(0, 1). lim P(Z x) = Φ(x), x R. Napomea: Neka je X 1,..., X slučaji uzorak s koačim očekivajem µ = EX 1 i varijacom σ = Var X 1, te eka je S := X X. Prema cetralom graičom teoremu vrijedi odakle slijedi S ES Var S AN(0, 1), X µ σ Defiicija: Procjeitelj T je (slabo) kozisteta ako je AN(0, 1). (4.5) (P) lim T = τ, tj. ε > 0 lim P( T τ > ε) = 0. Napomea: (a) S je kozisteta procjeitelj za stadardu devijaciju σ. (b) Ako je ˆσ kozisteta procjeitelj za stadardu devijaciju σ, tada vrijedi X µ ˆσ AN(0, 1). (4.6) Zadatak 4.11 Nadite 95% pouzdai iterval za epozati parametar θ iz Exp(θ), θ > 0, modela ako je mjere uzorak duljie = 190 i 190 = daa. Rješeje: Budući da je X 1,..., X 190 Exp(θ), vrijedi µ = EX 1 = 1 i θ σ = Var X 1 = 1. θ Prema 4.5 je Z := X 190 µ 190 AN(0, 1). σ Za dau pouzdaost α = 0.05 je z α = z 0.05 = 1.96 i vrijedi P( z 0.05 Z z 0.05 ) Stoga je P 1.96 X θ 1 θ ,

12 9 4. PROCJENA PARAMETARA odoso 1.96/ P θ 1.96/ X 190 X 190 Dakle, aproksimativi 95% pouzdai iterval za parametar θ je 1.96/ , 1.96/ X 190 Aritmetička sredia uzorka je x = 190 X 190 = = pa je procjea tog pouzdaog itervala za θ a osovi opažeog uzorka 1.96/ , 1.96/ = [0.0040, ] Zadatak 4.1 Obavljeo je mjereja težie čokoladih pločica od grama. Dobivei su podaci: tezia u g frekvecija Nadite 95% pouzdai iterval za očekivau težiu čokoladih pločica. Rješeje: Neka je µ očekivaje distribucije težie čokoladih pločica. Budući da je = velik, prema prethodoj apomei vrijedi Z := X µ S AN(0, 1). Za dau pouzdaost α = 0.05 je z α = z 0.05 = 1.96 i vrijedi P( z 0.05 Z z 0.05 ) Stoga je P 1.96 X µ , S

13 4. PROCJENA PARAMETARA 93 odoso P X 1.96 S µ X S Dakle, aproksimativi 95% pouzdai iterval za parametar µ je X 1.96 S, X S Aritmetičku srediu i varijacu uzorka račuamo kao u zadatku 1.5. Širia razreda je c =, a refereta vrijedost x 0 = 9.5. Tablica frekvecija glasi: i I i f i d i = ( x 0 )/c f i d i f i d i 1 [91.5, [93.5, [95.5, [97.5, [99.5, [101.5, [103.5, Σ Sada je x = c 1 s = c 1 k f i d i + x 0 = k f i d i = 9.56 k f i d i = = 7.7 s =.79 pa je procjea aproksimativog 95% pouzdaog itervala za parametar µ a osovi opažeog uzorka , = [9.01, 99.11]. Zadatak 4.13 U 400 izvedeih pokusa dogadaj A astupio je 0 puta. Procijeite 95% pouzdai iterval za p = P(A). Rješeje: Budući da je X 1,... X 400 slučaji uzorak iz Beroullijevog modela s parametrom p, slijedi µ = EX 1 = p i σ = Var X 1 = p(1 p). Daa pouzdaost je α = 0.05 i z α 0.05 = 1.96.

14 94 4. PROCJENA PARAMETARA 1. Prema 4.5 je pa vrijedi X 400 µ σ 400 AN(0, 1) X 400 p P 400 p(1 p) Kvadrirajem dobivamo da uz 95% pouzdaosti vrijedi odoso (X 400 p) p(1 p), (X 400 X 400p + p ) (p p ) 0. Uvrštavajem x = 0/400 = 0.7 i rješavajem kvadrate jedadžbe p ( ) p( ) , dobivamo da je procjea 95% pouzdaog itervala za p jedaka [0.653, 0.743].. X je kozisteta procjeitelj za p pa je ˆσ = X (1 X ) kozisteta procjeitelj za σ = p(1 p). Prema 4.6 je X 400 µ ˆσ AN(0, 1), pa je odoso P 1.96 X 400 p , ˆσ 400 P X ˆσ p X ˆσ , odakle uvrštavajem x = 0.7 i ˆσ 400 = dobivamo da je procjea 95% pouzdaog itervala za p jedaka [0.655, 0.745].

15 4. PROCJENA PARAMETARA Zadaci za vježbu 4.14 Neka je X U(0, τ), τ > 0. Pokažite da je X epristrai procjeitelj za τ Neka je X 1,..., X sl. uzorak iz Beroullijevog modela s parametrom P(X i = 1) = p i 3. Nadite epristrai procjeitelj za: (a) τ(p) = p(1 p) i (b) τ(p) = p (1 p) Neka je X 1,..., X sl. uzorak iz Beroullijevog modela s parametrom P(X i = 1) = p 0, 1. Nadite MLE za p Neka je X U(τ, τ + ), τ > 0. Odredite sve procjee za τ metodom ML. 4.1 Neka je X 1,..., X sl. uzorak iz ekspoecijalog modela s parametrom λ > 0. (a) Nadite MLE procjeitelj za λ. (b) Nadite bar jeda epristrai procjeitelj za λ. (c) Nadite bar jeda epristrai procjeitelj za λ Nadite MLE procjeitelj parametra θ = (α, β) za model Γ(α, β), α, β > 0. Uputa: fukcija f : R + R + defiiraa sa f(x) = l x Γ (x) je bijekcija. Γ(x) 4.0 Neka je X 1,..., X sl. uzorak iz Beroullijevog modela s parametrom P(X i = 1) = p. Nadite procjeitelj metodom momeata za: (a) p, (b) p(1 p) i (c) cos p. 4.1 Da bi se ispitala čvrstoća jede vrste čelika, obavljeo je mjereje prijelome sile a 4 epruveta. Pretpostavljamo da je prijeloma sila ormalo distribuiraa. Rezultati mjereja daju x = 70. i s = Nadite 95% pouzdai iterval za parametar µ, očekivaje populacije. 4. Promatra je slučaja uzorak od stabala izmedu jih 1546 a ekoj farmi i izmjerea aritmetička sredia x = 59. te stadarda devijacija s = Odredite 95% pouzdai iterval za sredju visiu svih stabala a toj farmi. 4.3 Na uzorku od 0 elemeata dobivee su sljedeće vrijedosti ormale varijable: Procijeite 0% p. i. za: (a) očekivaje populacije i (b) stadardu devijaciju populacije. 4.4 Nadite 95% pouzdai iterval za epozati parametar λ Poissoovog modela P (λ) ako je mjereje slučajog uzorka duljie = 61 dalo izos od 61 = U 40 bacaja ovčića 4 puta je palo pismo. Odredite 95% pouzdai iterval za očekivai broj pisama u eograičeom broju bacaja ovčića. Rješeja: (a) S, (b) 0 {X 1 =1,X =1,X 3 =0} X [x (), x (1) ] 4.1. Uz ozaku Y = X X : (a) /Y, (b) ( 1)/Y, (c) ( 1)( )/Y ˆα = f 1 (l X ( l X i )/), ˆβ = X / ˆα 4.0. (a) X, (b) X (1 X ), (c) cos X [67.3, 73.1] 4.. [57.4, 61.0] 4.3. (a) [7.43, 73.56], (b) [1.5,.41] [.33,.57] 4.5. [0.45, 0.74]