Testiranje statističkih hipoteza Materijali za nastavu iz Statistike

Transcript

1 Testiranje statističkih hipoteza Materijali za nastavu iz Statistike Kristina Krulić Himmelreich i Ksenija Smoljak 2012/13 1 / 39

2 Uvod Osnovna zadaća Statistike je na temelju uzorka ocijeniti kakvu razdiobu ima promatrano (populacijsko) statističko obilježje X. svaka pretpostavka koja se odnosi na tu razdiobu je (statistička) hipoteza provjera istinitosti te hipoteze je testiranje (statistički test) hipotezu koju testiramo zovemo nulta hipoteza ili nul-hipoteza i obilježavamo s H 0 alternativnu hipotezu obilježavamo s H 1 2 / 39

3 Uvod Vrste statističkih testova: parametarski - testiramo hipotezu koja se odnosi na parametar pretpostavljene razdiobe neparametarski - testiramo hipotezu koja se odnosi na tip pretpostavljene razdiobe Hipoteza je: jednostavna ako jednoznačno odreduje razdiobu statističkog obilježja X složena ako jednoznačno ne odreduje razdiobu statističkog obilježja X 3 / 39

4 Uvod Na temelju uzorka trebamo donijeti odluku o prihvaćanju ili odbacivanju nulte hipoteze. Niti jedan statistički zaključak o populaciji na bazi uzorka nije stopostotno siguran, tako i prihvaćnje neke hipoteze na temelju uzorka ne znači da je ta hipoteza točna. Umjesto hipotezu prihvaćamo ispravnije je reći na osnovi uzorka ne postoji razlog za odbacivanje hipoteze. 4 / 39

5 Uvod Prilikom donošenja odluke o istinitosti hipoteze postoje dvije vrste mogućih pogrešaka : pogreška 1. vrste: odbacili smo nultu hipotezu ako je ona istinita pogreška 2. vrste: prihvatili smo nultu hipotezu ako je ona neistinita. Moguće situacije su prikazane tablicom: prihvaćamo H 0 odbacujemo H 0 H 0 je točna pogreška 1. vrste H 0 je netočna pogreška 2. vrste 5 / 39

6 Uvod Vjerojatnosti tih pogrešaka označavamo s: α = P(pogreška 1. vrste)= P(odbacujemo H 0 H 0 točna) i β = P(pogreška 2. vrste)= P(prihvaćamo H 0 H 0 netočna). Sljedeća tablica prikazuje vjerojatnosti mogućih situacija H 0 je točna H 0 je netočna prihvaćamo H 0 1 α β odbacujemo H 0 α 1 β α je nivo signifikantnosti ili razina značajnosti, a 1-β=P(odbacujemo H 0 H 0 netočna) snaga testa. 6 / 39

7 Uvod Za testiranje hipoteze treba: (1) Definirati H 0 i H 1 ; (2) Definirati test-statistiku na osnovi čijih vrijednosti se donose odluke; (3) Za zadanu razinu značajnosti α odrediti kritično područje - skup svih mogućih vrijednosti test-statistike za koje se odbacuje nulta hipoteza u korist alternativne; (4) Ispitati da li se vrijednost test-statistike izračunate iz uzorka nalazi u kritičnom področju; (5) Zaključiti: Ako je izračunata vrijednost test-statistike u kritičnom podruǰu hipoteza H 0 se odbacuje u korist alternativne hipoteze H 1. U suprotnom se H 0 prihvaća, tj. na osnovi uzorka hipotezu ne možemo odbaciti. 7 / 39

8 Testovi o parametrima normalne razdiobe N (µ, σ 2 ) Neka je θ nepoznati parametar o kojemu ovisi pretpostavljena razdioba. Ako je nulta hipoteza H 0 : θ = θ 0 (U pravilu, za nul-hipoteze se uzimaju jednostavne hipoteze.), tada su moguće alternativne hipoteze : (i) H 1 : θ θ 0, (ii) H 1 : θ > θ 0, (iii) H 1 : θ < θ 0, Nulta hipoteza H 0 : µ = µ 0, σ 2 poznato: Test statistika Alternativna hipoteza Kritično područje H 1 : µ µ 0 C 0 =, z α ] [z α, 2 2 Z = X µ σ n Z N (0, 1) H 1 : µ > µ 0 C 0 = [z α, H 1 : µ < µ 0 C 0 =, z α ] 8 / 39

9 Parametarski testovi Nulta hipoteza H 0 : µ = µ 0, σ 2 nije poznato: Test statistika Alternativna hipoteza Kritično područje H 1 : µ µ 0 C 0 =, t α ] [t α, 2 2 T = X µ S n T t(n 1) H 1 : µ > µ 0 C 0 = [t α, H 1 : µ < µ 0 C 0 =, t α ] 9 / 39

10 Zadaci Zadatak Promatramo obilježje X koje ima normalnu razdiobu N(µ, 100). Na slučajan način odabran je uzorak od 105 elemenata. Uz razinu značajnosti α = 0.01 testirajte hipotezu H 0 : µ 0 = 30 prema hipotezi H 1 : µ 1 = / 39

11 Zadaci Zadatak Prema standardima prosječan broj nedostataka po 1m 2 tkanine ne smije biti veći od 5. Na slučajan način odabrano je 100m 2 tkanine i na njima izbrojan broj nedostataka. Dobiveni su rezultati: broj nedostataka broj m 2 tkanine Ako znamo da broj nedostataka na tkanini ima normalnu razdiobu s varijancom jednakom 4, uz razinu značajnosti α = 0.01 testirajte hipotezu da ova vrsta tkanine zadovoljava uvjete standarda. 11 / 39

12 Zadaci Zadatak Proizvodač tvrdi da je dimenzija serijski radenog proizvoda 35mm. Mjerenjem 20 slučajno odabranih proizvoda dobiveni su rezultati: dimenzija (mm) broj proizvoda Uz razinu značajnosti α = 0.05 testirajte hipotezu H 0 : µ = 35 uz alternativnu hipotezu H 1 : µ 35 (pretpostavljamo da promatrana dimenzija ima normalnu razdiobu te je varijanca nepoznata). 12 / 39

13 Zadaci Zadatak Tvornica tvrdi da je prosječan vijek trajanja proizvoda iz te tvornice 21.5 sati. Na slučajnom uzorku od 6 proizvoda iz te tvornice laboratorijskim mjerenjima vijeka trajanja dobivene su vrijednosti od 19, 18, 22, 20, 16, 25 sati. S razinom značajosti α = 0.05, testirajte da li dobiveni uzorak indicira kraći prosječan vijek trajanja proizvoda. 13 / 39

14 Test o proporciji Bez obzira kakvu razdiobu ima statističko obilježje, sredina X, za dovoljno velike uzorke, ima približno normalnu razdiobu. Promatramo statističko obilježje koje ima binomnu razdiobu : X B(n, p). Koristimo test- statistiku: Z = X p 0 p0 (1 p 0 ) n N (0, 1). Nulta hipoteza Alternativna hipoteza Kritično područje H 1 : p p 0 C 0 =, z α [z α 2 2 H 0 : p = p 0 H 1 : p > p 0 C 0 = [z α, H 1 : p < p 0 C 0 =, z α ] 14 / 39

15 Zadaci Zadatak Proizvodač tvrdi da njegove pošiljke sadrže najviše 5% neispravnih proizvoda. Uzet je slučajni uzorak od 300 komada iz jedne pošiljke i bilo je 16 neispravnih. Da li možemo prihvatiti tvrdnju proizvodača uz razinu značajnosti 0.05? 15 / 39

16 Usporedba očekivanja dviju normalno distribuiranih populacija (t-test) Promatramo statističko obilježje X na dvije različite populacije. Uz to pretpostavimo da u obje populacije promatrano obilježje ima normalnu razdiobu. Ako s X 1 i X 2 označimo obilježje na prvoj, odnosno drugoj populaciji, onda su pretpostavke: X 1 N (µ 1, σ 2 1) i X 2 N (µ 2, σ 2 2). Neka su realizirani uzorci uzeti iz prve, odnosno druge populacije opsega n 1 i n 2 redom. Testiramo hipotezu u odnosu na jednu od alternativnih: H 0 : µ 1 = µ 2 H 1 : µ 1 µ 2, H 1 : µ 1 > µ 2, H 1 : µ 1 < µ / 39

17 Usporedba očekivanja dviju normalno distribuiranih populacija (t-test) Nulta hipoteza H 0 : µ 1 = µ 2, σ 2 1 i σ2 2 poznato: Test statistika Alternativna Kritično područje hipoteza H 1 : µ 1 µ 2 C 0 =, z α 2 Z = X 1 X 2 [z σ 1 2 α + σ2 2 2 n 1 n 2 Z N (0, 1) H 1 : µ 1 > µ 2 C 0 = [z α, H 1 : µ 1 < µ 2 C 0 =, z α ] 17 / 39

18 Usporedba očekivanja dviju normalno distribuiranih populacija (t-test) Nulta hipoteza H 0 : µ 1 = µ 2, σ 2 1 = σ2 2 = σ2 nije poznato: Test statistika: T = X 1 X 2 S 1 n n 2 S 2 = (n 1 1)S 2 1 +(n 2 1)S 2 2 n 1 +n 2 2 T t(n 1 + n 2 2) Alternativna Kritično područje hipoteza H 1 : µ 1 µ 2 C 0 =, t α 1 + n 2 2 2)] [t α 1 + n 2 2 2), H 1 : µ 1 > µ 2 C 0 = [t α (n 1 + n 2 2), H 1 : µ 1 < µ 2 C 0 =, t α (n 1 + n 2 2)] 18 / 39

19 Usporedba varijanci dviju normalno distribuiranih populacija (F-test) Promatramo statističko obilježje X na dvije različite populacije. Uz to pretpostavimo da u obje populacije promatrano obilježje ima normalnu razdiobu. Ako s X 1 i X 2 označimo obilježje na prvoj, odnosno drugoj populaciji, onda su pretpostavke: X 1 N (µ 1, σ 2 1) i X 2 N (µ 2, σ 2 2). Neka su realizirani uzorci uzeti iz prve, odnosno druge populacije opsega n 1 i n 2 redom. Testiramo hipotezu u odnosu na jednu od alternativnih: H 0 : σ 2 1 = σ 2 2 H 1 : σ 2 1 σ 2 2, H 1 : σ 2 1 > σ / 39

20 Usporedba varijanci dviju normalno distribuiranih populacija (F-test) Test statistika je: F = S 2 1 S 2 2 koja ima F (Fisherovu) razdiobu s n 1 1, n 2 1 stupnjeva slobode. Nulta hipoteza H 0 : σ 2 1 = σ2 2 : Alternativna hipoteza Kritično područje H 1 : σ1 2 σ2 2 C 0 = 0, f 1 α (n 1 1, n 2 2 1)] [f α (n 1 1, n 2 2 1), H 1 : σ1 2 > σ2 2 C 0 = [f α (n 1 1, n 2 1), 20 / 39

21 Zadaci Zadatak Pomoću dvije različite metode mjerena je jedna te ista veličina. Rezultati mjerenja dani su u tablici: 1. metoda metoda Može li se uz α = 0.1 zaključiti da obje metode daju istu točnost? 21 / 39

22 Zadaci Zadatak Iz dva četvrta razreda neke škole izabrano je na slučajan način po 10 učenika i izmjerena je njihova masa (masa je normalno distribuirana), a podaci su dani u tablici. Uz razinu značajnosti 0.02 testirajte hipotezu da su varijance jednake 4.a b / 39

23 Zadaci Zadatak Psiholog je testirao dvije grupe učenika. Grupu A od 7 učenika i grupu B od 6 učenika. Broj bodova je: A grupa B grupa Da li se uz razinu značajnosti 0.1 može smatrati da je uspjeh u obje grupe isti? 23 / 39

24 χ 2 -test χ 2 -test jedan od prvih statističkih testova predložio ga je K. Pearson godine, pa je poznat i pod nazivom Pearsonov test neparametarski test pomoću χ 2 -testa testiramo nultu hipotezu da obilježje X ima odredenu (teorijsku) razdiobu protiv alternativne da nema tu razdiobu pomoću χ 2 -testa ispitujemo nezavisnost dva statistička obilježja, kao i homogenost populacija 24 / 39

25 χ 2 -test Za sve navedeno test-statistika je (općenito): H = k (f i f ti ) 2 f ti i=1 gdje su f i eksperimentalne, a f ti teorijske frekvencije. Ako je za neki i očekivana (teorijska) frekvencija f ti < 5 združimo taj razred sa susjednim(a) razredom(ima) tako da novodobiveni razred zadovoljava uvjet da mu je očekivana frekvencija barem / 39

26 χ 2 -test Uz pretpostavku da je H 0 točna hipoteza za velike n (n ) vrijedi H χ 2 (r l 1) gdje χ 2 (r l 1) označava χ 2 razdiobu s (r l 1) stupnjeva slobode čiju vrijednost čitamo iz tablica. r je (konačan) broj razreda u uzorku l broj nepoznatih parametara. 26 / 39

27 χ 2 -test Za zadanu pogrešku prve vrste α, kritično područje odredujemo iz uvjeta Dakle, kritično područje je: P(H > χ 2 (r l 1) H 0 ) = α. C 0 = [χ 2 α(r l 1), Ako s h označimo vrijednost test statistike izračunate iz uzorka, onda nultu hipotezu odbacujemo ako h C 0 tj. h χ 2 α(r l 1). 27 / 39

28 Zadaci Zadatak Proizvodač tvrdi da je 5% njegovih proizvoda prve klase, 92% druge i 3% treće klase. U slučajnom uzorku od 500 proizvoda nadeno je 40 proizvoda prve, 432 druge i 28 treće klase. Uz razinu značajnosti 0.05, testirajte hipotezu da je proizvodač u pravu. Zadatak Iz intervala [0, 1] generirano je 200 slučajnih brojeva koji su razvrstani u 5 podintervala: interval [0, 0.2) [0.2, 0.4) [0.4, 0.6) [0.6, 0.8) [0.8, 1] broj br Da li su frekvencije ravnomjerno rasporedene po intervalima uz razinu značajnosti α = 0.01 i α = 0.05? 28 / 39

29 Zadaci Zadatak Kocka se baca 90 puta. Rezultati su dani u tablici: Broj na kocki Broj pojavljivanja Da li je kocka ispravna uz razinu značajnosti α = 0.05? 29 / 39

30 Zadaci Zadatak U cilju ispitivanja nekog svojstva pamučnih vlakana mjerena je njihova duljina i dobiveni su sljedeći rezultati: duljina (u cm) broj vlakana Testirati hipotezu o normalnoj distribuciji uz razinu značajnosti / 39

31 Zadaci Zadatak Anketirano je 100 radnika neke tvornice o udaljenosti od kuće do posla. S razinom značajnosti 0.05, testirajte hipotezu da se radi o uzorku iz populacije s normalnom distribucijom. udalj [0, 2 [2, 4 [4, 6 [6, 8 [8, 10 [10, 12 [12, 14 br rad / 39

32 Zadaci Zadatak U jednom trgovačkom centru 200 puta je registriran broj kupaca u 10 sekundi. Dobiveni su rezultati: broj kupaca broj mjerenja Testirajte hipotezu da se radi o Poissonovoj razdiobi s vjerojatnošću / 39

33 Zadaci Zadatak Provjerite da li se empirijska razdioba dana tablicom: x i f i podudara s Poissonovom razdiobom, s pouzdanošću 95%. 33 / 39

34 χ 2 - test nezavisnosti dviju varijabli Neka je (X 1, Y 1 ), (X 2, Y 2 ),... (X n, Y n ) slučajni uzorak za dvodimenzionalno diskretno statističko obilježje (X, Y ) i neka je pritom: Skup vrijednosti obilježja X : Skup vrijednosti obilježja Y : Skup vrijednosti obilježja (X, Y ) : R(X ) = {a 1,..., a r }; R(Y ) = {b 1,..., b s }; R[(X, Y )] = {(a i, b j ) : 1 i r, 1 j s}. 34 / 39

35 χ 2 - test nezavisnosti dviju varijabli f ij : frekvencija od (a i, b j ) u uzorku f i : (marginalna) frekvencija od a i u uzorku g j : (marginalna) frekvencija od b j u uzorku Vrijedi: s f i = f ij, r g j = j=1 i=1 Označimo: p ij = P(X = a i, Y = b j ) p i = P(X = a i ) q j = P(X = b j ) f ij 35 / 39

36 χ 2 - test nezavisnosti dviju varijabli Kontingencijska frekvencijska tablica: X Y b 1 b 2... b s Σ a 1 f 11 f f 1s f 1 a 2 f 21 f f 2s f a r f r1 f r2... f rs f r Σ g 1 g 2... g s n 36 / 39

37 χ 2 - test nezavisnosti dviju varijabli Hipoteze su: H 0 : X i Y su nezavisna obilježja i H 1 : X i Y su zavisna obilježja, tj. H 0 : p ij = p i q j za sve i i j, a H 1 : postoje i, j takvi da p ij p i q j Uz pretpostavku da je H 0 točna hipoteza, procjene za p i i q j su: ˆp i = f i n, Očekivane (teorijske) vrijednosti f tij ˆq j = g j n od f ij uz H 0 su: Test-statistika je: f tij = n ˆp i ˆq j = n fi n gj n = f i g j n H = r i=1 j=1 s (f ij f tij ) 2 f tij 37 / 39

38 χ 2 - test nezavisnosti dviju varijabli Ako je H 0 istinita, tada za n : H χ 2 ((r 1) (s 1)), gdje χ 2 ((r 1) (s 1)) označava χ 2 razdiobu s ((r 1) (s 1)) stupnjeva slobode. Za zadanu pogrešku prve vrste α, kritično područje odredujemo iz uvjeta Dakle, kritično područje je: P(H > χ 2 ((r 1) (s 1)) H 0 ) = α. C 0 = [χ 2 α((r 1) (s 1)),, pritome χ 2 α((r 1) (s 1)) čitamo iz tablica. Ako s h označiimo vrijednost test statistike izračunate iz uzorka, onda nultu hipotezu odbacujemo ako h C 0 tj. h χ 2 α((r 1) (s 1)). 38 / 39

39 Zadaci Zadatak U cilju ispitivanja uspješnosti na kolokvijima iz statistike interesira nas da li prolaznost na drugom kolokviju ovisi o prolaznosti na prvom kolokviju! Za slučajno odabranih 120 studenata dobiveni su podaci dani u tablici. Možete li na osnovu ovih podataka zaključiti da uspjeh na drugom kolokviju ovisi o uspjehu na prvom kolokviju, uz razinu značajnosti 0.01? Kolokvij Položili Pali / 39