4 Testiranje statističkih hipoteza

Transcript

1 4 Testiranje statističkih hipoteza 1

2 4.1. Statistička hipoteza Promatramo statističko obilježje X. Statistička hipoteza je (bilo koja) pretpostavka o (populacijskoj) razdiobi od X. Kažemo da je statistička hipoteza jednostavna ukoliko jednoznačno odreduje razdiobu od X. U suprotnom kažemo da je složena. 2

3 Primjeri. H 1 : X ima normalnu razdiobu složena hipoteza H 2 : X N(170, 64) jednostavna hipoteza 3

4 4.2. Statistički test Neka je µ = E[X]. Na primjer, pretpostavimo da nas zanima je li točna hipoteza: H 0 : µ 50. Preciznije, želimo na osnovi realizacije slučajnog u- zorka za X donijeti odluku hoćemo li odbaciti ili ne odbaciti tu hipotezu. 4

5 Postupak donošenja odluke o odbacivanju ili ne odbacivanju statističke hipoteze zove se testiranje statističkih hipoteza. Primijetimo da uz osnovnu ili nul - hipotezu, npr.: H 0 : µ 50, postoji njoj alternativna hipoteza: H 1 : µ > 50. 5

6 Budući da sve odluke bazirane na uzorcima iz populacije nisu 100% pouzdane, ni zaključak (odluka) statističkog testa nije 100% pouzdan. Dakle, može se dogoditi da je zaključak testa pogrešan. Prema tome, imamo sljedeću situaciju: 6

7 zaključak točno je ne odbaciti H 0 odbaciti H 0 H 0 pogrešno! (I) pogrešno! (II) H 1 Pogreška koju činimo kada odbacujemo H 0, a ona je istinita, je pogreška prve vrste. Pogreška koju činimo kada ne odbacujemo H 0, a istinita je H 1, je pogreška druge vrste. 7

8 Test će u potpunosti biti sproveden ako možemo procijeniti vjerojatnosti mogućih pogrešaka u zaključku testa. Razumno je zahtjevati test kojemu se mogu kontrolirati vjerojatnosti obiju pogrešaka. To nije moguće jer smanjivanjem vjerojatnosti pogreške prve vrste povećava se vjerojatnost pogreške druge vrste i o- bratno. 8

9 S druge strane, u velikoj većini slučajeva moguće je za zadanu razinu značajnosti testa α (α 0, 1 ) medu testovima kojima vjerojatnost pogreške prve vrste ne prelazi broj α naći (konstruirati) test s najmanjom vjerojatnosti pogreške druge vrste. 9

10 Neka je X 1, X 2,..., X n slučajni uzorak za X i X := (X 1, X 2,..., X n ). Tada su realizacije x = (x 1, x 2,..., x n ) tog uzorka elementi od R n. Definicija. Test (hipoteze H 0 u odnosu na alternativu H 1 ) je preslikavanje τ : R n {0, 1}. Interpretacija. Ako je za realizaciju x uzorka X τ(x) = 1, tada odbacujemo H 0 u korist H 1, a ako je τ(x) = 0, tada ne odbacujemo H 0 u korist H 1. 10

11 Tada je C := τ 1 (1) = {x R n : τ(x) = 1} područje realizacija uzoraka za koje se H 0 odbacuje u korist H 1. C se naziva kritično područje za test τ. 11

12 Populacijska razdioba: X f(x θ), θ Θ Vjerodostojnost od θ: L(θ x) = n i=1 f(x i θ) Preslikavanje γ : Θ [0, 1] def. sa: γ(θ) := E θ [τ(x)] = P θ (X C) = zove se jakost testa τ. C L(θ x) dx Interpretacija. Ukoliko je θ 1 vrijednost parametra za koju je H 1 istinito, jakost testa γ(θ 1 ) je sposobnost testa da odbaci H 0 ako je H 0 neistinita hipoteza. 12

13 Neka su: H 0 : θ Θ 0 H 1 : θ Θ 1. Preslikavanje α : Θ 0 [0, 1] def. sa: α(θ) := γ(θ) = P θ (X C) je vjerojatnost pogreške 1. vrste. α τ := sup θ Θ 0 α(θ) je značajnost testa τ. Kažemo da test ima razinu značajnost α ukoliko mu je značajnost manja ili jednaka α. 13

14 H 0 : θ Θ 0 H 1 : θ Θ 1. Preslikavanje β : Θ 1 [0, 1] def. sa: β(θ) := 1 γ(θ) = P θ (X / C) je vjerojatnost pogreške 2. vrste. 14

15 Definicija. Kažemo da je test τ uniformno najjači ako za svaki drugi test τ takav da je α τ α τ, vrijedi da je γ τ (θ) γ τ (θ) za sve θ. Ukoliko postoji, kako naći uniformno najjači test? 15

16 Pretpostavimo da želimo testirati: H 0 : θ = θ 0 H 1 : θ = θ 1 gdje su θ 0 θ 1 dvije vrijednosti parametra. Nadalje, neka su L(θ 0 x) = n i=1 f(x i θ 0 ), L(θ 1 x) = vjerodostojnosti od θ 0 i θ 1. n i=1 f(x i θ 1 ) 16

17 Lema. (Neyman, Pearson) Neka je k > 0 takav broj da za skup C = {x R n : L(θ 0 x) kl(θ 1 x)} vrijedi da je C L(θ 0 x) dx = α za zadani α 0, 1. Ako za neki drugi B R n vrijedi da je L(θ 0 x) dx α, B tada je nužno (Dokaz.) B L(θ 1 x) dx C L(θ 1 x) dx. 17

18 Interpretacija. Test τ(x) := 1 C (x) za C iz N-P leme je uniformno najjači test za testiranje jednostavne hipoteze H 0 u odnosu na jednostavnu alternativu H 1. 18

19 Primjer 4.1. Za varijablu X poznato je da je X N(µ, 9) i µ {13.8, 15.0}. Na osnovi uzorka za X duljine n = 70 treba testirati nul-hipotezu H 0 : µ = 15.0 u odnosu na alternativu H 1 : µ = 13.8 uz razinu značajnosti od α = 5%. 19

20 Konstrukcija testa sastoji se od odredivanja testne statistike na osnovi čijih vrijednosti se donose odluke, i (slike) kritičnog područja koji je skup onih mogućih vrijednosti testne statistike za koje se odbacuje H 0 u korist H 1. Takav skup takoder zovemo kritičnim područjem. (Izvod optimalnog (tj. uniformno najjačeg testa).) 20

21 Dakle, za ovaj primjer, testna statistika (optimalnog) testa je Z = X Kritično područje uz uvjet da vjerojatnost pogreške prve vrste bude jednaka α = 0.05: P(Z u H 0 ) = 0.05 Z H 0 N(0, 1) u = z 0.05 = (tablice) = 1.64 kritično područje je interval, 1.64] Dakle, H 0 odbacujemo ako je z

22 Ako je z > 1.64 ne odbacujemo H 0. U tom slučaju je vjerojatnost pogreške druge vrste β = P(Z > 1.64 H 1 ) = = P( X > H1 ) = 3 3 = P(X > 1.71) = = 1 Φ(1.71) = = 0.5 Φ 0 (1.71) = =

23 Jakost testa je γ = P(Z 1.64 H 1 ) = = 1 P(Z > 1.64 H 1 ) = = 1 β = = =

24 Zadatak 1. (jednostrani z-test) Pokažite da je za X N(µ, σ 2 0 ), gdje je σ2 0 poznato, uniformno najjači test za testiranje hipoteza H 0 : µ = µ 0 H 1 : µ < µ 0, na razini značajnosti α, dan testnom statistikom Z = X µ 0 n σ 0 i kritičnim područjem z z α. (µ 0 je zadani broj, z je vrijednost od Z) 24

25 Zadatak 2. (jednostrani z-test, 2. put) Pokažite da je za X N(µ, σ 2 0 ), gdje je σ2 0 poznato, uniformno najjači test za testiranje hipoteza H 0 : µ = µ 0 H 1 : µ > µ 0, na razini značajnosti α, dan testnom statistikom Z = X µ 0 n σ 0 i kritičnim područjem z z α. (µ 0 je zadani broj, z je vrijednost od Z) 25

26 Zadatak 3. (dvostrani z-test) Neka je X N(µ, σ0 2), gdje je σ2 0 hipoteza poznato. Je li test dan testnom statistikom H 0 : µ = µ 0 H 1 : µ µ 0, Z = X µ 0 n σ 0 i kritičnim područjem z z α/2 (na razini značajnosti α), uniformno najjači? (µ 0 je zadani broj, z je vrijednost od Z) 26

27 Primijetimo da nam je u primjeru 4.1. račun bio olakšan jer su obje hipoteze (osnovna i alternativna) bile jednostavne. U praksi to nije slučaj. Na primjer, ako za X N(µ, 9) želimo testirati H 0 : µ 15 H 1 : µ < 15, onda su obje hipoteze složene. Pretpostavimo da je testna statistika ista kao u primjeru 4.1: Z = X 15 n. 3 27

28 I kritično područje je istoga oblika kao u primjeru 4.1:, u]. Odredimo u > 0 t.d. je za zadanu razinu značajnosti α P(Z u µ = 15 + δ) α za sve δ 0 P( X µ δ n u n) α za sve δ Φ( u δ 3 n) α za sve δ 0. Budući da je za sve δ 0, Φ( u δ 3 n) Φ( u), u odredimo tako da je Φ( u) = 0.5 Φ 0 (u) = α. 28

29 Dakle, konstrukcija kritičnog područja je ista ako originalnu (složenu) hipotezu H 0 zamijenimo sa (jednostavnom) hipotezom H 0 : µ = 15, odnosno, ako testiramo H 0 : µ = 15 H 1 : µ < 15. Dakle, sada smo problem testiranja sveli na z-test opisan u zadatku 1. 29

30 U pravilu, za nul-hipotezu uvijek se uzimaju jednostavne hipoteze ili hipoteze koje jednoznačno odreduju razdiobu testne statistike. U interpretaciji, za nul-hipoteze uzimamo one hipoteze za koje želimo kontrolirati vjerojatnost da ćemo ih odbaciti ako su istinite, odn. vjerojatnost pogrešaka prve vrste. 30

31 Primjer 4.2. (Primjer 1.4.) Kockar je optužen da je koristio namještenu kocku. Koju osnovnu hipotezu koristi statističar kada sprovodi odgovarajući test za sud? 31

32 H 0 : Kocka je simetrična. Trebamo kontrolirati vjerojatnost da ćemo pogriješiti ako odbacimo H 0, tj. da se proglasi krivim nevini čovjek. 32

33 Primjer 4.3. Tvornica je proizvela novu seriju padobrana. Kontrolor kvalitete mora statističkim metodama (statistički test) odlučiti hoće li padobrane propustiti na tržište ili ne. Koju hipotezu treba uzeti za osnovnu? 33

34 H 0 : Padobran nije ispravan. 34

35 4.3 Testovi omjera vjerodostojnosti Neka je X 1, X 2,..., X n slučajni uzorak za X i neka je populacijska gustoća od X: f(x θ), θ Θ. Cilj: konstrirati test za testiranje H 0 : θ Θ 0 H 1 : θ Θ 1. 35

36 Neka je x = (x 1, x 2,..., x n ) opaženi uzorak. Vjerodostojnost: L(θ x) = n i=1 Pretpostavimo da postoje: f(x i θ), θ Θ t.d. da vrijedi ˆθ 0 = ˆθ 0 (x) Θ 0 i ˆθ = ˆθ(x) Θ L(ˆθ 0 x) = max θ Θ 0 L(θ x), L(ˆθ x) = max θ Θ L(θ x). 36

37 Definicija. Omjer vjerodostojnosti je funkcija: x λ(x) := L(ˆθ 0 x) L(ˆθ x). Test za testiranje nevedenih hipoteza kojemu je kritično područje oblika C = {x R n : λ(x) c}, za neku realnu konstanu c < 1, zovemo testom omjera vjerodostojnosti (engl. likelihood ratio test ili LR-test). 37

38 Zadatak 4. (dvostrani z-test) Neka je X 1, X 2,..., X n slučajni uzorak za X s normalnom populacijskom distribucijom N(µ, σ 2 0 ) (σ2 0 je poznato). Odredite test omjera vjerodostojnosti za testiranje nul-hipoteze H 0 : µ = µ 0 u odnosu na dvostranu alternativu H 1 : µ µ 0. 38

39 Zadatak 5. (t-test) Neka je X 1, X 2,..., X n slučajni uzorak za X s normalnom populacijskom distribucijom N(µ, σ 2 ) (oba parametra su nepoznata). Odredite test omjera vjerodostojnosti za testiranje nulhipoteze H 0 : µ = µ 0 u odnosu na (a) jednostranu alternativu H 1 : µ < µ 0 ; (b) jednostranu alternativu H 1 : µ > µ 0 ; (c) dvostranu alternativu H 1 : µ µ 0. 39

40 4.4 Test o očekivanju normalno distribuirane populacije (t-test) Neka je X 1,..., X n slučani uzorak za X N(µ, σ 2 ). Želimo testirati hipoteze o parametru µ (σ 2 je nepoznat). Od sada pa nadalje, neka µ 0 označava neki unaprijed zadani broj. 40

41 Razlikujemo tri slučaja: (1) : (2) : (3) : H 0 : µ = µ 0 H 0 : µ = µ 0 H 0 : µ = µ 0 H 1 : µ > µ 0 H 1 : µ < µ 0 H 1 : µ µ 0 Alternative u (1) i (2) su jednostrane jednostrani testovi dok je alternativa u (3) dvostrana dvostrani test. 41

42 U sva tri slučaja, testna statistika je jednaka: T = X µ 0 H n 0 t(n 1) S Kritična područja se razlikuju. Neka je α zadana razina značajnosti. 42

43 (1): kritično područje: H 0 : µ = µ 0 H 1 : µ > µ 0 P(T t α (n 1) H 0 ) = α [t α (n 1), + 43

44 (2): kritično područje: H 0 : µ = µ 0 H 1 : µ < µ 0 P(T t α (n 1) H 0 ) = α, t α (n 1)] 44

45 (3): kritično područje: H 0 : µ = µ 0 H 1 : µ µ 0 P( T t α/2 (n 1) H 0 ) = α, t α/2 (n 1)] [t α/2 (n 1), + 45

46 Primjer 4.4. (Primjer 3.13) U svrhu istraživanja toksičnosti jedne vrste plijesni na urod kukuruza, mjeri se količina toksične tvari u mg. Uzorak od 9 ekstrakata te plijesni: 1.2, 0.8, 0.6, 1.1, 1.2, 0.9, 1.5, 0.9, 1.0 Pretpostavka je da mjereno obilježje ima normalnu razdiobu. Iz uzorka je izračunano: x = 1.02 i s = Uz 5% značajnosti testirajte H 0 : µ = 1.00 H 1 : µ >

47 Jednostrani t-test: Testna statistika: T = X 1.00 S 3 Kritično područje: [t 0.05 (8), + = [1.86, + Vrijednost testne statistike: t = x 1.00 s 3 = =

48 Budući da je t = < 1.86, tj. t ne pripada kritičnom području, ne odbacujemo H 0 u korist alternative. Preciznije, uz značajnost od 5%, ne odbacujemo pretpostavku da je µ manje ili jednako od 1.00, odn. ne možemo tvrditi da je očekivana količina toksične tvari u ekstraktu plijesni veća od