Testiranje statisti kih hipoteza. Vjeºbe - Statistika Praktikum

Transcript

1 Vjeºbe - Statistika Praktikum Testiranje statisti kih hipoteza

2 Testiranje statisti kih hipoteza Statisti ka hipoteza je pretpostavka o populacijskoj razdiobi promatrane varijable. U statisti kom modelu P statisti ka hipoteza H izdvaja podskup H P U parametarskim modelima to e biti izjava o vrijednostima nepoznatog parametra - parametarska hipoteza pa je moºemo identicirati s nekim podskupom prostora parametata H = Θ 0 Θ. Kaºemo da je statisti ka hipoteza jednostavna ako je njome u jednozna no odrežena populacijska distribucija, u suprotnom je sloºena. Npr. H : θ = 2 - jednostavna H : θ > 2 - sloºena

3 Statisti ke hipoteze skra eno zapisujemo H 0 : nulta hipoteza H H 1 : alternativna hipoteza H = P \ H Npr. H 0 : θ 2 H 1 : θ > 2

4 Statisti ki test je pravilo temeljeno na realizaciji slu ajnog uzorka iz populacije koje koristimo da bi donijeli odluku o odbacivanju ili ne odbacivanju hipoteze H 0. To pravilo dijeli skup svih mogu ih realizacija na dva disjunktna skupa C r i C C r. C r - kriti no podru je - ako realizacija pripada C r onda odbacujemo H 0. Hipoteze se uvijek postavljaju tako da se prije provoženja testa smatra da vrijedi nulta hipoteza H 0. Ako ne odbacimo H 0, ni²ta se ne e dogoditi. To moºemo usporediti sa suženjem: Nitko nije kriv dok mu se ne dokaºe krivnja. U tom slu aju hipoteze su H 0 : optuºeni nije kriv H 1 : optuºeni je kriv

5 Uvijek govorimo o odbacivanju (postoji dovoljno dokaza za krivnju) ili ne odbacivanju (ne postoji dovoljno dokaza za krivnju) nulte hipoteze. Nije dobro re i prihva amo nultu hipotezu - to bi zna ilo da je ona to na samo zato jer je nismo uspjeli opovrgnuti (nije dokazano da je osoba nevina, ve samo da ne postoji dovoljno dokaza da se proglasi krivom) Kod odbacivanja, esto kaºemo odbacujemo hipotezu H 0 u korist hipoteze H 1

6 Sve odluke temeljene na uzorcima iz populacije nisu 100% pouzdane, pa ni zaklju ak testa ne mora biti 100% pouzdan. istina zaklju ak testa ne odbaciti H 0 odbaciti H 0 H 0 dobra odluka pogre²ka I. tipa H 1 pogre²ka II. tipa dobra odluka pogre²ka I. tipa - odbaciti hipotezu onda kada je ona istinita, tj. x C r, ali H 0 istinita pogre²ka II. tipa - ne odbaciti hipotezu onda kada ona nije istinita, tj. x / C r, ali H 0 nije istinita za primjer: pogre²ka I. tipa - optuºiti nevinu osobu pogre²ka II. tipa - osloboditi osobu koja je stvarno kriva

7 U pravilu, za nultu hipotezu se uvijek uzimaju jednostavne hipoteze. Za nulte hipoteze uzimamo one hipoteze za koje ºelimo kontrolirati vjerojatnost da emo ih odbaciti ako su istinite (vjerojatnost pogre²aka prve vrste). Primjer 1. Kockar je optuºen da je koristio namje²tenu kocku. Koju nultu hipotezu koristi statisti ar kada provodi odgovaraju i test za sud? H 0 : kocka je simetri na Trebamo kontrolirati vjerojatnost da emo pogrije²iti ako odbacimo H 0, tj. da se proglasi krivim nevini ovjek. Primjer 2. Tvornica je proizvela novu seriju padobrana. Kontrolor kvalitete mora statisti kim testom odlu iti ho e li padobrane propustiti na trºi²te ili ne. Koju hipotezu treba uzeti kao nultu? H 0 : padobran nije ispravan Trebamo kontrolirati vjerojatnost da emo pogrije²iti ako odbacimo H 0, tj. da padobran proglasimo ispravnim, a on to nije.

8 Idealan statisti ki test bi bio X C r X / C r H nije istinita H istinita Nemogu e!

9 Funkcija jakosti testa odreženog kriti nim podru jem C r π(θ) = P θ (X C r ), θ Θ. (vjerojatnost odbacivanja H) Uo imo: za θ H, π(θ) je vjerojatnost pogre²ke prve vrste za θ / H, 1 π(θ) = P θ (X / C r ) je vjerojatnost pogre²ke druge vrste Razina zna ajnosti testa se denira s α = sup π(θ) = sup P θ (X C r ). θ H θ H

10 Uniformno najja i test razine zna ajnosti α je test deniran kriti nim podru jem C r za koje vrijedi (i) sup{p θ (X C r ) : θ H} α (ii) π C (θ) π C r r (θ), θ H, za svako drugo kriti no podru je C r razine zna ajnosti α Ideja Neyman-Pearsonovog pristupa kreiranju statisti kog testa je ksirati razinu zna ajnosti α, a zatim denirati kriti no podru je koje e imati minimalnu vrijednost β = sup(1 π(θ)) = sup P θ (X / C r ). θ H θ H

11 Lema 1 (Neyman-Pearson). Neka je dan statisti ki model P = {f (x; θ) : θ {θ 0, θ 1 }} i hipoteza H 0 : θ = θ 0 H 1 : θ = θ 1 Kriti no podru je C r (k) = {x : f (x; θ 0 ) kf (x; θ 1 )} za neki k > 0 je najja e kriti no podru je razine zna ajnosti α = P θ0 (X C r (k)}.

12 Ukoliko se kriti no podru je moºe izraziti u terminima neke statistike T (X), onda tu statistiku zovemo test statistika. Neyman-Pearsonov pristup moºe se pro²iriti na sloºene hipoteze i pri tome nam je vaºan sljede i pojam: Denicija 1. Neka je {L(x; θ) : θ Θ R} familija funkcija vjerodostojnosti. Kaºemo da ona ima monotoni kvocijent vjerodostojnosti u statistici T (X) ako se θ 1, θ 2 Θ takve da je θ 1 > θ 2 moºe L(x; θ 1 ) L(x; θ 2 ) izraziti kao neopadaju a funkcija od T (x) i to za sve x za koje je L(x; θ 1 ) > 0, L(x; θ 2 ) > 0.

13 Teorem 1. Neka je {L(x; θ) : θ Θ R} familija koja ima monotoni kvocijent vjerodostojnosti u t(x). Neka je C r = {x : L(x; θ 0 ) kl(x; θ 1 ) kriti no podru je razine zna ajnosti α za testiranje hipoteza H 0 : θ = θ 0 H 1 : θ = θ 1 (i) Ako je θ 0 < θ 1 tada je C r uniformno najja e kriti no podru je nivoa zna ajnosti α za testiranje H 0 : θ = θ 0 H 1 : θ > θ 0 (ii) Ako je θ 0 > θ 1 tada je C r uniformno najja e kriti no podru je nivoa zna ajnosti α za testiranje H 0 : θ = θ 0 H 1 : θ < θ 0

14 Primjer Na sljede em primjeru promotrimo dosad denirane pojmove. Neka osoba tvrdi da je vidovita. Odlu ili smo to provjeriti statisti kim testom. Odabrali smo 25 karata okrenutih na poležinu, te dali osobi da pogaža koje su boje (karo, pik, herc, tref). Uo imo da tada imamo slu ajan uzorak (X 1,..., X 25 ) iz Bernoullijeve distribucije pri emu je 1 pogožena boja karte (s vjerojatno² u p), a 0 nije pogožena boja (s vjerojatno² u 1 p) Ozna imo ukupan broj pogoženih karata S = 25 i=1 X i. O igledno S B(25, p) - binomna distribucija. Postavljamo hipoteze H 0 : p = 1 4 H 1 : p > 1 4 osoba nije vidovita - slu ajno pogaža osoba je vidovita - ne radi se samo o sre i

15 NP pristup nam sugerira da kriti no podru je odredimo promatranjem kvocijenta funkcija vjerodostojnosti Ozna imo p 0 = 1/4 i p 1 > p 0 L(x; p 0 ) L(x; p 1 ) = 25 i=1 px i 0 (1 p 0) 1 x i 25 i=1 px i 25 i =1 x i 1 (1 p 1) 1 x i = p 0 (1 p 0 ) i =1 x i 25 i =1 p x i 1 (1 p 1 ) i =1 x i ( ) 25 ( ) p0 i =1 (1 p 1 ) x i 25 1 p0 =, x i {0, 1} p 1 (1 p 0 ) 1 p 1 L(x; p 0 ) L(x; p 1 ) k 25 x i ln p 0(1 p 1 ) p 1 (1 p 0 ) k 1, i=1 25 i=1 x i K. ( ) p0 (1 p 1 ) p 1 (1 p 0 ) < 1

16 Dakle, kriti no podru je treba odrediti tako da odredimo broj karata K koje osoba mora pogoditi da bi je mogli proglasiti vidovitom (odbaciti H 0 ). Kako odrediti K? Primjerice, ako je K = 25, vjerojatnost pogre²ke I. tipa iznosi P( odbaciti H 0 H 0 istinita ) = P(S = 25 p = 1 4 ) = P(B(25, 1/4) = 25) = To je dobro, vrlo je mala vjerojatnost da nekog proglasimo vidovitim ako on to nije, mežutim, vjerojatnost pogre²ke II. tipa je P( ne odbaciti H 0 H 0 nije istinita ) = P(S < 25 p > 1 4 ) = 1 P(B(25, p) = 25) = 1 p 25 npr. za p = 1/2 to je Neprihvatljivo velika vjerojatnost da za uistinu vidovitu osobu ne odbacimo nultu hipotezu (da nije vidovita)

17 NP pristup nam govori da za izvedeno kriti no podru je treba jo² samo odabrati ºeljenu razinu zna ajnosti i tako odrediti K. Drugim rije ima, traºimo K tako da je P(S K p = 1 ) = P(B(25, 1/4) K) = α. 4 Odaberimo α. Budu i S ima diskretnu distribuciju, jednakost vjerojatno ne emo mo i posti i za bilo koji α, pa onda biramo takav da gornja jednakost vrijedi za neki K. Izra unamo P(B(25, 1/4) 10) = P(B(25, 1/4) 11) = P(B(25, 1/4) 12) = Odabrat emo razinu zna ajnosti α = Pripadni K je onda K = 11.

18 Kriti no podru je je C r = {11, 12,..., 24, 25}. Ako osoba pogodi 11 ili vi²e karata, onda odbacujemo nultu hipotezu, tj. zaklju ujemo osoba je vidovita, s vjerojatno² u 97%. Ako osoba pogodi manje od 11 karata, ne odbacujemo nultu hipotezu s vjerojatno² u 97%, tj. nemamo dovoljno dokaza da je osoba vidovita. To zna i da kada bi ovaj test ponovili primjerice 100 puta na nekoj osobi koja nije vidovita, tada bi u pribliºno 97 pokusa test pokazao da osoba nije vidovita. U pribliºno 3 slu aja, osoba bi se uspjela provu i kao vidovita.

19 Pretpostavimo sada da smo napravili testiranje na nekoj osobi i da je ona pogodila 12 karata. Budu i P(B(25, 1/4) 12) = , ak i uz razinu zna ajnosti , H 0 bi bila odba ena, tj. osobu bi proglasili vidovitom. To je najmanja razina zna ajnosti uz koju bi H 0 bila odba ena, jer ve za α = 0.01 broj 12 ne bi bio u kriti nom podru ju. Ta vrijednost naziva se p-vrijednost. to je p-vrijednost manja to je dokaz protiv H 0 ja i.

20 Intuitivan pristup kreiranju statisti kog testa 1 Prona i test statistiku ija se distribucija u H razlikuje od distribucije u H. Kori²tenjem te razlike denira se kriti no podru je. 2 Test statistiku odabiremo kori²tenjem teorije procjene i dobrih procjenitelja za parametre o kojima testiramo hipoteze. Tim statistikama potrebno je poznavati distribucije, ili barem asimptotske distribucije u H, a dobro ih je znati i u 3 Neka je T (X) odabrana test statistika. Ako se dio skupa vrijednosti od T (X) moºe podijeliti na C r i C C r tako da P θ (T (X) C r ) α, θ H, moºe se denirati test zna ajnosti α. 4 Ako se moºe analizirati P θ (T (X) C r ) i za θ H, onda se moºe dosta toga re i o testu, iako ovim pristup ne znamo da li je optimalan. H.

21 Test o o ekivanju normalne distribucije uz poznatu varijancu (z-test) X = (X 1,..., X n ) jednostavan slu ajan uzorak iz N (µ, σ 2 ), σ 2 poznato. šelimo testirati je li o ekivanje slu ajnog uzorka jednako nekoj zadanoj vrijednosti µ 0. Dvostrani test Hipoteze testa: H 0 : µ = µ 0 H 1 : µ µ 0 Treba nam statistika ija distribucija se razlikuje u H 0 i u H 1 Promotrimo T (X) = X n µ 0 σ n

22 U uvjetima H 0, tj. µ = µ 0 je T (X) N (0, 1) U uvjetima H 1, tj. µ µ 0, T (X) e biti normalno distribuirana, ali njeno o ekivanje nije 0 i ovisi o µ Kriti no podru je traºimo u obliku komplementa intervala simetri nog oko 0, i to tako da kontroliramo gre²ku I. tipa (odredimo unaprijed njenu vjerojatnost): P µ0 ( T (X) zα/2 ) = α. Budu i je T (X) N (0, 1) u uvjetima H 0, od prije znamo da je z α/2 upravo (1 α/2)-kvantil standardne normalne distribucije. Kriti no podru je C r = { x : T (x) (, z α/2 ] [z α/2, ) }.

23 Uo imo da je komplement kriti nog podru ja upravo pouzdani interval za o ekivanje normalno distribuirane populacije uz poznatu varijancu (test statistika = pivotna veli ina) [ T (x) [ z α/2, z α/2 ] µ 0 X n z α/2 σ n, Xn + z α/2 σ n ]. Pojednostavljeno, ako za danu realizaciju µ 0 pripada dvostranom (1 α) pouzdanom intervalu, onda ne odbacujemo nultu hipotezu. U suprotnom je odbacujemo, sve na razini zna ajnosti α.

24 Intuitivno: Neka je α = Ako je nulta hipoteza istinita, tada je s vjerojatno² u 0.95 realizacija test statistike T (x) u intervalu [ z α/2, z α/2 ]. Ako se dogodi takva realizacija, nemamo razloga odbaciti nultu hipotezu. Ako se pak dogodi da T (x) / [ z α/2, z α/2 ], vjerojatnost tog dogažaja je samo 0.05 pod uvjetom da je H 0 istinita. Onda na nivou zna ajnosti 0.05 moºemo odbaciti H 0, jer vjerojatnost da se dogodi takva realizacija uz uvjet da je H 0 istinito je manja od 0.05.

25 Jednostrani test (1) Hipoteze testa: H 0 : µ = µ 0 H 1 : µ > µ 0 Opet koristimo istu test statistiku U uvjetima H 0, tj. µ = µ 0 je T (X) N (0, 1) U uvjetima H 1, tj. µ > µ 0, T (X) e biti normalno distribuirana, ali njeno o ekivanje e biti ve e od 0 (jer µ µ 0 > 0) Stoga kriti no podru je traºimo u obliku intervala [z α, ), i to tako da kontroliramo gre²ku I. tipa (odredimo unaprijed njenu vjerojatnost): P µ0 (T (X) z α ) = α. z α je upravo (1 α)-kvantil standardne normalne distribucije Kriti no podru je je oblika C r = {x : T (x) [z α, )}.

26 Jednostrani test (2) Hipoteze testa: H 0 : µ = µ 0 H 1 : µ < µ 0 Opet koristimo istu test statistiku U uvjetima H 0, tj. µ = µ 0 je T (X) N (0, 1) U uvjetima H 1, tj. µ < µ 0, T (X) e biti normalno distribuirana, ali njeno o ekivanje e biti manje od 0 (jer µ µ 0 < 0) Stoga kriti no podru je traºimo u obliku intervala (, z α ], i to tako da kontroliramo gre²ku I. tipa (odredimo unaprijed njenu vjerojatnost): P µ0 (T (X) z α ) = α. z α je upravo α-kvantil standardne normalne distribucije Kriti no podru je je oblika C r = {x : T (x) (, z α ]}.

27 U ra unalnim programima (pa i u R-u), ve ina testova daje kao rezultat i p-vrijednost. p-vrijednost - vjerojatnost da test statistika poprimi vrijednosti koje su, uz pretpostavku da je H 0 istinita, manje ili jednako vjerojatne od opaºene vrijednosti test statistike. (jednake ili ekstremnije od opaºene vrijednosti) Ako smo testirali H 0 : µ = µ 0 H 1 : µ > µ 0 na uzorku za koji je vrijednost test statistike t, onda je p-vrijednost p = P(T t H 0 ). Za H 1 : µ < µ 0 je p = P(T t H 0 ). Za dvostrani test p-vrijednost je p = P( T t H 0 ) =. Budu i znamo distribuciju test statistike pod H 0, te vjerojatnosti nije te²ko izra unati.

28 Pomo u p-vrijednosti moºemo zaklju iti sljede e: ako je p α odbacujemo H 0 na nivou zna ajnosti α (jer je tada t u kriti nom podru ju) ako je p > α ne odbacujemo H 0 na nivou zna ajnosti α (jer tada t nije u kriti nom podru ju)

29 Zadaci Zadatak 1. Neki proizvoda proizvodi sajle ija je izdrºljivost u prosjeku jednaka 1800 kg uz standardnu devijaciju od 100 kg i normalno distribuirana. Nedavno je proizvoža uveo novu tehniku proizvodnje i tvrdi da se na taj na in mogu dobiti sajle ve e izdrºljivosti. Odabran je slu ajni uzorak od 50 sajli proizvedenih novom tehnikom i izra unata je prosje na izdrºljivost od 1850 kg. Uz pretpostavku da je izdrºljivost sajli normalno distribuirana, moºe li se na nivou zna ajnosti od 1% zaklju iti da se novom tehnikom mogu dobiti izdrºljivije sajle?

30 Zadatak 2. Rezultati standardiziranog IQ testa na op oj populaciji imaju o ekivanu vrijednost 100 i standardnu devijaciju 15 po normalnoj distribuciji. Za neku populaciju od 50 osoba ºeli se utvrditi ima li o ekivanu IQ manji od prosjeka cijele populacije. Tih 50 osoba je ostvarilo prosje an rezultat 98. Moºemo li na nivou zna ajnosti 0.05 tvrditi da su ispodprosje no inteligentni? Na kojem nivou zna ajnosti bi mogli?

31 Test o o ekivanju normalne distribucije - nepoznata varijanca (t-test) X = (X 1,..., X n ) jednostavan slu ajan uzorak iz N (µ, σ 2 ), σ 2 nepoznato. Dvostrani test Hipoteze testa: Za test statistiku sad uzimamo H 0 : µ = µ 0 H 1 : µ µ 0 T (X) = X n µ 0. S n n 1

32 U uvjetima H 0, tj. µ = µ 0 je T (X) t n 1 U uvjetima H 1, tj. µ µ 0, T (X) ne e imati t distribuciju Kriti no podru je traºimo tako da ( P µ0 T (X) tn 1,α/2) = α. Budu i je T (X) t n 1, od prije znamo da je t n 1,α/2 upravo (1 α/2)-kvantil t distribucije s n 1 stupnjeva slobode. Kriti no podru je C r = { x : T (x) (, t n 1,α/2] [t n 1,α/2, ) }.

33 Jednostrani test (1) Hipoteze testa: H 0 : µ = µ 0 H 1 : µ > µ 0 U uvjetima H 0, tj. µ = µ 0 je T (X) t n 1 U uvjetima H 1, tj. µ > µ 0, T (X) ne e imati t distribuciju i pomaknuta je udesno (zbog µ > µ 0 ) Kriti no podru je traºimo u obliku intervala [t n 1,α, ) tako da P µ0 (T (X) t n 1,α) = α. t n 1,α je upravo (1 α)-kvantil t distribucije s n 1 stupnjeva slobode Kriti no podru je C r = {x : T (x) [t n 1,α, )}.

34 Jednostrani test (2) Hipoteze testa: H 0 : µ = µ 0 H 1 : µ < µ 0 U uvjetima H 0, tj. µ = µ 0 je T (X) t n 1 U uvjetima H 1, tj. µ < µ 0, T (X) ne e imati t distribuciju i pomaknuta je ulijevo (zbog µ > µ 0 ) Kriti no podru je traºimo u obliku intervala (, t n 1,α] tako da P µ0 (T (X) t n 1,α) = α. t n 1,α je upravo α-kvantil t distribucije s n 1 stupnjeva slobode Kriti no podru je C r = {x : T (x) (, t n 1,α]}.

35 Zadaci Zadatak 3. U itajte paket BSDA. U bazi podataka Aids nalaze se podaci o pacijentima za koje se sumnja da su zaraºeni HIV-om preko transfuzije krvi. Varijabla duration sadrºi podatke o vremenu inkubacije virusa i pretpostavimo da je normalno distribuirana. Testirajte je li prosje no vrijeme 30 dana ili dulje na razini zna ajnosti 0.05.

36 Zadatak 4. Proizvoža tvrdi da je prosje no maksimalno optere enje ºice koju proizvodi 60kg. Na slu ajan na in izabran je uzorak od 14 ºica i izra unate su procjene za o ekivanje 59 i za standardnu devijaciju 0.92, a distribucija je normalna. Konkurent tvrdi da su ºice slabije. Testirajte tko je u pravu na nivou zna ajnosti 0.05.

37 Zadatak 5. U datoteci cokolada.txt nalaze se podaci o teºini okolade jednog proizvoža a koja je deklarirana kao 100g i pretpostavimo da su normalno distribuirani. Inspekcija je uzela uzorak i ºeli provjeriti na razini zna ajnosti 0.05 da li proizvoža vara svoje potro²a e.

38 Zadatak 6. U itajte paket BSDA. U bazi podataka Chesapea nalaze se podaci o izmjerenoj slano i mora u jednom zaljevu i pretpostavimo da su normalno distribuirani. Testirajte je li prosje na slano a 7 ili nije na razini zna ajnosti 0.01.

39 Test o varijanci normalne distribucije X = (X 1,..., X n ) jednostavan slu ajan uzorak iz N (µ, σ 2 ). šelimo testirati je li varijanca jednaka nekoj zadanoj vrijednosti σ0 2 Dvostrani test Hipoteze testa: Za test statistiku uzimamo H 0 : σ 2 = σ 2 0 H 1 : σ 2 σ 2 0 T (X) = (n 1) S 2 n. σ 2 0

40 U uvjetima H 0, tj. σ 2 = σ 2 0 je T (X) χ2 n 1 U uvjetima H 1, tj. σ 2 σ 2 0, T (X) ne e imati χ2 distribuciju Kriti no podru je traºimo tako da P µ0 ( T (X) [0, h n 1,α/2] [h n 1,α/2, ) ) = α. Budu i je T (X) χ 2 n 1, od prije znamo da je h n 1,α/2 je α/2 kvantil, a h n 1,α/2 je 1 α/2 kvantil χ2 n 1 distribucije Kriti no podru je C r = {x : T (x) [0, h n 1,α/2] [h n 1,α/2, ) }.

41 Jednostrani test (1) Hipoteze testa: H 0 : σ 2 = σ 2 0 H 1 : σ 2 > σ 2 0 U uvjetima H 0, tj. σ 2 = σ 2 0 je T (X) χ2 n 1 U uvjetima H 1, tj. σ 2 > σ 2 0, T (X) ne e imati χ2 distribuciju, a distribucija e biti pomaknuta udesno Kriti no podru je traºimo u obliku intervala [h n 1,α, ) tako da P µ0 ( T (X) h n 1,α) = α. h n 1,α je upravo (1 α)-kvantil χ2 distribucije s n 1 stupnjeva slobode Kriti no podru je C r = { x : T (x) [h n 1,α, ) }.

42 Jednostrani test (2) Hipoteze testa: H 0 : σ 2 = σ 2 0 H 1 : σ 2 < σ 2 0 U uvjetima H 0, tj. σ 2 = σ0 2 je T (X) χ2 n 1 U uvjetima H 1, tj. σ 2 < σ0 2, T (X) ne e imati χ2 distribuciju, a distribucija e biti pomaknuta ulijevo Kriti no podru je traºimo u obliku intervala [0, h n 1,α] tako da P µ0 (T (X) h n 1,α) = α. h n 1,α je upravo α-kvantil χ 2 distribucije s n 1 stupnjeva slobode Kriti no podru je C r = {x : T (x) [0, h n 1,α]}.

43 Zadaci Zadatak 7. Standardna devijacija godi²njih temperatura u nekom gradu mjerena u periodu od 100 godina je bila 8 C. Mjerena je srednja dnevna temperatura 15. dana u mjesecu u zadnjih 15 godina i izra unata je standardna devijacija godi²njih temperatura od 5 C. Uz pretpostavku o normalnosti temperatura, moºemo li na razini zna ajnosti 0.01 zaklju iti da je temperatura u zadnjih 15 godina postala manje varijabilna?

44 Testovi o parametru o ekivanja na osnovu velikih uzoraka Ovdje ne pretpostavljamo da je populacija normalno distribuirana, ali pretpostavljamo da je varijanca kona na. Neka je X = (X 1,..., X n ) jednostavan slu ajan uzorak, µ = EX 1 i Var(X ) = σ 2 < Po centralnom grani nom teoremu, test statistika T (X) = X n µ 0 n A N (0, 1). σ Za velike uzorke (barem n > 30), testiranje o parametru o ekivanja s nultom hipotezom H 0 : µ = µ 0, provodimo jednako kao i z-test za normalno distribuiranu populaciju

45 Zadaci Zadatak 8. Proizvoža tvrdi da njegove po²iljke sadrºe najvi²e 7% defektnih proizvoda. Uzet je slu ajni uzorak od 200 proizvoda iz jedne velike po²iljke i ustanovljeno je da je u njemu 22 defektna prozivoda. Ima li proizvoža pravo? (α = 0.05)

46 Zadatak 9. U datoteci golovi.txt nalazi tablica o broju golova u 380 utakmica. Gra ki pokaºite da podaci imaju Poissonovu distribuciju. Treba testirati hipotezu da je o ekivani broj golova po utakmici jednak 2.5 na nivou zna ajnosti 0.05

47 Vježbe 4. testiranje statističkih hipoteza ########################################################################### # z-test - Test o očekivanju normalne distribucije (poznata varijanca) # ########################################################################### #z-test nije implementiran u osnovnoj verziji, zbog toga jer ga je vrlo jednostavno provesti. #osim toga, u praksi se malo koristi, jer u većini slučajeva ne znamo točnu varijancu uzorka. #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test x <- rnorm(10) #testiramo: # H0: mu=0 # H1: mu!=0 # 1. NAČIN #Izračunamo test statistiku teststat <- (mean(x)-0)/(1/sqrt(length(x))) #nađimo z_{alfa/2}. Neka je alpha=0.05 alpha < zalfa <- qnorm(1-alpha/2) teststat c(-inf,-zalfa, zalfa,inf) #Kritično područje #ne upada pa ne odbacujemo # 2. NAČIN #nađemo pouzdani interval za očekivanje i onda pogledamo upada li 0 - upada pa ne odbacujemo zalfa <- qnorm(1-alpha/2) dg <- mean(x)-zalfa*1/(sqrt(length(x))) gg <- mean(x)-zalfa*1/(sqrt(length(x))) c(dg,gg) # 3. NAČIN #u paketu TeachingDemos nalazi se funkcija z.test (slična funkcija se nalazi i u paketu BSDA) install.packages("teachingdemos") library(teachingdemos) #Argumenti: Podaci, mu_0, standardna devijacija, vrsta alternativne hipoteze, nivo pouzdanosti pouzdanog intervala(nema veze s nivoom značajnosti) z.test(x,0,1,alternative="two.sided") #daje nam i pouzdani interval #Računanje p-vrijednosti 2*(1-pnorm(teststat)) 1

48 ## Pogledajmo što znači nivo značajnosti. ## Ponovimo test puno puta, svaki put uzimamo uzorak iz N(0,1), alfa% puta ćemo pogriješiti #Rezultatima testa pristupamo s operatorom $ - u helpu pogledati koji su rezultati testa brojac <- 0 for(i in 1:100) { x <- rnorm(10) if(z.test(x,0,1,alternative="two.sided")$p.value<0.05) brojac=brojac+1 } brojac ############### #### Zadatak 1. #Hipoteze: # H0: mu = 1800 (nema promjene u izdržljivosti) # H1: mu > 1800 (izdržljivost se povećala) xpot < sigma <- 100 teststat <- (xpot-1800)/(sigma/sqrt(50)) #Kritično područje je s desne strane alfa < zalfa <- qnorm(1-alfa) c(zalfa, Inf) #Kritično područje teststat #Upada u kritično područje => odbacujemo H_0 na nivou značajnosti 0.01 #Izdržljivost se povećala s vjerojatnošću 0.99 ############### #### Zadatak 2. #Hipoteze: # H0: mu = 100 (jednako inteligentni) # H1: mu < 100 (ispodprosječno inteligentni) teststat <- (98-100)/(15/sqrt(50)) #Kritično područje je s lijeve strane alfa < zalfa <- qnorm(alfa) c(inf, zalfa) #Kritično područje teststat #Ne upada u kritično područje => ne odbacujemo H_0 na nivou značajnosti 0.01 #Ne možemo tvrditi da su ispodprosječno inteligentni #Na kojem nivou značajnosti bi mogli? pnorm(teststat) #Na nivou značajnosti #Zaista, za alfa < zalfa <- qnorm(alfa) c(inf, zalfa) #Kritično područje teststat 2

49 #Sad upada u kritično područje pa sa vjerojatnošću 82% možemo odbaciti H_0 i tvrditi da su ispoprosječno inteligentni ########################################################################### # t-test - Test o očekivanju normalne distribucije (nepoznata varijanca) # ########################################################################### #t-test se može vrlo jednostavno provoditi računanjem kritičnog područja #drugi način je korištenjem R funkcije t.test koja se nalazi u osnovnom paketu stat #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test (pretpostavljamo da ne znamo varijancu) x <- rnorm(50) #testiramo: # H0: mu=0 # H1: mu!=0 # 1. NAČIN #Izračunamo test statistiku teststat <- (mean(x)-0)/(sd(x)/sqrt(length(x)-1)) #nađimo t_{n-1,alfa/2}. Neka je alpha=0.05 alpha < talfa <- qt(1-alpha/2,length(x)-1) teststat c(-inf,-talfa, talfa,inf) #Kritično područje #ne upada pa ne odbacujemo # 2. NAČIN #R funkcija t.test t.test(x,mu=0,alternative="two.sided", conf.level=0.95) #NAPOMENA: conf.level=0.95 je nivo pouzdanosti za interval pouzdanosti - nema veze s nivoom značajnosti test - to se vidi iz p-vrijednosti #po rezultatu testa vidimo: #najjednostavnije je odmah pogledati p-vrijednost,veća je od 0.05 pa ne odbacujemo H_0 #Dobijemo i pouzdani interval za očekivanje i lako vidimo da mean(x) upada unutra, stoga ne odbacujemo H_0 ############### #### Zadatak 3. #Hipoteze: # H0: mu = 30 # H1: mu > 30 install.packages("bsda") library(bsda) str(aids) x <- Aids$duration t.test(x,mu=30,alternative="greater") #Odbacujemo hipotezu H_0 na razini značajnosti 0.05 i zaključujemo inkubacija traje duže 3

50 ############### #### Zadatak 4. #Hipoteze: # H0: mu = 60 # H1: mu < 60 teststat <- (59-60)/(0.92/sqrt(14-1)) #Sad ne možemo koristit funkciju jer je sve već izračunato. #Kritično područje je s lijeve strane talfa <- qt(0.05,13) c(-inf, talfa) #kritično područje teststat #Odbacujemo hipotezu na razini značajnosti Konkurent je u pravu. ############### #### Zadatak 5. #Hipoteze: # H0: mu = 7 # H1: mu!= 7 coko <- read.table("cokolada.txt") str(coko) coko <- coko$v1 t.test(coko,mu=100,alternative="less") #Odbacujemo hipotezu na razini značajnosti 0.05 (jako mala p-vrijednost) ############### #### Zadatak 6. #Hipoteze: # H0: mu = 7 # H1: mu!= 7 str(chesapea) x <- Chesapea$salinity t.test(x,mu=7,alternative="two.sided") #Ne odbacujemo hipotezu na razini značajnosti 0.01 ########################################################################### # Test o varijanci normalne distribucije # ########################################################################### #Test se vrlo jednostavno provoditi računanjem kritičnog područja #ne postoji neka specijalna R funkcija (po mom saznanju) #Generirajmo slučajan uzorak iz N(0,1) i isprobajmo test (pretpostavljamo da ne znamo varijancu) x <- rnorm(50) #testiramo: 4

51 # H0: sigma^2 = 1 # H1: sigma^2!= 1 #Izračunamo test statistiku teststat <- ((length(x)-1)*var(x))/1 #nađimo h_{n-1,alfa/2} i h'_{n-1,alfa/2}. Neka je alpha=0.05 alpha < halfa <- qchisq(alpha/2,length(x)-1) halfa1 <- qchisq(1-alpha/2,length(x)-1) teststat c(0,halfa, halfa1,inf) #Kritično područje #ne upada pa ne odbacujemo ############### #### Zadatak 7. #Hipoteze: # H0: sigma^2 = 8^2 # H1: sigma^2 < 8^2 n <- 15 teststat <- ((n-1)*5^2)/(8^2) alpha < halfa <- qchisq(alpha,n-1) teststat c(0,halfa) #Kritično područje #Ne upada u kritično područje pa ne odbacujemo H_0 na nivou značajnosti Temperatura nije postala #manje varijabilna u zadnjih 15 godina. ########################################################################### # Testovi o parametru očekivanja za velike uzorke # ########################################################################### ############### #### Zadatak 8. #Radi se o uzorku iz Bernoullijeve distribucije. Neka je vjerojatnost lošeg proizvoda p. #Uzmemo test statistiku # (mean(x)-p)/(sqrt(p(1-p))/sqrt(n)) u uvjetima H_0 ~ N(0,1) asimptotski #Hipoteze: # H0: p = 0.07 # H1: p > 0.07 xnpotez <- 22/200 teststat <- (xnpotez-0.07)/(sqrt(0.07*(1-0.07))/sqrt(200)) alpha < zalfa <- qnorm(1-alpha) teststat c(zalfa,inf) #Kritično područje #Upada u kritično područje pa odbacujemo H_0 na nivou značajnosti Proizvođač laže. ############### 5

52 #### Zadatak 9. #Radi se o uzorku iz Poissonove distribucije. Neka je intezitet lambda. #Uzmemo test statistiku # (mean(x)-lambda)/(sqrt(lambda)/sqrt(n)) u uvjetima H_0 ~ N(0,1) asimptotski #Hipoteze: # H0: lambda = 2.5 # H1: lambda!= 2.5 gol <- read.table("golovi.txt",header=true) gol str(gol) uzorak <- rep(gol$brgol,gol$frek) #ponovi svaki broj golova onoliko puta kolika mu je frekvencija uzorak #uvjerimo se da je stvarno Poissonova plot(density(uzorak)) lines(0:10, dpois(0:10,mean(uzorak)), col="red") xnpotez <- mean(uzorak) teststat <- (xnpotez-2.5)/(sqrt(2.5)/sqrt(length(uzorak))) alpha < zalfa <- qnorm(1-alpha/2) teststat c(-inf,-zalfa,zalfa,inf) #Ne upada u kritično područje pa ne odbacujemo H_0 na nivou značajnosti Nema dokaza da je # prosječan broj golova po utakmici različit od 2.5 6