Statistiline andmetöötlus VL.0435

Transcript

1 Tanel Kaart ügi, 009 Statitiline andmetöötlu VL.0435 Loeng 3 Hüpoteeide tatitiline kontrollimine Kekmite võrdlemine Hüpoteeide kontroll Näiteid hüpoteeidet Ka jogurti toiduvärviga värvimine parandab tarbijate meelet elle maiteomadui? Ka leidub eo lehma tiinetumie ja piimatoodangu vahel? Ka nn õnnelike igade tailiha % on erinev tavalie igala kavanud igade vatavat näitajat? Ka Eeti ja Soome vetet püütud lõhed on geneetilielt erinevad? Hüpoteeide paar H - väide, mida me oovime tõetada (iuka e alternatiivne hüpotee; alternative hypothei), H 0 - väide, et üldkogum vatab teatavale tandardile (nullhüpotee; null hyphothei). Tettatitik valimifunktioon, mi mõõdab erinevut nullhüpoteei väidetu ja andmetet ilmneva vahel kui erinevu on piiavalt uur, kummutatake nullhüpotee. Tanel Kaart

2 Hüpoteeide kontroll Vead hüpoteeide kontrollimiel Eimet liiki viga tekib ii, kui võetake vatu iuka hüpotee, aga tegelikult on õige nullhüpotee. Teit liiki viga tekib ii, kui jäädake nullhüpoteei juurde, kuid õige olek iuka hüpotee. Tegelik olek Otu Õige H 0 Õige H Jääme H 0 juurde + II liiki viga, β Kummutame H 0 I liiki viga, α Oluliue nivooα(ignificance level) makimaalne lubatav I liiki vea tõenäou (tavalielt α = 0,05; 0,0; 0,00), nö valulävi. Teti võimu [power] = β on tõenäou lugeda õigek ka tegelikult kehtiv iuka hüpotee H. + Hüpoteeide kontroll Oluliue tõenäou p (probability level, p-value) tõenäou ekida, väite oma andmete põhjal iuka hüpoteei H kehtimit (I liiki vea tegemie tõenäou); tõenäou aada analüüitava truktuuriga ( nii uure erinevuega või nii tugeva eoega ) andmed juhulikult P(valim H 0 ); Otue vatuvõtmine () Võrreldake oluliue tõenäout p ja oluliue nivood α: kui p <α, ii on tõetatud H, kui p α, ii jääme H 0 juurde. Tanel Kaart

3 Hüpoteeide kontroll Otue vatuvõtmine () Võrreldake arvutatud tettatitiku väärtut elle kriitilie väärtuega (tuginede teoreetilitele jaotutele või imuleerimie tulemutele): kui tettatitiku aboluutväärtu on uurem tema nullhüpoteeipõhie jaotue kriitiliet väärtuet ( α/- kvantiilit), loetake õigek H, Tettatitiku jaotu α α/ α/ x vatupidiel juhul jäädake nullhüpoteei H 0 juurde. α α/ α/ x Hüpoteeide kontroll Ühepoolne [one-tail] veru kahepoolne [two-tail] hüpotee Näitek: H 0 : µ > µ H : µ µ H 0 : µ = µ H : µ µ Tettatitiku jaotu α α/ α/ 0 0 Tanel Kaart 3

4 Populatiooni kekvää äärtue võrdlemine kontandiga Ualdupiirid µ c µ H 0 : µ = c võetake vatu ii, kui c kuulub ualdupiirkonda µ µ c H : µ c on tõetatud ii, kui c ei kuulu ualdupiirkonda (oluliunivool α) Normaaljaotue eelduel t-tet x c Tettatitik: t n ~ tn = α /, H0 α /, n Suurte valimite (n>60) korral z-tet Tettatitik: x c Z z α / <=> p α H Z = n N(0,) : µ c Z < z α / <=> p > α H 0 : µ = c ~ H 0 t t n <=> p α H : µ c t < t <=> p > α H 0 : µ = c Populatiooni kekvää äärtue võrdlemine kontandiga Näide. Kümme aexi tõugu kana muneid nädala vatavalt 3, 5, 4, 6,, 6, 5, 6, 5 ja 3 muna. Teade, et njuuhämpširi tõugu kanad munevad kekmielt 5,4 muna nädala, kontrollida hüpoteei kahe tõu munatoodangute erinevuet. H 0 : µ = 5,4 H : µ 5,4 n = 0; x = 4, 5;, 43 95%-lied ualdupiirid kekmiele nädalaele munatoodangule:, 43,43 µ ; µ = x t α, n ; x + t α, n = 4,5,6 ; 4,5 +,6 n n 0 0 = 4,5,6 0,45; 4,5 +,6 0,45 = 3,47; 5,53 ( ) ( ) ( ) µ x µ ( x) Järeldued: et µ = 3,47 < 5,4 < 5,53 = µ, ii ei ole meil oluliue nivoo α=0,05 korral alut ümber lükata nullhüpoteei ellet, et aexi tõugu kanad munevad ama palju kui njuuhämpširi tõugu kanad. NB! Näitel on illutreeriv tähendu. Praktika ei ole edavõrd väikee valimi ja dikreete arvtunnue puhul toodud valemite rakendamine oovitatav. Tanel Kaart 4

5 Populatiooni kekvää äärtue võrdlemine kontandiga Näide. Kümme aexi tõugu kana muneid nädala vatavalt 3, 5, 4, 6,, 6, 5, 6, 5 ja 3 muna. Teade, et njuuhämpširi tõugu kanad munevad kekmielt 5,4 muna nädala, kontrollida hüpoteei kahe tõu munatoodangute erinevuet. H 0 : µ = 5,4 H : µ 5,4 või H 0 : µ 5,4 H : µ < 5, Näitek MS Exceli funktioon TDIST(t;n-;) x n = 0; x = 4, 5;, 43; α = 0, 05 x 5, 4 4,5 5,4 Tettatitik: t = n = 0 =, 985 =, 985,43 Tettatitiku kriitiline väärtu (kahepoolne hüpotee): t α / ;( n ) = t0,975;9 =, 6 Järeldu: t =, 985 <, 6 = t H 0 : µ = 5,4 0,975;9 Tettatitiku kriitiline väärtu (ühepoolne hüpotee): t α ;( n ) = t0,95;9 =,83 Järeldu: t0,95;9 =,83 <, 985 = t H : µ < 5,4 Arvuti abil aab leida ka täpe tõenäoue tettatitiku väärtue t =,985 aamiek eelduel, et kehtib H 0 : p=0,0784 (-poolne hüp.); p=0,039 (-poolne hüp.) Kahe grupi kekmite võrdlu, kolm t-tetiteti Sõltuvad vaatlued (paariviiiline võrdlu) H 0 : µ = µ H 0 : µ µ = 0 H : µ µ H : µ µ 0 x x Tettatitik: t = n ~ tn Võrded diperioonid Tettatitik: x x n n t = ~ tn + n n + n H0 ( n ) + ( n ) = n + n Kahe populatiooni kekmite võrdlu t-tet H0, Sõltumatud vaatlued H 0 : µ = µ H : µ µ Kahe populatiooni diperioonide võrdlu F-tet H 0 : σ = σ H : σ σ Mittevõrded diperioonid Tettatitik: t = Eeldu: X ~ N(µ;σ ) [või uur (>60) n] Tettatitik: F = x x + n n ~ Fn, n H0 ~ H 0 ν ( n ) ( n ) = ( n + n ) + n + n + t ν, Tanel Kaart 5

6 Sõltuvad vaatlued (paariviiiline võrdlu) H 0 : µ = µ H 0 : µ µ = 0 H : µ µ H : µ µ 0 Lehm Piim (kg/ööpäeva) Piimatoodangu juurviljaga (x ) juurviljata (x ) muutued (d) Tettatitik: x x t = n ~ tn H0 Näide. Soovitake uurida, ka lehmade ööpäevane piimatoodang lange pärat eda, kui neile lõpetati juurvilja öötmine (oluliue nivool α = 0,05). Kontrollime hüpoteei piimatoodangu langue kohta,.t. H 0 : µ d 0 H : µ d > 0 n = 0; d =,8; d =,8 Andmetet arvutatud tettatitik: t = d n 3,4 d Tettatitiku kriitiline väärtu (ühepoolne hüpotee): t = α, n t = 0,95;9,83 Järeldu: t = 3,4 >,83 = t α, n H : µ d > 0 ( p = 0,006) n = 50; n = 45 x = 9,; x = 8, 7 = 3,; =,3 α = 0,05 H 0 : µ = µ H : µ µ () H 0 : H : Sõltumatud vaatlued Näide. Ettevõtte võrreldi ametiühingue kuuluvate ja inna mittekuuluvate töötajate puudumii aata jookul. Viikümmend vaadeldud ametiühinguliiget puuduid kekmielt 9,3 päeva, kujuure tandardhälve oli 3, päeva. Ametiühingue mittekuulujad, keda oli 45, puuduid igaük kekmielt 8,7 päeva tandardhälbega,3 päeva. Kontrollida hüpoteei ettevõtte töötajate kekmielt puudutud päevade arvu õltuvuet ametiühingue kuulumiet oluliue nivool α = 0,05. σ = σ σ σ Tettatitik: F = =,87 Tettatitiku kriitiline väärtu: F = n n F = α / ; ; 0,975; 49; 44,799 Järeldu: F =,87 >, 799 = F = F α n n ( 0, 03) 0,975; 49; 44 / ; ; H : σ σ p = () Tettatitik: t = x x 0,969 n + n = Tettatitiku kriitiline väärtu: t Järeldu: t = 0,969 <,985 = t H 0 : µ = µ α /, ν = t0,975;95 =,985 0,975;45 ( p = 0,335) Märku: eeldanuk me iiki, et σ, jõudnuk me peale ühie diperiooni = σ = 7,566 ja tettatitiku t = 0,708 arvutamit amale järelduele: µ = µ, aga oluliutõenäou olnuk piut uurem ( p = 0,48). Tanel Kaart 6

7 Kolm t-teti teti mi eal vahet on? Üldine eeldu: X ~ N(µ;σ ) Andmete olemu Sõltumatud vaatlued mittevõrdne varieeruvu võrdne varieeruvu Liaeeldued σ = σ H Sõltuvad vaatlued 0 : µ = µ H : µ µ = 0 0 µ µ 0,06 0,04 0,006 0,053 0,048 0,0 Piim (kg/ööpäeva) juurviljaga juurviljata (x ) (x ) Mida enam on lihtutavaid eeldueid e mida kitamalt on ituatioon (andmed) enne juhulikkue mängu toomit piiritletud, eda uurem on tatitilie teti võimu (eda väikem erinevu on vajalik populatioonide erinevue tõetamiek e eda väikem on uurija ekimitõenäou kummutade nullhüpoteei)! p µ µ > Permutatioonitet Permutatioonitet (e täpne tet [exact tet] või randomieerimitet [randomization tet]) kujutab eneet tettatitiku nullhüpoteeile vatava jaotue leidmit arvutade tettatitiku väärtued andmete kõikvõimalike ümberpaigutute korral. Näitek kahe grupi kekmite võrdlemiel, ku gruppide uurued on n ja n, arvutatake emalt välja andmetele vatav tettatitiku väärtu, eejärel moodutatake ühine andmetik uuruega n +n, millet moodutatake kõikvõimalikud grupid uurutega n ja n ning arvutatake kõigil juhtudel tettatitiku väärtu; tulemuek aadud tettatitiku jaotue aluel leitake, kui uure ageduega (tõenäouega) tulid tettatitiku väärtued võrded või uuremad originaalandmeit leitud väärtuet aadud tõenäou on täpne -poolele hüpoteeile vatava oluliue tõenäoue väärtu. Juhul, kui kõikvõimalike permutatioonide teotamine on liiga töömahuka, valitake neit juhulikult ükne teatud hulk ja arvutatake aümptootilielt täpne p-väärtu ellieid tete tuntake Monte Carlo tetidena. Tanel Kaart 7

8 Mitteparameetrilied tetid Enam levinud tetid õltuvate vaatlute korral Märgitet Eeldued: uuritavad tunnued on vähemalt järjetutunnued. Idee : võrde kekväärtue korral peak paariviiilite vaatlute vahede hulga poitiiveid ja negatiiveid (tähitatuna vatavalt + ja, iit ka teti nimi) olema enamvähem võrdelt. Wilcoxoni atakmärgitet Eeldued: uuritavad tunnued on vähemalt järjetutunnued. Idee : võrde kekväärtue korral peak vaatlute vahede hulga poitiiveid ja negatiiveid olema enamvähem võrdelt ning, täienduena märgitetile, peakid mõlemad muutuma amade piiride. Mitteparameetrilied tetid Enam levinud tetid õltumatute vaatlute korral Mann-Whitney U-tet, Wilcoxoni tet Eeldued: uuritavad tunnued on vähemalt järjetatavad; uuritavad tunnued omandavad küllalt palju erinevaid väärtui. Idee: kui võrreldavate valimite kekväärtued (jaotued) on võrded, peak nendet moodutatud ühine variatioonrida olema nö häti egunenud, t et mõlema valimi elemendid paiknevad enamvähem vaheldumii ega ole koondunud variatioonrea alguee või lõppu. Kolmogorov-Smirnovi tet Eeldued: uuritavad tunnued on vähemalt järjetutunnued. Idee: tet võrdleb kahe valimi jaotut (mitte ükne kekmit taet!), leide ellek võrreldavate valimite empiirilite jaotufunktioonide makimaale erinevue kui ee erinevu on piiavalt uur, ii on jaotued järelikult erinevad. Tanel Kaart 8

9 Parameetrilied veru mitteparameetrilied tetid Sõltumatud vaatlued Sõltuvad vaatlued Tet t-tet, mittevõrdne varieeruvu t-tet, võrdne varieeruvu Mann-Whitney U- tet, Wilcoxoni tet Kolmogorov- Smirnovi tet t-tet µ µ 0,06 0,04 0,038 0,055 0,006 p µ µ > 0,053 0,048 0,075 0,64 0,0 Piim (kg/ööpäeva) juurviljaga juurviljata (x ) (x ) Märgitet 0,00 0,039 Mitmene võrdlu Võrdleme näitek 4 gruppi, lubade iga ükikvõrdlue puhul ekimit 5% tõenäouega. α=0,05 α=0,05 α=0,05 α=0,05 I II III IV Tõenäou, et ükikvõrdluel viga ei tehta, on α =0,95. α=0,05 α=0,05 Tõenäou, et kuuel ükikvõrdluel kokku ei ekita, on ( α) 6 =0,95 6 0,735. Mitõttu tõenäou teha ük (või mitu) vale otu(t) 4 grupi paarikaupa võrdlemiel on 0,735=0,65 (ekimie tõenäou on üle 5%!). Otite näitek põhjut, mi võik oodutada loomadel haigue tekkimit. Viite läbi uuringu ja fikeerite haigetel ja tervetel loomadel 00 potentiaalelt haigetumit mõjutava tunnue väärtued (a la ööda toitaineterikku, eelmie kuu kekmine temperatuur, loomi kavata taluniku pikku jne). Iga potentiaale haiguega eotud tunnue oa võrdlete haigeid ja terveid loomi kautade oluliue nivood 0,05. Kui nüüd eeldada, et tegelikult ei mõjuta ükki valitud 00-t tunnuet haigetumit, ii ellet hoolimata võikite antud uuringu puhul lugeda tõetatuk umbe 5 haigue tekkimit oodutavat tegurit. Tanel Kaart 9

10 Mitmene võrdlu Bonferroni meetod: piiramak k ükikvõrdlue puhul ühe või enama vea tegemie tõenäout oluliue nivooga α, tuleb kõigil ükikvõrdlutel võtta oluliue nivook α/k. Näitek 4 grupi võrdlemiel, garanteerimak kuue võrdlue peale kokku ekimit mitte üle 5%-lie tõenäouega, tuleb ükikvõrdlutel võtta oluliue nivook α * =α/k=0,05/6 0,0083. Bonferroni-Holmi meetod: teotatake kõik tetid ja järjetatake aadud oluliue tõenäoued, p p p k ; otued nullhüpoteei kauk või kahjuk tehake kautade oluliue nivooid α/k, α/(k ), α/(k ),, α/, α. Kui teotatavate tetide arv kavab, väheneb kautatav oluliue nivoo kiireti ja alternatiive hüpoteei tõetamine outub ageli äärmielt rakek (nõuab tohutu hulga vaatlute olemaolu). Seetõttu ei ole tatitilied meetodid mitte eriti obivad kate/ekituemeetodil teadue tegemiek (proovime, ka midagi õnnetub)! Kekmite mitmene võrdlemine On k gruppi, mille kekmit taet tahame võrrelda. Selliel juhul on ageli ottarbeka k(k )/ paariviiilit võrdlut (t-teti) aendada üheaina hüpoteeide paari kontrollimiega. Viimae võib õnatada kujul: H 0 : µ = µ = = µ k H : leiduvad ellied grupid i,j, et µ i µ j Eeldutel, et uuritav (õltuv) tunnu on normaaljaotuega ja uuritava tunnue varieeruvu võrreldavai gruppide on üheugune, on taolie hüpoteeide paari korral rakendatavak analüüimeetodik diperioonanalüü. Tanel Kaart 0

11 Diperioonanalüü üü Diperioonanalüüil jagatake tunnued vatavalt nende rollile kahek: tunnu, mille kekmii võrrelda oovitake, on uuritav tunnu e funktioontunnu (lehma piimatoodang, forelli kavukiiru, talle ma, ea pekipaku, jne); (dikreetne või mittearvuline) tunnu, mille väärtute aluel võrreldavad grupid moodutatake, on faktortunnu (tõug, lüpieade, laudatüüp jne). Diperioonanalüüi tulemute tõlgendamiel räägitakegi enamati faktortunnue mõjut uuritavale tunnuele. Näitek, tõu või lüpieadme või laudatüübi vm mõju piimatoodangule, kavandue mõju forellide kavukiiruele, omaniku mõju talle maile, genotüübi (teatud geenikombinatioonide) mõju igade pekipakuele jne. Kekvää äärtute võrdlemine Kekväärtute võrdlemine grupi kekmie võrdlu kontandiga H 0 : µ = c H : µ c grupi kekmite võrdlu H 0 : µ = µ H : µ µ 3 või enama (k) grupi kekmite võrdlu H 0 : µ = µ = = µ k H : i,j: µ i µ j Ualdupiirid, normaaljaotue eelduel t-tet, uurte valimite (n>60) korral z-tet t-tet Mann-Whitney U-tet, Wilcoxoni tet, märgitet, Eeldute (normaaljaotu jm) täidetuel Eeldute mittetäidetuel Teiendued logaritm, arcin (% jmt), ruutjuur (täiarvulied väärtued) Diperioonanalüü Krukal- Wallie tet, Friedmani tet Tanel Kaart

12 Tanel Kaart