Tölfræði II. Lausnahefti við völdum dæmum. Haustönn 2004

Transcript

1 Tölfræð II Lausaheft vð völdum dæmum Haustö 4 Erledur Davíðsso 5

2 Erledur Davíðsso Efsyfrlt Dæm Slembbreytur, líkdafræð...4 Dæm - Þéttföll...4 Dæm 3 Ýmsar drefgar...4 Dæm 4 - Vætgld...5 Dæm 5 Vægsframleðarar...5 Stakræar margvíðar drefgar...6 Posso- dreyfg...6 Dæm 6 Sklyrt þéttföll...7 Dæm 7 Tvívíð þéttföll...7 Dæm 8 Tvívíð þéttföll...7 Dæm 9 Tvívíð þéttföll...7 Dæm - Drefföll...8 Dæm Posso drefg...8 Dæm Posso drefg...8 Dæm 3 Veldsvíssdrefg ( Epoetal dstrbuto)...8 Dæm 4 Ch-squared...9 Dæm 5 Drefgar falla...9 Dæm 6 Sklyrt vætgld... Dæm 7 Vætgld og dref... Dæm 8 Tvívíðar drefgar... Dæm 9 Föll af slembbreytum... Dæm 9 Frá dæmakeara...3 Dæm Slembgagur (Radom Walk)...4 Dæm - Normaldrefg...5 Fylkjareglur vð útrekga á Cov...6 Dæm Samdref og fylg (e. covarace ad correlato)...6 Dæm 3 Cetral Lmt Theorem...8 Cholesk-þáttu...8 Samlet...8 Samlet í drefgu...8 Dæm 4 Dref- og þéttföll... Dæm 5 Samlet í drefgu (e. covergece to dstrbuto)... Dæm 6 Samlet í líkdum... Dæm 7 Samlet æstum örugglega (e. covergece almost surely)... Háskól Íslads

3 Erledur Davíðsso 3 Sklgreg fyrr a.s. covergece:... Hverg er metll ákvarðaður?...3 Selekaaðferð...3 Dæm 8 Óbjagaður metll...4 Dæm 9 Vægjaaðferð (method of momets)...4 Dæm 3 Selekametll (Mamum Lkelhood Estmator)...5 Dæm 3 Tlgátupróf og höfuarsvæð (e. crtcal rego)...6 Dæm 3 Höfuarfall og höfuarsvæð...7 Dæm 33 LR, LM og Wald próf...8 Dæm 34 Þéttföll...33 Dæm 35 Sklyrtar drefgar...33 Dæm 36 - Tlgátupróf...34 Dæm 37 Sklvrkr metlar...36 PRÓF DESEMBER...37 Dæm PRÓF DESEMBER Dæm og...39 Dæm Dæm SKILGREININGAR...4 Nokkrar sklgregar á samlet ruu hedga { X } (slembbreyta)...4 Samlet talaruu...4 Samlet í drefgu ( dstrbuto)...4 Samlet í líkdum ( probablty)...4 Samlet æstum örugglega (almost surely)...4 LIKELIHOOD RATIO TILGÁTUPRÓFUN...44 TILGÁTUR OG TILGÁTUPRÓF...46 MAXIMUM LIKELIHOOD (ML) ESTIMATION...49 Háskól Íslads

4 Erledur Davíðsso 4 Dæm Slembbreytur, líkdafræð B: Tver strákar P(B),5 B: Tvær stelpur P(B),5 B3: Strákur og stelpa P(B3),5 B4: Stelpa og Strákur P(B4),5 A : Stelpa P(A),5 PAB ( ) PB PB ( A) PAB ( ) PB + PAB ( ) PB + PAB ( 3) PB ( 3) + PAB ( 4) PB ( 4),5,5+,5+,5,5+,5,5 3 Það eru því ca. 33% líkur á því að htt barð sé stelpa. Dæm - Þéttföll ce c e c c c 4 4 ( > ),8 PX e e e Dæm 3 Ýmsar drefgar með líkdum,6 X aars með líkdum,4 fyrr,...,4 4 Y X P(Y )-F() PX ( ) + PX ( 3) + PX ( 4) PX ( ) PX ( ) 4 4 f(),6,4 líkurar á því að ákvæmlega hlutr vrk PX ( ),6,4 C +,6,4 C +,6,88 Háskól Íslads

5 Erledur Davíðsso 5 Dæm 4 - Vætgld Erum með slembbreytu með þéttfall: << f( ) aars g( X) Vljum fa vætgld E g( X) ATH! E g ( X) g( E X ) E g X g( ) f( ) d 4+ 3 d + 3/ Dæm 5 Vægsframleðarar Fum vægsframleðara skv. formúlu á bls í Spaos. Gert er ráð fyrr að t (,). t t t ( t ) m () t E( e ) e f( ) d e d e d ( t ) e ( ) t t t Vætgldð er: d E( X) m () t dt t Rekum ú varace: ( t ) ( t ) t d E( X ) m () t dt 3 t t Var X E X E X Hægt er að reka vætgldð bet: e d e e E X + Háskól Íslads

6 Erledur Davíðsso 6 Stakræar margvíðar drefgar Var ( X) E ( X E X ) E X XE X E X + > E X E X E X + E X E X E X Helduarregla sem gott er að mua uv ' u uv' Posso- dreyfg λ λ ( ),,,3... P X e! Nálgar tvílðuardrefgua mjög vel fyrr stór og lítð θ. λ e λ lm θ ( θ) λ!, θ λ Normaldrefg álgar tvílðuardrefgua mjög vel fyrr stórt θ( θ) Cetral lmt theorem f ( ) θ e θ <. Háskól Íslads

7 Erledur Davíðsso 7 Dæm 6 Sklyrt þéttföll ( y ) <<,<y< f(, y) 5 aars ( y ) f ( y, ) 5 ( y) ( y) 6 ( y) f( y) 3 y 4 3y f(, y) d ( y) d y Dæm 7 Tvívíð þéttföll 5 y < < yog < y< f(, y) aars f ( ) f(, y) dy f(, y) dy 5 ydy y Dæm 8 Tvívíð þéttföll 6 y f y + < < < y< 7 (, ), y P( X y) f (, y) dyd dyd 6 5 > Dæm 9 Tvívíð þéttföll Tl að athuga hvort X og Y eru óháðar þarf að fa f ( ), f ( y ) og sjá hvort f ( y, ) f( ), f( y). Fáum út hálfa ef vð heldum yfr og þ.a.l. eru þær óháðar. y y Háskól Íslads

8 Erledur Davíðsso 8 Dæm - Drefföll ( < <, < < ) (, ) (, ) (, ) + (. ) (, ) ( <, < ) P( y ) F F a b c y d F b d F a d F b c F ac F b d P b y d < < 3,< < 3,,,6,55,5 Formúla er í bók. Dæm Posso drefg λ λ P X e,,,3...! 3 3 P( X ) e,5! P X, 5,95 P( X ) Dæm Posso drefg P ( Tekð lyf Verður ekk vekur) P Lyf λ λ P ( Lyf ) P( Ekk lyf ) 3 (,75 e +, 5 e ) λ e λ! e λ e λ +!!,75 e,89 Dæm 3 Veldsvíssdrefg ( Epoetal dstrbuto) c) P X > s+ t > t P s t t ( ) ( > +, > ) P( > t) ( > + ) tλ ( > ) sλ P s t e e e P t e e s+ t λ sλ tλ e F s P > t tλ Háskól Íslads

9 Erledur Davíðsso 9 Dæm 4 Ch-squared a) X + Y χ (9) Svar: -chcdf(,9) 35, 5% Verð er að reka út P( X Y ) b) D X + Y X frávk í -stefu Y frávk í y-stefu XY, N,4 µ σ (, σ ) σ (, ) N µ N + µ + >. ( > 3,3) ( > 3,3 ) ( + > 3,3 ) P D P D P X Y P N(,) + N(,) > 3,3 3,3 4P( χ > 3,3 ) P χ > 4 P χ 3,3 5,63% 4 > Dæm 5 Drefgar falla X með þéttfall: Látum Y X 3 h( ) f + (Nota jöfu í kafla.7) y f y f h y d dy Athugð: Ef d Y X þá. Þess formúla gegur aðes fyrr ehalla föll!!! dy Háskól Íslads

10 Erledur Davíðsso Ef er mll - og þá er Y d X Y y dy þá er 3 3 Fyrr Y d fy y y y dy 3 6 Dæm 6 Sklyrt vætgld f y ( y) f y f ( y, ) ( y) y Þegar y 4 + Svarð er því Vð skulum þó reka þetta út: y fy ( y) f (, y) d d f ( y) ( y) ( y) y ( ) ( ) d y f, fyrr y f y E X Y f y d 5 5 y y,5 Háskól Íslads

11 Erledur Davíðsso Dæm 7 Vætgld og dref Hefð verð hægt að setja upp svoa: Y 3 4 Y E( Y) Var( Y) Y 6 Var ( AY) E AY AE Y AVar Y A Y Y E [ 4] [ 4] E Y Y 3 [ 4] 3 4 Y Y Var [ 3] [ -3] Var Y Y 3 4 [ -3] [ 5-6] Reglur sem vert er að þekkja Var ( AY) E AY AE Y AVar Y A T T Dæm 8 Tvívíðar drefgar 3 Reka skal P( X Y X ) < <. f y, 6 y < y, < ydyd 3 y d 3 ( ) d Háskól Íslads

12 Erledur Davíðsso Dæm 9 Föll af slembbreytum eru óháðar með þéttfall f ( ) < <, Sklgreum Y. Reka á P Y. Sjáum að < y <. Tvívíða þéttfallð er því f 4 vega þess að þær eru óháðar. ( ) Y P Y y P y P y y 4 d d P Y y 4 d d y y y 4 y d d y y y 4 y y + y Y P Y y P y P y ( ) Dreffallð er því: y F y y 4 7 F y 8 8 Háskól Íslads

13 Erledur Davíðsso 3 Þetta má skoða betur á bls. 593 formúla.9 Þegar Y Þegar y þá 4 f ( y) 4 yd 4y y 4 y f y 4y d 4y y (, ) f y f y d Þéttfallð: f y y ( y) y 3 < y y > 3 y 7 P Y ydy y dy y Dæm 9 Frá dæmakeara Athugð að Y tekur gld á blu (, ). Y getur hærr gld eftr því sem X er ma mðað vð X. Þar sem X og X eru óháðar þá er þéttfall tvívíðu slembbreytuar ( X, X ) f (, ) f ( ) f ( ) 4 Best er að umrta PY og skoða aðes X og X : PY ( ) P( X / X ) P( X X ) Háskól Íslads

14 Erledur Davíðsso 4 Þéttfallð tekur aðes póstív gld á fergum (, ) (,) (,). Tl að reka þetta þurfum vð því að helda yfr það svæð á fergum þar sem sem er hægra meg vð líua : PX ( X) 4dd d d Eg hefð líka verð hægt að fa gld dreffallss : F () P( Y ) P( X X ) 4 d d Y og draga það frá eum. Skoðð hverg mörk breytast. Hér er ég að helda yfr svæðð vstra meg vð líua. Þegar verð er að fa mörk á tvöföldum heldum þá ætt það að vera regla að teka myd af svæðu sem helda á yfr. Þag er mu efaldara að sjá út rétt mörk. Dæm Slembgagur (Radom Walk) D l l... l, l + + l með líkum l með líkum E( l ) + ( ) E( D) E l E( l) Háskól Íslads

15 Erledur Davíðsso 5 ( ) ( Var D E D E D E D ) E l l E ll j j Var D E( ll j) ( j) ( j) j E ll ef j E ll l ( j) ef j N E ll l l N j Dæm - Normaldrefg (, 4) (, 9) X N Y N Z X + Y a) Hvaða drefgu hefur Z? Svar: Normaldrefgu N(, 4) + + ( + ) + + (, ) Z E Z E X E Y Var Z Var X Y Var X Var Y Cov X Y + b) vega þess að X og Y eru óháðar X N ( µ, ) 4 µ A b 5 E( Y) E( AX + b) AE( X) + E( b) + Háskól Íslads

16 Erledur Davíðsso 6 Fylkjareglur vð útrekga á Cov Cov, Cov, Var Cov, Var Cov, Cov, Cov, Var ( + ) Var Y Var AX b Var AX AVar X A T Dæm Samdref og fylg (e. covarace ad correlato) Slembbreyta (, y ) hefur þéttfallð f y, + y < y, < Fa: Var E E Var y Var ( ) af samhverfuástæðum E( ) (, ) Cov(, y) Var ( ) Var ( y) E y af samhverfuástæðum Cov y E y E E y Corr y Þurfum að fa,, (, ) E E E y. Háskól Íslads

17 Erledur Davíðsso 7 { } lm,,,,..., l m l m Fum : E y y f, y ddy l m l+ m l m+ + y + y ddy y ddy + y ddy l+ m l+ m+ y dy + y dy l+ l+ m+ m+ y + y l+ m+ l+ m+ + l+ m+ l+ m+ Erum úa bú að reka öll momet sem vð þurfum og ú er bara hægt að stga : 7 7 l, m : E( ) + + E( Y) E( ) E( y ) E( ) l, m : E( y) Var ( ) Var ( y) E ( ) E ( ) Cov( y) E ( y) E ( ) E ( y) 3 44 (, ) Corr y cov ( y, ) 44 Var ( ) Var ( y) 44 Háskól Íslads

18 Erledur Davíðsso 8 Dæm 3 Cetral Lmt Theorem U uform, z U 6 Var Z Var U Z E ( U) Var Z U N Cholesk-þáttu T AA Var X T AN A Samlet { a } Samlet talaruu: } Vð segjum að rua haf markgldð a ef fyrr hvert ε > er tl N, þ.a. a a < ε fyrr öll N Samlet hedga: { } X Samlet í drefgu Látum { X } vera ruu hedga, { F } hedga, { X } sé samlet í drefgu að X með dreffall F. Ef rua F ( X) stefr á F( X) í hverjum samfellpukt { } Þetta segr ekkert um X X fyrr stór. vera drefföll þerra. Vð segjum að þess rua F X. Háskól Íslads

19 Erledur Davíðsso 9 Þess vega höfum vð Samlet í líkdum (covergece probablty) k 9.9 Vð segjum að { X } stef á X í líkdum ef fyrr hvert ε > ( ) lm P X X > ε Skrfað X X eða plm ( X ) X. p Þetta segr ekk að fyrr hvert ε > getum vð fudð N þag að a a < ε fyrr öll N. X X X X p D Samlet æstum örugglega (e. almost surely) Skammstafað.ö (e. a.s.) Vð segjum að { X } stef á X.ö. ef Þetta er skrfað ( ) P lm X X X X as.. Þetta segr að Hermum þær Þá gldr með líkdum að: X, X, X3,..., X,, 3,..., lm Háskól Íslads

20 Erledur Davíðsso Dæm: { X }.. ö X hefur þéttfall: f f X X tekur gldð eða - tekur gldð eða 3 tekur gldð eða Og svo framvegs... Dæm 4 Dref- og þéttföll X, X,..., X eru..d. með þéttfall f ( ),, ( > ) θ < < θ θ. Látum M ma { X, X,..., X }. Sýð að f m, < < θ. θ Fum dreffallð fyrst: ( ) (,,..., ) F P M X P X X X M óháðar P X FX F < X < θ θ θ Almet: FX < θ < θ θ Háskól Íslads

21 Erledur Davíðsso Dæm 5 Samlet í drefgu (e. covergece to dstrbuto) FX < θ θ < θ < < θ θ því að þegar θ því < < < < θ θ Dæm 6 Samlet í líkdum F er fastarua. F ( ) F( ) X X D Samlet í líkdum ef P( X X ε ) X P lm > fyrr öll ε >. Tl að sýa að X þufrum vð að va grelega ekk á úll. ( ) P X X X X Tökum t.d. grelega ekk á. ε og fum P( X X ) ε > (ógu lágt) tl að rua P( X X ε ) > stef > sem er fastarua,,,... sem stefr Í svoa dæm þarf bara að fa ε sem er ógu lágt tl þess að rua get ekk steft á aað e í líkdum. Dæm 7 Samlet æstum örugglega (e. covergece almost surely) X X X með þéttfall,,..., Sýa að : X P P X P X,,... Í samræm vð sklgregu okkur vljum vð að rua : ( ) P X X > ε fyrr öll ε >. Háskól Íslads

22 Erledur Davíðsso Fáum gefð. ε > Ætlum að sýa að ( ) P X > ε. Rekum það: ef ε P( X > ε) P( X > ε) ef ε < Regla: a, b > og a b fyrr öll og b þá a. Höldum þá áfram með dæmð: Sýa að X as.. Tl að X þá P.. ( X ). Nú er as Sklgreg fyrr a.s. covergece: X ef fyrr hvert ε > er tl N (stórt) as.. þag að X X < ε fyrr öll N þar sem X, X,... X,... er úrtak. Tl þess að sýa að X þurfum vð að fa ε > þag að slíkt N er ekk tl. as.. Tökum ε < ε <. Tl að X < fyrr öll N þá þarf X fyrr öll N því X tekur aðes gld eða. Tökum etthvert Rekum þess líkd: N og sýum að P( X fyrr öll N) ( ) ( k ) k k N k N k P X fyrr öll N lm lm N N N + N lm... N N + N + < haf líkd. Líkurar á að rua tak gldð frá ákveðu staka (o. N) og upp úr (edalaust) eru egar. Rua stekkur alltaf stöku sum upp í. Slík rua getur ekk verð samlet að úll. Háskól Íslads

23 Erledur Davíðsso 3 Hverg er metll ákvarðaður? Höfum slemba stærð með þéttfall f (, θ ) með óþekkta parameter θ. Höfum úrtak,,...,. Hverg ákvörðum vð θ? Þurfum að búa tl metl sem er fall af úrtaku: Tákum ha með θ T( ) Verkef okkar er því að :. Fa metl (fallð T af úrtaku) - Vægjaaðferð (method of momets) - Selekaarðferð (method of mamum lkelhood). Meta gæð metls - Bjögu (Bas) - Samkvæm (Cosstecy) Metll er fud með vægjaaðferð ef T er fall af úrtaksvægjuum (,,...) m er mat á -sta væg.,,..., T m m þar sem m k k Ha er oftast samkvæmur (cosstet). Metll (,,..., ) T er (weak) cosstet ef P og (strog) cosstet ef T θ... as T θ Selekaaðferð Ef vð fáum ett úrtak f ', θ. Leysum út θ. þ.e., þá veljum vð θ þag að (, ) Ef vð fáum tvö gld, þá fum vð tvívíða þéttfallð, θ þ.a., þ.e. f tak hæsta gld í, f θ tak hæsta gld í f fyrr (, ) og veljum Háskól Íslads

24 Erledur Davíðsso 4 f, f,,, ( ) ( ) Leysum út θ fyrr það. Dæm 8 Óbjagaður metll X er posso hedg λ λ P( X ) e,,3,...! 3 Sýa að 3 ( ) X θ er óbjagaður metll fyrr e λ, þ.e. E θ e λ. ( X ) λ ( ) λ λ λ E θ E P X e e!! X X X X ATH: e e!! ( ) λ λ λ λ 3λ e e e e! Ef vð fáum úrtak úr drefgu þá er mat okkar á fárálegt mat á 3 e λ : ( ) sem er >. Óbjagaður metll þarf ekk að vera góður! 3 e λ Dæm 9 Vægjaaðferð (method of momets) Látum X, X,..., X vera slembúrtak með þéttfall: f ( ) a b b a Gefð er að : E a+ b ( X, b a) Var X Táka ab, með úrtaksvægjuum m, m., aars. m X, m X Háskól Íslads

25 Erledur Davíðsso 5 a+ b E X a E( X) b b E( X) a Var b a Var b a X X a b 3Var ( X) E ( X) a 3Var ( X) a E ( X) 3Var ( X) b E( X) + 3Var( X) ( Var X m m því Var X E X ) E ( X) a m 3( m m ) b m + 3( m m ) Er metll ýt? Bls 659. Ástæða fyrr því method of momet metlar eru ekk fullýttr er sú að vð erum bara að ota tvö fyrstu momet í metluum, tl að þekkja drefgu % þurfum vð að þekkja öll momet. Þegar vð erum með Normaldrefgu þurfum vð aðes að ota fyrstu tvö momet. Próf 3 Dæm : Er method of momet metll effcet (ýt)? Svar: Almet ekk því slíkr metlar ota aðes fyrstu momet, e ekk öll (sjá bls. 659). Dæm 3 Selekametll (Mamum Lkelhood Estmator) Látum X, X,..., X vera IID (óháðr, esdrefðr) með þéttfall: Fa selekafallð fyrr θ : + θ f ( X) e θ ) Fa þéttfall X, X,..., X ) Fa θ sem hámarkar þéttfallð fyrr gefð úrtak Þéttfallð fyrr -: X + θ X + θ X, X,..., X θ X f X f X e e θ θ fyrr öll Þéttfallð er fall af X-uum (úrtaksglduum), e líkdafallð er fall af stkuum. Háskól Íslads

26 Erledur Davíðsso 6 Í stað fyrr að va með þéttfallð lítum vð á líkdafallð. Vljum hámarka: L( θ X X X ) ( θ,,..., ) L X X X e,,..., X + θ X θ fyrr öll Sjáum að L verður hærra eftr því sem θ verður hærra, e θ verður að vera ma eða jaft X fyrr öll θ ML m ( X, X,..., X ) hámarkar L( X) selekametll. θ og er því Dæm 3 Tlgátupróf og höfuarsvæð (e. crtcal rego), σ, σ, 5, óþekkt Y N µ µ H : µ á mót H: µ Sklgreum höfuarsvæðð Y þ.e.a.s. ef vð fáum ea úrtaksstærð y, þá höfum vð H. Type I error: Höfum H þó að hú sé sö. Type II error: Samþykkjum H þó að hú sé í rau rög. Hér þarf að fletta upp í töflu. P Type I error P Y H P Y µ - F,8 N,,5 (,,5) F er dreffall ormaldrefgar N ( µ, σ ). P Type II error P Y H P Y µ F N, 8 þar sem N µ, σ Háskól Íslads

27 Erledur Davíðsso 7 Dæm 3 Höfuarfall og höfuarsvæð X N ( µ,5 ) H : µ 3. H : µ > 3. Prófstærð er X Höfuarsvæðð er á formu X X Vð vljum lágmarka líkur á vllum. > c. Kröfur tl prófss sem vð leggjum fram eru að: K µ 3., Vljum lágmarka líkur á að hafa tlgátu sem er rétt. K µ 35.,98 Vljum hámarka. þar sem K er höfuarfallð sem gefur líkur á að vð höfum H. Höfuarfallð er háð óþekkta stkaum. Veljum c og sem uppfylla þess sklyrð. K 3. P X c F c N 3., 5 5 > því X N ( µ, ) F c,,99 N 3., 5. Vad héra er sá að vð getum ekk fudð ekk. F N 5,99 3., því vð þekkjum Háskól Íslads

28 Erledur Davíðsso 8 Verðum að ota dreffall sem er óháð. Því verðum vð að staðla drefgua. X µ c µ c µ P X c P F 5 5 (,), N 5 µ 3. µ 3. Vætgld Staðalfrávk µ 3. c 3. F,99,36 5 N, c 35. Es fáum vð F,,53 5 N (,) Höfum jöfur með tvemur óþekktum stærðum. Leysum út og fáum rúmlega 9 eða c Dæm 33 LR, LM og Wald próf Athugð að í þessar laus táka ég úrtakshedgarar með X, X,..., X e ekk Y, Y,..., Y es og í dæmu sjálfu. Ég e efaldlega ekk að skpta því út. Sklgregar Þéttfallð fyrr ormaldrefðar slembúrtakshedgar X, X,..., X er f (,,..., ) ep µσ, ( σ π ) ( µ ) σ Vð vtum að selekametll fyrr σ er (sjá bls 665, Spaos) ˆ σ ( µ ) () ML þegar µ er þekkt. Háskól Íslads

29 Erledur Davíðsso 9 Þar sem ˆ γ er selekametll fyrr γ, þá er ep( γ ), og því vega () er ep( ˆ γ ) selekametll fyrr drefa ep( ˆ γ ) () þar sem µ er gefð. Þetta þarf að ota í a-lð. a) Lkelhood-Rato prófstærð er hér sklgred sem (sjá bls. 75, Spaos) L( γ ) ε LR log log ( γ) log ( γ) L( ˆ γ ) [ L L ˆ ] þar sem γ er selekametll fyrr eskorðuðu (restrcted) hámörkua og ˆ γ er selekametll fyrr óskorðuðu (urestrcted) hámörkua. Nú er selekafallð L( γ ) ep ep ( π ep( γ) γ ) ep( ˆ γ ) ep ep( γ ) ( π ep( γ) ) þar sem ég hef otað (), þ.e. ep( ˆ γ ). Nú er γ og því ep( ˆ γ ) L( γ ) L() ep ep() ( π ) ( π ep() ) ep ep( ˆ γ ) log L( γ) log π ep( ˆ γ) Háskól Íslads

30 Erledur Davíðsso 3 og og því ep( ˆ γ ) L( ˆ γ ) ep ep( ˆ γ ) ( π ep( ˆ γ) ) ep ( π ep( ˆ γ ) ) log L( ˆ γ) ( log π + ˆ γ ) L( γ ) ε log [ log log ( ˆ LR )] ( ˆ L γ L γ L γ ) log π ep( ˆ γ) + ( log π + ˆ γ ) + [ ep( ˆ γ) ˆ γ] b) Upplýsgafylkð er hér sklgret með (sjá bls. 663, Spaos) log L ( γ ) I( γ ) E γγ þar sem L er selekafallð fyrr ea mælgu og er þá gert ráð fyrr að öll selekaföll L,,,..., séu es. Nú er selekafallð Það dffrum vð m.t.t. γ : L ( γ ) ep ep( γ ) ( π ep( γ) ) log L ( γ) log π γ ep( γ ) Háskól Íslads

31 Erledur Davíðsso 3 og aftur og tökum svo vætgldð log + ep( γ ) ( L γ ) log ep( γ ) ( L γ ) log L( γ ) I( γ ) E E γ γ ep( γ ) E [ ] ep( γ ) ep( γ) ep( γ) þar sem vætgldð af er dref, því µ. Öur aðferð tl að reka upplýsgafylkð er að ota { } I( γ ) E s ( γ) s ( γ ) þar sem s ( γ ) eru score-föll fyrr hverja mælgu Athugð að log L ( γ ) s ( γ ),,,..., γ log L( γ ) log L ( γ ) s( γ ) s ( γ ) γ γ er eg kallað score-fall. (sjá bls. 663, Spaos). Vð höfðum fudð að log L( γ ) s ( γ ) + + ep( γ ) γ ep( γ) og þá Háskól Íslads

32 Erledur Davíðsso 3 Tökum svo vætgldð af því þar sem E ep( γ ) s ( γ) s ( γ) + ep( γ) ep( γ) + ep( 4 γ) { } I( γ) E s ( γ) s ( γ) 4 4 E ep( γ) + ep( 4 γ) 4 ep( γ) E + ep( 4 γ) E ep( γ )ep( γ) + ep( 4 γ) 3ep(4 γ) + 3 er dref og hedg Y lýtur ormaldrefgu ( µ, σ ) þá er E 3ep(4 γ ) 4 er fjórða mómetð. (Ef E ( y µ ) 3σ 4 4, ekk saað hér). c) Vð otuðum hér aftur að ( ) s( γ) s ( γ) + ep( γ) + ep( γ ) + ep( γ) ep( ˆ γ) [ ˆ γ ] s() ep ep( ˆ γ ). d) Nú er LM prófstærð sklgred með (sjá bls. 78, Spaos) ε ( γ) ( γ) ( γ) LM s I s s () I() [ ˆ γ ] [ ep( ˆ γ ) ] / ep e) Wald prófstærð er sklgred með (sjá bls 77, Spaos) ˆ ˆ ˆ ε ( ˆ W γ γ) I( λ) ( λ ) λ Háskól Íslads

33 Erledur Davíðsso 33 Dæm 34 Þéttföll Fum dreffall X fyrr (,), s + FX ( ) ds Athugð að Y tekur aðes gld á blu (,4). Fum svo dreffall Y á blu y (,4) : F y P Y y P X y P y X y Y FX( y) FX( y) y + y + y, ef < y< y + y +, ef < y < og úll aars staðar. Dffrum tl að fá þéttfallð:, ef < y < 3 y fy( y) F Y( y), ef < y < 4 6 y Dæm 35 Sklyrtar drefgar f ( ) f (, ) f ( ) f ( ) + d + + f ( ) + + Háskól Íslads

34 Erledur Davíðsso 34 EX ( X ) f ( ) d 3 d EX ( X ) f ( ) d 3 3 d Dæm 36 - Tlgátupróf Selekafallð er [ ] Var( X X ) E( X X ) E( X X ) (6 3) ( + 3/ )(6 + 3) (6 3)(6 3) (6 3) / 9 4 (6 + 3) / (6 + 3) (6 + 3) L( p) p ( p) N N N Núlltlgáta er H : p p á mót H: p p Logselekafallð er log L( p) N log( p) + ( N N )log( p) Háskól Íslads

35 Erledur Davíðsso 35 Lkelhood Rato (LR) prófstærð er [ ˆ ] ε LR log L( p) log L( p) þar sem p er LM matð á p sklyrt vð H, og ˆp er LM ósklyrt. Athugð að ef H : p p þá er p p. Wald prófstærð er Lagrage Multpler prófstærð er þar sem s( p ) er score-fallð ε ˆ ˆ W p p Ip ( ) [ ] ε LM s p I p ( ) ( ) log L( p) N N N s( p) p p p og upplýsgafylkð er log L ( p) I( p) E p þar sem L ( p ) er selekafallð fyrr ea úrtaksstærð y : svo y L( p) p ( p) y log L( p) y y + p p ( p) sem hefur vætgld log L( p) E( y) E( y) E + p p ( p) p p + + p ( p) p p p( p) Háskól Íslads

36 Erledur Davíðsso 36 Þá stgum vð í ε LM [ ] s( p ) I ( p ) I ( p ) p ( p ) ( p p ) s( p ) N N N N ( p ) p ( N N ) p p p ( p ) [ ] ( N Np ) p ( p ) og fáum [ ] [ ] [ ] ε LM N ( N Np ) p ( p ) p ( p ) N( N / N p ) p ( p ) N( pˆ p ) p ( p ) ( N / N pˆ) Dæm 37 Sklvrkr metlar Tl að sýa að ˆ θml er fully effcet þá þurfum vð að sýa að Var( ˆ θ ML ) á Cramer Rao lágmarku: Var ˆ ( θml) I ( θ ) Vð vtum að Var( ) θ og því er Var( ) θ /. Upplýsgafylkð I( θ ) er sklgret sem dl f(,,..., ) dl f( ) I( θ ) E E dθ dθ (bls 6-) Nú er þéttfallð e f( )! θ θ og log-selekafallð er Háskól Íslads

37 Erledur Davíðsso 37 log L( θ ) lθ θ l! og afleða l L( θ ) θ θ θ θ og því dl f( ) θ I( θ ) E E dθ θ E[( θ ) ] Var( ) θ θ θ θ θ (dref Posso drefgar með stka θ er θ ) Nú er Var ˆ θ θ θ ( ML ) I svo metll ˆ θ ML ær lágmarku og er fully effcet. Próf desember Dæm 5 Hedgarar Y,..., Y eru óháðar og esdrefðar með þéttfall f ( y) α y α ef y 3 α 3 aars a) Fa Method-of-momet metl fyrr α Fa vætgld: 3α E Y E Y α α + 3 E Y Háskól Íslads

38 Erledur Davíðsso 38 m α m Y 3 m c) α y α 3 ( α,,,..., ) ( α, ) ( ; α) L y y y L y f y Verkef okkar er fyrr gefð úrtak,,..., Oft gott að taka log, breytr ekk α sem hámarkar L. α α log L logα + log y log 3 logα + ( α + ) log y α log 3 Fum hámark með því að leysa log L α y y y, hámarka L( y y ) ;,..., α. + log y log 3 α α log 3 log y b) Nota setgu Factorzato theorem tl þess að fa suffcet statstc. ( α ) ( α) f ; y g h y ; V y α α y α y α α α 3 3 Háskól Íslads

39 Erledur Davíðsso 39 Próf desember 3 Dæm og X er cosstet mat á E X samkvæmt WLLN. m α m X o Method-of-momet metll fyrr α. Dæm 6 Nota formúlua: Drefsklaðarsetg: V ( Y) E( V ( Y X) ) + V( E ( Y X) ) Dæm 7 Beta drefg með þéttfall: f ( αβ) ef óháðar α β ( ),,, βαβ (, ) er leðréttgastuðull tl að heldð yfr allt blð sé. β α, β α ( αβ, ) ( ) β B d Í dæmu á prófu er aðes efaldar útgáfa af þessu: Vtað er að β, e það gefur þéttfallð: f (, α,) α α Vljum gera próf sem prófar tlgátua H : α. Beðð er um lkelhood-rato próf. ( α ) ( α ) ( α ) LR L, L H ma L, L H Erum að bera sama líkd udr H og H. Nú gldr LR. Tl að ota svoa prófstærð þá segjum vð að vð höfum H ef LR < c fyrr < c <. Háskól Íslads

40 Erledur Davíðsso 4 Í dæmu þurfum vð aðes að fa prófstærða LR, þ.e. vð þurfum að fa: ) L, ) L α ML, Byrjum á því að fa L( α.), gefð úrtak,,...,. α þá er L α ( α,) α α L Þurfum ú að fa selekametl α ML : Tökum log: log log ( L α + α ) log Dffrum: ( L) log ' + log ML α α ML (,) L α ML α ML α L(,) LR α LL L( α ML,) ML α ML, Í laus Magúsar fur ha log loglr log, log L α ML,. Háskól Íslads

41 Erledur Davíðsso 4 Sklgregar Nokkrar sklgregar á samlet ruu hedga { X } (slembbreyta) Þetta ef er kyt í kafla 9.9. Samlet á ruu hedga er hægt að sklgrea á okkra vegu eftr því hversu sterkar kröfur vð gerum tl samletar. Athugð að muur á samlet ruu hedga og á samlet vejulegrar talaruu er sá að hver hedg í ruu { X } getur hugsalega tekð mörg gld, þar sem vð höfum yfrlett gefð þéttfall hverrar hedgar, e í talaruu þekkjum vð gld. Byrjum á því að rfja upp sklgregu á samlet talaruu: Samlet talaruu Talarua { } er samlet að tölu a ef fyrr hvert ε > er tl N þag að a a a < ε fyrr öll N Þetta er skrfað lm a a Það er sama hversu lítð ε er valð, það er alltaf hægt að fa (hugsalega stórt) N þ.a. muur á a og a sé a vð ε fyrr öll N. Í sklgregum á ruu hedga muum vð ota ε og N í sama tlgag. Efaldasta sklgreg á samlet hedga er samlet í drefgu, sem segr að drefg slembbreytaa { X } stef á ákveða drefgu. Samlet í drefgu ( dstrbuto) Látum { X } vera ruu hedga, og { F } vera drefföll þerra. Vð segjum að { X } sé samlet í drefgu á X með dreffall F ef rua { F ( )} stefr á F( ) í hverjum samfellpukt F. Þetta er skrfað X X D Athugð að þess sklgreg segr ekkert um X X þegar hækkar. Þó að X og X haf sömu drefgu þá getur slembbreyta X X tekð há gld. Þess vega má Háskól Íslads

42 Erledur Davíðsso 4 segja að samlet í drefgu sé okkuð vek krafa á samlet. Sterkara krafa á samlet er samlet í líkdum sem segr að líkurar á að X X < ε stef á e sama hversu lítð ε > er valð. Samlet í líkdum ( probablty) Látum { X } vera ruu hedga. Vð segjum að rua stef á hedgu X í líkdum ef fyrr hvert ε >, lm P{ X X > ε} Þetta er skrfað og eg með X X P plm X X Þetta er aðes flókara hugtak. Nauðsylegt er að vekja athygl á því hvað sklgreg segr ekk. X X segr ekk að fyrr hvert ε > getum vð fudð N þ.a. P X X < ε fyrr öll N. Það er e sterkar krafa sem er mætt með sklgregu á samlet æstum örugglega: Samlet æstum örugglega (almost surely) Látum { X } vera ruu hedga. Vð segjum að rua stef á X æstum örugglega (.ö.) ef P(lm X X) Þetta er skrfað með X X as.. Þetta er flókasta samlethugtakð sem kyt hefur verð tl söguar hér. Hú segr að ef vð höfum ruu hedga { X } og hedgu X og framkvæmum hermu á öllum hedguum, þ.e. fáum talaruu { } og tölu þá stefr rua { } á : lm með líkdum. Háskól Íslads

43 Erledur Davíðsso 43 Dæm um ruu { X } sem er samlet.ö. er rua sem hefur þéttföll og stefr hú á æstum örugglega. f f X X ( ) Háskól Íslads

44 Erledur Davíðsso 44 Lkelhood Rato tlgátuprófu Gerum ráð fyrr að hedg X lút drefgu með þéttfall f ( ; θ ) þar sem θ Θ er vgur af óþekktum stkum og Θ er stkarúmð (meg allra mögulegra glda óþekktu stkaa). Setjum svo fram tlgátu H : θ Θ á mót H : θ Θ þar sem ΘΘ Θ og Θ Θ. Gefum okkur að vð höfum mælgar á þessar drefgu,,..., og vð vljum ota þessar tölur tl að prófa tlgátua okkar. E leð er að reka hæsta gld selekafallss mðað vð að tlgáta H sé sö, þ.e. θ Θ og bera sama vð hæsta gld selekafallss þar sem θ er leyft að taka hvaða gld sem er í stkarúmu Θ. Vð erum þá að bera sama aars vegar ( θ) ma ( θ,,..., ) L L θ Θ þar sem θ sklyrt (costraed) tl að vera í Θ og hs vegar ( ˆ θ) ma ( θ,,..., ) L L θ Θ þar sem θ má taka hvaða gld sem er í Θ (ucostraed). Þar sem Θ er hlutmeg í Θ þá gldr að L( θ ) L( ˆ θ ) því að selekamatð θ Θ er eg stak í Θ. Selekahlutfallð (lkelhood rato) Háskól Íslads

45 Erledur Davíðsso 45 λ L( θ ) L( ˆ θ ) er því tala λ. (Sjá bls. 79 í Spaos). MIKILVÆGT : Ef tlgáta H : θ Θ er lagt frá því að vera sö þá ætt ósklyrta selekamatð L( θ ) að taka mu hærra gld e sklyrta matð L( ˆ θ ). Þar af leðad ætt selekahlutfallð λ að vera lág tala, og lægr eftr því sem tlgáta er legra frá söu gld. Því höfum vð tlgátu ef λ λ fyrr etthvert λ að okkar eg val. λ sklgrer því höfuarsvæðð fyrr tlgátua H. Því lægra gld á λ sem vð veljum því m líkur eru á að vð höfum H þegar hú er sö (Type I Error) e mer líkur á að vð samþykkjum H þegar hú er rög (Type II Error). Oftar er þó ekk uð með prófstærða λ heldur ˆ L( θ ) ε log log log ( ˆ LR λ L θ) log L( θ) L( θ ) Höfuarsvæð fyrr slíka prófstærð er þá á formu { : c} fyrr c að eg val. Þetta er sú prófstærð sem þð egð að fa í a-lð dæms 3 í hemadæmuum (r. ). (Sjá bls. 75 í Spaos). Háskól Íslads

46 Erledur Davíðsso 46 Tlgátur og tlgátupróf Gerum ráð fyrr að hedg X lút ormaldrefgu N ( µ,) þar sem vætgldð µ er óþekkt. Tlgáta (hypothess) er fullyrðg um drefgu ehverrar tltekar hedgar. Dæm : µ 75. Tlgátupróf (hypothess test) er regla sem hægt er að ota tl að álykta frá úrtak drefgarar hvort tlgáta sé hafað eða samþykkt. Dæm : (e úrtaksstærð) Höfum tlgátu H : µ 75 ef úrtakð > 75. Dæm : (e úrtaksstærð) Höfum tlgátu H : µ 75 ef úrtakð > 78. Dæm 3: (margar úrtaksstærðr) Höfum tlgátu H : µ 75 ef > 75. Athugð: Próf er í rau regla sem vð ákveðum sjálf. Regla eða prófð getur þess vega verð óskysamlega valð, e próf hetr það samt. Athugð: Þó að tlgátu sé hafað þá er hú edlega ekk ósö. Ehverjar líkur eru á að vð höfum tlgátu þó að hú er sö. Slík ályktu hetr þá Type I Error. Athugð: Þó að tlgáta sé samþykkt þá er hú ekk þar með sö. Það þýðr aðes að vð getum ekk hafað he. Yfrlett eru ehverjar líkur á að vð samþykkjum (höfum ekk) ósaa tlgátu. Slík ályktu hetr þá Type II Error. Núll-tlgáta (ull hypothess) er sú megtlgáta sem vð vljum prófa. Yfrlett tákuð með H. Gagtlgáta (alteratve hypothess) er tlgáta að úlltlgáta sé ekk sö. Yfrlett tákuð með H. Dæm : H : µ á mót H : µ Athugð: Í þessu dæm gæt gagtlgáta verð H : µ, e hér er verð að segja að vtað sé að µ tak aað hvort gldaa eða og eg öur. Prófstærð er sú úrtaksstærð sem tlgátuprófð dregur ályktu frá. Dæm : Dæm : Háskól Íslads

47 Erledur Davíðsso 47 Dæm 3: Athugð : Prófstærð er fall af e eða flerum úrtaksstærðum. Höfuarsvæð (crtcal rego) tlgátuprófss eru þau gld prófstærðarar sem leða tl höfuar tlgátuar samkvæmt prófu. Dæm : Höfuarsvæðð er (75, ) Dæm : Höfuarsvæðð er (78, ) Dæm 3: Höfuarsvæðð er (75, ) Athugð: ( ab, ) þýðr opa blð frá a og b, þ.e. meg allra tala sem uppfylla a< < b. Athugð : Prófstærð og höfuarsvæð sklgrea reglua (prófð) sem ákveður hvort vð samþykkjum eða höfum tlgátu. Höfuarfall (power fucto) sem fall af óþekktu stkuum gefur líkur á að úlltlgátu sé hafað. Þ.e.a.s. þegar búð er að sklgrea tlgátua og höfuarsvæðð, þá er gld höfuarfallss í tltekum stka µ jöf þem líkum á að úrtaksstærð led á höfuarsvæðu mðað vð gef stka µ. Þær líkur eru auðvtað háðar því hver óþekkta drefg er í rau. Þess vega er höfuarfallð fall af óþekktu stkuum. Dæm: Tlgáta: H : µ 75 Höfuarsvæð: (78, ) Þá er gld höfuarfallss í 75: P(75) F N (75,)(78) þar sem F N (75,) er dreffall ormaldrefgar með vætgld 75 og dref. Almet er P( µ ) F µ (78) N (,) Marktektarstg (sgfcace level) er hæsta mögulega gld höfuarfallss þegar úlltlgáta er sö. Athugð: Þegar úlltlgáta tlgrer ett gld á stkaum, es og tl dæms : 75 H µ þá er marktektarstgð jöf gld höfuarfallss í 75, eda er það ea og jafframt hæsta gld höfuarfallss þegar úlltlgáta er sö. Háskól Íslads

48 Erledur Davíðsso 48 Athugð: Þegar vð höfum úlltlgátu es og H :7< µ < 8, þá er gld höfuarfallss msmuad fyrr ólík µ. Marktektarstgð er þá þar sem P er höfuarfallð. sgfcace level ma P( µ ) µ Háskól Íslads

49 Erledur Davíðsso 49 Mamum Lkelhood (ML) estmato Gerum ráð fyrr að hedg X lút drefgu með þéttfall f ( ; θ ) þar sem θ er óþekktur stk (hugsalega vgur af óþekktum stkum). Fyrr gefð úrtak,,..., vljum búa tl metl fyrr θ, þ.e. búa tl fall af úrtaksglduum,,..., sem gefur mat á θ : ˆ θ (,,..., ) T E leð er að velja matð ˆ θ þag að þéttfallð fyrr úrtakshedgarar sem gefa,,..., tak hæsta gld mðað vð gefar úrtaksstærðr. Þegar um er að ræða stakræa hedgu X þá erum vð að velja stka ˆ θ þag að útkoma,,..., verð líklegasta útkoma. Þegar X er samfelld hedg þá veljum vð stka ˆ θ þag að líkdaþéttlek sé mestur í,,...,. Í samfelldum hem eru líkur á e útkomu,,..., að sjálfsögðu úll svo ekk er markvert að tala um líklegustu útkomu es og í stakræum hem, heldur um mesta líkdaþéttleka, þ.e. þar sem þéttfallð tekur hæsta gld. Hvort sem X er stakræ eða samfelld vljum vð hámarka f(,,..., ; θ ) f( ; θ ) með tllt tl θ, e höldum,,...,. Því vljum vð líta á þéttfallð sem fall af stkaum θ e ekk úrtaksstærðuum,,..., og þess vega sklgreum vð selekafallð L( θ,,..., ) f(,,..., ; θ) L( θ ) f( ; θ) sem fall af stkuum, gefð úrtak,,...,. Athugð að hér er L( θ ) f( ; θ ),,,..., Háskól Íslads

50 Erledur Davíðsso 5 Hér eftr gerum vð ráð fyrr að X sé samfelld hedg með samfellt þéttfall. Ef selekafallð L( θ,,..., ) f(,,..., ; θ ) tekur hæsta gld stt í dffralegum pukt (dffrað með tllt tl θ ) þá er afleða selekafallss þar úll. Sér í lag er afleða log-selekafallss log L( θ ) θ log L ( θ ) θ eg úll í hágldu ˆML θ þar sem ˆML θ er þá selekamat okkar á θ. Hér hef ég skrfað L( θ ) í stað L( θ,,..., ). Athugð að þetta er vgur ef θ er margvíð breyta af óþekktum stkum. Þ.e. ef θ ( θ, θ,..., θ m) þá er log L( θ ) θ log L( θ ) log L( θ ) θ θ log L( θ ) θ m Sklyrð okkar er því ˆ log L( θ ) log ( ˆ ML L θml) θ θ Afleða logseleksfallss í hverr mælgu er kallað score-fall (og studum score vector ef θ er vgur) og er tákað með svo sklyrðð áðurefda verður log L ( θ ) s ( θ ),,,..., θ s ( ˆ θ ) ML Háskól Íslads

51 Erledur Davíðsso 5 Eglekar ˆML θ eru (að okkrum vekum sklyrðum uppfylltum). ˆML θ er samkvæmur (cosstet) metll fyrr θ ( ˆML θ θ ) P. ˆML θ er aðfellusklvrkur (asymptotcally effcet, þ.e. metll hefur mstu dref allra samkvæmra aðfellumetla, og dref ær eðr Cramer-Rao mörkuum, sjá eðar). 3. ˆML θ er asymptótískt omaldrefður metll: ( ˆ θml θ) N(, V) þar sem V log L ( θ ) E θθ Samhverfa fylkð log L ( θ ) I( θ ) E θθ er kallað upplýsgafylk og mælr krappa (curvature) í log-selekafallu. Því mer sem krapp er því hærr gld taka aðrar afleður þess og því mer er dref metlss. Eg er hægt að reka upplýsgafylkð með formúlu (ekk saað hér) { } I( θ ) E s ( θ) s ( θ ) Í hemadæmuum (r. ) má reka upplýsgafylkð með þessar formúlu og eg með þerr hér að ofa. Gefð að ML metll sé symptotískt effcet, þá er adhverfa upplýsgafylkss eðr mörk fyrr (asymptótískt) dreffylk allra aðfelluormlegra (asymptotcally ormal) metla. Þess mörk heta eðr mörk Cramér-Rao og regla er framsett með Var ˆ ( θ) I( θ) (Cramer-Rao Lower Boud) þar sem ˆ θ er óbjagaður metll fyrr θ með edalegt dreffylk. Háskól Íslads