Univerzita Karlova v Praze Matematicko-fyzikální fakulta. Viktor Szabados. jednoduchou regresi. Katedra pravděpodobnosti a matematické statistiky

Univerzita Karlova v Praze Matematicko-fyzikální fakulta BAKALÁŘSKÁ PRÁCE Viktor Szabados Některé sekvenční postupy pro jednoduchou regresi Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: Studijní program: Studijní obor: prof. RNDr. Marie Hušková, DrSc. Matematika Obecná matematika Praha 014

Chcel by som sa v prvom rade pod akovat svojej vedúcej bakalárky prof. RNDr. Marie Huškovej, DrSc. za jej profesionálny prístup pri vedení mojej bakalárskej práci. Som rád, že som mohol byt práve pod jej vedením a d akujem jej za ochotu a čas nájdený na konzultačné hodiny. Oceňujem hlavne rýchle odpisovanie na e-maily a taktiež si cením pripomienky k bakalárskej práci, vd aka ktorým sa zdvihla celková kvalita textu. Ako d alším by som sa rád pod akoval rodine Ješkových a Lukášovi Zavřelovi za výpomoc pri preklade abstraktu do anglického a českého jazyka. Nakoniec d akujem svojej rodine a kamarátom, ktorí mi pomohli s gramatikou v niektorých slovných spojeniach.

Prohlašuji, že jsem tuto bakalářskou práci vypracoval samostatně a výhradně s použitím citovaných pramenů, literatury a dalších odborných zdrojů. Beru na vědomí, že se na moji práci vztahují práva a povinnosti vyplývající ze zákona č. 11/000 Sb., autorského zákona v platném znění, zejména skutečnost, že Univerzita Karlova v Praze má právo na uzavření licenční smlouvy o užití této práce jako školního díla podle 60 odst. 1 autorského zákona. V...................... dne............. Podpis autora

Název práce: Některé sekvenční postupy pro jednoduchou regresi Autor: Viktor Szabados Katedra: Katedra pravděpodobnosti a matematické statistiky Vedoucí bakalářské práce: prof. RNDr. Marie Hušková, DrSc., Katedra pravděpodobnosti a matematické statistiky Abstrakt: Se sekvenčními metodami se ve statistice setkáváme v situacích, kde se snažíme udělat jen potřebný počet pozorování k vyvození důvěryhodného závěru. V této bakalářské práci seznámíme čtenáře se základními sekvenčními postupy, které se využívají v lineárním regresním modelu. V první kapitole zavedeme lineární regresní model, se kterým budeme pracovat. V druhé kapitole již budou zmiňovány sekvenční metody, které si navzájem mezi sebou porovnáme a určíme výhody a nevýhody jednotlivých sekvenčních postupů. V třetí a čtvrté kapitole budeme konstruovat intervalové odhady pro regresní parametry. Navíc budeme ještě ve čtvrté kapitole konstruovat i testy pro regresní parametry. Klíčová slova: sekvenční postupy, jednoduchý regresní model, zastavovací pravidlo, testy, odhady Title: Some sequential procedures in simple regression models Author: Viktor Szabados Department: Department of Probability and Mathematical Statistics Supervisor: prof. RNDr. Marie Hušková, DrSc., Department of Probability and Mathematical Statistics Abstract: Sequential methods are used in statistics, where only a limited number of observations has to be made to obtain a reliable result. In this thesis we present basic sequential procedures that are used in the linear regression model. In the first chapter we introduce the linear regression model. In the second chapter we present different sequential methods. We compare these methods with each other and determine the advantages and disadvantages of individual sequential procedures. In the third and fourth chapter we construct interval estimates for regression parameters. Additionally, in the fourth chapter we construct tests for regression parameters. Keywords: sequential procedures, simple linear regession, stopping rules, tests, estimators

Názov práce: Niektoré sekvenčné postupy pre jednoduchú regresiu Autor: Viktor Szabados Katedra: Katedra pravděpodobnosti a matematické statistiky Vedúci bakalárskej práce: prof. RNDr. Marie Hušková, DrSc., Katedra pravděpodobnosti a matematické statistiky Abstrakt: So sekvenčnými metódami sa v štatistike stretávame v situáciách, kde sa snažíme spravit len potrebný počet pozorovaní na vyvodenie dôveryhodného záveru. V tejto bakalárskej práci oboznámime čitatel a so základnými sekvenčnými postupmi, ktoré sú využívané v lineárnom regresnom modeli. V prvej kapitole zavedieme lineárny regresný model, s ktorým budeme pracovat. V druhej kapitole už budú spomínané sekvenčné metódy, ktoré si navzájom medzi sebou porovnáme a určíme výhody a nevýhody jednotlivých sekvenčných postupov. V tretej a štvrtej kapitole budeme konštruovat intervalové odhady pre regresné parametre. V štvrtej kapitole budeme navyše konštruovat aj testy pre regresné parametre. Kl účové slová: sekvenčné procedúry, jednoduchý regresný model, zastavovacie pravidlo, testy, odhady

Obsah Úvod 1 Konfidenčné množiny v lineárnej regresii 4 1.1 Lineárny regresný model....................... 4 1. Konfidenčná množina pre regresné parametre s danou vel kost ou. 5 Sekvenčné metódy 8.1 Dvojstupňová metóda........................ 9. Modifikovaná dvojstupňová metóda................. 13.3 Priama sekvenčná metóda...................... 15.4 Teória v praxi............................. 16 3 Intervaly spol ahlivosti pre regresné parametre v lineárnom modeli 0 4 Konštrukcie konfidenčných množín a testovanie hypotéz v opakovanom lineárnom modeli 4.1 Testovanie hypotéz.......................... 3 4.1.1 Intervalový odhad pre regresný parameter......... 4 4.1. Test pre regresný parameter................. 5 Záver 7 Literatúra 8 Zoznam obrázkov 9 Zoznam tabuliek 30 Zoznam použitých skratiek 31 1

Úvod Ako už názov bakalárskej práce hovorí, budeme sa zaoberat sekvenčnými postupmi v lineárnej regresii. Preto by som rád na začiatok pripomenul, čo to vlastne je sekvenčná analýza. Je to metóda, pomocou ktorej vieme vyriešit štatistické úlohy, u ktorých nemáme dopredu stanovený pevný počet pozorovaní. Týmto typom úlohy sa zaoberajú sekvenčné metódy. Tie na základe zvoleného počtu pozorovaní zistia, či už máme dostatočne vel a pozorovaní alebo ešte nejaké musíme pridat, aby sme z nich mohli vyvodit dôveryhodný záver. Sekvenčné metódy sa využívajú napríklad v ekonómii, v inžinierstve alebo aj v biomedicíne. Používajú sa zväčša k tomu, aby sme spravili iba potrebný počet experimentov, a tým pádom ušetríme na nákladoch vložených do prípravy experimentov. Bohužial na druhej strane nepoznáme dopredu rozsah výberu. Preto testovanie po každom experimente, či ešte máme urobit nejaký d alší experiment alebo nie, môže byt časovo náročným procesom. Najčastejšie ich teda využívame tam, kde sa robia experimenty jeden za druhým. Táto bakalárska práca nadväzuje na prácu (Rusá, 013) o dvojstupňových štatistických metódach. Budem sa preto snažit zachovávat značenie a formu práce mojej predchodkyňe, aby sa prípadní budúci pokračovatelia v danej problematike vedeli rýchlejšie zorientovat v našich prácach. Síce názov bakalárskej práce hovorí o skúmaní sekvenčných metód v jednoduchej lineárnej regresii, ale podarilo sa mi s pomocou mojej vedúcej rozšírit skúmanie na všeobecný lineárny regresný model pri dodatočných predpokladov. Práca je rozdelená do štyroch kapitol, ktoré sa d alej rozpadajú do niekol kých sekcií prípadne podsekcií. V prvej kapitole si zadefinujeme a pripomenie základné vzt ahy a tvrdenia, ktoré platia v lineárnom regresnom modeli. Následne si vyskúšame zostrojit konfidenčnú množinu s danou spol ahlivost ou a objemom pre neznáme regresné parametre. V druhej kapitole popíšeme základné sekvenčné metódy, ktoré sa zvyknú využívat v lineárnej regresii. Zväčša pôjde o dvojstupňové metódy, ktoré tvorili základ v následnom rozvíjaní nových sekvenčných metód. Na záver tejto kapitoly aplikujeme teoretické poznatky na príkladoch. Predvedieme zopár simulácii v matematickom softvéri R a dosiahnuté výsledky zo simulácii si rozanalyzujeme. V tretej kapitole si skonštruujeme intervalové odhady s danou spol ahlivost ou a dĺžkou pre jednotlivé regresné parametre. V štvrtej a zároveň poslednej kapitole budeme opät konštruovat konfidenčné množiny, intervalové odhady..., ale pre obmenený lineárny model. Zostrojíme aj testové štatistiky na testovanie regresných parametrov.

Tento text je určený pre študentov, ktorý ukončili základný kurz Matematickej štatistiky I a II. Očakáva sa, že čitatel je zbehlý v základných štatistických úvahách a je oboznámený s pojmami ako konfidenčná množina, F rozdelenie, idempotentná matica.... Prajem príjemné čítanie Viktor Szabados 3

Kapitola 1 Konfidenčné množiny v lineárnej regresii Matematická štatistika, ako ju dnes poznáme, má v súčasnom živote nezastupitel né miesto. Stala sa z nej vedná disciplína, ktorá nachádza široké uplatnenie v podnikaní, prírodných vedách a mnoho d alších. Medzi základné typy úloh matematickej štatistiky patrí dnes konštruovanie štatistických odhadov a testovanie hypotéz. Pod štatistické odhady patria bodové odhady, intervalové odhady, konfidenčné množiny, oblasti spol ahlivosti i konfidenčné oblasti s predpísaným koeficientom spol ahlivosti. V tejto kapitole sa budeme zaoberat konštruovaním konfidenčnej množiny pre neznáme regresné parametre v lineárnom modeli s vopred daným koeficientom spol ahlivosti. Skôr než sa do toho pustíme, pripomeňme si základné pojmy a tvrdenia, ktoré platia v lineárnom modeli. 1.1 Lineárny regresný model Majme náhodný vektor Y n = (Y 1,...,Y n ) a maticu daných čísel X n = (x ij ) typu n p a hodnost ou p. Nech platí Y n = X n β+e n, kde β = (β 1,...,β p ) je vektor neznámych parametrov a e n = (e 1,...,e n ) je náhodný vektor, ktorý splňuje: Ee n = 0 n vare n = σ I n, potom hovoríme o lineárnom regresnom modeli. Parameter σ nepoznáme a o vektore e n zväčša hovoríme ako o vektore chýb. Podmienky, ktoré naň kladieme zavádzame z dôvodu, aby pri skúmaní vektora Y n nedochádzalo k systematickým chybám a jednotlivé zložky boli merané s rovnakou presnost ou. Vektor β sa väčšinou odhaduje pomocou metódy najmenších štvorcov. Tento odhad si označme β = ( β 1,..., β p ). Odteraz budeme predpokladat o vektore chýb, že má N n (0, σ I n ) rozdelenie, kde I n značí n-rozmernú jednotkovú maticu. Z toho potom plynie, že náhodný vektor Y n má normálne rozdelenie N n (X n β, σ I n ). Skrátene to budeme zapisovat Y n N n (X n β, σ I n ). Predpoklad normálneho rozdelenia u vektora chýb patrí k štandardným predpokladom, ktorý naň kladieme. Potom má odhadovaný vektor β, metódou najmenších štvorcov, dobré štatistické vlastnosti. 4

Označme si reziduálny súčet štvorcov ako R n = (Y n X n β) (Y n X n β) a reziduálny rozptyl S n = R n /(n p). V nasledujúcej vete by som rád pripomenul zopár základných vlastností, ktoré platia pre vektor β. Veta 1.1. Nech v lineárnom regresnom modeli má vektor chýb N n (0, σ I n ) rozdelenie a nech X n X n je regulárna matica, potom platí: a) β = (X n X n ) 1 X n Y n b) β N n [β, σ (X n X n ) 1 ] c) R n /σ má χ n p rozdelenie d) β a R n sú nezávislé e) ( β β) [σ (X n X n )]( β β) má χ p rozdelenie, kde symbolom χ p značíme χ rozdelenie s p stupňami vol nosti. Dôkaz. Tvrdenia a) d) sú dokázané v knihe (Anděl, 007, str. 11-113), vety 9.1 a 9.4. Dôkaz časti e) je uvedený v spomínanej knihe na str. 58, veta 4.13. Z vety 1.1 c), d) vyplýva, že Sn je nestranným odhadom parametru σ a je nezávislý na β. 1. Konfidenčná množina pre regresné parametre s danou vel kost ou V tejto sekcii sa pokúsime nájst konfidenčnú množinu pre regresné parametre. Majme zadané čísla 0 < d < a 0 < α < 1. Od konfidenčnej množiny očakávame, aby odhadnuté regresné parametre v nej ležali s pravdepodobnost ou aspoň 1 α, a aby sme vol bou d vedeli zabezpečit l ubovol ne malý objem tejto množiny. Najprv skonštruujeme konfidenčnú množinu pre známy rozptyl σ v lineárnom modeli Y n = X n β + e n, e n N n (0 n, σ I n ) a hodnost matice X n je plná t.j. h(x n ) = p, n p + 1, (1.1) kde dolný index n pri vektoroch a maticiach vysvetl uje s akým rozsahom výberu pracujeme. Zaved me značenie β n = (X n X n ) 1 X n Y n. Elipsoidná konfidenčná množina pre neznámy vektor parametrov β pri danom d je: R n R n (d) = {β p 1 R p : ( β n β) [n 1 (X n X n )]( β n β) d }. (1.) Výraz n 1 (X n X n ) možno vyzerá trochu umelo, ale vo väčšine prípadov sa predpokladá, že n 1 (X n X n ) konverguje pre n k pozitívne definitnej matici A p p. Poznamenajme, že vol bou 0 < d < dokážeme zaistit l ubovol ne malý objem R n. Preto hovoríme, že elipsoidná konfidenčná množina má pevnú vel kost. 5

Konfidenčný koeficient pre množinu R n je: { } { P β,σ β R n = P β,σ ( β n β) (X n X n )( β } n β) nd = ( ) nd = F F (x) = P(χ p x), x > 0. σ (1.3) Nech a je kritická hodnota rozdelenia χ p na hladine α, teda splňuje F (a) = 1 α. Chceme, aby koeficient spol ahlivosti bol aspoň 1 α. Preto požadujeme, aby F (nd /σ ) F (a). Táto nerovnost platí, ked nd /σ a, a teda nech n je najmenšie prirodzené číslo aσ d =: C. (1.4) Obdoba tejto podmienky sa vyskytuje aj pri testovaní hypotéz. Práve tento problém pri určení hodnoty n bol jedným z dôvodov, prečo začali vznikat sekvenčné metódy. Ak by sme poznali σ nemali by sme problém. Zo vzt ahu (1.4) by sme dorátali hodnotu C (optimálny rozsah), a tým pádom by sme vedeli určit rozsah výberu n na zostrojenie konfidenčnej množiny s koeficientom spol ahlivosti 1 α. Bohužial v lineárnom regresnom modeli nepoznáme rozptyl σ a ani neexistuje konfidenčná oblast s koeficientom spol ahlivosti 1 α, ktorú by sme vedeli zostrojit z pevného rozsahu výberu pri danom 0 < d < a 0 < α < 1. Dôkaz neexistencie tejto konfidenčnej oblasti s koeficientom spol ahlivosti 1 α sa nachádza v (Ghosh a Sen, 1991, str. 3). Ako si neskôr ukážeme, práve sekvenčné metódy poskytujú riešenie. Myšlienka je jednoduchá. Pokúsime sa vo vzt ahu n aσ /d nahradit σ nestranným odhadom S m, ktorý dopočítame z prvých m pozorovaní. Tento odhad nám dopomôže k určeniu vel kosti rozsahu výberu N N(d). O veličine N sa zvykne hovorit aj ako o zastavovacej veličine (angl. stopping random variable) a jej hodnota závisí na vol be d, dopočítaným S m a tiež na zvolenej spol ahlivosti 1 α. Analogicky ako v prípade (1.) navrhnime konfidenčnú množinu pre β so spol ahlivost ou 1 α, ale už pri výbere o vel kosti N. R N R N (d) = {β R p : N 1 ( β N β) (X NX N )( β N β) d } (1.5) Túto elipsoidnú množinu ovplyvňuje náhodná veličina N, čo nám môže skomplikovat našu situáciu. Preto budeme predpokladat, že matica X N je dopredu daná. Taktiež si musíme dat pozor pri rátaní konfidenčného koeficientu (1.3). Pomôže nám k tomu vel mi dôležité pozorovanie, ktoré si aj neskôr dokážeme. Pre každé pevné n m sú β n a (S m, S m+1,..., S n) nezávislé, (1.6) kde m p + 1 a veličiny β n a (Sm,..., Sn) sú dopočítané z modela (1.1). Uvedomme si, že hodnota náhodnej veličiny I[N = n] závisí iba na (Sm, Sm+1,..., Sn), kde symbolom I[A] označujeme indikátor množiny A. Za platnosti tvrdenia (1.6) potom platí, že aj náhodné veličiny I[N = n] a β n sú nezávislé. Pokúsme sa teraz dopočítat konfidenčný koeficient pre množinu R N z (1.5) pri známom σ. } P β,σ {β R N (d) = = n=m P β,σ {N 1 ( β N β) (X NX N )( β { } N β) d N = n }P β,σ N = n 6

= = = = n=m n=m P β,σ {n 1 ( β n β) (X n X n )( β { } n β) d N = n }P β,σ N = n { P β,σ n 1 ( β n β) (X n X n )( β } } n β) d P β,σ {N = n { P β,σ ( β n β) (X n X n ) n=m ( nd F n=m σ σ { } [ )P β,σ N = n = E β,σ F kde F (x) = P(χ p x), x > 0. ( β } } n β) nd P σ β,σ {N = n ( Nd σ )], (1.7) V rovnosti sme využili nezávislost náhodných veličín β n a I[N = n] pre každé n = m, m + 1,.... Pod me sa na konci tejto sekcie pozriet na sl ubovaný dôkaz kl účového pozorovania. Nasledujúci dôkaz je prevzatý z knihy (Mukhopadhyay a Silva, 009, str. 331). Veta 1.. Pre každé pevné n m sú β n a (Sm, Sm+1,..., Sn) nezávislé, kde m p + 1 a veličiny β n a (Sm,...,Sn) sú dopočítané z modela (1.1) Dôkaz. Vyjadríme si reziduálny súčet štvorcov pre nejaké k, m k n. R k (Y k X k βk ) (Y k X k βk ) = Y k Y k Y k X k βk = Y k (I k k X k (X k X k ) 1 X k )Y k. Poznamenajme, že X k (X k X k) 1 X k je projekčná matica. Z toho potom plynie, že I k k X k (X k X k) 1 X k je symetrická idempotentná matica s hodnost ou k p. Z teórie matíc vieme, že táto matica má vlastné číslo 0 rádu p a vlastné číslo 1 rádu k p. Nech ξ 1,..., ξ k p sú ortonormálne vlastné vektory prislušné k vlastnému číslu 1. Potom môžme upravit vzt ah pre R k nasledovne ( k p ) k p R k = Yk ξ i ξi Y k = (ξi Y k ). i=1 Označme ρ i = (ξi : 0 ) 1 n vektor, ktorý vznikne rozšírením vektora ξi o nulový vektor. Teda platí R k = k p i=1 (ρ i Y n ). Z vety 1.1 b) platí βn = BY n, kde B = (X n X n ) 1 X n. Pokúsime sa ukázat, že BY n je nezávislé na ρ i Y n pre i = 1,..., k p. Stačí nám ukázat, že Bρ i = 0, i = 1,..., k p. Vektor ξ i patrí do stĺpcového priestora I k k X k (X k X k) 1 X k. Tým pádom ξ i patrí do ortogonálneho doplnku stĺpcového priestora X k(x k X k) 1 X k. Kedže X k (X k X k) 1 generuje inverz X k, potom stĺpcový priestor X k je súhlasný so stĺpcovým priestorom X k(x k X k) 1 X k. Z toho dostávame, že X k ξ i = 0 pre všetky i = 1,..., k p, teda aj X n ρ i = 0 pre všetky i = 1,..., k p. Z poslednej rovnosti už l ahko nahliadneme, že aj Bρ i = 0, i = 1,..., k p. Ukázali sme, že β n a (R m, R m+1,..., R n ) sú nezávislé, čo zrejme už implikuje vetu. i=1 7

Kapitola Sekvenčné metódy V celej tejto kapitole budeme pracovat s lineárnym modelom definovaným v (1.1). Ukážeme si zopár sekvenčných metód, pomocou ktorých dokážeme zostrojit konfidenčnú množinu pre parameter β s koeficientom spol ahlivosti aspoň 1 α. Jednotlivé sekvenčné metódy sa budú od seba líšit vol bou zastavovacej veličiny N a ich účinnost ou. Nasledujúce definície sú prevzaté z bakalárskej práce (Rusá, 013, str. 9-10). Definícia.1. Sekvenčná metóda je (exaktne) konzistentná, ak pre každé pevné d > 0 platí } P β,σ {β R N (d) 1 α, kde R N (d) je konfidenčná oblast pre β odvodená touto metodou. Definícia.. Sekvenčná metóda je asymptoticky účinná (1. rádu), ak [ ] N lim E β,σ = 1, d 0 + C kde C je definované v (1.4) a N je rozsah výberu určený touto metódou. Definícia.3. Sekvenčná metóda je asymptoticky účinná (. rádu), ak lim E β,σ (N C) je konečné číslo, d 0 + kde C je definované v (1.4) a N je rozsah výberu určený touto metódou. Definícia.4. Sekvenčná metóda je asymptoticky konzistentná, ak pre každé β, σ platí { } lim P β,σ β R N (d) = 1 α, d 0 + kde R N (d) je konfidenčná oblast a pre β odvodená touto metódou. Poznámka. Z definícií o asymptotických účinnostiach sekvenčných metód je zrejmé, že asymptotická účinnost. rádu je silnejšia ako asymptotická účinnost 1. rádu. 8

.1 Dvojstupňová metóda Ako už bolo spomenuté, problémom pri určení celkového rozsahu výberu je neznámy parameter σ v lineárnom modeli. V roku 1956 pán Healy aplikoval Steinovu dvojstupňovú metódu (z roku 1945) na lineárny regresný model za predpokladu viacrozmerného normálneho rozdelenia vektora chýb. Myšlienkou Steinovej dvojstupňovej metódy bolo zvolit si najprv rozsah prvého výberu (1. stupeň), pomocou ktorého odhadneme parameter σ. Vd aka tomuto odhadu už budeme schopný určit rozsah výberu N (. stupeň), a teda dokážeme zostrojit konfidenčnú množinu pre β s koeficientom spol ahlivosti 1 α. Popíšme si túto metódu podrobnejšie. STUPEŇ 1: Majme náhodný vektor Y m = (Y 1,...,Y m ) a maticu daných čísel X m, (m p + 1) pomocou ktorých spočítame β m = (X mx m ) 1 X my m (.1) S m = (Y m X m βm ) (Y m X m βm ) (.) Nech F p,m p (α) označuje kritickú hodnotu F rozdelenia o p a m p stupňoch vol nosti na hladine α. Definujme b b p,m,α = pf p,m p (α). (.3) Na prvý pohl ad nie je jasné, prečo práve takto volíme parameter b. Je to z dôvodu, aby odhadnutý parameter β ležal v konfidenčnej množine R N s pravdepodobnost ou aspoň 1 α, čo dokážem vo vete.. Definujme zastavovaciu veličinu nasledovne: { bs N N(d) = max m, m kde symbolom a označujeme najväčšie celé číslo a. d } + 1, (.4) STUPEŇ : Ak pre náhodnú veličinu N platí N = m, potom ukončíme výber po prvom stupni a položíme β N = β m (.5) N > m, vyberieme d alších N m pozorovaní Y m+1,...,y N a matica X m sa zväčší o N m daných riadkov. Potom definujme β N = (X NX N ) 1 X NY N (.6) Poznamenajme, že pri zavedení elipsoidnej množiny R N z (1.5) sme požadovali, aby matica X N bola dopredu určená. Možností ako určit x m+1,...., x N je celý rad. My budeme uvažovat, že Matica X N vznikne z matice X m postupným opakovaním riadkov z X m. (.7) 9

Tým máme na mysli, že k, m+k, m+k,... -tý riadok v matici X N bude rovnaký ako k-tý riadok v matici X m pre k = 1... m. S takýmto rozšírením matice X m budeme pracovat aj v nasledujúcich sekciách o sekvenčných metódach. Všimnime si, že zastavovacia veličina N z (.4) je konečná s pravdepodobnost ou 1. Preto za konfidenčnú množinu pre β intuitívne volíme množinu R N, ktorú sme definovali v (1.5). Vo vete. overíme, že vol ba tejto konfidenčnej množiny je správna v zmysle, že koeficient spol ahlivosti je aspoň 1 α. Predtým si dokážme nejaké pomocné tvrdenia. Veta.1. Pre náhodnú veličinu N určenú vzt ahom (.4) a pre všetky pevné β, σ, p, m, α, platia nasledujúce vlastnosti: ( ) a) bσ E d β,σ N m + bσ d b) náhodné veličiny β N a S m sú na seba nezávislé c) náhodná veličina β N je nestranným odhadom β a jej rozptyl je σ (X N X N) 1 d) Y ( β N β) [σ (X N X N)]( β N β) má podmienené χ p rozdelenie pri pevne zvolenom S m a je naň nezávislé e) Z p 1 Y S m σ má podmienné F p,m p rozdelenie pri pevne zvolenom S m kde b b p,m,α bolo určené v (.3), S m je dané vzt ahom (.) a β N je z (.6). Dôkaz. a) Z podmienky pre zastavovaciu veličinu N platí: bs m N m + bs m s.j, teda platí aj ( d ) d be β,σ S m E(N) m + be ( ) β,σ S m. d d (.8) Z vlastnosti E β,σ ( S m ) = σ dostávame platnost tvrdenia a). b) Pracujme s modelom: Y i = x i1 β 1 + x i β + + x ip β p + e i i = 1... m, e i N(0, σ ) (.9) Maticový (vektorový) zápis: Y m = X m β + e m Y 1 x 11 x 1p β 1. =...... +. Y m x m1 x mp β p Z vety 1.1 a) vieme, že platí e 1 e m h(x m ) = p. (.10) β m = (X mx m ) 1 X my m = (X mx m ) 1 X m(x m β + e m ) = β + (X mx m ) 1 X me m. (.11) Označme si A m = (X mx m ) 1. O tejto matici vieme, že je štvorcová (p p), symetrická, regulárna a teda má lineárne nezávislé riadky aj stĺpce. Nech a ij 10

označuje (i, j)-tý prvok matice A m. Pre lepšiu predstavivost rozpíšem maticu A m a vektor X me m. a 11 a m 1p i=1 A m =..... X x i1e i E 1 me m =. ozn. =. ozn. = E m. (.1) a p1 a m pp i=1 x ipe i Teraz si rozpíšme vzt ah β m = A m E m z (.11) po zložkách: E p β 1m = β 1 + a 11 E 1 + a 1 E + + a 1p E p. (.13) β pm = β p + a 1p1 E 1 + a p E + + a pp E p Tieto zložky sú z vety 1.1 d) nezávislé na Sm. Pre dané Sm dopočítame N a rozšírme náš model (.10) o N m nových pozorovaní: Y N = X N β + e N Y 1 x 11 x 1p e 1...... β 1. Y ṃ = x m1 x mp. + e ṃ. (.14)...... β p. Y N x N1 x Np e N Zaved me analogicky β N, A N a E N. Pri danom S m je matica X N pevne daná. Rozpíšme si β N = A N E N podobne ako v (.13) po zložkách. Dostaneme β 1N = β 1 + A 11 E 1 + A 1 E + + A 1p E p. (.15) β pn = β p + A p1 E 1 + A p E + + A pp E p Ciel om je ukázat, že tieto zložky sú nezávislé na Sm. Ideou dôkazu tohto tvrdenia je vyjadrit si vektor E N pomocou E m t.j.: E N 1 i=1 x m i1e i i=1 x i1e i + N i=m+1 x i1e i Em+1,1 N E N =. =. =. E N p i=1 x m ipe i i=1 x ipe i + = E m +. N i=m+1 x ipe i Em+1,p N Vzt ah (.15) môžme teraz rozpísat ako β 1N = β 1 + A 11 E 1 + A 1 E + + A 1p E p +. β pn = β p + A p1 E 1 + A p E + + A pp E p + p A 1i Em+1,i N i=1 p A pi Em+1,i N i=1 (.16) 11

Zrejme p i=1 A jiem+1,i N pre každé j = 1... p je nezávislá na Sm. Potrebujeme ukázat už len nezávislost súčtov p i=1 A jie i pre každé j = 1... p na veličine Sm. Všimnime si, že zo vzt ahu (.13) pre β m sme zistili nezávislost súčtov p i=1 a jie i pre každé j = 1... p na veličine Sm. Tým pádom aj lineárna kombinácia týchto súčtov je nezávislá na Sm. Ked že matica A m je regulárna, tak jej riadkové vektory generujú celý p- rozmerný priestor, a preto pomocou týchto súčtov vieme nagenerovat aj jednotlivé súčty p i=1 A jie i pre každé j = 1... p. Tým pádom sme ukázali, že β N je nezávislé na Sm. c) Priamym dôsledkom tvrdenia b) je E β,σ ( βn S m) = Eβ,σ ( βn ) = β Varβ,σ ( β N S m) = Var β,σ ( β N ) = σ (X NX N ) 1. d) Platnost tohto tvrdenia vyplýva z vlastností b), c) a vety 1.1 e). e) Z tvrdenia d) vieme, že Y má podmienené χ p rozdelenie pri pevne zvolenom S m a je naň nezávislé. Z vety 1.1 c) vieme, že (n p)s m/σ χ n p. Z rozdelenia podielu dvoch nezávislých náhodných veličín vid (Anděl, 007, str. 61, veta 4.17.), dostávame platnost tvrdenia e). Veta.. Pre náhodnú veličinu N N(d) určenú vzt ahom (.4) a pre všetky pevné β, σ, p, m, α, platia nasledujúce vlastnosti: { } a) P β,σ β R N 1 α b) lim d 0+ E β,σ [ N C ] = b a c) lim d 0+ P β,σ { β R N } = 1 α kde b b p,m,α je dané v (.3), R N je z (1.5) a C = aσ d bolo určené v (1.4). Dôkaz. a) Nech náhodná veličina Y má χ p rozdelenie a nech je nezávislá na S } m. Potom konfidenčný koeficient P β,σ {β R N (d) z (1.7) je: ( Nd E β,σ [F σ )] [ E β,σ F [ = E β,σ ( )] bs m σ N bs m s. j. z definície d }] P β,σ {Y bsmσ N { p 1 Y } = P β,σ Smσ p 1 b Y χ p, Y Sm } = P β,σ {F p,m p p 1 b = 1 α, ked p 1 b = F p,m p (α). Preto definujeme b b p,m,α = pf p,m p (α) ako som uviedol v (.3). b) Predelením nerovnosti z vety.1 a) s C dostávame (.17) b a E ( ) md β,σ N/C + b σ a. (.18) 1

Uvedomme si, že m je pevné, a preto limitným prechodom pre d dostávame dokazované tvrdenie. c) Zo vzt ahu (.8) vyplýva rovnost lim d 0+ d N = bs m s. j., čo je konečné kladné číslo. Zvyšok dôkazu potom vyplýva z časti a). Zistili sme, že dvojstupňová metóda nie je asymptoticky účinná, a preto celkový výber N nie je optimálny. To bolo hlavnou príčinou k objavovaniu d alších sekvenčných metód.. Modifikovaná dvojstupňová metóda Modifikovaná dvojstupňová metóda vznikla vylepšením dvojstupňovej metódy so zámerom, aby sme dosiahli asymptotickú účinnost 1. rádu (.). Myšlienka ako to spravit spočíva v šikovnej vol be rozsahu prvého výberu. Zvol me teda l ubovol né kladné číslo γ a definujme rozsah prvého výberu nasledovne { m m(d) = max p + 1, { bs N N(d) = max m, m } + 1 a definujme (.19) } + 1, (.0) ( a d ) 1/(1+γ) d kde b b p,m,α z (.3). Analogicky ako v dvojstupňovej procedúre sa pozrieme na vzt ah medzi náhodnou veličinou N a m. Ak platí N = m, tak nepotrebujeme spravit d alšie pozorovania. Pre N > m, potrebujeme rozšírit rozsah výberu o N m nových pozorovaní. Kombináciou s predošlými pozorovaniami odhadneme β opät metódou najmenších štvorcov rovnako ako v (.6). Vidíme, že N je opät konečné s pravdepodobnost ou 1, a preto za konfidenčnú množinu pre β s koeficientom spol ahlivosti 1 α intuitívne volíme R N z (1.5). Správnost vol by konfidenčnej množiny plynie z nasledujúcej vety. Veta.3. Pre náhodnú veličinu N z (.0) a pre všetky pevné β, σ, p, m, α platia nasledujúce vlastnosti: { } a) P β,σ β R N 1 α; b) lim d 0+ E β,σ [ N C ] = 1; c) lim d 0+ P β,σ { β R N } = 1 α; kde b b p,m,α z (.3), R N je z (1.5) a C = aσ d je definované v (1.4). Dôkaz. Dôkaz časti a) a c) prebieha analogicky ako vo vete (.). b) Nech náhodná veličina Y má χ p rozdelenie a nech je nezávislá na S m. Zo vzt ahu (.17) sme zistili: F p,m p = p 1 Y/(S mσ ) a teda pre d 0 + F p,m p konverguje v distribúcii k p 1 Y lim d 0 + ba 1 = 1. Zvyšok dôkazu vyplýva limitným prechodom vo vzt ahu (.18). 13

Pozorný čitatel si určite všimol, že rozsah prvého výberu závisí na vol be γ. Ak očakávame, že náhodná veličina N bude vel ká, tak je logické zvolit aj väčší rozsah prvého výberu. Na druhej strane si musíme dat pozor, aby sme nezvolili väčší rozsah ako by bol optimálny (C), ktorý je neznámy. Pre rozsah prvého výberu m platia nasledujúce vzt ahy: lim m = d 0 + lim (m/c) = σ lim (d /a) γ/(1+γ) = 0 d 0 + d 0 + (.1) Práve z druhého vzt ahu nám vyplýva, že vol ba m bude menšia ako optimálna hodnota C. Preto je vzorec pre m dobre definovaný. Vol ba vhodného parametru γ sa vo vel kej väčšine prípadov dopočítava na počítači. Príklad (Rola γ v modifikovanej dvojstupňovej procedúry) Pre rôzne hodnoty γ budeme určovat rozsah prvého výberu pomocou vzorca (.19). Vstupné parametre pre simuláciu úlohy volíme: d=0.10, α = 0.05, p=1. Postup: Zvolíme postupne 10 rôznych hodnôt pre γ = 0.1, 0.,..., 1 a výsledky pre m = max {, ( a/d ) 1/(1+γ) } +1 zapíšeme do tabul ky. Pripomínam, že parameter a v tomto vzorci symbolizuje kritickú hodnotu rozdelenia χ p na hladine α. V našom prípade je a = χ. 1,0.05 = 3.841. Vstupné dáta: d 0.10 alpha 0.05 gamma 0.1 alpha d gamma m 0.05 0.10 0.10 363 0.05 0.10 0.0 34 0.05 0.10 0.30 33 0.05 0.10 0.40 306 0.05 0.10 0.50 90 0.05 0.10 0.60 75 0.05 0.10 0.70 61 0.05 0.10 0.80 48 0.05 0.10 0.90 35 0.05 0.10 1.00 4 Tabul ka.1: Rola γ v modifikovanej dvojstupňovej procedúre Záver: Z tabul ky si môžme povšimnút, že čím väčšie γ zvolíme, tým menšie m dostaneme. Preto sa vo väčšine prípadov nastavuje γ okolo hodnoty 0.10. 14

.3 Priama sekvenčná metóda Medzi d alšie metódy, ktoré zabezpečujú asymptotickú účinnost 1. rádu, patrí priama sekvenčná metóda (angl. Purely sequential procedure). Motiváciou k vzniku tejto metódy bolo dosiahnutie asymptotickej účinnosti. rádu, ktorá u modifikovanej dvojstupňovej metódy nebola dosiahnutá. Vol ba celkového rozsahu výberu N sa teda nebude výrazne líšit od dorátaného optimálneho rozsahu pri známom σ. Profesor Mukhopadhyay a pán Abid odvodili v roku 1986 túto metódu pre lineárny model. Popíšme si ju. Rovnako ako v dvojstupňovej sekvenčnej metóde začneme s m p + 1 pozorovaní. Myšlienkou priamej metódy je postupne po jednom pridávat nové pozorovania a zakaždým odhadnút neznámy parameter σ. Po každom pridaní určíme, či nám už aktuálny rozsah výberu stačí alebo nie. Zastavovaciu veličinu určíme rovnako ako v knihe (Mukhopadhyay a Silva, 009, str. 319): N N(d) najmenšie prirodzené číslo n m, pre ktoré platí n as n/d. (.) Pre väčšiu zretel nost rozpíšme túto procedúru podrobnejšie. Majme náhodný vektor Y m = (Y 1,..., Y m ) a maticu daných čísiel X m typu m p pre m p + 1. Pomocnou známych vzorcov dopočítame S m a overíme, či m as m/d. Ak áno, tak naša procedúra skončí a N = m. Ak nie, tak pridáme jedno d alšie pozorovanie Y m+1 a matica X m sa nám rozšíri o jeden nový riadok podl a vzoru (.7). Vylepšíme odhad σ dopočítaním S m+1 a skontrolujeme, či m + 1 as m+1/d. Ak áno, tak naša procedúra skončí a N = m + 1. Ak nie, tak pridáme jedno d alšie pozorovanie Y m+.... Tento postup opakujeme až kým nebude platit n as n/d. Poznamenajme, že N je opät konečné s pravdepodobnost ou 1, a preto za konfidenčnú množinu pre β volíme množinu R N z (1.5). Nevýhodou tejto metódy je zrejme časová náročnost. Napriek tomu má táto metóda aj dobré vlastnosti, ktoré si sformulujeme v nasledujúcej vete. Veta.4. Pre náhodnú veličinu N z (.) a pre všetky pevné β, σ, p, m, α platia nasledujúce vlastnosti: a) E β,σ ( N ) je konečné číslo s.j. b) lim d 0+ E β,σ [ N C ] = 1 c) lim d 0+ P β,σ { β R N } = 1 α kde R N je z (1.5) a C = aσ d bolo určené v (1.4). Dôkaz. Obdoba dôkazu sa nájde v knihe (Mukhopadhyay a Silva, 009, str. 303). Priama sekvenčná metóda dokonca zaist uje aj asymptotickú účinnost druhého rádu. Dôležité si je však uvedomit, že postupom akým sa volí náhodná veličina N, vyplýva nekonzistentnost metódy. Udalost N = n totiž nie je rovnaká ako udalost n as n/d. Musí zároveň platit, že pre všetky prirodzené čísla k, m k < n, 15

platí k < as k /d. Preto vzniká problém pri určení distribučnej funkcie náhodnej veličiny N, a teda aj pri dopočítaní konfidenčnéhoho koeficientu. Našt astie sa ukázalo, že pri pridaní niekol ko d alších pozorovaní k celkovému výberu dokážeme okrem zachovania asymptotickej účinnosti zaistit aj konzistentnost metódy. Zhrňme si na záver do tabul ky. základné vlastnosti sekvenčných metód, o ktorých sme sa doteraz dozvedeli. Vlastnosti Dvojstupňová metóda Modifikovaná dvojstupňová metóda Priama sekvenčná metóda Konzistencia Áno Áno Áno Asymptotická konzistencia Áno Áno Áno As. účinnost 1. rádu Nie Áno Áno As. účinnost. rádu Nie Nie Áno Poznámka: Vlastnosti priamej sekvenčnej metódy už pri pridaní dodatočných pozorovaní Tabul ka.: Súhrn vlastností sekvenčných metód Každá metóda má svoje výhody a nevýhody. Z tabul ky by sa mohlo zdat, že priama sekvenčná metóda je najlepšia, ale práve spomínaná časová náročnost viedlo štatistikov k objavovaniu d alších sekvenčných metód. Ak by sa chcel čitatel dozvediet viac o d alších sekvenčných metódach, tak silne doporučujem knižku (Mukhopadhyay a Silva, 009, 6. kapitola)..4 Teória v praxi V predchádzajúcej sekcii sme si ukázali tri sekvenčné procedúry, ktoré nám dopomáhajú zostrojit konfidenčnú množinu pre β s daným koeficientom spol ahlivosti 1 α. Pod me si ukázat ich použitie na konkrétnych príkladoch. Pri konštrukcii konfidenčnej množiny potrebujeme poznat iba hodnotu náhodnej veličiny N. Na základe nej už l ahko určíme konfidenčnú množinu R N so spol ahlivost ou 1 α definovanú v (1.5). Na spočítanie náhodnej veličiny N budeme využívat matematický softvér R, ktorý bol naprogramovaný z dôvodu ul ahčenia práce so štatistickými úlohami a dopomáha k simulácii dát a overovaní hypotéz. Pre jednoduchost a lepšiu predstavivost sa budeme zaoberat iba príkladmi riadené jednoduchým lineárnym modelom. Budeme teda predpokladat n nezávislých náhodných veličín Y i, pre ktoré platí: Y i = βx i + e i, i = 1,...,n e i N(0, σ ) (.3) kde β je neznámy parameter a x i sú známe konštanty. Ide vlastne o lineárny regresný model, v ktorom X n = (x 1,...,x n ) je matica typu n 1 a vektor β obsahuje iba jednu zložku β. Grafická predstava tohto modelu je priamka prechádzajúca počiatkom súradnicovej sústavy. Z vety 1.1 a) dostávame β n = n i=1 x iy i n i=1 x i a S n = R n 1 = 16 n i=1 (Y i β n x i ) n 1

Poznámka: Ked že odhadujeme iba jeden parameter, tak už nebudem d alej písat, že konštruujeme konfidenčnú množinu o danej vel kosti a daným konfidenčným koeficientom 1 α. Namiesto toho budem písat, že konštruujeme interval spol ahlivosti s danou dĺžkou (d) a koeficientom spol ahlivosti (1 α). V nasledujúcom príklade použijeme dáta prevzaté zo skrípt (Anděl, 007, str. 190). Príklad : Sledovali sme priehyb plastickej hmoty Y i v závislosti na tlaku x i. V tabul ke.3 uvádzame namerané hodnoty: Tlak x i 4 6 8 10 1 Priehyb Y i 14 35 48 61 80 93 Tabul ka.3: Priehyb plastickej hmoty v závislosti na tlaku Zostrojte interval spol ahlivosti pre parameter β o dĺžke d a koeficientom spol ahlivosti 1 α pomocou dvojstupňovej metódy. Môžete predpokladat, že sa náhodná veličina Y i riadi lineárnym modelom z (.3). Riešenie : Pomocou vzorca N N(d) = max { m, bsm/d +1 } z (.4) dokážeme dopočítat, kol ko máme ešte priehybou plastickej hmoty napozerat. Následne už l ahko zostrojíme interval spol ahlivosti pre β o dĺžke d a koeficientom spol ahlivosti 1 α. Preto sa budeme zaoberat iba určením náhodnej veličiny N. Nastavme vstupné parametre na d = 0,5 a α = 0,05. V prvej fáze máme 6. pozorovaní, preto m = 6, b = F 1,5,0.5 = 6,608 a 6 i=1 x 6 iy i i=1 (Y i β 6 x i ) β 6 = 6 i=1 x i. = 7,857 a S 6 = 5. = 4,714. { } 6,608 4,714 Teraz už l ahko dopočítame N = max 6, + 1 = 15. 0,5 Záver : Potrebujem namerat ešte 119 d alších pozorovaní, aby sme vedeli zostrojit interval spol ahlivosti pre β s koeficientom spol ahlivosti 0,95 a dĺžke intervalu 0,5. Príklad (Porovnávanie sekvenčných metód) V tomto príklade si overíme teoretické poznatky o sekvenčných metódach. Budeme simulovat dáta v R-ku a pomocou vzorcov (.4), (.0) a (.) určíme náhodnú veličinu N pri rôznych vstupných parametroch. Výsledky zaznamenáme do prehl adnej tabul ky a spravíme malú diskusiu o nich. Postup: Nasimulujeme si dáta pre jednoduchý lineárny model z (.3), v ktorom budeme navyše požadovat, aby vektor chýb mal normované normálne rozdelenie. Spravíme dokopy 1000 simulácii a v každej simulácii určíme náhodnú veličinu N. Priemernú hodnotu N porovnáme s optimálnou hodnotou, ktorú získame zo vzorca C = aσ /d, kde a = χ. 1,0.05 = 3.841. Postup budeme opakovat s rovnakými simuláciami pre každú metódu. Vstupné parametre volíme nasledovne m = 10, γ = 0.1, α = 0.05 pre d 1 = 0.50, d = 0.10, d 3 = 0.05, d 4 = 0.01. Dosiahnuté výsledky som zapísal do tabul ky.4. Táto tabul ka nám potvrdila hned viacero poznatkov o sekvenčných metódach. Nikoho asi neprekvapilo, že zmenšovaním hodnoty d (určuje objem konfidenčnej množiny), nám narastá hodnota náhodnej veličiny. 17

Metóda m d N C N/C N-C Dvojstupňová 10 0.50 1 16 1.313 5 Dvojstupňová 10 0.10 507 385 1.317 1 Dvojstupňová 10 0.05 05 1537 1.318 488 Dvojstupňová 10 0.01 50597 38415 1.317 118 Modifikovaná 1 0.50 0 16 1.50 4 Modifikovaná 4 0.10 388 385 1.008 3 Modifikovaná 789 0.05 154 1537 1.003 5 Modifikovaná 14713 0.01 38431 38415 1.0004 16 Modifikovaná 51881 0.005 153693 153640 1.0003 53 Priama sekvenčná 10 0.50 15 16 0.938 1 Priama sekvenčná 10 0.10 383 385 0.995 Priama sekvenčná 10 0.05 1535 1537 0.999 Priama sekvenčná 10 0.01 38400 38415 0.9996 15 Tabul ka.4: Porovnávanie sekvenčných metód pre rôzne vol by d Zaujímavejšie si je všimnút ako vol ba m (rozsah prvého výberu) v modifikovanej metóde vylepší dvojstupňovú metódu. Pri dvojstupňovej metóde potrebujeme približne o 3% viac pozorovaní ako by sme v skutočnosti potrebovali t.j. je asymptoticky neúčinná. U modifikovanej a priamej sekvenčnej metódy potrebujeme približne rovnako vel a pozorovaní, čo nám potvrdzuje poznatok o asymptotickej účinnosti prvého rádu. Všimnime si, že pre d približujúce sa k 0 sa v modifikovanej metóde rozdiel medzi náhodnou veličinou N a C pomaly zväčšuje. To znamená, že modifikovaná metóda nebude asymptoticky účinná druhého rádu. Ked že tento rozdiel výrazne nenarastá (nie ako v dvojstupňovej metóde) asymptotická účinnost prvého rádu bude zachovaná. U priamej metóde sa rozdiel N C až tak nezväčšuje, čo potvrdzuje asymptotickú účinnost. rádu. Ako som už spomínal priama metóda je časovo náročnou metódou. Pre zaujímavost na samotný výpočet pre d = 0.01 som čakal deň a to som spravil len 45 simulácii a nie tisíc. Preto som zvýraznil v tabul ke číslo 15 tučne. Na rozdiel od modifikovanej a dvojstupňovej metódy prebehol tento výpočet do minúty. Na záver ponúkam zopár grafov.1, v ktorých bude vidiet rozloženie náhodnej veličiny N, čo do počtu výskytov v 1000 simuláciách. Ked že pre každú metódu vyzerajú tieto grafy približne rovnako, tak uvádzam iba rozloženie náhodnej veličiny N v dvojstupňovej metóde pri rôznej vol be d. Z prvého grafu si môžme všimnút, že výskyt náhodnej veličiny N bol najmä medzi hodnotami 10 a 15. Vyplýva to z nastavenia parametru m = 10 blízko optimálnej hodnoty C = 16. Viac aplikovaných príkladov sa môže zapálený čitatel dozvediet v knižke (Mukhopadhyay a kol., 004). 18

d = 0.5 d = 0.1 350 00 300 50 150 Kvantita N 00 150 Kvantita N 100 100 50 50 0 0 0 10 0 30 40 50 60 Hodnoty N d = 0.05 0 00 400 600 800 1000 100 1400 Hodnoty N d = 0.01 50 00 00 150 Kvantita N 150 100 Kvantita N 100 50 50 0 0 0 1000 000 3000 4000 5000 6000 Hodnoty N 0 0000 40000 60000 80000 100000 10000 Hodnoty N Obr..1: Rozloženie náhodnej veličiny N pre rôzne vol by d 19

Kapitola 3 Intervaly spol ahlivosti pre regresné parametre v lineárnom modeli Ako už na začiatku 1. kapitoly bolo spomenuté, medzi základné úlohy matematickej štatistiky patrí konštruovanie intervalových odhadov s danou spol ahlivost ou. Ciel om tejto kapitoly je ukázat spôsob ako skonštruovat intervalový odhad, za pomoci dvojstupňovej metódy, v ktorom budú regresné parametre ležat s danou spol ahlivost ou. Nad alej sa budeme riadit lineárnym modelom definovaným v (1.1) a postupovat budeme obdobne ako v sekcii o dvojstupňovej metóde. STUPEŇ 1: Majme náhodný vektor Y = (Y 1,...,Y m ) a maticu daných čísiel X m p, pomocou ktorých spočítame β m = (X mx m ) 1 X my m S m = (Y m X m βm ) (Y m X m βm ) Nech z > 0. Definujme zastavovaciu veličinu nasledovne: N = max { m, z 1 S m + 1 }. (3.1) Význam vol by z vysvetlím neskôr. STUPEŇ : Ak pre N z (3.1) platí N > m, spravíme d alších N m nezávislých pozorovaní Y m+1,...,y N a matica X m sa zväčší o N m nových riadkov daných čísiel v zmysle (.7). Potom definujme: β N = (X NX N ) 1 X NY N. N = m, potom ukončíme výber po prvom stupni a položíme β N = β m Nasledujúca veta nám dá nástroj ako dokážeme skonštruovat intervalový odhad pre regresné parametre v lineárnom modeli. 0

Veta 3.1. Nech v N ij označuje prvok v matici (X N X N) 1 na (i,j)-tej pozícii. Potom pre každé i = 1... p má náhodná veličina T i = β i N β i S m vii N Studentovo t rozdelenie s m p stupňami vol nosti. Dôkaz. Z vety.1 c) vieme, že pri danom Sm je N pevné a β i N N(β i, σ vii N ) rozdelenie a je nezávislé na Sm. Tým pádom má podmienené Y i = β i N β i σ vii N je tiež nezávislé na Sm a má podmienené N(0, 1) rozdelenie vzhl adom k Sm. Z vety 1.1 c) vieme, že (m p)sm/σ χ m p. Preto podielom dvoch nezávislých veličín má β i N β i T i = β i N β i = S m vii N σ vii N (m p)sm σ (m p) Studentovo t rozdelenie s m p stupňami vol nosti. Nech t m p (α/) označuje kritickú hodnotu t rozdelenia s m p stupňami vol nosti na hladine α/. Potom pre každé i = 1... p je β i N t m p (α/)s m vii N intervalovým odhadom pre neznámy parameter β i s koeficientom spol ahlivosti 1 α. Ak by sme požadovali, aby tento interval spol ahlivosti pre parameter β i bol dlhý maximálne d, muselo by platit, t m p (α/)s m v N ii d, čo je ekvivalentné nerovnosti v N ii d t m p(α/)s m (3.) Poznamenajme, že posledná nerovnost od určitého N nadobúda platnosti. Je to z dôvodu, že l avá strana nám s rastúcim N klesá do nuly a pravá strana je zakaždým kladná. Preto ak pri definovaní náhodnej veličiny N v (3.1) zvolíme za z dostatočne malé číslo, dokážeme zabezpečit, aby dĺžka intervalu spol ahlivosti bola maximálne d. Doteraz sme pracovali iba s klasickým lineárnym modelom, kde sme postupne dorábali nové pozorovania Y i. Rád by som preto v nasledujúcej kapitole ukázal obmenený lineárny model, v ktorom budeme tiež konštruovat konfidenčné oblasti, ale aj testovat regresné parametre. Zmena bude spočívat v generovaní rovno n- rozmerných náhodných vektorov Y n, ktoré budú riadené danou maticou X n. Viac sa dozviete v nasledujúcej kapitole. 1

Kapitola 4 Konštrukcie konfidenčných množín a testovanie hypotéz v opakovanom lineárnom modeli V tejto kapitole sa budeme zaoberat konštruovaním vhodnej štatistiky, pomocou ktorej by sme mohli v opakovanom lineárnom modeli (vysvetlím za chvíl u) testovat regresné parametre. Spomínané konštrukcie sú popísané v knihe (Ghosh a Sen, 1991, str. 9-31) pre všeobecnejší Aitkenov model. Základné informácie o Aitkenovom modeli si zvedavý čitatel môže doplnit z knihy (Zvára, 008, str. 3-5). Predpokladajme, že máme dostatočne vel a nezávislých náhodných n-rozmerných vektorov Y 1n, Y n,... riadené nasledovným modelom: Y jn = X n β + e jn, pre j = 1,... hodnost matice X n je h(x n ) = p, n p + 1, e jn N n (0 n, σ I n ) a (4.1) V tomto modeli už nebudeme generovat nové náhodné veličiny Y i a rozširovat maticu X n o nové riadky. Namiesto toho rovno nagenerujeme n-rozmerný vektor, ktorý sa bude opakovane riadit maticou X n. Preto tento lineárny model nazývame opakovaným (angl. Replicable linear model). Skôr než zostrojíme testovú štatistiku potrebujeme najprv skonštruovat konfidenčnú množinu pre β s koeficientom spol ahlivosti 1 α a danou vel kost ou d. Postupujme podobne ako v sekvenčných metódach. Zvol me rozsah prvého výberu m, pre ktorý platí nerovnost ν = mn p > 1. Majme teda m nezávislých náhodných n-rozmerných pozorovaní Y 1n,..., Y mn (d alej už nebudem písat dolný index n ) a danú maticu X n. Dopočítajme νs m = m (Y k X n βm ) (Y k X n βm ), kde (4.) k=1 β m = (X n X n ) 1 X n Y m, Y m = 1 m m Y k. (4.3) Nech z > 0 a definujme N = max{m + 1, z 1 S m + 1}. Vo väčšine prípadov volíme z 1 = pf p,ν (α)/d, aby mala skonštruovaná konfidenčná množina danú vel kost d s koeficientom spol ahlivosti aspoň 1 α. k=1

Nájdime 1 + N m čísel a 0, a m, a m+1,..., a N, ktoré spĺňajú a 0 + N k=m+1 a k = 1; a 0/m + N k=m+1 a k = zs m. (4.4) Prvú podmienku zavádzame z dôvodu, aby β N bol nestranným odhadom β (vid veta 4.). Druhá podmienka slúži na ohraničenie rozptylu náhodnej veličiny β N, kde vhodnou vol bou z budeme schopný nastavit silu testu. Nech J p 1 N = a 0Y m + N k=m+1 a k Y k (4.5) Pri danom Sm má J N rozdelenie N n (X n β, zsm σ I n ). Dôkaz tohto tvrdenia je uvedený vo vete 4.1. Odhadnime vektor β metódou najmenších štvorcov pri minimalizovaní výrazu (J N X n β) (J N X n β). Z toho dostávame odhad β N = (X n X n ) 1 X n J N. (4.6) Pri danom S m má β N podmienené normálne rozdelenie N p [β, zs m σ (X n X n ) 1 )] a je nezávislé na S m (vid veta 4.). Vd aka tomuto poznatku už budeme schopný zostrojit konfidenčnú množinu a test pre β. Definujeme Q nasledovne Q Q(β) = z 1 p 1 ( β N β) (X n X n )( β N β). (4.7) Z rozdelenia β N vyplýva, že ps mq/σ má podmienené χ p rozdelenie pri danom S m a je naň nezávislé. Z vety 1.1 c) dostávame, že νs m/σ má χ rozdelenie s ν stupňami vol nosti. To implikuje, že Q má Fisherovo rozdelenie so stupňami vol nosti p, ν. Ak F p,ν (α) označuje kritickú hodnotu Fisherovho rozdelenia so stupňami vol nosti p, ν na hladine α, potom R N = {β p 1 R p : (β β N ) (X n X n )(β β N ) zpf p,ν (α)} (4.8) je konfidenčná množina pre β s konfidenčným koeficientom 1 α. Tvar tejto elipsoidnej množiny je daný maticou X n. Vhodnou vol bou z dokážeme zmenit vel kost tejto množiny, tak ako si zaželáme. Požadovali sme, aby táto množina mala danú vel kost d. Preto musí platit nerovnost : zpf p,ν (α) d z d pf p,ν (α). Z toho vidíme, prečo sme pri vol be N položili z 1 = pf p,ν (α)/d. Ak by sme teraz chceli skonštruovat test na testovanie regresných parametrov budeme musiet hodnotou z ešte hýbat. Potrebujeme nastavit obmedzenie na pravdepodobnosti chýb prvého aj druhého druhu a to nám ovplyvní vol bu z. Pôjde o analógiu testovania hypotéz v práci (Rusá, 013, str.17-18). 4.1 Testovanie hypotéz Majme daný p-rozmerný vektor β 0. Testujme hypotézu H 0 : β = β 0 proti alternatíve H 1 : β β 0 na hladine α. Naša testová štatistika vyzerá: Q N = z 1 p 1 ( β N β 0 ) (X n X n ) 1 ( β N β 0 ). (4.9) 3

Za platnosti hypotézy H 0 má Q N Fisherovo rozdelenie F p,ν. Tým pádom našu hypotézu zamietame na hladine α, ked platí Q N > F p,ν (α). Z rovnakých dôvodov ako predtým má psmq N /σ, pri pevnom Sm, podmienené rozdelenie χ (p ν 0 ) (necentrálne χ rozdelenie s p stupňami vol nosti a parametrom necentrality ν 0 ), kde ν 0 = z 1 Sm /σ a = (β β 0 ) (X n X n ) 1 (β β 0 ). (4.10) Z toho potom plynie, že Q N má podmienené rozdelenie F (p, ν z 1 p 1 /σ ) (necentrálne F p,ν rozdelenie s parametrom necentrality z 1 p 1 /σ ). Pán Shoutir Kishore Chatterjje v knihe (Ghosh a Sen, 1991, str. 31) tvrdí, že dokážeme zvolit také z, aby pravdepodobnost chyby druhého druhu bola dostatočne obmedzená. Bohužial sa mi nepodarilo toto tvrdenie overit. V nasledujúcich podsekciách budeme riešit špeciálny prípad testovania regresných parametrov. 4.1.1 Intervalový odhad pre regresný parameter Naznačili sme ako vieme testovat vektor neznámych parametrov. Pod me sa pozriet ako by to vyzeralo ak by sme chceli testovat len jednu zložku tohto vektora. Majme daný odhad β 0. Testujme pre nejaké i {1,..., p} nulovú hypotézu H 0 : β i = β 0 proti alternatíve H 1 : β i > β 0 na hladine α. Skonštruujme najprv interval spol ahlivosti pre β i s dĺžkou d a koeficientom spol ahlivosti 1 α. Nech v ij označuje prvok v matici (X n X n ) 1 na (i,j)-tej pozícii Definujme N = max { m, } z 1 Sm + 1 z = d v ii t m p(α/), (4.11) Uvedomme si, že hodnoty v ii sa nemenia, lebo matica X n je pevne daná. Definujme β N rovnako ako v (4.6). Pripomeňme, že tento vektor má pri danom Sm podmienené normálne rozdelenie N p [β, zsm σ (X n X n ) 1 )] a je na Sm nezávislé. Potom analógiou vety 3.1 pre zložky vektora β N platí: T N i = β N i β i σ zv ii S m (m p)s m σ (m p) = β N i β i zvii t m p. Nech t m p (α/) označuje kritickú hodnotu t rozdelenia s m p stupňami vol nosti na hladine α/. Potom pre každé i = 1... p je β N i t m p (α/) zv ii intervalovým odhadom pre neznámy parameter β i s koeficientom spol ahlivosti 1 α. Požadujeme, aby tento interval spol ahlivosti pre parameter β i bol dlhý maximálne d. Musí teda platit t m p (α/) zv ii d, čo je ekvivalentné nerovnosti z d v ii t m p(α/). (4.1) Z posledného vzt ahu je vidiet ako sme dospeli k vol be z pri definovaní náhodnej veličiny N v (4.11). 4

4.1. Test pre regresný parameter Chceme skonštruovat test pre parameter β i. Preto musíme zvolit z tak, aby pravdepodobnosti chýb prvého aj druhého druhu boli obmedzené. Pripomeňme, že testujeme hypotézu H 0 : β i = β 0 proti alternatíve H 1 : β i > β 0 na hladine α. Naša testová štatistika v tomto prípade vyzerá: T N i = β N i β 0 zvii (4.13) Za platnosti hypotézy H 0 platí Ti N t m p. Tým pádom našu hypotézu zamietame na hladine α, ked platí Ti N > t m p (α). Ak skutočný parameter β i poznáme, tak môžme Ti N rozpísat nasledovne T N i = β N i β i zvii + β i β 0 zvii (4.14) β i Vieme, že β i N zvii má t rozdelenie s m p stupňami vol nosti. Sila testu nulovej hypotézy proti jednostrannej alternatíve H 1 pre β i β 0 δ, δ > 0 sa rovná: ( ) β(β i β 0 ) = P β,σ Ti N > t m p (α) ( βn = P i β i β,σ + β i β ) 0 > t m p (α) zvii zvii ( βn = P i β i β,σ > t m p (α) β i β ) (4.15) 0 zvii zvii ( βn P i β i β,σ > t m p (α) δ ) zvii zvii Vidíme, že sila testu nezávisí na σ. Chceme nájst také z, aby platilo ( βn P i β i β,σ > t m p (α) δ ) = 1 β. (4.16) zvii zvii Vieme, že β N i β i zvii má t rozdelenie s m p stupňami vol nosti. Musí teda platit t m p (α) δ zvii = t m p (1 β) ekvivalentnými úpravami dostávame z = δ v ii [t m p (α) t m p (1 β)]. (4.17) Z tejto vol by pre z potom platí, že β(β i β 0 ) 1 β. Tým pádom pre β i β 0 δ je pravdepodobnost chyby druhého druhu nanajvýš β. Na záver mojej bakalárky uvádzam preskočené dôkazy o rozdelení náhodných veličín J N z (4.5) a β N z (4.6). 5

Veta 4.1. Pri danom S m má J N, definované v (4.5), podmienené normálne rozdelenie N n (X n β, zs m σ I n ) a je nezávislé na S m. Dôkaz. E β,σ ( JN S m) = a0 E β,σ ( Ym S m ) + N = a 0 E β,σ ( Ym ) + N = a 0 X n β + [ = X n β a 0 + N k=m+1 N k=m+1 Var β,σ (J N S m) = a 0Var β,σ Y m + = a 0σ I n /m + = σ I n (a 0/m + (4.4) = zs m σ I n k=m+1 k=m+1 a k X n β ( ) a k E β,σ Yk Sm a k E β,σ ( Yk ) a k ] (4.4) = X n β; N k=m+1 N k=m+1 N k=m+1 a kvar β,σ Y k a kσ I n a k) Veta 4.. Pri danom S m má β N, definované v (4.6), podmienené normálne rozdelenie N p [β, zs m σ (X n X n ) 1 )] a je nezávislé na S m. Dôkaz. E β,σ ( βn S m) = (X n X n ) 1 X n E β,σ ( JN S m (4.1) = (X n X n ) 1 X n X n β = β ) Var β,σ ( β N S m) = (X n X n ) 1 X n Var β,σ (J N S m)[(x n X n ) 1 X n ] (4.1) = (X n X n ) 1 X n zs m σ I n X n [(X n X n ) 1 ] = (X n X n ) 1 X n X n zs m σ (X n X n ) 1 = zs m σ (X n X n ) 1. 6