Univerzita Karlova v Praze Matematicko-fyzikální fakulta. Katarína Starinská. Katedra pravděpodobnosti a matematické statistiky

Transcript

1 Univerzita Karlova v Praze Matematicko-fyzikální fakulta DIPLOMOVÁ PRÁCE Katarína Starinská Detekce změn v časových řadách Katedra pravděpodobnosti a matematické statistiky Vedoucí diplomové práce: Doc. RNDr. Zuzana Prášková, CSc. Studijní program: Matematika Studijní obor: Pravděpodobnost, matematická statistika a ekonometrie Studijní plán: Ekonometrie Praha 200

2 Na tomto mieste by som rada pod akovala vedúcej diplomovej práce, paní doc. RNDr. Zuzane Práškovej, CSc., za jej cenné rady a pripomienky, ktoré mi pri tvorbe pomáhali, a taktiež za jej trpezlivost a ochotu. Taktiež by som chcela pod akovat rodine za ich podporu pri štúdiu. Prehlasujem, že som svoju diplomovú prácu napísala samostatne a výhradne s použitím citovaných prameňov. Súhlasím so zapožičaním práce a jej zverejňovaním. V Prahe dňa Katarína Starinská 2

3 Obsah Úvod 6 2 Metódy odvodenia testových štatistík 7 2. Metóda podielom vierohodností Pseudo-Bayesovská metóda Kritické hodnoty Detekovanie zmeny v parametroch regresného modelu 5 3. Zmena v regresných parametroch Zmena v regresných parametroch a/alebo rozptyle modelu Testovanie zmien v parametroch a ráde autoregresného modelu(ar) 9 4. Testy založené na vierohodnostnom pomere Testy zmeny v autoregresných parametroch - alternatívny prístup Centrovaný tvar Necentrovaný tvar Celočíselné autoregresné postupnosti 3 6. Náhodné operátory Procesy INAR a GINAR Vyjadrenie procesu GINAR(p) ako AR(p) Simulácie AR(p) AR(p) - alternatívny prístup Jednostranná alternatíva Obojstranná alternatíva Porovnanie metód Spol ahlivost metód Sila testov Celočíselné autoregresné procesy Záver 62 3

4 Literatura 64 A Pomocné definície a tvrdenia 66 A. Vytvorujúca funkcia a náhodný súčet A.2 Wienerov proces B Vybrané hodnoty distribučnej funkcie sup B t 68 C Naprogramované funkcie 69 4

5 Názov práce: Detekce změn v časových řadách Autor: Katarína Starinská Katedra: Katedra pravdepodobnosti a matematickej štatistiky Vedúci diplomovej práce: doc. RNDr. Zuzana Prášková, CSc. vedoucího: Zuzana.Praskova@mff.cuni.cz Abstrakt: V predloženej práci študujeme rôzne metódy detekovania zmien v parametroch autoregresného procesu (AR). Jedná sa konkrétne o zmeny v strednej hodnote a v autoregresných koeficientoch, ale aj o zmeny v rozptyle bieleho šumu. Táto práca ponúka dva prístupy k tomuto problému. Prvý z nich je založený na metóde podielom vierohodnosti a druhý je založený na asymptotickom správaní sa skórových štatistik odvodených z vierohodnostnej funkcie. Ďalej sa táto práca zaoberá zobecnenými nezápornými celočíselnými autoregresnými procesmi typu GINAR definovanými pomocou Steutelovho a van Harnovho operátora, ktoré je za určitých predpokladov možné vyjadrit v tvare AR procesu. V závere práce sa venujeme významnosti a sile skúmaných testov na detekovanie bodov zmeny v AR procesoch a ich použitel nosti na procesy GINAR aj napriek porušeniu niektorých predpokladov. Klíčová slova: bod zmeny, AR(p), GINAR(p), logaritmicko-vierohodnostná funkcia Title: Detection of changes in time series Author: Katarína Starinská Department: Department of Probability and Mathematical Statistics Supervisor: doc. RNDr. Zuzana Prášková, CSc. Supervisor s address: Zuzana.Praskova@mff.cuni.cz Abstract: In the present work we study different methods for testing whether or not a change has occurred in the parameter values of an autoregressive model (AR). We discuss the changes in the mean and in the autoregressive coefficients of this model and also the changes in the variance of the white noise. This work presents two approaches to this problem. The first one is based on the Gaussian likelihood ratio and the second one is based on asymptotical behavior of the score statistics derived from likelihood function. Further, we consider the generalized integer nonnegative autoregressive model (GINAR) defined by Steutel and van Harn random operator which can be written as an AR process under some conditions. Finally we study the significancy and the power of these tests to detect the change point in the AR processes and their application to the GINAR processes despite the violation of some assumptions. Keywords: change point, AR(p), GINAR(p), log-likelihood function 5

6 Kapitola Úvod Väčšinu pozorovaných dát je možné popísat rôznymi modelmi, pomocou ktorých môžeme predpovedat budúce hodnoty pozorovanej veličiny. Najjednoduchším modelom je lineárny regresný model. Pre väčšinu finančných dát sa však viac hodí autoregresný model, ktorý zohl adňuje minulé hodnoty pozorovanej postupnosti až do nejakého času. Po tomto čase môžeme predpokladat, že vplyv týchto hodnôt je zanedbatel ný. Aby sme dosiahli čo najpresnejšiu predpoved, musíme správne odhadnút tvar (pri autoregresných modeloch sa jedná o rád modelu) a parametre modelu. Parametre modelu sa môžu po čase zmenit a v prípade, že túto zmenu nezohl adníme, pokazíme presnost odhadov, a tým spôsobíme nepresnost predpovedí. V tejto práci sa budeme venovat detekovaniu bodov zmeny v parametroch modelu. V prvej kapitole si pre model, v ktorom sa pozorované hodnoty správajú približne ako konštanta, odvodíme testové štatistiky na odhalenie bodov zmeny dvoma metódami - metódou podielom vierohodností a pseudo-bayesovskou metódou. V druhej kapitole sa pozrieme na detekovanie zmien v lineárnom regresnom modeli a v tretej a štvrtej kapitole prejdeme k autoregresnému modelu. V piatej kapitole sa zameriame na celočíselné postupnosti generované pomocou náhodných operátorov a ich vyjadrenie ako autoregresné postupnosti s nekorelovaným bielym šumom. Nakoniec urobíme numerickú štúdiu a porovnanie spomenutých metód a štatistík a ich aplikáciu na celočíselné procesy. 6

7 Kapitola 2 Metódy odvodenia testových štatistík V tejto kapitole si ukážeme dva prístupy odvodenia testových štatistík, pomocou ktorých môžeme detekovat zmeny v modeloch a v prípade zistenia zmeny, znovu odhadnút parametre, a tým spresnit predpoved budúcich hodnôt, pričom budeme vychádzat z článku [2]. Zist ovat, či nastala nejaká zmena počas pozorovania postupnosti, znamená testovat hypotézu, že proces je stacionárny, proti alternatíve, že táto stacionarita bola porušená nejakým špeciálnym spôsobom. Uvažujme najprv najjednoduchší model, že sa pozorované hodnoty správajú približne ako známa konštanta µ so známym rozptylom σ 2. Budeme testovat hypotézu, že sa v nejakom čase zmenila stredná hodnota pozorovanej postupnosti proti alternatíve, že žiadna zmena nenastala. Formálne môžeme zapísat, že testujeme nulovú hypotézu H proti alternatíve A, kde H : Y i = µ + e i i =, 2,..., n, A : m {0,,..., n } také, že Y i = µ + e i i =, 2,..., m Y i = µ + δ + e i i = m +,..., n, (2.) kde δ 0 a m sú parametre a e,..., e n sú nezávislé rovnako rozdelené náhodné veličiny s nulovou strednou hodnotou a nenulovým konečným rozptylom σ 2. Parameter m nazývame bod zmeny (change-point). Na odvodenie testových štatistík pre (2.) použijeme metódu podielom vierohodností a pseudo-bayesovskú metódu. Pre jednoduchost budeme predpokladat, že náhodné chyby {e i } sú nielen nezávislé a rovnako rozdelené, ale navyše je toto rozdelenie normálne s nulovou strednou hodnotou a jednotkovým rozptylom (e i N(0, )). Hustotu normovaného normálneho rozdelenia budeme značit φ(x) a distribučnú funkciu Φ(x). Bez ujmy na všeobecnosti môžeme taktiež predpokladat, že µ = 0. Pre µ 0 by sme namiesto Y i pracovali s veličinami X i = Y i µ. 7

8 2. Metóda podielom vierohodností Prvou metódou je metóda podielom vierohodností. Na začiatok predpokladajme, že poznáme bod zmeny m = k a označme f H (Y i ) (resp. f A (Y i )) hustotu náhodnej veličiny Y i za platnosti nulovej hypotézy (resp. alternatívnej hypotézy). Potom podiel vierohodností pre testovanie platnosti hypotézy H proti hypotéze A je L(k) = sup log δ { = sup δ n i= f A(Y i ) n i= f H(Y i ) = sup log δ 2 i=k+ (Y i δ) k i= φ(y i) n i=k+ φ(y i δ) n i= φ(y i) } i=k+ Y 2 i = ( ) 2 Y i. 2(n k) i=k+ Nulovú hypotézu H zamietame v prospech alternatívnej hypotézy A na hladine spol ahlivosti α v prípade, že L(k) > C α, kde C α je vhodne zvolená konštanta (kritická hodnota) odpovedajúca hladine významnosti α. Teda zamietame H ak platí nerovnost Y i > 2C α. n k i=k+ Označme výberový priemer prvých k pozorovaní Y k = k k i= Y i a posledných n k pozorovaní Y o k = n k n i=k+ Y i. Poznámka. Všimnime si, že Y o k je odhad konštanty δ metódou najmenších štvorcov a n k Y o k má normálne rozdelenie s nulovou strednou hodnotou a jednotkovým rozptylom. Predpokladajme, že platí model Y i = µ + e i i =, 2,..., m Y i = µ + δ + e i i = m +,..., n, potom môžeme preformulovat hypotézy do tvaru H : δ = 0 A : δ 0, resp. δ > 0. V prípade jednostrannej alternatívy (δ > 0) používame testovú štatistiku v tvare n k i=k+ a pre obojstrannú alternatívu (δ 0) v tvare Y i. (2.2) n k 8 i=k+ Y i

9 Doteraz sme uvažovali známy bod zmeny. V prípade, že tomu tak naozaj je, stačí rozdelit pozorované hodnoty na dve skupiny - pred zmenou a po zmene, a pre obe skupiny odhadnút parametre modelu zvlášt. Uvažujme d alej prípad, že nepoznáme bod zmeny m. Potom nás bude zaujímat maximum vierohodnostného pomeru max L(k) = 0 k n max sup log 0 k n = max 0 k n 2(n k) δ k i= φ(y i) n i=k+ φ(y i δ) n i= φ(y i) ( i=k+ Y i ) 2 a ako bod zmeny berieme to k, pre ktoré nadobúda L(k) maximálnu hodnotu a prekračuje zvolenú kritickú hodnotu. Najčastejšie používané testové štatistiky teda majú tvar max 0 k n { n k i=k+ Y i } = (2.3) pre testy s jednostrannou alternatívou a pre obojstrannú alternatívu to je štatistika v tvare { } max Y 0 k n i. (2.4) n k i=k+ Tieto štatistiky sa nazývajú štatistiky maximálneho typu (maximum-type statistics). 2.2 Pseudo-Bayesovská metóda Druhý prístup, ktorý si ukážeme je založený na predpoklade, že δ a m sú nezávislé náhodné veličiny so známym rozdelením. Predpokladajme teda, že poznáme apriórne rozdelenie m a nech je navyše toto rozdelenie rovnomerné, t.j. P(m = k) = /n, k =, 2,..., n a δ N(0, γ 2 ). Ďalej predpokladajme, že pri pevnej vol be parametrov δ = a a m = k je združená hustota náhodného vektoru (Y,..., Y n ) gaussovská, t.j. hustota tohto vektoru má tvar f(y,..., y n δ = a, m = k) = = = k φ(y i ) i= i= n i=k+ φ(y i a) = n n i=k+ φ(y i ) φ(y i a) n i=k+ φ(y i) i= n n (2π) /2 exp { φ(y i ) (y 2 i a) 2} (2π) /2 exp { } = i=k+ 2 y2 i { ( )} n φ(y i ) exp 2a y i + (n k)a 2, 2 i= i=k+ = 9

10 kde φ značí hustotu normovaného normálneho rozdelenia. Nepodmienenú hustotu náhodného vektoru (Y,..., Y n ) vyjadríme v tvare f(y,..., y n ) = = = = = = n φ(y i ) i= n φ(y i ) i= n φ(y i ) i= n φ(y i ) i= n φ(y i ) i= k= k= k= k= k= k n } φ(y i ) φ(y i a) { n k= γ 2π exp a2 da = 2γ 2 i= i=k+ { ( )} n γ 2π exp 2a y i + (n k)a 2 + a2 da = 2 γ 2 i=k+ { ( n γ 2π exp γ2 (n k) + a 2 2aγ 2 y 2γ 2 γ 2 i (n k) + i=k+ ( ) 2 ( ) 2 γ 2 γ 2 + y γ 2 i y (n k) + γ 2 i (n k) + = i=k+ i=k+ ( ) 2 n γ 2π exp (n k) + γ γ2 a y 2γ 2 i γ2 (n k) + i=k+ ( ) 2 γ 2 exp y 2(γ 2 i (n k) + ) = n n γ 2 2π + (n k)γ 2 i=k+ 2πγ exp 2 2(γ 2 (n k) + ) ( + (n k)γ exp γ 2 2 2(γ 2 (n k) + ) Odpovedajúci vierohodnostný pomer má tvar γ 2 i=k+ ( L = f A(y,..., y n ) f H (y,..., y n ) = f(y,..., y n ) n i= φ(y = i) ( = n + (n k)γ exp γ 2 2 2( + (n k)γ) 2 k= i=k+ ) 2 y i. i=k+ ) 2 y i ) 2 Y i. = Poznámka. Vol ba rovnomerného rozdelenia veličiny m znamená predpoklad, že model sa môže zmenit v akomkol vek sledovanom čase s rovnakou pravdepodobnost ou. Nechajme γ 0 a aplikujme Taylorov rozvoj. Potom je vierohodnostný pomer L pre obojstrannú alternatívu ekvivalentný testovej štatistike k= ( n n 0 i=k+ Y i ) 2. (2.5)

11 Takto získaná štatistika patrí medzi štatistiky nazývané testové štatistiky súčtového typu (sum-type test statistics). Pre jednostrannú alternatívu, kde a > 0, sa podobne odvodia testové štatistiky súčtového typu k= ( n n i=k+ ) Y i = n n (k )Y k. (2.6) k= 2.3 Kritické hodnoty Aby sme mohli rozhodovat o platnosti alebo zamietnutí nulovej hypotézy, musíme poznat kritické hodnoty použitej testovej štatistiky. Na ich nájdenie potrebujeme poznat rozdelenie príslušných testových štatistík za platnosti nulovej hypotézy. Začnime so štatistikou (2.3) a s predpokladom, že veličiny {Y i } sú nezávislé rovnako rozdelené náhodné veličiny s normovaným normálnym rozdelením N(0,). Potom pre každé k = 0,..., n je rozdelenie n i=k+ Y i tiež normálne a n k i=k+ Y i N(0, ), pre k = 0,..., n. Predpokladajme teda, že poznáme čas zmeny m = k a chceme rozhodnút, či sa v tomto čase zmenili parametre modelu. Pre testovanie nulovej hypotézy H : δ = 0 proti jednostrannej alternatíve A : δ > 0 na hladine významnosti α požívame nerovnost n k i=k+ Y i > u α, kde u α značí 00( α)%-tný kvantil normovaného normálneho rozdelenia N(0, ). Pre testovanie nulovej hypotézy H : δ = 0 proti obojstrannej alternatíve A : δ 0 na hladine významnosti α použijeme nerovnost Y i > u α/2, n k i=k+ kde u α/2 je 00( α/2)%-tný kvantil N(0,). Poznámka. V prípade neznámeho bodu zmeny sa pozeráme na maximum cez všetky 0 k n z príslušnej testovej štatistiky. Pre jednostrannú alternatívu to je štatistika (2.3) a pre obojstrannú alternatívu (2.4). Zjavne x R a 0 k n platí ( { } ) ( ) P max Y i > x P Y i > x. 0 k n n k n k i=k+ i=k+

12 To je dôvod, prečo zamietame nulovú hypotézu častejšie v prípade, že bod zmeny poznáme ako v prípade, že je tento bod neznámy. Poznámka. Ako čas zmeny sa uvažuje taká hodnota k, pre ktorú nadobúda štatistika n n k i=k+ Y i maximálnu hodnotu a zároveň je táto hodnota väčšia ako príslušný kvantil normovaného normálneho rozdelenia u α/2. V prípade, že je takýchto hodnôt viac, čas zmeny je najmenšie k, ktoré splňuje tieto požiadavky. Na určenie presného rozdelenia štatistiky (2.4) potrebujeme nájst rozdelenie maxima absolútnych hodnôt náhodných veličín so štandardným normálym rozdelením, ktoré sú korelované. Toto rozdelenie je však príliš komplikované a odpovedajúce kritické hodnoty sa dajú odvodit len pre malé hodnoty n. Niekedy nám môžu postačit aproximované kritické hodnoty. Na ich nájdenie použijeme Bonferroniho nerovnost : P ( max 0 k n { n k ( n P n k k=0 } ) ( n { }) Y i > C = P Y i > C k=0 n k i=k+ ) ( ) Y i > C np Y i > C. n i=k+ i=k+ Posledná nerovnost plynie z toho, že náhodné veličiny n n k i=k+ Y i majú rovnaké rozdelenie pre všetky k = 0,..., n. Vd aka týmto vzt ahom môžeme 00( α/(2n))%-ný kvantil N(0,) použit ako horný odhad kritickej hodnoty na hladine významnosti α pre problém (2.) pri použití testovej štatistiky (2.4) (ide o nulovú hypotézu proti obojstrannej alternatíve). Takto získané približné kritické hodnoty sú dobré len pre malé rozsahy výberu. V prípade väčšieho rozsahu je lepšie použit výsledky o asymptotickom správaní sa štatistiky (2.4). Podl a [2] limitné rozdelenie štatistiky (2.2) neexistuje a jej kritické hodnoty rastú do nekonečna s n, t.j. { } max Y i skoro iste pre n. 0 k n n k i=k+ To je spôsobené správaním sa postupnosti {(n k) /2 n i=k+ Y i, i =,..., n } pre k blízke n. Práve preto sa niekedy odporúčajú používat testové štatistiky useknutého maximálneho typu (trimmed maximum-type test statistics). max 0 k ( β)n { n k i=k+ Y i }, max 0 k ( β)n i= { n k i=k+ Y i }, (2.7) kde 0 < β < je zvolená malá konštanta. Výhodou týchto štatistík je, že sú obmedzené v pravdepodobnosti. Ich nevýhodou je, že sa môžu používat len v prípade, že posledných 00β% časových období nedošlo k zmene. Rozhodnutie ako volit konštantu β je na štatistikovi a jeho znalosti konkrétneho problému. 2

13 Pre vel ké n môžeme približné kritické hodnoty spočítat pomocou nasledujúcej vety o limitnom správaní sa čiastočných súčtov rovnako rozdelených náhodných veličín s nulovou strednou hodnotou a jednotkovým rozptylom. Veta 2.. Nech {X i, i < } sú nezávislé rovnako rozdelené náhodné veličiny, pre ktoré platí EX = 0 a EX 2 =. Označme S(k) = k i= X i a S(0) = 0, a n = 2 log log n a b n = 2 log log n + log log log n log π. Potom platí 2 2 lim max n a n k n k S(k) = s.i. a lim max n a n k n k S(k) = s.i. Ak navyše predpokladáme EX 2 log log( X + ) <, tak pre všetky t platí ( ) lim P a n max S(k) t + b n = exp { 2 } n k n k e t (2.8) ( ) lim P a n max S(k) t + b n = exp { e t}. (2.9) n k n k Dôkaz. [4] Potom majú pravdepodobnosti pre limitný proces takýto tvar: ( { } ) lim P max Y i > x + b n = exp { e x}, x R, (2.0) n 0 k n n k a n i=k+ kde a n a b n sú definované vo vete 2.. V prípade, že požadovaná hladina významnosti je α, tak musí platit rovnost ( { } ) lim P a n max Y i b n C(α) = exp { e C(α)} = α. n 0 k n n k i=k+ ( Z poslednej rovnosti vyjadríme kritickú hodnotu C(α) = ln Ako je uvedené v [2], pre useknuté štatistiky maximálneho typu, kde β (0, ), približné kritické hodnoty sa môžu počítat z aproximácie: ( { } ) lim P max Y i > x = 2( Φ(x)) + xφ(x) log n 0 k n( β) n k β, x R, i=k+ (2.) kde φ(x) je hustota a Φ(x) je distribučná funkcia normovaného normálneho rozdelenia. ln α ). 3

14 Kritické hodnoty získané pomocou (2.0) sú príliš konzervatívne. Zatial čo aproximácie (2.) sú presnejšie, závisia na vol be β a to tak, že s rastúcou hodnotou β sa zväčšuje ich presnost. Pre štatistiky súčtového typu, môžeme kritické hodnoty získat vd aka konvergencii v distribúcii k= ( n n i=k+ Y i ) 2 D 0 W 2 (t)dt, kde {W (t), t 0} je Wienerov proces. Rozdelenie W 2 (t)dt je študované v [3]. 0 Výpočet kritických hodnôt pre (2.6) je jednoduchý, lebo tieto štatistiky majú normálne rozdelenie a pre ich strednú hodnotu a rozptyl platí [ ] E (k )Y k = (k )E [Y k ], n n n n [ var n n k= ] (k )Y k = n 3 k= = k= k 2 2 ] k + n = [ ) k=(k 2 vary k = n 3 k= k= n(2n + )(n + ) 2n(n + ) + n 6n 3 2n 3 n = 3 3 2n + 6n. 2 4

15 Kapitola 3 Detekovanie zmeny v parametroch regresného modelu V tejto kapitole vychádzame z článkov [2] a []. Prejdeme od konštantného správania sa dát k závislosti na známych hodnotách a budeme hl adat bod zmeny v lineárnom regresnom modeli { x Y i = i β + e i k m, x iβ + x (3.) iδ n + e i m < k n, kde < m n je neznámy bod zmeny, β R p, δ n R p sú neznáme parametre, x i R p sú známe regresné vektory a e,..., e n sú nezávislé rovnako rozdelené náhodné veličiny s nulovou strednou hodnotou, rozptylom σ 2 > 0 a E e i 2+ < pre nejaké > 0. Táto zmena môže nastat ako v regresných parametroch (napr. chyba prístroja, ktorý začne merat nižšie teploty ako v skutočnosti sú), tak v rozptyle náhodných veličín e i (napr. zvýšenie teplotných výkyvov). Našou úlohou je testovat nulovú hypotézu, že nenastala zmena v parametroch modelu, teda H : m = n, proti alternatíve, že zmena nastala v nejakom čase m < n, t.j. A : m < n. V prípade zamietnutia nulovej hypotézy v prospech alternatívnej hypotézy, odhadneme bod zmeny a parametre modelu pred a po zmene. Najprv sa budeme zaoberat len zmenou v regresných parametroch. Ekvivalentná formulácia tejto úlohy je testovat nulovú hypotézu H : δ n = 0, proti alternatíve A : δ n 0 a v prípade alternatívy odhadovat bod zmeny a hodnoty parametrov pred a po zmene. ( ) X,k Zaved me si značenie X =, kde x X,k =. x k, X k+,n = X k+,n x k+. x n, Y,k = Y. Y k, Y k+,n = Y k+ Ďalej si označme odhad regresných parametrov metódou najmenších štvorcov za-. Y n. 5

16 ložený na prvých k pozorovaniach a na posledných n k pozorovaniach ˆβ,k = (X,kX,k ) X,kY,k ˆβ k+,n = (X k+,nx k+,n ) X k+,ny k+,n. Nakoniec označme odhad rozptylu pre prvých k pozorovaní a pre posledných n k pozorovaní ˆσ 2,k = k Y,k X,k ˆβ,k 2 ˆσ 2 k+,n = n k Y k+,n X k+,n ˆβk+,n 2, kde x = n i= x2 i značí Euklidovskú normu n-rozmerného vektoru x = (x,..., x n ). 3. Zmena v regresných parametroch Testová štatistika na detekovanie zmeny v regresných parametroch, ktorú spomenieme v tejto časti, bude skonštruovaná metódou podielu vierohodností. Aby sme mohli použit vierohodnostnú funkciu, predpokladajme, že náhodné veličiny e,..., e n majú normálne rozdelenie s nulovou strednou hodnotou a rozptylom σ 2, ktorý bude neznámy, ale nemenný aj pri zmene regresných parametrov modelu. Podiel logaritmicko-vierohodnostných funkcií pre nulovú hypotézu a alternatívu je log ( n i= f A(Y i )) log ( n i= f H(Y i )) = 2σ 2 Y,k X,k ˆβ,k 2 2σ 2 Y k+,n X k+,n ˆβk+,n 2 = kˆσ2,k + (n k)ˆσ2 k+,n. nˆσ,n 2 2σ 2 Y,n X,n ˆβ,n 2 Testová štatistika, ktorú hl adáme je maximum z n log tohto podielu a má tvar { k n V n0 = max n log ˆσ2,k + } n k n ˆσ2 k+,n. (3.2) p<k<n p Ďalšia možná konštrukcia testových štatistík je pomocou čiastočných súčtov S k = (S k,..., S kp ) = k i= x i (Y i x i ˆβ ),n alebo čiastočných súčtov reziduí S k0 = k i= (Y i x i ˆβ,n ). Takto skonštruované štatistiky môžeme nájst v [2]. Nasledujúca veta nám hovorí o limitnom správaní sa testovej štatistiky V n0 za platnosti nulovej hypotézy. 6 ˆσ 2,n

17 Veta 3.. Nech pozorovania Y,..., Y n vyhovujú modelu 3. a nech nenastala zmena v parametroch tohto modelu, teda platí nulová hypotéza H 0 : m = n. Označme a n = 2 log log n a bn (p) = 2 log log n + p log log log n log Γ ( p 2 2). Nech d alej platí, že { } (log(j i)) κ lim sup X n j i i,jx i,j Q(j i) < i < j n, j i b n = 0, (3.3) kde Q je pozitívne semidefinitná matica, κ > 0, {b n } je l ubovol ná postupnost, ktorá splňuje b n n a b n pre n. Potom pre y R platí Dôkaz. [9] a [6] lim P (a nv n0 b n (p) + y) = exp{ 2e y }. n Poznámka. Vidíme, že limitné rozdelenie nezávisí na náhodných chybách ani na matici X,n. Hodnoty distribučných funkcií sa síce dajú jednoducho spočítat, ale konvergencia je vel mi pomalá. 3.2 Zmena v regresných parametroch a/alebo rozptyle modelu Ako už bolo spomenuté, zmena môže nastat nielen v regresných parametroch, ale aj v rozptyle. Uvažujme model Y i = { x i β + σe i, k m x iβ + x iδ n + (σ + h n )e i, m < k n, (3.4) kde m je neznámy bod zmeny, β, δ n sú regresné parametre, x i R p sú známe regresné vektory, σ > 0, h n sú parametre a e,..., e n sú nezávislé rovnako rozdelené náhodné veličiny s nulovou strednou hodnotou, jednotkovým rozptylom a E e 4+ < pre nejaké > 0. Aby model zaznamenával zmenu v regresných parametroch a/alebo v rozptyle, musíme predpokladat δ n 0 a/alebo h n 0 a zároveň < m < n. Formálny zápis nulovej a alternatívnej hypotézy je H : m = n A : δ n 0 a/alebo h n 0 a < m < n. Testy sú taktiež založené na metóde podielom vierohodností a odhady vychádzajú z metódy maximálnej vierohodnosti a z predpokladu normality pozorovaní. Priamym výpočtom sa dostaneme k štatistike Z n = max { 2 log Λ k}, p k n p 7

18 kde Λ k = ˆσk,kˆσn k k+,n ˆσ,n n, p k n p. Pozrime sa na limitné správanie sa tejto štatistiky. Veta 3.2. Nech sú splnené predpoklady Vety 3.. Potom platí Dôkaz. [9] lim P ( a n Zn /2 t + b n (p + ) ) = exp { 2e t}, t R. n Nasledujúca veta nám dáva možnost skonštruovat aproximáciu intervalového odhadu pre bod zmeny ak nahradíme δ n a h n vhodnými odhadmi. Veta 3.3. Nech Y,..., Y n spĺňajú model (3.4) a nech platí (3.3) a δ n 0,, h n 0, nh 2 n log log n. Potom n δ n 2 log log n ( σ 2 δ nqδ n + 2 ( hn )) 2 σ 2 σ 2 δ nqδ n + h n σ 2 x n δ n m 3 + ( h n kde x n = n n i= x i, m j = Ee j, j = 2, 3 a 2σ 2 ) 2 (m4 ) ( ˆm m) D V /2,/2, { [ V /2,/2 = arg max W (t) t 2 t<0 + ] } 2 t>0 ; t R pričom {W (t), t R} je obojstranný Wienerov proces a A je indikátor množiny A. Dôkaz. [0] 8

19 Kapitola 4 Testovanie zmien v parametroch a ráde autoregresného modelu(ar) Mnoho časových dát môžeme modelovat pomocou autoregresných postupností, pretože súčasná hodnota je často ovplyvnená minimálne hodnotou v predchádzajúcom časovom okamihu. V tejto kapitole čerpáme z článku [6]. Najjednoduchším modelom, ktorý berie v úvahu minulé pozorovania je autoregresný model rádu p Y t = α 0 + α Y t α p Y t p + ε t, (4.) kde {ε t } značí biely šum s nulovou strednou hodnotou a konečným nenulovým rozptylom. Nech Y,..., Y n je n po sebe idúcich pozorovaní, ktoré splňujú model AR(p), v ktorom nastala zmena v čase τ (p, n] Y t = α 0 + α Y t α p Y t p + ε t, < t τ, = α 0 + α Y t α py t p + ε t, t τ +, (4.2) kde {ε t } je biely šum s konečnými štvrtými momentmi taký, že pre všetky i j k l platí E(ε i ) = 0, (4.3) { σ 2, pre i = j, E(ε i ε j ) = (4.4) 0, pre i < j, { µ3, pre i = j = k, E(ε i ε j ε k ) = (4.5) 0, inak, µ 4, pre i = j = k = l, E(ε i ε j ε k ε l ) = σ 4, pre i = j < k = l, (4.6) 0, inak 9

20 p a polynóm α(z) = α z... α p z spĺňa podmienku kauzality, α(z) 0 pre každé z. Poznámka. Aj ked predpokladáme, že rád modelu p je známy, nemusí to byt vždy pravda. V prípade, že tomu tak nie je, stačí nám poznat hornú hranicu pre skutočný rád modelu. Ďalej sa budeme zaoberat testovaním nulovej hypotézy, že nenastala zmena v parametroch modelu (H : τ = n), proti alternatívnej hypotéze, že sa zmenil nejaký z parametrov v čase τ < n (A : τ < n), pričom budeme skúmat testovú štatistiku získanú pomocou podielu vierohodností za platnosti nulovej hypotézy. 4. Testy založené na vierohodnostnom pomere V tejto časti sa pozrieme na limitné správanie sa štatistík získaných pomocou podielu vierohodností na testovanie hypotézy, či nastala alebo nenastala zmena v parametroch autoregresného modelu. Predpokladajme, že σ 2 = a uvažujme nulovú hypotézu, že sa žiaden z parametrov modelu nezmenil H : τ = n, proti alternatívnej hypotéze, že k zmene došlo v známom čase k, A : τ = k. Označme vektor parametrov pred zmenou α = (α 0,..., α p ) a po zmene α = (α0,..., αp). Vyjadrime podiel vierohodností v závislosti na prvých p pozorovaniach a z toho vezmime 2 ln Λ n (k) := 2 ln ( L(n) L(k) ) = inf α inf α inf α (Y t α 0 α Y t... α p Y t p ) 2 t=p+ k (Y t α 0 α Y t... α p Y t p ) 2 t=p+ (Y t α0 αy t... αpy t p ) 2 = t=k+ = Q Q 2 Q 3, kde Q = Y ny n Y nm n (M nm n ) M ny n, Q 2 = Y ky k Y km k (M km k ) M ky k, Q 3 = Ỹ kỹk Ỹ M k k ( M k M k ) M k Ỹ k, Y k = (Y p+,..., Y k ), Ỹ k = (Y k+,..., Y n ), Y p Y p Y Y p+ Y p Y 2 M k =.... Y k Y k 2 Y k p 20

21 a nakoniec Y k Y k Y k p+ Y k+ Y k Y k p+2 M k =..... Y n Y n 2 Y n p Označme ešte e k = (ε p+,..., ε k ) a ẽ k = (ε k+,..., ε n ). Potom pri platnosti H (nenastala zmena) dostávame Y n = M n α + e n a členy Q, Q 2 a Q 3 môžeme prepísat do tvaru Q = e ne n e nm n (M nm n ) M ne n, Q 2 = e ke k e km k (M km k ) M ke k, Q 3 = ẽ kẽk ẽ k M k ( M k M k ) M k ẽ k. Nakoniec označme S k = M k e k, P k = (M k M k) a P k = ( M k M k ). Potom platí Λ n (k) = S np n S n + S kp k S k + (S n S k ) Pk (S n S k ). (4.7) Definícia 4.. Bud {X t } = {..., X t, X t, X t+,...} postupnost náhodných veličín. Definujme funkciu ρ ako funkciu splňujúcu ρ(n) = sup { P(A B) P(A)P(B) : < t <, A X t, B X t+n}, kde X b a, a < b značí sigma-algebru generovanú náhodnými veličinami {X a,..., X b }. Hovoríme, že postupnost {X t } má vlastnost strongly mixing ak ρ(n) 0 pre n. Poznámka. Táto definícia znamená, že ak vezmeme dve realizácie procesu dostatočne od seba vzdialené, tak výskyt týchto realizácií je takmer nezávislý. Poznámka. Funkcia ρ sa v anglicky písanej literatúre nazýva strongly mixing function. Ked že sa nepodarilo nájst slovenský ekvivalent tohto názvu, budeme ju aj nad alej nazývat funkcia ρ. Veta 4.2. Bud {Y t } kauzálny autoregresný proces rádu p splňujúci model Y t = α 0 + α Y t α p Y t p + ε t, < t <, kde {ε t } spĺňa podmienky (4.3) - (4.6), σ2 = a sup t E ε t 4+δ < pre nejaké 0 < δ. Nech {Y t } je strongly mixing s mixing funkciou ρ(n) = O(n (+ε)(+4/δ) ) pre nejaké ε > 0. Potom pre Q n (t) = Λ n ([nt]), 0 < t < t 2 < a n platí kde W(t) značí (p + )-rozmerný Brownov pohyb. D W(t) tw() 2 Q n (t), (4.8) t( t) 2

22 Dôkaz. [6] Poznámka. Aby bola splnená vlastnost strongly mixing procesu {Y t } z definície (4.), stačí použit nejakú z postačujúcich podmienok pre proces {ε t } ako napríklad predpoklad, že {ε t } sú nezávislé rovnako rozdelené náhodné veličiny so známou distribučnou funkciou, ktorá má netriviálne a absolútne spojité komponenty (vid. [3]). Pozrime sa bližšie na správanie sa štatistiky Λ n. Pre dva hraničné prípady, t = 0 a t =, je proces v (4.8) rovný a Λ n nebude konvergovat v prípade, že ju neupravíme. Veta 4.3. Bud {Y t } postupnost splňujúca (4.2), pre ktorý pri platnosti nulovej hypotézy (nenastala žiadna zmena) platí, že {ε t } splňuje (4.3) - (4.6) a sup t E ε t 4+δ < pre nejaké 0 < δ. Nech d alej postupnost {Y t } má vlastnost strongly mixing s funkciou ρ(n) = O(n (+ε)(+4/δ) ) pre nejaké ε > 0. Potom za platnosti nulovej hypotézy platí [ lim P n a n ( ) σ Λ 2 n b n (p + ) ] x = exp( 2e x/2 ), kde Λ n = max p<k n Λ n (k) je štatistika získaná metódou podielu vierohodností, b n (d) = (2 ln ln n + (d/2) ln ln ln n ln Γ(d/2)) 2 b /(2 ln ln n) a a n (d) = n(d) sú normovacie 2 ln ln n konštanty a Γ( ) značí funkciu gamma. Dôkaz. [6] V prípade neznámeho rozptylu σ 2 má štatistika získaná podielom vierohodností tvar min p<k n ( Q2 + Q 3 Q ) (n p)/2 = ( = n p max p<k n ( n p max p<k n ˆσ (Q 2 Q 2 Q 3 ) ) (n p)/2 ˆσ Λ n(k), 2 ) (n p)/2 kde ˆσ 2 = Q n p. Test založený na tejto štatistike je rovnaký ako test založený na štatistike Λ n = σ2 ˆσ max 2 p<k n σ 2 Λ n (k), pričom pre vel ké hodnoty Λ n zamietame nulovú hypotézu. V prípade platnosti nulovej hypotézy sme tento prípad previedli na predošlú vetu, pretože max p<k n σ 2 Λ n (k) má rovnaké rozdelenie ako Λ n pri σ 2 = a navyše σ 2 /ˆσ 2 = + O p (n /2 ). Uvažujme teraz prípad, že so zmenou parametrov nastane aj zmena rádu autoregresného modelu. Nech je teda rád modelu pred zmenou p 0 a po zmene p, pričom hodnoty p 0 a p sú známe. Pre p 0 > p ide o prípad, že parametre α p +,..., α p 0 sú po zmene nulové. Ako bolo spomenuté na začiatku kapitoly, nemusíme poznat presný rád modelu, ale stačí 22

23 nám horný odhad rádu, a to môžeme využit v tomto prípade. Zvolíme rád modelu p = max(p 0, p ) a aplikujeme vyššie popísanú teóriu. Pre p 0 < p štatistika získaná podielom vierohodností má tvar max Λ n(k) = max {inf p <k n p <k n α inf α inf α t=p 0 + k t=p 0 + t=k+ (Y t α 0 α Y t... α p0 Y t p0 ) 2 (Y t α 0 α Y t... α p0 Y t p0 ) 2 ( Yt α 0 α Y t... α p Y t p ) 2}. Veta 4.4. Nech sú splnené predpoklady Vety 4.3 a nech p 0 < p. Za predpokladu platnosti nulovej hypotézy platí pre 0 < t < t 2 < a n { max σ Λ n(k) D W (t) 2 max + W () W (t) 2 2 [nt ] k [nt 2 ] t t t 2 t t W () 2 + W 2() W 2 (t) 2 t kde W (t) a W 2 (t) sú nezávislé Wienerove procesy s dimenziou p 0 + resp. p p 0. Dôkaz. [6] Veta 4.5. Nech platia predpoklady Vety (4.4). Potom platí [ ] ˆσ 2 lim P max p <k n Λ n (k) b n (p + ) x = exp{ e x/2 }, n a n (p + ) kde ˆσ 2 = Q /(n p 0 ) je odhad rozptylu σ 2. Dôkaz. [6] Ďalším rozšírením modelu je pripustenie zmeny rozptylu reziduálnej zložky, t.j. budeme uvažovat model }, Y t = α 0 + α Y t α p Y t p + ε t, < t τ, = α 0 + α Y t α py t p + ε t, t τ +, (4.9) kde p 0 p, τ (p, n], postupnosti {ε t, t τ} a {ε t, t > τ} značia biely šum štvrtého rádu a platí pre ne Eε t = 0, Eε 2 t = σ 2 0 a Eε t = 0, E(ε t ) 2 = σ 2. Podobne ako na začiatku, získame testovú štatistiku ako 2 ln z vierohodnostného podielu pre test nulovej hypotézy τ = n proti τ = k v závislosti na prvých p 0 pozorovaniach. Λ n(k) = (n p 0 ) ln ˆσ 2 (k p 0 ) ln ˆσ 2 0(k) (n k) ln ˆσ 2 (k), (4.0) 23

24 kde ˆσ 2 = Q /(n p 0 ), ˆσ 2 0(k) = Q 2 /(k p 0 ), ˆσ 2 (k) = Q 3 (n k) sú odhady rozptylov príslušných častí postupností a Q = min α Q 2 = min α Q 3 = min α t=p 0 + k t=p 0 + (Y t α 0 α Y t... α p0 Y t p0 ) 2, (Y t α 0 α Y t... α p0 Y t p0 ) 2, (Y t α0 αy t... αp 0 Y t p0 ) 2. t=k+ Veta 4.6. Nech {Y t } spĺňa model (4.9). Nech za platnosti nulovej hypotézy {ε t} spĺňa podmienky (4.3) - (4.6) a nech µ 3 = Eε 3 t = 0 a µ 4 = Eε 4 t = 3σ 4 (= 3σ 4 0). Označme Λ n = max{λ n(k) : min(2p 0 +, p ) < k n p 2}. Ak p = p 0 = p, tak za platnosti nulovej hypotézy platí [ ] Λ lim P n b n (p + 2) x = exp{ 2e x/2 }. n a n (p + 2) Ak p 0 < p, tak za platnosti nulovej hypotézy platí [ ] Λ lim P n b n (p + 2) x = exp{ 2e x/2 }. n a n (p + 2) Dôkaz. [6] Predpoklady na momenty z predošlej vety znamenajú, že {ε i } je Gaussovský biely šum. Ak by nebola splnená podmienka na štvrtý moment bieleho šumu (4.6), tak pomocou Taylorovho rozvoja môžeme získat hrubú aproximáciu štatistiky Λ n(k) tak, že zanedbáme asymptoticky nevýznamné členy a dostaneme tvar σ 2 (Q Q 2 Q 3 ) + (k p 0)(n k) (n p 0 )(2σ 4 ) (ˆσ2 0(k) ˆσ 2 (k)) 2. Nahradením výrazu 2σ 4 výrazom µ 4 σ 4 limitné rozdelenie nebude závisiet na µ 4 /σ 4. Konečný tvar štatistiky je pričom Λ n = max Λ n(k), (4.) max(2p 0 +,p )<k n p 2 Λ n(k) = ˆσ 2 (Q Q 2 Q 3 ) + (k p 0)(n k) (n p 0 )(R n σ 4 ) (ˆσ2 0(k) ˆσ 2 (k)) 2, kde ˆσ 2 = Q /(n p 0 ) a R n je taký odhad µ 4, ktorý splňuje R n µ 4 = O p (/ n). 24

25 Veta 4.7. Nech {Y t } spĺňa model (4.9). Nech za platnosti nulovej hypotézy {ε t} spĺňa podmienky (4.3) - (4.6) a nech µ 3 = Eε 3 t = 0. Potom za platnosti nulovej hypotézy platí [ ] Λ lim P n b n (p + 2) = exp { 2e x/2}, ak platí p 0 = p = p, n a n (p + 2) [ ] Λ lim P n b n (p + 2) = exp { e x/2} (4.2), ak platí p 0 < p. n a n (p + 2) Dôkaz. [6] 25

26 Kapitola 5 Testy zmeny v autoregresných parametroch - alternatívny prístup V tejto kapitole sa pozrieme na prístup k problematike detekovania bodov zmeny v parametroch autoregresných postupností z článku [8]. 5. Centrovaný tvar Nech postupnost {Y i } splňuje autoregresný model rádu p v tvare Y i µ = α (Y i µ) α p (Y i p µ) + ε i, i Z, (5.) kde {ε i } je Gaussovský biely šum s nezávislými rovnako rozdelenými zložkami, nulovou strednou hodnotou a rozptylom E[ε 2 ] = σ 2. Predpokladajme d alej, že poznáme hodnoty Y p+, Y p+2,..., Y 0. Označme vektor parametrov ξ = (µ, σ 2, α,..., α p ) T. Naším ciel om je zistit zmenu v nejakej zložke vektoru ξ. Hustota náhodnej veličiny Y i pri pevných hodnotách Y i,..., Y i p je hustota normálneho rozdelenia ( ) f(y i Y i,..., Y i p ) = (2πσ 2 ) /2 exp 2 p Y 2σ 2 i µ α j (Y i j µ) pre i =,..., n. Potom združená hustota Y,..., Y k pri daných hodnotách Y 0, Y,..., Y p+ je [ ] f(y,..., Y k Y 0,..., Y p+ ) = ( 2πσ 2 ) exp k 2 k p Y 2σ 2 i µ α j (Y i j µ). Vierohodnostná funkcia má formálne rovnaký tvar ako táto podmienená hustota a logaritmicko-vierohodnostná funkcia vytvorená pomocou Y p+,..., Y 0, Y,..., Y k je [ l k (ξ) = k 2 log 2π k 2 log σ2 2 k p Y i µ α j (Y i j µ)]. 2 i= 26 i= j= j= j=

27 Poznámka. V prípade, že {ε i } nebude Gaussovský biely šum, tak vierohodnostná funkcia sa stáva kvazivierohodnostnou funkciou a musíme špecifikovat konečnost momentov. Označme d alej skórový vektor ξ l k (Y,..., Y k, ξ) = ξ l k (ξ) vektor derivácií logaritmicko-vierohodnostnej funkcie so zložkami µ l k(ξ) = p j= α [ ] j k p Y σ 2 i µ α j (Y i j µ), i= j= [ σ l k(ξ) = k 2 2σ + 2 k p Y 2 2σ 4 i µ α j (Y i j µ)], i= j= [ ] l k (ξ) = k p Y α s σ 2 i µ α j (Y i j µ) (Y i s µ), s =,..., p. i= j= ( [ ]) f Informačná matica I(ξ) = E i (Y,ξ) f j (Y,ξ) p+2 ( [ ]) p+2 = E 2 ln f(y,ξ) f(y,ξ) f(y,ξ) ξ i,j= i ξ j, kde i,j= f(y, ξ) = f(y i Y i,..., Y i p ) a f i(y, ξ) je derivácia funkcie f podl a i-tej zložky vektoru ξ, má tvar ( p I(ξ) = I(µ, σ 2 σ, α,..., α p ) = 2 j= α j) σ Γ je variančná matica vektoru (Y,..., Y p ) T. Nech odhady ˆξ n = (ˆµ n, ˆσ n, 2 ˆα,..., ˆα p ) sú maximálne vierohodné odhady, ktoré získame vyriešením rovníc ξ j l n (ξ) = 0, j =,..., p + 2. Nakoniec zaved me pričom [x] značí celú čast čísla x. σ 2 Γ ˆB(u) = n /2 I /2 l µ [nu](ˆξ n ) (ˆξ n ) l σ 2 [nu] (ˆξ n ), (5.2) α l [nu] (ˆξ n ) Veta 5.. Nech postupnost {Y i } spĺňa model (5.), pričom {ε i} je Gaussovský biely šum, var(ε i ) = σ 2 a charakteristický polynóm α(z) = α z... α p z p má všetky svoje korene mimo jednotkový kruh ( z > ). Potom existuje (p + 2)-rozmerný Gaussovský proces B(u), ktorého zložky B (j) (u), j =,..., p + 2 sú nezávislé Brownove mostíky taký, že max sup ˆB (j) (u) B (j) (u) = o p (). Dôkaz. [8] j p+2 0 u 27

28 Predchádzajúca veta nám hovorí, že rozdelenie štatistiky sup ˆB j (u) môžeme aproximovat rozdelením suprema Brownových mostíkov sup B (j) (u) pre každé j =, 2,..., p+ 2. Pre testovanie zmeny v d parametroch súčasne budeme používat hladinu významnosti α = ( α) /d pre každú zložku, aby bola dosiahnutá celková hladina významnosti α. Ukážme si, ako sa k takému výrazu dostaneme. Predpokladajme, že nenastala zmena v parametroch autoregresného modelu (platí nulová hypotéza H) a označme T i nejaké testové štatistiky pre testovanie zmeny v i-tom parametri, kde i =,..., d. Zaujíma nás prípad, že nastala zmena, ale nezáleží nám na tom, ktorý parameter sa zmenil, t.j. zaujímame sa o to, či maximálna hodnota zo spočítaných hodnôt T i prekročí kritickú hodnotu C (pre jednostrannú alternatívu by sme sa zaujímali o nerovnost T i > C). Nech je celková hladina významnosti α, potom P H ( max i=,...,d T i > C) = P( max i=,...,d T i > C H) = α. Nech sú štatistiky T i nezávislé a rovnako rozdelené a platí ( ) ( ) P H max T i > C = P H max T i C = P H ( T i C, i =,..., d) = i=,...,d i=,...,d d d = P H ( T i C) = ( P H ( T i > C)) = [ P H ( T i > C)] d. i= i= Označme α hladinu významnosti pre testovanie zmeny v jednotlivých parametroch s kritickou hodnotou C. Potom porovnaním začiatku a konca výpočtov a dosadením zavedeného značenia dostaneme α = ( α ) d a vyjadrením α z tejto rovnosti dostaneme požadovaný vzt ah α = ( α) /d. Na testovanie jednostrannej alternatívy použime nerovnost sup 0 u ˆB (j) (u) C (α ). (5.3) V prípade platnosti tejto nerovnosti usudzujeme, že nastala zmena v parametri ξ j v postupnosti Y..., Y n. Kritickú hodnotu C (α ) získame zo vzt ahu ( ) P sup 0 u B () (u) x = exp ( 2x 2 ). (5.4) 28

29 Veta 5.2. Nech {B t, t 0} je Brownov most. Potom pre b > 0 platí Dôkaz. [7] ( ) P sup B t b 0 t = 2 ( ) k+ exp{ 2n 2 b 2 }. k= Pre obojstranný test použijeme nerovnost sup ˆB (j) (u) C 2 (α ), (5.5) 0 u ktorá ak platí, tak usudzujeme, že nastala zmena v parametri ξ j pre postupnost Y,..., Y n. Kritickú hodnotu C 2 (α ) získame zo vzt ahu podl a Vety 5.2. ( ) P sup B () (u) > x = 2 ( ) k+ e 2k2 x 2. 0 u V štatistických tabul kách [4] môžeme nájst tabelované hodnoty distribučnej funkcie pre sup 0 u B () (u) a z nich určit príslušné kritické hodnoty. Poznámka. V [4] sú spočítané hodnoty distribučnej funkcie, ale vzorec podl a ktorého sú spočítané je uvedený s chybou - namiesto k= ( ) P sup B () (u) > x = 2 ( ) k+ e 2k2 x 2 = α 0 u k= je uvedený vzorec ( ) P sup B () (u) > x = 2 ( ) k+ e k2 x 2. 0 u k= Preto sme si niektoré hodnoty tejto distribučnej funkcie spočítali a uvedli sme ich v Dodatku B. 5.2 Necentrovaný tvar V tejto časti sa budeme zaoberat inou parametrizáciou autoregresného procesu a zostrojíme testové štatistiky rovnako ako v predošlej časti. Uvažujme stacionárny autoregresný proces rádu p, ktorý spĺňa model Y i = β + α Y i α p Y i p + e i, i Z, (5.6) kde e i N(0, σ 2 ), i Z sú nezávislé rovnako rozdelené náhodné veličiny, β, α,..., α p sú neznáme regresné parametre a α p 0. 29

30 Označme µ strednú hodnotu náhodnej veličiny Y i pre i Z a spočítajme ju µ = EY t = E [β + α Y t α p Y t p + e t ] = β + = β + µ p α i. i= Vyjadrením strednej hodnoty z tejto rovnosti dostávame µ = β p i= α. i p α i E[Y t i ] + E[e t ] = Logaritmicko-vierohodnostná funkcia má pri tejto parametrizácii tvar [ ] l k (ξ) = k 2 log 2π k 2 log σ2 2 k p Y i β α j Y i j. 2 Označme d alej skórový vektor ξ l k (Y,..., Y k, ξ) vektor prvých derivácií logaritmicko-vierohodnostnej funkcie podl a vektoru ξ = (β, α,..., α p, σ 2 ). Zložky tohto vektoru sú [ ] β l k(ξ) = k p Y σ 2 i β α j Y i j, i= j= [ ] σ l k(ξ) = k 2 2σ + 2 k p Y 2 2σ 4 i β α j Y i j, i= j= [ ] l k (ξ) = k p Y α s σ 2 i β α j Y i j Y i s, s =,..., p. i= j= Informačná matica má v tomto prípade tvar I(ξ) = I(β, σ 2, α,..., α p ) = σ 2 i= i= j= 0 σ 2 σ 2 0 β P p i= α i β P p i= α i 0 2σ 4 0 σ 2 Γ kde Γ = (E [Y t s Y t r ]) p,p s=,r=. Pri zostrojovaní testovej štatistiky pre túto parametrizáciu procesu strácame schopnost testovat zmenu iba v parametri β. To je spôsobené tým, že informačná matica podáva informáciu aj o vzt ahu medzi parametrom β a parametrami α,..., α p. Taktiež je pomocou štatistických programov jednoduchšie spočítat kovariančnú maticu Γ ako maticu Γ. Pri autoregresnom procese rádu má centrovaný tvar navyše tú výhodu, že informačná matica je diagonálna a je jednoduchšie nájst jej inverziu ako inverznú maticu pre necentrovaný tvar. 30,

31 Kapitola 6 Celočíselné autoregresné postupnosti Doteraz sme sa zoberali postupnost ami, ktoré môžu nadobúdat akékol vek reálne hodnoty. Avšak niektoré postupnosti môžu nadobúdat iba celočíselné hodnoty. Medzi takéto postupnosti patrí napríklad počet narodených detí v po sebe idúcich generáciách. Každý jedinec z predošlej generácie sa podiel a na rozširovaní počtu jedincov v d alšej generácii, pričom počet jeho potomkov je náhodný. Rozšírením tohto modelu je zahrnutie úmrtia potomkov v rámci jednej generácie a prípadné migrácie potomkov. V základnom modeli označme X i počet jedincov v i-tej generácií a Y ji počet potomkov j-tého jedinca v i-tej generácii. Potom počet jedincov v (i + )-vej generácií je náhodný súčet náhodných veličín X i+ = X i j= Y ji. 6. Náhodné operátory V tejto časti si zavedieme niekol ko základných definícií a vlastností náhodných operátorov, pomocou ktorých môžeme vyjadrit celočíselné autoregresné postupnosti. Podrobnejšie informácie sa dajú nájst napríklad v []. Najprv zavedieme binomický náhodný operátor a jeho vlastnosti a následne definujeme jeho rozšírenie ako zobecnený náhodný operátor. Definícia 6.. Nech X je nezáporná celočíselná náhodná veličina a Y n, n N sú navzájom nezávislé náhodné veličiny z alternatívneho rozdelenia s parametrom α. Pre α [0, ] definujme binomický náhodný operátor α ako pričom n = 0 Y n := 0. α X := X Y n Bi(X, α), n= Veta 6.2. (Vlastnosti binomického náhodného operátora) Nech α, β [0, ] a X a Y sú nezáporné celočíselné náhodné veličiny. Potom platí 3

32 (i) 0 X = 0 skoro iste a X = X skoro iste. (ii) Rozdelenia náhodných veličín α (β X) a (αβ) X sú rovnaké. (iii) E[α X] = αe[x], var[α X] = α( α)e[x] + α 2 var[x]. (iv) E[(α X)(β Y )] = αβe[xy ], cov[α X, β Y ] = αβcov[x, Y ]. Dôkaz. Body (i), (iii) a (iv) plynú z vlastností zobecneného náhodného operátora, definovaného nižšie. Aby sme ukázali platnost (ii), stačí ukázat, že vytvorujúce funkcie týchto dvoch náhodných veličín sú si rovné. Najprv si všimnime, že vytvorujúca funkcia veličiny Y Alt(α) má tvar P Y (s) = ( α)s 0 + αs = α + αs. Vyžitím vlastností vytvorujúcej funkcie náhodného súčtu (A.4) je P α X (s) = P X (P Y (s)) = P X ( α + αs). Použitím tohto vzt ahu dostávame rovnost požadovaných vytvorujúcich funkcií a platí P β (α X) (s) = P α X ( β + βs) = P X ( α + α( β + βs)) = P X ( αβ + αβs) = P (αβ) X (s). V prípade, že nepredpokladáme alternatívne rozdelenie náhodných veličín Y n, ale iba znalost ich strednej hodnoty a rozptylu. Môžeme definovat zobecnenie binomického náhodného operátoru. Definícia 6.3. Nech X je nezáporná celočíselná náhodná veličina a {Y n, n N} je postupnost nezávislých rovnako rozdelených nezáporných celočíselných náhodných veličín so strednou hodnotou α < a rozptylom β <. Zobecnený náhodný operátor α(β) asociovaný s postupnost ou {Y n } definujeme ako pričom 0 n= Y n = 0. α(β) X := X Y n, Zobecnený náhodný operátor sa v literatúre nazýva taktiež Steutelov a van Harnov operátor a na jeho značenie sa používajú rôzne symboly napr. α, α alebo α. Definícia 6.4. Náhodné operátory α(β) a γ(δ) asociované s postupnost ami {Y n, n N} a {Z n, n N} nazývame nezávislé ak rady {Y n, n N} a {Z n, n N} sú vzájomne nezávislé. n= 32

33 Veta 6.5. (Vlastnosti zobecneného náhodného operátora) Nech X a Y sú nezáporné celočíselné náhodné veličiny a nech α(β) a γ(δ) sú nezávislé zobecnené náhodné operátory. Potom platia nasledujúce tvrdenia: (i) Nech P (X > 0) > 0. Potom platí 0(0) X = 0 s.i. a (0) X = X s.i. α(β) X = 0 s.i. α = β = 0, α(β) X = X s.i. α =, β = 0. (ii) E[α(β) X] = αe[x], E[α(β) X X] = αx. (iii) E[(α(β) X) 2 ] = βe[x] + α 2 E[X 2 ], E[(α(β) X) 2 X] = βx + α 2 X 2. (iv) E[(α(β) X)(γ(δ) Y )] = αγe[xy ]. (v) var[α(β) X] = βe[x] + α 2 var[x], var[α(β) X X] = βx. (vi) cov[α(β) X, γ(δ) Y ] = αγcov[x, Y ], cov[α(β) X, Y ] = αcov[x, Y ], cov[α(β) X, γ(δ) Y X, Y ] = 0. Dôkaz. [] Dôležitou súčast ou definovania zobecneného náhodného operátoru je určenie definičného oboru tohto operátoru. Je zrejmé, že neexistuje nezáporná celočíselná náhodná postupnost s nulovou strednou hodnotou a rozptylom ostro väčším ako nula. Nie je zložité odvodit, že minimálny rozptyl pri strednej hodnote α je a( a) [0, ), kde a = α α. Toto odvodenie môžeme nájst napr. v [], kde je taktiež popísaný algoritmus konštrukcie zobecneného náhodného operátora. Poznámka. Pre vol bu rozptylu β = α( α) je α(α( α)) X = α X, kde veličiny v sčítacej rade zobecneného náhodného operátora majú alternatívne rozdelenie s parametrom α. 6.2 Procesy INAR a GINAR Definícia 6.6. Pre p N definujeme proces INAR(p) (integer autoregresive of order p) ako náhodnú postupnost nezáporných celočíselných náhodných veličín, ktorá vyhovuje rovnici X t = (α ) t X t + (α 2 ) t X t (α p ) t X t p + Z t, t Z, (6.) kde α,..., α p [0, ], α p 0 sú konštanty a α je binomický náhodný operátor. {Z t, t Z} značí inovačný proces nezáporných celočíselných náhodných veličín a platí, že náhodná veličina Z t je nezávislá na veličinách X t, X t 2,... pre všetky t Z. 33

34 Nahradením binomického náhodného operátora zobecneným náhodným operátorom definujeme zobecnený celočíselný autoregresný proces GINAR(p). Definícia 6.7. Pre p N je GINAR(p) (generalized integer autoregresive of order p) náhodná postupnost tvorená nezápornými celočíselnými náhodnými veličinami, ktorá vyhovuje rovnici X t = α (β ) t X t + α 2 (β 2 ) t X t α p (β p ) t X t p + Z t, t Z, (6.2) kde α,..., α p, β,..., β p sú nezáporné konštanty a α p 0. {Z t } je inovačný proces tvorený nezápornými celočíselnými náhodnými veličinami s rozdelením π, ktorý je nezávislý na X t, X t 2,... aj na náhodných operátoroch. Strednú hodnotu inovačného procesu budeme značit µ Z = E[Z t ] > 0 a jeho rozptyl σ 2 Z = var[z t] <. Veta 6.8. Nech {Z t, t Z} je inovačný proces tvorený i.i.d. nezápornými celočíselnými náhodnými veličinami s rozdelením π. Nech d alej platí α +...+α p <. Potom existuje nezáporný celočíselný slabo stacionárny proces {X t, t Z} vyhovujúci (6.2), pre ktorý platí cov(x s, Z t ) = 0 pre s < t. Dôkaz. [2] Strednú hodnotu stacionárneho procesu GINAR(p) označme µ. Potom platí µ = E[X t ] = E[α (β ) t X t +... α p (β p ) t X t p + Z t, t Z] = [ p X t i ] [ p Xt i ] = E Y ni + Z t, t Z = E Y ni + E[Z t ] = = µ i= n= p α i + µ Z. i= Upravením rovnice µ = µ p i= α i + µ Z dostávame vyjadrenie pre strednú hodnotu procesu GINAR(p) µ Z µ = α... α p Rovnako ako vzt ah medzi binomickým náhodným operátorom a zobecneným náhodným operátorom, môžeme vidiet vzt ah medzi procesmi INAR(p) a GINAR(p). Vol bou parametrov β i = α i ( α i ) pre i =,..., p sa z procesu GINAR(p) stáva proces INAR(p). Výhodou procesu INAR(p) je znalost podmieneného rozdelenia α X X. Toto rozdelenie je binomické Bi(X, α) a vd aka tomu, je možné spočítat pravdepodobnostné rozdelenia pre všetky X N 0. i= i= 34

35 6.3 Vyjadrenie procesu GINAR(p) ako AR(p) Predpokladajme, že {X t, t Z} je stacionárny proces GINAR(p) s i.i.d. inováciami, ktoré sú nezávislé na X t, X t 2,.... Označme d alej F t := σ{x t, X t 2,...} σ- algebru generovanú náhodnými veličinami X t, X t 2,.... Potom E[Z t F t ] = E[Z t ] a platí [ p ] p E[X t F t ] = E α i (β i ) t X t i + Z t F t = E [ ] α i (β i ) t X t i Ft + E[Zt ] = = i= p α i X t i + µ Z. i= Definícia 6.9. Definujme chybu predpovedi X t na základe známej minulosti F t i= e t := X t E[X t F t ] = X t p α i X t i µ Z F t. i= Veta 6.0. (Vlastnosti e t ) Pre všetky s, t Z platí: (i) E[e t F t ] = 0 (e t sú martingalové diferencie vzhl adom k filtrácii {F t }), E[e t ] = 0. (ii) E[e 2 t F t ] = p i= β ix t i + σ 2 Z, E[e2 t ] = p i= β iµ + σ 2 Z = σ2 e. (iii) {e t } sú nekorelované, t.j. E[e s e t ] = 0 pre s t. Dôkaz. Táto veta je už dokázaná v [], my si ukážeme inú variantu dôkazu tvrdenia (ii). Pre úplnost uvedieme aj dôkazy ostatných častí. (i) E [e t F t ] = E [X t E[X t F t ] F t ] = E[X t F t ] E[X t F t ] = 0 E[e t ] = E[X t E[X t F t ]] = E[X t ] E[E[X t F t ]] = 0 (ii) Označme náhodné súčty náhodných veličín S Xt i = α i (β i ) t X t i = X t i j= Y ij, kde {Y in, n N} sú nezávislé rovnako rozdelené náhodné veličiny so strednou hodnotou α i a rozptylom β i. Potom môžeme proces X t zapísat v tvare X t = p i= S X + Z t i t. Pripomeňme, že inovácie {Z t, t Z} sú nezávislé na veličinách X t, X t 2,..., teda ich podmienená stredná hodnota pri známej minulosti F t je rovnaká ako 35

36 nepodmienená stredná hodnota E[Z t F t ] = E[Z t ] = µ Z. E [ ( ] p [ p ]) 2 e 2 t F t = E S Xt i + Z t E S Xt i + Z t F t i= i= F t = ( p 2 = E (S Xt i E[S Xt i F t ]) + Z t E[Z t F t ]) F t = = + + i= p [ E (SXt i E[S F Xt i t ] ) ] 2 Ft + E[(Z t E[Z t ]) 2 ]+ i= p E [( S Xt i E[S Xt i F t ] ) ( S Xt j E[S Xt i F t ] ) ] F t + i= j i p E [( S Xt i E[S Xt i F t ] ) (Z t E[Z t ]) ] Ft. i= Ďalej ukážeme, že posledné dva členy sú nulové a nakoniec vyjadríme jediný nenulový člen. Pretože náhodné veličiny Y ik a Y jl sú nezávislé pre i j, platí E [ (S Xt i E[S Xt i F t ])(S Xt j E[S Xt i F t ]) ] [ ] Ft = cov SXt i, S Xt j [ Ft = Xt i cov k= Y ik, ] X t j l= Y jl = 0. Posledný člen môžeme rozdelit na súčin dvoch podmienených stredných hodnôt vd aka nezávislosti procesu inovácií Z t na X t, X t 2,.... E [ (S Xt i E[S Xt i F t ]) F t ] E[Zt E[Z t ]] = 0. Využitím vlastností momentov náhodných súčtov (vid Dodatky A) dostávame p i= E [ (S E[S Xt i X F ] t i t ]) 2 F t +E[Zt E[Z t ]] 2 = p i= var [ ] S Xt i Ft + σz 2 = p i= [var[y ik]e[x t i F t ] + var[x t i F t ](E[Y ik ]) 2 ] + σz 2 = p i= β ix t i + σz 2. E[e 2 t ] = E[E[e 2 t F t ]] = E[ p i= β ix t i + σ 2 Z ] = p i= β iµ + σ 2 Z. (iii) Pre s < t je e s F t a platí E[e s e t ] = E[E[e s e t F t ]] = E[e s E[e t F t ]] = E[e s 0] = 0. Podobne pre s > t je e t F s a E[e s e t ] = 0. Z definície 6.9 je vidiet, že proces GINAR(p) splňuje stochastickú diferenčnú rovnicu X t = µ Z + p α i X t i + e t. (6.3) i= 36