Univerzita Karlova v Praze Matematicko-fyzikální fakulta DIPLOMOVÁ PRÁCA

Uiverzita Karlova v Praze Matematicko-fyzikálí fakulta DIPLOMOVÁ PRÁCA Vladislav Gajdošík Kozistecia a asymptotická reprezetácia odhadu LWS Katedra pravděpodobosti a matematické statistiky Vedúci diplomovej práce: Prof. RNDr. Ja Ámos Víšek, CSc. Štúdijý program: Matematika, odbor Ekoometrie

2 Ďakujem Prof. RNDr. J. Á. Víškovi, CSc. za jeho obetavý prístup a ochotu pri vedeí mojej práce. Prehlasujem, že som svoju diplomovú prácu apísal samostate a výhrade s použitím citovaých prameňov. Súhlasím so zapožičaím práce. V Prahe dňa 5.4.2008 Vladislav Gajdošík

3 Obsah. Úvod 5 2. Odvodeie kozistecie odhadu LWS 4 3. Odvodeie -kozistecie odhadu LWS 26 4. Asymptotická reprezetácia odhadu LWS 36 5. Dodatok 63 6. Referecie 69

4 Názov práce: Whiteov test pre odhad LWS Autor: Vladislav Gajdošík Katedra: Katedra pravděpodobosti a matematické statistiky Vedúci diplomovej práce: Prof. RNDr. Ja Ámos Víšek, CSc. E-mail vedúceho diplomovej práce: visek@mbox.fsv.cui.cz Abstrakt: Táto diplomová práca pojedáva o kozistecii a asymptotickej reprezetácii odhadu metódou ajmeších vážeých štvorcov LWS. V úvode sú uvedeé dôvody a spracovaie dát robustými metódami a rozdiely odhadu LWS oproti iým metódam odhad metódou ajmeších štvorcov, odhad metódou ajmeších usekutých štvorcov. V ďalších častiach sú postupe uvedeé dôkazy viet o kozistecii a asymptotickej reprezetácii odhadu LWS. Oproti v miulosti odvodeým vetám sú podmieky v práci uvedeých viet odlišé, vďaka čomu môžu byť príosom. Podetom pre prácu boli ové výsledky o rovomerej kovergecii empirickej distribučej fukcie uvedeé v práci prof. Jaa Ámosa Víška Kolmogorov-Smirov statistics i multiple regressio z roku 2006 pozrite si Víšek 2006a. Kľúčové slová: LWS, odhad metódou ajmeších štvorcov, kozistecia, asymptotická reprezetácia Title: White s test for the least weighted squares estimator Author: Vladislav Gajdošík Departmet: Departmet of Probability ad Mathematical Statistics Supervisor: Prof. RNDr. Ja Ámos Víšek, CSc. Supervisor s e-mail address: visek@mbox.fsv.cui.cz Abstract: This diploma thesis dissertate about cosistecy ad asymptotic represetatio of the least weighted squares estimator LWS. I preface we metio reasos for data processig with robust statistical methods ad differecies betwee LWS estimator ad other methods the least squares estimator, the least trimmed squares estimator. I the followig sectios we show proofs of lemmas about cosistecy ad assymptotic represetatio of the least weighted squares estimator. Compared to the similar results published before we have cocluded ours based o differet coditios. Impulse for this thesis were ew results about uiform covergece of empirical fuctio metioed i work from prof. Ja Ámos Víšek - Kolmogorov- Smirov statistics i multiple regressio from year 2006 see Víšek 2006a. Keywords: LWS, least weighted squares estimator, cosistecy, asymptotic represetatio

5. Úvod Spracovaie dát, či už sú umerického alebo kategoriáleho charakteru, sa stalo v moderej vede jedou zo štadardých metód vyhodocovaia iformácie. Samoté spracovaie je potom obvykle založeé a ejakej ašej predstave o charaktere dát, alebo modeli, ktorý daé dáta geeroval. Klasická štatistika potom beže používa modely, v ktorých využíva rôze predpoklady, ako je ormalita, liearita, ezávislosť a ďalšie. Tieto predpoklady sú však často le aproximáciou reality. To potom môže spôsobiť zlyhaie klasických štatistických postupov. Na teto problém sa saží reagovať robustá štatistika. Uvažujme kokréte klasickú parametrickú štatistiku. Každý presý parametrický model je vždy le priblížeím sa skutočosti. Problém ale je, že klasická štatistika odvodzuje optimále postupy za podmieky presej platosti modelu, ale ehovorí ič o správaí sa týchto postupov v prípade, že mu realita zodpovedá le približe. Robustá štatistika aopak vychádza z toho, že je matematický model le aproximáciou skutočosti a preto sa saží popísať správaie sa postupov iele pre presý parametrický model, ale aj v jeho okolí. Saží sa potom určiť, aký efekt môže spôsobiť odchýleie od presého modelu a pre aké okolie dáva metóda relevaté iformácie. Iými slovami môžeme povedať, že robustá štatistika avrhuje postupy, ktoré môžeme bezpeče použiť aj v prípade, keď model celkom ezodpovedá realite a poskytú ám dobré iformácie. Je však potrebé povedať, že saha získať čo ajrobustejšiu metódu je často v rozpore so sahou získať metódu s vysokou eficieciou. Je teda potrebé hľadať rozumý kompromis. Výzamý problém, s ktorým sa sažia robusté metódy vyrovať, je výskyt hrubých chýb v dátach. Tieto chyby sa obvykle objavujú ako body výraze vzdialeé od hlavého mraku dát a sú veľmi ebezpečé pre moho klasických procesov. Uveďme si teraz jedoduchý príklad toho, aká môže byť ebezpečá kotamiácia dát pre odhad regresých parametrov metódou ajmeších štvorcov LS. Na Obrázku A je päť bodov a plá čiara azačuje odhad modelu získaý metódou ajmeších štvorcov. Na Obrázku B vidíme, aký vplyv má odhad chyba vysvetľovaej premeej v bode 4. Obdobe a obrázku 2 vidíme vplyv chyby vo vysvetľujúcej premeej.

6 Obrázok : Vplyv chyby vo vysvetľovaej premeej a odhad metódou ajmeších štvorcov Obrázok 2: Vplyv chyby vo vysvetľujúcej premeej a odhad metódou ajmeších štvorcov Problém s kotamiáciou dát je pravdepodobe rovako starý ako štatistika sama a je veľmi dôležité aučiť sa ho riešiť. Ukazuje sa totiž, že ai v odvetviach, kde sa a získaie dát používa moderá techika, ie sme schopí získať úple čisté dáta. V dvoch vyššie uvedeých jedoduchých príkladoch je samozrejme a prvý pohľad zrejmé, ktoré body sú chyby. Z toho by sa mohlo zdať, že ie je problém chybé dáta ájsť vizuálou aalýzou dát. Tá môže byť iste užitočá, ale ako každý postup má aj svoje ohraičeia. Ľahko môžeme ájsť viacrozmeré dáta, v ktorých sú chybé pozorovaia tak dobre zamaskovaé, že túto kotamiáciu eájde ai dobrý grafický editor umožňujúci apríklad trojrozmeré zobrazeie dát a ich otáčaie v priestore. Priblížme si to opäť a jedoduchom príklade. Na obrázku 3 sú síce le dvojrozmeré dáta a teda opäť jedoducho vidíme, že zakrúžkovaé body predstavujú kotamiáciu, všimime si však, že z priemetu do jedotlivých osí by sme chybé dáta eodhadli.

7 Obrázok 3: Odľahlé pozorovaia Je teda uté používať pri spracovaí dát ejaké diagostické prostriedky. Robustá štatistika sa saží také prostriedky ájsť. Ďalej sa saží určiť, koľko hrubých chýb môžu dáta obsahovať, aby sme mohli použiť daý model a metódu. Odvodzuje tiež robusté metódy s vysokým bodom zlyhaia, ktoré sú odolé voči kotamiácii dát. Ako príklad môžeme uviesť odhad metódou ajmeších usekutých štvorcov. ˆLT S,,h = argmi R p ri 2 I ri 2 rh 2 Teto odhad sa často uvádza aj v asledujúcom tvare.2 ˆLT S,,h = argmi R p h ri 2, kde h je zvoleé číslo a začí, koľko ajmeších reziduí považujeme za správe a zvyšých h reziduí považujeme za reziduá patriace k chybým meraiam. Teto odhad si zachováva moho výhod metódy ajmeších štvorcov, ako apríklad regresú a škálovú ekvivariaciu, ktorú moho robustých metód stráca. Defiícia regresej a škálovej ekvivariacie je uvedeá ižšie. Na rozdiel od metódy obyčajých ajmeších štvorcov je metóda ajmeších usekutých štvorcov vysoko odolá voči kotamiácii dát. Ďalšou výhodou je možosť astaviť stupeň robustosti ajmä v zmysle odolosti voči kotamiácii dát. Jej bod zlyhaia dokoca môže podľa astaveí jej parametrov dosahovať hodotu, ktorá je ajvyššia možá medzi regrese a škálovo ekvivariatými odhadmi asymptoticky až 50%, pozri Rousseeuw a Leroy 987. Nevýhodou tohto odhadu však zostáva jeho vysoká podsúborová citlivosť, čiže skutočosť, že vymazaie aj jediého pozorovaia môže mať a odhad zásadý vplyv. Podobe je a tom odhad metódou ajmeších usekutých štvorcov aj pri posuutí jedého pozorovaia. Metóda ajmeších usekutých štvorcov sa totiž príliš spolieha a vybratých h pozorovaí a ekriticky

8 verí, že ostaté dáta sú chyby. Ukážme si to a asledujúcich príkladoch. Naprv si pomocou Obrázka 4 ukážeme, ako sa môže zmeiť odhad prostredíctvom malej zmey v dátach posuuté bolo pozorovaie ozačeé malým krúžkom Obrázok 4: Vplyv malej zmey dát a odhad LTS Obdobe je možé a Obrázku 5 pozorovať vplyv vymazaia jediého pozorovaia a celý odhad metódou LTS. Obrázok 5: Vplyv vymazaia jedého pozorovaia a odhad LTS Na druhú strau sú však zmey odhadu v obidvoch predchádzajúcich príkladoch ohraičeé, takže príklady ezameajú, že sú klasické kritériá robustej štatistiky ako apríklad obmedzeý vplyv jedého pozorovaia a koečý bod zlyhaia espráve. Poukazujú le a to, že je z praktického hľadiska vhodé rozšíriť kritériá robustosti o požiadavky o malú podsúborovú citlivosť malý vplyv vymazaia pozorovaia a malú citlivosť a malý posu pozorovaia. V tomto ohľade má pri vhodej voľbe váh lepšie vlastosti odhad metódou ajmeších vážeých štvorcov.3 ˆLW S,,w = argmi R p kde w,..., w sú daé váhy. w i ri 2,

9 Teto odhad totiž samozrejme, ak zvolíme w l > 0 pre všetky k =,..., úple eigoruje žiade dáta. Naviac je opäť regrese a škálovo ekvivariatý a podobe ako odhad metódou ajmeších usekutých štvorcov je odolý voči kotamiácii dát. Táto robustosť je opäť astaviteľá podľa voľby fukcie geerujúcej váhy. Ďalšia dôležitá vlastosť odhadov metódou ajmeších vážeých štvorcov a metódou ajmeších usekutých štvorcov je ich -kozistecia a asymptotická ormalita. Všimime si, že ak ako váhy zvolíme wα = Iα h, získame z odhadu metódou ajmeších vážeých štvorcov odhad metódou ajmeších usekutých štvorcov. Odhad metódou ajmeších usekutých štvorcov je teda špeciály prípad odhadu metódou ajmeších vážeých štvorcov. Váhy v predchádzajúcej defiícii sú obvykle defiovaé pomocou váhovej fukcie s asledujúcimi vlastosťami: Váhová fukcia w : 0, 0, je absolúte spojitá a erastúca s deriváciou w α ohraičeou zdola pomocou L, w0 =. Ak položíme w i = w i, získame ďalšiu defiíciu:.4 ˆLW S,,w = argmi R p i w ri 2 Ďalšiu verziu defiície odhadu metódou ajmeších vážeých štvorcov môžeme získať pomocou permutácií: Pre každé i, 2,..., ozačme.5 π, i = j, 2,..., r 2 i = r 2 j Všimite si prosím, že π, i je áhodá veličia, keďže závisí od X i ω a e i ω. Potom môžeme odhad metódou ajmeších vážeých štvorcov apísať ako.6 ˆLW S,,w = argmi R p π, i w ri 2. Teraz ukážeme, že.6 a teda aj.4 majú vždy riešeie. Iými slovami dokážeme korektosť defiície odhadu metódou LWS. Ozačme pre každé N pomocou P možiu všetkých permutácií idexov, 2,..., a ozačme π i i-te miesto vektora π P. Postupujme podľa asledujúcich krokov:. Pre všetky R p a ľubovoľé π P položme S, π = w π i r 2 i. 2. Spomeňme si, ako sme defiovali π, i v.5, i =, 2,..., a pre každé R p položme π = π,, π, 2,..., π, P. Keďže π P, dostávame

0 mi mi R p π P t. j. πi w ri 2 mi R p π, i w r 2 i,.7 mi mi S, π mi S, π. R p π P Rp 3. Pre všetky R p a π P platí.8 S, π = π, i w ri 2 = i w r 2 i Prvá rovosť platí vďaka defiícii v kroku a vďaka tomu, že π i = π, i - pozrite si defiíciu π v kroku 2. Druhá rovosť platí vďaka defiícii.5 v posledej sume sme akurát zameili idexovaie miesto j = až za i = až. Čiže k ajmešiemu reziduu bude priradeá ajväčšia váha, k druhému ajmešiemu reziduu bude priradeá druhá ajväčšia váha, atď. Nakoiec je zrejmé, že žiada suma, v ktorej sú k reziduám priraďovaé váhy iým spôsobom, emôže byť mešia. Takže pre každé R p a π P platí.9 S, π S, π. 4. Z.7 a.9 vyplýva.0 mi mi S, π = mi S, π. R p π P Rp 5. Zafixujme ω 0 Ω, π P a vypočítajme klasický odhad metódou vážeých ajmeších štvorcov agl. the Weighted Least Squares, skr. WLS s maticou váh W π = diag w π, w π2,..., w π asledujúcim spôsobom odhad ozačíme ˆ W LS,,π : ˆ W LS,,π = argmi R p πi w Y i X i 2 = X W πx X W πy, kde Y = Y, Y 2,..., Y a X = X, X 2,..., X. Potom pre každé R p platí. S ˆ W LS,,π, π S, π.

6. Zopakujeme to pre všetky π P a pre aše ω 0 Ω, ktoré sme zafixovali v kroku 5 defiujme πω 0 pomocou vzťahu πω 0 = argmi S ˆ W LS,,π, π. π P 7. Potom pre všetky π P platí.2 S ˆ W LS,,πω0, πω 0 S ˆ W LS,,π, π. 8. Vzhľadom a.2 a. platí pre každé π P a každé R p t. j. S ˆ W LS,,πω0, πω 0 S ˆ W LS,,π, π S, π,.3 S ˆ W LS,,πω0, πω 0 = mi R p mi π P S, π Teraz zo vzťahu.3 pomocou.0 a.8 získame S ˆ W LS,,πω0, πω 0 = mi S, π = mi Rp R p i w ri 2. Pričom prvú rovosť sme získali vďaka.0 a druhú vďaka.8. Vzhľadom a defiíciu ˆ LW S,,w ω 0 pozrite si.4 teda platí ˆ W LS,,πω0 ω 0 = ˆ LW S,,w ω 0. 9. Opakovaím práve opísaých krokov pre všetky ω odvodíme demoštráciu existecie riešeia.6 a teda aj.4. Ako vedľajší produkt predchádzajúcej demoštrácie sme zistili, že je odhad metódou ajmeších vážeých štvorcov pri fixovaej ω 0 Ω rový klasickému odhadu metódou vážeých ajmeších štvorcov s váhami určeými takto: wπω 0 = w πω 0, w π2ω 0,..., w πω. 0 Keďže je ˆW LS,,wπω riešeím príslušých ormálych rovíc, ásledým zvážeím všetkých ω Ω overíme, že ˆ LW S,,w je jedým z riešeí ormálych rovíc.4 NE Y,X, = π, i w X i Y i X i = 0.

2 K týmto roviciam môžeme dôjsť aj deriváciou.6 a dokázaím, že π,i = 0 dôkaz je možé ájsť vo Víšek 2006b. Zhrňme si výhody a evýhody odhadov LS, LTS, LWS do iekoľkých bodov. Aj keď to ebude úplý výčet vlastostí jedotlivých odhadov, poskytú ám asledujúce riadky meší prehľad o tom, aké sú silé a slabé stráky jedotlivých odhadov. Najprv si však uveďme defiíciu škálovej a regresej ekvivariacie. Odhad regresých koeficietov je ekvivariatý k regresii alebo tiež regrese ekvivariatý, ak pre všetky R p platí.5 T X, Y + X = T X, Y +. Ekvivariacia k regresii je jeda zo základých vlastostí, ktorá ám umožňuje zmeiť súradicový systém, pričom sa hodota odhadu zmeí rovakým spôsobom. Túto vlastosť môžeme tiež využiť pri dôkazoch asymptotických vlastostí odhadu, pretože môžeme bez ujmy a všeobecosti predpokladať 0 = 0. V tejto práci budeme často predpokladať práve ulovosť 0, pretože odhad metódou ajmeších vážeých štvorcov je regrese ekvivariatý. Odhad regresých koeficietov je ekvivariatý k mierke alebo tiež škálovo ekvivariatý, ak pre všetky a > 0 platí.6 T X, ay = at X, Y. Tz., že keď zmeíme jedotky, v ktorých meriame veličiy Y i, zmeí sa áš odhad rovakým spôsobom. Plusy a míusy odhadu LS Odhad ie je vôbec robustý, aj jediá chyba v meraí môže úple zmeiť odhad regresého koeficietu a tak aj odhad závislosti medzi vysvetľovaou a vysvetľujúcou premeou. Pozitívom je, že je teória pre teto odhad veľmi dobre prepracovaá, výpočet odhadu je meej áročý a výpočet ako výpočet odhadov zvyšých dvoch uvedeých odhadov, dôkazy súvisiace s týmto odhadom bývajú jedoduchšie ako pre zvyšé dva uvedeé odhady. Plusy a míusy odhadu LTS Teto odhad je robustý, môže dosiahuť bod zlyhaia až 0, 5. Z tohto odhadu môžeme vytvoriť odhad LS, keď zoberieme do úvahy všetky pozorovaia h =. Nevýhody tohto odhadu sa prejavia apríklad pri paelových dátach keď pozorujeme iečo, čo sa s časom meí, keď emôžeme jedoducho vypustiť kokréte

3 meraia kokréty rok, mesiac, či deň, pretože to z hľadiska iterpretácie často edáva zmysel. Odhad LTS je špeciálym prípadom odhadu LWS. Odhad LTS má avyše veľmi veľkú podsúborovú citlivosť. Vyechaím jediého pozorovaia môžeme úple zmeiť odhad LTS. Odhad LTS môžeme zmeiť aj posuutím jediého pozorovaia. Výpočet a dôkazová techika sú áročejšie ako pri odhade LS. Plusy a míusy odhadu LWS Teto odhad je robustý, vhodou voľbou váhovej fukcie môžeme získať odhad LTS a aj odhad LS dokoca aj odhad metódou ajmešieho mediáu štvorcov, agl. the Least Media of Squares, skr. LMS - defiíciu je možé ájsť apr. v Mašíček 2003, alebo v Rousseeuw, Leroy 987. Je teda vidieť, že odhad LWS je zovšeobeceím všetkých ostatých tu vymeovaých odhadov, z čoho mimo ié aj vyplýva, že všetky ostaté odhady dedia vlastosti odhadu LWS ako apríklad škálovú a regresú ekvivariaciu. Keďže voľbou váhovej fukcie získame oproti odhadu LTS väčšiu voľosť, môžeme a tom získať, ale a druhú strau, esprávou voľbou váhovej fukcie by sme mohli získať horší odhad. Voľba váhovej fukcie teda dáva ďalšie možosti, a druhej strae je však táto metóda kvôli tomu áročejšia. Väčšia áročosť sa prejavuje aj pri výpočtoch a dôkazoch. V ďalšom texte budeme písať skrátee odhad LWS alebo le LWS amiesto odhad metódou ajmeších vážeých štvorcov.

4 2. Odvodeie kozistecie odhadu LWS V tejto časti odvodíme kozisteciu odhadu LWS. Najprv si zavedieme začeie a predpoklady, ktoré budeme ďalej používať. Možiu prirodzeých čísiel ozačme N, možiu reálych čísiel ozačme R, p- rozmerý euklidovský priestor ozačme R p resp. R p. Všetky áhodé veličiy sú defiovaé a pravdepodobostom priestore Ω, A, P. Všetky uvažovaé vektory budú stĺpcové, pokiaľ ebude uvedeé iak. Charakteristickú fukciu možiy A ozačme Ipopis možiy A. Budeme uvažovať lieáry regresý model p 2. Y i = X i 0 + e i = X ij j 0 + e i, j= i =, 2,..., kde X i je p stĺpcový vektor áhodých regresorov, 0 je p stĺpcový vektor ezámych regresých koeficietov a e i sú áhodé chyby disturbacie so spojitým rozdeleím a stredou hodotou Ee i = 0. Ďalej zavedieme začeie Y = Y, Y 2,..., Y, X = X, X 2,..., X a e = e, e 2,..., e. Takto môžeme písať 2. ako 2.2 Y = X 0 + e Pre ľubovoľé R p ozačme i-te reziduum 2.3 r i := Y i X i = e i X i 0 h-tu poradovú štatistiku reziduí budeme ozačovať poradím uvedeým ako dolý idex v zátvorke, apr. štvorce reziduí sú zoradeé asledujúcim spôsobom: 2.4 0 r 2 r2 2 r2. Ako sme už azačili, budeme v ašej práci uvažovať 0 = 0 iak by sme v asledujúcom texte písali amiesto výraz 0.

5 Pozámka :Budeme uvažovať model 2. s absolútym čleom iterceptom, čiže predpokladáme, že je prvá súradica vysvetľujúcich premeých X i degeerovaá a rová. Budeme mať síce komplikovaejšie začeie, ale hoci model bez iterceptu vyžaduje jedoduchšie začeie, stratili by sme všeobecosť výsledkov ohľadom odhadu LWS. Zaveďme si predpoklady, ktoré budeme o modeli uvažovať. Predpoklad C: Postuposť X i, e i Rp+ je postuposť ezávislých, rovako rozdeleých áhodých veličí s distribučou fukciou F X,e x, v = F x F 2 X,e x, v, kde F x je distribučá fukcia d.f. degeerovaá v bode a F 2 X,e x, v je absulúte spojitá d.f. F X x a F e r ozačujú príslušé margiále d.f. F 2 X,e x, r a predpokladáme, že sú všetky áhodé veličiy.v. defiovaé a základom pravdepodobostom priestore Ω, A, P. Ďalej predpokladáme, že je matica E X, e X, e pozitíve defiitá a že je hustota f e X v X = x rovako ohraičeá vo v pre všetky x pomocou U e. Nakoiec predpokladáme, že existuje q > q R tak, že platí E X 2q <. Pozámka 2: Všimite si prosím, že sme epredpokladali ezávislosť medzi vysvetľujúcimi premeými X i a disturbaciami e i. Všimite si tiež prosím, že je matica EX X tiež pozitíve defiitá, keďže je podmaticou matice E X, e X, e. Váhová fukcia bude mať asledujúce vlastosti: Predpoklad C2: Váhová fukcia w : 0, 0, je absolúte spojitá a erastúca s deriváciou w α ohraičeou zdola pomocou L, w0 =. Naviac predpokladáme, že je E w F 0 e X X pozitíve defiitá. Pre každé R p F r, t. j. ozačme distribučú fukciu absolútej hodoty rezidua 2.5 F r = P Y X < r = P e X < r ezabudite, že predpokladáme 0 = 0. Obdobe pre každé R p ozačme empirickú distribučú fukciu absolútej hodoty rezidua F r. Čiže 2.6 F r = I r j < r = j= I e j X j < r. j= Uvedomme si teraz, že keď ozačíme r i = a i, priradí poradová štatistika a i daému pozorovaiu rovaké poradie ako poradová štatistika druhej mociy rezuduí ri 2, to zameá, že je reziduum daého pevého pozorovaia apr. pre i = i 0, pre ejaké i 0, 2,..., v postuposti

6 2.7 r 2 r2 2 r2 a rovakom mieste ako v postuposti 2.8 a a 2 a. Iými slovami, ak je druhá mocia rezidua j-teho pozorovaia l-tá ajmešia hodota medzi druhými mociami reziduí, je tiež absolúta hodota j-teho rezidua l-tá ajmešia hodota medzi absolútymi hodotami reziduí. Keď sa potom pozrieme a empirickú distribučú fukciu absolútych hodôt reziduí, zistíme, že prvý skok, ktorý má veľkosť je pri ajmešej absolútej hodote reziduí, čiže pri a. Vzhľadom a ostrú erovosť v defiícii 2.6 empirickej distribučej fukcie platí F a = 0. Preto pri l-tom skoku pri a l máme a l = l. Teraz si uvedomme, že a π,i = r i. To zameá, že pri π, i-tom skoku platí F 2.9 F a π,i = F r π, i i = a tak môžeme vzťah.4 prepísať ako 2.0 NE Y,X, = w F r i X i Y i X i = 0. Ozačme ďalej pre každé R p distribučú fukciu vzťahu XX 2 = X 2 kde je prvá súradica vektora ako F XX u, tz. 2. F XX u = P X X 2 < u a podobe ako v predchádzajúcom texte ozačme príslušú empirickú distribučú fukciu F XX u, takže platí 2.2 F XX u = I X j X j 2 < u. j= Pre každé λ R + a každé a R položme

7 2.3 γ λ,a = F XX a. =λ Všimite si prosím, že vďaka tomu, že je povrch gule R p, = λ kompaktý, existuje γ,a R p, = λ také, že 2.4 γ λ,a = F γ,a XX γ,a a. Keďže F XX u = P X X 2 < u, platí F XX u = P X X 2 < u = P X X 2 2 < u 2 = F u XX 2. Takže platí γ λ,a = γ, a. λ 2 To zameá, že môžeme bez ujmy a všeobecosti uvažovať le také γ, pre ktoré platí λ =. Ďalej dokážeme ďalší vzťah, ktorý budeme potrebovať v ďalšom texte. Tvrdeie : Ak sú spleé predpoklady C a C2, existuje a > 0 a b 0, také, že platí 2.5 a b γ,a wb > 0 defiícia γ,a je uvedeá v 2.3. Dôkaz: Z C2 vyplýva, že existuje b 0, také, že wb > 0. Zafixujme také b. Ďalej použijeme dôkaz sporom. Ak pre všetky a > 0 platí γ,a b, potom platí lim if a 0 + γ,a b. Takže existuje taká postuposť a k k=, že a k > 0 pre všetky k =, 2,..., lim a k = 0 a lim if γ,a k b. k k Potom, keďže pre každé γ,ak existuje γ,ak také, že γ,ak = F γ,ak XX γ,ak a k, pozrite si 2.4 ájdeme postuposť γ,ak k= takú, že lim if F γ,a XX γ,ak a k b. k k Aplikovaím argumetu o kompaktosti jedotkovej gule ájdeme akoiec a podpostuposť γ,akj také, že lim j γ,akj =, a že j= lim if j F γ,a kj XX γ,akj a kj b. Aplikovaím Lemmy A. dostaeme, že platí 0 < b F XX 0 +.

8 To zameá, že má možia ω Ω : X X = 0 kladú pravdepodobosť. To ale zameá, že absolúte spojitá d.f. defiovaá a euklidovskom priestore R p dá kladú pravdepodobosť ejakému podpriestoru p 2, čo je spor. Teraz dokážeme ohraičeosť LWS v pravdepodobosti: Lemma 2.. Nech sú spleé podmieky C a C2. Potom pre každé ε > 0 a δ > 0 existuje θ > δ a > 0 také, že P ω Ω : if θ NE Y,X, > > ε. Iými slovami, každá postuposť ˆLW S,,w = riešeí postuposti ormálych rovích NE Y,X, ˆ LW S,,w = 0 pozri.4 je ohraičeá v pravdepodobosti. Dôkaz: Postup dôkazu je asledujúci: Musíme dokázať, že pre každé kladé ε existujú κ > 0 a ε N tak, že pre každé > ε je s pravdepodobosťou aspoň ε mimo guľu s polomerom κ výraz NE Y,X, kladý. To dokážeme tak, že ájdeme pozitíve defiitú kvadratickú formu reprezetujúcu dolú hraicu kvadratickej časti NE Y,X,. Príslušá kvadratická časť NE Y,X, je pre R p s dostatoče veľkou ormou väčšia ako lieára časť NE Y,X,. Na skoštruovaie požadovaej kvadratickej formy odhademe počet čleov kvadratickej časti NE Y,X,, ktoré sú väčšie ako ejaké a a súčase majú váhu väčšiu ako je koštata c existuje ešte iekoľko iých kladých čleov, ktorých príos ebudeme uvažovať, keďže sú ich váhy mešie ako c alebo sú mešie ako a. Kľúčovým krokom dôkazu je ahradeie empirickej distribučej fukcie F XX r teoretickou d.f. F XX r. To je umožeé vďaka Lemme A.2, dôkaz ktorej je le opakovaím krokov dôkazu od Kolmogorova a Smirova, pozrite si Breima 968. Zafixujme teda ε > 0. Najprv ozačme možiu všetkých idexov i =, 2,..., pomocou I a zafixujme a > 0 a b 0, z Tvrdeia 2. Potom pre také b a pre každé R p ozačme možiu idexov, pre ktoré platí F r i < b pomocou I b. Pre každé R p ozačme možiu idexov, pre ktoré platí X i X i < a pomocou I a. Keď si pozrieme 2.7 alebo 2.8, ľahko si môžeme overiť, že empirická d.f. presiahe b priajhoršom vo svojom b + skoku, t. j. 2.6 #I b b, kde #A ozačuje počet prvkov možiy A a ξ celú časť ξ. Umedomme si teraz, že pre každý idex i I b platí F r i < b, z čoho vďaka C2: w je erastúca vyplýva w r i wb. Ozačme E X 2 = γ 2 a zafixujme kladé F ε a δ. Ďalej položme 2.7 δ = a b γ,a wb. 2

9 Všimite si prosím, že potom je vďaka Tvrdeiu δ > 0. Spomeňme si, že sme bez ujmy a všeobecosti predpokladali 0 = 0, budeme uvažovať pre R p 2.8 = NE Y,X, = w F w F r i X i X i r i X i e i X i w F r i e i X i. Začime s prvým čleom v 2.8 a obmedzíme sa a =. Vďaka Lemme A.3 ájdeme N také, že pre všetky > platí 2.9 P ω Ω : F XX u F δ XX u > ε a wb 2 R p u R a ozačme príslušú možiu B. Vzhľadom a to, ako je defiovaá empirická distribučá fukcia, platí F XX a = #i : X i X i < a = #I a kde opäť #A ozačuje počet prvkov možiy A, odvodíme, že z 2.9 vyplýva pre každé > a ω B 2.20 #I a = F XX a < F XX a + δ γ,a + a wb δ a wb pre γ λ,a si pozrite 2.3. Všimite si prosím, že 2.20 platí pre každé R p, =. Zoberme ω B a >. Spomeňme si, že vďaka C2: w je erastúca dokoca pre každé R p platí pre idexy, pre ktoré F r i b, erovosť w F r i wb. Potom z 2.6 a 2.20 vyplýva, že je počet idexov, pre ktoré platí X i X i a a súčase w F r i wb ajmeej #I b #I a b γ,a + Takže pre každé >, každé ω B w F δ = a wb r i X i X i b γ,a a každé = platí I b I a a b γ,a wb δ > δ. wb X i X i δ. a wb Zoberme teraz ľubovoľé R p, = θ a položme = θ. Všimite si prosím, že pre ami vybraté má I b opäť aspoň b prvkov a vždy keď X i X i = 2 X i a, platí X i X i = θ2 X i X i θ 2 a. Potom = = θ =, #I a γ,a + a teda opäť pre každé > a každé δ a wb

20 ω B platí w = θ2 I b F r i X i X i wb X i X i θ2 wb X i X i I b I b I a wb X i X i 2.2 θ 2 a b γ,a wb δ θ 2 δ = 2 δ. Teraz zoberme do úvahy druhý čle v 2.8. Ozačme E e i X = γ a ájdime 2 N také, že pre každé > 2 existuje B 2 tak, že platí P B 2 > ε/2 a pre každé ω B 2 platí ezabudite, že wr 0, 2.22 w F r i e i X i 2γ. Zoberme > max, 2 a ω B = B B 2. Potom P B > ε a z 2.2 a 2.22 vyplýva, že pre každé R p NE Y,X, 2 δ 2γ. Potom pre každé > 0 existuje také κ > 0, že pre každé R p, > κ s pravdepodobosťou aspoň ε platí NE Y,X, >. Lemma 2.2. Nech sú spleé podmieky C a C2. Potom pre každé ε > 0, δ 0, a ζ > 0 existuje ε,δ,ζ N tak, že pre každé > ε,δ,ζ platí P ω Ω : w F r i X i e i X i ζ E w F r X e i X < δ > ε. Dôkaz: Ozačme E e X = γ a E X 2 = γ 2, zafixujme kladé ε, δ 0, a ζ > 0. Spomeňme si, že sme predpokladali 0 = 0. Budeme uvažovať pre R p, ζ 2.23 = NE Y,X, = w F w F r i X i X i r i X i e i X i w F r i e i X i. Začime s prvým čleom v 2.23 a položme τ = δ/6γ 2 ζ 2 L, L je defiovaé v podmieke C2. Podľa Lemmy A.2 môžeme ájsť N tak, že pre každé >

2 existuje možia B taká, že P B > ε/8 a pre každé ω B 2.24 F r F r τ. R p r R Zo zákoa veľkých čísiel vyplýva, že môžeme ájsť 2 > tak, že pre každé > 2 existuje možia B 2 taká, že P B 2 > ε/8 a pre každé ω B 2 2.25 X i 2 < 2γ 2. Keďže potom pre každé > 2 a každé ω B B 2 opäť platí P B B 2 > ε 4 ζ w L τ F r i w F r i X i 2 L τ 2γ 2 = δ 8ζ 2, X i X i dostávame, že pre každé > 2 a každé ω B B 2 platí 2.26 w F r i w F r i X i X i δ 8. ζ δ 6 L γ 2 ζ 2 Použijeme Lemmu A. a ájdeme pre = také τ 2 > 0, že pre 2.27 T ζ, τ 2 = ζ, 2 ζ, 2 < τ 2 platí, 2 T ζ,τ 2 r R F r F 2r <. Potom pre každé > 2 a každé ω B B 2 w F 2 r i 2 w F r i 2 Xi X i, 2 T ζ,τ 2 2.28 L ζ 2 X i 2 δ 8 Ďalej ozačme γ 3 = E X 2q, γ 4 = E X a aplikáciou zákoa veľkých čísiel ájdeme 3 > 2 tak, že pre každé > 3 existuje taká možia B 3, že P B 3 > ε/8 a pre každé ω B 3 platí X i 2q < 2γ 3 a X i < 2γ 4. Nakoiec si pripomeňme, že wr 0,, takže pre každú dvojicu r, r 2 R platí wr wr 2 a teda pre každé q > platí 2.29 wr wr 2 q wr wr 2.

22 Nech je q také, že q + q = pre defiíciu q si pozrite C. Potom vyberme τ 3 0, mi τ 2, δ 2 q 2 q 8 q U e L q γ 3 q γ 4 ζ 2q pre defiíciu U e si pozrite C a položme T τ 3 = ζ, 2 ζ, 2 < τ 3. Aplikáciou Hőlderovej erovosti dostaeme w F r i 2 w F r i Xi X i, 2 T τ 3 w F r i 2 w F r i q q, 2 T τ 3 q X i 2q w F r i 2 w F r i q q, 2 T τ 3, 2 T τ 3 w, 2 T τ 3 2.30 ζ 2 q U e L q 2q Xi 2q q q F r i 2 w F r i ζ 2 U q X i 2q e L q ζ 2 q τ 3 q X i 2q q X i τ 3 q 2γ 4 q 2γ 3 q q δ 8. Nakoiec použijeme Lemmu A.4 a ájdeme také τ 4 0, mi δ/8, τ 3, že pre každú dvojicu ζ, 2 ζ, 2 τ 4 platí E w F r X e i X 2.3 2 E w F 2 r 2 X e i X 2 δ 8.

23 Teraz ájdeme miimály systém otvoreých gúľ typu B, τ 4, ktoré pokrývajú p-rozmerú guľu so stredom v ule a polomerom ζ, čiže Bζ = R p : ζ. Vzhľadom a kompaktosť Bζ má systém koečý počet gúľ, povedzme Kζ a ozačme teto systém pomocou B j, τ 4 Kζ. Aplikáciou zákoa veľkých j= čísiel ájdeme pre každé j, 2,..., Kζ ejaké j N tak, že pre každé > j má možia B 4 j = ω Ω : w F j r i j X i X i 2.32 E w F j r i j X i X i δ < 8ζ 2 pravdepodobosť aspoň a B = B B 2 B 3 ε 8Kζ. Nakoiec položme ε,δ,ζ = max 3,, 2,..., Kζ Kζ j= B4 j. Platí P B > ε 2. Keďže pre každé > ε,δ,ζ a každé R p, ζ existuje j, 2,..., Kζ také, že j < τ 4, vzhľadom a 2.26, 2.28, 2.30, 2.3 a 2.32 platí pre každé ω B 2.33 ζ w F r i X i X i E w F r X X < δ 2. Teraz uvažujme druhý čle v 2.23. Podobým spôsobom ako v prvej časti dôkazu môžeme ájsť 2 ε,δ,ζ N tak, že pre každé > 2 ε,δ,ζ existuje C tak, že P C > ε/2 a pre každé ω C platí 2.34 ζ w F r i e i X i E w F r e X < δ 2. Z 2.33 a 2.34 vyplýva tvrdeie, ktoré sme chceli dokázať. Predpoklad C3 Existuje práve jedo riešeie 2.35 E w F r X e X = 0, kokréte 0 = 0 rovica 2.35 je vektorová rovica pre R p. Lemma 2.3. postuposť slabo kozistetá. Nech sú spleé podmieky C, C2 a C3. Potom je ľubovoľá ˆLW S,,w = Dôkaz: Na dôkaz kozistecie riešeí ormálych rovíc NE Y,X, ˆ LW S,,w = 0 ˆLW S,,w = ε > 0 a δ > 0 existuje také ε,δ N, že pre všetky > ε,δ platí 2.36 P ω Ω : ˆ LW S,,w 0 < δ > ε. Takže zafixujme ε > 0 a δ > 0. musíme dokázať, že pre každé Podľa Lemmy 2. existujú také > 0 a θ > δ, že pre ε existuje,ε tak, že pre každé >,ε platí P ω Ω : if θ NE Y,X, > > ε 2 N

24 ozačme príslušú možiu ako B. To zameá, že pre všetky >,ε sú všetky riešeia ormálych rovíc NE Y,X, = 0 s pravdepodobosťou aspoň ε 2 vo vútri gule B0, θ. Teraz pomocou Lemmy 2.2 môžeme ájsť pre ε, δ = mi 2, δ a θ také ε,δ,θ N, ε,δ,θ,ε, že pre každé > ε,δ,θ existuje možia C s P C > ε také, že pre každé ω C platí w F θ r i X i e i X i E w F r X e i X < δ. To ale zameá, že pre každé > ε,δ,θ a každé ω B C platí if E w F r X e i X =θ θ if θ NE Y,X, > w F r i X i e i X i 2.37 E w F r X e i X δ > 2 > 0. Ďalej uvažujme kompaktú možiu C = R p : δ θ a ájdime 2.38 τ C = if C E w F r X e i X. Potom existuje také k k=, že platí lim k ke w F k r k X e i X k = τ C. Na druhú strau, vďaka kompaktosti C existuje a podpostuposť kj j= taká, že platí lim k j = j a vďaka spojitosti E w F r X e i X pozrite si Lemmu A.4 platí 2.39 E w F r X e i X = τ C. Potom spojitosť E w F r X e i X spolu s podmiekou C3 a 2.37 implikujú, že τ C > 0 iak musí existovať riešeie 2.35 vo vútri kompaktej možiy C. Teraz použijeme ešte raz Lemmu 2.2 a ájdeme pre ε, δ, θ a τ C ε,δ,θ,τ C N, ε,δ,θ,τ C ε,δ,θ také, že pre ľubovoľé > ε,δ,θ,τ C existuje možia D s P D > ε 2 taká, že pre každé ω D platí w F r i X i e i X i θ

2.40 E w F r X e i X < τ C 2. 25 Ale z 2.38 a 2.40 vyplýva, že pre každé > ε,δ,θ,τ C a každé ω B D platí 2.4 if >δ NE Y,X, > τ C 2. Je jasé, že P B D > ε. To ale zameá, že sú všetky riešeia ormálych rovíc 2.35 vo vútri gule s polomerom δ s pravdepodobosťou aspoň ε, čiže iak povedaé, je ˆ LW S,,w slabo kozisteté.

26 3. Odvodeie -kozistecie odhadu LWS V tejto časti odvodíme -kozisteciu odhadu LWS. Pri dôkaze budeme potrebovať ďalšie dva predpoklady. NC Hustota f e X r X = x je v x rovomere lipschitzovská prvého rádu s príslušou koštatou rovou B e. Navyše predpokladáme, že f er existuje a jej absolúta hodota je ohraičeá pomocou U e. NC2 Derivácia w α váhovej fukcie je lipschitzovská prvého rádu s príslušou koštatou rovou J w. Lemma 3.. Nech sú spleé podmieky C, C2, C3, NC a NC2. Potom je ľubovoľá postuposť ˆLW S,,w = 2.0 NE Y,X, ˆ LW S,,w = 0 -kozistetá. riešeí ormálych rovíc.4 alebo Dôkaz: V dôkaze budeme pre ľubovoľé r, s R ozačovať r, s ord = mir, s, maxr, s. Rovaké začeie budeme používať aj pri iých typoch itervalov, t. j. r, s ord, r, s ord a r, s ord. Pripomeňme si, že ˆ LW S,,w získame vyriešeím 2.0, t. j. ako riešeie rovice w r i X i Y i X i = 0. F Prepísaím rovice získame 3. w F r i X i e i = w F r i X i X i 0. Keďže je w zdola ohraičeé pomocou L w, máme w F ri w F ri F Lw v F v. R p v R + R p Potom podľa Lemmy A.2 R p R p w w L w v R + F F ri w F ri X i e i ri w F ri Xi e i F v F v R p Takže ozačme X = X, X 2,..., X a e = e, e 2,..., e 3.2 kde w F r i X i e i = X i e i = O p R, X, e = O p R p w F r i X i e i +R, X, e,

27 a O p je v zmysle 3.3 ε > 0 K ε < if P N ω Ω : R, X, e < K ε > ε. R p Všimite si prosím, že a to, aby platila rovosť v 3.2, musí R, X, e závisieť od, X, e a. Obdobe R p R p w L w v R + w F F r i w F r i X i X i r i w F r i Xi X i F v F v R p pri. Preto platí 3.4 w F r i X i X i = kde a o p je v zmysle X i X i = o p R 2, X, e = o p R p w F r i X i X i + R 2, X, e ε > 0, δ > 0 0 N > 0 R 2 3.5 P ω Ω :, X, e < δ > ε. R p Obobe ako vyššie, aby platila rovosť v 3.4, musí R 2, X, e závisieť od, X, e a. Nakoiec z 3., 3.2 a 3.4 dostávame 3.6 = w F r i X i e i + R, X, e w F r i X i X i + R 2, X, e 0. V ďalšom texte urobíme iekoľko prípravých tvrdeí. Pripomeňme si, že vďaka C platí F v = P e X 0 < v = f X,e x, rdx dr = Ďalej pre každé R p platí r x 0 <v v+x 0 f e X r X = xdr f X xdx. v+x 0 F v F 0v

28 = = = v+x 0 f e X r X = xdr v+x 0 v+x 0 f e X r X = xdr v+x 0 v+x 0 v v f X xdx f e X r X = xdr f X xdx v v v f e X r X = xdr f X xdx v+x 0 f e X r X = xdr f e X r X = xdr f X xdx v 3.7 v+x 0 = v+x 0 f e X r X = xdrf X xdx f e X r X = xdrf X xdx v v pričom dolé a horé medze itegrálov je uté v prípade potreby zmeiť. Uvažujme teraz prvý výraz 3.7. Môžeme ho apísať ako v+x 0 3.8 f e X v X = xdr f X xdx 3.9 + v v+x 0 fe X r X = x f e X v X = x dr f X xdx. v Pre každé r v, v + x 0 ord platí f e X r X = x f e X v X = x Be x 0 kde B e je defiovaé v podmieke NC. Potom môžeme pre 3.9 odvodiť medze v+x 0 fe X r X = x f e X v X = x drf X xdx v B e x 0 v+x 0 dr v f Xxdx = B e x 0 2 fx xdx 3.0 B e E X X 2 0 2. Všimite si prosím, že horé medze ezávisia od v, čiže erovosť platí pre všetky v R + pre v R platí F v = 0 pre všetky R p. Ďalej pre 3.8 platí v+x 0 f e X v X = xdr f X xdx 3. = = v v+x 0 f e X v X = x dr f X xdx v fe X v X = xx 0 f X xdx = E X fe X v X X 0. Odvodeím obdobých erovostí, ako sú 3.0 a 3. pre druhý výraz z 3.7, t. j. aalógií pre v+x 0 fe X r X = x f e X v X = x drf X xdx v

29 a pre dostaeme, že v+x 0 f e X v X = xdr f X xdx, v v R + F v F 0v E X fe X v X X E X fe X v X X 0 3.2 2B e E X X 2 0 2 = O 0 2 as 0. Z posledej erovosti tiež vyplýva, že 3.3 v R + F v F 0v = O 0 v zmysle 3.4 K < R p v R + F v F 0v 0 < K ezabudite, že pre v 0 platí F v = F 0v = 0. Upravme teraz 3.6 asledujúcim spôsobom w F r i w F 0 r i X i e i + = 3.5 + w F r i w F 0 r i X i X i 0 w F 0 r i X i X i + R 2, X, e w F 0 r i X i e i +R, X, e 0. Na úpravu výrazov v 3.5 uvažujme w F r i w F 0 r i = w ξ i F r i F 0 r i = w ξ i w F 0 r i F r i F 0 r i 3.6 +w F 0 r i F r i F 0 r i kde ξ i F r i, F 0 r i. Ďalej platí pre J w si pozrite NC2 ord w ξ i w F 0 r i F r i F 0 r i J w F r i F 0 r i 2 3.7 J w v R + F v F 0v 2 = O 0 2 keď posledá rovosť platí vďaka 3.3. Všimite si prosím, že aj keď je ľavá straa výrazu 3.7 áhodá, posledý výraz J w v R + F v F 0v 2 ie

30 je áhodý. Z toho vyplýva, že horá hraica v 3.7 platí skoro iste. To zameá, že berúc do úvahy 3.6 a 3.7, môžeme 3.5 prepísať a tvar 3.8 w F 0 r i F r i F 0 r i + R 3 i, X, e X i e i 3.9 + = w F 0 r i X i e i + R, X, e w F 0 r i F r i F 0 r i 3.20 +R 4 i, X, e X i X i 0 3.2 + kde 3.22 w F 0 r i X i X i + R 2, X, e R 3 i, X, e = O 0 2 a R p 3.23 K < N i N R p 0, R 4 i, X, e = O 0 2. R p Pričom predchádzajúce dva výrazy O 0 2 zameajú, že R k i, X, e 0 2 < K k = 3, 4 s.i. aj keď sú R k i, X, e áhodé veličiy pozri 3.7 a ásledé kometáre. Uvažujme teraz 3.8, ajprv druhý výraz, čiže R3 i, X, ex ie i. Platí R 3 i, X, ex ie i = 0 Op 0 X i e i = 0 Op 0. To isté platí o druhom výraze v 3.20, keďže R 4 i, X, ex ix i K 0 X i X i = O p 0. Takže môžeme vzťahy medzi 3.8 a 3.2 upraviť a 3.24 3.25 + 3.26 = w F 0 r i F r i F 0 r i X i e i w F 0 r i X i e i + R, X, e w F 0 r i F r i F 0 r i X i X i 0

3 3.27 + w F 0 r i X i X i + R 2, X, e + R 5, X, e kde je R 2, X, e defiovaé v 3.4 a 3.5 a opäť R 5, X, e 0 = O p 3.28 R p 0 v zmysle 3.23. Teraz preskúmajme postupe výrazy 3.24, 3.25, 3.26 a 3.27. Spomeňme si, že podľa 2.5 platí F 0v = P Y X 0 < v = P e < v = P v < e < v. Potom pre ľubovoľý pár v, v 2 R, za predpokladu 0 v < v 2 platí F 0v 2 F 0v = P e < v 2 P e < v = P v 2 < e v +P v e < v 2 3.29 2 B e v v 2 pre B e si pozrite NC. Takže platí F 0r i F 0r i 0 2 Be X i 0 a z NC2 a toho, že a b a b vyplýva, že 3.30 w F 0 r i w F 0 r i 0 Jw B e X i 0. To zameá, že keď zoberieme vyššie uvedeé a 3.3, dostávame w F 0 r i w F 0 r i 0 F r i F 0 r i w F 0 r i w F 0 r i 0 v R + F v F 0v 3.3 J w B e X i 0 v R + F v F 0v = Xi O 0 2. Zopakujme opäť, že ozačeie R 6 = J w B e 0 F v F 0v, v R + v posledej rovosti 3.3 zameá, že: Nakoiec dostávame K < N R p R 6 < K. 0 2 w F 0 r i F r i F 0 r i 0 = w F 0 r i 0 F r i F 0 r i + X i R 7 kde pre každé R p platí R 7 R 6, čiže R 7 3.32 R p 0 2 = O,

32 a to opäť v zmysle opísaom v 3.23. Preto môžeme 3.24 apísať ako w F 0 r i 0 F r i F 0 r i + X i R 7 X i e i. Keďže platí X i X i e i R 7 = X i X i e i 0 R 7 0, a ak zoberieme do úvahy 3.32, môžeme akoiec 3.24 prepísať a tvar 3.33 w F 0 e i F r i F 0 r i X i e i + 8 0 R, X, e keď R p R 8, X, e 0 = O p, a to opäť v zmysle opísaom v 3.23. Keď si ďalej pripomeieme, že E X fe X v X X = f e X v X = xxf X xdx a že je f e X v X = x lipschitzovská s príslušou koštatou rovou B e, pozri NC, môžeme jedoducho overiť, že E X fe X v X X EX fe X v 2 X X = fe X v X = x f e X v 2 X = x xf X xdx B e v v 2 xf X xdx = B e v v 2 E X X a teda že platí EX fe X r i X X EX fe X r i 0 X X 0 B e E X r i r i 0 X 0 Be E X X 2 0 2. Spolu s 3.2 z posledej rovosti vyplýva, že F r i F 0r i E X fe X e i X X E X fe X e i X X 0 3.34 4 B e max E X X 2, 0 2. Takže sme zistili, že je 3.24 ekvivaleté w F 0 e i E X fe X e i X X EX fe X e i X X 0 X i e i

33 3.35 + R 9, X, e 0 kde opäť platí R p R 9, X, e 0 = O p, v zmysle 3.23. Tým sme ukočili úvahy o výraze 3.24. Zamerajme sa teraz a 3.25. Pripomeňme si, že r i r i 0 = X i 0, r i 0 = e i a že F 0v = F e v F e v. Z toho dostávame, že platí F 0 r i F 0 r i 0 = F e r i F e r i F e r i 0 + F e r i 0 = f e r i 0 f e r i 0 r i r i 0 + 2 f eθ i r i r i 0 2 = f e e i f e e i X i 0 + 2 f eθ i X i 0 2 kde θ i je príslušý bod z r i, r i 0. Keďže je f ord ev ohraičeé pomocou U e pozri NC, platí 3.36 F 0 r i F 0 e i f e e i f e e i X i 0 U e X i 2 0 2 a tiež 3.37 F 0 r i F 0 e i Ue X i 0 pre U e si pozrite C a pozámku pod C. Potom platí w F 0 r i w F 0 r i 0 X i e i = w ξ i F 0 r i F 0 r i 0 X i e i = w ξ i w F 0 r i 0 F 0 r i F 0 r i 0 X i e i +w F 0 r i 0 F 0 r i F 0 r i 0 X i e i kde ξ i je opäť príslušý bod z F 0 r i, F 0 r i 0. Z 3.30 a 3.37 ďalej ord vyplýva, že platí w ξ i w F 0 r i 0 F 0 r i F 0 r i 0 = Jw B e U e X i 2 0 2 a preto vďaka 3.36 platí 3.38 = kde R p w F 0 r i w F 0 r i 0 X i e i w F 0 e i f e e i f e e i X i 0 X i e i +R 0, X, e 0 R 0, X, e = O p 0 platí opäť v skôr opísaom zmysle. Z toho vyplýva, že 3.25 môžeme prepísať ako w F 0 e i + w F 0 e i f e e i f e e i X i 0 X i e i

34 3.39 + R 0, X, e 0. Tým môžeme uzatvoriť úvahy o 3.24 a 3.25 a apísať daé výrazy ako sčítaie troch výrazov, kokréte 3.40 w F 0 e i X i e i, w F 0 e i f e e i f e e i X i 3.4 + E X fe X e i X X EX fe X e i X X 0 X i e i a 3.42 R 9, X, e + R 0, X, e, kde R 9, X, e + R 0, X, e 0 = O p R p v zmysle 3.23. Ďalej môžeme 3.4 prepísať ako w F 0 e i f e e i E X fe X e i X X 3.43 f e e i E X fe X e i X X 0 X i e i. Všimime si, že vďaka CLV, je 3.40 O p. Ďalej si spomeňme, že podľa predpokladov lemmy je ˆ LW S,,w kozisteté, t. j. ˆ LW S,,w 0 = op pozri Lemma 2.3. Potom dosadeím ˆ LW S,,w do 3.42 a 3.43 dostaeme, že sú obidva výrazy o p. Nakoiec dostávame, že po dosadeí ˆ LW S,,w do ľavej stray ormálych rovíc dostaeme O p. Pokračujme ďalej s 3.26. Platí w F 0 r i F r i F 0 r i = w F 0 r i w F 0 e i F r i F 0 r i + w F 0 e i F r i F 0 r i a vďaka 3.3, 3.30 a existecii E X platí w F 0 r i w F 0 e i F r i F 0 r i w F 0 r i w F 0 e i F v F 0v v R +

J w B e 0 v R + F v F 0v X i. Ďalej platí pre K si pozrite 3.4 w F 0 r i w F 0 e i F r i F 0 r i X i X i J w B e K 0 F v F 0v X i X i = O p 0 2 v R + opäť v zmysle opísaom v 3.23. Preto môžeme 3.26 prepísať ako 3.44 w F 0 e i F r i F 0 r i X i X i + R, X, e R kde R p, X, e 0 2 = O p opäť v skôr uvedeom zmysle. Berúc do úvahy 3.2, dostávame, že 3.26 môžeme prepísať ako w F 0 e i E X fe X v X X 3.45 E X fe X v X X Xi X i 0 + R 2, X, e 0 R 2 kde opäť R p, X, e 0 2 = O p. Zostáva rozobrať 3.27. Podobe ako v predchádzajúcich riadkoch dostaeme 3.46 w F 0 e i X i X i + R 3, X, e 0 R 3 kde opäť R p, X, e 0 2 = O p. Teraz berúc do úvahy 3.45 a 3.46 dostávame, že 3.26 a 3.27 môžeme pre = ˆ LW S,,w apísať ako w F 0 e i X i X i ˆLW S,,w 0 + R 4 ˆ LW S,,w, X, e s R p R 4 ˆ LW S,,w, X, e = o p. Keďže 3.47 w F 0 e i X i X i koverguje v pravdepodobosti k regulárej matici, berúc do úvahy 3.40, 3.4, 3.42, 3.45, 3.47 a keď zapojíme Lemmu A.5, dostávame tvrdeie aktuálej lemmy. 35

36 4. Asymptotická reprezetácia odhadu LWS Ozačme ajprv pre každé M R + 4. T M = t R p, t M. Potom môžeme dokázať, že Lemma 4.. Nech platia podmieky C a NC a zafixujme ľubovoľé ε > 0, M 0, a τ 2, 3 4. Potom existuje K 0, a ε,m,τ N také, že pre všetky > ε,m,τ platí 4.2 P ω Ω : τ F r F r R t T M 0 2 t r 0 < K > ε. Pozámka 4.2. Pripomeňme si, že sú F a F 0 2 t áhodé premeé, čo môžeme vyjadriť prepísaím 4.2 do asledujúcej podoby 0 P ω Ω : τ F r, ω F r R t T M 0 2 t r, ω 0 < K > ε. Dôkaz Lemmy 4.: Keďže sú obidve distribučé fukcie F 0 2 t r a F r pre r 0 rové ule, budeme uvažovať le r > 0. Pripomeňme si, že sme predpokladali 0 = 0. Platí pozri 2.6 F r = I e 0 i < r = I ω Ω : e i ω < r a F 0 2 t r = I e i + 2 X it < r = I ω Ω : e i ω + 2 X iωt < r. Ozačme pomocou #A počet prvkov, možiy A a ozačme pre ľubovoľé r R + a t M 4.3 m +,U i r, t = #, 2,..., : e i r a e i + 2 X it < r, 4.4 m,u r, t = # i, 2,..., : e i < r a e i + 2 X it r, 4.5 m +,L i r, t = #, 2,..., : e i r a e i + 2 X it < r, 4.6 m,l r, t = # i, 2,..., : e i < r ad e i + 2 X it r a m r, t = m +,U r, t m,u r, t + m+,l r, t m r, t. Všimime si teraz, že m +,U r, t reprezetuje počet idexov, pre ktoré platí 4.7 e i + 2 X it < r, ale pre ktoré súčase platí 4.8 r e i.,l 0

Iými slovami, pozorovaia, ktorých idexy patria do m +,U r, t, uvažujeme pri výpočte F r, ale euvažujeme ich pri výpočte F r. Pre F 0 r aj pre 0 F 0 2 t 0 2 t r samozrejme berieme do úvahy aj ié. Tie sa achádzajú v ostatých možiách uvedeých v 4.4, 4.5 a 4.6. To zameá, že podobé závery platia aj pre m,u r, t, m+,l r, t a m,l r, t dolé idexy U a L zameajú, že berieme do úvahy príslušú horú a dolú hraicu itervalu r, r; podobe horé idexy + a - zameajú, že je príslušé číslo m, pripočítavaé resp. odpočítavaé k resp. od počtu bodov uvažovaých pri výpočte empirickej distr. fukcie, pri prechode z 0 do 0 2 t. Preto platí F r F r 0 m r, t. 0 2 t To zameá, že ak dokážeme, že pre každé ε 0,, M > 0 a τ 2, 3 4 existuje ε,m,τ N také, že pre všetky > ε,m,τ platí P ω Ω : τ m r, t < K r R t T M > ε, dokážeme tak tvrdeie lemmy. Aby sme to urobili, uvažujme 4.7 a 4.8, z čoho vyplýva, že r e i < r 2 X it za predpokladu, že r < r 2 X it. Iak emôžu súčase platiť 4.7 a 4.8. Takže ak ozačíme 4.9 b + i r, t = I dostávame 4.0 m +,U r, t Ozačme ďalej r e i < r 2 X it, b + i r, t. 4. ξ + i r, t = b + i r, t Eb + i r, t a ozačme ξ + π i r, t = Eb + r, t. Všimite si prosím, že i r, t je postuposť rovako rozdeleých stochastických procesov s možiou idexov R T M t. j. r R, t T M pre T M si pozrite 4.. Všetky tieto procesy sú separabilé defiícia separability je spomeutá v Dodatku. Takže platí pre U e si pozrite C = π i r, t = I 4.2 2 Ue t r v < r 2 x t i df X,e x, v I r v < r 2 x t f e X v X = xdv df X x x df X x 2 Ue M E X. 37

38 Ozačme teraz = U e M E X a ájdime 0 N tak, aby pre všetky > 0 platilo 2 0,. To zameá, že a T M platí pre > 0 4.3 π i r, t < 2. V ďalšom texte budeme uvažovať le > 0. Platí P ξ + i r, t = π i r, t = π i r, t a P ξ + i r, t = π i r, t = π i r, t. Teraz podľa Portoy 983, Jurečková 984 alebo Jurečková a Se 989, zapojíme Lemmu A.6. Pripomeňme si, že vďaka defiícii ξ + i r, t je ξ + i r, t postuposť ezávislých rovako rozdeleých áhodých veličí. Ozačme pomocou W s Wieerov proces a defiujme τ + i r, t ako dobu Wieerovho procesu, kým opustí iterval π i r, t, π i r, t. Potom ξ + i r, t = D W τ + i r, t a teda 4 ξ + i r, t = D 4 W τ + i r, t = D W 2 τ + i r, t pre podrobosti tohto kroku si pozrite Portoy 983, Jurečková 984, Jurečková a Se 989 alebo Víšek 996a, 2002c. Defiujme ďalej V i ako dobu Wieerovho procesu, kým opustí iterval 2,. Vďaka tomu, že pre každé r R a každé t T M platí pre všetky i =, 2,..., π i r, t 2 a πi r, t, dostávame, že pre všetky r R + a každé t T M τ + i r, t < V i. Potom vďaka separabilite procesov ξ + i r, t, i =, 2,... a aplikovaím lemmy A.8 dostávame, že 4 r R t T M ξ + i r, t = D 4.4 Vďaka Lemme A.6 platí r R t T M s 0, 2 Vi W W s. 2 EVi =. 2 τ + i r, t Nájdeím K < takým, že K < ε 2 a zapojeím Čebyševovej erovosti pre kladé áhodé veličiy dostávame pre všetky N 4.5 P ω Ω : 2 V i > K < ε K 2. Teraz môžeme ájsť K 2 > 0 také, že 4 K K2 2 4.5 dostávame P 4 r R t T M ε 2 a zapojeím Lemmy A.7, 4.4 a ξ + i r, t > K 2

= P +P 4.6 P P s 0, 2 s 0, 2 W s > K s 0, 2 2 Vi W s > K 2 2 Vi W s > K 2 Vi 0 s K W s > K 2 2 V i K V i > K + ε 2 2 P W 2 K > K 2 + ε 2. Teraz si spomeňme a to, že var W 2 K = 2 K a pomocou Čebyševovej erovosti dostávame 4.7 2 P W 2 K > K 2 4 K K2 2 Nakoiec 4.5, 4.6 spolu s 4.7 iplikujú 4.8 P 4 r R t T M ε 2. ξ + i r, t > K 2 ε. Teraz zoberme postupe do úvahy 4.4, 4.5 a 4.6. Defiujme b i r, t = I r 2 X it e i < r, c + i r, t = I r 2 X it < e i r, c i r, t = I r < e i r 2 X it. Dostávame tak 4 m,u r, t t 4 b + i r, t b i r, t + c + i r, t c i r, r R t T M r R t T M 4 b + i r, t Eb + i r, t b i r, t Eb i r, t r R t T M 4.9 + c + i r, t Ec + i r, t 4.20 + 4 r R t T M Eb + i c i r, t Eb i r, t + Ec + i r, t Ec i r, t Po odvodeí podobých erovostí pre 4.8 dostávame pre ξ i r, t Ec i r, t. r, t = b i r, t Eb i r, t, ζ + i r, t = c + i r, t Ec + i r, t a ζ i r, t = c i r, t Ec i r, t, že je 4.9 ohraičeé v pravdepodobosti. Na to, aby sme mohli urobiť podobý záver pre 4.20, musíme odhadúť príslušé stredé hodoty. Z toho, že b + i r, t 39

40 0, b i r, t 0, c + i ezáporé. Keď sa vrátime k 4.9, môžeme písať Eb + i r, t = I = Takže = r, t 0 a c i r, t 0 vyplýva, že sú všetky stredé hodoty r v < r 2 x t df X,e x, v I r v < r 2 x t f e X v X = xdv = r 2 x t r r 2 x t r f e X v X = xdv df X x df X x fe X v X = x f e X r X = x dv df X x + f e X r X = x Eb + i r, t = 2 r 2 x t r dv df X x. x t f e X r X = xdf X x + R + b r, t kde R + b r, t B e x t 2 df X x. Aalogické výrazy dostaeme pre Eb i r, t, Ec + i Ec i r, t = 2 r, t a Ec i r, t, apr. x t f e X r X = xdf X x + R c r, t všimite si prosím, že je prvý výraz a pravej strae rovaký pre všetky stredé hodoty Eb + i r, t, Eb i r, t, Ec + i r, t a Ec i r, t, kde opäť R c r, t B e x t 2 df X x. Preto platí 4 r R t T M Eb + i r, t Eb i r, t + Ec + i 4 4 B e x t 2 df X x t T M 4 4 Be M 2 x 2 df X x = O 4. r, t Ec i r, t Keďže τ < 4, je tým dôkaz dokočeý. Dôsledok 4.3. Nech platia predpoklady C, C2, C3, NC a NC2 a zafixujme ľubovoľé ε > 0, M 0, a τ 2, 3 4. Potom existuje K 0, a ε,m,τ N tak, že pre všetky > ε,m,τ platí P ω Ω : r R τ F ˆ LW S,,wr F r < K 0 > ε.

4 Dôkaz vyplýva priamo z Lemmy 3. a 4.. Lemma 4.4. Nech platia predpoklady C a NC a zafixujme ľubovoľé ε > 0, M 0, a τ 2, 3 4. Potom existuje K 0, a ε,m,τ N také, že pre všetky > ε,m,τ platí 4.2 P ω Ω : τ F r 0 2 X t r R t T M Dôkaz: Nech je r > 0. Pripomeňme si, že F r 0 2 X t F r = 0 Ďalej je dôkaz obdobý dôkazu Lemmy 4.. I e i < F 0 r 2 X r < K t > ε. I e i < r. Dôsledok 4.5. Nech sú spleé predpoklady C, C2, C3, NC a NC2 a zafixujme ľubovoľé ε > 0, M 0, a τ 2, 3 4. Potom existuje K 0, a ε,m,τ N tak, že pre všetky > ε,m,τ platí P ω Ω : F ri ˆ LW S,,w F 0 e 0 i < K > ε. max,2,..., τ Dôkaz vyplýva priamo z Lemmy 3. a 4.4. Vráťme sa k 2.0. Pripomeňme si, že vďaka tomu, že sme predpokladali 0 = 0 w F ˆ S,,w r i ˆ LW S,,w X LW i Y i X LW i ˆ S,,w 4.22 = w F ˆ S,,w r i ˆ LW S,,w X LW i e i X ˆ i LW S,,w = 0. Lemma 4.6. Nech sú spleé predpoklady C, C2, C3, NC a NC2. Potom platí 4.23 w F e 0 i X i Y i X ˆ i LW S,,w = o p. Dôkaz: Pripomeňme si, že sme predpokladali 0 = 0 a apíšme 4.24 w F e 0 i X i Y i X ˆ i LW S,,w = w F e 0 i X i e i X ˆ i LW S,,w w F e 0 i w F r 0 i ˆ LW S,,w Xi e i X ˆ i LW S,,w

42 + w F r 0 i ˆ LW S,,w w F ˆ LW S,,w r i ˆ LW S,,w 4.25 X i e i X ˆ i LW S,,w 4.26 + w F ˆ LW S,,w r i ˆ LW S,,w X i e i X ˆ i LW S,,w. Najprv si všimime, že 4.26 je rové ule pozrite si 4.22. Ďalej uvažujme výraz 4.24. Te ie je väčší ako τ w F r w F 0 ˆ LW S,,w r X i e i + τ+ 2 τ+ 2 τ w r R r R F 0 r w F ˆ S,,w r LW X i X i ˆ LW S,,w 0. Keďže τ + 2 >, E X i <, E e i < atď., vďaka Dôsledku 4.5 dostávame, že 4.24 je o p. Podobe z Dôsledku 4.3 dostávame, že je aj 4.25 o p a dôkaz ďalej vyplýva z 4.22. Pripomeňme si, že a že r j 0 = e j. Dostávame, že F v = F e 0 i = I r j < v j= I e j < e i. j= Ale j= I e j < e i reprezetuje počet idexov, pre ktoré je absolúta hodota disturbacie e j mešia ako e i, t. j. π 0, i pozrite si.5. Nakoiec platí 4.27 F 0 e i = π0, i pozrite si tiež Víšek 2006b, 5. Ak ozačíme k wk = w w dostávame k w = k wj. Teraz si pripomeňme, že π, i = j práve vtedy, keď ri 2 = r2 j t. j., že ri 2 = r2 π,i. Môžeme ľahko overiť, že 4.28 w F π 0, i e 0 i = w = wl = wl Iri 2 0 rl 2 0 j=k l=π 0,i, l=

43 a teda môžeme 4.23 prepísať asledujúcim spôsobom pripomeňme si, že ri 20 = e 2 i 4.29 w l X i Y i X ˆ i LW S,,w Ie 2 i e 2 l = o p. l= Ozačme ďalej Gz distribučú fukciu e 2 a ech pre ľubovoľé α 0, zostae u 2 α pre horý α-kvatil Gz, t. j. P e 2 > u 2 α = Gu 2 α = α. Ďalej, keďže Gz = F z F z, existuje hustota Gz, ozačme ju gz. Lemma 4.7. Nech je e i e i R postuposť ezávislých rovako rozdeleých áhodých veličí s absolúte spojitou distribučou fukciou F e r. Nech je pre ľubovoľé α 0, u 2 α horý kvatil distribučej fukcie Gz a pre ľubovoľé N položme l α = α it. Potom pre ľubovoľé ε 0, existuje koečá koštata K ε a ε N tak, že pre každé > ε a ľubovoľé α 0, existuje iterval I α, ε taký, že 4.30 u 2 α I ε α, pre všetky α 0,, 4.3 P α 0, ω Ω : r 2 l α 0 I ε α, > ε, 4.32 P e 2 i I α, ε 2 K ε α 0, a 4.33 E e i I α, ε 2 K ε. α 0, Dôkaz: V tomto dôkaze budeme písať amiesto l α le krátko l. Najprv ukážeme, že pre každé ε > 0 existuje K ε < a ε N také, že pre každé > ε a ľubovoľé α 0, existuje U α, ε ktoré môže byť rové ekoeču také, že 4.34 u 2 α U ε α, pre všetky α 0,, 4.35 P α 0, ω Ω : rl 2 0 U α, ε > 2ε, 4.36 P e 2 i u 2 α, U α, ε α 0, a 4.37 E α 0, e i Iu 2 α e i U α, ε = α 0, < 2 2 Kε. z 2 u 2 ε α,u α, z f e zdz < 2 2 Kε. Zafixujme ε > 0 a ozačme W s Wieerov proces. Ďalej zapojíme Lemmu A.7 a ájdeme K ε < také, že 4.38 P W s > 2K ε < 4ε. 0 s 2