MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY. Diplomová práce BRNO 2015 MICHAELA NEMEŠOVÁ

Transcript

1 MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY Diplomová práce BRNO 2015 MICHAELA NEMEŠOVÁ

2 MASARYKOVA UNIVERZITA PŘÍRODOVĚDECKÁ FAKULTA ÚSTAV MATEMATIKY A STATISTIKY Metody křížovéo ověřováí pro jádrové odady ustoty a její derivace Diplomová práce Micaela Nemešová Vedoucí práce: prof. RNDr. Ivaka Horová, CSc. Bro 2015

3 Bibliografický zázam Autor: Název práce: Studijí program: Studijí obor: Vedoucí práce: Bc. Micaela Nemešová Přírodovědecká fakulta, Masarykova uiverzita Ústav matematiky a statistiky Metody křížovéo ověřováí pro jádrové odady ustoty a její derivace Matematika Statistika a aalýza dat prof. RNDr. Ivaka Horová, CSc. Akademický rok: 2014/2015 Počet stra: xi + 66 Klíčová slova: Jádrový odad ustoty; Jádrový odad derivace ustoty; Metoda křížovéo oveřováí ejmešíc čtverců; Vycýleá metoda křížovéo oveřováí; Vylazeá metoda křížovéo oveřováí; Metoda úpléo křížovéo oveřováí

4 Bibliografický zázam Autor: Názov práce: Študijý program: Študijý odbor: Vedúci práce: Bc. Micaela Nemešová Prírodovedecká fakulta, Masarykova uiverzita Ústav matematiky a štatistiky Metódy krížovéo overovaia pre jadrové odady ustoty a jej derivácie Matematika Štatistika a aalýza dát prof. RNDr. Ivaka Horová, CSc. Akademický rok: 2014/2015 Počet strá: xi + 66 Kľúčové slová: Jadrový odad ustoty; Jadrový odad derivácie ustoty; Metóda krížovéo overovaia ajmešíc štvorcov; Vycýleá metóda krížovéo overovaia; Vyladeá metóda krížovéo overovaia; Metóda úpléo krížovéo overovaia

5 Bibliograpic Etry Autor: Title of Tesis: Degree Programme: Field of Study: Supervisor: Bc. Micaela Nemešová Faculty of Sciece, Masaryk Uiversity Departmet of Matematics ad Statistics Cross-validatio metods for kerel estimates of a desity ad its derivative Matematics Statistics ad Data Aalysis prof. RNDr. Ivaka Horová, CSc. Academic Year: 2014/2015 Number of Pages: xi + 66 Keywords: Kerel desity estimatio; Kerel desity derivative estimatio; Least squares cross-validatio; Biased cross - validatio; Smooted cross - validatio; Complete cross - validatio

6 Abstrakt V této diplomové práci se věujeme metodám pro odad optimálío vylazovacío parametru pro jadrové odady ustoty a pro jadrové odady derivace ustoty. Detailěji jsou rozebráy metody křížovéo ověřováí. Důležitou součástí práce je simulačí studie, kde jsou porováváy metody křížovéo ověřováí pro data ze čtyř růzýc pravděpodobostíc rozděleí. Nakoec je krátká studia, jejímž účelem je srováí metod křížovéo ověřováí a reálýc datec. Abstrakt V tejto diplomovej práci sa veujeme metódam pre odad optimáleo vyladzovacieo parametra pre jadrové odady ustoty a pre jadrové odady derivácie ustoty. Detailejšie sú rozobraé metódy krížovéo overovaia. Dôležitou súčasťou práce je simulačá štúdia, kde sú porovávaé jedotlivé metódy krížovéo overovaia pre dáta zo štyroc rôzyc pravdepodobostýc rozdeleí. Nakoiec je krátka štúdia, ktorej účelom je porovaie metód a reályc dátac. Abstract I tis tesis we study metodsfor estimatig te optimal smootig parameter for kerel desity estimates ad optimal smootig parameter for kerel estimatio of te derivatives of a desity. Te cross - validatio metods are discussed i more detail. Te simulatio study is te importat part of Diploma tesis, were te cross - validatio metods are compared for data from four differet probabilty distributio. Fially, tere is a brief study, wose purpose is to compare te metods of cross-validatio o real data.

7

8 Poďakovaie Na tomto mieste by som sa ccela pod akovat prof. RNDr. Ivake Horovej, CSc. za odboré vedeie mojej diplomovej práce, ceé rady, trpezlivosť a čas, ktoré mi veovala a kozultáciác. Taktiež d akujem svojim rodičom za to, že ma počas môjo štúdia podporovali. Prolášeí Prolašuji, že jsem svoji diplomovou práci vypracovala samostatě s využitím iformačíc zdrojů, které jsou v práci citováy. Bro 5. Leda Micaela Nemešová

9 Obsa Úvod Preľad použitéo začeia x xi Kapitola 1. Jadrové odady ustoty Základé vlastosti jadrovýc odadov Štatistické vlastosti jadrovýc odadov Jadrové fukcie Jadrá s miimálym rozptylom Optimále jadrá Vyladzovací parameter Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác Subjektíva metóda Metóda referečej ustoty Metóda maximáleo vyladeia Metódy krížovéo overovaia Metóda krížovéo overovaia ajmešíc štvorcov Vycýleá metóda krížovéo overovaia Vyladeá metóda krížovéo overovaia Vyjadreia metód krížovéo overovaia aplikovateľé a ustoty aj a derivácie ustôt Odady itegrálu druej mociy k - tej derivácie skutočej ustoty Vyjadreia fukcií metód krížovéo overovaia Teoretické porovaie dátovo založeýc odadov s 0 a s ĥ Kapitola 3. Jadrové odady derivácie ustoty Štatistické vlastosti odadov derivácie ustoty Kapitola 4. Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty Metóda maximáleo vyladeia pre deriváciu ustoty Metódy krížovéo overovaia pre derivácie ustoty Metóda krížovéo overovaia ajmešíc štvorcov pre deriváciu ustoty Vycýleá metóda krížovéo overovaia pre deriváciu ustoty viii

10 4.2.3 Úplá metóda krížovéo overovaia pre deriváciu ustoty Kapitola 5. Simulačá a aplikačá štúdia Simulačá štúdia pre ustoty Závery zo simulačej štúdie pre ustoty Simulačá štúdia pre 1. deriváciu ustoty Závery simulačej štúdie pre odady 1. derivácie ustoty Aplikácia a reále dáta Záver Zozam použitej literatúry

11 Úvod Výodou eparametrickéo prístupu k odadom je to, že emusíme vopred predpokladať určitú štruktúru ustoty a odad môžeme urobiť le a základe získaýc dát. Medzi ajpoužívaejšie eparametrické odady patria jadrové odady, ktoré sú široko aplikovateľé. V tejto práci sa budeme veovať jadrovým odadom ustoty a jej derivácie. Jadrové odady závisia a troc faktoroc - a vyladzovacom parametri, tvare a ráde jadrovej fukcie. Najväčší vplyv a kvalitu jadrovýc odadov má vyladzovací parameter, a preto v tejto práci rozoberieme metódy pre výber vyladzovacieo parametra. Detaile sa v práci veujeme metódam krížovéo overovaia. V prvej a druej kapitole sa veujeme jadrovým odadom ustoty. V prvej kapitole sú uvedeé základé defiície, pojmy a popísaé rozličé kritéria pre porovaie kvality odadov ustoty, apríklad MSE, MISE, ISE a AMISE cybové kritérium. V tejto kapitole sú tiež popísaé dva typy jadrovýc fukcií, jadrá s miimálym rozptylom a optimále jadrá. Druá kapitola sa veuje metódam pre výber optimálej šírky vyladzovacieo oka pre ustoty, detaile metódam krížovéo overovaia. Najprv sú odvodeé vyjadreia fukcií metód krížovéo overovaia, ktoré sú všeobece záme a používaé aj v iýc diplomovýc prácac ako [14], [13]. Potom sú odvodeé vzťay pre odady itegrálu druej mociy k - tej derivácie ustoty a pomocou týcto vzťaov prevedieme už záme vyjadreia fukcií metód pre ustoty a zavedieme ovú metódu, metódu úpléo krížovéo overovaia, ktorej zeie vyjadríme pomocou takto uvedeýc odadov. Na koci druej kapitoly pojedáme o teoretickom porovaí odadov vyladzovacíc parametrov získaýc jedou z metód krížovéo overovaia s ISE optimálym vyladzovacím parametrom a MISE optimálym vyladzovacím parametrom. V treťej a štvrtej kapitole sa veujeme jadrovým odadom derivácie ustoty. V treťej kapitole sú uvedeé defiície pre jadrové odady derivácie ustoty a popísaé kritéria pre porovaie kvality odadov derivácie ustoty. Štvrá kapitola sa veuje metódam ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty. Detaile metódam krížovéo overovaia, ktorýc zeia odvodíme pomocou vzťaov pre odady itegrálu druej mociy k - tej derivácie ustoty, ktoré sú použité už pri ustotác v kapitole 2. Piata kapitola sa veuje ajprv simulačej štúdii pre ustoty a pre prvú deriváciu ustoty a potom aplikáciou a reále data. Aplikačá štúdia je vytvoreá pre odady ustoty. x

12 Preľad použitéo začeia Pre jedoducšiu orietáciu v texte predkladáme čitateľovi preľad základéo začeia, ktoré sa vyskytuje v celej práci. R X EX varx X i f f xdx ˆf, bias{ ˆf } K V K V f k β k K možia všetkýc reályc čísel áodá veličia stredá odota áodej veličiy X rozptyl áodej veličiy X realizácia áodej veličiy X, kokréty bod dátovej možiy ustota pravdepodobosti bude ozačovať f xdx jadrový odad ustoty s vyladzovacím parametrom vycýleie odadu ustoty f vyladzovací parameter, šírka vyladzovacieo oka jadrová fukcia, skrátee jadro ozačuje 1 [Kx] 2 dx 1 ozačuje ozačuje 1 1 [ f k x] 2 dx x k Kxdx {a } =1 = O{b } =1 čítame a je veľké o b a rovosť platí práve vtedy, keď lim sup a b < {a } =1 = o{b } =1 čítame a je malé o b a rovosť platí práve vtedy, keď lim a b = 0 xi

13 Kapitola 1 Jadrové odady ustoty V celej práci budeme predpokladať, že X 1,X 2,...,X, sú jedorozmeré ezávislé áodé veličiy, ktoré majú rovaké rozdeleie pravdepodobosti so spojitou ustotou f. 1.1 Základé vlastosti jadrovýc odadov K tomu, aby sme vedeli zadefiovať jadrový odad fukcie v ejakom bode potrebujeme ajprv vedieť, čo je to jadrová fukcia. Uveďme preto defiíciu jadra a pre ilustráciu vykreslime iekoľko príkladov jadrovýc fukcií. Defiícia Nec ν, k sú ezáporé celé čísla rovakej parity, kde 0 ν k 2. Reála fucia K spĺňajúca podmieky 1. fukcia K splňuje Lipscitzovu podmieku a itervale < 1,1 >, t.j. x,y [ 1,1] : Kx Ky L x y, 2. osičom fukcie K je iterval < 1, 1 >, teda Kx = 0, ak x / < 1, 1 >, 3. jadro K splňuje mometové podmieky: 1 0, ak 0 j < k, j ν, x j Kxdx = 1 ν, ak j = ν. 1 β k 0, ak j = k. 1.1 sa azýva jadro rádu k. Triedu všetkýc jadier s týmito vlastosťami ozačíme S νk. Pre odady ustoty budeme ajčastejšie používať jadrá triedy S 02. Defiujme idikátorovú fukciu, ktorá je dôležitou súčasťou moýc jadier. Defiícia Zobrazeie I A : R {0,1} také, že { 1, ak x A, I A x = 0, iak 1.2 azývame idikátorovou fukciou možiy A. 1

14 Kapitola 1. Jadrové odady ustoty 2 Nasledujúca tabuľka ám dáva preľad ajpouživaejšíc jadier. Jadrá triedy S 02 obdĺžikové jadro Kx = 1 2 I [ 1,1]x kvartické jadro Kx = x2 2 I [ 1,1] x triweigt jadro Kx = x2 3 I [ 1,1] x Epaečikove jadro Kx = x2 I [ 1,1] x trojuolíkové jadro Kx = 1 x I [ 1,1] x Jadrá triedy S 13 Kx = 3 2 xi [ 1,1]x Kx = 15 4 x1 x2 I [ 1,1] x Jadrá triedy S 24 Kx = x2 I [ 1,1] x Kx = x2 1 5x 2 I [ 1,1] x Gaussove jadro Kx = 1 e x2 2 2π Často používaým jadrom je Gaussove jadro. Gaussove jadro má eoraičý osič, t.j. osičom Gaussovo jadra je R, a teda esplňuje podmieku dva v defiícii pre jadro triedy S νk. Najmä pri deriváciác ustoty budeme požadovať určitú ladkosť jadrovýc fukcií. Budeme požadovať, aby K S νk C m < 1,1 > a K j 1 = K j 1 = 0, pre j = 0,1,...,m. Triedu všetkýc jadier s týmito vlastosťami ozačme Sνk m. Podľa [8] platí, že ak K S0k ν, tak Kν Sνν+k Napríklad kvartické jadro Kx = 16 1 x2 2 I [ 1,1] x patrí do triedy jadier S alebo triweigt jadro Kx = 32 1 x2 3 I [ 1,1] x patrí do S02 2. Druá derivácia triweigt jadra je jadro tvaru Kx = x2 1 5x 2 I [ 1,1] x a patrí do S24 0. Pre ilustráciu sú a obrázku 1.1 vykresleé ajpoužívaejšie jadrá. Jadrový odad ustoty f v bode x R defiujeme ako: ˆf x, = 1 x Xi K, 1.3 kde fukcia K je jadro a parameter > 0 azveme vyladzovacím parametrom alebo šírkou vyladzovacieo oka. Vyladzovací parameter = { } = =1 ozačuje eáodú postuposť kladýc reályc čísel, pre ktorú platí lim = 0

15 Kapitola 1. Jadrové odady ustoty 3 Obr. 1.1: Obdĺžikové jadro a Epaečikove jadro Obr. 1.2: Gaussove a Kvartické jadro Obr. 1.3: Príklady jadier triedy S 13 Obr. 1.4: Príklady jadier triedy S 24

16 Kapitola 1. Jadrové odady ustoty 4 Obr. 1.5: Skutočá dvojmodála ustota a jej jadrový odad a simulovaýc dátac použitím Epaečikoveo jadra a lim =. Písmeom ozačíme veľkosť dátovéo súboru. Vyladzovací parameter bude určovať možstvo vyladeia, ktoré pri odade použijeme. Nájdeie optimálej odoty vyladzovacieo parametra je dôležitou úloou pri koštrukcii jadrovýc odadov a preto sa k emu ešte eskôr vrátime. Ak ozačíme jadrovú fukciu v tomto tvare K = 1 K x, potom vzťa 1.3 vieme prepísať do tvaru ˆf x, = 1 K x X i. Pre fukciu K zväčša požadujeme, aby Kxdx = 1 a x R: x 0, pretože potom aj ˆf bude ustotou pravdepodobosti. Za fukciu K vyberáme väčšiou ejakú uimodálu ustotu pravdepodobosti symetrickú okolo uly, pretože potom aj odad ˆf zdedí tieto vlastosti. V [23] sa uvádza, že ak jadrová fukcia bude diferecovateľá a spojitá, tak odad ˆf aj skutočá ustota budú mať tieto vlastosti. Ak za jadrovú fukciu použijeme ustotu ormáleo rozdeleia, potom odad bude ladkou fukciou so spojitými deriváciami všetkýc rádov. Jadrovými fukciami sa ešte detailejšie budeme zaoberať aj v ďalšíc podkapitolác. Na obrázku 1.5 môžeme porovať skutočú ustotu s jej jadrovým odadom. Dátové body tvorí áodý výber veľkosti = 100 s ustotou pravdepodobosti f x = 1 4 φ 3 x φ 3 x 3, kde φ 3 7 x ozačuje ustotu pravdepodobosti ormáleo rozdeleia N0, a φ 3 7 x 3 ozačuje ustotu pravdepodobosti ormáleo rozdeleia N3, Pre jadrový odad vyššie uvedeej dvojmodálej ustoty f bolo použité Epaečikove jadro. Dáta majú s pravdepodobosťou 1 4 rozdeleie N0, a s pravdepodobosťou 3 4 rozdeleie N3, Jadrový odady ustoty bol vytvoreý pomocou toolboxu ku kie [8].

17 Kapitola 1. Jadrové odady ustoty Štatistické vlastosti jadrovýc odadov Po vytvoreí štatistickéo odadu cceme vedieť, ako blízko sme ku skutočej odadovaej fukci, resp. akej cyby sme sa pri odade dopustili. Porovávať odady môžeme v jedotlivýc bodoc alebo globále cez celú reálu os. Ak porovávame odad ustoty f príp. ejakéo odadovaéo parametru v daom bode x, tak vodým kritériom je stredá kvadratická cyba MSE daá prepisom: MSE{ ˆf x,} = E{ ˆf x, f x} 2. Stredú kvadratickú cybu odadu vieme rozložiť a súčet druej mociy výcýleia bias 2 a rozptylu var toto odadu, t.j. MSE{ ˆf x,} = E{ ˆf x, f x} 2 = E{ ˆf x,} 2 2E{ ˆf x, f x} + f x 2 = E{ ˆf x,} 2 {E ˆf x,} 2 + {E ˆf x,} 2 2E{ ˆf x, f x} + f x 2 = E{ ˆf x,} f x 2 +E{ ˆf x,} 2 {E ˆf x,} 2 }{{}}{{} bias 2 { ˆf x,} var{ ˆf x,} 1.5 V ďalšíc úvaác budeme často používať pojem kovolúcie dvoc fukcií, preto o teraz uveďme. Defiícia Kovolúciou fukcií f a g v bode x budeme azývať fukciu f g defiovaú vzťaom f gx = f x ygydy. 1.6 Teto vzťa je defiovaý iba pre tie body x, pre ktoré itegrál f x ygydx existuje. Pojem kovolúcie dvoc fukcií vieme využiť pre rozklad MSE{ ˆf x, }, o čom ovorí asledujúca lema. Lema MSE{ ˆf x,} = { K f x f x } 2 1 { } K 2 f x K f 2 x Dôkaz. Najprv odvoďme čomu je rová stredá odota odadu ustoty f. Z defiície jadrovéo odadu fukcie f a základýc vlastostí stredej odoty dostaeme 1 E ˆf x, = E = 1 E x Xi K K x X i. = 1 E K x Xi Zavedeím áodej veličiy X s ustotou pravdepodobosti f a využitím too, že stredá odota jadra K je v každej ameraej odote X i rovaká, dostávame E ˆf x, = EK x X = K x y f ydy

18 Kapitola 1. Jadrové odady ustoty 6 a využitím vzťau 1.6 máme E ˆf x, = K f x. 1.7 Pomocou predcádzajúceo výpočtu odvoďme vzťa pre rozptyl a druú mociu vycýleia odadu ustoty fukcie f 1 var{ ˆf x,} = var K x X i = 1 2 var x X i = K 1 var K x X. Ďalej, využitím predcádzajúcic rovostí, základéo vzťau pre rozptyl áodej veličiy varx = EX 2 EX 2 a defiície stredej odoty pre spojitú áodú veličiu máme var{ ˆf x,} = 1 K var x X = 1 E K 2 x X 1 EK x X = 1 ] K [ 2 x y f ydy K x y f y 2 dy = 1 [ ] K 2 f x K f 2 x. bias 2 { ˆf x,} = [E{ ˆf x,} f x] 2 = [K f x f x] 2. Dosadeím odvodeýc vzťaov pre rozptyl odadu ustoty a kvadrát vycýleia odadu ustoty do vzťau pre MSE odadu ustoty dostaeme výsledý vzťa v tomto tvare 2 MSE{ ˆf x,} = bias 2 { ˆf x,} + var{ ˆf x,} = [K f x f x] [K 2 f x K f 2 x]. V asledujúcic vetác, o ajmä v ic dôkazoc sa využíva Taylorov rozvoj fukcie f v bode x. Verzie Taylorovej vety sú rôze. Pre aše účely budeme využívať asledujúce zeie Taylorovej vety, ktoré môžeme ájsť aj v [23]. Veta Nec f : R R a ec x je ľuboľé. Ak fukcia f má k spojitýc derivácií, k 1 v okolí bodu x, tak pre ľubovoľú postuposť reályc čísel {a } =1 kovergujúcu k ule pre platí: f x + a = k j=0 a j f j x + oa k j!. Túto vetu budeme používať aj pri určovaí kvality jadrovýc odadov z asymptotickéo ľadiska, čo je vodé, ak uvažujeme veľké vzorky dát a vytváraie odadov ustoty viacásobe opakujeme.

19 Kapitola 1. Jadrové odady ustoty 7 Veta Nec K S 0k, k k 0, k páre prirodzeé číslo, f C k 0. Nec k - tá derivácia odadovaej fukcie f je v kvadráte itegrovateľá fukcia, lim = 0 a lim =. Potom pre stredú kvadratickú cybu odadu ustoty f platí vzťa: MSE{ ˆf x,} = V K f x + 2k β k 2 K f k x 2 1 k! 2 + o2k + 1, 1.8 kde β k K = 1 1 x k Kxdx a V K = 1 1 [Kx] 2 dx. Dôkaz. Použitím vzťaov 1.7, 1.6 a substitúcie dostávame asledujúce rovosti E ˆf x, = 1 x y K f ydy = x y = = z y = x z x y = z dy = dz = = Kz f x zdz. Ak použijeme Taylorov rozvoj fukcie f v bode x, vlastosti jadra K ako jadra triedy S 0k a vlastosť jadra ako ustoty pravdepodobosti Kx = 1 získavame asledujúci vzťa pre stredú odotu odadu f E ˆf x, = f x + 1k k k! β k K f k x + o k 0 = f x + o Predcádzajúce výpočty pre odad stredej odoty použijeme pre odvodeie vzťaov pre kvadrát vycýleia odadu ustoty a rozptyl odadu ustoty. bias 2 { ˆf x,} = [E ˆf x, f x] 2 = [ = = 2k f x + 1k k β k K f k x + o k f x k! [ 1 k k k! 2 β k 2 K f k x 2 + o 2k + 2 = 2k k! 2 β k 2 K f k x 2 + o 2k. Z lemy máme teto tvar pre rozptyl odadu ustoty f var{ ˆf x,} = 1 [ ] K 2 f x K f 2 x. ] 2 ] β k K f k x o k } k! {{ } o 2k 1.10

20 Kapitola 1. Jadrové odady ustoty 8 Aplikovaím vzťaov 1.7 a 1.9 a predcádzajúci vzťa a použitím substitúcie dostávame rovosti var{ ˆf x,} = 1 [ ] K 2 f x K f 2 x = 1 x y 2 K 2 f ydy 1 [ ] 2 f x + o1 x y = = z y = x z x y = z dy = dz = 1 K 2 z f x zdz 1 [ 2 f x + o1]. Využitím Taylorovej vety aplikovaej a f x z v bode x, vzťau 1.9 a využitím predpokladu vety, že lim = 0 dostaeme teto tvar rozptylu odadu ustoty f var{ ˆf x,} = 1 = 1 K 2 z[ f x + o1]dz 1 [ f x + o1]2 = K 2 z f xdz + o1 1 K 2 zdz 1 [ f x + o1] 2. [ ] Keďže platia vzťay 1 = = o 1, V K = 1 K 2 xdx, lim = 0 a lim = 1 potom var{ ˆf x,} = V K ] [ f x + o 1, teda, MSE{ ˆf x,} = var{ ˆf x,} + bias 2 { ˆf x,} = V K f x + 2k β k 2 K f k x 2 1 k! 2 + o 1 + 2k. Porovávaím kvality odadu ustoty v pevom bode z asymptotickéo ľadiska môžeme použiť cybové kritérium záme ako asymptotická stredá kvadratická cyba AMSE defiovaá ako AMSE{ ˆf x,} = V K f x + 2k β k 2 K f k x 2 1 k! 2. Vzľadom k možosti rozkladu MSE a súčet rozptylu a druej mociy vycýleia je toto kritérium vodejšie pre ďalšie matematické výpočty. Uveďme myšliekovo iý typ cybovéo kritéria používaéo a porovávaie odadov v jedotlivýc bodoc, a to stredú absolútu cybu MAE, pre ktorú platí: MAE{ ˆf x,} = E ˆf x, f x.

21 Kapitola 1. Jadrové odady ustoty 9 Často je vodejšie porovávať odad ustoty so skutočou ustotou ako celok ež iba v jedotlivýc bodoc. Jedou z možostí určeia vzdialeosti medzi skutočou ustotou f a jej odadom ˆf z globáleo ľadiska je itegrále kvadratické cybové kritérium ISE daé formulou: ISE{ ˆf.,} = { ˆf., f x} 2 dx Výpočet itegrálej kvadratickej cyby odadu je výpočtovo zložitejšie a preto sa často upredostňuje použitie očakávaej odoty itegrálej kvadratickej cyby. Očakávaú odotu itegrálej kvadratickej cyby ISE azveme stredou itegrálou kvadratickou cybou a ozačíme MISE. Pre MISE{ ˆf.,} platia rovosti: MISE{ ˆf.,} = E{ISE{ ˆf.,} = E za predpokladu, že ˆf, a teda aj f sú itegrovateľé fukcie. { ˆf x, f x} 2 dx = MSE{ ˆf x,}dx, Ako obdobu lemy pre MSE dostaeme lemu pre MISE v zeí: Lema Pre stredú itegrálu kvadratickú cybu odadu ustoty f platí vzťa: MISE{ ˆf.,} = 1 1 K f 2 xdx 2 K f x f xdx+ + f 2 xdx K 2 xdx. Dôkaz. Dôkaz lemy získame obdobou dôkazu lemy 1.2.1, využitím vzťau 1.6, Taylorovej vety a rozvoj fukcie f v bode x, vlastosti fukcie f ako ustoty pravdepodobosti f xdx = 1 a použitím zakladýc algebraickýc úprav. Presý dôkaz je možé ájsť v [15]. Na základe vzťau medzi MSE a MISE môžeme vysloviť asledujúcu vetu pre výpočet MISE{ ˆf.,}, ktorá bude obdobou vety vytvoreej a výpočet MSE{ ˆf x,}. Veta Nec K S 0k, k k 0, k páre prirodzeé číslo, f C k 0. Nec k - tá derivácia odadovaej fukcie f je v kvadráte itegrovateľá fukcia, lim = 0 a lim =. Potom pre stredú itegrálu kvadratickú cybu odadu ustoty f platí vzťa: MISE{ ˆf.,} = V K kde β k K = k β 2 k K x k Kxdx a V K = 1 1 f k x 2 dx 1 k! 2 } {{ } D k [Kx] 2 dx. +o 2k + 1, 1.13 Dôkaz. Vzľadom k platosti vzťau MISE{ ˆf.,} = MSE{ ˆf x,}dx je dôkaz tejto vety obdobou dôkazu vety pre MSE{ ˆf x,}.

22 Kapitola 1. Jadrové odady ustoty 10 Uveďme dôsledok predošlej vety, ktorý ovorí o tom, že stredá itegrála kvadratická cyba odadu ustoty f sa dá vyjadriť ako súčet itegráleo rozptylu odadu ustoty f a itegrálej druej mociy vycýleia odadu ustoty f. Dôsledok Nec platia predpoklady vety Potom stredá itegrála kvadratická cyba odadu ustoty f sa dá vyjadriť ako súčet itegráleo rozptylu odadu ustoty f a itegrálej druej mociy vycýleia toto odadu v tvare [ ] [ V K MISE{ ˆf.,} = + o 1 + 2k β 2 k K }{{} IV { ˆf.,} kde β k K = 1 1 x k Kxdx a V K = 1 1 ] k! 2 + o2k, f k x 2 dx 1 } {{ } ISB{ ˆf.,} [Kx] 2 dx V praxi cceme vytvoriť odady, ktoré sú čo ajmeej vzdialeé od ic skutočej odoty. Poďme rozobrať detailejšie miimalizáciu cyby odadu ustoty z ľadiska MISE. variace - bias trade off problém Itegrála druá mocia vycýleia je v predcádzajúcom vyjadreí pre MISE{ ˆf.,} asymptoticky rádu 2k. V sae miimalizovať itegrálu druú mociu vycýleia, cceme aby bolo, čo ajmešie. Na druej strae, ak vezmeme malé, tak vedúci čle proporcioály 1 vo vyjadreí itegráleo rozptylu pri pevom arastie. Naším cieľom je ájsť kompromis. Nájsť takú šírku vyladzovacieo oka, aby itegrála druá mocia vycýleia bola malá, ale rovako veľmi sa ezväčšil itegrály rozptyl. V agličtie je teto problém zámy ako variace - bias trade off. Výcyleie je veľké, ak absolúta odota k - tej derivácie ustoty f bude veľká. Z praktickéo ľadiska je absolúta odota k - tej derivácie ustoty f veľká v miestac, kde je veľká krivosť ustoty. Hustoty majú veľkú krivosť v píkoc, kde je vycýleie záporé a v doliác, kde je vycýleie kladé. Veľmi vycýleý jadrový odad ustoty vyladzuje tieto dôležité črty fukcie. O probléme variace - bias trade off je možé sa dočítať detaile apríklad v [23]. Vyjadreí MSE a MISE v tvare daýc vetami a je problematické, pretože vyjadreia závisia a vyladzovacom parametri komplikovaým spôsobom. Je ťažké vyjadriť závislosť vyladzovacieo oka a kvalite jadrovéo odadu. Možým riešeím je aradeie IV { ˆf x,} a ISB{ ˆf x,} ic asymptotickými ekvivaletmi. Tým sa vytvoril podet a vytvoreie ovéo kritéria odvodeéo od MISE. Toto kritérium budeme azývať asymptotická stredá itegrála kvadratická cyba AMISE a písať v tvare AMISE{ ˆf.,} = AIV { ˆf.,} + AISB{ ˆf.,} = V K + 2k β 2 k K f k x 2 dx 1 k! 2, 1.15 a predpokladať spleie predpokladov vety

23 Kapitola 1. Jadrové odady ustoty 11 Úloa ájsť miimálu odotu AMISE{ ˆf., } je ekvivaletá úloe ájsť optimály vyladzovací parameter, ktorý miimalizuje odotu AMISE{ ˆf.,}. Nie je ťažké dokázať, že pre AMISE optimály vyladzovací parameter platí asledujúca veta: Veta Nec sú spleé predpokady K S 0k, k k 0, k páre prirodzeé číslo, f C k 0, k - tá derivácia odadovaej fukcie f je v kvadráte itegrovateľá fukcia, lim = 0 a lim =. Potom optimála odota vyladzovacieo parametra, pre ktorú AMISE{ ˆf.,} bude adobúdať miimálej odoty spĺňa vzťa kde β k K = 1 1 opt,0,k = x k Kxdx, V K = 1 1 V K 2kβ k 2 KD k 1 2k+1, 1.16 [Kx] 2 dx a D k = f k x k! 2 dx. Dôkaz. Platosť vzťau 1.16 pre AMISE optimály vyladzovací parameter pri spleí predpokladov tejto vety môžeme získať ako riešeie rovice damise{ ˆf.,} d pričom vyjadreie AMISE{ ˆf.,} je daé vzťaom = 0, 1.17 Ďalšia podkapitola ovorí detaile o jadrovýc fukciác. Vycádzame z pozatkov uvedeýc v [8]. 1.3 Jadrové fukcie Podľa výberu optimáleo kritéria rozlišujeme optimále jadrá a jadrá s miimálym rozptylom Jadrá s miimálym rozptylom Zamerajme sa teraz a triedu jadier miimalizujúcic rozptyl, ktoré miimalizujú asymptotický rozptyl jadrovýc odadov. Zjedodušee budeme jadrá s touto vlasosťou azývať jadrá s miimálym rozptylom. Jadro s miimálym rozptylom K S νk k, ν rovakej parity je v kvadráte itegrovateľá fukcia, ktorá miimalizuje fukcioál V K = 1 1 K 2 xdx. Jadrá s miimálym rozptylom sú polyómy stupňa k 2 defiovaé a itervale < 1,1 >. Majú k 2 koreňov a itervale 1,1. Pre k páre získavame odady, ktoré sú párymi fukciami a pre k epáre dostávame epáre fukcie. Podľa [8] je dôležitou vlastosťou jadier s miimálym rozptylom to, že ic možo vyjadriť pomocou Legedrovýc polyómov.

24 Kapitola 1. Jadrové odady ustoty 12 Príklad Príklady jadier s miimálym rozptylom: * obdĺžikové jadro Kx = 1 2 I [ 1,1]x ** Jadro triedy S 13 Kx = 3 2 xi [ 1,1]x *** Jadro triedy S 24 Kx = x2 I [ 1,1] x Nevýodou jadrovýc fukcií miimalizujúcic rozptyl je to, že ie sú spojité v krajýc bodoc Optimále jadrá Uvažujme fukcioál teda T K = 1 1 x j Kxdx 2ν k ν K 2 xdx 2 2k+1, pre K S νk, 1.18 T K = β k K 2ν+1 [V K] k ν 2 2k Úloa miimalizácie fukcioálu T K cez možiu fukcií triedy S νk emá riešeie, preto sa avrlo pridať podmieku a jadro K: K má prese k 2 zamiekovýc zmie a itervale 1,1. V ďalšíc úvaác predpokladáme, že k, ν sú rovakej parity. Riešeím úloy miimalizácie fukcioálu T K splňajúce podmieku 1.18 a podmieku pre počet zamiekovýc zmie jadra azveme optimále jadro K opt. Sú to polyómy stupňa k, ktoré majú k 2 koreňov a itervale 1,1 a dva koree sú 1 a 1. Detailejšie sa o ic môžete dočítať v [7] alebo v [8]. Preľad optimályc jadier ájdeme v asledujúcej tabuľke: ν k vyjadreie K opt x 2 I [ 1,1] x x2 17x 2 3I [ 1,1] x xx 2 1I [ 1,1] x xx2 19x 2 5I [ 1,1] x x2 11 5x 2 I [ 1,1] x x2 177x 4 58x 2 + 5I [ 1,1] x Príklady týcto a aj viacerýc optimályc jadrovýc fukcií môžeme ájsť v [8]. Porovávaie kvality jadrovýc odadov v závislosti a výbere jadrovej fukcie je defiovaé pomocou fukcioálu T K.

25 Kapitola 1. Jadrové odady ustoty 13 Defiícia Pre ľubovoľé δ > 0 a jadro K S νk defiujme fukciu K δ asledujúcim predpisom K δ x = 1 x δ ν+1 K δ Lema Nec K S νk. Fukcioál T K je ivariatý voči trasformáci jadra K a fukciu K δ = 1 K δ ν+1 δ, t.j., T K = T K δ. Dôkaz. T K δ = = δ δ δ δ x x k 1 δ ν+1 K δ = t = dx δ = dt dx = dt δ 1 = = = 1 x k δ k δ δ ν+1 K x 2ν+1 δ dx δ δ δ 1 x 2ν+1 δ dx δ δ t k δ k+1 2ν+1 1 Ktdt δ ν+1 1 V K k ν δ k+1 β k 2ν+1 K δ 2ν+1 [V K] k ν β k 2ν+1 K = T K. 2 2k+1 δ ν+1 2ν+2 K2 δ 1 x δ 2ν+2 K2 1 δ 2ν+1 K2 tdt 2ν+1 2 2k+1 dx x δ k ν k ν dx 2 2k+1 2 2k+1 k ν 2 2k Pozámka Jadrá K a K δ sa azývajú ekvivaleté jadrá. 1.4 Vyladzovací parameter Vyladzovací parameter určuje možstvo vyladeia, ktoré použijeme pri tvorbe jadrovéo odadu. Určeie optimáleo vyladzovacieo parametra závisí od účelu ašo výskumu. Niektoré vyladzovacie parametre majú dobré teoretické vlastosti, ié emajú také dobré teoretické vlastosti, ale v praxi sú lepšie využiteľé. Na určeie optimáleo parametra bolo vyviutýc možstvo metód. Na ižšie zobrazeýc odadoc ustôt vidieť, že malé odoty vyladzovacieo parametra vytvárajú kostrbaté odady s možstvom píkov. Pre rôze malé odoty vyladzovacieo parametra sa môžu objaviť píky odadu ustoty a rozličýc miestac

26 Kapitola 1. Jadrové odady ustoty 14 Obr. 1.6: Podladeý jadrový odad ustoty s Epaečikovým jadrom a s = 3 Obr. 1.7: Preladeý jadrový odad ustoty s Epaečikovým jadrom a s = 15 grafu. So zväčšujúcou veľkosťou šírky vyladzovacieo oka klesá rozptyl odadu, ale vzrastá vycýleie. Veľká odota vyladzovacieo parametru slúži pre určeie globáleo správaia ustoty. Odady s veľmi malými odotami budeme azývať podladeé, a aopak, odady s veľmi veľkými odotami budeme azývať preladeé. Ukážme príklad podladeéo a preladeéo odadu ustoty. Odad je uskutočeý použitím reályc dát zo súboru pod ázvom s204.txt. Dátový súbor je súčasťou materiálov ku cvičeiam k predmetu Lieárí statistické modely II výučba rok 2013 poskytuté pai RNDr. Mariou Forbelskou, P.D.. Dátový súbor obsauje počty získaýc bodov 98 študetov z Amtaureovo testu. Jadrové odady ustoty boli vytvoreé pomocou toolboxu ku kie [8].

27 Kapitola 2 Metódy výberu šírky vyladzovacieo oka pri ustotác Už v predcádzajúcej kapitole bola spomeutá dôležitá úloa vyladzovacieo parametra. V tejto kapitole sa pozrieme a metódy výberu optimáleo vyladzovacieo parametra a jeo odadu pre ustoty. 2.1 Subjektíva metóda Najjedoducšou metódou je subjektíva tzv. okometrická metóda. Vykreslíme krivky s rozličými odotami vyladzovacieo parametra. Krivku, ktorá bude podľa ášo ázoru ajlepšia, t.j. bude ajlepším odadom skutočej ustoty, prelásime za odad skutočej ustoty a odotu vyladzovacieo parametra za optimálu. Vieme, že veľká šírka vyladzovacieo oka je vodá pre určeie globályc vlastostí, a aopak, mále odoty vyladzovacieo parametra sú vodé pre určeie lokályc vlastostí, ktoré však síce môžu, ale vôbec emusia byť prítomé v skutočej ustote. Táto metóda je vodá pre prvotú predstavu o odadovaej fukcii. Keďže je takéto skúmaie odadu časovo áročejšie je vodé, aby sme použili metódu, ktorá sama určí presú optimálu odotu parametra použitím dát. Jedou z prvýc sofistikovaejšíc metód, bola metóda tzv. pravidla palca, záma aj ako metóda referečej ustoty. 2.2 Metóda referečej ustoty Metóda referečej ustoty bola prvý krát zmieeá v [20]. V tejto podkapitole budeme predpokladať, že ustota f má spojité derivácie až do druéo rádu, teda f C 2, jadrová fukcia je oraičeou fukciou symetrickou okolo uly a K S 02. Zároveň platia asledujúce vzťay pre vyladzovací parameter = { } = =1 lim = 0 15

28 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 16 a lim =. Táto metóda používa a porovaie odadov AMISE kritérium. Použitím jadier triedy S 02 získavame z vety teto tvar AMISE optimáleo vyladzovacieo parametra: kde β 2 K = 1 1 opt,0,2 = x 2 Kxdx, V K = 1 1 V K β 2 2 KV f x [Kx] 2 dx, K S , 2.1 Metóda referečej ustoty je založeá a aradeí ezámej veličiy V f x vo vzorci 2.1 jej odotou pre parametrickú triedu ustôt. Najčastejšie sa používa ustota rozdeleia N0,σ 2. Vyladzovací parameter získaý metódou ormálej referečej ustoty ozačme NRH. S použitím jadier triedy S 02 a ormálej ustoty s rozptylom σ 2 platí vzťa V f Normal x = 3 8 πσ Dôkaz platosti toto vzťau ájdeme v [14]. Dosadeím výrazu pre V f Normal x za V f x do vzťau 2.1 získavame vzťa pre optimály vyladzovací parameter získaý metódou ormálej referečej ustoty v tvare πv K NRH = 3β 2 σ K Odad vyladzovacieo parametra NRH z rovice 2.3 získame odadom parametra σ z dát. Za ˆσ budeme brať buď štadardizovaé iterkvartilové rozpätie ˆσ IQR alebo výberovú smerodatú odcýlku σ s. Teda πv K ĥ NRH = 3β 2 ˆσ IQR 2 K alebo πv K ĥ NRH = 3β 2 σ s. 2 K Ak použijeme Gaussove jadro, tak ĥ NRH možo vyjadriť približe v tvare alebo ĥ NRH 1,06σˆ s 1 5 ĥ NRH 0.79 ˆσ IQR 1 5 uvedeýc v [20]. V sae lepšie odadúť parametre aj pre ustoty, ktoré majú viac modov ež jede je v [20] alebo v [19] uvedeé, že je potrebé zížiť odotu 1,06 a 0,9. Teda ĥ NRH = 0,9A 1 5, 2.4

29 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 17 kde A = mi{ σ s, ˆσ IQR /1,34}. V [16] ájdeme odvodeie pre odad vyladzovacieo parametra metódou referečej ustoty použitím optimályc jadier triedy S 0k s k 2. Metóda referečej ustoty je vodá pre odad vyladzovacieo parametra, keď je rozdeleie dátovej možiy podobé ormálemu rozdeleiu. Odad vyladzovacieo parametra touto metódou je dobrou štartovacou odotou pre odady vyladzovacíc parametrov vytvoreé pomocou iýc metód, o ktorýc budeme ovoriť eskôr apr. metód krížovéo overovaia. V prípade, keď rozdeleie dát ie je podobé ormálemu rozdeleiu, tak táto metóda často dáva preladeé odady ustoty. 2.3 Metóda maximáleo vyladeia Na začiatok uveďme, že v celej tejto podkapitole budeme ozačovať optimály vyladzovací parameter získaý metódou maximáleo vyladeia ako MS. Metóda maximáleo vyladeia je saou o ájdeie maximále prípustej optimálej odoty vyladzovacieo parametra z ľadiska AMISE cybovéo kritéria. Pri ďalšíc úvaác budeme vycádzať z vyjadreia AMISE optimáleo vyladzovacieo parametra defiovéo vo vete Ak máme daú kokrétu jadrovú fukciu, tak voľba vyladzovacieo parametra závisí a odote V f k a a veľkosti dátovej možiy. Pri odade ustoty emeíme veľkosť dátovej možiy. Teda, úloa o ájdeí maximálej odoty AMISE optimáleo vyladzovacieo parametra je ekvivaletá úloe o ájdeí takej fukcie f, ktorá miimalizuje odotu itegrálu vo vyjadreí AMISE optimáleo vyladzovacieo parametra z vety Teda, ľadáme fukciu f, ktorá je riešeím úloy f k x 2 dx mi. 2.5 Najprv však uveďme asledujúce 2 pomocé tvrdeia viď [8], ktoré eskôr využijeme. Lema Pre ľubovoľé r > 0 a ľubovoľú ustotu g, pre ktorú exituje g k x 2 dx platí: d r 2 k 2 grx dx k dx = r 2k+1 g k x 2 dx. Dôkaz. r 2 d k 2 grx 2 dx dx = r 2 r k g k 2 rx dx = r 2 r 2k g k rx = z rx dx = k rdx = dz = 2 r 2k+1 g k z dz. Lema Lema o trasformácii: Nec ustota g má rozptyl σ 2 g. Potom ustota σ g σ g σg σ x má rozptyl σ 2.

30 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 18 Dôkaz. σ g σ g σ g σ x x 2 dx = σ g σ x 2 σg g σ x σ σg dx = σ g σ x = z σ g σ dx = dz = 2 2 z gz 2 σσg dz = σσg z 2 gzdz = σ 2. }{{} σ 2 g Využitie predošlýc dvoc tvrdeí ájdeme v asledujúcej vete uvedeej apr. v [22], ktorá ám dáva odpoveď a to, ako vyzerá ustota, ktorá je riešeím miimalizačej úloy 2.5. Veta Terrelova veta: Medzi ustotami s osičom < 1,1 > je Bk+2,k+2 ustota, k 0, s predpisom { 2k+3! g k x = 1 k+1! 2 2 2k+3 x2 k+1, ak x 1, 2.6 0, iak riešeím miimalizačej úloy 2.5. Presý dôkaz môžeme vidieť v [22] alebo [7]. Ak uvažujeme ustotu g k, ktorá má Bk + 2,k + 2 rozdeleie v tvare 2.6 a rozptyl σ k 2 = 1 1 x 2 g k xdx = 1 2k + 5, 2.7 potom a základe platosti Terrelovej vety je táto ustota riešeím miimalizačej úloy 2.5. Avšak, fukciu f s rozptylom σ 2 potrebujeme aradiť fukciou s rovakým rozptylom. Preto je potrebé urobiť trasformáciu, popísaú v leme aplikovaú a ustotu g k. Potom trasformovaá ustota bude mať rozptyl σ 2, prese ako odadovaá ustota f. Za fukciu r z lemy položíme trasformáciu, t.j. r = σ k σ. Použitím lemy a dostávame asledujúce vzťay pre V g k k : 1 1 g k k x 2 1 dx = = 1 σk σ σk σ g k k σk 2 x σ x dx 1 2k+1 1 g k k x 2 dx. Využitím predcádzajúceo výpočtu, Terrelovej vety v zeí a vzťau z vety získavame oré oraičeie pre AMISE optimály vyladzovací parameter v tvare 1 2k+1 1 2k+1 V K k! 2 opt,0,k β 2 k K 2k σ k 2k+1 1 σ gk k x 2 dx k+1 1 V K 2k+1 σ k! 2 = β 2 k K σ k 2k 1 gk k x. 2 dx 1

31 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 19 Ďalej podľa [8] platí, že g k 1 Γ2k + 4Γ2k + 3 k x dx = 2 2k+2 2k + 12k + 5Γk + 2 2, 2.9 kde fukcia g k je fukciou z Terrelovej vety 2.3.3, K je jadrom triedy S 0k a Γ ozačuje gama fukciu. Dôkaz platosti vzťau 2.9 môžeme ájsť v [7]. Po dosadeí odoty σ k zo vzťau 2.7 a odoty itegrálu zo vzťau 2.9 do vzťau 2.8 dostávame orú raicu pre AMISE optimály vyladzovací parameter opt,0,k v tvare a k {}}{ 1 2k+1 V K opt,0,k β 2 2 k! 2 2k + 12k + 5Γk k+1 2k + 5 σ 2k+1 1. k K kγ2k + 4Γ2k + 3 }{{} MS Parameter MS ozačuje optimály vyladzovací parameter metódy maximáleo vyladeia. Ak cceme ĥ MS, tak aradíme σ v predcádzajúcom vyjadreí pre MS jej odadom. Hodotu σ odademe z dát pomocou štadardizovaéo iterqvartilovéo rozpätia ˆσ IQR alebo pomocou výberovej smerodatej odcýlky σˆ s. Potom pre odad vyladzovacieo parametra metódou maximáleo vyladeia dostávame vzťa ĥ MS = a k ˆσ 1 2k+1, kde ˆσ = mi ˆσ s, ˆσ IQR. 2.4 Metódy krížovéo overovaia V tejto podkapitole vycádzame z pozatkov uvedeýc aj v [19], [10], [23] a diplomovýc prác [14], [15] a [13] Metóda krížovéo overovaia ajmešíc štvorcov Metóda krížovéo overovaia ajmešíc štvorcov je jedou z prvýc ple automatickýc metód pre výber optimáleo vyladzovacieo parametra. Fukciu krížovéo overovaia ajmešíc štvorcov budeme začiť LSCV. Táto metóda je založeá a porovávaí vyladzovacíc parametroc z ľadiska MISE cybovéo kritéria, preto o pripomeňme. MISE{ ˆf.,} = E { ˆf x,} 2 dx 2E ˆf x, f xdx + za predpokladu, že ˆf x, a teda aj f sú itegrovateľé fukcie. f 2 xdx, 2.10

32 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 20 Všimime si, že f 2 xdx v MISE vyjadreí odadu fukcie f ezávisí a parametri, preto túto časť dáme a druú strau rovice. Potom [{ MISE{ ˆf.,} f 2 xdx = E ˆf x,} 2 2 ˆf x, f x ] dx. Fukcia metódy krížovéo overovaia ajmešíc štvorcov je podľa [23] uvedeá v tvare LSCV = [ ˆf x,] 2 dx 2 ˆf i X i,, 2.11 kde ˆf i X i, = 1 1 j=1 j i Xi X j K V predcádzaúcom vzťau ˆf i X i, ozačuje jadrový odad fukcie f v bode X i urobeý pomocou dát bez použitia toto bodu. Z predcádzajúcej rovosti platí vzťa 1 1 j=1 j i Xi X j K = 1 Lema E{LSCV } = MISE{ ˆf.,} f 2 xdx. Dôkaz. E{LSCV } = E = E = E [ ˆf x,] 2 dx E [ 2 [ ˆf x,] 2 dx 2 E [ ˆf x,] 2 dx 2 E{LSCV } = E = E [ ˆf x,] 2 dx 2 = E [ ˆf x,] 2 dx 2 = E [ ˆf x,] 2 dx 2E [ = E ˆf x, 2 dx ˆf i X i, ˆf i X i, 1 1 j=1 j i j=1 j i [ ˆf x,] 2 dx 2E [K X 1 X 2 ] [ ] = E ˆf x, f x 2 dx = MISE{ ˆf.,} f 2 xdx. ] K X i X j E[K X i X j ] K x y f x f ydxdy E[ ˆf x,] f xdx ˆf x, f xdx ] ˆf x, f xdx f 2 xdx

33 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 21 V [21] je uvedeý iý tvar fukcie metódy krížovéo overovaia ajmešíc štvorcov a to LSCV 2 = 1 V K Xi X j ω, 2.13 kde i< j ωc = KwKw + cdw 2Kc. Aj fukcia LSCV 2 je evycýleým odadom MISE{ ˆf.,} f 2 xdx. Ukážme to. Podľa vzťau 1.5 platí MSE{ ˆf x,} = E{ ˆf x, f x} 2 = E{ ˆf x,} 2 2E{ ˆf x, f x} + f 2 x = E{ ˆf x,} 2 {E ˆf x,} 2 + {E ˆf x,} 2 2E{ ˆf x, f x} + f 2 x Z defiície MISE platí MISE{ ˆf.,} = MSE{ ˆf x,}dx. Potom z rovosti 2.14, vety 1.2.3, lemy a predcádzajúcej rovosti dostávame [ ] MISE{ ˆf x,} f 2 xdx = E { ˆf x,} 2 dx 2 ˆf x, f xdx + + [E{ ˆf x,} 2 {E ˆf x,} 2 ]dx } {{ } V K = E LSCV + V K Čle [ ˆf x,] 2 pravej stray predcádzajúcej rovice možo podľa [13] upraviť a tvar [ ˆf x,] 2 dx = 1 Xi X j 2 K K. i, j=1 Z lemy 2.4.1, zeia LSCV fukcie, rovosti 2.12 a predcádzajúcic výpočtov máme [ ] [ ] E { ˆf x,} 2 dx 2 ˆf x, f xdx = E { ˆf x,} 2 dx 2 ˆf i X i,. 1 Xi X j = E[ 2 K K i, j=1 2 Xi X j 1 K ]. j=1 j i

34 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 22 Dosadeím predcádzajúcic výpočtov do pravej stray rovosti 2.15 máme MISE{ ˆf x,} f 2 xdx = E LSCV + V K = ELSCV 2, kde fukcia LSCV 2 je v tvare LSCV 2 = V K + 1 Xi X j 2 2 K K i, j=1 1 i, j=1 j i Xi X j K, 2.16 čo je vyjadreím fukcie metódy krížovéo overovaia ajmešíc štvorcov daé vzťaom 2.13 z [21]. Toto vyjadreie metódy krížovéo overovaia ajmešíc štvorcov je vodé pre odvodeie jadrovýc odadov derivácie ustoty f, o ktorýc budeme ovoriť eskôr. Odad optimáleo vyladzovacieo parametra metódou krížovéo overovaia ajmešíc štvorcov ozačme ĥ LSCV a získame o ako odotu, v ktorej fukcia LSCV adobúda svojo miima. Teda, platí: ĥ LSCV = arg mi H LSCV, kde H ozačuje možiu prípustýc odôt vyladzovacieo parametra. Príkladom možiy H je iterval < a,b >, kde a a = maxx 1,...,x mix 1,...,x b = ĥ MS, pričom ozačuje veľkosť dátovéo súboru, x 1,...,x sú realizácie áodýc veliči X 1,...,X a ĥ MS ozačuje odad optimáleo vyladzovacieo parametra získaéo metódou maximáleo vyladeia. V [4] je uvedeý príklad, kde fukcia LSCV môže mať viacero lokályc miim. Potom podľa [11] je odporúčaé vziať za odad optimáleo vyladzovacieo parametra tejto metódy ajväčšie lokále miimum fukcie LSCV. V [8] je uvedeé, že relatíva rýclosť kovergecie v prípade k = 2 ĥ LSCV ku opt,0,2 je dosť pomalá rádovo 1 10, čo začí pomalú kovergeciu k teoreticky optimálemu vyladzovaciemu parametru. V [19] sa dozvieme, že pomalá kovergecia ĥ LSCV k teoreticky optimálemu vyladzovaciemu parametru zameá, že ĥ LSCV je dosť variabilý v praxi. Veľký asymptotický rozptyl má za ásledok, že odady ustoty založeé a odade parametra získaéo metódou LSCV sú dosť podladeé a doliy a píky sa v štruktúre krivky odadu fukcie vytvárajú aj tam, kde v skutočej ustote ie sú. Táto metóda má cabé teoretické a aj praktické vlastosti. Na druej strae je metóda krížovéo overovaia ajmešíc štvorcov široko aplikovateľá a preto sa často používa v praktickýc simuláciác.

35 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác Vycýleá metóda krížovéo overovaia Táto metóda je a rozdiel od metódy krížovéo overovaia ajmešíc štvorcov založeá a porovávaí odadov využitím AMISE cybovéo kritéria v tvare Odvoďme vzťa pre V ˆf k. V ˆf k = x K k Xi x K k Xj j=1 1 2 ˆf k x, 2 dx = k+1 = t = x X j dt = 1 dx 1 2 t + = k+1 K k Xj X i j=1 1 2 = k+1 K k t X i X j K k tdt j=1 1 = 2 2k+1 K k K k Xi X j j=1 1 = 2 2k+1 [K k K k Xi X j + = 1 2 2k+1 j=1 j i j=1 j i [K k K k Xi X j K k tdt 2 2k+1 Kk K k 0] + 1 2k+1 Kk K k 0]. dx 2.17 Upravme V K k a vodý tvar V K k = K k xk k xdx = K k xk k x 0dx = K k K k Keďže fukciu f odadujeme, tak odotu f k x 2 dx vo vyjadreí AMISE cceme vode aradiť. Táto metóda vzikla aradeím itegrálu f k x 2 dx odotou Ṽ f k = V ˆf k 1 2k+1V Kk. Dosadeím vzťaov 2.17 a 2.18 do predcádzajúcej rovosti dostávame Ṽ f k = 1 2 2k+1 j=1 j i K k K k Xi X j Ozačme fukciu vycýleej metódy krížovéo overovaia ako BCV. Potom využitím vzťau pre AMISE a predcádzajúceo vzťau defiujme fukciu vycýleej metódy krížovéo overovaia takto BCV = V K = V K + 2k β k K k! 2 2 2k+1 + β k 2 1 K k! 2 2 j=1 j i j=1 j i. K k K k Xi X j K k K k Xi X j. 2.19

36 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 24 Odad optimáleo vyladzovacieo parametra metódou vycýleéo krížovéo overovaia ozačme ĥ BCV a získame o ako odotu, v ktorej fukcia BCV adobúda svojo miima. Teda, platí: ĥ BCV = arg mi H BCV, kde H ozačuje možiu prípustýc odôt vyladzovacieo parametra. Príklad možiy H je uvedeý v podpodkapitole Podľa [8] je relatíva rýclosť kovergecie v prípade k = 2 ĥ BCV ku opt,0,2 rádovo 10 1, čo začí pomalú kovergeciu k teoreticky optimálemu vyladzovaciemu parametru. V [23] ájdeme, že ĥ BCV má meší rozptyl ež ĥ LSCV, a teda viacej stabilejší. Na druej strae, tým, že sme zížili rozptyl, zvýšilo sa vycýleie odadu, čo má za ásledok to, že odady vyladzovacieo parametra vytvoreé vycýleou metódou krížovéo overovaia sú v praxi často väčšie ež je odota MISE optimáleo. Tak ako pri metóde krížovéo overovaia ajmešíc štvorcov, tak aj pri vycýleej metóde krížovéo overovaia môže astať situácia, že fukcia môže mať viacero lokályc miim. Podľa [11] máme vziať ajmešie možé lokále miimum, a druej strae podľa [17] je vodé vziať ajväčšie z lokályc miim, ktoré však musí byť ešte stále mešie ež ĥ MS Vyladeá metóda krížovéo overovaia Táto metóda je popísaá v [23]. Vyladeá metóda krížovéo overovaia je založeá a presom vyjadreí itegrálej druej mociy vycýleia. Pripomeňme vyjadreie 1.12 pre MISE odadu fukcie f. MISE{ ˆf.,} = 1 1 K f 2 xdx 2 K f x f xdx+ + f 2 xdx + 1 K 2 xdx. Ak zaedbáme ásobok 1 v prvom člee v predcádzajúcom vzťau, potom dostaeme približé vyjadreie MISE odadu fukcie f. MISE{ ˆf.,} V K + K f f 2 xdx. } {{ } ISB{ ˆf.,} Prvý čle je dobrou aproximáciou itegráleo rozptylu, ale druý čle je presým vyjadreím ISB{ ˆf., }. Dôležitým pozatkom je to, že jadrový odad ustoty ozačíme vzťaom ˆf L x,g = 1 L g x X i, 2.20 kde L a g môžu ozačovať rovaké jadro a vyladzovací parameter aké sú použité pri odade vyladzovacieo parametra alebo môžu byť rôze. Odad fukcie f v predcádzajúcom

37 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 25 vyjadreí azývame pilotým odadom f. Fukciu vyladeej metódy krížovéo overovaia ozačme SCV a s využitím predcádzajúceo vzťau defiujeme takto: SCV = V K + K ˆf L,g ˆf L,g 2 xdx. }{{} ÎSB{ ˆf.,} Upravme predcádzajúci vzťa pre ÎSB{ ˆf.,} a vodejší tvar pre ďalšie úvay. Dosadeím vzťau 2.20 za odad ustoty, použitím vzťau 1.6 pre kovolúciu dvoc fukcií, subsitúcie a algebraickýc úprav získame asledujúce rovosti ÎSB{ ˆf.,} = [K ˆf L,g ˆf L,g] 2 xdx [ 1 x y 2 = K ˆf L y,gdy ˆf L x,g] dx = t = x y [ dt = 1 dy 1 2 = Kt ˆf L x gt,g dt ˆf L x,g] dx [ = Kt 1 x gt Xi g L dt 1 ] 2 x Xi g g L dx g [ 1 x gt Xi x gu Xj = 2 g 2 KtL dt][ KuL g g j=1 ] du dx }{{} A 2 [ ] x gt Xi x Xj 2 g 2 KtL dt L dx+ j=1 g g }{{} B 1 x Xi x Xj + 2 g 2 L L dx. j=1 g g }{{} C 2.21 Teraz zjedodušíme výrazy A, B, C. Začeme výpočtovo ajjedoducším výrazom C. Ak využijeme substitúciu, vzťa 1.6 pre kovolúciu dvoc fukcií a predpokladu, že K je

38 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 26 symetrickou fukciou, tak platia asledujúce rovosti C = 1 2 g 2 = 1 2 g 2 = 1 2 g = 1 2 g x Xi x Xj L L j=1 g g gt + Xj X i L g L t X i X j Ltdt g = 1 2 L L g j=1 j=1 Xi X j L g Xi X j g. dx = Lt gdt t Ltdt S využítim úprav pre C získame rovosti pre B: B = 2 [ x gt Xi 2 g 2 KtL g = 2 [ KtL 2 g 2 t + x X i g = 2 2 g 2 = 2 2 g = 2 2 g j=1 j=1 j=1 [ KtL t x X i g x Xi K L g Xi X j K L L g L. ] dt L ] dt L ] dt L x Xj g dx t = x X j g dt = 1 g dy x Xj g x Xj g x Xj g dx dx dx A akoiec s využítím úprav pre C a B dostávame: A = 1 [ ][ ] x gt Xi x gu Xj 2 g 2 KtL dt KuL du dx j=1 g g }{{}}{{} = 1 2 g j=1 K L x Xi g Xi X j K K L L g. x X K L j g Dosadeím upraveýc výrazov do vzťau pre ÎSB{ ˆf.,} dostávame teto tvar SCV fukcie SCV = V K g j=1 Xi X j K K L L 2K L L + L L g.

39 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 27 V prípade, že jadrové fukcie K a L sú rovaké fukcie a vyladzovacie parametre g a sú tiež totožé, tak fukciu vyladeej metódy krížovéo overovaia vieme vyjadriť v tvare SCV = V K + 1 Xi X j 2 K K K K 2K K K + K K. j=1 Odad optimáleo parametra získaéo vyladeou metódou krížovéo overovaia ozačíme ĥ SCV a získame o ako odotu, v ktorej fukcia vyladeej metódy krížovéo overovaia adobúda svojo miima, teda ĥ SCV = arg mi H SCV, kde H ozačuje možiu prípustýc odôt vyladzovacieo parametra. Príklad možiy H je uvedeý v podpodkapitole Vyjadreia metód krížovéo overovaia aplikovateľé a ustoty aj a derivácie ustôt Táto podkapitola bude istým zrutím výsledkov popísaýc v [10]. V tejto podkapitole povieme o možostiac odadu itegrálu druej mociy ustoty a jej derivácií. Potom pomocou takto zadefiovaýc odadov prevedieme vzťay pre fukcie metód krížovéo overovaia uvedeé v predcádzajúcej podkapitole a vyjadreia fukcií vytvoreé pomocou týcto odadov. Takto zaužívaé vzťay pre fukcie metód krížovéo overovaia využijeme pri jadrovýc odadoc derivácie ustoty, o ktorýc povieme v ďalšíc kapitolác. Zavedieme aj ovú metódu pre odad vyladzovacieo parametra defiovaú v [10] pomocou spomíaýc odadov itegrálu druej mociy ustoty a jej derivácií Odady itegrálu druej mociy k - tej derivácie skutočej ustoty Nec θ k = V f k, pre k = 0,1,2... pričom V f k je zámym ozačeím pre f k x 2 dx. Špeciále pre k = 0 uvažujeme o itegrále druej mociy ustoty. Použitím rovosti 2.17 odvodeej pri vycýleej metódy krížovéo overovaia v podpodkapitole dostávame θ k uvedeý v [3] v asledujúcom tvare 1 θ k = 2 2k+1 K K 2k Xi X j + 1 2k+1 K K2k i, j=1 j i Druý čle v predcádzajúcom vzťau epomáa k vytvoreiu odadu vytvoreéo pomocou dát, a preto by mool pôsobiť ako pridaý typ vycýleia k výsledému odadu.

40 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 28 Z toto dôvodu je uvedeý v [3] vodejší odad a to ˆθ k = 1 1 2k+1 i, j=1 j i K K 2k Xi X j Uveďme iý typ odadu itegrálu druej mociy k - tej derivácie ustoty. Teto odad vycádza zo vzťau 2 θ k = f k x dx = 1 k f 2k x f xdx Dôkaz platosti toto vzťau môžme ájsť apríklad v [14]. Odadom θ k z predcádzajúceo vzťau je podľa [3] θ k = 1k ˆf 2k X i,. Kvôli rovakému dôvodu ako pri aradeí θ k v tvare 2.25 odadom daéo vzťaom 2.26 aradíme odad z predcádzajúceo vzťau a vodejší odad v tvare θ k = 1k ˆf 2k i X i, kde ˆf 2k i X i ozačuje odad 2k - tej derivácie ustoty f v bode X i bez použitia toto bodu. Upravíme predošlý vzťa použitím vzťau 2.12 asledujúcim spôsobom Teda, θ k = 1k = 1 k 1 2k+1 ˆf 2k i X i, = 1k θ k = j=1 j i K 2k Xi X j. 1 k 1 2k+1 i, j=1 j i 1 1 2k+1 j=1 j i K 2k Xi X j K 2k Xi X j Použitím rovosti defiovaej vzťaom 2.27, obdobou výpočtov odvodeýc rovosťami 2.17 pri vycýleej metódy krížovéo overovaia v podpodkapitole a použitím myšlieky vodejšieo odadu získaéo bez použitia bodu 0 získame odad v tvare ˆθ k = = 1 k 1 2k+1 1 k 1 2k+1 i, j=1 j i i, j=1 j i K 2k Xi X j K K K 2k Xi X j. 2.30

41 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác Vyjadreia fukcií metód krížovéo overovaia Vyjadríme fukcie metód krížovéo overovaia pomocou odadov daýc vzťami 2.29 a Budeme používať jadrá druéo rádu. Metóda krížovéo overovaia ajmešíc štvorcov Fukciu metódy krížovéo overovaia ajmešíc štvorcov defiovaú v podpodkapitole ako fukciu LSCV môžeme písať v asledujúcom tvare LSCV = [ ˆf x,] 2 dx 2 ˆf i X i, = V ˆf 2 θ Posledá rovosť ozačuje vyjadreie LSCV pomocou odadu Pre fukciu LSCV2 defiovaú v podpodkapitole platia rovosti LSCV 2 = V K + [ ˆf x,] 2 dx 2 ˆf i X i, = V K +V ˆf 2 θ Posledá rovosť ozačuje vyjadreie LSCV2 pomocou odadu Vycýleá metóda krížovéo overovaia Použitím ˆθ 2 daéo vzťaom 2.30 budeme fukciu vycýleej metódy krížovéo overovaia ozačovať v tomto tvare BCV 1 = V K β 2 2 K ˆθ Možou alteratívou je využitie parametra θ 2 a za zeie BCV fukcie budeme používať tvar BCV 2 = V K Vyladeá metóda krížovéo overovaia β 2 2 K θ Zeie fukcie vyladeej metódy krížovéo overovaia s použitím θ k, ˆθ k defiovaýc vzťami 2.29 a 2.30 je totožé s vyjadreím tejto fukcie v podpodkapitole 2.4.3, pričom uvažujeme, že jadrové fukcie K a L sú rovaké a vyladzovacie parametre g a sú tiež totožé. Pre pripomeutie je tvar fukcie vyladeej metódy krížovéo overovaia SCV = V K j=1 j i Xi X j K K K K 2K K K + K K.

42 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 30 Úplá metóda krížovéo overovaia V [10] je uvedeá metóda pre odad vyladzovacieo parametra pod týmto ázvom. Fukciu úplej metódy krížovéo overovaia budeme ozačovať CCV, z aglickéo slova complete cross-validatio. Na rozdiel od metódy krížovéo overovaia ajmešíc štvorcov, ktorá je odadom vyjadreia MISE V ˆf, úplá metóda krížovéo overovaia odaduje celú fukciu stredej itegrálej kvadratickej cyby MISE, pretože je často dôležité čle V ˆf v MISE vyjadreí poecať a odadovať aj túto fukciu. V [10] je uvedeé vyjadreie CCV fukcie v tomto tvare CCV = kde β 4 K = x 4 Kxdx. [ ˆf x,] 2 dx θ β 2 K θ β 2 2 K β 4 K 4 θ 2, 2.35 Veta Pre stredú odotu fukcie úplej metódy krížovéo overovaia daú vzťaom 2.35 platí: ECCV = MISE + o 4. Dôkaz. Najprv ukážeme, čomu je rová E θ 0. E θ 0 = 1 E = ˆf i X i, = 1 E j=1 j i [ E K = 1 K E X1 X 2. j=1 j i ] Xi X j = Xi X j K Využitím defiície stredej odoty, použitím substitúcie, Taylorovo rozvoja f x z v bode x, získavame asledujúce rovosti E θ 0 = 1 x y x y f x f yk dxdy = = u dx = du = Ku f x u f xdxdu = Ku f x[ f x u f x + u2 2 2 f x + u3 3 f x+ 3! + u4 4 f iv x + o 4 ]dudx 4! = Ku f 2 xdudx uku f x f xdudx ! u 2 Ku f x f xdudx + 3 3! u 4 Ku f x f iv xdudx + o 4. u 3 Ku f x f xdudx+ Použitím asledujúcic rovostí, ktoré môžeme získať metódou per - partes f x f xdx = f x 2 dx

43 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 31 f x f iv xdx = f x 2 dx a s použitím vlastostí jadrovej fukcie K a ustoty f dostaeme E θ 0 = f 2 xdx ! β 4K 2 β 2K f x 2 dx+ f x 2 dx + o 4, kde β 2 K = u 2 Kudu, β 4 K = u 4 Kudu. Pomocou fukcioálov V f, V f a V f dostaeme vzťa E θ 0 = V f 2 2 β 2KV f + 4 4! β 4KV f + o 4, kde β 2 K = u 2 Kudu, β 4 K = u 4 Kudu. Obdobe sa ukáže, že a E θ 1 = V f 1 2 β 2K 2 R f + o 2 E θ 2 = V f + o1. Teraz odvoďme vzťa pre MISE{ ˆf.,}. MISE{ ˆf.,} = f 2 x + E ˆf x, 2 dx I = f xe ˆf x,dx = x u = = z u = x z x u = z du = dz = f xkz f x zdzdx 2 f x 1 K x u f xe ˆf x,dx. } {{ } I Najprv odvoďme, čomu je rový itegrál ozačeý v predcádzajúcom vzťau ako I. f ududx = + z4 4 4! f xkz[ f x z f x + z2 2 f iv x + o 4 ]dzdx. 2 f x + z3 3 3! f x+ Kvôli ďalsím výpočtom pripomeňme asledujúce vlastosti jadrovej fukcie K. 1, ak j = 0, 0, ak j = 1, z j Kzdz = β 2 K, ak j = 2, 0, ak j = 3, β 4 K, ak j =

44 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 32 I = f 2 xdx Kzdz } {{ }} {{ } =1 =V f zkzdz } {{ } =0 f x f xdx z 2 Kzdz } {{ }} {{ } = f 2 xdx =β 2 K f x f iv xdx } {{ } = f 2 xdx z 4 Kzdz } {{ } =β 4 K 3 3! f x f xdx+ f x f xdx z 3 Kzdz+ } {{ } =0 Kzdz f xdx } {{ }} {{ } =1 =1 +o 4 =V f 2 2 V f β 2 K V f β 4 K + o 4. Potom dostávame teto tvar MISE MISE{ ˆf.,} =V f + EV ˆf 2[V f 2 2 V f β 2 K V f β 4 K + o 4 =EV ˆf V f + 2 V f β 2 K 4 12 V f β 4 K + o 4. Pomocou vzťaov pre E θ 0, E θ 1 a E θ 2 zistíme, čomu je rová ECCV. Potom ájdeme vzťa medzi MISE a ECCV. ECCV =EV ˆf E[ θ 0 ] β 2 KE[ θ 1 ] β 2 2 K β 4 K 4 E[ θ 2 ] =EV ˆf [V f 2 2 β 2KV f β 2 K [ V f 1 2 β 2K 2 V f + o 2 ] 4! β 4KV f + o 4 ] β 2 2 K β 4 K 4 [ V f + o1 ] [ =EV ˆf V f +V f 2 ] 2 β 2K β 2K + ] +V f [ 4 24 β 4K 4 4 β 2 2 K β 2 2 K 4 24 β 4K + o 4 =EV ˆf V f + 2 β 2 KV f 4 12 β 4K + o 4. Porovaím vzťau pre ECCV a vyššie odvodeéo vzťau pre MISE dostávame požadovaý vzťa zo zadaia vety. Odad optimáleo vyladzovacieo parametra získaéo úplou metódou krížovéo overovaia ozačme ĥ CCV a získame o ako odotu, v ktorej fukcia úplej metódy krížovéo overovaia adobúda svojo miima, teda ĥ CCV = arg mi H CCV, + +

45 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 33 kde H ozačuje možiu prípustýc odôt vyladzovacieo parametra. Príklad možiy H je uvedeý v podpodkapitole V [10] je vytvoreá všeobecá formula, z ktorej vieme dostať fukciu každej metódy krížovéo overovaia. Podľa [10] je všeobecá formula v tomto tvare. P c = V K j=1 j i α c Xi X j Pre fukcie krížovéo overovaia defiovaé v tejto podpodkapitole pomocou odadov daýc vzťami 2.29 a 2.30 adobúda fukcia α c podľa [10] asledujúce možosti: kde x = X i X j α LSCV x = K Kx 2Kx 2.37 α BCV1 x = 1 4 β 2 2 KK K iv x 2.38 α BCV2 x = 1 4 β 2 2 KK iv x 2.39 α CCV x = K Kx Kx 1 2 β 2KK x β 2K 2 β 4 KK iv x 2.41 α SCV x = K K K K 2K K K + K Kx, Keďže úloou je ájsť odotu vyladzovacieo parametra, v ktorom fukcia metódy adobúda miimálu odotu, tak pre ďalšie využitie je dôležitá derivácia fukcie P c. Nec Q c = 2 2 P c. Teda, kde Q c = V K + j=1 j i Xi X j Xi X j ψ c = α c + Xi X j ψ c, Xi X j Veličia Q c bude mať využitie v asledujúcic vetác. α c Xi X j Teoretické porovaie dátovo založeýc odadov s 0 a s ĥ 0 V predcádzajúcej podpodkapitole bolo uvedeýc iekoľko metód pre odad vyladzovacieo parametra pomocu dát. Jedým zo spôsobov ako porovať jedotlivé odady je kritérium záme ako relatíva kovergecia. V tejto podpodkapitole bude ĥ c ozačovať dátovo založeé odady vyadzovacíc parametrov získaýc metódami krížovéo overovaia alebo metódou plug - i, o ktorej sa možeme detaile dočítať v [14]. MISE optimály

46 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 34 vyladzovací parameter budeme ozačovať 0 a ISE optimály vyladzovací parameter budeme ozačovať ĥ 0. Teoretické výsledky však emusia byť rovaké ako výsledky praktickýc simulácií. Je to z too dôvodu, že budeme ovoriť o asymptotickom správaí, ktoré však evplýva a odady vytvoreé pomocou maléo možstva dát. Na začiatok defiujme pojmy kovergecia podľa pravdepodobosti a kovergecia podľa distribúcie. Defiovaé pojmy sú prevzaté z [2]. Defiícia Povieme, že postuposť áodýc veličí {X } =1 pravdepodobosti k číslu θ R, ak pre ľubovoľé ε > 0 platí koverguje podľa lim P X θ > ε = 0 a budeme písať X P θ. Defiícia Ozačme {F } =1 postuposť distribučýc fukcií áodýc veličí {X } =1. Hovoríme, že postuposť áodýc veličí {X } =1 koverguje v distribúcii alebo podľa zákoa rozdeleia k áodej veličie X s distribučou fukciou F, ak pre každý bod spojitosti x distribučej fukcie F platí lim F x = Fx. Túto skutočosť budeme v ďalšíc úvaác začiť X D F. Distribučú fukciu budeme azývať limitou alebo asymptotickou distribučou fukciou. Príklad Nec postuposť áodýc veličí {X } =1 koverguje v distribúcii k áodej veličie, ktorá má ormále rozdeleie Nµ,σ 2, teda platí: x µ lim F x = Fx = φ. σ Potom ovoríme, že áodá veličia X má asymptoticky ormále rozdeleie s parametrami µ a σ 2. Zameá to, že distribučú fukciu áodej veličiy X môžeme pre veľké aproximovať distribučou fukciou ormále rozdeleej áodej veličiy. Dosiaľ sme predpokladali, že ustota f má spojité a itegrovateľé k - té derivácie. V tejto podpodkapitole budeme uvažovať silejší predpoklad o skutočej ustote f a to, že má ladkosť rádu ν. Defiícia Hovoríme, že fukcia f má ladkosť rádu ν, ak existuje koštata L > 0, taká, že platí f 2+l x f 2+l y L x y ε, 2.44 pre všetky defiovaé odoty x, y, l prirodzeé číslo a 0 < ε 1. Potom ν = l + ε.

47 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 35 Prípusté odoty vyladzovacieo parametra budú odoty itervalu < D 1 5,H 1 5 > s vodými koštatami H, D, kde H > D > 0. Veta Nec fukcia f je symetrickou ustotou pravdepodobosti. Ak fukcia f má ladkosť rádu ν, kde 0 < ν < 4 1 okrem LSCV fukcie, tak platí vzťa ĥ c = 1 + O p 2ν 5. 0 Ak fukcia f má ladkosť rádu ν, kde ν > 1 4 alebo ν > 0 pre fukciu LSCV, tak platí ĥc 1 1 D 10 N0,σc 2, kde a σ 2 c = C f,kv ψ c, pričom ψ c je defiovaé vzťaom 2.43 C f,k = 2 25 V f V 1 5 f β 2 2 K 1 5 V 9 5 K. Dôkaz. Dôkaz tejto vety môžeme ájsť v [10]. Výraz ĥc 0 1 ozačuje relatívu cybu ĥ c. Nasledujúca veta uvedeá v [10] ovorí o porovaí odadu vyladzovacieo parametra získaéo jedou z metód 2.37 k ISE optimálemu vyladzovaciemu parametru z ľadiska ISE cybovéo kritéria. Veta Nec fukcia f je symetrickou ustotou pravdepodobosti. Ak fukcia f má ladkosť rádu ν, kde 0 < ν < 4 1 okrem LSCV fukcie, tak platí vzťa { } ISEĥc E ISEĥ 0 = 1 + O 4ν 5. Ak fukcia f má ladkosť rádu ν, kde ν > 1 4 alebo ν > 0 pre fukciu LSCV, tak platí { } ISEĥc E = 1 + 2µ c 1 5, ISEĥ 0 kde a pričom µ c = C f,kv ψ c ψ 0 + D f,k D f,k = 4 25 var f XV 6 5 f β 2 2 K 1 5 V 4 5 K, [ 2 var f X = f x 2 f xdx f x dx] 2.

48 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 36 Dôkaz. Dôkaz prvéo bodu plyie priamo z platosti prvéo bodu vety Pre dôkaz druéo bodu urobíme a začiatok úpravu rozdielu ĥ c ĥ 0 uvedeej aj v [10]. Upravíme rozdiel ĥ c ĥ 0 a vodejší tvar predeleím výrazu odotou 0, pričítaím a odčítaím 1 a potom vyásobeím 0 : Teda platí ĥ c ĥ 0 = 0 [ĥc 0 1 ĥ c ĥ 0 0 = ] ĥ0 1, 0 ] [ĥc ĥ Podľa [5] je použitím predcádzajúceo rozšíreia platý vzťa 2 ISEĥ c ĥc ISEĥ ĥ ĥc ĥc ĥ0 ĥ0 = }{{}}{{}}{{} X Y Z =2X 2Y + Z Ďalej budeme určovať čomu sa rovajú stredé odoty áodýc veliči X, Y a Z. V [10] je uvedeé, že pre ν > 0 je EZ = O 1 5. Z vety priamo vyplýva, že EX = O 1 5, kde pre ν > 0 pri LSCV a pri ostatýc metódac je ν > 1 4. Zo vzťaov pre EX a EZ priamo vyplýva, že EY = O 5 1 pre ν > 1 8 pre ié metódy ež LSCV fukciu. Odvoďme vzťa pre stredú odotu áodej veličiy X. Budeme vycádzať z výsledkov uvedeýc vo vete Z druéo bodu vety platí, že [ ] ĥc E a σ 2 c Var E [ [ 1 10 ] [ ] 2 [ ĥc ĥc 1 = E E ] 2 2 ĥc = 5 1 E ĥc 0 1 } {{ } X 1 10 ] ĥc 1 0 Z predcádzajúcej rovosti a platosti druéo bodu vety dostávame, že EX σ 2 c 1 5 = C f,kv ψc 1 5.

49 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 37 Nasledujúci vzťa pre stredú odotu áodej veličiy Z je uvedeý v [10] a dokázaý v [5]: EZ [C f,kv ψ 0 + D f,k] 1 5. Ukážeme platosť asledujúceo vzťau pre EY : EY C f,k ψ c xψ 0 xdx 1 5. Keďže ĥ c je riešeím rovice Q c = 0, tak ĥ 0 je riešeím Q 0 = 0. Presý tvar rovice Q 0 = 0 je možé ájsť v [10]. Podľa [10] platí, že Q c a Q 0 sú spojite asymptoticky ormále a EQ c = V K + E j=1 j i ψ c Xi X j = V K β 2 2 K 2 5 V f a aj EQ 0 = V K β 2 2 K 2 5 V f. Podľa [10] platí ĥ0 P 1 1, kde 1 bude v tomto dôkaze ozačovať AMISE optimály vyladzovací parameter získaý použitím jadier 2. rádu a daý vzťaom 2.1. Využitím vzťau pre [ ] Var Xi X j ψ c = 22 E ψc 2 Xi X j + čley ižšíc rádov 2.46 j=1 j i 2 2 V f V ψ c odvodeom v [10] v dôkaze vety je potom vzťa pre kovariaciu daý tvarom cov Xi X j Xi X j ψ c, ψ 0 22 V f ψ c xψ 0 xdx j=1 j i j=1 j i Využitím vzťau 2.46 a vzťau pre E odotu Q c podľa [10] platí: ĥ c 1 j=1 ψ c j i X i X j D N 1, 2 V f V ψ c 25 β2 4K2 9 1 V 2 f zo vzťau pre stredú a po dosadeí výrazu 2.1 za 1 do predcádzajúcej rovosti a použitím algebraickýc úprav získavame vzťa ĥc D 1 N 0,C f,kv ψ c. 0

50 Kapitola 2. Metódy výberu šírky vyladzovacieo oka pri ustotác 38 Z predcádzajúcej vety a predcádzajúceo vzťau plyie E 2 ĥc 1 C f,kv ψ c. 0 Aalogicky využitím vzťau 2.47 a vzťau pre E pre stredú odotu Q 0 platí ĥ 0 1 j=1 ψ 0 j i D N 1, 2 V f V ψ 0 25 β2 4K2 9 1 V 2 f X i X j zo vzťau a po dosadeí 1 zo vzťau 2.1 a použitím algebraickýc úprav získame podľa [10] vzťa ĥ0 D 1 N 0,C f,kv ψ 0. 0 Z predcádzajúceo vzťau plyie E 2 ĥ0 1 C f,kv ψ 0. 0 Z predcádzajúcic výsledkov plyie ] [ĥc ĥ0 E C f,k ψ c xψ 0 xdx. Potom platí, že { } ISEĥc E 1 + 2{EX 2EY + EZ} ISEĥ [C f,kv ψ c 2C f,k ψ c xψ 0 xdx+ +C f,kv ψ c + D f,k] 1 5 =1 + 2[C f,kv ψ c ψ 0 + D f,k] 1 5.

51 Kapitola 3 Jadrové odady derivácie ustoty V tejto kapitole sa budeme zaoberať jadrovým odadom ν - tej derivácie ustoty. Rovako ako pri odadoc ustoty, tak aj pri jadrovýc odadoc derivácie ustoty budeme uvažovať určité predpoklady. Pre jadrové odady derivácie ustoty budeme ešte aviac predpokladať, že sú spleé asledujúce vzťay, uvedeé v [8]: 1. lim = 0, lim 2ν+1 =, kde 1 ν, 2. f C k 0, kde ν + k k 0, f ν+k x je v druej mocie itergovateľá fukcia, 3. K S ν 0k, Kν S 0 νν+k. Jadrový odad ν - tej derivácie ustoty f v bode x R defiujeme vzťaom, kde ˆf ν x, = 1 2ν+1 K ν x Xi K ν x = dν dx ν Kx. Jadrový odad má zmysel, ak derivácia jadra existuje a je eulová. Keďže Gaussove jadro Kx = 1 e x2 2 2π má derivácie všetkýc rádov, tak sa často používa pri odadoc derivácie ustoty. Pre odad derivácie sa často používa kvartické jadro Kx = x2 2 I [ 1,1] x, ktoré patrí do triedy jadier S Štatistické vlastosti odadov derivácie ustoty Odady derivácie ustoty je možé porovávať pomocou kritérií defiovaýc pre odady ustoty. Ak cceme porovávať odady derivácie ustoty v jedotlivýc bodoc, tak je vodým kritériom stredá kvadratická cyba MSE. MSE jadrovéo odadu ν - tej derivácie ustoty f v bode x defiujeme vzťaom MSE{ ˆf ν x,} = E ˆf ν x, f ν x 2 dx. 39

52 Kapitola 3. Jadrové odady derivácie ustoty 40 Pre porovávaie odadov derivácie ustoty z globáleo ľadiska sa ajčastejšie používajú MISE alebo AMISE kritérium, preto ic uveďme. Pre MISE cybové kritérium platí vzťa 2 MISE{ ˆf ν.,} = MSE{ ˆf ν x,} = E ˆf ν x, f x ν dx = E ˆf ν x, f ν x dx. Veta Ak platia predpoklady uvedeé a začiatku tejto kapitoly pre jadrovú fukciu K, ustotu f a vyladzovací parameter, tak pre stredú itegrálu kvadratickú cybu odadu ν - tej derivácie ustoty f platí vzťa MISE{ ˆf ν.,} = V Kν 2ν+1 + 2k β 2 k KV f k+ν 1 k! 2 + o2k + 2ν+1 1, 3.2 kde β k K = 1 1 x k Kxdx a V K ν = 1 1 [K ν x] 2 dx, K S ν 0k. Zeie tejto vety môžeme ájsť v [8]. Pre porovaie je druá mocia vycýleia vo vyjadreí MISE rovaká pre odady ν - tej derivácie ustoty f ako druá mocia vycýleia vo vyjadreí MISE pre odady ustoty f. Rozptyl vo vyjadreí MISE pre odady ustoty f je rádu O 1, kde a druej strae vo vyjadreí MISE pre odady ν - tej derivácie ustoty f je omoo väčší rádu O 1. ν+1 Pre porovávaie odadov z asymptotickéo ľadiska sa používa cybové kritérium záme ako asymptotická stredá itegrála kvadratická cyba AMISE. Zo vzťau pre MISE{ ˆf ν.,} z predcádzajúcej vety dostaeme vzťa pre AMISE{ ˆf ν.,} v tomto tvare kde β k K = 1 AMISE{ ˆf ν.,} = V Kν 2ν+1 + 2k β 2 k KV f k+ν 1 k! 2, x k Kxdx a V K ν = 1 1 [K ν x] 2 dx. Podľa [8] platí vzťa, ktorý dostaeme ν krát použitím metódy per partes a fukciu β k K β k K k! = 1 ν β k+νk ν. k + ν! Potom vyššie uvedeý vzťa pre AMISE{ ˆf ν.,} môžeme prepísať a tvar AMISE{ ˆf ν.,} = V Kν 2ν+1 + 2k β 2 k+ν K ν V f k+ν 1 k + ν! Úloa ájsť miimálu odotu AMISE{ ˆf ν.,} je ekvivaletá úloe ájsť optimály vyladzovací parameter, ktorý miimalizuje odotu AMISE{ ˆf ν.,}. Pre AMISE optimály vyladzovací parameter platí asledujúca veta:

53 Kapitola 3. Jadrové odady derivácie ustoty 41 Veta Nec sú spleé predpoklady uvedeé a začiatku tejto kapitoly pre jadrovú fukciu K, ustotu f a vyladzovací parameter. Potom optimála odota vyladzovacieo parametra, pre ktorú AMISE{ ˆf ν.,} bude adobúdať miimálej odoty spĺňa vzťa 2ν + 1V K ν 1 2k+ν+1 opt,ν,k+ν = 2kβ 2, 3.5 k+ν K ν D k+ν kde β k+ν K ν = 1 V K ν = x k+ν K ν xdx, [K ν x] 2 dx, D k+ν = f k+ν x k+ν! 2 dx. Dôkaz. Dôkaz vycádza zo vzťau 3.4 pre AMISE{ ˆf ν.,}. Ak cceme ájsť miimálu odotu AMISE{ ˆf ν.,}, tak riešime rovicu a z ej vyjadríme. damise{ ˆf ν.,} d = 0, Pozámka Optimály vyladzovací parameter pre ustotu závisí a D k a optimály vyladzovací parameter pre ν - tú deriváciu ustoty závisí a D k+ν. Modifikáciou predpokladov uvedeýc a začiatku kapitoly vieme vyjadriť optimály vyladzovací parameter pre ν - tú deriváciu ustoty pomocou D k. Teraz oproti predpokladom pre K, f a uvedeýc pre jadrové odady ustoty aviac predpokladajme ešte, že 1. lim = 0, lim 2ν+1 =, kde 1 ν, 2. f C k 0, kde k k 0, f k x je v druej mocie itergovateľá fukcia, 3. K Sνk ν ν teda Kν Sνk 0, kde k a ν sú rovakej parity, k ν + 2. Vyjadreie AMISE v tvare 3.4 má použitím jadier K S ν νk ν tvar AMISE{ ˆf ν.,} = V Kν 2ν+1 + 2k ν β 2 k K ν V f k 1 k! 2. S použitím vyššie defiovaýc modifikovaýc predpokladov je vzťa pre opt,ν,k+ν z vety modifikovaý a vzťa pre opt,ν,k v tvare opt,ν,k = 2ν + 1V K ν 2k νβ k 2 K ν D k 1 2k Teraz máme vzťa pre AMISE optimály vyladzovací parameter opt,ν,k ν - tej derivácie ustoty vyjadreý pomocou D k rovako ako aj AMISE optimály vyladzovací parameter opt,0,k ustoty, pričom k, ν sú páre prirodzeé čísla, ν 2, k ν + 2. Ak pozáme

54 Kapitola 3. Jadrové odady derivácie ustoty 42 vyjadreie opt,0,k daé vzťaom z vety a tvar opt,ν,k daé vzťaom 3.6, tak ic vieme porovať alebo jedo vyjadreie vyjadriť pomocou druéo. opt,ν,k opt,0,k 2k+1 = Použitím algebraickýc úprav získame tvar 2k+1 2ν + 1k opt,ν,k = k ν Z čoo už odmoceím dostávame vzťa opt,ν,k = 2ν + 1k k ν 2ν+1V K ν 2k νβ 2 k K ν D k. V K 2kβ 2 k KD k V K ν β 2 k K ν 2k+1 V K opt,0,k. 3.7 β 2 k K V K ν β 2 k K ν V K β 2 k K 1 2k+1 opt,0,k, 3.8 pričom k a ν sú páre prirodzeé čísla, ν 2, k ν + 2. Tvar opt,ν,k, kde ν, k sú epáre prirodzeé čísla, ν 3, k ν + 2 evieme odvodiť pomocou vyjadreia AMISE optimáleo vyjadreia vyladzovacieo parametra pre ustoty. Ak však pozáme tvar opt,1,k, tak vieme vyjadriť pomocou eo tvar pre opt,ν,k. Tvar opt,1,k z rovosti 3.6 dosadeím za ν odotu 1 je opt,1,k = 3V K 2k 1β k 2 K D k 1 2k+1. Aalogicky ako pri vyjadreí opt,ν,k s ν, k párymi číslami pomocou opt,0,k dostaeme matematickými úpravami asledujúci tvar opt,ν,k s ν, k epárymi číslami ν 3, k ν +2 pomocou opt,1,k opt,ν,k = 2ν + 1k 1 3k ν V K ν β 2 k K ν V K β 2 k K 1 2k+1 opt,1,k. Táto metóda pre ájdeie optimáleo vyladzovacieo parametra pre derivácie ustoty je záma ako faktorová metóda. Pre ájdeie odadov optimáleo vyladzovacieo parametra pre derivácie ustoty stačí v predcádzajúcic vzťaoc aradiť optimále vyladzovacie parametre ic odadmi. V asledujúcej kapitole budeme ovoriť o metódac ájdeia vyladzovacieo parametra a odadov vyladzovacíc parametrov pre derivácie ustoty.

55 Kapitola 4 Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty Niektoré metódy pre výber optimáleo vyladzovacieo parametra pre derivácie ustoty je možé odvodiť zo vzťaov pre ustoty. V tejto kapitole odvodíme metódu maximáleo vyladeia pre k a ν páre prirodzeé čísla, ν 2, k ν + 2. Pre odvodeie metód krížovéo overovaia pre derivácie ustoty využijeme vyjadreia fukcií metód krížovéo overovaia pre ustoty popísaýc v podpodkapitole Metóda maximáleo vyladeia pre deriváciu ustoty V tejto podkapitole predpokladajme, že okrem predpokladov pre K, f a uvedeé pre jadrové odady ustoty sú aviac spleé aj modifikovaé predpoklady z vyjadreí popísaýc vzťami z pozámky Pripomeňme vzťa 3.8 pre AMISE optimály vyladzovací parameter pre ν - tú deriváciu ustoty: 1 opt,ν,k = 2ν + 1k k ν V K ν β 2 k K ν V K β 2 k K 2k+1 opt,0,k, 4.1 pričom k a ν sú páre prirodzeé čísla, ν 2, k ν + 2. Použitím vzťau 2.8 pre orú raicu AMISE optimáleo vyladzovacieo parametra opt,0,k získavame z predcádzajúcej rovosti asledujúcu erovosť opt,ν,k 2ν + 1k k ν V K ν β 2 k K ν V K β 2 k K 1 2k+1 V Kk! 2 σ 2k+1 2kσ 2k+1 k β 2 k K 1 gk k x 2 dx 1 1 2k

56 Kapitola 4. Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty 44 Dosadeím rovosti 2.9 pre 1 opt,ν,k 1 [ ] 1 [ 2ν + 1k 2k+1 k ν g k k x 2 dx a použitím algebraickýc úprav máme V K ν β k 2 K ν ] 1 2k+1 σ σ k k! 2 2k 1 2 2k+2 Γ2k+4Γ2k+3 2k+12k+5Γk+2 2 Využitím vzťau 2.7 pre σ k a a použitím algebraickýc úprav dostávame 1 2k opt,ν,k 2 [ ] k! 2 2k + 12k + 5Γk [ ] 2k+1 2ν + 1V K ν 1 2k+1 2k + 5 σ Γ2k + 4Γ2k + 3 k νβ 2, k K ν }{{} MSder 4.4 kde MSder bude ozačovať optimály vyladzovací parameter pre ν- tú deriváciu ustoty získaý metódou maximáleo vyladeia, pričom k, ν sú páre prirodzeé čísla, ν 2, k ν + 2. Odad optimáleo vyladzovacieo parametra pre ν- tú deriváciu ustoty získaý metódou maximáleo vyladeia získame z predošléo vzťau aradeím σ jej odadom. Parameter σ odademe z dát buď pomocou ˆσ IQR alebo pomocou ˆσ s. Teda ĥ MSder = 2 2k + 5 [ ] k! 2 2k + 12k + 5Γk k+1 Γ2k + 4Γ2k + 3 kde ˆσ = mi ˆσ IQR, σ s, k, ν páre prirodzeé čísla, ν 2, k ν + 2. [ 2ν + 1V K ˆσ ν k νβ 2 k K ν ] 1 2k+1, 4.2 Metódy krížovéo overovaia pre derivácie ustoty 4.5 Vyjadreia fukcií metód krížovéo overovaia pre deriváciu ustoty sú prevzaté z [1]. V celej podkapitole predpokladajme, že okrem predpokladov pre K, f a uvedeé pre jadrové odady ustoty sú aviac spleé aj predpoklady uvedeé a začiatku predošlej kapitoly. V celej podkapitole budeme používať jadrá le druéo rádu a predpokladať, že derivácie jadrovýc fukcií vo vyjadreiac metód sú eulové Metóda krížovéo overovaia ajmešíc štvorcov pre deriváciu ustoty Fukciu metódy krížovéo overovaia ajmešíc štvorcov pre ν - tú deriváciu ustoty budeme začiť LSCV der, ak bude odvodeá z LSCV fukcie daej tvarom 2.31 a LSCV2der, ak bude odvodeá z vyjadreia LSCV 2 daéo tvarom Podľa [9] je metóda krížovéo overovaia ajmešíc štvorcov pre ν - tú deriváciu ustoty upraveou verziou vyjadreia 2.31 pre ustoty a je v tomto tvare LSCV der = [ ˆf ν x,] 2 dx 2 1ν ˆf 2ν i X i,, 4.6

57 Kapitola 4. Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty 45 kde ˆf 2ν i X i, = 1 1 2ν+1 j=1 j i K 2ν Xi X j, pričom ˆf 2ν i X i, ozačuje jadrový odad 2ν - tej derivácie ustoty f v bode X i urobeý pomocou dát bez použitia toto bodu. Vyjadreie fukcie LSCVder pomocou odadov defiovaýc vzťami 2.29 a 2.30 je tvaru LSCV der = V ˆf ν 2 θ ν. Ak za V ˆf ν dosadíme ˆθ ν daý rovosťou 2.30, tak dostávame asledujúci tvar LSCVder fukcie LSCV der = ˆθ ν 2 θ ν = 1 ν 1 2ν+1 i, j=1 j i [ K ν K ν 2K 2ν Xi X j ]. Všimime si, že tvar LSCV fukcie defiovaý vzťaom 2.31 dostaeme z predcádzajúceo vzťau pre fukciu LSCVder dosadeím za ν odotu 0. Ié vyjadreie fukcie metódy krížovéo overovaia ajmešíc štvorcov pre ustoty sme ozačili LSCV2. Budeme vycádzať z jej vyjadreia daé rovosťami Pre ďalšie úvay o pripomeňme. LSCV 2 = V K + [ ˆf x,] 2 dx 2 ˆf i X i, = V K +V ˆf 2 θ 0. Ak za V ˆf dosadíme ˆθ 0 daý rovosťou 2.30, tak dostávame asledujúci tvar LSCV2 fukcie LSCV 2 = V K + ˆθ 0 2 θ 0. Potom vzťa pre fukciu LSCV2der pre ν - tú deriváciu ustoty je podľa [1] v tvare: LSCV 2der = V Kν 2ν+1 + ˆθ ν 2 θ ν = V Kν 2ν ν 1 2ν+1 i, j=1 j i [ K ν K ν 2K 2ν Xi X j ]. Tvar vyššie uvedeéo vzťau pre fukciu LSCV2 pre ustoty dostaeme z predcádzajúceo vzťau dosadeím za ν odotu 0.

58 Kapitola 4. Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty Vycýleá metóda krížovéo overovaia pre deriváciu ustoty Vycýleá metóda krížovéo overovaia pre deriváciu ustoty je rovako ako aj vycýleá metóda krížovéo overovaia pre ustotu založeá a porovávaí odadov využitím AMISE cybovéo kritéria. Tvar vzťau 3.4 pre AMISE{ ˆf ν.,} dosadeím k = 2 je asledujúci: AMISE{ ˆf ν.,} = V Kν 4 + 2ν+1 4 β 2 2 KV f ν+2, 4.7 kde β 2 K = 1 x 2 Kxdx a V K ν = 1 [K ν x] 2 dx. 1 1 Defiujme fukcioál Ṽ f ν+2 vzťaom Ṽ f ν+2 = V ˆf ν+2 1 2ν+5V Kν+2. Úpravou predošléo vzťau výpočtami, ktoré sú obdobou výpočtov, aké boli pri vycýleej metóde krížovéo overovaia pre ustoty dostávame asledujúci vzťa Ṽ f ν+2 1 = 2 2ν+5 K ν+2 K ν+2 Xi X j. j=1 j i Ozačme fukciu vycýleej metódy krížovéo overovaia pre ν-tú deriváciu ustoty ako BCVder. Aalogicky ako pre ustoty, dosadeím Ṽ f ν+2 defiovaéo predošlým vzťaom za V f 2+ν do vzťau 4.7 dostaeme teto vzťa pre fukciu vycýleej metódy krížovéo overovaia ν- tej derivácie ustoty BCV der = V Kν 2ν+1 + β 2 2 K 4 2 2ν+1 j=1 j i K ν+2 K ν+2 Xi X j V praxi sú častejšie vyjadreia, kde V f ν+2 aradíme odadmi θ k, ˆθ k daé vzťami 2.29 a 2.30 s k = ν +2. Potom z vyjadreia BCVder môžeme dostať dva vyjadreia BCV1der a BCV2der v tvaroc BCV der1 = V Kν 2ν+1 + β 2 2 K 4 ˆθ ν K Xi X j a = V Kν 2ν+1 + β 2 BCV der2 = V Kν 2ν+1 + β 2 2 K 4 4 = V Kν 2ν+1 + β 2 1 ν+2 1 2ν+1 2 K 4 4 θ ν+2 1 ν+2 1 2ν+1 j=1 j i K ν+2 K ν+2 j=1 j i. K 2ν+4 Xi X j. Vyjadreia BCV1 a BCV2 fukcie vycýleej metódy krížovéo overovaia pre ustotu daé vzťami 2.33 a 2.34 dostaeme dosadeím ν = 0 do vyjadreí fukcií BCV1der a BCV2der z predošlýc vzťaov.

59 Kapitola 4. Metódy ájdeia vyladzovacieo parametra a jeo odadov pre derivácie ustoty Úplá metóda krížovéo overovaia pre deriváciu ustoty Vyjadreie fukcie úplej metódy krížovéo overovaia pre deriváciu ustoty odvodíme z vyjadreia 2.35 fukcie úplej metódy krížovéo overovaia pre ustotu, resp. vyjadreie fukcie úplej metódy krížovéo overovaia pre ustotu bude špeciálym prípadom vyjadreia pre deriváciu ustoty. Pripomeňme vyjadreie 2.35 CCV fukcie pre ustoty s použitím jadier druéo rádu: CCV = [ ˆf x,] 2 dx θ β 2 K θ β 2 2 K β 4 K 4 θ 2, kde β 4 K = x 4 Kxdx. Potom podľa [1] je vyjadreie fukcie úplej metódy krížovéo overovaia pre ν- tú deriváciu ustoty, ktoré budeme ozačovať CCVder, v tvare kde CCV der = [ ˆf ν x,] 2 dx θ ν β 2 K θ ν β 2 2 K β 4 K 4 θ ν+2, [ ˆf ν x,] 2 dx = V Kν 2ν+1 + ˆθ ν a θ ν, ˆθ ν sú daé vzťami 2.29 a 2.30 s β 4 K = x 4 Kxdx.

60 Kapitola 5 Simulačá a aplikačá štúdia Simulačú štúdiu rozdelíme a dve časti. Najprv sa budeme zaoberať jadrovými odadmi ustoty a potom jadrovými odadmi prvej derivácie ustoty. V tejto kapitole porováme kvalitu odadov ustoty a odadov jej prvej derivácie pomocou ISE cybovéo kritéria. Ďalej, porováme odady optimályc vyladzovacíc parametrov pre odady ustoty a pre odady prvej derivácie. Vyladzovacie parametre použité pre jadrové odady ustoty a pre jadrové odady derivácie ustoty získame jedou z metód defiovaýc v kapitole 4 pomocou fukcií θ k, ˆθ k defiovaými vzťami 2.29 a Fukcie metód pre ustoty získame z fukcií metód pre derivácie dosadeím ν = 0 do vyjadreí fukcií metód pre derivácie ustoty. Vyladzovacie parametre použité pre jadrové odady ustoty sú získaé metódami, ktorýc fukcie budeme ozačovať LSCV, LSCV2, BCV1, BCV2, CCV a SCV. Vyladzovacie parametre použité pre jadrové odady prvej derivácie ustoty sú získaé metódami, ktorýc fukcie sú v kapitole 4 ozačeé ako LSCVder, LSCV2der, BCV1der, BCV2der, CCVder. V simulačej štúdii pre derivácie ustôt budeme fukcie LSCVder, LSCV2der, BCV1der, BCV2der, CCVder zjedodušee ozačovať le LSCV, LSCV2, BCV1, BCV2, CCV. V celej simulačej štúdii budeme používať vzorky dát z rozložeí 1. f 1 N2,1 2. f N0, N3, f 3 B2,3 4. f 4 Ex3 Prvé derivácie vyššie uvedeýc ustôt ozačíme f 1, f 2, f 3, f 4. Pre každú vyššie uvedeú ustotu a pre každú jej prvú deriváciu urobíme m = 200 a m = 800 simulácií áodýc výberov o rozsau 100. Simulačá štúdia je vytvoreá v programe Matlab. Všetky použité fukcie sú priložeé a CD. V mojic fukciác využívam už aprogramovaé fukcie z toolboxu ku kie [8]. Pre výpočet kvality odadu pomocou ISE kritéria som použila fukcie z programov priložeýc k bakalárskej práci [12], ktoré som prerobila, doplila, ale ic lavá myšlieka výpočtu pomocou siete je zacovaá. 48

61 Kapitola 5. Simulačá a aplikačá štúdia 49 Podľa [1] je pri deriváciác ustoty vodou voľbou orej raice itervalu prípustýc odôt pre výpočet odadu optimáleo vyladzovacieo parametra odad získaý metódou referečej ustoty. Preto v aprogramovaýc fukciác metód pre ájdeie optimáleo vyladzovacieo parametra pre 1. deriváciu ustoty používame vyjadreie pre orú raicu uvedeé v [1]. V celej simulačej aj aplikačej štúdii budeme používať jadro K S02 6 daé predpisom Kx = 1,571x ,9973x x ,9866x 8 54,9866x x 4 10,9973x 2 + 1, Simulačá štúdia pre ustoty Pre každú ustotu f 1, f 2, f 3 a f 4 bol urobeý áodý výber o rozsau 100 bodov. Pre daý áodý výber bol vypočítaý odad optimáleo vyladzovacieo parametra metódami daé fukciami LSCV, LSCV2, BCV1, BCV2, CCV a SCV. Náodý výber bol vygeerovaý 200 krát a eskôr 800 krát. Výpočet odadu optimáleo vyladzovacieo parametra už spomíaými metódami bol opakovaý 200 krát a eskôr 800 krát. Potom boli vypočítaé priemeré odoty odadov vyladzovacíc parametrov pre jedotlivé metódy a takisto ic smerodaté odcýlky. Tieto priemeré odoty odadov vyladzovacíc parametrov a ic smerodaté odcýlky boli vyodoteé pre áodé výbery zo všetkýc 4 pravdepodobostýc rozdeleí. Potom pre každý áodý výber o rozsau 100 boli vypočítaé jadrové odady ustoty, kde za vyladzovací parameter bol zvoleý odad optimáleo vyladzovacieo parametra jedou z vyššie uvedýc metód. Pre každý jadrový odad ustoty s daým vyladzovacím parametrom bola vypočítaá itegrála kvadratická cyba odadu. Pre 200 a 800 geerovaí áodéo výberu dostávame 200 a eskôr 800 odôt itegrálej kvadratickej cyby odadu ustoty pre každú metódu výberu daú fukciami s ozačeím LSCV, LSCV2, BCV1, BCV2, CCV a SCV. Na obrázku 5.1 sú zázoreé boxploty pre porovaie kvality odadu ustoty pre jedotlivé metódy odadu. Boxploty budú zázorňovať odoty logaritmu itegrálej kvadratickej cyby odadu ustoty a poukážu a rozdiely medzi jedotlivými metódami odadu. Pre uceleý poľad sú vytvoreé tabuľky 5.1, 5.2, 5.3 a 5.4 zázorňujúce aritmetické priemery odadov vyladzovacíc parametrov a ic smerodaté odcýlky. Tabuľka 5.1 zázorňuje priemeré odoty odadov vyladzovacíc parametrov pre jedotlivé metódy, pri m = 200 simuláciác. Tabuľka 5.2 zázorňuje priemeré odoty odadov vyladzovacíc parametrov pre jedotlivé metódy, pri m = 800 simuláciác. Tabuľka 5.3 zázorňuje smerodaté odcýlky odadov vyladzovacíc parametrov pre jedotlivé metódy, pri m = 200 simuláciác. Tabuľka 5.4 zázorňuje smerodaté odcýlky odadov vyladzovacíc parametrov pre jedotlivé metódy, pri m = 800 simuláciác. Na obrázku 5.3 sú zázoreé boxploty pre ájdeé odady optimályc vyladzovacíc parametrov pre jedotlivé metódy odadu vyladzovacieo parametra. Nakoiec vykreslíme obrázky 5.7 a 5.9 so skutočou ustotou a jej odadmi vytvoreými priemerými odotami odadov optimályc vyladzovacíc parametrov uvedeýc v tabuľke 5.1.

62 Kapitola 5. Simulačá a aplikačá štúdia 50 Obr. 5.1: Boxploty logaritmu ISE pre rôze metódy vľavo pre jedomodále ormále rozdeleie a vpravo pre dvojmodále ormále rozdeleie pre 200 opakovaí Obr. 5.2: Boxploty logaritmu ISE pre rôze metódy pre beta rozdeleie a vpravo pre expoeciále rozdeleie s 200 opakovaiami Tabuľka 5.1: Tabuľka priemerýc odôt vyladzovacíc parametrov pre 200 opakovaí LSCV LSCV2 BCV1 BCV2 CCV SCV f f f f Tabuľka 5.2: Tabuľka priemerýc odôt vyladzovacíc parametrov pre 800 opakovaí LSCV LSCV2 BCV1 BCV2 CCV SCV f f f f

63 Kapitola 5. Simulačá a aplikačá štúdia 51 Obr. 5.3: Boxploty odadov optimáleo vyladzovacieo parametra pre rôze metódy pre ormále rozdeleie, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.4: Boxploty odadov optimáleo vyladzovacieo parametra pre rôze metódy pre dvojmodále ormále rozdeleie, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.5: Boxploty odadov optimáleo vyladzovacieo parametra pre rôze metódy pre beta rozdeleie, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.6: Boxploty odadov optimáleo vyladzovacieo parametra pre rôze metódy pre expoeciále rozdeleie, vľavo 200 opakovaí, vpravo 800 opakovaí

64 Kapitola 5. Simulačá a aplikačá štúdia 52 Obr. 5.7: Skutočá ustota f 1 a jej jadrové odady Obr. 5.8: Skutočá ustota f 2 a jej jadrové odady

65 Kapitola 5. Simulačá a aplikačá štúdia 53 Obr. 5.9: Skutočá ustota f 3 a jej jadrové odady Obr. 5.10: Skutočá ustota f 4 a jej jadrové odady

66 Kapitola 5. Simulačá a aplikačá štúdia 54 Tabuľka 5.3: Tabuľka smerodatýc odcýlok vyladzovacíc parametrov pre 200 opakovaí LSCV LSCV2 BCV1 BCV2 CCV SCV f f f f Tabuľka 5.4: Tabuľka smerodatýc odcýlok vyladzovacíc parametrov pre 800 opakovaí LSCV LSCV2 BCV1 BCV2 CCV SCV f f f f Závery zo simulačej štúdie pre ustoty 1. Závery plyúce z boxplotov zázorňujúcic logarimtus ISE odadov ustoty vytvoreé rozličými metódami: Najkvalitejšie sú odady ustoty jedomodáleo ormáleo rozdeleia z ľadiska ISE kritéria a ajmeej kvalité sú jadrové odady ustoty expoeciáleo rozdeleia. Nízka kvalita jadrovýc odadov ustoty expoeciáleo rozdeleia je zapríčieá tým, že pri expoeciálom rozdeleí sa objavujú raičé efekty. Hraičé efekty spôsobujú epresosti odadu okolo uly. Pre jadrové odady expoeciáleo rozdeleia sa používajú už modifikovaé metódy ako metóda zrkadleia, alebo sa používajú špeciále raičé jadrá, o ktorýc sa môžeme dočítať viacej v [8]. Kvalita jadrovýc odadov ustoty beta rozdeleia z ľadiska ISE kritéria sa zdá byť ízka. Pre všetky ustoty je možé vidieť, že odady ustoty vytvoreé s ĥ LSCV sa zdajú byť dosť variabilé oproti odadom s optimálym vyladzovacím parametrom získaým iou z metód pre daý typ ustoty. Pre dvojmodále ormále rozdeleie je variabilita logaritmu ISE odadov ustoty s ĥ BCV 1 je veľmi veľká v porovaí pre ié ustoty. Odady ustoty s optimálym vyladzovacím parametrom získaýc iou metódou ež metódami s fukciami LSCV a BCV1 sa zdajú byť meej variabilé. 2. Závery plyúce z boxplotov zázorňujúcic odady optimályc vyladzovacíc parametrov pre rozličé metódy: Pre všetky ustoty sa zdá, že odady optimáleo vyladzovacieo parametra získaéo metódou s daou fukciou LSCV sú ízke, a aopak, odady vyladzovacieo parametra získaéo metódou s daou fukciou BCV1 sú dosť veľké oproti odadom vyladzovacíc parametrov vytvoreé iými metódami.

67 Kapitola 5. Simulačá a aplikačá štúdia 55 Pre jedomodále ormále rozdeleie a beta rozdeleie - ĥ LSCV, ĥ LSCV 2, ĥ CCV sa zdajú byť dosť variabilé oproti odadom vyladzovacíc parametrov získaýc iou z metód pre daý typ ustoty. Pre dvojmodále ormále rozdeleie - variabilita ĥ BCV 1 je veľmi veľká oproti iým metódam. 3. Z obrázkov, kde sú vykresleé ustoty a ic jadrové odady pre rôze metódy je možé vidieť, že ajoršie dopadli odady ustoty expoeciáleo rozdeleia a odady ustoty beta rozdeleia. Jadrový odad ustoty expoeciáleo rozdeleia má veľké epresosti okolo bodu ula. Hustota beta rozdeleia je pozitíve zošikmeou fukciou, ale odady vytvárajú ustoty pripomíajúce ustoty ormáleo rozdeleia symetrickéo rozdeleia. Pre jedomodále ormále rozdeleie je možé vidieť veľmi kvalité odady ustoty a pomere dobré sú aj odady dvojmodálej ustoty. 5.3 Simulačá štúdia pre 1. deriváciu ustoty Rovako ako pri simulačej štúdii pre ustoty, tak aj v simulačej štúdii pre 1. deriváciu ustoty je pre každú ustotu f 1, f 2, f 3 a f 4 urobeý áodý výber o rozsau 100 bodov. Náodý výber bol vygeerovaý 200 krát a eskôr 800 krát. Pre daý áodý výber je vypočítaý odad optimáleo vyladzovacieo parametra získaý metódami s daými fukciami LSCVder, LSCV2der, BCV1der, BCV2der, CCVder. Zjedodušee ic v tejto podkapitole budeme ozačovať le LSCV, LSCV2, BCV1, BCV2, CCV. Výpočet odadu optimáleo vyladzovacieo parametra už spomíaými metódami bol opakovaý 200 krát a eskôr 800 krát. Potom boli vypočítaé aritmetické priemery odadov optimályc vyladzovacíc parametrov pre jedotlivé metódy a takisto ic smerodaté odcýlky. Tieto priemeré odoty odadov vyladzovacíc parametrov a ic smerodaté odcýlky boli vyodoteé pre všetky typy áodýc výberov a pre 200 a 800 opakovaí. Sú uvedeé v tabuľkác 5.5, 5.6, 5.7 a 5.8. Potom pre každý áodý výber o rozsau 100 boli vypočítaé jadrové odady prvej derivácie ustoty, kde za vyladzovací parameter bol zvoleý odad optimáleo vyladzovacieo parametra jedou z vyššie uvedeýc metód. Pre každý jadrový odad 1. derivácie ustoty s daým vyladzovacím parametrom bola vypočítaá itegrála kvadratická cyba odadu. Odady vyladzovacíc parametrov sú pre každý typ rozdeleia vykresleé v boxplotoc 5.11 pre počet opakovaí výpočtov 200 a 800. Každý boxplot porováva odoty odadov vyladzovacíc parametrov získaýc metódami LSCV, LSCV2, BCV1, BCV2, CCV. Porovaie kvality odadov 1. derivácie ustoty rozličými metódami je pre každý z vyššie uvedeýc typov rozdeleia zázoreé v boxplotoc 5.15 pre počet opakovaí výpočtov 200. Nakoiec vykreslíme obrázky 5.17 a 5.19 so skutočou fukciou 1. derivácie ustoty a jadrovými odadmi 1. derivácie ustoty vytvoreými priemerými odotami odadov optimályc vyladzovacíc parametrov uvedeýc v tabuľke 5.5.

68 Kapitola 5. Simulačá a aplikačá štúdia 56 Obr. 5.11: Boxploty odadov odôt optimáleo vyladzovacieo parametra rôzymi metódami použité pre odad 1. derivácie ustoty f 1, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.12: Boxploty odadov optimáleo vyladzovacieo parametra rôzymi metódami použité pre odad 1. derivácie ustoty f 2, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.13: Boxploty odadov optimáleo vyladzovacieo parametra rôzymi metódami použité pre odad 1. derivácie ustoty f 3, vľavo 200 opakovaí, vpravo 800 opakovaí Obr. 5.14: Boxploty odadov optimáleo vyladzovacieo parametra rôzymi metódami použité pre odad 1. derivácie ustoty f 4, vľavo 200 opakovaí, vpravo 800 opakovaí

69 Kapitola 5. Simulačá a aplikačá štúdia 57 Tabuľka 5.5: Tabuľka priemerýc odôt vyladzovacíc parametrov pre 200 opakovaí LSCV LSCV2 BCV1 BCV2 CCV f 1 f 2 f 3 f Tabuľka 5.6: Tabuľka priemerýc odôt vyladzovacíc parametrov pre 800 opakovaí LSCV LSCV2 BCV1 BCV2 CCV f 1 f 2 f 3 f Tabuľka 5.7: Tabuľka smerodatýc odcýlok vyladzovacíc parametrov pre 200 opakovaí LSCV LSCV2 BCV1 BCV2 CCV f 1 f 2 f 3 f Tabuľka 5.8: Tabuľka smerodatýc odcýlok vyladzovacíc parametrov pre 800 opakovaí LSCV LSCV2 BCV1 BCV2 CCV f 1 f 2 f 3 f

70 Kapitola 5. Simulačá a aplikačá štúdia 58 Obr. 5.15: Boxploty logaritmu ISE odadu vľavo 1. derivácie ustoty f 1, vpravo 1. derivácie ustoty f 2 pre rôze metódy pre 200 opakovaí Obr. 5.16: Boxploty logaritmu ISE odadu vľavo 1. derivácie ustoty f 3, vpravo pre 1. derivácie ustoty f 4 pre rôze metódy, pre 200 opakovaí

71 Kapitola 5. Simulačá a aplikačá štúdia 59 Obr. 5.17: Skutočá 1. derivácia ustoty f 1 a jadrové odady prvej derivácie ustoty f 1 Obr. 5.18: Skutočá 1. derivácia ustoty f 2 a jadrové odady prvej derivácie ustoty f 2

72 Kapitola 5. Simulačá a aplikačá štúdia 60 Obr. 5.19: Skutočá 1. derivácia ustoty f 3 a jadrové odady prvej derivácie ustoty f 3 Obr. 5.20: Skutočá 1. derivácia ustoty f 4 a jadrové odady prvej derivácie ustoty f 4