Pravdepodobnostné modelovanie inverznými distribučnými funkciami : Identifikácia kvantilového modelu

Transcript

1 Katedra štatistiky, Fakulta hospodárskej informatiky, Ekonomická univerzita v Bratislave Pravdepodobnostné modelovanie inverznými distribučnými funkciami : Identifikácia kvantilového modelu Ľubica SIPKOVÁ 3. z cyklu prezentácií Apríl 2009

2 Fázy kvantilového modelovania Identifikácia Vystihnutie tvaru empirického rozdelenia kvantilovým tvarom Estimácia Odhad parametrov kvantilového modelu Verifikácia Overenie vhodnosti kvantilového modelu Proces interaktívny, revidujúci predchádzajúce výsledky novými zisteniami s vrátením sa s novými informáciami k predchádzajúcim fázam, postupom a technikám.

3 Identifikácia Vystihnutie tvaru empirického rozdelenia Grafická identifikácia empirického rozdelenia Kvantitatívna analýza empirického rozdelenia: na momentovom základe na kvantilovom základe Identifikácia rozdelenia jednoduchými tvarmi Celého rozdelenia Zvlášť pre dolný a horný koniec Voľba tvaru váh pre konce rozdelenia Ako funkcia p Ako parametre modelu

4 Grafická analýza celého aj častí empirického rozdelenia (Q emp (p)=cp) Hodnota príjmov v závislosti od ich proporcionálneho postavenia vo vzostupnom usporiadaní v tis.sk CP 1,200 1, p Ľubica Sipková

5 Grafická analýza empirického rozdelenia Príjmy domácností SR v roku 2003 (Q emp (p)=cp) v tis. Sk CP v závislosti od p ( pre CP menšie ako dolný decil) Empirická kvantilová funkcia pre hodnoty pod dolným decilom CP CP = p R2 = 0, p Ľubica Sipková

6 Grafická analýza empirického rozdelenia Príjmy domácností SR v roku 2003 (Q emp (p)=cp) CP v závislosti od p ( pre CP v kvartilovom rozpätí ) Empirická kvantilová funkcia pre hodnoty medzi kvartilmi v tis.sk CP CP = p R 2 = 0, p Ľubica Sipková

7 Grafická analýza empirického rozdelenia Príjmy domácností SR v roku 2003 (Q emp (p)=cp) CP v závislosti od p ( pre CP väčšie ako horný decil) Empirická kvantilová funkcia pre hodnoty nad horným decilom v tis. Sk CP p Ľubica Sipková

8 Grafická analýza celého aj častí empirického rozdelenia (Box-Plot) Box-and-Whisker graf pre CP v Sk CP Ľubica Sipková

9 Grafická analýza empirického rozdelenia Príjmy domácností SR v 2003 Box-and-Whisker Plot pre dolných 95% hodnôt CP (Box-Plot) v 100 tis. SK CP Takmer symetrické rozdelenie bez horných 5% hodnôt Ľubica Sipková

10 Grafická analýza empirického rozdelenia Príjmy domácností SR v 2003 (Box-Plot) Box-and-Whisker Plot pre prostrednú polovicu hodnôt CP Box-and-Whisker graf pre CP v Sk CP (X 10000) CP Symetrická prostredná časť medzi kvartilmi Ľubica Sipková

11 Grafická analýza empirického rozdelenia Príjmy domácností SR v Polygón rozdelenia pocetností pre CP Polygón % domác cností v 100 tis. Sk CP Ľubica Sipková

12 Porovnanie zhody so známymi jednoduchými tvarmi pomocou procedúry: Comparison of Alternative Distributions Distribution Est. Parameters Log Likelihood KS D Lognormal (3-Parameter) Lognormal Loglogistic Gamma (3-Parameter) Birnbaum-Saunders Gamma Inverse Gaussian Largest Extreme Value Weibull Logistic Laplace Exponential Normal

13 Histogram for CDPD data 1600 frequ uency Distribution Gamma (3-Parameter) Loglogistic (3-Parameter) Lognormal (3-Parameter) (X 1.E6) CDPD data

14 KS a CHI kv. Testy pre CDPD KS Test Erlang Gamma (3-Parameter) Loglogistic (3-Parameter) Weibull (3-Parameter) Lognormal (3-Parameter) DPLUS DMINUS DN P-Value Chi kv. Test Gamma Gamma (3-Parameter) Lognormal Lognormal (3-Parameter) Chi-Squared D.f P-Value Ľubica Sipková

15 Kvantitatívna analýza empirického rozdelenia Príjmy domácností SR v 2003 Výberové charakteristiky na momentovom základe Priemer = Sk Rozptyl = E10 Štandardná odchýlka = Sk Koeficient šikmosti = Štand. šikmosť = Pearsonova špicatosť = Variačný koeficient = % Štand. špicatosť = na kvantilovom základe Medián = Sk Kvartilové rozpätie = Sk Galtonov koeficient šikmosti g=qd/iqr = Kvartilová diferencia qd=lq+uq-2 = Moorsova špicatosť k=[(e7-e5)+(e3-e1)]/iqr = Ľubica Sipková

16 Čo by sme už mali vedieť na základe doterajšej identifikácie? nevhodnosť modelovať klasickým prístupom (nedostatočná dobrá zhoda jednoduchých rozdelení) obor funkčných hodnôt (hranice, limity rozdelenia) symetria asymetria (smer a intenzita asymetrie empirického rozd. a jeho častí) výsledky z histórie skúmania (známe modely aplikované v minulosti u podobnej NP overenie týchto tvarov pomocou Q-Q grafov)

17 Zopakujme všeobecné požiadavky na model kvalita a preferencie medzi modelmi sa budú posudzovať podľa ich splnenia vhodný na nadväzujúce analýzy, na vyjadrenie základných súhrnných charakteristík, má splniť svoj praktický účel dobrá zhoda štatisticky významný jednoduchosť (jednomodálnosť) možnosť aktualizácie v čase aplikovateľnosť viacnásobného prístupu modelovanie v podsúboroch, v štruktúrach možnosť aplikácie simulačných metód

18 Dva prístupy ku kvantilovému modelovaniu 1. Aplikovať odskúšané komplexné elastické tvary použiť známe zovšeobecnené tvary 2. Kombinovať jednoduché kvantilové tvary pomocou matematického aparátu a dať im príslušnú váhu v častiach rozdelenia skladaním kvantilového tvaru na mieru

19 1. Zovšeobecnené tvary definované kvantilovou funkciou (inverznou distribučnou funkciou) veľmi elastické (flexibilné) ľahko menia tvar, obor funkčných hodnôt (max, min), limity, inflexné body, rozloženie, asymetriu... sú viacparametrické, často s parametrom polohy, rozloženia, parametrami pre horný a dolný koniec

20 Zovšeobecnený tvar RS GLD Tvar štvor-parametrického asymetrického zovšeobecného lambda rozdelenia podľa Ramberga a Schmeisera : F ( λ p) 4 p λ 3 1 1( p) = λ + 1 λ2 ; 0 p 1 používa dva lineárne a dva nelineárne parametre Základný tvar má dva parametre pre dolný a horný koniec, ktoré spoločne modelujú šikmosť a špicatosť je extrémne elastický

21 2. Skladanie kvantilových tvarov rozdelenia v základnom tvare známeho jednoduchého kvantilového rozdelenia - bez parametrov polohy a stupnice (variability, rozloženia) potrebné identifikovať tvar zvlášť dolného a zvlášť horného konca pomocou empirického rozdelenia možno modifikovať kvantilové funkcie pomocou matematických operácií (základné pravidlá modifikácie kvantilových funkcií) zvoliť vhodné váhy týmto dvom tvarom

22 X~Q[p; Θ] Definovanie kvantilového modelu Q( p) 1 = F ( p) = x, 0 p 1 Jednoduchý kvantilový model v tvare : Q ( p ) = λ + η S ( p ) 0 p 1 môže byť lineárnym, alebo semilineárnym dvoj a viacparametrickým kvantilovým distribučným modelom v závislosti od jeho základného kvantilového tvaru : S(p)

23 Základné kvantilové tvary známych pravdepodobnostných rozdelení

24 Vystihnutie tvaru empirického rozdelenia - identifikácia Grafická analýza empirického rozdelenia príjmov Kvantitatívna analýza empirického rozdelenia príjmov: na momentovom základe na kvantilovom základe Identifikácia rozdelenia jednoduchými tvarmi Celého rozdelenia Zvlášť pre dolný a horný koniec Voľba tvaru váh pre konce rozdelenia Ako funkcia p Ako parametre modelu

25 Identifikácia rozdelenia pomocou pravdepodobnostných grafov napr. v STATGRAPHICS CENTURION XV pre Lognormálne 3-parametrické rozdelenie Lognorm al Probability Plot cumulative percent C D PD data

26 Identifikácia rozdelenia Q-Q grafmi napr. pomocou STATGRAPHICS CENTURION XV pre Gamma 3-parametrické rozdelenie (X 1.E6) 3 Q uantile-q uantile Plot 2.5 CDPD data (X ) Gam m a distribution Ľubica Sipková

27 Identifikácia rozdelenia Q-Q grafmi porovnania vzdialenosti horných a dolných kvantilov od mediánu (v Exceli, ale možno aj pomocou STATGRAPHICS CENTURION XV) Porovnanie odchýlok hodnôt CP od mediánu (pravého konca oproti ľavému koncu rozdelenia CP) m - CP( r ) CP(n+1-r) - m Ľubica Sipková

28 Identifikácia len koncov rozdelenia jednoduchými tvarmi Useknutý Weibullov tvar pre dolný koniec Histogram pre CP s funkciou hustoty Weibullovho rozdelenia frequenc cy v 100 tis. Sk CP Ľubica Sipková

29 Identifikácia rozdelenia jednoduchými tvarmi Aké rozdelenie použiť pre horný koniec? Identifikačný graf pre Exponenciálne rozdelenie ln (1 -p ) CP

30 Identifikácia rozdelenia jednoduchými tvarmi Identifikačný graf pre Weibullovo rozdelenie 9 8 ln [-ln (1 -p )] Paretov tvar je vhodný pre horný koniec ln CP

31 Identifikácia rozdelenia jednoduchými tvarmi Identifikačný graf pre logistické rozdelenie ln [ p/(1-p) ] CP

32 Identifikácia rozdelenia jednoduchými tvarmi Identifikačný graf pre Burr III rozdelenie ln [ p/(1-p)] ln CP

33 Identifikácia rozdelenia jednoduchými tvarmi Identifikačný graf pre Paretovo rozdelenie 9 - ln (1-p) Paretov tvar je vhodný pre horný koniec ln CP

34 V identifikačných grafoch nesledujeme sklon preloženej priamky Prečo sa v nich zameriame len na šikmosť a špicatosť rozdelení? možnosť ľahko zmeniť polohu a variabilitu kvantilových funkcií: Q( p) = λ + η S( p) posunutím centrovaním normovaním S(p) má vlastné parametre šikmosti, špicatosti, alebo parametre koncov rozdelenia, ktoré spolu definujú jeho šikmosť a špicatosť

35 Identifikačné grafy pre znázornenie šikmosti a špicatosti v empirickom súbore Galtonova šikmosť g(p) oproti p r Galtonova p-šikmosť g* (p) oproti p r indexu špicatosti t(p) oproti p r horného indexu špicatosti ut(p) oproti p r dolného indexu špicatosti lt(p) oproti p r a ich porovnaním s tvarmi pre simulované hodnoty teoretických rozdelení

36 Graf Galtonovej šikmosti pre empirické dáta Galtonova šikmosť empirického rozdelenia CP p ; ; ; ; g(p)

37 Graf Galtonovej šikmosti pre teoretické rozdelenie p Galtonova šikmosť pre W[ 2.345, ] , , , , g(p)

38 Tvar váh pre dva konce rozdelenia možné voliť ako funkciu pravdepodobnosti pre plynulý prechod z jedného tvaru do druhého Ako funkcia p ( 1 p ) a p [ ( )] 2 1 p 3 2 p a 2 p ( 3 2 p) [ ( )] 3 2 3( 2 1 p 10 15p + 6 p a p p + 6 p ) 1 ω Ako parametre modelu ω 1 ( p) a ω( p) ( 1 ω ) a ω ( 1+ω ) ( 1 ω ) 2 a ( 1- ) a ω p 2 p 2 Ľubica Sipková

39 Ako može vyzerať poskladaný (zložený) kvantilový model? ( )[ ( )] β Q = λ + η CP ( p) 1 p ln 1 p + p γ 1, 0 < p < 1, β > 0, γ > 0 Weibullov-Paretov tvar: parameter polohy parameter stupnice, variability kvantilový základný tvar rozdelenia pre dolný koniec s jeho parametrami kvantilový základný tvar rozdelenia pre horný koniec s jeho parametrami váhy jednotlivým rozdeleniam 1 ( p)

40 Pravdepodobnostné modelovanie inverznými distribučnými funkciami: Identifikácia kvantilového modelu Spracovanie tretej z cyklu prezentácií o kvantilovom modelovaní. Podrobnejšie možno nájsť v monografii: Sipková, Ľ; Sodomová, E.: Modelovanie kvantilovými funkciami, Vydavateľstvo EKONÓM, Bratislava, 2007; 175 s. ISBN Ľubica SIPKOVÁ apríl 2009