EKONOMETRIJA 1 Regresinė analizė Kontrolinis Sudarė M.Radavičius 004 05 15 Kai kurių užduočių sprendimai KOMENTARAS. Kai kuriems uždaviniams tik nusakytos sprendimų gairės, kai kurie iš jų suskaidyti į smulkesnes paprastas užduotis, kurias jau galite padaryti savarankiškai, o kai kurie sprendimai net keliais variantais surašyti nuosekliai ir detaliai. Bet net pastaruoju atveju, kai tik suvoksite sprendimo kelią, pasistenkite tas užduotis padaryti patys ir tik po to nagrinėkite si ūlomus sprendimų b ūdus. 1 Užduotis. Duomenys x 0 1 3 4 5 6 7 y 9 7 7 4 5 3 6 1 z 1 1 1 Kintamasis z {1, } aprašo dvi skirtingas situacijas: z = 1 ir z = pvz., moteris/vyras, Estija/Lietuva ir pan.. Abiem situacijom y-o regresinės priklausomybės nuo x-o funkcijos yra tiesinės ir jų reikšmės pradiniu momentu x = 0 sutampa, tačiau gali skirtis jų kitimo tendencijos posvirio koeficientai. a Sudarykite stebėjimų daugialypės tiesinės regresijos DTR modelį ir užrašykite jį matriciniu pavidalu. [3] b Raskite regresijos koeficientų mažiausių kvadratų įvertį MKĮ ˆβ. [5] c Įvertinkite paklaidų dispersiją, R ir ˆβ kovariacijų matricą. [5] d Patikrinkite hipotezę H 0, kad regresijos funkcijos abiem situacijom yra tos pačios. Čia ir toliau reikšmingumo lygmuo α = 0.1. [5] e Sukonstruokite y sąlyginio vidurkio f z x ir naujos jo reikšmes yx; z prognozės, kai x = 10, o z = 1 arba z =, γ-pasikliautinuosius intervalus su γ = 0.9. Abiem situacijom, kai z = 1 arba z =, patikrinkite hipotezes H 0 : f z 10 = 0 ir H 0 : y10; z = 0. [5] f Patikrinkite hipotezę H 0 : f 1 10 = 1, f 10 = 1. [7] 1 Užduoties Sprendimas. a, b, c, f 1a. Kadangi kalba eina apie regresiją, užrašome bendrą regresijos lygtį: y = fx + ε. Užduoties sąlygoje išskirtos dvi situacijos: kai z = 1 ir kai z =. Vadinasi, y = { f1 x + ε, jeigu z = 1, f x + ε, jeigu z =. Arba trumpai analitinė forma! y = f z x + ε. 1
Pasinaudoję tuo, kad abiem atvejais, y regresijos funkcijos atžvilgiu x yra tiesinės ir be to f 1 0 = f 0, galima užrašyti y = a + b z x + ε. 1 Taigi, turime 3 nežinomus parametrus a, b 1 ir b. Prediktorius prie kiekvieno iš jų pažymėkime atitinkamai u 0, u 1 ir u. Formaliai galime užrašyti y = au 0 + b 1 u 1 + b u + ε, ir šis reiškinys kiekvienam stebėjimui t.y., kiekvienai duomenų eilutei turėtų sutapti su 1. Nuosekliai sustatę x ir y skaitines reikšmes iš duotos duomenų lentelės į 1 priklausomai nuo to, ar z = 1 ar z =, ir atitinkamai parinkę u 0, u 1 ir u reikšmes lygybėje empirinis b ūdas!, gausime tokį matricinį pavidalą Apskaičiuojame 9 7 7 4 5 3 6 1 = 1 0 0 1 1 0 1 0 1 0 3 1 4 0 1 0 5 1 6 0 1 0 7 U U = a b 1 b + 8 11 17 11 53 0 17 0 87 ε1 ε ε3 ε4 ε5 ε6 ε7 ε8 =: Uβ + E., 3 U Y = 4, 63, 48. 4 Čia ir toliau trumpumo dėlei pažymime β := a, b 1, b. 1b. Mažiausių Kvadratų Įverčio MKĮ apskaičiavimas. Tai nuobodus darbas. Tačiau atliekant b ūtent tokį darbą ir buvo atrastas kompiuteris. Gal ką nors pavyks atrasti ir mums? Ką mes žinome apie MKĮ ˆβ? Jis tenkina tiesinę lygtį lygčių sistemą atžvilgiu β: U Uβ = U Y, 5 kurią, jeigu ranku = k šiuo atveju k = 3, galima išspręsti atžvilgiu β ir gauti ˆβ = U U 1 U Y. 6 m1 Matyt, paprasčiausias b ūdas rasti MKĮ yra išspręsti 3-ios eilės tiesinių lygčių sistemą atžvilgiu a, b 1 ir b, gaunamą iš 5: 8a +11b 1 +17b = 4 11a +53b 1 +0b = 63 17a +0b 1 +87b = 48. 7
Antrąją lygtį padauginę iš 11/53, o trečiąją iš 17/87 ir pridėję prie pirmosios lygties, randame a = 8 11 /53 17 /87 1 4 11 63/53 17 48/87 = 4 13 9.4/8.3 3.3 8.16. Iš antrosios ir trečiosios suskaičiuojame b 1 0.51, b 1.04. Šio metodo tr ūkumas: šiame etape išvengę U U 1 skaičiavimo, nieko labai nesutaupėme, nes ją vis vien reiks skaičiuoti punkte 1c, norint įvertinti ˆβ kovariacijų matricą. Tačiau stropuoliui tai nėra labai didelė problema: užtenka tas pačias operacijas pakartoti 3 kartus, lygčių sistemos 7 dešninę pusę paeiliui pakeičiant į vienetinės matricos I 3 stulpelius vektorius- stulpelius. m Kadangi modelyje 1 yra laisvasis narys a, tai galima sumažinti verčiamos matricos eilę centruojant kintamuosius. Tuomet ˆb 1, ˆb = U U 1 U Ẏ. 8 Kadangi V := U U = N cov u1 šiuo atveju N = 8, tai ją paprasta apskaičiuoti is formulių u, u1 cov u 1, u 1 = u 1 u 1, cov u 1, u = u 1 u u 1 u, cov u, u = u u. u 9 Paprastas ir kvadratų sumas jau suskaičiavome formulėje 3. Taigi, cov u 1, u 1 = 53/8 11/8 = 303/64, Vėl gi Iš čia, 3 ir 4 cov u 1, u = 0/8 11/8 17/8 = 188/64, cov u, u = 87/8 17/8 = 407/64. N 1 U Ẏ = cov u 1, y, cov u, y. 10 cov u 1, y = 63/8 11/8 4/8 = 4/64, 11 cov u, y = 48/8 17/8 4/8 = 330/64. 1 Remiantis gautais paskaičiavimais bei formulėmis 8,9,10,11,11 ir suradus V 1 gauname atsakymą: ˆb 1, ˆb 0.51, 1.05, â = ȳ ˆb 1, ˆb u 1, u 4 0.51 11 1.05 17/8 8.17. Šio metodo tr ūkumas tas pats kaip ir m1: sutaupę kažkiek skaičiavimų šiame etape, punkte 1c turėsime už tai atidirbti. Bet galima tai padaryti ir dabar. 3
Centravę prediktorius u 1 ir u lygtyje gausime Tada a = ã b 1 ū 1 b ū, b 1 = b 1 ir b = b. Vadinasi, a 1 ū 1 ū ã b 1 = 0 1 0 b1, T := b 0 0 1 b Parametrų ã, b 1 ir b covariacinė matrica yra lygi y = ãu 0 + b 1 u 1 + b u + ε. 13 1 ū 1 ū 0 1 0 0 0 1. 14 σ 1 N U 1 U 1 N U 1 U 1 = σ N 0 0 V 1. 15 Pirmoje eilutėje ir stulpelyje nuliai gaunasi todėl, kad U 1 ir U yra statmeni 1 N. Matrica, esanti dešinėje lygybės 15 pusėje lengvai apverčiama: N reikia keisti į 1/N, o V į V 1, kuri iš principo jau yra suskaičiuota anksčiau. Pasinaudoję 14 ir 15 gausime cov ˆβ, ˆβ = σ T N 1 0 0 V 1 T. Lieka "tik" σ pakeisti į s, sustatyti skaičius ir atlikti "elementarius" veiksmus. m3 Pasinaudosime blokinės matricos A B B D apverimo formule. Matricos A ir D yra simetrinės. Kadangi reiks apskaičiuoti matricos D atvirkštinę, tai geriau, kai ji yra kuo paparastesnė. Jeigu paprastesnė b ūtų matricaa, tai reiktų D ir A sukeisti vietomis tiesiog pačiose formulėse arba sukeičiant vietomis atitinkamas eilutes ir stulpelius pernumeruojant. Šiuo atveju U U = 8 11 17 11 53 0 17 0 87 = A B Taigi, matrica D yra labai paprasta: diagonalinė. Atvirkštinės matricos atitinkami blokai Ā = A B D 1 B 1 = 8 11 /53 + 17 /87 1 = 1/8.3 3.3 0.417, B = ĀB D 1 0.417 11/53, 17/87 0.087, 0.08, B D. D = D 1 I B B 1 0.417 11 /53/53 0.417 11 17/87/53 0.417 17 11/53/87 1 0.417 17 /87/87 0.037 0.017. 0.017 0.077 4
Iš 6 ir 4 ˆβ 0.417 0.087 0.08 0.087 0.037 0.017 0.08 0.017 0.077 4 63 48 8. 0.51 1.07. 16 Fuuuuuu......, atrodo, su skaičiavimais baigėm. 1c. Liekanų empirinę dispersiją galima suskaičiuoti tiesiogiai, pradžioje apskaičiavus stebėtų reikšmių prognozes, po to jų skirtumus, t.y. liekanas ir t.t. Tačiau taupant skaičiavimų sąnaudas geriau pasinaudoti formulėmis. Pvz., σ y = N 1 Ẏ = N 1 Y c1 N ȳ c, kuri teisinga bet kuriam c. Geriausia vietoje c imti "gražų" skaičių artimą vidurkiui. Šiuo atveju c = 5. σ y = 8 1 [4 + + 1 + 0 + + 1 + 5 ] 1/4 = 6 + 13/16 6.81. Skaičiuojant prognozės dispersiją naudojamės 10 ir 1 Vadinasi, σ ŷ = N 1 b 1, b U Ẏ 0.51, 1.054/64, 330/64 /8 5.08. σ ˆε 6.81 5.08 1.73, s 1.73 8/5.77, R 5.08/6.81. Įvertinių ˆβ kovariacijų matricos įvertinį gausime matricą B := X X 1 padauginę iš s. Matrica B jau suskaičiuota: tai 3 3 matrica, kuri stovi iškart už pirmojo lygybės ženklo formulėje 16. Kaip ją paprasčiau apskaičiuoti atvejais m1 ir m jau aptarėme anksčiau. Visi hipotezių tikrinimo ir pasikliautinųjų intervalų radimo uždaviniai yra panašus. Todėl trumpai aptarsime tik sudėtingesnį atvejį 1f, kai nulinė hipotezė H 0 susideda iš dviejų tvirtinimų. 1f. Turime θ = f 1 10, f 10, { f1 10 = a + 10b 1, f 10 = a + 10b, { ˆf1 10 = â + 10ˆb 1 8.1 + 10 0.51 3, ˆf 10 = a + 10ˆb 8.1 + 10 1.05.4. 17 18 Vadinasi, H 0 lygčių apribojimų matrica yra 1 10 0 T :=, 19 1 0 10 5
o θ 0 = 1, 1. Todėl B := = 1 10 0 1 0 10.4 0.417 0.417 1.55 0.417 0.087 0.08 0.087 0.037 0.017 0.08 0.017 0.077. 1 1 10 0 0 10 Pažymėkime ˆθ parametro θ įvertį suskaičiuotą 18. Fišerio statistika lygi F = 1/ ˆθ θ 0 B 1 ˆθ θ 0 s 0.8. 0 Palyginę šia reišmę su F,5 0.9 3.78 matome, kad atmesti hipotezę H 0 nėra pagrindo. Užduotis. Duoti trimačiai vektoriai X 1 = 1, 1,, X =, 1, 1 ir Y = 1,, 3. Rasti Y ortogonalią projekciją į plokštumą, einančią per taškus X 1, X ir 0, 0, 0. [4] Užduoties Sprendimas. Komentaras Šią užduotį padarė dauguma, nors ne visiems gerai sekėsi su aritmetika. Pagrindinė problema buvo susijusi su tašku 0, 0, 0, kurį daugumas norėjo įtraukti kaip vektorių-stulpelį į matricą X. Kad ši mintis J ūsų daugiau netrikdytų, užtenka suvokti, kad trimačių vektorių X 1 = 1, 1,, X =, 1, 1 su pradžiomis taške 0, 0, 0 generuotas tiesinis poerdvis yra plokštuma, kurioje šie vektoriai guli, ir tai yra plokštuma, einanti per 3 taškus X 1, X taškai sutapatinami su šių vektorių galais ir 0, 0, 0. Kadangi užduoties rasti projektorių nebuvo, tai galima buvo sutaupyti darbo sąnaudas skaičiavimus atliekant tokia pat tvarka kaip MKM e: X Y ; X X 1 b := X X 1 X Y Xb. 3 Užduotis. Tegu atsitiktinio taško x, y pasiskirstymo tankis px, y trikampyje S su virš ūnėmis A0, 0, B, 5 ir C4, yra pavidalo px, y = wx1 + y, x, y S, o x turi tolygų sąlyginį skirstinį prie sąlygos, kad y yra duotas. Čia wx yra tam tikra teigiama funkcija. Suraskite funkciją wx, regresijos funkcijas y atžvilgiu x, o taip pat x atžvilgiu y, ir užrašykite jas analitiškai. [1] 3 Užduoties Sprendimas. Tik vienas klausimas: wx radimas Kaip surasti funkciją wx? Aptarsime tik šį klausimą, nes visi, kas tik galėjo stengėsi, šį uždavinį ar jo dalį padarė. Nežinia kodėl buvo sunkumų su x-o atžvilgiu y regresijos funkcija. Juk sąlygoje yra pasakyta, kad sąlyginis x-o atžvilgiu y skirstinys yra tolygus! Vadinasi, reikėjo tik paimti ir surasti tiesės tiesių y = const atkarpos atkarpų srityje S vidurinį tašką. 6
Kadangi x-o atžvilgiu y sąlyginis skirstinys yra tolygus, jo pasiskirstymo tankis srityje S t.y., kai x, y S nepriklauso nuo x. Vadinasi, wx const =: w 0. Pažymėkime hx = min5x/, 8 3x/. Konstantą w 0 randame iš lygybės: 4 hx 1 = px, ydxdy = w 0 dx 1 + y dy S 0 x/ 4 x = w 0 hx 0 + h3 x x3 dx 3 4 = w 0 x / + 31x 4 /4 + /38 0 3x/4 /1 x 4 /96 4 = w 0 4 + 6/3 8/9 + 65/18 8/3 + 1/6 = w 0 7 + 37 16 + 65 48 + 3/18 = 1008w 0 /18 = 56w 0. Padėka tiems, kas patikrins ar nepadarėme aritmetinės klaidos. 4 Užduotis. Tarkime, kad duomenys x 1 0 1 0 0 1 y 9 7 7 4 5 3 6 1 tenkina modelį yt = β 0 + β 1 x + β x + εt, t = 1,..., 8, 1 ir išpildytos Gauso-Markovo salygos. Įvertinkite regresijos funkciją, jos išvestinę taške x = 1, maksimumo argumento reikšmę x max ir integralą intervale [0, 5]. Kurie iš minėtų įvertinių yra nepaslinktieji? efektyv ūs? [15] Patikrinkite hipotezę H 0 : x max = 1 ln ln / ln ir hipotezę, kad regresijos funkcija yra iškila. Čia ir toliau α = 0.1. [10+0] 4 Užduoties Sprendimas. Gairės Ši užduotis buvo skirta tiems, kurie "tingi" skaičiuoti. Jos esmė tame, kad pastebėjus, jog x įgyja tik 3 skirtingas reikšmes, b ūtent tiek, kiek yra nežinomų parametrų, galima išvengti matricų dauginimų ir vartaliojimų. Įvertinta regresijos kreivė funkcija turi eiti per taškus 0, ȳ 0, 1, ȳ 1 ir, ȳ, kur ȳ i yra sąlyginis aritmetinis kintamojo y vidurkis prie sąlygos, kad x yra lygus i, i = 0, 1, : ȳ 0 = 7 + 5 + 3/3 = 5, ȳ 1 = 9 + 7 + 6/3 = /3, ȳ = 4 + 1/ = 5/. Parametrų MKĮ ˆβ 0, ˆβ 1, ˆβ randame išprendę tiesinę lygčių sistemą: β 0 +1 β 1 +0 β = 5 =: ȳ 0 β 0 + β 1 +1 β = /3 =: ȳ 1 β 0 +4 β 1 + β = 5/ =: ȳ. Tuo tikslu iš 3-ios lygties atimame dvigubą -ąją lygtį ir gauname, kad ˆβ 0 = /3 5/ = 1 + 1/6. Iš 1-os randame ˆβ 1 = 7 1/6, o iš -os ˆβ = /3 5 + 7 + 1/6 = 9 + 1/. Įvertinių nepaslinktumas ir efektyvumas. Kadangi tiek pati regresijos funkcija, tiek jos išvestinė bei integralas yra tiesinės funkcijos atžvilgiu nežinomų parametru β 0, β 1, β, tai jų 7
įvertiniai, gauti vietoje nežinomų parametrų įstačius jų MKĮ, yra pagal Gauso-Markovo teoremą nepaslinktieji ir efektyv ūs. Maksimumo taškasx max yra netiesinė nežinomu parametrų β 1 ir β funkcija ži ūr., žemiau ir todėl gali b ūti paslinktas taip ir yra!!! ir neefektyvus, nes jam Gauso-Markovo teorema negalioja. Kadangi įvertinta regresijos kreivė funkcija eina per taškus 0, ȳ 0, 1, ȳ 1 ir, ȳ, tai paklaidų dispersijos įvertis randamas taip jo apskaičiavimui nereikia žinoti ˆβ!!!: σ = + 0 + + [ + 0 + 1 8 1/3 ] + 3/ /8 = 99/144.076. s = 8/5 σ = 39/70 = 3 + 9/90 3.3. Patikrinsime hipotezę H 0 : x max = x 0 =: 1 ln ln / ln. Kadangi x max = log β /β 1 ln, tai x max = x 0 ekvivalentu β 1 = β. Įstatę šį apribojimą į 1 gauname paprastosios tiesinės regresijos PTR modelį su nežinomais parametrais β 0 ir β 1 ir nauju prediktoriumi z = x x. Todėl MKM ˆβ 1 yra lygus cov ˆβ 1 = y, z σz = 1 0. Iš tikro. Kintamasis z įgyja tik skirtingas reikšmes: 1, kai x = 1 3 kartus, ir 0, kai x = 1 ir x =. Todėl σ z = 3/8 3/8 = 15/8, cov y, z = 3 ȳ 0 /8 ȳ 3/8 = 3 5/8 1/4 3/8 = 3/3 y reikšmės tokios pačios kaip ir 1-oje užduotyje, vadinasi ȳ jau buvo ten suskaičiuotas: ȳ = 5 + 1/4. Atrodo, truputėli įsijaučiau. Atsiprašau. Iš tikrųjų mums pačio MKĮ nereikia, o tik liekanų ε, gautų regresijos modelyje 1 taikant MKM su apribojimu β 1 = β, empirinės dispersijos σ ε. Turime R = [ĉory, z] ir σ ε = σ y1 R = σ y [ĉovy, z] /σ z = 6+13/16 1/0 3/3 6.81. 3 Taigi, šiuo atveju apribojimų skaičius m = 1 ir todėl Fišerio statistika yra lygi F = N σ ε σ s 8 6.81.076 3.3 11.4. 4 Tai ženkliai daugiau už F 1,5 0.9 4.060, todėl hipotezę H 0 tenka atmesti. Nulinę hipotezę H 0 apie regresijos funkcijos iškilumą tiesmukiškai patikrinti nepavyksta, nes ji, skirtingai nuo atvejų nagrinėtų per paskaitas ar pratybas, yra sudėtingoji, t.y. neleidžia vienareikšmiškai nusakyti stebėjimų skirstinį. Todėl b ūtini tam tikri išvedžiojimai. Nesunku matyti, kad regresijos funkcija iškila tada ir tik tada, kai β 1 0. Todėl H 0 : β 1 0, o alternatyva yra H 1 : β 1 < 0. Konstruojant kriterijų nat ūralu vietojeh 0 nagrinėti kitą paprastąją!!! nulinę hipotezę H 0 : β 1 = 0, nes jeigu turimi duomenys liudys H 1 naudai prieš H 0, tai jie liudys ir prieš H 0 : juk H 0 yra pats "artimiausias" prie H 1 atvejis iš visų galimų H 0 variantų. Tai nėra matematiškai tikslus tvirtinimas, bet atitinka sveiką nuovoką. Todėl reikiamą kriterijų konstruojame remiantis įprasta t statistika hipotezei β 1 = 8
0 tikrinti, tik reikia atsižvelgti, kad alternatyva yra vienpusė ir todėl "dvipusė nelygybė" keičiama į "vienpusę" apatinę ir vietoje kvantilio t N k 1 α/ imamas kvantilis t N k 1 α. Liko tik apskaičiuoti t statistiką. Šį uždavinį sprendžiant tiesmukiškai reiktų, visų pirma, susidaryti plano matricą X, po to apskaičiuoti X X, paskui ją apversti ir t.t. Bet tai ne tinginio kelias. Todėl, visu pirma, pastebėsime, kad kai teisinga H 0 regresijos lygtis 1 virsta PTR modeliu. Taigi, analogiškai kaip 3, gauname σ ε = σ y [ĉory, x 1] σ x 1 = 109 16 = 109 16 361 16 39 0+3 /3 1+ 5/ 8 7 8 3 0 +3 1 + 8 7 8 1 4 6.34. 5 Žinome, kad statistika F = t, o šiuo atveju statistikos t ženklas sutampa su ˆβ 1 ženklu. Vadinasi, remiantis 5 panašiai kaip 4, galime parašyti t = F = N σ ε σ /s 10 < 1.476 t 5 0.9 := t N k 1 α. 6 Taigi papuolame į kritinę sritį ir priversti H 0, o tuo pačiu ir H 0, atmesti. 5. Užduotis. Tegu yt = βxt + εt, xt > 0, t = 1,..., N, ir patenkintos Gauso- Markovo sąlygos. Apibrėžkime ˆβ 0 = ȳ x, ˆβ 1 = 1 N N t=1 z = 1 N zt, z {x, y}, N t=1 yt Nt=1 xt, xtyt ˆβ = Nt=1 x t. Palyginkite įvertinius ˆβ 0, ˆβ 1, ˆβ tarpusavyje ir ištirkite, prie kokių sąlygų jie yra nepaslinktieji [5], pagrįstieji [0] ir efektyv ūs [15]. [40] 5 Užduoties Sprendimas. Gairės: labai trumpai Trečiasis įvertinys ˆβ yra mažiausiųjų kvadaratų, todėl jis yra nepaslinktasis ir efektyvus. Kiti du taip pat yra nepaslinktieji ir be to tiesiniai, todėl pagal Gauso-Markovo teoremą gali b ūti efektyv ūs tik tada, kai sutampa su ˆβ. Iš čia nesunkiai išvedame, kad tai gali b ūti tik tada, kai yt c xt kuriam nors c 0. Patikrinkime, pvz., kad ˆβ 0 yra nepaslinktasis aišku, reikia reikalauti, kad x 0: E ˆβ 0 = Eȳ x = β x x = β. Pagrįstumui ištirti reikia suskaičiuoti dispersiją: D ˆβ 0 = Dȳ x = σ N x. Kad ˆβ 0 b ūtų pagrįstas reikia, kad dispersija artėtų į 0, kai N kad to užtenka išplaukia iš Čebyševo nelygybės. Vadinasi, reikia, kad N x. BAIGTA!!! 9