Chương : Mô hình hồ quy đơn I. Bản chất của phân tích hồ quy: 1. Khá nệm: Phân tích hồ quy là nghên cứu sự phụ thuộc của một bến (bến phụ thuộc) vào một hay nhều bến khác (các bến gả thích) để ước lượng hay dự đoán gá trị trung bình của bến phụ thuộc trên cơ sở các gá trị bết trước của các bến gả thích. Ví dụ: 1- Quan hệ gữa chều cao của học snh nam tính theo những độ tuổ cố định - Sự phụ thuộc của ch têu cho têu dùng vào thu nhập thực tế 3- Tỷ lệ thay đổ tền lương trong mố quan hệ vớ tỷ lệ thất nghệp Hình.1: Phân phố gả thết về chều cao theo độ tuổ Hình.: Đường cong Phllps gả thết 1
4- Mức lạm phát và tỷ lệ thu nhập ngườ dân gữ dướ dạng tền mặt 5- Gám đốc tếp thị của một công ty muốn bết mức cầu đố vớ sản phẩm của công ty có quan hệ như thế nào vớ ch phí quảng cáo. 6- Một nhà nông học quan tâm tớ vệc nghên cứu sự phụ thuộc của sản lượng lúa vào nhệt độ, lượng mưa, nắng, phân bón Ký hệu: Y Bến phụ thuộc (bến được gả thích) X Bến gả thích (bến độc lập). Các mố quan hệ trong phân tích hồ quy a. Quan hệ thống kê và quan hệ hàm số: Quan hệ thống kê thể hện ở sự phụ thuộc thống kê của bến phụ thuộc vào các bến gả thích. Bến phụ thuộc là đạ lượng ngẫu nhên có phân phố xác suất Các bến gả thích có gá trị bết trước Ứng vớ mỗ gá trị của bến gả thích có thể có nhều gá trị khác nhau của bến gả thích Quan hệ hàm số: Các bến không phả là ngẫu nhên Ứng vớ mỗ gá trị của bến gả thích có một gá trị của bến phụ thuộc Phân tích hồ quy không nghên cứu các quan hệ hàm số Ví dụ: Sự phụ thuộc của năng suất lúa vào nhệt độ, lượng mưa, lượng phân bón là một quan hệ thống kê Tính chu v hình vuông bằng 4 lần chều dà y = 4x là quan hệ hàm số b. Hồ quy và quan hệ nhân quả: Phân tích hồ quy nghên cứu quan hệ phụ thuộc của Y vào X => Không đò hỏ gữa Y và X phả có quan hệ chều (nhân quả) c. Hồ quy và tương quan: Phân tích tương quan đo mức độ kết hợp tuyến tính gữa ha bến Phân tích hồ quy ước lượng, dự báo một bến trên cơ sở gá trị đã cho của các bến khác Trong phân tích hồ quy, khác vớ tương quan, các bến không có tính đố xứng
3. Nguồn số lệu cho phân tích hồ quy 3.1. Các loạ số lệu: Gồm: Số lệu theo thờ gan (chuỗ TG), số lệu chéo và số lệu hỗn hợp Số lệu theo TG: là các số lệu được thu thập trong một thờ kỳ nhất định Số lệu chéo: là các số lệu được thu thập tạ một thờ đểm, thờ kỳ ở nhều địa phương, đơn vị khác nhau. Số lệu hỗn hợp theo thờ gan và không gan 4.. Nguồn số lệu: Do các cơ quan nhà nước, tổ chức quốc tế, công ty hoặc cá nhân thu thập Gồm các số lệu thực nghệm hoặc ph thực nghệm 4.3. Nhược đểm của số lệu: Hầu hết số lệu trong khoa học xã hộ là các số lệu ph thực nghệm Các số lệu thực nghệm có thể có sa số trong phép đo Trong đều tra có thể không nhận được câu trả lờ hoặc không trả lờ hết Các mẫu đều tra có cỡ mẫu khác nhau nên khó khăn trong so sánh kết quả các cuộc đều tra Các số lệu knh tế thường ở mức tổng hợp cao không cho phép đ sâu vào các đơn vị nhỏ Số lệu bí mật quốc ga khó tếp cận II. Các khá nệm cơ bản trong hồ quy đơn 1. Hàm hồ quy tổng thể: Ví dụ : Nghên cứu sự phụ thuộc của Y ch têu têu dùng hàng tuần và X thu nhập khả dụng hàng tuần của các ga đình ở một địa phương có 60 ga đình. Mức TN Các mức ch têu 80 100 10 140 160 180 00 0 40 60 55 65 79 80 10 110 10 135 137 150 60 70 84 93 107 115 136 137 145 15 65 74 90 95 110 10 140 140 155 175 70 80 94 103 116 130 144 15 165 178 75 85 98 108 118 135 145 157 175 180 88 113 15 140 160 189 185 115 16 191 Tổng 35 46 445 707 678 750 685 1043 966 111 TB 65 77 89 101 113 15 137 149 161 173 Bảng.1. Ví dụ về thu nhập và ch têu của 60 hộ ga đình 3
Trung bình có đều kện của mức ch têu trong tuần nằm trên đường thẳng có hệ số góc dương: E(Y/X) = Y j P(Y = Y j /X = X ) E(Y/X) là một hàm của X: E(Y/X) = f(x): Hàm hồ quy tổng thể PRF Hàm PRF cho bết gá trị trung bình của Y kh bến X nhận một gá trị nhất định Để xác định dạng của hàm hồ quy tổng thể ngườ ta dựa vào đồ thị bểu dễn bến thên kết hợp vớ phân tích bản chất của vấn đề nghên cứu Nếu PRF có dạng tuyến tính: E( Y / X ) 1 X β 1 là hệ số tự do, cho bết gá trị trung bình của Y kh X bằng 0 β là hệ số góc, cho bết gá trị trung bình của bến Y sẽ thay đổ bao nhêu đơn vị kh X tăng một đơn vị CM: X = X + 1. Kh đó: E(Y/X ) = β 1 + β X = β 1 + β (X + 1) = β 1 + β X +β = E(Y/X )+β Tuyến tính được hểu theo ha nghĩa: Tuyến tính đố vớ tham số: E(Y/X )=β 1 +β X Tuyến tính đố vớ bến: E( Y / X ) 1 X Hàm hồ quy tuyến tính được hểu là tuyến tính đố vớ các tham số. Sa số ngẫu nhên: U = Y E(Y/X ) hay Y = E(Y/X ) + U U là đạ lượng ngẫu nhên và được gọ là sa số ngẫu nhên. U tồn tạ vì các lý do sau: U được sử dụng như yếu tố đạ dện cho tất cả các bến gả thích không được đưa vào mô hình - Các bến không bết rõ - Các bến không có số lệu - Các bến có ảnh hưởng rất nhỏ - Các bến không được đưa vào vì lý do muốn có một mô hình đơn gản nhất có thể 4
3. Hàm hồ quy mẫu: Hàm hồ quy được xây dựng trên cơ sở một mẫu được gọ là hàm hồ quy mẫu SRF Bảng.3. Mẫu thứ nhất Y 70 65 90 95 110 115 10 140 155 150 X 80 100 10 140 160 180 00 0 40 60 Bảng.4. Mẫu thứ ha Y 55 88 90 80 118 10 145 157 X 80 100 10 140 160 180 00 0 Từ ha mẫu xây dựng được ha hàm hồ quy mẫu là SRF1 và SRF Hàm hồ quy mẫu tuyến tính có dạng: Y ˆ ˆ X Dạng ngẫu nhên: Y ˆ ˆ X e Yˆ e 1 ˆ 1 III. Ước lượng và kểm định gả thết trong hồ quy đơn 1. Phương pháp bình phương nhỏ nhất OLS Gả sử có mẫu gồm n cặp quan sát (Y, X ), = 1..n. Cần tìm hàm Y ˆ ˆ sao cho càng sát vớ ˆ 1 X gá trị thực càng tốt Tức là: e ˆ ˆ ˆ Y Y Y 1 X mn Do e có thể dương hoặc âm nên ta lấy tổng bình n n phương của e đạt mn: e ( ˆ ˆ Y 1 X) mn 1 1 5
n n Do Y, X đã bết nên e ( ˆ ˆ ) Y X 1 là hàm của ˆ 1, ˆ 1 1 n => Ta có: f ( ˆ ˆ ˆ ˆ 1, ) ( Y 1 X ) mn 1 ˆ ˆ n n f ( 1, ) Y ˆ ˆ 1 1 0 ˆ ˆ ˆ X 1 1 1 1 f ( ˆ ˆ 1, ) ˆ ˆ 1 0 ˆ ˆ ˆ 1 n X Y n n n n Y X X X X Y X 1 1 1 1 XY nxy ˆ ; ˆ Y ˆ X 1 X n( X) x X X ; y Y Y ˆ y x x Ví dụ : Bảng sau cho số lệu về mức ch têu têu dùng (Y-USD/tuần) và thu nhập hàng tuần (X-USD/tuần) của 10 ga đình. Hãy ước lượng hàm hồ quy tuyến tính của Y theo X. Y 70 65 90 95 110 115 10 140 155 150 X 80 100 10 140 160 180 00 0 40 60 Y X X X Y 1110; 1700; 3000; 05500 Y 1110 /10 111; X 1700 /10 170 Y X nxy ˆ 05500 10x170 x111 0,5091 3000 10 x(170) X n( X ) ˆ 1 11110,5091x170 4,4545 Yˆ 4, 4545 0,5091X. Các gả thết của mô hình hồ quy tuyến tính Chất lượng của các ước lượng phụ thuộc: - Dạng hàm của mô hình được lựa chọn - Phụ thuộc vào các X và U - Phụ thuộc vào kích thước mẫu Các gả thết lên quan đến X và U gồm: GT1: Bến gả thích là ph ngẫu nhên GT: Kỳ vọng của yếu tố ngẫu nhên U bằng 0, tức là: E(U /X ) = 0 GT3: Các U có phương sa bằng nhau: Var(U /X ) = Var(U j /X j ) = σ GT4: Không có sự tương quan gữa các U : Cov(U,U j )=0 GT5: U và X không tương quan vớ nhau: Cov(U,X j )=0 Định lý Gauss-Markov: Vớ các gả thết 1-5 các ước lượng OLS là các ước lượng tuyến tính, không chệch và có phương sa nhỏ nhất. 3. Phương sa và sa số chuẩn của các ước lượng Các ước lượng hệ số tự do và hệ số góc là đạ lượng ngẫu nhên, vớ các mẫu khác nhau ta có các gá trị ước lượng khác nhau. X var ˆ ; se ˆ var ˆ ; 1 1 1 n x ˆ var( ) ; se( ˆ ) var( ˆ ) x Trong đó: var(u và được ước lượng bằng: ) n ˆ e 6
TSS y Y Y 4. Hệ số xác định và hệ số tương quan TSS là tổng bình phương của tất cả các sa lệch gữa Y vớ gá trị trung bình n n TSS y Y Y Y n Y 1 1 ESS là tổng bình phương của tất cả các sa lệch gữa gá trị của bến Y tính theo hàm hồ quy mẫu vớ gá trị trung bình n n n ESS Yˆ Y yˆ ˆ x 1 1 1 RSS là tổng bình phương của tất cả các sa lệch gữa các gá trị quan sát của bến Y và các gá trị nhận được của nó từ hàm hồ quy mẫu RSS ˆ e Y Y TSS = ESS + RSS Hệ số xác định: R = ESS/TSS => đo mức độ phù hợp của hàm hồ quy => x y R 0 R x y 1 =>Nếu tất cả các gá trị quan sát của Y nằm trên SRF thì RSS = 0, ESS = TSS và R = 1(hàm hồ quy rất phù hợp) =>Nếu hàm hồ quy kém phù hợp thì RSS càng lớn và R tến tớ 0 Vd: Y = 13100, TSS = 13100 10.(111) = 8890, ESS = (0,509091).33000 = 855,73 => R = 855,73/8890 = 0,961 Hệ số tương quan: đo mức độ chặt chẽ của quan hệ tuyến tính gữa X và Y: x y ( X X )( Y Y ) r ; r R x ( X X ) ( Y Y ) y 7
5. Khoảng tn cậy của β 1, β và σ 5.1. Một số khá nệm: Ước lượng đểm có thể không phả là gá trị thực => xây dựng một khoảng xung quan gá trị ước lượng đểm: P ˆ ˆ 1 Khoảng ˆ : khoảng ngẫu nhên; 1 α: ; ˆ hệ số tn cậy; α (0 < α < 1): mức ý nghĩa, ε: độ chính xác của ước lượng. ˆ : gớ hạn dướ; ˆ :gớ hạn trên 5. Khoảng tn cậy của β ˆ Chứng mnh được: t T ( n ) se( ˆ ) Thết lập khoảng tn cậy: P(-t α/ t t α/ ) = 1- α trong đó t α/ thoả mãn: P( t < t α/ )=1- α Mnh hoạ: Thay t vào: ˆ P( t / ( n ) t / ( n )) 1 se ˆ P ˆ t se( ˆ ) ˆ t se( ˆ ) 1 / / Vớ hệ số tn cậy 1 α, khoảng tn cậy của β là: ˆ t se( ˆ ); ˆ t se( ˆ ) / / 5.3. Khoảng tn cậy của β 1 Tương tự: P ˆ 1 t ˆ ˆ ˆ /se( 1) 1 1 t / se( 1) 1 Khoảng tn cậy của β 1 là: ˆ t se( ˆ ); ˆ t se( ˆ ) 1 / 1 1 / 1 Để tìm t α/ ta tra bảng ở phần phụ lục hoặc dùng hàm trong excel. Vd: vớ số bậc tự do là n = 8, α = 5% thì t 0,05 = TINV(0,05,8) =,306 Vd: RSS = TSS ESS = 8890 855,73 = 337,7 337, 7 ˆ 4,15875 10 33000 se( ˆ ) var( ˆ ) 0, 001775 0, 03574 ˆ 4,15875; var( ) 0, 001775 3000 Var( ˆ ) 4,15875 41,1367 1 10x33000 se( ˆ ) var( ˆ ) 41,1367 6, 4138; t ( n ) t (8),306 1 / 0,05 (4, 4545, 306x6, 4138) 9, 6643 39, 448 1 1 (0, 5091, 306 x0, 035 74) 0, 468 0, 5914 8
5.4. Khoảng tn cậy của σ : CM được: ˆ ˆ ( n ) ( n ) P 1 / ( n ) / 1 ( n ) ˆ ( n ) ˆ P 1 / 1 / Để tìm các gá trị này tra bảng phần phụ lục hoặc dùng hàm CHIINV của excel: CHIINV(0,05,7)=16,018 6. Kểm định gả thết về các hệ số hồ quy: KĐGT nhằm trả lờ câu hỏ: Kết quả tìm được dựa trên số lệu thu thập có phù hợp vớ một gả thết nêu ra hay không? Có ha cách KĐGT: Dựa vào khoảng tn cậy và dựa vào kểm định ý nghĩa. 6.1. Kểm định gả thết - Phương pháp khoảng tn cậy: Từ số lệu của Vd, kểm định GT: H 0 : β = 0,3 vớ H 1 : β 0,3. => Căn cứ vào khoảng tn cậy, ta thấy: 0,468 < β < 0,5914 Quy tắc KĐ: Thết lập một khoảng tn cậy vớ hệ số tn cậy 1 α cho β. Nếu β nằm trong khoảng này thì không bác bỏ H 0 ; ngược lạ nằm ngoà thì bác bỏ H 0 6.. Kểm định gả thết: Phương pháp kểm định ý nghĩa KĐGT: H 0 : β = β * vớ H1: β β* Ta đã có: ˆ P( t / t / ) 1 se ˆ Nếu β = β* thì: Như vậy: (-t α/ ; t α/ ) được gọ là mền chấp nhận; Vùng nằm ngoà được gọ là mền bác bỏ; t α/ : gá trị tớ hạn; α: mức ý nghĩa của kểm định. Quy tắc quyết định: Tính t * ˆ P( t / t / ) 1 se ˆ ˆ * se ˆ Nếu t thuộc khoảng (-t α/ ; t α/ ) thì chấp nhận H 0 Nếu t ngoà khoảng (-t α/ ; t α/ ) thì bác bỏ H 0 Do sử dụng phân phố t nên thủ tục KĐ này được gọ là kểm định t 9
Mnh hoạ: Kểm định một phía: H 0 : β = β* vớ H 1 : β < β* hoặc β > β* Nếu H 1 : β > β* thì mền bác bỏ nằm bên phả; Nếu H 1 : β < β* thì mền bác bỏ nằm bên trá VD: H 0 : β = 0,3 vớ H 1 : β 0,3. Số bậc tự do là n - = 8; vớ α = 5% tra bảng ta có t α/ =,306. Vậy mền chấp nhận H 0 là -,306 < t <,306. * t ˆ se ˆ (0, 509091 0,3) / 0, 03574 5,85 Vì gá trị của t nằm ở mền bác bỏ nên ta bác bỏ gả thết H 0. Tóm tắt quy tắc KĐGT vớ β : Tương tự ta có quy tắc KĐGT vớ β 1 : KĐGT: H 0 : β = 0 vớ H 1 : β 0 kểm định GT cho rằng bến X không ảnh hưởng tớ bến Y VD: KĐGT H 0 : β = 0 vớ H 1 : β 0 vớ α = 5% t = (0,509091 0)/0,03574=14,43 t 0,05 =,306 t > t 0,05 nên bác bỏ H 0. bến thu nhập X có ảnh hưởng thực sự tớ bến ch têu Y 10
6.3. Kểm định gả thết về σ KĐGT: H 0 : σ = σ 0; H 1 : σ σ 0 vớ mức ý nghĩa α Quy tắc KĐ: Tính ˆ ( n ) VD: KĐGT: H 0 : σ = 85; H 1 : σ 85 vớ α = 5% Ta đã có ˆ 4,15875. Vậy = (10 ).4,15875/85 = 3,968 => không thuộc mền bác bỏ nên ta chấp nhận H 0 (8) CHIINV (0.05,8) 17,5345; (8) CHIINV (0.975,8),1797 / 0,05 1 / 0,975 7. Kểm định sự phù hợp của hàm hồ quy CM được: ˆ x F F(1, n ) ˆ Kđ sự phù hợp: H 0 : R = 0 ; H 1 : R > 0 <=> H 0 : β = 0; H 1 : β 0. Quy tắc kđ: Tính ˆ x R ( n ) F ˆ 1 R Nếu F > F α (1, n-) thì bác bỏ H 0 Vd: H 0 : β = 0; H 1 : β 0. F=R (n-)/(1-r )=0,9606(10-)/(1-0,9606) = 0,86 gá trị p tương ứng vớ F rất nhỏ (<0,0005) nên bác bỏ H 0. ˆ 8. Dự báo Vd: Ta có hàm HQ mẫu: Y 4, 4545 0,5091X Có loạ dự báo: Dự báo trung bình có đều kện của Y vớ X = X 0 ; Dự báo gá trị cá bệt của Y vớ X = X 0. Dự báo gá trị trung bình: E(Y/X 0 ) = β 1 + β X 0 Ước lượng đểm không chệch, có phương sa nhỏ nhất của E(Y/X 0 ) là: Ŷ0 ˆ 1 ˆ X 0 Ŷ 0 có phân phố chuẩn vớ kỳ vọng β 1 + β X 0 và phương sa: ˆ 1 X0 X Var( Y0 ) n x σ chưa bết nên sử dụng UL không chệch của nó là ˆ Ta có: Yˆ 0 E( Y / X 0) t T ( n ) se( Yˆ 0 ) Yˆ 0 E( Y / X 0 ) P t / t / 1 ˆ se( Y0 ) P Yˆ t se Yˆ E Y X Yˆ t se Yˆ Yˆ t se( Yˆ ) E( Y / X ) Yˆ t se( Yˆ ) 0 / ( 0) ( / 0) 0 / ( 0) 1 0 / 0 0 0 / 0 11
Dự báo gá trị rêng bệt: Ước lượng của Y 0 là Ŷ ˆ ˆ X Phương sa của Y 0 : 1 Var( Y ) 1 n X 0 X x 0 Khoảng tn cậy của Y 0 : Vd: 0 1 0 Yˆ t se( Y ) Y ) Yˆ t se( Y ) 0 / 0 0 0 / 0 9. Đánh gá các kết quả của phân tích HQ Các têu chí đánh gá: Têu chí 1: dấu của các hệ số hồ quy có phù hợp vớ lý thuyết không? Têu chí : các hệ số hồ quy phả có ý nghĩa về mặt thống kê. Têu chí 3: Mô hình gả thích sự bến thên của bến phụ thuộc tốt đến đâu => dùng R. Têu chí 4: Kểm tra xem mô hình có thoả mãn các gả thết của mô hình hồ quy tuyến tính không? 1