Ανάλσση παλινδρόμησης

Transcript

1 ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ Ανάλσση παλινδρόμησης Πειραιάς,

2 Πολλαπλή Παλινδρόμηζη

3 Ιδιότητεσ των υπολοίπων Ανάλυςη διακφμανςησ Οι προζαρμοζμένες ηιμές,... p p x x,,,..., ηεο κεηαβιεηήο απόθξηζεο Υ θαη ηα εκηιμημένα ζθάλμαηα ή σπόλοιπα (resduals) )... (, p p x x,,,...,,,,,,, p p p p p p p p p p x x x x x x x x x x x x Τ β X ε Τ Τ ε

4 Αληηθαζηζηώληαο ηελ έθθξαζε ειαρίζησλ ηεηξαγώλσλ ζηελ όπνπ ζέζακε X H β ( X X ) X ησλ εθηηκεηξηώλ X β παίξλνπκε ( X X X ) X H ( X X ) X. Παξόκνηα, ην δηάλπζκα ησλ ππνινίπσλ ε γξάθεηαη ζηε κνξθή ε Τ Τ Τ H Τ ( I H) Τ. Με βάζε ηηο ζρέζεηο απηέο κπνξνύκε λα εθθξάζνπκε ηηο πξνζαξκνζκέλεο ηηκέο θαη ηα ππόινηπα σο γξακκηθέο ζπλαξηήζεηο ησλ ηπραίσλ κεηαβιεηώλ,..., Ο πίλαθαο H X,. ( X X ) X βξίζθεη κεγάιε ρξεζηκόηεηα ζηε κειέηε ηνπ ζηαηηζηηθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο θαη είλαη γλσζηόο ζηε δηεζλή βηβιηνγξαθία κε ηελ νλνκαζία hat matrx.

5

6 Αλάιπζε δηαθύκαλζεο Γίλεηαη λα δηαζπάζνπκε ην ζπλνιηθό άζξνηζκα ηεηξαγώλσλ SSTO ( ) ζε δύν επηκέξνπο αζξνίζκαηα ηεηξαγώλσλ: ην άθροιζμα ηεηραγώνων ηης παλινδρόμηζης SSR ( ). ην άθροιζμα ηεηραγώνων ηων σπολοίπων SSE ( ). Σην ζηαηηζηηθό κνληέιν πνιιαπιήο παιηλδξόκεζεο ηζρύεη, όπσο θαη ζην απιό γξακκηθό κνληέιν, ε βαζηθή ηζόηεηα αλάιπζεο δηαθύκαλζεο SSTO SSR SSE.,

7 Η ηζόηεηα SSTO SSR SSE είλαη ηζόηεηα κεηαμύ ηπραίσλ κεηαβιεηώλ αθνύ θαη ηα ηξία αζξνίζκαηα ηεηξαγώλσλ πνπ εκπιέθνληαη ζε απηή είλαη ζπλαξηήζεηο ησλ ηπραίσλ κεηαβιεηώλ,,...,, νπόηε είλαη θαη απηά ηπραίεο κεηαβιεηέο. Πρόηαζη Σην ζηαηηζηηθό κνληέιν πνιιαπιήο παιηλδξόκεζεο ( ε ) I, X β ε κε Η κέζε ηηκή ηνπ αζξνίζκαηνο ηεηξαγώλσλ SSE δίλεηαη από ηνλ ηύπν θαη επνκέλσο ε πνζόηεηα E( SSE) ( p), SSE p p απνηειεί ακεξόιεπηε εθηηκήηξηα ηεο παξακέηξνπ.

8 Παξαηεξήζεηο Η πνζόηεηα SSE /( p) ζα ιέγεηαη κέζν άζξνηζκα ηεηξαγώλσλ ησλ ππνινίπσλ ή πην ζύληνκα μέζο ηεηραγωνικό σπόλοιπο θαη ζα ζπκβνιίδεηαη κε αξρηθά MSE δειαδή, s ή κε ηα s MSE SSE p p p ( ) Τν s είλαη κηα ακεξόιεπηε εθηηκήηξηα ηεο άγλσζηεο δηαθύκαλζεο V( ) V( ), ελώ ε ηεηξαγσληθή ηεο ξίδα s MSE κπνξεί λα ρξεζηκνπνηεζεί σο (κε ακεξόιεπηε) εθηηκήηξηα ηεο ηππηθήο απόθιηζεο ησλ ησλ ),,,...,. (ή Αλ ρξεζηκνπνηήζνπκε ην s ζηε ζέζε ηνπ () β ( X X ), ζα πξνθύςεη ν πίλαθαο πνπ εκθαλίδεηαη ζηνλ ηύπν s () β s ( X X ) ηα ζηνηρεία ηνπ νπνίνπ δίλνπλ ακεξόιεπηεο εθηηκήηξηεο ησλ δηαθπκάλζεσλ θαη ησλ ζπλδηαθπκάλζεσλ ησλ εθηηκεηξηώλ ειαρίζησλ ηεηξαγώλσλ,,..., p.

9 Μέζα αζξνίζκαηα ηεηξαγώλσλ Γηα ην ζσνολικό άθροιζμα ηεηραγώνων SSTO ( έρνπκε βαζκνύο ειεπζεξίαο. Γηα ην άθροιζμα ηεηραγώνων ηων σπολοίπων SSE έρνπκε p βαζκνύο ειεπζεξίαο Οη βαζκνί ειεπζεξίαο ηνπ αθροίζμαηος ηεηραγώνων ηης παλινδρόμηζης SSR είλαη ίζνη κε p Γηαηξώληαο ηα αζξνίζκαηα ηεηξαγώλσλ SSR θαη SSE κε ηνπο αληίζηνηρνπο βαζκνύο ειεπζεξίαο νξίδνπκε ηα μέζα αθροίζμαηα ηεηραγώνων SSR SSE MSR θαη MSE p p εθ ησλ νπνίσλ ην δεύηεξν, όπσο είδακε, απνηειεί κηα ακεξόιεπηε εθηηκήηξηα ηεο παξακέηξνπ V( ) V( ). )

10 Πίνακασ ANOVA Μνληέιν Άζξνηζκα ηεηξαγώλσλ Βαζκνί ειεπζεξίαο Μέζα αζξνίζκαηα ηεηξαγώλσλ Model (Source) Sum of Squares (SS) df (DF) Mean Square (MS) Regresson SSR p MSR SSR /( p ) Resdual SSE λ p MSE SSE /( p) Total SSTO λ

11 . SSTO 464 SSR 43.6 SSE 6.4

12 α. Αθνύ, p 3, ε ηηκή ηεο ακεξόιεπηεο εθηηκήηξηαο s SSE p β. Η ηηκή ηνπ MSR είλαη ίζε κε SSR 43.6 MSR 5.8. p s ηνπ ζα είλαη γ. Σην Παξάδεηγκα 4.. ππνινγίζακε ηηο δηαθπκάλζεηο ησλ εθηηκεηξηώλ ειαρίζησλ ηεηξαγώλσλ θαη ηηο αληίζηνηρεο ηππηθέο απνθιίζεηο, 4364 ( ) 364 V ( ).47 θαη ). 89 ( ) 364 (, V ( ).36 θαη ) ( ) 364 (, V ( ).96 θαη ). 98 (.

13 Αληηθαζηζηώληαο ην ζ κε ην s MSE 87. ζηηο παξαπάλσ ζρέζεηο βξίζθνπκε ηηο ακεξόιεπηεο εθηηκήηξηεο s ) , ( s ) , ( s ) ( ησλ ηξηώλ δηαθπκάλζεσλ. Γηα ηα αληίζηνηρα ηππηθά ζθάικαηα έρνπκε, s ( ) 3.9., s ( ) θαη MSE s ( ) Model Sum of Squares df Mean Square Regresson (SSR) 43.6 (p ) 5.8 Resdual (SSE) 6.4 (λ p) Total (SSTO) 464 (λ ) 9

14 Το κανονικό μοντζλο πολλαπλήσ παλινδρόμηςησ Όπσο ζην απιό γξακκηθό κνληέιν, μεθηλώληαο από έλα ζηαηηζηηθό κνληέιν πνιιαπιήο παιηλδξόκεζεο ηεο κνξθήο x x... px, p,,,..., ην νπνίν ηθαλνπνηεί ηηο ζπλζήθεο Σ Σ5 θαη ππνζέηνληαο όηη ηα ηπραία ζθάικαηα,,,..., είλαη αλεμάξηεηα θαη αθνινπζνύλ ηελ θαλνληθή θαηαλνκή N (, ) θηάλνπκε ζην κανονικό μονηέλο πολλαπλής παλινδρόμηζης ή ηζνδύλακα X β ε, ε ~ N (, I ) Τ ~ N ( Φ β, I ). Σην θαλνληθό κνληέιν πνιιαπιήο παιηλδξόκεζεο, γηα ηελ p δηάζηαηε ηπραία κεηαβιεηή β έρνπκε N (, ( X X ) p β β ~ ) β ( X X ) X A

15

16 Διαςτήματα εμπιςτοςφνησ Τν απνηέιεζκα ηεο Πξόηαζεο καο δίλεη ηε δπλαηόηεηα λα δεκηνπξγήζνπκε δηαζηήκαηα εκπηζηνζύλεο γηα ηηο παξακέηξνπο ηνπ θαλνληθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο ηα νπνία είλαη παλνκνηόηππα κε ηα δηαζηήκαηα εκπηζηνζύλεο ηεο απιήο παιηλδξόκεζεο. Διάζηημα εμπιζηοζύνης για ηην παράμεηρο β ηοσ μονηέλοσ Τν δηάζηεκα I [ s( ) t ( a / ), s( ) t ( a / )] p p απνηειεί έλα δηάζηεκα εκπηζηνζύλεο γηα ηελ παξάκεηξν,,,..., p ηνπ θαλνληθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο κε ζπληειεζηή εκπηζηνζύλεο.

17 Π Α Ρ Α Δ Ε Ι Γ Μ Α Αο ππνζέζνπκε όηη γηα ηηο κεηαβιεηέο ηνπ Παξαδείγκαηνο 4.. ηθαλνπνηνύληαη νη πξνϋπνζέζεηο ηνπ θαλνληθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο. Να θαηαζθεπαζηνύλ δηαζηήκαηα εκπηζηνζύλεο γηα ηηο παξακέηξνπο, θαη κε ζπληειεζηή εκπηζηνζύλεο 95%. Απάνηηζη Χξεζηκνπνηώληαο ηηο ηηκέο ησλ εθηηκεηξηώλ ειαρίζησλ ηεηξαγώλσλ 6.6, 3. θαη. 93, ηηο ηηκέο ησλ αληίζηνηρσλ ηππηθώλ ζθαικάησλ s ( )., s ( ). 56 θαη s ( ). 95 θαζώο επίζεο θαη ην άλσ πνζνζηηαίν ζεκείν t ( a / ) t7 (.5). 365 p πξνθύπηνπλ ηα επόκελα ηξία δηαζηήκαηα εκπηζηνζύλεο I s( ) t (.5), s( ) t (.5)] [ 7 7 [596.38, I ( [ s( ) t7 (.5), s ) t7 (.5)] [.87, 4.54], I s( ) t (.5), s( ) t (.5] [.3, 4.9] [ 7 7 γηα ηηο παξακέηξνπο, θαη αληίζηνηρα ],

18 Διάςτημα εμπιςτοςφνησ για τη μζςη πρόβλεψη Έζησ ην θαλνληθό κνληέιν πνιιαπιήο παιηλδξόκεζεο θαη αο ζπκβνιίζνπκε κε ηελ ηπραία κεηαβιεηή πνπ πεξηγξάθεη ηε κεηαβιεηή απόθξηζεο όηαλ νη αλεμάξηεηεο κεηαβιεηέο X, X,..., X p ιάβνπλ ηηο ηηκέο x, x,..., x, p αληίζηνηρα. Τόηε, έλα δηάζηεκα εκπηζηνζύλεο γηα ηε κέζε πξόβιεςε E ) x... p είλαη ην όπνπ ( x, p ( s( ) t p ( a/ ), s ) t p ( a/ )] [ x... px, p x β κε x x x ] θαη s ) ε ζεηηθή ηεηξαγσληθή ξίδα ηεο πνζόηεηαο [, p s ( ) ( s ( x ( X X ) x )

19 Διάςτημα πρόβλεψησ για τη μεταβλητή απόκριςησ

20 Έρνπκε x [ ] θαη ρξεζηκνπνηώληαο ηνλ πίλαθα ζηήιε ησλ εθηηκεηξηώλ ειαρίζησλ ηεηξαγώλσλ β [ ] βξίζθνπκε x β 6.6 [ ]

21 x ( X X ) x s 87. s s ( ( ( ) ) s ) s ( x ( ( X X ) x ( x ( X X ) x ) )) α. Αληηθαζηζηώληαο ηηο ηηκέο 75. 9, s ( ) 4. 9 θαη t (.5/ ). 36 παίξλνπκε ην δηάζηεκα εκπηζηνζύλεο 7 [ , ] [696.5, 75.34]. ( ) β. Αληηθαζηζηώληαο ζηνλ ηύπν ηηο ηηκέο 75. 9, s ( ). 9 θαη t 7 (.5/ ). 36 παίξλνπκε ην δηάζηεκα πξόβιεςεο [ , ] [68.4, 79.4].

22 Έλεγτοι σποθέζεων ζηο κανονικό μονηέλο πολλαπλής παλινδρόμηζης

23 3

24 T s( )

25 ημείωζη Όζα αλαθέξζεθαλ ζην θαλνληθό απιό γξακκηθό κνληέιν ζρεηηθά κε ηα p-values ησλ ακθίπιεπξσλ ειέγρσλ, ηνπο ηύπνπο ππνινγηζκνύ ησλ p-values κνλόπιεπξσλ ειέγρσλ κέζσ ησλ p-values ησλ αληίζηνηρσλ ακθίπιεπξσλ θαη ηνλ θαλόλα απόθαζεο κε ρξήζε ηνπ p-value ελόο ειέγρνπ ηζρύνπλ θαη γηα ην θαλνληθό κνληέιν πνιιαπιήο παιηλδξόκεζεο.

26

27

28 α. Χξεζηκνπνηώληαο ηηο ηηκέο ησλ εθηηκεηξηώλ ειαρίζησλ ηεηξαγώλσλ θαη ησλ ηππηθώλ ζθαικάησλ ηνπο πνπ βξέζεθαλ ζηα πξνεγνύκελα κπνξνύκε λα ππνινγίζνπκε ηε ζηαηηζηηθή ζπλάξηεζε Τ θαη ζπγθξίλνληαο κε ηελ πνζόηεηα t p ( a / ) t7 (.5).365 (γηα ηνπο δύν πξώηνπο ειέγρνπο) θαη ηελ t p ( a) t7 (.5).895 (γηα ηνλ ηξίην) θηάλνπκε εύθνια ζηελ θαηάιιειε απόθαζε (ζε επίπεδν ζεκαληηθόηεηαο 5%). Πην ζπγθεθξηκέλα έρνπκε 3.. T t7 (.5) s( ).56, νπόηε απνξξίπηνπκε ηελ H...93 T t7 (.5) s( ).95, νπόηε δελ απνξξίπηνπκε ηελ H..93. T t7 (.5) s( ).95, νπόηε απνξξίπηνπκε ηελ H.

29 β. Σύκθσλα κε ην κνληέιν πνιιαπιήο παιηλδξόκεζεο E( ) x x ε κέζε παξαγσγή ηνπ αγξνύ όηαλ δελ ρξεζηκνπνηείηαη θαζόινπ ιίπαζκα ( x ) θαη θαζόινπ λεξό άξδεπζεο ( x ) είλαη ίζε κε. Δπνκέλσο ν έιεγρνο πνπ καο ελδηαθέξεη είλαη ν H H : : 6 6 ελώ ην αληίζηνηρν επίπεδν ζεκαληηθόηεηαο είλαη a % 6.6 T t7 s( ). θαη ε κεδεληθή ππόζεζε δελ απνξξίπηεηαη.. Έρνπκε, (./ )

30 Ο ζλεγχοσ F Αλ ζέινπκε λα απαληήζνπκε ζην εξώηεκα θαηά πόζν νη αλεμάξηεηεο κεηαβιεηέο X, X,..., X p είλαη ρξήζηκεο, σο ζύλνιν, γηα ηελ πξόβιεςε ησλ ηηκώλ ηεο Υ, ζα πξέπεη λα πξαγκαηνπνηήζνπκε ηνλ έιεγρν H :... p H : ή ή... ή p. ΠΡΟΣΑΗ 4.5. Όηαλ ηζρύνπλ νη ππνζέζεηο ηνπ θαλνληθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο θαη... p, ε ηπραία κεηαβιεηή MSR / MSE αθνινπζεί ηελ θαηαλνκή F κε p θαη λ p βαζκνύο ειεπζεξίαο.

31

32

33 Π Α Ρ Α Δ Ε Ι Γ Μ Α Αο ππνζέζνπκε όηη γηα ηηο κεηαβιεηέο ηνπ Παξαδείγκαηνο 4.. ηθαλνπνηνύληαη νη πξνϋπνζέζεηο ηνπ θαλνληθνύ κνληέινπ πνιιαπιήο παιηλδξόκεζεο. Να ειέγμεηε ζε επίπεδν ζεκαληηθόηεηαο % ηελ (πνιιαπιή) ππόζεζε H : Απάνηηζη H : ή. Χξεζηκνπνηώληαο ηηο ηηκέο ησλ κέζσλ αζξνηζκάησλ ηεηξαγώλσλ MSE s 87., MSR πξνθύπηεη γηα ηελ ζηαηηζηηθή ζπλάξηεζε F MSR / MSE ε ηηκή 5.78 F Αθνύ ηζρύεη F F, 7(.), ε κεδεληθή ππόζεζε ζα πξέπεη λα απνξξηθζεί ζε επίπεδν ζεκαληηθόηεηαο %.

34 Άζθεζε