x y max(x))

Transcript

1 ΚΕΦΑΛΑΙΟ 0 Απλή Γραµµική Παλινδρόµηση Μωυσιάδης Χρόνης 6 o Εξάµηνο Μαθηµατικών Ένα Πρόβληµα εδοµένα y Έχει σχέση το yµε το ; Ειδικότερα όταν αυξάνει το µπορούµε να πούµε ότι αυξάνει και το ; Μπορούµε να εκτιµήσουµε (παρεµβολή) την τιµή του y όταν 5; (5 ανήκει στο (m(), ma()) Μπορούµε να εκτιµήσουµε (πρόβλεψη) την τιµή του yόταν 9; (9 δεν ανήκει στο (m(), ma())

2 Ένα χρήσιµο γράφηµα 3 ιάγραµµα ιασποράς y ως προς y y Προσπαθούµε να προσαρµόσουµε µια ευθεία που να περνά όσο κοντύτερα γίνεται από τα σηµεία. Ευθεία Παλινδρόµησης y ˆ α+ ˆ β Η επιδιωκόµενη ιδιότητα 4 ιάγραµµα ιασποράς και αποκλίσεις y Απαιτούµε να ισχύει: y-(α+β) y-(α+β) ε ( ) y α+ β να είναι ελάχιστο ΕΥΘΕΙΑ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ

3 Η µέθοδος ελαχίστων τετραγώνων 5 y α+ β + ε προσαρµόζεται το µοντέλο: Υποθέτουµε ότι στα δεδοµένα y (απόκριση) τ.µ. µέσω της ε α, β θεωρητικές σταθερές παράµετροι Σε παρατηρήσεις έχουµε y α+ β + ε y α+ β + ε y α+ β + ε σταθερά (όχι τ.µ.) και ζητούµε mmze ε σφάλµα που εξαρτάται από τυχαίους παράγοντες (ΤΥΧΑΙΑ ΜΕΤΑΒΛΗΤΗ) ε δηλαδή τα α, β που ελαχιστοποιούν τη συνάρτηση ( α β ) f ( α, β) y ( + ) Οι υπολογισµοί 6 Παραγωγίζουµε f ( y α β ) y α β α f ( y α β ) ( ) y α β β Τα κρίσιµα σηµεία προκύπτουν από το σύστηµα που δίνει το σύστηµα των κανονικών εξισώσεων f f 0, 0 α β y α + β y α + β 3

4 Εκτιµώµενες παράµετροι 7 Το σύστηµα κ.ε. γράφεται: α y β α y β y y β ( )( y y) β ( ) Συµβολίζοντας ˆ β S / S y ˆ α y ˆ β ˆ, α ˆ β συµβολισµός τη λύση του συστήµατος των κ.ε. Η εκτίµηση παραµέτρων εφαρµόστηκε το 805 από τον A.M. Legedre (75-833). Ο C.F.Gauss ( ) ισχυριζόταν ότι την είχε εφεύρει ενωρίτερα. y α y β S β S Το µοντέλο πρόβλεψης 8 και το µοντέλο πρόβλεψης είναι ŷ ˆ α+ ˆ β ή ˆ ŷ y+ β µε ˆ β S / S y Η ευθεία παλινδρόµησης περνά από το (, y) y ιάγραµµα ιασποράς και ευθεία παλινδρόµησης y

5 Παράδειγµα 9 α/α y y y Σύνολα , y 8.54 y ˆ.36 β 0.67, ˆ α S y y S Έλεγχος 0 α/α y ŷ ε ε Σύνολα Εκτιµήσεις των σφαλµάτων ε ι y ˆ y y ˆ α ˆ β Μία βασική υπόθεση είναι ε 0 ( Eε 0) Το άθροισµα τετραγώνων των ε είναι µικρό (το δυνατόν µικρότερο ι 5

6 Ιδιότητες Υποθέσεις E( ε ) 0 ή ισοδύναµα Var( ε ) σ E( ε ) σ Cov( εε ) 0 E( εε ) 0 ΘΕΩΡΗΜΑ.. Var ˆ α σ S (/ + / ) Var ˆ β σ / S E( ˆ α) α E( ˆ β ) β Cov ˆ α ˆ β σ (, ) / S 3. Οι εκτιµήτριες ˆ, α ˆ β έχουν τη µικρότερη διασπορά από κάθε άλλη αµερόληπτη εκτιµήτρια που εκφράζεται ως γραµµικός συνδυασµός των παρατηρήσεων y Απόδειξη Θέτοντας k ( ) / S διαπιστώνουµε: Τότε: k 0 β y k y y k y k k k / / S S ˆ S / S k y y k y ( ) ˆ α y ˆ β y / k y (/ k ) y Τα k είναι σταθερές, όχι τυχαίες µεταβλητές 6

7 . (συν. ) ( ) E ˆ β E k y k E( y ) k ( α + β ) β ( ˆ ) E ˆ α E y β ( α + β ) β α. Επειδή y ασυσχέτιστες Var ˆ k Var y S ( β ) / σ ˆ α σ + Var k Var ( y ) / S ( ( ) ) k ( k ) Var( y ) σ / S Cov( ˆ α, ˆ β ) Cov k y, k y 3 (συν. ) 3. Έστω bˆ c µε y E bˆ β ηλ. β Ε c y c ( α+ β ) α c + β c Ώστε Άρα ˆ Var ( b) c Var( y ) c + c k διότι άρα ˆ m Var ( b ) m c / σ S Var β c c c 0 σ σ S ( c ) k k c k k c c / c k c k k + S c ( ) / S / S 0 ˆ 4 7

8 Τα υπόλοιπα (resduals) 5 Τα σφάλµατα που είναι άγνωστα, τα εκτιµούµε από την ˆ ε y yˆ Το άθροισµα τετραγώνων των σφαλµάτων (Sum of Squares of Errors) συµβολίζεται SSE ( ˆ ) ˆ ε SSE y y όπου y ˆ α + ˆ β y+ ˆ β( ) Ισχύουν ˆ ε ( ˆ y y y y β ) ˆ ˆ 0 ˆ y y ˆ 0 ε? ˆ yεˆ 0? Ιδιότητες του SSE ( ) ( ) { } yy E S E y y E y y διότι ( ˆ ) ˆ β ( y y) ˆ β ( )( y y) ˆ β ( ) ( ) σ + β S ( ) E y ( α+ β ) + σ SSE y y y y ˆ ˆ ˆ yy β y β yy y / yy β + S S + S S S S S S α β σ 6 E y ( + ) + / άρα E SSE E S E ˆ β S E S Var ˆ β + E ˆ β S ( yy ) ( yy ) ( ) ( ) σ σ E( SSE /( ))? 8

9 Η βασική ταυτότητα 7 Θέτοντας έχουµε: ΘΕΩΡΗΜΑ ( ˆ ˆ ) ( ˆ ) ( ˆ ) SST y y + y y y y + y y + SST ( y ) y και SSR ( yˆ ) y ( ˆ )( ˆ ) + y y y y SSE+ SSR SST SSR+ SSE ( ˆ )( ˆ ) ˆ β ( ˆ β ) y ( y ) y y y y y y y+ y ˆ β S ˆ β S ˆ β S ˆ β S 0 Η υπόθεση της κανονικότητας των ε Έστω το µοντέλο y α+ β + ε όπου ε ~ Ν(0,σ ) Τότε η συνάρτηση πιθανοφάνειαςτων α, β, σ όταν δίνονται οι παρατηρήσεις y, y,, y είναι y a b L( α, β, σ ) ep ( σ π σ ) που µε λογαρίθµιση γίνεται ( y ) a b l( L) l( πσ ) σ Ο υπολογισµός των παραµέτρων που µεγιστοποιούν την l(l) δίνει τις ίδιες εκτιµήσεις που βρέθηκαν µέχρι τώρα. 8 9

10 9 Οι κατανοµές εκτιµητών και παραµέτρων Από τις: α ˆ (/ k ) y και ˆ β ( β σ S ) k y οι εκτιµήτριες των α, β ακολουθούν κανονική κατανοµή, δηλ. ˆ α ~ N α, σ (/ + / S ) ˆ β ~ N, / Η µέση πρόβλεψη στο 0 είναι ŷ ˆ ˆ 0 α + β 0 Η ατοµική πρόβλεψη στο 0 είναι ŷ ˆ ˆ 0α α + β 0 + ε 0 Αποδεικνύεταιyˆ 0 ~ N α+ β 0, σ (/ + ( 0 ) / S ) και yˆ ( 0α ~ N α + β 0, σ (+ / + ( 0 ) / S )) Επίσης ˆ α, ˆ β, yˆ ˆ 0, y0 α Οι τ.µ. ˆ, β y, SSE είναι ανεξάρτητες. SSE ~ σ χ είναι ανεξάρτητες των ˆ ε,,..., Πίνακας Ανάλυσης της ιασποράς (ANOVA) 0 Κάτω από την υπόθεση β0, ισχύει SSR ~ σ χ και ο λόγος MSR SSR / F ~ F, MSE SSE /( ) Αυτά τα καταγράφουµε στον πίνακα ANOVA Πηγή Αθρoίσµατα Τετραγώνων Παλινδρόµηση SSR Υπόλοιπα (Σφάλµατα) SSE - Σύνολο SST - β.ε. Μέσα Τετράγωνα Λόγος F SSR MSR SSE MSE - MSR F MSE Ο λόγος F ελέγχει την υπόθεση Η 0 : β0, έναντι της Η : β 0. 0

11 ιαστήµατα Εµπιστοσύνης Για τις παραµέτρους α, β αποδεικνύεται ότι το 00(-α)% δ.ε. είναι ˆ ± ; α / / + / α t s S ˆ β ± t s / S ; α / Για τη µέση και την ατοµική πρόβλεψη στο 0 το 00(-α)% δ.ε. είναι α ˆ β t s S ˆ+ 0 ± ; α / / + ( 0 ) / α ˆ β t s S ˆ+ 0 ± ; α / + / + ( 0 ) / Για το παράδειγµα Έχουµε βρει S y.36 S Βρίσκουµε ˆ α.36 ˆ β 0.67 S y y yy Πηγή SSE S S / S.354 yy y Αθρoίσµατα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόµηση Υπόλοιπα (σφάλµ.) Σύνολο SST S yy 4.74 SSR SST SSE Επειδή F,8;0.0.6, η υπόθεση Η 0 : β0 ΑΠΟΡΡΙΠΤΕΤΑΙ

12 s (συν. ) SSE 0.69 ˆ± t ; α / s / + / S 5.37± ˆ ± t s / S 0.67± 0.66 α β ; α / α ˆ β t s S ˆ+ 0 ± ; α / / + ( 0 ) / ˆ+ 0 ± ; α / + / + ( 0 ) / Var ˆ s S ˆ Var( β ) σ / S ˆ Cov( ˆ α, β ) σ / S 0.05 α ˆ β t s S ( α ) (/ + / ) 0.44 a (4.496, 6.47) β (0.464, 0.790) (8.07, 8.807) (7.53, 9.50) 3 4 Σφάλµατα προσαρµογής-επαν/νες µετρήσεις Έστω ότι υπάρχουν παρατηρήσεις στο ίδιο,,,..., r µε τιµές y,,,..., όπου Με την υπόθεση της κανονικότητας θα έχουµε r e ~ e SSE y y ~ σ χ,,,... r Άρα SS SSE σ χ Εποµένως SSE SS ~ σ χ και e όπου ( SSE SSe ) /( r ) F ~ F SS /( r) e r... r r ( ) r e ( r ),( r) καθαρά σφάλµατα σφάλµατα προσαρµογής έλεγχος ισότητας καθαρών σφαλµ. µε σφ. προσαρµ.

13 Παράδειγµα Για τη µελέτη της απόδοσης σε φυσικό αέριο κοιτασµάτων άνθρακα έγινε ένα πείραµα στο οποίο µετρήθηκε η απόδοση (y) σε σχέση µε την περιεκτικότητα σε άνθρακα () δειγµάτων. Τα αποτελέσµατα των µετρήσεων δίνονται στον πίνακα Ερωτήµατα Μπορούµε να προβλέψουµε το y όταν είναι γνωστό ότι π.χ. είναι.05, ή 3.0 ; Αν κάνουµε κάποια πρόβλεψη πόσο κοντά στην πραγµατική τιµή θα είναι αυτή; Υπάρχει διαδικασία ώστε να είµαστε βέβαιοι ότι η πρόβλεψη θα είναι η καλύτερη δυνατή; α/α y α/α y Υπολογισµοί S ( ) Var ˆ Sy β.6033 Sy ( ) Cov(, y) S S ( ) Var( y) ˆ α y ˆ β yy Sy SSE S yy.395 S Καθαρά σφάλµατα α/α y y SSE β.ε SST S yy β.ε. ( ) SSE y y ( ) s 6 3

14 (συν.) 7 α/α y y SSE β.ε SS e e r SSE.4 r ( ) r 6 6 Επαυξηµένος ANOVA 8 Πηγή Αθρoίσµατα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόµηση Υπόλοιπα (σφάλµ.) Σφάλµατα Προσαρµογής Καθαρά Σφάλµατα Σύνολο Επειδή F0.355 (δηλ. F<) είναι βέβαιο ότι είναι µη σηµαντικό Άρα η υπόθεση ότι τα σφάλµατα προσαρµογής είναι ίσα µε τα καθαρά σφάλµατα ΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ. Επειδή F697.6>8.095F,0,0.0 η υπόθεση ότι β0 ΑΠΟΡΡΙΠΤΕΤΑΙ. Άρα το µοντέλο είναι ικανοποιητικό 4