ΚΕΦΑΛΑΙΟ 0 Απλή Γραµµική Παλινδρόµηση Μωυσιάδης Χρόνης 6 o Εξάµηνο Μαθηµατικών Ένα Πρόβληµα εδοµένα.6 3. 3.8 4. 4.4 5.8 6.0 6.7 7. 7.8 y 5.6 7.9 8.0 8. 8. 9. 9.5 9.4 9.6 9.9 Έχει σχέση το yµε το ; Ειδικότερα όταν αυξάνει το µπορούµε να πούµε ότι αυξάνει και το ; Μπορούµε να εκτιµήσουµε (παρεµβολή) την τιµή του y όταν 5; (5 ανήκει στο (m(), ma()) Μπορούµε να εκτιµήσουµε (πρόβλεψη) την τιµή του yόταν 9; (9 δεν ανήκει στο (m(), ma())
Ένα χρήσιµο γράφηµα 3 ιάγραµµα ιασποράς y ως προς 4 5 6 7 8 9 0 y y5.366+0.67 0 4 6 8 0 Προσπαθούµε να προσαρµόσουµε µια ευθεία που να περνά όσο κοντύτερα γίνεται από τα σηµεία. Ευθεία Παλινδρόµησης y ˆ α+ ˆ β Η επιδιωκόµενη ιδιότητα 4 ιάγραµµα ιασποράς και αποκλίσεις y 6 7 8 9 0 Απαιτούµε να ισχύει: y-(α+β) y-(α+β) 0 4 6 8 ε ( ) y α+ β να είναι ελάχιστο ΕΥΘΕΙΑ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ
Η µέθοδος ελαχίστων τετραγώνων 5 y α+ β + ε προσαρµόζεται το µοντέλο: Υποθέτουµε ότι στα δεδοµένα y (απόκριση) τ.µ. µέσω της ε α, β θεωρητικές σταθερές παράµετροι Σε παρατηρήσεις έχουµε y α+ β + ε y α+ β + ε...... y α+ β + ε σταθερά (όχι τ.µ.) και ζητούµε mmze ε σφάλµα που εξαρτάται από τυχαίους παράγοντες (ΤΥΧΑΙΑ ΜΕΤΑΒΛΗΤΗ) ε δηλαδή τα α, β που ελαχιστοποιούν τη συνάρτηση ( α β ) f ( α, β) y ( + ) Οι υπολογισµοί 6 Παραγωγίζουµε f ( y α β ) y α β α f ( y α β ) ( ) y α β β Τα κρίσιµα σηµεία προκύπτουν από το σύστηµα που δίνει το σύστηµα των κανονικών εξισώσεων f f 0, 0 α β y α + β y α + β 3
Εκτιµώµενες παράµετροι 7 Το σύστηµα κ.ε. γράφεται: α y β α y β y y β ( )( y y) β ( ) Συµβολίζοντας ˆ β S / S y ˆ α y ˆ β ˆ, α ˆ β συµβολισµός τη λύση του συστήµατος των κ.ε. Η εκτίµηση παραµέτρων εφαρµόστηκε το 805 από τον A.M. Legedre (75-833). Ο C.F.Gauss (777-855) ισχυριζόταν ότι την είχε εφεύρει ενωρίτερα. y α y β S β S Το µοντέλο πρόβλεψης 8 και το µοντέλο πρόβλεψης είναι ŷ ˆ α+ ˆ β ή ˆ ŷ y+ β µε ˆ β S / S y Η ευθεία παλινδρόµησης περνά από το (, y) y 6 7 8 9 0 ιάγραµµα ιασποράς και ευθεία παλινδρόµησης y 8.54 5.06 0 4 6 8 4
Παράδειγµα 9 α/α y y y.6 5.6.56 8.90 3.36 3. 7.9 0.4 5.8 6.4 3 3.8 8.0 4.44 30.40 64.00 4 4. 8. 7.64 34.44 67.4 5 4.4 8. 9.36 35.64 65.6 6 5.8 9. 33.64 53.36 84.64 7 6.0 9.5 36.00 57.00 90.5 8 6.7 9.4 44.89 6.98 88.36 9 7. 9.6 50.4 68.6 9.6 0 7.8 9.9 60.84 7. 98.0 Σύνολα 50.6 85.4 90.0 453.44 744.04 5.06, y 8.54 y 453.44 0 5.06 8.54.36 ˆ.36 β 0.67, ˆ α 8.54 0.66 5.06 5.37 33. 984 S y y S 90.0 0 5.06 33.984 Έλεγχος 0 α/α y ŷ ε ε.6 5.6 6.370-0.770 0.593 3. 7.9 7.373 0.57 0.78 3 3.8 8.0 7.750 0.50 0.06 4 4. 8. 8.00 0.99 0.040 5 4.4 8. 8.6-0.06 0.00 6 5.8 9. 9.004 0.96 0.038 7 6.0 9.5 9.30 0.370 0.37 8 6.7 9.4 9.569-0.69 0.09 9 7. 9.6 9.80-0.0 0.048 0 7.8 9.9 0.59-0.359 0.9 Σύνολα -0.00.355 Εκτιµήσεις των σφαλµάτων ε ι y ˆ y y ˆ α ˆ β Μία βασική υπόθεση είναι ε 0 ( Eε 0) Το άθροισµα τετραγώνων των ε είναι µικρό (το δυνατόν µικρότερο ι 5
Ιδιότητες Υποθέσεις E( ε ) 0 ή ισοδύναµα Var( ε ) σ E( ε ) σ Cov( εε ) 0 E( εε ) 0 ΘΕΩΡΗΜΑ.. Var ˆ α σ S (/ + / ) Var ˆ β σ / S E( ˆ α) α E( ˆ β ) β Cov ˆ α ˆ β σ (, ) / S 3. Οι εκτιµήτριες ˆ, α ˆ β έχουν τη µικρότερη διασπορά από κάθε άλλη αµερόληπτη εκτιµήτρια που εκφράζεται ως γραµµικός συνδυασµός των παρατηρήσεων y Απόδειξη Θέτοντας k ( ) / S διαπιστώνουµε: Τότε: k 0 β y k y y k y k k k / / S S ˆ S / S k y y k y ( ) ˆ α y ˆ β y / k y (/ k ) y Τα k είναι σταθερές, όχι τυχαίες µεταβλητές 6
. (συν. ) ( ) E ˆ β E k y k E( y ) k ( α + β ) β ( ˆ ) E ˆ α E y β ( α + β ) β α. Επειδή y ασυσχέτιστες Var ˆ k Var y S ( β ) / σ ˆ α σ + Var k Var ( y ) / S ( ( ) ) k ( k ) Var( y ) σ / S Cov( ˆ α, ˆ β ) Cov k y, k y 3 (συν. ) 3. Έστω bˆ c µε y E bˆ β ηλ. β Ε c y c ( α+ β ) α c + β c Ώστε Άρα ˆ Var ( b) c Var( y ) c + c k διότι άρα ˆ m Var ( b ) m c / σ S Var β c c c 0 σ σ S ( c ) k k c k k c c / c k c k k + S c ( ) / S / S 0 ˆ 4 7
Τα υπόλοιπα (resduals) 5 Τα σφάλµατα που είναι άγνωστα, τα εκτιµούµε από την ˆ ε y yˆ Το άθροισµα τετραγώνων των σφαλµάτων (Sum of Squares of Errors) συµβολίζεται SSE ( ˆ ) ˆ ε SSE y y όπου y ˆ α + ˆ β y+ ˆ β( ) Ισχύουν ˆ ε ( ˆ y y y y β ) ˆ ˆ 0 ˆ y y ˆ 0 ε? ˆ yεˆ 0? Ιδιότητες του SSE ( ) ( ) { } yy E S E y y E y y διότι ( ˆ ) ˆ β ( y y) ˆ β ( )( y y) ˆ β ( ) ( ) σ + β S ( ) E y ( α+ β ) + σ SSE y y y y ˆ ˆ ˆ yy β y β yy y / yy β + S S + S S S S S S α β σ 6 E y ( + ) + / άρα E SSE E S E ˆ β S E S Var ˆ β + E ˆ β S ( yy ) ( yy ) ( ) ( ) σ σ E( SSE /( ))? 8
Η βασική ταυτότητα 7 Θέτοντας έχουµε: ΘΕΩΡΗΜΑ ( ˆ ˆ ) ( ˆ ) ( ˆ ) SST y y + y y y y + y y + SST ( y ) y και SSR ( yˆ ) y ( ˆ )( ˆ ) + y y y y SSE+ SSR SST SSR+ SSE ( ˆ )( ˆ ) ˆ β ( ˆ β ) y ( y ) y y y y y y y+ y ˆ β S ˆ β S ˆ β S ˆ β S 0 Η υπόθεση της κανονικότητας των ε Έστω το µοντέλο y α+ β + ε όπου ε ~ Ν(0,σ ) Τότε η συνάρτηση πιθανοφάνειαςτων α, β, σ όταν δίνονται οι παρατηρήσεις y, y,, y είναι y a b L( α, β, σ ) ep ( σ π σ ) που µε λογαρίθµιση γίνεται ( y ) a b l( L) l( πσ ) σ Ο υπολογισµός των παραµέτρων που µεγιστοποιούν την l(l) δίνει τις ίδιες εκτιµήσεις που βρέθηκαν µέχρι τώρα. 8 9
9 Οι κατανοµές εκτιµητών και παραµέτρων Από τις: α ˆ (/ k ) y και ˆ β ( β σ S ) k y οι εκτιµήτριες των α, β ακολουθούν κανονική κατανοµή, δηλ. ˆ α ~ N α, σ (/ + / S ) ˆ β ~ N, / Η µέση πρόβλεψη στο 0 είναι ŷ ˆ ˆ 0 α + β 0 Η ατοµική πρόβλεψη στο 0 είναι ŷ ˆ ˆ 0α α + β 0 + ε 0 Αποδεικνύεταιyˆ 0 ~ N α+ β 0, σ (/ + ( 0 ) / S ) και yˆ ( 0α ~ N α + β 0, σ (+ / + ( 0 ) / S )) Επίσης ˆ α, ˆ β, yˆ ˆ 0, y0 α Οι τ.µ. ˆ, β y, SSE είναι ανεξάρτητες. SSE ~ σ χ είναι ανεξάρτητες των ˆ ε,,..., Πίνακας Ανάλυσης της ιασποράς (ANOVA) 0 Κάτω από την υπόθεση β0, ισχύει SSR ~ σ χ και ο λόγος MSR SSR / F ~ F, MSE SSE /( ) Αυτά τα καταγράφουµε στον πίνακα ANOVA Πηγή Αθρoίσµατα Τετραγώνων Παλινδρόµηση SSR Υπόλοιπα (Σφάλµατα) SSE - Σύνολο SST - β.ε. Μέσα Τετράγωνα Λόγος F SSR MSR SSE MSE - MSR F MSE Ο λόγος F ελέγχει την υπόθεση Η 0 : β0, έναντι της Η : β 0. 0
ιαστήµατα Εµπιστοσύνης Για τις παραµέτρους α, β αποδεικνύεται ότι το 00(-α)% δ.ε. είναι ˆ ± ; α / / + / α t s S ˆ β ± t s / S ; α / Για τη µέση και την ατοµική πρόβλεψη στο 0 το 00(-α)% δ.ε. είναι α ˆ β t s S ˆ+ 0 ± ; α / / + ( 0 ) / α ˆ β t s S ˆ+ 0 ± ; α / + / + ( 0 ) / Για το παράδειγµα Έχουµε βρει S y.36 S 33.984 Βρίσκουµε ˆ α.36 ˆ β 0.67 S y y 744.04 0 8.54 4.74 yy Πηγή SSE S S / S.354 yy y Αθρoίσµατα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόµηση 3.370 3.370 79.00 Υπόλοιπα (σφάλµ.).354 8 0.69 Σύνολο 4.74 9 SST S yy 4.74 SSR SST SSE 3.370 Επειδή F,8;0.0.6, η υπόθεση Η 0 : β0 ΑΠΟΡΡΙΠΤΕΤΑΙ
s (συν. ) SSE 0.69 ˆ± t ; α / s / + / S 5.37± 0.876 ˆ ± t s / S 0.67± 0.66 α β ; α / α ˆ β t s S ˆ+ 0 ± ; α / / + ( 0 ) / ˆ+ 0 ± ; α / + / + ( 0 ) / Var ˆ s S ˆ Var( β ) σ / S 0.00497 ˆ Cov( ˆ α, β ) σ / S 0.05 α ˆ β t s S ( α ) (/ + / ) 0.44 a (4.496, 6.47) β (0.464, 0.790) (8.07, 8.807) (7.53, 9.50) 3 4 Σφάλµατα προσαρµογής-επαν/νες µετρήσεις Έστω ότι υπάρχουν παρατηρήσεις στο ίδιο,,,..., r µε τιµές y,,,..., όπου + + + Με την υπόθεση της κανονικότητας θα έχουµε r e ~ e SSE y y ~ σ χ,,,... r Άρα SS SSE σ χ Εποµένως SSE SS ~ σ χ και e όπου ( SSE SSe ) /( r ) F ~ F SS /( r) e r... r r ( ) r e ( r ),( r) καθαρά σφάλµατα σφάλµατα προσαρµογής έλεγχος ισότητας καθαρών σφαλµ. µε σφ. προσαρµ.
Παράδειγµα Για τη µελέτη της απόδοσης σε φυσικό αέριο κοιτασµάτων άνθρακα έγινε ένα πείραµα στο οποίο µετρήθηκε η απόδοση (y) σε σχέση µε την περιεκτικότητα σε άνθρακα () δειγµάτων. Τα αποτελέσµατα των µετρήσεων δίνονται στον πίνακα Ερωτήµατα Μπορούµε να προβλέψουµε το y όταν είναι γνωστό ότι π.χ. είναι.05, ή 3.0 ; Αν κάνουµε κάποια πρόβλεψη πόσο κοντά στην πραγµατική τιµή θα είναι αυτή; Υπάρχει διαδικασία ώστε να είµαστε βέβαιοι ότι η πρόβλεψη θα είναι η καλύτερη δυνατή; α/α y α/α y 0.05 0.05.5.45 0.05 0.0 3.0 3.05 3 0.5 0.5 4.0 3.9 4 0.5 0.35 5.0 3.5 5 0.50 0.75 6.0 3.43 6 0.50 0.85 7.0 3.50 7 0.50 0.95 8.0 3.93 8.5.4 9.50 3.75 9.5.75 0.50 3.93 0.5.8.50 3.99.5.95.50 4.07 5 Υπολογισµοί S ( ) Var 6.648 ˆ Sy β.6033 Sy ( ) Cov(, y) 6.6304 S S ( ) Var( y) 43.9604 ˆ α y ˆ β 0.03804 yy Sy SSE S yy.395 S Καθαρά σφάλµατα α/α y y SSE β.ε 3 4 5 6 7 0.05 0.5 0.50 0.05 0.0 0.5 0.35 0.75 0.85 0.95 0.075 0.00 0.300 0.0050 0.850 0.000 SST S yy β.ε. ( ) SSE y y ( ) s 6 3
(συν.) 7 α/α y y SSE β.ε 8 9 0 3 4 5 6 7 8 9 0.5.0.50.4.75.8.95.45 3.05 3.9 3.5 3.43 3.50 3.93.75 3.93 3.99 4.07.878 0.569 4 3.39 0.4805 5 3.935 0.0555 3.4 6 SS e e r SSE.4 r ( ) r 6 6 Επαυξηµένος ANOVA 8 Πηγή Αθρoίσµατα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόµηση 4.6909 4.6909 697.6 Υπόλοιπα (σφάλµ.).395 0 0.06 Σφάλµατα Προσαρµογής 0.09983 4 0.0496 0.355 Καθαρά Σφάλµατα.4 6 0.0706 Σύνολο 43.9604 Επειδή F0.355 (δηλ. F<) είναι βέβαιο ότι είναι µη σηµαντικό Άρα η υπόθεση ότι τα σφάλµατα προσαρµογής είναι ίσα µε τα καθαρά σφάλµατα ΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ. Επειδή F697.6>8.095F,0,0.0 η υπόθεση ότι β0 ΑΠΟΡΡΙΠΤΕΤΑΙ. Άρα το µοντέλο είναι ικανοποιητικό 4