ΚΕΦΑΛΑΙΟ 0. Απλή Γραμμική Παλινδρόμηση. Ένα Πρόβλημα. Η επιδιωκόμενη ιδιότητα. Ένα χρήσιμο γράφημα. Οι υπολογισμοί. Η μέθοδος ελαχίστων τετραγώνων ...

Transcript

1 ΚΕΦΑΛΑΙΟ 0 Ένα Πρόβλημα Δεδομένα Απλή Γραμμική Παλινδρόμηση Μωυσιάδης Χρόνης 6 o Εξάμηνο Μαθηματικών Έχει σχέση το με το ; Ειδικότερα όταν αυξάνει το μπορούμε να πούμε ότι αυξάνει και το ; Μπορούμε να εκτιμήσουμε (παρεμβολή) την τιμή του όταν =5; (5 ανήκει στο (m(), ma()) Μπορούμε να εκτιμήσουμε (πρόβλεψη) την τιμή του όταν =9; (9 δεν ανήκει στο (m(), ma()) Ένα χρήσιμο γράφημα 3 Η επιδιωκόμενη ιδιότητα 4 Διάγραμμα Διασποράς ως προς Διάγραμμα Διασποράς και αποκλίσεις = Προσπαθούμε να προσαρμόσουμε μια ευθεία που να περνά όσο κοντύτερα γίνεται από τα σημεία. Ευθεία Παλινδρόμησης Απαιτούμε να ισχύει: -(α+β) -(α+β) ( ) να είναι ελάχιστο ΕΥΘΕΙΑ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ Η μέθοδος ελαχίστων τετραγώνων 5 Οι υπολογισμοί 6 προσαρμόζεται το μοντέλο: Υποθέτουμε ότι στα δεδομένα (απόκριση) τ.μ. μέσω της ε α, β θεωρητικές σταθερές παράμετροι Σε παρατηρήσεις έχουμε σταθερά (όχι τ.μ.) και ζητούμε mmz ε σφάλμα που εξαρτάται από τυχαίους παράγοντες (ΤΥΧΑΙΑ ΜΕΤΑΒΛΗΤΗ) δηλαδή τα α, β που ελαχιστοποιούν τη συνάρτηση f(, ) ( ) Παραγωγίζουμε f æ ö = ( α β )( ) α β å =- - - α ç å å = è = = ø f æ ö = ( -α-β )( - ) =- -α - β å ç å å å è ø β = = = = Τα κρίσιμα σημεία προκύπτουν από το σύστημα που δίνει το σύστημα των κανονικών εξισώσεων f f 0, 0

2 Εκτιμώμενες παράμετροι 7 Το μοντέλο πρόβλεψης 8 Το σύστημα κ.ε. γράφεται: Συμβολίζοντας /, συμβολισμός τη λύση του συστήματος των κ.ε. Η εκτίμηση παραμέτρων εφαρμόστηκε το 805 από τον A.M. Lgd (75-833). Ο C.F.Gauss ( ) ισχυριζόταν ότι την είχε εφεύρει ενωρίτερα. ή και το μοντέλο πρόβλεψης είναι ŷ με /, Η ευθεία παλινδρόμησης περνά από το ŷ Διάγραμμα Διασποράς και ευθεία παλινδρόμησης = 8.54 = Παράδειγμα 9 Έλεγχος 0 α/α Σύνολα , , α/α ŷ ε ε Σύνολα Εκτιμήσεις των σφαλμάτων Μία βασική υπόθεση είναι 0( E 0) Το άθροισμα τετραγώνων των ε είναι μικρό (το δυνατόν μικρότερο Ιδιότητες Απόδειξη Υποθέσεις E( ) 0 ή ισοδύναμα ΘΕΩΡΗΜΑ.. Va( ) E( ) E( ) Va ( ) (/ / ) Va ( ) / Cov( ) 0 E( ) 0 E( ) Cov (, ) / 3. Οι εκτιμήτριες, έχουν τη μικρότερη διασπορά από κάθε άλλη αμερόληπτη εκτιμήτρια που εκφράζεται ως γραμμικός συνδυασμός των παρατηρήσεων Θέτοντας k ( )/ διαπιστώνουμε: Τότε: k 0 / k k k k k k / / k (/ k ) / k Τα k είναι σταθερές, όχι τυχαίες μεταβλητές

3 . (συν. ) E E k ke( ) k( ) E E ( ). Επειδή ασυσχέτιστες Va k Va ( ) ( ) / ( ) ( ) / Va k Va Cov(, ) Cov k, k k ( ) / k Va 3 (συν. ) 3. Έστω b c με E b Δηλ. c c ( ) c c διότι άρα Ώστε Άρα c 0 Va() b c Va ( ) c c k m Va ( b ) m c / ( ) Va c c c c k k ck k c ( )/ / 0 c / c k c k k 4 Τα υπόλοιπα (sduals) 5 Ιδιότητες του 6 Τα σφάλματα που είναι άγνωστα, τα εκτιμούμε από την Το άθροισμα τετραγώνων των σφαλμάτων (um of quas of Eos) συμβολίζεται όπου Ισχύουν 0 0? 0? E E E διότι ( ) E ( ) / E ( ) / άρα E E E E Va E ( ) ( ) ( ) ( ) ( ( ) ( ) ) ( ) E( /( ))? Η βασική ταυτότητα 7 Η υπόθεση της κανονικότητας των ε 8 Θέτοντας T και R έχουμε: ΘΕΩΡΗΜΑ T R T R 0 Έστω το μοντέλο όπου ε ~ Ν(0,σ ) Τότε η συνάρτηση πιθανοφάνειας των α, β, σ όταν δίνονται οι παρατηρήσεις,,, είναι ab L(,, ) p που με λογαρίθμιση γίνεται ab l( L) l( ) Ο υπολογισμός των παραμέτρων που μεγιστοποιούν την l(l) δίνει τις ίδιες εκτιμήσεις που βρέθηκαν μέχρι τώρα.

4 9 Οι κατανομές εκτιμητών και παραμέτρων Πίνακας Ανάλυσης της Διασποράς (ANOVA) 0 Από τις: (/ k ) ~, N / και k οι εκτιμήτριες των α, β ακολουθούν κανονική κατανομή, δηλ. ~, (/ / ) N Οι τ.μ. Η μέση πρόβλεψη στο 0 είναι ŷ 0 0 Η ατομική πρόβλεψη στο 0 είναι ŷ Αποδεικνύεται 0 ~ N 0, (/ ( 0 ) / ) και 0 ~ N 0, (/ ( 0 ) / ) Επίσης,, είναι ανεξάρτητες των,,..., 0, 0,, είναι ανεξάρτητες. ~ Κάτω από την υπόθεση β=0, ισχύει R ~ και ο λόγος MR R / F ~ F, ME /( ) Αυτά τα καταγράφουμε στον πίνακα ANOVA Παλινδρόμηση R Υπόλοιπα (Σφάλματα) - Σύνολο T - β.ε. Μέσα Τετράγωνα Λόγος F R MR ME - MR F ME Ο λόγος F ελέγχει την υπόθεση Η 0 : β=0, έναντι της Η : β 0. Διαστήματα Εμπιστοσύνης Για το παράδειγμα Για τις παραμέτρους α, β αποδεικνύεται ότι το 00(-α)% δ.ε. είναι ; / / / t s t s / ; / Για τη μέση και την ατομική πρόβλεψη στο 0 το 00(-α)% δ.ε. είναι 0 t; /s / ( 0 ) / t s 0 ; / / ( 0 ) / Έχουμε βρει Βρίσκουμε /.354 β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόμηση Υπόλοιπα (σφάλμ.) Σύνολο T 4.74 R T Επειδή F,8;0.0 =.6, η υπόθεση Η 0 : β=0 ΑΠΟΡΡΙΠΤΕΤΑΙ (συν. ) 3 4 Σφάλματα προσαρμογής-επαν/νες μετρήσεις s t; /s / ( 0 ) / Va s Va( ) / Cov(, ) / t; /s / ( 0 ) / ( ) (/ / ) 0.44 t; / s / / a (4.496, 6.47) t / ; / s (0.464, 0.790) (8.07, 8.807) (7.53, 9.50) Έστω ότι υπάρχουν παρατηρήσεις στο ίδιο,,,..., με τιμές,,,..., όπου Με την υπόθεση της κανονικότητας θα έχουμε ~,,,... Άρα ~ Επομένως ~ και όπου ( )/( ) F ~ F /( )... ( ) ( ),( ) καθαρά σφάλματα σφάλματα προσαρμογής έλεγχος ισότητας καθαρών σφαλμ. με σφ. προσαρμ.

5 Παράδειγμα Για τη μελέτη της απόδοσης σε φυσικό αέριο κοιτασμάτων άνθρακα έγινε ένα πείραμα στο οποίο μετρήθηκε η απόδοση () σε σχέση με την περιεκτικότητα σε άνθρακα () δειγμάτων. Τα αποτελέσματα των μετρήσεων δίνονται στον πίνακα Ερωτήματα Μπορούμε να προβλέψουμε το όταν είναι γνωστό ότι π.χ. είναι =.05, ή =3.0 ; Αν κάνουμε κάποια πρόβλεψη πόσο κοντά στην πραγματική τιμή θα είναι αυτή; Υπάρχει διαδικασία ώστε να είμαστε βέβαιοι ότι η πρόβλεψη θα είναι η καλύτερη δυνατή; α/α α/α Υπολογισμοί ( ) Va( ) ( ) Cov(, ) ( ) Va( ) T Καθαρά σφάλματα α/α β.ε ( ) s β.ε. = 6 (συν.) 7 Επαυξημένος ANOVA 8 α/α β.ε ( ) 6 6 β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόμηση Υπόλοιπα (σφάλμ.) Σφάλματα Προσαρμογής Καθαρά Σφάλματα Σύνολο Επειδή F=0.355 (δηλ. F<) είναι βέβαιο ότι είναι μη σημαντικό Άρα η υπόθεση ότι τα σφάλματα προσαρμογής είναι ίσα με τα καθαρά σφάλματα ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ. Επειδή F=697.6>8.095=F,0,0.0 η υπόθεση ότι β=0 ΑΠΟΡΡΙΠΤΕΤΑΙ. Άρα το μοντέλο είναι ικανοποιητικό