ΚΕΦΑΛΑΙΟ 0. Απλή Γραμμική Παλινδρόμηση. Ένα Πρόβλημα. Ένα χρήσιμο γράφημα. Η επιδιωκόμενη ιδιότητα. Η μέθοδος ελαχίστων τετραγώνων. Οι υπολογισμοί ...

Transcript

1 ΚΕΦΑΛΑΙΟ Ένα Πρόβλημα Δεδομένα y Απλή Γραμμική Παλινδρόμηση Μωυσιάδης Χρόνης o Εξάμηνο Μαθηματικών Έχει σχέση το y με το ; Ειδικότερα όταν αυξάνει το μπορούμε να πούμε ότι αυξάνει και το ; Μπορούμε να εκτιμήσουμε (παρεμβολή) την τιμή του y όταν =; ( ανήκει στο (m(), ma()) Μπορούμε να εκτιμήσουμε (πρόβλεψη) την τιμή του y όταν =; ( δεν ανήκει στο (m(), ma()) Ένα χρήσιμο γράφημα Η επιδιωκόμενη ιδιότητα ιάγραμμα ιασποράς y ως προς ιάγραμμα ιασποράς και αποκλίσεις 7 y y=.+.7 Προσπαθούμε να προσαρμόσουμε μια ευθεία που να περνά όσο κοντύτερα γίνεται από τα σημεία. Ευθεία Παλινδρόμησης y y 7 Απαιτούμε να ισχύει: y-(α+β) y-(α+β) ( ) y να είναι ελάχιστο ΕΥΘΕΙΑ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ Η μέθοδος ελαχίστων τετραγώνων Οι υπολογισμοί y προσαρμόζεται το μοντέλο: Υποθέτουμε ότι στα δεδομένα y (απόκριση) τ.μ. μέσω της ε α, β θεωρητικές σταθερές παράμετροι Σε παρατηρήσεις έχουμε y y.. y σταθερά (όχι τ.μ.) και ζητούμε mmze ε σφάλμα που εξαρτάται από τυχαίους παράγοντες (ΤΥΧΑΙΑ ΜΕΤΑΒΛΗΤΗ) δηλαδή τα α, β που ελαχιστοποιούν τη συνάρτηση f(, ) y ( ) Παραγωγίζουμε f ( y ) y f ( y )( ) y Τα κρίσιμα σημεία προκύπτουν από το σύστημα που δίνει το σύστημα των κανονικών εξισώσεων f f, y y

2 Εκτιμώμενες παράμετροι 7 Το μοντέλο πρόβλεψης Το σύστημα κ.ε. γράφεται: y y y y Συμβολίζοντας Sy / S y, y y y S S συμβολισμός τη λύση του συστήματος των κ.ε. Η εκτίμηση παραμέτρων εφαρμόστηκε το από τον A.M. Legede (7-). Ο C.F.Gauss (777- ) ισχυριζόταν ότι την είχε εφεύρει ενωρίτερα. y ή και το μοντέλο πρόβλεψης είναι ŷ y με S / S y, y Η ευθεία παλινδρόμησης περνά από το y 7 ŷ ιάγραμμα ιασποράς και ευθεία παλινδρόμησης y=. =. Παράδειγμα Έλεγχος α/α y y y Σύνολα , y. y , S y y S α/α y ŷ ε ε Σύνολα -.. Εκτιμήσεις των σφαλμάτων y y y Μία βασική υπόθεση είναι ( E ) Το άθροισμα τετραγώνων των ε είναι μικρό (το δυνατόν μικρότερο Ιδιότητες Απόδειξη Υποθέσεις E( ) ή ισοδύναμα ΘΕΩΡΗΜΑ.. Va( ) E( ) E( ) Va S ( ) (/ / ) Va S ( ) / Cov Cov( ) E( ) E( ) j j (, ) / S. Οι εκτιμήτριες, έχουν τη μικρότερη διασπορά από κάθε άλλη αμερόληπτη εκτιμήτρια που εκφράζεται ως γραμμικός συνδυασμός των παρατηρήσεων y Θέτοντας k ( )/ S διαπιστώνουμε: k Τότε: S / S k y y k y y k y k k k / / S S y ky (/ k ) y y y / k y Τα k είναι σταθερές, όχι τυχαίες μεταβλητές

3 . (συν. ) E E k y ke( y) k( ) E E y ( ). Επειδή y ασυσχέτιστες Va k Va y S ( ) ( ) / ( ) ( ) / Va k Va y S Cov(, ) Cov k y, k y k ( ) / k Va y S (συν. ). Έστω b c με y E b Δηλ. cy c ( ) c c διότι άρα Ώστε Άρα c Va() b c Va ( y ) c c k S m Va ( b ) m c / ( ) S Va c c c c k k ck k c ( )/ S / S c c k c k k / S Τα υπόλοιπα (esduals) Ιδιότητες του Τα σφάλματα που είναι άγνωστα, τα εκτιμούμε από την y y Το άθροισμα τετραγώνων των σφαλμάτων (Sum of Squaes of Eos) συμβολίζεται y y όπου y y Ισχύουν y y y y y y? y? y y y y y y y y yy E S E y y E y y διότι ( ) S E y ( ) yy y yy y / yy S S S S S S S S E y ( ) / άρα E ES E S ES Va E S ( ) ( yy ) ( ) ( yy ) ( ( ) ( ) ) ( ) E ( /( ))? Η βασική ταυτότητα 7 Η υπόθεση της κανονικότητας των ε Θέτοντας SST y y και SSR y y έχουμε: ΘΕΩΡΗΜΑ SST y y y y y y y y y y y y SSR SST SSR y y y y y y y y y y S S S S Έστω το μοντέλο y όπου ε ~ Ν(,σ ) Τότε η συνάρτηση πιθανοφάνειας των α, β, σ όταν δίνονται οι παρατηρήσεις y, y,, y είναι y ab L(,, ) e που με λογαρίθμιση γίνεται y ab l( L) l( ) Ο υπολογισμός των παραμέτρων που μεγιστοποιούν την l(l) δίνει τις ίδιες εκτιμήσεις που βρέθηκαν μέχρι τώρα.

4 Οι κατανομές εκτιμητών και παραμέτρων Πίνακας Ανάλυσης της Διασποράς (ANOVA) Από τις: (/ k ) y ~, N / S και ky οι εκτιμήτριες των α, β ακολουθούν κανονική κατανομή, δηλ. ~, (/ / ) N S Οι τ.μ. Η μέση πρόβλεψη στο είναι ŷ Η ατομική πρόβλεψη στο είναι ŷ Αποδεικνύεταιy ~ N, (/ ( ) / S ) και y ~ N, (/ ( ) / S ) Επίσης,, y είναι ανεξάρτητες των,,,, y, y, είναι ανεξάρτητες. ~ Κάτω από την υπόθεση β=, ισχύει SSR ~ και ο λόγος MSR SSR / F ~ F, MSE /( ) Αυτά τα καταγράφουμε στον πίνακα ANOVA Πηγή Αθρoίσματα Τετραγώνων Παλινδρόμηση SSR Υπόλοιπα (Σφάλματα) - Σύνολο SST - β.ε. Μέσα Τετράγωνα Λόγος F SSR MSR MSE - MSR F MSE Ο λόγος F ελέγχει την υπόθεση Η : β=, έναντι της Η : β. Διαστήματα Εμπιστοσύνης Για το παράδειγμα Για τις παραμέτρους α, β αποδεικνύεται ότι το (-α)% δ.ε. είναι ; / / / t s S t s / S ; / Για τη μέση και την ατομική πρόβλεψη στο το (-α)% δ.ε. είναι t; /s / ( ) / S t s S ; / / ( ) / Έχουμε βρει Sy. S. Βρίσκουμε..7 S y y yy Πηγή S S / S. yy y Αθρoίσματα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόμηση Υπόλοιπα (σφάλμ.).. Σύνολο.7 SST S yy.7 SSR SST.7 Επειδή F,;. =., η υπόθεση Η : β= ΑΠΟΡΡΙΠΤΕΤΑΙ (συν. ) Σφάλματα προσαρμογής-επαν/νες μετρήσεις s. t; /s / ( ) / S Va s S Va( ) / S.7 Cov(, ) / S. t; /s / ( ) / S ( ) (/ / ). t; / s / / S.7.7 a (.,.7) t / ; / s S.7. (.,.7) (.7,.7) (7.,.) Έστω ότι υπάρχουν παρατηρήσεις στο ίδιο,,,, με τιμές y, j,,, όπου Με την υπόθεση της κανονικότητας θα έχουμε j j j y y ~,,, Άρα j j SSe ~ e Επομένως SSe ~ και όπου ( SSe )/( ) F ~ F SS /( ) e ( ) e ( ),( ) j καθαρά σφάλματα σφάλματα προσαρμογής έλεγχος ισότητας καθαρών σφαλμ. με σφ. προσαρμ.

5 Παράδειγμα Για τη μελέτη της απόδοσης σε φυσικό αέριο κοιτασμάτων άνθρακα έγινε ένα πείραμα στο οποίο μετρήθηκε η απόδοση (y) σε σχέση με την περιεκτικότητα σε άνθρακα () δειγμάτων. Τα αποτελέσματα των μετρήσεων δίνονται στον πίνακα Ερωτήματα Μπορούμε να προβλέψουμε το y όταν είναι γνωστό ότι π.χ. είναι =., ή =. ; Αν κάνουμε κάποια πρόβλεψη πόσο κοντά στην πραγματική τιμή θα είναι αυτή; Υπάρχει διαδικασία ώστε να είμαστε βέβαιοι ότι η πρόβλεψη θα είναι η καλύτερη δυνατή; α/α y α/α y Υπολογισμοί S ( ) Va( ). Sy. Sy ( ) Cov(, y). S S y yy ( ) Va( y).. Sy S. SST S yy yy S Καθαρά σφάλματα α/α y y β.ε j j j ( j ) s β.ε. = j y y (συν.) 7 Επαυξημένος ANOVA α/α y y β.ε SS e e. ( ) j Πηγή Αθρoίσματα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόμηση.. 7. Υπόλοιπα (σφάλμ.).. Σφάλματα Προσαρμογής... Καθαρά Σφάλματα..7 Σύνολο. Επειδή F=. (δηλ. F<) είναι βέβαιο ότι είναι μη σημαντικό Άρα η υπόθεση ότι τα σφάλματα προσαρμογής είναι ίσα με τα καθαρά σφάλματα ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ. Επειδή F=7.>.=F,,. η υπόθεση ότι β= ΑΠΟΡΡΙΠΤΕΤΑΙ. Άρα το μοντέλο είναι ικανοποιητικό

6 Πρόβλημα ΚΕΦΑΛΑΙΟ Πολλαπλή Γραμμική Παλινδρόμηση Μωυσιάδης Χρόνης o Εξάμηνο Μαθηματικών Για αγορά οθόνης για υπολογιστή ψάξαμε στην αγορά και πήραμε τα στοιχεία του πίνακα Ερωτήματα Έχει σχέση η τιμή με το μέγεθος ; με το ρυθμό εστίασης ; Κωδικοποιούμε Ζ= μεγάλη Ζ= κανονική Τύπος - Κατασκευή Υπάρχει συνάρτηση ; f( X, Z) ή f( X, Z) Ρυθμός Εστίασης (Χ) Μέγεθος (Z) Τιμή (δρχ) (Υ) Soy CPD-7. Κανονική Nec FGe. Κανονική SueMac Plus Μεγάλη 7 Ikeg CT-D Μεγάλη 77 Mtsubsh 7 Κανονική E-Mashes E Μεγάλη Soy GDM 7. Μεγάλη Nao F. Κανονική SueMac 7T 7. Κανονική 7 Radus v 7 Μεγάλη Ειδικότερα υπάρχουν σταθερές ; b + b X + b Z Γενικό Γραμμικό Μοντέλο Μετασχηματισμοί μοντέλων ΔΕΔΟΜΕΝΑ Προβλέπουσες μεταβλητές (edcto) ή ανεξάρτητες ΜΟΝΤΕΛΟ X Άγνωστες παράμετροι που ζητείται να εκτιμηθούν X X X k k y k y k y k k Εξαρτημένη μεταβλητή ή απόκριση (esose) X X X το σφάλμα ε που απαιτείται να είναι «μικρό» Πολυωνυμικά z z Εκθετικά y y k k y Θέτουμε X l, X l, l y, l,,, l Θέτουμε =X, =X, log y= B y Ae e Θέτουμε =X, =X,, k =X k Θέτουμε =X, =X, z=x, z =X γραμμικό ; ΔΕΝ ΑΝΑΓΟΝΤΑΙ ΣΕ ΓΡΑΜΜΙΚΑ Παράδειγμα Απάντηση Για τη μελέτη της τάσης δοκών που σχηματίζουν γωνία θ με το έδαφος ισχύει ο τύπος του Hakso ff f f c c c f c όπου fc, f c άγνωστες αλλά σταθερές τάσεις που πρέπει να προσδιορισθούν. Ένας ερευνητής έκανε μετρήσεις της που αντιστοιχούν στις γωνίες,,,,. Μετασχηματίστε τον τύπο του Hakso και τα δεδομένα έτσι ώστε ο προσδιορισμός των σταθερών που ζητούνται να πετυχαίνεται με γραμμικό μοντέλο. f f Ο τύπος του Hakso γράφεται fc f c f c f fcf c f c fc fc άρα θέτοντας y f f πετυχαίνεται το γραμμικό μοντέλο. y Τα Δεδομένα γίνονται θ.. θ f f f. f y y. y. f c c c όπου y f

7 Σύστημα εξισώσεων 7 Μέθοδος Ελαχίστων Τετραγώνων Εφαρμόζοντας το ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ X X k X k στα δεδομένα παίρνουμε το σύστημα Εύρεση των β ώστε το άθροισμα να είναι ελάχιστο Συμβολίζουμε τις λύσεις ( διαβάζουμε β εκτιμώμενο) y k k y k k y k k ΖΗΤΟΥΜΕΝΟ: ΚΑΛΥΤΕΡΗ ΔΥΝΑΤΗ ΠΡΟΣΑΡΜΟΓΗ Δηλαδή εύρεση των συντελεστών β με τρόπο ώστε οι ισότητες να προσεγγίζονται περισσότερο ΥΠΑΡΧΟΥΝ ΚΑΙ ΑΛΛΕΣ ΜΕΘΟΔΟΙ ΕΥΡΕΣΗΣ ΒΕΛΤΙΣΤΩΝ β ΜΟΝΤΕΛΟ ΠΡΟΒΛΕΨΗΣ X X X k k Παρατηρήσεις: ΕΔΩ ΔΕΝ ΕΧΟΥΜΕ TO ΣΦΑΛΜΑ ε. ΤΟ Ŷ ΛΕΓΕΤΑΙ ΕΚΤΙΜΩΜΕΝΟ Η ΔΙΑΦΟΡΑ y ΕΙΝΑΙ ΤΟ ΣΦΑΛΜΑ ΜΕΤΑ ΤΗΝ ΠΡΟΣΑΡΜΟΓΗ ΤΟΥ ΣΥΓΚΕΚΡΙΜΕΝΟΥ ΜΟΝΤΕΛΟΥ Προβλέψεις - Σφάλματα Με μορφή Πινάκων Πρόβλεψη στα δοθέντα σημεία ΘΕΤΟΝΤΑΣ y k k y k k y k k Σύμφωνα με τη μέθοδο ελαχίστων τετραγώνων, πρέπει να ισχύει: y y να είναι ελάχιστο yy y y. y y ΥΠΟΛΟΙΠΑ (esduals) Για τον υπολογισμό ΑΛΓΕΒΡΑ ή ΓΡΑΜΜΙΚΗ ΑΛΓΕΒΡΑ ; y k y k X y k k προκύπτει το μοντέλο X Προϋποθέσεις Υπολογισμοί E E E( ) E Τα σφάλματα έχουν μέση τιμή V( ) E( E)( E) I Τα σφάλματα είναι ασυσχέτιστα δηλαδή όλες οι συνδιασπορές είναι Τα σφάλματα έχουν την ίδια σταθερή διασπορά σ ΖΗΤΟΥΜΕΝΟ S ( ),, ( X) ( X) X XX Ισχύει Να είναι ελάχιστο? S ( ) X XX ( X X X) () S ( ) X X () ( XX) XX Δηλαδή Χ Χ συμμετρ.

8 Παραγώγιση διανυσματικής συνάρτησης Δεύτερη παράγωγος διανυσμ. συνάρτ. Διανυσματική συνάρτηση f() f( ), συμμετρικός πίνακας f( ) c A,,, A ( ), ( A ) ( A ) ( A ),, A Παράγωγος τετραγωνικής μορφής f ( ) f( ) f( ) f ( ) f( ) Ακρότατα διανυσμ. συνάρτ. f( ) κρίσιμο σημείο Αν f ( ) Εσσιανός πίνακας της πραγμ.συνάρτησης διανυσμ.μεταβλητής (Hessa mat) προφανώς A A αρνητ. ορισμ. πίνακας σχετικό μέγιστο θετ. ορισμ. πίνακας σχετικό ελάχιστο Κανονικές εξισώσεις-εκτίμηση παραμ. Είναι και ΟΛΙΚΟ ΕΛΑΧΙΣΤΟ Από τη σχέση () το κρίσιμο σημείο ικανοποιεί την ( X X X) δηλαδή Αν X Χ, τότε X X X Είναι ΣΧΕΤΙΚΟ ΕΛΑΧΙΣΤΟ Διότι ο εσσιανός πίνακας είναι ο Χ Χ που είναι θετικά ορισμένος (θ.ο.), διότι: X X X κανονικές εξισώσεις Αν X Χ =, τότε ισχύει ( XX) ( X)( X) ( X)( X) άθροισμα τετραγώνων X X X γενικευμένος αντίστροφος S ( ) ( X ) ( X ) ( ) ( ) X X X X ( ) X X X X X X X X XX X X όμοια S X X X XX καν. εξισώσεις S ( ) Μοντέλο πρόβλεψης πίνακας «χατ» 7 Ιδιότητες εκτιμητού παραμέτρων Το μοντέλο γράφεται ή X X X k k X X XX X H X XX X Ο πίνακας λειτουργεί ως τελεστής μετατροπής του διανύσματος σε Για το λόγο αυτό λέγεται πίνακας χατ. Ŷ H H X XX XX XX XX XX XH Ισχύει: μοναδιαίος Ο Η είναι ΤΑΥΤΟΔΥΝΑΜΟΣ. E XX XE( X ) XX X( X E) XX XX E E X X X X X X E. V( ) X X V( ) E E E E EXX XXX X XX X EXX XXXX XX X( X ) XX XE( ) X XX XX XX XX X I X XX XX X XX XX XX XX XX X

9 Διασπορά εκτιμήσεων παραμέτρων Εφαρμογή για k= (Παράδειγμα κεφ. ) ΘΕΤΟΥΜΕ c c c ck c c c c k C X X c c c c k ck ck ck c kk ΤΟΤΕ Va c k ( ),,,, (, j) j, Cov c j k Va( ) c,,,, k α/α y y y ε=y ŷ ŷ Υπολογισμοί (Χ Χ) - και Χ Υ Το μοντέλο πρόβλεψης Είναι X y y όπου: X y. X X.. y y y.7 X X X y y -.. XX X Μοντέλο Πρόβλεψης.7.X Va( ) c.7 Va( ) c. Η γενική περίπτωση με k= Επαλήθευση με γνωστούς τύπους X X y X - - X X S - - y y y XX X S S y S S y y y y S y y y y y ys S S c S S S Va( ) Va( ) c S S y

10 Παρεμβολή -Πρόβλεψη y k k,,, k Το δοσμένο Η πρόβλεψη σημείο ŷ στο σημείο αυτό k Για το παράδειγμα: Παρεμβολή στο =. Πρόβλεψη στο =..7 y,,. Όμοια y,..77 Ιδιότητες της πρόβλεψης. E( y) E( y) E y E E E y Va( y ) ( X X ). ( ) ( ) διότι y k k Va( y ) E y E y E E E E V( ) Va( y ) ( X X ) Η διασπορά στη γενική περίπτωση 7 Σφάλμα μετά την προσαρμογή - ( ), - S - -, - S S ( ) ( ) ( ) Va y S S Για το παράδειγμα και για = Va y Όμοια για = Va( y ). ( ), -.. y y y y y y ( X ) ( X ) X X XX X = - βx X XX XX( XX ) X X X Το σφάλμα ως τετραγωνική μορφή Τετραγωνικές μορφές ( ) XX X X X X X ( X X ) X A I X( XX) X = A ή AI H ΩΣΤΕ: είναι Τετραγωνική Μορφή με πίνακα Α διότι Α είναι συμμετρικός πίνακας. ΕΡΩΤΗΜΑ: Η είναι Τυχαία Μεταβλητή (Πολυδιάστατη). (αφού είναι τ.μ. ). Με τι κατανομή ; πίνακας χατ (I) τυχαίο διάνυσμα με E ( ) και V ( ) I E( A ) A T( A) (IΙ) τυχαία πολυ-κανονική μεταβλητή N(, I ) ms A c m μή κεντρική με s A Αν X N( m, s ) τότε ο συντελεστής μη-κεντρικ. λ, της Z= X + X + + X c (IΙΙ) m m είναι m τυχαία πολυ-κανονική μεταβλητή με Αν είναι A και B ανεξάρτητες, τότε AB N( m, I )

11 Μη-κεντρική χ κατανομή Θεώρημα Cocha α. χ κατανομή με β.ε. β. χ κατανομή μη-κεντρική με β.ε. και λ=.7 α. πυκνότητα τ.δείγματος Χ =Χ /σ ++Χ /σ Χ ~N(,σ ), σ =,,,, β. πυκνότητα τ.δείγματος Χ =Χ /σ ++Χ /σ Χ ~N(μ,σ ), σ =,,,, μ =,,.,.,. λ= N(, I ) ms και Α, =,,,k A A Ak (IV) συμμετρικοί πίνακες βαθμού k και ΤΟΤΕ ΟΙ ΠΑΡΑΚΑΤΩ ΣΥΝΘΗΚΕΣ ΕΙΝΑΙ ΙΣΟΔΥΝΑΜΕΣ k = A είναι ταυτοδύναμοι για όλα τα (A =A ) A A j = για όλα τα j με A για όλα τα c A A και A ανεξάρτητες για όλα τα j j Τυπικό Σφάλμα Εκτίμηση διασποράς σφαλμάτων ΕΙΔΑΜΕ ΟΤΙ A με A I H Είναι X Άρα E ( ) X και E( ) V( ) I V ( ) I με και Δηλαδή ικανοποιούνται οι προϋποθέσεις της ιδιότητας (Ι) E( ) E( A ) ( X ) A( X ) T( A) X( I H) X T( A) T I X X X X XXXHX T( I) T X ( X X ) X X X XX T( XX ) XX T Ik ) k ( ( ) ) ( Ώστε: E ( ) ( k) ή E k Αμερόληπτος s εκτιμητής της s = τυπικό k διασποράς σφάλμα -k- σφαλμάτων ΤΟΤΕ Va( ) s c,,,, k s( ) ( Va ) s c,,,, k Va( y ) s C όπου C ( XX ) c ck ck ckk Εφαρμογή στο παράδειγμα Παράδειγμα (η άσκηση.α του βιβλίου) Βρίσκουμε:.7.7 X.7... Από τον πίνακα = άθροισμα τετραγώνων των y.. s.7 άρα s.7 Οι διασπορές των, Οι διασπορές των προβλέψεων Va( ).7 s. Va y Va( ).s.7 Va y ( ).7 s. ( ). s. Χ Χ Χ Χ Υ Χ Χ Υ Χ Χ Υ Υ

12 Υπολογισμοί 7 Το διάνυσμα παραμέτρων X Το Μοντέλο όπου: y,, y,, X y,,,,,, XX,,,,,,,, (.),,,,,, XX æ ö ç çè-... ø XX - = - ( )... æ ö æ y ö æ y ö y å X =,,, =, y å ç è øç ç y æ ö X = ç çè ø å,,, çèy è, ø ø...7 XX X Το μοντέλο πρόβλεψης Παράδειγμα (Συστολ. πίεση αίματος) προσεγγιστικά y X. X æ.7 ö æ ö = - β X = -. - = ç è-.ø çèø Με την εκτίμηση των παραμέτρων απευθείας s. k s.7 Σε άτομα μετρήθηκε συστολική πίεση του αίματός τους (y), το βάρος τους ( ) σε kg και η ηλικία τους ( ). Να βρεθεί γραμμικό μοντέλο που να εκφράζει τη συστολική πίεση συναρτήσει του βάρους και της ηλικίας. Να εκτιμηθεί η συστολική πίεση ατόμου ετών που ζυγίζει 7 κιλά. Να βρεθεί η διασπορά των εκτιμήσεων των συντελεστών του μοντέλου και της πρόβλεψης. Οι μετρήσεις y ŷ ε S = 7. S =.7 S = S = S y = S y = S y=. S y= S = XX Το μοντέλο πρόβλεψης Τα σφάλματα μετά την προσαρμογή æ...77ö - - XX - = - ç ç- è ø ( ) æ.7ö æ.ö ( ) - - β XX X. -. = ç =ç ç è. ø çè. ø ΑΡΑ ΜΟΝΤΕΛΟ ΠΡΟΒΛΕΨΗΣ (προσεγγιστικά) y... æ. ö X ç. =ç ç çè. ø X. (Αν χρησιμοποιήσουμε την προσέγγιση βρίσκουμε =. ενώ πραγματικό =ε =.). s. Διαγώνιος ( X X ).,.77,. Άρα Va( ). s( ). Va( ). s( ). και s.. Va( ). s( ).7

13 Πρόβλεψη Το άθροισμα τετραγώνων SST 7, Αν.7 y, 7,.. τότε: y., 7, Va( y ) s ( XX )., 7, ( XX ) 7. s y. Συνολικό Άθροισμα τετραγώνων SST y y y y Επειδή J Οπότε: SST J όπου J ή SST I J Τετραγωνική μορφή Το άθροισμα τετραγώνων SSR Κατανομή των Αθροισμάτων SSR,, SST Η σχέση X ( X ( X X ) X SSR Το μέρος της συνολικής διασποράς που εξηγείται (ερμηνεύεται) από την παλινδρόμηση δίνει ή H Συνδυάζοντας: SST( J ) H SST ( H J ) SST SSR SST A SSR A A ΟΠΟΤΕ: A A H J X( XX ) X J J ( ) A I H I X XX X A A A ΕΡΩΤΗΜΑ: Ισχύουν οι προϋποθέσεις του Θεωρήματος Cocha; (α) Οι πίνακες Α, Α, Α είναι συμμετρικοί. Οι πίνακες Α, Α, Α είναι ταυτοδύναμοι 7 Οι βαθμοί των πινάκων Α, Α, Α A J J J J J J A A διότι H J H J HJ HJ H HJ JH J X XX X X λύνεται, διότι X X X HJ X ( X X ) X J X ( X X ) X XJ A H J J A Η εξίσωση: A I H I H I HHH A T A T J T J ( ) ( ) ( ) T( A ) T( H )- T( J ) ( k )-k T( A ) T( I ) T( H ) ( k ) όπου χρησιμοποιήθηκε T( H) T( X ( XX ) X) και ισχύει (β) k ak( A ) ak( A ) ak( A ) T( AB) T( BA) T( XX ( XX ) ) T( I ) k

14 Ισχύει το θεώρημα Cocha Ο πίνακας ANOVA (γ) Ισχύουν οι προϋποθέσεις κανονικότητας ε N(, σ I ) Από έπεται N( Xβ, σ I ) = Xβ+ ε ΑΡΑ ΕΧΟΥΜΕ SSR χ σ k A X( I J) X χ σ -- k με A SST χ σ - ( I A) X ( I J ) X όπου Πηγή Αθρoίσματα Τετραγώνων Παλινδρόμηση SSR k Υπόλοιπα (Σφάλματα) β.ε. Μέσα Τετράγωνα Λόγος F -k- Σύνολο SST - SST SSR X X ή αλγεβρικά SSR MSR k MSE k - - MSR F MSE SST y y SSR y y y y Διορθωτικός Παράγοντας Εφαρμογή στο παράδειγμα της συστ. πίεσης y Αν k=, ΜΟΝΤΕΛΟ =,,, Τότε: y (αφού ) X SSR X y y y Άρα SST= Ώστε: SSR στο ΠΛΗΡΕΣ μοντέλο οφείλεται στους άλλους συντ/στές ο δεύτερος όρος στον τύπο,,, SSR X λέγεται διορθωτικός παράγοντας. y SST.7 SSR.. SST SSR.7.. Πηγή Αθρoίσματα Τετραγώνων β.ε. Μέσα Τετράγωνα Λόγος F Παλινδρόμηση. 7..*** Υπόλοιπα (σφάλμ.)..=s Σύνολο.7 ΠΙΝΑΚΑΣ ΑΝΑΛΥΣΗΣ ΔΙΑΣΠΟΡΑΣ Το συμπέρασμα Συντελεστής Προσδιορισμού Η : β =β = Η : β β Σε στάθμη σημ. α Αν F>F k,-k-;α ΑΠΟΡΡΙΠΤΕΤΑΙ Αν F<F k,-k-;α ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ Εδώ F>., άρα η H ΑΠΟΡΡΙΠΤΕΤΑΙ F=. F, F,;.,..,..,. 7.,..,... SSR SST R εκφράζει το ποσοστό της SSR R = συνολικής διασποράς που SST = - SST ερμηνεύει το μοντέλο Σχέση των F και R SSR / k F - k - = = = R /( -k -) k -R kf /( k ) R = kf /( - k - )

15 Διορθωμένος συντελεστής προσδιορισμού Έλεγχοι Υποθέσεων /( -k -) s R = - = - SST /( -) Va Σχέση των R και R ( -k-)( - R ) = ( -)( -R ) Για το παράδειγμα της πίεσης. R = =..7 διορθωμένος συντελεστής προσδιορισμού./ R = =..7/ Το μοντέλο ερμηνεύει το.% της συνολικής διασποράς ΘΕΩΡΗΜΑ (Gauß-Makov) Αν θ = λ β όπου λ =(λ είναι, λ,, λ k) γραμμικός συνδυασμός των συντελεστών παλινδρόμησης, τότε η καλύτερη γραμμική εκτίμηση του θ (που είναι μοναδική) είναι η θ = λ β Απαραίτητη προϋπόθεση (για να εκτιμάται το θ) είναι ΝΑ ΕΧΕΙ ΛΥΣΗ Η ΕΞΙΣΩΣΗ Xc= λ Αυτό συμβαίνει με βεβαιότητα αν ο Χ Χ είναι αντιστρέψιμος Θεώρημα 7 Ισχύουν Αν N( X β, s I) θ - θ ΤΟΤΕ - s λ (X X) λ ΑΠΟΔΕΙΞΗ και t - k - θ = λ β θ = λ β όπου s= -k- - Η τ.μ. θ = λ β = λ ( X X) X έχει κατανομή N(μ, σ ) θ θ - - μ = Ε(θ)=λ ( XX ) X E ( ) = λ ( XX ) X Cβ θ = λ β = θ s =Va(θ)=E(θ - θ) = E θ ( λ ( β- β) ( β- β) λ) = - = λ V( β) λ = σλ( CC ) λ θ - θ Z = N(,) - s λ (X X) λ άρα από γνωστό θεώρημα της Θ.Πιθ. αν Z, W είναι ανεξάρτητες θ - θ και ανεξάρτητες θ και ανεξάρτητες W= χ σ Z W /( -k-) -k- t - k - και οι δύο τ.μ. είναι τετραγωνικές μορφές της ανεξαρτησία των δύο τετραγ. μορφών Έλεγχος παραμέτρων = ( I - H ) = A ( θ = θθ= λ β λ β= λ β) λ β= β λλ β= = X( X X) λλ ( X X) X = B AB= I - X XX X X XX XX X = θ - θ - Z s λ (X X) λ θ - θ = = t - - k - W s λ (X X) λ -k- s ( -k-) ( ( ) ) ( ) λλ ( ) ΠΟΡΙΣΜΑ Αν N( X β, s I) β - β t s β -k- s β ( ) æö Αρκεί λ = (+)-στή γραμμή ç çè ø οπότε λ β = β και τότε =s c όπου ( ) - λ (X X) λ =c

16 Έλεγχος μέσης πρόβλεψης Έλεγχος ατομικής πρόβλεψης ΠΟΡΙΣΜΑ Αν N( X β, s I) τότε - μ t - -k- s s (XX) όπου ( y) = Va( y) = - = s ( X X) Αρκεί λ = θ = β =Ey = m διότι y = β + β + + β + ε k k ΠΟΡΙΣΜΑ Αν N( X β, s I) - μ t - -k- s + (X s β X) διότι E( - ) = τότε =s c όπου ( ) Va( - ) = Va ( (β - β)+va(ε)= - = σ (+ (X X) ) Μονόπλευρο ή δίπλευρο t-τεστ Μονόπλευρο ή δίπλευρο F-τεστ T = s ΔΙΠΛΕΥΡΟ H :θ = θ H :θ¹ θ -α t -k- θ - θ - λ (X X) λ ΜΟΝΟΠΛΕΥΡΟ H :θ = θ H :θ > θ -α t -k- ΘΕΩΡΗΜΑ T t F = T F ΔΙΠΛΕΥΡΟ ΜΟΝΟΠΛΕΥΡΟ H : β = H : β ¹ F,-k- F,-k- -α -α -k-, -k- H H : β = : β > α/ α/ - t - t -k-;-α/ -k-;α/ - - t -k-;α α α F,-k-;α α F,-k-;α Εφαρμογή με το ο παράδειγμα Έλεγχοι συντελεστών β β β y =-.+. X+. X SSR=. =. (.) (.) (.7) s( β ) s( β ) s( β ) = (, 7, ), =., Va( ) =., s =. s + Va( ) =. +. =..,. * s.7,. = s + Va( ) =.7 t;.,..,..7,. H : β = H : β ¹ H : β = H : β > H H. T = =..7 Η ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=., διότι t ;α =.7<. : β =- : β ¹-. T = =.7. Η ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=., διότι t ;α/ =.7<.7 -.-(-) T = =.. Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=., διότι t ;α/ =.>.

17 Έλεγχοι πρόβλεψης 7 % Διαστήματα εμπιστοσύνης Για τη μέση πρόβλεψη H : E = H : E ¹ H : = H : ¹ Η ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=., διότι t ;α/ =.<.7 Για την ατομική πρόβλεψη.- T = =.7..- T = =..7 Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ σε α=., διότι t ;α/ =.>. β β β ΕΥ Υ β t s( β ) ;. β t s( β ) ;. β t s( β ) ;. ( ) t Va ;. ( ) t s + Va ;. ή ή ή ή ή (-., -.) (.,.) (.,.) (.,.7) (.,.7) Έλεγχος της διασποράς Θέματα () 7 H H : s = : s ¹ s X = = =. s G ια α =., χ =., και χ =.. < <. s < s <...< s <. ;.7 ;.. χ χ ;. ;.7 (.,.) ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ η Η. χ. Στον παρακάτω πίνακα δίνονται στοιχεία από οικογένειες. Στη στήλη y δίνεται η επιφάνεια της κατοικίας της οικογένειας (σε τετρ. μέτρα), στη στήλη το ετήσιο εισόδημα (σε χιλιάδες ευρώ), στη στήλη τo πλήθος των με λών της και στη στήλη τo συνολικό πλήθος ετών μετά το λύκειο που σπούδασαν τα μέλη της οικογένειας που συνεισφέρουν στο εισόδημα. y y α) Χρησιμοποιώντας πίνακες να βρεθεί η ευθεία που εκτιμά την επιφάνεια της κατοικίας από το εισόδημα. (Οι φοιτητές που το ΑΕΜ τους είναι περιττός αριθμός να χρησιμοποιήσουν τα δεδομένα από τις πρώτες οικογένειες, ενώ αυτοί που έχουν άρτιο τα υπόλοιπα). Να σημειωθούν όλοι οι πίνακες που θα χρησιμοποιήσετε και να φαίνονται οι πράξεις με τα ενδιάμεσα αποτελέσματα. Να γίνει και γραφική παράσταση, όπου να εξηγήσετε τι ελαχιστοποιεί η μέθοδος υπολογισμού του μοντέλου παλινδρόμησης. β) Κάντε τον πίνακα ανάλυσης της διασποράς και διατυπώστε τα συμπεράσματά σας. γ) Βρέστε το % δ.ε. για το συντελεστή του στο μοντέλο. Προσαρμόστε το πλήρες μοντέλο και δώστε τα συμπεράσματά σας. Θέματα () 7 Θέματα () 7 Στο διπλανό πίνακα δίνονται οι ώρες που έτρεξε μία δρομέας σε κάθε μία από διαδοχικές εβδομάδες και ο μέσος χρόνος (σε λεπτά) που έκανε η δρομέας για κάθε μίλι εκείνη την εβδομάδα. Να βρεθεί με χρήση πινάκων α) Αν ο χρόνος ανά μίλι σε μία εβδομάδα προπόνησης, μπορεί να προβλεφθεί από τις ώρες προπόνησης την εβδομάδα αυτή; Ποια η πρόβλεψη για μία εβδομάδα που έτρεξε ώρες και ποια αν έτρεξε ώρες; β) Με ποια τυπική απόκλιση εκτιμώνται οι διάφοροι παράμετροι και μία από τις προβλέψεις; hous tme Σε ένα πείραμα για να μελετηθεί η οξείδωση ενός μετάλλου έγιναν παρατηρήσεις όπου μετρήθηκαν (σε κατάλληλες μονάδες) το ρεύμα του αέρα ( ), η θερμοκρασία του νερού ( ), η ποσοστιαία συγκέντρωση του οξέως ( ) και το βάρος που έχασε το μέταλλο εξαιτίας της σκουριάς (y). Το μέταλλο βυθιζόταν σε οξύ που εψύχετο με νερό και μετά εκτίθονταν σε ρεύμα αέρος. Τα αποτελέσματα δίνονται στον πίνακα. Επίσης, σε κάθε κελί του δεύτερου πίνακα δίνεται το άθροισμα γινομένων των μεταβλητών που το καθορίζουν. Π.χ. στο κελί που ορίζεται από τις, είναι 7=,. = α) Υπολογίστε, χρησιμοποιώντας πίνακες, τους συντελεστές παλινδρόμησης του μοντέλου y. β) Σχηματίστε τον πίνακα ανάλυσης της διασποράς και διατυπώστε τα συμπεράσματά σας. γ) Δώστε την πρόβλεψη για θερμοκρασία. Δείξτε ότι η τυπική απόκλιση της πρόβλεψης είναι. και βρέστε το % διάστημα εμπιστοσύνης για την ίδια την πρόβλεψη. δ) Μετά κάναμε παλινδρόμηση με τη μεταβλητή και βρήκαμε SSR=7., με τις μεταβλητές και και βρήκαμε SSR=., καθώς και παλινδρόμηση με όλες τις μεταβλητές και βρήκαμε SSR=.. Συγκρίνετε μεταξύ τους τα τέσσερα μοντέλα (μαζί με αυτό του (α)). Για το καλύτερο από αυτά υπολογίστε πόσο μέρος της συνολικής διασποράς ερμηνεύει. (Αν δεν έχετε βρει το SST, χρησιμοποιείστε την προσέγγιση SST=) ε) Για τη μεταβλητή παρατηρήστε ότι υπάρχουν επαναλαμβανόμενες παρατηρήσεις. Αγνοώντας τις άλλες μεταβλητές σχηματίστε τον πίνακα ανάλυσης διασποράς και συμπληρώστε τον με τα καθαρά σφάλματα. Τι συμπεραίνετε για το μοντέλο με τη μεταβλητή ; y y α/α y Σύν

18 ΚΕΦΑΛΑΙΟ Επιλογή Μεταβλητών Μωυσιάδης Χρόνης o Εξάμηνο Μαθηματικών Πολυσυγγραμμικότητα Αν ισχύει X j Xj-X j-jx j kxk (*) ΤΟΤΕ j, j j, k, j, j j, k, j, j j, k, Πίνακας Σχεδιασμού Επειδή ak(x)<k+, άρα ak(x X)<k+, οπότε Χ Χ = δηλαδή δεν ορίζεται διάνυσμα. Αν η σχέση (*) είναι περίπου ισότητα τότε η τυπ. απόκλιση s(β ) τείνει στο Παράδειγμα. Έστω το μοντέλο: X X y y X y Θέτω: S ( ) s ( ) S S ( ) s ( ) S S ( )( ) οπότε cov(, ( ) )( ) Va( ) Va( ) ( ) ( ) S S S S Παράδειγμα. (συν.),, XX S S,,,, S S,,,, και X X S S ( S S S ) ( ) s s ( ) S S * * * XX * ( * XX * * ( S ) ( ) S ) Άρα Όμως Παράδειγμα. (συν.) S ( ) s s s s s ( ) ( ) ( ) ( ) ( ) X X s s s s Όταν s( ) s( ) ( )( ) s s( ), s( ) ( )( ) s Παράδειγμα. Έστω ότι ισχύει το μοντέλο: έχουμε όμως υποθέσει: bbx τότε ενώ ( )( y y) b ( XX) ( XX) ( ) b ( ) ( ) ( ) S Eb S ( ) ( )( ) A S S S A A S S S S S S X X s Eb b αμερόληπτο αν = ή β s =

19 Παράδειγμα (αντ. του. του βιβλίου) Παράδειγμα (συν.) Δίνονται : Χ, Χ, Χ στον πίνακα Υπολογίσαμε τιμές Υ, =-+X +X +X +ε με ε ~Ν(,) Αν γνωρίζουμε ότι η μεταβλητή εξαρτάται από τις Χ, Χ, Χ, τότε προσαρμόζουμε το μοντέλο =β +β X +β X +β X +ε Αν δεν γνωρίζουμε π.χ. για την Χ τότε προσαρμόζουμε το =β +β X +β X +ε Βρίσκουμε: X X X, Η : β = Η : β >.. T s( ). δηλαδή β διαφορετικό από το αναμενόμενο R Μοντέλο (Χ, Χ, Χ ) R. Χ Χ Χ -.,.,.,. s( ).7,.,.,.7 Μοντέλο (Χ, Χ ).,.,. s( ).,.,. R. ενώ t,. =. (μονόπλευρο τεστ) Χ Χ Χ ,. X X δηλ. Χ, Χ γραμ. συσχετισμένες και άρα η εκτίμηση του β όχι αμερόληπτη ΠΕΡΙΟΡΙΣΜΕΝΟ ΜΟΝΤΕΛΟ (Απαλοιφή μεταβλητών) Απαλείφοντας τις τελευταίες k μεταβλητές, το μοντέλο X X X X kk - kk - kk - kk - k k ανάγεται στο: πλήρες Θέτοντας X b b ή όπου X X kk - kk - b b k k περιορισμένο k kk kk XbXb Xb Η μηδενική υπόθεση b X X b όπου XbXb kk, kk, k kk, kk, k X X X kk, kk, k Αν το πλήρες ΔΕΝ ΔΙΑΦΕΡΕΙ από το περιορισμένο τότε θα πρέπει b Έτσι η υπόθεση Η : b με εναλλακτική Η : b ελέγχει εάν τα δύο μοντέλα ΤΑΥΤΙΖΟΝΤΑΙ ή όχι (Αν απορρίπτεται η Η τα μοντέλα διαφέρουν) Από τη σχέση: προκύπτει X XX X J ( ) Διάσπαση του SSR SST SSR SST SSR ( SSR SSR ) SSR και με τρόπο ανάλογο του Κεφαλαίου, παίρνουμε X ( XX ) X X ( XX ) X A A, A A, A β.ε. k-k k -k- Η : b = Η : b ¹ ή/και Το Θεώρημα ( SSR - SSRP )/ k F = ~ F /( -k -) ( CU- CU ) β b / k F = ~ F /( -k -) k, -k- k, -k- Εφαρμογή σε περιορισμένο μοντέλο κατά μεταβλητή (X ) β βx β-x - βx β X βkx k πλήρες β β X β X β X β X περιορισμένο - - k k συμβολισμός SSR, SSR(), ()

20 Πόρισμα (έλεγχος παραμέτρου) (συν.) ή/και Η : β = SSR - SSR() F = ~ F Η : β ¹ SS E /( - k - ) β CU- β () C () U F = ~ F /( -k -) Για να ταυτίζεται το πλήρες με το περιορισμένο αρκεί να ισχύει η υπόθεση, -k- Εφαρμογή στο παράδ. της συστολικής πίεσης Η : β = Η : β ¹, -k- χωρίς την (+) γραμμή χωρίς την (+) στήλη = β + β X + β X + e = β + β X + e περιορισμένο ΣΥΜΠΤΥΓΜΕΝΟ ΜΟΝΤΕΛΟ (Παλινδρόμηση υπό περιορισμούς) β βx βx βkx k Έστω c ή c, Αν με γραμμικούς μετασχηματισμούς των, X,,X k καταλήξουμε στο: W γ γ γk-νk και με τον ίδιο μετασχηματισμό για το Υ, το αρχικό γίνεται: ΤΟΤΕ συμπτυγμένο πλήρες W β β X β X β kx k Η ταύτισή τους ( SSR - SSRS )/ F = ~ F, -k- ελέγχεται με το λόγο SS E /( - k - ) και æ ö X() X() = æ ö ç çè X() = ø ç çè ø SSR άρα = b X - ( ) =.7 () ().-.7 F = =.. Παρατηρήστε ότι T =.7 =. Έστω Με αντικατάσταση του β Παράδειγμα ( β ) æ.ö b = ç ç- è. ø SSR=. s =. ενώ F,;. =. δηλαδή ΑΠΟΡΡΙΠΤΕΤΑΙ η Η β β X β X β X β X με β β παίρνουμε X +β β X β ( X X ) β X X = β β X β ( X X ) β X θέτοντας W X, Z X, Z X X, Z X παίρνουμε W=γ γ γ που είναι συμπτυγμένο του W β βx β X β X β X δεν είναι γ.μ.,,, με β β Με αντικατάσταση των ή όπου Δεύτερο παράδειγμα Έστω β β X β X β X β X β X με β -β και β = β, παίρνουμε β β ( X X ) β ( X X ) β ( X X ) =β β Z β Z β Z Z X X, Z X X, Z X X Το =β βz βz βz είναι συμπτυγμένο του β β X β X β X β X β X με ν= 7 Παράδειγμα (. του βιβλίου) Έρευνα σε διευθύνσεις ενός οργανισμού. Σε κάθε μία που είχε ένα δ/ντή ρωτήθηκαν τυχαίοι υπάλληλοι και καταγράφηκαν τα ποσοστά θετικών απαντήσεων Μεταβλητή y Περιγραφή Συνολική αξιολόγηση της παρουσίας του προϊσταμένου Αντιμετωπίζει τα παράπονα των υπαλλήλων Δεν επιτρέπει ειδικά προνόμια Δίνει ευκαιρίες για εκπαίδευση σε νέα αντικείμενα Δίνει αυξήσεις βασισμένες στην παρουσία Είναι υπερβολικά αυστηρός σε όχι καλή παρουσία Ρυθμός προώθησης σε ανώτερες θέσεις α/α y

21 Πλήρες μοντέλο Υπόθεση η Το μοντέλο β βx βx βx βx βx βx δίνει s( ) P(> t ) Υπόθεση η H : β = β, β = β = β = β = H : όχι η H β β ( X X ) β βz (συμπτυγμένο με ν=) Επειδή SSR = 7., s =. ( )/ F = =. SSR Σ =7.7. Υπόθεση η H : β = β β = β = β = β = H : όχι η H ( ) Τώρα το πλήρες μοντέλο είναι β β X X Επειδή SSR =., s =. SSR Σ =7.7 Όμως F,;. =.7 β β X β X β β Z (συμπτυγμένο με ν=) ( )/ F = =.. Άρα για α=. η Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ για κανένα α Υπόθεση η H : β + β =, β = β = β = β = H : όχι η H Σύγκριση μοντέλων. )..7X. X Υ..X X Ŷ.7.7X..( XX Οι υποθέσεις δίνουν β βx ( β) X X (συμπτυγμένο β β ( X X ) W β βz με ν=, του) X β β X β X ( β ) X β X β X β X W β β X β X βx β X β X β X Επειδή SST=.7 (Διαφορετικό) SSR = 7., s =. SSR Σ =7. Επειδή F< ( )/ F = =.7.7 Άρα για κάθε α η Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ Οποιοδήποτε από τα τρία τελευταία μοντέλα μοιάζει να προσεγγίζει το ίδιο καλά το πλήρες, έχοντας πολύ λιγότερες μεταβλητές. Μερικός συντελεστής προσδιορισμού μερικός συντελεστής συσχέτισης β βx β-x - βx β X βkx k πλήρες β β X β X β X β X περιορισμένο - - k k SST y; k y;( )( ).. k Πλήθος μεταβλητών στο πλήρες μοντέλο Οι μεταβλητές στο μοντέλο SSR SSR () () () () Είναι το ποσοστό της μέχρι τώρα ανεξήγητης διασποράς που εξηγείται με την εισαγωγή τη X Εξαρτάται από τις μεταβλητές και X, αλλά και από τις μεταβλητές που είναι ήδη στο μοντέλο. Ο λόγος F από το θεώρημα ελέγχου ταυτότητας των δύο μοντέλων, γίνεται: Άρα και Σχέση y;k με λόγο F SSR SSR() F = - ~ F SS E /( - k - ) () () - () - () F = = /( -k -) /( -k-) y k F = ( -k-) - y; k ; y; k F = ( - k - ) + F, -k- Συμπέρασμα. Αν η μεταβλητή με την είσοδό της ερμηνεύει το μεγαλύτερο ποσοστό ανερμήνευτης διασποράς, τότε ο λόγος F θα είναι ο μεγαλύτερος δυνατός για τις μεταβλητές που δεν είναι στο μοντέλο

22 y; ( )( ) k Αναδρομικός ορισμός μερ. συντ. συσχ. Παράδειγμα y; ( )( ) ( j)( j) k y j; ( )( ) ( j)( j) k j; ( )( ) ( j)( j) k β βx βx β β X y; yj; ( )( ) ( j)( j) k j; ( )( ) ( j)( j) k y y y () y; Μερικός συντελεστής προσδιορισμού (συσχέτισης) της y με την όταν στο μοντέλο υπήρχε ήδη η. (συν.) β β X β X β β X y; y y () y; Μερικός συντελεστής προσδιορισμού (συσχέτισης) της y με την όταν στο μοντέλο υπήρχε ήδη η. y A S S S S / B dag( A)..7 y; y; y; στην πρώτη γραμμή Υπολογίζουμε BAB Άλλο παράδειγμα Στο πλήρες μοντέλο έχουμε μεταβλητές (,, ). Να βρεθεί το y ; έπρεπε να υπολογίσουμε y; y; ; όπου y;, y;, ; y; υπολ. όπως προηγ. σελίδα y ; ; Έστω πίνακας διασπορών συνδιασπορών S X X X X X S S S S Επιλογή του καλύτερου μοντέλου απ όλα τα δυνατά Αν η μεταβλητή y μπορεί να εξαρτάται από μία ή περισσότερες από τις,,, k, ποιό είναι το καλύτερο μοντέλο; Αν είναι εφικτό υπολογίζουμε όλα τα k μοντέλα διαιρώντας τα σε k+ κλάσεις, ανάλογα με το πλήθος των μεταβλητών που περιέχουν Α Β Γ Κ β β β X,,,, k β βx β X j,, j,,, k β β X β X β X k k () ( ) (, j ).. (,,,,k) H μέθοδος Gasde Είναι γνωστό (από άλγεβρα πινάκων) A ca, c A A A A A λ λ,,λ = c A λ λ δηλαδή προσθήκη ή διαγραφή μιας μόνο μεταβλητής σε μοντέλο κάνει εύκολο τον υπολογισμό ορίζουσας και αντιστρόφου του Χ Χ c A O Gasde πρότεινε () την παρακάτω διαδοχή μοντέλων Για k= () () (,) () (,) (,,) (,) () Για k= () () (,) () (,) (,,) (,) () (,) (,,) (,,,) (,,) (,) (,,) (,) () Κριτήριο R Από τα μοντέλα κάθε κλάσης υπολογίζω τα δύο μεγαλύτερα R και τα καταγράφω (συνήθως πολλαπλασιασμένα επί ) Κλάση Μεταβλ. Στο μοντέλο Μέγιστο R Α ( ) R Β ( ) R ( ) R Γ (, j ) R,j (, j ) R,j.... Κ (,,,k) R Επιλέγουμε εκείνο από τα μοντέλα που είναι στη χαμηλότερη κλάση και δεν διαφέρει σημαντικά από το πλήρες. Στην ίδια κλάση επιλέγουμε ανάλογα με το πρόβλημα.

23 Παράδειγμα (. του βιβλίου) y θερμοκρασία στερεοποίησης τσιμέντου, % περιεκτικότητα υλικών Εφαρμογή του κριτηρίου R Οι τέσσερις κλάσεις έχουν νόημα (στην Α είναι R =) y Κλάση Μεταβλητές στο μοντέλο Μέγιστο R Β Γ Δ () () (,) (, ) (,, ) (,, ) E (,,, ).7 Από το Θεώρημα ( SSR - SSRP )/ k F = ~ F /( -k -) k, -k- έχουμε το ΠΟΡΙΣΜΑ -k- R - R k - R P ~ F k, -k- (συν.) Στο παράδειγμα για τo δεύτερο της Γ κλάσης Ο Sebe (77) απέδειξε Θεώρημα Sebe =. ~ F -.7 Επειδή F,;. =., άρα και τα δύο μοντέλα της κλάσης Γ, όπως και τα μοντέλα της Δ δεν διαφέρουν από το πλήρες, ενώ τα μοντέλα της Β διαφέρουν αφού για το μεγαλύτερο είναι: =. ~ F -.7 Άρα θα προτείνουμε ένα από τα μοντέλα, β βx βx β βx βx, Ενώ F,;. =7. ΘΕΩΡΗΜΑ æ k ö Αν R = -( - R ) ç + F, ; k k - k - çè - - a ø τότε κάθε περιορισμένο μοντέλο που έχει δεν διαφέρει σημαντικά από το πλήρες. R > P R Στο παράδειγμα æ ö R = -( -.7) ç + F, - - ;. =. çè -- ø που οδηγεί στο ίδιο συμπέρασμα που καταλήξαμε και προηγούμενα Κριτήριο s Λαμβάνοντας ως βωβή μεταβλητή =, το μοντέλο που περιέχει κ μεταβλητές θεωρείται ότι περιέχει =κ+. Από τα μοντέλα κάθε κλάσης με το ίδιο, υπολογίζω τα δύο μικρότερα s από τον τύπο s και τα καταγράφω σε πίνακα = - Μεταβλητές στο μοντέλο Ελάχιστο s () ( ) s, ( ) s, (, j ) s,, j (, j ) s,, j.... k+ (,,,k) s Επιλέγουμε εκείνο από τα μοντέλα που έχει το μικρότερο και δεν διαφέρει σημαντικά από το πλήρες. Για το ίδιο επιλέγουμε ανάλογα με το πρόβλημα. Προσέξτε, τα s δεν φθίνουν πάντα αυξανομένου του, ενώ τα R αυξάνονται αυξανομένης της κλάσης. s Για το παράδειγμα Μεταβλητές στο μοντέλο Μέγιστο s () () (,) (, ) (,, ) (,, ) Από το Θεώρημα (,,, ). ( P - ) / k ( - ) -( -k -) F = ~ Fk F =, -k- /( -k -) ( k+ - ) ( -) 7.7 -( --). Εδώ F = =. ~ F, F ( + -).,;. =. ( -). -( --). ( + -). ενώ F = =.7 ~ F, F,;. =7. k+ k+ ~ F k+-, -k-

24 Κριτήριο c Mallows Η πρόβλεψη στο σημείο με μεταβλητές (μαζί με τη βωβή) είναι: βx βx, βx, β-x, και αν θ η ακριβής τιμή, τότε ένα μέτρο πρόβλεψης είναι το E (το μικρότερο είναι το καλύτερο) Το μέτρο αυτό για όλα τα σημεία γίνεται E ΘΕΩΡΗΜΑ (Sebe) Ισχύει: ΘΕΩΡΗΜΑ (Mallows) Απέδειξε ότι το στατιστικό c ( ) εκτιμά το Δ s Για το παράδειγμα Μεταβλητές στο μοντέλο c () () () () (,) (, ) (, ) (, ) (, ) (, ) (,, ) (,, ) (,, ) (,, ) ΕΝΑ ΙΚΑΝΟΠΟΙΗΤΙΚΟ ΜΟΝΤΕΛΟ ΕΧΕΙ c = 7 (,,, ) 7. C Γράφημα για το C Γράφημα για το κριτήριο C του Mallows,,,,,,,,,,, Καλύτερο μοντέλο το (, ) (κοντύτερα στη γραμμή και από κάτω) Σταδιακή Επιλογή Μεταβλητών Προς τα εμπρός ΕΠΙΛΟΓΗ (Fowod Selecto) Αρχικό Μοντέλο (το μοντέλο θέσης) β Στο ν-στο βήμα. Έστω ότι οι μεταβλητές Χ, Χ,,Χ κ είναι στο μοντέλο ενώ οι Z, Z,, Z λ δεν είναι. Εισάγουμε διαδοχικά μία κάθε φορά τις μεταβλητές Z, και υπολογίζουμε το λόγο F για τη σύγκριση του μοντέλου που προέκυψε με το τρέχον μοντέλο. Η μεταβλητή με το μεγαλύτερο F αντιστοιχεί σε αυτήν με το μεγαλύτερο μερικό συντελεστή συσχέτισης και ελέγχεται αν πρέπει να παραμείνει στο μοντέλο ή όχι. Για τον έλεγχο συγκρίνουμε το F με ένα σταθερό F IN (κρίσιμος λόγος εισόδου) που συνήθως λαμβάνεται ίσο με. (=F, ;. ) Αν F>F IN η μεταβλητή εισάγεται και συνεχίζουμε στο επόμενο βήμα, αλλιώς σταματούμε τη διαδικασία. Σταδιακή Επιλογή Μεταβλητών Προς τα πίσω ΑΠΑΛΟΙΦΗ (Backwod Elmato) Αρχικό Μοντέλο β (το πλήρες μοντέλο) βx βx βkx k Σταδιακή Επιλογή Μεταβλητών Βήμα-προς-βήμα ΠΑΛΙΝΔΡΟΜΗΣΗ (Stewse Reggesso) (Συνδυασμένη εφαρμογή των δύο προηγούμενων μεθόδων) Αρχικό Μοντέλο (το μοντέλο θέσης) β Στο ν-στο βήμα. Έστω ότι μόνο οι μεταβλητές Χ, Χ,, Χ κ είναι στο μοντέλο. Διαγάφουμε διαδοχικά μία κάθε φορά από τις μεταβλητές Χ, και υπολογίζουμε το λόγο F για τη σύγκριση του μοντέλου που προέκυψε με το τρέχον μοντέλο. Η μεταβλητή με το μικρότερο F αντιστοιχεί σε αυτήν με το μικρότερο μερικό συντελεστή συσχέτισης και ελέγχεται αν πρέπει να παραμείνει στο μοντέλο ή όχι. Για τον έλεγχο συγκρίνουμε το F με ένα σταθερό F OUT (κρίσιμος λόγος εξόδου) που συνήθως λαμβάνεται ίσο με.7 (=F, ;. ) Αν F<F OUT η μεταβλητή διαγράφεται και συνεχίζουμε στο επόμενο βήμα, αλλιώς σταματούμε τη διαδικασία. Στο ν-στο βήμα. Έστω ότι οι μεταβλητές Χ, Χ,,Χ κ είναι στο μοντέλο ενώ οι Z, Z,, Z λ δεν είναι. α) Ελέγχουμε με προς τα πίσω απαλλοιφή αν κάποια από τις μεταβλητές Χ, μπορεί να διαγραφεί ή όχι, χρησιμοποιώντας λόγο εξόδου το F OUT. β) Ελέγχουμε με προς τα εμπρός επιλογή αν κάποια από τις μεταβλητές που είναι εκτός του μοντέλου μπορεί να εισαχθεί στο μοντέλο ή όχι, χρησιμοποιώντας λόγο εισόδου το F IN. Είναι απαραίτητο τα F IN και F OUT να διαφέρουν, έστω και ελάχιστα, διότι διαφορετικά δημιουργείται συχνά ατέρμων βρόχος Αν το τρέχον μοντέλο δεν μεταβληθεί στα δύο επιμέρους βήματα σταματούμε, αλλιώς συνεχίζουμε στο επόμενο βήμα.

25 Για το παράδειγμα (. του βιβλίου) Προς τα εμπρός επιλογή Θεωρώ F IN =. Βήμα. β (συν.) Προς τα πίσω απαλοιφή Θεωρώ F OUT =. Βήμα. β βx βx βx βx βx βx F F Βήμα. β βx F Βήμα. β βx βx F.... Βήμα. β βx βx βx F... Σταματούμε Βήμα. β βx βx βx βx βx F Βήμα. β βx βx βx βx F.... Βήμα. β βx βx βx F Σταματούμε Δεν είναι απαραίτητο να καταλήξουμε στο ίδιο μοντέλο Παράδειγμα. του βιβλίου α/α y Να γίνει βήμα-προς-βήμα παλινδρόμηση θεωρώντας α) F IN =., F OUT =. α) F IN =., F OUT =.7 α) Βήμα Βήμα προς βήμα παλινδρόμηση Μεταβλητή εισαγόμενη Μεταβλητή διαγραφόμενη F (εισ.-εξόδ) Μοντέλο 7..7,.,,.7,,,.,,.7,,, 7.,,,, β) Θα σταματήσουμε στο ο βήμα Και στις δύο περιπτώσεις εξετάζοντας τους συντελεστές των μοντέλων που προέκυψαν καταλήγουμε στο μοντέλο..x Θέματα () Προκειμένου να βρούμε το καλύτερο μοντέλο για τα δεδομένα του θέματος (του προηγουμένου κεφαλαίου), κάναμε όλες τις δυνατές παλινδρομήσεις και σχηματίσαμε τον επόμενο πίνακα. Μοντέλο /s c ( ). ( ). ( ).. ( ).. (, ). (, ).. (, ).. (,, ).7 Συμπληρώστε τον πίνακα και προτείνατε το καλύτερο μοντέλο. Κάντε και κατάλληλο έλεγχο για σύγκρισή του με το πλήρες. Διατυπώστε με δικά σας λόγια το συμπέρασμά σας. 7 Θέματα () Έγιναν παρατηρήσεις της μεταβλητής y για την οποία υπάρχει υποψία ότι εκφράζεται γραμμικά από τις,,. Για την εύρεση του καλύτερου μοντέλου κάναμε όλες τις παλινδρομήσεις και το R σε κάθε παλινδρόμηση δίνεται δίπλα. Βρέστε το «καλύτερο» μοντέλο και για το μοντέλο αυτό κάντε τον πίνακα ANOVA. Δίνεται ότι SST=7. Μεταβλητές στο μοντέλο R..7.,.7,.,.77,,. Σε ένα φαινόμενο ορίστηκαν ανεξάρτητες μεταβλητές (, και ) και μία εξαρτημένη η y. Έγιναν παρατηρήσεις και στα δεδομένα που προέκυψαν έγιναν διάφορες παλινδρομήσεις. Ορισμένα στοιχεία από τις παλινδρομήσεις αυτές, δίνονται παρακάτω: () για το μοντέλο με μόνη τη μεταβλητή : SST=, SSR=. () για το μοντέλο με μόνη τη μεταβλητή : =. () για το μοντέλο με μόνη τη μεταβλητή : MSE=7.7. () για το μοντέλο με τις μεταβλητές και : R =.. () για το μοντέλο με τις μεταβλητές και : MSR=7.. () για το μοντέλο με τις μεταβλητές και : s =.7. (7) για το μοντέλο με τις μεταβλητές, και : SSR=7 Ζητείται να βρεθεί με τη μέθοδο του R το καλύτερο μοντέλο που προσαρμόζεται στα δεδομένα αυτά. Να γραφεί ο πλήρης πίνακας ανάλυσης διασποράς για το μοντέλο που βρήκατε. (Να διατυπωθούν αναλυτικά οι τύποι που θα χρησιμοποιηθούν).

26 Θέματα () Σε μία μελέτη μετρήθηκαν οι τιμές της μεταβλητής y για δοσμένες τιμές των μεταβλητών, και. Από θεωρητικές μελέτες υπήρχε η υποψία ότι η y εξαρτάται από τις μεταβλητές,, και = Για να βρούμε ένα καλό μοντέλο που προβλέπει την y από τις, κάναμε όλες τις παλινδρομήσεις, τα αποτελέσματα των οποίων δίνονται στον επόμενο πίνακα (το πρώτο διάνυσμα είναι οι συντελεστές με το β πρώτο και το δεύτερο τα αντίστοιχα τυπικά σφάλματα) SST=., =., (-.,.), (7,.7) SSR=., (-.7,.), (,.) =7., (-.,.7),.,.) R =., (-.,.), (.,.), SSR=7., (-.,.7,.7), (,.,.), =7., (-7.,.,.), (7,.7,.), R =.7, (7, -.,.), (7,.,.), SSR=., (-,.,.), (.,.,.), =., (-,.7,.), (,,.7), SSR=., (-.,.,.7), (,.,.),, SSR=7.7, (-,.,.,.), (,.,.,.),, s =., (-., -.,.,.), (7,.,.,.),, =., (., -.,.7,.7), (,.77,.,.),, SSR=., (-.,.7,.,.), (.,.,.,.7),,, =., (-., -.,.,.,.), (7,.,.7,.,.) α) Σχηματίστε τον πίνακα ANOVA του πλήρους μοντέλου και διατυπώστε τα συμπεράσματά σας. Πως θα συνεχίζατε την ανάλυση των δεδομένων αν δεν ξέρατε τα άλλα μοντέλα; β) Χρησιμοποιώντας και όποιο από τα άλλα μοντέλα σας χρειάζεται κάντε τον έλεγχο που προτείνατε στο (α) γ) Βρέστε το καλύτερο μοντέλο με το κριτήριο R y Θέματα () Σε μία μελέτη ερωτήθηκαν 7 υπάλληλοι μιας πολυεθνικής εταιρείας για την ηλικία τους ( σε έτη), την εκπαίδευσή τους ( σε έτη), την πείρα τους ( σε έτη), το χρόνο εργασίας τους από την πρόσληψή τους ( σε μήνες), τον εισαγωγικό τους μισθό τους ( σε χιλιάδες ) και το σημερινό τους μισθό τους (y σε χιλιάδες ). Για να εξετάσουμε ποια ή ποιες από τις μεταβλητές επηρεάζουν το σημερινό μισθό του υπαλλήλου κάναμε μια σειρά παλινδρομήσεις που θα αναφέρονται παρακάτω με τον αύξοντα αριθμό του μοντέλου τους. Οι προβλέπουσες μεταβλητές στα μοντέλα ήταν οι: Στο διπλανό πίνακα δίνονται κάποιες τιμές που αφορούν τα διάφορα μοντέλα. Στο () η σειρά των δεικτών είναι αύξουσα. () τις και. () τις και. () τις, και. () όλες s =..77,.7,.7,.7 s( ).,.,.,. ε) Να βρεθεί ο μερικός συντελεστής προσδιορισμού της μεταβλητής όταν αυτή εισέρχεται στο μοντέλο στο οποίο υπάρχουν ήδη οι μεταβλητές, και να διατυπωθεί η σημασία του. () () () () SST=7, =7 =7 SSR=7, παράμετροι με τυπικά σφάλματα Απαντείστε στα επόμενα ερωτήματα: α) Σχηματίστε τον πίνακα ANOVA του μοντέλου () και διατυπώστε τα συμπεράσματά σας. β) Παρατηρήθηκε ότι υπάλληλοι είχαν ίδια ηλικία και ίδιο αρχικό μισθό, ενώ η διασπορά του τελικού μισθού τους ήταν.. Άλλοι με ίδια ηλικία και ίδιο αρχικό μισθό είχαν διασπορά του τελικού τους μισθού 7.. Τέλος, άλλοι 7 με ίδια ηλικία και ίδιο αρχικό μισθό είχαν διασπορά του τελικού τους μισθού.7. Με αυτή την πληροφορία εξετάστε αν το μοντέλο () είναι ικανοποιητικό ή όχι. γ) Ελέγξτε στο μοντέλο () αν ισχύει β =-. σε στάθμη σημαντικότητας.. δ) Μπορεί το μοντέλο () να αντικαταστήσει το μοντέλο (); (Σημείωση. Στα (γ), (δ) να γραφεί η μηδενική υπόθεση και η εναλλακτική της)

27 Ποιοτικές Μεταβλητές ως προβλέπουσες ΚΕΦΑΛΑΙΟ X X X k k Προϋπόθεση : Προβλέπουσες μεταβλητές ποσοτικές (μετρήσιμες) ΜΕΤΑΣΧΗΜΑΤΙΣΜΟΙ ΜΕΤΑΒΛΗΤΩΝ Μωυσιάδης Χρόνης o Εξάμηνο Μαθηματικών Τι συμβαίνει αν κάποια (ή κάποιες) Χ είναι ποιοτική ; Έστω Χ ποιοτική προβλέπουσα με ν κατηγορίες. Τότε αντικαθίσταται με ν- βωβές μεταβλητές τις: δείκτριες Ζ, Ζ,, Ζ ν- μεταβλητές όπου X Z Z Z. Zν- ν- ν η κατηγορία η κατηγορία (ν-)-στή κατηγορία ν-στή κατηγορία Παράδειγμα Παλινδρομήσεις (ανά ποικιλία) Α, Β, C ποικιλίες από γαλοπούλες Χ ηλικία (σε εβδομ.) Υ βάρος (σε ouds) X Α Α Α Α Β Β Β Β Διαφέρουν οι ποικιλίες; Ποικ. X Ποικ. Γ Γ Γ Γ Γ Μοντέλο Ŷ..7 X () s( ).,.,. R.7 β βx β βx β βx β βx (για την ποικιλία Α) (για την ποικιλία Β) (για την ποικιλία Γ) Α Β Γ Χ Υ.... Ŷ -.7. X Με βωβές μεταβλητές Οπτικός έλεγχος του μοντέλου Χ Υ Ποικ. Z Z Α Α Α Α Β Β Β Β Γ Γ Γ Γ Γ β βx α + α R.7.. X.. () Ŷ -.7.X Ŷ -.7.X Ŷ..X (για την Α) (για την Β) (για την Γ) Υπόλοιπα ανά ποικιλία Α Β Γ Παλινδρόμηση ανά ποικιλία Γ Α Β

28 ΕΡΩΤΗΜΑΤΑ 7 ΕΡΩΤΗΜΑΤΑ (συν.) Η : β = β = β Η : όχι η Η SSR =.7 SSR Π =. s =. Όμως F,;. =. Οι ποικιλίες Α, Β, Γ διαφέρουν; β = β + a επειδή β = β + a β = β Η : α = α = Η : όχι η Η το () είναι περιορισμένο του () που είναι το πλήρες (.7-. )/ F = =.. Άρα για α=. η Η ΑΠΟΡΡΙΠΤΕΤΑΙ ή δεν αρκεί το μοντέλο () να περιγράψει το Η : β = β ¹ β Η : όχι η Η Οι ποικιλίες Α, Βείναι όμοιες αλλά διαφέρουν από τη Γ; Τώρα περιορισμένο είναι το: Η : α = α ¹ Η : όχι η Η X ( ) με πλήρες το: β βx α + α ( SSR - SSRP )/.7-. F = = =. s. Όμως F,;. =. Άρα για οποιοδήποτε α η Η ΔΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ ή δεν ισοδύναμα έχουμε δύο ποικιλίες τις Α,Β και τη Γ. ΤΕΛΙΚΟ ΜΟΝΤΕΛΟ Με αλληλεπίδραση..77 X.7( ) Σφάλματα., -.,.,., -.7, -.,., -., -., -., -.7,.,. με. (παράβαλε. στο (),. στο () ) R =.7 και s =. Γραφικές παραστάσεις Α Β Γ () Α ή Β Γ β β X α + α X +γ X ().7.X..77. X. X Ŷ -.7. X Ŷ -..7X Ŷ.7.X (για την Α) (για την Β) (για την Γ) οι αλληλεπιδράσεις R. Γ Α Β ΑΛΛΑ ΠΙΘΑΝΑ ΜΟΝΤΕΛΑ Άλλες βωβές Μεταβλητές β βx α ( + ) X ( + ) () Το μοντέλο () με αλληλεπιδράσεις Είναι οι μεταβλητές W,,W κατάλληλες να αντικαταστήσουν το Χ με κατηγορίες; β β X β X α ( + ) a X ( + ) ax ( + ) Με δευτεροβάθμιες σχέσεις και αλληλεπιδράσεις β β X β X ( X X ) + ( X X ) ( X X )( + ) Πιο πολύπλοκο μοντέλο Στο τελευταίο μοντέλο είναι k=. Έτσι απαιτείται να είναι το -k- τουλάχιστον, δηλαδή ³. () (7) Χ W W W W W Ισχύουν W Z W Z Z W Z Z Z W Z Z Z Z W Z Z Z Z Z Συγκρίνουμε με τις μεταβλητές Ζ k και Z Z Z Z Z Z W Z W W Z W W Z W W Z W W άρα μπορούν οι W k να χρησιμοποιηθούν αντί των Z k

29 ΠΑΡΑΔΕΙΓΜΑ (άσκηση.) Το μοντέλο διαδοχικά έτη y ζήτηση σε τόνους Στο ο έτος ένα ανταγωνιστικό προϊόν αναβαθμίστηκε Θέτουμε Περίοδος Ι τα έτη έως Περίοδος ΙΙ τα έτη έως Παρατηρούμε αυξάνει στην Ι, σταθερό στην ΙΙ αυξάνει στην ΙΙ, σταθερό στην Ι + =, είναι δείκτρια της ΙΙ y z β β X β X β X ).7.7 X.7 X.7 X όπου s( ) (.7,.7,.,.) Για < είναι =, =, =, οπότε:.7.7 X, X Για > είναι = +, =, =, οπότε:.7.7 X, X και SSR=.77 () () () Γραφική παράσταση των μοντέλων Υποθέσεις περ. I περ. IΙ Η : β = -.7 T = =-. Η : β ¹. αλλά t ;. =-.7 Η : β = β, β ¹ Η : όχι η Η ΔΕΝ ΤΑΥΤΙΖΟΝΤΑΙ ΟΙ ΓΡΑΜΜΕΣ ελέγχεται με το μοντέλο β β ( X X ) β X ) που είναι συμπτυγμένο του πλήρους SSR - SSRS F = = =.7 s. και F,;. =.7 ΔΕΝ ΕΊΝΑΙ ΠΑΡΑΛΛΗΛΕΣ ΟΙ ΓΡΑΜΜΕΣ ΕΤΕΡΟΣΚΕΔΑΣΤΙΚΟΤΗΤΑ 7 Σχόλια Αναγκαίες προϋποθέσεις εφαρμογής γραμμικού μοντέλου () σύμφωνα με προϋποθέσεις e N I οπτικός έλεγχος Σχηματίζουμε τα γραφήματα æ e ö ç, çè s ø æ e ö ç y, çè s ø (, s ) ή E() e = V ( e) = s I () () () Υπάρχει αύξηση της διασποράς κατά τον άξονα ή ŷανάλογα. Πιθανή βελτίωση: Να θεωρηθεί Va( e ) = k. Τότε προφανώς Va( e και το μοντέλο = β +β X + ε / ) = k γράφεται /Χ = β +β (/X) + (ε/χ) ή W = α +α Z + e που ικανοποιεί τις προϋποθέσεις Υπάρχει συστηματικό λάθος. Το μοντέλο υπερ-εκτιμά την πραγματικότητα στις μικρές τιμές του (ή ŷ ανάλογα) και την υπο-εκτιμά στις μεγάλες τιμές. Πιθανή βελτίωση με προσθήκη σταθερών όρων ή γραμμικά συσχετισμένων μεταβλητών. Υπάρχει συστηματικό λάθος. Πιθανή βελτίωση με προσθήκη δευτεροβάθμιων όρων.

30 ΠΑΡΑΔΕΙΓΜΑ (παρ..) με το μετασχηματισμό = πλήθος εργατών y = πλήθος εξεταστών stadadzed esduals - - Θέτουμε Μοντέλο = β + βx + ε =. +.X (.) (.) z=/ και w=y/ με R =.77 α/α y Νέο Μοντέλο W=α +α Z+e W =.+.Z με R (.) (.7) =.7 stadadzed esduals / =.+.X Οι τελευταίοι συντελεστές δεν είναι αξιόπιστοι α/α z w Σύγκριση των δύο γραμμών Μέθοδος Σταθμισμένων ε.τ. y y=.+. y=.+. Ας υποθέσουμε ότι στο μοντέλο e N (, s V ) ή = X β + ε E() e = V() e = s V ισχύουν: Επειδή V θ.ο. πίνακας πάντα μη=ιδιάζων συμμετρικός πίνακας P ώστε: - f = P e - - E ( f) =E ( P e) = P E ( e) = é ù V( f) = E ( f -E( f) )( f - E( f) ) = E( f f ) = ê ú ë û ( P P ) P ( ) P P V( ) P = s P V P = s P PPP = s I Θέτοντας: PP = PP= P = V =E ee = E ee = e = Εκτίμηση συντελεστών με σταθμ. ε.τ. Για ασυσχέτιστες προβλέπουσες Άρα οπότε = X β + ε P = P X β +P ε Q= Z β +f στο οποίο ικανοποιούνται οι γνωστές προϋποθέσεις æ σ ö σ ç V (ε)=vσ = σ ç çè σ ø æω ö ω - V ç ω = ç çè ω ø άρα - β =(Z Z) (Z Q) β =(X P P X ) (X P P ) ) β =(X V X ) (X V όπου σ ω = σ Παρατηρούμε å æ ö - = ç ø XV X ω j k è å æ ö - = ç ø XV ω j y è ενώ ενώ æ ö X X = ç å ç j k è ø æ ö X = ç y å ç j è ø Δηλαδή τα ω λειτουργούν ως συντελεστές στάθμισης

31 ΠΑΡΑΔΕΙΓΜΑ (το προηγούμενο) ΣΤΑΤΙΣΤΙΚΟ Dub - Watso Στο μοντέλο = β + βx + ε υποθέτουμε Ισοδύναμα = X β + ε όπου: y y X y ) και Va β =(X V X ) (X V = - æ.7.ö æ.7ö = ç = è. 7 ø è ç.7ø æ.ö = ç çè.ø δηλαδή προέκυψε πάλι το ίδιο μοντέλο (ε ) = σ Φαίνεται από το σχήμα æ ö ç ç V ( e) = s ç ç çè ø Αν στο μοντέλο = β + βx + + βkx k + ε υποθέσουμε ότι εt = ρεt-+ ηt όπου η t N(,σ ) και η t ανεξάρτητη των ε t-, ε t-,, η t-, η t-, τότε ο συντ. συσχ. των σφαλμάτων Το στατιστικό ελέγχει την υπόθεση d = å( εt - εt-) t= åεt t= Η : ρ= Η : ρ> ε, ε ή είναι Η : ρ= Η : ρ< ρs s = ρ ή Η : ρ= Η : ρ Από πίνακες υπολογίζονται για διάφορα α οι τιμές d L, d U, και συγκρίνουμε με την τιμή του d. +s Σχηματικός έλεγχος DW τεστ 7 Παράδειγμα H : = θετική αυτοσυσχέτιση H : > H : = αρνητική αυτοσυσχέτιση H : < Στο τελευταίο παράδειγμα βρίσκουμε: å ( εk - εk-) k= d = =.7 ε å k= k ΑΠΟΡ. H δεν αποφ. δεν απορ. d L d u δεν απορ. H : = H : δεν αποφ. ΑΠΟΡ. H -d u -d L DW (d) Από πίνακες βρίσκουμε ότι για k= (προβλέπουσες μεταβλητές) και =7, και για α=. τα όρια είναι d L =., και d U =. d L d u -d u -d L Δεν μπορούμε να αποφασίσουμε Όρια του στατιστικού D-W Όρια του στατιστικού D-W (συν.)

32 y Θέματα () Θέματα () Ο διπλανός πίνακας περιέχει εξαμηνιαίες μετρήσεις των πωλήσεων μιας επιχείρησης. Είναι γνωστό ότι οι πρώτες μετρήσεις έχουν μια γραμμική σχέση, οι επόμενες έχουν μια άλλη γραμμική σχέση, όπως φαίνεται οπτικά κι από το σχήμα. Το ερώτημα είναι κατά πόσον αυτές οι γραμμικές σχέσεις είναι ίδιες ή διαφορετικές. Κάναμε δύο παλινδρομήσεις και πήραμε τα παρακάτω μοντέλα πρόβλεψης () y =.+.7, με SSR=., SST=. () y =.7 +., +. με SSR=. α) Να βρεθούν οι γραμμικές σχέσεις στα διαστήματα και ³, και να παρασταθούν γρα-φικά. β) Εξετάστε αν οι δύο γραμμές ταυτίζονται (να διατυπωθεί η υπόθεση την οποία θα ελέγξετε) Ημερομηνία y Μάρ Σεπ Μάρ Σεπ Μάρ. 7. Σεπ Μάρ. 7. Σεπ. 7. Μάρ. 7. Σε μια μελέτη της σχέσης των μισθών με το κοινωνικο-οικονομικό-εκπαιδευτικό επίπεδο των εργαζομένων ο ερευνητής χώρισε τα άτομα που συμμετείχαν σε τρεις κατηγορίες =χαμηλό, =μέσο και =υψηλό. Κατέγραψε τους μηνιαίους μισθούς τους σε την εμπειρία τους X σε έτη. Στη συνέχεια όρισε βωβές μεταβλητές Ζ με τιμή για τα άτομα χαμηλού επιπέδου και για τα άλλα και Ζ με τιμή για τα άτομα μεσαίου επιπέδου και για τα άλλα. Συμβόλισε τέλος W =XZ και W =XZ τις μεταβλητές που συνδυάζουν την εμπειρία με το επίπεδο του εργαζομένου. Όρισε τέλος και τις μεταβλητές U =Z +Z και U =X(Z +Z )=W +W. Προκειμένου να βρεθεί ένα μοντέλο πρόβλεψης του μισθού σε κάθε επίπεδο των εργαζομένων έγινε μια σειρά από παλινδρομήσεις, ορισμένα από τα αποτελέσματα των οποίων δίνονται στον πίνακα. Στο σχήμα δίνονται γραφικά οι τρεις γραμμές παλινδρόμησης. Μεταβλητές στο μοντέλο Αθροίσματα, Συντελεστές (Χ) SST=, SSR=, (β,β )=(.,.). (Χ,Ζ,Ζ,W,W ) SSR=, (β, β, γ, γ, δ, δ )=(.,.,-.,-.,-.,-.) (Χ,U,U ) SSR=7, (β, β, ε, ε )=(.,.,-.,-.) Θέματα ( συν.) Θέματα () Στο σχήμα δίνονται γραφικά οι τρεις γραμμές παλινδρόμησης. α) Βρέστε συνδυάζοντας κατάλληλα τις πληροφορίες του πίνακα, τα μοντέλα πρόβλεψης του μισθού από την εμπειρία σε κάθε επίπεδο και σημειώστε τα στο σχήμα. β) Ποια μηδενική υπόθεση ελέγχει το εάν οι τρεις ευθείες ταυτίζονται; Διατυπώστε την υπόθεση με τρόπο που να αφορά τις παραμέτρους ενός μοντέλου και στη συνέχεια κάντε τον έλεγχο. 7 Εικοσιμία παρατηρήσεις της μεταβλητής Υ για δοσμένες τιμές των Χ, Χ και Χ δίνονται στο διπλανό πίνακα. Προκειμένου να βρεθεί το καλύτερο μοντέλο που εκτιμά τις τιμές της Υ από αυτές των Χ, Χ και Χ έγιναν όλες οι δυνατές παλινδρομήσεις της Υ με τις Χ k, k=,,. Δίνεται ότι SST=., και ότι το SSR για τα διάφορα μοντέλα είναι: μεταβλητές SSR (). (). (). (, ). (, ). (, ).7 (,, ). Χ Χ Χ όπου οι αριθμοί στις παρενθέσεις δηλώνουν ποιες μεταβλητές είναι στο μοντέλο..... Θέματα ( συν.) α) Βρέστε το καλύτερο και το αμέσως καλύτερο μοντέλο με το κριτήριο R. Να αποδειχθεί ο ισχυρισμός σας με κατάλληλο έλεγχο. β) Παρατηρώντας ότι η μεταβλητή Χ έχει τέσσερις κατηγορίες, ορίσαμε τρεις βωβές μεταβλητές τις Ζ, Ζ και Ζ που παίρνουν την τιμή όταν η Χ είναι αντίστοιχα,. και. και αλλού. Στη συνέχεια κάναμε παλινδρόμηση θεωρώντας το μοντέλο Υ=β +β Χ +β Χ +α Ζ +α Ζ +α Ζ +ε, και πήραμε R =., ενώ οι συντελεστές παλινδρόμησης ήταν αντίστοιχα: (β,β,β,α,α,α )=(.,.,.7,.,.,.). Βρέστε το μοντέλο πρόβλεψης της Υ για τις κατηγορίες της Χ και δείξτε ότι τα τέσσερα αυτά μοντέλα ταυτίζονται αν ισχύει α =α =α =. Στη συνέχεια, κάντε τον έλεγχο αν τα τέσσερα μοντέλα ταυτίζονται.