ΚΕΦΑΛΑΙΟ Επιλογή Μταβλητών Μωυσιάδης Χρόνης 6 o Εξάµηνο Μαθηµατικών Πολυσυγγραµµικότητα Αν ισχύι X = λ + λ X + + λ X + λ X + + λ X + ( ) j j- j- j+ j+ k k ΤΟΤΕ j, j j+, k, j, j j+, k, Χ= x x x x x x x x x x x x x x x n j, n jn j+, n k, n * Πίνακας Σχδιασµού Επιδή ank(x)<k+, άρα ank(x X)<k+, οπότ Χ Χ = ˆβ δηλαδή δν ορίζται διάνυσµα. Αν η σχέση (*) ίναι πρίπου ισότητα τότ η τυπ. απόκλιση s(β i ) τίνι στο Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Παράδιγµα. 3 Y= β + β X + β X + Έστω το µοντέλο: y x x β y x x Y= X= β β = = y n x n x β n n Θέτω: S = ( n ) s = ( x i x ) = x i n x x i = S+ n x S = ( n ) s = ( x x ) = x n x x = S + n x i i S = ( x x )( x x ) = x x n x x i i i i οπότ cov( x, x ) ( x x )( x x ) i i = = Va( x ) Va( x ) ( x i x ) ( xi x) i x x = S + n x x i i = S S S Παράδιγµα. (συν.) 4 και n x x n X X = nx S S = n( S S S ) = n( n ) s s ( ) nx S S n nx nx, i, i = x = nx S + nx S + nx x, i x, i x x, i, i x x x x, i, i, i, i X X ( X X) n S + nx ) nx nx S + nx x S + nx * * * = * ( * X X * * n( S + nx ) nx Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Παράδιγµα. (συν.) 5 Άρα ns n( n ) s s s s s ( ) ( ) ( ) ( ) ( ˆ β) = = = X X n n s s n s s Όµως SSE i = = n n 3 Όταν ˆ i s( β) = ( n 3)( n ) s ˆ i s( β) = ( n 3)( n ) s ± s( ˆ β ), s( ˆ β ) Παράδιγµα. 6 Έστω ότι ισχύι το µοντέλο: έχουµ όµως υποθέσι: τότ bˆ = i i ( x i x ) ˆ b = ( x x ) ( x x ) + ( x x ) + = ( x x )( y y) νώ [ β β ] i i i S = β( x i x ) + β( x i x )( x i x) + A= S S = [ β + β ] + = β + β + S S S A A S Ebˆ Y= β + β X + β X + Y= b + b X+ Y Y = β ( X X ) + β ( X X ) + Ebˆ S = β + β = S s = β + β ˆb αµρόληπτο αν = ή β s = = β + β S S Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 3
Παράδιγµα (αντ. του. του βιβλίου) 7 ίνονται : Χ, Χ, Χ 3 στον πίνακα Υπολογίσαµ τιµές Υ, Y=-+4X +4X +4X 3 + µ ~Ν(,) Αν γνωρίζουµ ότι η µταβλητή Y ξαρτάται από τις Χ, Χ, Χ 3, τότ προσαρµόζουµ το µοντέλο Y=β +β X +β X +β 3 X 3 + Αν δν γνωρίζουµ π.χ. για την Χ 3 τότ προσαρµόζουµ το Y=β +β X +β X + Βρίσκουµ: X X X 3 Y, Y 3 4 3 -.455 8.5745 9 4 54.6498 55.6498 3 6 7 98.79348 98.7935 4 5 7 -.3499 68.659 5 6 34.7963 34.7963 6 6 5 6 66.3357 67.336 7 3 5 38.453 39.453 8 4 3.44845 3.4484 9 3 6 74.3787 75.379 6 3 8 66 -.438 64.7569 5 6.55448 6.5545 4 6 9 74.4566 74.4566 3 5 7 54 -.49 5.8759 4 6 5 5.9398 5.9398 5 5 3 34.39874 34.3987 Παράδιγµα (συν.) 8 Μοντέλο (Χ, Χ, Χ 3 ) β = ˆ (-.55, 4.9, 4.668, 3.6) ( ˆ) (.765,.,.56,.7) s β = R =.9986 Η : β =4 Η : β >4 β T= = = s( ˆ β ).84 δηλαδή β 4 διαφορτικό από το αναµνόµνο Μοντέλο (Χ, Χ ) β = ˆ ( 3.933, 4.648, 9.88) s( ˆ β ) =( 4.45,.59,.84) R =.94 ˆ 4 5.88 6.4 νώ t,. =.68998 (µονόπλυρο τστ) Χ Χ Χ 3 Χ..45.664 R= Χ.45..8487 Χ 3.664.8487. X, X =.84 3 δηλ. Χ, Χ 3 γραµ. συσχτισµένς και άρα η κτίµηση του β όχι αµρόληπτη Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 4
ΠΕΡΙΟΡΙΣΜΕΝΟ ΜΟΝΤΕΛΟ (Απαλοιφή µταβλητών) Απαλίφοντας τις τλυταίς k µταβλητές, το µοντέλο 9 Y= β + β X + + β X + β X + + β X + k-k k-k k-k + k-k + k k ανάγται στο: πλήρς Θέτοντας Y= X β+ b β = b ή όπου Y= β + β X + + β X + b k-k k-k β β = βk k b β β βk k k+ πριορισµένο k k+ = Y= X b+ X b+ Y= X b+ Η µηδνική υπόθση b Y= ( X X) + b όπου ( ) X X X Y= X b+ X b+ k k, k k+, k = = x xk k, xk k+, xk x x x x x n xk k, n xk k+, n x kn Αν το πλήρς ΕΝ ΙΑΦΕΡΕΙ από το πριορισµένο τότ θα πρέπι b = Έτσι η υπόθση Η : b = µ ναλλακτική Η : b λέγχι άν τα δύο µοντέλα ΤΑΥΤΙΖΟΝΤΑΙ ή όχι (Αν απορρίπτται η Η τα µοντέλα διαφέρουν) Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 5
ιάσπαση του SSR Από τη σχέση: SST = SSR+ SSE προκύπτι X X X X J ( ) n n SST = SSR + ( SSR SSR ) + SSE Π Π SSR SSE Π και µ τρόπο ανάλογο του Κφαλαίου, παίρνουµ X ( X X ) X X ( X X ) X ( Π) Y Y= Y A Y+ Y A, Π Y+ Y A A, Y+ Y A3 Y β.. k-k k n-k- Το Θώρηµα Η : b = Η : b ή/και F= F= ( ) SSR SSR / k Π SSΕ /( n k ) ( ΧΥ ΧΥ ) βˆ bˆ / k SSΕ/( n k ) ~ F k, n k ~ F k, n k Εφαρµογή σ πριορισµένο µοντέλο κατά µταβλητή (X i ) Y = β + β X + + β X + β X + β X + + β X + πλήρς i- i- i i i+ i+ k k Y = β + β X + + β X + β X + + β X + i- i- i+ i+ k k πριορισµένο συµβολισµός SSR, SSE SSR( i), SSE( i) Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 6
Πόρισµα (έλγχος παραµέτρου) 3 Η : i Η : β i SSR SSR F= ~ F SS Ε /( n k ) β= ( i), n k ή/και βˆ ΧΥ βˆ ( i) Χ ( i) Υ F= ~ F SSΕ /( n k ) Για να ταυτίζται το πλήρς µ το πριορισµένο αρκί να ισχύι η υπόθση, n k Εφαρµογή στο παράδ. της συστολικής πίσης Η : β = Η : β χωρίς την (i+) γραµµή χωρίς την (i+) στήλη Y= β+ β X+ β X+ Y= β + β X + πριορισµένο (συν.) 4 3 55 X () X () = 694 55 95 X () Y = 6535 ˆ 4.595 β=.95 SSR άρα = β ˆ X Y ( 694 ) = 3 93.769 () () 43.83 93.769 F= = 95.46 6.93 Παρατηρήστ ότι T = 3.975 = 95.36 SSR=43.83 s =6.93 νώ F,;.5 =.8 δηλαδή ΑΠΟΡΡΙΠΤΕΤΑΙ η Η Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 7
ΣΥΜΠΤΥΓΜΕΝΟ ΜΟΝΤΕΛΟ (Παλινδρόµηση υπό πριορισµούς) 5 Y = β + βx + β X +... + βk X k + Έστω λβ ΙΙ = c ή βιι = c, κλπ Αν µ γραµµικούς µτασχηµατισµούς των Y, X,,X k καταλήξουµ στο: W = γ + γζ + γζ +... + γk -νζ k ν + και µ τον ίδιο µτασχηµατισµό για το Υ, το αρχικό γίνται: W = β + β X+ β X +... + β k X k + Η ταύτισή τους λέγχται µ το λόγο και ( SSR SSR) Σ / ν F= ~ F SS Ε /( n k ) βι β = β ΙΙ ΤΟΤΕ συµπτυγµένο πλήρς ν, n k Παράδιγµα 6 Έστω Y = β + β X + β X + β X + β X + µ β + β = Μ αντικατάσταση του β ( = β ) 3 3 3 4 4 παίρνουµ Y = X +β + β X + β ( X X ) + β X + Y X =β + β X + β ( X X ) + β X + θέτοντας 3 3 4 4 W = Y X, Z = X, Z = X X, Z = X παίρνουµ 3 3 4 4 3 3 4 W =γ + γ Ζ + γ Ζ + γ Ζ + που ίναι συµπτυγµένο του 3 3 W = β + β X + β X + β X + β X + 3 3 4 4 3 δν ίναι γ.µ. γ = β, γ = β, γ = β, γ = β 3 3 4 µ β = β Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 8
ύτρο παράδιγµα 7 Έστω Y = β + β X + β X + β X + β X + β X + µ Μ αντικατάσταση των ή όπου 3 3 4 4 5 5 β - β + β = 3 5 και β =β4 β β 4, 5 παίρνουµ Y = β + β ( X X ) + β ( X + X ) + β ( X + X ) + Το 5 4 3 3 5 Y =β + β Z + β Z + β Z + 3 3 Z = X X, Z = X + X, Z = X + X 5 4 3 3 5 Y =β + β Z + β Z + β Z + ίναι συµπτυγµένο του 3 3 Y = β + β X + β X + β X + β X + β X + µ ν= 3 3 4 4 5 5 Παράδιγµα (.3 του βιβλίου) Έρυνα σ 3 διυθύνσις νός οργανισµού. Σ κάθ µία που ίχ ένα δ/ντή ρωτήθηκαν 35 τυχαίοι υπάλληλοι και καταγράφηκαν τα ποσοστά θτικών απαντήσων Μταβλητή y x x x 3 x 4 x 5 x 6 Πριγραφή Συνολική αξιολόγηση της παρουσίας του προϊσταµένου Αντιµτωπίζι τα παράπονα των υπαλλήλων ν πιτρέπι ιδικά προνόµια ίνι υκαιρίς για κπαίδυση σ νέα αντικίµνα ίνι αυξήσις βασισµένς στην παρουσία Είναι υπρβολικά αυστηρός σ όχι καλή παρουσία Ρυθµός προώθησης σ ανώτρς θέσις α/α y x x x 3 x 4 x 5 x 6 43 5 3 39 6 9 45 63 64 5 54 63 73 47 3 7 7 68 69 76 86 48 4 6 63 45 47 54 84 35 5 8 78 56 66 7 83 47 6 43 55 49 44 54 49 34 7 58 67 4 56 66 68 35 8 7 75 5 55 7 66 4 9 7 8 7 67 7 83 3 67 6 45 47 6 8 4 64 53 53 58 58 67 34 67 6 47 39 59 74 4 3 69 6 57 4 55 63 5 4 68 83 83 45 59 77 35 5 77 77 54 7 79 77 46 6 8 9 5 7 6 54 36 7 74 85 64 69 79 79 63 8 65 6 65 75 55 8 6 9 65 7 46 57 75 85 46 5 58 68 54 64 78 5 5 4 33 34 43 64 33 64 6 5 6 66 8 4 3 53 66 5 5 63 8 37 4 4 37 4 58 5 57 49 5 63 54 4 48 66 75 33 6 66 77 66 63 88 76 7 7 78 75 58 74 8 78 49 8 48 57 44 45 5 83 38 9 85 85 7 7 77 74 55 3 8 8 39 59 64 78 39 8 Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 9
Πλήρς µοντέλο Υπόθση η 9 Το µοντέλο Y = β + β X+ β X + β3 X 3+ β4 X 4 + β5 X 5+ β6 X 6 + δίνι ˆ β.787.63 -.73.3.8.38 -.7 s( ˆ β ) =.589.6.36.68..47.78 P(> t ).36..596.7.75.796.36 Υπόθση η H : β = β3, β =β 4 =β 5 =β6= H :όχι η H Y = β + β ( X+ X ) 3 + Y = β + βz + (συµπτυγµένο µ ν=5) Επιδή SSR = 347.966, s =49.95654 ( 347.97 87.77 )/ 5 F= =. SSR Σ =87.37 49.95654 Η ΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ για κανένα α Υπόθση η H : β = β3 β =β 4 =β 5 =β6= H :όχι η H Τώρα το πλήρς µοντέλο ίναι Y = β + β X + X + ( ) 3 Επιδή SSR = 34.38, s =46.46848 SSR Σ =87.37 Όµως F,3;.5 =4.79 Y = β + β X + β X + 3 Y = β + β Z + (συµπτυγµένο µ ν=) ( 34.3 87.77 )/ F= = 3.65 46.46848 Άρα για α=.5 η Η ΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Υπόθση 3η H : β +β3=, β =β 4 =β 5 =β6= H :όχι η H Οι υποθέσις δίνουν Y = β + β X+ ( β) X 3+ Y X (συµπτυγµένο 3 = β + β ( X X ) 3 + W = β + βz+ µ ν=5, του) Y X = β + β X + β X + ( β ) X + β X + β X + β X + 3 3 3 4 4 5 5 6 6 W = β + β X + β X + β X + β X + β X + β X + Επιδή SST=33.867 ( ιαφορτικό) SSR = 974.866, s =49.95654 SSR Σ =794.39 Επιδή F< 3 3 4 4 5 5 6 6 ( 974.86 794.3 )/ 5 F= =.7 49.957 Άρα για κάθ α η Η ΕΝ ΑΠΟΡΡΙΠΤΕΤΑΙ Σύγκριση µοντέλων ˆ = + +.... ˆ ) Y ˆ =.+.7X.3 + X3 Υ Y.8.6X X6 Ŷ= 4.37 +.75X Y= 9.9+.4(X + X3 43 63 7 6 8 43 58... i 5.3 6.358 69.9394 6.68 74.4538 53.948 67.484... 49 5.864 6.673 67.99 6.967 73.359 55.8799 64.935... 369.38 49.9833 6.46 7.7584 58.87 73.983 53.988 64.648... 44.59 48.99 6.645 7.363 59.7673 75.99 53.983 65.983... 337.4 Οποιοδήποτ από τα τρία τλυταία µοντέλα µοιάζι να προσγγίζι το ίδιο καλά το πλήρς, έχοντας πολύ λιγότρς µταβλητές. Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Μρικός συντλστής προσδιορισµού µρικός συντλστής συσχέτισης 3 Y = β+ β X+ + βi- X i-+ βi X i+ βi+ X i+ + + βk X k + πλήρς Y = β + β X + + β X + β X + + β X + i- i- i+ i+ k k πριορισµένο SST yi; k yi;...( i )( i+ ).. k Πλήθος µταβλητών στο πλήρς µοντέλο SSR SSR (i) SSE( i) SSE = = SSE Οι µταβλητές στο µοντέλο ( i) SSE SSE (i) Είναι το ποσοστό της µέχρι τώρα ανξήγητης διασποράς που ξηγίται µ την ισαγωγή τη X i Εξαρτάται από τις µταβλητές Yκαι X i, αλλά και από τις µταβλητές που ίναι ήδη στο µοντέλο. Σχέση yi;kµ λόγο F 4 Ο λόγος F από το θώρηµα λέγχου ταυτότητας των δύο µοντέλων, γίνται: Άρα και SSR SSR( i) F= ~ F SS Ε /( n k ) SSE ( i) ( i) SSE SSE( i) SSE SSE( i) F= = SSΕ /( n k ) SSΕ /( n k ) SSE yi k F= ( n k ) yi; k ; yi; k F = ( n k ) + F, n k Συµπέρασµα. Αν η µταβλητή µ την ίσοδό της ρµηνύι το µγαλύτρο ποσοστό ανρµήνυτης διασποράς, τότ ο λόγος Fθα ίναι ο µγαλύτρος δυνατός για τις µταβλητές που δν ίναι στο µοντέλο Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Αναδροµικός ορισµός µρ. συντ. συσχ. 5 yi; ( i )( i+ ) k Παράδιγµα = yi; ( i )( i+ ) ( j )( j+ ) k y j; ( i )( i+ ) ( j )( j+ ) k i j; ( i )( i+ ) ( j )( j+ ) k ( y j; ( i )( i+ ) ( j )( j+ ) k)( i j; ( i )( i+ ) ( j )( j+ ) k) Y = β + β X + β X + Y = β + β X + y; = y y SSE ( y)( ) () y; Μρικός συντλστής προσδιορισµού (συσχέτισης) της yµ την x όταν στο µοντέλο υπήρχ ήδη η x. Y = β + β X + β X + Y = β + β X + y; = y y SSE ( y)( ) () y; Μρικός συντλστής προσδιορισµού (συσχέτισης) της yµ την x όταν στο µοντέλο υπήρχ ήδη η x. Άλλο παράδιγµα 6 Στο πλήρς µοντέλο έχουµ 5 µταβλητές (x,, x 5 ). Να βρθί το y 3; έπρπ να υπολογίσουµ y 3; y ; 3; όπου y 3;, y ;, 3; y3; = υπολ. όπως προηγ. σλίδα Έστω πίνακας διασπορών συνδιασπορών S ( y ;)( 3;) Y X X X X X 3 4 5 586-3.6-6.955 -.5 5.74 5.69 Υ -3.6.5897 -.769 Χ -6.955 -.769.5897 Χ S = -.5.3333 Χ 5.74.6667 Χ 5.69.6667 Χ S S S 3 4 5 Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 3
(συν.) 7 A S S S S 84.645-3.6-6.955 -.5-3.6.5897 -.769-6.955 -.769.5897-6.955.3333 = =.7359.7359 = 84.645 /.3 B= diag A = =.5897 ( ).3.3.73 =.73.3333 Υπολογίζουµ y3; y4; y5; στην πρώτη -.347 -.6665 -.593 γραµµή -.347 -.34 B A B= -.6665 -.34 -.593 Επιλογή του καλύτρου µοντέλου απ όλα τα δυνατά Αν η µταβλητή yµπορί να ξαρτάται από µία ή πρισσότρς από τις x, x,, x k, ποιό ίναι το καλύτρο µοντέλο; 8 Αν ίναι φικτό υπολογίζουµ όλα τα k µοντέλα διαιρώντας τα σ k+ κλάσις, ανάλογα µ το πλήθος των µταβλητών που πριέχουν Α Β Γ Κ Y = β + Y = β+ β X i+, i=,,..., k Y = β+ β X i+ β X j+, i, j=,,..., k Y = β + β X + β X + + β X + k k ( ) ( i ) ( i, j ).. (,,3,,k) Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 4
H µέθοδος Gaside 9 Είναι γνωστό (από άλγβρα πινάκων) A γ = Α( c γ A γ), αν Α γ c A γ A + A γγ A A γ λ λ =, αν Α,λ = c γ c γ A λ λ δηλαδή προσθήκη ή διαγραφή µιας µόνο µταβλητής σ µοντέλο κάνι ύκολο τον υπολογισµό ορίζουσας και αντιστρόφου του Χ Χ O Gaside πρότιν (965) την παρακάτω διαδοχή µοντέλων Για k=3 () () (, ) () (,3) (,,3) (,3) (3) Για k=4 () () (, ) () (,3) (,,3) (,3) (3) γ A γ (3, 4) (,3, 4) (,,3, 4) (,3, 4) (, 4) (,, 4) (, 4) (4) Κριτήριο R 3 Από τα µοντέλα κάθ κλάσης υπολογίζω τα δύο µγαλύτρα R και τα καταγράφω (συνήθως πολλαπλασιασµένα πί ) Κλάση Μταβλ. Στο µοντέλο Μέγιστο R Α ( ) R Β Γ (i ) (i ) ( i, j ) ( i, j ) R i R i R i,j R i,j.... Κ (,,,k) R Επιλέγουµ κίνο από τα µοντέλα που ίναι στη χαµηλότρη κλάση και δν διαφέρι σηµαντικά από το πλήρς. Στην ίδια κλάση πιλέγουµ ανάλογα µ το πρόβληµα. Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 5
Παράδιγµα (.8 του βιβλίου) 3 yθρµοκρασία στροποίησης τσιµέντου, x i % πρικτικότητα 4 υλικών y x x x 3 x 4 78.5 7 6 6 6 74.3 9 5 5 3 4.3 56 8 4 87.6 3 8 47 5 95.9 7 5 6 33 6 9. 55 9 7.7 3 7 7 6 8 7.5 3 44 9 93. 54 8 5.9 47 4 6 83.8 4 3 34 3.3 66 9 3 9.4 68 8 Εφαρµογή του κριτηρίου R 3 Οι τέσσρις κλάσις έχουν νόηµα (στην Α ίναι R =) Κλάση Μταβλητές στο µοντέλο Μέγιστο R Β Γ () (4) (, ) (, 4 ) (,, 4 ) (,, 3 ) 67.5 66.6 97.9 97. 98.34 98.8 E (,, 3, 4 ) 98.37 Από το Θώρηµα ( SSR SSRΠ) / k F= ~ F SSΕ /( n k ) k, n k έχουµ το ΠΟΡΙΣΜΑ n k R R k R Π ~ F k, n k Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 6
(συν.) 33 Στο παράδιγµα για τo δύτρο της Γ κλάσης 3 4.9837.97 =.35 ~ F.9837,8 Επιδή F,8;.5 =4.459, άρα και τα δύο µοντέλα της κλάσης Γ, όπως και τα µοντέλα της δν διαφέρουν από το πλήρς, νώ τα µοντέλα της Β διαφέρουν αφού για το µγαλύτρο ίναι: 3 4.9837.675 = 46.49 ~ F 3.9837 Άρα θα προτίνουµ ένα από τα µοντέλα 3,8 Y = β+ β X+ βx + Y = β+ β X+ βx 4+ Ενώ F 3,8;. =7.59 Θώρηµα Sebe 34 Ο Sebe (977) απέδιξ ΘΕΩΡΗΜΑ k R = R + F, ; n k k n k a Αν ( ) τότ κάθ πριορισµένο µοντέλο που έχι δν διαφέρι σηµαντικά από το πλήρς. R > Π R Στο παράδιγµα 4 R (.9837) = + F 4,3 4 ;.5 =.949 3 4 που οδηγί στο ίδιο συµπέρασµα που καταλήξαµ και προηγούµνα Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 7
Κριτήριο s 35 Λαµβάνοντας ως βωβή µταβλητή x =, το µοντέλο που πριέχι κ µταβλητές θωρίται ότι πριέχι p=κ+.από τα µοντέλα κάθ κλάσης µ το ίδιο p, υπολογίζω τα δύο µικρότρα s p από τον τύπο SSE p s p= και τα καταγράφω σ πίνακα n p p Μταβλητές στο µοντέλο Ελάχιστο s ( ) 3 (i ) (i ) ( i, j ) ( i, j ) s s, i s, i 3, i, j 3, i, j.... k+ (,,,k) s Επιλέγουµ κίνο από τα µοντέλα που έχι το µικρότρο p και δν διαφέρι σηµαντικά από το πλήρς. Για το ίδιο pπιλέγουµ ανάλογα µ το πρόβληµα. Προσέξτ, τα s p δν φθίνουν πάντα αυξανοµένου του p, νώ τα R αυξάνονται αυξανοµένης της κλάσης. s s Για το παράδιγµα 36 Από το Θώρηµα ( SSEΠ SSE) / k F= ~ F SSΕ /( n k ) p Μταβλητές στο µοντέλο Μέγιστο s 3 4 () (4) (, ) (, 4 ) (,, 4 ) (,, 3 ) 8.35 8.39 5.79 7.476 5.33 5.346 5 (,, 3, 4 ) 5.983 k, n k (3 3) 7.476 (3 4 ) 5.983 F= =.4 ~ F (4+ 3) 5.983 Εδώ F,8;.5 =4.459 (3 ) 8.35 (3 4 ) 5.983 (4+ ) 5.983 ( n p) SSE p ( n k ) SSΕ F= ( k+ p) SSΕ νώ F= = 46.576 ~ F3,8 F 3,8;. =7.59,8 k+ k+ ~ F k+ p, n k Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 8
Κριτήριο c p Mallows 37 Η πρόβλψη στο σηµίο i µ p µταβλητές (µαζί µ τη βωβή) ίναι: Y ˆ ˆ ˆ ˆ ˆ pi = β X + β X i, i + β X i, i +... + β X p- ip, i και αν θ i η ακριβής τιµή, τότ ένα µέτρο πρόβλψης ίναι το E( Yˆpi θ ) i (το µικρότρο ίναι το καλύτρο) n Το µέτρο αυτό για όλα τα σηµία γίνται ( ˆ p = E Ypi θi) ΘΕΩΡΗΜΑ (Sebe) Ισχύι: { i } = σ SSE p = p+ σ ΘΕΩΡΗΜΑ (Mallows) Απέδιξ ότι το στατιστικό SSEp cp = ( n p) κτιµά το s p ΕΝΑ ΙΚΑΝΟΠΟΙΗΤΙΚΟ ΜΟΝΤΕΛΟ ΕΧΕΙ c p =p p Για το παράδιγµα 38 p Μταβλητές στο µοντέλο SSE p c p 3 4 () () (3) (4) (, ) (, 3 ) (, 4 ) (, 3 ) (, 4 ) ( 3, 4 ) (,, 3 ) (,, 4 ) (, 3, 4 ) (, 3, 4 ) 65.687 96.336 939.4 883.867 57.94 7.7 74.76 45.443 868.88 75.738 48. 47.973 5.836 73.85.547 4.485 35.5 38.73.678 98.93 5.496 6.437 38.5.373 3.4 3.8 3.497 7.337 5 (,, 3, 4 ) 47.864 5 Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 9
Γράφηµα για το C p 39 Γράφηµα για το κριτήριο Cp του Mallows Cp 3 4 5 6 x,x4 x,x,x3,x4 x,x3,x4 x,x,x4 x,x x,x,x3 3 4 5 6 p Καλύτρο µοντέλο το (x,x ) (κοντύτρα στη γραµµή και από κάτω) Σταδιακή Επιλογή Μταβλητών 4 Προς τα µπρός ΕΠΙΛΟΓΗ (Fowod Selection) Αρχικό Μοντέλο (το µοντέλο θέσης) Y = β+ Στο ν-στο βήµα. Έστω ότι οι µταβλητές Χ, Χ,,Χ κ ίναι στο µοντέλο νώ οι Z, Z,, Z λ δν ίναι. Εισάγουµ διαδοχικά µία κάθ φορά τις µταβλητές Z i, και υπολογίζουµ το λόγο F για τη σύγκριση του µοντέλου που προέκυψ µ το τρέχον µοντέλο. Η µταβλητή µ το µγαλύτρο Fαντιστοιχί σ αυτήν µ το µγαλύτρο µρικό συντλστή συσχέτισης και λέγχται αν πρέπι να παραµίνι στο µοντέλο ή όχι. Για τον έλγχο συγκρίνουµ το Fµ ένα σταθρό F IN (κρίσιµος λόγοςισόδου) που συνήθως λαµβάνται ίσο µ 3.84 (=F, ;.5 ) Αν F>F IN η µταβλητή ισάγται και συνχίζουµ στο πόµνο βήµα, αλλιώς σταµατούµ τη διαδικασία. Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Σταδιακή Επιλογή Μταβλητών 4 Προς τα πίσω ΑΠΑΛΟΙΦΗ (Backwod Elimination) Αρχικό Μοντέλο Y = β (το πλήρς µοντέλο) + β X+ β X+ + βk Xk+ Στο ν-στο βήµα. Έστω ότι µόνο οι µταβλητές Χ, Χ,, Χ κ ίναι στο µοντέλο. ιαγάφουµ διαδοχικά µία κάθ φορά από τις µταβλητές Χ i, και υπολογίζουµ το λόγο F για τη σύγκριση του µοντέλου που προέκυψ µ το τρέχον µοντέλο. Η µταβλητή µ το µικρότρο Fαντιστοιχί σ αυτήν µ το µικρότρο µρικό συντλστή συσχέτισης και λέγχται αν πρέπι να παραµίνι στο µοντέλο ή όχι. Για τον έλγχο συγκρίνουµ το Fµ ένα σταθρό F OUT (κρίσιµος λόγοςξόδου) που συνήθως λαµβάνται ίσο µ.7 (=F, ;. ) Αν F<F OUT η µταβλητή διαγράφται και συνχίζουµ στο πόµνο βήµα, αλλιώς σταµατούµ τη διαδικασία. Σταδιακή Επιλογή Μταβλητών 4 Βήµα-προς-βήµα ΠΑΛΙΝ ΡΟΜΗΣΗ (Stepwise Reggession) (Συνδυασµένη φαρµογή των δύο προηγούµνων µθόδων) Αρχικό Μοντέλο (το µοντέλο θέσης) Y = β+ Στο ν-στο βήµα. Έστω ότι οι µταβλητές Χ, Χ,,Χ κ ίναι στο µοντέλο νώ οι Z, Z,, Z λ δν ίναι. α) Ελέγχουµ µ προς τα πίσω απαλλοιφή αν κάποια από τις µταβλητές Χ i, µπορί να διαγραφί ή όχι, χρησιµοποιώντας λόγο ξόδου το F OUT. β)ελέγχουµ µ προς τα µπρός πιλογή αν κάποια από τις µταβλητές που ίναι κτός του µοντέλου µπορί να ισαχθί στο µοντέλο ή όχι, χρησιµοποιώντας λόγο ισόδου το F IN. Είναι απαραίτητο τα F IN και F OUT να διαφέρουν, έστω και λάχιστα, διότι διαφορτικά δηµιουργίται συχνά ατέρµων βρόχος Αν το τρέχον µοντέλο δν µταβληθί στα δύο πιµέρους βήµατα σταµατούµ, αλλιώς συνχίζουµ στο πόµνο βήµα. Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Για το παράδιγµα (.3 του βιβλίου) 43 Προς τα µπρός πιλογή Θωρώ F IN =. Βήµα. Y = β+ x x x 3 x 4 x 5 x 6 F 59.86 6. 7.8 4.96.7.69 Βήµα. Y = β+ β X+ x x 3 x 4 x 5 x 6 F.5.47...8 Βήµα 3. Y = β+ β X+ β X 3+ x x 4 x 5 x 6 F.63...66 Βήµα 4. Y = β+ β X+ β X 3+ β3 X 6+ x x 4 x 5 F.34.6.5 Σταµατούµ (συν.) 44 Προς τα πίσω απαλοιφή Θωρώ F OUT =.9 Βήµα. Y = β+ β X+ β X + β3x 3+ β4 X 4+ β5 X 5+ β6 X 6+ x x x 3 x 4 x 5 x 6 F 4.5.9 3.6.4.7.48 Βήµα. Y = β+ β X+ β X + β3 X 3+ β4 X 4+ β6 X 6+ x x x 3 x 4 x 6 F 5.9.9 3.7..48 Βήµα 3. Y = β+ β X+ β X + β3 X 3+ β6 X 6+ x x x 3 x 6 F 5.6.35 4.4.3 Βήµα 4. Y = β+ β X+ β X 3+ β3 X 6+ x x 4 x 5 F 7.78 4..67 Σταµατούµ ν ίναι απαραίτητο να καταλήξουµ στο ίδιο µοντέλο Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών
Παράδιγµα.9 του βιβλίου 45 α/α y x x x 3 x 4 x 5 x 6 385 4 4 3 58 7 6 5 5 3 8 5 4 4 4 38 3 5 4 7 4 5 6 65 6 6 397 35 5 7 7 4 6 3 7 5 8 55 7 5 9 9 4 5 8 6 34 3 8 8 3 5 4 57 5 6 8 7 3 356 8 4 3 3 34 35 6 55 8 3 Να γίνι βήµα-προς-βήµα παλινδρόµηση θωρώντας α) F IN =., F OUT =.9 α) F IN =3.84, F OUT =.7 Βήµα-προς-βήµα παλινδρόµηση 46 α) Βήµα Μταβλητή ισαγόµνη Μταβλητή διαγραφόµνη F (ισ.-ξόδ) Μοντέλο x 6 76.689 x 6 x 4.37 x, x 6 3 x 4.64 x, x 4, x 6 4 x.4754 x, x, x 4, x 6 5 x 6.4954 x, x, x 4 6 x 3.6786 x, x, x 3, x 4 7 x 6.6853 x, x, x 3, x 4, x 6 β)θα σταµατήσουµ στο ο βήµα Και στις δύο πριπτώσις ξτάζοντας τους συντλστές των µοντέλων που προέκυψαν καταλήγουµ στο µοντέλο Y = 9.6+.84 X Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 3
Θέµατα () 47 Προκιµένου να βρούµ το καλύτρο µοντέλο για τα δδοµένα του θέµατος (του προηγουµένου κφαλαίου), κάναµ όλς τις δυνατές παλινδροµήσις και σχηµατίσαµ τον πόµνο πίνακα. p Μοντέλο SSE p SSE p /s c p ( ) 64 33.4 (x ) 6.365 (x ) 643.56 8.56 (x 3 ) 696.548 3.3 (x, x ) 35.54 (x, x 3 ) 546.995 8.6 (x, x ) 6.889 8.4 (x, x, x 3 ) 5.379 Συµπληρώστ τον πίνακα και προτίνατ το καλύτρο µοντέλο. Κάντ και κατάλληλο έλγχο για σύγκρισή του µ το πλήρς. ιατυπώστ µ δικά σας λόγια το συµπέρασµά σας. Θέµατα () 48 Έγιναν παρατηρήσις της µταβλητής y για την οποία υπάρχι υποψία ότι κφράζται γραµµικά από τις x, x, x 3. Για την ύρση του καλύτρου µοντέλου κάναµ όλς τις παλινδροµήσις και το R σ κάθ παλινδρόµηση δίνται δίπλα. Βρέστ το «καλύτρο» µοντέλο και για το µοντέλο αυτό κάντ τον πίνακα ANOVA. ίνται ότι SST=7. Μταβλητές στο µοντέλο R x.8458 x.7665 x 3.598 x, x.987 x, x 3.856 x, x 3.774 x, x, x 3.936 Σ ένα φαινόµνο ορίστηκαν 3 ανξάρτητς µταβλητές (x, x και x 3 ) και µία ξαρτηµένη η y. Έγιναν παρατηρήσις και στα δδοµένα που προέκυψαν έγιναν διάφορς παλινδροµήσις. Ορισµένα στοιχία από τις παλινδροµήσις αυτές, δίνονται παρακάτω: () για το µοντέλο µ µόνη τη µταβλητή x : SST=, SSR=453. () για το µοντέλο µ µόνη τη µταβλητή x : SSE=56. (3) για το µοντέλο µ µόνη τη µταβλητή x 3 : MSE=97.75. (4) για το µοντέλο µ τις µταβλητές x και x : R =.853. (5) για το µοντέλο µ τις µταβλητές x και x 3 : MSR=738.5. (6) για το µοντέλο µ τις µταβλητές x και x 3 : s =3.97. (7) για το µοντέλο µ τις µταβλητές x, x και x 3 : SSR=736 Ζητίται να βρθί µ τη µέθοδο του R το καλύτρο µοντέλο που προσαρµόζται στα δδοµένα αυτά. Να γραφί ο πλήρης πίνακας ανάλυσης διασποράς για το µοντέλο που βρήκατ. (Να διατυπωθούν αναλυτικά οι τύποι που θα χρησιµοποιηθούν). Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 4
Θέµατα (3) 49 Σ µία µλέτη µτρήθηκαν οι τιµές της µταβλητής yγια δοσµένς τιµές των µταβλητών x, x και x 3. Από θωρητικές µλέτς υπήρχ η υποψία ότι η yξαρτάται από τις µταβλητές x, x, x 3 και x 4 =x Για να βρούµ ένα καλό µοντέλο που προβλέπι την y από τις x i, κάναµ όλς τις παλινδροµήσις, τα αποτλέσµατα των οποίων δίνονται στον πόµνο πίνακα (το πρώτο διάνυσµα ίναι οι συντλστές µ το β πρώτο και το δύτρο τα αντίστοιχα τυπικά σφάλµατα) x SST=6.55, SSE=.8, (-4.64,.96), (7,.7) x SSR=963.5, (-9.73,.6), (,.54) x 3 SSE=637.33, (-49.3,.78), 3.9,.36) x 4 R =.434, (-3.4,.8), (8.56,.) x, x SSR=47.4, (-66.3,.74,.75), (4,.,.44) x, x 3 SSE=47., (-78.6,.84,.5), (7,.7,.3) x, x 4 R =.4647, (73, -.84,.3), (87,.86,.3) x, x 3 SSR=98.3, (-63,.9,.46), (4.8,.55,.3) x, x 4 SSE=69.53, (-43,.7,.6), (, 44,.7) x 3, x 4 SSR=54.4, (-5.,.5,.7), (5,.3,.) x,x,x 3 SSR=479.67, (-85,.69,.6,.9), (,.,.45,.4) x,x, x 4 s = 36.4684, (-.96, -.,.66,.4), (7,.6,.46,.86) x,x 3, x 4 SSE=96., (4.6, -.45,.47,.7), (9,.77,.3,.3) x,x 3, x 4 SSR=493., (-63.5,.57,.9,.58), (9.64,.45,.4,.7) x,x,x 3, x 4 SSE=563.4, (-34.8, -.9,.53,.8,.3), (73,.4,.47,.5,.) α) Σχηµατίστ τον πίνακα ANOVAτου πλήρους µοντέλου και διατυπώστ τα συµπράσµατά σας. Πως θα συνχίζατ την ανάλυση των δδοµένων αν δν ξέρατ τα άλλα µοντέλα; β) Χρησιµοποιώντας και όποιο από τα άλλα µοντέλα σας χριάζται κάντ τον έλγχο που προτίνατ στο (α) γ) Βρέστ το καλύτρο µοντέλο µ το κριτήριο R x x x 3 y 65 7 89 4 75 7 88 37 75 5 9 37 6 4 87 8 6 87 8 6 3 87 8 6 4 93 9 6 4 93 58 3 87 5 65 8 8 4 58 5 89 4 58 7 8 3 6 8 8 64 7 93 67 8 89 8 45 86 7 6 5 7 8 63 9 73 8 5 8 9 56 8 5 Θέµατα (4) 5 Σ µία µλέτη ρωτήθηκαν 473 υπάλληλοι µιας πολυθνικής ταιρίας για την ηλικία τους (x σ έτη), την κπαίδυσή τους (x σ έτη), την πίρα τους (x 3 σ έτη), το χρόνο ργασίας τους από την πρόσληψή τους (x 4 σ µήνς), τον ισαγωγικό τους µισθό τους (x 5 σ χιλιάδς ) και το σηµρινό τους µισθό τους (yσ χιλιάδς ). Για να ξτάσουµ ποια ή ποις από τις µταβλητές x i πηράζουν το σηµρινό µισθό του υπαλλήλου κάναµ µια σιρά παλινδροµήσις που θα αναφέρονται παρακάτω µ τον αύξοντα αριθµό του µοντέλου τους. Οι προβλέπουσς µταβλητές στα µοντέλα ήταν οι: Στο διπλανό πίνακα δίνονται κάποις τιµές που αφορούν τα διάφορα µοντέλα. Στο (3) η σιρά των δικτών ίναι αύξουσα. ()τις x και x 5. ()τις x και x 5. (3)τις x, x και x 5. (4) όλς () () (3) (4) SST=34479, SSE=79 SSE=744 SSR=764, παράµτροι µ τυπικά σφάλµατα s =3.85 ˆ β = (.776,.73,.376,.734 ) s ( ˆ β ) = (.34,.6,.84,.59) Απαντίστ στα πόµνα ρωτήµατα: α) Σχηµατίστ τον πίνακα ANOVA του µοντέλου () και διατυπώστ τα συµπράσµατά σας. β) Παρατηρήθηκ ότι υπάλληλοι ίχαν ίδια ηλικία και ίδιο αρχικό µισθό, νώ η διασπορά του τλικού µισθού τους ήταν 8.5. Άλλοι 6 µ ίδια ηλικία και ίδιο αρχικό µισθό ίχαν διασπορά του τλικού τους µισθού 57.8. Τέλος, άλλοι 7 µ ίδια ηλικία και ίδιο αρχικό µισθό ίχαν διασπορά του τλικού τους µισθού 4.7. Μ αυτή την πληροφορία ξτάστ αν το µοντέλο () ίναι ικανοποιητικό ή όχι. γ) Ελέγξτ στο µοντέλο (3) αν ισχύι β =-. σ στάθµη σηµαντικότητας.5. δ) Μπορί το µοντέλο () να αντικαταστήσι το µοντέλο (4); (Σηµίωση. Στα (γ), (δ) να γραφί η µηδνική υπόθση και η ναλλακτική της) ) Να βρθί ο µρικός συντλστής προσδιορισµού της µταβλητής x όταν αυτή ισέρχται στο µοντέλο στο οποίο υπάρχουν ήδη οι µταβλητές x, x 5 και να διατυπωθί η σηµασία του. Εφαρµοσµ. Ανάλ. Παλινδρ.& ιασποράς- Επιλογή Μταβλητών 5