Γραμμική Παλινδρόμηση και Συσχέτιση Αντικείμενο του κεφαλαίου είναι: Ανάλυση συσχέτισης μεταξύ δύο μεταβλητών Εξίσωση παλινδρόμησης Πρόβλεψη εξέλιξης
Διμεταβλητές συσχετίσεις Πολλές φορές χρειάζεται να ερμηνεύσουμε ή να βρούμε κάποια συσχέτιση μεταξύ παραγόντων. Είναι φανερό ότι επηρεάζουν θετικά τις πωλήσεις τόσο η διαφήμιση όσο και το πλήθος των πωλητών. Ποιος παράγοντας προκαλεί πιο έντονη συσχέτιση; ΕΤ ΟΣ ΠΩΛ ΗΣ ΕΙΣ ΔΙΑ ΦΗΜΙΣ Η ΠΩΛ ΗΤ ΕΣ ( χ ιλ. ) ( χ ιλ. ) ( άτομα) 1985 1.050 162 32 1986 1.260 285 47 1987 1.470 540 23 1988 2.160 261 68 1989 1.950 360 32 1990 2.400 690 17 1991 2.370 495 58 1992 3.150 948 75 1993 3.570 720 98 1994 4.410 1.140 43 1995 4.500 1.395 76 1996 5.610 1.560 89 1997 5.190 1.380 108 1998 5.670 1.260 76 1999 5.160 1.710 65 2000 6.840 1.860 93 Ένας τρόπος είναι η ανάλυση απλής ευθύγραμμης (γραμμικής) παλινδρόμησης. 2
Διάγραμμα διασποράς Ας φτιάξω το διάγραμμα διασποράς μεταξύ πωλήσεων και διαφήμισης. 7.000 6.500 6.000 Θετική συσχέτιση Εξαρτημένη μεταβλητή: ΠΩΛΗΣΕΙΣ 5.500 5.000 4.500 4.000 3.500 3.000 2.500 2.000 1.500 1.000 0 200 400 600 800 1.000 1.200 1.400 1.600 1.800 2.000 Ανεξάρτητη μεταβλητή: ΔΙΑΦΗΜΙΣΗ 3
Διάγραμμα διασποράς Ας φτιάξω το διάγραμμα διασποράς μεταξύ πωλήσεων και αριθμού πωλητών. 7.000 6.500 6.000 Θετική... αλλά χαλαρή συσχέτιση 5.500 5.000 4.500 4.000 3.500 3.000 2.500 2.000 1.500 1.000 10 20 30 40 50 60 70 80 90 100 110 4
Ερμηνεία διαγραμμάτων διασποράς ΤΕΛΕΙΑ ΕΝΤΟΝΗ ΑΣΘΕΝΗΣ 5
Ερμηνεία διαγραμμάτων διασποράς ΜΗΔΕΝΙΚΗ 6
Συντελεστής συσχέτισης r = Εκτίμηση του απλού συντελεστή συσχέτισης n = Μέγεθος δείγματος X = Τιμές της ανεξάρτητης μεταβλητής X = Μέσος αριθμητικός της Χ Y = Τιμές της εξαρτημένης μεταβλητής = Μέσος αριθμητικός της Υ Y r= X X Y Y X X 2 Y Y 2 r= n XY X Y [n X 2 X 2 ][n Y 2 Y 2 ] 7
Υπολογισμός συντελεστή συσχέτισης ΕΤ ΟΣ ΔΙΑ ΦΗΜΙΣ Η ΠΩΛ ΗΣ ΕΙΣ 2 2 X Y YX X Y 1985 162 1.050 170.100 26.244 1.102.500 1986 285 1.260 359.100 81.225 1.587.600 1987 540 1.470 793.800 291.600 2.160.900 1988 261 2.160 563.760 68.121 4.665.600 1989 360 1.950 702.000 129.600 3.802.500 1990 690 2.400 1.656.000 476.100 5.760.000 1991 495 2.370 1.173.150 245.025 5.616.900 1992 948 3.150 2.986.200 898.704 9.922.500 1993 720 3.570 2.570.400 518.400 12.744.900 1994 1.140 4.410 5.027.400 1.299.600 19.448.100 1995 1.395 4.500 6.277.500 1.946.025 20.250.000 1996 1.560 5.610 8.751.600 2.433.600 31.472.100 1997 1.380 5.190 7.162.200 1.904.400 26.936.100 1998 1.260 5.670 7.144.200 1.587.600 32.148.900 1999 1.710 5.160 8.823.600 2.924.100 26.625.600 2000 1.860 6.840 12.722.400 3.459.600 46.785.600 16 14.766 56.760 66.883.410 18.289.944 251.029.800 r= n XY X Y [n X 2 X 2 ] [n Y 2 Y 2 ] =0,95 CORREL(DATA1;DATA2) 8
Υπολογισμός συντελεστή συσχέτισης ΕΤ ΟΣ ΠΩΛ ΗΤ ΕΣ ΠΩΛ ΗΣ ΕΙΣ 2 2 YX X Y 1985 32 1.050 33.600 1.024 1.102.500 1986 47 1.260 59.220 2.209 1.587.600 1987 23 1.470 33.810 529 2.160.900 1988 68 2.160 146.880 4.624 4.665.600 1989 32 1.950 62.400 1.024 3.802.500 1990 17 2.400 40.800 289 5.760.000 1991 58 2.370 137.460 3.364 5.616.900 1992 75 3.150 236.250 5.625 9.922.500 1993 98 3.570 349.860 9.604 12.744.900 1994 43 4.410 189.630 1.849 19.448.100 1995 76 4.500 342.000 5.776 20.250.000 1996 89 5.610 499.290 7.921 31.472.100 1997 108 5.190 560.520 11.664 26.936.100 1998 76 5.670 430.920 5.776 32.148.900 1999 65 5.160 335.400 4.225 26.625.600 2000 93 6.840 636.120 8.649 46.785.600 16 1.000 56.760 4.094.160 74.152 251.029.800 r= n XY X Y [n X 2 X 2 ] [n Y 2 Y 2 ] =0,72 CORREL(DATA1;DATA2) 9
Έλεγχος στατιστικής σημαντικότητας του συντελεστής συσχέτισης r n t : Συντελεστής συσχέτισης του δείγματος : Μέγεθος δείγματος : Τιμή του κριτηρίου n-2 : Βαθμοί ελευθερίας { H 0 : ρ = 0 H 1 : ρ 0}, t n 2= r 1 r 2 n 2, t n 2,a /2 t 16 2 = 0,95 =11,38 t 16 2 = 0,72 1 0,952 1 0,722 16 2 16 2 t 16 2 ; 0,05/2 =2,145 =3,88 10
Συντελεστής συσχέτισης γραμμική συσχέτιση Προσοχή ο συντελεστής συσχέτισης εκφράζει την ένταση της σχέσης μεταξύ των μεταβλητών Χ και Υ μόνο όταν υπάρχει γραμμική συσχέτιση. Χαμηλή τιμή του συντελεστή συσχέτισης δε σημαίνει ότι η σχέση είναι ασθενής. Χαρακτηριστικό παράδειγμα όταν υπάρχει μη γραμμική συσχέτιση. 11
Απλή γραμμική παλινδρόμηση Y i = β 0 β 1 Χ i ε i Y i =Ε Υ i ε i Y i : η τιμή της εξαρτημένης μεταβλητής X i : η τιμή της ανεξάρτητης μεταβλητής β 0 : το σημείο τομής του άξονα της Υ από τη γραμμή παλινδρόμησης β 1 : η κλίση της γραμμής παλινδρόμησης ε i : σφάλμα ή κατάλοιπο Οι ατομικές παρατηρήσεις της εξαρτημένης μεταβλητής είναι μεταξύ τους ανεξάρτητες. Για κάθε συγκεκριμένη τιμή της Χ αντιστοιχούν πολλές τιμές της Υ που κατανέμονται κανονικά. Για μέγεθος δείγματος n αντιστοιχούν n κανονικές κατανομές της Υ με την ίδια διακύμανση σ 2. ε Ο μέσος της κάθε κατανομής της Υ i ισούται με: Ε(Υ i )=β 0 +β 1 Χ i. Όλοι οι μέσοι βρίσκονται σε μια ευθεία γραμμή που αποτελεί τη γραμμή παλινδρόμησης του πληθυσμού. 12
Διαγραμματική Απεικόνιση Υ Υ 3 Ε Υ 2 Ε Υ 3 Ε Υ 1 Υ 1 Υ 2 β 0 Χ 1 Χ 2 Χ 3 Χ 13
Εκτίμηση της εξίσωσης παλινδρόμησης Είναι προφανές ότι δεν μπορούμε να υπολογίσουμε με σιγουριά τις παραμέτρους της εξίσωσης παλινδρόμησης παρά μόνο να τις εκτιμήσουμε. Υ =b 0 b 1 X Επομένως οι αποκλίσεις από τις πραγματικές τιμές: e i =Y i Υ i e i =Y i b 0 b 1 X i, για i=1,, n Επειδή δε γνωρίζουμε τα πρόσημα των παραπάνω ποσοτήτων θα προσπαθήσουμε να ελαχιστοποιήσουμε το άθροισμα των τετραγώνων των αποκλίσεων. Έτσι έχουμε τη ΜΕΘΟΔΟ ΕΛΑΧΙΣΤΩΝ ΤΕΤΡΑΓΩΝΩΝ. 14
Υπολογισμός παραμέτρων εκτίμησης Q b 0, b 1 = i=1 n Y i Y i 2 = n i=1 [Y i b 0 b 1 X i ] 2 Πιθανό ελάχιστο της συνάρτησης είναι το σημείο που μηδενίζονται οι πρώτες μερικές παράγωγοι: Q n = 2 b i=1 0 [Y i b 0 b 1 X i ]=0 Y i nb 0 b 1 X i =0 n b 0 [ X i ] b 1 = Y i Q n = 2 b i=1 1 X i [Y i b 0 b 1 X i ]=0 X i Y i b 0 X i b 1 X i 2 =0 [ X i ]b 0 [ X i 2 ]b 1 = X i Y i A x=b, A=[ n X i X i 2] X i, x= [ b 0 1] b, b= [ Y i i] X i Y 15
Υπολογισμός παραμέτρων εκτίμησης A x=b, A=[ n X i X i 2] X i, x= [ b 0 1] b, b= [ Y i i] X i Y A = n X i X i =n[ X 2 i ] [ X i ] 2 0 γιατί ; X i 2 A b1 = n X i Y i X i Y i =n X i Y i X i Y i b 1 = A b 1 A = n X iy i X i Y i n[ X i 2 ] [ X i ] 2, b 0 = Y b 1 X 16
Διάγραμμα διασποράς πωλήσεων- διαφήμισης b 1 = A b 1 A = n X i Y i X i Y i n[ X i 2 ] [ X i ] 2, b 0 = Y b 1 X ΕΤ ΟΣ ΔΙΑ ΦΗΜΙΣ Η ΠΩΛ ΗΣ ΕΙΣ 2 X Y X Y X 1985 162 1.050 170.100 26.244 1986 285 1.260 359.100 81.225 1987 540 1.470 793.800 291.600 1988 261 2.160 563.760 68.121 1989 360 1.950 702.000 129.600 1990 690 2.400 1.656.000 476.100 1991 495 2.370 1.173.150 245.025 1992 948 3.150 2.986.200 898.704 1993 720 3.570 2.570.400 518.400 1994 1.140 4.410 5.027.400 1.299.600 1995 1.395 4.500 6.277.500 1.946.025 1996 1.560 5.610 8.751.600 2.433.600 1997 1.380 5.190 7.162.200 1.904.400 1998 1.260 5.670 7.144.200 1.587.600 1999 1.710 5.160 8.823.600 2.924.100 2000 1.860 6.840 12.722.400 3.459.600 16 14.766 56.760 66.883.410 18.289.944 7000 6500 6000 5500 5000 4500 4000 3500 3000 2500 2000 1500 1000 500 0 0 250 500 750 1000 1250 1500 1750 2000 b 1 = 16 66.883.410 14.766 56.760 16 18.289.944 14.766 2 =3,11, b 0 = 56.760 16 3,11 14.766 16 =677,4 17
Διάγραμμα διασποράς πωλήσεων-πωλητών b 1 = A b 1 A = n X i Y i X i Y i n[ X i 2 ] [ X i ] 2, b 0 = Y b 1 X ΕΤ ΟΣ ΠΩΛ ΗΤ ΕΣ ΠΩΛ ΗΣ ΕΙΣ 2 X Y X Y X 1985 32 1.050 33.600 1.024 1986 47 1.260 59.220 2.209 1987 23 1.470 33.810 529 1988 68 2.160 146.880 4.624 1989 32 1.950 62.400 1.024 1990 17 2.400 40.800 289 1991 58 2.370 137.460 3.364 1992 75 3.150 236.250 5.625 1993 98 3.570 349.860 9.604 1994 43 4.410 189.630 1.849 1995 76 4.500 342.000 5.776 1996 89 5.610 499.290 7.921 1997 108 5.190 560.520 11.664 1998 76 5.670 430.920 5.776 1999 65 5.160 335.400 4.225 2000 93 6.840 636.120 8.649 16 1.000 56.760 4.094.160 74.152 7000 6500 6000 5500 5000 4500 4000 3500 3000 2500 2000 1500 1000 500 0 0 25 50 75 100 125 b 1 = 16 4.094.160 1.000 56.760 16 74.152 1.000 2 =46,92, b 0 = 56.760 16 46,92 1.000 16 =615,3 18
Άθροισμα των τετραγώνων σφαλμάτων Ποια είναι η προβλεπτική ικανότητα της εξίσωσης; Τι ποσοστό των μεταβολών της Y οφείλεται στις επιδράσεις της Χ; Το άθροισμα των τετραγώνων των σφαλμάτων (sum of squared errors) SSE= e 2 = Y Y 2 = = Y b 0 b 1 X 2 = = Y 2 b 0 Y b 1 X Y 19
Άθροισμα των τετραγώνων σφαλμάτων ΕΤ ΟΣ ΔΙΑ ΦΗΜΙΣ Η ΠΩΛ ΗΣ ΕΙΣ 2 2 X Y YX X Y 1985 162 1.050 170.100 26.244 1.102.500 1986 285 1.260 359.100 81.225 1.587.600 1987 540 1.470 793.800 291.600 2.160.900 1988 261 2.160 563.760 68.121 4.665.600 1989 360 1.950 702.000 129.600 3.802.500 1990 690 2.400 1.656.000 476.100 5.760.000 1991 495 2.370 1.173.150 245.025 5.616.900 1992 948 3.150 2.986.200 898.704 9.922.500 1993 720 3.570 2.570.400 518.400 12.744.900 1994 1.140 4.410 5.027.400 1.299.600 19.448.100 1995 1.395 4.500 6.277.500 1.946.025 20.250.000 1996 1.560 5.610 8.751.600 2.433.600 31.472.100 1997 1.380 5.190 7.162.200 1.904.400 26.936.100 1998 1.260 5.670 7.144.200 1.587.600 32.148.900 1999 1.710 5.160 8.823.600 2.924.100 26.625.600 2000 1.860 6.840 12.722.400 3.459.600 46.785.600 16 14.766 56.760 66.883.410 18.289.944 251.029.800 SSE= Y 2 b 0 Y b 1 X Y = =251.029.800 677,4 56.760 3,11 66.883.410= =4.576.119,135 20
ΕΤ ΟΣ Άθροισμα των τετραγώνων σφαλμάτων ΠΩΛ ΗΤ ΕΣ ΠΩΛ ΗΣ ΕΙΣ 2 2 YX X Y 1985 32 1.050 33.600 1.024 1.102.500 1986 47 1.260 59.220 2.209 1.587.600 1987 23 1.470 33.810 529 2.160.900 1988 68 2.160 146.880 4.624 4.665.600 1989 32 1.950 62.400 1.024 3.802.500 1990 17 2.400 40.800 289 5.760.000 1991 58 2.370 137.460 3.364 5.616.900 1992 75 3.150 236.250 5.625 9.922.500 1993 98 3.570 349.860 9.604 12.744.900 1994 43 4.410 189.630 1.849 19.448.100 1995 76 4.500 342.000 5.776 20.250.000 1996 89 5.610 499.290 7.921 31.472.100 1997 108 5.190 560.520 11.664 26.936.100 1998 76 5.670 430.920 5.776 32.148.900 1999 65 5.160 335.400 4.225 26.625.600 2000 93 6.840 636.120 8.649 46.785.600 16 1.000 56.760 4.094.160 74.152 251.029.800 SSE= Y 2 b 0 Y b 1 X Y = =251.029.800 615,3 56.760 46,92 4.094.160= =24.026.844,92 21
Διακύμανση σφάλματος Ένα μέτρο της έντασης της εξάρτησης δίνεται από τη διακύμανση του σφάλματος. Διακύμανση του σφάλματος s e 2 = Y Y 2 n 2 = SSE n 2 Χρησιμοποιούμε το n-2 (χάνουμε δύο βαθμούς ελευθερίας) επειδή βασίζουμε την εκτίμηση σε δύο παραμέτρους. 22
Συνολικό άθροισμα τετραγώνων (SST) SST = Y Y 2 To ανεξήγητο σφάλμα (SSE) X,Y Y =b 0 b1 X e=y Y Y Y Y To σφάλμα της παλινδρόμησης (SSR) SST =SSR SSE X 23
Συντελεστής προσδιορισμού Το ποσοστό της συνολικής μεταβλητικότητας της Υ που εξηγείται από την εξίσωση παλινδρόμησης, δηλαδή οφείλεται στις επιδράσεις της Χ, ονομάζεται συντελεστής προσδιορισμού και συμβολίζεται με R 2. Συντελεστής προσδιορισμού Παρατηρήστε ότι παίρνει τιμές στο [0,1]! R 2 =SSR/SST = = Y Y 2 / Y Y 2 R 2 =1 SSE/SST = =1 Y Y 2 / Y Y 2 =1 Y 2 b 0 Y b 1 XY /[ Y 2 Y 2 / n] 24
Συντελεστής προσδιορισμού ΕΤ ΟΣ ΔΙΑ ΦΗΜΙΣ Η ΠΩΛ ΗΣ ΕΙΣ 2 2 X Y YX X Y 1985 162 1.050 170.100 26.244 1.102.500 1986 285 1.260 359.100 81.225 1.587.600 1987 540 1.470 793.800 291.600 2.160.900 1988 261 2.160 563.760 68.121 4.665.600 1989 360 1.950 702.000 129.600 To 3.802.500 90,8 % της 1990 690 2.400 1.656.000 476.100 μεταβλητικότητας 5.760.000 των πωλήσεων 1991 495 2.370 1.173.150 245.025 οφείλονται 5.616.900 στον παράγοντα 1992 948 3.150 2.986.200 898.704 ΔΙΑΦΗΜΙΣΗ 9.922.500!!! 1993 720 3.570 2.570.400 518.400 12.744.900 1994 1.140 4.410 5.027.400 1.299.600 19.448.100 1995 1.395 4.500 6.277.500 1.946.025 20.250.000 1996 1.560 5.610 8.751.600 2.433.600 31.472.100 1997 1.380 5.190 7.162.200 1.904.400 26.936.100 1998 1.260 5.670 7.144.200 1.587.600 32.148.900 1999 1.710 5.160 8.823.600 2.924.100 26.625.600 2000 1.860 6.840 12.722.400 3.459.600 46.785.600 16 14.766 56.760 66.883.410 18.289.944 251.029.800 R 2 =1 Y 2 b 0 Y b 1 XY /[ Y 2 Y 2 /n] =0,908 25
ΕΤ ΟΣ Συντελεστής προσδιορισμού ΠΩΛ ΗΤ ΕΣ ΠΩΛ ΗΣ ΕΙΣ 2 2 YX X Y 1985 32 1.050 33.600 1.024 1.102.500 1986 47 1.260 59.220 2.209 1.587.600 1987 23 1.470 33.810 529 2.160.900 1988 68 2.160 146.880 4.624 4.665.600 1989 32 1.950 62.400 1.024 3.802.500 To 51,6 % της 1990 17 2.400 40.800 289μεταβλητικότητας 5.760.000 των πωλήσεων 1991 58 2.370 137.460 3.364 οφείλονται 5.616.900 στον παράγοντα 1992 75 3.150 236.250 5.625 9.922.500 ΠΩΛΗΤΕΣ!!! 1993 98 3.570 349.860 9.604 12.744.900 1994 43 4.410 189.630 1.849 19.448.100 1995 76 4.500 342.000 5.776 20.250.000 1996 89 5.610 499.290 7.921 31.472.100 1997 108 5.190 560.520 11.664 26.936.100 1998 76 5.670 430.920 5.776 32.148.900 1999 65 5.160 335.400 4.225 26.625.600 2000 93 6.840 636.120 8.649 46.785.600 16 1.000 56.760 4.094.160 74.152 251.029.800 R 2 =1 Y 2 b 0 Y b 1 XY /[ Y 2 Y 2 /n] =0,516 26
Συντελεστής προσδιορισμού vs συσχέτισης Μπορούμε να αποδείξουμε ότι ο συντελεστής προσδιορισμού και ο συντελεστής συσχέτισης σχετίζονται με την παρακάτω σχέση R 2 =r 2... για αυτό λέγαμε ότι συσχέτιση κάτω από 0,70 είναι ΑΣΘΕΝΗΣ. Γιατί αντιστοιχεί σε κάτω από 50% συντελεστή προσδιορισμού οπότε... 27
Έλεγχος σ.σ. συντελεστή προσδιορισμού Έλεγχος στατιστικής σημαντικότητας Συντελεστή προσδιορισμού Η 0 : Η εξίσωση παλινδρόμησης δεν εξηγεί καθόλου τις μεταβολές της Υ. (το ποσοστό της εξηγημένης διασποράς της Υ είναι μηδέν). Η 1 : Η εξίσωση παλινδρόμησης εξηγεί ένα μέρος των μεταβολών της Υ. (το ποσοστό της εξηγημένης διασποράς της Υ είναι μεγαλύτερο το μηδενός). Επομένως, θα συγκρίνουμε τις δύο συνιστώσες της SST την εξηγημένη (SSR) και την ανεξήγητη (SSE). Αν η πρώτη είναι σημαντικά μεγαλύτερη από τη δεύτερη σημαίνει ότι η επίδραση της εξίσωσης παλινδρόμησης είναι σημαντική. Έχουν όμως διαφορετικούς βαθμούς ελευθερίας... επομένως αν τα διαιρέσω με αυτούς τότε οι λόγοι που προκύπτουν ονομάζονται μέσα τετράγωνα και είναι συγκρίσιμοι. Ο έλεγχος γίνεται με τη συνάρτηση F 28
Πως κάνω τον έλεγχο; Πηγή Μεταβλητικότητας Αθροίσματα Τετραγώνων Βαθμοί Ελευθερίας Μέσα Τετράγωνα Λόγος F1,n-2 Παλινδρόμηση SSR 1 SSR / 1 SSR/ 1 SSE / n 2 Κατάλοιπο SSE n-2 SSE / (n-2) ΣΥΝΟΛΟ SST n-1 Αν η τιμή της F 1,n-2 είναι μεγαλύτερη της κριτικής τιμής F (1,n-2),α (όπου α το επίπεδο σημαντικότητας) απορρίπτεται η μηδενική υπόθεση. 29
Στο παράδειγμά μας... Πηγή Μεταβλητικότητας Αθροίσματα Τετραγώνων Βαθμοί Ελευθερίας Μέσα Τετράγωνα Λόγος F1,n-2 Παλινδρόμηση 45097581 1 45097581 137,97 Κατάλοιπο 4576119 14 326865,64 ΣΥΝΟΛΟ 49673700 15 F (1,14),0.05 (1,14),0.05 = 4.60, δηλαδή F 1,n-2 > F (1,14),0.05 και επομένως απορρίπτεται η Η 0. Πηγή Μεταβλητικότητα ς Αθροίσματα Τετραγώνων Βαθμοί Ελευθερίας Μέσα Τετράγωνα Λόγος F1,n-2 Παλινδρόμηση 25646855 1 25646855 14,94 Κατάλοιπο 24026845 14 1716203,21 ΣΥΝΟΛΟ 49673700 15 F (1,14),0.05 (1,14),0.05 = 4.60, δηλαδή F 1,n-2 > F (1,14),0.05 και επομένως απορρίπτεται η Η 0. 30
Έλεγχος σ.σ. του συντελεστή παλινδρόμησης b 1 Το τυπικό σφάλμα της κατανομής δειγματοληψίας του συντελεστή b 1 δίνεται από τη σχέση: σ b1 = σ ε X X 2 Επειδή το τυπικό σφάλμα εκτίμησης της εξίσωσης παλινδρόμησης σ ε δεν το ξέρουμε, χρησιμοποιούμε την εκτίμησή του από τα δεδομένα του δείγματος, δηλαδή το s e : s b1 = s e X X 2 31
Η 0 : Η 1 : Έλεγχος σ.σ. του συντελεστή παλινδρόμησης b 1 β 1 = β 1 Έλεγχος στατιστικής σημαντικότητας Συντελεστή παλινδρόμησης b 1 (ο συντελεστής παλινδρόμησης του πληθυσμού ισούται με β 1 * ). β 1 β 1 (ο συντελεστής παλινδρόμησης του πληθυσμού είναι διάφορος του β 1* ). t n 2 = b 1 β 1 s b1 Ο έλεγχος γίνεται με τη συνάρτηση t n-2 Ο έλεγχος γίνεται με το γνωστό κριτήριο t και n-2 βαθμούς ελευθερίας. Το κριτήριο είναι δικατάληκτο με επίπεδο σημαντικότητας α. Το αντίστοιχο διάστημα εμπιστοσύνης είναι: b 1 s b1 t n 2,a/2 β 1 b 1 s b1 t n 2,a/ 2 32
Εφαρμογή στο πωλήσεις-διαφήμιση s b1 = s e X X 2 = SSE / n 2 = 4.576.119,13/ 16 2 =0,265 X 2 X 2 /n 18.289.944 14.766 2 /16 t 14 = b 1 β 1 s b1 = 3,11 0 =11,736 t 0,265 14,0,05/2 =2,145 b 1 s b1 t n 2,a/ 2 β 1 b 1 s b1 t n 2, a/ 2 3,11 0,265 2,145 β 1 3,11 0,265 2,145 2,542 β 1 3,678 7000 6500 6000 5500 5000 4500 4000 X 3500 3000 2500 2000 1500 1000 500 0 0 250 500 750 1000 1250 1500 1750 2000 Y Ym in Ym ax 33
7000 6500 6000 5500 5000 4500 4000 3500 3000 2500 2000 1500 1000 500 Εφαρμογή στο πωλήσεις-πωλητές s b1 = s e X X 2 = SSE / n 2 = 24.026.844,90/ 16 2 =12,136 X 2 X 2 /n 74.152 1.000 2 /16 t 14 = b 1 β 1 s b1 = 46,92 0 =3,87 t 12,136 14,0,05/2 =2,145 b 1 s b1 t n 2, a/ 2 β 1 b 1 s b1 t n 2, a/2 46,92 12,136 2,145 β 1 46,92 12,136 2,145 20,884 β 1 72,948 X 0 10 20 30 40 50 60 70 80 90 100 110 Y Ym in Ym ax 34
Ποιον έλεγχο σ.σ. να εφαρμόζω; Παρατηρήστε ότι και στους τρεις ελέγχους που κάναμε μέχρι τώρα: Έλεγχος σημαντικότητας του συντελεστή συσχέτισης Έλεγχος σημαντικότητας του συντελεστή προσδιορισμού Έλεγχος σημαντικότητας του συντελεστή παλινδρόμησης τα αποτελέσματα ήταν τα ίδια!!! Αυτός είναι ο λόγος για τον οποίο οι έλεγχοι σημαντικότητας έχουν ατονήσει και έχει επικρατήσει μόνο ο έλεγχος του συντελεστή παλινδρόμησης.. Για αυτό και τον προχωρήσαμε ένα βήμα παραπέρα υπολογίζοντας και το διάστημα εμπιστοσύνης. 35
Προβλέψεις Ας θυμηθούμε τώρα ότι ο μέσος της εξαρτημένης μεταβλητής Υ που αντιστοιχεί στη συγκεκριμένη τιμή της ανεξάρτητης μεταβλητώς Χ, Χ 0 ισούται με: Και η εκτίμηση της μέσης τιμής Ε(Υ 0 ) που προκύπτει από την εξίσωση παλινδρόμησης του δείγματος είναι: Επομένως η εκτίμηση σημείου της μέσης τιμής Υ που αντιστοιχεί στην τιμή της ανεξάρτητης μεταβλητής Χ 0 και αποτελεί την πρόβλεψη που προκύπτει από την εξίσωση παλινδρόμησης. Επειδή όμως έχουμε κάνει εκτιμήσεις... υπάρχουν σφάλματα δειγματοληψίας. Άρα και η εκτίμηση E Y 0 = β 0 β 1 X 0 Y 0 =b 0 b 1 X 0 Y 0 υπόκειται στο παρακάτω σφάλμα: sy 0 =s 1 X 0 X 2 e n X X 2 36
Προβλέψεις με δ.ε. Με βάση το τυπικό σφάλμα της πρόβλεψης μπορούμε να εκτιμήσουμε το διάστημα εμπιστοσύνης της αναμενόμενης τιμής της που αντιστοιχεί σε πιθανότητα 1-α Y 0 Y 0 ±t α/2 SSE n 2 1 n X 0 X 2 X 2 X 2 /n Y 0 t n 2,a /2 n X 0 X : η εκτίμηση σημείου της εξαρτημένης μεταβλητής. : η τιμή της t με n-2 βαθμούς ελευθερίας. : μέγεθος δείγματος : η τιμή της ανεξάρτητης μεταβλητής που χρησιμοποιείται για την πρόβλεψη : ο μέσος των τιμών της Χ του δείγματος 37
Προβλέψεις Το διάστημα της πρόβλεψης που υπολογίσαμε αναφέρεται στη μέση τιμή της Υ. Να θυμίσουμε όμως ότι η πραγματική τιμή της Υ εξαρτάται από δύο συνιστώσες: Της συνιστώσας που προσδιορίζεται από την επίδραση της Χ (που προβλέπεται από την εξίσωση παλινδρόμησης), Την τυχαία συνιστώσα κατάλοιπο που οφείλεται σε όλους τους άλλους παράγοντες. Έτσι με βαση την εξίσωση παλινδρόμησης έχουμε: Υ 0 =b 0 b 1 X 0 e 0 = Y 0 e 0 Επομένως το δειγματοληπτικό σφάλμα της Υ0 είναι μεγαλύτερο διότι επηρεάζεται και από τη διασπορά της τυχαίας συνιστώσας!!!. 38
Προβλέψεις με δ.ε. Με βάση το τυπικό σφάλμα της πρόβλεψης μπορούμε να εκτιμήσουμε το διάστημα εμπιστοσύνης της πραγματικής τιμής της που αντιστοιχεί σε πιθανότητα 1-α Y 0 Y 0 ±t α/2 SSE n 2 1 1 n X 0 X 2 X 2 X 2 / n Y 0 t n 2,a/2 n X 0 X : η εκτίμηση σημείου της εξαρτημένης μεταβλητής. : η τιμή της t με n-2 βαθμούς ελευθερίας. : μέγεθος δείγματος : η τιμή της ανεξάρτητης μεταβλητής που χρησιμοποιείται για την πρόβλεψη : ο μέσος των τιμών της Χ του δείγματος 39
Ερμηνεία δ.ε. Y 0 t α/2 s Y 0 X Y 0 t α/2 s Y 0 Y 0 =b 0 b 1 X 0 Y 0 t α/2 s Y 0 Y 0 t α/2 s Y 0 Όσο απομακρυνόμαστε από το μέσο Χ το σφάλμα μεγαλώνει εκθετικά. 40
Πωλήσεις - διαφήμιση 7.500 7.000 6.500 6.000 5.500 5.000 4.500 4.000 3.500 3.000 2.500 2.000 1.500 1.000 500 0 0 250 500 750 1.000 1.250 1.500 1.750 2.000 41
Πωλήσεις - πωλητές 7.500 7.000 6.500 6.000 5.500 5.000 4.500 4.000 3.500 3.000 2.500 2.000 1.500 1.000 500 0 10 20 30 40 50 60 70 80 90 100 110 42
Εφαρμογή: Πυροσβεστική Μία ασφαλιστική εταιρεία, που ασχολείται με ασφάλειες πυρός σε μία πόλη, σκοπεύει να μελετήσει τα δεδομένα από την πυροσβεστική υπηρεσία αναφορικά με το ύψος των ζημιών (σε χιλιάδες ευρώ) σε σχέση με την απόσταση (σε χιλιόμετρα) από τον πυροσβεστικό σταθμό. Τα δεδομένα δίνονται στο διπλανό πίνακα. Να γίνει πρόβλεψη για τις ζημιές σε απόσταση 3,5 χιλιόμετρα. Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ X Y 3,4 26,2 1,8 17,8 4,6 31,3 2,3 23,1 3,1 27,5 5,5 36,0 0,7 14,1 3,0 22,3 2,6 19,6 4,3 31,3 2,1 24,0 1,1 17,3 6,1 43,2 4,8 36,4 3,8 26,1 43
BHMA 1: Διάγραμμα διασποράς Y =b 0 b 1 X e b 1 = A b 1 A = n X i Y i X i Y i n[ X i 2 ] [ X i ] 2, b 0 = Y b 1 X Τ ΙΜΕΣ Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ 2 2 X Y X Y X Y 1 3,4 26,2 89 12 686 2 1,8 17,8 32 3 317 3 4,6 31,3 144 21 980 4 2,3 23,1 53 5 534 5 3,1 27,5 85 10 756 6 5,5 36,0 198 30 1.296 7 0,7 14,1 10 0 199 8 3,0 22,3 67 9 497 9 2,6 19,6 51 7 384 10 4,3 31,3 135 18 980 11 2,1 24,0 50 4 576 12 1,1 17,3 19 1 299 13 6,1 43,2 264 37 1.866 14 4,8 36,4 175 23 1.325 15 3,8 26,1 99 14 681 15 49,20 396,20 1.470,65 196,16 11.376,48 45 42,5 40 37,5 35 32,5 30 27,5 25 22,5 20 17,5 15 12,5 10 7,5 5 2,5 0 0 1 2 3 4 5 6 7 b 1 = 15 1.470,65 49,20 396,20 15 196,16 49,20 2 =4,919, b 0 = 396,20 15 4,919 49,20 15 =10,278 44
BHMA 2: Σφάλματα - διακύμανση ΣΦΑΛΜΑΤΑ SSE= Y 2 b 0 Y b 1 X Y s e 2 = Y Y 2 n 2 = SSE n 2 SST = Y Y 2 SST =SSR SSE Τ ΙΜΕΣ Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ 2 2 X Y X Y X Y 1 3,4 26,2 89 12 686 2 1,8 17,8 32 3 317 3 4,6 31,3 144 21 980 4 2,3 23,1 53 5 534 5 3,1 27,5 85 10 756 6 5,5 36,0 198 30 1.296 7 0,7 14,1 10 0 199 8 3,0 22,3 67 9 497 9 2,6 19,6 51 7 384 10 4,3 31,3 135 18 980 11 2,1 24,0 50 4 576 12 1,1 17,3 19 1 299 13 6,1 43,2 264 37 1.866 14 4,8 36,4 175 23 1.325 15 3,8 26,1 99 14 681 15 49,20 396,20 1.470,65 196,16 11.376,48 SST = Y Y 2 = = Y 2 Y 2 /n= =11.376,48 396,20 2 /15=911,517 SSR=SST SSE= =911,517 69,751=841,766 SSE= Y 2 b 0 Y b 1 X Y = =11.376,48 10,278 396,20 4,919 1.470,65= =69,751 s e 2 = SSE n 2 =5,365, s e =2,316 45
BHMA 3: Στατιστική σημαντικότητα s b1 = se X X t 2 n 2 = b 1 β 1 s b1 δ.ε. για το b 1 b 1 s b1 t n 2,a/2 β 1 b 1 s b1 t n 2,a/ 2 Έλεγχος υπόθεσης και Τ ΙΜΕΣ Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ 2 2 45 X Y X Y X Y 42,5 1 3,4 26,2 89 12 686 40 2 1,8 17,8 32 3 317 37,5 35 3 4,6 31,3 144 21 980 32,5 4 2,3 23,1 53 5 534 30 5 3,1 27,5 85 10 756 27,5 6 5,5 36,0 198 30 1.296 25 7 0,7 14,1 10 0 199 22,5 8 3,0 22,3 67 9 497 20 9 2,6 19,6 51 7 384 17,5 10 4,3 31,3 135 18 980 15 11 2,1 24,0 50 4 576 12,5 12 1,1 17,3 19 1 299 10 7,5 13 6,1 43,2 264 37 1.866 5 14 4,8 36,4 175 23 1.325 2,5 15 3,8 26,1 99 14 681 0 15 49,20 396,20 1.470,65 196,16 11.376,48 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5 6 6,5 s b1 = s e X 2 X 2 / n = 2,316 196,16 49,20 2 /15 =0,393 t 13 = 4,919 0 0,393 =12,525 t 13,0,05/2 =2,16 4,919 0,393 2,16 β 1 4,919 0,393 2,16 4,071 β 1 5,768 46
BHMA 3: Στατιστική σημαντικότητα Συντελεστής συσχέτισης Συντελεστής προσδιορισμού r= (2) n XY X Y [n X 2 X 2 ] [n Y 2 Y 2 ] R 2 =r 2 Τ ΙΜΕΣ Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ 2 2 X Y X Y X Y 1 3,4 26,2 89 12 686 2 1,8 17,8 32 3 317 3 4,6 31,3 144 21 980 4 2,3 23,1 53 5 534 5 3,1 27,5 85 10 756 6 5,5 36,0 198 30 1.296 7 0,7 14,1 10 0 199 8 3,0 22,3 67 9 497 9 2,6 19,6 51 7 384 10 4,3 31,3 135 18 980 11 2,1 24,0 50 4 576 12 1,1 17,3 19 1 299 13 6,1 43,2 264 37 1.866 14 4,8 36,4 175 23 1.325 15 3,8 26,1 99 14 681 15 49,20 396,20 1.470,65 196,16 11.376,48 r= n XY X Y [n X 2 X 2 ] [n Y 2 Y 2 ] =0,961 R 2 =0,961 2 =0,923 Πηγή Μεταβλητικότητας Αθροίσματα Τετραγώνων Βαθμοί Ελευθερίας Μέσα Τετράγωνα Λόγος F1,n-2 Παλινδρόμηση 841,766 1 841,77 156,89 Κατάλοιπο 69,751 13 5,37 ΣΥΝΟΛΟ 911,52 14 F (1,13),0.05 (1,13),0.05 = 4.67, δηλαδή F 1,n-2 > F (1,14),0.05 και επομένως απορρίπτεται η Η 0. 47
BHMA 4: Πρόβλεψη Πρόβλεψη x = 3,5 Y 0 ±t α/2 SSE n 2 1 1 n X 0 X 2 X 2 X 2 / n Τ ΙΜΕΣ Α ΠΟΣ Τ Α Σ Η ΖΗΜΙΕΣ 2 2 X Y X Y X Y 1 3,4 26,2 89 12 686 2 1,8 17,8 32 3 317 3 4,6 31,3 144 21 980 4 2,3 23,1 53 5 534 5 3,1 27,5 85 10 756 6 5,5 36,0 198 30 1.296 7 0,7 14,1 10 0 199 8 3,0 22,3 67 9 497 9 2,6 19,6 51 7 384 10 4,3 31,3 135 18 980 11 2,1 24,0 50 4 576 12 1,1 17,3 19 1 299 13 6,1 43,2 264 37 1.866 14 4,8 36,4 175 23 1.325 15 3,8 26,1 99 14 681 15 49,20 396,20 1.470,65 196,16 11.376,48 50 45 40 35 30 25 20 15 10 5 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 5,5 6 6,5 Y 0 ±t α/2 SSE n 2 1 n X 0 X 2 X 2 X 2 /n 26,208 Y 0 28,784 Y 0 ±t α/2 SSE n 2 1 1 n X 0 X 2 X 2 X 2 / n 22,393 Y 0 32,598 48