Απλή Γραμμική Παλινδρόμηση και Συσχέτιση
2 Εισαγωγή Η ανάλυση παλινδρόμησης περιλαμβάνει το σύνολο των μεθόδων της στατιστικής που αναφέρονται σε ποσοτικές σχέσεις μεταξύ μεταβλητών Πρότυπα παλινδρόμησης Πιθανοτικά πρότυπα Εξισώσεις που συνδέουν την παρατήρηση μιας τ.μ., που λέγεται εξαρτημένη μεταβλητή ή μεταβλητή απόκρισης, από δοσμένες παρατηρήσεις μιας ή περισσότερων άλλων μεταβλητών, που λέγονται ανεξάρτητες μεταβλητές Δείχνουν πως κάποια μεταβλητή (εξαρτημένη) επηρεάζεται με κάποιον τρόπο από άλλες μεταβλητές (ανεξάρτητες)
3 Πρότυπα παλινδρόμησης Γενική μορφή με k ανεξάρτητες μεταβλητές Y = g x 1, x 2,, x k + ε x 1, x 2,, x k παριστάνουν δοσμένες τιμές των ανεξάρτητων μεταβλητών, που είτε προκαθορίζονται είτε παρατηρούνται (μετριούνται) Y είναι η αντίστοιχη τυχαία παρατήρηση της εξαρτημένης μεταβλητής η οποία έχει μέση τιμή g x 1, x 2,, x k ε είναι ένα τυχαίο σφάλμα με μέση τιμή μηδέν
4 Γραμμικά πρότυπα παλινδρόμησης Y = β 0 + β 1 x 1 + + β k x k + ε Η συνάρτηση β 0 + β 1 x 1 + + β k x k είναι γραμμική ως προς τις παραμέτρους β 0, β 1,, β k Οι παράμετροι β 0, β 1,, β k είναι άγνωστες σταθερές που μπορούν να εκτιμηθούν όταν δίνονται τα δεδομένα x i1, x i2,, x ik ; i = 1, 2,, n, με n k + 1
5 Πολυωνυμικό πρότυπο παλινδρόμησης Y = β 0 + β 1 x + β 2 x 2 + + β k x k + ε Ειδική περίπτωση γραμμικού προτύπου Πρότυπο απλής γραμμικής παλινδρόμησης Πολυωνυμικό πρότυπο παλινδρόμησης με k = 1 Πρότυπο πολλαπλής γραμμικής παλινδρόμησης Πολυωνυμικό πρότυπο παλινδρόμησης με k >1
6 Πρότυπο απλής γραμμικής παλινδρόμησης (1) Y = β 0 + β 1 x + ε το x συμβολίζει μια συγκεκριμένη τιμή της ανεξάρτητης μεταβλητής το Y είναι η τυχαία παρατήρηση της εξαρτημένης μεταβλητής που αντιστοιχεί στην τιμή x β 0 και β 1 είναι άγνωστες σταθερές (παράμετροι) ε είναι τυχαίο σφάλμα
7 Πρότυπο απλής γραμμικής παλινδρόμησης (2) Για να μπορέσουμε να προχωρήσουμε στην προσαρμογή και ανάλυση του προτύπου θα πρέπει να μας δοθούν n τιμές της ανεξάρτητης μεταβλητής x Ελεγχόμενη μελέτη (απλό γραμμικό πρότυπο) Οι n τιμές της ανεξάρτητης μεταβλητής x 1, x 2,, x n προκαθορίζονται από τον ερευνητή Μελέτη παρατηρήσεων Οι n τιμές της ανεξάρτητης μεταβλητής x 1, x 2,, x n προκύπτουν από τυχαίες παρατηρήσεις
8 Υποθέσεις στο απλό γραμμικό πρότυπο (1) Όταν η ανεξάρτητη μεταβλητή παίρνει προκαθορισμένες τιμές, γίνονται οι εξής υποθέσεις για το τυχαίο σφάλμα του προτύπου: 1. Για κάθε τιμή x (που ανήκει σε ένα διάστημα) η μέση τιμή του ε = ε x είναι μηδενική, δηλαδή Ε ε = 0 2. Η διασπορά του ε = ε x δεν εξαρτάται από την τιμή x, δηλαδή είναι μια σταθερή ποσότητα, σ 2, ανεξάρτητη του x, δηλαδή var ε = σ 2 (υπόθεση ομογένειας της διασποράς) 3. Η συνδιασπορά μεταξύ δύο σφαλμάτων ε i και ε j, που αντιστοιχούν σε διαφορετικές τιμές της ανεξάρτητης μεταβλητής, είναι μηδέν, δηλαδή cov ε i, ε j = 0, για οποιαδήποτε σφάλματα ε i και ε j με i j 4. Για κάθε τιμή x, το σφάλμα ε = ε x έχει κανονική κατανομή
9 Υποθέσεις στο απλό γραμμικό πρότυπο (2) Οι προηγούμενες υποθέσεις είναι ισοδύναμες με τις ακόλουθες υποθέσεις για τις τυχαίες παρατηρήσεις της εξαρτημένης μεταβλητής: 1. Για κάθε τιμή x η μέση τιμή της τ.μ. Y = Y x, E Y = μ Y x, είναι Ε Y = β 0 + β 1 x 2. Η διασπορά της Y = Y x δεν εξαρτάται από την τιμή x, δηλαδή για κάθε x, ισχύει var Y = σ 2 3. Η συνδιασπορά μεταξύ δύο τυχαίων παρατηρήσεων Y i και Y j, που αντιστοιχούν σε διαφορετικές τιμές της ανεξάρτητης μεταβλητής, είναι μηδενική, δηλαδή cov Y i, Y j = 0, για οποιεσδήποτε παρατηρήσεις Y i και Y j με i j 4. Για κάθε τιμή x, η τυχαία παρατήρηση Y = Y x έχει κανονική κατανομή
10 Υποθέσεις στο απλό γραμμικό πρότυπο (3) Η υπόθεση 1 για την τ.μ. Y μας λέει ότι οι μέσες τιμές της εξαρτημένης μεταβλητής που αντιστοιχούν σε διαφορετικές τιμές της ανεξάρτητης μεταβλητής πέφτουν πάνω σε ευθεία γραμμή, η οποία έχει κλίση β 1 και κόβει τον άξονα y στο σημείο β 0 Οι υποθέσεις 1, 2 και 4 μπορούν να αποδοθούν συνοπτικά από τις σχέσεις: ε~ν 0, σ Y~N β 0 + β 1 x, σ
11 Παράδειγμα 1 Έστω β 0 = 1, β 1 = 2, σ 2 = 0. 09 και μια τιμή x 0 = 3 της ανεξάρτητης μεταβλητής Να γίνει η γραφική παράσταση της ευθείας και να απεικονιστεί στο ίδιο σχήμα το διάστημα στο οποίο θα βρεθεί η τ.μ. Y με πιθανότητα 0.95, όταν καθοριστεί η τιμή x = x 0
12 Μέθοδος ελαχίστων τετραγώνων (1) Υπολογίζει τις τιμές b 0 και b 1 των παραμέτρων β 0 και β 1, αντίστοιχα, που ελαχιστοποιούν τη συνάρτηση n S β 0, β 1 = y i β 0 + β 1 x i 2 i=1 Οι τιμές b 0 και b 1 ονομάζονται εκτιμητές ελαχίστων τετραγώνων των παραμέτρων β 0 και β 1
13 Μέθοδος ελαχίστων τετραγώνων (2) Οι εκτιμητές ελαχίστων τετραγώνων των παραμέτρων β 0 και β 1 ισούνται με: b 1 = n σ i=1 n x i y i σ n i=1 x i σ n i=1 y i n σ n i=1 x 2 i σ n 2 i=1 x i b 0 = ഥy b 1 ഥx Η τιμή του b 1 υπολογίζεται και από την b 1 = σ n i=1 x i ഥx y i ഥy n x i ഥx 2 σ i=1 όταν n 2 και οι δοσμένες τιμές x i δεν είναι όλες ίδιες
14 Μέθοδος ελαχίστων τετραγώνων (3) Προσαρμοσμένη ευθεία παλινδρόμησης y = b 0 + b 1 x = ഥy + b 1 x ഥx Υπολογισμός υπολοίπων e i = y i y i = y i ഥy b 1 x i ഥx, i = 1, 2,, n Τα υπόλοιπα είναι οι διαφορές των τιμών y i από τα δεδομένα y i της εξαρτημένης μεταβλητής
15 Παράδειγμα 2 Σε μια μελέτη μετριέται η απόδοση μιας διεργασίας σε έξι διαφορετικές θερμοκρασίες από 140 ο C μέχρι 165 ο C Οι μετρήσεις δίνονται στον παρακάτω πίνακα Θερμοκρασία x i 140 145 150 155 160 165 Απόδοση y i 14.1 14.4 15.1 18.1 18.3 20.5 Σκοπός είναι να βρεθεί ένα πρότυπο που θα χρησιμεύσει στην πρόβλεψη της απόδοσης για οποιαδήποτε τιμή της θερμοκρασίας στο διάστημα [140, 165] Βρείτε την προσαρμοσμένη ευθεία παλινδρόμησης και υπολογίστε τα υπόλοιπα
16 Η ακρίβεια της προσαρμογής (1) Έστω ότι με SSΤ συμβολίζουμε το ολικό άθροισμα τετραγώνων που αποτελεί μέτρο της ολικής μεταβλητότητας των δεδομένων y i και ισούται με n SST = σ i=1 y i ഥy 2 Έστω ότι με SSR συμβολίζουμε το άθροισμα των τετραγώνων των αποκλίσεων των προσαρμοσμένων τιμών y i από τη δειγματική μέση τιμή ഥy και ισούται με n SSR = σ i=1 y i ഥy 2 Έστω ότι με SSE συμβολίζουμε το άθροισμα των τετραγώνων των υπολοίπων e i = y i y i, το οποίο εκφράζει το μέρος του ολικού αθροίσματος τετραγώνων που μένει ανεξήγητο μετά την προσαρμογή του προτύπου παλινδρόμησης, και ισούται με n SSE = σ i=1 y i y i 2
17 Η ακρίβεια της προσαρμογής (2) Ισχύει n n n y i ഥy 2 = y i ഥy 2 + y i y i 2 i=1 i=1 i=1 ή SST = SSR + SSE Η ποιότητα της προσαρμογής είναι καλύτερη όσο πλησιέστερα στη μονάδα βρίσκεται ο (θετικός) λόγος r 2 = SSR SST Το r καλείται συντελεστής προσδιορισμού και χρησιμοποιείται ως μέτρο της ακρίβειας της προσαρμογής
18 Η ακρίβεια της προσαρμογής (3) Ο υπολογισμός γίνεται ως εξής n n n 2 SST = y i ഥy 2 = y i 2 1 n i=1 y i i=1 i=1 SSR = b 1 n i=1 x i y i σ i=1 n x i σ n i=1 n y i To SSE υπολογίζεται αφαιρώντας το SSR από το SST
19 Εκτίμηση της διασποράς των σφαλμάτων Η εκτίμηση της κοινής διασποράς σ 2 των σφαλμάτων είναι s 2 = σ n 2 i=1 y i y i n 2 = SSE n 2 όπου SSE είναι το υπόλοιπο άθροισμα τετραγώνων, δηλαδή το άθροισμα τετραγώνων που οφείλεται σε σφάλματα
20 Παράδειγμα 3 Συνεχίζοντας την επίλυση του Παραδείγματος 2, ζητούνται τα εξής: Βρείτε το ποσοστό ολικής μεταβλητότητας των δεδομένων της απόδοσης που παραμένει ανεξήγητο μετά την προσαρμογή της ευθείας Βρείτε τον εκτιμητή s 2 της διασποράς των σφαλμάτων
21 Συμπερασματολογία στο απλό γραμμικό πρότυπο (1) Έστω ότι ισχύει το απλό γραμμικό πρότυπο Οι εκτιμήτριες ελαχίστων τετραγώνων Β 0 και Β 1 έχουν μέσες τιμές και διασπορές όπου B 0 = σ n i=1 E B 0 = β 0 και E B 1 = β 1 var B 0 = σ2 σ n 2 i=1 x i n σn i=1 x i ഥx 2 var B 1 = σn i=1 a i Y i και B 1 = σ n i=1 c i Y i σ 2 x i ഥx 2
22 Συμπερασματολογία στο απλό γραμμικό πρότυπο (2) Συμπερασματολογία για τις παραμέτρους β 0 και β 1 Διαστήματα εμπιστοσύνης b 0 ± t Τ a 2;n 2 s B 0 όπου s B 0 b 1 ± t Τ a 2;n 2 s B 1 = s σ n i=1 n σn i=1 x i 2 x i ഥx 2 Τ 1 2 s B 1 = s σn i=1 x i ഥx 2 1Τ2
23 Συμπερασματολογία στο απλό γραμμικό πρότυπο (3) H 0 : β 1 = β 10 Αν β 10 = 0 (έλεγχος σημαντικότητας της παλινδρόμησης αν απορριφθεί η Η 0 η παλινδρόμηση της Υ ως προς Χ είναι σημαντική) Στατιστική συνάρτηση ελέγχου Τ = b 1 β 10 s B 1 Περιοχή απόρριψης της Η 0 Η 1 : β 1 β 10 Η 1 : β 1 > β 10 Η 1 : β 1 < β 10 Τ t n 2;α/2 Τ t n 2;α Τ t n 2;α
24 Παράδειγμα 4 Συνεχίζοντας την επίλυση του Παραδείγματος 2, ζητούνται τα εξής: Βρείτε το 95% διάστημα εμπιστοσύνης για τις β 0 και β 1 Ελέγξτε την Η 0 : β 1 = 0 κατά της Η 1 : β 1 0 σε επίπεδο σημαντικότητας 5% Ελέγξτε την Η 0 : β 1 = 0.2 κατά της Η 1 : β 1 > 0.2 σε επίπεδο σημαντικότητας 1%
25 Εκτίμηση μέσης τιμής και πρόβλεψη ιδιαίτερης τιμής της Υ (1) Έστω x 0 ένα σημείο του διαστήματος στο οποίο εκτείνονται οι δεδομένες τιμές της ανεξάρτητης μεταβλητής και Y 0 = Y x 0 η εξαρτημένη μεταβλητή όταν η ανεξάρτητη μεταβλητή πάρει την τιμή x 0. Η τ.μ. Υ 0 είναι ίση με Y 0 = B 0 + B 1 x 0 Αν ισχύει το απλό γραμμικό πρότυπο η Υ 0 ακολουθεί κανονική κατανομή με: E Y 0 = β 0 + β 1 x 0 var Y 0 = σ 2 1 n + x 0 ഥx 2 σn i=1 x i ഥx 2 1 2
26 Εκτίμηση μέσης τιμής και πρόβλεψη ιδιαίτερης τιμής της Υ (2) Το 100(1 - α)% διάστημα πρόβλεψης για τη μέση τιμή μ ΥΤx0 της τ.μ. Υ 0 είναι y 0 ± t n 2; Τ a 2 s Υ 0 όπου s Υ 0 = s 1 n + x 0 ഥx 2 σn i=1 x i ഥx 2 1 2
27 Εκτίμηση μέσης τιμής και πρόβλεψη ιδιαίτερης τιμής της Υ (3) Το 100(1 - α)% διάστημα πρόβλεψης για την τιμή y 0 που θα φέρει η τ.μ. Υ 0 είναι y 0 ± t n 2; Τ a 2 s Y 0 Y 0 όπου s Y 0 Y 0 = s 1 + 1 n + x 0 ഥx 2 σn i=1 x i ഥx 2 1 2
28 Παράδειγμα 5 Συνεχίζοντας την επίλυση του Παραδείγματος 2, ζητούνται τα εξής: Βρείτε το 95% διάστημα εμπιστοσύνης για τη μέση απόδοση της διεργασίας όταν η θερμοκρασία είναι 153 ο C Βρείτε το 95% διάστημα πρόβλεψης για τη (συγκεκριμένη) απόδοση που θα επιτύχει η χημική διεργασία αν η θερμοκρασία καθοριστεί στους 153 ο C
29 Δισδιάσταση κανονική κατανομή (1) Το τυχαίο ζεύγος (Χ,Υ) έχει δισδιάστατη κανονική κατανομή με παραμέτρους μ X, μ Y, σ Χ, σ Υ, ρ, όταν για κάθε x, y R 2 η συνάρτηση πυκνότητας πιθανότητας ισούται με: f x, y = 1 2π 1 ρ 2 2ρ x μ Χ σ Χ 1Τ2 exp σ X σ Υ 1 2 1 ρ 2 y μ Υ σ Υ + y μ Y σ Y 2 ൩ൡ x μ Χ σ Χ Η κατανομή αυτή αποτελεί μια γενίκευση της κανονικής κατανομής στις δύο διαστάσεις 2
30 Δισδιάσταση κανονική κατανομή (2) Ιδιότητες 1. Οι περιθώριες κατανομές των τ.μ. Χ και Υ είναι οι μονοδιάστατες κανονικές κατανομές Ν μ Χ, σ Χ, Ν μ Υ, σ Υ, αντίστοιχα 2. Το ρ είναι ο συντελεστής συσχέτισης των Χ και Υ cov X, Y ρ = = Ε ΧΥ μ Χμ Υ σ Χ σ Υ σ Χ σ Υ 1. Η δεσμευμένη συχνότητα πυκνότητας πιθανότητας της Υ όταν Χ=x αντιστοιχεί σε κανονική κατανομή με μέση τιμή και διασπορά μ Υ Χ=x E Y X = x = μ Υ + ρ σ Υ σ Χ x μ Χ σ Υ Χ=x = σ Υ 2 1 ρ 2
31 Ανάλυση συσχέτισης όταν Χ, Υ έχουν δισδιάστατη κατανομή (1) Έστω ότι το τυχαίο ζεύγος (Χ,Υ) έχει μια δισδιάστατη κατανομή με συντελεστή συσχέτισης ρ Αν έχουμε n παρατηρήσεις (x 1,y 1 ), (x 2,y 2 ),, (x n,y n ), μπορούμε να εκτιμήσουμε την παράμετρο ρ μέσω του δειγματικού συντελεστή συσχέτισης r, ο οποίος ορίζεται ως εξής: n x i ഥx y i ഥy r = σ i=1 σn i=1 x i ഥx 2 σn i=1 y i ഥy 2 και υπολογίζεται από τη σχέση: n σ n i=1 x i y i σ n i=1 x i σ n i=1 y i r = n σ n i=1 x 2 i σ n 2 i=1 x i n σi=1 n y 2 i σ n 2 i=1 y i
32 Ανάλυση συσχέτισης όταν Χ, Υ έχουν δισδιάστατη κατανομή (2) Ο δειγματικός συντελεστής συσχέτισης εκφράζει αριθμητικά το βαθμό της γραμμικής σχέσης που υπάρχει σε δεδομένα της μορφής (x, y) από δύο τ.μ. Χ και Υ Ο r είναι ο εκτιμητής του βαθμού γραμμικής σχέσης μεταξύ δύο τ.μ. X και Y Οι δυνατές τιμές του r είναι μεταξύ -1 και +1 ( 1 r 1) Όταν r 1, υπάρχει ένδειξη για τέλεια γραμμική σχέση μεταξύ των X και Y Όταν r = 0, υπάρχει ένδειξη για παντελή απουσία γραμμικής σχέσης μεταξύ των X και Y
33 Ανάλυση συσχέτισης όταν Χ, Υ έχουν δισδιάστατη κατανομή (3) Όταν υπάρχει δισδιάστατη κανονική κατανομή μεταξύ των μεταβλητών, μια τιμή του r κοντά στο μηδέν αποτελεί ένδειξη ανεξαρτησίας των δύο μεταβλητών
34 Συμπερασματολογία για το συντελεστή συσχέτισης (1) Η 0 : ρ = 0 (οι τ.μ. Χ και Υ είναι ανεξάρτητες) Η 1 : ρ 0 (οι τ.μ. Χ και Υ δεν είναι ανεξάρτητες) Στατιστική συνάρτηση ελέγχου R n 2 T = 1 R 2 όπου R είναι η τ.μ. που παίρνει τιμές r και η τ.μ. Τ ακολουθεί την κατανομή t Περιοχή απόρριψης της Η 0 Η 1 : ρ 0 Η 1 : ρ > 0 Η 1 : ρ < 0 Τ t n 2;α/2 Τ t n 2;α Τ t n 2;α
35 Συμπερασματολογία για το συντελεστή συσχέτισης (2) Η 0 : ρ = ρ 0 Η 1 : ρ ρ 0 Στατιστική συνάρτηση ελέγχου n 3 1 + R Z = ln 2 1 R ln 1 + ρ 0 1 ρ 0 όπου η τ.μ. Ζ ακολουθεί την κατανομή Ν(0,1) όταν ισχύει η Η 0 Περιοχή απόρριψης της Η 0 Η 1 : ρ ρ 0 Η 1 : ρ > ρ 0 Η 1 : ρ < ρ 0 Z z α/2 Z z α Z z a
36 Παράδειγμα 6 Έστω ότι σε ένα τυχαίο δείγμα μεγέθους n = 28 από δισδιάστατο κανονικό πληθυσμό βρέθηκε δειγματικός συντελεστής συσχέτισης r = -0.650 1. Να γίνει έλεγχος της Η 0 : ρ = -0.50 κατά της Η 1 : ρ < -0.50 σε επίπεδο σημαντικότητας 0.01
37 Παράδειγμα 7 Στον παρακάτω πίνακα δίνονται δέκα ζεύγη τυχαία επιλεγμένων μετρήσεων της συστολικής (Χ) και διαστολικής (Υ) αρτηριακής πίεσης ενός ατόμου που πάσχει από υπέρταση Χ 140 175 138 154 180 148 170 164 130 142 Υ 80 94 85 92 110 82 98 90 85 90 Με την υπόθεση ότι οι τ.μ. Χ και Υ ακολουθούν δισδιάστατη κανονική κατανομή, να γίνει έλεγχος κατά πόσο οι μεταβλητές αυτές είναι ανεξάρτητες (α = 0.05)