9. Παλινδρόμηση και Συσχέτιση

9. Παλινδρόμηση και Συσχέτιση

Παλινδρόμηση και Συσχέτιση Υπάρχει σχέση ανάμεσα σε δύο ή περισσότερες μεταβλητές; Αν ναι, ποια είναι αυτή η σχέση; Πως μπορεί αυτή η σχέση να χρησιμοποιηθεί για να προβλέψουμε την τιμή μιας μεταβλητής από την άλλη ή τις άλλες; Παλινδρόμηση : στατιστική μέθοδος για να προσδιορίσουμε αν υπάρχει εξάρτηση μιας τ.μ. Υ από μια άλλη μεταβλητή Χ ή άλλες. Υ : εξαρτημένη μεταβλητή Χ : ανεξάρτητη μεταβλητή ελεγχόμενη Συσχέτιση : στατιστική μέθοδος για να προσδιορίσουμε αν υπάρχει συσχέτιση ανάμεσα σε δύο ή περισσότερες τυχαίες μεταβλητές όχι τον τρόπο εξάρτησης. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση

Διάγραμμα διάχυσης ctter dgrm Κάθε παρατήρηση παριστάνεται σε ένα σύστημα ορθογωνίων συντεταγμένων μ ένα σημείο με συντεταγμένες και. Η απλούστερη σχέση που μπορεί να συνδέει δύο μεταβλητές είναι η γραμμική και μαθηματικά εκφράζεται από τον τύπο =α+β. Ο συντελεστής α είναι η τιμή του για = tercept και το β είναι η κλίση lope της ευθείας. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 3

ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 4 Συσχέτιση Συντελεστής συσχέτισης Στατιστική σχέση μεταξύ δύο συνεχών τυχαίων μεταβλητών X και Υ. και οι τιμές των X και Υ για την πειραματική μονάδα =,,,. Παράμετρος Εκτίμηση Συνδιακύμανση covrce Συσχέτιση correlto XY XY r, cov Y Vr X Vr Y X, cov Y Y X X E Y X

Ο συντελεστής συσχέτισης του Pero Αποδεικνύεται ότι. Όταν, τότε οι μεταβλητές είναι θετικά συσχετισμένες, ενώ όταν, τότε οι μεταβλητές είναι αρνητικά συσχετισμένες. Ο δειγματικός συντελεστής συσχέτισης r του Pero ποσοτικοποιεί το βαθμό και την κατεύθυνση της γραμμικής σχέσης που υφίσταται μεταξύ των δύο μεταβλητών X και Y. X και Y κανονικά κατανεμημένες Αν r XY, τότε δεν υπάρχει γραμμική σχέση μεταξύ Χ και Υ, δεν αποκλείεται όμως η ύπαρξη άλλων σχέσεων. Αν r XY, υπάρχει ισχυρή θετική γραμμική συσχέτιση Αν, υπάρχει ισχυρή αρνητική γραμμική συσχέτιση r XY XY ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 5

Έλεγχοι υποθέσεων για το συντελεστή συσχέτισης ρ H : έναντι H : Η δειγματοληπτική κατανομή του συντελεστή συσχέτισης r του Pero είναι κανονική όταν το ρ είναι μηδέν. Επομένως, μπορούμε να ελέγξουμε r τη μηδενική υπόθεση με το στατιστικό T ~ t r, όπου r r το τυπικό σφάλμα της κατανομής. H H απορρίπτεται σε ε.σ. α αν η τιμή του στατιστικού t tt ανήκει στην περιοχή απόρριψης t t ; / Όταν ρ είναι διαφορετικό του μηδενός η κατανομή του είναι ασύμμετρη και πολύπλοκη. Γενικά για τον έλεγχο H : το παραπάνω tet δεν εφαρμόζεται. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 6

ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 7 Έλεγχοι υποθέσεων για το συντελεστή συσχέτισης ρ Αποδεικνύεται ότι για μεγάλα δείγματα η τ.μ. ακολουθεί ασυμπτωτικά την τυπική κανονική κατανομή Ν,. Η μηδενική υπόθεση απορρίπτεται σε επίπεδο σημαντικότητας α αν: : H l l 3 r r Z / : όταν l l 3 H z r r : όταν l l 3 H z r r : όταν l l 3 H z r r

Συντελεστής συσχέτισης Pero Ποσοτικοποιεί το βαθμό γραμμικής σχέσης που υπάρχει μεταξύ δυο μεταβλητών Χ και Υ. Οι ύπαρξη συσχέτισης μεταξύ δύο μεταβλητών δεν αποδεικνύει την ύπαρξη σχέσης αιτίου- αποτελέσματος μεταξύ των δύο συσχετιζόμενων μεταβλητών Είναι πολύ ευαίσθητος στην ύπαρξη ακραίων τιμών Οι έλεγχοι σημαντικότητας για το συντελεστή συσχέτισης απαιτούν την κανονικότητα των κατανομών των δυο μεταβλητών Χ και Υ. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 8

Μη παραμετρικός συντελεστής συσχέτισης του Sperm Ο μη παραμετρικός συντελεστής συσχέτισης του Sperm,, είναι ο συντελεστής συσχέτισης του Pero, υπολογιζόμενος όμως, όχι στις δειγματικές τιμές και, =,,, δύο τυχαίων μεταβλητών, αλλά στις σχετικές θέσεις rk αυτών των τιμών. r r r r όπου και είναι αντίστοιχα οι σχετικές θέσεις των τιμών της r παρατήρησης στη διάταξη των δειγματικών τιμών και, =,,, r r r r r r r Ο μη παραμετρικός συντελεστής δείχνει μονότονες σχέσεις. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 9

Γραμμικά μοντέλα Γενική μορφή του μοντέλου Μεταβλητή απόκρισης εξαρτημένη =μοντέλο + σφάλμα Ο όρος γραμμικό μοντέλο έχει χρησιμοποιηθεί με δύο διαφορετικούς τρόπους Γραμμική σχέση μεταξύ δύο μεταβλητών Κάθε τιμή της μεταβλητής περιγράφεται ως συνδυασμός μιας σειράς παραμέτρων σταθερός όρος, κλίσεις όπου καμία παράμετρος δεν εμφανίζεται ως εκθέτης ούτε πολλαπλασιάζεται ούτε διαιρείται με άλλη παράμετρο π.χ. πολυώνυμα ΒΙΟ39-Παλινδρόμηση και Συσχέτιση

Ανάλυση γραμμικής παλινδρόμησης Στόχοι Να περιγράψει τη γραμμική σχέση μεταξύ Χ και Υ Να καθορίσει πόση από τη μεταβλητότητα της Υ μπορεί να ερμηνευτεί από τη γραμμική σχέση της Υ με την Χ και πόση παραμένει ανεξήγητη Να προβλέψει νέες τιμές της Υ από νέες τιμές της Χ ΒΙΟ39-Παλινδρόμηση και Συσχέτιση

Απλή γραμμική παλινδρόμηση Έστω ότι έχουμε ένα σετ παρατηρήσεων με τις X-τιμές συγκεκριμένες και τις Υ-τιμές τυχαίες. Αν οι τιμές της Υ εκτιμώνται από τις τιμές της Χ τότε η Υ ονομάζεται εξαρτημένη μεταβλητή depedet vrble ή repoe vrble και η μεταβλητή Χ ονομάζεται ανεξάρτητη μεταβλητή depedet vrble ή predctor vrble Γραμμικό Μοντέλο παλινδρόμησης είναι η τιμή της Υ για την παρατήρηση, όταν X= πληθυσμιακή παράμετρος η μέση τιμή της κατανομής της Υ όταν ι είναι μηδέν β πληθυσμιακή παράμετρος η κλίση και μετράει την αλλαγή της Υ για κάθε μοναδιαία μεταβολή στη Χ. ε ι τυχαίο ή ανεξήγητο σφάλμα που σχετίζεται με την παρατήρηση. Μετράει, για κάθε,τη διαφορά μεταξύ της παρατηρούμενης τιμής και της προβλεπόμενης από το μοντέλο +β ΒΙΟ39-Παλινδρόμηση και Συσχέτιση

Απλή γραμμική παλινδρόμηση Υποθέσεις για τα σφάλματα κανονικότητα, ομοιογένεια διασπορών και ανεξαρτησία Για κάθε, οι όροι των σφαλμάτων είναι κανονικά κατανεμημένοι με μέση τιμή μηδέν Eε = και ίσες διασπορές Vrε ι =σ. Επιπλέον, οι όροι είναι ανεξάρτητοι μεταξύ τους Επειδή α και β άγνωστες σταθερές και ο προσδιορισμός των τιμών της μεταβλητής Χ γίνεται χωρίς σφάλματα: ΕΥ=α+βΧ Ευθεία γραμμικής παλινδρόμησης ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 3

Μοντέλο παλινδρόμησης E Y X Διαγραμματική παρουσίαση ενός μοντέλου γραμμικής παλινδρόμησης. Δείχνει τον πληθυσμό του Y σε δύο τιμές της X. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 4

Προσδιορισμός των συντελεστών α και β Υπάρχουν διάφοροι τρόποι προσδιορισμού της εκτιμήτριας της ευθείας ΕΥ=α+βX,η επικρατέστερη είναι η μέθοδος των ελαχίστων τετραγώνων. α+β ^ - ^ { 5

6 Η μέθοδος των ελαχίστων τετραγώνων Ψάχνουμε α και β που να ελαχιστοποιούν τη σχέση Παραγωγίζοντας τη σχέση * ως προς τους προσδιοριστέους συντελεστές α και β καταλήγουμε σε ένα σύστημα δύο εξισώσεων κανονικές εξισώσεις Εξισώνοντας με το και λύνοντας ως προς α και β, προκύπτουν οι εκτιμήτριες ελαχίστων τετραγώνων *

7 Εκτιμήτριες ελαχίστων τετραγώνων των α και β Οι και ονομάζονται εκτιμήτριες ελαχίστων τετραγώνων των παραμέτρων α και β. Η εκτίμηση της ευθείας παλινδρόμησης ΕΥ=α+βX, καλείται ευθεία ελαχίστων τετραγώνων. ˆ ˆ ˆ ˆ â ˆ, ˆ ˆ ˆ

Τυπικό σφάλμα της εκτίμησης Ορισμός: Η μέση απόκλιση της πραγματικής και της εκτιμούμενης τιμής της μεταβλητής, καλείται τυπικό σφάλμα της εκτίμησης tdrd error of the etmte, συμβολίζεται με και ισχύει Αν το είναι μικρό, τότε τα και ŷ δεν θα διαφέρουν πολύ και η ευθεία ελαχίστων τετραγώνων μας δίνει μια καλή περιγραφή της σχέσης μεταξύ των και. Αν το είναι μεγάλο δεν μπορούμε να πούμε ότι έχουμε καλή περιγραφή της σχέσης. Υποθέσαμε ότι τα σφάλματα e έχουν μέση τιμή Ee =. Αν επιπλέον υποθέσουμε ότι e, e,,e είναι ανεξάρτητα και Vre =σ η οποία συνήθως είναι άγνωστη, τότε είναι η εκτίμηση της διασποράς των σφαλμάτων σ. ˆ 8

Μήκος φτερού cm Παράδειγμα Μετρήσεις δύο μεταβλητών σε 3 σπουργίτια. Χ η ηλικία σε μέρες Υ το μήκος φτερού σε cm. 6 5 Ηλικία Μήκος φτερού 3,,4 4,,5 5,, 6,,4 8, 3, 9, 3,, 3, 4 3 5 5 Ηλικία μέρες Διάγραμμα διάχυσης, 3,9, 4, 4, 4,7 5, 4,5 6, 5, 7, 5, ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 9

ΒΙΟ39-Παλινδρόμηση και Συσχέτιση Γραμμικό Μοντέλο παλινδρόμησης Παρατηρούμε ότι τα δεδομένα μπορούν να έχουν μια γραμμική σχέση της μορφής Μήκος φτερού =α+βηλικία +e =,,,3 Οι εκτιμήτριες ελαχίστων τετραγώνων των παραμέτρων α και β είναι: έ cm /.7 ˆ cm.75 ˆ ˆ

Μήκος φτερού cm Ευθεία ελαχίστων τετραγώνων Η ευθεία που προσαρμόζεται καλύτερα στα δεδομένα είναι η ˆ,75, 7 6 5 4 3 5 5 Ηλικία μέρες Τυπικό σφάλμα της εκτίμησης ˆ,84 Ένα σπουργίτι 3 ημερών =3 έχει μέσο μήκος φτερού ˆ,75,73 4, 5cm Προσοχή: δεν μπορούμε να χρησιμοποιήσουμε την ευθεία παλινδρόμησης για να κάνουμε προβλέψεις για τιμές της Χ εκτός του εύρου των παρατηρήσεων. Σύμφωνα με την ευθεία που εκτιμήσαμε, ένα σπουργίτι ενός έτους =365 μέρες έχει μήκος φτερού ˆ,75,7365 99,65cm!!!!! ΒΙΟ39-Παλινδρόμηση και Συσχέτιση

Ιδιότητες των εκτιμητριών ελαχίστων τετραγώνων Κάτω από τις υποθέσεις για τα σφάλματα, μπορεί να αποδειχθεί ότι για τις εκτιμήτριες και ισχύουν: Αν επιπλέον τα σφάλματα ακολουθούν κανονική κατανομή, αποδεικνύεται ότι: â ˆ ˆ, ˆ ˆ, ˆ Vr Vr, ~ ˆ, ~ ˆ N N, N

Δ.Ε. για τις παραμέτρους α και β Οι τ.μ. T ˆ και T ˆ, όπου, ακολουθούν την t κατανομή Studet. είναι η εκτίμηση της διασποράς των σφαλμάτων. Δ.Ε. για τις παραμέτρους α και β του γραμμικού μοντέλου ΕΥ=α+β. -α% Δ.Ε. για το α : -α% Δ.Ε. για το β : ˆ t ˆ ; / t ; / 3

Έλεγχοι υποθέσεων για την παράμετρο α Η μηδενική υπόθεση H : απορρίπτεται σε ε.σ. α αν: Περιοχή απόρριψης Η Εναλλακτική υπόθεση Η ˆ t ; H : ˆ t ; H : ˆ t ; / H : 4

Έλεγχοι υποθέσεων για την παράμετρο β Η μηδενική υπόθεση H : απορρίπτεται σε ε.σ. α αν: Περιοχή απόρριψης Η Εναλλακτική υπόθεση Η ˆ t ; H : ˆ ˆ t ; t ; / H : H : Συνήθως μας ενδιαφέρει να ελέγξουμε την υπόθεση Η: β=, διότι αν ισχύει η μηδενική υπόθεση τότε Ε=α που σημαίνει ότι η μεταβλητή είναι ανεξάρτητη της. 5

Παράδειγμα Για τα παραπάνω δεδομένα ελέγχουμε αν το μήκος του φτερού των σπουργιτιών είναι ανεξάρτητο της ηλικίας α=,5. H H : : ˆ,7, ˆ t,8, ;,5,,35 Επομένως η Η απορρίπτεται σε επίπεδο σημαντικότητας 5%, και συμπεραίνουμε ότι δεν είναι ανεξάρτητο της ηλικίας. 95% Δ.Ε. για το β:,4,,3 6

7 Δ.Ε. της ΕΥ για δοσμένη τιμή του Η εκτίμηση του ΕΥ είναι. Αποδεικνύεται ότι Με την προϋπόθεση ότι τα σφάλματα ακολουθούν κανονική κατανομή -α% Δ.Ε. για την αναμενόμενη τιμή ΕΥ στο σημείο : ˆ ˆ ˆ ˆ, ˆ Y Vr Y, ~ ˆ N Y / ; ˆ t

Έλεγχοι υποθέσεων για την EY Υπολογίζουμε την ποσότητα t ˆ Η μηδενική υπόθεση H E Y : απορρίπτεται σε ε.σ. α αν: Περιοχή απόρριψης Η Εναλλακτική υπόθεση Η t t ; H E Y : t t ; H E Y : t t ; / H E Y : 8

Δ.Ε. για την πρόβλεψη Η προβλεπόμενη τιμή, η οποία συμβολίζεται με εκτιμώμενη ŷ ~ ˆ ˆ ~, ταυτίζεται με την Τυπικό σφάλμα της πρόβλεψης ~ SE [ SE ˆ] -α% Δ.Ε. για την πρόβλεψη στο σημείο διάστημα πρόβλεψης: ˆ t ; / Το διάστημα πρόβλεψης είναι μεγαλύτερο από το αντίστοιχο διάστημα εμπιστοσύνης της αναμενόμενης τιμής ΕΥ στο σημείο. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 9

Παράδειγμα Υπολογισμός του 95% Δ.Ε. για το αναμενόμενο μήκος του φτερού σπουργιτιών ηλικίας 3 ημερών : ˆ3,75,73 4,3,73 t ; / t;,5, Άρα το 95% Δ.Ε. για το ΕΥ 3 : 4,64, 4,386 Το 95% διάστημα πρόβλεψης για το μήκος του φτερού του ενός σπουργιτιού 3 ημερών είναι : 3,79, 4,73 3

Ανάλυση διασποράς στην Παλινδρόμηση Η συνολική μεταβλητότητα SST αναλύεται σε δύο συνιστώσες: Τη μεταβλητότητα SSR ˆ που εξηγείται από την παλινδρόμηση Την υπόλοιπη μεταβλητότητα redul vrto SSE που οφείλεται σε άλλους παράγοντες εκτός από το Χ. ˆ Αποδεικνύεται ότι: SST SSR SSE ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 3

Συντελεστής προσδιορισμού SSR Η ποσότητα R καλείται συντελεστής προσδιορισμού coeffcet SST of determto, εκφράζει το ποσοστό της συνολικής μεταβλητότητας που ερμηνεύεται από την παλινδρόμηση και αποτελεί μέτρο της προσαρμογής της ευθείας ελαχίστων τετραγώνων στα δεδομένα SSR SSE Η ποσότητα R εκφράζει το ποσοστό της συνολικής SST SST μεταβλητότητας που οφείλεται σε σφάλματα. Αν R κοντά στο, τότε η γραμμική παλινδρόμηση ερμηνεύει ικανοποιητικά τη μεταβολή του Υ. Αν R κοντά στο μηδέν τότε η εξίσωση της παλινδρόμησης δεν ερμηνεύει τη μεταβολή στο Υ. ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 3

Προσαρμοσμένος συντελεστής προσδιορισμού O συντελεστής προσδιορισμού είναι σημειακή εκτίμηση όχι αμερόληπτη του πληθυσμιακού συντελεστή προσδιορισμού και τείνει να τον υπερεκτιμά θετικά ασύμμετρη η κατανομή του όταν το δείγμα είναι μικρό. Μια αμερόληπτη εκτιμήτρια του πληθυσμιακού συντελεστή είναι ο προσαρμοσμένος συντελεστής προσδιορισμού djuted coeffcet of determto R SE R ST ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 33

Πίνακας ΑNOVA Πηγή Μεταβλη- τότητας Άθροισμα τετραγώνων SS β.ε. Μέσο άθροισμα τετραγώνων ΜS Λόγος-F Κρίσιμο σημείο Παλινδρόμηση SSR ˆ SR SSR F MSR MSE f, ; Υπόλοιπη Σφάλμα SSE ˆ - SE SSE Συνολική - SST ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 34

Έλεγχοι σημαντικότητας της ευθείας παλινδρόμησης Έλεγχος για τη σημαντικότητα της παραμέτρου β H H : : Αν η Η ισχύει τότε το στατιστικό: F MSR MSE ~ F, Η Η απορρίπτεται σε επίπεδο σημαντικότητας α όταν η τιμή του στατιστικού f f, ; ΒΙΟ39-Παλινδρόμηση και Συσχέτιση 35

Παράδειγμα H H : : R =,973.Το R είναι αρκετά κοντά στο. Επομένως, η εξίσωση της παλινδρόμησης εξηγεί ικανοποιητικά τη μεταβολή του μήκους του φτερού. Επειδή F=4,9> 4,844 η Η απορρίπτεται, δηλαδή το β διαφέρει σημαντικά από το. 36

Συναρτήσεις που ανάγονται σε γραμμικές Εκθετική συνάρτηση e k log log log k log e Η γραφική παράσταση του Υ=log ως προς X= είναι μια ευθεία γραμμή Συνάρτηση δύναμης log log log log Η γραφική παράσταση του Υ=log ως προς X=log είναι μια ευθεία γραμμή 37