ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ» ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Θέμα: «Γραμμικά μοντέλα παλινδρόμησης και μοντέλα συσχέτισης» Αθανασοπούλου Ανδριάνα Α.Μ:303 ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: Φίλιππος Αλεβίζος

2 ΠΕΡΙΕΧΟΜΕΝΑ Εισαγωγή..σελ 3 Κεφάλαιο 1 ο Γραμμική Παλινδρόμηση 1.1 Μοντέλα παλινδρόμησης...σελ Πρώτο μοντέλο παλινδρόμησης......σελ Περίπτωση μιας ανεξάρτητης μεταβλητής...σελ Περίπτωση δύο ανεξαρτήτων μεταβλητών...σελ Δεύτερο μοντέλο παλινδρόμησης...σελ Εκτίμηση των διακυμάνσεων...σελ Διάστημα εμπιστοσύνης για το Β.σελ Υπολογιστικές μέθοδοι..σελ 24 Κεφάλαιο 2 ο Κανονικά μοντέλα συσχέτισης 2.1 Διάκριση μεταξύ μοντέλων παλινδρόμησης και μοντέλων συσχέτισης σελ Δισδιάστατη κανονική κατανομή..σελ Δεσμευμένες κατανομές.σελ Βασικά χαρακτηριστικά των δεσμευμένων κατανομών σελ Δεσμευμένες κατανομές της Χ σελ Εκτιμητές των μ, μ, ρ, σ, σ...σελ Πολυμεταβλητή κανονική κατανομή.σελ Εύρεση δεσμευμένων πολυμεταβλητών κατανομών..σελ 35 1

3 2.6.1 Εκτίμηση των β, β..σελ Συμπεράσματα για τις δεσμευμένες κατανομές...σελ 42 Κεφάλαιο 3 ο Συσχέτιση 3.1 Απλός συντελεστής συσχέτισης...σελ Πολλαπλός συντελεστής συσχέτισης...σελ Μερικός συντελεστής συσχέτισης....σελ 48 Κεφάλαιο 4 ο Έλεγχοι υποθέσεων για τους συντελεστές συσχέτισης 4.1 Έλεγχοι υποθέσεων στο διμεταβλητό κανονικό μοντέλο συσχέτισης..σελ Έλεγχος υπόθεσης για το ρ.σελ Διάστημα εμπιστοσύνης για το ρ...σελ Σύγκριση δυο συντελεστών συσχέτισης.σελ Έλεγχοι υποθέσεων στο πολυμεταβλητό κανονικό μοντέλο συσχέτισης..σελ Έλεγχος υπόθεσης για τον πολλαπλό συντελεστή συσχέτισης σελ Έλεγχος υποθέσεων στους μερικούς συντελεστές συσχέτισης....σελ Διαστήματα εμπιστοσύνης για τους μερικούς συντελεστές σελ Συντελεστής συσχέτισης του Spearman.σελ 58 Βιβλιογραφία...σελ 61 Παράρτημα..σελ 62 2

4 Εισαγωγή Τα μοντέλα παλινδρόμησης χρησιμοποιούνται ευρέως σήμερα στη διοίκηση των επιχειρήσεων, στην οικονομία, στη μηχανική, στην υγεία, τη βιολογία και τις κοινωνικές επιστήμες. Στη στατιστική, η ανάλυση παλινδρόμησης είναι μία στατιστική διαδικασία για την εκτίμηση των σχέσεων μεταξύ διαφόρων μεταβλητών. Περιέχει πολλές τεχνικές για τη μοντελοποίηση και την ανάλυση των μεταβλητών αυτών, ενώ επικεντρώνεται συνήθως στη σχέση μεταξύ μιας εξαρτημένης και μιας ή περισσοτέρων ανεξαρτήτων μεταβλητών. Η παρούσα εργασία επιδιώκει να παρουσιάσει το θεωρητικό πλαίσιο της ανάλυσης παλινδρόμησης, ξεκινώντας από το απλό μοντέλο και επεκτείνοντας την ανάλυση στο πολλαπλό, για να καταλήξει και να επικεντρωθεί στα μοντέλα συσχέτισης και συγκεκριμένα στους συντελεστές συσχέτισης και στους ελέγχους υποθέσεων αυτών. Η διπλωματική εργασία βασίστηκε στα παρακάτω βιβλία: Richard A. Johnson, Dean W. Wichern, Applied Multivariate Statistical analysis (3rd edition) Taro Yamane, Mathematics For Economists: An Elementary Survey, Englewood Cliffs Prentice Hall INC (2nd edition) Michael Kutner, Christopher Nachtsheim, John Neter, Applied Linear Regression Models (3rd edition) 3

5 1.1 Μοντέλα Παλινδρόμησης Κεφάλαιο 1 ο Γραμμική Παλινδρόμηση Στην παρούσα διπλωματική εργασία θα παρουσιάσουμε τα μοντέλα συσχέτισης τα οποία χρησιμοποιούνται σε ένα ευρύ φάσμα των επιστημών στις μέρες μας. Εισαγωγικά θα αναλύσουμε και θα θεμελιώσουμε τα βασικά μοντέλα παλινδρόμησης έτσι ώστε να είναι σαφές το πλαίσιο μέσα στο οποίο θα κινηθούμε αργότερα. Για τον σκοπό αυτό ας θεωρήσουμε το παρακάτω μοντέλο: Υ = Α + ΒΧ + ε Το μοντέλο αυτό φαίνεται στο παρακάτω σχήμα. Α+ΒΧ είναι η ευθεία γραμμή. Υ είναι η εξαρτημένη μεταβλητή και ε είναι η απόκλιση του Υ από την ευθεία. Χρησιμοποιώντας αυτό το μοντέλο μπορούμε να διακρίνουμε τις παρακάτω δυο περιπτώσεις. Εικόνα 1 Μοντέλο 1 ο : Το Υ είναι μια τυχαία μεταβλητή, το Χ είναι μία συγκεκριμένη σταθερά, το ε είναι μία τυχαία μεταβλητή που ακολουθεί N(0, σ ), όπου το σ είναι άγνωστο και Α και Β είναι παράμετροι. Η διαφορά μεταξύ Υ και Χ είναι ότι το Υ έχει συνάρτηση πυκνότητας ενώ το Χ όχι. Το 4

6 στατιστικό πρόβλημα είναι το να διαλέξουμε ένα δείγμα με τιμές ώστε να εκτιμήσουμε τις παραμέτρους Α και Β. Μοντέλο 2 ο : Το ε είναι μία τυχαία μεταβλητή τέτοια ώστε E(ε) = 0, Var(ε) = σ, όπου το σ είναι άγνωστο. Εδώ δεν θεωρούμε ότι το ε ακολουθεί την κανονική κατανομή. 1.2 Μοντέλο Περίπτωση μιας ανεξάρτητης μεταβλητής (i) Ο πληθυσμός Ας υποθέσουμε ότι θέλουμε να βρούμε τη σχέση μεταξύ του ύψους των πατεράδων (Χ) και των υιών (Υ). Για κάθε δοθέν ύψος Χ, δίνεται και ένας υποπληθυσμός τιμών Υ. Ο συνολικός πληθυσμός αποτελείται από μία οικογένεια κ υποπληθυσμών. Ας είναι μ το μέσον του i υποπληθυσμού και ας κάνουμε την παρακάτω (γραμμική) υπόθεση (1) μ = Α + ΒΧ. Αυτό σημαίνει ότι ο μέσος είναι μία γραμμική συνάρτηση των Χ. Ας είναι επίσης Υ να είναι η j ανεξάρτητη τιμή του i υποπληθυσμού. Τότε (2) ε = Y μ, i = 1,2,, k είναι η απόκλιση του Y από το μ. Από τις σχέσεις (1) και (2) βρίσκουμε ότι (3) Y = Α + ΒX + ε Η υπόθεση γι αυτό το μοντέλο είναι ότι το ε ακολουθεί κανονική κατανομή με E(ε) = 0, Var(ε) = σ. Αξίζει να σημειωθεί ότι εδώ δεν έχουμε προσδιορίσει την κατανομή του Y, έχουμε μόνο υποθέσει ότι είναι τυχαία μεταβλητή. Σε αυτό το σημείο θα προσδιορίσουμε την κατανομή του Y με τη βοήθεια των Ιακωβιανών μετασχηματισμών, και χρησιμοποιώντας τις υποθέσεις που έχουμε κάνει για το ε. Αρχικά ας σημειώσουμε ότι EY = A + ΒΧ + Εε = Α + ΒX = μ Έπειτα βρίσκουμε ότι Var(ε) = E[ε Ε(ε)] = Ε(ε) = Ε[Υ μ ] = Var(Y ) Έτσι Var(ε) = VarY = σ. Αυτό συνεπάγεται ότι οι διακυμάνσεις για όλους τους υποπληθυσμούς είναι ίσες. Είναι όπως συνήθως αποκαλείται η υπόθεση της ομοσκεδαστικότητας. 5

7 Από την στιγμή που το ε ακολουθεί N(0, σ ), η συνάρτηση πυκνότητας είναι g(ε) = e. Χρησιμοποιώντας τον Ιακωβιανό μετασχηματισμό στη (2), έχουμε (4) f(y)dy = gε(y) J dy = e () 1 dy = e () dy, όπου J είναι J = () = () = 1. Έτσι από τη σχέση (4) βλέπουμε ότι η Υ κατανέμεται κανονικά με μέση τιμή μ και διακύμανση σ. (ii) Εκτίμηση των παραμέτρων Α και Β Ας πάρουμε τώρα ένα δείγμα μεγέθους n. Αυτό το δείγμα μπορεί να εκφραστεί με δύο τρόπους. Ο ένας είναι ένα δείγμα n τιμών του ε (ε, ε,, ε ). Ο δεύτερος είναι να το εκφράσουμε σαν ένα δείγμα (Χ, Υ ),(Χ, Υ ),, (Χ, Y ). Στην πράξη τα Χ και Υ είναι παρατηρηθείσες τιμές. Ωστόσο επειδή είναι δύο ισοδύναμες γραφές σε θεωρητικές συζητήσεις θα χρησιμοποιούνται αμφότερες. Αφού το ε κατανέμεται κανονικά, θα χρησιμοποιήσουμε τη μέθοδο μέγιστης πιθανοφάνειας για να εκτιμήσουμε τα Α,Β και σ. Γι αυτό το λόγο χρειαζόμαστε τη συνάρτηση πιθανοφάνειας του δείγματος. Αυτή είναι: L = g(ε) = (2πσ ) exp 1 2σ ε = (2πσ ) exp 1 2σ (Y A BX ) Όπως μπορούμε να δούμε η συνάρτηση πιθανοφάνειας είναι ισοδύναμη με L = g(ε) = f(y) Οι αναγκαίες συνθήκες για να μεγιστοποιήσουμε το L ως προς Α, Β, και σ είναι L A = 0, L B = 0, L σ = 0 Για να απλοποιήσουμε την παραγώγιση, πρώτα βρίσκουμε το logl και μετά παραγωγίζουμε. Αυτό είναι επιτρεπτό καθώς η λογαριθμική συνάρτηση είναι μονότονη και έτσι δεν επηρεάζει τις συνθήκες ώστε να βρούμε το μέγιστο. Τα αποτελέσματα της παραγώγισης είναι: (5) nσ = (Y A BX ) (6) (Y A BX ) = 0 (7) X (Y A BX ) = 0 6

8 Επιλύοντας αυτές τις εξισώσεις, βρίσκουμε: Α = Υ ΒΧ Β = (Υ Υ)(Χ Χ) (Χ Χ) σ = 1 n (Y A BX ) όπου Χ και Υ είναι οι δειγματικοί μέσοι, δηλαδή Χ = X, Y = Y Οι εξισώσεις (6) και (7) καλούνται κανονικές εξισώσεις. Ας είναι τώρα Α = α, Β = b τότε η εξίσωση για την (1) γίνεται: (8) Υ = a + bx Ας σημειώσουμε εδώ ότι το Υ είναι μια εκτίμηση του μ και είναι μία μέση τιμή. Μια τιμή Υ του δείγματος μπορεί να παρασταθεί ως Υ = Υ + e όπου το e δείχνει την απόκλιση του Υ από τη δειγματική εξίσωση παλινδρόμησης Υ. Οι κανονικές εξισώσεις έχουν συνήθως την παρακάτω μορφή: Υ = na + b X (9) XY = a X + b X Έχουμε δει ότι a = Y bx. Κάνοντας αντικατάσταση στην (8) έχουμε: (10) Υ = Y + b(x X) ή Υ Y = b(x X). Αν τώρα y = Y Y και x = X X τότε, (11) y = bx Όπως είδαμε η εξίσωση (11) προκύπτει από την εξίσωση (8) μετατοπίζοντας το (Υ, Χ) και ορίζοντας τα y και x να είναι οι αποκλίσεις από τη μέση τιμή. 7

9 1.2.2 Περίπτωση δύο ανεξαρτήτων μεταβλητών Ας θεωρήσουμε ότι (1) μ = Α + Β Χ + Β Χ όπου η μεταβλητή Χ είναι το ύψος της μητέρας. Τότε οι αποκλίσεις ε είναι: (2) ε = Υ μ και (3) Υ = Α + Β Χ + Β Χ + ε Η κατανομή του Υ βρίσκεται με ακριβώς τον ίδιο τρόπο με πριν. Είναι Ν(μ, σ ). Ας σημειώσουμε ότι η Ιακωβιανή είναι J = 1 για τον μετασχηματισμό (2). Για να βρούμε εκτιμητές για τα Α, Β, Β, και σ παίρνουμε ένα δείγμα μεγέθους n και εφαρμόζουμε τη μέθοδο μέγιστης πιθανοφάνειας. Ας είναι το δείγμα (Υ, Χ, Χ ), (Υ, Χ, Χ ),, (Υ, X, X ) ή ε, ε,, ε. Η συνάρτηση πιθανοφάνειας είναι: (4) L = g(ε) = f(y) = (2πσ ) exp [ (Υ Α Β Χ Β Χ ) ] Για να απλοποιήσουμε την παραγώγιση, παίρνουμε το λογάριθμο της L. Τότε: (4 ) logl = log2π logσ (Υ Α Β Χ Β Χ ) Παραγωγίζουμε ως προς Α, Β, Β, και σ. Έπειτα θέτουμε τις μερικές παραγώγους ίσες με το μηδέν και βρίσκουμε: (5) nσ = (Y Α Β Χ Β Χ ) (6) (Y Α Β Χ Β Χ ) = 0 (7) X (Y Α Β Χ Β Χ ) = 0 (8) X (Y Α Β Χ Β Χ ) = 0 Οι εξισώσεις (6),(7), και (8) οι οποίες είναι οι κανονικές εξισώσεις γίνονται: (9) Y = na + b X + b X X Y = a X + b X + b X X X Y = a X + b X X + b X 8

10 Οι παράμετροι α, b, και b βρίσκονται λύνοντας τις παραπάνω εξισώσεις ταυτόχρονα. Επίσης η (9) γράφεται ως εξής: Παρ όλα αυτά, (Y Y) = na + b ( X X ) + b ( X X ) (Y Y) = 0, ( X X ) = 0, και ( X X ) = 0 Έτσι, na = 0, αυτό σημαίνει ότι α=0. Αυτό σημαίνει ότι η γραμμική παλινδρόμηση περνάει από (Υ, Χ,Χ ). Οι άλλες δύο κανονικές εξισώσεις γίνονται: (10) ( X X )(Y Y) = b (X X ) + b (X X )(X X ) Εάν θέσουμε ( X X )(Y Y) = b ( X X )(X X ) + b ( X X ) X X = x, X X = x να είναι οι αποκλίσεις από τους δειγματικούς μέσους, οι κανονικές εξισώσεις γίνονται (11) x y = b x + b x x x y = b x x + b x Από τις κανονικές εξισώσεις βρίσκουμε τα b και b. Το α προκύπτει από την εξίσωση (9). Αυτό είναι: a = Y b X b X Όπως είδαμε, το α δεν έχει καμία επίδραση στην εκτίμηση των b και b. Σε όρους του μοντέλου της μιας ανεξάρτητης μεταβλητής, το α είναι το σημείο τομής με τον κάθετο άξονα και το b είναι η κλίση της ευθείας. Η κλίση b δεν επηρεάζεται από τη μετατόπιση του α. Έτσι για να απλοποιήσουμε τους συμβολισμούς μας θα θεωρήσουμε ότι Υ = Χ = Χ = 0 και α=0. Τότε το μοντέλο γίνεται (12) μ = B X + B X, Y = B X + B X + ε Και οι κανονικές εξισώσεις γίνονται (13) b X + b X X = X Y b X X + b X = X Y 9

11 Οι εκτιμηθείσες εξισώσεις είναι: (14) Y = b X + b X (15) Y = b X + b X + e όπου e είναι η απόκλιση e = Y Y. Για κ μεταβλητές, το μοντέλο είναι (16) μ = B X + B X B X, Y = B X + B X + + B X + ε Και οι κανονικές εξισώσεις είναι: (17) Χρησιμοποιώντας συμβολισμό πινάκων έχουμε ότι: X X X X X X b = b X Y X Y Εάν μπορεί να βρεθεί ο αντίστροφος του πρώτου πίνακα, η λύση για τα b θα είναι: b = b Ας το φέρουμε τώρα στη μορφή: X X X X X X b c c X Y = b c c X Y X Y X Y Βρίσκοντας τα c (πολλαπλασιαστές του Gauss), τα b μπορούν πολύ εύκολα να υπολογιστούν, για παράδειγμα: 10

12 b = c X Y c X Y + + c X Y Τότε οι εκτιμηθείσες εξισώσεις είναι: (18) Y = b X + b X + + b X (19) Y = b X + b X + + b X + e 1.3 Μοντέλο 2 Ας θεωρήσουμε το παρακάτω πληθυσμιακό μοντέλο (1) μ = B X + B X (2) Y = B X + B X + ε Όπου Υ και ε είναι τυχαίες μεταβλητές, X και X είναι σταθερές. Θεωρούμε ότι E(ε) = 0, Var(ε) = σ, αλλά η κατανομή του ε είναι απροσδιόριστη. Έτσι δε μπορούμε να χρησιμοποιήσουμε τη μέθοδο της μέγιστης πιθανοφάνειας για να εκτιμήσουμε τις παραμέτρους B, B. Θα χρησιμοποιήσουμε λοιπόν τη μέθοδο των ελαχίστων τετραγώνων. Με τη μέθοδο των ελαχίστων τετραγώνων εκτιμάμε τα Β και Β έτσι ώστε το: (Υ b X b X ) = e να είναι ελάχιστο. Χρησιμοποιώντας τις εκτιμήτριες b και b οι εκτιμήσεις των (1) και (2) είναι: (3) Υ = b X + b X (4) Y = b X + b X + e όπου e είναι οι αποκλίσεις των τιμών του δείγματος Υ από τα Υ. Τα αποτελέσματα αυτού του μοντέλου σε πιο γενικούς όρους είναι γνωστά σαν το θεώρημα του Markoff και έχουν μελετηθεί από τους David και Neyman (1938). Ας διατυπώσουμε πρώτα το θεώρημα. Για να κάνουμε τα πράγματα πιο απλά θεωρούμε ένα δείγμα μεγέθους n=3. Μας έχουν δοθεί: a) Τρεις δειγματικές παρατηρήσεις Y, Y και Υ. b) Η αναμενόμενη τιμή του κάθε Y είναι γραμμική συνάρτηση των παραμέτρων B (j=1,2) που είναι άγνωστες και των σταθερών ανεξαρτήτων μεταβλητών X. Δηλαδή: (5) E(Y ) = B X + B X c) Η διασπορά του Y ικανοποιεί τη σχέση Var(Y ) = σ =, i = 1,2,3 11

13 Όπου το σ μπορεί να είναι άγνωστο αλλά τα βάρη Ρ να είναι γνωστά. Τότε ο καλύτερος αμερόληπτος γραμμικός εκτιμητής του μ είναι: (6) Y = b X + b X Όπου τα b και b προκύπτουν από την ελαχιστοποίηση του αθροίσματος των τετραγώνων S = (Y b X b X ) P = min Αυτό μας δίνει τις κανονικές εξισώσεις: b X P + b X X P = X Y P b X X P + b X P = X Y P Αρχικά πολλά αποτελέσματα προκύπτουν, για παράδειγμα ότι το Β = b εκτιμώμενο με τη μέθοδο των ελαχίστων τετραγώνων, είναι μία γραμμική συνάρτηση των Y, και ότι αυτή η εκτίμηση είναι η καλύτερη γραμμική αμερόληπτη εκτίμηση. Για ευκολία θέτουμε Ρ = 1. i. τα b i είναι γραμμική συνάρτηση των Y i. Έχουμε δει ότι: b = c X Y + c X Y b = c X Y + c X Y όπου τα c είναι οι πολλαπλασιαστές Gauss. Το άθροισμα το παίρνουμε πάνω στις παρατηρήσεις του δείγματος, n=3. Τότε για παράδειγμα το b γίνεται: b = c X Y + c X Y = Y (c X + c X ) + Y (c X + c X ) + Y (c X + c X ) Έτσι το b είναι μία γραμμική συνάρτηση των Υ. Παρόμοια και το b μπορεί να δειχθεί ότι είναι μία γραμμική συνάρτηση των Υ. ii. τα b i είναι μία αμερόληπτη εκτίμηση των Β i Ξέρουμε ότι 12

14 X X X X X c c c X c = αυτό γίνεται: (7) c X + c X X c X + c X X c X X + c X c X X + c X = Έτσι για παράδειγμα, c X + c X X = 1 Ας σημειώσουμε εδώ ότι ο πίνακας c είναι συμμετρικός δηλαδή c = c Χρησιμοποιώντας τα αποτελέσματα της σχέσης (7), και αντικαθιστώντας τη (2) στο b έχουμε: b = c X Y + c X Y = c X (B X + B X + ε) + c X (B X + B X + ε) = B [c X + c X X ] + B [c X X + c X ] + c X ε + c X ε = Β + c X ε + c X ε Η αναμενόμενη τιμή του b είναι: E(b ) = B + c X E(ε) + c X E(ε) E(b ) = B Αυτό σημαίνει ότι το b είναι μία αμερόληπτη εκτιμήτρια του Β. Το ίδιο επιχείρημα ισχύει και για το b. iii. b i είναι ο καλύτερος εκτιμητής του B i Όταν το b έχει τη μικρότερη διακύμανση από όλους τους γραμμικούς εκτιμητές του B, ορίζεται ως ο καλύτερος γραμμικός εκτιμητής. Για να δείξουμε ότι το b έχει τη μικρότερη διακύμανση, κατασκευάζουμε έναν τυχαίο γραμμικό εκτιμητή του B, και υπολογίζουμε τη διακύμανσή του. Μετά συγκρίνουμε τις δύο διακυμάνσεις, και αν μπορούμε να δείξουμε ότι το Var(b ) είναι μικρότερο, συμπεραίνουμε ότι το b έχει τη μικρότερη διακύμανση και έτσι είναι ο καλύτερος γραμμικός εκτιμητής. Για το δείγμα μεγέθους n=3 το γραμμικό μοντέλο θα έχει τη μορφή: 13

15 Y (8) Y = Y X X X X X B ε + ε B X ε Τα Β εκτιμώνται με τη μέθοδο των ελαχίστων τετραγώνων. Τότε το αποτέλεσμα είναι: Y (9) Y = Y X X X X X b e + e b X e Όπου τα b είναι οι εκτιμητές των Β. Η εξίσωση (8) μπορεί να γραφεί σε μορφή πινάκων ως: (10) Y = XB + ε Με αυτές τις προϋποθέσεις, μπορούμε τώρα να κατασκευάσουμε τις ακόλουθες αυθαίρετες γραμμικές εξισώσεις του Υ οι οποίες θα είναι οι εκτιμήτριες των Β και Β. (11) a Y + a Y + a Y = b a Y + a Y + a Y = b όπου τα α είναι σταθερές. Σε μορφή πινάκων γίνεται: (12) ΑY = b Για να είναι αυτές οι γραμμικές συναρτήσεις του Y αμερόληπτες εκτιμήτριες του διανύσματος Β, πρέπει από την εξίσωση (12), (13) E(AY) = B Αντικαθιστώντας την εξίσωση (10) στη (13), παίρνουμε για το αριστερό μέλος, E(AY) = E[A(XB + ε)] = E(AXB + Aε) = E(AXB) + AE(ε) = E(AXB) = AXB Έτσι για να ισχύει η (13), χρειαζόμαστε: (14) AX = I Αυτό είναι: a X + a X + a X a X + a X + a X = 1 0 a X + a X + a X a X + a X + a X 0 1 Αυτό δείχνει ότι οι γραμμικές συναρτήσεις του Y στην (12) θα είναι αμερόληπτες εκτιμήτριες των Β και Β όταν ισχύει η συνθήκη (14). Οι εκτιμήτριες b και b των Β και Β αντίστοιχα οι οποίες προκύπτουν με τη μέθοδο των ελαχίστων τετραγώνων δείχνονται παρακάτω: 14

16 b X = b X X X X X X Y X Y ή σε μορφή πινάκων, (15) b = (X X) X Y Το πρόβλημά μας τώρα είναι να συγκρίνουμε τη διακύμανση του διανύσματος b το οποίο εκτιμάται από την (15), με τη διακύμανση του διανύσματος b το οποίο εκτιμάται από τη (12). Ας βρούμε πρώτα τη διακύμανση για το διάνυσμα b που προκύπτει με τη μέθοδο των ελαχίστων τετραγώνων και δίνεται από την (15). Αφού έχουμε αμερόληπτους εκτιμητές ισχύει ότι E(b) = B. Έτσι η διακύμανση του b ορίζεται ως: (16) E[(b B)(b B) ] = E b B (b b B B b B ) = E(b B ) E(b B )( b B ) = Var(b ) Cov(b, b ) E( b B )(b B ) E(b B ) Cov(b, b ) Var(b ) Αυτός καλείται πίνακας διακύμανσης των εκτιμητών b και b και συμβολίζεται με V. Ενδιαφερόμαστε κυρίως για τα Var(b ), Var(b ). Ας σημειώσουμε ακόμα από τη (15) ότι: b = (X X) X Y = (X X) X (XB + ε) = (X X) X XB + (X X) X ε = B + (X X) X ε Αυτό οδηγεί στο: (17) b B = (X X) X ε Αντικαθιστώντας τη (17) στον πίνακα διακύμανσης (16), βρίσκουμε ότι Ε[(Χ Χ) Χ ε((χ Χ) Χ ε) ] = Ε[(Χ Χ) Χ εε Χ(Χ Χ) ] = (Χ Χ) Χ Χ(Χ Χ) Ε(εε ) = (Χ Χ) σ Αφού υποθέσαμε ότι Var(ε) = σ (ομοσκεδαστικότητα). Έτσι καταλήγουμε στο (18) V = (Χ Χ) σ Ας βρούμε τώρα τον πίνακα διακύμανσης για τον αυθαίρετο γραμμικό εκτιμητή του διανύσματος Β που δίνεται από τη (12). Η εξίσωση (12) ήταν b = AY. Για να διαφοροποιήσουμε αυτόν τον αυθαίρετο γραμμικό εκτιμητή και τον εκτιμητή που προκύπτει από τη (15), δεχόμαστε ότι το Α είναι διάφορο του (Χ Χ) Χ. Θέτουμε (19) Α = (Χ Χ) Χ + D 15

17 Όπου ο D είναι ένας πίνακας από βαθμωτά μεγέθη. Τότε για να έχουμε τέτοιο Α ώστε ο γραμμικός εκτιμητής AΥ να είναι αμερόληπτος εκτιμητής του Β, θα πρέπει να ικανοποιείται η συνθήκη (14), αυτό σημαίνει ότι: AX = [(Χ Χ) X + D]X = I Η σχέση αυτή γίνεται: (Χ Χ) X X + DX = I DX = 0 Έτσι αν μπορούμε να βρούμε έναν πίνακα D τέτοιο ώστε DX = 0, τότε το AY είναι ένας αμερόληπτος εκτιμητής του διανύσματος Β, όπου ο Α δίνεται από τη σχέση (19). Χρησιμοποιώντας το αποτέλεσμα αυτό, ας βρούμε τη διακύμανση της γραμμικής συνάρτησης AY = b. Πρώτα ας σημειώσουμε ότι: b = AY = ((Χ Χ) X + D)Y = [(Χ Χ) X + D](XB + ε) = (Χ Χ) Χ ΧΒ + DXB + (Χ Χ) X ε + Dε = B + [(Χ Χ) X + D]ε Έτσι, η απόκλιση του b από το Β γίνεται b B = [(Χ Χ) X + D]ε Από αυτό το αποτέλεσμα βρίσκουμε ότι η διακύμανση του διανύσματος b είναι: (20) Ε[(b B)(b B) ] = E[{[(Χ Χ) X + D]ε}{[(Χ Χ) Χ + D]ε} ] = E[((Χ Χ) X + D)εε (X(Χ Χ) + D )] = σ [(Χ Χ) Χ Χ(Χ Χ) + DX(Χ Χ) + (Χ Χ) X D + DD ] = σ [(Χ Χ) + DD ] (θέτοντας DX = 0) Έτσι ο πίνακας διακύμανσης για το διάνυσμα b που βρίσκεται από τη (12) γίνεται: (21) V = σ [(Χ Χ) + DD ] = σ c + d c + d d c + d d c + d όπου DD = d d d d d d d d d d d = d d d d d d d (X X) = c c c c Από τη (18) γνωρίζουμε ότι ο πίνακας διακύμανσης για τα b ο οποίος εκτιμάται με τη μέθοδο των ελαχίστων τετραγώνων είναι: 16

18 (22) V = σ (X X) = c σ c σ c σ c σ και c σ, c σ είναι οι διακυμάνσεις για τα b και b. Τότε οι διακυμάνσεις για τα b και b που προκύπτουν από την (11) θα είναι: Όταν d > 0, d Var(b ) = σ (c + d ) c σ Var(b ) = σ (c + d ) c σ > 0 οι διακυμάνσεις των αυθαίρετων γραμμικών εκτιμητών b και b είναι μεγαλύτερες από τις διακυμάνσεις των εκτιμητών b και b που βρίσκονται με τη μέθοδο των ελαχίστων τετραγώνων. Όταν d = 0, d = 0 οι αυθαίρετοι γραμμικοί εκτιμητές b και b θα έχουν ίσες διακυμάνσεις με αυτές που βρίσκουμε για τους εκτιμητές b και b από τη μέθοδο των ελαχίστων τετραγώνων. Έτσι το συμπέρασμα είναι ότι οι γραμμικοί εκτιμητές του διανύσματος Β που προκύπτουν από τη μέθοδο των ελαχίστων τετραγώνων είναι οι καλύτεροι εκτιμητές, αυτό σημαίνει ότι έχουν την ελάχιστη διακύμανση, όταν συγκρίνονται με εκτιμητές που προκύπτουν από αυθαίρετες γραμμικές συναρτήσεις του Υ, όπως δίνονται στη (12). Μοντέλο 2-Συνέχεια: i) Περίπτωση Ρ 1 Το δεύτερο θέμα με το οποίο θα ασχοληθούμε εδώ, είναι ότι ο καλύτερος αμερόληπτος εκτιμητής του μ, (1) μ = B X + B X είναι ο Y : (2) Y = b X + b X όπου τα b και b τα βρίσκουμε χρησιμοποιώντας τη μέθοδο των σταθμισμένων ελαχίστων τετραγώνων. Αυτό σημαίνει: (3) (Y b X b X ) P = e P = min Ας συμπεριλάβουμε τώρα τα βάρη Ρ στην ανάλυσή μας. Οι κανονικές εξισώσεις γίνονται: (4) b X P + b X X P = X Y P b X X P + b X P = X Y P 17

19 Με συμβολισμό πινάκων έχουμε: (5) X PXb = X PY όπου P = P P P εάν X PX 0, τότε το διάνυσμα b είναι: (6) b = (X PX) X PY Θέλουμε να δείξουμε ότι όταν τα b της εξίσωσης (2) εκτιμώνται όπως στην (6), ο εκτιμητής Y θα έχει την ελάχιστη διακύμανση και θα είναι επίσης αμερόληπτος. Η μη αυστηρή απόδειξη που παρουσιάζεται κατασκευάζεται ως εξής: κατασκευάζουμε πρώτα τη γραμμική συνάρτηση (7) Y = λ Y + λ Y + λ Y Η γραφή της σε μορφή πινάκων είναι η ακόλουθη: Y λ λ λ Y (7 ) Y = λ λ λ Y Y λ λ λ Y Η γραμμική συνάρτηση του Y είναι ένας αμερόληπτος και ελάχιστης διασποράς εκτιμητής του E(Y ) = μ. Στη συνέχεια βρίσκονται τα λ τα οποία ικανοποιούν αυτές τις δύο συνθήκες. Έπειτα δείχνουμε ότι όταν χρησιμοποιούμε αυτά τα λ, η γραμμική συνάρτηση Y ταυτίζεται με την (2). Έτσι η (2) θα είναι ένας αμερόληπτος και ελάχιστης διακύμανσης εκτιμητής του E(Y ) = μ. Βήμα 1 ο Από τις εξισώσεις (7) και (7 ), επιλέγουμε μία μόνο και παραβλέπουμε τον υποδείκτη i για να απλοποιήσουμε το συμβολισμό. Τότε η (7) γίνεται: (7 ) Y = λ Y + λ Y + λ Y Και με συμβολισμό πινάκων έχουμε: Y (7 ) Y = [λ λ λ ] Y = λ Y Y Οι απαραίτητες συνθήκες ώστε η (7 ) να είναι αμερόληπτη εκτιμήτρια βρίσκονται θέτοντας 18

20 EY = λ E(Y ) = λ (B X + B X ) = B X + B X και προκύπτουν οι συνθήκες: (8) X = λ X = λ Χ + λ Χ + λ Χ X = λ X = λ Χ + λ Χ + λ Χ και σε μορφή πινάκων: (8 ) X = X λ X X λ X X X X = Χ λ λ Εάν μπορούμε να βρούμε τα λ τα οποία ικανοποιούν την (8), η εξίσωση (7 ) θα είναι αμερόληπτη εκτιμήτρια της (1). Βήμα 2 ο Ας βρούμε τώρα τις συνθήκες για το Y της εξίσωσης (7 ) ώστε να έχει την ελάχιστη διακύμανση. Η διακύμανση της (7 ) είναι: (9) VarY = Var( λ Y ) = σ = min Από υπόθεση έχουμε ότι Var(Y ) = και τα P είναι γνωστές θετικές σταθερές αλλά το σ μπορεί να είναι άγνωστο. Έτσι το πρόβλημα είναι να βρούμε τα λ τα οποία ελαχιστοποιούν το VarY και την ίδια στιγμή ικανοποιούν την (8) που είναι οι απαραίτητες συνθήκες για αμεροληψία. Χρησιμοποιώντας τη μέθοδο των πολλαπλασιαστών Lagrange, κατασκευάζουμε τη συνάρτηση V ως εξής: V = λ P 2a λ X 2a λ X όπου α και α είναι οι πολλαπλασιαστές Lagrange. Ας σημειώσουμε εδώ ότι το σ παραλείπεται καθώς είναι σταθερά και δεν έχει καμία επίδραση. Παραγωγίζοντας τη V ως προς τα λ και θέτοντας ίσον με το μηδέν προκύπτουν: 19

21 V λ = 0: λ = a X P + a X P V λ = 0: λ = a X P + a X P V λ = 0: λ = a X P + a X P Σε μορφή πινάκων έχουμε: λ P λ = λ P P X X X X X a a X ή (10) λ = PXa Για να λύσουμε για τους πέντε αγνώστους λ, λ, λ, α, α συνδυάζουμε και λύνουμε τις εξισώσεις (10) και (8) ταυτόχρονα. Αυτό γίνεται στο βήμα 3. Βήμα 3 ο (11) X X = X PXa Μπορούμε να λύσουμε την (11) για να βρούμε τους πολλαπλασιαστές Lagrange. Έτσι γίνεται: (12) a = (X PX) X X Χρησιμοποιώντας τις σχέσεις (12) και (10) μπορούμε τώρα να βρούμε τα λ το οποίο είναι και το ζητούμενο. (13) λ = PXa = PX(X PX) X X Έτσι βρίσκουμε τα λ και βλέπουμε ότι είναι εκπεφρασμένα σαν συνάρτηση των Χ και Ρ. Με αυτά τα λ ικανοποιούνται οι συνθήκες ώστε η (7 ) να είναι αμερόληπτος και ελάχιστης διακύμανσης εκτιμητής του E(Y). Το επόμενο βήμα είναι να αντικαταστήσουμε την (13) στην (7 ) και να δείξουμε ότι αυτή τότε θα ισούται με τη (2). Βήμα 4 ο Αντικαθιστώντας την (13) στην (7 ) βρίσκουμε ότι 20

22 (14) Y = λ Y = [X X ](X PX) X PY Αντικαθιστώντας την (6) στην (14), βρίσκουμε ότι Y = λ Y = [X X ]b = b X + b X Δείξαμε ότι η εξίσωση (2), στην οποία οι συντελεστές b βρίσκονται με τη μέθοδο των σταθμισμένων ελαχίστων τετραγώνων και η εξίσωση (7 ) η οποία είναι η γραμμική, αμερόληπτη και ελάχιστης διακύμανσης εκτιμήτρια της E(Y ), ταυτίζονται. Έτσι καταλήγουμε στο συμπέρασμα ότι η εξίσωση (2) είναι μία αμερόληπτη και ελάχιστης διακύμανσης εκτιμήτρια του E(Y ). Το αποτέλεσμα αυτό μπορεί να διατυπωθεί με έναν εναλλακτικό τρόπο ως εξής: ας θεωρήσουμε ότι (15) B X + B X είναι μία γραμμική συνάρτηση των Β. Τότε ο καλύτερος γραμμικός αμερόληπτος εκτιμητής της (15) είναι: (16) b X + b X όπου τα b και b είναι οι καλύτεροι γραμμικοί αμερόληπτοι εκτιμητές των Β και Β που προκύπτουν από: (17) b = (X PX) X PY ii) Περίπτωση P = 1 Όταν P = 1, ο πίνακας Ρ γίνεται: P = P P 1 = P 1 = I 1 Τα αποτελέσματα για την περίπτωση P = 1 προκύπτουν αντικαθιστώντας τα Ρ και τα P με το ένα στην προηγούμενη ενότητα i). Τα αποτελέσματα για τις δύο περιπτώσεις (P = 1 και Ρ 1 ) είναι τα ίδια με τη διαφορά ότι η εξίσωση (17) γίνεται: (18) b = (X X) X Y 21

23 1.4 Εκτίμηση των διακυμάνσεων (i) Εκτίμηση της διακύμανσης του Y c Η εξίσωση που δίνει την εκτίμηση για τη διακύμανση είναι: (1) σ = (Y A BX ) = (Y Y ) για την περίπτωση όπου έχουμε μία μεταβλητή. Για τις δύο μεταβλητές, η εξίσωση θα είναι : (2) σ = (Y A B X B X ) = (Y Y ) Οι εξισώσεις (1) και (2) εκφράζονται με συμβολισμό πινάκων ως εξής: 22 (Y Y ) (Y Y ) n Όπου τα Y και Y υποδηλώνουν διανύσματα. Για παράδειγμα, εάν το μέγεθος του δείγματος είναι n=3 έχουμε: Y Y [(Y Y )(Y Y )(Y Y )] Y Y = (Y Y ) Y Y Έτσι, οι (1) και (2) μπορούν να εκφραστούν με συμβολισμό πινάκων ως εξής: (3) σ = (Y Y ) (Y Y ) Έτσι προκύπτει ότι η (3) είναι ένας μεροληπτικός εκτιμητής για την πληθυσμιακή διακύμανση. Ένας αμερόληπτος εκτιμητής είναι: (4) σ = (Y Y ) (Y Y ) όπου n-p είναι ο αριθμός των βαθμών ελευθερίας. Υποθέτουμε ότι η παράμετρος η οποία αντιστοιχεί στο Α = α στο μοντέλο γραμμικής παλινδρόμησης είναι μηδέν. Έτσι p είναι ο αριθμός των εκτιμητών b του διανύσματος b στην Y = Xb Στο δικό μας παράδειγμα, p=2. Από εδώ και πέρα θα χρησιμοποιούμε μόνο τον αμερόληπτο εκτιμητή που δίνεται στην (4). Ο αριθμητής της (4) μπορεί να εκφραστεί ως: αλλά (Y Xb) (Y Xb) = (Y b X )(Y Xb) = Y Y b X Y Y Xb + b X Xb

24 b X Xb = b X X(X X) X Y = b X Y Τότε ο αριθμητής θα είναι: (Y Xb) (Y Xb) = Y Y Y Xb Αντικαθιστώντας αυτό στην (4), η εκτιμώμενη διακύμανση γίνεται: σ = 1 n p (Y Y Y Xb) Αυτός είναι ο αμερόληπτος εκτιμητής της διακύμανσης του Y για το δεύτερο μοντέλο που βασίστηκε στο θεώρημα του Markoff. (ii) Εκτιμητής της διακύμανσης του b i Έχουμε δει ότι ο πίνακας διακύμανσης των b ήταν: V = σ (X X) = c σ c σ c σ c σ και Var(b ) = c σ, Var(b ) = c σ όπου c είναι οι πολλαπλασιαστές του Gauss. Έτσι, ένας εκτιμητής του Var(b ) βρίσκεται χρησιμοποιώντας τον εκτιμητή σ. Δηλαδή: σ = c σ 1.5 Διάστημα εμπιστοσύνης για το Β i Διατυπώνουμε τώρα χωρίς απόδειξη ότι το b κατανέμεται κανονικά με μέση τιμή E(b ) = Β και διακύμανση Var( b ) = c σ. Έτσι η κατανομή της τυποποιημένης μεταβλητής 23 b B σc είναι κανονική με μέση τιμή μηδέν και διακύμανση ένα. Παρ όλα αυτά, το σ που είναι πληθυσμιακή παράμετρος είναι άγνωστη και γι αυτό πρέπει να χρησιμοποιήσουμε έναν εκτιμητή. Έχουμε βρει τον εκτιμητή σ με n-p βαθμούς ελευθερίας. Έτσι διατυπώνουμε χωρίς απόδειξη ότι η ποσότητα b B σc

25 ακολουθεί την κατανομή t με n-p βαθμούς ελευθερίας (στο δικό μας παράδειγμα n-2). Εάν η μηδενική υπόθεση είναι B = 0, έχουμε ότι: Το διάστημα εμπιστοσύνης για το B είναι: b t = σc b tc σ B b + tc σ όπου α είναι το επίπεδο σημαντικότητας. Έχουμε τότε ένα 1-α διάστημα εμπιστοσύνης. 1.6 Υπολογιστικές μέθοδοι Στις προηγούμενες ενότητες, διάφορα αποτελέσματα εκφράστηκαν σε μορφή πινάκων. Σε αυτή την ενότητα θα εκφράσουμε τα αποτελέσματα σε μορφή οριζουσών για να δείξουμε την υπολογιστική διαδικασία. Η βασική μας έννοια τώρα είναι να βρούμε εκφράσεις για τα b, την ευθεία παλινδρόμησης καθώς την εκτιμηθείσα διακύμανση. (a) Υπολογιστική φόρμουλα για τα b Τα b προκύπτουν από τις κανονικές εξισώσεις (1) b X + b X X = X Y b X X + b X = X Y Χρησιμοποιώντας τον κανόνα του Cramer βρίσκουμε τα b ώς εξής: X Y b = X Y X X X X b = X X X X X X X X X X X X Y X Y X X X δεδομένου ότι η ορίζουσα του παρονομαστή την οποία τη συμβολίζουμε με Δ είναι διάφορη του μηδενός. Χρησιμοποιώντας λοιπόν αυτές τις υπολογιστικές μεθόδους για τα b, η εκτιμηθείσα γραμμή παλινδρόμησης γίνεται: 24

26 (2) Y = b X + b X = X X Y X X X X Y + X X X X X Y X Y Το κομμάτι που βρίσκεται μέσα στις αγκύλες μπορεί να γραφεί σε μορφή οριζουσών ως εξής: X Y X X Y X X X X Y X + X X X = X Y X 0 X X X X X X Y + X X Y X X X X Y X X X Y = X X 0 X X = X Y X X X Δ X Y X X X Αντικαθιστώντας αυτό το αποτέλεσμα στη (2), βρίσκουμε ότι: (3) Y = Το αποτέλεσμα αυτό είναι για την περίπτωση που έχουμε δύο b. Αλλά μπορεί εύκολα να γενικευτεί για μία ευθεία παλινδρόμησης για οποιοδήποτε αριθμό b και αν έχουμε. (b) Η διακύμανση σ Η εκτίμηση της διακύμανσης σ δίνεται ως: Το Y Y είναι: Το Y X είναι: σ = 1 n p {(Y Xb) (Y Xb)} = 1 n 2 (Y Y Y Xb) Y Y Y = [Y Y Y ] Y = Y Y Τότε το Y Xb είναι: 25 X Y X = [Y Y Y ] X X X X X = X Y X Y

27 Y Xb = X Y X Y b b = b X Y + b X Y Έτσι το σ γίνεται: σ = 1 n 2 Y b X Y b X Y Αφού τα b έχουν υπολογιστεί από την (1), μπορούμε εύκολα να πάρουμε και το σ. 26

28 Κεφάλαιο 2 ο Κανονικά μοντέλα συσχέτισης 2.1 Διάκριση μεταξύ μοντέλων παλινδρόμησης και μοντέλων συσχέτισης Στα βασικά μοντέλα παλινδρόμησης υποθέτουμε ότι οι ερμηνευτικές μεταβλητές Χ1..., Χp είναι καθορισμένες σταθερές, και το κύριο ενδιαφέρον βρίσκεται στα συμπεράσματα για την εξαρτημένη μεταβλητή Υ βάσει των ερμηνευτικών μεταβλητών. Επίσης για την περίπτωση μίας μόνο ερμηνευτικής μεταβλητής, η ανάλυση παλινδρόμησης για ένα κανονικό μοντέλο παλινδρόμησης, ισχύει ακόμα και όταν το Χ είναι μια τυχαία μεταβλητή, με την προϋπόθεση ότι η μεταβλητή Υ ακολουθεί ορισμένες προϋποθέσεις και ότι η περιθώρια κατανομή της Χ δεν περιλαμβάνει τις παραμέτρους Α, Β και σ του μοντέλου παλινδρόμησης. Επομένως στην περίπτωση όπου το Χ είναι μια τυχαία μεταβλητή, μόνο οι δεσμευμένες κατανομές της Υ πρέπει να διευκρινιστούν και να περιοριστεί η περιθώρια κατανομή της Χ. Ωστόσο, δεν χρειάζεται να καθορίζουμε απόλυτα την από κοινού συνάρτηση πυκνότητας των Χ και Υ. Τα μοντέλα συσχέτισης, όπως και τα μοντέλα παλινδρόμησης με τυχαίες μεταβλητές πρόβλεψης, αποτελούνται από μεταβλητές οι οποίες είναι όλες τυχαίες. Τα μοντέλα συσχέτισης διαφέρουν από τα μοντέλα παλινδρόμησης με τυχαίες μεταβλητές πρόβλεψης στο γεγονός ότι προσδιορίζουν πλήρως την από κοινού συνάρτηση πυκνότητας των μεταβλητών, και όχι μόνο τις δεσμευμένες κατανομές της Υ. Επιπλέον, οι μεταβλητές σε ένα μοντέλο συσχέτισης παίζουν ένα συμμετρικό ρόλο, χωρίς καμία μεταβλητή αυτόματα να ορίζεται σαν μεταβλητή απόκρισης. Τα μοντέλα συσχέτισης χρησιμοποιούνται για να μελετηθεί η φύση των σχέσεων μεταξύ των μεταβλητών. Επίσης μπορούν να χρησιμοποιηθούν για την εξαγωγή συμπερασμάτων σχετικά με μία οποιαδήποτε μεταβλητή δοσμένων των άλλων. Το μοντέλο συσχέτισης που χρησιμοποιείται κυρίως είναι το κανονικό μοντέλο συσχέτισης. 27

29 2.2 Δισδιάστατη κανονική κατανομή Το κανονικό μοντέλο συσχέτισης για την περίπτωση δύο μεταβλητών βασίζεται στην δισδιάστατη κανονική κατανομή. Ας θεωρήσουμε τις μεταβλητές Χ1 και Χ2 ( δε χρησιμοποιούμε το χαρακτηρισμό Χ και Υ διότι και οι δύο μεταβλητές έχουν συμμετρικό ρόλο στην ανάλυση συσχέτισης). Λέμε ότι οι Χ1 και Χ2 είναι από κοινού κανονικά κατανεμημένες εάν η συνάρτηση πυκνότητάς τους είναι αυτή της κανονικής δισδιάστατης κατανομής. Συνάρτηση πυκνότητας Ας θεωρήσουμε δύο μεταβλητές X και X οι οποίες δεν είναι γενικά ανεξάρτητες η μία από την άλλη, και μπορούμε να δούμε την από κοινού κατανομή τους σαν μία επέκταση της μονοδιάστατης κανονικής κατανομής. Αυτή λοιπόν η δισδιάστατη κανονική κατανομή έχει την εξής συνάρτηση πυκνότητας: (1) f(x, x ) = Όπου: E(X )=μ, E(X )=μ, exp Var(X ) = σ, Var(X ) = σ, ( ) ( Το ρ είναι ο συντελεστής συσχέτισης και ορίζεται ως εξής: Και η συνδιασπορά ορίζεται ως: ) 2ρ ρ = ρ( X, X ) = Cov( X,X ) σ σ Cov( X,X ) = Ε[(Χ μ )(Χ μ )] Θα συζητήσουμε αργότερα το συντελεστή συσχέτισης. + ( ) 28

30 Εικόνα 2 (δισδιάστατη κανονική κατανομή) 2.3 Δεσμευμένες κατανομές Μία βασική χρήση του δισδιάστατου μοντέλου συσχέτισης, είναι για να βγάλουμε συμπεράσματα για τη μία μεταβλητή δοθείσης της άλλης. Γι αυτόν το λόγο λοιπόν θα χρησιμοποιήσουμε τις δεσμευμένες κατανομές τις οποίες και παρουσιάζουμε παρακάτω. Η δεσμευμένη κατανομή της Χ δοσμένης της Χ ορίζεται ως εξής: (2) f(x x ) = (, ) ( ) όπου το f (x ) καλείται περιθώρια κατανομή. Σε όρους της δισδιάστατης κανονικής κατανομής η f (x ) είναι: (3) f (x ) = f(x,x ) dx = exp ( Γνωρίζουμε την f(x,x ). Έτσι μπορούμε να βρούμε την f(x x ). Συνεπώς προκύπτει ότι: (4) f(x x ) = exp ) ( ) x μ (x μ ) Αυτό δείχνει ότι η f(x x ) είναι μία κανονική συνάρτηση πυκνότητας με: 29

31 (5) Μέση τιμή: Ε(Χ Χ ) = μ + (Χ μ ) (6) Διακύμανση: σ (1 ρ ) = σ. Εικόνα 3 (δεσμευμένη κανονική κατανομή) Βασικά χαρακτηριστικά των δεσμευμένων κατανομών Οι δεσμευμένες κατανομές της Χ διαθέτουν κάποια συγκεκριμένα βασικά χαρακτηριστικά. Ένα από αυτά είναι η κανονικότητα. Πιο συγκεκριμένα, ισχύει ότι η δεσμευμένη κατανομή της Χ1 για οποιαδήποτε δεδομένη τιμή της Χ2 είναι κανονική. Ας υποθέσουμε ότι κάνουμε μία κάθετη τομή στη δισδιάστατη κανονική κατανομή σε μια δεδομένη τιμή της Χ2, έστω Χh2. Δηλαδή την κόβουμε παράλληλα στον άξονα Χ1. Η εγκάρσια τομή που θα προκύψει θα έχει το σχήμα μιας κανονικής κατανομής. Συνεπώς, κάθε φορά που κόβουμε μια δισδιάστατη κανονική κατανομή παράλληλα προς τον άξονα Χ1, έχουμε μία δεσμευμένη κανονική κατανομή. Επιπλέον, ένα άλλο βασικό στοιχείο που παρατηρούμε είναι ότι οι μέσες τιμές των δεσμευμένων κατανομών της Χ1 σχηματίζουν μια ευθεία γραμμή και ως εκ τούτου είναι μια γραμμική συνάρτηση της Χ2. 30