ΚΕΦΑΛΑΙΟ 3 ΟΙΚΟΝΟΜΕΤΡΙΚΑ ΥΠΟΔΕΙΓΜΑΤΑ ΑΠΛΗΣ ΠΑΛΙΝΔΡΟΜΗΣΗΣ

Transcript

1 ΚΕΦΑΛΑΙΟ 3 ΟΙΚΟΝΟΜΕΤΡΙΚΑ ΥΠΟΔΕΙΓΜΑΤΑ ΑΠΛΗΣ ΠΑΛΙΝΔΡΟΜΗΣΗΣ 3.1 ΕΙΣΑΓΩΓΙΚΕΣ ΕΝΝΟΙΕΣ Τι σημαίνει παλινδρόμηση Ο όρος «παλινδρόμηση» (regression) χρησιμοποιήθηκε στη στατιστική αρχικά από τον Francs Galton το 1886.Ο Galton παρατήρησε ότι οι υιοί με πολύ υψηλό πατέρα ήταν μεν και εκείνα υψηλά, αλλά όχι τόσο όσο οι πατέρες τους. Ομοίως οι υιοί πολύ κοντών πατέρων ήταν μεν και εκείνοι κοντοί, αλλά όχι τόσο κοντοί όσο οι γονείς τους. Με άλλα λόγια το ύψος των τέκνων ασυνήθιστα υψηλών ή ασυνήθιστα κοντών πατέρων έτεινε προς το μέσο ύψος του πληθυσμού. Ο Galton ονόμασε τις διαπιστώσεις του «νόμο της παλινδρόμησης προς τη μετριότητα»(regression to mediocrity). Η σημασία που ο Galton έδωσε στον όρο «παλινδρόμηση» δεν απέχει πολύ από τη σημασία που αποδίδουμε στη καθημερινή ζωή (Παλινδρόμηση: πορεία, κίνηση προς τα εμπρός και προς τα πίσω διαδοχικά. Παλινδρομώ: πηγαίνω εμπρός-πίσω, αλλάζω γνώμη ή στάση,δεν ξέρω τι θέλω (Ελληνικό λεξικό Γεωργόπουλου Φυτράκη 1993)). Η σύγχρονη ερμηνεία του όρου παλινδρόμηση στη στατιστική είναι αρκετά διαφορετική: regression analysis is concerned with the study of the dependence of one variable, the dependent variable, on one or more other variables, the explanatory variables, with a view to estimating and/or predicting the (population) mean or average value of the former in terms of the known or fixed (in repeated sampling) values of the latter(gujarati, Basic Econometrics, 003). 1

2 Ερμηνεία του «νόμου» του Galton Για κάθε ύψος των πατέρων αντιστοιχεί μία κατανομή υψών των υιών. Όμως το μέσο ύψος των τέκνων αυξάνεται όσο αυξάνεται το ύψος των πατέρων. Η κόκκινη γραμμή παριστάνει ακριβώς αυτή την σχέση μέσου ύψους τέκνων ύψος πατέρων. Το γεγονός ότι η κλίση της γραμμής αυτής είναι θετική αλλά <1 εξηγεί τον "νόμο του Galton. Ύψος υιών Ύψος πατέρα

3 Παλινδρόμηση και αιτιότητα Μια στατιστική σχέση όσο ισχυρή και αν είναι από μόνη της δεν μπορεί να συνεπάγεται αιτιότητα. Η ύπαρξη αιτιότητας θα πρέπει να βασίζεται σε κάποια θεωρία εκτός της στατιστικής, ή έστω στη κοινή λογική. Π.χ. το ότι η κατανάλωση εξαρτάται από το εισόδημα και όχι το αντίθετο (δηλ. το εισόδημα να εξαρτάται από την κατανάλωση) δεν είναι κάτι που μου το λέει η στατιστική αλλά η οικονομική θεωρία. Σε ένα υπόδειγμα που προβλέπει τη γεωργική παραγωγή με βάση τη βροχόπτωση την ηλιοφάνεια το λίπασμα κλπ., το ότι η βροχόπτωση καθορίζει τη παραγωγή και όχι το αντίθετο δηλ. η παραγωγή να καθορίζει τη βροχόπτωση πάλι δεν το καταλαβαίνουμε από τη στατιστική αλλά από τη κοινή λογική. Παλινδρόμηση και συσχέτιση Η ανάλυση συσχέτισης μέσω των συντελεστών γραμμικής συσχέτισης μετρά την "ένταση" ή το βαθμό της συσχέτισης μεταξύ δύο μεταβλητών. Στην ανάλυση συσχέτισης μπορούμε να υποθέσουμε από και οι δύο μεταβλητές είναι στοχαστικές και δεν έχει σημασία ποια θεωρούμε πρώτη και ποια δεύτερη. Στην ανάλυση παλινδρόμησης υπάρχει ασυμμετρία στον τρόπο που χειριζόμαστε τις μεταβλητές καθώς η μία θεωρείται ως αποτέλεσμα και η άλλη (ή οι άλλες) ως το αίτιο. Επιπλέον η εξαρτημένη μεταβλητή θεωρείται στοχαστική ενώ η ανεξάρτητη αρχικά θεωρείται ως μη στοχαστική. Για κάθε τιμή της επεξηγηματικής μεταβλητής θεωρούμε ότι υπάρχει μια κατανομή τιμών της εξαρτημένης μεταβλητής. Ορολογία Αποτέλεσμα Αίτιο Dependent variable Independent variable Explained Variable Explanatory Variable Predictand Predictor Regressand Regressor Response Stimulus (control variable) Endogenous Exogenous 3

4 3. ΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ - ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ Έστω ότι διαθέτουμε στοιχεία για την κατανάλωση και το διαθέσιμο εισόδημα για όλες τις οικονομικές μονάδες ενός υποτιθέμενου πληθυσμού. Τα στοιχεία αυτά ταξινομούμε σε πίνακα ως ακολούθως: Εβδομαδιαίο οικογενειακό διαθέσιμο εισόδημα Χ (σε 10$) Χ Υ Εβδομαδιαία Δαπάνη Κατανάλωσης Υ (σε 10$) Σύνολο Κάθε στήλη του παραπάνω πίνακα δίνει την κατανομή της εβδομαδιαίας καταναλωτικής δαπάνης που αντιστοιχεί σε δεδομένο επίπεδο διαθέσιμου εισοδήματος. Δηλαδή μας παρέχει την υπό συνθήκη κατανομή της Y για δεδομένες τιμές του Χ. Εύκολα μπορούν να υπολογισθούν οι υπό συνθήκη πιθανότητες η (διακριτή) μεταβλητή Y να έχει τις τιμές Y1,Y,..Yj, με δεδομένο ότι η (διακριτή) μεταβλητή έχει αντίστοιχα τις τιμές 1,,..i. Συμβολισμός: P(Y = Y j = i ) ή για απλούστευση: P(Y j i ). Η υπό συνθήκη αναμενόμενη τιμή της Y για δεδομένο Χ θα είναι: E(Y = j ) = Y i P(Y = Y i = j ). 4

5 π.χ. E(Y = j ) = = 65 Όμοια υπολογίζουμε τις για τις υπόλοιπες υπό συνθήκη αναμενόμενες τιμές της Χ και τις συγκεντρώνουμε στον παρακάτω πίνακα. Εισόδημα Υπό συνθήκη αναμενόμενη τιμή της Υ

6 Πληθυσμιακή Καμπύλη παλινδρόμησης Γεωμετρικά η πληθυσμιακή καμπύλη παλινδρόμησης είναι ο γεωμετρικός τόπος των υπό συνθήκη αναμενόμενων τιμών της εξαρτημένης μεταβλητής για δεδομένες τιμές της ανεξάρτητης μεταβλητής. Η Πληθυσμιακή Συνάρτηση παλινδρόμησης (population regression function PRF) Κάθε υπό συνθήκη αναμενόμενη τιμή της Y είναι συνάρτηση των i: E(Y i ) = f( i ) Η f μας φανερώνει πως το μέσο αποτέλεσμα μεταβάλλεται (ανταποκρίνεται) σε μεταβολή του αιτίου που το προκάλεσε. Η συναρτησιακή μορφή της PRF πρέπει να είναι σύμφωνη με την υπάρχουσα οικονομική θεωρία. Αν δεν υπάρχει συγκεκριμένη θεωρία θα ξεκινάμε πάντα από ένα γραμμικό και προσθετικό παράδειγμα δηλ.: E(Y i ik ) = β 0 + β 1 i1 + β Χ i + + β k ik Για το συγκεκριμένο παράδειγμα : E(Y i ) = β 1 + β i Τα β 1, β ονομάζονται συντελεστές παλινδρόμησης. Ο συντελεστής β στο συγκεκριμένο παράδειγμα, όπως έχουμε ήδη γνωρίσει, ονομάζεται οριακή ροπή για κατανάλωση (marginal propensity to consume), καθώς δίνει τη 6

7 μέση μεταβολή στην καταναλωτική δαπάνη που αντιστοιχεί στη μοναδιαία μεταβολή του διαθέσιμου εισοδήματος. Στοχαστικές διαταραχές(stochastic Disturbances) Το υπόδειγμα που περιγράφει την εξάρτηση της υπό συνθήκη αναμενόμενης τιμής της Υ από την Χ δηλ. το: E(Y i ) = β 1 + β i είναι ένα καθαρά αιτιοκρατικό υπόδειγμα. Όμως από τα δεδομένα τον πίνακα είναι φανερό ότι σε επίπεδο οικογένειας το συγκεκριμένο υπόδειγμα δεν ακολουθείται πάντα αφού, όπως εύκολα διαπιστώνει κανείς, υπάρχουν και περιπτώσεις που η καταναλωτική δαπάνη μειώνεται όταν αυξάνεται το εισόδημα (θυμίζουμε ότι σύμφωνα με τη θεωρία του Keynes 0<β<1). Η μετάβαση από τις υπό συνθήκη αναμενόμενες τιμές της καταναλωτικής δαπάνης για δεδομένο διαθέσιμο εισόδημα, σε συγκεκριμένες τιμές της καταναλωτικής δαπάνης καθιστά απαραίτητη την εισαγωγή ενός στοχαστικού όρου στο υπόδειγμα. Η στοχαστική διαταραχή u i ορίζεται σαν μια τυχαία μεταβλητή που εκφράζει την απόκλιση μιας συγκεκριμένης τιμές της Y από την αντίστοιχη υπό συνθήκη αναμενόμενη τιμή δηλ.: u i = Y i E(Y i ) => Y i = E(Y i ) + u i Η εξίσωση αυτή εκφράζει μία συγκεκριμένη τιμή Yi σαν άθροισμα δύο όρων: της υπό συνθήκη αναμενόμενης τιμής για δεδομένο Χi, που μας παρέχει το συστηματικό (αιτιοκρατικό) τρόπο εξέλιξης της Y με την Χ και της στοχαστικής διαταραχής, που εκφράζει τη μη συστηματική συνιστώσα της μεταβολής της Υ. Η συνιστώσα Ui είναι ένα υποκατάστατο όλων των μεταβλητών που μπορεί να επηρεάζουν την Υ και για κάποιο λόγο δεν έχουν συμπεριληφθεί στην εξίσωση. Υποθέτουμε και πάλι ότι η πληθυσμιακή συνάρτηση παλινδρόμησης είναι γραμμική. Τότε: Και παίρνοντας αναμενόμενες τιμές: Y i = E(Y i ) + U i = β 1 + β i + U i Ε(Y i i ) = Ε{Ε(Y i )} + E(U i i ) = E(Y i ) + E(U i i ) 7

8 Οπότε E(U i i ) = 0, δηλ. η υπόθεση ότι η καμπύλη παλινδρόμησης διέρχεται από τις υπό συνθήκη αναμενόμενες τιμές της συνεπάγεται ότι οι υπό συνθήκη αναμενόμενες της Ui για δεδομένο Χi είναι μηδέν. Η δειγματική συνάρτηση παλινδρόμησης (Sample regression function) Συνήθως δε μας είναι γνωστές όλες οι τιμές Yi όπως υποθέσαμε μέχρι τώρα. Για κάθε Χi έχουμε μια μόνο τιμή Yi, δηλ. κάθε φορά έχουμε ένα δείγμα από τον πληθυσμό. Σε αντιστοιχία με την PRF ορίζουμε τη δειγματική συνάρτηση παλινδρόμησης ως εξής: Όπου, Y i = εκτιμητής της Ε(Y i ) = εκτιμητής του β1 β 1 = εκτιμητής του β β Y i = β 1 + β i (Σημ. όπως είδαμε στο προηγούμενο κεφάλαιο, εκτιμητής ή δειγματικό στατιστικό είναι ένας κανόνας ή τύπος ή μέθοδος που μας υπολογίζει την αντίστοιχη παράμετρο του πληθυσμού από πληροφορίες που μας δίνονται από το δείγμα. Μια συγκεκριμένη τιμή που βρίσκεται σε μια εφαρμογή χρησιμοποιώντας έναν εκτιμητή ονομάζεται εκτίμηση). Η πραγματική τιμή Υi μπορεί επομένως να εκφρασθεί και ως: Y i = β 1 + β i + u i όπου u i η εκτίμηση για το Ui. Το u i ονομάζεται κατάλοιπο. Το παρακάτω σχήμα βοηθά στο να ξεκαθαρισθούν οι έννοιες διαταραχές, κατάλοιπα, PRF, SRF. 8

9 SRF: Yi Ui PRF: Μερικές αιτίες για την ύπαρξη του στοχαστικού όρου είναι οι ακόλουθες: Η σχετική θεωρία είναι ασαφής Μη διαθεσιμότητα κάποιων υποψήφιων επεξηγηματικών μεταβλητών, π.χ. τα περιουσιακά στοιχεία για το παράδειγμα μας. Πολυπλοκότητα (intrinsic randomness) της ανθρώπινης συμπεριφοράς. Λάθος συναρτησιακή σχέση, ή/και σφάλματα στα δεδομένα Occam's razor (αρχή της απλότητας). 9

10 Με δεδομένο ότι κατά κανόνα θα διαθέτουμε δειγματικά δεδομένα και μόνο, στον πίνακα που ακολουθεί συνοψίζονται οι τρεις αντικειμενικοί στόχοι που επιθυμούμε να επιτύχουμε στηριζόμενοι στα δειγματικά δεδομένα. 1) Αναζητούμε μία συνάρτηση της μορφής Y 1, η οποία αντιπροσωπεύει τη γραμμική σχέση μεταξύ Χ και Υ «καλύτερα» από οποιαδήποτε άλλη συνάρτηση. Αυτό ανάγεται στην εύρεση βέλτιστων εκτιμητών 1, των, 1 1. ) Εξετάζουμε το μέγεθος (σπουδαιότητα) της σχέσης μεταξύ Χ και Υ και επιπλέον θέλουμε να μάθουμε τι ποσοστό της διακύμανσης του Υ επεξηγείται από τη διακύμανση του Χ. Αυτό ανάγεται στην εύρεση των τιμών του συντελεστή (γραμμικής) συσχέτισης και του λεγόμενου συντελεστή προσδιορισμού. 3) Εξετάζουμε αν η σχέση μεταξύ Χ και Υ που βρέθηκε για το συγκεκριμένο δείγμα τιμών που διαθέτουμε μπορεί να γενικευτεί και για τον πληθυσμό. Αυτό ανάγεται στην εφαρμογή ελέγχου σημαντικότητας της σχέσης μεταξύ Χ και Υ. 1 Η ερμηνεία των β 1, β που καλούνται συντελεστές παλινδρόμησης είναι η ακόλουθη: Ο β 1 μας δίνει την τιμή της εξαρτημένης μεταβλητής Υ που αντιστοιχεί στην τιμή της ανεξάρτητης μεταβλητής Χ=0. Απαιτείται προσοχή στην ερμηνεία αυτή καθώς η τιμή αυτή δυνατόν να είναι εκτός του εύρους των τιμών της Χ στο διαθέσιμο δείγμα. Ο β μας δίνει τη μεταβολή της εξαρτημένης μεταβλητής που αντιστοιχεί στη μοναδιαία μεταβολή της Χ. Είναι φανερό ότι η αριθμητική τιμή του β επηρεάζεται από τις μονάδες μέτρησης των μεταβλητών. 10

11 3.3 ΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ-ΕΚΤΙΜΗΣΗ (1 ος αντικειμενικός στόχος) U 1 U N Έστω ότι διαθέτουμε δειγματικά δεδομένα με Ν ζεύγη τιμών για τις μεταβλητές Χ, Υ οι οποίες υποθέτουμε ότι συνδέονται με τη σχέση: Υ=β1 + βχ +U. 1 Ζητούμενο: ένα κριτήριο με βάση το οποίο να προσδιορίσουμε τα β1, β δηλαδή τη σταθερά και την κλίση της ευθείας στο παραπάνω σχήμα. N U i = Y i Y i = Y i β 1 β Χ i Έστω ότι αρχικά επιλέγουμε: U i = 0 Τότε: U i = (Y i β 1 β Χ i ) = 0 και διαιρώντας με Ν (όπου Ν το μέγεθος του δείγματος): Y i Ν β 1 Ν β Χ i Ν = 0 => Y = β 1 + β Με αυτό τον τρόπο τα β 1, β εκλέγονται έτσι ώστε η SRF να περνά από το σημείο (Y, ). Όμως έτσι τα β1 ευθεία δε μπορεί να ορισθεί από ένα μόνο σημείο., β δεν ορίζονται μονοσήμαντα αφού μια 11

12 Μια καλύτερη σκέψη θα ήταν να ελαχιστοποιήσουμε το άθροισμα των απόλυτων τιμών των αποκλίσεων των δειγματικών σημείων από τη γραμμή παλινδρόμησης. Με αυτόν τον τρόπο η βαρύτητα που αποδίδεται στις αποκλίσεις είναι ανάλογη με τις απόλυτες τιμές τους. Μια τέτοια διαδικασία ελαχιστοποίησης του αθροίσματος των απολύτων τιμών των αποκλίσεων αφενός είναι υπολογιστικά σχετικά δύσκολη, αφετέρου θα επιθυμούσαμε η βαρύτητα που θα δίνονταν στις συγκριτικά μεγαλύτερες αποκλίσεις να ήταν μεγαλύτερη από αυτή που θα αντιστοιχούσε αν ίσχυε η αναλογικότητα. Μια τέτοια διαδικασία που αποδίδει στις μεγαλύτερες αποκλίσεις μεγαλύτερη βαρύτητα απ ότι αναλογικά τους αντιστοιχεί είναι αυτή που ελαχιστοποιεί το άθροισμα των τετραγώνων των αποκλίσεων. Τα παραπάνω φαίνονται καλύτερα στο σχήμα της επόμενης σελίδας που παριστάνει τη λεγόμενη συνάρτηση απώλειας (loss function) σα συνάρτηση των αποκλίσεων. Με τη διαδικασία ελαχιστοποίησης του αθροίσματος των απολύτων τιμών των αποκλίσεων η συνάρτηση απώλειας για μια συγκεκριμένη απόκλιση (θετική ή αρνητική) ισούται με την απόλυτη τιμή της απόκλισης. Με τη διαδικασία ελαχιστοποίησης του αθροίσματος των τετραγώνων των αποκλίσεων η τιμή της συναρτήσεως απωλειών για μια συγκεκριμένη απόκλιση ισούται με το τετράγωνο της απόκλισης. Ένα πρόβλημα με τη διαδικασία ελαχιστοποίησης του αθροίσματος των ελαχίστων τετραγώνων αφορά την περίπτωση που έχουμε ακραίες τιμές στα δειγματικά δεδομένα. Σε μια τέτοια περίπτωση η ύπαρξη έστω και μίας ακραίας τιμής με μεγάλη απόκλιση είναι δυνατό να αλλάξει δραματικά τις τιμές των συντελεστών παλινδρόμησης. Μία τέτοια κατάσταση αντιμετωπίζεται είτε αφαιρώντας τελείως την ακραία τιμή από τα δεδομένα, είτε τροποποιώντας τη μέθοδο της ελαχιστοποίησης του αθροίσματος των ελαχίστων τετραγώνων μειώνοντας τη σημασία των ακραίων τιμών με τη χρήση κατάλληλων συντελεστών σταθμίσεως. Δύο παραδείγματα τέτοιων εναλλακτικών μεθόδων φαίνονται στο σχήμα που ακολουθεί. 1

13 ΔΙΑΓΡΑΜΜΑΤΑ ΣΥΝΑΡΤΗΣΕΩΝ ΑΠΩΛΕΙΑΣ (a) Loss functions and (b) alternative loss functions 13

14 Με το κριτήριο των ελαχίστων τετραγώνων θέλουμε: U i = (Y i Y i ) = (Y i β 1 β Χ i ) min. Καθώς U i = f(β, 1 β ) πρέπει: f(β, 1 β ) β 1 = f(β, 1 β ) β = 0 Έτσι, (Y i β 1 β Χ i ) = 0 => U i = 0 (Y i β 1 β Χ i ) i = 0 => U i i = 0 Ή Y i = N β 1 + β i Y i i = β 1 i + β i Κανονικές εξισώσεις Οπότε, β 1 = Y β β = ( i ) (Y i Y ) = N i Y i i Y i ( i ) N i ( i ) Ή αν x i = i και y i = Y i Y τότε β = x i y i x = x i Y i i i N Σημ.: x i = ( i ) = i Χ i + = i i + + = i N + N => x i = i N Κατά τον ίδιο τρόπο: x i y i = ( i Y i ) N Y. Η SRL έχει τις παρακάτω ιδιότητες: 1) Διέρχεται από τα δειγματικά μέσα των Y i, i Πράγματι από τις κανονικές εξισώσεις Y = β 1 + β 14

15 ) Το μέσο των εκτιμήσεων Y i ισούται με το μέσο των Y i Πράγματι Y i = β 1 + β i = (Y i β ) i + β i = Y + β ( i ) Y i N = Y N + β ( i ) N Y i = Y 3) u i = 0 (από κανονικές εξισώσεις) 4) Τα υπόλοιπα u i δεν σχετίζονται με τις εκτιμήσεις Y i Πράγματι: (Y i Y )(u i u ) i = y i u i = β x i u i (επειδή y i = β x i όπως θα δείξουμε παρακάτω) = β x i (y i β x i ) = β x i y i β x i = = β x i β x i = 0 (γιατί β = x i y i 5) Έκφραση της SRF με τη μορφή αποκλίσεων από τις μέσες τιμές. Y i = β 1 + β i + u i. ) x i Y = β 1 + β Χ Y i Y = β ( i ) + u i y i = β i + u i Οπότε και y i = β x i Οι υποθέσεις του κλασσικού γραμμικού υποδείγματος παλινδρόμησης (Classical Linear Regression Model, ή CLR Model). Υπόθεση 1: Η επεξηγηματική μεταβλητή Χ είναι μη στοχαστική Υπόθεση 1α (για την περίπτωση που δεν ικανοποιείται η Υπόθεση 1): Αν η Χ είναι στοχαστική τουλάχιστον να είναι ανεξάρτητη του στοχαστικού όρου. 15

16 Υπόθεση 1β (για την περίπτωση που δεν ικανοποιούνται οι Υποθέσεις 1 και 1α) : Αν η Χ είναι στοχαστική και δεν είναι ανεξάρτητη του στοχαστικού όρου τουλάχιστον να μη συσχετίζεται με αυτόν. Δηλαδή: Cov(u i, i ) = E({u i E(u i )}{ i E( i )}) = E{u i ( i E( i )} = E(u i i ) E(u i )E( i ) = E(u i i ) = 0 (E( i ) = σταθερά) Υπόθεση : Ε(u i i ) = 0 Υπόθεση 3: Var(u i i ) = E{u i E(u i ) i } = E(u i i ) = σ (όχι ετεροσκεδαστικότητα). Υπόθεση 4: Cov(u i, u j i, j ) = = E(u i E(u i ) i )(u j E(u j ) j ) = E(u i i )(u j j ) = 0 (όχι αυτοσυσχέτιση μεταξύ των διαταραχών u) Υπόθεση 5: Το υπόδειγμα παλινδρόμησης πρέπει να είναι σωστά ορισμένο. Λοιπές υποθέσεις: (π.χ. μεταβλητότητα της 0, γραμμικότητα στις παραμέτρους κ.λπ.). ΕΠΕΞΗΓΗΜΑΤΙΚΑ ΣΧΟΛΙΑ. Η υπόθεση ουσιαστικά σημαίνει ότι το μέσο αποτέλεσμα όλων των παραγόντων, που δεν υπεισέρχονται απευθείας στο υπόδειγμα αλλά ενσωματώνονται στις διαταραχές u i, πάνω στην Y είναι μηδέν (βλέπε σχήμα επόμενης σελίδας). Η υπόθεση 3 απαιτεί οι πληθυσμοί της Y που αντιστοιχούν σε κάθε i να έχουν την ίδια διακύμανση. Αν κάτι τέτοιο δεν ίσχυε, οι διαφορετικές τιμές Y i δεν θα είχαν την ίδια αξιοπιστία, και θα έπρεπε να δώσουμε μεγαλύτερη σπουδαιότητα σε τιμές που προέρχονται από πληθυσμούς με συγκριτικά μικρότερη διακύμανση ( βλέπε σχήμα επόμενης σελίδας). Η υπόθεση 4 απαιτεί οι διαταραχές u i, u j, i j να είναι ασυσχέτιστες. Αν κάτι τέτοιο δεν ισχύει τότε η Y t δεν θα εξαρτάται μόνο από την t αλλά και από την u t 1, καθώς η u t 1 θα επηρεάζει ως ένα βαθμό την u t. (Σημ. ο δείκτης t στην προκειμένη περίπτωση αναφέρεται στην τάξη της παρατήρησης και δεν αφορά αναγκαστικά χρόνο). Η υπόθεση 1β (που ικανοποιείται αυτομάτως όταν ισχύει η υπόθεση (1)) εκφράζει το γεγονός ότι η επίδραση της Χ στην Y πρέπει να 16

17 προστίθεται στην επίδραση της u στην Y (δηλαδή η κάθε μεταβλητή να δρα στην Y χωριστά από την άλλη). Κάτι τέτοιο προφανώς δεν θα ισχύει αν οι Χ, u συσχετίζονται). Θα πρέπει να τονισθεί ότι το κλασσικό γραμμικό υπόδειγμα που όπως είδαμε αναπτύχθηκε από τον Gauss εφαρμόσθηκε αρχικά στις θετικές επιστήμες. Οι προεκτεθείσες υποθέσεις του όμως είναι σαφώς περιοριστικές όταν χρησιμοποιούμε δεδομένα από τις θεωρητικές επιστήμες. Στην οικονομική επιστήμη η φύση των οικονομικών σχέσεων και των διαθέσιμων δεδομένων είναι τέτοια που συχνά οι υποθέσεις αυτές δεν ισχύουν. Η παραβίαση των παραπάνω υποθέσεων δημιουργεί σοβαρά προβλήματα αξιοπιστίας των αποτελεσμάτων και συμπερασμάτων. Για την αντιμετώπιση των προβλημάτων που δημιουργούνται από την παραβίαση των υποθέσεων του κλασσικού γραμμικού υποδείγματος έχουν αναπτυχθεί εναλλακτικές μέθοδοι εκτιμήσεως και ο ιδιαίτερος επιστημονικός κλάδος που ασχολείται με το αντικείμενο αυτό για την περίπτωση των οικονομικών δεδομένων είναι βέβαια η «Οικονομετρία». 17

18 18

19 Ομοσκεδαστικότητα var(u i i ) = σ i 19

20 Ετεροσκεδαστικότητα 0

21 Αυτοσυσχέτιση στο διαταρακτικό όρο Α. Θετική αυτοσυσχέτιση Β. Αρνητική αυτοσυσχέτιση Γ. Μηδενική αυτοσυσχέτιση 1

22 Διευκρινήσεις θα πρέπει να δοθούν και σχετικά με τη σημασία του όρου γραμμικότητα που αναφέρεται στις λοιπές υποθέσεις. Σε ένα υπόδειγμα παλινδρόμησης διακρίνουμε γραμμικότητα ως προς τις μεταβλητές και γραμμικότητα ως προς τις παραμέτρους. Γραμμικότητα ως προς τις μεταβλητές σημαίνει ότι η υπό συνθήκη αναμενόμενη τιμή της εξαρτημένης μεταβλητής είναι γραμμική συνάρτηση της ανεξάρτητης μεταβλητής. Γραμμικότητα ως προς τις παραμέτρους σημαίνει ότι η υπό συνθήκη αναμενόμενη τιμή της εξαρτημένης μεταβλητής είναι γραμμική συνάρτηση των παραμέτρων β 1, β. Σημειώνεται με έμφαση ότι στην περίπτωση της γραμμικότητας ως προς τις παραμέτρους, το υπόδειγμα δεν είναι κατ ανάγκη γραμμικό και ως προς την ανεξάρτητη μεταβλητή. Στο εξής ο όρος γραμμικό υπόδειγμα παλινδρόμησης θα δηλώνει ένα υπόδειγμα παλινδρόμησης γραμμικό ως προς τις παραμέτρους. Παραδείγματα: Το υπόδειγμα: Y = β 1 + β + β 3 + u είναι υπόδειγμα γραμμικό ως προς τις παραμέτρους και μη γραμμικό ως προς τις μεταβλητές και επομένως είναι ένα γραμμικό υπόδειγμα παλινδρόμησης. Το υπόδειγμα: Y = β 1 + β + u είναι μη γραμμικό ως προς την παράμετρο β, άρα είναι ένα μη γραμμικό υπόδειγμα παλινδρόμησης, αν και είναι γραμμικό ως προς τις μεταβλητές.

23 Εφαρμογή Να εξεταστούν ως προς τη γραμμικότητα τα παρακάτω υποδείγματα παλινδρόμησης: (α) Y = β 1 + β ( 1 ) + u i (β) Y = β 1 + β 1 β + u i (γ) Y = e β 1+β +u Απάντηση (α) Το υπόδειγμα είναι γραμμικό ως προς τις παραμέτρους άρα είναι ένα γραμμικό υπόδειγμα παλινδρόμησης (αν και μη γραμμικό ως προς τη Χ). (β) Το υπόδειγμα περιέχει το γινόμενο των παραμέτρων β 1, β άρα είναι μη γραμμικό ως προς τις παραμέτρους και συνεπώς είναι ένα μη γραμμικό υπόδειγμα παλινδρόμησης. (γ) Λογαριθμίζοντας και τα δύο μέλη θα έχουμε: ln Y = β 1 + β + u. Επομένως το υπόδειγμα που προέκυψε είναι γραμμικό ως προς τις παραμέτρους, άρα πρόκειται για ένα γραμμικό υπόδειγμα παλινδρόμησης. Σημείωση: Οι εκτιμητές που προκύπτουν ακολουθώντας τη διαδικασία που περιγράφεται στη σελίδα ονομάζονται εκτιμητές συνήθων ελαχίστων τετραγώνων (Ordinary Least Squares Estimators), ή για συντομία OLS εκτιμητές. 3

24 Το Θεώρημα Gauss- Markov: Εφόσον ισχύουν οι προηγούμενες προϋποθέσεις οι OLS εκτιμητές των β 1, β είναι BLUE. Π.χ. για τον εκτιμητή β : i. Γραμμικότητα: β = iy i i ii. iii. γραμμική συνάρτηση των Y i (όπου K i = Αμεροληψία: β = K i Y i δηλαδή ο β εκφράζεται σαν i i ). = K i Y i = K i (β 1 + β i + u i ) = β 1 K i + β K i i + K i u i = β + K i u i Όπου, K i = 0 και K i i = 1. Επομένως E(β ) = β + K i E(u i ) = β ο.ε.δ. Όπου, E(u i ) = 0. Διακύμανση του β Var(β ) = Ε (β Ε(β )) = Ε(β β ) (λόγω του ii. ) = E(β + K i u i β ) = Ε( K i u i + K i K j u i u j i<j Όμως Ε(u i ) = σ (υπόθεση ομοσκεδαστικότητας) Ε(u i u j ) = 0 με i j (υπόθεση απουσίας αυτοσυσχέτισης) Επομένως Var(β ) = σ K i δηλαδή Var(β ) = σ Σημ. K i = x i i = K i x i = K i i = 1. 1 i i = 0. Επίσης, K i = Για τον εκτιμητή β 1: Var(β1 ) = i N σ i όπου σ = E(u i. i 1 και i i ). Η παράμετρος αυτή εκτιμάται από τα δειγματικά δεδομένα χρησιμοποιώντας τον εκτιμητή: 4

25 σ = u i. Ο παρονομαστής N Ν εκφράζει τους λεγόμενους βαθμούς ελευθερίας (degrees of freedom) ενώ ο αριθμητής u i είναι το άθροισμα των τετραγώνων των καταλοίπων και συμβολίζεται και ως RSS (Residual Sum of Squares). Οι βαθμοί ελευθερίας είναι ο αριθμός των παρατηρήσεων του δείγματος μείον τον αριθμό των περιορισμών που θέτουμε σε αυτές. Π.χ. για να υπολογίσουμε την ποσότητα RSS πρέπει να έχουμε ήδη υπολογίσει τους β 1, β, άρα θέτουμε δύο περιορισμούς. Παρατηρήσεις a) Για δεδομένο σ όσο μεγαλύτερη η μεταβλητότητα της ανεξάρτητης μεταβλητής, τόσο μικρότερη η διακύμανση του β άρα τόσο ακριβέστερη η εκτίμηση του. b) Για δεδομένη μεταβλητότητα της ανεξάρτητης μεταβλητής, όσο μικρότερη η διακύμανση σ (δηλαδή η διασπορά των σημείων γύρω από την ευθεία των ελαχίστων τετραγώνων) τόσο μεγαλύτερη η ακρίβεια στην εκτίμηση του β. c) Η συνδιακύμανση μεταξύ β 1, β θα είναι Cov(β 1, β ) = E {(β 1 E(β )) 1 (β E(β ))} = E(β 1 β 1 )(β β ) = Ε(Y β Y + β )(β β ) = E(β β ) = Var(β ) iv. Ελάχιστη διακύμανση (αποτελεσματικότητα) Αν β οποιοσδήποτε γραμμικός εκτιμητής πρέπει να δείξουμε ότι: Var(β ) Var(β ). Αφού β γραμμικός: β = w i Y i Αφού β αμερόληπτος: E(β ) = β. Άρα: E(β ) = w i Ε(Y i ) = w i (β 1 + β i ) = β 1 w i + β w i i Άρα πρέπει w i = 0, w i i = 1, τότε: 5

26 Var(β ) = Var ( w i Y i ) = w i Var(Y i ) = w i Var(u i ) = σ w i = σ (w i k i + k i ) = σ ( k i + (w i k i ) + (w i k i )k i ) = σ ( k i + (w i k i ) + ( 1 1 i ) i = Var(β ) + σ (w i k i ) Άρα VarVVV (β ) Min αν wi = k i ο.ε.δ. (Σημ: Var( w i Y i ) = Var(w 1 Y 1 ) + Var(w Y + Cov(w 1 Y 1, w Y ) = w 1 Var(Y 1 ) + + w n Var(Y n ) = σ w i 6

27 3.4 Ο ΣΥΝΤΕΛΕΣΤΗΣ ΠΡΟΣΔΙΟΡΙΣΜΟΥ ΚΑΙ Ο ΣΥΝΤΕΛΕΣΤΗΣ ΣΥΣΧΕΤΙΣΕΩΣ ( ος αντικειμενικός στόχος) Ο συντελεστής προσδιορισμού είναι ένα μέγεθος που μας βοηθά να εκτιμήσουμε πόσο καλά η SRL προσαρμόζεται στα δειγματικά δεδομένα. Ως μεταβλητότητα (variation) μιας μεταβλητής ορίζουμε το άθροισμα των τετραγώνων των αποκλίσεων των τιμών της μεταβλητής αυτής από τη μέση τιμή της. (Επισημαίνεται η διαφορά του όρου μεταβλητότητα (variation) από την διακύμανση (variance). Στη διακύμανση το παραπάνω άθροισμα τετραγώνων διαιρείται με τους κατά περίπτωση βαθμούς ελευθερίας. Δηλαδή Μεταβλητότητα Διακύμανση = Βαθμοί Ελευθερίας Για την καλύτερη κατανόηση της σημασίας του συντελεστή προσδιορισμού η μεταβλητότητα παρίσταται με έναν κύκλο σε ένα διάγραμμα Venn. Y, (ως ποσοστού του εμβαδού της μεταβλητότητας της Υ. Η τομή των δύο κύκλων υποδηλώνει τον βαθμό στον οποίο η μεταβλητότητα της Y ερμηνεύεται από την μεταβλητότητα της μέσω ενός υποδείγματος (έστω και αυτού της απλής παλινδρόμησης). Ο συντελεστής προσδιορισμού R είναι ένας τρόπος μέτρησης της τομής των μεταβλητοτήτων των Ο R υπολογίζεται ως εξής: Y i = Y i + u i Y i Y i = Y i Y i + u i y i = y i + u i y i = y i + u i + y i u i y i = y i + u i = β i + u i Όμως: y i = (Y i Y ) = total sum of squares (TSS) 7

28 y i = (Y i Y ) = β i = explained sum of squares (ESS) u i = Residual sum of squares (RSS) Δηλαδή, TSS = ESS + RSS 1 = ESS TSS + RSS TSS Ορίζουμε R = ESS TSS, ή R = ESS ολικής μεταβλητότητας της εξαρτημένης μεταβλητής που ερμηνεύεται με βάση το υπόδειγμα παλινδρόμησης. Για τον R ισχύουν: R 0 και 0 R 1. TSS *100%. Ο R μετρά το ποσοστό της Για τον υπολογισμό του R μπορεί να χρησιμοποιηθεί οποιαδήποτε από τις παρακάτω σχέσεις: R = ESS TSS = y i x = i β y i = y β ( S x i S) y = ( x iy i ) ( x i y i ) = (y iy i) ( (y i ) (y i )) Ο γραμμικός συντελεστής συσχετίσεως ορίζεται (για τον πληθυσμό) ως εξής ρ = Cov( i,y i ) ρ = ενώ για ένα συγκεκριμένο δείγμα του πληθυσμού: Var( i )Var(Y i ) x i y i. (x i ) (y i ) Ισχύει: ρ = R Παρατηρήσεις για τον συντελεστή συσχετίσεως: 1. 1 ρ 1. Συμμετρία ως προς τις μεταβλητές ρ Y = ρ Y άρα δεν υπονοείται αιτιότητα. 3. Η τιμή του παραμένει αμετάβλητη από μεταβολές στις μονάδες μέτρησης των μεταβλητών και μετατόπιση από την αρχή. Δηλαδή, αν i = a i + c, Y i = by i + d τότε ρ = ρ. 8

29 4. Αν i, Y i στατιστικά ανεξάρτητες ρ = 0, όμως το αντίθετο δεν ισχύει καθώς ο ρ μετρά μόνο γραμμική συσχέτιση και οι i, Y i μπορεί να έχουν μη γραμμική αλληλεξάρτηση. Το υπόδειγμα απλής παλινδρόμησης με τυποποιημένες μεταβλητές Όπως ήδη αναφέρθηκε οι μονάδες μέτρησης των μεταβλητών επηρεάζουν τις τιμές των συντελεστών παλινδρόμησης. Αυτό μπορεί να αποφευχθεί αν μετασχηματίσουμε την ανεξάρτητη και την εξαρτημένη μεταβλητή στις λεγόμενες τυποποιημένες μεταβλητές. Μία μεταβλητή λέγεται τυποποιημένη αν από κάθε τιμή της αφαιρέσουμε τη μέση τιμή και την προκύπτουσα διαφορά διαιρέσουμε με την τυπική απόκλιση της μεταβλητής αυτής. Έτσι στο υπόδειγμα απλής παλινδρόμησης μετασχηματίζουμε τις Υ, Χ ως εξής: * i * i i, i S S Y Όπου αντίστοιχες (δειγματικές) τυπικές αποκλίσεις. * * Οι, αποκαλούνται σε μερίδα της βιβλιογραφίας και ως Ζ-scores. Y, οι μέσες δειγματικές τιμές των Υ, Χ αντίστοιχα και SΥ, SΧ οι Μία χρήσιμη ιδιότητα των τυποποιημένων μεταβλητών * *, είναι ότι η μέση τιμή τους είναι πάντα μηδέν και η τυπική τους απόκλιση είναι ίση με τη μονάδα. Το σημαντικότερο όμως πλεονέκτημα του υποδείγματος παλινδρόμησης στις τυποποιημένες μεταβλητές έναντι του υποδείγματος με τις αρχικές μεταβλητές θα γίνει φανερό όταν χρησιμοποιήσουμε περισσότερες της μιας επεξηγηματικές μεταβλητές. Στην περίπτωση αυτή οι τιμές των συντελεστών παλινδρόμησης (που αποκαλούνται και betas) κάθε επεξηγηματικής μεταβλητής εκφράζουν το μέγεθος της επίδρασης κάθε επεξηγηματικής μεταβλητής στην εξαρτημένη μεταβλητή. 9

30 3.5 ΤΟ ΚΛΑΣΣΙΚΟ ΚΑΝΟΝΙΚΟ ΓΡΑΜΜΙΚΟ ΥΠΟΔΕΙΓΜΑ. Από το θεώρημα Gauss- Markov γνωρίζουμε ότι οι εκτιμητές β 1, β, σ του υποδείγματος Y i = β 1 + β i + u i με E(u i ) = σ είναι BLUE. Αυτό είναι αρκετό για τη σημειακή τους εκτίμηση όμως για να προχωρήσουμε σε ελέγχους υποθέσεων είναι απαραίτητο να γνωρίζουμε την κατανομή τους. Έτσι από την SRF θα είναι δυνατό να εξαχθούν συμπεράσματα για την PRF. Καθώς οι OLS εκτιμητές β 1, β είναι γραμμικές συναρτήσεις της εξαρτημένης μεταβλητής και αυτή με τη σειρά της συνάρτηση των διαταραχών u i είναι φανερό ότι οι δειγματοληπτικές κατανομές των OLS εκτιμητών θα εξαρτώνται από την υπόθεση που θα κάνουμε σχετικά με την κατανομή των διαταραχών u i. Σκεπτόμενοι ότι τα u i παριστάνουν τη συνολική επίδραση στην Y i μεγάλου αριθμού ανεξάρτητων μεταβλητών που δεν περιλαμβάνονται άμεσα στο υπόδειγμα, τότε με βάση το κεντρικό οριακό θεώρημα η κατανομή όλων αυτών των τ.μ. αθροιστικά θα τείνει στην κανονική κατανομή καθώς ο αριθμός των τ.μ. θα τείνει στο. Με την υπόθεση της κανονικής κατανομής για τα u i, εύκολα συνάγεται ότι οι δειγματοληπτικές κατανομές των β 1, β είναι κανονικές. Και τούτο διότι κάθε γραμμική συνάρτηση μεταβλητών που κατανέμονται κανονικά κατανέμεται κι αυτή κανονικά. i Άρα: β ~Ν 1 (β 1, Ν x σ ), β ~N (β, i x i ) Επιπλέον αποδεικνύεται ότι: (N )σ ~ (N ). σ σ ΕπιπλέονY i i ~N(β 1 + β i, σ ):. Με βάση τα παραπάνω μπορούμε να προχωρήσουμε σε καθορισμό διαστημάτων εμπιστοσύνης και ελέγχους υποθέσεων. Σημείωση 1: Με την υπόθεση της κανονικότητας το υπόδειγμα CLR γίνεται CNLR. CNLR= σύντμηση για το Classical Normal Linear Regression. Σημείωση. Οι εκτιμητές του CNLR υποδείγματος είναι BUE, δηλαδή βέλτιστοι στην κλάση των γραμμικών και μη γραμμικών εκτιμητών. 30

31 Σύντομη ανασκόπηση χρήσιμων θεωρημάτων Θεώρημα 1: Αν για τις ανεξάρτητες τυχαίες μεταβλητές Z1, Z,, ZN ισχύει ότι Ζi ~ Ν(μi, σi ), τότε για το γραμμικό συνδυασμό τους Ζ = Σκi Zi ισχύει: Ζ ~ Ν(Σκiμi,Σκiσi ) Θεώρημα : Αν για τις ανεξάρτητες τυχαίες μεταβλητές Z1, Z,, ZN ισχύει ότι Ζ ~ Ν(0,1), τότε η μεταβλητή ΣΖi = Z1 + Z + + ZN ~ ΧΝ Θεώρημα 3: Αν για τις ανεξάρτητες τυχαίες μεταβλητές Z1, Z,, ZN ισχύει ότι Ζi ~ Χ κi, τότε η μεταβλητή ΣΖi= Z1+ Z+ +ZN ~ Χ Σκi Θεώρημα 4: Αν Ζ1 ~ Ν(0,1), Ζ ~ Χ κ και Z1, Z ανεξάρτητες, τότε η μεταβλητή t= Z1 Z/k = Z1 k Z ~ tk Θεώρημα 5: Αν Ζ1 ~ Χ κ1, Ζ ~ Χ κ και Ζ1, Ζ ανεξάρτητες, τότε η μεταβλητή F= Z1 k1 Z ~ Fk1,k k Θεώρημα 6: F1,k = tk 3.6 ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΓΙΑ ΤΗΝ ΑΠΛΗ ΠΑΛΙΝΔΡΟΜΗΣΗ (3 ος Αντικειμενικός στόχος) Από τα προηγούμενα γνωρίζουμε ότι: β β1 σ ~ Ν(0,1) και Σû i ~ σ Χ (Ν-) Σχi Τότε σύμφωνα με το θεώρημα 4 η μεταβλητή: t= (β β1) Σχ i σ = β β1 σ ~ t(ν-) Σu i σ Σχi Ν 31

32 Δηλαδή αντικαθιστώντας το σ με τον εκτιμητή του σ μεταβαίνουμε από την κανονική κατανομή, που όπως λέχθηκε ακολουθεί ο β σε μια t-student (δειγματοληπτική) κατανομή. Σημειώνεται ότι για δείγματα μεγέθους Ν>30 η διαφορά όσον αφορά τον έλεγχο υποθέσεων είναι ελάχιστη, και μπορούμε να χρησιμοποιούμε τη μεταβλητή t= τυποποιημένη κανονική μεταβλητή. (β β1) Σχ i σ προσεγγιστικά σαν Το 95% διάστημα εμπιστοσύνης για την παράμετρο β θα είναι: β ± t0,05 σ / Σχ i όπου t0,05 είναι το,5% σημείο στην κατανομή t με Ν- βαθμούς ελευθερίας. Για να ελέγξουμε την υπόθεση ότι η παράμετρος β έχει την τιμή β (Η0 : β=β ) έναντι της εναλλακτικής υποθέσεως Η1: β β εξετάζουμε την τιμή της (β β ) Σχ i σ που όπως είδαμε ακολουθεί κατανομή t με Ν- βαθμούς ελευθερίας. (Αν ισχύει η Η0, τότε το 95% όλων των δειγματικών τιμών β θα βρίσκονται στο διάστημα β ± t0, 05 σ /Σx i ) Αν η δειγματική τιμή του β βρεθεί εκτός του διαστήματος αυτού, τότε: Είτε η Η0 είναι ορθή και συνέβη ένα απρόσμενο γεγονός Είτε η Η0 δεν είναι ορθή Φυσικά όπως γνωρίζουμε από την εισαγωγική στατιστική επιλέγουμε τη δεύτερη ερμηνεία (αποδεχόμενοι την περίπτωση να διαπράττουμε σφάλμα τύπου I) Έτσι η Η0 απορρίπτεται αν: β β σ Σχ > t0,05 i H πιο συνηθισμένη περίπτωση είναι ή Η0:β=0 (testing the significance of ).Αν Η0 αληθής, η Χ δεν ερμηνεύει καθόλου την Υ. Κατά τον ίδιο τρόπο για τον εκτιμητή β1 Η0 : β1=β1 *.Η Η0 απορρίπτεται σε επίπεδο 100% αν β1 β 1 σ 1 x + Ν Σχ i > tα/ 3

33 Τα παραπάνω αναφέρονται για δίπλευρο έλεγχο υποθέσεων. Θα μπορούσαμε όμως να διενεργήσουμε και μονόπλευρο έλεγχο σε ορισμένες περιπτώσεις. Διευκρινίσεις δίνονται στον πίνακα που ακολουθεί ΕΛΕΓΧΟΣ ΣΗΜΑΝΤΙΚΟΤΗΤΑΣ ΜΕ ΤΟ t- ΣΤΑΤΙΣΤΙΚΟ ΚΑΝΟΝΕΣ ΑΠΟΦΑΣΕΩΝ ΕΙΔΟΣ ΥΠΟΘΕΣΕΩΣ Η0 Η1 ΚΑΝΟΝΑΣ ΑΠΟΦΑΣΕΩΣ: ΑΠΟΡΡΙΠΤΕΤΑΙ Η Η0 ΑΝ: ΔΙΠΛΕΥΡΗ β=β * β β * t >ta/,df ΜΟΝΟΠΛΕΥΡΗ (δεξιά) β β * β>β * t >ta,df ΜΟΝΟΠΛΕΥΡΗ (αριστερά) β β * β<β * t <-ta,df ta ή ta/ σημαίνει κρίσιμη τιμή της t κατανομής σε επίπεδο εμπιστοσύνης 100α Έλεγχος σημαντικότητας της παραμέτρου σ Όπως είδαμε σ (Ν-) ~ σ Χ (Ν-). Άρα σε επίπεδο σημαντικότητας 5% θα ισχύει: Pr{ 0,05 < (N )σ σ < Χ 0,975 }= =0,05 33

34 Δηλαδή το 95% διάστημα εμπιστοσύνης για την σ θα είναι από (Ν )σ μέχρι (Ν )σ Χ. 0,05 Χ 0,975 Ανάλυση διακύμανσης της απλής παλινδρόμησης Εφόσον β β σ/ ΣΧ i ~ Ν(0,1), τότε από Θεώρημα για Ν=1 : σ /Σχ ~ Χ 1, οπότε i υποθέτοντας ανεξαρτησία (παραλείπεται η απόδειξη) F= (β β) ΣΧ i ~ F(1,N-) (λόγω θεωρήματος 5) Σu /(N ) Ή για β=0 : F= β ΣΧ i Σu /(N ) ~ ESS/1 RSS/(N ) 34 (β β) Το F test είναι ιδιαίτερα χρήσιμο για την ανάλυση διακύμανσης η οποία φαίνεται αναλυτικά στον πίνακα που ακολουθεί: ΠΗΓΗ ΜΕΤΑΒΛΗΤΟΤΗΤΑΣ ΑΘΡΟΙΣΜΑ ΤΕΤΡΑΓΩΝΩΝ ΒΑΘΜΟΙ ΕΛΕΥΘΕΡΙΑΣ ΜΕΣΟ ΑΘΡΟΙΣΜΑ ΤΕΤΡΑΓΩΝΩΝ Χ ESS=Σ(Υ -Υ ) 1 ESS/1 ΚΑΤΑΛΟΙΠΑ RSS=Σu i N- RSS/(N-) Υ TSS=Σ(Y-Y ) N-1

35 Οι βαθμοί ελευθερίας δικαιολογούνται ως εξής: Για τον υπολογισμό του TSS έχουμε Ν τιμές Υi με τον περιορισμό ΣΥi=ΝΥ. Άρα οι Ν-1 τιμές μπορούν να είναι οποιεσδήποτε αλλά η Ν-οστή τιμή βρίσκεται απο τις Ν-1 τιμές και την περιοριστική συνθήκη. Για τα κατάλοιπα έχουμε περιορισμούς (από τις κανονικές εξισώσεις Σu =ΣΧu =0) άρα Ν- βαθμούς ελευθερίας. Τέλος για τα ESS έχουμε μόνο μια παράμετρο (καθώς ESS=β Σx i ) και επομένως 1 βαθμό ελευθερίας. Ο παρονομαστής της σχέσης για την κατανομή F(RSS/N-) θα μπορούσε να θεωρηθεί σαν ένα μέτρο για το «θόρυβο» που εμπεριέχεται στο σύστημα. Έτσι η επίδραση της Χ στην Υ θα μπορεί να ανιχνευτεί μόνο αν είναι μεγαλύτερη του θορύβου. Η «ανίχνευση» αυτή γίνεται με τη σύγκριση της δειγματικής τιμής F με την κρίσιμη Η0: όχι σημαντική επίδραση της Χ στην Υ δειγματική τιμή F> κρίσιμης τιμής F για το προεπιλεγμένο επίπεδο σημαντικότητας. Όπως όμως ήδη γνωρίζουμε η Η0 μπορεί να ελεγχθεί εξετάζοντας αν η τιμή του β είναι στατιστικά σημαντική. Στην πραγματικότητα για την περίπτωση της απλής παλινδρόμησης οι δύο στατιστικοί έλεγχοι είναι απόλυτα ισοδύναμοι. Πράγματι, για το t-test για το 5% επίπεδο σημαντικότητας απορρίπτουμε την Η0 αν β σ / ΣΧ i > t 0,05(N-) Για το F-test απορρίπτουμε την Η0 αν F= β ΣΧ i Σu Ν = β σ ΣΧ i > >F0,95 (1,N-) Επομένως, δειγματική τιμή F= (δειγματική τιμή t ) Επιπλέον από το Θεώρημα 6: κρίσιμη τιμή F =(κρίσιμη τιμή t) άρα οι δύο έλεγχοι είναι πράγματι ισοδύναμοι. Έλεγχος για το συντελεστή συσχετίσεως Γνωρίζουμε ήδη ότι: R = ESS/TSS άρα ESS=R TSS και RSS=TSS-ESS=(1-R )TSS. Επομένως από τη σχέση F= από Θεώρημα 6: ESS/1 (N ) RSS/(N ) =R 1 R και 35

36 t= R (N ). Το στατιστικό αυτό ακολουθεί την κατανομή του student με Ν- (1 R ) β.ε. Άρα για τον έλεγχο της Η0: R=0, βάζω στον παραπάνω τύπο τη δειγματική τιμή του R και συγκρίνω τη δειγματική τιμή του t με την κρίσιμη τιμή του t για προεπιλεγμένο επίπεδο σημαντικότητας και κατάλληλους β.ε. και αυτός ο έλεγχος είναι ισοδύναμος με τους δύο προηγούμενους. ΕΦΑΡΜΟΓΗ Σαν εφαρμογή στην εκτιμητική και συμπερασματολογία της απλής παλινδρόμησης θα χρησιμοποιηθούν τα δεδομένα του παρακάτω πίνακα (για παιδαγωγικούς λόγους χρησιμοποιούνται μόνο 5 ζεύγη τιμών Υi,i ): Χ Υ ΧΥ Χ Υ u =Υ-Υ u ,50-0,50 0, ,5 0,75 0, ,75 0,5 0, ,75-0,75 0, ,75 0,5 0,065 Άθροισμα: ,00 0 1,5 Οι κανονικές εξισώσεις θα είναι: ΣΥi=Nβ 1+β ΣΧi 40=5β 1+0β β 1=1 ΣΧiΥi=β 1ΣΧi+β ΣΧ i 30=0β 1+10β β =1,75 Πίνακας αποκλίσεων από μέσες τιμές: 36

37 x=χ-χ y=υ-υ xy x y ΑΘΡΟΙΣΜΑ Από τα αποτελέσματα του πίνακα αποκλίσεων έχουμε: β 1=Υ -β Χ = 8-1,75*4=1 β = Σxy Σx i = = 1,75 ESS=β Σxy= 1,75*70=1,5 TSS=Σy =14 RSS=TSS-ESS=14-1,5=1,5 R =ESS/TSS=0.988 ΥΠΟΛΟΓΙΣΜΟΣ σ, VAR(β 1), VAR(β ) σ =Σu / (Ν-)=1,5/(5-)=0,5 VAR(β 1)=0,5/40=0,015 VAR(β )= σ ( 1 Ν + Χ i Σx i )=0,5( )=1 40 =0,3 Άρα s.e (β 1)= 0, 3=0,5477, s.e(β )= 0, 015 0,1118 Για Ν=5 και 95% επίπεδο εμπιστοσύνης t0,05=3,18 Άρα το διάστημα εμπιστοσύνης 95% για τον β 1 θα είναι: 1±3,18*0,5477, δηλαδή απο -0,74 μέχρι,74 και για τον β θα είναι: 1,75±3,18*(0,1118) δηλαδή από 1,39 μέχρι,11. Παρατηρήστε ότι μέσα στο διάστημα εμπιστοσύνης για τον β 1 συμπεριλαμβάνεται και το μηδέν, άρα ο β 1 δεν είναι στατιστικά σημαντικός. Αντίθετα το διάστημα εμπιστοσύνης για τον β δεν περιέχει το μηδέν, άρα ο β είναι στατιστικά σημαντικός, πάντα για 95% επίπεδο εμπιστοσύνης. Ισοδύναμα στο ίδιο συμπέρασμα μπορούμε να καταλήξουμε και με το κλασσικό t-test για τους β 1, β : Πράγματι, για τον β 1: 37

38 β 1 = s.e.(β 1) 1 t = = 1,86 < 3,18 άρα 0,5477 β 1 όχι στατιστικά σημαντικός για το 95% επίπεδο εμπιστοσύνης. β = 1,75 s.e.(β ) Ομοίως για τον β : t = 15,7 > 3,18 άρα 0,1118 β στατιστικά σημαντικός για το 95% επίπεδο εμπιστοσύνης. ΣΗΜΕΙΩΣΗ: Παρατηρήστε ότι λόγω του πολύ μικρού μεγέθους του δείγματος η κρίσιμη τιμή για το t-test είναι σημαντικά μεγαλύτερη του. Διάστημα εμπιστοσύνης για το σ Θα έχουμε για το 95% διάστημα εμπιστοσύνης κατώτερη τιμή: (Ν )σ Χ = 3 0,5 0,975 9,35 = 0,16 και ανώτερη τιμή : (Ν )σ Χ = 3 0,5 0,05 0,16 = 6,94 Έλεγχος με το στατιστικό F ESS/1 F = = 1,5 =45,0. Με F0,95(1,3) = 10,1 απορρίπτεται η RSS/(N ) 1,5/3 Η0 (β =0) καθώς F>F0,95(1,3) Έλεγχος για το συντελεστή συσχετίσεως t = R N = 0, ,7 > 3,18 (1 R ) (1 0,988) Άρα ο R στατιστικά σημαντικός. Ισοδυναμία στατιστικών ελέγχων F = 45, 0 F = 45, 0 15, 7 t = β s.e.(β ) 15, 7 38

39 t = R N (1 R ) 15, 7 39