ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ, ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΠΡΟΓΡΑΜΜΑ ΠΡΟΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ ΜΕ ΕΙΔΙΚΕΥΣΗ ΣΤΟΝ ΤΟΜΕΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ.

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ, ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΠΡΟΓΡΑΜΜΑ ΠΡΟΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ ΜΕ ΕΙΔΙΚΕΥΣΗ ΣΤΟΝ ΤΟΜΕΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ. ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ " ΠΑΡΑΒΙΑΣΕΙΣ ΤΩΝ ΒΑΣΙΚΩΝ ΥΠΟΘΕΣΕΩΝ ΤΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΠΑΛΙΝΔΡΟΜΗΣΗΣ " ΜΑΡΙΑ Π. ΓΡΗΓΟΡΙΑΔΟΥ Επιβλέπων καθηγητής : ΚΟΣ ΦΙΛΙΠΠΟΣ ΑΛΕΒΙΖΟΣ ΠΑΤΡΑ, ΣΕΠΤΕΜΒΡΙΟΣ 014

2

3 " Το παρόν πόνημα αφιερώνεται στους γονείς μου για την αμέριστη συμπαράσταση τους στην ολοκλήρωση των σπουδών μου, και σε όλους όσους βοήθησαν και βοηθάνε με τον τρόπο τους στην επίτευξη των στόχων μου "

4

5 Ευχαριστίες : Με την ευκαιρία της ολοκλήρωσης της διπλωματικής μου εργασίας, θα ήθελα να ευχαριστήσω όλους τους καθηγητές του τμήματος Μαθηματικών του Πανεπιστημίου Πατρών για τη συμβολή τους στην απόκτηση πολύτιμων γνώσεων και εμπειριών. Ειδικότερα θα ήθελα να ευχαριστήσω τα μέλη της τριμελούς επιτροπής για το χρόνο που διέθεσαν στην εξέταση της διπλωματικής μου και τον επιβλέποντα καθηγητή κύριο Φίλιππο Αλεβίζο για την εμπιστοσύνη που μου έδειξε κατά την εκπόνηση της παρούσας εργασίας, αλλά και για τις πολύτιμες συμβουλές του για τη συγγραφή της. Τέλος, θα ήθελα να πω ένα μεγάλο ευχαριστώ στην οικογένειά μου και στους φίλους που στήριξαν και στηρίζουν πάντα τις επιλογές μου, βοηθώντας με τον τρόπο τους να πραγματοποιήσω τα όνειρά μου. i

6 ii

7 Σημαντικοί όροι : γραμμικό μοντέλο παλινδρόμησης, παραβιάσεις, διαταρακτικός όρος, πολυσυγγραμμικότητα, ετεροσκεδαστικότητα, αυτοσυσχέτιση. ΠΕΡΙΛΗΨΗ : Το στατιστικό μοντέλο είναι μία τυποποίηση στοχαστικών σχέσεων μεταξύ μεταβλητών σε μορφή μαθηματικών εξισώσεων με σκοπό την όσο το δυνατόν πιο ακριβή περιγραφή ενός συστήματος (φαινομένου ή γεγονότος). Σχεδόν σε κάθε σύστημα, υπάρχουν μεταβλητές ποσότητες που αλλάζουν. Ένα ενδιαφέρον ζήτημα είναι η μελέτη των επιδράσεων που αυτές οι μεταβλητές ασκούν (ή φαίνεται να ασκούν) πάνω σε άλλες. Η μελέτη αυτή είναι το αντικείμενο της ανάλυσης παλινδρόμησης, μίας ευρέως χρησιμοποιούμενης στατιστικής τεχνικής, την οποία χρησιμοποιούμε για να ανιχνεύσουμε και να μοντελοποιήσουμε σχέσεις και εξαρτήσεις μεταξύ μεταβλητών. Όταν οι σχέσεις μεταξύ των μεταβλητών είναι γραμμικές, προκύπτουν τα λεγόμενα γραμμικά παλινδρομικά μοντέλα. Τα στατιστικά μοντέλα παλινδρόμησης, βασίζονται σε κάποιες βασικές υποθέσεις, τις οποίες υποχρεούμαστε να ελέγχουμε πριν την ανάλυση του μοντέλου. Στην πράξη, όμως, οι υποθέσεις αυτές συχνά παραβιάζονται. Όταν δε, έχουμε να κάνουμε με δεδομένα του πραγματικού κόσμου, η παραβίαση των υποθέσεων αυτών είναι τόσο συχνή που αποτελεί στη συντριπτική πλειοψηφία τον κανόνα παρά την εξαίρεση. Η παρούσα διπλωματική εργασία πραγματεύεται το σημαντικότατο θέμα που ανακύπτει σε περιπτώσεις στις οποίες κάποιες από τις βασικές υποθέσεις που διέπουν το γραμμικό μοντέλο παλινδρόμησης παραβιάζονται. Σκοπός της εργασίας αυτής είναι : α)να αναλυθούν οι αιτίες που προκαλούν την κάθε παραβίαση και οι επιπτώσεις που έχει αυτή στο μοντέλο, β)να καταγραφούν οι βασικότεροι τρόποι ανίχνευσης των παραβιάσεων στο υπόδειγμα, γ)να βρεθούν τρόποι αντιμετώπισης των "προβληματικών καταστάσεων". Τα αποτελέσματα δείχνουν ότι ο συνδυασμός της καθεστηκυίας γνώσης (του θεωρητικού υποβάθρου) για το αντικείμενο και των σύγχρονων μεθόδων και ιδεών μπορούν να μειώσουν σημαντικά τις δυσμενείς επιπτώσεις που επιφέρουν οι παραβιάσεις των κανόνων στο μοντέλο, και παράλληλα μας επιτρέπει να "περισώσουμε" ικανοποιητικό ποσό πληροφορίας. iii

8 ΚΑΤΑΣΤΑΣΗ ΓΡΑΦΗΜΑΤΩΝ : ΣΧΗΜΑ 1 : Απλή γραμμική παλινδρόμηση...3 ΣΧΗΜΑ : Γραφική σύγκριση δειγμάτων με ετεροσκεδαστικότητα και ομοσκεδαστικότητα...4 ΣΧΗΜΑ.1 : Γράφημα ετεροσκεδαστικότητας...4 ΣΧΗΜΑ. : Γράφημα ομοσκεδαστικότητας...4 ΣΧΗΜΑ 3 : Σύγκριση γραφικών απεικονίσεων υποδειγμάτων με και χωρίς αυτοσυσχέτιση...39 ΣΧΗΜΑ 3.1 : Γραφική απεικόνιση υποδείγματος χωρίς αυτοσυσχέτιση...39 ΣΧΗΜΑ 3. : Γραφική απεικόνιση υποδείγματος όταν υπάρχει αυτοσυσχέτιση...39 ΣΧΗΜΑ 4 : Γράφημα όπου απεικονίζονται οι περιοχές αποδοχής, απόρριψης και η αβέβαιη περιοχή του κριτηρίου h του Durbin...44 iv

9 v

10 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ : Ευχαριστίες...i Περίληψη...iii Κατάσταση Γραφημάτων...iv ΚΕΦΑΛΑΙΟ 1 - ΠΡΟΚΑΤΑΡΚΤΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ 1.1 Εισαγωγή 1.1.1Τι είναι το μοντέλο Τι εννοούμε με τον όρο στατιστική μοντελοποίηση Δημιουργία μοντέλου Το απλό γραμμικό μοντέλο Εκτίμηση παραμέτρων του απλού γραμμικού μοντέλου Το πολλαπλό γραμμικό μοντέλο Εκτίμηση παραμέτρων του πολλαπλού γραμμικού μοντέλου Βασικές υποθέσεις της γραμμικής παλινδρόμησης Ερμηνεία του διαταρακτικου όρου Συμπεράσματα...1 Βιβλιογραφία κεφαλαίου...13 ΚΕΦΑΛΑΙΟ - ΠΟΛΥΣΥΓΓΡΑΜΙΚΟΤΗΤΑ.1 Εισαγωγή Τι είναι η πολυσυγγραμμικότητα Διαπίστωση και μέτρηση πολυσυγγραμμικότητας Αξιολόγηση της πολυσυγγραμμικότητας από τις ιδιοτιμές του πίνακα διασποράς Αξιολόγηση της πολυσυγγραμμικότητας από τον παράγοντα ανοχής Αξιολόγηση της πολυσυγγραμμικότητας από τον συντελεστή διόγκωσης διακυμάνσεως Αξιολόγηση της πολυσυγγραμμικότητας από τους δεσμευμένους δείκτες Συνέπειες της πολυσυγγραμμικότητας Κριτήριο Klein (ή πότε η πολυσυγγραμμικότητα είναι επιβλαβής) Εναλλακτικοί τρόποι αντιμετώπισης της πολυσυγγραμμικότητας Αύξηση του μεγέθους του δείγματος ή αλλαγή του δείγματος ή χρησιμοποίηση πρόσθετων πληροφοριών Η επιβολή γραμμικών περιορισμών Απαλοιφή κάποιων ερμηνευτικών μεταβλητών Μέθοδος Forward Μέθοδος Backward Η μέθοδος κλιμακωτής παλινδρόμησης Stepwise Η μέθοδος ραχοειδούς παλινδρομήσεως Η μέθοδος των Κύριων Συνιστωσών Αριθμός ερμηνευτικών μεταβλητών στο μοντέλο...0 Βιβλιογραφία κεφαλαίου... ΚΕΦΑΛΑΙΟ 3 - ΕΤΕΡΟΣΚΕΔΑΣΤΙΚΟΤΗΤΑ 3.1 Εισαγωγή...4 vi

11 3. Συνέπειες της ετεροσκεδαστικότητας Πότε ή που παρουσιάζεται με μεγαλύτερη συχνότητα το φαινόμενο της ετεροσκεδαστικότητας Αιτίες που προκαλούν ετεροσκεδαστικότητα Τρόποι διαπίστωσης της ετεροσκεδαστικότητας Διαγραμματικός έλεγχος Διαπίστωση ετεροσκεδαστικότητας με το συντελεστή συσχέτισης ρ του Spearman Έλεγχος με το κριτήριο Goldfeld-Quandt Έλεγχος Glejser Κριτήριο Breusch-Pagan-Godfrey (BPG) Ο έλεγχος με το κριτήριο White Εκτίμηση του υποδείγματος όταν έχουμε διαπιστώσει ετεροσκεδαστικότητα Εκτίμηση του υποδείγματος όταν το σ t είναι γνωστό Εκτίμηση του υποδείγματος όταν η ετεροσκεδαστικότητα σ t είναι άγνωστη αλλά υποθέτουμε τη μορφή της Εκτίμηση του υποδείγματος όταν εκτιμάμε τη συνάρτηση ετεροσκεδαστικότητας (το σ t και ο παράγοντας Ζt είναι άγνωστα...35 Βιβλιογραφία κεφαλαίου...37 ΚΕΦΑΛΑΙΟ 4 - ΑΥΤΟΣΥΣΧΕΤΙΣΗ 4.1 Εισαγωγή Τι είναι η αυτοσυσχέτιση Αιτίες που προκαλούν αυτοσυσχέτιση Αυτοσυσχέτιση πρώτης τάξης Συνέπειες της αυτοσυσχέτισης Τρόποι ανίχνευσης του προβλήματος της αυτοσυσχέτισης Διαγραμματική ανίχνευση της αυτοσυσχέτισης Έλεγχος με το κριτήριο Durbin - Watson Έλεγχος με τη στατιστική t Έλεγχος με το κριτήριο h του Durbin Έλεγχος με την κατανομή Χ (Breusch - Godfrey test) Έλεγχος με την κατανομή F Εκτίμηση του υποδείγματος όταν διαπιστωθεί η ύπαρξη αυτοσυσχέτισης Όταν είναι γνωστή η τιμή του συντελεστή αυτοσυσχετίσεως ρ Όταν η τιμή του ρ είναι άγνωστη Μέθοδος των δύο βημάτων Cochrane - Orcutt Μέθοδος Prais-Winsten Μέθοδος Hildreth-Lu (HILU)...48 Βιβλιογραφία κεφαλαίου...50 Συμπεράσματα-Επίλογος...51 Παράρτημα 1 (Κεφαλαίου 1) : Κανονική Κατανομή...5 Παράρτημα (Κεφαλαίου 3) : Αυτοπαλίνδρομα μοντέλα με δεσμευμένη ετεροσκεδαστικότητα..54 Βιβλιογραφία (αλφαβητικά)...57 vii

12 ΚΕΦΑΛΑΙΟ 1 : ΠΡΟΚΑΤΑΡΚΤΙΚΕΣ ΕΝΝΟΙΕΣ ΚΑΙ ΘΕΩΡΗΤΙΚΟ ΥΠΟΒΑΘΡΟ 1

13 1.1 Εισαγωγή : ΤΙ ΕΙΝΑΙ ΤΟ ΜΟΝΤΕΛΟ : Τα μοντέλα αποτελούν απλές, συμπυκνωμένες παραστάσεις πραγματικών καταστάσεων και χρησιμοποιούνται ευρέως τόσο στην επιστήμη όσο και στην τεχνολογία. Μεγάλο μέρος της στατιστικής θεωρίας βασίζεται σε αυτή την παραδοχή. Τα μοντέλα χωρίζονται σε δύο κατηγορίες : 1) Τα ντετερμινιστικά (ή αιτιοκρατικά) : Οι τιμές των μεταβλητών έχουν προσδιοριστεί εκ των προτέρων και δεν αποκλίνουν ( αν για παράδειγμα μελετάμε το βάρος ενός ατόμου συναρτήσει του ύψους του σε ένα πληθυσμό,θεωρούμε ότι άτομα με το ίδιο ύψος, αντιστοιχούν σε ίδια βάρη ) Είναι φανερό ότι τέτοιου είδους μοντέλα δεν ανταποκρίνονται απόλυτα στην πραγματικότητα. ) Τα πιθανοθεωρητικά (ή στοχαστικά) : Σ' αυτά εμπλέκεται η έννοια της μεταβλητότητας που προκύπτει από ποικίλους άγνωστους παράγοντες. Τα μοντέλα αυτά, στα οποία υπεισέρχεται η έννοια της πιθανότητας αποτελούν τα στατιστικά μοντέλα ΤΙ ΕΝΝΟΟΥΜΕ ΜΕ ΤΟΝ ΟΡΟ ΣΤΑΤΙΣΤΙΚΗ ΜΟΝΤΕΛΟΠΟΙΗΣΗ : Η στατιστική μοντελοποίηση αποτελεί ένα χρήσιμο μαθηματικό εργαλείο, το οποίο επιτρέπει στον ερευνητή μέσω μίας ενοποιημένης διαδικασίας, να απεικονίσει και να δώσει ερμηνεία σε απλές ή σύνθετες σχέσεις μεταξύ μεταβλητών που χαρακτηρίζουν καταστάσεις και φαινόμενα. Η δημιουργία κατάλληλου μοντέλου δίνει τη δυνατότητα εξαγωγής κρίσεων και συμπερασμάτων αναφορικά με την επίδραση κάθε μεταβλητής στο υπό μελέτη φαινόμενο και οδηγεί σε μεγάλο βαθμό στην κατανόηση του εν λόγω φαινομένου. [4] ΔΗΜΙΟΥΡΓΙΑ ΜΟΝΤΕΛΟΥ : Πολλές φορές έχουμε να αντιμετωπίσουμε προβλήματα σχετικά με την πρόβλεψη μίας -ή περισσότερων- μεταβλητών, δεδομένων των τιμών κάποιας (ή κάποιων) άλλων μεταβλητών. Η μεταβλητή, της οποίας ζητείται η πρόβλεψη -στην πράξη και στις περισσότερες περιπτώσεις είναι μία- ονομάζεται εξαρτημένη μεταβλητή -ή μεταβλητή απόκρισης- και συμβολίζεται συνήθως με Ψ, ενώ η μεταβλητή ή οι μεταβλητές των οποίων έχουμε δεδομένες τιμές, ονομάζονται ανεξάρτητες, ερμηνευτικές, ή επεξηγηματικές μεταβλητές, και συμβολίζονται με Χ i. Ένα μοντέλο αποτελείται από δύο παράγοντες: 1) Την κατανομή πιθανότητας της τυχαίας μεταβλητής Ψ (μεταβλητή απόκρισης) )Τη συναρτησιακή σχέση που συνδέει την αναμενόμενη τιμή της μεταβλητής απόκρισης Ψ με ένα γραμμικό συνδυασμό των επεξηγηματικών μεταβλητών Χ i. Η σχέση αυτή είναι της μορφής g [E ( Ψ )] = β 0 + β 1 X 1 + β Χ β n Χ n. (1.1) O παράγοντας του δευτερου μέλους της εξίσωσης ονομάζεται γραμμικός παράγοντας (linear component). 1. ΤΟ ΑΠΛΟ ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ: Θεωρούμε μία επεξηγηματική μεταβλητή, και υποθέτουμε ότι τόσο η εξαρτημένη όσο και η ανεξάρτητη μεταβλητή είναι ποσοτικές. Στόχος μας είναι να κατασκευάσουμε ένα μοντέλο, έστω Ψ=g(Χ), έτσι ώστε να είμαστε σε θέση μελλοντικά να προσδιορίσουμε την τιμή του Ψ δεδομένης της τιμής του Χ.

14 Τη συναρτησιακή μορφή της g(χ) την επιλέγουμε με βάση ένα τυχαίο δείγμα 1 (Ψ 1,Χ 1 ), (Ψ,Χ ),..., (Ψ n,x n ). Αν (y 1,x 1 ),..., (y n,x n ) οι παρατηρήσεις μας, μπορώ να εκτιμήσω τη συναρτησιακή μορφή της g με το να κατασκευάσω το λεγόμενο διάγραμμα διασποράς, δηλαδή το γράφημα των σημείων (x i,y i ). Αν το γράφημα παρουσιάζεται στη μορφή της εικόνας, ή σε ανάλογη, δηλαδή αν το νέφος των παρατηρήσεων τείνει να έχει γραμμική μορφή, υποδεικνύεται γραμμική σχέση μεταξύ των Ψ και Χ, και επομένως η g(x) θα πάρει τη μορφή g(x)=β 0 + β 1 x (1.) Σχήμα 1 (Πηγή :el.wikipedia.org) Στα στοχαστικά μοντέλα, δεδομένου ότι δε δουλεύουμε με το σύνολο του πληθυσμού, έχουμε ελλιπή πληροφορία. Επομένως, πιθανόν να καταλήξουμε σε κάποιο μοντέλο που να μην ικανοποιείται για πληθυσμιακά ζεύγη τιμών που δεν παρατηρήθηκαν στο δείγμα. Για να αντισταθμίσουμε την έλλειψη της πληροφορίας, προσθέτουμε ένα τυχαίο σφάλμα u t, το οποίο θεωρούμε ότι προέρχεται από γνωστή κατανομή με άγνωστες παραμέτρους. Επομένως το μοντέλο παίρνει τη μορφή : Ψ = g(x) + u t (1.3) 1.3 ΕΚΤΙΜΗΣΗ ΠΑΡΑΜΕΤΡΩΝ ΤΟΥ ΑΠΛΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ : Η γραμμή παλινδρομήσεως (regression line) στον πληθυσμό είναι η γραφική παράσταση της 1 Τυχαίο δείγμα ονομάζεται το δείγμα του πληθυσμού στο οποίο οι τυχαίες μεταβλητές είναι ανεξάρτητες μεταξύ τους και ισόνομες (έχουν δηλαδή την ίδια συνάρτηση κατανομής) Η τυχαία μεταβλητή u ονομάζεται,επίσης, και διαταρακτικός όρος λόγω του ότι διαταράσσει την προσδιοριστική σχέση μεταξύ της εξαρτημένης και της ανεξάρτητης μεταβλητής 3

15 γραμμικής σχέσης στην παλινδρόμηση απουσία του διαταρακτικού όρου. [1, σελ 1064] Εύκολα αποδεικνύεται ότι ισχύει η σχέση Ε(Ψ t ) = β 0 + β 1 Χ t. Η πληθυσμιακή γραμμή παλινδρομήσεως, όμως, μας είναι άγνωστη, δεδομένου του ότι δε γνωρίζουμε τις τιμές των συντελεστών β 0 και β 1. Επομένως, θα πρέπει να εκτιμήσουμε τις τιμές των παραμέτρων β 0 και β 1 από δείγμα παρατηρήσεων για τις μεταβλητές Χ και Ψ. Εκτιμώντας, λοιπόν,τις παραμέτρους του μοντέλου θα προκύψει η δειγματική γραμμή παλινδρομήσεως Ψ t = β 0 + β 1 Χ t (1.4), όπου Ψ t είναι η τιμή της μεταβλητής Ψ, υπολογισμένη από τη γραμμή παλινδρόμησης στο δείγμα. Προφανώς οι υπολογισμένες τιμές Ψ t δεν θα ταυτίζονται με τις πραγματικές τιμές Ψt από το δείγμα. H διαφορά των πραγματικών τιμών Ψ t από τις υπολογισμένες τιμές Ψ t,δηλαδή û t =Ψ t Ψ t (1.5), ονομάζεται κατάλοιπο (residual) ή απόκλιση, και θεωρείται εκτιμητής της άγνωστης τιμής του u t. [, σελ 19-0] Η εκτίμηση των συντελεστών μπορεί να γίνει με ποικίλες μεθόδους. Είθισται, όμως, να χρησιμοποιούμε τη απλούστερη μέθοδο που μας δίνει εκτιμητές με πολλές επιθυμητές ιδιότητες, τη μέθοδο των ελαχίστων τετραγώνων (least squares method). H μέθοδος αυτή, ουσιαστικά, προσφέρει την ιδανικότερη περιγραφή συνόλου παρατηρούμενων σημείων που γραφικά αναπαριστώνται από ευθεία γραμμή, διερχόμενη από την ιδανικότερη διαδρομή ανάμεσα σε σύνολο άτακτα διεσπαρμένων σημείων που εκφράζουν τις στατιστικές παρατηρήσεις. [1, σελ. 695] Οι εκτιμητές β 0 και β 1 που προκύπτουν από τη μέθοδο αυτή, είναι οι τιμές που T ελαχιστοποιούν τη συνάρτηση Φ = t=1 (Ψ t β 0 β T 1 Χ t ) = t=1 Από την ελαχιστοποίηση αυτής της συνάρτησης, προκύπτει ένα σύστημα δύο εξισώσεων με δύο αγνώστους -οι εξισώσεις αυτές ονομάζονται κανονικές εξισώσεις. Η επίλυση του συστήματος των κανονικών εξισώσεων μας δίνει τους εκτιμητές ελαχίστων τετραγώνων των παραμέτρων β 0 και β 1, που είναι οι εξής : u t (1.6) β 0 = T t=1 T X t Ψ t t=1 T Τ t=1 T t=1 T X t ( t=1 T X t X t Ψ t t=1 X t ) (1.7) [, σελ. 3,τύπος.13], και β 1 = T Τ t =1 T X t Ψ t T T t=1 t=1 T X t ( t=1 T X t Ψ t t=1 X t ) (1.8) [, σελ 3, τύπος.14] Εναλλακτικά, το β 0 μπορεί να υπολογιστεί από τη σχέση Ψ = β 0 + β 1 Χ (1.9), 4

16 ενώ το β 1 από κάποιον από τους εναλλακτικούς τύπους 3 : β 1 = ΧΨ Τ Χ Ψ Χ Τ Χ (1.10) [, σελ. 4,τύπος.17] ή β 1 = ( Χ Χ )(Ψ Ψ ) ( Χ Χ ) (1.11) [, σελ. 4, τύπος.18] ή β 1 = xy x (1.1) [, σελ. 4,τύπος.19], όπου x = X X, και y = Ψ Ψ οι αποκλίσεις των τιμών Χ και Ψ, αντίστοιχα από τους μέσους τους. Οι τυχαίες μεταβλητές x και y, που δηλώνουν αυτές τις αποκλίσεις,ονομάζονται κεντροποιημένες τυχαίες μεταβλητές. 1.4 ΤΟ ΠΟΛΛΑΠΛΟ ΓΡΑΜΜΙΚΟ ΜΟΝΤΕΛΟ : Στην περίπτωση της απλής γραμμικής παλινδρόμησης, επιχειρείται να εκτιμηθούν ή να προβλεφθούν οι τιμές της μεταβλητής απόκρισης Ψ, δεδομένων των τιμών της επεξηγηματικής μεταβλητής Χ. Η προγνωστική αξία του απλού γραμμικού υποδείγματος μπορεί να διερευνηθεί περαιτέρω, παρέχοντάς μας πιθανότατα μεγαλύτερο ποσό πληροφορίας, αν συμπεριλάβουμε σ' αυτό περισσότερες ερμηνευτικές μεταβλητές, που επιδρούν στην ερμηνευόμενη μεταβλητή. Η χρήση και η ερμηνεία του πολλαπλού γραμμικού μοντέλου παλινδρόμησης, είναι φυσική συνέπεια του απλού γραμμικού υποδείγματος. Στο πλαίσιο της πολλαπλής γραμμικής παλινδρόμησης, η μεταβλητή απόκρισης Ψ είναι συνεχής ποσοτική ενώ οι ερμηνευτικές μεταβλητές Χ i, i=1,,...,t, μπορούν να είναι συνεχείς ποσοτικές ή κατηγορικές υπό ορισμένες προϋποθέσεις. 4 (4) Κατ 'αναλογία με το απλό γραμμικό μοντέλο, το πολλαπλό γραμμικό υπόδειγμα θα είναι της μορφής : Ψ = g (X i ) + u t, με τη διαφορά, όμως, ότι εδώ η συναρτησιακή μορφή της g θα είναι β 0 + β 1 Χ t1 + β Χ t β Κ X tκ. Επομένως το υπόδειγμα της πολλαπλής γραμμικής παλινδρόμησης εκφράζεται από τη σχέση : Ψ t = β 0 + β 1 Χ t1 + β Χ t β Κ X tκ + u t (1.13), υπό την προϋπόθεση ότι η συναρτησιακή σχέση είναι γραμμική, για ένα δείγμα από Τ παρατηρήσεις. [, σελ 77, τύπος 3.1 ] T 3 Στο εξής θα παραλείπουμε το δείκτη t και ο συμβολισμός x θα συμβολίζεται απλά x. t=1 4 Bλ. Norusis (000) Διχοτομικές κατηγορικές μεταβλητές μπορούν να εισαχθούν στο μοντέλο της παλινδρόμησης άμεσα, αρκεί να υπάρχει κατάλληλη κωδικοποίηση των πληροφοριών (με 0 η μία και 1 η άλλη). Μπορούν, όμως, να είσαχθούν στο μοντέλο και κατηγορικές μεταβλητές με περισσότερες από δύο κατηγορίες αν χρησιμοποιήσουμε ψευδομεταβλητές (dummy variables). (4) Η χρησιμοποίηση της μεθόδου κατασκευής μίας ψευδομεταβλητής είναι συχνότατη στην Οικονομετρική Επιστήμη και είναι ένας τρόπος εισαγωγής μίας μεταβλητής για την οποία δεν έχουμε ποσοτικά δεδομένα στο μοντέλο. Με τον τρόπο αυτό, ποσοτικοποιούμε τη μεταβλητή χρησιμοποιώντας την αντίστοιχη ψευδομεταβλητή, η οποία συνίσταται στη χρήση του μηδέν σε περίπτωση που δεν υπάρχει το προς μελέτη χαρακτηριστικό, και στη χρήση της μονάδας σε περίπτωση που υπάρχει το ερευνούμενο χαρακτηριστικό. (1) 5

17 [ Εύκολα αποδεικνύεται, γενικεύοντας την ανάλυση της απλής παλινδρόμησης, ότι Ε(Ψ t ) = β 0 + β 1 Χ t1 + β Χ t β Κ X tκ (1.14) [, σελ. 77, τύπος 3.8] ΕΚΦΡΑΣΗ ΤΟΥ ΠΟΛΛΑΠΛΟΥ ΓΡΑΜΜΙΚΟΥ ΥΠΟΔΕΙΓΜΑΤΟΣ ΜΕΣΩ ΜΗΤΡΩΩΝ : Ο τύπος (1.13) μπορεί να γραφεί για λόγους συμμετρίας και ως ακολούθως (για ένα δείγμα Τ παρατηρήσεων): Ψ t = β 0 X t0 + β 1 Χ t1 + + β Κ X tκ + u t (1.13α) [, σελ. 77,τύπος 3.10],όπου Χ t0 = 1 για κάθε t=1,,...,t. Αφού η σχέση (1.13α) ισχύει για κάθε μία από τις Τ παρατηρήσεις, έχουμε το ακόλουθο σύστημα : Ψ 1 = β 0 X 10 + β 1 Χ β K X 1Κ + u 1 Ψ = β 0 X 0 + β 1 Χ β K X Κ + u... Ψ t = β 0 X t0 + β 1 Χ t1 + + β K X tκ + u t (1.14) [, σελ. 78, τύπος 3.11 ],... Ψ T = β 0 X Τ0 + β 1 Χ Τ1 + + β K X ΤΚ + u Τ και το σύστημα αυτό μπορεί να γραφεί με πίνακες ως εξής : [ Ψ 1 Ψ... Ψ Τ] = Χ 10 Χ Χ 1Κ Χ 0 Χ 1... Χ Κ Χ Τ0 Χ Τ1... Χ ΤΚ] [ β0 β 1... β Κ ] + [ u1 u... u T ] ή αλλιώς Ψ = Χβ + u (1.15) [, σελ. 78, τύπος 3.1], όπου έχουμε ότι : 6

18 Ψ 1 Ψ. Τ].. Ψ Τ 1. Ψ = [ είναι το διάνυσμα στήλης των τιμών της μεταβλητής απόκρισης με διάσταση Χ 10 Χ Χ 1Κ Χ 0 Χ 1... Χ Κ Χ =.... είναι ο πίνακας των τιμών των ανεξάρτητών μεταβλητών, Χ Τ0 Χ Τ1... Χ διάστασης Τ ( Κ +1). Τα ΤΚ] στοιχεία της πρώτης στήλης αυτού του πίνακα, τα χρησιμοποιούμε για λόγους συμμετρίας και είναι όλα ίσα με τη μονάδα. [ [ β = β0 β 1... είναι το διάνυσμα στήλης των παραμέτρων της γραμμικής παλινδρόμησης. Η ] β Κ διάσταση αυτού του διανύσματος είναι Κ 1. [ u1 u ] u=. είναι το διάνυσμα στήλης των τιμών του διαταρακτικού όρου. Η διάσταση του.. u T διανύσματος είναι Τ ΕΚΤΙΜΗΣΗ ΠΑΡΑΜΕΤΡΩΝ ΤΟΥ ΠΟΛΛΑΠΛΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ : Για την εκτίμηση των συντελεστών του πολλαπλού γραμμικού υποδείγματος, θα 7

19 χρησιμοποιήσουμε, όπως και στο απλό, τη μέθοδο ελαχίστων τετραγώνων. Θα αναζητήσουμε, λοιπόν, εκείνες τις τιμές των παραμέτρων που ελαχιστοποιούν τη συνάρτηση Φ= û t = ( Ψ t Ψ t ) = (Ψ t β 0 β 1 Χ t1 β Χ t... β Κ Χ tk ) (1.16) [, σελ. 79, τύπος 3.17] Αποδεικνύεται ότι οι κανονικές εξισώσεις μπορούν να γραφούν υπό μορφή πράξεων μεταξύ μητρώων ως εξής : ( Χ ' Χ ) β=χ ' Ψ =[,όπου έχουμε ότι Χ' είναι το ανάστροφο του Χ, β 0 β 1 Χ ' Ψ.. β=[ ] =[ Τ Χ 1... Χ Κ Χ 1 Χ 1, Χ ' Χ β Κ Ψ ΨΧ 1... ΨΧ Κ],... Χ 1 Χ Κ ] Χ Κ Χ 1 Χ Κ... Χ Κ Οι εκτιμητές των παραμέτρων του μοντέλου που προκύπτουν από τη μέθοδο των ελαχίστων τετραγώνων, δίνονται από την παρακάτω σχέση : β=( Χ ' Χ ) 1 ( Χ ' Ψ ) (1.17), όπου ( Χ ' Χ ) 1 είναι το αντίστροφο του μητρώου Χ'Χ [, σελ. 8, τύπος 3.3] Σύμφωνα με το θεώρημα Gauss - Markov, οι εκτιμητές των παραμέτρων β 0, β 1,..., β Κ που προκύπτουν από τη μέθοδο ελαχίστων τετραγώνων είναι άριστοι, γραμμικοί, και αμερόληπτοι, ενώ οι διακυμάνσεις και οι συνδιακυμάνσεις τους δίνονται από τη σχέση V ( β )=σ ( X ' X ) 1 (1.18). 1.6 ΒΑΣΙΚΕΣ ΥΠΟΘΕΣΕΙΣ ΤΗΣ ΓΡΑΜΜΙΚΗΣ ΠΑΛΙΝΔΡΟΜΗΣΗΣ 5 : Παρακάτω θα παρουσιαστούν οι βασικές υποθέσεις της πολλαπλής γραμμικής παλινδρόμησης. Οι αντίστοιχες ισχύουν και για το απλό γραμμικό υπόδειγμα, ως υποπερίπτωση του πολλαπλού με μία μόνο ερμηνευτική μεταβλητή. Οι υποθέσεις αυτές είναι οι εξής : (Υ1) Ο διαταρακτικός όρος u t είναι μία πραγματική τυχαία μεταβλητή. [5, σελ. 198] Δηλαδή οι όροι u t είναι συναρτήσεις με σύνολο τιμών το R και αντιστοιχίζουν σε κάθε σημείο του δειγματικού χώρου Ω έναν πραγματικό αριθμό. [6, σελ 187] (Υ) Οι μεταβλητές Ψ και Χ 1, Χ,..., Χ Κ συνδέονται με γραμμική σχέση της μορφής 5 Βλέπε Χρήστου (008) εισαγωγή στην οικονομετρία, σ.1. Ο όρος παλινδρόμηση, που πλέον έχει μόνο ιστορική σημασία, οφείλεται στον Francis Galton και αναφέρεται σε μία μελέτη του αναφορικά με τη σχέση ανάμεσα στο ύψος των τέκνων και το ύψος των γονέων. O Galton παρατήρησε ότι αν και υψηλοί γονείς έχουν υψηλά παιδιά και κοντοί γονείς έχουν κοντά παιδιά, το μέσο ύψος των παιδιών από γονείς με ένα δεδομένο ύψος έτεινε ή παλινδρομούσε προς το μέσο ύψος του πληθυσμού ως σύνολο. Ο Galton χαρακτήρισε την τάση αυτή ως παλινδρόμηση προς την μετριότητα (regression to mediocrity). Το συμπέρασμα αυτό βασίστηκε στο γεγονός ότι η ευθεία που παρίστανε τη σχέση ανάμεσα στο μέσο ύψος των παιδιών και το μέσο ύψος των γονιών, είχε κλίση μικρότερη από τη μονάδα. 8

20 Ψ t = β 0 X t0 + β 1 Χ t1 + + β Κ X tκ + u t, δηλαδή κάθε τιμή της μεταβλητής απόκρισης είναι γραμμική συνάρτηση των τιμών των μεταβλητών Χ t1,..., X tκ. [, σελ. 76] (Υ3) Οι επεξηγηματικές μεταβλητές δεν είναι στοχαστικές, οι τιμές τους παραμένουν σταθερές σε μία υποθετική διαδικασία επαναλαμβανόμενης δειγματοληψίας και για οποιαδήποτε δείγματα μεγέθους Τ, έχουν πεπερασμένες διακυμάνσεις, διάφορες του μηδενός. [5, σελ. 198] Η παραπάνω πρόταση σημαίνει ότι αν πάρουμε ένα μεγάλο αριθμό δειγμάτων μεγέθους Τ από ένα πληθυσμό για τις Ψ και Χ, τότε οι τιμές της Χ δε θα μεταβάλλονται από δείγμα σε δείγμα αλλά θα παραμένουν σταθερές παρά τις αλλαγές του διαταρακτικού όρου και της εξαρτημένης μεταβλητής Ψ. [, σελ. 76, 17] Επιπλέον, θεωρούμε την υπόθεση ότι οι τιμές της Χ δεν είναι όλες ίσες, επομένως η διακύμανση της Χ στο δείγμα δεν θα είναι μηδενική. [, σελ. 76, 18] (Υ4) Η μέση τιμή της μεταβλητής u t είναι ίση με 0, δηλαδή Ε(u t ) = 0 (4.19) για κάθε t, ή αλλιώς με μητρώα : [ u1 E ( u1) 0 u E ( u ) 0 Ε (u )=Ε... (1.0) [5, σελ. 198, τύποι 4.5. και 4.5.3] u T E ( u T ) 0]= 0 Τα παραπάνω σημαίνουν ότι η τυχαία μεταβλητή u t μπορεί να πάρει αρνητικές ή θετικές τιμές χωρίς κάποιο περιορισμό, υπό τον όρο, όμως, ότι κατά μέσο όρο το διάνυσμα των τιμών της θα είναι το μηδενικό διάνυσμα. ]=[ Συνέπεια της παραπάνω υπόθεσης είναι ότι : Ε(Ψ t ) = β 0 + β 1 Χ t1 + β Χ t β Κ X tκ. ]=[ (Υ5) Οι διαταρακτικοί όροι u t έχουν όλοι την ίδια διακύμανση σ. Ισχύει, δηλαδή, ότι : Var(u t ) = σ,και απο την (Υ4), αφού Ε(u t ) =0, θα έχουμε ότι Ε ( u t )=σ, για κάθε t (1.1) [5, σελ.199, τύπος 4.5.6] Το ότι η διασπορά των τυχαίων μεταβλητών u t παραμένει σταθερή για όλες τις τιμές των Χ t, δηλαδή δεν μεταβάλλεται όταν αλλάζουν οι τιμές των Χ t, σημαίνει ότι οι διαταρακτικοί όροι χαρακτηρίζονται από ομοσκεδαστικότητα. Αν η διακύμανση είναι σταθερή, ο διαταρακτικός όρος είναι ομοσκεδαστικός, ενώ αν η διακύμανση μεταβάλλεται, ο διαταρακτικός όρος είναι ετεροσκεδαστικός. [, σελ. 17] Από τα παραπάνω συνεπάγεται ότι : Var (Ψ t )=Ε [ Ψ t E (Ψ t ) ] =Ε ( u t )=σ (1.) [5, σελ. 199, τύπος 4.5.7] (Υ6) Δεν υπάρχει αυτοσυσχέτιση μεταξύ των διαταρακτικών όρων. [5, σελ. 199] Το παραπάνω σημαίνει ότι : Cov (u t, u s ) = E(u t - Eu t )(u s - Eu s ) = Eu t u s = 0, για κάθε t s (1.3), αφού Eu t = Eu s = 0, σύμφωνα με την (Υ4). [, σελ 17] 9

21 Από τα παραπάνω εξάγεται το συμπέρασμα ότι : Cov (Ψ t, Ψ s ) = E(Ψ t - EΨ t )(Ψ s - EΨ s ) = E(u t u s ) = 0, για κάθε t s [5, σελ. 199, τύπος 4.5.9] u1 Οι (Υ5) και (Υ6) μπορούν να γραφούν υπό μορφή μητρώων ως εξής : u1 u uu.. '=[ ] ]=[ u 1 u... u 1 u T u 1 u u... u u T ] [u1 u ut και )=[ u T u T u 1 u t u... u T Eu1 Eu 1 u... Eu 1 u T [ Eu 1 u Eu... Eu u T 1] Ε (uu ' ]=σ (1.4), που ονομάζεται Eu T u 1 Eu t u... Eu T μητρώο διακυμάνσεων - συνδιακυμάνσεων των διαταρακτικών όρων [5, σελ. 199, τύπος ] Ο παραπάνω τύπος μπορεί να γραφεί και στη μορφή : E (uu' )=σ Ι, όπου Ι ο ταυτοτικός πίνακας διαστάσεων Τ Τ. [5, σελ.199] (Υ7) Υπάρχει έλλειψη συσχέτισης μεταξύ των διαταρακτικών όρων και των επεξηγηματικών μεταβλητών, δηλαδή Cov(X t, u t ) = 0 (1.5) και συνεπώς Ε(X t u t ) = 0, αφού Εu t = 0, σύμφωνα με την (Υ4). [5, σελ 199] Η παραπάνω υπόθεση προκύπτει από την υπόθεση ότι η τυχαία μεταβλητή Χ δεν είναι στοχαστική, επόμένως, δεν σχετίζεται με το διαταρακτικό όρο. (Υ8) Υποθέτουμε ότι το μοντέλο παλινδρομήσεως που χρησιμοποιούμε είναι σωστά εξειδικευμένο. [5, σελ 00] (Υ9) Υποθέτουμε ότι οι ανεξάρτητες μεταβλητές Χ t, μετρώνται χωρίς σφάλματα. [5, σελ 00] (Υ10) Οι διαταρακτικοί όροι ακολουθούν την κανονική κατανομή 6 με παραμέτρους μέση τιμή ίση με το μηδέν και σταθερή διακύμανση ίση με σ, δηλαδή έχουμε u t N (0,σ ), για κάθε t (1.6). [5, σελ. 00, τύπος ] Αντίστοιχα σε μορφή μητρώων θα έχουμε ότι το διάνυσμα u ακολουθεί την πολυμεταβλητή κανονική κατανομή με παραμέτρους μέση τιμή το 0 και σταθερή διακύμανση σ Ι, δηλαδή 6 Βλέπε Παράρτημα 1 10

22 u N (0,σ Ι ) (1.7) [5, σελ. 00, τύπος ] Σύμφωνα με τα παραπάνω, προκύπτει ότι : Ψ Ν ( Χβ, σ Ι ) (1.8) [5, σελ. 00, τύπος ] (Y11) Δεν υπάρχουν ακριβείς σχέσεις γραμμικής μορφής μεταξύ οποιωνδήποτε επεξηγηματικών μεταβλητών. Αυτό σημαίνει ότι καμία από τις Κ επεξηγηματικές μεταβλητές δεν μπορεί να εκφραστεί ως γραμμικός συνδυασμός των υπολοίπων, δηλαδή, είναι αδύνατο να βρεθεί ένα σύνολο αριθμών λ 0, λ 1, λ,..., λ Κ, οι οποίοι να μην είναι όλοι ταυτόχρονα 0, έτσι ώστε να ισχύει η σχέση λ 0 + λ 1 Χ t λ Κ Χ tk = 0 για t=1,,..., T (1.9) [5, σελ.00, τύπος ] Η υπόθεση αυτή αποκλείει την ύπαρξη τέλειας πολυσυγγραμμικότητας μεταξύ των ερμηνευτικών μεταβλητών, ονομάζεται υπόθεση μη υπάρξεως συγγραμμικότητας. Αν ισχύει η ανωτέρω σχέση για σύνολα αριθμών που δεν είναι όλοι ταυτόχρονα 0, τότε λέμε ότι οι μεταβλητές του μοντέλου είναι συγγραμμικές. Αν ισχύει μόνο για λ 0 = λ 1 = λ =... = λ Κ = 0, τότε λέμε ότι οι ερμηνευτικές μεταβλητές είναι γραμμικά ανεξάρτητες ή μη συγγραμμικές. (Υ1) Ο αριθμός των παρατηρήσεων του δείγματος είναι μεγαλύτερος από των αριθμό των Κ+1 ερμηνευτικών μεταβλητών. Από τις υποθέσεις 11 και 1 συμπεραίνουμε ότι το μητρώο Χ είναι "πλήρους βαθμού", δηλαδή Κ+1, ίσου με τον αριθμό των στηλών του. Αν ο βαθμός του μητρώου Χ ήταν μικρότερος από Κ+1, τότε και ο βαθμός του Χ'Χ θα ήταν μικρότερος από Κ+1 στο σύστημα των κανονικών εξισώσεων. Επειδή, όμως, το μητρώο Χ'Χ είναι συμμετρικό και βαθμού Κ+1, δεν θα υπήρχε το αντίστροφο μητρώο ( Χ ' Χ ) 1, και εν τέλει θα υπήρχε αδυναμία εύρεσης λύσης στο σύστημα των κανονικών εξισώσεων. [5, σελ.01] Η υπόθεση αυτή, εξασφαλίζει τους απαραίτητους βαθμούς ελευθερίας τόσο για την εκτίμηση, όσο και για τον έλεγχο του γραμμικού υποδείγματος. Για την εκτίμηση του υποδείγματος, ο αριθμός των παρατηρήσεων θα πρέπει να είναι τουλάχιστον ίσος με τον αριθμό των παραμέτρων του, ενώ για να είναι δυνατός ο έλεγχος του μοντέλου με τις διάφορες στατιστικές συναρτήσεις ελέγχου, όπως η F και η t, των οποίων η κατανομή εξαρτάται από τους βαθμούς ελευθερίας, ο αριθμός των παρατηρήσεων θα πρέπει να είναι μεγαλύτερος από αυτόν των συντελεστών του υποδείγματος. 1.7 ΕΡΜΗΝΕΙΑ ΤΟΥ ΔΙΑΤΑΡΑΚΤΙΚΟΥ ΟΡΟΥ : Υπάρχουν δύο βασικοί λόγοι που δικαιολογούν την ύπαρξη του διαταρακτικού όρου u t : 1) Ας δούμε πάλι το παράδειγμα όπου η εξαρτημένη μεταβλητή είναι το βάρος και η ανεξάρτητη μεταβλητή είναι το ύψος. Γνωρίζουμε ότι ο βασικός προσδιοριστικός παράγοντας του βάρους ενός ατόμου είναι το ύψος του που καθορίζεται σε μεγάλο βαθμό από τα γονίδια, και επηρεάζεται εξίσου από δευτερογενείς παράγοντες όπως η διατροφή, η άσκηση, η ηλικία, κ.α. Προφανώς, δεν μπορούμε να συμπεριλάβουμε όλες τις μεταβλητές που επηρεάζουν το ύψος διότι ή δεν έχουμε γνώση όλων των παραγόντων, ή οι παράγοντες αυτοί δεν είναι στατιστικά μετρήσιμοι (π.χ ψυχολογικοί παράγοντες, το αστάθμητο της ανθρώπινης συμπεριφοράς), ή είναι φαινομενικά αμελητέοι συγκριτικά με τον παράγοντα της ανεξάρτητης μεταβλητής. Συμπεραίνουμε, λοιπόν, ότι οι αποκλίσεις από την ακριβή σχέση οφείλονται στην επίδραση των μεταβλητών που παραλείπονται. Αυτή την επίδραση παριστάνει ο διαταρακτικός όρος u t. [] )Ο δεύτερος λόγος ύπαρξης του διαταρακτικού όρου έγκειται στην αδυναμία μέτρησης των τιμών των μεταβλητών χωρίς σφάλματα. Ακόμα κι αν υπάρχει ακριβής θεωρητική σχέση που συνδέει τις 11

23 μεταβλητές, αναπόφευκτα θα υπάρχουν αποκλίσεις από αυτή που οφείλονται σε σφάλματα μέτρησης των τιμών των μεταβλητών. Ο διαταρακτικός όρος σε αυτή την περίπτωση παριστάνει αυτές τις αποκλίσεις από την ακριβή θεωρητική σχέση. [] 1.8 ΣΥΜΠΕΡΑΣΜΑΤΑ : Αναφέρθηκε, λοιπόν, ότι τα στατιστικά μοντέλα είναι κάθε ομάδα μαθηματικών και πιθανοθεωρητικών εξισώσεων που χρησιμοποιούνται για να περιγράψουν, να συνοψίσουν, και να ερμηνεύσουν καταστάσεις και φαινόμενα. Στο παρόν κεφάλαιο περιγράφεται συνοπτικά η χρήση (γενικών) γραμμικών μοντέλων, τα οποία είναι κανονικά και αναφέρονται, συνήθως, ως παλινδρομικά γραμμικά μοντέλα.τα μοντέλα αυτά είναι της μορφής Ψ = Χβ + u -στην περίπτωση των απλών μοντέλων το β εκφράζει μία παράμετρο και το Χ μία επεξηγηματική μεταβλητή, ενώ στα πολλαπλά το β εκφράζει διάνυσμα παραμέτρων, το Χ παριστάνει πίνακα μητρώο των επεξηγηματικών μετάβλητών, και το u παριστάνει το διάνυσμα των διαταρακτικών όρων. Για τα υπόλοιπα u ισχύει η σχέση u N (0,σ ).Ο διαταρακτικός όρος του μοντέλου είναι απλός και η κανονική κατανομή περιγράφεται πλήρως από τις παραμέτρους του μ και σ, ενώ στην πολυμεταβλητή παλινδρόμηση από το διάνυσμα μ των μέσων και τον πίνακα διακυμάνσεωνσυνδιακυμάνσεων. Οι εκτιμήσεις των συντελεστών του μοντέλου δίνονται από τη σχέση β=( Χ ' Χ ) 1 ( Χ ' Ψ ) και για τον υπολογισμό τους χρησιμοποιείται συνήθως η μέθοδος των ελαχίστων τετραγώνων, λόγω του ότι δίνει εκτιμητές με πολλές επιθυμητές ιδιότητες. Παρουσιάστηκαν και αιτιολογήθηκαν εν μέρει οι βασικές υποθέσεις της γραμμικής παλινδρόμησης και η ερμηνεία του διαταρακτικού όρου. Στα επόμενα κεφάλαια, θα παρουσιαστούν αναλυτικά οι περιπτώσεις κατά τις οποίες τρείς βασικές υποθέσεις παραβιάζονται δημιουργώντας τα προβλήματα της πολυσυγγραμμικότητας, της ετεροσκεδαστικότητας, και της αυτοσυσχέτισης και θα αναζητηθούν τρόποι αντιμετώπισης των "προβληματικών" καταστάσεων. 1

24 BΙΒΛΙΟΓΡΑΦΙΑ ΠΡΩΤΟΥ ΚΕΦΑΛΑΙΟΥ : 1 =Λεξικό της σύγχρονης οικονομίας θεωρητικής και εφαρμοσμένης (003) εκδόσεις Σταφυλίδη =Γεώργιος Κ. Χρήστου (008), Εισαγωγή στην Οικονομετρία, εκδόσεις Gutenberg, Γ' έκδοση. 3 =Δημήτριος Φουσκάκης (006),"Εισαγωγή στη Στατιστική", Μεταικπαιδευτικό σεμινάριο στην Ψυχοκοινωνική Αποκατάσταση - Ψυχοκοινωνικές Θεραπευτικές Προσεγγίσεις 4 =Δημήτριος Κ. Τσαφης (009), Μεταπτυχιακή διπλωματική εργασία με θέμα " Ιδιότητες υπολοίπων στην ανάλυση παλινδρόμησης ", αρχείο βιβλιοθήκης τμήματος Μαθηματικών Α.Π.Θ 5 =Αναστάσιος Κάτος, Οικονομετρία (004) (Θεωρία και εφαρμογές), εκδόσεις Ζυγός 6 =Μάρκος Β. Κούτρας (005), Εισαγωγή στις Πιθανότητες (Θεωρία και εφαρμογές), εκδόσεις Αθ. Σταμούλη, Πειραιάς. 7 = Draper N. και Smith H.(1997), Εφαρμοσμένη ανάλυση παλινδρόμησης (Μετάφραση : Χατζηκωνσταντινίδης Ε. και Καλαματιανού Α.), εκδόσεις Παπαζήση, Αθήνα. 8 = Κουνιάς Σ. και Μωυσιάδης Χ. (1995) Θεωρία πιθανοτήτων Ι, εκδόσεις Ζήτη, Θεσσαλονίκη. 9 =John Neter, Michael H. Kutner, Christopher J. Nachtsheim, William Wasserman (1996), Applied Linear Regression Models, published by The McGraw-Hill Companies 10 = A. C. Davison (003), "Statistical Models, Cambridge Series in Statistical and Probabilistic Mathematics ", Cambridge University Press 13

25 ΚΕΦΑΛΑΙΟ : ΠΟΛΥΣΥΓΓΡΑΜΙΚΟΤΗΤΑ 14

26 .1 Εισαγωγή : Στο προηγούμενο κεφάλαιο αναπτύχθηκε συνοπτικά το κλασικό γραμμικό υπόδειγμα και οι βασικές υποθέσεις του. Οι υποθέσεις, όμως, του γραμμικού μοντέλου είναι αρκετά περιοριστικές για την ανάλυση των οικονομετρικών σχέσεων και ως εκ τούτου στην πράξη συχνά παραβιάζονται δημιουργώντας έτσι σημαντικά προβλήματα στην εκτίμηση και αξιοπιστία των συμπερασμάτων. Τα προβλήματα αυτά και η αναζήτηση και ανάπτυξη εναλλακτικών τρόπων εκτίμησης αποτελούν τη μεθόριο γραμμή που διακρίνει την Οικονομετρία από τη Στατιστική. Στο κεφάλαιο αυτό θα ασχοληθούμε με το πρόβλημα που προκύπτει αν παραβιάσουμε την (Υ11) (και κατά συνέπεια την (Υ1)) θεωρώντας ότι υπάρχουν ακριβείς γραμμικές σχέσεις μεταξύ των ερμηνευτικών μεταβλητών (γνωστό ως το πρόβλημα της πολυσυγγραμμικότητας), θα μελετήσουμε τους κυριότερους τρόπους διαπίστωσης και ελέγχου της πολυσυγγραμμικότητας και τέλος θα παρουσιάσουμε τις πιο διαδεδομένες εναλλακτικές λύσεις για την αντιμετώπιση του προβλήματος.. ΤΙ ΕΙΝΑΙ Η ΠΟΛΥΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑ : Με τον όρο πολυσυγγραμμικότητα (multicollinearity) εννοούμε την ύπαρξη μίας ερμηνευτικής μεταβλητής Χ i, που είναι γραμμικά συσχετισμένη με μία άλλη επεξηγηματική μεταβλητή ή με γραμμικό συνδυασμό επεξηγηματικών μεταβλητών. Αποτελεί σύνηθες φαινόμενο, και εμφανίζεται συχνότερα αφ'ενός σε δεδομένα που λαμβάνονται από οικονομικές ή κοινωνικές μελέτες, λόγω της αλληλεξάρτησης που χαρακτηρίζει τις κοινωνικοοικονομικές σχέσεις, αφ'ετέρου δε όταν χρησιμοποιούνται χρονολογικές σειρές, γιατί οι οικονομικές μεταβλητές τείνουν να συμμεταβάλλονται διαχρονικά. Μπορούμε να έχουμε τρία είδη πολυσυγγραμμικότητας : α)την τέλεια, όπου υπάρχει πλήρης γραμμική συσχέτιση μεταξύ των ερμηνευτικών μεταβλητών, β) την ατελή, όπου υπάρχει πλήρης γραμμική συσχέτιση με την προσαύξηση μίας σταθεράς (είναι αυτή που βρίσκουμε συχνότερα στην πράξη), γ) παντελή έλλειψη πολυσυγγραμμικότητας, όπου έχουμε παντελή έλλειψη συσχέτισης μεταξύ των ερμηνευτικών μεταβλητών. Η πολυσυγγραμμικότητα είναι από τις κυριότερες αιτίες που ευθύνεται για την εξαγωγή λανθασμένων συμπερασμάτων στην ανάλυση του πολλαπλού γραμμικού μοντέλου, δεδομένου η ύπαρξή της συνεπάγεται αύξηση των τυπικών σφαλμάτων των συντελεστών παλινδρόμησης. Αν, δε, έχουμε ύπαρξη τέλειας (ή πλήρους) πολυσυγγραμμικότητας, ισχύει δηλαδή ότι X j =λ 0 + λ i X i (.1), τότε ο πίνακας Χ έχει βαθμό μικρότερο του Κ + 1. Επομένως και ο i j πίνακας Χ'Χ έχει βαθμό μικρότερο του Κ + 1 και θεωρείται ιδιάζων, άρα δεν υπάρχει ο αντίστροφος ( Χ ' Χ ) 1. Όσο περισσότερο προσεγγίζεται η ακραία περίπτωση της τέλειας πολυσυγγραμμικότητας, δημιουργούνται όλο και περισσότερα υπολογιστικά προβλήματα που απαιτούν λύσεις. [, 4].3 ΔΙΑΠΙΣΤΩΣΗ ΚΑΙ ΜΕΤΡΗΣΗ ΠΟΛΥΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ : Η πολυσυγγραμμικότητα αναφέρεται σε γραμμικές σχέσεις μεταξύ των επεξηγηματικών μεταβλητών του δείγματος (όχι του πληθυσμού). Δεδομένου του ότι η πολυσυγγραμμικότητα αποτελεί χαρακτηριστικό του κάθε δείγματος, δεν υπάρχει έλεγχός της με τη στατιστική έννοια, αλλά ο "έλεγχός" της έγκειται στη διαδικασία διαπίστωσης και μέτρησής της. Στην περίπτωση που στο γραμμικό υπόδειγμα υπάρχουν δύο επεξηγηματικές μεταβλητές, ένα επαρκές μέτρο του βαθμού της πολυσυγγραμμικότητας είναι ο απλός συντελεστής γραμμικής συσχέτισης μεταξύ των δύο επεξηγηματικών μεταβλητών. Όταν, όμως, οι ερμηνευτικές μεταβλητές του υποδείγματος 15

27 υπερβαίνουν τις δύο σε αριθμό, ο συντελεστής γραμμικής συσχέτισης δεν αποτελεί ικανοποιητικό μέτρο του βαθμού της πολυσυγγραμμικότητας, καθώς υπάρχει περίπτωση να έχουμε χαμηλή τιμή των συντελεστών συσχετίσεως r ij, για i j, όμως, παρόλα αυτά το δείγμα να χαρακτηρίζεται από μεγάλο βαθμό πολυσυγγραμμικότητας. Θα μελετήσουμε, τώρα, μερικούς ευρέως χρησιμοποιούμενους δείκτες για τη μέτρηση της έντασης της γραμμικής σχέσης μεταξύ των ερμηνευτικών μεταβλητών. Η αξιολόγηση της πολυσυγγραμμικότητας μπορεί να γίνει από τους παρακάτω δείκτες :.3.1 Αξιολόγηση της πολυσυγγραμμικότητας από τις ιδιοτιμές (eigenvlues) του πίνακα συνδιασποράς. Όσο πιο κοντά στο μηδέν είναι οι ιδιοτιμές του πίνακα συνδιασποράς, τόσο υψηλότερη συσχέτιση υπάρχει μεταξύ των ερμηνευτικών μεταβλητών Χ i. Ένας πίνακας με μεγάλες εσωτερικές συσχετίσεις μεταξύ των μεταβλητών του ονομάζεται ill-conditioned matrix (ή πίνακας κακής κατάστασης)..3. Αξιολόγηση της πολυσυγγραμμικότητας από τον παράγοντα ανοχής (tolerance factor) ή συντελεστή ανεκτικότητας (tolerance coefficient). Ο παράγοντας αυτός ορίζεται ως TOLj=1 R j (.), όπου R j παριστάνει το συντελεστή προσδιορισμού ανάμεσα στην ερμηνευτική μεταβλητής j και σ 'όλες τις άλλες που υπάρχουν στο υπόδειγμα. Ο παράγοντας ανοχής παίρνει τιμές στο διάστημα από 0 εώς 1 και εκφράζει το ποσοστό της μεταβλητότητας (διασποράς) μίας ερμηνευτικής μεταβλητής που μένει ανερμήνευτό από τη γραμμική σχέση της συγκεκριμένης μεταβλητής με τις υπόλοιπες του γραμμικού παλινδρομικού μοντέλου. Προφανώς όταν η τιμή του εν λόγω παράγοντα ανοχής TOL μίας επεξηγηματικής μεταβλητής Χ i βρίσκεται κοντά στη μονάδα, τότε ελάχιστο ποσοστό της μεταβλητότητας της εξηγείται από τις υπόλοιπες ερμηνευτικές μεταβλητές του μοντέλου, συνεπώς δεν υπάρχει ιδιαίτερο πρόβλημα πολυσυγγραμμικότητας. Αν αντιθέτως ο παράγοντας ανοχής μίας επεξηγηματικής μεταβλητής βρίσκεται κοντά στο 0, τότε αυτή μπορεί να γραφεί ως γραμμικός συνδυασμός των υπόλοιπων Χ i, και επομένως υφίσταται έντονο το πρόβλημα της πολυσυγγραμμικότητας. [, 4].3.3 Αξιολόγηση της πολυσυγγραμμικότητας από τον συντελεστή διόγκωσης της διακυμάνσεως ή παράγοντα πληθωριστικής διασποράς (variance inflation factor) ή VIF. Ο παράγοντας VIF ορίζεται ως ο αντίστροφος του συντελεστή ανεκτικότητας TOL. Γνωρίζουμε ότι TOLj=1 R j, άρα VIF j = 1 (.3) 1 R j Όσο αυξάνει ο VIF, τόσο αυξάνεται και η διασπορά του αντίστοιχου συντελεστή παλινδρόμησης, επομένως ο VIF εκφράζει την ταχύτητα με την οποία αυξάνεται η διακύμανση ενός εκτιμητή όταν υπάρχει πολυσυγγραμμικότητα Αξιολόγηση της πολυσυγγραμμικότητας από τους δεσμευμένους δείκτες (condition indexes). Ας υποθέσουμε ότι έχουμε έναν πίνακα συνδιασποράς με τις ιδιοτιμές του. Αν σχηματίσουμε το λόγο της μεγαλύτερης ιδιοτιμής του πίνακα με την ελάχιστη ιδιοτιμή και στη συνέχεια υπολογίσουμε την τετραγωνική ρίζα αυτού του πηλίκου προκύπτει ο δείκτης καταστάσεως (condition index) ή CI, o οποίος προτάθηκε ως γενικό μέτρο διακρίβωσης της 7 Κατά την άποψη του Myers (1990) "Αν ο VIF ξεπερνά την τιμή 10, τότε έχουμε λόγους να ανησυχούμε για την παλινδρομική μας ανάλυση. 16

28 πολυσυγγραμμικότητας 8. Όσο μεγαλύτερη η τιμή του δείκτη CI, τόσο μεγαλύτερο αναμένεται να είναι το πρόβλημα πολυσυγγραμμικότητας των δεδομένων μας, και αντίστροφα. Αν ο δείκτης κυμαίνεται μεταξύ των τιμών 10 και 30, έχουμε πολυσυγγραμμικότητα που θα μπορούσε να χαρακτηριστεί μέτρια εώς ισχυρή, ενώ αν η τιμή του δείκτη CI υπερβαίνει τον αριθμό 30, έχουμε σοβαρό πρόβλημα πολυσυγγραμμικότητας. [, 4].4 ΣΥΝΕΠΕΙΕΣ ΤΗΣ ΠΟΛΥΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ : Όταν διαγνωστεί πρόβλημα πολυσυγγραμμικότητας, η έρευνά μας αντιμετωπίζει σοβαρά προβλήματα με τις ακόλουθες συνέπειες : (α) Οι διακυμάνσεις των συντελεστών μπορούν να αυξηθούν τείνοντας στο άπειρο, με συνέπεια την αστάθεια της εξίσωσης παλινδρόμησης (ανακρίβεια των συντελεστών παλινδρόμησης) (β) Καθίσταται ασαφής και δυσδιάκριτη η συμβολή, η επίδραση και η αποτελεσματικότητα της κάθε ερμηνευτικής μεταβλητής στο μοντέλο, καθώς η ορίζουσα του μητρώου Χ'Χ είναι μηδέν, άρα δεν υπάρχει αντίστροφο μητρώο ( Χ ' Χ ) 1, επομένως οι συντελεστές παλινδρόμησης είναι απροσδιόριστοι. (γ) Υφίσταται η πιθανότητα ύπαρξης σφάλματος εξειδίκευσης, που δημιουργείται λόγω λανθασμένης εξειδίκευσης του υποδείγματος (θα αναλυθεί σε επόμενο κεφάλαιο). Ο σημαντικότερος έλεγχος στο πολλαπλό γραμμικό μοντέλο παλινδρόμησης είναι ο έλεγχος για ύπαρξη ή μη πολυσυγγραμμικότητας. Είναι φανερό ότι η πολυσυγγραμμικότητα μας παρέχει μία θολή και πολλές φορές πλαστή εικόνα του μοντέλου. Είναι, λοιπόν, αναγκαίο, πριν από τον όποιο έλεγχο των υποθέσεων του παλινδρομικού μοντέλου, να ελέγχουμε την ύπαρξη συγγραμμικότητας στα δεδομένα μας, και σε περίπτωση που υφίσταται να βρούμε τρόπους να την εξαλείψουμε για να ικανοποιήσουμε τη θεμελιακή παραδοχή για απουσία συγγραμμικότητας. 9 [,4].5 ΚΡΙΤΗΡΙΟ KLEIN ( Ή ΠΟΤΕ Η ΠΟΛΥΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑ ΕΙΝΑΙ ΕΠΙΒΛΑΒΗΣ) : Θα αναφέρουμε ενδεικτικά ένα κριτήριο γνωστό και ως "κανόνας του Klein" για τη διαπίστωση του πότε η πολυσυγγραμμικότητα μπορεί να καταστεί επιβλαβής. Σύμφωνα με αυτό το κριτήριο, η πολυσυγγραμμικότητα είναι επιβλαβής αν R y1..k r ij για i j (.4), δηλαδή αν ο συντελεστής πολλάπλού προσδιορισμού είναι μικρότερος από τους συντελεστές απλού προσδιορισμού μεταξύ των ερμηνευτικών μεταβλητών. Δεδομένου, όμως, του ότι οι συντελεστές απλής συσχέτισης μπορεί να είναι χαμηλοί και στο δείγμα υπάρχει πολυσυγγραμμικότητα, η σύγκριση είναι δυνατό να γίνει με τους συντελεστές πολλαπλού προσδιορισμού, δηλαδή R y1..k r i1...j για i j (.5), όπου r i1...j ο συντελεστής προσδιορισμού μεταξύ της i και των άλλων επεξηγηματικών μεταβλητών. 10 Να σημειωθεί ότι δεν υπάρχουν σαφή κριτήρια που εξετάζουν πότε η πολυσυγγραμμικότητα αποδεικνύεται επιβλαβής, αφού, συνήθως, τα δείγματα που χρησιμοποιούνται στην Οικονομετρία, έχουν πάντοτε κάποιο βαθμό πολυσυγγραμμικότητας. Συνεπώς και το κριτήριο του Klein δεν είναι 8 Βλ. Besley-Kuh-Welsch (1980) 9 Να σημειωθεί ότι η ύπαρξη πολυσυγγραμμικότητας δεν επηρεάζει τις ιδιότητες των εκτιμητών που λαμβάνονται από τη μέθοδο ελαχίστων τετραγώνων και οι οποίοι εξακολουθούν να είναι άριστοι, γραμμικοί και αμερόληπτοι. 10 Βλ. Glauber -Farrar (1967), Maddala (1977) 17

29 ικανοποιητικό. Ο σκοπός για τον οποίο θέλουμε να εκτιμήσουμε το υπόδειγμα επιδρά σε μεγάλο βαθμό και καθορίζει τη σοβαρότητα του προβλήματος της πολυσυγγραμμικότητας. Για παράδειγμα, το πόσο "καλό" είναι το υπόδειγμα μας για προβλέψεις, δεν επηρεάζεται αν η ίδια γραμμική σχέση εξάρτησης που υπάρχει μεταξύ των ερμηνευτικών μεταβλητών εξακολουθήσει να υπάρχει και στην περίοδο που γίνεται η πρόβλεψη. [,4].6 ΕΝΑΛΛΑΚΤΙΚΟΙ ΤΡΟΠΟΙ ΑΝΤΙΜΕΤΩΠΙΣΗΣ ΤΗΣ ΠΟΛΥΣΥΓΓΡΑΜΜΙΚΟΤΗΤΑΣ : Λόγω των σοβαρών προβλημάτων που προκαλεί η πολυσυγγραμμικότητα στην εκτίμηση και αξιοπιστία των αποτελεσμάτων, καθίσταται αναγκαίο να βρεθούν τρόποι εξάλειψης της από τα δεδομένα. Μερικές από τις εναλλακτικές λύσεις παρουσιάζονται παρακάτω..6.1 Αύξηση του μεγέθους του δείγματος ή αλλαγή του δείγματος ή χρησιμοποίηση πρόσθετων πληροφοριών : Αφού η πολυσυγραμμικότητα χαρακτηρίζει αποκλειστικά το δείγμα, έπεται ότι αν αυξήσουμε το δείγμα όπου είναι εφικτό, πιθανότατα θα έχουμε διόρθωση του προβλήματος που δημιουργεί. Το ίδιο αποτέλεσμα μπορούμε να πετύχουμε και με αντικατάσταση του δείγματος με πολυσυγγραμμικότητα με κάποιο άλλο δείγμα, αν παρέχεται αυτή η δυνατότητα. Τέλος, μπορούμε να απαλείψουμε την πολυσυγγραμμικότητα από το δείγμα με χρησιμοποίηση κάποιων πρόσθετων πληροφοριών, οι οποίες μπορούν να ληφθούν είτε από την οικονομική θεωρία είτε από ορισμένα άλλα δείγματα και μπορεί να αφορούν τις τιμές παραμέτρων, το λόγο τους, κοκ. Οι παράμετροι μπορεί να υπολογίζονται είτε από στοιχεία χρονολογικών σειρών, είτε από διαστρωματικά στοιχεία. 11 [, 1].6. Η επιβολή γραμμικών περιορισμών : π.χ. Αν για τη συναρτηση παραγωγής τύπου Cobb-Douglas Q= β 0 L β 1 Κ β (.6) ισχύει ότι β 1 + β =1 (.7), δηλαδή έχει σταθερές αποδόσεις, τότε Q '= β 0 L ' β 1 (.8), όπου Q '=Q / K και L '= L/ K, και συνεπώς εξαλείφεται το πρόβλημα της πολυσυγγραμικότητας. [ σελ. 10].6.3 Απαλοιφή κάποιων ερμηνευτικών μεταβλητών : Αν δεν είναι δυνατό να εφαρμόσουμε κάποια από τις παραπάνω λύσεις, μπορούμε να "μικρύνουμε" το υπόδειγμα αξιοποιώντας τα στοιχεία που μας διατίθενται, ελαττώνοντας, δηλαδή, το μέγεθος των δεδομένων, αφού το πρόβλημά μας έγκειται στην αδυναμία προσδιορισμού του συνόλου των συντελεστών του υποδείγματος με το συγκεκριμένο αριθμό πληροφοριών. Ο συνηθέστερος τρόπος για την εξάλειψη του προβλήματος της πολυσυγραμμικότητας είναι η απαλοιφή, ή διαγραφή από τη συνάρτηση παλινδρόμησης των μεταβλητών που είναι συγραμμικές. Δεν είναι, όμως, εύκολο να αντιληφθούμε ποιες είναι οι μεταβλητές που πρέπει να απαλειφθούν. Σε περίπτωση που επιλέξουμε να απαλείψουμε τη "λάθος" μεταβλητή, εισάγουμε το σφάλμα 11 Έχουμε δύο ειδών κατηγορίες στατιστικών παρατηρήσεων για τους συντελεστές της παλινδρόμησης : Τις χρονολογικές σειρές, που αναφέρονται σε διαχρονικές παρατηρήσεις (για σειρά ετών ή μηνών ή ημερών, κοκ) για μία οικονομική μονάδα, και τα διαστρωματικά στοιχεία, που αναφέρονται σε παρατηρήσεις σε μία δεδομένη χρονική στιγμή για έναν αριθμό οικονομικών μονάδων, όπως π.χ. το εισόδημα για ένα δείγμα οικογενειών σε ένα μήνα. () 18

30 εξειδικεύσεως 1, που συνεπάγεται μεροληπτικούς εκτιμητές. Εν ολίγοις, διορθώνουμε ένα πρόβλημα για να δημιουργήσουμε ένα άλλο, ίσως και χειρότερο από το προηγούμενο. Για το λόγο αυτό, υπάρχει και η άποψη να αποδεχτούμε ως δεδομένο, πραγματικό γεγονός την αδυναμία μας να ξεχωρίσουμε με ακρίβεια τις επιδράσεις των ερμηνευτικών μεταβλητών και να αναζητήσουμε άλλες λύσεις που δεν αλλάζουν ούτε το υπόδειγμα ούτε τα δεδομένα Μέθοδος Forward : Η μέθοδος αυτή εφαρμόζεται ανεξάρτητα με το πόσες επεξηγηματικές μεταβλητές έχουμε. Την εφαρμόζουμε αρχικά σε μοντέλο που έχει μόνο σταθερό όρο (intercept) και σε κάθε επόμενο βήμα της μεθόδου, εισάγουμε στο μοντέλο μία επιπλέον ερμηνευτική μεταβλητή, πράγμα που συνεπάγεται αύξηση του συντελεστή πολλαπλού προσδιορισμού R. H μεταβολή στην τιμή του R θεωρείται σημαντική αν η μηδενική υπόθεση του ελέγχου H 0 : Η πραγματική αλλαγή στο R είναι ίση με 0, έναντι της Η 1 : διαφορετικά απορρίπτεται για επίπεδο σημαντικότητας α που επιλέγουμε. Αν, σε κάποιο βήμα, το επίπεδο σημαντικότητας που παρατηρούμε, είναι μικρότερο από αυτό που επιλέξαμε, η ερμηνευτική μεταβλητή επιλέγεται να εισαχθεί στο μοντέλο. Η διαδικασία σταματάει όταν δεν υπάρχουν πλέον άλλες επεξηγηματικές μεταβλητές που να μπορούν να αυξήσουν αισθητά την τιμή του R. [4].6.5 Μέθοδος Backward : Η μέθοδος αυτή εφαρμόζεται ανεξάρτητα με το πόσες επεξηγηματικές μεταβλητές έχουμε. Εφαρμόζεται αρχικά σε μοντέλο που περιλαμβάνει όλες τις ερμηνευτικές μεταβλητές, και σε κάθε βήμα αφαιρεί τη μεταβλητή εκείνη που επιφέρει τη μικρότερη μεταβολή στο συντελεστή πολλαπλού προσδιορισμού R. Η μεταβολή του R θεωρείται σημαντική αν η μηδενική υπόθεση του ελέγχου H 0 : Η πραγματική αλλαγή στο R είναι ίση με 0, έναντι της Η 1 : διαφορετικά δεν απορρίπτεται για επίπεδο σημαντικότητας α που εμείς επιλέγουμε. Επομένως, αν, σε κάποιο βήμα, το επίπεδο σημαντικότητας που παρατηρούμε, είναι μεγαλύτερο από αυτό που καθορίσαμε, τότε η μηδενική υπόθεση θεωρείται αποδεκτή και η ερμηνευτική μεταβλητή διαγράφεται από το μοντέλο μας. Η διαδικασία τερματίζεται όταν δεν υπάρχουν πλέον άλλες ερμηνευτικές μεταβλητές που μεταβάλλουν στο ελάχιστο την τιμή του R. [4].6.6 Η μέθοδος κλιμακωτής παλινδρόμησης Stepwise : Η μέθοδος Stepwise αποτελεί συνδυασμό των μεθόδων Forward και Backward. Η διαδικασία 1 Δημιουργείται από λανθασμένη εξειδίκευση του υποδείγματος. Η εξειδίκευση του υποδείγματος αναφέρεται αφ'ενός μεν στη διατύπωση της εξίσωσης παλινδρόμησης, αφ'ετέρου δε στη διατύπωση των σχετικών υποθέσεων για τις ερμηνευτικές μεταβλητές και το διαταρακτικό όρο. Συνήθως ο όρος σφάλμα εξειδικεύσεως χρησιμοποιείται για να περιγράψει τα σφάλματα που δημιουργούνται από λανθασμένη διατύπωση της εξίσωσης παλινδρόμησης, όπως, για παράδειγμα, αν παραλείπεται κάποια σημαντική μεταβλητή, ή αν χρησιμοποιείται γραμμικό υπόδειγμα, ενώ η πραγματική παλινδρόμηση στον πληθυσμό έχει μη γραμμική μορφή. [] 13 Κατά τον Leamer (1983), είναι προτιμότερο να το αποδεχτούμε, παρά να προβαίνουμε σε ad hoc θεραπείες όπως η κλιμακωτή παλινδρόμηση (stepwise regression) και η ραχοειδής παλινδρόμηση (ridge regression), οι οποίες μπορεί και να μην είναι οι πλέον κατάλληλες για την αποτελεσματική αντιμετώπιση του προβλήματός. 19

31 ξεκινάει όπως η μέθοδος Forward εισάγοντας στο μοντέλο τις δύο πρώτες μεταβλητές σύμφωνα με το κριτήριο που πρέπει να ικανοποιείται για την είσοδο μίας μεταβλητής στο μοντέλο, και αναζητά αν κάποια από αυτές τις μεταβλητές ικανοποιεί το κριτήριο (σύμφωνα με τη μέθοδο Backward ) για την έξοδο από το μοντέλο. Για να εισαχθεί μία μεταβλητή στο μοντέλο, θα πρέπει να θεωρείται σημαντική. Αν κάποια πληροί τις προϋποθέσεις εξόδου, αποβάλλεται από το μοντέλο. Η διαδικασία επαναλαμβάνεται για την είσοδο νέας μεταβλητής, η οποία ελέγχεται εκ νέου σύμφωνα με τα κριτήρια εισόδου και εξόδου, κοκ. Τα κριτήρια για είσοδο ή έξοδο μίας μεταβλητής από το μοντέλο, λειτουργούν με πιθανότητες, που αντιστοιχούν σε τιμές της στατιστικής F, ενώ το επίπεδο σημαντικότητας για το κάθε κριτήριο (είτε εισόδου, είτε εξόδου) επιλέγεται αυθαίρετα. Η διαδικασία τερματίζεται αν το επίπεδο σημαντικότητας που επιλέχθηκε για την είσοδο είναι μικρότερο από εκείνο που επιλέχθηκε για την έξοδο μίας μεταβλητής από το μοντέλο. [4, 5].6.7 Η μέθοδος ραχοειδούς παλινδρομήσεως (ridge regression) : Στη μέθοδο αυτή αντί του μητρώου (Χ'Χ) χρησιμοποιούμε το (Χ'Χ + λι), όπου λ κάποιος μικρός αριθμός. Με την προσθήκη αυτής της σταθεράς λ τις διακυμάνσεις των συντελεστών παλινδρόμησης, μειώνεται ο συντελεστής συσχέτισης μεταξύ των επεξηγηματικών μεταβλητών, δηλαδή ο r ij για i j. Οι εκτιμητές που προκύπτουν με αυτή τη μέθοδο, δεν είναι αμερόληπτοι. Υπάρχει, όμως, πάντα μία τιμή του λ>0 που καθιστά το μέσο τετραγώνου σφάλματος (MSE) των εκτιμητών που προκύπτουν με αυτή τη μέθοδο, μικρότερο από το αντίστοιχο MSE χωρίς την τροποποίηση του μητρώου (X'X) με προσθήκη του λ. Επειδή το λ εκφράζεται συναρτήσει άγνωστων παραμέτρων, επιλέγεται αυθαίρετα εκείνη η τιμή του για την οποία οι μεταβλητές της παλινδρόμησης φαίνονται να έχουν "λογικές τιμές". Λόγω αυτής της αυθαίρετης επιλογής, η μέθοδος θεωρείται υποκειμενική και κατά πολλούς μη αποδεκτή. [, 5].6.8 Η μέθοδος των Κύριων Συνιστωσών : Η μέθοδος αυτή αποτελεί στατιστική διαδικασία και συνίσταται στην κατασκευή Κ νέων γραμμικά ασυσχέτιστων μεταβλητών Ζ 1, Ζ,..., Ζ Κ, που εκφράζονται ως γραμμικοί συνδυασμοί των παλαιών Χ i, για να αντικαταστήσουν τις Κ προηγούμενες γραμμικά εξαρτημένες μεταβλητές Χ 1, Χ,..., Χ Κ. Οι νέες μεταβλητές είναι ανα δύο ασυσχέτιστες μεταξύ τους και επιλέγονται με τρόπο ώστε η κάθε μια να έχει τη μέγιστη διακύμανση αν συγκριθεί με όλες τις επόμενες. Η μέθοδος αυτή δε χρησιμοποιείται ευρέως, καθώς δημιουργούνται τόσο πρακτικά προβλήματα 14 όσο και προβλήματα ερμηνείας των αποτελεσμάτων, λαμβάνοντας υπ'όψιν ότι οι γραμμικοί συνδυασμοί Ζ i δεν έχουν κάποια ιδιαίτερη οικονομική ερμηνεία. [, 3].7 Αριθμός ερμηνευτικών μεταβλητών στο μοντέλο : Αναφέρθηκε στα προηγούμενα ότι η εισαγωγή μίας ερμηνευτικής μεταβλητής, αυξάνει το συντελεστή πολλαπλού προσδιορισμού R του μοντέλου. Το γεγονός αυτό θα μπορούσε να δημιουργήσει την ψευδαίσθηση ότι όσο περισσότερες επεξηγηματικές μεταβλητές περιλαμβάνει ένα μοντέλο, τόσο καλύτερο είναι. Η εντύπωση αυτή είναι λανθασμένη, καθώς η άσκοπη εισαγωγή στο πολλαπλό παλινδρομικό μοντέλο πολλών ερμηνευτικών μεταβλητών που δεν είναι σημαντικές, δημιουργεί μία δυσμενή κατάσταση γνωστή ως overfitting. Αυτού του είδους τα μοντέλα έχουν σχεδόν μηδαμινή εφαρμογή σε δείγματα που λαμβάνονται από τον ίδιο πληθυσμό διότι η τιμή του συντελεστή πολλαπλής συσχέτισης r μεταξύ των παρατηρήσιμων και των προβλεπόμενων τιμών της εξαρτημένης 14 π.χ, λόγω του ότι οι κύριες συνιστώσες είναι ασυσχέτιστες, είναι καλό η παλινδρόμηση να εκτιμάται ανάμεσα στο Ψ και σ 'αυτές, κι ακόμη πολλές φορές πρέπει να χρησιμοποιείται ένα υποσύνολό μόνο των κύριων συνιστωσών. 0