ΣΥΓΚΡΙΣΗ EV ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΚΑΙ ΑΠΛΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ

Transcript

1 Ελληνικό Στατιστικό Ινστιτούτο Πρακτικά 1 ου Πανελληνίου Συνεδρίου Στατιστικής (8), σελ ΣΥΓΚΡΙΣΗ EV ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ ΚΑΙ ΑΠΛΟΥ ΓΡΑΜΜΙΚΟΥ ΜΟΝΤΕΛΟΥ Χαράλαμπος Δαμιανού, Ξανθή Καρταλά Τμήμα Μαθηματικών, Πανεπιστήμιο Αθηνών cdaman@math.oa.gr, kartala@math.oa.gr ΠΕΡΙΛΗΨΗ Η διαφορά του EV γραμμικού μοντέλου από ένα απλό μοντέλο γραμμικής παλινδρόμησης έγκειται στο γεγονός ότι, εκτός από την εξαρτημένη, και η ανεξάρτητη μεταβλητή υπόκειται σε τυχαίο σφάλμα, περιγράφοντας γραμμικές σχέσεις μεταξύ μη παρατηρήσιμων ή λανθανουσών (latnt) μεταβλητών. Η μελέτη μιας εφαρμογής με δεδομένα που προέρχονται από προσομοιώσεις μας επιτρέπει να συγκρίνουμε ποια από τις δύο ευθείες καλής προσαρμογής, που προκύπτουν από το EV και το απλό γραμμικό μοντέλο αντίστοιχα, βρίσκεται πιο κοντά στην πραγματική ευθεία. Στη συνέχεια παραθέτουμε άλλες δύο εφαρμογές ανάλογες της πρώτης με εξαίρεση τη διαφοροποίηση της διασποράς των σφαλμάτων. Με αυτόν τον τρόπο διαπιστώνουμε ότι η μεταβολή των διασπορών των σφαλμάτων επιφέρει αλλαγές ως προς την καλύτερη προσέγγιση της πραγματικής ευθείας. 1. ΕΙΣΑΓΩΓΗ Η ανάλυση παλινδρόμησης αποτελεί καίριο εργαλείο για ένα ευρύ φάσμα στατιστικών εφαρμογών και έχει ως σκοπό να εξηγήσει πώς μια εξαρτημένη μεταβλητή Y σχετίζεται με ανεξάρτητες μεταβλητές X. Οι μέθοδοι που χρησιμοποιούνται για τη διεξαγωγή συμπερασμάτων σε τέτοιου είδους προβλήματα βασίζονται σε δεδομένα που συλλέγονται τόσο για τη μεταβλητή Y όσο και για την X. Όμως δυστυχώς τα πραγματικά δεδομένα σπάνια μπορούμε να τα καταμετρήσουμε χωρίς σφάλμα, ειδικά όταν αυτά προέρχονται από κλάδους όπως η Οικονομία και άλλες κοινωνικές επιστήμες. Στο απλό μοντέλο παλινδρόμησης η ανεξάρτητη μεταβλητή X θεωρείται ότι είναι ελεύθερη από σφάλμα και είναι μη στοχαστική, ενώ η εξαρτημένη Y που περιέχει το σφάλμα είναι τυχαία μεταβλητή. Αν και η μεταβλητή X υπόκειται σε τυχαίο σφάλμα το μοντέλο παλινδρόμησης ονομάζεται rrors-n-varabls μοντέλο ή εν συντομία EV μοντέλο. Η μελέτη των EV μοντέλων κρίνεται αναγκαία, καθώς τα τυπικά αποτελέσματα που έχουν διεξαχθεί για τα κλασσικά μοντέλα παλινδρόμησης αδυνατούν να εφαρμοστούν και σε αυτή την περίπτωση. Η διαδικασία ελαχίστων τετραγώνων που χρησιμοποιείται για την εκτίμηση των παραμέτρων του απλού μοντέλου στηρίζεται στην ελαχιστοποίηση του αθροίσματος των τετραγώνων των σφαλμάτων ως προς τη διεύθυνση της μεταβλητής με σφάλμα. Στην περίπτωση του EV μοντέλου, δεδομένου ότι έχουμε δύο σφάλματα, ελαχιστο

2 ποιώντας το άθροισμα των τετραγώνων των σφαλμάτων και ως προς τις δύο διευθύνσεις καταλήγουμε με την παραπάνω μέθοδο σε δύο ευθείες καλής προσαρμογής. Όμως δεν είναι απαραίτητο η ζητούμενη ευθεία καλής προσαρμογής να συμπίπτει με μία από αυτές. Επομένως, πρέπει να βρεθούν κριτήρια και μέθοδοι εκτίμησης με τα οποία να υπολογίζεται η δομή του σφάλματος. Στην ανάλυση αυτή χρησιμοποιείται κυρίως η μέθοδος των ροπών και η μέθοδος πιθανοφάνειας για την εκτίμηση των παραμέτρων του μοντέλου στο οποίο τα σφάλματα κατανέμονται κανονικά. Ένα από τα βασικά πλεονεκτήματα αυτής της μεθόδου είναι ότι μας επιτρέπει να προσδιορίσουμε ασυπτωτικά την οριακή κατανομή των εκτιμητριών, καθώς και τους αντίστοιχους ασυπτωτικούς πίνακες διακυμάνσεων-συνδιακυμάνσεων.. ΤΟ ΜΟΝΤΕΛΟ Αρχικά περιγράφουμε μια ακριβή τυποποίηση του προβλήματος. Θεωρούμε δύο συλλογές τυχαίων μεταβλητών 1,,..., n και y1, y,..., yn οι οποίες χαρακτηρίζονται ως μη παρατηρούμενες (nobsrvabl) πραγματικές μεταβλητές και ικανοποιούν τη σχέση: y 1 για 1,,..., n. (1) Οι παρατηρούμενες τιμές ( X, Y ) είναι ίσες με τις πραγματικές μεταβλητές (, y ) αντίστοιχα συν το επιπρόσθετο σφάλμα, δηλαδή: X, Y y για 1,,..., n. () Επίσης κάνουμε τις εξής παραδοχές : ) Οι τυχαίες μεταβλητές,,..., n κατανέμονται κανονικά και είναι ασυσχέτιστες, 1 δηλαδή ~ N(, ) για κάθε 1,,..., n και E ( ) για j. ) Οι τυχαίες μεταβλητές 1,,..., n κατανέμονται κανονικά και είναι ασυσχέτιστες, δηλαδή ~ N(, ) για κάθε 1,,..., n και E ( ) για j. ) Οι τυχαίες μεταβλητές, j είναι ανεξάρτητες. Ουσιαστικά αναζητούμε την ευθεία η οποία προσεγγίζει καλύτερα την πραγματική ευθεία της σχέσης (1), εκτιμώντας τις και 1 κάτω από τους παραπάνω ι- σχυρισμούς για τα σφάλματα, καθώς επίσης και κάτω από τις υποθέσεις για το αν οι είναι τ.μ. ή άγνωστες σταθερές. Σε αυτήν την ανάλυση θα υποθέσουμε ότι οι είναι τυχαίες μεταβλητές που κατανέμονται κανονικά, δηλαδή ~ N(, ), και είναι ανεξάρτητες από τα,. Σύμφωνα με τους Chng and Vannss (1994) ένα EV μοντέλο το οποίο περιγράφεται από τις σχέσεις (1) και () κάτω από την παραδοχή (,, ) ~ NI[(,,), dag(,, )] (3) ονομάζεται Δομικό Μοντέλο. Επιπρόσθετα, λόγω των παραπάνω ισχυρισμών προκύπτει ότι τα ζεύγη των παρατηρησίμων τυχαίων μεταβλητών ( X, Y ) για κάθε 1,,..., n κατανέμονται κανονικά και ανεξάρτητα με μέση τιμή το διάνυσμα j j

3 (, ) και πίνακα διακυμάνσεων-συνδιακυμάνσεων τον θετικά ορισμένο πί- 1 νακα V. 1 1 Παρατηρούμε ότι η κατανομή του τυχαίου διανύσματος ( X, Y ) μπορεί να χαρακτηριστεί πλήρως με τον προσδιορισμό του διανύσματος (,,,,, 1) των αγνώστων παραμέτρων του μοντέλου που έχουμε εισαγάγει. Όμως υπάρχουν διαφορετικές τιμές των παραμέτρων του που οδηγούν στην ίδια κατανομή του δια- νύσματος ( X, Y ), όπως για παράδειγμα αν θεωρήσουμε τα 1 (1,1,1,1,1,1) και (1,,1.5,,1.5,.5) καταλήγουμε ότι για αυτές τις διαφορετικές τιμές των παραμέτρων το διάνυσμα ( X, Y ) έχει την ίδια κατανομή (Fllr (1987)). Έτσι υπεισέρχεται η έννοια της προσδιορισιμότητας, (Rrsol (195)), σύμφωνα με την οποία μια παράμετρος είναι προσδιορίσιμη εάν μπορεί να προσδιοριστεί μοναδικά από τη γνώση της από κοινού κατανομής του ( X, Y ). Επιπρόσθετα, το μοντέλο είναι προσδιορίσιμο αν και μόνο αν κάθε στοιχείο του είναι προσδιορίσιμο. Επομένως, αν μια παράμετρος δεν είναι προσδιορίσιμη τότε δεν υπάρχει συνεπής εκτιμήτρια της παραμέτρου. Σύμφωνα με τα παραπάνω, το δομικό μοντέλο που μελετάμε είναι ένα μοντέλο μη προσδιορίσιμο κάτω από τους ισχυρισμούς της κανονικότητας που έχουμε θέσει, ενώ γίνεται προσδιορίσιμο αν έχουμε κάποια προγενέστερη επιπρόσθετη πληροφορία. Αυτό σημαίνει ότι σε κάθε μία από τις περιπτώσεις: 1. ο λόγος των διασπορών των σφαλμάτων / είναι γνωστός,. και οι δύο διασπορές των σφαλμάτων είναι γνωστές, 3. το είναι γνωστό, 4. το είναι γνωστό, 5. το είναι γνωστό και συνήθως θεωρείται ίσο με το μηδέν, μπορούμε να βρούμε συνεπείς εκτιμήτριες των παραμέτρων του μοντέλου..1. Εκτιμήσεις των παραμέτρων του μοντέλου Ο Madansky (1959) αναζητά εκτιμήτριες εξισώνοντας τις δειγματικές ροπές με τις αντίστοιχες αναμενόμενες τιμές του μοντέλου οπότε και προκύπτει ένα σύστημα 5 εξισώσεων. Σύμφωνα με τον Brch (1964) το συγκεκριμένο σύστημα έχει περισσότερες από μια λύσεις όταν τίποτε δεν είναι εκ των προτέρων γνωστό, ενώ έχει μοναδική λύση στις περιπτώσεις 1-5 που έχουμε αναφέρει. Η διαδικασία εύρεσης των εκτιμητριών έγκειται στη λύση του συστήματος χρησιμοποιώντας την επιπρόσθετη πληροφορία την οποία διαθέτουμε σε κάθε περίπτωση. Η μοναδική λύση που προκύπτει από το σύστημα αποτελεί και τις εκτιμήτριες των παραμέτρων αν οι αντίστοιχες ε- κτιμήτριες των διασπορών είναι μη αρνητικές. Σε αντίθετη περίπτωση η διαδικασία αυτή δεν μπορεί να εξασφαλίσει τις ζητούμενες εκτιμήτριες και για αυτό το λόγο καταφεύγει κανείς στην μεγιστοποίηση της συνάρτησης πιθανοφάνειας που δίνεται από

4 τον Brch (1964). Οι εκτιμήσεις των παραμέτρων σε κάθε περίπτωση ξεχωριστά καθώς και τα οριακά θεωρήματα των παραμέτρων του EV μοντέλου συνοψίζονται από τους Fllr (198), Chan and Mak (1979) και Καρταλά (7). 3. ΕΦΑΡΜΟΓΗ ΜΕ ΤΗ ΒΟΗΘΕΙΑ ΠΡΟΣΟΜΟΙΩΣΕΩΝ 4. Επίσης ισχυριζόμαστε ότι η μεταβλητή y δίνεται από τη γραμμική σχέση y 53 για κάθε 1,...,5 η οποία και αποτελεί την πραγματική ευθεία που Για να μπορέσουμε να συγκρίνουμε ποια από τις δύο ευθείες καλής προσαρμογής, οι οποίες προκύπτουν από την εφαρμογή του EV μοντέλου και του απλού γραμμικού μοντέλου αντίστοιχα, προσεγγίζει καλύτερα την πραγματική ευθεία θα δημιουργήσουμε μια εφαρμογή της οποίας τα δεδομένα προέρχονται από προσομοιώσεις. Δημιουργούμε αρχικά ένα τυχαίο διάνυσμα διάστασης 5 από την κανονική κατανομή N(6,4) που αντιπροσωπεύει την πραγματική μεταβλητή, και άρα 6 και θέλουμε να προσεγγίσουμε. Επιπρόσθετα, κατασκευάζουμε τα σφάλματα, δημιουργώντας δύο τυχαία διανύσματα διάστασης 5 από κανονική κατανομή με μέσες τιμές ίσες με και διασπορές 1. Επομένως, μέσω της () μπορούμε να κατασκευάσουμε και τις παρατηρούμενες μεταβλητές ( X, Y). Τέλος, για να διαπιστωθεί εάν η μεταβολή της διασποράς των σφαλμάτων επιφέρει καλύτερες εκτιμήσεις για τις παραμέτρους του μοντέλου, δημιουργούμε άλλες δύο ανάλογες εφαρμογές με τη μόνη διαφορά ότι στην πρώτη θεωρούμε ότι 5, 9, ενώ στη δεύτερη, 49. Τα δεδομένα που προκύπτουν υπάρχουν στην Καρταλά(7). Ακολούθως, παραθέτουμε τον συγκεντρωτικό πίνακα εκτιμήσεων των παραμέτρων που προκύπτουν μέσω του απλού γραμμικού μοντέλου και του EV μοντέλου για κάθε περίπτωση που αντιστοιχεί στην επιπρόσθετη πληροφορία που διαθέτουμε ξεχωριστά. Οι τιμές των και 1 αντιπροσωπεύουν τα val των ελέγχων που α- φορούν τον σταθερό όρο και την κλίση της πραγματικής ευθείας αντίστοιχα, δηλαδή: a) H : 5 vs H 1: 5, b) H : 1 3 vs H1: 1 3. Σύμφωνα με τον επόμενο πίνακα παρατηρούμε ότι στην περίπτωση του απλού γραμμικού μοντέλου οι τιμές των val είναι ίσες με και η μηδενική υπόθεση μπορεί να απορριφθεί σε επίπεδο σημαντικότητας a 5%, που σημαίνει ότι 5 και 1 3. Αντιθέτως οι τιμές των val που υπολογίζονται βάσει του EV μοντέλου είναι μεγαλύτερες του μηδενός και άρα υπάρχει ισχυρή ένδειξη ότι η μηδενική υπόθεση δε μπορεί να απορριφθεί. Επομένως, η προσέγγιση των προβλημάτων βάσει του EV μοντέλου είναι καλύτερη από αυτή του απλού γραμμικού μοντέλου, γιατί η εκτιμώμενη ευθεία που προκύπτει από το πρώτο προσεγγίζει καλύτερα την πραγματική ευθεία. Επιπρόσθετα, στην περίπτωση που η είναι γνωστή έχουμε την καλύτερη δυνατή προσέγγιση σε όλες τις εφαρμογές, αφού οι τιμές των val και στους δύο ελέγχους είναι μεγαλύτερες σε σύγκριση με τις υπόλοιπες. Πίνακας 1. Συγκεντρωτικός πίνακας υπολογισμών ανά περίπτωση

5 Μοντέλο Εφαρμογή 1 5, 9 Απλό γραμμικό μοντέλο EV μοντέλο : γνωστό Εφαρμογή 1 Εφαρμογή 3,49. ˆ ˆ 18,71 1,65 ˆ ˆ 9,89 1,19 ˆ ˆ 8,5 1, 44,14 1,16, 1, 1 ˆ,13 ˆ 4, 3 ˆ ˆ ˆ ˆ 6,8 1,7 6,51 1, 78 ˆ ˆ,56,5 5,83 ˆ 1,8 ˆ 9,96 7, 7 6,16 1,1 1 ˆ 5,99 ˆ 3,44 ˆ ˆ,8 5,13,16 ˆ 5,94 ˆ 3,47 ˆ ˆ,48 EV μοντέλο :, γνωστές ˆ ˆ,13 1 4, 3 ˆ ˆ ˆ 6,8 ˆ 1,7 6,51 1, 78,5 1, 49, 1,19,14 1,16 ˆ ˆ 5,83 1,95 ˆ ˆ 5,99 3,41 ˆ ˆ 5,94 3, 4 ˆ =6,41 ˆ,76 ˆ =6,3 ˆ,79 ˆ =6,4 ˆ,79 EV μοντέλο : γνωστό,91,,9 ˆ 5,83 ˆ,78 ˆ 38,96,44,,44 ˆ 5,99 ˆ 3,33 ˆ.,,4 ˆ 5,94 ˆ 3, 45 ˆ,37 ˆ = 4,16 ˆ 4,58 ˆ =6,95 ˆ,68 ˆ =6,5 ˆ,77 EV μοντέλο : γνωστό,5, 49 ˆ 5,83 ˆ 1,68 ˆ 1,1.,14,13 ˆ 5,99 ˆ 3,46 ˆ,78.,13,16 ˆ 5,94 ˆ 3,47 ˆ, ΣΥΜΠΕΡΑΣΜΑΤΑ Για να έχουμε μία πιο σαφή και συγκεντρωτική εικόνα των αποτελεσμάτων που διεξήχθησαν από τις εφαρμογές επισυνάπτουμε τα παρακάτω σχήματα. Στα σχήματα οι ευθείες και αντιστοιχούν στις ευθείες καλής προσαρμογής του απλού γραμμικού μοντέλου κατά την παλινδρόμηση της μεταβλητής Y στη μεταβλητή X και

6 της X στην Y αντίστοιχα, ενώ οι ευθείες E αντιπροσωπεύουν τις ευθείες του EV μοντέλου που εκτιμώνται στην -στη περίπτωση. Τέλος η κόκκινη (έντονη) ευθεία αντιστοιχεί στην πραγματική ευθεία την οποία θέλουμε να προσεγγίσουμε. Σχήμα 1. Συγκεντρωτικό διάγραμμα διασποράς για την Εφαρμογή 1 Σχήμα. Συγκεντρωτικό διάγραμμα διασποράς για την Εφαρμογή Σχήμα 3. Συγκεντρωτικό διάγραμμα διασποράς για την Εφαρμογή 3-1 -

7 Y X Μια αρχική παρατήρηση που προκύπτει από τα παραπάνω γραφήματα είναι ότι όλες οι ευθείες που έχουν χαραχθεί διέρχονται από το ίδιο σημείο ( X, Y ), φαινόμενο το οποίο δεν προκαλεί έκπληξη καθώς ο σταθερός όρος ˆ όλων των ευθειών εκτιμάται από την ίδια ποσότητα και η προσαρμοσμένη ευθεία σε όλες τις περιπτώσεις είναι της ίδιας μορφής. Επιπλέον, διαπιστώνεται ότι οι εκτιμώμενες ευθείες που προκύπτουν από το EV μοντέλο βρίσκονται μεταξύ των ευθειών καλής προσαρμογής που προκύπτουν από την εφαρμογή του απλού γραμμικού μοντέλου κατά την παλινδρόμηση της μεταβλητής Y στη μεταβλητή X (ευθεία Α) και της X στην Y (ευθεία Β). Αυτό σημαίνει ότι οι ευθείες καλής προσαρμογής του απλού γραμμικού μοντέλου περιορίζουν τις ευθείες καλής προσαρμογής του EV μοντέλου στο χώρο που βρίσκεται ανάμεσά τους (Wald 194). Γίνεται τώρα και γραφικά σαφές ότι η ευθεία που προκύπτει εφαρμόζοντας το EV μοντέλο με οποιαδήποτε επιπρόσθετη πληροφορία διαθέτουμε προσεγγίζει καλύτερα την πραγματική ευθεία σε σχέση με την ευθεία που προκύπτει εφαρμόζοντας το απλό γραμμικό μοντέλο. Συγκρίνοντας τις παραπάνω γραφικές παραστάσεις, γίνεται αντιληπτό πως όσο οι διασπορές των σφαλμάτων μειώνονται, οι εκτιμώμενες ευθείες που προκύπτουν κατά την εφαρμογή και των δύο μοντέλων προσεγγίζουν καλύτερα την πραγματική ευθεία. Επιπρόσθετα, από τα σχήματα μπορούμε να αποφανθούμε ποια από τις ευθείες του EV μοντέλου που προκύπτουν ανά περίπτωση προσεγγίζει καλύτερα την πραγματική ευθεία, δηλαδή ουσιαστικά ποια επιπρόσθετη πληροφορία υπερτερεί των υ- πολοίπων. Στις Εφαρμογές 1 και παρατηρούμε ότι έχουμε καλύτερη προσέγγιση στην πραγματική ευθεία, όταν η επιπρόσθετη πληροφορία που διαθέτουμε είναι η γνώση της διασποράς, συμπέρασμα που διεξήχθη και θεωρητικά από τις τιμές των val του Πίνακα 1. Στην Εφαρμογή 3 οι εκτιμήσεις των παραμέτρων και 1 δεν διαφέρουν αρκετά η μία από την άλλη με αποτέλεσμα οι ευθείες σε όλες τις περιπτώσεις να συμπίπτουν

8 Επομένως ένα γενικότερο συμπέρασμα που προκύπτει είναι πως όσο μειώνονται οι διασπορές των σφαλμάτων η επιπρόσθετη πληροφορία που διαθέτουμε δεν καθορίζει την αποτελεσματικότητα της καλύτερης προσέγγισης της πραγματικής ευθείας στο EV μοντέλο. Συνεπώς σε περιπτώσεις που οι διασπορές των σφαλμάτων είναι μικρές, μπορούμε να επιτύχουμε ακριβή προσέγγιση της πραγματικής ευθείας με επιπρόσθετη πληροφορία εκείνη που κάθε φορά μπορούμε να εκτιμήσουμε με διαδικασίες που έχουν μικρό κόστος και δεν είναι χρονοβόρες. ABSTRACT Th dscrancy of th rrors-n-varabls (EV) lnar modl wth th sml lnar rgrsson modl ls on th fact that not only th dndnt bt also th ndndnt varabl s labl to random rror, dscrbng lnar rlatonshs among nobsrvabl (or latnt) varabls. Th stdy of an alcaton wth data comng from smlatons nabls s to comar whch on of th two rgrsson lns, drvd from th EV and th sml lnar modl rsctvly, fts bst th ral ln. Frthrmor, w dmonstrat two analogos alcatons akn to th formr bt wth dffrnt varancs for th rrors. Dong so, w ascrtan that varaton n th rror varancs mls changs to th bst aromaton of th ral ln. ΑΝΑΦΟΡΕΣ Καρταλά, Ξ. (7). «Γραμμική παλινδρόμηση με τις δύο μεταβλητές να υπόκεινται σε σφάλμα». Διπλωματική Εργασία, Μαθηματικό Τμήμα, Παν. Αθηνών. Brch, M.W. (1964). A not of a mamm lklhood stmaton of a lnar strctral rlatonsh. J. Amr. Statst. Assoc., 59, Chan, L.K. and Mak, T.K. (1979). On th mamm lklhood stmaton of a lnar strctral rlatonsh whn ntrct s known. J. Mltvarat Anal., 9, Chng, C.L. and Vannss, J.W. (1994). On stmatng lnar rlatonshs whn both varabls ar sbjct to rrors. J. R.. Stat. Soc. Sr. B Stat. Mthodol., 56, Fllr, W.A. (1987). «Masrmnt Error Modls». Wly Sr. Probab. Stat., Nw York: Wly-Intrs. Madansky, A. (1959). Th fttng of straght lns whn both varabls ar sbjct to rror. J. Amr. Statst. Assoc., 54, Rrsol, O. (195). Idntfablty of a lnar rlaton btwn varabls whch ar sbjct to rror. Economtrca., 18, Wald, A. (194). Th fttng of straght lns f both varabls ar sbjct to rror. Ann. Math. Statst., 11,