ΚΕΦΑΛΑΙΟ ΑΝΑΣΚΟΠΗΣΗ ΑΠΑΡΑΙΤΗΤΩΝ ΓΝΩΣΕΩΝ: ΕΚΤΙΜΗΤΕΣ Ως γνωστό δείγμα είναι ένα σύνολο παρατηρήσεων από ένα πληθυσμό. Αν ο πληθυσμός αυτός θεωρηθεί μονοδιάστατος τότε μπορεί να εκφρασθεί με τη συνάρτηση κατανομής πιθανότητας (probability desity fuctio (pdf)) μιας τυχαίας μεταβλητής Χ. Η διαδικασία εκλογής ενός δείγματος από ένα πληθυσμό καλείται δειγματοληψία. Έστω τώρα ότι οι τυχαίες μεταβλητές Χ1, Χ,..., ΧN παριστάνουν το δυνατό αποτέλεσμα που προκύπτει από δειγματοληψία από την pdf της Χ. Αν οι Χ1, Χ,..., ΧN είναι ανεξάρτητες και ισόνομες τότε η τυχαία διανυσματική μεταβλητή μεγέθους Ν από τον πληθυσμό που εκφράζεται με την pdf της Χ. Αν και αυστηρά ο όρος τυχαίο δείγμα αναφέρεται στην τυχαία διανυσματική μεταβλητή συνήθως ο ίδιος όρος χρησιμοποιείται και για μια συγκεκριμένη τιμή x ( x1, x,..., x N ) της X. X X (Χ1, Χ,..., ΧN) καλείται τυχαίο δείγμα Η θεωρία της εκτιμητικής έχει σκοπό να εκτιμήσει τις άγνωστες τιμές των παραμέτρων ενός πληθυσμού χρησιμοποιώντας τα δεδομένα ενός δείγματος. Οι εκτιμήσεις αυτές είναι δυνατόν να είναι σημειακές (poit estimatio) ή εκτιμήσεις διαστήματος (iterval estimatio). Μια συνάρτηση των τυχαίων μεταβλητών Χ1,Χ,...,ΧN που μας δίνει τη δυνατότητα να κάνουμε εκτιμήσεις για την τιμή μιας παραμέτρου Θ στον πληθυσμό ονομάζεται εκτιμητής (estimator), ή δειγματικό στατιστικό (sample statistic) και παριστάνεται ως εξής: Θ =Θ (Χ1,Χ,...,ΧN). Μια συγκεκριμένη τιμή που παίρνει ένας εκτιμητής καλείται εκτίμηση. Προς αποφυγή συγχύσεως τονίζεται ότι οι εκτιμητές είναι κανόνες (αλγόριθμοι ) για την εύρεση των τιμών των παραμέτρων ενός πληθυσμού, ενώ οι εκτιμήσεις είναι αριθμητικές τιμές. Σημειώνεται ότι οι εκτιμητές είναι τυχαίες μεταβλητές (καθώς είναι συναρτήσεις των Χ1,Χ,...,ΧN που είναι τυχαίες μεταβλητές) και επομένως ακολουθούν κατανομές. Η κατανομή που ακολουθεί ένας εκτιμητής καλείται δειγματοληπτική κατανομή (samplig distributio). Το επόμενο σημαντικό θεώρημα αναφέρεται στο μέσο και τη διακύμανση της δειγματοληπτικής κατανομής της δειγματικής μέσης τιμής. 1
Θεώρημα δειγματικής μέσης τιμής (sample mea theorem) Για τυχαία δειγματοληψία και δείγμα μεγέθους Ν από οποιονδήποτε πληθυσμό με Ε(Χ)=μ και VAR(X)=σ, για τη δειγματική μέση τιμή Χ ισχύουν: 1. Ε(Χ )=μ. VAR(X )=σ /Ν Καθώς η αναζήτηση κατάλληλων εκτιμητών αποτελεί έναν από τους βασικούς σκοπούς της επιστήμης της οικονομετρίας, στη συνέχεια θα αναφερθούμε σε συντομία σε κριτήρια αξιολόγησης εκτιμητών που στηρίζονται στις ιδιότητες των εκτιμητών. Είναι μεθοδολογικά χρήσιμο να γίνει ο διαχωρισμός των στατιστικών ιδιοτήτων των εκτιμητών σε δύο κατηγορίες: ιδιότητες σε μικρά δείγματα (small sample properties) και ασυμπτωτικές ιδιότητες, ή ιδιότητες μεγάλων δειγμάτων (large sample or asymptotic properties). α) Μεροληψία Ιδιότητες εκτιμητών σε μικρά δείγματα Ένας εκτιμητής είναι αμερόληπτος αν η αναμενόμενη τιμή του ισούται με την αληθή τιμή της παραμέτρου που εκτιμά δηλαδή: E( ). Η διαφορά μεταξύ αληθούς τιμής και αναμενόμενης τιμής, εφόσον υπάρχει, ονομάζεται μεροληψία. Δηλαδή: Μεροληψία (bias) = E( ).
Σχήμα.1 Μεροληψία Σημ. Εκ παραδρομής σε μερικές περιπτώσεις το μέγεθος του δείγματος συμβολίζεται με αντί για N. Παρατηρήσεις 1)Θα πρέπει να επισημανθεί ότι η αμεροληψία (ubiasedess) είναι μία ιδιότητα που αφορά την επαναλαμβανόμενη δειγματοληψία και όχι ένα συγκεκριμένο δείγμα. Κρατώντας το μέγεθος του δείγματος σταθερό λαμβάνουμε αρκετά δείγματα και για καθένα από αυτά παίρνουμε μια τιμή της άγνωστης παραμέτρου του πληθυσμού. ) Η αμεροληψία είναι ασφαλώς μία επιθυμητή ιδιότητα όμως δεν μας παρέχει καμία πληροφόρηση σχετικά με τη διασπορά του εκτιμητή γύρω από την αληθή τιμή της παραμέτρου. Αυτό είναι δυνατό με την ιδιότητα της Αποτελεσματικότητας. 3
β) Αποτελεσματικότητα (efficiecy) Ένας εκτιμητής είναι αποτελεσματικός εκτιμητής της παραμέτρου Θ του πληθυσμού αν: ι) Είναι αμερόληπτος δηλ. E( ) * ιι) Var( ) Var( ) όπου της θ. * οποιοσδήποτε άλλος αμερόληπτος εκτιμητής Αντί του όρου αποτελεσματικός εκτιμητής χρησιμοποιούνται και οι όροι: ελάχιστης διακύμανσης αμερόληπτος εκτιμητής (miimum variace ubiased estimator) και βέλτιστος αμερόληπτος εκτιμητής (best ubiased estimator). Σχήμα. Αποτελεσματικότητα 4
γ) Μέσο του τετραγώνου του σφάλματος (Mea Square Error) Το μέσο του τετραγώνου του σφάλματος ενός εκτιμητή E. Σε αντιδιαστολή με τη διακύμανση MSE( ) ( ) που μετρά τη διασπορά της κατανομής των αναμενόμενη τιμή E( ), το MSE( ) ορίζεται ως Var( ) E( E( )) γύρω από την είναι ένα μέτρο της διασποράς της κατανομής του γύρω από την αληθινή τιμή. Παρακάτω αποδεικνύουμε ότι: MSE( ) E( ) Var( ) E( ( )) Πράγματι θα έχουμε E( ) E( ( ) ( ) ) {( ( )) ( ( ) )} ( ( )) ( ( ) ) {( ( )) ( ( ) )} Var( ) bias( ) { E( ) E( ) E( ) E( )} Var( ) bias( ) Φυσικά E( ) ( ( ) ) καθότι η αναμενόμενη τιμή μιας σταθεράς είναι η ίδια η σταθερά. Η ελαχιστοποίηση του MSE( ) μπορεί να χρησιμοποιηθεί ως κριτήριο εκλογής ενός εκτιμητή στις περιπτώσεις όπου οι εκτιμητές με μεροληψία έχουν μικρότερη διακύμανση από αμερόληπτους εκτιμητές. Π.χ. αν σε ένα υπόδειγμα επιδιώκουμε πρωτίστως την όσο το δυνατόν ακριβέστερη πρόβλεψη θα προτιμήσουμε έναν εκτιμητή με μικρή μεροληψία αν η διακύμανση του είναι πολύ μικρότερη απ ότι η διακύμανση ενός αμερόληπτου εκτιμητή. 5
Σχήμα.3: Ένας αμερόληπτος εκτιμητής και ένας μεροληπτικός αλλά μικρότερης διακύμανσης εκτιμητής δ) Γραμμικότητα (liearity) Ένας εκτιμητής ονομάζεται γραμμικός εκτιμητής της παραμέτρου Θ αν είναι γραμμική συνάρτηση των X1, X,..., X N. Δηλαδή Π.χ. Το μέσο του δείγματος xi 1 1 1 1 x X1 X X 3... X N N N N N N N ax i i i1 Είναι ένας γραμμικός εκτιμητής του μέσου του πληθυσμού με a i 1 N 6
Αν ένας εκτιμητής είναι γραμμικός, αμερόληπτος και έχει την ελάχιστη διακύμανση μεταξύ όλων των αμερόληπτων εκτιμητών της παραμέτρου Θ, τότε ονομάζεται βέλτιστος γραμμικός αμερόληπτος εκτιμητής (Βest Liear Ubiased Estimator, BLUE) Άλλες γνωστές ιδιότητες των εκτιμητών, όπως πχ. η επάρκεια δε θα μας απασχολήσουν άμεσα. Ιδιότητες εκτιμητών σε μεγάλα δείγματα Σε αρκετές περιπτώσεις ένας εκτιμητής δεν πληροί μία ή περισσότερες από τις επιθυμητές ιδιότητες σε μικρά δείγματα. Καθώς όμως το μέγεθος του δείγματος τείνει προς το άπειρο ο εκτιμητής αποκτά αρκετές επιθυμητές ιδιότητες. Αυτές οι ιδιότητες είναι γνωστές ως ιδιότητες μεγάλων δειγμάτων ή ασυμπτωτικές ιδιότητες. Επιπλέον η δειγματοληπτική κατανομή σε πεπερασμένα δείγματα ενίοτε δεν είναι γνωστή, ή είναι δύσκολο να παραχθεί, αλλά είναι δυνατό να ορισθεί μία κατανομή καθώς αυξάνει το μέγεθος του δείγματος (ασυμπτωτική κατανομή). Αυτή η κατανομή που προκύπτει όταν το μέγεθος του δείγματος τείνει στο άπειρο μπορεί κατά προσέγγιση να γίνει δεκτή στη θέση της άγνωστης δειγματοληπτικής κατανομής. Προτού εξετάσουμε τις ιδιότητες των εκτιμητών σε μεγάλα δείγματα θα ορίσουμε τις έννοιες της σύγκλισης κατά κατανομή, και σύγκλισης κατά πιθανότητα. Έστω η τ.μ. Χ με μέσο μ και διακύμανση. Έστω ακόμη ότι δεν γνωρίζουμε την κατανομή της Χ. Τότε για τη δειγματοληπτική κατανομή f( X ), όπου X = δειγματικός μέσος για δείγμα μεγέθους 1 από τον 1 Προς αποφυγή συγχύσεως με το σύμβολο της κανονικής κατανομής, στην παράγραφο αυτή το μέγεθος του δείγματος θα συμβολίζεται με. 7
πληθυσμό Χ, από το κεντρικό οριακό θεώρημα γνωρίζουμε ότι ισχύει: X lim ~ (0,1). Με λόγια (αν και όχι αυστηρά) αυτό μπορούμε να το διατυπώσουμε ως εξής: «η X διακύμανση κατανέμεται ασυμπτωτικά κανονικά με μέση τιμή μ και Συμβολικά: D ( X ~ AN(, ) ήx (, ) Η ασυμπτωτική αναμενόμενη τιμή ενός εκτιμητή ορίζεται ως: AE( ) lim E( ) Και η ασυμπτωτική διακύμανση ως: 1 ASYVAR( ) lim E{ ( E( ))} Έτσι για το προηγούμενο παράδειγμα η εφαρμογή των παραπάνω ορισμών δίνει: AE( ) lim E( ) lim 1 ASYVAR( ) lim E{ ( X E( X ))} E X 1 1 lim { ( )} lim Σύγκλιση κατά πιθανότητα Επανερχόμαστε πάλι στο παράδειγμα με τα τυχαία δείγματα μεγέθους από ένα πληθυσμό με μέσο μ και διακύμανση. Ο δειγματικός μέσος X κατανέμεται με αναμενόμενη τιμή μ και διακύμανση. Είναι φανερό ότι καθώς το μέγεθος του δείγματος αυξάνεται ανεξαρτήτως της μορφής της κατανομής του X, η διακύμανση της κατανομής αυτής θα μειώνεται και η κατανομή θα «συγκεντρώνεται» γύρω από το μ. 8
Πιο αυστηρά τέτοια ώστε: 0 υπάρχει κατάλληλος δείκτης *και δ με 1>δ>0, Pr{ X } Pr{ X } 1 Ισοδύναμα μπορούμε να γράψουμε: * lim Pr{ X } 1 ή plim X Τότε λέμε ότι η τ.μ. X συγκλίνει κατά πιθανότητα στη σταθερά μ. Το σύμβολο plim ονομάζεται όριο πιθανότητας ή πιθανοθεωρητικό όριο (probability limit) Για το πιθανοθεωρητικό όριο ισχύουν τα παρακάτω θεωρήματα: ( a) plim( a) a, όπου α σταθερά ( ) p lim( 1 ) p lim( 1) p lim( ) ( ) p lim( 1 ) p lim( 1) p lim( ) ( ) p lim p lim( ) 1 1 p lim( ) (ε) Θεώρημα Slutsky plim g( ) g( plim ) 1 1 Π.χ. p lim p lim( ) Υπενθυμίζεται ότι τα (γ) και (δ) δεν ισχύουν για αναμενόμενες τιμές δηλ. ( 1 ) ( 1) ( ) E E E εκτός αν 1, ασυσχέτιστοι, και 1 E( 1) E E( ) Αφού ορίσθηκαν οι έννοιες της σύγκλισης κατά κατανομή και σύγκλισης κατά πιθανότητα μπορούμε τώρα να εξετάσουμε τις ιδιότητες των εκτιμητών σε μεγάλα δείγματα. 9
α) Ασυμπτωτική αμεροληψία (asymptotic ubiasedess) Ένας εκτιμητής αμερόληπτος αν της παραμέτρου θ θα λέγεται ασυμπτωτικά AE( ) lim E( ) x Σημειώνεται ότι αν ένας εκτιμητής είναι αμερόληπτος θα είναι και ασυμπτωτικά αμερόληπτος, το αντίθετο όμως δεν ισχύει πάντα. Παράδειγμα ( x x) N ο εκτιμητής (διακύμανση δείγματος) δεν είναι αμερόληπτος εκτιμητής της πραγματικής διακύμανσης γνωρίζουμε: καθώς όπως 1 E 1. Όμως lim E( ) N ασυμπτωτικά αμερόληπτος. και άρα ο εκτιμητής είναι (β) Συνέπεια (Cosistecy) Ένας εκτιμητής p lim. ονομάζεται συνεπής εκτιμητής της παραμέτρου θ, αν Πιο απλά (αλλά όχι αυστηρά) ένας εκτιμητής είναι συνεπής αν η κατανομή πιθανότητας του εκφυλίζεται σε ένα σημείο (την αληθή τιμή του εκτιμητή) καθώς το μέγεθος του δείγματος τείνει στο. Πιο αυστηρά αποδεικνύεται ότι (Goldberger Ecoometric theory) για να ισχύει p lim( ) αρκεί: a) AE( ) ) lim ASYVAR( ) 0 N ικανή αλλά όχι αναγκαία συνθήκη 10
Σχήμα.4α Συνέπεια αμερόληπτου εκτιμητή 11
Σχήμα.4β Συνέπεια μεροληπτικού εκτιμητή γ) Ασυμπτωτική Αποτελεσματικότητα Ένας εκτιμητής θα ονομάζεται ασυμπτωτικά αποτελεσματικός αν: (ι) είναι συνεπής και (ιι) η ασυμπτωτική του διακύμανση είναι μικρότερη από την ασυμπτωτική διακύμανση οποιουδήποτε άλλου συνεπή εκτιμητή. Ερωτήσεις - Ασκήσεις 1) Είναι δυνατόν ένας μεροληπτικός εκτιμητής να είναι ασυμπτωτικά αποτελεσματικός; 1
) Να ελεγχθεί η ορθότητα της παρακάτω προτάσεως: αν ένας εκτιμητής είναι αμερόληπτος θα είναι και συνεπής. 3) Έστω ότι ο θ* είναι ένας εκτιμητής της παραμέτρου θ, τέτοιος ώστε: (i) Ε(θ*) = θ και (ii) VAR(θ*) =(4θ/Ν)+ 16θ /Ν Να δείξετε ότι ο θ* είναι ασυμπτωτικά αμερόληπτος και συνεπής εκτιμητής της παραμέτρου θ (Ν= μέγεθος δείγματος). 13