Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών

Transcript

1 Κεφάλαιο 7 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Στα Κεφάλαια 4, 5 και 6 δόθηκε έµφαση στους αποδοτικούς εκτιµητές και τους ΑΟΕ εκτιµητές, η αναζήτηση των οποίων έχει ως αφετηρία το κριτήριο του ΜΤΣ, ενώ ϐασίζεται σε δύο λογικοφανείς ιδιότητες: την αµε- ϱοληψία και την ελάχιστη διασπορά. Με άλλα λόγια, πρώτα «επιβλήθηκαν» στους εκτιµητές οι ιδιότητες αυτές και κατόπιν κατασκευάστηκαν οι εκτι- µητές που τις ικανοποιούν. Αντίθετα, οι εκτιµητές που παρουσιάζονται σε αυτό το κεφάλαιο ϐασίζονται σε δύο απλές στατιστικές αρχές, που τις είδα- µε εν συντοµία στην Ενότητα 3.3, αυτές της µέγιστης πιθανοφάνειας και της αντικατάστασης και αναφέρονται, αντίστοιχα, ως εκτιµητές µέγιστης πιθανοφάνειας και εκτιµητές ϱοπών. Η µελέτη των ιδιοτήτων αυτών των εκτιµητών έπεται της κατασκευής τους. Ενα σηµαντικό πλεονέκτηµά τους είναι ότι η κατασκευή τους δεν απαιτεί προηγούµενη στατιστική γνώση (όπως επάρκεια ή πληρότητα). 7. Μέθοδος της µέγιστης πιθανοφάνειας Η µέθοδος της µέγιστης πιθανοφάνειας αποτελεί µία γενική τεχνική κατασκευής εκτιµητή για µία άγνωστη παράµετρο θ, πραγµατική ή διανυσµατική και γενικότερα για µία άγνωστη τιµή g(θ). Σε ειδικές περιπτώσεις, η µέθοδος χρησιµοποιήθηκε από τον Gauss, αλλά και νωρίτερα από τον Laplace (γνωστό και από τον τύπο της κλασικής πιθανότητας). Οµως, ως 22

2 222 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών γενική µέθοδος εκτίµησης προτάθηκε, ονοµάστηκε και καθιερώθηκε από τον Fisher σε µια σειρά εργασιών του, Fisher (92, 922, 925, 934), όπου µελέτησε τις ιδιότητές της. Η µέθοδος της µέγιστης πιθανοφάνειας έχει πλέον ταυτιστεί µε το όνοµα του Fisher, µπορεί να εφαρµοστεί εύκολα σε πάρα πολλά προβλήµατα εκτίµησης, ερµηνεύεται διαισθητικά πολύ απλά και γενικά παράγει καλούς εκτιµητές ειδικά για µεγάλο µέγεθος δείγµατος. εν είναι υπερβολή να ισχυριστούµε ότι είναι η πλέον γνωστή και η πλέον χρησιµοποιούµενη στις εφαρµογές µέθοδος εκτίµησης. Οπως αναλύθηκε στην Ενότητα 3.3, η µέθοδος στηρίζεται στην απλή και ϐασική αρχή ότι, εάν x = (x,...,x n ) είναι η παρατηρηθείσα τιµή του X = (X,...,X n ), (δηλαδή x είναι τα προς ανάλυση δεδοµένα σύµφωνα µε την Ενότητα 3.), τότε επιλέγεται ως εκτίµηση του θ η τιµή ˆθ(x ) Θ, που µεγιστοποιεί ως προςθ Θ την πιθανοφάνεια τουx (αρχή της µέγιστης πιθανοφάνειας). Για διακριτό X, η πιθανοφάνεια του x είναι η πιθανότητα να προκύψει η ήδη παρατηρηθείσα τιµή x, δηλαδή P θ (X = x ), που συµπίπτει µε την πυκνότητα του X στο σηµείο x. Γενικά, εάν το δείγ- µα X (διακριτό ή συνεχές) έχει πυκνότητα f(x ;θ), θ Θ, η συνάρτηση πιθανοφάνειας (ή απλά πιθανοφάνεια του x ) ορίζεται από τη σχέση L(θ x ) = f(x ;θ), θ Θ. Είναι, δηλαδή, η συνάρτηση πιθανοφάνειας απλά και µόνον η πυκνότητα του X, f(x ;θ), υπολογιζόµενη στην παρατηρηθείσα τιµή x του X και ϑεωρούµενη ως συνάρτηση του θ (µε σταθερό x ). Συχνά η συνάρτηση L(θ x ) ϑα συµβολίζεται απλά µε L(θ). Η διαισθητική ερµηνεία της µεγιστοποίησης ως προς θ της πιθανοφάνειας L(θ x ) = f(x ;θ) δόθηκε µέσω ενός παραδείγµατος στην Ενότητα 3.3. Μια πιο αυστηρή αιτιολόγηση παρουσιάζεται στην Πρόταση 7... Θεωρούµε ότι το X = (X,...,X n ) είναι ένα τυχαίο δείγµα από την κατανοµή µε πυκνότητα f (x;θ), θ Θ και υποθέτουµε τα εξής. Σ. Το κοινό σύνολο τιµών των X i, S = {x : f (x;θ) > 0}, δεν εξαρτάται από το θ.

3 Μέθοδος της µέγιστης πιθανοφάνειας 223 Σ2. Για κάθε θ θ 2, σηµεία του Θ, ισχύει f (x;θ ) f (x;θ 2 ), x S 2 S µε P(S 2 ) > 0, σε κάθε δηλαδή σηµείο του Θ αντιστοιχεί διαφορετική κατανοµή πιθανότητας. Επίσης, συµβολίζουµε µε θ 0 την άγνωστη, αλλά µοναδική τιµή της πα- ϱαµέτρου θ, προς διάκριση από τα υπόλοιπα σηµεία του παραµετρικού χώρου Θ, και ϑα την αναφέρουµε εµφατικά ως αληθή τιµή του θ. Τα δεδοµένα X έχουν δηλαδή παραχθεί από την κατανοµή πιθανότητας, που αντιστοιχεί στο θ 0 (και µόνο σε αυτό) και την οποία συµβολίζουµε P θ0. Πρόταση 7... Υπό τις Σ και Σ2 ισχύει ότι P θ0 ( για κάθε θ Θ, θ θ 0. lim n ) n ln L(θ 0 ) X L(θ ) X > 0 =, (7.) Απόδειξη. Εχουµε L(θ x ) = f(x ;θ) = n f (x i ;θ) για κάθε θ Θ, οπότε η (7.) ισοδύναµα γράφεται ή όπου P θ0 ( lim n P θ0 ( n n ln lim n n ) f (X i ;θ 0 ) f (X i ;θ) > 0 = ) Y i > 0 =, (7.2) Y i = ln f (X i ;θ 0 ) f (X i ;θ), i =,...,n. Θα πρέπει λοιπόν να δείξουµε την (7.2). Υποσηµείωση: Οταν η οικογένεια πυκνοτήτων {f (x;θ) : θ Θ} ικανοποιεί τη συνθήκη Σ2, η παράµετρος θ λέγεται αναγνωρίσιµη ή ταυτοποιήσιµη (identifiable). Για παράδειγµα, στην οικογένεια κανονικών κατανοµών N(θ,), θ R, το θ είναι αναγνω- ϱίσιµο, ενώ στην οικογένεια κανονικών κατανοµών N(cosθ,), θ R, το θ δεν είναι αναγνωρίσιµο, γιατί όλα τα θ = 2κπ + π 3, κ = 0,,... παράγουν την ίδια κατανοµή N(/2, ). Ουσιαστικά, δεν έχει νόηµα η εκτίµηση µη αναγνωρίσιµης παραµέτρου.

4 224 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Η υπόθεση Σ εξασφαλίζει ότι 0 < f (X i ;θ 0 ) f (X i ;θ) < µε πιθανότητα ως προς την κατανοµή P θ0 (αφού ο αριθµητής και ο παρανοµαστής είναι ϑετικοί γιαx i στο ίδιο σύνολο, τοs, καιp θ0 (X i S ) = ). Εποµένως οι τυχαίες µεταβλητές Y i, i =,...,n είναι καλώς ορισµένες. Επιπλέον, οι Y i, i =,...,n είναι ανεξάρτητες µε κοινή κατανοµή ως συναρτήσεις των X i, i =,...,n, αντίστοιχα. Συνεπώς, από ( τον Ισχυρό Νόµο των) Μεγάλων Αριθµών (Θεώρηµα.0.2) έχουµε P θ0 lim Y i = E θ0 Y = και n n η (7.2) ϑα ισχύει αν δείξουµε ότι E θ0 Y = E θ0 ln f (X ;θ 0 ) f (X ;θ) > 0, για θ θ 0. (7.3) Η (7.3) είναι ένα κλασικό αποτέλεσµα που περιέχεται στον Wald (949). (Ενδεχοµένως να ήταν και γνωστό νωρίτερα σε κύκλους της Στατιστικής Θεωρίας Πληροφοριών. Μάλιστα, το δεύτερο µέλος της ισότητας στην (7.3) ονοµάζεται Kullback Leibler απόσταση µεταξύ των πυκνοτήτων (κατανο- µών) f (x;θ 0 ) και f (x;θ), χρησιµεύει ως αριθµητικός δείκτης της δια- ϕορετικότητας (discrimination) τους (ϐλέπε Kullback and Leibler, 95), ενώ επίσης έχει εφαρµογές και σε Ελέγχους Στατιστικών Υποθέσεων για n, ϐλέπε π.χ. Bahadur (960).) Η απόδειξή της (7.3) χρησιµοποιεί την ανισότητα Jensen (ϐλέπε Πρόταση.5.2). Από την υπόθεση Σ2, για θ θ 0 η τυχαία µεταβλητή f (X i ;θ 0 ) δεν είναι σταθερά (=, αν ήταν) f (X i ;θ) και επειδή η συνάρτηση lnx είναι γνησίως κυρτή έχουµε ( E θ0 Y = E θ0 ln f ) (X i ;θ) f (X i ;θ) > lne θ0 f (X i ;θ 0 ) f (X i ;θ 0 ) = f (x;θ) = ln S f (x;θ 0 ) f (x;θ 0 )dx = ln f (x;θ)dx = ln = 0. S (Στην περίπτωση διακριτής κατανοµής, το ολοκλήρωµα αντικαθίσταται µε σειρά ή άθροισµα.) Η (7.) συνεπάγεται ότι µε πιθανότητα, n ln L(θ 0 X ) > 0 για n. L(θ ) X

5 Μέθοδος της µέγιστης πιθανοφάνειας 225 Ως εκ τούτου έχουµε L(θ 0 X ) L(θ X ) > ή L(θ 0 X ) > L(θ X ), θ θ 0 και συνεπώς το σηµείο θ 0, η αληθής τιµή της παραµέτρου, µεγιστοποιεί την πιθανοφάνεια του X = (X,...,X n ), L(θ X ), καθώς n, αν δηλαδή είχαµε «άπειρα» το πλήθος διαθέσιµα δεδοµένα. Λόγω αυτής της οριακής «πληθυσµιακής» ιδιότητας τουθ 0 επιλέγουµε ως εκτίµηση του το δειγµατικό του ανάλογο, συγκεκριµένα, εκείνη την τιµήθ(x ) Θ, που έχει την ίδια ακριβώς ιδιότητα στο πεπερασµένο δείγµα x = (x,...,x n ), δηλαδή µεγιστοποιεί ως προς θ Θ τη συνάρτησηl(θ x ). Η τιµή ˆθ(x ) είναι η εκτίµηση µέγιστης πιθανοφάνειας και η στατιστική συνάρτηση ˆθ(X ) είναι ο εκτιµητής µέγιστης πιθανοφάνειας του θ για κάθε πεπερασµένο µέγεθος δείγµατος n. Σηµειώνουµε ότι ο ιδιαίτερος συµβολισµός ˆθ(X ), αντί π.χ. T(X ) ήs(x ) κλπ, έχει καθιερωθεί στη διεθνή ϐιβλιογραφία. Ο εκτιµητής µέγιστης πιθανοφάνειας του θ ορίζεται λοιπόν ως εξής. Ορισµός 7... Ο εκτιµητής ˆθ(X ) ονοµάζεται εκτιµητής µέγιστης πιθανο- ϕάνειας (ε.µ.π.) του θ εάν για κάθε τιµή x του X ισχύει L (ˆθ(x ) ) = maxl(θ x ). (7.4) θ Θ Η συντοµογραφία ε.µ.π. ϑα χρησιµοποιείται αδιακρίτως, λόγω απλότητας, για τον εκτιµητή ˆθ(X ), αλλά και την εκτίµηση ˆθ(x ), προτάσσοντας το αντίστοιχο άρθρο (ο ή η). Η εύρεση λοιπόν του ε.µ.π. του θ ανάγεται στην εύρεση της τιµής θ Θ, που µεγιστοποιεί ολικά τη συνάρτηση πι- ϑανοφάνειας L(θ x ). Το ολικό µέγιστο µπορεί να επιτυγχάνεται σε µία τιµή ˆθ(x ) (η πλέον τυπική περίπτωση) ή σε περισσότερες από µία τιµές ή να µην υπάρχει. Ανάλογα, ο ε.µ.π. είναι µοναδικός ή υπάρχουν πολλοί ε.µ.π. ή δεν υπάρχει ε.µ.π.. Εάν η συνάρτηση L(θ x ) παραγωγίζεται ως προς θ, το µέγιστο υπάρχει και επιτυγχάνεται σε εσωτερικό σηµείο του Θ τότε µπορεί να ϐρεθεί µε παραγώγιση. Σε αυτές τις περιπτώσεις λόγω της µορφής της L(θ x ), είναι συχνά πιο εύκολο να µεγιστοποιήσουµε τον (νεπέριο) λογάριθµο lnl(θ x ). Προφανώς, κάθε τιµή του θ

6 226 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών που µεγιστοποιεί τη συνάρτηση lnl(θ x ) επίσης µεγιστοποιεί και τη συνάρτηση L(θ x ), γιατί ο λογάριθµος είναι γνησίως αύξουσα συνάρτηση. Στην περίπτωση τυχαίου δείγµατος X = (X,...,X n ) από κατανοµή µε πυκνότητα f (x;θ), η συνάρτηση πιθανοφάνειας έχει τη µορφή οπότε L(θ) = L(θ x ) = lnl(θ) = n f (x i ;θ), = (x,...,x n ), x lnf (x i ;θ). Αν το θ είναι πραγµατικός αριθµός και το µέγιστο µπορεί να ϐρεθεί µε παραγώγιση, ο ε.µ.π. είναι λύση ως προς θ της εξίσωσης 0 = θ lnl(θ) = θ f (x i ;θ), (7.5) f (x i ;θ) η οποία αναφέρεται ως εξίσωση πιθανοφάνειας. Στην περίπτωση που το θ είναι διανυσµατική παράµετρος θ = (θ,...,θ r ) και το µέγιστο µπορεί να ϐρεθεί µε παραγώγιση, ο ε.µ.π. είναι λύση ως προς θ,...,θ r του συστήµατος των εξισώσεων πιθανοφάνειας 0 = θ j f (x i ;θ) f (x i ;θ), j =,...,r. (7.6) Λύνοντας την (7.5) ή τις (7.6), πρέπει περαιτέρω να διαπιστώνεται ότι η λύση αντιστοιχεί σε ολικό µέγιστο. Ανάλογα µε τη µορφή της L(θ x ), οι εξισώσεις (7.5) και (7.6) είναι δυνατόν να επιδέχονται λύση σε κλειστή µορφή ως συναρτήσεις του x ή µόνον αριθµητική επίλυση. ίνουµε στη συνέχεια µερικά παραδείγµατα υπολογισµού εκτιµητών µέγιστης πιθανοφάνειας. Παράδειγµα 7... ( ιακριτός παραµετρικός χώρος) ίνεται µία πα- ϱατήρηση X από την κατανοµή που ϕαίνεται στον πίνακα. Το σύνολο τιµών του X είναι {,2,3}, τα στοιχεία του πίνακα είναι οι αντίστοιχες πιθανότητες αυτών των τιµών και θ Θ = {0, }.

7 Μέθοδος της µέγιστης πιθανοφάνειας 227 X = X = 2 X = 3 θ = θ = Εάν X =, η πιθανοφάνεια L(θ) έχει τιµές L(0) = 0., L() = 0.9 και µεγιστοποιείται για θ =. Ανάλογα, εάν X = 2, η πιθανοφάνεια µεγιστοποιείται για θ = 0 και εάν X = 3 η πιθανοφάνεια µεγιστοποιείται για θ = 0. Εποµένως, ο ε.µ.π. του θ είναι ˆθ(X) µε ˆθ() =, ˆθ(2) = 0, ˆθ(3) = 0. Παράδειγµα (Κανονική κατανοµή - ε.µ.π.) Εστω X = (X,..., X n ), n 2, ένα τυχαίο δείγµα από την κανονική κατανοµή N(µ,σ 2 ). η Περίπτωση: σ 2 γνωστό, µ = θ άγνωστο, θ Θ = R. Τότε f (x;θ) = σ 2π e και εποµένως έχουµε 2σ 2(x θ)2 L(θ) = f(x ;θ) = n f (x i ;θ) = σ n (2π) n/2e lnl(θ) = n 2 lnσ2 n 2 ln(2π) 2σ 2 θ lnl(θ) = σ 2 (x i θ). n 2σ 2 (x i θ) 2, (x i θ) 2, Από την εξίσωση πιθανοφάνειας θ lnl(θ) = 0, προκύπτει n (x i θ) = 0, δηλαδή θ = n n x i = x. Η λύση x ανήκει στο Θ, είναι µοναδική και αντιστοιχεί σε ολικό µέγιστο, επειδή 2 θ 2 lnl(θ) = n σ 2 < 0 για κάθε θ Θ. Άρα ο ε.µ.π. του θ είναι ˆθ(X ) = n n X i = X. Παρατηρούµε ότι ο ε.µ.π. συµπίπτει µε τον αποδοτικό εκτιµητή του θ (ϐλέπε Παράδειγµα 5.2.). 2η Περίπτωση: µ γνωστό, σ 2 = θ άγνωστο, θ Θ = (0, ).

8 228 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Τότε f (x;θ) = θ /2 2π e 2θ (x µ)2 και εποµένως έχουµε L(θ) = f(x ;θ) = n f (x i ;θ) = θ n/2 (2π) n/2e 2θ n (x i µ) 2, lnl(θ) = n 2 lnθ n 2 ln(2π) (x i µ) 2, 2θ θ lnl(θ) = n 2θ + 2θ 2 (x i µ) 2. Χωρίς ϐλάβη της γενικότητας ϑεωρούµε n (x i µ) 2 > 0 (λόγω της συνεχούς κατανοµής των X i ). Τότε, λύνοντας την εξίσωση πιθανοφάνειας θ lnl(θ) = 0, προκύπτει n + θ n (x i µ) 2 = 0, δηλαδή θ = n n (x i µ) 2 = ˆθ (έστω). Η λύση είναι µοναδική, αντιστοιχεί σε µέγιστο, επειδή 2 lnl(θ) θ 2 θ=ˆθ= ṋ n θ2 ˆθ3 (x i µ) 2 = n < 0, το ο- 2ˆθ 2 ποίο είναι ολικό µέγιστο, αφού lim = lim lnl(θ) =. Άρα ο θ 0 +lnl(θ) θ ε.µ.π. τουθ είναι ˆθ(X ) = n n (X i µ) 2. Παρατηρούµε ότι ο ε.µ.π. συ- µπίπτει µε τον αποδοτικό εκτιµητή του θ (ϐλέπε Παράδειγµα 5.2.2). Αν ϑεωρήσουµε το σ ως άγνωστη παράµετρο αντί του σ 2 και ακολουθήσουµε την παραπάνω διαδικασία (οπότε τώρα ϑα παραγωγίσουµε ως προς σ), ϑα n ϐρούµε ως ε.µ.π. τη στατιστική συνάρτηση n (X i µ) 2 = ). ˆθ(X Στην Ενότητα 7.2, όπου µελετάµε γενικές ιδιότητες των ε.µ.π. ϑα διαπιστώσουµε ότι, έχοντας ήδη ϐρει τον ε.µ.π. του σ 2, ˆθ(X ), µπορούµε να ϐρούµε τον ε.µ.π. του σ παίρνοντας κατ ευθείαν την τετραγωνική ϱίζα ˆθ(X ). 3η Περίπτωση: µ,σ 2 άγνωστα, οπότε θ = (µ,σ 2 ) Θ = R (0, ). Τότε f (x;θ) = σ 2π e 2σ 2(x µ)2

9 Μέθοδος της µέγιστης πιθανοφάνειας 229 και εποµένως έχουµε L(θ) = f(x ;θ) = n f (x i ;θ) = σ n (2π) n/2e lnl(θ) = n 2 lnσ2 n 2 ln(2π) 2σ 2 n 2σ 2 (x i µ) 2, (x i µ) 2, σ 2 lnl(θ) = n 2σ 2 + 2σ 4 µ lnl(θ) = σ 2 (x i µ) 2, (x i µ). Ανάλογα µε την προηγούµενη περίπτωση, ϑεωρούµε n (x i µ) 2 > 0 και n (x i x) 2 > 0. Τότε, λύνοντας το σύστηµα των εξισώσεων πιθανοφάνειας lnl(θ) = 0 σ 2 και µ lnl(θ) = 0 έχουµε µ = n n x i = x και σ 2 = n n (x i x) 2. Η λύση είναι µοναδική και αντιστοιχεί σε ολικό µέγιστο (δικαιολογείται παρακάτω). Άρα οι ε.µ.π. των µ,σ 2 είναι αντίστοιχα ˆµ = X, ˆσ 2 = n n (X i X) 2. Παρατηρούµε ότι ο ε.µ.π. του σ 2 διαφέρει από τον ΑΟΕ εκτιµητή που είναι n i (X i X) 2 (ϐλέπε Παράδειγµα 6.3.0). Θα αποδείξουµε τώρα ότι η τιµή ˆθ = (ˆµ, ˆσ 2 ) όντως µεγιστοποιεί ολικά τη συνάρτηση ln L(θ). Κατ αρχάς, ας συµβολίσουµε τη συνάρτηση πιθανοφάνειας L(µ,σ 2 ) αντί L(θ), αφού εξ άλλου θ = (µ,σ 2 ). Τότε για κάθε σ 2 > 0, έχουµε lnl(µ,σ 2 ) lnl( x,σ 2 ), µ R, (7.7) επειδή, όπως είδαµε στην η περίπτωση, x είναι η ε.µ.π. του µ για κάθε δεδοµένο (γνωστό), αλλά οποιοδήποτε σ 2 > 0. Περαιτέρω και κατ αναλογία µε την 2η περίπτωση, η συνάρτησηlnl( x,σ 2 ) = n 2 lnσ2 n 2 ln(2π) n (xi x) 2, µεγιστοποιείται µοναδικά για σ 2 = ˆσ 2 = n n (xi x) 2. 2σ 2 Εποµένως, έχουµε lnl( x,σ 2 ) lnl( x,ˆσ 2 ), σ 2 > 0. (7.8)

10 230 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Τελικά, συνδυάζοντας τις (7.7) και (7.8), προκύπτει ότι lnl(µ,σ 2 ) lnl( x,ˆσ 2 ), (µ,σ 2 ) R (0, ), δηλαδή το σηµείο( x,ˆσ 2 ) µεγιστοποιεί µοναδικά τη συνάρτησηlnl(µ,σ 2 ). Σηµειώνουµε, ότι αυτός ο τρόπος απόδειξης, που αποφεύγει τη χρησιµοποίηση του πίνακα των δεύτερων παραγώγων, είναι γενικός, δεν εξαρτάται δηλαδή από τη συγκεκριµένη συνάρτηση πιθανοφάνειας και ϑα τον χρησιµοποιήσουµε και στο Παράδειγµα Παράδειγµα (Κατανοµή Poisson - ε.µ.π.) ΕστωX = (X,...,X n ), ένα τυχαίο δείγµα από την κατανοµή Poisson, P(θ), θ Θ = (0, ). Εχουµε και εποµένως f (x;θ) = e θθx x!, x = 0,,2,... L(θ) = f(x ;θ) = n f (x i ;θ) = e nθ θ n x i x! x n!. Παρατηρούµε, ότι εάν n x i = 0 x i = 0, i =,...,n, τότε L(θ 0 ) = e nθ και sup θ Θ L(θ 0 ) =, το οποίο όµως δεν επιτυγχάνεται για καµία τιµή του θ (0, ), αφού 0 < e nθ <, για κάθε θ > 0. Άρα, εάν η παρατηρηθείσα τιµή του X = (X,...,X n ) είναι 0 = (0,...,0), τότε δεν υπάρχει max θ Θ L(θ), δηλαδή για X = 0 δεν υπάρχει ε.µ.π. του θ. Εάν όµως n x i > 0, δηλαδή η παρατηρηθείσα τιµή του X είναι διάφορη του 0, τότε lnl(θ) = nθ+ ( n ) x i lnθ ln(x! x n!), θ lnl(θ) = n+ θ x i. Λύνοντας την εξίσωση πιθανοφάνειας θ lnl(θ) = 0 ως προς θ, έχουµε θ = n n x i = x. Η λύση είναι µοναδική, αντιστοιχεί σε ολικό µέγιστο,

11 Μέθοδος της µέγιστης πιθανοφάνειας 23 επειδή 2 lnl(θ) = n θ 2 θ 2 x i < 0 για κάθε θ Θ και ανήκει στο Θ = (0,+ ), αφού n x i > 0. Τελικά έχουµε ότι ο ε.µ.π. του θ είναι δεν υπάρχει, εάν = ) = ˆθ(X X 0. X, εάν X 0 Η πιθανότητα µη ύπαρξης του ε.µ.π. του θ είναι P θ (δεν υπάρχει ο ε.µ.π. του θ) = P θ = 0 ) = P θ (X = 0,...,X n = 0) (X n n = P θ (X i = 0) = e θ = e nθ > 0, µε lim n P θ (δεν υπάρχει ο ε.µ.π. του θ) = 0. Στο παράδειγµα λοιπόν αυτό υπάρχει µεν ϑετική πιθανότητα να µην υπάρχει ο ε.µ.π. της παρα- µέτρου θ, αλλά το «παρήγορο» είναι ότι η πιθανότητα αυτή συγκλίνει στο µηδέν µε εκθετική ταχύτητα, καθώς το µέγεθος του δείγµατος n. Με άλλα λόγια, ο ε.µ.π. του θ υπάρχει µε πιθανότητα που τείνει στο, όταν n. Παράδειγµα (Οµοιόµορφη κατανοµή µε ένα άκρο γνωστό - ε.µ.π.) Εστω X = (X,...,X n ) ένα τυχαίο δείγµα από την οµοιόµορφη κατανοµή U[0,θ], θ Θ = (0, ). Εχουµε θ,0 x θ f (x;θ) = 0, διαφορετικά, οπότε n L(θ) = f(x ;θ) = f (x i ;θ) θ, 0 x = n i θ,i =,...,n 0, διαφορετικά θ, θ x = n (n) = max(x,...,x n ) 0, διαφορετικά.

12 232 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών L(θ) x (n) θ Σχήµα 7.: Συνάρτηση πιθανοφάνειας για την οµοιόµορφη κατανοµή Το µέγιστο της L(θ) ϑα αναζητηθεί, προφανώς, στον ϑετικό κλάδο, δηλαδή είναι το µέγιστο της συνάρτησης θ n για θ x (n), που είναι γνησίως ϕθίνουσα ως προς θ. Συνεπώς, το µέγιστο επιτυγχάνεται, ό- ταν θ = x (n) (ϐλέπε Σχήµα 7.). Άρα ο ε.µ.π. του θ είναι ˆθ(X ) = X (n) = max(x,...,x n ). Σηµειώνουµε ότι ο ΑΟΕ εκτιµητής του θ είναι n+ n X (n) (ϐλέπε Παράδειγµα 6.3.3). Επίσης παρατηρούµε ότι P θ (ˆθ(X ) θ) = P θ (X (n) θ) = P θ (X θ,x 2 θ,...,x n θ) = P θ (X θ)p θ (X 2 θ)...p θ (X n θ) = [P θ (X θ)] n =, δηλαδή µε πιθανότητα, ισχύει ˆθ(X ) θ, το οποίο σηµαίνει ότι στην προκειµένη περίπτωση ο ε.µ.π. υποεκτιµά την άγνωστη παράµετρο θ. Η χρησιµοποίηση, εδώ, του ε.µ.π. γνωρίζοντας ότι το θ είναι µε πιθανότητα µεγαλύτερο από την εκτίµηση του δεν πρέπει γενικά να περάσει απαρατήρητη, αντίθετα πρέπει να προβληµατίσει τον χρήστη, ανάλογα µε το υπό µελέτη ϕυσικό πρόβληµα. Περαιτέρω, είναι εύκολο να δειχθεί, χρησιµοποιώντας τις σχέσεις E θ X (n) = n n+ θ και Var n θx (n) = (n+2)(n+) 2θ2, (η απόδειξη των οποίων ϐασίζεται στην κατανοµή της X (n), ϐλέπε Παράδειγµα 6.3.3), ότι ενώ ΜΤΣ( n+ n X (n);θ) = Var θ ( n+ n X (n)) = ΜΤΣ(ˆθ(X );θ) = Var θ (X (n) )+(E θ X (n) θ) 2 = n(n+2) θ2, 2 (n+)(n+2) θ2. Εποµένως ο ΑΟΕ εκτιµητής είναι καλύτερος από τον ε.µ.π. µε κριτήριο το ΜΤΣ. Εάν τώρα ϑεωρήσουµε την οµοιόµορφη κατανοµή U(0, θ), δηλαδή

13 Μέθοδος της µέγιστης πιθανοφάνειας 233 στο ανοικτό διάστηµα (0,θ), τότε έχουµε θ, θ > x L(θ) = n (n) 0, διαφορετικά. Σε αυτήν την περίπτωση sup L(θ) = θ>x (n) x n, το οποίο όµως δεν επιτυγχάνεται για καµία τιµή του θ (x (n), ), άρα δεν υπάρχει ο ε.µ.π. του θ. (n) Βλέπουµε, εδώ, ότι µία µη ουσιαστική αλλαγή στον ορισµό της (συνεχούς) πυκνότητας των δεδοµένων, επέφερε δραστική µεταβολή στην εκτίµηση του θ µε τη µέθοδο της µέγιστης πιθανοφάνειας. Παράδειγµα (Οµοιόµορφη κατανοµή µε άγνωστα άκρα - ε.µ.π.) Εστω X = (X,...,X n ) ένα τυχαίο δείγµα από την οµοιόµορφη κατανο- µή U[θ,θ+], θ Θ = R. Εχουµε, θ x θ+ f (x;θ) = 0, διαφορετικά. Εποµένως, n L(θ) = f(x ;θ) = f (x i ;θ), θ x i θ+, i =,...,n = 0, διαφορετικά, x (n) θ x () =, 0, διαφορετικά όπου x () = min(x,...,x n ) και x (n) = max(x,...,x n ). Προφανώς, max θ Θ L(θ) =, το οποίο επιτυγχάνεται για οποιαδήποτε τιµή του θ στο διάστηµα [x (n),x () ]. Συνεπώς, κάθε εκτιµητής ˆθ(X ) που ικανοποιεί τη σχέση X (n) ˆθ(X ) X () είναι ε.µ.π. του θ. Συνεπώς υπάρχουν άπειροι εκτιµητές µέγιστης πιθανοφάνειας του θ. Μερικοί από αυτούς

14 234 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών είναι X (), X (n), c(x (n) )+( c)x (), όπου c σταθερά, 0 c, c(x )(X (n) )+ ( c(x ) ) X (), όπου c(x ) είναι στατιστική συνάρτηση µε 0 c(x ) (π.χ. c(x ) = cos 2 X ). Παράδειγµα (Κατανοµή Γάµµα - ε.µ.π.) ΕστωX = (X,...,X n ), n 2, ένα τυχαίο δείγµα από την κατανοµή Γάµµα G(α,β) µε α,β άγνωστα, οπότε θ = (α,β) (0, ) (0, ). Εχουµε f (x;θ) = Γ(α)β αxα e x β, x > 0. Εποµένως, L(θ) = f(x ;θ) = n f (x i ;θ) ( n ) α e = [ ] nβ x n Γ(α) nα i β x i, lnl(θ) = nlnγ(α) nαlnβ +(α ) lnx i β x i, α lnl(θ) = (α) nγ Γ(α) nlnβ + lnx i, β lnl(θ) = nα β + β 2 x i. Θέτοντας α lnl(θ) = 0 και β lnl(θ) = 0, έχουµε n Γ (α) Γ(α) nlnβ + lnx i = 0, αβ = x. Είναι δυνατόν να δειχθεί ότι το σύστηµα των δύο αυτών εξισώσεων πιθανοφάνειας έχει ακριβώς µία λύση και η λύση αυτή αντιστοιχεί σε ολικό

15 Μέθοδος της µέγιστης πιθανοφάνειας 235 µέγιστο της συνάρτησης L(θ) (ϐλέπε Ηλιόπουλος, 203, σελ. 5). Επο- µένως υπάρχουν οι ε.µ.π. των α,β και είναι µοναδικοί. Για τη λύση του συστήµατος παρατηρούµε ότι β = x α, οπότε n Γ (α) Γ(α) +nlnα nln x+ lnx i = 0. Η λύση της τελευταίας εξίσωσης δεν υπάρχει σε αναλυτική µορφή, µπορεί όµως η εξίσωση να λυθεί µε µεθόδους αριθµητικής ανάλυσης και έτσι να υπολογιστεί (κατά προσέγγιση) η τιµή ˆα(x,...,x n ), που ικανοποιεί την εξίσωση, δοθέντων των x,...,x n. Αυτή η τιµή είναι η ε.µ.π. του α. Κατόπιν, η ε.µ.π. του β για X = x είναι ˆβ(x,...,x n ) = x ˆα(x,...,x n). Παράδειγµα (Οµοιόµορφη κατανοµή µε δύο άγνωστες παρα- µέτρους - ε.µ.π.) Εστω X = (X,...,X n ), n 2, ένα τυχαίο δείγ- µα από την οµοιόµορφη κατανοµή U[θ,θ 2 ] µε θ,θ 2 άγνωστα, οπότε θ = (θ,θ 2 ) Θ = { (θ,θ 2 ): θ i R,θ < θ 2 }. Εχουµε Εποµένως, L(θ) = f(x ;θ) = θ f (x;θ) = 2 θ, θ x θ 2. 0, διαφορετικά n f (x i ;θ) (θ = 2 θ ), θ n x i θ 2, i =,...,n 0, διαφορετικά (θ = 2 θ ), θ n x () x (n) θ 2, 0, διαφορετικά

16 236 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών όπου x () = min(x,...,x n ) και x (n) = max(x,...,x n ). Παρατηρούµε ότι για να µεγιστοποιήσουµε τη συνάρτηση πιθανοφάνειας L(θ) πρέπει να µεγιστοποιήσουµε τη συνάρτηση (θ 2 θ ) γιαθ n x (),θ 2 x (n). Επειδή η συνάρτηση (θ 2 θ ) n είναι γνησίως ϕθίνουσα ως προς θ 2 και γνησίως αύξουσα ως προςθ, το µέγιστο της επιτυγχάνεται γιαθ 2 = x (n),θ = x (). Άρα οι ε.µ.π. των θ,θ 2 είναι ˆθ ) = X () = min(x,...,x n ) και (X ˆθ 2 ) = X (n) = max(x,...,x n ). Σηµειώνουµε ότι ο (X ˆθ ) υπερεκτιµά (X το θ, ενώ ο ˆθ 2 (X ) υποεκτιµά το θ 2 (όπως στο Παράδειγµα 7..4). Παράδειγµα ( ιπαραµετρική εκθετική κατανοµή - ε.µ.π.) Εστω X = (X,...,X n ), n 2, ένα τυχαίο δείγµα από τη διπαραµετρική εκθετική κατανοµή µε πυκνότητα σ e x µ σ για x µ και 0 για x < µ, όπου µ R και σ > 0 είναι σταθερές. Η κατανοµή αυτή αναφέρεται και ως µετατοπισµένη εκθετική, επειδή, ϑέτοντας Y i = X i µ, η Y i έ- χει εκθετική κατανοµή E(σ), οπότε X i = Y i + µ είναι η «µετατόπιση» της Y i κατά µ. Από αυτήν την παράσταση της X i, προκύπτει αµέσως ότι EX i = EY i +µ = σ +µ και VarX i = Var(Y i +µ) = VarY i = σ 2. Στην πράξη η κατανοµή ϐρίσκει εφαρµογές ως µοντέλο χρόνου Ϲωής συστήµατος, (όπως εξ άλλου και η εκθετική κατανοµή). Σε αυτήν την περίπτωση, επειδή P θ (X i µ) =, η σταθερά µ παριστάνει τον ελάχιστο χρόνο Ϲωής του συστήµατος, ενώ σε κάθε περίπτωση η σταθερά σ είναι η τυπική απόκλιση της κατανοµής. η Περίπτωση: σ γνωστό, µ = θ άγνωστο, θ Θ = R. Τότε οπότε έχουµε L(θ) = f(x ;θ) = σ f (x;θ) = e x θ σ, x θ, 0, διαφορετικά n f (x i ;θ) n = σ e (x σ i θ) n, x i θ, i =,...,n, 0, διαφορετικά

17 Μέθοδος της µέγιστης πιθανοφάνειας 237 n = σ e x σ i + nθ σ n, x () θ, 0, διαφορετικά όπου x () = min(x,...,x n ). Προφανώς, το µέγιστο της L(θ) ϑα αναζητηθεί στο ϑετικό κλάδο, n σ e x σ i + nθ n σ για θ (,x () ]. Η συνάρτηση αυτή είναι γνησίως αύξουσα ως προς θ, (επειδή σ > 0) και εποµένως το µέγιστό της επιτυγχάνεται για θ = x (). Συνεπώς, ο ε.µ.π. του θ είναι ˆθ(X ) = X (). Σηµειώνουµε ότι θ X () (µε πιθανότητα ) δηλαδή στην προκειµένη περίπτωση ο ε.µ.π. υπερεκτιµά την άγνωστη παράµετρο θ, γεγονός που στην πράξη χρήζει προσοχής, ανάλογα µε το υπό µελέτη ϕυσικό πρόβληµα. 2η Περίπτωση: µ γνωστό, σ = θ άγνωστο, θ Θ = (0, ). Τότε οπότε έχουµε θ f (x;θ) = e x µ θ, x µ, 0, διαφορετικά L(θ) = f(x ;θ) = n f (x i ;θ) n = θ e (x θ i µ) n, x () µ 0, διαφορετικά. Για την εύρεση του ε.µ.π. του θ, πρέπει να µεγιστοποιήσουµε τη συνάρτηση L (θ) = θ n e (x θ i µ) n ή ισοδύναµα το λογάριθµο της, lnl (θ) = nlnθ θ (x i µ) για θ Θ. Χωρίς ϐλάβη της γενικότητας, ϑεωρούµε n (xi µ) > 0, αφού P(X i µ) = και η κατανοµή των X i είναι συνεχής. Θέτοντας

18 238 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών θ lnl (θ) = 0, προκύπτει η εξίσωση n θ + n (xi µ) = 0, η οποία έχει µοναδική λύση ˆθ(x ) = n n (xi µ). Η λύση αυτή αντιστοιχεί σε µέγιστο, επειδή 2 lnl θ 2 (θ) = n θ=ˆθ(x ) ˆθ 2 (x ) < 0. Επιπροσθέτως, lnl (θ) = θ 0 lnl (θ) = και συνεπώς η λύση ˆθ(x ) είναι ϑέση ολικού µεγίστου. θ Άρα ο ε.µ.π. του θ είναι ˆθ(X ) = n n (X i µ). θ 2 3η Περίπτωση: µ, σ άγνωστα, θ = (µ,σ) Θ = R (0, ). Τότε οπότε έχουµε σ f (x;θ) = e x µ σ, x µ, 0, διαφορετικά L(θ) = f(x ;θ) = n f (x i ;θ) n = σ e x σ i + nµ σ n, x () µ 0, διαφορετικά. Ανάλογα µε τις προηγούµενες περιπτώσεις πρέπει να µεγιστοποιήσουµε τη n συνάρτησηl (θ) = σ e x σ i + nµ n σ ως προςµκαι σ, για µ [x (), ) και σ (0, ). Παρατηρούµε ότι η συνάρτηση L (θ) είναι γνησίως αύξουσα ως προς µ και εποµένως για κάθε σ > 0, L (θ) = L (µ,σ) L (x (),σ) = n x σ i + nx () σ σ ne n (x σ i x () ) σ ne. (7.9) = Περαιτέρω, η συνάρτηση L (x (),σ) µπορεί να µεγιστοποιηθεί ως προς σ, ακριβώς όπως η συνάρτηση L (θ) της 2ης Περίπτωσης ως προς θ, αφού είναι η ίδια συνάρτηση µε µεταβλητήσ αντίθ καιx () αντίµ. Κατ αναλογία µε την προηγούµενη περίπτωση ϑεωρούµε n (xi x () ) > 0. Εποµένως το µέγιστο της L (x (),σ) επιτυγχάνεται για σ = n n (xi x () ) = ˆσ (έστω), οπότε έχουµε L (x (),σ) L (x (),ˆσ), σ > 0. (7.0)

19 Μέθοδος της µέγιστης πιθανοφάνειας 239 Συνδυάζοντας τις (7.9) και (7.0) προκύπτει ότι L (µ,σ) L (x (),ˆσ), µ [x (), ), σ > 0 και η ισότητα ισχύει αν και µόνον αν µ = x () και σ = ˆσ, το οποίο τελικά σηµαίνει ότι το µέγιστο της L (µ,σ) επιτυγχάνεται για (µ,σ) = (x (),ˆσ). Άρα ο ε.µ.π. των µ και σ είναι ˆµ = X () (που υπερεκτιµά το µ) και ˆσ = σ n (X i X () ). Παράδειγµα (Κανονική κατανοµή µε περιορισµένο παραµετρικό χώρο - ε.µ.π.) Εστω X = (X,...,X n ), n 2, ένα τυχαίο δείγµα από την κανονική κατανοµή N(θ,σ 2 ), όπου σ 2 είναι γνωστό, θ είναι ά- γνωστο και θ Θ = [θ,θ 2 ], µε θ και θ 2 δοθείσες (γνωστές) σταθερές. Η περίπτωση αυτή διαφέρει από την η Περίπτωση του Παραδείγµατος 7..2, γιατί εδώ η άγνωστη παράµετρος (µέση τιµή) θ «περιορίζεται» στο διάστηµα[θ,θ 2 ] αντί να έχει τιµή στο(, ). Στην πράξη, τα δεδοµένα X µπορούν να αφορούν ύψη ενός δείγµατος από έναν πληθυσµό, οπότε το θ παριστάνει ένα κάτω ϕράγµα του µέσου ύψους αυτού του πληθυσµού και αντίστοιχα το θ 2 είναι ένα άνω ϕράγµα του µέσου ύψους. Οπως στο Παράδειγµα 7..2 (η Περίπτωση) πρέπει να µεγιστοποιήσουµε τη συνάρτηση L(θ) = σ n (2π) n/2e ή ισοδύναµα το λογάριθµο της 2σ 2 n (x i θ) 2 lnl(θ) = n 2 lnσ2 n 2 ln(2π) 2σ 2 (x i θ) 2, όµως, για θ [θ,θ 2 ] και όχι για θ (, ). Θέτοντας θ lnl(θ) = 0 προκύπτει η εξίσωση n (x i θ) = 0 µε µοναδική λύση θ = n n x i = x. Αυτή η λύση αντιστοιχεί σε µέγιστο της L(θ) για θ (, ), όπως διαπιστώθηκε στο Παράδειγµα 7..2 (η Περίπτωση), και προφανώς αντιστοιχεί σε µέγιστο τηςl(θ) γιαθ [θ,θ 2 ], αν x [θ,θ 2 ]. Αν όµως x / [θ,θ 2 ], τότε πρέπει να αναζητηθεί σηµείο του [θ,θ 2 ] που µεγιστοποιεί την L(θ).

20 240 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Κατ αρχάς παρατηρούµε ότι ηlnl(θ) είναι γνησίως αύξουσα στο(, x] και γνησίως ϕθίνουσα στο [ x, ). Αν x < θ, τότε η lnl(θ), ως γνησίως ϕθίνουσα στο [θ,θ 2 ] [ x, ) έχει µέγιστο για θ = θ. Ανάλογα, αν x > θ 2 η lnl(θ), ως γνησίως αύξουσα στο [θ,θ 2 ] (, x] έχει µέγιστο για θ = θ 2. Συµπεραίνουµε λοιπόν ότι ο ε.µ.π. του θ είναι θ, X < θ ) = x,θ ˆθ(X X θ 2 θ 2, X > θ Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας Στην ενότητα αυτή µελετάµε γενικές ιδιότητες των εκτιµητών µέγιστης πι- ϑανοφάνειας.. Είναι σηµαντικό για έναν εκτιµητή να είναι συνάρτηση της (ελάχιστης) επαρκούς στατιστικής συνάρτησης, γιατί, αν δεν είναι, τότε είναι µη αποδεκτός και η Rao - Blackwell ϐελτίωσή του είναι καλύτερος εκτιµητής µε κριτήριο το ΜΤΣ (Πρόταση 6.2.). Υπό αυτό το πρίσµα, η αξία της αρχής της µέγιστης πιθανοφάνειας ϑα ετίθετο τουλάχιστον υπό αµφισβήτηση, αν ο ε.µ.π. δεν ήταν συνάρτηση της (ελάχιστης) επαρκούς στατιστικής συνάρτησης. Ως πρώτη και ϐασική ιδιότητα, στην επόµενη πρόταση, αποδεικνύουµε ότι ο ε.µ.π. είναι συνάρτηση της (ελάχιστης) επαρκούς στατιστικής συνάρτησης, εφ όσον είναι µοναδικός. Πρόταση Εστω T(X ) επαρκής στατιστική συνάρτηση και ˆθ(X ) ε.µ.π. του θ, ο οποίος είναι µοναδικός. Τότε ˆθ(X ) είναι συνάρτηση του T(X ). Απόδειξη. Από το παραγοντικό κριτήριο, η πυκνότητα του X, f(x ;θ), επιδέχεται την παραγοντοποίηση f(x ;θ) = q ( T(x ),θ ) h(x ), x, θ Θ, (7.)

21 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 24 όπου q και h είναι µη αρνητικές συναρτήσεις και η h δεν εξαρτάται από το θ. Επειδή ο ε.µ.π. ˆθ(X ) είναι µοναδικός, για κάθε τιµήx τουx, η εκτίµηση ˆθ(x ) µεγιστοποιεί µοναδικά, ως προς θ, τη συνάρτηση πιθανοφάνειας L(θ) = f(x ;θ) ή ισοδύναµα, λόγω της (7.), µεγιστοποιεί µοναδικά την q(t(x ),θ) αφού h(x ) 0 και η h δεν εξαρτάται από το θ. Εχουµε λοιπόν ότι ή ϑέτοντας T(x ) = t q(t(x ), ˆθ(x )) = maxq(t(x ),θ), θ Θ x q(t, ˆθ(x )) = maxq(t,θ), x. (7.2) θ Θ Για να δείξουµε ότι ο ˆθ(X ) είναι συνάρτηση του T(X ), αρκεί να δείξουµε ότι, αν και είναι τιµές του, τέτοιες ώστε x x 2 T(x ) = τότε T(x 2), X ισχύει ˆθ(x ) = ˆθ(x 2 ). Εστω λοιπόν τέτοια x και x 2 και ας ϑέσουµε t 0 = ) = Τότε από την (7.2) για = και = παίρνουµε, T(x T(x 2). x x 2 x x αντίστοιχα, q(t 0, )) = max ˆθ(x q(t 0,θ) και q(t 0, )) = max θ Θ ˆθ(x 2 q(t 0,θ), θ Θ δηλαδή η συνάρτηση q(t 0,θ) µεγιστοποιείται ως προς θ στα σηµεία ˆθ(x ) και ˆθ(x 2 ). Οµως ) = ). ˆθ(x ˆθ(x 2 η q(t 0,θ) µεγιστοποιείται µοναδικά ως προς θ, άρα Παρατήρηση Η συνθήκη της µοναδικότητας είναι απαραίτητη για την ισχύ της Πρότασης Στο Παράδειγµα 7..5, όπου υπάρχουν άπειροι ε.µ.π. του θ, η (ελάχιστη) επαρκής στατιστική συνάρτηση είναι T(X ) = (X (),X (n) ), διδιάστατη ενώ η παράµετρος είναι πραγµατική. Οι ε.µ.π. X (), X (n), 2 X () + 2 (X (n) ) είναι συναρτήσεις του T(X ), ενώ ο ε.µ.π. (cos 2 X )X () +(sin 2 X )(X (n) ) δεν είναι συνάρτηση του T(X ). Σε όλα τα υπόλοιπα παραδείγµατα της Ενότητας 7., ο ε.µ.π. του θ είναι µοναδικός και όντως είναι συνάρτηση της (ελάχιστης) επαρκούς στατιστικής συνάρτησης.

22 242 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών 2. Θα παρατηρήσατε ότι ο ε.µ.π. ορίστηκε (µόνον) για την άγνωστη παρά- µετροθ και όχι γενικότερα για µία άγνωστη τιµήg(θ). Σύµφωνα, όµως, µε τον Ορισµό 7.. για να έχει έννοια ο ε.µ.π. του ξ = g(θ), ϑα πρέπει στην πυκνότητα των δεδοµένων X, f(x ;θ) θ Θ, να γίνει αλλαγή παραµέτρου από θ σε ξ και εν συνεχεία να µεγιστοποιηθεί η συνάρτηση πιθανοφάνειας ως προς ξ. Αυτή η αλλαγή παραµέτρου µπορεί να πραγµατοποιηθεί αµέσως στην περίπτωση που ηg είναι συνάρτηση και αυτή ϑα εξετάσουµε αρχικά. Εστω λοιπόν Ξ = g(θ) ο (νέος) παραµετρικός χώρος για την (νέα) παράµετρο ξ = g(θ), δηλαδή το σύνολο Ξ είναι η εικόνα του Θ µέσω της g. Επειδή η g είναι, αντιστρέφεται, άρα θ = g (ξ) και η συνάρτηση πιθανοφάνειας γίνεται L(θ) = f(x ;θ) = f(x ;g (ξ)) = f (x ;ξ) = L (ξ), (7.3) όπου f (x ;ξ) είναι η πυκνότητα των δεδοµένων X µε παράµετρο ξ Ξ και L (ξ) η αντίστοιχη συνάρτηση πιθανοφάνειας, η µεγιστοποίηση της οποίας ως προς ξ Ξ παρέχει τον ε.µ.π. του ξ, έστω ˆξ(X ). Η επόµενη πρόταση αποδεικνύει ότι ο εκτιµητής ˆξ(X ) υπολογίζεται κατ ευθείαν από τη σχέση ˆξ(X ) = g(ˆθ(x )), όπου ˆθ(X ) είναι ε.µ.π. του θ, αντικαθιστώντας δηλαδή στον τύπο της g(θ), το θ µε ˆθ (χωρίς να είναι απαραίτητη η µεγιστοποίηση της L (ξ) ως προς ξ). Η ιδιότητα αυτή δηλώνει ότι η αρχή της µέγιστης πιθανοφάνειας είναι συµβατή µε την αρχή της αντικατάστασης (ϐλέπε Ενότητα 3.3). Πρόταση Εστω ˆθ(X ) ε.µ.π. του θ και g µία συνάρτηση ορισµένη στο Θ. Τότε ο εκτιµητής g(ˆθ(x )) είναι ε.µ.π. του g(θ). Απόδειξη. Σύµφωνα µε τον Ορισµό 7.. του ε.µ.π., αρκεί να δείξουµε ότι ισχύει η σχέση L (g(ˆθ(x ))) = max ξ Ξ L (ξ), x (7.4) όπου, όπως παραπάνω,ξ = g(θ) καιξ = g(θ). Από την (7.3) παίρνουµε L (g(ˆθ(x ))) = L(ˆθ(x )),

23 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 243 ενώ από τον ορισµό του ˆθ(x ), σχέση (7.4), έχουµε και συνεπώς Επίσης από την (7.3) προκύπτει ότι L(ˆθ(x )) = max θ Θ L(θ) L (g(ˆθ(x ))) = maxl(θ) (7.5) θ Θ maxl(θ) = max θ Θ ξ Ξ L (ξ), (7.6) αφού L(θ) = L (ξ) και το Θ απεικονίζεται στο Ξ µέσω του µετασχηµατισµού ξ = g(θ). Συνδυάζοντας την (7.5) µε την (7.6), παίρνουµε την (7.4). Στην περίπτωση που η g δεν είναι, η εξίσωση ξ = g(θ) δεν έχει µοναδική λύση ως προς θ και άρα δεν µπορεί να γίνει αλλαγή µεταβλητής από θ σε ξ στην πυκνότητα f(x ;θ). Αυτό συνεπάγεται ότι δεν έχει έννοια η πιθανοφάνεια, ως συνάρτηση του ξ. Συνεπώς για να οριστεί ο ε.µ.π. του ξ = g(θ) για αυθαίρετη συνάρτηση του g, απαιτείται να δοθεί πρώτα ένας γενικότερος ορισµός της πιθανοφάνειας ως συνάρτησης του ξ = g(θ). Εστω λοιπόνξ = g(θ) και για κάθεξ Ξ ορίζουµεθ ξ = {θ Θ : g(θ) = ξ} και L (ξ) = sup θ Θ ξ L(θ) = sup θ Θ ξ f(x ;θ). (7.7) Η συνάρτησηl (ξ), ξ Ξ, λέγεται γενικευµένη συνάρτηση πιθανοφάνειας ως προς ξ και ο ε.µ.π. του ξ = g(θ) είναι η τιµή ˆξ που µεγιστοποιεί τη συνάρτηση L (ξ) για ξ Ξ. Εχουµε δηλαδή τον εξής γενικό ορισµό του ε.µ.π. Ορισµός Εστω ξ = g(θ), όπου g αυθαίρετη συνάρτηση. Ο εκτιµητής ˆξ(X ) ονοµάζεται εκτιµητής µέγιστης πιθανοφάνειας (ε.µ.π.) του ξ, εάν για κάθε τιµή x του X ισχύει η σχέση L (ˆξ(x ) ) = max ξ Ξ L (ξ). (7.8)

24 244 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών Σηµειώνουµε ότι στην περίπτωση g(θ) = θ, ο Ορισµός 7.2. συµπίπτει µε τον Ορισµό 7.., ενώ, εάν γενικότερα η g είναι, τότε η L (ξ) στην (7.7) συµπίπτει µε την L (ξ) στην (7.3) αφού Θ ξ = {g (ξ)}, και ο Ορισµός 7.2. ανάγεται στον Ορισµό 7... Η επόµενη πρόταση επεκτείνει την Πρόταση για συναρτήσεις g που δεν είναι κατ ανάγκη. Πρόταση Εστω ˆθ(X ) ε.µ.π. του θ και g αυθαίρετη συνάρτηση ορισµένη στο Θ. Τότε, ο εκτιµητής g(ˆθ(x )) είναι ε.µ.π. του g(θ). Απόδειξη. Σύµφωνα µε τον Ορισµό 7.2., αρκεί να δείξουµε ότι ισχύει η σχέση L (g(ˆθ(x ))) = max ξ Ξ L (ξ), x, (7.9) όπου,ξ = g(θ) καιl είναι η συνάρτηση στη σχέση (7.7). Από την (7.7) έχουµε L (g(ˆθ(x ))) = sup L(θ). (7.20) θ Θ g(ˆθ(x )) Προφανώς, ˆθ(x ) Θ g(ˆθ(x )) = {θ Θ : g(θ) = g(ˆθ(x ))} και επειδή η τιµή ˆθ(x ) µεγιστοποιεί την συνάρτηση L(θ) για θ Θ, ειδικά µεγιστοποιεί την L(θ) και για θ Θ g(ˆθ(x )), δηλαδή sup θ Θ g(ˆθ(x )) L(θ) = L(ˆθ(x )) = maxl(θ). (7.2) θ Θ Από τις (7.20) και (7.2) συνάγουµε ότι L (g(ˆθ(x ))) = maxl(θ). (7.22) θ Θ Οµως, από τον ορισµό τηςl (ξ) στην (7.7) προκύπτει ότι οι συναρτήσεις L (ξ), ξ Ξ και L(θ), θ Θ έχουν το ίδιο supremum, δηλαδή sup ξ Ξ L (ξ) = sup θ Θ Άρα, από τις (7.22) και (7.23) έχουµε L(θ) = maxl(θ). (7.23) θ Θ L ))) = supl (g(ˆθ(x (ξ) ξ Ξ

25 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 245 που είναι η σχέση (7.9) αφού g(ˆθ(x )) Ξ. Παρατήρηση Ορισµένοι ερευνητές ορίζουν κατ ευθείαν ως ε.µ.π. του ξ = g(θ) τον εκτιµητή ˆξ = g(ˆθ), όπου ˆθ είναι ε.µ.π. του θ, για κάθε συνάρτηση g. Ο ορισµός αυτός είναι συµβατός µε τις Προτάσεις 7.2. και Για περαιτέρω µελέτη όσον αφορά τον ορισµό του ε.µ.π. παραπέµπουµε στους Zehna (966), Berk (967), Scholz (980, 2006) και Efron (982). Παράδειγµα (κατανοµή Bernoulli - ε.µ.π. του odds ratio θ θ ) Εστω X = (X,...,X n ), n 2, ένα τυχαίο δείγµα από την κατανοµή Bernoulli B(,θ), θ Θ = (0,). Εχουµε f (x;θ) = θ x ( θ) x, x = 0, και εποµένως L(θ) = f(x ;θ) = n f (x i ;θ) n n x i = θ ( θ) n x i, x i = 0,, i =,...,n 0, διαφορετικά. Γιαx i = 0,, έχουµε n xi {0,,...,n}. Παρατηρούµε ότι, αν n xi = n (δηλαδή x i =, i =,...,n), τότε supl(θ) = supθ n =, το οποίο όµως δεν επιτυγχάνεται για καµία τιµή του θ Θ = (0,), αφού 0 < θ n <. Εποµένως, δεν υπάρχει το maxl(θ) και συνεπώς δεν υπάρχει θ Θ ο ε.µ.π. του θ, αν n xi = n. Το ίδιο ϕαινόµενο παρατηρείται και αν n xi = 0 (δηλαδή x i = 0, i =,...,n) επειδή supl(θ) = sup( θ) n = θ Θ θ Θ, αλλά 0 < ( θ) n < για κάθε θ (0,). Αυτή η «παθολογική» συµπεριφορά που εξάλλου έχει πιθανότητα που τείνει στο 0, µπορεί να διορθωθεί, αν ϑεωρήσουµε ως παραµετρικό χώρο το κλειστό διάστηµα Θ = [0,], δηλαδή ϑεωρήσουµε ότι η πιθανότητα «επιτυχίας»θ µπορεί να είναι και 0 ή. Σε αυτήν την περίπτωση αν n xi = n, έχουµε max L(θ) = 0 θ max 0 θ θn = = L() και ανάλογα αν n xi = 0, έχουµε max L(θ) = 0 θ θ Θ θ Θ

26 246 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών max 0 θ ( θ)n = = L(0). Αποµένει λοιπόν να µεγιστοποιήσουµε την x i συνάρτηση L(θ) και συγκεκριµένα τον κλάδο L (θ) = θ ( θ) n x i ως προςθ Θ για0 < n xi < n. Προφανώς το µέγιστο δεν επιτυγχάνεται για θ = 0 ή θ =, γιατί L(0) = L() = 0, άρα παρακάτω ϑεωρούµε θ (0,). Εχουµε και lnl (θ) = x i lnθ+(n n θ lnl (θ) = x i θ n x i )ln( θ) n n θ x i. (7.24) Η λύση της εξίσωσης πιθανοφάνειας θ lnl (θ) = 0 είναι µοναδική, θ = n n xi = x και όντως αντιστοιχεί σε ολικό µέγιστο (επειδή 2 lnl θ 2 (θ) θ= x = n x( x) < 0 και lnl (θ) = lnl (θ) = ). Εποµένως ο ε.µ.π. του θ 0 θ θ Θ είναι 0, n X i = 0 ) = X,0 < ˆθ(X n X i < n,, n X i = n δηλαδή ˆθ(X ) = X. Επιπλέον ο ε.µ.π. του odds ratio g(θ) = θ θ, θ Θ (ϐλέπε Παράδειγµα 4.2.3) σύµφωνα µε την Πρόταση είναι ) ˆθ(X )) = g(ˆθ(x ˆθ(X ) δεν υπάρχει,,0 < X i < n X i = 0 ή X i = n n δηλαδή X )) = g(ˆθ(x X δεν υπάρχει,,0 < X i < n X i = 0 ή X i = n.

27 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 247 Αν τώρα, ο παραµετρικός χώρος περιοριστεί στο σύνολο, έστω, Θ = [0.25,0.35], π.χ. το θ παριστάνει το ποσοστό που ϑα πάρει στις επόµενες ϐουλευτικές εκλογές ένα κόµµα µε πολλούς υποστηρικτές, ο ε.µ.π. του θ δεν είναι κατ ανάγκη X, όπως όταν θ (0,) (αγνοώντας τις µη ϱεαλιστικές τιµές x = (0,...,0) και x = (,...,)), αφού η µεγιστοποίηση της L (θ) πρέπει να γίνει για θ Θ. Από την (7.24), έχουµε θ lnl (θ) > 0 εάν και µόνον εάν n x i θ n n x i θ > 0 θ < x, το οποίο συνεπάγεται ότι η L (θ) είναι γνησίως αύξουσα στο διάστηµα (0, x), γνησίως ϕθίνουσα στο διάστηµα ( x, ) και έχει ολικό µέγιστο στο Θ = (0,) για θ = x. Αν λοιπόν x [0.25,0.35] τότε η τιµή x µεγιστοποιεί την L (θ) και για θ Θ. Εστω ότι x < Τότε η L (θ) ως γνησίως ϕθίνουσα στο ( x, ), είναι ειδικά γνησίως ϕθίνουσα και στο Θ = [0.25,0.35] ( x,), οπότε µεγιστοποιείται για θ = Εστω ότι x > Τότε η L (θ) ως γνησίως αύξουσα στο (0, x), είναι ειδικά γνησίως αύξουσα και στο [0.25, 0.35] (0, x), οπότε µεγιστοποιείται για θ = Τελικά ο ε.µ.π. του θ για θ [0.25,0.35] είναι 0.25, X < 0.25 ) = X,0.25 ˆθ(X X , X > Οι εκτιµήσεις του ποσοστού θ, 0.25 και 0.35 ερµηνεύονται και διαισθητικά. Αν δηλαδή ο X, το ποσοστό του δείγµατος των ψηφοφόρων που υποστη- ϱίζουν το κόµµα, «αποκλίνει» λίγο από τα άκρα του Θ = [0.25,0.35] είναι λογικό να ϑεωρηθεί ως εκτίµηση του θ το ένα ή το άλλο άκρο, αντίστοιχα εφ όσον είναι δεδοµένο ότι θ [0.25,0.35]. Αν ο X «αποκλίνει» πολύ από τα άκρα αυτά, τότε η εκτίµηση είναι µεν πάλι το αντίστοιχο άκρο, όµως σε αυτήν την περίπτωση ϑα πρέπει τουλάχιστον να επανεξεταστεί η διαδικασία συλλογής των συγκεκριµένων δεδοµένων ή/και η ϑεώρηση (υπόθεση) ότι θ [0.25,0.35].

28 248 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών 3. Ο εκτιµητής µέγιστης πιθανοφάνειας είναι υπό ορισµένες συνθήκες (που δίνονται στη συνέχεια) συνεπής εκτιµητής. Η συνέπεια είναι ασυµπτωτική ιδιότητα, αναφέρεται δηλαδή σε µέγεθος δείγµατος n (τέτοιες ιδιότητες λέγονται και ιδιότητες µεγάλου δείγµατος - large sample properties). Ενας εκτιµητήςt n (X,...,X n ) τουg(θ) ονοµάζεται ασθενώς συνεπής, εάν συγκλίνει κατά πιθανότητα στο g(θ), δηλαδή ή ισοδύναµα T n (X,...,X n ) P θ g(θ) καθώς n, θ Θ (7.25) P θ ( Tn (X,...,X n ) g(θ) > ε ) 0 καθώς n, ε > 0, θ Θ. Αντίστοιχα, ο T n (X,...,X n ) ονοµάζεται ισχυρά συνεπής, εάν συγκλίνει µε πιθανότητα στο g(θ), δηλαδή ή ισοδύναµα T n (X,...,X n ) µ.π. g(θ) καθώς n, θ Θ. (7.26) P θ ( lim n T n(x,...,x n ) = g(θ)) =, θ Θ. Σε αδρές γραµµές, και στις δύο περιπτώσεις, συνέπεια σηµαίνει ό- τι, όταν υπάρχει διαθέσιµο µεγάλο πλήθος δεδοµένων, n, ο εκτιµητής T n (X,...,X n ) προσεγγίζει (συγκλίνει προς) την άγνωστη τιµή g(θ). Φυσικά, δεν χρειάζεται να επιχειρηµατολογήσουµε ότι ένας καλός εκτιµητής «επιβάλλεται» να συγκλίνει προς την υπό εκτίµηση τιµή όταν n. Με άλλα λόγια, η συνέπεια είναι µία ελάχιστη ασυµπτωτική ιδιότητα (minimal asymptotic property) που πρέπει να ικανοποιεί ένας υποψήφιος εκτιµητής. Μάλιστα, ϑα µπορούσαµε να την παραλληλίσουµε µε την αποδεκτικότητα που επίσης είναι ελάχιστη ιδιότητα ως προς το κριτήριο του ΜΤΣ για σταθερό (πεπερασµένο) µέγεθος δείγµατος n. Είναι κατανοητό ότι η συνέπεια (ασθενής ή ισχυρή) είναι ιδιότητα της ακολουθίας των εκτιµητών {T n (X,...,X n ) : n =,2,...} και όχι του α- ντιπροσωπευτικού µέλους της T n (X,...,X n ), όµως χάριν απλότητας ϑα

29 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 249 διατηρήσουµε την παραπάνω ορολογία. Επίσης, επειδή η σύγκλιση µε πι- ϑανότητα συνεπάγεται τη σύγκλιση κατά πιθανότητα (Πρόταση.0.4), ένας εκτιµητής ισχυρά συνεπής είναι και ασθενώς συνεπής. Γενικά, όµως, είναι πιο εύκολο να αποδείξουµε ασθενή συνέπεια. ιαισθητικά, ο ε.µ.π. του θ αναµένεται να είναι συνεπής λόγω της ερ- µηνείας του (ϐάσει της Πρότασης 7..) ως το δειγµατικό ανάλογο του θ. Εγγενής ιδιότητα εκτιµητή, που κατασκευάζεται ως δειγµατικό ανάλογο παραµέτρου, είναι να προσεγγίζει την παράµετρο, καθώς αυξάνει το µέγεθος δείγµατος, και αυτό ακριβώς σηµαίνει, κατ ουσίαν, συνέπεια. Ο Fisher (92, 922, 925) ισχυρίστηκε ότι ο ε.µ.π. είναι «πάντοτε» συνεπής, χωρίς να δώσει όµως αυστηρή απόδειξη. Αυτός ο ισχυρισµός ήταν αφετηρία για έρευνα που και ακόµη επί των ηµερών µας έχει ενδιαφέρον. Η πρόκληση για τη µελέτη της συνέπειας δεν είναι τόσο πια η απόδειξη της συνέπειας, αλλά κυρίως η εύρεση των πιο γενικών συνθηκών, υπό τις οποίες ισχύει και η κάλυψη περιπτώσεων που δεν έχουν απαντηθεί από προηγούµενη έρευνα. Μεµονωµένες περιπτώσεις µη συνεπούς ε.µ.π. υ- πάρχουν, (ϐλέπε Bahadur (958), Le Cam (979, 990), Lehmann and Casella (998, σελ. 495), Neymann and Scott (948)). Η επόµενη πρόταση αποδεικνύει υπό ορισµένες (απλές) συνθήκες την ισχυρή συνέπεια του ε.µ.π. του θ. Οπως στην Πρόταση 7.., ϑεωρού- µε ότι το X = (X,...,X n ) είναι ένα τυχαίο δείγµα από την κατανο- µή f (x;θ), µε θ 0 συµβολίζουµε την αληθή τιµή του θ, µε S το σύνολο {x : f (x;θ) > 0} και µε L n (θ x ) = n f (x i ;θ) τη συνάρτηση πιθανοφάνειας. Οι συνθήκες Σ και Σ2 που αναφέρονται στην Πρόταση είναι αυτές της Πρότασης 7... Υποθέτουµε τα εξής. Σ0. Ο παραµετρικός χώροςθείναι ανοικτό υποσύνολο τουr = (, ). Σ3. Για κάθε x S και θ Θ, υπάρχει η παράγωγος θ f (x;θ) και είναι πεπερασµένη. Πρόταση Εστω ότι ισχύουν οι συνθήκες Σ0, Σ, Σ2, Σ3. Τότε έχουµε τα εξής.

30 250 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών (i). Υπάρχει µία ακολουθία εκτιµητών {ˆθ n (X ) : n =,2,...}, η οποία έχει τις εξής ιδιότητες. α. Με πιθανότητα ως προς την κατανοµή P θ0, ˆθ n (X ) µεγιστοποιεί τοπικά τη συνάρτηση πιθανοφάνειαςl n (θ X ) και είναι λύση της εξίσωσης πιθανοφάνειας θ L n(θ X ) = 0, για κάθεn n 0, όπου το n 0 εξαρτάται εν γένει από το X, ϐ. ˆθn (X ) µ.π. θ 0, ως προς την κατανοµή P θ0. (ii). Εάν υπάρχει ο ε.µ.π. τουθκαι η εξίσωση πιθανοφάνειας θ L n(θ X ) = 0 έχει µοναδική λύση, τότε ο ε.µ.π. του θ είναι ισχυρά συνεπής εκτιµητής του θ. Απόδειξη. (i). (Σύµφωνα µε τον Cramer (946, σελ ) και τον Serfling (980, σελ ) ) Εστω m ϑετικός ακέραιος τέτοιος, ώστε θ 0 m καιθ 0+ m Θ. Η ύπαρξη τουmεξασφαλίζεται από το γεγονός ότι το Θ είναι ανοικτό και άρα το θ 0 είναι εσωτερικό σηµείο του. Θεωρούµε προς το παρόν ακέραιο κ m, οπότε θ 0 ± κ Θ. Από την Πρόταση 7.., για θ = θ 0 κ και θ = θ 0 + κ µε πιθανότητα ως προς P θ 0 ισχύει lim n n ln L n (θ 0 ) X > 0 και συνεπώς ) X L n (θ 0 ± κ L n (θ 0 x ) > L n (θ 0 κ x ) και L n(θ 0 x ) > L n (θ 0 + κ x ) (7.27) για κάθε n N κ (x ) και για κάθε x S κ µε P θ0 (S κ ) =. Από την Σ3, η L n (θ X ) είναι παραγωγίσιµη ως προς θ και άρα είναι συνεχής στο [θ 0 κ,θ 0 + κ ]. Λόγω της συνέχειας και της (7.27) παρουσιάζει τοπικό µέγιστο για θ = ˆθ nκ (x ), έστω, στο διάστηµα (θ 0 κ,θ 0 + κ ). Περαιτέρω, η παραγωγισιµότητα συνεπάγεται ότι το ˆθ nκ (x ) είναι λύση της εξίσωσης πιθανοφάνειας θ L n(θ x ) = 0. Ορίζουµε S 0 = S κ, οπότε P θ0 (S 0 ) =. κ=m 2 Εστω x S 0. Τότε x S κ για όλα τα κ m και χωρίς ϐλάβη 2 Υποσηµείωση: Εάν για µια ακολουθία ενδεχοµένωνa n, n =,2,... ισχύει P(A n) =

31 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 25 της γενικότητας µπορούµε να υποθέσουµε ότι η ακολουθία N κ (x ),κ = m,m+,... είναι γνησίως αύξουσα ακολουθία ϑετικών ακεραίων. Γιαn =,2,... ορίζουµε ˆθ n (x ) = ˆθ nκ (x ) αν N κ (x ) n < N κ+ (x ) για κάποιο κ = m,m +,... και ˆθ n (x ) = 0 (αυθαίρετα) αν n < N m (x ). Θέτουµε n 0 = N m (x ). Επίσης, αν x / S 0 ϑέτουµε ˆθ n (x ) = 0 (αυθαίρετα) για όλα τα n =,2,... Τότε µε πιθανότητα ως προς P θ0, για n n 0, το ˆθ n (X ) µεγιστοποιεί τοπικά τηνl n (θ X ), αφού ˆθ n (X ) = ˆθ nκ (X ). Επί πλέον, από την κατασκευή του ˆθ n (x ) για x S 0 έχουµε, ˆθ n (x ) (θ 0 κ,θ 0 + κ ) για όλα τα n N κ (x ) και συνεπώς ˆθ n (x ) θ 0 < /κ, n N κ (x ) και για κάθε κ m. Για κ < m, είναι ˆθ n (x ) θ 0 < m < κ, n N m(x ). Τελικά για κάθε κ > 0 και x S 0 υπάρχει N κ(x ) (= N κ (x ) ή N m (x )), έτσι ώστε ˆθ n (x ) θ 0 < /κ, n N κ (x ). Εποµένως, για x S 0 έχουµε ˆθ n (X ) θ 0 καθώς n, δηλαδή ˆθ n (X ) µ.π. θ 0 ως προς την κατανο- µή P θ0. (ii). Εφ όσον υπάρχει ο ε.µ.π., το Θ είναι ανοικτό και η L n (θ X ) είναι παραγωγίσιµη, τότε ο ε.µ.π. είναι η λύση της εξίσωσης πιθανοφάνειας θ L n(θ X ) = 0. Επειδή η λύση είναι µοναδική, ο ε.µ.π. συµπίπτει µε τη λύση ˆθ n (X ) του i(α) και η ισχυρή συνέπεια του προκύπτει από το i(ϐ). Μερικά σχόλια για την Πρόταση έχουν ως εξής. Ο αναλυτικός εντοπισµός του ολικού µεγίστου της συνάρτησης πιθανοφάνειας είναι γενικά µια δύσκολη διαδικασία, όταν υπάρχουν περισσότερα του ενός τοπικά µέγιστα και οι λύσεις της εξίσωσης πιθανοφάνειας δεν είναι δυνατόν να ϐρεθούν σε αναλυτική µορφή (σύνηθες ϕαινόµενο σε σύνθετα προ- ϐλήµατα). Είναι όµως πιο εύκολο να αποδειχθεί η ύπαρξη ενός τοπικού µεγίστου (που είναι, άρα, υποψήφιο για ολικό µέγιστο), η ϑέση του οποίου ϐρίσκεται ακολούθως λύνοντας (αναλυτικά ή αριθµητικά) την εξίσωση πι- ϑανοφάνειας. Για αυτούς τους λόγους, η διεθνής ϐιβλιογραφία και έρευνα έχει επικεντρωθεί προς την κατεύθυνση ύπαρξης συνεπούς λύσης της εξί-, τότε P(A) = όπου A = A n. Πράγµατι P(A c ) = P( n=a n) P(A c n) = 0, n= λόγω της υποπροσθετικής ιδιότητας (ϐλέπε Ενότητα.). Άρα P(A c ) = 0, που συνεπάγεται P(A) =. n=

32 252 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών σωσης πιθανοφάνειας, παρά στο τεχνικά πιο δύσκολο πρόβληµα ύπαρξης και συνέπειας του ε.µ.π.. Ωστόσο, στις περιπτώσεις που η ύπαρξη και µοναδικότητα του ε.µ.π. µπορεί να διασφαλιστεί, η συνέπεια του προκύπτει από την Πρόταση 7.2.4(ii), εφ όσον ικανοποιούνται οι υποθέσεις της. Η σύγκλιση µε πιθανότητα ως προς P θ0, ˆθ n ) θ 0, και το γεγονός (X ότι η αληθής τιµή θ 0 µπορεί να είναι οποιοδήποτε σηµείο του Θ, όντως δηλώνουν ότι ο ˆθ n ) είναι ισχυρά συνεπής εκτιµητής τουθ. Οπωσδήποτε (X δεν πρέπει να περάσει απαρατήρητο ότι οι συνθήκες Σ0 - Σ3 είναι πολύ ήπιες και ισχύουν σε πολλές πρακτικές εφαρµογές. Μάλιστα, το Θ δεν χρειάζεται να είναι ανοικτό, αρκεί το θ 0 να είναι εσωτερικό του σηµείο. Ανάλογα, η παραγωγισιµότητα της f (x;θ) ως προς θ αρκεί να ισχύει σε µια περιοχή του θ 0. Το ϑέµα όµως είναι ότι δεν γνωρίζουµε «που µέσα στο Θ είναι το θ 0» και, για να ξεπεράσουµε αυτή τη δυσκολία, επιβάλλουµε τη συνθήκη ανοικτότητας του Θ και παραγωγισιµότητας σε όλο το Θ. Η Πρόταση απαιτεί τα = (X,...,X n ) να αποτελούν δεδοµέναx τυχαίο δείγµα. Η γενίκευση της για οποιοδήποτε X µε παρατηρήσεις X i ανεξάρτητες ή µη ανεξάρτητες και κατανοµή κοινή ή µη κοινή έχει δοθεί από τον Kourouklis (987) υπό επίσης ήπιες συνθήκες. Για την επέκταση της Πρότασης σε διανυσµατική παράµετρο θ = (θ,...,θ r ) παραπέµπουµε στον Cramer (946, σελ. 504) και τον Serfling (980, σελ. 48). Κλείνοντας τα σχόλια για την Πρόταση 7.2.4, µέσα στην πληθώρα της έρευνας για τη συνέπεια, ϑα ήταν παράλειψη, αν δεν ξεχωρίζαµε την σπουδαία και κλασική εργασία του Wald (949), όπου δίνονται άλλου τύπου συνθήκες - χωρίς την απαίτηση παραγωγισιµότητας - για την ισχυρή συνέπεια του ε.µ.π. (και όχι λύσης της εξίσωσης πιθανοφάνειας). Η εργασία αυτή ξεπερνάει τα όρια αυτών των σηµειώσεων. Ενδεικτικά, αναφέρουµε επίσης τους Hotelling (930), Doob (934, 936), Bahadur (958), Huber (967), Hoadley (97), Le Cam (979, 990), Bai and Fu (987) και Wasserman (2003). Θα ασχοληθούµε στη συνέχεια µε την ιδιότητα της ασθενούς συνέπειας του ε.µ.π. και γενικότερα ενός εκτιµητή T n του g(θ). Η επόµενη πρόταση

33 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 253 καταδεικνύει ότι, µελετώντας µόνον τη µέση τιµή και τη διασπορά του εκτιµητή, µπορούµε να οδηγηθούµε στην ασθενή συνέπειά του. Πρόταση Ο εκτιµητής T n είναι ασθενώς συνεπής εκτιµητής τουg(θ) εάν (α) E θ T n g(θ) καθώς n, θ Θ (ασυµπτωτική αµεροληψία) (ϐ) Var θ T n 0 καθώς n, θ Θ. Απόδειξη. Για την τυχαία µεταβλητή Y από την ανισότητα Markov (Πρόταση.5.), έχουµε P( Y > ε) = P(Y 2 > ε 2 ) EY 2 ε 2 για κάθε ε > 0. Θέτουµε Y = T n g(θ), οπότε παίρνουµε ( P θ Tn g(θ) > ε ) E ( θ Tn g(θ) ) 2 ε 2 = Var θt n + ( E θ T n g(θ) ) 2 ε 2 0 καθώς n, ϐάσει των (α), (ϐ). Εποµένως, P θ ( Tn g(θ) > ε ) 0 καθώς n, το οποίο εξ ορισµού σηµαίνει ότι ο T n είναι ασθενώς συνεπής εκτιµητής του g(θ). Παρατήρηση Οι συνθήκες της Πρότασης έχουν µια πολύ α- πλή διαισθητική ερµηνεία. Οταν η διασπορά συγκλίνει στο 0, ο εκτιµητής «τείνει να γίνει σταθερά», αυτή η σταθερά, όµως, ϑα είναι και η µέση τιµή του. Αφού η µέση τιµή τείνει στο g(θ), αυτή η σταθερά ϑα είναι το g(θ). Τελικά λοιπόν, ο εκτιµητής «τείνει να γίνει g(θ)», το οποίο σηµαίνει ότι ο εκτιµητής είναι συνεπής. Παρατήρηση Η συνθήκη (ϐ) µπορεί να αντικατασταθεί µε την (γ) E θ T 2 n g2 (θ), καθώς n, θ Θ. Πράγµατι, αν ισχύει η (γ), τότε σε συνδυασµό µε την (α) συµπεραίνουµε ότι Var θ T n = E θ T 2 n (E θt n ) 2 g 2 (θ) g 2 (θ) = 0,

34 254 Μέθοδος της µέγιστης πιθανοφάνειας και µέθοδος των ϱοπών καθώς n, για κάθε θ Θ, δηλαδή ισχύει και η (ϐ), οπότε ισχύει και το συµπέρασµα της Πρότασης Η συνθήκη (γ) είναι πρακτικά χρήσιµη στις περιπτώσεις που η επαλήθευση της (ϐ) διέρχεται µέσα από τον υπολογισµό της E θ T 2 n και εν συνεχεία εφαρµογή του τύπου Var θt n = E θ T 2 n (E θt n ) 2 για τον υπολογισµό της Var θ T n. Παραθέτουµε µερικά παραδείγµατα εφαρµογής της Πρότασης Παράδειγµα (ασθενής συνέπεια των δειγµατικών ϱοπών) Εστω X = (X,...,X n ) ένα τυχαίο δείγµα από µία κατανοµή µε (πεπε- ϱασµένες) ϱοπές κ τάξης µ κ = E θ X κ, κ =,2,..., θ Θ. Θεωρούµε τα αντίστοιχα δειγµατικά ανάλογα, δηλαδή τις δειγµατικές ϱοπές κ τάξης m κ = n n Xκ i. Τότε οι στατιστικές συναρτήσεις m κ είναι ασθενώς συνεπείς εκτιµητές τωνµ κ,κ =,2,..., αντίστοιχα (εδώ, δηλαδή,g(θ) = µ κ ). Πράγµατι, E θ (m κ ) = E θ ( n X κ i ) = n E θ Xi κ = n µ κ = µ κ και εποµένως η συνθήκη (α) της Πρότασης ισχύει τετριµµένα. Επιπλέον, Var θ (m κ ) = Var θ ( n X κ i ) = n 2 Var θ Xi κ = = n 2 (E θ Xi 2κ (E θ Xi κ ) 2 ) = n 2 (µ 2κ µ 2 κ) = n (µ 2κ µ 2 κ) 0, καθώς n, δηλαδή ισχύει και η συνθήκη (ϐ). Σηµειώνουµε, ότι η ασθενής συνέπεια των m κ µπορεί επίσης να προκύψει κατευθείαν από τον ΑΝΜΑ (όπως και η ισχυρή συνέπεια, από τον ΙΝΜΑ). Παράδειγµα (Οµοιόµορφη κατανοµή - ασθενής συνέπεια του ε.µ.π.) Εστω X = (X,...,X n ), n, ένα τυχαίο δείγµα από την

35 Ιδιότητες των εκτιµητών µέγιστης πιθανοφάνειας 255 οµοιόµορφη κατανοµή U[0,θ], θ Θ = (0, ). Στο Παράδειγµα 7..4, είδαµε ότι ο ε.µ.π. τουθ είναι ˆθ n (X ) = X (n). Η ισχυρή συνέπεια τουx (n), αν και ισχύει, δεν µπορεί να αποδειχθεί µέσω της Πρότασης 7.2.4, γιατί δεν ικανοποιείται η συνθήκη Σ, αφού το σύνολο S = {x : f (x;θ) > 0} = [0,θ] εξαρτάται από το θ. Θα αποδείξουµε, όµως, ασθενή συνέπεια επαληθεύοντας τις συνθήκες της Πρότασης µεt n = X (n) καιg(θ) = θ. Εχουµε θ, 0 x θ f (x;θ) =. 0, διαφορετικά Χρησιµοποιώντας την πυκνότητα του X (n) (ϐλέπε Παράδειγµα 6.3.3) n θ t n, 0 t θ f X(n) (t;θ) = n 0, διαφορετικά παίρνουµε E θ X (n) = n n+ θ και E θx 2 (n) = n n+2 θ2, οπότε Var θ X (n) = E θ X(n) 2 (E θx (n) ) 2 n = (n+2)(n+) 2θ2. Εποµένως, E θ X (n) θ και Var θ X (n) 0 καθώς n και συνεπώς X (n) είναι ασθενώς συνεπής εκτιµητής του θ. Σηµειώνουµε ότι δεν χρειαζόταν ο υπολογισµός της Var θ X (n), γιατί ισχύει η συνθήκη (γ) της Παρατήρησης αφού E θ X 2 (n) θ2. Μία άλλη απόδειξη της ασθενούς συνέπειας του ε.µ.π. X (n), η οποία ϐασίζεται στον ορισµό της είναι η ακόλουθη. Για ε > 0 και, επειδή P θ (X (n) θ) =, έχουµε P θ ( X (n) θ > ε) = P θ (θ X (n) > ε) = P θ (X (n) < θ ε). Αν ε θ, η τελευταία πιθανότητα είναι 0, αφού P θ (X (n) 0) =. Αν ε < θ, τότε P θ (X (n) < θ ε) = P θ (X < θ ε,...,x n < θ ε) = P θ (X < θ ε)...p θ (X n < θ ε) = ( ) θ ε n ( θ = ε n θ) 0, καθώς n. Συµπεραίνουµε λοιπόν ότι P θ ( X (n) θ > ε) 0, καθώς n, θ Θ, ε > 0, που είναι ο ορισµός της ασθενούς συνέπειας.