CRAMER-RAO ΚΑΤΩ ΦΡΑΓΜΑ - ΑΠΟ ΟΤΙΚΟΙ ΕΚΤΙΜΗΤΕΣ Τµήµα Μαθηµατικών, Πανεπιστήµιο Πατρών
Θεώρηµα Cramer-Rao Θεώρηµα Cramer-Rao Εστω X = (X 1, X,...,X n ) ένα δείγµα µε από κοινού πυκνότητα πιθανότητας f X (x ;θ), θ Θ. Εάν T(X ) είναι στατιστική συνάρτηση µε E θ T(X ) = g(θ), θ Θ, και ισχύουν οι συνθήκες (Ι1) - (Ι5), τότε Var θ T(X ) (g (θ)), θ Θ. I(θ) (Ι1) Ο παραµετρικός χώρος Θ είναι ανοικτό υποσύνολο του R. (Ι) Το σύνολο S = : f X (x ;θ) > 0} δεν εξαρτάται από το θ. {x (Ι3) R θ f = X (x ;θ)dx f θ X (x ;θ)dx, θ Θ. n R n (Ι4) T(x ) R θ f = X (x ;θ)dx θ n στατιστική συνάρτηση T(X ). R n T(x )f X (x ;θ)dx, θ Θ και κάθε (Ι5) Αν I(θ) = E θ ( θ ln f X (x ;θ)), τότε 0 < I(θ) <, θ Θ.
ΑΟΕ Εκτιµητής Πρόταση Εστω ότι οι συνθήκες (Ι1), (Ι), (Ι3), (Ι5) του Θεωρήµατος Cramer-Rao ισχύουν και ακόµη ότι η (Ι4) ισχύει για κάθε αµερόληπτο εκτιµητή της g(θ). Εστω ότι υπάρχει αµερόληπτος εκτιµητής T (X ) της g(θ), έτσι ώστε VarT (X ) = (g (θ)) I(θ) τότε T (X ) είναι ΑΟΕ εκτιµητής για την g(θ)., θ Θ,
ΜΕΟΚ Ορισµός (ΜΕΟΚ) Η οικογένεια κατανοµών {f (x ;θ),θ Θ} ανήκει στην Μονοπαραµετρική Εκθετική X Οικογένεια Κατανοµών (ΜΕΟΚ) αν, 1 Το σύνολο S = {x ; f X f X (x ;θ) > 0} δεν εξαρτάται από το θ. (x ;θ) = e A(θ)+B(x )+c(θ)d(x ), x S, θ Θ. Πρόταση 1 Αν = (X 1, X,...,X n ) είναι τ.δ. από κατανοµή µε π.π. f 1 (x;θ), θ Θ, που X ανήκει στην ΜΕΟΚ, τότε και η οικογένεια κατανοµών του ανήκει στην ΜΕΟΚ. X
ΜΕΟΚ Πρόταση Αν το δείγµα X = (X 1, X,...,X n ) έχει κατανοµή µε πυκνότητα πιθανότητας f (x ;θ) η οποία ανήκει στην ΜΕΟΚ και η c(θ) (που εµφανίζεται στον X τύπο της f (x ;θ)) έχει συνεχή και µη µηδενική παράγωγο θ Θ, τότε οι συνθήκες X (Ι), (Ι3) και (Ι4) του Θεωρήµατος Cramer-Rao ισχύουν και η (Ι4) ισχύει για κάθε στατιστική συνάρτηση T = T(X ).
Αποδοτικός Εκτιµητής Παρατήρηση 1 Αν E θ T(X ) = g(θ), θ Θ και VarT(X ) = (g (θ)) Τότε T(X ) είναι ΑΟΕ εκτιµητής της g(θ). I(θ) ΤΟ ΑΝΤΙΣΤΡΟΦΟ ΕΝ ΙΣΧΥΕΙ ΠΑΝΤΑ! Ορισµός (Αποδοτικός εκτιµητής) Ο εκτιµητής T(( X)) του g(θ) ονοµάζεται αποδοτικός εάν, 1 E θ T(X ) = g(θ), θ Θ. Ικανοποιούνται οι συνθήκες (Ι1)-(Ι5) του Θεωρήµατος Cramer-Rao. 3 Var θ (T(X )) = (g (θ)), θ Θ. I(θ) Παρατήρηση Αν T(X ) είναι αποδοτικός εκτιµητής για την g(θ), τότε T(X ) είναι ΑΟΕ για την g(θ). (Το αντίστροφο δεν ισχύει.)
Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας Cramer-Rao Πρόταση 3 (Ικανή συνθήκη για αποδοτικότητα) Αν το δείγµα X = (X 1, X,...,X n ) έχει κατανοµή µε πυκνότητα πιθανότητας f X (x ;θ) η οποία ανήκει στην ΜΕΟΚ ( ) f X (x ;θ) = e A(θ)+B(x )+c(θ)d(x ) και ισχύουν, a) Το σύνολο Θ είναι ανοικτό υποσύνολο του R. b) Το c(θ) έχει συνεχή και µη µηδενική παράγωγο θ Θ. c) 0 < I(θ) <. Τότε, 1 Η στατιστική συνάρτηση D(X ) είναι αποδοτικός εκτιµητής της g(θ) = E θ D(X ). Η στατιστική συνάρτηση c 1 D(X )+c, µε c 1, c σταθερές, c 1 0 είναι αποδοτικός εκτιµητής της c 1 g(θ)+c.
Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας Cramer-Rao Πρόταση 4 (Αναγκαία συνθήκη για αποδοτικότητα) Εστω ότι ισχύουν οι συνθήκες (Ι1), (Ι), (Ι3) και (Ι5) του Θεωρήµατος Cramer - Rao και η (Ι4) ισχύει για κάποια στατιστική συνάρτηση T(X ), αµερόληπτο εκτιµητή του g(θ). Εστω, ακόµα, η παραµετρική συνάρτηση g(θ) είναι µη σταθερά (σαν συνάρτηση του θ) και η T(X ) επιτυγχάνει το C.R.-Κ.Φ., δηλαδή Var θ (T(X )) = (g (θ)), θ Θ. I(θ) Τότε, f X (x ;θ) = e A(θ)+B(x )+c(θ)t(x ), x S, θ Θ, δηλαδή η κατανοµή του δείγµατος X ανήκει στην ΜΕΟΚ.
Αποδοτικοί Εκτιµητές µε χρήση της ανισότητας Cramer-Rao Παρατήρηση 3 Οι Προτάσεις 3 και 4 συνεπάγονται το γεγονός ότι η εύρεση αποδοτικού εκτιµητή για κάποια παραµετρική συνάρτηση g(θ) είναι δυνατή µε τη χρήση του Θεωρήµατος Cramer-Rao 1 η κατανοµή του δείγµατος X ανήκει στην ΜΕΟΚ η g(θ) έχει µία συγκεκριµένη µορφή, g(θ) = E θ D(X ) ή κάποιος γραµµικός µετασχηµατισµός της E θ D(X ).
Αριθµός πληροφορίας Fisher Ιδιότητες ( ) 1 I(θ) = E θ θ ln f X (x ;θ), θ Θ. Αν το δείγµα X = (X 1, X,...,X n ) αποτελείται από ανεξάρτητες τυχαίες µεταβλητές, όπου κάθε µία από τις X i ακολουθεί µία κατανοµή µε πυκνότητα πιθανότητας, f Xi (x i ;θ), i = 1,,...,n, τότε I(θ) = n I i (θ) i=1 όπου I i (θ) = E θ ( θ ln f X i (x i ;θ)). 3 Αν το δείγµα X = (X 1, X,...,X n ) είναι τυχαίο, τότε I(θ) = ni 1 (θ) όπου I 1 (θ) είναι ο αριθµός πληροφορίας Fisher για κάθε µία από τις X 1, X,...,X n.