Ανισότητα Cramér Rao

Transcript

1 Ανισότητα Craér Rao όταν πληρούνται Ορισμός. Στο στατιστικό μοντέλο {,, f ( x; ), Θ } οι συνήκες: i) Το στήριγμα S= { x :f( x;) > 0, Θ } ii) iii) Υπάρχει η μερική παράγωγος ( ) iv) Ισχύει η σχέση ( ) ( ) v) Υπάρχει η μέση τιμή ( ) είναι ανεξάρτητο του. Ο παραμετρικός χώρος Θ είναι ένα ορογώνιο υπέρ-παραλληλεπίπεδο του (ή το ίδιο το ). f x;, x, =,..,. f x; dx f x; = dx, =,..,. E[{ l f ; } ], =,..,. vi) Ισχύει η σχέση E[t()] t(x) f ( x; ) dx, = =,..,, όπου t() εκτιμήτρια της συνάρτησης α= α() και Χ = (Χ,...,Χ ) τυχαίο δείγμα, τότε λέμε ότι έχουμε Πρόβλημα Κανονικής Εκτίμησης και οι συνήκες (i) (vi) λέγονται Συνήκες Κανονικής Εκτίμησης (σ.κ.ε.). Παρατήρηση : Για απλούστευση των παρακάτω αποδείξεων, α περιοριστούμε από εδώ και στο εξής στην μονοπαραμετρική περίπτωση, δηλαδή εωρούμε ότι Θ. Ορισμός. Στο στατιστικό μοντέλο {,, f ( x; ), Θ } ονομάζουμε Πληροφορία κατά Fisher (Fisher s Iforatio), παρεχόμενη από την τ.μ. Χ σχετικά με την παράμετρο, την ποσότητα: I() = E{ lf ( ; )}, Σύμφωνα με τον παραπάνω ορισμό η έννοια της πληροφορίας συνδέεται με τη στοχαστική συμπεριφορά της τ.μ. Χ και ειδικότερα με την συμπεριφορά της τ.μ. U= u() = lf( ; ). Δ.Φουσκάκης - Ανισότητα Craér Rao

2 Θεώρημα. Ισχύουν τα παρακάτω: i) Υπάρχει η E[U]. ii) E[U] = 0. iii) I() = V[U]. iv) I() = E lf( ; ), Απόδειξη: i) Από την σ.κ.ε. (v) έχουμε ότι υπάρχει η E[U]. ii) E[U] = E l f ( ; ) l f ( x; = ) f( x;) dx = E[U ], οπότε α υπάρχει και η (iv) f( x; ) f ( x;) dx f ( x;) dx 0. f ( x;) = = = σ.κ.ε. iii) iv) I() = E[U ] = V[U] + Ε[U] = V[U]. Έχουμε δείξει ότι E[U] = 0. Συνεπώς: l f ( x; ) f ( x;) dx 0 lf ( x; = ) f ( x;) dx = 0 = 0 l f ( x;) f( x; ) l f ( x; + ) f ( x;) dx = 0 l f ( x; ) f( x;) dx = l f ( x;) f ( x;) dx f ( x;) l f ( x; ) f( x;) dx = Ε l f ( Χ;) f ( x;) l f ( x; ) f ( x;) dx = Ε l f ( Χ;) I() = E lf( ; ). Πόρισμα. Αν I() είναι η πληροφορία κατά Fisher η οποία παρέχεται από την τ.μ. Δ.Φουσκάκης - Ανισότητα Craér Rao

3 Χ σχετικά με την παράμετρο στο στατιστικό μοντέλο {,, f ( x; ), Θ R }, * και I(ξ) πληροφορία κατά Fisher η οποία παρέχεται από την τ.μ. Χ σχετικά με την παράμετρο ξ = g(), με τη συνάρτηση g(), αντιστρέψιμη και παραγωγίσιμη, τότε ισχύει I(ξ) * = Ι( h ( ξ) ){ h(ξ) }, όπου h ( ξ) = g ( ξ ). Απόδειξη: g ( ) ( ) ( ( )) ξ = * g ξ I(ξ) = E l f ;g ξ E l f ( ; = ) = ξ ξ = Ι( h ( ξ) ){ h(ξ) }. Θεώρημα. Στο στατιστικό μοντέλο { Χ,, f ( x;) = f( x i; ), Θ }, όπου Χ = (Χ,...,Χ ) τυχαίο δείγμα μεγέους, ισχύει η σχέση I() = Ι(). Δηλαδή η πληροφορία κατά Fisher που παρέχεται από το τυχαίο δείγμα Χ μεγέους σχετικά με την παράμετρο, ισούται με φορές την πληροφορία κατά Fisher που παρέχεται από την τ.μ. Χ σχετικά με την παράμετρο. Απόδειξη: Σε αντιστοιχία προς τον Ορισμό, η πληροφορία κατά Fisher η οποία παρέχεται από το τυχαίο δείγμα μεγέους για την παράμετρο α είναι: { ( )} I() E lf ;, Όμως, γνωρίζουμε ότι f ( x;) = f ( x i;), οπότε ( ) ( i ) U lf ; = l f ; = U, i i= i= με U i, i =,..,, ανεξάρτητες και ισόνομες τ.μ. (λόγω του ότι οι Χ i είναι ανεξάρτητες και ισόνομες) με κατανομή ίδια με αυτήν της τ.μ. U. Από το Θεώρημα γνωρίζουμε ότι E[U] = 0, οπότε και E[U ] = 0 (i =,,) και άρα i E[U ] = 0. Συνεπώς I() = V[U ]. Κάνοντας πάλι χρήση της ανεξαρτησίας των Χ i (i =,,), και κατά συνέπεια της Δ.Φουσκάκης - Ανισότητα Craér Rao 3

4 ανεξαρτησίας των U i (i =,,), α έχουμε i i i= i= I() = V[U ] = V[ U ] = V[U ] = V[U] = I(). Θεώρημα 3 (Ανισότητα Craér Rao, Craér Rao s Iequality). Σε συνήκες κανονικής εκτίμησης κάε αμερόληπτη εκτιμήτρια = t(χ), της συνάρτησης α= α(), όπου Χ = (Χ,...,Χ ) τυχαίο δείγμα, έχει διασπορά {α ()} V[] LB, I() με ισότητα εάν και μόνο εάν η εκτιμήτρια Τ συνδέεται γραμμικά με την U. Απόδειξη: Αφού η = t(χ) είναι αμερόληπτη εκτιμήτρια της α= α() α έχουμε: α() = E[ ] = t(x)f ( x;) dx, Παραγωγίζοντας τώρα ως προς και κάνοντας χρήση της σ.κ.ε. (vi) προκύπτει ότι: και συνεπώς { } ( ) α () = t(x) f ( x;) dx = t(x) l f ( x;) f x; dx Επειδή όμως έχουμε, προκύπτει ότι = E[ U ], = + α () Cov[, U ] E[] E[U ], E[U ] = 0, α () = Cov[,U ], Από την ανισότητα Cauchy Schwarz τώρα λαμβάνουμε { } = = {α ()} Cov, U V[]V[U ] V[] I (), από την οποία προκύπτει ότι {α ()} V[], I() Η ισότητα στην παραπάνω ανίσωση ισχύει εάν και μόνο εάν η εκτιμήτρια Τ συνδέεται γραμμικά με την U. Παρατήρηση : Το δεξί μέλος της ανισότητας στο παραπάνω Θεώρημα ονομάζεται Craér Rao Κατώτατο Φράγμα (Craér Rao s Lower Boud) της διασποράς Δ.Φουσκάκης - Ανισότητα Craér Rao 4

5 μιας αμερόληπτης εκτιμήτριας της συνάρτησης α= α(), και συμβολίζεται με LB. Θα πρέπει να παρατηρήσουμε εδώ ότι αν βρούμε μια αμερόληπτη εκτιμήτρια Τ της συνάρτησης α= α(), της οποίας η διασπορά συμπίπτει με το LB, τότε αυτή προφανώς είναι η Α.Ε.Ε.Δ. της α(). Το αντίστροφο όμως δεν ισχύει κατ ανάγκη, είναι δυνατόν δηλαδή η διασπορά της Α.Ε.Ε.Δ. της α() να είναι μεγαλύτερη του LB. Πόρισμα. Σε συνήκες κανονικής εκτίμησης αν η δειγματοσυνάρτηση Τ είναι αμερόληπτη εκτιμήτρια της παραμέτρου, τότε V[], I() με ισότητα εάν και μόνο εάν η εκτιμήτρια Τ συνδέεται γραμμικά με την U. Ορισμός 3. Έστω R = r() μια αμερόληπτη εκτιμήτρια της συνάρτησης α= α(), με διασπορά V[R], όπου Χ = (Χ,...,Χ ) τυχαίο δείγμα. Ονομάζουμε Αποδοτικότητα (Efficiecy) αυτής την ποσότητα {α ()} / I() Eff[R] = 00 o o. V[R] Είναι φανερό ότι αν δεν υπάρχει αμερόληπτη εκτιμήτρια με διασπορά το LB, μας εξυπηρετεί να χρησιμοποιούμε αμερόληπτες εκτιμήτριες με υψηλή αποδοτικότητα για κάε Δ.Φουσκάκης - Ανισότητα Craér Rao 5