Μέρος II. Στατιστική Συμπερασματολογία (Inferential Statistics) Τυχαίο δείγμα και στατιστική συνάρτηση Χ={x 1, x,, x n } τυχαίο δείγμα μεγέθους n προερχόμενο από μια (παραμετρική) κατανομή με σ.π.π. f(x;θ). Οι τυχαίες μεταβλητές του δείγματος είναι ανεξάρτητες και ισόνομες (i.i.d.) n Η από-κοινού σ.π. f X ; f ; λέγεται Πιθανοφάνεια. i1 x i Το δείγμα είναι αντιπροσωπευτικό και άρα μπορεί να χρησιμοποιηθεί για την στατιστική συμπερασματολογία. Χρησιμοποιούμε κατάλληλες συναρτήσεις των n παρατηρήσεων που λέγονται στατιστικές συναρτήσεις (statistics) T(X) = T(x 1, x,, x n ), π.χ. δειγματικός μέσος, διασπορά κλπ. Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (1)
Μέρος II. Στατιστική Συμπερασματολογία (Inferential Statistics) Εκτιμήτρια Έστω Χ={x 1, x,, x n } τυχαίο δείγμα (τ.δ.) προερχόμενο από κατανομή με σ.π.π. f(x;θ), και έστω συνάρτηση g(θ). Τότε η στατιστική συνάρτηση (σ.σ.) T(X) με πεδίο τιμών το g(θ) λέγεται εκτιμήτρια της παραμετρικής συνάρτησης g(θ) και η τιμή της T(X) λέγεται εκτίμηση της g(θ). Υπάρχουν δύο προσεγγίσεις στο πρόβλημα της εκτίμησης: - Σημειακή εκτίμηση (point estimation) ή - Εκτίμηση με διαστήματα (interval estimation) Εξαιτίας της γενικότητας του ορισμού μπορούμε να χρησιμοποιήσουμε oποιαδήποτε σ.σ. ως εκτιμήτρια της g(θ). Πρέπει να καθοριστούν κάποιες Ιδιότητες και κριτήρια βελτιστότητας που πρέπει να πληρούν: - Αμεροληψία - Αποτελεσματικότητα - Πληρότητα - Συνέπεια - Επάρκεια Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας ()
Αμερόληπτες Εκτιμήτριες (unbiased estimators) Ορισμός: Μία εκτίμηση T=T(X) λέγεται αμερόληπτη της παραμετρικής συνάρτησης g(θ) αν και μόνο αν ισχύει: ή ˆ E T Μία εκτίμηση είναι αμερόληπτη εκτιμήτρια της παραμέτρου θ αν και μόνο αν ισχύει: ˆ Ορίζουμε την διαφορά b ˆ E ˆ ως μεροληψία (bias) της εκτίμησης ˆ. Είναι προφανές ότι αν η εκτιμήτρια είναι αμερόληπτη τότε η μεροληψία είναι μηδέν, b ˆ g E 0 Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (3)
Αμερόληπτες Εκτιμήτριες (unbiased estimators) (συν.) Σύμφωνα με τον ορισμό, είναι δυνατόν να υπάρχουν πολλές αμερόληπτες εκτιμήτριες ˆ για μία παράμετρο (θ) οι οποίες όλες τους να έχουν μέση τιμή ίση με θ. Το ερώτημα επομένως που τίθεται είναι ποια είναι η καλύτερη; Αποτελεσματικότητα Εστω δύο αμερόληπτες εκτιμήτριες ˆ 1, ˆ μιας παραμέτρου θ. Η εκτιμήτρια ˆ θα καλείται αποτελεσματικότερη της ˆ αν V ˆ ˆ 1 V 1 Ετσι αποτελεσματικότερη θα είναι η εκτίμηση με τη μικρότερη διακύμανση. Μια εκτιμήτρια που έχει την ελάχιστη διασπορά μεταξύ όλων των αμερόληπτων εκτιμητών της θ θα λέγεται άριστη εκτιμήτρια ή αμερόληπτη ομοιόμορφη εκτιμήτρια ελάχιστης διασποράς (Α.Ο.Ε.Δ.) Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (4)
Αμερόληπτες Εκτιμήτριες (unbiased estimators) (συν.) Τι γίνεται όταν οι εκτιμήτριες δεν είναι κατ ανάγκη όλες αμερόληπτες ; Ποια είναι η βέλτιστη; Ορίζουμε το μέσο τετραγωνικό σφάλμα μιας εκτιμήτριας παράμετρο θ ως την ποσότητα: MSE ˆ E ˆ η οποία γράφεται ως: ˆ ˆ ˆ MSE Ετσι για τον αμερόληπτο εκτιμητή ( b(θ)=0 ) ισχύει ότι ˆ από την ˆ... ˆ ˆ E E E V b Γενικός ορισμός: Ο εκτιμητής 1 είναι αποτελεσματικότερος του εκτιμητή αν ισχύει: MSE ˆ MSE ˆ ˆ 1 Το πηλίκο MSE 1 καλείται σχετική αποτελεσματικότητα της ˆ 1 έναντι της ˆ MSE ˆ ˆ MSE ˆ V ˆ ˆ Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (5)
Αμερόληπτες Εκτιμήτριες (unbiased estimators) (συν.) Μεθοδολογία εύρεσης ΑΟΕΔ εκτιμητή Ανισότητα του Cramer-Rao Εστω τ.μ. Χ με σ.π.π. f(x;θ) όπου η οικογένεια κατανομών ικανοποιεί τις ακόλουθες συνθήκες ομαλότητας: Η R ανοιχτό διάστημα Η σ.π.π. f(x;θ) είναι θετική σε ένα σύνολο τιμών S ανεξάρτητο του θ η μερική παράγωγος f x; και είναι συνεχής Ισχύει f x; dx f x; dx Ορίζουμε I E log ; 0 f x πληροφοριακός αριθμός Fisher Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (6)
Αμερόληπτες Εκτιμήτριες (unbiased estimators) (συν.) Ανισότητα Cramer-Rao Εστω T(Χ) μια εκτιμήτρια μιας παραμετρικής συνάρτησης g(θ) για την οποία ισχύει ότι TX f x; dx TX f x; dx Τότε έχουμε ότι ή V T V E T ni T g ni 1 b ni T E log f x; Η ανισότητα Cramer-Rao προσφέρει ένα κάτω φράγμα της διακύμανσης της εκτιμήτριας. I E T g bt Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (7)
Ιδιότητες Εκτιμητριών Συνέπεια Έστω τ.δ. Χ={x 1, x,,x n } προερχόμενο από κατανομή με σ.π.π. f(x;θ), και έστω σ.σ. Τ n = T n (x 1, x,,x n ) που χρησιμοποιείται για την εκτίμηση παραμετρικής συνάρτησης g(θ). Είναι φυσικό να απαιτούμε όσο το n μεγαλώνει η T n να παίρνει τιμές «πολύ κοντά» στη g(θ). Ετσι η εκτιμήτρια θα θεωρείται «καλή» αν αυξάνοντας το μέγεθος του δείγματος να γίνεται ακριβέστερη ως προς την εκτίμηση του g(θ). Οι εκτιμήτριες με αυτή την ιδιότητα ονομάζονται συνεπείς. Ορισμός: Μια εκτιμήτρια Τ n = T n (x 1, x,,x n ) καλείται συνεπής αν lim n P T g 1 n δηλ. συγκλίνει κατά πιθανότητα Τότε ισχύει ότι E(T n )=g(θ), V(T n ) ->0 και άρα MSE(T n ) = V(T n )+b(t n ) -> 0 Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (8)
Ιδιότητες Εκτιμητριών (συν.) Επάρκεια Μια εκτιμήτρια T(X) μιας παραμέτρου θ είναι επαρκής όταν όλη πληροφορία από το δείγμα γι αυτή τη παράμετρο περιέχεται σε αυτή τη συνάρτηση. Επάρκεια κατά Fisher: Μια σ.σ. Τ(Χ) λέγεται επαρκής αν η P(X=(x1,x,.,xn) T) είναι ανεξάρτητη του θ. Θεώρημα παραγοντοποίησης Neyman-Fisher Μία σ.σ. T(X) είναι επαρκής για μία παράμετρο θ αν και μόνο αν n i1 x gt, hx, x, x f, i; 1 n Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (9)
Ιδιότητες Εκτιμητριών (συν.) Πληρότητα Έστω τ.δ. Χ={x1, x,,xn} από κατανομή με σ.π.π. f(x;θ). Μια σ.σ. T(X) λέγεται πλήρης αν και μόνο αν ht 0 ht 0 E (σχεδόν παντού) Θεώρημα Lehmann-Scheffe Έστω σ.σ. T(X) επαρκής και πλήρης για το g(θ) και έστω U*=U(T) αμερόληπτη εκτιμήτρια για το g(θ). Τότε η U* είναι η μοναδική ΑΟΕΔ εκτιμήτρια για το g(θ). Εφαρμοσμένη Στατιστική Μέρος ο Κ. Μπλέκας (10)