Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE) Εστω τ.δ. X={x, x,, x } με κατανομή με σ.π.π. f(x;θ). Η από-κοινού σ.π.π. των δειγμάτων είναι η συνάρτηση L f x, x,, x; f x i ; και ονομάζεται πιθανοφάνεια (likelihood) του δείγματος. Ορισμός: Μία εκτιμήτρια καλείται εκτιμήτρια μεγίστης πιθανοφάνειας (MLE) της παραμέτρου θ αν ισχύει ότι ˆ sup L ˆ ˆ δηλ. η είναι η τιμή της παραμέτρου θ που μεγιστοποιεί την συνάρτηση L(θ). i sup f x, x,, x ; Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας ()
Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE) (συν.) Συνήθως είναι ευκολότερο και βολικότερο να αναζητούμε το σημείο μεγίστου της λογαριθμικής πιθανοφάνειας (log-likelihood): L l L l f x i ; i Καθώς έχουν το ίδιο σημείο μεγίστου διότι η συνάρτηση l είναι αύξουσα. Παρατηρήσεις: Η μεγιστοποίηση συνήθως επιτυγχάνεται με μεθόδους Διαφορικού Λογισμού Υπάρχουν περιπτώσεις με περισσότερο του ενός μέγιστα ή υπάρχουν περιπτώσεις πολλών τοπικών μεγίστων. Η μέθοδος MLE προσφέρει ευκολία στον τρόπο αναζήτησης και μπορεί να εφαρμοστεί σε ευρεία κλάση προβλημάτων Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας ()
Εκτιμητές Μεγίστης Πιθανοφάνειας (Maximum Likelihood Estimators MLE) (συν.) Μεθοδολογία εύρεσης MLE εκτιμητών Εάν X={x, x,, x } τ.δ. προερχόμενο από κατανομή με σ.π.π. f(x;θ), τότε γράφουμε την συνάρτηση πιθανοφάνειας L f x, x,, x; f x i ; Μεγιστοποίηση της l(θ) = l L(θ) ως προς θ, όπου η τιμή για την οποία l l L 0 Για να είναι μέγιστο το ακρότατο θα πρέπει να ισχύει l 0 ˆ το οποίο και ισχύει για τις περισσότερες γνωστές κατανομές i ˆ Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (3)
Μέθοδος των ροπών Είναι η απλούστερη μέθοδος εύρεσης εκτιμητών Σχεδόν πάντα δίνει εκτιμητή ο οποίος όμως δεν είναι πάντα «ποιοτικός» Μέθοδος των ροπών: βρίσκουμε τις δειγματικές ροπές και τις εξισώνουμε με τις αντίστοιχες ροπές της κατανομής του πληθυσμού. Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (4)
Μέθοδος των ροπών (συν.) Έστω τ.δ. X={x, x,, x} από κατανομή με σ.π.π. f(x;θ), όπου θ=(θ, θ,, θ k ). Ροπές πληθυσμού Δειγματικές Ροπές k E X E X E X k x i i x i i Οι ροπές του πληθυσμού θα είναι συναρτήσεις των k παραμέτρων, δηλ. μ j (θ, θ,, θ k ). Έτσι προκύπτουν k εξισώσεις με k αγνώστους και οι εκτιμήτριες θα είναι η λύση του συστήματος. m m m k k x i i Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (5)
Εκτιμητές Bayes Στη κλασική στατιστική όπου η παράμετρος θ θεωρείται άγνωστη αλλά σταθερή ποσότητα που πρέπει να εκτιμηθεί. Η Μπεϋζιανή (Bayesia) στατιστική θεωρεί ότι η παράμετρος θ είναι μία τ.μ. η οποία ακολουθεί μία γνωστή (συγκεκριμένη) κατανομή. Η κατανομή αυτή ονομάζεται εκ των προτέρων κατανομή ή (a-priori distributio) και εκφράζει την αρχική μας θεώρηση ή τους περιορισμούς που θέτουμε για την παράμετρο θ. Η εκ των προτέρων κατανομή είναι υποκειμενική και θα αναπροσαρμοστεί με βάση τις παρατηρήσεις του δείγματος. Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (6)
Εκτιμητές Bayes (συν.) Η αναπροσαρμοσμένη εκ των προτέρων κατανομή ονομάζεται εκ των υστέρων κατανομή ή a-posteriori distributio και προκύπτει από τον κανόνα του Bayes. Έστω π(θ) η εκ των προτέρων κατανομή και f(x;θ) δειγματική κατανομή. Τότε η εκ των υστέρων κατανομή δίνεται ως εξής: f X f X p X L px f X d H p(x) είναι η περιθώρια συνάρτηση του δείγματος Χ. Η f(x;θ) είναι η γνωστή μας συνάρτηση πιθανοφάνειας. Για την εκτίμηση της παραμέτρου θ μπορούμε να χρησιμοποιήσουμε χαρακτηριστικά της εκ των υστέρων κατανομής του θ, p(θ X), όπως ο μέσος ή η διάμεσος. Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (7)
Εκτιμητές Bayes (συν.) Ειδική περίπτωση αποτελεί η ομοιόμορφη κατανομή ως εκ των προτέρων κατανομή π(θ) της παραμέτρου θ. Τότε, καθώς η ομοιομορφία δεν προσφέρει κάποια ειδική γνώση ή περιορισμό για την παράμετρο θ, η εκ των υστέρων κατανομή συμπίπτει με την πιθανοφάνεια, δηλ. p X L και επομένως ο εκτιμητής Bayes είναι ο MLE εκτιμητής. Συζυγείς κατανομές (cojugate family): Μία οικογένεια Π των εκ των προτέρων κατανομών π(θ) ονομάζεται συζυγής αν η εκ των υστέρων κατανομή p(θ X) του θ ανήκει στην ίδια οικογένεια Π. Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (8)
Εκτιμητές Ελαχίστων Τετραγώνων (Least Squares) Εστω τ.δ. X={x, x,, x } με κατανομή με σ.π.π. f(x;θ). Ενας εκτιμητής ελαχίστων τετραγώνων μιας παραμετρικής συνάρτησης g(θ) προκύπτει από την ελαχιστοποίηση της παράστασης: x i g i η οποία είναι η συνάρτηση τετραγωνικού σφάλματος. Στο παραπάνω πρόβλημα ελαχιστοποίησης μπορούμε εναλλακτικά να χρησιμοποιηθεί πρώτερη γνώση του θ με την μορφή περιορισμών, δηλ. πρόβλημα ελαχιστοποίησης με περιορισμούς Εφαρμοσμένη Στατιστική Μέρος ο - Κ. Μπλέκας (9)