HMY 795: Αναγνώριση Προτύπων Διάλεξη 6 Κατανομές πιθανότητας και εκτίμηση παραμέτρων Κατανομές πιθανότητας και εκτίμηση παραμέτρων κανονικές τυχαίες μεταβλητές
Εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές ML estimation Bayesian estimation Conjugate prior for μ p( μ D) p( D μ) p( μ) Posterior density =
Εκτίμηση παραμέτρων δυαδικές τυχαίες μεταβλητές Sequential learning
Περιορισμοί της κανονικής Η κανονική κατανομή συνέχεια κατανομής: Παρουσιάζει ένα μέγιστο (unimodal) περιοριστικό για δδ δεδομένα που μπορεί να έχουν πολλαπλά τοπικά μέγιστα (multimodal) Λύση: μείξη κανονικών κατανομών (Gaussian mixtures) Ο πίνακας συνδιακύμανσης περιέχει D(D+1)/2 στοιχεία στη γενική περίπτωση (+ D στοιχεία το διάνυσμα μ) πιθανό πρόβλημα για προβλήματα με μεγάλο D
Η κανονική κατανομή συνέχεια Αν η συνδυασμένη κατανομή των x a, x b είναι κανονική, δηλ. για x=(x a, x b ) Τ ισχύει: όπου τότε: H υπό συνθήκη κατανομή πιθανότητας p(x a x b ) είναι κανονική: και η περιθωριακή κατανομή p(x a ) είναι επίσης κανονική:
Η κανονική κατανομή συνέχεια
Εκτίμηση ML για την κανονική κατανομή Είδαμε ότι για τη μονοδιάστατη κανονική κατανομή (i.i.d. data ) Ν(μ,σ 2 ) οι εκτιμήσεις μέγιστης πιθανοφάνειας για τα μ,σ 2 είναι: Επαρκείς στατιστικές παράμετροι: Όπως και στη μονοδιάστατη περίπτωση μεγιστοποιούμε ως προς μ, Σ: και:
Εκτίμηση ML για την κανονική κατανομή Για την πολυμεταβλητή κανονική κατανομή έχουμε (i.i.d. data ) Επαρκείς στατιστικές παράμετροι: Όπως και στη μονοδιάστατη περίπτωση μεγιστοποιούμε ως προς μ, Σ: και:
Εκτίμηση ML για την κανονική κατανομή Υποθέτοντας ότι τα δεδομένα προέρχονται από κανονική κατανομή Ν(μ,Σ): οπότε για αμερόληπτη εκτίμηση μπορούμε να πάρουμε:
Μπεϋζιανή εκτίμηση για την κανονική κατανομή Έστω η μονοδιάστατη κανονική κατανομή Ν(μ,σ 2 ). Υποθέτουμε ότι η διασπορά είναι γνωστή και θέλουμε να εκτιμήσουμε κατά Bayes τη μέση τιμή μ από ένα σύνολο παρατηρήσεων (i.i.d.) Όπως και πριν, η συνάρτηση πιθανοφάνειας (likelihood) είναι Χρειαζόμαστε την εκ των προτέρων κατανομή για το μ Σημείωση: Η παραπάνω κατανομή δεν είναι κανονικοποιημένη ως προς μ αλλά έχει τη μορφή κανονικής κατανομής ως προς μ Άρα για την περίπτωσή μας η συζυγής a prior κατανομή θα είναι κανονική ως προς μ
Μπεϋζιανή εκτίμηση για την κανονική κατανομή Εκ των υστέρων κατανομή: Τελικά: όπου Η Μπεϋζιανή εκτίμηση της μέσης τιμής είναι μεταξύ της εκτίμησης ML και της a priori μέσης τιμής. Τι γίνεται όσο μεγαλώνει το Ν? Για Ν=0 μ N =μ 0 Για Ν > μ N =μ ML Όσο αυξάνει το Ν, η ακρίβεια της εκ των υστέρων κατανομής μεγαλώνει (η κατανομή γίνεται πιο «στενή»)
Μπεϋζιανή εκτίμηση για τη μέση τιμή κανονικής κατανομής
Μπεϋζιανή εκτίμηση για την κανονική κατανομή Έστω τώρα ότι η μέση τιμή μ είναι γνωστή και η διασπορά σ 2 είναι άγνωστη. Η πιθανοφάνεια σε συνάρτηση με την ακρίβεια λ=1/σ 2 είναι: Θέλουμε συζυγή εκ των προτέρων κατανομή p(λ): Gamma distribution (συνήθης κατανομή για χρόνους αναμονής) λ,, a,, b>0
Μπεϋζιανή εκτίμηση για την κανονική κατανομή Posterior density: H κατανομή αυτή είναι με παραμέτρους: Άρα η παρατήρηση Ν σημείων αλλάζει τις παραμέτρους της εκ των προτέρων Άρα η παρατήρηση Ν σημείων αλλάζει τις παραμέτρους της εκ των προτέρων κατανομής. Μπορεί να θεωρήσει κάποιος ότι η εκ των προτέρων κατανομή αντιστοιχεί σε κάποιες «εικονικές» παρατηρήσεις, πχ για το α Ν η εκ των προτέρων κατανομή αντιστοιχεί σε 2α 0 παρατηρήσεις 0
Μπεϋζιανή εκτίμηση για την κανονική κατανομή Τι συμβαίνει όταν οι παράμετροι μ,σ 2 (ή ισοδύναμα, λ) είναι και οι δύο άγνωστες? Conjugate prior? Gaussian gamma distribution Quadratic in μ Linear in λ Gamma distribution over λ Independent of μ Για την πολυμεταβλητή κανονική κατανομή: ανάλογη διαδικασία πχ για άγνωστο μ > p(μ): normal, για άγνωστο Λ (=Σ 1 ) > p(λ): Wishart κλπ
Gaussian mixtures Τι συμβαίνει όταν οι παράμετροι μ,σ 2 (ή ισοδύναμα, λ) είναι και οι δύο άγνωστες? Conjugate prior? Gaussian gamma distribution Quadratic in μ Linear in λ Gamma distribution over λ Independent of μ Για την πολυμεταβλητή κανονική κατανομή: ανάλογη διαδικασία πχ για άγνωστο μ > p(μ): normal, για άγνωστο Λ (=Σ 1 ) > p(λ): Wishart κλπ