Μέθοδος μέγιστης πιθανοφάνειας

Transcript

1 Αν x =,,, παρατηρήσεις των Χ =,,,, τότε έχουμε διαθέσιμο ένα δείγμα Χ={Χ, =,,,} της κατανομής F μεγέθους με από κοινού σκ της Χ f x f x Ορισμός : Θεωρούμε ένα τυχαίο δείγμα Χ=(Χ, Χ,, Χ ) από πληθυσμό το οποίο έχει συνάρτηση πυκνότητας πιθανότητας f(x ;θ), με θθ Η συνάρτηση πιθανοφάνειας (lkelhood) ορίζεται από τη σχέση, L f x ;

2 και ο λογάριθμος της συνάρτησης πιθανοφάνειας (loglkelhood) ορίζεται ως l log L log f x ; log f x; Λαμβάνοντας την πρώτη παράγωγο ως προς θ l 0 και αφού βεβαιωθούμε ότι η δεύτερη παράγωγος ως προς θ είναι γνησίως αρνητική, λαμβάνεται η μέγιστη τιμή της παραμέτρου Η εκτίμηση επομένως Μέγιστης Πιθανοφάνειας είναι η λύση της εξίσωσης πιθανοφάνειας

3 Ορισμός : Ο εκτιμητής σχέση l max που ικανοποιεί τη είναι η παράμετρος η οποία μεγιστοποιεί την πιθανοφάνεια του δείγματος Χ και καλείται Εκτιμητής Μέγιστης Πιθανοφάνειας (ΕΜΠ) του θ X l

4 Αν, για παράδειγμα, ληφθεί ένα τυχαίο δείγμα Y, Y,, Y από την κατανομή Posso με παράμετρο λ, τότε η συνάρτηση πιθανοφάνειας θα είναι Και ο λογάριθμος της συνάρτησης πιθανοφάνειας

5 Οπότε, παίρνοντας την πρώτη παράγωγο, δίνονται αντίστοιχα τα διαγράμματα για τη συνάρτηση πιθανοφάνειας και τη συνάρτηση του λογαρίθμου της πιθανοφάνειας:

6 Έλεγχος πολυωνυμικής με άγνωστες παραμέτρους Όταν οι παράμετροι π, =,,,k είναι άγνωστοι, θα πρέπει να εκτιμηθούν από τα δεδομένα και μετά να χρησιμοποιηθεί το τεστ καλής προσαρμογής x όπου αντί για e γίνεται όπου είναι ο εκτιμητής μέγιστης πιθανοθάνειας (ΕΜΠ) των άγνωστων παραμέτρων και η x κατανομή θα είναι x k--s όπου s ο αριθμός των εκτιμώμενων παραμέτρων e

7 Έλεγχος πολυωνυμικής με άγνωστες παραμέτρους Θεώρημα: Αν οι παράμετροι π, =,,,k εξαρτώνται από άλλες παραμέτρους άγνωστες θ δηλ: τότε: x I * ~ xk s

8 Άσκηση Σε πρόβλημα γενετικής μια ομάδα βιολόγων προτείνει μοντέλο τριωνυμικής κατανομής με π =θ, π =θ(-θ), και π 3 =(-θ), με 0<θ< Αν =50 με συχνότητες π =5, π =0 και π 3 =5 να δειχθεί αν τα δεδομένα ακολουθούν τριωνυμική κατανομή Επίσης να αποδειχθεί ότι καθώς και ότι η αναμενόμενη τιμή ισούται με 3 l l E

9 Απάντηση Ελέγχουμε Η πιθανοφάνεια δίνεται από την σχέση: Ο λογάριθμος της πιθανοφάνειας H : 0 H : !!!! c L log log log log log log 3 c L

10 Απάντηση με πρώτη παράγωγο log L 3 0 Οπότε όπου Άρα 3 Εκτιμητής μέγιστης πιθανοφάνειας *

11 Απάντηση Οπότε παίρνουμε Με αντίστοιχες αναμενόμενες εκτιμήσεις Τεστ καλής προσαρμογής I 5 8 x 8 e e e * 4 8 x k s,005 x3,005 x, <7 άρα απορρίπτω την Η 0 3 7

12 Απάντηση Για την δεύτερη μερική παράγωγο έχουμε Και για την αναμενόμενη τιμή της ης παραγώγου έχουμε l l 3 E E E E l E

13 πολυωνυμικής δειγματοληψίας Όταν το μέγεθος του δείγματος είναι γνωστό αλλά τα αθροίσματα (γραμμών ή στηλών) άγνωστα τότε πολυωνυμικό μοντέλο δειγματοληψίας εφαρμόζεται Τα κελιά (I,J) είναι τα πιθανά αποτελέσματα με σππ να ισούται με! Επομένως αναφερόμαστε στο συνολικό αριθμό του μεγέθους του δείγματος

14 πολυωνυμικής δειγματοληψίας Αν ο πίνακας συνάφειας είναι μεγέθους ΙJ και δεσμεύσουμε ως προς το συνολικό αριθμό του δείγματος τότε η συνάρτηση πιθανοφάνειας δίνεται από την σχέση: l!! με μέγιστη τιμή για π = π = π 3 = = π IJ = δηλ: όταν όλες οι πιθανότητες εμφάνισης του συνδυασμού των ενδεχομένων ισούται με μονάδα Αλλά αυτό είναι αδύνατον γιατί το άθροισμα των πιθανοτήτων πρέπει να ισούται με την μονάδα

15 πολυωνυμικής δειγματοληψίας Επομένως στην περίπτωσή μας θέλουμε να μεγιστοποιήσουμε την συνάρτηση πιθανοφάνειας l με βάση τον περιορισμό ότι: max I J l max log l Περίπτωση γραμμικού προγραμματισμού: επίλυση συστήματος εξισώσεων κάτω από περιορισμούς Για την μεγιστοποίηση χρησιμοποιούμε τον λογάριθμο της συνάρτησης πιθανοφάνειας Στις περιπτώσεις που θέλουμε να ελέγξουμε την επίδραση των περιορισμών πάνω στην διαδικασία μεγιστοποίησης της συνάρτησής μας κάνουμε χρήση των πολλαπλασιαστών Lagrage

16 πολυωνυμικής δειγματοληψίας Ακρότατα με περιορισμούς ισοτήτων Έστω μία συνάρτηση f:r R με συνεχείς πρώτες μερικές παραγώγους και οι περιορισμοί g(q)=0, g:r R m Το πρόβλημα είναι να βρεθούν τα ακρότατα της f υπό τους περιορισμούς g Θα μετατρέψουμε το πρόβλημα αυτό σε κάποιο που ξέρουμε να λύνουμε: στο πρόβλημα χωρίς περιορισμούς Αυτό επιτυγχάνεται με την χρήση των πολλαπλασιαστών Lagrage

17 πολυωνυμικής δειγματοληψίας Ακρότατα με περιορισμούς ισοτήτων Ορίζοντας την Λαγκρανζιανή (κατ άλλους Χαμιλτονιανή) L ως T L q, f q g q όπου το διάνυσμα λ καλείται πολλαπλασιαστής Lagrage, και βρίσκοντας τα ακρότατά της, έχουμε επιτύχει τον στόχο μας (Θεμελιώδες θεώρημα)

18 πολυωνυμικής δειγματοληψίας Ακρότατα με περιορισμούς ισοτήτων Η δεύτερη προϋπόθεση εξασφαλίζει την ικανοποίηση των αρχικών περιορισμών ισοτήτων Η σχέση μας δείχνει ότι οι πολλαπλασιαστές Lagrage ερμηνεύονται σαν την αλλαγή στη βέλτιστη τιμή που επιφέρει μία αλλαγή στους περιορισμούς

19 πολυωνυμικής δειγματοληψίας Ακρότατα με περιορισμούς ισοτήτων Με βάση το πρόβλημα της μεγιστοποίησης που έχουμε να επιλύσουμε οι περιορισμοί μετατρέπονται σε max log l I J 0 και η γενική μορφή της συνάρτησης Lagrage δίνεται από την σχέση L f g b όπου g()=b είναι οι περιορισμοί μας I J Στην περίπτωση την δική μας

20 πολυωνυμικής δειγματοληψίας Ακρότατα με περιορισμούς ισοτήτων Με βάση την γενική μορφή: L f g η συνάρτηση που θέλουμε να μεγιστοποιήσουμε γίνεται (λαμβάνοντας τους λογαρίθμους): b L I J log I J

21 πολυωνυμικής δειγματοληψίας Παραγωγίζοντας ως προς π, =,,,I και =,,,J και εξισώνοντας με το μηδέν έχουμε L 0 Άμα λύσουμε ως προς και αθροίσουμε επί του συνολικού δείγματος έχουμε: I J I J I J

22 πολυωνυμικής δειγματοληψίας Αντικαθιστώντας της δεύτερη σχέση στην πρώτη έχουμε Οι εκτιμητές μέγιστης πιθανοφάνειας των πιθανοτήτων π, είναι οι εμπειρικές εκτιμήσεις των πιθανοτήτων

23 πολυωνυμικής δειγματοληψίας Κάτω από την υπόθεση της ανεξαρτησίας έχουμε * η συνάρτηση που θέλουμε να μεγιστοποιήσουμε γίνεται (λαμβάνοντας τους λογαρίθμους): L I J log I J * *

24 πολυωνυμικής δειγματοληψίας Μηδενίζοντας την πρώτη παράγωγο ως προς π και ως π έχουμε: L L, * *

25 γινόμενο πολυωνυμικής Ας υποθέσουμε ότι σε κάθε επίπεδο της Χ, έστω Χ =, διαθέτουμε, παρατηρήσεις Έστω επίσης ότι οι μετρήσεις της Υ σε ένα επίπεδο της Χ είναι ανεξάρτητες από αυτές σε ένα άλλο επίπεδο της Χ, έχοντας συνάρτηση πυκνότητας πιθανότητας (π,, π J ) Τότε για κάθε γραμμή έχουμε ένα διαφορετικό πολυωνυμικό πείραμα Οι μετρήσεις, =,, J έχουν την πολυωνυμική κατανομή:!! Επομένως στην περίπτωση αυτή αναφερόμαστε σε μεταβαλλόμενα επίπεδα είτε οριζόντια είτε κάθετα στο πίνακα συνάφειας όπου το αντίθετο επίπεδο παραμένει σταθερό υπό συνθήκη πιθανότητα

26 γινόμενο πολυωνυμικής Για να βρούμε το μέγιστο χρησιμοποιούμε τους πολλαπλασιαστές Lagrage, όπου θέλουμε να μεγιστοποιήσουμε την συνάρτηση Παραλογίζοντας ως προς π και εξισώνοντας με το μηδέν έχουμε: I J I J L log 0 L

27 γινόμενο πολυωνυμικής Αθροίζοντας ως προς όλα τα έχουμε: Αντικαθιστώντας την δεύτερη στην πρώτη σχέση έχουμε: * *

28 γινόμενο πολυωνυμικής Αν ισχύει η υπόθεση της ανεξαρτησίας τότε η πιθανοφάνεια γράφεται: όπου π είναι η κοινή τιμή των πιθανοτήτων π,, π I οι οποίες κάτω από την μηδενική υπόθεση είναι ίσες Με βάση τους πολλαπλασιαστές Lagrage η συνάρτηση που πρέπει να μεγιστοποιηθεί είναι: I J L log l

29 γινόμενο πολυωνυμικής Παραλογίζοντας ως προς την π και μηδενίζοντας έχουμε: με λύσεις των εξισώσεων μετά από αντικατάσταση: L 0