ΦΡΟΝΤΙΣΤΗΡΙΑ 7 ΚΑΙ 8 Άσκηση Έστω X, X,..., X d τυχαίες μεταβλητές με Beroull ( p ), p, Να εξάγετε α) τη συνάρτηση πιθανοφάνειας στις 3 μορφές τις και β) τον εκτιμητή μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο p. Δίνεται η συνάρτηση πιθανότητας : p ( p),, f ( ; p),ώ Λύση α) Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πιθανότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως ( ) ( ; ) ( ; ) ( ; )... ( ; ) ( ) ( )... ( ) f f p f p f p f p p p p p p p p ( p) Η συνάρτηση πιθανοφάνειας θα είναι : L(, p) f (, p) p ( p)
η λογαριθμική συνάρτηση πιθανοφάνειας : l (, ) l (, ) l L p ( ) f p p p l p l( p) και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l ( ) l (, ) l l( ) l (, ) p p f p p p L p β) Ο εκτιμητής μέγιστης πιθανοφάνειας για το p, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Από τις συνθήκες πρώτης τάξης έχουμε : l Lp ( ) ( ) p p p p ˆ p p Το pˆ (,) ως άθροισμα μεταβλητών που παίρνουν τιμές στο {,,...,Μ} Αυτό είναι το κρίσιμο σημείο. Για να δούμε εάν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. Αρκεί να δείξουμε ότι l Lp ( ) p p pˆ ώστε το pˆ πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : να είναι ο εκτιμητής μέγιστης l Lp ( ) p pˆ p (,) ώ p p ( p) ως άθροισμα μεταβλητών που παίρνουν τιμή ή. Επομένως, το pˆ
είναι ολικό μέγιστο. Άσκηση Έστω X, X,..., X d τυχαίες μεταβλητές με ~ Bomal (, ),, Να εξάγετε α) τη συνάρτηση πιθανοφάνειας στις 3 μορφές τις και β) τον εκτιμητή μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο θ. Θεωρείστε το Μ γνωστό. γ) Είναι αμερόληπτος ο εκτιμητής ; Δίνεται η συνάρτηση πιθανότητας : ( ),,,..., M p ( ;, ), ώ και το διωνυμικό ανάπτυγμα : m! ( a b) a b Λύση m m y m y y y!( m y)! α) Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πιθανότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως M P( ) P(, ) Η συνάρτηση πιθανοφάνειας θα είναι : M
M L ( ) M η λογαριθμική συνάρτηση πιθανοφάνειας : M M M l( ) l l l l( )( M ) και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : M M M l ( ) l l l l( )( M ) β) Ο εκτιμητής μέγιστης πιθανοφάνειας για το θ, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Απο τις συνθήκες πρώτης τάξης έχουμε : M l ( ) ˆ ( ) M M Το ˆ [,] M ως άθροισμα μεταβλητών που παίρνουν τιμές στο {,,...,Μ} Αυτό είναι το κρίσιμο σημείο. Για να δούμε εαν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. l ( ) Αρκεί να δείξουμε ότι ˆ ώστε το ˆ M πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : να είναι ο εκτιμητής μέγιστης M l( ) ˆ ( ) ώ M M γ) Ο εκτιμητής είναι αμερόληπτος εάν E( pˆ ) p Έχουμε :
E( ) E( pˆ ) E M M Παρατηρώ ότι προκύπτει η ανάγκη υπολογισμού της πρώτης ροπής της κατανομής. Έχουμε : M M M M M M! E( X ) p ( p) p ( p) p ( p)!( M )! M M! M p ( p) ( )!( M )! M M M Εφόσον ο πρώτος όρος (για =) ισούται με το μηδέν. Θέτω y M. Συνεπώς : ( )!! E X p p p p p ( y)!( y)! y!( y)! y y y y ( ) ( ) ( ) ( ) yo! Mp p ( p) y!( y)! yo y y Παρατηρώ, πως αν αντικαταστήσω στο διωνυμικό ανάπτυγμα a p, b p, έχω : yo yo! y y p ( p) p ( p) y!( y)! Επομένως E( X ) Mp Έχουμε λοιπόν πως : E( ) Mp Mp E( pˆ ) E p M M M M και επομένως ο εκτιμητής είναι αμερόληπτος.
Άσκηση 3 Έστω X, X,..., X d τυχαίες μεταβλητές με ~ Posso ( ), Να εξάγετε α) τη συνάστηση πιθανοφάνειας στις 3 μορφές τις και β) τον εκτιμητή μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο λ. Δίνεται η συνάρτηση πιθανότητας : e,,,,... p ( ;, )!, ώ Λύση α) Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πιθανότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως P( ) p( ; ) e! Η συνάρτηση πιθανοφάνειας θα είναι : L(, ) p(, ) e! η λογαριθμική συνάρτηση πιθανοφάνειας :
l L(, ) l p(, ) l e l l!! και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l e l (, )! l l! l (, ) p L β) Ο εκτιμητής μέγιστης πιθανοφάνειας για το λ, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Απο τις συνθήκες πρώτης τάξης έχουμε : l L( ) ˆ Το ˆ ως άθροισμα μεταβλητών που παίρνουν τιμές στο {,,...,} Αυτό είναι το κρίσιμο σημείο. Για να δούμε εαν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. l L( ) Αρκεί να δείξουμε ότι ˆ ώστε το ˆ πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : να είναι ο εκτιμητής μέγιστης l L( ) ˆ ˆ για αρκούντως μεγάλο.
Άσκηση 4 Έστω X, X,..., X d τυχαίες μεταβλητές με ~ Gamma( a, b ), a, b για,...,. Θεωρήστε γνωστό το a και άγνωστη την παράμετρο b. α) Να εξαχθούν οι συναρτήσεις πιθανοφάνειας (και στις 3 μορφές) β) Να εξαχθεί ο εκτιμητής μέγιστης πιθανοφάνειας (E) για το b γ) Να δείξετε ότι k ( k) k E( X ) b και να εξετάσετε αν ο εκτιμητής είναι αμερόληπτος. ( ) Δίνεται η pdf της Γάμμα κατανομής : a b a b e, f ( ; a, b) ( ), ώ και η συνάρτηση Γάμμα : t t e dt a a Λύση ( ) ( )! Αφού a η συνάρτηση πυκνότητας γίνεται : b b e, f ( ; b), ώ α) Παρατηρώ ότι το στήριγμα είναι το suppp=[, ) (αφού αυτό είναι το μικρότερο διάστημα στο οποίο όταν ολοκληρώνω τη συνάρτηση πυκνότητας παίρνω μονάδα). Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πυκνότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως
b ( ) (, ) f f b b e Η συνάρτηση πιθανοφάνειας θα είναι : b ( ) (, ) L b f b b e η λογαριθμική συνάρτηση πιθανοφάνειας : b l ( b) l f (, b) l b e l b l b l b l b και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l b l ( b) l f (, b) l b l b l b Ο εκτιμητής μέγιστης πιθανοφάνειας για το θ, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Από τις συνθήκες πρώτης τάξης έχουμε : l( b) ˆ b b b Το b ˆ είναι το κρίσιμο σημείο. Για να δούμε εάν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. l ( b) Αρκεί να δείξουμε ότι b bbˆ ώστε το b πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : ˆ να είναι ο εκτιμητής μέγιστης l ( b) b bˆ bbˆ
Τέλος, παρατηρώ ότι ˆ b αφού N βρίσκονται εντός του παραμετρικού χώρου. και R και συνεπώς οι εκτιμήσεις που δίνει Συμπερασματικά, ο b ˆ είναι ο εκτιμητής μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο b. γ) (Για την απόδειξη k ( k) k E( X ) b, δείτε φροντιστήριο 7, Άσκηση 5) ( ) Γνωρίζουμε ότι ο εκτιμητής είναι αμερόληπτος εάν ισχύει ότι E( bˆ ) b. Έχουμε : ˆ E( b ) E b E b b αφού η πρώτη ροπή, δίνεται από το EX b! ()!! b b ( ) ( )! k ( k) k E( X ) b για k= : ( ) Συνεπώς, E( bˆ ) b, άρα ο εκτιμητής είναι μεροληπτικός