ΦΡΟΝΤΙΣΤΗΡΙΟ Άσκηση Έστω X, X,..., X d τυχαίες μεταβλητές με ~ Posso ( ), Να εξάγετε α) τη συνάστηση πιθανοφάνειας στις 3 μορφές τις και β) τον εκτιμητή μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο λ. Δίνεται η συνάρτηση πιθανότητας : e,,,,... p ( ;, )!, ώ Λύση α) Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πιθανότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως P( ) p( ; ) e! Η συνάρτηση πιθανοφάνειας θα είναι : L(, ) p(, ) e! η λογαριθμική συνάρτηση πιθανοφάνειας :
l L(, ) l p(, ) l e l l!! και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l e l (, )! l l! l (, ) p L β) Ο εκτιμητής μέγιστης πιθανοφάνειας για το λ, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Απο τις συνθήκες πρώτης τάξης έχουμε : l L( ) ˆ ML Το ˆ ML ως άθροισμα μεταβλητών που παίρνουν τιμές στο {,,...,} Αυτό είναι το κρίσιμο σημείο. Για να δούμε εαν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. l L( ) Αρκεί να δείξουμε ότι ˆ ώστε το ˆ ML ML πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : να είναι ο εκτιμητής μέγιστης l L( ) ˆ ML ˆ ML για αρκούντως μεγάλο. Άσκηση Έστω X, X,..., X d τυχαίες μεταβλητές με ~ N(, v ), v για,...,.
α) Να εξαχθούν οι συναρτήσεις πιθανοφάνειας (και στις 3 μορφές) (,5 μον) β) Να εξαχθεί ο εκτιμητής μέγιστης πιθανοφάνειας (MLE) για το v ( μον) γ) Να εξετασθεί εαν ο παραπάνω εκτιμητής είναι αμερόληπτος (,5 μον) δ) Για την τυπική κανονική κατανομή, να βρεθεί η E X ( μον) Δίνεται η συνάρτηση πυκνότητας της Ν(μ,v) : f ( ;, v ) ep ( ) v v Λύση α) Παρατηρώ οτι το στήριγμα είναι το suppp=r (αφού αυτό είναι το μικρότερο διάστημα στο οποίο όταν ολοκληρώνω τη συνάρτηση πικνότητας παίρνω μονάδα). Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πυκνότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως ( ) v v f ( ) f (, v) e Η συνάρτηση πιθανοφάνειας θα είναι : ( ) v v L ( v) f (, v) e η λογαριθμική συνάρτηση πιθανοφάνειας : ( ) ( ) v v l( v) l f (, v) l e l e v v
l l v l l v v και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l l v l l l v v v β) Ο εκτιμητής μέγιστης πιθανοφάνειας για το v, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Απο τις συνθήκες πρώτης τάξης έχουμε : l () v vˆ v v v Το v ˆ είναι το κρίσιμο σημείο. Για να δούμε εαν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. v l() v Αρκεί να δείξουμε ότι vvˆ ώστε το vˆ v πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : να είναι ο εκτιμητής μέγιστης l() v v v v v vvˆ 3 ˆ ˆ ˆ Τέλος, παρατηρώ ότι vˆ εκτιμήσεις που δίνει βρίσκονται εντος του παραμετρικού χώρου. αφού Nκαι R και συνεπώς οι Συμπερασματικά, ο v ˆ είναι ο εκτιμητής μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο v. γ) Γνωρίζουμε οτι ο εκτιμητής είναι αμερόληπτος εάν ισχύει ότι E( vˆ ) v. Έχουμε
E vˆ E ( ) E( ) E( ) ( E E ) όμως Var( ) E ( E ) v E E v, ύ E Άρα έχουμε : v E vˆ ( v ) v Συνεπώς, E( vˆ ) v, άρα ο εκτιμητής είναι αμερόληπτος. δ) Η τυπική κανονική κατανομή δίνεται απο τον τύπο της Ν(μ,v) για μ= και v=. Συνεπώς ο τύπος της τυπικής κανονικής κατανομής είναι : () e Υπολογίζουμε την απόλυτη ροπή πρώτης τάξης : E X ( ) d ( ) d ( ) d e d e d (Αλλαγή μεταβλητής : Θέτω u. Προσοχή στα όρια!!!) u u u u E X e du e du e du e du u u e lm e e u Άσκηση 3 Έστω X, X,..., X d τυχαίες μεταβλητές με ~ Gamma( a, b ), a, b για,...,. Θεωρήστε γνωστό το a και άγνωστη την παράμετρο b. α) Να εξαχθούν οι συναρτήσεις πιθανοφάνειας (και στις 3 μορφές) β) Να εξαχθεί ο εκτιμητής μέγιστης πιθανοφάνειας (MLE) για το b
k ( k) k γ) Να δείξετε ότι E( X ) b και να εξετάσετε αν ο εκτιμητής είναι αμερόληπτος. ( ) Δίνεται η pdf της Γάμμα κατανομής : a b a b e, f ( ; a, b) ( ), ώ και η συνάρτηση Γάμμα : t t e dt a a Λύση ( ) ( )! Αφού a η συνάρτηση πυκνότητας γίνεται : b b e, f ( ; b), ώ α) Παρατηρώ ότι το στήριγμα είναι το suppp=[, ) (αφού αυτό είναι το μικρότερο διάστημα στο οποίο όταν ολοκληρώνω τη συνάρτηση πυκνότητας παίρνω μονάδα). Δεδομένου ότι οι τυχαίες μεταβλητές είναι d η συνάρτηση πυκνότητας του τυχαίου διανύσματος... μπορεί να γραφτεί ως b ( ) (, ) f f b b e Η συνάρτηση πιθανοφάνειας θα είναι : b ( ) (, ) L b f b b e η λογαριθμική συνάρτηση πιθανοφάνειας :
b l ( b) l f (, b) l b e l b l b l b l b και τέλος η μέση λογαριθμική συνάρτηση πιθανοφάνειας : l b l ( b) l f (, b) l b l b l b Ο εκτιμητής μέγιστης πιθανοφάνειας για το θ, θα πρέπει να ικανοποιεί τις συνθήκες πρώτης και δεύτερης τάξης. Από τις συνθήκες πρώτης τάξης έχουμε : l( b) ˆ b b b Το b ˆ είναι το κρίσιμο σημείο. Για να δούμε εάν είναι και μεγιστοποιούν θα πρέπει να πάρουμε και συνθήκες δεύτερης τάξης. l ( b) Αρκεί να δείξουμε ότι b bbˆ ώστε το b πιθανοφάνειας της άγνωστης παραμέτρου. Έχουμε : ˆ να είναι ο εκτιμητής μέγιστης l () b b bˆ bbˆ Τέλος, παρατηρώ ότι ˆ b αφού N βρίσκονται εντός του παραμετρικού χώρου. και R και συνεπώς οι εκτιμήσεις που δίνει Συμπερασματικά, ο b ˆ είναι ο εκτιμητής μέγιστης πιθανοφάνειας για την άγνωστη παράμετρο b. γ) (Για την απόδειξη k ( k) k E( X ) b, δείτε φροντιστήριο 7, Άσκηση 5) ( )
Γνωρίζουμε ότι ο εκτιμητής είναι αμερόληπτος εάν ισχύει ότι E( bˆ ) b. Έχουμε : ˆ E( b ) E b E b b αφού η πρώτη ροπή, δίνεται από το EX b! ()!! b b ( ) ( )! k ( k) k E( X ) b για k= : ( ) Συνεπώς, E( bˆ ) b, άρα ο εκτιμητής είναι μεροληπτικός