δειγματοληψίας ανήκει στην EF όταν μπορεί να τεθεί στην μορφή: = και σταθερά i j j i δειγματοληψίας, δεν θα πρέπει να εξαρτάται από την παράμετρο ϑ.

Transcript

1 Στην πολυμετβλητή περίπτωση d ϑ ϑ ϑ d Θ το μοντέλο δειγμτοληψίς νήκει στην EF ότν μπορεί ν τεθεί στην μορφή: π ( x ϑ) h( x) exp{ c( ϑ) t( x) } ( ) όπου ( ϑ) ( ϑ) ( ϑ) c c c d το διάνυσμ των φυσικών πρμέτρων ( ) με c( ϑ) t( x ) c ( ϑ) t ( x ) t x t x t x d d κι στθερά j j j κνονικοποίησης g ( ϑ ) που δίνετι πό τη σχέση: g ( ϑ) h( x) exp c( ϑ) t ( x) dx ενώ ο χώρος κτστάσεων της τυχίς μετβλητής x δηλδή ο χώρος δειγμτοληψίς δεν θ πρέπει ν εξρτάτι πό την πράμετρο ϑ Θέτοντς ( ϑ) log exp ( ϑ) νπράστση A h x c t x dx έχουμε την ισοδύνμη ( x ) h( x ) exp c t( x ) A π ϑ ϑ ϑ Η πιθνοφάνει γι δειγμτοληπτική κτνομή που είνι μέλος της EF είνι: ( x ) h( x) g exp c t( x ) h( x) g exp c t( x ) π ϑ ϑ ϑ exp ϑ ϑ ϑ ( ϑ) exp ( ϑ) h x g c t x g c t x ϑ ϑ Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

2 Όπου ( d ) t x t x t x t x t( x) td ( x) ( t( x) td ( x) ) η d -διάσττη επρκής σττιστική κι h( x) h( x ) Υποθέτοντς ότι g( ϑ) g ( ϑ) g ( ϑ) θέτουμε σν NCP r δ δr exp πncp ϑ π ϑ δ b g ϑ gr ϑ c ϑ b όπου ( ) κι δ δ δ r πίρνει την συζυγή μορφή: b b b d υπερπράμετροι Η posteror τότε { } + δ δr + r ( ) π ϑ x π ϑ δ + e b+ t x g ϑ g ϑ exp c ϑ b+ t x όπου ( ) e ι orml μοντέλο δειγμτοληψίς με άγνωστ locto ϑ κι precso ϑ δηλδή ϑ ( ϑ ϑ ) ( µτ ) έχουμε: τ τ π ( x ) ( ) ex p µτ N x µτ x µ π τ τ exp µ + µx + x π ( ) Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

3 τ exp µτ exp x τ µτ x π τ µτ τ x exp exp µτ π x Με EF πρμέτρους: π / g µτ g µτ g µτ g µτ τ g ( µτ ) h x c τ µ τ µτ exp ( t x ) x x µτ Η πιθνοφάνει είνι x π µ τ τ exp exp µτ ( x ) µτ / µτ τ x / µτ τ x τ exp exp µτ x με t ( x) x κι t ( x) x Πρτηρείστε ότι: ισοδύνμ την πιθνοφάνει μπορούμε ν τη φέρουμε εξ ρχής στην μορφή µτ / τ / τ π ( x µτ ) τ exp ( x µ ) τ exp ( ) S ( µ x) + S x x έχουμε Πράγμτι θέτοντς ( x µ ) ( x x) ( µ x) S + µ x 3 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

4 Ενώ είνι εύκολο ν διπιστώσουμε ότι η σττιστική επρκών σττιστικών t ( x ) κι t x S είνι συνάρτηση των Η συζυγείς -pror κτνομή με υπερπρμέτρους δ ( δ δ ) κι b ( b b ) θ είνι: b δ / δ τµ τ π NCP ( µ τ ) τ exp exp τµ b δ / δ τµ bτ τ exp exp µτb δ / bτ δ τµ τ exp exp + µτb b b µτ δ / / / τ δτ τ τ exp ( δτ ) exp µ µ δ + µτ b δ b N µ G τ b δ τδ δ Πρτηρώντς ότι το πρκάτω σύστημ ως προς β µ κι κ δ + b β b δ b µ δ κ δ έχει μονδική λύση δ δ κ πλοποιούμε τον NCP pror στη μορφή b κµ b β + κµ 4 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

5 ( ) ( ) π NCP µτ π NCP µτ πncp τ N µ µ κτ G τ β Ορισμός: Λέμε ότι η πό κοινού συνεχής κτνομή ( ) ~ ( ) Norml Gmm ότν: x y Ng µ κ β είνι Ng x y µ κ β N x µ κ y G y β > β > < µ < κ > Είνι εμφνές τώρ ότι η συζυγής posteror θ πρέπει ν έχει τη μορφή: ( ) π µτ x Ng µτ µ κ β N µµ κτ G τ β µτ / κτ / τ τ exp ( µ µ ) τ exp( βτ) τ exp β + κ ( µ µ ) Από την άλλη μεριά έχουμε γι την posteror ότι ( ) ( ) π µτ x N µ µ κτ G τ β (( ) S ( x) ) / τ τ exp + µ / κτ / τ τ exp ( µ µ ) τ exp( βτ ) τ exp ( ) S + ( µ x) + τ τ exp β + κ ( µ µ ) + ( ) S + ( µ x) Συγκρίνοντς τις δύο νπρστάσεις γι την posteror έχουμε ότι + κι ότι τ πολυώνυμ ως προς µ στ εκθετικά πρέπει ν είνι εκ τυτότητς ίσ δηλδή 5 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

6 β + κ µ µ β + κ µ µ + S + µ x ή ότι ( ) ( ) κµ κµµ β κµ κ µ κµ µ x ( β κµ x S ) πό όπου κι πίρνουμε: κ κ + κµ + x κµ κµ + x µ κ + ( x) ( κ + ) κ µ β + κµ β + κµ + x + ( ) S β β + S + Συγκεντρωτικά λοιπόν τ ποτελέσμτ μς είνι: pror π µτ Ng µτ µ κ β N µµ G τ β κτ µτ / τ lkelhood π ( x µτ ) τ exp ( ) s ( µ x ) + ( ) ( ) ( ) κ µ x µκ + x posteror π ( µτ x) Ng µτ + β + s + κ + ( + κ) κ + µκ + x N κ µ ( x) µ G τ β s κ + ( κ + ) τ ( + κ ) Posteror mrgls: Είνι φνερό ότι εάν ολοκληρώσουμε την posteror π ( µτ x) ως προς µ πίρνουμε ( x) ( x) d G ( ) π τ π µτ µ τ β + 6 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

7 πό όπου κι + ( τ x) β κ µ β + S + ( x) ( κ + ) Ολοκληρώνοντς την posteror π ( µτ x) ως προς τ πίρνουμε την µ περιθώρι posteror π ( µ x) π ( µ τ x) dτ N µ µ G ( τ β) dτ κτ τ> τ> νωρίζουμε όμως πό το chrcterzto της κτνομής studet ότι: v v π µσϕ ϕ ϕ µσ ( u N u ) G d St ( u v) ϕ > θέτοντς ϕ sτ στο ολοκλήρωμ γι τη π ( µ x) πίρνουμε κ β π ( µ x) N µµ ϕ G ϕ dϕ s s ϕ > κι θέτοντς την στθερά s β το ( x) π µ γίνετι β β π µ x N µ µ κ ϕ G ϕ dϕ St µ µ κ ϕ > πό όπου έχουμε 7 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

8 κµ + x ( µ x) µ κ + ( µ x) ( x) ( κ + ) κ µ β + S + β β κ κ( ) ( κ + ) + ( β + ( ) S )( κ + ) + κ ( µ x) ( κ + ) ( + ) Θυμίζουμε ότι η κτνομή studet με ν βθμούς ελευθερίς μέσο µ κι νσ δισπορά ( ν ) έχει πυκνότητ: v + x µ St ( x µσ ν) + v vπσ v σ v+ ή ισοδύνμ πρμετρικοποιώντς ως προς το precso v + v+ / λ λ ( µλ ) + ( µ ) St x v x v vπ v Pror predctve ( x µτ ) ~ N( µτ ) ( ) ~ Ng ( ) : ι μι πρτήρηση κι pror µτ µ κ β έχουμε ( ) ( ) π x N x µτ Ng µτ µ κ β dτ dµ µ τ> ( ) ( ) N( x µτ ) N x µ ( κτ ) dµ G τ β dτ τ > µ τ > ( ) ( ) N x µ τ + κτ G τ β dτ 8 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

9 τ > ( ( ) ) ( ) N x µ + κ τ G τ β dτ β Θέτοντς ϕ sτ με s πίρνουμε β π ( x) N x µ ( + κ ) ϕ G ( ϕ ) dϕ ϕ > β St x µ ( + κ ) Λέμε ότι το ζεύγος τμ ( ) ~ ( ) ότν: x y P b b κολουθεί την Blterl Preto ( + ) P x y b b y x x < b y > b με > b < b Η στθερά κνονικοποίησης C είνι b + ( + C y x x < b ) y > b dydx y x dydx x y b b ( + ) ( b b) ( ) b x dx C + b b + + x Οι περιθώριες πυκνότητες είνι: ( + + ) ( < ) ( > ) π x b b y x x b y b dy y 9 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

10 ( + ) ( + ) + b b x< b y x d y b b b x x< b y b ( + ) ( ) b b b x b x> b b P b x b b ( + + ) ( < ) ( > ) π y b b y x x b y b dx x b ( + ) ( + ) + b b y > b y x d x b b y b y > b x ( + ) ( ) b b yb y b > b b P yb b b Εάν το μοντέλο δειγμτοληψίς είνι d [ ] ~ x ϑ ϑ ϑ ϑ ϑ < ϑ { } με ϑ ( ϑ ϑ) Θ ( ϑ ϑ) : ϑ < ϑ νήκει στη EF εφόσον ο χώρος κτστάσεων της τμ [ ] της άγνωστες πρμέτρους ϑ κι ϑ Η πιθνοφάνει θ είνι ( x ) ( x ) ( ϑ ϑ ) ( ϑ x x( ) ϑ) ϑϑ π ϑ ϑ ϑ ϑ ϑ ϑ < < τότε η δειγμτοληπτική κτνομή δεν ( x ) ( x ) P ( x x ) ϑ ϑ ϑ ϑ ϑ ϑ Από όπου tsuff ( x) ( t( x) t( x) ) x x ι τους MLE έχουμε: ( ϑ ϑ ) ( ) sup π x ϑ sup ϑ ϑ ϑ x ϑ x Θ ( ϑ ϑ) ϑ< ϑ sup ϑ ( ) ( ) ϑ f ϑ ϑ x x ( ϑ ϑ) x x ϑ ϑ x ϑ ϑ εξρτάτι πό Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

11 ( x x ) π xx x Οπότε ˆ ϑ ( ˆ ˆ MLE ϑ ϑ) ( x x ) MLE Εμφνώς η συζυγής pror είνι Blterl Preto δηλδή: ( ) + πncp ϑ ϑ P ϑ ϑ b b ϑ ϑ ϑ < b ϑ > b με υπερπρμέτρους b b Η posteror τότε είνι ( ) + ( ) π ϑ ϑ x ϑ ϑ ϑ < b ϑ > b ϑ ϑ ϑ < x ϑ > x ( { b x }) { b x( )} ( ) + + ϑ ϑ ϑ < m ϑ > mx P ϑ ϑ + m { b x } mx { b x } b b ι τις mrgl posteror έχουμε: + x P b b b b b b ( b > b b ) π ϑ ϑ ϑ ϑ + ϑ ( ϑ ) b b b < b + x P b b b b b b ( b ) π ϑ ϑ ϑ ϑ > Εύρεση των εκτιμητών κτά Byes ως προς τετργωνική συνάρτηση πώλεις ι τη ( ϑ x ) έχουμε: ( ) ( ) ( ) b ϑ x b ϑ π ϑ x dϑ Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

12 + b b b ϑ b ϑ ϑ < b dϑ ( ) b b b b b d b ( ) ( ϑ) ϑ ϑ ή ότι ( ϑ ) ( ) b b b b b x x ( ϑ ) ι τη ( ϑ x ) έχουμε: ( ) ( ) ( ) ϑ b x ϑ b π ϑ x dϑ + b b ϑ b ϑ b ϑ > b dϑ ( ) b b b b b d ( ) ( ϑ ) ϑ ϑ b ή ότι ( ϑ ) ( ) b b b b x b x ( ϑ ) ι gmm μοντέλο δειγμτοληψίς με άγνωστ shpe ϑ κι rte ϑ δηλδή ( ) ( ) ϑ ϑϑ β έχουμε: β β π( x β) G ( x β) x e x βx β x exp log β exp ( β) ( ) x ( ) ( ) log ( x ) Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ) { }

13 με EF πρμέτρους h( x ) g( β ) g( β ) g( β ) g ( β ) β g ( β ) ( ) ( ) ( ) c β β ( log ) t x x x Η πιθνοφάνει είνι ( x) ( x) β t π( x β ) exp ( β ) ( ) t με t ( x) ( x ) κι log t x x Η συζυγείς -pror κτνομή με υπερπρμέτρους δ ( δ δ ) κι b ( b b ) θ είνι: δ β b πncp ( β ) πncp ( β δ b) exp ( β δ ) ( ) b ( ) δ δ β β exp{ ( ) b βb } exp b βb δ ( ) { } δ Πρτηρούμε ότι τ full codtols της pror δίνοντι πό τις ( ) δ { } exp + πncp β β βb G β δ b ( ) δ β ρ πncp ( β) exp{ ( ) b } e ρ β δ δ ( ) b δ (ostdrd κτνομή) 3 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)

14 ενώ η περιθώρι της π ( ) NCP β πυκνότητς είνι e πncp ( ) β β ( ) ( ) β > ( ) ( δ ) b b δ βb e d δ δ δ+ b ( δ ) ξ ( δ ) δ δ b ( ) b e + + δ e + b e όπου ξ b δ ι την posteror έχουμε ( x) ( x) δ β b β t π ( β x) exp ( β) exp ( β δ ) ( ) b ( ) t δ ( + ) β b + t x δ ( β) π β δ+ + + ( ) ( e b t( x) ) e exp NCP b + t x 4 Σ Ι Χτζησπύρος Σημειώσεις Byes Sttstcs (ΠΜΣ)