Ορίζουμε την πληροφορία κατά Fsher ( σαν το ποσό της πληροφορίας που περιέχει η παρατήρηση για την παράμετρο Συμβολίζοντας με S( την λογαριθμική παράγωγο της πιθανοφάνειας ως προς την παράμετρο (score fucto η πληροφορία κατά Fsher για μια μονοδιάστατη παράμετρο ορίζεται ως ισοδύναμα S( π S Π d S d 0 Η πληροφορία κατά Fsher είναι το varace του score fucto S( Πράγματι Va rs S S S ενώ S ( S ( π ( d π ( d π ( d 0 Τώρα μπορούμε να δείξουμε ότι η πληροφορία κατά Fsher είναι αθροιστική ως προς της παρατηρήσεις Δηλαδή εάν έχουμε παρατηρήσεις d ~ π ( για θα έχουμε ότι Πράγματι Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 S log π log π log π ( log ( log ( π π j + < j log π ( log ( log ( π π j + < j
log π ( ( S Πρόταση: Η πληροφορία κατά Fsher (για μία παρατήρηση δίνεται ισοδύναμα από την σχέση: log ( π Παραγωγίζοντας την S 0 έχουμε: 0 log π ( log π ( π ( d log ( π π ( d + log π ( π ( d log ( π ( π π ( d + log π ( π ( d π ( + E log π E log π + log ( ( π π d log π ( π ( Παρατήρηση: Η ισότητα log π ( log π ( E ισχύει για τις περιπτώσεις όπου S ( π ( d π ( d 0 d Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0
δηλαδή όταν ισχύει π ( π ( d d Για παράδειγμα εάν το στήριγμα της πυκνότητας του μοντέλου ( τότε γενικά έχουμε ότι π d π ( d π εξαρτάται από την παράμετρο με αποτέλεσμα log π ( log π ( E d Για παράδειγμα εάν [ ] ~ ( 0 τότε ( 0 παρατήρηση έχουμε και για μία π ( d d π ( d d 0 0 0 Όμως η πληροφορία κατά Fsher για μία παρατήρηση είναι: S( Άσκηση : Εάν π ( EF τότε για παρατήρηση τέτοια ώστε ~ π ( g ( tsuff Επαληθεύστε την προηγούμενη σχέση όταν g c ~ Ga ( a Έχουμε ότι c t c t u π ( EF π ( h g e g h( u e du που δίνει π ( d π ( d 0 τότε για t tsuff έχουμε c t { } 0 π ( d h g e d c t c t g h e d + g c h t e d ( ( g + g c t c t h g e d c t h g e d ισχύει Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 3
( ( ( g π ( d + c ( t π ( d g g + c g t από όπου t ( Έχουμε ότι Ga ( a EF εφόσον ( a δηλαδή g και c a t [ ] και t Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 4 g ( c g a π e e Γ a a a ( a Γ( a g ( g c που δίνουν Για μια οποιαδήποτε στατιστική συνάρτηση t t t Εάν όμως η t a και ισχύει η ανισότητα t είναι επαρκής ως προς την τότε έχουμε ότι Πράγματι εάν η t είναι επαρκής θα υπάρχουν συναρτήσεις h FN και g FN τέτοιες ώστε π h g t ; Έτσι για μια παρατήρηση και μετασχηματισμό FN FN ( t y που είναι ένα προς ένα έχουμε ( y dt π ( y hfn ( t ( y gfn ( y; dy και dt ( y y log π ( y log h FN ( t ( y gfn ( y; dy π ( log g FN ( y; log log π ( hfn Πρόταση Δείξτε ότι για κάθε αμερόληπτο εκτιμητή σφάλματος R( t E t R( t Για t t με t < { } t t του η συνάρτηση τετραγωνικού (rsk fucto ικανοποιεί την ανισότητα θέτουμε ψ [ t ] τότε d ψ t π ( d t π ( d d
t log π ( π ( d t S ( π ( d t S ψ Co vt S Δηλαδή η στατιστική S( έχει μέσο 0 διασπορά ως προς t( ίση με ψ και συνδιασπορά Χρησιμοποιώντας την ανισότητα συνδιασποράς (covarace equalty παίρνουμε το φράγμα Cramer Rao Cov t S ( Var t Var S ( Var t ψ και Var t ( ψ Εάν η στατιστική t είναι αμερόληπτος εκτιμητής (ubased estmator για το t ψ και δηλαδή [ ] θα έχουμε ( { } { } R t t t t Va rt Έτσι για αμερόληπτο εκτιμητή t( του ισχύει η ανισότητα R t ( Το effrey s pror χρησιμοποιείται για τον ορισμό oformatve prors (referece prors και είναι της μορφής π Εάν η ϕ με ϕ : Θ Η αντιστρέψιμος μετασχηματισμός της παραμέτρου τότε από το αρχικό μοντέλο Μ { f ( : Θ } ορίζουμε την επαναπαραμετροποίηση Μ { f ( η : η Η } όπου f( η f( ϕ ( η Εάν η pror πυκνότητα π ( με στήριγμα το Θ είναι o formatve για το μοντέλο Μ αυτό δεν σημαίνει ότι και η μετασχηματισμένη πυκνότητα dϕ ( η π ( η π ϕ ( η με στήριγμα Η dη είναι o formatve για το μοντέλο Μ Εάν όμως θέσουμε π π τότε ένα προς ένα και επί (bjecto 5 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0
( η dϕ dη π( η π ϕ ( η π ( η και τότε μετασχηματίζουμε τον oformatve pror σε η oformatve pror Πράγματι dϕ η d d π( η π( ϕ ( η π π dη dη dη d d log f dη dη d log f( log f( η η dη η η π η π η π η Δείξαμε λοιπόν την εξής πρόταση: Πρόταση Το effrey s pror είναι αναλλοίωτο κάτω από μετασχηματισμούς (reparametrzato varat αυτό το γεγονός αναφέρεται σαν effrey s prcple π ( ϕ π d d dϕ ( η Σημειώστε ότι σε stadard συμβολισμό σημαίνει ότι ϕ fη η fθ ϕ η fη η dη fθ d dη d d Πράγματι εάν ϕ τότε και ϕ dϕ dϕ { } { } { } { } fη η dη P η <Η η+ dη P η < ϕ Θ η+ dη P ϕ η <Θ ϕ η+ dη P <Θ + d f d f η dη f d Θ Η Θ d d Ενώ εάν ϕ τότε και ϕ dϕ dϕ { } { } { } fη η dη P η <Η η+ dη P η < ϕ Θ η+ dη P ϕ η+ dη Θ< ϕ η Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 6
P{ + d Θ< } fθ( u du fθ d fη( η dη fθ d + d effrey s pror για το beta bomal μοντέλο: Έστω Beroull d παρατηρήσεις ~ Beroull ( Θεωρώντας μία παρατήρηση π 0 έχουμε { } log ( + ( ( ( + + που δίνει ( ( Το αντίστοιχο effrey s pror είναι g / ( / π Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 που είναι proper επειδή η σταθερά κανονικοποίησης του g / / Γ ( 0 0 ( / Γ C g d d π Έτσι C g ( 7 είναι π Be( // π var ( που είναι η κατανομή arcse Η αντίστοιχη posteror για παρατηρήσεις θα είναι ( ( / { } π π π { } / Be + + Παρατηρούμε ότι ( + / ˆ MLE + Ας αναζητήσουμε oformatve συζυγείς prors για το bomal μοντέλο
π ( ( g ep c με g και c( log π ( ( a g ep( c και θεωρώντας π g bc a+ παίρνουμε π ( g ep (( b+ c Be( a+ b+ ep Όλες οι pror π Be( a b με a b< είναι oformatve Θα μπορούσαμε μάλιστα να συμπεριλάβουμε και την περίπτωση της uform a b αλλά και την περίπτωση όπου a b 0 Στην τελευταία περίπτωση έχουμε ( (mproper συζυγής και var ( π Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 8 Var Ορίζουμε τις οικογένειες πυκνοτήτων BB { ~ Be( a b : b a0 a } B { ~ Be( a b : a 0 b 0} Η οικογένεια BB ( και είναι η οικογένεια των oformatve pror για το beta bomal μοντέλο που είναι υποσύνολο της των συζυγών pror για το bomal μοντέλο δειγματοληψίας οικογένειας B Παρατηρούμε ότι π BB αλλά η π στοιχεία του ( ξεχωρίζει από τα υπόλοιπα BB γιατί είναι η μόνη oformatve pror που είναι αναλλοίωτη κάτω από μετασχηματισμούς (δηλαδή και η μετασχηματισμένη της είναι oformatve Φυσικά για κάθε π BB έχουμε a + E( και επειδή 0 a έχουμε E( ˆ MLE a+ Περίπτωση Beta Negatve Bomal + Έστω ~ NB( έχουμε π ( ( και E log ( E( E + ( ( ( Π ( s Π ( ( s ( που δίνει ( + ( ( ( και το αντίστοιχο effrey s pror είναι ( / π
/ d 0 Η αντίστοιχη posteror είναι που είναι mproper διότι { } { } ( / π π π ( ( Be + Παρατηρούμε ότι E( ˆ MLE + + / + Περίπτωση Gamma Posso d Έστω δεδομένα Posso έχουμε π ( e και! ~ Po( Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 9 Θεωρώντας μία παρατήρηση ( e log! που δίνει Το αντίστοιχο effrey s pror είναι που δεν είναι proper εφόσον παρατηρήσεις είναι proper / π π d Όμως η αντίστοιχη posteror για + ( π π π ( e Ga + { } { } Παρατηρούμε ότι ( / + / E ˆ MLE Περίπτωση Gamma Gamma d a Έστω δεδομένα Gamma ~ Ga ( a Έχουμε π ( e και a π ( e a a log e Το αντίστοιχο effrey s pror είναι π που δεν είναι proper εφόσον + d Όμως η αντίστοιχη posteror για παρατηρήσεις είναι proper
( ( a a { } { e } e Ga ( a π π π Παρατηρούμε ότι ˆ a MLE Έστω δεδομένα Gamma Ga ( b 0 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 d ~ Τότε π b e Γ b και γνωρίζουμε ότι ο συζυγής pror είναι ostadard Η πληροφορία κατά Fsher είναι log b b { } e Ψ Ψ Ψ Γ με ( d 0 log \ d k 0 k Ψ Γ + Το effrey s pror είναι π Ψ Περίπτωση Normal Normal με άγνωστο locato και γνωστό scale ( σ d Εδώ έχουμε δεδομένα της μορφής N Έχουμε π ( ep ( σ ( ( σ σ σ σ π που δεν είναι proper Το αντίστοιχο effrey s pror είναι εφόσον proper ~ π d Όμως η αντίστοιχη posteror για παρατηρήσεις είναι ( ( ep π π π σ τ τ τ ep ( ep ( ep ( + τ σ ep ( N Παρατηρούμε ότι ˆ E MLE Περίπτωση Normal Normal με γνωστό locato και άγνωστο scale d ~ N ( Εδώ έχουμε δεδομένα της μορφής µ Για μία παρατήρηση έχουμε
ep ep π µ µ π + 3 µ + log ( 3 µ µ που δεν είναι proper π d Όμως η αντίστοιχη posteror για παρατηρήσεις είναι Το αντίστοιχο effrey s pror είναι π εφόσον proper / π ( ep µ ep t / ( π όπου t µ / ( + π χ t όπου vχ ( t G που δίνει t ( t MLE / ( { } ep t ep t v ( t Παρατήρηση Εάν ~ Ga ( a b τότε Y ~ G ( a b με a b ( a+ b G y a b y ep y > 0 Γ( a y Περίπτωση Gamma Logormal ( µ d Εδώ έχουμε δεδομένα της μορφής LN Έχουμε π ( ep ( log ( µ ep ( log ( µ π Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 ~
log ( log µ ( Και έτσι παίρνουμε ( που δεν είναι proper π d Όμως η αντίστοιχη posteror για παρατηρήσεις Το αντίστοιχο effrey s pror είναι π εφόσον ( είναι proper: π µ µ / ( { } ep ( log Ga ( log που δίνει ( log µ ( log µ Για τον υπολογισμό του ΕΜΠ έχουμε log π ( log ( ( log ( µ ( log µ 0 ( log µ MLE log π ( ( log ( µ 0 log π ( < είναι cove αλλά και π ( είναι cove εφόσον π π π π ( log π ( π ( π ( ( ( ( Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0
π ( π ( > > 0 ( π MLE ( log µ ( Οπότε ( Περίπτωση Pareto Uform Γνωρίζουμε ότι ο συζυγής pror για το μοντέλο κατανομή Pareto Fsher είναι ( a d [ ] ~ 0 έχει + π Pa a b > b και ότι η πληροφορία κατά έτσι π ( + ( π Pa που δίνει > Πολυδιάστατη πληροφορία κατά Fsher Όταν η παράμετρος είναι ένα d -διάστατο διάνυσμα η πληροφορία κατά Fsher παίρνει την μορφή ενός d d πίνακα τον Fsher formato Matr ( με ( j στοιχείο S S ( { j} j όπου S ( l π ( d Επειδή S ( 0 για κάθε θα έχουμε ( Cov S( S j( j Αποδεικνύεται ότι όπως και στην μονοδιάστατη περίπτωση θα έχουμε log π j j ( ( Το πολυδιάστατο effrey s pror ορίζεται σαν π det ( Παράδειγμα Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 3
Έστω κανονικές παρατηρήσεις µσ d ~ ( N µσ με ( µσ Θέλουμε να εκτιμήσουμε και τις δύο παραμέτρους µ και σ Θα υπολογίσουμε το effrey s pror χρησιμοποιώντας μόνο μια παρατήρηση π ( µσ ep ( µ σ log π log σ µ σ ( σ ( log π µ σ ( µ ( π log µ σ ( log π µ σ ( π log 3 µ σ σ ( µ ( log π 3 ( ( µ 0 µ σ σ ( log π + 3 σ σ σ ( µ ( π log 3 4 σ σ σ ( µ ( {( } log π 3 + 4 µ σ σ σ σ με αποτέλεσμα 0 σ ( µσ 0 σ και π ( µσ det ( ( µσ σ σ Ισχύει ότι π ( µσ π ( µ π ( σ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 04 (v0 4