Normal μοντέλο με γνωστή διασπορά, και άγνωστο μέσο

Transcript

1 Normal μοντέλο με γνωστή διασπορά, και άγνωστο μέσο Εδώ έχουμε να εκτιμήσουμε τη locato παράμετρο του ormal μοντέλου για γνωστό precso τ σ π x ϑ = N x ϑτ, Θα δείξουμε = δηλαδή η κατανομή δειγματοληψίας είναι ( ( ότι η συζυγής κατανομή είναι Normal Αναπαριστούμε πρώτα τη π ( της EF τ τ τ τ τ π ϑ ϑ ϑ τϑ π π ( x = exp ( x = exp x exp exp( x έτσι έχουμε τ τ τ h( x = exp x, g( ϑ exp ϑ, c( ϑ τϑ, t( x x π = = = H πιθανοφάνεια είναι τ τ π ϑ ϑ = π ( x = exp ( x, με Var ( x / ( x ϑ x ϑ τ τ = exp = = π / τ exp exp exp τϑ = π σ = ϑ = τ, τ = x x ϑ ( τϑ τ ϑ σ exp ϑ exp ( τϑx N ϑ x, = N ϑ x,, τ με suff = t x = t x = x τ d π NCP ( ϑ exp ϑ exp ( τϑ N ϑ, d τ d x ϑ σαν μέλος Θέτουμε λοιπόν c π ϑ = N ϑ m, c exp ϑ cmϑ και η posteror γίνεται: c τ π ( ϑ x exp ϑ cmϑ exp ϑ τϑ x Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v

2 mc τ x = exp ( c τ ϑ ( cm τ x ϑ N ϑ, c τ c τ Ο εκτιμητής ως προς τετραγωνική συνάρτηση απώλειας είναι: ˆ mc τ x c c ϑbayes = ( ϑ x = = m x c τ c τ c τ Normal model με συνολική απουσία a-pror πεποιθήσεων Το posteror precso για μεγάλο είναι τ c= = >> = Var x Var x Var Var x ( ϑ ( ϑ ( ϑ ( ϑ σ Το posteror mea για μεγάλο γίνεται mc τ x c τ >> ( ϑ x = x, δηλαδή ˆ ϑ Bayes >> ˆ ϑmle Έτσι για posteror >> έχουμε [ ϑ ] σ x ~ N x, Δηλαδή οριακά η pror δεν επηρεάζει τη νωρίζουμε άλλωστε ότι εφόσον x ϑ~ N( ϑσ, = σ x ϑ ~ N ϑ, Θυμηθείτε ότι: d θα έχουμε και = ( = = x, ~, ~, µ σ N µ σ αx N α µ ασ Η προηγούμενη posteror μπορεί να προκύψει και όταν c Σε αυτήν την περίπτωση οι a-pror πεποιθήσεις έχουν πολύ μικρή βαρύτητα εφόσον c Var ( ϑ Πιο αναλυτικά όταν c έχουμε exp π ϑ ϑm, δηλαδή η pror γίνεται π ( ϑ (flat pror δες επόμενο κεφάλαιο και π ( ϑ = cost Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v

3 που δίνει π ( ϑ d ϑ = και η pror είναι μη ολοκληρώσιμη Λέμε τότε ότι έχουμε μια mproper pror Οι εκτίμηση με την χρήση mproper pror είναι αποδεκτή εάν η αντίστοιχη posteror ολοκληρώσιμη (proper posteror, δηλαδή π ( ϑ x d ϑ = Στο προηγούμενο σχήμα η π ( ϑ N ϑ, ( 3 = είναι «κοντά» σε flat pror, δηλαδή ισομήκη διαστήματα του ϑ να είναι περίπου ισοπίθανα ια π mp ϑ η posteror γίνεται τ τ π ( ϑ x exp ϑ exp( τϑx = exp ( ϑ xϑ τ τ τx σ = exp ( ϑ xϑ x x = exp ( ϑx exp N ϑ x, Το ίδιο αποτέλεσμα παίρνουμε κατ ευθείαν από την παρατήρηση ότι π ( x ϑ ϑ N x, σ ( x N x, σ ϑ π ϑ ϑ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 3

4 pror π mp ( ϑ ( = (, lkelhood π x ϑ N x ϑσ = σ posteror π ( ϑ x = N ϑ x, Παρατηρούμε ότι στην περίπτωση του flat pror π ( ϑ για ϑ, θα έχουμε mc τ x E( ϑ x = lm = x και η posteror δίνει την ίδια εκτίμηση όπως και η κλασσική c τ c στατιστική Αριθμητικό παράδειγμα O H Cavedsh τον 8 ο αιώνα έκανε = 3 μετρήσεις για την πυκνότητα ϑ της γης με x = 548, ενώ θεώρησε τη σ γνωστή Var ( x ϑ = = 4 Δηλαδή είχε 5 d δειγματοληπτική κατανομή x ϑ ~ N ϑ,, 3 Από προηγούμενα 5 πειράματα η a-pror πληροφορία ήταν ϑ ~ N 54, Σύμφωνα με τα προηγούμενα έχουμε m= 54, c=, τ = 5, = 3 [ ϑ x] ~ N , 675 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 4

5 Pror και posteror predctves ια μια παρατήρηση x ϑ~ N( ϑτ, και pror ϑ ~ N( mc, έχουμε (, (, π x = N xϑτ N ϑmc dϑ cτ c exp τ m exp ( x = ϑ ϑ dϑ π c τ exp c τ exp c τ = m x ϑ ( mc x τ ϑ d ϑ π ( mc xτ ( c exp exp exp ϑ cτ c τ c τ mc xτ = m x dϑ π τ c τ ( mc xτ cτ c τ π = exp m x exp π c τ c τ c τ c exp τ c x m N x m, τ = = π ( c τ c τ cτ (, τ = N xmc Έχουμε λοιπόν ότι: ( x = N( x, N( m, c d = N( x m, c π ϑτ ϑ ϑ τ δηλαδή η μίξη της οικογένειας N( x ϑτ, με μέτρο μίξης Π = (,, dϑ N ϑ mc dϑ είναι και πάλι ormal με μέσο, το μέσο του μέτρου μίξης και διασπορά το άθροισμα των διασπορών Έστω τώρα ότι έχουμε δει τις πρώτες παρατηρήσεις x και θεωρούμε μελλοντική x ~, ϑ N ϑτ Το posteror predctve είναι: (uoserved παρατήρηση Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 5

6 mc τ x π ( x x = π ( x ϑ π ( ϑ x dϑ = N x ϑ, N ϑ, dϑ τ c τ c τ Θ mc τ x = N x, c τ τ c τ Normal ormal μοντέλο με άγνωστή διασπορά, και γνωστό μέσο Εδώ έχουμε να εκτιμήσουμε τη scale παράμετρο του ormal μοντέλου για γνωστό locato Η κατανομή δειγματοληψίας για παρατηρήσεις είναι: ( x ϑ d ~ N( µϑ, d ~ ( x ϑ N( µϑ, (για εκτίμηση του precso (για εκτίμηση της διασποράς ια το μοντέλο (: έχουμε δειγματοληπτική κατανομή ϑ ϑ ( x exp π ϑ = x µ π, ϑ h x =, g ϑ = ϑ, c ϑ =, t x = x µ π / και EF παραμέτρους: Η πιθανοφάνεια θα είναι ϑ / ϑ S π ( x ϑ ϑ exp S Ga ϑ,, όπου Suff = t x = S = x µ Ο συζυγής pror είναι d d / ϑ d πncp ( ϑ g ( ϑ exp{ c ( ϑ } = ϑ exp Ga ϑ, Θέτοντας λοιπόν pror π ( ϑ Ga ( ϑ a, =, η posteror γίνεται Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 6

7 / ϑ a S π ( ϑ x ϑ exp( ϑ ϑ exp S Ga ϑ a, Ο εκτιμητής κατά Bayes ως προς τετραγωνική συνάρτηση απώλειας είναι a ˆ ( a ϑbayes = ϑ x = = S S S S ˆ = ϑ ϑ MLE S S Παρατηρούμε ότι σε αυτήν την περίπτωση, το ποσοστό της κλασικής εκτίμησης ϑˆmle, μέσα στην εκτίμηση κατά Bayes ˆBayes δηλαδή από τις παρατηρήσεις x ϑ, είναι συνάρτηση της t Suff x Εξαρτάται ια την pror predctve και μία παρατήρηση x, τέτοια ώστε π( x ϑ N( x µϑ, Ga ( ϑ a, π ϑ = έχουμε: a ϑ ϑ a ϑ = (, (, = exp ( ϑ> ϑ= ( a = και π x N x µϑ Ga ϑ a dϑ x µ ϑ e dϑ π a = x d ( a π ϑ= ( a a / ϑ exp µ ϑ ϑ ( a ( a ( a / a / a / / ( a / = ( x µ = ( xµ a / a / ( a ( a / / / = ( x µ a /, όπου ( / = π Λέμε ότι η τμ x ακολουθεί την studet με μέσο µ, scale λ που είναι ανάλογο του precso και ν βαθμούς ελευθερίας, όταν x ~ St ( µλ,, ν με πυκνότητα: Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 7

8 v v / λ λ ( µλ,, ν = ( x µ St x v v v λ v Συγκρίνοντας τις δύο τελευταίες κατανομές, έχουμε ότι = και a = v a Αναγνωρίζουμε λοιπόν ότι η pror predctve π ( x είναι studet με μέσο µ, λ = και ν = a, ή ότι π ( x = St x µ,,a a ια την μέση τιμή και διασπορά της τμ x έχουμε: ( x = x ϑ = µ = µ ( ( ( (, x = x ϑ x ϑ = µ ϑ = ϑ Ga ϑ a dϑ ( a a = =, a >, a ή ως προς τις αρχικές παραμέτρους λ και ν ϑ> a ν ( x = = =, ν = a> a a ( a λν και λ ( x Η posteror predctve για future (uoserved oservato y μετά την παρατήρηση της x είναι S S ( (,,, π y x = N y µϑ Ga ϑ a dϑ = St y µ, a ϑ> a με ( y x = ( y ϑ x = µ x = µ και ( y x S =, a > a Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 8

9 Θυμηθείτε ότι επειδή η τμ ( y x προέρχεται από μίξη έχουμε ( = ( = ( ( y x yπ y x dy y π y ϑ π ϑ x dϑdy y y ϑ = yπ ( y ϑ d y π( ϑ x dϑ = ( y ϑ π( ϑ x dϑ = ( ( y ϑ x ϑ y ϑ Άσκηση ( Λέμε ότι η τμ x ~ St µλ,, ν ακολουθεί την studet με μέσο µ, λ (ανάλογο του precso και ν βαθμούς ελευθερίας, όταν v v / λ λ ( µλ,, ν = ( x µ St x Να αποδειχτούν τα παρακάτω: v v v (studet characterzato I ια γνωστά µ και λ έχουμε: ν ν ϑ ~ Ga, x ϑ ~ N µ, λϑ Margally x ~ St ( µλ,, ν, δηλαδή η studet γεννιέται από τη μίξη της οικογένειας κατανομών N x µ, ως προς το gamma λϑ ν ν Π dϑ = Ga ϑ dϑ μέτρο, Η ormal N( x µλ, είναι studet με βαθμό ελευθερίας k 3 ια τις ροπές της studet έχουμε: είναι studet με βαθμούς ελευθερίας και η Cauchy defed k < ν x = k = odd ν k = eve ν Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 9

10 4 (Studet Characterzato II εάν x και y ανεξάρτητες τμ με x~ N (, και ν y ~ ν = Ga,, τότε z ~ St (,, ν βαθμούς ελευθερίας Θέτοντας x = δηλαδή stadard studet με ν y / ν z u µ λ = παίρνουμε u ~ St ( µλ,, ν [Θα δείξουμε μόνο το ] Θέλουμε να δείξουμε ότι lm St ( x µλ,, ν N ( x µλ, ν = Αρχίζοντας από την ασυμπτοτική προσέγγιση του Strlg που ισχύει για κάθε θετικό «μεγάλο» πραγματικό ν έχουμε ν ν ν / ν ν / ν ν πν ν e ν π ν e π ν e, που δίνει ( ν / ν / / = e ν ν ν όταν ν ν Αντικαθιστώντας όπου ν το ν / παίρνουμε / ν ν όταν ν, έτσι ν λ λ ( x µ lm St ( x µ, λν, lm = ν ν ν πν ν ν / ν / ν λ λ ( x µ = lm lm N x, / = π ν ν ν ν ν ια την Cauchy έχουμε: ( µλ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v

11 / λ St ( x µλ,, = ( λ λ ( x µ = π λ µ ( x Θέτοντας β = λ παίρνουμε St ( x β µλ,, = = Ca x µβ, ( x π β µ ια το μοντέλο ( έχουμε δειγματοληπτική κατανομή:, exp π x ϑ = N x µϑ = x µ πϑ ϑ h x =, g ϑ = ϑ, c ϑ =, t x = x µ π ϑ / και EF παραμέτρους: Λέμε ότι το ~ Ig ( a, ϑ ακολουθεί την verse gamma με παραμέτρους a και, όταν ϑ ~ Ga ( a, Εύκολα δείχνεται ότι ισχύει Η πιθανοφάνεια είναι Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v a ( a ϑ Ig ϑ a, = ϑ e, ϑ > ( a ϑ / S π x ϑ ϑ exp S Ig ϑ,, ϑ με επαρκή στατιστική Ο συζυγής pror είναι Suff = t x = S = x µ d d / d πncp ( ϑ g ( ϑ exp c ( ϑ = ϑ exp Ig ϑ, ϑ Θέτοντας pror (, ( a π ϑ = Ig ϑ a ϑ e ϑ, η posteror είναι: ( a / S S ϑ π ϑ x ϑ e ϑ exp Ig ϑ a, ϑ Δεν είναι δύσκολα να δούμε ότι ( ϑ =, a > και ˆMLE ϑ = S έτσι a

12 S a a = ϑ x = = a a a a ˆ BAYES S ϑ Δηλαδή με την επαναπαραμετροποίηση ϑ ϕ = ϑ = varace το ποσοστό της κλασικής εκτίμησης ϑ ˆMLE δείγματος x στην εκτίμηση κατά Bayes ˆBAYES ϑ είναι ανεξάρτητο του ια την pror predctve έχουμε: (, (, μετασχηματισμό ϕ = ϑ παίρνουμε: π x = N x µϑ Ig ϑ a dϑ Κάνοντας τον ϑ> { } x N x, Ig a, d N x, Ga a, d = = π µϕ ϕ ϕ ϕ µϕ ϕ ϕ ϕ= ϕ> ( a ( a / / / = ( x µ = St x µ,,a a / a Ομοίως για την posteror predctve έχουμε: S π ( y x = N ( y µϑ, Ig ϑ a, dϑ ϑ> S S (,,, = N x µϕ Ga ϕ a dϕ = St y µ, a ϕ > a Άσκηση Να αποδειχτούν τα παρακάτω: Εάν d ν ν z ~ N(, ν τότε z = z ~, ν = Ga = δηλαδή το z ακολουθεί την ch squared με ν βαθμούς ελευθερίας Εάν x ~ Ga ( a, τότε το y x ~ Ig ( a, = ακολουθεί verse gamma με Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v

13 a ( a y Ig ( y a, = y e, y > ( a k = όταν a k k ( y ( a k ( k > και Var ( y = ( a ( a όταν a > 3 Εάν y ~ Ig ( a, τότε z s y ~ Ig ( a, s = 4 Η scaled verse ch squared κατανομή με v βαθμούς ελευθερίας και rate σ ορίζεται σαν v vσ Iv ( v, σ = ( v, σ = Ig,, δηλαδή είναι η s = vσ scaled verse gamma κατανομή για a = v /, και vσ = / Δείξτε ότι ( ϑ v, σ ϑ exp ϑ v d ~, Εάν z N και θέσουμε y = T( z = z π ( y π ( z Jac T ( z = Y Z y= z d d (, (, = N y y N y y dy dy ( / ( / = N y = e = y e = Ga y y > y/ / y/,,, y / π y Όπου ( / = π επειδή / u u / x u = x e dx e ( udu e du = = u u = e du π e du π N ( u, du π = = = π Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 3

14 Όμως d z ~ Ga, ν, δίνει ~ ν ν z, χν = Ga = p q ( p y y = Ga y p, q y = y e, y > π (, ( p q p k k k q y y = y Ig y p q dy = y e dy p ( p y p p k q p p y p k qu pk qu q q du q = e dy = u e = u e du ( p y ( p u ( p k ( pk v q ( pk e dv ( p p q = v = pk p q δηλαδή για όλα τα k και επειδή q, όταν p > k, p > για τα οποία ισχύει ( p k < Εάν p > k, και ( p τ = ( p τ ( p τ = = ( p( p ( p τ ( p = ( p ( p έχουμε, τ k ( y ( p k k k ( k k k k k q pk q pk q pk q = = = = p pk pk pk Έτσι q( p q ( y = =, p > ( p p και Var ( y q =, p > ( p ( p 3 z sy, s = > και y ~ (, IG p q, τότε έχουμε: q s f( z pqs s IG( s z pq s e z p z p p sq z,, =, =, > p p ( sq ( sq ( p z = z e, που δίνει z s y ~ Ig ( p, sq ( p = 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v

15 4 Παίρνοντας υπ όψιν ότι (, v vσ ( v, σ = Ig,, έχουμε p ( sq ( p ( sq ( p z = και ότι Ig z p sq z e v v v vσ vσ vσ ( ϑ v, σ = ϑ exp ϑ exp ( v / ϑ ϑ Με τον νέο συμβολισμό το μοντέλο (, exp π x ϑ = N x µϑ = x µ πϑ ϑ ϑ / S π ( x ϑ ϑ exp S Ig ϑ, ϑ ˆ a a ϑbayes = ( ϑ x = S a a a ( a S ϑ π ϑ ϑ e Ig ϑ a,, π ϑ x = Ig ϑ a, a a,,, (, π x = St x µ a π y x = St y µ, a S επαναδιατυπώνεται στην πιο stadard μορφή για v vσ a =, = v vσ π ( ϑ = ( ϑ v, σ = Ig ϑ, Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 5

16 v σ S v v σ S π ϑ x = ϑ v, = Ig ϑ, v v σ ˆ vσ v v ϑbayes = ( ϑ x = ( S v v v ( x St ( x, (, v, y x St y,, v π = µσ π = µσ Επίσης η αναπαράσταση (characterzato της studet σαν μίξη, τώρα γίνεται προφανείς, εφόσον από την εξίσωση π ( x = N ( x µϑ, Ga ( ϑ a, dϑ = St x µ,,a a, ϑ> και θέτοντας v vσ a=, = έχουμε v vσ π µϑ ϑ ϑ µσ ϑ> ( x = N ( x, Ga, d = St ( x,, v αλλά Ga ( ϑασβ, dϑ Ga ( σϑαβ, d ( σϑ ϕ > =, που δίνει για ϕ= σϑ, ( v v π x = N x µσϕ, Ga ϕ, dϕ = St ( x µσ,, v Απουσία a-pror πεποιθήσεων Εάν θεωρήσουμε ότι η pror δίνει πληροφορία ισοδύναμη με ν «pror παρατηρήσεις» η συνολική απουσία a-pror πεποιθήσεων ισοδυναμεί με αποδοχή της cojugate pror π ( ϑ = Ivχ ( ϑ, σ ή αλλιώς την «zero pror ϑ dϑ oservato» a-pror κατανομή, που είναι mproper εφόσον = Τότε ϑ / S S S π ( ϑ x { ϑ } ϑ exp = ϑ exp ϑ,, ϑ ϑ που δίνει Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 6

17 ( ϑ x S S ϑˆ MLE = = Άσκηση ( x = N ( x, ( (, d = St x,, v Δείξτε ότι π µϑ ϑν σ ϑ µσ Πράγματι v vσ π ( x = N( x µϑ, ( ϑν, σ dϑ = N( x µϑ, Ig ϑ, dϑ v v σ v σ ( xµ exp v = dϑ ( v / π ϑ ϑ θέτοντας u = παίρνουμε ϑ v v σ v σ ( xµ exp v π ( x = u u u du ( v / π v v σ v σ ( xµ u exp v = u du ( v / π vσ xµ θέτοντας τ = u παίρνουμε π ( x v v v σ τ τ dτ e = ( v / π vσ ( x µ vσ ( x µ v v v v σ τ = ( v / π vσ ( xµ τ e dτ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 7

18 v v v vσ = v / π vσ ( xµ v v = ( vσ ( vσ ( x µ = v v v σ π σ πv v v v x µ ( µσ,, v = St x Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 (v 8