Εδώ θα θέσουμε τα θεμέλια της εκτίμησης κατά Bayes αρχίζοντας με τα μονοπαραμετρικά μοντέλα δηλαδή όταν ϑ : Ω Θ.

Transcript

1 Μονοπαραμετρικά Μοντέλα Εδώ θα θέσουμε τα θεμέλια της εκτίμησης κατά Bayes αρχίζοντας με τα μονοπαραμετρικά μοντέλα δηλαδή όταν : Ω Θ Εκτίμηση πιθανότητας από boal data Έστω δεδομένα που δίδονται με την μορφή αποτελεσμάτων δοκιμών Beroull Δηλαδή τα δεδομένα μας y = ( y y είναι τέτοια ώστε {,} Για παράδειγμα { },, y y = θα μπορούσε να σημαίνει ότι ο ασθενής επιβιώνει πέραν του αναμενώμενου ορίου μετά την εφαρμογή κάποιας νέας θεραπείας, ενώ το ενδεχόμενο { } y = ότι δεν επιβιώνει Έστω η αναλογία των επιτυχιών στο πληθυσμό, όπου όλοι οι ασθενείς πάσχουν από την συγκεκριμένη ασθένεια Το μπορεί να θεωρηθεί σαν άγνωστη πιθανότητα επιτυχίας σε ανεξάρτητες δοκιμές Beroull Επίσης δεχόμαστε ότι οι παρατηρήσεις είναι μεταξύ τους ανταλλάξιμες, στην ουσία δηλαδή δεχόμαστε την υπό συνθήκη ανεξαρτησία των παρατηρήσεων, ή ότι οι παρατηρήσεις είναι ανεξάρτητες δοθείσας της άγνωστης παραμέτρου [ d ] ( ( y ~ B, = Beroull, Ενώ ισοδύναμα για x = y = έχουμε [ x ] = y ~ (, B = Βάση λοιπόν του μηχανισμού με τον οποίο έγινε η δειγματοληψία το μοντέλο πιθανοφάνειας (το παραμετρικό μοντέλο είναι διωνυμικό x π ( x B( x, ( x ( x = =, x {,,, } Παρατηρήστε ότι η πιθανοφάνεια χρησιμοποιώντας Beroull παρατηρήσεις είναι y x y,, y = B y, = = ( y x π = = και ότι π π δηλαδή οι π και π πιθανοφάνειες είναι ανάλογες, Παράδειγμα Eιδικοί σε ιατρικά θέματα εκφράζουν την πεποίθηση ότι η αναλογία των επιτυχιών της νέας θεραπείας στο πληθυσμό έχει τα χαρακτηριστικά Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

2 ( = µ, Var ( σ = Η τμ εμφανώς θα πρέπει να έχει στήριγμα το διάστημα (, Θέτουμε λοιπόν σαν μοντέλο για pror την κατανομή beta με παραμέτρους ( pq,, συμβατές με το γεγονός ( = µ, Var ( σ = Μερικοί από τους λόγους για τους οποίους η beta πυκνότητα π ( Be( p, q μια καλή επιλογή για pror είναι: Η κατανομή Be( p, q έχει στήριγμα το διάστημα πιθανότητα Είναι μονοκόρυφη (uodal, (το είναι = είναι Οι υπερπαράμετροι της ( pq, μπορούν να υπολογιστούν έτσι ώστε E ( = µ Var = σ Δηλαδή η λύση του συστήματος p p ( µσ, και οδηγεί σε μοναδική λύση =, q = q ( µσ, Η πυκνότητα της Beta κατανομής είναι p q Be pq, B pq, ( ( όπου (, ( ( p q B p q = x x dx = το beta ολοκλήρωμα Γ + p q Γ p Γ q = < <, Για την posteror έχουμε p x ( x ( x ( p x π π π = που δίνει [ x] ~ Be( p + x, q + x q x + q+ x, Παρατηρήσεις Στην περίπτωση της beta pror η posteror ανήκει στην ίδια οικογένεια κατανομών, είναι και αυτή beta Έτσι ο συνδυασμός της a-pror γνώσης Οι παράμετροι pq, της pror είναι οι υπερπαράμετροι του μοντέλου Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

3 (υπό την μορφή της beta κατανομής και των δεδομένων, χρησιμοποιώντας τον κανόνα του Bayes, έχει σαν αποτέλεσμα το update των a-pror παραμέτρων σε a-posteror παραμέτρους ( pq, ( p xq, x + + Όσο αυξάνεται ο αριθμός των παρατηρήσεων τόσο πιο κοντά είναι η, ως προς τετραγωνική συνάρτηση απώλειας, η σημειακή εκτίμηση κατά Bayes BAYES (που σε αυτή τη περίπτωση είναι η posteror μέση τιμή και η κλασική εκτίμηση ΕΜΠ (ο εκτιμητής μέγιστης πιθανοφάνειας Pror ea: p =, p+ q Posteror ea: ( x ˆ p+ x x BAYES = = = MLE, x, >> p+ q+ Ως προς γραμμική συνάρτηση απώλειας Εάν ˆBAYES = posteror Meda, τότε ˆBAYES ικανοποιεί την εξίσωση ( ˆ BAYES ;, B p xq x + + =, όπου ( ;, x (, B xab = Be ab d η συνάρτηση κατανομής της beta (coplete συνάρτηση beta και B( ; ab, = Ως προς συνάρτηση απώλειας = BAYES = posteror ode = p+ x p+ q+, όμως μόνο για p > και q >, εφόσον για p και q η π ( δεν έχει ode 3 Όσο το μέγεθος του δείγματος αυξάνει η pror επηρεάζει όλο και λιγότερο την posteror, τελικά Var ( x Pror varace: Var = pq + + +, ( p q ( p q όταν Posteror varace: Εάν x και έχουν την ίδια τάξη μεγέθους, για μεγάλο θα έχουμε Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 3

4 Var ( x ( p+ x( q+ x ( p+ q+ ( p+ q+ + = Πάντοτε ζητάμε η posteror να έχει μεταβλητότητα μικρότερη από αυτήν της pror, δηλαδή ζητάμε η pror και το saplg dstrbuto να είναι τέτοια ώστε να οδηγούν σε αποτελεσματική εκτίμηση ( < ( Var x Var Γενικότερα ισχύει ότι κατά μέση τιμή το posteror varace είναι μικρότερο του pror varace Πράγματι επειδή ισχύει Var ( = Var ( x + Var ( x θα έχουμε Var ( x < Var (, εφόσον Var ( x > 4 Συγκρίνοντας την pror και την posteror βλέπουμε ότι η pror πυκνότητα Be p q ( p, q ( περιέχει «pror observatos» Δηλαδή p ψευδόεπιτυχίες (pror successes και q ψευδό-αποτυχίες (pror falures k Εάν δείξτε ότι E Άσκηση ~ Be( p, q ( = ( + ( + k με ( k { } ( ( Var = pq p + q p + q + Λύση ( = ( p k ( p+ q k, όπου =, (ascedg or rsg factoral Επίσης δείξτε ότι (, B( pq k k p+ k q B p+ kq = x Be x p, q dx = x x dx = B pq,, Γ p+ q Γ p+ k Γ q Γ p+ q Γ p+ k = = Γ p Γ q Γ p+ q+ k Γ p Γ p+ q+ k ( ( p+ k pγ p Γ p+ q = Γ p p+ q+ k p+ q Γ p+ q p( p+ ( p+ k ( ( ( p k = = p+ q p+ q+ p+ q+ k p+ q k Var ( ( ( p( p+ p pq ( p+ q( p+ q+ ( p+ q ( p+ q ( p+ q+ = = = 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

5 Άσκηση Δείξτε ότι η κατανομή ~ Be p, q q > έχει ode Mode = p p+ q μόνο όταν p > και p log Be( p, q = = p+ q log Be ( p, q < p >, q > Άσκηση ( ϕ, = ( ϕ, + (, ( ϕ Δείξτε ότι Cov Cov x Cov x x, καθώς και το πιο ειδικό αποτέλεσμα Var ( = Var ( x + Var ( x (, ϕ = ( ϕ ( ( ϕ Cov x x x E x ( ϕ ( x ( ϕ x = (, ( ϕ = ( ( ϕ ( ( ϕ Cov x x x x x x ( x ( ϕ x [ ] [ ϕ] = Στη συνέχεια προσθέτουμε κατά μέλη και έχουμε: ( ϕ, = ( ϕ, + (, ( ϕ Cov Cov x Cov x x Επειδή Var ( = Cov(,, παίρνουμε Var ( = Var ( x + Var ( x Εναλλακτικά η εξίσωση για το Var ( μπορεί να αποδειχτεί με παρόμοιο τρόπο: ( ( ( ( ( Var x = x x = x ( = ( ( = ( ( Var x x x x Αριθμητικό παράδειγμα Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 5

6 Έστω ότι = 7 με διωνυμική παρατήρηση x = 34 Εάν οι πεποιθήσεις των ειδικών είναι ότι µ = 4 και σ =, οι παράμετροι, ικανοποιούν το μη γραμμικό σύστημα: p = µ p+ q pq ( p+ q ( p+ q+ = σ pq της beta pror Be( p, q θα Από την πρώτη εξίσωση έχουμε p p+ µ p+ q=, p+ q+ = και αντικαθιστώντας στη µ µ δεύτερη εξίσωση pq σ = σ q= p 3 ( p+ µ p p+ µ µ µ µ ( µ µ p σ p p+ q= p+ p 3 ( p+ µ = p= µ µ µ µ σ ( ( p µ µ µ µ p+ q= q= p= µ = ( µ, µ µ µ σ σ Τελικά ( µ µ p = µ σ ( µ µ q = σ ( µ Για (, ( 4, µσ = παίρνουμε (, ( 44, 66 Έτσι η προηγούμενη ανάλυση μας δίνει pq = [ = ] ~ Be 44, 66 x 34 ~ Be 384, 46 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 6

7 ( = 4, = 34 = = 474, [ x ] MLE = 486 Var [ ] = [ x ] Bayes Var = 34 = 3 με απόκλιση 47% Έχουμε κάνει λοιπόν μια αποτελεσματική εκτίμηση της παραμέτρου εφόσον [ 34] ( Var x = < Var Έστω τώρα ότι έρχεται και δεύτερη διωνυμική παρατήρηση x = 37 από δεύτερο δείγμα Beroull μεγέθους και αυτό = 7 Κάνοντας διαδοχική ανάλυση με pror [ x ] ~ Be( p x, q x + +, θα έχουμε νέα πιθανοφάνεια [ x ] ~ B(,, και posteror [ x, x ] ~ Be p ( x x, q ( ( x x Το percetage absolute relatve error του MLE ως προς το Bayes είναι Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 7 MLE Bayes MLE

8 πράγματι ( x, x (, x, x ( x ( x ( x, x π π π π π ( x ( x ( p+ x { x } { } q + x x π π ( p x x ( ( q x x Be p ( x x, q ( ( x x = κάνοντας αριθμητική αντικατάσταση έχουμε ~ Be( 44, 66 [ x = 34 ] ~ Be( 384, 46 [ x = 34, x = 37 ] ~ Be( 754, 756 [ x ] = 34 = 474 = 34, = 37 = = 499, = 57 [ x x ] Bayes MLE με απόκλιση 58% [ x ] Var = 34 = 3, [ ] Var x = 34, x = 37 = Έχουμε και πάλι κάνει αποτελεσματική εκτίμηση της παραμέτρου εφόσον [ 34, 37 ] [ 34] [ ] Var x = x = < Var x = < Var 8 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

9 Η pror predctve για το beta boal μοντέλο για μια διωνυμική π x ως προς το pror μέτρο παρατήρηση x είναι η μίξη της πιθανοφάνειας Π ( d = Be( p, q d = ( = (, (, π x π x π d B x Be p q d Θ = + = = Γ p+ q p x q+ x Γ p+ q Γ p+ x Γ q+ x ( d x Γ p Γ q x Γ p Γ q Γ p+ q+ ( +, + B( pq, B p xq x =, x,,, x { } Η π ( x είναι μία σύνθετη κατανομή (copoud probablty dstrbuto, προκύπτει δηλαδή από μίξη, κατά την έννοια ότι η πιθανότητα επιτυχίας, στην διωνυμική κατανομή B(,, προέρχεται από την (, Be p q Σε αυτή την περίπτωση λέμε ότι η pror predctve ακολουθεί την beta boal κατανομή: x ~ BB (, p, q, Γ p+ q Γ p+ x Γ q+ x BB ( x, p, q =, x {,,, } x Γ p Γ q Γ p + q + Εναλλακτικά θα μπορούσαμε, εφόσον γνωρίζουμε ακριβώς τις ποσότητες π ( x, π ( και π ( x, να υπολογίσουμε την ( x το π ( x έχουμε: π ( x π ( ( + + π π x Be p, q B x, = = x Be p x, q x p ( p x ( q x π από τον κανόνα του Bayes Έτσι για Γ p+ q q ( x x ( x ( Γ p Γ q Γ ( p+ q Γ ( p+ x Γ ( q+ x = = p q Γ + + p+ x q+ x x Γ( p Γ( q Γ ( p+ q+ ( Γ + Γ + Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 9

10 Άσκηση Εάν x ~ BB (, p, q, να βρεθεί η ροπογεννήτρια συνάρτηση M συνέχεια η μέση τιμή και η διασπορά της x Δείξτε ότι η p BB, p, q = B, p+ q tx tx x = (,, = ( x= x= ( (, p x M x t e BB x p q e x d B pq q p t x x t ( ( x= q ( p q = x e d = e + d B pq, B pq, x t και στη q ( (, B( pq, q B p+, q p M = d = ( d = = B pq, p+ q, p ( ( p+ x B pq ( x ( q p B p+, q B p+, q M = + d = + ( B pq, B pq, B pq, ( p( p+ ( p = + p+ q p+ q p+ q+ Οι προηγούμενες σχέσεις δίνουν ( x =, Va ( rx = ( p+ q+ p pq p+ q ( p+ q ( p+ q+ ( ( Γ p+ q Γ p+ x Γ q+ x BB x, p, q =, x, Γ p Γ q Γ p+ q+ ( ( Γ p+ q Γ p Γ q+ q =, x = Γ p Γ q Γ p+ q+ p+ q = Γ ( p+ q Γ ( p+ Γ( q p =, x = Γ( p Γ( q Γ ( p+ q+ p+ q { } Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

11 Άσκηση Η πιο καλά προσαρμοσμένη διωνυμική τμ y, στην x ~ BB (, p, q, είναι η * * y ~ B, p με p p/ ( p q Έχουμε ότι: = + Δείξτε ότι για, Var ( y Var ( x pq ( p + q + ( > < * * pq Var ( y = p ( p = < = Var ( x, > p+ q p+ q p+ q+ Παρατήρηση η σχέση για την ροπογεννήτρια συνάρτηση προκύπτει κατ ευθείαν από την σχέση Mx t = Mx t tx tx = = = = M t e e M t M t π d x x x ( (, p q t = ( e + d B pq Πιο γενικά tx tx tx π π M t e X e x dx e x dx Θ = Θ = Θ = Θ X X { ( } (, { } = π π = π = π e tx x d dx e tx x d dx e tx x dx X Θ X Θ X ( e tx M X ( t = = Άσκηση Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

12 Για το Boal Beta μοντέλο να βρεθεί η από κοινού κατανομή των και x Παρατήρηση The Beta-Boal dstrbuto always has ore spread (varace tha ts best fttg Boal dstrbuto, because the Beta dstrbuto adds extra radoess Thus, whe a Boal dstrbuto does ot atch observatos, because the observatos exhbt too uch spread, a Beta-Boal dstrbuto s ofte used stead The uber of lfe surace polcy holders who wll de ay oe year, where soe exteral varable (eg hghly cotagous dsease, extree weather oderates the probablty of death of all dvdual to soe degree Η posteror predctve για το beta boal μοντέλο για μια νέα διωνυμική παρατήρηση y είναι η μίξη της πιθανοφάνειας π ( y ως προς το posteror μέτρο ( (, Π d x = Be p + x q + x d Ειδικότερα εάν η y είναι νέα δοκιμή Beroull έχουμε: ( = (, = ( ( π y x π y x d π y π x d Θ (, (, = B y Be p + x q x + d Θ (( + +,( + + (, B p x y q x y = BB ( y, p + x, q + x = y B p+ xq+ x ( ( Γ p+ x+ y Γ q+ x y+ Γ p+ q+ =, y {,} Γ p+ q+ + Γ p+ x Γ q+ x Η πιθανότητα του { y = } είναι π ( y x ( ( Γ p+ x Γ q+ x+ Γ p+ q+ q+ x = = = Γ p+ q+ + Γ p+ x Γ q+ x p+ q+ Έτσι για την posteror predctve [ yx ] έχουμε: Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

13 y x ~ BB, p + x, q + x ~ q+ x p+ x p+ q+ p+ q+ [ ] p, επειδή γνωρίζουμε ότι BB, p, q = B,, θα έχουμε p+ q Εναλλακτικά p+ x y x ~ BB, p + x, q + x = B, p+ q+ [ ] Δηλαδή η posteror predctveγια μια νέα Beroull παρατήρηση είναι και αυτή Beroull Το posteror predctve για νέες παρατηρήσεις Beroull ( x x είναι: [ y ] x ~ B(, = = ( = (, ( +, + π y x B y Be p x q x d (( + +, ( + + (,,, και B p x y q x y = Bb( y, p + x, q + x =, y {,,, } x B p + xq + x A oe foratve pror (a flat pror for Boal data Το Beta Boal μοντέλο κάτω από απουσία αρχικών πεποιθήσεων: Θεωρούμε και πάλι το προηγούμενο μοντέλο με boal data μόνο που αυτή την φορά δεν διαθέτουμε την αρχική γνώση των ειδικών για την μέση τιμή και την διασπορά του Για την Bayesa εκτίμηση όμως χρειαζόμαστε pror με στήριγμα το (,, που όμως «δεν θα μεταφέρει» καμία a-pror πληροφορία στη posteror Χρησιμοποιούμε λοιπόν για αυτόν τον λόγο σαν pror την ομοιόμορφη κατανομή στο P ab, = P cd, για κάθε ισομήκες ζεύγος υποσυνόλων διάστημα (, εφόσον [ ] του (, ([ ] ~, π = < < π, < < 3 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

14 Δεν χρειαζόμαστε νέους υπολογισμούς γιατί στην ειδική περίπτωση που p = q = έχουμε Be(, = (, Έτσι για ομοιόμορφη pror [ x] ~ Be( x +, x + pror predctve x ~ BB (,, π ( x BB ( x,, B x+, x+ Γ x+ Γ x+ = = = = x B, x Γ + + για όλα τα x {,,, } Και όπως αναμενόταν, όλες οι δυνατές τιμές του x, a-pror είναι ισοπίθανες με BB (,, = D {,,, } Εναλλακτικά x x π ( x = B( x, (, d = ( d x Γ x+ Γ x+ = = x Γ + + Η Posteror predctve για μια Beroull παρατήρηση y είναι [ y x] ~ BB (, x, x π + + Επειδή x+ x+ = = = = + + ( y x, π ( y x Δειγματοληψία από μίξη κατανομών Έχουμε το παρακάτω σχήμα δειγματοληψίας: Για παράδειγμα ( = Be( p q ~ ( ~ π, argally * y ~ π ( = π ( π ( d y π Θ ( p q ( ~ Be, y ~ B, argally ( = ( * y ~ B, Be p, q d π Θ = BB (, p, q 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

15 Η παραπάνω σχέση μας λέει ότι για να προσομοιώσουμε d δείγμα d * y, { ~ π ( } θα πρέπει πρώτα να προσομοιώσουμε διάνυσμα (,, d ~ π (, και μετά διάνυσμα (,, d y y με y ~ π (, με Πράγματι έστω ότι οι πραγματοποιήσεις της τυχαίας μεταβλητής Y είναι τα y στα αριστερά του σχήματος δειγματοληψίας και οι πραγματοποιήσεις της τυχαίας * μεταβλητής Y είναι τα y στα δεξιά του σχήματος δειγματοληψίας θα δείξουμε ότι οι τμ Y * d * και Y έχουν την ίδια κατανομή, συμβολικά Y Y = Η συνάρτηση κατανομής της τμ Y είναι F( y Y = PY { y} Y = { } = { } π ( F y PY y PY y d Θ y y ( ( = π u du π d = π π u d du Θ u= Θ Όμως π ( π ( u d είναι η μίξη * ( u Y Θ y * * = { } * π = = Y F y u du P Y y F y δηλαδή έχουμε F ( y = F ( y Y Y * π και έτσι d * ή ότι Y Y = Άσκηση Έστω ότι Y ~ (, και ότι η τμ Z έχει συνάρτηση κατανομής Z Τότε η τμ X = F ( Y έχει την ίδια κατανομή με την τμ Z, συμβολικά Z F που αντιστρέφεται F d Z Y = Z Δείξτε ότι ισχύει και το αντίστροφο του προηγούμενου, δηλαδή ότι εάν η τμ Z έχει συνάρτηση κατανομής Y = F Z είναι ομοιόμορφη στο (, F που αντιστρέφεται Τότε η τμ Z Z Για να δείξουμε ότι X d = Z αρκεί να δείξουμε ότι F ( x F ( x 5 X = Z Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

16 X { Z } { } F x = P X x = P F Y x, και επειδή F παίρνουμε Z FZ ( x { } F x = P Y F x = f y dy X Z Y = ( < <, και F ( x Y ~, f y y X ( Y FZ x FZ x Z F x = < y < dy = dy = F x δίνει Z ( ( f y = f F y F y = f F y F F y Y Z Z Z Z Z Z Z ( Z Z Z Z = f F y f F y = εφόσον Z Y f > και : [,] F R είναι ένα προς ένα παίρνουμε ότι = ( < < ή ότι ~ (, f y y Z Y Διαστήματα υψηλής a posteror πυκνότητας Θα μπορούσε να πει κανείς, ότι τα HPDI (Hghest Posteror Desty Itervals ή Credble tervals 3 είναι τα αντίστοιχα διαστήματα εμπιστοσύνης της κλασσικής Στατιστικής Τα διαστήματα εμπιστοσύνης I( X = S ( X, S+ ( X κάποια πιθανότητα P{ S ( X S+ ( X } a δούμε την πραγματοποίηση του ενδεχομένου { X x} καταρρέει σε ή { + } = ( + P S x S x S x S x είναι τυχαία και περιέχουν την άγνωστη παράμετρο με = Από την στιγμή όμως που θα = η προηγούμενη πιθανότητα και δεν έχουμε καμία περαιτέρω πληροφορία από το διάστημα εμπιστοσύνης Ένα κατά Bayes «διάστημα εμπιστοσύνης» είναι αριθμητικό 3 Hghest Posteror Desty Regos ή Credble Regos όταν 6 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 d Θ

17 ( x + { + } P S x S x x = π x d = a S = S ( x Επειδή το σύνολο I( x = S ( x, S+ ( x Θ με την ιδιότητα { } δεν είναι μοναδικό, ορίζουμε σαν HPDI το σύνολο I( x που επιπροσθέτως ικανοποιεί και τα εξής: I( x και I( x π ( x π ( x Δηλαδή τα HPD σύνολα δίνουν { } > P I x x = a P I x x = a αλλά ταυτόχρονα έχουν και το ελάχιστο μήκος Επίσης μπορεί να μην είναι διαστήματα αλλά ένωση διαστημάτων όταν η π ( x είναι πολυκόρυφη Η παρακάτω συνάρτηση της R υπολογίζει το 9% HPDI για ένα Boal Beta μοντέλο με = 7, διωνυμική παρατήρηση 34 π = Be 44, 66 και posteror π ( x = 34 = Be( 384, 46 x =, pror 7 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

18 Πρόταση: Όταν η pror είναι μίξη κατανομών, τότε και η posteror είναι μίξη κατανομών Έστω ότι π ( = p,π(, τότε = π, π π,π π = = ( x p ( x = p ( x ( ( ( π x = C p π π x C = p π π x d,, = Θ = = p π π x d = p π x, d = p π x,,,, = Θ = Θ = με αποτέλεσμα p p π ( x π π x π = π π = ( x,, ( x = = pj, π j( x pj,π j( x j= j= p π ( x ( x ( x π π, == = = pj,π j x π π d Θ j= p, π( x = ( π ( x όπου p, = p j=, p π j, ( x π j ( x και π ( x ( x π ( x π π = για 8 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

19 Διακριτή μίξη beta κατανομών (beta xtures Όταν οι αρχικές μας πεποιθήσεις είναι πολύπλοκες και τα δεδομένα μας είναι δοκιμές Beroull (είτε γεωμετρικές παρατηρήσεις, με προς εκτίμηση πιθανότητα επιτυχίας η κατάλληλη pror είναι μια διακριτή μίξη κατανομών beta Για παράδειγμα για μίξη με δύο beta κατανομές 4 : Be( p q Be( p q π = τ, + τ,,< τ <,,,,, έχουμε πέντε υπερπαραμέτρους τ,( p,, q, και (,,, p q, και το μοντέλο μας γίνεται πιο αποτελεσματικό (flexble εφόσον μπορεί να προσαρμοσθεί σε πιο γενικές αρχικές πεποιθήσεις Θα δείξουμε ότι εάν x ~ B(, με x ~ B,, =,,, τότε η posteror δίνεται από την beta μίξη: ( x Be( p,, q, ( Be( p,, q, π = τ + τ Πράγματι x ( x { Be( p,, q, + ( Be( p,, q, } ( π τ τ τ p, + x q, + x τ p, + x q, + x = ( + (, B B όπου,, ( p Γ( q (,, = x = x = x και Γ,, p, q,, B = = d, =, Γ p + q το ολοκλήρωμα beta Έστω C >, τέτοιο ώστε: τ τ π B p, + x p, + x ( x = C ( + B ( q, + x q, + x,, B, Ολοκληρώνοντας για (, παίρνουμε τ p, + x q, + x τ p, + x q, + x C = ( d ( d B + B, =, = x = Θέτοντας B, ( p, x ( q, x Γ ( p, + q, + Γ + Γ + = B B = + και παίρνουμε C τ ( τ,, B, B, 4 A xture wth two beta copoets 9 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

20 π ( B, B, x = C τ Be p, x, q, x C Be( p, x, q, x B τ B + +,,, όπου ισχύει ότι Cτ C( τ,, B q = q + x, έχουμε ότι: B + = Θέτοντας τ,, B, B, ( x Be( p, q, Be( p, q, π = τ, + τ,,< τ < B, = Cτ,,, B, p = p + x και Άσκηση ( Εάν x ~ B, με = = = και x x x x ~ B,, =,,, να βρεθεί η posteror και οι εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση p, q j= j j απώλειας που αντιστοιχεί στην pror, π Άσκηση a Εάν b π κ + λ για < < και κ >, λ > δείξτε ότι = (, + ( Be( a, b π ρ ρ με Δίνεται ότι x ~ B(, κ ρ = κ + λb ab (, με x = και = 3 να βρεθεί η posteror και οι εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση απώλειας, που αντιστοιχεί στην pror π ( ( + { } b ( a Ολοκληρώνοντας την C C κ (, λb ab = + που δίνει π = κ + λ < < έχουμε ότι κ λ π ( = < < + < < κ + λb ab κ + λ, B( ab, b a (, B( ab κ λb ab = (, + Be, κ + λb ab, κ + λ, ( a b Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

21 L ; x= = π x= ( x { + ( } ( = ( + ( 3 π Η σταθερά κανονικοποίησης C της posteror είναι C B(,3 B( 3, 4 B B,3 3, 4 π ( x = Be(,3 + Be 3, 4 B,3 + B 3, 4 B,3 + B 3, 4 = + και έτσι Η εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση απώλειας είναι ( x B B,3 3, 4 3 = + B,3 + B 3, 4 5 B,3 + B 3, = 3 Έχουμε ότι B (,3 =, B ( 3, 4 = που δίνουν ( x Άλλος τρόπος με τον οποίο, στο boal beta μοντέλο, μπορεί να προκύψει σαν posteror beta μίξη, είναι η πληροφορία να για το διωνυμικό πείραμα: x ~ B, με = = = και x x x x ~ B,, =,,, να δίνεται με την μορφή του ενδεχομένου { } { } Da at= x= x= με r Για παράδειγμα, έστω ότι δίνεται η πληροφορία ότι { } { } { } Data = x = x = x = x L( ; Data = π ( x = ( x= x Θέτοντας σαν pror π ( Be( a, b, τότε η πιθανοφάνεια δίνεται από την εξίσωση x =, η posteror είναι: π x x x x = = b x b + x a x x+ a ( x ( ( = ( με σταθερά κανονικοποίησης, Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

22 a+ x b+ x C = ( d B( a xb, x x= x = + +, x x = = που δίνει a+ x π ( x = C ( + x= x b x + b x ( ( +, + = C B( a+ xb, + x x= x B a xb x x= a x + (,, (, = p x a b Be a + x b + x όπου (,, p x ab = B ( a + xb, + x x B a yb y y y= ( +, +,, = και p( x ab x= Εμφανώς η εκτίμηση κάτω από τετραγωνική συνάρτηση απώλειας θα είναι a+ x x p x ab Be a xb x d p x ab a + b + ( = (,, ( +, + = (,, x= = x= Άσκηση Έστω ότι πραγματοποιείται διωνυμικό πείραμα με = δοκιμές Beroull Αλλά για κάποιο λόγο, η τελική πληροφορία από τη διεξαγωγή του πειράματος που φτάνει σε εμάς, είναι η πραγματοποίηση του ενδεχομένου { x } Ποία η εκτίμηση της πιθανότητας επιτυχίας ως προς τετραγωνική συνάρτηση απώλειας εάν οι αρχικές μας πεποιθήσεις συνοψίζονται στην pror π ( Be( 4, 4 = ; Η πιθανοφάνεια δίνεται από τη σχέση x π x ( ; = ( = ( L x x x= x Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

23 π x x x x = = 3 3 x 3 x x x+ 3 ( x ( ( = ( C = B x+ x = B + B + B x= x ( 4,4 ( 4,4 ( 5,3 45 ( 6, = ( 4 ( 4 ( 5 ( 3 45 ( 6 ( Γ 8 Γ Γ + Γ Γ + Γ Γ [ ] Γ Γ Γ 4 Γ Γ 4 Γ = = Η posteror είναι ( x = C B( 4 + x,4 x Be( 4 + x,4 x π x= x Η εκτίμηση της πιθανότητας επιτυχίας είναι ( x = C B( 4 + x,4 x x= 4 + x x = C B( 4,4 + B( 5,3 + 45B( 6, = C ( 4 ( 4 4 ( 5 ( ( 6 ( Γ Γ + Γ Γ + Γ Γ Γ [ ] Γ 8 4 Γ 4 Γ = + + = = 536 Γ 4 Γ 8 Γ Άσκηση Έστω ότι πραγματοποιείται διωνυμικό πείραμα με d παρατηρήσεις 3 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 δοκιμές Beroull και έχουμε x ~ B,, =,, Στη συνέχεια πραγματοποιείται και δεύτερο διωνυμικό πείραμα όμως με πιθανότητα επιτυχίας / k, δηλαδή μας δίνεται

24 παρατήρηση z x + = τέτοια ώστε z ~ B(, / k και [ z ] ανεξάρτητη των [ x ] για =,, Να βρεθούν οι εκτιμήσεις της πιθανότητας επιτυχίας ως προς τετραγωνική συνάρτηση απώλειας ( x,, x, z = και ( x,, x, z = υποθέτοντας ότι π ( Be( a, b και k =, = Να γίνει αριθμητική εφαρμογή για =, x =, Για την πραγματοποίηση { z = } έχουμε π ( z = = = ( k + ( k k, και έτσι ( x,, x, z = = ( x,, x ( z = π π π = x x = ( ( k + ( k x ( ( x x x k + ( + Η posteror γίνεται a x x ( x,, x, z = ( ( k ( + ( b x x + π a+ x b x ( a+ x k ( + b + x = + Με σταθερά κανονικοποίησης C ( (, (, C k B a x b x B a x b x = Η posteror αναπαρίσταται σαν xture από betas ( x,, x, z = = C ( k B( a + x, b + x Be( a + x, b + x π και μέση τιμή (, (, + CB a + x b + x + Be a + x b + x +, 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

25 ( x,, x, z C ( k B( a x, b x ενώ παρατηρούμε ότι: a + x = = + + a+ b+ a + x + C B( a + x, b + x + a+ b+ +, ( +, + + = ( +, + B a x b x B a x b x Για =, x =, και k = παίρνουμε: b + x a+ b+ a+ b+ b+ π a+ b+ 3 a+ b+ 3 ( x,, x, z = = Be( a +, b + + Be( a +, b + a+ b+ a+ b+ a+ a+ b+,,, = = + = + a+ b+ 3a+ b+ a+ b+ 3a+ b+ 3 a+ b+ 3 a+ b+ 3 ( x x z, Για την πραγματοποίηση { z = } έχουμε π ( z 5 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 = =, που δίνει k x x x x x,, x, z x,, x z + π = = π π = = ( k Η posteror γίνεται a (,,, ( b x x x x z + = ( Be( a + x +, b + x π με ( x,, x, z a + x + = = a + b + + Στην ειδική περίπτωση =, x =, και k = παίρνουμε: ( x,, x, z = = Be( a +, b + με ( x,, x, z π Άσκηση = a + = = a + b + 3 Έστω ότι πραγματοποιούντα δύο δοκιμές Beroull x ~ B,, και y ~ B(, / 3, με [ x ] και [ y ] ανεξάρτητες τυχαίες μεταβλητές Παρατηρούμε ότι x = και y = Ποία η εκτίμηση του κάτω από τετραγωνική,

26 συνάρτηση απώλειας και κάτω από απουσία αρχικών πεποιθήσεων? Με ποία πιθανότητα στο μέλλον θα παρατηρήσουμε π ( x=, y = = π ( x= π ( y = = 3 = z =, εάν z ~ B(, ( x=, y = (, { + ( } = + ( π? Η σταθερά κανονικοποίησης C είναι 6 π ( x=, y = = C{ + ( } = C{ B(, + B(, } C = 7 6 π 7 ( x=, y = = { + ( } = 6 7 C B B + B B { (, (, (, (, } = 6 B (, B(, 6 ( x=, y = = B(, d+ B(, d 7 7 = 6 B 3, B 3, 9 7 B, + 7 B, = 4 Το posteror predctve είναι: 6 z z π ( z x=, y = = π ( z π ( x=, y = d = ( { + ( } d 7 = 6 +, + +,3,, 7 { B( z z B( z z } z { } Που δίνει 6 9 π ( z = x=, y = = { B( 3, + B( 3, } = Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3

27 7 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3