Μονοπαραμετρικά Μοντέλα Εδώ θα θέσουμε τα θεμέλια της εκτίμησης κατά Bayes αρχίζοντας με τα μονοπαραμετρικά μοντέλα δηλαδή όταν : Ω Θ Εκτίμηση πιθανότητας από boal data Έστω δεδομένα που δίδονται με την μορφή αποτελεσμάτων δοκιμών Beroull Δηλαδή τα δεδομένα μας y ( y y είναι τέτοια ώστε {,} Για παράδειγμα { },, y y θα μπορούσε να σημαίνει ότι ο ασθενής επιβιώνει πέραν του αναμενώμενου ορίου μετά την εφαρμογή κάποιας νέας θεραπείας, ενώ το ενδεχόμενο { } y ότι δεν επιβιώνει Έστω η αναλογία των επιτυχιών στο πληθυσμό, όπου όλοι οι ασθενείς πάσχουν από την συγκεκριμένη ασθένεια Το μπορεί να θεωρηθεί σαν άγνωστη πιθανότητα επιτυχίας σε ανεξάρτητες δοκιμές Beroull Επίσης δεχόμαστε ότι οι παρατηρήσεις είναι μεταξύ τους ανταλλάξιμες, στην ουσία δηλαδή δεχόμαστε την υπό συνθήκη ανεξαρτησία των παρατηρήσεων, ή ότι οι παρατηρήσεις είναι ανεξάρτητες δοθείσας της άγνωστης παραμέτρου [ d ] ( ( y ~ B, Beroull, Ενώ ισοδύναμα για y έχουμε [ ] y ~ (, B Βάση λοιπόν του μηχανισμού με τον οποίο έγινε η δειγματοληψία το μοντέλο πιθανοφάνειας (το παραμετρικό μοντέλο είναι διωνυμικό π ( B(, ( (, {,,, } Παρατηρήστε ότι η πιθανοφάνεια χρησιμοποιώντας Beroull παρατηρήσεις είναι y y,, y B y, ( y π και ότι π π δηλαδή οι π και π πιθανοφάνειες είναι ανάλογες, Παράδειγμα Eιδικοί σε ιατρικά θέματα εκφράζουν την πεποίθηση ότι η αναλογία των επιτυχιών της νέας θεραπείας στο πληθυσμό έχει τα χαρακτηριστικά Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
( µ, Var ( σ Η τμ εμφανώς θα πρέπει να έχει στήριγμα το διάστημα (, Θέτουμε λοιπόν σαν μοντέλο για pror την κατανομή beta με παραμέτρους ( pq,, συμβατές με το γεγονός ( µ, Var ( σ Μερικοί από τους λόγους για τους οποίους η beta πυκνότητα π ( Be( p, q μια καλή επιλογή για pror είναι: Η κατανομή Be( p, q έχει στήριγμα το διάστημα πιθανότητα Είναι μονοκόρυφη (uodal, (το είναι είναι Οι υπερπαράμετροι της ( pq, μπορούν να υπολογιστούν έτσι ώστε E ( µ Var σ Δηλαδή η λύση του συστήματος p p ( µσ, και οδηγεί σε μοναδική λύση, q q ( µσ, Η πυκνότητα της Beta κατανομής είναι p q Be pq, B pq, ( ( όπου (, ( ( p q B p q d το beta ολοκλήρωμα Γ + p q Γ p Γ q < <, Για την posteror έχουμε p ( ( ( p π π π που δίνει [ ] ~ Be( p +, q + q + q+, Παρατηρήσεις Στην περίπτωση της beta pror η posteror ανήκει στην ίδια οικογένεια κατανομών, είναι και αυτή beta Έτσι ο συνδυασμός της a-pror γνώσης Οι παράμετροι pq, της pror είναι οι υπερπαράμετροι του μοντέλου Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
(υπό την μορφή της beta κατανομής και των δεδομένων, χρησιμοποιώντας τον κανόνα του Bayes, έχει σαν αποτέλεσμα το update των a-pror παραμέτρων σε a-posteror παραμέτρους ( pq, ( p q, + + Όσο αυξάνεται ο αριθμός των παρατηρήσεων τόσο πιο κοντά είναι η, ως προς τετραγωνική συνάρτηση απώλειας, η σημειακή εκτίμηση κατά Bayes BAYES (που σε αυτή τη περίπτωση είναι η posteror μέση τιμή και η κλασική εκτίμηση ΕΜΠ (ο εκτιμητής μέγιστης πιθανοφάνειας Pror ea: p, p+ q Posteror ea: ˆ ( p+ ˆ BAYES MLE,, >> p+ q+ Ως προς γραμμική συνάρτηση απώλειας: Εάν ˆBAYES το a posteror k k + k ποσοστιαίο σημείο, τότε το ˆBAYES θα πρέπει ˆ k Β BAYES; p+ q, + k + k να ικανοποιεί την εξίσωση ( ab ;, Be( a, b d <, Β, όπου η συνάρτηση κατανομής της beta (the coplete beta fucto Ως προς συνάρτηση απώλειας: ˆBAYES a-posteror ode (MAP p+ p+ q+, για p > και q >, εφόσον για p και q η π ( δεν έχει ode (ζητάμε ταυτόχρονα η π ( αλλά και η π ( να έχουν ode 3 Όσο το μέγεθος του δείγματος αυξάνει η pror επηρεάζει όλο και λιγότερο την posteror, τελικά Var ( Pror varace: όταν Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 3
Εάν Var pq + + +, ( p q ( p q Posteror varace: Εάν και έχουν την ίδια τάξη μεγέθους, για μεγάλο θα έχουμε Var ( ( p+ ( q+ ( p+ q+ ( p+ q+ + Πάντοτε ζητάμε η posteror να έχει μεταβλητότητα μικρότερη από αυτήν της pror, δηλαδή ζητάμε η pror και το saplg dstrbuto να είναι τέτοια ώστε να οδηγούν σε αποτελεσματική εκτίμηση ή ότι ( < ( Var Var Γενικότερα ισχύει ότι κατά μέση τιμή, το posteror varace είναι μικρότερο του pror varace Πράγματι επειδή ισχύει Var ( Var ( + Var ( και εφόσον Var ( > θα έχουμε και Var ( < Var ( 4 Συγκρίνοντας την pror και την posteror βλέπουμε ότι η pror πυκνότητα Άσκηση Be p q ( p, q ( περιέχει «pror observatos» Δηλαδή p ψευδόεπιτυχίες (pror successes και q ψευδό-αποτυχίες (pror falures k ~ Be( p, q δείξτε ότι E ( p k ( p+ q (, (ascedg or rsg factoral Επίσης δείξτε ότι { } ( ( Var pq p + q p + q + Λύση ( k, όπου ( ( + ( + k k (, B( pq k k p+ k q B p+ kq Be p, q d d B pq,, Γ p+ q Γ p+ k Γ q Γ p+ q Γ p+ k Γ p Γ q Γ p+ q+ k Γ p Γ p+ q+ k με Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 4
( ( p+ k pγ p Γ p+ q Γ p p+ q+ k p+ q Γ p+ q p( p+ ( p+ k ( ( ( p k p+ q p+ q+ p+ q+ k p+ q k Var Άσκηση ( ( ( p( p+ p pq ( p+ q( p+ q+ ( p+ q ( p+ q ( p+ q+ Δείξτε ότι η κατανομή ~ Be p, q έχει ode q > Mode p p+ q μόνο όταν p > και p log Be( p, q p+ q log Be ( p, q < p >, q > Άσκηση Δείξτε ότι ( ϕ, ( ϕ, + (, ( ϕ Cov Cov Cov, καθώς και το πιο ειδικό αποτέλεσμα Var ( Var ( + Var ( (, ϕ ( ϕ ( ( ϕ Cov E ( ϕ ( ( ϕ (, ( ϕ ( ( ϕ ( ( ϕ Cov ( ( ϕ [ ] [ ϕ] Στη συνέχεια προσθέτουμε κατά μέλη και έχουμε: ( ϕ, ( ϕ, + (, ( ϕ Cov Cov Cov Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 5
Επειδή Var ( Cov(,, παίρνουμε Var ( Var ( + Var ( Εναλλακτικά η εξίσωση για το Var ( μπορεί να αποδειχτεί με παρόμοιο τρόπο: ( ( ( ( ( Var ( ( ( ( ( Var Αριθμητικό παράδειγμα Έστω ότι 7 με διωνυμική παρατήρηση 34 Εάν οι πεποιθήσεις των ειδικών είναι ότι µ 4 και σ, οι παράμετροι, ικανοποιούν το μη γραμμικό σύστημα: p µ p+ q pq ( p+ q ( p+ q+ σ pq της beta pror Be( p, q θα Από την πρώτη εξίσωση έχουμε p p+ µ p+ q, p+ q+ και αντικαθιστώντας στη µ µ δεύτερη εξίσωση pq σ σ q p 3 ( p+ µ p p+ µ µ µ µ ( µ µ p σ p p+ q p+ p 3 ( p+ µ p µ µ µ µ σ ( ( p µ µ µ µ p+ q q p µ ( µ, µ µ µ σ σ Τελικά ( µ µ p µ σ ( µ µ q σ ( µ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 6
µσ παίρνουμε (, ( 44, 66 Για (, ( 4, Έτσι η προηγούμενη ανάλυση μας δίνει pq [ ] ~ Be 44, 66 34 ~ Be 384, 46 ( 4, 34 474, [ ] MLE 486 Var [ ] [ ] Bayes Var 34 3 με απόκλιση 47% Έχουμε κάνει λοιπόν μια αποτελεσματική εκτίμηση της παραμέτρου εφόσον Var 34 < Var [ ] Το percetage absolute relatve error του MLE ως προς το Bayes είναι Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 7 MLE Bayes MLE
Έστω τώρα ότι έρχεται και δεύτερη διωνυμική παρατήρηση 37 από δεύτερο δείγμα Beroull μεγέθους και αυτό 7 Κάνοντας διαδοχική ανάλυση με pror [ ] ~ Be( p, q + +, θα έχουμε νέα πιθανοφάνεια [ ] ~ B(,, και posteror [, ] ~ Be p (, q ( ( πράγματι (, (,, ( ( (, π π π π π ( ( + + + + + ( p+ { } { } q + π π ( p ( ( q Be p (, q ( ( + + + + + + + + κάνοντας αριθμητική αντικατάσταση έχουμε ~ Be( 44, 66 [ 34 ] ~ Be( 384, 46 [ 34, 37 ] ~ Be( 754, 756 [ ] 34 474 [ ] 34, 37 ˆ 499, ˆ 57 με απόκλιση 58% Bayes 8 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 MLE
[ ] Var 34 3, [ ] Var 34, 37 Έχουμε και πάλι κάνει αποτελεσματική εκτίμηση της παραμέτρου εφόσον [ 34, 37 ] [ 34] [ ] Var < Var < Var Η pror predctve για το beta boal μοντέλο για μια διωνυμική π ως προς το pror μέτρο παρατήρηση είναι η μίξη της πιθανοφάνειας Π ( d Be( p, q d ( (, (, π π π d B Be p q d Θ + Γ p+ q p q+ Γ p+ q Γ p+ Γ q+ ( d Γ p Γ q Γ p Γ q Γ p+ q+ ( +, + B( pq, B p q,,,, { } Η π ( είναι μία σύνθετη κατανομή (copoud probablty dstrbuto, προκύπτει δηλαδή από μίξη, κατά την έννοια ότι η πιθανότητα επιτυχίας, στην διωνυμική κατανομή B(,, προέρχεται από την (, Be p q Σε αυτή την περίπτωση λέμε ότι η pror predctve ακολουθεί την beta boal κατανομή: ~ BB (, p, q, Γ p+ q Γ p+ Γ q+ BB (, p, q Γ p Γ q Γ p+ q+ {,,, } elsewhere Εναλλακτικά θα μπορούσαμε, εφόσον γνωρίζουμε ακριβώς τις ποσότητες π (, π ( και π (, να υπολογίσουμε την ( το π ( έχουμε: π από τον κανόνα του Bayes Έτσι για Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 9
π ( π ( ( + + π π Be p, q B, Be p, q p ( p ( q Γ p+ q q ( ( ( Γ p Γ q Γ ( p+ q Γ ( p+ Γ ( q+ p q Γ + + p+ q+ Γ( p Γ( q Γ ( p+ q+ ( Γ + Γ + Άσκηση Εάν ~ BB (, p, q, να βρεθεί η ροπογεννήτρια συνάρτηση M συνέχεια η μέση τιμή και η διασπορά της Δείξτε ότι η p BB, p, q B, p+ q t t (,, ( ( (, p M t e BB p q e d B pq q p t t ( ( q ( p q e d e + d B pq, B pq, t και στη q ( (, B( pq, q B p+, q p M d ( d B pq, p+ q, p ( ( p+ B pq ( ( q p B p+, q B p+, q M + d + ( B pq, B pq, B pq, ( p( p+ ( p + p+ q p+ q p+ q+ Οι προηγούμενες σχέσεις δίνουν pq( p + q + ( p (, Var ( p+ q p+ q p+ q+ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
( ( Γ p+ q Γ p+ Γ q+ BB, p, q,, Γ p Γ q Γ p+ q+ ( ( Γ p+ q Γ p Γ q+ q, Γ p Γ q Γ p+ q+ p+ q Γ ( p+ q Γ ( p+ Γ( q p, Γ( p Γ( q Γ ( p+ q+ p+ q { } Άσκηση Η πιο καλά προσαρμοσμένη διωνυμική τμ y, στην ~ (,, * * y ~ B, p με p p/ ( p q Έχουμε ότι: BB p q, είναι η + Δείξτε ότι για, Var ( y Var ( pq ( p + q + ( > < * * pq Var ( y p ( p < Var (, > p+ q p+ q p+ q+ Παρατήρηση η σχέση για την ροπογεννήτρια συνάρτηση προκύπτει κατ ευθείαν από την σχέση M t M t t t M t e e M t M t π d Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
( (, p q t ( e + d B pq Πιο γενικά tx t t π π M t e X e d e d Θ Θ Θ Θ X X { ( } (, { } e t π π d d e t π d d e t π d X Θ X Θ X ( e t M X ( t Άσκηση Για το Boal Beta μοντέλο να βρεθεί η από κοινού κατανομή των και Παρατήρηση The Beta-Boal dstrbuto always has ore spread (varace tha ts best fttg Boal dstrbuto, because the Beta dstrbuto adds etra radoess Thus, whe a Boal dstrbuto does ot atch observatos, because the observatos ehbt too uch spread, a Beta-Boal dstrbuto s ofte used stead The uber of lfe surace polcy holders who wll de ay oe year, where soe eteral varable (eg hghly cotagous dsease, etree weather oderates the probablty of death of all dvdual to soe degree Η posteror predctve για το beta boal μοντέλο για μια νέα διωνυμική παρατήρηση y είναι η μίξη της πιθανοφάνειας π ( y ( (, Π d Be p + q + d ως προς το posteror μέτρο Ειδικότερα εάν η y είναι νέα δοκιμή Beroull έχουμε: ( (, ( ( π y π y d π y π d Θ (, (, B y Be p + q + d Θ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
(( + +,( + + (, B p y q y BB ( y, p +, q + y B p+ q+ ( ( Γ p+ + y Γ q+ y+ Γ p+ q+, y {,} Γ p+ q+ + Γ p+ Γ q+ Η πιθανότητα του { y } είναι π ( y ( ( Γ p+ Γ q+ + Γ p+ q+ q+ Γ p+ q+ + Γ p+ Γ q+ p+ q+ Έτσι για την posteror predctve [ y ] έχουμε: y ~ BB, p +, q + ~ q+ p+ p+ q+ p+ q+ [ ] p, επειδή γνωρίζουμε ότι BB, p, q B,, θα έχουμε p+ q Εναλλακτικά p+ y ~ BB, p +, q + B, p+ q+ [ ] Δηλαδή η posteror predctveγια μια νέα Beroull παρατήρηση είναι και αυτή Beroull Το posteror predctve για νέες παρατηρήσεις Beroull ( είναι: [ y ] ~ B(, ( (, ( +, + π y B y Be p q d (( + +, ( + + (,,, και B p y q y Bb( y, p +, q +, y {,,, } B p + q + 3 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
A oe foratve pror (a flat pror for Boal data Το Beta Boal μοντέλο κάτω από απουσία αρχικών πεποιθήσεων: Θεωρούμε και πάλι το προηγούμενο μοντέλο με boal data μόνο που αυτή την φορά δεν διαθέτουμε την αρχική γνώση των ειδικών για την μέση τιμή και την διασπορά του Για την Bayesa εκτίμηση όμως χρειαζόμαστε pror με στήριγμα το (,, που όμως «δεν θα μεταφέρει» καμία a-pror πληροφορία στη posteror Χρησιμοποιούμε λοιπόν για αυτόν τον λόγο σαν pror την ομοιόμορφη κατανομή στο διάστημα (, εφόσον [ ] του (, (, ([, ] P ab P cd για κάθε ισομήκες ζεύγος υποσυνόλων ~, π < < π, < < Δεν χρειαζόμαστε νέους υπολογισμούς γιατί στην ειδική περίπτωση που p q έχουμε Be(, (, Έτσι για ομοιόμορφη pror [ ] ~ Be( +, + pror predctve ~ BB (,, π ( BB (,, B +, + Γ + Γ + B, Γ + + για όλα τα {,,, } Και όπως αναμενόταν, όλες οι δυνατές τιμές του, a-pror είναι ισοπίθανες με BB (,, D {,,, } Εναλλακτικά π ( B(, (, d ( d Γ + Γ + Γ + + Η Posteror predctve για μια Beroull παρατήρηση y είναι [ y ] ~ BB (,, π + + Επειδή + + + + ( y, π ( y 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
Δειγματοληψία από μίξη κατανομών Έχουμε το παρακάτω σχήμα δειγματοληψίας: Για παράδειγμα ( Be( p q ~ ( ~ π, argally ( ( * y ~ π π π d y π Θ ( p q ( ~ Be, y ~ B, argally ( ( * y ~ B, Be p, q d π Θ BB (, p, q Η παραπάνω σχέση μας λέει ότι για να προσομοιώσουμε d δείγμα d * y, { ~ π ( } θα πρέπει πρώτα να προσομοιώσουμε διάνυσμα (,, d ~ π (, και μετά διάνυσμα (,, d y y με y ~ π (, με Πράγματι έστω ότι οι πραγματοποιήσεις της τυχαίας μεταβλητής Y είναι τα y στα αριστερά του σχήματος δειγματοληψίας και οι πραγματοποιήσεις της τυχαίας * μεταβλητής Y είναι τα y στα δεξιά του σχήματος δειγματοληψίας θα δείξουμε ότι οι τμ Y * d * και Y έχουν την ίδια κατανομή, συμβολικά Y Y Η συνάρτηση κατανομής της τμ Y είναι F( y Y PY { y} Y { } { } π ( F y PY y PY y d Θ y y ( ( π u du π d π π u d du Θ u Θ Όμως π ( π ( u d είναι η μίξη * ( u Y Θ y * * { } * π Y F y u du P Y y F y δηλαδή έχουμε F ( y F ( y Y Y * π και έτσι d * ή ότι Y Y 5 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
Άσκηση Έστω ότι Y ~ (, και ότι η τμ Z έχει συνάρτηση κατανομής F Z που αντιστρέφεται Τότε η τμ X F ( Y έχει την ίδια κατανομή με την τμ Z, συμβολικά Z F d Z Y Z Δείξτε ότι ισχύει και το αντίστροφο του προηγούμενου, δηλαδή ότι εάν η τμ Z έχει συνάρτηση κατανομής (, F που αντιστρέφεται Τότε η τμ Y F ( Z Z είναι ομοιόμορφη στο Z Για να δείξουμε ότι X X d { } Z { Z } F P X P F Y, αρκεί να δείξουμε ότι F ( F ( X Z και επειδή F παίρνουμε Z FZ ( { } F P Y F f y dy X Z Y ( < <, και F ( Y ~, f y y X ( Y FZ FZ Z F < y < dy dy F δίνει Z ( ( f y f F y F y f F y F F y Y Z Z Z Z Z Z Z ( f F y f F y Z Z Z Z εφόσον Z Y f > και : [,] F R είναι ένα προς ένα παίρνουμε ότι ( < < ή ότι ~ (, f y y Z Y Διαστήματα υψηλής a posteror πυκνότητας Θα μπορούσε να πει κανείς, ότι τα HPDI (Hghest Posteror Desty Itervals ή Credble tervals 3 είναι τα αντίστοιχα 3 Hghest Posteror Desty Regos ή Credble Regos όταν 6 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3 d Θ
διαστήματα εμπιστοσύνης της κλασσικής Στατιστικής Τα διαστήματα εμπιστοσύνης, παράμετρο με πιθανότητα P{ S ( X S+ ( X } a που θα δούμε την πραγματοποίηση του ενδεχομένου { X } Ia X S X S+ X είναι τυχαία και περιέχουν την σταθερή άγνωστη πιθανότητα καταρρέει σε ή, δηλαδή έχουμε ότι { + } ( + P S S S S, Από την στιγμή όμως, η προηγούμενη και δεν έχουμε καμία περαιτέρω πληροφορία από το διάστημα εμπιστοσύνης Ένα κατά Bayes «διάστημα εμπιστοσύνης» είναι αριθμητικό δηλαδή: ( + { + } P S S π d a S S ( { } Το σύνολο Ia ( S (, S+ ( Θ, με την ιδιότητα a είναι μοναδικό, για αυτό τον λόγο ορίζουμε σαν HPDI το σύνολο I επιπροσθέτως ικανοποιεί και την συνθήκη I ( και I ( π ( π ( Στην μονοδιάστατη περίπτωση θέτουμε: τότε a a P I a δεν > { a }, Ia( ( P I a { : π γa } Θ >, a που I ( ( και I ( π ( < γ έτσι π ( π ( π γ a Δηλαδή τα HPD σύνολα δίνουν a a { a } a > P I a αλλά ταυτόχρονα έχουν και ελάχιστο μήκος Επίσης τα σύνολα HPD, μπορεί να μην είναι διαστήματα αλλά ένωση διαστημάτων όταν η π ( είναι πολυκόρυφη Η παρακάτω συνάρτηση της R υπολογίζει το 9% HPDI για ένα Boal Beta μοντέλο με 7, διωνυμική παρατήρηση 34 π Be 44, 66 και posteror π ( 34 Be( 384, 46 7 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3, pror
Πρόταση: Όταν η pror είναι μίξη κατανομών, τότε και η posteror είναι μίξη κατανομών Έστω ότι η pror αποτελεί διακριτή μίξη I ~ p δ, ( I ~ π I π τότε 8 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
π π, π π π, ( I ( I ( I p Η posteror θα είναι π, π π,π π ( p ( p (,, C p, π π d p, π d p,π Θ Θ εναλλακτικά π π, π,, π π π, ( ( ( I ( I ( I ( I ( I π ( I π ( I (, I π ( I π π π ( C π ( I π ( I π d p,π p Θ, π ( με αποτέλεσμα η posteror να είναι και αυτή διακριτή μίξη: π (, I p p π ( π π,, π ( ( π π pj,π j( pj,π j( j j p π ( ( ( π ( π π, p j,π j( π d Θ j p, π(,, ( ( π ( όπου p, p j, p π j, ( π j ( και π ( ( π ( π π για Εάν η pror αποτελεί συνεχή μίξη θα έχουμε: 9 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
ϕ ~ π ( ( ϕ ~ π ϕ πϕ τότε (, d (, π π ϕ ϕ π ϕ π ϕ dϕ και Φ Φ ( (, (,, ( (, π π π ϕ dϕ π ϕ π ϕ π ϕ dϕ Φ ( ( ϕ, π ( ϕ π ϕ π π ( ϕ π ( ϕ dϕ Φ π (, ϕ ( (, ( C π ϕ π ϕ π ϕ ddϕ π ϕ π ϕ dϕ Φ Θ Φ έτσι η posteror γίνεται ( ϕ ( π ϕ π π ( π (, ϕ dϕ π (, ϕ π ( ϕ dϕ Φ π ϕ π ϕ dϕ Φ Φ πϕ ( Φ Διακριτή μίξη beta κατανομών (beta tures Όταν οι αρχικές μας πεποιθήσεις είναι πολύπλοκες και τα δεδομένα μας είναι δοκιμές Beroull (είτε γεωμετρικές παρατηρήσεις, με προς εκτίμηση πιθανότητα επιτυχίας η κατάλληλη pror είναι μια διακριτή μίξη κατανομών beta Για παράδειγμα για μίξη με δύο beta κατανομές 4 : Be( p q Be( p q π τ, + τ,,< τ <,,,,, έχουμε πέντε υπερπαραμέτρους,,, p,, q,, και το μοντέλο μας γίνεται πιο αποτελεσματικό (fleble εφόσον μπορεί να προσαρμοσθεί σε πιο γενικές τ,( p q και 4 A ture wth two beta copoets Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
αρχικές πεποιθήσεις Θα δείξουμε ότι εάν ~ B(, με ~ B,,,,, τότε η posteror δίνεται από την beta μίξη: ( Be( p,, q, ( Be( p,, q, π τ + τ Πράγματι ( { Be( p,, q, + ( Be( p,, q, } ( π τ τ τ p, + q, + τ p, + q, + ( + (, B B όπου,, ( p Γ( q (,, και Γ,, p, q,, B d,, Γ p + q το ολοκλήρωμα beta Έστω C >, τέτοιο ώστε: τ τ π B p, + p, + ( C ( + B ( q, + q, +,, B, Ολοκληρώνοντας για (, παίρνουμε τ p, + q, + τ p, + q, + C ( d ( d B + B,, Θέτοντας B, ( p, ( q, Γ ( p, + q, + Γ + Γ + B B + και παίρνουμε C τ ( τ,, B, B, π ( B, B, C τ Be p,, q, C Be( p,, q, B + + + τ B + +,,, όπου ισχύει ότι Cτ C( τ,, B q q +, έχουμε ότι: B + Θέτοντας τ,, B, B, ( Be( p, q, Be( p, q, π τ, + τ,,< τ < B, Cτ,,, B, p p + και Άσκηση Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
Εάν ~ B(, με και ~ B,,,,, να βρεθεί η posteror και οι εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση p, q j j j απώλειας που αντιστοιχεί στην pror, π Άσκηση a Εάν b π κ + λ για < < και κ >, λ > δείξτε ότι (, + ( Be( a, b π ρ ρ με Δίνεται ότι ~ B(, κ ρ κ + λb ab (, με και 3 να βρεθεί η posteror και οι εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση απώλειας, που αντιστοιχεί στην pror π ( ( + { } b ( a Ολοκληρώνοντας την C C κ (, λb ab + που δίνει π κ + λ < < έχουμε ότι κ λ π ( < < + < < κ + λb ab κ + λ, B( ab, b a (, B( ab κ λb ab (, + Be, κ + λb ab, κ + λ, ( a b L ; π { } ( 3 π + + Η σταθερά κανονικοποίησης C της posteror είναι C B(,3 B( 3, 4 B B + και έτσι,3 3, 4 π ( Be(, 3 + Be 3, 4 B,3 + B 3, 4 B,3 + B 3, 4 Η εκτίμηση κατά Bayes του, κάτω από τετραγωνική συνάρτηση απώλειας είναι Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
( B B,3 3, 4 3 + B,3 + B 3, 4 5 B,3 + B 3, 4 7 Έχουμε ότι B (,3, B ( 3, 4 που δίνουν ( 5 3 3 Άλλος τρόπος με τον οποίο, στο boal beta μοντέλο, μπορεί να προκύψει σαν posteror beta μίξη, είναι η πληροφορία να για το διωνυμικό πείραμα: ~ B, με και ~ B,,,,, να δίνεται με την μορφή του ενδεχομένου { } { } Da at με r Για παράδειγμα, έστω ότι δίνεται η πληροφορία ότι { } { } { } Data L( ; Data π ( ( Θέτοντας σαν pror π ( Be( a, b, τότε η πιθανοφάνεια δίνεται από την εξίσωση, η posteror είναι: π b b +, a + a ( ( ( ( με σταθερά κανονικοποίησης a+ b+ C ( d B( a b, + +, που δίνει a+ π ( C ( + b + b ( ( +, + C B( a+ b, + B a b a + 3 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
(,, (, p a b Be a + b + όπου (,, p ab B ( a + b, + B a yb y y y ( +, +,, και p( ab Εμφανώς η εκτίμηση κάτω από τετραγωνική συνάρτηση απώλειας θα είναι a+ p ab Be a b d p ab a + b + ( (,, ( +, + (,, Άσκηση Έστω ότι πραγματοποιείται διωνυμικό πείραμα με δοκιμές Beroull Αλλά για κάποιο λόγο, η τελική πληροφορία από τη διεξαγωγή του πειράματος που φτάνει σε εμάς, είναι η πραγματοποίηση του ενδεχομένου { } Ποία η εκτίμηση της πιθανότητας επιτυχίας ως προς τετραγωνική συνάρτηση απώλειας εάν οι αρχικές μας πεποιθήσεις συνοψίζονται στην pror π ( Be( 4, 4 ; Η πιθανοφάνεια δίνεται από τη σχέση π ( ; ( ( L π 3 3 3 + 3 ( ( ( ( C B + B + B + B ( 4,4 ( 4,4 ( 5,3 45 ( 6, ( 4 ( 4 ( 5 ( 3 45 ( 6 ( Γ 8 Γ Γ + Γ Γ + Γ Γ 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
[ ] Γ Γ Γ 4 Γ Γ 4 Γ 3 + 4 + 45 5 4 536 8 8 Η posteror είναι ( C B( 4 +,4 Be( 4 +,4 π Η εκτίμηση της πιθανότητας επιτυχίας είναι ( C B( 4 +,4 4 + 8 4 5 6 C B( 4,4 + B( 5,3 + 45B( 6, 8 8 8 C ( 4 ( 4 4 ( 5 ( 3 5 45 ( 6 ( 6 8 8 Γ Γ + Γ Γ + Γ Γ Γ [ 3 5 45 5 6] Γ 8 4 Γ 4 Γ 6 4 39 + + 536 Γ 4 Γ 8 Γ 8 536 8 8 Άσκηση Έστω ότι πραγματοποιείται διωνυμικό πείραμα με d παρατηρήσεις δοκιμές Beroull και έχουμε ~ B,,,, Στη συνέχεια πραγματοποιείται και δεύτερο διωνυμικό πείραμα όμως με πιθανότητα επιτυχίας παρατήρηση z + / k, δηλαδή μας δίνεται τέτοια ώστε z ~ B(, / k και [ z ] ανεξάρτητη των [ ] για,, Να βρεθούν οι εκτιμήσεις της πιθανότητας επιτυχίας ως προς τετραγωνική συνάρτηση απώλειας (,,, z και (,,, z υποθέτοντας ότι π ( Be( a, b και k, Να γίνει αριθμητική εφαρμογή για,, Για την πραγματοποίηση { z } έχουμε 5 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
π ( z ( k + ( k k, και έτσι (,,, z (,, ( z π π π ( ( k + ( k ( ( k + ( + Η posteror γίνεται a (,,, z ( ( k ( + ( b + π a+ b ( a+ k ( + b + + Με σταθερά κανονικοποίησης C ( (, (, C k B a b B a b + + + + + + Η posteror αναπαρίσταται σαν ture από betas (,,, z C ( k B( a +, b + Be( a +, b + π και μέση τιμή (, (, + CB a + b + + Be a + b + +, (,,, z C ( k B( a, b a + + + a+ b+ a + + C B( a +, b + + a+ b+ +, ενώ παρατηρούμε ότι: ( +, + + ( +, + B a b B a b b + a+ b+ Για,, και k παίρνουμε: 6 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3
a+ b+ b+ π a+ b+ 3 a+ b+ 3 (,,, z Be( a +, b + + Be( a +, b + a+ b+ a+ b+ a+ a+ b+,,, + + a+ b+ 3a+ b+ a+ b+ 3a+ b+ 3 a+ b+ 3 a+ b+ 3 ( z, Για την πραγματοποίηση { z } έχουμε π ( z 7 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3, που δίνει k,,, z,, z + π π π ( k Η posteror γίνεται a (,,, ( b z + ( Be( a + +, b + π με (,,, z a + + a + b + + Στην ειδική περίπτωση,, και k παίρνουμε: (,,, z Be( a +, b + με (,,, z π Άσκηση a + a + b + 3 Έστω ότι πραγματοποιούντα δύο δοκιμές Beroull ~ B,, και y ~ B(, / 3, με [ ] και [ y ] ανεξάρτητες τυχαίες μεταβλητές και παρατηρούμε ότι και y Ποία η εκτίμηση του κάτω από τετραγωνική συνάρτηση απώλειας και κάτω από απουσία αρχικών πεποιθήσεων? Με ποία πιθανότητα στο μέλλον θα παρατηρήσουμε z ~ B,? π (, y π ( π ( y 3 + + 3 z, εάν (, y (, { + ( } + ( π Η σταθερά κανονικοποίησης C είναι,
6 π (, y C{ + ( } C{ B(, + B(, } C 7 6 π 7 { } (, y + ( 6 7 C B B + B B { (, (, (, (, } 6 B + 7 7 (, B(, 6 (, y B(, d+ B(, d 7 7 6 B 3, B 3, 9 7 B, + 7 B, 4 Το posteror predctve είναι: 6 z z π ( z, y π ( z π (, y d ( { + ( } d 7 6 +, + +,3,, 7 { B( z z B( z z } z { } Που δίνει 6 9 π ( z, y { B( 3, + B( 3, } 7 4 8 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs 3