Δειγματοληψία από την posteror π ( τ, x - Gbbs saplg Υποθέτουμε ότι η posteror έχει μορφή π ( τ, x π ( τ x π ( x και τα δύο full codtoal posteror dstrbutos είναι stadard δηλαδή ξέρουμε να κάνουμε δειγματοληψία από τις κατανομές π ( τ,x και π ( τ,x από τα δύο full codtoals ( x ( x ~ π τ, 0 τ ~ π, ( x ( x ~ π τ, τ ~ π, ( x ( x ~ π τ, 3 τ ~ π, 3 3 Η εναλλάξ δειγματοληψία ορίζει ένα δυσδιάστατο Markov Cha {( τ t, t } t 0 με πυκνότητα μετάβασης (( τ t, t,( τ t+, t+ = π ( τ t+, t+ τ t, t, = π ( t+ τ t, t, π ( τ t+ t+, τ t, t, p x x x x (, x (, x = π τ π τ t+ t t+ t+ Θα δείξουμε ότι η posteror είναι η στάσιμη κατανομή της αλυσίδας {( τ t, t } t 0 ότι ισχύει ( ( ( ( ( = π τ, x π τ, x p τ,, τ, x dτ d + τ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ, δηλαδή
Αντικαθιστώντας την πυκνότητα μετάβασης στο ολοκλήρωμα στα δεξιά της προηγούμενης εξίσωσης παίρνουμε + τ (, (, (, π τ x π τ x π τ x dτ d = π ( τ, x π ( τ, x π ( τ, x d dτ + τ (, (, ( (, (, = π τ x π τ x π τ x dτ = π τ x π τ x dτ τ + + (, x ( x (, x = π τ π = π τ τ Ξαναγυρίζοντας πίσω στην περίπτωση όπου καμία posteror περιθώρια δεν είναι γνωστή, εάν η εναλλάξ δειγματοληψία αρχίσει από κάποιο αυθαίρετο τ 0 (συνήθως χρησιμοποιείται η μέση τιμή του pror για το τ, θα χρειαστούμε κατάλληλο bur- perod έτσι ώστε η αλυσίδα να φτάσει πρακτικά να γίνει στάσιμη Τότε ένα δείγμα μεγέθους από την posteror για κατάλληλο bur perod K θα είναι {( K+, τ K+,( K+, τ K+,,( K+, τk+ } που όμως δεν είναι ανεξάρτητο Εάν όμως θεωρήσουμε υπακολουθία {(, τ,(, τ,,(, τ } για κατάλληλο K corr, x 0 corr τ, τ + 0 το παραπάνω δείγμα μεγέθους θα είναι πρακτικά ανεξάρτητο + τέτοιο ώστε ( + και ( x Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
Παράδειγμα: Μη συζυγής ανάλυση και δειγματοληψία Gbbs d Η συζυγής ανάλυση: Ας θεωρήσουμε το oral μοντέλο x τ, (, τ Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 3 ~ όπου τ, άγνωστα Η αντίστοιχη συζυγείς ανάλυση επιτυγχάνεται θεωρώντας σαν a-pror κατανομή την δισδιάστατη oral Gaa κατανομή π ( τ, = G( τ, 0, τ 0, a0, b0 = 0, Ga( τ a0, b0 ττ 0 πτ ( π ( τ με hyperparaeters 0, τ 0, a0, b0 Η πιθανοφάνεια έχει την μορφή / τ (, (, ex p ( π x τ = π x τ / τ τ x ( = τ exp x = = = Επειδή ( x = {( x x ( x } = ( x x + ( x και θέτοντας = = = παίρνουμε = ( s ( x x / τ ( ( π x, τ τ exp x + ( s Μετά από αρκετές πράξεις είδαμε ότι η posteror παίρνει την εξής μορφή: π ( τ, x = G( τ,, τ, a, b =, Ga( τ a, b ττ, πτ ( x όπου τ + x τ τ π ( τ, x 0 0 0 0 =, = 0 +, a = a0 + /, b = b0 + ( x x + τ0 = 0 Πως θα παίρναμε δείγμα από την posteror π ( τ, x? ( x ( τ + τ Πρώτα θα παίρναμε δείγμα τ από την posteror argal π ( τ x και στην συνέχεια δείγμα δοθέντος του τ από την codtoal posteror π ( x, τ τότε ξέρουμε ότι το
είναι δείγμα από την posteror argal π ( x, ενώ το ζεύγος (, τ την jot posteror π ( τ, x δείγμα από Εάν όμως οι a-pror πεποιθήσεις μας συντείνουν στο γεγονός ότι και τ a-pror είναι ανεξάρτητα, η συζυγείς ανάλυση παύει να ισχύει Mη συζυγής ανάλυση Η pror είναι ( = ( π ( ( π τ,, τ Ga τ a, b 0 0 0 0 πτ ( τ0 a0 a 0 τ0 exp ( 0 τ exp{ b0τ} = τ exp ( 0 b0τ ocojugate pror Η lkelhood είναι / τ (, (, ex p ( π x τ = π x τ / τ τ x ( = τ exp x = = = / τ = τ exp ( x + ( s Και τελικά η posteror δίνεται από την σχέση a ( 0 τ ( ( τ 0 π τ, x τ + exp s + x ( 0 b0τ και όπου s = ( x x = x = x = Δηλαδή έχουμε υπολογίσει το kerel της posteror για και τ αλλά δεν είναι σε stadard for, Παρατηρούμε ότι π ( τ, x π( τ x π ( τ, x και π (, τ x π ( τ x π ( x δηλαδή δεν γνωρίζουμε μέθοδο δειγματοληψίας για την συγκεκριμένη άγνωστη κατανομή (ostadard dstrbuto Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 4
Για να κάνουμε δειγματοληψία από την δυσδιάστατη posteror θα πρέπει να κάνουμε στοχαστική προσομοίωση Για να εφαρμόσουμε δειγματοληψία Gbbs, θα πρέπει να βρούμε τα δύο posteror full codtoals (, x π τ και (, x π τ Τα δύο full codtoals είναι: π ( τ, x π (, τ x exp τ ( x τ 0( 0 τ 0 0+ τx, τ + τ0 τ + τ0 a τ π( τ, π ( τ, τ exp τ 0 + ( + ( ( 0 x x + b x s ( ( ( Ga τ a0 +, b0 + x + s που είναι σε stadard for δηλαδή τα full codtoals προέρχονται από γνωστές κατανομές από τις οποίες ξέρουμε πως να κάνουμε δειγματοληψία Το συγκεκριμένο μοντέλο (αν και μη συζυγές λέμε ότι είναι ημισυζυγές (se-cojugate π τ, x ανήκουν στην ίδια διότι τα δύο posteror full codtoals (, x π τ και ( οικογένεια όπως και οι ανεξάρτητες a-pror κατανομές π ( και π ( τ αντιστοίχως Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 5
Ιεραρχικά μοντέλα και δειγματοληψία Gbbs Έστω ότι παρατηρούμε συγκεκριμένο ποιοτικό χαρακτηριστικό της παραγωγής μιας βιομηχανίας που παράγεται από παρόμοιες διαδικασίες Η διαδικασία παράγει αντικείμενα και συμβολίζουμε με y j την μέτρηση στην - ομάδα ( και στο j αντικείμενο της ομάδας ( j Υποθέτουμε ότι οι παρατηρήσεις είναι κανονικά κατανεμημένες σύμφωνα με το παρακάτω μοντέλο: ( d yj, τ ~, τ, j, Επίσης υποθέτουμε ότι και οι μέσοι είναι κανονικά κατανεμημένοι, δηλαδή ( d, v ~, v, Στη γενική περίπτωση τ, και v είναι άγνωστα Θέλουμε λοιπόν να εκτιμήσουμε το διάνυσμα παραμέτρων όπου ( ( ((( ( v,,,,, + + θ = τ Θ=, =,, το διάνυσμα των μη παρατηρήσιμων (latet μέσων Οι μεταβλητές ( και τ είναι τα xture copoets του ιεραρχικού μας μοντέλου Θα θεωρήσουμε ανεξάρτητες a-pror κατανομές για τ,,v όπου abcde,,,,, f υπερπαράμετροι ( ab, ~ ab, ( τ cd, ~ Ga cd,, v e, f ~ Ga( e, f, Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 6
Το παραπάνω μοντέλο είναι ένα ης τάξης (απλό ιεραρχικό μοντέλο Θέτοντας ((, και ϑ = (,v ϑ = τ (( yj,((, τ,(, v = ( y, ϑϑ, = { y ϑ~ π( ϑ, ϑϑ ~ π( ϑ, ϑ ~ π( } = = οι παρατηρήσεις, ϑ ((,,, τ ( όπου y ( yj { yj, j, } ϑ =,v =, και Η posteror του ιεραρχικού μοντέλου θα είναι ( y = (, y (,, y = (, ( y, = π ( ϑ π ( ϑ ϑ π ( y ϑ, ϑ π θ π ϑϑ π ϑϑ π ϑϑ π ϑϑ pror lkelhood Οι δύο παράγοντες της pror δίνονται από τις σχέσεις ( ( ( ( π ϑ = π,v = π π v, ( = ((,,,, v = (, v (,,,, v π ϑ ϑ π τ π τ π τ = = = ( (,,, v ( (, v π τ π π τ π, ενώ η πιθανοφάνεια από την σχέση 7 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
( j ( y = ( y = { y j } ( π ϑ, ϑ π ϑ π,,,,, τ π ({ yj, j }, τ π ( yj, τ = = = = Έτσι η posteror γίνεται ((,,, v ( yj ( ( v ( (, v ( yj, π τ π π π τ π π τ Πιο συγκεκριμένα έχουμε / τ (, (, ex p ( π yj τ = yj τ τ yj που δίνει τ π τ τ / (, exp ( yj yj Παρατηρήστε ότι θέτοντας y = = = yj και ( ( S = yj y, δηλαδή y και είναι αντιστοίχως ο δειγματικός μέσος και η δειγματική διασπορά της ομάδας παρατηρήσεων, έχουμε ( ( yj = ( yj y ( y ( yj y ( y ( yj y ( y = + + ( yj y ( y ( y y ( y = + + ( yj y ( y ( S ( y = + = + S Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 8
Τότε η παράσταση π ( yj, τ παίρνει τη μορφή: ( / τ, exp ( ( π yj τ τ s + y και θέτοντας έχουμε = τ π ϑ π τ τ = = ( (, / exp ( ( y = yj S + y / τ = τ exp + = ( S ( y όπου = = Για την pror συνολικά έχουμε: ( = ( (, v = Ga ( c, d (, v π ϑ ϑ π τ π τ = = ( c d / v c d / v e τ τ v exp exp ( τ = τ e v = = και b ( ( ( ( ( ( π ϑ = π π =,, exp e fv v a b Ga v e f a v e Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ 9
Τελικά η posteror του μοντέλου γίνεται: ((,,, v ( yj ( ( v ( (, v ( yj, π τ π π π τ π π τ = = ( b e fv c d / v exp a v e τ e τ v exp ( = / τ τ exp + = ( S ( y ( τ v exp dτ fv b a v τ s τ y + + + + + = c+ / e+ / ( ( ( ( που είναι το kerel μιας άγνωστης (ostadard κατανομής στις + 3 διαστάσεις και + + στήριγμα το Θ= Στα επόμενα θα υπολογίσουμε τα FC της posteror που μας χρειάζονται για τον δειγματολήπτη Gbbs Συμβολίζουμε την FC της μεταβλητής με π ( που είναι η κατανομή της δοθέντων όλων των υπολοίπων μεταβλητών, καθώς και των ( παρατηρήσεων Δηλαδή π ( = π (, τ, v, ( yj συμβολίζουμε τα FC και όλων των υπολοίπων μεταβλητών Με τον ίδιο τρόπο Full codtoal της μεταβλητής ( ( (,,, v ( yj exp b( a + v ( π π τ = ( b v + ab + v exp ( b + v ( ab + v = exp b + v 0 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
( b v + ab + v exp b + v Έτσι παίρνουμε ab + v π ( =,, = = b + v b + v Full codtoal της μεταβλητής τ τ c+ / τ ( v yj d ( ( s ( y ( ( ( π τ π, τ,, τ exp + + = είναι τότε εμφανές ότι ( π ( τ = Ga τ c +, d + ( S + ( y = Full codtoal της μεταβλητής ν v π ( v π ((,,, τ,(, v y v exp f + = v e+ / ( ( από όπου και πάλι (, ( π v = Ga v e + f + = Full codtoal των μεταβλητών για =, π ( π ((,,, τ,(, exp + τ που δίνει ( v y v( ( y Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
v + τy π ( =,,, v+ τ v+ τ Έτσι έχουμε έναν δειγματολήπτη Gbbs στις + 3 διαστάσεις, που είναι και η διάσταση της Μαρκοβιανής αλυσίδας ( ( ( ( {(,,, } k k k k τ v k 0 = Πριν τρέξουμε τον δειγματολήπτη Gbbs θα πρέπει Να αρχικοποιήσουμε τις υπερπαραμέτρους ( ab,,( cd,,( e, f χρησιμοποιώντας τις υπάρχουσες a-pror πεποιθήσεις από την διεξαγωγή της δειγματοληψίας Να υπολογίσουμε άπαξ τις ποσότητες που εξαρτώνται από τα δεδομένα (data suares δηλαδή τα, y, s για γνωστά, y j και ( Στην συνέχεια θα πρέπει να αρχικοποιήσουμε τον δειγματολήπτη καθορίζοντας την σειρά με την οποία θα γίνεται το update των Για να το κάνουμε αυτό θα πρέπει να παρατηρήσουμε την εξάρτηση που παρουσιάζει κάθε posteror full codtoal στις υπόλοιπες μεταβλητές Για παράδειγμα ( = ( (, π π ν ( = ( ( π τ π τ ( = ( (, π ν π ν ( ( π = π, ν, τ, Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
στην πρώτη επανάληψη ο Gbbs sapler θα είναι ( ( ( ( ( ~ π, ν 0 0 ( ( ( ( 0 τ ~ π ( ( ( ( ( ν ~ π 0, ( ( ( ( ( ~ π, ν, τ, δηλαδή θα πρέπει να αρχικοποιήσουμε τις μεταβλητές (, ν Αυτό μπορούμε να το κάνουμε προσομοιώνοντας τιμές από την pror (οι υπερπαράμετροι σε αυτό το στάδιο είναι σταθεροί αριθμοί ( ( v 0 ~ Ga e, f ( 0 ~ ( ab, ( ( ( 0 ( 0 ( 0 d ( 0 ( 0, v ~, v,, είτε αρχικοποιώντας, v στα pror eas τους δηλαδή ( 0 v = e/ f ( 0 = a ( ( ( 0 ( 0 ( 0 d ( 0 ( 0, v ~, v, Διαγνωστικά σύγκλισης της MCMC: Στην συνέχεια «τρέχουμε» τον δειγματολήπτη, δηλαδή υπολογίζουμε μέσω της εναλλάξ δειγματοληψίας ακολουθία ( ( ( ( {(,,, k k k k τ v } = k για μεγάλο μέσο της αναδρομικής σχέσης 3 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ
( ( ( ( ( ~ π, ν k k k ( ( ( k ( k τ ~ π ( ( ( ( ( ν ~ π, k k k ( ( k ( k ( k ( k ~ π, ν, τ, Σε ένα πολύπλοκο όμως μοντέλο δεν είναι πάντα εύκολο να πούμε από ποίο k και μετά βρισκόμαστε πρακτικά «πάνω» στην στάσιμη κατανομή (το jot posteror Τις περισσότερες φορές είναι αρκετό να παραλείψουμε το πρώτο ένα τρίτο των σημείων της ακολουθίας (bur- perod, ενώ κάποιες φορές απαιτούνται πολλαπλές εκτελέσεις του δειγματολήπτη με διαφορετικές αρχικές συνθήκες Για παράδειγμα θα μπορούσαμε να βλέπουμε τα rug averages των ( k { }, k = k ( j { }, και k,, και k = ( k ( k ( k { }, k = { τ }, k = { ν } k = k ( j k ( j { k }, { k τ } k = δηλαδή της ακολουθίες, k = k ( j { k ν } k = 4 Σ Ι Χατζησπύρος Σημειώσεις Bayesa Statstcs (ΠΜΣ