( ) ( ) + N( ) σ γνωστό και διακριτό prior. π ϑ = = = Παράδειγμα. 1. Να βρεθεί το marginal probability density του y (the prior predictive)

Transcript

1 Παράδειγμα ( ϑσ ) amplg dsrbuo: y ϑ~ N, ϑ ~ όου = ( ϑ = ) με σ γνωστό και διακριτό pror. Να βρεθεί το margal probably desy του y (he pror predcve). Να εριγραφεί το samplg scheme αό την pror predcve. 3. Να βρεθεί η poseror για =, = =.5, σ = και αρατήρηση y =.. Το pror predcve είναι ( y) = ( y, ) = ( = ) ( y = ) = N ( y, ) ϑ ϑ ϑ σ ϑ = =. Το samplg scheme για y ~ είναι sep : sample u ~ U, sep : fd l such ha + + l < u + + l l ~ sep 3: sample ξ ~ N, y l σξ ~ l, σ 3. Η poseror του ϑ είναι ( y ) ( = ) ( y = ) ( y) ϑ ϑ ϑ = = = = + N N = N ( y, σ ) ( y, σ ) Για =, = =.5, σ = και y =, έχουμε ( y ).5N (, ) + N ϑ = = =.53.5N,.5, =, =,, ( y ) ϑ = = =.47. Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III

2 amplg from mure dsrbuos Μια mure υκνότητα είναι μια υκνότητα ου είναι κυρτός γραμμικός συνδυασμός αό άλλες υκνότητες. Το dscree Gaussa mure είναι της μορφής N ( ) * ( y) = p y µτ,, = y µ, τ,. = Όου µ = ( µ µ ) οι μέσοι, τ ( τ τ ),, =,, τα precsos και ~ = τα mg proporos (he mg measure s ) και =. = Εάν τα mg proporos δίνονται αό κάοια υκνότητα (,, ) N, y = p y = y d * µτ ϑ µ ϑ τ ϑ ϑ Οι pror και poseror predcve dsrbuos είναι mures της οικογένειας Daa ϑ Daa αντιστοίχως. ( ϑ ) με την pror ( ϑ ) και την poseror Το samplg scheme για mures είναι: frs sample he sample ϑ ~ y ϑ ~ ϑ margally * y ~ = ( ) ϑ ϑ dϑ d * Έτσι για να ροσομοιώσουμε d δείγμα ~ ροσομοιώσουμε διάνυσμα (,, d ϑ ϑ ) ~ (,, d y y ) με y ϑ ~ ( ϑ), d y ~ ( ϑ) ( ϑ) dϑ, y, θα ρέει ρώτα να με ϑ ( ), και μετά διάνυσμα τότε θα έχουμε ότι Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III

3 Έστω ότι οι ραγματοοιήσεις της τυχαίας μεταβλητής Y είναι τα y στα αριστερά του samplg scheme και οι ραγματοοιήσεις της τυχαίας μεταβλητής d * δεξιά του samplg scheme θα δείξουμε ότι Y Y Η συνάρτηση κατανομής του Y είναι F( y Y ) = PY { y} Y { ϑ} ( ϑ) F y = y PY y dϑ = ( u ϑ) du ( ϑ) dϑ y y = = = = * * ( ϑ) ( u ϑ) dϑ du ( u) du P{ Y y} F * ( y) Y δηλαδή έχουμε * Y = = d *. Y F y F y Y Y = * Y είναι τα y στα, codog στο ϑ έχουμε Παράδειγμα Έστω ότι = 7 με διωνυμική αρατήρηση = 34. Εάν οι εοιθήσεις των ειδικών είναι µ =.4 και. ϑ ~ Be p, q σαν σ = και εειδή οι αράμετροι της κατανομής συνάρτηση της μέσης τιμής και της διασοράς είναι p E ( ϑ ) = = µ p+ q Var ( ϑ) pq = = σ ( p+ q) ( p+ q+ ) θα έχουμε p = 4.4 και q = 6.6. ( ) µ µ p = µ σ ( ) µ µ q = σ ( µ ), Εάν θέλουμε να κάνουμε δειγματοληψία αό την apror κατανομή ρόβλεψης (pror ϑ = y ϑ ~ B, ϑ, θα έχουμε: predcve) ( y) του διωνυμικού μοντέλου for ( : ){ ϑ bea ( 4.4, 6.6) ; y bomal ( 7, ϑ ) Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 3 = } όου το μέγεθος του δείγματος (sample sze). Δηλαδή { y,, y} μεγέθους αό την κατανομή bea bomal με αραμέτρους ( 7,4.4,6.6 ) Η κατανομή bea-bomal δίνεται αό το mure είναι ένα δείγμα

4 ( y) = BB ( y, p, q) = Be( ϑ p, q) B(, ϑ) dϑ Γ ( p + ) Γ ( q + ), { } c=γ p+ q Γ p Γ q Γ p+ q+ και χώρο με σταθερά κανονικοοίησης καταστάσεων το X {,,, } Ω =. Εάν θέλουμε να κάνουμε δειγματοληψία αό την a poseror κατανομή ρόβλεψης y για μια νέα αρατήρηση y (μια νέα δοκιμή Beroull) του (poseror predcve) [ ] διωνυμικού μοντέλου θα έχουμε: ( y ) = ( y, d ) = ( ) ( y ) d = ( +, + ) (, ) ϑ ϑ ϑ ϑ ϑ με αοτέλεσμα ( y ) BB ( y, p, q ) = + + ( ) Be ϑ p q B y ϑ dϑ (( + ) +, ( + ) + ) (, ) B p y q y = y B p+ q+ Γ p+ + y Γ q+ y+ Γ p+ q+ =, y, Γ p+ q+ + Γ p+ Γ q+ { } και η poseror predcve είναι η δίτιμη τυχαία μεταβλητή y ~ q+ p+, p+ q+ p+ q+ εειδή ( y ) Γ p+ Γ q+ + Γ p+ q+ = = Γ p+ q+ + Γ p+ Γ q+ q+ Γ q+ Γ p+ q+ q+ = = p+ q+ Γ p+ q+ Γ q+ p+ q+ Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 4

5 ( y ) ( y ) = = = = p+ p+ q+ for = o [ ϑ = 34] ( , ) bea [ y ϑ ] bomal (, ϑ ) e όου το μέγεθος του δείγματος (sample sze). Δηλαδή { y,, y} μεγέθους αό την κατανομή bea bomal με αραμέτρους ( 7,4.4,6.6 ) είναι ένα δείγμα Έστω ότι έχουμε αράγει δείγμα { y y } μήκους αό την κατανομή [ y = 34],, τότε εάν κ είναι ο αριθμός των και κ ο αριθμός των θα ρέει κ q+ 4.6 lm = = p+ q+ 8 Μαρκοβιανές διαδικασίες σε διακριτό χρόνο και συνεχή ή διακριτό χώρο καταστάσεων Ο χώρος καταστάσεων (sae space) = X ( Ω), της διαδικασίας { } ένα συνεχές σύνολο Borel του δίνεται αθροιστικά d είτε κάοιο υοσύνολο του { =, =,, = } = { = } P X yx X X P X yx + + X, είναι d και η ιδιότητα Marov Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 5

6 = FX X y = Ρ,, +,(, y], + Δηλαδή η -τάξης τάση μετάβασης αό το κατά την χρονική στιγμή στο σύνολο (, y] Ρ,, +,(, y]. Εάν ισχύει ότι είναι (,,,(, y] ) (( ),,(, y] ) (,,(, y] ) Ρ + = Ρ + = Ρ λέμε ότι η διαδικασία είναι χρονικά ομογενείς (έχει στάσιμη ιθανότητα μετάβασης) γιατί η ιθανότητα μετάβασης δεν εξαρτάται αό τον χρόνο ου γίνεται η μετάβαση, αλλά μόνο αό το μήκος του χρονικού διαστήματος. Στα αρακάτω αλοοιούμαι τον συμβολισμό για P y = Ρ, y = Ρ,, (, y] και συμβολίζουμε = με ( ) =Ρ (, ) =Ρ(,, ), P B B B B Η υκνότητα μετάβασης ης τάξης ή αλά υκνότητα μετάβασης p( y ) = p(, y) (raso desy) αό το στο y είναι ( ) = { < + = } = { + = } { = } p y dy P y X y dy X P X y dy X P X y X =Ρ (, y+ d ) y Ρ (, y) = Ρ(, y) d y y δηλαδή έχουμε p( y ) = P(, y) = f ( y ) X+ X y για κάθε. Άλλοι συμβολισμοί είναι ( ) = (, ) = (, ) =,(, + ] p y dy p y dy p dy p y y dy Για Marova αλυσίδα διακριτού χρόνου θα χρησιμοοιούμε για την μετάβαση ρώτης p y τάξης τον συμβολισμό Συμβολίζουμε την margal της στοχαστικής διαδικασίας για χρόνο με ( ) f X ( ) = P{ < X } + d. d. Ισχύει ότι Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 6

7 + y = p y d. Πράγματι (, ) ( ) + y = f y = f y d = f f y d X+ X, X+ X X+ X = p y d. Για το duced measure + Π της τυχαίας μεταβλητής X + ισχύει { } Π B = P X B = y dy = p y d dy y B y B = y B ( ) p ( y ) dy d = ( ) Δηλαδή p B d ( B) p ( B ) ( d) Π = Π + Εάν υοθέσουμε ότι υάρχει μέτρο Π (η στάσιμη κατανομή) τέτοιο ώστε lm Π ( B) =Π ( B) αυτό θα ρέει να ικανοοιεί την εξίσωση ( B) p ( B ) ( d) Π = Π ού είναι η εξίσωση του αναλλοίωτου μέτρου ου ορίζεται αό τη αναδρομική σχέση Π B = p B Π d (vara desy. Η αναλλοίωτη υκνότητα + saoary dsrbuo) τότε θα ικανοοιεί την εξίσωση ( ) y = p y d Πράγματι θέτοντας B = ( y, y + dy] στην εξίσωση Π ( B) = p ( B ) Π( d) αίρνουμε Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 7

8 (, ) ((, ] ) ((, ]) { ( ) }{ }. ( ] y dy =Π y y + dy = p y y + dy Π + d = p y dy d Το σχήμα δειγματοληψίας Για την Marova διαδικασία X ~ MC p ( ), p ( ) η στάσιμη υκνότητα μετάβασης και ( y) p ( y ) ( ) d για και όου η αρχική υκνότητα, εειδή + = θα χρησιμοοιήσουμε το σχήμα δειγματοληψίας για mures ~ ~ p, he margally ~ = p d,. Σχηματικά ~ ~ p margally με αοτέλεσμα (,,, ) X ~ MC ( p ( ), ). ~ ~ p margally ~ ~ p 3 να είναι μια ω τροχιά της διαδικασίας margally Εάν ο χώρος καταστάσεων είναι διακριτός, δηλαδή X ~ MC (, ) όου = p( j ) με p( j ) = j, j στάσιμη ιθανότητα μετάβασης) και = P{ X = j} εειδή για και ο ίνακας μετάβασης ης τάξης (η j ( j ) P { X j } ( ) p ( j ) ( ) = = = = j θα έχουμε ( ) ~ ~ p =, margally η αρχική μάζα ιθανότητας, s ~ = p s s, όου η στήλη του. Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 8

9 Παράδειγμα: Στάσιμη κατανομή και δειγματοληψία αό AR Έστω στοχαστική διαδικασία { } X + + X ου ικανοοιεί την αναδρομική σχέση = βx + ε με ε d ~ N (, σ ), και =. Τότε d [ X ] ( ) ( + X = β+ ε+ ~ N β, σ p y = N y β, σ ) = Έστω αρχική υκνότητα ( y) N( y ) =, τότε ( y) = N( y ) N( ) d = N y ( + ) β, σ,, σ β ( ) 4 y = N y β, σ N, σ + β d = N y, σ + β + β δηλαδή j,,, j y = N y N d = N = = j j β σ σ β σ β και γίνεται εμφανές αό το αραάνω paer ότι εάν υάρχει saoary dsrbuo, θα υάρχει για β < και θα είναι η κατανομή: σ ( ) = N,, β <. β Δεν είναι δύσκολο να δείξουμε ότι για β < ισχύει: σ σ N, N ( y β, σ ) d = N y, β β Το ergodc heorem μας λεει ότι κάτω αό συγκεκριμένες συνθήκες (rreducbly και είναι το μοναδικό saoary dsrbuo και έχουμε σύγκλιση σε ergodcy) το αυτό για οοιαδήοτε αρχική υκνότητα με suppor =. Εφαρμόζοντας το εργοδικό θεώρημα μορούμε να υολογίσουμε ολοκληρώματα της g Π d X ~ Π μορφής ιο συγκεκριμένα, εάν Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III 9

10 b+ N = N = b+ = = lm g X g d g g, όου b το bur- perod και {,,,,,, } στοχαστική διαδικασία { } τροχιά μεγάλου μήκους αό την b b+ b+ N X με αυθαίρετη αρχική τιμή. Τα σημεία της τροχιάς της στοχαστικής διαδικασίας τα αίρνουμε εφαρμόζοντας, AR θα έχουμε: δειγματοληψία αό την κατανομή p( ). Για αράδειγμα για την = β + σ = β + σ ~ p N, ~ p N, = β + σ ~ p N, Σ. Ι. Χατζησύρος Σημειώσεις Compuaoal ascs III