{ } ( ) Δειγματοληψία. Έστω διακριτή τυχαία μεταβλητή X : Ω με χώρο καταστάσεων. p i = P X = j = π για 1 j m ενώ

Transcript

1 Δειγματοληψία Έστω διακριτή τυχαία μεταβλητή : Ω με χώρο καταστάσεων { : 0 {,, S = i p i > = m, που ακολουθεί την διακριτή κατανομή { j= p i = P = j = π για j m ενώ m π j =, συμβολικά ~ {,, m είτε χρησιμοποιώντας το μέτρο Dirac ~ m πδ k k( ). k= Θέλουμε να παράγουμε τυχαίο δείγμα από την. Το σχήμα δειγματοληψίας θα είναι: sample u ~ 0, if u π = F else if u π+ π = F else if u π + π + + π = i i Fi else if u π + π + + π ϑ = ϑ else = m end if m m Fm Πράγματι, σύμφωνα με το παραπάνω σχήμα δειγματοληψίας έχουμε { = = { < = ( 0,) P i P F u F u du Fi u= Fi i i Fi u= Fi { = du = F όf = Fπ, i,, m, που = 0. i i i 0 Έτσι μπορούμε να μετασχηματίσουμε μια ( 0,) i.i.d. ακολουθία { Uk : k N i.i.d. ακολουθία { : k N από την. k j στην

2 N wp k= k N.. Επίσης έχουμε ότι ( i) P{ i = = = π i, και επειδή N = i ~ Bin, π, παίρνουμε k ( N ) 0, ( ) i N T π π π i i i # How to plot a discrete distribution. state <- c(,,3,4,5); probs <- c(0.,0.,0.,0.,0.4) plot(state, probs, type="h", lwd=, col="red", ylim=c(0,0.5)) points(state, probs, pch=6, ce=, col="black") samplevar <- function(n=00, p, state){ sample <- c() for(i in :N) { F <- 0; u <- runif() for(j in :length(p)){ F <- F + p[j] if(u<f){sample <- c(sample, state[j]); break return(sample) getrf <- function(sample){ D<-c();P<-c();L<-sample while(length(l)!= 0){D <- c(d, L[]); L <- L[L!=L[]] for(i in :length(d)){

3 <- D[i]; counter <- 0 for(j in :length(sample)) if(==sample[j]) counter <- counter+ P <- c(p, counter/length(sample)) v<-c(d, P) return(v) ΕΚΤΕΛΕΣΗ > set.seed() > mysample<- samplevar(n=00, p=c(0., 0., 0., 0., 0.4), state=c(,,3,4,5)) > mysample [] [38] [75] > v <- getrf(mysample); v [] built-in R συνάρτηση > table(v) > table(v)/length(v)

4 Δειγματοληψία με την μέθοδο του αντίστροφου μετασχηματισμού (Inverse Transform Method) για τη συνεχή περίπτωση Εάν ~ f και η αθροιστική συνάρτηση κατανομής F αντιστρέφεται αναλυτικά (η είναι πάντα αλλά θέλουμε την F σε κλειστή μορφή), τότε U ~ 0, F U ~ f. Το παραπάνω ισχύει διότι θέτοντας = F ( U) θα έχουμε = { = { = { F P P F U P U F F F u= u= 0 = 0, du = du = F. Δηλαδή F ( ) = F ( ) = μετασχηματίσουμε μια ( 0,) i.i.d. ακολουθία { Uk : k N = F ( U ) : k N από την. { k k και οι τ.μ. και είναι ισόνομες, έτσι μπορούμε να στην i.i.d. ακολουθία F Πρόταση Ισχύει και το αντίστροφο. Δηλαδή όταν U ~ ( 0,) έχουμε: F U U = = F. Έστω ότι T : y F ( ) T : F ( y) = = τότε f y = f F y F y,0 y. Y Επειδή F : [ 0,] είναι, έχουμε: ( F F ) ( ) ( ) ( y F F y F y f F ( y) ) ( F ) ( y) = = =, από όπου και ( F ) ( y) 4 = > 0, που δίνει f F y ( )

5 Y, 0 f y y = ή ότι f ( y) ( y 0,) Y =. Δειγματοληψία από την εκθετική κατανομή ( ) λ λ λ λ = = ( > 0, ) λ > 0 = ( ) ( > 0) f Ep e F e F = log, 0 < <. λ iid... iid... θα έχουμε ότι Επειδή Ui ~ ( 0,) Ui ~ ( 0,)... i = log ( U iid i ) ~ Ep ( λ ). λ Παράδειγμα # Sample a n-realization from the eponential distribution. SampleEp <- function(n,lambda,realization=){ set.seed(realization); return((-/lambda)*log(runif(n))) # here n=0000, and lambda=. v<- SampleEp(n=0^4, lambda=) # plot the probability histogram of v. hist(v, breaks=50, freq=false, ylim=c(0, ), lim=c(0, 8), main="n=0000, lambda=", col="red") curve(dep(, rate=),col="blue",lwd=3,add=true) 5

6 Δειγματοληψία από Weibull ρ ρ ( λ) > λρ λ e 0 f ( ) = ( λρ, ) = 0 αλλού. Mε α.σ.κ. ( λ) y = F = e για > 0, που αντιστρέφεται αναλυτικά σε λ = F y = log y, 0 < y < { / / ρ ~ = λ ~ ρ ρ iid { ( λρ) U iid... 0, log U...,. i i i. ~ Ep ( ) Y λ / ρ ~ ( λρ, ) =. d ρ ρ ρ ( λ) fy y = Ep λy λy = λρ λ e = y λ, ρ. dy ρ Δειγματοληψία από Pareto ( λ, ) ( λ ) λ + f = a c = λc > c λ c λ y = F = > c = F y = c y,0< y <. / U iid... U iid... a c 0, / λ ~ = λ ~ ( λ, ) i i i /. ~ Ep ( ) Y = ce λ ~ a ( λ, c) d λ λ log ( yc / ) fy ( y) = Ep( λlog ( y/ c) ) ( λlog ( y/ c) ) = e λlog y/ c > 0 dy y ( λ ) λ + = λc y y > c ( ) Δειγματοληψία από Logistic 6

7 µ s e f ( ) = o( µ, s) =,. µ s s + e µ F = + e F = slog, 0 < < s. µ U iid... s u iid... o s i ( 0,) µ log ( ) ( µ, ) ~ ~ = Y. Εάν ~ Ep ( ) και Y ~ Ep ( ) ανεξάρτητες, τότε Z µ slog ~ ( µ, s) Επειδή u ~ ( 0,) µ slog ( u ) ~ ( µ, s), αρκεί να δείξουμε ότι u u = = = = = y z z Θέτουμε T : z, u T : u, y Jac ( T ) { u f zu f y u z z (, ) = y(, ) = ep ( + ) u z zu,, u { f z z = ep u + z du = z +, z > 0 z u= 0 Ενώ εάν u ~ ( 0,) και z = τότε u samplelogistic <- function(n, realization=){ set.seed(realization); return(-log(/runif(n)-))) v <- samplelogistic(n=0000); b<-7; inf <- -b; sup <- b mybreaks <- seq(from=inf,to=sup, by=(sup-inf)/50) v <- v[abs(v) < b] f z = z+ για z > 0. hist(v, breaks=mybreaks, freq=false, ylim=c(0, 0.3), lim=c(inf, sup)) curve(dlogis(, location = 0, scale = ), col="blue", lwd=, add=true) z Y = u. 7

8 Δειγματοληψία με την μέθοδο του αντίστροφου μετασχηματισμού (Inverse Transform Method) για τη διακριτή περίπτωση Εάν ~ Π( ) = π jδ j( ) όπου P( = j) = π j, και π j = και F η αντίστοιχη j= j= αθροιστική συνάρτηση κατανομής, ορίζουμε σαν την γενικευμένη αντίστροφη (generalized inverse) την συνάρτηση F { : inf : F u = u F. Παρατηρούμε ότι εάν η F αντιστρέφεται, τότε F { { F u = inf : u F = inf : F u = F u. Ισχύει ότι = F, πράγματι { u ~ 0, F u = inf : F u ~ f Το παραπάνω ισχύει διότι θέτοντας = F ( U) θα έχουμε = { = { = = { ( ) < F ( j) = ( u 0,) d = uf ( j) F ( j ) = π j F P P F U j P F j U F j F ( j ) Παράδειγμα Να γίνει δειγματοληψία από την τ.μ. περιπτώσεις: με την μέθοδο της αντιστροφής στις εξής 8

9 . ~ Geo( p ). ~ Nb( n, p ) 3. ~ Bernoulli ( p ) 4. ~ Bin( n, p ). Θεωρούμε την γεωμετρική κατανομή με στήριγμα το ( είναι ο αριθμός των δοκιμών Bernoulli) και πιθανότητα επιτυχίας p, τότε = { = = ( ) = ( ) ( ) f P Geo p p p, με αθροιστική συνάρτηση κατανομής = { = { = = ( ) F P P j p p Τότε j= j= ( p) ( p) j l = p ( p) = p = p l= 0 { { F u = inf : u F = inf : u p ( u) ( p) ( u) ( p) log log = inf : = log log, όπου το ceiling του. Έτσι μία παρατήρηση από την γεωμετρική με παράμετρο p θα είναι η. Γνωρίζουμε ότι ( u) ( p) log u ~ ( 0, ) = ~ Geo( p). log n n f ( ) = P{ = = Nb( n, p) = p ( p) ( n) n, iid n και ότι i p ~ Geo( p), i n i p ~ Nb( n, p). i= 9

10 Έτσι μία παρατήρηση 0 + n είναι η Γνωρίζουμε ότι: ~ από την αρνητική διωνυμική με παράμετρο (, ) ( ui ) ( p) n iid log ui ~ ( 0, ), i n ~ Nb( n, p). i= log n p Beroulli p = Bin, p, i n p ~ Bin n, p. i iid Μία παρατήρηση { 0, από την Bernoulli με παράμετρο p θα είναι η i ~ i= ( 0, ) = ( ) ~ iid i i i u p u Bernoulli p. έτσι μία παρατήρηση y { 0,,, n από την διωνυμική με παράμετρο (, ) i iid ~ ( 0, ), = ( ) ~ (, ) u i n y p u Bin n p. n i= i i np, θα np θα είναι η Παράδειγμα Ισχύει ότι εάν ( ( )) τότε ~ Geo( p) ~ Ep log p. Δίνεται ότι ~ Ep ( λ ), τότε u ~ ( 0,) log ( u) ~ Ep ( λ ) αντικατάσταση log ( p) λ = έχουμε ότι log ( u) ( ( )) log ( p) log ( u) d d log ( p) = = u ~ 0, ~ Ep log p λ Ep log p Geo p.. Κάνοντας την Παράδειγμα Να γίνει δειγματοληψία από με την μέθοδο της αντιστροφής από τις εξής περικομμένες (truncated) κατανομές. f ( y) Geo( p) ( y),. f ( y) Ep ( λ ) ( > y). 0

11 . f ( y) Geo( p) ( y) ( p) ( y), έτσι εάν f ( y) = c( p) ( y) = f ( y) = c ( p) από όπου και, y y y ( p) ( p) y c = p = p = = p p y = y οπότε και f ( y) p( p) y ( ) ( ) = p y = p p y ( y) με αθροιστική συνάρτηση κατανομής: ( ) = ( ) = ( ) F y f l y p p l y ( p) ( p), l= y l= y y y+ r y+ = p ( p) = p = ( p). r= 0 Τότε για κάθε y θα έχουμε: { y+ { F u y = inf : F y u = inf : p u ( u) ( p) ( u) ( p) log log = inf : y+ = + y. log log Έτσι μία παρατήρηση από την περικομμένη γεωμετρική f ( ) θα είναι y, με παράμετρο p ( u) ( p) log = + y log όπου u ~ ( 0,). λ. f ( y) Ep( λ ) ( > y) e ( > y) λ λ λy λy c f ( y) = ce ( y) = ce d = e c = λe λ από όπου = y ( ) λ( y) f y = λe y,

12 και λ( t y) λ( y) λ. F y = f t y dt = e dt = e t= y t= y Θέτοντας u = F( y) = log ( u) + y λ Έτσι μία παρατήρηση από την περικομμένη εκθετική f ( ) είναι log u y λ = ( ) + όπου ~ ( 0,) u. y, με παράμετρο λ θα Παράδειγμα Να γραφτεί R script που να προσομοιώνει δείγμα μεγέθους την διωνυμική κατανομή. N από την γεωμετρική και. set.seed() mygeosample<-function(ss=0, p=0.5){ set.seed(); v<-c() for(i in :SS) v<-c(v, ceiling(log(runif())/log(-p))) return(v) getsampledistr<-function(sample){ D<-c();P<-c();L<-sample while(length(l)!= 0){D <- append(d, L[]); L <- L[L!=L[]] for(i in :length(d)){ <-D[i];counter<-0 for(j in :length(sample)) if(==sample[j]) counter<-counter+ P<-c(P, counter/length(sample)) return(list(d, P))

13 v<-mygeosample(ss=5000, p=0.3); mysample<-getsampledistr(v) plot(mysample[[]], mysample[[]], type="h", lwd=, col="red", ylim=c(0,0.4)) points(mysample[[]], mysample[[]], pch=6, ce=0.8, col="black") # Sampling a vector of independent Bernoulli random deviates BerSampler <- function(p=0.5, N=00){ v<-c() for(i in :N) if(runif()<p) v<-append(v, ) else v<-append(v, 0) return(v) ## Here we sample a vector of independent binomial random deviates. BinSampler <- function(p=0.5, n=0, N=0000){ v <- c() for(i in :N) { sum<-0 for(j in :n) sum<-sum+bersampler(p=p, N=) v<-append(v, sum) 3

14 return(v) getsampledistr<-function(sample){ D<-c();P<-c();L<-sample while(length(l)!=0){d<-append(d, L[]); L<-L[L!=L[]] for(i in :length(d)){ <-D[i];counter<-0 for(j in :length(sample)) if(==sample[j]) counter<-counter+ P<-append(P, counter/length(sample)) print(d);print(p) plot(d, P, type="h", lwd=, col="red", ylim=c(0,0.0), lim=c(0,0)) points(d, P, pch=6, ce=, col="black") > w<-binsampler(p=0.5, n=0, N=40000); getsampledistr(w) > w<-binsampler(p=0.75, n=0, N=40000); getsampledistr(w) 4

15 Δειγματοληψία από διακριτές μίξεις κατανομών χρησιμοποιώντας την μέθοδο της αντιστροφής Θέλουμε να κάνουμε δειγματοληψία από την τ.μ. με πυκνότητα n j ( ) j j > j =, ~ p f, p 0, p j= j= n όπου f j για j n είναι πυκνότητες με αθροιστικές συναρτήσεις κατανομής F j. Πρώτα κάνουμε δειγματοληψία από την τ.μ. J ~ pjδ j( ) έτσι ώστε P{ J j pj μέτρο μίξης) για j n και έτσι ώστε: Από όπου και n j= n j= = = (το p j =, και στην συνέχεια από την τ.μ. [ J = j ] [ ] ~ J = j f j. n n n, J J j j j= j= j=. = (, ) = { = ( ) = f f j P J j f j p f 5

16 Παράδειγμα Θέλουμε να κάνουμε δειγματοληψία από την πυκνότητα λ λ 0 = λ < + λ 0 f p e p e, όπου λ και λ θετικοί παράμετροι. Η πυκνότητα f ( ) f ( ) = είναι μίξη των πυκνοτήτων λ = = λ ( < ) και f ( ) = f ( ) = λ e λ ( ) f f e 0 με μέτρο μίξης P{ J = = p, P{ J, 0 = = p. Η αθροιστική συνάρτηση κατανομής της θα είναι: λt λt = λ ( < 0) + ( ) λ ( 0) F p e t dt p e t dt t= t= λt p λe dt = 0 λt λt p λe dt + ( p) λe dt 0 0 λ e = p + ( p) λ. 0 e 0 0 Το σχήμα δειγματοληψίας λοιπόν θα είναι: iid u, u 0, log u u p log u u p ~ f. ~ ( ) ( ) ( > ) λ λ Παράδειγμα Δείξτε ότι εάν f με 0 f p e λ λ = λ < + p λ e 0 ~ τότε λ και Y ~ log ( U ) ( U p) log ( U ) ( U > p) λ 6

17 iid.... U, U ~ ( 0,) ( ) = ( Y).. PU { = U =, i=, και U ~ ( 0,) ( ) ( Y) i.. { λ λ = λ ( < 0) + ( ) λ ( 0) p e p e d λ ( 0) ( ) λ ( 0) = p λe < d + p e d λ 0 λ λ λ ( ) λ = = 0 p p = p e d + p e d = + λ λ ( u ) ( u < p) = log ( u ) ( u < p) log = log u du u < p du = p = p u= 0 u= 0 ( u ) ( u p) = log ( u ) ( u p) log ( u ) du ( u p) du ( p) ( p) = log = = u= 0 u= 0 που δίνει p p ( Y ) = +. λ λ. log U U p = log u du = p log p p p u= 0 log U U > p = log u du = p log p + p u= p ( Y) = ( plog p p) ( plog p+ p ) = ( ) + + plog p. λ λ λ λ 7

18 Παρατήρηση Όταν p = / και λ λ λ είναι η κατανομή Laplace f = e λ για που ~ e λ (double eponential). = = η πυκνότητα της γίνεται λ # sample from the generalized Double eponential distribution GDe(0.5,, ) Deponential <- function(ss=0000, p=0.5, lam=, lam=) { v <- NULL for(i in :SS) { u<-runif();u<-runif() if(u<p) v <- append(v, (/lam)*log(u)) else v <- append(v, (-/lam)*log(u)) return(v) # Plot the density function of the generalized double eponential distribution. DDEP<-function(, p=0.5, lambda=, lambda=) { v <- c() for(i in :length()) { if([i] < 0) branch <- p*lambda*ep(lambda*[i]) else branch <- (-p)*lambda*ep(-lambda*[i]) v <- append(v, branch) return(v) #EPERIMENT. # Take an independent sample of size SS=0000, from the Double Eponential distribution De(0.5,,). 8

19 v <- Deponential(SS=0000, p=0.5, lambda=, lambda=) # plot the probability histogram of v. hist(v, breaks=00, freq=false, ylim=c(0, 0.5), lim=c(-8, 8), main="ss=0000, De(0.5,, )", col="red") # Add the graph of the Double Eponential density to the probability histogram curve(ddep(), from=-8,to=8, col="blue", lwd=, add=true) # EPERIMENT. v <- Deponential(SS=0000, p=/3, lambda=, lambda=3) hist(v, breaks=00, freq=false, ylim=c(0, ), lim=c(-5, 5), main="ss=0000, De(/3,, 3)", col="red") curve(ddep(, p=/3, lambda=3), from=-5, to=5, col="blue", lwd=, add=true) 9

20 Δειγματοληψία από την πυκνότητα g( ) με αποδοχή-απόρριψη (accept reject), όταν το στήριγμα της g( ) έχει πεπερασμένο μήκος. Θέλουμε να κάνουμε δειγματοληψία από την πυκνότητα g που έχει στήριγμα Sg = { : g( ) > 0 πεπερασμένου μήκους, και γνωρίζουμε ότι για κάθε S g m sup g = m <. είτε ισχυρότερα, γνωρίζουμε ότι g, Έστω u και u ανεξάρτητα δείγματα από τις ομοιόμορφες με στήριγμα τα σύνολα S g και ( 0, m ) αντιστοίχως. Τότε το u δοθέντος ότι u < g( u), προέρχεται από την g, δηλαδή: S g u u < g u ~ g. <, είναι δειγματοληψία από την ομοιόμορφη που ορίζεται στο δισδιάστατο χωρίο Γ g μεταξύ του γραφήματος της g και Στην ουσία, αυτό που κάνουμε όταν ισχύει ότι u g( u) του S g. Δηλαδή έχουμε ότι: ( ( ) ( g )) u < g u Γ u, u ~ < u u g u ~ g. Το accept reject σχήμα δειγματοληψίας λοιπόν είναι: Όταν g( ) m, Sg u ~ S g u ~ ( 0, m) [ u u < gu ] ~ g ( AR) Θα χρειαστούμε το παρακάτω αποτέλεσμα: = ( ) = ( (, ) ) { (, ) { Ph Y, A h Y, A h Y, A = h Y A = f d = P h Y A = f d 0

21 και εάν και Y είναι ανεξάρτητες τ.μ. { { P h, Y A = P h, Y A f d. Ας συμβολίζουμε το ενδεχόμενο της αποδοχής (acceptance region) με { ω : u ( ω) g( u( ω) ) u g( u) { = Ω < = <, η πιθανότητα αποδοχής όταν S ( ab, ) ( ) g = θα είναι: { { ( g ) P = Pu< gu = Pu< gu u= S d b Sg = P{ u < g ( u) u = ( a, b) d = P{ u < g ( ) u = d b a, = a = a και επειδή οι u και u είναι ανεξάρτητες τ.μ. παίρνουμε b P ( ) = P{ u < g ( ) d b a, = a αλλά u ~ ( 0, m) και u < g( ) m εφόσον sup g( ) g u = 0 g P{ u < g ( ) = ( u 0, m) du = m, και έτσι P = g ( ) d m b a =. m b a ( ) S g b ( ) S m, που δίνει: Για να δείξουμε ότι u ~ g αθροιστική συνάρτηση κατανομής της g, αρκεί να δείξουμε ότι P{ u = G( ), όπου G η

22 { ( ) ( ) ( ) ( ) ( b a) P( ) G ( ) ({ ) P( ) {, P( ) P u P u u < g u P u = = = P{ u, u < g ( u) u = y ( y a, b) dy P = P{ y, u < g ( y) u = y ( y a, b) dy P = P{ y, u < g ( y) ( y a, b) dy P = P{ y u < g( y) P{ u < g( y) ( y a, b) d y P = y P u < g y dy g y = dy ( b a) P( ) m y= a = g y dy = y= a b y= a { Εναλλακτικά με τη χρήση δυσδιάστατης ομοιόμορφης Εάν γνωρίζουμε ότι g( ) m < για κάθε Sg, Sg = ( ab, ) και ότι η G( ) είναι η αθροιστική συνάρτηση κατανομής που αντιστοιχεί στην g( ), θέτουμε σαν από κοινού πυκνότητα των τ.μ. και Y την ομοιόμορφη στο ( ab, ) ( 0, m) f Y, a < < b, 0< y < m =. 0 αλλού ( y, ) m( b a) Για τις περιθώριες έχουμε: = (, ) και f ( y) ( y 0, m) f ab και f ( y) f ( ) f ( y) Y,, Y αποδοχής είναι: ( ) Y =, =, ή ότι και Y είναι ανεξάρτητες. Τότε η πιθανότητα { Y, (, ) P = P Y < g = f y d dy y< g

23 b g = dy d = g ( ) d = m b a m b a m b a, = a y= 0 = a ενώ ισχύει ότι < { Y g ~ g εφόσον ( a) {, < PY< g( ) b { u= a v= 0 u= a P Y g P Y < g = = m b a f u, v dudv gu = m ( b a) dv du = g ( u) du = G ( ). m b u v< gu Y, Παράδειγμα Να δοθεί το σχήμα δειγματοληψίας accept-reject για την πυκνότητα γνωρίζουμε ότι έχει στήριγμα Sg ( ab, ) ( cd, ) g( y) m< ( y) S.,,, g Θέτουμε f, Y, Z ( yz,, ) g( y, ), εάν = με πεπερασμένο μέτρο Lebesgue και ότι (, y) ( ab, ) ( cd, ), z ( 0, m) m( b a)( c d) = S g. λ( S ) 0 αλλού Τότε η πιθανότητα αποδοχής είναι: {, YZ,, (,, ) ( ) P = P Z < g Y = f y z d dy dz ( Sg ) (, ) (, ) z< gy gy = { mλ ( Sg ) dz d dy = g (, y) d dy ( y, ) S 0 g z= mλ S g S =. mλ Ισχύει ότι < Y, Z g Y, ~ g 3

24 {, (, ) (, ) t< guv (,, ) G ( y) = g u, v dudv =,. u v y {,, < (, ) PZ< g( Y, ) P Y y Z g Y P Y y Z< g Y = { f YZ,, u v t dudvdt guv (, ) u, v y, t< g( u, v) dt = = mλ ( Sg ) dudv f YZ,, ( u, v, t) dudvdt mλ ( Sg ) u t= 0 v y 3 Δειγματοληψία από την Δειγματοληψία από την e( ab, ) f = e 4,3 = 60 για a >, b>. sampledensity <- function(ss=00, a=4, b=3) { sample <- NULL m <- dbeta(=(a-)/(a+b-), shape=a, shape=b) for(i in :SS) { repeat{ u <- runif(); uprime <- m*runif() if(uprime < dbeta(=u, shape=a, shape=b)) break sample <- c(sample, u) return(sample) createsample <- function(mysize=00){ <-sampledensity(ss=mysize) mymbreaks <- seq(from=0, to=, by=/50) hist(, freq=false, breaks=mymbreaks) curve(dbeta(, shape=3, shape=4), add=true, lim=c(0, ), col="red") return() 4

25 set.seed() createsample(000) #Δειγματοληψία από την Be( p, q ) g <- function(, p, q) return(dbeta(, shape=p, shape=q)) sampledensity <- function(ss, a, b){ sample <- NULL m <- dbeta(=(a-)/(a+b-), shape=a, shape=b) for(i in :SS) { repeat{ u <- runif(); uprime <- m*runif() if(uprime < g(u, a, b)) break sample <- c(sample, u) return(sample) createsample <- function(mysize, myshape=3, myshape=4){ u <- sampledensity(ss=mysize, a=myshape, b=myshape) mymbreaks <- seq(from=0, to=, by=/50) hist(u, freq=false, breaks=mymbreaks) 5

26 curve(g(, p=myshape, q=myshape), add=true, lim=c(0, ), col="red") return() set.seed() createsample(mysize=0000, myshape=0, myshape=) #Δειγματοληψία από την μίξη πbe( p, q ) + ( π) Be( p, q ) gmi <- function(, pr, p, q) return(pr* dbeta(, shape=p[], shape=q[]) +(-pr)* dbeta(, shape=p[], shape=q[])) g <- function(, r, s) return(dbeta(, shape=r, shape=s)) sampledensity <- function(ss, a, b) { sample <- NULL m <- dbeta(=(a-)/(a+b-), shape=a, shape=b) for(i in :SS) { repeat{ u <- runif(); uprime <- m*runif() if(uprime < g(=u, r=a, s=b)) break sample <- c(sample, u) return(sample) 6

27 createsample <- function(mysize, p, q, pr){ set.seed(); u <- NULL for(i in :mysize){ if(runif()<=pr) <- sampledensity(ss=, a=p[], b=q[]) else <- sampledensity(ss=, a=p[], b=q[]) u <- c(u, ) mymbreaks <- seq(from=0, to=, by=/50) hist(u, freq=false, breaks=mymbreaks) curve(gmi(, pr=pr, p=p, q=q), add=true, lim=c(0, ), col="red") return(u) createsample(mysize=0000, p=c(,0), q=c(0,), pr=/) Άσκηση Να γίνει δειγματοληψία από την πυκνότητα: g ( ) = Be(,0 ) + Be( 0,0 ) + Be( 0, )

28 Άσκηση Έστω ότι στο διωνυμικό μοντέλο έχουμε i { 0, και αντίστοιχη διωνυμική παρατήρηση { = 34 = Be( ϑ p, q ), p = 4.4, q = 6.6 π ϑ n = 75 Bernoulli παρατηρήσεις { : i n με. Εάν a-priori γνωρίζουμε ότι. Να βρεθεί η εκτίμηση του ϑ κάτω από τετραγωνική συνάρτηση απώλειας, καθώς και το posterior variance προσομοιώνοντας δείγμα από την posterior ( 34) π ϑ = (από την θεωρία γνωρίζουμε ότι και αυτή είναι beta).. Να προσομοιωθεί δείγμα από την prior predictive (από την θεωρία γνωρίζουμε ότι εάν ϑ ~ π ( ) = Be( p, q ) και ϑ ~ Bin ( 75, ϑ) 0 0 ( ϑ) ( ϑ 0 0) ϑ). ϑ= 0 ~ Bin 75, Be p, q d 3. Εάν y ϑ ~ Bin ( 0, ) Παράδειγμα Δίνεται ότι τότε ϑ, να προσομοιωθεί δείγμα από την posterior predictive (από την θεωρία γνωρίζουμε ότι εάν ϑ ~ π ( = 34) και y ϑ ~ Bin ( 75, ϑ) ( ϑ) ( ϑ 0 0) ϑ). ϑ= 0 ~ Bin 75, Be p, q d i τότε είναι ο αριθμός των δοκιμών σε σχήμα δειγματοληψίας accept reject P. Να βρεθεί η έως ότου επιτευχθεί αποδοχή και ότι η πιθανότητα αποδοχής είναι μέση τιμή της τ.μ.. Το ενδεχόμενο { k { = = έχουμε αποδοχή μετά από k δοκιμές = { γίνονται k απορρίψεις και τελικά αποδοχή στην k δοκιμή, έχει πιθανότητα k { = = ( ) ( ), από όπου και ~ Geo P ( ) P k P P k 8

29 και ( ) = P. Παρατήρηση: k k k tp Π Χ ( t) = ( t ) = t P( ) ( P( ) ) = tp( ) { t( P( ) ) = t k= k= ( ) P( ) από όπου και ( ) ( ) = Π Χ = P. Δειγματοληψία από την πυκνότητα g( ) με accept reject, όταν το στήριγμα S της πυκνότητας g( ) δεν έχει γενικά πεπερασμένο μήκος. Έστω ότι γνωρίζουμε πώς να κάνουμε δειγματοληψία από την πυκνότητα f αλλά είναι δύσκολο να κάνουμε δειγματοληψία από την πυκνότητα g. Υποθέτουμε ότι:. Οι δύο πυκνότητες f και g, έχουν το ίδιο στήριγμα S που μπορεί όμως και να μην είναι πεπερασμένο.. Μπορούμε να βρούμε θετική σταθερά S, είτε ότι ισχυρότερα το a ικανοποιεί a τέτοια ώστε g( ) af( ) g( ) sup a. S f ( ) <, για Τότε εάν πάρουμε δείγμα y από την f, ας πούμε y ~ f, και στην συνέχεια δείγμα u από την ομοιόμορφη με στήριγμα το ( 0, af( y )) δηλαδή u y~ ( 0, af( y) ) και ισχύει ότι u < g( y), αποδεχόμαστε το y σαν δείγμα από την g. 9

30 Ουσιαστικά αυτό που κάνουμε είναι δειγματοληψία από την ομοιόμορφη που ορίζεται στο χωρίο af που όμως σε αυτήν την περίπτωση Γ κάτω από το γράφημα της af μπορεί να έχει στήριγμα με άπειρο μήκος. Εάν ( y, u ) ~ ( Γg ) θα έχουμε και y ~ g. Το accept reject σχήμα δειγματοληψίας είναι: y ~ f u y~ ( 0, af( y) ) { Ορίζουμε το acceptance region = u < g( y) { { ( ) P = Pu< g y = Pu< g y y= f d S { S = P u < g y = f d g dt = f ( ) d = g ( ) d af S t 0 ( ) a = a = S εφόσον 0 u g( ) af( ) < < <. Θα δείξουμε τώρα ότι y ~ g. Πράγματι { t S S S S {, < P ( ) P y tu g y P y = {, = a P y t u < g y y = f d {, = a P t u < g y = f d { { = a P t P u < g y = f d { = a t P u < g y = f d Εάν S ( S, S) ( ) y u < g( y) ~ g. Τότε πιθανότητα αποδοχής θα είναι = είναι υποσύνολο του (πιθανώς απείρου μήκους), και επειδή g dt Pu { < g( ) y= =, το προηγούμενο ολοκλήρωμα γίνεται af t = 0 ( ) 30

31 ( ) t t g P{ y t = a f ( ) d = g ( ) d = G ( t) af. S S Εναλλακτικά με τη χρήση δισδιάστατης ομοιόμορφης Εάν γνωρίζουμε ότι υπάρχει θετική σταθερά a > τέτοια ώστε g( ) af( ), S, και ότι η G είναι η αθροιστική συνάρτηση κατανομής της g, θέτουμε σαν από κοινού πυκνότητα των τ.μ. και Y την ομοιόμορφη στο χωρίο κάτω από την y= af( ), δηλαδή f Y, ( y, ) C S, y< af = 0, elsewhere S, y< a f S y= 0 S af, = C dy d = C dy d = C a f d = C a από όπου και S, y< af( ) fy, (, y) = a = ( S, y< af( ) ), a 0 αλλού με περιθώριες πυκνότητες: f = f, y dy = dy = f, S af Y, a y< af y= 0 { : y af( ) fy ( y) = ( y < a f ( ), S ) d = ( y a f ( ) ) d a < a S. = d = ( S { : y a f ( ) ). a a λ < S < Για παράδειγμα, εάν η f είναι μονοκόρυφη θα έχουμε ότι y : f ( ) > = ( ( y), ( y) ), a 3

32 όπου ( y ) και ( y ) είναι οι ρίζες της εξίσωσης f ( ) ισχύει ότι 0 < y af( ), έτσι έχουμε fy ( y) = ( ( y) ( y) ) d S ( ( y) ( y) ) y a f a < < = a λ < S ( ) y =, ενώ για το y θα πρέπει να a (, ), = ( ).. a και επειδή ( y), ( y ) υποσύνολο του S, f ( y) ( y) ( y) Y Υπό-συνθήκη πυκνότητες: f ( y) Y = S y f ( ) > a, y f ( ) > d a fy, y fy ( y ) = = a = ( y 0, af( ) ), S f f (, ) ( y< af( ) ) Η πιθανότητα αποδοχής P ( ) είναι: P ( ) = P{ Y < g ( ) = ( y < a f ( ), S ) dy d a g a S y = 0 y< g = dy d, εφόσον g( ) af( ), για S = g ( ) d a = a S { Ενώ G( ) P Y g( ) = < εφόσον 3

33 { {, < PY< g( ) P Y g P Y < g = = a f u, v dudv gu { u= v= 0 u= u v< gu Y, = a ( v < a f ( u), u S ) dv du = g u du = G a επειδή g( u) af( u), για u S. Χρησιμοποιώντας την δισδιάστατη ομοιόμορφη έχουμε ότι: Όταν g( ) < af( ), S ~ f = f < y ~ fy ( ) = ( 0, af( ) ) Παρατήρηση : ( y g( ) ) ~ g αντικαθιστώντας y και y u παίρνουμε το σχήμα δειγματοληψίας y ~ f ( ) u y~ 0, af y y u< g y ~ g. Παρατήρηση : Παρατηρήστε ότι για λ ( ) g m S S a f ( ) = ( ) = ( ) ~ f f S Y g( ) m, S με λ ( S) y ~ f = 0, a f = 0, m y d = y ~ ( 0, m) y < g( ) ~ g αντικαθιστώντας u και y u <, έχουμε παίρνουμε το σχήμα δειγματοληψίας ( ) AR : 33

34 Όταν g( ) m, S ( S) u ~ u ~ 0, m u u < gu ~ g. Accept-Reject με άγνωστη σταθερά κανονικοποίησης Δειγματοληψία από την πυκνότητα g με accept reject, όταν το στήριγμα S της πυκνότητας g δεν έχει γενικά πεπερασμένο μήκος, και η σταθερά κανονικοποίησης της g είναι άγνωστη. Έστω ότι g( ) g ( ) a f ( ), S, και g( ) C g( ) σταθερά C. Φυσικά ισχύει ότι C g S =, για γενικά άγνωστη θετική g g = g d αλλά το ολοκλήρωμα είναι δύσκολο να υπολογιστεί ειδικότερα όταν η διάσταση του είναι μεγάλη. Τότε ~ ( ) = ( ) f f Y ( ) y ~ f = 0, a f y < g ~ g AR3 Απόδειξη Θέτουμε και πάλι fy,, y y< af, S, από όπου a, S, y< af fy, (, y) = = a ( y< af( ), S), 0, elsewhere με af f = a y < a f, S dy = a dy = f, S, Y y y= 0 ( <, ) f ( ) a y af S ( ) f y = = y 0, af, S. Η πιθανότητα αποδοχής είναι: 34

35 { y< g (, ) P Y < g = a y < a f S dy d g g S y= 0 S = a dy d = a g d = a C Έτσι τελικά παίρνουμε { g, εφόσον g( ) af( ) {. PY< g = Ca PY< g a, για S. Δηλαδή σε αυτή την περίπτωση δεν γνωρίζουμε ακριβώς την πιθανότητα αποδοχής. { {, < PY g ( ) gu P Y g P Y < g = = C a a v < a f u, u S dv du u= g ( g ) ( ) { < u= v= 0, εφόσον g( u) af( u) = C g u du = g u du = G u= που δίνει το σχήμα δειγματοληψίας ( AR 3)., για u S, Δειγματοληψία με majorization Θέλουμε να κάνουμε δειγματοληψία από την πυκνότητα g και για κάθε S ισχύει g( ) < af( ) με f ( ) πυκνότητα (που δίνει c > ). Ισοδύναμα θέτοντας h( ) Πρόταση ( ) Εάν για την πυκνότητα = g af, παίρνουμε την αναπαράσταση: g( ) = ah( ) f ( ) με h( ) ( ) 0< g af <, και 0< < για κάθε S και a >. g( ) ισχύει g( ) < af( ) με f πυκνότητα, για S, όπου S το κοινό στήριγμα των πυκνοτήτων g και f. Τότε ισοδύναμα έχουμε ότι 35

36 g ( ) = ah ( ) f ( ) με h( ) σχήμα δειγματοληψίας 0< < για κάθε S και h( ) ~ f y ~ ( 0, ) ~ g. AR4 = { y < h( ) ( ) ( ) = g af, που οδηγεί στο Πράγματι εάν ορίσουμε την από κοινού f Y, f, 0 < y <, S fy, ( y, ) = f( ) ( y 0,) =, 0, elsewhere οι τ.μ. και y είναι ανεξάρτητες και h = { < = ( ) επειδή h( ) P P Y h f dy d S y= 0 f h d a g d a. S S = = = 0< < Θέτοντας σαν αθροιστική συνάρτηση κατανομής της g την G, δεν είναι δύσκολο να δείξουμε ότι Πράγματι {, { G = P Y < h. < = { < = P Y h a P Y h a f s dt ds = a g s ds = g s ds = G a s=. s= hs s= t= 0 { Δηλαδή έχουμε Y < h( ) ~ g με πιθανότητα αποδοχής PY< h = a. Πρόταση (majorization με άγνωστη σταθερά κανονικοποίησης) 36

37 Εάν για την πυκνότητα g( ) ισχύει g( ) g ( ) < a f ( ) με f πυκνότητα, για S, όπου S το κοινό στήριγμα των πυκνοτήτων g και f. Τότε ισοδύναμα έχουμε ότι g ( ) = ah ( ) f ( ) με 0< h ( ) < για κάθε S g( ) και h ( ) =, που οδηγεί στο af σχήμα δειγματοληψίας ~ f y ~ ( 0, ) ~ g. AR5 = { y < h ( ) ( ) Πράγματι εάν ορίσουμε την από κοινού f Y, f, 0 < y <, S fy, ( y, ) = f( ) ( y 0,) =, 0, elsewhere οι τ.μ. και y είναι ανεξάρτητες και h = { < = ( ) επειδή h( ) P P Y h f dy d S S y= 0 = f h d = a g d = C a. g S 0< < Θέτοντας σαν αθροιστική συνάρτηση κατανομής της g την G, δεν είναι δύσκολο να δείξουμε ότι Πράγματι {, { G = P Y < h. < = { < = P Y h a P Y h a f s dt ds g g a s= s= s= hs s= t= 0 = C a g s ds = C g s ds = g s ds = G. Δηλαδή έχουμε Y < h ( ) ~ g με πιθανότητα αποδοχής { < = g PY h Ca. 37

38 Adaptive Rejection Sampling (με majorization και άγνωστη σταθερά κανονικοποίησης) Έχουμε διαπιστώσει ότι εάν θέλουμε να κάνουμε δειγματοληψία από την ισχύει: < με g g a f f πυκνότητα, για S, όπου S το κοινό στήριγμα των πυκνοτήτων g και f, τότε θέτοντας g ( ) = ah ( ) f ( ) με 0 < h ( ) <, S και h ( ) παίρνουμε το γνωστό σχήμα δειγματοληψίας ( AR 5) ~ f y ~ ( 0, ) ( y < h ( ) ) ~ g ( ) g =, af, με πιθανότητα αποδοχής Όταν η g ( ) είναι logconcave δηλαδή έχουμε ότι η log g( ) ισοδύναμα ότι = log g ( ) και 0, r r < S, g( ) και { < = g P y h C a. είναι μονοκόρυφη, ή μπορούμε να προσδιορίσουμε κατά τόπους γραμμική (piecewise linear) συνάρτηση u (στο log space) με την ιδιότητα: k k ( ) ( k) r = log g u, S g = ep r ep u, S, ή ισοδύναμα ότι η majorizing συνάρτηση είναι g ( ) = ep( r( ) ) ( Ckep ( uk( ) )), S C uk f a ( k ) με ep C = u t dt, uk t S τότε ( r( ) ) g ep h ( ) = = = ep( r( ) uk ( ) ) af ep u. ( k ) 38

39 Από τα προηγούμενα και το σχήμα δειγματοληψίας ( AR 5) παίρνουμε ( ) k k < ~ Cu ep u, y ~ 0, ( y ep ( r uk )) ~ g με πιθανότητα αποδοχής ανάλογη του { Cu k P y< h = Ca g = Cu. k C g C u k εφόσον Adaptive Rejection Sampling (with majorization, minorization and unknown normalizing constant) Εάν η g ( ) = ep( r( ) ) είναι πολύπλοκη (για παράδειγμα περιέχει την μεταβλητή της σε gamma συνάρτηση) για να επιταχύνουμε την διαδικασία μπορούμε να ορίσουμε και l στο log space, δηλαδή minorizing συνάρτηση k k l r = log g u, S k ( k) k ep l g ep u, S. Τότε θα έχουμε ep ( l k ( ) ) g ( ) ( k) ( k) ( k ) ep l ep l g = = ep( lk( ) uk ( ) ) = h = r uk af ep u af ( k) ( k ) ep l ep u y < y < af af ep Δηλαδή το ενδεχόμενο αποδοχής έχει σαν υποσύνολο του το ενδεχόμενο ep( l k ( ) ) y < που σημαίνει ότι εάν ~ Cu ep( u ) k k και y ~ ( 0,), και ισχύει ότι af( ) ep( l k ( ) ) y < af τότε y ~ ep( l k ( ) ) g. Εάν όμως έχουμε ότι y af θα πρέπει να ελέγξουμε 39

40 εάν ισχύει y h( ) <. Στην καταφατική περίπτωση θα έχουμε ~ y απορρίπτεται. Το σχήμα δειγματοληψίας με squeeze γίνεται: ( ) k k < ~ Cu ep u y ~ 0, If ( y ep ( lk uk )) then ~ g else if ( y < ep ( r ( ) uk ( ) )) then ~ g else reject. y g, ενώ εάν y h( ) Παρατηρήστε ότι η πιθανότητα αποδοχής από τον προκαταρκτικό έλεγχο, είναι ( k) ( k ) ep l ep l P{ y < ep( lk( ) uk ( ) ) = P y < = P y < ep( uk ) af ep ( lk ( ) ) af C = f ( ) dy d = ep( lk ( ) ) d = a C uk. S y= 0 S lk το Κατασκευή της enveloping συνάρτησης u ( ) Έστω {,,,, k 0 k k+ k S = S με i < i + για 0 i k και 0 = inf S, και = k+ sup S {(,log ( g( ))), (,log ( g( ) )),, (,log ( g( ))) { P,,, P P = = k k k k 40

41 Τότε = ( ; ) ( 0, <, ) + ( ; ) (, <,3 ) + + ( ; ) (, <, + ) u T T T k i i i ii ( ; k ) ( k, k k, k) ( ; k) ( k, k k, k+ ) + + T < + T < k i= ( ; i) ( i, i ii, + ) = T < όπου T( ) = r+ ( ) r με r = r( ) και ; i i i i i i r = r i. r Εάν η άγνωστη πυκνότητα έχει στήριγμα το, τότε 0, = είναι η συντεταγμένη ri r r της τομής της ( l ) με τον άξονα όταν > 0 και r 0, = 0 όταν 0. r 0, r r, > 0 ri r i = r 0, < 0 ri i i Παράδειγμα Να γίνει δειγματοληψία με majorization από την πυκνότητα 4 g ( ) = Be( 4,3). 3 Εδώ έχουμε g( ) = 60 ( ) ( 0 < < ), S = ( 0,) και g ( ) = 60 ( ) = 60 ( 0.6)( ). Επειδή g ( 0.6) = 0 με ma g( ) = g( 0.6). S g 0.6 < 0 έχουμε

42 Έτσι η g έχει την majorization αναπαράσταση: ( 4,3) ( 0.6) Be g( ) = g( 0.6) 0 < < g με Be( 4,3) < < για κάθε ( 0,) g ( 0.6) 0 Be( 4,3) με a = g( 0.6) >, h( ) = και f ( ) ( 0,) g ( 0.6) Το σχήμα δειγματοληψίας λοιπόν είναι: =. h( ), ~ f = 0, y ~ 0, ~ g. = { y < #R Script για δειγματοληψία με majorization από την beta ( 4,3). mydensity <- function() return(60*^3*(-)^) sampledensity <- function(ss=00) { sample <- NULL for(i in :SS) { repeat { y<-runif(); u<-runif() if(u <= mydensity(y)/mydensity(0.6)) { break sample <- c(sample, y) return(sample) # Eperiment w <- sampledensity(ss=000) hist(w, freq=false, breaks=30) curve(mydensity(), add=true, lim=c(0, ), col="red") 4

43 Άσκηση Να γίνει δειγματοληψία με majorization από την (για p > και q > το mode της beta ορίζεται). Be( p, q) g = όταν p > και q > Δεν είναι δύσκολο να δείξουμε ότι το mode της g υπάρχει και είναι όταν p > και q >. Τότε η f έχει την majorization αναπαράσταση Mode = p p+ q, (, ) Be p q g( ) = g( Mode ) 0< < g Mode ισοδύναμα με g ( ) = ah ( ) f ( ) με = >, h( ) a g Mode Be( p, q) < < για κάθε ( 0,) g( ) 0 Mode Be( p, q) = και f ( ) ( 0,) g( ) Mode =. Η δειγματοληψία γίνεται ακριβώς όπως και στο προηγούμενο παράδειγμα. Όταν 0< p < και 0< q <, για να κάνουμε δειγματοληψία από την beta κατανομή, μπορούμε να χρησιμοποιήσουμε (όπως θα δούμε στα επόμενα) την gamma κατανομή. Στο επόμενο παράδειγμα δείχνουμε πώς να κάνουμε δειγματοληψία από την gamma με majorization, ή Δειγματοληψία από την gamma κατανομή Να γίνει AR δειγματοληψία από την οικογένεια πυκνοτήτων. f = Ga ( shape = a, rate = λ ) όπου scale = rate. 43

44 . Πρώτα θα κάνουμε δειγματοληψία από την fractional gamma κατανομή ~ Ga ( shape = α, rate = ) με 0< α = { a = a a <. Όπου a η συνάρτηση floor στο α = είναι το δεκαδικό κομμάτι του a. a, δηλαδή { a α Τότε g e για 0< < έχουμε:, και παρατηρούμε ότι επειδή: α α α e < sup e =, 0< < και για και επειδή 0< α < έχουμε: η πυκνότητα g ( ) = Ga ( α,) φράσσεται με τον εξής τρόπο: α,0 α < < g( ) = e <, Γ( α) Γ( α) e, Γ ( α ) 0. α = < < + e Θέλουμε να βρούμε πυκνότητα f, τέτοια ώστε 0 ( < < ) + ( ) Γ. α f e ( α ) α α e e, Εάν λοιπόν K > 0 είναι η σταθερά κανονικοποίησης θα έχουμε: = 0 ( < < ) + ( ), Γ α f K e ή ισοδύναμα ( α ) α { 0 ( ) ( ) K = < < + e d Γ α +, από όπου και ( α) αe Γ K = α + e, που δίνει α e f e α + e α = 0 ( < < ) + ( ). Για το αντίστοιχο majorization σχήμα δειγματοληψίας έχουμε f ( ) < ch( ), ή ότι: 44

45 f ( ) = cg( ) h( ) για κάθε S ( 0, ) ( < < ) + ( ) = όπου c = K α e h( ) = = e 0< < + α 0 e α με g( ) 0< < και α e f e α + e α = 0 ( < < ) + ( ) από όπου, ~ f y < h( ) ~ g y ~ ( 0,). Για να κάνουμε δειγματοληψία από την πυκνότητα f, την γράφουμε σαν μίξη των πυκνοτήτων: α α ( α ) f = 0 < < = Be,, f = e Ep, e α α + e α + e δηλαδή f ( ) = f ( ) + f ( ) α e, με αθροιστική συνάρτηση κατανομής e α e F ( ) = f ( u) du + f ( u) du F F α + e + = α α + e + α + e 0 0 e α 0< < = α + e, e α + ( e ) α + e α + e όπου 0 0 α F ( ) = 0< < και F ( ) 0 = e, ενώ έχουμε ότι / = και F ( y) ( y) F y y α = log. Τελικά λοιπόν παίρνουμε το σχήμα: 45

46 e α y ~ f f f α + e α + e u ~ ( 0,) ( ) = ( ) + ( ) α ( α ) y < e 0 < < + ~ Ga, # sample (eplicit looping) from gamma(shape=a, rate=) when 0<a<. gammafractional <- function(ss=000, a=0.5) { sample <- NULL for(i in :SS){ while(true){ u <- runif(3); e <- ep() if(u[] < e/(a+e)) =u[]^(/a) else =-log(u[]) if((( < ) & u[3] < ep(-)) (( >= ) & u[3] < ^(a-))) break sample <- c(sample, ) return(v). Για την γενική περίπτωση, δηλαδή για να κάνουμε δειγματοληψία από την πυκνότητα g = Ga ( a, λ ) για γενικά a > 0 και λ > 0, παρατηρούμε ότι εάν n= a και α = a n τότε ( α ) = λ ( αλ) ~ Ga, Y ~ Ga, n ~, iid Y + Z Ga + n Zi ~ Ga(, λ) = Ep ( λ) Z = Zi ~ Ga ( n, λ) i= # Sample a SS vector of Ep ( λ ) random deviates. ( α λ) myepsample <- function(ss=00, lambda=) return((-/lambda)*log(runif(ss))). # Sample from gamma(shape=a, rate=b) for a general a>0, b>0. 46

47 mygammasample <- function(ss=00, a=.5, lambda=) { n <- floor(a); v <- gammafractional(ss=ss, a=a-n)/lambda if(n==0) return(v) else { w<-rep(0, SS) for(i in :n) w <- w + myepsample (SS=SS, lambda=lambda) return(v + w) # Eperiment I w <- mygammasample(ss=0000, a=.5, lambda=.5) hist(w, breaks=00, freq=false, ylim=c(0, ), lim=c(0,.5)) curve(dgamma(, shape=.5, scale=/.5), from=0, to=.5, col="blue", lwd=., add=true) # Eperiment II w <- mygammasample(ss=0000, a=0.5, lambda=0.5) hist(w, breaks=00, freq=false, ylim=c(0, 3), lim=c(0, 4)) curve(dgamma(, shape=0.5, scale=/0.5), from=0, to=4, col="blue", 47

48 lwd=., add=true) Δειγματοληψία από την beta κατανομή g beta ( shape a, shape a ) a > 0 και a > 0 με την χρήση της gamma κατανομής. ind Θα δείξουμε ότι εάν i ~ ( i, ) Ga a b για i =, τότε = = = για γενικά u = + ~ Ga a+ a, b v = ~ Be( a, a) + και τα u και v είναι ανεξάρτητα. Πράγματι T u = + = uv v = = u( v) + : T : ενώ 0 < u = + < 0< v = < + v u Ja ct u e e e v u a ( ) ( b a )( b a ) a b+ = = π, = από όπου και a a bu ( a + a bu a ) ( ) 48 a f u, v uv u v e Jac T = u e v v (, ) (, ) Ga u a + a b Be v a a.

49 Δηλαδή για να πάρουμε ένα δείγμα από την ~ (, ) a > 0 αρκεί να προσομοιώσουμε ανεξάρτητα ~ Ga ( a, b ) και ~, συνήθως θέτουμε το rate v Be a a για οποιοδήποτε a > 0 και + b = ). Τότε θα έχουμε v = Be( a a ) ~,. Ga a b, (όπου Δειγματοληψία από (, ) Αρχικά θέτουμε g N( 0,) πυκνοτήτων N µσ με majorization = και αναπαριστούμε την f σαν διακριτή μίξη δύο g e e e π π π / / = < < = ( 0) + / ( > 0) / / = e ( 0) + e ( > 0), π π + N ( 0,) N ( 0,) όπου N + ( 0,) η τυπική half normal πυκνότητα και N ( 0,) normal κατανομή. Παρατηρούμε ότι η τυπική αρνητική half g e e π π / = ( 0) + / ( > 0) e e e ( 0) + e ( > 0), π π εφόσον ισχύει ότι / e / + / e e e e ( + ) 0, π π / e / + / e e e e ( ) 0. π π Ισοδύναμα έχουμε ότι e e g( ) = N ( 0,) e = h( ), π π 49

50 = =, όπου,, 0 De p p e λ λ λ λ = λ + p λ e > 0. με g ( ) e De( /,,) Έχουμε ότι h / / e ( 0) + e ( > 0) g ( ) π π = = = cf( ) e e ( 0) + e ( > 0) π ( ) + ( ) ( ) + ( ) / / e 0 e 0 / / /+ / = = e 0 + e 0 + / + / e 0 e 0 ( + ) ( ) ( ) = e 0 + e 0 = e, π με πιθανότητα αποδοχής P( ) = c = Ουσιαστικά λοιπόν έχουμε την e majorization αναπαράσταση για την τυπική κανονική: ( ) 0, = e/ π e e /. c h f( ) N Το σχήμα δειγματοληψίας λοιπόν είναι: ~ De,, y ~ ( 0, ) ~ N( 0,). = y < ep ( ) Εάν έχουμε δείγμα y από την N ( 0,), το μετατρέπουμε σε δείγμα από την N ( µσ, ) μέσω του μετασχηματισμού z = µ + σ y ~ N( µσ, ) και συνολικά έχουμε: ~ De,, y ~ ( 0, ) µ + σ ~ N( µσ, ). = y < ep ( ) 50

51 # sample from the generalized Double eponential distribution De(0.5,, ) SampleDe <- function(ss=0000, p=0.5, lambda=, lambda=) { v <- NULL for(i in :SS) { u<-runif(); u<-runif() if(u<p) v <- c(v, (/lambda)*log(u)) else v <- c(v, (-/lambda)*log(u)) return(v) # Define the generalized Double eponential density De(p,l,l). DEP <- function(, p=0.5, lambda=, lambda=){ v <- c() for(i in :length()) { if([i]<0) branch <- p*lambda*ep(lambda*[i]) else branch <- (-p)*lambda*ep(-lambda*[i]) v <- c(v, branch) return(v) # Eperiment v <- SampleDe(SS=5000) a <- 0.4; h <- 0.5 L <- 0; mybreaks <- seq(from = -L, to = L, by = a) 5

52 hist(v, breaks=mybreaks, freq=false, ylim=c(0, h), main="gde(0.5,,):ss=5000", col="gray93", lab="") curve(dep(), lim=c(-l,l), col=, lwd=.5, add=true) # Sample from the standard normal N(0,) by majorization. SampleStdNormal <- function(ss=00){ sample <- c() for(i in :SS){ repeat { y <- SampleDe(SS=, p=0.5, lambda=, lambda=) u<-runif() if(u <= ep(-0.5*(abs(y)-)^)) break sample <- c(sample, y) return(sample) # Eperiment 5

53 v <- SampleStdNormal(SS=5000) a <- 0.3; h <- 0.5 L <- 0; mybreaks <- seq(from = -L, to = L, by = a) hist(v, breaks=mybreaks, freq=false, ylim=c(0, h), main="n(0,):ss=5000", col="gray93", lab="") curve(dnorm(), lim=c(-l,l), col=, lwd=.5, add=true) Δειγματοληψία από N ( 0,) με την μέθοδο των Bo Muller simulate independently ( π) Ep ϑ ~ 0, r ~ /, 0, iid ~ N ( ϑ ) ( ϑ ) = rcos = rsin iid Εάν υποθέσουμε δηλαδή ότι, ~ ( 0,) y N έχουμε ότι fy, y y y π (, ) = N( 0, ) N( 0,) = ep ( + ) και θέτοντας T = r ( ϑ) ( ϑ) = rcos : sin, 0 < r <,0< ϑ < π παίρνουμε (, ϑ) (, ) f r f Jac T R, Θ =, 53

54 = ( ϑ) r sin ( ϑ) ( ϑ) r cos( ϑ) cos f ( ), rcos ϑ, rsin ϑ sin ( ϑ π) R Θ ( ϑ) = rep r / r > 0 0 < < = f r f, π όπου R ep ( / ) ( 0) f r = r r r >, fθ ϑ = ϑ π = < ϑ < π π ( 0, ) ( 0 ) Έχουμε ότι r ~ fr r ~ Ep. Θέτοντας y = T( r) = r έχουμε d y/ fy ( y) = fr( y ) y = e = Ep y dy. Το σχήμα δειγματοληψίας λοιπόν γίνεται: d u ~ ( 0, ) r ~ log ( u) = Ep r ~ log ( u), u d ϑ πu = ( π) ~ 0, ~ 0,, και το ανεξάρτητο ζεύγος u ~ ( 0, ) και ~ ( 0,) ~ N ( 0, ) και ~ ( 0,) u, δίνει ανεξάρτητο ζεύγος N σύμφωνα με τον μετασχηματισμό: ( π ) = log u cos u ~ N 0, ( π ) = log u sin u ~ N 0,. # R Script για Bo Muller δειγματοληψία από (, ) 54 N µσ.

55 BoNormal <- function(mu=0, sigma=, SS=000){ sample <- NULL for(i in :SS/){ theta <- *pi*runif(); r <- (-*log(runif()))^0.5 <- r*cos(theta); <- r*sin(theta) sample <- c(sample, mu+sigma*, mu+sigma*) return(sample) w <- BoNormal(sigma=3, SS=0000) hist(w, freq=false, breaks=50) curve(dnorm(,mean=0,sd=3), add=true, lim=c(-0, 0)) > mean(w); var(w) [] , Δειγματοληψία σπουδαιότητας (importance sampling) Αυτή η μέθοδος υπολογισμού ολοκληρωμάτων και πιθανοτήτων γενικεύει την μέθοδο Monte Carlo κατά την έννοια του ότι μπορούμε να χρησιμοποιήσουμε στη θέση της ομοιόμορφης κατανομής, οιαδήποτε κατανομή που ικανοποιεί συγκεκριμένες συνθήκες 55

56 Για παράδειγμα εάν θέλουμε να υπολογίσουμε το ολοκλήρωμα I = g d και f είναι A η προτεινόμενη πυκνότητα (proposal density) με στήριγμα το A, θα έχουμε: g g I = g ( ) d = f ( ) d, ~ f A = A f f Δηλαδή εάν γνωρίζουμε τρόπο δειγματοληψίας για την f και μπορούμε να παράγουμε iid δείγμα i ~ f, i n τότε μια εκτίμηση I ˆf, n για το I θα είναι, σύμφωνα με τον ισχυρό νόμο των μεγάλων αριθμών i= ( i ) n ˆ g iid I f, n=, i ~ f, i n. n f Πιο γενικά, θα πρέπει, το σύνολο θετικότητας της g να είναι υποσύνολο του στηρίγματος της πυκνότητας f, όπου w( ) I = g d = w f d = w P d A A A Παράδειγμα i ( ) = g f. Εάν Z ~ N ( 0,) θέλουμε να υπολογίσουμε την πιθανότητα { 3 ( 0,) I = P Z > = N z dz. 3 Μια απλοϊκή μέθοδος θα ήταν η εξής I = z > 3 N z 0, dz = z > 3 PZ dz = Z > 3 έτσι θα είχαμε την εκτίμηση ˆ I = z > 3, z N 0, n iid ~ με P{ I ˆ n I n i i n i = lim = =. n Μια λύση χρησιμοποιώντας importance sampling και proposal density ~ N( 4,) θα ήταν: ( 0,) ( 4,) N z I = ( z > 3 ) N z 4, dz = z > 3 w z P dz N z { 56

57 όπου w( z) Έτσι ( 0,) ( 4,) N z = = ep( 8 4z). N z n I = > w = > w N n n iid { ( 3) lim { ( i 3 ) ( i), i ~ ( 4,) i= Τα R Scripts είναι: ImportanceSampling <- function(mu=4, sigma=, SS=000){ <- rnorm(ss, mean=mu, sd=sigma) <- [>3] w <- dnorm(, mean=0, sd=)/dnorm(, mean=mu, sd=sigma) return(sum(w)/ss) EstimatorDistribution <- function(ssestimator=300, mu=4, sigma=, SSImportance=000){ sample <- c() for(i in :SSEstimator) sample <- c(sample, ImportanceSampling(mu=mu, sigma=sigma, SS=SSImportance)) return(sample) w<-estimatordistribution() hist(w, freq=false, breaks=0, lim=c(0,0.003)) 57

58 mean(w);var(w) [] [] 8.988e-09 Στο προηγούμενο R script έχουμε χρησιμοποιήσει την ικανότητα της R για πράξεις με διανύσματα. Εναλλακτικά η συνάρτηση ImportanceSampling() θα μπορούσε να δοθεί με την πιο παραδοσιακή μορφή ImportanceSampling<-function(SS=000){ sum<-0 for(i in :SS){ <-rnorm(, mean=4, sd=) if(>3) sum<sum+ep(8-4*) return(sum/ss) Άσκηση Δίνεται ότι Y ~ f με f ( y) N( y 0, λ ) ( 3 y 4) < <. Να βρεθεί εκτίμηση της [ Y ]. 58

59 Πρώτα εκτιμούμε την σταθερά c κανονικοποίησης της f = ( 0, λ ) ( 3 < < 4) = ( 3 < < 4 ) ( 0, λ ) f y c N y y c y N y d. y Χρησιμοποιώντας σαν proposal density ~ ( 3.5, ) ( λ ) c = 3 < y < 4 w y N y 3.5, dy n = lim 3 < < 4, ~ 3.5, n n i= iid ( yi ) w( yi) yi N( λ ) Y N λ, έχουμε και w( yi ) ( i 0, λ ) ( i 3.5, λ ) N y =. N y Ενώ για την [ Y ] έχουμε: [ ] = ( 3 < < 4 ) ( 0, λ ) = ( 3 < < 4 ) ( 3.5, λ ) Y c y y N y dy c y y w y N y dy ( < y < ) yw( y) 3 4 = c < y < yw y = y N Εάν n ( λ ) n i i i i= iid lim ( 3 i 4) i ( i) lim, i ~ 3.5, n n n n i= 3 ( < yi < 4) w( yi) i= Άσκηση f Y ~ N ( 0,) και ( y) Y = T = σ + µ, δείξτε ότι ep y µ, y µ > = σ π σ. 0, otherwise f y N y µσ, y > µ. Δηλαδή η τ.μ. Y Επίσης δείξτε ότι σε αυτή περίπτωση έχουμε είναι η περικομμένη (truncated) κανονική κατανομή στο διάστημα ( µ, ). Y. 59

60 y = T = σ + µ, έχουμε Επειδή, έτσι παίρνουμε: y µ > = = σ y µ < = = σ 0 + T+ y 0 T y, και y = σ + µ > µ, d d fy ( y) = f T ( y) T y + f T y T y dy dy ( + ) + ( ) y µ y µ = N 0, + N 0, σ σ σ σ ep y µ y µ, y > µ N 0,. σ σ 0, otherwise = = σ π σ Έστω ότι f ( y) N( y µσ, ) ( y µ ) Y Y >, τότε υπάρχει C > 0, τέτοιο ώστε ( µσ, ) ( µ ) f y = CN y y>. Ολοκληρώνοντας στο έχουμε: ( µσ ) ( µ ) = f y dy = C N y, y > dy Y C = C N ( y µσ, ) dy = C =, από όπου και Y y= µ f y N y y ep ( y ) µ, y > µ. 0, otherwise = µσ, > µ = σ π σ 60