ΠΟΛΥΤΕΧΝΕΙΟ ΚΡΗΤΗΣ Τμήμα Ηλεκτρονικών Μηχανικών και Μηχανικών Υπολογιστών Τομέας Τηλεπικοινωνιών ΤΗΛ 11: ΠΙΘΑΝΟΤΗΤΕΣ ΚΑΙ ΤΥΧΑΙΑ ΣΗΜΑΤΑ 4ο Εξάμηνο 009-010 η ΕΡΓΑΣΙΑ ΑΣΚΗΣΗ 1 Εστω X = x 1, x, x T τυχαίο διάνυσμα με κατανομή: { c(x 1 + x + x ) εάν 0 x 1, x, x k f x1,x,x (x 1, x, x ) = 0 αλλού Βρείτε: (i) Την σταθερά c. (4%) (ii) Την οριακή ΣΠΠ της τυχαίας μεταβλητής x στο σημείο 0.5 (4%) (iii) Την οριακή ΣΠΠ του υποδιανύσματος x 1, x T στο σημείο (x 1, x ) = (0.7, 0.8). (4%) (iv) Την υπό συνθήκη ΣΠΠ f x x 1,x (x x 1, x ) στο σημείο (x 1, x, x ) = (0.1, 0., 0.). (4%) (v) Την υπό συνθήκη ΣΠΠ f x,x x 1 (x, x x 1 ) στο σημείο (x 1, x, x ) = (0.4, 0.9, 0.6). (4%) ΛΥΣΗ (i) Θα πρέπει το τριπλό ολοκλήρωμα της Σ.Π.Π να ισούται με 1. c c + + + k k k 0 0 0 k k 0 0 k k 0 0 k f x1,x,x (x 1, x, x ) dx dx dx 1 = 1 x 1 + x + x dx dx dx 1 = 1 x 1 x + x x + x k dx dx 1 = 1 kx 1 + kx + k dx dx 1 = 1 c k x 1 + k 0 + k dx 1 = 1 ( ) k 4 c + k4 + k4 = 1 c k4 = 1 c = k 4 0
(ii) Για να πάρουμε το ζητούμενο αρκεί να ολοκληρώσουμε την από κοινού προς τις υπόλοιπες τ.μ. (iii) Ομοίως με το προηγούμενο. f x (x ) = k k = c 0 0 k 0 k f x1,x,x (x 1, x, x ) dx dx 1 = x 1 x + x + x k x dx 1 = 0 = c kx 1 + k 0 + kx dx 1 = ( ) k = c + k + k x = = k + k + k x k 4 = = k (k + x ) f x (x ) = k (k + x ) εάν 0 x k 0 αλλού f x1,x (x 1, x ) = k f x1,x,x (x 1, x, x ) dx = 0 k = c x 1 + x + x dx = 0 = ) (kx k 4 1 + kx + k = = ( k x 1 + x + k ) ( f x1,x (x 1, x ) = k x 1 + x + k ) εάν 0 x 1, x k 0 αλλού (iv) Από τον ορισμό της δεσμευμένης πιθανότητας. (v) f x1 x,x (x 1 x, x ) = f x 1,x,x (x 1, x, x ) = f x1,x (x 1, x ) = k 4 x 1 + x + x x 1 + x + k = k = 1 x 1 + x + x k x 1 + x + k 1 x 1 + x + x f x1 x,x (x 1 x, x ) = k x 1 + x + k εάν 0 x 1, x, x k 0 αλλού f x,x x 1 (x, x x 1 ) = f x 1,x,x (x 1, x, x ) f x1 (x 1 ) Στο συγκεκριμένο σημείο η από κοινού είναι μηδεν, οπότε και η ζητούμενη Σ.Π.Π είναι μηδέν.
ΑΣΚΗΣΗ Εστω το τυχαίο διάνυσμα X = x 1, x, x T πίνακα συνδιασποράς: µ X = 4 8 6 ακολουθεί από κοινού κανονική κατανομή με μέση τιμή και Σ X = 4 1 4 1 4 Και τυχαίο διάνυσμα Y = y 1, y T = AX + b, όπου: 1 k A = 1 1 b = 4 4 Υπολογίστε: (i) την μέση τιμή του y 1 (6%) (ii) την συνδιασπορά σ y1,y των y 1, y (6%) (iii) τον συντελεστή συσχέτισης ρ y1y των y 1, y (6%) ΛΥΣΗ Υπολογίζουμε την μέση τιμή µ Y = Aµ X + b και τον πίνακα συνδιασποράς Σ Y = AΣ X A T, από τους οποίους αντλούμε όλα τα ζητούμενα (i) 4 1 k 4 µ Y = Aµ X + b = 1 1 8 + 4 6 (ii) Σ Y = AΣ X A T = 1 k 1 1 4 1 4 1 4 1 1 k 1 (iii) ρ y1y = σ y1y σ y 1 σ y Οπου οι συντελεστές αντλούνται από τον πίνακα συνδιακύμανσης που ορίσαμε νωρίτερα.
ΑΣΚΗΣΗ Η γραμμή παραγωγής ενός εργοστασίου συσκευάζει ηλεκτρονικά εξαρτήματα. Ο αριθμός των εξαρτημάτων που τοποθετούνται σε κάθε κουτί ακολουθεί κατανομή P oisson με αναμενόμενη τιμή k εξαρτήματα ανά κουτί. Στο τέλος της διαδικασίας, τα κουτιά περνούν από τον ποιοτικό έλεγχο, όπου όσα ανιχνεύονται σαν άδεια ανακυκλώνονται και τα υπόλοιπα πωλούνται: Τα άδεια κουτιά ανακυκλώνονται με πιθανότητα 0.8. Τα κουτιά με ένα εξάρτημα ανιχνεύονται (λανθασμένα) σαν άδεια και ανακυκλώνονται με πιθανότητα 0.1. Τα κουτιά με δύο εξαρτήματα ανιχνεύονται (λανθασμένα) σαν άδεια και ανακυκλώνονται με πιθανότητα 0.05. Τα κουτιά με τρία και πάνω εξαρτήματα πωλούνται με πιθανότητα 1. Κάθε εξάρτημα κοστίζει στην εταιρία 50 για να παραχθεί και κάθε κουτί, ανεξάρτητα του αριθμού των εξαρτημάτων που περιέχει, πωλείται για 100. Θεωρήστε ότι το κόστος της συσκευασίας είναι μηδέν, όπως και τα έσοδα από κάθε κουτί που ανακυκλώνεται (το κόστος όμως δεν είναι μηδέν). Υπολογίστε: (i) την πιθανότητα να ανακυκλωθεί ένα οποιοδήποτε κουτί στο στάδιο του ποιοτικού ελέγχου (4%) (ii) το αναμενόμενο κόστος παραγωγής κάθε κουτιού. (4%) (iii) το αναμενόμενο κόστος κάθε κουτιού που ανακυκλώνεται (4%) (iv) την πιθανότητα ένα οποιοδήποτε κουτί να είναι άδειο και να πουληθεί (4%) (v) Υπολογίστε στο MATLAB, χρησιμοποιώντας γεννήτριες Τ.Μ, το αναμενόμενο καθαρό κέρδος της εταιρίας από ένα οποιοδήποτε κουτί (5%) ΛΥΣΗ Εστω n ο αριθμός των εξαρτημάτων σε κάθε κουτί, τότε: P n (n 0 ) = kn0 e k n 0! Ορίζουμε ενδεχόμενα Α={το κουτί ανακυκλώθηκε}, Α ={το κουτί πουλήθηκε}. Οπότε : P (A n = 0) = 0.8 P (A n = 1) = 0.1 P (A n = ) = 0.05 P (A n ) = 0
Και : P (n = 0) = k0 e k = e k 0! P (n = 1) = k1 e k = ke k 1! P (n = ) = k e k = k! e k P (n ) = 1 P (n ) = 1 ) (1 + k + k e k Μπορούμε να περιγράψουμε όλο το πείραμα σαν ένα δέντρο, που εμφανίζεται παρακάτω: 1 n A P (n ) P (n = ) n = 1 P (A n = ) P (A n = ) A A P (n = 1) P (n = 0) n = 1 1 P (A n = 1) A P (A n = 1) A n = 0 1 P (A n = 0) A P (A n = 0) A (i) Χρησιμοποιούμε διαμερισμό και αλυσίδα. P (A) = P (A, n = 0) + P (A, n = 1) + P (A, n = ) + P (A, n ) = = P (A n = 0)P (n = 0) + P (A n = 1)P (n = 1) + P (A n = )P (n = ) + P (A n )P (n ) = = 0.8P (n = 0) + 0.1P (n = 1) + 0.05P (n = ) + 0 = = 0.8e k + 0.1ke k + 0.05 k e k (ii) Ξέρουμε ότι το κόστος παραγωγής είναι ίσο με 50 n άρα: E(50 n) = 50E(n) = 50k
(iii) (iv) E(50 n A) = 50E(n A) = + = 50 P (n A) n = = 50 n=0 0P (n = 0 A) + 1P (n = 1 A) + P (n = A) + + n= P (A n = 1)P (n = 1) P (A n = )P (n = ) = 50 0 + + P (A) P (A) P (A n = 1)P (n = 1) + P (A n = )P (n = ) = 50 = P (A) = 50 0.1ke k + 0.1 k e k 0.8e k + 0.1ke k + 0.05 k e k P (n A) n + 0 = = P (n = 0, A ) = P (A n = 0)P (n = 0) = 0.e k (v) Ακολουθούμε την εξέλιξη του πειράματος: πρώτα παράγουμε κουτιά με P oisson αριθμό εξαρτημάτων, έπειτα επιλέγουμε τυχαία ποια θα πεταχτούν και ποια θα πουληθούν και τέλος υπολογίζουμε το κέρδος ή ζημία για κάθε περίπτωση. Το ζητούμενό μας είναι η μέση τιμή. ΚΩΔΙΚΑΣ %c l e a r memory, screen and c l o s e a l l graphs clear a l l ; close a l l ; clc ; %number o f experiments i t e r = 100000; %c r e a t e poisson boxes box = p o i s s r n d ( k, i t e r, 1 ) ; %c r e a t e b e r n o u l l i s a l e (1 i f box i s sold, 0 i f thrown ) r = rand( i t e r, 1 ) ; s a l e ( 1 : length ( box ), 1 ) = 1 ; s a l e ( box == 0) = r ( box == 0) > 0. 8 ; s a l e ( box == 1) = r ( box == 1) > 0. 1 ; s a l e ( box == ) = r ( box == ) > 0. 0 5 ; %c r e a t e p r o f i t per case p r o f i t ( 1 : length ( box ), 1 ) = 0 ; p r o f i t ( s a l e == 0) = 50 box ( s a l e == 0 ) ; p r o f i t ( s a l e >= 1) = 100 50 box ( s a l e >= 1 ) ;
%mean p r o f i t E = mean( p r o f i t )
ΑΣΚΗΣΗ 4 (i) Εκτίμηση Κανονικής Κατανομής με χρήση MATLAB (10%) Δημιουργείστε N = 1000 δείγματα από μία κανονική κατανομή N(k, 4) με την συνάρτηση normpdf. Προσέξτε ότι οι σχετικές συναρτήσεις του MATLAB δέχονται σαν παράμετρο το σ και όχι το σ. Σχεδιάστε το κανονικοποιημένο ιστόγραμμα των δειγμάτων και την κανονική κατανομή N(k, 4) στο ίδιο διάγραμμα έτσι ώστε να βεβαιωθείτε ότι τα δεδομένα σας ακολουθούν την εν λόγω κατανομή. Οι μπάρες ενός ιστογράμματος μετράνε τις εμφανίσεις των στοιχείων σε ένα διάστημα. Ενα κανονικοποιημένο ιστόγραμμα μετράει την πιθανότητα εμφάνισης των στοιχείων στο εν λόγω διάστημα. Παράδειγμα κανονικοποίησης ιστογράμματος σας δόθηκε μαζί με την εκφώνηση. Με τη βοήθεια του MAT LAB βρείτε την μέση τιμή (µ) και διασπορά (σ ) των δειγμάτων βάση των τύπων των εκτιμητών μέγιστης πιθανότητας όπως υπάρχει στις σημειώσεις (Κεφ. 5). Επειτα βρείτε την μέση τιμή και διασπορά με τις συναρτήσεις mean και var του MATLAB και συγκρίνετε τις εκτιμήσεις. Υπολογίστε το μέσο τετραγωνικό σφάλμα των εκτιμητών σας. Για να γίνει αυτό πρέπει να τρέξετε το πείραμά σας αρκετές φορές και να υπολογίσετε την ποσότητα 1 M (θ ˆθ) όπου M = 100 είναι ο αριθμός των φορών που θα τρέξετε το πείραμά σας, θ είναι η πραγματική τιμή της ποσότητας που θέλουμε να εκτιμήσουμε (π.χ. μέση τιμή,διασπορά) και ˆθ είναι η τιμή που εκτιμάμε. Επαναλάβετε το ίδιο για N = 100 και N = 10000. Σχολιάστε συνοπτικά τα συμπεράσματά σας για τις διάφορες εκτιμήσεις. (ii) Εκτίμηση Κατανομής Rayleigh με χρήση MATLAB (10%) Δημιουργείστε N = 1000 δείγματα από μία κατανομή Rayleigh f x (x; b) = x b e x b με την συνάρτηση raylrnd. όπου b = k Σχεδιάστε το κανονικοποιημένο ιστόγραμμα των δειγμάτων και την παραπάνω εκθετική κατανομή στο ίδιο διάγραμμα έτσι ώστε να βεβαιωθείτε ότι τα δεδομένα σας ακολουθούν την εν λόγω κατανομή. Βρείτε την μέση τιμή και διασπορά με τις συναρτήσεις mean και var του MATLAB και συγκρίνετε τις εκτιμήσεις. Επειτα θα εκτιμήσουμε πειραματικά την μέση τιμή και την διασπορά. Θυμίζουμε ότι η μέση τιμή της παραπάνω κατανομής Rayleigh είναι E(x) = b π και η διασπορά είναι V ar(x) = 4 π b. Οπότε χρειαζόμαστε τον εκτιμητή μέγιστης πιθανότητας του b ο οποίος είναι ˆb ML = 1 N N i=1 x i. Υπολογίστε το μέσο τετραγωνικό σφάλμα των εκτιμητών σας όπως και στην προηγούμενη περίπτωση. Επαναλάβετε το ίδιο για Ν=100 και Ν=10000 Σχολιάστε συνοπτικά τα συμπεράσματά σας για τις διάφορες εκτιμήσεις. Σημείωση : Παραδώστε δύο αρχεία MATLAB, ένα για κάθε ένα από τα ερωτήματα (i),(ii) και σχολιασμό των αποτελεσμάτων στην αναφορά. ΛΥΣΗ
(i) ΚΩΔΙΚΑΣ %c l e a r memory, screen and c l o s e a l l graphs clear a l l ; close a l l ; clc ; mu = k ; sigma = ; % matlab uses sigma, not sigma ˆ N cases = 1 0 0, 1 0 0 0, 1 0 0 0 0 ; for i = 1 : length ( N cases ) N = N cases ( i ) ; M = 100; d i s p l a y ( ) ; d i s p l a y ( N=,numstr(N), M=,numstr(M) ) ; d i s p l a y ( ) ; %c r e a t e gaussian samples samples = normrnd (mu, sigma, N,M) ; %c r e a t e a c t u a l gaussian pdf x = 4 sigma : 0. 0 1 : 4 sigma ; y = normpdf ( x,mu, sigma ) ; %c r e a t e and normalize histogram n, xout = hist ( samples ( :, 1 ), 0 ) ; bw = xout () xout ( 1 ) ; n1 = n/sum( n. bw ) ; %p l o t histogram and pdf bar ( xout, n1 ) hold on plot ( x, y, r, Linewidth, ) ; hold o f f %c a l c u l a t e mean and variance using the e q u a t i o n s mu est1 = sum( samples, 1 ). /N; s i g m a e s t 1 = sum( ( samples repmat ( mu est1,n, 1 ) ). ˆ, 1 ). /N; %c a l c u l a t e mean square e r r o r mu error1 = sum( ( mu est1 mu). ˆ ). /M; s i g m a e r r o r 1 = sum( ( s i g m a e s t 1 sigma ˆ ). ˆ ). /M;
%d i s p l a y d i s p l a y ( notes=n(,numstr( mu est1 ( 1 ) ),,,numstr( s i g m a e s t 1 ( 1 ) ), ) ) ; d i s p l a y ( msqe=,numstr( mu error1 ),,,numstr( s i g m a e r r o r 1 ) ) ; %c a l c u l a t e mean and variance using matlab f u n c t i o n s mu est = mean( samples, 1 ) ; s i g m a e s t = var ( samples, 0, 1 ) ; %c a l c u l a t e mean square e r r o r mu error = sum( ( mu est mu). ˆ ). /M; s i g m a e r r o r = sum( ( s i g m a e s t sigma ˆ ). ˆ ). /M; %d i s p l a y d i s p l a y ( matlab=n(,numstr( mu est ( 1 ) ),,,numstr( s i g m a e s t ( 1 ) ), ) ) ; d i s p l a y ( msqe=,numstr( mu error ),,,numstr( s i g m a e r r o r ) ) ; d i s p l a y ( p r e s s e n t e r to continue ) ; pause end (ii) ΚΩΔΙΚΑΣ %c l e a r memory, screen and c l o s e a l l graphs clear a l l ; close a l l ; clc ; b = k ; mu = b sqrt ( pi / ) ; sigma = ((4 pi ) / ) ( b ˆ ) ; N cases = 1 0 0, 1 0 0 0, 1 0 0 0 0 ; d i s p l a y ( mean =,numstr(mu),, var =,numstr( sigma ) ) ; for i = 1 : length ( N cases ) N = N cases ( i ) ; M = 100; d i s p l a y ( ) ; d i s p l a y ( N=,numstr(N), M=,numstr(M) ) ; d i s p l a y ( ) ; %c r e a t e r a y l e i g h samples
samples = r a y l r n d (b,n,m) ; %c r e a t e a c t u a l r a y l e i g h pdf x = 0 : 0. 0 1 : 1 0 sigma ; y = r a y l p d f ( x, b ) ; %c r e a t e and normalize histogram n, xout = hist ( samples ( :, 1 ), 0 ) ; bw = xout () xout ( 1 ) ; n1 = n/sum( n. bw ) ; %p l o t histogram and pdf bar ( xout, n1 ) hold on plot ( x, y, r, Linewidth, ) ; hold o f f %c a l c u l a t e b using the equation b e s t 1 = sqrt (sum( samples. ˆ, 1 ). / ( N) ) ; %c a l c u l a t e mean and variance using e q u a t i o n s mu est1 = b e s t 1 sqrt ( pi / ) ; s i g m a e s t 1 = ((4 pi ) / ). ( b e s t 1. ˆ ) ; %c a l c u l a t e mean square e r r o r mu error1 = sum( ( mu est1 mu). ˆ ). /M; s i g m a e r r o r 1 = sum( ( s i g m a e s t 1 sigma ). ˆ ). /M; %d i s p l a y d i s p l a y ( notes=(,numstr( mu est1 ( 1 ) ),,,numstr( s i g m a e s t 1 ( 1 ) ), ) ) ; d i s p l a y ( msqe=,numstr( mu error1 ),,,numstr( s i g m a e r r o r 1 ) ) ; %c a l c u l a t e mean and variance using matlab f u n c t i o n s mu est = mean( samples, 1 ) ; s i g m a e s t = var ( samples, 0, 1 ) ; %c a l c u l a t e mean square e r r o r mu error = sum( ( mu est mu). ˆ ). /M; s i g m a e r r o r = sum( ( s i g m a e s t sigma ). ˆ ). /M; %d i s p l a y d i s p l a y ( matlab=(,numstr( mu est ( 1 ) ),,,numstr( s i g m a e s t ( 1 ) ), ) ) ; d i s p l a y ( msqe=,numstr( mu error ),,,numstr( s i g m a e r r o r ) ) ; d i s p l a y ( p r e s s e n t e r to continue ) ; pause
end
ΑΣΚΗΣΗ 5 Δίδεται τυχαία διαδικασία: X(t) = At + B Οπου A, B ανεξάρτητες, ομοιόμορφα κατανεμημένες τ.μ. στο k, k. Υπολογίστε την μέση τιμή της διαδικασίας την στιγμή t 0 = 5 (7%) Υπολογίστε την συνάρτηση αυτοσυσχέτισης για τις χρονικές στιγμές t 1 = 1, t = (7%) Υπολογίστε στο MATLAB, χρησιμοποιώντας γεννήτριες την εμπειρική κατανομή (το ιστόγραμμα) της X(t = 5) (7%) ΛΥΣΗ Οι Τ.Μ A, B έχουν μέση τιμή μηδέν και διασπορά k. (i) (ii) Ξέρουμε ότι ισχύει E(X(t 0 )) = E(At 0 + B) = = t 0 E(A) + E(B) = 0 R XX (t 1, t ) = E(X(t 1 )X(t )) = = E((At 1 + B)(At + B)) = = E(A t 1 t + (t 1 + t )AB + B ) = = t 1 t E(A ) + (t 1 + t )E(AB) + E(B ) σa = E(A ) E(A) = k E(A ) = k Ομοίως παίρνουμε ότι E(B ) = k. Οι A, B είναι ανεξάρτητες, άρα και ασυσχέτιστες, οπότε: Και τελικά: (iii) ΚΩΔΙΚΑΣ E(AB) = E(A)E(B) = 0; R XX (t 1, t ) = k (t 1t + 1) %c l e a r memory, screen and c l o s e a l l graphs clear a l l ; close a l l ; clc ; %number o f experiments
i t e r = 100000; %c r e a t e uniform A and B A = rand( i t e r, 1 ) k k ; B = rand( i t e r, 1 ) k k ; %c r e a t e X x = A. 5 + B; %c r e a t e histogram hist ( x )
ΑΣΚΗΣΗ 6 BONUS: Εστω τυχαίο διάνυσμα X = x 1 Οπου c πραγματική σταθερά. x T που ακολουθεί από κοινού Gaussian κατανομή με Σ.Π.Π: f x1,x (x 1, x ) = ce 1 ( 4 x 1 + 16 x + 8 x1x 8x1 16x+16) Υπολογίστε τον συντελεστή συσχέτισης ρ x1x (0%) Υπόδειξη: Διαβάστε το κεφάλαιο του βιβλίου των διδασκόντων που αναφέρεται σε τυχαία διανύσματα και τα σχετικά παραδείγματα. ΛΥΣΗ Ξέρουμε ότι το διάνυσμα ακολουθεί πολυδιάστατη κανονική κατανομή, άρα ο εκθέτης θα είναι το ανάπτυγμα της έκφρασης 1 (X µ X) T Σ 1 X (X µ X) Οπότε μπορούμε να εξισώσουμε τους εκθέτες ώστε να υπολογίσουμε τον πίνακα Σ 1 X και από αυτόν τον Σ X Οπως αναφέρεται και στις σημειώσεις του μαθήματος, ο εκθέτης μιας δισδιάστατης Gaussian κατανομής μπορεί να εκφραστεί και σαν 1 i=1 j=1 (x i µ xi )w ij (x j µ xj ) Οπου w ij το στοιχείο στην γραμμή i, στήλη j του πίνακα Σ 1 X. Μπορούμε να απλουστεύσουμε κατά πολύ τις πράξεις παρατηρώντας ότι μόνο ο όρος που αντιστοιχεί στο w 11 θα παράγει x 1, μόνο ο όρος που αντιστοιχεί στο w θα παράγει x, ενώ οι όροι w 1 και w 1 είναι ίσοι και θα παράγουν το x 1 x. Οπότε: w 11 (x 1 µ x1 ) = w 11 (x 1 +...) = w 11 x 1 +... w (x µ x ) = w (x +...) = w x +... (x 1 µ x1 )w 1 (x µ x ) + (x µ x )w 1 (x 1 µ x1 ) = (x 1 µ x1 )w 1 (x µ x ) = w 1 x 1 x +... Οι υπόλοιποι όροι που παράγονται από τα γινόμενα δεν μας χρησιμεύουν, οπότε δεν τους υπολογίζουμε. Εξισώνουμε τους συντελεστές των ίδιας τάξης όρων και έχουμε: w 11 = 4, w = 16, w 1 = w 1 = 4, οπότε Και τέλος Σ X = Σ 1 1 1 16 X = Σ 1 X Σ 1 X = 4 4 4 4 4 4 16 = 16 16 ρ x1x = σ x 1x σ x1 σ x = 1 4 1 1 4 4 4 = 1 = 1 1 4 1 4 1 4