Επεξεργασία Στοχαστικών Σημάτων

Transcript

1 Επεξεργασία Στοχαστικών Σημάτων Τυχαίες μεταβλητές Σεραφείμ Καραμπογιάς Σχολή Θετικών Επιστημών Τμήμα Πληροφορικής και Τηλεπικοινωνιών

2 Η ΕΝΝΟΙΑ ΤΗΣ ΤΥΧΑΙΑΣ ΜΕΤΑΒΛΗΤΗΣ Η απεικόνιση των εκβάσεων ενός πειράματος τύχης στην ευθεία των πραγματικών αριθμών οδηγεί στην τυχαία μεταβλητή ( ) Τα αποτελέσματα ενός πειράματος τύχης ορίζουν μια τυχαία μεταβλητή (random variable). Συνεχείς - Διακριτές τυχαίες μεταβλητές

3 Η αθροιστική συνάρτηση κατανομής (cumulative distribution unction (CDF)) μίας τυχαίας μεταβλητής ορίζεται ως ΑΘΡΟΙΣΤΙΚΗ ΣΥΝΑΡΤΗΣΗ ΚΑΤΑΝΟΜΗΣ F ( ) P : ( ) F F F ( ) N k P ( k ) u ( k ) -3

4 F () Ιδιότητες της Αθροιστικής Συνάρτησης Κατανομής 0 ( ) F Η F () είναι μη φθίνουσα df df () ( ) P d d lim F ( ) 0 και lim F ( ) F ( ) F ( ) αν P F ) F ( ) ( -4

5 ΣΥΝΑΡΤΗΣΗ ΠΥΚΝΟΤΗΤΑΣ F F ΠΙΘΑΝΟΤΗΤΑΣ Η συνάρτηση πυκνότητας πιθανότητας (probability density unction (PDF)) μίας τυχαίας μεταβλητής ορίζεται ως η παράγωγος της F (), δηλαδή, df ( ) ( ) d N ( ) P ( ) ( k ) k k -5

6 Για διακριτές τυχαίες μεταβλητές, συνηθίζεται να ορίζουμε τη συνάρτηση πιθανότητας μάζας { p i } (probability mass unction (PMF)), η οποία ορίζεται ως. όπου p P ).. i ( i Προφανώς για κάθε i ισχύει p i 0 και i pi -6

7 Ιδιότητες της Συνάρτησης Πυκνότητας Πιθανότητας F () 0 ( ) για κάθε F df () () P d ( ) ( ) P( ) df ( ) d d ( ) d dp( ) F ) F ( ) ( F P ( ) ( ) d ( ) d df ( ) ( ) d P dp( ) dp( ) ( ) d ( ) d Συνάρτηση πυκνότητας πιθανότητας d -7

8 Συναρτήσεις Τυχαίων Μεταβλητών Μία συνάρτηση μίας τυχαίας μεταβλητής, έστω Y=g(), είναι επίσης μία τυχαία μεταβλητή. Y g ( ) () (y) Y Y Για την οποία η αθροιστική συνάρτηση κατανομής είναι F Y ( y) P : g ( ( )) y Στην ειδική περίπτωση για την οποία, για κάθε y, η εξίσωση g() = y έχει αριθμήσιμο σύνολο λύσεων { i } και, για όλες αυτές τις λύσεις υπάρχει η παράγωγος g ( i ) και είναι μη μηδενική τότε Y ( y) ( i ) g ( ) i i -8

9 Παράμετροι κατανομής τυχαίας μεταβλητής Η κατανομή πιθανότητας μιας τυχαίας μεταβλητής, όπως έχουμε ήδη αναφέρει, δύναται να εκφραστεί είτε από την αθροιστική συνάρτηση κατανομής είτε από τη συνάρτηση πυκνότητας πιθανότητας. Στη συνέχεια θα περιγραφούν οι βασικές παράμετροι της κατανομής μιας τυχαίας μεταβλητής. Οι βασικές αυτές παράμετροι της κατανομής δίδουν μία περιληπτική περιγραφή της πιθανοθεωρητικής συμπεριφοράς μιας τυχαίας μεταβλητής. -9

10 Στατιστικοί Μέσοι Όροι Η αναμενόμενη τιμή ή μαθηματική ελπίδα ή απλά μέση τιμή, μιας διακριτής τυχαίας μεταβλητής ορίζεται ως E [ ] P( ) i i i όπου pi P( i ) είναι η συνάρτηση πιθανότητα μάζας της διακριτής τυχαίας μεταβλητής. Η μέση τιμή συνήθως δηλώνεται με m ή. Η αναμενόμενη τιμή ή μαθηματική ελπίδα ή απλά μέση τιμή, μιας συνεχούς τυχαίας μεταβλητής ορίζεται ως E[ ] ( ) d όπου () είναι η συνάρτηση πυκνότητας πιθανότητας. Η μέση τιμή συνήθως δηλώνεται με m ή. -0

11 Μέση τιμή συνάρτησης τυχαίας μεταβλητής Ας θεωρήσουμε τη τυχαία μεταβλητή Y οι τιμές της οποίας ορίζονται από την πραγματική συνάρτηση y = g(), όπου είναι οι τιμές μιας τυχαίας μεταβλητής. Η μέση τιμή της διακριτής τυχαίας μεταβλητής Y = g() δίνεται από τη E( Y) E g( ) k 0 g( ) P( k k ) Η μέση τιμή της συνεχούς τυχαίας μεταβλητής Y = g() δίνεται από τη g( ) E( Y) E g( ) ( ) d -

12 Διασπορά και Τυπική Απόκλιση Η ύπαρξη κατανομών οι οποίες έχουν την ίδια μέση τιμή και των οποίων οι τιμές είναι περισσότερο ή λιγότερο διασπαρμένες και απομακρυσμένες από αυτήν καθιστά αναγκαία την εισαγωγή της διακύμανσης η οποία είναι ένα μέτρο του βαθμού συγκέντρωσης ή του βαθμού μεταβολής της κατανομής μιας τυχαίας μεταβλητής. Η διακύμανση (variance) ή η διασπορά της τυχαίας μεταβλητής είναι η μέση τιμή του τετραγώνου της απόκλισης g() = ( m ) της τυχαίας μεταβλητής από τη μέση της τιμής m = E(). Η διακύμανση ή η διασπορά της συμβολίζεται με VAR() ή σ τη σχέση ή απλά σ, και ορίζεται από E ( m ) Η θετική τετραγωνική ρίζα της διασποράς σ καλείται τυπική απόκλιση (standard deviation) της τυχαίας μεταβλητής. -

13 Για τη διακύμανση έχουμε E E E E E E E Για κάθε σταθερά c έχουμε τις ακόλουθες σχέσεις για τη μέση τιμή. E c c E. E c c 3. E c E c και τις ακόλουθες σχέσεις για τη διακύμανση. VAR( c ) c VAR( ). VAR ( c) 0 3. VAR ( c) VAR( ) -3

14 Χαρακτηριστική συνάρτηση τυχαίας μεταβλητής Η χαρακτηριστική συνάρτηση μίας τυχαίας μεταβλητής δηλώνεται ως Ψ (ν) και ορίζεται ως ορισ. ( ) ( ) e j d Η χαρακτηριστική συνάρτηση τυχαίας μεταβλητής συνδέεται με το μετασχηματισμό Fourier (διαφέρει στο πρόσημο στον εκθετικό όρο) της συνάρτησης πυκνότητας πιθανότητάς της. Η χαρακτηριστική συνάρτηση τυχαίας μεταβλητής παρέχει ένα εύκολο τρόπο υπολογοσμού των ροπών της τυχαίας μεταβλητής. Για να προσδιορίσουμε την n-στη ροπή της τυχαίας μεταβλητής, χρησιμοποιούμε τη σχέση m ( n) ορισ. n j d d n ( ) d ( ) n n 0 Η χαρακτηριστική συνάρτηση τυχαίας μεταβλητής είναι φραγμένη από την τιμή της στο μηδέν ( ) (0) -4

15 Πολλαπλές Έστω και Y δύο τυχαίες μεταβλητές. Για τις δύο αυτές τυχαίες μεταβλητές ορίζουμε τη συνδυασμένη αθροιστική συνάρτηση κατανομής (joint (CDF)) F, Y (, y) P( : ( ), Y ( ) y ) ή πιο απλά F, Y (, y) P(, Y y ) και τη συνδυασμένη συνάρτηση πυκνότητας πιθανότητας ( joint (PDF)), Y Y (, y (, y) F, y ) -5

16 Βασικές ιδιότητες των συνδυασμένων και περιθώριων (marginal) CDF και PDF F F Y ( ) F (, ) Y ( y) F (, y) Y ( ) y Y (, ) dy Y ( y) y Y (, ) d Y (, y) d dy F Y (, y) y ( u, ) du d Y -6

17 Δεσμευμένη ή υποσυνθήκη συνάρτηση πυκνότητας πιθανότητας Η δεσμευμένη ή υποσυνθήκη PDF της τυχαίας μεταβλητής, υπό την προϋπόθεση ότι η τιμή της τυχαίας μεταβλητής Y είναι ίση με y ορίζεται ως Y y), Y (, y) ( Y ( y) 0,, Y ( y) αλλιως 0 Η συνάρτηση Y ( y) μπορεί να θεωρηθεί ως συνάρτηση της μεταβλητής με τη μεταβλητή y αυθαίρετη αλλά σταθερή, συνεπώς ικανοποιεί όλες τις ιδιότητες της συνάρτησης πυκνότητας πιθανότητας Y ( y) 0 Y ( y) d F Y ( y) Y P y ( y) d Y ( y) d -7

18 Αν συμβαίνει η συνάρτηση πυκνότητας πιθανότητας μετά την γνωστοποίηση της Y να είναι η ίδια με τη συνάρτηση πυκνότητας πιθανότητας πριν τη γνωστοποίηση της Y τότε οι τυχαίες μεταβλητές ονομάζονται στατιστικά ανεξάρτητες (statistical independent) και ισχύει (, y) ( ), Y Y y ( ) Αν οι τυχαίες διαδικασίες και Y είναι στατιστικά ανεξάρτητες, τότε η έκβαση της Y δεν επηρεάζει την κατανομή της. Η υποσυνθήκη πιθανότητα Y ( y) απλοποιείται στην περιθώρια συνάρτηση πυκνότητας πιθανότητας Y ( y) ( ) -8

19 Μία συνάρτηση δύο τυχαίων μεταβλητών και Y, g(,y), είναι επίσης τυχαία μεταβλητή. Η αναμενόμενη τιμή της g(, Y) δίνεται από την g (, Y) E g (, y) Y (, y) d dy Στην ειδική περίπτωση όπου g(, Y) = Y, λαμβάνουμε την E[ Y] που ονομάζεται συσχέτιση (correlation) των και Y και συμβολίζεται με R,Y R, Y E Y y y Y (, ) d dy Αν η συσχέτιση γράφεται ως R,Y = E[] E[Y] τότε οι τυχαίες μεταβλητές λέγονται ασυσχέτιστες (uncorrelated). Αν οι τυχαίες μεταβλητές και Y είναι στατιστικά ανεξάρτητες τότε είναι και ασυσχέτιστες. Το αντίθετο δεν ισχύει γενικά. Αν η συσχέτιση γράφεται είναι ίση με μηδέν R Y = 0 ορθογώνιες (orthogonal). τότε οι τυχαίες μεταβλητές λέγονται -9

20 Στην περίπτωση κατά την οποία g(,y) = ( m ) (Y m Υ ) λαμβάνουμε την E[( m ) (Y m Y )] η οποία καλείται συμμεταβολή (covariance - COV) των και Y, η οποία συμβολίζεται με C,Y ή με COV(,Y) και είναι C, Y E m Y m αποδεικνύεται ότι C Y = R Y - E[] E[Y]) m y m Y Y Y (, y) d dy Αν οι και Y είναι ανεξάρτητες ή ασυσχέτιστες (R Y = E[] E[Y]) τότε η συμμεταβολή τους είναι ίση με μηδέν, C Y = 0. Αν οι και Y είναι ορθογώνιες (R Y = 0) τότε η συμμεταβολή τους είναι C Y = - E[] E[Y]. Αν επιπλέον μία τουλάχιστον από τις και Y έχει μέση τιμή ίση με μηδέν τότε η συμμεταβολή τους είναι ίση με μηδέν C Y = 0. -0

21 Η κανονικοποημένη μορφή της συμμεταβολής καλείται συντελεστής συσχέτισης (correlation coeicient), συμβολίζεται με ρ,y και ορίζεται ως, Y CY Y m E Y m Y Y αποδεικνύεται ότι ρ Y -

22 Σημαντικές Οι συχνότερα χρησιμοποιούμενες τυχαίες μεταβλητές είναι Ομοιόμορφη τυχαία μεταβλητή Η Gaussian τυχαία μεταβλητή Διωνυμική (Binomial) Τυχαία μεταβλητή Bernoulli τυχαία μεταβλητή Poisson τυχαία μεταβλητή Εκθετική τυχαία μεταβλητή Rayleigh τυχαία μεταβλητή -

23 Ομοιόμορφη Τυχαία Μεταβλητή Ομοιόμορφη τυχαία μεταβλητή είναι μία συνεχής τυχαία μεταβλητή που λαμβάνει τιμές μεταξύ a και b με ίσες πιθανότητες σε διαστήματα τιμών που έχουν ίσα μήκη. Η αθροιστική συνάρτηση κατανομής Η συνάρτηση πυκνότητας πιθανότητας F ) ( ba 0,, a ba a b a b ( ) b ba 0,, a αλλιώς F () () ba 0 a b 0 a b -3

24 Η συνάρτηση πυκνότητας πιθανότητας είναι Η Gaussian Τυχαία Μεταβλητή Σεραφείμ Καραμπογιάς ( m) ( ) e όπου m είναι η μέση τιμή και σ η τυπική απόκλιση ( ) 0,607 m m m Η συνάρτηση πυκνότητας πιθανότητας της Gaussian τυχαίας μεταβλητής -4

25 Η συνάρτηση κατανομής είναι F ( ) e ( m) d F ( ) 0, 84 0, 5 059, m m m Η συνάρτηση κατανομής της Gaussian τυχαίας μεταβλητής -5

26 Η συνάρτηση κατανομής της Gaussian τυχαίας μεταβλητής για m = 0 και σ = δηλώνεται με Φ() και δίνεται από τη σχέση Η συνάρτηση Q του Marcum ορίζεται ως ( ) P e d Q( y) P y y e d ( ) e Q( y) 0 y -6

27 Διάφορες παρουσιάσεις του ολοκληρώματος αυτού δίνονται σε μορφή εύχρηστων πινάκων ή διαγραμμάτων. y Q(y) y 0,0 5,0000e-0,4 8,975e-03 4,8 7,933e-07 0, 4,607e-0,5 6,096e-03 4,9 4,798e-07 0, 4,074e-0,6 4,66e-03 5,0,8665e-07 0,3 3,808e-0,7 3,4669e-03 5,,698e-07 0,4 3,4458e-0,8,555e-03 5, 9,9644e-08 0,5 3,0853e-0,9,8658e-03 5,3 5,790e-08 0,6,745e-0 3,0,3498e-03 5,4 3,330e-08 0,7,496e-0 3, 9,6760e-04 5,5,8989e-08 0,8,85e-0 3, 6,873e-04 5,6,077e-08 0,9,8406e-0 3,3 4,834e-04 5,7 5,9903e-09,0,5865e-0 3,4 3,369e-04 5,8 3,357e-09,,3566e-0 3,5,36e-04 5,9,875e-09,,506e-0 3,6,590e-04 6,0 9,8658e-0,3 9,6800e-0 3,7,0779e-04 6, 5,3034e-0,4 8,0756e-0 3,8 7,348e-05 6,,83e-0,5 6,6807e-0 3,9 4,8096e-05 6,3,488e-0,6 5,4799e-0 4,0 3,67e-05 6,4 7,7688e-,7 4,4565e-0 4,,0657e-05 6,5 4,060e-,8 3,5930e-0 4,,3345e-05 6,6,0557e-,9,876e-0 4,3 8,5398e-06 6,7,040e-,0,750e-0 4,4 5,45e-06 6,8 5,309e-,,7864e-0 4,5 3,3976e-06 6,9,600e-,,3903e-0 4,6,4e-06 7,0,798e-,3,074e-0 4,7,3008e-06 y Q ( y) Q(y) -7

28 Παρατηρούμε ότι Q( ) ( ) m και P ( ) Q -8

29 Bernoulli Τυχαία Μεταβλητή Αυτή είναι μια διακριτή τυχαία μεταβλητή που παίρνει δύο τιμές, το ένα και το μηδέν, με πιθανότητες p και - p. Η τυχαία μεταβλητή Bernoulli είναι ένα καλό μοντέλο για μια γεννήτρια δυαδικών δεδομένων. Όταν δυαδικά δεδομένα μεταβιβάζονται μέσω ενός καναλιού επικοινωνίας, και μερικά bits λαμβάνονται εσφαλμένα μπορούμε να μοντελοποιήσουμε ένα σφάλμα με μία πρόσθεση modulo- του στο bit εισόδου, μεταβάλλοντας έτσι το 0 σε και το σε 0. Η τυχαία μεταβλητή Bernoulli χρησιμοποιείται για τη μοντελοποίηση των σφαλμάτων καναλιού. -9

30 Bernoulli trials Σύνολο έχει n στοιχεία. Ο ολικός αριθμός των υποσυνόλων με k στοιχεία είναι n k n( n ) ( n k k ) n! k!( n k)! Παράδειγμα. Τα στοιχεία ενός συνόλου είναι a, b, c και d. Ποιος ο αριθμός των υποσυνόλων με δύο στοιχεία; Έχουμε n = 4 και k =, επομένως το πλήθος των υποσυνόλων με στοιχεία είναι 4 43 Πράγματι έχουμε τα σύνολα ab, ac, ad, bc, bd και cd 6 Το παραπάνω συμπέρασμα χρησιμοποιείται για να βρεθεί η πιθανότητα να πραγματοποιηθεί ένα γεγονός k φορές σε n ανεξάρτητες πραγματοποιήσεις ενός πειράματος τύχης. Το πρόβλημα αυτό είναι βασικά το ίδιο με το πρόβλημα να έχουμε k φορές κεφάλι σε n στριψίματα ενός νομίσματος. -30

31 Παράδειγμα. Αν στρίψουμε ένα νόμισμα η πιθανότητα να έχουμε κεφάλι είναι P(K) = p. Σχηματίζεται μία ακολουθία από N στριψίματα του νομίσματος. Η πιθανότητα στην ακολουθία να έχουμε k φορές κεφάλι και N k φορές γράμματα θα είναι λόγω της ανεξαρτησίας P( K) P( K) P( K) P( ) P( ) P( ) p k ( p) Δεδομένου ότι οι πιθανές ακολουθίες μήκους N στις οποίες παρουσιάζονται k κεφάλια ανεξαρτήτου θέσης είναι Nk N k N! k!( N k)! έχουμε τη πιθανότητα P N k K νασυμβεί ακριβώς k φορές p k ( p) Nk -3

32 Διωνυμική (Binomial) Τυχαία Μεταβλητή Αυτή είναι μία διακριτή τυχαία μεταβλητή που δίνει το πλήθος των σε μία ακολουθία από n ανεξάρτητα πειράματα Bernoulli. Η PMF δίνεται από P( όπου 0 < p <, και n =,,. n p k) k k ( Η διωνυμική συνάρτηση πυκνότητα πιθανότητας είναι και η αθροιστική διωνυμική συνάρτηση κατανομής F ( ) n k0 n p k k 0, p) ( p) nk n k n k ( ) n p ( p) ( k k 0 nk, 0 k n αλλιώς k) u( k) Αυτή η τυχαία μεταβλητή μοντελοποιεί, για παράδειγμα, τον ολικό αριθμό των bits τα οποία λαμβάνονται εσφαλμένα όταν μια ακολουθία από n bits μεταβιβάζεται μέσα από ένα κανάλι με πιθανότητα σφάλματος-bit ίση με p. -3

33 Αυτή είναι μία διακριτή τυχαία μεταβλητή της οποίας η συνάρτηση πυκνότητας πιθανότητας είναι bk ( ) e ( k) k! όπου b > 0 πραγματική σταθερά. Η αθροιστική συνάρτηση κατανομής Poisson Τυχαία Μεταβλητή F ( ) e b k0 b k0 bk u( k) k! Σεραφείμ Καραμπογιάς Αυτή η τυχαία μεταβλητή εφαρμόζεται σε πολλές εφαρμογές συνεχούς χρόνου. Μοντελοποιεί, για παράδειγμα τον αριθμό των τηλεφωνικών κλήσεων που πραγματοποιούνται σε ένα τηλεφωνικό κέντρο κατά τη διάρκεια μιας χρονικής περιόδου. Αν το χρονικό διάστημα ενδιαφέροντος έχει διάρκεια T, και τα γεγονότα τα οποία καταμετρώνται πραγματοποιούνται με μέσο ρυθμό λ και ακολουθούν κατανομή Poisson τότε επομένως ( ) e b T T k0 ( T) k! k ( k) -33

34 Σε ένα τηλεφωνικό κέντρο δημιουργείται ουρά όταν φτάνουν τηλεφωνικές κλήσεις ενώ όλες οι γραμμές είναι απασχολημένες. Παράδειγμα: Υποθέτοντας ότι οι τηλεφωνικές κλήσεις σε ένα τηλεφωνικό κέντρο ακολουθούν κατανομή Poisson και πραγματοποιούνται με μέσο ρυθμό 50 κλήσεις/h. Το τηλεφωνικό κέντρο έχει τη δυνατότητα να εξυπηρετήσει μόνο ένα συνδρομητή και κάθε τηλεφωνική κλήση διαρκεί ένα λεπτό. Ποια είναι η πιθανότητα να πραγματοποιηθεί ουρά αναμονής στο τηλεφωνικό κέντρο; Η ουρά αναμονής θα πραγματοποιηθεί αν δύο ή περισσότερη συνδρομητές εκδηλώσουν επιθυμία να πραγματοποιήσουν κλήση σε χρονικό διάστημα ενός λεπτού. Η πιθανότητα πραγματοποιηθεί ουρά αναμονής στο τηλεφωνικό κέντρο είναι ένα μείον την πιθανότητα να έχουμε περισσότερες από μία τηλεφωνικές κλήσεις. Έχουμε λ = 50/60 τηλεφωνικές κλήσεις / min και Τ = min έτσι b =5/6. Έχουμε λοιπόν P( πραγματοποιηθεί ουρά) F () 5 e 6 0,03 Αναμένεται λοιπόν να υπάρχει ουρά στο τηλεφωνικό κέντρο περίπου κατά το 0,3% του χρόνου

35 Εκθετική τυχαία μεταβλητή για πραγματικούς αριθμούς a και b για του οποίους ισχύει < a < και b > 0. F 0 a b a e 0 b a b a e b Για α = 0 και λ = /b έχουμε 0 0, 0, ) ( e F 0 0, 0, ) ( e a a e F b a 0,, ) ( Η αθροιστική συνάρτηση κατανομής a a e b b a 0,, ) ( Η συνάρτηση πυκνότητας πιθανότητας Σεραφείμ Καραμπογιάς -35

36 Αποδεικνύεται ότι E[ ] Var[ ] Η εκθετική συνάρτηση είναι η μοναδική συνάρτηση με έλλειψη μνήμης, δηλαδή, ικανοποιεί τη P s t t P s για κάθε s και t > 0 Αυτή η τυχαία μεταβλητή μοντελοποιεί, για παράδειγμα τους χρόνου εξυπηρέτησης σε ένα τηλεφωνικό κέντρο. Αν τυχαία μεταβλητή παριστάνει το χρόνο μεταξύ δύο διαδοχικών τηλεφωνικών κλήσεων, ακολουθεί εκθετική κατανομή και θεωρήσουμε ότι μία κλήση έφτασε τη χρονική στιγμή t = 0 τότε η συνάρτηση πυκνότητας πιθανότητας του χρόνου μέχρι την επόμενη κλήση θα είναι ( t) e t Επίσης η τυχαία μεταβλητή μοντελοποιεί, τη διακύμανση της ισχύος του σήματος που λαμβάνει το radar για τους διάφορους τύπους αεροσκαφών. -36

37 Παράδειγμα: Η ισχύς που ανακλάται από αεροσκάφος σύνθετης μορφής και η οποία λαμβάνεται από διάταξη radar μοντελοποιείται από εκθετική τυχαία μεταβλητή P. Η συνάρτηση πυκνότητας πιθανότητας είναι, p P0 ( ) e, p 0 P p P0 0, p 0 όπου P 0 είναι η μέση τιμή της λαμβανομένης ισχύος. Σε κάποια δεδομένη χρονική στιγμή P έχει τιμή διάφορη από τη μέση της τιμή. Ποια είναι η πιθανότητα η λαμβανόμενη ισχύς να είναι μεγαλύτερη από τη ισχύ που λαμβάνει κατά μέσο όρο; P( P P 0 ) P( P P 0 ) FP ( P0 ) e 0,368 P 0 / P 0 Αναμένεται λοιπόν η μέση ισχύς να είναι μεγαλύτερη της μέσης τιμής κατά το 36,8% του χρόνου. -37

38 F ( ( ) e 0, Rayleigh τυχαία μεταβλητή Η αθροιστική συνάρτηση κατανομής Η συνάρτηση πυκνότητας πιθανότητας a b ), a a ( ) ( a) e b 0, για πραγματικούς αριθμούς a και b για του οποίους ισχύει < a < και b > 0. a b, a a F 0,393 e ( a b ) 0,607 b e b a b 0 a a b Αυτή η τυχαία μεταβλητή έχει πολλές εφαρμογές στα κανάλια επικοινωνίας τα οποία παρουσιάζουν διαλείψεις. Επίσης περιγράφει την περιβάλλουσα του θορύβου όταν αυτός διέρχεται από bandpass φίλτρα. Επίσης βρίσκει εφαρμογή στην ανάλυση των λαθών στα συστήματα μέτρησης 0 a a b -38

39 Poisson Τυχαία Διαδικασία P ( t) e k! k t ( t) k, k 0,,,... ( ) ( t) k e k! ( k) όπου λ ονομάζεται ρυθμός της διαδικασίας (rate o the process). H αθροιστική συνάρτηση κατανομής της τυχαίας διαδικασίας είναι k0 t F ( ) k0 ( t) k e k! t u( k) Η μέση τιμή και η διασπορά της τυχαίας μεταβλητής είναι ( t) Var[ ( t)] ( ) d t E και η μέση τιμή του τετραγώνου της τυχαίας διαδικασίας είναι ( t) ( ) d t t E -39

40 Η χρονική στιγμή που πραγματοποιείται ένα γεγονός αντιστοιχεί σε ένα σημείο στον άξονα των χρόνων. Έχουμε λοιπόν τη γραφική παράσταση t Αριθμός εξυπηρετούμενων συνδρομητών t t 3 t 4 t 5 t6 t 7 t 8 t 9 0 t t Οι τυχαίες χρονικές στιγμές κατά τις οποίες πραγματοποιούνται και διακόπτονται τηλεφωνικές κλήσεις οι οποίες δημιουργούν την τυχαία διαδικασία Μέγιστος αριθμός εξυπηρετούμενων συνδρομητών 0 t t t 3 t 4 5 t t6 t 7 t 8 t 9 t 0 t Ένα δείγμα συνάρτησης της διακριτής τυχαίας διαδικασίας Poisson - Παρατηρούμε ότι η συνάρτηση (t) που παριστάνει τον αριθμό των εξυπηρετούμενων συνδρομητών αυξάνεται κατά ένα για κάθε νέα τηλεφωνική κλήση και ελαττώνεται επίσης κατά ένα όταν μία κλήση τελειώνει. Η ένταση της κίνησης για χρονικό διάστημα T είναι a T ( t) dt s μέσος ρυθμός άφιξης μέσος χρόνος κατάληψης T 0-40

41 Πολλαπλές Συναρτήσεις Πολλαπλών Τυχαίων Μεταβλητών ), ( ), ( Y h W Y g Z να είναι μη μηδενική i i i i i Y ZW y y w z ), ( det ), ( ), ( J και στα σημεία αυτά η ορίζουσα του Jacobian πίνακα y w w y z z y ), J ( η συνδυασμένη συνάρτηση πυκνότητας πιθανότητας είναι w y h z y g ), ( ), ( όπου { i, y i } είναι ένα αριθμήσιμο πλήθος λύσεων του συστήματος Σεραφείμ Καραμπογιάς -4

42 Συνδυασμένεc Gaussian Σεραφείμ Καραμπογιάς Οι συνδυασμένες Gaussian ή δικανονικές τυχαίες μεταβλητές και Y ορίζονται από τη συνδυασμένη συνάρτηση πυκνότητας πιθανότητας, Y (, y) m m y m y m ep π ( ) Όταν οι δύο τυχαίες μεταβλητές και Y κατανέμονται σύμφωνα με την δικανονική κατανομή τότε η κατανομή κάθε μίας από αυτές () και Y (y) και οι υποσυνθήκη πυκνότητες πιθανότητας Y ( y) και Y (y ) είναι Gaussian κατανομές. Η ιδιότητα αυτή είναι η κύρια διαφορά μεταξύ δύο συνδυασμένα Gaussian τυχαίων μεταβλητών και δύο τυχαίων μεταβλητών η κάθε μία από τις οποίες έχει Gaussian κατανομή. Αν οι και Y είναι συνδυασμένες Gaussian της πιο πάνω μορφής, τότε, η είναι Gaussian με μέση τιμή m και διακύμανση σ, και η Y είναι Gaussian με μέση τιμή m και διακύμανση σ, ο δε συντελεστής συσχέτισης μεταξύ των και Y είναι ρ. -4

43 t n n n m m C C,,, ep ) det( ) (,,, Ο ορισμός των δύο συνδυασμένων Gaussian τυχαίων μεταβλητών μπορεί να επεκταθεί σε n τυχαίες μεταβλητές,,, n. n m n m m m όπου,, m και m είναι τα διανύσματα n n ] [ ] [ ] [ n E E E m Σεραφείμ Καραμπογιάς -43 nn n n n n C C C C C C C C C C και C είναι ο πίνακας συμμεταβολής

44 nn n n n n C C C C C C C C C C και C είναι ο πίνακας συμμεταβολής j i j i E C j i i j j i i ij,, m m με στοιχεία C Για την περίπτωση στην οποία n = είναι C C και ο αντίστροφος πίνακας είναι τελικά Σεραφείμ Καραμπογιάς -44

45 Αθροίσματα Τυχαίων Μεταβλητών Αν έχουμε μια ακολουθία τυχαίων μεταβλητών (,,, n ), που έχουν βασικά τις ίδιες ιδιότητες, τότε αναμένεται ότι η μέση τιμή να συμπεριφέρεται λιγότερο τυχαία, από κάθε i. Y n Ο νόμος των μεγάλων αριθμών και το θεώρημα του κεντρικού ορίου αποτελούν μια ακριβή διατύπωση του διαισθητικού αυτού γεγονότος. n i i Ο ασθενής νόμος των μεγάλων αριθμών δηλώνει ότι αν οι τυχαίες μεταβλητές,,, n είναι ασυσχέτιστες με την ίδια μέση τιμή m και διακύμανση σ <, τότε για κάθε ε > 0, lim P Y 0 n m Αυτό σημαίνει ότι η μέση τιμή του αθροίσματος συγκλίνει (ως προς την πιθανότητα) στην αναμενόμενη τιμή. -45

46 Το θεώρημα του κεντρικού ορίου όχι μόνο διατυπώνει τη σύγκλιση της αναμενόμενης τιμής προς τη μέση τιμή αλλά επίσης δίνει κάποια πληροφορία για την κατανομή του μέσου αυτού όρου. Το θεώρημα αυτό δηλώνει ότι αν είναι ανεξάρτητες τυχαίες μεταβλητές,,, n είναι ανεξάρτητες τυχαίες μεταβλητές με αναμενόμενες τιμές m, m,,m n και διακυμάνσεις σ, σ,,σ n, τότε η αθροιστική συνάρτηση κατανομής της τυχαίας μεταβλητής Y n n i m i i i συγκλίνει στην αθροιστική συνάρτηση κατανομής μίας Gaussian τυχαίας μεταβλητής με μέση τιμή 0 και διακύμανση, δηλαδή συμπεριφέρεται ασυμπτωτικά σαν κανονική μεταβλητή. Με άλλα λόγια ισχύει lim P n a S m n n n b a b e u du όπου S n = n, (n=,,3, ) τυχαία διαδικασία με μέση τιμή m n = m +m + +m n -46

47 Στην ειδική περίπτωση στην οποία οι i είναι ανεξάρτητες και όμοια κατανεμημένες (independent and identically distributed-i.i.d.) το θεώρημα του κεντρικού ορίου λέει ότι η αθροιστική συνάρτηση κατανομής της συγκλίνει στην αθροιστική συνάρτηση κατανομής της μιας Gaussian τυχαίας μεταβλητής με μέση τιμή m και διακύμανση σ /n, N(m, σ /n). Y n i Για να ισχύει το θεώρημα του κεντρικού ορίου, πρέπει οι τυχαίες μεταβλητές να είναι ανεξάρτητες, ενώ ο νόμος των μεγάλων αριθμών ισχύει κάτω από λιγότερο περιοριστικές συνθήκες, δηλαδή, της μη συσχέτισης των τυχαίων μεταβλητών. n i -47

48 Τέλος Ενότητας -48

49 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στο πλαίσιο του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Αθηνών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. -49

50 Σημειώματα -50

51 Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση.0. Έχουν προηγηθεί οι κάτωθι εκδόσεις: Έκδοση διαθέσιμη εδώ. -5

52 Σημείωμα Αναφοράς Copyright Εθνικόν και Καποδιστριακόν Πανεπιστήμιον Αθηνών, Σεραφείμ Καραμπογιάς 05. Σεραφείμ Καραμπογιάς. «Επεξεργασία στοχαστικών σημάτων..». Έκδοση:.0. Αθήνα 05. Διαθέσιμο από τη δικτυακή διεύθυνση: -5

53 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [] Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. -53

54 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. -54