Στοχαστικές Διαδικασίες (έμφαση στις σ.δ. διακριτού χρόνου)

Transcript

1 Στοχαστικές Διαδικασίες (έμφαση στις σ.δ. διακριτού χρόνου) Εισαγωγικές Έννοιες για το μάθημα Ψηφιακές Τηλεπικοινωνίες

2 Τυχαίες Μεταβλητές: Ορισμοί Θεωρούμε το πείραμα της ρίψης ενός νομίσματος. Το πείραμα έχει δύο πιθανές εκβάσεις (αποτελέσματα): Κ = "κορόνα" Γ = "γράμματα" Θεωρούμε ότι οι δύο εκβάσεις του πειράματος είναι ισοπίθανες, δηλαδή το νόμισμα μπορεί να δώσει Κ ή Γ με την ίδια πιθανότητα. Έστω ότι καταμετρούμε τα συνεχή αποτελέσματα ρίψης του νομίσματος. Για παράδειγμα, ρίχνουμε το νόμισμα Ν φορές, και έστω ότι μετράμε Ν Κ φορές κορόνα και Ν Γ φορές γράμματα. N Για μεγάλο αριθμό Ν αναμένουμε: K N N N Πιθανότητα εμφάνισης Κ ή Γ : Pr K 0.5 Pr 0.5

3 Τυχαίες Μεταβλητές: Ορισμοί Ονομάζουμε το σύνολο όλων των πειραματικών αποτελεσμάτων ως δειγματικό χώρο (sample space) και συμβολίζουμε Ω: K, Pr 1 Κάθε υποσύνολο του δειγματικού χώρου ονομάζεται ενδεχόμενο (event) και το συμβολίζουμε ως ω. Ένα υποσύνολο που περιλαμβάνει μόνο ένα στοιχείο ονομάζεται στοιχειώδες ενδεχόμενο (elementary event). Ο δειγματικός χώρος καλείται και βέβαιο ενδεχόμενο. K 1 Εάν ένας δειγματικός χώρος αποτελείται από n στοιχεία, τότε το πλήθος των υποσυνόλων είναι n : { },{ K},{ Γ},{ K, Γ}

4 Τυχαίες Μεταβλητές: Ορισμοί Ορίζουμε την τυχαία μεταβλητή ως εξής: όταν το αποτέλεσμα του πειράματος είναι Κ, θέτουμε, ενώ όταν είναι Γ, θέτουμε. R 1 K 1 f Δηλαδή, ορίσαμε μια αντιστοίχηση (συνάρτηση) των στοιχείων του δειγματικού χώρου Ω και ενός υποσυνόλου των πραγματικών αριθμών. 1 { K} f( ) 1 { } R Pr Pr επιπλέον Pr 0, όπου 1, και Pr 1 1

5 Τυχαίες Μεταβλητές: Ορισμοί Άρα, για την τυχαία μεταβλητή, έχουμε ως πεδίο ορισμού ένα δειγματικό χώρο, π.χ., και ως πεδίο τιμών ένα υποσύνολο των πραγματικών K, R 1 αριθμών, π.χ.. Επειδή, ο δειγματικός χώρος αποτελείται από διακριτά ενδεχόμενα και, η τυχαία μεταβλητή ονομάζεται διακριτή τυχαία μεταβλητή. Επιπλέον, παρατηρούμε ότι ο χαρακτηρισμός μιας τυχαίας μεταβλητής δίνεται στατιστικά μέσω της ανάθεσης πιθανοτήτων (νόμος πιθανότητας) στις τιμές της μεταβλητής. Δηλαδή, ο νόμος πιθανοτήτων είναι ένας κανόνας, ο οποίος αντιστοιχίζει έναν αριθμό (πιθανότητα) σε κάθε συμβάν. Ένας νόμος πιθανότητας πρέπει να ικανοποιεί τα παρακάτω αξιώματα: A A Pr 0 Pr 1 Pr A A Pr A Pr A A, A : A A

6 Τυχαίες Μεταβλητές: Ορισμοί Συνήθως, δεν ενδιαφερόμαστε μόνο να χαρακτηρίσουμε στατιστικά κάποια συμβάντα, αλλά κυρίως να περιγράψουμε με έναν πιθανοτικό τρόπο (συνάρτηση) μια τυχαία μεταβλητή. Δηλαδή ενδιαφερόμαστε για έναν πιθανοτικό νόμο, ο οποίος εφαρμόζεται κατευθείαν στην τυχαία μεταβλητή και όχι στα ενδεχόμενα ενός δειγματικού χώρου. Ορίζουμε τη συνάρτηση κατανομής πιθανότητας (probability distribution function): Για το παράδειγμα ρίψης νομίσματος: F a a ( ) Pr 0 a 1 F ( a) a a Ορίζουμε τη συνάρτηση πυκνότητας πιθανότητας (probability density function): d f( a) F( a) da 1 f ( a) dapr{ } 1 KB1

7 Τυχαίες Μεταβλητές: Μέσοι όροι Ονομάζουμε μέση (mean) ή αναμενόμενη (epected) τιμή μιας διακριτής τυχαίας μεταβλητής που λαμβάνει μια τιμή α k με πιθανότητα Pr a ως: k Για συνεχείς τ.μ. Pr E m a a k k k E af( a) da Η μέση τιμή μιας συνάρτησης g()της τυχαίας μεταβλητής είναι: Eg { ( )} gaf ( ) ( ada ) Ονομάζουμε μέση τετραγωνική τιμή (mean square value): E Ονομάζουμε διασπορά (variance) της τυχαίας μεταβλητής, ως τη μέση τετραγωνική τιμή της τυχαίας μεταβλητής y m : var( ) ( ) ( ) ( ) E m a m f a da

8 Τυχαίες Μεταβλητές: Μέσοι όροι Η τετραγωνική ρίζα της διασποράς ονομάζεται τυπική απόκλιση (standard deviation): Για τον τελεστή E, ισχύει η ιδιότητας της γραμμικότητας: Ea { by} ae { } bey { } var( ) E{( m) } E{ m m} E E E { } { m} { m} E{ } m E{} m E { } m μέση τετραγωνική τιμή

9 Τυχαίες Μεταβλητές: Από κοινού κατανομές Όταν εμπλέκονται περισσότερες από μία μεταβλητές, τότε είναι απαραίτητο να λάβουμε υπόψη τις στατιστικές εξαρτήσεις που υπάρχουν μεταξύ τους. Παράδειγμα: Έστω ότι έχουμε δύο τυχαίες μεταβλητές και y Ορίζουμε την από κοινού συνάρτηση κατανομής πιθανότητας (joint probability distribution function): F, ( a, a ) Pr a, ya y y y Ορίζουμε την από κοινού συνάρτηση πυκνότητας πιθανότητας (joint probability density function): f ( a, a ) F ( a, a ), y y, y y a ay

10 Τυχαίες Μεταβλητές: Από κοινού μέσοι όροι Ορίζουμε τη συσχέτιση (correlation) δύο τυχαίων μεταβλητών και y: ry E y Ορίζουμε τη συνδιασπορά (covariance) δύο τυχαίων μεταβλητών και y: c cov(, y) E ( m )( ym ) y y * cov( y, ) E( m)( ym) y E y m y m m m y m y E y E E y m r m m y y y m m y Αν m ή m y είναι μηδέν, τότε η συνδιασπορά ισούται με τη συσχέτιση.

11 Τυχαίες Μεταβλητές: Από κοινού μέσοι όροι Ορίζουμε το συντελεστή συσχέτισης (correlation coefficient) δύο τυχαίων μεταβλητών και y: cov( y, ) 1 y y y Γενικά ορίζουμε τις ποσότητες: Ροπές: E Κεντρικές ροπές: E ( m ) k k Από κοινού ροπές: Τάξη (order): k r E y k Κεντρικές ροπές: E ( m ) ( ym ) k r y r E Άρα, η μέση τιμή είναι ροπή πρώτης τάξης, η μέση τετραγωνική τιμή E είναι ροπή δεύτερης τάξης, η διασπορά E( m ) είναι κεντρική ροπή δεύτερης τάξης, η συνδιασπορά * είναι από κοινού κεντρική ροπή δεύτερης τάξης. E ( m )( ym ) y

12 Τυχαίες Μεταβλητές: Ανεξαρτησία, συσχέτιση και ορθογωνιότητα Όταν η τιμή μιας τυχαίας μεταβλητής δεν εξαρτάται από την τιμή μιας άλλης τυχαίας μεταβλητής y, τότε οι τυχαίες μεταβλητές και y ονομάζονται στατιστικά ανεξάρτητες (statistically independent). Δύο τυχαίες μεταβλητές και y είναι στατιστικά ανεξάρτητες αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι διαχωρίσιμη ως εξής: fy, ( ab, ) f( a) f y( b) cov( y, ) r EEy { } { } 0 y Ey { } r EEy { } { } y cov( y, ) y y 0 Δύο τυχαίες μεταβλητές και y που ικανοποιούν την παραπάνω σχέση ονομάζονται ασυσχέτιστες (uncorrelated).

13 Τυχαίες Μεταβλητές: Ανεξαρτησία, συσχέτιση και ορθογωνιότητα Δύο τυχαίες μεταβλητής που είναι στατιστικά ανεξάρτητες είναι ασυσχέτιστες. Το αντίστροφο γενικά δεν ισχύει. Για τις ασυσχέτιστες τυχαίες μεταβλητές ισχύει η ιδιότητα: var( y) var( ) var( y) Δύο τυχαίες μεταβλητές και y ονομάζονται ορθογώνιες (orthogonal) αν έχουν μηδενική συσχέτιση: ry 0 Δύο τυχαίες μεταβλητές που είναι ορθογώνιες δεν είναι απαραίτητα ασυσχέτιστες. KB KB3 Δυο ασυσχέτιστες τυχαίες μεταβλητές, όπου η μία τουλάχιστον έχει μηδενική μέση τιμή είναι και ορθογώνιες.

14 Τυχαίες Μεταβλητές: Gaussian Μια τυχαία μεταβλητή ονομάζεται Gaussian ή κανονική (normal) τυχαία μεταβλητή όταν η συνάρτηση πυκνότητας πιθανότητας είναι: 1 f( a) e ( am ) Η σ.π.π. ορίζεται πλήρως αν γνωρίζουμε τις τιμές m, και. y m όπου και είναι η μέση τιμή και η διασπορά αντίστοιχα. Δύο τυχαίες μεταβλητές ονομάζονται από κοινού Gaussian τυχαίες μεταβλητές όταν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: 1 fy, ( a, b) e 1 y y 1 ( am )( bm ) ( bm ) ( am ) y y y y y y (1 ) y όπου είναι ο συντελεστής συσχέτισης.

15 Τυχαίες Μεταβλητές: Gaussian Ιδιότητα: Αν και y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε για κάθε σταθερά a και b η τυχαία μεταβλητή είναι Gaussian με μέση τιμή και διασπορά: z aby m am bm z y a b ab z y y y cov(, y) Ιδιότητα: Αν δύο από κοινού Gaussian τυχαίες μεταβλητές και y είναι y 0 f ( ab, ) f ( a) f ( b) ασυσχέτιστες, δηλαδή, τότε είναι και στατιστικά ανεξάρτητες, δηλαδή. y y Ιδιότητα: Αν και y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε ο βέλτιστος μη γραμμικός εκτιμητής για το y, δηλαδή, ο οποίος ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα είναι ένας ŷ a b γραμμικός εκτιμητής:. yˆ g( ) E{( yyˆ ) }

16 Τυχαίες Μεταβλητές: Gaussian f ( ) a probability density function var=1 var= m 5

17 Τυχαίες Διαδικασίες: Ορισμοί Ορίζουμε ως τυχαία διαδικασία (random process) ή στοχαστική διαδικασία (stochastic process) ή τυχαίο σήμα (random signal) μια συλλογή από σήματα, δηλαδή συναρτήσεις στο χρόνο, τα οποία αντιστοιχούν σε διαφορετικά αποτελέσματα ενός πειράματος. { } M i i1 Δηλαδή, δοθέντος ενός δειγματικού χώρου, σε κάθε συμβάν t (; i ) αντιστοιχεί ένα σήμα το οποίο έχει πιθανότητα. i Pr{ } i Παράδειγμα : Θεωρούμε το πείραμα ρίψης ενός ζαριού. Η έκβαση του πειράματος είναι ο αριθμός του ζαριού, συνεπώς. Θεωρούμε όλα τα αποτελέσματα ισοπίθανα, δηλαδή για κάθε i = 1,,3,4,5,6. Ορίζουμε την τυχαία διαδικασία: {1,, 3, 4, 5, 6} Pr i 1/ 6 1 t (; i) Asin( fct i) όπου i Pr{ i } i 6 i i

18 Τυχαίες Διαδικασίες: Ορισμοί amplitude phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 t (; ) Asin( f t ) i c i -0.5 A 1; % amplitude (Volt) f c 100; % frequency (Hz) time

19 Τυχαίες Διαδικασίες: Ορισμοί t (; i ) Κάθε μια από τις συναρτήσεις ονομάζεται συνάρτηση δείγμα (sample function) ή πραγματοποίηση (realization) της τυχαίας διαδικασίας. Για κάθε χρονική στιγμή, έχουμε Ν διαφορετικές πιθανές τιμές. Οι τιμές αυτές συμβολίζονται γενικά και αποτελούν στην ουσία μια τυχαία μεταβλητή. Δηλαδή, σε κάθε χρονική στιγμή, η τιμή μιας τυχαίας διαδικασίας είναι μια τυχαία μεταβλητή. t 0 t ( ) 0 t ( ; i ) 0 Άρα, μια τυχαία διαδικασία είναι μια συλλογή από τυχαίες μεταβλητές., t ( ), t ( ), t ( ), t (), t D 0 1, και γενικά γράφουμε. Όταν αναφερόμαστε σε τυχαίες διαδικασίες διακριτού χρόνου το σύνολο D ταυτίζεται με το σύνολο των ακεραίων και γράφουμε. n ( ) n

20 Τυχαίες Διαδικασίες: Ορισμοί X (30) phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 amplitude 0 X ( n) Asin( f nt ) c s -0.5 A 1; % amplitude (Volt) f c 100; % frequency (Hz) samples

21 Τυχαίες Διαδικασίες: Ορισμοί Συνεπώς, μια διακριτή τυχαία διαδικασία είναι μια αντιστοίχηση των στοιχείων ενός δειγματικού χώρου (εκβάσεις ενός πειράματος) σε μια συλλογή από σήματα διακριτού χρόνου (ακολουθίες διακριτών τυχαίων μεταβλητών). ( n) 1 1 f i ( n) i n ( 0) n ( 1) n ( )... ακολουθία τυχαίων μεταβλητών

22 Τυχαίες Διαδικασίες: Ορισμοί Σε κάθε τυχαία μεταβλητή της ακολουθίας αντιστοιχεί μια συνάρτηση κατανομής πιθανότητας και μια συνάρτηση πυκνότητας πιθανότητας: ( ) Pr ( ) ( ) d Fn a n a fn ( )( a) Fn ( )( a) da Για να χαρακτηρίσουμε πλήρως την τυχαία διαδικασία χρειαζόμαστε την από κοινού συνάρτηση κατανομής (ή πυκνότητας) πιθανότητας: 0 1 F ( a, a,, a ) Pr ( n ) a, ( n ) a,, ( n ) a ( n ), ( n ),, ( n ) 0 1 N N N N Μας δίνει πληροφορία για το πως οι τυχαίες μεταβλητές αλληλοεξαρτώνται.

23 Τυχαίες Διαδικασίες: Μέσοι όροι συνόλων Ορίσαμε την τυχαία διαδικασία ως μια αριθμημένη ακολουθία τυχαίων n ( ) n μεταβλητών. Συνεπώς, για κάθε n μπορούμε να υπολογίσουμε τη n ( ) μέση τιμή και τη διασπορά της τυχαίας μεταβλητής. Ορίζουμε ως μέσο όρο της τυχαίας διαδικασίας την ντετερμινιστική ακολουθία: m ( ) { ( )} n E n Ορίζουμε ως διασπορά της τυχαίας διαδικασίας την ντετερμινιστική ακολουθία: ( n) E{[ ( n) m ( n)] } Παρατηρούμε ότι η μέση τιμή και η διασπορά εξαρτώνται από το n.

24 Τυχαίες Διαδικασίες: Μέσοι όροι συνόλων X (30) phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 amplitude m ( ) { ( )} n E n samples

25 Τυχαίες Διαδικασίες: Μέσοι όροι συνόλων Ορίζουμε τη συνάρτηση αυτοσυσχέτισης (autocorrelation) μιας τυχαίας διαδικασίας: (, ) { ( ) r ( )} k l E k l Ορίζουμε τη συνάρτηση αυτοσυνδιασποράς (autocovariance) μιας τυχαίας διαδικασίας: c k l E k m k l m l * (, ) {[ ( ) ( )][ ( ) ( )]} c ( k, l) E{[ ( k) m ( k)][ ( l) m ( l)]} Ek {() () lk () m ( l) m ( k) () lm ( k) m ( l) } Ek { ( ) ( l)} Ek { ( )} m ( l) m ( k) E { ( l)} m ( km ) ( l) r ( k, l) m ( km ) ( l) Αν m (n) = 0, τότε η αυτοσυνδιασπορά ισούται με την αυτοσυσχέτιση.

26 Τυχαίες Διαδικασίες: Μέσοι όροι συνόλων Ορίζουμε τη συνάρτηση ετεροσυσχέτισης (cross-correlation) μεταξύ δύο τυχαίων διαδικασιών (n)και y(n): (, ) { ( ) r ( )} y k l E k y l Ορίζουμε τη συνάρτηση ετεροσυνδιασποράς (cross-covariance) μεταξύ δύο τυχαίων διαδικασιών (n)και y(n): c k l E k m k y l m l r ( k, l) m ( k) m ( l) * y(,) {[ ( ) ( )][ () y()]} y y (, ) 0 cy k l r ( k, l) m ( k) m ( l) Όταν, δηλαδή για κάθε k και l, τότε οι y y δύο τυχαίες διαδικασίες ονομάζονται ασυσχέτιστες (uncorrelated). r (, ) 0 y k l Όταν για κάθε k και l, τότε οι δύο τυχαίες διαδικασίες ονομάζονται ορθογώνιες (orthogonal).

27 Τυχαίες Διαδικασίες: Μέσοι όροι συνόλων Παράδειγμα : n ( ) un ( ) yn ( ) Θεωρούμε το σήμα (n) το οποίο παραμορφώνεται από προσθετικό θόρυβο u(n). Γενικά, ο θόρυβος μοντελοποιείται ως μια τυχαία διαδικασία. Επίσης, θεωρούμε ότι ο θόρυβος έχει μηδενική μέση τιμή και ότι είναι ασυσχέτιστος με το σήμα yn ( ) n ( ) un ( ) εισόδου (n). Η έξοδος είναι. r ( k, l) E{ y( k) y ( l)} E{[ ( k) u( k)][ ( l) u( l)] } y E{[ ( k) u( k)][ ( l) u ( l)]} E{ ( k) ( l) ( k) u ( l) u( k) ( l) u( k) u ( l)} E{() k ()} l E{() k u ()} l E{() u k ()} l E{() u k u ()} l r (, ) k l ru ( k, l) r ( k, l) m ( k) m ( l) 0 u u

28 Τυχαίες Διαδικασίες: Gaussian Έστω ένα διάνυσμα από N (πραγματικές) τυχαίες μεταβλητές: [,,, N ] 1 T Το διάνυσμα ονομάζεται Gaussian τυχαίο διάνυσμα και οι τυχαίες μεταβλητές n ονομάζονται από κοινού Gaussian τυχαίες μεταβλητές, αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: f ( ) ( ) 1 N / C e 1 ( ) T 1 m C ( m ) T όπου m [ m είναι το διάνυσμα με στοιχεία τη μέση τιμή των 1, m,, m N ] τυχαίων μεταβλητών n, είναι ένας συμμετρικός πίνακας θετικά ορισμένος C με στοιχεία τις τιμές συνδιασποράς μεταξύ των τυχαίων μεταβλητών n, ci, j E{( imi)( jmj)} C δηλαδή και είναι η ορίζουσα του πίνακα. Μια τυχαία διαδικασία διακριτού χρόνου ονομάζεται Gaussian,αν κάθε ακολουθία δειγμάτων (n) της τυχαίας διαδικασίας είναι από κοινού Gaussian τυχαίες μεταβλητές.

29 Τυχαίες Διαδικασίες: Στασιμότητα Η έννοια της στασιμότητας μιας τυχαίας διαδικασίας συνδέεται με την έννοια της "στατιστικής χρονικής σταθερότητας", δηλαδή όταν οι στατιστικές ιδιότητες ή οι μέσοι όροι συνόλων της τυχαίας διαδικασίας είναι ανεξάρτητες του χρόνου. Όταν η συνάρτηση πυκνότητας πιθανότητας μιας τυχαίας διαδικασίας (n) είναι ανεξάρτητη του χρόνου, δηλαδή: f ( ) ( ) a n f ( a) f ( a), k n ( ) n ( k) τότε η διαδικασία ονομάζεται στάσιμη (stationary) διαδικασία πρώτης τάξης. m ( n) m και ( n)

30 Τυχαίες Διαδικασίες: Στασιμότητα Όταν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι ανεξάρτητη του χρόνου, δηλαδή: f ( a, a ) f ( a, a ), k n ( ), n ( ) 1 n ( k), n ( k) f n ( ), n ( ) 1 1 ( a, a ) τότε η διαδικασία (n) ονομάζεται στάσιμη διαδικασία δεύτερης τάξης. r ( k, l) r ( k n, l n) E{ ( k) ( l)} E{ ( kn) ( ln)} r ( k, l) r ( n, n( kl)) r ( kl) Δηλαδή, η αυτοσυσχέτιση εξαρτάται μόνο από τη διαφορά k l ονομάζεται lag., η οποία Αν μία διαδικασία είναι στάσιμη δεύτερης τάξης, τότε είναι και πρώτης τάξης.

31 Τυχαίες Διαδικασίες: Στασιμότητα Παρατηρούμε ότι: r ( k, l) r ( kl,0) r ( kl) c ( k, l) r ( k, l) m ( k) m ( l) r ( kl) m ( k) m ( l) r ( kl) m m c ( kl) r ( k, l) r ( kn, ln) Ek {( n ) ( ln)} En { ( ) ( n( kl))} r ( kl) Η διαδικασία είναι στάσιμη ης τάξης. Συνεπώς, είναι και στάσιμη 1ης τάξης. Άρα και η συνδιασπορά εξαρτάται μόνο από το lag. c (0) r (0) m m E{ ( n) ( n)} m m E n m n { ( ) } ( )

32 Τυχαίες Διαδικασίες: Στασιμότητα Γενικά, ορίζουμε ότι μια διαδικασία είναι στάσιμη L τάξης όταν f ( a, a,, a ) f ( a, a,, a ), k n ( ), n ( ),, n ( ) 1 L n ( k), n ( k),, n ( k) 1 L 1 L 1 L Μία διαδικασία που είναι στάσιμη για όλες τις τάξεις L > 0, ονομάζεται Αυστηρά Στάσιμη (Stationary in the Strict Sense). Πολύ αυστηρή συνθήκη, που σπάνια συναντάται σε πρακτικά προβλήματα. Μία διαδικασία ονομάζεται Στάσιμη υπό την Ευρεία Έννοια (WSS: Wide Sense Stationary), αν ικανοποιούνται οι εξής τρεις συνθήκες: Η μέση τιμή είναι μία σταθερά, ανεξάρτητη του χρόνου: Η αυτοσυσχέτιση εξαρτάται μόνο από τη χρονική διαφορά Η διασπορά είναι πεπερασμένη: m ( n) r (, ) k l k l c (0) m

33 Τυχαίες Διαδικασίες: Στασιμότητα Παρατηρείστε ότι οι παραπάνω συνθήκες αφορούν στατιστικά πρώτης και δεύτερης τάξης μόνο. Για Gaussian τυχαίες διαδικασίες, η στασιμότητα υπό την ευρεία έννοια είναι ισοδύναμη με την αυστηρή στασιμότητα. Δύο τυχαίες διαδικασίες και y ονομάζονται από κοινού WSS αν κάθε μια είναι WSS και επιπλέον η συνάρτηση ετεροσυσχέτισης r ( εξαρτάται μόνο από y k, l ) τη διαφορά δηλαδή: k l r ( k, l) r ( kn, ln) r ( kl) y y y

34 Τυχαίες Διαδικασίες: Στασιμότητα Η συνάρτηση αυτοσυσχέτισης μιας WSS διαδικασίας παρουσιάζει τις ακόλουθες ιδιότητες: r ( ) k Ιδιότητα 1: Συμμετρία r ( k) r ( k) Ιδιότητα : Μέση τετραγωνική τιμή r E n (0) { ( ) } 0 Ιδιότητα 3: Μέγιστη τιμή r ( k) r (0) Ιδιότητα 4: Περιοδικότητα Αν ισχύει για κάποια τιμή k 0, r ( k ) r (0) τότε η συνάρτηση αυτοσυσχέτισης είναι περιοδική με περίοδο k 0. 0

35 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης Έστω ένα σύνολο από παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή έστω ότι λαμβάνουμε τις p+1 τιμές: (0), (1),, (p). Κατασκευάζουμε το διάνυσμα: p (0) (1) ( ) T Στη συνέχεια κατασκευάζουμε τον πίνακα: H H (0) (1) (0) (1) ( p) ( p) (0) (0) (0) (1) (0) ( p) (1) (0) (1) (1) (1) ( p) ( p ) (0) p ( ) (1) p ( ) ( p)

36 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης Θεωρούμε ότι η τυχαία διαδικασία είναι WSS: E { (0) (0)} E { (0) (1)} E { (0) ( p)} H E { (1) (0)} E { (1) (1)} E { (1) ( p)} E{ } Ep {( ) (0)} Ep {( ) (1)} Ep {( ) ( p)} r(0) r( 1) r( p) H r(1) r(0) r(1 p) E{ } r( p) r( p1) r(0) Ek {() ()} l r( k l)

37 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης r(0) r( 1) r( p) H r(1) r(0) r(1 p) E{ } r( p) r( p1) r(0) r ( n) r ( n) r ( n) r ( n) Ιδιότητα Hermitian συμμετρίας r (0) r(1) r() r ( p) r(1) r(0) r (1) r ( p 1) H E{ } r() r( 1) r(0) r ( p ) r ( p) r ( p1) r ( p) r (0) R Ο πίνακας R ονομάζεται πίνακας αυτοσυσχέτισης (autocorrelation matri).

38 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης Ομοίως ορίζουμε τον πίνακα αυτοσυνδιασποράς (autocovariance matri). m H C E{( m )( m ) } R m m H όπου είναι διάνυσμα p+1 θέσεων με στοιχεία τη μέση τιμή (σταθερά) της WSS διαδικασίας: m m m m Όταν η διαδικασία έχει μηδενική μέση τιμή ισχύει: C R

39 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης Ο πίνακας αυτοσυσχέτισης μιας WSS διαδικασίας έχει τις ακόλουθες ιδιότητες: Ιδιότητα 1: Είναι Hermitian και Toeplitz. R r(0) r (1) r( p) r(1) r(0) r ( p 1) r( p) r( p 1) r(0) R H ( r (0)) ( r (1)) ( r ( p) ) r(0) r(1) r( p) ( r ( 1) ) ( r (0)) ( r ( p1) ) r(1) r(0) r( p 1) ( r ( )) ( ( 1) ) ( (0)) r ( ) ( 1) (0) p r p r p r p r r (0) r (0) R

40 Τυχαίες Διαδικασίες: Πίνακας αυτοσυσχέτισης r ( 0) r (1) r ( p1) r ( p) r (1) r (0) r ( p ) r ( p 1) R R Toep r(0) r(1) r ( p) r ( p1) r ( p ) r (0) r (1) r ( p) r ( p1) r (1) r (0) Ιδιότητα : Είναι μη αρνητικά ορισμένος: R 0 Ιδιότητα 3: Οι ιδιοτιμές του είναι πραγματικές και μη αρνητικές: k 0

41 Τυχαίες Διαδικασίες: Εργοδικότητα Η μέση τιμή και η αυτοσυσχέτιση μιας τυχαίας διαδικασίας αποτελούν στατιστικούς μέσους όρους που αναφέρονται σε όλες τις συναρτήσεις δείγματα (πραγματοποιήσεις) της διαδικασίας. Ωστόσο, στην πράξη έχουμε διαθέσιμο ένα σύνολο παρατηρήσεων από μία μόνο πραγματοποίηση της διαδικασίας, και από τις παρατηρήσεις αυτές καλούμαστε να εκτιμήσουμε τα παραπάνω μεγέθη. Έστω μια τυχαία διαδικασία για την οποία έχουμε μια συλλογή από L υλοποιήσεις, δηλαδή σήματα διακριτού χρόνου i (n)για i = 1,,,L. Στην περίπτωση αυτή θα μπορούσαμε να κάνουμε μια εκτίμηση της μέσης τιμής ως εξής: L 1 mˆ ( n) ( n) εξαρτάται από το n (και το L) L i 1 i

42 Τυχαίες Διαδικασίες: Εργοδικότητα ( n) 1 ( n) ( ) L n n 0 L 1 mˆ ( n ) ( n ) 0 i 0 L i 1

43 Τυχαίες Διαδικασίες: Εργοδικότητα Όταν όμως έχουμε διαθέσιμη μόνο μία πραγματοποίηση της τυχαίας διαδικασίας, η παραπάνω εκτίμηση δεν έχει νόημα. Επειδή, έχουμε διαθέσιμες Ν παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή Ν δείγματα της συγκεκριμένης υλοποίησης, μια εκτίμηση της μέσης τιμής είναι η ακόλουθη: N 1 mˆ ( N) ( n) N n 1 εξαρτάται από το Ν n ( ) N Για να έχει νόημα ο εκτιμητής θα πρέπει η μέση τιμή της διαδικασίας να μην εξαρτάται από το n. Για παράδειγμα, αν η διαδικασία είναι WSS, τότε m ( n) είναι. m mˆ ( N)

44 Τυχαίες Διαδικασίες: Εργοδικότητα Το ερώτημα που δημιουργείται είναι αν ο μέσος όρος συγκλίνει στην πραγματική μέση τιμή. mˆ ( N) mˆ ( N) Αν ο δειγματικός μέσος όρος μιας WSS διαδικασίας συγκλίνει στην πραγματική μέση τιμή υπό την έννοια του μέσου τετραγώνου, τότε η διαδικασία καλείται εργοδική ως προς τη μέση τιμή (ergodic in the mean). ˆ lim E{ m( N) m } 0 N lim mˆ ( N) m N Ικανές και αναγκαίες συνθήκες για την ως άνω σύγκλιση (υπό την έννοια του μέσου τετραγώνου) είναι οι εξής (συνθήκες ενός συνεπή εκτιμητή ): Ο εκτιμητής να είναι ασυμπτωτικά αμερόληπτος: lim { mˆ ( N)} m N Η διασπορά της εκτίμησης να τείνει στο μηδέν καθώς : lim var( mˆ ( N)) 0 N N

45 Τυχαίες Διαδικασίες: Εργοδικότητα mˆ ( N) Από τον ορισμό του εκτιμητή προκύπτει ότι ο εκτιμητής είναι αμερόληπτος (άρα και ασυμπτωτικά αμερόληπτος). Αποδεικνύεται ότι: N 1 1 k var( mˆ ( N)) 1 c( k) N kn1 N Για να ισχύει και η δεύτερη συνθήκη αρκεί: N 1 1 k lim 1 c( k) 0 N N kn1 N Θεώρημα 1: Ικανή και αναγκαία συνθήκη για να είναι η WSS τυχαία διαδικασία (n) με συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς τη μέση τιμή είναι: N 1 1 lim c( k) 0 N N k0 Θεώρημα : Ικανές συνθήκες για να είναι η WSS τυχαία διαδικασία (n) με συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς τη μέση τιμή είναι: c (0) lim c ( k) 0 k

46 Τυχαίες Διαδικασίες: Εργοδικότητα Αντίστοιχα, θέλουμε να εξετάσουμε την εκτίμηση της αυτοσυσχέτισης για μια ( ) { ( ) r ( )} k E n n k WSS διαδικασία,. Θεωρούμε τον εκτιμητή: N 1 1 rˆ ( k, N) ( n) ( n k) N n0 rˆ ( k, N) Αν η εκτίμηση συγκλίνει στην πραγματική τιμή υπό την έννοια του μέσου τετραγώνου, τότε η διαδικασία καλείται εργοδική ως προς την αυτοσυσχέτιση (autocorrelation ergodic). r ( ) k ˆ lim E{ r( k, N) r( k) } 0 N ˆ lim r ( k, N) r ( k) N Θεώρημα 3: Ικανή και αναγκαία συνθήκη για να είναι η WSS Gaussian τυχαία διαδικασία (n) με συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς την αυτοσυσχέτιση είναι: 1 lim ( k) 0 N N N 1 c k0

47 Τυχαίες Διαδικασίες: Φάσμα ισχύος Ονομάζουμε φασματική πυκνότητα ισχύος (power spectral density) ή φάσμα ισχύος (power spectrum) μιας WSS τυχαίας διαδικασίας (n) το μετασχηματισμό Fourier διακριτού χρόνου της συνάρτησης αυτοσυσχέτισης: jk j P( e ) r( k) e k Το φάσμα ισχύος εκφράζει την κατανομή της ισχύος της τυχαίας διαδικασίας στις διάφορες συχνότητες. 1 j jk r( k) P( e ) e d

48 Τυχαίες Διαδικασίες: Φάσμα ισχύος Το φάσμα ισχύος μιας WSS διαδικασίας έχει τις ακόλουθες ιδιότητες: Ιδιότητα 1: Συμμετρία. j j P( e ) P ( e ) Το φάσμα έχει πραγματικές τιμές. Ιδιότητα : Θετικές τιμές. P( e j ) 0 Ιδιότητα 3: Συνολική ισχύς μιας WSS διαδικασίας μηδενικής μέσης τιμής. j E{ n ( ) } P ( e ) d 1 Ιδιότητα 4: Οι ιδιοτιμές του πίνακα αυτοσυσχέτισης μιας WSS διαδικασίας μηδενικής μέσης τιμής φράσσονται άνω και κάτω από τη μέγιστη και την ελάχιστη τιμή του φάσματος: j j min P( e ) ma P( e ) i

49 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Έστω (n) μια τυχαία διαδικασία WSS με μέση τιμή και αυτοσυσχέτιση Το διακριτό σήμα (n) διέρχεται από ένα ευσταθές ΓΧΑ σύστημα με κρουστική απόκριση h(n). m r ( ). k ( n ) hn ( ) yn ( ) Θέλουμε να μελετήσουμε τα στατιστικά χαρακτηριστικά (μέση τιμή, διασπορά, αυτοσυσχέτιση, φάσμα ισχύος) του σήματος εξόδου. Καταρχήν, είναι το σήμα εξόδου y(n) τυχαία διαδικασία; ΝΑΙ διότι προκύπτει ως μία συνάρτηση της τυχαίας διαδικασίας (n): y( n) g[ n ( )] n ( ) hn ( ) hkn ( ) ( k) k συνέλιξη

50 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Υπολογίζουμε τη μέση τιμή της εξόδου: E{ y( n)} E{ hkn ( ) ( k)} hken ( ) { ( k)} k k hkm ( ) m hk ( ) m hke ( ) k k k WSS διαδικασία, άρα ανεξάρτητο του n-k jk 0 j mhe ( ) 0 = 1 Διαπιστώνουμε ότι, η μέση τιμή της εξόδου είναι σταθερά (ανεξάρτητη του n) και σχετίζεται με τη μέση τιμή της εισόδου μέσω ενός πολλαπλασιαστικού παράγοντα, ο οποίος είναι η απόκριση συχνότητας του συστήματος στη συχνότητα ω = 0.

51 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Υπολογίζουμε την ετεροσυσχέτιση μεταξύ εξόδου και εισόδου: r ( k,) l E{ y( k) ()} l E{[ h( m)( km)] ()} l y hmek ( ) { ( m ) ( l)} h( mr ) ( kml) m m hmr ( ) ( k lm) m m WSS διαδικασία, άρα εξαρτάται από τη διαφορά k-m-l Διαπιστώνουμε ότι, η ετεροσυσχέτιση εξαρτάται από τη διαφορά k-l. Αν k - l = n, τότε: r ( ln, l) h( m) r ( nm) h( n) r ( n) y m r ( l n, l) r ( n) h( n) r ( n) y y

52 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Υπολογίζουμε την αυτοσυσχέτιση της εξόδου: r ( nk, n) E{ y( nk) y ( n)} E{ y( nk)[ h ( l) ( nl)]} y E{ h () l y( nk) ( nl)} h () l E{ y( nk) ( nl)} l l h () l r ( kl) y h ( k) r ( k) h ( k) r ( k) y y l l Διαπιστώνουμε ότι η αυτοσυσχέτιση εξαρτάται από το lag k. Δείξαμε ότι εξαρτάται από το lag r ( nk, n) r ( k) h ( k) h( k) r ( k) y y

53 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Δείξαμε ότι για την τυχαία διαδικασία y(n) ισχύει: 1. Η μέση τιμή της εξόδου είναι σταθερή, ανεξάρτητη του χρόνου:. Η αυτοσυσχέτιση εξαρτάται μόνο από τo lag: r ( n k, n) r ( k) y y m ( n) m Επιπλέον: Αφού η διαδικασία (n) είναι WSS, δηλαδή, σημαίνει ότι η είσοδος είναι φραγμένη: ( n) Αφού το σύστημα h(n) είναι ευσταθές, και η έξοδος είναι φραγμένη: y( n) y y 3. Άρα, η διασπορά της εξόδου είναι φραγμένη: ( n ) y c (0) y Από 1,,3 συμπεραίνουμε ότι η έξοδος y(n)είναι WSS τυχαία διαδικασία. Επιπλέον, αφού η είσοδος (n) και η έξοδος y(n) είναι WSS τυχαίες διαδικασίες και η ετεροσυσχέτιση r y εξαρτάται από τo lag από κοινού WSS τυχαίες διαδικασίες. r ( n k, n) r ( k) y y είναι και

54 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Υπολογίζουμε τη διασπορά της εξόδου: ( n) E{ y( n) y ( n)} m ( n) m ( n) y y y E{ y( n0) y ( n)} m ( n0) m ( n) y y r ( 0) m m c ( 0) y y y y ανεξάρτητο του n όπου: y 0 k0 l r ( ) h ( k) h( k) r ( k) h ( k) [ h( l) r ( kl)] m l k0 m l [ hlr ( ) ( ml)] h( km) hlr ( ) ( mlh ) ( m) k0

55 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Έστω ότι το σύστημα έχει πεπερασμένη κρουστική απόκριση: h h(0) h(1) h( N 1) T Η ισχύς εξόδου είναι: N1 N1 y 0 m0 l0 { y( n) } { y( n) y ( n)} r ( ) h ( m) h( l) r ( ml) N 1 m0 h ( m) u( m) H h u um ( ) H h u u(0) T u(1) h (0) h (1) h ( N 1) un ( 1) u

56 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών...συνέχεια: T T um ( ) hr( m) r ( m) h Τελικά: h(0) T h(1) u( m) r( m) r( m1) r( mn 1) hn ( 1) T r ( m) u(0) r(0) r( 1) r( N 1) H u(1) H r(1) r(0) r( N ) { yn ( ) } h h h un ( 1) r( N 1) r( N ) r(0) r(0) r( 1) r( N 1) H r (1) r( 0) r( N ) H h hh R r( N 1) r ( N ) r(0) h

57 Τυχαίες Διαδικασίες: Φιλτράρισμα τυχαίων διαδικασιών Υπολογίζουμε το φάσμα εξόδου: j j j P ( e ) P( e ) H( e ) y Διαπιστώνουμε ότι το φάσμα εξόδου ισούται με το φάσμα εισόδου πολλαπλασιασμένο με το τετράγωνο του μέτρου της συνάρτησης μεταφοράς του συστήματος. Μια WSS διαδικασία u(n) ονομάζεται λευκός θόρυβος (white noise) με μέση τιμή m u και διασπορά αν η αυτοσυσχέτιση είναι μηδενική για όλα τα lag εκτός από μηδέν: u r k u( ) u ( k) P( e j ) u u