Στοχαστικά Σήματα και Τηλεπικοινωνιές

Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 3: Τυχαίες Διαδικασίες Διακριτού Χρόνου Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ και Πληροφορικής

Σκοποί ενότητας Εισαγωγή στις βασικές έννοιες των τυχαίων μεταβλητών και διαδικασιών.

Περιεχόμενα ενότητας Τυχαίες μεταβλητές Βασικοί ορισμοί (Από κοινού) Μέσοι όροι Ανεξαρτησία, συσχέτιση και ορθογωνιότητα Η περίπτωση Gauss Εκτίμηση παραμέτρων Τυχαίες διαδικασίες Βασικοί ορισμοί Μέσοι όροι Η περίπτωση Gauss Στασιμότητα και εργοδικότητα Φάσμα ισχύος και παραγωντοποίηση Φιλτράρισμα Μοντέλα ARMA Το παράδειγμα της αρμονικής διαδικασίας 3

Τυχαίες Μεταβλητές

Τυχ. Μεταβλητές Βασικοί Ορισμοί (1/5) Θεωρούμε το πείραμα της ρίψης ενός νομίσματος. Το πείραμα έχει δύο πιθανές εκβάσεις: Κ = "κορόνα" Γ = "γράμματα" Θεωρούμε ότι οι δύο εκβάσεις του πειράματος είναι ισοπίθανες, δηλαδή το νόμισμα μπορεί να δώσει Κ ή Γ με την ίδια πιθανότητα. Έστω ότι καταμετρούμε τα συνεχή αποτελέσματα ρίψης του νομίσματος. Για παράδειγμα, ρίχνουμε το νόμισμα Ν φορές, και έστω ότι μετράμε Ν Κ φορές κορόνα και Ν Γ φορές γράμματα. Για μεγάλο αριθμό Ν αναμένουμε: N K N 0.5 και N Γ Ν 0.5 Καθώς και πιθανότητα εμφάνισης Κ ή Γ: P{Κ} 0.5 και P{Γ} 0.5 5

Τυχ. Μεταβλητές Βασικοί Ορισμοί (/5) Ονομάζουμε το σύνολο όλων των πειραματικών αποτελεσμάτων ως δειγματικό χώρο (sample space) και συμβολίζουμε Ω: K, Pr 1 Κάθε υποσύνολο του δειγματικού χώρου ονομάζεται ενδεχόμενο (event) και το συμβολίζουμε ως ω: K 1 Ένα υποσύνολο που περιλαμβάνει μόνο ένα στοιχείο ονομάζεται στοιχειώδες ενδεχόμενο (elementary event). Ο δειγματικός χώρος καλείται και βέβαιο ενδεχόμενο. Ο δειγματικός χώρος n στοιχείων έχει n υποσύνολα. Για παράδειγμα: { },{ K},{ Γ},{ K, Γ} 6

Τυχ. Μεταβλητές Βασικοί Ορισμοί (3/5) Ορίζουμε την τυχαία μεταβλητή ως εξής: όταν το αποτέλεσμα του πειράματος είναι Κ, θέτουμε = +1, ενώ όταν είναι Γ, = 1. R 1 K f Δηλαδή, ορίσαμε μια αντιστοίχηση (συνάρτηση) των στοιχείων του δειγματικού χώρου Ω και ενός υποσυνόλου των πραγματικών αριθμών. 1 { K} Pr 1 0.5 f( ) 1 { } Pr 1 0.5 1 1 επιπλέον Pr 0, όπου 1, και Pr 1 1 7

Τυχ. Μεταβλητές Βασικοί Ορισμοί (4/5) Για την τυχαία μεταβλητή, έχουμε ως πεδίο ορισμού ένα δειγματικό χώρο, π.χ. Ω = {Κ, Γ}, και ως πεδίο τιμών ένα υποσύνολο των πραγματικών αριθμών, π.χ. R ±1. Αν ο δειγματικός χώρος αποτελείται από διακριτά ενδεχόμενα, η τυχαία μεταβλητή ονομάζεται διακριτή τυχαία μεταβλητή. Ο χαρακτηρισμός μιας τυχαίας μεταβλητής δίνεται στατιστικά μέσω της ανάθεσης πιθανοτήτων (νόμος πιθανότητας) στις τιμές της μεταβλητής. Δηλαδή, ο νόμος πιθανοτήτων είναι ένας κανόνας, ο οποίος αντιστοιχίζει έναν αριθμό (πιθανότητα) σε κάθε συμβάν. Ένας νόμος πιθανότητας ικανοποιεί τα παρακάτω αξιώματα: A A Pr 0 Pr 1 Pr A A Pr A Pr A A, A : A A 1 1 1 1 8

Τυχ. Μεταβλητές Βασικοί Ορισμοί (5/5) Στην επεξεργασία σήματος, ενδιαφερόμαστε κυριώς για έναν πιθανοτικό νόμο, ο οποίος εφαρμόζεται κατευθείαν στην τυχαία μεταβλητή και όχι στα ενδεχόμενα ενός δειγματικού χώρου. Ορίζουμε τη συνάρτηση κατανομής πιθανότητας (probability distribution function) ως F a = Pr{ a}. Για την ρίψη ζαριού: d f( a) F( a) da 0 a 1 F ( a) 0.5 1 a 1 1 1 a Ορίζουμε τη συνάρτηση πυκνότητας πιθανότητας (probability density function): 1 f ( a) da Pr{ } 1 9

Τυχ. Μεταβλητές Μέσοι όροι (1/) Ονομάζουμε μέση (mean) ή αναμενόμενη (epected) τιμή μιας διακριτής τυχαίας μεταβλητής που λαμβάνει μια τιμή α k με πιθανότητα P = a k ως: k Pr k ( ) E m a a k E af a da Η μέση τιμή μιας συνάρτησης g() της τυχ. μεταβλητής είναι: E{ g( )} g( a) f ( a) da Ονομάζουμε μέση τετραγωνική τιμή (mean square value): E{ } Ονομάζουμε διασπορά (variance) της τυχαίας μεταβλητής, ως τη μέση τετραγωνική τιμή της τυχαίας μεταβλητής y = m : var( ) ( ) ( ) ( ) E m a m f a da 10

Τυχ. Μεταβλητές Μέσοι όροι (/) Η τετραγωνική ρίζα της διασποράς ονομάζεται τυπική απόκλιση (standard deviation): σ Για τον τελεστή Ε ισχύει η ιδιότητα της γραμμικότητας: E{ a by} ae{ } be{ y} Παράδειγμα υπολογισμών για τον υπολογισμό της διασποράς: var( ) E{( m) } E{ m m} E E E { } { m} { m} E{ } m E{ } m μέση τετραγωνική τιμή E{} m 11

Τυχ. Μεταβλητές Από κοινού μέσοι όροι (1/) Ορίζουμε τη συσχέτιση (correlation) δύο μεταβλητών και y: ry E y Ορίζουμε τη συνδιασπορά (covariance) δύο μεταβλητών και y: c cov(, y) E ( m )( y m ) y y * cov(, y) E ( m )( y m ) y E y m y m m m y m y E y E E y m r m m y y y m m y Αν m ή m y είναι ίσα με το μηδέν, τότε η συνδιασπορά ισούται με τη συσχέτιση. 1

Τυχ. Μεταβλητές Από κοινού μέσοι όροι (/) Ορίζουμε το συντελεστή συσχέτισης (correlation coefficient) δύο τυχαίων μεταβλητών και y: cov( y, ) 1 y Γενικά ορίζουμε τις ποσότητες (τάξης (order) k + r): Ροπές E{ k } και από κοινού ροπές E k y r y Κεντρικές ροπές E{ m k } και από κοινού κεντρικές ροπές E{ m k y m y r } Άρα, η μέση τιμή E είναι ροπή 1 ης τάξης, η μέση τετραγωνική τιμή E{ } είναι ροπή ης τάξης, η διασπορά E{ m } είναι κεντρική ροπή ης τάξης και η συνδιασπορά E m (y m y ) είναι από κοινού κεντρική ροπή ης τάξης. y 13

Τυχ. Μεταβλητές Ανεξαρτησία, συσχέτιση, ορθογωνιότητα (1/) Όταν η τιμή μιας τυχαίας μεταβλητής δεν εξαρτάται από την τιμή μιας άλλης τυχαίας μεταβλητής y, τότε οι και y είναι στατιστικά ανεξάρτητες (statistically independent). Δύο μεταβλητές και y είναι στατιστικά ανεξάρτητες αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι διαχωρίσιμη: f, y( a, b) f( a) f y( b) E{ y } r E{ } E{ y } y cov(, y) r E{ } E{ y } 0 y cov( y, ) y 0 Δύο τυχαίες μεταβλητές και y που ικανοποιούν την παραπάνω σχέση ονομάζονται ασυσχέτιστες (uncorrelated). y 14

Τυχ. Μεταβλητές Ανεξαρτησία, συσχέτιση, ορθογωνιότητα (/) Δύο τυχαίες μεταβλητής που είναι στατιστικά ανεξάρτητες είναι ασυσχέτιστες. Το αντίστροφο γενικά δεν ισχύει. Για τις ασυσχέτιστες τυχαίες μεταβλητές ισχύει η ιδιότητα: var( y) var( ) var( y) Δύο τυχαίες μεταβλητές και y ονομάζονται ορθογώνιες (orthogonal) αν έχουν μηδενική συσχέτιση: r 0 y Δύο τυχαίες μεταβλητές που είναι ορθογώνιες δεν είναι απαραίτητα ασυσχέτιστες. Δυο ασυσχέτιστες τυχαίες μεταβλητές, όπου η μία τουλάχιστον έχει μηδενική μέση τιμή είναι και ορθογώνιες. 15

Τυχ. Μεταβλητές Gaussian (1/3) Μια τυχαία μεταβλητή ονομάζεται Gaussian ή κανονική (normal) τυχαία μεταβλητή με μέση τιμή m και διασπορά σ όταν η συνάρτηση πυκνότητας πιθανότητας είναι: 1 f( a) e ( am ) Δύο τυχαίες μεταβλητές ονομάζονται από κοινού Gaussian τυχαίες μεταβλητές (με συντελεστή συσχέτισης ρ y ) όταν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: 1 fy, ( a, b) e 1 y y 1 ( am )( bm ) ( bm ) ( am ) y y y y y y (1 ) H συνάρτηση πικνότητας πιθανότητας ορίζεται πλήρως αν γνωρίζουμε τις μέσες τιμές, διασπορές και συντελεστή συσχέτισης (κατά περίπτωση). 16

Τυχ. Μεταβλητές Gaussian (/3) probability density function 0.4 0. f a = 1 πσ var=1 var=4 0-5 0 5 10 15 1 m 5 17

Τυχ. Μεταβλητές Gaussian (ιδιότητες) (3/3) Αν και y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε για κάθε σταθερά a και b, η τυχαία μεταβλητή z = a + by είναι Gaussian με μέση τιμή και διασπορά: m am bm z y a b ab z y y y cov( y, ) Αν δύο από κοινού Gaussian τυχαίες μεταβλητές και y είναι ασυσχέτιστες, δηλαδή ρ y = 0, τότε είναι και στατιστικά ανεξάρτητες, δηλαδή, f y a, b = f a f y b. Αν και y είναι από κοινού Gaussian τυχαίες μεταβλητές, τότε ο βέλτιστος μη γραμμικός εκτιμητής για το y, δηλαδή y = g(), ο οποίος ελαχιστοποιεί το μέσο τετραγωνικό σφάλμα ξ = E{ y y } είναι ένας γραμμικός εκτιμητής: y = a + b. 18

Τυχ. Μεταβλητές Εκτίμηση Παραμέτρων (1/3) Στην επεξεργασία σήματος χρειάζεται συχνά να εκτιμήσουμε την τιμή μιας άγνωστης παραμέτρου ενός σήματος από ένα σύνολο παρατηρήσεων, τις οποίες χειριζόμαστε ως δείγματα μιας τυχαίας μεταβλητής. Η εκτίμηση είναι επίσης μια τυχαία μεταβλητή εφόσον είναι μια συνάρτηση των παρατηρήσεων. Για την αξιολόγηση ενός εκτιμητή (συνάρτηση εκτίμησης), ζητούμενο είναι οι στατιστικές του ιδιότητες. Για την εκτίμηση της τιμής της παραμέτρου θ από μια ακολουθία τιμών (τυχαίες μεταβλητές) n (n = 1,,, N), χρησιμοποιούμε τον εκτιμητή θ N. Γενικά, θέλουμε η εκτίμηση να είναι κατά μέσο όρο ίση με την πραγματική τιμή, δηλαδή, E θ N = θ. Ονομάζουμε τη διαφορά ανάμεσα στην πραγματική και τη μέση εκτιμώμενη τιμή ως στατιστική απόκλιση (bias) και συμβολίζουμε: ˆ { } B N 19

Τυχ. Μεταβλητές Εκτίμηση Παραμέτρων (/3) Αν η απόκλιση είναι μηδενική, δηλαδή E θ N = θ, τότε ο εκτιμητής ονομάζεται αμερόληπτος (unbiased). Αν o εκτιμητής θ N δεν είναι αμερόληπτος, όμως η απόκλιση τείνει στο μηδέν καθώς το πλήθος των παρατηρήσεων τείνει στο άπειρο, τότε ο εκτιμητής ονομάζεται ασυμπτωτικά αμερόληπτος (asymptotically unbiased): lim { ˆ N} N Από μόνη της η ιδιότητα της αμεροληψίας ή ασυμπτωτικής αμεροληψίας ενός εκτιμητή, δεν εξασφαλίζει τη σύγκλιση της εκτίμησης στην πραγματική τιμή (την εξασφαλίζει μόνο κατά μέσο όρο). Δηλαδή, δεν εξασφαλίζει ότι η ακρίβεια της μέτρησης βελτιώνεται καθώς ο αριθμός των παρατηρήσεων αυξάνει. Για να συμβαίνει αυτό, θα πρέπει η διασπορά της εκτίμησης να τείνει στο μηδέν, καθώς το πλήθος των παρατηρήσεων τείνει στο άπειρο: lim N var( θ N ) = lim N E θ N E θ N = 0 0

Τυχ. Μεταβλητές Εκτίμηση Παραμέτρων (3/3) Για έναν αμερόληπτο εκτιμητή ισχύει η παρακάτω ανισότητα του Chebyshev: ˆ ˆ var( N ) Pr{ N } Δηλαδή, αν η διασπορά της εκτίμησης τείνει στο μηδέν για N, τότε η ποσότητα στο δεύτερο μέρος της παραπάνω ανισότητας τείνει στο μηδέν για οποιαδήποτε τιμή ε 0, και συνεπώς, η πιθανότητα να διαφέρει η εκτίμηση θ N περισσότερο από ε από την πραγματική τιμή τείνει επίσης στο μηδέν. Ένας εκτιμητής ονομάζεται συνεπής (consistent) αν είναι ασυμπτωτικά αμερόληπτος, δηλαδή lim E θ N = θ, και η διασπορά τείνει στο μηδέν, N δηλαδή lim var θ N = 0 N 1

Τυχ. Μεταβλητές Εκτιμητής μέσης τιμής (1/) Έστω η τυχαία μεταβλητή με μέση τιμή m και διασπορά σ. Θεωρούμε ένα σύνολο από N παρατηρήσεις της τυχαίας μεταβλητής, τις οποίες θεωρούμε ασυσχέτιστες. Συμβολίζουμε τις παρατηρήσεις ως n. Κατασκευάζουμε τον ακόλουθο εκτιμητή για τη μέση τιμή: mˆ 1 N N n 1 n Υπολογίζουμε τη μέση τιμή του εκτιμητή: N N N 1 1 1 E{ mˆ } E{ } E{ } m m n n N n1 N n1 N n1 Αφού E m = m, ο εκτιμητής είναι αμερόληπτος.

Τυχ. Μεταβλητές Εκτιμητής μέσης τιμής (/) Από τον ακόλουθο υπολογισμό της διασπορά του εκτιμητή προκύπτει ότι είναι συνεπής: N var( mˆ ˆ ˆ ) E{( m E{ m}) } E{( n m) } N n1 N N N 1 1 E{ } nm m n m N n1 m1 N n1 N N N 1 1 { } { } E nm m En m N n1 m1 N n1 N N N 1 [ E { nm } E { n} ] m m N n1 m1, mn n1 uncorrelated 1 NE{ [( N N ) n} Nm m NE{ n}] m N E{ n} m lim var( mˆ ) 0 N N N 1 N 3

Τυχαίες Διαδικασίες

Τυχ. Διαδικασίες Βασικοί Ορισμοί (1/6) Ορίζουμε ως τυχαία διαδικασία (random process) ή στοχαστική διαδικασία (stochastic process) ή τυχαίο σήμα (random signal) μια συλλογή από σήματα, δηλαδή συναρτήσεις στο χρόνο, τα οποία αντιστοιχούν σε διαφορετικά αποτελέσματα ενός πειράματος. Δηλαδή, δοθέντος ενός δειγματικού χώρου Ω = ω M i i=1, σε κάθε συμβάν ω i αντιστοιχεί ένα σήμα (t; ω i ) το οποίο έχει πιθανότητα Pr{ω i }. Ως παράδειγμα, θεωρούμε το πείραμα ρίψης ενός ζαριού. Οι πιθανοί αριθμοί του ζαριού ορίζουν το Ω = 1,,, 6. Θεωρούμε επίσης όλα τα αποτελέσματα ισοπίθανα, δηλαδή Pr ω = i = 1 για κάθε i = 1,,, 6. 6 Τέλος, ορίζουμε την τυχαία διαδικασία: t; ω i = Asin(πf c t + φ i ), όπου φ i = π ω i Pr φ i = π ω i = 1 6, i. 5

Τυχ. Διαδικασίες Βασικοί Ορισμοί (/6) amplitude 1 0.5 0 phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 ( t; ) Asin( f t ) i c i -0.5 A 1; % amplitude (Volt) f c 100; % frequency (Hz) -1 0 0.005 0.01 0.015 0.0 time 6

Τυχ. Διαδικασίες Βασικοί Ορισμοί (3/6) Κάθε μια από τις συναρτήσεις (t; ω i ) ονομάζεται συνάρτηση δείγμα (sample function) ή πραγματοποίηση (realization) της τυχαίας διαδικασίας. Για κάθε χρονική στιγμή t 0, έχουμε Ν διαφορετικές πιθανές τιμές (t 0 ; ω i ). Οι τιμές αυτές συμβολίζονται γενικά t 0 και αποτελούν στην ουσία μια τυχαία μεταβλητή. Δηλαδή, σε κάθε χρονική στιγμή, η τιμή μιας τυχαίας διαδικασίας είναι μια τυχαία μεταβλητή. Άρα, μια τυχαία διαδικασία είναι μια συλλογή από τυχαίες μεταβλητές, t 0, t 1, t, και γενικά γράφουμε t, t D. Όταν αναφερόμαστε σε τυχαίες διαδικασίες διακριτού χρόνου το σύνολο D ταυτίζεται με το σύνολο των ακεραίων και γράφουμε n. i= 7

Τυχ. Διαδικασίες Βασικοί Ορισμοί (4/6) 1 0.5 X (30) phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 amplitude 0 X ( n) Asin( f nt ) c s -0.5 A 1; % amplitude (Volt) f c 100; % frequency (Hz) -1 0 40 60 80 samples 8

Τυχ. Διαδικασίες Βασικοί Ορισμοί (5/6) Συνεπώς, μια διακριτή τυχαία διαδικασία είναι μια αντιστοίχηση των στοιχείων ενός δειγματικού χώρου (εκβάσεις ενός πειράματος) σε μια συλλογή από σήματα διακριτού χρόνου (ακολουθίες διακριτών τυχαίων μεταβλητών). ( n) 1 1 i f n ( 0) n ( 1) n ( )... ( n) i ακολουθία τυχαίων μεταβλητών 9

Τυχ. Διαδικασίες Βασικοί Ορισμοί (6/6) Σε κάθε τυχαία μεταβλητή της ακολουθίας αντιστοιχεί μια συνάρτηση κατανομής πιθανότητας και μια συνάρτηση πυκνότητας πιθανότητας: ( ) Pr ( ) ( ) d Fn a n a f( n) ( a) F ( n) ( a) da Για να χαρακτηρίσουμε πλήρως την τυχαία διαδικασία χρειαζόμαστε την από κοινού συνάρτηση κατανομής (ή πυκνότητας) πιθανότητας: 0 1 F ( a, a,, a ) Pr ( n ) a, ( n ) a,, ( n ) a ( n ), ( n ),, ( n ) 0 1 N 0 0 1 1 N N N Μας δίνει πληροφορία για το πως οι τυχαίες μεταβλητές αλληλοεξαρτώνται. 30

Τυχ. Διαδικασίες Μέσοι όροι (1/5) Ορίσαμε την τυχαία διαδικασία ως μια αριθμημένη ακολουθία τυχαίων μεταβλητών n n=. Συνεπώς, για κάθε n μπορούμε να υπολογίσουμε τη μέση τιμή και τη διασπορά της τυχαίας μεταβλητής (n). Ορίζουμε ως μέσο όρο της τυχαίας διαδικασίας την ντετερμινιστική ακολουθία: m ( ) { ( )} n E n Ορίζουμε ως διασπορά της τυχαίας διαδικασίας την ντετερμινιστική ακολουθία: ( n) E{[ ( n) m ( n)] } Παρατηρούμε ότι η μέση τιμή και η διασπορά εξαρτώνται από το n. 31

Τυχ. Διαδικασίες Μέσοι όροι (/5) 1 0.5 X (30) phi=180 phi=90 phi=60 phi=45 phi=36 phi=30 amplitude 0-0.5 m ( ) { ( )} n E n -1 0 40 60 80 samples 3

Τυχ. Διαδικασίες Μέσοι όροι (3/5) Ορίζουμε τη συνάρτηση αυτοσυσχέτισης (autocorrelation) μιας τυχαίας διαδικασίας: (, ) { ( ) r ( )} k l E k l Ορίζουμε τη συνάρτηση αυτοσυνδιασποράς (autocovariance) μιας τυχαίας διαδικασίας: c k l E k m k l m l * (, ) {[ ( ) ( )][ ( ) ( )] } c ( k, l) E{[ ( k) m ( k)][ ( l) m ( l)]} E{ ( k) ( l) ( k) m ( l) m ( k) ( l) m ( k) m ( l) } E{ ( k) ( l)} E{ ( k)} m ( l) m ( k) E{ ( l)} m ( k) m ( l) r ( k, l) m ( km ) ( l) Αν m (n) = 0, τότε η αυτοσυνδιασπορά ισούται με την αυτοσυσχέτιση. 33

Τυχ. Διαδικασίες Μέσοι όροι (4/5) Ορίζουμε τη συνάρτηση ετεροσυσχέτισης (cross-correlation) μεταξύ δύο τυχαίων διαδικασιών (n) και y(n): (, ) { ( ) r ( )} y k l E k y l Ορίζουμε τη συνάρτηση ετεροσυνδιασποράς (cross-covariance) μεταξύ δύο τυχαίων διαδικασιών (n) και y(n): c y k, l = E k m k y l m y l = ry k, l m k m y (l) Όταν c y k, l = 0, δηλαδή r y k, l = m k m y (l) για κάθε k και l, τότε οι δύο διαδικασίες ονομάζονται ασυσχέτιστες (uncorrelated). Όταν r y k, l = 0 για κάθε k και l, τότε οι δύο τυχαίες διαδικασίες ονομάζονται ορθογώνιες (orthogonal). 34

Τυχ. Διαδικασίες Μέσοι όροι (5/5) un ( ) n ( ) yn ( ) Ως παράδειγμα, θεωρούμε το σήμα (n) το οποίο παραμορφώνεται από προσθετικό θόρυβο u(n). Γενικά, ο θόρυβος μοντελοποιείται ως μια τυχαία διαδικασία. Επίσης, θεωρούμε ότι ο θόρυβος έχει μηδενική μέση τιμή και ότι είναι ασυσχέτιστος με το σήμα (n). Η έξοδος είναι y n = n + u(n). r y k, l = E y k y l = E k + u(k) l + u(l) = E k + u(k) l + u(l) = E k l + E k u l + E u k l + E u k u l r (, ) k l r ( k, l) m ( k) m ( l) 0 u u r (, ) u k l 35

Τυχ. Διαδικασίες Gaussian Έστω ένα διάνυσμα από N (πραγματικές) τυχαίες μεταβλητές = 1,,, N T, μέση τιμή m = m 1, m,, m N T (το διάνυσμα με στοιχεία τη μέση τιμή των τυχαίων μεταβλητών n ) και πίνακα συνδυασποράς C (δηλαδή, ένας συμμετρικός πίνακας θετικά ορισμένος με στοιχεία τις τιμές συνδιασποράς μεταξύ των τυχαίων μεταβλητών n, δηλαδή c i,j = E{( i m i )( j m i )}. Το διάνυσμα ονομάζεται Gaussian τυχαίο διάνυσμα και οι μεταβλητές n ονομάζονται από κοινού Gaussian τυχαίες μεταβλητές, αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: f = 1 π N det C e 1 m T C 1 m Μια τυχαία διαδικασία διακριτού χρόνου ονομάζεται Gaussian, αν κάθε ακολουθία δειγμάτων (n) της τυχαίας διαδικασίας είναι από κοινού Gaussian τυχαίες μεταβλητές. 36

Τυχ. Διαδικασίες Στασιμότητα (1/6) Η έννοια της στασιμότητας μιας τυχαίας διαδικασίας συνδέεται με την έννοια της "στατιστικής χρονικής σταθερότητας", δηλαδή όταν οι στατιστικές ιδιότητες ή οι μέσοι όροι της τυχαίας διαδικασίας είναι ανεξάρτητες του χρόνου. Μια συνάρτηση πυκνότητας πιθανότητας f n (a) μιας τυχαίας διαδικασίας (n) είναι ανεξάρτητη του χρόνου, όταν: f ( a) f ( a), k ( n) ( nk ) Αν ισχύει το παραπάνω, η διαδικασία ονομάζεται στάσιμη (stationary) διαδικασία 1 ης τάξης και γράφουμε: m ( n) m και ( n) 37

Τυχ. Διαδικασίες Στασιμότητα (/6) H από κοινού συνάρτηση πυκνότητας πιθανότητας f n1, n (a 1, a ) είναι ανεξάρτητη του χρόνου όταν f ( a, a ) f ( a, a ), k ( n ), ( n ) 1 ( n k ), ( n k ) 1 1 1 Αν ισχύει το παραπάνω, η διαδικασία n ονομάζεται στάσιμη διαδικασία ης τάξης και ισχύει: r ( k, l) r ( k n, l n) E{ ( k) ( l)} E{ ( k n) ( l n)} r ( k, l) r ( n, n ( k l)) r ( k l) Οπότε, η αυτοσυσχέτιση εξαρτάται μόνο από τη διαφορά k l, η οποία ονομάζεται lag. Αν μία διαδικασία είναι στάσιμη ης τάξης, τότε είναι και 1 ης τάξης. 38

Τυχ. Διαδικασίες Στασιμότητα (3/6) Παρατηρούμε ότι: r ( k, l) r ( k l,0) r ( k l) c ( k, l) r ( k, l) m ( k) m ( l) r ( k l) m ( k) m ( l) r ( k l) m m c ( k l) r ( k, l) r ( k n, l n) E{ ( k n) ( l n)} E{ ( n) ( n ( k l))} r ( k l) Η διαδικασία είναι στάσιμη ης τάξης. Συνεπώς, είναι και στάσιμη 1ης τάξης. Άρα και η συνδιασπορά εξαρτάται μόνο από το lag. c (0) r (0) m m E{ ( n) ( n)} m m E n m n { ( ) } ( ) 39

Τυχ. Διαδικασίες Στασιμότητα (4/6) Γενικά, ορίζουμε ότι μια διαδικασία είναι στάσιμη L τάξης όταν οι διαδικασίες (n) και (n + k) έχουν τις ίδιες από κοινού συναρτήσεις πυκνότητας πιθανότητας L τάξης. Μία διαδικασία που είναι στάσιμη για όλες τις τάξεις L > 0, ονομάζεται αυστηρά στάσιμη (stationary in the strict sense). Πολύ αυστηρή συνθήκη, που σπάνια συναντάται σε πρακτικά προβλήματα. Μία διαδικασία ονομάζεται στάσιμη υπό την ευρεία έννοια (WSS: wide sense stationary), αν ικανοποιούνται οι εξής τρεις συνθήκες: Η μέση τιμή είναι μία σταθερά, ανεξάρτητη του χρόνου: m n = m. Η αυτοσυσχέτιση r k, l εξαρτάται μόνο από τη χρονική διαφορά k l. Η διασπορά είναι πεπερασμένη: c 0 <. 40

Τυχ. Διαδικασίες Στασιμότητα (5/6) Παρατηρείστε ότι οι παραπάνω συνθήκες αφορούν στατιστικά πρώτης και δεύτερης τάξης μόνο. Για Gaussian τυχαίες διαδικασίες, η στασιμότητα υπό την ευρεία έννοια είναι ισοδύναμη με την αυστηρή στασιμότητα. Δύο τυχαίες διαδικασίες και y ονομάζονται από κοινού WSS αν κάθε μια είναι WSS και επιπλέον η συνάρτηση ετεροσυσχέτισης r y k, l εξαρτάται μόνο από τη διαφορά k l, δηλαδή: r ( k, l) r ( k n, l n) r ( k l) y y y 41

Τυχ. Διαδικασίες Στασιμότητα (6/6) Η συνάρτηση αυτοσυσχέτισης r (k) μιας WSS διαδικασίας παρουσιάζει τις ακόλουθες ιδιότητες: Ιδιότητα συμμετρίας: r ( k) r ( k) Ιδιότητα μέσης τετραγωνικής τιμής: Ιδιότητα μέγιστης τιμής: r E n (0) { ( ) } 0 r ( k) r (0) Ιδιότητα περιοδικότητας: Αν ισχύει r k 0 = r 0 για κάποια τιμή k 0, η συνάρτηση αυτοσυσχέτισης είναι περιοδική με περίοδο k 0. 4

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (1/6) Έστω ένα σύνολο από παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή έστω ότι λαμβάνουμε τις p + 1 τιμές: (0), (1),, (p). Κατασκευάζουμε το διάνυσμα: = 0, 1,, p T. Στην συνέχεια κατασκευάζουμε τον πίνακα: H. H (0) (1) (0) (1) ( p) ( p) (0) (0) (0) (1) (0) ( p) (1) (0) (1) (1) (1) ( p) ( p) (0) ( p) (1) ( p) ( p) 43

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (/6) Θεωρούμε ότι η τυχαία διαδικασία είναι WSS: E{ (0) (0)} E{ (0) (1)} E{ (0) ( p)} H E{ (1) (0)} E{ (1) (1)} E{ (1) ( p)} E{ } E{ ( p) (0)} E{ ( p) (1)} E{ ( p) ( p)} E k l = r (k l) r (0) r ( 1) r ( p) H r (1) r (0) r (1 p) E{ } r ( p) r ( p 1) r (0) 44

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (3/6) r (0) r ( 1) r ( p) H r (1) r (0) r (1 p) E{ } r ( p) r ( p 1) r (0) r n = r n r n = r (n) Ιδιότητα Hermitian συμμετρίας r (0) r(1) r() r ( p) r(1) r(0) r (1) r ( p 1) H E{ } r () r ( 1) r (0) r ( p ) r ( p) r ( p 1) r ( p ) r (0) R Ο πίνακας R ονομάζεται πίνακας αυτοσυσχέτισης (autocorrelation matri). 45

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (4/6) Oρίζουμε τον πίνακα αυτοσυνδιασποράς (autocovariance matri). H C E{( m )( m ) } R m m H To διάνυσμα m, p + 1 θέσεων, περιέχει ως στοιχεία την μέση τιμή (σταθερά) της WSS διαδικασίας: m m m Όταν η διαδικασία έχει μηδενική μέση τιμή ισχύει: C = R. m 46

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (5/6) Ο πίνακας αυτοσυσχέτισης μιας WSS διαδικασίας έχει μερικές ενδιαφέρουσες ιδιότητες που ακολουθούν. (Ιδιότητα 1) Είναι μη αρνητικά ορισμένος: R 0 (Ιδιότητα ) Οι ιδιοτιμές του είναι πραγματικές και μη αρνητικές: λ k 0 (Ιδιότητα 3) Είναι Toeplitz. R r ( 0) r (1) r ( p1) r ( p) r (1) r (0) r ( p ) r ( p 1) R Toep r (0) r (1) r ( p) r ( p1) r ( p ) r (0) r (1) r ( p) r ( p1) r (1) r (0) 47

Τυχ. Διαδικασίες Πίνακας αυτοσυσχέτισης (6/6) (Ιδιότητα 4) Είναι ερμητιανός. R r(0) r (1) r( p) r(1) r(0) r ( p 1) r ( p) r ( p 1) r (0) R H ( r (0)) ( r (1) ) ( r ( p) ) r (0) r (1) r ( p) ( r ( 1) ) ( r (0)) ( r ( p1) ) r (1) r (0) r ( p 1) R ( r ( )) ( ( 1) ) ( (0)) r ( ) ( 1) (0) p r p r p r p r r (0) r (0) 48

Τυχ. Διαδικασίες Εργοδικότητα (1/6) Η μέση τιμή και η αυτοσυσχέτιση μιας τυχαίας διαδικασίας αποτελούν στατιστικούς μέσους όρους που αναφέρονται σε όλες τις συναρτήσεις δείγματα (πραγματοποιήσεις) της διαδικασίας. Στην πράξη έχουμε διαθέσιμο ένα σύνολο παρατηρήσεων από μία μόνο πραγματοποίηση της διαδικασίας, και από τις παρατηρήσεις αυτές καλούμαστε να εκτιμήσουμε τα παραπάνω μεγέθη. Έστω μια τυχαία διαδικασία για την οποία έχουμε μια συλλογή από L υλοποιήσεις, δηλαδή σήματα διακριτού χρόνου i (n) για i = 1,,, L. Στην περίπτωση αυτή θα μπορούσαμε να κάνουμε μια εκτίμηση της μέσης τιμής ως εξής: L 1 mˆ ( n) ( n) εξαρτάται από το n (και το L) L i 1 i 49

Τυχ. Διαδικασίες Εργοδικότητα (/6) ( n) 1 ( n) ( ) L n n 0 L 1 mˆ ( n ) ( n ) 0 i 0 L i 1 50

Τυχ. Διαδικασίες Εργοδικότητα (3/6) Όταν όμως έχουμε διαθέσιμη μόνο μία πραγματοποίηση της τυχαίας διαδικασίας, η παραπάνω εκτίμηση δεν έχει νόημα. Επειδή, έχουμε διαθέσιμες Ν παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή Ν δείγματα της συγκεκριμένης υλοποίησης, μια εκτίμηση της μέσης τιμής είναι η ακόλουθη: N 1 mˆ ( N) ( n) εξαρτάται από το Ν N n 1 1 3... N n ( ) Για να έχει νόημα ο εκτιμητής m (N) θα πρέπει η μέση τιμή της διαδικασίας να μην εξαρτάται από το n. Για παράδειγμα, αν η διαδικασία είναι WSS, τότε είναι m n = m. 51

Τυχ. Διαδικασίες Εργοδικότητα (4/6) Το ερώτημα που δημιουργείται είναι αν ο μέσος όρος m (N) συγκλίνει στην πραγματική μέση τιμή. Αν ο δειγματικός μέσος όρος m (N) μιας WSS διαδικασίας συγκλίνει στην πραγματική μέση τιμή υπό την έννοια του μέσου τετραγώνου, τότε η διαδικασία καλείται εργοδική ως προς τη μέση τιμή (ergodic in the mean). ˆ lim E{ m( N) m } 0 N ˆ lim m ( N) m N Ικανές και αναγκαίες συνθήκες για την ως άνω σύγκλιση (υπό την έννοια του μέσου τετραγώνου) είναι οι εξής (συνθήκες ενός συνεπή εκτιμητή): Aσυμπτωτικά αμεροληψία: lim N E m (N) = m Η διασπορά να τείνει στο μηδέν καθώς N : lim N var m (N) = 0 5

Τυχ. Διαδικασίες Εργοδικότητα (5/6) Από τον ορισμό του εκτιμητή m (N) προκύπτει ότι ο εκτιμητής είναι αμερόληπτος (άρα και ασυμπτωτικά αμερόληπτος). Αποδεικνύεται ότι: var m N = 1 N k= N+1 N 1 1 k c N k 1 Για να ισχύει και η δεύτερη συνθήκη αρκεί: lim N N k= N+1 N 1 1 53

Τυχ. Διαδικασίες Εργοδικότητα (6/6) Αντίστοιχα, θέλουμε να εξετάσουμε την εκτίμηση της αυτοσυσχέτισης για μια WSS διαδικασία, r k = E n n k. Θεωρούμε τον εκτιμητή: N 1 1 rˆ ( k, N) ( n) ( n k) N n0 Αν η εκτίμηση r (k, N) συγκλίνει στην πραγματική τιμή r k υπό την έννοια του μέσου τετραγώνου, τότε η διαδικασία καλείται εργοδική ως προς την αυτοσυσχέτιση (autocorrelation ergodic). ˆ lim E{ r( k, N) r( k) } 0 N ˆ lim r ( k, N) r ( k) N Θεώρημα 3: Ικανή και αναγκαία συνθήκη για να είναι η WSS Gaussian τυχαία διαδικασία (n) με συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς την αυτοσυσχέτιση είναι: 1 lim ( k) 0 N N N 1 c k0 54

Τυχ. Διαδικασίες Φάσμα ισχύος (1/) Ονομάζουμε φασματική πυκνότητα ισχύος (power spectral density) ή φάσμα ισχύος (power spectrum) μιας τυχαίας διαδικασίας (n) το μετασχηματισμό Fourier διακριτού χρόνου της συνάρτησης αυτοσυσχέτισης: jk j P( e ) r( k) e k 1 j jk r( k) P( e ) e d Το φάσμα ισχύος εκφράζει την κατανομή της ισχύος της τυχαίας διαδικασίας στις διάφορες συχνότητες. Χρησιμοποιώντας το μετασχηματισμό Z, ο ορισμός για το φάσμα ισχύος είναι: P( z) r( k) z k k 55

Τυχ. Διαδικασίες Φάσμα ισχύος (/) Το φάσμα ισχύος μιας WSS διαδικασίας έχει κάποιες ενδιαφέρουσες ιδιότητες που ακολουθούν. (Ιδιότητα 1) Συμμετρία: P e jω = P e jω Δηλαδή το φάσμα έχει πραγματικές τιμές. (Ιδιότητα ) Θετικές τιμές: P e jω > 0 (Ιδιότητα 3) Συνολική ισχύς μιας WSS διαδικασίας μηδενικής μέσης τιμής. 1 j E{ ( n) } P ( e ) d (Ιδιότητα 4) Οι ιδιοτιμές του R μιας WSS διαδικασίας μηδενικής μέσης τιμής φράσσονται άνω και κάτω από τη μέγιστη και την ελάχιστη τιμή του φάσματος: min P e jω λ i ma P e jω ω ω 56

Τυχ. Διαδικασίες Φιλτράρισμα (1/9) Έστω (n) μια τυχαία διαδικασία WSS με μέση τιμή m και αυτοσυσχέτιση r k. Το διακριτό σήμα (n) διέρχεται από ένα ευσταθές ΓΧΑ σύστημα με κρουστική απόκριση h(n). n ( ) hn ( ) yn ( ) Θέλουμε να μελετήσουμε τα στατιστικά χαρακτηριστικά (μέση τιμή, διασπορά, αυτοσυσχέτιση, φάσμα ισχύος) του σήματος εξόδου. Καταρχήν, το σήμα εξόδου y(n) είναι τυχαία διαδικασία: προκύπτει ως μία συνάρτηση της τυχαίας διαδικασίας (n): y( n) g[ ( n)] ( n) h( n) h( k) ( n k) συνέλιξη k 57

Τυχ. Διαδικασίες Φιλτράρισμα (/9) Υπολογίζουμε τη μέση τιμή της εξόδου: E{ y( n)} E{ h( k) ( n k)} h( k) E{ ( n k)} k h( k) m m h( k) m h( k) e 0 k k k k j m H ( e ) WSS διαδικασία, άρα ανεξάρτητο του n-k Διαπιστώνουμε ότι, η μέση τιμή της εξόδου είναι σταθερά (ανεξάρτητη του n) και σχετίζεται με τη μέση τιμή της εισόδου μέσω ενός πολλαπλασιαστικού παράγοντα, ο οποίος είναι η απόκριση συχνότητας του συστήματος στη συχνότητα ω = 0. jk 0 = 1 58

Τυχ. Διαδικασίες Φιλτράρισμα (3/9) Υπολογίζουμε την ετεροσυσχέτιση μεταξύ εξόδου και εισόδου: r ( k, l) E{ y( k) ( l)} E{[ h( m) ( k m)] ( l)} y h( m) E{ ( k m) ( l)} h( m) r ( k m l) m m h( m) r ( k lm) m m WSS διαδικασία, άρα εξαρτάται από τη διαφορά k-m-l H ετεροσυσχέτιση εξαρτάται από τη διαφορά k l. Αν k l = n, τότε: r y l + n, l = + m= h m r (n 59

Τυχ. Διαδικασίες Φιλτράρισμα (4/9) Υπολογίζουμε την αυτοσυσχέτιση της εξόδου: r ( n k, n) E{ y( n k) y ( n)} E{ y( n k)[ h ( l) ( n l)]} y E{ h ( l) y( n k) ( n l)} h ( l) E{ y( n k) ( n l)} l l h ( l) r ( k l) y h ( k) r ( k) h ( k) r ( k) y y l l Δείξαμε ότι εξαρτάται από το lag Διαπιστώνουμε ότι η αυτοσυσχέτιση εξαρτάται από το lag k. r ( n k, n) r ( k) h ( k) h( k) r ( k) y y 60

Τυχ. Διαδικασίες Φιλτράρισμα (5/9) Δείξαμε ότι για την τυχαία διαδικασία y(n) ισχύει: Η μέση τιμή της εξόδου είναι ανεξάρτητη του χρόνου: m y n = m y Η αυτοσυσχέτιση εξαρτάται μόνο από τo lag: r y n + k, n r y k Επιπλέον: Αφού η διαδικασία (n) είναι WSS, δηλαδή σ <, σημαίνει ότι η είσοδος είναι φραγμένη: n < Αφού το σύστημα h(n) είναι ευσταθές, και η έξοδος είναι φραγμένη: y n < Άρα, η διασπορά της εξόδου είναι φραγμένη: c y 0 < Από τα παραπάνω προκύπτει ότι η y(n) είναι WSS τυχαία διαδικασία. Επιπλέον, αφού η είσοδος (n) και η έξοδος y(n) είναι WSS τυχαίες διαδικασίες και η ετεροσυσχέτιση r y εξαρτάται από τo lag r y (n + 61

Τυχ. Διαδικασίες Φιλτράρισμα (6/9) Υπολογίζουμε τη διασπορά της εξόδου: ( n) E{ y( n) y ( n)} m ( n) m ( n) y y y E{ y( n 0) y ( n)} m ( n 0) m ( n) r ( 0) m m c ( 0) ανεξάρτητο του n y y y y Η ποσότητα r y 0 υπολογίζεται ως: y y y 0 k0 l r ( ) h ( k) h( k) r ( k) h ( k) [ h( l) r ( k l)] m l k0 m l [ h( l) r ( m l)] h ( k m) h( l) r ( m l) h ( m) k0 6

Τυχ. Διαδικασίες Φιλτράρισμα (7/9) Έστω ότι το σύστημα έχει πεπερασμένη κρουστική απόκριση: Η ισχύς εξόδου είναι: h h(0) h(1) h( N 1) T N1 N1 y 0 m0 l0 { y( n) } { y( n) y ( n)} r ( ) h ( m) h( l) r ( m l) N 1 H h ( m) u( m) h u um ( ) m0 H h u u(0) T u(1) h (0) h (1) h ( N 1) un ( 1) u 63

Τυχ. Διαδικασίες Φιλτράρισμα (8/9)... συνέχεια: T T u( m) h r ( m) r ( m) h h(0) T h(1) u( m) r ( m) r ( m 1) r ( m N 1) T hn ( 1) r ( ) m Τελικά: u(0) r (0) r ( 1) r ( N 1) H u(1) H r (1) r (0) r ( N ) { yn ( ) } h h h un ( 1) r ( N 1) r ( N ) r (0) r (0) r ( 1) r ( N 1) H r (1) r( 0) r( N ) H h h h R h r( N 1) r ( N ) r(0) 64

Τυχ. Διαδικασίες Φιλτράρισμα (9/9) Υπολογίζουμε το φάσμα εξόδου: j j j P ( e ) P ( e ) H( e ) y Διαπιστώνουμε ότι το φάσμα εξόδου ισούται με το φάσμα εισόδου πολλαπλασιασμένο με το τετράγωνο του μέτρου της συνάρτησης μεταφοράς του συστήματος. Μια WSS διαδικασία u(n) ονομάζεται λευκός θόρυβος (white noise) με μέση τιμή m u και διασπορά σ u αν η αυτοσυσχέτιση είναι μηδενική για όλα τα lag εκτός από μηδέν: r k u( ) u( k) P( e j ) u u 65

Τυχ. Διαδικασίες Παραγοντοποίηση φάσματος (1/4) Έχουμε αναφέρει ότι το φάσμα μιας WSS διαδικασίας με πραγματικές τιμές είναι μια πραγματική, θετική, περιοδική συνάρτηση της συχνότητας. Αποδεικνύεται ότι αν P e jω είναι συνεχής συνάρτηση του ω, τότε μπορούμε να γράψουμε: P z Q z Q z ( ) ( ) (1/ ) 0 Οι όροι της παραγοντοποίησης γράφονται ως: σ 0 = e c 0 Q z = e k=1 Q 1 z c k = 1 π c k z k 1 = e k= c k z 1 +π lnp e jω e jkω dω (αντίστροφο ΜΦΔΧ) π Η ιδιότητα αυτή ονομάζεται παραγοντοποίηση φάσματος (spectral factorization). 66

Τυχ. Διαδικασίες Παραγοντοποίηση φάσματος (/4) Κάθε διαδικασία που παραγοντοποιείται ως P z = σ 0 Q z Q 1 z λέγεται κανονική (regular) και έχουν κάποιες ενδιαφέρουσες ιδιότητες. (Ιδιότητα 1) Κάθε κανονική διαδικασία μπορεί να υλοποιηθεί ως η έξοδος ενός αιτιατού, ευσταθούς φίλτρου με συνάρτηση μεταφοράς H(z) και είσοδο ένα σήμα λευκού θορύβου u(n) με διασπορά σ 0. Η αναπαράσταση αυτή είναι γνωστή ως innovation αναπαράσταση. (Ιδιότητα ) Το αντίστροφο φίλτρο 1/H(z) καλείται whitening φίλτρο. Αν η διαδικασία φιλτραριστεί από το 1/H(z), τότε η έξοδος θα είναι λευκός θόρυβος με διασπορά σ 0. Η διαδικασία u(n) ονομάζεται innovations διαδικασία. un ( ) n ( ) H() z 1/ H( z) un ( ) 67

Τυχ. Διαδικασίες Παραγοντοποίηση φάσματος (3/4) (Ιδιότητα 3): Εφόσον οι διαδικασίες (n) και u(n) σχετίζονται με έναν αντιστρέψιμο μετασχηματισμό, δηλαδή κάθε μία μπορεί να παραχθεί από την άλλη, τότε και οι δύο περιέχουν την ίδια πληροφορία. Ορίζουμε μια διαδικασία ως προβλέψιμη (predictable), αν υπάρχει ένα σύνολο συντελεστών α(k), ώστε: ( n) a( k) ( n k) p k1 Η p (n) μπορεί, δηλαδή, να προβλεφθεί χωρίς σφάλματα ως γραμμικός συνδυασμός των προηγούμενων τιμών της. p j P ( e ) a( k) u( ) p N k1 k 68

Τυχ. Διαδικασίες Παραγοντοποίηση φάσματος (4/4) Θεώρημα ανάλυσης Wold: Μια WSS τυχαία διαδικασία (n) μπορεί να αναλυθεί σε δύο διαδικασίες r (n) και p (n), όπου r (n) είναι μια κανονική διαδικασία και p (n) είναι μια προβλέψιμη διαδικασία, οι οποίες είναι ορθογώνιες: ( n) ( n) ( n) E{ ( n) ( n)} 0 r p Άρα το φάσμα της διαδικασίας (n) αποτελείται από το συνεχές τμήμα P r e jω και από το διακριτό τμήμα P p e jω. Το τελευταίο δημιουργεί κρουστικές γραμμές στο φάσμα. N j j j j r p r k k1 P ( e ) P ( e ) P ( e ) P ( e ) a( k) u( ) r p 69

Τυχ. Διαδικασίες Μοντέλα ARMA (1/6) Θεωρούμε ένα αιτιατό, ευσταθές, ΓΧΑ σύστημα του οποίου η συνάρτηση μεταφοράς έχει p πόλους και q μηδενικά. Εφαρμόζουμε στο σύστημα H(z) ως είσοδο λευκό θόρυβο u(n) με διασπορά σ u : un ( ) H() z n ( ) H( z) B A q p ( z) ( z) q k bq ( k) z k0 p 1 a ( k) z k1 p k Η έξοδος (n) είναι WSS διαδικασία με φάσμα ισχύος: j j ( ) u H ( e ) u P e j B ( e ) q j A ( e ) Μια διαδικασία με το παραπάνω φάσμα ισχύος ονομάζεται autoregressive moving average διαδικασία τάξης (p, q) και συμβολίζουμε ARMA(p,q). p 70

Τυχ. Διαδικασίες Μοντέλα ARMA (/6) Η σχέση μεταξύ εισόδου u(n) και εξόδου (n) δίνεται από την παρακάτω εξίσωση διαφορών: p ( n) a ( k) ( n k) b ( k) u( n k) p k1 k0 q q p q k p n k q l1 l0 ( n) ( n ) a ( l) ( n l) ( ) b ( l) u( n l) ( nk) p q p q l1 l0 E{ ( n) ( n k) a ( l) ( n l) ( n k)} E{ b ( l) u( n l) ( n k)} p q ( ) ( ) p( ) ( l) ( n k) bq( l) Eu( n l) ( n k) E n n k a l E n l1 l0 r ( k) a ( l) r ( k l) b ( l) r ( k l) p p q u l1 l0 q Αφού u(n) WSS, οι (n) και u(n) είναι από κοινού WSS. 71

Τυχ. Διαδικασίες Μοντέλα ARMA (3/6) Δηλαδή η σχέση μεταξύ αυτοσυσχέτισης εξόδου και ετεροσυσχέτισης ανάμεσα σε έξοδο και είσοδο ικανοποιεί την ίδια εξίσωση διαφορών: p r ( k) a ( l) r ( k l) b ( l) r ( k l) p q u l1 l0 Γράφουμε τη ακολουθία ετεροσυσχέτισης όπως παρακάτω (συναρτήσει της κρουστική απόκρισης του συστήματος): r ( k l) E{ u( k) ( l)} E{ u( k)[ u ( m) h ( l m)]} u m E{ u( k) u ( m) h ( l m)} E{ u( k) u ( m)} h ( l m) m q m u h ( l k) = σ u, για k = m 0, για k m 7

Τυχ. Διαδικασίες Μοντέλα ARMA (3/6) Δηλαδή η σχέση μεταξύ αυτοσυσχέτισης εξόδου και ετεροσυσχέτισης ανάμεσα σε έξοδο και είσοδο ικανοποιεί την ίδια εξίσωση διαφορών: p r ( k) a ( l) r ( k l) b ( l) r ( k l) p q u l1 l0 Γράφουμε τη ακολουθία ετεροσυσχέτισης όπως παρακάτω (συναρτήσει της κρουστική απόκρισης του συστήματος): r ( k l) E{ u( k) ( l)} E{ u( k)[ u ( m) h ( l m)]} u m E{ u( k) u ( m) h ( l m)} E{ u( k) u ( m)} h ( l m) m q m u h ( l k) = σ u, για k = m 0, για k m 73

Τυχ. Διαδικασίες Μοντέλα ARMA (4/6) Έχουμε λοιπόν: p r ( k) a ( l) r ( k l) b ( l) r ( k l) p l1 l0 q q u p q q ( ) p( ) ( ) q( ) uh ( lk) u q( ) h ( l k) l1 l0 l0 r k a l r k l b l b l Δεδομένου ότι το σύστημα είναι αιτιατό, δηλαδή h n = 0 για n < 0, ορίζουμε: c q ( k) q q qk bq q l0 lk m0 ( l) h ( l k) b ( l) h ( l k) b ( k m) h ( m) q qk bq ( k lh ) ( l) 0 k q l0 0 k q 74

Τυχ. Διαδικασίες Μοντέλα ARMA (5/6) Οπότε τελικά: p ucq ( k) 0 k q r ( k) ap( l) r ( k l) l1 0 k q Το παραπάνω σύστημα εξισώσεων είναι γνωστό ως εξισώσεις Yule- Walker. k 0 : r (0) ap(1) r ( 1) ap() r ( ) ap( p) r ( p) ucq(0) k k 1 : r (1) ap(1) r (0) ap() r ( 1) ap( p) r (1 p) ucq(1) q : r ( q) ap(1) r ( q 1) ap() r ( q ) ap( p) r ( q p) ucq( q) k q 1: r ( q 1) a (1) r ( q) a () r ( q 1) a ( p) r ( q p 1) 0 p p p k q p : r ( q p) a (1) r ( q p 1) a () r ( q p ) a ( pr ) ( q) 0 p p p 75

Τυχ. Διαδικασίες Μοντέλα ARMA (6/6) Γράφουμε σε μορφή πινάκων: r (0) ( 1) ( ) (0) r r p cp r (1) (0) ( 1) (1) r r p c p 1 ap(1) r ( q) r ( q 1) r ( q p) u cp( q) r ( q 1) r ( q) r ( q p 1) a ( ) 0 p p r ( q p) r ( q p 1) r ( q) 0 Από τις εξισώσεις σε κίτρινο φόντο υπολογίζουμε τις παραμέτρους a p και - με δεδομένες αυτές - στη συνέχεια υπολογίζουμε τα c i από τις εξισώσεις σε γαλάζιο φόντο. Έχοντας τα c i και h(n), από τη σχέση της προ-προηγούμενης διαφάνειας, υπολογίζουμε τα b i. 76

Τυχ. Διαδικασίες Περίπτωση AR Όταν q = 0, το σύστημα έχει μόνο πόλους και η συνάρτηση μεταφοράς είναι: b(0) b(0) H( z) p Ap ( z) k 1 a ( k) z Η διαδικασία (n) ονομάζεται autoregressive τάξης p και συμβολίζουμε AR(p). Το φάσμα εξόδου είναι: k1 j j ( ) u H ( e ) u P e Οι εξισώσεις Yule-Walker γράφονται: p b(0) j A ( e ) p ( ) p( ) ( ) u (0) ( ), 0 l1 r k a l r k l b k k p 77

Τυχ. Διαδικασίες Περίπτωση MA Όταν p = 0, το σύστημα έχει μόνο μηδενικά και η συνάρτηση μεταφοράς είναι: q H ( z) bq ( k) z Η διαδικασία (n) ονομάζεται moving average τάξης q και συμβολίζουμε MA(q). Το φάσμα εξόδου είναι: k0 k j ( j j ) u ( ) u q( ) P e H e B e Οι εξισώσεις Yule-Walker γράφονται: q k u q q l0 r ( k) b ( l k ) b ( l), k 0 78

Τυχ. Διαδικασίες Παράδειγμα AR (1/4) Θεωρούμε την τυχαία διαδικασία AR(1) με πραγματικές τιμές, η οποία προκύπτει από την εφαρμογή λευκού θορύβου u(n) με διασπορά σ u = 1 στο all-pole φίλτρο H(z): b(0) un ( ) H() z n ( ) H( z) 1 1 a (1) z Εξίσωση διαφορών εισόδου-εξόδου: n + a 1 n 1 = b 0 u n, n 0. un ( ) n ( ) b(0) z 1 a(1) 79

Τυχ. Διαδικασίες Παράδειγμα AR (/4) Αν γνωρίζουμε τις τιμές της αυτοσυσχέτισης, τότε μπορούμε να εκτιμήσουμε τους συντελεστές. Οι εξισώσεις Yule-Walker γράφονται: r k a r k b k k ( ) (1) ( 1) (0) ( ) k r r 0 : (0) a(1) ( 1) b ( 0) k 1: r (1) a( 1) r (0) 0 Η διαδικασία AR(p) είναι WSS και πραγματική, οπότε ισχύει η ιδιότητα της συμμετρίας για τις τιμές της αυτοσυσχέτισης: r k = r k Άρα, το σύστημα των εξισώσεων γράφεται: b(0) (0) a(1) r(1) b (0) r (0) r r (1) a(1) r (0) 0 r (1) a(1) r (0) r (0) r (1) 80

Τυχ. Διαδικασίες Παράδειγμα AR (3/4) Ομοίως, αν γνωρίζουμε τους συντελεστές, τότε μπορούμε να εκτιμήσουμε τις τιμές της αυτοσυσχέτισης: r k a r k b k k ( ) (1) ( 1) (0) ( ) Για k 0 παρατηρούμε ότι: k 0 : r a(1) b (0) r( 1 ) (0) k 0 : r ( k) a(1) r ( k 1) 0 k 1: r (1) a(1) r (0) k r a r a a r a r : () (1) (1) (1)[ (1) (0)] [ (1)] (0) k r a r a a r a r 3 3 : (3) (1) () (1)[ (1)] (0) [ (1)] (0) n k n : r ( n) a(1) r ( n 1) [ a(1)] r (0) 81

Τυχ. Διαδικασίες Παράδειγμα AR (4/4) Δηλαδή: k r ( k) [ a(1)] r (0) k 0 Άρα: k r ( k) r ( k) [ a(1)] r (0) k 0 k r ( k) [ a(1)] r (0) k Για να βρούμε το r (0) λύνουμε το σύστημα: k 0 : r(0) a(1) r( 1) b (0) k 1: r(1) a(1) r(0) 0 r(0) a(1) r(1) b (0) b (0) r (0) r (1) () 1 ( 0) 1 a (1) a r 8

Τυχ. Διαδικασίες Αρμονική διαδικάσια (1/8) Δίνεται η τυχαία διαδικασία n = Asin(ω 0 n + φ), η οποία ονομάζεται αρμονική διαδικασία πρώτης τάξης (harmonic process), όπου Α είναι σταθερό πλάτος, ω 0 = πf 0 είναι σταθερή γωνιακή ταχύτητα, και φ είναι τυχαία φάση με ομοιόμορφη κατανομή στο διάστημα π φ π. t () ADC ( nt ) ( n) s F s 1/ T s Ζητείται να υπολογιστούν τα μεγέθη: μέση τιμή, αυτοσυσχέτιση, διασπορά, φάσμα ισχύος. Είναι η διαδικασία WSS; Είναι η διαδικασία εργοδική ως προς τη μέση τιμή; 83

Τυχ. Διαδικασίες Αρμονική διαδικάσια (/8) Αφού η τυχαία μεταβλητή φ είναι ομοιόμορφα κατανεμημένη στο διάστημα π φ π, η συνάρτηση πυκνότητας πιθανότητας και η συνάρτηση κατανομής πιθανότητας είναι: f ( a) f 1 ( a) 0 αλλού 1 a F ( a) 0 a 1 1 F ( a) a 84

Τυχ. Διαδικασίες Αρμονική διαδικάσια (3/8) Για να υπολογίζουμε τη μέση τιμή της διαδικασίας, λαμβάνεται υπόψιν ότι η (n) είναι συνάρτηση ως προς n και φ, δηλαδή, n = g n; φ. Οπότε, { ( ; )} ( ; ) ( ) sin( 0 ) 1 E g n g n a f a da A n a da A A sin( n a) da cos( n a) da 0 0 A cos( 0n ) cos( 0n ) A sin0nsin 0 Επομένως, η μέση τιμή είναι μηδενική (σταθερή): m n = m = 0 85

Τυχ. Διαδικασίες Αρμονική διαδικάσια (4/8) Υπολογίζουμε την αυτοσυσχέτιση της διαδικασίας: r ( k, l) E ( k) ( l) E Asin( k ) Asin( l ) 0 0 A E 0 k l 0 k l cos[ ( )] cos[ ( ) ] A E 0 k l E 0 k l cos[ ( )] cos[ ( ) ] A cos[ 0( k l)] Ecos[ 0( k l) ] A cos[ 0( k l)] H αυτοσυσχέτιση εξαρτάται από το k l m: r m = A cos ω 0m 86

Τυχ. Διαδικασίες Αρμονική διαδικάσια (5/8) Υπολογίζουμε τη διασπορά της διαδικασίας: ( n) E ( n) m E ( n) r ( 0) A A cos( 00) H διασπορά είναι σταθερή και είναι φραγμένη: σ n = σ < Δείξαμε ότι: Η μέση τιμή είναι σταθερή: m n = m Η αυτοσυσχέτιση εξαρτάται από το lag: r k, l = r k l Η διασπορά είναι φραγμένη: σ n = σ < Άρα η αρμονική διαδικασία πρώτης τάξης είναι WSS. 87

Τυχ. Διαδικασίες Αρμονική διαδικάσια (6/8) Υπολογίζουμε τo φάσμα της διαδικασίας: A P ( e ) r ( k) e cos( k) e j jk jk 0 k k A k cos( ke ) A ( 0) ( 0) 0 jk A j P( e ) 0 0 f F s Υπολογίζουμε τη μέση ισχύ της διαδικασίας: 1 j 1 A A E ( n) P ( e ) d 88

Τυχ. Διαδικασίες Αρμονική διαδικάσια (7/8) Για να διαπιστώσουμε αν η διαδικασία είναι εργοδική ως προς τη μέση τιμή, θα ελέγξουμε αν ισχύει το Θεώρημα 1, δηλαδή αν: N 1 1 lim c( k) 0 N N k0 Υπενθυμίζεται πως c (k) είναι η αυτοσυνδιασπορά. Ισχύει ότι: Άρα: A c( k) r ( k) m ( k) r ( k) cos( 0k) k N 1 N 1 N 1 1 1 A A c ( k) cos( k) cos( k) N N N 0 0 k0 k0 k0 A A N N N1 N1 j Re 0 k j Re 0 k e e k0 k0 89

Τυχ. Διαδικασίες Αρμονική διαδικάσια (8/8) Άρα: N N N N N 1 j0n j0 j 0 j 0 j 0 1 A 1e A e e c( k) Re Re j 1 1 1 1 0 j0 j 0 j 0 j 0 N k0 N 1 e N e e N N N 0 0 0 j j j e e e A Re j 1 1 1 0 j 0 j N 0 e e e A Re j N 0 N e jsin sin j 0 1 N e jsin A sin N sin 0 1 0 N 0 N 1 cos 1 0 0 A N sin N 0 N 1 0 0 j Re e Οπότε, η αρμονική διαδικασία 1 ης τάξης είναι εργοδική ως προς τη μέση τιμή. 0 N 1 90

Τέλος Ενότητας 3

Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 9

Σημειώματα

Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.00. 94

Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Κώστας Μπερμπερίδης. «Στοχαστικά Σήματα και Τηλεπικοιωνίες». Έκδοση: 1.0. Πάτρα 015. Διαθέσιμο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/courses/ceid1111/ 95

Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/by-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 96

Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 97