ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 3 5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) 5.7: Μετάδοση Στοχαστικής Ανέλιξης μέσω Γραμμικού Φίλτρου 5.8: Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) καθ. Βασίλης Μάγκλαρης maglaris@netmode.ntua.gr www.netmode.ntua.gr Τρίτη 2/5/2017, Παρασκευή 5/5/2017
5.5 Στοχαστικές Ανελίξεις (Stochastic Processes) (επανάληψη) Στοχαστική ή Τυχαία Διαδικασία - Ανέλιξη (Stochastic Process - SP ή Random Process) Τυχαίο πείραμα με Υλοποιήσεις (Δείγματα) s j Χρονικές Συναρτήσεις ή Χρονοσειρές (Time-Series), στοιχεία Δειγματικού Χώρου S Παραδείγματα: Επικοινωνιακά σήματα σε χρονικό διάστημα παρατήρησης [ T, T] του Δέκτη Τυχαίες παρεμβολές, Θόρυβος Ορισμός: Η Στοχαστική Ανέλιξη (SP) X(t) ορίζεται σαν ένα σύνολο χρονικών συναρτήσεων (κυματομορφών) που αντιστοιχούν σε τυχαίες υλοποιήσεις (δείγματα) ενός τυχαίου πειράματος Υλοποιήσεις (δείγματα) του SP {X t, s } X(t): s j X t, s j x j t, T t T Τιμές δειγμάτων s j κατά τη χρονική στιγμή t k : Τυχαίες Μεταβλητές (Random Variables, RV) X t k, s j x 1 t k, x 2 t k,, x n t k = {X t k, s 1, X t k, s 2,, X t k, s n }
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (1/6) Μέση Τιμή της X t τη χρονική στιγμή t (Ensemble Average): μ X t = E X t = xf X t x dx 1 st Order Stationarity (SP στατικό 1 ης τάξης): F X t1 x = F X t2 x (t 1, t 2 ) μ X t = μ X, t και γενικά η ροπή E X n t είναι ανεξάρτητη της χρονικής στιγμής t Αυτοσυσχέτιση (Autocorrelation): R X t 1, t 2 = E X t 1 X t 2 = x 1 x 2 f X t1,x t 2 x 1, x 2 dx 1 dx 2 2 nd Order Stationarity (SP στατικό 2 ης τάξης): F X t1,x t 2 x 1, x 2 = F X t1 +Δt,X t 2 +Δt x 1, x 2, (t 1, t 2, Δt) R X t 1, t 2 = R X t 2 t 1 = R X τ, τ = (t 2 t 1 ), (t 1, t 2 ) Αυτοδιασπορά (Autocovariance): C X t 1, t 2 = E (X t 1 μ X )(X t 2 μ X ) = R X t 2 t 1 μ X 2 Wide-sense Stationarity (Στατική Στοχαστική Ανέλιξη με την Ευρεία Έννοια): μ X t = μ X, t, R X t 1, t 2 = R X t 2 t 1 = R X τ, τ = (t 2 t 1 ), (t 1, t 2 ) Strict-sense Stationarity (Στατική Στοχαστική Ανέλιξη με τη Στενή Έννοια): F X t1,x t 2,,X t n x 1, x 2,, x n = F X t1 +Δt,X t 2 +Δt,,X t n +Δt x 1, x 2,, x n, n, t 1, t 2,, t n, Δt
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (2/6) Ιδιότητες Αυτοσυσχέτισης Wide-sense Stationary SP: R X τ = E X t + τ X t = E X(t)X t τ R X 0 = E X 2 t > 0 R X τ = R X τ (αρτιότητα της Αυτοσυσχέτισης) R X τ R X 0 (η μέγιστη τιμή της Αυτοσυσχέτισης προκύπτει για τ = 0) : 2 E X t + τ ± X t 0, E X 2 t + τ ± 2E X t + τ X t + E X 2 t = 2R X 0 ± 2R X τ 0 R X 0 ±R X τ Η Αυτοσυσχέτιση δίνει μια μετρική του βαθμού εξάρτησης των τιμών της X t σαν συνάρτηση της χρονικής τους απόστασης ή της επιρροής της X t στην X t + τ
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (3/6) Παράδειγμα: Ημιτονοειδές Σήμα Τυχαίας Φάσης X t = Acos(2πf c t + Θ) όπου A, f c σταθερές και Θ RV ομοιόμορφα κατανεμημένη στο ( π, π) R X τ = E X t + τ X t = E[A 2 cos (2πf c t + 2πf c τ + Θ)cos(2πf c t + Θ)] = A2 2 π π 1 2π = A2 2 E[A2 cos (4πf c t + 2πf c τ + 2Θ)]+ A2 2 cos 2πf cτ cos (4πf c t + 2πf c τ + 2θ)dθ + A2 cos 2πf 2 cτ = 0 + A2 cos 2πf 2 cτ R X τ = A2 cos 2πf 2 cτ cos x cos y = 1 [cos x y + cos x + y ] 2
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (4/6) Παράδειγμα: Τυχαίο Δυαδικό Σήμα Ψηφιακή Ακολουθία 0,1 οδηγεί Στοχαστική Ανέλιξη X t ορθογωνίων παλμών με τιμές ±A σε σταθερά διαστήματα T Τα 0,1 αντιστοιχούν σε ανεξάρτητες δοκιμές Bernoulli με ίσες πιθανότητες 1 2 Οι μεταβάσεις ξεκινούν με τυχαία αρχική καθυστέρηση t d, ομοιόμορφα κατανεμημένη μεταξύ [0, T]: 1 f Td t d =, 0 t T d T 0, t d > T Εφόσον οι παλμοί παίρνουν τις τιμές ±A με ίσες πιθανότητες, E X t = A 2 A 2 = 0 Αν τ > T τότε οι X t, X t + τ μπορεί να ανήκουν σε διαφορετικούς ανεξάρτητους παλμούς ±A: R X t, t + τ = E X t X t + τ = E X t E[X t + τ ] = 0, τ > T Αν τ T τότε οι X t, X t + τ μπορεί να ανήκουν στην ίδιο παλμό και να δίνουν γινόμενο A 2 εφόσον t d < T τ, αλοιώς ανήκουν σε διαδοχικούς ανεξάρτητους παλμούς με γινόμενο 0: E X t X t + τ t d = A2, t d < T τ 0, t d T τ και R T τ X t, t + τ = A 2 f Td t d dt d = A 2 (1 τ ), τ T 0 T
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (5/6) Συναρτήσεις Αλληλοσυσχέτισης (Cross-correlation Functions) X t, R X t, u και Y t, R Y t, u : R XY t, u = E[X t Y t ] Αν οι X t, Y t στατικές με την ευρεία έννοια και συνδυαστικά (jointly) στατικές με την ευρεία έννοια: R XY t, u = R XY t u = R XY τ Ιδιότητα: R XY τ = R YX ( τ) (δεν ισχύουν κατανάγκη οι ιδιότητες αρτιότητας και μέγιστου για τ = 0) Παράδειγμα: Ορθογωνικά Διαμορφωμένες Ανελίξεις (Quadrature-Modulated Processes) σε Φέρουσα f c X 1 t = X t cos 2πf c t + Θ X 2 t = X t sin 2πf c t + Θ όπου Θ ομοιόμορφα κατανεμημένη RV στο (0,2π): f Θ θ = 1, 0 θ < 2π και ανεξάρτητη του X t Έχουμε R 1,2 τ = E X 1 t X 2 t τ = E[X t X t τ cos 2πf c t + Θ sin 2πf c t 2πf c τ + Θ ] και R 1,2 τ = 1 2 R X τ E sin 4πf c t 2πf c τ + 2Θ sin 2πf c τ 2π = 1 2 R X τ sin 4πf c t 2πf c τ + 2θ 1 2π dθ sin 2πf c τ 0 2π = 1 2 R X τ sin (2πf c τ) R 1,2 0 = E X 1 t X 2 t = 0 ή οι X 1 t και X 2 t είναι ορθογώνιες κατά την ίδια χρονική στιγμή t cos x sin y = 1 [sin x + y sin x y ] 2
5.6: Μέση Τιμή, Συναρτήσεις Συσχέτισης (Correlation) & Συνδιασποράς (Covariance) (6/6) Εργοδικότητα ως προς την Μέση Τιμή (Mean-Ergodic Stochastic Process) Η τιμή της X t για την στιγμή t = t k αποτελεί τυχαία μεταβλητή X t k x i (t k ) με μέσο όρο μ X t k = E X t k που υπολογίζεται ως ensemble average των εμφανίσεων x i (t k ) της X t 1 n μετρούμενων στο χρόνο t k : E X t k = μ X t k = lim x n n i=1 i (t k ) Ανέλιξη στατική με την ευρεία έννοια είναι εργοδική ως προς την μέση τιμή (Mean-Ergodic) αν η μ X συγκλίνει με τον χρονικό μέσο (time average) μοναδικής εμφάνισης της X t : 1 E X t = μ X t = μ X = lim T 2T T T x t dt
5.7: Μετάδοση Στοχαστικής Ανέλιξης μέσω Γραμμικού Φίλτρου μ X t, R X t, u μ Y t, R Y t, u μ Y t = E Y t = E h τ X t τ dτ αν E X t < t Αν η X t είναι στατική με την ευρεία έννοια: = h τ E[X t τ ]dτ = h τ μ X t τ dτ μ Y t = μ X h τ dτ = μ X H(0) και R Y t, u = E Y t Y u = E h τ 1 X t τ 1 dτ 1 h τ 2 X u τ 2 dτ 2 h τ 1 h(τ 2 )E[X t τ 1 X u τ 2 ]dτ 1 dτ 2 = h τ 1 h τ 2 R X t τ 1, u τ 2 dτ 1 dτ 2 αν E X 2 t < t = Αν η X t είναι στατική με την ευρεία έννοια, τότε: R Y τ = h τ 1 h τ 2 R X τ τ 1 + τ 2 dτ 1 dτ 2 και η Y t είναι επίσης στατική με την ευρεία έννοια
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (1/7) Ορισμός Για Στοχαστική Ανέλιξη X(t) Wide-Sense Stationary (WSS) με Μέσο Όρο μ X και Αυτοσυσχέτιση R X (τ) ορίζεται η σχέση Wiener-Khinchin σαν το ζεύγος μετασχηματισμών Fourier: Αυτοσυσχέτιση (Autocorrelation) R X (τ) S X f Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) Ιδιότητες: S X f = R X τ exp j2πfτ dτ, R X τ = S X f exp j2πfτ df S X 0 = R X τ dτ, εμβαδόν κάτω από την R X τ E[X 2 t ] = R X 0 = S X f df, εμβαδόν κάτω από την S X f (μέση στιγμιαία ισχύς στοχαστικού σήματος) S X f = S X f R X τ άρτια πραγματική συνάρτηση R X τ = R X τ S X f = S X f και από τον τύπο του Euler exp jx = cos (x) + jsin(x) S X f = R X τ cos (2πfτ) dτ, R X τ = S X f cos (2πfτ)df S X f 0 f : H S X f είναι η κατανομή ανά συχνότητα f της στιγμιαίας ισχύος E[X 2 t ] στοχαστικού σήματος X t και άρα μη αρνητική (δείτε περισσότερα στη 18 η διαφάνεια)
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (2/7) Παράδειγμα: Ημιτονοειδές Σήμα Τυχαίας Φάσης (συνέχεια) X t = Acos(2πf c t + Θ) όπου A, f c σταθερές και Θ RV ομοιόμορφα κατανεμημένη στο ( π, π) R X τ = E X t + τ X t = A2 2 cos 2πf cτ και S X f = A2 4 [δ f f c + δ f + f c S X f df = A2 2 = R X(0)
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (3/7) Παράδειγμα: Τυχαίο Δυαδικό Σήμα (συνέχεια) Ψηφιακή Ακολουθία 0,1 οδηγεί Στοχαστική Ανέλιξη X t παλμών με τιμές ±A σε σταθερά διαστήματα T Τα 0,1 αντιστοιχούν σε ανεξάρτητες δοκιμές Bernoulli με ίσες πιθανότητες 1 2 Οι μεταβάσεις ξεκινούν με τυχαία αρχική καθυστέρηση t d, ομοιόμορφα κατανεμημένη στο [0, T]: 1 f Td t d =, 0 t T d T 0, t d > T E X t X t + τ t d = A2, t d < T τ 0, t d T τ και R T τ X t, t + τ = A 2 f Td t d dt d = A 2 (1 τ ), τ T 0 T T R X (τ) S X f = A 2 τ (1 T )exp j2πfτ dτ = A2 Tsinc 2 (ft) T S X f df = A 2 = R X (0) Η ενέργεια ορθογώνιου παλμού E = A 2 T/2 T = g t 2 dt = G f 2 df T/2 (Θεώρημα Rayleigh) : g t = A, T 2 t T 2 0, t > T 2 G f = ATsinc(fT) κατανέμεται στο χρόνο σύμφωνα με την στιγμιαία ισχύ g t 2 = A 2, T t T, και σε συχνότητες 2 2 σύμφωνα με την Energy Spectral Density ε g (f) = G f 2 = A 2 T 2 sinc 2 (ft) Power Spectral Density ακολουθίας παλμών: S X f = A 2 Tsinc 2 ft = ε g(f) Energy Spectral Density Παλμού = T Διάρκεια Παλμού
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (4/7) Παράδειγμα: Μείξη (Πολλαπλασιασμός) Στοχαστικής Ανέλιξης με Ανεξάρτητη Ημιτονοειδή Ανέλιξη Y t = X t cos 2πf c t + Θ όπου X t WSS και Θ ανεξάρτητη RV ομοιόμορφα κατανεμημένη στο (0,2π) R Y τ = E Y t + τ Y t = E X t + τ X t E cos 2πf c t + 2πf c τ + Θ cos 2πf c t + Θ = 1 2 R X τ E cos 2πf c t) + cos(4πf c t + 2πf c τ + 2Θ = 1 2 R X τ cos (2πf c τ) S Y f = 1 4 [S X f f c + S X f + f c ] cos x cos y = 1 [cos x y + cos x + y ] 2
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (5/7) Σχέση Εισόδου Εξόδου Power Spectral Densities σε Γραμμικά Σταθερά Φίλτρα S Y f = R Y τ exp j2πfτ dτ = h τ 1 h τ 2 R X τ τ 1 + τ 2 exp j2πfτ dτ 1 dτ 2 dτ Με τ 0 = τ τ 1 + τ 2 έχω S Y f = h τ 1 h τ 2 R X τ 0 exp[ j2πf(τ 0 + τ 1 τ 2 )]dτ 0 dτ 2 dτ 1 και E[Y 2 t ] = R Y 0 = H f 2 S X f df S Y f = H f H f S X f = H f 2 S X f μέση στιγμιαία ισχύς στοχαστικού σήματος Y t μ X, R X τ S X f h t, H f μ Y = μ X H(0), R Y τ S Y f = H f 2 S X f
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (6/7) Εντοπισμός Φάσματος Ισχύος Ανέλιξης WSS σε Συχνότητα f 0 Το X t περνάει από Band-Pass Filter ενέργειας h τ 2 dτ = H f 2 df = 1 2 2B + 2B = 1 2 B X t Y t, S Y f = 1 4B S X f για f 0 B f f 0 + B και S Y f = 0 για κάθε άλλη τιμή της f Για B πολύ μικρό απομονώνουμε την στιγμιαία ισχύ S Y f 0 = S X f 0 στη συχνότητα f 0 : E[Y 2 t ] = R Y 0 = H f 2 S X f df S X f 0 0 για αυθαίρετη συχνότητα f 0 (απόδειξη ιδιότητας μη αρνητικής τιμής της Πυκνότητας Φάσματος Ισχύος, από την 10 η διαφάνεια) 1 2 B μ X, R X τ S X f h t, H f μ Y = μ X H(0), R Y τ S Y f = H f 2 S X f
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (7/7) Παράδειγμα: Περιοδικό Φίλτρο Κτένι (Comb Filter) Αποτελείται από γραμμή καθυστέρησης (delay line) και διάταξη αθροιστή (summing device): H f = 1 exp 2jπfT = 1 cos 2πfT + jsin(2πft) H f 2 = 2 1 cos 2πfT = 4 sin 2 (πft) S Y f = H f 2 S X f = 4 sin 2 πft S X f 4π 2 f 2 T 2 S X f για f 1/T