ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 4 5.9 Η Στοχαστική Ανέλιξη Gauss (οι διαφάνειες ακολουθούν διαφορετική μεθοδολογία από το σύγγραμμα των S. Haykin & M. Moher Συστήματα Επικοινωνίας όπως καλύπτεται στα Συστήματα Επικοινωνιών των J. Proakis & M. Salehi και Πιθανότητες, Τυχαίες Μεταβλητές και Στοχαστικές Διαδικασίες του A. Papoulis) καθ. Βασίλης Μάγκλαρης maglaris@netmode.ntua.gr www.netmode.ntua.gr Τρίτη 9/5/017
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 1/7) Ορισμός Για Στοχαστική Ανέλιξη X(t) Wide-Sense Stationary (WSS) με Μέσο Όρο μ X και Αυτοσυσχέτιση R X (τ) ορίζεται η σχέση Wiener-Khinchin σαν το ζεύγος μετασχηματισμών Fourier: Αυτοσυσχέτιση (Autocorrelation) R X (τ) S X f Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) Ιδιότητες: S X f = R X τ exp jπfτ dτ, R X τ = S X f exp jπfτ df S X 0 = R X τ dτ, εμβαδόν κάτω από την R X τ E[X t ] = R X 0 = S X f df, εμβαδόν κάτω από την S X f (μέση στιγμιαία ισχύς στοχαστικού σήματος) S X f = S X f R X τ άρτια πραγματική συνάρτηση R X τ = R X τ S X f = S X f και από τον τύπο του Euler exp jx = cos (x) + jsin(x) S X f = R X τ cos (πfτ) dτ, R X τ = S X f cos (πfτ)df S X f 0 f : H S X f είναι η κατανομή ανά συχνότητα f της στιγμιαίας ισχύος E[X t ] στοχαστικού σήματος X t και άρα μη αρνητική (δείτε περισσότερα στη 7 η διαφάνεια)
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη /7) Παράδειγμα: Ημιτονοειδές Σήμα Τυχαίας Φάσης (συνέχεια) X t = Acos(πf c t + Θ) όπου A, f c σταθερές και Θ RV ομοιόμορφα κατανεμημένη στο ( π, π) R X τ = E X t + τ X t = A cos πf cτ και S X f = A 4 [δ f f c + δ f + f c S X f df = A = R X(0)
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 3/7) Παράδειγμα: Τυχαίο Δυαδικό Σήμα (συνέχεια) Ψηφιακή Ακολουθία 0,1 οδηγεί Στοχαστική Ανέλιξη X t παλμών με τιμές ±A σε σταθερά διαστήματα T Τα 0,1 αντιστοιχούν σε ανεξάρτητες δοκιμές Bernoulli με ίσες πιθανότητες 1 Οι μεταβάσεις ξεκινούν με τυχαία αρχική καθυστέρηση t d, ομοιόμορφα κατανεμημένη στο [0, T]: 1 f Td t d =, 0 t T d T 0, t d > T E X t X t + τ t d = A, t d < T τ 0, t d T τ και R T τ X t, t + τ = A f Td t d dt d = A (1 τ ), τ T 0 T T R X (τ) S X f = A τ (1 T )exp jπfτ dτ = A Tsinc (ft) T S X f df = A = R X (0) Η ενέργεια ορθογώνιου παλμού E = A T/ T = g t dt = G f df T/ (Θεώρημα Rayleigh) : g t = A, T t T 0, t > T G f = ATsinc(fT) κατανέμεται στο χρόνο σύμφωνα με την στιγμιαία ισχύ g t = A, T t T, και σε συχνότητες σύμφωνα με την Energy Spectral Density ε g (f) = G f = A T sinc (ft) Power Spectral Density ακολουθίας παλμών: S X f = A Tsinc ft = ε g(f) Energy Spectral Density Παλμού = T Διάρκεια Παλμού
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 4/7) Παράδειγμα: Μείξη (Πολλαπλασιασμός) Στοχαστικής Ανέλιξης με Ανεξάρτητη Ημιτονοειδή Ανέλιξη Y t = X t cos πf c t + Θ όπου X t WSS και Θ ανεξάρτητη RV ομοιόμορφα κατανεμημένη στο (0,π) R Y τ = E Y t + τ Y t = E X t + τ X t E cos πf c t + πf c τ + Θ cos πf c t + Θ = 1 R X τ E cos πf c t) + cos(4πf c t + πf c τ + Θ = 1 R X τ cos (πf c τ) S Y f = 1 4 [S X f f c + S X f + f c ] cos x cos y = 1 [cos x y + cos x + y ]
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 5/7) Σχέση Εισόδου Εξόδου Power Spectral Densities σε Γραμμικά Σταθερά Φίλτρα S Y f = R Y τ exp jπfτ dτ = h τ 1 h τ R X τ τ 1 + τ exp jπfτ dτ 1 dτ dτ Με τ 0 = τ τ 1 + τ έχω S Y f = h τ 1 h τ R X τ 0 exp[ jπf(τ 0 + τ 1 τ )]dτ 0 dτ dτ 1 και E[Y t ] = R Y 0 = H f S X f df S Y f = H f H f S X f = H f S X f μέση στιγμιαία ισχύς στοχαστικού σήματος Y t μ X, R X τ S X f h t, H f μ Y = μ X H(0), R Y τ S Y f = H f S X f
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 6/7) Εντοπισμός Φάσματος Ισχύος Ανέλιξης WSS σε Συχνότητα f 0 Το X t περνάει από Band-Pass Filter ενέργειας h τ dτ = H f df = 1 B + B = 1 B X t Y t, S Y f = 1 4B S X f για f 0 B f f 0 + B και S Y f = 0 για κάθε άλλη τιμή της f Για B πολύ μικρό απομονώνουμε την στιγμιαία ισχύ S Y f 0 = S X f 0 στη συχνότητα f 0 : E[Y t ] = R Y 0 = H f S X f df S X f 0 0 για αυθαίρετη συχνότητα f 0 (απόδειξη ιδιότητας μη αρνητικής τιμής της Πυκνότητας Φάσματος Ισχύος, από την η διαφάνεια) 1 B μ X, R X τ S X f h t, H f μ Y = μ X H(0), R Y τ S Y f = H f S X f
5.8 Πυκνότητα Φάσματος Ισχύος (Power Spectral Density) (Επανάληψη 7/7) Παράδειγμα: Περιοδικό Φίλτρο Κτένι (Comb Filter) Αποτελείται από γραμμή καθυστέρησης (delay line) και διάταξη αθροιστή (summing device): H f = 1 exp jπft = 1 cos πft + jsin(πft) H f = 1 cos πft = 4 sin (πft) S Y f = H f S X f = 4 sin πft S X f 4π f T S X f για f 1/T
5.9 Στοχαστική Ανέλιξη Gauss (1/3) Ορισμοί Συνδυασμένων Τυχαίων Μεταβλητών (Τ.Μ.) Gauss Jointly Gaussian Random Variables (RV s): Gaussian PDF Τυχαίας Μεταβλητής X: f X x = 1 exp x μ X πσ X σ X, E X = μ X, var X = σ X Jointly Gaussian PDF Τυχαίων Μεταβλητών {X, Y}: f X,Y x, y 1 = πσ X σ Y 1 ρ exp 1 x μ X 1 ρ + y μ Y σ X ρ(x μ X)(y μ Y ) σ Y σ X σ Y όπου ρ = cov[xy] ο συντελεστής αυτοσυσχέτισης (correlation coefficient) σ X σ Y Αν οι Τ.Μ. {X, Y} είναι Jointly Gaussian, τότε η κάθε μια ξεχωριστά καθώς και οι υπό συνθήκη Τ.Μ. {X Y, Y X} είναι Gauss Jointly Gaussian n Τυχαίες Μεταβλητές {X 1, X, X 3,, X n }: Ανά ζεύγος οι Τ.Μ. {X i, X j } είναι Jointly Gaussian. Κάθε ζεύγος Τ.Μ. υπό συνθήκη τρίτης Τ.Μ. {X i X k, X j X k }είναι επίσης Jointly Gaussian Ιδιότητες των Jointly Gaussian RV s Κάθε υποσύνολο m Τ.Μ. από υπερσύνολο n Jointly Gaussian Τ.Μ. είναι Jointly Gaussian Όλες οι PDF Jointly Gaussian Τ.Μ. {X 1, X, X 3,, X n } καθορίζονται πλήρως από τους μέσους όρους E X i και τις συναρτήσεις συνδιακύμανσης (covariance) ανά δύο cov[x i X j ] Κάθε γραμμική συνάρτηση (συνδυασμός) των {X 1, X, X 3,, X n }, Y = a i X i + b είναι Τ.Μ. Gauss n με E Y = i=1 a i E[X i ] + b. Αν οι Τ.Μ. X i είναι και ανεξάρτητες τότε σ n Y = a i=1 i σ Xi n Πολλαπλές γραμμικές συναρτήσεις Y j = i=1 a i,j X i + b j των {X 1, X, X 3,, X n } είναι Jointly Gaussian Δύο ασυσχέτιστες Jointly Gaussian RV s {X, Y} με ρ = cov[xy] = 0 είναι ανεξάρτητες σ X σ Y f X,Y x, y = f X x f Y y n i=1
5.9 Στοχαστική Ανέλιξη Gauss (/3) Κεντρικό Οριακό Θεώρημα (Central Limit Theorem) N ανεξάρτητες, όμοια κατανεμημένες Τ.Μ. (i.i.d. independent identically distributed RV s) X i, i = 1,,, N με E X i = μ X και σ Xi = σ X Κανονικοποίηση: Y i = 1 (X σ i μ X ), E Y i X Η Τυχαία Μεταβλητή V N = 1 N Y N i=1 i = 0, σ Yi = 1 N 0,1 για N Το κανονικοποιημένο άθροισμα V N i.i.d. RV s Y i συγκλίνει στη Κανονική Κατανομή Gauss ταχύτερα για τιμές της V N κοντά στο κέντρο και βραδύτερα για μεγάλες τιμές στις ουρές της κατανομής του PDF Κανονικής Κατανομής Gauss N 0,1 μ Y = 0, σ Y = 1 f Y y 1 π exp ( y ) Ενδεικτική Παρουσίαση Σύγκλισης σε PDF Κανονικής Κατανομής https://en.wikipedia.org/wiki/illustration_of_the_central_limit_theorem PDF ΜΙΑΣ Κανονικοποιημένης RV, Y i E Y i = 0, σ Yi = 1 PDF Αθροίσματος ΔYO i.i.d. RVs, V = Y 1+Y PDF Αθροίσματος ΤΡΙΩΝ i.i.d. RVs V 3 = Y 1+Y +Y 3 3 PDF Αθροίσματος ΤΕΣΣΑΡΩΝ i.i.d. RVs, V 4 = Y 1+Y +Y 3 +Y 4 4
5.9 Στοχαστική Ανέλιξη Gauss (3/3) Ορισμός Gaussian Stochastic Process (Στοχαστικής Ανέλιξης Gauss) Η X t είναι Ανέλιξη Gauss αν n, (t 1, t,, t n ) οι Τυχαίες Μεταβλητές X t i, i = 1,, n είναι Jointly Gaussian Οι ανελίξεις X t και Y t είναι Jointly Gaussian αν n, m, (t 1, t,, t n ) και (τ 1, τ,, τ m ) οι Τυχαίες Μεταβλητές {X t 1, X t,, X t n, Y τ 1, Y τ,, Y τ m } είναι Jointly Gaussian X t και Y t Jointly Gaussian X t, Y t Gaussian Stochastic Processes Ιδιότητες της Ανέλιξης Gauss (προκύπτουν από τις ιδιότητες των Jointly Gauss Τ.M.): Όλες οι PDF των Jointly Gaussian Τ.M. X t 1, X t,, X t n, δειγμάτων Στοχαστικής Ανέλιξης Gauss, καθορίζονται πλήρως από τους μέσους όρους μ X(ti ) και τις συναρτήσεις συνδιακύμανσης covariance cov[x(t i )X(t j )] ανά δύο Wide-Sense Stationary (WSS) Gaussian Process είναι ΚΑΙ Strict-Sense Stationary Αν οι Jointly Gaussian τυχαίες μεταβλητές X t 1, X t,, X t n, δείγματα Στοχαστικής Ανέλιξης Gauss, είναι Uncorrelated ανά δύο Statistically Independent Aθροίσματα γραμμικοί συνδυασμοί Ανελίξεων Gauss είναι Jointly Gaussian Είσοδος WSS Ανέλιξης Gauss X t σε Γραμμικό Φίλτρο, μη μεταβλητό στο Χρόνο (LTI Filter, Linear Time-Invariant Filter) με κρουστική απόκριση h t H(f) Έξοδο WSS Ανέλιξη Gauss Y t = X t h t με S Y f = H f S X f. Οι ανελίξεις εισόδου εξόδου X t Y t είναι Jointly Gaussian