ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 3, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 5 5.10: Θόρυβος (Πηγές Θορύβου, Κατανομή Poisson, Λευκός Θόρυβος, Ισοδύναμο Bandwidth Θορύβου) καθ. Βασίλης Μάγκλαρης maglaris@netmode.ntua.gr www.netmode.ntua.gr 9-15/1/016
5.9 Στοχαστική Ανέλιξη Gauss (1/3) (Επανάληψη) Ορισμοί Συνδυασμένων Τυχαίων Μεταβλητών Gauss Jointly Gaussian Random Variables (): Gaussian PDF Τυχαίας Μεταβλητής X: f X x = 1 exp x μ X πσ X σ, E X = μ X, var X = σ X X Jointly Gaussian PDF Τυχαίων Μεταβλητών {X, Y}: 1 f X,Y x, y = πσ X σ Y 1 ρ exp 1 x μ X 1 ρ + y μ Y σ X ρ(x μ X)(y μ Y ) σ Y σ X σ Y όπου ρ = cov[xy] ο συντελεστής αυτοσυσχέτισης (correlation coefficient) σ X σ Y Αν οι Τυχαίες Μεταβλητές {X, Y} είναι Jointly Gaussian, τότε η κάθε μια ξεχωριστά καθώς και οι υπό συνθήκη Τυχαίες Μεταβλητές {X Y, Y X} είναι Gaussian Jointly Gaussian n Τυχαίες Μεταβλητές {X 1, X, X 3,, X n }: Ανά ζεύγος είναι Jointly Gaussian και κάθε ζεύγος μεταβλητών υπό συνθήκη κάθε τρίτης μεταβλητής είναι Jointly Gaussian Ιδιότητες των Jointly Gaussian Random Variables Κάθε υποσύνολο m Τυχαίων Μεταβλητών Jointly Gaussian, είναι Jointly Gaussian Όλες οι PDF Jointly Gaussian Τυχαίων Μεταβλητών {X 1, X, X 3,, X n } καθορίζονται πλήρως από τους μέσους όρους τους μ Xi και τις συναρτήσεις συνδιακύμανσης covariance cov[x i X j ] ανά δύο Κάθε γραμμική συνάρτηση (συνδυασμός) των {X 1, X, X 3,, X n } Y = X i είναι τυχαία μεταβλητή Gauss. Επίσης πολλαπλές γραμμικές συναρτήσεις (συνδυασμοί) των {X 1, X, X 3,, X n } είναι Jointly Gaussian Δύο ασυσχέτιστες Jointly Gaussian τυχαίες μεταβλητές {X, Y} με ρ = cov[xy] σ X σ Y f X,Y x, y = f X x f Y y n i=1 = 0 είναι ανεξάρτητες
5.9 Στοχαστική Ανέλιξη Gauss (/3) (Επανάληψη) Κεντρικό Οριακό Θεώρημα (Central Limit Theorem) N ανεξάρτητες, όμοια κατανεμημένες τυχαίες μεταβλητές (i.i.d. independent identically distributed RV s) X i, i = 1,,, N με E X i = μ X και σ Xi = σ X Κανονικοποίηση: Y i = 1 (X σ i μ X ), E Y i X Η Τυχαία Μεταβλητή V N = 1 N Y N i=1 i = 0, σ Yi = 1 N 0,1 για N Το κανονικοποιημένο άθροισμα V N i.i.d. RV s Y i συγκλίνει στη Κανονική Κατανομή Gauss ταχύτερα για τιμές της V N κοντά στο κέντρο και βραδύτερα για μεγάλες τιμές στις ουρές της κατανομής του PDF Κανονικής Κατανομής Gauss N 0,1 μ Y = 0, σ Y = 1 f Y y 1 π exp ( y ) Ενδεικτική Παρουσίαση Σύγκλισης σε PDF Κανονικής Κατανομής https://en.wikipedia.org/wiki/illustration_of_the_central_limit_theorem PDF ΜΙΑΣ Κανονικοποιημένης RV, Y i PDF Αθροίσματος ΔYO i.i.d. RVs, V = Y 1+Y PDF Αθροίσματος ΤΡΙΩΝ i.i.d. RVs, V 3 = Y 1+Y +Y 3 3 PDF Αθροίσματος ΤΕΣΣΑΡΩΝ i.i.d. RVs, V 4 = Y 1+Y +Y 3 +Y 4 4
5.9 Στοχαστική Ανέλιξη Gauss (3/3) (Επανάληψη) Ορισμός Gaussian Stochastic Process (Στοχαστικής Ανέλιξης Gauss) Η X t είναι Ανέλιξη Gauss αν n, (t 1, t,, t n ) οι Τυχαίες Μεταβλητές X t i, i = 1,, n είναι Jointly Gaussian Οι ανελίξεις X t και Y t είναι Jointly Gaussian αν n, m, (t 1, t,, t n ) και (τ 1, τ,, τ m ) οι Τυχαίες Μεταβλητές {X t 1, X t,, X t n, Y τ 1, Y τ,, Y τ m } είναι Jointly Gaussian X t και Y t Jointly Gaussian X t, Y t Gaussian Stochastic Processes Ιδιότητες της Ανέλιξης Gauss (προκύπτουν από τις ιδιότητες των Τυχαίων Μεταβλητών Jointly Gauss): Όλες οι PDF των Jointly Gaussian τυχαίων μεταβλητών X t 1, X t,, X t n, δειγμάτων Στοχαστικής Ανέλιξης Gauss, καθορίζονται πλήρως από τους μέσους όρους μ X(ti ) και τις συναρτήσεις συνδιακύμανσης covariance cov[x(t i )X(t j )] ανά δύο Wide-Sense Stationary (WSS) Gaussian Process είναι ΚΑΙ Strict-Sense Stationary Αν οι Jointly Gaussian τυχαίες μεταβλητές X t 1, X t,, X t n, δείγματα Στοχαστικής Ανέλιξης Gauss, είναι Uncorrelated ανά δύο Statistically Independent Aθροίσματα γραμμικοί συνδυασμοί Ανελίξεων Gauss είναι Jointly Gaussian Είσοδος WSS Ανέλιξης Gauss X t σε Γραμμικό Φίλτρο, μη μεταβλητό στο Χρόνο (LTI Filter, Linear Time-Invariant Filter) με κρουστική απόκριση h t H(f) Έξοδο WSS Ανέλιξη Gauss Y t = X t h t με S Y f = H f S X f. Οι ανελίξεις εισόδου εξόδου X t Y t είναι Jointly Gaussian
5.10 Θόρυβος (Noise) (1/9) Πηγές Θορύβου Εξωτερικές παρεμβολές (π.χ. ατμοσφαιρικός θόρυβος) Εσωτερικές στιγμιαίες διακυμάνσεις σε ηλεκτρικά/ηλεκτρονικά κυκλώματα: Θερμικός Θόρυβος (Thermal Noise): Προκαλείται από τυχαίες συγκρούσεις ηλεκτρόνιων σε θορυβώδη αντίσταση R όπως μια πηγή τυχαία μεταβαλλόμενης τάσης V TN που προκαλεί παρεμβολές ισχύος E[V TN ]. Λόγω του μεγάλου αριθμού των ηλεκτρονίων και της άναρχης φύσης των συγκρούσεων, η V TN προκύπτει σαν άθροισμα πολλών τυχαίων μεταβλητών i.i.d. και σύμφωνα με το Κεντρικό Οριακό Θεώρημα ακολουθεί κατανομή Gauss Θόρυβος Βολής (Shot Noise): X t = i= h(t τ i ), άθροισμα εκρηκτικά εμφανιζόμενων παλμών ρεύματος h(t τ i ) που δημιουργούνται σε τυχαίες στιγμές τ i (π.χ. λόγω συγκρούσεων ηλεκτρόνιων με τυχαίες εκπομπές φωτονίων από εξωτερικές πηγές φωτός) Η τυχαία εμφάνιση παλμών περιγράφεται σαν μια Στοχαστική Ανέλιξη Απαρίθμησης (Counting Process) N(t) που καταμετρά τυχαία γεγονότα (εκρήξεις παλμών) στο διάστημα (0, t). Ο αριθμός εμφανίσεων στο διάστημα t, t + T είναι διακριτή τυχαία μεταβλητή ν = N t + T N(t). Κάτω από συνθήκες απρόβλεπτης εξέλιξης της ανέλιξης (τα γεγονότα εμφανίζονται ανεξάρτητα από το παρελθόν και χωρίς να επηρεάζουν το μέλλον), η ν ακολουθεί την κατανομή Poisson με μέσο αριθμό εμφανίσεων ανάλογο του διαστήματος T: E T ν = λt. Η σταθερά λ ορίζει τον μέσο ρυθμό (rate) εμφανίσεων (γεγονότα ανά μονάδα χρόνου)
5.10 Θόρυβος (Noise) (/9) Η Κατανομή Poisson Διακριτή Τυχαία Μεταβλητή ν = N t + T N(t) απαρίθμησης γεγονότων σε χρονικό διάστημα παρατήρησης T που εμφανίζονται τυχαία και ανεξάρτητα από παρελθούσες ή μελλοντικές εμφανίσεις γεγονότων στο δείγμα (υλοποίηση) της Στοχαστικής Ανέλιξης μετρητή N(t) στο οποίο συνεισφέρουν (ιδιότητα έλλειψης μνήμης Markov) Ο μέσος όρος εμφανίσεων γεγονότων στο διάστημα T είναι E T ν = λt Εφαρμογές σε ανεξάρτητες εμφανίσεις τυχαίων γεγονότων: Τυχαίες εκρήξεις που προκαλούν τον ΘΟΡΥΒΟ ΒΟΛΗΣ σε ηλεκτρονικές συσκευές επικοινωνών Ανεξάρτητες τυχαίες αφίξεις πελατών σε ΣΥΣΤΗΜΑΤΑ ΟΥΡΩΝ ΑΝΑΜΟΝΗΣ με απαιτήσεις εξυπηρέτησης όπως: Διεκπεραίωση Τηλεφωνικών Κλήσεων Διακίνηση Πακέτων Δεδομένων στο Internet Κυκλοφορία Αυτοκίνητων σε Οδικά Συστήματα Αγορές και Πληρωμές σε Καταστήματα Επεξεργασία Δεδομένων σε Κοινές Υπολογιστικές Υποδομές
5.10 Θόρυβος (Noise) (3/9) Η Κατανομή Poisson σαν Όριο Διωνυμικής Κατανομής Ανεξάρτητες εμφανίσεις {N t = k} γεγονότων (σημείων) Poisson στο διάστημα (0, t) με ρυθμό λ σημεία/sec ορίζουν Διακριτή Τυχαία Μεταβλητή (Discrete Random Variable) {ν = k} με Κατανομή Μάζας Πιθανότητας k λt P t [ν = k] P N t = k = e λt, k = 0,1,, k! Απόδειξη Διαιρώ το διάστημα t σε n υποδιαστήματα, t = nδt Πραγματοποιώ n ανεξάρτητες δοκιμές Bernouilli, μια σε κάθε υποδιάστημα, με δύο εναλλακτικές: Εμφάνιση (επιτυχία) με πιθανότητα p = λδt, μη εμφάνιση (αποτυχία) με 1 p Η πιθανότητα k επιτυχιών σε n ανεξάρτητες δοκιμές δίνεται από την Διωνυμική Κατανομή: P N t = k = n k pk 1 p n k, k = 0,1,, n P N t = k = Στο όριο Δt 0, n, t = nδt έχουμε n k P N t = k = λδt k 1 λδt n k = n! k! n k! n! n k! nk, k λt 1 λt n n n k λt n 1 λt n n k k n k 1 λt n n k e λt και λt k k! e λt
5.10 Θόρυβος (Noise) (4/9) Κατανομή Poisson για Διαφορετικές Τιμές του λt = E N(T) (μέσος αριθμός εμφανίσεων γεγονότων σε διάστημα T) λt Οι συνεχείς καμπύλες στο σχήμα είναι οι περιβάλλουσες των Συναρτήσεων Μάζας Πιθανότητας (Ιστογράμματος) της Διακριτής Τυχαίας Μεταβλητής Poisson P T [ν = k] P N T = k = λt k k! e λt Ιδιότητες της Στοχαστικής Ανέλιξης Poisson E N t = σ N t = λt Ο συνολικός αριθμός σημείων Στοχαστική Ανέλιξης Poisson ρυθμού λ σε μη υπερ-καλυπτόμενα χρονικά διαστήματα T 1, T είναι διακριτή τυχαία μεταβλητή Poisson με μέση τιμή λ(t 1 + T ) Υπέρθεση δυο ανεξαρτήτων Ανελίξεων Poisson N 1 t, N t με ρυθμούς λ 1, λ δίνει Ανέλιξη Poisson N t με ρυθμό λ = λ 1 + λ
5.10 Θόρυβος (Noise) (5/9) Η Εκθετική Κατανομή Το χρονικό διάστημα τ μεταξύ διαδοχικών εμφανίσεων σημείων Poisson είναι Συνεχής Τυχαία Μεταβλητή (Continuous Random Variable) με Εκθετική Κατανομή (Exponential Distribution): CDF: F τ t = P τ t = 1 e λt, t 0 0, t < 0 και PDF: f τ t = df τ(t) = λe λt, t 0 dt 0, t < 0 Απόδειξη 1 F τ t 1 = 1 P τ t 1 = P τ > t 1 = P t1 ν = 0 = λt 1 0 e λt 1 = e λt 1 0! https://en.wikipedia.org/wiki/exponential_distribution Ιδιότητες Εκθετικής Κατανομής E τ = λte λt dt = 1/λ t=0 t=0 CDF: F τ t = P τ t E τ = λt e λt dt = /λ, σ τ = E τ E τ = 1/λ Ιδιότητα έλλειψης μνήμης: P τ > t + s τ > s = P[τ>t+s, τ>s] P[τ>s] = P[τ>t+s] P[τ>s] PDF: f t = df τ(t) dt = e λt = P τ > t = 1 F τ t Η εκθετική κατανομή είναι η μόνη κατανομή συνεχούς μεταβλητής με την ιδιότητα αυτή (Memoryless, Markov Property). Την ίδια ιδιότητα έχει η διακριτή γεωμετρική κατανομή της οποίας το όριο σε συνεχές πεδίο ορισμού είναι η εκθετική κατανομή
5.10 Θόρυβος (Noise) (6/9) Λευκός Θόρυβος - White Noise Στοχαστική Ανέλιξη w(t) με ισοκατανομή της Ισχύος σε όλες τις συχνότητες με πυκνότητα S W f = N 0 (όπως το λευκό φως αναλύεται εξ ίσου σε όλα τα ορατά χρώματα). Η Αυτοσυσχέτιση δίνεται από R W τ = N 0 δ(τ) Δείγματα ελάχιστης χρονικής διαφοράς είναι ασυσχέτιστες Τυχαίες Μεταβλητές και άρα ο Λευκός Θόρυβος είναι ακραία περίπτωση τυχαιότητας Αν είναι και Στοχαστική Ανέλιξη Gauss, τότε όλα τα δείγματα αποτελούν Ανεξάρτητες Τυχαίες Μεταβλητές Gauss Η μέση στιγμιαία ισχύς E w t = R W (0) έχει άπειρη τιμή και άρα δεν υπάρχει στη φύση. Επειδή οι δέκτες και οι δίαυλοι επικοινωνίας έχουν πεπερασμένες ζώνες διέλευσης, μπορεί να θεωρηθεί σαν ένα χρήσιμο μοντέλο θορύβου Λευκός Θόρυβος Gauss Μηδενικής Μέσης Τιμής σε Βαθυπερατό Φίλτρο (LPF) S N f = N 0, B < f < B 0, f > B και R B N τ = N 0 B exp jπfτ df = N 0Bsinc(Bτ) Εφόσον η είσοδος w(t) είναι Gauss, και η έξοδος n(t) θα είναι Gauss με συσχέτιση R N τ = 0 για τιμές τ = ±k/b δείγματα της εξόδου με ρυθμό B θα είναι ανεξάρτητες τυχαίες μεταβλητές Gauss με μηδενική μέση τιμή και διασπορά N 0 B w(t) n(t) S N f, R N (τ)
5.10 Θόρυβος (Noise) (7/9) Είσοδος RC LPF: Λευκός Θόρυβος Gauss μηδενικού μέσου E w t = 0 και πυκνότητας φάσματος ισχύος S W f = N 0 Συνάρτηση Μεταφοράς: H f = 1 1+jπfRC N Έξοδος: S N f = 0 /, R 1+ πfrc N τ = N 0 τ exp ( 4RC Για τ 0 = 4.61RC, R N τ 0 = 1% της μεγίστης τιμής R N 0 = N 0 που μπορεί να θεωρηθεί σαν ο χρόνος 4RC RC ) μετά την παρέλευση του οποίου μηδενίζεται η όποια συσχέτιση του σήματος. Τα σχετικά δείγματα με ρυθμό 1/(4.61RC) θα είναι κατά προσέγγιση ασυσχέτιστες τυχαίες μεταβλητές Gauss και άρα ανεξάρτητες τυχαίες μεταβλητές
5.10 Θόρυβος (Noise) (8/9) Ημιτονοειδές Σήμα με Παρεμβολή Λευκού Θορύβου Gauss X t = Acos πf c t + Θ + w t όπου f Θ θ = 1, π θ π και E w t = 0, S π W f = N 0 R X τ = A cos πf ct + N 0 δ(τ) Ημιτονοειδές Σήμα Σήμα + Θόρυβος Πειραματική Υλοποίηση σε Matlab: f c = 0.00 Hz, θ = π, A = N 0 = 1 0 t 1000 sec Δύο Τρόποι Πειραματικών Μετρήσεων: Ensemble Average: R X τ = lim 1 M M M i=1 (εκτίμηση με M = 500 επαναλήψεις - δείγματα) Time Average: R X τ = lim 1 T T (επαλήθευση εργοδικότητας) T T x i t + τ x i (t) x t + τ x t dt Θεωρητική R X τ Εκτίμηση R X τ σαν Ensemble Average Εκτίμηση R X τ σαν Time Average
5.10 Θόρυβος (Noise) (9/9) Ισοδύναμο Εύρος Ζώνης Συχνοτήτων Θορύβου w(t) n(t) S W f = N 0 Low Pass Filter S N f = N 0 H f Γενική Περίπτωση LPF με Συνάρτηση Μεταφοράς H f Η μέση ισχύς του σήματος εξόδου n t είναι E n t = R N 0 = S N f df = N 0 0 H f df = N 0 H f df Ισοδύναμο Ιδεατό LPF H i f με Εύρος Ζώνης { B, B} : H i f = Η μέση ισχύς του σήματος εξόδου n i t είναι E n i (t) = R Ni 0 = S Ni f df = N 0 B B H (0)df = N 0 B H (0) H 0, B f B 0, f > B Noise Equivalent Bandwidth (Ισοδύναμο Εύρος Ζώνης Συχνοτήτων Θορύβου): B = 0 H f H (0) df