ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 5

ΣΤΟΧΑΣΤΙΚΑ ΣΥΣΤΗΜΑΤΑ & ΕΠΙΚΟΙΝΩΝΙΕΣ 1o Τμήμα (Α - Κ): Αμφιθέατρο 4, Νέα Κτίρια ΣΗΜΜΥ Θεωρία Πιθανοτήτων & Στοχαστικές Ανελίξεις - 5 5.10 Θόρυβος (Noise) καθ. Βασίλης Μάγκλαρης maglaris@etmode.tua.gr www.etmode.tua.gr Παρασκευή 1/5/017, Τρίτη 16/5/017

5.9 Στοχαστική Ανέλιξη Gauss (1/3) (Επανάληψη) Ορισμοί Συνδυασμένων Τυχαίων Μεταβλητών (Τ.Μ.) Gauss Joitly Gaussia Radom Variables (RV s): Gaussia PDF Τυχαίας Μεταβλητής X: f X x = 1 exp x μ X πσ X σ, E X = μ X, var X = σ X X Joitly Gaussia PDF Τυχαίων Μεταβλητών {X, Y}: 1 f X,Y x, y = πσ X σ Y 1 ρ exp 1 x μ X 1 ρ + y μ Y σ X ρ(x μ X)(y μ Y ) σ Y σ X σ Y όπου ρ = cov[xy] ο συντελεστής αυτοσυσχέτισης (correlatio coefficiet) σ X σ Y Αν οι Τ.Μ. {X, Y} είναι Joitly Gaussia, τότε η κάθε μια ξεχωριστά καθώς και οι υπό συνθήκη Τ.Μ. {X Y, Y X} είναι Gauss Joitly Gaussia Τυχαίες Μεταβλητές {X 1, X, X 3,, X }: Ανά ζεύγος οι Τ.Μ. {X i, X j } είναι Joitly Gaussia. Κάθε ζεύγος Τ.Μ. υπό συνθήκη τρίτης Τ.Μ. {X i X k, X j X k }είναι επίσης Joitly Gaussia Ιδιότητες των Joitly Gaussia RV s Κάθε υποσύνολο m Τ.Μ. από υπερσύνολο Joitly Gaussia Τ.Μ. είναι Joitly Gaussia Όλες οι PDF Joitly Gaussia Τ.Μ. {X 1, X, X 3,, X } καθορίζονται πλήρως από τους μέσους όρους E X i και τις συναρτήσεις συνδιακύμανσης (covariace) ανά δύο cov[x i X j ] Κάθε γραμμική συνάρτηση (συνδυασμός) των {X 1, X, X 3,, X }, Y = a i X i + b είναι Τ.Μ. Gauss με E Y = i=1 a i E[X i ] + b. Αν οι Τ.Μ. X i είναι και ανεξάρτητες τότε σ Y = a i=1 i σ Xi Πολλαπλές γραμμικές συναρτήσεις Y j = i=1 a i,j X i + b j των {X 1, X, X 3,, X } είναι Joitly Gaussia Δύο ασυσχέτιστες Joitly Gaussia RV s {X, Y} με ρ = cov[xy] = 0 είναι ανεξάρτητες σ X σ Y f X,Y x, y = f X x f Y y i=1

5.9 Στοχαστική Ανέλιξη Gauss (/3) (Επανάληψη) Κεντρικό Οριακό Θεώρημα (Cetral Limit Theorem) N ανεξάρτητες, όμοια κατανεμημένες Τ.Μ. (i.i.d. idepedet idetically distributed RV s) X i, i = 1,,, N με E X i = μ X και σ Xi = σ X Κανονικοποίηση: Y i = 1 (X σ i μ X ), E Y i X Η Τυχαία Μεταβλητή V N = 1 N Y N i=1 i = 0, σ Yi = 1 N 0,1 για N Το κανονικοποιημένο άθροισμα V N i.i.d. RV s Y i συγκλίνει στη Κανονική Κατανομή Gauss ταχύτερα για τιμές της V N κοντά στο κέντρο και βραδύτερα για μεγάλες τιμές στις ουρές της κατανομής του PDF Κανονικής Κατανομής Gauss N 0,1 μ Y = 0, σ Y = 1 f Y y 1 π exp ( y ) Ενδεικτική Παρουσίαση Σύγκλισης σε PDF Κανονικής Κατανομής https://e.wikipedia.org/wiki/illustratio_of_the_cetral_limit_theorem PDF ΜΙΑΣ Κανονικοποιημένης RV, Y i E Y i = 0, σ Yi = 1 PDF Αθροίσματος ΔYO i.i.d. RVs, V = Y 1+Y PDF Αθροίσματος ΤΡΙΩΝ i.i.d. RVs V 3 = Y 1+Y +Y 3 3 PDF Αθροίσματος ΤΕΣΣΑΡΩΝ i.i.d. RVs, V 4 = Y 1+Y +Y 3 +Y 4 4

5.9 Στοχαστική Ανέλιξη Gauss (3/3) (Επανάληψη) Ορισμός Gaussia Stochastic Process (Στοχαστικής Ανέλιξης Gauss) Η X t είναι Ανέλιξη Gauss αν, (t 1, t,, t ) οι Τυχαίες Μεταβλητές X t i, i = 1,, είναι Joitly Gaussia Οι ανελίξεις X t και Y t είναι Joitly Gaussia αν, m, (t 1, t,, t ) και (τ 1, τ,, τ m ) οι Τυχαίες Μεταβλητές {X t 1, X t,, X t, Y τ 1, Y τ,, Y τ m } είναι Joitly Gaussia X t και Y t Joitly Gaussia X t, Y t Gaussia Stochastic Processes Ιδιότητες της Ανέλιξης Gauss (προκύπτουν από τις ιδιότητες των Joitly Gauss Τ.M.): Όλες οι PDF των Joitly Gaussia Τ.M. X t 1, X t,, X t, δειγμάτων Στοχαστικής Ανέλιξης Gauss, καθορίζονται πλήρως από τους μέσους όρους μ X(ti ) και τις συναρτήσεις συνδιακύμανσης covariace cov[x(t i )X(t j )] ανά δύο Wide-Sese Statioary (WSS) Gaussia Process είναι ΚΑΙ Strict-Sese Statioary Αν οι Joitly Gaussia τυχαίες μεταβλητές X t 1, X t,, X t, δείγματα Στοχαστικής Ανέλιξης Gauss, είναι Ucorrelated ανά δύο Statistically Idepedet Aθροίσματα γραμμικοί συνδυασμοί Ανελίξεων Gauss είναι Joitly Gaussia Είσοδος WSS Ανέλιξης Gauss X t σε Γραμμικό Φίλτρο, μη μεταβλητό στο Χρόνο (LTI Filter, Liear Time-Ivariat Filter) με κρουστική απόκριση h t H(f) Έξοδο WSS Ανέλιξη Gauss Y t = X t h t με S Y f = H f S X f. Οι ανελίξεις εισόδου εξόδου X t Y t είναι Joitly Gaussia

5.10 Θόρυβος (Noise) (1/9) Πηγές Θορύβου Εξωτερικές παρεμβολές (π.χ. ατμοσφαιρικός θόρυβος) Εσωτερικές στιγμιαίες διακυμάνσεις σε ηλεκτρικά/ηλεκτρονικά κυκλώματα: Θερμικός Θόρυβος (Thermal Noise): Προκαλείται από τυχαίες συγκρούσεις ηλεκτρόνιων σε θορυβώδη αντίσταση R όπως μια πηγή τυχαία μεταβαλλόμενης τάσης V TN που προκαλεί παρεμβολές ισχύος E[V TN ]. Λόγω του μεγάλου αριθμού των ηλεκτρονίων και της άναρχης φύσης των συγκρούσεων, η V TN προκύπτει σαν άθροισμα πολλών τυχαίων μεταβλητών i.i.d. και σύμφωνα με το Κεντρικό Οριακό Θεώρημα ακολουθεί κατανομή Gauss Θόρυβος Βολής (Shot Noise): X t = i= h(t τ i ), άθροισμα εκρηκτικά εμφανιζόμενων παλμών ρεύματος h(t τ i ) που δημιουργούνται σε τυχαίες στιγμές τ i (π.χ. λόγω συγκρούσεων ηλεκτρόνιων με τυχαίες εκπομπές φωτονίων από εξωτερικές πηγές φωτός) Η τυχαία εμφάνιση παλμών περιγράφεται σαν μια Στοχαστική Ανέλιξη Απαρίθμησης (Coutig Process) N(t) που καταμετρά τυχαία γεγονότα (εκρήξεις παλμών) στο διάστημα (0, t). Ο αριθμός εμφανίσεων στο διάστημα t, t + T είναι διακριτή τυχαία μεταβλητή ν = N t + T N(t). Κάτω από συνθήκες απρόβλεπτης εξέλιξης της ανέλιξης (τα γεγονότα εμφανίζονται ανεξάρτητα από το παρελθόν και χωρίς να επηρεάζουν το μέλλον), η ν ακολουθεί την κατανομή Poisso με μέσο αριθμό εμφανίσεων ανάλογο του διαστήματος T: E T ν = λt. Η σταθερά λ ορίζει τον μέσο ρυθμό (rate) εμφανίσεων (γεγονότα ανά μονάδα χρόνου)

5.10 Θόρυβος (Noise) (/9) Η Κατανομή Poisso Διακριτή Τυχαία Μεταβλητή ν = N t + T N(t) απαρίθμησης γεγονότων σε χρονικό διάστημα παρατήρησης T που εμφανίζονται τυχαία και ανεξάρτητα από παρελθούσες ή μελλοντικές εμφανίσεις γεγονότων στο δείγμα (υλοποίηση) της Στοχαστικής Ανέλιξης μετρητή N(t) στο οποίο συνεισφέρουν (ιδιότητα έλλειψης μνήμης Markov) Ο μέσος όρος εμφανίσεων γεγονότων στο διάστημα T είναι E T ν = λt Εφαρμογές σε ανεξάρτητες εμφανίσεις τυχαίων γεγονότων: Τυχαίες εκρήξεις που προκαλούν τον ΘΟΡΥΒΟ ΒΟΛΗΣ σε ηλεκτρονικές συσκευές επικοινωνών Ανεξάρτητες τυχαίες αφίξεις πελατών σε ΣΥΣΤΗΜΑΤΑ ΟΥΡΩΝ ΑΝΑΜΟΝΗΣ με απαιτήσεις εξυπηρέτησης όπως: Διεκπεραίωση Τηλεφωνικών Κλήσεων Διακίνηση Πακέτων Δεδομένων στο Iteret Κυκλοφορία Αυτοκίνητων σε Οδικά Συστήματα Αγορές και Πληρωμές σε Καταστήματα Επεξεργασία Δεδομένων σε Κοινές Υπολογιστικές Υποδομές

5.10 Θόρυβος (Noise) (3/9) Η Κατανομή Poisso σαν Όριο Διωνυμικής Κατανομής Ανεξάρτητες εμφανίσεις {N t = k} γεγονότων (σημείων) Poisso στο διάστημα (0, t) με ρυθμό λ σημεία/sec ορίζουν Διακριτή Τυχαία Μεταβλητή (Discrete Radom Variable) {ν = k} με Κατανομή Μάζας Πιθανότητας k λt P t [ν = k] P N t = k = e λt, k = 0,1,, k! Απόδειξη Διαιρώ το διάστημα t σε υποδιαστήματα, t = Δt Πραγματοποιώ ανεξάρτητες δοκιμές Berouilli, μια σε κάθε υποδιάστημα, με δύο εναλλακτικές: Εμφάνιση (επιτυχία) με πιθανότητα p = λδt, μη εμφάνιση (αποτυχία) με 1 p Η πιθανότητα k επιτυχιών σε ανεξάρτητες δοκιμές δίνεται από την Διωνυμική Κατανομή: P N t = k = k pk 1 p k, k = 0,1,, P N t = k = Στο όριο Δt 0,, t = Δt έχουμε k P N t = k = λδt k 1 λδt k =! k! k!! k! k, k λt 1 λt k λt 1 λt k k k 1 λt k e λt και λt k k! e λt

5.10 Θόρυβος (Noise) (4/9) Κατανομή Poisso για Διαφορετικές Τιμές του λt = E N(T) (μέσος αριθμός εμφανίσεων γεγονότων σε διάστημα T) λt Οι συνεχείς καμπύλες στο σχήμα είναι οι περιβάλλουσες των Συναρτήσεων Μάζας Πιθανότητας (Ιστογράμματος) της Διακριτής Τυχαίας Μεταβλητής Poisso P T [ν = k] P N T = k = λt k k! e λt Ιδιότητες της Στοχαστικής Ανέλιξης Poisso E N t = σ N t = λt Άθροισμα μέσων όρων & διασπορών ανεξάρτητων δοκιμών Beroulli σε υποδιαστήματα Δt 0, t = Δt: P Δt ν = 0 = 1 λδt, P Δt ν = 1 = λδt, E Δt ν = λδt, σ ν,δt λδt Ο συνολικός αριθμός σημείων Στοχαστική Ανέλιξης Poisso ρυθμού λ σε μη υπερ-καλυπτόμενα χρονικά διαστήματα T 1, T είναι διακριτή τυχαία μεταβλητή Poisso με μέση τιμή λ(t 1 + T ) Υπέρθεση δυο ανεξαρτήτων Ανελίξεων Poisso N 1 t, N t με ρυθμούς λ 1, λ δίνει Ανέλιξη Poisso N t με ρυθμό λ = λ 1 + λ

5.10 Θόρυβος (Noise) (5/9) Η Εκθετική Κατανομή Το χρονικό διάστημα τ μεταξύ διαδοχικών εμφανίσεων σημείων Poisso είναι Συνεχής Τυχαία Μεταβλητή (Cotiuous Radom Variable) με Εκθετική Κατανομή (Expoetial Distributio): CDF: F τ t = P τ t = 1 e λt, t 0 0, t < 0 και PDF: f τ t = df τ(t) = λe λt, t 0 dt 0, t < 0 Απόδειξη 1 F τ t 1 = 1 P τ t 1 = P τ > t 1 = P t1 ν = 0 = λt 1 0 e λt 1 = e λt 1 0! https://e.wikipedia.org/wiki/expoetial_distributio Ιδιότητες Εκθετικής Κατανομής E τ = λte λt dt = 1/λ t=0 t=0 CDF: F τ t = P τ t E τ = λt e λt dt = /λ, σ τ = E τ E τ = 1/λ Ιδιότητα έλλειψης μνήμης: P τ > t + s τ > s = P[τ>t+s, τ>s] P[τ>s] = P[τ>t+s] P[τ>s] PDF: f t = df τ(t) dt = e λt = P τ > t = 1 F τ t Η εκθετική κατανομή είναι η μόνη κατανομή συνεχούς μεταβλητής με την ιδιότητα αυτή (Memoryless, Markov Property). Την ίδια ιδιότητα έχει η διακριτή γεωμετρική κατανομή της οποίας το όριο σε συνεχές πεδίο ορισμού είναι η εκθετική κατανομή

5.10 Θόρυβος (Noise) (6/9) Λευκός Θόρυβος - White Noise Στοχαστική Ανέλιξη W(t) με ισοκατανομή της Ισχύος σε όλες τις συχνότητες με πυκνότητα S W f = N 0 (όπως το λευκό φως αναλύεται εξ ίσου σε όλα τα ορατά χρώματα). Η Αυτοσυσχέτιση δίνεται από R W τ = N 0 δ(τ) Δείγματα ελάχιστης χρονικής διαφοράς είναι Ασυσχέτιστες Τυχαίες Μεταβλητές και άρα ο Λευκός Θόρυβος είναι ακραία περίπτωση τυχαιότητας Αν ο Λευκός Θόρυβος είναι και Στοχαστική Ανέλιξη Gauss, τότε όλα τα δείγματα αποτελούν Ανεξάρτητες Τυχαίες Μεταβλητές Gauss Η μέση στιγμιαία ισχύς E W t = R W (0) έχει άπειρη τιμή και άρα δεν υπάρχει στη φύση. Επειδή οι δέκτες και οι δίαυλοι επικοινωνίας έχουν πεπερασμένες ζώνες διέλευσης, μπορεί να θεωρηθεί σαν ένα χρήσιμο μοντέλο θορύβου Παράδειγμα: Λευκός Θόρυβος Gauss Μηδενικής Μέσης Τιμής σε Βαθυπερατό Φίλτρο (LPF) S N f = N 0, B < f < B 0, f > B και R B N τ = N 0 B exp jπfτ df = N 0Bsic(Bτ) Εφόσον η είσοδος W(t) είναι Gauss, και η έξοδος N(t) θα είναι Gauss με συσχέτιση R N τ = 0 για τιμές τ = ±k/b δείγματα της εξόδου με ρυθμό f s = B θα είναι ανεξάρτητες τυχαίες μεταβλητές Gauss με μηδενική μέση τιμή και διασπορά N 0 B W(t) N(t) S N f, R N (τ)

5.10 Θόρυβος (Noise) (7/9) Παράδειγμα: Λευκός Θόρυβος μέσω LPF Φίλτρου RC Θεωρώ Λευκό Θόρυβο Gauss W(t) μηδενικού μέσου E W t πυκνότητας φάσματος ισχύος S W f = N 0 που μέσω φίλτρου RC παράγει Θόρυβο N(t) Συνάρτηση Μεταφοράς: H f = Έξοδος: S N f = H f S w f = 1 1+jπfRC = 0 και N 0 / και R 1+ πfrc N τ = N 0 τ exp ( ) 4RC RC W(t) N(t) Για τ 0 = πrc 4.61RC, R N τ 0 = 1% της μεγίστης τιμής R N 0 = S N f df = E N N t = 0 που αντιστοιχεί στη μέση ισχύ του 4RC θορύβου N(t). Ο χρόνος τ 0 = πrc μπορεί να θεωρηθεί σαν το χρονικό διάστημα μετά την παρέλευση του οποίου εκμηδενίζεται (προσεγγιστικά) η όποια συσχέτιση του σήματος. Τα σχετικά δείγματα με ρυθμό δειγματοληψίας f s 1 τ 0 1/(4.61RC) θα είναι κατά προσέγγιση ασυσχέτιστες τυχαίες μεταβλητές Gauss και άρα ανεξάρτητες τυχαίες μεταβλητές Παρατήρηση: Οι συχνότητες f 1 ορίζουν το εύρος συχνοτήτων μισής πrc 1 ισχύος ή 3 db: S N = N 0 = S N 0 πrc 4

5.10 Θόρυβος (Noise) (8/9) Παράδειγμα: Ημιτονοειδές Σήμα με Παρεμβολή Λευκού Θορύβου Gauss X t = Acos πf c t + Θ + w t όπου f Θ θ = 1, π θ π και E w t = 0, S π W f = N 0 R X τ = A cos πf ct + N 0 δ(τ) Πειραματική Υλοποίηση σε Matlab: f c = 0.00 Hz, θ = π, A = N 0 = 1 0 t 1000 sec Ημιτονοειδές Σήμα Σήμα + Θόρυβος Δύο Τρόποι Πειραματικών Μετρήσεων: Esemble Average: R X τ = lim 1 M M M i=1 (εκτίμηση με M = 500 επαναλήψεις - δείγματα) Time Average: R X τ = lim 1 T T (επαλήθευση εργοδικότητας) T T x i t + τ x i (t) x t + τ x t dt Θεωρητική R X τ Εκτίμηση R X τ σαν Esemble Average Εκτίμηση R X τ σαν Time Average

5.10 Θόρυβος (Noise) (9/9) Ισοδύναμο Εύρος Ζώνης Συχνοτήτων Θορύβου Λευκός Θόρυβος W(t) N(t) E W t = 0 S W f = N 0 Low Pass Filter S N f = N 0 H f Γενική Περίπτωση LPF με Συνάρτηση Μεταφοράς H f Η μέση ισχύς του σήματος εξόδου N t είναι E N t = R N 0 = S N f df = N 0 Ιδεατό LPF H i f με Εύρος Ζώνης { B, B} : H i f = 0 H f df = N 0 H f df Η μέση ισχύς του σήματος εξόδου N i t του ιδεατού LPF είναι E N i (t) = R Ni 0 = S Ni f df = N 0 B B H 0, B f B 0, f > B H (0)df = N 0 B H (0) Noise Equivalet Badwidth (Ισοδύναμο Εύρος Ζώνης Συχνοτήτων Θορύβου): B = 0 H f H (0) df