ιακριτού χρόνου Τυχαίες ιαδικασίες

Transcript

1 ιακριτού χρόνου Τυχαίες ιαδικασίες Τα σήµατα ταξινοµούνται σε δύο ευρείες κατηγορίες: 1. Αιτιοκρατικά (deterministic): Αναπαράγονται ακριβώς ίδια µε επαναλαµβανόµενες διαδικασίες. Παράδειγµα το µοναδιαίο βήµα ή το κρουστικό σήµα. 2. Τυχαία (random): Τυχαίο σήµα ή τυχαία διαδικασία είναι το σήµα που δεν επαναλαµβάνεται ακριβώς το ίδιο µε προβλέψιµο τρόπο. Παράδειγµα ο θόρυβος κβαντισµού, τα χιόνια στην οθόνη του ραντάρ, το βούισµα από την κασέτα κατά την αναπαραγωγή ήχου ή ο θόρυβος της µηχανής κατά τη µετάδοση σήµατος φωνής από το πιλοτήριο ενός αεροπλάνου. Ορισµένα σήµατα µπορεί να θεωρηθούν είτε αιτιοκρατικά είτε τυχαία ανάλογα µε την εφαρµογή. Για παράδειγµα το σήµα της φωνής µπορεί να θεωρηθεί αιτιοκρατικό αν πρόκειται για συγκεκριµένη κυµατοµορφή την οποία θέλουµε να επεξεργαστούµε ή αναλύσουµε. Όµως το σήµα της φωνής µπορεί να θεωρηθεί επίσης και τυχαία διαδικασία στην περίπτωση που κάποια συγκεκριµένη κυµατοµορφή θεωρείται ότι ανήκει σε µια ευρεία συλλογή µε όλες τις πιθανές κυµατοµορφές προκειµένου να σχεδιάσουµε ένα σύστηµα που θα επεξεργάζεται µε βέλτιστο τρόπο σήµατα φωνής γενικά. Στο µάθηµα αυτό θα επικεντρωθούµε ιδιαίτερα στα τυχαία σήµατα. Επειδή οι τυχαίες διαδικασίες µπορούν να περιγραφούν µόνο πιθανοκρατικά ή µε όρους κάποιας µέσης συµπεριφοράς θα ξεκινήσουµε µε σύντοµη ανασκόπηση των τυχαίων διαδικασιών. ΤΥΧΑΙΕΣ ΜΕΤΑΒΛΗΤΕΣ Η αρχή της τυχαίας µεταβλητής µπορεί να γίνει καλύτερα κατανοητός µε το ακόλουθο παράδειγµα. Αν υποθέσουµε ότι στρίβουµε ένα δίκαιο κέρµα η πιθανότητα να φέρουµε κορώνα Pr{H}=0.5 είναι ίση µε την πιθανότητα να φέρουµε γράµµατα Pr{T}=0.5. Το σύνολο όλων των πιθανών αποτελεσµάτων ενός πειράµατος αποτελεί τον δειγµατοχώρο (sample space) Ω o οποίος έχει πάντα Pr{Ω}=1. Για το συγκεκριµένο παράδειγµα ο δειγµατοχώρος αποτελείται από Ω={Η,Τ} Pr{H,T}=1. Τα υποσύνολα του διεγµατοχώρου ονοµάζονται γεγονότα (events) και το κάθε στοιχείο ξεχωριστά του δειγµατοχώρου ονοµάζεται στοιχειώδες γεγονός (elementary event). Στο παραπάνω παράδειγµα τα µόνα στοιχειώδη γεγονότα που υπάρχουν είναι τα ω 1 ={Η} και ω 2 ={Τ}. Μπορούµε τώρα να υποθέσουµε ότι υπάρχει µια πραγµατική µεταβλητή x η οποία παίρνει την τιµή x=1 κάθε φορά που το κέρµα φέρνει κορώνα και x=-1 όποτε έρχεται γράµµατα. Με αυτόν τον τρόπο ορίζεται µια αντιστοιχία µεταξύ των γεγονότων του πειράµατος και των πραγµατικών αριθµών: f : Ω R οπότε θα ισχύει: ω = { Η} x = 1 Pr{ x = 1} = ω2 = { T} x = 1 Pr{ x = 1} = 0.5 Αφού οι µόνες τιµές που µπορεί να πάρει η µεταβλητή x είναι {1,-1} άρα για οποιονδήποτε άλλο αριθµό a θα είναι: Pr{x=a}=0 αν a ±1 και Pr{Ω}=Pr{x=±1}=1. Η µεταβλητή x λέγεται τυχαία µεταβλητή και καθορίζεται µε όρους πιθανοφάνειας (πιθανότητας). Ο ορισµός της τυχαίας µεταβλητής ως αντιστοίχηση στοιχειωδών γεγονότων ενός δειγµατοχώρου µε σηµεία στον άξονα στον πραγµατικών αριθµών απεικονίζεται στο παρακάτω σχήµα: Η συγκεκριµένη τυχαία µεταβλητή είναι πραγµατική αλλά επιπλέον επειδή µπορεί να πάρει µόνο µία από ένα σύνολο δύο διαφορετικών τιµών ονοµάζεται Bernouli τυχαία µεταβλητή. Με παρόµοιο τρόπο µπορούµε να ορίσουµε µιγαδικές τυχαίες µεταβλητές. Για παράδειγµα στην περίπτωση που έχουµε πείραµα µε δύο δίκαια ζάρια, το ένα άσπρο και το άλλο µαύρο µια µιγαδική τυχαία µεταβλητή µπορεί να οριστεί ώς: z=m+jn όπου m είναι ο αριθµός που φέρνει το άσπρο ζάρι και n ο αριθµός του µαύρου ζαριού. Μέχρι στιγµής οι Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 1

2 τυχαίες µεταβλητές ήταν διακριτές αφού το αποτέλεσµα των πειραµάτων ήταν ένα σύνολο διακριτών γεγονότων. Για κάθε διακριτή τυχαία µεταβλητή ορίζεται η συνάρτηση πιθανότητας µάζας (probability mass function (pmf)) ως: Pr ( a) = Pr{ x a} x = Κατά αντιστοιχία µπορούµε να ορίσουµε συνεχείς τυχαίες µεταβλητές όπως για παράδειγµα στο πείραµα µε µια ρουλέτα άπειρης ανάλυσης που µπορεί να παράγει σε µια περιστροφή της οποιονδήποτε αριθµό από το 0 έως το 1. Ο δειγµατοχώρος σε αυτή την περίπτωση είναι: Ω = { ω : 0 ω 1}. Αν ο τροχός είναι δίκαιος ώστε κάθε αριθµός στο διάστηµα από 0 έως 1 να είναι ισοπίθανος τότε η ανάθεση πιθανότητας στο Ω µπορεί να γίνει ως εξής. Για κάθε διάστηµα Ι=(α 1,α 2 ] υποσύνολο του [0,1] ορίζουµε την πιθανότητα του γεγονότος ω є Ι ως ακολούθως: Pr{ ω Ι} = Pr{ a < ω a = a a 1 2} Επιπλέον για οποιαδήποτε δύο ασυνεχή διαστήµατα Ι 1 και Ι 2 η πιθανότητα ότι το αποτέλεσµα του πειράµατος θα σε ένα από αυτά θα είναι: Pr{ ω Ι1 ή ω Ι 2} = Pr{ ω Ι1} + Pr{ ω Ι 2} Νόµος Πιθανότητας (Probability Law): Καθορίζει τα αξιώµατα που πρέπει να ισχύουν προκειµένου η ανάθεση πιθανότητας σε κάθε γεγονός Α ενός δειγµατοχώρου Ω να είναι έγκυρη: 1. Pr(A) 0 για κάθε Α є Ω 2. Pr(Ω) =1 για το δειγµατοχώρο Ω 3. Για κάθε δύο αµοιβαία ανεξάρτητα γεγονότα Α1 και Α2 ( A 1 A2 = 0 ) ισχύει: Στις εφαρµογές επεξεργασίας σήµατος είναι σηµαντικότερη η πιθανοκρατική περιγραφή της τυχαίας µεταβλητής αντί του στατιστικού χαρακτηρισµού των γεγονότων του δειγµατοχώρου. Για µια πραγµατική τυχαία µεταβλητή ένας στατιστικός χαρακτηρισµός είναι η συνάρτηση κατανοµής πιθανότητας (probability distribution function ή cumulative distribution function (cdf) ) που ορίζεται ως: Fx( a) = Pr{ x a}. Για παράδειγµα για την τυχαία µεταβλητή που ορίσαµε για το πείραµα µε το κέρµα η συνάρτηση κατανοµής 0 a < 1 πιθανότητας θα είναι: Fx( a) = a < a Το διάγραµµα της παραπάνω cdf είναι το σχήµα (α) στην παρακάτω εικόνα: 2 1 Παρατηρήστε ότι υπάρχουν δύο βηµατικές αλλαγές της συνάρτησης στο x=-1 και x=1. Οι ασυνέχειες που παρατηρούνται είναι εξαιτίας των διακριτών πιθανοτήτων µάζας σε αυτά τα σηµεία. Ένας άλλος τρόπος για να χαρακτηρίσουµε στατιστικά µια τυχαία µεταβλητή είναι η συνάρτηση πυκνότητας πιθανότητας (probability density function (pdf)) που ορίζεται ως εξής: d f x ( a) = Fx ( a) da Για την τυχαία µεταβλητή µε την παραπάνω συνάρτηση κατανοµής η pdf θα έχει το σχήµα (b) της παραπάνω εικόνας και θα είναι: f x 1 1 ( a) = δ ( a + 1) + δ ( a 1) 2 2 όπου δ(α) είναι το κρουστικό σήµα. Οι pdf που περιέχουν κρουστικά σήµατα είναι χαρακτηριστικές των τυχαίων µεταβλητών διακριτού τύπου. Για το παράδειγµα συνεχούς τυχαίας µεταβλητής µε την ρουλέτα που αναφέραµε πιο πάνω η cdf θα είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 2

3 και η pdf θα είναι: 0 a < 0 Fx( a) = a 0 a < a f x 1 0 a 1 ( a) = 0 αλλο ύ Τόσο η cdf όσο και η pdf απεικονίζονται στο σχήµα (c) και (d) αντίστοιχα της παρακάτω εικόνας. Παρατηρήστε ότι η cdf της συνεχούς τυχαίας µεταβλητής είναι συνεχής συνάρτηση του α ενώ η pdf είναι επιµέρους συνεχής. Για µιγαδικές τυχαίες µεταβλητές τα πράγµατα αλλάζουν κάπως αφού δεν έχει νόηµα η ανισότητα z α. Μπορούµε να δούµε την z = x + jy σαν ζεύγος πραγµατικών τυχαίων µεταβλητών (του x και y) οπότε η ανάθεση πιθανοτήτων να γίνει µε όρους από κοινού (joint) cdf και pdf των x και y όπως θα δούµε παρακάτω. Μέσοι συνόλου (ensemble averages) Ένας ολοκληρωµένος στατιστικά χαρακτηρισµός µιας τυχαίας µεταβλητής απαιτεί να υπάρχει η δυνατότητα να καθορίζεται η πιθανότητα οποιουδήποτε γεγονότος στον δειγµατοχώρο. Σε πολλές εφαρµογές παρόλα αυτά ο ολοκληρωµένος στατιστικά χαρακτηρισµός της τυχαίας µεταβλητής µπορεί να µην είναι απαραίτητος εφόσον είναι γνωστή η µέση συµπεριφορά της τυχαίας µεταβλητής. Για παράδειγµα προκειµένου να αποφασίσουµε να παίξουµε ή όχι 31 αυτό που µας ενδιαφέρει είναι ο αναµενόµενος ρυθµός απόδοσης σε µια παρτίδα αντί του ολοκληρωµένου στατιστικά χαρακτηρισµού του παιχνιδιού. Στο µάθηµα θα επικεντρωθούµε ιδιαίτερα στους στατιστικούς µέσους όρους και γι αυτό στην παράγραφο αυτή θα εισάγουµε τις έννοιες αναµενόµενη τιµή τυχαίας µεταβλητής ή συνάρτησης τυχαίας µεταβλητής. Έστω x τυχαία µεταβλητή όπως ορίζεται σε ένα πείραµα µε ζάρι. Ας υποθέσουµε ότι το ζάρι ρίχνεται N T φορές και ότι ο αριθµός k εµφανίζεται n κ φορές. Η µέση τιµή που υπολογίζεται µε τον ακόλουθο τρόπο ονοµάζεται sample mean (δειγµατικός µέσος) Αν, τότε και η παραπάνω εξίσωση γίνεται: Η µέση ή αναµενόµενη τιµή (expected value) µιας διακριτής τυχαίας µεταβλητής x που θεωρεί ότι µια τιµή α κ µε πιθανότητα Pr{x = α κ } ορίζεται ως εξής: Συναρτήσει της pdf f x (a), η αναµενόµενη τιµή µπορεί να γραφεί ως: Ο παραπάνω ορισµός ισχύει και για συνεχείς τυχαίες µεταβλητές. Παράδειγµα 1: Υπολογισµός µέσου τυχαίας µεταβλητής (ΤΜ) Για την ΤΜ που ορίζεται στο πείραµα µε το κέρµα η αναµενόµενη τιµή είναι: E{x] = Pr{x = 1} - Pr{x = -1} = 0 Για την ΤΜ στο πείραµα µε το ζάρι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 3

4 Τέλος για την συνεχή ΤΜ στο πείραµα της ρουλέτας: Υπάρχουν πολλά παραδείγµατα στα οποία είναι απαραίτητο να υπολογίσουµε την αναµενόµενη τιµή µιας συνάρτησης ΤΜ. Για παράδειγµα στην εύρεση της µέσης ισχύος που καταναλίσκεται σε αντίσταση 1 ohm όταν η τάση x είναι ΤΜ είναι απαραίτητο να υπολογίσουµε την αναµενόµενη τιµή του y = x 2. Αν x είναι ΤΜ µε pdf f x (a) και αν y = g(x), τότε η αναµενόµενη τιµή (ΑΤ) του y είναι: Για παράδειγµα η ΑΤ του y = x 2 είναι: και η ΑΤ του y = x is Προκειµένου να δούµε πως προέκυψε ο παραπάνω ορισµός της ΑΤ µιας συνάρτησης ΤΜ ας θεωρήσουµε το πρόβληµα υπολογισµού της ΑΤ της x 2 όπου x είναι ΤΜ ορισµένη στο πείραµα µε το ρίξιµο του ζαριού. Υποθέτοντας ότι ρίξαµε το ζάρι N T φορές και ότι ο αριθµός k εµφανίζεται n κ φορές η µέση τετραγωνική τιµή του αριθµού που εµφανίζεται είναι κατά προσέγγιση ίση µε τη µέση τετραγωνική τιµή δείγµατος (sample mean-square value): Με όρους pdf η παραπάνω εξίσωση γίνεται: η οποία είναι ίδια µε τον ορισµό της ΑΤ της συγκεκριµένης συνάρτησης που είδαµε πιο πάνω. Η αναµενόµενη τιµή του x 2 είναι ένας σηµαντικός στατιστικός µέσος που αναφέρεται ως µέση τετραγωνική τιµή (mean-square (MS) value). Η MS τιµή χρησιµοποιείται τακτικά για τη µέτρηση της ποιότητας µιας εκτίµησης. Για παράδειγµα στην δηµιουργία ενός εκτιµητή µιας τυχαίας µεταβλητής x είναι σύνηθες να θέλουµε να βρούµε εκείνο τον εκτιµητή που ελαχιστοποιεί το µέσο τετραγωνικό σφάλµα (mean-square error) MSE, Ένας άλλος σχετικός µέσος είναι η διακύµανση (variance) η οποία είναι η MS τιµή της ΤΜ Τις περισσότερες φορές αναφέρεται είτε ως Var{x} είτε ως και ορίζεται ως: Η τετραγωνική ρίζα της διακύµανσης, είναι η τυπική απόκλιση (standard deviation). Για µιγαδικές ΤΜ η MS τιµή είναι και η διακύµανση είναι Από τον ορισµό της ΑΤ καταλαβαίνουµε ότι η ΑΤ είναι γραµµικός τελεστής αφού για δύο ΤΜ x και y και για κάθε ζεύγος σταθερών a και b, Χρησιµοποιώντας τη γραµµικότητα της ΑΤ η διακύµανση µπορεί να εκφραστεί ως: Συνεπώς αν η µέση τιµή της ΤΜ x είναι µηδέν, τότε: Από κοινού κατανεµηµένες ΤΜ Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 4

5 Τώρα θα κοιτάξουµε την περίπτωση που χρειάζεται να δουλέψουµε µε δύο ΤΜ. Σε αντίθεση µε την περίπτωση της µίας ΤΜ όταν έχουµε δύο ή περισσότερες είναι απαραίτητο να θεωρήσουµε στατιστικές εξαρτήσεις που µπορεί να υπάρχουν µεταξύ των ΤΜ. Για παράδειγµα στο παράδειγµα µε το τίµιο κέρµα ας θεωρήσουµε ότι η τυχαία µεταβλητή x παίρνει την τιµή 1 όταν πέφτει κεφαλή και -1 για γράµµατα. Αν ρίξουµε δύο τίµια κέρµατα και το αποτέλεσµα του πρώτου κέρµατος ορίζει την τιµή της ΤΜ x(1) ενώ του δεύτερου κέρµατος ορίζει την ΤΜ x(2) τότε {x(l), x(2)} θα είναι ένα ζεύγος ΤΜ µε για i = 1,2. Αν το αποτέλεσµα του πρώτου κέρµατος δεν επηρεάζει το αποτέλεσµα του δεύτερου τότε κάθε ένα από τα ακόλουθα αποτελέσµατα:{0, 0}, {0, 1), {1,0}, και {1,1} είναι ισοπίθανα. Ας δούµε όµως και το ακόλουθο πείραµα. Ας υποθέσουµε ότι έχουµε 3 ζάρια. Το πρώτο είναι τίµιο, το δεύτερο έχει αυξηµένη πιθανότητα για κεφαλή και το τρίτο αυξηµένη πιθανότητα για γράµµατα. Έστω x (l) η ΤΜ του τίµιου ζαριού όπως και πριν. Έστω µια δεύτερη ΤΜ x (2) η οποία παίρνει τιµές µε βάση τη ρίψη κάποιου κέρµατος αλλά ισχύει το εξής παράδοξο. Ανάλογα µε το αποτέλεσµα του τίµιου ζαριού επιλέγεται για ρίψη από τα ανέντιµα κέρµατα εκείνο που έχει µεγαλύτερη πιθανότητα στο αποτέλεσµα του τίµιου ζαριού. Αν δηλαδή το τίµιο φέρει κεφαλή τότε θα χρησιµοποιηθεί το κέρµα µε αυξηµένη πιθανότητα στην κεφαλή και το αντίθετο αν φέρει γράµµατα. Με βάση αυτό τον ορισµό για τις ΤΜ x(1) και x(2) βλέπουµε ότι υπάρχει εξάρτηση µεταξύ των ΤΜ υπό την έννοια ότι είναι πολύ πιθανότερο οι δύο ΤΜ να έχουν τις ίδιες τιµές στο τέλος από το να έχουν διαφορετικές. Αυτό σηµαίνει ότι παρατηρώντας την τιµή του x(1) αυξάνω την πιθανότητα να προβλέψω την τιµή για το x(2). Στην ακραία περίπτωση που το δεύτερο κέρµα έχει και στις δύο πλευρές κεφαλή ενώ το τρίτο έχει και στις δύο πλευρές γράµµατα οι x(1) και x(2) θα έχουν πάντα τις ίδιες τιµές. Η συσχέτιση µεταξύ των ΤΜ περιλαµβάνεται στην από κοινού (joint) κατανοµή πιθανότητας και από κοινού (joint) pdf που ορίζονται ως ακολούθως: Η joint distribution function είναι όπως και στην περίπτωση της µίας ΤΜ η joint density function για δύο ΤΜ είναι η παράγωγος της αντίστοιχης συνάρτησης κατανοµής: Οι ίδιες συναρτήσεις χρησιµοποιούνται στην περίπτωση που έχουµε µιγαδικές ΤΜ. Για παράδειγµα αν z= x + jy µια µιγαδική ΤΜ και c= a + jb ένας µιγαδικός αριθµός τότε η συνάρτηση κατανοµής της z θα είναι: Για περισσότερες από δύο ΤΜ οι joint distribution και joint density functions ορίζονται µε παρόµοιο τρόπο. Για παράδειγµα για n ΤΜ θα είναι: και Από κοινού ροπές (Joint Moments) Όπως και στην περίπτωση της µίας ΤΜ οι µέσοι ενός συνόλου αποτελούν ένα σηµαντικό και χρήσιµο χαρακτηρισµό από κοινού κατανεµηµένων ΤΜ. Οι δύο µέσοι πρωταρχικής σηµασίας είναι η συσχέτιση (correlation) και η συνδιακύµανση (covariance). Η συσχέτιση (correlation), αναφέρεται συχνά ως και είναι η ακόλουθη από κοινού ροπή δεύτερης τάξης (second-order joint moment) όπου για την περίπτωση των µιγαδικών ΤΜ, y* είναι η µιγαδικός συζυγής του y. Ένας µέσος συνόλου (ensemble average) που σχετίζεται µε την συσχέτιση είναι η συνδιακύµανση c xy, που ορίζεται ως: όπου και είναι οι µέσοι (Αναµενόµενες τιµές) των ΤΜ x και y, αντίστοιχα. Προφανώς αν µία από τις δύο ΤΜ x ή y έχουν µηδενική µέση τιµή τότε η συνδιακύµανση είναι ίση µε την συσχέτιση. Συχνά είναι χρήσιµο να κανονικοποιούµε την συνδιακύµανση. Μια τέτοια µορφή κανονικοποιηµένων συνδιακυµάνσεων είναι οι συντελεστές συσχέτισης (correlation coefficient) και ορίζεται ως εξής: Για TM µε µηδενικό µέσο οι συντελεστές συσχέτισης γίνονται: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 5

6 Εξαιτίας της κανονικοποίησης µε τον όρο άνω φραγµένο στο ένα:, οι συντελεστές συσχέτισης έχουν πλάτος (magnitude) Η ιδιότητα αυτή µπορεί εύκολα να αποδειχτεί στην περίπτωση των πραγµατικών ΤΜ ως εξής. Ας θεωρήσουµε (χωρίς απώλεια γενίκευσης) ότι x και y έχουν µηδενικό µέσο. Τότε αν a είναι πραγµατικός αριθµός τότε (αx-y) 2 0 και, (1) Αφού η παραπάνω εξίσωση είναι quadratic µε µη αρνητικές τιµές για οποιαδήποτε τιµή του a, συνεπώς οι ρίζες της εξίσωσης πρέπει να είναι είτε µιγαδικοί είτε εφόσον είναι πραγµατικοί να είναι ίσες µεταξύ τους. Με άλλα λόγια η διακρίνουσα πρέπει να µην είναι θετική: ή το οποίο εκφράζει την ανισότητα συνηµίτονου (cosine inequality). Ως εκ τούτου Παρατηρήστε ότι εάν υπάρχει µια τιµή του a για την οποία ισχύει η ισότητα στην εξίσωση (1) τότε που σηµαίνει ότι (µε πιθανότητα 1). Ανεξάρτητες, Ασυσχέτιστες και Ορθογώνιες ΤΜ Υπάρχουν πολλά παραδείγµατα ΤΜ σε διάφορες εφαρµογές για τις οποίες η τιµή της µίας ΤΜ δεν εξαρτάται από την τιµή της άλλης. Αυτές οι ΤΜ λέγονται στατιστικά ανεξάρτητες. Ένας πιο ακριβής τρόπος ορισµού της στατιστικής ανεξαρτησίας δίνεται ως εξής: Ορισµός: ύο ΤΜ x και y λέγονται στατιστικά ανεξάρτητες αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι διαχωρίσιµη ως εξής: Μια ασθενέστερη µορφή ανεξαρτησίας συµβαίνει όταν η joint second-order moment διαχωρίσιµη, δηλαδή: είναι ή ύο ΤΜ που ικανοποιούν την παραπάνω εξίσωση λέγονται ασυσχέτιστες (uncorrelated). Παρατηρήστε ότι αφού συνεπώς δύο ΤΜ x και y θα είναι ασυσχέτιστες αν η συνδιακύµανση τους είναι µηδέν, Προφανώς δυο στατιστικά ανεξάρτητες ΤΜ θα είναι πάντα ασυσχέτιστες. Το αντίστροφο όµως δεν είναι πάντα αληθές. Μια χρήσιµη ιδιότητα των ασυσχέτιστων ΤΜ είναι η ακόλουθη: Ιδιότητα: Η διακύµανση του αθροίσµατος δύο ΤΜ x και y είναι ίσο µε το άθροισµα των διακυµάνσεων: Var{x+y}=Var{x}+Var{y} Η συσχέτιση µεταξύ ΤΜ αποτελεί ένα σηµαντικό χαρακτηριστικό της στατιστικής εξάρτησης µεταξύ τους και θα παίξει ιδιαίτερα σηµαντικό ρόλο στην µελέτη των τυχαίων διαδικασιών και στην φασµατική εκτίµηση. Συνεπώς είναι σηµαντικό να κατανοήσουµε τι ακριβώς σηµαίνει η συσχέτιση πέρα από τον απλό ορισµό της. Στην επόµενη παράγραφο θα δείξουµε πως συνδέεται η γραµµική πρόβλεψη µε την συσχέτιση στο πρόβληµα της γραµµικής µέσης-τετραγωνικής εκτίµησης. Μια ιδιότητα που συνδέεται µε την ασυσχετικότητα είναι η ορθογωνικότητα (orthogonality). Συγκεκριµένα δύο ΤΜ λέγονται ορθογώνιες όταν η συσχέτισης τους είναι µηδέν: Παρότι οι ορθογώνιες ΤΜ δεν είναι απαραίτητα ασυσχέτιστες, οι µηδενικού µέσου ΤΜ που είναι ασυσχέτιστες θα είναι πάντα ορθογώνιες. \ Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 6

7 Γραµµική Μέσου Τετραγώνου Εκτίµηση (Linear Mean-Square Estimation) Στην παράγραφο αυτή θα δούµε σύντοµα το πρόβληµα της εκτίµησης µιας ΤΜ y µε βάση την παρατήρηση από µια άλλη ΤΜ x. Το πρόβληµα αυτό γενικά προκύπτει όταν η y δεν µπορεί να παρατηρηθεί ή υπολογιστεί άµεσα οπότε µια ΤΜ που σχετίζεται χρησιµοποιείται για τον υπολογισµό του y. Για παράδειγµα θέλουµε να εκτιµήσουµε το IQ (Intelligence Quotient) ενός ατόµου µε βάση την απόδοση του σε κάποιο σχετικό τεστ. Αν αναπαραστήσουµε το IQ µε µια ΤΜ y και την απόδοση στο τεστ µε µια δεύτερη ΤΜ x, τότε θεωρώντας ότι υπάρχει συσχέτιση (correlation) µεταξύ x και y, ο στόχος είναι η εύρεση της καλύτερης εκτίµησης του y βασισµένοι στο x. Στη µέση τετραγωνική εκτίµηση, το πρόβληµα µοντελοποιείται στην εύρεση µιας εκτίµησης ŷ τέτοιας ώστε να ελαχιστοποιείται το µέσο τετραγωνικό σφάλµα: Παρότι η λύση στο παραπάνω πρόβληµα γενικά µας οδηγεί σε ένα µη γραµµικό εκτιµητή (η βέλτιστη εκτίµηση είναι ο υπό συνθήκη µέσος ) σε πολλές περιπτώσεις ένας γραµµικός εκτιµητής είναι προτιµότερος. Στη γραµµική µέσου τετραγώνου εκτίµηση ο εκτιµητής περιορίζεται να έχει την ακόλουθη µορφή: και ο στόχος είναι να βρούµε τις τιµές του a και b που ελαχιστοποιούν το MSE: Υπάρχουν πολλά πλεονεκτήµατα από τη χρήση γραµµικού εκτιµητή. Το πρώτο είναι ότι οι παράµετροι a και b εξαρτώνται µόνο από το second-order moments του x και y και όχι από τις joint density functions. εύτερον, οι εξισώσεις που θα πρέπει να λυθούν για τα a και b είναι γραµµικές. Τέλος για Gaussian ΤΜ όπως θα τις δούµε στην επόµενη παράγραφο η βέλτιστη µη γραµµική µέση τετραγωνική εκτίµηση είναι γραµµική. Το πρόβληµα αυτό αποτελεί ειδική περίπτωση ενός γενικότερου προβλήµατος µέσης τετραγωνικής εκτίµησης που προκύπτει σε πολλές εφαρµογές επεξεργασίας σήµατος. Το να λύσουµε το πρόβληµα της γραµµικής µέσης τετραγωνικής εκτίµησης είναι εφικτό µε διαφόριση του ξ ως προς τις a και b και θέτοντας την παράγωγο ίση µε το µηδέν: Η πρώτη από τις παραπάνω εξισώσεις µας λεει ουσιαστικά ότι: όπου είναι το σφάλµα εκτίµησης. Αυτή η σχέση που είναι γνωστή ως αρχή της ορθογωνικότητας (orthogonality principle), µας λεει ότι για τον βέλτιστο γραµµικό προβλεπτή το σφάλµα εκτίµησης θα είναι ορθογώνιο µε τα δεδοµένα x. Η αρχή της ορθογωνικότητας είναι θεµελιώδης στα προβλήµατα εκτίµησης µέσου τετραγώνου. Λύνοντας τις παραπάνω εξισώσεις ως προς a και b βρίσκουµε: Από την πρώτη εξίσωση βρίσκουµε ότι: (2) το οποίο αν αντικαταστήσουµε στην δεύτερη: όπου χρησιµοποιήσαµε τη σχέση Ως αποτέλεσµα η εκτίµηση για το y γράφεται: όπου: (3) Συνδυάζοντας τις δύο τελευταίες εξισώσεις βγάζω τελικά: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 7

8 Το επόµενο βήµα είναι να υπολογίσουµε το MSE. Επειδή: Αντικαθιστώντας την εξίσωση (2) στην παραπάνω: Τέλος χρησιµοποιώντας την έκφραση για το a στην εξίσωση (3), το ελάχιστο MSE γίνεται: του οποίου η γραφική παράσταση σαν συνάρτηση του φαίνεται στην παρακάτω εικόνα: Παρατηρήστε ότι αφού το ελάχιστο MSE πρέπει να είναι µη αρνητικό, η παραπάνω εξίσωση µας ξανατονίζει την ιδιότητα ότι οι συντελεστές συσχέτισης δεν µπορούν να υπερβούν την τιµή 1 κατά απόλυτη τιµή. Ας δούµε τώρα ορισµένες ειδικές περιπτώσεις του προβλήµατος της γραµµικής MS εκτίµησης. Πρώτα, µπορούµε να παρατηρήσουµε ότι αν x και y είναι ασυσχέτιστα τότε a = 0 και b = E{y}. Συνεπώς, η εκτίµηση για το y είναι: και το ελάχιστο MSE: Το παραπάνω µας λεει ότι η ΤΜ x δεν χρησιµοποιείται στην εκτίµηση του y, οπότε το να γνωρίζουµε την τιµή της ΤΜ x δεν βελτιώνει την ακρίβεια της εκτίµησης του y. Μια άλλη ειδική περίπτωση συµβαίνει όταν Σε αυτή την περίπτωση το ελάχιστο MSE είναι µηδέν: και συνεπώς θα ισχύει y=ax+b. Έτσι όταν το πλάτος των συντελεστών συσχέτισης είναι ίσο µε ένα, οι ΤΜ x και y εξαρτώνται η µία µε την άλλη µε γραµµικό τρόπο. Με βάση τις παραπάνω παρατηρήσεις καταλήγουµε στο συµπέρασµα ότι οι συντελεστές συσχέτισης προσφέρουν ένα τρόπο να µετρήσουµε την γραµµική προβλεψιµότητα µεταξύ δύο ΤΜ. Όσο πιο κοντά είναι το ρ στο ένα τόσο µικρότερο είναι το MSE σε µια εκτίµηση του y µε γραµµικό εκτιµητή. xy Gaussian Τυχαίες Μεταβλητές Οι Gaussian ΤΜ παίζουν κεντρικό ρόλο στη θεωρία πιθανοτήτων. Μία ΤΜ x λέγεται Gaussian αν η pdf της έχει την ακόλουθη µορφή: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 8

9 όπου και είναι ο µέσος και η διακύµανση του x, αντίστοιχα. Παρατηρήστε ότι η pdf µιας Gaussian ΤΜ ορίζεται πλήρως εφόσον προσδιοριστούν η µέση τιµή και η διακύµανση. ύο ΤΜ x και y λέγονται από κοινού ( jointly) Gaussian αν η joint pdf είναι: όπου: Εδώ, και είναι οι µέσες τιµές και οι και οι διακυµάνσεις των Gaussian ΤΜ x και y, αντίστοιχα. Η συσχέτιση µεταξύ x και y είναι η. Όπως και µε την απλή Gaussian ΤΜ, η joint pdf ορίζεται πλήρως εφόσον γίνουν γνωστές οι µέσες τιµές, οι διακυµάνσεις και η συσχέτιση. Οι Gaussian ΤΜ έχουν µερικές σηµαντικές ιδιότητες.: Ιδιότητα 1. Αν x και y είναι jointly Gaussian, τότε για κάθε ζεύγος σταθερών a και b η ΤΜ: θα είναι Gaussian µε µέσο και διακύµανση: Ιδιότητα 2. Αν δύο jointly Gaussian ΤΜ είναι ασυσχέτιστες: τότε θα είναι στατιστικά ανεξάρτητες: Ιδιότητα 3. Αν x και y είναι jointly Gaussian ΤΜ τότε η βέλτιστη µη γραµµική εκτίµηση για το y που ελαχιστοποιεί το MSE είναι η γραµµική εκτίµηση: Ιδιότητα 4. Αν x είναι Gaussian µε µηδενική µέση τιµή τότε: Παραµετρική Εκτίµηση: Bias and Consistency Υπάρχουν πολλά παραδείγµατα στην επεξεργασία σήµατος αλλά και σε άλλους επιστηµονικούς τοµείς όπου είναι απαραίτητο να εκτιµήσουµε την τιµή µιας άγνωστης παραµέτρου από ένα σύνολο παρατηρήσεων µιας ΤΜ. Για παράδειγµα, αν µας δίνεται ένα σύνολο παρατηρήσεων από µια Gaussian κατανοµή, η εκτίµηση του µέσου και της διακύµανσης από αυτές τις παρατηρήσεις είναι ένα πρόβληµα παραµετρικής εκτίµησης. Ως συγκεκριµένη εφαρµογή του παραπάνω ας θυµηθούµε ότι σε µια γραµµική MS εκτίµηση, η εκτίµηση της τιµής της ΤΜ y από µια παρατήρηση µιας σχετιζόµενης ΤΜ x, οι συντελεστές a και b στην εκτιµήτρια εξαρτάται από τη µέση τιµή και διακύµανση των x και y όπως επίσης και από την συσχέτιση τους. Αν αυτοί οι στατιστικοί µέσοι είναι άγνωστοι τότε είναι απαραίτητο να εκτιµήσουµε αυτές τις παράµετρους από ένα σύνολο παρατηρήσεων των x και y. Αφού κάθε εκτίµηση θα είναι µια συνάρτηση των παρατηρήσεων οι εκτιµήσεις οι ίδιες θα είναι ΤΜ. Συνεπώς, για να µπορέσουµε να µετρήσουµε την αποδοτικότητα ενός συγκεκριµένου εκτιµητή είναι σηµαντικό να µπορούµε να χαρακτηρίσουµε τις στατιστικές του ιδιότητες. Οι στατιστικές ιδιότητες που µας ενδιαφέρουν περιλαµβάνουν την στατιστική απόκλιση (bias) και την διακύµανση (variance). Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 9

10 Ας θεωρήσουµε το πρόβληµα εκτίµησης της τιµής µιας παραµέτρου θ από µια ακολουθία τυχαίων µεταβλητών x, για n = 1,2, L, N. Αφού η εκτίµηση είναι συνάρτηση Ν τυχαίων µεταβλητών θα n την ορίζουµε ως θˆν. Γενικά θα θέλαµε η εκτίµηση να είναι ίση κατά µέσο όρο µε την πραγµατική τιµή. Η διαφορά µεταξύ της αναµενόµενης τιµής της εκτίµησης και της πραγµατικής τιµής θ ονοµάζεται στατιστική απόκλιση (bias) και θα τη δηλώνουµε ως Β: B = θ Ε{ ˆ θ Ν } Αν το bias είναι µηδέν, τότε η αναµενόµενη τιµή της εκτίµησης είναι ίση µε την πραγµατική τιµή: θ = Ε{ ˆ θ Ν } και η εκτίµηση λέγεται unbiased. Αν Β 0 τότε η εκτίµηση θˆ λέγεται biased. Αν µια εκτίµηση είναι biased αλλά το bias τείνει στο µηδέν όσο ο αριθµός των παρατηρήσεων N τείνει στο άπειρο: lim E{ ˆ θ } = θ N Ν τότε η εκτίµηση λέγεται ότι είναι ασυµπτωτικά unbiased. Γενικά είναι επιθυµητό ένας εκτιµητής να είναι είτε unbiased είτε ασυµπτωτικά unbiased. Παρόλα αυτά το bias όπως θα φανεί και στο ακόλουθο παράδειγµα δεν είναι το µοναδικό σηµαντικό στατιστικό µέτρο. Παράδειγµα: An Unbiased Estimator Έστω x µια ΤΜ ορισµένη στο πείραµα µε το ρίξιµο κέρµατος µε x = 1 όταν έρθει κεφαλή και x = -1 όταν έρθουν γράµµατα. Αν το κέρµα δεν είναι δίκαιο έτσι ώστε η πιθανότητα να φέρει κεφαλή είναι και η πιθανότητα να φέρει γράµµατα είναι, τότε η µέση τιµή του x θα είναι: Ας υποθέσουµε ότι η τιµή του είναι άγνωστη και ότι η µέση τιµή του x πρέπει να εκτιµηθεί. Ρίχνοντας το κέρµα Ν φορές και δηλώνοντας τις τιµές που προκύπτουν για την ΤΜ x ως, µπορούµε να θεωρήσουµε τον ακόλουθο εκτιµητή για το, Αφού η αναµενόµενη τιµή του είναι: τότε ο εκτιµητής αυτός είναι unbiased. Παρόλα αυτά είναι προφανές ότι ο δεν είναι πολύ καλός εκτιµητής της µέσης τιµής. Ο λόγος είναι ότι η εκτίµηση είτε θα είναι ίση µε ένα µε πιθανότητα, είτε θα είναι ίση µε µείον ένα µε πιθανότητα. Συνεπώς η ακρίβεια της εκτίµησης δεν βελτιώνεται όσο αυξάνεται ο αριθµός των παρατηρήσεων. Μάλιστα παρατηρήστε ότι η διακύµανση της εκτίµησης: δεν µειώνεται µε το Ν. Προκειµένου η εκτίµηση µιας παραµέτρου να συγκλίνει κατά κάποιο τρόπο στην πραγµατική τιµή της είναι απαραίτητο η διακύµανση της εκτίµησης να τείνει στο µηδέν όσο ο αριθµός των παρατηρήσεων τείνει στο άπειρο: Αν είναι unbiased,, προκύπτει συνεπώς από την ανισότητα Tchebycheff ότι για κάθε Συνεπώς, αν η διακύµανση τείνει στο µηδέν όσο το, τότε η πιθανότητα ότι διαφέρει µε περισσότερο από σε σχέση µε την πραγµατική τιµή θα τείνει στο µηδέν. Σε αυτή την περίπτωση το λέγεται ότι συγκλίνει στο θ µε πιθανότητα 1. Μια άλλη µορφή σύγκλισης που είναι πιο δυνατή από την σύγκλιση µε πιθανότητα ένα είναι η µέση τετραγωνική σύγκλιση (mean-square convergence). Μια εκτίµηση λέγεται ότι συγκλίνει στην πραγµατική τιµή µε την έννοια του µέσου τετραγώνου αν: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 10

11 ( Παρατηρήστε ότι για έναν unbiased εκτιµητή αυτό είναι ισοδύναµο µε την συνθήκη που δίνεται στην εξίσωση (4) ότι η διακύµανση της εκτίµησης τείνει στο µηδέν. Τέλος µια εκτίµηση λέγεται ότι είναι συνεπής (consistent) αν συγκλίνει µε κάποια έννοια στην πραγµατική τιµή της παραµέτρου. Ανάλογα µε την µορφή σύγκλισης που θα χρησιµοποιηθεί µπορούµε να εισαγάγουµε διαφορετικούς ορισµούς της συνέπειας. Ένας ορισµός που θα ακολουθήσουµε στο µάθηµα είναι ο ακόλουθος. Μια εκτίµηση λέγεται συνεπής αν είναι ασυµπτωτικά unbiased και έχει διακύµανση που τείνει στο µηδέν όσο το N τείνει στο άπειρο. Παράδειγµα: The Sample Mean Έστω x µια ΤΜ µε µέσο και διακύµανση. Αν µας δοθούν N ασυσχέτιστες παρατηρήσεις του x ορισµένες ως, ας υποθέσουµε ότι ένας εκτιµητής του έχει την ακόλουθη µορφή: Αυτή η εκτίµηση είναι γνωστή ως ο δειγµατικός µέσος και έχει την ακόλουθη αναµενόµενη τιµή: Συνεπώς ο δειγµατικός µέσος είναι ένας unbiased εκτιµητής. Επιπλέον η διακύµανση της εκτίµησης είναι: Αφού η διακύµανση τείνει στο µηδέν όσο το εκτιµητής., ο δειγµατικός µέσος είναι ένας συνεπής (consistent) ΤΥΧΑΙΕΣ ΙΑ ΙΚΑΣΙΕΣ Θα αναφερθούµε τώρα στις διακριτού χρόνου τυχαίες διαδικασίες οι οποίες είναι µια ακολουθία τυχαίων µεταβλητών µε δείκτες. Γνωρίζοντας λοιπόν τις βασικές αρχές για τις τυχαίες µεταβλητές η αναγωγή στις τυχαίες διαδικασίες γίνεται σχετικά απλά. Ορισµοί Όπως µια τυχαία µεταβλητή αποτελεί µια αντιστοίχηση από τον δειγµατοχώρο ενός πειράµατος σε ένα σύνολο πραγµατικών ή µιγαδικών αριθµών, µια διακριτού χρόνου τυχαία διαδικασία είναι µια αντιστοιχία από τον δειγµατοχώρο Ω σε µια συλλογή (ensemble) σηµάτων διακριτού χρόνου x(n). Στο παρακάτω σχήµα απεικονίζεται αυτή η αντιστοιχία. ηλαδή η διακριτού χρόνου τυχαία διαδικασία είναι στην πραγµατικότητα µια συλλογή σηµάτων διακριτού χρόνου. Ένας άλλος τρόπος, πιο χρήσιµος, είναι να παραστήσουµε τυχαίες διαδικασίες είναι ως ακολουθία τυχαίων µεταβλητών µε βάση κάποιο δείκτη: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 11

12 Ένα απλό παράδειγµα τυχαίας διαδικασίας διακριτού χρόνου είναι το ακόλουθο. Θεωρήστε το πείραµα µε το ρίξιµο ενός δίκαιου ζαριού και έστω ότι το αποτέλεσµα του πειράµατος αντιστοιχεί σε µια τυχαία µεταβλητή Α. ηλαδή η ΤΜ Α θα παίρνει τιµές από 1-6 µε ίση πιθανότητα. Αν θεωρήσουµε το σήµα: τότε µια τυχαία διαδικασία έχει προκύψει που αποτελείται από τη συλλογή των έξι διαφορετικών και ισοπίθανων σηµάτων διακριτού-χρόνου. Μια πιο πολύπλοκη διαδικασία µπορεί να κατασκευαστεί θεωρώντας το πείραµα της επαναλαµβανόµενης ρίψης ενός δίκαιου κέρµατος. Θέτοντας την τιµή του x(n) στη χρονική στιγµή n ίση µε 1 για κεφαλή και -1 για γράµµατα τότε η ακολουθία x(n) γίνεται διακριτού-χρόνου τυχαία διαδικασία αποτελούµενη από την τυχαία ακολουθία 1 και -1. Όταν το ρίξιµο του κέρµατος στην χρονική στιγµή n δεν επηρεάζει µε κανένα τρόπο το αποτέλεσµα της ρίψης του κέρµατος σε άλλες χρονικές στιγµές τότε το x(n) θα λέγεται διαδικασία Bernoulli. Ένα παράδειγµα διαδικασίας Bernoulli φαίνεται στο διάγραµµα (α) της παρακάτω εικόνας. Από µία τυχαία διαδικασία x (n), µπορούν να δηµιουργηθούν και άλλες τυχαίες διαδικασίες µετασχηµατίζοντας την x (n) µε βάση κάποια µαθηµατικό τελεστή. Ένας τέτοιος χρήσιµος µετασχηµατισµός είναι το γραµµικό φίλτρο. Για παράδειγµα, αν εφαρµόσουµε στην παραπάνω διαδικασία Bernoulli το πρώτης-τάξης αναδροµικό φίλτρο που ορίζεται από την ακόλουθη εξίσωση διαφορών παράγεται µια νέα διαδικασία της οποίας το διάγραµµα φαίνεται στην παραπάνω εικόνα (b). Σαν τελευταίο παράδειγµα διακριτού-χρόνου τυχαίας διαδικασίας ας θεωρήσουµε το πείραµα της ρουλέτας άπειρης ανάλυση που µπορεί να φέρει οποιονδήποτε αριθµό µε ίση πιθανότητα στο διάστηµα [0, 1]. Αν ο αριθµός που προκύπτει µε ένα γύρισµα της ρουλέτας εκχωρείτε στην τυχαία µεταβλητή x, τότε η µεταβλητή αυτή µπορεί να αναπτυχθεί µε µια άπειρη δυαδική ακολουθία ως εξής: όπου x (n) είναι ίσο είτε µε ένα είτε µε µηδέν για όλα τα n 0. Η ακολουθία των δυαδικών συνιστωσών x(n), σχηµατίζει µια διακριτού-χρόνου τυχαία διαδικασία. Όπως είπαµε η διακριτού χρόνου τυχαία διαδικασία είναι µια συλλογή τυχαίων µεταβλητών µε βάση κάποιο δείκτη. Συγκεκριµένα για Ω και άρα για κάθε γεγονός υπάρχει µια αντίστοιχη τιµή που αποτελεί τυχαία διαδικασία και η οποία έχει κάποια συνάρτηση κατανοµής πιθανότητας (cdf) ορισµένη ως: και pdf: Προκειµένου να σχηµατίσουµε έναν πλήρη στατιστικά χαρακτηρισµό της τυχαίας διαδικασίας (Τ ) πέρα από την πρώτης-τάξης συναρτήσεις (cdf και pdf) θα πρέπει να ορίσουµε και τις joint cdf και pdf οι οποίες ορίζουν πως σχετίζονται οι τυχαίες µεταβλητές της Τ. Συγκεκριµένα η joint cdf θα είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 12

13 για κάθε συλλογή ΤΜ Ανάλογα µε τη µορφή των από κοινού (joint) συναρτήσεων (cdf, pdf) µπορούν να δηµιουργηθούν σηµαντικά διαφορετικές Τ. Για παράδειγµα, θεωρήστε την Τ που σχηµατίζεται από µια ακολουθία Gaussian ΤΜ x(n). Αν οι ΤΜ x(n) είναι ασυσχέτιστες τότε η διαδικασία είναι γνωστή ως λευκός Γκαουσιανός θόρυβος (white Gaussian noise) και η µορφή που έχει είναι µιας πολύ τυχαίας ακολουθίας, µε µορφή θορύβου. Από την άλλη µεριά αν θεωρήσουµε ότι x(n)=a όπου a είναι µια Gaussian τυχαία µεταβλητή, τότε όλες οι τυχαίες µεταβλητές στη συλλογή θα είναι ίσες µε µια σταθερά για όλα τα n. Παρατηρούµε ότι παρότι οι δύο διαδικασίες που περιγράψαµε έχουν τα ίδια first-order statistics διαφέρουν σηµαντικά και αυτό οφείλεται στις διαφορές που υπάρχουν στην pdf µεγαλύτερης τάξης. Ensemble Averages (Μέσοι Συνόλου) Αφού η τυχαία διαδικασία είναι ακολουθία τυχαίων µεταβλητών µπορούµε να υπολογίσουµε το µέσο όρο για κάθε µια τυχαία µεταβλητή και να δηµιουργήσουµε την παρακάτω αιτιοκρατική ακολουθία: η οποία είναι γνωστή ως ο µέσος όρος (mean) της διαδικασίας. Με παρόµοιο τρόπο ορίζουµε την διακύµανση (variance) της διαδικασίας: Τα παραπάνω πρώτης τάξης στατιστικά µεγέθη αποτελούν τους µέσους συνόλου (ensemble averages) και γενικά εξαρτώνται και τα δύο από την τιµή του n. ύο πρόσθετοι µέσοι συνόλου που είναι πολύ σηµαντικοί στις τυχαίες διαδικασίες είναι η αυτοδιακύµανση (autocovariance): και η αυτοσυσχέτιση (autocorrelation): οι οποίες σχετίζουν τις τυχαίες µεταβλητές x(k) και x(l). Παρατηρήστε ότι αν k = l τότε η αυτοδιακύµανσης γίνεται η γνωστή µας διακύµανση: Επίσης από τον ορισµό της αυτοδιακύµανσης προκύπτει ότι η αυτοδιακύµανση σχετίζεται µε την αυτοσυσχέτιση ως εξής: Για τυχαίες διαδικασίες µηδενικού µέσου η αυτοσυσχέτιση και η αυτοδιακύµανση είναι ίσες. Χωρίς να χάνουµε την γενικότητα µπορούµε να θεωρούµε τυχαίες διαδικασίες µε µηδενικό µέσο οπότε η αυτοδιακύµανση και η αυτοσυσχέτιση θα ταυτίζονται ως µεγέθη. Η υπόθεση αυτή προκύπτει από την παρατήρηση ότι αν για κάθε Τ x(n) µε µή µηδενικό µέσο µπορούµε να δηµιουργήσουµε µια Τ µε µηδενικό µέσο y(n) κάνοντας την ακόλουθη απλή αφαίρεση: Όπως και στην περίπτωση των ΤΜ η αυτοσυσχέτιση και η αυτοδιακύµανση µας παρέχουν πληροφορία σχετικά µε την γραµµική εξάρτηση µεταξύ δύο τυχαίων µεταβλητών. Για παράδειγµα αν για, τότε οι τυχαίες µεταβλητές x(k) και x(l) είναι ασυσχέτιστες και άρα η γνώση που έχουµε για την µία δεν µας βοηθάει στην εκτίµηση της άλλης µε βάση για παράδειγµα κάποιο γραµµικό εκτιµητή. Παράδειγµα 1 Η Αρµονική ιαδικασία Μια σηµαντική Τ που συναντάται στην επεξεργασία σήµατος σε πολλές εφαρµογές όπως στα radar και sonar είναι η αρµονική διαδικασία. Ένα παράδειγµα τέτοιας πραγµατικής διαδικασίας είναι το ηµιτονοειδές µε τυχαία διαφορά φάσης που ορίζεται ως εξής: όπου A και είναι σταθερές και είναι ΤΜ οµοιόµορφα κατανεµηµένη στο διάστηµα έως. Άρα η pdf για το είναι: j Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 13

14 1 Η µέση τιµή της διαδικασίας: µπορεί να υπολογιστεί ως ακολούθως: Το παραπάνω µας δείχνει ότι η x(n) είναι διαδικασία µηδενικού µέσου. Με παρόµοιο τρόπο υπολογίζουµε την αυτοσυσχέτιση : και χρησιµοποιώντας την τριγωνοµετρική ιδιότητα: βγάζουµε τελικά: Στην παραπάνω εξίσωση ο πρώτος όρος είναι η αναµενόµενη τιµή µιας σταθεράς, ενώ ο δεύτερος όρος είναι ίσος µε το µηδέν. Συνεπώς: Ως άλλο παράδειγµα ας θεωρήσουµε τη µιγαδική αρµονική διαδικασία: όπου φ όπως και πριν είναι µια ΤΜ οµοιόµορφα κατανεµηµένη στο διάστηµα [, ]. Ο µέσος όρος της διαδικασίας είναι µηδέν: και η αυτοσυσχέτιση θα είναι: Παρατηρήστε ότι και για τις δύο αρµονικές διαδικασίες η µέση τιµή είναι σταθερά και η αυτοδιακύµανση είναι συνάρτηση µόνο της διαφοράς µεταξύ k και l. Αυτό σηµαίνει ότι τα πρώτης και δεύτερης τάξης statistics δεν εξαρτώνται από κάποια απόλυτη τιµή χρονικής στιγµής, δηλαδή η µέση τιµή και η αυτοδιακύµανση δεν αλλάζουν αν η διαδικασία µετατοπιστεί χρονικά. Αυτές οι διαδικασίες όπως θα δούµε αναλυτικότερα παρακάτω λέγονται στάσιµες υπό την ευρεία έννοια (wide-sense stationary). Οι ακολουθίες αυτοσυσχέτισης και αυτοδιακύµανσης παρέχουν πληροφόρηση για την στατιστική σχέση µεταξύ δυο τυχαίων µεταβλητών που προκύπτουν από την ίδια διαδικασία. Σε εφαρµογές όµως στις οποίες ορίζονται περισσότερες της µίας τυχαίας διαδικασίας είναι συχνά ενδιαφέρον να ορίσουµε την διακύµανση ή συσχέτιση µεταξύ µιας τυχαίας µεταβλητής x(k), από µια τυχαία διαδικασία και µιας τυχαίας µεταβλητής y(l) από µια άλλη. Συγκεκριµένα για δύο τυχαίες διαδικασίες x(n) και y(n), η cross-covariance ορίζεται ως: και η cross-correlation ως: Οι συναρτήσεις αυτές ικανοποιούν την ακόλουθη σχέση: Όπως µε τις τυχαίες µεταβλητές λέµε ότι είναι ασυσχέτιστες όταν διαδικασίες x(n) και y(l) λέγονται ασυσχέτιστες αν έτσι και δύο τυχαίες για όλα τα k και l ή ισοδύναµα ύο τυχαίες διαδικασίες x(n) και y(n) λέγονται ορθογώνιες (orthogonal) αν η cross-correlation είναι µηδέν: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 14

15 Παρότι οι ορθογώνιες τυχαίες διαδικασίες δεν είναι απαραίτητα ασυσχέτιστες, οι µηδενικού µέσου και ασυσχέτιστες τυχαίες διαδικασίες είναι πάντα ορθογώνιες. Παράδειγµα 2 Cross-correlation Θεωρήστε το ζεύγος των διαδικασιών, x(n) και y(n), όπου η y(n) σχετίζεται µε την x(n) ως εξής: Η cross-correlation µεταξύ των x(n) και y(n) θα είναι: Αν τώρα θεωρήσουµε ότι η Τ y (n) είναι ίση µε την συνέλιξη της x (n) µε µία αιτιοκρατική ακολουθία h(n), όπως για παράδειγµα η απόκριση µοναδιαίου δείγµατος ενός γραµµικού χρονικά αναλλοίωτου φίλτρου: τότε η cross-correlation µεταξύ των x(n) και y(n) θα είναι: Στην πράξη, κάθε συσκευή ανάγνωσης δεδοµένων, τόσο θόρυβος όσο και σφάλµατα µέτρησης εισάγονται συνήθως στα δεδοµένα. Σε πολλές εφαρµογές αυτός ο θόρυβος µοντελοποιείται ως προσθετικός έτσι ώστε αν x(n) δηλώνει το «σήµα» και w(n) το «θόρυβο» το τελικό σήµα θα είναι: Συχνά, αυτός ο προσθετικός θόρυβος θεωρείται ότι έχει µηδενική µέση τιµή και είναι ασυσχέτιστος µε το σήµα. Σε αυτή την περίπτωση η αυτοσυσχέτιση του παρατηρούµενου σήµατος, y (n), θα είναι το άθροισµα των αυτοσυσχετίσεων των x(n) και w(n). Συγκεκριµένα σηµειώστε ότι αφού: αν x(n) και w(n) είναι ασυσχέτιστα, τότε και συνεπώς: Αυτό το θεµελιώδες αποτέλεσµα συνοψίζεται στην ακόλουθη ιδιότητα: Ιδιότητα: Αν δύο τυχαίες διαδικασίες x(n) και y(n) είναι ασυσχέτιστες τότε η αυτοσυσχέτιση του αθροίσµατος: είναι ίσο µε το άθροισµα των αυτοσυσχετίσεων: Παράδειγµα 3: Αυτοσυσχέτιση ενός αθροίσµατος διαδικασιών Ας θεωρήσουµε ένα άθροισµα από M ηµιτονοειδή σε προσθετικό θόρυβο όπου και είναι σταθερές και είναι ασυσχέτιστες τυχαίες µεταβλητές οµοιόµορφα κατανεµηµένες στο διάστηµα [-π,π]. Αφού οι ΤΜ είναι ασυσχέτιστες τότε και η κάθε ηµιτονοειδής διαδικασία θα είναι ασυσχέτιστη µε τις άλλες. Αν επιπλέον θεωρήσουµε ότι και ο θόρυβος είναι ασυσχέτιστος µε τα ηµιτονοειδή τότε (χρησιµοποιώντας το αποτέλεσµα από το παράεδειγµα 1) θα ισχύει: όπου είναι η αυτοσυσχέτιση του προσθετικού θορύβου. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 15

16 Gaussian ιαδικασίες Αν είναι ένα διάνυσµα από n πραγµατικές τυχαίες µεταβλητές, τότε το x λέγεται Gaussian τυχαίο διάνυσµα και οι τυχαίες µεταβλητές λέγονται από κοινού (jointly) Gaussian αν η από κοινού pdf των n τυχαίων µεταβλητών έχει την ακόλουθη µορφή: όπου είναι ένα διάνυσµα που περιέχει τους µέσους των, είναι ένας συµµετρικός θετικά ορισµένος (positive definite) πίνακας του οποίου τα στοιχεία είναι οι συνδιακυµάνσεις µεταξύ και, και είναι η ορίζουσα του πίνακα συνδιακύµανσης. Μια διακριτού χρόνου τυχαία διαδικασία x (n) λέγεται Gaussian αν κάθε πεπερασµένη συλλογή δειγµάτων του x(n) είναι jointly Gaussian. Παρατηρήστε ότι µια Gaussian τυχαία διαδικασία ορίζεται πλήρως εφόσον το διάνυσµα των µέσων και ο πίνακας της συνδιακύµανσης είναι γνωστά. Οι Gaussian διαδικασίες έχουν µεγάλο ενδιαφέρον αφού σε πολλές πραγµατικές εφαρµογές οι τυχαίες διαδικασίες είναι είτε Gaussian, είτε κατά προσέγγιση Gaussian ως αποτέλεσµα του Central Limit theorem. Στάσιµες ιαδικασίες Σε πολλές εφαρµογές επεξεργασίας σήµατος, τα στατιστικά ή οι µέσοι συνόλου µιας τυχαίας διαδικασίας είναι συχνά ανεξάρτητες του χρόνου. Για παράδειγµα ο θόρυβος κβαντισµού που προέρχεται από σφάλµατα στρογγυλοποίησης σε ένα fixed point digital signal processor έχουν τυπικά σταθερό µέσο και διακύµανση όποτε το σήµα εισόδου είναι επαρκώς σύνθετο. Επιπλέον συχνά θεωρούµε ότι ο θόρυβος κβαντισµού έχει πρώτης και δεύτερης τάξης pdf ανεξάρτητες του χρόνου. Αυτές οι συνθήκες αποτελούν στατιστικά χρονικά αναλλοίωτα παραδείγµατα ή στάσιµότητας (stationarity). Υπάρχουν διαφορετικοί τύποι στασιµότητας. Όπως θα δούµε η υπόθεση της στασιµότητας είναι σηµαντική για την εκτίµηση µέσων συνόλου (ensemble averages). Αν η πρώτης τάξης pdf µιας τυχαίας διαδικασίας x (n) είναι ανεξάρτητη του χρόνου, δηλαδή: για όλα τα k, τότε η διαδικασία λέγεται στάσιµη πρώτης τάξης (first-order stationary). Για µια πρώτης τάξης στάσιµη διαδικασία τα πρώτης τάξης statistics θα είναι ανεξάρτητα του χρόνου. Για παράδειγµα ο µέσος της διαδικασίας θα είναι σταθερός: και το ίδιο θα ισχύει και για την διακύµανση Με παρόµοια λογική, µια διαδικασία θα λέγεται δεύτερης τάξης στάσιµη (second-order stationary) αν η δεύτερης τάξης joint pdf εξαρτάται µόνο από τη διαφορά (n 1 -n 2 ), και όχι από τις ξεχωριστές τιµές n 1 και n 2. Ισοδύναµα, η διαδικασία x(n) θα είναι δεύτερης τάξης στάσιµη αν για κάθε k, η διαδικασίες x(n) και x(n + k) έχουν την ίδια δεύτερης τάξης joint pdf. Αν µια διαδικασία είναι δεύτερης τάξης στάσιµη θα είναι και πρώτης τάξης στάσιµη. Επιπλέον οι δεύτερης τάξης στάσιµες διαδικασίες έχουν δεύτερης τάξης statistics που είναι αναλλοίωτα σε µια χρονική µετατόπιση της διαδικασίας. Για παράδειγµα η ακολουθία αυτοσυσχέτισης έχει την ιδιότητα: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 16

17 Συνεπώς η συσχέτιση µεταξύ των τυχαίων µεταβλητών x(k) και x(l) εξαρτάται µόνο από την διαφορά k-l, διαχωρίζοντας τις δύο τυχαίες µεταβλητές στο χρόνο: Η διαφορά αυτή (k-l), ονοµάζεται καθυστέρηση (lag), και µπορούµε µε µια µικρή διαφοροποίηση στη σηµειογραφία να γράψουµε την συσχέτιση ως συνάρτηση της καθυστέρησης: Συνεχίζοντας µε παρόµοιο τρόπο σε µεγαλύτερης τάξης joint pdf, µια διαδικασία λέγεται στάσιµη τάξης L αν οι διαδικασίες x(n) και x(n + k) έχουν την ίδια L-τάξης joint pdf. Τέλος µια διαδικασία που είναι στάσιµη για όλες τις τάξεις L > 0 λέγεται στάσιµη υπό την ακριβή έννοια (stationary in the strict sense) ή SSS. Επειδή στο µάθηµα θα επικεντρωθούµε περισσότερο στον µέσο και την αυτοσυσχέτιση µιας διαδικασίας και όχι τόσο στην pdf θα µας απασχολήσει µια άλλη µορφή στασιµότητας γνωστή ως στασιµότητα υπό την ευρεία έννοια wide-sense stationary (WSS), η οποία ορίζεται ως εξής: Wide Sense Stationarity. Μια τυχαία διαδικασία x (n) θα λέγεται ότι είναι wide-sense stationary αν ισχύουν οι ακόλουθες τρεις συνθήκες: 1. Ο µέσος της διαδικασίας είναι σταθερά: 2. Η αυτοσυσχέτιση εξαρτάται µόνο από την διαφορά, k-l. 3. Η διακύµανση της διαδικασίας είναι πεπερασµένη Αφού οι περιορισµοί αφορούν τους µέσους συνόλου αντί της pdf η στασιµότητα υπό την ευρεία έννοια είναι ασθενέστερος περιορισµός από την στασιµότητα δεύτερης τάξης. Παρόλα αυτά στην περίπτωση µιας Gaussian διαδικασίας, η WSS είναι ισοδύναµη µε την SSS. Αυτό είναι συνέπεια του γεγονότος ότι µια Gaussian τυχαία διαδικασία ορίζεται πλήρως µε τον µέσο και την διακύµανση. Μερικά παραδείγµατα WSS τυχαίων διαδικασιών περιλαµβάνουν την διαδικασία Bernoulli και το ηµιτονοειδές µε τυχαία διαφορά φάσης που είδαµε πιο πριν. Ένα παράδειγµα διαδικασίας που δεν είναι WSS είναι η συνηµιτονοειδής διαδικασία της οποίας το πλάτος είναι τυχαία µεταβλητή µε τιµές από το ρίξιµο του ζαριού. Στην περίπτωση δύο ή περισσότερων διαδικασιών παρόµοιοι ορισµοί ισχύουν για από κοινού στασιµότητα joint stationarity. Για παράδειγµα δύο διαδικασίες x(n) και y(n) λέγονται jointly wide-sense stationary αν x(n) και y(n) είναι WSS και η cross-correlation r xy (k,l) εξαρτάται µόνο από την διαφορά k-l : Και πάλι για jointly WSS διαδικασίες, θα γράψουµε την cross-correlation ως συνάρτηση µόνο της διαφοράς lag, k-l, ως εξής: Η αυτοσυσχέτιση µιας WSS διαδικασίας έχει ένα σύνολο χρήσιµων και σηµαντικών ιδιοτήτων µερικές από τις οποίας είναι: Ιδιότητα 1 Συµµετρία. Η ακολουθία αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας είναι συζηγής συµµετρική συνάρτηση του k, Για µια πραγµατική διαδικασία, η ακολουθία αυτοσυσχέτισης είναι συµµετρική Η ιδιότητα προκύπτει απευθείας από τον ορισµό της συνάρτησης αυτοσυσχέτισης: Ιδιότητα 2 Mean-square value. Η ακολουθία αυτοσυσχέτισης µιας WSS διαδικασίας µε καθυστέρηση (lag) k=0 είναι ίση µε τη µέση τετραγωνική τιµή µιας διαδικασίας: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 17

18 Ιδιότητα 3 Maximum value. Το πλάτος της ακολουθίας αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας µε καθυστέρηση k είναι άνω φραγµένη από την τιµή της µε καθυστέρηση k = 0, Ιδιότητα 4 Περιοδικότητα. Αν η ακολουθία αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας είναι τέτοια ώστε: για κάποιο, τότε είναι περιοδική µε περίοδο. Επιπλέον, και x(n) λέγεται ότι είναι mean-square periodic. Παράδειγµα περιοδικής διαδικασίας είναι η ηµιτονοειδής διαδικασία µε την τυχαία µετατόπιση φάσης που είδαµε στο παράδειγµα 1. Με x ( n) = Acos( nω 0 + φ) η ακολουθία αυτοσυσχέτισης είναι 1 2 r x ( k) = A cos( kω0 ). Συνεπώς αν 0 = 2π / Ν 2 x(n) είναι mean-squared periodic. ω τότε (k) είναι περιοδική µε περίοδο Ν και η Τ r x Πίνακες Αυτοδιακύµανσης και Αυτοσυσχέτισης Οι ακολουθίες αυτοδιακύµανσης και αυτοσυσχέτισης συχνά αναπαριστώνται υπό µορφή πινάκων. Για παράδειγµα, αν είναι ένα διάνυσµα µε p + 1 τιµές µιας διαδικασίας x(n), τότε το εξωτερικό γινόµενο: (1) είναι ένας πίνακας (p + 1) x (p + 1). Αν η Τ x(n) είναι wide-sense stationary, παίρνοντας την αναµενόµενη τιµή και χρησιµοποιώντας την Hermitian συµµετρία της ακολουθίας αυτοσυσχέτισης,, οδηγούµαστε στον ακόλουθο (p + 1) x (p + 1) πίνακα µε τιµές αυτοσυσχέτισης: (2) ο οποίος ονοµάζεται πίνακας αυτοσυσχέτισης autocorrelation matrix. Με παρόµοιο τρόπο σχηµατίζοντας το εξωτερικό γινόµενο του διανύσµατος µε τον εαυτό του και παίρνοντας την αναµενόµενη τιµή του µας οδηγεί σε ένα (p + 1) x (p + 1) πίνακα ο οποίος αναφέρεται ως πίνακας συνδιακύµανσης: Η σχέση µεταξύ του και είναι: όπου είναι ένα διάνυσµα µήκους (p+1) ο οποίος περιέχει τη µέση τιµή της διαδικασίας (Επειδή η διαδικασία είναι WSS η µέση τιµή της διαδικασίας θα είναι σταθερά. Για διαδικασίες µηδενικού µέσου οι πίνακες αυτοδιακύµανσης και αυτοσυσχέτισης είναι ίσοι. Όπως είπαµε και νωρίτερα, χωρίς απώλεια γενικότητας θα θεωρούµε ότι όλες οι τυχαίες διαδικασίες έχουν µηδενικούς µέσους και άρα ο πίνακας συναδιακύµανσης θα εµφανίζεται σπάνια. Ο πίνακας αυτοσυσχέτισης έχει µερικές πολύ σηµαντικές ιδιότητες. Το πρώτο πράγµα που παρατηρούµε είναι ότι ο πίνακας αυτοσυσχέτισης µιας WSS διαδικασίας έχει ιδιαίτερη δοµή. Πέρα από το ότι είναι Hermitian, όλοι οι όροι κατά µήκος των διαγωνίων είναι ίσοι. Αυτό σηµαίνει ότι ο είναι Hermitian Toeplitz πίνακας. Στην περίπτωση µιας τυχαίας διαδικασίας µε πραγµατικές τιµές ο πίνακας θα είναι συµµετρικός Toeplitz πίνακας. Οπότε θα ισχύει η ακόλουθη ιδιότητα για τον Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 18

19 Ιδιότητα 1. Ο πίνακας αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας x(n) είναι ένας Hermitian Toeplitz πίνακας, I Το αντίστροφο παρόλα αυτά δεν είναι αληθές δεν αναπαριστούν όλοι οι Hermitian Toeplitz πίνακες έγκυρους πίνακες αυτοσυσχέτισης. Για παράδειγµα αφού, τότε οι όροι κατά µήκος της κύριας διαγωνίου του θα πρέπει να είναι µη αρνητικοί. Συνεπώς: δεν µπορεί να είναι πίνακας αυτοσυσχέτισης µιας WSS διαδικασίας. Παρόλα αυτά το να είναι θετικοί οι όροι κατά µήκος της κύριας διαγωνίου δεν είναι επαρκής συνθήκη για να εγγυηθεί ότι ένας Hermitian Toeplitz είναι έγκυρος πίνακας αυτοσυσχέτισης. Για παράδειγµα: δεν αντιστοιχεί σε έγκυρο πίνακα αυτοσυσχέτισης. Αυτό που απαιτείται είναι ότι ο είναι µη αρνητικός ορισµένος (nonnegative definite) πίνακας. θα πρέπει να Ιδιότητα 2. Ο πίνακας αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας είναι µη αρνητικά ορισµένος (nonnegative definite). Για να αποδείξουµε την ιδιότητα θα πρέπει να δείξουµε ότι αν είναι πίνακας αυτοσυσχέτισης τότε: (3) για κάθε διάνυσµα a. Αφού, µπορούµε να γράψουµε την εξίσωση (3) ως εξής: Συνεπώς: (4) και αφού για κάθε a, θα ισχύει: και άρα ισχύει η ιδιότητα. Η επόµενη ιδιότητα είναι αποτέλεσµα του γεγονότος ότι ο πίνακας αυτοσυσχέτισης είναι Hermitian και nonnegative definite. Συγκεκριµένα οι ιδιοτιµές ενός Hermitian πίνακα είναι πραγµατικές και για έναν nonnegative definite πίνακα, θα είναι µη αρνητικές και οι ιδιοτιµές. Αυτό µας οδηγεί στην ακόλουθη ιδιότητα: Ιδιότητα 3. Οι ιδιοτιµές, λκ του πίνακα αυτοσυσχέτισης µιας WSS τυχαίας διαδικασίας είναι πραγµατικές και µη αρνητικές Παράδειγµα 5 Autocorrelation Matrix Όπως είδαµε στο παράδειγµα 1, οι ακολουθία αυτοσυσχετίσης ενός ηµιτονοειδούς τυχαίας φάσης είναι: Συνεπώς ο 2 x 2 πίνακας αυτοσυσχέτισης είναι: Οι ιδιοτιµές του θα είναι: και η ορίζουσα του θα είναι: Συνεπώς ο είναι µη αρνητικός ορισµένος και αν, τότε θα είναι θετικά ορισµένος. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 19

20 Σαν δεύτερο παράδειγµα θεωρήστε την µιγαδική διαδικασία που αποτελείται από ένα άθροισµα δύο µιγαδικών εκθετικών: όπου A,, και είναι σταθερές και και είναι ασυσχέτιστες τυχαίες µεταβλητές οµοιόµορφα κατανεµηµένες στο διάστηµα [-π,π]. Όπως είδαµε στο παράδειγµα 1 η αυτοσυσχέτιση ενός µιγαδικού εκθετικού είναι Αφού y(n) είναι άθροισµα δύο ασυσχέτιστων διαδικασιών η ακολουθία αυτοσυσχέτισης του y(n) θα είναι: και ο 2 x 2 πίνακας αυτοσυσχέτισης θα είναι: Οι ιδιοτιµές του είναι: Παρατηρήστε ότι αν είδαµε πιο πρίν., τότε το παραπάνω είναι ίδιο µε το ηµιτονοειδές τυχαίας φάσης που Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 20