1. Εισαγωγή στη Φασµατική εκτίµηση

1. Εισαγωγή στη Φασµατική εκτίµηση Γνωρίζουµε ότι η ανάλυση Fourier είναι ένα χρήσιµο εργαλείο για την περιγραφή και ανάλυση διακριτού χρόνου αιτιοκρατικών σηµάτων. Η ανάλυση Fourier παίζει σηµαντικό ρόλο και στην µελέτη των τυχαίων διαδικασιών. Όπως είδαµε η τυχαία διαδικασία είναι ένα σύνολο σηµάτων διακριτού-χρόνου και άρα δεν µπορούµε να υπολογίσουµε τον µετασχηµατισµό Fourier της διαδικασίας. Παρόλα αυτά όπως θα δούµε παρακάτω είναι δυνατόν να αναπτύξουµε µια αναπαράσταση της διαδικασίας στο χώρο των συχνοτήτων αν εκφράσουµε τον µετασχηµατισµό Fourier µε όρους ενός µέσου συνόλου (ensemble average). Για παράδειγµα, αφού η συνάρτηση αυτοσυσχέτισης µιας WSS διαδικασίας περιγράφει στο χώρο των χρόνων τις ροπές δεύτερης τάξης της διαδικασίας και η συνάρτηση αυτοσυσχέτισης είναι αιτιοκρατική ακολουθία µπορούµε να ορίσουµε τον µετασχηµατισµό Fourier της τον οποίο θα ονοµάζουµε φάσµα ισχύος ή πυκνότητα φάσµατος ισχύος. Οι αναλογίες µε την πυκνότητα φάσµατος ενέργειας είναι άµεσες. Για να τα δούµε όµως µε τη σειρά: 1.1. Πυκνότητα Φάσµατος Ενέργειας Έστω ένα αιτιοκρατικό διακριτού-χρόνου σήµα. Το σήµα αυτό στις περισσότερες περιπτώσεις δηµιουργείται µε δειγµατοληψία κάποιου συνεχούς-χρόνου σήµατος. Αν είναι το σήµα συνεχούς χρόνου και T s η περίοδος δειγµατοληψίας τότε ισχύει:. Το παραπάνω σήµα θα θεωρείται ότι είναι πεπερασµένης ενέργειας όταν: Για σήµατα πεπερασµένης ενέργειας υπάρχει ο διακριτού-χρόνου µετασχηµατισµός Fourier (DTFT) που ορίζεται ως εξής: (1.) Ο αντίστοιχος αντίστροφος DTFT ορίζεται ως: Στις παραπάνω σχέσεις η γωνιακή συχνότητα ω µετριέται σε radians ανά διάστηµα δειγµατοληψίας, οπότε η φυσική κυκλική συχνότητα θα ορίζεται ως [rad/sec]. (1.3) (1.1) Η πυκνότητα φάσµατος ενέργειας ορίζεται τότε ως: (1.4) Με βάση τον παραπάνω ορισµό µπορούµε να δείξουµε ότι: (1.5) Όπου στην εξίσωση (1.5) η τελευταία ισότητα ισχύει γιατί Kronecker). Η παραπάνω εξίσωση µπορεί να γραφτεί λοιπόν συνοπτικά: δ t,s (το δέλτα του (1.6) Η εξίσωση αυτή λέγεται το θεώρηµα του Parseval's. Μας δείχνει ότι το S(ω) είναι µια κατανοµή της ενέργειας του σήµατος συναρτήσει της συχνότητας ω. Γι αυτό το λόγο θα ονοµάζουµε το S(ω) πυκνότητα φάσµατος ενέργειας (energy spectral density.) Αν ορίσουµε την αυτοσυσχέτιση ως: (1.7) Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 1

µπορούµε να δείξουµε ότι: (1.8) το οποίο µας λεει ότι η S(ω) αποτελεί τον DTFT της αυτοσυσχέτισης (1.7) του σήµατος {y(t)}. 1.. Πυκνότητα Φάσµατος Ισχύος Οι παραπάνω ορισµοί µπορούν να επεκταθούν στην περίπτωση των τυχαίων σηµάτων. Τα περισσότερα σήµατα στις εφαρµογές που θα συναντήσουµε θα είναι τυχαία. ηλαδή ο τρόπος που µεταβάλλονται χρονικά δεν είναι γνωστός µε ακρίβεια και άρα µπορούµε να κάνουµε πιθανοκρατικούς ισχυρισµούς για την µεταβολή τους. Όπως έχουµε ήδη πει τα τυχαία σήµατα περιγράφονται µε όρους τυχαίας διαδικασίας που αποτελείται από ένα σύνολο πιθανών αιτιοκρατικών σηµάτων το καθένα από τα οποία έχει µια συγκεκριµένη πιθανότητα να προκύψει. Από τη στιγµή που µετά από κάθε πείραµα προκύπτει ένα αιτιοκρατικό σήµα θα µπορούσε κάποιος να πει ότι οι ορισµοί της προηγούµενης παραγράφου θα µπορούν να χρησιµοποιηθούν απαράλλαχτοι. Αυτό όµως δεν είναι δυνατόν γιατί τα σήµατα που προκύπτουν (ως διακριτούχρόνου ακολουθίες) από µια τυχαία διαδικασία ως αποτέλεσµα κάποιου πειράµατος δεν έχουν πεπερασµένη ενέργεια. Συνεπώς δεν έχουν DTFT. Για τα τυχαία σήµατα αυτό που ισχύει είναι ότι έχουν πεπερασµένη µέση ισχύ, και συνεπώς µπορούν να χαρακτηριστούν από τη (µέση) πυκνότητα φάσµατος ισχύος - power spectral density (PSD). Έστω τώρα ότι το διακριτού-χρόνου σήµα θεωρείται ότι είναι µια ακολουθία τυχαίων µεταβλητών µε µηδενικό µέσο: για κάθε t (.1) όπου E { } εκφράζει την αναµενόµενη τιµή. Η συνάρτηση αυτοδιακύµανσης (autocovariance sequence (ACS)) του y(t) θα είναι ίδια µε την αυτοσυσχέτιση (autocorrelation): (.) και θα θεωρείται ότι εξαρτάται µόνο από την χρονική διαφορά k µεταξύ δύο δειγµάτων. Από τις δύο παραπάνω υποθέσεις και σύµφωνα µε τους ορισµούς καταλαβαίνουµε ότι η τυχαία διαδικασία {y(t)} είναι στάσιµη δεύτερης-τάξης. Η ακολουθία αυτοδιακύµανσης r(k) έχει µερικές απλές αλλά χρήσιµες ιδιότητες: (.3) για όλα τα k (.4) Η ισότητα (.3) προκύπτει από τον ορισµό καθώς και την υπόθεση στασιµότητας. Η ανισότητα (.4) είναι συνέπεια του γεγονότος ότι ο πίνακας συνδιακύµανσης που ορίζεται ως: είναι positive semidefinite για όλα τα m. Αυτό προκύπτει από τον ορισµό, ότι ένας Hermitian πίνακας M είναι positive semidefinite αν για κάθε διάνυσµα a. Αφού Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες

όπου (.6) άρα ο Rm είναι πράγµατι positive semidefinite για κάθε m που σηµαίνει ότι οι ιδιοτιµές του είναι 0 και άρα η ορίζουσα του πίνακα Rm θα είναι 0 οπότε αποδεικνύεται η σχέση (.4) αφού. 1..1. Πρώτος ορισµός της PSD H PSD ορίζεται ως ο DTFT της ακολουθίας συνδιακύµανσης: Ο ορισµός αυτός του είναι παρόµοιος µε τον ορισµό (1.8) στην περίπτωση των αιτιοκρατικών σηµάτων. Ο αντίστροφος µετασχηµατισµός τότε θα είναι: (.8) και µπορούµε άµεσα να επιβεβαιώσουµε ότι: (.7) το οποίο αποδεικνύει ότι η (.8) είναι ο αντίστροφος µετασχηµατισµός της (.7). ηλαδή το φάσµα ισχύος παρέχει µια περιγραφή στο χώρο των συχνοτήτων της δεύτερης τάξης ροπής της διαδικασίας. Να σηµειωθεί πως σε ορισµένες περιπτώσεις είναι πιο βολικό αντί του µετασχηµατισµού Fourier να χρησιµοποιήσουµε µετασχηµατισµό Z. Και σε αυτή την περίπτωση το P x (z) θα ονοµάζεται φάσµα ισχύος: Από την (.8), βρίσκουµε ότι: (.9) Και αφού είναι η (µέση) ισχύς του {y(t)}, στην ισότητα (.9) το φ(ω) αναπαριστά την κατανοµή της (µέσης) ισχύος του σήµατος στις συχνότητες και άρα µπορεί να ονοµαστεί PSD. Υπό µια άλλη οπτική, από την εξίσωση (.9) βλέπουµε ότι η ποσότητα είναι η απειροελάχιστη ισχύς στην µπάντα συχνοτήτων, και άρα η συνολική ισχύς στο σήµα προκύπτει ολοκληρώνοντας αυτές τις απειροελάχιστες συνεισφορές ισχύος. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 3

1... εύτερος ορισµός της PSD Ένας δεύτερος ορισµός της PSD είναι ο ακόλουθος: (.10) Ο ορισµός αυτός είναι ισοδύναµος µε την (.7) υπό την προϋπόθεση ότι η ακολουθία συνδιακύµανσης {r(k)} εξασθενεί επαρκώς γρήγορα έτσι ώστε: (.11) Η ισοδυναµία των δύο ορισµών µπορεί να αποδειχτεί ως ακολούθως: Ο παραπάνω ορισµός του φ(ω) θυµίζει τον ορισµό της πυκνότητας φάσµατος ενέργειας στην περίπτωση των αιτιοκρατικών σηµάτων (1.4). Η κύρια διαφορά τους είναι η εµφάνιση του όρου αναµενόµενης τιµής στην σχέση (.10) και την κανονικοποίηση µε 1/Ν. Ο δεύτερος ορισµός είναι ιδιαίτερα χρήσιµος στο πρόβληµα της εκτίµησης PSD µε µη παραµετρικές τεχνικές που θα συζητήσουµε αργότερα στο µάθηµα. Παρατηρούµε και από τους δύο ορισµούς ότι η φ(ω) είναι περιοδική συνάρτηση µε περίοδο ίση µε π. Συνεπώς η φ(ω) µπορεί να περιγραφεί πλήρως από την µεταβολή της στο διάστηµα: (.1) Εναλλακτικά η PSD µπορεί να ιδωθεί ως συνάρτηση της συχνότητας: (.13) Οπότε θα παίρνει τιµές στο διάστηµα: (.14) Όπως είπαµε προηγουµένως το διακριτού-χρόνου σήµα {y(t)} συνήθως προέρχεται µε δειγµατοληψία από σήµα συνεχούς-χρόνου (Σ.Χ.). Για να αποφύγουµε φαινόµενα aliasing το συνεχούς χρόνου σήµα θα πρέπει να είναι bandlimited στο χώρο των συχνοτήτων. Για να το εξασφαλίσουµε αυτό θα πρέπει να εφαρµόσουµε ένα low-pass φίλτρο στο Σ.Χ. σήµα πριν τη δειγµατοληψία. Αν Fo είναι η µεγαλύτερη συχνότητα του φάσµατος του Σ.Χ. σήµατος και F s η συχνότητα δειγµατοληψίας τότε από το θεώρηµα δειγµατοληψίας του Shannon's προκύπτει ότι το Σ.Χ. χρόνου σήµα µπορεί να ξαναδηµιουργηθεί από το {y(t)} µε ακρίβεια (δεν θα υπάρξει aliasing) εφόσον: (.15) Αφού η µεταβλητή συχνότητας F που συνδέεται µε το Σ.Χ. σήµα σχετίζεται µε την f µε βάσει την εξίσωση: (.16) τότε το διάστηµα της F που αντιστοιχεί στο (.14) θα είναι: (.17) 1.3. Ιδιότητες της PSD Αφού φ(ω) είναι πυκνότητα ισχύος θα πρέπει να είναι πραγµατική και µη αρνητική ποσότητα. Αυτό προκύπτει άµεσα από τον ορισµό (.10). Έτσι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 4

(..1) Από την (.3) και (.7), προκύπτει: όπου Re{-} είναι το πραγµατικό µέρος της ποσότητας µέσα στις αγκύλες. Αν y(t) και συνεπώς r(k) παίρνουν πραγµατικές τιµές τότε: (..) που µας λεει ότι η φ(ω) γίνεται άρτια συνάρτηση σε αυτή την περίπτωση. Όταν έχουµε όµως µιγαδικά σήµατα η φ(ω) δεν είναι απαραίτητα συµµετρική γύρω από τον ω=0 άξονα. Έτσι: Για πραγµατικά σήµατα r(k)=r(-k) Για µιγαδικά σήµατα r(k)=r*(-k) (γενικά): 1.3.1. PSD σε ΓΧΑ Συστήµατα Τα γραµµικά και χρονικά αναλλοίωτα φίλτρα χρησιµοποιούνται συχνά σε διάφορες εφαρµογές επεξεργασίας σήµατος όπως στην ανίχνευση και εκτίµηση σήµατος, στην αναπαράσταση και σύνθεση σήµατος και αλλού. Συµβαίνει όµως σε πολλές περιπτώσεις τα σήµατα εισόδου σε αυτά τα φίλτρα να είναι τυχαίες διαδικασίες και άρα είναι χρήσιµο να καταλάβουµε το τρόπο που τα στατιστικά των σηµάτων αυτών αλλάζουν ως αποτέλεσµα του φιλτραρίσµατος. Στο σηµείο αυτό µπορούµε να ορίσουµε την σχέση µεταξύ του µέσου και της αυτοσυσχέτισης του σήµατος εισόδου µε τον µέσο και την αυτοσυσχέτιση του σήµατος εξόδου σε ένα ασυµπτωτικά ευσταθές γραµµικό και χρονικά αναλλοίωτο σύστηµα. Έστω (..4) εκφράζει ένα ασυµπτωτικά ευσταθές, γραµµικό και χρονικά αναλλοίωτο (LTI) σύστηµα. Ο τελεστής q -1 είναι ο τελεστής µοναδιαίας καθυστέρησης ορισµένος ως εξής:. Έστω επίσης e(t) ένα στάσιµο σήµα εισόδου στο σύστηµα και y(t) το αντίστοιχο σήµα εξόδου όπως δείχνει στην παρακάτω εικόνα (1). Εικόνα 1. Σχέση µεταξύ των PSDs των σηµάτων εισόδου και εξόδου σε ένα γραµµικό σύστηµα. Τότε τα {y(t)} και {e(t)} θα σχετίζονται µέσω του αθροίσµατος της συνέλιξης: (..5) Η συνάρτηση µεταφοράς αυτού του φίλτρου θα είναι: (..6) Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 5

Ακολουθούµε τη σύµβαση να γράφουµε H(q) τον τελεστή της συνέλιξης ενός γραµµικού συστήµατος, H(z) τον αντίστοιχο µετασχηµατισµό Z, και H (ω) την συνάρτηση µεταφοράς του: Από την (..5), προκύπτει: Εισάγοντας την (..7) στην (.7) έχουµε: (..7) Η σχέση αυτή: (..9) είναι ιδιαίτερα σηµαντική (..8) 1.3.. Μιγαδική (απο) διαµόρφωση Μια τελευταία σηµαντική ιδιότητα είναι η ακόλουθη. Έστω τα σήµατα y(t) και x(t) τα οποία σχετίζονται µε την: (..10) για κάποια. Τότε θα ισχύει ότι: (..11) Με άλλα λόγια ο πολλαπλασιασµός µε µιας χρονικής ακολουθίας µετατοπίζει την πυκνότητα φάσµατος της κατά την γωνιακή συχνότητα. Με βάση αυτή την ερµηνεία η διαδικασία κατασκευής του y(t) µε τον τρόπο που περιγράφει η (..10) θα λέγεται µιγαδική (από)διαµόρφωση (complex (de)modulation). Η απόδειξη της (..11) είναι άµεση, αφού από την (..10): (..1) προκύπτει: (..13) 1.4. Το πρόβληµα φασµατικής εκτίµησης Το πρόβληµα της φασµατικής εκτίµησης µπορεί τώρα να εκφραστεί ως εξής: Από µία πεπερασµένου µήκους παρατήρηση {y(l),..., y(n)} µιας δεύτερης τάξης στάσιµη τυχαία διαδικασία, προσδιόρισε µια εκτίµηση της φασµατικής της ισχύος, για Όπως σε όλα τα προβλήµατα εκτίµησης είναι επιθυµητό το να είναι όσο το δυνατόν κοντινότερο στο. Όπως θα δούµε ο κύριος περιορισµός στην ποιότητα της εκτίµησης είναι ο σχετικά µικρός αριθµός διαθέσιµων δειγµάτων. Σε πολλές εφαρµογές το N θα είναι σχετικά µικρό αφού το κόστος απόκτησης µεγάλων ποσοτήτων δεδοµένων είναι απαγορευτικό. Ένας δεύτερος Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 6

λόγος για τον οποίο το N θα περιορίζεται είναι το γεγονός ότι τα περισσότερα σήµατα που θα µελετήσουµε θα θεωρούνται στάσιµα δεύτερης τάξης µόνο για µικρά διαστήµατα παρατήρησης. Όπως έχουµε ήδη τονίσει υπάρχουν δύο κύριες οικογένειες τεχνικών για την εκτίµηση του PSD. Οι µη παραµετρικές και οι παραµετρικές. Οι µη παραµετρικές προσεγγίσεις βασίζονται κυρίως στους δύο ορισµούς του PSD καθώς και σε κάποιες ιδιότητες που προκύπτουν από τους ορισµούς αυτούς. Οι προσεγγίσεις αυτές δεν κάνουν κάποια υπόθεση για την µορφή του φ(ω). Στον αντίποδα οι παραµετρικές µεθόδους οι οποίες κάνουν κάποιες υποθέσεις για το σήµα που τους ενδιαφέρει και µε βάση αυτές τις υποθέσεις διαµορφώνεται µια παραµετρική µορφή της συνάρτησης PSD και ακολούθως το πρόβληµα ανάγεται σε πρόβληµα εκτίµησης των παραµέτρων της συνάρτησης. Η παραµετρική προσέγγιση χρησιµοποιείται λοιπόν όταν υπάρχει αρκετή διαθέσιµη πληροφορία γύρω από το σήµα που µελετάει προκειµένου να διαµορφωθεί ένα µοντέλο. 1.5. Λευκός Θόρυβος Μια ιδιαίτερα σηµαντική τυχαία διαδικασία (σήµα) που συναντάται στις τηλεπικοινωνίες είναι ο λευκός θόρυβος. Μια WSS διαδικασία υ(n), είτε πραγµατική είτε µιγαδική θα λέγεται ότι είναι λευκή αν η αυτοδιακύµανση είναι µηδέν για όλα τα Με αυτή τη λογική λευκός θόρυβος θα είναι απλώς µια ακολουθία ασυσχέτιστων τυχαίων µεταβλητών που η κάθε µία έχει την ίδια διακύµανση. Αφού ο λευκός θόρυβος ορίζεται µόνο µε όρους στατιστικών δεύτερης τάξης µπορούµε να καταλάβουµε ότι υπάρχουν πολλοί (άπειροι) διαφορετικοί λευκοί θόρυβοι. Για παράδειγµα ένας λευκός θόρυβος που απαρτίζεται από Gaussian τυχαίες µεταβλητές ονοµάζεται Gaussian White Noise (GWN) και ένα παράδειγµα του µε µέσο µηδέν και διακύµανση 1 φαίνεται στο διάγραµµα (α) του παρακάτω σχήµατος. Ένας άλλος λευκός θόρυβος είναι η διαδικασία Bernoulli που αποτελείται από ασυσχέτιστες Bernoulli τυχαίες µεταβλητές και απεικονίζεται στο διάγραµµα (b) του παρακάτω σχήµατος. Για µιγαδικό λευκό θόρυβο: ισχύει: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 7

. Μη Παραµετρικοί Μέθοδοι Φασµατικής Εκτίµησης Θα δούµε τώρα το πρόβληµα της εκτίµησης της πυκνότητας φάσµατος ισχύος µιας στάσιµης υπό την ευρεία έννοια τυχαίας διαδικασίας µε µη παραµετρικές µεθόδους. Οι µη παραµετρικοί µέθοδοι φασµατικής εκτίµησης βασίζονται αποκλειστικά στους ορισµούς της πυκνότητας φασµατικής ισχύος που είδαµε πιο πριν. Οι µέθοδοι αυτοί αποτελούν όπως λέγεται την κλασσική προσέγγιση στην φασµατική εκτίµηση. Οι δύο κυριότεροι εκτιµητές αυτής της κατηγορίας είναι το περιοδόγραµµα (periodogram) και το κορελόγραµµα (correlogram). Οι εκτιµητές αυτοί πηγάζουν από τους ορισµούς της φασµατικής ισχύος και µπορούµε να δούµε ότι υπό συνθήκες είναι ισοδύναµοι. Στην πράξη η εκτίµηση µε το περιοδόγραµµα και το κορελόγραµµα είναι καλή εφόσον το µέγεθος της τυχαίας διαδικασίας είναι επαρκώς µεγάλο κάτι που δεν ισχύει πάντα. Για παράδειγµα στην ανάλυση ενός σεισµικού κύµατος το οποίο ανιχνεύτηκε για πολύ µικρό χρονικό διάστηµα αλλά και στις περιπτώσεις εκείνες στις οποίες προκειµένου να διατηρήσουµε σταθερά τα φασµατικά χαρακτηριστικά του σήµατος (όπως επιτάσσει η φασµατική εκτίµηση) αναγκαζόµαστε να περιορίσουµε το σήµα σε µικρό χρονικό διάστηµα (µερικά msec ή και λιγότερο) ώστε να ικανοποιηθεί η συνθήκη της στασιµότητας (σήµα φωνής). Η δεύτερη δυσκολία που πρέπει να αντιµετωπιστεί είναι ότι το σήµα είναι συχνά παραµορφωµένο από θόρυβο ή άλλο παρεµβαλόµενο σήµα. Στο σηµείο αυτό θα µελετήσουµε την εκτίµηση µε περιοδόγραµµα και κορελόγραµµα και θα δούµε κάποιες παραλλαγές των µεθόδων που αποσκοπούν στο να βελτιώσουν το κύριο πρόβληµα τους, την µεγάλη διακύµανση των εκτιµητών η οποία δεν µειώνεται µάλιστα όσο αυξάνει ο αριθµός των δεδοµένων..1. Periodogram και Correlogram To periodogram βασίζεται στον ακόλουθο ορισµό του PSD. Επειδή όµως στην πράξη δεν υπάρχουν δεδοµένα σε άπειρο µήκος θεωρώντας ένα πεπερασµένο σύνολο δεδοµένων µήκους Ν τότε από τον παραπάνω ορισµό αν αφαιρέσουµε το όριο και την αναµενόµενη τιµή καταλήγουµε στην εκτίµηση του περιοδογράµµατος: 1 N 1 ˆ jωn 1 Περιοδό γραµµα : Pp ( ω) = x( n) e = X ( ω) n= 0 N Ν N όπου Χ Ν (ω) είναι ο διακριτού χρόνου µετασχηµατισµός Fourier του σήµατος x(n). Το περιοδόγραµµα εµφανίστηκε το 1898 (από τον Schuster) ως µέθοδος εύρεσης κρυφής περιοδικότητας σε χρονικές σειρές. Από εκεί προέρχεται και η ονοµασία της µεθόδου. Ιδιότητες: Αν το x(n) είναι πραγµατική τυχαία διαδικασία τότε το ˆ ( ω) είναι άρτιο. To κορελόγραµµα βασίζεται στον πρώτο ορισµό του PSD: P p rˆ ( k) όπου το είναι η εκτίµηση της αυτοσυσχέτισης για διαφορά k. Υπό αυτή την έννοια η εκτίµηση του PSD γίνεται εκτίµηση αυτοσυσχέτισης. Υπάρχουν δύο τρόποι να γίνει αυτή η εκτίµηση: 1) Unbiased Εκτίµηση: Ορίζεται ως εξής για -(Ν-1) k Ν-1: To δεύτερο µέλος του παραπάνω ορισµού πηγάζει από την ιδιότητα του πίνακα αυτοσυσχέτισης. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 8

Παράδειγµα: Εκτιµήστε την αυτοσυσχέτιση και το PSD του παρακάτω σήµατος: Λύση: οπότε η γραφική παράσταση της εκτίµησης αυτοσυσχέτισης και PSD (Fourier) είναι: Σηµείωση: o Η παραπάνω εκτίµηση του r(k) είναι γενικά κακή εκτίµηση για µεγάλο k γιατί για τα περισσότερα στάσιµα σήµατα η συνάρτηση αυτοσυσχέτισης εξασθενεί γρήγορα και γίνεται πολύ µικρή για µεγάλες διαφορές k. Όµως µε βάση τον παραπάνω ορισµό αν θεωρήσουµε αρκετά µεγάλο N βλέπουµε ότι µεγάλες τιµές του k µπορεί να µας οδηγήσουν σε υπερβολικά µεγάλες και συνεπώς εσφαλµένες τιµές της αυτοσυσχέτισης αφού ο υπολογισµός γίνεται µε άθροισµα λίγων µόνο γινοµένων (συγκεκριµένα ένα µόνο γινόµενο για k=n-1). o H παραπάνω εκτίµηση λέγεται unbiased γιατί ισχύει: E { rˆ( k)} = r( k) Απόδειξη: o Η εκτίµηση του PSD βασισµένη στον unbiased εκτιµητή µπορεί να πάρει τιµές 0 κάτι που είναι ανεπιθύµητο στις περισσότερες εφαρµογές. ) Biased Εκτίµηση: Ορίζεται ως εξής για -(Ν-1) k Ν-1: Σηµείωση: Παρότι είναι biased η εκτίµηση στο όριο για N γίνεται unbiased (ασυµπτωτικά unbiased εκτιµήτρια). Απόδειξη: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 9

Παράδειγµα: Εκτίµηση συνάρτησης αυτοσυσχέτισης και PSD για το παρακάτω σήµα: Λύση: Σηµείωση: o Για την biased εκτίµηση της αυτοσυσχέτισης και του PSD ισχύει: δηλαδή η εκτίµηση PSD µε βάση την biased εκτιµήτρια της αυτοσυσχέτισης είναι ίδια µε την φασµατική εκτίµηση του περιοδογράµµατος. o Επίσης ισχύει, αλλά και γι αυτό η εκτίµηση λέγεται o E{ rˆ( k)} r( k) lim E{ˆ( r k)} = r( k) N biased ή ασυµπτωτικά unbiased. Ο πίνακας αυτοσυσχέτισης που προκύπτει από την biased εκτίµηση είναι ένας positive semidefinite πίνακας: Γενικά Σχόλια 1) Τα P ˆ ( ω) και ˆ ( ω) παρέχουν µια κακή εκτίµηση του P(ω). Η αιτία είναι ότι οι διακυµάνσεις p P c και των δύο εκτιµήσεων είναι ψηλές κάτι που οφείλεται στο ότι και τα δύο υπολογίζονται από µια µόνο υλοποίηση µιας τυχαίας διαδικασίας. ) Στην πράξη δεν είναι πάντα δυνατό να υπολογίσουµε τις εκτιµήσεις του PSD σε συνεχές πεδίο συχνοτήτων. Οπότε η µεταβλητή της συχνότητας ω πρέπει να δειγµατοληπτείται συνήθως ως ακολούθως: π ω = k, k = 0, LN 1 Ν Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 10

Αυτό σηµαίνει ότι µπορούµε να εκτιµήσουµε το PSD µε χρήση του DFT: αφού: Έστω Σηµειώστε ότι: Με βάση την παραπάνω απλή παρατήρηση µπορούµε να ορίσουµε: Οι παραπάνω εξισώσεις είναι ο πυρήνας του αλγόριθµου radix- FFT. Αναπαριστούν (και οι δύο µαζί) τον DFT για ακολουθίες µήκους ίσου µε (Ν/). Το πλεονέκτηµα σε υπολογιστικό κέρδος είναι προφανές. Ο υπολογισµός ενός DFT N-σηµείων έχει µειωθεί στην εκτίµηση δύο µετασχηµατισµών N/-σηµείων που ο υπολογισµός τους απαιτεί (Ν/) µιγαδικούς πολλαπλασιασµούς. Η παραπάνω διαδικασία µπορεί να συνεχιστεί µέχρι να οριστούν µετασχηµατισµοί σηµείων κάτι που µπορεί να γίνει όταν το Ν αρχικά είναι δύναµη του. Σηµείωση: 1) Ένας Ν= m -σηµείων FFT απαιτεί O( N log N ) µιγαδικούς πολλαπλασιασµούς. ) Στις περιπτώσεις που το Ν δεν είναι δύναµη του, για να εφαρµόσουµε τον παραπάνω αλγόριθµο µπορούµε να αυξήσουµε το µήκος της ακολουθίας κάνοντας προσθήκη κατάλληλου αριθµού µηδενικών στο τέλος (zero padding) ώστε να γίνει το Ν= m. 3) H διαδικασία zero padding µπορεί να φανεί χρήσιµη και στις περιπτώσεις που η δειγµατοληψία συχνότητας θεωρείται πολύ αραιή για να είναι καλή αναπαράσταση του εκτιµώµενου φάσµατος συνεχούς-συχνότητας. Εφαρµόζοντας τον αλγόριθµο FFT σε zero padded ακολουθία µπορεί να διαφανούν µεγαλύτερες λεπτοµέρειες του φάσµατος οι οποίες δεν ήταν ορατές χωρίς το zero padding. Όµως η εκτίµηση PSD συνεχούς συχνότητας είναι η ίδια και για το γνήσιο σήµα και για το σήµα µε την προσθήκη µηδενικών και άρα η φασµατική ανάλυση του ˆ ( ω) δεν θα αλλάξει. P p.. Θεωρία Εκτίµησης Όπως έχουµε δει, τα στοιχεία που µας ενδιαφέρει να έχει ένας εκτιµητής (π.χ. µιας σταθεράς α) για να πούµε ότι είναι καλός είναι: 1) Μικρό bias: ) Μικρή ιακύµανση: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 11

3) Συνέπεια (Consistency):..1. Εκτίµηση Μεγίστης Πιθανοφάνειας Παράδειγµα: Έστω ότι µπορούµε να µετράµε το y=α+e, όπου α είναι µια άγνωστη σταθερά και e είναι µια Gaussian τυχαία µεταβλητή N(0,σ ). Θέλουµε να εκτιµήσουµε το α από το y. Λύση: Η κατανοµή θα είναι: Για να εκτιµήσουµε το α θα εφαρµόσουµε Εκτίµηση Μεγίστης Πιθανοφάνειας (Maximum Likelihood (ML) estimate) του α. Έστω ότι το y=5. Η εκτίµηση ML θεωρεί ότι το δείγµα της µέτρησης είναι αντιπροσωπευτικό του συνόλου των πιθανών παρατηρήσεων οπότε επιλέγει εκείνη την τιµή του â η οποία προκάλεσε µε τη µεγαλύτερη πιθανότητα τη µέτρηση του y να είναι 5. Η τιµή αυτή είναι αυτή που µεγιστοποιεί την ακόλουθη pdf η οποία ονοµάζεται πιθανοφάνεια (likelihood): o Με βάση την εκτίµηση ML βρίσκουµε ότι a ˆ ML = o Επίσης E{ aˆ ML } = E{ y} = E{ a + e} = a o Και Var{ aˆ ML } = Var{ y} = σ y Στο παραπάνω παράδειγµα τώρα έχουµε 3 ανεξάρτητες µετρήσεις y, 1 y, πάλι να υπολογίσουµε την εκτίµηση ML, το bias και την διακύµανση: y 3 αντί µόνο µίας. Θέλουµε και Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 1

Παράδειγµα: Έστω x µια παρατήρηση µιας οµοιόµορφα κατανεµηµένης τυχαίας µεταβλητής στο διάστηµα [0,θ] όπου το θ είναι µια άγνωστη σταθερά. Θέλουµε να βρούµε το θ ML. Η πιθανοφάνεια θα είναι f ( x; θ ) = 1/ θ αφού η τυχαία µεταβλητή είναι οµοιόµορφα κατανεµηµένη. Οπότε η πιθανοφάνεια θα µεγιστοποιείται µε την ελάχιστη τιµή του θ που σηµαίνει: ενώ στην περίπτωση που έχουµε ή και περισσότερες παρατηρήσεις:... Cramer-Rao Bound Έστω ότι για την εκτίµηση µιας παραµέτρου θ µπορούµε να ορίσουµε δύο unbiased εκτιµητές. Από τους εκτιµητές αυτούς προτιµότερος είναι σύµφωνα µε αυτά που είδαµε, αυτός µε τη µικρότερη διακύµανση. Το ερώτηµα που τίθεται τώρα είναι πως βρίσκουµε τον εκτιµητή µε την µικρότερη δυνατή διακύµανση. Είναι δυνατόν να βρούµε µια έκφραση για το κάτω φράγµα της διακύµανσης όλων των unbiased εκτιµητών του θ; Η απάντηση και στα δύο ερωτήµατα είναι το όριο Cramer-Rao. Έστω B( a) = E{ˆ( a r) a} a το bias της εκτίµησης aˆ ( r) όπου r είναι η παρατήρηση (µέτρηση). Τότε για το µέσο τετραγωνικό σφάλµα ( MSE E{ aˆ( r) a } = var{ aˆ( r)} + bias{ˆ( a r)} ) θα ισχύει: Το δεύτερο µέρος της ανισότητας είναι το Cramer-Rao κάτω φράγµα (CRB). o Ο παρανοµαστής είναι γνωστός ως πληροφορία του Fisher,I(α). o Αν το bias Β(α)=0 ο αριθµητής του CRB γίνεται 1 Απόδειξη της ανισότητας CRB: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 13

Από την ανισότητα του Swharz έχουµε ότι ισχύει: Στην παραπάνω σχέση η ισότητα ισχύει αν και µόνο αν g 1( x) = cg ( x) όπου c είναι µια σταθερά ανεξάρτητη του x. Χρησιµοποιώντας την παραπάνω ανισότητα µπορούµε να γράψουµε: όπου η ισότητα στην παραπάνω σχέση ισχύει αν και µόνο αν: όπου c είναι µια σταθερά ανεξάρτητη του r. Αποδοτική εκτίµηση: Μια εκτίµηση λέγεται αποδοτική (efficient) όταν: 1) Είναι unbiased ) Πετυχαίνει το CRB: Παράδειγµα: Έστω r=α+ε όπου α είναι άγνωστη σταθερά και ε ~ N(0,σ ). Θέλουµε να βρούµε την ML εκτίµηση. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 14

Με βάση τα παραπάνω: Παρατηρήσεις: 1) Αν είναι unbiased, τότε: Var{ˆ( a r)} CRB aˆ ( r) ) Αν υπάρχει µια αποδοτική εκτίµηση, για παράδειγµα: ln f ( r a) = c[ aˆ( r) a] a 0 ln f ( r a) a= aˆ ML ( r) a, (όπου c είναι ανεξάρτητο του r), τότε η λύση = έχει σαν αποτέλεσµα aˆ ML ( r) = aˆ( r), που σηµαίνει: Αν υπάρχει µία αποδοτική εκτίµηση τότε αυτή είναι 3) Αν δεν υπάρχει αποδοτική εκτίµηση τότε το πόσο καλή είναι η εκτίµηση ML εξαρτάται από το κάθε πρόβληµα ξεχωριστά. Έστω ότι υπάρχουν Ν ανεξάρτητες µετρήσεις r,...,, όπου η κάθε µία r µπορεί να είναι ή να µην είναι Gaussian. Ας υποθέσουµε ότι η ML εκτίµηση είναι: Ο νόµος των µεγάλων αριθµών µας λεει ότι: aˆ 1 r N i a ML N = 1 N ˆ. ML r i N i= 1 Θεώρηµα Κεντρικών Ορίων (Central Limit Theorem): θα έχει Gaussian κατανοµή για Ν. Συνοψίζοντας για την εκτίµηση ML ισχύουν οι ακόλουθες ασυµπτωτικές ιδιότητες: Ασυµπτωτικές Ιδιότητες του a ( r,..., r ) ˆML 1 N aˆ ML( r1,..., rn ) a ML a â ML 1) (δηλαδή το â είναι συνεπής εκτίµηση) N ) â ML είναι ασυµπτωτικά αποδοτική εκτίµηση 3) â ML είναι ασυµπτωτικά Gaussian 1 Παράδειγµα: r = g ( a) + e, e ~ N(0, αν η εκτίµηση είναι αποδοτική Έστω b = g 1 ( a). Τότε a = g(b), οπότε: σ â ML ). Θέλουµε να βρούµε την εκτίµηση ML και να δούµε Ιδιότητα αµεταβλητότητας της εκτίµησης ML: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 15

ˆ ˆ o Αν a = g( b) aml = g( bml ) o To âml µπορεί να µην είναι αποδοτική εκτίµηση. Συγκεκριµένα το âml δεν είναι αποδοτικό αν g(.) είναι µη γραµµική συνάρτηση..3. Ιδιότητες του Περιοδογράµµατος Για να επανέλθουµε στην εκτίµηση PSD, πρέπει να τονίσουµε ότι η ανάλυση των στατιστικών ιδιοτήτων των εκτιµήσεων PSD είναι σηµαντική για να δούµε κατά πόσο είναι µια καλή ή όχι εκτίµηση. Παράλληλα µας δίνει µια οπτική για το τι µπορούµε να κάνουµε προκειµένου να βελτιώσουµε την φασµατική εκτίµηση. Θα σπάσουµε την ανάλυση σε δύο κύρια µέρη. Στο πρώτο θα ασχοληθούµε µε το bias ενώ στο δεύτερο µε τη διακύµανση. Όπως είδαµε αυτές είναι οι δύο ποσότητες που χαρακτηρίζουν την απόδοση του εκτιµητή..3.1. Ανάλυση bias Επειδή όπως είδαµε νωρίτερα η εκτίµηση µε το periodogram συµπίπτει µε την εκτίµηση µε το correlogram και τον biased εκτιµητή της αυτοσυσχέτισης µπορούµε να γράψουµε: rˆ ( k) Ας ορίσουµε: w B k 1 k) = N 0 k = 0, ± 1,..., ± ( N 1) (. Η ακολουθία αυτή ονοµάζεται τριγωνικό αλλού παράθυρο ή παράθυρο Bartlett και έχει την µορφή: Χρησιµοποιώντας το παραπάνω παράθυρο µπορούµε να γράψουµε την αναµενόµενη τιµή της εκτίµησης περιοδογράµµατος του PSD σαν DTFT: Αλλά ο DTFT του γινοµένου δύο ακολουθιών είναι ίσο µε τη συνέλιξη των αντίστοιχων DTFT των ακολουθιών. Οπότε αν: Αν υπολογίσουµε το W ) το οποίο λέγεται συχνά και πυρήνας Fejer θα βρούµε µια έκφραση της µορφής: B (ω Στο παρακάτω σχήµα φαίνεται η µορφή που έχει για Ν=5. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 16

Παρατηρούµε ότι για µικρό αριθµό Ν η µορφή του παραπάνω σχήµατος προσεγγίζει το κρουστικό σήµα δ(ω): Παρατηρήσεις: o Ο κεντρικός λοβός (main lobe) του παραθύρου έχει σαν αποτέλεσµα την εξοµάλυνση (smearing) του P(ω). Για παράδειγµα όταν υπάρχουν δύο κορυφές στο P(ω) οι οποίες απέχουν λιγότερο από π/ν (το πλάτος του κύριου λοβού στα 3dB) αυτές δεν θα µπορέσουν να διαχωριστούν στην εκτίµηση ˆ ( ω) P p και θα φανούν σαν µία διευρυµένη κορυφή. o Λόγω του φαινοµένου smearing οι µέθοδοι περιοδογράµµατος δεν µπορούν να ξεχωρίσουν λεπτοµέρειες στο προς µελέτη φάσµα που απέχουν λιγότερο από 1/Ν σε Hz ανά διάστηµα δειγµατοληψίας. Γι αυτό το λόγο η ποσότητα 1/Ν σε Ηz ονοµάζεται όριο φασµατικής ανάλυσης των µεθόδων µε periodogram. o Οι πλευρικοί λοβοί του W B (ω) µεταφέρουν ισχύ από τις συχνότητες που συγκεντρώνουν την περισσότερη ισχύ στο σήµα σε συχνότητες µε λιγότερη ή και καθόλου ισχύ. Το φαινόµενο αυτό ονοµάζεται leakage (διαρροή). Για παράδειγµα µια κυρίαρχη κορυφή στο P(ω) µπορεί µέσω της συνέλιξης µε τους πλευρικούς λοβούς του παραθύρου W B (ω) να µας οδηγήσει στην εκτίµηση ενός φάσµατος που περιέχει ισχύ σε συχνότητες που το P(ω) είχε ισχύ µηδέν. Από τις παραπάνω παρατηρήσεις συµπεραίνουµε ότι το φαινόµενο του smearing και leakage είναι κρίσιµα για φάσµατα µε µεγάλες µεταβολές του πλάτους (φάσµατα µε πολλές κορυφές). Τα φαινόµενα αυτά είναι λιγότερο έντονα για πιο οµαλά φάσµατα. Αν το rˆ ( k) προκύπτει από την unbiased εκτιµήτρια τότε αυτό που αλλάζει είναι η µορφή του παραθύρου που τώρα θα είναι ένα τετραγωνικό παράθυρο της µορφής: w R 1 k = 0, ± 1,..., ± ( N 1) ( k ) =, οπότε: 0 αλλο ύ και η αναµενόµενη τιµή της εκτίµησης θα είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 17

Για να κατανοήσουµε καλύτερα την παραπάνω εξίσωση µπορούµε να την δούµε σαν ένα δυναµικό σύστηµα στο οποίο το σήµα εισόδου είναι το PSD (P(ψ)), η συνάρτηση βάρους θα είναι το W(ω) και η έξοδος η εκτίµηση όπως δείχνει και το παρακάτω σχήµα: Το bias του εκτιµητή φάσµατος µε περιοδόγραµµα παρότι µπορεί να αποδειχτεί ιδιαίτερα κρίσιµο σε φάσµατα µε µεγάλο δυναµικό εύρος δεν αποτελεί τον κύριο περιορισµό αυτού του εκτιµητή. Στην πραγµατικότητα αν το bias ήταν το µόνο µας πρόβληµα τότε αυξάνοντας το N (εφόσον βέβαια είναι δυνατόν) τότε το bias θα µπορούσε να εξαλειφθεί (ασυµπτωτικά unbiased εκτίµηση). Το κύριο πρόβληµα όµως της µεθόδου είναι η µεγάλη της διακύµανση όπως εξηγούµε παρακάτω..3.. Ανάλυση ιακύµανσης Ας θεωρήσουµε την περίπτωση το x(n) να είναι µηδενικού µέσου, κυκλικά συµµετρικός µιγαδικός λευκός Gaussian θόρυβος: όπου σ είναι η διακύµανση του λευκού θορύβου x(n) και οι παραπάνω σχέσεις µπορούν να γραφτούν ισοδύναµα ως: Σηµείωση: Τα πραγµατικά και φανταστικά µέρη του x(n) είναι ακολουθίες πραγµατικού λευκού Gaussian θορύβου µε την ίδια ισχύ N(0,σ /) και ασυσχέτιστα µεταξύ τους. Αν x(n) είναι µηδενικού µέσου µιγαδικός λευκός Gaussian θόρυβος αυτό σηµαίνει ότι είναι ένα στάσιµο σήµα το οποίο ικανοποιεί την σχέση: της PSD ˆ ( ω) P p να είναι unbiased εκτίµηση: E{ x( t) x( t + k)} = σ δ ( k). Αυτό έχει σαν συνέπεια η εκτίµηση Για µιγαδικό λευκό Gaussian θόρυβο ισχύει: οπότε: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 18

Παρατηρήσεις: o ˆ ( ω) P p δεν είναι συνεπής εκτίµηση. ω τότε και τα P ˆ ( ) και ˆ ( ) είναι ασυσχέτιστα µεταξύ τους. o Αν p o Το παραπάνω αποτέλεσµα της διακύµανσης ισχύει επίσης και για: 1 ω ω 1 P p ω όπου x(n) είναι µηδενικού µέσου µιγαδικός λευκός Gaussian θόρυβος. Συνεπώς για µια σχετικά ευρεία οµάδα σηµάτων οι τιµές της εκτίµησης του περιοδογράµµατος θα είναι ασυµπτωτικά (για Ν ) ασυσχέτιστες τυχαίες µεταβλητές των οποίων η µέση τιµή και η τυπική απόκλιση θα είναι ίση µε τις αντίστοιχες πραγµατικές τιµές του PSD. Αυτό σηµαίνει ότι το περιοδόγραµµα δεν είναι συνεπής εκτίµηση και στην πράξη θα συνεχίσει να ταλαντώνεται γύρω από την πραγµατική τιµή του PSD, µε µη µηδενική διακύµανση ακόµα και στην περίπτωση που το µήκος των δειγµάτων αυξηθεί χωρίς όριο. Επιπλέον το γεγονός ότι οι τιµές του περιοδογράµµατος είναι ασυσχέτιστες (για µεγάλες τιµές του Ν) το κάνει να παρουσιάζει µορφή παρόµοια µε αυτή του λευκού θορύβου και συνεπώς εσφαλµένη συµπεριφορά. Αυτά είναι και τα σηµαντικότερα µειονεκτήµατα της µεθόδου και γι αυτό θα παρουσιάσουµε στη συνέχεια ορισµένες προσπάθειες που στοχεύουν στην θεραπεία αυτών των µειονεκτηµάτων. Όπως θα δούµε οι βελτιωµένες µέθοδοι καταφέρνουν να µειώσουν την διακύµανση του εκτιµώµενου φάσµατος όµως σαν συνέπεια είναι η αύξηση του bias και άρα η µείωση της µέσης ανάλυσης..4. Βελτιωµένες Μέθοδοι Υπάρχει µια σειρά µεθόδων οι οποίες αποσκοπούν στο να µειώσουν το κύριο πρόβληµα της µεθόδου εκτίµησης µε periodogram που είναι η αυξηµένη διακύµανση. Αυτό το πετυχαίνουν εις βάρος όµως άλλων χαρακτηριστικών της εκτίµησης και πιο συγκεκριµένα µε τη αύξηση του bias ή µε την µείωση της ανάλυσης. Για να δούµε µερικές από τις µεθόδους αυτές:.4.1. Blackman Tukey (BT) µέθοδος Η φτωχή στατιστικά ποιότητα της εκτίµησης του περιοδογράµµατος είναι συνέπεια της φτωχής ακρίβειας στην εκτίµηση της αυτοσυσχέτισης (στην εκτίµηση του correlogram) για πολύ µεγάλες διαφορές και του µεγάλου αριθµού σφαλµάτων εκτίµησης αυτοσυσχέτισης που προστίθενται για να υπολογίσουµε την εκτίµηση του PSD. Με βάση τα παραπάνω µπορούµε να ορίσουµε εναλλακτικά την εκτιµήτρια Blackman- Tukey ως εξής: όπου w(k) ονοµάζεται παράθυρο διαφοράς (lag window) και είναι µια άρτια συνάρτηση τέτοια ώστε w(0)=1, w(k)=0 για k M. Επίσης το w(k) φθίνει οµαλά στο µηδέν όσο αυξάνει το k και Μ<Ν. Η ονοµασία του παραθύρου προέρχεται από το γεγονός ότι στην ουσία αυτό που κάνει είναι να δώσει βάρη στις διαφορές της ακολουθίας αυτοσυσχέτισης. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 19

w( k)ˆ( r k) Αν το w(k) επιλεγεί να είναι τετραγωνικό παράθυρο, τότε το είναι απλώς µια τεµαχισµένη έκδοση της εκτίµησης αυτοσυσχέτισης και άρα και του PSD. Μπορούµε όµως να διαλέξουµε το παράθυρο να έχει διάφορες άλλες µορφές. Αυτή η ευελιξία µπορεί να χρησιµοποιηθεί για να αυξηθεί η ακρίβεια της µεθόδου ΒΤ ή για να δώσουµε έµφαση σε ορισµένα χαρακτηριστικά που είναι ιδιαιτέρως ενδιαφέροντα σε κάποια εφαρµογή. Έστω W(ω) ο DTFT του w(k): W ( ω ) = k= w( k) e iωk = M 1 k= ( M 1) w( k) e Κάνοντας χρήση της ιδιότητας ότι ο DTFT του γινοµένου είναι συνέλιξη των DTFT τότε αν biased εκτίµηση θα ισχύει: iωk rˆ ( k) είναι µια Αφού για τα περισσότερα παράθυρα που χρησιµοποιούνται το W(ω) έχει µια κυρίαρχη και σχετικά στενή κορυφή στο ω=0 µπορούµε να πούµε ότι η φασµατική εκτίµηση BT είναι ένας τοπικός µέσος όρος µε βάρη ˆ ( ω) P p του περιοδογράµµατος. Παρατηρήσεις: Όσο µικρότερο το πλάτος του παραθύρου M τόσο φτωχότερη η ανάλυση του αλλά και τόσο µικρότερη η διακύµανση. Η ανάλυση του ˆ ( ω) 1/ Μ P BT ˆ P BT ( ω) Μ / Ν ˆ P BT ( ω) Η διακύµανση του και τείνει στο 0 όταν το M είναι σταθερό και το N. ˆ P BT ( ω) Για σταθερό M, το είναι ασυµπτωτικά biased αλλά η διακύµανση τείνει στο µηδέν. Αφού η PSD είναι πάντα θετική είναι λογικό να θέλουµε και το επιλογή του παραθύρου θα πρέπει να γίνει µε αυτό το κριτήριο. Απόδειξη: Θεώρηµα: Έστω ˆ P BT ( ω) 0 για κάθε ω. Συνεπώς η τότε θα ισχύει Υ(ω) 0 για κάθε ω αν και µόνο αν ο παρακάτω Toeplitz πίνακας είναι positive semidefinite: Με άλλα λόγια Υ(ω) 0 για κάθε ω αν και µόνο αν η ακολουθία: είναι θετικά ηµιορισµένη (positive semidefinite). Με βάση το παραπάνω θεώρηµα θα ισχύει ότι το w( k)ˆ( r k) ˆ P BT ( ω) 0 για κάθε ω αν και µόνο αν η ακολουθία είναι positive semidefinite ακολουθία ή ισοδύναµα ο παρακάτω Toeplitz πίνακας είναι positive semidefinite: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 0

Ο παραπάνω πίνακας είναι ισοδύναµος µε: όπου το σύµβολο εκφράζει πολλαπλασιασµό στοιχείο µε στοιχείο. Αν είναι µια biased εκτίµηση, τότε ˆ ( ω) 0 P p rˆ ( k) για κάθε ω. Αν επιπλέον W(ω) 0 για κάθε ω τότε οι παραπάνω πίνακες θα είναι positive semidefinite. Με βάσει τη θεωρία γραµµικής άλγεβρας συµπεραίνουµε λοιπόν ότι και ο πίνακας που προκύπτει µε πολλαπλασιασµό στοιχείο µε στοιχείο θα είναι επίσης positive semidefinite ˆ P BT ( ω) 0 δηλαδή για κάθε ω. Παράθυρα που ικανοποιούν την παραπάνω συνθήκη είναι τα Bartlett και Parzen. Το τετραγωνικό (rectangular) παράθυρο όµως δεν είναι και συνεπώς χρησιµοποιώντας το µπορεί να υπολογίσουµε εκτίµηση του PSD µε αρνητικές τιµές. Τα περισσότερα παράθυρα είναι τέτοια ώστε να παίρνουν µη µηδενικές τιµές τόσο στο χρόνο όσο και στις συχνότητες. Επιπλέον έχουν κορυφές στο µηδέν και στους δύο χώρους. Για αυτά τα παράθυρα µπορούµε να ορίσουµε ένα ισοδύναµο χρονικό πλάτος και ισοδύναµα εύρος ζώνης ως εξής: M 1 n= ( M 1) w( n) Ισοδύναµο χρονικό πλάτος: N e = w(0) 1 π ( ) Ισοδύναµο εύρος ζώνης: W ω dω π β e = π W (0) Με βάση τους παραπάνω ορισµούς και επειδή: µπορούµε να δείξουµε ότι ισχύει: και ηλαδή το γινόµενο χρόνου-εύρους ζώνης: Η παραπάνω σχέση µας λεει: N β = 1 e e Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 1

1. ότι ένα παράθυρο δεν µπορεί να είναι ταυτόχρονα και χρονικά και φασµατικά περιορισµένο. Όσο πιο αργά φθίνει στο µηδέν στο χώρο των χρόνων τόσο πιο συγκεντρωµένο θα είναι στο χώρο των συχνοτήτων και το αντίστροφο.. Το σχήµα του παράθυρου διαµορφώνει το επίπεδο (ενέργεια) των πλευρικών λοβών σχετικά µε το W(0). ηλαδή αν θέλουµε να µειώσουµε το πλάτος του κύριου λοβού (για να µειώσουµε το φαινόµενο smearing) τότε θα πρέπει να αποδεχτούµε µια αύξηση στην ενέργεια των πλευρικών λοβών (αύξηση του φαινοµένου leakage) και το αντίστροφο. Το ισοδύναµο χρονικό πλάτος στην ουσία καθορίζεται από το µήκος του παραθύρου. Παράδειγµα: Τετραγωνικό παράθυρο: N e M 1 n= ( M 1) = 1 1 = M 1 Παράδειγµα: Bartlett παράθυρο: Στο παράθυρο Bartlett το ισοδύναµο χρονικό πλάτος θα είναι: Παράδειγµα: Σχέση µήκους παραθύρου µε το εύρος ζώνης. N e = M Παρατηρούµε ότι αύξηση του µήκους του παραθύρου σηµαίνει αύξηση του ισοδύναµου χρονικού πλάτους το οποίο σηµαίνει µείωση του ισοδύναµου εύρους ζώνης και άρα µείωση του πλάτους του κύριου λοβού. Σχεδίαση παραθύρου Ας υποθέσουµε ότι παρατηρούµε ένα σήµα το οποίο αποτελείται από ένα χρήσιµο ασθενές σήµα και µια ισχυρή παρεµβολή. Και τα δύο σήµατα θεωρούνται ότι είναι στενής ζώνης που µπορούν να διαχωριστούν στο χώρο των συχνοτήτων. Παρόλα αυτά δεν υπάρχει εκ των προτέρων ποσοτική πληροφορία που να µας βοηθήσει στον διαχωρισµό συχνότητας. Σε αυτή την περίπτωση θα χρειαστεί να σχεδιάσουµε ένα Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες

παράθυρο διαφοράς για να το χρησιµοποιήσουµε µε τη µέθοδο φασµατικής εκτίµησης Blackman-Tukey. Η εκτίµηση θα µας επιτρέψει να ανιχνεύσουµε την συχνότητα του χρήσιµου σήµατος. Στην εφαρµογή αυτή το κυριότερο πρόβληµα είναι ότι η δυνατή παρεµβολή µπορεί να καλύψει πλήρως το επιθυµητό σήµα (φαινόµενο leakage). Για να το αποφύγουµε αυτό θα προτιµήσουµε ένα παράθυρο που να δηµιουργεί έντονα το φαινόµενο smearing. Το φαινόµενο αυτό δεν θα έχει σηµαντική επίπτωση στην συγκεκριµένη εφαρµογή αφού τα σήµατα είναι καλά διαχωρισµένα στο χώρο των συχνοτήτων και άρα δεν θα επηρεάσει την ικανότητα µας να τα ανιχνεύσουµε. Το µόνο που θα κάνει είναι να περιορίσει την ακρίβεια µε την οποία θα εκτιµήσουµε τη συχνότητα του σήµατος. Μια καλή λύση µε βάση τον παραπάνω προβληµατισµό είναι να επιλέξουµε ένα φασµατκό παράθυρο ως εξής: W ( ω) = V ( ω) όπου V(ω) είναι ο DTFT µιας ακολουθίας [ υ (0),..., υ( Μ 1)] παράθυρο διαφοράς θα ορίζεται τότε ως εξής: w( k) = M 1 n= 0 * υ( n) υ ( n k). Το αντίστοιχο Ο παραπάνω ορισµός έχει το πλεονέκτηµα ότι εγγυάται το παράθυρο διαφοράς να είναι µη αρνητικό (positive semidefinite) πάντα. Το µόνο που θέλουµε τώρα είναι να ορίσουµε την ακολουθία {υ(κ)}. Για να µειώσουµε το φαινόµενο leakage όσο το δυνατόν περισσότερο θα πρέπει να ελαχιστοποιήσουµε την ενέργεια στους πλευρικούς λοβούς. Με άλλα λόγια θέλουµε να µεγιστοποιήσουµε την ενέργεια στον κύριο λοβό. ηλαδή: υ βπ βπ π π W ( ω) dω W ( ω) dω max όπου το β στα άκρα του ολοκληρώµατος του αριθµητή είναι µια παράµετρος που καθορίζει το ποσοστό smearing ή leakage. Όσο µεγαλύτερο το β τόσο λιγότερο leakage θα δηµιουργεί το βέλτιστο παράθυρο που παράγεται από την παραπάνω σχέση αλλά παράλληλα τόσο µειωµένη θα είναι και η φασµατική ανάλυση του παραθύρου. Τελικά µπορούµε να δείξουµε ότι για το βέλτιστο παράθυρο που ελαχιστοποιεί την σχετική ενέργεια στους πλευρικούς λοβούς η ακολουθία {υ(κ)} θα είναι το κυρίαρχο ιδιοδιάνυσµα (αυτό που συνδέεται µε την µέγιστη ιδιοτιµή) του πίνακα Γ που ορίζεται ως εξής: Γ = γ ] και γ = β sin c[( m n) βπ ] [ m n m n Συνοψίζοντας: Έστω βm το πλάτος του κύριου λοβού στα 3dB. 1. Η ανάλυση του Pˆ BT ( ω ) ~ β m. ιακύµανση του Pˆ BT ( ω ) ~ 1/ β m 3. Η επιλογή του β m βασίζεται στην ισορροπία που θέλουµε να διατηρήσουµε ανάµεσα στην ανάλυση και τη διακύµανση και το Ν. 4. Η επιλογή του σχήµατος του παραθύρου βασίζεται στο φαινόµενο leakage και το Ν. Πρακτικοί κανόνες: 1. Μ Ν/10. Το σχήµα του παραθύρου πρέπει να επιλεγεί ώστε: PˆBT ( ω) 0, ω 3. Το σχήµα του παραθύρου βασίζεται στα φαινόµενα smearing και leakage. Πέρα από την µέθοδο Blackman-Tukey υπάρχουν και άλλες µη παραµετρικοί µέθοδοι εκτίµησης φάσµατος όπως η µέθοδος Bartlett, η µέθδοδος Welch, και η Daniell. Όλες προσπαθούν να µειώσουν την διακύµανση µε τίµηµα όµως µια φτωχότερη ανάλυση..4.. Μέθοδος Bartlett Η ιδέα του Bartlett είναι σχετικά απλή. Για να µειώσει τις µεγάλες ταλαντώσεις του περιοδογράµµατος, διαιρεί τα διαθέσιµα δείγµατα x(n) από Ν παρατηρήσεις σε L=N/M µικρότερα δείγµατα x l ( n) = x(( l 1) M + n), l = 1,..., L µε Μ παρατηρήσεις το καθένα. Παρατηρήστε ότι δεν υπάρχει Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 3

αλληλεπικάλυψη. Μετά παίρνει το µέσο όρο των περιοδογραµµάτων που υπολογίζονται για καθένα από τα µικρότερα δείγµατα σε κάθε τιµή του ω. Με µαθηµατικούς όρους η µέθοδος περιγράφεται ως εξής: Παρατηρήσεις: 1.. Για µεγάλα Μ και L, Pˆ ˆ B ( ω) [ PB ( ω) χρησιµοποιώντας τετραγωνικό παράθυρο] 3. Αφού η µέθοδος λειτουργεί µε τµήµατα των δεδοµένων µήκους Μ η ανάλυση που θα µπορεί να πετύχει θα είναι τάξης 1/Μ. Συνεπώς η φασµατική ανάλυση θα είναι µειωµένη σε σύγκριση µε του περιοδογράµµατος κατά L. 4. Στον αντίποδα όµως η µέθοδος πετυχαίνει µείωση της διακύµανσης κατά το ίδιο παράγοντα L. 5. Ο συµβιβασµός ανάµεσα στην ανάλυση και τη διακύµανση κατά την επιλογή του M είναι προφανής. 6. Η εκτίµηση µε τη µέθοδο Bartlett είναι παρόµοια µε την εκτίµηση Blackman-Tukey όταν στην τελευταία χρησιµοποιείται τετραγωνικό παράθυρο: Μ 1 L ˆ jωk B ( ω) = rˆ m ( k) e. κ = ( Μ 1) L m= 1 P 1 Παρόλα αυτά η µέθοδος Bartlett έχει ελαφρώς µεγαλύτερη διακύµανση σε σχέση µε τη µέθοδο ΒΤ..4.3. Μέθοδος Welch Η µέθοδος Welch προκύπτει από τη µέθοδο Bartlett µε βελτίωση σε δύο θέµατα. Το πρώτο είναι ότι τα τµήµατα των δεδοµένων µπορούν να είναι αλληλο-επικαλυπτόµενα. Το δεύτερο είναι ότι στο κάθε τµήµα µπορεί να εφαρµοστεί κάποιο παράθυρο πριν τον υπολογισµό του περιοδογράµµατος. Με µαθηµατικούς όρους, έστω w(n) το παράθυρο που εφαρµόζεται στο τµήµα x l ( n) = x(( l 1) K + n), l = 1,..., S, n = 0,..., M 1 Αν το Κ=Μ τότε τα τµήµατα δεν είναι αλληλοεπικαλυπτόµενα και ο διαχωρισµός των δειγµάτων είναι ο ίδιος µε τη µέθοδος Bartlett. Συνήθως στη µέθοδος Welch η τιµή του Κ που συστήνεται είναι Κ=Μ/ (50% αλληλοεπικάλυψη), οπότε S M/N. Αν ορίσουµε την ισχύ του παραθύρου: τότε: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 4

Παρατηρήσεις: Αν τα τµήµατα αλληλοεπικαλύπτονται τότε θα έχουµε µεγαλύτερο S, και άρα µεγαλύτερο αριθµό εκτιµήσεων για να υπολογίσουµε τον µέσο όρο τους. Το ˆ ( ω) µπορούµε να δείξουµε ότι υπό λογικές προϋποθέσεις προσεγγίζει την εκτίµηση ΒΤ P W (υπό την προϋπόθεση το Ν να είναι αρκετά µεγάλο και το Κ Μ/ ώστε το S να είναι επαρκώς µεγάλο). Το ˆ ( ω) µπορεί να υπολογιστεί εύκολα και αποδοτικά µε τον FFT. Γι αυτό στην πράξη P W προτιµάται έναντι των άλλων µεθόδων. Θεωρητικά ο ΒΤ είναι προτιµότερος.4.4. Μέθοδος Daniell Όπως δείξαµε οι τιµές του περιοδογράµµατος που αντιστοιχούν σε διαφορετικές τιµές συχνότητας ω είναι ασυµπτωτικά ασυσχέτιστες τυχαίες µεταβλητές. Η κύρια ιδέα της µεθόδου Daniell είναι ότι οι µεγάλη διακύµανση της µεθόδου του περιοδογράµµατος θα µπορούσε να µειωθεί παίρνοντας το µέσο όρο του περιοδογράµµατος σε µικρά διαστήµατα κεντραρισµένα σε κάποια συγκεκριµένη συχνότητα ω. Στην πράξη η εκτίµηση της µεθόδου Daniell η οποία µπορεί να υπολογιστεί χρησιµοποιώντας τον FFT είναι η ακόλουθη: k + J P ˆ 1 D k = Pˆ π ~ ( ω ) p ( ω j ) όπου ω k = ~ k, k = 0,..., N 1 J + 1 j= k J Ν ~ και N >> N για να εξασφαλιστεί λεπτοµερής δειγµατοληψία του ˆ ( ω). Τα δείγµατα του περιοδογράµµατος µπορούν να υπολογιστούν για παράδειγµα χρησιµοποιώντας radix- FFT σε µία zero padded ακολουθία δεδοµένων. Η παράµετρος J στη µέθοδο του Daniell πρέπει να επιλεγεί επαρκώς µικρή ώστε να εγγυηθεί τη σταθερότητα του φάσµατος (PSD) στο διάστηµα: π ω ~ J, ω + ~ π J Ν Ν P ˆ ( ω) ˆ ( ω) Υπολογισµός του χρησιµοποιώντας το : D P p P p ~ Αν θέσουµε β = J / N τότε η παραπάνω εκτίµηση είναι µια διακριτή προσέγγιση της θεωρητικής έκδοσης της εκτιµήτριας Daniell που ορίζεται ως εξής: Σχηµατικά: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 5

Παρατηρήσεις: ˆ ( ω) P D Η εκτίµηση είναι µια ειδική περίπτωση της εκτίµησης BT µε παράθυρο διαφοράς τέτοιο ώστε το φασµατικό παράθυρο να είναι τετραγωνικό (rectangular) της ακόλουθης µορφής: Όσο µεγαλύτερο είναι το β τόσο µικρότερη η διακύµανση αλλά και φτωχότερη η ανάλυση. 3. Ειδικοί Τύποι Τυχαίων διαδικασιών Στο σηµείο αυτό θα αναφερθούµε σε ορισµένες τυχαίες διαδικασίες που είναι ιδιαίτερα χρήσιµες στη φασµατική εκτίµηση. Θα ξεκινήσουµε µε αυτές που µπορούν να δηµιουργηθούν φιλτράροντας λευκό θόρυβο σε ένα γραµµικό και χρονικά αναλλοίωτο φίλτρο του οποίου η συνάρτηση µεταφοράς έχει ρητή µορφή (πηλίκο). Οι βασικές οµάδες τέτοιων τυχαίων διαδικασιών περιλαµβάνουν τις: 1. autoregressive τυχαίες διαδικασίες (AR). κινούµενου µέσου όρου τυχαίες διαδικασίες (moving average (MA)) 3. autoregressive moving average τυχαίες διαδικασίες (ARMA) Αυτό που µας ενδιαφέρει είναι να βρούµε ποια είναι η µορφή της αυτοσυσχέτισης και της πυκνότητας φάσµατος ισχύος αυτών των διαδικασιών. Οι διαδικασίες αυτές είναι γενικά χρήσιµες σε εφαρµογές που τα σήµατα έχουν περιοδικές συνιστώσες. 3.1. Autoregressive Moving Average (ARMA) τυχαίες διαδικασίες Έστω ότι θέτουµε λευκό θόρυβο υ(t) ως σήµα εισόδου σε ένα αιτιατό, γραµµικό και χρονικά αναλλοίωτο φίλτρο y( t) = H( z) υ( t), όπου Η(z) είναι η συνάρτηση µεταφοράς του φίλτρου η οποία έχει την ακόλουθη µορφή: H ( z) B ( z) k q k= 0 = = p A ( z) p όπου p είναι ο βαθµός του πολυωνύµου στον παρανοµαστή και εκφράζει τον αριθµό των ριζών του που ονοµάζονται πόλοι, ενώ q είναι οι ρίζες του πολυωνύµου στον αριθµητή που ονοµάζονται µηδενικά. Θεωρώντας ότι το φίλτρο είναι ευσταθές, η διαδικασία εξόδου y(t) του φίλτρου θα είναι στάσιµη υπό την ευρεία έννοια. Έστω τώρα ότι ο λευκός θόρυβος που βάζουµε στην είσοδο έχει διακύµανση: var{ υ ( t)} = σ. Επειδή είναι ο θόρυβος είναι λευκός και µηδενικού µέσου υ αυτό σηµαίνει ότι είναι µια ακολουθία ασυσχέτιστων τυχαίων µεταβλητών και άρα r υ ( k) = σ υ δ ( k), οπότε το φάσµα ισχύος του θα είναι: Pυ ( z) = συ. Όπως είδαµε πιο πάνω το φάσµα ισχύος της διαδικασίας εξόδου y(t) που προκύπτει όταν φιλτράρουµε µια τυχαία διαδικασία µε κάποιο γραµµικό και χρονικά αναλλοίωτο φίλτρο συνδέεται µε το φάσµα ισχύος της διαδικασίας εισόδου και την συνάρτηση µεταφοράς (απόκριση συχνότητας) του φίλτρου ως * * εξής: P ( z) = P ( z) H ( z) H (1/ z ) ή P ( ω) P ( ω) H ( ω). y x y = Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 6 q 1 + x b k= 1 z a k k z k

Στο παραπάνω παράδειγµα λοιπόν το φάσµα ισχύος θα είναι: * * Βq ( z) Bq (1/ z ) Py ( z) = σ υ * * A ( z) A (1/ z ) ή µε όρους συχνότητας ω: Βq ( ω) Py ( ω) = συ A ( ω) p p p Μια τυχαία διαδικασία η οποία έχει φάσµα ισχύος της παραπάνω µορφής είναι ευρύτερα γνωστή ως autoregressive moving average διαδικασία τάξης (p,q) και αναφέρεται σε συντοµία ως ARMA(p,q) διαδικασία. Σηµειώστε ότι το φάσµα ισχύος µιας τέτοιας διαδικασίας περιέχει p πόλους και q µηδενικά. Ανά δύο οι πόλοι και τα µηδενικά έχουν αντίστροφη συζυγή µιγαδική συµµετρία, που σηµαίνει ότι αν η συνάρτηση µεταφοράς έχει ένα πόλο στο σηµείο z = τότε το φάσµα ισχύος * P y (z) θα έχει ένα πόλο στο σηµείο z = z 0 και άλλον ένα στο z = 1/ z. Το ίδιο θα ισχύει και για τα µηδενικά. Παράδειγµα: ARMA(,) διαδικασία Το φάσµα ισχύος µιας ARMA(,) τυχαίας διαδικασίας φαίνεται στην παρακάτω εικόνα. 0 z 0 Η διαδικασία αυτή δηµιουργήθηκε φιλτράροντας λευκό θόρυβο µε ένα γραµµικό και χρονικά αναλλοίωτο φίλτρο το οποίο έχει δύο πόλους και δύο µηδενικά. Τα µηδενικά του είναι στα σηµεία z = 0.95e ± jπ / z = 0.9e ± jπ /5 H(z) ενώ οι πόλοι είναι στα σηµεία. Με βάση τους πόλους και τα µηδενικά αυτά µπορούµε να βρούµε ότι η συνάρτηση µεταφοράς του φίλτρου θα έχει την ακόλουθη µορφή: Η 1 + 0.905z 1 0.556z + 0.81z ( z ) = 1 Παρατηρώντας την παραπάνω γραφική παράσταση βλέπουµε ότι υπάρχει µια κορυφή κοντά στο ω = 0. 4π εξαιτίας των πόλων στον παρανοµαστή και ένα σηµείο που µηδενίζεται το φάσµα, κοντά στο ω = 0. 5π λόγω των µηδενικών στον αριθµητή της συνάρτησης µεταφοράς. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 7