Στοχαστικά Σήµατα & Εφαρµογές Τυχαίες ιαδικασίες ιακριτού Χρόνου ιδάσκων: Ν. Παπανδρέου (Π.. 47/8) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής CEID 7-8 Τυχαίες Μεταβλητές: Ορισµοί Θεωρούµετοπείραµα της ρίψης ενός νοµίσµατος. Το πείραµα έχειδύοπιθανές εκβάσεις (αποτελέσµατα): Κ = "κορόνα" Γ = "γράµµατα" Θεωρούµε ότι οι δύο εκβάσεις του πειράµατος είναι ισοπίθανες, δηλαδή το νόµισµα µπορεί να δώσει Κ ή Γ µε την ίδια πιθανότητα. Έστω ότι καταµετρούµετασυνεχή αποτελέσµατα ρίψης του νοµίσµατος. Για παράδειγµα, ρίχνουµετονόµισµα Ν φορές, και έστω ότι µετράµε Ν Κ φορές κορόνα και Ν Γ φορές γράµµατα. K Γ Για µεγάλο αριθµό Ν αναµένουµε:.5 και.5 Πιθανότητα εµφάνισης Κ ή Γ : { } { Γ } Pr K =.5 και Pr =.5 CEID 7-8
Τυχαίες Μεταβλητές: Ορισµοί Ονοµάζουµετοσύνολοόλωντωνπειραµατικών αποτελεσµάτων ως δειγµατικό χώρο (samle sace) και συµβολίζουµεω: { Γ } { } Ω= K, και Pr Ω = Κάθε υποσύνολο του δειγµατικού χώρου ονοµάζεται ενδεχόµενο (event) και το συµβολίζουµεωςω. Ένα υποσύνολο που περιλαµβάνει µόνο ένα στοιχείο ονοµάζεται στοιχειώδες ενδεχόµενο (elementary event). Οδειγµατικός χώρος καλείται και βέβαιο ενδεχόµενο. { K} { Γ } ω = και ω = Εάν ένας δειγµατικός χώρος αποτελείται από n στοιχεία, τότε το πλήθος των υποσυνόλων είναι n : { },{ K},{ Γ},{ K, Γ} CEID 7-8 Τυχαίες Μεταβλητές: Ορισµοί Ορίζουµετηντυχαία µεταβλητή ως εξής: όταν το αποτέλεσµα τουπειράµατος = + είναι Κ, θέτουµε, ενώ όταν είναι Γ, θέτουµε. Ω { ±} K Γ f = + ηλαδή, ορίσαµε µια αντιστοίχηση (συνάρτηση) των στοιχείων του δειγµατικού χώρου Ω και ενός υποσυνόλου των πραγµατικών αριθµών. + αν ω = { K} = f( ω ) = και αν ω= { Γ } { } { } Pr =+ =.5 Pr = =.5 { } { } επιπλέον Pr =α =, όπου α ±, και Pr =± = CEID 7-8
Τυχαίες Μεταβλητές: Ορισµοί Άρα, για την τυχαία µεταβλητή, έχουµεωςπεδίο ορισµού ένα δειγµατικό χώρο, π.χ. αριθµών, π.χ. Ω= { K, Γ } { ±} ω= { =+ } ω = { = }, και ως πεδίο τιµών ένα υποσύνολο των πραγµατικών. Επειδή, ο δειγµατικός χώρος αποτελείται από διακριτά ενδεχόµενα και, ητυχαία µεταβλητή ονοµάζεται διακριτή τυχαία µεταβλητή. Επιπλέον, παρατηρούµεότιοχαρακτηρισµός µιας τυχαίας µεταβλητής δίνεται στατιστικά µέσω της ανάθεσης πιθανοτήτων (νόµος πιθανότητας) στις τιµές της µεταβλητής. ηλαδή, ονόµος πιθανοτήτων είναι ένας κανόνας, οοποίος αντιστοιχίζει έναν αριθµό (πιθανότητα) σε κάθε συµβάν. Ένας νόµος πιθανότητας πρέπει να ικανοποιεί τα παρακάτω αξιώµατα: { A} A Ω { Ω } = { } { } { } Pr Pr Pr A A = Pr A + Pr A A, A : A A = CEID 7-8 Τυχαίες Μεταβλητές: Ορισµοί Στην επεξεργασία σήµατος, δεν ενδιαφερόµαστε να χαρακτηρίσουµεστατιστικά κάποια συµβάντα, αλλά κυρίως να περιγράψουµε µεένανπιθανοτικό τρόπο (συνάρτηση) µια τυχαία µεταβλητή. ηλαδή ενδιαφερόµαστε για έναν πιθανοτικό νόµο, οοποίοςεφαρµόζεται κατευθείαν στην τυχαία µεταβλητή και όχι στα ενδεχόµενα ενός δειγµατικού χώρου. Ορίζουµετησυνάρτηση κατανοµής πιθανότητας (robability distribution function): Για το παράδειγµαρίψηςνοµίσµατος: F ( ) Pr a = { a} αν a < F ( a) =.5 αν a<+ αν + a Ορίζουµετησυνάρτηση πυκνότητας πιθανότητας (robability density function): d f( a) = F( a) da f ( a) da= Pr{ < } CEID 7-8
Τυχαίες Μεταβλητές: Μέσοι όροι Ονοµάζουµε µέση (mean) ή αναµενόµενη (eected) τιµή µιας διακριτής τυχαίας µεταβλητής που λαµβάνει µια τιµή α k µεπιθανότητα Pr { = a } k ως: {} = = Pr{ = } E m a a k k k + E{} = af( a) da Η µέση τιµή µιας συνάρτησης g() της τυχαίας µεταβλητής είναι: + Eg { ( )} = gaf ( ) ( ada ) Ονοµάζουµε µέση τετραγωνική τιµή (mean square value): E{ } Ονοµάζουµε διασπορά (variance) της τυχαίας µεταβλητής, ως τη µέση τετραγωνική τιµήτηςτυχαίαςµεταβλητής y= m : { } var( ) =σ = ( ) = + ( ) ( ) E m a m f a da CEID 7-8 Τυχαίες Μεταβλητές: Μέσοι όροι Η τετραγωνική ρίζα της διασποράς ονοµάζεται τυπική απόκλιση (standard deviation): σ Για τον τελεστή E{}, ισχύει η ιδιότητας της γραµµικότητας: Ea { + by} = ae { } + bey { } var( ) = E{( m) } = E{ + m m} = E + E E { } { m} { m} = E{ } + m = E { } m E{} m µέση τετραγωνική τιµή CEID 7-8
Τυχαίες Μεταβλητές: Από κοινού κατανοµές Όταν εµπλέκονται περισσότερες από µία µεταβλητές, τότε είναι απαραίτητο να λάβουµευπόψητιςστατιστικές εξαρτήσεις που υπάρχουν µεταξύ τους. Παράδειγµα: Έστω ότι έχουµεδύοτυχαίεςµεταβλητές και y Ορίζουµετηναπό κοινού συνάρτηση κατανοµής πιθανότητας (joint robability distribution function): { } F, ( a, a ) = Pr a, y a y y y Ορίζουµετηναπό κοινού συνάρτηση πυκνότητας πιθανότητας (joint robability density function): f ( a, a ) = F ( a, a ), y y, y y a ay CEID 7-8 Τυχαίες Μεταβλητές: Από κοινού µέσοι όροι Ορίζουµετησυσχέτιση (correlation) δύο τυχαίων µεταβλητών και y: ry = { } E y Ορίζουµετησυνδιασπορά (covariance) δύο τυχαίων µεταβλητών και y: { * } c = cov(, y) = E ( m )( y m ) y y CEID 7-8 { y } { my m mmy} { } {} my { } m cov( y, ) = E( m)( y m) = E y y + = E y E E y + m m = r m m y y y Αν m ή m y είναι µηδέν, τότε η συνδιασπορά ισούται µε τη συσχέτιση.
Τυχαίες Μεταβλητές: Από κοινού µέσοι όροι Ορίζουµετοσυντελεστή συσχέτισης (correlation coefficient) δύο τυχαίων µεταβλητών και y: cov( y, ) ρ = ρ σσ y y y Γενικά ορίζουµε τις ποσότητες: Ροπές: { k} { k} E Κεντρικές ροπές: E ( m ) Από κοινού ροπές: Τάξη (order): k r { } k r { y } E y k+ r Κεντρικές ροπές: E ( m ) ( y m ) {} E Άρα, η µέση τιµή είναι ροπή πρώτης τάξης, η µέση τετραγωνική τιµή E{ } είναι ροπή δεύτερης τάξης, η διασπορά E{ ( m ) } είναι κεντρική ροπή δεύτερης τάξης, ησυνδιασπορά * είναιαπό κοινού κεντρική ροπή δεύτερης τάξης. {( )( y) } E m y m CEID 7-8 Τυχαίες Μεταβλητές: Ανεξαρτησία, συσχέτιση και ορθογωνιότητα Όταν η τιµή µιας τυχαίας µεταβλητής δεν εξαρτάται από την τιµή µιας άλλης τυχαίας µεταβλητής y, τότε οι τυχαίες µεταβλητές και y ονοµάζονται στατιστικά ανεξάρτητες (statistically indeendent). ύο τυχαίες µεταβλητές και y είναι στατιστικά ανεξάρτητες αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι διαχωρίσιµηωςεξής: fy, ( ab, ) = f( a) f y( b) cov( y, ) = r EEy { } { } = y Ey { } = r = EEy { } { } y cov( y, ) ρ y = = σσ y ύο τυχαίες µεταβλητές και y που ικανοποιούν την παραπάνω σχέση ονοµάζονται ασυσχέτιστες (uncorrelated). CEID 7-8
Τυχαίες Μεταβλητές: Ανεξαρτησία, συσχέτιση και ορθογωνιότητα ύο τυχαίες µεταβλητής που είναι στατιστικά ανεξάρτητες είναι ασυσχέτιστες. Το αντίστροφο γενικά δεν ισχύει. Για τις ασυσχέτιστες τυχαίες µεταβλητές ισχύει η ιδιότητα: var( + y) = var( ) + var( y) ύο τυχαίες µεταβλητές και y ονοµάζονται ορθογώνιες (orthogonal) αν έχουν µηδενική συσχέτιση: r y = ύο τυχαίες µεταβλητές που είναι ορθογώνιες δεν είναι απαραίτητα ασυσχέτιστες. υο ασυσχέτιστες τυχαίες µεταβλητές, όπου η µία τουλάχιστον έχει µηδενική µέση τιµή είναι και ορθογώνιες. CEID 7-8 Τυχαίες Μεταβλητές: Gaussian Μια τυχαία µεταβλητή ονοµάζεται Gaussian ή κανονική (normal) τυχαία µεταβλητή όταν η συνάρτηση πυκνότητας πιθανότητας είναι: f( a) = e σ π ( a m ) σ Ησ.π.π. ορίζεται πλήρως αν γνωρίζουµετιςτιµές m, και. ρ y σ m σ όπου και είναι η µέση τιµή καιηδιασποράαντίστοιχα. ύο τυχαίες µεταβλητές ονοµάζονται από κοινού Gaussian τυχαίες µεταβλητές όταν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: fy, ( a, b) = e πσ σ ρ y y ( a m ) ( a m)( b my) ( b my) ρ y + ( ρy ) σσ σ y σy όπου ρ y είναι ο συντελεστής συσχέτισης. CEID 7-8
Τυχαίες Μεταβλητές: Gaussian Ιδιότητα: Αν και y είναι από κοινού Gaussian τυχαίες µεταβλητές, τότε για κάθε σταθερά a και b ητυχαίαµεταβλητή z = a + by είναι Gaussian µε µέση τιµή και διασπορά: mz = am + bmy σ = a σ + b σ + abσ σ ρ z y y y Ιδιότητα: Αν δύο από κοινού Gaussian τυχαίες µεταβλητές και y είναι ασυσχέτιστες, δηλαδή ρ y =, τότε είναι και στατιστικά ανεξάρτητες, δηλαδή. f ( ab, ) = f ( a) f ( b) y y Ιδιότητα: Αν και y είναι από κοινού Gaussian τυχαίες µεταβλητές, τότε ο βέλτιστος µη γραµµικός εκτιµητής για το y, δηλαδή yˆ = g( ), οοποίος ελαχιστοποιεί το µέσο τετραγωνικό σφάλµα ξ= E{( y yˆ ) } είναι ένας γραµµικός εκτιµητής:. ŷ = a+ b cov(, y) CEID 7-8 Τυχαίες Μεταβλητές: Gaussian f ( ) a robability density function.4. πσ var= var=4-5 5 5 m = 5 CEID 7-8
Τυχαίες Μεταβλητές: Εκτίµηση παραµέτρων Στην επεξεργασία σήµατος χρειάζεται συχνά να εκτιµήσουµε την τιµή µιας άγνωστης παραµέτρου ενός σήµατος από ένα σύνολο παρατηρήσεων, τις οποίες χειριζόµαστε ως δείγµατα µιας τυχαίας µεταβλητής. Εφόσον η εκτίµηση θα είναι τελικά µια συνάρτηση των παρατηρήσεων, ηίδιαηεκτίµηση είναι επίσης µια τυχαία µεταβλητή. Εποµένως, για την αξιολόγηση ενός εκτιµητή (συνάρτηση εκτίµησης), είναι σηµαντικό να χαρακτηρίσουµετιςστατιστικές του ιδιότητες. Έστω ότι θέλουµεναεκτιµήσουµετηντιµή µιας παραµέτρου θ από µια ακολουθία τιµών (τυχαίες µεταβλητές) n για n =,,,. Συµβολίζουµετον εκτιµητή της παραµέτρου ως θˆ όρο ίση µετηνπραγµατική τιµή. ηλαδή θέλουµεητιµή. Γενικά, θέλουµε η εκτίµηση να είναι κατά µέσο E{ θˆ } να ισούται µεθ. Ονοµάζουµετηδιαφοράανάµεσα στην πραγµατική και τη µέση εκτιµώµενη τιµήωςστατιστική απόκλιση (bias) και συµβολίζουµε: ˆ { } B = θ Ε θ CEID 7-8 Τυχαίες Μεταβλητές: Εκτίµηση παραµέτρων Αν η απόκλιση είναι µηδενική, δηλαδή, τότε ο εκτιµητής ονοµάζεται αµερόληπτος (unbiased). θˆ lim Εθ { ˆ } =θ Ε{ θ ˆ } =θ Αν o εκτιµητής δεν είναι αµερόληπτος, όµως η απόκλιση τείνει στο µηδέν καθώς το πλήθος των παρατηρήσεων τείνει στο άπειρο, τότε ο εκτιµητής ονοµάζεται ασυµπτωτικά αµερόληπτος (asymtotically unbiased): Από µόνη της η ιδιότητα της αµεροληψίας ή ασυµπτωτικής αµεροληψίας ενός εκτιµητή, δεν εξασφαλίζει τη σύγκλιση της εκτίµησης στην πραγµατική τιµή (την εξασφαλίζει µόνο κατά µέσο όρο). ηλαδή, δεν εξασφαλίζει ότι η ακρίβεια της µέτρησης βελτιώνεται καθώς ο αριθµός των παρατηρήσεων αυξάνει. Για να συµβαίνει αυτό, θα πρέπει η διασπορά της εκτίµησης να τείνει στο µηδέν, καθώς το πλήθος των παρατηρήσεων τείνει στο άπειρο: ˆ ˆ ˆ lim var( θ ) = lim E{( θ E{ θ }) } = CEID 7-8
Τυχαίες Μεταβλητές: Εκτίµηση παραµέτρων Για έναν αµερόληπτο εκτιµητή ισχύει η παρακάτω ανισότητα του Chebyshev: ˆ ˆ var( θ ) Pr{ θ θ <ε} ε ηλαδή, αν η διασπορά της εκτίµησης τείνει στο µηδέν για, τότε η ποσότητα στο δεύτερο µέρος της παραπάνω ανισότητας τείνει στο µηδέν για οποιαδήποτε τιµή ε, και συνεπώς, ηπιθανότηταναδιαφέρειηεκτίµηση περισσότερο από ε από την πραγµατική τιµή τείνει επίσης στο µηδέν. θˆ Ένας εκτιµητής ονοµάζεται συνεπής (consistent) αν είναι ασυµπτωτικά αµερόληπτος, δηλαδή lim Εθ { ˆ } =θ lim var( θ ˆ ) = το Ν τείνει στο άπειρο, δηλαδή., και η διασπορά τείνει στο µηδέν καθώς CEID 7-8 Τυχαίες Μεταβλητές: Εκτίµηση παραµέτρων Παράδειγµα: Εκτιµητής µέσης τιµής (samle mean) Έστω η τυχαία µεταβλητή µε µέση τιµή και διασπορά. Θεωρούµεένα σύνολο από παρατηρήσεις της τυχαίας µεταβλητής, τιςοποίεςθεωρούµε m ασυσχέτιστες. Συµβολίζουµε τις παρατηρήσεις n. σ Κατασκευάζουµε τον ακόλουθο εκτιµητή για τη µέση τιµή: mˆ = n = n Υπολογίζουµετηµέση τιµή του εκτιµητή: Em { ˆ } = E{ } = E { } = m = m n n n= n= n= Οεκτιµητής είναι αµερόληπτος. CEID 7-8
Τυχαίες Μεταβλητές: Εκτίµηση παραµέτρων Υπολογίζουµε τη διασπορά του εκτιµητή: var( mˆ ˆ ˆ ) = E{( m E{ m}) } = E{( n m) } n= = E{ } nm m n + m n= m= n= = { } { } E n m m En + m n= m= n= = [ E { n m } + E { n} ] m + m n= m=, m n n= uncorrelated E { = [( ) n} m m + E{ n}] m = E { n} m σ = = lim var( mˆ ) = Οεκτιµητής είναι συνεπής. CEID 7-8 Τυχαίες ιαδικασίες: Ορισµοί Ορίζουµεωςτυχαία διαδικασία (random rocess) ή στοχαστική διαδικασία (stochastic rocess) ή τυχαίο σήµα (random signal) µια συλλογή από σήµατα, δηλαδή συναρτήσεις στο χρόνο, τα οποία αντιστοιχούν σε διαφορετικά αποτελέσµατα ενός πειράµατος. Ω= { ω} M ω i i= i Pr{ } ηλαδή, δοθέντος ενός δειγµατικού χώρου, σε κάθε συµβάν tω (; i ) αντιστοιχεί ένα σήµα το οποίο έχει πιθανότητα. Παράδειγµα : Θεωρούµετοπείραµα ρίψηςενόςζαριού. Ηέκβασητουπειράµατος είναι ο αριθµός του ζαριού, συνεπώς ισοπίθανα, δηλαδή διαδικασία: Ω = {,, 3,4, 5, 6} Pr ω= i = / 6 { }. Θεωρούµε όλα τα αποτελέσµατα για κάθε i =,,3,4,5,6. Ορίζουµετηντυχαία t (; i) Asin( fct i) όπου π π ω = π +φ φ i = Pr{ φ i = } = i ω ω 6 i ω i i CEID 7-8
Τυχαίες ιαδικασίες: Ορισµοί amlitude.5 hi=8 hi=9 hi=6 hi=45 hi=36 hi=3 t (; ω ) = Asin( π f t +φ ) i c i -.5 A = ; % amlitude (Volt) f c = ; % frequency (Hz) -.5..5. time CEID 7-8 Τυχαίες ιαδικασίες: Ορισµοί tω (; i ) Κάθε µια από τις συναρτήσεις ονοµάζεται συνάρτηση δείγµα (samle function) ή πραγµατοποίηση (realization) της τυχαίας διαδικασίας. Για κάθε χρονική στιγµή, έχουµε Ν διαφορετικές πιθανές τιµές. Οι τιµές αυτές συµβολίζονται γενικά και αποτελούν στην ουσία µια τυχαία µεταβλητή. ηλαδή, σε κάθε χρονική στιγµή, ητιµή µιας τυχαίας διαδικασίας είναι µια τυχαία µεταβλητή. t t ( ) t ( ; ω i ) Άρα, µια τυχαία διαδικασία είναι µια ακολουθία από τυχαίες µεταβλητές., { t ( ), t ( ), t ( ), } { t (), t D}, και γενικά γράφουµε. Όταν αναφερόµαστε σε τυχαίες διαδικασίες διακριτού χρόνου το σύνολο D ταυτίζεται { n} ( ) n = µε το σύνολο των ακεραίων και γράφουµε. CEID 7-8
Τυχαίες ιαδικασίες: Ορισµοί.5 X (3) hi=8 hi=9 hi=6 hi=45 hi=36 hi=3 amlitude X ( n) = Asin( π f nt +φ) c s -.5 A = ; % amlitude (Volt) f c = ; % frequency (Hz) - 4 6 8 samles CEID 7-8 Τυχαίες ιαδικασίες: Ορισµοί Συνεπώς, µια διακριτή τυχαία διαδικασία είναι µια αντιστοίχηση των στοιχείων ενός δειγµατικού χώρου (εκβάσεις ενός πειράµατος) σε µια συλλογή από σήµατα διακριτού χρόνου (ακολουθίες διακριτών τυχαίων µεταβλητών). Ω ( n) ω ω i f i ( n) n ( ) n ( ) n ( )... ακολουθία τυχαίων µεταβλητών CEID 7-8
Τυχαίες ιαδικασίες: Ορισµοί Σε κάθε τυχαία µεταβλητή της ακολουθίας αντιστοιχεί µια συνάρτηση κατανοµής πιθανότητας και µια συνάρτηση πυκνότητας πιθανότητας: ( ) Pr ( ) { ( ) d Fn a = n a} fn ( )( a) = Fn ( )( a) da Για να χαρακτηρίσουµε πλήρως την τυχαία διαδικασία χρειαζόµαστε την από κοινού συνάρτηση κατανοµής (ήπυκνότητας) πιθανότητας: { } F ( a, a,, a ) = Pr ( n ) a, ( n ) a,, ( n ) a ( n ), ( n ),, ( n ) Μας δίνει πληροφορία για το πως οι τυχαίες µεταβλητές συνδέονται µεταξύ τους. CEID 7-8 Τυχαίες ιαδικασίες: Μέσοι όροι συνόλων Ορίσαµε την τυχαία διαδικασία ως µια αριθµηµένη ακολουθία τυχαίων µεταβλητών { n} ( ) n =. Συνεπώς, για κάθε n µπορούµε να υπολογίσουµετη n ( ) µέση τιµή και τη διασπορά της τυχαίας µεταβλητής. Ορίζουµεωςµέσο όρο της τυχαίας διαδικασίας την ντετερµινιστική ακολουθία: m ( ) { ( )} n = E n Ορίζουµεωςδιασπορά της τυχαίας διαδικασίας την ντετερµινιστική ακολουθία: σ ( n) = E{[ ( n) m ( n)] } Παρατηρούµεότι η µέση τιµήκαιη διασπορά εξαρτώνται από το n. CEID 7-8
Τυχαίες ιαδικασίες: Μέσοι όροι συνόλων.5 X (3) hi=8 hi=9 hi=6 hi=45 hi=36 hi=3 amlitude -.5 m ( ) { ( )} n = E n - 4 6 8 samles CEID 7-8 Τυχαίες ιαδικασίες: Μέσοι όροι συνόλων Ορίζουµετησυνάρτησηαυτοσυσχέτισης (autocorrelation) µιας τυχαίας διαδικασίας: (, ) { ( ) r ( )} k l = E k l Ορίζουµετησυνάρτησηαυτοσυνδιασποράς (autocovariance) µιας τυχαίας διαδικασίας: c k l E k m k l m l * (, ) = {[ ( ) ( )][ () ()]} c ( k, l) = E{[ ( k) µ ( k)][ ( l) µ ( l)]} = Ek {() () l k () m ( l) m ( k) () l+ m ( k) m ( l) } = Ek { ( ) ( l)} Ek { ( )} m ( l) m ( k) E { ( l)} + m ( k) m ( l) = r ( k, l) m ( k) m ( l) Αν m (n) =, τότε η αυτοσυνδιασπορά ισούται µε την αυτοσυσχέτιση. CEID 7-8
Τυχαίες ιαδικασίες: Μέσοι όροι συνόλων Ορίζουµετησυνάρτησηετεροσυσχέτισης (cross-correlation) µεταξύ δύο τυχαίων διαδικασιών (n) και y(n): (, ) { ( ) r ( )} y k l = E k y l Ορίζουµετησυνάρτησηετεροσυνδιασποράς (cross-covariance) µεταξύ δύο τυχαίων διαδικασιών (n) και y(n): c k l = E k m k y l m l = r ( k, l) m ( k) m ( l) * y(,) {[ ( ) ( )][ () y()]} y y (, ) cy k l = r ( k, l) = m ( k) m ( l) Όταν, δηλαδή για κάθε k και l, τότε οι y y δύο τυχαίες διαδικασίες ονοµάζονται ασυσχέτιστες (uncorrelated). r (, ) y k l = Όταν για κάθε k και l, τότε οι δύο τυχαίες διαδικασίες ονοµάζονται ορθογώνιες (orthogonal). CEID 7-8 Τυχαίες ιαδικασίες: Μέσοι όροι συνόλων Παράδειγµα : n ( ) un ( ) y( n) Θεωρούµετοσήµα (n) το οποίο παραµορφώνεται από προσθετικό θόρυβο u(n). Γενικά, ο θόρυβος µοντελοποιείται ως µια τυχαία διαδικασία. Επίσης, θεωρούµε ότι ο θόρυβος έχει µηδενική µέση τιµή και ότι είναι ασυσχέτιστος µε τοσήµα yn ( ) = n ( ) + un ( ) εισόδου (n). Η έξοδος είναι. r ( k, l) = E{ y( k) y ( l)} = E{[ ( k) + u( k)][ ( l) + u( l)] } y = E{[ ( k) + u( k)][ ( l) + u ( l)]} = E{ ( k) ( l) + ( k) u ( l) + u( k) ( l) + u( k) u ( l)} = E{() k ()} l + E{() k u ()} l + E{() u k ()} l + E{() u k u ()} l r (, ) k l ru ( k, l) r ( k, l) = m ( k) m ( l) = u u CEID 7-8
Τυχαίες ιαδικασίες: Gaussian Έστω ένα διάνυσµα από (πραγµατικές) τυχαίες µεταβλητές: = [,,, ] T Το διάνυσµα ονοµάζεται Gaussian τυχαίο διάνυσµακαιοιτυχαίεςµεταβλητές n ονοµάζονται από κοινού Gaussian τυχαίες µεταβλητές, αν η από κοινού συνάρτηση πυκνότητας πιθανότητας είναι: f ( ) = ( π) / C e ( ) T m C ( m ) όπου m = [ m, m,, m ] τυχαίων µεταβλητών n, T C είναι το διάνυσµα µε στοιχεία τη µέση τιµή των είναι ένας συµµετρικός πίνακας θετικά ορισµένος µε στοιχεία τις τιµές συνδιασποράς µεταξύ των τυχαίων µεταβλητών n, ci, j= E{( i mi)( j mj)} C δηλαδή και είναι η ορίζουσα του πίνακα. Μια τυχαία διαδικασία διακριτού χρόνου ονοµάζεται Gaussian, αν κάθε ακολουθία δειγµάτων (n) της τυχαίας διαδικασίας είναι από κοινού Gaussian τυχαίες µεταβλητές. CEID 7-8 Τυχαίες ιαδικασίες: Στασιµότητα Ηέννοιατηςστασιµότητας µιας τυχαίας διαδικασίας συνδέεται µε την έννοια της "στατιστικής χρονικής σταθερότητας", δηλαδή όταν οι στατιστικές ιδιότητες ή οι µέσοι όροι συνόλων της τυχαίας διαδικασίας είναι ανεξάρτητες του χρόνου. Όταν η συνάρτηση πυκνότητας πιθανότητας f ( ) n ( ) a µιας τυχαίας διαδικασίας (n) είναι ανεξάρτητη του χρόνου, δηλαδή: f ( a) = f ( a), k n ( ) n ( + k) τότε η διαδικασία ονοµάζεται στάσιµη (stationary) διαδικασία πρώτης τάξης. m ( n) = m και σ ( n) =σ CEID 7-8
Τυχαίες ιαδικασίες: Στασιµότητα Όταν η από κοινού συνάρτηση πυκνότητας πιθανότητας fn ( είναι ), n ( ) ( a, a) ανεξάρτητη του χρόνου, δηλαδή: f ( a, a ) = f ( a, a ), k n ( ), n ( ) n ( + k), n ( + k) τότε η διαδικασία (n) ονοµάζεται στάσιµη διαδικασία δεύτερης τάξης. r ( k, l) r ( k n, l n) E{ ( k) = + + ( l)} = E{ ( k+ n) ( l+ n)} r ( k, l) = r ( n, n ( k l)) r ( k l) ηλαδή, η αυτοσυσχέτιση εξαρτάται µόνο από τη διαφορά k l ονοµάζεται lag., η οποία Αν µία διαδικασία είναι στάσιµη δεύτερης τάξης, τότε είναι και πρώτης τάξης. CEID 7-8 Τυχαίες ιαδικασίες: Στασιµότητα Παρατηρούµεότι: r ( k, l) = r ( k l,) r ( k l) c ( k, l) = r ( k, l) m ( k) m ( l) = r ( k l) m ( k) m ( l) = r ( k l) m m c ( k l) r ( k, l) = r ( k+ n, l+ n) = Ek {( + n ) ( l+ n)} = En { ( ) ( n ( k l))} = r ( k l) Ηδιαδικασία είναι στάσιµη ης τάξης. Συνεπώς, είναι και στάσιµη ης τάξης. Άρα και η συνδιασπορά εξαρτάται µόνο από το lag. c () = r () m m = E{ ( n) ( n)} m m = E n m =σ n { ( ) } ( ) CEID 7-8
Τυχαίες ιαδικασίες: Στασιµότητα Γενικά, ορίζουµεότιµια διαδικασία είναι στάσιµη L τάξης όταν οι διαδικασίες (n) και (n+k) έχουν τις ίδιες από κοινού συναρτήσεις πυκνότητας πιθανότητας L τάξης. Μία διαδικασία που είναι στάσιµη γιαόλες τις τάξεις L >, ονοµάζεται αυστηρά στάσιµη (stationary in the strict sense). Πολύ αυστηρή συνθήκη, που σπάνια συναντάται σε πρακτικά προβλήµατα. Μίαδιαδικασίαονοµάζεται στάσιµη υπό την ευρεία έννοια (WSS: wide sense stationary), αν ικανοποιούνται οι εξής τρεις συνθήκες: Η µέση τιµήείναιµία σταθερά, ανεξάρτητη του χρόνου: Η αυτοσυσχέτιση εξαρτάται µόνο από τη χρονική διαφορά. Η διασπορά είναι πεπερασµένη: m ( n) = m r (, ) k l k l c () < CEID 7-8 Τυχαίες ιαδικασίες: Στασιµότητα Παρατηρείστε ότι οι παραπάνω συνθήκες αφορούν στατιστικά πρώτης και δεύτερης τάξης µόνο. Για Gaussian τυχαίες διαδικασίες, ηστασιµότητα υπό την ευρεία έννοια είναι ισοδύναµη µε την αυστηρή στασιµότητα. ύο τυχαίες διαδικασίες και y ονοµάζονται από κοινού WSS αν κάθε µια είναι WSS και επιπλέον η συνάρτηση ετεροσυσχέτισης r ( εξαρτάται µόνο από y k, l ) τη διαφορά δηλαδή: k l r ( k, l) = r ( k+ n, l+ n) r ( k l) y y y CEID 7-8
Τυχαίες ιαδικασίες: Στασιµότητα r ( ) k Η συνάρτηση αυτοσυσχέτισης µιας WSS διαδικασίας παρουσιάζει τις ακόλουθες ιδιότητες: Ιδιότητα : Συµµετρία r ( k) = r ( k) Ιδιότητα : Μέση τετραγωνική τιµή r E n () = { ( ) } Ιδιότητα 3: Μέγιστη τιµή r ( k) r () Ιδιότητα 4: Περιοδικότητα Αν ισχύει για κάποια τιµή k, r ( k ) = r () τότε η συνάρτηση αυτοσυσχέτισης είναι περιοδική µε περίοδοk. CEID 7-8 Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης Έστω ένα σύνολο από παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή έστω ότι λαµβάνουµετις + τιµές: (), (),, (). Κατασκευάζουµετοδιάνυσµα: = [ ] () () ( ) T Στη συνέχεια κατασκευάζουµετονπίνακα: H H () () = () () ( ) ( ) () () () () () ( ) () () () () () ( ) = ( ) () ( ) () ( ) ( ) CEID 7-8
Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης Θεωρούµεότιητυχαίαδιαδικασία είναι WSS: E {() ()} E {() ()} E {() ( )} H E { () ()} E { () ()} E { () ( )} E{ } = E {( ) ()} E {( ) ()} E {( ) ( )} r() r( ) r( ) H r() r() r( ) E{ } = r( ) r( ) r() Ek {() ()} l = r( k l) CEID 7-8 Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης r() r( ) r( ) H r() r() r( ) E{ } = r( ) r( ) r() r ( n) = r ( n) r ( n) = r ( n) Ιδιότητα Hermitian συµµετρίας r () r() r() r ( ) r() r() r () r ( ) H E{ } = r() r( ) r() r ( ) = r ( ) r ( ) r ( ) r () R Ο πίνακας R ονοµάζεται πίνακας αυτοσυσχέτισης (autocorrelation matri). CEID 7-8
Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης Οµοίως ορίζουµετονπίνακααυτοσυνδιασποράς (autocovariance matri). όπου m H C = E{( m )( m ) } = R m m WSS διαδικασίας: H είναι διάνυσµα + θέσεων µε στοιχεία τη µέση τιµή (σταθερά) της m m m m = = R Όταν η διαδικασία έχει µηδενική µέση τιµή ισχύει: C CEID 7-8 Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης Ο πίνακας αυτοσυσχέτισης µιας WSS διαδικασίας έχει τις ακόλουθες ιδιότητες: R R H Ιδιότητα : Είναι Hermitian και Toelitz. r() r () r( ) r() r() r ( ) = r( ) r( ) r() ( r ()) ( r ()) ( r ( ) ) r() r() r( ) ( r ( ) ) ( r ()) ( r ( ) ) r() r() r( ) = = = R ( r ( )) ( ( ) ) ( ()) r ( ) ( ) () r r r r r () = r () CEID 7-8
Τυχαίες ιαδικασίες: Πίνακας αυτοσυσχέτισης r ( ) r () r ( ) r ( ) r () r () r ( ) r ( ) R = R = Toe () () ( ) r ( ) r ( ) r () r () r ( ) r ( ) r () r () [ r r r ] Ιδιότητα : Είναι µη αρνητικά ορισµένος: R Ιδιότητα 3: Οι ιδιοτιµές του είναι πραγµατικές και µη αρνητικές: λk CEID 7-8 Τυχαίες ιαδικασίες: Εργοδικότητα Η µέση τιµή καιηαυτοσυσχέτισηµιας τυχαίας διαδικασίας αποτελούν στατιστικούς µέσους όρους που αναφέρονται σε όλες τις συναρτήσεις δείγµατα (πραγµατοποιήσεις) της διαδικασίας. Ωστόσο, στην πράξη έχουµε διαθέσιµο ένα σύνολο παρατηρήσεων από µία µόνο πραγµατοποίηση της διαδικασίας, και από τις παρατηρήσεις αυτές καλούµαστε να εκτιµήσουµε τα παραπάνω µεγέθη. Έστω µια τυχαία διαδικασία για την οποία έχουµε µια συλλογή από L υλοποιήσεις, δηλαδή σήµατα διακριτού χρόνου i (n) για i =,,,L. Στην περίπτωση αυτή θα µπορούσαµε νακάνουµε µια εκτίµηση της µέσης τιµής ως εξής: L mˆ ( n) = ( n) εξαρτάται από το n L i = i CEID 7-8
Τυχαίες ιαδικασίες: Εργοδικότητα ( n) ( n) ( ) L n n L mˆ ( n ) = ( n ) i L i = CEID 7-8 Τυχαίες ιαδικασίες: Εργοδικότητα Όταν όµως έχουµε διαθέσιµη µόνο µία πραγµατοποίηση της τυχαίας διαδικασίας, η παραπάνω εκτίµηση δεν έχει νόηµα. Επειδή, έχουµε διαθέσιµες Ν παρατηρήσεις της τυχαίας διαδικασίας, δηλαδή Ν δείγµατα της συγκεκριµένης υλοποίησης, µια εκτίµηση της µέσης τιµής είναι η ακόλουθη: mˆ ( ) = ( n) n = εξαρτάται από το Ν 3... mˆ ( ) n ( ) Γιαναέχεινόηµα ο εκτιµητής θα πρέπει η µέση τιµή της διαδικασίας να µην εξαρτάται από το n. Για παράδειγµα, αν η διαδικασία είναι WSS, τότε είναι. m ( n) = m CEID 7-8
Τυχαίες ιαδικασίες: Εργοδικότητα mˆ ( ) Το ερώτηµα πουδηµιουργείται είναι αν ο µέσος όρος συγκλίνει στην πραγµατική µέση τιµή. mˆ ( ) Αν ο δειγµατικό µέσος όρος µιας WSS διαδικασίας συγκλίνει στην πραγµατική µέση τιµή υπό την έννοια των µέσων τετραγώνων, τότε η διαδικασία καλείται εργοδική ως προς τη µέση τιµή (ergodic in the mean). ˆ lim E{ m( ) m } = lim mˆ ( ) = m Ικανή και αναγκαία συνθήκη είναι ο εκτιµητής να είναι συνεπής, δηλαδή: Οεκτιµητής να είναι ασυµπτωτικά αµερόληπτος: lim Ε { mˆ ( )} = m Η διασπορά της εκτίµησης να τείνει στο µηδέν καθώς : lim var( mˆ ( )) = CEID 7-8 Τυχαίες ιαδικασίες: Εργοδικότητα mˆ ( ) Από τον ορισµό τουεκτιµητή προκύπτει ότι ο εκτιµητής είναι αµερόληπτος (άρα και ασυµπτωτικά αµερόληπτος). Αποδεικνύεται ότι: k var( mˆ ( )) = c( k) k= + Για να ισχύει και η δεύτερη συνθήκη αρκεί: k lim c( k) = k= + Θεώρηµα : Ικανή και αναγκαία συνθήκη για να είναι η WSS τυχαία διαδικασία (n) µε συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς τη µέση τιµήείναι: lim c( k) = k= Θεώρηµα : Ικανές συνθήκες για να είναι η WSS τυχαία διαδικασία (n) µε συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς τη µέση τιµήείναι: c () < και lim c ( k) = CEID 7-8 k
Τυχαίες ιαδικασίες: Εργοδικότητα Αντίστοιχα, θέλουµε να εξετάσουµετηνεκτίµηση της αυτοσυσχέτισης για µια WSS διαδικασία, ( ) { ( ) r ( )} k = E n n k. Θεωρούµετονεκτιµητή: rˆ ( k, ) = ( n) ( n k) rˆ ( k, ) n= Αν η εκτίµηση συγκλίνει στην πραγµατική τιµή υπό την έννοια των µέσων τετραγώνων, τότε η διαδικασία καλείται εργοδική ως προς την αυτοσυσχέτιση (autocorrelation ergodic). ˆ lim E{ r( k, ) r( k) } = lim rˆ ( k, ) = r( k) r ( ) k Θεώρηµα 3: Ικανή και αναγκαία συνθήκη για να είναι η WSS Gaussian τυχαία διαδικασία (n) µε συνάρτηση αυτοσυνδιασποράς c (k) εργοδική ως προς την CEID 7-8 αυτοσυσχέτιση είναι: lim c ( k) = k= Τυχαίες ιαδικασίες: Φάσµα ισχύος Ονοµάζουµε φασµατική πυκνότητα ισχύος (ower sectral density) ή φάσµα ισχύος (ower sectrum) µιας τυχαίας διαδικασίας (n) το µετασχηµατισµό Fourier διακριτού χρόνου της συνάρτησης αυτοσυσχέτισης: + ω jkω j P( e ) = r( k) e k= Το φάσµα ισχύοςεκφράζει την κατανοµή της ισχύος της τυχαίας διαδικασίας στις διάφορες συχνότητες. +π jω jkω r( k) = P( e ) e dω π π Χρησιµοποιώντας το µετασχηµατισµό Z, ο ορισµός για το φάσµα ισχύοςείναι: + P() z = r() k z k= k CEID 7-8
Τυχαίες ιαδικασίες: Φάσµα ισχύος Το φάσµα ισχύοςµιας WSS διαδικασίας έχει τις ακόλουθες ιδιότητες: Ιδιότητα : Συµµετρία. jω jω P( e ) = P ( e ) Το φάσµαέχει πραγµατικές τιµές. Ιδιότητα : Θετικές τιµές. P( e jω ) Ιδιότητα 3: Συνολική ισχύς µιας WSS διαδικασίας µηδενικής µέσης τιµής. jω E{ n ( ) } = P ( e ) dω π +π π Ιδιότητα 4: Οι ιδιοτιµές του πίνακα αυτοσυσχέτισης µιας WSS διαδικασίας µηδενικής µέσης τιµής φράσσονται άνω και κάτω από τη µέγιστη και την ελάχιστη τιµή τουφάσµατος: jω jω min P( e ) λ ma P( e ) ω i ω CEID 7-8 Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών r ( ). k Έστω (n) µια τυχαία διαδικασία WSS µε µέση τιµή και αυτοσυσχέτιση Το διακριτό σήµα (n) διέρχεται από ένα ευσταθές ΓΧΑ σύστηµα µε κρουστική απόκριση h(n). ( n ) hn ( ) yn ( ) m Θέλουµεναµελετήσουµε τα στατιστικά χαρακτηριστικά (µέση τιµή, διασπορά, αυτοσυσχέτιση, φάσµα ισχύος) του σήµατος εξόδου. Καταρχήν, το σήµα εξόδουy(n) είναι τυχαία διαδικασία: προκύπτει ως µία συνάρτηση της τυχαίας διαδικασίας (n): y( n) = g[ n ( )] = n ( ) hn ( ) = hkn ( ) ( k) συνέλιξη + k= CEID 7-8
Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Υπολογίζουµετηµέση τιµή της εξόδου: + + E{ y( n)} = E{ hkn ( ) ( k)} = hken ( ) { ( k)} k= k= + + + = hkm ( ) = m hk ( ) = m hke ( ) k= k= k= WSS διαδικασία, άρα ανεξάρτητο του n-k jk jω = mhe ( ) ω= = ιαπιστώνουµεότι, η µέση τιµή της εξόδου είναι σταθερά (ανεξάρτητη του n) και σχετίζεται µε τηµέση τιµή τηςεισόδουµέσω ενός πολλαπλασιαστικού παράγοντα, ο οποίος είναι η απόκριση συχνότητας του συστήµατος στη συχνότητα ω =. CEID 7-8 Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Υπολογίζουµετηνετεροσυσχέτιση µεταξύ εξόδου και εισόδου: r ( k,) l = E{ y( k) ()} l = E{[ h( m)( k m)] ()} l y = hmek ( ) { ( m ) ( l)} = h( mr ) ( k m l) m= = hmr ( ) ( k l m) m= + m= + + + m= WSS διαδικασία, άρα εξαρτάται από τη διαφορά k-m-l ιαπιστώνουµεότι, η ετεροσυσχέτιση εξαρτάται από τη διαφορά k-l. Αν k - l = n, τότε: + r ( l+ n, l) = h( m) r ( n m) = h( n) r ( n) y m= r ( l+ n, l) r ( n) = h( n) r ( n) y y CEID 7-8
Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Υπολογίζουµετηναυτοσυσχέτιση της εξόδου: r ( n+ k, n) = E{ y( n+ k) y ( n)} = E{ y( n+ k)[ h ( l) ( n l)]} y = E{ h () l y( n+ k) ( n l)} = h () l E{ y( n+ k) ( n l)} + l= = h () l r ( k+ l) l= y = h ( k) r ( k) = h ( k) r ( k) y y + l= + + l= ιαπιστώνουµε ότι η αυτοσυσχέτιση εξαρτάται από το lag k. είξαµε ότι εξαρτάται από το lag r ( n+ k, n) r ( k) = h ( k) h( k) r ( k) y y CEID 7-8 Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών είξαµε ότι για την τυχαία διαδικασία y(n) ισχύει:. Η µέση τιµή της εξόδου είναι σταθερή, ανεξάρτητη του χρόνου:. Η αυτοσυσχέτιση εξαρτάται µόνο από τo lag: r ( n+ k, n) r ( k) y y m ( n) = m y y Επιπλέον: Αφού η διαδικασία (n) είναι WSS, δηλαδή σ <, σηµαίνει ότι η είσοδος είναι φραγµένη: ( n ) < Αφού το σύστηµα h(n) είναι ευσταθές, και η έξοδος είναι φραγµένη: yn ( ) < 3. Άρα, η διασπορά της εξόδου είναι φραγµένη: σ y( n ) c < () y < Από,,3 συµπεραίνουµεότιηέξοδοςy(n) είναι WSS τυχαία διαδικασία. Επιπλέον, αφού η είσοδος (n) και η έξοδος y(n) είναι WSS τυχαίες διαδικασίες και η ετεροσυσχέτιση r y εξαρτάται από τo lag από κοινού WSS τυχαίες διαδικασίες. r ( n+ k, n) r ( k) y y είναι και CEID 7-8
Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Υπολογίζουµετηδιασπορά της εξόδου: σ ( n) = E{ y( n) y ( n)} m ( n) m ( n) y y y = E{ y( n+ ) y ( n)} m ( n+ ) m ( n) y y = r ( ) m m = c ( ) y y y y ανεξάρτητο του n όπου: + y( ) = ( ) ( ) ( ) = ( ) [ ( ) ( )] k= l= k= r h k h k r k h k h l r k l + + m= l= k= m= l= = [ hlr ( ) ( m l)] h( k+ m) = hlr ( ) ( m lh ) ( m) CEID 7-8 Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Έστω ότι το σύστηµα έχει πεπερασµένη κρουστική απόκριση: [ h h h ] h = () () ( ) T Η ισχύς εξόδου είναι: y m= l= Ε { y( n) } =Ε { y( n) y ( n)} = r ( ) = h ( m) h( l) r ( m l) m= H = h ( m) u( m) = h u um ( ) u() T H u() h u= h () h () h ( ) u ( ) CEID 7-8 u
Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών...συνέχεια: T T um ( ) = hr( m) = r ( m) h Τελικά: h() T h() u( m) = [ r( m) r( m ) r( m + ) ] h ( ) T r ( m) u() r() r( ) r( + ) H u() H r() r() r( + ) Ε { yn ( ) } = h = h h u ( ) r( ) r( ) r() CEID 7-8 r() r( ) r( ) H r () r( ) r( ) H = h h= h R r( ) r ( ) r() h Τυχαίες ιαδικασίες: Φιλτράρισµα τυχαίων διαδικασιών Υπολογίζουµετοφάσµα εξόδου: jω jω jω P ( e ) = P( e ) H( e ) y ιαπιστώνουµε ότι το φάσµαεξόδουισούταιµετοφάσµαεισόδου πολλαπλασιασµένο µε τοτετράγωνοτουµέτρου της συνάρτησης µεταφοράς του συστήµατος. Μια WSS διαδικασία u(n) ονοµάζεται λευκός θόρυβος (white noise) µε µέση τιµή m u και διασπορά εκτός από µηδέν: σ u αν η αυτοσυσχέτιση είναι µηδενική για όλα τα lag r k u( ) = σδ u ( k) P( e jω ) =σ π ω π u u CEID 7-8
Τυχαίες ιαδικασίες: Παραγοντοποίηση φάσµατος Έχουµε αναφέρειότιτοφάσµα µιας WSS διαδικασίας µεπραγµατικές τιµές είναι µια πραγµατική, θετική, περιοδική συνάρτηση της συχνότητας. Αποδεικνύεται ότι αν j P ( e ω ) είναι συνεχής συνάρτηση του ω, τότε µπορούµε να γράψουµε: ( ) ( ) (/ P ) z =σq z Q z όπου: σ = e { c() } k Qz ( ) = e ckz ( ) k= k Q (/ z ) = e c( k) z k= +π jω jkω ck ( ) = ln P ( e ) e dω π π Αντίστροφο ΜΦ Χ Ηιδιότητααυτήονοµάζεται παραγοντοποίηση φάσµατος (sectral factorization). CEID 7-8 Τυχαίες ιαδικασίες: Παραγοντοποίηση φάσµατος ( ) ( ) (/ Κάθε διαδικασία που µπορεί να παραγοντοποιηθεί κατά P ) z =σq z Q z ονοµάζεται κανονική (regular) διαδικασία. Οι κανονικές διαδικασίες έχουν τις εξής ιδιότητες: Ιδιότητα : Κάθε κανονική διαδικασία µπορεί να υλοποιηθεί ως η έξοδος ενός αιτιατού, ευσταθούς φίλτρου µεσυνάρτησηµεταφοράς H(z) που οδηγείται από σήµα λευκού θορύβου u(n) µεδιασπορά σ. Ηαναπαράστασηαυτήείναι γνωστή ως innovation αναπαράσταση της διαδικασίας. Ιδιότητα : Το αντίστροφο φίλτρο /H(z) καλείται whitening φίλτρο. ηλαδή, αν η διαδικασία φιλτραριστεί από το /H(z), τότε η έξοδος θα είναι λευκός θόρυβος µεδιασπορά. Ηδιαδικασίαu(n) ονοµάζεται innovations διαδικασία. σ un ( ) ( n) H ( z) / H ( z) un ( ) CEID 7-8
Τυχαίες ιαδικασίες: Παραγοντοποίηση φάσµατος Ιδιότητα 3: Εφόσον οι διαδικασίες (n) και u(n) σχετίζονται µεέναν αντιστρέψιµο µετασχηµατισµό, δηλαδή κάθε µία µπορεί να παραχθεί από την άλλη, τότε και οι δύο περιέχουν την ίδια πληροφορία. Ορίζουµε µια διαδικασία ως προβλέψιµη (redictable), αν υπάρχει ένα σύνολο συντελεστών α(k), ώστε: ( n) = a( k) ( n k) k= δηλαδή η (n) µπορεί να προβλεφθεί χωρίς σφάλµατα ως γραµµικός συνδυασµός των προηγούµενων τιµών της. jω P ( e ) = a( k) u( ω ω ) k= k CEID 7-8 Τυχαίες ιαδικασίες: Παραγοντοποίηση φάσµατος Θεώρηµα ανάλυσηςwold: Μια WSS τυχαία διαδικασία (n) µπορεί να αναλυθεί σε δύο διαδικασίες r (n) και (n), όπου r (n) είναι µια κανονική διαδικασία και (n) είναι µια προβλέψιµη διαδικασία, οι οποίες είναι ορθογώνιες: ( n) = ( n) + ( n) r E { ( n ) ( n)} = r Άρα το φάσµα της διαδικασίας (n) αποτελείται από το συνεχές τµήµα και από το διακριτό τµήµα γραµµές στο φάσµα. P j ( e ω ). Το τελευταίο δηµιουργεί κρουστικές P r j ( e ω ) jω jω jω jω = + r = + r ω ωk k= P( e ) P ( e ) P ( e ) P ( e ) a( k) u( ) CEID 7-8
Τυχαίες ιαδικασίες: Μοντέλα ARMA Θεωρούµεένααιτιατό, ευσταθές, ΓΧΑ σύστηµα του οποίου η συνάρτηση µεταφοράς έχει πόλους και q µηδενικά. Εφαρµόζουµε στο σύστηµα H(z) ως είσοδο λευκό θόρυβο u(n)µε διασπορά : σ u un ( ) H ( z) ( n) k bq ( k) z Bq ( z) k= H( z) = = A ( z) + a ( k) z q k= k Ηέξοδος(n) είναι WSS διαδικασία µεφάσµα ισχύος: jω jω ( ) =σ u H( e ) =σu P e jω B ( e ) q jω A ( e ) Μια διαδικασία µε το παραπάνω φάσµαισχύοςονοµάζεται autoregressive moving average διαδικασία τάξης (,q) και συµβολίζουµε ARMA(,q). CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA Ησχέσηµεταξύ εισόδου u(n) και εξόδου (n) δίνεται από την παρακάτω εξίσωση διαφορών: ( n) + a ( k) ( n k) = b ( k) u( n k) k= k= q q q n k q l= l= n ( ) ( n k) + a( ln ) ( l) ( ) = b( lun ) ( l) ( n k) q q l= l= E{ ( n) ( n k) + a ( l) ( n l) ( n k)} = E{ b ( l) u( n l) ( n k)} q { ( ) ( )} ( ) { ( l ) ( n k) } bq( leun ) { ( l ) ( n k) } E n n k + a l E n = l= l= r ( k) + a ( l) r ( k l) = b ( l) r ( k l) q u l= l= q Αφού u(n) WSS, οι (n) και u(n) είναι από κοινού WSS. CEID 7-8
Τυχαίες ιαδικασίες: Μοντέλα ARMA ηλαδή και η σχέση µεταξύ αυτοσυσχέτισης εξόδου και ετεροσυσχέτισης ανάµεσα σε έξοδο και είσοδο ικανοποιεί την ίδια εξίσωση διαφορών: r ( k) + a () l r ( k l) = b () l r ( k l) q u l= l= q Αντικαθιστούµε τη συνάρτηση ετεροσυσχέτισης µε την παρακάτω ισοδύναµη έκφραση: r ( k l) = E{ u( k) ( l)} = E{ u( k)[ u ( m) h ( l m)]} u m= = E{ uku ( ) ( mh ) ( l m)} = Euku { ( ) ( m)} h( l m) m= + + + m= =σ h ( l k) u σ για = u k m = για k m CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA Έχουµελοιπόν: r ( k) + a () l r ( k l) = b () l r ( k l) l= l= q q u q q ( ) + () ( ) = q() σuh ( l k) =σu q() h ( l k) l= l= l= r k a l r k l b l b l hn ( ) = για n< εδοµένου ότι το σύστηµα είναι αιτιατό, δηλαδή έχουµε: q l= q q k q q q + l= k m= cq ( k) = b () l h ( l k) = b () l h ( l k) = b ( k m) h ( m) q k q( ) ( ) = l= αν > b k + l h l αν k q k q CEID 7-8
Τυχαίες ιαδικασίες: Μοντέλα ARMA Τελικά: σucq ( k) αν k q r( k) + a( l) r( k l) = l= αν k > q Το παραπάνω σύστηµα εξισώσεων είναι γνωστό ως εξισώσεις Yule-Walker. k = : r() + a() r( ) + a() r( ) + + a( ) r( ) =σucq() k = σ : r() + a() r() + a() r( ) + + a( ) r( ) = ucq() k = q : r( q) + a() r( q ) + a() r( q ) + + a( ) r( q ) =σucq( q) k = q + : r ( q+ ) + a () r ( q) + a () r ( q ) + + a ( ) r ( q + ) = k = q+ : r ( q+ ) + a () r ( q+ ) + a () r ( q+ ) + + a ( r ) ( q) = CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA Γράφουµεσεµορφή πινάκων: r () ( ) ( ) () r r c r () () ( ) () r r + c a() r( q) r( q ) r( q ) =σ u c( q) r( q ) r( q) r( q ) + + a ( ) r( q+ ) r( q+ ) r( q) CEID 7-8
Τυχαίες ιαδικασίες: Μοντέλα ARMA Όταν q=, το σύστηµαέχειµόνο πόλους και η συνάρτηση µεταφοράς είναι: b() b() H( z) = = A ( z) a ( k) z + k= Ηδιαδικασία(n) ονοµάζεται autoregressive τάξης και συµβολίζουµε AR(). Το φάσµα εξόδου είναι: k jω jω ( ) =σ u H( e ) =σu P e b() jω A ( e ) Οι εξισώσεις Yule-Walker γράφονται: ( ) + ( ) ( ) =σu () δ( ), l= r k a l r k l b k k CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA Όταν =, το σύστηµαέχειµόνο µηδενικά και η συνάρτηση µεταφοράς είναι: q H ( z) = bq ( k) z k= k Ηδιαδικασία(n) ονοµάζεται moving average τάξης q και συµβολίζουµε MA(q). Το φάσµα εξόδου είναι: jω jω jω ( ) =σ u ( ) =σu q( ) P e H e B e Οι εξισώσεις Yule-Walker γράφονται: q k u q q l= r ( k) =σ b ( l+ k ) b ( l), k CEID 7-8
Τυχαίες ιαδικασίες: Μοντέλα ARMA Παράδειγµα: Θεωρούµε την τυχαία διαδικασία AR() µεπραγµατικές τιµές, η οποία προκύπτει από την εφαρµογή λευκού θορύβου u(n) µε διασπορά σ = στο all-ole φίλτρο H(z): u un ( ) H ( z ) ( n) b() H( z) = + a () z Εξίσωση διαφορών εισόδου-εξόδου: ( n) + a() ( n ) = b() u( n) n un ( ) ( n) b() z a() CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA Αν γνωρίζουµετιςτιµές της αυτοσυσχέτισης, τότε µπορούµεναεκτιµήσουµε τους συντελεστές. Οι εξισώσεις Yule-Walker γράφονται: r k + a r k = b δ k k ( ) () ( ) () ( ) για k = r + r = : () a() ( ) b ( ) για k = : r () + a( ) r () = ΗδιαδικασίαAR() είναι WSS και επειδή είναι πραγµατική, ισχύει η ιδιότητα της συµµετρίας για τις τιµές της αυτοσυσχέτισης: r ( k) = r ( k) Άρα, το σύστηµα των εξισώσεων γράφεται: b() = () a() r() b () r () r + = r () + a() r () = CEID 7-8 r () a() = r () r () r ()
Τυχαίες ιαδικασίες: Μοντέλα ARMA Οµοίως, αν γνωρίζουµε τους συντελεστές, τότε µπορούµεναεκτιµήσουµετις τιµές της αυτοσυσχέτισης: r k + a r k = b δ k k ( ) () ( ) () ( ) Για k για k = : r + a() = b () r( ) () για k : r ( k) + a() r ( k ) = παρατηρούµεότι: k = : r () = a() r () k = r = a r = a a r = a r : () () () ()[ () ()] [ ()] () k = r = a r = a a r = a r 3 3 : (3) () () ()[ ()] () [ ()] () n k = n : r ( n) = a() r ( n ) = [ a()] r () CEID 7-8 Τυχαίες ιαδικασίες: Μοντέλα ARMA ηλαδή: k r ( k) = [ a()] r () k k r ( k) = r ( k) = [ a()] r () k Άρα: k r ( k) = [ a()] r () k Γιαναβρούµετοr () λύνουµετο σύστηµα: Για k = : r() + a() r( ) = b () Για k = : r() + a() r() = r() + a() r() = b () b () r () = r () () ( ) a () = a r CEID 7-8
Τυχαίες ιαδικασίες: Αρµονική διαδικασία Παράδειγµα: ίνεται η τυχαία διαδικασία ( n) = Asin( ω n+φ), ηοποία ονοµάζεται αρµονική διαδικασία πρώτης τάξης (harmonic rocess), όπου Α είναι σταθερό πλάτος, ω είναι σταθερή γωνιακή ταχύτητα, και φ είναι = πf τυχαία φάση µεοµοιόµορφη κατανοµή στο διάστηµα. π φ π () t ADC ( nt ) ( n) s F s = / T s Ζητείται να υπολογιστούν τα µεγέθη: µέση τιµή, αυτοσυσχέτιση, διασπορά, φάσµα ισχύος. Είναι η διαδικασία WSS; Είναι η διαδικασία εργοδική ως προς τη µέση τιµή; CEID 7-8 Τυχαίες ιαδικασίες: Αρµονική διαδικασία Αφού η τυχαία µεταβλητή φ είναι οµοιόµορφα κατανεµηµένη στο διάστηµα π φ π πιθανότητας είναι:, η συνάρτηση πυκνότητας πιθανότητας και η συνάρτηση κατανοµής f ( a) φ f φ για π α +π ( a) = π αλλού π π +π a για α < π a +π Fφ ( a) = για π α<+π π για +π α Fφ ( a) π +π a CEID 7-8
Τυχαίες ιαδικασίες: Αρµονική διαδικασία Υπολογίζουµετηµέση τιµή της διαδικασίας: Ηδιαδικασία(n) είναι συνάρτηση ως προς n και φ: Άρα: [ cos( n ) cos( n )] n ( ) = gn ( ; φ) + + π { ( ; φ )} = ( ; ) φ( ) = sin( ω + ) π Egn gnaf ada A n a da π +π A A = sin( ω n+ a) da= ( cos( ω n+ a) ) da π π +π π π A = ω +π ω π π A = sin( ωn) sin( π ) = π Εποµένως, η µέση τιµήείναιµηδενική (σταθερή): m ( n) = m = CEID 7-8 Τυχαίες ιαδικασίες: Αρµονική διαδικασία Υπολογίζουµετηναυτοσυσχέτιση της διαδικασίας: { } { } r ( k, l) = E ( k) ( l) = E Asin( ω k+φ) Asin( ω l+φ) A E k l k l { cos[ ( )] cos[ ( ) ]} = ω ω + + φ A E k l E k l { cos[ ( )]} { cos[ ( ) ]} = ω ω + + φ A = cos[ ω( k l)] E{ cos[ ω ( k+ l) + φ] } CEID 7-8 A = cos[ ω( k l)] Εποµένως, η αυτοσυσχέτιση εξαρτάται από το lag: A r ( n) = cos( ωn)
Τυχαίες ιαδικασίες: Αρµονική διαδικασία Υπολογίζουµετηδιασπορά της διαδικασίας: {[ ] } { } σ ( n) = E ( n) m = E ( n) = r ( ) A A = cos( ω ) = Εποµένως, η διασπορά είναι σταθερή και είναι φραγµένη: σ ( n) =σ < είξαµεότι: Η µέση τιµή είναι σταθερή: Η αυτοσυσχέτιση εξαρτάται από το lag: Η διασπορά είναι φραγµένη: m ( n) = m σ ( n) =σ < Άρα η αρµονική διαδικασία πρώτης τάξης είναι WSS. r ( k, l) = r ( k l) CEID 7-8 Τυχαίες ιαδικασίες: Αρµονική διαδικασία Υπολογίζουµετo φάσµα της διαδικασίας: A P ( e ) r( ke ) cos( ke ) + + jω jωk jωk = = ω k= k= + A = cos( ωke ) k= jωk A = π δ ω ω +δ ω+ω [ ( ) ( )] A j P ( e ω ) ω +ω f ω= π F s Υπολογίζουµετηµέση ισχύ της διαδικασίας: + jω A A E{ ( n) } = P ( e ) dω= π = π π CEID 7-8
Τυχαίες ιαδικασίες: Αρµονική διαδικασία Γιαναδιαπιστώσουµε αν η διαδικασία είναι εργοδική ως προς τη µέση τιµή, θα ελέγξουµε ανισχύειτοθεώρηµα, δηλαδή αν: lim c( k) = k= όπου c (k) είναι η αυτοσυνδιασπορά. Ισχύει: A c( k) = r( k) m( k) = r( k) = cos( ωk) k Άρα: A A c ( k) = cos( ω k) = cos( ω k) k= k= k= A ω A Re{ e } Re j k jωk = = k= k= e CEID 7-8 Τυχαίες ιαδικασίες: Αρµονική διαδικασία Συνέχεια: jω jω jω jω + jω A e A e e c( k) = Re Re jω = jω jω jω + jω k= e e e ( ) ( ) jω jω jω e e e A = Re jω jω jω e e e = ( ω ) ( ω ) jω e j ω A sin A sin Re = e j sin jω sin ( ω ) ( ) ( ) jω Re ( ) { e } ω A sin = cos( ω ) sin ω Άρα η αρµονική διαδικασία πρώτης τάξης είναι εργοδική ως προς τη µέση τιµή. CEID 7-8