ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Θεωρία Στοχαστικών Σηµάτων: Στοχαστικές διεργασίες, Περιγραφή εργοδικών στοχαστικών διεργασιών Βιβλιογραφία Ενότητας Benvento []: Κεφάλαιo Widrow [985]: Chapter Haykin []: Chapter Sayed [3]: Chapter Borojeny [999]: Chapter
.8.6.4. Discrete signal exp(-.**( Εισαγωγή 3 4 5 6 7 8 9 Για τα περισσότερα σήµατα που απαντώνται στην πράξη δεν µπορεί να υπάρξει επακριβής µαθηµατική περιγραφή. Ένα διακριτό σήµα γιατοοποίουπάρχει µαθηµατική περιγραφή είναι το.n e ( (( είναι η βηµατική ακολουθία) Πως µπορεί όµως να περιγραφεί µαθηµατικά το σήµα ενός καρδιογραφήµατος ή της οµιλίας; Όταν ένα σήµα δεν µπορεί να περιγραφεί µαθηµατικά και παίρνει διάφορες µορφές (το σήµα οµιλίας διαφέρει από οµιλητή σε οµιλητή και ανάλογα µε το τι λέει ο οµιλητής) το αντιµετωπίζουµε ως τυχαίο (στοχαστικό) µε στατιστικές µεθόδους Στοχαστικές διεργασίες Ένα στοχαστικό διακριτό σήµα X( {) ) } (περισσότερο συχνά αποκαλούµενο στοχαστική διεργασία) είναι ένα σύνολο από τυχαίες µεταβλητές i) (i οι οποίες είναι εν γένει αλληλοεξαρτώµενες. Ένα διακριτό σήµα του οποίου τα δείγµατα µπορούν να πάρουν τυχαίες τιµές είναι µια στοχαστική διεργασία Κάθε τυχαία µεταβλητή i) χαρακτηρίζεται από µια συνάρτηση πυκνότητας πιθανότητας f( και τη αθροιστική συνάρτηση πιθανότητας F( οι οποίες σχετίζονται µε τις παρακάτω σχέσεις: F( f ( F( p( X i f ( y( dy( i) i) όπου p( X i είναι η πιθανότητα το X i να πάρει τιµή µικρότερη ή ίση µε τηνi) i)
Τυχαίες µεταβλητές.3 Probability density fnction f( for a random variable i) Cmlative density fnction F( for a random variable i).5..8.5.6..4.5...4.6.8..4..4.6.8..4 Συνάρτηση πυκνότητας πιθανότητας (αριστερά) και αθροιστική συνάρτηση πιθανότητας (δεξιά) για µια τυχαία µεταβλητή i). Η συγκεκριµένη τυχαία µεταβλητή ακολουθεί Γκαουσιανή κατανοµή µε µέση τιµή µ(.8 και τυπική απόκλιση σ(.4 Από κοινού συνάρτηση πυκνότητας πιθανότητας Σε µια στοχαστική διεργασία X( {) ) } οι τυχαίες µεταβλητές (δείγµατα) i), δεν είναι (εν γένει) µεταξύ τους ανεξάρτητες αλλά σχετίζονται µε την από κοινού συνάρτηση πυκνότητας πιθανότητας f(), ),, ) και την από κοινού αθροιστική συνάρτηση πιθανότητας F(), ),, ) F( ), ),, ) p( X ), X ),, X n ) n F( ), ),, ) f ( ), ),, ) ) ) ) Το σήµα Χ r ( {) X, ) X,, X n } αποτελεί µια πραγµάτωση (r realizatio της στοχαστικής διεργασίας Χ( Για παράδειγµαταδείγµατα ενός τµήµατος οµιλίας αποτελούν µια πραγµάτωση της στοχαστικής διεργασίας «οµιλία» 3
Πραγµατώσεις στοχαστικών διεργασιών ean vales of random variables (n) Three realizations of the stochastic process X(.8.8.6.4..6.4. -. -.4 -.6 -. -.8 -.4-3 4 5 6 7 8 9 -.6 Μέσες τιµές των τυχαίων i) µεταβλητών µιας στοχαστικής διεργασίας X( (ή αλλιώς συνάρτηση µέσης τιµής της διεργασίας Χ() -.8-3 4 5 6 7 8 9 Τρεις πραγµατώσεις της στοχαστικής διεργασίας X( Περιγραφή στοχαστικών διεργασιών Μια στοχαστική διεργασία X( µπορεί να περιγραφεί σε ικανό βαθµό µε τη βοήθεια τριών συναρτήσεων: Της συνάρτησης µέσης τιµής µ( Ε[X(] (E[ ] δηλώνει την αναµενόµενη τιµή) Τηςσυνάρτησηςαυτοσυχέτισης r(n,n-k) Ε[X(X*(n-k)], k,±, ±, (* δηλώνει µιγαδικό συζυγή) Τηςσυνάρτησηςαυτοσυµµεταβλητότητας c(n,n-k) Ε[(X(-µ()(X(n-k)-µ(n-κ))*], k,±, ±, 4
Στάσιµες Στοχαστικές ιεργασίες Μια στοχαστική διεργασία X( είναι στάσιµη όταν τα στατιστικά χαρακτηριστικά της δεν µεταβάλλονται µε τοχρόνο. ηλαδή: f(), ),, ) f(+k), +k),, n+k)) για n,, και k Μια στοχαστική διεργασία X( είναι υπό την ευρεία έννοια στάσιµη όταν οι συναρτήσεις µέσης τιµής, αυτοσυσχέτισης και αυτοσυµµεταβλητότητας έχουν τη µορφή: µ( µ n r(n,n-k) r(k) n c(n,n-k) c(k) n Για µια στάσιµηυπότηνευρείαέννοιαδιεργασίαηποσότητα r () E[ ] ισούται µε τη µέση τετραγωνική τιµή της διεργασίας και η ποσότητα c () E[ µ ( ] ισούται µε τη διασπορά της διεργασίας Εκτίµηση συναρτήσεων µέσης τιµής και αυτοσυσχέτισης Οι συναρτήσεις µέσης τιµής µ( και αυτοσυσχέτισης r(n,n-k) µιας στοχαστικής διαδικασίας Χ( βασίζονται στον τελεστή Ε[ ] ο οποίος δηλώνει αναµενόµενη τιµή. Εποµένως για την εκτίµηση τους χρειαζόµαστε ένα σύνολο από πραγµατώσεις X r ({x r (),x r (),..,x r (}, r,, µ( r r( n, n k) για n,, X r ( r * x ( x ( n k) r r mean fnction estimation of mean fnction based on 4 realizations.8.6.4. -. -.4 -.6 -.8-3 4 5 6 7 8 9 5
Εκτίµηση συναρτήσεων µέσης τιµής και αυτοσυσχέτισης (ΙΙ) Για µια υπό την ευρεία έννοια στάσιµη διεργασία X( οι συναρτήσεις της µέσης τιµής µ( (η οποία είναι σταθερή και ίση µε µ) και της αυτοσυσχέτισης r(k) µπορούν να υπολογιστούν από µία και µόνο πραγµάτωση X r ( {x r () x r () x r (} βασιζόµενη σε χρονικούς µέσους όρους: ˆ( µ N) N rˆ( k, N) N N i xr ( n i) : εκτίµηση της συνάρτησης µέσης τιµής µε Ν δείγµατα N i xr( n i) xr ( n i k) k N- : εκτίµηση της συνάρτησης αυτοσυσχέτισης µε Ν δείγµατα Εργοδικές Στοχαστικές ιεργασίες Μια υπό την ευρεία έννοια στάσιµη στοχαστική διεργασία X( είναι εργοδική όταν οι συναρτήσεις µέσης τιµής και αυτοσυσχέτισης µπορούν να εκτιµηθούν από µια πραγµάτωση X r ( {x r () x r () x r (} βασιζόµενη σε χρονικούς µέσους όρους. Συγκεκριµένα για να είναι η Χ( εργοδική κατά µέση τιµή πρέπει: lim Ν [( µ ˆ( µ N) ) ] ΓιαναείναιηΧ( εργοδική κατά αυτοσυσχέτιση πρέπει: lim Ν [( r ( k) rˆ( k, N) ) ], k << N 6
Εργοδικές Στοχαστικές ιεργασίες (ΙΙ).67.66.65 estimation of mean fnction based on time averages mean fnction µ.8.7.6 Original atocorrealation fnction Estimation with 5 samples Estimation with samples Estimation with samples.64.5.4.63.3.6..6..6 -..59 5 5 5 3 35 nmber of samples N -. -5 - -5 - -5 5 5 5 lag k Εκτίµηση συναρτήσεων µέσης τιµής (αριστερά) και αυτοσυσχέτισης (δεξιά) µιας στάσιµης εργοδικής στοχαστικής διεργασίας X( µε βάση µια πραγµάτωση.5 -.5 - -.5 - A realization of the stochastic process X( Άσκηση (Ι) 3 4 5 6 7 8 9. Μια τυχαία µεταβλητή έχει αθροιστική συνάρτηση πιθανότητας: F( ).6 < < Να βρεθεί η συνάρτηση πυκνότητας πιθανότητας f(). Μια στοχαστική διεργασία Χ( απαρτίζεται από τυχαίες µεταβλητές i) οι οποίες ακολουθούν την ανωτέρω κατανοµή (βλέπε σχήµα). Να βρεθεί η συνάρτηση µέσης τιµής της ανωτέρω διεργασίας Να δειχθεί ότι η ανωτέρω διεργασία είναι εργοδική κατά µέση τιµή 7
.5.4.3.. -. -. -.3 -.4 Άσκηση (ΙΙ) A realization of the stochastic process X( (a.4, f 5) -.5 3 4 5 6 7 8 9. Μια στοχαστική διεργασία Χ( απαρτίζεται από τυχαίες µεταβλητές i) a sin(π fi + θ ) όπου a και f είναι γνωστές τιµές και θ είναι τυχαία µεταβλητή µεοµοιόµορφη κατανοµή στο διάστηµα [-π π] Να βρεθούν οι συναρτήσεις µέσης τιµής και αυτοσυσχέτισης της ανωτέρω διεργασίας και να δειχθεί ότι είναι υπό την ευρεία έννοια στάσιµη Πίνακας αυτοσυσχέτισης Στη πράξη όταν µελετάµε στοχαστικά σήµατα (διεργασίες) αυτό που καταγράφουµε είναι ένα µέρος (απαρτιζόµενο από Μ δείγµατα) µιας πραγµάτωσης της διαδικασίας, το οποίο ονοµάζουµε διάνυσµα παρατήρησης και το συµβολίζουµε µε (. ( [( (n-) (n-+)] T (Τ δηλώνει το ανάστροφο ενός διανύσµατος ή πίνακα). Ορίζουµε ως πίνακα αυτοσυσχέτισης R της στοχαστικής διαδικασίας Χ( από την οποία προέρχεται το διάνυσµα παρατήρησης ( την ποσότητα: R E H [ ( ( ] όπου Η δηλώνει το αναστρόφο και συζυγές 8
Πίνακας αυτοσυσχέτισης (ΙΙ) Αν η στοχαστική διαδικασία Χ( είναι υπό την ευρεία έννοια στάσιµη ο πίνακας αυτοσυσχέτισης εκφράζεται ως: R r r () r ( ) ( + ) r () r () r ( + ) r ( ) r ( ) r () Άσκηση (ΙΙI) Atocorrelation fnction for the stochastic process X( αexp(jω+θ(.8.6.4. -. -.4 -.6 - -5 - -5 5 5. Έστω η στοχαστική διεργασία jωn X ( ae + θ n ηοποίααντιστοιχείσεένα ηµιτονοειδές σήµα (αe jωn ) στο οποίο έχει επιδράσει θόρυβος θ µε µέση τιµή µ θ και διασπορά σ θ (ο θόρυβος είναι µια στάσιµη στοχαστική διεργασία). Στο σχήµα δίνεται η συνάρτηση αυτοσυσχέτισης της Χ(. Να υπολογιστεί το πλάτος α και η συχνότητα ω του ηµιτονοειδούς σήµατος 9