HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών Σημάτων Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Διάλεξη 5: Στοχαστικά/Τυχαία Σήματα Διακριτού Χρόνου (Ι)
Στοχαστικά σήματα Στα προηγούμενα: Ντετερμινιστικά σήματα, η τιμή τους σε κάθε χρονική στιγμή είναι γνωστή με βεβαιότητα (ακολουθία ντετερμινιστικών μεταβλητών) Σε πολλές περιπτώσεις, η τιμή μιας μεταβλητής δεν είναι γνωστή με βεβαιότητα: Στοχαστικές/τυχαίες μεταβλητές (stochastic/random variables) Στοχαστικό/τυχαίο σήμα (Stochastic/random signal): Η τιμή του κάθε δείγματος προέρχεται από κάποια αντίστοιχη τυχαία μεταβλητή. To σήμα αποτελείται από ένα σύνολο τέτοιων τυχαίων μεταβλητών (για ). Ένα τέτοιο σύνολο από τυχαίες μεταβλητές ονομάζεται στοχαστική/τυχαία διαδικασία (stochastic/random process). Ένα στοχαστικό σήμα μπορεί να θεωρηθεί ως μια συγκεκριμένη ακολουθία από δείγματα η οποία προέρχεται από την αντίστοιχη τυχαία διαδικασία, είναι δηλ. μια υλοποίηση (realization) της τυχαίας διαδικασίας Για να περιγράψουμε πλήρως μια τυχαία διαδικασία, χρειαζόμαστε τόσο τις μεμονωμένες συναρτήσεις πυκνότητας πιθανότητας (probability density functions pdfs) για κάθε όσο και τις συνδυασμένες κατανομές πιθανότητας (joint probability bilit distributions) ib ti μεταξύ των τυχαίων μεταβλητών σε διαφορετικές χρονικές στιγμές ( ). Μπορούμε να σκεφτούμε ότι η τυχαία διαδικασία, η οποία είναι το σύνολο των τυχαίων μεταβλητών είναι ένα πιθανοτικό μοντέλο που περιγράφει το τυχαίο σήμα. Στη γενική περίπτωση, οι κατανομές που περιγράφουν την διαδικασία εξαρτώνται από το n 2
Τυχαίες μεταβλητές: Βασικές έννοιες Για μια τυχαία μεταβλητή, η συνάρτηση κατανομής πιθανότητας (probability/cumulative distribution function cdf) ορίζεται ως: Αν η τ.μ. είναι συνεχής τότε η συνάρτηση πυκνότητας πιθανότητας (probability density function pdf) ορίζεται ως: ενώ η συνάρτηση κατανομής πιθανότητας είναι: Pr ob{ x X < x + dx } = p ( x ) dx p X ( x) 0 p X ( xdx ) = 1, lim p X ( x ) x = 0 Pr ob{ X ( ab, )} = p ( xdx ) b a X X 3
Τυχαίες μεταβλητές: Βασικές έννοιες Για διακριτές τυχαίες μεταβλητές (discrete random variables) η συνάρτηση κατανομής πιθανότητας ορίζεται ως: όπου p X (x) είναι η συνάρτηση μάζας πιθανότητας (probability mass function) της διακριτής τ.μ. X: Η συνάρτηση μάζας πιθανότητας ικανοποιεί τις ακόλουθες συνθήκες: και S είναι το σύνολο όλων των πιθανών τιμών της τ.μ. Χ, S=(x 1,,x N } 4
Τυχαίες μεταβλητές: Βασικές έννοιες H από κοινού συνάρτηση κατανομής πιθανότητας (joint cdf) μεταξύ δύο τυχαίων μεταβλητών ορίζεται ως: Ανεξάρτητες τυχαίες μεταβλητές: Αναμενόμενη τιμή (expected value) τυχαίας μεταβλητής: Για οποιαδήποτε συνάρτηση της τ.μ. Χ: Για διακριτές τ.μ.: 5 Μέση τιμή τ.μ.: Ροπή (Moment) τάξης k: Μέση τετραγωνική τιμή (Mean squared value) Ροπή τάξης 2: Κεντρική ροπή τάξης k: Διασπορά (variance): Κεντρική ροπή τάξης 2. Τυπική απόκλιση η( (standard deviation) Ασυσχέτιστες (uncorrelated) τυχαίες μεταβλητές X και Υ: Δύο ανεξάρτητες τ.μ. είναι και ασυσχέτιστες το αντίστροφο δεν ισχύει κατ ανάγκη
Η κανονική τυχαία μεταβλητή 1 ( x μ) px X N σ 2π 2σ 2 2 ( ) = exp, ( μ, σ ) 2 Πολλές τυχαίες μεταβλητές στην πράξη προσεγγίζουν την κανονική κατανομή Κεντρικό οριακό θεώρημα (Cetral limit theorem) Αν Χ 1,Χ 2,,Χ Ν τυχαίες μεταβλητές με σχεδόν οποιεσδήποτε pdf (αρκεί Μ k < για κάποιο k>2), με {(μ 1,σσ 1 ), (μ 2,σσ 2 ), (μ Ν,σσ Ν )}τότε ),} το άθροισμα τους Χ=Σα i Χ i ακολουθεί Γκαουσιανή κατανομή με n n 2 2 2 μ = αμ, σ = ασ i i i i t= 1 t= 1
Στοχαστικά σήματα: Βασικές έννοιες Είδαμε ότι τα τυχαία σήματα είναι ακολουθίες τυχαίων μεταβλητών. Ησυνάρτηση αυτοσυσχέτισης (autocorrelation) ενός τυχαίου σήματος (ή τυχαίας διαδικασίας) ορίζεται ως: ενώ η ακολουθία/συνάρτηση / αυτοσυνδιακύμανσης (autocovariance) ως: Η ετεροσυσχέτιση (cross correlation) μεταξύ δύο τυχαίων διαδικασιών ορίζεται ρζ ως: Παρόμοια ορίζουμε τη συνάρτηση διασυνδιακύμανσης (cross covariance function): Μια στάσιμη (stationary) τυχαία διαδικασία (ή τυχαίο σήμα) είναι αυτή της οποίας οι στατιστικές ιδιότητες είναι ανεξάρτητες ες της χρονικής στιγμής, δηλ. του n, άρα: Επίσης, η συνάρτηση αυτοσυσχέτισης εξαρτάται μόνο από τη διαφορά μεταξύ m και n, δηλ: 7 Μια τυχαία διαδικασία λέγεται αυστηρά στάσιμη (strictly stationary) όταν όλες οι ροπές της είναι ανεξάρτητες του n. Αν ισχύουν αντίθετα μόνο οι τρεις παραπάνω σχέσεις, η τυχαία διαδικασία λέγεται ασθενώς στάσιμη ή στάσιμη υπό ευρεία έννοια (weakly/wide sense stationary). Συνήθως υποθέτουμε ότι αν Weakly stationary Strictly stationary
Στοχαστικά σήματα: Βασικές έννοιες Στην πράξη, ο υπολογισμός στατιστικών ποσοτήτων γίνεται από πεπερασμένα δείγματα (samples) του σήματος Εnsembleof signals: Ένα σύνολο υλοποιήσεων της τυχαίας διαδικασίας που αντιστοιχεί στο σήμα Αν οι στατιστικές ιδιότητες κάθε υλοποίησης στο σύνολο υλοποιήσεων είναι ίδιες, το σήμα λέγεται εργοδικό (ergodic) Για κάθε n 0 οι τιμές {x 1 [n 0 ],x 2 [n 0 ],,x K [n 0 ]} αποτελούν δείγματα της τυχαίας μεταβλητής x[n 0 ]. Πως υπολογίζουμε στην πράξη τις στατιστικές ιδιότητες που μας ενδιαφέρουν? Συνήθως έχουμε πεπερασμένες (ή μόνο μια) υλοποιήσεις της τυχαίας διαδικασίας με πεπερασμένο μήκος η κάθε μια. Αν το σήμα μας είναι στάσιμο και εργοδικό μπορούμε να τις υπολογίσουμε από αυτή τη μια υλοποίηση Η εκτίμηση της μέσης τιμής γίνεται από τη μέση τιμή δείγματος (sample mean): Η διασπορά εκτιμάται από τη διασπορά δείγματος (sample variance): Matlab: mean, var, std 8
Στοχαστικά σήματα: Βασικές έννοιες H αυτοσυσχέτιση εκτιμάται από τη σχέση (Matlab: xcorr) Τα παραπάνω αθροίσματα συγκλίνουν στις πραγματικές τιμές για Ιδιότητες των συναρτήσεων αυτοσυσχέτισης και διακύμανσης: Σημείωση: Μπορούμε να ορίσουμε ανάλογες ποσότητες και για ντετερμινιστικά σήματα, π.χ. η ντετερμινιστική αυτοσυσχέτιση ορίζεται ως: 9
Matlab: xcorr Αυτοσυσχέτιση: παραδείγματα 10
Στοχαστικά σήματα και ΓΧΑ συστήματα Έστω ότι η είσοδος ενός ευσταθούς ΓΧΑ συστήματος με κρουστική απόκριση h[n] είναι ένα στοχαστικό σήμα στάσιμο υπό την ευρεία έννοια. Έξοδος: Το σήμα εισόδου χαρακτηρίζεται από τη μέση τιμή του και τη συνάρτηση αυτοσυσχέτισης. Ποιες είναι οι αντίστοιχες ποσότητες για την έξοδο? Για στάσιμο σήμα εισόδου: Η μέση τιμή της εξόδου είναι: Επομένως η μέση τιμή της εξόδου είναι ανεξάρτητη του n και η τιμή της δίνεται από το γινόμενο της μέσης τιμής της εισόδου με την τιμή της απόκρισης συχνοτήτων στο ω=0. Η τιμή αυτή της απόκρισης συχνοτήτων (για ω=0) λέγεται κέρδος DC (DC gain) 11
Στοχαστικά σήματα και ΓΧΑ συστήματα Αυτοσυσχέτιση εξόδου: Όμως αν το x[n] είναι στάσιμο: οπότε: Άρα η έξοδος ενός ΓΧΑ συστήματος σε ασθενώς στοχαστικό σήμα εισόδου είναι επίσης ασθενώς στοχαστικό σήμα 12