HMY 799 : Αναγνώριση Συστημάτων Διάλεξη Στοχαστικές Τυχαίες Μεταβλητές/ Στοχαστικά Σήματα
Πειραματικά δεδομένα >Επιλογή τύπου μοντέλου >Επιλογή κριτηρίου >Υπολογισμός >Επικύρωση
Προσαρμογή καμπύλης (Curve fitting) m = arg min ( Fit + Complexity. Penalty) m Μ
Deterministic and stochastic/random signals Deterministic: Γνωρίζουμε τις ακριβείς τιμές Stochastic/Random: Οι τιμές ακολουθούν κάποια πιθανοτική κατανομή Η περιγραφή στοχαστικών σημάτων γίνεται με πιθανοτικά / στατιστικά μέτρα Random variable (Τυχαία μεταβλητή): Μαθηματική περιγραφή όλων των πιθανών αποτελεσμάτων ενός πειράματος Random process/signal: Ένα σήμα του οποίου οι τιμές σε κάθε χρονική στιγμή είναι τυχαίες μεταβλητές Όταν μελετάμε ένα σύστημα, συνήθως θεωρούμε την είσοδο ντετερμινιστική και το θόρυβο και τις διαταραχές στοχαστικά σήματα υ ε x S z + y
Stochastic/random signals Στην πράξη, ο υπολογισμός στατιστικών ποσοτήτων γίνεται από πεπερασμένα δείγματα (samples) του σήματος Σύνολο δειγμάτων: ensemble Για κάθε t 0 οι τιμές {x (t 0 ),x (t 0 ),,x n (t 0 )} αποτελούν ένα τυχαίο δείγμα της τυχαίας μεταβλητής x(t 0 ). Αν οι στατιστικές ιδιότητες του σήματος είναι ανεξάρτητες του t 0 : στατικό (stationary) αλλιώς μη στατικό (nonstationary) Αν οι στατιστικές ιδιότητες κάθε δείγματος στο σύνολο δειγμάτων είναι ίδιες: εργοδικό (ergodic) n π.χ. μ, x ( t0 ) x i ( t0 ) μ = n t= n ϕ ( t, t τ) = x ( t ) x ( t τ) xx 0 0 i 0 i 0 n t= Τι συμβαίνει για στάσιμα σήματα? Ασθενώς στάσιμο (weakly/ wide sense stationary): μ, x, ϕxx Ισχυρά στάσιμο (strongly/strictly stationary): όλες οι ροπές (moments) και συναρτήσεις συσχέτισης (correlation) ανεξάρτητες του χρόνου Συνήθως στην πράξη: Weakly stationary Strictly stationary
Stochastic/random signals Εργοδικά σήματα: Ανεξαρτησία από το k Μπορούμε να υπολογίσουμε τις στατιστικές ιδιότητες από όένα δείγμα (ικανού ύ μήκους) ) T μ, x( t0) = x ( ) 0 k t dt T T ϕxx ( τ ) = x ( ) ( ) k k 0 k t xk t τ dt T μ μ,, ( t 0), t xk x 0 Συνάρτηση πυκνότητας πιθανότητας (Probability density function) Pr ob{ x X < x+ dx} = p( x) dx px ( ) 0 pxdx ( ) =,lim px ( ) = 0 x Συνάρτηση κατανομής πιθανότητας ((cumulative) probability distribution function) P{} x Pr ob{ X x} p( x) dx = = Ροπές (Moments) ης τάξης (Μέση τιμή): ης τάξης (mean square): x k M k = x p( ( xdx ) M μ X xp( x) dx M = = ( ) = x p x dx
Random variables Στατιστική ανεξαρτησία: pxy (, ) = pxpy ( ) ( ) Κεντρικές Ροπές (Central Moments) ης τάξης (Διακύμανση μ η variance): σ: Τυπική απόκλιση (standard deviation) Αναμενόμενη τιμή (expected value) E{ X} = xp( x) dx E{ f( X)} = f( x) p( x) dx E { X } = μ, E{( X μ) } = σ Γκαουσιανές τυχαίες μεταβλητές (Gaussian random variables) ( x μ) px X N σ π σ ( ) = exp, ( μ, σ ) Περιγράφεται πλήρως από τις παραμέτρους μ (mean), σ (variance) m ( ) k k = x M p( x) dx = σ = ( ) p( ) = m x M p xdx M M
Gaussian random variables Γιατί μας ενδιαφέρουν στην αναγνώριση συστημάτων? Πολλά σήματα στην πράξη προσεγγίζουν την κανονική κατανομή Κεντρικό οριακό θεώρημα Αν Χ,Χ,,Χ Ν τυχαίες μεταβλητές με σχεδόν οποιεσδήποτε pdf (αρκεί Μ k < για κάποιο k>), με {(μ,σ ), (μ,σ ), (μ Ν,σ Ν ),} τότε το άθροισμα τους Χ=Σα i Χ i ακολουθεί Γκαουσιανή κατανομή με n n μ = αμ, σ = ασ i i i i t= t= Πολύ ισχυρό - Η έξοδος ενός ΓΧΑ συστήματος σε Γκαουσιανή είσοδο είναι επίσης Γκαουσιανή! Συχνά μοντελοποιούμε το θόρυβο ως Γκαουσιανό σήμα Αναμενόμενη τιμή γινομένων: Για περιττό αριθμό μεταβλητών = 0 Για άρτιο: άθροισμα όλων των δυνατών συνδυασμών ανά, π.χ. για N=4: E{ XXX3X4} = E{ XX} E{ X3X4} + E{ XX3} E{ XX4} + E{ XX4} E{ XX3} Λευκός θόρυβος: Στάσιμη τ.μ. για την οποία κάθε δείγματα είναι ανεξάρτητα μεταξύ τους Αν επιπλέον ακολουθεί και κανονική κατανομή: Gaussian white noise (ιδεατό σήμα)
Στατιστικές δείγματος: Έστω Ν δείγματα {x i } i=,,n της τ.μ. Χ. Για τη μέση τιμή: x = xi N Estimation, autocorrelation N t = Ex { } = μ unbiased αμερόληπτη Για τη διακύμανση: N s = ( x x) N t = i Var{ x} = N 0 consistent συνεπής N Es { } = σ N N Όμως για s = ( xi x) E{ s } = σ (unbiased) N t= Συνάρτηση αυτοσυσχέτισης (autocorrelation) στάσιμα σήματα R ϕxx ( τ) = Ext { ( τ) xt ( )} = lim R xt ( ) xtdt ( ) (εργοδικό) R τ R Συνάρτηση αυτοσυνδιασποράς (autocovariance) C xx ( τ ) = E {( xt ( τ ) μ )( xt ( ) μ )} = ϕ xx ( τ ) μ x C (0) xx = σ Συντελεστής αυτοσυσχέτισης (autocorrelation function, από μέχρι ) Cxx ( τ ) rxx ( τ ) = C xx (0)
Cross correlation Συνάρτηση αλληλοσυσχέτισης (cross correlation) R ϕ yx ( τ) = E{ ytxt ( ) ( τ)} = lim R ytxt ( ) ( τ) dt R Συνάρτηση διασυνδιασποράς (cross covariance) C ( τ ) = E {( y ( t ) μ )( x ( t τ ) μ )} = ϕ ( τ ) μ μ yx y x yx x y Συντελεστής αλληλοσυσχέτισης (cross correlation coefficient) r yx ( τ ) = C xx C yx ( τ ) (0) C (0) yy R
Autocorrelation/cross correlation Στην πράξη, γίνεται εκτίμηση ως εξής: R N ˆ ϕ ( τ xx ) = xt ( ) xtdt ( ) xnxn ( ) ( ) R τ = τ N τ 0 n= R N ˆ ϕ ( τ yx ) = yt ( ) xtdt ( ) ynxn ( ) ( ) R τ = τ N τ 0 n = Μπορεί να αποδειχθεί ότι οι εκτιμήσεις αυτές είναι αμερόληπτες (unbiased) και συνεπείς (consistent για τις περισσότερες τυχαίες διαδικασίες π.χ. Γκαουσιανές) Συναρτήσεις ετεροσυσχέτισης υψηλότερης τάξης (μη γραμμικά συστήματα) R ϕyxx ( τ, τ) = E{ ytxt () ( τ) xt ( τ)} = lim R ytxt () ( τ) xt ( τ) dt R R R ˆ ϕyxx ( τ, τ) = y( txt ) ( τ) xt ( τ) dt R max( τ, τ ) Ιδιότητες: ϕxx ( τ) = ϕxx ( τ) ϕ ( τ) ϕ (0) xx xx lim τ ϕxx ( τ) = μ ϕ ( τ) = ϕ ( τ) xy yx ϕyx ( τ ) ϕxx (0) ϕyy (0) lim τ ϕ yx ( τ) = μxμy 0
Παραδείγματα Autocorrelation (Matlab xcorr)
Παραδείγματα Cross correlation
Εφαρμογές ετεροσυσχέτισης: Χρονική καθυστέρηση (delay)