HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις 3 4 Στοχαστικά/τυχαία / χ διανύσματα Ντετερμινιστικά και στοχαστικά σήματα στο πεδίο της συχνότητας Στοχαστικά σήματα και γραμμικά συστήματα
Deterministic and stochastic/random signals Είσοδος: Ντετερμινιστική, Θόρυβος/Διαταραχές: Στοχαστικά Στασιμότητα, εργοδικότητα (Stationarity, Ergodicity Βασικές περιγραφές τυχαίων μεταβλητών Pr ob{ x X < x+ dx} = p( x dx M k k = x p ( xdx m = ( x M k p( x dx k E{ X} = xp( x dx E{ f( X} = f( x p( x dx E{ X} = μ, E{( X μ } = σ υ ε x S z + y
Gaussian Random Variables Auto/cross correlation functions Κεντρικό οριακό θεώρημα Γραμμικά συστήματα: Γκαουσιανή είσοδος > Γκαουσιανή έξοδος Γκαουσιανός λευκός θόρυβος Οποιαδήποτε δείγματα ανεξάρτητα, κανονική κατανομή Αμερόληπτη, συνεπής εκτίμηση Συνάρτηση αυτοσυσχέτισης (autocorrelation ϕ xx ( τ = Ext { ( τ xt ( } = lim R xt τ xtdt ( ( R Συνάρτηση αλληλοσυσχέτισης (cross correlation ϕyx ( τ = Eytxt { ( ( τ } = lim R ytxt ( ( τ dt R R τ n = R ˆ ϕ ( τ xx = xt ( xtdt ( xnxn ( ( τ = R τ ˆ ϕ ( τ yx = yt ( xtdt ( ynxn ( ( R τ = τ τ n= R R R R
Independent/Uncorrelated random variables Ανεξάρτητες τυχαίες μεταβλητές pxy (, = px ( py ( Στη γενική περίπτωση = i= = px (,..., X px ( Ασυσχέτιστες τυχαίες μεταβλητές E{ XY} = E{ X} E{ Y} Αν Χ,Υ Υασυσχέτιστες: i Cov( X, Y = E{( Y μ ( X μ } = E{ X, Y} μ μ = y x x y Ανεξάρτητες > Ασυσχέτιστες. Το αντίστροφο δεν ισχύει πάντα
Vector random variables Πολλές φορές χρειάζεται να υπολογίσουμε τις ιδιότητες ενός συνόλου από τυχαίες μεταβλητές (π.χ. συντελεστές, τιμές σήματος Διανύσματα τυχαίων μεταβλητών (τυχαία διανύσματα random vectors Έστω Χ τυχαίο διάνυσμα. Η συνάρτηση κατανομής πιθανότητας ορίζεται ως: P( X x Prob{ X x,..., Xn xn} = Pr ob{ X x} P( X = P(- = ( X Συνάρτηση πυκνότητας πιθανότητας: P( x X n P X ( x x... xn p ( d = Pr ob{ x X < x + dx,..., x X < x + dx } x x X n n n n x x xn ' ' X x = ( ' ' =... ( '... X x x X x n P( p d p dx dx Συνδυασμένη συνάρτηση κατανομής πιθανότητας (joint probability distribution δύο τυχαίων διανυσμάτων: P ( x, y = Prob{ X XY x, Y y }
Vector random variables Αναμενόμενη τιμή (expected value τυχαίου διανύσματος Έστω Χ τυχαίο διάνυσμα. Η συνάρτηση κατανομής πιθανότητας ορίζεται ως: μ =Ε{ X} μ... x f ( x,..., x dx... dx = X i i n n Ορίζοντας την οριακή πυκνότητα πιθανότητας (marginal pdf ως: f X ( x =... (,...,... i i xi f x xn dx dxi dxi+ dx X n έχουμε μi = xi f X ( x i i dx i Πίνακας συνδιασποράς (covariance matrix Cov( X = Σ = E{( X μ( X μ T } Διαγώνιοι όροι: σ i συμμετρικός πίνακας
Vector random variables Πίνακας αυτοσυσχέτισης (autocorrelation matrix { T Τ R = E XX } = Σ μμ Ασυσχέτιστα τυχαία διανύσματα: T T E{ XY } = E{ X} E{ Y } Ορθογώνια τυχαία διανύσματα: n T E{ XY} = E{ X Y} = i= Ανεξάρτητα τυχαία διανύσματα: p ( x, y = p ( x p ( y XY X Y i i Η πολυμεταβλητή Γκαουσιανή κατανομή. Το τυχαίο διάνυσμα Χ ακολουθεί Γκαουσιανή κατανομή όταν: Τ px( x,..., x = exp / ( ( x μ Σ ( x μ / ( π Σ X ( μσ, Αν επιπλέον, οι τ.μ. X i είναι και ανεξάρτητες p ( x,..., x = p ( x = X Xi i i= xi μ i = exp / ( π σ... σ Ν i= σi σ Σ =... σ Ν
Multivariate Gaussian distribution ρ: συντελεστής συσχέτισης (=σ / /σ σ Μετασχηματισμοί Γκαουσιανών τυχαίων διανυσμάτων Υ= ΑΧ Υ X ( μσ, Τ ( Αμ, ΑΣΑ
Παράδειγμα: Autoregressive model with exogenous inputs (ARX yt ( + ayt ( +... + ayt ( n = but ( +... + but ( m Πρόβλεψη n yt ( = ayt (... ayt n ( n + but ( +... + but m ( m T θ = [ a... an b... bm] T ϕ( t = [ yt (... yt ( n ut (... ut ( m] T y ( t = ϕ ( t θ = yˆ ( t θ Τα μοντέλα αυτά αποτελούν ίσως την πιο κοινή παραμετρική μέθοδο αναγνώρισης συστημάτων Linear regression (γραμμική ή παλινδρόμηση στατιστική, φ(t: regressors Όταν υπάρχουν και όροι y(t n: autoregression u(t: Exogenous input > Autoregressive with exogenous inputs (ARX Θα μελετήσουμε τις ιδιότητες των μοντέλων αυτών αναλυτικά σε επόμενα μαθήματα m
Παράδειγμα: ARX model - Σύνολο δεδομένων Z = {(, u y(,..., u(, y( } ˆ Ν θ = arg min V ( θ, Ζ Ν θ V (, ( ( ˆ θ Ζ Ν = y t y( t θ = ( y( t ϕ ( t θ Ν Ν t= t= d V Ν T t y t t θ Ν t= T = ( θ, Ζ = ϕ( ( ( ϕ ( θ d ˆ T θν = ϕ( t ϕ ( t ϕ( t y( t t= t=
First order autoregressive moving average (ARMA model yt ( + ayt ( = but ( ˆ T θν = ϕ( t ϕ ( t ϕ( t y( t t= t= y ( t y( t u( t aˆ t= t= ˆ = b yt ( ut ( u( t t= t= t t= = yt ( yt ( ytut ( (
Παράδειγμα Θερμοσυσκευή βυθισμένη σε υγρό: v(t Τάση r(t θερμοκρασία υγρού y(t θερμοκρασία επιφάνειας συσκευής y(t σε συνάρτηση με v(t, r(t Αλλαγή θερμοκρασίας: ανάλογη με την ηλεκτρική ισχύ >τετράγωνο της τάσης μειον την απώλεια θερμότητας στο υγρό Η απώλεια θερμότητας είναι ανάλογη με την ποσότητα y(t r(t Άρα yt yt av t yt rt ( = ( + ( β ( ( ( ϕ = ( t [ y( t v ( t r( t ] T
Ντετερμινιστικά Σήματα Πεδίο Συχνότητας Συνεχής χρόνος Περιοδικά σήματα: Σειρές Fourier jkω t xt ( = ae = ae k k= k = jk( π t Τ ( ( T T jkωt Τ a = x t e dt = x t e dt k T T k jk ( π t a k T=4T a k T=8T T=6T
Ντετερμινιστικά Σήματα Πεδίο Συχνότητας Συνεχής χρόνος Απεριοδικά σήματα: Μετασχηματισμός Fourier T ω jωt x( t = X( jω e dω π jωt X ( j ω = x ( t e dt X( jω = X( jω X( jω = X( jω e j X( jω T jωt sin( ωτω X( jω = e dt = ω T Ο Μ.F. ορίζεται και για περιοδικά σήματα X( jω = πa δ( ω kω k = k xt ( = cos( ω t X ( jω = πδ ( ω ω + πδ ( ω + ω
Discrete Fourier Transform Διακριτός χρόνος Διακριτός Μετασχηματισμός Fourier (Discrete Fourier Transform Ανάλυση συχνότητας Δf=/Ν Η μεταβλητή ω λαμβάνει διακριτές τιμές ω=πk/, k=,, k Αντίστροφος DFT π k j( π k t ut ( = U ( e k = O DFT είναι περιοδικός με περίοδο π: Συζυγής συμμετρία. Για u(t πραγματικό: U ( * ( ω = UΝ ω Άρα για πραγματικά σήματα ο DFT ορίζεται πλήρως από τις τιμές του στο [,π] (συνήθως ορίζουμε τις τιμές από [ π,π] Υπολογισμός στον υπολογιστή: Ο(Ν, Fast Fourier Transform O(log
Ισοδύναμα / π k ut ( = U ( e k= / Θεώρημα Parseval Discrete Fourier Transform j( π k t Άρα κάθε συνιστώσα ( π k U αντιστοιχεί στο βάρος κάθε συνιστώσας στο πεδίο της συχνότητας (συνεισφορά στην ισχύ του σήματος u(t Η ποσότητα αυτή ονομάζεται περιοδόγραμμα (periodogram Σημείωση: Ο DFT είναι ειδική περίπτωση του μετασχηματισμού Z(ισούται με το ΜΖ υπολογισμένο ο στο μοναδιαίο κύκλο z = U( z = u[ m] z m= j z = z = e ω m
Γραμμικά Συστήματα Πεδίο Συχνότητας Συστήματα Συνεχούς χρόνου Περιοδικά σήματα xt ( = k y k j k = h(t k = jk t = ae ω ΓΧΑ Συστήματα συνεχούς χόνου απεριοδικά σήματα y ( t a H ( jkω e jkω t x( t X( jω jωt H( jω = hte ( dt ΓΧΑ h(t yt ( = ht (* xt ( H( jω X( jω Η(jω: Μετασχηματισμός Fourier της κρουστικής απόκρισης Άρα η κρουστική απόκριση αποτελεί πλήρη περιγραφή του συστήματος
Γραμμικά Συστήματα Πεδίο Συχνότητας Hμιτονοειδής απόκριση ΓΧΑ συστήματος A cos( ω t + φ h(t A H ( jω [cos( ω t + φ + θ H ] Η απόκριση είναι επίσης ημιτονοειδής Σε διακριτό χρόνο x( t h(t θ H = H( jω yt ( = h( τ xt ( τ Σημείωση: Το συνελικτικό άθροισμα προκύπτει από το συνελικτικό ολοκλήρωμα y( t = h( τ x( t τ dτ υποθέτοντας ότι το σήμα εισόδου x(t παραμένει σταθερό μεταξύ των χρονικών στιγμών δειγματοληψίας (kτ<t<(k+t ( Ιδιότητες: τ = Ευστάθεια (πόλοι του Η(z εντός του μοναδιαίου κύκλου Αυστηρή αιτιατότητα: h(= (ισοδύναμα το σύστημα έχει καθυστέρηση
ΓΧΑ Συστήματα Διακριτός χρόνος Αυστηρή ευστάθεια: h(t Σημείωση: Ορίζοντας τον τελεστή q ως: qu( t = u( t + q u( t = u( t μπορούμε να γράψουμε: τ yt ( = h( τ xt ( τ = h( τ( q xt ( = H( qut ( τ= τ= τ H ( q = h ( τ q τ τ = Ημιτονοειδής απόκριση Διακριτός χρόνος (h(= xt t e ω j t ( = cos( ω = Re{ } j ( t yt ( h( xt ( h( Re{ e ω = τ τ = τ τ } = Ge j ( ω τ= τ= jω t jωτ jωt jω = Re e h( τ e = Re{ e G( e } = τ = = Ge ω t+ Ge jω jω ( cos( ( Απόκριση συχνότητας j Bode plots: log Ge ( ω j G( e ω ω λογαριθμική κλίμακα
Στοχαστικά Σήματα στο πεδίο της συχνότητας Πως μπορούμε να αναπαραστήσουμε στοχαστικά σήματα στο πεδίο της συχνότητας? Φάσμα ισχύος (Power spectrum: Έστω το στοχαστικό σήμα x(t. To φάσμα ισχύος του ορίζεται ως ο μετασχηματισμός Fourier της συνάρτησης αυτοσυσχέτισής του: jωτ Φ xx ( ω = ϕxx ( τ e dτ Συνεχής χρόνος συχνά συμβολίζεται και Φ x (ω j Φ Διακριτός χρόνος xx ( ω = ϕxx ( τ e ωτ τ = Καθώς (πραγματικά σήματα ϕxx ( τ = ϕxx ( τ Φ xx ( ω πάντα πραγματικό και άρτιο Με παρόμοιο τρόπο ορίζουμε το διάφασμα (cross spectrum μεταξύ δύο σημάτων ως τον μετασχηματισμό Fourier της αλληλοσυσχέτισης (cross correlation Φ = Φ jωτ yx ( ω ϕyx ( τ e dτ ( ω = ϕ ( τ j yx yx e ωτ τ = Η αλληλοσυσχέτιση δεν είναι συμμετρική: Το διάφασμα είναι μιγαδικός αριθμός
GW Αυτοσυσχέτιση και Φάσμα Ισχύος GW: Ανεξάρτητα δείγματα, μηδενική μέση τιμή, κανονική κατανομή ϕxx τ Ext τ xt σ δ τ ( = { ( ( } = ( S ( xx ω = σ γιατί? Το φάσμα του GW περιέχει όλες τις συχνότητες (από άπειρο σε +άπειρο: Λευκός θόρυβος αναλογία με λευκό χρώμα Ιδεατό σήμα, ιδανική είσοδος για αναγνώριση συστημάτων!
Στοχαστικά σήματα και ΓΧΑ συστήματα Η περιγραφή στο πεδίο του χρόνου γίνεται με τη συνάρτηση αυτοσυσχέτισης Γενικά, σε αναλογία με τα ντετερμινιστικά σήματα, η ανάλυση απλοποιείται όταν πηγαίνουμε από το πεδίο του χρόνου (αυτοσυσχέτιση στο πεδίο της συχνότητας (φάσμα ισχύος Ε { yt ( } =Ε{ h( τ xt ( τ dτ} = = h( τ Ε{ x( t τ} dτ = h( τ μ dτ = Η(: DC gain = μ h( τ dτ = μ H( x x ϕyx ( τ = E{ ytxt ( ( τ} = hae ( { xt ( axt ( τ} da= = ha ( ϕ ( τ ada xx ϕ ( τ = h( τ* ϕ ( τ yx xx Παίρνοντας ΜF και στα δύο μέλη: Φ ( ω =Η( ω Φ ( ω yx xx x h(t
Στοχαστικά σήματα και ΓΧΑ συστήματα Αυτοσυσχέτιση εξόδου: ϕyy ( τ = E{ y( t y( t+ τ} = E{ y( t+ τ h( a x( t a da} = = hae ( { yt ( + τ xt ( a} da= β = a = h ( a ϕ ( τ + α da = h ( β ϕ ( τ β d β yx ϕ ( τ = h( τ* ϕ ( τ yy ΜF: Φ = Φ Συνδυάζοντας: yx * yy ( ω yx ( ω H ( ω ϕ ( τ = h( τ* ϕ ( τ* h( τ yy Φ =Η Φ H * yy ( ω ( ω xx ( ω ( ω xx Φ ( ω = Η( ω Φ ( ω yy xx yx Η(ω : system power gain (κέρδος ισχύος H μέση ισχύς ενός στοχαστικού σήματος x(t στη ζώνη συχνοτήτων (ω,ω είναι: ω ω Φ xx ( ω dω h(t
Ισχύς εξόδου: Στοχαστικά σήματα και ΓΧΑ συστήματα E{ yt ( } =Φ yy ( = Η( ω Φxx ( ω dω π σ =Φ ( μ y yy y Σε διακριτό χρόνο ισχύουν εντελώς ανάλογες σχέσεις: μ = μ H y x ( Πεδίο χρόνου Πεδίο συχνότητας ϕ ( τ = h( τ* ϕ ( τ Φ yx ( ω =Η( ω Φxx ( ω yx ϕ ( τ = h( τ* ϕ ( τ* h( τ yy xx xx ϕ ( τ = h( τ* ϕ ( τ yy yx Φ Ισχύς, διακύμανση π y yy y * yy ( ω = Φ yx ( ω H ( ω Φ ( ω = Η( ω Φ ( ω E{ yt ( } =Φ yy ( = ( ω xx ( ω dω π Η Φ π σ =Φ ( μ Οι σχέσεις αυτές θα μας χρησιμεύσουν στην αναγνώριση συστημάτων στο πεδίο της συχνότητας yy xx h(t
Power spectral density estimation Πως υπολογίζουμε (εκτίμηση πυκνότητας φασματικής ισχύος power spectral density estimation στην πράξη το φάσμα ισχύος? Δύο βασικές προσεγγίσεις: Εκτίμηση της συνάρτησης αυτοσυσχέτισης, κατόπιν DFT Κατευθείαν υπολογισμός από τα δεδομένα με DFT Η πιο απλή προσέγγιση είναι η προσέγγιση του περιοδογράμματος (φάσμα >τετράγωνο του περιοδογράμματος Έστω η ακόλουθη εκτίμηση της αυτοσυσχέτισης: Ν m ˆ ϕxx ( τ = xnxn ( ( + τ, τ n= lim xnxn ( ( τ = ϕxx( τ Εργοδικότητα: n= Άρα μπορούμε να εκτιμήσουμε το φάσμα ισχύος παίρνοντας το DFT της ελπίζοντας ότι θα είναι αμερόληπτη και συνεπής (unbiased consistent ˆ ϕ ( τ xx
Παίρνοντας DFT Φ ˆ ( { ˆ xx ω = DFT ϕxx ( τ} = Ν j ωτ = ˆ ϕxx ( τ e = τ = Power spectral density estimation Ν Ν m jωτ = xnxn ( ( + τ e = τ = n= = Χ Ν ( ω Ν (πολλαπλ. με e jω(n n Άρα μπορούμε να εκτιμήσουμε το φάσμα από το δείγμα του σήματος x(t {t=,,} παίρνοντας το τετράγωνο του DFT του (περιοδόγραμμα periodogram Μπορεί να αποδειχθεί ότι: lim ˆ = (αμερόληπτη εκτίμηση E{ Φxx ( ω} Φxx ( ω αλλά Var ˆ ω ω { Φ ( } Φ xx xx( Η εκτίμηση δεν είναι ακριβής!