Στοχαστικά Σήµατα & Εφαρµογές Βέλτιστα Φίλτρα Wiener ιδάσκων: Ν. Παπανδρέου (Π.. 7/8) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής CEID 7-8 Εισαγωγή ιατύπωση του προβλήµατος: οθέντος των από κοινού WSS στοχαστικών διαδικασιών (n) και (n), υπολόγισε τους συντελεστές του φίλτρου W(z), ώστε η έξοδος n ˆ( ) να αποτελεί τη βέλτιστη εκτίµηση του σήµατος (n), δηλαδή την εκτίµηση µετοελάχιστοµέσο τετραγωνικό σφάλµα (MSE: mean square error): { } { } = wk ( ) wk ( ) ˆ min E en ( ) min E n ( ) n ( ) σήµα αναφοράς n ( ) σήµα εισόδου n ( ) W( z) ˆ( ) n en ( ) σήµα σφάλµατος σήµα εξόδου CEID 7-8
Εισαγωγή Εφαρµογή: Φιλτράρισµα (filterin - noise reuction) µετάδοση οµιλίας σε περιβάλλον θορύβου µετάδοση δεδοµένων σε κανάλι µε θόρυβο ανίχνευση και προσδιορισµός θέσης στόχων αποκατάσταση σηµάτων εικόνας, µουσικής un ( ) n ( ) n ( ) W( z) ˆ( ) n en ( ) n ( ) = n ( ) + un ( ) CEID 7-8 Εισαγωγή Εφαρµογή: Ακύρωση θορύβου (noise cancellation) αεροπορικές επικοινωνίες τεχνολογία ήχου καταστολή ηχούς (ακουστικής, ηλεκτρικής) Sinal source s( n) s( n) + u( n) rn ( ) = sn ( ) u( n) ˆ Noise source un ( ) n ( ) = u( n) W( z) ˆ = ˆ n ( ) u( n) CEID 7-8
FIR Φίλτρα Wiener Εξετάζουµε τοπρόβληµαυπολογισµού των συντελεστών του φίλτρου Wiener, το οποίο παράγει τη βέλτιστη (κατά MSE) εκτίµηση µιας δοθείσας ακολουθίας (n), φιλτράροντας ένα σύνολο παρατηρήσεων (n). n ( ) n ( ) W( z) ˆ( ) n en ( ) Τα σήµατα (n) και (n) είναι από κοινού WSS στοχαστικές διαδικασίες. Το σήµα (n) εξαρτάται στατιστικά από το σήµα (n), δηλαδή τα δύο σήµατα σχετίζονται µεταξύ τους. Το φίλτρο Wiener είναι ένα FIR φίλτρο µε p συντελεστές: p W( z) = w( n) z n= n CEID 7-8 FIR Φίλτρα Wiener Οι συντελεστές του φίλτρου Wiener ελαχιστοποιούν το MSE: wk ( ) wk ( ) { } min ξ= min E en ( ) ξ = για k =,,, p w ( k) συνάρτηση κόστους (cost function) Το σφάλµα e(n) γράφεται αναλυτικά: en ( ) = n ( ) n ˆ( ) = n ( ) n ( ) wn ( ) = n ( ) wln ( ) ( l) Υπολογισµός βέλτιστων συντελεστών: { } E e( n) e ( n) ξ e ( n) = = E e( n) E{ e( n) ( n k) } = = w ( k) w ( k) w ( k) { ( ) ( } E e n n k) = Αρχή της ορθογωνιότητας για k =,,, p CEID 7-8 p
FIR Φίλτρα Wiener Άρα: p E{ e( n) ( n k) } = E ( n) w( l) ( n l) ( n k) = p E ( n) ( n k) w( l) ( n l) ( n k) = p { } { } E ( n) ( n k) w( l) E ( n l) ( n k) = από κοινού WSS διαδικασίες p r( k) w( l) r ( k l) = για k =,,, p Το παραπάνω σύστηµα γραµµικών εξισώσεων είναι γνωστό ως εξισώσεις Wiener-Hopf. CEID 7-8 FIR Φίλτρα Wiener Γράφουµεσεµορφή πινάκων: p wlr () ( k l) = r( k) για k =,,, p r ( k) = r ( k) k k k = : = : w() r () + w() r ( ) + + w( p ) r ( p+ ) = r () w() r () + w() r ( ) + + w( p ) r ( p+ ) = r () = p : w() r ( p ) + w() r ( p ) + + w( p ) r () = r ( p ) r () () ( ) () () r r p w r r () () ( ) () r() r r p w = r ( ) ( ) () ( ) r( p ) p r p r w p Hermitian Toeplitz p p R w = r CEID 7-8
FIR Φίλτρα Wiener Το ελάχιστο MSE υπολογίζεται ως εξής: { } { e ( n) } p ξ min = E e( n) = E e( n) = E e( n) ( n) w ( k) ( n k) p = E e( n) ( n) e( n) w ( k) ( n k) p { en ( ) ( )} ( ) { ( ) ( )} = E n w k E e n n k { ( ) ( )} p = E ( n) w( k) ( n k) ( n) p = E n n w( k) E p = r () w( k) r ( k) { ( n) ( n k) } Από αρχή ορθογωνιότητας k =,,, p CEID 7-8 FIR Φίλτρα Wiener Συνοπτικά: wk ( ) wk ( ) { } min ξ= min E en ( ) εξισώσεις Wiener-Hopf p wlr () ( k l) = r( k) για k =,,, p R w = r w = R r p ξ min = r k = () w( k) r ( k) ξ min = r () r w = r () r R r H H CEID 7-8
FIR Φίλτρα Wiener ιερεύνηση της συνάρτησης κόστους: { } { e ( n) } p ξ ( w) = E e( n) = E e( n) = E e( n) ( n) w ( k) ( n k) p { en ( ) ( )} ( ) { en ( ) ( )} = E n w k E n k p p p = E ( n) w( k) ( n k) ( n) w ( k) E ( n) w( l) ( n l) ( n k) p { } { } = E ( n ) ( n) wke ( ) ( nn ) ( k) p p w ( k) E{ ( n) ( n k) } w( l) E{ ( n l) ( n k) } p p p p = r () w( k) r ( k) w ( k) r ( k) + w ( k) w( l) r ( k l) H H H = r () r w w r + w R w ευτεροβάθµια εξίσωση ως προς w(k). CEID 7-8 FIR Φίλτρα Wiener Έστω ότι το φίλτρο Wiener έχει δύο συντελεστές. Επίσης, (n) και (n) είναι από κοινού WSS στοχαστικές διαδικασίες µεπραγµατικές τιµές, όπου r () =, r () =, r () =., r () = και r () =.5. T T ξ ( w) = r () w r + w R w = r() r () r () w() r () [ w() w() ] [ w() w() ] r() + r () r () w() w() =. [ w() w() ] + [ w() w() ].5 w(). w() 9 w() w () w () = + + w opt w () opt = R r = =. 5 w () opt ξ ( w ) =.5 opt CEID 7-8
FIR Φίλτρα Wiener 8 cost function 6 5 w w 5 8 6 w - - 6 8 w CEID 7-8 un ( ) n ( ) Φιλτράρισµαθορύβου: n ( ) W( z) ˆ( ) n n ( ) en ( ) Θεωρούµε ότι ο θόρυβος u(n) έχει µηδενική µέση τιµή, διασπορά και είναι ασυσχέτιστος µε τοσήµα (n). Συνεπώς: { } { } { ( ) ( )} { ( ) ( )} { ( ) ( )} { ( ) ( )} r ( k) = E ( n) ( n k) = E [ ( n) + u( n)][ ( n k) + u ( n k)] = E n n k + Enu n k + Eun n k + Eunu n k = r ( k) + r ( k) + r ( k) + r ( k) = r ( k) + r ( k) u u u u { } { } { } { } r ( k) = E ( n) ( n k) = E ( n)[ ( n k) + u ( n k)] = E n ( ) ( n k) + Enu ( ) ( n k) = r( k) + r ( k) = r( k) u CEID 7-8 σ u
Άρα, οι εξισώσεις Wiener-Hopf γράφονται: r () () ( ) () () r r p w r r () () ( ) () r() r r p w = r ( ) ( ) () ( ) r( p ) p r p r w p r () ( ) () ( ) () () r p ru ru p w r r () ( ) () ( ) w() r () r p ru ru p + = r ( ) () ( ) ( ) ( ) r ( p ) p r ru p r w p u ( ) R + R w = r u CEID 7-8 amplitue.5.5 -.5 - -.5 esire sinal () N=5; f=^3; Fs=*^; t=(:n-)/fs; =sin(*pi*f*t); % number of % frequency (khz) % samplin frequency % timin vector % esire sinal u=.5*rann(,n); % aitive noise =+u; % input sinal p=; % size of Wiener FIR amplitue - 6 8.5.5 -.5 - -.5 input sinal () amplitue.5.5 -.5 - -.5 output sinal (y) - 6 8 CEID 7-8 - 6 8
Ακύρωση θορύβου: Θεωρούµε ότι ο θόρυβος u(n) είναι WSS διαδικασία µε µηδενική µέση τιµή και είναι ασυσχέτιστος µε τοσήµα s(n). Sinal source sn ( ) yn ( ) = sn ( ) + u( n) r( n) = s( n) ˆ ( n) Noise source u( n) n ( ) = u( n) W ( z) ˆ = ˆ ( n) u ( n) R w = r Rw = r u uu R u w = r yu { } { } { ( ) ( )} { ( ) ( )} yu ( ) r ( k) = E u ( n) u ( n k) = E [ y( n) s( n)] u ( n k) uu = E y n u n k E s n u n k = r k CEID 7-8 amplitue 3 - - -3 source sinal (s) amplitue 3 - - -3 corrupte sinal (y) - 6 8 6 8 sn ( ) = sin(π.5 n) un ( ): N (,) u( n) =.8 u( n ) + u( n) u ( n) =.6 u ( n ) + u( n) amplitue - 6 8 6 8 reference sinal (u) 3 - - -3-6 8 6 8 CEID 7-8
recovere output recovere output 3 source p=6 3 source p= amplitue - amplitue - - - -3-3 - 6 8 6 8-6 8 6 8 recovere output N rˆ u ( k) = u( n) u( n k) N n= N rˆ yu ( k) = ( ) y n u( n k) N n= amplitue 3 - - -3 source p=36 CEID 7-8 - 6 8 6 8 Αναγνώριση συστήµατος: Θεωρούµε ότι το άγνωστο σύστηµα H(z) είναι ένα FIR φίλτρο ης τάξης, όπου h() =.9, h() =.6 και h() =.. Επιπλέον, η είσοδος (n) είναι τυχαία διαδικασία λευκού θορύβου µε µοναδιαία διασπορά. Να υπολογιστεί το φίλτρο Wiener ης τάξης. n ( ) H( z) W ( z) ( n) = ( n) h( n) ˆ( n ) en ( ) Ισχύει: r k k ( k ) =σ( ) δ( ) R r() r() r() = r () r () r () = r() r() r() CEID 7-8
= E ( n) ( n k) = E h( l) ( n l) ( n k) Επίσης: r ( k) { } r { } = hle () n ( ln ) ( k) = hlr ( ) ( k l) = hk ( ) [ r () r () r ()] T [ h() h() h() ] = = = h r () = E{ ( n) } = E h( k) ( n k) h( l) ( n l) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( k = hk hle{ n ln k} hk hlr = = k l = h k) T Άρα: ξ = r R r T min r () T ξ min = h k hh= k = ( ) CEID 7-8 Φιλτράρισµαθορύβου: Να υπολογιστεί το FIR φίλτρο Wiener πρώτης τάξης για το σύστηµα του σχήµατος, όπου v(n) και u(n) ασυσχέτιστες διαδικασίες λευκού θορύβου µε σ =.3 και σ =.. v u un ( ) vn ( ) ( n) n ( ) W( z) ˆ( ) n n ( ) en ( ) z z.796.93 CEID 7-8
Το σήµα αναφοράς (n) γράφεται: n ( ) =.796 n ( ) + vn ( ) (α) Πρόκειται για διαδικασία AR() µεφάσµα: P ( e ) =σ v +.796e Το σήµα εισόδου (n) γράφεται: n ( ) = n ( ) + un ( ) όπου: n ( ) =.93 n ( ) + n ( ) (β) Από (α) & (β) προκύπτει: n ( ) =.796 n ( ) + vn ( ) [ ] [ ] n ( ).93 n ( ) =.796 n ( ).93 n ( ) + vn ( ) n ( ).35 n ( ).7 n ( ) = vn ( ) (γ) Πρόκειται για διαδικασία AR() µεφάσµα: P ( e ) =σ v.35e.7e CEID 7-8 8 P ( e ) =σ v +.796e Manitue (B) 6 - - -6...6.8 Frequency (units of pi) 8 Manitue (B) 6 P ( e ) =σ v.35e.7e - - -6...6.8 Frequency (units of pi) CEID 7-8
Οι εξισώσεις Wiener-Hopf γράφονται: r() r() w() r() r() r() = w( ) r() Η αυτοσυσχέτιση r (k) υπολογίζεται ως εξής : { } {[ ][ ]} r ( k) = E ( n) ( n k) = E ( n) + u( n) ( n k) + u( n k) { ( ) ( )} { ( ) ( )} { ( ) ( )} { ( ) ( )} = E n n k + E n u n k + E u n n k + E u n u n k = r ( k) + r ( k) + r ( k) + r ( k) = r ( k) + r ( k) u u u u όπου: r k k r r u( ) =σuδ( ) u() =. και u() = CEID 7-8 Η διαδικασία (n) είναι AR(): P ( e ) =σ v.35e.7e Άρα, οι εξισώσεις Yule-Walker γράφονται: r() r().35 r() r() r() =.7 r() και: σ = r ().35 r ().7 r () v άρα:.35 r () +.59 r () =.7 r ().35 r () + r () = r ().35 r ().7 r () =.3 r () =.9 r () =.9 r () =.766 CEID 7-8
Η ετεροσυσχέτιση r (k) υπολογίζεται ως εξής : { } { [ ]} r ( k) = E ( n) ( n k) = E ( n) ( n k) + u( n k) { ( ) ( )} { ( ) ( )} = E n n k + E n u n k {[ ( ).93 ( ) ] ( )} = E n n n k { ( ) ( )}.93 { ( ) ( )} = E n n k E n n k = r ( k).93 r ( k ) άρα: r () = r ().93 r ( ) =.86 r () = r ().93 r () =.387 CEID 7-8 Τελικά, από τις εξισώσεις Wiener-Hopf: r() r() w() r() r() r() = w( ) r() r() r() ru() ru() w() r() + = r() r() ru() ru( ) w() r().9.9. w().86.9.9 + =. w().387 w().795 = w().73 Το ελάχιστο σφάλµα είναι: ξ min = r () w() r () w() r () CEID 7-8
Η διαδικασία (n) είναι AR(): P ( e ) =σ v +.796e Άρα, οι εξισώσεις Yule-Walker γράφονται:.796 r () = r () και: σ = r () +.796 r () v r () =.86 Τελικά: ξ min =.77 CEID 7-8 Η συνάρτηση κόστους είναι: T T ξ ( w) = r () w r + w R w.86.6.9 w() = r () [ w() w() ] + [ w() w() ].387.9.6 w() = + + + +.86.97 w().773 w().6 w ().6 w ().985 w() w() cost function 5 5 w.5.5 6.655 -.5 7.5887 5.97 5.3773 5.97.68.3 6.655 5.3773 3.39659.68 3.39659.96.655.96 3.39659.7587.655.8733.96.8733.655 w - - - - w.7587 5.97.3.7587 5.3773.68.3 7.5887 6.655 5.97 7.958 8.569 5.3773 9.8337 9.9.68 6.655 5.97.3 3.39659.7587 - -.5 6.655 9.9 8.569 9.8337.77 7.958 5.3773 7.5887.68.3 5.97 3.39659.655.96.7587.8733.8733 -.655 - -.5 - -.5.5.5 w CEID 7-8