Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 4: Βέλτιστα Φίλτρα Wiener Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ και Πληροφορικής
Σκοποί ενότητας Παρουσίαση βασικών εννοιών των βέλτιστων φίλτρων Wiever καθώς και βασικών παραδειγμάτων εφαρμογής τους.
Περιεχόμενα ενότητας Εισαγωγή FIR φίλτρα Wiener Εφαρμογές Φιλτράρισμα θορύβου Ακύρωση θορύβου Αναγνώριση συστήματος 3
Βασικές έννοιες φίλτρων Wiener
Eισαγωγή Διατύπωση προβλήματος Δοθέντων των από κοινού WSS στοχαστικών διαδικασιών x(n) και d(n), υπολόγισε τους συντελεστές του φίλτρου W(z), ώστε η έξοδος d n να αποτελεί τη βέλτιστη εκτίμηση του σήματος d(n), δηλαδή την εκτίμηση με το ελάχιστο μέσο τετραγωνικό σφάλμα (MSE: mean square error): w( k ) w( k ) ˆ min E e( n) min E d( n) d( n) σήμα αναφοράς (ή επιθυμητό σήμα) dn ( ) σήμα εισόδου xn ( ) W( z) ˆ( ) dn en ( ) σήμα σφάλματος σήμα εξόδου 5
Eισαγωγή Ενδεικτικές εφαρμογές (1/) Φιλτράρισμα (filtering - noise reduction) μετάδοση σημάτων σε περιβάλλον θορύβου μετάδοση δεδομένων σε κανάλι με θόρυβο ανίχνευση και προσδιορισμός θέσης πηγών (στόχων) αποκατάσταση πολυμεσικών σημάτων (βίντεο, εικόνα, μουσική) un ( ) dn ( ) xn ( ) W( z) ˆ( ) dn en ( ) x( n) d( n) u( n) 6
Eισαγωγή Ενδεικτικές εφαρμογές (/) Ακύρωση θορύβου (noise cancellation) αεροπορικές επικοινωνίες τεχνολογία ήχου καταστολή ηχούς (ακουστικής, ηλεκτρικής) Signal source sn ( ) s( n) u1( n) r( n) s( n) u ( n) ˆ1 Noise source un ( ) x( n) u ( n) W( z) ˆ ˆ1 d( n) u ( n) 7
FIR Φίλτρα Wiener (1/9) Εξετάζουμε το πρόβλημα υπολογισμού των συντελεστών του φίλτρου Wiener, το οποίο παράγει τη βέλτιστη (κατά MSE) εκτίμηση μιας δοθείσας ακολουθίας d(n), φιλτράροντας ένα σύνολο παρατηρήσεων x(n). dn ( ) xn ( ) dn ˆ( ) en ( ) W( z) Τα σήματα x(n) και d(n) είναι από κοινού WSS στοχαστικές διαδικασίες. Το σήμα d(n) εξαρτάται στατιστικά από το σήμα x(n), δηλαδή τα δύο σήματα σχετίζονται μεταξύ τους. Το φίλτρο Wiener είναι ένα FIR φίλτρο με p συντελεστές: p1 W ( z) w( n) z n n 8
FIR Φίλτρα Wiener (/9) Οι συντελεστές του φίλτρου Wiener ελαχιστοποιούν το MSE: min min E e( n) w( k ) w( k ) w ( k) k,1,, p 1 συνάρτηση κόστους (cost function) Το σφάλμα e(n) γράφεται αναλυτικά: p1 e( n) d( n) dˆ ( n) d( n) x( n) w( n) d( n) w( l) x( n l) Υπολογισμός βέλτιστων συντελεστών: E e( n) e ( n) e ( n) E e( n) Ee( n) x ( n k) w ( k) w ( k) w ( k) E e( n) x ( n k) Αρχή της ορθογωνιότητας l 9
FIR Φίλτρα Wiener (3/9) Άρα: p1 Ee( n) x ( n k) E d( n) w( l) x( n l) x ( n k) l από κοινού WSS διαδικασίες p1 E d( n) x ( n k) w( l) x( n l) x ( n k) l p1 E d( n) x ( n k) w( l) E x( n l) x ( n k) p1 l l r ( k) w( l) r ( k l) dx Το παραπάνω σύστημα γραμμικών εξισώσεων είναι γνωστό ως εξισώσεις Wiener-Hopf. x 1
FIR Φίλτρα Wiener (4/9) Γράφουμε σε μορφή πινάκων: p1 w( l) rx ( k l) rdx ( k) k,1,, p1 l r ( k) r ( k) x x k k : 1: w() r () w(1) r ( 1) w( p 1) r ( p 1) r () x x x dx w() r (1) w(1) r ( ) w( p 1) r ( p ) r (1) x x x dx k p 1: w() r ( p 1) w(1) r ( p ) w( p 1) r () r ( p 1) x x x dx r () (1) ( 1) () () x rx rx p w rdx r (1) () ( ) (1) dx(1) x r r x rx p w r ( 1) ( ) () ( 1) rdx( p 1) x p rx p r w p x Hermitian Toeplitz p p R w x r dx Λύση με αλγ. Levinson 11
FIR Φίλτρα Wiener (5/9) Το ελάχιστο MSE υπολογίζεται ως εξής: p1 min E e( n) Ee( n) e ( n) E e( n) d ( n) w ( k) x ( n k) k p1 E e( n) d ( n) e( n) w ( k) x ( n k) k p1 en ( ) ( ) ( ) ( ) ( ) E d n w k E e n x n k k p1 E d( n) w( k) x( n k) d ( n) k p1 E d( n) d ( n) w( k) E p1 k k r () w( k) r ( k) d dx d ( n) x( n k) Από αρχή ορθογωνιότητας για k =,1,, p 1 1
FIR Φίλτρα Wiener (6/9) Συνοπτικά: w( k ) w( k ) min min E e( n) εξισώσεις Wiener-Hopf p1 wlr () x( k l) rdx ( k) k,1,, p1 l 1 R w r w R r x dx x dx p1 min rd k () w( k) r ( k) dx min r () r w r () r R r H H 1 d dx d dx x dx 13
FIR Φίλτρα Wiener (7/9) Διερεύνηση της συνάρτησης κόστους: e ( n) p1 ( w) E e( n) E e( n) E e( n) d ( n) w ( k) x ( n k) k p1 e( n) ( ) ( ) e( n) ( ) E d n w k E x n k k p1 p1 p1 E d( n) w( k) x( n k) d ( n) w ( k) E d( n) w( l) x( n l) x ( n k) k k l p1 E d( n) d ( n) w( k) E d ( n) x( n k) k p1 1 w ( k) E d( n) x ( n k) w( l) E x( n l) x ( n k) k l p p1 p1 p1 p1 d dx dx x k k k l r () w( k) r ( k) w ( k) r ( k) w ( k) w( l) r ( k l) H H H r () r w w r w R w d dx dx x Δευτεροβάθμια εξίσωση ως προς w(k). 14
FIR Φίλτρα Wiener (8/9) Έστω ότι το φίλτρο Wiener έχει δύο συντελεστές. Επίσης, d(n) και x(n) είναι από κοινού WSS στοχαστικές διαδικασίες με πραγματικές τιμές, όπου r x () = 1, r x (1) =, r d () = 4.4, r dx () = και r dx (1) = 4.5. T T ( w) r () w r w R w d dx x = rdx() rx () rx (1) w() rd () w() w(1) w() w(1) rdx(1) rx (1) rx () w(1) 1 w() 4.4 w() w(1) w() w(1) 4.5 1 w(1) 4.4 4 w() 9 w(1) w () w (1) w opt 1 w () opt Rx rdx 4. 5 w () 1 opt ( w ).15 opt 15
FIR Φίλτρα Wiener (9/9) 1 cost function 8 6 4 1 1 8 5 w1 w 5 1 w1 6 4 - - 4 6 8 1 w 16
Εφαρμογές βέλτιστου φίλτρου Wiener
Φιτράρισμα θορύβου (1/3) dn ( ) un ( ) dn ( ) xn ( ) dn ˆ( ) W( z) en ( ) Θεωρούμε ότι ο θόρυβος u(n) έχει μηδενική μέση τιμή, διασπορά σ u και είναι ασυσχέτιστος με το σήμα d(n). Συνεπώς: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) r ( k) E x( n) x ( n k) E [ d( n) u( n)][ d ( n k) u ( n k)] x E d n d n k E d n u n k E u n d n k E u n u n k r ( k) r ( k) r ( k) r ( k) r ( k) r ( k) d du du u d u r ( k) E d( n) x ( n k) E d( n)[ d ( n k) u ( n k)] dx E d( n) d ( n k) E d( n) u ( n k) r ( k) r ( k) r ( k) d du d 18
Φιτράρισμα θορύβου (/3) Άρα, οι εξισώσεις Wiener-Hopf γράφονται: r () (1) ( 1) () () x rx rx p w rdx r (1) () ( ) (1) dx(1) x r r x rx p w r ( 1) ( ) () ( 1) rdx( p 1) x p rx p r w p x r () ( 1) () ( 1) () () d rd p ru ru p w rd r (1) ( ) (1) ( ) w(1) rd (1) d rd p ru ru p r ( 1) () ( 1) ( ) ( 1) rd ( p 1) d p rd ru p r w p u R R w r d u d 19
amplitude 1.5 1.5 -.5-1 -1.5 Φιτράρισμα θορύβου (3/3) desired signal (d) - 4 6 8 1 samples N=51; f=1^3; Fs=*1^4; t=(:n-1)/fs; d=sin(*pi*f*t); u=.5*randn(1,n); x=d+u; p=1; % number of samples % frequency (khz) % sampling frequency % timing vector % desired signal % additive noise % input signal % size of Wiener FIR input signal (x) 1.5 1 amplitude.5 -.5-1 -1.5-4 6 8 1 samples
Ακύρωση θορύβου (1/3) Θεωρούμε ότι ο θόρυβος u(n) είναι διαδικασία WSS με μηδενική μέση τιμή και είναι ασυσχέτιστος με το σήμα s(n). Signal source sn ( ) y( n) s( n) u1( n) r( n) s( n) dˆ ( n) Noise source un ( ) x( n) u ( n) W( z) ˆ ˆ1 d( n) u ( n) 1 R w Rxw rdx u u1u 1 ( ) ( ) ( ) ( ) yu ( ) r ( k) E u ( n) u ( n k) E [ y( n) s( n)] u ( n k) uu E y n u n k E s n u n k r k r R u w r yu 1
amplitude 4 3 1-1 - -3 Ακύρωση θορύβου (/3) source signal (s) corrupted signal (y) 4 3 amplitude 1-1 - -3-4 4 6 8 1 1 14 16 18 samples s( n) sin(.5 n) un ( ) : N (,1) u1( n).8 u1( n 1) u( n) u ( n).6 u ( n 1) u( n) Τα σήματα θορύβου εδώ θεωρούνται διαδικασίες AR(1) amplitude -4 4 6 8 1 1 14 16 18 samples 4 3 1-1 - reference signal (u) -3-4 4 6 8 1 1 14 16 18 samples
amplitude 4 3 1-1 - -3 Ακύρωση θορύβου (3/3) recovered output source p=6 amplitude 4 3 1-1 - -3 recovered output source p=1-4 4 6 8 1 1 14 16 18 samples N 1 1 rˆ u ( k) u( n) u( n k) N n N 1 1 rˆ yu ( k) ( ) y n u( n k) N n amplitude -4 4 6 8 1 1 14 16 18 samples 4 3 1-1 - recovered output source p=36-3 -4 4 6 8 1 1 14 16 18 samples 3
Αναγνώριση συστήματος (1/) Θεωρούμε ότι το άγνωστο σύστημα H(z) είναι ένα FIR φίλτρο ης τάξης, όπου h() =.9, h(1) =.6 και h =.. Επιπλέον, η είσοδος x(n) είναι τυχαία διαδικασία λευκού θορύβου με μοναδιαία διασπορά. Να υπολογιστεί το φίλτρο Wiener ης τάξης. xn ( ) H( z) W( z) d( n) x( n) h( n) dn ˆ( ) en ( ) Ισχύει: r k k x( k) x( )( ) R rx () rx (1) rx () 1 r (1) r () r (1) 1 rx () rx (1) rx () 1 x x x x 4
Αναγνώριση συστήματος (/) Επίσης: rd x( k) Ed( n) x( n k) E h( l) x( n l) x( n k) l r d r h( l) E x( n l) x( n k) h( l) r ( k l) hk ( ) l l r () r (1) r () T h() h(1) h() h dx dx dx dx () Ed ( n) E h( k) x( n k) h( l) x( n l) k l ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( h k h l Ex n l x n k h k h l rx k l h k) k l k l k x T Άρα: r R r T 1 min r d () dx x dx T min h k hh k ( ) 5
Φιλτράρισμα θορύβου (1/9) Να υπολογιστεί το FIR φίλτρο Wiener πρώτης τάξης για το σύστημα του σχήματος, όπου v(n) και u(n) ασυσχέτιστες διαδικασίες λευκού θορύβου με σ v =.31 και σ u =.1. dn ( ) un ( ) vn ( ) dn ( ) gn ( ) xn ( ) W( z) ˆ( ) dn en ( ) z 1 z 1.796.931 6
Φιλτράρισμα θορύβου (/9) Το σήμα αναφοράς d(n) γράφεται: d n =.796d n 1 + v n Πρόκειται για διαδικασία AR(1) με φάσμα: P d e jω = σ v 1 1 +.796e jω Το σήμα εισόδου x(n) γράφεται ως x n = g n + u n, όπου g n =.931g n 1 + d(n) (β) Από (α) και (β) προκύπτει: d n =.796d n 1 + v n g n.931g n 1 =.796[g n 1.931g n + v n g n.135g n 1.741g n = v(n) Πρόκειται για διαδικασία AR() με φάσμα: P d e jω = σ v 1 1.135e jω.741e jω (α) 7
14 1 1 8 Φιλτράρισμα θορύβου (3/9) j P ( e ) d v 1 1.796e j Magnitude (db) 6 4 - -4-6..4.6.8 1 Frequency (units of pi) Magnitude (db) 14 1 1 8 6 4 j P ( e ) g v 1 1.135e.7411e j j - -4-6..4.6.8 1 Frequency (units of pi) 8
Φιλτράρισμα θορύβου (4/9) Οι εξισώσεις Wiener-Hopf γράφονται: rx () rx (1) w() rdx () rx (1) rx () w( 1) rdx (1) Η αυτοσυσχέτιση r x (k) υπολογίζεται ως εξής : r ( k) E x( n) x( n k) E g( n) u( n) g( n k) u( n k) x ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) E g n g n k E g n u n k E u n g n k E u n u n k r ( k) r ( k) r ( k) r ( k) r ( k) r ( k) g gu gu u g u όπου: r u k = σ u δ k r u =.1 και r u 1 = 9
Φιλτράρισμα θορύβου (5/9) Η διαδικασία g(n) είναι AR(): P d e jω = σ v 1 Άρα, οι εξισώσεις Yule-Walker γράφονται: rg () rg (1).135 rg (1) rg (1) rg ().7411 rg () Και: σ v = r g.135r g 1.741r g Άρα:.135 r ().59 r (1) g.741 r ().135 r (1) r () g g g r ().135 r (1).741 r ().31 g g g g 1.135e jω.741e jω rg rg rg ().944 (1).49 ().766 3
Φιλτράρισμα θορύβου (6/9) Η ετεροσυσχέτιση r dx (k) υπολογίζεται ως εξής : r ( k) E d( n) x( n k) E d( n) g( n k) u( n k) dx ( ) ( ) ( ) ( ) E d n g n k E d n u n k E g( n).931 g( n 1) g( n k) ( ) ( ).931 ( 1) ( ) E g n g n k E g n g n k Άρα: r ( k).931 r ( k 1) g r () r ().931 r ( 1).486 dx g g g r (1) r (1).931 r ().387 dx g g 31
Φιλτράρισμα θορύβου (7/9) Τελικά, από τις εξισώσεις Wiener-Hopf: rx () rx (1) w() rdx () rx (1) rx () w( 1) rdx (1) rg() rg(1) ru () ru (1) w() rdx () rg(1) rg() ru (1) ru ( ) w(1) rdx (1).944.49.1 w().486.49.944.1 w(1).387 w().795 w(1).731 Το ελάχιστο σφάλμα είναι: ξ min = r d w r dx w 1 r dx (1) 3
Φιλτράρισμα θορύβου (8/9) Η διαδικασία d(n) είναι AR(1): P d e jω = σ v 1 Άρα, οι εξισώσεις Yule-Walker γράφονται: 1+.796e jω Τελικά:.796 r () r (1) r d v d d min.177 d ().796 r (1) rd ().846 33
Φιλτράρισμα θορύβου (9/9) Η συνάρτηση κόστους είναι: T T ( w) r () w r w R w d dx x =.486 1.64.49 w() rd () w() w(1) w() w(1).387.49 1.64 w(1).846.97 w().773 w(1) 1.64 w () 1.64 w (1).985 w() w(1) cost function 15 1 5 w1 1.5 1.5 6.61515 7.5887 5.97144 5.3773 5.97144 4.6841 4.43 6.61515 5.3773 3.39659 4.6841 5.97144 4.43 3.39659.7587.1916 1.46545 5.3773.1916 4.6841.81733 4.43 3.39659.7587 7.5887 6.61515 5.97144 1.46545 7.958 8.5469 5.3773.1916.81733 9.8337 9.191 4.6841 6.61515 5.97144 4.43 3.39659.7587 1.46545 -.5 1 w1-1 - - -1 w 1-1 -1.5 6.61515 9.191 1.4774 8.5469 9.8337 7.958 5.3773 7.5887 4.6841.7587 4.43 5.97144 3.39659 1.46545.1916.7587.81733.81733-1.46545 - -1.5-1 -.5.5 1 1.5 w 34
Τέλος Ενότητας 4
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 36
Σημειώματα
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.. 38
Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Κώστας Μπερμπερίδης. «Στοχαστικά Σήματα και Τηλεπικοιωνίες». Έκδοση: 1.. Πάτρα 15. Διαθέσιμο από τη δικτυακή διεύθυνση: https://eclass.upatras.gr/courses/ceid1111/ 39
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4. [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/by-nc-sa/4./ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 4
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 41