Προσαρμοζόμενα Φίλτρα

Transcript

1 Προσαρμοζόμενα Φίλτρα (adaptive filters) Εισαγωγικά - Φίλτρα Wieer Προσέγγιση - Αλγόριθμος LS Eφαρμογές Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS

2 Πρώτη προσέγγιση x() Η (z) y() Οι συντελεστές h (k) εξαρτώνται από την χρονική στιγμή. Τα προσαρμοζόμενα φίλτρα (και τα αντίστοιχα συστήματα) είναι (συνήθως) FIR φίλτρα με μεταβαλλόμενους συντελεστές. Οι συντελεστές h(k) μεταβάλλονται σε κάθε χρονική στιγμή με τέτοιο τρόπο ώστε να ελαττώσουν κάποια συνάρτηση κόστους - σφάλματος. 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS / 35

3 Διαδικασία ελαχιστοποίησης του σφάλματος Είσοδος x() Η (z) απόκριση y() _ Επιθυμητή απόκριση d() + Βασική δομή σφάλμα e Το σφάλμα e προκύπτει από την διαφορά του σήματος εισόδου και του επιθυμητού σήματος. Το σήμα αυτό e χρησιμοποιείται για την προσαρμογή των συντελεστών h(k) 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 3/ 35

4 d() Adaptive FIR φίλτρα x() Η (z) y() _ + e x() z -1 z -1 z -1 z -1 h() h(1) h() h(3) h(4) Σ y() Προσαρμογή των συντελεστών d() Το φίλτρο αυτό έχει 5 συντελεστές που μεταβάλλονται ώστε τελικά να ελαχιστοποιηθεί το σφάλμα 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 4/ 35

5 Adaptive FIR φίλτρα υπολογισμοί y() N 1 k h(k)x( k),..., e d() y() Oι συντελεστέςh(k) βρίσκονται με την ελαχιστοποίηση του τετραγωνικού σφάλματος e για όλα τα σημεία του σήματος. Δηλαδή την ελαχιστοποίηση του αθροίσματος : J e 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 5/ 35

6 Χ Χ 1 Χ Χ 3 Χ 4 Χ 5 Χ 6 Χ 7 Χ 8 Χ 9 Χ 1 Χ 11 Χ 1 Χ 13 Χ 14 Χ 15 Χ 16 Χ 17 Χ 18 Χ 19 y 7 4 k h k x 7 k y y 1 y y 3 y 4 y 5 y 6 y 7 y 8 y 9 y 1 y 11 y 1 y 13 y 14 y 15 y 16 y 17 y 18 y 19 + _ e 7 d d 1 d d 3 d 4 d 5 d 6 d 7 d 8 d 9 d 1 d 11 d 1 d 13 d 14 d 15 d 16 d 17 d 18 d Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 6/ 35

7 Υπολογισμοί (συνέχεια) J e d d() h(k)x( k) k () k h(k)r dx (k) + k l h(k)h(l)r xx (k l) r dx ετεροσυσχέτιση μεταξύ d και x: r xx αυτοσυσχέτιση του x: r dx(k) d()x( k) k N 1 r xx(k) x()x( k) k N 1 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 7/ 35

8 Συνάρτηση σφάλματος Είδαμε J d () k h(k)r dx (k) + k l h(k)h(l)r xx (k l) J J h f (k) h o (k) h(1) h() Η συνάρτηση κόστους J είναι τετραγωνική συνάρτηση και έχει ένα και μοναδικό ελάχιστο 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 8/ 35

9 Βέλτιστοι συντελεστές ελάχιστο σφάλμα J J h(m) N 1 k h d opt () m (k)r k xx h(k)r dx (k) + (k m) r k dx l (m) h(k)h(l)r xx (k l) m N J J mi 1 h opt (k) Αυτό είναι ένα σύστημα γραμμικών εξισώσεων και η λύση του είναι οι βέλτιστοι συντελεστές Σε μορφή πίνακα: h opt r xx r dx Wieer-Hopf 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 9/ 35

10 Βέλτιστοι συντελεστές ελάχιστο σφάλμα Για τους βέλτιστους συντελεστές: h opt r xx r dx το σφάλμα J είναι ελάχιστο και έχει την εξής τιμή: J J mi h opt (k) J mi d d d () () () k k h h k opt opt h(k)r (k)r (k)r dx dx dx (k) + (k) + (k) + k k k l h l opt h h(k)h(l)r opt (l)r (k)h dx opt (k) xx (l)r (k l) xx (k l) J mi d () hopt(k)rdx(k) k 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 1 / 35

11 Παράδειγμα - φίλτρο 1ης τάξεως h opt r xx r dx y()hx() e d()-hx() x() h y() _ d() + J J e [d() hx()] e h o (k) h opt r xx r dx [d()] + [hx()] [d()hx()] J h h opt [x()] h opt [x()] d()x() d()x() συνέχεια 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 11 / 35

12 Παράδειγμα - φίλτρο 1ης τάξεως (συνέχεια) Ποία είναι η συσχέτιση του σφάλματος e με το σήμα x()?? r xe e x() [d()x()] h [d()x()] [d() h [x()] [d()x()] opt [x()] opt x()][x()] [x()] Δηλαδή το σφάλμα e είναι ορθογώνιο με το σήμα x() 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 1 / 35

13 Σε κάθε περίπτωση που έχουμε συνθήκη ελαχίστου σφάλματος το σφάλμα e είναι ορθογώνιο με το σήμα x(). Δηλαδή Ε{e()x()} 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 13 / 35

14 Στατιστική θεώρηση (Wieer) Η εξίσωση που είδαμε h opt r xx r dx Είναι η εξίσωση Wieer Hopf και υπολογίζει τις βέλτιστες τιμές σε ένα κύκλο Η διαδικασία αυτή δεν ενδείκνυται για μη στατικές διαδικασίες 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 14 / 35

15 . Αντίθετα προτείνεται η επαναληπτική διαδικασία Steepest Descet algorithm J J mi h opt (k) Και η απλοποιημένη τεχνική ο αλγόριθμος LS Θα δούμε πώς το ελάχιστο αυτό μπορεί να προσεγγισθεί σε διαδοχικά βήματα 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 15 / 35

16 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 16 / 35

17 Ο αλγόριθμος LS (Least ea Squares) Είναι ο βασικός αλγόριθμος προσαρμοζόμενων φίλτρων Βρίσκει το ελάχιστο του σφάλματος J με διαδοχικά βήματα που βασίζονται στην παράγωγο (βάθμωση J) της συνάρτησης J Προϋποθέσεις: Το σύστημα είναι στατικό Οι τιμές (παράμετροι) h(k) J διορθώνονται σε κάθε χρονική στιγμή δηλαδή h(k)h (k) h f (k) h o (k) 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 17 / 35

18 ΟαλγόριθμοςLS: Περιγραφή Υλοποίηση H διόρθωση των τιμών h(k) γίνεται σύμφωνα με την θεμελιώδη σχέση : h (k)) h 1 (k)) + μ e x( k) k N 1,1, Όπου e d() y() είναι το σφάλμα μείναιτοβήμα, μία παράμετρος που καθορίζει την ταχύτητα σύγκλισης Για εξασφάλιση ευστάθειας το μ επιλέγεται στην εξής περιοχή τιμών: 1 1 < μ < όπου P x η ισχύς του σήματος Px x () NP x + 1 e()x( k) είναι μία προσέγγιση (του αρνητικού) της βάθμωσης ( J) 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 18 / 35

19 ΟαλγόριθμοςLS πως προέκυψε J J mi h o (k) Η εύρεση του ελαχίστου J mi γίνεται μέσω της βάθμωσης J H J J,,.. h() h(1) h J (N 1) T σε διαδοχικά βήματα : Η +1 Η μ όπου Η {h (k) k, N 1} Τ αλγόριθμος steepest descet 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 19 / 35

20 ΟαλγόριθμοςLS πως προέκυψε εξίσωση Widrow Hopf Η εκτίμηση της βάθμωσης γίνεται βάσει του στιγμιαίου σφάλματος και είναι: ˆ e H e e H e (d y H ) e y H e X Από τηνσχέση: Η +1 Η μ Η +1 Η + e μ X 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS / 35

21 y()hx() e d()-hx() Παράδειγμα - φίλτρο 1ης τάξεως J e [d()] + [d() hx()] [hx()] [d()hx()] x() h y() _ d() + e J h o (k) h opt r xx r dx Εύρεση της λύσης J μ καί h J h σταδιακά (χωρίς προσέγγιση): hh J h[x()] h () r ()] [1 μr h+ 1 h h + 1 h μ[h Rxx dx xx()]h + d()x() hr Για h + 1 h hrxx( ) rdx( ) ή h [x()] d()x( μr dx () xx () r opt ) dx () 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 1 / 35

22 Παράδειγμα - φίλτρο 1ης τάξεως (συνέχεια) Προσέγγιση της λύσης J h με τον αλγόριθμο LS h + 1 h J e h h J μ h e e h καί e [d() y()] h [d() hx()] e h e x() + h 1 h μ[ ex()] h + h +1 h + e μ x μe x() Για μία τιμή h Η +1 Η + e μ X Για όλες τις τιμές Η{h1,h } 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS / 35

23 Άλλες μορφές του αλγορίθμου LS NLS (ormalized LS) SELS (sig-error LS) SDLS (sig-data LS) SSLS (sig-sig LS) 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 3 / 35

24 NLS- ormalized LS Στον NLS το βήμα σύγκλισης μ μεταβάλεται σύμφωνα με την (στιγμιαία) ισχύ του σήματος Αυτό συνεπάγεται ταχύτερη σύγκλιση Στο σχήμα δεικνύεται συγκριτικά ησυμπεριφορά (σύγκλισης) των αλγορίθμων LS και NLS 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 4 / 35

25 SELS (sig-error LS) h (k) όπου h 1(k) + μsg[e]x( k) 1 e > sg[e] e 1 e < < μ < 1 NP x 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 5 / 35

26 SDLS (sig-data LS) h (k) h 1 (k) + μe sg[x( 1 x > όπου sg[x] x 1 x < k)] < μ < 1 NP x 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 6 / 35

27 SSLS (sig-sig LS) h (k) όπου h 1(k) + μsg[e]sg[x( 1 z > sg[z] z 1 z < < μ < 1 NP x k)] 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 7 / 35

28 Εφαρμογή 1 Ανάδειξη (φασματικής) γραμμής (lie ehacer) Αναφέρεται σε ένα ημιτονικό σήμα (φασματική γραμμή) που βρίσκεται μέσα σε θόρυβο ευρέως φάσματος και ασυσχέτιστο με το σήμα. x() x(-δ) z -Δ H (z) + _ Σ d() y() Με καθυστέρηση Δ σημείων το σήμα εισόδου x( Δ) αποσυσχετίζεται από το επιθυμητό σήμα d()x() e 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 8 / 35

29 Δίνεται το σήμα x()si(π/5) +oise() όπου ο θόρυβος oise() είναι Gaussia μορφής σ 1 ασυσχέτιστος από το ημιτονικό σήμα. Δ1, μ.1 και Ν. Εφαρμόζουμε τον LS αλγόριθμο 5 πλάτος (α) (β) χρόνος α)το ημιτονικό σήμα με προσθετικό θόρυβο σ 1. β) η βελτιωμένη έξοδος του lie ehacer (και το ιδανικό ημίτονο). 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 9 / 35

30 Εφαρμογή Ταυτοποίηση συστήματος (system idetificatio) Βασική δομή άγνωστο σύστημα d() Γεννήτρια Θορύβου x() + e _ Adaptive FIR filter y() σήμα σφάλμα Το άγνωστο σύστημα θα βρεθεί με το adaptive FIR filter 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 3 / 35

31 Εφαρμογή 3 Ταυτοποίηση αντιστρόφου συστήματος (iverse system idetificatio) 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 31 / 35

32 Εφαρμογή 4 Εξάλειψη θορύβου (Adaptive oise caceler) Σήμα s() +θόρυβος x() y() s()+x() + _ e e y() xˆ() s() + x() xˆ() Θόρυβος x () συσχετισμένος με x() x () Adaptive xˆ( ) FIR filter Σήμα e s () + [x() xˆ()] E{e } E{s ()} + E{x() x()} + E{s()[x() x()]} E{e } E{s ()} + E{x() xˆ( )} + s()[x() xˆ()] mie{e } E{s ()} + mie{x() xˆ( )} ax SNR 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 3 / 35

33 Βιβλιογραφία 1.Hayes, oso H., Statistical Digital Sigal Processig ad odelig, Joh Wiley & Sos, 1996, Hayki, Simo, Adaptive Filter Theory, Pretice-Hall, Ic., speech.html 4.Berard Widrow ad Samuel D. Stears: Adaptive Sigal Processig, Pretice- Hall, Ic., Upper Saddle River, NJ, Steve. Kay: Fudametals of Statistical Sigal Processig--Detectio Theory', Volume, Pretice-Hall, Ic., V.K.Igle ad J.Proakis, Digital Sigal Processig, PWS Publishig Compay, S. Stears ad R. David, Sigal Processig Algorithms, Pretice Hall Ic. Eglewood Cliffs, New Jersey, Ifeachor E.C &Jervis B.W., Digital Sigal Processig:Apractical Approach, Addiso-Wesley, Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 33 / 35

34 atlab demos ad commads LS Adaptive Equalizatio lmsadeq LS Adaptive Liear Predictiolmsadlp LS Adaptive Noise Cacellatio lmsdemo LS Adaptive Time-Delay Estimatiolmsadtde Nostatioary Chael Estimatiokalmsce RLS Adaptive Noise Cacellatiorlsdemo adaptlms, adaptlms, adaptrls, adaptsd, adaptse, adaptss 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 34 / 35

35 Εργασίες - ερωτήσεις 1. Θέτωντας κατάλληλο delay υλοποιείστε την εύρεση αντίστροφου συστήματος. Βρείτε τους συντελεστές h opt από την εξίσωση Wieer-Hopf και συγκρίνεται με τους συντελεστές του lms αλγορίθμου. 3. Επαληθεύστε τα όρια τιμών του συντελεστού σύγκλισης μ 4. Συγκρίνετε τους αλγορίθμους του matlab (adaptlms, adaptsd, adaptse, και adaptss) 5. Υπολογείστε το μέσο τετραγωνικό σφάλμα για ένα αριθμό σημείων 1Ν καιπαρακολουθείστε έτσι την σύγκλιση του LS αλγορίθμου 14 Σ. Φωτόπουλος ΨΕΣ προσαρμοζόμενα ΦΙΛΤΡΑ adaptive FILTERS 35 / 35