Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Παραλλαγές του αλγόριθµου Least Mean Square (LMS)

Transcript

1 ΒΕΣ 6 Προσαροστικά Συστήατα στις Τηλεπικοινωνίες Προσαροστικοί Αλγόριθοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Παραλλαγές του αλγόριθου Least Mean Square (LMS) Βιβλιογραφία Ενότητας Benvenuto []: Κεφάλαιo 3 Widrow [985]: Chapter 5 Haykin []: Chapter 9 Sayed [3]: Chapter 4 Boroujeny [999]: Chapter Bose [3]: Chapter 8 Chassaing [4]: Chapter 7

2 Εισαγωγή Ηαποτελεσατικότητα του αλγορίθου LMS οδήγησε στη δηιουργία πολλών παραλλαγών του. Οι περισσότερες από τις παραλλαγές αυτές LMS έχουν προκύψει ε ευρυστικό τρόπο, και που στοχεύουν συνήθως σε κάποιο από τα ακόλουθα: Βελτίωση της ταχύτητας σύγκλισης προς τη λύση Wiener Αντιετώπιση της ανεπαρκούς εκτίησης του πίνακα αυτοσυσχέτισης R u. Ελάττωση της υπολογιστικής πολυπλοκότητας του Μείωση του παράγοντα απορρύθισης (απόκλιση από τη λύση Wiener στη όνιη κατάσταση) Σύνοψη του αλγορίθου LMS: n + ) = + όπου : = d( y( y( = u < < tr{ R } = [ ( = [ w ( n ) w ( τη χρονική στιγή n. u Αλγόριθοι LMS ε βάσητο πρόσηο n M )] = τα Μ + πιο πρόσφατα δείγατα της στοχαστικής διεργασίας εισόδου, w ( ] = συντελεστές φίλτρου, τάξης Μ, M

3 Αλγόριθοι LMS ε βάσητο πρόσηο Στους αλγορίθους LMS ε βάσητοπρόσηο στην εξίσωση προσαρογής δεν χρησιοποιείται η τιή τουσφάλατος ήτου διανύσατος εισόδου () αλλά όνο τα πρόσηα τους(sign() ή sign() Στόχος είναι η ελάττωση της υπολογιστικής πολυπλοκότητας του αλγορίθου LMS. Οι πιο διαδεδοένοι αλγόριθοι LMS ε βάσητοπρόσηο είναι: a) Ο sign LMS b) Ο data-sign LMS c) O sign-sign LMS Sign LMS Η εξίσωση προσαρογής του αλγόριθο sign LMS είναι: O αλγόριθος sign LMS ελαχιστοποιεί το σφάλα: J ( ) = E{ } σε αντίθεση ε τοναπλόlms που ελαχιστοποιεί το σφάλα: J ( ) = E{ } w ( n + ) = + sign{ } όπου ε sign{ } συβολίζεται η συνάρτηση προσήου : > sign{} = = - < Σε σχέση ε τοναπλόlms η τιή τουσφάλατος προσέγγισης έχει αντικατασταθεί από το πρόσηο του σφάλατος. εδοένου ότι ο υπολογισός του προσήου πραγατοποιείται πολύ γρήγορα σε υλοποιήσεις ε υλικό(hardware implementatio ο αλγόριθος sign LMS είναι διαδεδοένος σε πρακτικές εφαρογές ειδικά όταν συνδυάζεται ε επιλογή του της ορφής = -Κ, Κ= φυσικός αριθός (ο πολλαπλασιασός του ε το επιτυγχάνεται ε Κ ολισθήσεις δεξιά) 3

4 Data-Sign LMS Η εξίσωση προσαρογής του αλγόριθο data-sign LMS είναι: n + ) = + sign{ } όπου ε sign{ } δηλώνεται η εφαρογή της συνάρτηση προσήου sign{ } σε κάθε στοιχείο του διανύσατος Σε σχέση ε τοναπλόlms οι τιές των δειγάτων εισόδου n-i), i= M έχουν αντικατασταθεί από τα αντίστοιχα πρόσηα Όπως και στην περίπτωση του sign-lms ο υπολογισός του προσήου πραγατοποιείται πολύ γρήγορα και επιταχύνει την εκτέλεση του αλγορίθου σε υλοποιήσεις ε υλικό Sign-Sign LMS Η εξίσωση προσαρογής του αλγόριθο sign-sign LMS είναι: n + ) = + sign{ } sign{ } όπου ε sign{ } δηλώνεται η εφαρογή της συνάρτηση προσήου sign{ } σε κάθε στοιχείο του διανύσατος Σε σχέση ε τοναπλόlms: ητιή τουσφάλατος προσέγγισης έχει αντικατασταθεί από το πρόσηο του σφάλατος. Οι τιές των δειγάτων εισόδου n-i), i= M έχουν αντικατασταθεί από τα αντίστοιχα πρόσηα Όπως και στην περίπτωση του sign-lms ο υπολογισός του προσήου πραγατοποιείται πολύ γρήγορα και επιταχύνει την εκτέλεση του αλγορίθου σε υλοποιήσεις ε υλικό 4

5 Παράδειγα Έστω x( = a x(n-)+a x(n-)+v(, όπου v( είναι λευκός θόρυβος ε έση τιή v = και διασπορά σ ν. Να εφαροστούν οι αλγόριθοι (i) LMS, (ii) sign LMS, (iii) data-sign LMS, (iii) sign-sign LMS για τον υπολογισό τωντιών α και α., δεδοένων πραγατώσεων u i ( (i = ). Να συγκρίνεται: (α) την ταχύτητα σύγκλισης των αλγορίθων, (β) τo σφάλα απόκλισης από τη λύση Wiener, (γ) την ταχύτητα εκτέλεσης των αλγορίθων Jex (db) Παράδειγα (συν.) Sign algorithms: Jexcess (Jex) error in db Sign-sign LMS Sign LMS Data-sign LMS LMS Στο σχήαδίνεταιτο έσο σφάλα απόκλισης από τη βέλτιστη λύση υπολογισένο σε 5 πραγατώσεις: Κόκκινο: LMS Μπλε: Sign-LMS Μαύρο: Data-Sign LMS Ροζ: Sign-Sign LMS Παρατηρήσεις: Ο αλγόριθος sign LMS συγκλίνει γρηγορότερα αλλά έχει εγαλύτερο σφάλα στηόνιη κατάσταση 5

6 Παράδειγα (συν.) Filter Coefficients w - LMS w - LMS w - Sign LMS w - Sign LMS w - Data-sign LMS w - Data-sign LMS w - Sign-sign LMS w - Sign-sign LMS Στο σχήα δίνεται η προσέγγιση των συντελεστών του γραικού προβλέπτη (πραγατικές τιές α =.3, α =-.995) από ένα προσαροστικό φίλτρο δύο συντελεστών ([w w ]): Κόκκινο: LMS Μπλε: Sign-LMS Μαύρο: Data-Sign LMS Ροζ: Sign-Sign LMS Κανονικοποιηένος LMS Στον αλγόριθο LMS εγάλες τιές του διανύσατος εισόδου είναι δυνατό να δηιουργήσουν αστάθεια στην προσέγγιση της λύσης Wiener διότι πορεί στιγιαία να έχουε: > M u ( n i) Ο κανονικοποιηένος αλγόριθος LMS (NLMS) αντιετωπίζει αυτό το ενδεχόενο τροποποιώντας την εξίσωση προσαρογής σε: n + ) = + ε + u ( και ε είναι ηδενισό του παραονοαστή στην ανωτέρω σχέση i= όπου είναι το τροποποιηένο κέρδος προσαρογής ια θετική σταθερά που διασφαλίζει τον η 6

7 Κανονικοποιηένος LMS (ΙΙ) Οι επιλογές για τα και ε βασίζονται στις παρακάτω ανισότητες < <, < ε << M M Υπάρχει ια παραλλαγή του κανονικοποιηένου αλγόριθου LMS γνωστή ως sign NLMS στην οποία η εξίσωση προσαρογής είναι: n + ) = + sign( ) ε + u ( Οι κανονικοποιηένοι αλγόριθοι LMS έχουν πιο αργή αλλά περισσότερο οαλή σύγκλιση όπως φαίνεται στο παράδειγα του γραικού προβλέπτη που ακολουθεί Παράδειγα: Επίδοση LMS και NLMS στη γραική πρόβλεψη Jex (db) Normalized algorithms: Jexcess (Jex) error in db LMS NLMS.5 Filter Coefficients w - LMS w - LMS w - NLMS w - NLMS w - sign NLMS w - sign NLMS

8 Leaky LMS Η εξίσωση προσαρογής του αλγόριθο Leaky (διαρρέων) LMS είναι: n + ) = ( α) + όπου < α << Μ Η ανωτέρω εξίσωση ελαχιστοποιεί το σφάλα: J ( ) = E{ } + ae{ } ηλαδή ελαχιστοποιείται το έσο τετραγωνικό σφάλα ε προσπάθειαοι συντελεστές του φίλτρου να κρατηθούν όσο το δυνατό ικρότεροι (αυτό είναι ιδιαιτέρα σηαντικό για υλοποίηση του αλγορίθου LMS σε επεξεργαστές σταθερής υποδιαστολής) Ο αλγόριθος Leaky LMS δεν πορείναφτάσειστηλύσηwiener αλλά χρησιοποιείται σε περιπτώσεις που ο πίνακας αυτοσυσχέτισης R u της διεργασίας εισόδου δεν είναι καλά ορισένος (η αντιστρέψιος) lim E{ w ( } = ( R + ai) p αντί για lim E{ } = R n u n u p Παράδειγα: Επίδοση LMS και leaky LMS (γραική πρόβλεψη) 6 Jexcess (Jex) error in db for LMS (red) and leaky LMS (black) Filter Coefficients 4.5 Jex (db)

9 LMS ε εταβλητό κέρδος προσαρογής Στον αλγόριθο LMS το κέρδος προσαρογής πρέπει να αρκετά ικρό για να διασφαλίζεται η σύγκλιση και σχετικά εγάλο για να έχουε γρήγορη σύγκλιση. Για τιές του που διασφαλίζεται η σύγκλιση επιθυούε εγάλο στις αρχικές επαναλήψεις και ικρότερο στη συνέχεια ώστε να ελαχιστοποιείται η απόκλιση από τη βέλτιστη λύση Στους αλγορίθους ε εταβλητό κέρδος η εξίσωση προσαρογής έχει τη ορφή: n + ) = + ( δηλαδή το εταβάλλεται ε το χρόνο LMS ε εταβλητό κέρδος προσαρογής (ΙΙ) Παραλλαγές αλγορίθων LMS ε εταβλητό :. ύο τιές για το : όταν n K ( = > όταν n > K. Προοδευτικά ειούενο : ( n ) = n + n 3. ανάλογο του σφάλατος : ( n + ) = a ( + a a, a <<, ( [ min max ] 9

10 LMS ε διανυσατικό κέρδος προσαρογής Στον αλγόριθο LMS ε διανυσατικό κέρδος προσαρογής (VLMS) η εξίσωση προσαρογής έχει τη ορφή: n + ) = + ( o όπου ο τελεστής στοιχείο προς στοιχείο Τα στοιχεία i του διανύσατος εταβάλλεται ε το χρόνο ανάλογα σύφωνα ε τους πιο κάτω κανόνες: αν η i - στη συνιστώσα της βάθωσης i ( στις τελευταίες m επαναλήψεις έχει a πάντα εταβαλλόενο πρόσηο i ( n + ) = a i ( ( [ ] i min max o δηλώνει πολλαπλασιασό αν η i - στη συνιστώσα της βάθωσης δεν έχει ποτέ εταβαλλόενο πρόσηο στις τελευταίες m τυπικές τιές : m [ επαναλήψεις 3] a = Παράδειγα: Σύγκριση LMS και LMS ε εταβλητό 6 Jexcess (Jex) error in db for LMS (red) and Variable LMS (black) Filter Coefficients for the linear predictor: LMS(red) and VLMS(black) 4.5 Jex (db) d ˆ( n )

11 Παραδείγατα Στο επόενο σχήα δίνεται η βασική διάταξη αναγνώρισης συστήατος ε τη χρήση του αλγορίθου LMS: Το επιθυητό σήα d( είναι ίσο ετηναπόκρισητουάγνωστου συστήατος Το σήα είναι συνήθως λευκός θόρυβος Παράδειγα: Έστω ότι το άγνωστο σύστηα περιγράφεταιαπότησυνάρτησηεταφοράς:.5 +.z +.z H( z) =.5z Για οντελοποίηση του ανωτέρω συστήατος ε FIR φίλτρο τάξης 5 (6 συντελεστών) ηβέλτιστηλύση(λύση Wiener) είναι: wo =[ ] Εφαρόζουε τους αλγορίθους LMS, Leaky-LMS, NLMS, VLMS και εξετάζουε τησύγκλισητους Αναγνώριση συστήατος (ΙΙ) Filter Coefficients Στο διπλανό σχήα φαίνεται η σταδιακή προσέγγιση των τιών w (=.5) και w (=.35) ε διάφορες παραλλαγές του αλγορίθου LMS: Κόκκινο: LMS Μπλε: ΝLMS Μαύρο: VLMS Ροζ: Leaky LMS