Προσαρµοστικοί αλγόριθµοι στο πεδίο της συχνότητας: ΟταχύςLMS (Fast Least Mean Square - FLMS)

Transcript

1 ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί αλγόριθµοι στο πεδίο της συχνότητας: ΟταχύςLS (Fast Least ean Square - FLS) Κανοινικοποιηµένος FLS Βιβλιογραφία Ενότητας Benvenuto [22]: Κεφάλαιo 3 Widrow [985]: Chapter 6 Haykin [2]: Chapter Sayed [23]: Chapter 6 Boroujeny [999]: Chapter 6 Bose [23]: Chapter 9 Chassaing [24]: Chapter 7

2 Εισαγωγή Η πολυπλοκότητα του αλγορίθµου LS αυξάνει µε την αύξηση της τάξης του προσαρµοστικού φίλτρου (τάξη Μ, Μ+ συντελεστές) average time (sec) per output sample Οαριθµός των πολλαπλασιασµών που απαιτούνται για τον υπολογισµό κάθε νέας τιµής της εξόδου είναι 2Μ+. Σε πολλές περιπτώσεις όπως η καταπίεση Performance of LS verus the number of filter coefficients ηχούς (echo cancellatio απαιτείται µεγάλη τάξη φίλτρου για να έχουµε αξιόλογα αποτελέσµατα: x Number of filter coefficients Αυξάνοντας την τάξη του φίλτρου Μ αυξάνουµε την υπολογιστική πολυπλοκότητα και το χρόνο εκτέλεσης Με την αύξηση του χρόνου εκτέλεσης υπάρχει περίπτωση να µην είναι εφικτή η επεξεργασία σε πραγµατικό χρόνο (υπολογισµός της επόµενης τιµής της εξόδου πριν τη λήψη νέου δείγµατος στην είσοδο) ιδιαίτερα για υψηλούς ρυθµούς δειγµατοληψίας της εισόδου. Τµηµατικός αλγόριθµος LS Οι τµηµατικοί προσαρµοστικοί αλγόριθµοι για επιτάχυνση των υπολογισµών ενηµερώνουν τους συντελεστές του προσαρµοστικού φίλτρου µετά από ένα σύνολο δειγµάτων εισόδου (τµήµα -bloc και όχισεκάθενέοδείγµα: Το µέγεθος του τµήµατος επιλέγεται συνήθως να είναι ίσο µε τοπλήθοςτων συντελεστών του φίλτρου (Μ+) Το κόστος για αυτή την επιλογή είναι µια µικρή καθυστέρηση στον υπολογισµό της εξόδου η οποία είναι αναγκαία για τη συγκέντρωση σε ένα καταχωρητή (buffer) των απαραίτητων δειγµάτων Ηοµαδοποίηση των δειγµάτων εισόδου δίνει τη δυνατότητα υλοποίησης του φίλτρου µε τηβοήθειατουµετασχηµατισµού στο πεδίο της συχνότητας. Επιπλέον κάνει τον αλγόριθµο λιγότεροευαίσθητοσεπαροδικέςµεταβολές του σήµατος εισόδου 2

3 Τµηµατικός αλγόριθµος LS (ΙΙ) Η βασική διάταξη των τµηµατικών προσαρµοστικών αλγορίθµων δίνεται στο επόµενο σχήµα: w( = [ w ( τις χρονικές στιγµές n = kl + i, i =,,..., L = + = µέγεθος τµήµατος (bloc y( = w d( = d( w (... ( = w ( ] = συντελεστές φίλτρου, τάξης Μ, l= w ( kl + i l), e( = d( y( e( = d( y( l i =,,..., w( k + ) = w( + 2µ i= e( = [ n )... n )] = τα Μ + πιο πρόσφατα δείγµατα της στοχαστικής διεργασίας εισόδου, Παράδειγµα Έστω x( = a x(n-)+a 2 x(n-2)+v(, όπου v( είναι λευκός θόρυβος µε µέση τιµή µ v = και διασπορά σ ν2. Να εφαρµοστούν οι αλγόριθµοι (i) LS, (ii) block LS, για τον υπολογισµό τωντιµών α και α 2., δεδοµένων πραγµατώσεων u i ( (i = ). Να συγκρίνεται: (α) την ταχύτητα σύγκλισης των αλγορίθµων, (β) τo σφάλµα απόκλισης από τη λύση Wiener, (γ) την ταχύτητα εκτέλεσης των αλγορίθµων 3

4 Coefficients w and w (bottom curves) Convergence rate for LS (blue) and BLS (red) Στο σχήµα βλέπουµε τη σύγκλιση στις πραγµατικές τιµές (α =.3, α 2 =-.995) για τους αλγορίθµους LS (µπλε) και BLS (κόκκινο) Παρατηρούµε ότιο τµηµατικός LS συγκλίνει πιο αργά προς τις σωστές τιµές (µε µικρότερο αριθµό ενηµερώσεων των συντελεστών του φίλτρου) Sample Number n ean square error (over realizations) for LS (blue) and BLS (red) Στο σχήµα βλέπουµε ότι το µέσο τετραγωνικό σφάλµα για τον αλγόριθµο LS (µπλε) µειώνεται ταχύτερα από ότι για τον BLS (κόκκινο). Εντούτοις στη µόνιµη κατάσταση (µεγάλες τιµές του το σφάλµα είναι ίδιο Sample Number n 4

5 average time (sec) Performance of LS (blue) and Block LS (red) Number of filter coefficients Στο σχήµα βλέπουµε το χρόνο εκτέλεσης των αλγορίθµων LS και BLS για διάφορες τιµές του L (µήκος φίλτρου) Είναι φανερό ότι όσο µεγαλώνει το L τόσο αυξάνει ο χρόνος εκτέλεσης για τον LS και µειώνεται το αντίστοιχο για το BLS. Από θεωρητικές µελέτες η πολυπλοκότητα για τον LS είναι Ο(L 2 ) σε αντίθεση µε τον BLS για τον οποίο έχουµε Ο(L 2 log 2 L). Σύγκλιση αλγορίθµου BLS Η σύγκλιση για τον LS διασφαλίζεται όταν ισχύουν οι σχέσεις: I 2µ Rˆ ( < I 2µ u u ( < Επειδήηεκτίµηση του πίνακα ˆ R u ( = u ( βασίζεται σε L διαφορετικές τιµές του διανύσµατος kl+i) για να έχουµε σύγκλιση χρειάζεται: 2 2 < µ < < µ < Lλ max 2 L u ( kl i ) i= µ µ ) Η απορρύθµιση δίνεται από τη σχέση: λi = tr{ Ru ( } 2 2 Παρατηρούµε ότιοbls συγκλίνει στη λύση Wiener (όπως και ο αλγόριθµος LS) αλλά χρειάζεται πιο αυστηρή επιλογή για το µ για να διασφαλίζεται η σύγκλιση αυτή Το σφάλµα στηµόνιµη κατάσταση είναι ίδιο και για τους δύο αλγορίθµους i= 5

6 Ο ταχύς αλγόριθµος LS (FLS) εδοµένου ότι στον τµηµατικό LS έχουµεοµαδοποίηση δεδοµένων σε τµήµατα είναι εύκολο να χρησιµοποιηθεί ο µετασχηµατισµός Fourier για επιτάχυνση των πράξεων σε ορισµένα τµήµατα του αλγορίθµου. Συγκεκριµένα: Ο υπολογισµός της εξόδου περιλαµβάνει µια πράξη συνέλιξης y( = w ( = wl ( kl + i l), l= i =,,..., ηοποίαµπορεί να υλοποιηθεί µε 2 ευθύς µετασχηµατισµούς Fourier, µια πράξη γινοµένου των µετασχηµατισµών και ένα αντίστροφο µετασχηµατισµό Fourier: U( = fft{ } W ( = fft{ w( } y k = ifft{ U( W ( } Ο ταχύς αλγόριθµος LS (II) Ο υπολογισµός της βάθµωσης περιλαµβάνει µια πράξη συσχέτισης: φ( = e( l= ηοποίαµπορεί να υλοποιηθεί µε 2 ευθύς µετασχηµατισµούς Fourier, µια πράξη συζυγούς συµπληρώµατος, µια πράξη γινοµένου των µετασχηµατισµών και ένα αντίστροφο µετασχηµατισµό Fourier: U( = fft{ } E( = fft{ w( } φ( = ifft{ U H ( E( } Οι ανωτέρω τροποποιήσεις οδήγησαν στο ταχύ αλγόριθµο LS ο οποίος έχει οδηγήσει σε περαιτέρω βελτίωση της ταχύτητας εκτέλεσης από ότι ο BLS όπως φαίνεται στο επόµενο παράδειγµα 6

7 Παράδειγµα Έστω x( = a x(n-)+a 2 x(n-2)+v(, όπου v( είναι λευκός θόρυβος µε µέση τιµή µ v = και διασπορά σ ν2. Να εφαρµοστούν οι αλγόριθµοι (i) BLS, (ii) FLS, για τον υπολογισµό τωντιµών α και α 2., δεδοµένων πραγµατώσεων u i ( (i = ). Να συγκρίνεται: (α) την ταχύτητα σύγκλισης των αλγορίθµων, (β) τo σφάλµα απόκλισης από τη λύση Wiener, (γ) την ταχύτητα εκτέλεσης των αλγορίθµων Coefficients w and w (bottom curves) Convergence rate for BLS (blue) and FLS (red) Sample Number n Στο σχήµα βλέπουµε τη σύγκλιση στις πραγµατικές τιµές (α =.3, α 2 =-.995) για τους αλγορίθµους BLS (µπλε) και FLS (κόκκινο) Παρατηρούµε ότιοfls συγκλίνει σηµαντικά πιο γρήγορα προς τις σωστές τιµές Η ταχύτητα σύγκλισης είναι στη πραγµατικότητα αντίστοιχη του LS µε σηµαντικά µικρότερο αριθµό ενηµερώσεων των συντελεστών του φίλτρου. 7

8 ean square error (over realizations) for BLS (blue) and FLS (red) Στο σχήµαβλέπουµε ότιτο µέσο τετραγωνικό σφάλµα για τον αλγόριθµο FLS (κόκκινο) µειώνεται σηµαντικά ταχύτερα από ότι για τον BLS (µπλε). Επιβεβαιώνεται εποµένως ότι η λύση Wiener προσεγγίζεται ταχύτερα από τον αλγόριθµο FLS Sample Number n average time (sec) Performance of BLS (blue) and FLS (red) Στο σχήµα βλέπουµε το χρόνο εκτέλεσης των αλγορίθµων FLS και BLS για διάφορες τιµές του L (µήκος φίλτρου) Είναι φανερό ότι ο αλγόριθµος FLS υπερέχει σαφώς σε χρόνο εκτέλεσης για όλες τις τιµές του L Number of filter coefficients 8

9 Κανοινικοποιηµένος FLS Κανονικοποιηµένος FLS Στον κανονικοποιηµένο αλγόριθµο FLS ηβάθµωση φ( διορθώνεται διαιρώντας µε το φάσµα ισχύος κάθε συχνοτικής περιοχής. Η ταχύτητα σύγκλισης καθορίζεται από τη µικρότερη µη µηδενική ιδιοτιµή του πίνακα αυτοσυχέτισης της εισόδου. Για να επιταχυνθεί η σύγκλιση χρησιµοποιείται στην πραγµατικότητα διανυσµατικό κέρδος προσαρµογής µ του οποίου τα στοιχεία είναι αντιστρόφως ανάλογα προς την ισχύ των συχνοτικών περιοχών του σήµατος εισόδου. Η δυνατότητα αυτή παρέχεται µέσου του υπολογισµού του µετασχηµατισµού Fourier των τµηµάτων εισόδου και δεν υπάρχει στις χρονικές εκδοχές του LS. Ο κανονικοποιηµένος αλγόριθµος FLS (NLS) χρησιµοποιεί την 2 εξίσωση προσαρµογής: P ( = U ( + ε, i =,,...,2 - i D( = Πίνακας µε διαγώνιαστοιχείατα P( φ( = ifft{ D( U i W ( k + ) = W ( + a fft H ( E } k { φ( k} i Κανονικοποιηµένος FLS (ΙΙ) Υπολογισµοί : Αρχικοποίηση: Για κάθε νέο τµήµα(blocαπό Μ δείγµατα. W() = µηδενικό διάνυσµα 2 στοιχείων U( = diag( fft({ kl L), kl L),..., kl),..., kl + L )}) = Πίνακας µε διαγώνιαστοιχείατo µετασχηµατισµό fft 2. P() = µοναδιαίο διάνυσµα 2 των στοιχείων των τµηµάτων k - και k σε διαδοχή στοιχείων y k = τα τελευταίαμ στοιχείατου ifft{ U( W ( } ek = d k y k = αντίστροφος ταχύς µετασχηµατισµός Fourier Συµβολισµοί: = µηδενικό διάνυσµα στοιχείων Ek = fft fft = ταχύς µετασχηµατισµός Fourier e k ifft = αντίστροφος ταχύς 2 Pi ( = γpi ( k ) + ( γ ) U i (, i =,,...,2 - µετασχηµατισµός Fourier D( = Πίνακας µε διαγώνιαστοιχείατα α = κέρδος προσαρµογής P( i H P i ( = ισχύς i- στης συχνότητας του φ( = τα πρώταμ στοιχείατου ifft{ D( U ( Ek } k-στου τµήµατος φ( Μ = τάξη προσαρµοστικού φίλτρου W ( k + ) = W ( + a fft γ = σταθερά µνήµης για προσαρµοστικό υπολογισµό της ισχύος 9

10 Παραδείγµατα Στο επόµενο σχήµα δίνεται η βασική διάταξη αναγνώρισης συστήµατος µε τη χρήση του αλγορίθµου LS: Το επιθυµητό σήµα d( είναι ίσο µετηναπόκρισητουάγνωστου συστήµατος Το σήµα είναι συνήθως λευκός θόρυβος Παράδειγµα: Έστω ότι το άγνωστο σύστηµα περιγράφεταιαπότησυνάρτησηµεταφοράς: z +.z H( z) =.25z Για µοντελοποίηση του ανωτέρω συστήµατος µε FIR φίλτρο τάξης 5 (6 συντελεστών) ηβέλτιστηλύση(λύση Wiener) είναι: wo =[ ] Εφαρµόζουµε τους αλγορίθµους LS, Leaky-LS, NLS, VLS και εξετάζουµε τησύγκλισητους. Αναγνώριση συστήµατος (ΙΙ) Coefficients w and w (bottom curves) Convergence rate forbls (blue) and FLS (red) Iterations n Στο διπλανό σχήµα φαίνεται ησταδιακήπροσέγγισητων τιµών w (=.5) και w (=.325) για τους αλγορίθµους BLS και FLS: Παρατηρούµε µια εµφανή βελτίωση στη ταχύτητα σύγκλισης για τον κανονικοποιηµένο αλγόριθµος FLS (κόκκινες καµπύλες) σε σχέση µε τον αλγόριθµο BLS (µπλε καµπύλες)

11 Αναγνώριση συστήµατος (ΙΙ) average time (sec) Performance of BLS (blue) and FLS (red) Στο σχήµα βλέπουµε το χρόνο εκτέλεσης των αλγορίθµων FLS και BLS για διάφορες τιµές του L (µήκος φίλτρου) Είναι φανερό ότι ο αλγόριθµος FLS υπερέχει σαφώς σε χρόνο εκτέλεσης για όλες τις τιµές του L Number of filter coefficients