Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Οαλγόριθµος Least Mean Square (LMS)

Transcript

1 ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Οαλγόριθµος Least ean Sqare (LS) Βιβλιογραφία Ενότητας Benvento []: Κεφάλαιo 3 Widrow [985]: Chapter 4 Haykin []: Chapter 9 Sayed [3]: Chapter 4 Borojeny [999]: Chapter 4 Bose [3]: Chapter 8 Chassaing [4]: Chapter 7

2 Εισαγωγή Ο αλγόριθµος LS είναι µια αναδροµική τεχνική επίλυσης των εξισώσεων Wiener-Hoph η οποία βασίζεται στη λογική του αλγορίθµου Steepest Descent. Σε αντίθεση µε τονsteepest Descent δεν χρειάζεται τη γνώση του πίνακα αυτοσυσχέτισης R της στοχαστικής διεργασίας εισόδου, ούτε και το διάνυσµα ετεροσυσχέτισηςp d της επιθυµητής εξόδου d( µε τηδιεργασία εισόδου ( Επιτυγχάνει ικανοποιητική προσέγγιση της λύσης Wiener χωρίς όµως να την επιτυγχάνει ακριβώς εξαιτίας του γεγονότος ότι προσεγγίζει το πίνακα αυτοσυσχέτισης R µεστιγµιαίες τιµές της εισόδου. Για την ίδια αιτία είναι περισσότερο ευαίσθητος στην επιλογή του βήµατος προσέγγισης µ από ότι ο αλγόριθµος Steepest Descent. ΟΑλγόριθµος Least ean Sqare Έχουµε ήδη δει ότι η λύση στο πρόβληµα τουβέλτιστουγραµµικού φιλτραρίσµατος δίνεται από τις εξισώσεις Wiener-Hoph: R w = p d Η ανωτέρω λύση ελαχιστοποιεί το µέσο τετραγωνικό σφάλµα: J ( w) = E[{ d( w ( } ] = σ w p + w R w d Ο αλγόριθµος Steepest Descent βρίσκει αναδροµικά τη λύση Wiener (µε κατάλληλη επιλογή της παραµέτρου µ και της τάξης του φίλτρου Μ) µε χρήση των εξισώσεων w( n + ) = w( µ J ( w) d J ( w) = p + R w d

3 εδοµένου ότι: ΟΑλγόριθµος Least ean Sqare (ΙΙ) a) Η γνώση του πίνακα αυτοσυσχέτισης R της στοχαστικής διεργασίας εισόδουκαιτουδιανύσµατος ετεροσυσχέτισης p d της επιθυµητής εξόδου d( µε τη διεργασία εισόδου ( δεν είναι συνήθως εφικτή χρειάζεται εκτίµηση τους b) Εκτίµηση του R και του p d µεπολλέςπραγµατώσεις της διεργασίας εισόδου ( είναι συνήθως µη πρακτικήκαιπολλέςφορέςαδύνατη χρειάζεται η εκτίµηση τους να γίνει από µια και µόνο πραγµάτωση µε χρήση χρονικών µέσων όρων c) Ηαξίατωνπροσαρµοστικών συστηµάτων έγκειται στην ικανότητα τους να µεταβάλλονται παρακολουθώντας τις µεταβολές του σήµατος εισόδου, η εκτίµηση των R και του p d γίνεται µε πεπερασµένο αριθµό δειγµάτων από µια πρραγµάτωση. Στον αλγόριθµο LS έχουµε διαδοχικές εκτιµήσεις των R και του p d µε βάση τα Μ (τάξη προσαρµοστικού φίλτρου) πιο πρόσφατα δείγµατα της διεργασίας εισόδου Rˆ = Rˆ όπου : ( = [ και Μ ΟΑλγόριθµος Least ean Sqare (III) Οι εξισώσεις για τον αλγόριθµο ( = ( ( LS γίνονται τότε: ( ( n )... ( n )] w( n + ) = w( + µ (ˆ p ˆ d ( R ( = τάξη του φίλτρου που χρησιµοποιείται = w( + µ ( ( d( ( w για την εκτίµηση της λύσης Wiener pˆ d = pˆ όπου : d ( = d( ( d( = το πιο πρόσφατο δείγµα της επιθυµητής εξόδου Για την υλοποίηση του αλγορίθµου LS χρειάζεται εποµένως σε κάθε χρονική στιγµή n να είναι γνωστά (να µπορούν να υπολογιστούν) τα: w(, e(, d( όπου y( = w w( = [ w ( = w( + µ ( ( d( w = w( + µ ( e( e( = d( y( = σφάλµα προσέγγισης w ( προσρµοστικού φίλτρου τη χρονική στιγµή n w( ) ( ) ( ( ) ( ( = έξοδος του προσαρµοστικού φίλτρου... w ( ] = συντελεστές του 3

4 Παράδειγµα ίνονται τα πρώτα δείγµατα µιας πραγµάτωσης ( µιας στοχαστικής διεργασίας: = [ ] Αν η επιθυµητή έξοδος είναι: d = [ ] Να εφαρµοσθεί ο αλγόριθµος LS και να βρεθούν οι διαδοχικές εκτιµήσεις του βέλτιστου φίλτρου Wiener συντελεστών (w = [w w ]). Χρησιµοποιείστε µ =. Θεωρήστε ότι για τα πιο πάνω δεδοµένα ξέρουµε ότι.6.7 R = p d =.6.5 Εφαρµόστε τον αλγόριθµο Steepest Descent για επαναλήψεις και βρείτε τιςδιαδοχικέςεκτιµήσεις του βέλτιστου φίλτρου Wiener συντελεστών. Συγκρίνετε τα αποτελέσµατα Σύγκλιση αλγορίθµου LS Με τον όρο σύγκλιση εννοούµε την προοδευτική προσέγγιση της βέλτιστης λύσης w απότοδιάνυσµα w( όσο αυξάνεται το n. Όπως και στη περίπτωση του αλγορίθµου Steepest Descent η σύγκλιση εξαρτάται από τη επιλογή της παραµέτρου µ (step size parameter). Πρέπει να σηµειωθεί ότι δεδοµένων των διαδοχικών εκτιµήσεων για τον πίνακα αυτοσυσχέτισης R µη προσεκτική επιλογή του µ µπορεί να οδηγήσει σε εσφαλµένα αποτελέσµατα Όπως είδαµε γιαναέχουµε σύγκλισηστονsteepest Descent χρειάζεται: I µr < το οποίο µεταφράζεται στη σχέση < µ < λ όπου λ max είναι η µεγαλύτερη ιδιοτιµή του πίνακα αυτοσυσχέτισης R. max 4

5 Σύγκλιση αλγορίθµου LS (ΙΙ) Επεκτείνοντας τη προηγούµενη σχέση για τον LS έχουµε: I µ Rˆ ( < I µ ( ( < Ο πίνακας ˆ R ( = ( ( έχει µια µοναδική ιδιοτιµή η οποία είναι ίση µε λ = λ = ( ( = ( n i max ) Εποµένως για να έχουµε σύγκλιση χρειάζεται: < µ < < µ < λ max ( n i ) Από τη θεωρητική ανάλυση της σύγκλισης αποδεικνύεται ότι η επιλογή του µ πρέπει να είναι ακόµη πιοαυστηρή(tr = ίχνος πίνακα): < µ < < µ < 3tr{ Rˆ } 3 ( n i) Παράδειγµα ίνονται τα πρώτα δείγµατα µιας πραγµάτωσης ( µιας στοχαστικής διεργασίας: = [ ] Ο πίνακας αυτοσυσχέτισης της διεργασίας είναι: =.6.6. Να βρεθούν οι τιµές του µ για τις οποίες ο αλγόριθµος Steepest Descent συγκλίνει προς τη λύση Wiener. Να βρεθούν οι τιµές του µ για τις οποίες ο αλγόριθµος LS συγκλίνει προς τη λύση Wiener όταν έχουµε Μ=, 8. R Απάντηση:. Για τον Steepest Descent το µ είναι ανεξάρτητο από την τάξη του φίλτρου < µ <.6. Για τον LS έχουµε Μ= => < µ <, Μ=8 => < µ <

6 Προσέγγιση της λύσης Wiener Σε αντίθεση µε το αλγόριθµο Steepest Descent ο αλγόριθµος LS προσεγγίζει αλλά δεν φτάνει ποτέ στη λύση Wiener, εποµένως δεν φτάνει ποτέ στο ελάχιστο του Μέσου Τετραγωνικού Σφάλµατος: J ( w) = σ w p + w R w d d το ελάχιστο της ανωτέρω συνάρτησης (που αντιστοιχεί στη λύση Wiener), δίνεται από τη σχέση: J min = σ p w = σ p d d o d d R p d Η υπέρβαση του ανωτέρω ελάχιστου µετά από µεγάλο αριθµό επαναλήψεων (εκτελέσεων των αναδροµών του LS) συµβολίζεται µε: ( ) = J ( ) J J ex όπου : J ( ) = lim{ J ( w ( )} = lim{ σ w ( p + w( R w( } n min n d d Προσέγγιση της λύσης Wiener (ΙΙ) Η ποσότητα J ex ( ) ονοµάζεται υπέρβαση ελάχιστου σφάλµατος ή απορρύθµιση (misadjstment) Η ποσότητα: F J ex ( ) = J min ονοµάζεται παράγοντας απορρύθµισης (misadjstment factor) και δίνεται από τη σχέση: F ( n i) tr{ Rˆ µ µ ( } = = µ tr{ Rˆ ( } µ ( n i) όπου tr{ } δηλώνει το ίχνος του πίνακα 6

7 Προσέγγιση της λύσης Wiener (ΙΙΙ) Με βάση τα προηγούµενα είναι φανερό ότι ο παράγοντας απορρύθµισης Μ F ελαχιστοποιείται όταν ισχύει η σχέση: µ ( n i) = Σε κάθε περίπτωση όµως πρέπει να διασφαλίζεται ότι: µ ώστε ο παράγοντας απορρύθµισης να παραµένει θετικός. Για µικρές τιµές του Μ F (Μ F <<.) έχουµε: F µ tr{ Rˆ ( } = µ ( n i) δηλαδή ο παράγοντας απορρύθµισης είναι ανάλογος µε την τάξη του φίλτρου Από τα παραπάνω είναι εµφανές ότι όσο αυξάνουµε την τάξη του φίλτρου (Μ) τόσο πρέπει να µειώνουµε τηνπαράµετρο µ ώστε: να διασφαλίζεται η σύγκλιση του αλγορίθµου LS, να ελαχιστοποιείται ο παράγοντας απορρύθµισης ( n i) Παραδείγµατα Στο επόµενο σχήµα δίνεται η βασική διάταξη γραµµικής πρόβλεψης µε τη χρήση του αλγορίθµου LS: Το επιθυµητό σήµα d( είναι ίσο µε τηνπρόβλεψη δείγµατα µπροστά (συνήθως =) Το σήµα ( χρησιµοποιείται για την πρόβλεψη. Παράδειγµα: ίνεται το σήµα x( το οποίο αποτελεί πραγµάτωση µιας στοχαστικής διεργασίας. Να βρεθεί γραµµικός προβλέπτης δύο συντελεστών ([w w ]) για πρόβλεψη της τιµής x(n+) µε (α) Λύση των εξισώσεων Wiener-Hoph (b) Με χρήση του αλγορίθµου LS R = E{ ( *( } = E{ x( n ) x*( n )} p = E{ d( *( } = E{ x( x*( n )} w = R p 7

8 Γραµµικός προβλέπτης Έστω x( = a x(n-)+a x(n-)+v(, όπου v( είναι λευκός θόρυβος µε µέση τιµή µ v = και διασπορά σ ν. Ο γραµµικός προβλέπτης (συντελεστές w) πρέπει να µπορεί να εκτιµήσει τις τιµές α και α. Είσοδοι: Τάξη φίλτρου Μ Βήµα προσέγγισηςµ x( στοχαστική είσοδος στο φίλτρο w() αρχικές τιµές για το φίλτρο Έξοδοι y( = w (x( = d ˆ( n ) = έξοδος προσαρµοστικού φίλτρου e( = d(-y( = σφάλµα προσέγγισης w(n+) = w(+µe(x( Γραµµικός προβλέπτης (II) Filter coefficients w and w for µ=. (ble) and µ=.5 (red) w w d ˆ( n ) Στο διπλανό σχήµα φαίνεται η σταδιακή προσέγγιση των τιµών α (=.6) και α (=-.75) από τους συντελεστές του φίλτρου [w w] µε τη βοήθεια του αλγορίθµου LS. Παρατηρούµε ότιη επιλογή του µ καθορίζει το ρυθµό σύγκλισης

9 Γραµµικός προβλέπτης (IIΙ) w Convergence rote for LS (black) and steepest descent (red) - µ = w Στο διπλανό σχήµα φαίνεται ησταδιακήπροσέγγισητων τιµών α (=.6) και α (=-.75) από τους συντελεστές του φίλτρου [w w] µε τηβοήθειατου αλγορίθµου LS (µαύρο). Steepest descent (κόκκινο) Για σκοπούς καλύτερης επισκόπισης η αρχική τιµή του φίλτρου είναι w = [- 4] Αναγνώριση συστήµατος Στο επόµενο σχήµα δίνεται η βασική διάταξη αναγνώρισης συστήµατος µε τη χρήση του αλγορίθµου LS: Το επιθυµητό σήµα d( είναι ίσο µετηναπόκρισητουάγνωστου συστήµατος Το σήµα ( είναι συνήθως λευκός θόρυβος ώστε να διασφαλίζεται ότι η απόκριση του άγνωστου συστήµατος και του προσαρµοστικού φίλτρου συµπίπτει για µια ευρεία ζώνη συχνοτήτων. 9

10 Αναγνώριση συστήµατος (ΙΙ) Έστω ότι το άγνωστο σύστηµα περιγράφεται από τη συνάρτηση µεταφοράς:.5 +.z +.z H( z) =.5z Για µοντελοποίηση του ανωτέρω συστήµατος µε FIR φίλτρο τάξης 5 (6 συντελεστών) ηβέλτιστηλύση(λύση Wiener) είναι: Convergence rote for LS (ble) and steepest descent (red) - µ =. w w w o =[ ] Στο διπλανό σχήµα φαίνεταιη σταδιακή προσέγγιση των τιµών w (=.5) και w (=.35) µε τη βοήθεια του αλγορίθµου LS (µπλε καµπύλες) και Steepest Descent. Παρατηρούµε ότι η σύγκλιση του αλγορίθµου steepest descent είναι αυστηρά µονότονη κάτι το οποίο δεν ισχύει για τον LS Αναγνώριση συστήµατος (IIΙ) w Convergence rote for LS (black) and steepest descent (red) - µ = Στο διπλανό σχήµα φαίνεται ησταδιακήπροσέγγισητων τιµών w (=.5) και w (=.35) w] µε τηβοήθεια του: αλγορίθµου LS (µαύρο). Steepest descent (κόκκινο) Για σκοπούς καλύτερης επισκόπισης η αρχική τιµή του φίλτρου είναι w = [- 4] w

11 Ενεργή αποµόνωση θορύβου Στο επόµενο σχήµα δίνεται η βασική διάταξη για την ενεργή αποµόνωση θορύβου που επιδρά σε ένα σήµα µε τη χρήση του αλγορίθµου LS: εδοµένου ότι το επιθυµητό σήµα s( δεν είναι διαθέσιµο το προσαρµοστικό σύστηµα χρησιµοποιείται σε διάταξη γραµµικής πρόβλεψης. Η υπόθεση που γίνεται είναι ότι µέσω του αλγόριθµου LS µπορεί να προβλεφθεί µόνοτοσήµαεισόδου s( και όχι ο θόρυβος v( Ενεργή αποµόνωση θορύβου (ΙΙ) Έστω ότι το άγνωστο σήµα εισόδου s( περιγράφεται από τη σχέση: π π π s( = sin(π t + ) +.4sin(π 5t + ) +.5sin(π 4t + ) 4 3 Στο ανωτέρω σήµα επιδρά λευκός θόρυβος µε Γκαουσσιανή κατανοµή, µέση τιµή µ ν = και διασπορά σ ν =.6. Amplitde Original signal s( (ble) and LS filtered signal (red) - [filter order = 5] time (sec) Στο διπλανό σχήµα φαίνεταιτο φιλτραρισµένο σήµα (µε τηβοήθεια των συντελεστών w που έχουν εκτιµηθεί µε τηβοήθειατου αλγορίθµου LS) σε αντιπαραβολή µε τοαρχικόσήµα χωρίςθόρυβο (κόκκινη και µπλε καµπύλη αντίστοιχα).

12 Ενεργή αποµόνωση θορύβου (ΙΙΙ) Amplitde Noisy signal ( (ble) and LS filtered signal (red) - [filter order = 5] Στο διπλανό σχήµα φαίνεται το φιλτραρισµένο σήµα (µε τη βοήθεια των συντελεστών w που έχουν εκτιµηθεί µε τη βοήθεια του αλγορίθµου LS) σε αντιπαραβολή µε το θορυβώδες σήµα (κόκκινη και µπλε καµπύλη αντίστοιχα) time (sec) Εκτίµηση Φάσµατος Στοχαστικών ιεργασιών Στο επόµενο σχήµα δίνεται η βασική διάταξη για την εκτίµηση φάσµατος µιας στοχαστικής διεργασίας d(. ο προσαρµοστικό σύστηµα χρησιµοποιείται σε διάταξη γραµµικής πρόβλεψης. dˆ ( = w( d( n ) Dˆ( z) = = w ( z w ( z... w ( z A( z) w( = [ w ( w (... w ( ] K Sˆ D( ω) = A( ω) A( e K jω ) = = σταθερός αριθµός πουαντιστοιχεί στοµηπροβλέψιµοκοµµάτιτης διεργασίας (ιισχύςθορύβου) = A( e * w ( e k k= jω K ) A( e jωk ) jω

13 Power (db) Εκτίµηση Φάσµατος Στοχαστικών ιεργασιών (II) Adaptive Spectrm estimation (black = initial, red = final) Freqency ω (rads/sec) Στο διπλανό σχήµα φαίνονται οι διαδοχικές εκτιµήσεις του φάσµατος ισχύος της στοχαστικής διεργασίας εισόδου. Καµπύλη µε µαύρο χρώµα: αρχική ( δείγµα) εκτίµηση Μπλε χρώµα: εκτίµηση µετά από δείγµατα Ροζ χρώµα: εκτίµηση µετά από δείγµατα Κόκκινο χρώµα: τελική εκτίµηση Τα παραπάνω λήφθηκαν µε µ=. και Μ = 5; Power (db) Εκτίµηση Φάσµατος Στοχαστικών ιεργασιών (IIΙ) Real (ble) and estimated (red) power spectrm of a random process Στο διπλανό σχήµα φαίνεταιτο φάσµα ισχύος της στοχαστικής διεργασίας εισόδου (µπλε χρώµα) και η εκτίµηση του µε τη βοήθεια του αλγορίθµου LS (κόκκινο χρώµα) Freqency ω (rads/sec) 3