Στοχαστικά Σήµατα και Εφαρµογές. Προσαρµοστικά φίλτρα. ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής

Transcript

1 Στοχαστικά Σήµατα & Εφαρµογές Προσαρµοστικά φίλτρα ιδάσκων: Ν. Παπανδρέου (Π.. 47/8) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής CEID 7-8 Εισαγωγή Υπολογισµός FIR φίλτρου Wieer σε στάσιµο περιβάλλον: Οι διαδικασίες () και d() είναι από κοινού WSS. d ( ) ( ) W( z) ˆ( ) d e ( ) k ( ) k ( ) { } mi ξ= mi E e ( ) εξισώσεις Wieer-pf p l= lr () ( k l) = r ( k) d για k =,,, p R = r d CEID 7-8 * { } r ( ) ( ) ( ) k = E k * { } r ( ) ( ) ( ) d k = E d k N * rˆ ( k) = ( ) ( k) N = N * rˆ d( k) = d( ) ( k) N =

2 Εισαγωγή Υπολογισµός FIR προσαρµοστικού φίλτρου σε µηστάσιµο περιβάλλον: Οι διαδικασίες () και d() δεν είναι στάσιµες. d ( ) ( ) W ( ) z p e ( ) d ˆ( ) = ( k ) ( k ) k = ξ ( ) = E e ( k) ( k) { } mi mi ( ) p l= * * { } = { k } () l E ( l) ( k) E d( ) ( ) για k =,,, p οι εξισώσεις εξαρτώνται από το R ( ) = r ( ) d CEID 7-8 Εισαγωγή Αναζητούµε έναν επαναληπτικό προσαρµοστικό (adaptive) αλγόριθµο: d ( ) ( ) W ( ) z ˆ( ) d e ( ) Adaptive algrithm = + + όπου τη χρονική στιγµή +. είναι ένας διορθωτικός όρος, ο οποίος ανανεώνει τους συντελεστές Ο αλγόριθµος χρησιµοποιεί το σήµασφάλµατος e() για να µετρήσει την απόδοση του φίλτρου και να αποφασίσει πως θα ανανεώσει του συντελεστές. CEID 7-8

3 Εισαγωγή Το προσαρµοστικό φίλτρο θέλουµε να έχει τις ακόλουθες ιδιότητες: Σε ένα στάσιµο περιβάλλον, το φίλτρο θα πρέπει να παράγει µια ακολουθία διορθώσεων, κατά τέτοιο τρόπο ώστε το διάνυσµα να συγκλίνει στη λύση των εξισώσεων Wieer-pf: lim = R rd Γιαναυπολογίσουµετη διόρθωση δε θα πρέπει να απαιτείται η εκ των προτέρων γνώση των στατιστικών r (k) και r d (k), αλλά η εκτίµηση των παραµέτρων αυτών θα πρέπει να είναι ενσωµατωµένη στον προσαρµοστικό αλγόριθµο. Για µη στάσιµασήµατα, το φίλτρο θα πρέπει να προσαρµόζεται στα µεταβαλλόµενα στατιστικά και να παρακολουθεί τη λύση καθώς αυτή εξελίσσεται στο χρόνο. CEID 7-8 Μέθοδος Μέγιστης Καθόδου Θεωρείστε τη συνάρτηση κόστους για το πρόβληµα βέλτιστου φιλτραρίσµατος µεπραγµατικές τιµές για FIR φίλτρο Wieer µε ένα συντελεστή: ξ ( ) = () r + R r d d ξ ( ) = () ( + () rd rd ) () r() () ξ = rd() + r () () () 5 4 ξ = r () > () ξ r () = d () = () r () CEID 7-8 Cst fucti ξ mi

4 Μέθοδος Μέγιστης Καθόδου Cst fucti ξ( ) = +µ + = ξ( ) = +µ = ξ( ) = +µ = ξ mi : iitial guess µ> CEID 7-8 Μέθοδος Μέγιστης Καθόδου Θεωρείστε τη συνάρτηση κόστους για το πρόβληµα βέλτιστου φιλτραρίσµατος µεπραγµατικές τιµές για FIR φίλτρο Wieer µε δύο συντελεστές: r d d ξ ( ) = () r + R ξ ( ) = r () r () r () + r () + + () d d () d () () () r () () ξ () rd() + r () () + r () () ξ = = ξ rd() + r () () + r () () () ξ () r () ξ= = > ξ r () () r() r() () rd() ξ = Ο = r() r() () rd() CEID 7-8

5 Μέθοδος Μέγιστης Καθόδου 4 3 cst fucti () () () 4 3 ξ = +µ ξ = CEID 7-8 = +µ ξ + = () () () Μέθοδος Μέγιστης Καθόδου Γενικά, αλγόριθµος µέγιστης καθόδου (steepest descet) συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσµατος των συντελεστών:. Υπολογισµός του διανύσµατος ξ( ) τη χρονική στιγµή. 3. Ανανέωση του διανύσµατος των συντελεστών: = µ ξ + ( ) 4. Επιστροφή στο βήµα για = +. = Η ποσότητα µ ονοµάζεται µέγεθος βήµατος (step size). Είναι θετικός αριθµός και επηρεάζει το ρυθµό µε τον οποίο το διάνυσµα των συντελεστών κινείται προς το ελάχιστο MSE. CEID 7-8

6 Μέθοδος Μέγιστης Καθόδου Υπολογισµός του gradiet: ξ () E{ e( ) ( ) } () = () E{ e( ) ( ) } ξ ( ) = E e ( ) ( ) = = = ξ E{ e( ) ( p+ ) } ( p ) ( p ) = ( p ) { } { } E e( ) e ( ) ξ e ( ) = = E e ( ) E e ( ) ( k) = ( k) ( k) ( k) { } για k =,,, p p e ( ) = d ( ) ( l ) ( l) l= CEID 7-8 Μέθοδος Μέγιστης Καθόδου Τελικά, οαναδροµικός τύπος µέγιστης καθόδου γράφεται: = µ ξ + ( ) = +µ + E{ e ( ) ( ) } Στη συνέχεια θεωρούµε ότι οι διαδικασίες () και d() είναι από κοινού WSS: { ( ) ( )} { ( ) ( ) ( )} + = +µ E e + = +µ E d { ( ) ( )} { ( ) ( )} + = +µ E d E { ( ) ( )} { ( ) ( )} + = +µ E d E + = +µ rd R Αν τότε = + = CEID 7-8

7 Μέθοδος Μέγιστης Καθόδου Συνέχεια: + = +µ rd R + ( I ) = µ R +µ r d R = r d + ( I ) = µ R +µ r d + ( I ) ( I ) = µ R µ R + ( I R )( ) = µ Ορίζουµε τοδιάνυσµασφάλµατος των συντελεστών: c = Άρα: ( I ) c = µ R c + Ο παραπάνω τύπος µας δείχνει πως εξελίσσεται το διάνυσµασφάλµατος των συντελεστών. Παρατηρούµε ότι αν ο πίνακας R δεν είναι διαγώνιος, τότε υπάρχει µια αλληλεξάρτηση µεταξύ των σφαλµάτων κάθε συντελεστή. CEID 7-8 Μέθοδος Μέγιστης Καθόδου Ο πίνακας αυτοσυσχέτισης R είναι ερµιτιανός και µη αρνητικά ορισµένος. Από Spectral herem για ερµιτιανούς πίνακες µπορούµε να γράψουµε: όπου Λ p = = = λk k k k= R V Λ V V Λ V v v είναι ο διαγώνιος πίνακας µε τις ιδιοτιµές του R, δηλαδή { } Λ = diag λ, λ,, λ p και V είναι ο πίνακας µε στήλεςταιδιοδιανύσµατα του R. λ Επίσης, οι ιδιοτιµές είναι πραγµατικές και µη αρνητικές k καιταιδιοδιανύσµατα µπορούν να επιλεγούν ως ορθοκανονικά: vi vj = αν i αν i = j j V V = V V = I V = V CEID 7-8

8 Μέθοδος Μέγιστης Καθόδου Συνεπώς µπορούµε να γράψουµε: ( I ) ( I ) c = µ R c c = µ VΛV c ( ) c = VV µ VΛV c ( ) c+ V I Λ V c = µ Ορίζουµε τογραµµικό µετασχηµατισµό: ( )( ) V c = V V I µ Λ V c + I u = V c Άρα: u = + ( I µ Λ ) u u = ( I µ Λ) u όπου: { } ( I µ Λ ) = diag ( µλ),,( µλp ) CEID 7-8 Μέθοδος Μέγιστης Καθόδου Τελικά: u ( µλ) u() = ( µλp ) u( p ) Άρα, για να έχουµεσύγκλισητουδιανύσµατος στη λύση, έχοντας ξεκινήσει από µια αρχική τιµή (δηλαδή u ), θα πρέπει το διάνυσµα c να συγκλίνει στο µηδέν ή ισοδύναµα τοδιάνυσµα u νασυγκλίνειστο µηδέν. Για οποιαδήποτε τιµή (άρα και ), αυτό θα συµβεί όταν: u µλ k < για k =,,, p <µ< για k =,,, p λ k <µ< λ ma CEID 7-8

9 Μέθοδος Μέγιστης Καθόδου Ισχύει λοιπόν η παρακάτω ιδιότητα για τη σύγκλιση: Για από κοινού WSS διαδικασίες () και d(), το προσαρµοστικό φίλτρο µέγιστης καθόδου συγκλίνει στη λύση των εξισώσεων Wieer-pf, δηλαδή = lim R r d αν το µέγεθος βήµατος ικανοποιεί τη συνθήκη <µ< λ ma όπου λ ma είναι η µέγιστη ιδιοτιµή του πίνακα αυτοσυσχέτισης R. CEID 7-8 Μέθοδος Μέγιστης Καθόδου Για το διάνυσµα των συντελεστών γράφουµε: ( µλ ) ( µλ ) u () u() = + = + u = + v v vp c V p = + µλk k= ( ) u ( k) v k ( µλp ) u( p ) ηλαδή, το διάνυσµα των συντελεστών είναι ένας γραµµικός συνδυασµός των ιδιοδιανυσµάτων (ονοµάζονται mdes του φίλτρου). Άρα, οχρόνοςσύγκλισης του διανύσµατος στη λύση Wieer-pf εξαρτάται από τ πιο αργό mde. Ορυθµός µείωσης κάθε mde είναι: ( ) µλ k Για κάθε mde, ορίζουµετηχρονικήσταθεράτ k ως το χρόνο που απαιτείται ώστε να µειωθεί στο /e της αρχικής του τιµής: τ ( µλ ) k = / e τ = /l( µλ ) k k k CEID 7-8

10 Μέθοδος Μέγιστης Καθόδου Ορίζουµετησυνολική χρονική σταθερά τ ως το χρόνο που απαιτείται ώστε το πιο αργό mde να µειωθεί στο /e της αρχικής του τιµής: { } τ= ma τ k µλ Για µικρές τιµές του µ, δηλαδή όταν, µπορούµε να γράψουµε: τ= ma{ / l( µλk) } ma{ /( µλ k) } = µλ ( / ) µ= a λ < a < Θέτουµε όπου (προσέξτε ότι ικανοποιείται η ma συνθήκη σύγκλισης). Άρα, η συνολική χρονική σταθερά γίνεται: k mi τ= a λ λ ma mi αριθµός κατάστασης του πίνακα R Συνεπώς, ορυθµός σύγκλισης εξαρτάται από τη διασπορά των ιδιοτιµών του πίνακα R. CEID 7-8 Μέθοδος Μέγιστης Καθόδου Για το µέσο τετραγωνικό σφάλµα γράφουµε: ξ ( ) = r () r r + R d d d ( ) ( ) ( ) ( ) r c ( ) r c r + ( ) R + ( ) Rc + c R + c Rc ( ) d + ( ) rd + rd c + c rd + c Rc = r () r + c + c r + + c R + c d d d = r () r + d d d d d = r () r r c r c r + d d d d Άρα: ξ ( ) = r () r + c R c d d ξ ( ) =ξ + c R c mi ξ mi CEID 7-8

11 Μέθοδος Μέγιστης Καθόδου Τελικά: ξ ( ) =ξ + c R c =ξ + c VΛV c mi mi mi p mi k u k= =ξ + u Λu =ξ + λ p ( ) =ξ + λ µλ u ( k) mi k k k= ( k) Συνεπώς, αν το µέγεθος βήµατος ικανοποιεί τη συνθήκη σύγκλισης, τότε η συνάρτηση κόστους φθίνει εκθετικά στην ελάχιστη τιµή τηςλύσηςwieer-pf. Ηκαµπύλη µεταβολής της συνάρτησης κόστους ως προς ονοµάζεται καµπύλη εκµάθησης (learig curve). CEID 7-8 Αλγόριθµος LMS ( ) W ( ) z d ( ) d ˆ( ) e ( ) Adaptive algrithm Είδαµε, ότι ο αλγόριθµος µέγιστης καθόδου χρησιµοποιεί τον αναδροµικό τύπο: = µ ξ + ( ) = +µ + E{ e ( ) ( ) } Για από κοινού WSS διαδικασίες () και d(), το προσαρµοστικό φίλτρο µέγιστης καθόδου συγκλίνει στη λύση των εξισώσεων Wieer-pf, δηλαδή lim = R r d, αν το µέγεθος βήµατος ικανοποιεί τη συνθήκη: <µ< / λ ma CEID 7-8

12 Αλγόριθµος LMS { } Στην πράξη, για τον υπολογισµό της ποσότητας E e ( ) ( ) χρησιµοποιείται µια εκτίµηση από τα δεδοµένα: L ˆ E{ e( ) ( ) } = e( l) ( l) L l= Αν επιλέξουµε L =, τότε ο αναδροµικός τύπος ανανέωσης των συντελεστών γίνεται: + = +µ e ( ) ( ) Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρµοστικού φίλτρου ονοµάζεται αλγόριθµος Ελαχίστων Μέσων Τετραγώνων (LMS: least mea squares). CEID 7-8 Αλγόριθµος LMS ( ) ( ) ( p+ ) z z z () () ( p ) µ z z z () () ( p ) e ( ) d ( ) y ( ) = d ˆ( ) ( ) ( ) ( ) ( ) + k = k +µ e k CEID 7-8 p ( k) + µ d( ) ( l) ( l) ( k) l= y ( )

13 Αλγόριθµος LMS Γενικά, αλγόριθµος LMS συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσµατος των συντελεστών: =. Ανανέωση των συντελεστών κατά την -οστή επανάληψη: y( ) = ( ) e( ) = d( ) y( ) = +µ e( ) ( ) + 3. Επιστροφή στο βήµα για = +. CEID 7-8 Αλγόριθµος LMS Σύγκλιση του αλγορίθµου LMS, θεωρούµεότι() & d() είναι από κοινού WSS: + = +µ e ( ) ( ) + = +µ d ( ) ( ) ( ) + = +µ d ( ) ( ) µ ( ) ( ) E { + } E{ d ( ) ( ) ( ) ( ) } = +µ µ { + } = { } +µ { ( ) ( )} µ { ( ) ( ) } E E E d E Υπόθεση ανεξαρτησίας: Τα δεδοµένα () και το διάνυσµα των συντελεστών είναι στατιστικά ανεξάρτητα. { } { } { ( ) ( )} { ( ) + ( )} { } E = E +µ E d µ E E { } { } r R { } E = E +µ µ E E + d { } ( ) E{ } = I µ R +µ r + d CEID 7-8

14 Αλγόριθµος LMS Συνέχεια: { } ( ) { } E = I µ R E +µ r + d { + } ( ) { } E c + = I µ R E c + +µ r { } ( ) { } E c + = I µ R E c + µ R +µ r + { c } ( R ) { c } E = I µ E + { c } ( VΛV ) { c } E = I µ E + { } ( ) { } V c+ Λ V c { } ( ) { } E = I µ E d E u = I µ Λ E u όπου u = V c + d R = r d Συνεπώς: E{ u } = ( I µ Λ) E{ u } u CEID 7-8 Αλγόριθµος LMS Τελικά: E{ u } ( µλ) u() = ( µλp ) u( p ) Ισχύει η παρακάτω ιδιότητα για τη σύγκλιση: Για από κοινού WSS διαδικασίες () και d(), το προσαρµοστικό φίλτρο LMS συγκλίνει ως προς τη µέση τιµή στηλύσητωνεξισώσεωνwieer-pf, δηλαδή { } = lim E R rd αν το µέγεθος βήµατος ικανοποιεί τη συνθήκη: <µ< λ ma και ικανοποιείται η υπόθεση ανεξαρτησίας. CEID 7-8

15 Αλγόριθµος LMS Στην πράξη, ο προσδιορισµός του άνω φράγµατος του µ για τη σύγκλιση του φίλτρουωςπροςτηµέση τιµή, µπορεί να γίνει ως εξής: Αφού ο πίνακας R είναι ερµιτιανός και µη αρνητικά ορισµένος, ισχύει η ιδιότητα: race { R} p = λ k= k Άρα: { R } p p λ λ λ race λ r () = pr () ma k ma ma k= k= { } λma pe ( ) = p ( k) N Συνεπώς η συνθήκη σύγκλισης γράφεται: <µ< N k= { } Eˆ ( ) { } peˆ ( ) CEID 7-8 Αλγόριθµος LMS Το σφάλµα του αλγορίθµου LMS κάθε χρονική στιγµήείναι: e ( ) = d ( ) ( ) = d ( ) + c ( ) ( ) mi = d ( ) ( ) c ( ) = e ( ) c ( ) e ( ) mi Θεωρώντας ότι το φίλτρο έχει συγκλίνει, δηλαδή, ησυνάρτηση κόστους γράφεται: { } mi e ξ ( ) = E e( ) =ξ +ξ ( ) { } E = όπου ξ e () ονοµάζεται πλεονάζων µέσο τετραγωνικό σφάλµα (ecess MSE). c CEID 7-8

16 Αλγόριθµος LMS Ισχύει η παρακάτω ιδιότητα: Το MSE ξ() συγκλίνει σε µια τιµή σταθερής κατάστασης (steady state) ξ ( ) =ξ +ξ ( ) =ξ <µ< λ ma mi e mi p µ k= λk µλ και ο αλγόριθµος LMS λέγεται ότι συγκλίνει ως προς τη µέση τετραγωνική τιµή αν το µέγεθος βήµατος ικανοποιεί τις συνθήκες: και p λk µ < µλ k= k k και ικανοποιείται η υπόθεση ανεξαρτησίας. CEID 7-8 Αλγόριθµος LMS ξ ( ) e Λύνουµεωςπρος : p p λ k λ k ξ e ( ) =ξ mi µ / µ k= µλk k= µλk µ / λ Γενικά, στην πράξη προκύπτει ma, οπότε η δεύτερη συνθήκη σύγκλισης ως προς τη µέση τετραγωνική τιµή γίνεται: p p λ λ µ < µ < µ< = k k k= µλk k= race{ R} race{ R} µλk Επιπλέον: ξ ( ) =ξ mi { R } µ race και { } ξ e ( ) = µ ξmirace R Ορίζουµε το κανονικοποιηµένο πλεονάζον MSE σταθερής κατάστασης και το M =ξ ( )/ ξ ονοµάζουµε misadjustmet: e mi CEID 7-8

17 Αλγόριθµος LMS Παράδειγµα: Γραµµική Πρόβλεψη (Liear Predicti). Ηδιαδικασίαv() είναι µια AR() διαδικασία µε την ακόλουθη εξίσωση διαφορών, όπου u() είναι λευκός θόρυβος µε µοναδιαία διασπορά: v ( ) =.6 v ( ).7 v ( ) + u ( ) u ( ) ( z) v ( ) v ( ) v ( ) z ( ) z W ( ) z d ( ) d ˆ( ) e ( ) () () v ( ) v ˆ( ) v ˆ( ) = () v ( ) + () v ( ) e ( ) CEID 7-8 Αλγόριθµος LMS ().6 cefficiet. -. mu=. mu= () iterati () CEID 7-8

18 Αλγόριθµος LMS cst fucti mu=. mu=.5 Αρχικοποίηση των συντελεστών CEID Αλγόριθµος LMS Παράδειγµα: Αναγνώριση Συστήµατος (System Idetificati). Το άγνωστο σύστηµα έχει συνάρτηση µεταφοράς ( z) z = + 4z. Το σήµα u() είναι διαδικασία λευκού θορύβου µοναδιαίας διασποράς. Το φίλτρο LMS έχει τέσσερις συντελεστές. Ο προσθετικός θόρυβος v() είναι λευκός θόρυβος µοναδιαίας διασποράς. u ( ) ( z) y( ) v ( ) ( ) W ( ) z d ( ) d ˆ( ) e ( ) CEID 7-8

19 Αλγόριθµος LMS () ideal mu=. 4 mi mse mu=.5 mu=. cefficiet () (3) MSE (db) () iterati () iterati () CEID 7-8 Αλγόριθµος NLMS Για τη σύγκλιση του αλγορίθµου LMS, ηπαράµετρος µ(µέγεθος βήµατος) πρέπει να ικανοποιεί τις συνθήκες: σύγκλιση ως προς τη µέση τιµή: < µ< / λ ma σύγκλιση ως προς τη µέση τετραγωνική τιµή: p λk µ < µλ ma µ< race{ R} k= k µ / λ Στην πράξη ο υπολογισµός του πίνακα R γίνεται µέσω εκτίµησης της στιγµιαίας ενέργειας του σήµατος (): N N= p race R = pe ( ) p ( k) = ( ) ( ) N k= <µ< E ˆ ( ) ( ) ( ) { } { } { } CEID 7-8

20 Αλγόριθµος NLMS Ορίζουµετο(χρονικά µεταβαλλόµενο) µέγεθος βήµατος ως: β β µ ( ) = = ( ) ( ) ( ) όπου η παράµετρος β ονοµάζεται κανονικοποιηµένο µέγεθος βήµατος (rmalized step size) και ισχύει <β<. Οαναδροµικός τύπος ανανέωσης των συντελεστών γίνεται: = +β ( ) + e ( ) ( ) Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρµοστικού φίλτρου ονοµάζεται αλγόριθµος NLMS: rmalized least mea squares. Για τη σύγκλιση ως προς τη µέση τετραγωνική τιµή αποδεικνύεται ότι αρκεί: <β< CEID 7-8 Αλγόριθµος NLMS Συγκρίνοντας τους αναδροµικούς τύπους LMS και NLMS παρατηρούµεότι: LMS: = +µ + e ( ) ( ) = +β ( ) NLMS: + ( ) e ( ) Στον αλγόριθµο LMS, διορθωτικός όρος είναι µια εκτίµηση (αµερόληπτη) του ξ( ). Συνεπώς η εκτίµηση ξ ˆ( ) περιέχει θόρυβο. Όταν, οι τιµές του διανύσµατος () είναι µεγάλες, τότε εµφανίζεται ενίσχυση του θορύβου στην στιγµιαία εκτίµηση. ξ ˆ( ) Ο αλγόριθµος NLMS µειώνει την ενίσχυση του θορύβου µέσω του παράγοντα κανονικοποίησης ( ). Ταυτόχρονα, όµως αντιµετωπίζειτοίδιοπρόβλήµα όταν η τιµή ( ) είναι πολύ µικρή. Γιατολόγοαυτό, τροποποιούµετον αναδροµικότύποωςεξής: = +β ( ) + e ( ) ε+ ( ) όπου ε µια µικρή θετική σταθερά CEID 7-8

21 Αλγόριθµος RLS d ( ) ( ) W ( ) z y ( ) = d ˆ( ) e ( ) Adaptive algrithm Θεωρούµετοσχεδιασµό ενόςfir προσαρµοστικού φίλτρου µε p συντελεστές, οι οποίοι τη χρονική στιγµή ελαχιστοποιούν το σφάλµα των εκθετικά ζυγισµένων τετραγώνων: i Ε ( ) =λ ei ( ) i= όπου <λ ονοµάζεται εκθετικός παράγοντας λήθης καιτοστιγµιαίο σφάλµα e(i) ορίζεται ως: ei () = di () yi () = di () () i CEID 7-8 Αλγόριθµος RLS Υπολογισµός βέλτιστων συντελεστών : i mi Ε ( ) = mi λ e( i) ( k ) ( k) i= συνάρτηση κόστους (cst fucti) Ε( ) ( k) = για k =,,, p Το σφάλµα e(i) γράφεται: p ei () = di () () i = di () () l i ( l) l= Άρα: i ei () i ei λ λ i= i= Ε( ) e ( i) = = ( ) = ( k) ( k) ( k) i λ ei () ( i k) = i= i λ ei () ( i k) = για k =,,, p i= CEID 7-8

22 Αλγόριθµος RLS Συνέχεια: i= λ λ i i ei () ( i k) = p di () () li ( l) ( i k) = i= l= di () ( i k) () li ( l) ( i k) = p i i λ λ i= i= l= p i i λ λ l= i= i= () l ( i l) ( i k) = d() i ( i k) για k =,,, p r (, ; ) k l rd( k; ) ντετερµινιστική αυτοσυσχέτιση ντετερµινιστική ετεροσυσχέτιση CEID 7-8 Αλγόριθµος RLS Τελικά, για κάθε χρονική στιγµή, καταλήγουµεσεένασύστηµα γραµµικών εξισώσεων ως προς τους συντελεστές, το οποίο είναι γνωστό ως ντετερµινιστικές κανονικές εξισώσεις: p l= ( l) r ( k, l; ) = r ( k; ) d για k =,,, p R ( ) = r ( ) d όπου: i R( ) = λ () i () i r d i= i ( ) = λ d() i () i i= CEID 7-8

23 Αλγόριθµος RLS ιερεύνηση της συνάρτησης κόστους: p i i i Ε ( ) = λ ei () = λ ei () e () i = λ ei () d () i ( k) ( i k) i= i= i= k= p i i λ ei () λ ei () i= k= i= = d () i ( k) ( i k) i i = λ di () () i d() i ( k) λ d() i ( i) ( i k) i= p k= i= p i i i λ () λ λ i= i= k= i= = did() i () i d() i ( k) di () ( i k) + p i kλ k= i= + ( ) ( i) ( i k) i i i = λ did () () i λ id() i λ d() i () i + i= i= i= i + λ ( i) () i i= = d( ) r ( ) r ( ) + R ( ) λ d d CEID 7-8 Αλγόριθµος RLS Όταν οι συντελεστές ικανοποιούν τις ντετερµινιστικές κανονικές εξισώσεις, δηλαδή = R ( ) r ( ) d, τότε: λ i= i ei () ( i k) = για k =,,, p Ε mi = d( ) r ( ) λ d Οι ντετερµινιστικές κανονικές εξισώσεις εξαρτώνται από το. Αντί να λύνουµε τις εξισώσεις απευθείας κάθε χρονική στιγµή, δηλαδή αναπτύξουµε µια αναδροµική µέθοδο: = R ( ) r ( ) d, θα = + CEID 7-8

24 Αλγόριθµος RLS Ισχύει: i i r ( ) = λ d() i () i = λ d() i () i + d( ) ( ) d i= i= ( λλ ) i = λ di () () i+ d ( ) ( ) i= i= ( ) i = λ λ di () () i+ d ( ) ( ) Άρα: r ( ) = λr ( ) + d( ) ( ) d d αναδροµικός τύπος για το διάνυσµα ετεροσυσχέτισης Οµοίως: R ( ) = λr ( ) + ( ) ( ) αναδροµικός τύπος για τον πίνακα αυτοσυσχέτισης CEID 7-8 Αλγόριθµος RLS Χρησιµοποιούµετηνταυτότητα του Wdbury: ( ) A uv A v A u + = + A uv A και θέτουµε: A = λ R ( ) u= v= ( ) ( ) + ( ) ( ) = λ ( ) + ( ) λ R ( ) ( ) ( λ ) R R R ( ) λ R ( ) ( ) ( ) λ R ( ) R λ ( ) = λ R ( ) R ( ) ( ) ( ) R ( ) + ( ) ( ) λ R ( ) () αναδροµικός τύπος για τον αντίστροφο πίνακα αυτοσυσχέτισης CEID 7-8

25 Αλγόριθµος RLS Στη συνέχεια θέτουµε: P ( ) = R ( ) () P λ P ( ) = λ P( ) λ ( ) ( ) ( ) P( ) + λ ( ) P( ) ( ) Επιπλέον, ορίζουµετοδιάνυσµακέρδους(gai vectr): g( ) = λ P( ) ( ) + λ P ( ) ( ) ( ) ( ) () P( ) = λ P( ) g( ) ( ) P( ) ( ) g P ( ) = λ P( ) g( ) ( ) P( ) ( ) = ( ) ( ) CEID 7-8 Αλγόριθµος RLS ηλαδή, από το σύστηµα των ντετερµινιστικών κανονικών εξισώσεων: R ( ) = r ( ) d οδηγηθήκαµε µε κατάλληλα βήµατα στο παρακάτω σύστηµα: ( ) ( ) g = P ( ) R ( ) g( ) = ( ) Οαναδροµικός τύπος ανανέωσης των συντελεστών γράφεται: = R ( ) rd( ) = P( ) rd( ) = P( ) λrd( ) + d( ) ( ) = λp( ) r ( ) + d( ) P( ) ( ) λ λ = P g P rd + d ( ) ( ) ( ) ( ) ( ) d( ) g( ) = P( ) r ( ) g( ) ( ) P( ) r ( ) + d( ) g( ) = d g( ) ( ) + d ( ) g ( ) d CEID 7-8

26 Αλγόριθµος RLS = g( ) ( ) + d( ) g( ) Τελικά: = + g( ) d( ) ( ) = + g( ) d( ) ( ) = + a ( ) g( ) a ( ):scalar Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρµοστικού φίλτρου ονοµάζεται αλγόριθµος Αναδροµικών Ελαχίστων Τετραγώνων (RLS: recursive least squares). Γενικά, αναφερόµαστε στον εκθετικά ζυγισµένο αλγόριθµο RLS. Ειδικά, όταν λ = ο αλγόριθµος RLS καλείται αλγόριθµος αυξανοµένου παραθύρου (grig id RLS). Ηποσότητα ονοµάζεται apriri σφάλµα, ενώ η ποσότητα a ( ) = d ( ) ( ) e ( ) = d ( ) ( ) ονοµάζεται a psteriri σφάλµα. CEID 7-8 Αλγόριθµος RLS Γενικά, αλγόριθµος RLS συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσµατος των συντελεστών:. Αρχικοποίηση του πίνακα P(): P( = ) =δ Ι = = 3. Ανανέωση των συντελεστών κατά την επανάληψη =,, : z( ) = P( ) ( ) g( ) = z( ) + λ ( ) z( ) a( ) = d( ) ( ) = + a( ) g( ) P( ) = λ P( ) g( ) z ( ) 4. Επιστροφή στο βήµα για = +. CEID 7-8

27 Αλγόριθµος RLS Αποδεικνύεται ότι το πλεονάζον MSE σταθερής κατάστασης είναι: λ ξe ( ) = p ξ +λ mi όπου ως σήµα σφάλµατος χρησιµοποιείται το apriri σφάλµα a ( ) = d ( ) ( ) CEID 7-8 Αλγόριθµος RLS Γραµµική Πρόβλεψη (Liear Predicti): Ηδιαδικασίαv() είναι AR() διαδικασία µε την ακόλουθη εξίσωση διαφορών, όπου u() είναι λευκός θόρυβος µοναδιαίας διασποράς: v ( ) =.78 v ( ).8 v ( ) + u ( ) z u ( ) v ( ) v ( ) ( z) v ( ) ( ) z W ( ) z d ( ) d ˆ( ) e ( ) () () v ( ) v ˆ( ) v ˆ( ) = () v ( ) + () v ( ) e ( ) CEID 7-8

28 Αλγόριθµος RLS.5 LMS.5 RLS cefficiet.5 ideal mu=. mu=.8 cefficiet.5 ideal lambda= lambda= iterati () LMS mi MSE mu=. mu= iterati () RLS mi MSE lambda= lambda=.95 MSE (db) 4 3 MSE (db) iterati () CEID iterati () Αλγόριθµος RLS.5 LMS ideal mu=..5 RLS ideal lambda= lambda=.9 cefficiet.5 cefficiet iterati () LMS mi MSE mu= iterati () RLS mi MSE lambda= lambda=.9 MSE (db) 4 3 MSE (db) iterati () CEID iterati ()

29 Αλγόριθµος RLS.5 mu=. mu=.8.5 lambda= lambda= mu=. lambda= lambda= CEID