Στοχαστικά Σήματα και Τηλεπικοινωνιές

Transcript

1 Στοχαστικά Σήματα και Τηλεπικοινωνιές Ενότητα 5: Προσαρμοστική Επεξεργασία Καθηγητής Κώστας Μπερμπερίδης Πολυτεχνική Σχολή Τμήμα Μηχανικών Η/Υ και Πληροφορικής

2 Σκοποί ενότητας Παρουσίαση των βασικών εννοιών των προσαρμοστικών αλγορίθμων καθώς και η περαιτέρω ανάλυση των κυριότερων από αυτούς.

3 Περιεχόμενα ενότητας Εισαγωγικές έννοιες Μέθοδος μέγιστης καθόδου Αλγόριθμος LMS Αλγόριθμος NLMS Αλγόριθμος RLS 3

4 Eισαγωγή (/4) Υπολογισμός FIR φίλτρου Wieer σε στάσιμο περιβάλλον: Οι διαδικασίες x() και d() είναι από κοινού WSS. x ( ) W( z) d ( ) d ˆ( ) e ( ) w( k ) w( k ) mi mi E e( ) p l w( l) r ( k l) r ( k) x dx R w x r dx k,,, p r k E x x k ( ) ( ) * ( ) x r k E d x k ( ) ( ) * ( ) dx r k x x k N * ˆ x( ) ( ) ( ) N r k d x k N * ˆ dx( ) ( ) ( ) N 4

5 Eισαγωγή (/4) Υπολογισμός FIR προσαρμοστικού φίλτρου σε μη στάσιμο περιβάλλον: Οι διαδικασίες x() και d() δεν είναι στάσιμες. d ( ) x ( ) W ( ) z p k e ( ) dˆ( ) w ( k ) x ( k ) p l mi mi ( ) ( ) E e w ( k ) w ( k ) * * k w ( l) E x( l) x ( k) E d( ) x ( ) k,,, p οι εξισώσεις εξαρτώνται από το R ( ) w r ( ) x dx 5

6 Eισαγωγή (3/4) Αναζητούμε έναν επαναληπτικό προσαρμοστικό (adaptive) αλγόριθμο: d ( ) x ( ) W ( ) z ˆ( ) d e ( ) w Adaptive algorithm w w w To Δw είναι ένας διορθωτικός όρος, ο οποίος ανανεώνει τους συντελεστές τη χρονική στιγμή +. Ο αλγόριθμος χρησιμοποιεί το σήμα σφάλματος e() για να μετρήσει την απόδοση του φίλτρου και να ανανεώσει του συντελεστές. 6

7 Eισαγωγή (4/4) Το προσαρμοστικό φίλτρο θέλουμε να έχει τις ακόλουθες ιδιότητες: Σε ένα στάσιμο περιβάλλον, το φίλτρο θα πρέπει να παράγει μια ακολουθία διορθώσεων Δw, κατά τέτοιο τρόπο ώστε το διάνυσμα w να συγκλίνει στη λύση των εξισώσεων Wieer-Hopf: lim w Rx rdx Για να υπολογίσουμε τη διόρθωση Δw δε θα πρέπει να απαιτείται η εκ των προτέρων γνώση των στατιστικών r x (k) και r dx (k), αλλά η εκτίμηση των παραμέτρων αυτών θα πρέπει να είναι ενσωματωμένη στον προσαρμοστικό αλγόριθμο. Για μη στάσιμα σήματα, το φίλτρο θα πρέπει να προσαρμόζεται στα μεταβαλλόμενα στατιστικά και να παρακολουθεί τη λύση καθώς αυτή εξελίσσεται στο χρόνο. 7

8 Μέθοδος μέγιστης καθόδου (/7) Θεωρείστε τη συνάρτηση κόστους για το πρόβλημα βέλτιστου φιλτραρίσματος με πραγματικές τιμές για FIR φίλτρο Wieer με ένα συντελεστή: ( w) () w T r w T R w r d dx x ( w ) () ( w w () rd rdx ) () rx () () rdx () rx () w() w() 5 4 r x () w() o r () dx w () w() r () x Cost fuctio mi 3.5 o w w 8

9 Μέθοδος μέγιστης καθόδου (/7) 5 w 4 w w ( w) w w w Cost fuctio 3 w w ( w) w w w w w ( w) w ww mi.5 o.5 w w.5 3 w w w : iitial guess 9

10 Μέθοδος μέγιστης καθόδου (3/7) Θεωρείστε τη συνάρτηση κόστους για το πρόβλημα βέλτιστου φιλτραρίσματος με πραγματικές τιμές για FIR φίλτρο Wieer με δύο συντελεστές: ( w) () w T r w T R w r d dx x ( w) r () r () r () r () () d dx w() dx w() x w () w () rx w() w() w() rdx() rx () w() rx () w() rdx() rx () w() rx () w() w() w() r () x rx () w() o rx () rx () w () rdx () o rx () rx () w () rdx ()

11 Μέθοδος μέγιστης καθόδου (4/7) 4 cost fuctio w -4-4 w w w w ww 4 w () w () o w () w w w ww w o w () w () w ()

12 Μέθοδος μέγιστης καθόδου (5/7) Γενικά, o αλγόριθμος μέγιστης καθόδου (steepest descet) συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσματος των συντελεστών: w =. Υπολογισμός του διανύσματος ξ τη χρονική στιγμή. 3. Ανανέωση του διανύσματος των συντελεστών: w + = w μ ξ 4. Επιστροφή στο βήμα για = +. Η ποσότητα μ ονομάζεται μέγεθος βήματος (step size) ή απλά βήμα. Είναι θετικός αριθμός και επηρεάζει το ρυθμό με τον οποίο το διάνυσμα των συντελεστών κινείται προς το ελάχιστο MSE.

13 Μέθοδος μέγιστης καθόδου (6/7) Υπολογισμός του gradiet: w () Ee( ) x ( ) w () w () Ee( ) x ( ) ( ) Ee( ) ( ) x w w Ee( ) x ( p ) w ( p) w ( p) w ( p) E e( ) e ( ) e ( ) E e( ) Ee( ) x ( k) w ( k) w ( k) w ( k) k,,, p p e( ) d( ) w ( l) x( l) l 3

14 Μέθοδος μέγιστης καθόδου (7/7) Τελικά, ο αναδρομικός τύπος μέγιστης καθόδου γράφεται: w w w w E e( ) x ( ) ( ) Στη συνέχεια θεωρούμε ότι οι διαδικασίες x() και d() είναι από κοινού WSS: ( ) ( ) T ( ) ( ) ( ) w w E e x w w E d w x x T ( ) ( ) ( ) ( ) w w E d E x w x x H ( ) ( ) ( ) ( ) w w E d E x x x w w w rdx Rxw Αν w = w o τότε w + = w 4

15 Μέθοδος μέγιστης καθόδου - Σύγκλιση (/9) Συνέχεια: w w rdx Rxw w I R w r x w w I R w r w dx x dx I I w w R w R w w x x I Rx w w w R w Ορίζουμε το διάνυσμα σφάλματος των συντελεστών: c = w w o Άρα: c + = I μr x c Ο παραπάνω τύπος μας δείχνει πως εξελίσσεται το διάνυσμα σφάλματος των συντελεστών. Παρατηρούμε ότι αν ο πίνακας R x δεν είναι διαγώνιος, τότε υπάρχει μια αλληλεξάρτηση μεταξύ των σφαλμάτων κάθε συντελεστή. x r dx 5

16 Μέθοδος μέγιστης καθόδου - Σύγκλιση (/9) Ο πίνακας αυτοσυσχέτισης R x είναι ερμιτιανός και μη αρνητικά ορισμένος. Από Spectral Theorem για ερμιτιανούς πίνακες μπορούμε να γράψουμε: p H H x k k k k R V Λ V V Λ V v v O V είναι ο πίνακας με στήλες τα ιδιοδιανύσματα του R x ενώ ο Λ είναι διαγώνιος πίνακας με τις ιδιοτιμές του R x, δηλαδή Λ diag,,, p Επίσης, οι ιδιοτιμές είναι πραγματικές και μη αρνητικές λ k και τα ιδιο-διανύσματα μπορούν να επιλεγούν ως ορθοκανονικά: v i v j i i j j H H H V V V V I V V 6

17 Μέθοδος μέγιστης καθόδου - Σύγκλιση (3/9) Συνεπώς μπορούμε να γράψουμε: H I x I c R c c VΛV c H H c VV VΛV c H c V I Λ V c V c V V I Λ V c H H H I Ορίζουμε το γραμμικό μετασχηματισμό: u = V H c Άρα: u + = I μλ u u = I μλ u Σημειώνεται πως: I μλ = diag μλ,, μλ p 7

18 Μέθοδος μέγιστης καθόδου - Σύγκλιση (4/9) Τέλικα: u u() p u( p) Άρα, για να έχουμε σύγκλιση του διανύσματος w στη λύση w o, έχοντας ξεκινήσει από μια αρχική τιμή w (δηλαδή u ), θα πρέπει το διάνυσμα c να συγκλίνει στο μηδέν ή ισοδύναμα το διάνυσμα u να συγκλίνει στο μηδέν. Για οποιαδήποτε τιμή u (άρα και w ), αυτό θα συμβεί όταν: k k,,, p k,,, p k max 8

19 Μέθοδος μέγιστης καθόδου - Σύγκλιση (5/9) Ισχύει λοιπόν η παρακάτω ιδιότητα για τη σύγκλιση: Για από κοινού WSS διαδικασίες x() και d(), το προσαρμοστικό φίλτρο μέγιστης καθόδου συγκλίνει στη λύση των εξισώσεων Wieer-Hopf, δηλαδή limw R x r dx αν το μέγεθος βήματος ικανοποιεί τη συνθήκη < μ < λ max, όπου λ max είναι η μέγιστη ιδιοτιμή του πίνακα αυτοσυσχέτισης R x. 9

20 Μέθοδος μέγιστης καθόδου - Σύγκλιση (6/9) Για το διάνυσμα των συντελεστών γράφουμε: u() u() w w c w Vu w v v v p p w w k u( k) vk p u( p) k Δηλαδή, το διάνυσμα των συντελεστών είναι ένας γραμμικός συνδυασμός των ιδιοδιανυσμάτων (ονομάζονται modes του φίλτρου). Άρα, ο χρόνος σύγκλισης του διανύσματος w στη λύση Wieer-Hopf εξαρτάται από τo πιο αργό mode. Ο ρυθμός μείωσης κάθε mode είναι: μλ k Για κάθε mode, ορίζουμε τη χρονική σταθερά τ k ως το χρόνο που απαιτείται ώστε να μειωθεί στο /e της αρχικής του τιμής: k / e /l k k k

21 Μέθοδος μέγιστης καθόδου - Σύγκλιση (7/9) Ορίζουμε τη συνολική χρονική σταθερά τ ως το χρόνο που απαιτείται ώστε το πιο αργό mode να μειωθεί στο /e της αρχικής του τιμής: max Για μικρές τιμές του μ, δηλαδή όταν μλ k, μπορούμε να γράψουμε: max/ l( k) max/( k) Θέτουμε μ = α λ max k όπου < α < (προσέξτε ότι ικανοποιείται η συνθήκη σύγκλισης). Άρα, η συνολική χρονική σταθερά γίνεται: a max mi mi αριθμός κατάστασης του πίνακα R x Συνεπώς, ο ρυθμός σύγκλισης εξαρτάται από τη διασπορά των ιδιοτιμών του πίνακα R x.

22 Μέθοδος μέγιστης καθόδου - Σύγκλιση (8/9) Για το μέσο τετραγωνικό σφάλμα γράφουμε: H H H ( w ) r () r w w r w R w Άρα: d dx dx x o w o w H o H w o w o r c o H w r c r o H o o H H o H w Rxw w Rxc c Rxw c Rxc o o H w x dx o H H H H w rdx rdx c c rdx c Rc x H r () r c c r c R c d dx dx x H H H r () r w d dx dx dx dx H H H r () r w r c r c r d dx dx d H o H ( w ) r () r w c R c d dx x ( w ) c R c H mi x mi

23 Μέθοδος μέγιστης καθόδου - Σύγκλιση (9/9) Τελικά: ( w ) c R c c VΛV c H H H mi x mi mi p H mi k u k u Λu p u ( k) mi k k k Συνεπώς, αν το μέγεθος βήματος ικανοποιεί τη συνθήκη σύγκλισης, τότε η συνάρτηση κόστους φθίνει εκθετικά στην ελάχιστη τιμή της λύσης Wieer-Hopf. ( k) Η καμπύλη μεταβολής της συνάρτησης κόστους ως προς ονομάζεται καμπύλη εκμάθησης (learig curve). 3

24 x ( ) Αλγόριθμος LMS (/6) W ( ) z d ( ) d ˆ( ) e ( ) w Adaptive algorithm Είδαμε, ότι ο αλγόριθμος μέγιστης καθόδου χρησιμοποιεί τον αναδρομικό τύπο: ( ) w w E e( ) x ( ) w w Για από κοινού WSS διαδικασίες x() και d(), το προσαρμοστικό φίλτρο μέγιστης καθόδου συγκλίνει στη λύση των εξισώσεων Wieer-Hopf, δηλαδή lim w = R x r dx, αν το μέγεθος βήματος ικανοποιεί τη συνθήκη: < μ < /λ max. 4

25 Αλγόριθμος LMS (/6) Στην πράξη, για τον υπολογισμό της ποσότητας E{e x } χρησιμοποιείται μια εκτίμηση από τα δεδομένα: L ˆ Ee( ) x ( ) e( l) x ( l) L l Αν επιλέξουμε L =, τότε ο αναδρομικός τύπος ανανέωσης των συντελεστών γίνεται: w w e( ) x ( ) Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρμοστικού φίλτρου ονομάζεται αλγόριθμος Ελαχίστων Μέσων Τετραγώνων (LMS: least mea squares). 5

26 z Αλγόριθμος LMS (3/6) x ( ) x ( ) x( p ) z z w () () w ( p) w z z z w () w () w ( p) e ( ) d ( ) w ( ) ( ) ( ) ( ) k w k e x k y( ) dˆ ( ) p w( k) d( ) w( l) x( l) x( k) l y ( ) 6

27 Αλγόριθμος LMS (4/6) Γενικά, o αλγόριθμος LMS συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσματος των συντελεστών: w =. Ανανέωση των συντελεστών κατά την -οστή επανάληψη: T y( ) w x( ) e( ) d( ) y( ) w w e( ) x ( ) 3. Επιστροφή στο βήμα για = +. 7

28 Αλγόριθμος LMS (5/6) Για τη σύγκλιση του LMS, θεωρούμε ότι x() και d() είναι από κοινού WSS: T w w e( ) x ( ) w w d( ) w x( ) x ( ) H w w d( ) x ( ) x( ) x ( ) w E H w Ew d( ) x ( ) x( ) x ( ) w H w w ( ) x ( ) x( ) x ( ) w E E E d E Υπόθεση ανεξαρτησίας: Τα δεδομένα x() και το διάνυσμα των συντελεστών w είναι στατιστικά ανεξάρτητα. w ( ) ( ) ( ) H w x x x ( ) w E E E d E E w w r R w E E E E dx x E w I R w r x dx 8

29 Συνέχεια: Συνεπώς: Αλγόριθμος LMS (6/6) E w I R E w r x dx w x w E c I R E c r E c w I R E c w R w r c R c E I E H c VΛV c E I E H H V E c I Λ V E c x x x dx E u I Λ E u όπου u V c H u Λ u E I E u dx R w x r dx 9

30 Αλγόριθμος LMS (7/6) Τελικά: E u u() p u( p) Ισχύει η παρακάτω ιδιότητα για τη σύγκλιση: Για από κοινού WSS διαδικασίες x() και d(), το προσαρμοστικό φίλτρο LMS συγκλίνει ως προς τη μέση τιμή στη λύση των εξισώσεων Wieer-Hopf, δηλαδή w lim E Rx rdx αν το μέγεθος βήματος ικανοποιεί τη συνθήκη: < μ < /λ max και ικανοποιείται η υπόθεση ανεξαρτησίας. 3

31 Αλγόριθμος LMS (8/6) Στην πράξη, ο προσδιορισμός του άνω φράγματος του μ για τη σύγκλιση του φίλτρου ως προς τη μέση τιμή, μπορεί να γίνει ως εξής: Αφού ο πίνακας R x είναι ερμιτιανός και μη αρνητικά ορισμένος, ισχύει η ιδιότητα: Trace R p x k k p p Άρα: R Trace r () pr () max k max x max x x k k max pe x( ) p x( k) N N k Συνεπώς η συνθήκη σύγκλισης γράφεται: < μ < E ˆ x ( ) p E x 3

32 Αλγόριθμος LMS (9/6) Το σφάλμα του αλγορίθμου LMS κάθε χρονική στιγμή είναι: T o e( ) d( ) w x( ) d( ) w c x( ) T mi o T T d( ) w x( ) c x( ) e ( ) c x( ) e ( ) mi Θεωρώντας ότι το φίλτρο έχει συγκλίνει, δηλαδή E c =, η συνάρτηση κόστους γράφεται: mi ex ( ) E e( ) ( ) Σημειώνεται ότι το ξ ex () ονομάζεται πλεονάζων μέσο τετραγωνικό σφάλμα (Excess MSE or Misadjustmet). T 3

33 Αλγόριθμος LMS (/6) Ισχύει η παρακάτω ιδιότητα: Το MSE ξ() συγκλίνει σε μια τιμή σταθερής κατάστασης (steady state) ( ) ( ) max mi ex mi p k k και ο αλγόριθμος LMS λέγεται ότι συγκλίνει ως προς τη μέση τετραγωνική τιμή αν το μέγεθος βήματος ικανοποιεί τις συνθήκες: και p k k k k και ικανοποιείται η υπόθεση ανεξαρτησίας. 33

34 Αλγόριθμος LMS (/6) Λύνουμε ως προς ξ ex ( ) : p p k k ex ( ) mi / k k k k Γενικά, στην πράξη προκύπτει μ /λ max, οπότε η δεύτερη συνθήκη σύγκλισης ως προς τη μέση τετραγωνική τιμή γίνεται: Επιπλέον: p p k k k k k TraceRx TraceRx μλ k ( ) mi Trace x ex ( ) mitrace R Rx Ορίζουμε το κανονικοποιημένο πλεονάζον MSE σταθερής κατάστασης και το ονομάζουμε misadjustmet: Μ = ξ ex /ξ mi 34

35 Αλγόριθμος LMS (/6) To παράδειγμα της γραμμική πρόβλεψη (Liear Predictio). Η διαδικασία v() είναι μια AR() διαδικασία με την ακόλουθη εξίσωση διαφορών, όπου u() είναι λευκός θόρυβος με μοναδιαία διασπορά: v =.6v.7v + u() u ( ) H( z) v ( ) v ( ) v ( ) z x ( ) z W ( ) z d ( ) d ˆ( ) e ( ) w () w () v ( ) v ˆ( ) vˆ( ) w () v( ) w () v( ) e ( ) 35

36 Αλγόριθμος LMS (3/6) coefficiet. -. mu=. mu= iteratio () 36

37 Αλγόριθμος LMS (4/6) cost fuctio w w 4.5 mu=. mu=.5 Αρχικοποίηση των συντελεστών w w 37

38 Αλγόριθμος LMS (5/6) Παράδειγμα: Αναγνώριση Συστήματος (System Idetificatio). Το άγνωστο σύστημα έχει συνάρτηση μεταφοράς H z = z + 4z. Το σήμα u() είναι διαδικασία λευκού θορύβου μοναδιαίας διασποράς. Το φίλτρο LMS έχει τέσσερις συντελεστές. Ο προσθετικός θόρυβος v() είναι λευκός θόρυβος μοναδιαίας διασποράς. v ( ) u ( ) H( z) y ( ) x ( ) W ( ) z d ( ) d ˆ( ) e ( ) 38

39 Αλγόριθμος LMS (6/6) ideal mu=. mi mse mu=.5 mu=. 8 coefficiet MSE (db) iteratio () iteratio () 39

40 Αλγόριθμος NLMS (/3) Για τη σύγκλιση του αλγορίθμου LMS, η παράμετρος μ (μέγεθος βήματος) πρέπει να ικανοποιεί τις συνθήκες: σύγκλιση ως προς τη μέση τιμή: < μ < /λ max σύγκλιση ως προς τη μέση τετραγωνική τιμή: p k k k / max Trace R x Στην πράξη ο υπολογισμός του πίνακα R x γίνεται μέσω εκτίμησης της στιγμιαίας ενέργειας του σήματος x(): N N p H Trace Rx pe x( ) p x( k) ( ) ( ) N x x k Eˆ x( ) x H ( ) x ( ) 4

41 Αλγόριθμος NLMS (/3) Ορίζουμε το (χρονικά μεταβαλλόμενο) μέγεθος βήματος ως: ( ) H x ( ) x( ) x( ) H παράμετρος β ονομάζεται κανονικοποιημένο μέγεθος βήματος (ormalized step size) και ισχύει < β <. Ο αναδρομικός τύπος ανανέωσης των συντελεστών γίνεται: w x ( ) w e ( ) x( ) Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρμοστικού φίλτρου ονομάζεται αλγόριθμος NLMS: ormalized least mea squares. Για τη σύγκλιση ως προς τη μέση τετραγωνική τιμή αποδεικνύεται ότι αρκεί: < β < 4

42 Αλγόριθμος NLMS (3/3) Συγκρίνοντας τους αναδρομικούς τύπους LMS και NLMS παρατηρούμε ότι: w w e( ) x ( ) x ( ) LMS: NLMS: w w e ( ) x( ) Στον αλγόριθμο LMS, o διορθωτικός όρος είναι μια (αμερόληπτη) εκτίμηση του ξ(). Συνεπώς η εκτίμηση ξ() περιέχει θόρυβο. Όταν, οι τιμές του διανύσματος x() είναι μεγάλες, τότε εμφανίζεται ενίσχυση του θορύβου στην στιγμιαία εκτίμηση ξ(). Ο αλγόριθμος NLMS μειώνει την ενίσχυση του θορύβου μέσω του παράγοντα κανονικοποίησης x. Ταυτόχρονα, όμως αντιμετωπίζει το ίδιο πρόβλήμα όταν η τιμή x είναι πολύ μικρή. Για το λόγο αυτό, τροποποιούμε τον αναδρομικό τύπο ως εξής: x ( ) w w e ( ) (όπου ε μια μικρή θετική σταθερά) x( ) 4

43 x ( ) Αλγόριθμος RLS (/7) W ( ) z y( ) dˆ ( ) d ( ) e ( ) w Adaptive algorithm Θεωρούμε ένα FIR προσαρμοστικό φίλτρο με p συντελεστές, οι οποίοι τη χρονική στιγμή ελαχιστοποιούν το σφάλμα των εκθετικά ζυγισμένων τετραγώνων: E = i= i e i Σημειώνεται πως το < i ονομάζεται εκθετικός παράγοντας λήθης και το στιγμιαίο σφάλμα e(i) ορίζεται ως: T e( i) d( i) y( i) d( i) w x( i) 43

44 Αλγόριθμος RLS (/7) Υπολογισμός βέλτιστων συντελεστών: i mi ( ) mi l e( i) w ( k ) w( k) i συνάρτηση κόστους (cost fuctio) ( ) w ( k) k,,, p Το σφάλμα γράφεται: e i = d i w T x i = d i p l= w l x i l Άρα: ( ) i ei () i e ( i) ei ( ) l l w ( k) w ( k) w ( k) i i i l e( i) x ( i k) i i l e( i) x ( i k) k,,, p i 44

45 Αλγόριθμος RLS (3/7) Συνέχεια (για k =,,, p ): i l l i i ei () x ( i k) p d( i) w ( l) x( i l) x ( i k) i l d( i) x ( i k) w ( l) x( i l) x ( i k) p i i l l i i l p i i l l l i i w ( l) x( i l) x ( i k) d( i) x ( i k) r (, ; ) x k l r ( k; ) ντετερμινιστική αυτοσυσχέτιση dx ντετερμινιστική ετεροσυσχέτιση 45

46 Αλγόριθμος RLS (4/7) Τελικά, για κάθε χρονική στιγμή, καταλήγουμε σε ένα σύστημα γραμμικών εξισώσεων ως προς τους συντελεστές, το οποίο είναι γνωστό ως ντετερμινιστικές κανονικές εξισώσεις: p l w ( l) r ( k, l; ) r ( k; ) x dx k,,, p R x ( ) w r ( ) dx όπου: i T Rx ( ) l x ( i) x ( i) r dx i i ( ) l d( i) x ( i) i 46

47 Αλγόριθμος RLS (5/7) Διερεύνηση της συνάρτησης κόστους: p i i i ( w) l e( i) l e( i) e () i l e( i) d ( i) w( k) x ( i k) i i i k p i i l e( i) l e( i) i k i d ( i) w ( k) x ( i k) i l p i T i T d( i) x ( i) w d ( i) w ( k) l d( i) x( i) w x ( i k) k i p i i T i l () l x w l i i k i d i d ( i) ( i) d ( i) w ( k) d( i) x ( i k) p i T w kl x w k i ( ) ( i) x ( i k) i i T H i l d( i) d ( i) l x ( i) d ( i) w w l d( i) x ( i) i i i H i T w l x ( i) x () i w i H H H d( ) r ( ) w w r ( ) w R ( ) w l dx dx x 47

48 Αλγόριθμος RLS (6/7) Όταν οι συντελεστές w ικανοποιούν τις ντετερμινιστικές κανονικές εξισώσεις, δηλαδή w = R x r dx, τότε: l i i e( i) x ( i k) k,,, p H mi d( ) rdx ( ) w Οι ντετερμινιστικές κανονικές εξισώσεις εξαρτώνται από το. Αντί να λύνουμε τις εξισώσεις απευθείας κάθε χρονική στιγμή, δηλαδή w = R x r dx, θα αναπτύξουμε μια αναδρομική μέθοδο: w w w l 48

49 Αλγόριθμος RLS (7/7) Ισχύει: i i r ( ) l d( i) x ( i) l d( i) x ( i) d( ) x ( ) dx i i ll - i l d( i) x ( i) d( ) x ( ) i Άρα: Ομοίως: l i l d( i) x ( i) d( ) x ( ) ( ) i r ( ) l r ( ) d( ) x ( ) dx dx αναδρομικός τύπος για το διάνυσμα ετεροσυσχέτισης T R ( ) l R ( ) x ( ) x ( ) x x αναδρομικός τύπος για τον πίνακα αυτοσυσχέτισης 49

50 Αλγόριθμος RLS (8/7) Χρησιμοποιούμε την ταυτότητα του Woodbury: A uv A H H H v A u A uv A και θέτουμε: A=l R x( ) u = v = x ( ) l l R ( ) x ( ) x ( ) l R ( ) T T x x x( ) ( ) ( ) l x ( ) T x ( ) l Rx ( ) x ( ) R x x R R ( x ) R l ( ) l R ( ) x x R ( ) x ( ) x ( ) R ( ) ( ) ( ) T x x T l x Rx ( ) x αναδρομικός τύπος για τον αντίστροφο πίνακα αυτοσυσχέτισης () 5

51 Αλγόριθμος RLS (9/7) Στη συνέχεια θέτουμε: P = R x () P l P ( ) l P( ) l T ( ) x ( ) x ( ) P( ) T l x ( ) P( ) x ( ) Επιπλέον, ορίζουμε το διάνυσμα κέρδους (gai vector): g( ) l P( ) x ( ) T x ( ) l P( ) x ( ) ( ) () T P( ) l P( ) g( ) x ( ) P( ) ( ) g x P x ( ) l P( ) g( ) x T ( ) P( ) ( ) ( ) ( ) 5

52 Αλγόριθμος RLS (/7) Το αρχικό σύστημα των ντετερμινιστικών κανονικών εξισώσεων: R ( ) w r ( ) x dx Με κατάλληλα βήματα, οδηγηθήκαμε, στο παρακάτω σύστημα: ( ) ( ) g P x ( ) R ( ) g( ) x ( ) Ο αναδρομικός τύπος ανανέωσης των συντελεστών γράφεται: w Rx ( ) rdx( ) P( ) rdx( ) P( ) l rdx( ) d( ) x ( ) l P( ) r ( ) d( ) P( ) x ( ) dx T l l P g x P rdx x ( ) ( ) ( ) ( ) ( ) d( ) g( ) T P( ) r ( ) g( ) x ( ) P( ) r ( ) d( ) g( ) dx dx w T g( ) x ( ) w d( ) g ( ) 5

53 Αλγόριθμος RLS (/7) T Τελικά: w w g( ) x ( ) w d( ) g( ) w g( ) d( ) x ( ) w T T w g( ) d( ) w x( ) w w a( ) g( ) a ( ) : scalar Ο παραπάνω τύπος ανανέωσης των συντελεστών του προσαρμοστικού φίλτρου ονομάζεται αλγόριθμος Αναδρομικών Ελαχίστων Τετραγώνων (RLS: recursive least squares). Γενικά, αναφερόμαστε στον εκθετικά ζυγισμένο αλγόριθμο RLS. Ειδικά, όταν l = ο αλγόριθμος RLS καλείται αλγόριθμος αυξανομένου παραθύρου (growig widow RLS). Η ποσότητα a = d() w T x() ονομάζεται a priori σφάλμα, ενώ η e = d() w T x() ονομάζεται a posteriori σφάλμα. 53

54 Αλγόριθμος RLS (/7) Γενικά, o αλγόριθμος RLS συνοψίζεται ως εξής:. Αρχικοποίηση του διανύσματος των συντελεστών: w = =. Αρχικοποίηση του πίνακα P(): P = = δ I 3. Ανανέωση των συντελεστών κατά την επανάληψη =,, : z( ) P( ) x ( ) g( ) z( ) T l x ( ) z( ) a( ) d( ) w x( ) T w w a( ) g( ) H ( ) l ( ) ( ) ( ) 4. Επιστροφή στο βήμα για = +. P P g z 54

55 Αλγόριθμος RLS (3/7) Αποδεικνύεται ότι το πλεονάζον MSE σταθερής κατάστασης είναι: l ex ( ) p + l mi Σημειώενται πως ως σήμα σφάλματος χρησιμοποιείται το a priori σφάλμα a( ) d( ) w x( ) T 55

56 Αλγόριθμος RLS (4/7) Γραμμική Πρόβλεψη (Liear Predictio): Η διαδικασία v() είναι AR() διαδικασία με την ακόλουθη εξίσωση διαφορών, όπου u() είναι λευκός θόρυβος μοναδιαίας διασποράς: v =.78v( z u ( ) v ( ) v ( ) H( z) v ( ) x ( ) z W ( ) z d ( ) d ˆ( ) e ( ) w () w () v ( ) v ˆ( ) e ( ) vˆ( ) w () v( ) w () v( ) 56

57 .5 Αλγόριθμος RLS (5/7).5 coefficiet.5 ideal mu=. mu=.8 coefficiet.5 ideal lambda= lambda= iteratio () 8 MSE (db) mi MSE mu=. mu= iteratio () MSE (db) iteratio () mi MSE lambda= lambda= iteratio () 57

58 .5 Αλγόριθμος RLS (6/7) ideal mu=..5 ideal lambda= lambda=.9 coefficiet.5 coefficiet iteratio () mi MSE mu= iteratio () mi MSE lambda= lambda=.9 MSE (db) iteratio () MSE (db) iteratio () 58

59 .5 Αλγόριθμος RLS (7/7) mu=. mu=.8.5 lambda= lambda=.95 w -.5 w w w mu=. lambda= lambda= w w 59

60 Τέλος Ενότητας 5

61 Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στo πλαίσιo του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Πατρών» έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 6

62 Σημειώματα

63 Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση.. 63

64 Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Πατρών, Κώστας Μπερμπερίδης. «Στοχαστικά Σήματα και Τηλεπικοιωνίες». Έκδοση:.. Πάτρα 5. Διαθέσιμο από τη δικτυακή διεύθυνση: 64

65 Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commos Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4. [] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [] Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 65

66 Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς το Σημείωμα Αδειοδότησης τη δήλωση Διατήρησης Σημειωμάτων το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει) μαζί με τους συνοδευόμενους υπερσυνδέσμους. 66