Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων (RLS Recursive Least Squares)

Transcript

1 ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis τετραγώνων LS Bvt [22]: Κεφάλαι 2, Ενότητα 2.3 Κεφάλαι 3, Ενότητα 3.2 Wir [1985]: Chaptr 5 aki [21]: Chaptrs 11 & 13 Sa [23]: Chaptr 5 Brj [1999]: Chaptr 5 Bs [23]: Chaptr 9 Βιβλιογραφία Ενότητας Chassaig [24]: Chaptr 7 27 iclas sapatslis 1

2 τετραγώνων LS Εισαγωγή Ο αλγόριθµος καθόδου κατά τη µέγιστη κλίση Stpst Dsct, ο αλγόριθµος LMS και οι παραλλαγές του FLMS, sig-lms κλπ αποτελούν αναδροµικές τεχνικές για την επίλυση των εξισώσεων Wir-ph Οι εξισώσεις Wir-ph προέκυψαν από ελαχιστοποίηση του µέσου τετραγωνικού σφάλµατος: J E[ 2 ] µε τηνυπόθεσηότιηείσοδος στο σύστηµα µας είναι µια υπό την ευρεία έννοια στάσιµη στοχαστική διεργασία Υπάρχουν πολλές περιπτώσεις που η είσοδος σε ένα σύστηµα δεν είναι υπό την ευρεία έννοια στάσιµη έχει δηλαδή χρονικά µεταβαλλόµενα στατιστικά χαρακτηριστικά. Σε αυτές τις περιπτώσεις επιχειρείται η ελαχιστοποίηση όχι του µέσου τετραγωνικού σφάλµατος στιγµιαία τιµή τουσφάλµατος για πολλές πραγµατώσεις αλλά η απόκλιση της εκτιµούµενης εξόδου από την επιθυµητή γιατοσύνολοτωνπαρατηρήσεων,1, 27 iclas sapatslis τετραγώνων LS ΟΑλγόριθµος Ελάχιστων Τετραγώνων Last Sqars Έστω ότι έχουµε καταγράψει τα Ν+1 πρώτα δείγµατα [ 1 ] της πραγµάτωση µιας στοχαστικής διεργασίας. Θεωρούµε ότι οι αντίστοιχες τιµές της επιθυµητής εξόδου είναι [ 1 ] Ο αλγόριθµος Ελάχιστων Τετραγώνων προσπαθεί να βρει τις τιµές εκείνες [ 1 M ] για το προσαρµοστικό φίλτρο ώστε να ταιριάξει όσο το δυνατόν καλύτερα το σύνολο των τιµών και,,1,, όπου και [ M] Εποµένως το κριτήριο κόστους ορίζεται ως: J { } 2 27 iclas sapatslis 2

3 3 27 iclas sapatslis ΟΑλγόριθµος Ελάχιστων Τετραγώνων II Ορίζουµε ταπιοκάτωδιανύσµατα: Το κριτήριο κόστους µπορεί να εκφρασθεί ως: J 2 2 } { } { M M ] 1 [ ] [ όπου J τετραγώνων LS 27 iclas sapatslis ΟΑλγόριθµος Ελάχιστων Τετραγώνων IIΙ Ορίζουµε τον πίνακα δεδοµένων εισόδου ή παρατηρήσεων: Με τη βοήθεια του ανωτέρω πίνακα το διάνυσµα εξόδου µπορεί να εκφρασθεί ως: Οπότε το κριτήριο κόστους γίνεται: M M M J τετραγώνων LS

4 τετραγώνων LS Ελαχιστοποίηση κριτηρίου κόστους Για την εύρεση των συντελεστών του προσαρµοστικού φίλτρου που ελαχιστοποιούν το κριτήριο κόστους J υπολογίζουµε τιςµερικές παραγωγούς ως προς i i,,m και εξισώνουµε µε µηδέν: J { } Οι εξισώσεις: που προκύπτουν από την πιο πάνω διαδικασία ονοµάζονται κανονικές εξισώσεις. Η λύση των κανονικών εξισώσεων ως προς µας δίνει την επιθυµητή λύση που ελαχιστοποιεί το κριτήριο J: 27 iclas sapatslis τετραγώνων LS Πίνακας συσχέτισης Πολύ συχνά οι κανονικές εξισώσεις εκφράζονται µε τηβοήθειατου πίνακα συσχέτισης δειγµάτων εισόδου Φ Α Η Α και του διανύσµατος ετεροσυσχέτισης επιθυµητής εξόδου και εισόδου z Α Η : Φ z Ο πίνακας συσχέτισης: Είναι ερµιτιανός ΦΦ Η Είναι θετικά ηµιορισµένος και εποµένως σχεδόν πάντοτε αντιστρέψιµος Έχει πραγµατικές και µη αρνητικές ιδιοτιµές Μπορεί να εκφραστεί ως: Φ Το ελάχιστο σφάλµα προκύπτει µε αντικατάσταση της βέλτιστης λύσης στην τιµή του κριτηρίου κόστους: J mi J z z Φ z Ηποσότητα εκφράζει την ενέργεια της επιθυµητής εισόδου. 27 iclas sapatslis 4

5 τετραγώνων LS Παράδειγµα ίνονται τα πρώτα 8 δείγµατα µιας πραγµάτωσης µιας στοχαστικής διεργασίας: [ ] Αν η επιθυµητή έξοδος είναι: [ ] Να εφαρµοσθεί ο αλγόριθµος LS και να βρεθεί η βέλτιστη λύση για φίλτρο 3 συντελεστών [ 1 2 ] Λύση: Ο πίνακας δεδοµένων εισόδου είναι iclas sapatslis τετραγώνων LS Η αρχή της ορθογωνιότητας Η συνάρτηση κόστους µπορεί να γραφεί: J εδοµένου ότι: * Εξίσωση των µερικών παραγώγων του κριτήριου κόστους J ως προς i i,,m µας οδηγεί στις εξισώσεις: k * mi k,1,, M Οι ανωτέρω εξισώσεις εκφράζουν την αρχή της ορθογωνιότητας: «Όταν το προσαρµοστικό φίλτρο λειτουργεί µε τους βέλτιστους συντελεστές το διάνυσµα τουσφάλµατος mi - είναι κάθετο προς τις παρατηρήσεις εισόδου και τις καθυστερήµένες έως και M εκδοχές τους» 27 iclas sapatslis 5

6 τετραγώνων LS Παράδειγµα Εφαρµόζοντας την αρχή της ορθογωνιότητας στο προηγούµενο παράδειγµα έχουµε: 8 mi [ ] Τ και 27 iclas sapatslis τετραγώνων LS Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Η λύση των κανονικών εξισώσεων για Ν+1 παρατηρήσεις εισόδου βρήκαµε ότι υπολογίζεται από τη σχέση: Φ z Τι γίνεται αν έχουµε µια νέα παρατήρηση +1 στην είσοδο δηλαδή αν έχουµε Ν+2 στοιχεία; Είναι προφανές ότι οι κανονικές εξισώσεις µπορεί να διαµορφωθούν ανάλογα προσθέτοντας την επιθυµητή απόκριση για το νέο στοιχείο στο διάνυσµα καθώς και µια νέα στήλη γραµµή στον πίνακα δεδοµένων εισόδου Α Τ 1 + όπου Τ + 1 [ + 1 M + 1] 27 iclas sapatslis 6

7 τετραγώνων LS Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων II Εποµένως η λύση των κανονικών εξισώσεων για Ν+2 υπολογίζεται από τη σχέση: + 1 Φ + 1 z Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων υπολογίζει τους συντελεστές +1 τροποποιώντας κατάλληλα τους συντελεστές χωρίς να χρειάζεται να αντιστρέψει τον πίνακα συσχέτισης Φ+1 η αντιστροφήτουφ+1 αυξανοµένου του Ν είναι ιδιαίτερα χρονοβόρα Οι παρακάτω σχέσεις µπορούν εύκολα να αποδειχτούν: Φ + 1 Φ z + 1 z + * Για τον αναδροµικό υπολογισµότων+1 ηπραγµατική δυσκολία έγκειται στην αντιστροφή του πίνακα Φ + 1 Φ ως συνάρτηση του Φ -1 Ν. Το λήµµα αντιστροφής πινάκων δίνει τη λύση στο πρόβληµα αυτό 27 iclas sapatslis τετραγώνων LS Λήµµα αντιστροφής πινάκων Έστω ο πίνακας: Α Β -1 +CD -1 C, όπου οι πίνακες Α, Β, D είναι θετικά ορισµένοι πίνακες άρα αντιστρέψιµοι. Τα λήµµα αντιστροφής πινάκων εκφράζεται από την κατωτέρω εξίσωση πινάκων: B BC D + C BC C Αν θέσουµε στη ανωτέρω σχέση: Έχουµε: Ορίζοντας B Φ Ν + 1 C + 1 D 1 Φ Ν Φ Φ Φ + 1 Φ Φ + 1 P + 1 Φ k παίρνουµε την αναδροµική σχέση υπολογισµού του αντίστροφου πίνακα συσχέτισης P + 1 P k P B P P iclas sapatslis 7

8 τετραγώνων LS Με τη βοήθεια των προηγούµενων σχέσεων προκύπτει η αναδροµική σχέση υπολογισµού των συντελεστών +1: Συνήθως στο αλγόριθµο RLS χρησιµοποιείται µια παράµετρος µνήµης λ <λ<1 ώστε η ενηµέρωση των συντελεστών +1 να γίνεται δίνοντας µεγαλύτερη βαρύτητα στις πιο καινούργιες παρατηρήσεις Αυτό έχει ως αποτέλεσµα να ελαχιστοποιείται τα σφάλµα αντί για το σφάλµα Οαλγόριθµος RLS + 1 k P + 1 * + 1 J λ * J * 27 iclas sapatslis τετραγώνων LS Οαλγόριθµος RLS ΙΙ Στουςαρχικούςυπολογισµούς των συντελεστών +1,1,,M-1 ο πίνακας Φ δεν είναι αντιστρέψιµος. Για να µπορεί να εκτελεστεί ο αναδροµικός υπολογισµός λαµβάνεται αρχικά: P δ Ι Όπου Ι είναι µοναδιαίος πίνακας διαστάσεων Μ+1xΜ+1 και δ µια θετική σταθερά µε πολύ µικρή τιµή. Εποµένως ο αλγόριθµος RLS συνοψίζονται τελικά ως: Αρχικοποίηση : -1 P δ Ι Για κάθε, 1,2. δ µικρή θετική σταθερά λ P k 1+ λ P ξ + k ξ * P λ P λ k P 27 iclas sapatslis 8

9 τετραγώνων LS Παράδειγµα ίνονται τα πρώτα 8 δείγµατα µιας πραγµάτωσης µιας στοχαστικής διεργασίας: [ ] Αν η επιθυµητή έξοδος είναι: [ ] Να εφαρµοσθεί ο αλγόριθµος RLS και να βρεθεί η βέλτιστη λύση για φίλτρο 3 συντελεστών [ 1 2 ] καιναδοθούνοιδιαδοχικέςεκτιµήσεις για τους συντελεστές χρησιµοποιήστε δ.1. Να συγκριθεί η τελική λύση 8 µε τη λύση των ελάχιστων τετραγώνων. Που οφείλονται οι διαφορές στους συντελεστές; 27 iclas sapatslis τετραγώνων LS Παραδείγµατα ίνεται το σήµα x το οποίο αποτελεί πραγµάτωση µιας στοχαστικής διεργασίας. Να βρεθεί γραµµικός προβλέπτης δύο συντελεστών [ 1 2 ] για πρόβλεψη της τιµής x+1 µε τη βοήθεια των αλγορίθµων LMS, FLMS και RLS Cfficits a 1 bttm crvs Έστω x a 1 x-1+a 2 x-2+v, όπου v είναι λευκός θόρυβος µε µέση τιµή µ v και διασπορά σ ν 2. Ο γραµµικός προβλέπτης συντελεστές πρέπει να µπορεί να εκτιµήσει τις τιµές α 1 και α Cvrgc rat fr LMS r, FLMS black a RLS bl Sampl mbr Στο διπλανό σχήµα φαίνεταιη σταδιακή προσέγγιση των τιµών α και α από τους συντελεστές του φίλτρου [1 2] µε τη βοήθεια των αλγορίθµων LMS µ.1 κόκκινη καµπύλη FLMS µ.1 µαύρη καµπύλη RLS λ.99, δ.1 µπλε καµπύλη 27 iclas sapatslis 9

10 τετραγώνων LS Αναγνώριση συστήµατος Έστω ότι το άγνωστο σύστηµα περιγράφεται από τη συνάρτηση 2 µεταφοράς:.5 +.2z +.1z z 1.25z Για µοντελοποίηση του ανωτέρω συστήµατος µε FIR φίλτρο τάξης 5 6 συντελεστών ηβέλτιστηλύσηλύση Wir είναι: Cfficits a 1 bttm crvs - sig 1 ralizatis Cvrgc rat fr LMS r, FLMS black a RLS bl Sampl mbr [ ] Στο διπλανό σχήµα φαίνεταιη σταδιακή προσέγγιση των τιµών.5 και µε τη βοήθεια των αλγορίθµων LMS κόκκινες καµπύλες, FLMS µαύρες καµπύλες και RLS µπλε καµπύλες. 27 iclas sapatslis 1