ΒΕΣ 6 Προσαρµοστικά Συστήµατα στις Τηλεπικοινωνίες Προσαρµοστικοί Αλγόριθµοι Υλοποίησης Βέλτιστων Ψηφιακών Φίλτρων: Ο αναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Rcrsiv Last Sqars 27 iclas sapatslis τετραγώνων LS Bvt [22]: Κεφάλαι 2, Ενότητα 2.3 Κεφάλαι 3, Ενότητα 3.2 Wir [1985]: Chaptr 5 aki [21]: Chaptrs 11 & 13 Sa [23]: Chaptr 5 Brj [1999]: Chaptr 5 Bs [23]: Chaptr 9 Βιβλιογραφία Ενότητας Chassaig [24]: Chaptr 7 27 iclas sapatslis 1
τετραγώνων LS Εισαγωγή Ο αλγόριθµος καθόδου κατά τη µέγιστη κλίση Stpst Dsct, ο αλγόριθµος LMS και οι παραλλαγές του FLMS, sig-lms κλπ αποτελούν αναδροµικές τεχνικές για την επίλυση των εξισώσεων Wir-ph Οι εξισώσεις Wir-ph προέκυψαν από ελαχιστοποίηση του µέσου τετραγωνικού σφάλµατος: J E[ 2 ] µε τηνυπόθεσηότιηείσοδος στο σύστηµα µας είναι µια υπό την ευρεία έννοια στάσιµη στοχαστική διεργασία Υπάρχουν πολλές περιπτώσεις που η είσοδος σε ένα σύστηµα δεν είναι υπό την ευρεία έννοια στάσιµη έχει δηλαδή χρονικά µεταβαλλόµενα στατιστικά χαρακτηριστικά. Σε αυτές τις περιπτώσεις επιχειρείται η ελαχιστοποίηση όχι του µέσου τετραγωνικού σφάλµατος στιγµιαία τιµή τουσφάλµατος για πολλές πραγµατώσεις αλλά η απόκλιση της εκτιµούµενης εξόδου από την επιθυµητή γιατοσύνολοτωνπαρατηρήσεων,1, 27 iclas sapatslis τετραγώνων LS ΟΑλγόριθµος Ελάχιστων Τετραγώνων Last Sqars Έστω ότι έχουµε καταγράψει τα Ν+1 πρώτα δείγµατα [ 1 ] της πραγµάτωση µιας στοχαστικής διεργασίας. Θεωρούµε ότι οι αντίστοιχες τιµές της επιθυµητής εξόδου είναι [ 1 ] Ο αλγόριθµος Ελάχιστων Τετραγώνων προσπαθεί να βρει τις τιµές εκείνες [ 1 M ] για το προσαρµοστικό φίλτρο ώστε να ταιριάξει όσο το δυνατόν καλύτερα το σύνολο των τιµών και,,1,, όπου και [ - 1 - M] Εποµένως το κριτήριο κόστους ορίζεται ως: J { } 2 27 iclas sapatslis 2
3 27 iclas sapatslis ΟΑλγόριθµος Ελάχιστων Τετραγώνων II Ορίζουµε ταπιοκάτωδιανύσµατα: Το κριτήριο κόστους µπορεί να εκφρασθεί ως: J 2 2 } { } { M M ] 1 [ ] [ 1 1 1 1 1 1 όπου J τετραγώνων LS 27 iclas sapatslis ΟΑλγόριθµος Ελάχιστων Τετραγώνων IIΙ Ορίζουµε τον πίνακα δεδοµένων εισόδου ή παρατηρήσεων: Με τη βοήθεια του ανωτέρω πίνακα το διάνυσµα εξόδου µπορεί να εκφρασθεί ως: Οπότε το κριτήριο κόστους γίνεται: 1 1 1 1 M M M J τετραγώνων LS
τετραγώνων LS Ελαχιστοποίηση κριτηρίου κόστους Για την εύρεση των συντελεστών του προσαρµοστικού φίλτρου που ελαχιστοποιούν το κριτήριο κόστους J υπολογίζουµε τιςµερικές παραγωγούς ως προς i i,,m και εξισώνουµε µε µηδέν: J { 2 + 2 + } Οι εξισώσεις: που προκύπτουν από την πιο πάνω διαδικασία ονοµάζονται κανονικές εξισώσεις. Η λύση των κανονικών εξισώσεων ως προς µας δίνει την επιθυµητή λύση που ελαχιστοποιεί το κριτήριο J: 27 iclas sapatslis τετραγώνων LS Πίνακας συσχέτισης Πολύ συχνά οι κανονικές εξισώσεις εκφράζονται µε τηβοήθειατου πίνακα συσχέτισης δειγµάτων εισόδου Φ Α Η Α και του διανύσµατος ετεροσυσχέτισης επιθυµητής εξόδου και εισόδου z Α Η : Φ z Ο πίνακας συσχέτισης: Είναι ερµιτιανός ΦΦ Η Είναι θετικά ηµιορισµένος και εποµένως σχεδόν πάντοτε αντιστρέψιµος Έχει πραγµατικές και µη αρνητικές ιδιοτιµές Μπορεί να εκφραστεί ως: Φ Το ελάχιστο σφάλµα προκύπτει µε αντικατάσταση της βέλτιστης λύσης στην τιµή του κριτηρίου κόστους: J mi J z z Φ z Ηποσότητα εκφράζει την ενέργεια της επιθυµητής εισόδου. 27 iclas sapatslis 4
τετραγώνων LS Παράδειγµα ίνονται τα πρώτα 8 δείγµατα µιας πραγµάτωσης µιας στοχαστικής διεργασίας: [4 3 2 1 2 3 4 5] Αν η επιθυµητή έξοδος είναι: [3 2 1 2 3 4 5 4] Να εφαρµοσθεί ο αλγόριθµος LS και να βρεθεί η βέλτιστη λύση για φίλτρο 3 συντελεστών [ 1 2 ]. 4 3 4 Λύση: 2 3 4 Ο πίνακας δεδοµένων εισόδου είναι 1 2 3 8 2 1 2 3 2 1.956 4 3 2.136 5 4 3.192 27 iclas sapatslis τετραγώνων LS Η αρχή της ορθογωνιότητας Η συνάρτηση κόστους µπορεί να γραφεί: J εδοµένου ότι: * Εξίσωση των µερικών παραγώγων του κριτήριου κόστους J ως προς i i,,m µας οδηγεί στις εξισώσεις: k * mi k,1,, M Οι ανωτέρω εξισώσεις εκφράζουν την αρχή της ορθογωνιότητας: «Όταν το προσαρµοστικό φίλτρο λειτουργεί µε τους βέλτιστους συντελεστές το διάνυσµα τουσφάλµατος mi - είναι κάθετο προς τις παρατηρήσεις εισόδου και τις καθυστερήµένες έως και M εκδοχές τους» 27 iclas sapatslis 5
τετραγώνων LS Παράδειγµα Εφαρµόζοντας την αρχή της ορθογωνιότητας στο προηγούµενο παράδειγµα έχουµε: 8 mi [-.8241 -.3231-1.271.747.844 1.2125 1.28 -.819] Τ και 27 iclas sapatslis τετραγώνων LS Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων RLS Η λύση των κανονικών εξισώσεων για Ν+1 παρατηρήσεις εισόδου βρήκαµε ότι υπολογίζεται από τη σχέση: Φ z Τι γίνεται αν έχουµε µια νέα παρατήρηση +1 στην είσοδο δηλαδή αν έχουµε Ν+2 στοιχεία; Είναι προφανές ότι οι κανονικές εξισώσεις µπορεί να διαµορφωθούν ανάλογα προσθέτοντας την επιθυµητή απόκριση για το νέο στοιχείο στο διάνυσµα καθώς και µια νέα στήλη γραµµή στον πίνακα δεδοµένων εισόδου Α. + 1 + 1 + 1 + 1 Τ 1 + όπου Τ + 1 [ + 1 M + 1] 27 iclas sapatslis 6
τετραγώνων LS Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων II Εποµένως η λύση των κανονικών εξισώσεων για Ν+2 υπολογίζεται από τη σχέση: + 1 Φ + 1 z + 1 + 1 + 1 + 1 + 1 + 1 Οαναδροµικός αλγόριθµος ελάχιστων τετραγώνων υπολογίζει τους συντελεστές +1 τροποποιώντας κατάλληλα τους συντελεστές χωρίς να χρειάζεται να αντιστρέψει τον πίνακα συσχέτισης Φ+1 η αντιστροφήτουφ+1 αυξανοµένου του Ν είναι ιδιαίτερα χρονοβόρα Οι παρακάτω σχέσεις µπορούν εύκολα να αποδειχτούν: Φ + 1 Φ + + 1 + 1 z + 1 z + * + 1 + 1 Για τον αναδροµικό υπολογισµότων+1 ηπραγµατική δυσκολία έγκειται στην αντιστροφή του πίνακα Φ + 1 Φ + + 1 + 1 ως συνάρτηση του Φ -1 Ν. Το λήµµα αντιστροφής πινάκων δίνει τη λύση στο πρόβληµα αυτό 27 iclas sapatslis τετραγώνων LS Λήµµα αντιστροφής πινάκων Έστω ο πίνακας: Α Β -1 +CD -1 C, όπου οι πίνακες Α, Β, D είναι θετικά ορισµένοι πίνακες άρα αντιστρέψιµοι. Τα λήµµα αντιστροφής πινάκων εκφράζεται από την κατωτέρω εξίσωση πινάκων: B BC D + C BC C Αν θέσουµε στη ανωτέρω σχέση: Έχουµε: Ορίζοντας B Φ Ν + 1 C + 1 D 1 Φ Ν Φ + 1 + 1 Φ Φ + 1 Φ 1+ + 1 Φ + 1 P + 1 Φ k + 1 1+ + 1 παίρνουµε την αναδροµική σχέση υπολογισµού του αντίστροφου πίνακα συσχέτισης P + 1 P k + 1 + 1 P B P + 1 + 1 P + 1 27 iclas sapatslis 7
τετραγώνων LS Με τη βοήθεια των προηγούµενων σχέσεων προκύπτει η αναδροµική σχέση υπολογισµού των συντελεστών +1: Συνήθως στο αλγόριθµο RLS χρησιµοποιείται µια παράµετρος µνήµης λ <λ<1 ώστε η ενηµέρωση των συντελεστών +1 να γίνεται δίνοντας µεγαλύτερη βαρύτητα στις πιο καινούργιες παρατηρήσεις Αυτό έχει ως αποτέλεσµα να ελαχιστοποιείται τα σφάλµα αντί για το σφάλµα Οαλγόριθµος RLS + 1 k + 1 + 1 + P + 1 * + 1 J λ * J * 27 iclas sapatslis τετραγώνων LS Οαλγόριθµος RLS ΙΙ Στουςαρχικούςυπολογισµούς των συντελεστών +1,1,,M-1 ο πίνακας Φ δεν είναι αντιστρέψιµος. Για να µπορεί να εκτελεστεί ο αναδροµικός υπολογισµός λαµβάνεται αρχικά: P δ Ι Όπου Ι είναι µοναδιαίος πίνακας διαστάσεων Μ+1xΜ+1 και δ µια θετική σταθερά µε πολύ µικρή τιµή. Εποµένως ο αλγόριθµος RLS συνοψίζονται τελικά ως: Αρχικοποίηση : -1 P δ Ι Για κάθε, 1,2. δ µικρή θετική σταθερά λ P k 1+ λ P ξ + k ξ * P λ P λ k P 27 iclas sapatslis 8
τετραγώνων LS Παράδειγµα ίνονται τα πρώτα 8 δείγµατα µιας πραγµάτωσης µιας στοχαστικής διεργασίας: [4 3 2 1 2 3 4 5] Αν η επιθυµητή έξοδος είναι: [3 2 1 2 3 4 5 4] Να εφαρµοσθεί ο αλγόριθµος RLS και να βρεθεί η βέλτιστη λύση για φίλτρο 3 συντελεστών [ 1 2 ] καιναδοθούνοιδιαδοχικέςεκτιµήσεις για τους συντελεστές χρησιµοποιήστε δ.1. Να συγκριθεί η τελική λύση 8 µε τη λύση των ελάχιστων τετραγώνων. Που οφείλονται οι διαφορές στους συντελεστές; 27 iclas sapatslis τετραγώνων LS Παραδείγµατα ίνεται το σήµα x το οποίο αποτελεί πραγµάτωση µιας στοχαστικής διεργασίας. Να βρεθεί γραµµικός προβλέπτης δύο συντελεστών [ 1 2 ] για πρόβλεψη της τιµής x+1 µε τη βοήθεια των αλγορίθµων LMS, FLMS και RLS Cfficits a 1 bttm crvs.5 -.5 Έστω x a 1 x-1+a 2 x-2+v, όπου v είναι λευκός θόρυβος µε µέση τιµή µ v και διασπορά σ ν 2. Ο γραµµικός προβλέπτης συντελεστές πρέπει να µπορεί να εκτιµήσει τις τιµές α 1 και α 2. 2 1.5 1-1 Cvrgc rat fr LMS r, FLMS black a RLS bl -1.5 2 4 6 8 1 12 14 16 18 2 Sampl mbr Στο διπλανό σχήµα φαίνεταιη σταδιακή προσέγγιση των τιµών α 1 1.3 και α 2 -.995 από τους συντελεστές του φίλτρου [1 2] µε τη βοήθεια των αλγορίθµων LMS µ.1 κόκκινη καµπύλη FLMS µ.1 µαύρη καµπύλη RLS λ.99, δ.1 µπλε καµπύλη 27 iclas sapatslis 9
τετραγώνων LS Αναγνώριση συστήµατος Έστω ότι το άγνωστο σύστηµα περιγράφεται από τη συνάρτηση 2 µεταφοράς:.5 +.2z +.1z z 1.25z Για µοντελοποίηση του ανωτέρω συστήµατος µε FIR φίλτρο τάξης 5 6 συντελεστών ηβέλτιστηλύσηλύση Wir είναι: Cfficits a 1 bttm crvs - sig 1 ralizatis.7.6.5.4.3.2.1 Cvrgc rat fr LMS r, FLMS black a RLS bl 1 2 3 4 5 6 7 8 9 1 Sampl mbr [.5.325.1812.453.113.28] Στο διπλανό σχήµα φαίνεταιη σταδιακή προσέγγιση των τιµών.5 και 1.325 µε τη βοήθεια των αλγορίθµων LMS κόκκινες καµπύλες, FLMS µαύρες καµπύλες και RLS µπλε καµπύλες. 27 iclas sapatslis 1