ΒΕΣ Προσαρµοστικά Συστήµατα στις Τηεπικοινωνίες Προσαρµοστικοί Αγόριθµοι Υοποίησης Βέτιστων Ψηφιακών Φίτρων: Οαγόριθµος καθόδου κατά την (Steepest-escent) κατά τη Βιβιογραφία Ενότητας Benvent []: Κεφάαι 3 Wirw [985]: Chapter 3 Haykin []: Chapter 8 Saye [3]: Chapter 3 Brjeny [999]: Chapter 3 Bse [3]: Chapter 8 Chassaing []: Chapter 7
κατά τη Εισαγωγή Οι προσαρµοστικοί αγόριθµοι δεν είναι αναδροµικές τεχνικές αναζήτησης της ύσης ενός προβήµατος Οόροςαναδροµικός αναφέρεται στην προσέγγιση της ζητούµενης ύσης ξεκινώντας από µια τυχαία αρχικοποίηση και βετιώνοντας διαδοχικά την προσέγγιση µας Στα προσαρµοστικά συστήµατα το πρόβηµα είναι το βέτιστο γραµµικό φιτράρισµα και η ζητούµενηύσηείναιηύσηwiener Η ανάγκη για προσαρµοστική αναζήτηση της ύσης Wiener προέρχεται από την µη ευστάθεια του πίνακα αυτοσυσχέτισης R ή της προσέγγισης τους (δεδοµένουότιστηνπειονότητατωνπεριπτώσεωνδενείναιγνωστός). Ηαναδροµική αναζήτηση της ύσης του βέτιστου γραµµικού φιτραρίσµατος είναι ιδιαίτερα σηµαντική σε περιπτώσεις στις οποίες η στοχαστική διεργασία εισόδου δεν είναι στάσιµη αά µεταβάεται σχετικά αργά Οι αναδροµικοί αγόριθµοι βασισµένοι στην κίση προϋποθέτουν τη γνώση του πίνακα αυτοσυσχέτισης της στοχαστικής διεργασίας εισόδου. Εντούτοις αποτεούν τη βάση για τον πού διαδεδοµένο αγόριθµο LMS κατά τη Αναδροµήβασισµένη στη κίση Έχουµε ήδη δει ότι η ύση στο πρόβηµα τουβέτιστουγραµµικού φιτραρίσµατος δίνεται από τις εξισώσεις Wiener-Hph: R w = p Η ανωτέρω ύση εαχιστοποιεί το µέσο τετραγωνικό σφάµα: J ( w) = E[{ ( w ( } ] = σ w p + w R w Το εάχιστο µέσο τετραγωνικό σφάµα δίνεταιαπότησχέση J min = σ p w = σ p R p
κατά τη Αναδροµήβασισµένη στη κίση (ΙΙ) Για την αναδροµική εκτίµηση της ύσης Wiener w R = p το διάνυσµα w των συντεεστών του φίτρου επανεκτιµάται σε κάθε χρονική στιγµή: w(n+) = w( + δw Το βασικό ζητούµενοείναιηεύρεσητουδιανύσµατος µεταβοής δw ώστε το διάνυσµα w(n+) να αποτεεί καύτερη προσέγγιση στη ύση Wiener από ότι το διάνυσµα w( να ισχύει δηαδή w( n + ) w < w( w Στους προσαρµοστικούς αγόριθµους βασισµένους στη κίση το διάνυσµα δw υποογίζεται µε βάση τη παράγωγο (ανάδετα) της διανυσµατικής συνάρτησης: J ( w) = σ w p + w R w Για να είναι εφικτό αυτό η συνάρτηση J(w) πρέπει να εκφράζεται αναυτικά, εποµένως τόσο ο πίνακας αυτοσυσχέτισης R όσο και το διάνυσµα ετεροσυσχέτισηςp πρέπει να είναι γνωστά. κατά τη J(w) 35 3 5 5 5 J(w) = - 8w + w 3 5 7 8 9 w Αναδροµήβασισµένη στη κίση (III) Για κατανόηση της αναδροµής βασισµένης στη κίση θεωρούµε τη µονοδιάστατη περίπτωση (φίτρο µε έναµόνο συντεεστή w) Ζητούµενο: ήεύρεσηµε αναδροµικό τρόπο του w που εαχιστοποιεί τη συνάρτηση J(w) Αρχική τιµή γιατοw: w() = Ποια θα πρέπει να είναι η επόµενη εκτίµηση w() ώστε να πησιάσουµε προςτηβέτιστηύση w =; Παρατηρούµε ότιγιανακινηθούµε προςτηβέτιστηύσηπρέπεινα κινηθούµε αντίθετα(δw) από το πρόσηµο της παραγώγου της συνάρτησης J(w) στο σηµείο w(): J ( w) w w = w() 3
κατά τη Παράδειγµα Η παράγωγος της συνάρτησης J ( w) = 8w + w στο σηµείο w()= είναι: J ( w) = w 8 = w w = w() w = Εποµένως το δw θα πρέπει να είναι θετικό (δεδοµένου ότι η παράγωγος της J(w) στο w() = έχει αρνητική τιµή) Άρα w() = w()+δw και προφανώς ισχύει w()>w() Ητιµή w() θα είναι w()=w()+δw αά το δw θα πρέπει να έχει πρόσηµο αντίθετο από την παράγωγο στο σηµείο w(). Πρέπει να σηµειωθεί ότι εκτός από το πρόσηµο τουδw θα πρέπει να ορισθεί και το µέγεθος (τιµή) του. Μεγάη τιµή τουδw µπορεί να µην οδηγήσει στη βέτιστη ύση ενώ πού µικρή τιµή µπορείναοδηγήσειστηύσηµεν αά µε πούαργόρυθµό δε. Ανηαρχικήτιµή γιατοw ήταν w()=5 θα είχαµε: και προφανώς το δw θα ήταν αρνητικό (άρα w()<w()) J ( w) = w 8 = w w = w() w = 5 κατά τη w J(w) = σ - w p + w Rw Παράγωγος διανυσµατικής συνάρτησης Στην περίπτωση διανυσµατικών συναρτήσεων η παράγωγος ως προς το διάνυσµα (γνωστή ως κίση ή ανάδετα) των ανεξάρτητων µεταβητών είναι ένα διάνυσµα Η µεταβοή του διανύσµατος δw (w(n+) = w(+ δw) γίνεται µε κατεύθυνση αντίστροφη προς τη κίση της συνάρτησης J(w) στο σηµείο w(. - - - - - - w
κατά τη Έστω η συνάρτηση µε σ = και R =. Αν w() =. Παράδειγµα J ( w) = σ w p + w R w p να βρεθεί ένα πιθανό διάνυσµα w() συνάρτησης J(w).7 =.5 w - - - J(w) = σ - w p + w Rw - - - w σύµφωνα µε βάση τη κίση της Έχουµε: J ( w) = p w + Rw = p w = w() 7. + R w = w =.9 7. Εποµένως το δw θα πρέπει να είναι αντίθετο µε τοδιάνυσµα.9 κατά τη Μέθοδος κατάβασης κατά τη Η µέθοδος κατάβασης κατά τη επιδιώκει την εύρεση, µε αναδροµικό τρόπο, του εάχιστου της συνάρτησης: J ( w) = σ w p + w R w µεταβάοντας το διάνυσµα των συντεεστών του φίτρου w( κατά την αντίστροφη κατεύθυνση από την κίση της συνάρτησης J(w). Με τον τρόπο αυτό η µεταβοή του διανύσµατος w( γίνεται προς την κατεύθυνση προς την οποία µειώνεται περισσότερο το µέσο τετραγωνικό σφάµα (εξ ου και το όνοµα κατάβαση κατά τη ή steepest escent) Η µεταβοή του διανύσµατος των συντεεστών δίνεται από τη σχέση: w( n + ) = w( µ J ( w) Η κίση (ανάδετα) της συνάρτησης J(w) δίνεται από τη σχέση: J ( w) = p + Rw Ηπαράµετρος µ καθορίζει το µέγεθος της µεταβοής του διανύσµατος των συντεεστών και καθορίζει την ταχύτητα εύρεσης της βέτιστης ύσης 5
κατά τη Αγόριθµος κατάβασης κατά τη. Ξεκινάµε την αναζήτηση της βέτιστης ύσης w από ένα τυχαίο διάνυσµα συντεεστώνw(). Αν δεν υπάρχει κάποια εκ των προτέρων πηροφορία για την τιµή τουδιανύσµατος w τότε το w() τίθεται ίσο µε τοµηδενικό διάνυσµα w() =. Υποογίζουµε τοδιάνυσµα της κίσης της συνάρτησης J(w) στο σηµείο w = w() 3. Υποογίζουµε τη νέα εκτίµηση του διανύσµατος w µεταβάοντας διάνυσµα w() κατά την αντίστροφη κατεύθυνση του διανύσµατος της κίσης w() = w() µ J ( w) w = w(). Επανααµβάνουµε ταβήµατα -3 µε τιςτιµές n =,, (θέτοντας όπου w() = w( και όπου w() = w(n+)) κατά τη Παράδειγµα Να εφαρµόσετε τον αγόριθµο κατάβασης κατά τη για την εύρεση του βέτιστου ψηφιακού φίτρου συντεεστών. ίνονται: σ = R =...7 =.5 Χρησιµοποιείστε µ= και µ =. και συγκρίνεται τα αποτεέσµατα. p Για µ= παίρνουµε τις επόµενες εκτιµήσεις:.7 W =.5..5.5...3...8...7....3 W(-Wpt.7..5..3 Cnvergence Errr µ= re an µ=. ble.. 5 5 5 Nmber f Iteratins n
κατά τη Παράδειγµα (συν.) Rte f Cnvergence fr µ= Rte f Cnvergence fr µ=. w w - - - - - - - - w - - - - w κατά τη w - - - J(w) = σ - w p + w Rw - - - w Μέθοδος Newtn Στη µέθοδο Newtn ακοουθεί τις αρχές της µεθόδου κατάβασης κατά τη, η µεταβοή όµως του διανύσµατος των συντεεστών δίνεται από τη σχέση: w( n + ) = w( µ R J ( w) Ο ποαπασιασµός του διανύσµατος της κίσης (ανάδετα) µε τον αντίστροφο του πίνακα αυτοσυσχέτισης R - στρέφει το διάνυσµα της µεταβοής προς την κατεύθυνση της βέτιστης ύσης (βέπε βέος στο διπανό σχήµα) Η µέθοδος Newtn συγκίνει ταχύτερα στη βέτιστη ύση από ότι η µέθοδος κατάβασης κατά τη µέγιστη κίση. Απαιτεί όµως ο πίνακας αυτοσυσχέτισης R να είναι αντιστρέψιµος και ευσταθής. Επειδή συνήθως ο πίνακας αυτοσυσχέτισης R δεν είναι γνωστός αά εκτιµάται από τα δεδοµένα εισόδου η µέθοδος Newtn δεν εφαρµόζεται συχνά στην πράξη. 7
κατά τη Παράδειγµα Να εφαρµόσετε τον αγόριθµο Newtn για την εύρεση του βέτιστου ψηφιακού φίτρου συντεεστών. ίνονται: σ = R =...7 =.5 Χρησιµοποιείστε µ =.5 και µ =.5 και συγκρίνεται τα αποτεέσµατα. p.7 Cnvergence Errr fr Newtn meth µ=.5 re an µ=.5 ble Cnvergence fr Newtn (ble) an Steepest Descent (re) meth fr µ=.5..5..3. -. - 8 - - - - w κατά τη Cnvergence fr Newtn (ble) an Steepest Descent (re) meth fr µ=.5.7 Παράδειγµα (συν) Cnvergence fr Newtn (ble) an Steepest Descent (re) meth fr µ=.8..5..3 w. -. - 5 5 5 3 35 - - - - w 8
κατά τη Σύγκιση αγορίθµου κατάβασης Με τον όρο σύγκιση εννοούµε την προοδευτική προσέγγιση της βέτιστης ύσης w απότοδιάνυσµα w( όσο αυξάνεται το n. Η σύγκιση του αγορίθµου κατάβασης κατά τη εξαρτάται από τη επιογή της παραµέτρου µ (step size parameter) w( n + ) = w( µ J ( w) = w( + µ ( p = w( + µ ( R w R w( ) Γιαναέχουµε σύγκιση χρειάζεται: ο R w( ) από την προηγούµενη σχέση είναι φανερό ότι για να έχουµε σύγκιση χρειάζεται: I µr < η παραπάνω σχέση µεταφράζεται στη σχέση < µ < όπου max είναι η µεγαύτερη ιδιοτιµή του πίνακα αυτοσυσχέτισης R. w( n + ) w < w( w w( n + ) wο = w( wο + µ ( R wο Rw( ) = ( I µ R )( w( wο ) max κατά τη Παράδειγµα Να βρεθούν οι τιµές του µ για τις οποίες ο αγόριθµος κατάβασης κατά τη συγκίνει προς τη ύση Wiener στην περίπτωση που έχουµε: R =.. p.7 =.5 Να απεικονίσετε για διάφορες τιµές του µ τα διαγράµµατα -µ min και -µ max και να βρείτε την τιµή τουµ γιατηνοποίαεπιτυγχάνεται ηταχύτερησύγκισηστηβέτιστηύση(µ pt ). Η ταχύτητα σύγκισης καθορίζεται από τον παράγοντα α = -µ pt min. Όσο µικρότερο είναι το α τόσο ταχύτερη είναι η σύγκιση. 9
κατά τη f,f 3.5.5 Παράδειγµα (συν) f = abs(-µmi in ble an f = abs(-µmax) in re Το σηµείο τοµής των δύο διαγραµµάτων δείχνει τη βέτιστη τιµή για το µ: Αποδεικνύεται ότι η τιµή αυτή είναι ίση µε: µ pt = min + max.5....8.. µ Ο παράγοντας α δίνεται τότε από τη σχέση a = max min max min +