HMY 799 1: Αναγνώριση Συστημάτων

Transcript

1 HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις Επιλογή τάξης μοντέλου και επικύρωση Επαναληπτική αναγνώριση

2 Βέλτιστη μέθοδος συμβαλλουσών μεταβλητών (opimal IV mehod) P P P IV IV, op PEM z() = H ( q) φ () Γενική μέθοδος IV: min θ z ( Fq ) ( ) ε ( ) = F( q) = H ( q) Q= I { } PIV op = E H q φ H q φ, λ ( ) () ( ) () Η υλοποίηση γίνεται επαναληπτικά Q

3 Επιλογή τάξης μοντέλου Επικύρωση μοντέλου Όπως έχουμε συζητήσει, η επιλογή της τάξης του μοντέλου καθώς και η επικύρωσή του είναι ένα από τα πιο σημαντικά θέματα στην αναγνώριση συστημάτων Γενική διαδικασία Επιλογή συνόλου μοντέλων (Γραμμικό/μη γραμμικό, μαύρο κουτί, παραμετροποίηση κλπ.) Π.χ. για γραμμικά συστήματα: ARX, ARMAX κλπ. Επιλογή τάξης: AR, ARMAX κλπ: τάξεις των συναρτήσεων μεταφοράς A(q), B(q), C(q), Μη γραμμικά μοντέλα: επιλογή πολυωνυμικής τάξης (στη συνέχεια) Επιλογή κριτηρίου και μεθόδου εκτίμησης Γιατί είναι σημαντική η επιλογή τάξης? Λιγότερες παράμετροι απ όσες πρέπει (υποπαραμετροποίηση): Λιγότερη ακρίβεια/ικανότητα πρόβλεψης εξόδου, ευελιξία (π.χ. πρόβλεψη για άλλο τύπο εισόδου από αυτόν που χρησιμοποιήθηκε για την αναγνώριση) Περισσότερες παράμετροι απ όσες πρέπει (υπερπαραμετροποίηση): Αχρείαστη πολυπλοκότητα στους υπολογισμούς, αυξημένη διακύμανση των εκτιμήσεων, μειωμένη ικανότητα γενίκευσης μοντέλου (μοντελοποίηση του θορύβου) Η επιλογή τάξης εξαρτάται σε κάποιο βαθμό και από την εφαρμογή Αν μας ενδιαφέρει π.χ. να εξάγουμε γνώση για τη λειτουργία ενός συστήματος, η ακρίβεια μπορεί να είναι πιο σημαντική

4 Επιλογή τάξης μοντέλου Επικύρωση μοντέλου Είδαμε ότι το κριτήριο (συνάρτηση κόστους) συνήθως το (κανονικοποιημένο) μέσο τετραγωνικό σφάλμα ()MSE ποσοτικοποιεί πόσο κοντά βρίσκεται η πρόβλεψη του μοντέλου στις μετρήσεις μας, οι οποίες περιέχουν όμως και θόρυβο ή/και επιδράσεις από άλλους εξωγενείς παράγοντες Δεν πρέπει να στοχεύουμε σε μηδενικό σφάλμα! Το σφάλμα περιέχει δύο συνιστώσες Η μια συνιστώσα αντιστοιχεί στην απόκλιση (bias) από το πραγματικό σύστημα Η άλλη συνιστώσα αντιστοιχεί στη διακύμανση (variance) της εκτίμησης Όταν αυξάνουμε την πολυπλοκότητα μειώνουμε την απόκλιση, αλλά αυξάνουμε τη διακύμανση (bias/variance rade off) Σκοπός της επιλογής της τάξης μοντέλου πρέπει να είναι η εύρεση της «καλύτερης» ισορροπίας μεταξύ απόκλισης/διακύμανσης Βασικές προσεγγίσεις επιλογής τάξης Εκ των προτέρων γνώση για το σύστημα Σύγκριση πρόβλεψης με τις μετρήσεις της εξόδου Μελέτη των χαρακτηριστικών (π.χ. συνάρτηση αυτοσυσχέτισης) του σφάλματος πρόβλεψης Χρησιμοποίηση δεδομένων εκτός δείγματος (cross validaion) Κριτήρια που επιβάλλουν ποινή στην πολυπλοκότητα (AIC, FPE, MDL)

5 Σύγκριση πρόβλεψης μετρήσεων Σύγκριση πρόβλεψης με τις μετρήσεις της εξόδου Για τη γενική περίπτωση ενός γραμμικού μοντέλου του τύπου συγκρίνουμε το κλάσμα της πρόβλεψης που αντιστοιχεί στην είσοδο, δηλ. y () ˆ m = G ( q, θ ) () Ν u με τις μετρήσεις μας. Το πόσο κοντά θα πρέπει να βρίσκονται τα δύο σήματα εξαρτάται από το λόγο σήματος προς θόρυβο και από το αν υπάρχουν και άλλες μεταβλητές εισόδου που δεν μοντελοποιούνται. Σε κάθε περίπτωση στην πράξη όμως θα πρέπει ym () y() Η απόκλιση μεταξύ των δύο οφείλεται σε σφάλματα μοντελοποίησης και στις διαταραχές Ποσοτικοποίηση: ˆ V ( ) ( ) ˆ( ˆ θ = y y ) = θ

6 Έλεγχος υπολοίπων Τα υπόλοιπα (residuals) του μοντέλου, δηλ: ε ( θˆ ˆ ˆ ) = y() y( θ ) περιέχουν σημαντική πληροφορία και μπορούν να χρησιμοποιηθούν για την επιλογή της τάξης μοντέλου Σημαντικό: Στην περίπτωση που μοντελοποιούμε και το θόρυβο (μέθοδοι πρόβλεψης σφάλματος) τα υπόλοιπα πρέπει να είναι λευκή διαδικασία για θˆ = θ0 Σε αντίθετη περίπτωση (π.χ. απλά ελάχιστα τετράγωνα, IV mehods) αυτό δεν ισχύει στη γενική περίπτωση Οι παρακάτω μέθοδοι (στατιστικός έλεγχος λευκότητας των υπολοίπων) μπορούν να εφαρμοστούν στην πρώτη περίπτωση μόνο με ασφάλεια! Στατιστικός έλεγχος λευκότητας υπολοίπων Συνήθως γίνεται χρησιμοποιώντας τη συνάρτηση αυτοσυσχέτισης των υπολοίπων ή τη συνάρτηση αλληλοσυσχέτισης μεταξύ υπολοίπων και της εισόδου Έχουμε δει ότι μπορούμε να εκτιμήσουμε τις συναρτήσεις αυτές ως τ Συνάρτηση αυτοσυσχέτισης ˆ ϕεε ( τ) = ε( ) ε( + τ) = Η ποσότητα αυτή ιδανικά πρέπει να είναι μη μηδενική μόνο για τ=0 (πρακτικά πρέπει να είναι «μικρή» για όλα τα άλλα τ εκτός 0) τ Συνάρτηση αλληλοσυσχέτισης ˆ ϕεu ( τ) = ε( u ) ( τ) = Η ποσότητα αυτή ιδανικά πρέπει να είναι μηδενική (πρακτικά πολύ μικρή). Για συστήματα ανοικτού βρόχου πρέπει να ισχύει για θετικά και αρνητικά τ

7 Έλεγχος υπολοίπων τ Συνάρτηση αυτοσυσχέτισης ˆ ϕ () εε ( τ) = ε( ) ε( + τ) = Ξέρουμε ότι για λευκή διαδικασία, για : ˆ ϕεε (0) λ ˆ ϕεε ( τ) 0, τ 0 Όπως είδαμε και στη γραμμική παλινδρόμηση, για να κάνουμε στατιστικό έλεγχο μιας υπόθεσης, θα πρέπει πρώτα να τυποποιήσουμε τις υποθέσεις μας. Στην προκειμένη περίπτωση: Η 0 : ηδιαδικασίαε() είναι λευκός θόρυβος Η : η διαδικασία ε() δεν είναι λευκός θόρυβος Αν ισχύει η Η 0 : Η κατανομή του κανονικοποιημένου αθροίσματος των τετραγώνων της εκτίμησης () είναι ασυμπτωτικά χ, δηλ: m ˆ ( ) m ˆ ϕεε τ χ (0) ϕ εε τ = Επίσης η κατανομή των κανονικοποιημένων εκτιμήσεων της αυτοσυσχέτισης είναι ασυμπτωτικά κανονική, δηλ: ˆ ϕεε ( τ) (0,) ˆ ϕ (0) εε Μπορούμε να χρησιμοποιήσουμε αυτά τα αποτελέσματα για στατιστικό έλεγχο

8 Έλεγχος υπολοίπων Στατιστικός έλεγχος Ορίζουμε το επίπεδο σημαντικότητας α (συνήθως 0.05). Ορίζοντας την ποσότητα α = Px ( > χ ) m, α όπου η τυχαία μεταβλητή που μας ενδιαφέρει είναι Αν Αν m ˆ ϕ εε (0) τ = m ˆ ϕ εε (0) τ = ˆ ϕ ( τ) > χ εε m, α ˆ ϕ ( τ ) χ εε m, α m x = ϕ ˆ ϕ εε (0) τ = ˆ εε ( τ ) τότε: χ m, α Απόρριψη της Η 0 (το ε δεν είναι λευκή διαδικασία) Αποδοχή της Η 0 (το ε είναι λευκή διαδικασία) ˆ ϕ ( τ ) Μπορούμε να κάνουμε το ίδιο για την ποσότητα εε για διαφορετικές τιμές του τ ˆ ϕ (0) συγκρίνοντας αυτή τη φορά με την ποσότητα n εε α / =.96 Αν ˆ ϕ ( τ) εε >.96 Απόρριψη της Η 0 ˆ ϕεε (0) Αν ˆ ϕ ( τ ) εε.96 Αποδοχή της Η 0 ˆ ϕ (0) εε ως:

9 Έλεγχος υπολοίπων

10 Έλεγχος υπολοίπων Έλεγχος αλληλοσυσχέτισης μεταξύ υπολοίπων εισόδου Αν το μοντέλο είναι ακριβής περιγραφή του συστήματος, θα πρέπει η είσοδος και τα υπόλοιπα να είναι ασυσχέτιστα μεταξύ τους, δηλ: ϕεu ( τ ) = E { ε ( u ) ( τ )} = 0 Για συστήματα ανοικτού βρόχου, η συνθήκη αυτή πρέπει να ισχύει για κάθε τ Για συστήματα κλειστού βρόχου, η συνθήκη αυτή θα πρέπει να ισχύει μόνο για τ>0, αλλά όχι για τ<0. Μπορούμε να χρησιμοποιήσουμε αυτό το γεγονός για τον έλεγχο ύπαρξης ανάδρασης Μπορούμε επίσης να χρησιμοποιήσουμε την αλληλοσυσχέτιση για τον έλεγχο της χρονικής καθυστέρησης του συστήματος. Αν π.χ. έχουμε υποθέσει καθυστέρηση 0 = αλλά η αληθινή καθυστέρηση είναι η αλληλοσυσχέτιση μεταξύ u( ) και ε() θα είναι σημαντική! Στατιστικός έλεγχος: Σχηματίζουμε την ποσότητα: ˆ ϕεu ( τ ) xτ = [ ˆ ϕ (0) ˆ ( )] / εε ϕuu τ τ όπου ˆ ϕεu ( τ) = ε( u ) ( τ) = Ορίζουμε u ( ) ˆ Φ uu ( τ ) =... [ u ( )... u ( m) ] = m+ u ( m) φ = ϕ ( τ + )... ϕ ( τ + m) [ ] εu εu

11 Τότε, αν το ε είναι λευκός θόρυβος: φ ˆ ϕ (0) ˆ Φ εε uu φ χ m Έλεγχος υπολοίπων Η ποσότητα αυτή μπορεί να χρησιμοποιηθεί για στατιστικό έλεγχο όπως και προηγουμένως Επίσης, για τη μεταβλητή ˆ ϕεu ( τ ) x τ = / ˆ ϕ (0) ˆ ϕ ( τ) [ ] / εε uu για ε λευκό θόρυβο ισχύει: x τ (0,) Στους παραπάνω ελέγχους, το m συνήθως επιλέγεται μεταξύ 5 και Ν/4. Το επιλέγεται έτσι ώστε τα στοιχεία του φ = ϕ ( τ + )... ϕ ( τ + ) [ ] εu εu m τ να μην είναι μηδενικά εξ ορισμού (πχ χρονικές καθυστερήσεις κλπ.)

12 Επιλογή τάξης Δεδομένα επικύρωσης (cross validaion daa) Πως επιλέγουμε την τάξη του μοντέλου? Ξεκινάμε από πολύ απλές δομές και εξετάζουμε σταδιακά πιο πολύπλοκα μοντέλα Αρχή της οικονομίας (parsimony principle) Αν δύο μοντέλα διαφορετικής πολυπλοκότητας εξηγούν τα δεδομένα που χρησιμοποιούνται για την αναγνώριση περίπου το ίδιο καλά, το μοντέλο με τις λιγότερες ελεύθερες παραμέτρους πρέπει να επιλεγεί Επίσης: Αν ένα μοντέλο δίνει ακριβή περιγραφή ενός συστήματος, θα πρέπει να μπορεί να περιγράψει οποιοδήποτε σετ δεδομένων που δημιουργείται από το σύστημα. Αν το σύστημα είναι περισσότερο πολύπλοκο απ όσο πρέπει, μοντελοποιεί και το θόρυβο στα δεδομένα που χρησιμοποιούνται για την αναγνώριση (overfiing) Μπορούμε να χρησιμοποιήσουμε ένα σετ δεδομένων που δεν χρησιμοποιήθηκαν για την αναγνώριση (cross validaion daa) για να εκτιμήσουμε την ικανότητα γενίκευσης του μοντέλου μας Γενικά η μέθοδος αυτή είναι η πιο αξιόπιστη όταν: Έχουμε ικανό αριθμό δεδομένων (πρέπει να έχουμε δεδομένα εκπαίδευσης και επικύρωσης) Το σύστημα είναι (σχεδόν) χρονικά αμετάβλητο

13 Δεδομένα επικύρωσης (cross validaion daa) Έστω ότι η ποιότητα του μοντέλου μετράται (για δεδομένα επικύρωσης δεδομένα στο μέλλον) με την ποσότητα: ˆ W ( θ ) = E { ε ( θˆ )} Στην ιδανική περίπτωση ( θ ˆ = θ Ν 0) το ε είναι λευκό και W ˆ ( θ) = λ Τι συμβαίνει όταν έχουμε απόκλιση από την αληθινή τιμή των παραμέτρων? Χρησιμοποιώντας επέκταση aylor γύρω από το θ 0 για το ε : ˆ ε ( 0) θ ( ) ( ˆ W θ = E ε θ0) + ( θ θ0) = = ˆ θ θ θ0 { ˆ } () (, )( ) ψ θ θ θ = E e 0 0 = ( ˆ ) { (, ) (, )}( ˆ ) = λ + θ θ0 Ε ψ θ0 ψ θ0 θ θ0 Μάλιστα μπορεί να δειχθεί ότι: p Ε + { W} λ ( ) όπου p=dimθ. Άρα η αναμενόμενη τιμή του σφάλματος πρόβλεψης για δεδομένα επικύρωσης αυξάνεται για πιο πολύπλοκα μοντέλα από το πραγματικό!

14 Σύγκριση διαφορετικών μοντέλων Πως συγκρίνουμε διαφορετικά μοντέλα με βάση τη συνάρτηση κόστους V ˆ ( θ)? Όσο αυξάνουμε την πολυπλοκότητα η τιμή του κόστους ελαττώνεται μονοτονικά (περισσότερες ελεύθερες παράμετροι) Το πρόβλημα είναι να βρούμε την τάξη εκείνη στην οποία σταματάει να μειώνεται σημαντικά η τιμή της συνάρτησης κόστους Είδαμε (γραμμική παλινδρόμηση) ότι αυτό μπορεί να γίνει για δύο οποιαδήποτε μοντέλα Μ και Μ χρησιμοποιώντας τη στατιστική ποσότητα F F ( MSE MSE)/( p p) = MSE /( p ) F η οποία ακολουθεί κατανομή p (ως λόγος δυο τ.μ. που ακολουθούν κατανομή χ ) και για p, p μεγάλο Ν προσεγγίζει την χ p p Διαδικασία: Υπολογίζουμε τα μέσα τετραγωνικά σφάλματα και την ποσότητα F Καθορίζουμε το επίπεδο σημαντικότητας α Συγκρίνουμε την ποσότητα αυτή είτε με την F α p p, p ή την χ p p, α Αν F < χ : αποδοχή μοντέλου Μ p p, α, Αν F > χ p p, α : αποδοχή μοντέλου Μ

15 Σύγκριση διαφορετικών μοντέλων Άλλη προσέγγιση: Χρησιμοποιούμε μια τροποποιημένη συνάρτηση κόστους η οποία επιβάλλει ποινή στην πολυπλοκότητα του μοντέλου και ψάχνουμε την τάξη εκείνη που ελαχιστοποιεί αυτή τη συνάρτηση, δηλ. m = arg min ( Fi + Complexiy. Penaly ) m Μ Η τροποποιημένη συνάρτηση κόστους είναι της γενικής μορφής W = V ( θˆ ){ +β (, p)} όπου ο όρος ποινής β(ν,p) πρέπει να αυξάνεται όταν το p αυξάνεται και να τείνει στο μηδέν όταν το Ν τείνει στο άπειρο Παραδείγματα συναρτήσεων ποινής Akaike informaion crierion ˆ p AIC( p) = V( θ){ + } Final predicion error ˆ + p / FPE( p) = V ( θ){ + } p/ Minimum descripion lengh ˆ pln MDL( p) = V( θ){ + } AIC/FPE ασυμπτωτικά ισοδύναμα. Τυπικά τα δύο αυτά κριτήρια τείνουν στην επιλογή υψηλής πολυπλοκότητας, το MDL είναι πιο συντηρητικό

16 Επαναληπτική αναγνώριση (Recursive idenificaion) Επαναληπτική αναγνώριση: Οι εκτιμήσεις μας ανανεώνονται σε κάθε χρονική στιγμή, δηλ. παίρνουμε την εκτίμηση θ ˆ( ) τροποποιώντας την εκτίμηση θ ˆ( ) Μέχρι στιγμής, χρησιμοποιούσαμε όλα τα δεδομένα για να πάρουμε τις εκτιμήσεις μας Γιατί είναι σημαντικές αυτές οι μέθοδοι? Εφαρμογές σε αληθινό χρόνο (προσαρμοστικός έλεγχος) Χρονικά μεταβλητά συστήματα Αναγνώριση σφαλμάτων (faul deecion) Βασική ιδέα: τροποποίηση της αντίστοιχης μεθόδου «εκτός γραμμής» (off line), π.χ. ελάχιστα τετράγωνα, μέθοδοι πρόβλεψης σφάλματος Επιθυμητές ιδιότητες ενός αλγορίθμου επαναληπτικής αναγνώρισης Γρήγορη σύγκλιση Συνεπής εκτίμηση (για χρονικά αμετάβλητα συστήματα) Καλή παρακολούθηση (για χρονικά μεταβλητά συστήματα) Σχετικά χαμηλή υπολογιστική πολυπλοκότητα (οι υπολογισμοί πρέπει να πραγματοποιούνται μέσα σε ένα διάστημα δειγματοληψίας

17 Επαναληπτικά ελάχιστα τετράγωνα (Recursive leas squares RLS) Η βασική εκτίμηση ελάχιστων τετραγώνων είναι: θ ˆ Ν = () s () s () s y() s φ φ s= φ s= Άρα τη χρονική στιγμή έχουμε: θ ˆ( ) () = s () s () s y () s φ φ s= φ s= Επομένως η εκτίμησή μας αλλάζει σε κάθε χρονικό βήμα. Μπορούμε να βρούμε μια επαναληπτική υλοποίηση αυτής της σχέσης? Ορίζουμε: P() = φ() s φ k () s s= Εύκολα βλέπουμε ότι: P = P + φ φ () ( ) () () Άρα: θˆ( ) = P () φ () s y () s + φ () y () = s= = P() ( ) ( ) () y() P θ + φ = ˆ = θ( ) + P( ) φ( )[ y( ) φ ( ) θˆ( )] ˆ

18 Επαναληπτικά ελάχιστα τετράγωνα (RLS) ˆ ˆ θ() = θ( ) + P() φ()[ y() φ () θˆ( )] Η σχέση αυτή μπορεί να ξαναγραφεί ως: θˆ() = θˆ( ) + K() ε () K() = P() φ() ε () = y() φ () θˆ ( ) ε() : σφάλμα πρόβλεψης, αν το ε() είναι μικρό, η εκτίμηση είναι ήδη καλή οπότε δε θα αλλάξει πολύ, αν όχι αλλάζει περισσότερο Κ(): κέρδος σταθμίζει πόσο το ε() αλλάζει τις τιμές των παραμέτρων H σχέση P () = P ( ) + φ () φ () απαιτεί αντιστροφή πίνακα. Χρησιμοποιώντας όμως την ιδιότητα: [ A+BCD ] = A A B (marix inversion lemma) C +DA B DA μπορούμε να την ξαναγράψουμε ως: P( ) φ( ) φ ( ) P( ) P() = P( ) + φ ( ) P( ) φ( ) η οποία είναι διαίρεση με αριθμό! Επίσης: P( ) φ( ) K() = P() φ() = + φ ( ) P( ) φ( )

19 Επαναληπτικά ελάχιστα τετράγωνα (RLS) Τελική μορφή του αλγορίθμου: Ξεκινάμε από κάποιες αρχικές τιμές θ ˆ(0), P (0) Ανανεώνουμε τις τιμές των παραμέτρων σε κάθε βήμα με βάση τις: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P ( ) φ ( ) φ ( ) P ( ) P() = P( ) + φ ( ) P( ) φ( ) P( ) φ( ) K() = P() φ() = + φ ( ) P ( ) φ ( ) Πως μπορούμε να χρησιμοποιήσουμε αυτές τις σχέσεις για την εκτίμηση χρονικά μεταβαλλόμενων παραμέτρων? Τροποποίηση της συνάρτησης κόστους ώστε να λαμβάνονται υπόψη μόνο οι πιο πρόσφατες μετρήσεις, δηλ: s V ( θ) = λ ε ( s) s== όπου το λ ονομάζεται forgeing facor και είναι σταθερά μεταξύ 0 και. Μικρότερο α: πιο γρήγορη προσαρμογή, αλλά μεγαλύτερη ευαισθησία στο θόρυβο πιθανά προβλήματα σύγκλισης λ=: Βασική μέθοδος RLS

20 Επαναληπτικά ελάχιστα τετράγωνα (RLS) Ο αλγόριθμος γίνεται τότε: θˆ () = θˆ ( ) + K () ε () ε () = y() φ () θˆ ( ) P( ) φ( ) φ ( ) P( ) P () = P ( ) λ λ + φ () P( ) φ() ( ) ( ) () = () () = P φ K P φ λ + φ () P( ) φ() Αρχικές συνθήκες: Πως επιλέγουμε τα θ ˆ(0), P(0)? θ ˆ(0) Αρχική εκτίμηση των παραμέτρων P(0) Αρχική εκτίμηση του πίνακα συνδιακύμανσης των παραμέτρων (πρέπει να είναι συμμετρικός, θετικά ορισμένος) Αν δεν έχουμε κάποια a priori γνώση για το σύστημά μας, συνήθως επιλέγουμε: θˆ(0) = 0 P (0) = ρ Ι Αν το ρ μεγάλο: μεγάλη αρχική απόκριση οι τιμές των παραμέτρων μπορεί να απομακρυνθούν γρήγορα από την αρχική τιμή τους καλό όταν είμαστε αβέβαιοι για την αρχική τιμή που επιλέξαμε

21 Επαναληπτική μέθοδος συμβαλλουσών μεταβλητών (RIVM) Η βασική εκτίμηση IV είναι (από τα προηγούμενα): θ ˆ( ) () = z s φ () s z ()() s y s s= s= Η μόνη διαφορά σε σχέση με τη βασική εκτίμηση ελάχιστων τετραγώνων είναι ότι το φ(s) αντικαθίσταται από z(s). Μπορεί να δειχθεί ότι και για την επαναληπτική έκδοση ισχύει το ίδιο, δηλαδή έχουμε: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P ( ) z ( ) K() = P() z() = λ + φ () P( ) z() P( ) z( ) φ ( ) P( ) P() = P( ) λ λ + φ () P ( ) z() Η επιλογή των αρχικών συνθηκών μπορεί να γίνει όπως και στα RLS Η βασική μέθοδος IV δίνει συνεπείς εκτιμήσεις για χρονικά αμετάβλητα συστήματα ARMAX. Και η επαναληπτική έκδοση (RIVM) δίνει συνεπείς εκτιμήσεις σε αυτή την περίπτωση

22 Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) Ξεκινάμε από την τροποποιημένη συνάρτηση κόστους: V s ( θ ) = λ ε ( s, θ ) s= Σε αυτή την περίπτωση, είδαμε ότι η μέθοδος εκτός γραμμής (off line) βασίζεται σε μη γραμμικό πρόβλημα βελτιστοποίησης, οπότε δεν μπορούμε να πάρουμε ακριβώς επαναληπτικές σχέσεις όπως στις περιπτώσεις RLS, RIVM. Θα πρέπει να πάρουμε κάποιου είδους προσέγγιση Έστω ότι η τιμή θ ˆ( ) ελαχιστοποιεί τη συνάρτηση κόστους V ( ) θ Παίρνοντας επέκταση aylor της V γύρω από το (είναι λογικό να υποθέσουμε ότι και το ( θ) θ ˆ( ) ελάχιστο της V ( θ ) θα είναι κοντά στο θˆ( ) ): ˆ ' ˆ ˆ ˆ '' V ˆ ˆ ( θ) V( θ( )) + V ( θ( ))( θ θ( )) + ( θ θ( )) V ( θ( ))( θ θ( )) Ελαχιστοποιώντας αυτή τη σχέση ως προς θ παίρνουμε: '' ' ( ) = ( ) V ( ( )) ( ( )) V θ ˆ θ ˆ ˆ ˆ θ θ Μπορούμε να απλοποιήσουμε (υποθέτουμε ότι οι δεύτερες παράγωγοι δεν αλλάζουν πολύ στο ). ' Επίσης V ( ( )) 0. Ξεκινώντας από τη σχέση: θ = ˆ V( θ) = λv ( θ) + ε (, θ) και παραγωγίζοντάς τη δύο φορές παίρνουμε με βάση τις ανωτέρω προσεγγίσεις τελικά:

23 Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) ˆ ˆ '' θ( ) = θ( ) V ( ˆ( )) '(, ˆ θ ε θ( )) '' ˆ '' V ( ( )) ( ˆ( )) '(, ˆ θ = λv θ + ε ( )) θ Αυτή η σχέση απαιτεί αντιστροφή του πίνακα των δευτέρων παραγώγων της συνάρτησης κόστους ως προς τις παραμέτρους. Μπορούμε να απλοποιήσουμε περαιτέρω. Χρησιμοποιώντας όπως και πριν marix inversion lemma και τις προσεγγίσεις: ε () ε (, θˆ ( )) (, ˆ ˆ ε ( )) () ε '(, ( )) θ ψ θ = θ τελικά καταλήγουμε στον ακόλουθο επαναληπτικό αλγόριθμο: θˆ() = θˆ( ) + K() ε () P( ) ψ( ) K () = P () ψ () = λ + ψ () P( ) ψ() P( ) ψ( ) ψ ( ) P( ) P() = P( ) λ λ+ ψ () P( ) ψ() Φυσικά, η ακριβής μορφή εξαρτάται από το είδος του μοντέλου που χρησιμοποιείται

24 Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) Παράδειγμα: Μοντέλο ARMAX Aq ( ) y ( ) = Bqu ( ) ( ) + Cqe ( ) ( ) Έχουμε δει (διαλέξεις 5 6) ότι σε αυτή την περίπτωση: y ( ) + ay ( ) a y ( n) = bu ( ) b u ( n) + n a n b a + e () + ce ( ) c e ( n) ψ(, θ) = ( )... ( ) ( )... ( ) ( )... ( ) y F y F n F F F F a u u nb e e n c y F () = y(), u F () = u(), ε F () = ε() Cq ( ) Cq ( ) Cq ( ) Στην πράξη οι ποσότητες αυτές μπορούν να υπολογιστούν π.χ. ως: ε ( ) = y( ) + aˆ ( ) y( ) aˆ ( ) y( n ) b ˆ ( ) u( )... b ˆ ( ) u( n ) n a n b cˆ ( ) e( )... cˆ ( ) e( n ) F F y () = y () cˆ () y ( )... cˆ () y( n ) n c n a c ψ( ) = y F ( )... y F ( n ) F ( )... F ( ) F ( )... F ( ) a u u nb e e n c F F u () = u() cˆ () u ( )... cˆ () u( n ) F F ε () = ε() cˆ () ε ( )... cˆ () ε( n ) n n c c c c c c b b n c c

25 Επαναληπτική ψευδογραμμική παλινδρόμηση (Recursive pseudolinear regression) Γράφοντας το μοντέλο ARMAX Aq ( ) y ( ) = Bqu ( ) ( ) + Cqe ( ) ( ) ως y () = φ () θ y ( ) + ay ( ) a y ( n) = bu ( ) b u ( n) + n a n b φ( ) = [ y ( )... y ( n) u ( )... u ( n) e ( )... e ( n)] θ = [ a... a b... b c... c ] n n n a b c a b c a + e () + ce ( ) c e ( n ) Τα e είναι άγνωστα! Αν τα αντικαταστήσουμε με τα ανάλογα σφάλματα πρόβλεψης, δηλ με: ε () = y() φ () θˆ ( ) και εφαρμόσουμε επαναληπτικά ελάχιστα τετράγωνα (RLS) παίρνουμε επαναληπτική ψευδογραμμική παλινδόμηση (RPLS) ή αλλιώς exended leas squares. Χρησιμοποιούμε τις ίδιες σχέσεις: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P( ) φ( ) φ ( ) P( ) P() = P( ) + φ ( ) P( ) φ( ) P( ) φ( ) K () = P () φ () = + φ ( ) P( ) φ( ) b n c c με φ( ) = [ y ( )... y ( n) u ( )... u ( n) ε( )... ε( n)] a b c

26 Παράδειγμα Αληθινό σύστημα ARMAX ( 0.9 q ) y( ) = q u( ) + ( 0.9 q ) e( ) Επαναληπτικά ελάχιστα τετράγωνα / συμβάλλουσες μεταβλητές με z()=[u(-) u(-)] : Άγνωστοι? Επαναληπτική μέθοδος πρόβλεψης σφάλματος / ψευδογραμμική παλινδρόμηση: Άγνωστοι? Αρχικές τιμές: θ ˆ(0) = 0 λ= P(0) = 0Ι RLS RIV

27 Παράδειγμα RPEM RPLR

28 Παράδειγμα Επίδραση των αρχικών συνθηκών Σύστημα ( 0.9 q ) y() = q u() + e(), RLS ρ=0 ρ= ρ=0. ρ=0.0

29 Παράδειγμα Επίδραση forgeing facor ( 0.9 q ) y( ) = (+ 0.9 q ) e( ), RPEM ρ=00 λ=0.99 λ= λ=0.95

30 Σύγκλιση Ασυμπτωτικά, για λ= (η για λ που τείνει στο για Ν ) οι επαναληπτικές μέθοδοι RLS και RIV έχουν την ίδια συμπεριφορά με τις αντίστοιχες μεθόδους εκτός γραμμής Και η επαναληπτική μέθοδος PEM συγκλίνει για λ= Οι μέθοδοι ελάχιστων τετραγώνων και συμβαλλουσών μεταβλητών μπορούν να γραφούν ως έχουν (ακριβώς) σε επαναληπτική μορφή (για λ=, οι ιδιότητες παραμένουν ακριβώς ίδιες) Η μέθοδος πρόβλεψης σφάλματος μπορεί να γραφεί επαναληπτικά μετά από κάποιες προσεγγίσεις Παρακολούθηση χρονικά μεταβλητών συστημάτων: Χρησιμοποίηση λ< Συμβιβασμός μεταξύ ικανότητας παρακολούθησης/σύγκλισης