HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις 9 Insrumenal variable mehods συνέχεια Παραδείγματα Μέοδοι PEM, IV
ο u() είναι επίμονα διεγερτικό (persisenly exciing) τάξης n αν: ο όριο ϕ ( τ) = lim u ( + τ) u ( ) υπάρχει και: Φ uu uu = ϕ ()( ) ϕ () ( )... ϕ ( n ) ) uu uu uu ϕ () ϕ ()... ϕ ( n ) uu uu uu ( n) =............ ϕ ( n) ϕ ( n)... ϕ () uu uu uu Γκαουσιανός λευκός όρυβος: p.e. οποιασδήποτε τάξης καώς Βηματικό σήμα: p.e. τάξης n= μόνο Κρουστικό σήμα: δεν είναι p.e. για καμία τάξη Ιδιότητες μεόδων πρόβλεψης σφάλματος ετικά ορισμένος (posiive definie) Σύγκλιση Στάσιμα/εργοδικά σήματα V ( ) = ε (, ) V ( ), as = Η εκτίμηση ˆ συγκλίνει σε ελάχιστο σημείο της V ( ) για ακόμη και όταν το σύνολο είναι κενό Αν το σύνολο αυτό δεν είναι κενό, δηλ. υπάρχει ώστε y ( ) = Gq (, ) u ( ) + Hq (, ) e ( ), E{ e} = λ ( ) τότε η εκτίμηση PEM είναι συνεπής: ˆ, as ή ισοδύναμα ˆ D
Ασυμπτωτική κατανομή των εκτιμήσεων Αν το σύστημα είναι parameer idenifiable τότε η ασυμπτωτική κατανομή των εκτιμήσεων είναι κανονική και ισχύει: ( ˆ ) (, P ) as { (, ) (, ) P = λ E } ε (, ) ψ ψ ψ(, ) = λ ( ) = E{e } ˆ ˆ P = λ (, ) (, ) ψ ψ = ˆ λ = ε (, ) = Βασικοί τύποι σημάτων: Βηματικό σήμα Ψευδοτυχαίες δυαδικές ακολουίες (pseudorandom binarysequences) Διαδικασίες ARMA Άροισμα ημιτονοειδών σημάτων υχαία σήματα που πλησιάζουν το λευκό όρυβο Η επιλογή της εισόδου επηρεάζει σημαντικά την ποιότητα του εκτιμώμενου μοντέλου Καλύτερη (πιο ακριβής) για πιο «πλούσια» σήματα εισόδου (ιδανικά λευκός όρυβος) Πιο ακριβής εκτίμηση στη ζώνη συχνοτήτων στην οποία το σήμα εισόδου έχει το μεγαλύτερο μέρος της ενέργειάς του
Ελάχιστα τετράγωνα: A ( qy ) () = B( qu ) () + e() A( qy ) () = Bqu ( ) () + ε () y () = φ () = +ε + e() y() φ () () Αληινό σύστημα ˆ = () () () y() φ φ φ = = = = ˆ = () () () e () φ φ φ Μοντέλο E{ φ( ) e ( )} = συχνά δεν ισχύει στην πράξη Μέοδοι πρόβλεψης σφάλματος (μοντελοποίηση του ορύβου) Υπολογιστικά πιο πολύπλοκες Μέοδοι συμβαλλουσών μεταβλητών (Insrumenal variable mehods) Απλούστερες υπολογιστικά, λιγότερο ισχυρές ως προς τις ιδιότητες Κρατάμε τη γενική δομή ελάχιστων τετραγώνων Βασική ιδέα: Εύρεση z() διάστασεων dx ώστε E{ z() ε ()} = = z( ) ε ( ) = z( )[ y( ) φ ( ) ] = = = ˆ ZΦ Zy Zy ZΦ ( ) = ˆ = () () () y() z φ = z =
Επιλογή του z() : () α z,ε πρέπει να είναι ασυσχέτιστα, δηλ. E{ z() ε ()} = () Ο πίνακας () ZΦ = z φ () E{() z φ ()} = α πρέπει να είναι πλήρους βαμού (full rank) άρα αντιστρέψιμος Συνήως: z( ) = [ n( )... n( n ) u( )... u( n )] Βασική μέοδος IV Γενική μέοδος IV a Cqn ( ) ( ) = Dqu ( ) ( ) Στην απλούστερη περίπτωση: z( ) = [ u( )... u( n )... u( n n )] Λύση: min i z() ( ) ε () ) = min z( Fq ) ( ) ε ( ) = = Q ˆ = RQR RQr = = x R z() Fq ( ) φ () r = Q z() Fqy ( ) () Ιδιότητες των εκτιμήσεων: ˆ = RQR RQq q = z() Fqe ( ) () = x Qx b a a b = φ y ( ) = ( ) + e( ), e( ) = Hqe ( ) ( ) Ee { ( )} = λ = Ασυμπτωτικά: ˆ = RQR RQq R = lim R = E{() z Fq ( ) φ ()} q= lim q = E{ z( Fqe ) ( ) ( )}
Mέοδος συμβαλλουσών μεταβλητών (IV mehod): Συνέπεια και ασυμπτωτική συμπεριφορά Για συνεπή εκτίμηση λοιπόν ( lim = ) Ο πίνακας R πρέπει να είναι πλήρους βαμού (full rank) E{() z F() q e ()} = Αν ισχύουν, κανονική ασυμπτωτική κατανομή του σφάλματος: ( ˆ ) (, P IV ) as PIV = λ R QR R QSQR R QR [ ][ ] S= E{ FqHq ( ) ( ) z( ) FqHq ( ) ( ) z( ) } ˆ ˆ = RQR RQq Σημείωση: Όταν υπολογίζουμε τον πίνακα R αρκεί να πάρουμε το κομμάτι εκείνο του διανύσματος φ() που είναι ασυσχέτιστο με το όρυβο, καώς επιλέγουμε το διάνυσμα των insrumens ώστε να είναι ασυσχέτιστα με το όρυβο, δηλαδή: R = E{() z Fq () φ ()} όπου φ () το κομμάτι που είναι ασυσχέτιστο με το όρυβο. Στην πράξη: Έστω το σύστημα ARX: Aq ( ) y ( ) = Bqu ( ) ( ) + e ( ) ότε: φ() = [ y ( )... y ( n) u ( )... u ( n)] a b φ ( ) = [ x ( )... x ( n ) ( )... ( a u u n b)] όπου: A( qx ) ( ) = Bqu ( ) ( )
Mέοδος συμβαλλουσών μεταβλητών (IV mehod): Συνέπεια και ασυμπτωτική συμπεριφορά Σημείωση: Ακόμη και όταν το αληινό σύστημα δεν συμπεριλαμβάνεται στο σύνολο μοντέλων που εξετάζονται, η εκτίμηση συγκλίνει σε κάποιο ελάχιστο της συνάρτησης κόστους, δηλ: = arg min E{ z( ) F( q) φ ( )} E{ z( ) F( q) y( )} * Για διάσταση του z ίση με d, η εκτίμηση στο όριο είναι: = R r * όπου R = E {() z F () q φ φ ()} r = E{() z F() q y()} Και σε αυτή την περίπτωση έχουμε ασυμπτωτικά κανονική κατανομή, δηλ: ˆ * ( ) (, P IV ) as P IV = λ R S R S * * = lim E () Fq ( ){ y () () } ( sfq ) ( ){ ys ( ) ( s) } z φ = z φ s= Δύσκολο να εξάγουμε αναλυτική κατανομή αν dim(z)>d Q Παράδειγμα 8.5 85(Sodersrom and Soica)
Βέλτιστη μέοδος συμβαλλουσών μεταβλητών (opimal IV mehod) Υπενύμιση: Η μέοδος PE (predicion error) είναι στατιστικά αποτελεσματική (saisically efficien) για Γκαουσιανές διαταραχές, δηλαδή έχει τη μικρότερη διακύμανση από όλες τις πιανές εκτιμήσεις Άρα, γενικά: PIV PPEM Ερώτηση: Για τη μέοδο IV, υπάρχει κάποια επιλογή του διανύσματος z που να ελαχιστοποιεί τη διακύμανση των εκτιμήσεων, δηλ: P P P IV IV, op PEM Η επιλογή αυτή οδηγεί στη βέλτιστη μέοδο IV και είναι η ακόλουη: z() = H ( q) φ () είναι δηλαδή το μέρος του διανύσματος φ που είναι ασυσχέτιστο με το όρυβο, φιλτραρισμένο από το αντίστροφο της συνάρτησης μεταφοράς Η(q) η οποία συνδέει το όρυβο με τη λευκή διαδικασία e(). y ( ) = φ ( ) + e( ), e( ) = Hqe ( ) ( ) Ee { ( )} = λ Άρα συγκρίνοντας με τη γενική μέοδο IV, δηλ. F( q) = H ( q) Q= I min z ( Fq ) ( ) ε ( ) = Q έχουμε: Ο πίνακας συνδιακύμανσης γίνεται τότε: { } P IV op E H q φ H q φ, = λ ( ) () ( ) ()
Βέλτιστη μέοδος συμβαλλουσών μεταβλητών (opimal IV mehod) ο εωρητικό αποτέλεσμα αυτό απαιτεί γνώση τόσο της αδιατάρακτης εισόδου για τον υπολογισμό του φ (), της διακύμανσης του ορύβου λ όσο και της συνάρτησης μεταφοράς H(q). Στην πράξη αυτές οι ποσότητες είναι άγνωστες, οπότε πρέπει να τις προσεγγίσουμε. Αυτό μπορεί να γίνει επαναληπτικά (near opimal IV esimaion) ως εξής: Παίρνουμε την απλή λύση ελάχιστων τετραγώνων: Εφαρμογή εκτίμησης IV με insrumens: () () () z ( ) = [ x ( )... x ( na) u ( )... u ( nb)] όπου: B x u () () ˆ () () = () () A Εκτίμηση της Η(q). Υποέτουμεμοντέλο μοντέλο AR μεταξύ της λευκής διαδικασίας e() και του () σήματος vˆ () όπου: () () () vˆ () = A ( q) y() B ( q) u() δηλ. () ˆ ˆ Lqv ( ) ˆ ( ) = e ( ) L ( q ) = H ( q ) (παίρνουμε εκτίμηση της H(q)) Εφαρμογή εκτίμησης IV με F( q) = Lˆ ( q) και διάνυσμα insrumens: () ˆ ˆ () () z ( ) = L( q) φ ( ) = L( q)[ x ( )... x ( na) u( )... u( nb)] () () B ˆ (3) x () = u() () A Η εντολή iv4 (HW4) στο Malab υλοποιεί αλγόριμο αυτής της μορφής