HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις 7 8 Μέθοδοι πρόβλεψης σφάλματος (prediction error methods) Συνέχεια Σήματα εισόδου Instrumental variable methods
Η γραμμικής παλινδρόμηση μπορεί να εφαρμοστεί ως έχει μόνο σε κάποιες περιπτώσεις παραμετροποιημένων μοντέλων (όπου η έκφραση yt () = φ () tθ εξαρτάται γραμμικά από τις παραμέτρους θ), π.χ.: Μοντέλο ARX A( qyt ) () = Bqut ( ) () +ε () t yt () = φ () tθ φ () t = [ y ( t )... y( t n) ut ( )... ut ( n)] θ = [ a... a b... b ] n Μοντέλο FIR yt () = Bqut ( ) () +ε () t yt () = φ () tθ a [ ] φ() t = u( t )... u( t n ) θ = b... b n b Ελάχιστα τετράγωνα: V ( θ) = y( t) ( t) φ θ t = θ ˆ Φ Τ Φ Φ Τ y = ( ) n b b a θ ˆ () () () () = t t t y t φ φ φ b
A ( qyt ) () = B( qut ) () + e() t 0 0 0 yt () = φ () tθ + e() t 0 0 Απόκλιση της εκτίμησης: θ ˆ θ 0 = () t () t () t e0() t φ φ φ Για τα παραπάνω αθροίσματα τείνουν στις αντίστοιχες αναμενόμενες τιμές Ε{.} Για να τείνει η εκτίμηση στην πραγματική τιμή των συντελεστών θ 0 για πρέπει: E{ φ() t φ ()} t non singular (εξάρτηση από είσοδο) E{ φ( t) e0 ( t )} = 0: e 0 (t) λευκός θόρυβος ή Ε{e 0 (t)}=0 και δεν υπάρχουν όροι y(t n). Άρα οι εκτιμήσεις μας με τη μέθοδο των ελάχιστων τετραγώνων για το μοντέλο ARX είναι συνεπείς κάτω από συγκεκριμένες προϋποθέσεις Εάν δεν ισχύουν αυτές οι προϋποθέσεις, θα υπάρχει απόκλιση (bias) στις εκτιμήσεις μας, H απόκλιση αυτή μεγαλώνει όσο μικρότερος είναι ο λόγος σήματος προς θόρυβο (SR) Το επίπεδο της απόκλισης που είναι αποδεκτό εξαρτάται από τη συγκεκριμένη εφαρμογή
Prediction error methods Μπορούμε να τροποποιήσουμε τη βασική μέθόδο ελάχιστων τετραγώνων ώστε να πάρουμε πιο συνεπείς εκτιμήσεις υπό λιγότερο περιοριστικές συνθήκες. Δύο βασικές κατηγορίες: Ελαχιστοποίηση του σφάλματος πρόβλεψης για πιο λεπτομερείς δομές μοντέλων οι οποίες μοντελοποιούνκαι το θόρυβο (π.χ. χ ARMAX κλπ.) >Μέθοδοι ) πρόβλεψης σφάλματος (prediction error methods) Τροποποίηση των κανονικών εξισώσεων, δηλ. των εξισώσεων που προκύπτουν από το πρόβλημα ελάχιστων τετραγώνων >Instrumental variable methods Οι μέθοδοι πρόβλεψης σφάλματος ελαχιστοποιούν την ποσότητα: V( θ) = ( ef( t, θ)) e ( t, θ) = L( q) ε ( t, θ) F όπου ε (, t θ) = y() t yˆ ( t θ) Μοντέλο ARX ελάχιστα τετράγωνα: Lq ( ) = ( ε ) = ε Γενική διαδικασία: Επιλογή του προγνωστήρα: Συνήθως optimal mean square error predictor > E{ [ y( t) yˆ ( t θ) ] } yˆ( t θ) = H ( q, θ) G( q, θ) u( t) + [ H ( q, θ)] y( t) Επιλογή της δομής μοντέλου: Παραμετροποίηση των G,H (AR, ARMAX κλπ) Επιλογή του κριτηρίου (συναρτηση κόστους cost function): Συνήθως τετραγωνικό κριτήριο Εύρεση του θ που ελαχιστοποιεί το κριτήριο: θˆ = arg min V ( ) Γενικά μη γραμμικό θ θ πρόβλημα βελτιστοποίησης
Υπάρχει αναλυτική λύση της θˆ = arg min V? θ ( θ) Τ αι αν ο προγνωστής yt ˆ( θ) = φ ( t) θ είναι γραμμικός ως προς θ και το κριτήριο είναι π.χ. ελάχιστα τετράγωνα Τ V ( θ) = y() t () t φ θ t = Αν ο προγνωστής δεν είναι γραμμική συνάρτηση των παραμέτρων, με άλλα λόγια έχουμε Τ yt ˆ( θ) = φ ( t, θ) θ Επαναληπτικές μέθοδοι (Gauss ewton, ewton Raphson, Gradient Descent κλπ) Τοπικά ελάχιστα, πολυπλοκότητα, σύγκλιση?, αρχικοποίηση
Μέθοδοι πρόβλεψης σφάλματος (prediction error methods) Ποια είναι η συμπεριφορά των εκτιμήσεων πρόβλεψης σφάλματος στο όριο, δηλ. για? Υποθέσεις: Τα δεδομένα εισόδου εξόδου είναι στάσιμες διαδικασίες (stationary processes) Η είσοδος είναι επίμονα διεγερτική (persistently exciting) * Ο πίνακας V '' είναι μη ιδιάζων (non singular) τουλάχιστον τοπικά γύρω από τα ελάχιστα ( θ) της V ( θ ) Οι συναρτήσεις μεταφοράς Gq (, θ), Hq (, θ) ομαλές και διαφορίσιμες συναρτήσεις του θ Σχετικά ασθενείς συνθήκες (ισχύουν συνήθως στην πράξη) Ορισμός: Ένα σήμα u(t) λέγεται ότι είναι επίμονα διεγερτικό (persistently exciting) τάξης n αν: Το όριο ϕ υπάρχει uu ( τ) = lim ut ( + τ) ut ( ) Ο πίνακας = Φ uu ϕ (0) ϕ ()... ϕ ( n ) uu uu uu ϕ () ϕ (0)... ϕ ( n ) uu uu uu ( n) =............ ϕ ( n) ϕ ( n)... ϕ (0) uu uu uu είναι θετικά ορισμένος (positive definite) Για εργοδικές διαδικασίες ο πίνακας αυτός είναι ο πίνακας αλληλοδιακύμανσης (cross covariance matrix) (αν υποθέσουμε ότι η μέση τιμή του u(t) είναι μηδέν), καθώς το παραπάνω όριο ισούται με τον τελεστή αναμενόμενης τιμής Ε{.}
Μέθοδοι πρόβλεψης σφάλματος (prediction error methods) Υπενθύμιση Μέθοδος ανάλυσης συσχέτισης (μη παραμετρική αναγνώριση correlation analysis) ϕ (0) ϕ (0) ϕ ()... ϕ ( Μ ) yu uu uu uu g(0) ϕ () ϕ () ϕ (0)... ϕ ( ) g() yu Μ uu uu uu =.................. ϕ ( Μ ) ϕ ( Μ ) ϕ ( Μ ) ϕ (0) g( Μ ) yu uu uu uu Για να υπάρχει μοναδική λύση, πρέπει ο πίνακας ( ) Φ uu να είναι μη ιδιάζων. gˆ = Φ φ uu yu Παραδείγματα: Ο Γκαουσιανός λευκός θόρυβος είναι p.e. οποιασδήποτε τάξης καθώς Φuu ( n ) = σ Ιn >θετικά ορισμένος Το βηματικό σήμα πλάτους σ είναι p.e. τάξης n= μόνο καθώς ϕ τ σ ( ) = Φ ( n uu uu ) nonsingular only for n= Το κρουστικό σήμα δεν είναι p.e. για καμία τάξη καθώς ϕ ( τ ) = 0 Φ ( n) singular for any n uu uu n
Σύγκλιση Επειδή μιλάμε για εργοδικά και στάσιμα σήματα το άθροισμα V ( θ) = ε ( t, θ) συγκλίνει: ( ) ( ), V θ V θ as Σημείωση: Στη γενική περίπτωση π.χ. συστήματα πολλαπλών εξόδων μπορούμε να θεωρήσουμε συναρτήσεις κόστους της μορφής: V( θ) = h( R( θ)) Όπου h μονοtoνική αύξουσα συνάρτηση (monotonically increasing) και R ( θ) = ε( t, θ) ε ( t, θ) t = ο πίνακας συνδιασποράς δείγματος (sample covariance matrix), π.χ. μπορεί να έχουμε hr ( (tr: ίχνος (trace) άθροισμα διαγώνιων στοιχείων άθροισμα ( θ)) = trr ( ( θ)) διακυμάνσεων του ε) Και σε αυτή την περίπτωση (λόγω εργοδικότητας) V ( θ) = h( R ( θ)) h( R ( θ)) = V ( θ), as Μπορεί να δειχθεί (επειδή η πιο πάνω σύγκλιση είναι ομοιόμορφη) ότι η εκτίμηση θ συγκλίνει σε ελάχιστο σημείο της V ( θ) για Αυτό ισχύει ακόμη και όταν το σύνολο ˆ Είναι κενό, δηλ. όταν το μοντέλο δεν μπορεί να αναπαραστήσει τέλεια το πραγματικό σύστημα. Σημαντικό αποτέλεσμα, γιατί εγγυάται τη σύγκλιση ακόμη και σε αυτή την περίπτωση: Παίρνουμε μια προσέγγιση που ελαχιστοποιεί τη διακύμανση του σφάλματος
Συνέπεια και ασυμπτωτική ανάλυση των εκτιμήσεων Έστω τώρα ότι το σύνολο D δεν είναι κενό, δηλαδή υπάρχει θ 0 ώστε το αληθινό σύστημα να μπορεί να γραφτεί ως yt ( ) = Gq (, θ0) ut ( ) + Hq (, θ0) et ( ), E{ e} = λ ( θ0) Τότε η εκτίμηση PEM θˆθ είναι συνεπής, δηλαδή: θ ˆ θ 0, as ή αλλιώς θ ˆ D Με άλλα λόγια το σύστημα είναι αναγνωρίσιμο (system identifiable) Αν επιπλέον έχουμε μόνο ένα σημείο στο σύνολο D : parameter identifiable Ασυμπτωτική κατανομή των εκτιμήσεων Αν υποθέσουμε ότι το σύστημα είναι parameter identifiable τότε η ασυμπτωτική κατανομή των εκτιμήσεων είναι κανονική και ισχύει: ( θ ˆ θ 0) (0, P ) as όπου ο πίνακας P δίνεται από: Τ { E ( t, ) (, ) } 0 t 0 = λ P = λ ψ θ ψ θ ε (, t θ) ψ(, t θ) = θ λ ( θ ) = E{e } 0 Στην πράξη μπορούμε να εκτιμήσουμε αυτό τον πίνακα από τα δεδομένα μας ως: Τ t t ˆ ˆ P = λ ψ(, θ ) ψ (, θ ) ˆ λ = ε (, t θ )
Συνέπεια και ασυμπτωτική ανάλυση των εκτιμήσεων Παράδειγμα: Έστω το μοντέλο ARX Τ A( q) y() t = B( q) u() t + ε () t = φ () t θ+ ε () t Σε αυτή την περίπτωση έχουμε (γραμμική παλινδρόμηση) Άρα ε ( t, θ) ψ(, t θ) = = φ() t θ P = λ [ E{ φ() t φ ()}] t Πως συγκρίνονται αυτά τα αποτελέσματα με την απλή γραμμική παλινδρόμηση (στατικές ανεξάρτητες μεταβλητές)? Υπάρχει μια βασική διαφορά: Στη δυναμική περίπτωση: Η εκτίμηση θˆθ είναι συνεπής (consistent) δηλ. θ ˆ θ 0, as και (ασυμπτωτικά) ( θ ˆ θ 0) (0, P ) as P = λ [ E{ φ() t φ ()}] t = λ φ() t φ () t t = Στη στατική περίπτωση: Για ένα πεπερασμένο αριθμό δεδομένων Η εκτίμηση θˆ είναι αμερόληπτη (unbiased) E{ θˆ } = θ0 και ακολουθεί κανονική κατανομή: ˆ Στην απλούστερη περίπτωση (GW disturbance) ( θ θ0) (0, λ φ( t) φ ( t) ) είδαμε ότι ˆ ( θ θ0) (0, λ φ( t) φ ( t) )
Σήματα εισόδου Έχουμε δει ότι το είδος του σήματος εισόδου μπορεί να επηρεάσει σημαντικά τα αποτελέσματα της εκτίμησης ενός συστήματος (παραμετρικής/ μη παραμετρικής) Βασικοί τύποι σημάτων που χρησιμοποιούνται στην πράξη: Βηματικό σήμα Ψευδοτυχαίες δυαδικές ακολουθίες (pseudorandom binary sequences) Διαδικασίες ARMA Άθροισμα ημιτονοειδών σημάτων Τυχαία σήματα που πλησιάζουν το θόρυβο (π.χ. χ σε φυσιολογικά σήματα/συστήματα οι αυθόρμητες διακυμάνσεις «μοιάζουν» με θόρυβο!) Βηματικό σήμα: Περισσότερο χρήσιμο για τον προσδιορισμό χρονικών καθυστερήσεων και σταθερών
Σήματα εισόδου Ψευδοτυχαία δυαδική ακολουθία Παίρνει δύο πιθανές τιμές, οι εναλλαγές γίνονται με συγκεκριμένο τρόπο Πλησιάζει ιδιότητες λευκού θορύβου, μπορεί να γίνει υλοποίηση στην πράξη (πχ με shift registers) it Περιοδικό σήμα, συνήθως διαλέγουμε περίοδο ίση ή μεγαλύτερη από τον αριθμό δειγμάτων σε ένα πείραμα Για μια ακολουθία που εναλάσσεται μεταξύ των τιμών α και α και έχει περίοδο Μ: a, τ = 0, ±Μ, ± Μ,... ϕuu ( τ) = a / Μ, αλλιώς M a k Φ ( ω ) uu = ( ) ( M ) ( ) M δ ω + + δ ω π k = m Όσο μεγαλώνει η περίοδος Μ, τόσο πλησιάζουμε τα χαρακτηριστικά του λευκού θορύβου
Σήματα εισόδου Διαδικασίες ARMA ut () + aut ( ) +... + an ut ( n) () ( )... ( ) a a = et + cet + + cn et n c c A( qut ) () = Cqet ( )() όπου e(t) λευκός θόρυβος (0,λ ) με άλλα λόγια φιλτραρισμένος λευκός θόρυβος Ανάλογα με την επιλογή των φίλτρων μπορούμε να πάρουμε μια μεγάλη ποικιλία φασματικών χαρακτηριστικών Φάσμα: C ( ω ) Φ uu ( ω ) = λ A( ω) i 0 Μηδενικά του Α(ω) κοντά στο μοναδιαίο κύκλο (π.χ. στο e ± ω ) > το φάσμα του u έχει κορυφές κοντά στη συχνότητα συντονισμού (resonance frequency) ω 0 i ± ω 0 Αναλόγως, μηδενικά του Β(ω) κοντά στο e > > οι συνιστώσες του φάσματος του u κοντά στο ω 0 αμελητέες Παρ: ARMA(,)
Άθροισμα ημιτονοειδών σημάτων m ut () = a sin( ω t+ ϕ ) j= j j j Σήματα εισόδου Επιλογή των a j, ω j, ϕ j Αυτοσυσχέτιση m a j ϕ uu ( τ ) = cos( ωτ j + ϕ j ) j= m a j Φάσμα Φ uu ( ω) = [ δω ( ωj ) + δω ( + ωj )] 4 j= Παρ: Άθροισμα 4 ημιτόνων
Σήματα εισόδου Γενικές παρατηρήσεις για τα σήματα εισόδου Η επιλογή της εισόδου επηρεάζει σημαντικά την ποιότητα του εκτιμώμενου μοντέλου Η εκτίμηση ενός συστήματος γίνεται καλύτερη (πιο ακριβής) για πιο «πλούσια» σήματα εισόδου (ιδανικά λευκός θόρυβος, pe p.e. για κάθε τάξη) Η εκτίμηση είναι πιο ακριβής στη ζώνη συχνοτήτων στην οποία το σήμα εισόδου έχει το μεγαλύτερο μέρος της ενέργειάς του Αν ξέρουμε ότι πχ έχουμε ένα σύστημα με βαθυπερατά χαρακτηριστικά μπορούμε να σχεδιάσουμε ανάλογα και την είσοδο Γενικά, το σήμα εισόδου θα πρέπει να διεγείρει τις συχνότητες του συστήματος που μας ενδιαφέρουν Φυσικά, μπορεί να υπάρχουν περιορισμοί στο είδος της εισόδου που μπορούμε να εφαρμόσυμε
Μέθοδοι συμβαλλουσών μεταβλητών (Instrumental variable methods) Επιστρέφουμε στο βασικό αποτέλεσμα ελάχιστων τετραγώνων για δυναμικά μοντέλα. Είδαμε ότι: A ( qyt ) () = B( qut ) () + e() t 0 0 0 A( qyt ) () = Bqut ( ) () + ε () t yt () = φ () t θ t = t θ +ε t 0 + e0() t y() φ () () Αληθινό σύστημα θ ˆ = () t () t () t y() t φ φ φ 0 0 θ ˆ θ = () t () t () t e () t φ φ φ Μοντέλο Οι εκτιμήσεις αυτές είναι συνεπείς μόνο υπό συγκεκριμένες συνθήκες ( E{ φ( t) e0 ( t )} = 0) που συχνά δεν πληρούνται στην πράξη Ένας τρόπος για να πάρουμε συνεπείς εκτιμήσεις είναι οι μέθοδοι πρόβλεψης σφάλματος, στις οποίες μοντελοποιήσαμε το θόρυβο: Αρκετά μεγάλη ευελιξία Επιθυμητές ιδιότητες (Σύγκλιση Συνέπεια) Υπολογιστικά πιο πολύπλοκες (υπολογισμός παραγώγων της συνάρτησης κόστους) Άλλος τρόπος: Μέθοδοι συμβαλλουσών μεταβλητών (Instrumental variable methods) Απλούστερες υπολογιστικά, λιγότερο ισχυρές ως προς τις ιδιότητες Κρατάμε τη γενική δομή ελάχιστων τετραγώνων
Instrumental variable methods Βασική ιδέα: Αν βρούμε ένα διάνυσμα z(t) διάστασεων dx το οποίο είναι ασυσχέτιστο με το θόρυβο ε(t), δηλαδή (για μεγάλο ) και εφόσον E{ z() t ε ()} t = 0 Τ 0 = z() t ε () t = z()[ t y() t φ () t θ] Η παραπάνω σχέση μπορεί να γραφεί σε μορφή πινάκων: Zy = ZΦθ Διαστάσεις: Ζ: dx, y: x, Φ: xd, θ: dx Ο πίνακας ΖΦ είναι τετραγωνικός (dxd), άρα η λύση της παραπάνω εξίσωσης είναι: ˆ ( ) θ = ZΦ Zy ήισοδύναμα: θ ˆ () = t () t () t y () t z φ z Στοιχεία του z(t): instruments Για z(t)=φ(t) καταλήγουμε στην απλή εκτίμηση ελάχιστων τετραγώνων Προφανώς η επιλογή του z(t) έχει μεγάλη σημασία. Θα πρέπει να πληρούνται δύο συνθήκες: () Τα z,ε πρέπει να είναι ασυσχέτιστα, δηλ. E{ z() t ε ()} t = 0 () Ο πίνακας ZΦ = z() t φ () t E{() z t φ ()} t t = θα πρέπει να είναι πλήρους βαθμού (full rank) άρα αντιστρέψιμος
Instrumental variable methods Στην πράξη μπορούμε να επιλέξουμε το διάνυσμα των instruments z(t) ως χρονικά καθυστερημένες τιμές ή/και φιλτραρισμένες τιμές της εισόδου u(t). Π.χ. συχνά διαλέγουμε το διάνυσμα z(t) ως: z( t) = [ n( t )... n( t n ) u( t )... u( t n )] Υπενθύμιση: Στα απλά ελάχιστα τετράγωνα είχαμε φ() t = [ yt ( )... yt ( n) ut ( )... ut ( n)] a a όμως στη γενική περίπτωση οι προηγούμενες τιμές της εξόδου είναι συσχετισμένες με το ε(t). Αντίθετα, ο σκοπός εδώ είναι οι τιμές n(t-),,n(t-n a ) να είναι ασυσχέτιστες με το e(t). Επειδή υποθέτουμε πως η είσοδος u(t) και ο θόρυβος είναι ασυσχέτιστες μπορούμε να πάρουμε το n(t) φιλτράροντας την είσοδο u(t), δηλ: Cqnt ( ) ( ) = Dqut ( ) ( ) Παράδειγμα: Για C(q)= και D(q)=-q -na παίρνουμε: z( () t = [ u ( t )... u( t n )... u( t n n )] a a b b b
Extended instrumental variable methods Μπορούμε να γενικεύσουμε αυτή τη βασική ιδέα ως εξής: Το διάνυσμα z(t) μπορεί να έχει διάσταση μεγαλύτερη από d Μπορούμε να φιλτράρουμε το ε(t) με κάποιο (ευσταθές) φίλτρο F(q) και να τα σταθμίσουμε, όπως κάναμε στα σταθμισμένα ελάχιστα τετράγωνα H βασική μέθοδος IV ελαχιστοποιεί (ως προς θ) την ποσότητα min θ z( t) ε ( t) όπου. είναι η τετραγωνική νόρμα του διανύσματος zε, δηλ. το άθροισμα των τετραγώνων. Αν φιλτράρουμε και σταθμίσουμε, έχουμε το ακόλουθο πρόβλημα ελαχιστοποίησης min θ z( tfq ) ( ) ε ( t) Q όπου η νόρμα ορίζεται ως x = x Qx και ο πίνακας Q είναι θετικά ορισμένος δηλ. xqx> 0 Q Υπενθύμιση: Στα σταθμισμένα ελάχιστα τετράγωνα (απλή γραμμική παλινδρόμηση) είχαμε V ( ) θ = α k y k φkθ α 0 0 k = Q = 0... 0 θ ˆ Φ Τ Q Φ Φ Τ Q y 0 0 α = ( )
Έχουμε Extended instrumental variable methods min θ z( tfq ) ( ) ε ( t) Q Αντικαθιστούμε ε () t = y() t φ () t θ και παίρνουμε: ˆ θ = argmin () tfqyt ( ) () () tfq ( ) () t θ z z φ θ Για F(q)= και Q=I, παίρνουμε τη βασική μέθοδο IV. Ορίζοντας: Τ R = z() tfq ( ) φ () t r = z() tfqyt ( ) () παίρνουμε θˆ = arg minθ r Rθ = Q = arg min ( r R θ ) Qr ( R θ θ ) Κατ αναλογία με τα σταθμισμένα ελάχιστα τετράγωνα, η λύση αυτής είναι: ˆ θ = R QR R Qr Q
Αληθινό σύστημα 0 0 0 Ιδιότητες των εκτιμήσεων yt ( ) = φ ( t) θ + e( t), e( t) = Hqet ( ) ( ) Ee { ( t)} = λ Υποθέσεις Το σύστημα είναι αυστηρά αιτιατό και ευσταθές Η είσοδος είναι επίμονα διεγερτική Η διαταραχή e 0 (t) είναι στάσιμη στοχαστική διαδικασία και δίνεται από τις πιο πάνω σχέσεις Η είσοδος u(t) και η διαταραχή είναι ανεξάρτητες (το αληθινό σύστημα είναι ανοικτού βρόχου) Το μοντέλο και το αληθινό σύστημα έχουν την ίδια συνάρτηση μεταφοράς αν και μόνο αν θ=θ 0 (μοναδικότητα) Οι συμβάλλουσες μεταβλητές (instruments) και η διαταραχή είναι ασυσχέτιστες Αντικαθιστώντας την έξοδο του αληθινού συστήματος στη σχέση: r = z() tfqyt ( ) () = = z () tfq ( ) φ () t θ 0 + z () t F ( q ) e 0 () t = = R θ + q 0 όπου Τ R = z () tfq ( ) φ () t q = z() tfqe ( ) () t 0
Ιδιότητες των εκτιμήσεων Το σφάλμα μεταξύ εκτίμησης και αληθινής τιμής είναι: ˆ θ θ0 = R QR RQr θ0 = = R QR R Q [ R θ0 + q ] θ0 = RQq = R QR Ασυμπτωτικά ( ) και θέτοντας (οι ποσότητες συγκλίνουν λόγω των υποθέσεων) R = R = z φ Τ lim E{ ( tfq ) ( ) ( t)} q= lim q = E{() z tfqe ( ) ()} t ˆ 0 έχουμε θ θ0 = RQR RQq Γιαναέχουμεσυνεπήεκτίμησηλοιπόν( εκτίμηση ( lim ˆ θ = θ0 ) θα πρέπει Ο πίνακας R να είναι πλήρους βαθμού (full rank) E{() z t F() q e0 ()} t = 0 Αν ισχύουν αυτά, η ασυμπτωτική κατανομή του ανωτέρω σφάλματος είναι κανονική: ( θ ˆ θ 0) (0, P IV ) as PIV = λ R QR R QSQR R QR