HMY 799 1: Αναγνώριση Συστημάτων

Σχετικά έγγραφα
HMY 799 1: Αναγνώριση Συστημάτων

HMY 799 1: Αναγνώριση Συστημάτων

ΕΛΕΓΧΟΣ ΠΑΡΑΓΩΓΙΚΩΝ ΔΙΕΡΓΑΣΙΩΝ

9. Παλινδρόμηση και Συσχέτιση

Εισόδημα Κατανάλωση

HMY 799 1: Αναγνώριση. συστημάτων. Διαλέξεις 6 7. Συνάφεια (συνέχεια) Μη παραμετρική αναγνώριση γραμμικών

Αντικείμενο του κεφαλαίου είναι: Ανάλυση συσχέτισης μεταξύ δύο μεταβλητών. Εξίσωση παλινδρόμησης. Πρόβλεψη εξέλιξης

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΤΕΙ ΔΥΤΙΚΗΣ ΜΑΚΕΔΟΝΙΑΣ Μεταπτυχιακό Τραπεζικής & Χρηματοοικονομικής

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 9

Αριθμητική Ανάλυση και Εφαρμογές

E[ (x- ) ]= trace[(x-x)(x- ) ]

E [ -x ^2 z] = E[x z]

Stochastic Signals Class Estimation Theory. Andreas Polydoros University of Athens Dept. of Physics Electronics Laboratory

Κινητά Δίκτυα Επικοινωνιών. Συμπληρωματικό υλικό. Προσαρμοστική Ισοστάθμιση Καναλιού

Βέλτιστη παρεμβολή και πρόγνωση άγνωστης συνάρτησης με τη μέθοδο της σημειακής προσαρμογής

HMY 799 1: Αναγνώριση Συστημάτων

Σ ΤΑΤ Ι Σ Τ Ι Κ Η. Statisticum collegium iv

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

ΚΕΦΑΛΑΙΟ 6 ΠΡΟΒΛΕΨΕΙΣ ΜΕ ΥΠΟΔΕΙΓΜΑΤΑ ΧΡΟΝΟΣΕΙΡΩΝ

Κατανομή συνάρτησης τυχαίας μεταβλητής Y=g(X) Πιθανότητες & Στατιστική 2017 Τμήμα Μηχανικών Η/Υ & Πληροφορικής, Παν. Ιωαννίνων Δ13 ( 1 )

ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ Ι Συμπληρωματικές Σημειώσεις Δημήτριος Παντελής

ΦΙΛΤΡΟ KALMAN ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 4

Διάλεξη 1: Στατιστική Συμπερασματολογία - Εκτίμηση Σημείου

ΠΕΡΙΕΧΟΜΕΝΑ ΠΡΟΛΟΓΟΣ 7. ΚΕΦΑΛΑΙΟ 1: Εισαγωγικές Έννοιες 13

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

Χ. Εμμανουηλίδης, 1

HMY 795: Αναγνώριση Προτύπων

Παρεμβολή & πρόγνωση άγνωστης συνάρτησης μέσω σημειακής προσαρμογής

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 13

Χρονοσειρές, Μέρος Β 1 Πρόβλεψη Χρονικών Σειρών

HMY 799 1: Αναγνώριση Συστημάτων

ΚΕΦΑΛΑΙΟ 2 ΑΝΑΣΚΟΠΗΣΗ ΑΠΑΡΑΙΤΗΤΩΝ ΓΝΩΣΕΩΝ: ΕΚΤΙΜΗΤΕΣ

HMY 795: Αναγνώριση Προτύπων

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΠΟΛΥΤΕΧΝΙΚΗ ΣΧΟΛΗ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

HMY 799 1: Αναγνώριση Συστημάτων

HMY 795: Αναγνώριση Προτύπων

ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ. Επικ. Καθ. Στέλιος Ζήμερας. Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 11

Πανεπιστήμιο Κύπρου Πολυτεχνική Σχολή

ΠΟΣΟΤΙΚΕΣ ΜΕΘΟΔΟΙ ΙI (ΣΤΑΤΙΣΤΙΚΗ ΓΙΑ ΤΗ ΔΙΟΙΚΗΣΗ ΤΩΝ ΕΠΙΧΕΙΡΗΣΕΩΝ) (ΟΔΕ 2116)

Σ ΤΑΤ Ι Σ Τ Ι Κ Η ΤΜΗΜΑ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ

HMY 795: Αναγνώριση Προτύπων

ΧΡΟΝΙΚΕΣ ΣΕΙΡΕΣ. Παπάνα Αγγελική

Ψηφιακός Έλεγχος. 6 η διάλεξη Σχεδίαση στο χώρο κατάστασης. Ψηφιακός Έλεγχος 1

Απλή Παλινδρόμηση και Συσχέτιση

Έλεγχος υποθέσεων και διαστήματα εμπιστοσύνης

ΠΑΝΕΠΙΣΤΗΜΙΟ ΑΙΓΑΙΟΥ ΣΧΟΛΗ ΕΠΙΣΤΗΜΩΝ ΤΗΣ ΔΙΟΙΚΗΣΗΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΟΙΚΟΝΟΜΙΑΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΣΤΑΤΙΣΤΙΚΗ

Χρονικές σειρές 6 Ο μάθημα: Αυτοπαλίνδρομα μοντέλα (2)

Στατιστική Ι. Ενότητα 9: Κατανομή t-έλεγχος Υποθέσεων. Δρ. Γεώργιος Κοντέος Τμήμα Διοίκησης Επιχειρήσεων Γρεβενών

Χρονικές σειρές 10 Ο μάθημα: Μη στάσιμα μοντέλα ARIMA Μεθοδολογία Box-Jenkins Εαρινό εξάμηνο Τμήμα Μαθηματικών ΑΠΘ

Επαυξημένος έλεγχος Dickey - Fuller (ADF)

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 5

ΟΙΚΟΝΟΜΕΤΡΙΑ. Παπάνα Αγγελική

Διάστημα εμπιστοσύνης της μέσης τιμής

Μέρος V. Ανάλυση Παλινδρόμηση (Regression Analysis)

Χρονικές σειρές 2 Ο μάθημα: Εισαγωγή στις χρονοσειρές

Σχολή Ηλεκτρολόγων Μηχ/κών και Μηχ/κών Υπολογιστών, Ε.Μ.Π., Ακαδημαϊκό Έτος , 8ο Εξάμηνο. Ρομποτική II. Ευφυή και Επιδέξια Ρομποτικά Συστήματα

HMY 795: Αναγνώριση Προτύπων

Έλεγχος Υποθέσεων. Δρ. Αθανάσιος Δαγούμας, Επ. Καθηγητής Οικονομικής της Ενέργειας & των Φυσικών Πόρων, Πανεπιστήμιο Πειραιώς

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων

Συσχέτιση μεταξύ δύο συνόλων δεδομένων

TMHMA OIKONOMIKΩN ΕΠΙΣΤΗΜΩΝ Διαγώνισμα Προόδου Στατιστικής III

ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ. Επικ. Καθ. Στέλιος Ζήμερας. Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών. Χρόνου (Ι)

HMY 795: Αναγνώριση Προτύπων. Διάλεξη 2

Ανάλυση Διασποράς Ανάλυση Διασποράς διακύμανση κατά παράγοντες διακύμανση σφάλματος Παράδειγμα 1: Ισομεγέθη δείγματα

ΟΙΚΟΝΟΜΕΤΡΙΑ. Ενότητα 1: Εκτιμητές και Ιδιότητες. Αναπλ. Καθηγητής Νικόλαος Σαριαννίδης Τμήμα Διοίκησης Επιχειρήσεων (Γρεβενά)

Ακαδηµαϊκό Έτος , Εαρινό Εξάµηνο ιδάσκων Καθ.: Νίκος Τσαπατσούλης

HMY 799 1: Αναγνώριση Συστημάτων

Ποσοτικές Μέθοδοι στη Διοίκηση Επιχειρήσεων ΙΙ Σύνολο- Περιεχόμενο Μαθήματος

Απλή Γραμμική Παλινδρόμηση και Συσχέτιση 19/5/2017

Y Y ... y nx1. nx1

Επαναληπτικές μέθοδοι

Χρονικές σειρές 5 Ο μάθημα: Γραμμικά στοχαστικά μοντέλα (1) Αυτοπαλίνδρομα μοντέλα Εαρινό εξάμηνο Τμήμα Μαθηματικών ΑΠΘ

ΣΧΟΛΗ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ ΤΜΗΜΑ ΟΡΓΑΝΩΣΗΣ ΚΑΙ ΔΙΟΙΚΗΣΗΣ ΕΠΙΧΕΙΡΗΣΕΩΝ ΔΙΔΑΣΚΩΝ: ΘΑΝΑΣΗΣ ΚΑΖΑΝΑΣ. Οικονομετρία

ΚΕΦΑΛΑΙΟ 5 ο. ΓΕΩΜΕΤΡΙΚOΣ ΤΟΠΟΣ ΤΩΝ PIZΩN ή ΤΟΠΟΣ ΕVANS

HMY 795: Αναγνώριση Προτύπων

Εφαρμοσμένη Στατιστική Δημήτριος Μπάγκαβος Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών Πανεπισ τήμιο Κρήτης 14 Μαρτίου /34

Τεχνολογικό Εκπαιδευτικό Ίδρυμα Δυτικής Μακεδονίας Western Macedonia University of Applied Sciences Κοίλα Κοζάνης Kozani GR 50100

Τμήμα Μηχανικών Η/Υ και Πληροφορικής

EΦΑΡΜΟΓΕΣ ΤΗΣ ΨΗΦΙΑΚΗΣ ΕΠΕΞΕΡΓΑΣΙΑΣ ΣΗΜΑΤΩΝ. Γραµµική Εκτίµηση Τυχαίων Σηµάτων

Συνολοκλήρωση και μηχανισμός διόρθωσης σφάλματος

HMY 799 1: Αναγνώριση Συστημάτων

ΜΗ ΓΡΑΜΜΙΚΗ ΠΑΛΙΝΔΡΟΜΙΣΗ

Μέθοδος μέγιστης πιθανοφάνειας

ΠΕΡΙΓΡΑΦΗ ΚΑΙ ΑΝΑΛΥΣΗ ΔΕΔΟΜΕΝΩΝ

ΑΝΑΛΥΣΗ ΔΙΑΚΥΜΑΝΣΗΣ. Επικ. Καθ. Στέλιος Ζήμερας. Τμήμα Μαθηματικών Κατεύθυνση Στατιστικής και Αναλογιστικά Χρηματοοικονομικά Μαθηματικά

Εφαρμοσμένη Στατιστική: Συντελεστής συσχέτισης. Παλινδρόμηση απλή γραμμική, πολλαπλή γραμμική

Πολλαπλή παλινδρόμηση (Multivariate regression)

Ανάλυση διακύμανσης (Μέρος 1 ο ) 17/3/2017

ΣΤΟΧΑΣΤΙΚΑ ΣΗΜΑΤΑ ΚΑΙ ΕΦΑΡΜΟΓΕΣ

HMY 795: Αναγνώριση Προτύπων

Στατιστική Επιχειρήσεων ΙΙ

3. ΣΕΙΡΙΑΚΟΣ ΣΥΝΤΕΛΕΣΤΗΣ ΣΥΣΧΕΤΙΣΗΣ

Ανασκόπηση θεωρίας ελαχίστων τετραγώνων και βέλτιστης εκτίμησης παραμέτρων

HMY 429: Εισαγωγή στην Επεξεργασία Ψηφιακών

Πανεπιστήμιο Πατρών Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών. Διάλεξη 7

HMY 795: Αναγνώριση Προτύπων

Transcript:

HMY 799 : Αναγνώριση Συστημάτων Διαλέξεις Επιλογή τάξης μοντέλου και επικύρωση Επαναληπτική αναγνώριση

Βέλτιστη μέθοδος συμβαλλουσών μεταβλητών (opimal IV mehod) P P P IV IV, op PEM z() = H ( q) φ () Γενική μέθοδος IV: min θ z ( Fq ) ( ) ε ( ) = F( q) = H ( q) Q= I { } PIV op = E H q φ H q φ, λ ( ) () ( ) () Η υλοποίηση γίνεται επαναληπτικά Q

Επιλογή τάξης μοντέλου Επικύρωση μοντέλου Όπως έχουμε συζητήσει, η επιλογή της τάξης του μοντέλου καθώς και η επικύρωσή του είναι ένα από τα πιο σημαντικά θέματα στην αναγνώριση συστημάτων Γενική διαδικασία Επιλογή συνόλου μοντέλων (Γραμμικό/μη γραμμικό, μαύρο κουτί, παραμετροποίηση κλπ.) Π.χ. για γραμμικά συστήματα: ARX, ARMAX κλπ. Επιλογή τάξης: AR, ARMAX κλπ: τάξεις των συναρτήσεων μεταφοράς A(q), B(q), C(q), Μη γραμμικά μοντέλα: επιλογή πολυωνυμικής τάξης (στη συνέχεια) Επιλογή κριτηρίου και μεθόδου εκτίμησης Γιατί είναι σημαντική η επιλογή τάξης? Λιγότερες παράμετροι απ όσες πρέπει (υποπαραμετροποίηση): Λιγότερη ακρίβεια/ικανότητα πρόβλεψης εξόδου, ευελιξία (π.χ. πρόβλεψη για άλλο τύπο εισόδου από αυτόν που χρησιμοποιήθηκε για την αναγνώριση) Περισσότερες παράμετροι απ όσες πρέπει (υπερπαραμετροποίηση): Αχρείαστη πολυπλοκότητα στους υπολογισμούς, αυξημένη διακύμανση των εκτιμήσεων, μειωμένη ικανότητα γενίκευσης μοντέλου (μοντελοποίηση του θορύβου) Η επιλογή τάξης εξαρτάται σε κάποιο βαθμό και από την εφαρμογή Αν μας ενδιαφέρει π.χ. να εξάγουμε γνώση για τη λειτουργία ενός συστήματος, η ακρίβεια μπορεί να είναι πιο σημαντική

Επιλογή τάξης μοντέλου Επικύρωση μοντέλου Είδαμε ότι το κριτήριο (συνάρτηση κόστους) συνήθως το (κανονικοποιημένο) μέσο τετραγωνικό σφάλμα ()MSE ποσοτικοποιεί πόσο κοντά βρίσκεται η πρόβλεψη του μοντέλου στις μετρήσεις μας, οι οποίες περιέχουν όμως και θόρυβο ή/και επιδράσεις από άλλους εξωγενείς παράγοντες Δεν πρέπει να στοχεύουμε σε μηδενικό σφάλμα! Το σφάλμα περιέχει δύο συνιστώσες Η μια συνιστώσα αντιστοιχεί στην απόκλιση (bias) από το πραγματικό σύστημα Η άλλη συνιστώσα αντιστοιχεί στη διακύμανση (variance) της εκτίμησης Όταν αυξάνουμε την πολυπλοκότητα μειώνουμε την απόκλιση, αλλά αυξάνουμε τη διακύμανση (bias/variance rade off) Σκοπός της επιλογής της τάξης μοντέλου πρέπει να είναι η εύρεση της «καλύτερης» ισορροπίας μεταξύ απόκλισης/διακύμανσης Βασικές προσεγγίσεις επιλογής τάξης Εκ των προτέρων γνώση για το σύστημα Σύγκριση πρόβλεψης με τις μετρήσεις της εξόδου Μελέτη των χαρακτηριστικών (π.χ. συνάρτηση αυτοσυσχέτισης) του σφάλματος πρόβλεψης Χρησιμοποίηση δεδομένων εκτός δείγματος (cross validaion) Κριτήρια που επιβάλλουν ποινή στην πολυπλοκότητα (AIC, FPE, MDL)

Σύγκριση πρόβλεψης μετρήσεων Σύγκριση πρόβλεψης με τις μετρήσεις της εξόδου Για τη γενική περίπτωση ενός γραμμικού μοντέλου του τύπου συγκρίνουμε το κλάσμα της πρόβλεψης που αντιστοιχεί στην είσοδο, δηλ. y () ˆ m = G ( q, θ ) () Ν u με τις μετρήσεις μας. Το πόσο κοντά θα πρέπει να βρίσκονται τα δύο σήματα εξαρτάται από το λόγο σήματος προς θόρυβο και από το αν υπάρχουν και άλλες μεταβλητές εισόδου που δεν μοντελοποιούνται. Σε κάθε περίπτωση στην πράξη όμως θα πρέπει ym () y() Η απόκλιση μεταξύ των δύο οφείλεται σε σφάλματα μοντελοποίησης και στις διαταραχές Ποσοτικοποίηση: ˆ V ( ) ( ) ˆ( ˆ θ = y y ) = θ

Έλεγχος υπολοίπων Τα υπόλοιπα (residuals) του μοντέλου, δηλ: ε ( θˆ ˆ ˆ ) = y() y( θ ) περιέχουν σημαντική πληροφορία και μπορούν να χρησιμοποιηθούν για την επιλογή της τάξης μοντέλου Σημαντικό: Στην περίπτωση που μοντελοποιούμε και το θόρυβο (μέθοδοι πρόβλεψης σφάλματος) τα υπόλοιπα πρέπει να είναι λευκή διαδικασία για θˆ = θ0 Σε αντίθετη περίπτωση (π.χ. απλά ελάχιστα τετράγωνα, IV mehods) αυτό δεν ισχύει στη γενική περίπτωση Οι παρακάτω μέθοδοι (στατιστικός έλεγχος λευκότητας των υπολοίπων) μπορούν να εφαρμοστούν στην πρώτη περίπτωση μόνο με ασφάλεια! Στατιστικός έλεγχος λευκότητας υπολοίπων Συνήθως γίνεται χρησιμοποιώντας τη συνάρτηση αυτοσυσχέτισης των υπολοίπων ή τη συνάρτηση αλληλοσυσχέτισης μεταξύ υπολοίπων και της εισόδου Έχουμε δει ότι μπορούμε να εκτιμήσουμε τις συναρτήσεις αυτές ως τ Συνάρτηση αυτοσυσχέτισης ˆ ϕεε ( τ) = ε( ) ε( + τ) = Η ποσότητα αυτή ιδανικά πρέπει να είναι μη μηδενική μόνο για τ=0 (πρακτικά πρέπει να είναι «μικρή» για όλα τα άλλα τ εκτός 0) τ Συνάρτηση αλληλοσυσχέτισης ˆ ϕεu ( τ) = ε( u ) ( τ) = Η ποσότητα αυτή ιδανικά πρέπει να είναι μηδενική (πρακτικά πολύ μικρή). Για συστήματα ανοικτού βρόχου πρέπει να ισχύει για θετικά και αρνητικά τ

Έλεγχος υπολοίπων τ Συνάρτηση αυτοσυσχέτισης ˆ ϕ () εε ( τ) = ε( ) ε( + τ) = Ξέρουμε ότι για λευκή διαδικασία, για : ˆ ϕεε (0) λ ˆ ϕεε ( τ) 0, τ 0 Όπως είδαμε και στη γραμμική παλινδρόμηση, για να κάνουμε στατιστικό έλεγχο μιας υπόθεσης, θα πρέπει πρώτα να τυποποιήσουμε τις υποθέσεις μας. Στην προκειμένη περίπτωση: Η 0 : ηδιαδικασίαε() είναι λευκός θόρυβος Η : η διαδικασία ε() δεν είναι λευκός θόρυβος Αν ισχύει η Η 0 : Η κατανομή του κανονικοποιημένου αθροίσματος των τετραγώνων της εκτίμησης () είναι ασυμπτωτικά χ, δηλ: m ˆ ( ) m ˆ ϕεε τ χ (0) ϕ εε τ = Επίσης η κατανομή των κανονικοποιημένων εκτιμήσεων της αυτοσυσχέτισης είναι ασυμπτωτικά κανονική, δηλ: ˆ ϕεε ( τ) (0,) ˆ ϕ (0) εε Μπορούμε να χρησιμοποιήσουμε αυτά τα αποτελέσματα για στατιστικό έλεγχο

Έλεγχος υπολοίπων Στατιστικός έλεγχος Ορίζουμε το επίπεδο σημαντικότητας α (συνήθως 0.05). Ορίζοντας την ποσότητα α = Px ( > χ ) m, α όπου η τυχαία μεταβλητή που μας ενδιαφέρει είναι Αν Αν m ˆ ϕ εε (0) τ = m ˆ ϕ εε (0) τ = ˆ ϕ ( τ) > χ εε m, α ˆ ϕ ( τ ) χ εε m, α m x = ϕ ˆ ϕ εε (0) τ = ˆ εε ( τ ) τότε: χ m, α Απόρριψη της Η 0 (το ε δεν είναι λευκή διαδικασία) Αποδοχή της Η 0 (το ε είναι λευκή διαδικασία) ˆ ϕ ( τ ) Μπορούμε να κάνουμε το ίδιο για την ποσότητα εε για διαφορετικές τιμές του τ ˆ ϕ (0) συγκρίνοντας αυτή τη φορά με την ποσότητα n εε α / =.96 Αν ˆ ϕ ( τ) εε >.96 Απόρριψη της Η 0 ˆ ϕεε (0) Αν ˆ ϕ ( τ ) εε.96 Αποδοχή της Η 0 ˆ ϕ (0) εε ως:

Έλεγχος υπολοίπων

Έλεγχος υπολοίπων Έλεγχος αλληλοσυσχέτισης μεταξύ υπολοίπων εισόδου Αν το μοντέλο είναι ακριβής περιγραφή του συστήματος, θα πρέπει η είσοδος και τα υπόλοιπα να είναι ασυσχέτιστα μεταξύ τους, δηλ: ϕεu ( τ ) = E { ε ( u ) ( τ )} = 0 Για συστήματα ανοικτού βρόχου, η συνθήκη αυτή πρέπει να ισχύει για κάθε τ Για συστήματα κλειστού βρόχου, η συνθήκη αυτή θα πρέπει να ισχύει μόνο για τ>0, αλλά όχι για τ<0. Μπορούμε να χρησιμοποιήσουμε αυτό το γεγονός για τον έλεγχο ύπαρξης ανάδρασης Μπορούμε επίσης να χρησιμοποιήσουμε την αλληλοσυσχέτιση για τον έλεγχο της χρονικής καθυστέρησης του συστήματος. Αν π.χ. έχουμε υποθέσει καθυστέρηση 0 = αλλά η αληθινή καθυστέρηση είναι η αλληλοσυσχέτιση μεταξύ u( ) και ε() θα είναι σημαντική! Στατιστικός έλεγχος: Σχηματίζουμε την ποσότητα: ˆ ϕεu ( τ ) xτ = [ ˆ ϕ (0) ˆ ( )] / εε ϕuu τ τ όπου ˆ ϕεu ( τ) = ε( u ) ( τ) = Ορίζουμε u ( ) ˆ Φ uu ( τ ) =... [ u ( )... u ( m) ] = m+ u ( m) φ = ϕ ( τ + )... ϕ ( τ + m) [ ] εu εu

Τότε, αν το ε είναι λευκός θόρυβος: φ ˆ ϕ (0) ˆ Φ εε uu φ χ m Έλεγχος υπολοίπων Η ποσότητα αυτή μπορεί να χρησιμοποιηθεί για στατιστικό έλεγχο όπως και προηγουμένως Επίσης, για τη μεταβλητή ˆ ϕεu ( τ ) x τ = / ˆ ϕ (0) ˆ ϕ ( τ) [ ] / εε uu για ε λευκό θόρυβο ισχύει: x τ (0,) Στους παραπάνω ελέγχους, το m συνήθως επιλέγεται μεταξύ 5 και Ν/4. Το επιλέγεται έτσι ώστε τα στοιχεία του φ = ϕ ( τ + )... ϕ ( τ + ) [ ] εu εu m τ να μην είναι μηδενικά εξ ορισμού (πχ χρονικές καθυστερήσεις κλπ.)

Επιλογή τάξης Δεδομένα επικύρωσης (cross validaion daa) Πως επιλέγουμε την τάξη του μοντέλου? Ξεκινάμε από πολύ απλές δομές και εξετάζουμε σταδιακά πιο πολύπλοκα μοντέλα Αρχή της οικονομίας (parsimony principle) Αν δύο μοντέλα διαφορετικής πολυπλοκότητας εξηγούν τα δεδομένα που χρησιμοποιούνται για την αναγνώριση περίπου το ίδιο καλά, το μοντέλο με τις λιγότερες ελεύθερες παραμέτρους πρέπει να επιλεγεί Επίσης: Αν ένα μοντέλο δίνει ακριβή περιγραφή ενός συστήματος, θα πρέπει να μπορεί να περιγράψει οποιοδήποτε σετ δεδομένων που δημιουργείται από το σύστημα. Αν το σύστημα είναι περισσότερο πολύπλοκο απ όσο πρέπει, μοντελοποιεί και το θόρυβο στα δεδομένα που χρησιμοποιούνται για την αναγνώριση (overfiing) Μπορούμε να χρησιμοποιήσουμε ένα σετ δεδομένων που δεν χρησιμοποιήθηκαν για την αναγνώριση (cross validaion daa) για να εκτιμήσουμε την ικανότητα γενίκευσης του μοντέλου μας Γενικά η μέθοδος αυτή είναι η πιο αξιόπιστη όταν: Έχουμε ικανό αριθμό δεδομένων (πρέπει να έχουμε δεδομένα εκπαίδευσης και επικύρωσης) Το σύστημα είναι (σχεδόν) χρονικά αμετάβλητο

Δεδομένα επικύρωσης (cross validaion daa) Έστω ότι η ποιότητα του μοντέλου μετράται (για δεδομένα επικύρωσης δεδομένα στο μέλλον) με την ποσότητα: ˆ W ( θ ) = E { ε ( θˆ )} Στην ιδανική περίπτωση ( θ ˆ = θ Ν 0) το ε είναι λευκό και W ˆ ( θ) = λ Τι συμβαίνει όταν έχουμε απόκλιση από την αληθινή τιμή των παραμέτρων? Χρησιμοποιώντας επέκταση aylor γύρω από το θ 0 για το ε : ˆ ε ( 0) θ ( ) ( ˆ W θ = E ε θ0) + ( θ θ0) = = ˆ θ θ θ0 { ˆ } () (, )( ) ψ θ θ θ = E e 0 0 = ( ˆ ) { (, ) (, )}( ˆ ) = λ + θ θ0 Ε ψ θ0 ψ θ0 θ θ0 Μάλιστα μπορεί να δειχθεί ότι: p Ε + { W} λ ( ) όπου p=dimθ. Άρα η αναμενόμενη τιμή του σφάλματος πρόβλεψης για δεδομένα επικύρωσης αυξάνεται για πιο πολύπλοκα μοντέλα από το πραγματικό!

Σύγκριση διαφορετικών μοντέλων Πως συγκρίνουμε διαφορετικά μοντέλα με βάση τη συνάρτηση κόστους V ˆ ( θ)? Όσο αυξάνουμε την πολυπλοκότητα η τιμή του κόστους ελαττώνεται μονοτονικά (περισσότερες ελεύθερες παράμετροι) Το πρόβλημα είναι να βρούμε την τάξη εκείνη στην οποία σταματάει να μειώνεται σημαντικά η τιμή της συνάρτησης κόστους Είδαμε (γραμμική παλινδρόμηση) ότι αυτό μπορεί να γίνει για δύο οποιαδήποτε μοντέλα Μ και Μ χρησιμοποιώντας τη στατιστική ποσότητα F F ( MSE MSE)/( p p) = MSE /( p ) F η οποία ακολουθεί κατανομή p (ως λόγος δυο τ.μ. που ακολουθούν κατανομή χ ) και για p, p μεγάλο Ν προσεγγίζει την χ p p Διαδικασία: Υπολογίζουμε τα μέσα τετραγωνικά σφάλματα και την ποσότητα F Καθορίζουμε το επίπεδο σημαντικότητας α Συγκρίνουμε την ποσότητα αυτή είτε με την F α p p, p ή την χ p p, α Αν F < χ : αποδοχή μοντέλου Μ p p, α, Αν F > χ p p, α : αποδοχή μοντέλου Μ

Σύγκριση διαφορετικών μοντέλων Άλλη προσέγγιση: Χρησιμοποιούμε μια τροποποιημένη συνάρτηση κόστους η οποία επιβάλλει ποινή στην πολυπλοκότητα του μοντέλου και ψάχνουμε την τάξη εκείνη που ελαχιστοποιεί αυτή τη συνάρτηση, δηλ. m = arg min ( Fi + Complexiy. Penaly ) m Μ Η τροποποιημένη συνάρτηση κόστους είναι της γενικής μορφής W = V ( θˆ ){ +β (, p)} όπου ο όρος ποινής β(ν,p) πρέπει να αυξάνεται όταν το p αυξάνεται και να τείνει στο μηδέν όταν το Ν τείνει στο άπειρο Παραδείγματα συναρτήσεων ποινής Akaike informaion crierion ˆ p AIC( p) = V( θ){ + } Final predicion error ˆ + p / FPE( p) = V ( θ){ + } p/ Minimum descripion lengh ˆ pln MDL( p) = V( θ){ + } AIC/FPE ασυμπτωτικά ισοδύναμα. Τυπικά τα δύο αυτά κριτήρια τείνουν στην επιλογή υψηλής πολυπλοκότητας, το MDL είναι πιο συντηρητικό

Επαναληπτική αναγνώριση (Recursive idenificaion) Επαναληπτική αναγνώριση: Οι εκτιμήσεις μας ανανεώνονται σε κάθε χρονική στιγμή, δηλ. παίρνουμε την εκτίμηση θ ˆ( ) τροποποιώντας την εκτίμηση θ ˆ( ) Μέχρι στιγμής, χρησιμοποιούσαμε όλα τα δεδομένα για να πάρουμε τις εκτιμήσεις μας Γιατί είναι σημαντικές αυτές οι μέθοδοι? Εφαρμογές σε αληθινό χρόνο (προσαρμοστικός έλεγχος) Χρονικά μεταβλητά συστήματα Αναγνώριση σφαλμάτων (faul deecion) Βασική ιδέα: τροποποίηση της αντίστοιχης μεθόδου «εκτός γραμμής» (off line), π.χ. ελάχιστα τετράγωνα, μέθοδοι πρόβλεψης σφάλματος Επιθυμητές ιδιότητες ενός αλγορίθμου επαναληπτικής αναγνώρισης Γρήγορη σύγκλιση Συνεπής εκτίμηση (για χρονικά αμετάβλητα συστήματα) Καλή παρακολούθηση (για χρονικά μεταβλητά συστήματα) Σχετικά χαμηλή υπολογιστική πολυπλοκότητα (οι υπολογισμοί πρέπει να πραγματοποιούνται μέσα σε ένα διάστημα δειγματοληψίας

Επαναληπτικά ελάχιστα τετράγωνα (Recursive leas squares RLS) Η βασική εκτίμηση ελάχιστων τετραγώνων είναι: θ ˆ Ν = () s () s () s y() s φ φ s= φ s= Άρα τη χρονική στιγμή έχουμε: θ ˆ( ) () = s () s () s y () s φ φ s= φ s= Επομένως η εκτίμησή μας αλλάζει σε κάθε χρονικό βήμα. Μπορούμε να βρούμε μια επαναληπτική υλοποίηση αυτής της σχέσης? Ορίζουμε: P() = φ() s φ k () s s= Εύκολα βλέπουμε ότι: P = P + φ φ () ( ) () () Άρα: θˆ( ) = P () φ () s y () s + φ () y () = s= = P() ( ) ( ) () y() P θ + φ = ˆ = θ( ) + P( ) φ( )[ y( ) φ ( ) θˆ( )] ˆ

Επαναληπτικά ελάχιστα τετράγωνα (RLS) ˆ ˆ θ() = θ( ) + P() φ()[ y() φ () θˆ( )] Η σχέση αυτή μπορεί να ξαναγραφεί ως: θˆ() = θˆ( ) + K() ε () K() = P() φ() ε () = y() φ () θˆ ( ) ε() : σφάλμα πρόβλεψης, αν το ε() είναι μικρό, η εκτίμηση είναι ήδη καλή οπότε δε θα αλλάξει πολύ, αν όχι αλλάζει περισσότερο Κ(): κέρδος σταθμίζει πόσο το ε() αλλάζει τις τιμές των παραμέτρων H σχέση P () = P ( ) + φ () φ () απαιτεί αντιστροφή πίνακα. Χρησιμοποιώντας όμως την ιδιότητα: [ A+BCD ] = A A B (marix inversion lemma) C +DA B DA μπορούμε να την ξαναγράψουμε ως: P( ) φ( ) φ ( ) P( ) P() = P( ) + φ ( ) P( ) φ( ) η οποία είναι διαίρεση με αριθμό! Επίσης: P( ) φ( ) K() = P() φ() = + φ ( ) P( ) φ( )

Επαναληπτικά ελάχιστα τετράγωνα (RLS) Τελική μορφή του αλγορίθμου: Ξεκινάμε από κάποιες αρχικές τιμές θ ˆ(0), P (0) Ανανεώνουμε τις τιμές των παραμέτρων σε κάθε βήμα με βάση τις: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P ( ) φ ( ) φ ( ) P ( ) P() = P( ) + φ ( ) P( ) φ( ) P( ) φ( ) K() = P() φ() = + φ ( ) P ( ) φ ( ) Πως μπορούμε να χρησιμοποιήσουμε αυτές τις σχέσεις για την εκτίμηση χρονικά μεταβαλλόμενων παραμέτρων? Τροποποίηση της συνάρτησης κόστους ώστε να λαμβάνονται υπόψη μόνο οι πιο πρόσφατες μετρήσεις, δηλ: s V ( θ) = λ ε ( s) s== όπου το λ ονομάζεται forgeing facor και είναι σταθερά μεταξύ 0 και. Μικρότερο α: πιο γρήγορη προσαρμογή, αλλά μεγαλύτερη ευαισθησία στο θόρυβο πιθανά προβλήματα σύγκλισης λ=: Βασική μέθοδος RLS

Επαναληπτικά ελάχιστα τετράγωνα (RLS) Ο αλγόριθμος γίνεται τότε: θˆ () = θˆ ( ) + K () ε () ε () = y() φ () θˆ ( ) P( ) φ( ) φ ( ) P( ) P () = P ( ) λ λ + φ () P( ) φ() ( ) ( ) () = () () = P φ K P φ λ + φ () P( ) φ() Αρχικές συνθήκες: Πως επιλέγουμε τα θ ˆ(0), P(0)? θ ˆ(0) Αρχική εκτίμηση των παραμέτρων P(0) Αρχική εκτίμηση του πίνακα συνδιακύμανσης των παραμέτρων (πρέπει να είναι συμμετρικός, θετικά ορισμένος) Αν δεν έχουμε κάποια a priori γνώση για το σύστημά μας, συνήθως επιλέγουμε: θˆ(0) = 0 P (0) = ρ Ι Αν το ρ μεγάλο: μεγάλη αρχική απόκριση οι τιμές των παραμέτρων μπορεί να απομακρυνθούν γρήγορα από την αρχική τιμή τους καλό όταν είμαστε αβέβαιοι για την αρχική τιμή που επιλέξαμε

Επαναληπτική μέθοδος συμβαλλουσών μεταβλητών (RIVM) Η βασική εκτίμηση IV είναι (από τα προηγούμενα): θ ˆ( ) () = z s φ () s z ()() s y s s= s= Η μόνη διαφορά σε σχέση με τη βασική εκτίμηση ελάχιστων τετραγώνων είναι ότι το φ(s) αντικαθίσταται από z(s). Μπορεί να δειχθεί ότι και για την επαναληπτική έκδοση ισχύει το ίδιο, δηλαδή έχουμε: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P ( ) z ( ) K() = P() z() = λ + φ () P( ) z() P( ) z( ) φ ( ) P( ) P() = P( ) λ λ + φ () P ( ) z() Η επιλογή των αρχικών συνθηκών μπορεί να γίνει όπως και στα RLS Η βασική μέθοδος IV δίνει συνεπείς εκτιμήσεις για χρονικά αμετάβλητα συστήματα ARMAX. Και η επαναληπτική έκδοση (RIVM) δίνει συνεπείς εκτιμήσεις σε αυτή την περίπτωση

Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) Ξεκινάμε από την τροποποιημένη συνάρτηση κόστους: V s ( θ ) = λ ε ( s, θ ) s= Σε αυτή την περίπτωση, είδαμε ότι η μέθοδος εκτός γραμμής (off line) βασίζεται σε μη γραμμικό πρόβλημα βελτιστοποίησης, οπότε δεν μπορούμε να πάρουμε ακριβώς επαναληπτικές σχέσεις όπως στις περιπτώσεις RLS, RIVM. Θα πρέπει να πάρουμε κάποιου είδους προσέγγιση Έστω ότι η τιμή θ ˆ( ) ελαχιστοποιεί τη συνάρτηση κόστους V ( ) θ Παίρνοντας επέκταση aylor της V γύρω από το (είναι λογικό να υποθέσουμε ότι και το ( θ) θ ˆ( ) ελάχιστο της V ( θ ) θα είναι κοντά στο θˆ( ) ): ˆ ' ˆ ˆ ˆ '' V ˆ ˆ ( θ) V( θ( )) + V ( θ( ))( θ θ( )) + ( θ θ( )) V ( θ( ))( θ θ( )) Ελαχιστοποιώντας αυτή τη σχέση ως προς θ παίρνουμε: '' ' ( ) = ( ) V ( ( )) ( ( )) V θ ˆ θ ˆ ˆ ˆ θ θ Μπορούμε να απλοποιήσουμε (υποθέτουμε ότι οι δεύτερες παράγωγοι δεν αλλάζουν πολύ στο ). ' Επίσης V ( ( )) 0. Ξεκινώντας από τη σχέση: θ = ˆ V( θ) = λv ( θ) + ε (, θ) και παραγωγίζοντάς τη δύο φορές παίρνουμε με βάση τις ανωτέρω προσεγγίσεις τελικά:

Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) ˆ ˆ '' θ( ) = θ( ) V ( ˆ( )) '(, ˆ θ ε θ( )) '' ˆ '' V ( ( )) ( ˆ( )) '(, ˆ θ = λv θ + ε ( )) θ Αυτή η σχέση απαιτεί αντιστροφή του πίνακα των δευτέρων παραγώγων της συνάρτησης κόστους ως προς τις παραμέτρους. Μπορούμε να απλοποιήσουμε περαιτέρω. Χρησιμοποιώντας όπως και πριν marix inversion lemma και τις προσεγγίσεις: ε () ε (, θˆ ( )) (, ˆ ˆ ε ( )) () ε '(, ( )) θ ψ θ = θ τελικά καταλήγουμε στον ακόλουθο επαναληπτικό αλγόριθμο: θˆ() = θˆ( ) + K() ε () P( ) ψ( ) K () = P () ψ () = λ + ψ () P( ) ψ() P( ) ψ( ) ψ ( ) P( ) P() = P( ) λ λ+ ψ () P( ) ψ() Φυσικά, η ακριβής μορφή εξαρτάται από το είδος του μοντέλου που χρησιμοποιείται

Επαναληπτική μέθοδος πρόβλεψης σφάλματος (RPEM) Παράδειγμα: Μοντέλο ARMAX Aq ( ) y ( ) = Bqu ( ) ( ) + Cqe ( ) ( ) Έχουμε δει (διαλέξεις 5 6) ότι σε αυτή την περίπτωση: y ( ) + ay ( ) +... + a y ( n) = bu ( ) +... + b u ( n) + n a n b a + e () + ce ( ) +... + c e ( n) ψ(, θ) = ( )... ( ) ( )... ( ) ( )... ( ) y F y F n F F F F a u u nb e e n c y F () = y(), u F () = u(), ε F () = ε() Cq ( ) Cq ( ) Cq ( ) Στην πράξη οι ποσότητες αυτές μπορούν να υπολογιστούν π.χ. ως: ε ( ) = y( ) + aˆ ( ) y( ) +... + aˆ ( ) y( n ) b ˆ ( ) u( )... b ˆ ( ) u( n ) n a n b cˆ ( ) e( )... cˆ ( ) e( n ) F F y () = y () cˆ () y ( )... cˆ () y( n ) n c n a c ψ( ) = y F ( )... y F ( n ) F ( )... F ( ) F ( )... F ( ) a u u nb e e n c F F u () = u() cˆ () u ( )... cˆ () u( n ) F F ε () = ε() cˆ () ε ( )... cˆ () ε( n ) n n c c c c c c b b n c c

Επαναληπτική ψευδογραμμική παλινδρόμηση (Recursive pseudolinear regression) Γράφοντας το μοντέλο ARMAX Aq ( ) y ( ) = Bqu ( ) ( ) + Cqe ( ) ( ) ως y () = φ () θ y ( ) + ay ( ) +... + a y ( n) = bu ( ) +... + b u ( n) + n a n b φ( ) = [ y ( )... y ( n) u ( )... u ( n) e ( )... e ( n)] θ = [ a... a b... b c... c ] n n n a b c a b c a + e () + ce ( ) +... + c e ( n ) Τα e είναι άγνωστα! Αν τα αντικαταστήσουμε με τα ανάλογα σφάλματα πρόβλεψης, δηλ με: ε () = y() φ () θˆ ( ) και εφαρμόσουμε επαναληπτικά ελάχιστα τετράγωνα (RLS) παίρνουμε επαναληπτική ψευδογραμμική παλινδόμηση (RPLS) ή αλλιώς exended leas squares. Χρησιμοποιούμε τις ίδιες σχέσεις: θˆ() = θˆ( ) + K() ε () ε () = y() φ () θˆ ( ) P( ) φ( ) φ ( ) P( ) P() = P( ) + φ ( ) P( ) φ( ) P( ) φ( ) K () = P () φ () = + φ ( ) P( ) φ( ) b n c c με φ( ) = [ y ( )... y ( n) u ( )... u ( n) ε( )... ε( n)] a b c

Παράδειγμα Αληθινό σύστημα ARMAX ( 0.9 q ) y( ) = q u( ) + ( 0.9 q ) e( ) Επαναληπτικά ελάχιστα τετράγωνα / συμβάλλουσες μεταβλητές με z()=[u(-) u(-)] : Άγνωστοι? Επαναληπτική μέθοδος πρόβλεψης σφάλματος / ψευδογραμμική παλινδρόμηση: Άγνωστοι? Αρχικές τιμές: θ ˆ(0) = 0 λ= P(0) = 0Ι RLS RIV

Παράδειγμα RPEM RPLR

Παράδειγμα Επίδραση των αρχικών συνθηκών Σύστημα ( 0.9 q ) y() = q u() + e(), RLS ρ=0 ρ= ρ=0. ρ=0.0

Παράδειγμα Επίδραση forgeing facor ( 0.9 q ) y( ) = (+ 0.9 q ) e( ), RPEM ρ=00 λ=0.99 λ= λ=0.95

Σύγκλιση Ασυμπτωτικά, για λ= (η για λ που τείνει στο για Ν ) οι επαναληπτικές μέθοδοι RLS και RIV έχουν την ίδια συμπεριφορά με τις αντίστοιχες μεθόδους εκτός γραμμής Και η επαναληπτική μέθοδος PEM συγκλίνει για λ= Οι μέθοδοι ελάχιστων τετραγώνων και συμβαλλουσών μεταβλητών μπορούν να γραφούν ως έχουν (ακριβώς) σε επαναληπτική μορφή (για λ=, οι ιδιότητες παραμένουν ακριβώς ίδιες) Η μέθοδος πρόβλεψης σφάλματος μπορεί να γραφεί επαναληπτικά μετά από κάποιες προσεγγίσεις Παρακολούθηση χρονικά μεταβλητών συστημάτων: Χρησιμοποίηση λ< Συμβιβασμός μεταξύ ικανότητας παρακολούθησης/σύγκλισης