Σύγχρονα συστήµατα προβλέψεων και µοντελοποίησης ηµήτρης Λέκκας 3 η διάλεξη Τµήµα Στατιστικής και Αναλογιστικών Χρηµατοοικονοµικών Μαθηµατικών Περιγραφή Πρόγνωση Μέθοδοι Πρόγνωση µε Συναρτήσεις Μεταφοράς Προσδιορισµός βαθµού και παραµέτρων ΣΜ Recrsive Esimion Insrmenl Vrible Klmn Filer Πρόγνωση µε Νευρωνικά δίκτυα ιόρθωση πρόγνωσης
Μοντέλα συνάρτησης µεταφοράς ( b0 b... bm... n n i m ( ( i ( δ ξ ( ŷ( ŷ ( -... b 0 b ( δ... ξ( 3 B( δ ξ A( N A ( B ( n b b b m 0 m n 4
Το µοντέλο ΣΜ της παραπάνω σχέσης µπορεί να παρουσιαστεί ως: (Gss-Mrov se spce eqions B( Μοντέλο συστήµατος x δ ή x ϑ δ ή κατάστασης (Ssem or se model A( Εξίσωση εξόδου ή παρατηρήσεων (Op or observion eqion x ξ Η µορφή αυτή είναι χρήσιµη για εφαρµογή του Klmn Filer 5 BES models den AR nm del YIC R AIC S EVN condp 0 43-8.4356 0.8355 6.939.065e003-4.833 0.0000e000 7 0 4-8.404 0.8303 6.9459.0336e003-4.866 0.0000e000 7 0 43-8.4033 0.88447 6.9674.0560e003-4.8860 0.0000e000 8 0 43-8.385 0.88485 6.905 9.9764e00-4.773 0.0000e000 6 0 4-8.3730 0.86678 6.90.008e003-4.805 0.0000e000 6 0 4-8.364 0.8859 6.9690.0577e003-4.960 0.0000e000 8 0 4-8.3608 0.880 6.95.040e003-4.8983 0.0000e000 7 0 4-8.3463 0.8474 6.93.095e003-4.848 0.0000e000 6 0 40-8.345 0.80 6.953.04e003-4.96 0.0000e000 7 0 4-8.330 0.87974 6.9700.0588e003-4.9433 0.0000e000 8 0 40-8.3099 0.88466 6.9673.0559e003-4.9583 0.0000e000 8 0 40-8.304 0.83736 6.9378.053e003-4.8706 0.0000e000 6 6
Προσδιορισµός του βαθµού της ΣΜ Καθορισµός των nmδ Χρήση αντικειµενικών στατιστικών µεθόδων Over-prmeerised? (όταν το µοντέλο έχει περισσότερες απ όσες χρειάζονται για να περιγράψει την συµπεριφορά του συστήµατος Ικανότητα του µοντέλου να περιγράψει τα δεδοµένα 7 Yong Informion Crierion (YIC NP σ σ p YIC ln ln σ NP i ϑi NPnm συνολικός αριθµός εκτιµώµενων παραµέτρων σ εκτίµηση της διασποράς της εκτιµώµενης αβεβαιότητας της i h παραµέτρου p ii το διαγώνιο στοιχείο του πίνακα P /N ii 8
m.0000-0.978 bm Colmns hrogh 7 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Colmns 8 hrogh 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Colmns 5 hrogh 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Colmns hrogh 8 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Colmns 9 hrogh 35 0 0 0 0 0 0 0 0.0779 0 0 0 0 0 0 Colmns 36 hrogh 4 0 0 0 0 0 0 0 0 0 0 0 0 0 0 Colmns 43 hrogh 44 0 7.5667 0 0 9 ξ είσοδος την περίοδο -µετρηµένη έξοδος του συστήµατος ξ - σφάλµα µετρήσεων του συστήµατος x - πραγµατική έξοδος του συστήµατος x - υπολογισµένη έξοδος του µοντέλου - εκτιµήσεις των παραµέτρων του µοντέλου θ θ x 0
Εάν χρησιµοποιείται ένα µοντέλο ΣΜ (F της µορφής O πίνακας των παραµέτρων θα έχει την µορφή ( ( e b b e A B b b θ θ Οι παράµετροι µπορούν να υπολογιστούν µε µια µη γραµµική διαδικασία ελαχιστοποιώντας το σφάλµα απόκρισης του µοντέλου. σφάλµα : A B e ( (
3 Μια διαφορετική προσέγγιση είναι η χρήση µεθόδου που οδηγεί σε µοντέλα που είναι γραµµικάωςπροςτις παραµέτρους τους (εξίσωση σφαλµάτων Σφάλµα : E B A e ( ( E e A e ( 4 Γραµµικότητα της µεθόδου εξίσωσης σφαλµάτων Αυτό είναι ένα πρόβληµα γραµµικής παλινδρόµησης E E E E e b b e b b e b b b b e ( ( ( (
Οι εκτιµήσεις των παραµέτρων που λαµβάνονται µε αυτή τη µέθοδο είναι επηρεασµένες (bised λόγω της συσχέτισης ανάµεσα των σφαλµάτων (που υπολογίζονται µε τηνεξίσωσησφαλµάτων και της χρονοσειράςεξόδουτουσυστήµατος - επίδραση του φίλτρου A( Μια παραλλαγή αυτής της µεθόδου που αποφεύγει αυτό το πρόβληµα είναιηinsrmenl Vrible (IV µέθοδος η οποία έχει µια σειρά από σηµαντικές ιδιότητες. Είναι πολύ σταθερή (συναγωνίζεται άλλες διαθέσιµες µεθόδους εκτίµησης παραµέτρων 5 Παράδειγµα - Πίνακας Παρατήρηση 3 4 5 6 : 9 30 3 3 99459 0446 300 7467 036 384380 : 458 0847 9966 7645 435 55796 394 6597 556 0088 : 4734 4734 4734 3954 6
Ένα µοντέλο ΣΜ παίρνει την µορφή b Το µοντέλο µπορεί να παρουσιαστεί µε τη µορφή πινάκων [ b ] Και ο πίνακας δεδοµένων U είναι 3 U 4 3 3 30 0446 435 300 55796 7467 394 9966 47 7 O πίνακας Y θα είναι η πρώτη στήλη του πίνακα (σελ 6 των παρατηρήσεων. Αν θέλουµε να ελαχιστοποιήσουµε το σφάλµα τουµοντέλου µπορούµε ναβρούµε τις εκτιµήσεις των παραµέτρων του λύνοντας την εξίσωση U Y ( U U θ βρίσκουµε 8
και 9 και βρίσκουµε ότι µπορούµε να υπολογίσουµε τις παραµέτρους από τη λύση του ζεύγους των γραµµικών εξισώσεων που αναγνωρίζονται καλύτερα µε τη µορφή απ όπου εύκολα βρίσκουµε τον πίνακα των παραµέτρων 0
Άσκηση Η σχέση δυο µεταβλητών µπορεί να περιγραφεί από την παρακάτω Συνάρτηση Μεταφοράς όπου είναι η εξαρτηµένη µεταβλητή και ( η ανεξάρτητη (είσοδος Να µετατραπεί η ΣΜ σε εξίσωση πινάκων και να προσδιοριστούν οι παράµετροι του µοντέλου Recrsive Esimion (επαναλαµβανόµενη εκτίµηση Οι εκτιµήσεις των άγνωστων παραµέτρων ενός µοντέλου ανανεώνονται διαδοχικά καθώς επεξεργαζόµαστε τα δεδοµένα µια παρατήρηση τη φορά. Σε αντίθεση µε τιςσυµβατικές µεθόδους όπου αναλύονται όλα τα διαθέσιµα δεδοµένα (en bloc Κατάλληλη µέθοδος για ανάλυση χρονοσειρών καθώς οι εκτιµήσεις συσχετίζονται µε τις παρατηρήσεις και πραγµατοποιούνται σε πραγµατικό χρόνο (on-line. Χρησιµοποιούνται στην εφαρµογή προσαρµοζόµενων (dpive και αυτοσυντονιζόµενων (self-ning µεθόδων πρόγνωσης και αυτόµατου ελέγχου.
Recrsive Esimion Η πιο γνωστή recrsive les sqres (RLS Για την εξαγωγή του αλγόριθµου θεωρούµε την περίπτωση όπου έχουµε µια γνωστή µεταβλητή ( που µπορεί να περιγραφεί µε τηµορφή µιας γραµµικής παλινδρόµησης όπως : ( 0( x ( x( n xn( e( Όπου α i ( i 0 n είναι n άγνωστες παράµετροι x i ( i 0 n είναι γνωστές µεταβλητές και e( είναι µια ανεξάρτητη τυχαία µεταβλητή (µη παρατηρήσιµη µε µέση τιµή µηδέν και διασπορά σ που εισάγεται για να απεικονίσουν το σφάλµα στις παρατηρήσεις ή την αβεβαιότητα στις µετρήσεις της εξαρτηµένης µεταβλητής ( 3 Το µοντέλο ( µπορεί να παρουσιαστεί µε τη χρήση πινάκων όπου ( x ( e( [ ( ( ( n ( ] ( 0 x [ x ( x ( x n ( ] ( Αν έχουµε Ν παρατηρήσεις των ( και x( οι εκτιµήσεις â των παραµέτρων µπορούν να εκτιµηθούν µε τη µέθοδο των ελαχίστων τετραγώνων ελαχιστοποιώντας τη σχέση J ( N [ ( x ( ] (3 4
( ( Η ελαχιστοποίηση αυτή επιτυγχάνεται απλά θέτοντας την κλίση του J ως προς ίση µε µηδέν Ανοίγοντας την έκφραση παίρνουµε την κανονική εξίσωση των ελαχίστων τετραγώνων της ανάλυσης της παλινδρόµησης Η εξίσωση αυτή παρουσιάζει (n γραµµικές εξισώσεις για (n εκτιµήσεις i i : 03... n των παραµέτρων του πίνακα Οι εκτιµήσεις των ελαχίστων τετραγώνων ( N του πίνακα â βασίζονται σε Ν οµάδες παρατηρήσεων ((x( N που δίνονται από τη λύση των nγραµµικών εξισώσεων 5 Αυτές είναι: Με την εναλλακτική επαναλαµβανόµενη (recrsive λύση η εκτίµηση ( της h παρατήρησης (από τις Ν διαθέσιµες λαµβάνεται από την ανανέωση (ενηµέρωση της εκτίµησης ( την προηγούµενη (-h περίοδο µε τονrls αλγόριθµο. ( ( g( g( P( x( P( x( { ( x ( ( } (4 Όπου ο επαναλαµβανόµενος συντελεστής αύξησης g( ορίζεται ώς: [ x ( P( x( ] 6
Η τελευταία ισότητα προκύπτει καθώς ο (nx(n πίνακας P( ορίζεται από την ακόλουθη επανάληψη P( P( P( x( [ x ( P( x ( ] x ( P( (4b Παρατήρηση: από τη παραπάνω έκφραση προκύπτει ότι τα στοιχεία του P( τείνουν στο µηδέν όταν το τείνει στο άπειρο (για πολύ µεγάλα δείγµατα. 7 Ο P( (covrience of he predicion error πίνακας είναι συµµετρικός και σχετίζεται µε τονp( τον πίνακα συνδιασποράς µε τησχέση: P ( σ P( (4c Όπου σ είναι η διασπορά του θορύβου των παρατηρήσεων e(. Σε κάθε χρονική περίοδο ο RLS αλγόριθµος παρέχει µαζί µε τις εκτιµήσεις των παραµέτρων εκτίµηση της εµπιστοσύνης στον υπολογισµό των παραµέτρων όπως προκύπτει από το P.( 8
P ( δεν µπορεί να υπολογιστεί απ ευθείας καθώς η σ δεν είναι γνωστή priori. Οπότεθαπρέπεινααντικατασταθείστην εξίσωση (4c µε µια εκτίµηση που προκύπτει µε αναφορά στη µέση τετραγωνική τιµή των σφαλµάτων του µοντέλου e ( ( x ( ( N... N σ N N e( Ηεκτίµηση της αβεβαιότητας στις εκτιµήσεις των παραµέτρων του µοντέλου είναι συνήθως εκφρασµένη ως τυπικό σφάλµα σε κάθε παράµετρο α i ( που εκφράζεται από το διπλάσιο της τετραγωνικής ρίζας του ih διαγώνιο στοιχείο p ii του P (. 9 Συνήθως οι αρχικές τιµές για τον αλγόριθµο (4 είναι α(00 και P(0 ίσο µε ένα διαγώνιο πίνακα µε όµοια στοιχεία που είναι ίσα µε µια µεγάλη τιµή (πχ >00 και συνήθως 0 6 ΗσχέσητωνP ( και P( βοηθά στην κατανόηση της επιλογής µεγάλων τιµών σταστοιχείατουp(0 καθώςστιςαρχικές εκτιµήσειςα(00 δεν υπάρχει καθόλου εµπιστοσύνη και οι εκτιµήσεις αρχικά θεωρούνται στατιστικά ανεξάρτητες. 30
Simplified Refined Insrmenl Vrible (SRIV Βασίζεται στον αλγόριθµο RLS Παράγει εκτιµήσεις µε µικρότερη διασπορά ενώ διατηρεί τα κύρια πλεονεκτήµατα : να µη απαιτούνται priori πληροφορίες για τις στατιστικές του θορύβου για την παραγωγή εκτιµήσεις των παραµέτρων που σταθερές και µη - επηρεασµένες (nbised Εξέλιξη των IV και RIV 3 Ο SRIV αλγόριθµος εφαρµόζεται στη ακόλουθη µορφή της ΣΜ Z ϑ n Z ] ϑ [ n δ δm [ n b0 b m ] Όπου εισάγεται η οργανική µεταβλητή (IV W 3
Η κλασική εξίσωση των ελαχίστων τετραγώνων γίνεται N N W Z ϑ W 0 Όπου ο πίνακας έχει τη µορφή W W [ w w n δ δm Και ŵ είναι η insrmenl vrible που ορίζεται σαν εκτίµηση της noise-free εξόδου του συστήµατος και προκύπτει από το προσαρµοζόµενων βοηθητικό µοντέλο: B ( w δ A ( ] 33 Τα πολυώνυµα A ( και B( είναι προσαρµοζόµενες εκτιµήσεις των πολυώνυµων τηςεξίσωσηςτηςσμ. Κατά τη διαδικασία SRIV χρησιµοποιούνται ειδικά φίλτρα για να επιτευχθεί καλή απόδοση κατά την εκτίµηση των παραµέτρων. Η χρήση φίλτρων συµβαδίζει µε την πρακτική απαίτηση της ανάλυσης των δεδοµένων για την απαλοιφή ανεπιθύµητων συστατικών στα δεδοµένα 34
35 Για τον SRIV αλγόριθµο οι πίνακες των δεδοµένων και µετατρέπονται σε και αντίστοιχα και η κανονική εξίσωση της IV γίνεται W Z W Z m d n w w W ] [ δ m d n Z ] [ δ 0 ϑ N N W Z W A ( A ( w A w ( 36 P είναι ο αντίστροφος του insrmenl cross-prodc mrix (IPM C Που χρησιµοποιείται και για την εξαγωγή του YIC. Η επαναλαµβανόµενη µορφή του SRIV δίνεται από: / / N N N Z W C P ] [ ( / / / / ϑ ϑ ϑ Z W P Z W P ] ( / / / / P Z W P Z W P P P
Generlised Rndom Wl Η στοχαστική εξέλιξη µιας µεταβλητής µπορεί να θεωρηθεί ότι περιγράφεται από ένα γενικευµένο µοντέλο τυχαίου βήµατος (GRW της µορφής. X FX Gn Όπου X είναι ο πίνακας µεταβλητής κατάστασης (se που περιέχει τις παρατηρήσεις των µεταβλητών κατάστασης τη h χρονική στιγµή F:se rnsiion mrix α β G : inp mrix F i 0 γ G i x 37 n : θόρυβος (whie noise µε µέση τιµή 0 και διασπορά q. Το γενικό αυτό µοντέλο συµπεριλαµβάνει ως ειδικές περιπτώσεις: Rndom Wl (RW α x 0 β γ Inegred Rndom Wl (IRW: α β γ x 0 Smoohed Rndom Wl (SRW: 0 < α < β γ x 0 Συνδυάζοντας το GRW µοντέλο και τη ΣΜ ( Z ϑ n προκύπτουν οι Gss-Mrov (GM se-spce εξισώσεις 38
Gss-Mrov (GM se-spce eqions Μοντέλο συστήµατος ή κατάστασης (Ssem or se model FX X G n Εξίσωση εξόδου ή παρατηρήσεων H X (Op or observion eqion X : πίνακας κατάστασης H : πίνακας παρατηρήσεων περιέχει F: se rnsiion mrix (άθροισµα τωνf i πινάκων G: ενοποιηµένοι G ι πίνακες e : θόρυβος (whie noise µε µέση τιµή 0 και διασπορά Q e 39 Klmn Filer Πρόβλεψη X FX / / FP F P G Q G H X / r ιόρθωση X P X P / H ( H P / H [ / / P / P / H ( H P / H H P / ] H X Q r : Noise vrince rio Q Q r σ 40