ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ ΠΜΣ ΥΠΟΛΟΓΙΣΤΙΚΗΣ ΦΥΣΙΚΗΣ Πρόβλεψη πολλών ϐηµάτων µε τοπικά µοντέλα κοντινότερων γειτόνων σε χρονοσειρές από µη-γραµµικά δυναµικά συστήµατα ιπλωµατική Εργασία Λάµπρος Μουντράκης ΑΕΜ 4162 Επιβλέπων Καθηγητής : Κουγιουµτζής ηµήτριος Οκτώβριος 2009

Πρόβλεψη πολλών ϐηµάτων µε τοπικά µοντέλα κοντινότερων γειτόνων σε χρονοσειρές από µη-γραµµικά δυναµικά συστήµατα Λάµπρος Μουντράκης Οκτώβριος 2009

Περίληψη Η ανακατασκευή του χώρου καταστάσεων από µια χρονοσειρά, σύµφωνα µε το ϑεώ- ϱηµα εµβύθισης του Takens, έκανε δυνατή τη µελέτη της δυναµικής ενός συστήµατος έχοντας στην διάθεσή µας τις παρατηρήσεις µόνο µιας από τις µεταβλητές του. Η πιο γνωστή µέθοδος ανακατασκευής, η µέθοδος των υστερήσεων (MOD) κάνει χρήση δυο πα- ϱαµέτρων, της χρονικής υστέρησης τ και της διάστασης εµβύθισης m. Το γινόµενο αυτών των δυο παραµέτρων ορίζει το χρονικό παράθυρο t w = τ(m 1), το οποίο καθορίζει το ποσό της πληροφορίας που περνάει από την χρονοσειρά στα εµβυθισµένα διανύσµατα και έχει προταθεί ως µια ανεξάρτητη παράµετρος. Η πρόβλεψη µε τη χρήση µοντέλων κοντινότερων γειτόνων είναι µια από τις πιο πετυχηµένες µεθόδους πρόβλεψης. Στηρίζεται στην εύρεση γειτόνων στον ανακατασκευασµένο χώρο και εκµεταλλεύεται το γεγονός ότι ακόµα κι αν η αρχική δυναµική του συστήµατος είναι χαοτική, οι γειτονικές τροχιές αποκλίνουν σταδιακά, γεγονός που επιτρέπει µια ϐραχυπρόθεσµη πρόβλεψη γνωρίζοντας τις γειτονικές τροχιές. Η παρούσα εργασία πραγµατεύεται τον ϱόλο που έχουν οι παράµετροι της ανακατασκευής και κυρίως το χρονικό παράθυρο t w στην τοπική γραµµική πρόβλεψη πολλών ϐηµάτων. Χρησιµοποιούµε προσοµοιώσεις σε 3 µη γραµµικά δυναµικά συστήµατα, την απεικόνιση Hénon, το σύστηµα του Lorenz και τη διαφορική εξίσωση µε υστέρηση των Mackey-Glass. Τα αποτελέσµατα ϕανερώνουν ότι το χρονικό παράθυρο t w είναι η κύ- ϱια παράµετρος που επηρεάζει την πρόβλεψη, χωρίς αυτό να σηµαίνει ότι υπάρχει ένα ϐέλτιστο παράθυρο που να µπορεί να χρησιµοποιηθεί ανεξάρτητα του πόσο µακρυά προ- ϐλέπουµε. iii

Abstract State space reconstruction from a given timeseries, according to the embedding theorem stated by Takens, made possible the study of the dynamical properties of a system, from observations only of one of its variables. The most common method of reconstructing is the method of delays (MOD), which involves two parameters, the time delay τ and the embedding dimension m. The product of these two parameters define the time window length, t w = τ(m 1). Time window length determines the amount of information passed from the time series to the embedding vectors and has been suggested as an independent parameter. Prediction using local models of nearest neighbours is one of the most successful prediction methods and is based on the search and use of nearest neighbours in the reconstructed space, and their images. The idea for the use of these models is that close orbits deviate gradually, even if the initial dynamics of the system is chaotic, and this short-term prediction is possible. This work discusses the importance of the reconstruction parameters, focusing on the time window length, in local multi-step prediction. We examine 3 nonlinear dynamical systems: Hénon map, Lorenz system and the delayed differential equation of Mackey-Glass. The results show that the time window t w is the main parameter that affects the prediction and that there is no optimum reconstruction independent of the prediction time. iv

Περιεχόµενα Περίληψη Abstract Περιεχόµενα iii iv vi Εισαγωγή 1 1 Βασικές έννοιες 3 1.1 Πρόβλεψη & προβλεψιµότητα......................... 3 1.2 Ανακατασκευή χώρου καταστάσεων...................... 5 1.3 Χαρακτηριστικά µέτρα χρονοσειρών...................... 7 1.3.1 Αυτοσυσχέτιση.............................. 7 1.3.2 Αµοιβαία πληροφορία.......................... 8 1.3.3 Φάσµα Ισχύος.............................. 9 1.3.4 ιάσταση ελκυστή............................ 10 1.3.5 Ψευδείς κοντινότεροι γείτονες, FNN.................. 11 1.3.6 Μέγιστος εκθέτης Lyapunov...................... 12 2 Τοπικά µοντέλα πρόβλεψης 14 2.1 Γραµµικά µοντέλα παλινδρόµησης...................... 14 2.1.1 Το αυτοπαλινδροµούµενο µοντέλο (AR Model)............. 15 2.1.2 Το µοντέλο κινούµενου µέσου (MA Model)............... 16 2.1.3 Το µικτό µοντέλο (ARMA Model).................... 16 2.2 Τοπικά µοντέλα ανακατασκευασµένου χώρου................. 16 2.2.1 Το τοπικό γραµµικό µοντέλο...................... 18 2.2.2 Εκτίµηση της απεικόνισης του γραµµικού µοντέλου & κανονικοποίηση (Regularization) τοπικών γραµµικών µοντέλων.......... 19 2.3 Ποιότητα πρόβλεψης.............................. 20 2.4 Πρόβλεψη πολλών ϐηµάτων.......................... 21 2.4.1 Άµεση & επαναληπτική µέθοδος.................... 21 2.4.2 Παράµετροι τοπικής πρόβλεψης.................... 22 3 Προσοµοιώσεις 25 3.1 Χρονοσειρές από χαοτικά συστήµατα..................... 25 3.1.1 Απεικόνιση Hénon........................... 25 3.1.2 Σύστηµα Lorenz............................. 29 vi

3.1.3 Εξίσωση Mackey-Glass......................... 32 3.2 Εγκατάσταση προσοµοιώσεων......................... 38 3.3 Ο ϱόλος των παραµέτρων ανακατασκευής στην πρόβλεψη πολλών ϐηµάτων. 39 3.3.1 Ο ϱόλος του χρονικού παραθύρου t w.................. 39 3.3.2 Ο ϱόλος του χρόνου υστέρησης τ.................... 47 3.3.3 Υστέρηση - διάσταση εµβύθισης.................... 53 3.3.4 Σφάλµα πρόβλεψης - χρονικό παράθυρο................ 60 4 Συµπεράσµατα - Επίλογος 66 Α Post processor Source Code 68 Α.1 instances.py.................................. 68 Α.2 nrmse_set.py.................................. 70 Α.3 somefunctions.py............................... 75 Α.4 main.py..................................... 77 Βιβλιογραφία 79 vii

Εισαγωγή Με την διατύπωση του ϑεωρήµατος εµβύθισης του Takens το 1980 [41] η ανακατασκευή χαοτικών ελκυστών από χρονοσειρές έγινε κοινή πρακτική. Με αυτόν τον τρόπο, ανακατασκευάζοντας το χώρο καταστάσεων, µπορεί να µελετηθεί, όχι µόνο η γεωµετρική δοµή, αλλά και η δυναµική ενός ελκυστή [17, 40, 43]. Μια από τις πολλές µεθόδους που ϐρίσκει εφαρµογή η µέθοδος της ανακατασκευής είναι και η πρόβλεψη χρονοσειρών. Η πιο γνωστή µέθοδος ανακατασκευής, η µέθοδος των υστερήσεων (MOD) κάνει χρήση δυο παραµέτρων, της χρονικής υστέρησης τ και της διάστασης εµβύθισης m. Το γινόµενο αυτών των δυο παραµέτρων ορίζει το χρονικό παράθυρο t w = τ(m 1), δηλαδή το t w δηλώνει το µήκος του τµήµατος της χρονοσειράς που ορίζουν οι παράµετροι της χρονικής υστέρησης και της διάστασης εµβύθισης. Το χρονικό παράθυρο είναι ιδιαίτερης σηµασίας αφού, υπό µια έννοια καθορίζει το ποσό της πληροφορίας που περνάει από την χρονοσειρά στα εµβυθισµένα διανύσµατα και έχει προταθεί [24] ως µια ανεξάρτητη παράµετρο αντί των αλληλεξαρτώµενων παραµέτρων τ και m. Προτείνεται ως η πρώτη παράµετρος που πρέπει να καθοριστεί για την ανακατασκευή του χώρου καταστάσεων και πρέπει να προσεγγίζει τη µέση περίοδο ταλάντωσης τ p, ενώ για χαµηλοδιάστατους ελκυστές τον χρόνο µεταξύ κορυφών (time between peaks, tbp). Από τις πιο επιτυχηµένες µεθόδους για την πρόβλεψη χρονοσειρών που κάνει χρήση του ανακατασκευασµένου χώρου καταστάσεων, είναι η πρόβλεψη µε την χρήση τοπικών γραµµικών µοντέλων. Τα γραµµικά τοπικά µοντέλα είναι απλά γραµµικά µοντέλα τα ο- ποία αντί να λαµβάνουν είσοδο από όλη την χρονοσειρά, λαµβάνουν είσοδο µόνο από επιλεγµένα τµήµατά της. Συγκεκριµένα λαµβάνουν είσοδο από τα τµήµατα της χρονοσειράς που αντιστοιχούν στα κοντινότερα σηµεία, στον ανακατασκευασµένο χώρο καταστάσεων, του σηµείου του οποίου την συνέχεια ϑέλουµε να προβλέψουµε. Τα τµήµατα αντιπροσωπεύονται µε σηµεία σε κάποιο ανακατασκευασµένο χώρο καταστάσεων. Με αυτόν τον τρόπο µπορούµε να εκµεταλλευτούµε το γεγονός ότι ακόµα κι αν η αρχική δυναµική του συστήµατος είναι χαοτική, οι κοντινές τροχιές αποκλίνουν σταδιακά, γεγονός που µας επιτρέπει σε έναν ϐαθµό µια ϐραχυπρόθεσµη πρόβλεψη. Οι Farmer and Sidorowich [11], σε µια από τις πρώτες εργασίες πάνω στα τοπικά µοντέλα κοντινότερων γειτόνων, εξέτασαν την πρόβλεψη χρονοσειρών και µελέτησαν την κλιµάκωση του σφάλµατος, συναρτήσει του µεγέθους της χρονοσειράς και του χρόνου πρόβλεψης. Η πρόβλεψη µε τη χρήση µοντέλων κοντινότερων γειτόνων, όπως είπαµε, είναι µια από τις πιο πετυχηµένες µεθόδους πρόβλεψης, γεγονός που ϕανερώνεται από τις ϑέσεις που κατέλαβαν στους δυο πρώτους διαγωνισµούς που αφορούσαν την πρόβλεψη χρονοσειρών. Ο πρώτος διαγωνισµός διοργανώθηκε από το ερευνητικό κέντρο της Santa Fe [42], µε την τοπική πρόβλεψη να αποτελεί την καλύτερη πρόταση, µαζί µε µια συµ- µετοχή που έκανε χρήση νευρωνικών δικτύων. Στο δεύτερο διαγωνισµό έδωσε και πάλι τα καλύτερα αποτελέσµατα [34] µε ένα παραµετροποιηµένο τοπικό µοντέλο ϐασισµένο 1

στην δοθείσα χρονοσειρά. Συνεχίζει ϐέβαια να δίνει πολύ καλά αποτελέσµατα και στους διαγωνισµούς που έπονται και συνεχίζουν να οργανώνονται ανά τακτά χρονικά διαστήµατα, µε το περισσότερο ενδιαφέρον να τραβάει το European Symposium on Time Series Prediction, http://www.estsp.org/. Τα τοπικά µοντέλα από αυτή τους την απόδοση, εκτός από την ευρεία χρήση τους, έ- χουν τύχει σηµαντικής µελέτης που είτε την ϐελτιστοποιεί µε τη χρήση κανονικοποίησης, αλλαγής µετρικής του χώρου, είτε γίνεται διερευνητική εργασία για να ϐρεθούν οι ϐέλτιστες τιµές για τις παραµέτρους των τοπικών µοντέλων [27, 33, 32, 15]. Μόλις πρόσφατα έχει αρχίσει να γίνεται λόγος για το ϱόλο των παραµέτρων ανακατασκευής στην τοπική πρόβλεψη [35, 45, 36], η οποία κινείται στην εύρεση µιας ϐέλτιστης χρονικής υστέρησης τ και της διάστασης εµβύθισης m, χωρίς να εξετάζεται ο ϱόλος του χρονικού παραθύρου. Η παρούσα εργασία εξετάζει το ϱόλο που έχουν οι παράµετροι ανακατασκευής, κυρίως του χρονικού παραθύρου στην πρόβλεψη µε τοπικά γραµµικά µοντέλα. Τα δυο ερωτήµατα που σκοπεύει να απαντήσει είναι : Ποιες είναι οι παράµετροι της ανακατασκευής που επηρεάζουν την πρόβλεψη; Είναι το χρονικό παράθυρο µια παράµετρος από µόνο του ή µήπως η διάσταση εµβύθισης, η χρονική υστέρηση ή κάποιος άλλος συνδυασµός τους παίζει µεγαλύτερο ϱόλο; Υπάρχει κάποιος ϐέλτιστος συνδυασµός των παραµέτρων κατασκευής που να µπορεί να χρησιµοποιηθεί όσο µακρυά κι αν προβλέψουµε; Αν ϑέλουµε να προβλέψουµε πιο µπροστά στο µέλλον, πρέπει να αλλάξουµε τις παραµέτρους ανακατασκευής για να λάβουµε µια καλύτερη πρόβλεψη; Εξετάζουµε αυτά τα ερωτήµατα σε τρία χαοτικά συστήµατα, την απεικόνιση Hénon, το σύστηµα του Lorenz και την διαφορική εξίσωση µε υστέρηση των Mackey-Glass. Το πρώτο κεφάλαιο εξετάζει µερικές ϐασικές έννοιες, απαραίτητες για την ϐαθύτερη κατανόηση του προβλήµατος. Εξετάζει επίσης ένα ϐασικό ερώτηµα, το πως µπορούµε να µιλάµε για πρόβλεψη χαοτικών χρονοσειρών, όπως και την ανακατασκευή του χώρου καταστάσεων. Στη συνέχεια παρουσιάζονται µερικά από τα χαρακτηριστικά µέτρα χρονοσειρών που ϐοηθούν να λάβουµε µια επαρκή εικόνα για την χρονοσειρά που µελετάµε και είναι χρήσιµα πριν προχωρήσουµε σε µοντέλα και πρόβλεψη χρονοσειρών. Το δεύτερο κεφάλαιο παρουσιάζει την ϐασική µεθοδολογία για τα τοπικά µοντέλα καθώς και τρόπους κανονικοποίησής για την επίλυση των τοπικών γραµµικών µοντέλων. Παρατίθενται στατιστικά µέτρα που χρησιµεύουν στην εκτίµηση της ποιότητας της πρόβλεψης και εξετάζεται η ποιοτική συνεισφορά κάθε παραµέτρου στο σφάλµα της εκτίµησης. Το τρίτο κεφάλαιο ξεκινάει µε τη µελέτη των χρονοσειρών που ϑα εξετάσουµε, σύµ- ϕωνα µε τα µέτρα που είδαµε στο πρώτο κεφάλαιο. Ακολουθεί η εγκατάσταση και οι ϱυθµίσεις των προσοµοιώσεων καθώς και κάποια ϑέµατα υπολογιστικού ενδιαφέροντος, για να περάσουµε στη συνέχεια στα αποτελέσµατα των προσοµοιώσεων. Στο τέταρτο και τελευταίο κεφάλαιο συνοψίζουµε την µεθοδολογία και τα αποτελέσµατά µας, ενώ στο παράρτηµα παρατίθεται ο κώδικας που κάνει την επεξεργασία των αποτελεσµάτων. 2

Κεφάλαιο 1 Βασικές έννοιες Σε αυτό το κεφάλαιο εξετάζουµε µερικές ϐασικές έννοιες, απαραίτητες για την ϐαθύτερη κατανόηση του προβλήµατος. Η πρόβλεψη για ένα χαοτικό δυναµικό σύστηµα είναι δυνατή, αλλά περιορίζεται σε ένα µικρό χρονικό ορίζοντα. Η αβεβαιότητα της πρόβλεψης αυξάνεται εκθετικά, εξαρτώµενη από την πολυπλοκότητα του εξεταζόµενου συστήµατος. Η πρόβλεψη χρονοσειρών είναι µια από τις πολλές µεθόδους που ϐρίσκει εφαρµογή η µέθοδος της ανακατασκευής χαοτικών ελκυστών από χρονοσειρές. Η ανακατασκευή είναι ένα ϐασικό εργαλείο που µε την χρήση του µπορεί να µελετηθεί, όχι µόνο η γεωµετρική δοµή, αλλά και η δυναµική ενός ελκυστή. Για να λάβουµε µια επαρκή εικόνα για την εκάστοτε χρονοσειρά είναι χρήσιµο να εξεταστούν κάποια από τα χαρακτηριστικά µέτρα χρονοσειρών πριν προχωρήσουµε σε µοντέλα και πρόβλεψη χρονοσειρών. Η αυτοσυσχέτιση και η αµοιβαία πληροφορία είναι µέτρα (measures) που µπορούν να αναγνωρίσουν σηµαντικές ταλαντώσεις σε µια χρονοσειρά και µπορούν να χρησιµεύσουν στον καθορισµό της υστέρησης τ στην ανακατασκευή, ενώ για τον ορισµό της διάστασης εµβύθισης m, χρησιµοποιείται η µέθοδος των ψευδών κοντινότερων γειτόνων (False Nearest Neighbors, FNN). Σηµαντικές ταλαντώσεις είναι δυνατό να αναγνωριστούν και µε το ϕάσµα ισχύος το οποίο µπορεί να αναπαραστήσει την συνεισφορά της κάθε συχνότητας σε µια χρονοσειρά. Για να λάβει ο αναγνώστης µια εικόνα των µεγεθών αυτών, τα εφαρ- µόζουµε σε δυο ακραίες περιπτώσεις, σε µια ηµιτονοειδή περιοδική χρονοσειρά µε χρόνο δειγµατοληψίας τ s = π και σε µια χρονοσειρά λευκού ϑορύβου. 5 Στο τέλος της παραγράφου, παρουσιάζουµε δυο ϐασικές χαρακτηριστικές ποσότητες για τα χαοτικά συστήµατα, τη διάσταση ενός παράξενου ελκυστή και τους εκθέτες Lyapunov. Αυτές οι δυο αναλλοίωτες ποσότητες χρησιµοποιούνται ευρέως ως διερευνητικά εργαλεία για τον εντοπισµό χάους σε χρονοσειρές. 1.1 Πρόβλεψη & προβλεψιµότητα Μια χρονοσειρά που δεν αλλάζει, είναι εύκολο να προβλεφθεί : απλά επαναλαµβάνεται µια τιµή και κάτι αντίστοιχο ισχύει για τις περιοδικές τροχιές, που επαναλαµβάνεται µια αλληλουχία τιµών. Για τις χρονοσειρές που προκύπτουν από τυχαίες και ανεξάρτητες τιµές, από ϑόρυβο µε λίγα λόγια, δεν µπορεί να γίνει πρόβλεψη και είναι σχεδόν µάταιος κόπος η προσπάθεια για µια ακριβή πρόβλεψη. Σε τέτοιες περιπτώσεις, η µέση τιµή αποδεικνύεται η καλύτερη δυνατή λύση για την πρόβλεψη της χρονοσειράς. 3

Οι χρονοσειρές που παρουσιάζουν ενδιαφέρον δεν είναι περιοδικές ούτε ϑόρυβος αλλά ϕαίνονται να είναι κάπου στο ενδιάµεσο. Το ϐασικό στοιχείο είναι ότι εµπεριέχουν κάποιου είδους δοµή που µπορούµε να εκµεταλλευτούµε για να λάβουµε καλύτερες προ- ϐλέψεις. Η υπόθεση που γίνεται, είναι ότι η χρονοσειρά είναι προϊόν ενός (µη γραµµικού) δυναµικού συστήµατος, που εξελίσσεται αιτιοκρατικά στον χρόνο. Στην περίπτωση των χαοτικών συστηµάτων, ακόµα και η ακριβής γνώση του συστήµατος, δεν επιτρέπει παρά την πρόβλεψη ενός πεπερασµένου αριθµού χρονικών ϐηµάτων εµπρός, λόγο της ευαίσθητης εξάρτησης από τις αρχικές συνθήκες. Ανεξάρτητα από την καταλληλότητα του µοντέλου που ϑα επιλεγεί, η πρόβλεψη πε- ϱιορίζεται σε ένα µικρό χρονικό ορίζοντα µε την αβεβαιότητα της πρόβλεψης να αυξάνει εκθετικά σύµφωνα µε την πολυπλοκότητα του εξεταζόµενου συστήµατος που µπορεί να εκφραστεί µε τον µέγιστο εκθέτη Lyapunov και την διάσταση του ελκυστή. Σχήµα 1.1: Αρχικά κοντινές τροχιές και η εξέλιξή τους στο σύστηµα του Lorenz Στο σχήµα 1.1 ϐλέπουµε την εξέλιξη στο χρόνο κάποιων αρχικά πολύ κοντινών τροχιών. Μετά το πέρας ενός χρονικού διαστήµατος, το οποίο εξαρτάται από την εγγύτητα των τροχιών και την πολυπλοκότητά του συστήµατος, οι αρχικά κοντινές τροχιές αποµακρύνονται. Η πολυπλοκότητα, πέρα από τη διάσταση του ελκυστή, εκφράζεται από τους εκθέτες Lyapunov, που αποτελούν ένα αναλλοίωτο χαρακτηριστικό των χαοτικών συστηµάτων και µετρούν το µέσο ϐαθµό απόκλισης - σύγκλισης των τροχιών στον ελκυστή, στις κατευθύνσεις του τοπικά αναλυµένου χώρου καταστάσεων (ϐλ. Σχήµα 1.2). Οι εκθέτες Lyapunov σχετίζονται µε τις ιδιοτιµές του γραµµικοποιηµένου δυναµικού συστήµατος και αρνητικές τιµές τους ϕανερώνουν σταθερή συµπεριφορά σε αντίθεση µε τις ϑετικές που ϕανερώνουν ασταθή. Η µεγαλύτερη ϑετική τιµή καθορίζει και το µέγεθος του ορίζοντα πρόβλεψης. Για χαοτικά συστήµατα η τιµή που έχουν οι εκθέτες είναι ένας δείκτης της πολυπλοκότητας. 4

Σχήµα 1.2: Η απόκλιση και η σύγκλιση των τροχιών του συστήµατος του Lorenz όπως χαρακτηρίζεται από τους εκθέτες Lyapunov που ορίζουν την παραµόρφωση κατά την εξέλιξη µιας σφαίρας που τα σηµεία της είναι οι αρχικές συνθήκες σ ένα σύνολο τροχιών. Στην συγκεκριµένη περίπτωση οι εκθέτες Lyapunov είναι : λ 1 = 1.5, λ 2 = 0 και λ 3 = 22.5. [Kugiumtzis et al. [26]] 1.2 Ανακατασκευή χώρου καταστάσεων Η ανακατασκευή του χώρου καταστάσεων και ο σχηµατισµός ενός νέου ελκυστή, ισοδύναµου µε τον αρχικό, είναι η ϐάση της δυναµικής ανάλυσης χρονοσειρών. Με αυτή τη ϐοήθεια, µελετώντας τη δυναµική του ανακατασκευασµένου ελκυστή µπορούµε να ϐγάλουµε συµπεράσµατα για τη δυναµική του αρχικού χώρου καταστάσεων. Ο Takens [41], ϐασιζόµενος στο ϑεώρηµα της τοπολογικής εµβύθισης του Whitney, απέδειξε το ϑεώρηµα εµβύθισης υστέρησης (delay embedding). Το ϑεώρηµα δίνει την (υπό προϋποθέσεις) δυνατότητα να ανακατασκευαστεί ενός νέος m-διάστατος χώρος καταστάσεων, από µια ϐαθµωτή χρονοσειρά απείρου µήκους χωρίς ϑόρυβο, ο οποίος διατηρεί τις χα- ϱακτηριστικές ιδιότητες του αρχικού ελκυστή. Τα διανύσµατα της ανακατασκευασµένης χρονοσειράς µπορούν να αναπαραστήσουν όχι µόνο µια κατάσταση από ένα γραµµικό σύστηµα, αλλά αποδεικνύεται ότι µπορούν να ανακτήσουν την πλήρη γεωµετρική δοµή του αρχικού ελκυστή. Η ιδιότητα του ανακατασκευασµένου δυναµικού συστήµατος να διατηρεί τα ίδια δυναµικά χαρακτηριστικά ονοµάζεται εµβύθιση (embedding). Το ϑεώρηµα του Takens δίνει την συνθήκη m 2D + 1 (1.1) για την ανακατασκευή του χώρου καταστάσεων, όπου m η διάσταση εµβύθισης και D η 5

(άγνωστη) µορφοκλασµατική διάσταση του αρχικού ελκυστή. Στο ακόλουθο σχεδιάγραµ- µα του σχήµατος (1.3) [25], παρουσιάζεται το πρόβληµα της ανακατασκευής του χώρου καταστάσεων από την αρχική χρονοσειρά. Σχήµα 1.3: Ανακατασκευή χώρου καταστάσεων [25] Η πιο απλή ανακατασκευή, είναι αυτή της µεθόδου των υστερήσεων (method of delays, MOD) όπου µια ϐαθµωτή χρονοσειρά x i = x(iτ s ) για i = 1,..., N και τ s ο χρόνος δειγµατοληψίας, δίνει τα εµβυθισµένα m-διάστατα διανύσµατα σύµφωνα µε την σχέση : x t = [x t (m 1)τ, x t (m 2)τ,..., x t ] T. (1.2) Ο εκθέτης Τ υποδηλώνει τον ανάστροφο. Οι παράµετροι της ανακατασκευής είναι : 1. Η διάσταση εµβύθισης (embedding dimension) m που ορίζει τον αριθµό των παρατηρήσεων που γίνονται συνιστώσες του ανακατασκευασµένου διανύσµατος και 2. η υστέρηση (delay) τ που ορίζει µε ποια χρονική διαφορά επιλέγονται οι m παρατηρήσεις για χρόνους µικρότερους της χρονικής στιγµής t. Θα πρέπει να σηµειωθεί ότι η πληροφορία που διοχετεύεται από τη χρονοσειρά στο κάθε ανακατασκευασµένο διάνυσµα x t καλύπτει το χρονικό παράθυρο t w = (m 1)τ. (1.3) Για να επιτευχθεί σωστή ανακατασκευή ϑα πρέπει το παράθυρο αυτό να µην είναι ούτε πολύ µικρό, γιατί δε ϑα έχει χρησιµοποιηθεί αρκετή πληροφορία, αλλά ούτε πολύ µεγάλο, λόγω της πλεονάζουσας πληροφορίας που περιπλέκει την ανακατασκευή. Το σχήµα (1.4) αναπαριστά τρεις διαφορετικές ανακατασκευές µε ίδιο χρονικό παράθυρο t w. 6

Σχήµα 1.4: Τρεις διαφορετικές ανακατασκευές µε ίδιο χρονικό παράθυρο t w Για την επιλογή των κατάλληλων τιµών έχουν προταθεί διάφορες µέθοδοι, όπου κυ- ϱιαρχούν η εκτίµηση µέσω των συναρτήσεων της αυτοσυσχέτισης και της αµοιβαίας πληρο- ϕορίας για την υστέρηση και η µέθοδος των ψευδών κοντινότερων γειτόνων (False nearest neighbors, FNN) για την διάσταση εµβύθισης. 1.3 Χαρακτηριστικά µέτρα χρονοσειρών 1.3.1 Αυτοσυσχέτιση Ο συντελεστής συσχέτισης ρ είναι ένα µέτρο που υποδηλώνει την γραµµική εξάρτηση (ή ισοδύναµα την ανεξαρτησία) δυο τυχαίων µεταβλητών. Η συνάρτηση της αυτοσυσχέτισης µιας χρονοσειράς, η R(τ), είναι η συσχέτιση που έχει µια χρονοσειρά µε µια χρονικά µετατοπισµένη εκδοχή του εαυτού της κατά χρόνο τ. Η εκτίµησή της γίνεται σύµφωνα µε την σχέση : R(τ) = N τ t=1 (x t x)(x t+τ x) N t=1 (x t x) 2, (1.4) όπου x t η τιµή της χρονοσειράς στον χρόνο t, x η µέση τιµή της χρονοσειράς και τ η χρονική διαφορά (υστέρηση) για την οποία υπολογίζεται η αυτοσυσχέτιση. Οι τιµές που 7

µπορεί να λάβει η αυτοσυσχέτιση είναι στο διάστηµα [ 1, 1]. Είναι ένα γραµµικό µέτρο που µπορεί να αποκαλύψει την παρουσία περιόδων και να αναγνωρίσει ϑεµελιώδεις συχνότητες µιας χρονοσειράς που είναι δυνατό να µην διακρίνονται λόγο της παρουσίας ϑορύβου. Η αυτοσυσχέτιση µιας περιοδικής χρονοσειράς είναι περιοδική µε την ίδια περίοδο [21], ενώ σε χρονοσειρές µε έντονο ϑόρυβο, η αυτοσυσχέτιση µηδενίζεται σχεδόν από το πρώτο ϐήµα (υστέρηση) όπως ϐλέπουµε στα σχήµατα (1.5α ) και (1.5β ). Ο χρόνος τ στον οποίο η τιµή της αυτοσυσχέτισης µηδενίζεται για πρώτη ϕορά, δηλαδή οι µεταβλητές x t και x t τ είναι ασυσχέτιστες, επιλέγεται για να ορίσει την παράµετρο της χρονικής υστέρησης τ για την ανακατασκευή. Σε περίπτωση που δε ϕθίνει γρήγορα, επιλέγεται η υστέρηση για την οποία η τιµή της αυτοσυσχέτισης ϕθάνει την τιµή 1 e. (α ) Αυτοσυσχέτιση ηµιτονοειδούς παλµού (ϐ ) Αυτοσυσχέτιση ϑορύβου Σχήµα 1.5 1.3.2 Αµοιβαία πληροφορία Η αµοιβαία πληροφορία (mutual information) I(X, Y ) µετράει τη γραµµική και µηγραµµική συσχέτιση δυο µεταβλητών X, Y και δίδεται ως : I(X, Y ) = x,y p XY (x, y) log p XY (x, y) p X (x)p Y (y), (1.5) όπου p X (x), p Y (y) είναι η πιθανότητα για X = x και Y = y αντίστοιχα, ενώ η ποσότητα p XY (x, y) είναι η κοινή πιθανότητα όταν X = x και Y = y µαζί. Στην περίπτωσή µας, µας ενδιαφέρει η µη-γραµµική συσχέτιση µιας χρονοσειράς µε τον εαυτό της σε διαφορετικούς χρόνους, ώστε να µπορέσουµε να κατανοήσουµε κατά πόσο το µέλλον µιας χρονοσειράς εξαρτάται και επηρεάζεται από το παρελθόν της. Η αµοιβαία πληροφορία για µια χρονοσειρά µπορεί να υπολογιστεί σύµφωνα µε τη σχέση : I(τ) = I(x t, x t τ ) = p t,t τ (x t, x t τ ) log p t,t τ(x t, x t τ) p x t (x t )p t τ (x t τ ). (1.6) t,x t τ 8

Η συνάρτηση I(τ) είναι πάντα ϑετική. Σε µια χρονοσειρά µε ισχυρό ϑόρυβο, όπου το κάθε ϐήµα είναι εντελώς ανεξάρτητο από το προηγούµενο, περιµένουµε να µηδενίζεται από το πρώτο κι όλας ϐήµα (Σχήµα (1.6β )). Στο σχήµα (1.6α ) η περιοδική χρονοσειρά ϕανερώνει µια περίοδο 5 χρονικών µονάδων (ϑυµίζουµε ότι τ s = π ), κατά αντιστοιχία µε την αυτοσυσχέτιση, µόνο που οι αντι-συσχετίσεις στην περίπτωση της αµοιβαίας πληροφορίας είναι 5 ϑετικές. Η τιµή της υστέρησης τ που αντιστοιχεί στο πρώτο τοπικό ελάχιστο της αµοιβαίας πληροφορίας, προτείνεται ως η καταλληλότερη τιµή για τον ορισµό της παραµέτρου ανακατασκευής τ. Μαζί µε την αυτοσυσχέτιση αποτελούν δυο από τα επικρατέστερα µέτρα για τον ορισµό της υστέρησης τ για ανακατασκευή µε την µέθοδο των υστερήσεων. (α ) Αµοιβαία πληροφορία ηµιτονοειδούς παλµού (ϐ ) Αµοιβαία πληροφορία ϑορύβου Σχήµα 1.6 1.3.3 Φάσµα Ισχύος Το ϕάσµα ισχύος µιας χρονοσειράς προκύπτει από την χρήση του µετασχηµατισµού Fourier στην χρονοσειρά. Με αυτόν τον τρόπο εξετάζουµε µια χρονοσειρά από το πεδίο του χρόνου, στο πεδίο των συχνοτήτων. Ο διακριτός µετασχηµατισµός Fourier X k µιας χρονοσειράς x t µήκους N ορίζεται σύµφωνα µε την σχέση : X k = N 1 t=0 x t exp i2πkt, για k = 0,..., N 1 (1.7) N όπου x t το t-οστό σηµείο της χρονοσειράς και i = 1. Λόγω της υπολογιστικής πολυπλοκότητας της σχέσης (1.7), χρησιµοποιείται η µέθοδος των γρήγορων µετασχηµατισµών Fourier, FFT. Γενικά ο µετασχηµατισµός Fourier παράγει µιγαδικούς αριθµούς και το ϕάσµα ισχύος είναι το µέτρο αυτών των µιγαδικών, αποδίδοντας την συνεισφορά της κάθε συχνότητας σε µία χρονοσειρά. Σε µια περιοδική χρονοσειρά η µέγιστη τιµή του ϕάσµατος ϑα αντιστοιχεί στην συχνότητα της ταλάντωσης, ενώ σε µια χρονοσειρά λευκού ϑορύβου, περιµένουµε όλες οι συχνότητες να συνεισφέρουν το ίδιο στην χρονοσειρά, γεγονός που επαληθεύεται από τα σχήµατα (1.7α ) και (1.7β ). 9

(α ) Περιοδόγραµµα ηµιτονοειδούς παλµού (ϐ ) Περιοδόγραµµα ϑορύβου Σχήµα 1.7 1.3.4 ιάσταση ελκυστή Η διάσταση ενός ελκυστή είναι ένα από τα αναλλοίωτα µέτρα, είναι δείκτης της πολυπλοκότητας του συστήµατος που εξετάζουµε και µας δίνει µια εικόνα για τους ϐαθµούς ελευθερίας του µοντέλου που παράγει την χρονοσειρά. Εχουν προταθεί πολλοί ορισµοί για τη διάσταση και όλοι τους ϐασίζονται σε νόµους κλιµάκωσης. Ο πρώτος ορισµός µιας µη ακέραιας διάστασης δόθηκε το 1919 από τον Hausdorff [19], αλλά λόγω της αφηρηµένης της µορφής δεν ήταν κατάλληλη για υπολογισµούς. Ο ορισµός της διάστασης fractal D (µορφοκλασµατική διάσταση), που συχνά αναφέ- ϱεται και ως διάσταση µέτρησης κουτιών (box counting dimension) από τον τρόπο υπολογισµού της, ορίζεται παρακάτω. Αν M(l) είναι ο αριθµός των υπερκύβων µιας δεδοµένης διάστασης m µε πλευρά l που πρέπει να καλύπτουν τον ελκυστή, τότε από τον νόµο δύναµης M(l) l D η µορφοκλασµατική διάσταση ορίζεται ως log M(l) D = lim. (1.8) t 0 log l Ακόµη ένας ορισµός για τη διάσταση ενός ελκυστή δίδεται από τη διάσταση πληροφο- ϱίας (information dimension) [44, 13], αλλά το πιο πετυχηµένο µέτρο της διάστασης ενός ελκυστή είναι η διάσταση συσχέτισης που για τον υπολογισµό της διάστασης χρησιµοποιεί υπερσφαίρες. Προτάθηκε το 1983 από τους Grassberger και Procaccia [17] και από τότε γίνεται εκτενής χρήση της, λόγω της ευκολίας που έχει στον υπολογισµό. Βασίζεται στην υπόθεση ότι η πιθανότητα δυο σηµεία του ελκυστή να απέχουν λιγότερο από µια απόσταση r, αλλάζει αναλογικά µε κάποια δύναµη του r µε σταθερό εκθέτη ν, σύµφωνα δηλαδή µε το νόµο κλιµάκωσης (scaling law) < µ t > x r ν όταν r 0, (1.9) όπου µ t ο αριθµός των σηµείων που ϐρίσκονται µέσα σε µία υπερσφαίρα µε ακτίνα r και κέντρο το σηµείο x t. Ο τελεστής < > x δηλώνει το µέσο ως προς όλα τα σηµεία x t. 10

Από τον νόµο κλιµάκωσης µπορούµε να υπολογίσουµε τη διάσταση συσχέτισης ως ν = d log C(r) d log r (1.10) C(r) = 2 N(N 1) N N i=1 j=i+1 Θ(r x i x j ), (1.11) Θ(x) = { 0 όταν x 0 1 όταν x > 0 (1.12) όπου C(r) το άθροισµα συσχέτισης (correlation sum) και Θ(x) είναι η διακριτή συνάρτηση Heaviside. Το C(r) εκτιµά το < µ t > x κανονικοποιηµένο ως προς το πλήθος των σηµείων και περιµένουµε να ισχύει C(r) r ν, τουλάχιστον για κάποιο εύρος µικρών τιµών του r. Γι αυτό εκτιµάµε τη διάσταση συσχέτισης ν από την κλίση του γραφήµατος log C(r) vs log r για κατάλληλο εύρος του r. 1.3.5 Ψευδείς κοντινότεροι γείτονες, FNN Η µορφοκλασµατική διάσταση µας δίνει µια εικόνα για την διάσταση που πρέπει να έχει η ανακατασκευή του ελκυστή από µια χρονοσειρά. Για την ανακατασκευή του χώρου καταστάσεων, το ϑεώρηµα του Takens δίνει την συνθήκη m 2D + 1, όπου D η µορφοκλασµατική διάσταση του ελκυστή. Αν η διάσταση m του ανακατασκευασµένου χώρου καταστάσεων δεν είναι ικανοποιητικά µεγάλη, τότε ο ανακατασκευασµένος ελκυστής δε ξεδιπλώνεται πλήρως και παρουσιάζει αυτο-τοµές (intersections), γεγονός που δεν τον καθιστά τοπολογικά ισοδύναµο µε τον αρχικό ελκυστή, διότι ένα δυναµικό σύστηµα δε µπορεί να έχει δύο λύσεις για την ίδια αρχική συνθήκη, άρα δύο τροχιές του δε µπορούν να τέµνονται. Για τον υπολογισµό της διάστασης εµβύθισης χρησιµοποιείται η µέθοδος των ψευδών κοντινότερων γειτόνων (method of false nearest neighbors, FNN). Η µέθοδος αυτή ϐασί- Ϲεται στη σχέση µεταξύ ψευδών γειτόνων και αυτο-τοµών και συνοψίζεται στην παρακάτω µεθοδολογία [1, 38] : Αν για κάποια διάσταση εµβύθισης m δύο σηµεία του ανακατασκευασµένου ελκυστή x m i και x m j, όπου ο εκθετικός δείκτης δηλώνει τη διάσταση, είναι πολύ κοντά, τότε είτε είναι πραγµατικά γειτονικά σηµεία και ϐρίσκονται κοντά λόγω της δυναµικής του συστήµατος, είτε είναι ψευδή γειτονικά σηµεία και ϐρίσκονται κοντά λόγω κάποιας αυτο-τοµής του ελκυστή. Αν αυξήσουµε κατά 1 τη διάσταση εµβύθισης, αν δηλαδή στο διάνυσµα x m i προστεθεί η συνιστώσα x i mτ για να δώσει το x m+1 i, εξετάζοντας την απόσταση των x m+1 i και µπορούµε να δούµε αν είναι ψευδείς γείτονες, η πραγµατικά κοντινά σηµεία. x m+1 j Αν η απόσταση µεγάλωσε δραµατικά (σύµφωνα µε κάποιο όριο για το λόγο των αποστάσεων για m και m + 1) τότε τα σηµεία x m i και x m j είναι ψευδείς γείτονες στο χώρο R m. 11

Αυτή η διαδικασία επαναλαµβάνεται για κάθε σηµείο x m i, που ϐρίσκουµε το κοντινότερο του σηµείο x m j και το ελέγχουµε αν είναι ψευδές γειτονικό σηµείο. Αν ϐρούµε σηµαντικό ποσοστό ψευδών γειτονικών σηµείων, τότε αυξάνουµε το m κατά 1, και συνεχίζουµε αυτή τη διαδικασία µέχρι τη διάσταση m, για την οποία η προσθήκη µιας καινούριας συνιστώσας δε δίνει ψευδή γειτονικά σηµεία. Τυπικό κριτήριο τερµατισµού για το ποσοστό των ψευδών γειτονικών σηµείων είναι το 1%. Σχήµα 1.8: Ποσοστό ψευδών κοντινότερων γειτόνων Για την εφαρµογή της µεθόδου FNN ϑα πρέπει να κάνουµε ανακατασκευή του χώρου καταστάσεων για κάθε m, και άρα ϑα πρέπει να ορίσουµε πρώτα την παράµετρο υστέρησης τ. Ενα από τα προβλήµατα εφαρµογής αυτής της µεθόδου είναι λοιπόν η εξάρτηση του m από το τ καθώς και η ευαισθησία στην ύπαρξη ϑορύβου [25]. Στο σχήµα (1.8) παρουσιάζεται το ποσοστό των ψευδών κοντινότερων γειτόνων συναρτήσει της διάστασης εµβύθισης στη χρονοσειρά x του Lorenz µε χρόνο δειγµατοληψία τ s = 0.01s. Για υστέρηση τ = 1 ϐλέπουµε ότι καταλληλότερη τιµή της διάστασης εµβύθισης είναι η m = 3. 1.3.6 Μέγιστος εκθέτης Lyapunov Στην παράγραφο (1.1) είδαµε ότι οι εκθέτες Lyapunov είναι ένα µέτρο του µέσου ϐαθ- µού απόκλισης και σύγκλισης των τροχιών ενός ελκυστή και σχετίζονται µε τις ιδιοτιµές του γραµµικοποιηµένου δυναµικού συστήµατος. Υπάρχουν αρκετές µέθοδοι για την εκτίµηση όλου του ϕάσµατος των εκθετών Lyapunov, αλλά ϑα περιοριστούµε στην εκτίµηση του µέγιστου εκθέτη Lyapunov που µας επιτρέπει να χαρακτηρίσουµε αν µια χρονοσειρά είναι χαοτική ή όχι. Ο µέγιστος εκθέτης 12

Lyapunov λ 1 ορίζεται από τη σχέση : δ t = δ0 e λ 1t για t (1.13) όπου δ 0 η απόσταση δυο κοντινών σηµείων σε χρόνο 0 και δ t η απόστασή τους µετά από χρόνο t, όπως παραστατικά ϕαίνεται και στο σχήµα ((1.9)). Σχήµα 1.9: Αποµάκρυνση δυο κοντινών τροχιών Αν ο εκθέτης λ 1 είναι ϑετικός, τότε οι τροχιές αποκλίνουν, γεγονός που δείχνει ότι το σύστηµα είναι χαοτικό. Ο πίνακας 1.1 έχει τους πιθανούς χαρακτηρισµούς που µπορούµε να λάβουµε από την τιµή του λ 1. Τύπος κίνησης µέγιστος εκθέτης Lyapunov Ευσταθές σηµείο ισορροπίας λ < 0 Ευσταθής οριακός κύκλος λ = 0 Χαοτική κίνηση 0 < λ < Θόρυβος λ = Πίνακας 1.1: Πιθανοί τρόποι κίνησης και οι αντίστοιχοι µέγιστοι εκθέτες Lyapunov [21]. Στην περίπτωση µιας χρονοσειράς, η εκτίµηση του µέγιστου εκθέτη Lyapunov από τη σχέση (1.13), παρουσιάζει προβλήµατα. Οι χρονοσειρές εν γένει είναι πεπερασµένες και ϑεωρούµε ότι δεν µπορούµε να λάβουµε και άλλη χρονοσειρά µε µικρή αρχική απόκλιση. Σε αυτήν την περίπτωση στρεφόµαστε στον ανακατασκευασµένο χώρο R m, και ϐρίσκουµε το κοντινότερο σηµείο σε ένα σηµείο αναφοράς x i. Από αυτά τα δυο σηµεία κρατάµε την αρχική µεταξύ τους απόσταση δ 0,i και την απόστασή τους σε χρόνο t, δ t,i. Στη συνέχεια ορίζουµε νέο σηµείο αναφοράς, και επαναλαµβάνουµε τη διαδικασία µέχρι να καλύψουµε όλα τα σηµεία. Με αυτόν τον τρόπο υπολογίζουµε το µέγιστο εκθέτη Lyapunov σύµφωνα µε την σχέση λ 1 = 1 Nt N i=1 log δ t,i δ 0,i. (1.14) 13

Κεφάλαιο 2 Τοπικά µοντέλα πρόβλεψης Τα τοπικά γραµµικά µοντέλα είναι απλά γραµµικά µοντέλα παλινδρόµησης τα οποία αντί να λαµβάνουν είσοδο από όλη την χρονοσειρά, λαµβάνουν µόνο από επιλεγµένα τµήµατά της, από αυτά που είναι κοντά στο τµήµα του οποίου τη συνέχεια ϑέλουµε να προβλέψουµε. Τα τµήµατα αντιπροσωπεύονται από σηµεία στον ανακατασκευασµένο χώ- ϱο. Με αυτόν τον τρόπο µπορούµε να εκµεταλλευτούµε το γεγονός ότι ακόµα κι αν η αρχική δυναµική του συστήµατος είναι χαοτική, οι κοντινές τροχιές αποκλίνουν σταδιακά, γεγονός που µας επιτρέπει σε έναν ϐαθµό µια ϐραχυπρόθεσµη πρόβλεψη. Για την επίλυση των µοντέλων παλινδρόµησης χρησιµοποιούνται και µέθοδοι κανονικοποίησης (regularization), µέθοδοι που χρησιµοποιούνται και για την επίλυση των τοπικών γραµ- µικών µοντέλων. Ενα ϐασικό κοµµάτι στην πρόβλεψη χρονοσειρών είναι η αξιολόγησή της. Στην πε- ϱίπτωσή µας χωρίζουµε την χρονοσειρά σε δυο διακριτά σύνολα, το σύνολο εκµάθησης που χρησιµοποιείται για να χτίσει το µοντέλο και το σύνολο ελέγχου για την αξιολόγηση της πρόβλεψης. Τα στατιστικά µέτρα που χρησιµοποιούνται για την ποσοτικοποίηση της απροσδιοριστίας της πρόβλεψης είναι το κανονικοποιηµένο µέσο τετραγωνικό σφάλµα και η ϱίζα του κανονικοποιηµένου µέσου τετραγωνικού σφάλµατος. Βασικό ϱόλο επίσης έχει και ο καθορισµός των παραµέτρων του τοπικού µοντέλου, όπως και ο ϱόλος των παραµέτρων ανακατασκευής στην ποιότητα της πρόβλεψης. 2.1 Γραµµικά µοντέλα παλινδρόµησης Τα γραµµικά µοντέλα παλινδρόµησης (linear regression models) ορίζουν µια εξαρτη- µένη µεταβλητή y i ως γραµµικό συνδυασµό κάποιων άλλων m ανεξάρτητων µεταβλητών {X i1,..., X im } [37]: y i = b 0 + b 1 X i1 + b 2 X i2 +... + b m X im, (2.1) ή στην µορφή y = Xb (2.2) (2.3) 14

όπου y = (y 1,..., y N ) T (2.4) x 11... x 1m x 21... x 2m X =.... ccc (2.5). x n1... x nm b = (b 1,..., b m ). (2.6) (2.7) µε y την εξαρτηµένη µεταβλητή, X τις ανεξάρτητες µεταβλητές και b οι άγνωστες παρά- µετροι. Ζητούµενο στα γραµµικά µοντέλα παλινδρόµησης είναι η εκτίµηση των παραµέτρων b, όπου για την λύση της (2.3) οι πιο γνωστές µέθοδοι εκτίµησης είναι η µέθοδος των ελαχίστων τετραγώνων, (Ordinary Least Squares, OLS) και η µέθοδος µέγιστης πιθανοφάνειας, (maximum likelihood method). Επίσης χρησιµοποιούνται και τεχνικές κανονικοποίησης (regulatizations) όπως η Principal Component Regression. 2.1.1 Το αυτοπαλινδροµούµενο µοντέλο (AR Model) Το αυτοπαλινδροµούµενο µοντέλο τάξης p, AR(p) ορίζεται ως X t = p ϕ i X t i + ε t (2.8) i=1 όπου ϕ 1,..., ϕ p είναι οι παράµετροι του µοντέλου και ε t το στοχαστικό κοµµάτι που αναπαριστά ϑόρυβο ή εξωγενείς επιδράσεις στο σύστηµα. Ως εξαρτηµένη µεταβλητή ϑεωρού- µε το X t και ως ανεξάρτητες την ίδια µεταβλητή σε προηγούµενους χρόνους, δηλαδή τις {X t 1,..., X t p }. Μπορούµε να διακρίνουµε µια ευθεία αντιστοιχία µεταξύ των συντελεστών του γραµµικού µοντέλου παλινδρόµησης και του αυτοπαλινδροµούµενου µοντέλου. Τα συστήµατα που µελετώνται µε γραµµικά µοντέλα, ϑεωρούνται εν γένει στάσιµα και γραµµικά [8, 4] και όπως όλα τα γραµµικά µοντέλα, έτσι και το αυτοπαλινδροµούµενο (γραµµικό) µοντέλο έχει δυο πολύ σηµαντικά χαρακτηριστικά : το πρώτο είναι ότι µπορεί να κατανοηθεί λεπτοµερώς και το δεύτερο ότι είναι εύκολο στην υλοποίησή του. Το τίµηµα για αυτές τις διευκολύνσεις, εκτός από την αδυναµία τους να χρησιµεύσουν σε πολύπλοκα συστήµατα, είναι ο κίνδυνος της υπερπροσαρµογής (overfitting), όπου το µοντέλο που κατασκευάζεται προσαρµόζεται πολύ καλά στα σηµεία της χρονοσειράς, αλλά για σηµεία έξω από αυτήν δεν είναι καθόλου εύστοχο. Άλλο ένα σηµαντικό µειονέκτηµα είναι η πολυπλοκότητα που δύναται να εµφανιστεί κατά την κατασκευή του, στην πε- ϱίπτωση που για µια εύστοχη προσαρµογή χρειάζεται να οριστεί µεγάλη τάξη, δηλαδή το µοντέλο να γίνει µεγαλοδιάστατο. Συνήθως για την προσαρµογή ενός µοντέλου στη χρονοσειρά χρησιµοποιείται κάποιο κριτήριο όπως η µερική αυτοσυσχέτιση ή το κριτήριο πληροφορίας του Akaike [2]. 15

2.1.2 Το µοντέλο κινούµενου µέσου (MA Model) Στο µοντέλο του κινούµενου µέσου υποθέτουµε ότι εξωγενείς παράγοντες, σε παρόντες αλλά και σε προηγούµενους χρόνους, επηρεάζουν την εξέλιξη της µεταβλητής. Μπορεί να περιγραφεί µε τη σχέση : X t = ε t + q θ i ε t i. (2.9) i=1 2.1.3 Το µικτό µοντέλο (ARMA Model) Το µικτό µοντέλο τάξης {p, q} (ARMA(p, q)) [4] είναι συνδυασµός ενός αυτοπαλινδρο- µούµενου µοντέλου τάξης p και ενός κινούµενου µέσου τάξης q. X t = ε t + p ϕ i X t i + ε t i=1 q θ i ε t i (2.10) i=1 2.2 Τοπικά µοντέλα ανακατασκευασµένου χώρου Υπάρχουν πολλές κατηγορίες µη-γραµµικών µοντέλων και χωρίζονται σε καθολικά, ηµι-τοπικά και τοπικά µοντέλα ανάλογα µε τον ορισµό τους στον χώρο καταστάσεων. [25] Τα καθολικά µοντέλα έχουν µοναδική αναλυτική έκφραση για όλο το πεδίο ορισµού. Τέτοια µοντέλα είναι τα πολυωνυµικά και κλασµατικά. Τα ηµι-τοπικά µοντέλα εκφράζονται αναλυτικά όπως τα καθολικά µοντέλα αλλά αποτελούνται από ένα σύνολο ϐασικών συναρτήσεων και γι αυτό η µορφή τους αλλάζει στις διάφορες περιοχές του χώρου καταστάσεων. Τέτοια µοντέλα είναι τα νευρωνικά δίκτυα (neural networks) και οι ϐασικές ακτινωτές συναρτήσεις (radial basis functions). Τα τοπικά µοντέλα δεν επιδέχονται µοναδική αναλυτική έκφραση για όλο το πεδίο ορισµού αλλά διαµορφώνονται διαφορετικά σε κάθε περιοχή του χώρου καταστάσεων. Τέτοια µοντέλα είναι τα µοντέλα πυρήνων (kernel models) και τα τοπικά γραµµικά µοντέλα. Τα τοπικά γραµµικά µοντέλα πρόβλεψης (Local linear prediction models) είναι από τα πιο γνωστά που έχουν εφαρµοστεί για την πρόβλεψη χρονοσειρών και η ϐασική ιδέα είναι ο εντοπισµός τµηµάτων (ή χρονικών παραθύρων) στην ιστορία της ανακατασκευασµένης χρονοσειράς (ϐλ. Παρ. 1.2) που να είναι κοντά στο τελευταίο κοµµάτι που έχουµε στη διάθεσή µας. Αν η χρονοσειρά προέρχεται από κάποιο αιτιοκρατικό σύστηµα, τότε όµοια τµήµατα ϑα έχουν και όµοιες εικόνες. Ενας συνδυασµός από τις εικόνες των όµοιων τµηµάτων της ιστορίας της χρονοσειράς, συνθέτει την πρόβλεψή µας για το σηµείο αναφοράς (αναλυτική περιγραφή στο Κεφ. 2.2). Φυσικά η πρόβλεψή µε αυτόν τον τρόπο δεν είναι υποχρεωτικό να περιοριστεί αποκλειστικά στην πρόβλεψη ενός µόνο χρονικού ϐήµατος µπροστά, αλλά µπορεί να επεκταθεί και για µεγαλύτερο χρονικό ορίζοντα T > 1 ϐηµάτων. 16

(α ) Ανακατασκευασµένος ελκυστής (ϐ ) Χρονοσειρά Σχήµα 2.1 Για να πραγµατοποιήσουµε την τοπική πρόβλεψη, αν {x 1,..., x N } η χρονοσειρά και x N = [x N, x N 1,..., x N (m 1)τ ] T το τελευταίο διάνυσµα του ανακατασκευασµένου χώρου καταστάσεων, τότε χρειαζόµαστε τα k κοντινότερα διανύσµατα { x N(1),..., x N(k) } του x N στον ανακατασκευασµένο χώρο καταστάσεων R m. Από αυτά εκτιµούµε το ˆx N+1 ως συνάρτηση των σηµείων που ϐρίσκονται 1 χρονικό ϐήµατα µπροστά από τους k κοντινότερους γείτονες. Στο σχήµα (2.1) αναπαριστώνται οι κοντινότεροι γείτονες του χρονικά τελευταίου (ανακατασκευασµένου) σηµείου και οι συνέχειες τους, στην χρονοσειρά αλλά και στον ανακατασκευασµένο χώρο. Εχοντας τις εικόνες των γειτόνων και το σηµείο x N του οποίου την πρόβλεψη ϑέλουµε, τρεις είναι οι πιο προφανείς τρόποι για την πρόβλεψη T χρονικά ϐήµατα µπροστά ˆx N+T : η πρόβλεψη µηδενικής τάξης (Local Zero Prediction, LZP), όπου χρησιµοποιούµε απλά τον κοντινότερο γείτονα και την εικόνα του T χρονικά ϐήµατα µπροστά, η συνέχεια της χρονοσειράς είναι η ίδια η εικόνα του κοντινότερου γείτονα, δηλαδή ˆx N+T = x N(1)+T, (2.11) η τοπική πρόβλεψη µέσου όρου (Local Average Prediction, LAP), όπου κάνουµε χρήση όλων των γειτόνων και λαµβάνουµε σαν συνέχεια το µέσο όρο των απεικονίσεων τους ˆx N+T = k i=1 x N(i)+T k (2.12) όπου x N(i)+T το σηµείο της χρονοσειράς που ϐρίσκεται T χρονικά ϐήµατα µπροστά από τον i-οστό κοντινότερο γείτονα του σηµείου x N. η πρόβλεψη µε το τοπικό γραµµικό µοντέλο (Local Linear Prediction, LLP) ορίζει την πρόβλεψη σαν γραµµικό συνδυασµό των τελευταίων m σηµείων ˆx N+T = m i=1 ϕ N+T i x N (m i)τ (2.13) 17

µε τις παράµετρος {ϕ1 N+T,..., ϕ N+T m } να εκτιµώνται για κάθε χρονική στιγµή που ϑέλουµε να κάνουµε την πρόβλεψη. Το µοντέλο αυτό µοιάζει µε τον σκελετό ενός AR(m) µοντέλου, χωρίς τον λευκό ϑόρυβο. Η ϐασική διαφορά είναι ότι για τον ορισµό των συντελεστών ϕ N+T i χρησιµοποιούνται µόνο οι k κοντινότεροι γείτονες x N(k) και οι εικόνες τους T ϐήµατα εµπρός x N(k)+T. Μια σηµαντική παρατήρηση είναι ότι τα µοντέλα LZP και LAP είναι πάντα περατωµένα επειδή προβάλλουν δεδοµένα από την χρονοσειρά, είτε τα ίδια τα δεδοµένα, είτε µέσο όρο από αυτά, σε αντίθεση µε το LLP το οποίο µπορεί να δώσει λύσεις έξω από τα µέχρι στιγµής όρια της χρονοσειράς, επειδή χρησιµοποιεί τα δεδοµένα της χρονοσειράς για να κατασκευάσει ένα γραµµικό µοντέλο του οποίου η τιµή που ϑα δώσει δεν είναι απαραίτητο να κινείται µέσα στα όρια της χρονοσειράς. 2.2.1 Το τοπικό γραµµικό µοντέλο Θεωρούµε ότι έχουµε µια ϐαθµωτή χρονοσειρά x i = x(iτ s ) µε i = 1,..., N και τ s το χρόνο δειγµατοληψίας (για απεικονίσεις έχουµε τ s = 1). Ανακατασκευάζοµαι την χρονοσειρά µε την µέθοδο των υστερήσεων, και τα δεδοµένα µας αναπαρίστανται στον m-διάστατο πλέον χώρο από τα διανύσµατα : x i = [x i (m 1)τ, x i (m 2)τ,..., x i ] T, για i = 1 + (m 1)τ,..., N (2.14) όπου m είναι η διάσταση εµβύθισης, τ είναι η χρονική υστέρηση σε µονάδες τ s. Αν έχουµε ένα υποσύνολο T από την εξίσωση (2.14), το οποίο ονοµάζουµε σύνολο εκµάθησης και χρησιµοποιείται για να εκπαιδευτεί το µοντέλο µας, και ένα σηµείο αναφοράς (target point) x t που δεν ανήκει στο T του οποίου τη συνέχεια ϑέλουµε να εκτιµήσουµε, τότε µια γραµµική τοπική πρόβλεψη στο σηµείο x t+t επιτυγχάνεται µε τον τρόπο που ακολουθεί. Εστω επίσης x t(1),..., x t(k) οι k κοντινότεροι γείτονες του x t στο T, οι οποίοι είναι κατά αύξουσα σειρά απόστασης από το σηµείο αναφοράς. Πρέπει ο αριθµός των γειτόνων να είναι µεγαλύτερος από τη διάσταση m των σηµείων για να έχουµε λύση για το τοπικό γραµµικό µοντέλο. Πρέπει δηλαδή να ισχύει k > m στη γραµµική παλινδρόµηση. Το τοπικό γραµµικό µοντέλο ϐασίζεται στις κεντραρισµένες εκδοχές των πινάκων X = ( x 1,..., x k ) T R k,m και ỹ = (x t(1)+t,..., x t(k)+t ) T R k. Εστω επίσης x η στήλη των µέσων τιµών από τις m στήλες του X και y ο µέσος των στοιχείων του ỹ. X = X 1x T, y = ỹ 1y. x t = x t x, y t = x t+t y. όπου 1 είναι ένα διάνυσµα µονάδων, µε διαστάσεις k 1, x t το σηµείο αναφοράς και y t η κεντραρισµένη απόκριση. Στη συνέχεια υποθέτουµε το ακόλουθο µοντέλο : y = Xb + ɛ (2.15) µε b ένα διάνυσµα m αγνώστων, και ɛ ένα τυχαίο σφάλµα µε µέση τιµή E{ɛ} = 0 και διασπορά V ar{ɛ} = σ 2 I, όπου I ένας k k µοναδιαίος πίνακας. 18

2.2.2 Εκτίµηση της απεικόνισης του γραµµικού µοντέλου & κανονικοποίηση (Regularization) τοπικών γραµµικών µοντέλων Για την επίλυση του συστήµατος (2.15) ϑα χρησιµοποιήσουµε την ανάλυση SVD (Singular Value Decomposition) του X R k,m που ορίζεται ως : X = UΣV T, U T U = I, V T V = I, Σ = diag(σ 1,..., σ r ), (2.16) όπου r min(k, m) είναι ο ϐαθµός του X και σ 1 σ 2... σ r είναι οι µη-µηδενικές ιδιάζουσες (singular) τιµές του X. Ο αριθµός των στηλών για τους πίνακες U και V εκτείνεται στους r-διάστατους χώρους R(X) R k και R(X T ) R m αντίστοιχα. Η πρόβλεψη για το y t ορίζεται ως ŷ t = x t Tˆb, όπου το ˆb είναι µια εκτίµηση του b. Από τη σχέση (2.15) µπορούµε να ϐρούµε µια εκτίµηση µέσω του ψευδό-αντίστροφου του X. Θεωρούµε µια γενική προσέγγιση για τον ψευδό-αντίστροφο του X εµπλέκοντας και ένα διαγώνιο πίνακα Λ = diag(λ 1,..., λ r ). Η εκτίµηση για το b, χρησιµοποιώντας τη µέθοδο SVD, εκφράζεται µε την ακόλουθη µορφή : r ˆb = V Σ 1 ΛU T λ i y = (u T i y)v i (2.17) σ i Τα εσωτερικά γινόµενα (u T i y) συνήθως αναφέρονται ως συντελεστές Fourier του y. Οι µέθοδοι που χρησιµοποιούν αυτή τη µέθοδο διαφέρουν ουσιαστικά µόνο στην επιλογή των στοιχείων της διαγώνιου το πίνακα Λ, που ονοµάζονται παράγοντες ϕιλτραρίσµατος (filter factors). Κάθε λ i καθορίζει τη συνεισφορά κάθε ιδιάζουσας διεύθυνσης, συρρικνώνοντας ή τεντώνοντάς την, όταν 0 λ i 1 και λ i > 1 αντίστοιχα. Η πιο απλή µέθοδος είναι αυτή των Κανονικών Ελαχίστων Τετραγώνων (Ordinary Least Squares, OLS), όπου ισχύει για τους παράγοντες ϕιλτραρίσµατος : i=1 λ i = 1, i = 1,..., r. (2.18) Μια από τις µεθόδους που ϑα χρησιµοποιήσουµε στην παρούσα εργασία είναι η παλινδρόµηση κύριων συνιστωσών (Principal Component Regression, PCR) και χρησιµοποιεί έναν υποχώρο του R(X) που περιέχει µόνο τις πρώτες q < r ιδιάζουσες διευθύνσεις. λ i = 1, για i = 1,..., q λ j = 0, για j = q + 1,..., r. (2.19) Η παράµετρος q ονοµάζεται παράµετρος αποκοπής (truncation parameter). Οταν q = m, τότε ϕυσικά έχουµε τη µέθοδο OLS που περιγράψαµε λίγο νωρίτερα. Σαν σύµ- ϐαση, στην παρούσα εργασία όταν έχουµε q = 0, τότε ουσιαστικά εννοείται η τοπική πρόβλεψη του µέσου όρου των απεικονίσεων, που περιγράψαµε στην εξίσωση (2.12) του προηγούµενου κεφαλαίου, ενώ αν χρησιµοποιήσουµε ένα γείτονα λαµβάνουµε την τοπική πρόβλεψη µηδενικής τάξης. Στη συνέχεια το q ϑα δηλώνει το τοπικό µοντέλο ως εξής : Για q = 0 έχουµε το τοπικό µοντέλο µέσου όρου, όπου ανάλογα µε τον αριθµό k των γειτόνων µπορεί να ορίσει και το τοπικό µοντέλο µηδενικής τάξης. Για 0 < q < m γίνεται πρόβλεψη µε τη µέθοδο PCR ενώ για q = m γίνεται χρήση της µεθόδου OLS όπως αναφέρεται και πιο πάνω. 19

2.3 Ποιότητα πρόβλεψης εδοµένης µιας χρονοσειράς {x 1,..., x N }, η αξιολόγηση της απόδοσης των µοντέλων πρόβλεψης γίνεται χωρίζοντας την χρονοσειρά σε δυο ανεξάρτητα κοµµάτια (σχήµα 2.2). Τα κοµµάτια αυτά είναι το σύνολο εκµάθησης (training set), που αντιστοιχεί στο κοµµάτι {x 1,..., x n } και δρα ως σύνολο αναφοράς στο τοπικό µοντέλο, λαµβάνοντας από εκεί τους γείτονες του εκάστοτε σηµείου αναφοράς, το σύνολο ελέγχου (test set), που αντιστοιχεί στο κοµµάτι {x n+1,..., x N } και χρησιµεύει στην εκτίµηση της ποιότητας του µοντέλου παρέχοντας τα σηµεία αναφοράς για τον υπολογισµό του σφάλµατος της πρόβλεψης. Τα δυο σύνολα δεν είναι απαραίτητο να έχουν το ίδιο µέγεθος. Σχήµα 2.2: Χρονοσειρά χωρισµένη σε σύνολο εκµάθησης και σύνολο ελέγχου Για να ποσοτικοποιήσουµε την ποιότητα της πρόβλεψης, υπάρχουν αρκετά στατιστικά µέτρα που χαρακτηρίζουν το σφάλµα ή την αστοχία της πρόβλεψης που έχουµε εκτιµήσει για T ϐήµατα µπροστά, σε σχέση µε τις πραγµατικές τιµές. Στις σχέσεις που ακολουθούν, οι συµβολισµοί που χρησιµοποιούµε ορίζονται ως εξής : x είναι ο µέσος της χρονοσειράς, το x t+t (για t = n + 1,..., N T ) είναι οι πραγµατικές τιµές του συνόλου ελέγχου και ˆx t+t (επίσης για t = n + 1,..., N T ) είναι οι προβλέψεις που έχουµε πραγµατοποιήσει. Το µέσο απόλυτο σφάλµα (Mean Absolute Percentage Error, MAPE) για την πρόβλεψη T τα χρονικά ϐήµατα εµπρός ˆx t+t, ορίζεται ως MAP E(T ) = 1 N T n N T i=n+1 ˆx t+t x t+t x t+t. (2.20) Οπως είναι λογικό, στις ιδανικές προβλέψεις το σφάλµα είναι ίσο µε το µηδέν. Παρόµοια ορίζεται και το µέσο σφάλµα (Mean Percentage Error, MPE) σαν το προση- µασµένο µέτρο MP E(T ) = 1 N T n N T i=n+1 ˆx t+t x t+t x t+t, (2.21) και χρησιµοποιείται για να δίνει µια εικόνα για το συστηµατικό σφάλµα της πρόβλεψης. 20

Συχνά στην περίπτωση της πρόβλεψης για χρονοσειρές χρησιµοποιούνται µέτρα όπως το µέσο τετραγωνικό σφάλµα (MSE), το κανονικοποιηµένο µέσο τετραγωνικό σφάλµα (NMSE) ή η ϱίζα του µέσου τετραγωνικού σφάλµατος (RMSE) MSE(T ) = 1 N T n 1 NMSE(T ) = N T n RMSE(T ) = 1 N T n N T i=n+1 N T i=n+1 N T i=n+1 (ˆx t+t x t+t ) 2, (2.22) (ˆx t+t x t+t ) 2 (x i x) 2, (2.23) (ˆx t+t x t+t ) 2. (2.24) Στη εργασία µας χρησιµοποιούµε την ϱίζα του κανονικοποιηµένου µέσου τετραγωνικού σφάλµατος (Normalized Root Mean Square Error, NRMSE): N T i=n+1 (x t+t ˆx t+t ) 2 NRMSE(T ) = 1 N T n 1 N N i=1 (x i x) 2. (2.25) Για ιδανική πρόβλεψη η τιµή είναι ϕυσικά µηδέν, ενώ µια τιµή του NRMSE κοντά στη µονάδα σηµαίνει ότι η πρόβλεψη είναι τόσο καλή όσο και η πρόβλεψη µε τη µέση τιµή, η οποία σε στάσιµες χρονοσειρές αποτελεί την καλύτερη επιλογή για ασυσχέτιστα δεδοµένα. 2.4 Πρόβλεψη πολλών ϐηµάτων 2.4.1 Αµεση & επαναληπτική µέθοδος Αν έχουµε µια χρονοσειρά {x 1,..., x N } µπορούµε να προβλέψουµε ένα ϐήµα µπροστά, όπως ορίστηκε στις προηγούµενες παραγράφους, λαµβάνοντας το ˆx N+1. Για να εκτι- µήσουµε την πρόβλεψη δυο χρονικές µονάδες µπροστά, το ˆx N+2 υπάρχουν δύο προφανείς επιλογές : η άµεση µέθοδος πρόβλεψης, όπου ακολουθούµε την ίδια διαδικασία, αλλά για χρόνο πρόβλεψης αυτήν την ϕορά T = 2 και η επαναληπτική µέθοδος πρόβλεψης, που χρησιµοποιούµε την πρόβλεψη που έχου- µε ήδη κάνει, την ˆx N+1, και επαναλαµβάνουµε την πρόβλεψη πάλι για µια χρονική µονάδα µπροστά, στην χρονοσειρά {x 1,..., x N, ˆx N+1 }. Αρκετή συζήτηση έχει γίνει για το ποια µέθοδος από τις δυο είναι καλύτερη. Η άµεση πρόβλεψη αποκλίνει σε ϱυθµούς που σχετίζονται µε την πολυπλοκότητα της χρονοσειράς και δε µπορεί να έχει ένα σχετικά µεγάλο ορίζοντα πρόβλεψης. Από την άλλη πλευρά, η επαναληπτική µέθοδος µε τις επαναλαµβανόµενες προβλέψεις που κάνει, συσσωρεύει σφάλµατα και µπορεί να ειπωθεί ότι στηρίζεται πάνω σε εσφαλµένα δεδοµένα. Οι Farmer and Sidorowich [11], Casdagli [6], McNames [33] για παράδειγµα υποστηρίζουν ότι 21

η επαναληπτική µέθοδος υπερτερεί, παρόλο που σύµφωνα µε τους Weigend and Gershenfeld [42], αυτό δε συµβαίνει πάντα, ακόµα και κάτω υπό ιδανικές συνθήκες δεν είναι απόλυτα ευδιάκριτο. Παρόλα αυτά, είναι γεγονός ότι η επαναληπτική µέθοδος είναι πιο χρονοβόρα, καθώς πρέπει να γίνει εισαγωγή του νέου σηµείου στην χρονοσειρά και να ξαναϋπολογιστούν οι αποστάσεις µε αυτό το σηµείο [23]. Μεγάλο ϱόλο για το χρόνο υπολογισµού έχουν οι δοµές δεδοµένων που χρησιµοποιούνται και η υπολογιστική πολυπλοκότητα για την εισαγωγή ενός νέου στοιχείου στη δοµή που έχει ο αντίστοιχος αλγόριθµος. Σε κάθε περίπτωση πάντως, είναι πιο χρονοβόρα από την χρήση της ίδιας δοµής χωρίς την εισαγωγή, όπου αν n το µέγεθος του συνόλου ελέγχου και T ο χρόνος πρόβλεψης, τότε χρειάζονται n T εισαγωγές και επαναϋπολογισµοί γειτόνων. Αυτές τις λειτουργίες η άµεση µέθοδος δεν τις χρειάζεται. Στην παρούσα εργασία χρησιµοποιούµε την άµεση µέθοδο για την ευκολία που έχει στην υλοποίηση, αλλά κυρίως διότι είναι αισθητά πιο γρήγορη από την επαναληπτική. 2.4.2 Παράµετροι τοπικής πρόβλεψης Οι Farmer and Sidorowich [11] πρότειναν το 1987 έναν εµπειρικό τύπο για το σφάλ- µα στην τοπική πρόβλεψη όπου, ενώ δεν αντικατοπτρίζει πλήρως την πρόβλεψη, έχει ένα νόηµα να αναφερθεί ως µια ποιοτική προσέγγιση. Ο εµπειρικός τύπος για την απροσδιο- ϱιστίας E της πρόβλεψης που δόθηκε είναι E Ce (m+1)λ 1T N (m+1) D (2.26) όπου C είναι µια σταθερά, m είναι η διάσταση εµβύθισης, T ο χρόνος πρόβλεψης, N το µέγεθος της χρονοσειράς, D η µορφοκλασµατική διάσταση του ελκυστή και λ 1 ο µέγιστος εκθέτης Lyapunov. Ο τύπος προσαρµόστηκε ικανοποιητικά στις προσοµοιώσεις που πραγµατοποίησαν [11]. Με µια ποιοτική ανάγνωση του τύπου (2.26) παρατηρούµε ότι η απροσδιοριστία αυξάνει εκθετικά µε την πολυπλοκότητα του συστήµατος, το µέγιστο εκθέτη Lyapunov λ 1 και τη µορφοκλασµατική διάσταση D του ελκυστή. Ο µέγιστος εκθέτης Lyapunov πολλαπλασιασµένος µε τον χρόνο πρόβλεψης αυξάνει εκθετικά το σφάλµα και το ίδιο κάνει ο εκθέτης 1/D του µεγέθους N της χρονοσειράς. Ποιοτικά σηµαίνει ότι οι µεγαλύτερες χρονοσειρές δίνουν ποιοτικά καλύτερες προβλέψεις, αλλά για να ϱίξουµε το σφάλµα της πρόβλεψης στο µισό, η χρονοσειρά ϑα πρέπει να είναι 2 D ϕορές µεγαλύτερη. Στο σχήµα (2.3) απεικονίζεται το κανονικοποιηµένο σφάλµα συναρτήσει του χρόνου πρόβλεψης T για το σύστηµα του Henon και τη λογιστική απεικόνιση µε µοντέλα µηδενικής και πρώτης τάξης [11]. Ο αριθµός k των κοντινότερων γειτόνων είναι από τις πιο σηµαντικές παραµέτρους που ορίζουµε. Στην ακραία περίπτωση του ενός γείτονα (k = 1), το τοπικό µοντέλο απλά αναπαράγει τον εκάστοτε γείτονα, ενώ στην περίπτωση του πολύ µεγάλου αριθµού γειτόνων έχει ως αποτέλεσµα ένα πολύ απλό καθολικό µοντέλο. Στις περισσότερες περιπτώσεις για καλύτερα αποτελέσµατα χρησιµοποιείται η τεχνική αλλαγής µετρικής, όπου αλλάζουν τη µετρική της απόστασης για της κάθε διάσταση, άρα οι κοντινότεροι γείτονες διαφέρουν σε σχέση µε την ευκλείδεια απόσταση. Άλλη µια τεχνική είναι να σταθµίζεται ο κάθε γείτονας ανάλογα µε την εγγύτητά του [31, 32, 33, 34]. Οσον αφορά την τάξη του µοντέλου, αν έχουµε δηλαδή να κάνουµε µε τοπική πρό- ϐλεψη µέσου όρου ή πρόβλεψη µε τοπικό γραµµικό µοντέλο (είτε κανονικοποιήσουµε το 22

Σχήµα 2.3 γραµµικό µοντέλο, όπως π.χ. µε τη χρήση της τεχνικής Principal Component Regression), κανένα µοντέλο δεν είναι καλύτερο σε όλες τις περιπτώσεις αλλά κάθε ένα έχει τα δυνατά και τα αδύνατα του σηµεία. Οπως υποδείξαµε στην παράγραφο (2.2), η πρόβλεψη µε µοντέλο τοπικού µέσου όρου περιορίζεται από το εύρος που έχουν οι απεικονίσεις των γειτόνων, οι οποίοι επειδή ανήκουν στην χρονοσειρά, η πρόβλεψη δεν πρόκειται να ξεφύγει από τα όριά της. Τα γραµµικά µοντέλα δεν παρέχουν αυτήν την εγγύηση και µπορεί να δώσουν τιµές έξω από αυτά τα όρια. Γενικά τα τοπικά γραµµικά µοντέλα αποδίδουν καλύτερα αποτελέσµατα, ειδικά όταν εφαρµοστεί σε αυτά κάποια µέθοδος κανονικοποίησης και η χρονοσειρά δεν περιέχει, ή περιέχει λίγο, ϑόρυβο. Αν υπάρχει αρκετός ϑόρυβος, τότε τις περισσότερες ϕορές τα µοντέλα µέσου όρου δίνουν καλύτερα αποτελέσµατα [33]. Ο ϑόρυβος είναι ακόµα µια παράµετρος που πρέπει να λάβουµε υπόψιν µας όταν µιλάµε για πρόβλεψη χαοτικών χρονοσειρών. Ο ϑόρυβος για τον οποίο αναφερόµαστε σε αυτήν την περίπτωση είναι ο ϑόρυβος παρατήρησης και για τον οποίο η πλειοψηφία των ερευνών που γίνονται επιχειρεί να τον αφαιρέσει µε διάφορες τεχνικές [12, 7, 10]. Σε γενικές γραµµές ο ϑόρυβος επηρεάζει την ανακατασκευή άρα και τις γειτνιάσεις µεταξύ των σηµείων. Στην τοπική πρόβλεψη σε συνδυασµό µε µικρό αριθµό γειτόνων µπορεί να αποτελέσει τον κύριο λόγο για την αστοχία της εκτίµησης, διότι εκτός από την απροσδιο- ϱιστία που ϕέρει το σηµείο αναφοράς, απροσδιοριστία έχουν και οι κοντινότεροι γείτονες που είναι δυνατόν να µην είναι όντως κοντά αν η ανακατασκευή γινόταν χωρίς ϑόρυβο. Σε αυτήν την περίπτωση για µια καλύτερη και πιο σταθερή πρόβλεψη πρέπει να λαµβάνεται µεγάλος αριθµός κοντινότερων γειτόνων. Άλλη µια παράµετρος που αξίζει να αναφερθεί, είναι ο χρόνος δειγµατοληψίας τ s. Μικρός χρόνος δειγµατοληψίας, άρα και πιο πυκνή τροχιά συχνά απλά εισάγει πε- ϱισσότερα δεδοµένα χωρίς όµως να προσθέτει περισσότερη πληροφορία. Στις ϱοές όπου η χρονοσειρά ϑεωρείται συνεχής, οι κοντινότεροι γείτονες µπορεί να ανήκουν στην ίδια τροχιά (Σχήµα (2.4) [34]) και οι προβολές τους να µη δίνουν περισσότερη πληροφορία από αυτήν που ϑα δινόταν στην περίπτωση που αναφερόταν σε διαφορετικές τροχιές αν 23

Σχήµα 2.4 επιλεγόταν κοντινότερα τµήµατα τροχιάς [11, 34]. Για αυτήν την περίπτωση είναι δυνατό να τροποποιηθούν οι γνωστοί αλγόριθµοι εύρεσης κοντινότερων γειτόνων για να παρέχουν την επιθυµητή έξοδο. Για τον προσδιορισµό των παραµέτρων ανακατασκευής έχουν προταθεί διάφορες µέ- ϑοδοι, µερικές από αυτές τις είδαµε σε προηγούµενο κεφάλαιο. Η διάσταση m του ανακατασκευασµένου χώρου καταστάσεων πρέπει να είναι ικανοποιητικά µεγάλη έτσι ώστε ο ανακατασκευασµένος ελκυστής να ξεδιπλώνεται πλήρως και να µην παρουσιάζει αυτοτοµές (intersections). Σε αυτήν την περίπτωση πρέπει να ισχύει η συνθήκη m 2D + 1. Οπως έχει αναφερθεί, τιµές µικρότερες από αυτήν είναι πρακτικά εφικτές, ενώ η επιλογή µεγάλου m δεν είναι πρόβληµα αρχής, αλλά είναι σίγουρο ότι ϑα οδηγήσει σε υπολογιστικό ϐάρος µεγαλύτερο από ότι είναι απαραίτητο, και πιθανότατα σε µια λιγότερο ακριβή πρόβλεψη [26, 28]. Σε συνδυασµό µε τον ορισµό της διάστασης εµβύθισης µπορεί να οριστεί το χρονικό παράθυρο t w = (m 1)τ, το οποίο καθορίζει το ποσό της πληροφορίας που περνάει από την χρονοσειρά στα εµβυθισµένα διανύσµατα και έχει προταθεί ως µια ανεξάρτητη παράµετρος [24]. Οπως ϑα δείξουµε στη συνέχεια, η κύρια παράµετρος που ϑα πρέπει να οριστεί πρώτη είναι όντως το χρονικό παράθυρο, αφού οι προβλέψεις ανάµεσα σε ίδια χρονικά παράθυρα είναι ποιοτικά ίδιες. 24

Κεφάλαιο 3 Προσοµοιώσεις Σκοπός µας είναι να µπορέσουµε να αποκτήσουµε µια σαφή εικόνα για τον ϱόλο που έχουν οι παράµετροι ανακατασκευής και κυρίως το χρονικό παράθυρο t w στην πρόβλεψη µε τοπικά µοντέλα. Για να το πετύχουµε εξετάζουµε την τοπική πρόβλεψη µε ένα πλήθος από διαφορετικούς συνδυασµούς παραµέτρων σε τρία χαοτικά συστήµατα, την απεικόνιση Hénon, το σύστηµα του Lorenz και την διαφορική εξίσωση µε υστέρηση των Mackey-Glass, τα οποία παρουσιάζουµε στην αρχή αυτού του κεφαλαίου και εξετάζουµε τα χαρακτηριστικά τους µέτρα που είδαµε στο πρώτο κεφάλαιο. Η αντίληψη που κυριαρχεί διαισθητικά µέχρι στιγµής όσον αφορά αυτό το πρόβληµα, είναι ότι ϑα πρέπει να υπάρχει κάποιος ϐέλτιστος συνδυασµός των παραµέτρων κατασκευής, µια ϐέλτιστη ανακατασκευή, που να δίνει τα καλύτερα αποτελέσµατα όσο µακρυά κι αν προβλέψουµε. ιαφορετικά, αν δεν υπάρχει µια ϐέλτιστη ανακατασκευή, όσο µεγαλώνει µια παράµετρος ανακατασκευής, είτε αυτή είναι η διάσταση εµβύθισης είτε το χρονικό παράθυρο, τόσο καλύτερη πρόβλεψη ϑα εκτιµούµε. Τα αποτελέσµατα που πα- ϱουσιάζουµε δεν είναι σύµφωνα µε αυτήν την αντίληψη, αλλά δείχνουν ότι οι ϐέλτιστες ανακατασκευές µεταβάλλονται µε τον χρόνο πρόβλεψης. 3.1 Χρονοσειρές από χαοτικά συστήµατα 3.1.1 Απεικόνιση Hénon Η απεικόνιση του Hénon [20] είναι ένα από τα πιο πολυµελετηµένα παραδείγµατα δυναµικών συστηµάτων που παρουσιάζουν χαοτική συµπεριφορά. Η απεικόνιση δίδεται από τις σχέσεις (3.1) x n+1 = 1 ax 2 n + y n, y n+1 = bx n. (3.1) Για χαοτική συµπεριφορά συνήθως επιλέγονται οι τιµές των παραµέτρων a = 1.4 και b = 0.3. Στον πίνακα (3.1) 1 αναφέρονται κάποια από τα χαρακτηριστικά µέτρα της απεικόνισης. 1 Οι τιµές στους πίνακες έχουν υπολογιστεί από τις αναφορές που αναγράφονται. Οι τιµές χωρίς αναφορά έχουν υπολογιστεί από τον γράφοντα. Εργασίες που παρουσιάζουν το υπόβαθρο αλλά και τρόπους υπολογισµού έχουν δηµοσιευτεί από τους Grassberger P. [17], Grassberger P.a b [18], Wolf A. [43], Brown et al. [5], Gao and Zheng [14], Russell et al. [39], Ding M. [9], Kennel et al. [22] 25

Παράµετρος Τιµή ν 1.25 ± 0.02 [18] D 1.26 [18] λ 1 0.408 ± 0.03 λ 2 1.62 ± 0.06 [5] F NN 8 τ=1 [5, 17] Πίνακας 3.1: Χαρακτηριστικά µέτρα της απεικόνισης του Henon (α ) Η χρονική εξέλιξη του συστήµατος (3.1) (ϐ ) Ο παράξενος ελκυστής του Henon. Σχήµα 3.1: Το σύστηµα Henon Η απεικόνιση του Hénon, της οποίας ένα τµήµα από την εξέλιξη της χρονοσειρά του x n ϕαίνεται στο σχήµα (3.1α ), είναι ένα χαµηλοδιάστατο δυναµικό σύστηµα διακριτού χρόνου, µε διάσταση λίγο µεγαλύτερη από την µονάδα όπως δείχνει το ϕασικό πορτραίτο (3.1β ) καθώς και τα µέτρα διάστασης στον Πίνακα (3.1). Μια µεγέθυνση γύρω από την περιοχή [0.315, 0.200] κάνει πιο καθαρό ότι ο ελκυστής δεν είναι ακριβώς γραµµή (Σχήµα 3.2). 26

Σχήµα 3.2: Λεπτοµέρεια από τον παράξενο ελκυστή. Στο σχήµα (3.3) παραθέτουµε την αυτοσυσχέτιση και την αµοιβαία πληροφορία. Η αυτοσυσχέτιση, όπως συµβαίνει στις απεικονίσεις, έχει πολύ έντονες αλλαγές σε γειτονικές υστερήσεις, όπως για παράδειγµα η πρώτη και η δεύτερη υστέρηση. Το πλάτος της αυτοσυσχέτισης, αλλά και της αµοιβαίας πληροφορίας µειώνεται καθώς αυξάνει η υστέ- ϱηση που σηµαίνει ότι µετά από περίπου 15 χρονικά ϐήµατα η χρονοσειρά χάνει την µνήµη της. (α ) Αυτοσυσχέτιση (ϐ ) Αµοιβαία πληροφορία Σχήµα 3.3: Αυτοσυσχέτιση & αµοιβαία πληροφορία Hénon Επιλέγοντας την τιµή της υστέρησης τ = 1, τιµή που λαµβάνουµε πάντα για τις απεικονίσεις, υπολογίζουµε την διάσταση εµβύθισης m µε την µέθοδο των ψευδών κοντι- 27

νότερων γειτόνων και σύµφωνα µε το κριτήριο του 1% λαµβάνουµε την τιµή m = 2 (σχήµα (3.4)). Σχήµα 3.4: Ποσοστό ψευδών κοντινότερων γειτόνων για την χρονοσειρά του Henon. Στο σχήµα (3.5α ) και (3.5β ) έχουµε τις διδιάστατες ανακατασκευές για τ = 1 και τ = 2 αντίστοιχα. Λόγω της µορφής της εξίσωσης (3.1) τα σχήµατα (3.1β ) και (3.5α ) είναι ίδια, όπου yn x n 1 = b. Σε αυτά τα διαγράµµατα µπορούµε να διακρίνουµε δοµή, όπως και στις αντίστοιχες τρισδιάστατες ανακατασκευές των σχηµάτων (3.6α ) και (3.6β ) µε τις ίδιες υστερήσεις. (α ) m = 2, τ = 1 (ϐ ) m = 2, τ = 2 Σχήµα 3.5: Το ανακατασκευασµένο σύστηµα Hénon για m = 2 28

(α ) m = 3, τ = 1 (ϐ ) m = 3, τ = 2 Σχήµα 3.6: Το ανακατασκευασµένο σύστηµα Hénon για m = 3 3.1.2 Σύστηµα Lorenz Το σύστηµα του Lorenz [29] περιγράφει τη µεταφορά Rayleigh-Benard που απορρέει από µια διδιάστατη εξίσωση Navier-Stokes. Σχηµατίζεται από µια υγρή πλάκα πεπε- ϱασµένου πάχους που εκτίθεται σε ϐαρυτική έλξη και σε ϑέρµανση από κάτω ενώ η ϑερµοκρασία είναι σταθερή ανάµεσα στην άνω ψυχρή και κάτω ϑερµή επιφάνεια. Οι εξισώσεις του συστήµατος µπορεί να γραφούν στην µορφή (3.2) : ẋ = σ(y x), ẏ = x(r z) y, ż = xy bz. (3.2) όπου οι αδιάστατες παράµετροι r, σ (αριθµός Rayleigh και Prandtl αντίστοιχα) και b συνηθίζεται να λαµβάνουν τις τιµές r = 28, σ = 10 και b = 8/3 για να δώσουν χαοτική συµπεριφορά. 29

(α ) Η χρονική εξέλιξη x της σχέσης (3.2) (ϐ ) Η χρονική εξέλιξη y της σχέσης (3.2) (γ ) Η χρονική εξέλιξη z της σχέσης (3.2) (δ ) Ο παράξενος ελκυστής του Lorenz. Σχήµα 3.7: Το σύστηµα Lorenz Στο σχήµα (3.7) ϐλέπουµε την εξέλιξη των τριών µεταβλητών της σχέσης (3.2) και την γνωστή πεταλούδα, τον παράξενο ελκυστή του Lorenz. Ο χρόνος δειγµατοληψίας είναι 0.01. Στον πίνακα (3.2) παραθέτουµε τα χαρακτηριστικά µέτρα του συστήµατος. Η διάσταση του ελκυστή είναι 2.06, ελάχιστα πιο πάνω από το 2. 30

Παράµετρος Τιµή ν 2.05 ± 0.01 [18] D 2.06 ± 0.01 [18] λ 1 1.51 [5] λ 2 0.00 [5] λ 3 22.5 [5] τ r(τ)=1/e 31 τ I(τ)=min(I) 17 F NN 4 7 τ=31 F NN 3 7 τ=17 Πίνακας 3.2: Χαρακτηριστικά µέτρα του συστήµατος του Lorenz Η συνάρτηση της αυτοσυσχέτισης ϕθίνει σχετικά αργά και µέχρι την υστέρηση 150 δεν έχει µηδενιστεί ακόµα. εν παρατηρείται κάποια υστέρηση στην οποία να υπάρχει κάποια ισχυρή συσχέτιση και η αυτοσυσχέτιση ϕθάνει στην τιµή 1/e περίπου όταν τ = 31. Η αµοιβαία πληροφορία έχει το πρώτο της ελάχιστο στο τ = 17. Σχήµα 3.8: Αυτοσυσχέτιση και αµοιβαία πληροφορία για την χρονοσειρά της µεταβλητής x του συστήµατος Lorenz 31

(α ) τ = 31 (ϐ ) τ = 17 Σχήµα 3.9: Ποσοστό ψευδών κοντινότερων γειτόνων για την χρονοσειρά x του Lorenz. Η τιµή της υστέρησης τ = 31 δεν µπορεί να δώσει απόλυτα αποτελέσµατα στην µέθοδο των ψευδών κοντινότερων γειτόνων (σχήµα (3.9)), αλλά το ποσοστό ϕθάνει στην τιµή 1.5% στην διάσταση εµβύθισης 4 και δεν πέφτει κάτω από το όριο µέχρι την τιµή 7. Αντίθετα για τ = 17, στο ελάχιστο της αµοιβαίας πληροφορίας που ϑεωρείται πιο έγκυρο µέτρο για τον καθορισµό της υστέρησης, η διάσταση της ανακατασκευής σύµφωνα µε την µέθοδο FNN έχει την τιµή m = 3. Στο σχήµα (3.10) ϐλέπουµε την µορφή που έχουν οι τρεις πρώτες διαστάσεις από τις ανακατασκευές µε παραµέτρους m = 4, τ = 31 και m = 3, τ = 17. (α ) Ανακατασκευή µε m = 4, τ = 31 (ϐ ) Ανακατασκευή µε m = 3, τ = 17 Σχήµα 3.10: Οι ανακατασκευασµένοι ελκυστές από την χρονοσειρά x του συστήµατος Lorenz µε την µέθοδο των υστερήσεων 3.1.3 Εξίσωση Mackey-Glass Η εξίσωση των Mackey-Glass [30] είναι µια µη γραµµική διαφορική εξίσωση µε υ- στέρηση (delay differential equation) που παρουσιάστηκε αρχικά το 1977 για να αντικατοπτρίσει την πολυπλοκότητα που παρουσιάζεται σε δυναµικά συστήµατα ελέγχου που 32

αφορούν την ϕυσιολογία του σώµατος. Οι διαφορικές εξισώσεις µε υστέρηση, όπως και οι µερικές διαφορικές εξισώσεις, είναι απειροδιάστατες, χρειάζονται δηλαδή ένα άπειρο σύνολο σηµείων για µπορέσουν να οριστούν οι αρχικές συνθήκες [26, 28]. Το σύστηµα Mackey-Glass εκφράζεται από τις σχέσεις: dx(t) dt x(t ) = β 1 + x(t ) γx(t), γ, β, n > 0. n (3.3) όπου οι παράµετροι, γ, β και n είναι πραγµατικοί αριθµοί και ανάλογα µε τις τιµές τους, κυρίως της υστέρησης, η διαφορική των Mackey-Glass παρουσιάζει ένα ευρύ ϕάσµα δυναµικής, από περιοδικές τροχιές µέχρι χαοτικές. Στη ϐιβλιογραφία οι τιµές των παραµέτρων της εξίσωσης (3.3) λαµβάνουν τις τιµές n = 10, γ = 0.1 και β = 0.2. Για την υστέρηση, συνηθίζονται οι τιµές = 17, 23, 30 και 100, τιµές που εξετάζει και η παρούσα εργασία εξαιρουµένης της υστέρησης 23. Τα χαρακτηριστικά µέτρα παρουσιάζονται στον πίνακα (3.3). Ως µια γενική εικόνα η πολυπλοκότητα αυξάνεται καθώς αυξάνει η υστέρηση όπως εκφράζεται από τις διαστάσεις ν, D. Μια ακόµα παρατήρηση που οφείλουµε να κάνουµε, είναι η πολύ χαµηλή τιµή, σχεδόν µηδενική, του µέγιστου εκθέτη Lyapunov για = 17. Παρόλα αυτά, το γεγονός ότι ο µέγιστος εκθέτης Lyapunov είναι ϑετικός δεν αφήνει αµφιβολίες για χαοτική τροχιά, στην οποία ϐέβαια οι κοντινές τροχιές δεν αποµακρύνονται τόσο γρήγορα όσο τα συστήµατα που έχουµε δει µέχρι στιγµής. Για την διάσταση ισχύει ότι D 2, δηλαδή οι τροχιές τείνουν να περιορίζονται σε µια πολλαπλότητα διάστασης 2. Αυτή η ιδιότητα της διαφορικής εξίσωσης µε υστέρηση των Mackey-Glass για = 17 µπορεί να µας ϐοηθήσει να έχουµε ακριβείς προβλέψεις για ένα σχετικά µεγάλο χρονικό διάστηµα. Παράµετρος = 17 = 30 = 100 ν 1.95 [17] 3.15 [17] 7.50 [17] D 2.10 ± 0.02 [11] 3.58 ± 0.04 [11] 10.0 [11] λ 1 0.00525 ± 0.0001 [16] - - τ r(τ)=0 12 20 75 τ r(τ)=1/e 9 14 20 τ I(τ)=min(I) 11 19 30 F NN 3 τ=12 4, 5 τ=20 5 τ=20 F NN 3 τ=11 4 τ=19 5 τ=30 Πίνακας 3.3: Χαρακτηριστικά µέτρα του συστήµατος Mackey-Glass 33

(α ) = 17 (ϐ ) = 30 (γ ) = 100 Σχήµα 3.11: Χρονική εξέλιξη Mackey-Glass Στα σχήµατα (3.11) απεικονίζονται τµήµατα από τις χρονοσειρές που εξετάζουµε. Για την χρονοσειρά µε υστέρηση = 17, αν κρίνουµε οπτικά, ϑα δούµε ότι υπάρχει µια έντονη περιοδικότητα. Η περιοδικότητα αυτή διατηρείται σε κάποιο ϐαθµό και για = 30, όχι όµως τόσο οµοιόµορφα όπως για την µικρότερη υστέρηση. Οσον αφορά την υστέρηση = 100 δεν µπορούµε να διακρίνουµε µια περίοδο αλλά περισσότερο µια άτακτη συµπεριφορά. Γενικά οι περιπτώσεις που εξετάζουµε από το σύστηµα Mackey-Glass παρουσιάζουν ισχυρές αυτοσυσχετίσεις. Αυτό ϕαίνεται και στα αντίστοιχα διαγράµµατα της αυτοσυσχετίσεις και της αµοιβαίας πληροφορίας ((3.12) και (3.13) αντίστοιχα). Για την περίπτωση = 17 µπορούµε πλέον µε ασφάλεια να πούµε ότι είναι πολύ κοντά σε µια περιοδική τροχιά. Εντονη είναι και η αυτοσυσχέτιση για = 30, αλλά ϕθίνει αισθητά καθώς αυξάνει ο χρόνος υστέρησης. Ιδιαίτερο ενδιαφέρον έχει η περίπτωση = 100, όπου η διάστασή του είναι πολύ µεγάλη (έχει εκτιµηθεί 7-10) και έχει πολύ ισχυρές αυτοσυσχετίσεις, αλλά σε συγκεκριµένους χρόνους (σχήµα (3.13γ )), ενώ σύµφωνα µε την αµοιβαία πληροφορία έξω από αυτούς η αυτοσυσχέτιση είναι πρακτικά 0. (α ) = 17 (ϐ ) = 30 (γ ) = 100 Σχήµα 3.12: Αυτοσυσχέτιση Mackey-Glass 34

(α ) = 17 (ϐ ) = 30 (γ ) = 100 Σχήµα 3.13: Αµοιβαία πληροφορία Mackey-Glass (α ) = 17, τ = 12 (ϐ ) = 30, τ = 20 (γ ) = 100, τ = 20 (δ ) = 17, τ = 11 (ε ) = 30, τ = 19 (ϝ ) = 100, τ = 30 Σχήµα 3.14: Ποσοστό ψευδών κοντινότερων γειτόνων για τις χρονοσειρές Mackey-Glass. Με ϐάση το πότε η αυτοσυσχέτιση µηδενίζεται ή ϕτάνει στην τιµή 1/e και την τιµή της υστέρησης που η αµοιβαία πληροφορία έχει το πρώτο της ελάχιστο, υπολογίζουµε ποια ϑα είναι η ϐέλτιστη διάσταση εµβύθισης m (σχήµατα (3.14)). Στα σχήµατα που ακολουθούν παρουσιάζουµε τις διαφορετικές ανακατασκευές για κάθε που µελετάµε. Η περίπτωση = 17 διατηρεί µια δοµή στον ανακατασκευασµένο χώρο διάστασης 3 στο Σχήµα (3.1.3), όπως διατηρείται σε πολύ µικρότερο ϐαθµό και σε µια 4-διάστατη ανακατασκευή όταν = 30. εν µπορούµε να πούµε το ίδιο για = 100 και m = 5, στα σχήµατα (3.1.3) και (3.1.3) αντίστοιχα. 35

(α ) τ = 11 (ϐ ) τ = 12 Σχήµα 3.15: Το ανακατασκευασµένο σύστηµα Mackey-Glass για = 17 για m = 3 (α ) τ = 19 (ϐ ) τ = 20 Σχήµα 3.16: Το ανακατασκευασµένο σύστηµα Mackey-Glass για = 30 για m = 4 36

(α ) τ = 20 (ϐ ) τ = 30 Σχήµα 3.17: Το ανακατασκευασµένο σύστηµα Mackey-Glass για = 100 για m = 5 37

3.2 Εγκατάσταση προσοµοιώσεων Για να µπορέσουµε να αποκτήσουµε µια όσο το δυνατόν ακριβέστερη εικόνα για τη ση- µασία της κάθε παραµέτρου στην τοπική πρόβλεψη πολλών ϐηµάτων, πραγµατοποιήθηκε µια εκτενής προσοµοιωτική διερεύνηση, που σκοπό έχει να ελαχιστοποιήσει τη µεροληψία που µπορεί να εµφανιστεί αν ληφθεί αποτέλεσµα από µια και µόνο χρονοσειρά. Οι προσοµοιώσεις, που κάθε µια από αυτές προέρχεται από διαφορετικούς συνδυασµούς των παραµέτρων του πίνακα (3.4), εφαρµόστηκαν σε 30 διαφορετικές χρονοσειρές από κάθε σύστηµα και τα αποτελέσµατα που παρουσιάζουµε είναι ο µέσος όρος της ϱίζας του µέσου κανονικοποιηµένου σφάλµατος (NRMSE) από τις 30 αυτές εφαρµογές. Οι τιµές των παραµέτρων που εξετάστηκαν αναφέρονται στον πίνακα (3.5) και οι συνδυασµοί τους δεν είναι όλοι οι δυνατοί, αλλά υπάρχει ικανός αριθµός ώστε να µπορέσουµε να εξάγουµε συµπεράσµατα. Παράµετρος Μέγεθος χρονοσειράς (σύνολο εκµάθησης και σύνολο ελέγχου) Αριθµός γειτόνων Θόρυβος (παρατήρησης) Χρόνος δειγµατοληψίας Παράµετρος αποκοπής Χρόνος υστέρησης ιάσταση εµβύθισης Χρονικό παράθυρο Μέγεθος συνόλου ελέγχου Πλήθος Προσοµοιώσεων Συµβολισµός N k ή nnei noise ή ε τ s q τ m t w N last N simul Πίνακας 3.4: Παράµετροι και συµβολισµοί στα διαγράµµατα που ακολουθούν Παράµετρος Henon Lorenz Mackey-Glass, =17, =30, =100 N 2, 6, 16 10 3 10, 20, 35 10 3 5, 10, 20 10 3 nnei 8, 16, 32 [1-32], 64 8, 10, 12, 16, 20, 32, 64 noise ή ε 0 % 0, 5, 10 % 0, 5, 10% τ s 1 0.01, 0.1 1 q [0-5] [0-8] [0-16] τ [1-8], 12, 24 [1-20], 0.25, 0.50 [1-20], 25, 40, 50, 100 t w [1-9], 12, 16, 24 [1-20] 160 τιµές από 1 µέχρι 380 N last 1000 5000 2500, 5000 N simul 1100 8000 20000 Πίνακας 3.5: Χρονοσειρές, παράµετροι και πλήθος προσοµοιώσεων. Ο χρόνος που χρειάζεται για να ληφθεί το αποτέλεσµα από ένα συνδυασµό παραµέτρων, µια προσοµοίωση δηλαδή, µπορεί να διαρκέσει από ένα λεπτό µέχρι και πάνω από µια ώρα, χρόνος που εξαρτάται από το µέγεθος της χρονοσειράς N, τον αριθµό των γειτόνων k, την διάσταση εµβύθισης m, την παράµετρο αποκοπής του µοντέλου q καθώς και 38

το µέγεθος του συνόλου ελέγχου N last. Τα πιο χρονοβόρα κοµµάτια των προσοµοιώσεων είναι η εύρεση των γειτόνων και η ανάλυση SVD. Για την εύρεση των γειτόνων κάναµε χρήση του αλγορίθµου Approximate Nearest Neighbor µε πολυπλοκότητα O(Nlog 2 N) για την κατασκευή της δοµής και O(N 1 1 m + k) για να ϐρεθούν k σηµεία m-διάστασης κοντά στο επιλεγµένο. Οσον αφορά την υλοποίηση, οι προσοµοιώσεις εκτελέστηκαν στο πρόγραµµα matlab και για την εύρεση κοντινότερων γειτόνων χρησιµοποιήθηκε η εξωτερική ϐιβλιοθήκη ΑΝΝ [3] η οποία είναι υλοποιηµένη σε γλώσσα C. Κάθε διαφορετική προσοµοίωση αποθηκεύτηκε σε δικό της, ξεχωριστό αρχείο, καθιστώντας δυνατή την επιτακτική ανάγκη να εκτελεσθεί ο κώδικας σε όσο το δυνατό περισσότερες υπολογιστικές µονάδες χωρίς να υ- πάρχει ανάγκη για την µεταξύ τους επικοινωνία. Από τα πιο δύσκολα κοµµάτια είναι η διαχείριση του όγκου των αποτελεσµάτων ο οποίος ϕαίνεται στον πίνακα (3.5). Η δυσκολία έγκειται στο πλήθος των παραµέτρων που έχουν οριστεί και στην επιθυµητή οµοιογένεια των διαγραµµάτων που πρέπει να εξαχθούν, αλλά και την απαραίτητη ευελιξία που ϑα πρέπει να υπάρχει στη διαχείρηση των αποτελεσµάτων όταν αυτά είναι σε ξεχωριστά αρχεία. Για αυτόν τον λόγο δηµιουργήθηκε ένα πρόγραµµα στην γλώσσα προγραµµατισµού Python, το οποίο κάνοντας χρήση δεντρικών δοµών, λεξικογραφικών δοµών και συνόλων, µπορεί να αποµονώσει και να εξαγάγει τα απαραίτητα διαγράµµατα, σύµφωνα µε τους απαραίτητους περιορισµούς στις τιµές των παραµέτρων. Το πρόγραµµα παρατίθεται στο παράρτηµα Α. 3.3 Ο ϱόλος των παραµέτρων ανακατασκευής στην πρό- ϐλεψη πολλών ϐηµάτων Στην παρούσα παράγραφο παραθέτουµε και σχολιάζουµε τα αποτελέσµατα των προσοµοιώσεων που σχετίζονται µε τις παραµέτρους ανακατασκευής, το χρονικό παράθυρο t w, το χρόνο υστέρησης τ και τη διάσταση εµβύθισης m. Στα διαγράµµατα που ακολου- ϑούν ο τίτλος του κάθε διαγράµµατος ϕέρει τα χαρακτηριστικά της κάθε προσοµοίωσης. Η ονοµατολογία των µεταβλητών που χρησιµοποιούνται αναφέρονται στον πίνακα (3.4). Στα διαγράµµατα όπου δίνεται το NRMSE(T ), το σφάλµα δηλαδή καθώς αυξάνεται ο ορίζοντας πρόβλεψης T, η γραµµή ONELINE υπάρχει ως ένα οπτικό ϐοήθηµα και δείχνει την περίπτωση του σφάλµατος όταν προβλέπουµε µε τον µέσο όρο, δηλαδή όταν NRMSE = 1. 3.3.1 Ο ϱόλος του χρονικού παραθύρου t w Για να εξετάσουµε τον ϱόλο του χρονικού παραθύρου, κρατάµε σταθερές όλες τις παραµέτρους, µαζί µε τον χρόνο υστέρησης και αλλάζουµε τη διάσταση εµβύθισης. Με αυτόν τον τρόπο παράγονται ουσιαστικά διαφορετικά χρονικά παράθυρα t w. Η περίπτωση της απεικόνισης του Hénon δείχνει ότι οι καλύτερες προβλέψεις συµβαίνουν για µικρά χρονικά παράθυρα και από τα διαγράµµατα (3.18 και 3.19) ϕαίνεται ότι είναι πάντα καλύτερα τα χαµηλά t w. Οταν αυξηθεί η παράµετρος αποκοπής q σε 2, το σφάλµα είναι αισθητά µικρότερο αν συγκρίνουµε τα διαγράµµατα. Αρχικά οι καµπύλες του σχήµατος 3.19β ακουµπάν καλύτερα στο επίπεδο NRMSE = 0 για t w 6 και στη συνέχεια ξεφεύγουν. Το τελευταίο είναι ένα παράδειγµα της περί- 39

πτωσης που αναφέρθηκε, ότι τα τοπικά γραµµικά µοντέλα δε δίνουν αποτελέσµατα που να περιορίζονται πάντα στο εύρος της χρονοσειράς. Ο λόγος είναι ο µικρός αριθµός των γειτόνων και αυτό γίνεται ξεκάθαρο αν αυξήσουµε τον αριθµό τους σε k = 32, (σχήµατα (3.20α ),(3.20β )). Αν συγκρίνουµε το σφάλµα ως προς την παράµετρο αποκοπής, NRM- SE(q), για k = 16, 32 (σχήµατα 3.21α και 3.21β ) σε διαφορετικούς χρόνους πρόβλεψης T µε σταθερές τις υπόλοιπες παραµέτρους, ϕαίνεται καλύτερα ότι τα, κανονικοποιηµένα µε PCR, γραµµικά µοντέλα (q > 0) αρχικά κάνουν καλύτερη πρόβλεψη και στη συνέχεια αποκλίνουν όταν οι γείτονες δεν είναι αρκετοί. Για περισσότερους γείτονες, ο ορίζοντας που υπάρχει καλύτερη πρόβλεψη στα µεγαλύτερα q είναι σαφώς αυξηµένος. (α ) q = 0, τ = 1, k = 8 (ϐ ) q = 0, τ = 3, k = 8 Σχήµα 3.18: Σταθερό τ για την απεικόνιση Hénon (α ) q = 2, τ = 1, k = 8 (ϐ ) q = 2, τ = 3, k = 8 Σχήµα 3.19: Σταθερό τ για την απεικόνιση Hénon 40

(α ) q = 0, τ = 3, k = 32 (ϐ ) q = 2, τ = 3, k = 32 Σχήµα 3.20: Σταθερό τ για την απεικόνιση Hénon (α ) t w = 6, τ = 1, k = 16 (ϐ ) t w = 6, τ = 1, k = 32 Σχήµα 3.21 Αν κρίναµε µόνο από την χαµηλοδιάστατη απεικόνιση του Hénon ϑα καταλήγαµε στο συµπέρασµα ότι τα µικρότερα χρονικά παράθυρα (ή ισοδύναµα µικρότερη διάσταση εµβύθισης στη συγκεκριµένη περίπτωση) παράγουν ποιοτικά καλύτερες προβλέψεις. Στο σύστηµα του Lorenz 2 τα διαφορετικά χρονικά παράθυρα δεν παράγουν διακριτά καλύτερα ή χειρότερα αποτελέσµατα. Τα χρονικά παράθυρα που παράγουν τα καλύτερα αποτελέσµατα διαφέρουν ανάλογα µε τον χρόνο πρόβλεψης και δεν µπορεί να εξαχθεί κάποιο σίγουρο συµπέρασµα. Αν ο χρόνος υστέρησης από τ = 0.01 γίνει τ = 0.02 (σχήµατα 3.22α και 3.22β ) ϐλέπουµε την ίδια εικόνα, µε µόνη διαφορά την απουσία των χρονικών παραθύρων που δεν είναι δυνατά λόγω των περιορισµών που υπεισέρχονται από τις σχέσεις m 2 και t w = (m 1)τ. 2 Η υστέρηση και το χρονικό παράθυρο είναι πραγµατικοί αριθµοί γιατί είναι πολλαπλάσια του χρόνου δειγµατοληψίας (0.01 όπως αναφέρεται και στον τίτλο). 41

Η συµπεριφορά τους σφάλµατος µε την παράµετρο αποκοπής q, παραµένει η ίδια και στο σύστηµα του Lorenz (σχήµα 3.23), µόνο που λόγω της υψηλότερης διάστασης του ελκυστή, ο αριθµός των γειτόνων πρέπει να είναι ακόµα πιο µεγάλος από k = 32 για να µην υπάρχει απόκλιση. (α ) τ = 0.01 (ϐ ) τ = 0.02 Σχήµα 3.22: Σταθερό τ για το σύστηµα του Lorenz 42

(α ) τ = 0.01 Σχήµα 3.23: NRMSE(q) στο σύστηµα του Lorenz Για την περίπτωση της διαφορικής εξίσωσης των Mackey-Glass µε υστερήσεις = 17, 30 και 100 (σχήµατα 3.24, 3.25, 3.26) εµφανίζονται ταλαντώσεις κατά την πρόβλεψη και οφείλονται στην ισχυρή αυτοσυσχέτιση που υπάρχει µόνο σε συγκεκριµένους χρόνους (σχήµα 3.12) σε συνδυασµό µε τα χαµηλά χρονικά παράθυρα (άρα και την έλλειψη της απαραίτητης πληροφορίας για µια σταθερή πρόβλεψη). Για αρκούντως µεγάλα χρονικά παράθυρα έχουµε µια ποιοτικά σταθερή πρόβλεψη για έναν χρονικό ορίζοντα περίπου ίσο µε την υστέρησή τους. Αυτό το ϕαινόµενο των ταλαντώσεων, που δεν ϕαίνεται να επηρεάζεται από την πα- ϱάµετρο αποκοπής q, γίνεται πιο έντονο, άρα και πιο ευδιάκριτο, στην περίπτωση µε = 100, όπου το σύστηµα έχει διάσταση D 10 και ισχυρή αυτοσυσχέτιση µόνο σε συγκεκριµένες χρονικές υστερήσεις. Οσον αφορά την συµπεριφορά του σφάλµατος για = 17 από q = 0 σε q = 5 το NRMSE πέφτει για µικρά T, ενώ ισχύει το αντίθετο για µεγαλύτερους χρόνους πρόβλεψης. Αν προσέξουµε για = 100 (και σε µικρότερο ϐαθµό για = 30) από q = 0 σε q = 5 το µέγιστο NRMSE αυξάνει ενώ το ελάχιστο µειώνεται. Η συµπεριφορά αυτή µπορεί να διακριθεί και στο σχήµα 3.27 που διακρίνεται µια δοµή σαν χοάνη, αµβλύνοντας τις διαφορές στις περισσότερες καµπύλες που αντιστοιχούν σε διαφορετικό χρόνο πρόβλεψης. 43

(α ) q = 0, τ = 5 (ϐ ) q = 5, τ = 5 Σχήµα 3.24: Σταθερό τ για το Mackey-Glass µε = 17 44

(α ) = 30 (ϐ ) = 100 Σχήµα 3.27: NRMSE(q) για το Mackey-Glass = 30 και = 100 3.3.2 Ο ϱόλος του χρόνου υστέρησης τ Κρατώντας σταθερό το χρονικό παράθυρο t w και αλλάζοντας τον χρόνο υστέρησης τ εξετάζουµε τη σηµασία του χρονικού παραθύρου αλλά και της διάστασης εµβύθισης. Οταν αλλάζει το τ, για να κρατηθεί σταθερό το t w πρέπει να αλλάζει και το m σύµφωνα µε τη σχέση m = tw + τ 1. Από τα σχήµατα που ακολουθούν παρατηρούµε ότι τα χρονικά παράθυρα µε την ίδια τιµή παράγουν ποιοτικά όµοιες προβλέψεις, αρκεί η διάσταση εµβύθισης να ξεπερνάει ένα κατώφλι, συνήθως να είναι µεγαλύτερη από το διπλάσιο της διάστασης του (γενικά άγνωστου, αλλά εδώ γνωστού) ελκυστή m > 2D + 1 (σχέση (1.1)) όπως έχει τεθεί ως προϋπόθεση για την ανακατασκευή από το ϑεώρηµα Takens. Στην περίπτωση του Hénon (σχήµατα (3.28α ) και (3.28β )) ϕαίνονται οι περιπτώσεις µε t w = 6 και αριθµό γειτόνων k = 16, 32. Ολες οι χρονικές υστερήσεις πλην της περίπτωσης m = 2 (t w = 6, τ = 6) παράγουν ποιοτικά ίδιες προβλέψεις. Η περίπτωση m = 2, t w = 6, τ = 6 αποτελεί την ανακατασκευή µε την χαµηλότερη διάσταση. Μια παρόµοια εικόνα παρατηρούµε και για το σύστηµα του Lorenz µε διάσταση ελκυστή 2.05. Οι περιπτώσεις που ξεχωρίζουν είναι για διάσταση εµβύθισης m = 3 για τις περιπτώσεις t w = 1.00, q = 0 και t w = 0.40, q = 1 (σχήµατα (3.29α ) και (3.29β ) αντίστοιχα), σε χαµηλά αλλά και σε υψηλότερα χρονικά παράθυρα αλλά και σε διαφορετικές παραµέτρους αποκοπής. 47

(α ) t w = 6, k = 16 (ϐ ) t w = 6, k = 32 Σχήµα 3.28: Κρατώντας σταθερό το t w στην απεικόνιση του Henon 48

(α ) t w = 1.00, q = 0 (ϐ ) t w = 0.40, q = 1 Σχήµα 3.29: Κρατώντας σταθερό το t w στο σύστηµα του Lorenz Το σύστηµα Mackey-Glass µε = 17 και διάσταση D = 2.10 ακολουθεί και αυτό τον κανόνα. Οι χαµηλοδιάστατες ανακατασκευές, µε m = 3, ξεχωρίζουν από τις υπόλοιπες 49

περιπτώσεις στα σχήµατα (3.30α ) και (3.30β ) σε διαφορετικές ανακατασκευές και αριθµό γειτόνων. Αντίστοιχα για = 30 (διάσταση D = 3.58) σε ανακατασκευή µε µικρό χρονικό παράθυρο (t w = 50, σχήµα (3.31α )) η διάσταση εµβύθισης που διαφέρει είναι η m = 3 µε την αµέσως επόµενη στο συγκεκριµένο διάγραµµα να είναι το m = 6, τ = 10 ενώ για t w = 200 στο σχήµα (3.31β )) οι περιπτώσεις που ξεχωρίζουν είναι m = 3, 5, 6. Για υστέρησης = 100 και µε χαµηλό χρονικό παράθυρο t w = 50, χρονικό παράθυρο που δεν περιέχει την απαραίτητη πληροφορία, ξεχωρίζουν οι περιπτώσεις m = 3, 6 ενώ οι περιπτώσεις m = 11, 26, 51 εµφανίζουν παρόµοια συµπεριφορά (σχήµα (3.32α )) και για t w = 200 οι όµοιες προβλέψεις ξεκινάνε από διαστάσεις m 21 (σχήµα (3.32β )). (α ) k = 16, t w = 50 50

(ϐ ) k = 32, t w = 200 Σχήµα 3.30: Κρατώντας σταθερό το t w για το Mackey-Glass µε = 17 (α ) k = 16, t w = 50 51

(ϐ ) k = 32, t w = 200 Σχήµα 3.31: Κρατώντας σταθερό το t w για το Mackey-Glass µε = 30 (α ) k = 16, t w = 50 52

(ϐ ) k = 32, t w = 200 Σχήµα 3.32: Κρατώντας σταθερό το t w για το Mackey-Glass µε = 100 Από τα σχήµατα που προηγήθηκαν µπορούµε να συµπεράνουµε ότι όντως το χρονικό παράθυρο αποτελεί ένα ϐασικό µέγεθος που πρέπει να καθοριστεί µε προσοχή διότι παράγει ποιοτικά όµοιες προβλέψεις, όταν πληρούνται κάποια κριτήρια. Το ϐασικό κριτήριο το οποίο πρέπει να τηρείται αναφέρεται στην ελάχιστη τιµή που πρέπει να έχει η διάσταση εµβύθισης, όπου για µια σίγουρα µη προβληµατική ανακατασκευή ϑα πρέπει να ισχύει m > 2D + 1. 3.3.3 Υστέρηση - διάσταση εµβύθισης 3.3.3.1 Παράµετρος αποκοπής q = 0 Ενα τρόπος παρουσίασης που µπορεί να αναδείξει τη σχέση σφάλµατος και παραµέτρων ανακατασκευής (συµπεριλαµβανοµένου και του χρονικού παραθύρου t w ) είναι τα διαγράµµατα στάθµης του NRMSE ως προς το Ϲεύγος υστέρησης και διάστασης εµβύθισης, m τ. Οπως δείξαµε στην προηγούµενη παράγραφο, ανακατασκευές µε ίσα χρονικά παράθυρα παράγουν όµοιες ποιοτικά προβλέψεις, έτσι για τα διαγράµµατα υστέρησης - διάστασης εµβύθισης ϑα περιµένουµε µια συµπεριφορά όπου η ποιότητα των προβλέψεων ϑα συγκεντρώνεται γύρω από καµπύλες της µορφής τ 1 λόγω της σχέσης υστέρησης m και χρονικού παραθύρου τ = tw. Οι προσοµοιώσεις έγιναν χρησιµοποιώντας τοπικά m 1 µοντέλα πρόβλεψης µέσου όρου LAM (δηλαδή q = 0). Στα σχήµατα που ακολουθούν, κάθε τετραγωνάκι από τα διαγράµµατα που ϐρίσκονται στα αριστερά είναι µια προσοµοίωση (παράγραφος (3.2)) µε τις πιο σκούρες περιπτώσεις να αναφέρονται στο χαµηλότερο σφάλµα για τον συγκεκριµένο χρόνο πρόβλεψης ο οποίος αναγράφεται στον τίτλο των διαγραµµάτων. εξιά είναι ακριβώς τα ίδια διαγράµµατα σε 53

ισοϋψείς καµπύλες µε τις διάστικτες γραµµές να αναφέρονται σε ίδια χρονικά παράθυρα t w. Επίσης ο χρωµατικός κώδικας προσαρµόζεται στους διαφορετικούς χρόνους πρόβλεψης (στα διαφορετικά σχήµατα δηλαδή) για να υπάρχει διακριτότητα στα χρώµατα του σχήµατος και να µπορούµε να εντοπίσουµε τις καλύτερες προβλέψεις. Αυτό συνεπάγεται ότι σε διαφορετικούς χρόνους το ίδιο χρώµα αντιστοιχεί σε διαφορετική τιµή σφάλµατος. Ακόµα στα διαγράµµατα (3.33α ), (3.33β ) και (3.33γ ), τα λευκά σηµεία αριστερά και οι ϱόµβοι δεξιά είναι προσοµοιώσεις που δεν έχουν πραγµατοποιηθεί (missing values) λόγω επιπλοκών που παρουσιάστηκαν κατά την κατανοµή των προσοµοιώσεων στα υπολογιστικά συστήµατα. Τα αποτελέσµατα των σχηµάτων (3.33α ), (3.33β ) και (3.33γ ), για το σύστηµα του Lorenz δείχνουν πολύ παραστατικά ότι το ίδιο χρονικό παράθυρο παράγει ποιοτικά όµοιες, αν όχι ίδιες προβλέψεις. Στα διαγράµµατα δεξιά οι ισοϋψείς καµπύλες προσαρµόζονται πολύ καλά στα χρονικά παράθυρα, ανεξάρτητα του χρόνου πρόβλεψης. Ο χρόνος πρόβλεψης στον τίτλο του διαγράµµατος είναι πολλαπλάσιο του χρόνου δειγµατοληψίας τ s = 0.01, όπως και η υστέρηση. Οσο όµως πιο µακρυά προβλέπουµε, οι καλύτερες προ- ϐλέψεις δεν ϕαίνεται να αντιστοιχούν σε συστηµατικά µεγαλύτερο ή µικρότερο χρονικό παράθυρο. (α ) Lorenz, T = 13 54

(ϐ ) Lorenz, T = 40 (γ ) Lorenz, T = 100 Σχήµα 3.33: Σφάλµα πρόβλεψης - t w για το σύστηµα του Lorenz Τα διαγράµµατα (3.34α ) και (3.34β ) είναι από το σύστηµα Mackey-Glass µε = 30 όπου λαµβάνουµε την ίδια εικόνα. Παρόλα αυτά, για χρονικά παράθυρα κάτω από µια τι- 55

µή οι προβλέψεις δεν είναι καθόλου καλές σε σχέση µε αυτά που έχουν τιµές µεγαλύτερη από αυτήν, δείχνοντας ότι οι ανακατασκευές κάτω από µια συγκεκριµένη τιµή είναι ϕτωχές σε πληροφορία και δεν µπορούν να αποδώσουν καλά στην πρόβλεψη. Στην περίπτωση όπου = 100 (σχήµατα (3.35α ), (3.35β ) και (3.35γ )) τα σφάλµατα συγκεντρώνονται γύρω από καµπύλες µε ίδια t w. (α ) T = 8 56

(ϐ ) T = 27 Σχήµα 3.34: Σφάλµα πρόβλεψης - t w για το σύστηµα του Mackey-Glass και = 30 (α ) T = 8 57

(ϐ ) T = 75 (γ ) T = 95 Σχήµα 3.35: Σφάλµα πρόβλεψης - t w για το σύστηµα του Mackey-Glass και = 100 58