ΑΘΡΟΙΣΤΙΚΗ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ ΩΣ ΣΤΑΤΙΣΤΙΚΟ ΕΛΕΓΧΟΥ ΜΗ-ΓΡΑΜΜΙΚΟΤΗΤΑΣ ΧΡΟΝΟΣΕΙΡΩΝ

Transcript

1 Ελληνικό Σαισικό Ινσιούο Πρακικά 8 ου Πανελληνίου Συνεδρίου Σαισικής (5) σελ ΑΘΡΟΙΣΤΙΚΗ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ ΩΣ ΣΤΑΤΙΣΤΙΚΟ ΕΛΕΓΧΟΥ ΜΗ-ΓΡΑΜΜΙΚΟΤΗΤΑΣ ΧΡΟΝΟΣΕΙΡΩΝ Παπάνα Αγγελική και Κουγιουμζής Δημήρης Γενικό Τμήμα Πολυεχνικής Σχολής Α.Π.Θ. agpapana@gen.auth.gr, dkugiu@gen.auth.gr ΠΕΡΙΛΗΨΗ Σην ανάλυση χρονοσειρών θέλουμε να διερευνήσουμε ην ύπαρξη συσχείσεων μεαξύ ων όρων ης, δηλαδή εξεάζουμε αν η χρονοσειρά είναι ανεξάρηη ή αν υπάρχουν γραμμικές ή μη-γραμμικές συσχείσεις. Γι αυόν ο σκοπό εισάγουμε ένα νέο μέρο μη γραμμικής συσχέισης, ην αθροισική αμοιβαία πληροφορία M ( ), που ορίζεαι ως ο άθροισμα ων ιμών ης αμοιβαίας πληροφορίας I( ) για ένα πλήθος υσερήσεων =,,. Μπορεί να θεωρηθεί ως ο ανίσοιχο μη-γραμμικό μέρο ου σαισικού Portmanteau Q( ), που ορίζεαι ως ο άθροισμα ων αυοσυσχείσεων για ένα πλήθος υσερήσεων και χρησιμοποιείαι σον έλεγχο ανεξαρησίας χρονοσειρών. Το σαισικό M ( ), μπορεί να χρησιμοποιηθεί για έλεγχο ανεξαρησίας (ιδιαίερα όαν η εναλλακική υπόθεση αφορά μηγραμμικές συσχείσεις), αλλά κυρίως για έλεγχο μη-γραμμικόηας, δηλαδή για η μηδενική υπόθεση H όι η χρονοσειρά προέρχεαι από μια γραμμική σοχασική διαδικασία. Προσομοιώσεις σε γνωσά μονέλα ανέδειξαν ην κααλληλόηα ης M ( ) εξεάζονας η σημανικόηα και ην ισχύ ου ελέγχου συγκριικά με ην Q( ) για ον έλεγχο ανεξαρησίας και με ην I( ) για ον έλεγχο μη-γραμμικόηας. Ειδικόερα για ην περίπωση μη- γραμμικών συσχείσεων ο σαισικό M ( ) είναι καλύερο για χρονοσειρές μικρού μήκους και για σχεικά μεγάλα ποσοσά θορύβου.. ΕΙΣΑΓΩΓΗ Μια σάσιμη χρονοσειρά μπορεί να είναι μια σειρά ανεξάρηων μεαβληών με ην ίδια καανομή (iid), μπορεί να έχει μόνο γραμμικές συσχείσεις, δηλαδή να παράγεαι από μια γραμμική σοχασική διαδικασία, ή να έχει και μη-γραμμικές συσχείσεις, π.χ. ση μαθημαική έκφραση ης σοχασικής διαδικασίας να υπάρχουν όροι χρονοσειράς { } t x t ή t t x x. Το πρώο βήμα σην σαισική ανάλυση μιας σάσιμης x, t =,, n, είναι ο έλεγχος ανεξαρησίας, δηλαδή ο έλεγχος ης μηδενικής υπόθεσης Η όι η χρονοσειρά είναι iid. Ο πιο γνωσός έλεγχος

2 ανεξαρησίας είναι ο έλεγχος Portmanteau που βασίζεαι ση δειγμαική συνάρηση αυοσυσχέισης r( ). H r( ) μεράει ις γραμμικές συσχείσεις μεαξύ όρων ης χρονοσειράς με χρονική υσέρηση : όπου x η μέση ιμή ης { } t n ( xi x)( xi x) n i= + r( ) =, () n ( xi x) n i= + x. Αν η { x } είναι iid, όε r( )~ (,/ n) t Ν και ο 95% ων r( ) θα πρέπει να ανήκουν σο διάσημα ±.96 / n [Box, Jenkins & Reinsel (994), pg 88]. Χρησιμοποιώνας ως σαισικό ελέγχου ην r( ), για κάποια υσέρηση, η Η απορρίπεαι σε σάθμη σημανικόηας α =.5 αν r( ) <.96 / n. Επειδή ο έλεγχος µε ο r( ) γίνεαι για κάθε ξεχωρισά, μπορεί να μην οδηγεί πάνα σε συνεπή αποελέσμαα, δηλάδη ανάλογα με ην επιλογή ου, να οδηγούμασε άλλοε σε απόρριψη και άλλοε σε αποδοχή ης Η. Γι αυό σον έλεγχο Portmanteau χρησιμοποιείαι ο σαισικό Q ( ) που ορίζεαι από ο άθροισμα ων r ( ) για =,, : Q ( ) = n r ( ), () = ο οποίο κάω από ην Η ακολουθεί X καανομή με βαθμούς ελευθερίας και η απορριπική περιοχή είναι R = { Q( ) > X, } α [Box & Pierce (97)]. Τα γραμμικά χαρακηρισικά ων χρονοσειρών, όπως η r( ), χαρακηρίζουν γραμμικές σοχασικές διαδικασίες. Για ον έλεγχο μη-γραμμικόηας χρονοσειρών, δηλαδή όαν θέλουμε να ελέγξουμε ην Η όι η χρονοσειρά προέρχεαι από μια γραμμική διαδικασία, πρέπει να χρησιμοποιήσουμε μη-γραμμικά σαισικά μέρα. Η Αμοιβαία Πληροφορία I( ) μεράει ην γραμμική και μη-γραμμική συσχέιση μεαξύ ων όρων ης χρονοσειράς με χρονική υσέρηση και δίνεαι: p X, X ( x ) i, x i i i I ( ) = I ( xi, xi ) = p X, X ( x, ) log i xi, (3) i i p ( x ) p ( x ) X i i X i όπου ο άθροισμα αναφέρεαι σε διαμέριση ου πεδίου ιμών ων ( ) i x i x, και οι συναρήσεις μάζας πιθανόηας (κοινή και περιθώριες) ορίζοναι για κάθε περιοχή ης διαμέρισης [Kantz & Schreiber (997), Ch.9]. Η διαμέριση μπορεί να γίνει σε διασήμαα είε ίσου μήκους είε ίσης σχεικής συχνόηας [Moddemeijer (999), Darbellay (998)]. Για ην εκίμηση ων πιθανοήων χρησιμοποιούμε ις σχεικές συχνόηες. Η I( ) είναι μέρο συσχέισης με ην ευρύερη έννοια. Χρησιμοποιεί καανομές και όχι μέσες ιμές όπως η r( ) και υπάρχει καάλληλος μεασχημαισμός ης ώσε να ικανοποιεί α αξιώμαα Renyi [Granger & Lin i

3 (994)]. Η καανομή που ακολουθεί γενικά η I( ) δεν είναι γνωσή. Υπάρχουν κάποια αποελέσμαα για ις ασυμπωικές σαισικές ιδιόηες ης εκίμησης ης I ( ) [Pardo (995), Hutter & Zaffalon (4)]. Το νέο σαισικό μέρο που προείνεαι είναι η Αθροισική Αμοιβαία Πληροφορία: M ( ) = I( ), (4) = η οποία ορίζεαι ως συνάρηση ου, όπως και η Q ( ). Η μέγιση ιμή που παίρνουμε για ο είναι η υσέρηση καά ην οποία ο I( ) αρχίζει να συγκλίνει προς κάποια μικρή ιμή και επομένως αυό εξαράαι κάθε φορά από ην χρονοσειρά που εξεάζουμε. Επειδή γενικά δεν είναι γνωσή η καανομή που ακολουθεί η M ( ) για ον έλεγχο χρησιμοποιείαι η μέθοδος ων υποκαάσαων (surrogate) δεδομένων, η οποία περιγράφεαι παρακάω.. ΣΤΑΤΙΣΤΙΚΟΣ ΕΛΕΓΧΟΣ ΜΕ ΥΠΟΚΑΤΑΣΤΑΤΑ ΔΕΔΟΜΕΝΑ Η ιδέα είναι να δημιουργήσουμε χρονοσειρές (υποκαάσαα δεδομένα), που «μοιάζουν» με ην υπό έλεγχο χρονοσειρά αλλά είναι συνεπείς με ην Η, δηλαδή ικανοποιούν ις συνθήκες που θέει η Η, αλλά όχι ην ιδιόηα που θέλουμε να εξεάσουμε. Για ον έλεγχο ανεξαρησίας α υποκαάσαα δεδομένα δημιουργούναι με αναδιάαξη ης αρχικής χρονοσειράς (random permutation) και έχουν ην ίδια περιθώρια καανομή με ην αρχική χρονοσειρά, αλλά είναι iid χρονοσειρές. Για ον έλεγχο μη-γραμμικόηας α υποκαάσαα πρέπει να έχουν ις ίδιες αυοσυσχείσεις και ην ίδια περιθώρια καανομή με ην αρχική χρονοσειρά. Για ην καασκευή ους χρησιμοποείαι ο αλγόριθμος Statistically Transformed Autoregressive Process (STAP) (για ην περιγραφή ου αλγορίθμου δες [Kugiumtzis ()]). Το σαισικό ελέγχου, ας ο συμβολίσουμε q, πρέπει να μπορεί να διαχωρίσει α υποκαάσαα δεδομένα από ην αρχική χρονοσειρά όαν δεν είναι συνεπής με ην Η. Για ον έλεγχο ανεξαρησίας χρησιμοποιούμε ως σαισικό ελέγχου q ο Q( ) και ο M ( ), ενώ για ον έλεγχο μη-γραμμικόηας χρησιμοποιούμε ως σαισικό ελέγχου q ο I ( ) και M ( ) (για υσερήσεις =,, ). Για κάθε σαισικό q υπολογίζουμε ην ιμή ου q από ην αρχική χρονοσειρά και από α Μ υποκαάσαα, έσω q,, q M (χρησιμοποιούμε Μ=4). Η Η απορρίπεαι αν ο q δεν ανήκει σην καανομή ων q,, q M για κάποια σάθμη σημανικόηας α. Θεωρώνας κανονική ην καανομή ων q,, q M, η απόρριψη δίνεαι παραμερικά από η σημανικόηα:

4 όπου q είναι η μέση ιμή ων s = q q, (5) σ q q,, q M και q σ η υπική απόκλιση ους. Αν s >.96 όε η Η απορρρίπεαι σε σάθμη σημανικόηας α =.5. Η σημανικόηα και η ισχύς ου ελέγχου εξεάσηκε με Monte Carlo προσομοιώσεις γνωσών συσημάων, όπως δίνεαι παρακάω. 3. ΕΛΕΓΧΟΣ ΑΝΕΞΑΡΤΗΣΙΑΣ Τα μονέλα που χρησιμοποιήθηκαν για ις προσομοιώσεις είναι α παρακάω: λευκός θόρυβος που προέρχεαι από λογαριθμική κανονική καανομή, γραμμικό αυοπαλινδρομούμενο AR (), με συνελεσή ϕ =. 5, η απεικόνιση Henon [Kantz & Schreiber (997), Ch.3]. Oι χρονοσειρές λευκού θορύβου (idd) που καασκευάζουμε χρησιμοποιούναι για ην αξιολόγηση ης σημανικόηας ου ελέγχου, που αναφέρεαι και ως μέγεθος ου ελέγχου. Το μέγεθος ου ελέγχου είναι καλό αν η αναλογία απόρριψης ης Η δεν υπερβαίνει η σάθμη σημανικόηας (εδώ α =. 5). Τα άλλα δύο μονέλα, α οποία δεν ικανοποιούν ην Η (γραμμικό και μη-γραμμικό μονέλο), χρησιμοποιήθηκαν για ην αξιολόγηση ης ισχύος ου ελέγχου. Για ις χρονοσειρές λευκού θορύβου βλέπουμε όι α ποσοσά απόρριψης ης Η είναι χαμηλά και για α δύο σαισικά Q ( ) και M ( ) και άρα ο πραγμαικό μέγεθος ου ελέγχου είναι καλό (δες Σχήμα ). 5 5 Q( ),n=8 M( ),n=8 Q( ),n=4 M( ),n= ( ( Σχήμα Ποσοσά απόρριψης ης Η με Q ), M ) για =,, από προσομοιώσεις χρονοσειρών λευκού θορύβου (όπως δίνεαι σο ένθεο). Οι προσομοιώσεις έδειξαν όι για ο γραμμικό μονέλο AR () ( ϕ =. 5 ) ο Q ( ) έχει μεγαλύερη ισχύ από η M ( ), ενώ ανίθεα για ην απεικόνιση Henon η M ) έχει πολύ μεγαλύερη ισχύ από η Q ) (δες Σχήμα ). ( (

5 8 6 4 Q( ),n=56 M( ),n=56 Q( ),n=48 M( ),n= Q( ),n=8 M( ),n=8 Q( ),n=4 M( ),n= Σχήμα Όπως σο Σχημα αλλά για μονέλο AR (), ϕ =. 5 σο και ην απεικόνιση Henon σο. Τα πρώα αυά αποελέσμαα δείχνουν η χρησιμόηα ης M ( ) σε προβλήμαα, όπου υχόν ασθενείς συσχείσεις ση χρονοσειρά μπορεί να μην είναι γραμμικές. 4. ΕΛΕΓΧΟΣ ΜΗ-ΓΡΑΜΜΙΚΟΤΗΤΑΣ Για ον έλεγχο μη γραμμικόηας πραγμαοποιήθηκαν προσομοιώσεις από γνωσά μονέλα. Το μέγεθος και η ισχύς ου ελέγχου εξεάσηκε για α παρακάω μήκη n = 8,56,5,4, 48. Τα μονέλα που χρησιμοποιήθηκαν είναι α εξής: Δύο γραμμικά αυοπαλλινδρομούμενα AR () μονέλα (linear autoregressive), με συνελεσές αυοσυσχέισης ϕ =. 5, ϕ =. 5 και ένα μονέλο AR (9). Σο Σχήμα 3α φαίνοναι οι αυοσυσχείσεις r( ) για μια πραγμαοποίηση από καθένα από α ρια αυά μονέλα. Τα μονέλα αυά χρησιμοποιήθηκαν για ην αξιολόγηση ου μεγέθους ου ελέγχου καθώς είναι γραμμικά και είναι συνεπή ως προς ην Η AR(),φ=.5 AR(),φ=.5 AR(9).6.4 r() I() r(). r(), I() Σχήμα 3 Αυοσυσχέιση r( ) ων 3 γραμμικών μονέλων όπως δίνεαι σο ένθεο r( ) και I ( ) ου μη-γραμμικού σοχασικού μονέλου NAR (3) ( =,, ). Για ον έλεγχο ης ισχύος ου ελέγχου χρησιμοποιήθηκαν α παρακάω μηγραμμικά μονέλα:

6 Ένα μη γραμμικό σοχασικό μονέλο NAR (3) (Nonlinear Autoregressive) με εξίσωση: X t =.5X t.4et X t +.et X t +. 5et 3 X t 3 + et. Σο Σχήμα 3β φαίνοναι α r( ) και I ( ) για μια πραγμαοποίηση ου μονέλου. η απεικόνιση Henon και Ikeda [Kantz & Schreiber (997), Ch.6], που είναι διακριά συσήμαα μεαβληών με μικρή και μεγάλη πολυπλοκόηα ανίσοιχα και ο σύσημα Lorenz [Kantz & Schreiber (997), Ch.3] που προέρχεαι από ροή (συνεχές σύσημα 3 διαφορικών εξισώσεων). Επειδή α χαοικά μονέλα είναι νεερμινισικά, α προσαρμόζουμε σε πραγμαικές συνθήκες με ην προσθήκη θορύβου σε ποσοσά: 4%, 8%, 6%, 3%, 64%. Για α ρια γραμμικά συσήμαα, η αμοιβαία πληροφορία I ( ) και η αθροισική αμοιβαία πληροφορία M ( ) ης αρχικής χρονοσειράς βρίσκεαι μέσα σην καανομή ων STAP υποκαάσαων χρονοσειρών για ο AR () για όλες ις υσερήσεις =,, (δες Σχήμα 4α). Για μικρά μήκη χρονοσειρών α ποσοσά απόρριψης ης Η με ις I( ) και M ) είναι κονά σο 5% για =,,..5 original STAP ( I() M( ) original STAP Σχήμα 4 I ( ) σο και M ( ) σο για μια πραγμαοποίηση ου AR () με ϕ =.5, n = 8 και για 4 STAP υποκαάσαα δεδομένα. Οι προσομοιώσεις σα μη-γραμμικά μονέλα έδειξαν όι η M ) δίνει γενικά ( μεγαλύερη ισχύ ελέγχου από ην I ( ), ειδικά όαν οι χρονοσειρές έχουν μικρό μήκος ή πολύ θόρυβο. Σο Σχήμα 5α παραηρούμε όι η διακριική ικανόηα ης I ( ) εξαράαι από ην υσέρηση, ενώ η M ( ) έχει διακριική ικανόηα ανεξάρηα ης επιλογής ου (Σχήμα 5β). Η M ( ) δίνει σημανικόηα s > 5 για όλες ις υσερήσεις, ένω η σημανικόηα s για ην I ( ) φθίνει με ο και πέφει κάω από ο όριο απόρριψης για α =. 5 για > 3 (με εξαίρεση ην οριακή απόρριψη για = 8, δες Σχήμα 5γ)

7 I().5.5 original STAP M( ) original STAP Significance (γ) I() M( ) Σχήμα 5 I ( ) για μια πραγμαοποίηση ης απεικόνισης Henon με μήκος n = 8 και ποσοσό θορύβου 6% και για 4 STAP υποκαάσαες χρονοσειρές. M ( ) για ις ίδιες χρονοσειρές. (γ) Σημανικόηα s για ον έλεγχο μη-γραμμικόηας με υποκαάσαα δεδομένα με ις σαισικές I ( ) και M ). ( I(),n=56 M( ),n=56 I(),n=48 M( ),n= I(),n=56 M( ),n=56 I(),n=48 M(),n=48 4, 6 8 4, 6 8 Σχήμα 6 Ποσοσά απόρριψης ης Η για ον έλεγχο μη-γραμμικόηας με υποκαάσαα δεδομένα από ις προσομοιώσεις ου συσήμαος Lorenz, για μήκη n = 56,48 χωρίς θόρυβο με ποσοσό θορύβου 3%. Γενικά διαπισώνουμε όι για ην απεικόνιση Henon ο έλεγχος M ( ) έχει μεγαλύερη ισχύ από ον έλεγχο I ( ) ειδικά όαν έχουμε μεγάλα ποσοσά θορύβου. Σα ίδια συμπεράσμαα κααλήγουμε με ις προσομοιώσεις για ο σύσημα Lorenz και Ikeda. Για ο σύσημα Lorenz παραηρούμε όι η M ( ) έχει μεγαλύερη ισχύ από ην I ( ) για όλα α μήκη που εξεάζουμε και για όλα α ποσοσά θορύβου (δες Σχήμα 6). Τα ποσοσά απόρριψης ης Η είναι σχεδόν % για όλες ις υσερήσεις για μεγάλο μήκος χρονοσειρών ακόμα και όαν έχουμε θόρυβο. Οι διαφορές σην ισχύ ου ελέγχου μεαξύ ων I ( ), M ( ) είναι μεγαλύερες για ην απεικόνιση Ikeda. Ενώ για μεγάλα n, α ποσοσά απόρριψης ης Η είναι πολύ υψηλά και για α δύο σαισικά, για μικρά n α ποσοσά απόρριψης είναι πολύ μικρόερα για ην I ( ) (δες Σχήμα 7α). Για αρκεά μεγάλα ποσοσά θορύβου και μικρά μήκη χρονοσειρών βλέπουμε όι η M ( ) απορρίπει ην Η σε ποσοσά %-4%, ενώ για ην I ( ) ο ποσοσό απόρριψης φθίνει με ο και πέφει σην σάθμη σημανικόηας για > 4. Για μεγαλύερα n αυξάνοναι α ποσοσά απόρριψης και για α δύο σαισικά. Όπως φαίνεαι σο Σχήμα 7β για n = 4, με ο M ) ο ποσοσό απόρριψης είναι % ανεξάρηα ου. ( - 3 -

8 8 6 4 I(),n=8 M( ),n=8 I(),n=4 M( ),n=4 4, I(),n=8 M( ),n=8 I(),n=4 M( ),n=4 4, 6 8 Σχήμα 7 Όπως σο Σχήμα 6 αλλά για ην απεικόνιση Ikeda. Τα αποελέσμαα για ο μη-γραμμικό μονέλο NAR (3) είναι συγκριικά ίδια για ις I ( ) και M ( ) με αυά για α χαοικά μονέλα. Τα ποσοσά απόρριψης ης Η είναι όμως πολύ μικρόερα, ειδικά για μικρό μήκος χρονοσειρών. Όπως φαίνεαι σο Σχήμα 8, η M ( ) έχει πάλι καλύερη διακριική ικανόηα από ην I ( ), δηλαδή δίνει μεγαλύερη ισχύ ελέγχου από ην I ( ) I(),n=8 M( ),n=8 I(),n=4 M( ),n=4 4, 6 8 Σχήμα 8 Όπως ο Σχήμα 6α αλλά για ο σύσημα NAR (3). 5. ΣΥΜΠΕΡΑΣΜΑΤΑ Οι προσομοιώσεις με γνωσά μονέλα έδειξαν σαθερή απόδοση ου ελέγχου μηγραμμικόηας με η M ( ). Η διακριική ικανόηα ης M ( ) δε φαίνεαι να επηρεάζεαι από ην επιλογή ης υσέρησης σε ανίθεση με ην I ( ). Παρ όλα αυά γίνεαι προσπάθεια εύρεσης ενός αυοποιημένου ρόπου επλογής ου, ώσε να μην χρειάζεαι σε κάθε έλεγχο να ο ορίζουμε. Το πραγμαικό μέγεθος ου ελέγχου είναι καλό για ην I ( ) και M ( ), ενώ για μεγάλο n ο μέγεθος ου ελέγχου είναι πολύ καλύερο για ην M ( ) (α ποσοσά απόρριψης ης Ηο για α =. 5 μικρόερα ου α ). Όσον αφορά ην ισχύ, η M ( ) έχει μεγαλύερη ισχύ και για χρονοσειρές μικρού μήκους και για μεγάλα ποσοσά θορύβου. Τα αποελέσμαα αυά αναδεικνύουν ην κααλληλόηα ου σαισικού M ( ) για ον έλεγχο μηγραμμικόηας

9 ABSTRACT This paper proposes a new non-linear measure the cumulative mutual information M ( ), defined as the sum of mutual information I ( ) for a number of delays. It is the non-linear analogue to Portmanteau test statistic Q ( ), which is the sum of autocorrelations r ( ) for a number of delays and is used for testing randomness of time series. M ( ) can be used both for the independence test (H : no correlations) and the non-linearity test (Ho: the data are generated by a linear process possibly undergoing a static transform). As the distribution of M ( ) is not known we use the surrogate data test (generation of data which are consistent with H ) in order to investigate non-linearity in the data. The size and power of the test is examined with Monte Carlo realizations of well-known systems that are consistent to H and others that are inconsistent to H, respectively. The models used for simulations are linear autoregressive models of certain orders, non-linear chaotic models (Henon map, Ikeda and Lorenz system), nonlinear autoregressive models (NAR) and white noise (only for the independence test). M ( ) is compared with Q ( ) for the independence test and to I ( ) for the non-linearity test. The performance of the test is examined for different lengths of time series and different noise levels (for the chaotic systems). The results from the simulations bring out the appropriateness of M ( ) as statistic for both the non-linearity and independence test. ΑΝΑΦΟΡΕΣ Box G. and D. Piere (97). Distribution of residual autocorrelations in autoregressive Integrated moving average time series models. J. Am. Statist. Assoc. 65, Box G., G. Jenkins & G. Reinsel (994). Time series Analysis: Forecasting and Control, Prentice Hall Darbellay G. (998). An Adaptive Histogram Estimator for the Mutual Information, UTIA Research Report, no. 889, Acad. Sc., Prague Granger C. and J. Lin (994). Using the Mutual Information Coefficient to Identify Lags in Nonlinear Models, Journal of Time Series Analysis, 5, 4, Hutter M. and M. Zaffalon (5). Distribution of mutual information from complete and incomplete data. Computational Stat. & Data Analysis 48, Kantz H. and T. Schreiber (997). Nonlinear Time Series Analysis. Cambridge University Press, Cambridge. Kugiumtzis D.(). Statistically transformed autoregressive process and surrogate data test for nonlinearity. Physical Review E66, 5(R). Moddemeijer R. (999). A Statistic to estimate the Variance of the Histogram-Based Mutual Information Estimator on Dependent Pairs of Observations, Signal Processing, 75,

10 Pardo J.A. (995). Some Applications of the Useful Mutual Information. Applied Mathematics and Computation 7:33-5 Schreiber T. and A. Schmitz (). Surrogate time series, Phys. D4(3&4), Theiler J., S. Eubank, A. Longtin and B. Galdrikian (99). Testing for nonlinearity in time series: The method of surrogate data, Physica D58,