ΑΞΙΟΛΟΓΗΣΗ ΕΚΤΙΜΗΤΩΝ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΑΠΟ ΙΣΤΟΓΡΑΜΜΑ ΣΕ ΧΡΟΝΟΣΕΙΡΕΣ

Transcript

1 Ελληνικό Σαισικό Ινσιούο Πρακικά ου Πανελληνίου Συνεδρίου Σαισικής (7), σελ ΑΞΙΟΛΟΓΗΣΗ ΕΚΤΙΜΗΤΩΝ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΑΠΟ ΙΣΤΟΓΡΑΜΜΑ ΣΕ ΧΡΟΝΟΣΕΙΡΕΣ Παπάνα Αγγελική, Κουγιουμζής Δημήρης Γενικό Τμήμα Πολυεχνικής Σχολής Α.Π.Θ. ΠΕΡΙΛΗΨΗ Η αμοιβαία πληροφορία είναι ένα μέρο γραμμικής και μη-γραμμικής συσχέισης μεαξύ δύο μεαβληών που κάνει χρήση ης περιθώριας και κοινής καανομής ους και γενικεύεαι σε χρονοσειρές όπως η συνάρηση αυοσυσχέισης. Σην εργασία αυή μελεούναι μέθοδοι εκίμησης ης αμοιβαίας πληροφορίας που χρησιμοποιούν ο ισόγραμμα για ην εκίμηση ων καανομών ορίζονας ισομήκη ή ισοπίθανα διασήμαα. Γίνεαι αξιολόγηση γνωσών κριηρίων για ον ορισμό ου πλήθους διασημάων με Monte Carlo προσομοιώσεις σε συσήμαα λευκού θορύβου και γραμμικά σοχασικά συσήμαα. Η απόδοση ων κριηρίων μελεάαι ως προς ο μήκος ης χρονοσειράς και ην καανομή ου θορύβου σο σύσημα. Από ις προσομοιώσεις φαίνεαι όι ο ισοπίθανος εκιμηής είναι καλύερος από ον ισομήκη, ενώ α βέλισα κριήρια είναι αυά που εξαρώναι μόνο από ο μήκος ης χρονοσειράς σις γραμμικές διαδικασίες.. ΕΙΣΑΓΩΓΗ Η αμοιβαία πληροφορία δυο υχαίων συνεχών μεαβληών Χ, Υ ορίζεαι ως: f ( x, y) I y () XY, ( X, Y) fxy, ( x, y)log dxd fx( x) fy( y) x y = όπου f X ( x), fy( y), fx, Y( x, y ) είναι οι περιθώριες συναρήσεις πυκνόηας η κοινή συνάρηση πυκνόηας ων Χ, Υ [Shannon (948), Sott (99)]. Για μια χρονοσειρά {X i }, i=,..,n, η αμοιβαία πληροφορία δίνεαι ως συνάρηση ης χρονικής υσέρησης, I( ) = I ( Xi, Xi ), όπου θέουμε X = X, i Y = Xi και μεράει ις συνολικές συσχείσεις μεαξύ ων όρων ης χρονοσειράς με χρονική υσέρηση [Kantz & Shreiber (997), Ch. 9]. Για ην εκίμησή ου Ι() συχνά χρησιμοποιείαι η προσέγγιση ων ισογραμμάων και η γενική μορφή ου εκιμηή είναι: ( x x ) Xi, Xi i, i =, () Xi, Xi i i i i px ( x ) ( ) i i px x i i I( ) p ( x, x )log p

2 όπου ο άθροισμα ση () αναφέρεαι ση διαμέριση ου πεδίου ιμών ων (X i, X i- ) και οι συναρήσεις μάζας πιθανόηας p, X i, p X i X i, px i (κοινή και περιθώριες) ορίζοναι για κάθε περιοχή ης διαμέρισης και εκιμώναι από ις ανίσοιχες σχεικές συχνόηες. Η διαμέριση μπορεί να είναι ίσου μήκους ή ίσης πιθανόηας, αλλά έχουν χρησιμοποιηθεί και εχνικές προσαρμογής ης διαμέρισης σε κελιά διαφορεικού μεγέθους, όπως για ον εκιμηή ων Darbellay & Vajda (999) όπου α κελιά σχημαίζοναι με βάση κριήριο δεσμευμένης ανεξαρησίας. Άλλοι εκιμηές βασίζοναι σους πυρήνες (kernels) [Silverman (986)], σε B-splines πολυώνυμα [Daub et al. ()] ή σε γειονιές k-κονινόερων σημείων [Kraskov et al. (4)]. Όλοι οι παραπάνω εκιμηές ης αμοιβαίας πληροφορίας δεν ακολουθούν γενικά γνωσή καανομή.. ΕΚΤΙΜΗΤΕΣ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ Θα μελεήσουμε εκιμηές ης αμοιβαίας πληροφορίας Ι() που χρησιμοποιούν διαμέριση ου πεδίου ιμών ης κάθε μεαβληής. Η διαμέριση γίνεαι σε b διασήμαα που είε έχουν ο ίδιο μήκος (ισομήκη διαμέριση) ή περιέχουν ο ίδιο πλήθος σοιχείων n/b (ισοπίθανη διαμέριση με πιθανόηα b/n σε κάθε διάσημα). Η διαμέριση γίνεαι με ον ίδιο ρόπο για κάθε μια από ις δυο μεαβληές και η διδιάσαη διαμέριση αποελείαι από b κελιά. Η ελεύθερη παράμερος σην εκίμηση Ι() είναι ο πλήθος b ων διασημάων ης διαμέρισης. Σην εργασία μελεούμε γνωσά κριήρια για ην επιλογή ου b, που δίνοναι σον Πίνακα. Πίνακας. Κριήρια επιλογής πλήθους κελιών b. Κριήριο Πλήθος διασημάων διαμέρισης Αναφορές + log n Sturge (96). 4.87( n ) Bendat & Piersol (966) 3 + log n + log γ Doane (976) 4 n Mosteller & Tukey (977) 5 R n / 3, 49s Sott (979) 6 / 3 R / ( IQ) n Freedman & Diaonis (98) 7 3 n Terrell & Sott (985) 8 Ελάχισο ης συνάρησης Rissanen (99) σοχασικής πολυπλοκόηας F(b) 9 Επικραούσα ιμή ου λογαρίθμου ης Knuth (6) εκ ων υσέρων συνάρ. πιθανό. ου πλήθους κελιών ου ισογράμμαος n / 5 Cohran (954) Σους ορισμούς ων κριηρίων n είναι ο μήκος χρονοσειράς, R ο εύρος, s η υπική απόκλιση, IQ ο ενδοεαρομοριακό εύρος, και γ η κανονικοποιημένη λοξόηα: n n 3 i i i= i= [Doane (976)]. Η συνάρηση γ = ( n+ )( n+ 3) ( x x) / 6( n ) ( x x)

3 σοχασικής πολυπλοκόηας με n,,n b ο πλήθος ων σοιχείων κάθε διασήμαος ης διαμέρισης ορίζεαι ως: n! ( n+ b )! Fb () = nlog( R/ b) + log + log. Τέλος, n! n!... nb! n!( b )! η συνάρηση ης εκ ων υσέρων πιθανόηας σο κριήριο 9 υπολογίζεαι χρησιμοποιώνας η θεωρία πιθανοήων Bayes και εξάγεαι ένας άμεσος αλγόριθμος που υπολογίζει ην εκ ων υσέρων πιθανόηα (posterior probability) ου πλήθους ων κελιών ου ισογράμμαος για ένα σύνολο δεδομένων. 3. ΑΞΙΟΛΟΓΗΣΗ ΕΚΤΙΜΗΤΩΝ ΚΑΙ ΚΡΙΤΗΡΙΩΝ Η αξιολόγηση ων εκιμηών και ων κριηρίων γίνεαι με Monte-Carlo προσομοιώσεις σε κάποια γνωσά συσήμαα χρονοσειρών. Θέλουμε να συγκρίνουμε α κριήρια επιλογής ου Ι() σε εκιμηές με ισομήκη και ισοπίθανη διαμέριση. Οι παράγονες που λαμβάνουμε υπόψη είναι ο μήκος ης χρονοσειράς και η καανομή ου θορύβου εισόδου σα 4 συνολικά διαφορεικά συσήμαα (δες Πίνακα ), α οποία επιλέχθηκαν όπως σην εργασία ων Harrold et al. (). Πίνακας. Συσήμαα προσομοιώσεων, όπου φ είναι ο συνελεσής ου αυοπαλινδρομούμενου μονέλου άξης, AR(), θ είναι ο συνελεσής ου μονέλου κινούμενου μέσου άξης, MA(), και α φ και θ χρησιμοποιούναι επίσης σο κοινό μονέλο ARMA(,). Συσήμαα Τύποι και παράμεροι συσημάων Λευκός θόρυβος Κανονικός Μέση ιμή μ=, Διασπορά s = Γάμμα μ=, s =, γ=.5 Γραμμικά συσήμαα AR() φ =.5,.9, -.5, -.9 με κανονικό θόρυβο ARMA(,) φ =.9, θ =.6 και φ =.7, θ =.3 Γραμμικά συσήμαα AR() φ =.5,.9, -.5, -.9 με Γάμμα θόρυβο ARMA(,) φ =.7, θ =.3 και φ =.3, θ =. Σα συσήμαα αυά υπολογίζεαι μόνο η Ι(), καθώς όλα είναι έως και άξης. Η Ι() υπολογίζεαι για πραγμαοποιήσεις από α παραπάνω συσήμαα, με ισοπίθανη και ισομήκη διαμέριση και για b από έως κάποια μέγιση ιμή που μεαβάλλεαι με ο μήκος ης χρονοσειράς n, όπως δίνεαι σον Πίνακα 3. Πίνακας 3. Μέγισο πλήθος διασημάων διαμέρισης για 9 διαφορεικά μήκη n. Μήκος n , 56, 5 4, 48, 496, 89 Μέγισο b Η πραγμαική (θεωρηική) ιμή ης αμοιβαίας πληροφορίας I() είναι γνωσή μόνο για κάποιες διαδικασίες. Ειδικόερα για κανονικές διαδικασίες (π.χ. γραμμικά συσήμαα με κανονικό θόρυβο) με συνάρηση αυοσυσχέισης ρ() [Darbellay & Vajda (999)]: I ( ).5log( ρ ( )). (3)

4 Για μη κανονικές διαδικασίες γενικά η πραγμαική ιμή ης δεν είναι γνωσή. Για α γραμμικά συσήμαα προσομοιώσεων με Γάμμα θόρυβο θεωρήσαμε η συνέπεια ου εκιμηή I DV () ων Darbellay & Vajda (999) και εκιμήσαμε ην πραγμαική I() από ην ιμή I DV () για n= 7 (για AR() με φ=.5 φαίνεαι η συνέπεια αυού ου εκιμηή σην Εικόνα ). Ο ρόπος αυός προσέγγισης ης I() έχει χρησιμοποιηθεί και σε άλλες εργασίες [Harrold et al. (), Cellui et al. (5)]. Συμβολίζω με I true ο I() όαν αυό είναι γνωσό ή ανίσοιχα ο I DV (), όαν ο I() δεν είναι γνωσό. Εικόνα. Εκιμηής I DV () για αυξανόμενο n μιας πραγμαοποίησης AR() με φ=.5, όπου I()=.44 (δίνεαι από ην οριζόνια γραμμή)..4. I()..8 I DV () I () true log(n) Ση συνέχεια ορίζουμε ένα συγκενρωικό δείκη για κάθε ύπο διαμέρισης και κριήριο επιλογής ου b ως προς όλες ις περιπώσεις (πλήθος συνολικών περιπώσεων: (πλήθος συσημάων)*(πλήθος n)=4*9=6). Για κάθε περίπωση l, υπολογίζουμε η μέση ιμή ου εκιμηή από ις Monte Carlo πραγμαοποιήσεις I, όπου =,.. ανισοιχεί σο κριήριο επιλογής ου b. Δηλώνουμε ην ισομήκη (ισοπίθανη) διαμέριση με I ( I d p ). Θεωρώνας ο μέσο από όλα α κριήρια για κάθε περίπωση l: I () l = I() l, ορίζουμε δύο συγκενρωικούς δείκες (sores) = για κάθε κριήριο από ένα πλήθος L περιπώσεων (L 6): E ( I ( l) I ( l)), E = L true = L l= ( I( l) Itrue( l)) L l= L l= ( I( l) Itrue( l)). (4) ( I( l) I ( l)) Ο Ε έχει παρονομασή ο άθροισμα ων εραγώνων ων I true, ανί ων μέσων αποκλίσεων από ο I true που όρισε ο Hamilton (964) και που είχε χρησιμοποιηθεί ξανά για σύγκριση εκιμηών αμοιβαίας πληροφορίας [Cellui et al. (5)]. Επειδή σε ανεξάρηες χρονοσειρές (I()=) μηδενίζεαι ο παρονομασής, θεωρήσαμε ις μέσες αποκλίσεις σους ορισμούς ων Ε και Ε. 4. ΑΠΟΤΕΛΕΣΜΑΤΑ MONTE CARLO ΠΡΟΣΟΜΟΙΩΣΕΩΝ Αρχικά παραηρούμε όι η εκίμηση ης αμοιβαίας πληροφορίας για κανονικό λευκό θόρυβο αυξάνεαι με ο b (Εικόνα (a)), άρα ο βέλισο πλήθος κελιών είναι, όπου προσεγγίζει περισσόερο ο I()=. Επίσης παραηρούμε όι όσο μεγαλώνει ο true

5 μήκος ης χρονοσειράς, όσο η εκίμηση συγκλίνει σην πραγμαική ιμή (Εικόνα (b)), ακόμα και για μεγάλο πλήθος κελιών. Αναφορικά με α κριήρια επιλογής, ο βέλισο b σην περίπωση ου λευκού κανονικού θορύβου είναι αυό που δίνει ο μικρόερο αριθμό κελιών. Παραηρούμε όι ο n επηρεάζει σημανικά ην επιλογή ου κριηρίου (Εικόνα 3). Εικόνα. Μέση αμοιβαία πληροφορία Ι d () από προσομοιώσεις λευκού κανονικού θορύβου, (a) ως προς b, για n όπως δίνεαι σο ένθεο, (b) ως προς n, για b όπως δίνεαι σο ένθεο για ισομήκη διαμέριση (ανίσοιχα αποελέσμαα προκύπουν για ισοπίθανη διαμέριση). Η οριζόνια γραμμή δηλώνει ο I true ()=. I d ().5 n=3 n=64 n=8 n=56 I true (a) I d () (b) part part 4 part 6 part 8 I true partitions log(n), n: time series length Εικόνα 3. Μέσο πλήθος διασημάων ισομήκης διαμέρισης και υπική απόκλιση (με καακόρυφες ράβδους) από ις προσομοιώσεις για κάθε κριήριο και για (a) n = 3, (b) n = 89. Η οριζόνια γραμμή είναι για ο βέλισο b=. partition number (a) partition method partition number (b) partition method Η καάαξη ων κριηρίων επιλογής ου b για ους δυο εκιμηές με βάση ην απόκλιση ους από ο I true ()= δίνεαι σον Πίνακα 4 για κάθε μήκος χρονοσειρών λευκού κανονικού θορύβου (α αποελέσμαα ων εκιμηών είναι όμοια). Πίνακας 4. Καάαξη ων βέλισων κριηρίων επιλογής b ων δυο εκιμηών (ισομήκη και ισοπίθανο) για κάθε n, για χρονοσειρές λευκού θορύβου. Μήκος Καάαξη κριηρίων

6 , , 496, Σα συγκενρωικά αποελέσμαα για ο σύσημα λευκού κανονικού θορύβου για όλα α μήκη χρονοσειρών (Πίνακας 5), παραηρούμε όι με ο Ε η καάαξη είναι ίδια για ισομήκη και ισοπίθανη διαμέριση με εξίσου καλή εκίμηση, ενώ με ο Ε έχουμε πάλι παρόμοια καάαξη αλλά με ον εκιμηή I καλύερο. Πίνακας 5. Καάαξη ων 5 βέλισων κριηρίων επιλογής ου b για κανονικό λευκό θόρυβο με ους δείκες Ε, Ε (ως προς όλα α n) με ις ανίσοιχες ιμές ων Ε, Ε για ισομήκεις και ισοπίθανους εκιμηές. Αποελέσμαα από Ε Αποελέσμαα από Ε Α/Α Κριήριο d I Κριήριο p I Κριήριο d I Κριήριο p I Σον Πίνακα 6 δίνοναι α συγκενρωικά αποελέσμαα για όλα α συσήμαα (λευκού θορύβου και γραμμικά) και μήκη χρονοσειρών. Παραηρούμε όι με ο Ε η καάαξη είναι διαφορεική για ισομήκη και ισοπίθανη διαμέριση και με αρκεά μικρόερες ις ιμές ου Ε για ον ισομήκη εκιμηή, ενώ ο Ε δίνει παρόμοια καάαξη κριηρίων αλλά με μικρόερες ιμές ου Ε για ον ισοπίθανο εκιμηή. Πίνακας 6. Ομοίως με πίνακα 5 αλλά για όλα α γραμμικά συσήμαα. Αποελέσμαα από Ε Αποελέσμαα από Ε Α/Α Κριήριο d I Κριήριο p I Κριήριο d I Κριήριο p I ΣΥΝΕΠΕΙΑ ΕΚΤΙΜΗΤΩΝ Ι() ΣΕ ΜΗ-ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ Σα μη-γραμμικά συσήμαα που δεν είναι γνωσή η πραγμαική αμοιβαία πληροφορία παραηρήσαμε όι ο εκιμηής I DV () δεν είναι συνεπής, καθώς φαίνεαι να αυξάνει με ο n, και συγκλίνει σε κάποια ιμή μόνο αν ο σύσημα έχει θόρυβο (δες Εικόνα 4 για η χαοική απεικόνιση Henon xt+ = yt +.4 xt, yt+ =.3x [Kantz & t Shreiber (997), Ch.3]). Για ους δυο εκιμηές I d (), I p () βλέπουμε όι όσο μεγαλώνει ο n συγκλίνουν για σαθερό μόνο b. Δεν είναι όμως πάλι συνεπείς, καθώς δεν υπάρχει σύγκλιση ης εκιμώμενης Ι() με ο n για διαφορεικά b (Εικόνα 5) p

7 5. ΣΥΜΠΕΡΑΣΜΑΤΑ Από ις προσομοιώσεις κααλήξαμε σα παρακάω συμπεράσμαα. Πρώον, ενώ η εκίμηση ης αμοιβαίας πληροφορίας αυξάνει με ο b, α «βέλισα» κριήρια είναι αυά που δίνουν μικρό b. Ο δείκης Ε φαίνεαι όι είναι πιο καάλληλος από ον Ε καθώς οι ιμές ου είναι συγκρίσιμες σους δυο εκιμηές με ισοπίθανη και ισομήκη διαμέριση και υπάρχει μια σαθερόηα ως προς ην καάαξη ων κριηρίων. Με βάση ο Ε κααλήγουμε όι ο εκιμηής με ισοπίθανη διαμέριση είναι καλύερος από ον εκιμηή με ισομήκη διαμέριση. Βέλισο κριήριο από όλα α γραμμικά συσήμαα φαίνεαι να είναι ο κριήριο 3 n, ο οποίο εξαράαι μόνο από ο μήκος ης χρονοσειράς. Επίσης οι εκιμηές φαίνοναι να είναι συνεπείς μόνο για α γραμμικά συσήμαα. Για α μη-γραμμικά συσήμαα δεν ήαν δυναή η σύγκριση ων εκιμηών αφού δε μπορούμε να ορίσουμε ην ιμή αναφοράς Ι true. Εικόνα 4. Εκιμηής I DV () ων Darbellay-Vajda ως προς, για μια πραγμαοποίηση ου συσήμαος Henon, για διαφορεικά n όπως δίνοναι σο ένθεο (a) χωρίς θόρυβο, (b) με % προσθεικό λευκό κανονικό θόρυβο. I() 8 6 (a) n= n= 3 n= 4 n= 5 n= 6 I() 8 6 (b) n= n= 3 n= 4 n= 5 n= d Εικόνα 5. Μέση αμοιβαία πληροφορία I () για ο σύσημα Henon (χωρίς θόρυβο) (a) ως προς για b = 8, για n (δες ένθεο), (b) ως προς n, για b (δες ένθεο). (a).5 b= b=8 b=6 b=3 (b).8.5 I().6.4. n=3 n=8 n=5 n=48 n= I d ().5 ABSTRACT log(n) Mutual information is a measure of linear and non-linear orrelation between two variables that uses their joint and marginal distributions. It an be generalized to time series like autoorrelation funtion. In this work we study methods of estimation of mutual information that use the histogram for the determination of the probabilities of distributions by taking

8 either equidistant or equiprobable bins of the partition. We also assess some well-known riteria for the number of the bins of the partition by Monte-Carlo simulations on systems of white noise and stohasti linear systems. The performane of the riteria is studied with respet to the time series length and the distribution of noise in the systems. The simulation results suggest that equiprobable partitioning gives better estimates and the best riteria depend only on time series length for all linear systems. Το έργο αυό (ΠΕΝΕΔ) συγχρημαοδοείαι καά 9% κοινά από ην Ε.Ε.: Ε. Κοινωνικό Ταμείο (75%), Υπ. Ανάπυξης, Γ.Γ.Ε.Τ. (5%) και Rikshospitalet, Νορβηγίας (%), σο πλαίσιο ου Μέρου 8.3 ου Ε.Π. Αναγωνισικόηα Γ Κ.Π.Σ.. ΑΝΑΦΟΡΕΣ Bendat S.J., Piersol A.G. (966) Measurements and analysis of random data. John Wiley, N.Y. Cellui C.J., Albano A.M., Rapp P.E. (5) Statistial validation of mutual information alulations: Comparison of alternative numerial algorithms. Ph. Rev. E 7, 668. Cohran W.G. (954) Some Methods for strengthening the ommon X test, Biometris, 47. Darbellay G., Vajda I. (999). Estimation of information by an adaptive partitioning of the observation spae. IEEE Transations on Information Theory 45, 4. Daub C.O., Steuer R., Kurths J., Weise J., Selbig J. () The mutual information: deteting and evaluating dependenies between variables. Bioinformatis 8(). Doane D.P. (976). Aestheti frequeny lassifiations. The Am. Statist. 3, Freedman D., Diaonis P. (98). On the histogram as a density estimator: L theory. Zeitshrift für Wahrsheinlihkeitstheorie und verwandt Gebiete 57, Hamilton J.D. (964). Time Series Analysis. University Press, Prineton, NJ. Harrold T.I., Sharma A., Sheather S. (). Seletion of a kernel bandwidth for measuring dependene in hydrologi time series using the mutual information riterion. Stohasti Environmental Researh and Risk Assessment 5, Kantz H., Shreiber T. (997). Nonlinear Time Series Analysis. Cambridge Univ. Press, Cambridge. Kraskov A., Stogbauer H., Grassberger P. (4) Estimating mutual information. Ph. Rev. E 69, Knuth K.H. (6). Optimal Data-Based Binning for Histograms, Draft paper. Mosteller F., Tukey J.W. (977). Data Analysis and Regression: A Seond Course in Statistis. Addison-Wesley, Reading, MA. Rissanen J.(99) Stohasti Complexity in Statistial Inquiry. World Sientifi, Singapore. Sott D.W. (979). On optimal and data-based histograms. Biometrika 66, Sott D.W. (99). Multivariate density estimation. John Wiley, N.Y. Shannon C.E. (948). A mathematial theory of ommuniation. The Bell System Tehnial Journal 7, ibid, Silverman B. (986). Density Estimation for Statistis and Data Analysis, Chapman and Hall, London. Sturge H.A. (96). The hoie of a lass interval. J. of the Am. Stat. Ass., Terrell G.R., Sott D.W. (985). Oversmooth nonparametri density estimates. J. of the Am. Stat. Ass. 8,