ΑΠΟΔΟΣΗ ΕΛΕΓΧΩΝ ΓΡΑΜΜΙΚΗΣ ΤΑΣΗΣ ΧΡΟΝΟΣΕΙΡΩΝ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΤΥΧΑΙΟΠΟΙΗΣΗΣ

Transcript

1 Ελληνικό Στατιστικό Ινστιτούτο Πρακτικά 2 ου Πανελληνίου Συνεδρίου Στατιστικής (28), σελ ΑΠΟΔΟΣΗ ΕΛΕΓΧΩΝ ΓΡΑΜΜΙΚΗΣ ΤΑΣΗΣ ΧΡΟΝΟΣΕΙΡΩΝ ΜΕ ΧΡΗΣΗ ΤΕΧΝΙΚΩΝ ΤΥΧΑΙΟΠΟΙΗΣΗΣ Βαφειάδης Θανάσης, Μπόρα-Σέντα Ευθυμία Μαθηματικό Τμήμα, Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης {thanosb, bora}@math.auth.gr ΠΕΡΙΛΗΨΗ Σε κάποια προβλήματα χρονοσειρών υπάρχει ενδιαφέρον διερεύνησης ασθενούς (γραμμικής) τάσης. Στην εργασία αυτή γίνεται σύγκριση των ελέγχων ανίχνευσης γραμμικής τάσης. Στους γνωστούς ελέγχους συμπεριλήφθησαν και έλεγχοι τυχαιοποίησης με χρήση υποκατάστατων δεδομένων (surrogate data). Η αξιολόγηση των ελέγχων έγινε με Monte Carlo προσομοιώσεις σε γνωστά συστήματα που αντιπροσωπεύουν διάφορους τύπους χρονοσειρών. Τα αποτελέσματα ανέδειξαν ότι η χρήση ελέγχων τυχαιοποίησης στα ίδια στατιστικά τεστ διορθώνουν τα σφάλματα τύπου Ι και ΙΙ των κλασσικών ελέγχων.. ΕΙΣΑΓΩΓΗ Υπάρχουν διάφορες μέθοδοι για την ανίχνευση της τάσης σε γραμμικά μοντέλα χρονοσειρών [Grenarder (954), Brillinger (989), Kuo et al. (99), Cryer (986), Bloomfield (992), Bloomfield and Nychka (992), Goosens and Berger (986)]. Το πρόβλημα ανίχνευσης γραμμικής τάσης ορίζεται από τη σημαντικότητα της παραμέτρου b στο μοντέλο Yt a bt () όπου Yt είναι η παρατήρηση της χρονικής σειράς τη χρονική στιγμή t, a είναι μια σταθερά και είναι η χρονοσειρά των υπολοίπων απαλλαγμένη από την τάση. Η τάση σε μια χρονοσειρά μπορεί σε ορισμένες περιπτώσεις να ανιχνεύεται εύκολα από το γράφημά της, αλλά γενικά υπάρχει ανάγκη στατιστικού ελέγχου για να αναδειχθεί η σημαντικότητα της τάσης σε σχέση και με το μέγεθος της χρονοσειράς, ό- πως φαίνεται στο Σχήμα

2 Σχήμα. Χρονοσειρά μήκους 256 παρατηρήσεων Η χρονοσειρά 256 παρατηρήσεων προέρχεται από προσομοίωση του συστήματος () με b=.6, με να ακολουθούν κανονική κατανομή, όπου οπτικά δεν φαίνεται να υπάρχει τάση. Στην πράξη πολλές φορές θα θέλαμε να εκτιμήσουμε την ύπαρξη α- σθενούς τάσης σε πολύ μικρότερες χρονοσειρές, χρησιμοποιώντας τον ακριβή έλεγχο με σωστό μέγεθος (size of the test) και μεγάλη ισχύ σε μικρές τάσεις. Γι αυτό αξιολογούμε γνωστούς ελέγχους σε τέτοιες συνθήκες δεδομένων χρησιμοποιώντας παράλληλα σύγχρονες μεθόδους τυχαιοποίησης. Για να καλύψουμε διαφορετικά συστήματα χρονοσειρών θεωρούμε ότι τα υπόλοιπα E t στην () μπορεί να είναι λευκός θόρυβος at ( ανεξάρτητές ισόνομα κατανεμημένες τυχαίες μεταβλητές), ή έγχρωμος θόρυβος που ορίζεται από στάσιμο αυτοπαλινδρομούμενο μοντέλο τάξης, AR(), Et a t. Σε κάθε περίπτωση για το a t θεωρούμε ότι ακολουθεί κανονική κατανομή N(,) ή κάποια άλλη κατανομή, όπως ομοιόμορφη U[, ] και εκθετική με κατάλληλη μετατόπιση / για να έχει μέση τιμή. Δημιουργούμε Monte Carlo πραγματοποιήσεις όλων αυτών των συστημάτων για οριακές μεταβολές του b κοντά στο και εξετάζουμε αν απορρίπτεται η μηδενική υπόθεση Η : b. 2. Μέθοδοι ανίχνευσης της τάσης Χρησιμοποιήθηκαν τρεις παραμετρικοί έλεγχοι και ένας μη-παραμετρικός έλεγχος που παρουσιάζονται παρακάτω και είναι οι πιο γνωστοί στη βιβλιογραφία. Για την καλύτερη κατανόηση των αποτελεσμάτων γράφουμε ένα δείκτη μετά από κάθε κριτήριο. 2. Παραμετρικοί Έλεγχοι Η πρώτη μέθοδος ανίχνευσης γραμμικής τάσης γίνεται με προσαρμογή στα δεδομένα μιας ευθείας με ανεξάρτητη μεταβλητή το χρόνο t και εξαρτημένη τα δεδομένα Y t, όπως δίνεται στην (). Ο εκτιμητής ελαχίστων τετραγώνων για την τάση b δίνεται από τη σχέση ˆ n n 2 ( t t ) Yt / ( t t ) t t b = (2)

3 Θεωρώντας ότι τα υπόλοιπα είναι ανεξάρτητα και κανονικά κατανεμημένα η εκτιμώμενη τυπική απόκλιση της τάσης ˆb δίνεται από τον τύπο n ( ) = 2 2 / 2 ŝ (3) ˆb [ 2 ( Y ˆ ˆ t a bt) /( n 2) n( n )] t όπου aˆ Y ˆ t bt. Η μηδενική υπόθεση Η : b= ελέγχεται με τη βοήθεια του στατιστικού t= ˆ / sˆ ( bˆ) το οποίο ακολουθεί -κατανομή. (Woodward & Gray 993) (Κριτήριο C) b t n 2 Πολλές εργασίες έχουν προτείνει γενικεύσεις αυτού του ελέγχου θεωρώντας γενική μορφή για την τάση μ t καθώς και από μια στάσιμη κανονική διαδικασία με μέση τιμή μηδέν (Grenarder (954), Brillinger (989), Kuo et al.(99), Cryer (986), Bloomfield (992) καθώς και Bloomfield και Nychka (992)). Ειδικά για γραμμική τάση (μt=a+bt), η εκτίμηση της τυπικής απόκλισης του b διορθώνεται συμπεριλαμβάνοντας τις αυτοδιασπορές των υπολοίπων για κάθε υστέρηση k (Woodward & Gray 993) k n s 2 24 sˆ 2( bˆ ) = 2 ( )( ) 2 t t s t s t. (4) n( n ) n( n ) s 2 t Το στατιστικό ελέγχου είναι t= ˆ / s ˆ ( b 2 ˆ) και ακολουθεί επίσης -κατανομή. (Κριτήριο C2) b t n 2 / 2 Οι Bloomfield και Nychka (992) πρότειναν την εκτίμηση της τυπικής απόκλισης του b χρησιμοποιώντας το φάσμα ισχύος των υπολοίπων E, S( f ), αντί της αυτοδιασποράς. Στην περίπτωση αυτή η τ.α. του b δίνεται από την σχέση όπου και το στατιστικό ελέγχου είναι t= bˆ/ sˆ ( bˆ) και ακολουθεί επίσης W ( f ) b t e t n 2 n t 2 ift 2 sˆ 3( bˆ ) = 2 ( ) ( ) (5) W f S f df t / 2 -κατανομή. Οι έλεγχοι αυτοί συμβολίζονται ως C,C2 και C3, αντίστοιχα.(woodward & Gray 993) (Κριτήριο C3)

4 2.2 Μη Παραμετρικοί Έλεγχοι Οι κυριότεροι μη παραμετρικοί έλεγχοι που χρησιμοποιούνται για την ανίχνευση της τάσης σε χρονοσειρές είναι ο έλεγχος Mann-Kendall [Mann (945), Kendall (975)] και Spearman s rho [Lehmann (975), Sneyers (99)]. Η εργασία του Yue (22) δείχνει ότι οι δύο αυτοί έλεγχοι έχουν σχεδόν την ίδια ισχύ στην ανίχνευση της τάσης. Γι αυτό χρησιμοποιούμε τον έλεγχο Mann-Kendall όπως εφαρμόστηκε στην εργασία Feidas et al (24) και τον συμβολίζουμε ΜΚ. 3. Μέθοδοι τυχαιοποίησης Χρησιμοποιώντας μέθοδο τυχαιοποίησης, παίρνουμε ένα υποσύνολο των πιθανών αναδιατάξεων n! [Fortin et al (22)]. Οι τεχνικές που χρησιμοποιήθηκαν για τη δημιουργία τυχαιοποιημένων, ή υποκατάστατων δεδομένων όπως αλλιώς λέγονται, διαφέρουν ανάλογα με το είδος της χρονοσειράς και με την κατανομή που ακολουθούν τα σφάλματα (Kugiumtzis (22). Όταν τα υπόλοιπα είναι λευκός θόρυβος, λόγω έλλειψης αυτοσυσχετίσεων μεταξύ των παρατηρήσεων, οι υποκατάστατες χρονοσειρές δημιουργούνται με τυχαίες αναδιατάξεις των στοιχείων της αρχικής χρονοσειράς χωρίς κανένα περιορισμό. Όταν τα υπόλοιπα ακολουθούν αυτοπαλινδρομούμενο μοντέλο και ο θόρυβος εισόδου ακολουθεί κανονική κατανομή N(,) για τη δημιουργία υποκατάστατων χρονοσειρών χρησιμοποιήθηκε μια τεχνική που τυχαιοποιεί τις φάσεις, μετά την χρήση μετασχηματισμού Fourier στην αρχική χρονοσειρά, και παράγει μια νέα διατηρώντας παράλληλα την αυτοσυσχέτιση της αρχικής χρονοσειράς [Theiler et al (992)]. Όταν ο λευκός θόρυβος εισόδου ακολουθεί μη κανονικές κατανομές (ομοιόμορφη και εκθετική) χρησιμοποιούμε την τεχνική τυχαιοποίησης IAAFT (Improved Amplitude Adjusted Fourier Transform) (Schreiber and Schmitz (996)). 4. Προσομοιώσεις n Αρχικά κατασκευάστηκαν χρονοσειρές με πλήθος στοιχείων 2 για n 4,5,6, 7 και με τιμές της τάσης b από -. έως. με βήμα.2. Για τα υπόλοιπα θεωρήσαμε λευκό θόρυβο από κανονική, ομοιόμορφη και εκθετική κατανομή, αλλά και αυτοπαλινδρομούμενο μοντέλο τάξης, με θόρυβο εισόδου επίσης από τις τρεις κατανομές. Για να ελέγξουμε την επίδραση του μεγέθους της αυτοσυσχέτισης των υπολοίπων, θεωρήσαμε την παράμετρο (που ισούται με την αυτοσυσχέτιση υστέρησης ) για τις τιμές -.95,-.8,-.4,.4,.8,.95. Για κάθε περίπτωση έγιναν Monte Carlo πραγματοποιήσεις και για κάθε μια από τις χρονοσειρές έγιναν οι 4 έλεγχοι θεωρώντας αναλυτική κατανομή για τα κάθε στατιστικό (κλασικός έλεγχος) και εμπειρική κατανομή σχηματισμένη από τις τιμές του στατιστικού για 99 υποκατάστατες χρονοσειρές (τυχαιοποιημένος έλεγχος)

5 Ειδικότερα για τον τυχαιοποιημένο έλεγχο, χρησιμοποιώντας την προσέγγιση της σειράς διάταξης (rank ordering) εξετάζουμε αν το στατιστικό q εκτιμώμενο στην αρχική χρονοσειρά βρίσκεται στην ουρά της διαταγμένης σειράς των 2 τιμών (όπου τα q,..., q 99 είναι από τις υποκατάστατες χρονοσειρές). Για παράδειγμα η Η απορρίπτεται σε σ.σ. α=.5 αν το q είναι στις θέσεις έως 5 ή 96 έως 2 και σε σ.σ. α=. αν το q είναι στις θέσεις ή 2. Στους Πίνακες και 2 δίνονται κάποια ενδεικτικά αποτελέσματα για λευκό κανονικό και ομοιόμορφο θόρυβο, χρονοσειρές μήκους 28 σημείων και τιμές τάσης -.2,. και.2. Η πιθανότητα ανίχνευσης τάσης εκτιμάται από την σχετική συχνότητα απόρριψης της Η σε σ.σ. α=.5 στις πραγματοποιήσεις. Πίνακας. Πιθανότητα ανίχνευσης τάσης για διαφορετικές συνθήκες τάσης και με διαφορετικούς ελέγχους, όπου το είναι λευκός κανονικός θόρυβος. ~ Ν(,) Τάση Έλεγχος (α=.5) Έλεγχοι τάσης C C2 C3 MK b=-.2 Κλασικός Τυχαιοποιημένος b=. Κλασικός Τυχαιοποιημένος b=.2 Κλασικός Τυχαιοποιημένος Πίνακας 2. Πιθανότητα ανίχνευσης τάσης για διαφορετικές συνθήκες τάσης και με διαφορετικούς ελέγχους, όπου το είναι λευκός ομοιόμορφος θόρυβος. ~ U[-,] Τάση Έλεγχος (α=.5) Έλεγχοι τάσης C C2 C3 MK b=-.2 Κλασικός Τυχαιοποιημένος b=. Κλασικός Τυχαιοποιημένος b=.2 Κλασικός Τυχαιοποιημένος Παρατηρούμε ότι οι μέθοδοι τυχαιοποίησης διορθώνουν τα σφάλματα τύπου Ι (για b=) και σε κάποιες περιπτώσεις τα σφάλματα τύπου ΙΙ (b ) που παρουσιάζει η α- ναλυτική κατανομή (παρουσιάζονται με έντονο χρώμα στον Πίνακα ). Αυτό παρατηρείται και για τις άλλες κατανομές λευκού θορύβου. Ειδικότερα ο έλεγχος τυχαιοποίησης διορθώνει το μεγάλο σφάλμα τύπου Ι του κλασικού ελέγχου με το στατιστικό C2. Βέβαια, παρατηρούμε την ελάττωση της ισχύος του τυχαιοποιημένου ελέγχου όταν η τάση είναι μη μηδενική, αλλά αυτό οφείλεται στο ότι ο τυχαιοποιημένος έλεγχος διορθώνει κατά πολύ το αρχικό σφάλμα (Κλασικός p=.26 Tυχαιοποιημένος p=.46)

6 Στο Σχήμα δίνονται τα γραφήματα για τους 4 ελέγχους (κλασσικό και τυχαιοποιημένο) όταν τα υπόλοιπα ακολουθούν AR() με =-.95 και κανονικό θόρυβο εισόδου. Παρατηρούμε ότι μεταβαίνοντας από κλασικό σε τυχαιοποιημένο έλεγχο αυξάνεται η ισχύς με τα στατιστικά C, C3 και ΜΚ και βελτιώνεται το σφάλμα τύπου Ι του C2. Παρόμοιες μεταβολές στην ισχύ των στατιστικών παρατηρούνται και όταν =-.8. (a) (b).9.8 c.9.8 c MK (c) c.9.8 (d) c MK Σχήμα. Πιθανότητα ανίχνευσης τάσης ως προς την τάση για τα 4 στατιστικά ό- που το δημιουργείται από AR() με =-.95 και κανονικό θόρυβο εισόδου (a) κλασικός έλεγχος. (b) τυχαιοποιημένος έλεγχος. Όμοια για =-.8 (c) κλασικός έλεγχος. (d) τυχαιοποιημένος. Αντίστοιχα αποτελέσματα δίνονται στο Σχήμα 2 για θόρυβο εισόδου του AR() από ομοιόμορφη κατανομή. Παρατηρούμε ότι όταν φ=-.95 το C2 βελτιώνει το σφάλμα τύπου Ι ενώ ταυτόχρονα τα C, ΜΚ και C3 δίνουν τα ίδια αποτελέσματα για τον κλασικό και τυχαιοποιημένο έλεγχο. Η ισχύς των κλασικών ελέγχων με όλα τα στατιστικά μεγαλώνει όταν οι αυτοσυσχετίσεις μειώνονται στα υπόλοιπα, π.χ. για =-.4 στο Σχήμα 2c, ενώ δε μεταβάλλεται σημαντικά στους τυχαιοποιημένους ελέγχους, όπως φαίνεται από τα Σχήματα 2b και 2d

7 .9.8 (a) c.9.8 (b) c MK (c) (d).9.8 c.9.8 c Σχήμα 2. Τα (a) και (b) είναι όπως στο Σχήμα αλλά για θόρυβο εισόδου από ομοιόμορφη κατανομή. Τα (c) και (d) είναι όπως τα (a) και (b) για =-.4. Στην περίπτωση όπου ο λευκός θόρυβος εισόδου προέρχεται από εκθετική κατανομή δίνονται τα παρακάτω γραφήματα. Βλέπουμε τη σημαντική αύξηση της ισχύος του κριτηρίου C3 καθώς και την σημαντική διόρθωση του σφάλματος τύπου Ι του κριτηρίου C2. Τα κριτήρια C και ΜΚ δεν παρουσιάζουν σημαντικές μεταβολές στην ισχύ τους μετά τον τυχαιοποιημένο έλεγχο. (a) (b).9.8 c.9.8 c Σχήμα 3. Τα (a) και (b) είναι όπως στο Σχήμα αλλά για θόρυβο εισόδου από εκθετική κατανομή. φ=-.8 Είναι σημαντικό να αναφέρουμε επίσης ότι τα αποτελέσματα που πήραμε από την προσομοίωση στις περιπτώσεις όπου ο συντελεστής συσχέτισης είναι θετικός και κοντά στην μονάδα δεν έδωσαν αποτελέσματα μέσα στα όρια του διαστήματος εμπιστοσύνης. Το σφάλμα τύπου Ι των ελέγχων εξακολουθούσε να είναι μεγάλο και μετά την χρήση τεχνικών τυχαιοποίησης. Ενδεχομένως το μέγεθος της χρονοσειράς να παίζει ρόλο στη βελτίωση των αποτελεσμάτων

8 6. Συμπεράσματα Μετά από τη μελέτη όλων των αποτελεσμάτων των προσομοιώσεων συμπεραίνουμε ότι είναι τα κριτήρια C2 και C3 διακρίνονται σε σχέση με τα άλλα δύο κριτήρια, εκτός από την περίπτωση όπου τα υπόλοιπα προέρχονται από λευκό θόρυβο λόγω της έλλειψης αυτοσυσχετίσεων, με την αναλυτική κατανομή αλλά η χρήση τεχνικών τυχαιοποίησης στα αρχικά δεδομένα μειώνει τα τυχόν σφάλματα τύπου Ι και ΙΙ που παρουσιάζουν σε ορισμένες περιπτώσεις και ταυτόχρονα αυξάνει την ισχύ τους κατά περίπτωση. Η πρόταση μας είναι να χρησιμοποιούνται αυτά τα δύο κριτήρια για ανίχνευση γραμμικής τάσης στα δεδομένα αφού έχει προηγηθεί τυχαιοποίηση στην αρχική χρονοσειρά. ABSTRACT Three parametric and one non-parametric linear tests for time series are evaluated in terms of test size and power, using also randomization tests to form the empirical distribution of the statistic of tests under the null hypothesis of no in data. Monte-Carlo simulations were made on these test for classical and randomization test under different settings of time series (length, autocorrelation, etc.). The results show that the type I and II errors of the tests are reduced with the use of randomization tests. Ευχαριστούμε θερμά τον Επίκουρο Καθηγητή του Γενικού Τμήματος της Πολυτεχνικής Σχολής του Α.Π.Θ. κ. Κ. Κουγιουμτζή Δημήτρη για την πολύτιμη βοήθεια του στην ολοκλήρωση αυτής της εργασίας. ΑΝΑΦΟΡΕΣ Bloomfield P. and Nychka D. (992). Climate Spectra and Detecting Climate Change. Climatic Change vol. 2 pp Bowerman - O Connell. Forecasting and Time Series. An applied approach. Third Edition 2.Duxbury Press. Brockwell J. P., Richard A. D.. Introduction to Time Series and Forecasting. Second Edition 22. Springer. Chandler R. (22). Trend Analysis For The Environmental Science-A Review, ESSG Meeting, March 22 Cryer D. J. Time Series Analysis PWS-KENT Publishing Company- Boston. Feidas H., Makrogiannis T. and Bora-Senta E. (24). Trend analysis of Air Temperature Time Series Data In Greece Determined By Ground and Satellite Data. Theoretical and Applied Climatology vol 79, pp Fortin M.-J., Jasquez G. & Shipley B. (22). Computer-intensive methods. Encyclopedia of Environmetrics vol., pp Kugiumtzis D. (22). Surrogate Data Test on Time Series. Contribution for the book Nonlinear Deterministic Modeling and Forecasting of Economics and Financial Time Series by A. Sool and L. Cao

9 Mann B. H. (945). Nonparametric Tests Against Trend. Econometrica, vol. 3, No. 3, pp Schreiber T. and Schmitz A (996). Improved Surrogate Data for Nonlinearity Tests. Physical Review Letters vol. 77, N. 4, pp Theiler, J., Eubank, S., Longtin, A., Galdrikian, B. & Farmer, J. D. [992].Testing for nonlinearity in time series: The method of surrogate data. Physica, D58, pp Vandaele W. (983). Applied Time Series and Box-Jenkins Models. Academic Press, INC, Harcourt Brace and Company Woodward A. Wayne and H. L. Gray (993). Global Warming and the Problem of Testing for Trend in Time Series Data. American Meteorological Society, vol. 6, pp Woodward A. Wayne, Bottone S. and H. L. Gray (997). Improved Tests for Trend in Time Series Data. Journal of Agricultural, Biological and Environmental Statistics, vol. 2, num. 4, pp Yue S., Pilon P. (24). A comparison of the power of the t test, Mann-Kendall and bootstrap tests for detection. Journal of Hydrological Science vol. 49 pp Yue S., Pilon P. and Cavadias G. (22). Power of Mann-Kendall and Spearman s rho tests for detecting monotonic in hydrological series. Journal of Hydrology vol. 259 pp

10