ΠΑΝΕΠΙΣΤΗΜΙΟ ΙΩΑΝΝΙΝΩΝ ΑΝΟΙΚΤΑ ΑΚΑΔΗΜΑΪΚΑ ΜΑΘΗΜΑΤΑ Ηλεκτρονικοί Υπολογιστές IV Μοντέλα χρονολογικών σειρών Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς.
White noise Time Series Models and Data Generation Processes Athanassios Stavrakoudis http://stavrakoudis.econ.uoi.gr 27/3/2013 1 / 39
Table of Contents White noise 1 White noise without drift with drift AR(1) process AR(2) process MA(1) process MA(2) process (1,1) 2 / 39
White noise White noise example T <- 100 y <- rnorm (T) y <- ts(t) plot (y, lwd =2, col =2) 3 / 39
White noise Histogram of with noise example > mean (y) [1] 0.1088874 > var (y) [1] 0.8067621 > sd(y) [1] 0.8981994 hist (y, xlim=c ( -3,3)) 4 / 39
White noise Correlation of noise noise > library ( corrplot ) > d <- data. frame ( cbind (y [1:25], y [26:50], y [51:75], + y [76:100])) > cor <- cor (d) > corrplot (cor, method =" shade ") 5 / 39
Table of Contents White noise without drift with drift 2 without drift with drift AR(1) process AR(2) process MA(1) process MA(2) process (1,1) 6 / 39
y White noise example without drift with drift y t = y t 1 + ɛ t, t = 1, 2,..., T T <- 100 y <- cumsum ( rnorm (T)) y <- ts(y) plot (y, lwd =2, col =2) 20 10 0 10 20 random walk 0 20 40 60 80 100 Time 7 / 39
y White noise example x10 without drift with drift random walk 20 10 0 10 20 0 20 40 60 80 100 Time T <- 100 N <- 10 plot (y, xlim =c(0,t), ylim =c ( -20,20), type ="n") for (t in 1:N) { y1 <- cumsum ( rnorm (T)) lines (y1, col =t+2, lwd =2, lty =2) } 8 / 39
y White noise example x1000 without drift with drift random walk 30 20 10 0 10 20 30 0 20 40 60 80 100 Time T <- 100 N <- 1000 plot (y, xlim =c(0,t), ylim =c ( -20,20), type ="n") for (t in 1:N) { y1 <- cumsum ( rnorm (T)) lines (y1, col =t+2, lwd =2, lty =2) } 9 / 39
White noise without drift with drift Distribution of end value of random walk Y t = Y t 1 + e t, t = 1, 2,... 100 What is y 100, Var(y 100 ) or distribution of y 100? Histogram of x T <- 100 N <- 1000 x <- rep (0, N) for ( i in 1: N) { y1 <- cumsum ( rnorm (T)) x[i] <- y1[t] } hist (x) Frequency 0 50 100 150 200 30 20 10 0 10 20 30 x 10 / 39
White noise correlation without drift with drift X1 X2 X3 X4 1 X1 0.8 0.6 0.4 X2 0.2 0 X3 0.2 0.4 0.6 X4 0.8 1 > library ( corrplot ) > d <- data.frame (cbind (y [1:25], y [26:50], y [51:75], y [76:100])) > cor <- cor (d) > corrplot (cor, method=" shade ") 11 / 39
y White noise with drift Drift example without drift with drift y t = µ + y t 1 + e t, t = 1, 2,... 100 T <- 100 mu <- 0.1 y <- rep (0, T) y0 <- 0 e <- rnorm ( T) y [1] <- mu + y0 + e [1] for ( t in 2: T) { y[ t] <- mu + y[t -1] + e[ t] } y <- ts(y) 0 10 20 30 40 random walk with drift 0 20 40 60 80 100 Time 12 / 39
y White noise with drift x1000 without drift with drift N <- 1000 for ( i in 1: N) { y1 <- rep (0, T) y0 <- 0 e <- rnorm ( T) y [1] <- mu + y0 + e [1] for ( t in 2: T) { y1[t] <- mu + y1[t -1] + e[t] } } y1 <- ts(y1) lines (y1, col =i+2, lwd =2, lty =2) 20 10 0 10 20 30 40 50 random walk with drift x1000 0 20 40 60 80 100 Time 13 / 39
White noise without drift with drift Distribution of end value of random walk with drift Y t = 0.1 + Y t 1 + e t, t = 1, 2,... 100 What is y 100, Var(y 100 ) or distribution of y 100? Histogram of x E(y t ) = y 0 + µt V (y t ) = tσe 2 Frequency 0 50 100 150 200 20 10 0 10 20 30 40 14 / 39
Table of Contents White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) without drift with drift 3 AR(1) process AR(2) process MA(1) process MA(2) process (1,1) 15 / 39
y White noise Autoregressive model AR(1) process AR(2) process MA(1) process MA(2) process (1,1) Autoregressive model Y t = µ + ρ 1 Y t 1 + ρ 2 Y t 2 +... + ρ p Y t p + ɛ t µ, ρ i constants, ɛ t white noise. random walk 1st order autoregressive model y t = 0 + 0.8y t 1 + ɛ t 6 4 2 0 2 4 6 0 20 40 60 80 100 Time 16 / 39
White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) AR(1) Data Generation Process Autoregressive model µ, ρ constants, ɛ t white noise. Y t = µ + ρy t 1 + ɛ t 1st order autoregressive model > rho <- 0.8 > mu <- 0 > y <- NA > y <- rnorm (1) > for ( t in 2: T) { y[ t] <- mu + rho * y[t -1] + rnorm (1) } y <- ts(y) 17 / 39
White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) AR(1) Data Generation Process Autoregressive model µ, ρ constants, ɛ t white noise. Y t = µ + ρy t 1 + ɛ t 1st order autoregressive model > rho <- 0.8 > mu <- 0 > y1 <- mu + arima. sim ( n=t, list (ar=c( rho )) ) 18 / 39
AR(1) x100 White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = 0.8y t 1 + ɛ t AR(1) x 100, rho=0.8 y 10 5 0 5 10 0 20 40 60 80 100 Time 19 / 39
AR(1) various ρ White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = ρy t 1 + ɛ t AR(1) x 100, rho=0.8 y 10 5 0 5 10 0.50 0.95 0.50 0.95 0 20 40 60 80 100 Time 20 / 39
AR(2) White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = 0.5y t 1 + 0.3y t 2 + ɛ t AR(2), rho1=0.5 rho2=0.3 6 4 2 0 2 4 6 y 0 20 40 60 80 100 > rho1 <- 0.5 > rho2 <- 0.3 > y <- arima. sim ( n=t, list (ar=c (0.5, 0.3)) ) Time 21 / 39
y AR(2) x 100 White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) AR(2) x 100, rho1=0.5 rho2=0.3 AR(2) example y t = 0.5y t 1 + 0.3y t 2 + ɛ t 6 4 2 0 2 4 6 0 20 40 60 80 100 Time 22 / 39
y White noise Moving average model AR(1) process AR(2) process MA(1) process MA(2) process (1,1) Moving average model Y t = µ + ɛ t + θ 1 ɛ t 1 + θ 2 ɛ t 2 +... + θ p ɛ t p µ, θ i constants, ɛ t white noise. 1st order moving average model y t = ɛ t + 0.8θ t 1 4 2 0 2 4 0 20 40 60 80 100 Time 23 / 39
White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) MA(1) Data Generation Process Moving average example model Y t = 0 + ɛ t + 0.8ɛ t 1 > mu <- 0 > theta <- 0.8 > y <- NA > e <- NA > e0 <- rnorm (1) > e <- rnorm ( T) > y [1] <- mu + e [1] - theta *e0 > for ( t in 2: T) { y[ t] <- mu + e[ t] + theta * e[t -1] } > y <- ts(y) 24 / 39
White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) MA(1) Data Generation Process with arima.sim Moving average example model Y t = 0 + ɛ t + 0.8ɛ t 1 > y <- 0 + arima. sim ( n=t, list (ma=c (0.8)) ) 4 2 0 2 4 y 0 20 40 60 80 100 Time 25 / 39
MA(1) x100 White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) Y t = ɛ t + 0.8ɛ t 1 MA(1) x 100, theta=0.8 y 6 4 2 0 2 4 6 0 20 40 60 80 100 Time 26 / 39
MA(1) various θ White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) Y t = ɛ t + 0.8ɛ t 1 MA(1) various theta y 4 2 0 2 4 0.50 0.95 0.50 0.95 0 20 40 60 80 100 Time 27 / 39
MA(1) estimation White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) J. Durbin, Biometrika, Vol. 46, (1959), pp. 306-316 28 / 39
MA(2) White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = ɛ t + 0.5ɛ t 1 + 0.3ɛ t 2 + ɛ t AR(2), rho1=0.5 rho2=0.3 6 4 2 0 2 4 6 y 0 20 40 60 80 100 > rho1 <- 0.5 > rho2 <- 0.3 > y <- arima. sim ( n=t, list (ar=c (0.5, 0.3)) ) Time 29 / 39
MA(2) step by step White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = ɛ t + 0.5ɛ t 1 + 0.3ɛ t 2 T <- 100 theta1 <- 0.8 theta2 <- 0.3 mu <- 0.0 y <- NA e0 <- rnorm (1) e1 <- rnorm (1) e <- rnorm ( T) y [1] <- mu + e [1] + theta1 * e0 + theta2 * e1 y [2] <- mu + e [2] + theta1 *e1 + theta2 *e [1] for ( t in 3: T) { y[ t] <- mu + e[ t] + theta1 * e[t -1] + theta2 * e[t -2] } y <- ts(y) 30 / 39
y White noise AR(1) process AR(2) process MA(1) process MA(2) process (1,1) (1,1) Data Generation Process with arima.sim Y t = µ + ρy t 1 + θɛ t 1 + ɛ t y t = 0 + ɛ t + 0.8y t 1 0.5ɛ t 1 4 2 0 2 4 0 20 40 60 80 100 Time y <- arima. sim (n =100, list (ar=c (0.8), ma=c ( -0.5))) 31 / 39
White noise (1,1) step by step AR(1) process AR(2) process MA(1) process MA(2) process (1,1) y t = 0 + ɛ t + 0.8y t 1 0.5ɛ t 1 T <- 100 rho <- 0.8 theta <- -0.5 mu <- 0.0 y <- NA y0 <- mu e <- rnorm ( T) e0 <- rnorm (1) y [1] <- mu + rho *y0 + theta *e0 + e [1] for ( t in 2: T) { y[t] <- mu + + rho *y[t -1] + theta *e[t -1] + e[t] } y <- ts(y) 32 / 39
Table of Contents White noise without drift with drift AR(1) process AR(2) process MA(1) process MA(2) process (1,1) 4 33 / 39
White noise Choose appropriate starting values y t = µ + ρy t + ɛ t E(y t ) = 0 V (y t ) = σ2 ɛ 1 ρ 2 y0 <- 0 y0 <- rnorm (1) y0 <- rnorm (1, mu/(1 - rho ), 1/(1 - rho ^2)) 34 / 39
White noise Use efficient declaration of variables x <- NA for ( i in 1:100) { x[ i] = 0 } x <- rep (0, 100) 35 / 39
White noise Avoid unnecessary loops x <- cumsum ( rnorm (100)) x <- rep (0, 100) x [1] <- rnorm (1) for ( i in 2:100) { x[ i] <- x[i -1] + rnorm } 36 / 39
Plot White noise random walk with drift x1000 y 20 10 0 10 20 30 40 50 0 20 40 60 80 100 Time 37 / 39
Test White noise to be continued... 38 / 39
Σχόλια και ερωτήσεις Ωηιτε νοισε Ρανδομ ωαλκ ΑΡΜΑ ὃνλςυσιονς Σας ευχαριστώ για την προσοχή σας Είμαι στη διάθεσή σας για σχόλια, απορίες και ερωτήσεις 39 / 39
Τέλος Ενότητας
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο Πανεπιστήμιο Ιωαννίνων» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.
Σημειώματα
Σημείωμα Ιστορικού Εκδόσεων Έργου Το παρόν έργο αποτελεί την έκδοση 1.0. Έχουν προηγηθεί οι κάτωθι εκδόσεις: Έκδοση 1.0 διαθέσιμη εδώ. http://ecourse.uoi.gr/course/view.php?id=1155.
Σημείωμα Αναφοράς Copyright Πανεπιστήμιο Ιωαννίνων, Διδάσκων: Επίκουρος Καθηγητής Αθανάσιος Σταυρακούδης. «Ηλεκτρονικοί Υπολογιστές IV. Μοντέλα χρονολογικών σειρών». Έκδοση: 1.0. Ιωάννινα 2014. Διαθέσιμο από τη δικτυακή διεύθυνση: http://ecourse.uoi.gr/course/view.php?id=1155.
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά Δημιουργού - Παρόμοια Διανομή, Διεθνής Έκδοση 4.0 [1] ή μεταγενέστερη. [1] https://creativecommons.org/licenses/by-sa/4.0/.