Pengantar Proses Stokastik

Bab 3: Diskrit Statistika FMIPA Universitas Islam Indonesia

Ilustrasi 1 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Perilaku bunuh diri kini kian menjadi-jadi. Hesti (nama sebenarnya) adalah sebuah contoh. Dia pernah melakukan percobaan bunuh diri, namun gagal. Menurut pakar, kalau pada suatu waktu seseorang melakukan percobaan bunuh diri maka besar kemungkinan dia akan melakukannya lagi di masa mendatang. Jika seseorang belum pernah melakukan percobaan bunuh diri, di masa mendatang orang tersebut akan mungkin melakukan percobaan bunuh diri. Deskripsikan fenomena diatas sebagai model peluang (probability model).

Ilustrasi 2 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Loyalitas konsumen terhadap suatu merek barang. Wilkie (1994) mendefinisikan brand loyalty as a favorable attitude toward and consistent purchase of a particular brand. Lyong (1998): brand loyalty is a function of a brands relative frequency of purchase in both time-independent and time-dependent situations. Seorang konsumen pembeli merek barang A diharapkan akan terus membeli barang A. Mungkinkah ini terjadi? Apakah model statistika yang dapat dengan tepat (atau mendekati tepat) merinci peluang terjadinya hal ini? Apakah model ini membantu dalam strategi pemasaran suatu barang?

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan sebuah proses stokastik {X t } dengan t = 0, 1, 2,.... Nilai yang mungkin dari X t adalah hingga atau terhitung Memiliki peluang transisi atau peluang berpindahnya keadaan i (pada waktu t) ke keadaan j (pada waktu t + 1) adalah P ij yaitu P(X t+1 = j X t = i, X t 1 = i t 1,..., X 1 = i 1, X 0 = i 0 ) = P ij Distribusi bersyarat X t+1 diberikan keadaan-keadaan lampau X 0, X 1,..., X t 1 dan keadaan sekarang X t, hanya bergantung pada keadaan sekarang (Sifat Markov) Maka proses stokastik demikian dikenal dengan nama Rantai Markov.

Matriks Peluang Transisi Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat P ij adalah peluang bahwa proses akan berada di keadaan j dari keadaan i P ij 0, i, j 0; P ij = 1, i = 0, 1,... j=0 Perhatikan P(X t+1 = j X t = i, X t 1 = i t 1,..., X 1 = i 1, X 0 = i 0 ) = P(X t+1 = j X t = i) = P ij disebut peluang transisi satu langkah.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan P menyatakan matriks peluang transisi satu langkah P ij, maka P 00 P 01 P 02... P 10 P 11 P 12... P =... P i0 P i1 P i2......

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Atau dapat pula digambarkan sebagai berikut

Contoh 1 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Jika hari ini hujan, peluang besok hujan adalah α. Jika hari ini tidak hujan, peluang besok hujan adalah β. Misal: 0 : hujan 1 : tidak hujan Maka matriks peluang transisinya adalah ( ) α 1 α P = β 1 β

Contoh 2 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Dalam suatu hari, Gary bisa ceria (C), biasa saja (B), atau murung (M). Jika hari ini ceria, maka dia akan C, B, atau M besok dengan peluang masing-masing 0.5, 0.4, 0.1. Jika dia merasa biasa saja hari ini, maka dia akan C, B, atau M besok dengan peluang masing-masing 0.3, 0.4, 0.3. Jika dia merasa murung hari ini, maka dia akan C, B, atau M besok dengan peluang masing-masing 0.2, 0.3, 0.5.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan keadaan 0 = C, keadaan 1 = B, dan keadaan 2 = M, maka matriks peluang transisinya adalah 0.5 0.4 0.1 P = 0.3 0.4 0.3 0.2 0.3 0.5

Contoh 3 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Keadaan pada suatu hari: Jika dua hari terakhir hujan, peluang besok hujan 0.7 Jika hari ini hujan dan kemarin tidak hujan, peluang besok hujan 0.5 Jika hari ini tidak hujan dan kemarin hujan, peluang besok hujan 0.4 Jika hari ini dan kemarin tidak hujan, peluang besok hujan 0.2

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misal: 0 : hujan 1 : tidak hujan Maka matriks peluang transisinya adalah 0.7 0 0.3 0 P = 0.5 0 0.5 0 0 0.4 0 0.6 0 0.2 0 0.8

Contoh 4 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Sebuah penelitian dilakukan untuk mengetahui efek pemberian zat X untuk menangani penyebaran virus A pada tubuh manusia. Penelitian tersebut diujicobakan pada seekor mencit yang diberi suntikan virus A kemudian setelah 6 jam pertama mencit tersebut diberi suntikan zat X. Selanjutnya mencit tersebut akan diamati perubahan kondisinya setiap 6 jam selama 1 minggu. Berdasarkan pengamatan diperoleh data sebagai berikut:

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Keterangan: S menyatakan kondisi sehat, L menyatakan kondisi lemas, dan P menyatakan kondisi pingsan.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Matriks peluang transisinya adalah 0.538 0.231 0.231 P = 0.625 0.25 0.125 0.167 0.5 0.333

Matriks Stokastik Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Perhatikan matriks-matriks berikut: 0.7 0 0.3 0 0.5 0.4 0.1 P = 0.3 0.4 0.3, P = 0.5 0 0.5 0 0 0.4 0 0.6 0.2 0.3 0.5 0 0.2 0 0.8

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Matriks-matriks tersebut memiliki sifat-sifat berikut: Memiliki jumlah baris dan kolom sama, atau matriks bujursangkar Jumlah unsur-unsur di setiap baris adalah satu Tidak selalu memiliki jumlah unsur-unsur di setiap kolom sama dengan satu Nilai setiap unsurnya diantara nol dan satu Matriks dengan sifat-sifat tersebut dikatakan sebagai matriks stokastik.

Contoh 5 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Suatu rantai Markov dengan keadaan-keadaan 0, 1, 2 mempunyai matriks peluang transisi 0.1 0.2 0.7 P = 0.9 0.1 0 0.1 0.8 0.1 dan P(X 0 = 0) = 0.3, P(X 0 = 1) = 0.4, P(X 0 = 2) = 0.3. Hitung P(X 0 = 0, X 1 = 1, X 2 = 2).

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Penyelesaian: P(X 0 = 0, X 1 = 1, X 2 = 2) = P(X 2 = 2 X 1 = 1, X 0 = 0)P(X 1 = 1, X 0 = 0) = P(X 2 = 2 X 1 = 1, X 0 = 0)P(X 1 = 1 X 0 = 0)P(X 0 = 0) = P(X 2 = 2 X 1 = 1)P(X 1 = 1 X 0 = 0)P(X 0 = 0) = 0(0.2)(0.3) = 0

Contoh 6 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Suatu rantai Markov dengan keadaan-keadaan 0, 1, 2 0.7 0.2 0.1 P = 0 0.6 0.4 0.5 0 0.5 Hitung P(X 2 = 1, X 3 = 1 X 1 = 0) dan P(X 1 = 1, X 2 = 1 X 0 = 0).

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Penyelesaian: a. P(X 2 = 1, X 3 = 1 X 1 = 0) = P(X 3 = 1 X 2 = 1)P(X 2 = 1 X 1 = 0) = 0.6(0.2) = 0.12 b. P(X 1 = 1, X 2 = 1 X 0 = 0) = P(X 2 = 1 X 1 = 1)P(X 1 = 1 X 0 = 0) = 0.6(0.2) = 0.12

Contoh 7 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Suatu matriks stokastik dengan keadaan-keadaan 0, 1, 2 Hitung E(X 2 X 1 = 2) 1 3 1 3 1 3 P = 1 1 1 2 4 4 1 0 0

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Penyelesaian: 2 E(X 2 X 1 = 2) = x 2 P(X 2 = x 2 X 1 = 2) x 2 =0 = 0 + (1) P(X 2 = 1 X 1 = 2) + (2) P(X 2 = 2 X 1 = 2) = 0

Matriks Stokastik n-langkah Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Pandang matriks stokastik satu-langkah: ( ) 0.3 0.7 P = 0.5 0.5 Selanjutnya, kita dapat menentukan matriks stokastik dua-langkah yaitu matriks yang didefinisikan pada ruang keadaan yang sama namun ruang waktu dua-langkah atau {t, t + 2}.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Ingat kembali matriks stokastik satu-langkah P ij = P(X t+1 = j X t = i) Kita dapat menentukan matriks stokastik dua-langkah yaitu Pij 2 = P(X t+2 = j X t = i) Dalam kasus ini ( P 2 P 2 = 00 P01 2 ) P10 2 P11 2

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Kita bisa menggunakan law of total probability yaitu P00 2 = P(X t+2 = 0 X t = 0) = P(X t+2 = 0, X t+1 = 0 X t = 0) + P(X t+2 = 0, X t+1 = 1 X t = 0) = P(X t+2 = 0 X t+1 = 0, X t = 0)P(X t+1 = 0 X t = 0) + P(X t+2 = 0 X t+1 = 1, X t = 0)P(X t+1 = 1 X t = 0) = P(X t+2 = 0 X t+1 = 0)P(X t+1 = 0 X t = 0) + P(X t+2 = 0 X t+1 = 1)P(X t+1 = 1 X t = 0) = P 00 P 00 + P 10 P 01 = P 00 P 00 + P 01 P 10

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Penyelesaian tersebut berlaku pula untuk P 2 01, P2 10 dan P2 11. Atau sama saja dengan mengalikan dua matriks P yaitu P 2 = P.P ( ) ( ) P00 P = 01 P00 P. 01 P 10 P 11 P 10 P 11 ( ) P00 P = 00 + P 01 P 10 P 00 P 01 + P 01 P 11 P 10 P 00 + P 11 P 10 P 10 P 01 + P 11 P 11

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Jadi, untuk contoh di atas P 2 00 = P 00 P 00 + P 01 P 10 = 0.3(0.3) + 0.7(0.5) = 0.44 atau, matriks stokastik dua-langkahnya adalah ( ) ( ) P 2 0.3 0.7 0.3 0.7 =. 0.5 0.5 0.5 0.5 ( ) 0.44 0.56 = 0.4 0.6

Chapman-Komogorov Equations Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan P n ij menyatakan peluang bahwa proses pada keadaan i akan berada pada keadaan j setelah n-transisi, P n ij = P (X t+n = j X t = i), n 0, i, j 0

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Persamaan Chapman-Kolmogorov memberikan metode untuk menghitung peluang transisi n + m-langkah, yaitu P n+m ij = k=0 P n ik Pm kj untuk semua n, m 0, semua i, j P n ik Pm kj menyatakan peluang bahwa proses bermula pada keadaan i akan berpindah ke keadaan j dalam n + m transisi melalui keadaan k pada transisi ke-n.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat P n+m ij = P(X n+m = j X 0 = i) = P(X n+m = j, X n = k X 0 = i) = = k=0 P(X n+m = j X n = k, X 0 = i)p(x n = k X 0 = i) k=0 Pkj m Pn ik = k=0 k=0 P n ik Pm kj

Contoh 8 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan pada Contoh 1 diketahui α = 0.7 dan β = 0.4, maka tentukan peluang bahwa akan hujan pada empat hari dari hari ini diberikan bahwa hari ini hujan!

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat [ ] [ ] [ ] 0.7 0.3 0.7 0.3 0.61 0.39 P 2 = = 0.4 0.6 0.4 0.6 0.52 0.48 [ ] [ ] [ ] 0.61 0.39 0.61 0.39 0.5749 0.4251 P 4 = = 0.52 0.48 0.52 0.48 0.5668 0.4332 Jadi, P00 4 = 0.5749

Contoh 9 Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Perhatikan Contoh 3, diberikan pada hari Senin dan Selasa hujan, berapa peluang bahwa pada hari Kamis akan hujan?

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat 0.7 0 0.3 0 0.7 0 0.3 0 P 2 = 0.5 0 0.5 0 0.5 0 0.5 0 0 0.4 0 0.6 0 0.4 0 0.6 0 0.2 0 0.8 0 0.2 0 0.8 0.49 0.12 0.21 0.18 = 0.35 0.20 0.15 0.30 0.20 0.12 0.20 0.48 0.10 0.16 0.10 0.64 Senin Selasa Rabu Kamis 0 0 0 atau 1 0

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Peluang bahwa Kamis hujan adalah: P 00.00 P 00.00 + P 00.01 P 01.10 = P 2 00.00 + P 2 00.10 = 0.49 + 0.12 = 0.61

Peluang Transisi Tak Bersyarat Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Peluang transisi P n ij yang sudah kita hitung di atas merupakan peluang bersyarat. Jika kita ingin menghitung peluang transisi tak bersyaratnya yaitu P(X n = j), maka kita bisa menggunakan law of total probability yaitu P(X n = j) = = P(X n = j X 0 = i) P(X 0 = i) i=0 Pij n α i i=0 dengan α i = P(X 0 = i), i 0 adalah peluang tak bersyarat pada keadaan awal atau t = 0, dan α i = 1 i=0

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Sebagai contoh, berdasarkan Contoh 8, jika α 0 = 0.4, α 1 = 0.6, maka peluang (tak bersyarat) bahwa akan hujan empat hari setelah kita mempunyai data perubahan cuaca adalah P(X 4 = 0) = P(X 4 = 0 X 0 = 0)P(X 0 = 0) + P(X 4 = 0 X 0 = 1)P(X 0 = 1) = P 4 00 α 0 + P 4 10 α 1 = 0.4P 4 00 + 0.6P 4 10 = (0.4)(0.5749) + (0.6)(0.5668) = 0.57

Kebebasan dalam Matriks Stokastik Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Misalkan P = ( 0.4 ) 0.6 0.4 0.6 Maka, P(X t = 0 X t 1 = 0) = P(X t = 0 X t 1 = 1) = 0.4 Kemudian, dengan law of total probability P(X t = 0) = P(X t = 0 X t 1 = 0)P(X t 1 = 0) + P(X t = 0 X t 1 = 1)P(X t 1 = 1) α = 0.4 α + 0.4 (1 α) Jadi, α = 0.4

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Dengan kata lain P(X t = 0 X t 1 = 0) = 0.4 = P(X t = 0) Ini berarti bahwa peubah acak X t saling bebas.

Contoh-contoh Lain Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat 1. Jika pada waktu t, Vanes mengajukan klaim asuransi, maka Vanes akan mengajukan klaim pada waktu t + 1 dengan peluang α; jika Vanes tidak mengajukan klaim asuransi saat ini maka di masa depan Vanes akan mengajukan klaim asuransi dengan peluang β. Matriks peluang transisinya adalah Keadaan: 0 : tidak mengajukan klaim 1 : mengajukan klaim ( ) 1 β β P = 1 α α

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat 2. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES, maka peluang GAGAL pada percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN, peluang GAGAL adalah 0.4.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat Keadaan-keadaan: 0 (SS) : kemarin S, sekarang S 1 (SG) : kemarin S, sekarang G 2 (GS) : kemarin G, sekarang S 3 (GG) : kemarin G, sekarang G 0.2 0.8 0 0 P = 0 0 0.6 0.4 0.6 0.4 0 0 0 0 0.6 0.4

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat 3. Tim sepakbola IKS UII akan memainkan tujuh rangkaian pertandingan. Hasil setiap pertandingan saling bebas. Setiap pertandingan akan dimenangkan oleh tim A dengan peluang α dan oleh tim B dengan peluang 1 α. Misalkan keadaan suatu sistem direpresentasikan oleh pasangan (a, b) di mana a menyatakan banyak pertandingan yang dimenangkan oleh A dan b adalah banyak pertandingan yang dimenangkan B. Bentuklah untuk masalah tersebut. Catatan: a + b 7 dan rangkaian pertandingan akan berakhir jika a = 4 atau b = 4.

Matriks Peluang Transisi Matriks Stokastik Chapman-Komogorov Equations Peluang Transisi Tak Bersyarat

Keadaan j dikatakan dapat diakses dari keadaan i jika P n ij > 0 untuk suatu n 0. i j Perhatikan bahwa hal ini mengakibatkan keadaan j dapat diakses dari keadaan i jika dan hanya jika, dimulai pada keadaan i, proses akan pernah masuk ke keadaan j. Dua keadaan i dan j yang dapat diakses satu sama lain dikatakan dapat berkomunikasi. i j

Contoh: P = ( ) 0.7 0.3 1 0 Apakah keadaan 1 bisa berkomunikasi dengan dirinya sendiri? Solusi: Jadi, 1 1 P 11 = 0 P 2 11 = P 10 P 01 + P 11 P 11 = 1(0.3) + 0 = 0.3 > 0

Jenis keadaan: 1 Keadaan i berkomunikasi dengan keadaan i untuk semua i 0 2 Jika keadaan i berkomunikasi dengan keadaan j, maka keadaan j berkomunikasi dengan keadaan i 3 Jika keadaan i berkomunikasi dengan keadaan j dan keadaan j berkomunikasi dengan keadaan k, maka keadaan i berkomunikasi dengan keadaan k.

Dua keadaan yang saling berkomunikasi dikatakan berada dalam kelas yang sama. dikatakan tidak dapat direduksi jika hanya terdapat satu kelas keadaan, yaitu jika semua keadaan saling berkomunikasi satu sama lain. Sebuah keadaan yang tidak bisa berpindah ke keadaan yang lain dikatakan sebagai keadaan absorbing.

Contoh 10 Tentukan kelas keadaan dari dengan peluang transisi 0.7 0 0.3 0 P = 0.5 0 0.5 0 0 0.4 0 0.6 0 0.2 0 0.8

a. 0 1 P 01 = 0 P01 2 = P 00 P 01 + P 01 P 11 + P 02 P 21 = 0 + 0 + 0.3(0.4) = 0.12 > 0 0 1 P 10 = 0.5 > 0 0 1 Jadi, 0 1

b. 1 2 P 12 = 0.5 > 0 P 21 = 0.4 > 0 Jadi, 1 2 c. 2 3 Jadi, 2 3 P 23 = 0.6 > 0 P 32 = 0 P 2 32 = P 30 P 02 + P 31 P 12 + P 32 P 22 + P 33 P 32 = 0 + 0.2(0.5) + 0 + 0 = 0.1 > 0

Karena 0 1, 1 2, dan 2 3, maka masing-masing keadaan saling berkomunikasi sehingga kelas keadaannya adalah {0, 1, 2, 3} dan tersebut tidak dapat direduksi.

Contoh 11 Tentukan kelas keadaan dari matriks peluang transisi berikut 1 0 0 P = 1/2 1/4 1/4 1/4 1/4 1/2

Solusi: Kelas keadaannya: {0} dan {1, 2}. Keadaan {0} bersifat absorbing.

Keadaan Recurrent dan Transient Untuk setiap keadaan i, misalkan f i peluang bahwa dimulai dari keadaan i proses akan pernah kembali ke keadaan i. Keadaan i dikatakan recurrent jika f i = 1 dan dikatakan transient jika f i < 1. Jika keadaan i recurrent, maka proses akan terus kembali ke keadaan i dengan peluang satu. Dengan definisi Rantai Markov, proses akan dimulai lagi ketika kembali ke keadaan i, dan seterusnya, sehingga keadaan i akan dikunjungi lagi. Jika keadaan i recurrent maka dimulai dari keadaan i maka proses akan kembali ke keadaan i terus dan terus sebanyak tak hingga kali.

Misalkan keadaan i transient. Setiap kali proses kembali ke keadaan i terdapat kemungkinan (peluang yang positif) sebesar 1 f i bahwa proses tidak pernah kembali ke keadaan i. Dengan demikian, dimulai dari keadaan i, peluang bahwa proses berada di i sebanyak tepat n periode/kali adalah (1 f i ), n 1. Jika keadaan i transient maka, dimulai dari keadaan i, banyak periode/kali bahwa proses akan berada di keadaan i adalah peubah acak geometri dengan parameter 1 f i f n 1 i

Keadaan i recurrent jika dan hanya jika, dimulai dari keadaan i, maka banyak periode/kali yang diharapkan (expected number of time periods) bahwa proses akan berada di keadaan i adalah tak hingga.

Misalkan I n = { 1, X n = i 0, X n i Misalkan I n menyatakan banyak periode/kali bahwa proses n=0 berada dalam keadaan i, dan [ ] E I n X 0 = i = n=0 = = E[I n X 0 = i] n=0 P(X n = i X 0 = i) n=0 n=0 P n ii

Proposisi Keadaan i adalah Recurrent jika Pii n = n=1 Transient jika Pii n < n=1

Contoh 12 Misalkan yang terdiri atas keadaan-keadaan 0, 1, 2, 3 mempunyai matriks peluang transisi 0 0 1/2 1/2 P = 1 0 0 0 0 1 0 0 0 1 0 0 Tentukan keadaan mana yang transient dan mana yang recurrent.

Solusi: Semua keadaan saling berkomunikasi dan semua keadaan bersifat recurrent

Contoh 13 Matriks peluang transisi 1/2 1/2 0 0 0 1/2 1/2 0 0 0 P = 0 0 1/2 1/2 0 0 0 1/2 1/2 0 1/4 1/4 0 0 1/2 Tentukan kelas keadaan dan sifat-sifatnya

Solusi: tersebut terdiri atas tiga kelas yaitu {0, 1}, {2, 3}, dan {4}. Sifat-sifatnya: Kelas {0, 1} dan {2, 3} bersifat recurrent Kelas {4} bersifat transient

Misalkan matriks peluang transisi pada adalah ( ) 0.5 0.5 P = 0.7 0.3 Maka matriks peluang transisi 4 dan 8 langkahnya adalah ( ) P 4 0.5840 0.4160 = 0.5824 0.4176 P 8 = ( 0.5833 ) 0.4167 0.5833 0.4167

Perhatikan bahwa matriks P 8 hampir identik dengan matriks P 4. Selain itu, setiap baris dari P 8 memiliki unsur yang identik. Pada kenyataannya, sepertinya P n ij konvergen ke suatu nilai, untuk n, yang sama untuk semua i. Dengan kata lain, terdapat limit peluang bahwa proses akan berada di keadaan j setelah sekian langkah (transisi). Nilai limit ini saling bebas dengan nilai pada keadaan awal.

Jika waktu kembali yang pertama dari keadaan i hanya dapat berupa kelipatan dari integer d > 1, keadaan tersebut disebut periodik. Keadaan yang memiliki periode 1 disebut aperiodik. Contoh periodik: 0 1 0 P = 0.5 0 0.5 0 1 0

Jika keadaan i recurrent, maka keadaan tersebut akan dikatakan positive recurrent jika, dimulai dari keadaan i, waktu harapan hingga proses kembali ke i adalah hingga. Pada yang memiliki keadaan hingga, semua keadaan recurrent adalah positive recurrent. Suatu keadaan yang positive recurrent dan aperiodik disebut ergodik.

Teorema Untuk yang ergodik dan tidak dapat direduksi, lim n Pn ij ada dan saling bebas dari i. Misalkan π j = lim n Pn ij, j 0, maka π j adalah solusi nonnegatif tunggal dari dengan π j = 1. j=0 π j = π i Pij n, j 0, i=0

Catatan: Perhatikan bahwa P(X n+1 = j) = = P(X n+1 = j X n = i) P(X n = i) i=0 P ij P(X n = i) i=0 Misalkan n dan asumsikan kita bisa menambahkan limit di dalam persamaan, maka π j = P ij π i i=0

Limit peluang π j adalah peluang jangka panjang (long-run proportion of time) bahwa suatu proses akan berada di keadaan j. Jika tidak dapat direduksi, maka terdapat solusi untuk π j = lim n Pn ij, j 0,, dengan π j = 1, jika dan j hanya jika bersifat positive recurrent. Jika solusinya ada, maka solusi tersebut tunggal dan π j adalah proporsi jangka panjang bahwa berada dalam keadaan j. Jika aperiodik, maka π j adalah limit peluang bahwa rantai akan berada di keadaan j.

Contoh 14 Jika hari ini hujan, peluang besok hujan adalah α. Jika hari ini tidak hujan, peluang besok hujan adalah β. Misal: 0 : hujan 1 : tidak hujan Maka matriks peluang transisinya adalah ( ) α 1 α P = β 1 β dan kita mempunyai persamaan-persamaan π 0 = απ 0 + βπ 1 π 1 = (1 α)π 0 + (1 β)π 1 π 0 + π 1 = 1

Maka diperoleh peluang hujan dan tidak hujan dalam jangka panjang adalah β π 0 = 1 + β α dan π 1 = 1 α 1 + β α

Contoh 15 Misalkan keadaan mood Gary disajikan dalam matriks peluang transisi 0.5 0.4 0.1 P = 0.3 0.4 0.3 0.2 0.3 0.5 Berapa peluang jangka panjang untuk masing-masing keadaan?

Kita mempunyai persamaan: π 0 + π 1 + π 2 = 1 dan diperoleh solusinya yaitu π 0 = 0.5π 0 + 0.3π 1 + 0.2π 2 π 1 = 0.4π 0 + 0.4π 1 + 0.3π 2 π 2 = 0.1π 0 + 0.3π 1 + 0.5π 2 π 0 = 21 62, π 1 = 23 62, π 2 = 18 62

Contoh-Contoh Lain 1. Innod adalah mahasiswa semester 6 di Statistika UII. Dia tinggal tidak jauh dari kampus, cukup berjalan kaki saja dari tempat kos ke kampus dan sebaliknya. Akhir-akhir ini hujan datang hampir setiap hari. Mau tidak mau, Innod menggunakan payung dalam perjalanan kos-kampus atau kampus-kos. Jika hari hujan dan payung ada di tempat Innod berada, maka Innod akan menggunakan payung tersebut. Jika hari tidak hujan, Innod selalu lupa untuk membawa payung. Misalkan θ adalah peluang hujan setiap kali Innod akan menuju kampus atau kos. Jika Innod memiliki 3 buah payung, bentuklah suatu rantai Markov dari proses di atas!

Keadaan-keadaan: Matriks peluang transisi: 0 : 0 payung di tempat Innod berada 1 : 1 payung di tempat Innod berada 2 : 2 payung di tempat Innod berada 3 : 3 payung di tempat Innod berada P = 0 0 0 1 0 0 1 θ θ 0 1 θ θ 0 1 θ θ 0 0

2. Tiga bola putih dan tiga bola hitam diletakkan ke dalam dua kotak sedemikian rupa sehingga masing-masing kotak terdiri atas tiga bola. Kita katakan bahwa sistem berada pada keadaan i, i = 0, 1, 2, 3, jika kotak pertama terdiri atas i bola putih. Pada masing-masing langkah, kita ambil sebuah bola dari masing-masing kotak dan meletakkan bola dari kotak kedua ke kotak pertama dan sebaliknya. Buatlah matriks peluang transisi dari kejadian tersebut!

Keadaan-keadaan: 0 : terdapat 0 bola putih di kotak pertama 1 : terdapat 1 bola putih di kotak pertama 2 : terdapat 2 bola putih di kotak pertama 3 : terdapat 3 bola putih di kotak pertama

P 10 = P(X n = 0 X n 1 = 1) = P(P 12 H 21 ) = 1 3.1 3 = 1 9 P 11 = P(P 12 P 21 ) + P(H 12 H 21 ) = 1 3.2 3 + 2 3.1 3 = 4 9 P 12 = P(H 12 P 21 ) = 2 3.2 3 = 4 9

Jadi matriks peluang transisinya adalah: 0 1 0 0 1 4 4 P = 9 9 9 0 4 1 4 0 9 9 9 0 0 1 0

3. Ninda baru saja mendengar gosip bahwa sebuah KDrama baru akan dirilis bulan ini. Ninda ingin menyebarkan gosip ini kepada teman-teman gengnya. Model penyebaran gosip ala Ninda adalah sbb: Jumlah orang dalam geng Ninda adalah N = 5, sebagian sudah dengar gosip dan sisanya belum. Dalam setiap waktu, 2 orang akan dipilih secara acak dari geng tersebut dan keduanya (diasumsikan) berinteraksi. Pemilihan orang-orang tersebut dilakukan s.d.h interaksi antara setiap pasangan adalah sama. Jika satu orang dari suatu pasangan sudah dengar gosip, yang lain belum, maka gosip akan disebarkan ke orang yang belum dengan dengan peluang 0.1. Misalkan X n menyatakan jumlah orang yang dengar gosip di akhir periode ke-n. Bentuklah suatu matriks peluang transisi yang mungkin.

Keadaan-keadaan: 0, 1, 2, 3, 4, 5 menyatakan jumlah orang yang mendengar gosip. P 00 = 1 dan P 55 = 1. Jelas. Jika tidak ada/semua orang dengar gosip pasti keadaan berubah ke keadaan yang sama dengan sebelumnya. P i,i+1 = 0.1 C 1 i C 1 5 i C2 5 = 0.01(i)(5 i) P ii = 1 0.01(i)(5 i) untuk i = 1, 2, 3, 4

1 0 0 0 0 0 0 0.96 0.04 0 0 0 P = 0 0 0.94 0.06 0 0 0 0 0 0.94 0.06 0 0 0 0 0 0.96 0.04 0 0 0 0 0 1

4. Sebuah {X n, n 0} dengan keadaan-keadaan 0, 1, 2 mempunyai matriks peluang transisi sebagai berikut: P = 1 1 1 2 3 6 1 2 0 3 3 1 1 2 0 2 Jika P(X 0 = 0) = P(X 0 = 1) = 1 4, tentukan E(X 2).

Matriks peluang transisi 2-langkah nya adalah: P 2 = = 1 1 1 2 3 6 1 2 0 3 3 1 1 2 0 2 1 5 7 3 1 18 1 18 5 3 1 9 1 9 1 2 6 3 Untuk menghitung E(X 2 ) maka E(X 2 ) = 2 x 2 P(X 2 = x 2 ) x 2 =0 1 1 1 2 3 6 1 2 0 3 3 1 1 2 0 2 = 0.P(X 2 = 0) + 1.P(X 2 = 1) + 2.P(X 2 = 2)

P(X 2 = 1) = P(X 2 = 1 X 0 = 0)P(X 0 = 0) + P(X 2 = 1 X 0 = 1)P(X 0 = 1) + P(X 2 = 1 X 2 = 2)P(X 2 = 2) = 5 18.1 4 + 1 9.1 4 + 1 6.1 2 = 13 72

Jadi, E(X 2 ) = P(X 2 = 2) = P(X 2 = 2 X 0 = 0)P(X 0 = 0) + P(X 2 = 2 X 0 = 1)P(X 0 = 1) + P(X 2 = 2 X 2 = 2)P(X 2 = 2) = 7 18.1 4 + 5 9.1 4 + 1 3.1 2 = 29 72 2 x 2 P(X 2 = x 2 ) = 1.P(X 2 = 1) + 2.P(X 2 = 2) x 2 =0 = 13 72 + 2.29 72 = 71 72

5. Tentukan kelas keadaan dan sifat-sifat dari matriks-matriks peluang transisi berikut a. 0.5 0.5 0 0 P = 0.5 0.5 0 0 0.25 0.25 0.25 0.25 0 0 0 1 b. 0 1 0 0 P = 1/9 4/9 4/9 0 0 4/9 4/9 1/9 0 0 1 0

a. Kelas keadaan: {0, 1}, {2}, dan {3} Sifat keadaan: keadaan 0, 1, 3 recurrent dan keadaan 2 transient. b. Kelas keadaan: {0, 1, 2, 3}, tidak dapat direduksi. Kelas keadaan: semua keadaan bersifat recurrent

6. Percobaan-percobaan dilakukan secara berurutan. Jika dalam dua percobaan terakhir SUKSES, maka peluang SUKSES pada percobaan berikut adalah 0.8. Dalam keadaan YANG LAIN, peluang SUKSES adalah 0.5. Hitung peluang percobaan sukses untuk jangka panjang.

Keadaan-keadaan: 0 (SS) : kemarin S sekarang S 1 (SG) : kemarin S sekarang G 2 (GS) : kemarin G sekarang S 3 (GG) : kemarin G sekarang G 0.8 0.2 0 0 P = 0 0 0.5 0.5 0.5 0.5 0 0 0 0 0.5 0.5

Kita peroleh persamaan-persamaan: π 0 = π 0 P 00 + π 1 P 10 + π 2 P 20 + π 3 P 30 = 0.8π 0 + 0.5π 2 π 1 = π 0 P 01 + π 1 P 11 + π 2 P 21 + π 3 P 31 = 0.2π 0 + 0.5π 2 π 2 = π 0 P 02 + π 1 P 12 + π 2 P 22 + π 3 P 32 = 0.5π 1 + 0.5π 3 π 3 = π 0 P 03 + π 1 P 13 + π 2 P 23 + π 3 P 33 = 0.5π 1 + 0.5π 3 dan π 0 + π 1 + π 2 + π 3 = 1

Diperoleh: π 0 = 23 50 π 1 = π 2 = π 3 = 9 504 Jadi, peluang SUKSES jangka panjang adalah π 0 + π 1 = 32 50

7. Menurut Kemeny, Snell, dan Thompson, tanah Australia diberkahi dengan banyak hal kecuali cuaca baik. Mereka tidak pernah memiliki dua hari bercuaca baik secara berturut-turut. Jika mereka mendapatkan hari bercuaca baik, maka esok hari akan bersalju atau hujan dengan peluang sama. Jika hari ini mereka mengalami salju atau hujan, maka besok akan bercuaca sama dengan peluang separuhnya. Jika terdapat perubahan cuaca dari salju atau hujan, hanya separuh dari waktu besok akan menjadi bercuaca baik. Tentukan matriks peluang transisi dari yang dibentuk dari keadaan-keadaan di atas.

dengan keadaan-keadaan: 0 cuaca hujan 1 cuaca baik 2 cuaca salju P = 1 1 1 2 4 4 1 1 2 0 2 1 1 1 4 4 2

Ross, Sheldon M. 2007. Introduction to Probability Models; 9th Edition. New York: Academic Press. Syuhada, Khreshna I.A. Materi Kuliah: MA4181 Pengantar Proses Stokastik. Departemen Matematika ITB, Bandung. Taylor, Howard M. dan Samuel Karlin. 1975. A First Course in Stochastic Processes; Second Edition. New York: Academic Press. Virtamo, J. 38.143 Queueing Theory/ Probability Theory.