Εισαγωγικές Διαλέξεις στην Θεωρία των Αλυσίδων Markov και των Στοχαστικών Ανελίξεων. Οικονομικό Πανεπιστήμιο Αθηνών

Εισαγωγικές Διαλέξεις στην Θεωρία των Αλυσίδων Markov και των Στοχαστικών Ανελίξεων Μιχάλης Ζαζάνης Τμήμα Στατιστικής Οικονομικό Πανεπιστήμιο Αθηνών

Κεφάλαιο Αλυσίδες Markov σε Συνεχή Χρόνο. Αλυσίδες Markov σε συνεχή χρόνο Εστω S ένα πεπερασμένο ή αριθμήσιμο σύνολο. (Για παράδειγμα τα σύνολα {, 2,..., m} όπου m N, {, 2, 3,...}, ή {..., 2,, 0,, 2,...}.) Στο κεφάλαιο αυτό ϑα εξετάσουμε στοχαστικές διαδικασίες οι οποίες παίρνουν τιμές στο σύνολο S και εξελίσονται σε συνεχή χρόνο, δηλαδή διαδικασίες {X t ; t 0}. Συνεπώς για κάθε δεδομένο ω Ω η X t (ω) είναι μια συνάρτηση [0, ) : S. Θα υποθέσουμε επίσης ότι με πιθανότητα ένα η συνάρτηση αυτή είναι συνεχής από τα δεξιά και έχει όρια από τα αριστερά. Αυτό σημαίνει ότι με πιθανότητα το όριο lim s t X s υπάρχει για κάθε t και X s lim t s X t. Μαρκοβιανή Ιδιότητα. Η διαδικασία {X t ; t 0} έχει την Μαρκοβιανή ιδιότητα αν για κάθε n N, 0 s 0 < s < < s n < t και i 0, i,..., i n, j S, P(X t j X s0 i 0, X s i,..., X sn i n ) P(X t j X sn i n ). (.) Αν η διαδικασία {X t ; t 0} έχει την Μαρκοβιανή ιδιότητα ϑα ονομάζεται διαδικασία Markov. Ορισμός.. Μια διαδικασία Markov ονομάζεται χρονικά ομογενής αν για κάθε 0 s < t και i, j S, P(X t j X s i) P(X t s j X 0 i). Πιθανότητες Μετάβασης. Εστω {X t ; t 0} μια χρονικά ομογενής αλυσίδα Markov. Για κάθε 0 t και κάθε i, j S ορίζουμε τις συναρτήσεις P i j (t) : P(X t j X 0 i). (.2) Αν υποθέσουμε ότι ο χώρος καταστάσεων S είναι πεπερασμένος, π.χ. S {, 2,..., N} τότε για κάθε t 0 ο πίνακας P(t) με στοιχεία P i j (t) είναι ένας στοχαστικός πίνακας με P i j (t) 0 και N j P i j (t) για κάθε i, 2,..., N. 3

Οι πιθανότητες μετάβασης και η αρχική κατανομή p i : P(X 0 i) προσδιορίζουν πλήρως τις πεπερασμένων διαστάσεων κατανομές της διαδικασίας υπό την έννοια ότι για κάθε 0 < t < t 2 < < t n και κάθε i,..., i n S, P(X t i, X t2 i 2,..., X tn i n ) P(X t i )P i i 2 (t 2 t )P i2 i 3 (t 3 t 2 ) P in i n (t n t ) p i0 P i0,i (t) P i i 2 (t 2 t )P i2 i 3 (t 3 t 2 ) P in i n (t n t ). (.3) i 0 S Η παραπάνω εξίσωση προκύπτει εύκολα από την Μαρκοβιανή ιδιότητα, την χρονική ομογένεια και τον ορισμό των πιθανοτήτων μετάβασης..2 Ιδιότητες του πίνακα πιθανοτήτων μετάβασης Παρατηρούμε ότι για κάθε i, j S P i j (0) P(X 0 j X 0 i) δ i j : { αν i j 0 αν i j. Εξισώσεις Chapman-Kolmogorov. Οι πιθανότητες μετάβασης ικανοποιούν τις ακόλουθες σχέσεις: P i j (s + t) : P ik (s)p k j (t), για κάθε s, t > 0. (.4) k S Μπορεί να αποδειχθεί (αλλά δεν ϑα το κάνουμε εδώ για να αποφύγουμε τις μαθηματικές δυσκολίες που προκύπτουν) ότι τα εξής όρια υπάρχουν: q i j lim δ 0 δ P i j(δ), i j, (.5) q ii lim δ 0 δ (P ii(δ) ). (.6) d Παρατηρείστε ότι τα παραπάνω όρια είναι οι παράγωγοι dt P i j(t) t0 q i j. Επίσης, παρατηρείστε ότι, δεδομένου ότι αφού P i j (δ) 0, q i j 0 για i j. Επίσης, αφού P ii (δ), q ii 0. Θα υποθέσουμε επιπλέον ότι για κάθε i, j οι παράγωγοι αυτές είναι πεπερασμένοι. Υποθέτοντας ότι μπορούμε να εναλλάξουμε την σειρά άθροισης και παραγώγισης, κάτι που ισχύει πάντα όταν ο χώρος καταστάσεων S είναι πεπερασμένος, δεδομένου ότι j S P i j (t), d P i j (t) dt j S P i j (t) 0 Εφαρμόζοντας την παραπάνω σχέση για t 0 παίρνουμε j S q i j 0 ή j S q ii q i j (.7) j i

Ορίζουμε τον πίνακα των ρυθμών ο οποίος επίσης ονομάζεται γεννήτωρας της διαδικασίας Q ως τον πίνακα με στοιχεία q i j. Παρατηρείστε ότι τα μη διαγώνια στοιχεία του Q είναι ϑετικά ή μηδέν ενώ τα διαγώνια στοιχεία του Q είναι αρνητικά ή μηδέν. Επιπλέον, λόγω της (.7), το άθροισμα κάθε γραμμής του πίνακα είναι 0. ως Χρησιμοποιώντας συμβολισμό πινάκων, οι εξισώσεις Chapman-Kolmogorov γράφονται P(s + t) P(s)P(t). (.8) Παραγωγίζοντας την παραπάνω σχέση ως προς s παίρνουμε P (s+t) P (s)p(t) και ϑέτοντας s 0 έχουμε P (t) QP(t), (.9) P (t) P(t)Q. (.0) Η δεύτερη εξίσωση προκύπτει με τον ίδιο τρόπο γράφοντας την (.8) ως P(s + t) P(t)P(s) και ακολουθώντας την ίδια διαδικασία. Η (.9) ονομάζεται οπισθοδρομική εξίσωση του Kolmogorov ενώ η (.0) προδρομική. Η (.8) είναι μία διαφορική εξίσωση πινάκων η οποία, μαζί με την αρχική συνθήκη P(0) I δίνει P(t) e Qt def n! Qn t n. (.) Πίνακες Μετάβασης. Θεωρούμε την οικογένεια από πίνακες (με παράμετρο t) P i j (t) : P(X t j X 0 i). Παρατηρούμε ότι P(0) I, ο μοναδιαίος πίνακας. Αν p i P(X 0 i) είναι η πιθανότητα ότι η διαδικασία βρίσκεται στην κατάσταση i τη χρονική στιγμή t 0, τότε P(X t j) i p i P i j (t). Ρυθμοί μετάβασης. Οταν το δ είναι πολύ μικρό P k j (δ) q k j δ + o(δ) για k j, P j j (δ) δ q k j + o(δ). (.2) Ορίζουμε τον πίνακα ρυθμών μετάβασης Q με στοιχεία [Q i, j q i j, i j, [Q i,i j i q i j. Οπως ϑα δούμε αυτός ο πίνακας, ο οποίος μερικές φορές ονομάζεται επίσης η γεννήτρια, μαζί με την αρχική κατανομή καθορίζει πλήρως την εξέλιξη της αλυσίδας Markov. k j Στάσιμη κατανομή Η στάσιμη κατανομή (ή κατανομή ισορροπίας δίνεται από το μοναδικό διάνυσμα γραμμής π που ικανοποιεί την εξίσωση πq 0, (.3)

μαζί με την εξίσωση κανονικοποίησης π i. (.4) i S Υπολογισμός του πίνακα e Qt. Υποθέτουμε ότι ο χώρος καταστάσεων είναι πεπερασμένος, π.χ., το σύνολο S {, 2,..., N}. Συνεπώς ο γεννήτορας Q είναι ένας πίνακας N N. Δεδομένου ότι όλες οι γραμμές του πίνακα Q έχουν άθροισμα 0, αν e είναι ένα διάνυσμα στήλης του οποίου όλα τα στοιχεία είναι ίσα με την μονάδα, δηλαδή e [,,..., T, τότε Qe 0. Αυτό σημαίνει ότι det Q 0 και ότι το μηδέν είναι ιδιοτιμή του Q. Προκειμένου να υπολογίσουμε τον e Qt μπορούμε να ακολουθήσουμε την εξής διαδικασία.. Βρίσκουμε τις N ιδιοτιμές του Q, λ,..., λ N λύνοντας την εξίσωση det(λi Q) 0. Μια από αυτές τις ιδιοτιμές, έστω η λ, είναι 0. 2. Βρίσκουμε τα αντίστοιχα ιδιοδιανύσματα, m,..., m N, τα οποία ικανοποιούν την σχέση Qm i λ i m i, i,..., N. Το m που αντιστοιχεί στην ιδιοτιμή 0 είναι το [,,..., T. (Γενικώς, αν το m i είναι ιδιοδιάνυσμα και c 0 τότε και το cm i είναι ιδιοδιάνυσμα, αφού το m i προκύπτει ως λύση του ομογενούς συστήματος εξισώσεων (Q λ i I)m i 0. Υποθέτουμε για ευκολία ότι οι ιδιοτιμές είναι διαφορετικές μεταξύ τους. 3. Σχηματίζουμε τον πίνακα M : [m,..., m N ο οποίος έχει ως στήλες τα ιδιοδιανύσματα. Αν λ... Λ : λ N είναι ο διαγώνιος πίνακας των ιδιοτιμών (φυσικά με την ίδια σειρά όπως και τα ιδιοδιανύσματα του M) τότε είναι εύκολο να διαπιστώσουμε ότι QM MΛ και επομένως Q MΛM. (Από την Γραμμική Άλγεβρα γνωρίζουμε ότι, εφ όσον οι ιδιοτιμές του Q είναι διαφορετικές μεταξύ του, τα αντίστοιχα ιδιοδιανύσματα είναι γραμμικά ανεξάρτητα και επομένως ο πίνακας M είναι αντιστρέψιμος.) 4. Παρατηρούμε ότι Q 2 (MΛM )(MΛM ) MΛ 2 M και επομένως, επαγωγικά, Q n MΛ n M. 5. Ισχύει ότι λ n Λ n... λ n N επειδή ο Λ είναι διαγώνιος.

6. Μπορούμε τώρα να υπολογίσουμε εύκολα το εκθετικό του πίνακα Q: e tq M M t n n! Qn t n n! Λn M e λ t... e λnt t n n! Qn M M. t n n! MΛn M t n n! λn... t n n! λn N M Τα ακόλουθα παραδείγματα δείχνουν πώς εφαρμόζεται η διαδικασία που περιγράψαμε. Παράδειγμα. γεννήτορα Εστω μια διαδικασία Markov με χώρο καταστάσεων S {0, } και Q [ 2 2 Η στάσιμη κατανομή δίνεται από τις σχέσεις (.3) και (.4) που στην περίπτωσή μας δίνουν. π 0 + 2π 0 π 0 2π 0 π 0 + π (Η μια από τις δύο πρώτες εξισώσεις είναι πολλαπλάσιο της άλλης.) Οι εξισώσεις αυτές δίνουν την στάσιμη κατανομή π [2/3, /3. Οι ιδιοτιμές δίδονται από την εξίσωση det(λi Q) λ + 2 λ + (λ + ) 2 3 (λ + )(λ + 3) 2 λ(λ + 3) 0 Στην ιδιοτιμή 0 αντιστοιχεί το ιδιοδιάνυσμα [, T. Πράγματι [ [ [ 0. 2 2 Προκειμένου να βρούμε το ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή 3 λύνουμε το σύστημα [ 2 2 ή [ x x 2 3 [ x x 2 x + x 2 3x 2x 2x 2 3x 2 Το παραπάνω σύστημα δίνει μόνο την σχέση x 2 2x. (Η δεύτερη εξίσωση είναι ίδια με την πρώτη επειδή το σύστημα είναι ομογενές.) Μπορούμε να διαλέξουμε ως ιδιοδιάνυσμα

το [, 2 T. (Οποιοδήποτε πολλαπλάσιο του διανύσματος αυτού είναι επίσης ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή 3.) Ο πίνακας των ιδιοδιανυσμάτων M είναι επομένως M [ 2 και M 3 [ 2. Επομένως Q [ 2 [ 0 3 3 [ 2 και e tq [ 2 2+e 3t 3 2 2e 3t 2 [ 0 e 3t 3 +2e 3t 3 3 3 [ 2 [ 2 [ e 3t 3 [ 2 Επομένως έχουμε P(t) Παρατηρούμε ότι όταν t P(t) [ 2 3 3 2 2 3 [ 2 3 3 2 2 3 [ + e 3t 3 2 2 3 2 3. (.5). Κάθε μια από τις δύο γραμμές του πίνακα είναι η στάσιμη κατανομή. Σε μια από τις επόμενες παραγράφους ϑα μελετήσουμε ειδικά διαδικασίες με δυο καταστάσεις και ϑα δούμε και έναν διαφορετικό τρόπο με τον οποίο μπορούμε να καταλήξουμε στην (.5). Παράδειγμα 2. Εστω μια διαδικασία Markov με χώρο καταστάσεων S {0,, 2} και γεννήτορα Q 0 2 2 Η στάσιμη κατανομή δίνεται από τις σχέσεις (.3) και (.4) που δίνουν. π 0 + π + π 2 0 π 0 2π + π 2 0 π 2π 2 0 π 0 + π + π 2 (Μία από τις τρεις πρώτες εξισώσεις είναι γραμμικός συνδιασμός των άλλων δύο.) εξισώσεις αυτές δίνουν την στάσιμη κατανομή π [/5, 2/5, 3/5. Οι Προκειμένου να υπολογίσουμε τον πίνακα πιθανοτήτων μετάβασης χρησιμοποιήσουμε την (.). Για να υπολογίσουμε τον πίνακα e tq μπορούμε να χρησιμοποιήσουμε την ακόλουθη μεθοδολογία.

ϑα διαγωνιοποιήσουμε τον Q: οι ιδιοτιμές είναι 0, 2, και 3 με αντίστοιχα ιδιοδιανύσματα Επομένως Q MΛM ή 0 Q 2, 2, 3 2 από την οποία προκύπτει ότι e Qt 2 e 6 2t e 3t +e 2t e 3t 2 3 6 2 + 3 e 3t e 2t e 3t 2 3 6 + 2 2 3 e 3t +e 2t e 3t 2 3 6 + 2 +. 3 e 3t. /2 /3 /6 /2 0 /2 0 /3 /3 3 2 3 0 3 0 2 2 Σε κάποιες περιπτώσεις μπορούμε να υπολογίσουμε τις πιθανότητες μετάβασης χωρίς να χρησιμοποιήσουμε την (.). Η διαδικασία Poisson ως διαδικασία Markov Εστω {N t ; t 0} μια διαδικασία Poisson με ρυθμό λ. N t είναι ο αριθμός των σημείων στο διάστημα (0, t. Τα σημεία της διαδικασίας είναι τα {T n ; n, 2,...} όπου T n τ + τ 2 + + τ n. Οι τυχαίες μεταβλητές {τ i } είναι ανεξάρτητες εκθετικά κατανεμημένες τυχαίες μεταβλητές με ρυθμό λ. Από τις γνωστές ιδιότητες της διαδικασίας Poisson είναι εύκολο να διαπιστώσουμε ότι η διαδικασία {N t ; t 0} με χώρο καταστάσεων S {0,, 2,...} ικανοποιεί την Μαρκοβιανή ιδιότητα: Αν 0 < t t 2 t n και 0 i i 2 i n όπου i,..., i n N 0, P(N t i, N t2 i 2,..., N tn i n ) P(N t i ) P(N t2 N t i 2 i ) P(N tn N tn i n i n ) P(N t i ) P(N t2 t i 2 i ) P(N tn t n i n i n ) (λt ) i i! e λt (λ(t 2 t )) i 2 i (i 2 i )! e λ(t 2 t ) (λ(t n t n )) i n i e λ(t n t n ). (i n i n )! Βλέπουμε επομένως ότι η διαδικασία {N t } είναι Markov με πιθανότητες μετάβασης (λt) j i P i j (t) P(N t j i) ( j i)! e λt αν j i 0 αν j < i. Ο γεννήτορας είναι Q λ λ 0 0 0 λ λ 0 0 0 λ λ 0 0 0 λ........

Μία εναλλακτική περιγραφή. Αντί να καθορίσουμε τον πίνακα ρυθμών μετάβασης μπορούμε να χαρακτηρίσουμε πλήρως μια μαρκοβιανή αλυσίδα συνεχούς χρόνου μέσω δύο συνόλων από παραμέτρους ν i, i S, τον εκθετικό ρυθμό παραμονής στην κατάσταση i για κάθε κατάσταση στο χώρο S και τον πίνακα P i j, τον πίνακα πιθανοτήτων μετάβασης της αλυσίδας Markov διακριτού χρόνου που προσδιορίζει τα άλματα από μια κατάσταση στην επόμενη. εξισώσεις Η σχέση ανάμεσα σ αυτές τις παραμέτρους και την γεννήτρια δίδεται από τις ν i q i j, i S, (.6) j i και P i j q i j, j i, (.7) ν i P(i, i) 0. Ισοδύναμα, με δεδομένα τα (ν, P), μπορούμε να υπολογίσουμε την γεννήτρια από τις εξισώσεις q i j ν i P i j, i j, q ii j i q i j. Μια εναλλακτική έκφραση για την στάσιμη κατανομή. Υποθέτουμε ότι τη χρονική στιγμή t 0 η αλυσίδα Markov βρίσκεται στην κατάσταση i και συμβολίζουμε με T την πρώτη χρονική στιγμή που η διαδικασία επανεισέρχεται για πρώτη φορά στην κατάσταση i αφού την έχει εγκαταλείψει. Επίσης συμβολίζουμε με N(i, j) τον αριθμό των επισκέψεων στην κατάσταση j μεταξύ δύο διαδοχικών επισκέψεων στην i. Τέλος έστω η i η στάσιμη κατανομή της αλυσίδας διακριτού χρόνου των αλμάτων P i j. Τότε π j E [ Συνολικός χρόνος στην κατάσταση j στο διάστημα [0, T (.8) ET EN(i, j) E [ χρόνος παραμονής στην κατάσταση j ET η j η i ν η j j ν j k S η k η i νk k S η, (.9) k νk όπου στις παραπάνω σχέσεις χρησιμοποιήσαμε το γεγονός ότι EN(i, j) η j η i καθώς και το ότι ο μέσος χρόνος παραμονής σε οποιαδήποτε κατάσταση k είναι νk. Η σχέση ανάμεσα στη στάσιμη κατανομή της αρχικής αλυσίδας Markov, π, και στη στάσιμη κατανομή της αλυσίδας των αλμάτων, η, μπορεί να περιγραφεί από τις σχέσεις: Το ποσοστό του χρόνου που η αλυσίδα Markov βρίσκεται στην κατάσταση i είναι π i. Το ποσοστό των αλμάτων που καταλήγουν στην κατάσταση i είναι η i. Οι δύο κατανομές σχετίζονται μέσω των εξισώσεων π i cη i ν i, (.20) όπου c είναι σταθερά που προσδιορίζεται από τη συνθήκη κανονικοποίησης π i. Από την (.20) συνάγουμε επίσης ότι η i π i ν i k S π k ν k. (.2)

.3 Αλυσίδες Markov με δύο καταστάσεις.3. Αλυσίδες Markov με δύο καταστάσεις Εστω αλυσίδα Markov με σύνολο καταστάσεων S {0, } και γεννήτρια [ λ λ Q µ µ Ο πίνακας πιθανοτήτων μετάβασης δίνεται από την (.) ως εξής: Παρατηρείστε ότι [ [ Q 2 λ 2 + λµ λ 2 λµ λ λ λµ µ 2 λµ + µ 2 (λ + µ) (λ + µ)q. µ µ Αυτό συνεπάγεται επαγωγικά ότι Q n ( ) n (λ + µ) n Q για n, 2,.... Συνεπώς, t n ( ) n (λ + µ) n t n P(t) n! Qn I + Q n! n I Q ( ) n (λ + µ) n t n I λ + µ n! λ + µ Q ( e (λ+µ)t ) n [ [ 0 e (λ+µ)t λ λ. 0 λ + µ µ µ Συμπεραίνουμε ότι [ P00 (t) P P(t) : 0 (t) P 0 (t) P (t) µ λ+µ µ λ+µ λ λ+µ λ λ+µ + λ + µ e (λ+µ)t [ λ λ µ µ Στην περίπτωση που λ µ ο πίνακας πιθανοτήτων μετάβασης δίνεται από την 2 2 P(t) + [ 2 e 2λt 2 2. (.22) (.23) Επομένως ένα σφαιρίδιο που την χρονική στιγμή 0 ήταν στο αριστερό δοχείο σε χρόνο t έχει πιθανότητα να βρίσκεται στο αριστερό δοχείο ( ) + e 2λt 2 ενώ αν αρχικά βρισκόταν στο δεξιό δοχείο, τη χρονική στιγμή t η πιθανότητα να βρίσκεται στο αριστερό δοχείο είναι ( ) e 2λt. 2 Αν ξεκινήσουμε με 0 σφαιρίδια στο αριστερό δοχείο (X(0) 0) τότε ( ) n ( ( P(X(t) i) )) 2 e 2λt i ( ( )) 2 e 2λt n i i ( ) n ( ( )) 2 e 2λt i ( ( )) 2 + e 2λt n i i ( ) n ( 2 n e 2λt) i ( ) + e 2λt n i i

.4 Αναστρεψιμότης σε Συνεχή Χρόνο Με λίγη σκέψη βλέπουμε ότι μια αλυσίδα Markov συνεχούς χρόνου είναι αναστρέψιμη ανν η αντίστοιχη αλυσίδα αλμάτων σε διακριτό χρόνο είναι αναστρέψιμη. Η συνθήκη για να συμβαίνει αυτό είναι η i P i j η j P ji. (.24) Εν όψει των (.7) και (.2) η (.24) γράφεται και ως π i ν i q i j ν i π j ν j q ji ν j ή π i q i j π j q ji, για κάθε i, j S. (.25) Το κριτήριο του Kolmogorov για αλυσίδες Markov συνεχούς χρόνου μπορεί να βρεθεί εξετάζοντας την διακριτή αλυσίδα αλμάτων. Για οποιοδήποτε βρόγχο, λόγου χάριν i j k l i, εφαρμόζοντας το κριτήριο στην αλυσίδα αλμάτων δίδει την εξίσωση P i j P jk P kl P li P il P lk P k j P ji, η οποία, λαμβάνοντας υπ όψιν την (.7) είναι ισοδύναμη με την q i j q jk q kl q li q il q lk q k j q ji. (.26).5 Παραδείγματα.5. Η αλυσίδα των Ehrenfest Εστω δύο δοχεία τα οποία περιέχουν συνολικά n σφαιρίδια. Αρχικά k από αυτά βρίσκονται στο αριστερό και τα υπόλοιπα n k στο δεξιό. Το κάθε σφαιρίδιο ανεξάρτητα από τα άλλα παραμένει στο δοχείο που βρίσκεται για ένα εκθετικό χρόνο (με ρυθμό λ και κατόπιν μεταπηδά στο άλλο. Το μοντέλο αυτό περιγράφει, μεταξύ άλλων, και την διάχυση αερίου μέσα από ημιπερατή μεμβράνη. Η κατάσταση του συστήματος την χρονική στιγμή t περιγράφεται πλήρως από τον αριθμό των σωματιδίων στο αριστερό δοχείο, έστω X(t). (Ο αριθμός των σωματιδίων στο δεξιό δοχείο ϑα είναι φυσικά n X(t) ενώ οι χρόνοι που έχουν παρέλθει από τις τελευταίες μεταπηδήσεις των σωματιδίων δεν είναι απαραίτητο να είναι γνωστοί λόγω της αμνήμονης ιδιότητας της εκθετικής κατανομής.) Η γεννήτρια της διαδικασίας Markov X(t) για n 6 είναι Q 6λ 6λ 0 0 0 0 0 λ 6λ 5λ 0 0 0 0 0 2λ 6λ 4λ 0 0 0 0 0 3λ 6λ 3λ 0 0 0 0 0 4λ 6λ 2λ 0 0 0 0 0 5λ 6λ λ 0 0 0 0 0 6λ 6λ

και γενικά, όταν ο αριθμός των σφαιριδίων είναι n, μπορούμε να την περιγράψουμε με τις σχέσεις q i j nλ αν j i iλ αν j i (n i)λ αν i i + 0 διαφορετικά Η διαδικασία είναι χρονικά αντιστρέψιμη και επομένως π i q i,i π i q i,i ή π i λ(n i + ) π i iλ, i, 2,..., n. και επομένως, για i, 2,..., n έχουμε n i + π i π i i ( ) n π 0. i π i 2 (n i + )(n i + 2) i(i ) π 0 (n i + )(n i + 2) (n )n i(i ) 2 Το προσδιορίζεται από τις εξισώσεις κανονικοποίησης ως εξής: ή κι έτσι π 0 + n π 0 i n ( ) n π 0 i i ( ) n π 0 2 n i π i ( ) n 2 n i δηλαδή η κατανομή ισορροπίας του X(t) είναι διωνυμική. Το αποτέλεσμα αυτό δεν πρέπει φυσικά να μας εκπλήσσει. Το κάθε σφαιρίδιο αναπηδά ανεξάρτητα από τα άλλα και μετά από αρκετό χρόνο η αρχική του ϑέση παύει να παίζει ρόλο. Ετσι, στο όριο, όταν ο χρόνος τείνει στο άπειρο το κάθε σφαιρίδιο είναι εξίσου πιθανό να βρίσκεται στο ένα ή στο άλλο δοχείο, ανεξάρτητα από τα άλλα, εξ ου και η διωνυμική κατανομή..5.2 Διαδικασία γεννήσεων ϑανάτων μετανάστευσης Εξετάζουμε την χρονική εξέλιξη ενός πληθυσμού που αποτελείται από άτομα των οποίων η ζωή είναι εκθετικά κατανεμημένη με ρυθμό µ. Οσο ένας οργανισμός είναι ζωντανός γεννά απογόνους με ρυθμό λ. Τέλος, ανεξέαρτητα από οτιδήποτε άλλο έχουμε όμοιους οργανισμούς οι οποίοι εισέρχονται στο σύστημα με ρυθμό ν. Ο χώρος καταστάσεων S {0,, 2,...}

περιγράφει τον αριθμό των οργανισμών στο σύστημα. Ο γεννήτορας της διαδικασίας δίνεται από την σχέση q i,i+ ν + iλ, i 0,, 2,... (.27) q i,i iµ, i, 2,.... (.28) Η στάσιμη κατανομή δίδεται από την λύση του συστήματος π i q i,i πq i,i, i, 2,... η οποία δίνει και επομένως, αναδρομικά έχουμε π i π i ν + (i )λ ν + iµ π i π 0 (ν + (i )λ)(ν + (i 2)λ) (ν + λ)ν (ν + iµ)(ν + (i )µ) (ν + 2µ)(ν + µ).5.3 Επίβλεψη Μηχανών Ενας τεχνίτης επιβλέπει M μηχανές. Κάθε μηχανή, ανεξέρτητα από τις άλλες, λειτουργεί για μια εκθετική χρονική περίοδο με ρυθμό λ. Στο τέλος αυτής της περιόδου υφίσταται μια βλάβη την οποία επιδιορθώνει ο τεχνίτης. Ο χρόνος επισκευής είναι εκθετικός με ρυθμό µ. Οταν μια μηχανή υποστεί βλάβη, ο τεχνίτης ξεκινά αμέσως την διαδικασία επιδιόρθωσής της εκτός αν είναι απασχολημένος επιδιορθώνοντας μια μηχανή που έχει ήδη υποστεί βλάβη. Εστω X t ο αρθμός των μηχανών που λειτουργούν την χρονική στιγμή t. Η {X t ; t 0} είναι διαδικασία Markov με χώρο καταστάσεων S {0,,..., M} και γενήτορα q i,i+ µ, i 0,, 2,..., M, q i,i iλ, i, 2,..., M, Η στάσιμη κατανομή προκύπτει από τη σχέση η οποία δίνει η οποία αναδρομικά δίνει π i q i,i πq i,i, i, 2,..., M π i π i µ iλ, π i i, 2,..., M α i π 0, i 0,, 2,..., M i! όπου α µ λ Η πιθανότητα π 0 προκύπτει από την εξίσωση κανονικοποίησης M i0 π i η οποία δίνει π 0 M α k k! k0

Ο μέσος αριθμός μηχανών που λειτουργούν δίνεται από την σχέση m M kπ k k0 M k0 π 0 k αk k! M π 0 α k0 α k k! Μαρκοβιανά συστήματα αναμονής. Ο συμβολισμός του Kendal. Ενα σύστημα απλό σύστημα αναμονής απαρτίζεται από μια διαδικασία αφίξεων η οποία στα συστήματα που εξετάζουμε ϑα ϑεωρείται πάντα Poisson. Οι πελάτες εξυπηρετούνται σύμφωνα με την σειρά άφιξης στο σύστημα. Ο χρόνος εξυπηρέτησης είναι εκθετικά κατανεμημένος με ρυθμό µ (ίδιος για όλους τους servers)..5.4 Η ουρά M/M/ Το σύστημα αυτό αποτελείται από έναν υπηρέτη (server) ο οποίος εξυπηρετεί έναν πελάτη κάθε φορά. Οι χρόνοι εξυπηρέτησης είναι ανεξάρτητες, εκθετικά κατανεμημένες τυχαίες μεταβλητές με ρυθμό µ ενώ οι αφίξεις είναι Poisson με ρυθμό λ, και είναι ανεξάρτητες από τους χρόνους εξυπηρέτησης. Ο γεννήτορας είναι Q λ λ 0 0 0 µ (λ + µ) λ 0 0 0 µ (λ + µ) λ 0 0 0 µ (λ + µ) λ........ Επειδή ο γράφος της διαδικασίας είναι γραμμικός η διαδικασία είναι χρονικά αναστρέψιμη και επομένως π n λ π n µ, n, 2,... (.29) Αν ϑέσουμε ρ : λ/µ η (.29) δίνει π n ρπ n και επομένως, αναδρομικά, π n π 0 ρ n. (.30) Αν ρ < τότε η άγνωστη πιθανότητα π 0 προσδιορίζεται από την εξίσωση κανονικοποίησης ως εξής: π n π 0 ρ n π 0 ρ και συνεπώς π 0 ρ. Κατά συνέπεια η στάσιμη κατανομή είναι π n ( ρ)ρ n, n 0,, 2,.... (.3) Αντιθέτως, αν ρ, η στάσιμη κατανομή δεν υπάρχει. Ο λόγος διαισθητικά είναι ο εξής: ρ λ/µ είναι ο μέσος αριθμός πελατών που φθάνουν κατά την διάρκεια του χρόνου εξυπηρέτησης ενός πελάτη. Συνεπώς, όταν ο αριθμός αυτός είναι μεγαλύτερος της μονάδας,

ο αριθμός των πελατών αυξάνει συνεχώς χωρίς όριο και επομένως δεν υπάρχει στάσιμη κατανομή. Ο μέσος αριθμός πελατών στο σύστημα δίνεται από την σχέση L nπ n ( ρ)nρ n ( ρ)ρ n nρ n ( ρ)ρ ( ρ) ρ 2 ρ. Η πιθανότητα να έχουμε k ή περισσότερους πελάτες στο σύστημα είναι π n nk ( ρ)ρ n ( ρ)ρ k ρ n k ( ρ)ρ k ρ ρk nk nk.5.5 Η ουρά M/M/s Το σύστημα αυτό είναι όμοιο με το σύστημα M/M/ με μόνη διαφορά το γεγονός ότι υπάρχουν s υπηρέτες. Κάθε υπηρέτης εξυπηρετεί πελάτες με ρυθμό µ ανεξάρτητα από τους άλλους. Ο χώρος αναμονής είναι απεριόριστος και οι αφίξεις είναι Poisson με ρυθμό λ. Ο γεννήτορας της διαδικασίας δίνεται από τις σχέσεις q n,n+ λ, n 0,, 2,... nµ αν n, 2,..., s q n,n sµ αν n s +, s + 2,... (λ + nµ) αν n 0,, 2,..., s q nn (λ + sµ) αν n s +, s + 2,... και q nm 0 σε κάθε άλλη περίπτωση. Η διαδικασία είναι χρονικά αναστρέψιμη και επομένως π n q n,n+ π n+ q n+,n. Δεδομένου ότι ο ρυθμός εξυπηρέτησης εξαρτάται από τον αριθμό πελατών στο σύστημα διακρίνουμε δύο περιπτώσεις: π n λ π n nµ, n, 2,..., s (.32) π n λ π n sµ, n s +, s + 2,.... (.33) Η (.32) δίνει π n π n ρ/n όπου ρ : λ/µ ο μέσος αριθμός αφίξεων ανά εξυπηρέτηση. Επομένως, επαγωγικά, ρ n π n π 0, n 0,, 2,..., s. (.34) n! Η (.33) δίνει π n π n ρ/(sµ) και επαγωγικά π n π s ( ρ s ) n s. (.35)

Η (.34) δίνει Η (.35) δίνει ns+ π n π s ns+ π 0 ρ s π s ( ρ s s! (.36) ) n s π s ρ/s ρ/s. (.37) Η παραπάνω σειρά βεβαίως συγκλίνει υπό την προϋπόθεση ότι ρ/s < ή ισοδύναμα ρ < s. Αν δεν ισχύει αυτή η σχέση ο αριθμός των πελατών στο σύστημα αυξάνει απεριόριστα με την πάροδο του χρόνου. εξίσωση κανονικοποίησης δίνει Εφόσον ρ < s, λαμβάνοντας υπ όψιν και τις (.36) και (.37), η π n s π 0 ρ n n! + ns+ π s ( ρ s ) n s s ρ n π 0 n! + π ρ s ρ 0 s! s ρ. Από την παραπάνω εξίσωση συμπεραίνουμε ότι π 0 s. (.38) ρ n n! + ρs ρ s! s ρ Οι (.34), (.35) και (.38) μας επιτρέπουν να υπολογίσουμε εύκολα την στάσιμη κατανομή. Ας δούμε ως παράδειγμα την περίπτωση s 2. Η στάσιμη κατανομή σ αυτή την περίπτωση, αντικαθιστώντας και κάνοντας τις στοιχειώδεις αλγεβρικές πράξεις έχουμε π 0 2 ρ 2 + ρ, π n 2 ρ 2 + ρ ρ ( ρ 2 Ο μέσος αριθμός πελατών στο σύστημα είναι ) n, n, 2, 3,.... L nπ n 4ρ 4 ρ 2. n n 2 ρ ( ρ ) n 2 + ρ ρ 2 ρ 2 2 + ρ ( ρ n 2 n ) n 2 ρ 2 + ρ ( ρ 2 ) 2 Η πιθανότητα ότι ένας πελάτης που φθάνει στο σύστημα ϑα εξυπηρετηθεί χωρίς να χρειαστεί να περιμένει είναι π 0 + π (2 ρ)(+ρ) 2+ρ..5.6 Το σύστημα M/M/ Το σύστημα αυτό έχει άπειρο πλήθος υπηρετών, καθένας από τους οποίους εξυπηρετεί έ- ναν πελάτη με ρυθμό µ (οι χρόνοι εξυπηρέτησης είναι πάντα εκθετικές ανεξάρτητες τυχαίες μεταβλητές) και οι αφίξεις είναι Poisson με ρυθμό λ, ανεξάρτητες από τις εξυπηρετήσεις.

Κανένας πελάτης δεν περιμένει στο σύστημα αυτό επειδή πάντα υπάρχουν διαθέσιμοι υ- πηρέτες. Ο χώρος καταστάσεων είναι ο αριθμός των πελατών στο σύστημα και συνεπώς S {0,, 2,...}. Ο γεννήτορας είναι q i,i+ λ, i 0,, 2,... q i,i iµ i, 2,..., q ii (λ + iµ) i 0,, 2,... και q i j 0 σε κάθε άλλη περίπτωση. Το σύστημα είναι χρονικά αντιστρέψιμο και επομένως π i λ π i iµ, i, 2,.... Θέτοντας ρ λ/µ, π i ρ i π i, i, 2,... και αναδρομικά έχουμε Η εξίσωση κανονικοποίησης δίνει π i ρ i π 0, i 0,, 2,.... i! i0 π 0 ρ i i! π 0 e ρ. Η σειρά στην παραπάνω εξίσωση συγλίνει για οποιαδήποτε τιμή του ρ. Συνεπώς έχουμε την στάσιμη κατανομή π i ρi i! e ρ, i 0,, 2,.....5.7 Το σύστημα M/M/s/s Στο σύστημα αυτό υπάρχουν s υπηρέτες ο καθένας εκ των οποίων εξυπηρετεί έναν πελάτη ανεξάρτητα από τους άλλους με ρυθμό µ αλλά δεν υπάρχει χώρος αναμονής. Οι πελάτες φθάνουν στο σύστημα σύμφωνα με μια διαδικασία Poisson με ρυθμό λ και αν κάποιος πελάτης δεν βρεί κατά την άφιξή του διαθέσιμο υπηρέτη αποχωρεί από το σύστημα και δεν επιστρέφει. Ο χώρος καταστάσεων είναι κατά συνέπεια πεπερασμένος, S {0,, 2,..., s}, και ο γεννήτορας δίνεται από τις σχέσεις q n,n+ λ, n 0,, 2,..., s q n,n nµ n, 2,..., s (λ + nµ) αν n 0,, 2,..., s q nn sµ αν n s και q nm 0 σε κάθε άλλη περίπτωση. Από την χρονική αντιστρεψιμότητα του συστήματος έχουμε π n λ π n nµ, n, 2,...

και επομένως ρ n π n π 0, n 0,, 2,..., s. n! Η συνθήκη κανονικοποίησης δίνει s ρ n π 0 n! και επομένως η στάσιμη κατανομή, για κάθε τιμή του ρ, είναι π n ρ n n!, n 0,, 2,..., s. si0 ρ i i! Αν ορίσουμε την ποσότητα Ψ s : s ρ i i0, η πιθανότητα να έχουμε s πελάτες στο σύστημα, με βάση τα παραπάνω είναι i! π s : ρ s s! si0 ρ i i! Ψ s Ψ s Ψ s Ψ s Ψ s. Μπορεί να αποδειχθεί ότι αυτή η πιθανότητα είναι ίση με το ποσοστό των πελατών οι οποίοι κατά την άφιξή τους βρίσκουν και τους s υπηρέτες απασχολημένους και επομένως αποχωρούν από το σύστημα χωρίς να εξυπηρετηθούν. Ο μέσος αριθμώς πελατών στο σύστημα (που είναι ίδιος με τον μέσο αριθμό απασχολημένων υπηρετών) δίνεται από την σχέση L s Ψ i ρi s i! s ρ Ψ i s (i )! s Ψ s ρ ρ j j! ρ Ψ s. Ψ s i0 i j0.5.8 Το σύστημα M/M//K Το σύστημα αυτό είναι ίδιο με το M/M/ αλλά με την διαφορά ότι υπάρχει χώρος μόνο για K πελάτες στο σύστημα (συμπεριλαμβανομένου και εκείνου που εξυπηρετείται). Οταν ένας πελάτης που φθάνει στο σύστημα δεν βρίσκει ϑέση στον χώρο αναμονής αποχωρεί και δεν επιστρέφει. Ο χώρος καταστάσεων είναι S {0,, 2,..., K} και ο γεννήτορας είναι q n,n+ λ, n 0,, 2,..., K q n,n µ n, 2,..., s (λ + µ) αν n, 2,..., K q nn λ αν n 0 µ αν n K και q nm 0 σε κάθε άλλη περίπτωση. Και αυτή η διαδικασία είναι χρονικά αντιστρέψιμη και επομένως π n λ π n µ, n, 2,..., K.

Θέτοντας ρ λ/µ έχουμε και η εξίσωση κανονικοποίησης δίνει π n π 0 ρ n π 0 ( + ρ + ρ 2 + + ρ K) και επομένως, για κάθε τιμή του ρ, λαμβάνοντας υπ όψιν ότι + ρ + ρ 2 + + ρ K ρk+ ρ έχουμε π 0 ρ ρ K+ και π n ρ n ρ, n 0,, 2,..., K. ρk+