Εισαγωγικές Διαλέξεις στην Θεωρία των Αλυσίδων Markov και των Στοχαστικών Ανελίξεων. Οικονομικό Πανεπιστήμιο Αθηνών

Εισαγωγικές Διαλέξεις στην Θεωρία των Αλυσίδων Markov και των Στοχαστικών Ανελίξεων Μιχάλης Ζαζάνης Τμήμα Στατιστικής Οικονομικό Πανεπιστήμιο Αθηνών

Κεφάλαιο Αλυσίδες Markov σε Συνεχή Χρόνο Αλυσίδες Markov σε συνεχή χρόνο Εστω S ένα πεπερασμένο ή αριθμήσιμο σύνολο (Για παράδειγμα τα σύνολα {,,, m} όπου m N, {,, 3, }, ή {,,, 0,,, }) Στο κεφάλαιο αυτό ϑα εξετάσουμε στοχαστικές διαδικασίες οι οποίες παίρνουν τιμές στο σύνολο S και εξελίσονται σε συνεχή χρόνο, δηλαδή διαδικασίες {X t ; t 0} Συνεπώς για κάθε δεδομένο ω Ω η X t (ω) είναι μια συνάρτηση [0, ) : S Θα υποθέσουμε επίσης ότι με πιθανότητα ένα η συνάρτηση αυτή είναι συνεχής από τα δεξιά και έχει όρια από τα αριστερά Αυτό σημαίνει ότι με πιθανότητα το όριο lim s t X s υπάρχει για κάθε t και X s lim t s X t Μαρκοβιανή Ιδιότητα Η διαδικασία {X t ; t 0} έχει την Μαρκοβιανή ιδιότητα αν για κάθε n N, 0 s 0 < s < < s n < t και i 0, i,, i n, j S, P(X t j X s0 i 0, X s i,, X sn i n ) P(X t j X sn i n ) () Αν η διαδικασία {X t ; t 0} έχει την Μαρκοβιανή ιδιότητα ϑα ονομάζεται διαδικασία Markov Ορισμός Μια διαδικασία Markov ονομάζεται χρονικά ομογενής αν για κάθε 0 s < t και i, j S, P(X t j X s i) P(X t s j X 0 i) Πιθανότητες Μετάβασης Εστω {X t ; t 0} μια χρονικά ομογενής αλυσίδα Markov Για κάθε 0 t και κάθε i, j S ορίζουμε τις συναρτήσεις P i j (t) : P(X t j X 0 i) () Αν υποθέσουμε ότι ο χώρος καταστάσεων S είναι πεπερασμένος, πχ S {,,, N} τότε για κάθε t 0 ο πίνακας P(t) με στοιχεία P i j (t) είναι ένας στοχαστικός πίνακας με P i j (t) 0 και N j P i j (t) για κάθε i,,, N 3

Οι πιθανότητες μετάβασης και η αρχική κατανομή p i : P(X 0 i) προσδιορίζουν πλήρως τις πεπερασμένων διαστάσεων κατανομές της διαδικασίας υπό την έννοια ότι για κάθε 0 < t < t < < t n και κάθε i,, i n S, P(X t i, X t i,, X tn i n ) P(X t i )P i i (t t )P i i 3 (t 3 t ) P in i n (t n t ) p i0 P i0,i (t) P i i (t t )P i i 3 (t 3 t ) P in i n (t n t ) (3) i 0 S Η παραπάνω εξίσωση προκύπτει εύκολα από την Μαρκοβιανή ιδιότητα, την χρονική ομογένεια και τον ορισμό των πιθανοτήτων μετάβασης Ιδιότητες του πίνακα πιθανοτήτων μετάβασης Παρατηρούμε ότι για κάθε i, j S P i j (0) P(X 0 j X 0 i) δ i j : { αν i j 0 αν i j Εξισώσεις Chapman-Kolmogorov Οι πιθανότητες μετάβασης ικανοποιούν τις ακόλουθες σχέσεις: P i j (s + t) : P ik (s)p k j (t), για κάθε s, t > 0 (4) k S Μπορεί να αποδειχθεί (αλλά δεν ϑα το κάνουμε εδώ για να αποφύγουμε τις μαθηματικές δυσκολίες που προκύπτουν) ότι τα εξής όρια υπάρχουν: q i j lim δ 0 δ P i j(δ), i j, (5) q ii lim δ 0 δ (P ii(δ) ) (6) d Παρατηρείστε ότι τα παραπάνω όρια είναι οι παράγωγοι dt P i j(t) t0 q i j Επίσης, παρατηρείστε ότι, δεδομένου ότι αφού P i j (δ) 0, q i j 0 για i j Επίσης, αφού P ii (δ), q ii 0 Θα υποθέσουμε επιπλέον ότι για κάθε i, j οι παράγωγοι αυτές είναι πεπερασμένοι Υποθέτοντας ότι μπορούμε να εναλλάξουμε την σειρά άθροισης και παραγώγισης, κάτι που ισχύει πάντα όταν ο χώρος καταστάσεων S είναι πεπερασμένος, δεδομένου ότι j S P i j (t), d P i j (t) dt j S P i j (t) 0 Εφαρμόζοντας την παραπάνω σχέση για t 0 παίρνουμε j S q i j 0 ή j S q ii q i j (7) j i

Ορίζουμε τον πίνακα των ρυθμών ο οποίος επίσης ονομάζεται γεννήτωρας της διαδικασίας Q ως τον πίνακα με στοιχεία q i j Παρατηρείστε ότι τα μη διαγώνια στοιχεία του Q είναι ϑετικά ή μηδέν ενώ τα διαγώνια στοιχεία του Q είναι αρνητικά ή μηδέν Επιπλέον, λόγω της (7), το άθροισμα κάθε γραμμής του πίνακα είναι 0 ως Χρησιμοποιώντας συμβολισμό πινάκων, οι εξισώσεις Chapman-Kolmogorov γράφονται P(s + t) P(s)P(t) (8) Παραγωγίζοντας την παραπάνω σχέση ως προς s παίρνουμε P (s+t) P (s)p(t) και ϑέτοντας s 0 έχουμε P (t) QP(t), (9) P (t) P(t)Q (0) Η δεύτερη εξίσωση προκύπτει με τον ίδιο τρόπο γράφοντας την (8) ως P(s + t) P(t)P(s) και ακολουθώντας την ίδια διαδικασία Η (9) ονομάζεται οπισθοδρομική εξίσωση του Kolmogorov ενώ η (0) προδρομική Η (8) είναι μία διαφορική εξίσωση πινάκων η οποία, μαζί με την αρχική συνθήκη P(0) I δίνει P(t) e Qt def n0 n! Qn t n () Πίνακες Μετάβασης Θεωρούμε την οικογένεια από πίνακες (με παράμετρο t) P i j (t) : P(X t j X 0 i) Παρατηρούμε ότι P(0) I, ο μοναδιαίος πίνακας Αν p i P(X 0 i) είναι η πιθανότητα ότι η διαδικασία βρίσκεται στην κατάσταση i τη χρονική στιγμή t 0, τότε P(X t j) i p i P i j (t) Ρυθμοί μετάβασης Οταν το δ είναι πολύ μικρό P k j (δ) q k j δ + o(δ) για k j, P j j (δ) δ q k j + o(δ) () Ορίζουμε τον πίνακα ρυθμών μετάβασης Q με στοιχεία [Q i, j q i j, i j, [Q i,i j i q i j Οπως ϑα δούμε αυτός ο πίνακας, ο οποίος μερικές φορές ονομάζεται επίσης η γεννήτρια, μαζί με την αρχική κατανομή καθορίζει πλήρως την εξέλιξη της αλυσίδας Markov k j Στάσιμη κατανομή Η στάσιμη κατανομή (ή κατανομή ισορροπίας δίνεται από το μοναδικό διάνυσμα γραμμής π που ικανοποιεί την εξίσωση πq 0, (3)

μαζί με την εξίσωση κανονικοποίησης π i (4) i S Υπολογισμός του πίνακα e Qt Υποθέτουμε ότι ο χώρος καταστάσεων είναι πεπερασμένος, πχ, το σύνολο S {,,, N} Συνεπώς ο γεννήτορας Q είναι ένας πίνακας N N Δεδομένου ότι όλες οι γραμμές του πίνακα Q έχουν άθροισμα 0, αν e είναι ένα διάνυσμα στήλης του οποίου όλα τα στοιχεία είναι ίσα με την μονάδα, δηλαδή e [,,, T, τότε Qe 0 Αυτό σημαίνει ότι det Q 0 και ότι το μηδέν είναι ιδιοτιμή του Q Προκειμένου να υπολογίσουμε τον e Qt μπορούμε να ακολουθήσουμε την εξής διαδικασία Βρίσκουμε τις N ιδιοτιμές του Q, λ,, λ N λύνοντας την εξίσωση det(λi Q) 0 Μια από αυτές τις ιδιοτιμές, έστω η λ, είναι 0 Βρίσκουμε τα αντίστοιχα ιδιοδιανύσματα, m,, m N, τα οποία ικανοποιούν την σχέση Qm i λ i m i, i,, N Το m που αντιστοιχεί στην ιδιοτιμή 0 είναι το [,,, T (Γενικώς, αν το m i είναι ιδιοδιάνυσμα και c 0 τότε και το cm i είναι ιδιοδιάνυσμα, αφού το m i προκύπτει ως λύση του ομογενούς συστήματος εξισώσεων (Q λ i I)m i 0 Υποθέτουμε για ευκολία ότι οι ιδιοτιμές είναι διαφορετικές μεταξύ τους 3 Σχηματίζουμε τον πίνακα M : [m,, m N ο οποίος έχει ως στήλες τα ιδιοδιανύσματα Αν λ Λ : λ N είναι ο διαγώνιος πίνακας των ιδιοτιμών (φυσικά με την ίδια σειρά όπως και τα ιδιοδιανύσματα του M) τότε είναι εύκολο να διαπιστώσουμε ότι QM MΛ και επομένως Q MΛM (Από την Γραμμική Άλγεβρα γνωρίζουμε ότι, εφ όσον οι ιδιοτιμές του Q είναι διαφορετικές μεταξύ του, τα αντίστοιχα ιδιοδιανύσματα είναι γραμμικά ανεξάρτητα και επομένως ο πίνακας M είναι αντιστρέψιμος) 4 Παρατηρούμε ότι Q (MΛM )(MΛM ) MΛ M και επομένως, επαγωγικά, Q n MΛ n M 5 Ισχύει ότι λ n Λ n λ n N επειδή ο Λ είναι διαγώνιος

6 Μπορούμε τώρα να υπολογίσουμε εύκολα το εκθετικό του πίνακα Q: e tq n0 M M t n n! Qn n0 t n n! Λn M n0 e λ t e λnt t n n! Qn M M t n n! MΛn M n0 n0 t n n! λn t n n0 n! λn N M Τα ακόλουθα παραδείγματα δείχνουν πώς εφαρμόζεται η διαδικασία που περιγράψαμε Παράδειγμα γεννήτορα Εστω μια διαδικασία Markov με χώρο καταστάσεων S {0, } και Q [ Η στάσιμη κατανομή δίνεται από τις σχέσεις (3) και (4) που στην περίπτωσή μας δίνουν π 0 + π 0 π 0 π 0 π 0 + π (Η μια από τις δύο πρώτες εξισώσεις είναι πολλαπλάσιο της άλλης) Οι εξισώσεις αυτές δίνουν την στάσιμη κατανομή π [/3, /3 Οι ιδιοτιμές δίδονται από την εξίσωση det(λi Q) λ + λ + (λ + ) 3 (λ + )(λ + 3) λ(λ + 3) 0 Στην ιδιοτιμή 0 αντιστοιχεί το ιδιοδιάνυσμα [, T Πράγματι [ [ [ 0 Προκειμένου να βρούμε το ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή 3 λύνουμε το σύστημα [ ή [ x x 3 [ x x x + x 3x x x 3x Το παραπάνω σύστημα δίνει μόνο την σχέση x x (Η δεύτερη εξίσωση είναι ίδια με την πρώτη επειδή το σύστημα είναι ομογενές) Μπορούμε να διαλέξουμε ως ιδιοδιάνυσμα

το [, T (Οποιοδήποτε πολλαπλάσιο του διανύσματος αυτού είναι επίσης ιδιοδιάνυσμα που αντιστοιχεί στην ιδιοτιμή 3) Ο πίνακας των ιδιοδιανυσμάτων M είναι επομένως M [ και M 3 [ Επομένως Q [ [ 0 3 3 [ και e tq [ +e 3t 3 e 3t [ 0 e 3t 3 +e 3t 3 3 3 [ [ [ e 3t 3 [ Επομένως έχουμε P(t) Παρατηρούμε ότι όταν t P(t) [ 3 3 3 [ 3 3 3 [ + e 3t 3 3 3 (5) Κάθε μια από τις δύο γραμμές του πίνακα είναι η στάσιμη κατανομή Σε μια από τις επόμενες παραγράφους ϑα μελετήσουμε ειδικά διαδικασίες με δυο καταστάσεις και ϑα δούμε και έναν διαφορετικό τρόπο με τον οποίο μπορούμε να καταλήξουμε στην (5) Παράδειγμα Εστω μια διαδικασία Markov με χώρο καταστάσεων S {0,, } και γεννήτορα Q 0 Η στάσιμη κατανομή δίνεται από τις σχέσεις (3) και (4) που δίνουν π 0 + π + π 0 π 0 π + π 0 π π 0 π 0 + π + π (Μία από τις τρεις πρώτες εξισώσεις είναι γραμμικός συνδιασμός των άλλων δύο) εξισώσεις αυτές δίνουν την στάσιμη κατανομή π [/5, /5, 3/5 Οι Προκειμένου να υπολογίσουμε τον πίνακα πιθανοτήτων μετάβασης χρησιμοποιήσουμε την () Για να υπολογίσουμε τον πίνακα e tq μπορούμε να χρησιμοποιήσουμε την ακόλουθη μεθοδολογία

ϑα διαγωνιοποιήσουμε τον Q: οι ιδιοτιμές είναι 0,, και 3 με αντίστοιχα ιδιοδιανύσματα Επομένως Q MΛM ή 0 Q,, 3 από την οποία προκύπτει ότι e Qt e 6 t e 3t +e t e 3t 3 6 + 3 e 3t e t e 3t 3 6 + 3 e 3t +e t e 3t 3 6 + + 3 e 3t / /3 /6 / 0 / 0 /3 /3 3 3 0 3 0 Σε κάποιες περιπτώσεις μπορούμε να υπολογίσουμε τις πιθανότητες μετάβασης χωρίς να χρησιμοποιήσουμε την () Η διαδικασία Poisson ως διαδικασία Markov Εστω {N t ; t 0} μια διαδικασία Poisson με ρυθμό λ N t είναι ο αριθμός των σημείων στο διάστημα (0, t Τα σημεία της διαδικασίας είναι τα {T n ; n,, } όπου T n τ + τ + + τ n Οι τυχαίες μεταβλητές {τ i } είναι ανεξάρτητες εκθετικά κατανεμημένες τυχαίες μεταβλητές με ρυθμό λ Από τις γνωστές ιδιότητες της διαδικασίας Poisson είναι εύκολο να διαπιστώσουμε ότι η διαδικασία {N t ; t 0} με χώρο καταστάσεων S {0,,, } ικανοποιεί την Μαρκοβιανή ιδιότητα: Αν 0 < t t t n και 0 i i i n όπου i,, i n N 0, P(N t i, N t i,, N tn i n ) P(N t i ) P(N t N t i i ) P(N tn N tn i n i n ) P(N t i ) P(N t t i i ) P(N tn t n i n i n ) (λt ) i i! e λt (λ(t t )) i i (i i )! e λ(t t ) (λ(t n t n )) i n i e λ(t n t n ) (i n i n )! Βλέπουμε επομένως ότι η διαδικασία {N t } είναι Markov με πιθανότητες μετάβασης (λt) j i P i j (t) P(N t j i) ( j i)! e λt αν j i 0 αν j < i Ο γεννήτορας είναι Q λ λ 0 0 0 λ λ 0 0 0 λ λ 0 0 0 λ

3 Μία εναλλακτική περιγραφή Αντί να καθορίσουμε τον πίνακα ρυθμών μετάβασης μπορούμε να χαρακτηρίσουμε πλήρως μια μαρκοβιανή αλυσίδα συνεχούς χρόνου μέσω δύο συνόλων από παραμέτρους ν i, i S, τον εκθετικό ρυθμό παραμονής στην κατάσταση i για κάθε κατάσταση στο χώρο S και τον πίνακα P i j, τον πίνακα πιθανοτήτων μετάβασης της αλυσίδας Markov διακριτού χρόνου που προσδιορίζει τα άλματα από μια κατάσταση στην επόμενη Η σχέση ανάμεσα σ αυτές τις παραμέτρους και την γεννήτρια δίδεται από τις εξισώσεις ν i q i j, i S, (6) και j i P i j q i j ν i, j i, (7) P(i, i) 0 Ισοδύναμα, με δεδομένα τα (ν, P), μπορούμε να υπολογίσουμε την γεννήτρια από τις εξισώσεις q i j ν i P i j, i j, q ii j i q i j Μια εναλλακτική έκφραση για την στάσιμη κατανομή Υποθέτουμε ότι τη χρονική στιγμή t 0 η αλυσίδα Markov βρίσκεται στην κατάσταση i και συμβολίζουμε με T την πρώτη χρονική στιγμή που η διαδικασία επανεισέρχεται για πρώτη φορά στην κατάσταση i αφού την έχει εγκαταλείψει Επίσης συμβολίζουμε με N(i, j) τον αριθμό των επισκέψεων στην κατάσταση j μεταξύ δύο διαδοχικών επισκέψεων στην i κατανομή της αλυσίδας διακριτού χρόνου των αλμάτων P i j Τότε Τέλος έστω η i η στάσιμη π j E [ Συνολικός χρόνος στην κατάσταση j στο διάστημα [0, T ET EN(i, j) E [ χρόνος παραμονής στην κατάσταση j η j η i ν j k S η k η i νk (8) ET η j ν j k S η, (9) k νk όπου στις παραπάνω σχέσεις χρησιμοποιήσαμε το γεγονός ότι EN(i, j) η j η i καθώς και το ότι ο μέσος χρόνος παραμονής σε οποιαδήποτε κατάσταση k είναι νk Η σχέση ανάμεσα στη στάσιμη κατανομή της αρχικής αλυσίδας Markov, π, και στη στάσιμη κατανομή της αλυσίδας των αλμάτων, η, μπορεί να περιγραφεί από τις σχέσεις: Το ποσοστό του χρόνου που η αλυσίδα Markov βρίσκεται στην κατάσταση i είναι π i Το ποσοστό των αλμάτων που καταλήγουν στην κατάσταση i είναι η i Οι δύο κατανομές σχετίζονται μέσω των εξισώσεων π i cη i ν i, (0) όπου c είναι σταθερά που προσδιορίζεται από τη συνθήκη κανονικοποίησης π i

Από την (0) συνάγουμε επίσης ότι η i π i ν i k S π k ν k () 4 Αλυσίδες με απορροφητικές καταστάσεις Οπως και στις αλυσίδες Markov διακριτού χρόνου έτσι και σε συνεχή χρόνο μπορούμε να έχουμε απορροφητικές καταστάσεις Αν η κατάσταση i είναι απορροφητική τότε q i 0 δηλαδή ο ρυθμος με τον οποίο η διαδικασία φεύγει από την κατάσταση αυτή είναι 0 (Με άλλα λόγια μένει για πάντα εκεί!) Συνεπώς, αφού q i j i q i j και q ii q i αυτό σημαίνει ότι όλα τα στοιχεία της γραμμής i του πίνακα Q είναι μηδέν όταν η κατάσταση i είναι απορροφήτική Ισχύει φυσικά και το αντίστροφο Οταν η γραμμή i ενός πίνακα Q είναι 0 αυτό σημαίνει ότι η κατάσταση i είναι απορροφητική Για παράδειγμα ας ϑεωρήσουμε την διαδικασία με χώρο καταστάσεων {0,,, 3} και πίνακα Q 0 0 0 0 0 0 0 3 Η κατάσταση 0 είναι απορροφητική ενώ οι, και 3 είναι μεταβατικές Ο πίνακας πιθανοτήτων μετάβασης ϑα είναι P(t) e Qt και για τον υπολογισμό του υπολογίζουμε τις ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα του Q Οι ιδιοτιμές ϑα είναι 3,, και 0 επειδή ο πίνακας είναι τριγωνικός και τα αντίστοιχα ιδιοδιανύσματα είναι 0 0 0 0 0 3,,, 0 0 Άρα ο πίνακας ιδιοδιανισμάτων, M, και ο αντίστροφός του, M ϑα είναι 0 0 0 0 0 0 0 0 M, M 0 0 0 0 0 0 0 και επομένως, Q MΛM συμπεραίνουμε ότι P(t) e tq Me tλ M Συνεπώς, e P(t) t e t (όπου Λ ο διαγώνιος πίνακας των ιδιοτιμών) από το οποίο e 3t e t e t e t e t e t e t e t e t e t e t e 3t e 3t

5 Ανταγωνιστικά Εκθετικά Εστω X i, ανεξάρτητες εκθετικές τυχαίες μεταβλητές με ρυθμούς λ i, i,,, n Θέτουμε Y min{x, X,, X n } και ορίζουμε την τυχαία μεταβλητή Z με τιμές στο σύνολο {,,, n} έτσι ώστε Z i αν X i Y, δηλαδή Z είναι ο δείκτης της μικρότερης από τις τιμές X,, X n Η από κοινού κατανομή των Y και Z είναι P(Y (x, x + dx), Z i) P(X i (x, x + dx), X i < X j, j i) P(X i (x, x + dx)) λ i e λ ix dx n P(X j > x) n e λ jx λ i dx e x n j λ j () j j i Οι αντίστοιχες περιθώριες κατανομές είναι j j i P(Y (x, x + dx)) n P(Y (x, x + dx), Z i) i n λ i e x n j λ j dx (3) i Η παραπάνω σχέση δείχνει ότι η Y είναι εκθετικά κατανεμημένη με ρυθμό n i λ i Επίσης P(Z i) 0 λ i e x n j λ j dx λ i nj λ j, i,, n (4) Από τις σχέσεις (), (3), και (4) βλέπουμε ότι οι τυχαίες μεταβλητές Y και Z είναι ανεξάρτητες 6 Αλυσίδες Markov με δύο καταστάσεις 6 Αλυσίδες Markov με δύο καταστάσεις Εστω αλυσίδα Markov με σύνολο καταστάσεων S {0, } και γεννήτρια Q [ λ λ µ µ Ο πίνακας πιθανοτήτων μετάβασης δίνεται από την () ως εξής: Παρατηρείστε ότι Q [ λ + λµ λ λµ λµ µ λµ + µ [ λ λ (λ + µ) µ µ (λ + µ)q

Αυτό συνεπάγεται επαγωγικά ότι Q n ( ) n (λ + µ) n Q για n,, Συνεπώς, P(t) n0 t n n! Qn I + I Q λ + µ [ 0 0 ( ) n (λ + µ) n t n Q n! n ( ) n (λ + µ) n t n I n! λ + µ Q ( e (λ+µ)t ) n [ λ λ µ µ e (λ+µ)t λ + µ Συμπεραίνουμε ότι [ P00 (t) P P(t) : 0 (t) P 0 (t) P (t) µ λ+µ µ λ+µ λ λ+µ λ λ+µ + λ + µ e (λ+µ)t [ λ λ µ µ (5) Στην περίπτωση που λ µ ο πίνακας πιθανοτήτων μετάβασης δίνεται από την P(t) + e λt [ (6) Επομένως ένα σφαιρίδιο που την χρονική στιγμή 0 ήταν στο αριστερό δοχείο σε χρόνο t έχει πιθανότητα να βρίσκεται στο αριστερό δοχείο ( ) + e λt ενώ αν αρχικά βρισκόταν στο δεξιό δοχείο, τη χρονική στιγμή t η πιθανότητα να βρίσκεται στο αριστερό δοχείο είναι ( ) e λt Αν ξεκινήσουμε με 0 σφαιρίδια στο αριστερό δοχείο (X(0) 0) τότε P(X(t) i) ( n i ( n i ( ) n i ) ( ) ( ( )) e λt i ( ( )) e λt n i ( e λt )) i ( ( + e λt )) n i n ( e λt) i ( + e λt ) n i 7 Αναστρεψιμότης σε Συνεχή Χρόνο Με λίγη σκέψη βλέπουμε ότι μια αλυσίδα Markov συνεχούς χρόνου είναι αναστρέψιμη ανν η αντίστοιχη αλυσίδα αλμάτων σε διακριτό χρόνο είναι αναστρέψιμη Η συνθήκη για να συμβαίνει αυτό είναι η i P i j η j P ji (7)

Εν όψει των (7) και () η (7) γράφεται και ως π i ν i q i j ν i π j ν j q ji ν j ή π i q i j π j q ji, για κάθε i, j S (8) Το κριτήριο του Kolmogorov για αλυσίδες Markov συνεχούς χρόνου μπορεί να βρεθεί εξετάζοντας την διακριτή αλυσίδα αλμάτων Για οποιοδήποτε βρόγχο, λόγου χάριν i j k l i, εφαρμόζοντας το κριτήριο στην αλυσίδα αλμάτων δίδει την εξίσωση P i j P jk P kl P li P il P lk P k j P ji, η οποία, λαμβάνοντας υπ όψιν την (7) είναι ισοδύναμη με την q i j q jk q kl q li q il q lk q k j q ji (9) 7 Χρονική αντιστρεψιμότητα και διαδικασίες γεννήσεων-ϑανάτων Θεωρούμε μια διαδικασία Markov με χώρο καταστάσεων το σύνολο {0,,,, N} όπου N N ή το σύνολο N 0 : {0,,, } Το όνομα των διαδικασιών αυτών προέρχεται από τις Βιολογικέ εφαρμογές τους αν και δεν περιορίζεται σ αυτές επ ουδενί λόγω Ο γεννήτορας της διαδικασίας έχει την μορφή Q λ 0 λ 0 µ (λ + µ ) λ µ (λ + µ ) λ δηλαδή q n,n+ λ n, n 0,,, q n,n µ n, n,, 3, q 00 λ 0 q nn (λ n + µ n ), n 0,,, q n,m 0 σε κάθε άλλη περίπτωση Η κατάσταση της διαδικασίας είναι ο αριθμός των οργανισμών Οταν υπάρχουν n οργανισμοί, ο ρυθμός γεννήσεων είναι λ n και ο ρυθμός ϑανάτων µ n Αυτό εξηγεί την μορφή του πίνακα Q ο οποίος είναι τριδιαγώνιος Αν το σύνολο καταστάσεων είναι πεπερασμένο τότε έχουμε ένα συνηθισμένο πεπερασμένο πίνακα Η στάσιμη κατανομή, αν υπάρχει, ικανοποιεί την εξίσωση πq 0 και την συνθήκη κανονικοποίησης i π Συγκεκριμένα οι εξισώσεις γίνονται πq 0 οι οποίες ονομάζονται

και εξισώσεις ολικής ισορροπίας π 0 λ 0 π µ (30) π (λ + µ ) π 0 λ 0 + π µ (3) π (λ + µ ) π λ + π 3 µ 3 (3) π 3 (λ 3 + µ 3 ) π λ + π 4 µ 4 (33) Προσθέτοντας την (30) και την (3) παίρνουμε π λ π µ (34) Προσθέτοντας την (34) και την (3) παίρνουμε π λ π 3 µ 3 (35) Προσθέτοντας την (36) και την (33) παίρνουμε π 3 λ 3 π 4 µ 4 (36) και ούτω καθ εξής Συνεπώς οι εξισώσεις ολικής ισορροπίας είναι ισοδύναμες με τις ακόλουθες εξισώσεις τοπικής ισορροπίας: π n,n+ λ n π n+ µ n+, n 0,,, (37) Οι εξισώσεις αυτές είναι οι συνθήκες αντιστρεψιμότητας (8) Λύνοντας τις εξισώσεις αυτές αναδρομικά έχουμε ότι π n π 0 λ 0 λ λ n µ µ µ n (38) Αν ο χώρος καταστάσεων είναι πεπερασμένος τότε η παραπάνω σχέση ισχύει για κάθε n {,, N} ενώ αν είναι άπειρος, για κάθε n N Η πιθανότητα π 0 προσδιορίζεται από την συνθήκη κανονικοποίησης ( ) Για πεπερασμένο χώρο καταστάσεων αυτή είναι π 0 + Nn λ 0 λ λ n µ µ µ n απ όπου έ- χουμε π 0 + N n λ 0 λ λ n µ µ µ n (39) και επομένως οι εξισώσεις (38) και (39) προσδιορίζουν την στάσιμη κατανομή που υπάρχει σε κάθε περίπτωση Για άπειρο χώρο καταστάσεων η συνθήκη κανονικοποίησης δίνει π 0 + λ 0 λ λ n µ µ µ n n

Αναγκαία και ικανή συνθήκη για να προσδιοριστεί η πιθανότητα π 0 από την παραπάνω εξίσωση είναι να συγκλίνει η σειρά στο αριστερό της σκέλος Συνεπώς η στάσιμη κατανομή υπάρχει αν και μόνον αν συγκλίνει η σειρά Εφόσον συγκλίνει η σειρά, π 0 + n λ 0 λ λ n µ µ µ n (40) και οι εξισώσεις (38) και (40) προσδιορίζουν την στάσιμη κατανομή συγκλίνει, η διαδικασία δεν έχει στάσιμη κατανομή (η αλυσίδα είναι μεταβατική) Αν η σειρά δεν 8 Παραδείγματα 8 Η αλυσίδα των Ehrenfest Εστω δύο δοχεία τα οποία περιέχουν συνολικά n σφαιρίδια Αρχικά k από αυτά βρίσκονται στο αριστερό και τα υπόλοιπα n k στο δεξιό Το κάθε σφαιρίδιο ανεξάρτητα από τα άλλα παραμένει στο δοχείο που βρίσκεται για ένα εκθετικό χρόνο (με ρυθμό λ και κατόπιν μεταπηδά στο άλλο Το μοντέλο αυτό περιγράφει, μεταξύ άλλων, και την διάχυση αερίου μέσα από ημιπερατή μεμβράνη Η κατάσταση του συστήματος την χρονική στιγμή t περιγράφεται πλήρως από τον αριθμό των σωματιδίων στο αριστερό δοχείο, έστω X(t) (Ο αριθμός των σωματιδίων στο δεξιό δοχείο ϑα είναι φυσικά n X(t) ενώ οι χρόνοι που έχουν παρέλθει από τις τελευταίες μεταπηδήσεις των σωματιδίων δεν είναι απαραίτητο να είναι γνωστοί λόγω της αμνήμονης ιδιότητας της εκθετικής κατανομής) Η γεννήτρια της διαδικασίας Markov X(t) για n 6 είναι Q 6λ 6λ 0 0 0 0 0 λ 6λ 5λ 0 0 0 0 0 λ 6λ 4λ 0 0 0 0 0 3λ 6λ 3λ 0 0 0 0 0 4λ 6λ λ 0 0 0 0 0 5λ 6λ λ 0 0 0 0 0 6λ 6λ και γενικά, όταν ο αριθμός των σφαιριδίων είναι n, μπορούμε να την περιγράψουμε με τις σχέσεις q i j nλ αν j i iλ αν j i (n i)λ αν i i + 0 διαφορετικά Η διαδικασία είναι χρονικά αντιστρέψιμη και επομένως π i q i,i π i q i,i ή π i λ(n i + ) π i iλ, i,,, n

και επομένως, για i,,, n έχουμε n i + π i π i i ( ) n π 0 i π i (n i + )(n i + ) i(i ) π 0 (n i + )(n i + ) (n )n i(i ) Το προσδιορίζεται από τις εξισώσεις κανονικοποίησης ως εξής: π 0 + n ( ) n π 0 i i ή κι έτσι π 0 n i ( ) n π 0 n i π i ( ) n n i δηλαδή η κατανομή ισορροπίας του X(t) είναι διωνυμική Το αποτέλεσμα αυτό δεν πρέπει φυσικά να μας εκπλήσσει Το κάθε σφαιρίδιο αναπηδά ανεξάρτητα από τα άλλα και μετά από αρκετό χρόνο η αρχική του ϑέση παύει να παίζει ρόλο Ετσι, στο όριο, όταν ο χρόνος τείνει στο άπειρο το κάθε σφαιρίδιο είναι εξίσου πιθανό να βρίσκεται στο ένα ή στο άλλο δοχείο, ανεξάρτητα από τα άλλα, εξ ου και η διωνυμική κατανομή 8 Γραμμική διαδικασία καθαρών γεννήσεων Θεωρούμε οργανισμούς οι οποίοι δεν πεθαίνουν ποτέ αλλά, ανεξάρτητα ο ένας από τον άλλο, γεννούν όμοιους οργανισμούς με ρυθμό λ Αν υποθέσουμε ότι ξεκινάμε με ένα οργανισμό την χρονική στιγμή 0, μετά από χρόνο τ, εκθετικά κατανεμημένο με ρυθμό λ, ϑα έχουμε δύο οργανισμούς Η επόμενη γέννηση ϑα συμβεί μετά από τ χρονικές μονάδες Αυτή είναι μια διαδικασία γεννήσεων με λ i iλ Ας υποθέσουμε ότι η διαδικασία ξεκινάει με ένα σωμάτιο την χρονική στιγμή 0 και εστω T n η χρονική στιγμή της n-οστής γέννησης Τότε από τα παραπάνω προκύπτει ότι P(T n x) ( e λx) n Για να βρούμε τον πίνακα πιθανοτήτων μετάβασης παρατηρούμε ότι P n (t) P(T n t < T n ) P(T n t) P(T n t) ( e λt) n ( e λt ) n e λt ( e λt) n Συνεπώς το μέγεθος του πληθυσμού την χρονική στιγμή t, X t, ακολουθεί γεωμετρική κατανομή με πιθανότητα επιτυχίας e λt

83 Διαδικασία γεννήσεων ϑανάτων μετανάστευσης Εξετάζουμε την χρονική εξέλιξη ενός πληθυσμού που αποτελείται από άτομα των οποίων η ζωή είναι εκθετικά κατανεμημένη με ρυθμό µ Οσο ένας οργανισμός είναι ζωντανός γεννά απογόνους με ρυθμό λ Τέλος, ανεξέαρτητα από οτιδήποτε άλλο έχουμε όμοιους οργανισμούς οι οποίοι εισέρχονται στο σύστημα με ρυθμό ν Ο χώρος καταστάσεων S {0,,, } περιγράφει τον αριθμό των οργανισμών στο σύστημα Ο γεννήτορας της διαδικασίας δίνεται από την σχέση q i,i+ ν + iλ, i 0,,,, (4) q i,i iµ, i,,, (4) q ii ν i(λ + µ), λ, i 0,,,, (43) q i j 0, σε κάθε άλλη περίπτωση (44) Η στάσιμη κατανομή προκύπτει εύκολο από τις συνθήκες τοπικής ισορροπίας από τις οποίες παίρνουμε το σύστημα π i (ν + (i )λ) π i iµ, i,, η οποία δίνει και επομένως, αναδρομικά έχουμε π i π i ν + (i )λ ν + iµ (ν + (i )λ)(ν + (i )λ) (ν + λ)ν π i π 0 iµ (i )µ µ µ ( ) i λ (θ + (i ))(θ + (i )) (θ + )θ π 0 µ i! (45) όπου θ ν/λ Η στάσιμη κατανομή ϑα υπάρχει υπό την προϋπόθεση ότι η σειρά a i : i0 i0 ( ) i λ (θ + (i ))(θ + (i )) (θ + )θ µ i! συγκλίνει Εφαρμόζοντας το κριτήριο του λόγου για την σύγκλιση σειρών έχουμε a i+ a i ( ) λ i+ (θ+i)(θ+(i )) (θ+)θ µ (i+)! ( ) λ i (θ+(i ))(θ+(i )) (θ+)θ µ i! λ µ θ + i i + λ, όταν i µ Συνεπώς η σειρά συγκλίνει όταν λ < µ (δηλαδή όταν ο ρυθμός γεννήσεων λ είναι μικρότερος από τον ρυθμό ϑανάτων µ) και αποκλίνει όταν λ > µ Η περίπτωση λ µ, για την οποία το κριτήριο δεν αποφαίνεται, ϑα εξεταστεί ξεχωριστά Λαμβάνοτνας υπ όψιν ότι Γ(x + ) xγ(x), έχουμε ότι (θ + i )(θ + i ) (θ + )θ Γ(θ + i) Γ(θ)

και, από την σχέση (45), έχουμε π i π 0 ( λ µ ) i Γ(θ + i), Γ(θ)i! i 0,,, (46) Η πιθανότητα π 0 προσδιορίζεται από την συνθήκη κανονικοποίησης ως π 0 ( i0 λ i (47) Γ(θ+i) µ) i!γ(θ) Η κατανομή (46) είναι αρνητική διωνυμική Πράγματι, από το διωνυμικό ϑεώρημα, όταν x <, ( x) θ i ( θ)( θ ) ( θ i + ) i θ(θ + ) (θ + i ) ( x) x i! i! i0 i0 i Γ(θ + i) ( ) θ + i x x i (48) i!γ(θ) i i0 i0 Συνεπώς, ϑέτοντας x λ/µ, π i ( ) ( θ + i λ ) θ ( ) i λ, i 0,,, (49) i µ µ 9 Θεωρία Αναμονής και συναφή μοντέλα Μαρκοβιανά συστήματα αναμονής Ο συμβολισμός του Kendal Ενα σύστημα απλό σύστημα αναμονής απαρτίζεται από μια διαδικασία αφίξεων η οποία στα συστήματα που εξετάζουμε ϑα ϑεωρείται πάντα Poisson Οι πελάτες εξυπηρετούνται σύμφωνα με την σειρά άφιξης στο σύστημα Ο χρόνος εξυπηρέτησης είναι εκθετικά κατανεμημένος με ρυθμό µ (ίδιος για όλους τους servers) 9 Επίβλεψη Μηχανών Ενας τεχνίτης επιβλέπει M μηχανές Κάθε μηχανή, ανεξέρτητα από τις άλλες, λειτουργεί για μια εκθετική χρονική περίοδο με ρυθμό λ Στο τέλος αυτής της περιόδου υφίσταται μια βλάβη την οποία επιδιορθώνει ο τεχνίτης Ο χρόνος επισκευής είναι εκθετικός με ρυθμό µ Οταν μια μηχανή υποστεί βλάβη, ο τεχνίτης ξεκινά αμέσως την διαδικασία επιδιόρθωσής της εκτός αν είναι απασχολημένος επιδιορθώνοντας μια μηχανή που έχει ήδη υποστεί βλάβη Εστω X t ο αρθμός των μηχανών που λειτουργούν την χρονική στιγμή t Η {X t ; t 0} είναι διαδικασία Markov με χώρο καταστάσεων S {0,,, M} και γενήτορα q i,i+ µ, i 0,,,, M, q i,i iλ, i,,, M,

Η στάσιμη κατανομή προκύπτει από τη σχέση η οποία δίνει η οποία αναδρομικά δίνει π i q i,i πq i,i, i,,, M π i π i µ iλ, π i i,,, M α i π 0, i 0,,,, M i! όπου α µ λ Η πιθανότητα π 0 προκύπτει από την εξίσωση κανονικοποίησης M i0 π i η οποία δίνει π 0 M α k k! Ο μέσος αριθμός μηχανών που λειτουργούν δίνεται από την σχέση k0 m M kπ k k0 M k0 π 0 k αk k! M π 0 α k0 α k k! 9 Η ουρά M/M/ Το σύστημα αυτό αποτελείται από έναν υπηρέτη (server) ο οποίος εξυπηρετεί έναν πελάτη κάθε φορά Οι χρόνοι εξυπηρέτησης είναι ανεξάρτητες, εκθετικά κατανεμημένες τυχαίες μεταβλητές με ρυθμό µ ενώ οι αφίξεις είναι Poisson με ρυθμό λ, και είναι ανεξάρτητες από τους χρόνους εξυπηρέτησης Ο γεννήτορας είναι Q λ λ 0 0 0 µ (λ + µ) λ 0 0 0 µ (λ + µ) λ 0 0 0 µ (λ + µ) λ Επειδή ο γράφος της διαδικασίας είναι γραμμικός η διαδικασία είναι χρονικά αναστρέψιμη και επομένως π n λ π n µ, n,, (50) Αν ϑέσουμε ρ : λ/µ η (50) δίνει π n ρπ n και επομένως, αναδρομικά, π n π 0 ρ n (5) Αν ρ < τότε η άγνωστη πιθανότητα π 0 προσδιορίζεται από την εξίσωση κανονικοποίησης ως εξής: π n n0 n0 π 0 ρ n π 0 ρ

και συνεπώς π 0 ρ Κατά συνέπεια η στάσιμη κατανομή είναι π n ( ρ)ρ n, n 0,,, (5) Αντιθέτως, αν ρ, η στάσιμη κατανομή δεν υπάρχει Ο λόγος διαισθητικά είναι ο εξής: ρ λ/µ είναι ο μέσος αριθμός πελατών που φθάνουν κατά την διάρκεια του χρόνου εξυπηρέτησης ενός πελάτη Συνεπώς, όταν ο αριθμός αυτός είναι μεγαλύτερος της μονάδας, ο αριθμός των πελατών αυξάνει συνεχώς χωρίς όριο και επομένως δεν υπάρχει στάσιμη κατανομή Ο μέσος αριθμός πελατών στο σύστημα δίνεται από την σχέση L nπ n n0 ( ρ)nρ n ( ρ)ρ n0 n nρ n ( ρ)ρ ( ρ) ρ ρ Η πιθανότητα να έχουμε k ή περισσότερους πελάτες στο σύστημα είναι π n nk ( ρ)ρ n ( ρ)ρ k ρ n k ( ρ)ρ k ρ ρk nk nk 93 Η ουρά M/M/s Το σύστημα αυτό είναι όμοιο με το σύστημα M/M/ με μόνη διαφορά το γεγονός ότι υπάρχουν s υπηρέτες Κάθε υπηρέτης εξυπηρετεί πελάτες με ρυθμό µ ανεξάρτητα από τους άλλους Ο χώρος αναμονής είναι απεριόριστος και οι αφίξεις είναι Poisson με ρυθμό λ Ο γεννήτορας της διαδικασίας δίνεται από τις σχέσεις q n,n+ λ, n 0,,, nµ αν n,,, s q n,n sµ αν n s +, s +, (λ + nµ) αν n 0,,,, s q nn (λ + sµ) αν n s +, s +, και q nm 0 σε κάθε άλλη περίπτωση Η διαδικασία είναι χρονικά αναστρέψιμη και επομένως π n q n,n+ π n+ q n+,n Δεδομένου ότι ο ρυθμός εξυπηρέτησης εξαρτάται από τον αριθμό πελατών στο σύστημα διακρίνουμε δύο περιπτώσεις: π n λ π n nµ, n,,, s (53) π n λ π n sµ, n s +, s +, (54)

Η (53) δίνει π n π n ρ/n όπου ρ : λ/µ ο μέσος αριθμός αφίξεων ανά εξυπηρέτηση Επομένως, επαγωγικά, ρ n π n π 0, n 0,,,, s (55) n! Η (54) δίνει π n π n ρ/(sµ) και επαγωγικά Η (55) δίνει Η (56) δίνει ns+ π n π n π s ( ρ s ) n s (56) π s ns+ π 0 ρ s π s ( ρ s s! (57) ) n s π s ρ/s ρ/s (58) Η παραπάνω σειρά βεβαίως συγκλίνει υπό την προϋπόθεση ότι ρ/s < ή ισοδύναμα ρ < s Αν δεν ισχύει αυτή η σχέση ο αριθμός των πελατών στο σύστημα αυξάνει απεριόριστα με την πάροδο του χρόνου εξίσωση κανονικοποίησης δίνει π n n0 Εφόσον ρ < s, λαμβάνοντας υπ όψιν και τις (57) και (58), η s n0 π 0 ρ n n! + ns+ π s ( ρ s ) n s Από την παραπάνω εξίσωση συμπεραίνουμε ότι s n0 ρ n π 0 n! + π ρ s ρ 0 s! s ρ π 0 sn0 (59) ρ n n! + ρs ρ s! s ρ Οι (55), (56) και (59) μας επιτρέπουν να υπολογίσουμε εύκολα την στάσιμη κατανομή Ας δούμε ως παράδειγμα την περίπτωση s Η στάσιμη κατανομή σ αυτή την περίπτωση, αντικαθιστώντας και κάνοντας τις στοιχειώδεις αλγεβρικές πράξεις έχουμε π 0 ρ + ρ, π n ρ + ρ ρ ( ρ Ο μέσος αριθμός πελατών στο σύστημα είναι ) n, n,, 3, L nπ n n0 4ρ 4 ρ n n ρ ( ρ ) n + ρ ρ ρ + ρ ( ρ n n ) n ρ + ρ ( ρ ) Η πιθανότητα ότι ένας πελάτης που φθάνει στο σύστημα ϑα εξυπηρετηθεί χωρίς να χρειαστεί να περιμένει είναι π 0 + π ( ρ)(+ρ) +ρ

94 Το σύστημα M/M/ Το σύστημα αυτό έχει άπειρο πλήθος υπηρετών, καθένας από τους οποίους εξυπηρετεί έ- ναν πελάτη με ρυθμό µ (οι χρόνοι εξυπηρέτησης είναι πάντα εκθετικές ανεξάρτητες τυχαίες μεταβλητές) και οι αφίξεις είναι Poisson με ρυθμό λ, ανεξάρτητες από τις εξυπηρετήσεις Κανένας πελάτης δεν περιμένει στο σύστημα αυτό επειδή πάντα υπάρχουν διαθέσιμοι υ- πηρέτες Ο χώρος καταστάσεων είναι ο αριθμός των πελατών στο σύστημα και συνεπώς S {0,,, } Ο γεννήτορας είναι q i,i+ λ, i 0,,, q i,i iµ i,,, q ii (λ + iµ) i 0,,, και q i j 0 σε κάθε άλλη περίπτωση Το σύστημα είναι χρονικά αντιστρέψιμο και επομένως π i λ π i iµ, i,, Θέτοντας ρ λ/µ, π i ρ i π i, i,, και αναδρομικά έχουμε Η εξίσωση κανονικοποίησης δίνει π i ρ i π 0, i 0,,, i! i0 π 0 ρ i i! π 0 e ρ Η σειρά στην παραπάνω εξίσωση συγλίνει για οποιαδήποτε τιμή του ρ Συνεπώς έχουμε την στάσιμη κατανομή π i ρi i! e ρ, i 0,,, 95 Το σύστημα M/M/s/s Στο σύστημα αυτό υπάρχουν s υπηρέτες ο καθένας εκ των οποίων εξυπηρετεί έναν πελάτη ανεξάρτητα από τους άλλους με ρυθμό µ αλλά δεν υπάρχει χώρος αναμονής Οι πελάτες φθάνουν στο σύστημα σύμφωνα με μια διαδικασία Poisson με ρυθμό λ και αν κάποιος πελάτης δεν βρεί κατά την άφιξή του διαθέσιμο υπηρέτη αποχωρεί από το σύστημα και δεν επιστρέφει Ο χώρος καταστάσεων είναι κατά συνέπεια πεπερασμένος, S {0,,,, s}, και ο γεννήτορας δίνεται από τις σχέσεις q n,n+ λ, n 0,,,, s q n,n nµ n,,, s (λ + nµ) αν n 0,,,, s q nn sµ αν n s

και q nm 0 σε κάθε άλλη περίπτωση Από την χρονική αντιστρεψιμότητα του συστήματος έχουμε και επομένως π n λ π n nµ, n,, ρ n π n π 0, n 0,,,, s n! Η συνθήκη κανονικοποίησης δίνει s ρ n π 0 n! και επομένως η στάσιμη κατανομή, για κάθε τιμή του ρ, είναι n0 π n ρ n n!, n 0,,,, s (60) si0 ρ i i! Αν ορίσουμε την ποσότητα Ψ s : s ρ i i0, η πιθανότητα να έχουμε s πελάτες στο σύστημα, με βάση τα παραπάνω είναι i! π s : ρ s s! si0 ρ i i! Ψ s Ψ s Ψ s Ψ s Ψ s Μπορεί να αποδειχθεί ότι αυτή η πιθανότητα είναι ίση με το ποσοστό των πελατών οι οποίοι κατά την άφιξή τους βρίσκουν και τους s υπηρέτες απασχολημένους και επομένως αποχωρούν από το σύστημα χωρίς να εξυπηρετηθούν Ο μέσος αριθμώς πελατών στο σύστημα (που είναι ίδιος με τον μέσο αριθμό απασχολημένων υπηρετών) δίνεται από την σχέση L s Ψ i ρi s i! s ρ Ψ i s (i )! s Ψ s ρ ρ j j! ρ Ψ s Ψ s i0 i j0 96 Το σύστημα M/M//K Το σύστημα αυτό είναι ίδιο με το M/M/ αλλά με την διαφορά ότι υπάρχει χώρος μόνο για K πελάτες στο σύστημα (συμπεριλαμβανομένου και εκείνου που εξυπηρετείται) Οταν ένας πελάτης που φθάνει στο σύστημα δεν βρίσκει ϑέση στον χώρο αναμονής αποχωρεί και δεν επιστρέφει Ο χώρος καταστάσεων είναι S {0,,,, K} και ο γεννήτορας είναι q n,n+ λ, n 0,,,, K q n,n µ n,,, s (λ + µ) αν n,,, K q nn λ αν n 0 µ αν n K

και q nm 0 σε κάθε άλλη περίπτωση Και αυτή η διαδικασία είναι χρονικά αντιστρέψιμη και επομένως π n λ π n µ, n,,, K Θέτοντας ρ λ/µ έχουμε και η εξίσωση κανονικοποίησης δίνει π n π 0 ρ n π 0 ( + ρ + ρ + + ρ K) και επομένως, για κάθε τιμή του ρ, λαμβάνοντας υπ όψιν ότι + ρ + ρ + + ρ K ρk+ ρ έχουμε π 0 ρ ρ K+ και π n ρ n ρ, n 0,,,, K (6) ρk+ 97 Το ποσοστό των πελατών που δεν εξυπηρετούνται Στα συστήματα M/M/s/s και M/M//K που παρουσιάστηκαν στις προηγούμενες δύο παραγράφους ο χώρος αναμονής είναι περιορισμένος και συνεπώς οι πελάτες που φθάνουν στο σύστημα όταν δεν υπάρχει διαθέσιμος χώρος αναμονής αποχωρούν χωρίς να εξυπηρετηθούν Ενα σημαντικό ερώτημα για τα συστήματα αυτά είναι ο υπολογισμός του ποσοστού των πελατών οι οποίοι αποχωρούν χωρίς να εξυπηρετηθούν Για την περίπτωση του συστήματος M/M//K οι πελάτες οι οποίοι αποχωρούν χωρίς να εξυπηρετηθούν είναι εκείνοι οι οποίοι φθάνουν στο σύστημα όταν υπάρχουν ήδη K πελάτες Οταν οι αφίξεις στο σύστημα ακολουθούν την διαδικασία Poisson μπορεί να αποδειχθεί ότι το ποσοστό των αφίξεων που βρίσκει το σύστημα σε μια κατάσταση είναι ίδιο με το ποσοστό του χρόνου που το σύστημα βρίσκεται στην κατάσταση αυτή Αυτό δεν ισχύει εν γένει αν οι αφίξεις δεν είναι Poisson Η ιδιότητα αυτή των αφίξεων είναι γνωστή στην βιβλιογραφία με το ακρώνυμο PASTA (Poisson Arrivals See Time Averages) Συνεπώς για το σύστημα M/M//K το ποσοστό των πελατών που δεν εξυπηρετούνται είναι ισο με το ποσοστό του χρόνου που το σύστημα βρίσκεται στην κατάσταση K δηλαδή όπως προκύπτει από την εξίσωση (6) π K ρk ρ K+ ρ K+ (6) Η ιδιότητα PASTA ισχύει υπό γενικές συνθήκες για πολύ γενικά συστήματα Στην περίπτωσή μας μπορούμε να αποδείξουμε ότι το ποσοστό των πελατών οι οποίοι δεν εξυπηρετούνται μπορεί να υπολογισθεί με ένα απλό και στοιχειώδες επιχείρημα

Θεωρούμε μια διαδικασία παρόμοια με αυτή της προηγούμενης παραγράφου, αλλά με μία κατάσταση επιπλέον, δηλαδή με χώρο καταστάσεων {0,,,, K, K0} Οταν το σύστημα βρίσκεται στην κατάσταση n {0,,, K } αυτό σημαίνει ότι υπάρχουν n πελάτες στο σύστημα Οταν υπάρχουν K πελάτες στο σύστημα και ένας επιπλέον πελάτης φθάσει στο σύστημα τότε η διαδικασία παίρνει την τιμή K που σημαίνει ότι υπάρχουν K πελάτες στο σύστημα Αν ένας πελάτης φθάσει όταν η διαδικασία βρίσκεται στην κατάσταση K, το σύστημα πηγαίνει στην κατάσταση K0 που σημαίνει ότι πάλι υπάρχουν K πελάτες στο σύστημα (αφού δεν υπάρχει χώρος για περισσότερους στο σύστημα) Ο σκοπός για τον οποίο υπάρχει η επιπλέον κατάσταση είναι για να υπάρχει μια μετάβαση κάθε φορά που ένας πελάτης φθάνει στο σύστημα, είτε γίνεται δεκτός στον χώρο αναμονής είτε όχι Οταν έχουμε μια άφιξη στην κατάσταση K0 πηγαίνουμε πίσω στην κατάσταση K Το διάγραμμα μετάβασης φαίνεται στο ακόλουθο σχήμα Η στάσιμη κατανομή, π n, n 0,,, K, K0 ικανοποιεί τις εξισώσεις π 0 λ µ π π λ µ π π K λ µ π K π K (λ + µ) λ π K + µ π K + µ π K0 π K (λ + µ) λ π K + λ π K0 π K0 (λ + µ) λ π K Λύνοντας το παραπάνω σύστημα, μαζί με την εξίσωση κανονικοποίησης π 0 + π + + π K + π K0, έχουμε π n π K π K0 ( ρ) ρn, n 0,,,, K, (63) ρk+ ( ρ) ρk ρ( + ρ) ρ K+ (64) + ρ ( ρ) ρk ρ K+ ρ + ρ (65) Ο ρυθμός των αφίξεων στο σύστημα είναι, φυσικά, λ Ο ρυθμός των αφίξεων που βρίσκουν K πελάτες στο σύστημα (δηλαδή εκείνων που αποχωρούν χωρίς να εξυπηρετηθούν) είναι ο

ρυθμός των μεταβάσεων K K0 και K0 K που είναι λ π K + λ π K0 Συνεπώς, το ποσοστό των πελατών που αποχωρούν χωρίς να εξυπηρετηθούν είναι λ π K + λ π K0 λ ( ρ) ρk ρ( + ρ) ( ρ) ρk ρ + ρ K+ + ρ ρ K+ + ρ Καταλήγουμε επομένως, με διαφορετικό τρόπο, στο αποτέλεσμα (6) ( ρ) ρk ρ K+ 0 Κλειστές Διαδικασίες Μετανάστευσης Θεωρούμε ένα σύστημα που αποτελείται από M σταθμούς N πελάτες κυκλοφορούν από τον ένα σταθμό στον άλλο χωρίς ποτέ να φεύγουν από το σύστημα και χωρίς να υπάρχουν νέες αφίξεις Οταν ένας πελάτης φεύγει από τον σταθμό i, πηγαίνει στον σταθμό j με πιθανότητα p i j ανεξάρτητα από οτιδήποτε άλλο Υποθέτουμε ότι p ii 0 για κάθε i,,, M, και βεβαίως M j p i j Οταν υπάρχουν n i πελάτες στον σταθμό i ο ρυθμός j i εξυπηρέτησης είναι µ i φ i (n i ) όπου µ i > 0 και οι συναρτήσεις {φ i }, i,, M, εκφράζουν την εξάρτηση του ρυθμού εξυπηρέτησης του σταθμού i από τον αριθμό των πελατών που είναι παρόντες Αυτό επιτρέπει, για παράδειγμα, σταθμούς με πολλαπλούς servers Στην περίπτωση αυτή, αν ο σταθμός i έχει s servers με ρυθμό εξυπηρέτησης µ i ο καθένας, φ i (n i ) min(n i, s) Ο χώρος καταστάσεων της διαδικασίας είναι το σύνολο S : {n : (n,, n M ) : n i N 0, M i n i N} Ο πληθικός αριθμός του S είναι ( ) N + M S (66) N Οι δυνατές αλλαγές κατάστασης είναι πάντα της μορφής n (n,, n i,, n j,, n M ) T i j n : (n,, n i,, n j +,, n M ) οι οποίες αντιστοιχούν σε μεταβάσεις ενός πελάτη από κάποιο σταθμό i σε κάποιον άλλο σταθμό j Ο γεννήτορας της διαδικασίας δίδεται από την σχέση q(n, T i j n) µ i φ i (n i )p i j (67) Εστω v i j : µ i p i j και v ii : µ i Με αυτούς τους ορισμούς, ο πίνακας V είναι γεννήτορας μιας διαδικασίας με χώρο καταστάσεων {,,, M} δεδομένου ότι v i j 0 όταν i j και Mj v i j 0 για κάθε j Υποθέτουμε ότι ο πίνακας P : [p i j είναι ανάγωγος, δηλαδή ένας πελάτης, ξεκινώντας από ένα σταθμό μπορεί να επισκεφθεί κάθε άλλο σταθμό στο σύστημα Αυτό σημαίνει ότι ο γεννήτορας V έχει μοναδική στάσιμη κατανομή Εστω α i µ i M µ i p i j, i,, M (68) j j i μια λύση του συστήματος αv 0 όχι υποχρεωτικά κανονικοποιημένη (Αυτό σημαίνει ότι η α i Mk α k είναι η στάσιμη κατανομή του V)

Θεώρημα Η στάσιμη κατανομή του συστήματος δίδεται από την σχέση π(n) G(M, N) M i α n i i ni r φ i(r) (69) όπου α είναι μια λύση του (68) και G(M, N) είναι η σταθερά κανονικοποίησης που ορίζεται ως G(M, N) : n S M i α n i i ni r φ i(r) (70) Απόδειξη Αρκεί να δείξουμε ότι η κατανομή (69) ικανοποιεί τις συνθήκες ολικής ισορροπίας M M π(n) q(n, T i j n) π(t i j n)q(t i j n, n) (7) i j i i j i Παρατηρούμε ότι q(t i j n, n) µ j φ j (n j + )p ji και α j φ i (n i ) π(t i j n) π(n) α i φ j (n j + ) και επομένως, αντικαθιστώντας τις δύο τελευταίες σχέσεις στην (7) έχουμε M π(n) µ i φ i (n i )p i j i j i M α j φ i (n i ) π(n) α i φ j (n j + ) µ jφ j (n j + )p ji i j i Λαμβάνοντας υπ όψιν το γεγονός ότι j i p i j η παραπάνω σχέση γίνεται M µ i φ i (n i ) i M i φ i (n i ) α i α j µ j p ji (7) j i Η σχέση αυτή ισχύει δεδομένου ότι j i α j µ j p ji µ i α i (ως συνέπεια της (68)