3.1 Αλυσίδες Markov διακριτού χρόνου

Transcript

1 Κεφάλαιο 3 Συστήµατα Markov Μια διαδικασία Markov µε διακριτό χώρο καταστάσεων ονοµάζεται αλυσίδα Markov Ένα σύνολο αό τυχαίες µεταβλητές { } αοτελούν µια αλυσίδα Markov όταν η ιθανότητα η εόµενη τιµή (κατάσταση) να είναι ίση µε x + εξαρτάται µονάχα αό την αρούσα τιµή (κατάσταση) x και όχι αό οοιαδήοτε άλλη τιµή του αρελθόντος Η ιδιότητα αυτή είναι γνωστή σαν έλλειψη µνήµης (eory-less property) και εριορίζει τη γενικότητα των διαδικασιών Markov Η µελέτη των διαδικασιών αυτών, όµως, είναι βασική για τη θεωρία αναµονής και γι αυτό στο κεφάλαιο αυτό θα ασχοληθούµε µε τις αλυσίδες Markov διακριτής και συνεχής αραµέτρου (χρόνου) 3 Αλυσίδες Markov διακριτού χρόνου 3 Ορισµοί Θεωρείστε µια στοχαστική διαδικασία {Χ,,,2,} η οοία αίρνει τιµές σε ένα εερασµένο ή αριθµήσιµο σύνολο ιθανών τιµών Το σύνολο αυτό ιθανών τιµών συµβολίζεται αό το σύνολο των µη-αρνητικών ακεραίων {,, 2, } Εάν Χ τότε λέµε ότι η διαδικασία είναι στην κατάσταση τη χρονική στιγµή Υοθέτουµε ότι οοτεδήοτε η διαδικασία βρίσκεται στην κατάσταση, υάρχει µια συγκεκριµένη ιθανότητα να βρεθεί στην συνέχεια στην κατάσταση Υοθέτουµε ότι: (3) { +,,,, } για όλες τις καταστάσεις,,, -,, και όλα τα Ορισµός: Μια στοχαστική διαδικασία {Χ,,,2,} η οοία αίρνει τιµές σε ένα εερασµένο ή αριθµήσιµο σύνολο ιθανών τιµών ονοµάζεται αλυσίδα Markov (Markov cha) όταν ισχύει,,,, { + } Την εξίσωση (3) µορεί να την αντιληφθεί κανείς ως εξής: Για µια αλυσίδα Markov η ιθανότητα υό συνθήκη οοιασδήοτε µελλοντικής κατάστασης +, δεδοµένων των αρελθόντων καταστάσεων,,, - και της αρούσας κατάστασης είναι ανεξάρτητη των αρελθόντων καταστάσεων και εξαρτάται µονάχα αό την αρούσα κατάσταση Ονοµάζουµε την ιδιότητα αυτή Markova (Markova property) 32 Πιθανότητες µεταβάσεων καταστάσεων - Πίνακας µεταβάσεων καταστάσεων Η τιµή αριστάνει την ιθανότητα η διαδικασία, ενώ είναι στην κατάσταση, να κάνει στην συνέχεια µια µετάβαση στην κατάσταση και ονοµάζεται ιθανότητα µετάβασης Για να είναι λήρως ορισµένη η εξέλιξη της διαδικασίας θα ρέει να δίνεται κάοια αρχική κατανοµή ιθανότητας [ ] Εάν οι ιθανότητες µετάβασης είναι ανεξάρτητες του βήµατος, τότε έχουµε µια οµογενή αλυσίδα Markov και ορίζουµε: Συστήµατα Αναµονής Σελίδα αό 3

2 [ + ] για κάθε την ιθανότητα µετάβασης σε ένα βήµα αό την κατάσταση στην κατάσταση Όµοια µορούµε να ορίσουµε τις ιθανότητες µετάβασης σε βήµατα: ( ) [ + ] για τις οοίες εύκολα µορούµε να γράψουµε την ιο κάτω αναδροµική σχέση: ( ) ( ), k k k 2, 3, εδοµένου ότι οι ιθανότητες είναι µη-αρνητικές και η διαδικασία ρέει να µεταβεί σε κάοια κατάσταση, καταλήγουµε ότι:,,,,, Έστω ˆ ο ίνακας των ιθανοτήτων µετάβασης ενός-βήµατος, αυτός θα είναι: ˆ Εξισώσεις Chapa-Kologorov Οι εξισώσεις Chapa-Kologorov αρέχουν µια µέθοδο για τον υολογισµό των ιθανοτήτων -βηµάτων Οι εξισώσεις είναι: + k k για όλα τα,,, k και µορούν να ροκύψουν αν αρατηρήσει κανείς ότι: + k k k { { { k + + k +, } k k, } } { k } Σελίδα 2 αό 3 Συστήµατα Αναµονής

3 34 Κατηγοριοοίηση καταστάσεων Λέµε ότι η κατάσταση έχει ρόσβαση στην κατάσταση όταν για κάοιο, > ύο καταστάσεις, οι οοίες έχουν ρόσβαση η µία στην άλλη, λέµε ότι εικοινωνούν και γράφουµε Πρόταση: Η εικοινωνία των καταστάσεων είναι µια σχέση ισοδυναµίας, δηλαδή: εάν τότε εάν και k τότε k Μια αλυσίδα Markov είναι αµείωτη (rreducble) αν αό κάθε κατάσταση µορούµε να φθάσουµε σε οοιαδήοτε άλλη κατάσταση Έστω Α το σύνολο όλων των καταστάσεων µιας αλυσίδας Markov Ένα υοσύνολο Α του Α λέγεται κλειστό αν δεν υάρχει δυνατή µετάβαση ενός βήµατος αό οοιαδήοτε κατάσταση στο Α ρος C οοιαδήοτε κατάσταση στο A (συµλήρωµα του Α) Αν το Α εριλαµβάνει µόνο µια κατάσταση, τότε η κατάσταση αυτή λέγεται αορροφητική (absorbg),2 Σύµφωνα µε την ιδιότητα έλλειψης µνήµης η διαδικασία Markov µορεί να εανέλθει σε µια κατάσταση την οοία έχει ήδη εισκεφθεί Ορίζουµε λοιόν τις ιο κάτω οσότητες: () f [η ρώτη εάνοδος στην κατάσταση γίνεται -βήµατα µετά την αναχώρηση αό την κατάσταση ] f f ( ) [κάοτε γίνεται εάνοδος στην κατάσταση ] Ανάλογα µε την τιµή της ιθανότητας f µορούµε να χαρακτηρίσουµε τις καταστάσεις µας αλυσίδας Markov (α) (β) Αν f, η κατάσταση λέγεται εαναλητική (recurret) Αν f <, η κατάσταση λέγεται µεταβατική (traset) (γ) Ειλέον, αν οι µόνοι δυνατοί αριθµοί βηµάτων στους οοίους µορεί να γίνει εάνοδος στην κατάσταση είναι γ, 2γ, 3γ, (όου γ > και είναι ο µεγαλύτερος ακέραιος για τον οοίο ισχύει αυτό), τότε η κατάσταση λέγεται εριοδική µε ερίοδο γ Αν γ, τότε η κατάσταση λέγεται αεριοδική Στην συνέχεια θεωρούµε τις εαναλητικές καταστάσεις και ορίζουµε το µέσο χρόνο εανάληψης (ea recurrece te) της κατάστασης Για µια αορροφητική κατάσταση θα ισχύει 2 Σε µια αµείωτη αλυσίδα Markov δεν υάρχουν αορροφητικές καταστάσεις Συστήµατα Αναµονής Σελίδα 3 αό 3

4 M Αν εάν f M M ( ) η κατάσταση ονοµάζεται µηδενική εαναλητική (ull recurret), ενώ < η κατάσταση ονοµάζεται θετική εαναλητική (postve recurret) 35 Οριακό θεώρηµα - Κατανοµή µόνιµης κατάστασης Ορίζουµε την ιθανότητα βήµα: () να βρεθεί η διαδικασία στην κατάσταση στο -οστό ( ) r[ ] Θεώρηµα: Οι καταστάσεις µιας αµείωτης αλυσίδας Markov είναι είτε όλες µεταβατικές είτε όλες θετικές εαναλητικές είτε όλες µηδενικές εαναλητικές Ειλέον, αν είναι εριοδική τότε όλες έχουν την ίδια ερίοδο γ Το εόµενο θεώρηµα αναφέρεται στην ύαρξη µιας στατικής κατανοµής ιθανοτήτων { } η οοία εριγράφει την ιθανότητα να βρεθεί η διαδικασία στην κατάσταση σε κάοια µακρινή χρονική στιγµή Θεώρηµα: Σε µια αµείωτη και αεριοδική οµογενή αλυσίδα Markov οι οριακές ιθανότητες: l ( ) υάρχουν άντα και είναι ανεξάρτητες αό την αρχική κατανοµή ιθανότητας Ειλέον, (α) είτε όλες οι καταστάσεις είναι µεταβατικές ή όλες είναι µηδενικές εαναλητικές, οότε για όλα τα και δεν υάρχει στατική κατανοµή, (β) είτε όλες οι καταστάσεις είναι θετικές εαναλητικές, οότε > για όλα τα και οι ιθανότητες { } αοτελούν στατική κατανοµή Στην ερίτωση αυτή ισχύει: M και οι ιθανότητες καθορίζονται µονοσήµαντα αό τη λύση του συστήµατος: (32) ι, για όλα τα Σελίδα 4 αό 3 Συστήµατα Αναµονής

5 (33) 35 Εργοδικότητα Σχετικά µε την ερίτωση (β) του αραάνω θεωρήµατος θα ρέει να εισάγουµε την έννοια της εργοδικότητας (ergodcty) Μια κατάσταση λέγεται εργοδική αν είναι αεριοδική και θετική εαναλητική Μια αλυσίδα Markov λέγεται εργοδική αν όλες οι καταστάσεις της είναι εργοδικές Για µια αµείωτη εργοδική αλυσίδα Markov οι () ιθανότητες { } συγκλίνουν άντα σε µια οριακή στατική κατανοµή Πόρισµα: Μια αµείωτη αεριοδική αλυσίδα Markov µε εερασµένο λήθος καταστάσεων είναι εργοδική 352 Γράφος µεταβάσεων Κατανοµή µόνιµης κατάστασης Μια αλυσίδα Markov µορεί να αρασταθεί αό έναν ροσανατολισµένο γράφο όως αυτόν στο Σχήµα Οι κορυφές του ροσανατολισµένου γράφου αριστάνουν τις καταστάσεις, ενώ οι ακµές του γράφου αριστάνουν ειτρετές µεταβάσεις και οι αριθµοί άνω στις ακµές τις ιθανότητες µετάβασης Ένας τέτοιος γράφος ονοµάζεται γράφος µεταβάσεων (state-trasto graph) 3/4 /4 /4 /4 /4 2 3/4 /2 Σχήµα - Γράφος µεταβάσεων Στο συγκεκριµένο γράφο µεταβάσεων στο Σχήµα, εύκολα διαιστώνουµε ότι ρόκειται για µια εργοδική αλυσίδα Markov (ως αµείωτη και µε εερασµένο λήθος καταστάσεων), άρα µορούµε να αναζητήσουµε τη στατική κατανοµή ιθανότητας Η µήτρα ιθανοτήτων µετάβασης έχει ως εξής: / 4 / 4 3/ 4 / 4 / 4 3/ 4 / 2 Παρατηρούµε ότι ισχύει για τα στοιχεία της µήτρας αυτής: Συστήµατα Αναµονής Σελίδα 5 αό 3

6 (34), για όλα τα, (35) για όλα τα Μια µήτρα ου ικανοοιεί τις συνθήκες (34) και (35) ονοµάζεται στοχαστική µήτρα Ορίζουµε το διάνυσµα ιθανοτήτων: ˆ [ ] τότε οι εξισώσεις (32) µορούν να γραφούν µε τη µορφή: (36) ˆ ˆ ˆ Για το συγκεκριµένο αράδειγµα θα έχουµε: (37) Παρατηρούµε ότι οι εξισώσεις (37) δεν είναι γραµµικά ανεξάρτητες Γενικά σε κάθε σύστηµα µε στοχαστική µήτρα µια εξίσωση θα είναι γραµµικά εξαρτηµένη αό τις υόλοιες Για τη λύση του συστήµατος θα ρέει εοµένως να χρησιµοοιηθεί και η συνθήκη (33) Στην συγκεκριµένη ερίτωση η λύση /5, 7/25, 2 3/25 αοτελεί την στατική κατανοµή ιθανότητας για την αλυσίδα Markov Η στατική κατανοµή αναφέρεται συχνά και σαν κατανοµή µόνιµης κατάστασης (steady state dstrbuto) ή κατανοµή κατάστασης ισορροίας (equlbru state dstrbuto) Πολλές φορές ενδιαφερόµαστε για την µεταβατική συµεριφορά ενός συστήµατος, () δηλαδή για τις ιθανότητες να βρεθεί η διαδικασία στην κατάσταση στο χρόνο (βήµα) Αν ορίσουµε το διάνυσµα ιθανοτήτων στο χρόνο : ) ˆ [ ( ( ) ] µορούµε να γράψουµε γενικά: ( ) ( ) (38) ˆ ˆ ˆ,, 2, ή λύνοντας αναδροµικά: ( ) () (39) ˆ ˆ ˆ,, 2, Η (39) δίνει τη γενική µέθοδο είλυσης αν γνωρίζουµε την µήτρα ˆ και την αρχική Σελίδα 6 αό 3 Συστήµατα Αναµονής

7 κατανοµή ˆ l ˆ ( ) ( ) ( ) () ˆ Σύµφωνα µε τα ροηγούµενα, η στατική κατανοµή θα είναι το όριο: εφ όσον υάρχει 3 Παίρνοντας τα όρια στα δύο µέλη της (38) καταλήγουµε στην (36) ανεξάρτητα αό την αρχική κατανοµή ( ) Αν θέλουµε να έχουµε την µεταβατική αόκριση αό τις (38) ή (39) στην γενική () της µορφή (δηλαδή τις ιθανότητες σαν συναρτήσεις του ) καταφεύγουµε συνήθως στη χρήση µετασχηµατισµών Έστω ότι µια διαδικασία Markov µόλις µήκε στην κατάσταση Θα µείνει στην κατάσταση αυτή και στο εόµενο βήµα µε ιθανότητα και θα φύγει στο εόµενο βήµα µε ιθανότητα - Εφ όσον αραµείνει στην κατάσταση, θα ισχύουν τα ίδια και στα εόµενα βήµατα, ανεξάρτητα κάθε φορά σύµφωνα µε τον ορισµό της διαδικασίας Markov Άρα η ιθανότητα να αραµείνει η διαδικασία στην κατάσταση για βήµατα ακριβώς, δεδοµένου ότι µόλις µήκε στην κατάσταση θα είναι: ( ) Άρα ο αριθµός των χρονικών βηµάτων ου ερνάει η διαδικασία σε µια κατάσταση ακολουθεί τη γεωµετρική κατανοµή Αοδεικνύεται εύκολα ότι, σε αντιστοιχία µε την εκθετική κατανοµή, η γεωµετρική κατανοµή είναι η µόνη διακριτή κατανοµή η οοία εµφανίζει την ιδιότητα της έλλειψης µνήµης ˆ 32 Αλυσίδες Markov συνεχούς χρόνου Στην ενότητα αυτή θα εξετάσουµε αλυσίδες Markov στο συνεχές χρόνο, οι οοίες όως και οι αντίστοιχες του διακριτού χρόνου χαρακτηρίζονται αό την Markova ιδιότητα, δηλαδή δεδοµένης της αρούσας κατάστασης, το µέλλον είναι ανεξάρτητο του αρελθόντος Στις αλυσίδες Markov συνεχούς χρόνου ο χώρος καταστάσεων αραµένει διακριτός, αλλά οι αλλαγές κατάστασης µορούν να γίνουν σε οοιαδήοτε χρονική στιγµή και όχι σε διακριτά χρονικά βήµατα 32 Ορισµός Θεωρείστε µια στοχαστική διαδικασία στον συνεχή χρόνο {(t), t } η οοία αίρνει τιµές σε ένα σύνολο µη-αρνητικών ακεραίων Ανάλογα µε τον ορισµό ου δώσαµε για τις αλυσίδες Markov διακριτού χρόνου έχουµε τον ακόλουθο ορισµό Ορισµός: Ονοµάζουµε τη διαδικασία {(t), t } διαδικασία Markov συνεχούς χρόνου εάν για όλα τα s, t και µη αρνητικούς ακεραίους,, x(u), u s, { ( t + s) ( s), ( u) x( u), u < s} { ( t + s) ( s) } 3 Εφ όσον η αλυσίδα Markov είναι εργοδική Συστήµατα Αναµονής Σελίδα 7 αό 3

8 Μια αλυσίδα Markov είναι µια στοχαστική διαδικασία η οοία κατέχει την Markova ιδιότητα και της οοίας η υό-συνθήκη κατανοµή της µελλοντικής κατάστασης τη χρονική στιγµή t + s, δεδοµένης της αρούσας κατάστασης τη χρονική στιγµή t και όλων των αρελθόντων καταστάσεων εξαρτάται µονάχα αό την αρούσα κατάσταση και ανεξάρτητη του αρελθόντος Εάν, ρόσθετα, η ιθανότητα { ( t + s) ( s) } είναι ανεξάρτητη του s, τότε η αλυσίδα Markov συνεχούς χρόνου λέµε ότι είναι στάσιµη (statoary) ή οµογενών ιθανοτήτων µετάβασης Για κάθε διαδικασία Markov, ο χρόνος τον οοίο ερνά η διαδικασία σε µια δοσµένη κατάσταση θα ρέει να είναι χωρίς µνήµη Η µόνη συνεχής κατανοµή µε την ιδιότητα αυτή είναι η εκθετική κατανοµή Πράγµατι, έστω ότι τη χρονική στιγµή t η διαδικασία βρίσκεται στην κατάσταση και έστω η τυχαία µεταβλητή αριστάνει το διάστηµα µέχρι να φύγει η διαδικασία αό την κατάσταση Ορίζουµε την συνάρτηση: H ( x) r[ x] > Σύµφωνα µε την ιδιότητα της έλλειψης µνήµης, αν η διαδικασία έχει ήδη αραµείνει στην κατάσταση για χρονικό διάστηµα x, η ιθανότητα να αραµείνει ακόµη για τουλάχιστον ένα διάστηµα y είναι ανεξάρτητη αό το x Συνεώς: r[ > x + y > x] r[ > y] ή r[ > x + y] r[ > r[ > x] y] ή (3) H ( x + y) H ( x) H ( y), x,y Εφ όσον η συνάρτηση H είναι ιθανότητα θα έχουµε: H για x Σύµφωνα µε την (3) θα ισχύει µια αό τις εόµενες τρεις εριτώσεις: (α) H για όλα τα x, το οοίο σηµαίνει ότι όταν η διαδικασία µει στην κατάσταση αραµένει εκεί για άντα, (β) H για όλα τα x, οότε η διαδικασία ερνάει στιγµιαία αό την κατάσταση, (γ) Η συνάρτηση H (x) είναι µονότονα φθίνουσα και αραγωγίσιµη στο διάστηµα x < εδοµένου ότι οι δύο ρώτες εριτώσεις είναι τετριµµένες, ενδιαφερόµαστε για την ερίτωση (γ) Παραγωγίζοντας ως ρος y και θέτοντας y έχουµε: ' ' (3) H ( x) H () H ( x) Σελίδα 8 αό 3 Συστήµατα Αναµονής

9 ' Αν θέσουµε H () λ (λ > εφ όσον η συνάρτηση είναι φθίνουσα) βρίσκουµε αό την (3): λ x (32) H ( x) e, x δηλαδή, η τυχαία µεταβλητή Χ ακολουθεί εκθετική κατανοµή Αν αντί για µια τυχαία χρονική στιγµή t, θεωρήσουµε την στιγµή εισόδου της διαδικασίας στην κατάσταση, συµεραίνουµε ότι ο χρόνος αραµονής της διαδικασίας στην κατάσταση ακολουθεί εκθετική κατανοµή σύµφωνα µε την (32) Σε αντιστοιχία µε τις αλυσίδες Markov διακριτού χρόνου, ορίζουµε στην ερίτωση του συνεχούς χρόνου τις ιο κάτω ιθανότητες µετάβασης για οµογενή αλυσίδα Markov: ( h) [ ( t + h) ( t) ] για κάθε t και την µήτρα ιθανοτήτων µετάβασης ˆ ( h) [ ( h)] Είσης σε αντιστοιχία µε τις ιθανότητες ιθανότητες: ( t) [ ( t) ] και το διάνυσµα ιθανοτήτων ˆ ( t) [ ( t)] () του διακριτού χρόνου ορίζουµε τις Σε αντιστοιχία µε την (38), έχουµε για την µεταβατική συµεριφορά της διαδικασίας: (33) ˆ ( t + h) ˆ( t) ˆ( h) Η (33) µορεί να γραφεί: ˆ ( t + h) ˆ( t) h ˆ( h) Iˆ ˆ( t) h και αίρνοντας το όριο h έχουµε: dˆ( t) (34) ˆ( t) Qˆ dt όου: h Iˆ Qˆ ˆ( ) l h h Συστήµατα Αναµονής Σελίδα 9 αό 3

10 Η µήτρα Qˆ ονοµάζεται µήτρα ρυθµών µετάβασης (trasto rate atrx) και τα στοιχεία της q ορίζονται ως εξής: (35) (36) q q ( h) l h h ( h) l, h h Παρατηρούµε ότι εφ εφόσον ( h) για όλα τα θα ισχύει: (37) q q ή q για όλα τα Μορούµε να δώσουµε την ακόλουθη ερµηνεία στα όρια (35) και (36): εδοµένου ότι η διαδικασία βρίσκεται στην κατάσταση, η υό συνθήκη ιθανότητα να συµβεί µετάβαση σε άλλη κατάσταση εκτός της σε διάστηµα h θα είναι q h+o(h) Έτσι µορούµε να θεωρήσουµε ότι η οσότητα q είναι αριθµός µε τον οοίο η διαδικασία φεύγει αό την κατάσταση, όταν βρίσκεται στην κατάσταση αυτή Όµοια, δεδοµένου ότι η διαδικασία βρίσκεται στην κατάσταση, η υό συνθήκη ιθανότητα να συµβεί µετάβαση αό την κατάσταση αυτή στην κατάσταση σε διάστηµα h θα είναι q h+o(h) Έτσι q θα είναι ο ρυθµός µε τον οοίο η διαδικασία ερνάει αό την κατάσταση στην κατάσταση, όταν βρίσκεται στην κατάσταση Σύµφωνα µε τα ροηγούµενα (βλέε εξίσωση 32) ο χρόνος αραµονής της διαδικασίας στην κατάσταση ακολουθεί εκθετική κατανοµή µε αράµετρο λ Για την εκθετική κατανοµή, η ιθανότητα να φύγει η διαδικασία αό την κατάσταση σε ένα µικρό χρονικό διάστηµα h θα είναι: λ h [ h] e λ h + o( h) ανεξάρτητα αό τον χρόνο ου έχει ήδη εράσει η διαδικασία στην κατάσταση Συµεραίνουµε λοιόν ότι ισχύει: (38) λ q Είσης η ιθανότητα να αραµείνει η διαδικασία στην κατάσταση για διάστηµα x λ και µετά να µεταβεί στην κατάσταση στο διάστηµα (x, x+dx) θα είναι e x q dx Ολοκληρώνοντας την έκφραση αυτή για x βρίσκουµε την ιθανότητα µετάβασης αό την κατάσταση στην κατάσταση ανεξάρτητα αό τον χρόνο: λ q q x (39) e qdx q λ Μορούµε να θεωρήσουµε ότι οι διαδοχικές καταστάσεις τις οοίες εισκέτεται η Σελίδα αό 3 Συστήµατα Αναµονής

11 διαδικασία σχηµατίζουν µια αλυσίδα Markov διακριτής αραµέτρου µε ιθανότητες µετάβασης Η αλυσίδα αυτή λέγεται ενσωµατωµένη (Ebedded) στην αλυσίδα Markov Όταν η διαδικασία µαίνει στην κατάσταση, µορούµε να φανταστούµε ότι οι µεταβάσεις αό την κατάσταση στις καταστάσεις,, αριστάνονται αό ανεξάρτητες διεργασίες ου αρχίζουν την ίδια στιγµή και εξελίσσονται ταυτόχρονα Οι διάρκειες των διεργασιών αυτών ακολουθούν εκθετικές κατανοµές µε αντίστοιχες αραµέτρους q Ο χρόνος αραµονής της διαδικασίας στην κατάσταση θα είναι το διάστηµα µέχρι να τελειώσει κάοια αό τις διεργασίες, ή ισοδύναµα το ελάχιστο εκθετικά κατανεµηµένων τυχαίων µεταβλητών Το διάστηµα αυτό είναι εκθετικά κατανεµηµένο µε αράµετρο λ σε συµφωνία µε τις (37) και (38) q Ειλέον, η ιθανότητα να τελειώσει ρώτη η διεργασία µε αράµετρο q ή ισοδύναµα να γίνει µετάβαση στην κατάσταση, θα είναι ίση µε q/λ, όως δίνεται αό την (39) Η µεταβατική αόκριση ˆ ( t) της διαδικασίας δίνεται αό τη (34) Για µια εργοδική αλυσίδα Markov συνεχούς χρόνου θα υάρχει στατική κατανοµή, η οοία θα δίνεται αό το όριο: l t ( t) ή ˆ lˆ( t) t ανεξάρτητα αό την αρχική κατανοµή Εφαρµογή του ορίου στην (34) µας δίνει την εξίσωση: ˆ Qˆ η οοία σε συνδυασµό µε την σχέση: (32) καθορίζει µονοσήµαντα την στατική κατανοµή ιθανότητας Η εξίσωση (32) είναι αντίστοιχη της (36) για το διακριτό χρόνο, µε τη διαφορά ότι η µήτρα ˆ ήταν η µήτρα ιθανοτήτων µετάβασης, ενώ η µήτρα Q ˆ είναι η µήτρα ρυθµών µετάβασης 322 Αντιστροφή στο χρόνο (te reversblty) Θεωρείστε µια εργοδική αλυσίδα Markov συνεχούς χρόνου και υοθέστε ότι λειτουργεί για ένα ολύ µακρύ χρονικό διάστηµα Για αράδειγµα υοθέστε ότι ξεκίνησε τη λειτουργία τη χρονική στιγµή t Μια διαδικασία όως αυτή θα είναι στάσιµη και λέµε ότι βρίσκεται στη µόνιµη κατάσταση 4 Ξεκινώντας τη χρονική στιγµή t ας αρακολουθήσουµε την αλυσίδα ρος τα ίσω στο χρόνο Προκειµένου να καθορίσουµε τη στατιστική δοµή της αντίστροφης αλυσίδας αυτής, κατ αρχήν 4 Μια δεύτερη ροσέγγιση για τη δηµιουργία µιας αλυσίδας όως αυτής είναι να υοθέσει κανείς ότι η αρχική κατάσταση τη χρονική στιγµή t ειλέγεται σύµφωνα µε τις στάσιµες ιθανότητες Συστήµατα Αναµονής Σελίδα αό 3

12 αρατηρούµε ότι δεδοµένου ότι βρισκόµαστε στην κατάσταση τη χρονική στιγµή t, η ιθανότητα να βρισκόµαστε στην κατάσταση αυτή µεγαλύτερο χρονικό διάστηµα v αό s είναι e s Αυτό ισχύει δεδοµένου ότι: [ διαδικασία στην κατάσταση κατά το διάστηµα [ t s, t] ( t) ] [ διαδικασία στην κατάσταση κατά το διάστηµα [ t s, t]]/ [ ( t) ] [ ( t s) ] e [ ( t) ] e v s v s δεδοµένου ότι: [ ( t s) ] [ ( t) ] Με άλλα λόγια, ηγαίνοντας ρος τα ίσω στο χρόνο, το χρονικό διάστηµα ου µια διαδικασία αραµένει στην κατάσταση είναι είσης εκθετικά κατανεµηµένο µε ρυθµό v Ειρόσθετα, η σειρά των καταστάσεων ου εισκέτεται η αντίστροφη αλυσίδα αοτελεί µια αλυσίδα Markov διακριτού χρόνου µε ιθανότητες µετάβασης Q οι οοίες δίνονται αό τη σχέση: Q Η αραάνω σχέση συνεάγεται ότι η αντίστροφη αλυσίδα είναι µια αλυσίδα Markov συνεχούς χρόνου µε τους ίδιους ρυθµούς εξόδου αό κάθε κατάσταση, όως και η διαδικασία του ευθύ χρόνου και µε ιθανότητες µετάβασης ενός βήµατος Q Κατά συνέεια, η αλυσίδα Markov συνεχούς χρόνου θα είναι αντιστρέψιµη στο χρόνο (te reversble) µε την έννοια ότι η διαδικασία όταν αντιστραφεί στο χρόνο θα έχει την ίδια στοχαστική δοµή όως η αρχική διαδικασία, εάν η ενσωµατωµένη αλυσίδα είναι αντιστρέψιµη στο χρόνο, δηλαδή εάν:, για όλα τα, Χρησιµοοιώντας το γεγονός ότι: v v αρατηρούµε ότι η αραάνω συνθήκη είναι ισοδύναµη µε την: v v, για όλα τα ή ισοδύναµα: q q, για όλα τα εδοµένου ότι το αοτελεί το οσοστό του χρόνου στην κατάσταση, και δεδοµένου ότι όταν η διαδικασία βρίσκεται στην κατάσταση, ηγαίνει στην Σελίδα 2 αό 3 Συστήµατα Αναµονής

13 κατάσταση µε ρυθµό q, η συνθήκη της αντιστροφής στο χρόνο είναι: ο ρυθµός µε τον οοίο µια διαδικασία ηγαίνει αευθείας αό την κατάσταση στην κατάσταση να είναι ίσος µε τον ρυθµό µε τον οοίο ηγαίνει αευθείας αό την κατάσταση στην κατάσταση Πρέει να τονιστεί ότι η ίδια ακριβώς συνθήκη ισχύει και για µια εργοδική αλυσίδα Markov διακριτού χρόνου ροκειµένου να είναι αντιστρέψιµη στο χρόνο Συστήµατα Αναµονής Σελίδα 3 αό 3