Markov. Γ. Κορίλη, Αλυσίδες. Αλυσίδες Markov

Γ. Κορίλη, Αλυσίδες Markov 3- http://www.seas.upe.edu/~tcom5/lectures/lecture3.pdf Αλυσίδες Markov Αλυσίδες Markov ιακριτού Χρόνου Υπολογισµός Στάσιµης Κατανοµής Εξισώσεις Ολικού Ισοζυγίου Εξισώσεις Λεπτοµερούς Ισοζυγίου ιαδικασία Γεννήσεων-Θανάτων Γενικευµένες Αλυσίδες Markov Αλυσίδες Markov Συνεχούς Χρόνου

3-2 Αλυσίδες Markov Μια στοχαστική διαδικασία που παίρνει τιµές σε ένα αριθµήσιµο σύνολο Παράδειγµα: {,,2,,m} ή {,,2, } Τα στοιχεία του συνόλου αυτού είναι οι καταστάσεις Η αλυσίδα µεταπηδά από κατάσταση σε κατάσταση Η ιδιότητα της Λήθης (του Markov): οθείσης της παρούσης κατάστασης, οι µελλοντικές µεταβάσεις της αλυσίδας είναι ανεξάρτητες του παρελθόντος Αλυσίδες Markov: διακριτού ή συνεχούς χρόνου

3-3 Αλυσίδες Markov ιακριτού Χρόνου Στοχαστική διαδικασία διακριτού χρόνου {X : =,,2, } Παίρνει τιµές στο {,,2, } Ιδιότητα λήθης: P{ X = j X = i, X = i,..., X = i } = P{ X = j X = i} + + P = P{ X = j X = i} ij + Πιθανότητες µετάβασης P ij P ij, P = Πίνακας πιθανοτήτων µετάβασης P=[P ij ] j= ij

3-4 Εξισώσεις Chapma-Kolmogorov Πιθανότητες µετάβασης στο βήµα P = P{ X = j X = i},, m, i, j ij + m m Εξισώσεις Chapma-Kolmogorov P ij + m m ij ik kj k= P = P P,, m, i, j είναι το στοιχείο (i, j) του πίνακα P Επαναληπτικός υπολογισµός των πιθανοτήτων καταστάσεων

3-5 Πιθανότητες Καταστάσεων Στάσιµη Κατανοµή Πιθανότητες καταστάσεων (χρονικά εξαρτώµενες) π = PX { = j}, π = (π,π,...) j { = } = { = } { = = } π j = πi ij i= i= PX j PX ipx j X i P Σε µορφή πίνακα: π = π P = π P =... = π P 2 2 Αν η χρονικά εξαρτώµενη κατανοµή συγκλίνει σε ένα όριο π ονοµάζεται στάσιµη κατανοµή π = lim π π = πp Η ύπαρξη εξαρτάται από τη δοµή της αλυσίδας Markov

3-6 Ταξινόµηση Αλυσίδων Markov Μη Αναγώγιµες: Απεριοδικές: Οι καταστάσεις i και j Η κατάσταση i είναι επικοινωνούν: περιοδική: m m, : P >, P > d > : P > =αd ij Μη Αναγώγιµες Αλυσίδες Markov: όλες οι καταστάσεις επικοινωνούν ji 2 ii Απεριοδικές Αλυσίδες Markov: καµιά κατάσταση δεν είναι περιοδική 2 3 4 3 4

3-7 Οριακά Θεωρήµατα Θεώρηµα : Έστω µια µη αναγώγιµη & απεριοδική αλυσίδα Markov Τότε, για κάθε κατάσταση j, το παρακάτω όριο π = lim PX { = j X = i}, i=,,2,... j υπάρχει κι είναι ανεξάρτητο της αρχικής κατάστασης i N j( k) P π j = lim X = i = k k N j (k): ο αριθµός των επισκέψεων στην κατάσταση j ως το χρόνο k π j : η συχνότητα επισκέψεων στην κατάσταση j

3-8 Ύπαρξη Στάσιµης Κατανοµής Θεώρηµα 2: Έστω µη αναγώγιµη κι απεριοδική αλυσίδα Markov. Τότε υπάρχουν δυο δυνατότητες: π = lim PX { = j X = i} = lim P j ij. Είτε π j =, για όλες τις καταστάσεις j δεν υπάρχει καµιά στάσιµη κατανοµή 2. Είτε π j >, για όλες τις καταστάσεις j π είναι η µοναδική στάσιµη κατανοµή Παρατήρηση: Αν ο αριθµός των καταστάσεων είναι πεπερασµένος, η περίπτωση 2 είναι η µοναδική.

3-9 Εργοδικές Αλυσίδες Markov Έστω µια αλυσίδα Markov µε στάσιµη κατανοµή π >, j =,,2,... j Οι καταστάσεις είναι θετικά επαναφερόµενες: Η διαδικασία επιστρέφει στην κατάσταση j άπειρες φορές συχνά Μια θετικά επαναφερόµενη και απεριοδική αλυσίδα Markov ονοµάζεται εργοδική Μια εργοδική αλυσίδα έχει µοναδική στάσιµη κατανοµή π = lim P j Εργοδικότητα Χρονικές Μέσοι Όροι = Στοχαστικοί Μέσοι Όροι ij

3- Υπολογισµός Στάσιµης Κατανοµής A. Πεπερασµένο Πλήθος Καταστάσεων Λύνουµε το γραµµικό σύστηµα εξισώσεων m π = π P, j =,,..., m j i ij i= m πi = i= Ή υπολογίζουµε αριθµητικό το όριο της P που συγκλίνει σε ένα πίνακα µε γραµµές ίσες προς π Κανένα πρόβληµα γιαµικρό αριθµό καταστάσεων B. Άπειρο Πλήθος Καταστάσεων εν µπορούν να εφαρµοσθούν τα προηγούµενα για άπειρες διαστάσεις Προσπαθούµε να βρούµε τις λύσεις του προβλήµατος: π = π P, j =,,..., j i ij i= i= π = i

3- Παράδειγµα: Πεπερασµένη Αλυσίδα Markov Ένας αφηρηµένος καθηγητής χρησιµοποιεί δυο οµπρέλες όταν πάει από το σπίτι στο γραφείο και πίσω. Αν βρέχει κι υπάρχει διαθέσιµη οµπρέλα, την παίρνει. Αν δεν βρέχει, πάντα παραλείπει να πάρει οµπρέλα. Έστω p η πιθανότητα να βρέξει όταν ο καθηγητής φεύγει. Ποια είναι η πιθανότητα ο καθηγητής να βραχεί µια µέρα; p 2 p p ιατύπωση µε αλυσίδα Markov i είναι ο αριθµός των οµπρελών που είναι διαθέσιµες Πίνακας µεταβάσεων p P = p p p p

3-2 Παράδειγµα: Πεπερασµένη Αλυσίδα Markov (συνέχεια) p 2 p p p P = p p p p π = ( p)π2 π = πp π = ( p)π + pπ p π, π, π π = p 3 3 p 3 p 2 = = 2 = π2 π π i i = + p π + π+ π2 = p P{gets wet} = π p = p 3 p

3-3 Παράδειγµα: Πεπερασµένη Αλυσίδα Markov (συνέχεια) Παίρνοντας p =.: p π =,, =.3,.345,.345 3 p 3 p 3 p P =.9..9. ( ) Αριθµητικός υπολογισµός του ορίου του P.3.345.345 lim P =.3.345.345 ( 5).3.345.345 Η επιλυσιµότητα εξαρτάται από τη δοµή του P

3-4 Εξισώσεις Ολικού Ισοζυγίου Έστω αλυσίδα Markov µε άπειρο πλήθος καταστάσεων Εξισώσεις Ολικού Ισοζυγίου (ΕΟΙ) π P = π P π P = π P, j j ji i ij j ji i ij i= i= i j i j P είναι η συχνότητα των µεταβάσεων από j σε i π j ji Frequecy of Frequecy of trasitios out of j = trasitios ito j ιαίσθηση: οι επισκέψεις στην j γίνονται άπειρα συχνά. Για κάθε µετάβαση που ξεκινά από τη j πρέπει να υπάρχει µια επόµενη µετάβαση που επιστρέφει στη j µε πιθανότητα

3-5 Εξισώσεις Ολικού Ισοζυγίου (συνέχεια) Εναλλακτική µορφή των ΕΟΙ Αν µια κατανοµή πιθανοτήτων ικανοποιεί τις ΕΟΙ, τότε είναι η µοναδική στάσιµη κατανοµή της αλυσίδας Markov Εύρεση της στάσιµης κατανοµής: Υποθέτουµε ποια είναι η κατανοµή από τις ιδιότητες του συστήµατος Επαληθεύουµε ότι ικανοποιεί τις ΕΟΙ { } π P = π P, S,,2,... j ji i ij j S i S i S j S Αλυσίδες Markov µε ειδική δοµή απλουστεύουν το πρόβληµα

3-6 Εξισώσεις Ολικού Ισοζυγίου Απόδειξη π = π P & P = j i ij ji i= i= π P = π P π P = π P j ji i ij j ji i ij i= i= i j i j π P = π P π P = π P j ji i ij j ji i ij i= i= j S i= j S i= π j Pji + Pji = πipij + πipij j S i S i S j S i S i S π j Pji = πi Pij j S i S i S j S

3-7 ιαδικασία Γέννησης-Θανάτου P P, P, + 2 + S S c P P P, P, P +, Μονο-διάστατη αλυσίδα Markov µε µεταβάσεις µόνο µεταξύ γειτονικών καταστάσεων: P ij =, αν i-j > Εξισώσεις Λεπτοµερούς Ισοζυγίου (ΕΛΙ) π P = π P =,,..., + + +, Απόδειξη: Οι ΕΟΙ µε S ={,,,} δίνουν: π P = π P π P = π P j ji i ij, + + +, j= i= + j= i= +

3-8 Παράδειγµα: Ουρά ιακριτού Χρόνου Σε κάθε χρόνο, είτε µια άφιξη µε πιθανότητα p ή µηδέν αφίξεις µε πιθανότητα -p Σε κάθε χρόνο, ο εξυπηρετούµενος πελάτης είτε αναχωρεί µε πιθανότητα q ή παραµένει µε πιθανότητα -q Ανεξάρτητες αφίξεις και χρόνοι εξυπηρέτησης Καταστάσεις: το πλήθος των πελατών στο σύστηµα p p( q) p p( q) 2 + ( p) q( p) q( p) ( p)( q) + pq q( p) ( p)( q) + pq

3-9 Παράδειγµα: Ουρά ιακριτού Χρόνου (συνέχεια) p p( q) p( q) p( q) 2 + ( p) q( p) q( p) ( p)( q) + pq q( p) p/ q πp= π q( p) π = π p p( q) π p( q) = π + q( p) π+ = π, q( p) p( q) Defie: ρ p/ q, α q( p) ρ π = π ρ p π = α π, p π+ = απ, ( p)( q) + pq

3-2 Παράδειγµα: Ουρά ιακριτού Χρόνου (συνέχεια) Έχοντας προσδιορίσει την κατανοµή σαν συνάρτηση του π ρ p π = α π, Πώς υπολογίζουµε τη σταθερά κανονικοποίησης π ; Νόµος διατήρησης πιθανοτήτων: ρ ρ π π = = α = + = + = p ( p) ( α) Παρατηρώντας ότι q( p) p( q) q p p α = p = = q( p) q ( )( ) ( ) ρ π = ρ π = ρ( α) α,

3-2 Εξισώσεις Λεπτοµερούς Ισοζυγίου Γενική περίπτωση: Συνεπάγονται τις ΕΛΙ εν ισχύουν υποχρεωτικά για κάθε αλυσίδα Markov Αλλά σηµαντικά απλοποιούν τον υπολογισµό της στάσιµης κατανοµής Μεθοδολογία: π P = π P i, j =,,... j ji i ij Υποθέστε ότι ισχύουν οι ΕΛΙ σε κάποια µορφή Λύστε το σύστηµα των ΕΛΙ και της Σ i π i = Αν το σύστηµα δεν έχει λύση, τότε οι ΕΛΙ δεν ισχύουν Αν το σύστηµα έχειµια λύση {π i : i=,, }, τότε αυτή είναι η µοναδική στάσιµη κατανοµή

3-22 Γενικευµένες Αλυσίδες Markov Έστω µια αλυσίδα Markov στο σύνολο καταστάσεων {,, } τέτοια ώστε κάθε φορά που γίνεται µετάβαση στην κατάσταση i Η επόµενη κατάσταση στην οποία θα γίνει µετάβαση είναι η j µε πιθανότητα P ij οθέντος ότι η επόµενη κατάσταση στην οποία θα γίνει η µετάβαση είναι η j, ο χρόνος παραµονής στην κατάσταση i µέχρις ότου γίνει η µετάβαση είναι µια τυχαία µεταβλητή µε κατανοµή F ij {Z(t): t } περιγράφει την κατάσταση στην οποία η αλυσίδα βρίσκεται το χρόνο t: Γενικευµένη Αλυσίδα Markov ή ιαδικασία Ηµι- Markov εν ικανοποιεί την ιδιότητα Markov: το µέλλον εξαρτάται από Την παρούσα κατάσταση και Το µήκος χρόνου κατά το οποίο η διαδικασία έχει παραµείνει στην παρούσα κατάσταση

3-23 Γενικευµένες Αλυσίδες Markov (συνέχεια) T i : ο χρόνος που η διαδικασία δαπανά στην κατάσταση i, πριν γίνει η µετάβαση χρόνος παραµονής Συνάρτηση κατανοµής πιθανότητας του T i H () t = P{ T t} = P{ T t ext state j} P = F () t P i i i ij ij ij j= j= ET [ i] = tdhi( t) T ii : χρόνος µεταξύ δυο διαδοχικών µεταβάσεων στο i X είναι η οστή κατάσταση που η διαδικασία έχει επισκεφθεί. {X : =,, } Είναι αλυσίδα Markov: εµφυτευµένη αλυσίδα Markov Έχει πιθανότητες µετάβασης P ij Μια γενικευµένη αλυσίδα Markov είναι µη αναγώγιµη: αν η αντίστοιχη εµφυτευµένη αλυσίδα Markov είναι µη αναγώγιµη

3-24 Οριακά Θεωρήµατα (συνέχεια) Θεώρηµα 3: Έστω µη αναγώγιµη γενικευµένη αλυσίδα Markov µε E[T ii ] < Για κάθε κατάσταση j, το παρακάτω όριο p = lim P{ Z( t) = j Z() = i}, i =,,2,... j t υπάρχει κι είναι ανεξάρτητο της αρχικής κατάστασης. ET [ j ] p j = ET [ ] T j (t): ο χρόνος παραµονής στην κατάσταση j µέχρι το t Tj() t P pj = lim Z() = i = t t p j ισούται προς το ποσοστό του χρόνου παραµονής στην κατάσταση j jj

3-25 Κατανοµή Κατοχής Θεώρηµα 4: Έστω µια µη αναγώγιµη γενικευµένη αλυσίδα Markov µε E[T ii ] <. Η εµφυτευµένη αλυσίδα Markov είναι εργοδική µε στάσιµη κατανοµή π π = π P, j ; π = j i ij i i= i= Κατανοµή κατοχής της γενικευµένης αλυσίδας Markov p j π j ποσοστό µεταβάσεων στην κατάσταση j E[T j ] µέσος χρόνος παραµονής στην κατάσταση j Η πιθανότητα εύρεσης στην j είναι ανάλογη του π j E[T j ] π jet [ j] =, j =,,... π ET [ ] i i i

3-26 Αλυσίδες Markov Συνεχούς Χρόνου Έστω µια διαδικασία συνεχούς χρόνου {X(t): t } που παίρνει τιµές στο {,,2, }. Όταν εισέρχεται στην κατάσταση i Ο χρόνος παραµονής στην κατάσταση i κατανέµεται εκθετικά µε παράµετρο ν i Όταν φεύγει από την κατάσταση i, εισέρχεται στην κατάσταση j µε πιθανότητα P ij, όπου Σ j P ij = ΗαλυσίδαMarkov συνεχούς χρόνου είναι µια γενικευµένη αλυσίδα Markov µε ν i F ( t) = e t, i, j =,,... ij Εκθετικοί χρόνοι παραµονής: οι αλυσίδες Markovσυνεχούς χρόνου ικανοποιούν την ιδιότητα του Markov

3-27 Αλυσίδες Markov Συνεχούς Χρόνου (συνέχεια) Όταν βρίσκεται στην κατάσταση i, η διαδικασία πραγµατοποιεί µεταβάσεις στις καταστάσεις j i µε ρυθµούς: q ν P ij i ij Συνολικός ρυθµός µεταβάσεων εξόδου από την κατάσταση i j i q = ν P = ν ij i ij i j i Μέσος χρόνος που δαπανήθηκε στην κατάσταση i πριν γίνει κάποια µετάβαση: ET [ ] = / ν i i

3-28 Πιθανότητα Κατοχής Έστω µια µη αναγώγιµη και κανονική αλυσίδα Markov συνεχούς χρόνου τέτοια ώστε: Η εµφυτευµένη αλυσίδα Markov είναι µη αναγώγιµη Το πλήθος των µεταβάσεων σε πεπερασµένο διάστηµα χρόνου είναι πεπερασµένο µε πιθανότητα Από το Θεώρηµα 3: για κάθε κατάσταση j, το όριο p = lim P{ X() t = j X() = i}, i =,,2,... j t υπάρχει κι είναι ανεξάρτητο της αρχικής κατάστασης p j είναι η πιθανότητα κατοχής στη µόνιµη κατάσταση για την j p j ισούται προς το ποσοστό του χρόνου παραµονής στην κατάσταση j [Γιατί;]

3-29 Εξισώσεις Ολικού Ισοζυγίου υο ενδεχόµενα για της πιθανότητες κατοχής: p j =, για όλα τα j p j >, όλα τα j, και Σ j p j = Εξισώσεις Ολικού Ισοζυγίου p q = pq, j =,,... j ji i ij i j i j Ρυθµός µεταβάσεων εξόδου από την j = ρυθµός µεταβάσεων εισόδου στην j Αν µια κατανοµή {p j : j =,, } ικανοποιεί τις ΕΟΙ, τότε είναι η µοναδική κατανοµή κατοχής της αλυσίδας Markov Εναλλακτική µορφή των ΕΟΙ: p q = p q, S {,,...} j ji i ij j S i S i S j S

3-3 Εξισώσεις Λεπτοµερούς Ισοζυγίου Εξισώσεις Λεπτοµερούς Ισοζυγίου pq = pq, i, j=,,... j ji i ij Απλοποιούν τον υπολογισµό της στάσιµης κατανοµής εν ισχύουν υποχρεωτικά για κάθε αλυσίδα Markov Παραδείγµατα: διαδικασίες γέννησης-θανάτου και αντιστρεπτές αλυσίδες Markov

3-3 ιαδικασίες Γέννησης-Θανάτου λ λ λ 2 + S λ S c µ µ 2 µ µ + Μεταβάσεις µόνο µεταξύ γειτονικών καταστάσεων q = λ, q = µ, q =, i j > ii, + i ii, i ij Εξισώσεις Λεπτοµερούς Ισοζυγίου λ,,,... p = µ + p + = Απόδειξη: Από τις ΕΛΙ µε S ={,,,} παίρνουµε: pq = pq λ p = µ p j ji i ij + + j= i= + j= i= +

3-32 ιαδικασίες Γέννησης-Θανάτου (συνέχεια) µ p = λ p λ λ λ 2 λ λ 2 λ λi = = 2 =... = = µ µ µ µ µ µ i= µ i+ p p p p p λ i λ i λi p p p, if = = i= µ i+ = i= µ i+ = i= µ i+ = + = = + < Χρησιµοποιούµε τις ΕΛΙ για τον προσδιορισµό των πιθανοτήτων καταστάσεων ως συναρτήσεων του p Χρησιµοποιούµε την εξίσωση διατήρησης πιθανοτήτων για την εύρεση του p Με τις ΕΛΙ: Αποδεικνύουµε ότι αυτές ισχύουν ή ικαιολογούµε την ισχύ τους (π.χ., σε αντιστρεπτές διαδικασίες) ή Υποθέτουµε ότι ισχύουν µαντεύοντας τη µορφή τους και λύνουµε το σύστηµα

3-33 Ουρά M/M/ ιαδικασία αφίξεων: Poisso µε ρυθµό λ Χρόνοι εξυπηρέτησης: µε τις ίδιες εκθετικές κατανοµές µε παράµετρο µ Χρόνοι εξυπηρέτησης και (διαστηµάτων) αφίξεων: ανεξάρτητοι Ένας server Άπειρη χωρητικότητα αποθήκευσης N(t): Αριθµός πελατών στο σύστηµα το χρόνο t (κατάσταση) λ 2 + µ λ µ λ µ λ µ

3-34 Ουρά M/M/ (συνέχεια) λ λ λ λ 2 + µ µ ιαδικασία γέννησης-θανάτου ΕΛΙ µ p = λ p λ p = p = ρp =... = ρ p µ Σταθερά κανονικοποίησης = + ρ = = ρ, if ρ < p p p = = Στάσιµη κατανοµή p = ρ ( ρ), =,,... µ µ

3-35 Ουρά M/M/ (συνέχεια) Μέσο πλήθος πελατών ( ) ( ) = = = N = p = ρ ρ = ρ ρ ρ ρ λ N = ρ( ρ) = = ( ) 2 ρ ρ µ λ Εφαρµόζοντας το Θεώρηµα του Little, παίρνουµε N T = = λ λ = λ µ λ µ λ Παρόµοια, ο µέσος χρόνος αναµονής κι αριθµός πελατών στην ουρά δίνεται ως W = T 2 ρ ρ = ad NQ = λw = µ µ λ ρ