Σχολή Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών Εθνικό Μετσόβιο Πολυτεχνείο Επίδοση Υπολογιστικών Συστημάτων Α.-Γ. Σταφυλοπάτης Διαδικασίες Markov Υπενθύμιση
Άδεια Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άδεια χρήσης άλλου τύπου, αυτή πρέπει να αναφέρεται ρητώς.
Στοχαστικές διαδικασίες Συναρτήσεις του χρόνου των οποίων οι τιμές είναι τυχαίες μεταβλητές. n(t): αριθμός εργασιών που βρίσκονται στη CPU τη χρονική στιγμή t w(t): χρόνος αναμονής ενός μηνύματος μέχρι να αρχίσει η επεξεργασία του, όπου t η χρονική στιγμή άφιξής του X n : αριθμός εργασιών που εκτελούνται τη n-οστή ημέρα λειτουργίας του συστήματος 3
Χαρακτηριστικά Χώρος καταστάσεων Διακριτός (αλυσίδα) Συνεχής Χρόνος Διακριτός Συνεχής Στατιστικές εξαρτήσεις στο χρόνο 4
Τύποι διαδικασιών Στατικές διαδικασίες Διαδικασίες Markov Έλλειψη μνήμης Διαδικασίες γεννήσεων-θανάτων Διαδικασίες Poisson Ημιμαρκοβιανές διαδικασίες 5
Η διαδικασία Poisson Ακολουθία τυχαίων γεγονότων. n(t), t, ο αριθμός των γεγονότων στο διάστημα (, t] Ανεξαρτησία μη επικαλυπτόμενων διαστημάτων Στατικές μεταβολές Πιθανότητα ενός γεγονότος λ+o() Πιθανότητα περισσότερων γεγονότων o() 6
Η διαδικασία Poisson t t N t t N E n t e n t n t N P t n )] ( Var[ )] ( [ 2,,,,,! ) ( ] ) ( [ Διαστήματα μεταξύ γεγονότων: Εκθετική κατανομή, ) (, ] [ ) ( e f e X P F 7
Η διαδικασία Poisson Έλλειψη μνήμης ] [ ] [ ] [ ] [ ], [ ] / [ ) ( y X P e e e X P y X P X P X y X P X y X P y y Αν έχει ήδη παρέλθει διάστημα πριν συμβεί το επόμενο γεγονός, η κατανομή του υπολειπόμενου διαστήματος είναι ανεξάρτητη του. 8
Η διαδικασία Poisson Αν X, X 2 ανεξάρτητες τ.μ. κατανεμημένες εκθετικά με παραμέτρους λ, λ 2, τότε το min(x,x 2 ) ακολουθεί εκθετική κατανομή με παράμετρο λ +λ 2. Κατανομή Erlang n σταδίων: άθροισμα n ανεξάρτητων τ.μ. που ακολουθούν την ίδια εκθετική κατανομή n ( ) gn( ) e, ( n )! 9
Η διαδικασία Poisson Υπέρθεση διαδικασιών Poisson: διαδικασία Poisson με ρυθμό το άθροισμα των ρυθμών i i Διάσπαση διαδικασιών Poisson σε m επιμέρους υποδιαδικασίες έτσι ώστε ένα γεγονός ανατίθεται στην i-στη με πιθανότητα p i ( i pi ): κάθε υποδιαδικασία είναι Poisson με ρυθμό p i λ
Αλυσίδες Markov διακριτού χρόνου X n, n=, 2, Έλλειψη μνήμης Πιθανότητες μετάβασης (ενός βήματος) p ij P X j / X i], [ n (Ομοιογενής αλυσίδα) Αμείωτη αλυσίδα (irreducible) Κλειστά υποσύνολα, απορροφητικές καταστάσεις n n
Αλυσίδες Markov διακριτού χρόνου Ταξινόμηση των καταστάσεων Επαναληπτική (recurrent): πιθανότητα επανόδου = Μεταβατική (transient): πιθανότητα επανόδου < Περιοδική/απεριοδική 2
Αλυσίδες Markov διακριτού χρόνου Επαναληπτικές καταστάσεις Μέσος χρόνος επανόδου (mean recurrence time) M j M j = : Μηδενική επαναληπτική (null recurrent) M j < : Θετική επαναληπτική (positive recurrent) {π j } : Οριακή κατανομή πιθανότητας (n ) 3
Αλυσίδες Markov διακριτού χρόνου Θεώρημα Οι καταστάσεις μιας αμείωτης αλυσίδας Markov είναι όλες του ίδιου τύπου (μεταβατικές, μηδενικές επαναληπτικές ή θετικές επαναληπτικές). Θεώρημα Σε αμείωτη και απεριοδική ομοιογενή αλυσίδα Markov η οριακή κατανομή {π j } υπάρχει και (α) π j =, για όλα τα j, αν όλες οι καταστάσεις είναι μεταβατικές ή μηδενικές επαναληπτικές (β) π j = /M j >, για όλα τα j, αν όλες οι καταστάσεις είναι θετικές επαναληπτικές (στατική κατανομή πιθανότητας) 4
Αλυσίδες Markov διακριτού χρόνου Εργοδικότητα (ergodicity) Εργοδική κατάσταση = απεριοδική και θετική επαναληπτική Εργοδική αλυσίδα Markov Αμείωτη εργοδική αλυσίδα Markov: υπάρχει πάντα στατική κατανομή Αμείωτη απεριοδική αλυσίδα Markov με πεπερασμένο πλήθος καταστάσεων: εργοδική 5
Αλυσίδες Markov διακριτού χρόνου Στατική κατανομή (Κατανομή μόνιμης κατάστασης, Κατανομή ισορροπίας) j i p i ij, j ή ˆ ˆ Pˆ j j ˆ [ ] j Pˆ [ p ij ] 6
Αλυσίδες Markov διακριτού χρόνου Μήτρα πιθανοτήτων μετάβασης (transition probability matri) Pˆ p ij, i, j p, ij j i Στοχαστική μήτρα Γράφος μεταβάσεων 7
Παράδειγμα: Περιπλανώμενος ταξιδιώτης (3 πόλεις) Μήτρα πιθανοτήτων μετάβασης ˆP 4 4 3 4 4 3 4 4 2 Γράφος μεταβάσεων 8
Περιπλανώμενος ταξιδιώτης (συνέχεια) 2 4 3 4 4 4 3 4 4 2 2 2 2 2 Εξισώσεις ισορροπίας Στατική κατανομή ] 25, 3 25 7, 5 ˆ [ 9
Αλυσίδες Markov διακριτού χρόνου Χρόνος παραμονής σε μια κατάσταση P( m) ( p jj ) p jj m Πιθανότητα να παραμείνει η διαδικασία στην κατάσταση j για m βήματα ακριβώς Γεωμετρική κατανομή Έλλειψη μνήμης 2
Αλυσίδες Markov συνεχούς χρόνου X(t), t Έλλειψη μνήμης Ο χρόνος παραμονής σε μια κατάσταση πρέπει να είναι χωρίς μνήμη εκθετική κατανομή λ i {π j } : Οριακή κατανομή πιθανότητας (t ) Μήτρα ρυθμών μετάβασης (transition rate matri) Qˆ [ q ij ] 2
Αλυσίδες Markov συνεχούς χρόνου Ρυθμοί μετάβασης j q, i ή q ii qij, ij ji i Ρυθμός εξόδου από την κατάσταση i : λ i = -q ii Ρυθμός μετάβασης από την κατάσταση i στην κατάσταση j : q ij 22
Αλυσίδες Markov συνεχούς χρόνου Εργοδική αλυσίδα Στατική κατανομή ˆ Q ˆ ˆ ή i q i ij, j q jj j i j q i ij, j j j 23
Παράδειγμα: Κλειστό σύστημα (CPU, δίσκος, 3 εργασίες) ) ( ) ( ˆQ Μήτρα ρυθμών μετάβασης Ρυθμοί εξυπηρέτησης CPU α δίσκος β Γράφος μεταβάσεων 24
Κλειστό σύστημα (συνέχεια) Εξισώσεις ισορροπίας ) ( ) ( 3 2 2 3 3 2 3 2 2 2 Στατική κατανομή 2,3,,, 4 i i i 25
Διαδικασίες Markov Διαδικασίες γεννήσεων-θανάτων Διαδικασίες Poisson 26
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα» του ΕΜΠ έχει χρηματοδοτήσει μόνο την αναδιαμόρφωση του υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους.