Συστήματα Markov Ένα σύστημα Markov διαγράμματος μετάβασης καταστάσεων

Transcript

1 Ένα σύστημα Markov (ή διαδικασία Markov ή αλυσίδα Markov) είναι: ένα σύστημα που μπορεί να αποτελείται από πολλές (αριθμημένες) καταστάσεις (states). Στο σύστημα αυτό υπάρχει δυνατότητα μετάβασης από την μια κατάσταση στην άλλη. Και κάθε τέτοιο χρονικό βήμα γίνεται, σύμφωνα με σταθερές πιθανότητες. Απεικονίζεται με τη βοήθεια ενός διαγράμματος μετάβασης καταστάσεων, το οποίο διάγραμμα που δείχνει: - όλες τις καταστάσεις και - τις πιθανότητες μετάβασης

2 Σύστημα με 2 καταστάσεις (states) Πίνακας η Μήτρα Μετάβασης (Transition Matrix) P, ενός συστήματος Markov ονομάζεται ο πίνακας του οποίου τα στοιχεία είναι οι πιθανότητες μετάβασης μεταξύ όλων των καταστάσεων ενός συστήματος Markov. κάθε σειρά του πίνακα Μεταβάσεων σχετίζονται με μία κατάσταση

3 Διάνυσμα κατανομής (distribution vector) (v) είναι ένα γραμμικό διάνυσμα με μη αρνητικά στοιχεία τα οποία αναφέρονται σε όλες τις καταστάσεις τους συστήματος (ένα στοιχείο για κάθε κατάσταση του συστήματος). Τα δεδομένα του διανύσματος δηλώνουν τον αριθμό διακριτών στοιχείων με τα οποία μπορεί να βρίσκεται κάθε κατάσταση του συστήματος. Διάνυσμα πιθανοτήτων είναι ένα διάνυσμα σειράς ενός πίνακα μεταβάσεων (P), του οποίου οι τιμές είναι μη αρνητικοί αριθμοί και κυμαίνονται από 0 έως 1. Έστω ότι για ένα σύστημα έχουμε v και P : αρχικά δεδομένα Η κατανομή μετά από 1 Βήμα είναι: vp Η κατανομή μετά από 2 Βήμα είναι: vp 2 Η κατανομή μετά από 3 Βήμα είναι: vp 3. Η κατανομή μετά από n βήματα είναι: νp n

4 Μακροπρόθεσμη συμπεριφορά ενός συστήματος Markov Για δεδομένο πίνακα μεταβάσεων P, αν υπάρχει διάνυσμα κατανομής τέτοιο ώστε: v P v Το διάνυσμα αυτό το ονομάζουμε διάνυσμα ισορροπίας (steady state distribution). Για δεδομένο πίνακα μεταβάσεων P μπορούμε να βρούμε το διάνυσμα ισορροπίας: Έστω v= [ x y z.] Επιλύουμε το σύστημα: x + y + z +... = 1 [x y z... ]*P = [x y z...] Από την επίλυση θα βρούμε τις τιμές: x, y, z, της κατανομής ισορροπίας v Δηλ. θα βρούμε το διάνυσμα καταστάσεως ισορροπίας πιθανοτήτων (steady state probability vector) v = [x y z... ] (Σ)

5 Ένα κανονικό σύστημα Markov είναι εκείνο για το οποίο υπάρχει μία τουλάχιστον δύναμη του πίνακα μετάβασης (P) η οποία δεν έχει μηδενικές καταχωρήσεις Ή αλλιώς εκείνο το οποίο έχει ένα μόνο διάνυσμα σταθερής κατάστασης (steady state vector). Μακροπρόθεσμη συμπεριφορά συστήματος. Αν θεωρήσουμε πολύ μεγάλες δυνάμεις του P, τότε αναφερόμαστε σε μια μακροπρόθεσμη και σταθερή κατάσταση ή οποία απεικονίζεται με έναν μακροπρόθεσμο πίνακας μεταβάσεων ( P ). Εάν ένα σύστημα Markov είναι κανονικό, τότε ο μακροπρόθεσμος πίνακας μεταβάσεων (P ) δίνεται από την τετραγωνική μήτρα του οποίου οι γραμμές είναι όλες ίδιες και ίσες με τις γραμμές του διανύσματος ισορροπίας πιθανοτήτων (steady state): v=[x y z...]. P x x x y y y z z z

6 Απορρόφηση Συστημάτων Markov Σε ένα σύστημα Markov μια κατάσταση λέγεται κατάσταση απορρόφησης όταν δεν υπάρχει δυνατότητα εξόδου (δηλ. η πιθανότητα εξόδου είναι 0). Σύστημα απορρόφησης Markov είναι το σύστημα πουεμπεριέχει τουλάχιστον μια κατάσταση απορρόφησης. Μια κατάσταση απορρόφησης είναι δυνατόν να προέλθει από κάθε κατάσταση μη-απορρόφησης μετά από ένα ή περισσότερα χρονικά βήματα. Στο διάγραμμα οι καταστάσεις (States) 3 και 4 είναι καταστάσεις απορρόφησης. Δεν υπάρχει εξερχόμενο βέλος, δηλαδή δυνατότητα εξόδου από τις δύο αυτές καταστάσεις.

7 Ο Πίνακας μετάβασης P ενός συστήματος απορρόφησης σχηματίζεται με αρίθμηση των καταστάσεων έτσι ώστε οι καταστάσεις απορρόφησης να έρχονται τελευταίες. Οπότε ο πίνακας έχε την μορφή: P S O T I Όπου: Αν n ο συνολικός αριθμός των καταστάσεων και m ο αριθμός των καταστάσεων απορρόφησης Τότε οι υπο-πίνακες έχουν διαστάσεις: I - (mxm) S - (n-m)x(n-m) - τετραγωνικός πίνακας διαστάσεων ο οποίος δίνει τις πιθανότητες μετάβασης για τη μετακίνηση μεταξύ μη-απορροφητικών καταστάσεων 0 - (mx(n-m)) μηδενικός πίνακας και Τ - (n-m)xm.

8 Για ένα σύστημα Markov Ως θεμελιώδης πίνακας για ένα σύστημα με απορρόφηση ορίζεται ο πίνακας: Q ( I S) 1 O θεμελιώδης πίνακας μας δείχνει την πιθανότητα μετάβασης από μία κατάσταση σε μια άλλη, χωρίς να γίνει απορρόφηση. Ο Πίνακας: Q T μας δείχνει την πιθανότητα όταν γίνεται μετάβαση από μία κατάσταση σε μια άλλη και να έχουμε συγκεκριμένη απορρόφηση.