Συστήματα Αναμονής Ενότητα 4: Αλυσίδες Markov Αγγελική Σγώρα Τμήμα Μηχανικών Πληροφορικής ΤΕ
Άδειες Χρήσης Το παρόν εκπαιδευτικό υλικό υπόκειται σε άδειες χρήσης Creative Commons. Για εκπαιδευτικό υλικό, όπως εικόνες, που υπόκειται σε άλλου τύπου άδειας χρήσης, η άδεια χρήσης αναφέρεται ρητώς. 2
Χρηματοδότηση Το παρόν εκπαιδευτικό υλικό έχει αναπτυχθεί στα πλαίσια του εκπαιδευτικού έργου του διδάσκοντα. Το έργο «Ανοικτά Ακαδημαϊκά Μαθήματα στο TEI Δυτικής Μακεδονίας και στην Ανώτατη Εκκλησιαστική Ακαδημία Θεσσαλονίκης» έχει χρηματοδοτήσει μόνο τη αναδιαμόρφωση του εκπαιδευτικού υλικού. Το έργο υλοποιείται στο πλαίσιο του Επιχειρησιακού Προγράμματος «Εκπαίδευση και Δια Βίου Μάθηση» και συγχρηματοδοτείται από την Ευρωπαϊκή Ένωση (Ευρωπαϊκό Κοινωνικό Ταμείο) και από εθνικούς πόρους. 3
Σκοποί ενότητας Η ενότητα αυτή, πραγματεύεται το ζήτημα των αλυσίδων Markov. 4
Περιεχόμενα ενότητας Εισαγωγή. Ορισμός. Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων. Chapman - Kolmogorov. Οριακές πιθανότητες των καταστάσεων. 5
Εισαγωγή (1/4) Στο σύστημα του σχήματος υπάρχουν δύο καταστάσεις, η κατάσταση 1 και η κατάσταση 2. Επιπλέον, σε αυτό το σχήμα φαίνονται ι πιθανότητες να παραμείνει το σύστημα στην εκάστοτε κατάσταση. Εικόνα 1: Παράδειγμα αλησίδας Markov. Πηγή: Διδάσκουσα (2015). Η διαδικασία αυτή είναι μια αλυσίδα Markov. Το σύστημα είναι στάσιμο. Οι μεταβάσεις μεταξύ των καταστάσεων πραγματοποιούνται σε διακριτά βήματα. 6
Εισαγωγή (2/4) Πίνακας 1: Καταστάσεις αλησίδας Markov. Πηγή: Διδάσκουσα (2015). Χρονικό διάστημα Κατάσταση 1 Κατάσταση 2 1 1/2 = 0.5 1/2 = 0.5 2 3/8 = 0.375 5/8 = 0.625 3 11/32 = 0.344 21/32 = 0.656 4 43/128 = 0.336 85/128 = 0.664 5 171/512 = 0.334 341/512 = 0.67 7
Εισαγωγή (3/4) Έστω ότι ένα σύστημα: Ανελίσσεται σχετικά με τον χρόνο. Την εκάστοτε χρονική στιγμή μπορεί να βρίσκεται σε μία κατάσταση. Που θα ανήκει σε ένα σύνολο πιθανών καταστάσεων S. Το περιγράφουμε με τη χρήση μίας στοχαστικής ανέλιξης: Όπου X n η τυχαία μεταβλητή που περιγράφει το σύστημα τη χρονική στιγμή n. 8
Εισαγωγή (4/4) Έστω επίσης ότι ικανοποιείται η ιδιότητα: Δοθείσας της τρέχουσας κατάστασης του συστήματος, οι καταστάσεις στις οποίες βρισκόταν το σύστημα κατά τις προγενέστερες χρονικές στιγμές δεν μπορούν να επηρεάσουν καθόλου τις μελλοντικές καταστάσεις του συστήματος. Η στοχαστική ανέλιξη: που περιγράφει το σύστημα είναι μία αλυσίδα Markov. 9
Ορισμός Αν μία στοχαστική ανέλιξη X n n 0 : Με χώρο καταστάσεων S. Ικανοποιεί την σχέση: Η στοχαστική ανέλιξη X n / n = 0, 1, 2, ονομάζεται αλυσίδα Markov. 10
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (1/6) Για τον υπολογισμό της παροδικής συμπεριφοράς ενός συστήματος. Χρησιμοποιώντας πίνακα μετάβασης ενός βήματος. Θα βασιστούμε στο σύστημα δύο καταστάσεων που παρουσιάσαμε νωρίτερα. Πίνακας μετάβασης ενός βήματος: 11
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (2/6) Πολλαπλασιάζοντας τον πίνακα με τον εαυτό του θα έχουμε: 12
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (3/6) Ύστερα από δύο χρονικά διαστήματα. Δοθέντος ότι ξεκινήσαμε από την κατάσταση 1. Έχουμε τα παρακάτω: Στοιχείο p 11 (2). Πιθανότητα να βρισκόμαστε στην κατάσταση 1. Στοιχείο p 12 (2). Πιθανότητα να βρισκόμαστε στην κατάσταση 2. 13
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (4/6) Ύστερα από δύο χρονικά διαστήματα (Συνέχεια). Ομοίως και για τη δεύτερη γραμμή. Δοθέντος ότι ξεκινήσαμε από την κατάσταση 2. Έχουμε τα παρακάτω: Στοιχείο p 11 (2).» Πιθανότητα να βρισκόμαστε στην κατάσταση 1. Στοιχείο p 12 (2).» Πιθανότητα να βρισκόμαστε στην κατάσταση 2. 14
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (5/6) Τιμές της πρώτης γραμμής. Ταυτοτικές με τις πιθανότητες των καταστάσεων που υπολογίζονται ύστερα από δύο χρονικά διαστήματα. Δοθέντος ότι ξεκινήσαμε από την κατάσταση 1. Τα στοιχεία του πίνακα Ρ (2) μας ενημερώνουν για δίνουν όλες τις πιθανότητες μετάβάσης. Ενός συστήματος n-καταστάσεων. Με χώρο καταστάσεων S = 1, 2,, n. Των καταστάσεων ύστερα από δύο χρονικά διαστήματα, όταν το σύστημα ξεκινά από την κατάσταση 1, 2, n. 15
Υπολογισμός χρονικά εξαρτημένων πιθανοτήτων (6/6) Γενικεύουμε τα παραπάνω. Για κάθε δύναμη του πίνακα Ρ. Για μια οποιαδήποτε αλυσίδα Markov. Ορίζοντας τον πίνακα P(n): Για n=0 έχουμε: Για n=1 έχουμε: 16
Chapman - Kolmogorov Μία από τις βασικές προτάσεις της θεωρίας των αλυσίδων Markov. Για κάθε: Ισχύει: 17
Οριακές πιθανότητες των καταστάσεων (1/6) Υπολογίζονται με την τεχνική του πολλαπλασιασμού πινάκων. Επίπονη και χρονοβόρα διαδικασία. Εναλλακτική επιλογή. Πολλή αποδοτική. Αρχή στην οποία στηρίζεται. Όταν έχουμε φθάσει στις οριακές πιθανότητες των καταστάσεων. Χρησιμοποιώντας τον πολλαπλασιασμό πινάκων. Κάθε επιπλέον πολλαπλασιασμός με τον πίνακα μετάβασης ενός βήματος. Δεν επιφέρει αλλαγές στις τιμές των οριακών πιθανοτήτων των καταστάσεων. 18
Οριακές πιθανότητες των καταστάσεων (2/6) Εναλλακτική επιλογή (Συνέχεια). Αν στη συνέχεια παραστήσουμε το διάνυσμα οριακών πιθανοτήτων των καταστάσεων μίας αλυσίδας Markov. Κι επίσης αν Ρ είναι ο πίνακας μετάβασης ενός βήματος της αλυσίδας, τότε θα ισχύει: α P = α 19
Οριακές πιθανότητες των καταστάσεων (3/6) Εναλλακτική επιλογή (Συνέχεια). Αν εφαρμόσουμε τη εν λόγω αρχή στο σύστημα δύο καταστάσεων που έχουμε στην αρχή της παρούσας παρουσίασης θα έχουμε: Όπου p 1 και p 2 οι οριακές πιθανότητες να βρισκόμαστε στις καταστάσεις 1 και 2, αντίστοιχα. 20
Οριακές πιθανότητες των καταστάσεων (4/6) Οι εν λόγω δύο εξισώσεις είναι ταυτοτικές. Για να επιλύσουμε το σύστημα έχοντας τους δύο αγνώστους p 1 και p 2, βασιζόμαστε στην παρακάτω εξίσωση: 21
Οριακές πιθανότητες των Αν οι εξισώσεις: καταστάσεων (5/6) θεωρηθούν ανεξάρτητες. Μπορούμε να εκφράσουμε το σύστημα με τη μορφή πινάκων: Έτσι έχουμε ένα σύστημα της μορφής: 22
Οριακές πιθανότητες των καταστάσεων (6/6) Έτσι, μπορούμε να επιλύσουμε το σύστημα θεωρώντας: Όπου Α -1 ο αντίστροφος πίνακας του πίνακα Α. Λόγο ότι πολλές φορές η αντιστροφή ενός πίνακα θεωρείται δύσκολη πράξη, για πίνακες μικρής τάξης χρησιμοποιούμαι τον κανόνα του Cramer. Έτσι θα έχουμε: 23
Βιβλιογραφία 1. Στοχαστικές ανελίξεις, Δάρας Τρύφων Ι., Σύψας Παναγιώτης Θ., Εκδόσεις Ζήτη Πελαγία & Σια Ο.Ε. 2. Ουρές Αναμονής, Φακίνος Δημήτρης, Εκδόσεις Σ. Αθανασόπουλος & ΣΙΑ Ο.Ε. 3. Πιθανότητες, τυχαίες μεταβλητές και στοχαστικές διαδικασίες, Παπούλης Αθανάσιος, Pillai S. Unnikrishna, Εκδόσεις Α. Τζιόλα & ΥΙΟΙ Α.Ε. 24
Τέλος Ενότητας
Σημείωμα Αναφοράς Copyright ΤΕΙ Δυτικής Μακεδονίας, Αγγελική Σγώρα. «Συστήματα Αναμονής». Έκδοση: 1.0. Κοζάνη 2015. Διαθέσιμο από τη δικτυακή διεύθυνση: URL. 26
Σημείωμα Αδειοδότησης Το παρόν υλικό διατίθεται με τους όρους της άδειας χρήσης Creative Commons Αναφορά, Μη Εμπορική Χρήση Παρόμοια Διανομή 4.0 [1] ή μεταγενέστερη, Διεθνής Έκδοση. Εξαιρούνται τα αυτοτελή έργα τρίτων π.χ. φωτογραφίες, διαγράμματα κ.λ.π., τα οποία εμπεριέχονται σε αυτό και τα οποία αναφέρονται μαζί με τους όρους χρήσης τους στο «Σημείωμα Χρήσης Έργων Τρίτων». [1] http://creativecommons.org/licenses/by-nc-sa/4.0/ Ως Μη Εμπορική ορίζεται η χρήση: που δεν περιλαμβάνει άμεσο ή έμμεσο οικονομικό όφελος από την χρήση του έργου, για το διανομέα του έργου και αδειοδόχο. που δεν περιλαμβάνει οικονομική συναλλαγή ως προϋπόθεση για τη χρήση ή πρόσβαση στο έργο. που δεν προσπορίζει στο διανομέα του έργου και αδειοδόχο έμμεσο οικονομικό όφελος (π.χ. διαφημίσεις) από την προβολή του έργου σε διαδικτυακό τόπο. Ο δικαιούχος μπορεί να παρέχει στον αδειοδόχο ξεχωριστή άδεια να χρησιμοποιεί το έργο για εμπορική χρήση, εφόσον αυτό του ζητηθεί. 27
Διατήρηση Σημειωμάτων Οποιαδήποτε αναπαραγωγή ή διασκευή του υλικού θα πρέπει να συμπεριλαμβάνει: το Σημείωμα Αναφοράς. το Σημείωμα Αδειοδότησης. τη δήλωση Διατήρησης Σημειωμάτων. το Σημείωμα Χρήσης Έργων Τρίτων (εφόσον υπάρχει). μαζί με τους συνοδευόμενους υπερσυνδέσμους. 28