Στοχαστικές Ανελίξεις (3) Αγγελική Αλεξίου

Στοχαστικές Ανελίξεις (3) Αγγελική Αλεξίου alexiou@unipi.gr 1

Αλυσίδες Markov 2

Παράδειγμα 1: παιχνίδι τύχης Στοχαστικές Ανελίξεις Α. Αλεξίου 3

Παράδειγμα 2: μηχανή Έστω μηχανή που παράγει ένα προϊόν με πιθανότητα p σε ένα κύκλο παραγωγής και μπορεί να χαλάσει με πιθανότητα q=1-p. Έστω 1 η κατάσταση καλής λειτουργίας και 0 η κατάσταση βλάβης. Τότε το διάγραμμα κατάστασης είναι: Στοχαστικές Ανελίξεις Α. Αλεξίου 4

Μαρκοβιανή Στοχαστική Ανέλιξη Στοχαστικές Ανελίξεις Α. Αλεξίου 5

Ιδιότητα Markov Έστω ένα φαινόμενο που εξελίσσεται, έτσι ώστε κάθε βήμα της εξέλιξης μπορεί να βρίσκεται σε συγκεκριμένη κατάσταση μέσα σε ένα χώρο καταστάσεων S όπου το φαινόμενο μπορεί να περιγραφεί με τη βοήθεια μιας στοχαστικής ανέλιξης Χ n n=0,1,2, όπου η τ.μ. Χ n περιγράφει το φαινόμενο τη xρονική στιγμή n ήενγένεικατάτο βήμα ήτοστάδιοεξέλιξηςn. Αν η κατάσταση του φαινομένου κατά το βήμα n+1 εξαρτάται μόνο από την κατάσταση κατά το βήμα n και όχι από τις καταστάσεις στα προηγούμενα βήματα τότε λέμε ότι το φαινόμενο ικανοποιεί την ιδιότητα Markov. Στοχαστικές Ανελίξεις Α. Αλεξίου 6

Στοχαστικές Ανελίξεις με την Ιδιότητα Markov Στοχαστικές Ανελίξεις Α. Αλεξίου 7

Αλυσίδες Markov Μία στοχαστική ανέλιξη που έχει τη Μαρκοβιανή Ιδιότητα και χώρο καταστάσεων διακριτό καλείται Αλυσίδα Markov Στοχαστικές Ανελίξεις Α. Αλεξίου 8

Αλυσίδες Markov πιθανότητα μετάβασης πρώτης τάξης Πιθανότητα μετάβασης πρώτης τάξης: Είναι η πιθανότητα να κάνει το σύστημα μία μετάβαση στην κατάσταση j τη χρονική στιγμή ν, αν ήταν τη χρονική στιγμή v-1 στην κατάσταση i. Αν Τότε η αλυσίδα Markov καλείται Ομογενής ή αλυσίδα Markov με στάσιμες πιθανότητες μετάβασης Στοχαστικές Ανελίξεις Α. Αλεξίου 9

Ομογενείς Αλυσίδες Markov Πίνακας πιθανοτήτων μετάβασης πρώτης τάξης (ενός βήματος) είναι ο πίνακας πιθανοτήτων μετάβασης πρώτης τάξης Στοχαστικές Ανελίξεις Α. Αλεξίου 10

Ομογενείς Αλυσίδες Markov Πίνακας πιθανοτήτων μετάβασης - ιδιότητες ΟπίνακαςP καλείται στοχαστικός ΟπίνακαςP καλείται διπλά στοχαστικός Στοχαστικές Ανελίξεις Α. Αλεξίου 11

Πίνακας πιθανοτήτων μετάβασης - παράδειγμα Στοχαστικές Ανελίξεις Α. Αλεξίου 12

Πίνακας πιθανοτήτων μετάβασης παράδειγμα: 2 μηχανές Έστω 2 μηχανές με πιθανότητες καλής λειτουργίας p i και πιθανότητες επισκευής σε περίπτωση βλάβης w i (i=1,2). Υποθέτουμε ότι αν η δεύτερη μηχανή είναι σε επισκευή τότε η πρώτη δεν λειτουργεί (ακόμα και αν δεν υπάρχει βλάβη) γιατί δεν έχει που να διοχετεύσει το προϊόν (αποκλεισμένη). Αντίστοιχα αν η πρώτη μηχανή είναι υπό επισκευή, τότε η δεύτερη δεν λειτουργεί (ακόμα και αν δεν υπάρχει βλάβη) γιατί δεν έχει προϊόντα στην είσοδο (αποστερημένη). Υποθέτουμε επίσης ότι μία αποκλεισμένη ή αποστερημένη μηχανή δεν μπορεί να χαλάσει. Στοχαστικές Ανελίξεις Α. Αλεξίου 13

Πιθανότητες ν-διάστατων κατανομών Αν γνωρίζουμε τις πιθανότητες μετάβασης πρώτης τάξης καθώς και την αρχική κατανομή Τότε μπορούμε να προσδιορίσουμε την κατανομή της αλυσίδας, δηλαδή τις ν-διάστατες κατανομές Αν η αλυσίδα είναι ομογενής, τότε Στοχαστικές Ανελίξεις Α. Αλεξίου 14

Παράδειγμα Ροή επιτυχιών Έστω μία ακολουθία δοκιμών Bernoulli με πιθανότητα επιτυχίας p και πιθανότητα αποτυχίας q=1-p σημαίνει ότι με τη ν δοκιμή συμπληρώνεται ροή κ επιτυχιών. Ο πίνακας μετάβασης πρώτης τάξης είναι αφού Στοχαστικές Ανελίξεις Α. Αλεξίου 15

Παράδειγμα Τυχαίος περίπατος Έστω η στοχαστική διαδικασία του τυχαίου περιπάτου, όπου ένα σωματίδιο ξεκινά να κινείται από το σημείο 0 του άξονα και μετακινείται κατά ένα θετικό βήμα, ένα αρνητικό βήμα ή παραμένει ακίνητο με πιθανότητες p i, q i και r i αντίστοιχα. Ο πίνακας πιθανοτήτων μετάβασης πρώτης τάξης είναι όπου Στοχαστικές Ανελίξεις Α. Αλεξίου 16

Πιθανότητες μετάβασης ανώτερης τάξης Πιθανότητα μετάβασης ν-οστής τάξης Αν η αλυσίδα είναι ομογενής Πίνακας μετάβασης ν-οστής τάξης Στοχαστικές Ανελίξεις Α. Αλεξίου 17

Εξισώσεις Chapman-Kolmogorov Θεώρημα Chapman-Kolmogorov: Για ομογενείς αλυσίδες: Στοχαστικές Ανελίξεις Α. Αλεξίου 18

Πίνακας μετάβασης ν-οστής τάξης σύμφωνα με τις εξισώσεις Chapman-Kolmogorov Πίνακας μετάβασης ν-οστής τάξης: Ισχύει: Συνεπώς: Εξ ορισμού Στοχαστικές Ανελίξεις Α. Αλεξίου 19

Απόλυτη πιθανότητα Απόλυτη πιθανότητα Αν γνωρίζουνε την αρχική κατανομή και τις πιθανότητες μετάβασης Για να υπολογίσουμε την πιθανότητα να βρισκόμαστε σε μία κατάστασητηχρονικήστιγμήn, αρκεί να γνωρίζουμε την αρχική κατανομή και τον πίνακα πιθανοτήτων μετάβασης πρώτης τάξης Στοχαστικές Ανελίξεις Α. Αλεξίου 20

Παράδειγμα Ροή επιτυχιών Θέλουμε να υπολογίσουμε τον πίνακα Γνωρίζουμε ότι Χρησιμοποιώντας τις εξισώσεις Chapman-Kolmogorov Βρίσκουμε Στοχαστικές Ανελίξεις Α. Αλεξίου 21

Δικατάστατες Αλυσίδες Πίνακας πιθανοτήτων μετάβασης πρώτης τάξης: Πίνακας πιθανοτήτων μετάβασης ν-οστής τάξης: Στοχαστικές Ανελίξεις Α. Αλεξίου 22

Δικατάστατες Αλυσίδες (2) Απόλυτες πιθανότητες Εργοδική κατανομή Στοχαστικές Ανελίξεις Α. Αλεξίου 23

Δικατάστατες Αλυσίδες (3) Στοχαστικές Ανελίξεις Α. Αλεξίου 24

Παράδειγμα 1 Αττικός ουρανός Η κατάσταση του Αττικού ουρανού κατά τη ν-οστή ημέρα Με (i) Ξεκινώντας από μία συννεφιασμένη μέρα, ποια η πιθανότητα να είναι συννεφιασμένος ο Αττικός ουρανός 5 μέρες μετά? (ii) Ποια η πιθανότητα να είναι συννεφιασμένος ο Αττικός ουρανός 5 μέρες μετά από μία μέρα για την οποία δεν έχουμε πληροφορίες για τον καιρό? Στοχαστικές Ανελίξεις Α. Αλεξίου 25

Παράδειγμα 1 Αττικός ουρανός (2) (i) Αρχική κατανομή (ii) Αρχική κατανομή Στοχαστικές Ανελίξεις Α. Αλεξίου 26

Παράδειγμα 2 Αυτοκίνητο ή τρένο Κάποιος πηγαίνει στη δουλειά του ή με αυτοκίνητο ή με τρένο. Ποτέ δεν παίρνει το τρένο δύο μέρες συνεχόμενα. Εάν μία μέρα πάει στη δουλειά του με αυτοκίνητο τότε την επόμενη είναι το ίδιο πιθανό να πάρει τρένο ή το αυτοκίνητο. Υπολογίστε (i) την πιθανότητα να πάει στη δουλειά του με το αυτοκίνητο μετά από δύο μέρες (ii) την πιθανότητα να πάει στη δουλειά του με το αυτοκίνητο μετά από δύο μέρες αν την πρώτη μέρα πηγαίνει με το αυτοκίνητο με πιθανότητα 1/6. Στοχαστικές Ανελίξεις Α. Αλεξίου 27

Παράδειγμα 3 καινούργιο αυτοκίνητο Κάποιος πουλάει το αυτοκίνητό του κάθε χρόνο και αγοράζει ένα καινούργιο. Εάν έχει Citroen το πουλάει και αγοράζει VW. Εάν έχει VW το πουλάει και αγοράζει Ford. Εάν έχει Ford του είναι εξ ίσου αρεστό να το πουλήσει και να αγοράσει είτε Citroen είτε VW. Το 2007 αγόρασε ένα Ford. Υπολογίστε τη πιθανότητα να έχει το 2009 (i) Ford (ii) Citroen Στοχαστικές Ανελίξεις Α. Αλεξίου 28

Παράδειγμα 4-κίνηση ποντικιού σε i διαμερίσματα Στοχαστικές Ανελίξεις Α. Αλεξίου 29

Παράδειγμα 5-τυχαίος περίπατος σε κύκλο Ναπροσδιοριστείοπίνακαςπιθανοτήτωνμετάβασηςπρώτηςτάξηςκαιη απόλυτη πιθανότητα p 3 (2) Στοχαστικές Ανελίξεις Α. Αλεξίου 30

Ταξινόμηση Αλυσίδων Markov - Επικοινωνικότητα Στοχαστικές Ανελίξεις Α. Αλεξίου 31

Ταξινόμηση Αλυσίδων Markov Επικοινωνικότητα(2) Στοχαστικές Ανελίξεις Α. Αλεξίου 32

Κλάσεις ισοδυναμίας Το σύνολο των καταστάσεων της αλυσίδας Ω διαμερίζεται σε κλάσεις ισοδυναμίας Μία αλυσίδα Markov καλείται απλή ή ανάγωγη αν Μία κλάση ισοδυναμίας καλείται κλειστή ή κλειστό σύνολο καταστάσεων αν Αν K={i} και K κλειστό τότε η κατάσταση i καλείται κατάσταση απορρόφησης. Στοχαστικές Ανελίξεις Α. Αλεξίου 33

Παράδειγμα Στοχαστικές Ανελίξεις Α. Αλεξίου 34

Παράδειγμα (2) 0 Στοχαστικές Ανελίξεις Α. Αλεξίου 35

Παράδειγμα (3) Όλες οι καταστάσεις επικοινωνούν, δηλαδή η αλυσίδα είναι απλή. Το ίδιο ισχύει και για την παρακάτω αλυσίδα: Στοχαστικές Ανελίξεις Α. Αλεξίου 36

Παράδειγμα (4) Η Ροή Επιτυχιών είναι μία απλή αλυσίδα Markov, λόγω της μεταβατικής ιδιότητας. Στοχαστικές Ανελίξεις Α. Αλεξίου 37

Παράδειγμα (5) Τυχαίος Περίπατος με χώρο καταστάσεων Οι καταστάσεις 0 και Ν είναι καταστάσεις απορρόφησης. Οι υπόλοιπες ανήκουν σε μία κλάση ισοδυναμίας αλλά όχι κλειστή. Στοχαστικές Ανελίξεις Α. Αλεξίου 38

Ταξινόμηση Αλυσίδων Markov - Επαναληπτικότητα Στοχαστικές Ανελίξεις Α. Αλεξίου 39

Ταξινόμηση Αλυσίδων Markov Επαναληπτικότητα (2) Στοχαστικές Ανελίξεις Α. Αλεξίου 40

Ταξινόμηση Αλυσίδων Markov Επαναληπτικότητα (3) (ή θετικά επανερχόμενη) (ή μηδενικά επανερχόμενη) Στοχαστικές Ανελίξεις Α. Αλεξίου 41

Ταξινόμηση Αλυσίδων Markov Περιοδικότητα Μία κατάσταση που είναι έμμονη, θετική και απεριοδική καλείται εργοδική Στοχαστικές Ανελίξεις Α. Αλεξίου 42

Περιοδικότητα - παράδειγμα Στοχαστικές Ανελίξεις Α. Αλεξίου 43

Περιοδικότητα παράδειγμα (2) Στοχαστικές Ανελίξεις Α. Αλεξίου 44

Περιοδικότητα παράδειγμα (3) T Στοχαστικές Ανελίξεις Α. Αλεξίου 45

Περιοδικότητα παράδειγμα (4) Στοχαστικές Ανελίξεις Α. Αλεξίου 46

Ταξινόμηση Αλυσίδων Markov Επαναληπτικότητα (4) Η πιθανότητα το σύστημα ξεκινώντας από την κατάσταση i να επισκεφτεί για πρώτη φορά την κατάσταση j κάποτε. Στοχαστικές Ανελίξεις Α. Αλεξίου 47

Ταξινόμηση Αλυσίδων Markov Επαναληπτικότητα (5) Αν τότε Αν τότε Στοχαστικές Ανελίξεις Α. Αλεξίου 48

Κριτήρια επαναληπτικότητας Στοχαστικές Ανελίξεις Α. Αλεξίου 49

Κριτήρια επαναληπτικότητας (2) Στοχαστικές Ανελίξεις Α. Αλεξίου 50

Κριτήρια επαναληπτικότητας (3) Στοχαστικές Ανελίξεις Α. Αλεξίου 51

Κριτήρια επαναληπτικότητας (4) Ο πίνακας πιθανοτήτων μετάβασης πρώτης τάξης μπορεί να γραφεί όπου Μ 1 ο πίνακας πιθανοτήτων μετάβασης μεταβατικών καταστάσεων στις έμμονες. Στοχαστικές Ανελίξεις Α. Αλεξίου 52

Κριτήρια επαναληπτικότητας - παράδειγμα Στοχαστικές Ανελίξεις Α. Αλεξίου 53

Ασυμπτωτική συμπεριφορά πιθανοτήτων μετάβασης Στοχαστικές Ανελίξεις Α. Αλεξίου 54

Ασυμπτωτική συμπεριφορά πιθανοτήτων μετάβασης (2) Στοχαστικές Ανελίξεις Α. Αλεξίου 55

Στάσιμες Αλυσίδες Markov Σε μορφή πινάκων, αν Πολλαπλασιάζοντας κατά μέλη με τον πίνακα P μπορούμε να αποδείξουμε επαγωγικά ότι Στοχαστικές Ανελίξεις Α. Αλεξίου 56

Στάσιμες Αλυσίδες Markov (2) Απόλυτες πιθανότητες Στοχαστικές Ανελίξεις Α. Αλεξίου 57

Στάσιμες Αλυσίδες Markov (3) Στοχαστικές Ανελίξεις Α. Αλεξίου 58

Στάσιμες Αλυσίδες Markov μεθοδολογία υπολογισμού στάσιμης κατανομής Για πεπερασμένο πλήθος καταστάσεων, λύνουμε το γραμμικό σύστημα εξισώσεων ήυπολογίσουμεταόρια Για άπειρο πλήθος καταστάσεων δεν μπορούμε να λύσουμε με απευθείας αντικατάσταση το σύστημα γραμμικών εξισώσεων αλλά προσπαθούμε να βρούμε μία λύση του προβλήματος Στοχαστικές Ανελίξεις Α. Αλεξίου 61

Στάσιμες Αλυσίδες Markov παράδειγμα P= Στοχαστικές Ανελίξεις Α. Αλεξίου 62

Στάσιμες Αλυσίδες Markov παράδειγμα (2) π 3 π 3 π 3 Στοχαστικές Ανελίξεις Α. Αλεξίου 63

Στάσιμες Αλυσίδες Markov παράδειγμα (3) Ισχύει και κατά συνέπεια Στοχαστικές Ανελίξεις Α. Αλεξίου 64

Στάσιμες Αλυσίδες Markov παράδειγμα (3b) Στοχαστικές Ανελίξεις Α. Αλεξίου 65

Στάσιμες Αλυσίδες Markov παράδειγμα (4) Στοχαστικές Ανελίξεις Α. Αλεξίου 66

Πιθανότητες Απορρόφησης Πιθανότητα απορρόφησης: Είναι η πιθανότητα δεδομένου ότι η αλυσίδα ξεκινά από την κατάσταση x να επισκεφθεί το κλειστό ανάγωγο σύνολο C σε ένα πεπερασμένο χρονικό διάστημα. Στοχαστικές Ανελίξεις Α. Αλεξίου 69

Πιθανότητες Απορρόφησης - παράδειγμα Να υπολογιστούν οι πιθανότητες απορρόφησης από την κατάσταση 0 των καταστάσεων 1 και 2 Στοχαστικές Ανελίξεις Α. Αλεξίου 70