The Probabilistic Method - Probabilistic Techniques. Lecture 8: Markov Chains

The Probabilistic Method - Probabilistic Techniques Lecture 8: Markov Chains Sotiris Nikoletseas Chistoforos Raptopoulos Computer Engineering and Informatics Department 205-206 Chistoforos Raptopoulos The Probabilistic Method / 26

Στοχαστικε ς διεργασι ες Ορισμο ς (Στοχαστικη διεργασι α) Είναι ένα σύνολο τυχαίων μεταβλητών {X t, t T }, με πεδίο ορισμού D. T : ει ναι ε να συ νολο δεικτω ν (συνη θως ερμηνευ ουμε το t ως χρο νο) X t : ει ναι η κατάσταση της στοχαστικη ς διεργασι ας τη χρονικη στιγμη t D: ει ναι το σύνολο καταστάσεων Παραδει γματα για X t : ο αριθμο ς των συμβα ντων με χρι μια χρονικη στιγμη t, η θερμοκρασι α ενο ς χω ρου τη στιγμη t κτλ. Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Κατηγοριοποι ηση - ιδιο τητες στοχαστικω ν διεργασιω ν Συνεχει ς/διακριτε ς: ανα λογα με το αν το D ει ναι συνεχε ς/διακριτο Συνεχου ς/διακριτου χρο νου: ανα λογα με το αν το T ει ναι συνεχε ς διακριτο Στοχαστικα ανεξα ρτητων μεταβολω ν: αν και μο νο εαν για κα θε t < t 2 t 3 < t 4, οι ει ναι στοχαστικα ανεξα ρτητες X t2 X t, X t4 X t3 Σταθερω ν μεταβολω ν: αν και μο νο εαν η κατανομη της X t+s X t ει ναι ανεξα ρτητη του t. Chistoforos Raptopoulos The Probabilistic Method 3 / 26

Μαρκοβιανε ς Αλυσι δες Διακριτου Χρο νου Ορισμο ς 2 (Αλυσι δα Markov) Είναι μια διακριτή στοχαστική διεργασία M = {X n } n 0 διακριτού χρόνου, με σύνολο καταστάσεων S, που ικανοποιεί την ιδιότητα Markov Pr(X t+ = j X t = i, X t = i t,..., X 0 = i 0 ) = p ij για κάθε t και κάθε i 0,..., i t, i, j S. Αναπαρα σταση μαρκοβιανω ν αλυσι δων Με σω του S S πι νακα μετα βασης P, ο που P i,j = Pr(X t+ = j X t = i) = p ij 0, με j p ij = Με σω του κατευθυνο μενου γραφη ματος μετα βασης, του οποι ου το συ νολο κορυφω ν ει ναι το συ νολο καταστα σεων και το βα ρος του το ξου (i, j) ει ναι p ij Chistoforos Raptopoulos The Probabilistic Method 4 / 26

Πιθανο τητα μονοπατιου καταστα σεων v3 4 2 3 v 2 v2 8 v4 Σχη μα: Αλυσι δα Markov M. P = 3 2 2 3 0 0 8 4 8 0 0 0 0 0 0 X 3 = v, X 2 = u, X = u: μονοπα τι καταστα σεων Pr(X 3 = v, X 2 = v 2, X = v 2 X 0 = v ) = P v,v 2 P v2,v 2 P v2,v = 24 Chistoforos Raptopoulos The Probabilistic Method 5 / 26

Εξισω σεις Chapman-Kolmogorov : πιθανο τητα μετα βασης στη j σε n βη ματα, ξεκινω ντας απο την i P (n) i,j P (n) i,j = Pr(X n = j X 0 = i) = Pr(X n = j, n k= X k = i k X 0 = i) = i,i 2,...,i n S i,i 2,...,i n S = (P n ) i,j Παρα δειγμα στη M : P i,i P i,i 2 P in,j P (2) v,v = P v,v P v,v + P v,v 2 P v2,v = 4 9 = (P 2 ) v,v Chistoforos Raptopoulos The Probabilistic Method 6 / 26

Πιθανο τητα μετα βασης, πρω της μετα βασης και αναμενο μενος χρο νος μετα βασης r (n) i,j : πι8ανο τητα μετα βασης στη j για πρώτη φορά σε n βη ματα, ξεκινω ντας απο την i r (n) i,j = Pr{X n = j και για κα θε s n, X s j X 0 = i} f i,j : πι8ανο τητα μετα βασης στη j, ξεκινω ντας απο την i f i,j = t 0 r (t) i,j h i,j : αναμενο μενος χρο νος μετα βασης στη j, ξεκινω ντας απο την i h i,j = t 0 tr (t) i,j Chistoforos Raptopoulos The Probabilistic Method 7 / 26

Παρα δειγμα στη M r (2) v,v 2 = Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Παρα δειγμα στη M r v (2),v 2 = P v,v P v,v 2 = 2 9, ακο μα r(7) v,v 2 = Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Παρα δειγμα στη M r v (2),v 2 = P v,v P v,v 2 = 2 9, ακο μα r(7) v,v 2 = Pv 6,v P v,v 2 = 2 και 3 7 r v (t) 2,v = Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Παρα δειγμα στη M r v (2),v 2 = P v,v P v,v 2 = 2 9, ακο μα r(7) v,v 2 = Pv 6,v P v,v 2 = 2 και 3 7 r v (t) 2,v = (P v2,v 2 ) t P v2,v =, για t ενω r (0) 2 3t 2 v 2,v = 0. f v2,v = t 2 3t 2 = 4 7 h v,v 2 = t tr(t) v,v 2 = t tp t v,v P v,v 2 = Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Παρα δειγμα στη M r v (2),v 2 = P v,v P v,v 2 = 2 9, ακο μα r(7) v,v 2 = Pv 6,v P v,v 2 = 2 και 3 7 r v (t) 2,v = (P v2,v 2 ) t P v2,v =, για t ενω r (0) 2 3t 2 v 2,v = 0. f v2,v = t 2 3t 2 = 4 7 h v,v 2 = t tr(t) v,v 2 = t tp t v,v P v,v 2 = 3 2 (ι σο με τη με ση τιμη της γεωμετρικη ς κατανομη ς με p = 2 3 ). Σημει ωση: Θα δου με και πιο ευ κολο τρο πο υπολογισμου. Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Κατηγοριοποι ηση καταστα σεων (/3) Ορισμο ς 3 (Προσβασιμο τητα) u προσβάσιμη από την v και γράφουμε v u, ανν υπάρχει μονοπάτι καταστάσεων P από τη v στη u με Pr(P) > 0 Ορισμο ς 4 (Επικοινωνι α) u επικοινωνεί με την v και γράφουμε v u, ανν v u και u v Ορισμο ς 5 (Αμει ωτη αλυσι δα Markov) λέγεται η μαρκοβιανή αλυσίδα της οποίας κάθε κατάσταση είναι προσβάσιμη απο οποιαδήποτε άλλη ή ισοδύναμα, το αντίστοιχο κατευθυνόμενο γράφημα είναι ισχυρά συνεκτικό Chistoforos Raptopoulos The Probabilistic Method 9 / 26

Κατηγοριοποι ηση καταστα σεων (2/3) Παρα δειγμα στη M : η v ει ναι προσπελα σιμη μο νο απο τη v 2, συνεπω ς η M δεν ει ναι αμει ωτη Πο ρισμα Αν u v και v w τότε u w Απο δειξη k, k 2 : 0 < P (k ) u,v P (k 2) v,w P (k +k 2 ) u,w Chistoforos Raptopoulos The Probabilistic Method 0 / 26

Κατηγοριοποι ηση καταστα σεων (2/3) Παρα δειγμα στη M : η v ει ναι προσπελα σιμη μο νο απο τη v 2, συνεπω ς η M δεν ει ναι αμει ωτη Πο ρισμα Αν u v και v w τότε u w Απο δειξη k, k 2 : 0 < P (k ) u,v P (k 2) v,w P (k +k 2 ) u,w Πο ρισμα 2 Αν u v και v w τότε u w Chistoforos Raptopoulos The Probabilistic Method 0 / 26

Κατηγοριοποι ηση καταστα σεων (3/3) Ορισμο ς 6 (Ομα δες Ισοδυναμι ας) Μια κατάσταση i μπορεί να είναι παροδική ανν f i,i < (συνεπώς h i,i = ) ή ισοδύναμα n=0 P (n) i,i < επαναληπτική ανν f i,i = ή ισοδύναμα όπου διαχωρίζουμε σε n=0 P (n) μη μηδενικά επαναληπτική ανν επιπλέον h i,i είναι πεπερασμένο μηδενικά επαναληπτική ανν επιπλέον h i,i = i,i =, Chistoforos Raptopoulos The Probabilistic Method / 26

Γιατι ομα δες ισοδυναμι ας? Πο ρισμα 3 Σε μια επικοινωνιακή ομάδα, είτε όλες οι καταστάσεις είναι παροδικές, είτε όλες είναι επαναληπτικές. Απο δειξη. u, v, k, k 2 : n=0 P (n) u,u n=0 P (k ) u,v P (n k k 2 ) v,v P (k 2) v,u Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Γιατι ομα δες ισοδυναμι ας? Πο ρισμα 3 Σε μια επικοινωνιακή ομάδα, είτε όλες οι καταστάσεις είναι παροδικές, είτε όλες είναι επαναληπτικές. Απο δειξη. u, v, k, k 2 : n=0 P (n) u,u n=0 P (k ) u,v P (n k k 2 ) v,v P (k 2) v,u Πο ρισμα 4 Κάθε πεπερασμένη επικοινωνιακή ομάδα, είναι επαναληπτική. Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Πιθανο τητα απορρο φησης Ορισμο ς 7 Μια κατάσταση i λέγεται απορροφητική ανν P i,i = α i,j: πιθανο τητα απορρο φησης στη j, ξεκινω ντας απο την i Θεω ρημα α i,j = f i,j = Pr(φτα νουμε κα ποτε στη j X 0 = i) = Pr ( i S{φτα νουμε κα ποτε στη j, X = i } X 0 = i) = P i,i Pr(φτα νουμε κα ποτε στη j X = i ) i S = P i,i α i,j i S To διάνυσμα α :,j είναι η μοναδική λύση του συστήματος P x = x, με x(j) = α j,j = και x(l) = α l,j = 0, για κάθε απορροφητική κατάσταση l j. Chistoforos Raptopoulos The Probabilistic Method 3 / 26

Παρα δειγμα στη M α i : πιθανο τητα απορρο φησης στην v 3, ξεκινω ντας απο την v i 3 α + 2 3 α 2 = α 2 α + 8 α 2 + 4 α 3 + 8 α 4 = α 2 α 3 = α 4 = 0 Οπο τε α = α 2 = 2 3. β i : πιθανο τητα απορρο φησης στην v 4, ξεκινω ντας απο την v i β i = α i Chistoforos Raptopoulos The Probabilistic Method 4 / 26

Ακο μα ε να παρα δειγμα q q q v 0 v v 2 v n v n p p p Σχη μα: Αλυσι δα Markov M 2. α i: πιθανο τητα απορρο φησης στη v n, ξεκινω ντας απο v i Έχουμε α 0 = 0, α n = και για κα θε i n Άρα α i+ α i = α i = pα i+ + qα i α i+ α i = q p (α i α i ) ( ) i q α και n p i=0 (α i+ α i ) =, οπο τε ( + q + + q p p α = ( ) n και α i = ( + q + + q + q + + q p p p p ) i ) n Chistoforos Raptopoulos The Probabilistic Method 5 / 26

Αναμενο μενος χρο νος απορρο φησης µ i : αναμενο μενος χρο νος απορρο φησης, ξεκινω ντας απο την i µ i = E[αριθμο ς βημα των για απορρο φηση X 0 = i] = E[ + αριθμο ς βημα των για απορρο φηση X = i ] Pr(X = i X 0 = i) i S = + P i,i µ i i S Θεω ρημα 2 To διάνυσμα µ είναι η μοναδική λύση του συστήματος µ(i) = 0 µ(i) = + j S P i,jµ j για κάθε απορροφητική κατάσταση i για κάθε παροδική κατάσταση i Chistoforos Raptopoulos The Probabilistic Method 6 / 26

Παρα δειγμα στη M µ = + 3 µ + 2 3 µ 2 µ 2 = + 2 µ + 8 µ 2 + 4 µ 3 + 8 µ 4 µ 3 = 0 µ 4 = 0 Οπο τε µ = 5 και µ 2 = 2 6. Παρατη ρηση: Οι σχε σεις αυτε ς μπορου ν αν χρησιμοποιηθου ν και για τον υπολογισμο των f i,j και h i,j που ορι σαμε προηγουμε νως, με την κατα λληλη επιλογη απορροφητικω ν καταστα σεων Chistoforos Raptopoulos The Probabilistic Method 7 / 26

Μια εφαρμογη : 2-SAT Μορφη CNF: ϕ := (x x 5 ) ( x 3 x 2 ) Μεταβλητε ς: x, x 2,..., x n {true(), false(0)} Κυριολε κτημα: x η x Προ ταση/όρος: x y Ανα θεση τιμω ν αληθει ας: x =, x 2 = 0,..., x n = Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Μια εφαρμογη : 2-SAT Μορφη CNF: ϕ := (x x 5 ) ( x 3 x 2 ) Μεταβλητε ς: x, x 2,..., x n {true(), false(0)} Κυριολε κτημα: x η x Προ ταση/όρος: x y Ανα θεση τιμω ν αληθει ας: x =, x 2 = 0,..., x n = Ορισμο ς 8 (Προ βλημα 2-SAT) Δίνεται μια συνάρτηση ϕ(x, x 2,..., x n ) σε μορφή 2-CNF. Υπάρχει ανάθεση τιμών αληθείας που να την ικανοποιεί? Σημει ωση: Το k-sat ει ναι NP-complete για k 3 Chistoforos Raptopoulos The Probabilistic Method 8 / 26

Ένας τυχαιοποιημε νος αλγο ριθμος για το 2-SAT Έστω μια οποιαδη ποτε (αρχικη ) ανα θεση τιμω ν αληθει ας 2 Aν ϕ(a) =, το τε η ικανοποιει τη ϕ. Αλλιω ς, ε στω Π ε νας ο ρος της ϕ που ει ναι ψευδη ς για την. 3 Δια λεξε στην τυ χη μια απο τις μεταβλητε ς στην Π, ανα στρεψε την τιμη της στην και πη γαινε στο βη μα 2. Chistoforos Raptopoulos The Probabilistic Method 9 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) Έστω B : ϕ(b) = X t := #μεταβλητω ν της A που ((συμφωνου ν)) με τη B στο βη μα t Σημει ωση: Η {X t } t 0 Chistoforos Raptopoulos The Probabilistic Method 20 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) Έστω B : ϕ(b) = X t := #μεταβλητω ν της A που ((συμφωνου ν)) με τη B στο βη μα t Σημει ωση: Η {X t } t 0 δεν ει ναι μαρκοβιανη αλυσι δα... Chistoforos Raptopoulos The Probabilistic Method 20 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) Έστω B : ϕ(b) = X t := #μεταβλητω ν της A που ((συμφωνου ν)) με τη B στο βη μα t Σημει ωση: Η {X t } t 0 δεν ει ναι μαρκοβιανη αλυσι δα... αλλα σι γουρα συμπεριφε ρεται ((καλυ τερα)) απο την M 3 (σχη μα) 2 2 2 v0 v v2 vn vn 2 2 2 2 Σχη μα: Αλυσι δα Markov M 3. Chistoforos Raptopoulos The Probabilistic Method 20 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) µ i : αναμενο μενος χρο νος απορρο φησης, ξεκινω ντας απο v i Έχουμε µ n = 0, µ 0 µ = 2 και για κα θε i n µ i = + 2 µ i+ + 2 µ i µ i µ i+ = 2 + µ i µ i = 2i + µ 0 µ = 2(i + ) Άρα µ 0 = n i=0 (µ i µ i+ ) = 2 n i= i = n(n + ). Σημει ωση: Αν η ϕ ει ναι ικανοποιη σιμη, η πιθανο τητα ο αλγο ριθμος να χρειαστει περισσο τερα απο T βη ματα ει ναι το πολυ µ 0 T. Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) µ i : αναμενο μενος χρο νος απορρο φησης, ξεκινω ντας απο v i Έχουμε µ n = 0, µ 0 µ = 2 και για κα θε i n µ i = + 2 µ i+ + 2 µ i µ i µ i+ = 2 + µ i µ i = 2i + µ 0 µ = 2(i + ) Άρα µ 0 = n i=0 (µ i µ i+ ) = 2 n i= i = n(n + ). Σημει ωση: Αν η ϕ ει ναι ικανοποιη σιμη, η πιθανο τητα ο αλγο ριθμος να χρειαστει περισσο τερα απο T βη ματα ει ναι το µ πολυ 0 T. Για n 2 (n + ) µ 0 T n 0 Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Αναμενο μενος χρο νος τερματισμου του αλγορι θμου (για ικανοποιη σιμη ϕ) µ i : αναμενο μενος χρο νος απορρο φησης, ξεκινω ντας απο v i Έχουμε µ n = 0, µ 0 µ = 2 και για κα θε i n µ i = + 2 µ i+ + 2 µ i µ i µ i+ = 2 + µ i µ i = 2i + µ 0 µ = 2(i + ) Άρα µ 0 = n i=0 (µ i µ i+ ) = 2 n i= i = n(n + ). Σημει ωση: Αν η ϕ ει ναι ικανοποιη σιμη, η πιθανο τητα ο αλγο ριθμος να χρειαστει περισσο τερα απο T βη ματα ει ναι το µ πολυ 0 T. Για n 2 (n + ) µ 0 T n 0...(one-sided error randomized algorithm). Chistoforos Raptopoulos The Probabilistic Method 2 / 26

Επαναληπτικε ς αλυσι δες Markov Ορισμο ς 9 (Περιοδικο τητα) Είναι ο μεγαλύτερος ακέραιος d ώστε το S να μπορεί να διαμεριστεί σε d σύνολα S,..., S d και μεταβάσεις γίνονται μόνο μεταξύ S i και S (i+) mod (d+) ή ισοδύναμα P (nd+c) i,i > 0 για κάθε αρκετά μεγάλο n και κάθε κατάσταση i. Ορισμο ς 0 (Εργοδικη αλυσι δα Markov) Όταν είναι απεριοδική και μη μηδενικά επαναληπτική. Chistoforos Raptopoulos The Probabilistic Method 22 / 26

Κατανομη καταστα σεων Ορισμο ς (Δια νυσμα πιθανο τητας βη ματος t) Είναι ένα διάνυσμα q (t) διαστάσεων S που περιγράφει την κατανομή της κατάστασης στο βήμα t. Επιπλέον, q (t) = P q (t ) = P t q (0) Παρα δειγμα στη M : Έστω q (0) = [ 4, 4, 4, 4 ]T, το τε q v (2) = Pr q (0)(X 2 = v ) = 97 576 Παρα δειγμα στον τυχαι ο περι πατο στο τρι γωνο: Έστω q (0) = [ 3, 3, 3 ]T, το τε q v () = Pr q (0)(X = v ) = 3 Chistoforos Raptopoulos The Probabilistic Method 23 / 26

Ισορροπι α Ορισμο ς 2 (Ευσταθη ς κατανομη ) Είναι ένα διάνυσμα πιθανότητας π για το οποίο ισχύει π = P π Θεω ρημα 3 (Θεμελιω δες Θεω ρημα αλυσι δων Markov) Σε κάθε αμείωτη, πεπερασμένη και απεριοδική μαρκοβιανή αλυσίδα ισχύει Η αλυσίδα είναι εργοδική 2 Υπάρχει μοναδική ευσταθής κατανομή π με π i > 0, για κάθε i S 3 Για κάθε i S, f i,i = και h i,i = π i 4 Έστω N(i, t) ο αριθμός τον επισκέψεων στην κατάσταση i S μέχρι το χρόνο t, τότε N(i, t) lim = π i t t Chistoforos Raptopoulos The Probabilistic Method 24 / 26

Τυχαι οι περι πατοι σε γρα φημα Ορισμο ς 3 S = V Για κάθε u, v V P u,v = { deg(u) αν (u, v) E 0 αλλιώς. Παρα δειγμα: H ευσταθη ς κατανομη ενο ς τυχαι ου περι πατου σε γρα φημα G ει ναι π v = deg(v) 2 E Chistoforos Raptopoulos The Probabilistic Method 25 / 26

Χρο νος κα λυψης Ορισμο ς 4 (Χρο νος Κα λυψης ) C u : ο χρόνος που χρειάζεται ο τυχαίος περίπατος ώστε να καλύψει όλες τις κορυφές, ξεκινώντας από τη u V C = max u E[C u ] είναι ο χρόνος κάλυψης του G. Παρα δειγμα στο πλη ρες γρα φημα n κορυφω ν: (προ βλημα συλλε κτη κουπονιω ν) X i : ο χρο νος που χρεια ζεται ο τυχαι ος περι πατος, ε χοντας δει i κορυφε ς, να δει μια καινου ρια n C = E[ X i ] = i= n E[X i ] = i= n i= n n n i = (n ) i= i Chistoforos Raptopoulos The Probabilistic Method 26 / 26