Lecture 8: Random Walks

Randomized Algorithms Lecture 8: Random Walks Sotiris Nikoletseas Associate Professor CEID - ETY Course 2016-2017 Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 1 / 33

Overview A. The re lection principle B. Random walks on the line (1D) C. Random walks on the plane (2D) D. Random walks on Z 3 (3D) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 2 / 33

A. Το αξι ωμα της αντανα κλασης (The re lection principle) Εντυπωσιακο : με απλο τρο πο (απλα λογικα επιχειρη ματα, απλη συνδυαστικη, χωρι ς αναλυτικε ς μεθο δους) βαθια αποτελε σματα (που με αναλυτικε ς μεθο δους αποδεικνυ ονται με ιδιαι τερη δυσκολι α) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 3 / 33

Α. Το αξι ωμα της αντανα κλασης Παρα δειγμα: (The ballot theorem) Θεω ρημα: ψηφοφορι α 2 υποψηφι ων 1ος: n ψη φους 2ος: m ψη φους n > m τελικο ς νικητη ς ο 1ος Pr{ στην καταμε τρηση προηγει ται συνεχω ς ο τελικο ς νικητη ς} = n m n + m Απο δειξη: ( ) n + m #(Όλων των τρο πων να εξελιχθει η καταμε τρηση)= n (απο δειξη με δυ ο τρο πους) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 4 / 33

Απο δειξη α) α) Παριστα νουμε γραφικα την εξε λιξη της διαφορα ς των ψη φων του 1ου απο το 2ο: Συσσωρευτικο α θροισμα: +1, ψη φος του 1ου -1, ψη φος του 2ου κα θε καταμε τρηση αντιστοιχει σε ε να μονοπα τι (μι α τροχια ) απο το (0,0) στο (n+m, n-m) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 5 / 33

Απο δειξη β) Παρατήρηση: Οι ευνοι κε ς τροχιε ς περνα νε υποχρεωτικα απο το (1, 1). β1 Όλες οι τροχιε ς απο (1, 1) σε (n+m, n-m) ει ναι ( ) ( ) n + m 1 n + m 1 = m n 1 β2 Δεν ει ναι ο μως ο λες αυτε ς οι τροχιε ς ευνοι κε ς. Υπα ρχουν ΠΡΟΒΛΗΜΑΤΙΚΕΣ τροχιε ς. Ποιές είναι οι προβληματικές τροχιές; Απα ντηση: Όσες τε μνουν τον α ξονα y = 0. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 6 / 33

Πο σες ει ναι οι προβληματικε ς τροχιε ς; Συ μφωνα με το αξι ωμα της αντανα κλασης, ει ναι το σες ο σες και οι συμμετρικε ς τους (περι τον α ξονα των x). Κα θε τε τοια συμμετρικη τροχια ε χει ως τελικο σημει ο το (n+m, m-n) Έστω x α νοδοι (+1) σε αυτε ς τις συμμετρικε ς τροχιε ς. Έστω y κα θοδοι (-1). Η διαφορα καθο δων και ανο δων ισου ται με την απο λυτη μεταβολη της τεταγμε νης μεταξυ των σημει ων (1, 1) και (n+m, m-n). Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 7 / 33

Πο σες ει ναι οι προβληματικε ς τροχιε ς; (Συνε χεια) x + y = n + m - 1 (1) y - x = n - m + 1 (2) (Οι κα θοδοι ει ναι το σες παραπα νω ο ση η απο λυτη μεταβολη της τεταγμε νης.) Απο (1) και (2) προκυ πτει ο τι y = n x = m - 1 Άρα προβληματικε ς ει ναι ο σες ε χουν x = m - 1 ανο δους και y = n καθο δους, ( ) n + m 1 δηλαδη m 1 Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 8 / 33

Τελικο Συμπε ρασμα Συνολικα Ρ(προηγει ται συνεχω ς ο 1ος) = ( n+m 1 m ( n+m n ) ( n+m 1 ) m 1 ) = = = (n+m 1)! m! (n 1)! (n+m 1)! n! m! (n+m)! m! n! = (n+m 1)! m! n! [n m] = n m (n+m)! n + m m! n! Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 9 / 33

B. Τυχαι οι Περι πατοι στην ευθει α Ορισμο ς Έστω στοχαστικα ανεξα ρτητες επαναλη ψεις πειρα ματος με δυ ο ισοπι θανα αποτελε σματα: +1, 1, δηλαδη αν X k (k 1) το αποτε λεσμα της k οστη ς επανα ληψης: X k = { +1, με πιθανο τητα 1/2 1, με πιθανο τητα 1/2 Έστω S n (n 1) το συσσωρευτικο α θροισμα των n πρω των αποτελεσμα των: S n = X 1 + X 2 +... + X n Η ακολουθι α {S n } n=1 (δηλαδη η S 1, S 2,..., S n,... ) καλει ται (συμμετρικο ς) τυχαι ος περι πατος (random walk) στην ευθει α. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 10 / 33

Β. Τυχαι οι Περι πατοι - Τι περιγρα φουν (Ι) α) Κι νηση σωματιδι ου Ένα σωματι διο αρχικα (την στιγμη t=0) βρι σκεται στην αφετηρι α (στο σημει ο 0 της ευθει ας των πραγματικω ν αριθμω ν) Σε κα θε βη μα (διακριτη χρονικη στιγμη t = 1, 2,...) επιλε γει τυχαι α και ισοπι θανα να κινηθει μι α μονα δα δεξια ( X t = 1) η αριστερα ( X t = 1). S n : η θε ση του σωματιδι ου τη χρονικη στιγμη t = n. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 11 / 33

Β. Τυχαι οι Περι πατοι - Τι περιγρα φουν (Ι) Γενι κευση: Τα X k παι ρνουν τιμε ς στο R m. m = 2 (επι πεδο): X k = { βορρα ς, νο τος, ανατολη, δυ ση} με πιθανο τητα 1/4 για κα θε κι νηση. (π.χ. κι νηση ανθρω που σε μι α πο λη ρυμοτομημε νη σε πλε γμα τετραγω νων.) m = 3 (χω ρος): X k = { αριστερα, δεξια, εμπρο ς, πι σω, πα νω, κα τω} ισοπι θανα. (π.χ. κι νηση ανθρω που σε ε να κτι ριο.) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 12 / 33

Β. Τυχαι οι Περι πατοι - Οπτικοποι ηση κι νησης στο R m Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 13 / 33

Β. Τυχαι οι Περι πατοι - Τι περιγρα φουν (II) β) Τη διαφορα αποτελεσμα των κεφαλη απο τα αποτελε σματα γρα μματα κατα τις αλλεπα λληλες ρι ψεις ενο ς τι μιου νομι σματος. ( X k = +1 για το αποτε λεσμα κεφαλη, αλλιω ς X k = 1 ) γ) Το συσσωρευτικο κεφα λαιο ενο ς παι κτη ενο ς τυχερου παιχνιδιου ( X k = +1 αν νικα ει στον γυ ρο k, αλλιω ς X k = 1 ) δ) Τυχαι ος περι πατος σε ε να γρα φημα. π.χ. βρισκο μαστε στην κορυφη u και επιλε γουμε τυχαι α κα ποια απο τισ γειτονικε ς της κορυφε ς v 1, v 2, v 3 κ.ο.κ Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 14 / 33

Β. Τυχαι οι Περι πατοι - Μετρικε ς Στο σημερινο μα θημα: η πιθανο τητα επιστροφη ς στην αφετηρι α σε μια ορισμε νη χρονικη στιγμη η πιθανο τητα της πρω της επι σκεψης στην αφετηρι α σε μι α χρονικη στιγμη η πιθανο τητα επιστροφη ς στην αφετηρι α (κα ποτε) Άλλες ενδιαφε ρουσες μετρικε ς: ο χρο νος ω στε ε νας τυχαι ος περι πατος σε ε να γρα φημα να επισκεφθει ο λες τις κορυφε ς τουλα χιστον μι α φορα την κα θε μια ( cover time ) ο με σος χρο νος μεταξυ διαδοχικω ν επισκε ψεων σε μι α κορυφη Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 15 / 33

Ορισμο ς: P n,r = P r{s n = r} Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 16 / 33 Β. Τυχαι οι Περι πατοι - Στην ευθει α Ορισμο ς: { +1, με πιθανο τητα 1/2 X k = 1, με πιθανο τητα 1/2 n S n = X k = X 1 + X 2 +... + X n k=1 Οπτικοποι ηση: Τεθλασμε νη γραμμη στο επι πεδο, ο που ο οριζο ντιος α ξονας ει ναι ο χρο νος (n) και ο κα θετος α ξονας ει ναι το συσσωρευτικο α θροισμα (S n ).

Β. Τυχαι οι Περι πατοι Επιστροφη στην αφετηρι α μια ορισμε νη χρονικη στιγμη (1) Θεω ρημα Η πιθανο τητα επιστροφη ς στο 0 τη χρονικη στιγμη 2n ει ναι: ( 2n ) n u 2n = 2 2n Αποδειξη: Όλα τα δυνατα μονοπα τια ει ναι 2 2n. Τα ευνοι κα μονοπα τια περιε χουν n τιμε ς +1 (ανο δους) (οπο τε υποχρεωτικα και n καθο δους) οπο τε ει ναι ( ) 2n n Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 17 / 33

Β. Τυχαι οι Περι πατοι Επιστροφη στην αφετηρι α μια ορισμε νη χρονικη στιγμη (2) Λη μμα u 2n 1 πn Αποδειξη: u 2n = (2n)! 2π2n( 2n (n!)(n!) 2 2n e )2n ( 2πn( n e )n ) 2 2 2n = = 2 πn 22n n 2n e 2n 2 2n = 1 2πn n2n πn e 2n Παρατη ρηση: n αυξα νει u 2n μικραι νει, δηλαδη ο σο περνα ει ο χρο νος η επιστροφη στην αφετηρι α γι νεται λιγο τερο πιθανη! Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 18 / 33

Β. Τυχαι οι Περι πατοι Πρω τη επιστροφη στην αφετηρι α(1) Ορισμο ς: Ο περι πατος κα νει πρω τη επι σκεψη στο 0 τη χρονικη στιγμη 2n αν και μο νο αν: S 1 0, S 2 0,..., S 2n 1 0, S 2n = 0 Ορισμο ς: f 2n = Pr{ πρω τη επι σκεψη στο 0 την χρονικη στιγμη 2n } Λη μμα (σχε ση επισκε ψεων πρω των επισκε ψεων u 2n = f 2 u 2n 2 + f 4 u 2n 4 +... + f 2n u 0 (n 1) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 19 / 33

Β. Τυχαι οι Περι πατοι Πρω τη επιστροφη στην αφετηρι α(2) Λη μμα (σχε ση επισκε ψεων πρω των επισκε ψεων u 2n = f 2 u 2n 2 + f 4 u 2n 4 +... + f 2n u 0 (n 1) Αποδειξη: u 2n = Pr {S 2n = 0} = =Pr{(1η επι σκεψη τη χ.σ. 2 επι σκεψη μετα απο 2n-2 βη ματα) (1η επι σκεψη τη χ.σ. 4 επι σκεψη μετα απο 2n-4 βη ματα). (1η επι σκεψη τη χ.σ. 2n επι σκεψη μετα απο 0 βη ματα) } Και η απο δειξη ολοκληρω νεται αθροι ζοντας τις πιθανο τητες της ε νωσης γεγονο των (ει ναι διακριτα ) και πολλαπλασια ζοντας τις πιθανο τητες κα θε τομη ς (λο γω ανεξαρτησι ας, αφου ο περι πατος δεν ε χει μνη μη). Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 20 / 33

Β. Τυχαι οι Περι πατοι Λη μμα Η πιθανο τητα μη επιστροφη ς στην αφετηρι α με χρι και τη χρονικη στιγμη 2n ει ναι ι ση με την πιθανο τητα επιστροφη ς τη χρονικη στιγμη 2n: P r{s 1 0,..., S 2n 0} = P r{s 2n = 0} = u 2n Παρατη ρηση:p r{s 1 0,..., S 2n 0} = = P r{s 1 > 0,..., S 2n > 0} + P r{s 1 < 0,..., S 2n < 0} Αλλα λο γω συμμετρι ας οι δυ ο πιθανο τητες (για θετικο, αρνητικο μονοπα τι) ει ναι ι σες. Άρα αρκει να δει ξουμε το εξη ς: Λη μμα P r{s 1 > 0,..., S 2n > 0} = 1 2 u 2n Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 21 / 33

Β. Τυχαι οι Περι πατοι Λη μμα P r{s 1 > 0,..., S 2n > 0} = 1 2 u 2n Απο δειξη: Ει ναι: P r{s 1 > 0,..., S 2n > 0} = = P r{s 1 > 0,..., S 2n 1 > 0, S 2n = 2r} r=1 (ο που προφανω ς οι ο ροι r > n ει ναι μηδενικοι ) Αλλα : P r{s 1 > 0,..., S 2n 1 > 0, S 2n = 2r} = = P r{s 1 = 1} P r{s 2 > 0,..., S 2n 1 > 0, S 2n = 2r S 1 = 1} Έστω: P = P r{s 2 > 0,..., S 2n 1 > 0, S 2n = 2r S 1 = 1} Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 22 / 33

Β. Τυχαι οι Περι πατοι P = P r{s 2 > 0,..., S 2n 1 > 0, S 2n = 2r S 1 = 1} Η πιθανο τητα P προκυ πτει απο τον αριθμο των μονοπατιω ν απο το (1,1) στο (2n, 2r) που ει ναι θετικα (δεν ακουμπου ν τον α ξονα y =0). Τα μονοπα τια αυτα ει ναι ο σα ο λα τα μονοπα τια απο το (1,1) στο (2n,2r) μει ον το πλη θος των μονοπατιω ν που τε μνουν τον α ξονα y =0. Απο το αξι ωμα της αντανα κλασης, τα μονοπα τια που τε μνουν τον α ξονα y =0 ει ναι ο σα και τα συμμετρικα τους περι αυτο ν τον α ξονα. Αυτα τα συμμετρικα μονοπα τια ξεκινου ν απο το (1,1) και καταλη γουν στο (2n, -2r) δηλαδη η τεταγμε νη των ακραι ων σημει ων τους διαφε ρει κατα απο λυτη τιμη κατα 2r+1. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 23 / 33

Β. Τυχαι οι Περι πατοι Επομε νως (διαιρω ντας ο λους τους αριθμου ς των μονοπατιω ν με τον συνολικο αριθμο 2 2n 1 των μονοπατιω ν απο το (1,1) στο (2n,2r) ) ει ναι: P = P 2n 1,2r 1 P 2n 1,2r+1 Άρα P r{s 1 > 0,..., S 2n > 0} = = 1 n (P 2n 1,2r 1 P 2n 1,2r+1 ) = 2 r=1 = 1 2 P 2n 1,1 (οι α λλοι ο ροι απαλει φονται) Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 24 / 33

Β. Τυχαι οι Περι πατοι Αλλα u 2n = P r{s 2n = 0} = = P r{s 2n 1 = +1 X 2n = 1} + P r{s 2n 1 = 1 X 2n = +1} Λο γω συμμετρι ας P r{s 2n 1 = 1} = P r{s 2n 1 = 1} u 2n = P r{s 2n 1 = 1} 1 2 2 = P 2n 1,1 Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 25 / 33

Β. Τυχαι οι Περι πατοι Λη μμα f 2n = u 2n 2 u 2n Απο δειξη: u 2n = P r{s 1 0,..., S 2n 1 0, S 2n 0} u 2n 2 = P r{s 1 0,..., S 2n 2 0} Αλλα προφανω ς: P r{s 1 0,..., S 2n 2 0} = = P r{s 1 0,..., S 2n 2 0, S 2n 0}+ +P r{s 1 0,..., S 2n 2 0, S 2n = 0} u 2n 2 = u 2n + f 2n Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 26 / 33

Β. Τυχαι οι Περι πατοι Λη μμα Απο δειξη: f 2n = u 2n 2 u 2n = = f 2n = 1 2n 1 u 2n ( 2n 2 ) ( 2n ) n 1 2 2n 2 n 2 2n = (2n 2)! (n 1)!(n 1)! 2 2n 2 u 2n = = (2n n ) n n (2n 1)2n 2 2n 2 2 u 2n = u 2n [ 4n 2(2n 1) 1] = = u 2n 1 2n 1 Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 27 / 33

Recurrence and transience (we will deeply explore these notions in the next Lecture on Markov Chains) Let {X n } n 0 the position (state) of a random walk on the line at time n. We say that state i is recurrent iff Pr{X n = i for in initely many n} = 1 The state i is transient iff Pr{X n = i for in initely many n} = 0 In other words: - the walk keeps coming back to a recurrent state for ever. - it eventually leaves for ever a transient state and never comes back to it. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 28 / 33

Is the random walk on the line transient or recurrent? - The random walk on the line: - Suppose we start at 0. Clearly we can not return to 0 after an odd number of steps, i.e. P (2n+1) 00 = 0 for all n. Note that: P (2n) 00 = ( 2n n ) p n q n (return to 0 after 2n steps) - Using Stirling s approximation (n! 2πn ( n e ) n) we set: P (2n) 00 (4pq)n 2π n 2 - In the symmetric case (p = q = 1 2 so 4pq = 1) we get: P (2n) 00 1 so n=0 2 2πn P (2n) 00 = 1 2 2π n=0 1 n = (since the series diverges) - Thus, the random walk is recurrent in the symmetric case. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 29 / 33

The non-symmetric case Let us now study the non-symmetric case (p q so 4pq = r < 1) Then n=0 P (2n) 00 1 2π r n < n=0 so the random walk is transient and it eventually leaves 0 and never gets back to it. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 30 / 33

C. Random walk on the plane(i) The diagram of the walk is We start at (0, 0). Let us call the walk X n and X + n, X n be the vertical projections of the X n on the diagonal lines y = x and y = x. Clearly X n = 0 iff X + n = X n = 0 Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 31 / 33

Random walk on the plane(ii) But X + n and X n are independent symmetric random values on 2 1 2 Z so for X n it is: P (2n) 00 = [ (2n n ) ( 1 ) ] 2n 2 2 1 πn So n=0 P (2n) 00 = and the walk is recurrent. Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 32 / 33

D. Random walk on the Z 3 (3D) It can be shown that the walk on Z 3 (even the symmetric case when all 6 next positions are equi-probable) is transient. This applies to more dimensions too (e.g. the symmetric random walk on Z 4 is transient etc.). Sotiris Nikoletseas, Associate Professor Randomized Algorithms - Lecture 8 33 / 33