ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα 005 - Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Προσομοίωση Monte Carlo Αλυσίδων Markov: Αλγόριθμοι Metropolis & Metropolis-Hastings Προσομοιωμένη Ανόπτηση Simulated Annealing Markov Random Fields, Ising Model καθ. Βασίλης Μάγκλαρης maglaris@netmode.ntua.gr www.netmode.ntua.gr Πέμπτη 4/4/2019
Στατιστική Μηχανική: Κατανομή Gibbs, Partition Function, Εντροπία (Επανάληψη) Θερμική Ισορροπία Φυσικού Συστήματος με πολλούς Βαθμούς Ελευθερίας Φυσικό σύστημα με πολλούς βαθμούς ελευθερίας ισορροπεί σε βαθμούς Kelvin σε καταστάσεις i, ενέργειας E i Οι πιθανότητες ισορροπίας p i είναι αντιστρόφως ανάλογες των E i : p i exp E i, p i = exp E i E j p j Οι p i 0, i p i = 1 ακολουθούν κατανομή Gibbs (1902) ή Boltzmann (1868) με Z τη Σταθερά Κανονικοποίησης (Zustadsumme) που αποκαλείται Συνάρτηση Κερματισμού (Partition Function) p i = 1 Z exp E i, Z = i Καταστάσεις i χαμηλής ενέργειας E i έχουν μεγαλύτερη πιθανότητα να συμβαίνουν από καταστάσεις υψηλής ενέργειας. Η ενέργεια της κατάστασης i είναι E i = log(zp i ), η μέση ενέργεια < E > = i p i E i και η συνολική Ελεύθερη Ενέργεια F (Helmholtz Free Energy): exp E i F= log Z < E > F = i p i log p i Η εντροπία του συστήματος είναι H i p i log p i < E > F = H ή F =< E > H Αρχή της Ελάχιστης Ελεύθερης Ενέργειας Σε θερμική ισορροπία η εντροπία τείνει στη μέγιστη τιμή, η F παίρνει την ελάχιστη τιμή της και οι καταστάσεις ακολουθούν την κατανομή Gibbs
Ιδιότητες Καταστάσεων Αλυσίδων Markov (2/4) (Επανάληψη) Μέσος Χρόνος Επιστροφής (Mean Recurrence ime) E i (k) ορίζεται o μέσος αριθμός βημάτων (χρόνος) για την επιστροφή (κύκλο) από μια Recurrent State i στον εαυτό της, αν έχουν προηγηθεί k 1 κύκλοι από την i στην i. Η σχετική συχνότητα εμφάνισης της κατάστασης i είναι ανάλογη της πιθανότητας σταθερής κατάστασης π i (Steady State Probabilities) π i = 1 E i (k) Αν E i (k) < τότε π i > 0 και η i είναι γνησίως επαναληπτική (Positive Recurrent) αλλιώς π i = 0 και η i είναι Null Recurrent Πιθανότητες Σταθερής Κατάστασης (Steady State Probabilities, Ergodicity) Μετά από l επιστροφές σε μια Positive Recurrent State i, η αναλογία του χρόνου (βημάτων) παραμονής (Sojourn ime) στην i είναι l ν i l = l k=1 i (k) Οι χρόνοι επιστροφής i (k) είναι ακολουθία ανεξαρτήτων τυχαίων μεταβλητών της ίδιας κατανομής (independent identically distributed iid) και για l ισχύει ο Νόμος των Μεγάλων Αριθμών βάσει του οποίου προσεγγίζονται οι πιθανότητες σταθερής κατάστασης (Steady State Probabilities) π i σαν όριο χρονικών αναλογιών παραμονής στην κατάσταση i ενός χρονικού δείγματος της X n σε άπειρο χρόνο εξέλιξης (ergodicity) lim ν i l l = π i, i = 1,2,, K
Ιδιότητες Καταστάσεων Αλυσίδων Markov (3/4) (Επανάληψη) Οι καταστάσεις i των οποίων οι πιθανότητες σταθερής κατάστασης π i μπορούν να υπολογισθούν σαν αναλογία χρόνου στην i σε άπειρο χρονικό ορίζοντα εξέλιξης ενός δείγματος της αλυσίδας Markov X i ορίζονται σαν εργοδικές καταστάσεις Οι πιθανότητες π i των εργοδικών καταστάσεων είναι εργοδικές πιθανότητες και η X i ορίζεται σαν εργοδική αλυσίδα Markov. Μια irreducible μη περιοδική Markov Chain είναι εργοδική Σύγκλιση πιθανοτήτων καταστάσεων σε αναλλοίωτη κατανομή εργοδικών πιθανοτήτων Οι πιθανότητες καταστάσεων εργοδικής αλυσίδας Markov X i, i = 1,2,, K στο βήμα μετάβασης n = 0,1,2 ορίζουν διάνυσμα (1 K) π (n) με εξισώσεις μετάβασης από τη στοχαστική μήτρα P (K K) και αρχικές συνθήκες π (0) π (n) = π 1 (n) π2 (n) πk (n), π (n) = π (n 1) P = π (n 2) P 2 = = π (0) P n Στο όριο της εξέλιξης έχουμε σύγκλιση στις εργοδικές πιθανότητες π = π 1 π 2 π K π 1 π K π K lim n π(n) = π (0) lim P n = π (0) = π (0) (0) = π n j π = 1 π = π π 1 π K π Άρα οι π = lim n π (n) είναι ανεξάρτητες της αρχικής συνθήκης π (0) και υπολογίζονται μέσω του γραμμικού συστήματος αναλλοίωτης κατανομής εργοδικών πιθανοτήτων: (για γραμμική ανεξαρτησία απαιτείται και η εξίσωση κανονικοποίησης των πιθανοτήτων) j=1 π j = i=1 K π i p ij j = 1,2,, K ή π = πp και j=1 K π j = 1
Ιδιότητες Καταστάσεων Αλυσίδων Markov (4/4) (Επανάληψη) Σύνοψη Ταξινόμησης Καταστάσεων Αλυσίδων Markov Χρονικά Αναστρέψιμες Διαδικασίες - Εξισώσεις Ακριβούς Ισορροπίας ime Reversible Processes Detailed Balance Equations Θερμοδυναμικό σύστημα σε θερμική ισορροπία: Ισχύουν οι εξισώσεις ακριβούς ισορροπίας (Detailed Balance Equations) π i p ij = π j p ji Αλυσίδα Markov με ισχύουσες τις εξισώσεις ακριβούς ισορροπίας έχει την ιδιότητα της χρονικής αντιστρεψιμότητας (ime Reversibility) με ίδιες εργοδικές πιθανότητες είτε σε μεταβάσεις p ij προς το μέλλον ή προς στο παρελθόν με p ji = π i p π ij. j Οι π i p ij = π j p ji (αν ισχύουν) είναι συμβατές με τις εξισώσεις αναλλοίωτων πιθανοτήτων: K K π K i π i p ij = p π ij π j = p ji π i j i=1 i=1 i=1
Εξέλιξη Συστήματος προς Θερμική Ισορροπία: Ο Αλγόριθμος Προσομοίωσης Markov Chain Monte Carlo (MCMC) του Metropolis (1/5) Στόχος Εκτίμηση της κατανομής π(x) (ιστογράμματος) τυχαίας μεταβλητής X ή ροπών της μέσω γεννήτριας ακολουθίας n τυχαίων δειγμάτων (pseudo-random samples) X n = x, n = 1,2, Για μεγάλο αριθμό δειγμάτων lim = lim P X n = x = π(x) όπου f n (x) ο αριθμός n εμφάνισης της τιμής x σε n διαδοχικά βήματα προσομοίωσης δειγμάτων f n (x) n n Παραδοχές Η π(x) είναι μια κατανομή στόχος (arget) που καλύπτει τον δειγματικό χώρο της τυχαίας μεταβλητής X: x P X n = x = 1 Η π(x) έχει γνωστή μορφή π(x) π (x), π.χ. κατανομή Gibbs π(x) exp E(x) η ακριβής της τιμή δεν είναι εύκολα προσεγγίσιμη λόγω πολυπλοκότητας δειγματικού χώρου και αδυναμίας υπολογισμού της σταθεράς κανονικοποίησης (partition function) αλλά Τα δείγματα που δημιουργούνται δεν είναι ασυσχέτιστα. Η εκτίμηση των P X n = x π(x) γίνεται με την καταμέτρηση επισκέψεων random walk εργοδικής αλυσίδας Markov σε καταστάσεις που αντιστοιχούν στις τιμές x. Η αλυσίδα προσδιορίζεται ώστε οι εργοδικές της πιθανότητες να είναι ίσες (κατά προσέγγιση) με τις ζητούμενες π(x) εξού η μέθοδος εντάσσεται στη κατηγορία προσομοιώσεων Markov Chain Monte Carlo (MCMC)
Εξέλιξη Συστήματος προς Θερμική Ισορροπία: Ο Αλγόριθμος Προσομοίωσης Markov Chain Monte Carlo (MCMC) του Metropolis (2/5) π x j π x i Μέθοδος Προσομοίωσης MCMC Αλγόριθμος Metropolis Στο βήμα n με την ακολουθία X n στην τιμή x i επιλέγω τυχαία μεταβλητή Y n = x j με βάση αυθαίρετη προτεινόμενη κατανομή (Proposal Conditional Density ή Candidate Kernel). Η κατανομή πιθανοτήτων μετάβασης X n Y n Q Yn (x X n = x i ) επιλέγεται ώστε οι πιθανότητες να είναι συμμετρικές P Y n = x j X n = x i = P Y n = x i X n = x j Αν π x j π x i η επιλογή X n Y n γίνεται αποδεκτή και X n+1 = x j Αν π x j < π x i δημιουργώ τυχαίο αριθμό ξ ομοιόμορφα κατανεμημένο μεταξύ (0,1) Αν ξ < π x j π x i = π x j π x i η επιλογή X n Y n γίνεται αποδεκτή και X n+1 = x j. Αλλιώς X n+1 = x i Ο αλγόριθμος παράγει ακολουθία συσχετισμένων δειγμάτων τυχαίας μεταβλητής Markov που συγκλίνει στις επιθυμητές εργοδικές πιθανότητες στόχου π(x) π(x) Προσοχή στην επιλογή αρχικής τιμής X 0 = x και της προτεινόμενης κατανομής Q Yn (x X n = x i ): Πρέπει να είναι συμμετρική και να καλύπτει ικανό εύρος τιμών x ώστε η αλυσίδα Markov να μην εγκλωβίζεται σε υποσύνολα καταστάσεων. Συνήθεις επιλογές: (1) Gauss με μέση τιμή μ = x i και σ 2 = 1 και (2) Ομοιόμορφη Κατανομή x (x i a, x i + a)
Εξέλιξη Συστήματος προς Θερμική Ισορροπία: Ο Αλγόριθμος Προσομοίωσης Markov Chain Monte Carlo (MCMC) του Metropolis (3/5) Προσομοίωση αλυσίδας Markov με Εργοδικές Πιθανότητες Θερμικής Ισορροπίας Ο αλγόριθμος Metropolis προσομοιώνει διαδικασία Markov με καταστάσεις X n = x i και εργοδικές πιθανότητες θερμικής ισορροπίας Gibbs π i = 1 Z exp Έστω αλυσίδα Markov X n (ακολουθία αριθμών) με συμμετρικές πιθανότητες μετάβασης που μετά από n μεταβάσεις (βήματα) παράγει την κατάσταση x i. Με τυχαίο τρόπο δημιουργούμε νέα κατάσταση x j άλλης διαδικασίας Y n θεωρώντας τη συνθήκη συμμετρίας στις μεταβάσεις X n Y n P Y n = x j X n = x i = P Y n = x i X n = x j E i χωρίς γνώση της Partition Function Z (η αναλογία των π i είναι γνωστή αλλά η ακριβής τιμή προκύπτει από την κανονικοποίηση i π i = 1 σε ένα περίπλοκο δειγματικό χώρο) Η μετάβαση δημιουργεί διαφορικό ενέργειας ΔE = E j E i Αν ΔE < 0 η μετάβαση οδηγεί σε κατάσταση (Y n = x j ) μικρότερης ενέργειας και γίνεται αποδεκτή: X n+1 Y n Αν ΔE > 0 η μετάβαση σε (Y n = x j ) γίνεται αποδεκτή και X n+1 Y n με πιθανότητα exp( ΔE ) όπου η θερμοκρασία του συστήματος. Αλλιώς το σύστημα δεν αλλάζει και X n+1 Χ n Η εξέλιξη της κατάστασης για ΔE > 0 οδηγείται από προσομοίωση Monte Carlo μέσω δημιουργίας (ψευδο)τυχαίου αριθμού ξ ομοιόμορφα κατανεμημένου μεταξύ (0,1) Αν ξ < exp( ΔE ), X n+1 Y n. Αλλιώς X n+1 Χ n
Εξέλιξη Συστήματος προς Θερμική Ισορροπία: Ο Αλγόριθμος Προσομοίωσης Markov Chain Monte Carlo (MCMC) του Metropolis (4/5) Επιλογή Πιθανοτήτων Μετάβασης Θεωρούμε αλυσίδα Markov με συμμετρικές πιθανότητες μετάβασης τ ij : τ ij 0, i, j και j τ ij = τ ji, i, j τ ij = 1, i Ζητείται αλυσίδα Markov X n καταστάσεων x i = 1,2,, K και π i εργοδικές πιθανότητες Gibbs : π i = 1 Z exp E i Η X n έχει πιθανότητες μετάβασης p ij που ορίζονται από τις συμμετρικές τ ij ως εξής: p ij = τ ij π j π i τ ij για π j π i < 1 για π j π i 1 και με τον ορισμό των p ii για τη συνθήκη κανονικοποίησης j p ij = 1, i : p ii = τ ii + j i τ ij 1 π j π i
Εξέλιξη Συστήματος προς Θερμική Ισορροπία: Ο Αλγόριθμος Προσομοίωσης Markov Chain Monte Carlo (MCMC) του Metropolis (5/5) Επιλογή Πιθανοτήτων Μετάβασης Οι p ij ορίζονται από τον λόγο π j = exp E j E i = exp ΔE, χωρίς υπολογισμό της π i partition function Z, και είναι συμβατές με τις detailed balance equations: π ΔE < 0: j πi > 1 π π i p ij = π i τ ij = π i τ ji και π j p ji = π j τ i ji = π π i τ ji π j p ji = π i p ij j π ΔE > 0: j πi < 1 π i p ij = π i τ ij π j π i = π j τ ij = π j τ ji π j p ji = π i p ij Άρα έχουμε προσομοιώσει διαδικασία X n που οδηγεί μονοσήμαντα σε θερμική ισορροπία Gibbs με βάση τις ενέργειες E i των καταστάσεων x i παρακάμπτοντας τον υπολογισμό της Z Οι μεταβάσεις τ ij που οδηγούν τις p ij προς εργοδικές πιθανότητες π j = 1 exp E j Z προκύπτουν από την προσομοίωση Monte Carlo όπου η διαδικασία εξελίσσεται με βάση ανεξάρτητες τυχαίες δοκιμές Bernoulli με πιθανότητα επιτυχίας exp( ΔE ) και αποτυχίας 1 exp( ΔE ) για ΔE > 0
Γενίκευση του Αλγορίθμου Metropolis: Ο Αλγόριθμος Metropolis-Hastings (1/2) Ο αλγόριθμος προσομοίωσης του Nicholas Metropolis et.al., 1953 υποθέτει συμμετρικές μεταβάσεις και time reversible αλυσίδες Markov που συνεπάγονται detailed balance equations. Συγκλίνει προς τη κατανομή Gibbs (Boltzmann) π i = 1 Z exp κατάλληλο ορισμό ενεργειών καταστάσεων E i Γενικεύτηκε από τον W.K. Hastings το 1970 στον αλγόριθμο Metropolis-Hastings Γενίκευση Προτεινόμενης Κατανομής Μετάβασης: Δεν απαιτείται συμμετρία της Q Yn x X n = x i : P Y n = x j X n = x i P Y n = x i X n = x j E i με Τροποποίηση Πιθανότητας Αποδοχής X n+1 = x j Αν π x j P Y n = x i X n = x j π x i P Y n = x j X n = x i η επιλογή X n Y n γίνεται αποδεκτή και X n+1 = x j Αλλιώς δημιουργώ τυχαίο αριθμό ξ ομοιόμορφα κατανεμημένο μεταξύ (0,1) Αν ξ < π x j π x i P Y n = x i X n = x j P Y n = x j X n = x i όχι η X n παραμένει στη τιμή της και X n+1 = x i η επιλογή X n Y n γίνεται αποδεκτή και X n+1 = x j. Αν Ο αλγόριθμος Metropolis είναι ειδική περίπτωση με συμμετρική Q Yn x X n = x i
Γενίκευση του Αλγορίθμου Metropolis: Ο Αλγόριθμος Metropolis-Hastings (2/2) Προβλήματα Αλγορίθμου Ο αλγόριθμος Metropolis-Hastings δημιουργεί δείγματα αλυσίδας Markov με εργοδικές πιθανότητες συμβατές με ζητούμενη κατανομή αλλά τα δείγματα είναι συσχετισμένα Η επιλογή κατάλληλης προτεινόμενης κατανομής μεταβάσεων Q Yn y X n = x και αρχικής κατάστασης X 0 = x i έχουν ιδιαίτερη σημασίας για την ορθή και ταχεία σύγκλιση του αλγορίθμου https://onlinelibrary.wiley.com/doi/full/10.1002/9781118445112.stat07834 Η επιρροή της μεταβατικής κατάστασης σβήνει αν ξεχάσουμε τα πρώτα δείγματα π.χ. n 1000 Παράδειγμα: Προσομοίωση κατανομής στόχου (target) π(x) ανάλογης των π x = sin 2 (x) sin 2 (2x) φ(x) όπου φ(x) κανονική κατανομή Gauss N 0,1 Επιλογή Q Yn y X n = x = 1 l 2a x a,x+a y ομοιόμορφη με μέσο όρο x και εύρος (x a, x + a) a = 1, X 0 = 3.14 Ορθή σύγκλιση σε 10 4 βηματα a = 0.1, X 0 = 3.14 Αστοχία σε 10 4 βήματα (η διαδικασία παγιδεύτηκε σε 1 λοβό) a = 0.2, X 0 = 3.14 Μερική αστοχία σε 10 4 βήματα (η διαδικασία παγιδεύτηκε σε θετικές τιμές)
Ενδεικτικές Εφαρμογές & Επεκτάσεις Αλγόριθμου Metropolis-Hastings (1/2) Ακολουθία Δειγμάτων προς Θερμική Ισορροπία Ο αλγόριθμος Metropolis παράγει συσχετισμένα δείγματα time reversible αλυσίδας Markov X n με εργοδικές πιθανότητες συμβατές με κατανομή Gibbs (Boltzmann) χωρίς γνώση της partition function Z. Οι καταστάσεις είναι σχεδόν αδύνατο να προσδιορισθούν με πληρότητα, ιδίως αν είναι πολυδιάστατες, και άρα η κανονικοποίησή τους είναι δυσεπίλυτη Υπολογισμοί Ολοκληρωμάτων και Στατιστικών Παραμέτρων Η δημιουργία σειράς δειγμάτων που προσομοιώνουν Markov Chain Random Walks μπορεί να αποτελέσει εργαλείο για τον αριθμητικό υπολογισμό ολοκληρωμάτων και ροπών κατανομών πολυδιάστατων τυχαίων μεταβλητών χωρίς πλήρη στοιχεία Εντοπισμός Ακραίων Τιμών, Simulated Annealing Οι μέθοδοι MCMC παρέχουν τη δυνατότητα να μην εγκλωβισθεί μια επαναληπτική διαδικασία σε περιοχές με τοπικά άκρα αλλά επιτρέπει να διερευνηθούν με κάποια πιθανότητα και εναλλακτικές προς μη ελκυστικές κατευθύνσεις που ένας αλγόριθμος τύπου deepest descent δεν θα εντόπιζε. Αυτή είναι η αρχή αλγορίθμων τύπου Προσομοιωμένης Ανόπτησης (Simulated Annealing) με εφαρμογή σε περίπλοκα προβλήματα συνδυαστικής βελτιστοποίησης, π.χ. ravelling Salesman Problem ΕΥΡΕΣΗ ΜΕΓΙΣΤΟΥ: Ο αλγόριθμος ακλουθεί κατευθύνσεις προς μείωση του κόστους (μείωση της θερμοκρασίας) αλλά επιτρέπει με σταδιακά ελαττωμένη συχνότητα φαινομενικά λάθος βήματα https://en.wikipedia.org/wiki/file:hill_climbing_with_simulated_annealing.gif
Ενδεικτικές Εφαρμογές & Επεκτάσεις Αλγόριθμου Metropolis-Hastings (2/2) Μοντέλο Ising Markov Random Fields, Προσομοίωση Μεταβάσεων Φάσεων Αφορά σε υλικά με μαγνητικά δίπολα s κατανεμημένα στις κορυφές ενός γράφου G με ακμές μεταξύ τους αν υπάρχει αμφίδρομη αλληλοεπίδραση. Κάθε δίπολο μπορεί να βρίσκεται σε δύο καταστάσεις (spins) y s { 1, +1}. Αν s t τα δίπολα s, t είναι γειτονικά και αλληλοεπιδρούν με δύναμη J s,t θετική (π.χ. J s,t = 1) αν τείνει να ευθυγραμμίσει τις καταστάσεις y s και y t ή αρνητική (π.χ. J s,t = 1) αν τις ωθεί προς την αντίθετη κατεύθυνση. Σε ένα Markov Random Field οι καταστάσεις ενός διπόλου s μπορεί να επηρεάζονται μόνο από τα αμέσως γειτονικά του t N(s) G. Αν τα δίπολα είναι κατανεμημένα σε επίπεδο δύο διαστάσεων με τοπολογία πλέγματος (lattice) η συνολική κατάσταση σε ισορροπία του συστήματος y(g) = y 1 y 2 y s y t αφορά σε νόμιμους σχηματισμούς (configurations) των επιμέρους καταστάσεων y s των διπόλων που προκύπτουν από μεταβάσεις με πιθανότητες P y s y(g) = P y s y(n(s)) Η κατάσταση του διπόλου X 8 εξαρτάται μόνο από τα X 3, X 7, X 9 και X 13 Το σύστημα ισορροπεί σε καταστάσεις y(g) με πιθανότητες κατανομής Gibbs (Boltzmann) με ή χωρίς επιρροή στα δίπολα t από εξωτερικό μαγνητικό πεδίο h t : P y G = 1 E(y G ) exp όπου E(y G )~H y G = Z s,t J s,t y s y t μ t h t y t Η σύγκλιση σε καταστάσεις ισορροπίας και η σταθερά Z μπορούν να προσεγγισθούν με αλγόριθμο random walk Metropolis-Hastings