ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ

Transcript

1 ΣΤΟΧΑΣΤΙΚΕΣ ΔΙΕΡΓΑΣΙΕΣ & ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ Αίθουσα Νέα Κτίρια ΣΗΜΜΥ Ε.Μ.Π. Μοντέλα Στατιστικής Μηχανικής, Κινητικότητα & Ισορροπία Αλυσίδες Markov: Καταστάσεις, Εξισώσεις Μεταβάσεων καθ. Βασίλης Μάγκλαρης maglaris@netmode.ntua.gr Πέμπτη 28/3/2019

2 Στατιστική Μηχανική: Κατανομή Gibbs, Partition Function, Εντροπία Θερμική Ισορροπία Φυσικού Συστήματος με πολλούς Βαθμούς Ελευθερίας Φυσικό σύστημα με πολλούς βαθμούς ελευθερίας ισορροπεί σε T βαθμούς elvin σε καταστάσεις i, ενέργειας E i Οι πιθανότητες ισορροπίας p i είναι αντιστρόφως ανάλογες των E i : p i exp E i T, p i p j = exp E i E j T Οι p i 0, p i = 1 i ακολουθούν κατανομή Gibbs (1902) ή Boltzmann (1868) με Z τη Σταθερά Κανονικοποίησης (Zustadsumme) που αποκαλείται Συνάρτηση Κερματισμού (Partition Function) p i = 1 Z exp E i T, Z = exp E i T i Καταστάσεις i χαμηλής ενέργειας E i έχουν μεγαλύτερη πιθανότητα να συμβαίνουν από καταστάσεις υψηλής ενέργειας. Η ενέργεια της κατάστασης i είναι E i = T log(zp i ), η μέση ενέργεια < E > = i p i E i και η συνολική Ελεύθερη Ενέργεια F (Helmholtz Free Energy): Η εντροπία του συστήματος είναι H F= T log Z < E > F = T i p i log p i i p i log p i < E > F = TH ή F =< E > TH Αρχή της Ελάχιστης Ελεύθερης Ενέργειας Σε θερμική ισορροπία η εντροπία τείνει στη μέγιστη τιμή, η F παίρνει την ελάχιστη τιμή της και οι καταστάσεις ακολουθούν την κατανομή Gibbs

3 Στοχαστικές Διαδικασίες - Ανελίξεις, Ιδιότητα Markov S 1 S m S 2 X (1) t x (1) τ X (2) t x (2) τ Τυχαίες Μεταβλητές X (m) t x (m) τ Στοχαστική Ανέλιξη Κατάστασης X(t) με μεταβάσεις από χρόνο τ σε χρόνο t του ιδίου δείγματος με πιθανότητες μετάβασης P X t = a [X τ = b] Στοχαστική Ανέλιξη Διακριτού Χρόνου Κατάστασης X n X n t με μεταβάσεις από χρόνο τ = (k t) σε χρόνο t = (n t) του ιδίου δείγματος με πιθανότητες μετάβασης P(X n = a X k = b} Ορισμός Ιδιότητας Markov σε Στοχαστική Ανέλιξη Διακριτού Χρόνου Στοχαστική διαδικασία διακριτού χρόνου έχει την ιδιότητα Markov αν οι πιθανότητες μετάβασης X n X n+1 είναι ανεξάρτητες από το παρελθόν {X 1, X 2,, X n 1 } P X n+1 = x n+1 X n = x n,, X 1 = x 1 = P X n+1 = x n+1 X n = x n t = τ Στοχαστικές Ανελίξεις m m

4 Αλυσίδες Markov Διακριτής Κατάστασης (Markov Chains) Ορισμοί Αλυσίδων Markov, Μεταβάσεις Καταστάσεων Θεωρούμε Στοχαστικές Ανελίξεις Διακριτού Χρόνου και Διακριτής Κατάστασης X n = i με μεταβάσεις (X n = i) (X n+1 = j) ανεξάρτητες του παρελθόντος σε διακριτά βήματα Πιθανότητες μετάβασης σε ένα βήμα είναι σταθερές και ανεξάρτητες της χρονικής στιγμής n : p ij = P X n+1 = j X n = i 0, p ij = 1 Αν i οι πιθανότητες μετάβασης δίνονται από την μήτρα P ( )με άθροισμα στοιχείων γραμμών j p ij = 1 (στοχαστική μήτρα) p 11 p 1 P = p 1 p (m) Οι πιθανότητες μεταβάσεων σε m βήματα είναι p ij = P Xn+m = j X n = i, m = 1,2, j i (m+1) p ij = (m) (m+n) k pik pkj και p ij = k (Ταυτότητα Chapman-olmogorov) (m) (n) pik pkj, m, n = 1,2,

5 Ιδιότητες Καταστάσεων Αλυσίδων Markov (1/4) Επαναληπτικές Καταστάσεις (Recurrent States): Η διαδικασία επιστρέφει στις καταστάσεις αυτές άπειρες φορές στο διηνεκές (απείρως επισκέψιμες καταστάσεις) Μεταβατικές Καταστάσεις (Transient States): Μετά από πεπερασμένα βήματα μεταβάσεων η διαδικασία δεν επιστρέφει σε αυτές Περιοδικότητα (Periodicity): Οι επαναληπτικές καταστάσεις αν ομαδοποιούνται σε d ξένα υποσύνολα S 1, S 2,, S d με επιτρεπτές μεταβάσεις μόνο από συγκεκριμένο υποσύνολο σε επόμενό του: i S k, p ij > 0 j S k+1, k = 1,, d 1 j S 1, k = d d=3 Μη Υποβιβάσιμες Αλυσίδες Markov (Irreducible Markov Chains): Δύο καταστάσεις επικοινωνούν (communicate) i j αν η πιθανότητα μετάβασης μεταξύ τους σε πεπερασμένο αριθμό βημάτων είναι μη μηδενική. Αν i j και i k i k Αν όλες οι καταστάσεις μιας Αλυσίδας Markov επικοινωνούν μεταξύ τους η αλυσίδα είναι μη υποβιβάσιμη (Irreducible) Οι καταστάσεις μπορεί να χωρίζονται σε υποσύνολα (κλάσεις). Ανοικτές κλάσεις είναι αυτές που επιτρέπουν έξοδο προς άλλη κλάση. Κλειστές αυτές που δεν επιτρέπουν έξοδο και οι στατιστικές ιδιότητες της αλυσίδας μετά την παρέλευση μεταβατικού χρόνου περιορίζονται στο υποσύνολο αυτό.

6 Ιδιότητες Καταστάσεων Αλυσίδων Markov (2/4) Μέσος Χρόνος Επιστροφής (Mean Recurrence Time) E T i (k) ορίζεται o μέσος αριθμός βημάτων (χρόνος) για την επιστροφή (κύκλο) από μια Recurrent State i στον εαυτό της, αν έχουν προηγηθεί k 1 κύκλοι από την i στην i. Η σχετική συχνότητα εμφάνισης της κατάστασης i είναι ανάλογη της πιθανότητας σταθερής κατάστασης π i (Steady State Probabilities) π i = 1 E T i (k) Αν E T i (k) < τότε π i > 0 και η i είναι γνησίως επαναληπτική (Positive Recurrent) αλλιώς π i = 0 και η i είναι Null Recurrent Πιθανότητες Σταθερής Κατάστασης (Steady State Probabilities, Ergodicity) Μετά από l επιστροφές σε μια Positive Recurrent State i, η αναλογία του χρόνου (βημάτων) παραμονής (Sojourn Time) στην i είναι l ν i l = l k=1 T i (k) Οι χρόνοι επιστροφής T i (k) είναι ακολουθία ανεξαρτήτων τυχαίων μεταβλητών της ίδιας κατανομής (independent identically distributed iid) και για l ισχύει ο Νόμος των Μεγάλων Αριθμών βάσει του οποίου προσεγγίζονται οι πιθανότητες σταθερής κατάστασης (Steady State Probabilities) π i σαν όριο χρονικών αναλογιών παραμονής στην κατάσταση i ενός χρονικού δείγματος της X n σε άπειρο χρόνο εξέλιξης (ergodicity) lim ν i l l = π i, i = 1,2,,

7 Ιδιότητες Καταστάσεων Αλυσίδων Markov (3/4) Οι καταστάσεις i των οποίων οι πιθανότητες σταθερής κατάστασης π i μπορούν να υπολογισθούν σαν αναλογία χρόνου στην i σε άπειρο χρονικό ορίζοντα εξέλιξης ενός δείγματος της αλυσίδας Markov X i ορίζονται σαν εργοδικές καταστάσεις Οι πιθανότητες π i των εργοδικών καταστάσεων είναι εργοδικές πιθανότητες και η X i ορίζεται σαν εργοδική αλυσίδα Markov. Μια irreducible μη περιοδική Markov Chain είναι εργοδική Σύγκλιση πιθανοτήτων καταστάσεων σε αναλλοίωτη κατανομή εργοδικών πιθανοτήτων Οι πιθανότητες καταστάσεων εργοδικής αλυσίδας Markov X i, i = 1,2,, στο βήμα μετάβασης n = 0,1,2 ορίζουν διάνυσμα (1 ) π (n) με εξισώσεις μετάβασης από τη στοχαστική μήτρα P ( ) και αρχικές συνθήκες π (0) π (n) = π 1 (n) π2 (n) π (n), π (n) = π (n 1) P = π (n 2) P 2 = = π (0) P n Στο όριο της εξέλιξης έχουμε σύγκλιση στις εργοδικές πιθανότητες π = π 1 π 2 π π 1 π π lim n π(n) = π (0) lim P n = π (0) = π (0) (0) = π n j π = 1 π = π π 1 π π Άρα οι π = lim n π (n) είναι ανεξάρτητες της αρχικής συνθήκης π (0) και υπολογίζονται μέσω του γραμμικού συστήματος αναλλοίωτης κατανομής εργοδικών πιθανοτήτων: (για γραμμική ανεξαρτησία απαιτείται και η εξίσωση κανονικοποίησης των πιθανοτήτων) j=1 π j = i=1 π i p ij j = 1,2,, ή π = πp και j=1 π j = 1

8 Ιδιότητες Καταστάσεων Αλυσίδων Markov (4/4) Σύνοψη Ταξινόμησης Καταστάσεων Αλυσίδων Markov Χρονικά Αναστρέψιμες Διαδικασίες - Εξισώσεις Ακριβούς Ισορροπίας Time Reversible Processes Detailed Balance Equations Θερμοδυναμικό σύστημα σε θερμική ισορροπία: Ισχύουν οι εξισώσεις ακριβούς ισορροπίας (Detailed Balance Equations) π i p ij = π j p ji Αλυσίδα Markov με ισχύουσες τις εξισώσεις ακριβούς ισορροπίας έχει την ιδιότητα της χρονικής αντιστρεψιμότητας (Time Reversibility) με ίδιες εργοδικές πιθανότητες είτε σε μεταβάσεις p ij προς το μέλλον ή προς στο παρελθόν με p ji = π i p π ij. j Οι π i p ij = π j p ji (αν ισχύουν) είναι συμβατές με τις εξισώσεις αναλλοίωτων πιθανοτήτων: i=1 π i p ij = i=1 π i π j p ij π j = p ji π i i=1

9 Διαγράμματα Καταστάσεων & Παραδείγματα Εργοδικών Αλυσίδων Markov Διαγράμματα Μεταβάσεων Καταστάσεων (State Transition Diagrams) Οι καταστάσεις συμβολίζονται με κύκλους x 1, x 2, και οι μεταβάσεις με βέλη. Οι πιθανότητες μετάβασης p ij από x i x j αναφέρονται δίπλα στα βέλη Παραδείγματα Υπολογισμού Εργοδικών Πιθανοτήτων P = 1/4 3/4 1/2 1/2, π(0) = 1/6 5/6 π (1) = π (0) P = 11/24 13/24 P 2 = P = /3 1/6 1/2 3/4 1/4 0 (Εξισώσεις αναλλοίωτης εξέλιξης πιθανοτήτων) π 1 = 1 3 π π 3 P 3 = π 2 = 1 6 π π 3 P 4 = π 1 = 0.4, π 2 = 0.6 (Σύγκλιση σε 4 βήματα) π 3 = π π 2 π 1 + π 2 + π 3 = 1 π 1 = , π 2 = , π 3 =