ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες Πιθανοτική Συλλογιστική II Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης
ίκτυα Bayes σηµασιολογία Πλεονεκτήµατα συµπαγής αναπαράσταση Συµ ερασµός ακριβής Ε ανάληψη
Σήµερα Ακριβής συµ ερασµός απαλοιφή µεταβλητών Προσεγγιστικός συµ ερασµός δειγµατοληψία Πιθανοτική συλλογιστική στο χρόνο λειτουργίες συµπερασµού
Α αλοιφή Μεταβλητών Variable Elimination
Παράδειγµα ικτύου Bayes
σ ε Ακριβής Συµ ερασµός σε ίκτυα Bayes P( δ γ,µ ) = α P ( δ ) P ( σ ) P ( ε δ,σ ) P ( γ ε ) P ( µ ε ) 0, 284
Α αλοιφή Μεταβλητών Βασική ιδέα κάποιοι υπολογισµοί επαναλαµβάνονται διαρκώς αποθήκευση και επαναχρησιµοποίηση (δυναµικός προγραµµατισµός) Αλγόριθµος α αλοιφής µεταβλητών (variable elimination) υπολογισµός από δεξιά προς τα αριστερά (από κάτω προς τα πάνω) Παράδειγµα παράγοντες (factors)
Α αλοιφή Μεταβλητών: Λειτουργίες Σηµειακό γινόµενο (pointwise product) όχι πολλαπλασιασµός πινάκων, όχι πολλαπλασιασµός στοιχείων παράδειγµα: X f1(a,b) f2(b,c) = f(a,b,c) f1 f2 fi+1 fk f1 f2 fx Α αλοιφή µε άθροιση (sum out) µεταφορά σταθερών παραγόντων εκτός αθροίσµατος... fi... =... fi Xfi+1... fk=... fi Άσχετες µεταβλητές (irrelevant variables) κρυφές, όχι πρόγονοι µεταβλητών ερωτήµατος ή µαρτυρίας ο f δεικτοδοτείται από την ένωση των µεταβλητών των f1και f2 άθροιση υποπινάκων σηµειακού γινοµένου υπολοίπων παραγόντων
Αλγόριθµος Α αλοιφής Μεταβλητών
Πολυ λοκότητα Α αλοιφής Μεταβλητών Πολυ λοκότητα εξαρτάται από το µεγαλύτερο παράγοντα που κατασκευάζει εξαρτάται από τη σειρά απαλοιφής των µεταβλητών πιο αποδοτικός αλγόριθµος από τον αλγόριθµο απαρίθµησης ακριβής συµπερασµός σε δίκτυα Bayes: NP-δύσκολο πρόβληµα Α λά συνδεδεµένα δίκτυα (singly connected) γραµµική χρονική και χωρική πολυπλοκότητα ως προς το µέγεθος του δικτύου (πλήθος καταχωρήσεων CPT) Πολλα λά συνδεδεµένα δίκτυα (multiply connected) εκθετική χρονική και χωρική πολυπλοκότητα (γενικά)
Προσεγγιστικός Συµ ερασµός Approximate Inference
ειγµατοληψία (Sampling) Αλγόριθµοι τυχαίας δειγµατοληψίας γνωστοί και ως αλγόριθµοι Monte Carlo προσεγγιστικές απαντήσεις (ακρίβεια ανάλογη του πλήθους δειγµάτων) άµεση δειγµατοληψία (direct sampling) δειγµατοληψία αλυσίδας Markov (Markov chain sampling) Άµεση δειγµατοληψία παραγωγή δειγµάτων από µια γνωστή κατανοµή πιθανοτήτων χρήση γεννήτριας τυχαίων αριθµών για δειγµατοληψία δίκτυα Bayes: δειγµατοληψία µεταβλητών µε τοπολογική σειρά δειγµατοληψία από την εκ των προτέρων κατανοµή
Παράδειγµα
Άµεση δειγµατοληψία ni i n = i1 i i x,..., x ) = 1 P( x γονείς( X )) N PS n PS n n P( x γονείς( X )) = P( x,, x ) N ( x,..., x ) N Πιθανότητα PS τιµής µεταβλητής Πιθανότητα συµβάντος n S Συχνότητα και συνε ής εκτίµηση ιθανότητας Pˆ( x... x ) = lim = S ( x... x ) = P ( x... x ) 1 n 1 1 1 ( 1
Α ορρι τική ειγµατοληψία (Rejection Sampling) PS N e P e = = = N ( e ) P( e ) Μεθοδολογία χρησιµοποιείται για PS δειγµατοληψία από µια υπό συνθήκη κατανοµή αρχικά, άµεση δειγµατοληψία (εκ των προτέρων κατανοµή) µετά, απόρριψη των δειγµάτων που δεν συµφωνούν µε τη συνθήκη τέλος, υπολογισµός πιθανότητας µε συχνότητα δειγµάτων ˆ ) (X, ) P ( X e ) α N (X, e ) P ( X e ) PS(X, συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας βασικό πρόβληµα: απορρίπτονται πολλά δείγµατα «µεγαλύτερη» µαρτυρία µεγαλύτερη απόρριψη δειγµάτων
Στάθµιση Πιθανοφάνειας (Likelihood Weighting) Μεθοδολογία παράγει µόνο συµβάντα συνεπή µε τη µαρτυρία/συνθήκη δειγµατοληψία άθροισµα βαρών µόνο όλων δειγµάτων κρυφών δειγµάτων συµβατών µε τις τιµές µεταβλητών ερωτήµατος και µεταβλητών ερωτήµατος στάθµιση κάθε δείγµατος µε την πιθανοφάνεια εναρµόνισης βάρος: πιθανότητα της µαρτυρίας µε δεδοµένους τους γονείς της υπολογισµός της εκ υστέρων πιθανότητας ως λόγος των: συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας πρόβληµα: «µεγαλύτερη» µαρτυρία µικρότερα βάρη εντονότερο πρόβληµα: µεταβλητές µαρτυρίας αργά στη διάταξη
WS = Στάθµιση i i Πιθανοφάνειας =m = i1 i S ( z, e) P( z γονείς( Z )) il i iim i i w( z, e) P( γονείς( )) Πιθανότητα δείγµατος =l ei = 1 = 1 E Βάρος δείγµατος WS Σταθµισµένη ιθανότητα δείγµατος = = S ( z, e) w( z, e) P( z γονείς( Z )) P( e γονείς( E )) P( z, e)
Monte αρχικά, Carlo Markov Chain (MCMC) σταθεροποίηση Μεθοδολογία δειγµατοληψία σε µια τρέχουσα κάποιας τιµών των άλλης κατάσταση µεταβλητών µεταβλητής (τρέχουσες µαρτυρίας µε συνθήκη τιµές µεταβλητών) το κάλυµµα Markov παράγει νεό δείγµα κάνοντας αλλαγές στο προηγούµενο δείγµα MCMC σε δίκτυο Bayes: περιπλάνηση στο χώρο καταστάσεων µε µία δειγµατοληψία ανά βήµα υπολογισµός πιθανότητας ως συχνότητα επίσκεψης στην περιπλάνηση ταυτίζεται µε τη στάσιµη κατανοµή της αλυσίδας Markov συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας
Παράδειγµα MCMC
Συµ ερασµός σε ίκτυα Bayes Ακριβής αλγόριθµος απαρίθµησης (enumeration) αλγόριθµος απαλοιφής µεταβλητών (variable elimination) η πολυπλοκότητα εξαρτάται από την τοπολογία χρονική πολυπλοκότητα εκθετική στη χειρότερη περίπτωση Προσεγγιστικός αλγόριθµος στάθµισης πιθανοφάνειας (LW) αλγόριθµος Monte Carlo Markov Chain (MCMC) η πολυπλοκότητα δεν εξαρτάται από την τοπολογία χρονική πολυπλοκότητα ανάλογη του αριθµού των δειγµάτων η σύγκλιση µπορεί να είναι πολύ αργή
Πιθανοτική Συλλογιστική στο Χρόνο Temporal Probabilistic Reasoning
Χρόνος και Aβεβαιότητα Στατικοί και δυναµικοί κόσµοι στατικός: επισκευή αυτοκινήτου δυναµικός: αντιµετώπιση διαβητικού ασθενούς Χρονικές φέτες (time slices) ένα αντίγραφο των τυχαίων µεταβλητών για κάθε χρονική στιγµή διακριτός χρόνος, σταθερό ενδιάµεσο διάστηµα ακολουθίες µεταβλητών ως προς το χρόνο κατάσταση Xt: µη παρατηρήσιµες µεταβλητές στη χρονική στιγµή t µαρτυρία Et: παρατηρήσιµες µεταβλητές στη χρονική στιγµή t οι ακολουθίες καταστάσεων ξεκινούν από t=0 (X0,X1, ) οι ακολουθίες µαρτυριών ξεκινούν από t=1 (E1,E2, )
Παραδοχές Κατασκευή δικτύου Bayes η διάταξη στο δίκτυο ακολουθεί τη χρονική διάταξη πρόβληµα: άπειρος αριθµός µεταβλητών άπειρος αριθµός CPT λύση: στάσιµη διαδικασία (stationary process) πρόβληµα: άπειρος αριθµός γονέων απείρου µεγέθους CPT λύση: υ όθεση Markov Υ όθεση Markov (Markov assumption) η τρέχουσα κατάσταση εξαρτάται µόνο α ό ένα ε ερασµένο ιστορικό ροηγούµενων καταστάσεων Andrei Markov, ρώσος στατιστικολόγος
ιαδικασίες X Markov t X 0 : t = 1 PXttXt t 12 ( ) ( ) X X P X X γνωστές και ως αλυσίδες Markov (Markov chains) Μοντέλα µετάβασης πρώτης τάξης δεύτερης τάξης P t 1 ( = ) ( X ) P,
Παραδοχές t 0 : t t (συνέχεια) 1 t t P( E X, E ) = P( E X ) 1 1 t 0 = it i i, X,..., X, E,..., E = P X P X X 0: t 1 1 Μοντέλο αισθητήρα ή αρατήρησης περιορισµός γονέων για µεταβλητές µαρτυρίας 0 i i ( X ) ( ) ( ) P( E X ) Εκ των ροτέρων κατανοµή πιθανές καταστάσεις στη χρονική στιγµή t=0 Πλήρης συνδυασµένη κατανοµή P
Ο Κόσµος της Οµ ρέλας µη παρατηρήσιµη µεταβλητή Βt(εάν βρέχει ή όχι) παρατηρήσιµη µεταβλητή: Οt(εάν κρατά οµπρέλα ή όχι)
Ο Κόσµος του Κινητού Ροµ ότ παρατηρήσιµες µεταβλητές: οδόµετρο, µετρητής µπαταρίας µη παρατηρήσιµες µεταβλητές: θέση, ταχύτητα, µπαταρία
Βασικές Εργασίες Συµ ερασµού Φιλτράρισµα (filtering) ή αρακολούθηση (monitoring) υπολογισµός της παρούσας κατάστασης πεποίθησης P(Xt e1:t) Πρόβλεψη (prediction) εκ των υστέρων κατανοµή µελλοντικής κατάστασης P(Xt+k e1:t), xt 1t 1: t 1P : e k>0 k<t Εξοµάλυνση (smoothing) ή ύστερη γνώση (hindsight) εκ των υστέρων κατανοµή παρελθούσας κατάστασης P(Xk e1:t), Πλέον ιθανή εξήγηση (most likely explanation) εύρεση ακολουθίας καταστάσεων που προκάλεσε παρατηρήσεις : arg max ( x )
Μελέτη Σύγγραµµα Ενότητες 14.4 14.5, 15.1 15.2