ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες ίκτυα Bayes Bayesian Networks Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης
Ε ανάληψη Αβεβαιότητα πεποιθήσεων πράκτορας θεωρίας αποφάσεων Πιθανότητες αξιώµατα εκ των προτέρων και εκ των υστέρων πιθανότητες πιθανοτικός συµπερασµός ανεξαρτησία κανόνας Bayes υπό συνθήκη ανεξαρτησία Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 2
Υ ολογισµός Πιθανοτήτων Αλγόριθµος υ ολογισµού X: µεταβλητές της πρότασης E: µεταβλητές της παρατηρηθείσας µαρτυρίας Y: οι υπόλοιπες (κρυφές) µεταβλητές Ρ(X e) : α Ρ(X e) = α y Ρ(X e, y) σταθεροποίηση µεταβλητών µαρτυρίας άθροιση κρυφών µεταβλητών Πολυ λοκότητα χωρική πολυπλοκότητα O(d n ) για n µεταβλητές χρονική πολυπλοκότητα O(d n ) για n µεταβλητές εκθετική πολυπλοκότητα, απαγορευτική στην πράξη Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 3
Ανεξαρτησία Ανεξαρτησία (Independence) προσδιορισµός µεταβλητών που δεν επηρεάζονται µεταξύ τους P(A B) = P(A) ή P(B A) = P(B) ή P(A, B) = P(A) P(B) οι δηλώσεις ανεξαρτησίας είναι σπάνιες στην πράξη Υ ό Συνθήκη Ανεξαρτησία (conditional independence) ανεξαρτησία µεταβλητών µε δεδοµένη κάποια άλλη µεταβλητή P(Χ, Y Z) = P(X Z) P(Y Z) ή P(Χ Y, Z) = P(X Z) οι υπό συνθήκη δηλώσεις ανεξαρτησίας είναι συχνές στην πράξη Σηµασία διαχωρισµός µεταβλητών σε χαλαρά συνδεδεµένα υποσύνολα οι (υπό συνθήκη) δηλώσεις ανεξαρτησίας επιτρέπουν κλιµάκωση Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 4
Σήµερα ίκτυα Bayes σύνταξη σηµασιολογία πλεονεκτήµατα Ακριβής συµ ερασµός απαλοιφή µεταβλητών Προσεγγιστικός συµ ερασµός δειγµατοληψία Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 5
ίκτυα Bayes Bayesian Networks
ίκτυα Bayes ίκτυο Bayes δοµή δεδοµένων για πλήρεις συνδυασµένες κατανοµές κατευθυνόµενο ακυκλικό γράφηµα κόµβοι: τυχαίες µεταβλητές ακµές: εξαρτήσεις µεταξύ µεταβλητών, Y X i : Y γονέας (parent) του X i υπό συνθήκη κατανοµή πιθανότητας P(X i Γονείς(X i )) σε κάθε κόµβο X i τοπολογία δικτύου: σχέσεις υπό συνθήκη ανεξαρτησίας υπό συνθήκη κατανοµές: τρόπος επιρροής µεταβλητών πίνακας υπό συνθήκη πιθανότητας (Conditional Probability Table, CPT) δεσµεύουσα περίπτωση (conditioning case): συνδυασµός τιµών γονέων πλεονέκτηµα: συµπαγής αναπαράσταση συνθήκη: περιορισµένος αριθµός γονέων k για κάθε κόµβο Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 7
Παράδειγµα Ι µεταβλητή καιρός ανεξάρτητη από κοιλότητα, ονόδοντο, λαβίδα ονόδοντος και λαβίδα ανεξάρτητες δεδοµένης της κοιλότητας εξαρτηµένες: ονόδοντος και κοιλότητα, λαβίδα και κοιλότητα Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 8
Παράδειγµα ΙΙ Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 9
Σηµασιολογία ικτύων Bayes Σηµασιολογία αναπαράσταση πλήρους συνδυασµένης κατανοµής αριθµητική: υπολογισµός οποιασδήποτε πιθανότητας κωδικοποίηση µιας συλλογής υπό συνθήκη κατανοµών τοπολογική: συµπαγής δόµηση σχέσεων υπό συνθήκη ανεξαρτησίας Ερµηνεία κανόνας αλυσίδας (chain rule) P( x x,, x ) = P( x x,, x ) P( x x ) P( x ) = P( x x,, x ) 1, 2 n n n 1 1 2 1 1 i i 1 1 i= 1 κατάλληλη δεικτοδότηση µεταβλητών Γονείς(X i ) {X i 1,, X 1 } ανεξαρτησία: P(X i X i-1,..., X 1 ) = Ρ(X i Γονείς(X i )) υπολογισµός: P(x 1, x 2,..., x n ) = i Ρ(x i Γονείς(X i )) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 10 n
Πλεονεκτήµατα ικτύων Bayes Συµ αγής ανα αράσταση τοπικά δοµηµένα (locally-structured) ή αραιά (sparse) συστήµατα κάθε στοιχείο αλληλεπιδρά µε ένα φραγµένο πλήθος στοιχείων k ανεξάρτητα από το συνολικό πλήθος στοιχείων n διαφορά µεταξύ γραµµικής (n2 k ) και εκθετικής πολυπλοκότητας (2 n ) παράδειγµα: n=10, k=3 πρόβληµα: σε πεδία µε πλήρη σύνδεση δεν υπάρχει εξοικονόµηση ευριστική λύση: αγνόηση χαλαρών εξαρτήσεων Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 11
Κατασκευή ικτύων Bayes ιάταξη κόµβων απαίτηση: η τοπολογία πρέπει να αντανακλά τις άµεσες επιρροές κατά την εισαγωγή νέου κόµβου, πρέπει να προϋπάρχουν οι γονείς αρχικά, οι κόµβοι µε τις πρωταρχικές αιτίες που δεν επηρεάζονται (ρίζες) µετά, οι κόµβοι που επηρεάζονται άµεσα και επηρεάζουν άµεσα (ενδιάµεσοι) τέλος, οι κόµβοι που δεν επηρεάζουν άµεσα άλλους κόµβους (φύλλα) εσφαλµένη διάταξη απώλεια σύµπτυξης Στρατηγική σωστή: αιτιολογικό µοντέλο απαραίτητες εξαρτήσεις, λιγότεροι αριθµοί, εύκολα προσδιορίσιµοι εσφαλµένη: διαγνωστικό µοντέλο πρόσθετες εξαρτήσεις, περισσότεροι αριθµοί, δύσκολα προσδιορίσιµοι Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 12
Εσφαλµένη ιάταξη Κόµβων Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 13
ιάγνωση Βλαβών Αυτοκινήτου Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 14
Ασφάλιστρα Αυτοκινήτου Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 15
Υ ό Συνθήκη Ανεξαρτησία (Ι) ένας κόµβος είναι υ ό συνθήκη ανεξάρτητος από τους µη απογόνους του (non-descendants), µε δεδοµένους τους γονείς του Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 16
Υ ό Συνθήκη Ανεξαρτησία (ΙΙ) ένας κόµβος είναι υ ό συνθήκη ανεξάρτητος από όλους τους υπόλοιπους κόµβους του δικτύου, µε δεδοµένους τους γονείς του, τα παιδιά του, και τους γονείς των παιδιών του δηλαδή, µε δεδοµένο το κάλυµµα Markov (Markov blanket) για τον κόµβο αυτόν. Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 17
Α οδοτική Ανα αράσταση Πίνακες CPT k ν-αδικοί γονείς ν k δεσµεύουσες περιπτώσεις O(ν k ) αριθµοί απαιτείται µεγάλη εµπειρία για κάθε δεσµεύουσα περίπτωση αυθαίρετη (arbitrary) κατανοµή δοµηµένη (canonical) κατανοµή οµηµένες κατανοµές αιτιοκρατικοί (deterministic) κόµβοι απευθείας προσδιορισµός χωρίς αβεβαιότητα λογική ή αριθµητική σχέση µεταξύ κόµβου και γονέων αβέβαιοι (uncertain) κόµβοι χρήση ενθόρυβων τελεστών Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 18
Ενθόρυβοι (Noisy) Κόµβοι Κρύωµα Γρίπη Ελονοσία Πυρετός P( πυρετός κρύωµα, γρίπη, ελονοσία) = 0,6 P( πυρετός κρύωµα, γρίπη, ελονοσία) = 0,2 P( πυρετός κρύωµα, γρίπη, ελονοσία) = 0,1 3 τιµές αντί για 8! Ενθόρυβη διάξευξη (noisy-or) η αιτιολογική σχέση µπορεί να παρεµποδίζεται πιθανοτικά παρατίθενται όλες οι δυνατές αιτίες (κόµβος διαρροής - leak node) η παρεµπόδιση κάθε γονέα είναι ανεξάρτητη από τους άλλους ο κόµβος ψευδής ανν όλοι οι αληθείς γονείς παρεµποδίζονται η πιθανότητα είναι το γινόµενο πιθανοτήτων παρεµπόδισης χωρική πολυπλοκότητα: O(k) αντί για O(2 k ) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 19
Ενθόρυβος Πυρετός Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 20
Συνεχείς Μεταβλητές Συνεχείς τυχαίες µεταβλητές πεδίο τιµών: υποσύνολο των πραγµατικών αριθµών απείρου µεγέθους πίνακες CPT Αντιµετώ ιση διακριτοποίηση (discretization) σταθερό σύνολο διαστηµάτων, π.χ. διαίρεση σε ίσα διαστήµατα συναρτήσεις πυκνότητας πιθανότητας πεπερασµένο πλήθος παραµέτρων, π.χ. κανονική κατανοµή (Gauss) Υβριδικό δίκτυο Bayes συνεχείς και διακριτές τυχαίες µεταβλητές κατανοµή για συνεχή µεταβλητή µε συνεχείς ή διακριτούς γονείς κατανοµή για διακριτή µεταβλητή µε συνεχείς γονείς Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 21
Κανονική Κατανοµή Gauss Κανονική κατανοµή Ν(µ,σ 2 ) (normal distribution) παράµετροι: µ (µέση τιµή) και σ 2 (διακύµανση) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 22
Υβριδικό ίκτυο Bayes για Αγορά Μεταβλητές και Χειρισµός συνεχείς (συγκοµιδή, κόστος) και διακριτές (επιδότηση, αγορά) διακριτές: ρητή απαρίθµηση τιµών συνεχείς: επιρροή συνάρτησης πυκνότητας Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 23
Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 24 Συνεχής Κόµβος µε Συνεχείς Γονείς Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) Ε ιδότηση Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) Συγκοµιδή γραµµική κατανοµή Gauss 2 ) ( 2 1 2 2 1 ) )(, ( ), ( + = + = t t b t h a c t t t t e c b ah N h c P σ π σ σ επιδότηση 2 ) ( 2 1 2 2 1 ) )(, ( ), ( + = + = f f b f h a c f f f f e c b h a N h c P σ π σ σ επιδότηση
Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 25 Συνεχής Κόµβος µε Συνεχείς Γονείς 2 ) ( 2 1 2 2 1 ) )(, ( ), ( + = + = t t b t h a c t t t t e c b ah N h c P σ π σ σ επιδότηση 2 ) ( 2 1 2 2 1 ) )(, ( ), ( + = + = f f b f h a c f f f f e c b h a N h c P σ π σ σ επιδότηση ( ) (, ) (, ) = + Pc h Pc h επιδοτηση Pc h επιδοτηση
ιακριτός Κόµβος µε Συνεχείς Γονείς Ρ(Αγορά Κόστος) Ή ιες συναρτήσεις κατωφλίου κόστος χαµηλό αγορά κόστος ενδιάµεσο «αγορά» κόστος υψηλό όχι αγορά Κατανοµή probit ολοκλήρωση της πρότυπης κανονικής κατανοµής µικρές ουρές, αλλά δύσκολα µαθηµατικά Κατανοµή logit χρήση της σιγµοειδούς συνάρτησης εύκολα µαθηµατικά, αλλά µεγάλες ουρές Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 26
Κατανοµές probit και logit x Φ( x ) = N(0,1)( x) dx Ρ(αγορά Κόστος=c) = Φ((-c + µ)/σ) P ( αγορά Κόστος = c) 1 = c + + µ 1 exp 2 σ Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 27
Ακριβής Συµ ερασµός Exact Inference
Ακριβής Συµ ερασµός σε ίκτυα Bayes Υ ολογισµός εκ των υστέρων κατανοµής X: µεταβλητές ερωτήµατος (query variables) E: µεταβλητές µαρτυρίας (evidence variables) συµβάν Y: κρυφές µεταβλητές (hidden variables) Ρ(X e) = α Ρ(X e) = α y Ρ(X e, y) Παράδειγµα Ρ( ιάρρηξη ΓιάννηςΚαλεί = αληθές, ΜαρίαΚαλεί = αληθές) X: ιάρρηξη E: ΓιάννηςΚαλεί, ΜαρίαΚαλεί Y: Σεισµός Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 29
Α αρίθµηση Υ ολογισµός µε α αρίθµηση άθροιση των πιθανοτήτων των ατοµικών συµβάντων βάση γνώσης δίκτυο Bayes και πίνακες CPT υπολογισµός συνδυασµένων καταχωρήσεων µε πολλαπλασιασµό P( γ,µ ) = α P(,γ,µ ) = α P(,σ,ε,γ,µ ) σ ε για ιάρρηξη = αληθής Παράδειγµα: P( X e) = α P( X, e) = α P( X, e, y) P( δ γ,µ ) = α σ ε Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 30 y P( δ) P( σ) P( ε δ,σ) P( γ ε) P( µ ε)
Παράδειγµα Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 31
Ακριβής Συµ ερασµός σε ίκτυα Bayes P( δ γ,µ ) = α σ ε P( δ) P( σ) P( ε δ,σ) P( γ ε) P( µ ε) Χρονική ολυ λοκότητα δίκτυο Bayes µε n δυαδικές µεταβλητές Ο(n2 n ) Βελτίωση µεταφορά όρων εκτός παρενθέσεων στην καλύτερη περίπτωση Ο(2 n ) P( σ) P( δ γ,µ ) = α P( δ) P( ε δ,σ) P( γ ε) P( µ ε) Χωρική Πολυ λοκότητα γραµµική ως προς το πλήθος των µεταβλητών σ Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 32 ε
Ακριβής Συµ ερασµός σε ίκτυα Bayes P( δ γ,µ ) = α Pδ ( ) Pσ ( ) P( ε δ,σ) P( γ ε) P ( µ ε) 0, 284 σ ε Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 33
Αλγόριθµος Α αρίθµησης Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 34
Α αλοιφή Μεταβλητών Βασική ιδέα κάποιοι υπολογισµοί επαναλαµβάνονται διαρκώς αποθήκευση και επαναχρησιµοποίηση (δυναµικός προγραµµατισµός) Αλγόριθµος α αλοιφής µεταβλητών (variable elimination) υπολογισµός από δεξιά προς τα αριστερά (από κάτω προς τα πάνω) Παράδειγµα παράγοντες (factors) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 35
Α αλοιφή Μεταβλητών: Λειτουργίες Σηµειακό γινόµενο (pointwise product) όχι πολλαπλασιασµός πινάκων, όχι πολλαπλασιασµός στοιχείων παράδειγµα: f 1 (a,b) f 2 (b,c) = f(a,b,c) ο f δεικτοδοτείται από την ένωση των µεταβλητών των f 1 και f 2 Α αλοιφή µε άθροιση (sum out) µεταφορά σταθερών παραγόντων εκτός αθροίσµατος άθροιση υποπινάκων σηµειακού γινοµένου υπολοίπων παραγόντων X f 1 f 2... f i f i+1... f k = f 1 f 2... f i X f i+1... f k = f 1 f 2... f i f X Άσχετες µεταβλητές (irrelevant variables) κρυφές, όχι πρόγονοι µεταβλητών ερωτήµατος ή µαρτυρίας Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 36
Αλγόριθµος Α αλοιφής Μεταβλητών Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 37
Πολυ λοκότητα Α αλοιφής Μεταβλητών Πολυ λοκότητα εξαρτάται από το µεγαλύτερο παράγοντα που κατασκευάζει εξαρτάται από τη σειρά απαλοιφής των µεταβλητών πιο αποδοτικός αλγόριθµος από τον αλγόριθµο απαρίθµησης ακριβής συµπερασµός σε δίκτυα Bayes: NP-δύσκολο πρόβληµα Α λά συνδεδεµένα δίκτυα (singly connected) γραµµική χρονική και χωρική πολυπλοκότητα ως προς το µέγεθος του δικτύου (πλήθος καταχωρήσεων CPT) Πολλα λά συνδεδεµένα δίκτυα (multiply connected) εκθετική χρονική και χωρική πολυπλοκότητα (γενικά) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 38
Προσεγγιστικός Συµ ερασµός Approximate Inference
ειγµατοληψία (Sampling) Αλγόριθµοι τυχαίας δειγµατοληψίας γνωστοί και ως αλγόριθµοι Monte Carlo προσεγγιστικές απαντήσεις (ακρίβεια ανάλογη του πλήθους δειγµάτων) άµεση δειγµατοληψία (direct sampling) δειγµατοληψία αλυσίδας Markov (Markov chain sampling) Άµεση δειγµατοληψία παραγωγή δειγµάτων από µια γνωστή κατανοµή πιθανοτήτων χρήση γεννήτριας τυχαίων αριθµών για δειγµατοληψία δίκτυα Bayes: δειγµατοληψία µεταβλητών µε τοπολογική σειρά δειγµατοληψία από την εκ των προτέρων κατανοµή Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 40
Παράδειγµα Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 41
Άµεση δειγµατοληψία Πιθανότητα τιµής µεταβλητής Πιθανότητα συµβάντος S PS P( x γονείς( X )) n = i ( x,..., xn) P( xi γονείς( Xi )) = P( x1,, x 1 n i= 1 Συχνότητα και συνε ής εκτίµηση ιθανότητας N ( 1,..., ) ˆ( 1... ) lim PS x xn P x xn = = SPS ( x1... xn ) = P ( x1... xn ) N N Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 42 i )
Α ορρι τική ειγµατοληψία (Rejection Sampling) Μεθοδολογία χρησιµοποιείται για δειγµατοληψία από µια υπό συνθήκη κατανοµή αρχικά, άµεση δειγµατοληψία (εκ των προτέρων κατανοµή) µετά, απόρριψη των δειγµάτων που δεν συµφωνούν µε τη συνθήκη τέλος, υπολογισµός πιθανότητας µε συχνότητα δειγµάτων ˆ N ( ) α PS(X, e) P(X, e) P X e = NPS(X, e) = = P ( X e ) N ( e) P( e) συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας βασικό πρόβληµα: απορρίπτονται πολλά δείγµατα «µεγαλύτερη» µαρτυρία µεγαλύτερη απόρριψη δειγµάτων Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 43 PS
Στάθµιση Πιθανοφάνειας (Likelihood Weighting) Μεθοδολογία παράγει µόνο συµβάντα συνεπή µε τη µαρτυρία/συνθήκη δειγµατοληψία µόνο κρυφών και µεταβλητών ερωτήµατος στάθµιση κάθε δείγµατος µε την πιθανοφάνεια εναρµόνισης βάρος: πιθανότητα της µαρτυρίας µε δεδοµένους τους γονείς της υπολογισµός της εκ των υστέρων πιθανότητας ως λόγος των: άθροισµα βαρών δειγµάτων συµβατών µε τις τιµές µεταβλητών ερωτήµατος άθροισµα βαρών όλων των δειγµάτων συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας πρόβληµα: «µεγαλύτερη» µαρτυρία µικρότερα βάρη εντονότερο πρόβληµα: µεταβλητές µαρτυρίας αργά στη διάταξη Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 44
Στάθµιση Πιθανοφάνειας Πιθανότητα δείγµατος S WS ( z, e) Βάρος δείγµατος w( z, e) i= 1 Σταθµισµένη ιθανότητα δείγµατος l = = l m i= 1 P( z Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 45 i γονείς( Z i )) P( e i γονείς( E i )) = = S ( z, e) w( z, e) P( z γονείς( Z )) Pe ( γονείς( E )) P( ze, ) WS i i i i i= 1 i= 1 m
Monte Carlo Markov Chain (MCMC) Μεθοδολογία παράγει νεό δείγµα κάνοντας αλλαγές στο προηγούµενο δείγµα MCMC σε δίκτυο Bayes: αρχικά, σε µια τρέχουσα κατάσταση (τρέχουσες τιµές µεταβλητών) σταθεροποίηση τιµών των µεταβλητών µαρτυρίας δειγµατοληψία κάποιας άλλης µεταβλητής µε συνθήκη το κάλυµµα Markov περιπλάνηση στο χώρο καταστάσεων µε µία δειγµατοληψία ανά βήµα υπολογισµός πιθανότητας ως συχνότητα επίσκεψης στην περιπλάνηση ταυτίζεται µε τη στάσιµη κατανοµή της αλυσίδας Markov συνεπής εκτίµηση της πραγµατικής εκ των υστέρων πιθανότητας Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 46
Παράδειγµα MCMC Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 47
Συµ ερασµός σε ίκτυα Bayes Ακριβής αλγόριθµος απαρίθµησης (enumeration) αλγόριθµος απαλοιφής µεταβλητών (variable elimination) η πολυπλοκότητα εξαρτάται από την τοπολογία χρονική πολυπλοκότητα εκθετική στη χειρότερη περίπτωση Προσεγγιστικός αλγόριθµος στάθµισης πιθανοφάνειας (LW) αλγόριθµος Monte Carlo Markov Chain (MCMC) η πολυπλοκότητα δεν εξαρτάται από την τοπολογία χρονική πολυπλοκότητα ανάλογη του αριθµού των δειγµάτων η σύγκλιση µπορεί να είναι πολύ αργή Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 48
Μελέτη Σύγγραµµα Ενότητες 14.1 14.5 Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 49