ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες

ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες Πιθανοτική Συλλογιστική Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης

Ε ανάληψη Αβεβαιότητα πεποιθήσεων πράκτορας θεωρίας αποφάσεων Πιθανότητες αξιώµατα εκ των προτέρων και εκ των υστέρων πιθανότητες πιθανοτικός συµπερασµός ανεξαρτησία κανόνας Bayes υπό συνθήκη ανεξαρτησία

ίκτυα Bayes σηµασιολογία Πλεονεκτήµατα συµπαγής αναπαράσταση Συµ ερασµός ακριβής Σήµερα

ίκτυα κόµβοι: Bayes (Bayesian Networks) ακµές: ίκτυο υπό Bayes συνθήκη εξαρτήσεις τυχαίες κατανοµή µεταβλητές µεταξύ πιθανότητας µεταβλητών,y Xi: P(Xi Γονείς(Xi)) Yγονέας σε κάθε (parent) κόµβοxi του Xi δοµή δεδοµένων για πλήρεις συνδυασµένες κατανοµές κατευθυνόµενο ακυκλικό γράφηµα πίνακας δεσµεύουσα υπό συνθήκη περίπτωση πιθανότητας (conditioning (Conditional case): συνδυασµός Probability τιµών Table, γονέων CPT) τοπολογία δικτύου: σχέσεις υπό συνθήκη ανεξαρτησίας υπό συνθήκη κατανοµές: τρόπος επιρροής µεταβλητών πλεονέκτηµα: συµπαγής αναπαράσταση συνθήκη: περιορισµένος αριθµός γονέων k για κάθε κόµβο

Παράδειγµα Ι καιρός ανεξάρτητη από κοιλότητα, ονόδοντο, λαβίδα ονόδοντος και λαβίδα ανεξάρτητες δεδοµένης κοιλότητας εξαρτηµένες: ονόδοντος και κοιλότητα, λαβίδα και κοιλότητα

Παράδειγµα ΙΙ

Σηµασιολογία αριθµητική: υπολογισµός οποιασδήποτε ικτύων πιθανότητας Bayes τοπολογική: συµπαγής δόµηση σχέσεων υπό συνθήκη ανεξαρτησίας Pxx ( 1,2,,) xn= Pxx ( nn 1,,) x1 PxxPx ( )() 21 1 i= n1pxx ( ii 1,,) x1 = X1} Σηµασιολογία αναπαράσταση πλήρους συνδυασµένης κατανοµής κωδικοποίηση µιας συλλογής υπό συνθήκη κατανοµών Ερµηνεία i κανόνας αλυσίδας (chain rule) κατάλληλη δεικτοδότηση µεταβλητών Γονείς(Xi) {Xi 1,, ανεξαρτησία: P(Xi Xi-1,..., X1) = Ρ(Xi Γονείς(Xi)) υπολογισµός: P(x1, x2,..., xn) = Ρ(xi Γονείς(Xi))

Πλεονεκτήµατα ικτύων Bayes Συµ αγής ανα αράσταση τοπικά δοµηµένα (locally-structured) ή αραιά (sparse) συστήµατα κάθε στοιχείο αλληλεπιδρά µε ένα φραγµένο πλήθος στοιχείων k ανεξάρτητα από το συνολικό πλήθος στοιχείων n διαφορά µεταξύ γραµµικής (n2k) και εκθετικής πολυπλοκότητας (2n) παράδειγµα: n=10, k=3 πρόβληµα: σε πεδία µε πλήρη σύνδεση δεν υπάρχει εξοικονόµηση ευριστική λύση: αγνόηση χαλαρών εξαρτήσεων

αρχικά, Κατασκευή κόµβοι µε τις πρωταρχικές ικτύων αιτίες που Bayes µετά, τέλος, οι οι κόµβοι που επηρεάζονται δεν επηρεάζουν άµεσα άµεσα και άλλους επηρεάζουν δεν κόµβους επηρεάζονται(ρίζες) άµεσα (φύλλα) (ενδιάµεσοι) απαραίτητεςεξαρτήσεις, πρόσθετεςεξαρτήσεις, περισσότεροιαριθµοί, λιγότεροιαριθµοί, εύκολαπροσδιορίσιµοι δύσκολαπροσδιορίσιµοι ιάταξη κόµβων απαίτηση: η τοπολογία πρέπει να αντανακλά τις άµεσες επιρροές κατά την εισαγωγή νέου κόµβου, πρέπει να προϋπάρχουν οι γονείς εσφαλµένη διάταξη απώλεια σύµπτυξης Στρατηγική σωστή: αιτιολογικό µοντέλο εσφαλµένη: διαγνωστικό µοντέλο

Εσφαλµένη ιάταξη Κόµβων

ιάγνωση Βλαβών Αυτοκινήτου

Ασφάλιστρα Αυτοκινήτου

Υ ό Συνθήκη Ανεξαρτησία (Ι) ένας κόµβος είναι υ ό συνθήκη ανεξάρτητος από τους µη απογόνους του (non-descendants), µε δεδοµένους τους γονείς του

Υ ό Συνθήκη Ανεξαρτησία (ΙΙ) ένας κόµβος είναι υ ό συνθήκη ανεξάρτητος από όλους τους υπόλοιπους κόµβους του δικτύου, µε δεδοµένους τους γονείς του, τα παιδιά του, και τους γονείς των παιδιών του δηλαδή, µε δεδοµένο το κάλυµµα Markov (Markov blanket) για τον κόµβο αυτόν.

Α οδοτική Ανα αράσταση Πίνακες CPT k απευθείας ν-αδικοί γονείς νkδεσµεύουσες περιπτώσεις O(νk) αριθµοί απαιτείται λογική µεγάλη εµπειρία για κάθε δεσµεύουσα περίπτωση αυθαίρετη (arbitrary) κατανοµή δοµηµένη (canonical) κατανοµή οµηµένες χρήση ενθόρυβων ή αριθµητική προσδιορισµός χωρίς αβεβαιότητα κατανοµές τελεστών σχέση µεταξύ κόµβου και γονέων αιτιοκρατικοί (deterministic) κόµβοι αβέβαιοι (uncertain) κόµβοι

Κρύωµα Γρίπη Ελονοσία Ενθόρυβοι Πυρετός P( πυρετός κρύωµα, γρίπη, ελονοσία) 0,2 0,6 (Noisy) 3 τιµές γρίπη, = 0,1 Κόµβοι αντί για 8! Ενθόρυβη διάξευξη (noisy-or) η αιτιολογική σχέση µπορεί να παρεµποδίζεται πιθανοτικά παρατίθενται όλες οι δυνατές αιτίες (κόµβος διαρροής - leak node) η παρεµπόδιση κάθε γονέα είναι ανεξάρτητη από τους άλλους ο κόµβος ψευδής ανν όλοι οι αληθείς γονείς παρεµποδίζονται η πιθανότητα είναι το γινόµενο πιθανοτήτων παρεµπόδισης χωρική πολυπλοκότητα: O(k) αντί για O(2k)

Ενθόρυβος Πυρετός

Συνεχείς Μεταβλητές σταθερό πεπερασµένο σύνολο πλήθος διαστηµάτων, παραµέτρων, π.χ. π.χ. διαίρεση κανονική σε ίσα κατανοµή διαστήµατα (Gauss) κατανοµή για διακριτή συνεχή µεταβλητή µε µε συνεχείς ή γονείς διακριτούς γονείς Συνεχείς τυχαίες µεταβλητές πεδίο τιµών: υποσύνολο των πραγµατικών αριθµών απείρου µεγέθους πίνακες CPT Αντιµετώ ιση διακριτοποίηση (discretization) συναρτήσεις πυκνότητας πιθανότητας Υβριδικό δίκτυο Bayes συνεχείς και διακριτές τυχαίες µεταβλητές

Κανονική Κατανοµή Gauss Κανονική κατανοµή Ν(µ,σ2) (normal distribution) παράµετροι: µ (µέση τιµή) και σ2(διακύµανση)

Υβριδικό ίκτυο Bayes για Αγορά Μεταβλητές και Χειρισµός συνεχείς (συγκοµιδή, κόστος) και διακριτές (επιδότηση, αγορά) διακριτές: ρητή απαρίθµηση τιµών συνεχείς: επιρροή συνάρτησης πυκνότητας

Συνεχής Κόµβος µε Συνεχείς Γονείς Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) t t t2 t 21 c ( aσtb h+ ) 2 f f 2f γραµµική κατανοµή Gauss f 21 c ( aσfb h+ ) 2 1 P c h, επιδότηση) N( a h + b, σ )( c) = e σ 2π 1 P c h, επιδότηση) = N( a h + b, σ )( c) = e σ 2π Ε ιδότηση Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) Ρ(Κόστος Συγκοµιδή, Ε ιδότηση) Συγκοµιδή tt ( = ( ff

Συνεχής Κόµβος µε Συνεχείς Γονείς t t t2 t 21 c ( aσtb h+ ) 2 f f 2f f 21 c ( aσfb h+ ) 2 1 P c h, επιδότηση) N( a h + b, σ )( c) = e σ 2π 1 P c h, επιδότηση) = N( a h + b, σ )( c) = e σ 2π tt ( = ( ff P( c h) = P( c h, επιδοτηση ) + P( c h, επιδοτηση)

ιακριτός Κόµβος µε Συνεχείς Γονείς Ρ(Αγορά Κόστος) Ή ιες συναρτήσεις κατωφλίου κόστος χαµηλό αγορά κόστος ενδιάµεσο «αγορά» κόστος υψηλό όχι αγορά Κατανοµή probit ολοκλήρωση της πρότυπης κανονικής κατανοµής µικρές ουρές, αλλά δύσκολα µαθηµατικά Κατανοµή logit χρήση της σιγµοειδούς συνάρτησης εύκολα µαθηµατικά, αλλά µεγάλες ουρές

Κατανοµές probit και logit Ρ(αγορά Φ( x ) Κόστος=c) = xn(0,1)( = xφ((-c+ ) dx µ)/σ) P( αγορά Κόστος= c) = 1+ exp 12 cσµ +

Ακριβής Συµ ερασµός σε ίκτυα Bayes Υ ολογισµός εκ των υστέρων κατανοµής X: µεταβλητές ερωτήµατος (query variables) E: µεταβλητές µαρτυρίας (evidence variables) συµβάν Y: κρυφές µεταβλητές (hidden variables) Ρ(X e) = α Ρ(X e) = α yρ(x e, y) Παράδειγµα Ρ( ιάρρηξη ΓιάννηςΚαλεί = αληθές, ΜαρίαΚαλεί = αληθές) X: ιάρρηξη E: ΓιάννηςΚαλεί, ΜαρίαΚαλεί Y: Σεισµός

, σε γ,µ,σ,ε,γ,µ ) για ιάρρηξη = αληθής P( δ γ,µ ) = α P( δ) P( σ) P( ε δ,σ) P( γ ε) P( µ ε) Ακριβής Συµ ερασµός σε ίκτυα Bayes Υ ολογισµός δίκτυο Bayes µε και α αρίθµηση πίνακες CPT y υπολογισµός συνδυασµένωνκαταχωρήσεων µε πολλαπλασιασµό P( X e) = α P( X, e) = α P( X, e y) σε άθροιση των πιθανοτήτων των ατοµικών συµβάντων βάση γνώσης Παράδειγµα: P( ) = α P(,γ,µ ) = α P(

Παράδειγµα

σε P( δ γ,µ ) = α P( δ) P( σ) P( ε δ,σ) P( γ ε) P( µ ε) Χρονική ολυ λοκότητα δίκτυο Bayes µε n δυαδικές µεταβλητές Ο(n2n) σ ε Βελτίωση µεταφορά όρων εκτός παρενθέσεων στην καλύτερη περίπτωση Ο(2n) P( δ γ,µ ) = α P( δ) P( σ) P( ε δ,σ) P( γ ε) P( µ ε) Χωρική Πολυ λοκότητα γραµµική ως προς το πλήθος των µεταβλητών Ακριβής Συµ ερασµός σε ίκτυα Bayes

Ακριβής Συµ ερασµός σε ίκτυα Bayes

Αλγόριθµος Α αρίθµησης

Σύγγραµµα Ενότητες 14.1 14.4 Μελέτη