ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες

Transcript

1 ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι Ροµ οτικοί Πράκτορες Αβεβαιότητα Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης

2 Ε ανάληψη Πράκτορες χαρακτηριστικά στοιχεία είδη πρακτόρων αυτόνοµοι πράκτορες Περιβάλλοντα χαρακτηρισµοί και ιδιότητες Μάθηση ενισχυτική µάθηση Ροµ οτικοί Πράκτορες

3 Σήµερα Αβεβαιότητα πεποιθήσεων πράκτορας θεωρίας αποφάσεων Πιθανότητες αξιώµατα εκ των προτέρων και εκ των υστέρων πιθανότητες πιθανοτικός συµπερασµός ανεξαρτησία κανόνας Bayes υπό συνθήκη ανεξαρτησία

4 Αβεβαιότητα Αβεβαιότητα uncertainty δεν υπάρχει πλήρης πρόσβαση του πράκτορα στο περιβάλλον δεν υπάρχει βεβαιότητα για την κατάσταση του περιβάλλοντος δεν υπάρχει βεβαιότητα για την εξέλιξη του περιβάλλοντος δεν ποσοτικοποίηση υπάρχει βεβαιότητα για την επιτυχία ενεργειών και πλάνων Αντιµετώ ιση άµεση και αξιόπιστη και χειρισµός τεχνική, δουλεύει της αβεβαιότητας πολύ καλύτερα απλοποίηση του κόσµου και αγνόηση αβεβαιότητας αναξιόπιστη τεχνική, δουλεύει περιστασιακά πεποιθήσεις beliefs και θεωρία πιθανοτήτων

5 Πε οιθήσεις Βαθµός ε οίθησης degree of belief µέτρο εµπιστοσύνης στην αλήθεια προτάσεων αριθµητικό µέτρο µεταξύ 0 ψευδές και 1 αληθές πλήρης αβεβαιότητα: 0.5 πλήρης βεβαιότητα: 0 ή 1 Σηµασιολογία υποκειµενική πληροφορία, όχι αντικειµενικό δεδοµένο βαθµός πεποίθησης βαθµός αληθείας βασίζεται στη συσσωρευµένη µαρτυρία evidence ενδέχεται να µεταβληθεί µε κάθε νέα µαρτυρία

6 µέτρο απόδοσης του πράκτορα θεωρία χρησιµοτήτων utility theory Αβεβαιότητα και Ορθολογικότητα αναπαράσταση και συλλογιστική χρησιµοτήτων Χρησιµότητα utility βαθµός ωφέλειας ή προτίµησης κάποιων αποτελεσµάτων Θεωρία α οφάσεων decision theory θεωρία πιθανοτήτων + θεωρία χρησιµοτήτων Αρχή της Μέγιστης Αναµενόµενης Χρησιµότητας ένας πράκτορας είναι ορθολογικός αν και µόνο αν επιλέγει την ενέργεια που παρέχει την υψηλότερη αναµενόµενη χρησιµότητα, λαµβανόµενη ως το µέσο όρο για όλα τα δυνατά αποτελέσµατα της ενέργειας

7 functiondt-agentαίσθηση static: ενηµερώνειτην κατάσταση_ ε οίθησης, ενέργεια, η returnsµια πιθανοτικές ενέργεια πεποιθήσεις για την τρέχουσα κατάσταση Πράκτορας κατάσταση_ ε οίθησης του πράκτορα Θεωρίας Α οφάσεων υ ολογίζειτις την πιθανότητες ενέργεια και των την αποτελεσµάτων αίσθηση ε ιλέγειτην µε βάση ενέργεια τις πιθανότητες περιγραφές µε µεγαλύτερη ενεργειών των αποτελεσµάτων αναµενόµενη και την τρέχουσα για και τις χρησιµότητα τις ενέργειες, πληροφορίες κατάσταση_ ε οίθησης returnενέργεια χρησιµότητας

8 Πιθανότητες Ι Ατοµικά συµβάντα ή δείγµατα atomic events, samples πρωτογενή στοιχεία που προσδιορίζουν πλήρως κάποιο κόσµο αµοιβαία αποκλειόµενα µεταξύ τους Χώρος δειγµάτων Ω sample space το σύνολο όλων των ατοµικών συµβάντων ή δειγµάτων εξαντλητικό σύνολο Χώρος ιθανοτήτων probability space ανάθεση τιµής Pω σε κάθε ατοµικό συµβάν ω Ω 0 Pω 1 και ΩPω = 1 Συµβάν event οποιοδήποτε υποσύνολο του Ω

9 Πιθανότητες ΙΙ Τυχαία µεταβλητή random variable συνάρτηση από ατοµικά συµβάντα σε κάποιο πεδίο τιµών περιγράφει κάποιο τµήµα του κόσµου Είδη τυχαίων µεταβλητών Boolean: πεδίο τιµών {αληθές, ψευδές} ιακριτές: απαριθµήσιµο πεδίο τιµών Συνεχείς: πεδίο τιµών υποσύνολο των πραγµατικών αριθµών Προτάσεις propositions λογικές ή/και µαθηµατικές προτάσεις µε τυχαίες µεταβλητές ισχυρισµοί για το αν ισχύει ή δεν ισχύει κάτι στον κόσµο

10 Πιθανότητες ΙΙΙ Εκ των ροτέρων ή χωρίς συνθήκη ιθανότητα prior, a priori, unconditional probability πεποίθηση Pa για a ελλείψει οποιασδήποτε πληροφορίας Κατανοµή ιθανότητας probability distribution διάνυσµα πιθανοτήτων για όλες τις τιµές µιας τυχαίας µεταβλητής Συνδιασµένη κατανοµή ιθανότητας joint probability distribution κατανοµή πιθανότητας για συνδυασµό τυχαίων µεταβλητών Πλήρης συνδιασµένη κατανοµή ιθανότητας full joint probability distribution κατανοµή πιθανότητας για συνδυασµό όλων των τυχαίων µεταβλητών

11 Πιθανότητες ΙV Εκ των υστέρων ή υ ό συνθήκη ιθανότητα posterior, a posteriori, conditional probability πεποίθηση Pa b για a διαµορφωµένη µετά από µαρτυρία b ροσοχή: δεν υπονοεί συνεπαγωγή! Κανόνας γινοµένου product rule Ρα b = Ρα b Ρb = Ρb a Ρa Υ ό συνθήκη κατανοµή ιθανότητας conditional probability distribution ΡX Y = ΡX Y ΡY ροσοχή: συµβολισµός, όχι πολλαπλασιασµός πινάκων

12 Αξιώµατα Πιθανοτήτων Αξιώµατα Kolmogorov Andrei Kolmogorov: Ρώσος µαθηµατικός Ρa 1 Ραληθές = 1 Ρψευδές = 0 Ρa b = Ρa + Ρb Ρa b

13 Χρήση των Αξιωµάτων Πιθανότητα ρότασης η πιθανότητα µιας πρότασης είναι ίση µε το άθροισµα των πιθανοτήτων των ατοµικών συµβάντων στα οποία ισχύει Ε ιχείρηµα de Finetti παράλογο για ένα πράκτορα να παραβιάζει τα αξιώµατα µπορεί κάποιος άλλος πράκτορας να τον κερδίζει επ αόριστον παράδειγµα: Pa = 0.4, Pb= 0.3, Pa b = 0.8

14 Α λός Πιθανοτικός Συµ ερασµός Πιθανοτικός συµ ερασµός probabilistic inference υπολογισµός εκ των υστέρων πιθανότητας µε βάση µαρτυρία αρχικά, υπολογισµός των εκ των προτέρων πιθανοτήτων βάση γνώσης: πλήρης συνδυασµένη κατανοµή πιθανότητας Παράδειγµα: ο κόσµος του οδοντίατρου κοιλότητα κοιλότητα ονόδοντος λαβίδα λαβίδα 0,108 0,012 0,016 0,064 ονόδοντος λαβίδα λαβίδα 0,072 0,008 0,144 0,576

15 Υ ολογισµός Πιθανοτήτων =z Περιθώριος κατανοµή ιθανότητας marginal probability distribution κατανοµή πιθανότητας για υποσύνολο τυχαίων = z µεταβλητών Y Περιθωριο οίηση marginalization απαλοιφή των άλλων µεταβλητών Z P Y P Y, z Θεώρηµα Ολικής Πιθανότητας χρήση κανόνα γινοµένου P Y P Y zp z Παράδειγµα: Pπονόδοντος

16 Υ ολογισµός Πιθανοτήτων Υ ολογισµός εκ των υστέρων ιθανοτήτων κανόνας γινοµένου και περιθωριοποίηση Παράδειγµα: Pκοιλότητα πονόδοντος Κανονικο οίηση η περιθώριος πιθανότητα της µαρτυρίας είναι σταθερή ρόλος της να εξασφαλίζει ότι το άθροισµα είναι 1 παράγοντας κανονικοποίησης α = 1 / Pµαρτυρία ο παράγοντας κανονικοποίησης δεν χρειάζεται να υπολογιστεί συντόµευση υπολογισµών

17 Υ ολογισµός Πιθανοτήτων Αλγόριθµος σταθεροποίηση υ ολογισµού X: άθροιση µεταβλητές κρυφών της µεταβλητώνµαρτυρίας πρότασης E: µεταβλητές της παρατηρηθείσας µαρτυρίας Y: υπόλοιπες κρυφές µεταβλητές ΡX e = α ΡX e = α yρx e, y Πολυ λοκότητα χρονική πολυπλοκότητα Odn για n µεταβλητές χωρική πολυπλοκότητα Odn για n µεταβλητές εκθετική πολυπλοκότητα, απαγορευτική στην πράξη

18 Ανεξαρτησία Ανεξαρτησία Independence PA B = PA ή PB A = PB ή PA, B = PA PB σηµαντική εξοικονόµηση χώρου/χρόνου Παράδειγµα

19 Κανόνας Bayes Κανόνας Bayes Bayes rule προκύπτει από τον κανόνα γινοµένου θεµέλιο όλων των σύγχρονων πιθανοτικών πρακτόρων Γενική µορφή Κανονικο οίηση PY Χ = α PΧ YPY a P b P b a P a b P = X Y Y X X Y P P P P =,,,, e P e P e P e P X Y Y X X Y =

20 Χρήση Κανόνα Bayes ιάγνωση και αίτια αιτιολογική γνώση: µε δεδοµένο κάποια αίτια, ποια τα συµπτώµατα; διαγνωστική γνώση: µε δεδοµένα κάποια συµπτώµατα, ποια τα αίτια; αιτιολογικές πιθανότητες: κατά κανόνα γνωστές, αλλά όχι χρήσιµες διαγνωστικές πιθανότητες: κατά κανόνα το ζητούµενο, αλλά άγνωστες Κανόνας Bayes και διάγνωση υπολογισµός της διαγνωστικής πιθανότητας ως συνάρτηση της αιτιολογικής πιθανότητας και των χωρίς συνθήκη πιθανοτήτων Παράδειγµα Pκοιλότητα πονόδοντος, Pµηνιγγίτιδα δυσκαµψία

21 Υ ό Συνθήκη Ανεξαρτησία Υ ό Συνθήκη Ανεξαρτησία conditional independence ανεξαρτησία µεταβλητών µε δεδοµένη κάποια άλλη µεταβλητή PΧ, Y Z = PX Z PY Z PΧ Y, Z = PX Z Παράδειγµα Pπονόδοντος λαβίδα κοιλότητα Σηµασία διαχωρισµός µεταβλητών σε χαλαρά συνδεδεµένα υποσύνολα οι υπό συνθήκη δηλώσεις ανεξαρτησίας επιτρέπουν κλιµάκωση οι υπό συνθήκη δηλώσεις ανεξαρτησίας είναι συχνότερες

22 Α λοικό Μοντέλο Bayes ιάγνωση µε κοινό αίτιο κοινό αίτιο, ανεξάρτητα συµπτώµατα δεδοµένου του αιτίου PΑιτία, Σύπτωµα1,, Σύπτωµαn= PΑιτίαΠiΣύπτωµαi Αιτία χρησιµοποιείται συχνά ως απλοποιητική παραδοχή γνωστό και ως ταξινοµητής κατά Bayes naive Bayes classifier

23 Σύγγραµµα Ενότητες Μελέτη