ΕΚΠ 413 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες

Transcript

1 ΕΚΠ 43 / ΕΚΠ 606 Αυτόνοµοι (Ροµ οτικοί) Πράκτορες Πιθανοτική Συλλογιστική στο Χρόνο Temporal robabilisic Reasoning Τµήµα Ηλεκτρονικών Μηχανικών και Μηχανικών Υ ολογιστών Πολυτεχνείο Κρήτης

2 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Ε ανάληψη ίκτυα Bayes σύνταξη σηµασιολογία πλεονεκτήµατα Ακριβής συµ ερασµός απαλοιφή µεταβλητών Προσεγγιστικός συµ ερασµός δειγµατοληψία Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 2

3 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Σήµερα Συλλογιστική στο χρόνο χρόνος και αβεβαιότητα παραδοχές Βασικές λειτουργίες συµ ερασµού φιλτράρισµα πρόβλεψη εξοµάλυνση πλέον πιθανή εξήγηση Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 3

4 Πιθανοτική Συλλογιστική στο Χρόνο Temporal robabilisic Reasoning

5 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Χρόνος και Aβεβαιότητα Στατικοί και δυναµικοί κόσµοι στατικός: επισκευή αυτοκινήτου δυναµικός: αντιµετώπιση διαβητικού ασθενούς Χρονικές φέτες (ime slices) ένα αντίγραφο των τυχαίων µεταβλητών για κάθε χρονική στιγµή διακριτός χρόνος, σταθερό ενδιάµεσο διάστηµα ακολουθίες µεταβλητών ως προς το χρόνο εξαρτήσεις µεταξύ µεταβλητών σε συνεχόµενες χρονικές φέτες Σηµειογραφία κατάσταση X : µη παρατηρήσιµες µεταβλητές στη χρονική στιγµή µαρτυρία E : παρατηρήσιµες µεταβλητές στη χρονική στιγµή οι ακολουθίες καταστάσεων ξεκινούν από =0 (X 0,X, ) οι ακολουθίες µαρτυριών ξεκινούν από = (E,E 2, ) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 5

6 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παραδείγµατα ιαβητικός ασθενής κατάσταση X : ΣάκχαροΣτοΑίµα, ΙνσουλίνηΣτοΑίµα µαρτυρία E : ΜετρηµένοΣάκχαροΣτοΑίµα, όσηινσουλίνης χρονικό διάστηµα: ώρα Σταθµός ηλεκτρικής ενέργειας κατάσταση X : Ζήτηση, Τάση, Ένταση µαρτυρία E : ΜετρηµένηΤάση, ΜετρηµένηΈνταση χρονικό διάστηµα: δευτερόλεπτο Περιβάλλον κατάσταση X : ΜέσηΘερµοκρασία, ΜέσηΥγρασία µαρτυρία E : ΜετρηµένηΘερµοκρασία, ΜετρηµένηΥγρασία χρονικό διάστηµα: µέρα Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 6

7 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παραδοχές Εξαρτήσεις µεταξύ µεταβλητών κατασκευή δικτύου Bayes η διάταξη στο δίκτυο ακολουθεί τη χρονική διάταξη πρόβληµα: άπειρος αριθµός µεταβλητών άπειρος αριθµός CT λύση: στάσιµη διαδικασία (saionary process) πρόβληµα: άπειρος αριθµός γονέων απείρου µεγέθους CT λύση: υ όθεση Marov Υ όθεση Marov (Marov assumpion) η τρέχουσα κατάσταση εξαρτάται µόνο α ό ένα ε ερασµένο ιστορικό ροηγούµενων καταστάσεων Andrei Marov, ρώσος στατιστικολόγος Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 7

8 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 ιαδικασίες Marov γνωστές και ως αλυσίδες Marov (Marov chains) Μοντέλα µετάβασης (ransiion models) πρώτης τάξης (firs-order) δεύτερης τάξης (second-order) ( X X ) ( X X ) 0: = X0 : = X X 2 X ( X ) ( ), Υ όθεση Marov στην ράξη αύξηση της τάξης αύξηση του συνόλου των µεταβλητών κατάστασης Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 8

9 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παραδοχές (συνέχεια) Μοντέλο αισθητήρα ή αρατήρησης (observaion model) περιορισµός γονέων για µεταβλητές µαρτυρίας ( E X, E ) ( E X ) 0 : 0: = Εκ των ροτέρων κατανοµή πιθανές καταστάσεις στη χρονική στιγµή =0 Πλήρης συνδυασµένη κατανοµή ( X ) = ( ) ( ) ( ) 0, X,..., X, E,..., E X0 Xi Xi Ei Xi Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 9 i=

10 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Ο Κόσµος της Οµ ρέλας µη παρατηρήσιµη µεταβλητή Β (εάν βρέχει ή όχι) παρατηρήσιµη µεταβλητή: Ο (εάν κρατά οµπρέλα ή όχι) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 0

11 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Ο Κόσµος του Κινητού Ροµ ότ Παρατηρήσιµες µεταβλητές οδόµετρο µετρητής µπαταρίας Μη αρατηρήσιµες µεταβλητές θέση ταχύτητα µπαταρία Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα

12 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Βασικές Εργασίες Συµ ερασµού Φιλτράρισµα (filering) ή αρακολούθηση (monioring) υπολογισµός της κατάστασης πεποίθησης (X e : ) Πρόβλεψη (predicion) εκ των υστέρων κατανοµή µελλοντικής κατάστασης (X e : ), >0 Εξοµάλυνση (smoohing) ή ύστερη γνώση (hindsigh) εκ των υστέρων κατανοµή παρελθούσας κατάστασης (X e : ), < Πλέον ιθανή εξήγηση (mos liely eplanaion) εύρεση ακολουθίας καταστάσεων που προκάλεσε παρατηρήσεις ( ) arg ma : : : e Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 2

13 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Υ οστήριξη Συµ ερασµού Α αιτούµενα µοντέλα µετάβασης µοντέλο παρατήρησης Μελέτη εµπειρική κατασκευή µοντέλων Μάθηση αυτόµατη κατασκευή/προσαρµογή µοντέλων Αλγόριθµος ΕΜ (Epecaion-Maimizaion) επανάληψη µέχρι σύγκλιση συµπερασµός για εκτίµηση πιθανότερης ακολουθίας καταστάσεων ενηµέρωση των µοντέλων µε βάση την παραπάνω εκτίµηση Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 3

14 Φιλτράρισµα / Παρακολούθηση Filering / Monioring

15 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Φιλτράρισµα (filering) θέλουµε να υπολογίσουµε το (X e : ). θεωρούµε ότι γνωρίζουµε το (X e : ) και το e Αναδροµική εκτίµηση (recursive esimaion) ( X e ) a( e X ) ( X ) ( e ) : = : Μοντέλο αισθητήρα Μοντέλο µετάβασης Γνωστή κατανοµή (αναδροµή) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 5

16 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Φιλτράρισµα Α όδειξη (X e : ) = (X e :, e ) (διαίρεση των µαρτυριών) = α(e X, e : )(X e : ) (χρήση του κανόνα Bayes) = α(e X )(X e : ) (Marov µαρτυρίες) = a e = a ( X ) ( X, e ) ( e ) : Γενική µορφή αναδροµικής σχέσης f : = (X e : ) = α Forward(f :, e ) ( e X ) ( X ) ( e ) : (Ιδιότητα Marov) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 6 :

17 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παράδειγµα Φιλτραρίσµατος αρχική πεποίθηση: (Β 0 ) = 0,5, 0,5, παρατηρήσεις: ο =ο 2 =αληθές ζητούµενο: (Β 2 ο, ο 2 ) ( B ) = β 0 ( B β ) ( β ) 0 0 = 0,7, 0,3 0,5 0,3, 0,7 0,5= 0,5, 0,5 ( B o ) = a( ο B ) ( B ) = 0,9, 0,2 0,5, 0, 5 a =a 0, 45, 0, 0, 88, 0, 82. Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 7

18 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παράδειγµα Φιλτραρίσµατος ( B o ) ( B β ) ( β o ) = 2 2 β = 0,7, 0.3 0,88 0,3, 0,7 0,82 0,627, 0,373 ( B o ) ( ) ( ), o = ao B B o = 0,9, 0,2 0,627, 0, a =a 0,565, 0,075 0,883, 0,7 Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 8

19 Πρόβλεψη redicion

20 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Πρόβλεψη (redicion) Πρόβλεψη διαδικασία ίδια µε το φιλτράρισµα παραλείπονται οι µαρτυρίες για στιγµές στο µέλλον παραλείπεται το µοντέλο αισθητήρα για στιγµές στο µέλλον ( X ) ( ) ( ) e: = X e: Μοντέλο µετάβασης Γνωστή κατανοµή (αναδροµή) Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 20

21 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Στασιµότητα Στάσιµη κατανοµή (saionary disribuion) για µεγάλο η πρόβλεψη συγκλίνει στη στάσιµη κατανοµή η στάσιµη κατανοµή καθορίζεται από το µοντέλο µετάβασης Χρόνος ανάµιξης (miing ime) αριθµός βηµάτων για σύγκλιση στη στάσιµη κατανοµή µεγαλύτερη αβεβαιότητα µικρότερος χρόνος ανάµιξης Πρακτικά αδυναµία πρόβλεψης πέρα από ένα κλάσµα του χρόνου ανάµιξης µεγαλύτερη αβεβαιότητα µεγαλύτερη ασάφεια για το µέλλον Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 2

22 Εξοµάλυνση Smoohing

23 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Εξοµάλυνση (smoohing) Εξοµάλυνση ή ύστερη γνώση ζητούµενο: (X e : ), 0 < Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 23

24 Υ ολογισµός ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Εξοµάλυνση ό ου ( X e ) = a ( X e ) ( e X ) : ( e : X ) = : : ( e ) ( ) ( ) e 2: X Μοντέλο αισθητήρα Γνωστή κατανοµή (αναδροµή) Μοντέλο µετάβασης Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 24

25 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Εξοµάλυνση ιαχωρισµός ( X e:) = ( X e e ) = :, : ( X e ) ( e X ) a : :, e: ( X e ) ( e X ) = a : : (κανόνας Bayes) (υπό συνθήκη ανεξαρτησία) = b a f : : όπου: b : = (e : X ) = Bacward(b 2:, e : ) Αρχικές συνθήκες: b : = (e : X ) = Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 25

26 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 26 Εξοµάλυνση Bacward αναδροµή (υπό συνθήκη ανεξαρτησία) (υπό συνθήκη ανεξαρτησία) ) ( : e X ( ) ( ) = X X e, : ( ) ( ) = X e : ( ) ( ) = 2 X e e, : ( ) ( ) ( ) = 2 X e e :

27 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Παράδειγµα εξοµαλυµένη εκτίµηση για την πιθανότητα βροχής σε = (Β ο, ο 2 ) = α(β ο )(ο 2 Β ) Γνωρίζουµε ήδη ότι (Β ο ) = 0,88, 0,82. ( ο 2 Β ) ( o β ) ( β ) ( β B ) τελικά = = β ( 0, 9 0, 7, 0, 3 ) ( 0, 2 0, 3, 0, 7 ) = 0, 69, 0, 4. (Β ο,ο 2 ) = α 0,88, 0,82 0,69, 0,4 0,883, 0,7 Αυξηµένη σε σχέση µε την φιλτραρισµένη! Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 27

28 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Ο Αλγόριθµος Forward-Bacward Εξοµάλυνση ακολουθίας funcion Forward-Bacward(ev, ρότερη) reurns ένα διάνυσµα κατανοµών πιθανοτήτων inpus: ev, ένα διάνυσµα τιµών µαρτυριών για τα βήµατα,, ρότερη, η εκ των προτέρων κατανοµή για την αρχική κατάσταση (X0) local variables:fv, ένα διάνυσµα µηνυµάτων προς τα εµπρός για τα βήµατα 0,, b, µια αναπαράσταση του µηνύµατος προς τα πίσω, αρχικά όλα sv, ένα διάνυσµα εξοµαλυσµένων εκτιµήσεων για τα βήµατα,, fv[0] ρότερη for i = o do fv[i] Forward(fv[i ], ev[i]) for i = downo do sv[i] Normalize(fv[i] b) b Bacward(b, ev[i]) reurn sv Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 28

29 Πλέον Πιθανή Εξήγηση Mos Liely Eplanaion

30 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Εύρεση της Πλέον Πιθανής Ακολουθίας Πρόβληµα έστω οι τιµές της µεταβλητής Οµ ρέλα από = έως =5 [αληθές, αληθές, ψευδές, αληθές, αληθές] θέλουµε την πιο πιθανή ακολουθία τιµών της µεταβλητής Βροχή [Βροχή, Βροχή 2, Βροχή 3, Βροχή 4, Βροχή 5 ] µπορεί να βρεθεί η πιο πιθανή ακολουθία χωρίς απαρίθµηση; Πιθανή λύση Ιδέα: βρες τις εξοµαλυµένες εκ των υστέρων πιθανότητες της µεταβλητής Βροχή και διάλεξε την πιο πιθανή τιµή σε κάθε βήµα! γραµµικός αλγόριθµος, αλλά λανθασµένος τα βήµατα δεν είναι ανεξάρτητα µεταξύ τους υπάρχει δέσµευση και από τις µεταβάσεις των καταστάσεων Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 30

31 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Αλγόριθµος Vierbi αλγόριθµος δυναµικού προγραµµατισµού πιθανές ακολουθίες = πιθανές διαδροµές στο γράφηµα καταστάσεων πλέον πιθανή ακολουθία για τη µεταβλητή Βροχή [αληθές, αληθές, ψευδές, αληθές, αληθές] Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 3

32 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Αλγόριθµος Vierbi ma... (,...,, X e ) : ( e X ) ma ( X ) ma (,..., ), e = a :... Μοντέλο αισθητήρα Μοντέλο µετάβασης Γνωστή κατανοµή (αναδροµή) αλγόριθµος παρόµοιος µε το φιλτράρισµα τα εµπρός µηνύµατα είναι οι πιθανότητες των πλέον πιθανών ακολουθιών m: = ma (,...,, X e: ),... η άθροιση αντικαθίσταται από µεγιστοποίηση υπολογισµός τιµών προς τα εµπρός, γραµµικός χρόνος και χώρος προϋποθέτει διαδικασίες Marov πρώτης τάξης Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 32

33 ΕΚΠ 43/606 Αυτόνοµοι Πράκτορες 2007 Μελέτη Σύγγραµµα Ενότητες Μ. Γ. Λαγουδάκης Τµήµα ΗΜΜΥ Πολυτεχνείο Κρήτης Σελίδα 33