Τεχνθτι Νοθμοςφνθ. Ενότθτα 9: Συλλογιςμόσ με Αβεβαιότθτα. Ιωάννθσ Χατηθλυγεροφδθσ Πολυτεχνικι Σχολι Τμιμα Μθχανικϊν Θ/Υ & Πλθροφορικισ

Transcript

1 Τεχνθτι Νοθμοςφνθ Ενότθτα 9: Συλλογιςμόσ με Αβεβαιότθτα Ιωάννθσ Χατηθλυγεροφδθσ Πολυτεχνικι Σχολι Τμιμα Μθχανικϊν Θ/Υ & Πλθροφορικισ

2 Συλλογιςμόσ με Αβεβαιότθτα

3 Συλλογιςμόσ με Αβεβαιότθτα (Reasoning with Uncertainty) Ακριβισ και πλιρθσ γνϊςθ δεν είναι πάντα δυνατι Οι εμπειρογνϊμονεσ πολλζσ φορζσ παίρνουν αποφάςεισ από αβζβαια, θμιτελι ι και αλλθλοςυγκρουόμενα δεδομζνα Θ κλαςςικι λογικι επιτρζπει μόνο ακριβι ςυλλογιςμό (exact reasoning)(δθλ. Κάτι είναι αλθκζσ ι ψευδζσ, δεν υπάρχει ενδιάμεςο) Επομζνωσ προκφπτει θ ανάγκθ για αναπαράςταςθ αβζβαιθσ γνϊςθσ ςυλλογιςμό από αβζβαιθ γνϊςθ 3

4 Κατθγορίεσ Μεκόδων Συλλογιςμοφ Με Αβεβαιότθτα Πιθανοτικζσ μζθοδοι (Probabilistic methods) Θεωριματα Bayes Σχεδόν-πιθανοτικζσ μζθοδοι (Quasi-probabilistic methods) Υποκειμενικι μζκοδοσ Bayes (Subjective Bayesian method) Μζκοδοσ ςυντελεςτϊν βεβαιότθτασ (Certainty factors) Επεκτεταμζνεσ πιθανοτικζσ μζθοδοι Θεωρία Dempster-Shafer Δικτυακά Μοντζλα Μζκοδοι αςαφοφσ λογικισ (fuzzy models) 4

5 Κατθγορίεσ Μεκόδων Συλλογιςμοφ Με Αβεβαιότθτα Πιθανοτικζσ μζθοδοι (Probabilistic methods) Θεωριματα Bayes Σχεδόν-πιθανοτικζσ μζθοδοι (Quasi-probabilistic methods) Υποκειμενικι μζκοδοσ Bayes (Subjective Bayesian method) Μζκοδοσ ςυντελεςτϊν βεβαιότθτασ (Certainty factors) Επεκτεταμζνεσ πιθανοτικζσ μζθοδοι Θεωρία Dempster-Shafer Δικτυακά Μοντζλα Μζκοδοι αςαφοφσ λογικισ (fuzzy models) 5

6 Θεωρία Πικανοτιτων Συνάρτηςη πιθανότητασ P(e): θ πιθανότητα να παρατθρθκεί το γεγονόσ e Υποκζςεισ (1) 0 P(e) 1 (2) P(Ω)= 1 (Ω: δειγματικόσ χώροσ. Το μθ κενό ςφνολο όλων των δυνατϊν γεγονότων, e i, i=1,n) (3) Εάν e i αμοιβαία αποκλειόμενα (e i e j =, ij, i,j=1,n) τότε P(e i )= Σ P(e i ) Επίςθσ ιςχφουν: ~e = Ω\e e) + ~e) = 1 6

7 Ζάρι: Παράδειγμα Θ πικανότθτα να ζλθει 6 ς ζνα ρίξιμο (e) απιθμόρ δςναηών επιηςσιών ί 1 1 e) 0,16 απιθμόρ δςναηών αποηελεζμάηων ί ί Ανεξαρτθςία γεγονότων: κάκε αποτζλεςμα ανεξάρτθτο από τα άλλα Αμοιβαίοσ αποκλειςμόσ: κανζνα αποτζλεςμα ταυτόχρονα με άλλο Η πιθανότητα να μην ζλθει 6 ς ζνα ρίξιμο (~e) απιθμόρ δςναηών αποηςσιών ί 5 5 ~ e) 0,833 απιθμόρ δςναηών αποηελεζμάηων ί ί e) + ~e) = 1 7

8 Πικανότθτεσ Υπό Συνκικθ Πικανότθτα υπό ςυνκικθ ι εκ-των-υςτζρων πικανότθτα (conditional or posterior probability) h / e) e h) e) Σηον ππαγμαηικό κόζμο, η h/e) δεν μποπεί να βπεθεί ζηη βιβλιογπαθία ή να εξασθεί από ζηαηιζηικά δεδομένα. Θ πικανότθτα του να ςυμβεί το h δεδομζνου ότι ςυνζβθ το e. h), e): εκ-των-προτζρων πικανότθτεσ (prior probabilities) P(eh): ςυνδυαςμζνθ πικανότθτα (conjunctive probability) 8

9 Νόμοσ του Bayes e / h)* h) h / e) (1) (απόδειξθ) e) μποροφν να είναι γνωςτζσ Π.χ. liver-cirrhosis), jaundice) γνωςτά από ςτατιςτικζσ jaundice/liver-cirrhosis) μπορεί να είναι γνωςτι.επομζνωσ θ liver-cirrhosis/jaundice) μπορεί να υπολογιςτεί από τον νόμο του Bayes Άλλθ μορφι του νόμου Bayes (κεωρϊντασ ότι το e εξαρτάται από τα αμοιβαία αποκλειόμενα h και ~h) h / e) e / h)* h) e / h)* h) e / ~ h)* ~ h) 9

10 Συλλογιςμόσ κατά Bayes (1) Συνικωσ αυτό που ξζρουμε είναι: if h π.χ. αςκζνεια then e (p) π.χ. ςφμπτωμα Όμωσ ςυνικωσ παρατθροφμε το e και κζλουμε να επιβεβαιϊςουμε το h: if e evidence (δεδομζνο) then h (p) hypothesis (υπόθεςη) Π.χ. ςε διαγνωςτικά ςυςτιματα: απαγωγικι μζκοδοσ (abduction) 10

11 Διαδικαςία Συλλογιςμόσ κατά Bayes (2) 1. Ο εμπειρογνϊμων παρζχει τα h), e/h), e/~h) 2. Ο χριςτθσ παρζχει πλθροφορίεσ για τα δεδομζνα/γεγονότα που παρατθρικθκαν 3. Το ζμπειρο ςφςτθμα υπολογίηει το h/e) (τφποσ 2) 11

12 Παράδειγμα Ηθτοφμενο: Κατά πόςο ο Γιάννθσ ζχει κρυολόγθμα (h) δεδομζνου ότι φταρνίηεται (e). Δεδομζνα: h)=0.2, e/h)=0.7, e/~h)=0.25 Υπολογιςμόσ h/e): ~h)=1-h)=1-0.2= 0.8 h/e)= 0.7*0.2/(0.7* *0.8)= 0.14/( )=0.14/0.34= (Το γεγονόσ ότι φταρνίηεται αφξθςε τθν πικανότθτα να ζχει κρυολόγθμα από 0.2 ςε 0.41) 12

13 Γενικεφςεισ Νόμου Bayes (1) Ο Νόμοσ του Bayes αφορά ζνα (1) ςτοιχείο (γεγονόσ) e και μία (1) υπόκεςθ h. 1θ Γενίκευςθ: ζνα (1) ςτοιχείο (γεγονόσ) e και πολλζσ (m) υποκζςεισ (h1, h2,, hm) h i / e) m k 1 e / i e / h h )* h ) k i )* h k ) (3) Τα h1, h2,, hm πρζπει να είναι αμοιβαία αποκλειόμενα και εξαντλθτικά 13

14 Γενικεφςεισ Νόμου Bayes (2) 2θ Γενίκευςθ: πολλά (n) ςτοιχεία (γεγονότα) (e1, e2,, en) και πολλζσ (m) υποκζςεισ (h1, h2,, hm) h i / e e e n ) m k 1 e e 1 e e e 2 n... e / h n i / h )* h ) k i )* h k ) (4) Τα h1, h2,, hm και e1, e2,, en πρζπει να είναι αμοιβαία αποκλειόμενα και εξαντλθτικά 14

15 Γενικεφςεισ Νόμου Bayes (3) Ο προθγοφμενοσ τφποσ είναι ουςιαςτικά μθ πρακτικά εφαρμόςιμοσ (απαιτεί τισ υπό ςυνκικθ πικανότθτεσ για όλουσ τουσ πικανοφσ ςυνδυαςμοφσ των ςτοιχείων για όλεσ τισ υποκζςεισ) Επί πλζον υπόκεςθ: Θεωροφμε τα e1, e2,, en υπό ςυνκικθ ανεξάρτθτα δεδομζνθσ οποιαςδιποτε υπόκεςθσ hi h i / e e e n ) m k 1 e 1 e / h 1 i / h )* e k 2 )* e / 2 h )*...* e i / h k n )*...* e / h n i / h )* h ) k i )* h k ) (5) 15

16 Παράδειγμα (1) Ηθτοφμενο: Τι είναι πικανότερο να ζχει ο Γιάννθσ (h1: κρυολόγθμα, h2: αλλεργία, h3: ίωςθ) δεδομζνου ότι φταρνίηεται (e1), βιχει (e2) και ζχει πυρετό (e3). Δεδομζνα: h 1 h 2 h 3 h i ) e 1 /h i ) e 2 /h i ) e 3 /h i )

17 Παράδειγμα (2) Υποκζτουμε ότι κατ αρχιν παρατθρείται το e3. Τότε από τον τφπο (3) ζχουμε: h 1 h 2 h 3 0.6*0.4 / e3) * * * *0.35 / e3) * * * *0.25 / e3) * * *0.25 Στθ ςυνζχεια παρατθρείται το e1. Τότε από τον τφπο (5) ζχουμε: 0.3*0.6*0.4 h 1 h 2 h 3 / e1e 3) *0.6* *0.7* *0.9* *0.7*0.35 / e1e 3) *0.6* *0.7* *0.9* *0.9*0.25 / e1e 3) *0.6* *0.7* *0.9*

18 Παράδειγμα (3) Τζλοσ, παρατθρείται το e2. Τότε από τον τφπο (5) ζχουμε: h 1 h 2 h 3 0.3*0.9*0.6*0.4 / e1e 2e3) *0.9*0.6* *0.0*0.7* *0.7*0.9* *0.0*0.7*0.35 / e1e 2e3) 0 0.3*0.9*0.6* *0.0*0.7* *0.7*0.9* *0.7*0.9*0.25 / e1e 2e3) *0.9*0.6* *0.0*0.7* *0.7*0.9*

19 Πλεονεκτιματα-Μειονεκτιματα Πλεονεκτήματα Καλά κεμελιωμζνθ κεωρία Καλά οριςμζνθ ςθμαςιολογία Μειονεκτήματα Λειτουργοφν καλά μόνο ςε πολφ περιοριςμζνα πεδία Οι υποκζςεισ δεν ιςχφουν πάντοτε Απαιτείται μεγάλοσ αρικμόσ πικανοτιτων που πρζπει να υπολογιςτοφν Δεν είναι πάντοτε δυνατόν να προςδιοριςτοφν όλεσ οι πικανότθτεσ Τίτλοσ Ενότθτασ 19

20 Συντελεςτζσ Βεβαιότθτασ-Γενικά Εμπειρικι μζκοδοσ, δεν ςτθρίηεται ςτθ κεωρία πικανοτιτων Πρωτοειςιχκθςαν ςτο MYCIN (Shortliffe and Buchanan, 1975) Συντελεςτισ βεβαιότθτασ cf (certainty factor) είναι ζνασ αρικμόσ (-1 cf 1) που παριςτάνει το βακμό βεβαιότθτασ του εμπειρογνϊμονα ςε μια υπόκεςθ h δεδομζνου ενόσ ςτοιχείου/γεγονότοσ e: if <ςτοιχείο> then <υπόκεςθ> (cf) 20

21 Συντελεςτζσ Βεβαιότθτασ-Οριςμόσ (1) Κάκε ςυντελεςτισ βεβαιότθτασ βαςίηεται ςε δφο μεγζκθ/ςυναρτιςεισ: Μζτρο βεβαιότητασ (measure of belief): MB h, e = 1, αν p h = 1 p h e p h max 0, 1 p h Μζτρο αβεβαιότητασ (measure of disbelief): 1, αν p h = 0, αλλιώς MD h, e = p h e p h max 0, 1 p h, αλλιώς Είναι 0 MB(h,e), MD (h,e) 1 21

22 Συντελεςτζσ Βεβαιότθτασ-Οριςμόσ (2) cf ( h, e) 1 MB( h, e) MD( h, e) min{ MB( h, e), MD( h, e)} Είναι -1 cf(h,e) 1 if e cf(h,e) then h (cf) e h Σε πραγματικζσ εφαρμογζσ ο cf δίνεται απ ευκείασ από τον εμπειρογνϊμονα. 22

23 Αβζβαιθ Παρατιρθςθ (1) Κανόνασ με ζνα απλό ςτοιχείο if e (cfe) then h (cfh) cf = cfe * cfh Κανόνασ με ςφνκετο ςτοιχείο if e1(cf1) cfe = min{cf1, cf2} and e2(cf2) then h (cfh) cf = cfe * cfh if e1(cf1) or e2(cf2) then h (cfh) cfe = max{cf1, cf2} cf = cfe * cfh 23

24 Αβζβαιθ Παρατιρθςθ (2) if sky is clear and forecast is sunny(0.8) then action is leave-umbrella (0.8) cf1=1.0, cf2=0.8, cfh=0.8 cfe = min{1.0, 0.8} = 0.8 cf = cfe*cfh = 0.8*0.8 =

25 Συνδυαςμόσ Κανόνων (1) Κανόνεσ με ίδιο ςυμπζραςμα if e1 then h (cfh1) if e2 then h (cfh2) cf= cfh1+cfh2*(1-cfh1) αν cfh1, cfh2 >0 cfh1+cfh2*(1+cfh1) αν cfh1, cfh2 <0 (cfh1+cfh2)/(1-min{ cfh1, cfh2 }) αν cfh1*cfh2 <0 25

26 Συνδυαςμόσ Κανόνων (2) Διαδοχικοί κανόνεσ if e1 then e2 (cf1) if e2 then h (cf2) cfe = max{0, cf1} cf = cfe * cf2 26

27 Συνδυαςμόσ Κανόνων (3) if today is rain then tomorrow is rain (0.5) if today is rain and temperature is high then tomorrow is rain (0.7) Επειδι cfh1, cfh2 >0 είναι cf = cfh1+cfh2*(1-cfh1)= *(1-0.5) =

28 R1 if today is rain then tomorrow is rain (0.5) R2 if today is dry then tomorrow is dry (0.5) R3 if today is rain and rainfall is low then tomorrow is dry (0.6) R4 if today is rain and rainfall is low and temperature is low then tomorrow is dry (0.7) R5 if today is dry and temperature is high then tomorrow is rain (0.65) Τίτλοσ Ενότθτασ Παράδειγμα What is the weather today? rain ME= {tomorrow is rain (0.5)}] What is the rainfall today? low To what degree you believe the rainfall is low? 0.85 [R3: cfr3= min(cfe1, cfe2)*cfh= min(1.0, 0.85)*0.6 = 0.51 ME= {tomorrow is rain (0.5) tomorrow is dry (0.51)}] What is the temperature today? low To what degree you believe the temperature is low? 0.95 [R4: cfr4= min(cfe1, cfe2, cf3)* cfh= min(1.0,0.85,0.95)*0.7=0.595 cfr34= cfr3+cfr4*(1-cfr3)= *(1-0.51)= 0.8 ME= {tomorrow is rain (0.5) tomorrow is dry (0.8)}] 28

29 Πλεονεκτιματα-Μειονεκτιματα Πλεονεκτήματα Απλότθτα υπολογιςτικοφ μοντζλου Επιτρζπουν τθ χριςθ κανόνων παραγωγισ ταυτόχρονα με τθν ποςοτικοποίθςθ τθσ αβεβαιότθτασ Επιτρζπουν τθν παραγωγι επεξθγιςεων (μζςω των κανόνων παραγωγισ) Ο προςδιοριςμόσ των ςυντελεςτϊν βεβαιότθτασ είναι ςχετικά ευκολότεροσ από αυτόν των πικανοτιτων Μειονεκτήματα Όχι ςθμαντικι ςυμβολι ςτο διαγνωςτικό αποτζλεςμα Δεν ζχουν αυςτθρι κεωρθτικι κεμελίωςθ Θ ενθμζρωςθ τθσ βάςθσ γνϊςθσ με νζα γνϊςθ οδθγεί ςε αλλαγι των τιμϊν των ςυντελεςτϊν βεβαιότθτασ Υπάρχει δυςκολία ςτθν ζκφραςθ γνϊςθσ ςε οριςμζνεσ περιπτϊςεισ (μεγάλοσ αρικμόσ ςτοιχείων, ειδικζσ εξαρτιςεισ μεταξφ αβζβαιων πεποικιςεων) Τίτλοσ Ενότθτασ 29

30 Σθμείωμα Ιςτορικοφ Εκδόςεων Ζργου Το παρόν ζργο αποτελεί τθν ζκδοςθ

31 Σθμείωμα Αναφοράσ Copyright Πανεπιςτιμιο Πατρϊν, Ιωάννθσ Χατηθλυγεροφδθσ «Ευφυισ Προγραμματιςμόσ». Ζκδοςθ: 1.0. Πάτρα Διακζςιμο από τθ δικτυακι διεφκυνςθ: 31

32 Σθμείωμα Αδειοδότθςθσ Το παρόν υλικό διατίκεται με τουσ όρουσ τθσ άδειασ χριςθσ Creative Commons Αναφορά, Μθ Εμπορικι Χριςθ Παρόμοια Διανομι 4.0 *1+ ι μεταγενζςτερθ, Διεκνισ Ζκδοςθ. Εξαιροφνται τα αυτοτελι ζργα τρίτων π.χ. φωτογραφίεσ, διαγράμματα κ.λ.π., τα οποία εμπεριζχονται ςε αυτό και τα οποία αναφζρονται μαηί με τουσ όρουσ χριςθσ τουσ ςτο «Σθμείωμα Χριςθσ Ζργων Τρίτων». [1] Ωσ Μη Εμπορική ορίηεται θ χριςθ: που δεν περιλαμβάνει άμεςο ι ζμμεςο οικονομικό όφελοσ από τθν χριςθ του ζργου, για το διανομζα του ζργου και αδειοδόχο που δεν περιλαμβάνει οικονομικι ςυναλλαγι ωσ προχπόκεςθ για τθ χριςθ ι πρόςβαςθ ςτο ζργο που δεν προςπορίηει ςτο διανομζα του ζργου και αδειοδόχο ζμμεςο οικονομικό όφελοσ (π.χ. διαφθμίςεισ) από τθν προβολι του ζργου ςε διαδικτυακό τόπο Ο δικαιοφχοσ μπορεί να παρζχει ςτον αδειοδόχο ξεχωριςτι άδεια να χρθςιμοποιεί το ζργο για εμπορικι χριςθ, εφόςον αυτό του ηθτθκεί. 32

33 Διατιρθςθ Σθμειωμάτων Οποιαδιποτε αναπαραγωγι ι διαςκευι του υλικοφ κα πρζπει να ςυμπεριλαμβάνει: το Σθμείωμα Αναφοράσ το Σθμείωμα Αδειοδότθςθσ τθ διλωςθ Διατιρθςθσ Σθμειωμάτων το Σθμείωμα Χριςθσ Ζργων Τρίτων (εφόςον υπάρχει) μαηί με τουσ ςυνοδευόμενουσ υπερςυνδζςμουσ. 33