HY118-Διακριτά Μαθηματικά

HY118-Διακριτά Μαθηματικά Παρασκευή, 04/05/2018 Αντώνης Α. Αργυρός e-mail: argyros@csd.uoc.gr 07-May-18 1 1

Θεωρία πιθανοτήτων 07-May-18 2 2

Τι είδαμε την προηγούμενη φορά Μία τυχαία μεταβλητή Vείναι κάθε μεταβλητή η τιμή της οποίας είναι άγνωστη, και η τιμή της οποίας εξαρτάται από τις συγκεκριμένες συνθήκες που επικρατούν κατά την εκτέλεση ενός πειράματος. Το πεδίο της V, dom[v] {v 1,,v n }, είναι το σύνολο όλων των δυνατών τιμών που η V μπορεί να πάρει. Ο δειγματικός χώρος Ωτου πειράματος είναι το πεδίο της τυχαίας μεταβλητής, Ω= dom[v](όπως είπαμε, το σύνολο όλων των δυνατών ενδεχομένων τιμών της). Ένα ενδεχόμενο Γ είναι ένα υποσύνολο του δειγματικού χώρου Ω Απλά / σύνθετα ενδεχόμενα Ασυμβίβαστα ενδεχόμενα 07-May-18 3 3

Πιθανότητα: Αξιωματικός ορισμός Έστω p μία συνάρτηση p:ω [0,1] τέτοια ώστε s Ω p(s) = 1, και 0 p(s) 1, s Ω Τότε, η πιθανότητα κάθε ενδεχομένου Γ Ωείναι: p( ): p( s) s 07-May-18 4 4

Παράδειγμα Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Έστω επίσης ότι γνωρίζουμε ότι από τις 515 γυναίκες, οι 90 είναι φίλαθλοι και ότι από τους 485 άνδρες οι 302 είναι φίλαθλοι Πείραμα: τυχαία επιλογή ενός ατόμου. 07-May-18 5 5

Παράδειγμα γφ: όλες οι γυναίκες φίλαθλοι γμ:όλες οι γυναίκες που δεν είναι φίλαθλοι αφ:όλοι οι άντρες φίλαθλοι αμ: όλοι οι άντρες που δεν είναι φίλαθλοι Δειγματικός χώρος Ω =γφ γμ αφ αμ Τα γφ, γμ, αφ, αμ είναι ασυμβίβαστα, σύνθετα ενδεχόμενα η ένωση των οποίων δίνει το δειγματικό χώρο 07-May-18 6 6

Παράδειγμα Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. 07-May-18 7 7

Παράδειγμα Ποια είναι η πιθανότητα να επιλέξουμε άτομο που είναι φίλαθλος ή είναι γυναίκα;(ω={γφ, γμ, αφ, αμ}) 1 ος τρόπος 2 ος τρόπος 3 ος τρόπος 07-May-18 8 8

Παράδειγμα Ποια είναι η πιθανότητα να επιλέξουμε άντρα που δεν είναι φίλαθλος ή γυναίκα που είναι φίλαθλος; 1 ος τρόπος 2 ος τρόπος 07-May-18 9 9

Ανεξάρτητα ενδεχόμενα Δύο ενδεχόμενα E, Fονομάζονταιανεξάρτηταεάν και μόνο αν p(e F) = p(e) p(f). Διαισθητικά, δύο ενδεχόμενα είναι ανεξάρτητα αν και μόνο αν το να συμβεί το ένα δεν κάνει περισσότερο ή λιγότερο πιθανό το να συμβεί το άλλο. 07-May-18 10 10

Παράδειγμα Το προηγούμενοπαράδειγμά μας:έστω ότι 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Φ Γ = φίλαθλη γυναίκα => p(φ Γ) = 0,09 p(φ) p(γ) = 0,201 Αρα τα Φ και Γ δεν είναι ανεξάρτητα 07-May-18 11 11

Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; 07-May-18 12 12

Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; Όχι! Εφόσον p(α)>0 και p(b)>0 και Α Β =, τότε p(α Β) = 0 p(α)p(b). Άρα ενώ τα Α και Β είναι ασυμβίβαστα, δεν είναι ανεξάρτητα. 07-May-18 13 13

Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση: Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; 07-May-18 14 14

Ανεξάρτητα/ασυμβίβαστα ενδεχόμενα Ερώτηση:Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; Όχι! p(α)>0 και p(b)>0 Επίσης, εφόσον είναι ανεξάρτητα, p(α Β)=p(Α)p(B) επομένως p(α Β) 0, Άρα Α Β Άρα ενώ τα Α και Β είναι ανεξάρτητα, δεν είναι ασυμβίβαστα. 07-May-18 15 15

Δεσμευμένη πιθανότητα Έστω E, Fενδεχόμενα. Τότε, η δεσμευμένη πιθανότητα του E δεδομένου του F, συμβολίζεται μεp(e F), και ορίζεται ως p(e F) : p(e F)/p(F). Αυτή είναι η πιθανότητα να συμβεί το E, αν μας δοθεί η πληροφορία ότι το ενδεχόμενο F θα συμβεί (είναι γεγονός). 07-May-18 16 16

Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; z k x s p φωνήεν y u o n w a e i j b c d h v f g q r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May-18 17 17

Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 z x s p k φωνήεν y u o n w a i j e b c h v d g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May-18 18 18

Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου.τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; z x s p k φωνήεν y u o n w a i j e b c h v d 1 α 9 γράμματα g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May-18 19 19

Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων)/(#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου. Τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; p(φ 9 πρώτα γράμματα) = (#φωνηέντων ΚΑΙ ανήκουν στα 91 α γράμματα) / 9 = 3/9. Άρα p(φ 9 πρώτα γράμματα) = 3/9 07-May-18 20 20 z x s p k φωνήεν y u o n w a i j e b c h v d 1 α 9 γράμματα g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου

Εξήγηση της δεσμευμένης πιθανότητας Η πιθανότητα να συμβεί το E είναι p(e) (prior probability) Εάν μας δοθεί η πληροφορία ότι ένα ενδεχόμενο Fσυνέβη, τότε η προσοχή μας εστιάζεται στην περιοχή F. Επομένως, η πιθανότητα να συμβεί το E δεδομένου ότι το F συμβαίνει προσδιορίζεται από εκείνα τα στοιχεία του Ω για τα οποία το Ε και το F συμβαίνουν ταυτόχρονα. Επομένως, η εκ των υστέρων (posterior) πιθανότητα για το E, είναι p(e F)=p(E F)/p(F). Ενδεχόμενο E Ενδεχόμενο E F Ενδεχόμενο F Ω 07-May-18 21 21

Δεσμευμένη πιθανότητα 07-May-18 22 22

Προσοχή! p( A B) p( B A) p( B A) p( A) Επομένως, αν p(a) p(b), τότε p(a B) p(b A) Π.χ., έστω το πείραμα της ρίψης ενός ζαριού. Έστω Α = έφερα 5 και Β = έφερα περιττό αριθμό. Ποια είναι η p(a B); Ποια είναι η p(b A); p(a B)=1/3 ενώ p(b Α)=1 p( A B) p( B) 07-May-18 23 23

Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(a B); p(a B)=p(A B)/p(B) p(b)=p(6,3)/6 3 = 6!/(3!*6 3 ) p(a B)=3 P(5,2)/6 3 = 3*5!/(3!*6 3 ) Άρα p(a B) = 3*5!/6! = 3/6= 1/2 07-May-18 24 24

Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); 07-May-18 25 25

Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); p(β Α)=p(Β Α)/p(Α) p(α)=1-p(α) = 1-5 3 /6 3 Άρα 07-May-18 26 26

Δεσμευμένη πιθανότητα για ανεξάρτητα ενδεχόμενα Εάν τα Eκαι Fείναι ανεξάρτητα ενδεχόμενα, τότε ισχύει ότι p(e F) = p(e). p(e F) = p(e F)/p(F) = p(e)p(f)/p(f) = p(e)...άρα, όταν δύο ενδεχόμενα είναι ανεξάρτητα μεταξύ τους, η γνώση ότι συνέβη το ένα δεν επηρεάζει την εκτίμηση της πιθανότητας να συμβεί το άλλο! 07-May-18 27 27

Ανεξάρτητα ενδεχόμενα Έστω ότι ρίχνουμε δύο νομίσματα στη σειρά. Α= {το 1 ο νόμισμα τυχαίνει κορώνα (Κ)} Β= {το 2 ο νόμισμα τυχαίνει διαφορετικό αποτέλεσμααπό το 1 ο νόμισμα} Είναι τα Α, Β ανεξάρτητα; Ναι, γιατί p(a B) = ½= p(a) Επίσης, p(b A) = ½ = p(b) 07-May-18 28 28

Νόμος της ολικής πιθανότητας Για οποιαδήποτε δύο γεγονότα Εκαι F ισχύει ότι Ε = Ε Ω = Ε (F F) = (Ε F) (E F) Τα (Ε F) και (E F) είναι ασυμβίβαστα Επομένως p(ε) = p(ε F)+p(E F) και άρα p(ε) = p(e F)p(F) + p(e F)p(F) 07-May-18 29 29

Νόμος της ολικής πιθανότητας Γενικότερα, έστω σύνολο nενδεχομένων F i που αποτελούν διαμέρισητου δειγματικού χώρου Ω. Έστω επίσης, ένα ενδεχόμενο Ε. Τότε: n p( E) p( E F) p( F) i 1 i i 07-May-18 30 30

Νόμος του Bayes Γνωρίζουμε ότι για ενδεχόμενα Ε, F: Επίσης: p( F E) p( F E) p( E) p( E F) p( E F) p( E F) p( E F) p( F) p( F) p( E F) p( F) p( F E) p( E) 07-May-18 31 31

Νόμος του Bayes Thomas Bayes 1702-1761 p( F E) p( E F) p( F) p( E) Η βάση των Bayesian μεθόδωνγια πιθανοκρατική εξαγωγή συμπερασμάτων.πολύ ισχυρή και διαδεδομένη μέθοδος στην τεχνητή νοημοσύνη: Γιαεξόρυξη δεδομένων (data mining), αυτοματοποιημένη διάγνωση (automated diagnosis), αναγνώριση προτύπων (pattern recognition), στατιστική μοντελοποίηση (statistical modeling)... Προκύπτει άμεσα από τον ορισμό της δεσμευμένης πιθανότητας 07-May-18 32 32

Νόμος του Bayes Thomas Bayes 1702-1761 Επομένως, λαμβάνοντας υπόψη και το νόμο ολικής πιθανότητας, για ενδεχόμενο Ε και για σύνολο ενδεχομένων F i που αποτελούν διαμέρισητου δειγματικού χώρου Ω, ο νόμος του Bayes μπορεί να γραφεί ως: p( F E) i p( E F) p( F) n i 1 i p( E F) p( F) i i i 07-May-18 33 33

Παράδειγμα Δύο τσάντες τ 1 και τ 2, περιέχουν άσπρες και μαύρες μπάλες Στην τ 1 έχουμε 75 άσπρες μπάλες και 25 μαύρες. Στην τ 2 τσάντα έχουμε 75 μαύρες μπάλες και 25 άσπρες Επιλέγουμε τυχαία μία από τις δύο τσάντες. Από αυτή την τσάντα, επιλέγουμε τυχαία 5 μπάλες Το αποτέλεσμα είναι 5 άσπρες μπάλες. Ποιά είναι η πιθανότητα να έχουμε επιλέξει την τσάντα τ 1 ; γενικότερα, πως μπορώ από την έκβαση ενός πειράματος να προσδιορίσω την πιθανότητα των ενδεχομένων ενός άλλου πειράματος; 07-May-18 34 34

Παράδειγμα Λύση:Έστω το πείραμα επιλογής της τσάντας.ο δειγματικός χώρος του πειράματος είναι οω={τ 1,τ 2 }. Ξέρουμε ότιp(τ 1 )=p(τ 2 )=1/2 αφού επιλέγουμε τυχαία την τσάντα. ΈστωB το ενδεχόμενο 5άσπρες μπάλες επιλέχθηκαν. Τι πρέπει να υπολογίσουμε; Tην p(τ 1 B)η οποία, από τον κανόνα του Bayes είναι: p( B 1) p( 1) p( 1 ) p( B) 07-May-18 35 35

Παράδειγμα p( ) 1 p( B 1) p( 1) p( B 1) p( 1) p( B) p( B ) p( ) p( B ) p( ) 1 1 2 2 p B p( B ) C(75,5)/ C(100,5) 0,229 1 ( 1) 0,458 p( 1) 1/2 1/2 p( B ) C(25,5)/ C(100,5) 0,0007 2 ( 2) 0,0014 p( 2) 1/2 1/2 p B 0,458 Άρα, p ( (!!!) 1 ) 0,997 0,458 0,0014 07-May-18 36 36

Άλλο παράδειγμα Υποθέστε ότι ένα αλκοτέστ βγαίνει θετικό στο 95% των περιπτώσεων μέθης στο 3% των περιπτώσεων μη μέθης. Ας υποθέσουμε επίσης ότι γνωρίζουμε ότι το 0.5% των ανθρώπων οδηγούν μεθυσμένοι. Ποια είναι η πιθανότητα κάποιος να οδηγούσε μεθυσμένος δεδομένου ότι έκανε το τεστ και αυτό βγήκε θετικό; 07-May-18 37 37

Κανόνας του Bayes Έστω«Μ» σημαίνει «οδηγώ μεθυσμένος» και«n» σημαίνει «οδηγώ νηφάλιος». Έστω«Θ» σημαίνει «θετικό αλκοτέστ» και«a» σημαίνει «αρνητικό αλκοτέστ». Θέλουμε να υπολογίσουμε την πιθανότητα p(m Θ) p( M ) p( M) p( M) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 07-May-18 38 38

Άλλο παράδειγμα p(μ)= 0.005, εφόσον0.5% των ανθρώπων οδηγούν μεθυσμένοι. p(n)=1 P(Μ) = 0.995. p(θ Μ) = 0.95 : η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι μεθυσμένος p(θ Ν)=0.03, η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι νηφάλιος. 07-May-18 39 39

Κανόνας του Bayes Επομένως p( M ) p( M) p( M) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 0.95*0.005 0.95*0.005 0.03*0.995 0.137 (!!!) 07-May-18 40 40

Παράδειγμα Έστω ότι σε ένα διαγώνισμα, θέλω να φτιάξω ένα θέμα με πολλαπλές επιλογές (έστω m). Θέλω να ξέρω πόσο πιστά η βαθμολόγηση ενός τέτοιου ερωτήματος αντανακλά τις πραγματικές σας γνώσεις Θεωρώ το ενδεχόμενο Γ = {ο φοιτητής γνωρίζει την σωστή απάντηση}. Έστω ότι p(γ) = p. Θεωρώ ότι αν ο φοιτητής δεν γνωρίζει τη σωστή απάντηση, δίνει κάποια τυχαία απάντηση. 07-May-18 41 41

Παράδειγμα Έστω το γεγονός Σ = {ο φοιτητής απαντά σωστά} Επομένως, με ενδιαφέρει να διερευνήσω την πιθανότητα p(γ Σ). Προσέξτε ότι: 07-May-18 42 42