HY118-Διακριτά Μαθηματικά

Transcript

1 HY118-Διακριτά Μαθηματικά Παρασκευή, 04/05/2018 Αντώνης Α. Αργυρός 07-May

2 Θεωρία πιθανοτήτων 07-May

3 Τι είδαμε την προηγούμενη φορά Μία τυχαία μεταβλητή Vείναι κάθε μεταβλητή η τιμή της οποίας είναι άγνωστη, και η τιμή της οποίας εξαρτάται από τις συγκεκριμένες συνθήκες που επικρατούν κατά την εκτέλεση ενός πειράματος. Το πεδίο της V, dom[v] {v 1,,v n }, είναι το σύνολο όλων των δυνατών τιμών που η V μπορεί να πάρει. Ο δειγματικός χώρος Ωτου πειράματος είναι το πεδίο της τυχαίας μεταβλητής, Ω= dom[v](όπως είπαμε, το σύνολο όλων των δυνατών ενδεχομένων τιμών της). Ένα ενδεχόμενο Γ είναι ένα υποσύνολο του δειγματικού χώρου Ω Απλά / σύνθετα ενδεχόμενα Ασυμβίβαστα ενδεχόμενα 07-May

4 Πιθανότητα: Αξιωματικός ορισμός Έστω p μία συνάρτηση p:ω [0,1] τέτοια ώστε s Ω p(s) = 1, και 0 p(s) 1, s Ω Τότε, η πιθανότητα κάθε ενδεχομένου Γ Ωείναι: p( ): p( s) s 07-May

5 Παράδειγμα Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Έστω επίσης ότι γνωρίζουμε ότι από τις 515 γυναίκες, οι 90 είναι φίλαθλοι και ότι από τους 485 άνδρες οι 302 είναι φίλαθλοι Πείραμα: τυχαία επιλογή ενός ατόμου. 07-May

6 Παράδειγμα γφ: όλες οι γυναίκες φίλαθλοι γμ:όλες οι γυναίκες που δεν είναι φίλαθλοι αφ:όλοι οι άντρες φίλαθλοι αμ: όλοι οι άντρες που δεν είναι φίλαθλοι Δειγματικός χώρος Ω =γφ γμ αφ αμ Τα γφ, γμ, αφ, αμ είναι ασυμβίβαστα, σύνθετα ενδεχόμενα η ένωση των οποίων δίνει το δειγματικό χώρο 07-May

7 Παράδειγμα Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. 07-May

8 Παράδειγμα Ποια είναι η πιθανότητα να επιλέξουμε άτομο που είναι φίλαθλος ή είναι γυναίκα;(ω={γφ, γμ, αφ, αμ}) 1 ος τρόπος 2 ος τρόπος 3 ος τρόπος 07-May

9 Παράδειγμα Ποια είναι η πιθανότητα να επιλέξουμε άντρα που δεν είναι φίλαθλος ή γυναίκα που είναι φίλαθλος; 1 ος τρόπος 2 ος τρόπος 07-May

10 Ανεξάρτητα ενδεχόμενα Δύο ενδεχόμενα E, Fονομάζονταιανεξάρτηταεάν και μόνο αν p(e F) = p(e) p(f). Διαισθητικά, δύο ενδεχόμενα είναι ανεξάρτητα αν και μόνο αν το να συμβεί το ένα δεν κάνει περισσότερο ή λιγότερο πιθανό το να συμβεί το άλλο. 07-May

11 Παράδειγμα Το προηγούμενοπαράδειγμά μας:έστω ότι 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Φ Γ = φίλαθλη γυναίκα => p(φ Γ) = 0,09 p(φ) p(γ) = 0,201 Αρα τα Φ και Γ δεν είναι ανεξάρτητα 07-May

12 Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; 07-May

13 Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; Όχι! Εφόσον p(α)>0 και p(b)>0 και Α Β =, τότε p(α Β) = 0 p(α)p(b). Άρα ενώ τα Α και Β είναι ασυμβίβαστα, δεν είναι ανεξάρτητα. 07-May

14 Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση: Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; 07-May

15 Ανεξάρτητα/ασυμβίβαστα ενδεχόμενα Ερώτηση:Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; Όχι! p(α)>0 και p(b)>0 Επίσης, εφόσον είναι ανεξάρτητα, p(α Β)=p(Α)p(B) επομένως p(α Β) 0, Άρα Α Β Άρα ενώ τα Α και Β είναι ανεξάρτητα, δεν είναι ασυμβίβαστα. 07-May

16 Δεσμευμένη πιθανότητα Έστω E, Fενδεχόμενα. Τότε, η δεσμευμένη πιθανότητα του E δεδομένου του F, συμβολίζεται μεp(e F), και ορίζεται ως p(e F) : p(e F)/p(F). Αυτή είναι η πιθανότητα να συμβεί το E, αν μας δοθεί η πληροφορία ότι το ενδεχόμενο F θα συμβεί (είναι γεγονός). 07-May

17 Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; z k x s p φωνήεν y u o n w a e i j b c d h v f g q r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May

18 Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 z x s p k φωνήεν y u o n w a i j e b c h v d g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May

19 Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου.τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; z x s p k φωνήεν y u o n w a i j e b c h v d 1 α 9 γράμματα g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May

20 Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων)/(#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου. Τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; p(φ 9 πρώτα γράμματα) = (#φωνηέντων ΚΑΙ ανήκουν στα 91 α γράμματα) / 9 = 3/9. Άρα p(φ 9 πρώτα γράμματα) = 3/9 07-May z x s p k φωνήεν y u o n w a i j e b c h v d 1 α 9 γράμματα g q f r t l m Ω = τα γράμματα του Αγγλικού αλφαβήτου

21 Εξήγηση της δεσμευμένης πιθανότητας Η πιθανότητα να συμβεί το E είναι p(e) (prior probability) Εάν μας δοθεί η πληροφορία ότι ένα ενδεχόμενο Fσυνέβη, τότε η προσοχή μας εστιάζεται στην περιοχή F. Επομένως, η πιθανότητα να συμβεί το E δεδομένου ότι το F συμβαίνει προσδιορίζεται από εκείνα τα στοιχεία του Ω για τα οποία το Ε και το F συμβαίνουν ταυτόχρονα. Επομένως, η εκ των υστέρων (posterior) πιθανότητα για το E, είναι p(e F)=p(E F)/p(F). Ενδεχόμενο E Ενδεχόμενο E F Ενδεχόμενο F Ω 07-May

22 Δεσμευμένη πιθανότητα 07-May

23 Προσοχή! p( A B) p( B A) p( B A) p( A) Επομένως, αν p(a) p(b), τότε p(a B) p(b A) Π.χ., έστω το πείραμα της ρίψης ενός ζαριού. Έστω Α = έφερα 5 και Β = έφερα περιττό αριθμό. Ποια είναι η p(a B); Ποια είναι η p(b A); p(a B)=1/3 ενώ p(b Α)=1 p( A B) p( B) 07-May

24 Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(a B); p(a B)=p(A B)/p(B) p(b)=p(6,3)/6 3 = 6!/(3!*6 3 ) p(a B)=3 P(5,2)/6 3 = 3*5!/(3!*6 3 ) Άρα p(a B) = 3*5!/6! = 3/6= 1/2 07-May

25 Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); 07-May

26 Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); p(β Α)=p(Β Α)/p(Α) p(α)=1-p(α) = /6 3 Άρα 07-May

27 Δεσμευμένη πιθανότητα για ανεξάρτητα ενδεχόμενα Εάν τα Eκαι Fείναι ανεξάρτητα ενδεχόμενα, τότε ισχύει ότι p(e F) = p(e). p(e F) = p(e F)/p(F) = p(e)p(f)/p(f) = p(e)...άρα, όταν δύο ενδεχόμενα είναι ανεξάρτητα μεταξύ τους, η γνώση ότι συνέβη το ένα δεν επηρεάζει την εκτίμηση της πιθανότητας να συμβεί το άλλο! 07-May

28 Ανεξάρτητα ενδεχόμενα Έστω ότι ρίχνουμε δύο νομίσματα στη σειρά. Α= {το 1 ο νόμισμα τυχαίνει κορώνα (Κ)} Β= {το 2 ο νόμισμα τυχαίνει διαφορετικό αποτέλεσμααπό το 1 ο νόμισμα} Είναι τα Α, Β ανεξάρτητα; Ναι, γιατί p(a B) = ½= p(a) Επίσης, p(b A) = ½ = p(b) 07-May

29 Νόμος της ολικής πιθανότητας Για οποιαδήποτε δύο γεγονότα Εκαι F ισχύει ότι Ε = Ε Ω = Ε (F F) = (Ε F) (E F) Τα (Ε F) και (E F) είναι ασυμβίβαστα Επομένως p(ε) = p(ε F)+p(E F) και άρα p(ε) = p(e F)p(F) + p(e F)p(F) 07-May

30 Νόμος της ολικής πιθανότητας Γενικότερα, έστω σύνολο nενδεχομένων F i που αποτελούν διαμέρισητου δειγματικού χώρου Ω. Έστω επίσης, ένα ενδεχόμενο Ε. Τότε: n p( E) p( E F) p( F) i 1 i i 07-May

31 Νόμος του Bayes Γνωρίζουμε ότι για ενδεχόμενα Ε, F: Επίσης: p( F E) p( F E) p( E) p( E F) p( E F) p( E F) p( E F) p( F) p( F) p( E F) p( F) p( F E) p( E) 07-May

32 Νόμος του Bayes Thomas Bayes p( F E) p( E F) p( F) p( E) Η βάση των Bayesian μεθόδωνγια πιθανοκρατική εξαγωγή συμπερασμάτων.πολύ ισχυρή και διαδεδομένη μέθοδος στην τεχνητή νοημοσύνη: Γιαεξόρυξη δεδομένων (data mining), αυτοματοποιημένη διάγνωση (automated diagnosis), αναγνώριση προτύπων (pattern recognition), στατιστική μοντελοποίηση (statistical modeling)... Προκύπτει άμεσα από τον ορισμό της δεσμευμένης πιθανότητας 07-May

33 Νόμος του Bayes Thomas Bayes Επομένως, λαμβάνοντας υπόψη και το νόμο ολικής πιθανότητας, για ενδεχόμενο Ε και για σύνολο ενδεχομένων F i που αποτελούν διαμέρισητου δειγματικού χώρου Ω, ο νόμος του Bayes μπορεί να γραφεί ως: p( F E) i p( E F) p( F) n i 1 i p( E F) p( F) i i i 07-May

34 Παράδειγμα Δύο τσάντες τ 1 και τ 2, περιέχουν άσπρες και μαύρες μπάλες Στην τ 1 έχουμε 75 άσπρες μπάλες και 25 μαύρες. Στην τ 2 τσάντα έχουμε 75 μαύρες μπάλες και 25 άσπρες Επιλέγουμε τυχαία μία από τις δύο τσάντες. Από αυτή την τσάντα, επιλέγουμε τυχαία 5 μπάλες Το αποτέλεσμα είναι 5 άσπρες μπάλες. Ποιά είναι η πιθανότητα να έχουμε επιλέξει την τσάντα τ 1 ; γενικότερα, πως μπορώ από την έκβαση ενός πειράματος να προσδιορίσω την πιθανότητα των ενδεχομένων ενός άλλου πειράματος; 07-May

35 Παράδειγμα Λύση:Έστω το πείραμα επιλογής της τσάντας.ο δειγματικός χώρος του πειράματος είναι οω={τ 1,τ 2 }. Ξέρουμε ότιp(τ 1 )=p(τ 2 )=1/2 αφού επιλέγουμε τυχαία την τσάντα. ΈστωB το ενδεχόμενο 5άσπρες μπάλες επιλέχθηκαν. Τι πρέπει να υπολογίσουμε; Tην p(τ 1 B)η οποία, από τον κανόνα του Bayes είναι: p( B 1) p( 1) p( 1 ) p( B) 07-May

36 Παράδειγμα p( ) 1 p( B 1) p( 1) p( B 1) p( 1) p( B) p( B ) p( ) p( B ) p( ) p B p( B ) C(75,5)/ C(100,5) 0,229 1 ( 1) 0,458 p( 1) 1/2 1/2 p( B ) C(25,5)/ C(100,5) 0, ( 2) 0,0014 p( 2) 1/2 1/2 p B 0,458 Άρα, p ( (!!!) 1 ) 0,997 0,458 0, May

37 Άλλο παράδειγμα Υποθέστε ότι ένα αλκοτέστ βγαίνει θετικό στο 95% των περιπτώσεων μέθης στο 3% των περιπτώσεων μη μέθης. Ας υποθέσουμε επίσης ότι γνωρίζουμε ότι το 0.5% των ανθρώπων οδηγούν μεθυσμένοι. Ποια είναι η πιθανότητα κάποιος να οδηγούσε μεθυσμένος δεδομένου ότι έκανε το τεστ και αυτό βγήκε θετικό; 07-May

38 Κανόνας του Bayes Έστω«Μ» σημαίνει «οδηγώ μεθυσμένος» και«n» σημαίνει «οδηγώ νηφάλιος». Έστω«Θ» σημαίνει «θετικό αλκοτέστ» και«a» σημαίνει «αρνητικό αλκοτέστ». Θέλουμε να υπολογίσουμε την πιθανότητα p(m Θ) p( M ) p( M) p( M) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 07-May

39 Άλλο παράδειγμα p(μ)= 0.005, εφόσον0.5% των ανθρώπων οδηγούν μεθυσμένοι. p(n)=1 P(Μ) = p(θ Μ) = 0.95 : η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι μεθυσμένος p(θ Ν)=0.03, η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι νηφάλιος. 07-May

40 Κανόνας του Bayes Επομένως p( M ) p( M) p( M) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 0.95* * * (!!!) 07-May

41 Παράδειγμα Έστω ότι σε ένα διαγώνισμα, θέλω να φτιάξω ένα θέμα με πολλαπλές επιλογές (έστω m). Θέλω να ξέρω πόσο πιστά η βαθμολόγηση ενός τέτοιου ερωτήματος αντανακλά τις πραγματικές σας γνώσεις Θεωρώ το ενδεχόμενο Γ = {ο φοιτητής γνωρίζει την σωστή απάντηση}. Έστω ότι p(γ) = p. Θεωρώ ότι αν ο φοιτητής δεν γνωρίζει τη σωστή απάντηση, δίνει κάποια τυχαία απάντηση. 07-May

42 Παράδειγμα Έστω το γεγονός Σ = {ο φοιτητής απαντά σωστά} Επομένως, με ενδιαφέρει να διερευνήσω την πιθανότητα p(γ Σ). Προσέξτε ότι: 07-May