Τι είδαμε την προηγούμενη φορά

Transcript

1 HY118-Διακριτά Μαθηματικά Παρασκευή, 04/05/2018 Θεωρία πιθανοτήτων Αντώνης Α. Αργυρός e-mal: 07-May May Τι είδαμε την προηγούμενη φορά Μίατυχαία μεταβλητήvείναι κάθε μεταβλητή η τιμή της οποίας είναι άγνωστη, και η τιμή της οποίας εξαρτάται από τις συγκεκριμένες συνθήκες που επικρατούν κατά την εκτέλεση ενός πειράματος. Το πεδίο τηςv, dom[v] {v 1,,v n }, είναι το σύνολο όλων των δυνατών τιμών που η V μπορεί να πάρει. Ο δειγματικός χώροςωτου πειράματος είναι το πεδίο της τυχαίας μεταβλητής, Ω= dom[v](όπως είπαμε, το σύνολο όλων των δυνατών ενδεχομένων τιμών της). Ένα ενδεχόμενο Γ είναι ένα υποσύνολο του δειγματικού χώρου Ω Απλά / σύνθετα ενδεχόμενα Ασυμβίβαστα ενδεχόμενα Πιθανότητα: Αξιωματικός ορισμός Έστω p μία συνάρτηση p:ω [0,1] τέτοια ώστε sω p(s) = 1, και 0 p(s) 1, sω Τότε, η πιθανότητα κάθε ενδεχομένου ΓΩείναι: p( ): p( s) s 07-May May

2 Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Έστω επίσης ότι γνωρίζουμε ότι από τις 515 γυναίκες, οι 90 είναι φίλαθλοι και ότι από τους 485 άνδρες οι 302 είναι φίλαθλοι Πείραμα: τυχαία επιλογή ενός ατόμου. γφ: όλες οι γυναίκες φίλαθλοι γμ:όλες οι γυναίκες που δεν είναι φίλαθλοι αφ:όλοι οι άντρες φίλαθλοι αμ: όλοι οι άντρες που δεν είναι φίλαθλοι Δειγματικός χώρος Ω =γφγμαφαμ Τα γφ, γμ, αφ, αμ είναι ασυμβίβαστα, σύνθετα ενδεχόμενα η ένωση των οποίων δίνει το δειγματικό χώρο 07-May May Έστω 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Ποια είναι η πιθανότητα να επιλέξουμε άτομο που είναι φίλαθλος ή είναι γυναίκα;(ω={γφ, γμ, αφ, αμ}) 1 ος τρόπος 2 ος τρόπος 3 ος τρόπος 07-May May

3 Ποια είναι η πιθανότητα να επιλέξουμε άντρα που δεν είναι φίλαθλος ή γυναίκα που είναι φίλαθλος; 1 ος τρόπος Ανεξάρτητα ενδεχόμενα Δύο ενδεχόμενα E,Fονομάζονται ανεξάρτηταεάν και μόνο αν p(ef) = p(e) p(f). Διαισθητικά, δύο ενδεχόμενα είναι ανεξάρτητα αν και μόνο αν το να συμβεί το ένα δεν κάνει περισσότερο ή λιγότερο πιθανό το να συμβεί το άλλο. 2 ος τρόπος 07-May May Το προηγούμενοπαράδειγμά μας:έστω ότι 1000 άτομα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; Φ Γ = φίλαθλη γυναίκα => p(φ Γ) = 0,09 p(φ) p(γ) = 0,201 Αρα τα Φ και Γ δεν είναι ανεξάρτητα 07-May May

4 Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση:Έστω δύο ασυμβίβαστα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; Όχι! Εφόσον p(α)>0 και p(b)>0 και ΑΒ =, τότε p(αβ) = 0 p(α)p(b). Άρα ενώ τα Α και Β είναι ασυμβίβαστα, δεν είναι ανεξάρτητα. Σχέση ανεξάρτητων και ασυμβίβαστων ενδεχομένων Ερώτηση: Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; 07-May May Ανεξάρτητα/ασυμβίβαστα ενδεχόμενα Ερώτηση:Έστω δύο ανεξάρτητα ενδεχόμενα Α και Β με p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυμβίβαστα; Όχι! p(α)>0 και p(b)>0 Επίσης, εφόσον είναι ανεξάρτητα, p(αβ)=p(α)p(b) επομένως p(αβ) 0, Άρα ΑΒ Άρα ενώ τα Α και Β είναι ανεξάρτητα, δεν είναι ασυμβίβαστα. Δεσμευμένη πιθανότητα Έστω E, Fενδεχόμενα. Τότε, η δεσμευμένη πιθανότητα του E δεδομένου του F, συμβολίζεται μεp(e F), και ορίζεται ως p(e F) : p(ef)/p(f). Αυτή είναι η πιθανότητα να συμβεί το E, αν μας δοθεί η πληροφορία ότι το ενδεχόμενο F θα συμβεί (είναι γεγονός). 07-May May

5 Δεσμευμένη πιθανότητα, παράδειγμα Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; z k y u x s o p n φωνήεν w r a b c t d e f g h l j v q m Ω = τα γράμματα του Αγγλικού αλφαβήτου Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 z k y u x s o p n φωνήεν w r b c a t d e f g h l j v q m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May May Δεσμευμένη πιθανότητα, παράδειγμα Δεσμευμένη πιθανότητα, παράδειγμα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου.τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; z k y u x s o p n φωνήεν 1 α 9 γράμματα w a b c r t e d f g h l j v q m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράμμα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράμμα να είναι φωνήεν; p(φ) = (#φωνηέντων) /(#γραμμάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγμένο γράμμα ανήκει στα 9 πρώτα γράμματα του αλφαβήτου. Τώρα, ποιά είναι η πιθανότητα το γράμμα να είναι φωνήεν, δοσμένης της επιπρόσθετης πληροφορίας; p(φ 9 πρώτα γράμματα) = (#φωνηέντων ΚΑΙ ανήκουν στα 91 α γράμματα) / 9 = 3/9. Άρα p(φ 9 πρώτα γράμματα) = 3/9 z k y u x s o p n φωνήεν 1 α 9 γράμματα w r b c a t d e f g h l j v q m Ω = τα γράμματα του Αγγλικού αλφαβήτου 07-May

6 Εξήγηση της δεσμευμένης πιθανότητας Δεσμευμένη πιθανότητα Η πιθανότητα να συμβεί το E είναι p(e) (pror probablty) Εάν μας δοθεί η πληροφορία ότι ένα ενδεχόμενο Fσυνέβη, τότε η προσοχή μας εστιάζεται στην περιοχή F. Επομένως, η πιθανότητα να συμβεί το E δεδομένου ότι το F συμβαίνει προσδιορίζεται από εκείνα τα στοιχεία του Ω για τα οποία το Ε και το F συμβαίνουν ταυτόχρονα. Επομένως, η εκ των υστέρων (posteror) πιθανότητα για το E, είναι p(e F)=p(E F)/p(F). Ενδεχόμενο E Ενδεχόμενο E F Ενδεχόμενο F Ω 07-May May Προσοχή! Δεσμευμένη πιθανότητα p( AB) p( A B) p( B) p( BA) p( B A) p( A) Επομένως, αν p(a) p(b), τότε p(a B) p(b A) Π.χ., έστω το πείραμα της ρίψης ενός ζαριού. Έστω Α = έφερα 5 και Β = έφερα περιττό αριθμό. Ποια είναι η p(a B); Ποια είναι η p(b A); p(a B)=1/3 ενώ p(b Α)=1 07-May Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(a B); p(a B)=p(A B)/p(B) p(b)=p(6,3)/6 3 = 6!/(3!*6 3 ) p(a B)=3 P(5,2)/6 3 = 3*5!/(3!*6 3 ) Άρα p(a B) = 3*5!/6! = 3/6= 1/2 07-May

7 Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); Δεσμευμένη πιθανότητα Έστω ότι ρίχνουμε ένα ζάρι τρεις φορές. Έστω τα ενδεχόμενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσμα} Ποια είναι η p(β Α); p(β Α)=p(Β Α)/p(Α) p(α)=1-p(α) = /6 3 Άρα 07-May May Δεσμευμένη πιθανότητα για ανεξάρτητα ενδεχόμενα Εάν ταeκαι Fείναι ανεξάρτητα ενδεχόμενα, τότε ισχύει ότι p(e F) = p(e). p(e F) = p(ef)/p(f) = p(e)p(f)/p(f) = p(e)...άρα, όταν δύο ενδεχόμενα είναι ανεξάρτητα μεταξύ τους, η γνώση ότι συνέβη το ένα δεν επηρεάζει την εκτίμηση της πιθανότητας να συμβεί το άλλο! Ανεξάρτητα ενδεχόμενα Έστω ότι ρίχνουμε δύο νομίσματα στη σειρά. Α= {το 1 ο νόμισμα τυχαίνει κορώνα (Κ)} Β= {το 2 ο νόμισμα τυχαίνει διαφορετικό αποτέλεσμααπό το 1 ο νόμισμα} Είναι τα Α, Β ανεξάρτητα; Ναι, γιατί p(a B) = ½= p(a) Επίσης, p(b A) = ½ = p(b) 07-May May

8 Νόμος της ολικής πιθανότητας Για οποιαδήποτε δύο γεγονότα Εκαι F ισχύει ότι Ε = Ε Ω = Ε (FF) = (Ε F) (E F) Τα (Ε F) και (E F) είναι ασυμβίβαστα Επομένως p(ε)= p(ε F)+p(E F) και άρα p(ε) = p(e F)p(F) + p(e F)p(F) Νόμος της ολικής πιθανότητας Γενικότερα, έστω σύνολο nενδεχομένων F που αποτελούν διαμέρισητου δειγματικού χώρου Ω. Έστω επίσης, ένα ενδεχόμενο Ε. Τότε: n 1 p( E) p( E F) p( F) 07-May May Νόμος του Bayes Γνωρίζουμε ότι για ενδεχόμενα Ε, F: p( FE) p( F E) p( E) Επίσης: p( EF) p( E F) p( EF) p( E F) p( F) p( F) p( E F) p( F) p( F E) p( E) Νόμος του Bayes p( F E) p( E F) p( F) p( E) Thomas Bayes Η βάση τωνbayesan μεθόδωνγια πιθανοκρατική εξαγωγή συμπερασμάτων.πολύ ισχυρή και διαδεδομένη μέθοδος στην τεχνητή νοημοσύνη: Γιαεξόρυξη δεδομένων (data mnng), αυτοματοποιημένη διάγνωση (automated dagnoss), αναγνώριση προτύπων (pattern recognton), στατιστική μοντελοποίηση (statstcal modelng)... Προκύπτει άμεσα από τον ορισμό της δεσμευμένης πιθανότητας 07-May May

9 Νόμος του Bayes Επομένως, λαμβάνοντας υπόψη και το νόμο ολικής πιθανότητας, για ενδεχόμενο Ε και για σύνολο ενδεχομένων F που αποτελούν διαμέρισητου δειγματικού χώρου Ω, ο νόμος του Bayes μπορεί να γραφεί ως: p( F E) p( E F) p( F) n 1 p( E F) p( F) 07-May Thomas Bayes Δύο τσάντες τ 1 και τ 2, περιέχουν άσπρες και μαύρες μπάλες Στην τ 1 έχουμε 75 άσπρες μπάλες και 25 μαύρες. Στην τ 2 τσάντα έχουμε 75 μαύρες μπάλες και 25 άσπρες Επιλέγουμε τυχαία μία από τις δύο τσάντες. Από αυτή την τσάντα, επιλέγουμε τυχαία 5 μπάλες Το αποτέλεσμα είναι 5 άσπρες μπάλες. Ποιά είναι η πιθανότητα να έχουμε επιλέξει την τσάντα τ 1 ; γενικότερα, πως μπορώ από την έκβαση ενός πειράματος να προσδιορίσω την πιθανότητα των ενδεχομένων ενός άλλου πειράματος; 07-May Λύση:Έστω το πείραμα επιλογής της τσάντας.ο δειγματικός χώρος του πειράματος είναι οω={τ 1,τ 2 }. Ξέρουμε ότιp(τ 1 )=p(τ 2 )=1/2 αφού επιλέγουμε τυχαία την τσάντα. ΈστωB το ενδεχόμενο 5άσπρες μπάλες επιλέχθηκαν. Τι πρέπει να υπολογίσουμε; Tην p(τ 1 B)η οποία, από τον κανόνα του Bayes είναι: p( B 1) p( 1) p( 1 ) p( B) 07-May p( B 1) p( 1) p( B 1) p( 1) p( 1 ) p( B) p( B ) p( ) p( B ) p( ) p B p( B ) C(75,5)/ C(100,5) 0,229 1 ( 1) 0,458 p( 1) 1/2 1/2 p B p( B ) C(25,5)/ C(100,5) 0, ( 2) 0,0014 p( 2) 1/2 1/2 0,458 Άρα, p ( (!!!) 1 ) 0,997 0,4580, May

10 Άλλο παράδειγμα Υποθέστε ότι ένα αλκοτέστ βγαίνει θετικό στο 95% των περιπτώσεων μέθης στο 3% των περιπτώσεων μη μέθης. Ας υποθέσουμε επίσης ότι γνωρίζουμε ότι το 0.5% των ανθρώπων οδηγούν μεθυσμένοι. Ποια είναι η πιθανότητα κάποιος να οδηγούσε μεθυσμένος δεδομένου ότι έκανε το τεστ και αυτό βγήκε θετικό; Κανόνας του Bayes Έστω«Μ» σημαίνει «οδηγώ μεθυσμένος» και«n» σημαίνει «οδηγώ νηφάλιος». Έστω«Θ» σημαίνει «θετικό αλκοτέστ» και«a» σημαίνει «αρνητικό αλκοτέστ». Θέλουμε να υπολογίσουμε την πιθανότητα p(m Θ) p( M) p( M) p( M ) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 07-May May Άλλο παράδειγμα p(μ)= 0.005, εφόσον0.5% των ανθρώπων οδηγούν μεθυσμένοι. p(n)=1 P(Μ) = p(θ Μ) = 0.95 : η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι μεθυσμένος p(θ Ν)=0.03, η πιθανότητα ότι το τεστ θα είναι θετικό δεδομένου ότι αυτός που το κάνει είναι νηφάλιος. 07-May Επομένως Κανόνας του Bayes p( M ) p( M) p( M) p( ) p( M) p( M) p( M) p( M) p( N) p( N) 0.95* * * (!!!) 07-May

11 Έστω ότι σε ένα διαγώνισμα, θέλω να φτιάξω ένα θέμα με πολλαπλές επιλογές (έστω m). Θέλω να ξέρω πόσο πιστά η βαθμολόγηση ενός τέτοιου ερωτήματος αντανακλά τις πραγματικές σας γνώσεις Θεωρώ το ενδεχόμενο Γ = {ο φοιτητής γνωρίζει την σωστή απάντηση}. Έστω ότι p(γ) = p. Θεωρώ ότι αν ο φοιτητής δεν γνωρίζει τη σωστή απάντηση, δίνει κάποια τυχαία απάντηση. Έστω το γεγονός Σ = {ο φοιτητής απαντά σωστά} Επομένως, με ενδιαφέρει να διερευνήσω την πιθανότητα p(γ Σ). Προσέξτε ότι: 07-May May