HY118- ιακριτά Μαθηµατικά Πέµπτη, 12/05/2016 Αντώνης Α. Αργυρός e-mail: argyros@csd.uoc.gr 5/13/2016 1 1
Θεωρία πιθανοτήτων 5/13/2016 2 2
Τι είδαµε την προηγούµενη φορά Μίατυχαία µεταβλητή Vείναι κάθε µεταβλητή η τιµή της οποίας είναι άγνωστη, και η τιµή της οποίας εξαρτάται από τις συγκεκριµένες συνθήκες που επικρατούν κατά την εκτέλεση ενός πειράµατος. Το πεδίο της V, dom[v] {v 1,,v n }, είναι το σύνολο όλων των δυνατών τιµών που η V µπορεί να πάρει. Ο δειγµατικός χώροςωτου πειράµατος είναι το πεδίο της τυχαίας µεταβλητής, Ω = dom[v] (όπως είπαµε, το σύνολο όλων των δυνατών ενδεχοµένων τιµών της). Ένα ενδεχόµενο Γ είναι ένα υποσύνολο του δειγµατικού χώρου Ω Απλά / σύνθετα ενδεχόµενα Ασυµβίβαστα ενδεχόµενα 5/13/2016 3 3
Πιθανότητα: Αξιωµατικός ορισµός Έστω p µία συνάρτηση p:ω [0,1] τέτοια ώστε s Ω p(s) = 1, και 0 p(s) 1, s Ω Τότε, η πιθανότητα κάθε ενδεχοµένου Γ Ω είναι: p( ) : p( s) Γ s Γ 5/13/2016 4 4
Παράδειγµα Έστω 1000 άτοµα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Έστω επίσης ότι γνωρίζουµε ότι από τις 515 γυναίκες, οι 90 είναι φίλαθλοι και ότι από τους 485 άνδρες οι 302 είναι φίλαθλοι Πείραµα: τυχαία επιλογή ενός ατόµου. 5/13/2016 5 5
Παράδειγµα γφ: όλες οι γυναίκες φίλαθλοι γµ: όλες οι γυναίκες που δεν είναι φίλαθλοι αφ: όλοι οι άντρες φίλαθλοι αµ: όλοι οι άντρες που δεν είναι φίλαθλοι ειγµατικός χώρος Ω =γφ γµ αφ αµ Τα γφ, γµ, αφ, αµ είναι ασυµβίβαστα, σύνθετα ενδεχόµενα η ένωση των οποίων δίνει το δειγµατικό χώρο 5/13/2016 6 6
Παράδειγµα Έστω 1000 άτοµα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. 5/13/2016 7 7
Παράδειγµα Ποια είναι η πιθανότητα να επιλέξουµε άτοµο που είναι φίλαθλος ήείναι γυναίκα; (Ω={γφ, γµ, αφ, αµ}) 1 ος τρόπος 2 ος τρόπος 3 ος τρόπος 5/13/2016 8 8
Παράδειγµα Ποια είναι η πιθανότητα να επιλέξουµε άντρα που δεν είναι φίλαθλος ή γυναίκα που είναι φίλαθλος; 1 ος τρόπος 2 ος τρόπος 5/13/2016 9 9
Ανεξάρτητα ενδεχόµενα ύο ενδεχόµενα E, Fονοµάζονταιανεξάρτηταεάν και µόνο αν p(e F) = p(e) p(f). ιαισθητικά, δύο ενδεχόµενα είναι ανεξάρτητα αν και µόνο αν το να συµβεί το ένα δεν κάνει περισσότερο ή λιγότερο πιθανό το να συµβεί το άλλο. 5/13/2016 10 10
Παράδειγµα Το προηγούµενοπαράδειγµά µας:έστω ότι 1000 άτοµα παρακολουθούν έναν αγώνα. Από αυτά, 515 είναι γυναίκες και 485 είναι άνδρες. Φ Γ = φίλαθλη γυναίκα => p(φ Γ) = 0,09 p(φ) p(γ) = 0,201 Αρα τα Φ και Γ δεν είναι ανεξάρτητα 5/13/2016 11 11
Ανεξάρτητα/ασυµβίβαστα ενδεχόµενα Ερώτηση:Έστω δύο ασυµβίβαστα ενδεχόµενα Α και Β µε p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; 5/13/2016 12 12
Ανεξάρτητα/ασυµβίβαστα ενδεχόµενα Ερώτηση:Έστω δύο ασυµβίβαστα ενδεχόµενα Α και Β µε p(a)>0 και p(β)>0. Eίναι ανεξάρτητα; Όχι! Εφόσον p(α)>0 και p(b)>0 και Α Β =, τότε p(α Β) = 0 p(α)p(b). Άρα ενώ τα Α και Β είναι ασυµβίβαστα, δεν είναι ανεξάρτητα. 5/13/2016 13 13
Ανεξάρτητα/ασυµβίβαστα ενδεχόµενα Ερώτηση: Έστω δύο ανεξάρτητα ενδεχόµενα Α και Β µε p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυµβίβαστα; 5/13/2016 14 14
Ανεξάρτητα/ασυµβίβαστα ενδεχόµενα Ερώτηση:Έστω δύο ανεξάρτητα ενδεχόµενα Α και Β µε p(a)>0 και p(β)>0. Είναι κατ ανάγκη ασυµβίβαστα; Όχι! p(α)>0 και p(b)>0 Επίσης, εφόσον είναι ανεξάρτητα, p(α Β)=p(Α)p(B) εποµένως p(α Β) 0, Άρα Α Β Άρα ενώ τα Α και Β είναι ανεξάρτητα, δεν είναι ασυµβίβαστα. 5/13/2016 15 15
εσµευµένη πιθανότητα Έστω E, Fενδεχόµενα. Τότε, ηδεσµευµένη πιθανότητατου E δεδοµένου του F, συµβολίζεται µε p(e F), και ορίζεται ως p(e F) : p(e F)/p(F). Αυτή είναι η πιθανότητα να συµβεί το E, αν µας δοθεί η πληροφορία ότι το ενδεχόµενο F θα συµβεί (είναι γεγονός). 5/13/2016 16 16
εσµευµένη πιθανότητα, παράδειγµα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράµµα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράµµα να είναι φωνήεν; z k x s p φωνήεν y u o n w a e i j b d h v c f g q r t l m Ω = τα γράµµατα του Αγγλικού αλφαβήτου 5/13/2016 17 17
εσµευµένη πιθανότητα, παράδειγµα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράµµα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράµµα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραµµάτων) = 6/26 z x s p k φωνήεν y u o n w a i j e b h v d g c q f r t l m Ω = τα γράµµατα του Αγγλικού αλφαβήτου 5/13/2016 18 18
εσµευµένη πιθανότητα, παράδειγµα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράµµα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράµµα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραµµάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγµένο γράµµα ανήκει στα 9 πρώτα γράµµατα του αλφαβήτου.τώρα, ποιά είναι η πιθανότητα το γράµµα να είναι φωνήεν, δοσµένης της επιπρόσθετης πληροφορίας; z x s p k φωνήεν y u o n w a i j e b h v d 1 α 9 γράµµατα g c q f r t l m Ω = τα γράµµατα του Αγγλικού αλφαβήτου 5/13/2016 19 19
εσµευµένη πιθανότητα, παράδειγµα Υποθέστε ότι τελείως τυχαία, επιλέγω ένα γράµµα από το αγγλικό αλφάβητο.ποιά είναι ηπιθανότητα αυτό το γράµµα να είναι φωνήεν; p(φ) = (#φωνηέντων) / (#γραµµάτων) = 6/26 Τώρα, υποθέστε ότι σας λέω ότι το επιλεγµένο γράµµα ανήκει στα 9 πρώτα γράµµατα του αλφαβήτου.τώρα, ποιά είναι η πιθανότητα το γράµµα να είναι φωνήεν, δοσµένης της επιπρόσθετης πληροφορίας; p(φ 9 πρώτα γράµµατα) = (#φωνηέντων ΚΑΙ ανήκουν στα 9 1 α γράµµατα) / 9 = 3/9. Άρα p(φ 9 1 α γράµµατα) = 3/9 5/13/2016 20 20 z x s p k φωνήεν y u o n w a i j e b h v d 1 α 9 γράµµατα g c q f r t l m Ω = τα γράµµατα του Αγγλικού αλφαβήτου
Εξήγηση της δεσµευµένης πιθανότητας Η πιθανότητα να συµβεί το E είναι p(e) (prior probability) Εάν µας δοθεί η πληροφορία ότι ένα ενδεχόµενο Fσυνέβει, τότε η προσοχή µας εστιάζεται στην περιοχή F. Εποµένως, η πιθανότητα να συµβεί το E δεδοµένου ότι το F συµβαίνει προσδιορίζεται από εκείνα τα στοιχεία του Ω για τα οποία το Ε και το F συµβαίνουν ταυτόχρονα. Εποµένως, η εκ των υστέρων (posterior) πιθανότητα για το E, είναι p(e F)=p(E F)/p(F). Ενδεχόµενο E Ενδεχόµενο E F Ενδεχόµενο F Ω 5/13/2016 21 21
εσµευµένη πιθανότητα 5/13/2016 22 22
Προσοχή! p( A B) = p( B A) p( B A) = p( A) Εποµένως, αν p(a) p(b), τότε p(a B) p(b A) Π.χ., έστω το πείραµα της ρίψης ενός ζαριού. Έστω Α = έφερα 5 και Β = έφερα περιττό αριθµό. Ποια είναι η p(a B); Ποια είναι η p(b A); p(a B)=1/3 ενώ p(b Α)=1 p( A B) p( B) 5/13/2016 23 23
εσµευµένη πιθανότητα Έστω ότι ρίχνουµε ένα ζάρι τρεις φορές. Έστω τα ενδεχόµενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσµα} Ποια είναι η p(a B); p(a B)=p(A B)/p(B) p(b)=p(6,3)/6 3 = 6!/(3!*6 3 ) p(a B)=3 P(5,2)/6 3 = 3*5!/(3!*6 3 ) Άρα p(a B) = 3*5!/6! = 3/6= 1/2 5/13/2016 24 24
εσµευµένη πιθανότητα Έστω ότι ρίχνουµε ένα ζάρι τρεις φορές. Έστω τα ενδεχόµενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσµα} Ποια είναι η p(β Α); 5/13/2016 25 25
εσµευµένη πιθανότητα Έστω ότι ρίχνουµε ένα ζάρι τρεις φορές. Έστω τα ενδεχόµενα Α = {κάποια από τις 3 ζαριές κατέληξε σε 1} Β = {οι 3 ζαριές κατέληξαν σε διαφορετικό αποτέλεσµα} Ποια είναι η p(β Α); p(β Α)=p(Β Α)/p(Α) p(α)=1-p(α) = 1-5 3 /6 3 Άρα 5/13/2016 26 26
εσµευµένη πιθανότητα για ανεξάρτητα ενδεχόµενα Εάν τα Eκαι Fείναι ανεξάρτητα ενδεχόµενα, τότε ισχύει ότι p(e F) = p(e). p(e F) = p(e F)/p(F) = p(e)p(f)/p(f) = p(e)...άρα, όταν δύο ενδεχόµενα είναι ανεξάρτητα µεταξύ τους, η γνώση ότι συνέβη το ένα δεν επηρεάζει την εκτίµηση της πιθανότητας να συµβεί το άλλο! 5/13/2016 27 27
Ανεξάρτητα ενδεχόµενα Έστω ότι ρίχνουµε δύο νοµίσµατα στη σειρά. Α= {το 1 ο νόµισµα τυχαίνει κορώνα (Κ)} Β= {το 2 ο νόµισµα τυχαίνει διαφορετικό αποτέλεσµααπό το 1 ο νόµισµα} Είναι τα Α, Β ανεξάρτητα; Ναι, γιατί p(a B) = ½ = p(a) Επίσης, p(b A) = ½ = p(b) 5/13/2016 28 28
Νόµος της ολικής πιθανότητας Για οποιαδήποτε δύο γεγονότα Ε και F ισχύει ότι Ε = Ε Ω = Ε (F F) = (Ε F) (E F) Τα (Ε F) και (E F) είναι ασυµβίβαστα Εποµένως p(ε) = p(ε F) + p(e F) και άρα p(ε) = p(e F)p(F) + p(e F)p(F) 5/13/2016 29 29
Νόµος της ολικής πιθανότητας Γενικότερα, έστω σύνολο nενδεχοµένων F i που αποτελούν διαµέρισητου δειγµατικού χώρου Ω. Έστω επίσης, ένα ενδεχόµενο Ε. Τότε: n = p( E) p( E F ) p( F ) i= 1 i i 5/13/2016 30 30
Νόµος του Bayes Γνωρίζουµε ότι για ενδεχόµενα Ε, F: Επίσης: p( F E) p( F E) = p( E) p( E F) p( E F) = p( E F) = p( E F) p( F) p( F) p( E F) p( F) p( F E) = p( E) 5/13/2016 31 31
Νόµος του Bayes Thomas Bayes 1702-1761 p( F E) = p( E F) p( F) p( E) Η βάση των Bayesian µεθόδωνγια πιθανοκρατική εξαγωγή συµπερασµάτων.πολύ ισχυρή και διαδεδοµένη µέθοδος στην τεχνητή νοηµοσύνη: Γιαεξόρυξη δεδοµένων (data mining), αυτοµατοποιηµένη διάγνωση (automated diagnosis), αναγνώριση προτύπων (pattern recognition), στατιστική µοντελοποίηση (statistical modeling)... Προκύπτει άµεσα από τον ορισµό της δεσµευµένης πιθανότητας 5/13/2016 32 32
Νόµος του Bayes Thomas Bayes 1702-1761 Εποµένως, λαµβάνοντας υπόψη και το νόµο ολικής πιθανότητας, για ενδεχόµενο Ε και για σύνολο ενδεχοµένων F i που αποτελούν διαµέρισητου δειγµατικού χώρου Ω, ο νόµος του Bayes µπορεί να γραφεί ως: p( F E) i = p( E F ) p( F ) n i= 1 i p( E F ) p( F ) i i i 5/13/2016 33 33
Παράδειγµα ύο τσάντες τ 1 και τ 2, περιέχουν άσπρες και µαύρες µπάλες Στην τ 1 έχουµε 75 άσπρες µπάλες και 25 µαύρες. Στην τ 2 τσάντα έχουµε 75 µαύρες µπάλες και 25 άσπρες Επιλέγουµε τυχαία µία από τις δύο τσάντες. Από αυτή την τσάντα, επιλέγουµε τυχαία 5 µπάλες Το αποτέλεσµα είναι 5 άσπρες µπάλες. Ποιά είναι η πιθανότητα να έχουµε επιλέξει την τσάντα τ 1 ; γενικότερα, πως µπορώ από την έκβαση ενός πειράµατος να προσδιορίσω την πιθανότητα των ενδεχοµένων ενός άλλου πειράµατος; 5/13/2016 34 34
Παράδειγµα Λύση:Έστω το πείραµα επιλογής της τσάντας.ο δειγµατικός χώρος του πειράµατος είναι οω={τ 1,τ 2 }. Ξέρουµε ότι p(τ 1 )=p(τ 2 )=1/2 αφού επιλέγουµε τυχαία την τσάντα. Έστω B το ενδεχόµενο 5άσπρες µπάλες επιλέχθηκαν. Τι πρέπει να υπολογίσουµε; Tην p(τ 1 B)η οποία, από τον κανόνα του Bayes είναι: p( B τ1) p( τ1) p( τ1 Β ) = p( B) 5/13/2016 35 35
Παράδειγµα p( B τ1) p( τ1) p( B τ1) p( τ1) p( τ1 Β ) = = p( B) p( B τ ) p( τ ) + p( B τ ) p( τ ) p B τ 1 1 2 2 p( B τ ) C(75,5) / C(100,5) 0, 229 1 ( 1) = = = = 0, 458 p( τ1) 1/ 2 1/ 2 p( B τ ) C(25,5) / C(100,5) 0,0007 2 ( τ 2) = = = = 0, 0014 p( τ 2) 1/ 2 1/ 2 p B 0,458 Άρα, pτ ( (!!!) 1 Β ) = = 0,997 0, 458+ 0, 0014 5/13/2016 36 36