Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε να προβλέψουμε ή να παρατηρήσουμε την

Transcript

1 Μαθηματικά Πληροφορικής 8ο Μάθημα Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήμιο Αθηνών

2 Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε να προβλέψουμε ή να παρατηρήσουμε την ακριβή συμπεριφορά (π.χ., κίνηση σωματιδίων στη Φυσική, μακροοικονομικά μοντέλα κοκ). Στην Πληροφορική οι πιθανότητες έχουν πλήθος εφαρμογών. Π.χ., στη μελέτη της δομής του Διαδικτύου ή στην ανάλυση πιθανοτικών αλγορίθμων. (Οι πιθανοτικοί αλγόριθμοι είναι αλγόριθμοι που κάνουν κάποιες τυχαίες επιλογές κατά τη διάρκεια του υπολογισμού τους. Προςπαθούν έτσι να παρακάμψουν τη δυσκολία της εισόδου).

3 Εννοιες Ορισμός (Πείραμα) σύνολο αποτελεσμάτων = δειγματικός χώρος. Τα στοιχεία του δειγματικού χώρου ονομάζονται αποτελέσματα ή δείγματα. Ο δειγματικός χώρος είναι διακριτός αν είναι πεπερασμένος ή, γενικότερα, αριθμήσιμος. ΠΑΡΑΔΕΙΓΜΑ Ρίψη νομίσματος = {Κ, Γ}. ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 διαφορετικών νομισμάτων = {ΚΚ, ΚΓ, ΓΚ, ΓΓ}. ΠΑΡΑΔΕΙΓΜΑ Πυροβολώ στόχο μέχρι εύστοχη βολή = {ε, αε, ααε, αααε,... } αριθμήσιμο

4 Πιθανότητα Ορισμός Η Πιθανότητα είναι μια συνάρτηση P : R [0, 1] τ. ω. 1. P(x i ) 0, x i και 2. x i P(x i) = 1. P(x i ) = 0 x i δεν εμφανίζεται P(x i ) = 1 x i εμφανίζεται πάντα Διαισθητικά, όταν ένα αποτέλεσμα A έχει πιθανότητα 0.6 περιμένουμε ότι αν εκτελέσουμε το πείραμα «πάρα πολλές» (= άπειρες) φορές, το A θα συμβεί το 60% των φορών.

5 Παράδειγμα ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων. Υποθέτουμε πως σε κάθε ρίψη η πιθανότητα να έρθει ένα νόμισμα Κ ή Γ είναι 1/2, δηλ. τα νομίσματα είναι τέλεια. Ο δειγματικός χώρος = {ΚΚ, ΚΓ, ΓΚ, ΓΓ}. Επειδή τα νομίσματα είναι τέλεια όλα τα αποτελέσματα είναι ισοπίθανα. Επομένως P(KK) = 1 = P(KΓ) = P(ΓK) = P(ΓΓ). 4

6 Γεγονός Ορισμός Γεγονός Γ : απλό αν Γ = 1, σύνθετο αν Γ > 1. P(Γ) := x Γ P(x). Ενα γεγονός συμβαίνει κάθε φορά που εμφανίζεται κάποιο από τα δείγματα που περιλαμβάνονται σε αυτό το γεγονός. Π.χ. Στη ρίψη ενός νομίσματος, το γεγονός {K} συμβαίνει με πιθανότητα 1/2. Το γεγονός {K, Γ} συμβαίνει με πιθανότητα 1. Π.χ. ρίχνουμε ένα ζάρι. Ο δειγματικός χώρος έχει 6 στοιχεία. Τα δυνατά γεγονότα που μπορούμε να ορίσουμε είναι 2 6, όσα και τα δυνατά υποσύνολα του δειγματικού χώρου.

7 Παράδειγμα 23 άτομα, κατανομή των γενεθλίων τους σε μία από τις 365 δυνατές ημερομηνίες: = δείγματα, τα υποθέτουμε ισοπίθανα. Πόσα από τα στοιχεία του δειγματικού χώρου αντιστοιχούν σε κατανομές γενεθλίων στις οποίες και τα 23 ατόμα έχουν διαφορετικές ημερομηνίες γέννησης; P(365, 23) = 365! (365 23)! Ορίζουμε τώρα το γεγονός Γ : δεν υπάρχουν δύο άτομα με τα ίδια γενέθλια. Το γεγονός αποτελείται από τα παραπάνω P(365, 23) στοιχεία του δειγματικού χώρου. P(Γ) = x Γ P(x)= x Γ 1 = P(365, 23)/ , 5.

8 Πράξεις γεγονότων Τα γεγονότα είναι εξ ορισμού σύνολα. Οταν λέμε πως δύο γεγονότα A, B συμβαίνουν μαζί εννοούμε πως εμφανίζεται στοιχείο του δειγματικού χώρου που ανήκει στην τομή A B. Γενικότερα: γεγονότα σύνολα A & B A B A B A B A & B A B A B A B

9 Θεμελιώδη Θεωρήματα Δύο γεγονότα A, B λέγονται αλληλοαποκλειόμενα (ασυμβίβαστα) όταν A B =. Θεώρημα Για αλληλοαποκλειόμενα (ασυμβίβαστα) γεγονότα A, B P(A B) = P(A) + P(B) Για οποιαδήποτε γεγονότα A, B, P(A B) = P(A) + P(B) P(A B). Θεώρημα (Συμπλήρωμα) Γεγονός A = A P(A) = 1 P(A).

10 Παράδειγμα 1000 άτομα = 515 γυναίκες άνδρες. 90 γυναίκες φίλαθλοι, 302 άνδρες φίλαθλοι. Πείραμα := τυχαία επιλογή ατόμου = P(γφ) = , P(γμ) = 1000, P(αφ) = 1000, P(αμ) = Επιλογή φιλάθλου Επιλογή γυναίκας Φ := γφ αφ Γ := γφ γμ P(Φ) = 392/1000 P(Γ) = 515/1000 Φ Γ = φίλαθλη γυναίκα p = 90 0 / 00 P(Φ) P(Γ) = / 00. Συνεχίζεται...

11 Παράδειγμα Συνέχεια... Φ Γ = φίλαθλος ή γυναίκα p = 1 P(αμ) = / 00. γφ αφ γμ = αφ Γ : ξένα p = P(Γ) + P(αφ) = P(Φ Γ) = P(Φ) + P(Γ) P(Φ Γ) = ( )/1000. Φ A = αμ γφ: ασυμβίβαστα. δηλ. P(αμ) + P(γφ) = = / 00. P(Φ Α) = 1 P(γμ ή αφ) = = = / 00.

12 Δεσμευμένη Πιθανότητα

13 Δεσμευμένη Πιθανότητα Ορισμός Γεγονότα Α, Β δειγματικού χώρου Δ. Δεσμευμένη πιθανότητα του Α με δεδομένο το Β: P(A B). ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων, P(KK) = 1 4. Αν ξέρω ότι το 1 o είναι Κ, τότε P(KK K) = 1 2. Αν ξέρω ότι το 1 o είναι Γ, τότε P(KK Γ) = 0.

14 Δεσμευμένη Πιθανότητα (2) ΠΑΡΑΔΕΙΓΜΑ P(φ) = P(αφ, γφ) = / 00, P(γ) = / 00. Αν μας δίνεται το φύλο, με τι πιθανότητα είναι φίλαθλος; Αν γυναίκα P(φ γ) = P(γφ γ) = < / 00 Αν άντρας P(φ α) = P(αφ α) = > / 00 Αν μας δίνεται η φίλαθλη ιδιότητα, με τι πιθανότητα είναι γυναίκα; 392 = P(γφ φ) = P(γ φ) < P(α φ) = 392, αν και P(γ) > P(α). Με τη δεσμευμένη πιθανότητα, αλλάζει ο δειγματικός χώρος.

15 Ορισμός Υπολογισμός Ορισμός για στοιχείο x : Αν x B τότε P(x B) := 0. Αν x B τότε P(x B) := P(x)/P(B). Πόρισμα Εστω B με P(B) < 1. Τότε P(x B) > P(x), x B. Η συνάρτηση P(x B) είναι μια νέα πιθανότητα διότι 0 και x P(x B) = x B P(x) P(B) = 1.

16 Ορισμός Υπολογισμός Ορισμός για στοιχείο x : Αν x B τότε P(x B) := 0. Αν x B τότε P(x B) := P(x)/P(B). Πόρισμα Εστω B με P(B) < 1. Τότε P(x B) > P(x), x B. Η συνάρτηση P(x B) είναι μια νέα πιθανότητα διότι 0 και Για γεγονός Α, P(A B) = x A B x P(x B) = x B P(x B) = x A B P(x) P(B) = 1. P(x)/P(B) = P(A B). P(B)

17 Δεσμευμένη Πιθανότητα: π.χ. ΠΑΡΑΔΕΙΓΜΑ 3 ζάρια στη σειρά. Ολες οι ζαριές είναι 6 3. A : άσος, B : 2 ίδιες όψεις. 1 P(B) = P(6, 3)/6 3 = 5/9 : P(6, 3) τριάδες σε 6 κουτιά 2 P(A B) = 3 P(5, 2)/6 3. 1, 2 P(A B) = P(A B) P(B) = 3 5!/3! 6!/3! = 3 6 = P(A) = 1 P(A) = , 3 P(B A) = P(A B) P(A) = 3 P(5,2)/63 ( )/6 3 = 3(5 4) =

18 Δεσμευμένη Πιθανότητα: πόρισμα εφόσον P(A B) P(B A) = P(A B) P(A) P(A) P(B) = P(A B)P(B) P(A)

19 Ανεξάρτητα Γεγονότα Λήμμα Αν P(A), P(B) > 0 τα παρακάτω είναι ισοδύναμα: 1. P(A) = P(A B) = P(A B)/P(B). 2. P(A)P(B) = P(A B). 3. P(B) = P(B A). Ορισμός Γεγονότα A και B με P(A), P(B) > 0 ανεξάρτητα αν P(A) = P(A B) ή ισοδύναμα P(B) = P(B A). Θεώρημα Γεγονότα A και B ανεξάρτητα P(A)P(B) = P(A B).

20 Ανεξάρτητα Γεγονότα - Παράδειγμα Ορισμός Γεγονότα A και B με P(A), P(B) > 0 ανεξάρτητα αν P(A) = P(A B) ή ισοδύναμα P(B) = P(B A). Θεώρημα Γεγονότα A και B ανεξάρτητα P(A)P(B) = P(A B). ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων στη σειρά P(KK) = 1 4 P(KK 1 o K) = 1 2 > P(KK): KK και 1o K εξαρτημένα. P(2 o K 1 o K) = 1 2 = P(2o K) 1 o, 2 o ανεξάρτητα.

21 Ανεξάρτητα Γεγονότα (2) Ορισμός A, B Ασυμβίβαστα/Ξένα αν A B =. Εστω γεγονότα A και B με P(A), P(B) > 0. Αν A, B Ξένα P(A B) = 0 P(A)P(B) Εξαρτημένα. Ανεξάρτητα & Ασυμβίβαστα/Ξένα : ΑΔΥΝΑΤΟ. A B = Α, Β ανεξάρτητα X Α, Β εξαρτημένα A B X: αδύνατο : δυνατό, αλλά όχι υποχρεωτικό.

22 Ανεξάρτητα Γεγονότα (3) ΠΑΡΑΔΕΙΓΜΑ 2 νομίσματα στη σειρά. Α: 1 o Κ, Β: Διαφορετικά αποτελέσματα. Είναι ανεξάρτητα; ΝΑΙ, γιατί P(A B) = 1 2 = P(A) P(B A) = 1 2 = P(B) = #{ΚΓ, ΓΚ} #{ΚΚ, ΚΓ, ΓΚ, ΓΓ} Πώς προκύπτουν τα παραπάνω νούμερα;

23 Τύπος Bayes Για οποιαδήποτε δύο γεγονότα E και F ισχύει: E = (E F ) (E F ) Τα (E F ) και (E F ) είναι αλληλοαποκλειόμενα P(E) = P(E F ) + P(E F ) = P(E F )P(F ) + P(E F )P(F ) = P(E F )P(F ) + P(E F ) [1 P(F )]

24 Τύπος Bayes (2) ΠΑΡΑΔΕΙΓΜΑ Τίθεται Ερώτηση. Πολλαπλή επιλογή: m απαντήσεις. Γ := {Ο φοιτητής γνωρίζει την απάντηση}, με πιθανότητα = p. Αλλιώς, τυχαία απάντηση με πιθανότητα = 1 p. Σ := {επιλογή σωστής}. P(Γ Σ) P(Σ Γ)P(Γ) P(Γ Σ) = = P(Σ) P(Σ Γ)P(Γ) + P(Σ Γ) [1 P(Γ)] 1 p = 1 p + 1 m (1 p) = mp mp + 1 p = mp 1 + (m 1)p m = 5, p = 1 2 P(Γ Σ) = = = 5 6

25 Τύπος Bayes (3) P(F E) = P(E F )P(F ) P(E F )P(F ) + P(E F ) [1 P(F )] Γενικά F 1 F n =, F i F j = P(E F i )P(F i ) P(F i E) = i=1,...,n P(E F i)p(f i )

26 Παράδειγμα Δίνεται πως σε μια βδομάδα, κάθε μέρα, 30% πιθανότητα βροχής. α) P[ βροχερή] = 1 P[ β] = 1 (0, 7) 7. β) P[ 2 βροχερές β] = 1 P[ ακριβώς 6 μέρες ανομβρίας β] = = 1 7(0, 7)6 (0, 3). P[ β ]

27 Παράδειγμα: το Monty Hall πρόβλημα Σε ένα τηλεπαιχνίδι υπάρχουν τρεις πόρτες. Πίσω από τη μία πόρτα βρίσκεται κάποιο αυτοκίνητο ενώ πίσω από τις άλλες δύο μία κατσίκα. Ο παίκτης διαλέγει τυχαία μία από τις τρεις πόρτες. Ο παρουσιαστής ανοίγει τυχαία μία από τις δύο πόρτες που έχει πίσω της κατσίκα. Ο παίκτης μπορεί είτε να αλλάξει την επιλογή του, είτε να επιμείνει στην αρχική. Τί πρέπει να κάνει ώστε να μεγιστοποιήσει την πιθανότητα νίκης;

28 Τυχαίες Μεταβλητές

29 Τυχαίες Μεταβλητές Μια τυχαία μεταβλητή είναι μια ποσότητα που μετράμε σε σχέση με ένα τυχαίο πείραμα. Ορισμός Μια τυχαία μεταβλητή είναι μια συνάρτηση R : V που αποδίδει τιμές από το V σε κάθε στοιχείο του δειγματικού χώρου. Συχνά V = R. Η τιμή της R δεν αντιπροσωπεύει πιθανότητα. Μπορούμε όμως να αναθέσουμε πιθανότητες στις διάφορες τιμές της R με βάση τις πιθανότητες των αντίστοιχων δειγμάτων του.

30 Τυχαίες Μεταβλητές ΠΑΡΑΔΕΙΓΜΑ Η χαρακτηριστική τυχαία μεταβλητή του δείγματος δ. R(x) = { 1 x, x = δ 0 x, x δ Τα γεγονότα που σχετίζονται με μια τυχαία μεταβλητή αφορούν τις τιμές που αυτή παίρνει. P(R = 1) = P(x = δ ) P(R > 0) = P(x = δ )

31 Τυχαίες Μεταβλητές ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ο δειγματικός χώρος περιέχει τις ακολουθίες μήκους 10 που αποτελούνται από Κ και Γ. Π.χ., R(ΓΚΚΓΚΓΓΚΓΓ) = 4. ( ) 10 P(R = 4) = / ( ) 10 P(R 4) = /2 10. i i=4

32 Κατανομές Οι τυχαίες μεταβλητές αντιστοιχίζουν ενδεχόμενα (δείγματα) σε τιμές. Η συνάρτηση πυκνότητας πιθανότητας εκφράζει «απευθείας» την πιθανότητα η τυχαία μεταβλητή να λάβει κάποια τιμή. Ορισμός Εστω R μια τ. μ. με σύνολο αφίξεως V και πεδίο τιμών range(r) V. Η συνάρτηση πυκνότητας πιθανότητας (probability density function) της R είναι μια συνάρτηση PDF R : V [0, 1] τέτοια ώστε { P(R = x) αν x range(r) PDF R (x) = 0 αν x range(r) Συνέπεια του ορισμού: x range(r) PDF R(x) = 1.

33 Κατανομές (συνέχεια) Ορισμός Εστω R μια τ.μ. με σύνολο αφίξεως R. Η συνάρτηση κατανομής (cumulative distribution function) της R είναι μια συνάρτηση CDF R : R [0, 1] τέτοια ώστε CDF R (x) = P(R x). Συνέπεια του ορισμού: CDF R (x) = P(R x) = y x P(R = y) = y x PDF R(x).

34 Διωνυμική Κατανομή ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα n φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. P(R = k) = ( ) n 2 n. k Η συνάρτηση πυκνότητας πιθανότητας PDF R f n : {0, 1, 2,..., n} [0, 1] ορίζεται ως ( ) n f n (k) = 2 n. k

35 Διωνυμική Κατανομή (συνέχεια) ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα n φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. P(R = k) = ( ) n 2 n. k Η συνάρτηση κατανομής CDF R F n : R [0, 1] 0 αν x < 0 F n (x) = x ( n ) i=0 i 2 n αν x n 1 αν x > n

36 Αναμενόμενη Τιμή Τυχαίας Μεταβλητής Ορισμός Η αναμενόμενη (ή μέση) τιμή μιας τυχαίας μεταβλητής X : R ορίζεται ως E(X ) = δ P(δ)X (δ). Ισχύει E(X ) = δ P(δ)X (δ) = v R P(X = v)v. ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα ζάρι. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με τον αριθμό που μας δίνει η ρίψη του ζαριού. E(X ) = 7/2.

37 Παράδειγμα: Mean Time to Failure Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. P(C = i) = (1 p) i 1 p. E(C) = 1 ip(c = i) =... = p (1 (1 p)) 2 = 1/p. i N Η C ακολουθεί τη λεγόμενη γεωμετρική κατανομή.

38 Άλλα παραδείγματα γεωμετρικής κατανομής Ρίχνουμε σε ένα στόχο με κλειστά μάτια. Η πιθανότητα να πετύχουμε το στόχο είναι p. Ποιο είναι το αναμενόμενο πλήθος βολών μέχρι να πετύχουμε το στόχο; Ρίχνουμε ένα νόμισμα το οποίο έρχεται κορώνα με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος ρίψεων μέχρι να πετύχουμε κορώνα; Οταν ένα ζευγάρι κάνει ένα παιδί βγαίνει κορίτσι με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος παιδιών μέχρι να γεννηθεί κορίτσι; Σε όλες τις παραπάνω περιπτώσεις η απάντηση είναι 1/p.

39 Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X X n ) = E(X 1 ) + E(X 2 ) E(X n ). Απόδειξη. Θέτουμε X = X 1 + X X n. E(X ) = δ P(δ)X (δ) = δ P(δ) (X 1 (δ) X n (δ)) = P(δ)X 1 (δ) P(δ)X n (δ) δ δ = E(X 1 ) E(X n ).

40 Παράδειγμα:Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X X n ) = E(X 1 ) + E(X 2 ) E(X n ). ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε δύο ζάρια. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με το άθροισμα των αριθμών που μας δίνουν οι ρίψεις των δύο ζαριών. E(X ) = 7.

41 Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Υπάρχουν n είδη κουπονιών. Σε κάθε δοκιμή διαλέγουμε τυχαία και ομοιόμορφα ένα κουπόνι. Πόσες δοκιμές πρέπει να γίνουν ώστε να διαλέξουμε τουλάχιστον ένα κουπόνι από κάθε είδος; Εστω X i, i 1, ο αριθμός των δοκιμών που θα εκτελέσουμε ώστε ο αριθμός των ειδών που έχουμε συλλέξει να αυξηθεί από i 1 σε i. Μας ενδιαφέρει το άθροισμα X 1 + X X n. Η κάθε μία από τις X i ακολουθεί τη γεωμετρική κατανομή. Οταν έχουμε δει i 1 είδη, η πιθανότητα σε μία δοκιμή να δούμε ένα καινούργιο είναι (n (i 1))/n. Επομένως E(X i ) = n/(n (i 1)). E(X 1 +X X n ) = n/n+n/(n 1)+...+n/1 = nh n = Θ(n ln n).

42 Το πρόβλημα της συλλογής κουπονιών (συνέχεια) Υπάρχουν n είδη κουπονιών. Σε κάθε δοκιμή διαλέγουμε τυχαία και ομοιόμορφα ένα κουπόνι. Πόσες δοκιμές πρέπει να γίνουν ώστε να διαλέξουμε τουλάχιστον ένα κουπόνι από κάθε είδος; Ισοδύναμο πρόβλημα: έχουμε n διακεκριμένα δοχεία και ρίχνουμε μία μπάλα σε ένα δοχείο που επιλέγουμε τυχαία. Πόσες ρίψεις πρέπει να γίνουν μέχρι κάθε δοχείο να περιέχει τουλάχιστον μία μπάλα; Το αναμενόμενο πλήθος ρίψεων είναι πάλι nh n = Θ(n ln n).