Μαθηματικά Πληροφορικής 8ο Μάθημα Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήμιο Αθηνών
Εισαγωγή Η Θεωρία Πιθανοτήτων παίζει μεγάλο ρόλο στη μοντελοποίηση και μελέτη συστημάτων των οποίων δεν μπορούμε να προβλέψουμε ή να παρατηρήσουμε την ακριβή συμπεριφορά (π.χ., κίνηση σωματιδίων στη Φυσική, μακροοικονομικά μοντέλα κοκ). Στην Πληροφορική οι πιθανότητες έχουν πλήθος εφαρμογών. Π.χ., στη μελέτη της δομής του Διαδικτύου ή στην ανάλυση πιθανοτικών αλγορίθμων. (Οι πιθανοτικοί αλγόριθμοι είναι αλγόριθμοι που κάνουν κάποιες τυχαίες επιλογές κατά τη διάρκεια του υπολογισμού τους. Προςπαθούν έτσι να παρακάμψουν τη δυσκολία της εισόδου).
Εννοιες Ορισμός (Πείραμα) σύνολο αποτελεσμάτων = δειγματικός χώρος. Τα στοιχεία του δειγματικού χώρου ονομάζονται αποτελέσματα ή δείγματα. Ο δειγματικός χώρος είναι διακριτός αν είναι πεπερασμένος ή, γενικότερα, αριθμήσιμος. ΠΑΡΑΔΕΙΓΜΑ Ρίψη νομίσματος = {Κ, Γ}. ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 διαφορετικών νομισμάτων = {ΚΚ, ΚΓ, ΓΚ, ΓΓ}. ΠΑΡΑΔΕΙΓΜΑ Πυροβολώ στόχο μέχρι εύστοχη βολή = {ε, αε, ααε, αααε,... } αριθμήσιμο
Πιθανότητα Ορισμός Η Πιθανότητα είναι μια συνάρτηση P : R [0, 1] τ. ω. 1. P(x i ) 0, x i και 2. x i P(x i) = 1. P(x i ) = 0 x i δεν εμφανίζεται P(x i ) = 1 x i εμφανίζεται πάντα Διαισθητικά, όταν ένα αποτέλεσμα A έχει πιθανότητα 0.6 περιμένουμε ότι αν εκτελέσουμε το πείραμα «πάρα πολλές» (= άπειρες) φορές, το A θα συμβεί το 60% των φορών.
Παράδειγμα ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων. Υποθέτουμε πως σε κάθε ρίψη η πιθανότητα να έρθει ένα νόμισμα Κ ή Γ είναι 1/2, δηλ. τα νομίσματα είναι τέλεια. Ο δειγματικός χώρος = {ΚΚ, ΚΓ, ΓΚ, ΓΓ}. Επειδή τα νομίσματα είναι τέλεια όλα τα αποτελέσματα είναι ισοπίθανα. Επομένως P(KK) = 1 = P(KΓ) = P(ΓK) = P(ΓΓ). 4
Γεγονός Ορισμός Γεγονός Γ : απλό αν Γ = 1, σύνθετο αν Γ > 1. P(Γ) := x Γ P(x). Ενα γεγονός συμβαίνει κάθε φορά που εμφανίζεται κάποιο από τα δείγματα που περιλαμβάνονται σε αυτό το γεγονός. Π.χ. Στη ρίψη ενός νομίσματος, το γεγονός {K} συμβαίνει με πιθανότητα 1/2. Το γεγονός {K, Γ} συμβαίνει με πιθανότητα 1. Π.χ. ρίχνουμε ένα ζάρι. Ο δειγματικός χώρος έχει 6 στοιχεία. Τα δυνατά γεγονότα που μπορούμε να ορίσουμε είναι 2 6, όσα και τα δυνατά υποσύνολα του δειγματικού χώρου.
Παράδειγμα 23 άτομα, κατανομή των γενεθλίων τους σε μία από τις 365 δυνατές ημερομηνίες: = 365 23 δείγματα, τα υποθέτουμε ισοπίθανα. Πόσα από τα στοιχεία του δειγματικού χώρου αντιστοιχούν σε κατανομές γενεθλίων στις οποίες και τα 23 ατόμα έχουν διαφορετικές ημερομηνίες γέννησης; P(365, 23) = 365! (365 23)! Ορίζουμε τώρα το γεγονός Γ : δεν υπάρχουν δύο άτομα με τα ίδια γενέθλια. Το γεγονός αποτελείται από τα παραπάνω P(365, 23) στοιχεία του δειγματικού χώρου. P(Γ) = x Γ P(x)= x Γ 1 = P(365, 23)/36523 0, 5.
Πράξεις γεγονότων Τα γεγονότα είναι εξ ορισμού σύνολα. Οταν λέμε πως δύο γεγονότα A, B συμβαίνουν μαζί εννοούμε πως εμφανίζεται στοιχείο του δειγματικού χώρου που ανήκει στην τομή A B. Γενικότερα: γεγονότα σύνολα A & B A B A B A B A & B A B A B A B
Θεμελιώδη Θεωρήματα Δύο γεγονότα A, B λέγονται αλληλοαποκλειόμενα (ασυμβίβαστα) όταν A B =. Θεώρημα Για αλληλοαποκλειόμενα (ασυμβίβαστα) γεγονότα A, B P(A B) = P(A) + P(B) Για οποιαδήποτε γεγονότα A, B, P(A B) = P(A) + P(B) P(A B). Θεώρημα (Συμπλήρωμα) Γεγονός A = A P(A) = 1 P(A).
Παράδειγμα 1000 άτομα = 515 γυναίκες + 485 άνδρες. 90 γυναίκες φίλαθλοι, 302 άνδρες φίλαθλοι. Πείραμα := τυχαία επιλογή ατόμου = 1000. P(γφ) = 90 425 302 183 1000, P(γμ) = 1000, P(αφ) = 1000, P(αμ) = 1000. Επιλογή φιλάθλου Επιλογή γυναίκας Φ := γφ αφ Γ := γφ γμ P(Φ) = 392/1000 P(Γ) = 515/1000 Φ Γ = φίλαθλη γυναίκα p = 90 0 / 00 P(Φ) P(Γ) = 204 0 / 00. Συνεχίζεται...
Παράδειγμα Συνέχεια... Φ Γ = φίλαθλος ή γυναίκα p = 1 P(αμ) = 817 0 / 00. γφ αφ γμ = αφ Γ : ξένα p = P(Γ) + P(αφ) = 515+302 1000. P(Φ Γ) = P(Φ) + P(Γ) P(Φ Γ) = (392 + 515 90)/1000. Φ A = αμ γφ: ασυμβίβαστα. δηλ. P(αμ) + P(γφ) = 90+183 1000 = 273 0 / 00. P(Φ Α) = 1 P(γμ ή αφ) = 1 425+302 1000 = 1 727 1000 = 273 0 / 00.
Δεσμευμένη Πιθανότητα
Δεσμευμένη Πιθανότητα Ορισμός Γεγονότα Α, Β δειγματικού χώρου Δ. Δεσμευμένη πιθανότητα του Α με δεδομένο το Β: P(A B). ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων, P(KK) = 1 4. Αν ξέρω ότι το 1 o είναι Κ, τότε P(KK K) = 1 2. Αν ξέρω ότι το 1 o είναι Γ, τότε P(KK Γ) = 0.
Δεσμευμένη Πιθανότητα (2) ΠΑΡΑΔΕΙΓΜΑ P(φ) = P(αφ, γφ) = 392 0 / 00, P(γ) = 515 0 / 00. Αν μας δίνεται το φύλο, με τι πιθανότητα είναι φίλαθλος; Αν γυναίκα P(φ γ) = P(γφ γ) = 90 515 < 392 0 / 00 Αν άντρας P(φ α) = P(αφ α) = 302 485 > 392 0 / 00 Αν μας δίνεται η φίλαθλη ιδιότητα, με τι πιθανότητα είναι 90 302 γυναίκα; 392 = P(γφ φ) = P(γ φ) < P(α φ) = 392, αν και P(γ) > P(α). Με τη δεσμευμένη πιθανότητα, αλλάζει ο δειγματικός χώρος.
Ορισμός Υπολογισμός Ορισμός για στοιχείο x : Αν x B τότε P(x B) := 0. Αν x B τότε P(x B) := P(x)/P(B). Πόρισμα Εστω B με P(B) < 1. Τότε P(x B) > P(x), x B. Η συνάρτηση P(x B) είναι μια νέα πιθανότητα διότι 0 και x P(x B) = x B P(x) P(B) = 1.
Ορισμός Υπολογισμός Ορισμός για στοιχείο x : Αν x B τότε P(x B) := 0. Αν x B τότε P(x B) := P(x)/P(B). Πόρισμα Εστω B με P(B) < 1. Τότε P(x B) > P(x), x B. Η συνάρτηση P(x B) είναι μια νέα πιθανότητα διότι 0 και Για γεγονός Α, P(A B) = x A B x P(x B) = x B P(x B) = x A B P(x) P(B) = 1. P(x)/P(B) = P(A B). P(B)
Δεσμευμένη Πιθανότητα: π.χ. ΠΑΡΑΔΕΙΓΜΑ 3 ζάρια στη σειρά. Ολες οι ζαριές είναι 6 3. A : άσος, B : 2 ίδιες όψεις. 1 P(B) = P(6, 3)/6 3 = 5/9 : P(6, 3) τριάδες σε 6 κουτιά 2 P(A B) = 3 P(5, 2)/6 3. 1, 2 P(A B) = P(A B) P(B) = 3 5!/3! 6!/3! = 3 6 = 1 2. 3 P(A) = 1 P(A) = 1 53 6 3. 2, 3 P(B A) = P(A B) P(A) = 3 P(5,2)/63 (6 3 5 3 )/6 3 = 3(5 4) 216 125 = 60 91.
Δεσμευμένη Πιθανότητα: πόρισμα εφόσον P(A B) P(B A) = P(A B) P(A) P(A) P(B) = P(A B)P(B) P(A)
Ανεξάρτητα Γεγονότα Λήμμα Αν P(A), P(B) > 0 τα παρακάτω είναι ισοδύναμα: 1. P(A) = P(A B) = P(A B)/P(B). 2. P(A)P(B) = P(A B). 3. P(B) = P(B A). Ορισμός Γεγονότα A και B με P(A), P(B) > 0 ανεξάρτητα αν P(A) = P(A B) ή ισοδύναμα P(B) = P(B A). Θεώρημα Γεγονότα A και B ανεξάρτητα P(A)P(B) = P(A B).
Ανεξάρτητα Γεγονότα - Παράδειγμα Ορισμός Γεγονότα A και B με P(A), P(B) > 0 ανεξάρτητα αν P(A) = P(A B) ή ισοδύναμα P(B) = P(B A). Θεώρημα Γεγονότα A και B ανεξάρτητα P(A)P(B) = P(A B). ΠΑΡΑΔΕΙΓΜΑ Ρίψη 2 νομισμάτων στη σειρά P(KK) = 1 4 P(KK 1 o K) = 1 2 > P(KK): KK και 1o K εξαρτημένα. P(2 o K 1 o K) = 1 2 = P(2o K) 1 o, 2 o ανεξάρτητα.
Ανεξάρτητα Γεγονότα (2) Ορισμός A, B Ασυμβίβαστα/Ξένα αν A B =. Εστω γεγονότα A και B με P(A), P(B) > 0. Αν A, B Ξένα P(A B) = 0 P(A)P(B) Εξαρτημένα. Ανεξάρτητα & Ασυμβίβαστα/Ξένα : ΑΔΥΝΑΤΟ. A B = Α, Β ανεξάρτητα X Α, Β εξαρτημένα A B X: αδύνατο : δυνατό, αλλά όχι υποχρεωτικό.
Ανεξάρτητα Γεγονότα (3) ΠΑΡΑΔΕΙΓΜΑ 2 νομίσματα στη σειρά. Α: 1 o Κ, Β: Διαφορετικά αποτελέσματα. Είναι ανεξάρτητα; ΝΑΙ, γιατί P(A B) = 1 2 = P(A) P(B A) = 1 2 = P(B) = #{ΚΓ, ΓΚ} #{ΚΚ, ΚΓ, ΓΚ, ΓΓ} Πώς προκύπτουν τα παραπάνω νούμερα;
Τύπος Bayes Για οποιαδήποτε δύο γεγονότα E και F ισχύει: E = (E F ) (E F ) Τα (E F ) και (E F ) είναι αλληλοαποκλειόμενα P(E) = P(E F ) + P(E F ) = P(E F )P(F ) + P(E F )P(F ) = P(E F )P(F ) + P(E F ) [1 P(F )]
Τύπος Bayes (2) ΠΑΡΑΔΕΙΓΜΑ Τίθεται Ερώτηση. Πολλαπλή επιλογή: m απαντήσεις. Γ := {Ο φοιτητής γνωρίζει την απάντηση}, με πιθανότητα = p. Αλλιώς, τυχαία απάντηση με πιθανότητα = 1 p. Σ := {επιλογή σωστής}. P(Γ Σ) P(Σ Γ)P(Γ) P(Γ Σ) = = P(Σ) P(Σ Γ)P(Γ) + P(Σ Γ) [1 P(Γ)] 1 p = 1 p + 1 m (1 p) = mp mp + 1 p = mp 1 + (m 1)p m = 5, p = 1 2 P(Γ Σ) = 5 2 1 + 4 2 = 5 2 3 = 5 6
Τύπος Bayes (3) P(F E) = P(E F )P(F ) P(E F )P(F ) + P(E F ) [1 P(F )] Γενικά F 1 F n =, F i F j = P(E F i )P(F i ) P(F i E) = i=1,...,n P(E F i)p(f i )
Παράδειγμα Δίνεται πως σε μια βδομάδα, κάθε μέρα, 30% πιθανότητα βροχής. α) P[ βροχερή] = 1 P[ β] = 1 (0, 7) 7. β) P[ 2 βροχερές β] = 1 P[ ακριβώς 6 μέρες ανομβρίας β] = = 1 7(0, 7)6 (0, 3). P[ β ]
Παράδειγμα: το Monty Hall πρόβλημα Σε ένα τηλεπαιχνίδι υπάρχουν τρεις πόρτες. Πίσω από τη μία πόρτα βρίσκεται κάποιο αυτοκίνητο ενώ πίσω από τις άλλες δύο μία κατσίκα. Ο παίκτης διαλέγει τυχαία μία από τις τρεις πόρτες. Ο παρουσιαστής ανοίγει τυχαία μία από τις δύο πόρτες που έχει πίσω της κατσίκα. Ο παίκτης μπορεί είτε να αλλάξει την επιλογή του, είτε να επιμείνει στην αρχική. Τί πρέπει να κάνει ώστε να μεγιστοποιήσει την πιθανότητα νίκης;
Τυχαίες Μεταβλητές
Τυχαίες Μεταβλητές Μια τυχαία μεταβλητή είναι μια ποσότητα που μετράμε σε σχέση με ένα τυχαίο πείραμα. Ορισμός Μια τυχαία μεταβλητή είναι μια συνάρτηση R : V που αποδίδει τιμές από το V σε κάθε στοιχείο του δειγματικού χώρου. Συχνά V = R. Η τιμή της R δεν αντιπροσωπεύει πιθανότητα. Μπορούμε όμως να αναθέσουμε πιθανότητες στις διάφορες τιμές της R με βάση τις πιθανότητες των αντίστοιχων δειγμάτων του.
Τυχαίες Μεταβλητές ΠΑΡΑΔΕΙΓΜΑ Η χαρακτηριστική τυχαία μεταβλητή του δείγματος δ. R(x) = { 1 x, x = δ 0 x, x δ Τα γεγονότα που σχετίζονται με μια τυχαία μεταβλητή αφορούν τις τιμές που αυτή παίρνει. P(R = 1) = P(x = δ ) P(R > 0) = P(x = δ )
Τυχαίες Μεταβλητές ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ο δειγματικός χώρος περιέχει τις ακολουθίες μήκους 10 που αποτελούνται από Κ και Γ. Π.χ., R(ΓΚΚΓΚΓΓΚΓΓ) = 4. ( ) 10 P(R = 4) = /2 10. 4 10 ( ) 10 P(R 4) = /2 10. i i=4
Κατανομές Οι τυχαίες μεταβλητές αντιστοιχίζουν ενδεχόμενα (δείγματα) σε τιμές. Η συνάρτηση πυκνότητας πιθανότητας εκφράζει «απευθείας» την πιθανότητα η τυχαία μεταβλητή να λάβει κάποια τιμή. Ορισμός Εστω R μια τ. μ. με σύνολο αφίξεως V και πεδίο τιμών range(r) V. Η συνάρτηση πυκνότητας πιθανότητας (probability density function) της R είναι μια συνάρτηση PDF R : V [0, 1] τέτοια ώστε { P(R = x) αν x range(r) PDF R (x) = 0 αν x range(r) Συνέπεια του ορισμού: x range(r) PDF R(x) = 1.
Κατανομές (συνέχεια) Ορισμός Εστω R μια τ.μ. με σύνολο αφίξεως R. Η συνάρτηση κατανομής (cumulative distribution function) της R είναι μια συνάρτηση CDF R : R [0, 1] τέτοια ώστε CDF R (x) = P(R x). Συνέπεια του ορισμού: CDF R (x) = P(R x) = y x P(R = y) = y x PDF R(x).
Διωνυμική Κατανομή ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα n φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. P(R = k) = ( ) n 2 n. k Η συνάρτηση πυκνότητας πιθανότητας PDF R f n : {0, 1, 2,..., n} [0, 1] ορίζεται ως ( ) n f n (k) = 2 n. k
Διωνυμική Κατανομή (συνέχεια) ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα τέλειο νόμισμα n φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. P(R = k) = ( ) n 2 n. k Η συνάρτηση κατανομής CDF R F n : R [0, 1] 0 αν x < 0 F n (x) = x ( n ) i=0 i 2 n αν x n 1 αν x > n
Αναμενόμενη Τιμή Τυχαίας Μεταβλητής Ορισμός Η αναμενόμενη (ή μέση) τιμή μιας τυχαίας μεταβλητής X : R ορίζεται ως E(X ) = δ P(δ)X (δ). Ισχύει E(X ) = δ P(δ)X (δ) = v R P(X = v)v. ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε ένα ζάρι. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με τον αριθμό που μας δίνει η ρίψη του ζαριού. E(X ) = 7/2.
Παράδειγμα: Mean Time to Failure Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. P(C = i) = (1 p) i 1 p. E(C) = 1 ip(c = i) =... = p (1 (1 p)) 2 = 1/p. i N Η C ακολουθεί τη λεγόμενη γεωμετρική κατανομή.
Άλλα παραδείγματα γεωμετρικής κατανομής Ρίχνουμε σε ένα στόχο με κλειστά μάτια. Η πιθανότητα να πετύχουμε το στόχο είναι p. Ποιο είναι το αναμενόμενο πλήθος βολών μέχρι να πετύχουμε το στόχο; Ρίχνουμε ένα νόμισμα το οποίο έρχεται κορώνα με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος ρίψεων μέχρι να πετύχουμε κορώνα; Οταν ένα ζευγάρι κάνει ένα παιδί βγαίνει κορίτσι με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος παιδιών μέχρι να γεννηθεί κορίτσι; Σε όλες τις παραπάνω περιπτώσεις η απάντηση είναι 1/p.
Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X 2 +... + X n ) = E(X 1 ) + E(X 2 ) +... + E(X n ). Απόδειξη. Θέτουμε X = X 1 + X 2 +... + X n. E(X ) = δ P(δ)X (δ) = δ P(δ) (X 1 (δ) +... + X n (δ)) = P(δ)X 1 (δ) +... + P(δ)X n (δ) δ δ = E(X 1 ) +... + E(X n ).
Παράδειγμα:Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X 2 +... + X n ) = E(X 1 ) + E(X 2 ) +... + E(X n ). ΠΑΡΑΔΕΙΓΜΑ Ρίχνουμε δύο ζάρια. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με το άθροισμα των αριθμών που μας δίνουν οι ρίψεις των δύο ζαριών. E(X ) = 7.
Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Υπάρχουν n είδη κουπονιών. Σε κάθε δοκιμή διαλέγουμε τυχαία και ομοιόμορφα ένα κουπόνι. Πόσες δοκιμές πρέπει να γίνουν ώστε να διαλέξουμε τουλάχιστον ένα κουπόνι από κάθε είδος; Εστω X i, i 1, ο αριθμός των δοκιμών που θα εκτελέσουμε ώστε ο αριθμός των ειδών που έχουμε συλλέξει να αυξηθεί από i 1 σε i. Μας ενδιαφέρει το άθροισμα X 1 + X 2 +... + X n. Η κάθε μία από τις X i ακολουθεί τη γεωμετρική κατανομή. Οταν έχουμε δει i 1 είδη, η πιθανότητα σε μία δοκιμή να δούμε ένα καινούργιο είναι (n (i 1))/n. Επομένως E(X i ) = n/(n (i 1)). E(X 1 +X 2 +...+X n ) = n/n+n/(n 1)+...+n/1 = nh n = Θ(n ln n).
Το πρόβλημα της συλλογής κουπονιών (συνέχεια) Υπάρχουν n είδη κουπονιών. Σε κάθε δοκιμή διαλέγουμε τυχαία και ομοιόμορφα ένα κουπόνι. Πόσες δοκιμές πρέπει να γίνουν ώστε να διαλέξουμε τουλάχιστον ένα κουπόνι από κάθε είδος; Ισοδύναμο πρόβλημα: έχουμε n διακεκριμένα δοχεία και ρίχνουμε μία μπάλα σε ένα δοχείο που επιλέγουμε τυχαία. Πόσες ρίψεις πρέπει να γίνουν μέχρι κάθε δοχείο να περιέχει τουλάχιστον μία μπάλα; Το αναμενόμενο πλήθος ρίψεων είναι πάλι nh n = Θ(n ln n).