Μαθηματικά Πληροφορικής Πιθανοτικά Εργαλεία Δύο βασικά εργαλεία από τη Θεωρία Πιθανοτήτων. 1 Υποπροσθετικότητα (Union Bound). 2 Γραμμικότητα Αναμενόμενης Τιμής (Linearity of Expectation). Τμήμα Πληροφορικής και Τηλεπικοινωνιών Πανεπιστήμιο Αθηνών Η Πιθανοτική Μέθοδος (The Probabilistic Method) Μη κατασκευαστική μέθοδος απόδειξης εφαρμόζεται σε προβλήματα που δεν έχουν φαινομενικά καμία σχέση με πιθανότητες. Υποπροσθετικότητα Ενα βασικό εργαλείο στην πιθανοτική μέθοδο και όχι μόνο. Αν θέλουμε να αποδείξουμε ότι ένα αντικείμενο A υπάρχει, ορίζουμε ένα χώρο πιθανότητας πάνω σε μια κατάλληλη συλλογή αντικειμένων και δείχνουμε ότι P(A) > 0. Παράδειγμα: αν δείξουμε πως η πιθανότητα να υπάρξει νικητής σε μια κλήρωση του Τζόκερ είναι μη μηδενική, έχουμε αποδείξει πως υπάρχει ένα τυχερό δελτίο. Πολλές φορές η μη κατασκευαστική απόδειξη μπορεί να μετατραπεί σε κατασκευαστική με το σχεδιασμό κατάλληλου τυχαιοκρατικού (randomized) αλγορίθμου. Για οποιαδήποτε γεγονότα A, B P(A B) = P(A) + P(B) P(A B) P(A) + P(B). Για οποιαδήποτε συλλογή A γεγονότων ισχύει η υποπροσθετική ιδιότητα P( P(A). A A A) A A Μας δίνει ικανοποιητικά άνω φράγματα σε περιπτώσεις όπου ο ακριβής υπολογισμός είναι περίπλοκος.
Η Πιθανοτική Μέθοδος στη Θεωρία Ramsey Η Πιθανοτική Μέθοδος στη Θεωρία Ramsey R(t) ορίζεται ως ο αριθμός εκείνος για τον οποίο κάθε γράφημα G = (V, E) με V R(t) περιέχει ως εναγόμενο υπογράφημα το K t ή το K t. R(t) ορίζεται ως ο αριθμός εκείνος για τον οποίο κάθε γράφημα G = (V, E) με V R(t) περιέχει ως εναγόμενο υπογράφημα το K t ή το K t. Εχουμε δείξει στην τάξη ότι ο R(t) ορίζεται για κάθε t 1, και μάλιστα R(t) 2 2t 1. Ισχύει επίσης R(t) = O(4 t / t). Εχουμε δείξει στην τάξη ότι ο R(t) ορίζεται για κάθε t 1, και μάλιστα R(t) 2 2t 1. Ισχύει επίσης R(t) = O(4 t / t). Πόσο μικρό μπορεί να είναι το R(t); Εύκολα προκύπτει ότι R(t) > (t 1) 2. Πόσο μικρό μπορεί να είναι το R(t); Εύκολα προκύπτει ότι R(t) > (t 1) 2. Θεώρημα (Erdős, 1947) Αν ( ) n 2 1 (t 2) < 1, t τότε R(t) > n. Ειδικότερα, για όλα τα t 3, R(t) > 2 t/2. Ακολουθεί η απόδειξη του θεωρήματος. Για S V, G[S] συμβολίζει το υπογράφημα του G που ενάγεται από το S. Κατασκεύασε τυχαίο G = (V, E), V = n, επιλέγοντας κάθε ακμή ανεξάρτητα με πιθανότητα 1/2. Για S V, S = t, όρισε το γεγονός A S : «G[S] είναι ισόμορφο με το K t ή το K t». Το A S συμβαίνει όταν και οι ( t 2) τυχαίες επιλογές φέρουν το ίδιο αποτέλεσμα. Άρα P(A S ) = 2 2 (t 2). P( A S ) ( ) n P(A S ) = 2 1 (t 2) <1. t S S Επομένως P( S A S)>0. Άρα υπάρχει γράφημα G με n κορυφές που δεν περιέχει ως εναγόμενο υπογράφημα το K t ή το K t. Συμπεραίνουμε ότι R(t) > n.
Για το δεύτερο σκέλος του θεωρήματος: ( ) ( ) n n 2 1+t/2 2 1 (t 2) = t t 2 t2 /2 < nt 2 1+t/2 t! 2 t2 /2. Για t 3, θέτοντας n = 2 t/2 ισχύει ότι n t 2 1+t/2 t! 2 t2 /2 < 1. Μια τυχαία μεταβλητή είναι μια ποσότητα που μετράμε σε σχέση με ένα τυχαίο πείραμα. Ορισμός Μια τυχαία μεταβλητή είναι μια συνάρτηση R : V που αποδίδει τιμές από το V σε κάθε στοιχείο του δειγματικού χώρου. Επομένως, για t 3, R(t) > 2 t/2. Συχνά V = R. Η τιμή της R δεν αντιπροσωπεύει πιθανότητα. Μπορούμε όμως να αναθέσουμε πιθανότητες στις διάφορες τιμές της R με βάση τις πιθανότητες των αντίστοιχων δειγμάτων του. Η χαρακτηριστική τυχαία μεταβλητή του δείγματος δ. R(x) = { 1 x, x = δ 0 x, x δ Τα γεγονότα που σχετίζονται με μια τυχαία μεταβλητή αφορούν τις τιμές που αυτή παίρνει. P(R = 1) P(R > 0) Η χαρακτηριστική τυχαία μεταβλητή του δείγματος δ. R(x) = { 1 x, x = δ 0 x, x δ Τα γεγονότα που σχετίζονται με μια τυχαία μεταβλητή αφορούν τις τιμές που αυτή παίρνει. P(R = 1) = P(x = δ ) P(R > 0)
Η χαρακτηριστική τυχαία μεταβλητή του δείγματος δ. R(x) = { 1 x, x = δ 0 x, x δ Τα γεγονότα που σχετίζονται με μια τυχαία μεταβλητή αφορούν τις τιμές που αυτή παίρνει. P(R = 1) = P(x = δ ) P(R > 0) = P(x = δ ) Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ο δειγματικός χώρος περιέχει τις ακολουθίες μήκους 10 που αποτελούνται από Κ και Γ. Π.χ., R(ΓΚΚΓΚΓΓΚΓΓ) = 4. Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ο δειγματικός χώρος περιέχει τις ακολουθίες μήκους 10 που αποτελούνται από Κ και Γ. Π.χ., R(ΓΚΚΓΚΓΓΚΓΓ) = 4. ( ) 10 P(R = 4) = /2 10. 4
Ρίχνουμε ένα τέλειο νόμισμα 10 φορές και μας ενδιαφέρει ο αριθμός των κεφαλών που θα έρθουν. Ορίζουμε την τυχαία μεταβλητή R να είναι ο αριθμός των κεφαλών σε κάθε δείγμα. Ο δειγματικός χώρος περιέχει τις ακολουθίες μήκους 10 που αποτελούνται από Κ και Γ. Π.χ., R(ΓΚΚΓΚΓΓΚΓΓ) = 4. ( ) 10 P(R = 4) = /2 10. 4 Αναμενόμενη Τιμή Τυχαίας Μεταβλητής Ορισμός Η αναμενόμενη (ή μέση) τιμή μιας τυχαίας μεταβλητής X : R ορίζεται ως Ισχύει E(X ) = δ E(X ) = δ P(δ)X (δ). P(δ)X (δ) = v R P(X = v)v. 10 ( ) 10 P(R 4) = /2 10. i i=4 Αναμενόμενη Τιμή Τυχαίας Μεταβλητής Ορισμός Η αναμενόμενη (ή μέση) τιμή μιας τυχαίας μεταβλητής X : R ορίζεται ως E(X ) = δ P(δ)X (δ). Παράδειγμα: Mean Time to Failure Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. Ισχύει E(X ) = δ P(δ)X (δ) = v R P(X = v)v. Ρίχνουμε ένα ζάρι. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με τον αριθμό που μας δίνει η ρίψη του ζαριού. E(X ) = 7/2.
Παράδειγμα: Mean Time to Failure Παράδειγμα: Mean Time to Failure Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. P(C = i) = (1 p) i 1 p. Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. P(C = i) = (1 p) i 1 p. E(C) = 1 ip(c = i) =... = p (1 (1 p)) 2 = 1/p. i N Παράδειγμα: Mean Time to Failure Άλλα παραδείγματα γεωμετρικής κατανομής Ενα πρόγραμμα κρασάρει στο τέλος της κάθε ώρας με πιθανότητα p, αν υποθέσουμε πως δεν έχει κρασάρει ακόμη. Εστω C η τυχαία μεταβλητή που δηλώνει τον αριθμό των ωρών που το πρόγραμμα θα τρέξει μέχρι να κρασάρει. P(C = i) = (1 p) i 1 p. E(C) = 1 ip(c = i) =... = p (1 (1 p)) 2 = 1/p. i N Η C ακολουθεί τη λεγόμενη γεωμετρική κατανομή. Ρίχνουμε σε ένα στόχο με κλειστά μάτια. Η πιθανότητα να πετύχουμε το στόχο είναι p. Ποιο είναι το αναμενόμενο πλήθος βολών μέχρι να πετύχουμε το στόχο; Ρίχνουμε ένα νόμισμα το οποίο έρχεται κορώνα με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος ρίψεων μέχρι να πετύχουμε κορώνα; Οταν ένα ζευγάρι κάνει ένα παιδί βγαίνει κορίτσι με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος παιδιών μέχρι να γεννηθεί κορίτσι;
Άλλα παραδείγματα γεωμετρικής κατανομής Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Ρίχνουμε σε ένα στόχο με κλειστά μάτια. Η πιθανότητα να πετύχουμε το στόχο είναι p. Ποιο είναι το αναμενόμενο πλήθος βολών μέχρι να πετύχουμε το στόχο; Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X 2 +... + X n ) = E(X 1 ) + E(X 2 ) +... + E(X n ). Ρίχνουμε ένα νόμισμα το οποίο έρχεται κορώνα με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος ρίψεων μέχρι να πετύχουμε κορώνα; Οταν ένα ζευγάρι κάνει ένα παιδί βγαίνει κορίτσι με πιθανότητα p. Ποιο είναι το αναμενόμενο πλήθος παιδιών μέχρι να γεννηθεί κορίτσι; Σε όλες τις παραπάνω περιπτώσεις η απάντηση είναι 1/p. Γραμμικότητα Αναμενόμενης Τιμής Παράδειγμα:Γραμμικότητα Αναμενόμενης Τιμής Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X 2 +... + X n ) = E(X 1 ) + E(X 2 ) +... + E(X n ). Απόδειξη. Θέτουμε X = X 1 + X 2 +... + X n. E(X ) = P(δ)X (δ) δ = P(δ) (X 1 (δ) +... + X n (δ)) δ = P(δ)X 1 (δ) +... + P(δ)X n (δ) δ δ Θεώρημα Για οποιεσδήποτε τυχαίες μεταβλητές X 1, X 2,..., X n E(X 1 + X 2 +... + X n ) = E(X 1 ) + E(X 2 ) +... + E(X n ). Ρίχνουμε δύο ζάρια. Ορίζουμε την τυχαία μεταβλητή X να είναι ίση με το άθροισμα των αριθμών που μας δίνουν οι ρίψεις των δύο ζαριών. E(X ) = 7. = E(X 1 ) +... + E(X n ).
Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Εστω X i, i 1, ο αριθμός των δοκιμών που θα εκτελέσουμε ώστε ο αριθμός των ειδών που έχουμε συλλέξει να αυξηθεί από i 1 σε i. Μας ενδιαφέρει το άθροισμα X 1 + X 2 +... + X n. Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Εστω X i, i 1, ο αριθμός των δοκιμών που θα εκτελέσουμε ώστε ο αριθμός των ειδών που έχουμε συλλέξει να αυξηθεί από i 1 σε i. Μας ενδιαφέρει το άθροισμα X 1 + X 2 +... + X n. Παράδειγμα: Το πρόβλημα της συλλογής κουπονιών Εστω X i, i 1, ο αριθμός των δοκιμών που θα εκτελέσουμε ώστε ο αριθμός των ειδών που έχουμε συλλέξει να αυξηθεί από i 1 σε i. Μας ενδιαφέρει το άθροισμα X 1 + X 2 +... + X n. Η κάθε μία από τις X i ακολουθεί τη γεωμετρική κατανομή. Οταν έχουμε δει i 1 είδη, η πιθανότητα σε μία δοκιμή να δούμε ένα καινούργιο είναι (n (i 1))/n. Επομένως E(X i ) = n/(n (i 1)). Η κάθε μία από τις X i ακολουθεί τη γεωμετρική κατανομή. Οταν έχουμε δει i 1 είδη, η πιθανότητα σε μία δοκιμή να δούμε ένα καινούργιο είναι (n (i 1))/n. Επομένως E(X i ) = n/(n (i 1)). E(X 1 +X 2 +...+X n ) = n/n+n/(n 1)+...+n/1 = nh n = Θ(n ln n).
Το πρόβλημα της συλλογής κουπονιών (συνέχεια) Ισοδύναμο πρόβλημα: έχουμε n διακεκριμένα δοχεία και ρίχνουμε μία μπάλα σε ένα δοχείο που επιλέγουμε τυχαία. Πόσες ρίψεις πρέπει να γίνουν μέχρι κάθε δοχείο να περιέχει τουλάχιστον μία μπάλα; Το αναμενόμενο πλήθος ρίψεων είναι πάλι nh n = Θ(n ln n).