ΤΟ ΠΡΟΒΛΗΜΑ ΤΟΥ BAYES, Η ΙΑΜΟΡΦΩΣΗ ΤΟΥ ΟΜΩΝΥΜΟΥ ΘΕΩΡΗΜΑΤΟΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ

Transcript

1 ΤΟ ΠΡΟΒΛΗΜΑ ΤΟΥ BAYES, Η ΙΑΜΟΡΦΩΣΗ ΤΟΥ ΟΜΩΝΥΜΟΥ ΘΕΩΡΗΜΑΤΟΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Χαράλαµπος Α. Χαραλαµπίδης Τµήµα Μαθηµατικών, Πανεπιστήµιο Αθηνών 23 Οκτωβρίου 2009

2 ΣΧΕ ΙΟ ΙΑΛΕΞΗΣ ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES (Το αρχικό πρόβληµα του Bayes)

3 ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Η ανάγκη εισαγωγής της δεσµευµένης πιθανότητας αναφύεται στις περιπτώσεις όπου µία µερική γνώση ως προς την έκβαση ενός στοχαστικού πειράµατος µειώνει την αβεβαιότητα συρρικνώνοντας το δειγµατικό χώρο. Συγκεκριµένα, ας ϑεωρήσουµε ένα στοχαστικό πείραµα µε δειγµατικό χώρο Ω και πιθανότητα P(A), για κάθε ενδεχόµενο A Ω. Ας υποθέσουµε ότι σε κάποιο στάδιο της εκτέλεσής του πραγµατοποιήθηκε ένα συγκεκριµένο ενδεχόµενο A Ω. Τότε, όσον αφορά την τελική του έκβαση, ο δειγµατικός χώρος συρρικνώνεται στο σύνολο A και ένα οποιονδήποτε ενδεχόµενο B (ως προς το δειγµατικό χώρο Ω) συρρικνώνεται στο ενδεχόµενο Γ = AB, το οποίο συµβολίζεται µε B A και διαβάζεται: το ενδεχόµενο B δεδοµένου του (ενδεχοµένου) A.

4 ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Η πιθανότητα του ενδεχοµένου B δεδοµένου του A, η οποία συµβολίζεται µε P(B A), B Ω, και καλείται δεσµευµένη πιθανότητα (δεδοµένου του A ) συνδέεται, όπως είναι ϕυσικό, µε τις πιθανότητες P(A) και P(AB). Ετσι, σύµφωνα µε τις διαπιστώσεις αυτές, η δεσµευµένη πιθανότητα, δεδοµένου ενός ενδεχοµένου A, µε P(A) > 0, είναι µία συνάρτηση P(B A), B Ω, η οποία ορίζεται από τη σχέση P(B A) = P(AB), B Ω. (1) P(A) Οταν P(A) = 0, η P(B A) δεν ορίζεται. Για συγκεκριµένο ενδεχόµενο B Ω, η P(B A) καλείται δεσµευµένη πιθανότητα του ενδεχοµένου B δεδοµένου του (ενδεχοµένου) A.

5 ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Αµεση συνέπεια του ορισµού αυτού είναι ότι η P(B A), B Ω, για δεδοµένο A Ω, ικανοποιεί τα τρία αξιώµατα της πιθανότητας και ως γνήσια πιθανότητα ικανοποιεί και όλες τις ιδιότητες της (απόλυτης) πιθανότητας P(A), A Ω. Η δεσµευµένη πιθανότητα δύναται να χρησιµοποιηθεί για την έκφραση της πιθανότητας της τοµής πεπερασµένου αριθµού ενδεχοµένων.

6 ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Πράγµατι, από τον ορισµό της δεσµευµένης πιθανότητας συνάγεται άµεσα η έκφραση P(AB) = P(A)P(B A), (2) η οποία επεκτείνεται (επαγωγικά) στο γνωστό πολλαπλασιαστικός τύπο της πιθανότητας P(A 1 A 2 A ν ) = P(A 1 )P(A 2 A 1 )P(A 3 A 1 A 2 ) P(A ν A 1 A 2 A ν 1 ). (3) Σηµειώνουµε σχετικά ότι αν (και µόνο αν ) P(AB) = P(A)P(B), (4) οπότε P(B A) = P(B) και P(A B) = P(A), τα ενδεχόµενα A και B καλούνται ανεξάρτητα.

7 Παράδειγµα ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Ας ϑεωρήσουµε µία κληρωτίδα η οποία περιέχει ν σφαιρίδια αριθµηµένα από το 1 µέχρι το ν και έστω ότι r από τα σφαιρίδια αυτά είναι άσπρα. Εξάγουµε τυχαία και χωρίς επανάθεση το ένα µετά το άλλο κ σφαιρίδια. Να υπολογισθεί η πιθανότητα του ενδεχοµένου και τα κ εξαγόµενα σφαιρίδια να είναι άσπρα. Εστω A j το ενδεχόµενο εξαγωγής άσπρου σφαιριδίου στην j-οστή εξαγωγή, j = 1, 2,..., κ. Τότε A 1 A 2 A κ είναι το ενδεχόµενο και τα κ εξαγόµενα σφαιϱίδια να είναι άσπρα και η Ϲητούµενη πιθανότητα, σύµφωνα µε τη (3), είναι P(A 1 A 2 A κ ) = P(A 1 )P(A 2 A 1 ) P(A κ A 1 A 2 A κ 1 ) = r ν r 1 ν 1 r κ + 1 ν κ + 1 = (r) κ (ν) κ.

8 ΕΣΜΕΥΜΕΝΗ ΠΙΘΑΝΟΤΗΤΑ Στην περίπτωση του Ελληνικού Lotto η κληρωτίδα περιέχει ν = 49 σφαιρίδια και κληρώνονται κ = 6 αριθµοί. Τα r άσπρα σφαιρίδια ϕέρουν τους αριθµούς στους οποίους στοιχηµατίζει κάποιος. Ετσι, αν στοιχηµατίσει σε r = 6 αριθµούς, η πιθανότητα να πετύχει και τους 6 αριθµούς που κληρώνονται είναι ίση µε p = και ϑεωρείται πρακτικά µηδενική , ,

9 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Η πιθανότητα οποιουδήποτε ενδεχοµένου δύναται να αναλυθεί σε άθροισµα πιθανοτήτων µε τη χρησιµοποίηση δεσµευµένων πιθανοτήτων του ενδεχοµένου αυτού. Η ανάλυση αυτή απαιτεί την έννοια της διαµέρισης του δειγµατικού χώρου Ω. Σχετικά, µια ακολουθία ενδεχοµένων A κ Ω, κ = 1, 2,..., ν,..., τα οποία είναι κατά Ϲεύγη ξένα, A i A j =, i j, και η ένωσή τους είναι A 1 A 2 A ν = Ω, καλείται διαµέριση του Ω. Το σχετικό ϑεώρηµα αναφέρεται ως Θεώρηµα ή τύπος ολικής πιθανότητας.

10 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Θεώρηµα Εστω A κ Ω, κ = 1, 2,..., µία διαµέριση του δειγµατικού χώρου Ω µε P(A κ ) > 0, κ = 1, 2,.... Τότε, για κάθε ενδεχόµενο B Ω, ισχύει P(B) = P(A κ )P(B A κ ). (5) κ=1

11 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Απόδειξη. Παρατηρούµε ότι, για οποιοδήποτε ενδεχόµενο B Ω, τα ενδεχόµενα A κ B A κ B, κ = 1, 2,..., είναι κατά Ϲεύγη ξένα και B = BΩ = (A 1 A 2 A ν )B = (A 1 B) (A 2 B) (A ν B). Εποµένως, σύµφωνα µε την προσθετική ιδιότητα, έχουµε P(B) = P(A 1 B) + P(A 2 B) + + P(A ν B) + και επειδή P(A κ ) > 0, κ = 1, 2,..., χρησιµοποιώντας τον πολλαπλασιαστικό τύπο, P(A κ B) = P(A κ )P(B A κ ), κ = 1, 2,..., συνάγουµε την (5).

12 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Παράδειγµα Οι ηλεκτρικοί λαµπήρες προωθούνται στην αγορά συσκευασµένοι σε χαρτοκιβώτια των 25 λαµπήρων. Ας υποθέσουµε ότι από ένα χαρτοκιβώτιο που περιέχει τρεις ελαττωµατικούς λαµπτήρες εξάγουµε δύο λαµπτήρες. Να υπολογισθούν οι πιθανότητες των ενδεχοµένων A και B εξαγωγής ελαττωµατικού λαµπτήρα στην πρώτη και δεύτερη εξαγωγή, αντίστοιχα. (α) Αν οι εξαγωγές γίνονται µε επανάθεση, τότε P(A) = 3 25, P(B) = 3 25.

13 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ (ϐ) Αν οι εξαγωγές γίνονται χωρίς επανάθεση, τότε P(A) = 3 25, P(A ) = και η πιθανότητα του ενδεχοµένου B υπολογίζεται µε τη χρησιµοποιήση του ϑεωρήµατος της ολικής πιθανότητας ως P(B) = P(A)P(B A) + P(A )P(B A ) = = Αξίζει ιδιαίτερης επισήµανσης το γεγονός ότι, σε αντίθεση µε τη διαίσθησή µας, η πιθανότητα εξαγωγής ελαττωµατικού λαµπτήρα είναι η ίδια είτε οι εξαγωγές γίνονται µε επανάθεση είτε χωρίς επανάθεση.

14 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Παράδειγµα Κληρονοµικότητα χαρακτηριστικών συνδεοµένων µε το φύλο. Τα γονίδια κείνται στα χρωµατοσώµατα. Τα χρωµατοσώµατα εµφανίζονται κατά Ϲεύγη και µεταβιβάζονται ως (αδιαίρετες) µονάδες έτσι ώστε τα γονίδια ενός χρωµατοσώµατος να παραµένουν µαζί. Ο νόµος κληρονοµικότητας των γονιδίων εφαρµόζεται και στα χρωµατοσώµατα ως µονάδες. Το ϕύλο καθορίζεται από δύο χρωµατοσώµατα X και Y και κάθε άτοµο ϕέρει ένα Ϲεύγος τέτοιων χρωµατοσωµάτων.

15 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Τα αρσενικά ϕέρουν το Ϲεύγος XY και ϑηλυκά το Ϲεύγος XX. Ετσι η µητέρα µεταβιβάζει ένα X χρωµατόσωµα και το ϕύλο ενός απογόνου καθορίζεται από το χρωµατόσωµα X ή Y που µεταβιβάζει ο πατέρας. Τα γονίδια που κείνται στο χρωµατόσωµα X δεν έχουν αντίστοιχο γονίδιο στο χρωµατόσωµα Y. Ετσι τα ϑηλυκά, τα οποία έχουν δύο χρωµατοσώµατα X, έχουν δύο τέτοια γονίδια ενώ στα αρσενικά, τα οποία έχουν ένα χρωµατόσωµα X, τέτοια γονίδια εµφανίζονται ως µονά. Τα γονίδια που προκαλούν την αχρωµατοψία, όπως και τα γονίδια που προκαλούν την αιµοφιλία, αποτελούν χαρακτηριστικά παραδείγµατα γονιδίων κειµένων στο χρωµατόσωµα X.

16 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Εστω C ο δεσπόζων και c ο υποχωρητικός τύπος του γονιδίου της αχρωµατοψίας (ή αιµοφιλίας). Τα ϑηλυκά ανήκουν σε ένα από τους τρεις γονοτύπους CC, Cc και cc, ενώ τα αρσενικά σε ένα από τους δύο γονοτύπους C και c. Ενα ϑηλυκό του γονότυπου CC δεν παρουσιάζει αχρωµατοψία (ή αιµοφιλία), του γονοτύπου Cc είναι ϕορέας αχρωµατοψίας (ή αιµοφιλίας) και γονοτύπου cc παρουσιάζει αχρωµατοψία (ή αιµοφιλία). Επίσης, ένα αρσενικό του γονότυπου C δεν παρουσιάζει αχρωµατοψία (ή αιµοφιλία), και του γονοτύπου c παρουσιάζει αχρωµατοψία (ή αιµοφιλία). Εστω p το ποσοστό του δεσπόζοντος τύπου C και q = 1 p το ποσοστό του υποχωρητικού τύπου c του γονιδίου της αχρωµατοψίας (ή αιµοφιλίας), τόσο στα αρσενικά όσο και στα ϑηλυκά άτοµα.

17 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Τότε η πιθανότητα ένας άνδρας να µη παρουσιάζει αχρωµατοψία (ή αιµοφιλία) είναι ίση µε p, ενώ να παρουσιάζει αχρωµατοψία (ή αιµοφιλία) είναι ίση µε q = 1 p. Οι πιθανότητες u, 2v και w των τριών γονοτύπων CC, Cc και cc του γονιδίου της αχρωµατοψίας (ή αιµοφιλίας) στο γυναικείο πληθυσµό, αντίστοιχα, δύνανται να υπολογισθούν ως εξής: Ας ϑεωρήσουµε τα ενδεχόµενα A 1 και A 2 όπως ένα άτοµο το οποίο εκλέγεται τυχαία από τον υποπληθυσµό των αρσενικών είναι του γονοτύπου C και c, αντίστοιχα, και τα ενδεχόµενα B 1, B 2 και B 3 όπως ένα άτοµο το οποίο εκλέγεται τυχαία από τον υποπληθυσµό των ϑηλυκών είναι του γονοτύπου CC, Cc και cc, αντίστοιχα.

18 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Επίσης ας ϑεωρήσουµε τα ενδεχόµενα A και B όπως ένας ϑηλυκός απόγονος Ϲευγαρώµατος δύο ατόµων (αρσενικού και ϑηλυκού) του αρχικού πληθυσµού κληρονοµήσει το γονίδιο C από τον πατέρα και τη µητέρα, αντίστοιχα. Τότε P(A) = P(A 1 )P(A A 1 ) = p 1 = p, P(A ) = 1 P(A) = 1 p = q. Επίσης, σύµφωνα µε το ϑεώρηµα της ολικής πιθανότητας, P(B) = P(B 1 )P(B B 1 ) + P(B 2 )P(B B 2 ) = u 1 + 2v 1 2 = u + v και P(B ) = 1 P(B) = 1 (u + v) = v + w, εφ όσον u + 2v + w = 1.

19 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Τα ενδεχόµενα A και B είναι ανεξάρτητα, οπότε τόσο τα ενδεχόµενα A και B όσο και τα ενδεχόµενα A και B και τα ενδεχόµενα A και B. Ετσι u = P(B 1 ) = P(AB) = P(A)P(B) = p(u + v), 2v = P(B 2 ) = P(AB A B) = P(AB ) + P(A B) = P(A)P(B ) + P(A )P(B) = p(v + w) + q(u + v), w = P(B 3 ) = P(A B ) = P(A )P(B ) = q(v + w). Χρησιµοποιώντας το ότι q = 1 p και v + w = 1 (u + v), συνάγουµε τις Ϲητούµενες πιθανότητες u = p 2, v = pq, w = q 2.

20 ΘΕΩΡΗΜΑ ΟΛΙΚΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΚΑΙ ΕΦΑΡΜΟΓΕΣ Ας σηµειωθεί ότι η πιθανότητα w όπως µια γυναίκα παρουσιάζει αχρωµατοψία είναι ίση µε το τετράγωνο πιθανότητας q όπως ένας άνδρας παρουσιάζει αχρωµατοψία.

21 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Στο ϑεώρηµα της ολικής πιθανότητας, τα ενδεχόµενα A κ Ω, κ = 1, 2,..., δύνανται να ϑεωρηθούν (ερµηνευθούν) ως οι αιτίες που συµβάλλουν στην πραγµατοποίηση του ενδεχοµένου B. Μέτρο της συµβολής της αιτίας A κ στην πραγµατοποίηση του ενδεχοµένου B αποτελεί η πιθανότητα P(A κ B), η οποία εκφράζεται ως γινόµενο P(A κ )P(B A κ ). Η πιθανότητα P(A κ ), κ = 1, 2,..., η οποία είναι γνωστή πριν την εκτέλεση του στοχαστικού πειράµατος µε δειγµατικό χώρο Ω, καλείται και εκ των προτέρων (a priori) πιθανότητα. Η δεσµευµένη πιθανότητα P(A r B), η οποία εκφράζει την πιθανότητα η πραγµατοποίηση του ενδεχοµένου B να οφείλεται στην αιτία A r, r = 1, 2,..., και υπολογίζεται µε δεδοµένη την πραγµατοποίηση του B και εποµένως µετά την εκτέλεση του στοχαστικού πειράµατος, καλείται και εκ των υστέρων (a posteriori) ή αντίστροφη πιθανότητα.

22 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Το ενδιαφέρον στην εκ των υστέρων πιθανότητα και η συναγωγή του πρώτου τύπου υπολογισµού αυτής οφείλεται στον Αγγλο κληρικό, ϕιλόσοφο και µαθηµατικό Thomas Bayes ( ). Στην παρούσα µορφή του ο τύπος αυτός διαµορφώθηκε από τον µεγάλο Γάλλο µαθηµατικό Pierre-Simon de Laplace ( ) και αναφέρεται ως Θεώρηµα ή τύπος του Bayes. Το ϑεώρηµα αυτό και ιδιαίτερα οι εφαρµογές του στη Στατιστική είχε προκαλέσει Ϲωηρόν ενδιαφέρον αλλά και µεγάλη αντιδικία µε ιδιαίτερα οξείς χαρακτηρισµούς µεταξύ των στατιστικών. Σηµειώνουµε ότι το ϑεώρηµα αυτό υπήρξε η αρχή της γένεσης και ανάπτυξης ενός ιδιαίτερου κλάδου της Στατιστικής, γνωστού ως Μπεϋζιανή Στατιστική

23 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Θεώρηµα Εστω A κ Ω, κ = 1, 2,..., µία διαµέριση του δειγµατικού χώρου Ω µε P(A κ ) > 0, κ = 1, 2,..., και B Ω ενδεχόµενο µε P(B) > 0. Τότε P(A r B) = P(A r)p(b A r ), r = 1, 2,.... (6) P(A κ )P(B A κ ) κ=1

24 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Απόδειξη. Παρατηρούµε ότι, σύµφωνα µε τον ορισµό της δεσµευµένης πιθανότητας, επειδή P(B) > 0, έχουµε P(A r B) = P(A rb) P(B). Χρησιµοποιώντας το πολλαπλασιαστικό ϑεώρηµα µε ν = 2, ο αριθµητής γράφεται στη µορφή P(A r B) = P(A r )P(B A r ), οπότε, αναλύοντας τον παρονοµαστή σύµφωνα µε το ϑεώρηµα της ολικής πιθανότητας, συνάγουµε την (6).

25 Παράδειγµα ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Κληρονοµικότητα χαρακτηριστικών συνδεοµένων µε το φύλο (Συνέχεια). Επανερχόµενοι στο προηγούµενο παράδειγµα, ας υποθέσουµε ότι το ποσοστό του δεσπόζοντος τύπου C και το ποσοστό του υποχωρητικού τύπου c του γονιδίου της αχρωµατοψίας είναι p = 0,9 και q = 0,1, αντίστοιχα. Αν το αγόρι που γέννησε µια συγκεκριµένη γυναίκα δεν παρουσιάζει αχρωµατοψία, να υπολογισθεί η πιθανότητα η γυναίκα αυτή να έχει το γονότυπο Cc (να είναι ϕορέας του γονιδίου της αχρωµατοψίας). Αν Γ είναι το ενδεχόµενο το αγόρι να µη παρουσιάζει αχρωµατοψία (να έχει τον γονότυπο C), τότε, σύµφωνα µε τον τύπο του Bayes, P(B 2 Γ) = P(B 2 )P(Γ B 2 ) P(B 1 )P(Γ B 1 ) + P(B 2 )P(Γ B 2 ) + P(B 3 )P(Γ B 3 ).

26 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Εποµένως P(B 2 Γ) = 2pq (1/2) p pq (1/2) + q 2 0 = q = 0,1. Ας σηµειωθεί ότι (απόλυτη) πιθανότητα η συγκεκριµένη γυναίκα να έχει τον γονότυπο Cc, σύµφωνα µε τα εκτεθέντα στο προηγούµενο παράδειγµα, είναι P(B 2 ) = 2pq = 2 (0,9) (0,1) = 0,18. Παρατηρούµε ότι η γνώση ότι γυναίκα αυτή γέννησε υγιές αγόρι µειώνει σηµαντικά την πιθανότητα να είναι ϕορέας του γονιδίου της αχρωµατοψίας.

27 Παράδειγµα ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Ιατρικές διαγνώσεις. Το Θεώρηµα του Bayes, χρησιµοποιούµενο κατάλληλα, δύναται να ϐοηθήσει σηµαντικά το γιατρό να καταλήξει σε µια ιατρική διάγνωση. Συγκεκριµένα, έστω ότι ένας ασθενής προσέρχεται στο ιατρείο και ο γιατρός αφού τον εξετάσει κλινικά δεν µπορεί να καταλήξει σε διάγνωση και τον παραπέµπει σε διάφορες εργαστηϱιακές ϐιοϊατρικές εξετάσεις. Εστω B το σύνολο των κλινικών συµπτωµάτων και των εργαστηϱιακών αποτελεσµάτων, σε κωδικοποιηµένη µορφή, το οποίο συνθέτει την ιατρική εικόνα του ασθενούς. Ακόµη, έστω A κ, κ = 1, 2,..., ν, τα αίτια-ασθένειες που είναι γνωστό ότι προκαλούν το σύνολο B των κλινικών συµπτωµάτων και των εργαστηριακών αποτελεσµάτων. Η υπόθεση αυτή εκφράζεται µαθηµατικά ως (A 1 A 2 A ν ) B.

28 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Τότε η πιθανότητα η ιατρική εικόνα B του ασθενούς να οφείλεται στην ασθένεια A r, για r = 1, 2,..., ν, σύµφωνα µε το ϑεώρηµα του Bayes, δίνεται από την P(A r B) = P(A r)p(b A r ). r = 1, 2,..., ν, ν P(A κ )P(B A κ ) κ=1 Ετσι, ο γιατρός καταλήγει στη διάγνωση ότι ο ασθενής πάσχει από την ασθένεια A m, µε P(A m B) = max{p(a 1 B), P(A 2 B),..., P(A ν B)}.

29 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Οι απαιτούµενοι µαθηµατικοί υπολογισµοί γίνονται από ηλεκτρονικό υπολογιστή εφοδιασµένο µε ένα πρόγραµµα υλοποίησης του τύπου του Bayes και µια ϐάση των απαϱαίτητων ιατρικών δεδοµένων. Τα δεδοµένα αυτά, για κάθε ιατρική εικόνα B, είναι τα ακόλουθα: (α) η πιθανότητα (ποσοστό) P(A κ ) εµφάνισης της ασθένειας A κ στο πληθυσµό, για κ = 1, 2,..., ν, και (ϐ) η δεσµευµένη πιθανότητα (ποσοστό) P(B A κ ) εµφάνισης της ιατρικής (κλινικής και εργαστηριακής) εικόνας B σε ασθενή που πάσχει από την ασθένεια A κ, για κ = 1, 2,..., ν.

30 Παράδειγµα ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Στρατηγική αύξησης της πιθανότητας επιτυχίας. Σ ένα γνωστό τηλεοπτικό παιγνίδι, υπάρχουν τρεις κουρτίνες κ 1, κ 2 και κ 3, από τις οποίες µια κουρτίνα κρίβει πίσω της ένα µεγάλο δώρο, ενώ οι άλλες δύο δεν κρίβουν τίποτα. Ο παίκτης που µαντεύει σωστά ποια κουρτίνα κρίβει το µεγάλο δώρο το κερδίζει. Εστω ότι ένας παίκτης επιλέγει τυχαία την κουρτίνα κ 1. Ο παρουσιαστής του παιγνιδιού, πριν ανοίξει την κουρτίνα και αποκαλυφθεί τι κρίβεται πίσω απ αυτήν, ανοίγει µια από τις δύο άλλες κουρτίνες, έστω την κ 2, αποκαλύπτοντας ότι τίποτα δεν υπάρχει πίσω απ αυτήν. Μετά την αποκάλυψη αυτή, ο παρουσιαστής προσφέρει στον παίκτη τη δυνατότητα να αλλάξει την αρχική του επιλογή (επιλέγοντας αντί της κ 1 την κ 3 ).

31 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Τί θα συµβουλεύατε τον παίκτη: να παραµείνει στη αρχική του επιλογή ή να αλλάξει την επιλογή του ;

32 ΘΕΩΡΗΜΑ BAYES ΚΑΙ ΕΦΑΡΜΟΓΕΣ Η κοινή πεποίθηση είναι ότι στο στάδιο αυτό του παιγνιδιού είτε ο παίκτης παραµείνει στην αρχική του επιλογή είτε την αλλάξει η πιθανότητα να κερδίσει το µεγάλο δώρο είναι η ίδια και ίση µε 1/2. Ας υπολογίσουµε πιο προσεκτικά τις πιθανότητες (α) του ενδεχοµένου να κερδίσει ο παίκτης αν παραµείνει στην αρχική του επιλογή και (ϐ) του ενδεχοµένου να κερδίσει αν αλλάξει επιλογή.

33 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Εστω A 1, A 2 και A 3 τα ενδεχόµενα το µεγάλο δώρο να ϐρίσκεται πίσω από την κουρτίνα κ 1, κ 2 και κ 3, αντίστοιχα. Επίσης, έστω B το ενδεχόµενο ο παρουσιαστής του παιγνιδιού να ανοίξει την κουρτίνα κ 2 (αποκαλύπτοντας ότι τίποτα δεν υπάρχει πίσω απ αυτήν). Τότε P(A 1 B) και P(A 3 B) είναι οι πιθανότητες να κερδίσει ο παίκτης αν παραµείνει στην αρχική του επιλογή και αν αλλάξει επιλογή, αντίστοιχα.

34 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Σύµφωνα µε τον τύπο του Bayes, P(A 1 B) = = P(A 1 )P(B A 1 ) P(A 1 )P(B A 1 ) + P(A 2 )P(B A 2 ) + P(A 3 )P(B A 3 ) (1/3) (1/2) (1/3) (1/2) + (1/3) 0 + (1/3) 1 = 1 3 και επειδή, προφανώς, P(A 2 B) = 0, P(A 3 B) = 1 P(A 1 B) = 2 3. Εποµένως, αν ο παίκτης ακολουθήσει τη συµβουλή ενός προσεκτικού µαθηµατικού και αλλάξει την αρχική επιλογή του αυξάνει την πιθανότητα του να κερδίσει το µεγάλο δώρο.

35 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Ο τύπος του Bayes δύναται να επεκταθεί και στην περίπτωση µη αριθµήσιµου συνόλου ενδεχοµένων µε τη χρήση των συναρτήσεων πυκνότητας πιθανότητας και των δεσµευµένων συναρτήσεων πυκνότητας πιθανότητας τυχαίων µεταβλητών. Συγκεκριµένα, µία πραγµατική συνάρτηση X(ω), ω Ω, µε τιµές στο R X R, καλείται τυχαία µεταβλητή αν και µόνο αν το σύνολο {ω Ω : X(ω) x}, για κάθε x R, είναι ενδεχόµενο στον Ω. Ακόµη, ένα Ϲεύγος (διάνυσµα) τυχαίων µεταβλητών (X, Y) συνιστά (είναι) µια διδιάστατη τυχαία µεταβλητή (ή ένα διδιάστατο τυχαίο διάνυσµα).

36 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Η συνάρτηση F X (x) = P(X x) = P({ω Ω : X(ω) x}), x R, καλείται συνάρτηση κατανοµής της τυχαίας µεταβλητής X και παρουσιάζει το πολύ αριθµήσιµο πλήθος αλµάτων (ασυνεχειών).

37 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Μια τυχαία µεταβλητή X καλείται διακριτή ή απαριθµητή αν και µόνο αν παίρνει µε πιθανότητα ένα αριθµήσιµο (πεπερασµένο ή άπειρο) σύνολο τιµών. Στην περίπτωση αυτή η συνάρτηση κατανοµής F X (x), x R, παρουσιάζει αριθµήσιµο πλήθος αλµάτων (ασυνεχειών). Η συνάρτηση f X (x κ ) = P(X = x κ ) = P({ω Ω : X(ω) = x κ }), κ = 0, 1,..., καλείται συνάρτηση (πυκνότητας) πιθανότητας της τυχαίας µεταβλητής X και η συνάρτηση f X,Y (x κ, y r ) = P(X = x κ, Y = y r ) = P({ω Ω : X(ω) = x κ, Y(ω) = y r }), για κ, r = 0, 1,..., καλείται συνάρτηση (πυκνότητας) πιθανότητας της διδιάστατης τυχαίας µεταβλητής (X, Y).

38 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Επίσης, η συνάρτηση f X Y (x κ y r ) = P(X = x κ Y = y r ) = f X,Y (x κ, y r ), κ = 0, 1,..., f Y (y r ) για δεδοµένη τιµή y r, r = 0, 1,..., της τυχαίας µεταβλητής Y µε f Y (y r ) > 0, καλείται δεσµευµένη συνάρτηση (πυκνότητας) πιθανότητας της τυχαίας X δεδοµένης της Y = y r. Οµοίως, η συνάρτηση f Y X (y r x κ ) = P(Y = y r X = x κ ) = f X,Y (x κ, y r ), r = 0, 1,... f X (x κ ) για δεδοµένη τιµή x κ, κ = 0, 1,..., της τυχαίας µεταβλητής X µε f X (x κ ) > 0, καλείται δεσµευµένη συνάρτηση (πυκνότητας) πιθανότητας της τυχαίας Y δεδοµένης της X = x κ.

39 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Αντικαθιστώντας στις (5) και (6) τις πιθανότητες των ενδεχοµένων µε τις αντίστοιχες συναρτήσεις πυκνότητας πιθανότητας διακριτών τυχαίων µεταβλητών, συνάγουµε τις ακόλουθες εκφράσεις των τύπων της ολικής πιθανότητας και του Bayes και f X (x κ ) = f Y (y r )f X Y (x κ y r ), κ = 0, 1,... (7) r=0 f Y X (y r x κ ) = f Y (y r )f X Y (x κ y r ), r = 0, 1,..., (κ = 0, 1,...), (8) f Y (y r )f X Y (x κ y r ) αντίστοιχα. r=0

40 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Αν η συνάρτηση κατανοµής F X (x), x R, είναι απολύτως συνεχής, η τυχαία µεταϐλητή είναι συνεχής µε συνάρτηση πυκνότητας (πιθανότητας) f X (x) = df X(x), x R. dx Στην περίπτωση αυτή οι τύποι της ολικής πιθανότητας και του Bayes παίρνουν τη µορφή και f X (x) = f Y X (y x) = f Y (y)f X Y (x y)dy, x R, (9) f Y (y)f X Y (x y) f Y (y)f X Y (x y)dy, y R, (x R), (10) αντίστοιχα.

41 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Στο επόµενο παράδειγµα εξετάζουµε το πρόβληµα του οποίου η λύση από τον Thomas Bayes ( ) αποτελεί την αρχική διατύπωση του οµώνυµου τύπου. Thomas Bayes ( ), κληρικός, ϕιλόσοφος και µαθηµατικός, Elected member of the Royal Society (1742) An essay towards solving a problem in the doctrine of chances, The Philosophical Transactions, 53 (1763), , Reproduced in Biometrika, 45 (1958),

42 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Η εργασία του αυτή δηµοσιεύθηκε δύο χρόνια µετά το ϑανατό του από τον ϕίλο του κληρικό, ϕιλόσοφο και αναλογιστή Richard Price µαζί µε υποσηµειώσεις και ένα παράρτηµα µε πρακτικές εφαρµογές. Στην επιστολή του στον John Canton, αρχισυντάκτη του περιοδικού, 23 εκεµβρίου 1763, σηµειώνει: He had, you know, the honour of being a member of the illustrious Society, and was much esteemed by many of it as very able mathematician... (Ακολουθεί σύντοµη περιγραφή του προβλήµατος)... Accordingly, I find among his papers a very ingenious solution of this problem in this way. But he afterwards considered, that the postulate on which he had argued might not perhaps be looked upon by all as reasonable;...

43 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Ο Sir Ronald Fisher, ϑεωρούµενος πατέρας της σύγχρονης Στατιστικής, απέρριψε την άποψη του Bayes, γράφοντας The theory of inverse probability is founded upon an error, and must be rejected. Προς το τέλος της Ϲωής του, όµως, ο Fisher εξέφρασε µεγαλύτερη εκτίµηση στην πραγµατεία του Bayes, όµως συνέχισε να ϑεωρεί τη σχετική µε το ϑέµα άποψη του Laplace ως fallacious rubbish.

44 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Το πρόβληµα του Bayes. Ας ϑεωρήσουµε ένα ορθογώνιο τραπέζι σφαιριστηρίου (µπιλιάρδου) ABΓ του οποίου η απόσταση των παραλλήλων πλευρών AB και Γ είναι θ και ας υποθέσουµε ότι µία σφαίρα αφήνεται τυχαία να κυλίσει σ αυτό. Από το σηµείο στο οποίο σταµατά η σφαίρα ϕέρεται ευθεία EZ παράλληλη στην AB χωρίζοντας το τραπέζι στα ορθογώνια ABZE και EZΓ. Εστω ότι µία δεύτερη σφαίρα αφήνεται τυχαία να κυλήσει στο τραπέζι αυτό ν ϕορές. Να υπολογισθούν (α) η πιθανότητα η δεύτερη σφαίρα να σταµατήσει y ϕορές µέσα στο ορθογώνιο ABZE, για y = 0, 1,..., ν, και (ϐ) η δεσµευµένη πιθανότητα η πρώτη σφαίρα να είχε σταµατήσει σε απόσταση µικρότερη του λ από την πλευρά AB, για λ θ, δεδοµένου ότι η δεύτερη σφαίρα σταµάτησε y ϕορές µέσα στο ορθογώνιο ABZE.

45 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Το τραπέζι σφαιριστηρίου στο πρόβληµα του Bayes

46 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES (α) Η υπόθεση ότι η πρώτη σφαίρα αφήνεται να κυλίσει και σταµατίσει τυχαία σε οποιοδήποτε σηµείο του τραπεζιού συνεπάγεται ότι η απόσταση X του σηµείου αυτού από την πλευρά AB είναι µία τυχαία µεταβλητή που ακολουθεί την οµοιόµορφη κατανοµή στο διάστηµα [0, θ] µε συνάρτηση πυκνότητας f X (x) = 1 θ, 0 x θ.

47 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Εστω Y ο αριθµός των ϕορών που δεύτερη σφαίρα σταµατά µέσα στο ορθογώνιο ABZE. Οι ν ϕορές που η δεύτερη σφαίρα αφήνεται τυχαία να κυλίσει στο τραπέζι του σφαιριστηρίου, αποτελούν ν ανεξάρτητες δοκιµές Bernoulli. Χαρακτηρίζοντας ως επιτυχία το ενδεχόµενο να σταµατήσει µέσα στο ορθογώνιο ABZE, η δεσµευµένη πιθανότητα επιτυχίας, δεδοµενου ότι η πρώτη σφαίρα σταµάτησε σε απόσταση x από την πλευρά AB, είναι p = P(X x) = F X (x) = x θ, 0 x θ.

48 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Εποµένως, η δεσµευµένη κατανοµή της Y δεδοµένης της X = x είναι η διωνυµική µε συνάρτηση πιθανότητας ( )( ) y ( ν x f Y X (y x) = 1 x ν y, y = 0, 1,..., ν. y θ θ) και η από κοινού κατανοµή των X και Y, σύµφωνα µε την f X,Y (x, y) = f X (x)f Y X (y x), έχει συνάρτηση πυκνότητας πιθανότητας ( )( ) y ( ν x f X,Y (x, y) = 1 x ) ν y 1, 0 x θ, y = 0, 1,..., ν. y θ θ θ

49 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Ολοκληρώνοντας αυτή ως προς x, συνάγουµε τη Ϲητούµενη περιθώρια συνάρτηση πιθανότητας της Y : θ ( )( ) y ( ν x f Y (y) = 1 x ) ν y dx, y = 0, 1,..., ν. y θ θ θ 0 Θέτοντας z = x/θ, οπότε x = θz, dx = θdz, και χρησιµοποιώντας το ολοκλήϱωµα της συνάρτησης ϐήτα, B(α, ϐ) = 1 0 z α 1 (1 z) ϐ 1 dz, και επειδή B(y + 1, ν y + 1) = y!(ν y)!/(ν + 1)!, συνάγουµε την f Y (y) = 1, y = 0, 1,..., ν. ν + 1

50 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES (ϐ) Η δεσµευµένη συνάρτηση πυκνότητας της X δεδοµένης της Y = y, σύµφωνα µε την f X Y (x y) = f X,Y (x, y) f Y (y) = f X (x)f Y X (y x), f X (x)f Y X (y x)dx δίνεται από την f X Y (x y) = (ν + 1)! y!(ν y)! ( ) ν ( x 1 x θ θ ) ν y 1 θ, 0 x θ.

51 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES Ολοκληρώνοντας αυτή στο διάστηµα [0, λ], συνάγουµε τη Ϲητούµενη δεσµευµένη πιθανότητα, P(X λ Y = κ) = (ν + 1)! κ!(ν κ)! λ 0 ( ) κ ( x 1 x ) ν κ 1 θ θ θ dx. Εναλλακτικά, η πιθανότητα αυτή δύναται να εκφρασθεί στη µορφή πεπερασµένου αθροίσµατος αν ϑέσουµε στο ολοκλήρωµα z = x/θ και ακολούθως αναπτύξουµε τον όρο (1 z) ν κ σε δυνάµεις του z. Τότε P(X λ Y = κ) = (ν + 1)! κ!(ν κ)! ν ( ) ν κ (λ/θ) ( 1) r κ r+1. r κ r + 1 Σηµειώνουµε ότι ο Bayes αντί των εκφράσεων συναρτήσει ολοκληρωµάτων, χρησιµοποίησε ισοδύναµες εκφράσεις συναρτήσει των εµβαδών των περιοχών που ορίζονται από τις αντίστοιχες καµπύλες. r=κ

52 ΕΣΜΕΥΜΕΝΕΣ ΚΑΤΑΝΟΜΕΣ ΚΑΙ ΘΕΩΡΗΜΑ BAYES ΒΙΒΛΙΟΓΡΑΦΙΑ Bayes, T. (1763). An essay towards solving a problem in the doctrine of chances, The Philosophical Transactions, 53, , reproduced in Biometrika, 45 (1958), Laplace, P. S. (1812). Théorie Analytique des Probabilités, Courvier, Paris. Χαραλαµπίδης, Χ. Α. (2009). Θεωρία Πιθανοτήτων και Εφαρµογές, Εκδόσεις Συµµετρία, Αθήνα.