x π 1 i n Το παραμετρικό μοντέλο πιθανότητας (η

Transcript

1 Η Στατιστική συμπερασματολογία (statstcal ferece είναι η επιστήμη που σκοπό έχει την εξαγωγή συμπερασμάτων για τις παραμέτρους ενός πληθυσμού, δηλαδή την εκτίμηση των παραμέτρων του, μελετώντας δείγμα (ή δείγματα από τον πληθυσμό (,, d paraeters (,, Οι άγνωστοι παράμετροι του πληθυσμού (odel Τα δεδομένα (data, παρατηρήσεις από τον πληθυσμό. π Το παραμετρικό μοντέλο πιθανότητας (η ~ ( δειγματοληπτική κατανομή saplg dstrbuto που καθορίζει για δοθείσα τιμή του πώς κατανέμονται οι πιθανότητες ενδεχομένων της μορφής { X A } δηλαδή { } π ( Συμβολισμός. P X A u du A Ο συμβολισμός που θα ακολουθήσουμε εξαρτάται από τα συμφραζόμενα (cotet sestve. Τον χρησιμοποιούμε γιατί οι μαθηματικές εκφράσεις που χρησιμοποιούμε γρήγορα γίνονται αρκετά πολύπλοκες και είναι δύσκολο να τις χειριστούμε με τον συνήθη συμβολισμό. Με π ( συμβολίζουμε την δεσμευμένη πυκνότητα fx ( δεσμευμένη μάζα πιθανότητας P{ X }. Το κεφαλαίο ( χρησιμοποιούμε για μέτρα πιθανότητας, για παράδειγμα ( π ( ( X είτε την Π το Π d d f d ενώ για το δεσμευμένο μέτρο πιθανότητας γράφουμε ( π ( ( Π d d f d. Το π ( y θα θεωρείτε γενικά «διαφορετικό» από το π ( π ( y X, δηλαδή το εκφράζει το νόμο πιθανότητας που ακολουθεί η τυχαία μεταβλητή Y ενώ το π ( τον νόμο που ακολουθεί η X. Το ( d Ω θα συμβολίζει τον χώρο καταστάσεων της τ.μ. : Ω (state space είτε το στήριγμα (support, του επαγόμενου μέτρου P (. Για παράδειγμα ( ( ω ( ωω ω ( P Ω P d P (, + d ] P (, + d ] ω ω ( Ω Ω Ω Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

2 ( ( ( ( ( ( ( P d P d f d d Ω Ω Ω π, ισοδύναμα για κάθε P μετρήσιμο υποσύνολο A του Ω ( ( ω (( ωω, + ω] ( (, + ] P A P d P d P d ω ω ( A A A ( ( ( ( ( ( ( ( P d P d f d d A A A A π. Σημειώστε ότι P ( d είναι απλά ένας τρόπος να συμβολίσουμε τη πιθανότητα η τυχαία μεταβλητή να ανήκει στο απειροστό διάστημα (, d] +. Εάν το μέτρο πιθανότητας ( προς το μέτρο Lebesgue έχουμε: P είναι απολύτως συνεχές ως ( { } { : ( } ( P d P < + d P ω Ω < ω + d π d. Κλασσική εκτίμηση: [ ],, συμπερασματολογία Υποθέτουμε ότι η παράμετρος του πληθυσμού είναι μια σταθερά, όπου ο παραμετρικός χώρος. Η αρχή της πιθανοφάνειας μας λέει ότι: Όλη η πληροφορία που μεταφέρεται από τα δεδομένα για την άγνωστη παράμετρο συγκεντρώνεται στην συνάρτηση πιθανοφάνειας (lkelhood L ; π. fucto ( ( Εάν και y είναι δύο διαφορετικές πραγματοποιήσεις του τυχαίου δείγματος, του ιδίου μεγέθους κάτω από δύο διαφορετικούς πειραματικούς σχεδιασμούς D και D, και έχουμε πd ( cπ ( D y με c cy (, τότε θα καταλήξουμε στην ίδια εκτίμηση για το είτε έχουμε παρατηρήσει είτε y. Οι τιμές του που δίνουν μεγαλύτερη πιθανότητα στο που παρατηρήθηκε είναι πιο πιθανές από εκείνες που δίνουν στο μικρότερη πιθανότητα. Ο Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

3 εκτιμητής μέγιστης πιθανοφάνειας ΕΜΠ μεγιστοποιεί την συνάρτηση πιθανοφάνειας. είναι λοιπόν η τιμή ˆMLE του που Έτσι εάν d θα έχουμε: ( ˆ MLE ( π sup π, ˆ MLE αν και μόνον εάν: log 0, δηλαδή το διάνυσμα των μερικών παραγώγων είναι. π ( ˆ MLE μηδέν για. ˆMLE. Ο πίνακας των δευτέρων παραγώγων log π ( Hes ( ˆ MLE ˆ MLE ˆMLE είναι αρνητικά ορισμένος (egatve defte, δηλαδή < 3 d z \{( 0,,0 } T ( ( MLE Q z z Hes ˆ z 0 για. για όπου ( log π ( η αντίστοιχη score fucto του ( π. Παράδειγμα έλουμε να εκτιμήσουμε την πιθανότητα επιτυχίας σε ανεξάρτητες δοκιμές Beroull. Σχεδιάζουμε δύο πειράματα:. Desg : α πραγματοποιηθούν ακριβώς δοκιμές.. Desg : Οι δοκιμές θα συνεχίζονται έως ότου ένας προκαθορισμένος αριθμός από επιτυχίες πραγματοποιηθεί. Στη πρώτη περίπτωση η παρατήρηση { X } ~ B, έρχεται από την διωνυμική ( 0,,. ( με π ( ( { } Mau Lkelhood Estator ˆMLE Ο Hessa πίνακας. 3 Η τετραγωνική μορφή Q( z είναι κοίλη (cocave με ολικό au το ( 0,,0 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 3 z.

4 Στη δεύτερη περίπτωση η παρατήρηση { Y y} y ~ NB, y ( με π ( y ( ( y y Για τις παρατηρήσεις { X } και { Y } έρχεται από την αρνητική διωνυμική. (τότε το δείγμα είναι του ιδίου μεγέθους οι πιθανοφάνειες είναι ανάλογες η μία της άλλης και θα πρέπει να καταλήξουμε στην ίδια εκτίμηση για το. Πράγματι B ( ; ( (, ( π ( L X B NB Desg ( ; π ( (, ( ( L Y NB Desg Και από τις δύο πιθανοφάνειες προκύπτει ότι ˆ /. Για παράδειγμα: { X } 3 { ο αριθμός των επιτυχιών, σε ανεξάρτητες δοκιμές Beroull με πιθανότητα επιτυχίας, είναι 3}. { Y } { ο αριθμός των δοκιμών Beroull με πιθανότητα επιτυχίας, έως ότου παρατηρήσουμε 3 επιτυχίες, είναι }. MLE. 3 Τότε π ( 3 ( D και π ( y ( D 9 και από τις δύο πιθανοφάνειες ˆ MLE 0.5. ΕΜΠ για δεδομένα από την κατανομή Epoetal: Έστω τυχαίο δείγμα μεγέθους από την εκθετική κατανομή με μέση τιμή / δηλαδή Ep d ~ ( με Ep ( e ( 0 Παραμετρικός χώρος: ( 0,. ( ( ( > για, π π Ep e e, ( /. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 4

5 όπου. Παρατηρούμε ότι η εξίσωση πιθανοφάνειας δίνει log π ( { log ( } 0 ˆ /. MLE και ότι log π ( υπολογισμένη για είναι ( < 0 ˆMLE Έτσι στο η συνάρτηση log ( ˆMLE π (άρα και η π ( παρουσιάζει μέγιστο. ΕΜΠ για δεδομένα από την κατανομή Gaa: Έστω τυχαίο δείγμα μεγέθους από την gaa κατανομή με μέση τιμή a /, όπου το a είναι γνωστό, δηλαδή d ~ Ga ( a, για [ ] a/ Παραμετρικός χώρος: ( 0,. π π a e a a, Γ ( ( Ga ( ( a Γ a a a e e log π ( a log ( a log π ( 0 ˆ MLE a /, ( a και log π ( a υπολογισμένη για είναι ˆMLE ( 0 <. a ΕΜΠ για δεδομένα από την κατανομή Posso: Έστω τυχαίο δείγμα μεγέθους από την κατανομή Posso με μέση τιμή > 0, δηλαδή d ~ Po( για. 5 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

6 [ ] Παραμετρικός χώρος: ( 0,. e π π e! ( ( Po( {!} { } log π + log log! + 0 ( ( ( από όπου ˆMLE, ενώ log π ( υπολογισμένη για ˆMLE είναι < 0, και εφόσον 0 και όλα τα δεν είναι ταυτόχρονα μηδέν. Οι παρατηρήσεις δεν μπορεί να είναι όλες μηδέν, διότι σε αυτή την περίπτωση θα είχαμε π (, που είναι φθίνουσα συνάρτηση ως προς, με e αποτέλεσμα το sup του π ( για > 0 να είναι το 0 που δεν ανήκει στον παραμετρικό χώρο ( Ω ( 0, όλα τα δεν είναι ταυτόχρονα 0.. Έτσι το είναι το MLE μόνο στην περίπτωση που ΕΜΠ για δεδομένα από την κατανομή Beroull: Έστω τυχαίο δείγμα μεγέθους από την κατανομή Beroull δηλαδή d ~ Beroull ( B(, για. Παραμετρικός χώρος: ( 0,. ( ( ( ( B, ( π π Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 6 ( ( ( log π ( { log ( + ( log ( } από όπου ˆMLE. Επειδή ο παραμετρικός χώρος δεν περιέχει το 0 και το (είναι 0,

7 ( log π ( ( αντικαθιστώντας παίρνουμε 0 < εάν και μόνον εάν οι παρατηρήσεις μας δεν είναι όλες ίδιες. Δηλαδή στην περίπτωση που 0 για όλα τα, είτε για όλα τα ο ΕΜΠ δεν ορίζεται. Σημειώστε ότι: d ~ B( Εφόσον y, το προηγούμενο πρόβλημα εύρεσης ΕΜΠ είναι ισοδύναμο με την εύρεση του ΕΜΠ για διωνυμικό μοντέλο με άγνωστο δοθείσας μιας μόνο διωνυμικής παρατήρησης y. Πράγματι y y ( y ( y π log π ( y log + ylog ( + ( y log ( y y y y y, από όπου ˆMLE. ( Αντικαθιστώντας y στην έκφραση log π ( y y y (, παίρνουμε < 0, όταν y 0,. y y ΕΜΠ για δεδομένα από την Noral κατανομή, με άγνωστες και τις δύο παραμέτρους: Έστω τυχαίο δείγμα μεγέθους από την κανονική κατανομή με μέσο µ και διασπορά σ δηλαδή d ~ N ( για και ( µσ, η άγνωστη παράμετρος. Παραμετρικός χώρος: ( µσ, (, ( 0,. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 7

8 ( ( N (, ( πσ ep ( µ π π µσ log π ( log ( π log ( σ ( µ +. Εάν ζητήσουμε σ σ και / + log π ( ( µσ, (, ( ( 0,0, µ µ µσ, σ σ ( σ παίρνουμε ˆMLE µ και ˆ σ ( MLE. Ο Hessa πίνακας Hes ( µσ, ( log π ( µσ, Hes ( µσ, µσ, είναι: ( µ σ ( σ ( µ 3 ( µ ( σ ( σ ( σ αντικαθιστώντας µ ˆ µ, σ ˆ σ παίρνουμε MLE MLE 0 ˆ σ ˆ MLE H Hes ( ˆ µ, ˆ MLE σ MLE 0 ( ˆ σ MLE Εάν z ( y, βλέπουμε ότι: y < {( }, ˆ T 0, z \ 0,0 ˆ σ MLE zhz ( ˆ σ MLE που σημαίνει ότι ο πίνακας Ĥ είναι αρνητικά ορισμένος. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 8

9 ΕΜΠ για δεδομένα από την Noral κατανομή, με άγνωστες και τις δύο παραμέτρους παραμετροποίηση με precso: Έστω τυχαίο δείγμα μεγέθους από την κανονική κατανομή με μέσο µ και ακρίβεια (precso τ / σ d ( N ( ~ µτ, µτ, για, τ τ ( ( / τ π ep ep ( ( µ τ S + µ τ log π ( log ( τ ( S + ( µ, S ( Ζητάμε log π ( τ ( µ 0 µ µ S log π ( ( S + ( µ 0 τ τ τ S τ S ( Ucorrected saple varace. ( Corrected saple varace. Ο Hessa πίνακας Hes ( µτ, ( log π ( µτ, μετά από πράξεις είναι µτ, Hes ( µσ, ( τ µ ( Hˆ ( µ 4 S 0 ( τ 0 S, που προφανώς είναι αρνητικά ορισμένος. Άσκηση Δείξτε ότι το ucorrected saple varace ( είναι μεροληπτικός (based εκτιμητής της διασποράς ενώ το corrected saple varace ( ( είναι αμερόληπτος (ubased εκτιμητής της διασποράς. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 9

10 Για το ucorrected saple varace έχουμε: ( ( ( σ µ + µ σ. ( σ µ σ < σ Για το corrected saple varace έχουμε: ( ( σ σ ( σ ( µ σ ( µ σ ( µ σ σ ( µ σ + Cov(, σ σ < Έτσι παίρνουμε σ ( σ σ σ. Παράδειγμα 00( a % διάστημα εμπιστοσύνης 4 Για και τυχαίο δείγμα ( S S ( και S+ S+ ( διάστημα I [ S, S+ ] { X } και ονομάζεται το 00( a,, ορίζουμε στατιστικές συναρτήσεις τέτοιες ώστε για 0 a < <, { } P S S a. Το + είναι τυχαίο εφόσον εξαρτάται από την πραγματοποίηση % διάστημα εμπιστοσύνης με επίπεδο εμπιστοσύνης a, επίπεδο σημαντικότητας a, κάτω όριο S και πάνω όριο S +. Από το Κεντρικό Οριακό εώρημα έχουμε ότι πρακτικά για 30 : 4 Cofdece Iterval 0 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

11 Z ( ( Var d N ( 0,, όπου, [ ] µ και Var [ ] σ. Ορίζουμε / 0 a z > τέτοιο ώστε { } P Z za/ a/ P Z z a,, ή ισοδύναμα { } που δίνει P{ S µ S } a με S± S± ( z a / + άγνωστο χρησιμοποιούμε την προσέγγιση σ ±. Εάν και το σ σˆ MLE. a/ σ είναι Η [ µ ] συμπερασματολογία έχει μακροχρόνια (frequetst ερμηνεία κατά την έννοια του ότι για πολύ μεγάλο αριθμό δειγμάτων (δηλαδή για πολύ μεγάλο αριθμό πραγματοποιήσεων της διανυσματικής τ.μ. (,, η σταθερά µ (η πραγματική μέση τιμή του πληθυσμού θα ανήκει περίπου, στο 00( a % των αντίστοιχων πραγματοποιήσεων του τυχαίου διαστήματος I( X S ( X, S ( X +. Εκτίμηση κατά Bayes ή [ ],, - συμπερασματολογία. Εδώ η άγνωστη παράμετρος τυχαιοποιήται δηλαδή θέτουμε ( (,, ~,, d π. εωρούμε ότι η παράμετρος είναι στοχαστική ποσότητα με από κοινού συνάρτηση πιθανότητας π (. Η κατανομή π ( είναι το εκ των προτέρων (apror στοχαστικό μοντέλο για το, προτού συλλέξουμε τα δεδομένα (,,. εωρούμε ότι συγκεντρώνει όλη την προηγούμενη γνώση μας (αρχική μας πίστη για την άγνωστη παράμετρο. Από εδώ και στο εξής θα αναφερόμαστε στην από κοινού συνάρτηση πιθανότητας (διακριτή ή συνεχή π ( π(,, d σαν την pror κατανομή. Όταν κάνουμε εκτίμηση παραμέτρων τις περισσότερες φορές έχουμε κάποια εκ των προτέρων γνώση για το τι τιμές μπορεί να παίρνει η άγνωστη παράμετρος. Με την κατανομή π ( συνδέουμε τις γνώμες και την εμπειρία των ειδικών (elctato processes είτε (ή και την εμπειρία που υπάρχει από προηγούμενα πειράματα (ιστορικά δεδομένα με την μορφή μαθηματικά συνεπών προτάσεων. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

12 Ο κανόνας του Bayes. Γίνεται έτσι δυνατόν η εκτίμηση μας να βασίζεται στο συνδυασμό a-pror γνώσης και δεδομένων, χρησιμοποιώντας τον κανόνα του Bayes. Η εκτίμηση παρουσιάζεται μέσο της a-posteror (εκ των υστέρων κατανομής π ( ή απλά posteror. ( ( ( ( π ( π, π π π (, π όπου π ( είναι η μίξη της πιθανοφάνειας π ( ως προς το pror μέτρο Π ( d (το μέτρο της μίξης: ( ( Π ( ( (. π π d π π d Η κατανομή π (, είναι η κατανομή των παρατηρήσεων, σύμφωνα με το μοντέλο π (, ή αλλιώς η εκ των προτέρων κατανομή πρόβλεψης (από εδώ και στο εξής pror predctve Η π ( λοιπόν, προβλέπει την κατανομή των παρατηρήσεων σύμφωνα με το μοντέλο πιθανότητας που διαλέξαμε για pror του. Η pror predctve κατανομή είναι χρήσιμη όταν θέλουμε να επιβεβαιώσουμε την συμβατότητα του παρατηρούμενου δείγματος με το μοντέλο μας για pror,, π. χρησιμοποιώντας δείγματα { } που προέρχονται από την ( Ένας άλλος χαρακτηρισμός της π ( είναι σαν η σταθερά κανονικοποίησης του πυρήνα (kerel της posteror. Πράγματι ( (, ( ( π π π π, που σημαίνει ότι υπάρχει C C( > 0 τέτοιο ώστε π ( C π ( π ( όπου ( ( ( ( ( π d C π π d C π π d ή ότι, από Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

13 ( π ( ( ( ( ( ( ( π π π π. π π π d Μετά την παρατήρηση του (,, κατανομή του [ ] να βρούμε και τον νόμο πιθανότητας [ ] μπορούμε εφόσον γνωρίζουμε την, δηλαδή την εκ των υστέρων κατανομή πρόγνωσης (posteror predctve, όπου νέα παρατήρηση που έπεται της παρατήρησης του. Σύμφωνα με τα προηγούμενα η κατανομή [ ] είναι μίξη της πιθανοφάνειας, για την νέα παρατήρηση, με μέτρο μίξης το posteror μέτρο Π ( ( d π d ( (, (, (. π π d π π d θα Κάτω από την προϋπόθεση ότι οι παρατηρήσεις είναι ανεξάρτητες δοθέντος του (codtoally depedet gve δηλαδή ότι βρίσκεται σε ισχύ το παραμετρικό μοντέλο ( d π,, ~ είναι λογικό να υποθέσουμε ότι και για την επόμενη παρατήρηση ισχύει ότι d ~ π ( + με που δίνει + (, ( ( ( (, ( ( π π π π π π π, από όπου π (, π ( και τελικά ( ( ( d ( Π ( d. π π π π Δηλαδή η ( π ( ως προς το a-posteror μέτρο πιθανότητας ( d π μπορεί να εκφραστεί ως η μέση τιμή των codtoal predctos Π. Λέμε ότι οι παρατηρήσεις είναι απείρως ανταλλάξιμες όταν: ( ( ( ( (,,, ~,,,,, ρ ρ ρ 3 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

14 για κάθε μετάθεση ρ Per ( πάνω στο σύνολο {,,, }. Για παράδειγμα εάν το ρ είναι η κυκλική μετάθεση ρ ( 3 της ανταλλαξιμότητας δίνει ( (,,,, ~, 3,,,,. τότε η υπόθεση Εάν ισχύει η υπόθεση της υπό συνθήκη ανεξαρτησίας τότε οι παρατηρήσεις είναι και ανταλλάξιμες, πράγματι (,,, (,,,, (,,, ( π π d π π d π ( π ( d Μεταθέτοντας τους παράγοντες του γινομένου σύμφωνα με την μετάθεση ρ η προηγούμενη σχέση μας δίνει ( ( ( ρ ( ( ρ( ρ( ρ( ( π,,, π π d π,,, π d ( (, (,, (, d (, (,, ρ ρ ρ ρ ρ ρ( ( π π. Όμως και το αντίστροφο είναι αληθές (De Fett s Theore. Οι απείρως ανταλλάξιμες παρατηρήσεις είναι και υπό συνθήκη ανεξάρτητες. Δηλαδή εάν,,, ανταλλάξιμες για κάθε υπάρχει τ.μ. 5 έτσι ώστε οι υπό [ ],[ ],, [ ] συνθήκη τ.μ. να είναι ανεξάρτητες για κάθε. Άσκηση Δείξτε ότι κάτω από την υπόθεση της υπό συνθήκη ανεξαρτησίας και [,,,, ] ~ (,, (,,, Per(. + ρ ρ + ρ > ισχύει: 5 Latet rado varable. 4 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

15 Αρκεί να δείξουμε ότι π (,,,, π ( π (,, d + + Πράγματι π (,,, π ( π( d + ( ( ( π π π d π ( π (,,, π( d, + έτσι π (,,,,, + π π (,, (,, (,,, π( π (,, π π ( d + π ( π (,, d. + H βασική αντίρρηση για την κατά Bayes συμπερασματολογία είναι η «υποκειμενικότητα» (subectvty της π ( που προκαλεί η εξάρτηση της posteror από την pror π (. Αυτή η εξάρτηση όμως δεν είναι τίποτε άλλο από την μαθηματική τυποποίηση και ενσωμάτωση της a-pror πληροφορίας στο στοχαστικό μας μοντέλο. Αυτό που γίνεται ανοιχτά στην Bayesa στατιστική μπορεί να γίνεται πολλές φορές εν κρυπτό στην κλασική στατιστική. Για παράδειγμα d Η επιλογή του κατάλληλου μοντέλου πιθανοφάνειας ~ π ( μπορεί να χαρακτηριστεί υποκειμενική. 5 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 σαφώς Οι εκ των προτέρων πεποιθήσεις μας μπορούν να επηρεάσουν το επίπεδο σημαντικότητας a σε έναν κλασικό έλεγχο υποθέσεων.

16 Διαδοχική ανάλυση Έστω ότι έχουμε υπολογίσει την posteror π (,, για παρατηρήσεις (,, που αντιστοιχεί στην pror ( νέες παρατηρήσεις ( (,,,,, + π. Εάν στην συνέχεια προκύψουν και άλλες,, τότε για τον υπολογισμό της νέας posteror π +, μπορούμε να χρησιμοποιήσουμε την γνώση της προηγούμενης posteror ( π. Ισχύει ότι,, (,,,,, (,, (,, π π π, + + δηλαδή η κατανομή ( π ( + π μπορεί να θεωρηθεί σαν η νέα pror και η,,,, σαν η νέα πιθανοφάνεια. Πράγματι (,,,,, π + (,(,,,( +,, (,,,(,, π π ( + (,, (,, ( +,,,(,, π ((,,,( +,, π π π κάτω από την προϋπόθεση της υπό συνθήκη ανεξαρτησίας οι τ.μ.,, + δοθέντος του είναι ανεξάρτητες των,, και έτσι ( +,,,(,, ( +,, π π ενώ π (,,, +,, π (,, έτσι παίρνουμε τελικά π (,,,, + 6 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

17 (,,,,, π + (,, ( +,, π (,,,, π π + (,, (,, π π. + Παρατηρούμε ότι στην προηγούμενη σχέση ο παρανομαστής είναι και πάλι το ολοκλήρωμα του αριθμητή ως προς (,,,, (,,,,, π π d + + (,, (,, d (,, ( d,, π π π Π, από όπου + + (,,,,, π + (,, ( +,, (,, (,, π π. π π d + Άσκηση: Δείξτε ότι για να προσθέσουμε μια νέα παρατήρηση + στην posteror κατανομή του [ ] π ( και σαν πιθανοφάνεια την π (,,,, αρκεί να θεωρήσουμε σαν pror κατανομή την +. Παράδειγμα Η αιμοφιλία είναι μια αρρώστια συνδεδεμένη με X χρωμοσωματικά υπολειπόμενη κληρονομικότητα ( X Chroosoe Lked Recessve Ihertace Άνδρας: Έχει από ένα X και Y χρωμόσωμα, τύπος: ( XY,. Γυναίκα: Έχει δύο X χρωμοσώματα, τύπος: ( X, X. Ο άνδρας είναι που καθορίζει το φύλο του παιδιού διότι δίνει X ή Y χρωμόσωμα ενώ η γυναίκα μπορεί να δώσει μόνο X. 7 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

18 Το αιμοφιλικά μεταλλαγμένο χρωμόσωμα 6, έχει μορφή X * με αποτέλεσμα μόνο η γυναίκα να μπορεί να γίνει αιμοφιλικός φορέας Αιμοφιλικός άνδρας ( X *, Y Αιμοφιλική γυναίκα ( X *, X * Φορέας αιμοφιλίας ( X *, X Το αποτέλεσμα είναι ότι ένας υγιείς άντρας και μια γυναίκα φορέας δίνουν ισοπίθανα { } * * * παιδιά τύπου: ( X, Y ( X, X ( X, X,( X, X,( Y, X,( Y, X Έστω γυναίκα που ξέρουμε ότι η μητέρα της ήταν φορέας. Η άγνωστη παράμετρος είναι η κατάσταση που βρίσκεται η γυναίκα αν δηλαδή είναι φορέας * (, ( X, X ( ή όχι 0, ( X, X γιων της. Για παράδειγμα η παρατήρηση { } * (, Y X, ενώ { 0} ότι δεν νοσεί (, Να βρεθούν:. Η pror predctve (, π.. Η posteror ( 0, 0 π.. Οι παρατηρήσεις μας είναι η κατάσταση των Y X. 3. Η posteror predctve ( 0, 0 ( 0, 0, 0 π. 3 3 σημαίνει ότι ο γιός της νοσεί π και η posteror Η a-pror κατανομή της πληροφορίας πριν δούμε οποιαδήποτε παρατήρηση είναι: 0 ~ π ( 0 π ( Η pror predctve για δύο παρατηρήσεις είναι: ( 0, 0 ( 0 ( 0, ( ( 0, 0 π π π π π 6 που περιέχει το αιμοφιλικό γονίδιο 8 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

19 ( 0 ( 0 0 ( 0 0 ( ( 0 ( 0 π π π + π π π ( 0.5( ( + ( 0.5( 0.5( Εύκολα υπολογίζουμε ότι π (, 0.5 και ( έχουμε π (, την ανταλλαξιμότητα των και π 0, 0.5 ενώ από Για παρατήρηση y { 0, 0}. π π y π ( 0, 0 π y ( 0.5( 0.5( 0.5 ( 0.5( ( + ( 0.5( 0.5( Έτσι η a-posteror κατανομή [ 0, 0] ( ( π ( π ( y ( π ( 0 π ( y 0 + π ( π ( y γίνεται: 0 [ ] 0, 0 ~ θέτουμε y { 0, 0}, y { 3 0} και π ( π (, ( y( π ( y y y y y έχουμε ( ( π ( y y π y π y π y π y π ( yy, π y ( y y Για την posteror predctve ( 0, 0 π έχουμε 3 ( 0 0, 0 ( 0, 0 0, 0 + ( 0, 0, 0 π π π ( 0 0, 0 ( 0 0, 0, 0 π π 3 ( 0, 0 ( 0 0, 0, + π π 3 ( 0 0, 0 ( 0 0 π π 3 9 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

20 ( 0, 0 ( 0 + π π 3 ( 0.80( + ( 0.0( έτσι ( 0.0( , 0 ~ [ ] 3 0 π ( yy, 0. [ yy, ] ~ Σημειώστε ότι: [ ],[ ],, [ ]. Ενώ οι τ.μ. είναι ανεξάρτητες, οι τ.μ.,,, δεν είναι. Πράγματι π ( 0,, 0 π ( 0 π ( 0 για > π 0,, 0 π 0 π 0 0 π π 0 ( ( ( + ( ( ( ( , + π ( 0 { π ( 0 π ( π ( π ( 0 } {( ( } , >. +. Έχουμε ότι π ( ( 0,, 0, 0 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 0,, 0,,. Πράγματι: ( ( 0,, 0, π ( 0,, 0, π π π π ( π ( 0,, 0, ( ( 0,, 0, + ( 0 ( 0,, 0, 0 π π π π επειδή ( ( ( π 0,, 0, 0 π 0 0 π 0 0,

21 παίρνουμε π ( 0,, 0,. Άσκηση Εάν y { 0, 0} βρείτε την posteror [ yy,, y ] 4 5. Το μέτρο Drac Ορίζουμε το μέτρο Drac συγκεντρωμένο στο σαν Π ( d δ ( d με την 0 ιδιότητα Π ( A δ ( A δ ( d ( A Παράδειγμα A A A για κάθε A ( B. ( Διακριτή pror και συνεχής πιθανοφάνεια: Μας δίνεται το δείγμα,, d από Εκθετικές παρατηρήσεις ~ Ep ( για και διακριτή pror ~ p,0 (,, π p,0 p,0 p,0 p.,0 Να βρεθούν:. Η πιθανοφάνεια L(.. Η pror predctve π (, επίσης δείξτε ότι το ( κατανομή, για κάθε. p,,. 3. Η posteror π (,,, έχει ανταλλάξιμη 4. Η posteror predctve για μια νέα παρατήρηση y + με y ~ Ep (.. Για την πιθανοφάνεια έχουμε: ( (,, π π ( L ( Ep e e. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

22 . H pror predctve είναι η μίξη της πιθανοφάνειας ως προς το pror μέτρο { p,0} (,, (,,, π π ( (,, π π p,0 e, ( Που είναι μίξη των πυκνοτήτων (,, ep ( g e + + στήριγμα το π +. Επίσης με (,, h ( h ( h ( ( π ( (,, ρ ρ ρ(. 3. Για την posteror θα έχουμε ( ( π L p e p,,,0, π ( π k ( p k k,0 k e ή ισοδύναμα p, p,0 e,. 4. H posteror predctve είναι η μίξη της πιθανοφάνειας για την νέα παρατήρηση y + ως προς το posteror μέτρο ( y,, ( y,,, π π (,, ( y,,, π π (,, ( y π π, ( p Ep y, όπου p,0 e, k p k k,0 k e p,. Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

23 H pror predctve για μια παρατήρηση είναι μίξη των εκθετικών { } πυκνοτήτων Ep ( προς το pror μέτρο { p,0} ( (, ( ( p,0 Ep (,. π π π π H pror predctve για δύο παρατηρήσεις και y είναι μια δισδιάστατη κατανομή με στήριγμα το + ( y, ( y,, ( ( y, π π π π l l l l l ( ( ( l p,0 y l Ep l Ep y l l p l l,0 l e + Η posteror predctve για μια νέα παρατήρηση y + είναι μίξη των { } εκθετικών πυκνοτήτων Ep ( με μέτρο μίξης { p, }. Άσκηση ( ( ( l + y p l,0 l e, y, π y, l + Να δειχθεί ότι η συνάρτηση με p l,0, l 0, αλλου είναι πυκνότητα. Παράδειγμα Σε ένα δοχείο υπάρχουν επανατοποθέτηση, δείγμα N σφαιρίδια. Έστω { } σφαιρίδια. Με τυχαίο τρόπο λαμβάνουμε, χωρίς 3 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0 D b μεγέθους, που περιέχει πλήθος b από μαύρα N p0 p,0 η αρχική μας πίστη για την κατανομή του πλήθους των 0 μαύρων σφαιριδίων στο δοχείο. Δηλαδή p,0 είναι η πιθανότητα το δοχείο να περιέχει μαύρα σφαιρίδια, πριν παρατηρήσουμε το δείγμα. Να βρεθούν οι posteror πιθανότητες p { p } δείγματος D b. N, D b. μετά την παρατήρηση του. Εάν όλο το δείγμα αποτελείται από μαύρα σφαιρίδια ποία η πιθανότητα μέσα στο δοχείο να μην έχει μείνει κανένα μαύρο σφαιρίδιο;

24 3. Να γίνει εφαρμογή για N 6 και 3 με τους εξής τρόπους: π 7 για 0 6 όπου ο αριθμός των μαύρων σφαιριδίων στο δοχείο πριν την δειγματοληψία. Χρησιμοποιώντας σαν pror την διακριτή ομοιόμορφη κατανομή ( Χρησιμοποιώντας την συμμετρική pror π ( 0 π ( 6 0 π ( π ( 5 /6, π ( π ( 4 3 /6, ( ( ( b ( b ( ( b N ( b, π π D π π D π ( D b π D π D ( ( b ( ( b 0 ( ( ( ( π π D π Hg b N,, N N π π D π Hg b N,, b b, π 3 8 /6. N N Όπου Hg ( b N,, η υπεργεωμετρική μάζα πιθανότητας, που b b δίνει την πιθανότητα ύπαρξης b μαύρων σφαιριδίων σε δείγμα μεγέθους, που έχει ληφθεί τυχαία χωρίς επανατοποθέτηση, από πληθυσμό N σφαιριδίων που έχει μαύρα σφαιρίδια. p, N N N N p p,0 b,0 b N N N p,0 p,0 b b b b N b b b b Το ενδεχόμενο μετά την δειγματοληψία μέσα στο δοχείο να μην έχει μείνει κανένα μαύρο σφαιρίδιο δοθέντος ότι όλο το δείγμα αποτελείται μόνο από μαύρα σφαιρίδια, D και έχει πιθανότητα: είναι { } N p,0 p,0 π ( D N N N p,0 p,0 4 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

25 Οι πιθανότητες π ( p,,0 0 N συνοψίζουν την αρχική γνώση για τον αριθμό των μαύρων σφαιριδίων στο δοχείο πριν την πραγματοποίηση του δηλαδή πριν την δειγματοληψία. D b, Η απουσία a-pror πληροφόρησης είναι ισοδύναμη με το να θέσουμε ~ D ( N + (Dscrete ufor και π ( ( N. Οι πιθανότητες N + p π ( Db και ( D, π γίνονται τότε: p, N N N + b b b b π ( D b, N N N N b b N + b b b b ( N N π D + N N + Όταν N 6 και 3 3 έχουμε ( D3 π Αλλάζοντας την pror σε π ( 0 π ( 6 0, π ( π ( ( π ( 4 3 /6, ( π. 5 /6, 3 π 3 8 /6, παίρνουμε π ( 3 D Άσκηση Για κάθε μία από τις παρακάτω κατανομές, γράψτε την συνάρτηση κατανομής και τον αντίστοιχο απλούστερο πυρήνα (al kerel ~ Po ( ( ββ β, ~ Be, ( + + αβ,, y ~ Ga α y, β 3 y 5 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

26 ϕ µ, τ, ~ N µτ + ( τ, τ Άσκηση Για κάθε έναν από τους παρακάτω πυρήνες, αναγνωρίστε την συνάρτηση κατανομής. π (, 0,, και < <.!. ( ( π,,, και 0< <. 3. ( (! ( (! π,, +, και 0< <. 4. ( λ π e, > 0, λ > ( ( π, < <, <. a / 6. ( b π ab, e, > 0, a> 0, b> π ( (, 0 < <, >. p q 8. ( ( π pq,, 0 < <, p> 0, q> π ( ( e, < <. π, ϕ ep + ϕ +, ϕ > 0. ϕ 0. ( ( Άσκηση Να υπολογιστούν οι παρακάτω σειρές και αθροίσματα με την χρήση πυρήνων γνωστών κατανομών. 0! όταν < <. 6 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0

27 όταν < <.! p q ( d όταν p 0, q > >. b ( 3( ( ( b + b + b + d όταν b >. 7 Σ. Ι. Χατζησπύρος Σημειώσεις Bayesa Statstcs 0