ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΣΧΟΛΗ ΕΦΑΡΜΟΣΜΕΝΩΝ ΜΑΘΗΜΑΤΙΚΩΝ ΚΑΙ ΦΥΣΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΟΜΕΑΣ ΜΑΘΗΜΑΤΙΚΩΝ.Μ..Ε.: ΕΦΑΡΜΟΣΜΕΝΕΣ ΜΑΘΗΜΑΤΙΚΕΣ ΕΠΙΣΤΗΜΕΣ ΚΑΤΕΥΘΥΝΣΗ: ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΠΙΘΑΝΟΤΗΤΕΣ Μπεϋζιανή επιλοή µοντέλων και µεταβλητών στα ενικευµένα ραµµικά µοντέλα και εφαρµοή του αλορίθµου MC 3 ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ του ΙΩΑΝΝΗ Ε ΑΚΗ Επιβλέπων: ΗΜΗΤΡΗΣ ΦΟΥΣΚΑΚΗΣ Επίκουρος Καθηητής Ε.Μ.Π. Αθήνα, Ιούλιος 0 []

2 ΕΥΧΑΡΙΣΤΙΕΣ Θεωρώ υποχρέωσή µου να ευχαριστήσω θερµά τον επιβλέποντά µου, Επίκουρο Καθηητή του Εθνικού Μετσόβιου Πολυτεχνείου, κ. ηµήτρη Φουσκάκη ια την υποµονή που επέδειξε και την καθοριστική βοήθειά του που τόσο πρόθυµα µου πρόσφερε καθ όλη τη διάρκεια εκπόνησης της παρούσας διπλωµατικής ερασίας. Επίσης θα ήθελα να ευχαριστήσω τους Καθηητές του Εθνικού Μετσόβιου Πολυτεχνείου κυρίους Γιώρο Κοκολάκη και Βασίλη Παπανικολάου, µέλη της τριµελούς εξεταστικής επιτροπής. []

3 ΠΕΡΙΕΧΟΜΕΝΑ ΕΙΣΑΓΩΓΗ...5 ΚΕΦΑΛΑΙΟ : ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ...7. Εισαωή...7. Εκθετική Οικοένεια Κατανοµών Γενικευµένα ραµµικά µοντέλα Βασικοί ορισµοί Το Κανονικό µοντέλο Μοντέλο Posson ιωνυµικό µοντέλο...4 ΚΕΦΑΛΑΙΟ : ΜΠΕΫΖΙΑΝΗ ΣΤΑΤΙΣΤΙΚΗ ΘΕΩΡΙΑ ΚΑΙ MCMC...5. Εισαωή...5. Εκ των προτέρων κατανοµή - Εκ των υστέρων κατανοµή - Θεώρηµα Bayes.6.3 Εκθετική Οικοένεια Κατανοµών - Συζυείς εκ των προτέρων κατανοµές Συνεχής αναθεώρηση....5 Προβλεπτική κατανοµή....6 Markov Chan Monte Carlo (MCMC)...4 ΚΕΦΑΛΑΙΟ 3: ΜΠΕΫΖΙΑΝΗ ΕΠΙΛΟΓΗ ΜΟΝΤΕΛΩΝ ΚΑΙ ΜΕΤΑΒΛΗΤΩΝ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ Εισαωή Εκ των υστέρων λόος πιθανοτήτων και ο παράοντας Bayes ο παράδοξο του Lndley Τρόποι υπολοισµού της περιθώριας πιθανοφάνειας (margnal lkelhood) Παραλλαές του παράοντα Bayes Μπεϋζιανή στάθµιση µοντέλων Κριτήρια πληροφορίας Εκ των προτέρων κατανοµή στον χώρο των µοντέλων Εκ των προτέρων κατανοµή ια τους συντελεστές του µοντέλου Εισαωικά Ανεξάρτητες εκ των προτέρων κατανοµές ια τους συντελεστές...4 [3]

4 3.9.3 Εκ των προτέρων κατανοµές εξαρτηµένες από το µοντέλο Εκ των προτέρων κατανοµές στους συντελεστές προερχόµενες από το µοντέλο µε τυποποιηµένες µεταβλητές Καθορισµός εκ των προτέρων κατανοµής στο πλήρες µοντέλο Ενδοενής και «φανταστικών» δεδοµένων εκ των προτέρων κατανοµές.46 ΚΕΦΑΛΑΙΟ 4: MCMC ΤΕΧΝΙΚΕΣ ΣΤΗΝ ΕΠΙΛΟΓΗ ΜΟΝΤΕΛΩΝ ΚΑΙ ΜΕΤΑΒΛΗΤΩΝ Εισαωή Το Κανονικό ραµµικό µοντέλο Ο αλόριθµος MC 3 (Markov Chan Monte Carlo Model Comoston) Αριθµητικές εφαρµοές Κανονικό ραµµικό µοντέλο: Προσοµοιωµένα δεδοµένα Κανονικό ραµµικό µοντέλο: Μελέτη όζοντος Λοιστικό µοντέλο: Μέτρηση ποιότητας της υειονοµικής περίθαλψης...63 ΕΠΙΛΟΓΟΣ...66 ΒΙΒΛΙΟΓΡΑΦΙΑ...67 Ελληνική...67 Ξενόλωσση...67 [4]

5 ΕΙΣΑΓΩΓΗ Πολλές φορές ια να ερµηνεύσουµε τη συµπεριφορά µιας µεταβλητής Υ (µεταβλητή απόκρισης) έχουµε στη διάθεσή µας ένα µεάλο πλήθος επεξηηµατικών µεταβλητών X, X,... χωρίς αυτές να είναι όλες στατιστικά σηµαντικές. Εύκολα µπορούµε να καταλάβουµε ότι η θεώρηση παραπάνω µεταβλητών από αυτές που πραµατικά επεξηούν το φαινόµενο σε µελλοντικές µελέτες ή ο καθορισµός και ο έλεχος µη σηµαντικών ποσοτήτων ια την πρόβλεψη της τιµής της µεταβλητής απόκρισης, µπορεί να είναι χρονοβόρος αλλά και οικονοµικά ασύµφορος. Γεννιέται λοιπόν το ερώτηµα ια το αν µπορούµε να εντοπίσουµε το µικρότερο υποσύνολο επεξηηµατικών µεταβλητών, από το αρχικό µας σύνολο, αναπτύσσοντας έτσι ένα µοντέλο το οποίο όµως θα εξακολουθεί να επεξηεί τη συµπεριφορά της µεταβλητής απόκρισης µας σε ικανοποιητικό βαθµό. Κατά την επιλοή ενός στατιστικού µοντέλου το οποίο περιράφει ένα υπό εξέταση φαινόµενο έχουµε να αντιµετωπίσουµε δύο αντικρουόµενα κριτήρια. Το πρώτο κριτήριο αφορά την όσο το δυνατόν καλύτερη πρόβλεψη της µεταβλητής απόκρισης µέσω του µοντέλου ενώ το δεύτερο κριτήριο αφορά την «οικονοµία» του µοντέλου. Πιο συκεκριµένα, όσες περισσότερες επεξηηµατικές µεταβλητές συµπεριλάβουµε στο µοντέλο, τόσο καλύτερη πρόβλεψη της µεταβλητής απόκρισης θα έχουµε. Ταυτόχρονα όµως, ένα µεάλο πλήθος επεξηηµατικών µεταβλητών κάνει το µοντέλο µη «οικονοµικό», µε την έννοια ότι καθίσταται πολλές φορές οικονοµικά και χρονικά δαπανηρή η συλλοή δεδοµένων από ένα µεάλο πλήθος µεταβλητών. Στα πλαίσια της κλασικής Στατιστικής θεωρίας έχουν αναπτυχθεί κατά καιρούς διάφορες µέθοδοι επιλοής µοντέλου που βασίζονται κατά κύριο λόο στον συντελεστή προσδιορισµού R, στο κριτήριο C -Mallows καθώς και στον στατιστικό έλεχο F-test. Στην παρούσα διπλωµατική ερασία, η ανάπτυξη του προβλήµατος επιλοής µοντέλου και µεταβλητών εξετάζεται από τη σκοπιά της Μπεϋζιανής Στατιστικής. Συκεκριµένα, εξετάζεται η ενική θεωρία επιλοής µοντέλων και µεταβλητών µε αναφορά στα δηµοφιλή ενικευµένα ραµµικά µοντέλα καθώς επίσης και ο τρόπος µε τον οποίο προσείζουµε το παραπάνω πρόβληµα από τη σκοπιά της Μπεϋζιανής θεωρίας. Ο όρος «Μπεϋζιανή» έχει αναφορά στον homas Bayes (70-76), ο οποίος απέδειξε µια ειδική περίπτωση αυτού που καλείται τώρα το Θεώρηµα του Bayes. Ωστόσο, ήταν ο Perre Smon Lalace (749-87) ο οποίος παρουσίασε µια ενική µορφή του Θεωρήµατος και το χρησιµοποίησε ια την προσέιση των προβληµάτων στην ουράνια µηχανική, στην επεξερασία ιατρικών στοιχείων και στη νοµολοία. Στη δεκαετία του 980 υπήρξε µια δραµατική αύξηση στον τοµέα της έρευνας και των εφαρµοών των Μπεϋζιανών µεθόδων, εονός που ως επί το πλείστον οφείλεται στην ανακάλυψη Markov Chan Monte Carlo τεχνικών, οι οποίες ήραν πολλά από τα υπολοιστικά προβλήµατα που παρουσιάζονταν µέχρι τότε κατά την εφαρµοή των µεθόδων αυτών. Η Στατιστική κατά Bayes βασίζεται σε µία απλή ιδέα: η µόνη ικανοποιητική περιραφή της αβεβαιότητας µας επιτυχάνεται µέσω της πιθανότητας. Η Μπεϋζιανή προσέιση µας δίνει, µέσω του υπολοισµού πιθανοτήτων, ένα ισχυρό εραλείο να καταλάβουµε, να χειριστούµε και να ελέξουµε την αβεβαιότητα. Ο βασικός κανόνας στη Μπεϋζιανή συµπερασµατολοία είναι ότι όλες οι άνωστες ποσότητες θεωρούνται τυχαίες µεταβλητές και πρέπει να περιράφονται δια µέσου πιθανοτήτων. [5]

6 Η Στατιστική συµπερασµατολοία χρησιµοποιείται ια την εξαωή συµπερασµάτων από τα δεδοµένα που έχει στη διάθεση του ο ερευνητής ια τον πληθυσµό. Βασικό εραλείο όλων των Μπεϋζιανών µεθόδων είναι οι εκ των προτέρων (ror) κατανοµές. Οι κατανοµές αυτές εκφράζουν τις εκ των προτέρων νώσεις και πεποιθήσεις του ερευνητή ια τις άνωστες παραµέτρους του µοντέλου και µέσω της Μπεϋζιανής µεθοδολοίας οδηούν σε εκ των υστέρων (osteror) κατανοµές. Στις εκ των υστέρων κατανοµές εµπεριέχεται όλη η στατιστική συµπερασµατολοία των ανώστων αυτών παραµέτρων όπως αυτή έχει προκύψει από την Μπεϋζιανή ανάλυση. Η ιδέα της εκ των προτέρων κατανοµής αποτελεί και την «καρδιά» της θεωρίας κατά Bayes και µπορεί να αποτελέσει το µεαλύτερο πλεονέκτηµα ή το σοβαρότερο µειονέκτηµα έναντι της κλασικής Στατιστικής. Η παρούσα διπλωµατική διαρθρώνεται σε τέσσερα κεφάλαια ως εξής: Στο πρώτο κεφάλαιο ίνεται µια εισαωή στα ενικευµένα ραµµικά µοντέλα και αναφέρονται κάποιες βασικές έννοιες και ιδιότητες των µοντέλων που ανήκουν σε αυτήν την κατηορία. Στο δεύτερο κεφάλαιο αναπτύσσονται οι βασικές αρχές της Μπεϋζιανής Στατιστικής θεωρίας όπου µεταξύ άλλων δίνεται ο ορισµός της εκ των προτέρων κατανοµής, της εκ των υστέρων κατανοµής και του Θεωρήµατος Bayes. Το τρίτο κεφάλαιο περιράφει τον τρόπο µε τον οποίο η Μπεϋζιανή θεωρία αντιµετωπίζει το πρόβληµα της επιλοής µοντέλων και µεταβλητών στα ενικευµένα ραµµικά µοντέλα και αναφέρονται όλες οι βασικές έννοιες που συνδέονται µε το πρόβληµα αυτό. Τέλος, στο τέταρτο κεφάλαιο αναλύεται κατά κύριο λόο ο αλόριθµος MC 3 (Markov Chan Monte Carlo Model Comoston) που αποτελεί µία από τις πολλές Μπεϋζιανές υπολοιστικές µεθόδους ια την επιλοή µοντέλων καθώς και τρεις εφαρµοές του αλορίθµου αυτού σε πραµατικά δεδοµένα. [6]

7 ΚΕΦΑΛΑΙΟ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ. Εισαωή Τα ενικευµένα ραµµικά µοντέλα (Generalzed Lnear Models) (GLM) είναι στατιστικά µοντέλα που αποτελούν τη φυσική ενίκευση των κλασικών ραµµικών µοντέλων. Στο κλασικό ραµµικό µοντέλο ασχολούµαστε µε το πρόβληµα της πρόβλεψης µιας µεταβλητής απόκρισης Y όταν νωρίζουµε τις τιµές των επεξηηµατικών µεταβλητών X, X,..., X τις οποίες συµβολίζουµε ια συντοµία µε το διάνυσµα X. Για δεδοµένο X= x, όπου x = [ x, x,..., x ], θεωρούµε ότι η τυχαία µεταβλητή Y X= x ~ N ( µ, σ ) µε [ ] 0. µ = EY X= x = β + β x+ K + β x (..) Οι ποσότητες β0, β,..., β ονοµάζονται συντελεστές του ραµµικού µοντέλου τους οποίους καλούµαστε να εκτιµήσουµε. Το παραπάνω µοντέλο µπορεί να ενικευτεί ως προς τις υποθέσεις και πιο συκεκριµένα, η επέκταση αφορά περισσότερο τις εξής δύο περιπτώσεις Οι τυχαία µεταβλητή Y X= x µπορεί να ακολουθεί κατανοµή διαφορετική της Κανονικής, (π.χ Posson, ιωνυµική). EY X= x και των τιµών Η σχέση µεταξύ της δεσµευµένης µέσης τιµής [ ] x, x,..., x των µεταβλητών X, X,..., X δεν είναι ανάκη να προσδιορίζεται από την απλή ραµµική µορφή της σχέσης (..). Η πρώτη ενίκευση βασίζεται στο εονός ότι µπορούµε να θεωρήσουµε µια ευρύτερη κλάση κατανοµών, νωστή ως Εκθετική Οικοένεια Κατανοµών. Η δεύτερη ενίκευση αναφέρεται στη σχέση (..) η οποία µπορεί να αντικατασταθεί από τη σχέση g( µ ) = β + β x + K + β x, 0 όπου g είναι µια µονότονη και διαφορίσιµη συνάρτηση που συνδέει τη µέση τιµή της τυχαίας µεταβλητής Y X= x µε τη ραµµική συνιστώσα του δευτέρου µέλους. [7]

8 . Εκθετική Οικοένεια Κατανοµών Η Εκθετική Οικοένεια Κατανοµών περιλαµβάνει ένα πλήθος από νωστές κατανοµές και ανάλοα µε τον αριθµό των παραµέτρων που χαρακτηρίζουν µια κατανοµή χωρίζεται σε µονοπαραµετρική και πολυπαραµετρική. Στην παρούσα ενότητα θα αναφερθούµε στη µονοπαραµετρική και τη διπαραµετρική Εκθετική Οικοένεια Κατανοµών µιας και αυτές καλύπτουν τις περισσότερες περιπτώσεις κατανοµών που συναντάµε στις εφαρµοές. Μια τυχαία µεταβλητή Y ανήκει στη διπαραµετρική Εκθετική Οικοένεια Κατανοµών αν η κατανοµή της µπορεί να εκφραστεί στη µορφή y θ b( θ) f( y θ, φ) = ex c( y, φ), a( φ) όπου ab, και c είναι νωστές συναρτήσεις. Η θ ονοµάζεται κανονική παράµετρος και είναι παράµετρος κεντρικής τάσης (locaton arameter) ενώ η φ ονοµάζεται παράµετρος διασποράς (dserson arameter). Ορίζουµε επίσης το στήριµα της κατανοµής ως εξής { } S = y : f( y, θφ, ) > 0. Παράδειµα Κανονική κατανοµή: Η συνάρτηση πυκνότητας πιθανότητας µιας τυχαίας µεταβλητής Y που ακολουθεί την Κανονική κατανοµή N ( µ, σ ) µπορεί να ραφτεί ως εξής f( y µσ, ) = ex ( ) y µ ( πσ ) σ y µ µ y σ + log(πσ ) = ex. σ Στη συκεκριµένη περίπτωση έχουµε θ = µ, φ = σ, b( θ) = θ, a( φ) = φ και y σ + log( πσ ) cy (, φ) =. Θεωρούµε τώρα µια τυχαία µεταβλητή Y της οποίας η κατανοµή εξαρτάται από µία µόνο παράµετρο θ. Η κατανοµή της ανήκει στην µονοπαραµετρική Εκθετική Οικοένεια Κατανοµών αν µπορεί να ραφτεί στη µορφή { } f( y θ ) = s( y) t( θ)ex a( y) b ( θ), όπου abs,, και t είναι νωστές συναρτήσεις. Την παραπάνω σχέση τη συναντάµε πολλές φορές και στην ισοδύναµη µορφή [8]

9 { } f ( y θ) = ex a( y) b( θ) + c( θ) + d( y ), όπου sy ( ) = ex { dy ( )} και t( θ ) ex { c( θ )} =. Όπως και στην περίπτωση της διπαραµετρικής Εκθετικής Οικοένειας Κατανοµών ορίζεται και εδώ το στήριµα { } S = y : f( y, θ ) > 0. Αν a( y) = y, η κατανοµή λέεται ότι είναι σε κανονική µορφή και η συνάρτηση b( θ ) καλείται φυσική παράµετρος της κατανοµής. Αν υπάρχουν και άλλες παράµετροι στην κατανοµή της παραµέτρου θ που µας ενδιαφέρει, αυτές θεωρούνται ως οχληρές (nusance) παράµετροι. Αποδεικνύεται ότι αν η κατανοµή µιας τυχαίας µεταβλητής Y είναι µέλος της Εκθετικής Οικοένειας Κατανοµών, ισχύουν οι παρακάτω ιδιότητες [ ] c ( θ ) E[ a( Y) ] = b ( θ ) και b ( θ ) c ( θ) c ( θ) b ( θ) Var a( Y ) =, [ b ( θ )] 3 από τις οποίες, αν a( y) = y δηλαδή η κατανοµή είναι σε κανονική µορφή, µπορούµε να υπολοίσουµε τη µέση τιµή και τη διασπορά της τυχαίας µεταβλητής Y. Η µονοπαραµετρική Εκθετική Οικοένεια Κατανοµών περιλαµβάνει µια σειρά από κατανοµές όπως η Εκθετική, η Posson, η Γάµµα µε µία παράµετρο, η ιωνυµική και η Κανονική µε νωστή διακύµανση. Παραδείµατα ) Κατανοµή Posson: Μία διακριτή τυχαία κατανοµή Y, µε τιµές στο {0,,,...}, ακολουθεί την κατανοµή Posson( θ ) αν έχει συνάρτηση µάζας πιθανότητας την y θ θ e f( y θ) =, θ > 0, y = 0,,,.... y! Αν ράψουµε την παραπάνω σχέση στη µορφή { } f( y θ) = ex ylog( θ) θ log( y!), παρατηρούµε ότι η κατανοµή ανήκει στην Εκθετική Οικοένεια Κατανοµών µε a( y) = y (είναι δηλαδή και σε κανονική µορφή), b( θ ) = log( θ ) (φυσική παράµετρος), c( θ ) = θ και d( y) = log( y!). [9]

10 ) Κανονική κατανοµή µε νωστή διακύµανση: Ως νωστόν, η συνάρτηση πυκνότητας πιθανότητας µιας τυχαίας µεταβλητής που ακολουθεί την Κανονική κατανοµή N ( µ, σ ) δίνεται από τον τύπο f ( y µσ, ) ex ( ), ( ) y = µ πσ σ y R, όπου µ R είναι η παράµετρος ενδιαφέροντος και η σ > 0 θεωρείται ως οχληρή παράµετρος. Η Κανονική κατανοµή µπορεί να ραφτεί στην ισοδύναµη µορφή y f( y, ) ex y µ µ µσ = log( πσ ), σ σ σ απ όπου καταλαβαίνουµε ότι ανήκει στην Εκθετική Οικοένεια Κατανοµών µε µ a( y) = y (κανονική µορφή), b( µ ) = (φυσική παράµετρος), σ µ y c( µ ) = log( πσ ) και d( y) =. σ σ 3) ιωνυµική κατανοµή: Έστω ότι η τυχαία µεταβλητή Y αφορά των αριθµό των επιτυχιών σε n ανεξάρτητες δοκιµές Bernoull µε πιθανότητα επιτυχίας π. Τότε η Y είναι διακριτή και ακολουθεί τη ιωνυµική κατανοµή Bnomal( n, π ) µε συνάρτηση µάζας πιθανότητας n y n y f ( y π) = π ( π), y = 0,,..., n, y µε π να είναι η παράµετρος που µας ενδιαφέρει. Γράφοντας την κατανοµή της στη µορφή Y π n f( y π) = ex ylog + nlog( π) + log, π y συµπεραίνουµε ότι ανήκει στην Εκθετική Οικοένεια Κατανοµών µε a( y) = y (είναι π σε κανονική µορφή), b( π ) = log (φυσική παράµετρος), ( ) log( ) π c π = n π και d( y) log n =. y.3 Γενικευµένα ραµµικά µοντέλα Βασικοί ορισµοί Οι Nelder και Wedderburn (97) προσπάθησαν να ενοποιήσουν αρκετές στατιστικές µεθόδους χρησιµοποιώντας την ιδέα του ενικευµένου ραµµικού µοντέλου. Το µοντέλο αυτό ορίζεται σε σχέση µε ένα σύνολο από ανεξάρτητες [0]

11 τυχαίες µεταβλητές Y, Y,..., Yn όπου κάθε µία από αυτές ακολουθεί κατανοµή που ανήκει στην Εκθετική Οικοένεια Κατανοµών και έχει τις εξής ιδιότητες: Η κατανοµή κάθε µιας από τις Y, =,..., n, είναι Κανονικής µορφής και εξαρτάται από µία µόνο παράµετρο θ, κατά συνέπεια { } f ( y θ ) = ex y b( θ ) + c ( θ ) + d ( y ). Οι κατανοµές όλων των Y, =,..., n, είναι της ίδιας µορφής (π.χ όλες Κανονικές ή όλες ιωνυµικές) και έτσι οι δείκτες στις συναρτήσεις bc, και d δεν χρειάζονται. Η από κοινού κατανοµή των διανύσµατος Y = [,,..., ] Y Y Y n Y, Y,..., Yn ή διαφορετικά η κατανοµή του τυχαίου, η οποία καλείται µεταβλητή απόκρισης (resonse varable), (αναφέρεται και ως εξαρτηµένη µεταβλητή), είναι η εξής n n n n f ( y,..., yn θ,..., θn) = f( y θ) = ex yb( θ) + c( θ) + d( y ). = = = = Ας δούµε λοιπόν αναλυτικά στο σηµείο αυτό την περιραφή του προβλήµατος. Y Y Y n (µεταβλητή απόκρισης) και ( + ) µεταβλητές X 0, X,..., X οι οποίες ονοµάζονται επεξηηµατικές µεταβλητές (exlanatory varables), (αναφέρονται και ως ανεξάρτητες µεταβλητές). Θεωρούµε την X 0 σαν σταθερή και συκεκριµένα X 0 =. Έστω επίσης ότι έχουµε συλλέξει n παρατηρήσεις (δείµα) ια κάθε µία από τις µεταβλητές Έστω ότι έχουµε ένα τυχαίο διάνυσµα Y = [,,..., ] Α/Α ΠΑΡΑΤΗΡΗΣΕΩΝ M n Y y y M y n ΤΙΜΕΣ ΤΩΝ ΜΕΤΑΒΛΗΤΩΝ K X x () () x x M ( n) K K M K X x x x () () M ( n) () όπου y είναι η -παρατήρηση της τ.µ Y, (ή αλλιώς η τιµή της τ.µ Y ) και x είναι η τιµή της µεταβλητής X στην -παρατήρηση της, ια =,..., n και =,...,. Συµβολίζουµε µε E Y () X = x, = 0,..., = µ τη µέση τιµή της Y δοθέντων των παρατηρήσεων x (), 0,..., EY = µ. Ορίζουµε ακόµα την ποσότητα =. Για ευκολία συµβολισµού θα ράφουµε [ ] η : = β + β x + K + β x, =,..., n, () () 0 []

12 η οποία καλείται ραµµικός προσδιορισµός (lnear redctor) του µοντέλου. Στα ενικευµένα ραµµικά µοντέλα, θεωρούµε µια µονότονη και διαφορίσιµη συνάρτηση g η οποία εκφράζει τον τρόπο σύνδεσης, συνήθως της µέσης τιµής µ µε τον ραµµικό προσδιορισµό η και ονοµάζεται συνδετική συνάρτηση (lnk functon). Οι παρακάτω ισότητες δείχνουν ακριβώς αυτόν τον τρόπο σύνδεσης g( µ ) = β + β x + K + β x () () 0 g( µ ) = β + β x + K + β x () () 0 M M M M g( µ ) = β + β x + K + β x. n ( n) ( n) 0 Τις παραπάνω σχέσεις µπορούµε να τις εκφράσουµε και σε µορφή πινάκων ως εξής Θέτοντας = [ ] () () g( µ ) η x K x β0 () () g( µ ) η x x β K = =. M M M M M M M ( n) ( n) g( µ n) ηn x K x β η η, η,..., η n, 0 σχεδιασµού (desgn matrx) τον n ( + ) πίνακα β = β, β,..., β και ορίζοντας ως πίνακα () () x K x () () x K x X =, M M M M ( n) ( n) x K x ράφουµε συνοπτικά το αποτέλεσµα στη µορφή η = X β ή στη µορφή () ( µ ) = η = x β = β, = 0 g x ια =,..., n, όπου x είναι η -ραµµή του πίνακα σχεδιασµού X. Παρατηρήσεις: ) Σε όλα τα παραπάνω έχουµε κάνει την υπόθεση ότι οι επεξηηµατικές µεταβλητές X δεν υπόκεινται σε σφάλµατα, υπό την έννοια ότι η όλη ανάλυση ίνεται δοθέντων των παρατηρήσεων () x, =,...,, =,..., n. ) Ο συντελεστής β 0 εκφράζει την αναµενόµενη τιµή της τυχαίας µεταβλητής Y όταν όλες οι µεταβλητές X, =,..., είναι µηδέν, ενώ ο συντελεστής β, ια []

13 =,...,, εκφράζει την αναµενόµενη µεταβολή της Y όταν η X αυξηθεί κατά µία µονάδα αλλά οι υπόλοιπες επεξηηµατικές µεταβλητές παραµείνουν σταθερές..4 Το Κανονικό µοντέλο Η πιο δηµοφιλής περίπτωση των ενικευµένων ραµµικών µοντέλων είναι το λεόµενο Κανονικό ραµµικό µοντέλο [ x ] = µ = x β, Y x Nµ σ EY ~ (, ), µε τις Y, =,..., n ανεξάρτητες µεταξύ τους. Στη συκεκριµένη περίπτωση η συνάρτηση σύνδεσης είναι η ταυτοτική ράφεται και στη µορφή όπου = [ ] κατανοµή Y = X β +e, g ( µ ) = µ. Το µοντέλο αυτό συνήθως e e,...,, e n µε τα e, =,..., n, ανεξάρτητα και να ακολουθούν την N(0, σ ). Για το Κανονικό µοντέλο, ο εκτιµητής µέιστης πιθανοφάνειας των συντελεστών β = β0, β,..., β όπου = [ ] είναι ο - ( ) ˆ β = X X X y,,..., y y y n, το διάνυσµα των παρατηρήσεων της τ.µ Y..5 Μοντέλο Posson Αν Y ~ Posson ( θ ),,..., n, τότε ως νωστόν = EY [ ] µ θ 0 = = >. Η συνδετική συνάρτηση που χρησιµοποιούµε στην περίπτωση αυτή είναι η g ( µ ) = log( µ ), δηλαδή έχουµε log( µ ) = η = β + β x + K + β x = x β, () () 0 από την οποία, λύνοντας ως προς µ = θ προκύπτει { x β } µ = ex > 0. [3]

14 .6 ιωνυµικό µοντέλο Στην περίπτωση όπου οι µεταβλητές Y ~ Bnomal( ν, π ), η µέση τιµή κάθε µιας είναι EY [ ] µ ν π = =. Η παράµετρος που µας ενδιαφέρει είναι η πιθανότητα η σύνδεσή της µε τον ραµµικό προσδιορισµό g( π ) = logt( π ) και πιο συκεκριµένα π logt( π) : = log = η = x β. π π και η ίνεται µέσω της συνάρτησης Όταν ν =, προκύπτει η κατανοµή Bernoull( π ) ια την οποία χρησιµοποιούµε συνήθως την ίδια συνάρτηση σύνδεσης. Λύνοντας την παραπάνω σχέση ως προς παίρνουµε { x β} { x β} ex π = (0,). + ex Είναι ενδιαφέρον να παρατηρήσουµε στο σηµείο αυτό την ανακαιότητα χρήσης της συνδετικής συνάρτησης g. Αν ια παράδειµα στο ιωνυµικό µοντέλο θέταµε g( π ) = π = x β, τότε θα υπήρχε πρόβληµα διότι το ραµµικό µέρος η = x µπορεί να πάρει οποιαδήποτε τιµή στο R ενώ η πιθανότητα π (0,). Για το λόο αυτό, χρειαζόµαστε µια κατάλληλη συνδετική συνάρτηση g που να απεικονίζει το διάστηµα (0,) σε όλο το διάστηµα R, ώστε η αντίστροφή της (που υπάρχει αφού η g είναι µονότονη) να απεικονίζει το R στο (0,). Υπάρχουν και άλλες συναρτήσεις που χρησιµοποιούνται στα ιωνυµικά (και στα Bernoull) µοντέλα αντί της logt, µε πιο νωστές την robt (ή αντίστροφή Κανονική) g( π ) =Φ ( π ), όπου Φ η τυποποιηµένη Κανονική κατανοµή και την συµπληρωµατική log log συνάρτηση µε τύπο g( π ) log[ log( π )] =. π β [4]

15 ΚΕΦΑΛΑΙΟ ΜΠΕΫΖΙΑΝΉ ΣΤΑΤΙΣΤΙΚΉ ΘΕΩΡΊΑ ΚΑΙ MCMC. Εισαωή Παρότι οι αρχές της Μπεϋζιανής θεωρίας ανάονται στον 8ο αιώνα, η Στατιστική κατά Bayes δεν είχε ευρεία διάδοση ια αρκετά χρόνια, καθώς στις περισσότερες περιπτώσεις οι ερευνητές ήταν ανακασµένοι να αντιµετωπίσουν δυσεπίλυτα ολοκληρώµατα υψηλής τάξης. Όµως η ανάπτυξη των υπολοιστών και η εµφάνιση µεθόδων προσοµοίωσης έκανε την εφαρµοή της Μπεϋζιανής θεωρίας πρακτικά δυνατή. Ειδικότερα, οι πρόσφατες µέθοδοι προσοµοίωσης Monte Carlo µε την χρήση Μαρκοβιανών αλυσίδων (MCMC) συνέβαλλαν αποφασιστικά στην διεκπεραίωση της Μπεϋζιανής ανάλυσης. Η Μπεϋζιανή συµπερασµατολοία είναι µία µεθοδολοική προσέιση η οποία συνθέτει τη θεωρητική ή εµπειρική αντίληψη µιας τυχαίας δοκιµασίας, µε τα παρατηρηθέντα δεδοµένα. ηλαδή, είναι η διαδικασία κατά την οποία βελτιώνεται η εκ των προτέρων νώση (a-ror) που έχουµε ια µία παράµετρο, µέσω της πιθανοφάνειας, στην εκ των υστέρων νώση (osteror) που θα έχουµε ια αυτή. Με άλλα λόια, η Μπεϋζιανή Στατιστική βασίζεται στην υποκειµενική πιθανότητα, τις πεποιθήσεις, τις νώσεις που έχουµε πριν αναλύσουµε τα δεδοµένα κάτι το οποίο εκφράζεται µε την εκ των προτέρων πληροφορία. Μέσω του Θεωρήµατος του Bayes η πληροφορία αναβαθµίζεται στην εκ των υστέρων πληροφορία όπου συνδυάζεται η εκ των προτέρων και η πληροφορία από τα δεδοµένα. Το πλαίσιο στο οποίο κινείται η συµπερασµατολοία κατά Bayes είναι παρόµοιο µε αυτό της κλασικής Στατιστικής: υπάρχει η παράµετρος θ του πληθυσµού την οποία θέλουµε να εκτιµήσουµε, καθώς και η πιθανότητα f ( y θ ) η οποία καθορίζει την πιθανότητα παρατήρησης διαφορετικών y κάτω από διαφορετικές τιµές της παραµέτρου θ. Όµως η θεµελιώδης διαφορά είναι ότι στη Μπεϋζιανή Στατιστική η παράµετρος θ δεν θεωρείται σταθερός αριθµός αλλά χρησιµοποιείται σαν τυχαία ποσότητα (τυχαία µεταβλητή). Αν και η διαφορά αυτή µπορεί να φανεί όχι και τόσο ουσιαστική, οδηεί σε µία τελείως διαφορετική προσέιση, ως προς την ερµηνεία, από αυτήν την κλασικής Στατιστικής. Χρησιµοποιώντας την παράµετρο θ σαν τυχαία, όλη η ανάπτυξη της Μπεϋζιανής συµπερασµατολοίας πηάζει και εξαρτάται µόνο από την θεωρία πιθανοτήτων. Αυτό έχει πολλά πλεονεκτήµατα και σηµαίνει πως όλα τα συµπεράσµατα µπορούν να παρουσιαστούν µε την µορφή πιθανοτήτων ια την παράµετρο θ. Η Μπεϋζιανή προσέιση θέτει εκ των προτέρων πληροφορία στις άνωστες παραµέτρους, µέσω µιας εκ των προτέρων κατανοµής, και µας παρέχει τις εκ των υστέρων κατανοµές των παραµέτρων. Τα συµπεράσµατα βασίζονται στους µέσους (ή σε άλλες ποσότητες) των εκ των υστέρων κατανοµών. Η Μπεϋζιανή συµπερασµατολοία δηλαδή, τυποποιεί την ενσωµάτωση των εκ των προτέρων (aror) πληροφοριών, κάτι που στην κλασική Στατιστική συνήθως ίνεται όχι φανερά. Κλείνοντας αυτήν την εισαωική παράραφο και συνοψίζοντας, µπορούµε να πούµε ότι η Μπεϋζιανή Στατιστική θέτει µε σαφήνεια την ιδέα ότι όλες οι [5]

16 πιθανότητες είναι υποκειµενικές και εξαρτώνται από τις πεποιθήσεις του κάθε ατόµου και τις νώσεις που µπορεί να έχει καθένας ια ένα δεδοµένο πρόβληµα.. Εκ των προτέρων κατανοµή - Εκ των υστέρων κατανοµή - Θεώρηµα Bayes Σηµαντικό κοµµάτι της Μπεϋζιανής Στατιστικής και ιδιαίτερου ενδιαφέροντος είναι η επιλοή της εκ των προτέρων κατανοµής κάθε φορά. Κάθε πρόβληµα είναι µοναδικό και έχει το δικό του περιεχόµενο. Από αυτό ακριβώς το περιεχόµενο εξάονται οι a-ror πληροφορίες και είναι η διατύπωση και η εκµετάλλευση της προηούµενης νώσης που διαχωρίζουν την Μπεϋζιανή θεωρία από αυτήν της κλασικής Στατιστικής. Όταν προσπαθούµε να εκτιµήσουµε την παράµετρο θ θα πρέπει να έχουµε κάποια νώση ή κάποια πεποίθηση σχετικά µε την τιµή της θ προτού λάβουµε υπόψη µας τα δεδοµένα. Αυτό που επιτυχάνεται µε το Θεώρηµα του Bayes, είναι η βελτίωση της εκ των προτέρων νώσης που έχουµε ια την παράµετρο, σύµφωνα µε την καινούρια νώση που µας δίνει το παρατηρηθέν δείµα εκφρασµένη µέσω της πιθανοφάνειας. Ο συνδυασµός της εκ των προτέρων και της δειµατικής πληροφορίας, µας δίνει την εκ των υστέρων πληροφορία που εκφράζεται µέσω της εκ των υστέρων κατανοµής. Για να µπορέσει όµως να επιτευχθεί αυτό θα πρέπει να καθορίσουµε την εκ των προτέρων κατανοµή f θ (ror dstrbuton), η οποία αντιπροσωπεύει όπως είπαµε τις πεποιθήσεις µας ια την κατανοµή του θ προτού αποκτήσουµε οποιαδήποτε πληροφορία από τα δεδοµένα µας. Η επιλοή της εκ των προτέρων κατανοµής πρέπει να ίνεται µε πολύ προσοχή διότι καθιστά την ανάλυση υποκειµενική. ιαφορετική εκ των προτέρων επιλοή οδηεί σε διαφορετικά αποτελέσµατα. Ωστόσο η επιρροή της εκ των προτέρων κατανοµής ίνεται ολοένα και µικρότερη καθώς προστίθενται νέα δεδοµένα. Συνήθως διαλέουµε κατανοµές που απλοποιούν τους υπολοισµούς οι οποίες όµως «περιορίζουν» την επιλοή της f ( θ) σε κάποια από τις νωστές οικοένειες κατανοµών. Σε πολλές περιπτώσεις η διαθέσιµη εκ των προτέρων πληροφορία είναι περιορισµένη ή ακόµα και ανύπαρκτη. Στην περίπτωση αυτή επιθυµούµε η πληροφορία που προέρχεται από τα δεδοµένα να κυριαρχήσει στον τελικό υπολοισµό της εκ των υστέρων κατανοµής και είναι αρκετά συνηθισµένο να χρησιµοποιούµε µια a-ror η οποία αντανακλά την άνοια µας ια την παράµετρο. Γενικά οι κατανοµές διακρίνονται σε δύο µεάλες κατηορίες, τις πληροφοριακές (nformatve) και τις µη-πληροφοριακές (non-nformatve). Υπάρχουν τέσσερα βασικά βήµατα ια την Μπεϋζιανή προσέιση ενός πιθανοθεωρητικού προβλήµατος :. Καθορισµός του µοντέλου πιθανοφάνειας f ( y θ ).. Καθορισµός της εκ των προτέρων κατανοµής f ( θ). 3. Υπολοισµός της εκ των υστέρων κατανοµής f ( θ y ). 4. Εξαωή συµπερασµάτων από την εκ των υστέρων κατανοµή. Πιο συκεκριµένα, έστω = [,,..., ] y y y y n είναι ένα τυχαίο δείµα από νωστή κατανοµή µε σ.π.π. (ή σ.µ.π. στη διακριτή περίπτωση) f και άνωστη παράµετρο (,,..., ) θ= θ θ θ m Θ R m ( ). Η συνάρτηση πιθανοφάνειας (lkelhood) είναι η [6]

17 n f( y θ ) = f( y θ), = η οποία όπως έχει αναφερθεί καθορίζει την πιθανότητα παρατήρησης διαφορετικών y κάτω από διαφορετικές τιµές της παραµέτρου θ. Υποθέτοντας ακόµα ότι f ( θ) είναι η εκ των προτέρων κατανοµή ια την παράµετρο θ, η συµπερασµατολοία µας τότε δεν προκύπτει µόνο από την µελέτη των δεδοµένων, δηλαδή την πιθανοφάνεια f ( y θ ), αλλά τελικά από την συνάρτηση πιθανότητας της κατανοµής της παραµέτρου δοθέντος των δεδοµένων f ( θ y ), η οποία καλείται εκ των υστέρων κατανοµή (osteror dstrbuton). Σε πολλές περιπτώσεις αυτό οδηεί σε περισσότερο φυσικά συµπεράσµατα σε σχέση µε την κλασική Στατιστική. Ο υπολοισµός της ίνεται µε χρήση του Θεωρήµατος Bayes: f( θ) f( y θ) f ( θ y) =. f ( θ) f( y θ) dθ θ Θ Σηµειώνουµε ότι όταν η παράµετρος είναι διακριτή, τότε ο παρονοµαστής αντικαθιστάται από το άθροισµα f( θ ) f( y θ ). Θα πρέπει να προσέξουµε ιδιαίτερα το εονός ότι από την στιµή που ολοκληρώσαµε ως προς θ, ο παρανοµαστής στο Θεώρηµα του Bayes είναι συνάρτηση µόνο ως προς y. Συνεπώς, ια δεδοµένες παρατηρήσεις y, ο παρανοµαστής είναι σταθερά και ονοµάζεται σταθερά κανονικοποίησης. Με βάση αυτά ένας εναλλακτικός τρόπος παρουσίασης του Θεωρήµατος του Bayes είναι ο εξής: f( θ y) f( θ) f ( y θ ), δηλαδή η εκ των υστέρων κατανοµή είναι ανάλοη της a-ror κατανοµής πολλαπλασιαζόµενης µε την συνάρτηση πιθανοφάνειας..3 Εκθετική Οικοένεια Κατανοµών - Συζυείς εκ των προτέρων κατανοµές Η εφαρµοή του Θεωρήµατος του Bayes στην πράξη είναι αρκετά δύσκολη όσον αφορά τους µαθηµατικούς υπολοισµούς και η δυσκολία αυτή οφείλεται κυρίως στο ολοκλήρωµα (σταθερά κανονικοποίησης) το οποίο υπάρχει στον παρανοµαστή. Πολύ συχνά έχουµε µια ενική ιδέα ια το ποια θα πρέπει να είναι η εκ των προτέρων κατανοµή (πιθανότατα να µπορούµε να πούµε ποιος είναι ο µέσος και η διακύµανσή της), χωρίς όµως να µπορούµε να είµαστε πιο συκεκριµένοι ια την µορφή της. Σε αυτές τις περιπτώσεις µπορούµε να χρησιµοποιήσουµε µια «βολική» µορφή της εκ των προτέρων η οποία θα είναι το αποτέλεσµα των πεποιθήσεων µας και ταυτόχρονα θα κάνει τους µαθηµατικούς υπολοισµούς σχετικά εύκολους. Αυτό είναι πολύ σηµαντικό καθώς κάποιες, ακόµα και απλές, επιλοές εκ των προτέρων κατανοµών, εµφανίζουν µεάλες υπολοιστικές δυσκολίες. Για το λόο αυτό ια αρκετό διάστηµα η Μπεϋζιανή θεωρία περιορίστηκε σε κατανοµές που διευκόλυναν τον υπολοισµό των εκ των υστέρων κατανοµών. Τέτοιες κατανοµές είναι οι συζυείς εκ των προτέρων κατανοµές. [7]

18 Ως συζυείς ορίζονται οι εκ των προτέρων κατανοµές οι οποίες εφαρµόζοντας το Θεώρηµα του Bayes καταλήουν σε εκ των υστέρων κατανοµές που ανήκουν στην ίδια οικοένεια κατανοµών µε την εκ των προτέρων κατανοµή. Χρησιµοποιούµε τις κατανοµές αυτές όταν είναι συµβατές µε τις πεποιθήσεις µας, όταν περιράφουν την προηούµενη νώση που έχουµε ια την παράµετρο. Σε πολλές περιπτώσεις ο πλούτος της οικοένειας των συζυών κατανοµών είναι αρκετά µεάλος ώστε να µπορέσει να προσδιοριστεί η συζυής εκ των προτέρων κατανοµή η οποία είναι αρκετά κοντά στις εκ των προτέρων πεποιθήσεις µας. Αυτό όµως το οποίο θα πρέπει να τονίσουµε είναι πως οι συζυείς εκ των προτέρων κατανοµές δεν θα πρέπει να χρησιµοποιούνται απλά επειδή κάνουν τους µαθηµατικούς υπολοισµούς ευκολότερους και αν δεν υπάρχει a-ror κατανοµή µέσα στην οικοένεια αυτή η οποία αντανακλά τι πραµατικά πιστεύουµε, τότε θα πρέπει να αποφύουµε την εν λόω προσέιση. Η µόνη περίπτωση στην οποία οι συζυείς κατανοµές προκύπτουν εύκολα, είναι ια τα υποδείµατα που ανήκουν στην Eκθετική Οικοένεια Κατανοµών. ηλαδή, όταν η συνάρτηση πυκνότητας πιθανότητας των παρατηρήσεων του δείµατος εκφράζεται µε τη µορφή: { φ } f ( y θ) = h( y) g( θ)ex ( θ ) u( y), όπου h, u είναι συναρτήσεις των παρατηρήσεων y και g, φ συναρτήσεις της παραµέτρου θ, ενώ ια τις συναρτήσεις h, u, g και φ ισχύει: { φ } f ( y θ) dy = g( θ) h( y)ex ( θ ) u( y) dy =. Ας υποθέσουµε ότι έχουµε ένα τυχαίο δείµα = [,,..., ] y από νωστή y y y n κατανοµή f η οποία ανήκει στην Εκθετική Οικοένεια Κατανοµών, δηλαδή µπορεί να ραφτεί στη µορφή Η συνάρτηση πιθανοφάνειας θα είναι { φ } f ( y θ) = h( y) g( θ)ex ( θ ) u( y). n n n f ( y θ) = f( y θ) = h( y) { g( )} ex φ ( ) u( y ) = θ θ = = n { g( θ) } ex φ ( θ) u( y ). = Χρησιµοποιώντας µια εκ των προτέρων κατανοµή της µορφής { φ } f ( θ) g( θ)ex ( θ ) b, η εκ των υστέρων κατανοµή θα υπολοιστεί κατά τα νωστά από το Θεώρηµα του Bayes [8]

19 n n+ d f( θ y) f( θ) f( y θ) = { g( θ) } ex φ ( θ) b+ u( y ) = όπου = n+ d και q b u( y ). n = + = { g θ } { φ θ q} = ( ) ex ( ), Το συµπέρασµα είναι ότι η εκ των υστέρων ανήκει στην ίδια οικοένεια κατανοµών µε την εκ των προτέρων κατανοµή αλλά µε προσαρµοσµένες παραµέτρους. Πρέπει να τονιστεί στο σηµείο αυτό ια να ισχύουν όλα τα προηούµενα, θα πρέπει οι χώροι Θ και Ψ, όπου παίρνουν τιµές οι µεταβλητές θ και y αντίστοιχα, να είναι ανεξάρτητοι (ασύνδετοι), δηλαδή οι µεταβολές στις τιµές του θ να µην επηρεάζουν τις τιµές του y. Συνοψίζοντας την ιδέα των συζυών εκ των προτέρων κατανοµών αναφέρουµε το παρακάτω Σκοπός: οθέντος της κατανοµής από την οποία προέρχονται τα δεδοµένα, να βρούµε κατάλληλη εκ των προτέρων κατανοµή ώστε η εκ των υστέρων να ανήκει στην ίδια οικοένεια κατανοµών µε την εκ των προτέρων αλλά µε προσαρµοσµένες παραµέτρους και έτσι να αποφύουµε τον υπολοισµό δύσκολων ολοκληρωµάτων. y y y n Παράδειµα: Έστω ότι = [,,..., ] y είναι ένα τυχαίο δείµα από κατανοµή y θ θ Posson µε άνωστη παράµετρο λ, δηλαδή f( y θ ) = e, όπου έχουµε θέσει y! λ = θ. Η κατανοµή αυτή µπορεί να ραφτεί στην ακόλουθη µορφή f ( y θ) = ex{ θ} ex{ lnθ y}, y! από την οποία καταλαβαίνουµε ότι ανήκει στην Εκθετική Οικοένεια Κατανοµών µε hy ( ) = y! { θ} g( θ ) = ex φθ ( ) = lnθ u( y) = y. Η πιθανοφάνεια υπολοίζεται ως ακολούθως n n n n f ( y θ) = f( y θ) = { ex( θ) } ex ln( θ) y = = y! = n n { ex( θ) } ex ln( θ) y, = [9]

20 ( y + ) = την οποία αν ράψουµε στη µορφή θ ex( nθ ) βλέπουµε ότι είναι η n κατανοµή Gamma y +, n. = Ορίζουµε ως εκ των προτέρων την εξής συνάρτηση ( ) ( θ) ex{ θ} ex{ lnθ } θ θ + = = θ n d b d b d θ f b e e που όπως παρατηρούµε αποτελεί τον πυρήνα της κατανοµής Gamma(b+,d). Από την θεωρία λοιπόν προέκυψε ότι ια το συκεκριµένο πρόβληµα πρέπει να χρησιµοποιήσουµε ια συζυή ror µια κατανοµή Gamma και όπως αναµένεται, η εκ των υστέρων κατανοµή (osteror) θα είναι και αυτή Gamma µε προσαρµοσµένες βέβαια παραµέτρους. Πράµατι, από το Θεώρηµα Bayes έχουµε n n+ d f( θ y) f( θ) f( y θ) = { ex( θ) } ex ln( θ) y + b = { ex( )} n n y + b y + b+ n+ d = + = θ θ = θ = e n = Gamma y + b +, n+ d. =, ( n d) θ Αριθµητική Εφαρµοή Έχουµε ένα τυχαίο δείµα από κατανοµή Posson µε άνωστη παράµετρο λ = θ y = [3,5,,5,4,7,4,5,6,5,4,6,6,4,5,6,7,3,4,6]. Ας υποθέσουµε ότι οι εκ των προτέρων πεποιθήσεις µας ια την παράµετρο θ αντιπροσωπεύονται ικανοποιητικά από την κατανοµή Gamma(3,5). Τότε, σύµφωνα µε τα προηούµενα, η εκ των υστέρων κατανοµή της θ y θα είναι η Gamma(00,5). Ο παρακάτω κώδικας στην R µας δίνει τα ραφήµατα της εκ των προτέρων (ror) και της εκ των υστέρων (osteror) κατανοµής. y<-c(3,5,,5,4,7,4,5,6,5,4,6,6,4,5,6,7,3,4,6) n<-length(y) s<-sum(y) x<-seq(0,7,length=000) b<- d<-5 lot(x,dgamma(x,b+,d),ylab="",col=,lty=,tye="l") lnes(x,dgamma(x,s+b+,n+d),col=,lty=3) lnes(x,dgamma(x,s+,n),col=3,lty=4) legend(5,.,legend=c("ror","osteror","lkelhood"),col=c(,,3), lty=c(,3,4)) [0]

21 ror osteror lkelhood x.4 Συνεχής αναθεώρηση Είδαµε ότι το Θεώρηµα του Bayes προσφέρει τον µηχανισµό µε βάση τον οποίο οι εκ των προτέρων πληροφορίες µας αναθεωρούνται από τα δεδοµένα και δίνουν την εκ των υστέρων πληροφορία. Όµως η εκ των προτέρων και η εκ των υστέρων κατανοµή είναι έννοιες σχετικές, καθώς η κατανοµή που είναι σήµερα εκ των υστέρων, αύριο µπορεί να είναι εκ των προτέρων. Αυτό ιατί το Θεώρηµα του Bayes βρίσκει εφαρµοή και όταν έχουµε διαδοχική συλλοή δεδοµένων. Έτσι προκύπτει η εξής ερώτηση: εάν πάρουµε µια σειρά από δεδοµένα και αναθεωρήσουµε τις εκ των προτέρων πεποιθήσεις µας την στιµή που λαµβάνουµε κάθε ένα από τα δεδοµένα µας, θα πάρουµε διαφορετικό αποτέλεσµα από ότι θα παίρναµε αν περιµέναµε να φτάσουν στα χέρια µας όλα τα δεδοµένα µαζί και µετά να αναθεωρήσουµε την εκ των προτέρων πληροφόρηση µας; Ας υποθέσουµε ότι έχουµε δύο ανεξάρτητα δείµατα y και y από την ίδια σ.π.π. f. Θεωρούµε αρχικά µόνο το πρώτο δείµα y και υπολοίζουµε την εκ των υστέρων κατανοµή του θ y από το Θεώρηµα Bayes f( θ y ) f( θ) f ( y θ ). []

22 Ύστερα λαµβάνουµε και το δεύτερο δείµα y και υπολοίζουµε την εκ των υστέρων κατανοµή του θ y χρησιµοποιώντας όµως ως εκ των προτέρων την ήδη υπολοισµένη κατανοµή f ( θ y ) f( θ y ) f( θ y ) f( y θ) f( θ) f( y θ) f( y θ) = f( θ) f( y, y θ ). Θεωρούµε τώρα ότι έχουµε ταυτόχρονα και τα δύο δείµατα y και y, (οπότε είναι σαν να έχουµε ένα ενιαίο δείµα). Από το Θεώρηµα Bayes υπολοίζουµε την εκ των υστέρων κατανοµή του θ y, y και έχουµε f( θ y, y ) f( θ) f( y, y θ ). Συµπέρασµα: Η εκ των υστέρων κατανοµή του θ y, y είναι η ίδια µε την εκ των υστέρων κατανοµή που λαµβάνουµε όταν θεωρήσουµε αρχικά το πρώτο δείµα y, βρούµε την εκ των υστέρων του θ y και χρησιµοποιώντας αυτήν ως ror ια τον υπολοισµό της εκ των υστέρων του θ y. ηλαδή είτε διαδοχικά είτε ενιαία λάβουµε τα δύο δείµατα, καταλήουµε στο ίδιο αποτέλεσµα. Η παραπάνω διαδικασία, που αποτελεί βασικό πλεονέκτηµα της Μπεϋζιανής Στατιστικής, ενικεύεται ια οποιονδήποτε αριθµό ανεξάρτητων δειµάτων και είναι ιδιαίτερα εύχρηστη ια την βελτίωση της εκ των υστέρων πληροφορίας όταν τα δεδοµένα συλλέονται διαδοχικά µε το πέρας του χρόνου..5 Προβλεπτική κατανοµή Ως τώρα έχουµε επικεντρώσει την προσοχή µας στην εκτίµηση των παραµέτρων. Έχουµε δηλαδή, καθορίσει ένα µοντέλο πιθανότητας µε σκοπό να περιράψει την τυχαία διαδικασία µε την οποία παρατηρούνται τα δεδοµένα µας, και έχουµε ακόµα δείξει πώς η Μπεϋζιανή θεωρία συνδυάζει την πληροφορία την οποία παρέχει το δείµα και την εκ των προτέρων πληροφόρηση η οποία χρησιµοποιείται στην εκτίµηση των παραµέτρων µε την µορφή της εκ των υστέρων κατανοµής. Συνήθως, ο λόος ια τον οποίο «προτείνονται» τα στατιστικά µοντέλα, είναι η διεξαωή προβλέψεων σχετικά µε τις µελλοντικές τιµές της διαδικασίας. Την διαδικασία αυτή µπορούµε να την χειριστούµε πολύ καλύτερα στην Μπεϋζιανή Στατιστική απ ότι στην κλασική θεωρία. Ας υποθέσουµε λοιπόν ότι έχουµε ένα τυχαίο δείµα (δεδοµένα) [,,..., ] y y y n y = µίας τυχαίας µεταβλητής Y µε συνάρτηση πιθανοφάνειας f ( y θ) και θέλουµε να εξάουµε συµπεράσµατα σχετικά µε την κατανοµή της µελλοντικής τιµής y n + µέσα από την διαδικασία αυτή. Με µία εκ των προτέρων κατανοµή f ( θ), το Θεώρηµα του Bayes οδηεί σε µία εκ των υστέρων κατανοµή f ( θ y). Η συνάρτηση πρόβλεψης ια το y n + δεδοµένου του διανύσµατος y θα είναι: []

23 f( y y) = f( y, θ y) dθ n+ n+ Θ = f ( y θ, y) f( θ y) dθ Θ n+ = f( y θ) f( θ y) dθ, Θ n+ µε την τελευταία ισότητα να ισχύει επειδή όταν ξέρω το θ, που είναι η παράµετρος της κατανοµής, τότε οι παρατηρήσεις y = [,,..., ] y y y n, δεν µου χρειάζονται αφού θ ξέρω όλη την κατανοµή µέσω του και άρα θα ισχύει f( yn+ θ, y) = f( yn+ θ ). Εποµένως η συνάρτηση πρόβλεψης είναι ένα ολοκλήρωµα της πιθανοφάνειας (ια µία και µόνο παρατήρηση) πολλαπλασιαζόµενο µε την εκ των υστέρων κατανοµή. Παράδειµα: Έστω τυχαίο δείµα = [,,..., ] Η συνάρτηση πιθανοφάνειας θα είναι y y y n y µε y = 0 ή y =, δηλαδή y bernoull( θ ), =,..., n, 0< θ < θ, y = f( y θ) = = θ ( θ) θ, y = 0 y y n n n y n y = = f y = Θεωρούµε ότι η ror ια το θ είναι η f( y θ) = ( θ) = θ ( θ) Βήτα( a0, b0).. και άρα η σ.π.π. του θ θα είναι η f Γ ( a + b ) Γ( a ) Γ( b ) ( θ ) θ a b a ( θ ) θ b = ( θ). 0 0 Από το Θεώρηµα Bayes υπολοίζουµε την εκ των υστέρων κατανοµή του θ y n n y n a0 b0 = = ( θ y) ( θ) ( y θ) θ ( θ) θ ( θ) y f f f n n n ( a0+ y) ( n y+ b0) = = = θ ( θ) ( ab) = Βήτα,, όπου a: = a0 + y και b= n y + b0. = n+ n+ 0 0 n = [ ] f( y = y ) = f( y = θ) f( θ y ) dθ = θ f( θ y ) dθ = E θ y. [3]

24 Άρα η πιθανότητα η n +- παρατήρηση να είναι ισούται µε τη µέση τιµή της εκ των υστέρων κατανοµής του θ y, δηλαδή είναι ίση µε E 0 = θ = = [ ] a + y a y. a+ b a + b + n n Markov Chan Monte Carlo (MCMC) Έστω ότι f ( θ y) είναι η σ.π.π. της τυχαίας µεταβλητής θ και ενδιαφερόµαστε ενικά να υπολοίσουµε τη µέση τιµή [ ( )] του θ. Τότε ως νωστόν [ ] Ehθ, όπου h µια οποιαδήποτε συνάρτηση E h( θ ) = h( θ) f( θ y) dθ. Θ Την παραπάνω µέση τιµή, που σε πολλές περιπτώσεις δεν υπολοίζεται µε αναλυτικό τρόπο, µπορούµε να την εκτιµήσουµε µε την Monte Carlo εκτιµήτρια: n * Eˆ [ h( θ )] = h( θ ), n όπου θ *, =,..., n, είναι τυχαίες προσοµοιωµένες τιµές από την κατανοµή f ( θ y). Συνήθως ενδιαφερόµαστε ια την εκτίµηση της µέσης τιµής E[ θ ] και της διασποράς V [ θ ] της τ.µ θ. Στην πρώτη περίπτωση θέτουµε h( θ ) εκτιµήτρια = = n * * Eˆ [ θ ] = θ : = θ, n = θ οπότε παίρνουµε την ενώ στη δεύτερη περίπτωση θέτουµε h( θ ) ( θ θ ) * = και προκύπτει η εκτίµηση n * * Vˆ [ θ] = ( θ θ ). n Αποδεικνύεται ότι οι παραπάνω Monte Carlo εκτιµήτριες είναι συνεπείς και αµερόληπτές και ια µεάλο n συκλίνουν στην ως προς εκτίµηση ποσότητα µε αρκετά µεάλη πιθανότητα, υπό την προϋπόθεση το δείµα των προσοµοιωµένων τιµών θ *, =,..., n να είναι τυχαίο. Από τα προηούµενα προκύπτει το ερώτηµα ια τον τρόπο µε τον οποίο µπορούµε να προσοµοιώσουµε τυχαίες τιµές από µια κατανοµή. Υπάρχουν διάφορες τεχνικές που εξυπηρετούν το σκοπό αυτό όπως η µέθοδος Απόρριψης που παράει ένα IID δείµα προσοµοιωµένων τιµών. Στη συνέχεια, θα αναφερθούµε πολύ συνοπτικά στη ενική ιδέα των αλορίθµων MCMC καθώς επίσης και σε δύο τέτοιους αλορίθµους, τον Metrools-Hastngs και τον Gbbs Samlng όπου το προσοµοιωµένο δείµα = [4]

25 συνιστά πλέον µια Μαρκοβιανή Αλυσίδα. Τα βασικά στοιχεία της θεωρίας των Στοχαστικών Ανελίξεων θεωρούνται νωστά και δεν αναπτύσσονται στην παρούσα παράραφο. Έστω θ Θ η παράµετρος της κατανοµής f και y τα δεδοµένα. Οι Metrools et al (953) πρότειναν την ιδέα της προσοµοίωσης τιµών από την εκ των υστέρων κατανοµή f ( θ y) στοχεύοντας στη δηµιουρία µιας Μαρκοβιανής Αλυσίδας µε τις εξής ιδιότητες:. Χώρο καταστάσεων Θ.. Στάσιµη κατανοµή f ( θ y ). Αν η Μαρκοβιανή Αλυσίδα είναι εροδική (νήσια επαναληπτική και απεριοδική) και η f ( θ y) είναι η στάσιµη κατανοµή της αλυσίδας, τότε µπορούµε να µάθουµε πληροφορίες όπως π.χ ο εκ των υστέρων µέσος απλά περιµένοντας να επιτευχθεί η στασιµότητα (να έχει συκλίνει η αλυσίδα). Εν συνεχεία απλά καταράφουµε τις τιµές µετά από αυτό το χρονικό διάστηµα.. Αλόριθµος Metrools - Hastngs Για t = 0, θ (0), (αρχική τιµή). Για t =,..., n, επανέλαβε : * ( t ) Προσοµοίωσε θ ~ g( θ θ, y). (κατανοµή εισήησης) * * ( t) f( θ y) g( θ θ, y) Υπολόισε αmh = mn,. () t () t * (πιθανότητα αποδοχής) f ( θ y) g( θ θ, y) ( t+ ) * ( t+ ) ( t) Θέσε θ = θ µε πιθανότητα α MH και θ = θ µε πιθανότητα αmh. Έστω θ = θ, θ,..., θ Αλόριθµος Gbbs Samlng το διάνυσµα των παραµέτρων (0) (0) (0) (0) Αρχικές τιµές θ = θ, θ,..., θ, ια t = 0. Σε κάθε επανάληψη ο αλόριθµος κάνει την εξής διαδικασία θ ~ f( θ θ, θ,..., θ, y) ( t+ ) ( t) ( t) ( t) 3 θ ~ f( θ θ, θ,..., θ, y) ( t+ ) ( t+ ) () t () t 3 θ ~ f ( θ θ, θ,..., θ, y) ( t+ ) ( t+ ) ( t+ ) ( t) 3 3 M M M M M M θ ~ f ( θ θ, θ,..., θ, y), ( t+ ) ( t+ ) ( t+ ) ( t+ ) δηλαδή ως κατανοµές εισήησης χρησιµοποιεί τις πλήρους δέσµευσης εκ των υστέρων κατανοµές των αντίστοιχων παραµέτρων (full condtonal). Ένα άλλο χαρακτηριστικό του αλορίθµου Gbbs είναι ότι η πιθανότητα αποδοχής είναι ένα, που σηµαίνει πως κάθε τιµή που προσοµοιώνεται ίνεται αποδεκτή (σε αντίθεση µε τον αλόριθµο Metrools- Hastngs). [5]

26 ΚΕΦΑΛΑΙΟ 3 ΜΠΕΫΖΙΑΝΗ ΕΠΙΛΟΓΗ ΜΟΝΤΕΛΩΝ KAI ΜΕΤΑΒΛΗΤΩΝ ΣΤΑ ΓΕΝΙΚΕΥΜΕΝΑ ΓΡΑΜΜΙΚΑ ΜΟΝΤΕΛΑ 3. Εισαωή Η επιλοή µοντέλου είναι ένα σηµαντικό στάδιο της Στατιστικής συµπερασµατολοίας. Πιο συκεκριµένα, ένα από τα ζητήµατα που καλούµαστε να αντιµετωπίσουµε στα ενικευµένα ραµµικά µοντέλα, είναι και αυτό της επιλοής επεξηηµατικών µεταβλητών. Το πρόβληµα προκύπτει όταν ο αριθµός των επεξηηµατικών µεταβλητών, που έχουµε προς µελέτη, είναι αρκετά µεάλος και ενδιαφερόµαστε να επιλέξουµε ένα υποσύνολο από αυτές. Αλλά και όταν ο αριθµός των επεξηηµατικών µεταβλητών δεν είναι αρκετά µεάλος αντιµετωπίζουµε ανάλοο πρόβληµα εάν το ενδιαφέρον µας συκεντρώνεται στην επιλοή των πιο σηµαντικών µεταβλητών. Ένα µοντέλο µε µικρότερο αριθµό επεξηηµατικών µεταβλητών, και συνεπώς και παραµέτρων, είναι πιο επιθυµητό, διότι είναι πιο οικονοµικό. Για να επιλέξουµε µεταξύ διαφορετικών µοντέλων µπορούµε να εφαρµόσουµε τόσο υποκειµενικά, όσο και αντικειµενικά κριτήρια. Στα υποκειµενικά κριτήρια συκαταλέονται α) οικονοµία µοντέλου (φειδωλότητα), β) πραµατικότητα ) καλή προσαρµοή και δ) συµφωνία µεθόδων επιλοής. Ας δούµε καθ ένα από τα κριτήρια αυτά χωριστά. Οικονοµία µοντέλου: Σύµφωνα µε το κριτήριο αυτό επιλέουµε εκείνο το µοντέλο που έχει τον µικρότερο αριθµό ανεξάρτητων µεταβλητών. Πραµατικότητα: Ας υποθέσουµε ότι από προηούµενες µελέτες ή από εµπειρία είναι νωστό ότι ένας ή περισσότεροι παράοντες θα πρέπει να συµπεριλαµβάνονται (ή να µην συµπεριλαµβάνονται) στο µοντέλο. Στην περίπτωση αυτή επιλέουµε εκείνο το µοντέλο το οποίο περιέχει τους περισσότερους (ή τους λιότερους) από τους παράοντες αυτούς. Καλή προσαρµοή: Πόσο καλά προσείζει το θεωρητικό µοντέλο τα δεδοµένα. Συµφωνία µεθόδων: Σύµφωνα µε το κριτήριο αυτό επιλέουµε εκείνο το µοντέλο στο οποίο συµφωνούν οι περισσότερες από τις µεθόδους επιλοής. Σε µερικές περιπτώσεις τέτοιο µοντέλο µπορεί να µην υπάρχει. Σε αυτό το κεφάλαιο εξετάζουµε την επιλοή µοντέλου και µεταβλητών από την Μπεϋζιανή σκοπιά. Αυτό σηµαίνει ότι το διάνυσµα των παραµέτρων θ του µοντέλου θα είναι τυχαία µεταβλητή. Επειδή το υπό µελέτη πρόβληµα αφορά τα ενικευµένα ραµµικά µοντέλα () ( µ ) = η = β, =,..., = 0 g x n ένα µέρος του διανύσµατος θ θα αποτελούν οι συντελεστές β, οι οποίοι κατά συνέπεια θεωρούνται και αυτοί τυχαίες µεταβλητές. Για παράδειµα, στο Κανονικό [6]

27 ραµµικό µοντέλο όπου Y X~ N( Xβ, σ I), το διάνυσµα των παραµέτρων είναι το θ = β, σ. Όταν οι επεξηηµατικές µεταβλητές ενσωµατώνονται στον φορµαλισµό του µοντέλου m, το ενδιαφέρον συνήθως εστιάζεται στον υπολοισµό της osteror κατανοµής f ( β y, m ) παρά της f( θ y, m). Σε προβλήµατα επιλοής µεταβλητών, µπορούµε να αντικαταστήσουµε τον δείκτη { } m ια ένα µοντέλο µε τον δείκτη-διάνυσµα = 0,,..., 0,, όπου ο δείκτης αντιπροσωπεύει ποιες από τις µεταβλητές X 0, X,..., X, περιλαµβάνονται στο µοντέλο. Για τις συνιστώσες του διανύσµατος ισχύει, αν η X περιλαµβάνεται στο µοντέλο =. 0, διαφορετικά Το λανθάνων διάνυσµα των δυαδικών δεικτών, το εισήααν οι George και McCulloch (993) στην πρώτη προσπάθειά τους να χρησιµοποιήσουν MCMC αλόριθµους σε προβλήµατα επιλοής µοντέλου. 3. Εκ των υστέρων λόος πιθανοτήτων και ο παράοντας Bayes Η κατά Bayes σύκριση µοντέλων βασίζεται στον υπολοισµό των περιθώριων πιθανοφανειών των παρατηρούµενων δεδοµένων των υπo σύκριση µοντέλων. Μέσω αυτών των δεσµευµένων πιθανοτήτων µπορούν να υπολοιστούν οι παράοντες Bayes (Bayes Factors) και οι εκ των υστέρων λόοι σχετικών πιθανοτήτων (Posteror Odds) µεταξύ των συκρινόµενων µοντέλων. Ας θεωρήσουµε δύο ανταωνιστικά µοντέλα m0 και m και ας υποθέσουµε ότι έχουµε παρατηρήσει κάποια δεδοµένα y τα οποία έχουν παραχθεί από ένα εκ των δύο αυτών µοντέλων. Κάθε ένα από τα µοντέλα m { m, m} καθορίζει την κατανοµή της τυχαίας µεταβλητής, Y f ( ( m ), m) 0 y θ, όπου µε θ συµβολίζουµε το άνωστο διάνυσµα παραµέτρων που αντιστοιχεί στο µοντέλο m. Αν f είναι η εκ των προτέρων πιθανότητα του µοντέλου m τότε, χρησιµοποιώντας το Θεώρηµα Bayes, η εκ των υστέρων πιθανότητα του αντίστοιχου µοντέλου θα είναι f( m y) = f( y m) f f ( y m ) f ( m ) + f ( y m ) f ( m ) 0 0 (3..) όπου m { m0, m} και f( m0) + f =. Έχουµε λοιπόν συνοπτικά τις παρακάτω έννοιες f : Εκ των προτέρων πιθανότητα του µοντέλου m (Pror model robablty). f( m y ) : Εκ των υστέρων πιθανότητα του µοντέλου m (Posteror model robablty). [7]

28 f( y m) : Περιθωριακή πιθανοφάνεια των δεδοµένων στο µοντέλο m (margnal lkelhood of model m ). Η περιθωριακή πιθανοφάνεια των δεδοµένων στο µοντέλο m δίνεται από τη σχέση f( y m) = f( y θ, m) f( θ m) dθ, Θ όπου f ( θ m) είναι η εκ των προτέρων κατανοµή των παραµέτρων στο µοντέλο m. Μια πολύ χρήσιµη ποσότητα ια τη σύκριση των δύο µοντέλων αποτελεί ο λόος της εκ των υστέρων πιθανότητας του µοντέλου προς την εκ των υστέρων πιθανότητα του µοντέλου m που ονοµάζεται εκ των υστέρων λόος πιθανοτήτων του µοντέλου m0 έναντι του µοντέλου m και συµβολίζεται µε PO0 ( Posteror Odds). Από τη σχέση (3..) έχουµε m 0 PO 0 f( y m0) f( m0) f( m0 y) f( y m0) f( m0) + f( y m) f : = = f( m ( y) f y m) f f( y m ) f( m ) + f( y m ) f( m ) 0 0 PO f( y m ) f( m ) = f( y m) f PO 0 f y m f m = f( y m ) f( m ) ( 0) ( 0). Σύµφωνα µε την τελευταία σχέση έχουµε τις ακόλουθες έννοιες f ( m0 ) f ( m ) : Εκ των προτέρων λόος πιθανοτήτων του µοντέλου έναντι του µοντέλου m (Pror model odds). m0 f f( y m ) ( y m0 ) : = B 0 : Παράοντας Bayes του µοντέλου m0 έναντι του µοντέλου m (Bayes Factor). f m f( m y) ( 0 y) : = PO 0 : Εκ των υστέρων λόος πιθανοτήτων του µοντέλου έναντι του µοντέλου m (Posteror model odds). m0 [8]

29 Αποδείξαµε λοιπόν ότι τα παραπάνω τρία µεέθη συνδέονται µε την εξής σχέση Posteror model odds = Bayes Factor Pror model odds. Η σχέση (3..) µπορεί να ενικευτεί και στην περίπτωση που έχουµε περισσότερα από δύο ανταωνιστικά µοντέλα. Θεωρώντας ένα σύνολο µοντέλων M = { m, m,..., m M }, η εκ των υστέρων πιθανότητα του µοντέλου m M υπολοίζεται ως εξής f( y m) f f( m y) = = M k = M k = M k = M k = f( y m ) f( m ) = f( y m ) f( m ) f( y m) f PO k k f( y mk) f( mk) f( m) f y mk m, k k = όπου M είναι το πλήθος των µοντέλων που απαρτίζουν το σύνολο M. Ο παράοντας Bayes αποτελεί ένα µέτρο ια την βαρύτητα της πληροφορίας, η οποία περιλαµβάνεται στα δεδοµένα, υπέρ ενός µοντέλου έναντι ενός άλλου µοντέλου. Ο παράοντας αυτός µπορεί να χρησιµοποιηθεί ως σχετικό µέτρο ια τη σύκριση δύο µοντέλων. Ερµηνείες του παράοντα Bayes, σύµφωνα µε τους Kass και Raftery, δίνονται στους Πίνακες και. Πίνακας : Ερµηνεία του παράοντα Bayes σύµφωνα µε τους Kass και Raftery (log 0 ) log 0( B 0) B 0 ΕΝ ΕΙΞΗ ΕΝΑΝΤΙ ΤΟΥ ΜΟΝΤΕΛΟΥ m0 0.0 έως έως 3. Όχι άξια αναφοράς 0.5 έως.0 3. έως 0 Ουσιαστική.0 έως.0 0 έως 00 Ισχυρή > >00 Αποφασιστική Πίνακας : Ερµηνεία του παράοντα Bayes σύµφωνα µε τους Kass και Raftery ( φυσικός λοάριθµος) ln( B 0) B 0 ΕΝ ΕΙΞΗ ΕΝΑΝΤΙ ΤΟΥ ΜΟΝΤΕΛΟΥ m0 0 έως έως 3 Όχι άξια αναφοράς έως 3 3 έως 0 Θετική 3 έως 5 0 έως 50 Ισχυρή >5 >50 Πολύ ισχυρή [9]

30 Παρατήρηση: Εάν τα δύο µοντέλα έχουν την ίδια εκ των προτέρων πιθανότητα, δηλαδή αν f ( m0) = f, τότε PO f( y m ) f( m ) f( y m ) = = = B f( y m) f f( y m), που σηµαίνει ότι στην ειδική αυτή περίπτωση ισχύει Posteror model odds = Bayes Factor. Παρ όλο που ο παράοντας Bayes αποτελεί ένα σηµαντικό εραλείο ια την επιλοή του καταλληλότερου µοντέλου, θα διαπιστώσουµε στην επόµενη παράραφο ότι επηρεάζεται πολύ από την µεταβλητότητα της εκ των προτέρων κατανοµής των παραµέτρων. 3.3 ο παράδοξο του Lndley Η επιλοή των εκ των προτέρων κατανοµών είναι καίριας σηµασίας ια τις εκ των υστέρων πιθανότητες των µοντέλων και πρέπει να ίνεται µε πολύ µεάλη προσοχή. Οι εκ των υστέρων πιθανότητες είναι πολύ ευαίσθητες στο βαθµό των εκ των προτέρων διασπορών έχοντας µια τάση να ευνοούν τα µοντέλα µε πιο απλή δοµή καθώς οι εκ των προτέρων διασπορές αυξάνουν. Πιο συκεκριµένα, ο Lndley (957), παρατήρησε ότι όταν το µέεθος του δείµατος n αυξάνεται, επίσης αυξάνεται και ο λόος των εκ των υστέρων συµπληρωµατικών πιθανοτήτων, εονός που οδηεί σε παράδοξο, αφού ια µεάλα δείµατα αυξάνεται και η εκ των υστέρων πιθανότητα του µοντέλου της αρχικής υπόθεσης. Ο Bartlett (957) παρατήρησε ότι το παράδοξο του Lndley σχετίζεται και µε τη διασπορά της εκ των προτέρων κατανοµής, συκεκριµένα όσο µεαλύτερη είναι η διασπορά της, τόσο αυξάνεται και ο παράοντας Bayes. Με άλλα λόια επιλέοντας εκ των προτέρων κατανοµές µε µεάλη διασπορά καταλήουµε σε ένδειξη υπέρ του µοντέλου της αρχικής υπόθεσης. Επιλέουµε µεάλες διασπορές στις εκ των προτέρων κατανοµές, όταν θέλουµε να δείξουµε τη µη επαρκή νώση ια µια παράµετρο. Έστω ότι έχουµε ένα τυχαίο δείµα από κανονική κατανοµή y ~ N( θ, σ ), =,..., n, µε νωστή διασπορά σ και θέλουµε να ελέξουµε την υπόθεση H : 0 θ = θ0 (µοντέλο m0 ) έναντι της υπόθεσης H : θ θ0 (µοντέλο m ). Υποθέτουµε ότι η εκ των προτέρων πεποίθησή µας ια την άνωστη παράµετρο θ µπορεί να αντιπροσωπευτεί ικανοποιητικά από µια κανονική κατανοµή, θ ~ N( θ, σ ) όπου τα θ και εξής: σ είναι νωστά. Οι περιθώριες πιθανοφάνειες των δύο µοντέλων είναι οι Μοντέλο m 0 : Μοντέλο m : n f( y m0) = N( y θ0, σ ). = n = θ σ θ θ σ Θ = f ( y m ) N( y, ) N(, ) dθ. Υπολοίζουµε τώρα τον παράοντα Bayes (Bayes Factor) και παίρνουµε το ακόλουθο αποτέλεσµα [30]

31 B f m N n f( m ) N( θ, σ n) N( θ θ, σ ) dθ ( y 0) ( y θ0, σ ) 0 = = y y Θ ( σ + σ n ) ( y θ) ex σ + n = σ, σ n ex ( y θ0 ) σ που δείχνει ότι ια δεδοµένη τιµή του y, (δηλαδή ια δεδοµένες παρατηρήσεις y,,..., n), έχουµε ότι B +, όταν σ + που σηµαίνει πως όταν η ror = 0 κατανοµή της παραµέτρου θ έχει πολύ µεάλη διασπορά σ ( πολύ µεαλύτερη από αυτήν του δείµατος σ ), τότε η Μπεϋζιανή ανάλυση οδηεί στην υποστήριξη του απλούστερου µοντέλου m Τρόποι υπολοισµού της περιθώριας πιθανοφάνειας (margnal lkelhood) Όπως θα δούµε στο επόµενο κεφάλαιο, στα Κανονικά ραµµικά µοντέλα και µε χρήση συζυών εκ των προτέρων κατανοµών, µπορούµε να έχουµε αναλυτικά αποτελέσµατα ια τις αντίστοιχες εκ των υστέρων κατανοµές. Το εονός αυτό όµως αποτελεί µια ειδική περίπτωση καθώς σε πολλές περιπτώσεις, τα ολοκληρώµατα που πρέπει να επιλυθούν ια τον υπολοισµό των εκ των υστέρων πιθανοτήτων των µοντέλων και του παράοντα Bayes πολλές φορές παρουσιάζουν µεάλη δυσκολία. Πιθανόν να µην είναι δυνατή η χρήση συζυών εκ των προτέρων κατανοµών, οπότε στις περιπτώσεις αυτές χρησιµοποιούνται ασυµπτωτικές προσείσεις, όπως η µέθοδος Lalace, ή χρησιµοποιούνται τεχνικές βασισµένες σε µεθόδους Markov Chan Monte Carlo (MCMC). Στην παράραφο αυτή αναφέρονται ορισµένες µέθοδοι εκτίµησης της περιθώριας πιθανοφάνειας f( y m) που όπως έχουµε δει υπεισέρχεται στον υπολοισµό του παράοντα Bayes. Προσέιση Lalace Η πιο δηµοφιλής προσέιση της περιθώριας πιθανοφάνειας είναι η προσέιση Lalace που χρησιµοποιήθηκε από τους erney και Kadame (986), erney et al (989) και Erkanl (984) d I θ% f ( y m) ( π ) f( y θ%, m) f( θ% m ( m ) ), (3.4.) I θ % όπου dm ( ) είναι η διάσταση του µοντέλου m, είναι ο αρνητικός αντίστροφος του Εσσιανού πίνακα (Hessan matrx) των δευτέρων παραώων της log-osteror κατανοµής f ( θ y, m) υπολοισµένος στην osteror κορυφή θ % της κατανοµής αυτής. Η f ( y θ % ( m ), m) και η f ( θ % ( m ) m) είναι η πιθανοφάνεια του µοντέλου και η [3]