ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ ΜΠΕΫΖΙΑΝΗ ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΣΕ ΜΟΝΤΕΛΑ ΠΕΠΕΡΑΣΜΕΝΩΝ ΜΕΙΞΕΩΝ ΚΑΤΑΝΟΜΩΝ ΜΕ ΧΡΗΣΗ ΥΠΟΛΟΓΙΣΤΙΚΩΝ ΤΕΧΝΙΚΩΝ Παναγιώτης Β. Παπαταούλης Διπλωατική Εργαία που υποβλήθηκε το Τήα Στατιτικής και Αφαλιτικής Επιτήης του Πανεπιτηίου Πειραιώς ως έρος των απαιτήεων για την απόκτηη του Μεταπτυχιακού Διπλώατος Ειδίκευης την Εφαροένη Στατιτική Πειραιάς Ιανουάριος 6

2

3 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΕΙΡΑΙΩΣ ΤΜΗΜΑ ΣΤΑΤΙΣΤΙΚΗΣ ΚΑΙ ΑΣΦΑΛΙΣΤΙΚΗΣ ΕΠΙΣΤΗΜΗΣ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΗΝ ΕΦΑΡΜΟΣΜΕΝΗ ΣΤΑΤΙΣΤΙΚΗ ΜΠΕΫΖΙΑΝΗ ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΣΕ ΜΟΝΤΕΛΑ ΠΕΠΕΡΑΣΜΕΝΩΝ ΜΕΙΞΕΩΝ ΚΑΤΑΝΟΜΩΝ ΜΕ ΧΡΗΣΗ ΥΠΟΛΟΓΙΣΤΙΚΩΝ ΤΕΧΝΙΚΩΝ Παναγιώτης Β. Παπαταούλης Διπλωατική Εργαία που υποβλήθηκε το Τήα Στατιτικής και Αφαλιτικής Επιτήης του Πανεπιτηίου Πειραιώς ως έρος των απαιτήεων για την απόκτηη του Μεταπτυχιακού Διπλώατος Ειδίκευης την Εφαροένη Στατιτική Πειραιάς Ιανουάριος 6

4 Η παρούα Διπλωατική Εργαία εγκρίθηκε οόφωνα από την Τριελή Εξετατική Επιτροπή που ορίτηκε από τη ΓΣΕΣ του Τήατος Στατιτικής και Αφαλιτικής Επιτήης του Πανεπιτηίου Πειραιώς την υπ αριθ υνεδρίαή του ύφωνα ε τον Εωτερικό Κανονιό Λειτουργίας του Προγράατος Μεταπτυχιακών Σπουδών την Εφαροένη Στατιτική. Τα έλη της Επιτροπής ήταν: - Ηλιόπουλος Γιώργος (Επιβλέπων - Κούτρας Μάρκος - Μπούτικας Μιχάλης Η έγκριη της Διπλωατικής Εργαίας από το Τήα Στατιτικής και Αφαλιτικής Επιτήης του Πανεπιτηίου Πειραιώς δεν υποδηλώνει αποδοχή των γνωών του υγγραφέα.

5 UNVERSTY OF PRAEUS DEPARTMENT OF STATSTCS AND NSURANCE SCENCE POSTGRADUATE PROGRAM N APPLED STATSTCS BAYESAN NFERENCE ON FNTE MXTURES OF DSTRBUTONS USNG COMPUTATONAL METHODS By Paagots V. Paastaols MSc Dssertato sbtted to the Deartet of Statstcs ad srace Scece of the Uversty of Praes artal flfllet of the reqreets for the degree of Master of Scece Aled Statstcs Praes Greece Jaary 6

6

7 Στους γονείς ου Χρυούλα και Βαίλη και τον αδελφό ου Γρηγόρη

8

9 Ευχαριτίες Έχοντας ολοκληρώει την παρούα διπλωατική εργαία αιθάνοαι την ανάγκη να ευχαριτήω τους ανθρώπους που υνετέλεαν την ολοκλήρωή της. Κατ αρχάς θα ήθελα να ευχαριτήω τον καθηγητή ου κ. Γιώργο Ηλιόπουλο αφ ενός εν για την επιτούνη που ου έδειξε ε την ανάθεη της εργαίας αυτής αφ ετέρου δε για την καθοδήγηη και τις εύτοχες υποδείξείς του αλλά και για την ευκαιρία που ου έδωε να γνωρίω την Μπεϋζιανή πλευρά της Στατιτικής και για αυτό θεωρώ την υβολή του ανεκτίητη. Ακόη θα ήθελα να ευχαριτήω τον φίλο και υφοιτητή ου Σωτήρη Αδαάκη για εκείνες τις 5 ώρες κατάληψης του υπολογιτή του για το τρέξιο ενός αλγορίθου όταν ο δικός ου δεν άντεχε κάτι τέτοιο. Τέλος ο κυριότερος λόγος ύπαρξης αυτής της ικρής παραγράφου οφείλεται τους γονείς ου Χρυούλα και Βαίλη για την αέριτη υποτήριξη και υπαράταη που ου προέφεραν όλα αυτά τα χρόνια. Παναγιώτης Β. Παπαταούλης

10

11 Περίληψη Αντικείενο αυτής της εργαίας είναι η εκτιητική πεπεραένων είξεων κατανοών ία περιοχή της Στατιτικής Συπεραατολογίας όπου έχρι πρόφατα λίγα πράγατα ήταν γνωτά. Τα τελευταία χρόνια η εικόνα αυτή έχει ανατραπεί κυρίως λόγω του υγκεραού προϋπαρχόντων αθηατικών εργαλείων (όπως η θεωρία έτρου και οι τοχατικές ανελίξεις ε τις ηερινές διαθέιες υπολογιτικές τεχνικές και δυνατότητες ο υνδυαός αυτών των δύο γέννηε αυτό που ονοάζουε εθόδους MCMC. Η αφετηρία αυτών των εθόδων είναι η θεώρηη των παραέτρων των οντέλων ως τυχαίες εταβλητές κάτι που φανερώνει τον Μπεϋζιανό χαρακτήρα της εργαίας. Αξιοηείωτο είναι δε το γεγονός ότι πριν την ανάπτυξη των υγκεκριένων εθόδων η Μπεϋζιανή προέγγιη (ως Στατιτική εθοδολογία γενικότερα είχε υποτεί έντονη κριτική από τους «κλαικούς» Στατιτικούς και οδήγηε ε ιτορικές διαάχες οι οποίες - εκ των υτέρων - άρχιαν να κοπάζουν. Η ειρά παρουίαης που ακολουθήθηκε την εργαία αυτή είναι η εξής: Στο πρώτο κεφάλαιο περιγράφουε κάποια βαικά χαρακτηριτικά των είξεων κατανοών και εξηγούε γιατί ία προέγγιη που οδηγεί ε κλειτούς τύπους εκτιητών είναι πρακτικά αύφορη. Επίης ηειώνουε κάποια παράδοξα που εφανίζονται όταν έχουε να κάνουε ε οντέλα είξεων ε αποτέλεα το «ξεγέλαα» κλαικών εθοδολογιών όπως ο αλγόριθος EM. Τέλος για λόγους πληρότητας αναφερόατε ε κάποια εργαλεία που χρηιοποιούνται από την απαραετρική Μπεϋζιανή τατιτική. Στο δεύτερο κεφάλαιο πραγατευόατε τις υνήθεις εθόδους υπεραατολογίας των οντέλων είξεων όταν ο αριθός των υνιτωών θεωρείται γνωτός: διεύρυνη δεδοένων και δειγατολήπτης Gbbs αλγόριθος Metrools - Hastgs ε αντίτοιχα παραδείγατα εφαρογής αυτών. Επί πλέον κάνουε ια ύντοη αναφορά την έθοδο Polato Mote Carlo. Στο τρίτο κεφάλαιο παρουιάζουε δύο βαικές εθόδους υπεραατολογίας την περίπτωη που ο αριθός των υνιτωών της είξης είναι έρος των προς εκτίηη ποοτήτων. Πρόκειται για την έθοδο Reversble J MCMC (RJMCMC των Rchardso & Gree και την εναλλακτική πρόταη του Stehes την έθοδο Brth - Death MCMC (BDMCMC. Στο Παράρτηα (κεφάλαιο 4 βρίκονται κάποιες αποδείξεις προτάεων που δεν υπάρχουν την πρωτότυπη εργαία των Rchardso & Gree. Ακόη παρατίθεται ο κώδικας υλοποίηης των αλγορίθων RJMCMC και BDMCMC την γλώα FORTRAN και Matheatca αντίτοιχα για το πρόβληα είξης κανονικών κατανοών.

12

13 ABSTRACT The sbect of ths dssertato s the estato of fte tres of dstrbtos a area of Statstcal ferece where few thgs were ow tl recetly. Noetheless the last years thgs have chaged de to the cobato of already estg atheatcal tools (easre theory ad stochastc rocesses wth the coteorary cotatoal techqes ad ossbltes; ths led the so called MCMC ethods. order to aly these ethods t s reqred to cosder the odel araeters as rado varables so we have followed the Bayesa aroach. The Bayesa aradg was a case for coflct betwee the Statstcas of the th cetry a coflct that beg to cease after the cosoldato of MCMC ethods. Ths dssertato s orgased as follows: the frst chater we detal soe basc roertes of tres ad we ela why a aroach that leads to close fors of estators s cotatoally too eesve to be sed for ore tha few observatos. Also we llstrate the aradoes of tre odels ad ther detretal reslts to classcal ethodologes as the EM algorth. We close ths chater wth a revew of the tools of o - araetrc Bayesa Statstcs. the secod chater we dscss the two basc slato ethodologes whe the ber of cooets of the tre s ow: data agetato ad the Gbbs saler ad the Metrools - Hastgs algorth. Also we ae a short referece to the Polato Mote Carlo ethodology. the thrd chater we reset the addtoal ethodologes whe the ber of cooets of the tre odel s ow: Reversble J MCMC (RJMCMC ethodology of Rchardso ad Gree ad the alteratve aroach of Stehes whch s called Brth - Death MCMC (BDMCMC. the Aed (chater 4 we gve the roof of soe roostos that caot be fod the orgal aer of Rchardso ad Gree. Also we gve the RJMCMC algorth FORTRAN lagage ad the BDMCMC algorth Matheatca acage a oral tre fraewor.

14 Ειαγωγή Σ ήερα οι αναλυτές δεδοένων είναι πιο ικανοί την ακριβέτερη περιγραφή εκτίηη πρόβλεψη και υπεραατολογία περίπλοκων υτηάτων χάρη τις ιχυρότερες από ποτέ υπολογιτικές τεχνικές αλλά και τις ευρύτερες κατανοές οντελοποίηης. Τα οντέλα είξης κατανοών αποτελούν ένα χαρακτηριτικό παράδειγα της παραπάνω κατάταης: από την ία τα πλαίια ιας παραετρικής οικογένειας προφέρουν ικανοποιητικές προεγγίεις ε η παραετρικά προβλήατα αν και βαίζονται ε υνήθεις κατανοές από την άλλη θέτουν υπολογιτικές προκλήεις υψηλής πολυπλοκότητας και είναι εύκολο να αντιετωπίουν προβλήατα ταυτοποίηης και να πέουν την κλάη των ll osed προβληάτων. Επίης παρέχουν την ευκαιρία εφαρογής νέων τεχνικών από τον αλγόριθο EM έχρι και την έθοδο reversble MCMC. Ειδικότερα τα οντέλα είξεων αναδεικνύουν παραδειγατικά την τροερή ευχέρεια που παρέχεται από νέες υπολογιτικές τεχνικές όπως οι αλγόριθοι Marov Cha Mote Carlo (MCMC. Πριν γίνουν δηοφιλείς οι έθοδοι MCMC απλά δεν υπήρχε κάποια ικανοποιητική προέγγιη τον υπολογιό των εκτιητών Bayes για είξεις κατανοών αν και αργότερα ανακαλύφθηκαν αλγόριθοι που βαίζονται την προγενέτερη εθοδολογία ortace salg για την προοοίωη των εκ των υτέρων κατανοών των παραέτρων της είξης (Casella et al.. Οι είξεις κατανοών υβιβάζουν έναν πεπεραένο ή άπειρο αριθό υνιτωών πιθανώς διαφορετικών τύπων κατανοών οι οποίες πορούν να περιγράψουν διαφορετικά χαρακτηριτικά των δεδοένων. Έτι διευκολύνουν την προεκτική περιγραφή περίπλοκων υτηάτων κάτι που τοιχειοθετείται από τον ενθουιαό ε τον οποίο έχουν υιοθετηθεί ε τόο ευρείες περιοχές όπως η ατρονοία οικολογία βιοπληροφορική υπολογιτική επιτήη ηχανική ροποτική και βιοτατιτική. Για παράδειγα την γενετική η θέη των ποοτικών χαρακτηριτικών ε ένα χρωόωα και η ετάφραη των ικρο-υτοιχιών χετίζονται ε είξεις ενώ την επιτήη των υπολογιτών τα sa flters και η ανάλυη κειένων web ξεκινούν από ία υπόθεη είξης για να ξεχωρίουν τα sas από τα κανονικά e-als και τις οαδικές ελίδες από τα θέατα αντίτοιχα (Jorda 4. Οι Μπεϋζιανές προεγγίεις ε οντέλα είξεων κατανοών έχουν προελκύει το ενδιαφέρον πολλών ερευνητών. H Μπεϋζιανή εθοδολογία (Berger 985 Besag et al. 995 Robert υπεριλαβάνει άεη υπεραατολογία για τις άγνωτες παραέτρους εκ των προτέρων πληροφορία και ιεραρχικές δοές τα τοπικά και υνολικά χαρακτηριτικά του οντέλου. Επίης αυτό το πλαίιο επιτρέπει την απούνθεη της πολύπλοκης δοής του οντέλου είξης ε απλούτερες δοές έω της χρήης κρυφών ή εικονικών εταβλητών. Τέλος πορεί να ειπωθεί ότι όταν ο αριθός των υνιτωών είναι άγνωτος η Μπεϋζιανή εθοδολογία είναι η όνη λογική προέγγιη την εκτίηη αυτού (Rchardso & Gree 997.

15

16 ΠΕΡΙΕΧΟΜΕΝΑ ΕΙΣΑΓΩΓΗ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΣΤΟΙΧΕΙΑ ΠΕΠΕΡΑΣΜΕΝΩΝ ΜΕΙΞΕΩΝ ΚΑΤΑΝΟΜΩΝ ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΟΡΙΣΜΟΣ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΠΡΟΣΕΓΓΙΣΗ ΜΕΣΩ ΕΛΛΙΠΩΝ ΔΕΔΟΜΕΝΩΝ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΠΡΑΚΤΙΚΕΣ ΔΥΣΚΟΛΙΕΣ ΚΑΙ ΠΑΡΑΔΟΞΟ ΠΛΗΡΟΦΟΡΙΑΣ ΣΤΗΝ ΕΚΤΙΜΗΤΙΚΗ ΤΩΝ ΜΕΙΞΕΩΝ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ..4 Ο ΑΛΓΟΡΙΘΜΟΣ EM... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ..5 ΤΟ ΠΡΟΒΛΗΜΑ LABEL SWTCHNG... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ..5. Οριός...Σφάλα! Δεν έχει οριτεί ελιδοδείκτης..5. Περιοριοί διάκριης...σφάλα! Δεν έχει οριτεί ελιδοδείκτης..5. Αλγόριθοι αναδιάταξης και προεγγίεις έω της Θεωρίας Αποφάεων Σφάλα! Δεν έχει οριτεί ελιδοδείκτης..6 ΗΜΙΠΑΡΑΜΕΤΡΙΚΗ ΠΡΟΣΕΓΓΙΣΗ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ..6. Η κατανοή Drchlet...Σφάλα! Δεν έχει οριτεί ελιδοδείκτης..6. Η διαδικαία Drchlet...Σφάλα! Δεν έχει οριτεί ελιδοδείκτης.. ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΓΙΑ ΜΟΝΤΕΛΑ ΜΕΙΞΕΩΝ ΜΕ ΓΝΩΣΤΟ ΠΛΗΘΟΣ ΣΥΝΙΣΤΩΣΩΝ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΔΙΕΥΡΥΝΣΗ ΔΕΔΟΜΕΝΩΝ ΚΑΙ Ο ΔΕΙΓΜΑΤΟΛΗΠΤΗΣ GBBS...ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. Ο ΑΛΓΟΡΙΘΜΟΣ METROPOLS - HASTNGS... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. Η ΜΕΘΟΔΟΣ POPULATON MONTE CARLO... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΓΙΑ ΜΟΝΤΕΛΑ ΜΕΙΞΕΩΝ ΜΕ ΑΓΝΩΣΤΟ ΠΛΗΘΟΣ ΣΥΝΙΣΤΩΣΩΝ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.. REVERSBLE JUMP MCMC... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ... Η γενική περίπτωη...σφάλα! Δεν έχει οριτεί ελιδοδείκτης... Εφαρογή RJMCMC ε κανονικές είξεις... Σφάλα! Δεν έχει οριτεί ελιδοδείκτης.. BRTH - DEATH MCMC... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ... Οι παράετροι ως ηειακή διαδικαία... Σφάλα! Δεν έχει οριτεί ελιδοδείκτης... Διαδικαίες γεννήεων - θανάτων για τις υνιτώες του οντέλου είξης Σφάλα! Δεν έχει οριτεί ελιδοδείκτης... Η κατακευή της Μαρκοβιανής αλυίδας...σφάλα! Δεν έχει οριτεί ελιδοδείκτης.. ΣΥΓΚΡΙΣΗ ΜΕΤΑΞΥ RJMCMC ΚΑΙ BDMCMC... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. ΣΥΝΟΨΗ ΚΑΙ ΣΥΣΤΑΣΕΙΣ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. 4. ΠΑΡΑΡΤΗΜΑ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. 4. ΑΠΟΔΕΙΞΗ ΠΡΟΤΑΣΗΣ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.

17 4. ΑΠΟΔΕΙΞΗ ΠΡΟΤΑΣΗΣ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. 4. ΚΩΔΙΚΑΣ ΑΛΓΟΡΙΘΜΟΥ RJMCMC ΣΤΗΝ FORTRAN... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. 4.4 ΚΩΔΙΚΑΣ ΑΛΓΟΡΙΘΜΟΥ BDMCMC ΣΤO MATHEMATCA... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. ΒΙΒΛΙΟΓΡΑΦΙΑ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ. ΕΥΡΕΤΗΡΙΟ ΑΛΓΟΡΙΘΜΩΝ... ΣΦΑΛΜΑ! ΔΕΝ ΕΧΕΙ ΟΡΙΣΤΕΙ ΣΕΛΙΔΟΔΕΙΚΤΗΣ.

18 ΚΕΦΑΛΑΙΟ ΣΤΟΙΧΕΙΑ ΠΕΠΕΡΑΣΜΕΝΩΝ ΜΕΙΞΕΩΝ ΚΑΤΑΝΟΜΩΝ Βλέπουε την αλήθεια αλλά βαιλεύει η πλάνη K. Gödel

19 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών. Στοιχεία πεπεραένων είξεων κατανοών. Οριός Κάθε κυρτός υνδυαός της ορφής f ( ε και > (. όπου f... f είναι πυκνότητες πιθανότητας καλείται πεπεραένη είξη κατανοών. Αν και έχουν οριτεί την βιβλιογραφία και υνεχείς είξεις ( f ( θ h( θ g dθ ε h Θ ( θ dθ δεν θα τις αντιετωπίουε εδώ. Στις περιότερες περιπτώεις οι κατανοές f θεωρούε ότι ανήκουν ε ία δεδοένη παραετρική οικογένεια ε άγνωτη παράετρο θ κάτι που οδηγεί τον οριό του παραετρικού οντέλου είξης Στην ειδική περίπτωη όπου τα f ( θ f ( Θ θ. (. είναι όλα κανονικές κατανοές ε το θ να δηλώνει την άγνωτη έη τιή και διαπορά το εύρος του χήατος και των χαρακτηριτικών της είξης (. πορεί να ποικίλλει αρκετά όπως φαίνεται το Σχήα. Εφ όον θα χρηιοποιήουε είξεις για να προεγγίουε άγνωτες κατανοές ηειώνουε ε αυτό το ηείο ότι η υπεριφορά των ουρών ιας είξης περιγράφεται πάντα από ία ή δύο υνιτώες αυτής κάτι που δικαιολογεί f θ. Επίης η αναπαράταη ιας την επιλογή της παραετρικής οικογένειας ( είξης ως κυρτό υνδυαό κατανοών υνεπάγεται ότι οι ροπές της (. είναι f θ : κυρτοί υνδυαοί των ροπών των ( E f ( X E ( X Ο Karl Pearso εκεταλλεύτηκε αυτό το γεγονός για να παραγάγει έναν εκτιητή ροπών των παραέτρων ιας κανονικής είξης ε δύο υνιτώες: όπου ε ( ; φ ( ; ( φ( ;. (. φ υβολίζουε την πυκνότητα της κατανοής ( N. 4

20 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών ΣΧΗΜΑ. Μερικές πυκνότητες κανονικών είξεων για (πρώτη γραή (δεύτερη γραή 5 (τρίτη γραή και 5 (τελευταία γραή. Δυτυχώς η αναπαράταη του οντέλου είξης (. είναι επιζήια την εξαγωγή του εκτιητή εγίτης πιθανοφάνειας (όταν αυτός υπάρχει και του εκτιητή Bayes. Ας θεωρήουε την περίπτωη ανεξαρτήτων και ιόνοων και παρατηρήεων ( από αυτό το οντέλο. Ορίζοντας ( θ ( θ... θ υζυγείς εκ των προτέρων κατανοές για κάθε παράετρο των υνιτωών ( θ βλέπουε ότι ακόη και την περίπτωη που χρηιοποιήουε η αναπαράταη της αντίτοιχης εκ των υτέρων κατανοής υπεριλαβάνει το ανάπτυγα της πιθανοφάνειας ( f ( θ L θ (.4 ε όρους το οποίο είναι πρακτικά ανέφικτο να υπολογιτεί για παραπάνω από λίγες παρατηρήεις. Για να χηατίουε αυτές τις πυκνότητες παραγάγαε τα βάρη από ία Drchlet κατανοή D(... τους έους από ια οοιόορφη U(5log και τις διαπορές από ία Βήτα B(/(.5.log (που ηαίνει ότι οι διαπορές είναι ικρότερες του. Οι κατανοές που πήραε αντικατοπτρίζουν αυτή την επιλογή. 5

21 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών. Προέγγιη έω ελλιπών δεδοένων Υπάρχουν αρκετά κίνητρα για την θεώρηη των οντέλων είξεων ως ια χρήιη επέκταη υνήθων κατανοών. Η πλέον φυική προέγγιη είναι η ενωάτωη ενός παράγοντα ο οποίος να χωρίζει τον πληθυό ε διάφορα τρώατα ή υποπληθυούς. Ένα από τα πρώτα παραδείγατα οντέλου είξης υναντάται τον Bertllo (887 όπου η διωνυική δοή το ύψος των (τρατιωτικών υποκειένων της κεντρικής Γαλλίας πορεί να εξηγηθεί έω της είξης δύο πληθυών νέων αντρών ο πρώτος από τα πεδινά και ο δεύτερος από τα ορεινά. Η υπεριφορά είξης εφανίζεται διότι έχει χαθεί η προέλευη κάθε παρατήρηης δηλαδή η κατάταξη ε ένα υγκεκριένο τρώα (πεδινά ή ορεινά. Έτι κάθε παρατήρηη είναι εκ των προτέρων κατανεηένη ε κάθε ία από τις f ( θ ε πιθανότητα. Ανάλογα ε την εκάτοτε περίπτωη ο τόχος της υπεραατολογίας είναι η αναύνθεη της κατάταξης των παρατηρήεων τα τρώατα (clsterg η κατακευή εκτιητών για τις παραέτρους των υνιτωών ή ακόα και η εκτίηη του ίδιου του πλήθους των υνιτωών. Αν και όπως φαίνεται παρακάτω δεν είναι πάντα αυτός ο λόγος για την οντελοποίηη έω είξεων κατανοών η έφυτη δοή των ελλιπών δεδοένων την κατανοή πορεί να εκεταλλευτεί για να διευκολύνει την διαδικαία των εκτιήεων. Μέω ιας διαδικαίας αποπεριθωριοποίηης είναι πάντα εφικτό να αντιτοιχίουε ε ία τυχαία εταβλητή Χ από ία είξη κατανοών της ορφής (. ία άλλη τυχαία εταβλητή X Z Z ε τιές το ύνολο {...} ( θ όπου ε M ( ;... και παρατήρηη ώτε P ( Z τέτοια ώτε: ~ f ε Z ~ M ( ;... (.5 υβολίζουε την πολυωνυική κατανοή ε κατηγορίες. Έτι αυτή η φαντατική εταβλητή καθορίζει ε ποια υνιτώα ανήκει η παρατήρηη. Ανάλογα ε την περίταη οι εταβλητές Z θα είναι ή δεν θα είναι έρος των προς εκτίηη ποοτήτων. Στην υνέχεια θεωρούε ότι έχουε παρατηρήει τα διευρυένα δεδοένα {(... ( } τα οποία αποτελούνται από ανεξάρτητα ζεύγη ε κατανοή P ( X d Z f ( θ d. (.6 Από τα παραπάνω έπεται ότι η δεευένη κατανοή των φαντατικών εταβλητών Z δοθέντος X είναι P ( Z X f ( f ( f (. (.7 6

22 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών. Πρακτικές δυκολίες και παράδοξο πληροφορίας την εκτιητική των είξεων Σε αυτή την παράγραφο δείχνουε ότι είναι δυνατή ία Μπεϋζιανή προέγγιη η οποία οδηγεί ε κλειτούς τύπους των εκτιητών Bayes αλλά ταυτόχρονα παρουιάζεται και ένα «παράδοξο πληροφορίας» (forato arado: όταν ο αριθός των παρατηρήεων γίνεται εγάλος οι εκτιητές δεν πορούν να υπολογιτούν την πράξη. Παράδειγα.. Για ία πρώτη επίδειξη της πολυπλοκότητας την διαδικαία των εκτιήεων ας θεωρήουε την απλή περίπτωη είξης δύο κανονικών κατανοών: N ( ( N( (.8 όπου τα βάρη. 5 είναι γνωτά. Για τις ανάγκες του παραδείγατος χρηιοποιήθηκαν 5 προοοιωένες παρατηρήεις από το οντέλο (.8 ε.5.7. Ο παραετρικός χώρος τότε πραγατικές τιές παραέτρων ( ( είναι το R και οι παράετροι δεν πορούν να περδευτούν εταξύ τους (το γεγονός αυτό θα επανέλθουε την Παράγραφο.5. Παρ όλα αυτά η επιφάνεια του λογαρίθου της πιθανοφάνειας εφανίζει δύο κορυφές: ία κοντά την πραγατική τιή των παραέτρων που χρηιοποιήθηκαν για την προοοίωη των αντίτοιχων δεδοένων και ία «ψευδοκορυφή» η οποία δεν ηαίνει και πολλά χετικά ε την πραγατική τιή των παραέτρων αλλά είναι πάντα παρούα λόγω της λογαριθοποίηης της πιθανοφάνειας (Σχήα ΣΧΗΜΑ. Αναπαράταη του χάρτη επιφάνειας του λογαρίθου της πιθανοφάνειας της είξης ( για 5 προοοιωένες παρατηρήεις και πραγατικές τιές παραέτρων ( ( Η αντίτοιχη επιφάνεια έχει ως εξής: 7

23 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών ΣΧΗΜΑ. Η αντίτοιχη τριδιάτατη αναπαράταη του Σχήατος. Όταν όως απεικονίουε την επιφάνεια της πιθανοφάνειας (και όχι του λογαρίθου της παρατηρούε ότι όνο η πραγατική κορυφή είναι ορατή και αυτό υβαίνει λόγω της διαφοράς της επίδραης την πιθανοφάνεια των τιών των κορυφών. Λογαριθίζοντας την πιθανοφάνεια απαλείφεται αυτή η διαφορά και έτι χηατίζονται οι δύο κορυφές (Σχήα ΣΧΗΜΑ 4. Τριδιάτατη αναπαράταη της επιφάνειας της πιθανοφάνειας (πολλαπλαιαένη ε της είξης (.8 για 5 προοοιωένες παρατηρήεις και πραγατικές τιές παραέτρων.5.7. ( (

24 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Παράδειγα..... Ας θεωρήουε ανεξάρτητες και ιόνοες παρατηρήεις π θ η εκ των προτέρων κατανοή ( από το οντέλο (. και έτω ( το ( θ. Τότε για την εκ των υτέρων θα έχουε: π ( θ f ( θ π( θ (.9 Σαν ία απλή εφαρογή του παραπάνω ας υποθέουε ότι οι παρατηρήεις : προέρχονται από την (.8 ε εκ των προτέρων κατανοές ( ~ ( ζ ~ Γ( ν s N λ ~ B( α β όπου τα ζ ν λ α β είτε είναι υπερπαράετροι (οπότε θα πρέπει να οριτούν οι αντίτοιχες εκ των προτέρων κατανοές είτε είναι ταθερές. Σε αυτή την περίπτωη θ και η εκ των υτέρων κατανοή είναι: ( π ( θ φ( ; ( φ( ; ( π( θ Για τον υπολογιό της τελευταίας έκφραης απαιτείται το ανάπτυγα ε όρους οπότε είναι πρακτικά ανέφικτο να καταλήξουε ε αναλυτικές εκφράεις του εγίτου της πιθανοφάνειας και των εκτιητών Bayes. Στην υνέχεια περιγράφουε ία άλλη αναπαράταη της έκφραης (.9 κύριο χαρακτηριτικό της οποίας είναι ότι δείχνει ότι πολύ λίγες τιές των όρων έχουν η αελητέο ρόλο. Ας θεωρήουε τις φαντατικές εταβλητές (... όπως αυτές ορίτηκαν την Παράγραφο.. Επί πλέον ας υβολίουε ε το ύνολο όλων των δυνατών διανυάτων κατάταξης. Το ύνολο έχει ενδιαφέρουα και πλούια δοή. Συγκεκριένα για διακριτές υνιτώες πορούε να διαπάουε το ως εξής: Δοθέντος ενός υγκεκριένου διανύατος κατάταξης (... ε... ορίζουε το ύνολο: :... { } { } όπου αποτελείται από όλες τις δυνατές θέεις για την δεδοένη κατάταξη (... αναδιατεταγένες για N. Το πλήθος των η αρνητικών ακέραιων λύεων της διάπαης του ε έρη τέτοια ώτε... ιούται ε r. 9

25 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Έτι προκύπτει η διαέριη U r. Αν και ο υνολικός αριθός των τοιχείων του είναι ο αριθός των υνόλων που το διαερίζουν είναι (!. Ώτε η εκ των υτέρων κατανοή πορεί να γραφτεί ως εξής: όπου το ( ( θ r ω(( πθ π (. ω παριτάνει την εκ των υτέρων πιθανότητα της δοθείης κατάταξης. Σηειώνουε ότι ένας εκτιητής Bayes ε αυτή την περίπτωη πορεί να γραφεί ως: r ω π ( E ( θ Συνοψίζοντας αυτή η αναπαράταη της εκ των υτέρων κατανοής θεωρεί κάθε δυνατή ανακατάταξη των δεδοένων τις υνιτώες της είξης την οποία ω και κατακευάζει ία εκ των αντιτοιχεί ία εκ των υτέρων πιθανότητα ( υτέρων κατανοή ( θ π για τις παραέτρους δεεύοντας ε αυτή την υγκεκριένη ανακατάταξη. Δυτυχώς όως και εδώ δεν γλιτώνουε από τις υπολογιτικές δυκολίες εφόον και πάλι υπάρχουν όροι ε αυτό το άθροια. Οι Casella et al. ( ε ία ελέτη Mote Carlo έδειξαν ότι πολύ λίγες διαερίεις έχουν η αελητέο βάρος. Στην υνέχεια δίνουε ένα παράδειγα υπολογιού των εκ των υτέρων βαρών ω ( ε ία απλή περίπτωη που αναδεικνύει την πολυπλοκότητα των παραπάνω τύπων. Παράδειγα.. (υνέχεια ~. Στην ειδική περίπτωη του οντέλου (.8 όπου θεωρούε την ίδια κανονική εκ των προτέρων κατανοή τους έους ω για ία κατάταξη ( θα υπολογίουε το εκ των υτέρων βάρος ( N όπου την πρώτη υνιτώα βρίκονται l παρατηρήεις δηλαδή { } l ( ( l l π. Έχουε: [ ( ( ] ( e { }( { } / ( π Tο εκ των υτέρων βάρος ( { } { } (. (. ω προκύπτει ολοκληρώνοντας την (. το R R ως προς και το οποίο πρόκειται από ένα διπλό ολοκλήρωα που υπολογίζεται εύκολα. Για την ολοκλήρωη ως προς εξαιρώντας τα έρη που δεν το περιέχουν αρκεί να υπολογίουε το:. (. e ( d Όως:

26 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών { }( { } { } { } e e { } { } { } { } { } e { } { } { } { } { } { } { } { } { } { } e e { } { } { } { } { } e c { } { } { } e c όπου { } { } e l c. Οπότε για τον υπολογιό του ολοκληρώατος (. έχουε: { } { } { } e d c { } l c c π π (.

27 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών διότι το τελευταίο ολοκλήρωα πρόκειται για το ολοκλήρωα ε όλο το τήριγα του εκθετικού της κατανοής { } { } { } N. Για την ολοκλήρωη της (. ως προς εξαιρώντας τα έρη που δεν το περιέχουν αρκεί να υπολογίουε το: { } ( ( e d Ακολουθώντας την ίδια εθοδολογία ε προηγουένως καταλήγουε ότι: l c π (.4 όπου { } ( { } ( e l c. Οπότε η εκ των υτέρων πιθανότητα ( ω βρίκεται αντικαθιτώντας τις χέεις (. και (.4 την ( R R π d d. Ώτε: ( { } ( { } ( l l l l c c l c l c π π π ω και αν αντικατατήουε τα c c προκύπτει η - όχι και τόο κοψή - χέη: ( { } { } ( ( l l l l l l e π ω

28 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Από αυτό το παράδειγα (το οποίο αποτελεί και απλή περίπτωη αφού οι εκ των προτέρων κατανοές των παραέτρων είναι ίδιες διαπιτώνουε ότι παρά αυτή την ενδιαφέρουα ως προς την κατακευή της προέγγιη οι τύποι που προκύπτουν είναι τόο δύχρητοι που την καθιτούν πρακτικά αύφορη ακόη και τις απλές εφαρογές..4 Ο αλγόριθος EM Μετά από ία πρώτη εντύπωη της δυκολίας την εκτίηη των παραέτρων των είξεων έω αναλυτικών τύπων λογικό είναι να τρέψουε την προοχή ας (και τις ελπίδες ας για καλές εκτιήεις ε υπολογιτικές τεχνικές. Μία από τις πιο κλαικές αριθητικές εθόδους βελτιτοποίηης χετικά ε διαδικαίες που περιέχουν ε κάποιο βήα το πρόβληα της εγιτοποίηης της πιθανοφάνειας είναι ο αλγόριθος EM (Eectato - Maato (Dester et al Παρ όλα αυτά θα απογοητευτούε για άλλη ία φορά καθώς όπως θα δούε παρακάτω πολλές φορές αποτυγχάνει να υγκλίνει την κύρια κορυφή της πιθανοφάνειας. g θ η από Αρχικά περιγράφουε κάποια βαικά χαρακτηριτικά. Έτω ( κοινού υνάρτηη πυκνότητας του ( Z X δοθέντος του παραετρικού διανύατος θ f ( θ η υνάρτηη πυκνότητας του X δοθέντος θ και ( θ η υνάρτηη πυκνότητας της δεευένης κατανοής του Z δοθειών των παρατηρήεων και του θ. Ο αλγόριθος βαίζεται την χρηιοποίηη των ελλιπών δεδοένων που περιγράψαε την Παράγραφο. δηλαδή πορούε να γράψουε την κατανοή του δείγατος ως εξής: f ( θ g( θ d f ( ( θ οπότε λογαριθίζοντας την ( θ f ( θ ( θ παρατηρούενο λογάριθο της πιθανοφάνειας θ d (.5 g καταλήγουε ε έναν πλήρη (η ( θ L( θ log ( θ L c όπου το L είναι ο παρατηρηθείς λογάριθος της πιθανοφάνειας. Αυτό που κάνει ο αλγόριθος EM είναι να υπληρώνει τις ελλιπείς εταβλητές βαιζόενος την ( θ και την υνέχεια να εγιτοποιεί ως προς θ την αναενόενη πλήρη λογαριθο-πιθανοφάνεια:

29 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Γενικός αλγόριθος EM Το αποτέλεα κατά την εκτέλεη του παραπάνω αλγορίθου είναι ότι ε κάθε L θ αυξάνει. επανάληψη η (παρατηρηθεία ( Παράδειγα.4. Ως εφαρογή του παραπάνω ας θεωρήουε την ειδική περίπτωη του οντέλου είξης δύο κανονικών κατανοών (.8 όπου όλες οι παράετροι είναι γνωτές εκτός του θ (. Για ένα προοοιωένο δείγα 5 παρατηρήεων και πραγατικές τιές. 7 και ( (.5 ο λογάριθος της πιθανοφάνειας παρουιάζει όπως είδαε δύο κορυφές. Εφαρόζοντας τον αλγόριθο EM για αυτό το οντέλο έχουε ότι η πλήρης πιθανοφάνεια είναι: { } [ ] { } ( ( / π e { }( ( { } ( όπότε ο λογάριθός της είναι L c ( θ { } log { } log( log( π Για το E - βήα πρέπει να υπολογίουε το η έη τιή λαβάνεται ως προς Z ~ ( θ είναι ανεξάρτητα ε: P. Δώε κάποιες αρχικές τιές το. Στην επανάληψη t t... :.. Το E - βήα υπολόγιε: ( Z Q όπου ~ ( θ Z. e{ ( } { ( } ( e ( Q [ ]. { }( ( { } ( ( t c ( θ θ E ( t log L ( θ Z θ ( όπου. Από την χέη (.7 έχουε ότι τα Z θ P e Στο βήα t οι αναενόενες κατατάξεις ιούνται ε: ( θ. ( t c ( θ θ E ( t L ( θ Z θ ( t.. Το M - βήα εγιτοποίηε ως προς θ το Q θ θ και θέε: θ ( t ( t arg a Q θ θ { } ( θ ( ( ( Z θ. 4

30 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Συνεπώς Q ( ( t ( t ( t E { } P Z θ θ ( t ( t ( ( t θ θ log log( log( π το οποίο εγιτοποιούε το M - βήα ως προς ( ( t ( t και ( t ( t ( t [ ( ( ( ] και παίρνουε ( t ( ( t. ( t ( Τρέξαε φορές τον αλγόριθο EM (ε επαναλήψεις την φορά για το υγκεκριένο παράδειγα ε τυχαία επιλογή των αρχικών τιών. Όπως φαίνεται το Σχήα 5 ο αλγόριθος πάντα υγκλίνει ε ία κορυφή της λογαριθοπιθανοφάνειας αλλά όνο τις 8 από τις φορές προελκύτηκε από την υψηλότερη και κύρια κορυφή ενώ τις υπόλοιπες υνέκλινε την ψευδοκορυφή (αν και η πιθανοφάνεια είναι πολύ ικρότερη. Αυτό υνέβη διότι οι αρχικές τιές έτυχε να βρίκονται πιο κοντά την ικρότερη κορυφή ΣΧΗΜΑ 5. Τα ίχνη των εκτελέεων του αλγορίθου EM την επιφάνεια του λογαρίθου πιθανοφάνειας της είξης (.8 για 5 προοοιωένες παρατηρήεις και πραγατικές τιές.5.7. παραέτρων ( (. 5

31 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Έτι την περίπτωη που ο αλγόριθος υγκλίνει την κυρίαρχη κορυφή της πιθανοφάνειας παίρνουε τις εκτιήεις:. 656 και οι οποίες είναι αρκετά κοντά τις πραγατικές τιές των παραέτρων ( και.5 αντίτοιχα. Στην άλλη περίπτωη οι εκτιήεις που παίρνουε είναι:. 58 και οι οποίες είναι τελείως λάθος..5 Το πρόβληα Label Swtchg.5. Οριός Εκτός από τις ιδιαιτερότητες των οντέλων που παρουιάαε έχρι τώρα ελετάε ξεχωριτά την πιο ηαντική ίως από αυτές. Ένα βαικό χαρακτηριτικό των οντέλων είξεων είναι ότι είναι αναλλοίωτα ως προς τις εταθέεις των δεικτών v v... του υνόλου των που ονοατίζουν τις υνιτώες. Για κάθε ετάθεη ( v δεικτών {...} ας υβολίουε την αντίτοιχη ετάθεη του παραετρικού θ θ... θ... ε: διανύατος ( ( ( ( θ... θ Παρατηρούε ότι για κάθε ετάθεη v ( θ L v θ.... (.6 v v v v η πιθανοφάνεια: ( θ f( θ... f ( θ ( παραένει αναλλοίωτη λόγω της υετρίας που παρουιάζει ως προς τις παραέτρους. Το φαινόενο αυτό καλείται label swtchg (ύφωνα ε τον όρο που χρηιοποίηαν οι Reder & Waler 984. Σε ία πεϋζιανή ανάλυη εάν δεν έχουε εκ των προτέρων πληροφορία η οποία να διακρίνει τις υνιτώες εταξύ τους (δηλαδή την περίπτωη που οι εκ των προτέρων κατανοές είναι ίδιες εταξύ τους τότε και η εκ των υτέρων κατανοή των παραέτρων θα είναι υετρική. Έτι την περίπτωη που έχουε προοοιώει ένα δείγα από την εκ των υτέρων κατανοή (ε την χρήη εθόδων MCMC όπως θα περιγράψουε ε επόενο κεφάλαιο υνεπάγεται ότι οι παράετροι θ δεν είναι διακριτές (ταυτοποιήιες περιθωριακά. Αυτό ηαίνει απλά ότι ( δεν πορούε να ξεχωρίουε την υνιτώα και το ( και το ( θ διότι η εκ των υτέρων έη τιή του ( των υτέρων έη τιή του ( θ. θ από την υνιτώα θ θα ιούται ε την εκ Για την αντιετώπιη αυτού του προβλήατος έχουν προταθεί αρκετές έθοδοι που βαίζονται είτε ε αλγόριθους αναδιάταξης (relabellg algorths του προοοιωένου δείγατος είτε την εφαρογή πλαατικών περιοριών για την διάκριη των παραέτρων. Υπάρχουν βέβαια και περιπτώεις που χρηιοποιούνται διαφορετικές εκ των προτέρων κατανοές και το παραπάνω πρόβληα 6

32 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών παρακάπτεται. Στην υνέχεια περιγράφουε κάποιες από αυτές τις εθόδους για την εφαρογή τους τα επόενα κεφάλαια..5. Περιοριοί διάκριης Μία από τις πρώτες τακτικές (και η πιο απλή θα λέγαε που απαντώνται την βιβλιογραφία για την αντιετώπιη του προβλήατος αυτού είναι να θέουε περιοριούς διάκριης (ή ταυτοποίηης τον παραετρικό χώρο. Για παράδειγα την περίπτωη είξης δύο κανονικών κατανοών (. πορούε να ξεχωρίουε τις υνιτώες ύφωνα ε την διάταξη των έων (ή των διαπορών ή των βαρών. Από την πεϋζιανή κοπιά αυτό ηαίνει τον εταχηατιό της αρχικής π θ τον περιοριό της το ύνολο κανονικής εκ των προτέρων κατανοής ( { R :... } δηλαδή: π ( θ { }. (.7 Κάτι τέτοιο ηαίνει ότι το δείγα που προοοιώνουε θα προκύπτει βάει της (.7. Ένα λογικό ερώτηα είναι: Δεν θα πορούαε να χρηιοποιήουε την π θ και την υνέχεια απλά να διατάουε τις τιές που προκύπτουν? Η ( απάντηη είναι ότι κάτι τέτοιο αποδίδει όταν τα (και υνεπώς οι αντίτοιχοι υποπληθυοί απέχουν «αρκετά» εταξύ τους. Σε αυτή την περίπτωη η διάκριη των υνιτωών βάει της διάταξης των έων της εκ των υτέρων κατανοής θα αντικατοπτρίζει την πραγατική διάταξη των υνιτωών του πληθυού. Στις περιότερες περιπτώεις κάτι τέτοιο δεν ιχύει αφού οι κατανοές των υνιτωών «πλέκονται» εταξύ τους ε αποτέλεα την εφάνιη του φαινοένου label swtchg. Αν και η υιοθέτηη της (.7 το οντέλο ας φαίνεται αήαντη (διότι όντως η κατανοή του δείγατος είναι ίδια ε ή χωρίς την δείκτρια υνάρτηη η ειαγωγή του παραπάνω περιοριού έχει οβαρές επιπτώεις τόο την υπολογιτική διαδικαία όο και την υπεραατολογία. Όταν περιορίζουε τον παραετρικό χώρο η πιθανοφάνεια επηρεάζεται άεα. Ακόη η εκ των υτέρων κατανοή εφανίζει παραπάνω από ία κορυφές και οι εκ των υτέρων έοι πορεί να βρίκονται ε περιοχές χαηλής εκ των υτέρων πιθανότητας. ΣΧΗΜΑ 6. Κατανοές των ( ( 5 και ( υγκρινόενες ε την εκ των προτέρων Ν(. Συβολίζουε ε ( την διατεταγένη τυχαία εταβλητή. Στο Σχήα 6 φαίνονται οι περιθωριακές εκ των προτέρων κατανοές των ( ( 5 και ( όταν εκ των προτέρων... ~ N (. Η ύγκριη των αντίτοιχων κατανοών ε την N (... Παραπέπουε τα παραδείγατα των Παραγράφων. και.. 7

33 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών δείχνει ξεκάθαρα τις επιπτώεις της διάταξης. Έτι οι εκτιήεις ας ε βάη την εκ των υτέρων κατανοή πορεί να είναι φτωχές ειδικά όταν ο αριθός των υνιτωών είναι εγάλος..5. Αλγόριθοι αναδιάταξης και προεγγίεις έω της Θεωρίας Αποφάεων Έτω ότι έχουε ανεξάρτητες και ιόνοες παρατηρήεις (... οντέλο ( f πυκνότητες ( από το θ όπου υπάρχουν υνιτώες και ας υποθέουε ότι οι f θ είναι γνωτές εκτός από την παράετρο θ. Στην Παράγραφο.5. είδαε κάποια ειονεκτήατα της εθόδου των περιοριών διάταξης. Για αυτό θεωρούε τώρα τον παραετρικό χώρο ως έχει πράγα που ηαίνει ότι οι κορυφές της εκ των υτέρων κατανοής θα είναι ίες ε!. Για να καταλήξουε ε κατάλληλες εκτιήεις πορούε να χρηιοποιήουε δύο εθόδους: είτε ετά την ολοκλήρωη της διαδικαίας της προοοίωης να θέουε ία «λογική» υνθήκη αναδιάταξης του δείγατος είτε (για ία πιο αυτηρή ανάλυη να χρηιοποιήουε ία υνάρτηη ζηίας. Αναδιάταξη έω του εωτερικού γινοένου Για ία αναδιάταξη του {...} χρηιοποιούε τον υβολιό (.6 για την αντίτοιχη διάταξη του παραετρικού διανύατος. Για να αντιετωπίουε το πρόβληα label swtchg εφαρόζουε την ακόλουθη διαδικαία το ( ( M προοοιωένο δείγα εγέθους M ( θ...( θ : Αλγόριθος αναδιάταξης έω του εωτερικού γινοένου. Βρίκουε την Mote Carlo προέγγιη του Ma a Posteror (MAP εκτιητή: ( ( θ όπου... M ( ( θ arg a π.. Για... M βρίκουε όλες τις δυνατές (! εταθέεις ( ( v θ του ( ( θ. a. Υπολογίζουε το όπου το v arg a l διανυατικού χώρου R. ( ( b. Θέτουε ( v ( θ l v v ( ( ( ( θ v ( θ δηλώνει το εωτερικό γινόενο του θ. 8

34 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών ( Το βήα ( επιλέγει εκείνη την αναδιάταξη v ( θ του ( ( θ η οποία είναι πιο κοντά τον MAP εκτιητή δηλαδή αυτή που εγιτοποιεί το εωτερικό της γινόενο ε το ( θ (. Αυτή η έθοδος είναι ία απλή «λογική» γεωετρική προέγγιη και λύνει το πρόβληα του label swtchg χωρίς να επιβάλει εκ των προτέρων κάποια διάταξη τις παραέτρους του οντέλου. Μετά την αναδιάταξη των προοοιωένων τιών δεν έχουε παρά να υπολογίουε την Mote Carlo εκτίηη της εκ των υτέρων έης τιής του E θ η οποία ιούται ε M ( ( ( θ M ν. Αναδιάταξη έω ιας υνάρτηης ζηίας θ ( Διαδικαίες όπως η εκτίηη παραέτρων η κατάταξη παρατηρήεων ε ύνολα και ο καθοριός των εκ των υτέρων κατανοών πορούν να θεωρηθούν ως πρόβληα επιλογής ιας απόφαης α από ένα ύνολο δυνατών αποφάεων Α. Στην θεωρία αποφάεων ορίζεται ία υνάρτηη ζηίας L:Α Θ R όπου το L ( α;θ είναι η ζηία που προκύπτει όταν εκτιήουε την ποότητα θ ε την τιή α ενώ την υνέχεια επιλέγεται εκείνη η απόφαη α η οποία ελαχιτοποιεί την εκ των υτέρων αναενόενη ζηία (ή κίνδυνο: R ( ( α ; θ E L( α; θ Εφ όον τα προβλήατα που αφορούν ε είξεις όλες οι εταθέεις του ( θ δίνουν την ίδια πιθανοφάνεια είναι λογικό να ορίουε υναρτήεις ζηίας οι οποίες θ. Δίνουε προοχή λοιπόν ε είναι αναλλοίωτες ως προς τις εταθέεις του ( υναρτήεις ζηίας του τύπου για κάποιο L : Α Θ R. ( ( M Εάν τα (...( θ L ( α ;( θ L ( α; v( θ v θ είναι το προοοιωένο δείγα από ία Μαρκοβιανή αλυίδα ε τάιη κατανοή την εκ των υτέρων κατανοή του οντέλου ας τότε είναι λογικό να προεγγίουε τον κίνδυνο Bayes r ( α από τον κίνδυνο Mote - Carlo: M ( ( ( ( M t α L α; vt ( ( ( t L α ; vt θ ~ r M θ vt t v... vm και να επιλέξουε το α που ελαχιτοποιεί το ( α αλγορίθου ελαττώνει το r~ ( α : M π t r~. Κάθε επανάληψη του παρακάτω 9

35 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Γενικός αλγόριθος αναδιάταξης έω θεωρίας αποφάεων Ας υποθέουε τώρα ότι θέλουε να χρηιοποιήουε το οντέλο είξης για να κατατάξουε τις παρατηρήεις ε υνιτώες και ταυτόχρονα να δώουε κάποια ένδειξη της αβεβαιότητας την κατάταξη αυτή. Για αυτό τον κοπό θεωρούε έναν πίνακα Q ( q όπου το q είναι η πιθανότητα η παρατήρηη να ταξινοηθεί την υνιτώα του πληθυού ε q. Ας υβολίουε επίης ε ( θ ( π ( θ ταξινόηης όπου: P τον πίνακα των (πληθυιακών πιθανοτήτων π ( θ P( Z θ f ( θ f ( θ Μία κλαική έθοδος έτρηης της ζηίας για την εκτίηη του P ε τον Q είναι η απόκλιη Kllbac - Lebler του Q από την πραγατική κατανοή της ταξινόηης P: L ( Q ; P L ( Q; θ π ( θ log Για αυτή την επιλογή της υνάρτηης ζηίας θα προδιορίουε τα επιέρους βήατα του προηγούενου αλγορίθου: π q ( θ M Κατ αρχάς πρέπει να ελαχιτοποιήουε το ( ( ( t L α ; v t θ. Θέε v την ταυτοτική ετάθεη π t... M.. Προδιόριε εκείνο το α α για το οποίο ελαχιτοποιείται το: M t ( ( t ( ; v t θ. Χρηιοποιώντας την έθοδο Lagrage έχουε: L α.. Επίλεξε το v t που ελαχιτοποιεί το t... M. ( α ; v ( ( t t L θ υπό τον περιοριό

36 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών L π M t M L t L ( ( t ( α; v θ t π ( ( t ( v θ t και θέτοντας λq Ώτε: ( ( t ( v θ t M t π L π π log ( ( t ( v θ t q ( t ( v ( θ t q ( ( t ( v θ t λ π λ λαβάνουε ότι λ M t π ( ( t ( v θ t ( ( t ( v θ t q. Όως: M ( ( ( M t v q ( v ( ( t π t θ λ π t θ λ M t. q M M t Άρα ο αλγόριθος παίρνει την εξής ορφή: π t ( ( t ( v θ Αλγόριθος αναδιάταξης ε υνάρτηη ζηίας την απόκλιη Kllbac - Lebler. Θέε v την ταυτοτική ετάθεη... M.. Θέε q M Σηειώνουε ότι παρά την απλότητα ε επίπεδο προγραατιού αυτού του αλγορίθου ο χρόνος εκτέλεής του για ία τυπική περίπτωη π.χ. προοοιωένες τιές είναι αρκετά εγάλος ακόα και για γλώες προγραατιού όπως η FORTRAN. Πάντως για τέτοιου είδους προβλήατα υπάρχουν ιοδύναοι αλγόριθοι από την Θεωρία Βελτιτοποίηης οι οποίοι είναι αποδοτικοί καθώς υντοεύουν αρκετά την διαδικαία ελαχιτοποίηης (το M t t π ( ( t ( v θ. Επίλεξε το v t που ελαχιτοποιεί το L t... M. ( Q ; θ π ( θ log t.. π q ( θ

37 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών λεγόενο Traortato Proble. Προς αποφυγή αυτής της δυκολίας για την αντιετώπιη του προβλήατος label swtchg επιλέγουε τον αλγόριθο αναδιάταξης έω εωτερικού γινοένου λόγω της απλότητας αλλά και της αποδοτικότητας αυτού..6 Ηιπαραετρική προέγγιη Μια εναλλακτική προέγγιη την ερηνεία και εκτίηη των είξεων είναι ηιπαραετρική. Σηειώνοντας ότι πολύ λίγα φαινόενα υπακούουν τις υνήθεις κατανοές η επιλογή του οντέλου (. πορεί να αποτελεί και έναν υβιβαό εταξύ της αντικειενικής αναπαράταης του προς ελέτη φαινοένου και της αποδοτικής εκτίηης της άγνωτης κατανοής του. Εάν το είναι εγάλο τότε η προέγγιη (. είναι υνήθως δικαιολογηένη. Η πλέον υνηθιένη προέγγιη την Μπεϋζιανή η παραετρική Στατιτική είναι η χρήη της διαδικαίας Drchlet Ð ( F a όπου F είναι ία υνάρτηη κατανοής και a ία παράετρος ακρίβειας. Αρχικά αναφέρουε κάποιες γνωτές ιδιότητες της κατανοής Drchlet..6. Η κατανοή Drchlet Η κατανοή Drchlet εφανίζεται ε προβλήατα διατεταγένων τατιτικών υναρτήεων. Στην Μπεϋζιανή Στατιτική χρηιοποιείται ως υζυγής εκ των προτέρων κατανοή για τις παραέτρους της πολυωνυικής κατανοής. Ο ακριβής οριός της είναι: Οριός.6. Έτω Z...Z ανεξάρτητες τυχαίες εταβλητές ε Z Γ α όπου α για κάθε α > για κάποια... Γ ab ( ~ η κατανοή Γάα ε έη τιή ( α...α D( α...α και ( a / b. Η κατανοή Drchlet ε παράετρο Y...Y όπου: ορίζεται ως η από κοινού κατανοή του ( Z Y... Z Η κατανοή εκφυλίζεται ως προς το έτρο Lebesge τον -διάτατο χώρο αφού Y... Y. Εάν κάποιο από τα α το αντίτοιχο Y εκφυλίζεται το ηδέν. Αν α >... τότε η ( -διάτατη κατανοή του ( Y... Y είναι απολύτως υνεχής ε πυκνότητα: f ( y y α... α ( α... α ( α... Γ( α α Γ α y y S... Γ ( y y... (.8

38 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών S : y y. όπου ( y... y η χέη (.8 δίνει την πυκνότητα της κατανοής βήτα B ( Για κύριες ιδιότητες της κατανοής Drchlet είναι:. Εάν ( Y...Y ~D ( α...α α α και r...rl είναι ακέραιοι τέτοιοι ώτε < r <... < rl τότε: r r r Y Y... Y ~D r rl r r α α... α r rl Αυτό έπεται από τον οριό της κατανοής Drchlet και την αναπαραγωγική ιδιότητα της κατανοής Γάα: αν Z ~ ( Γ α και Z ~ ( Γ α και αν Z Z Z Z ~ Γ α. Ειδικότερα η περιθωριακή κατανοή κάθε ανεξάρτητες τότε ( Y είναι η Bα α α α.. Οι δύο πρώτες ροπές των Y είναι: όπου α α. EY EY EY Y α α α α ( α ( α αα α ( α. Εάν η εκ των προτέρων κατανοή του ( Y...Y είναι η D ( α...α ( X Y... Y Y P χεδόν βεβαίως για... τότε η εκ των υτέρων κατανοή του ( ( D ( ( α...α όπου Έτω D( y α... α P ( α α. α r και αν:. Οι Y...Y δοθέντος ότι X είναι... y η υνάρτηη κατανοής της D ( α...α. Τότε η ιότητα ( X Y... Y P( X P( Y... Y X

39 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών πορεί να εκφρατεί υναρτήει του D( y α... α ΙΙΙ ως εξής:... y έω των ιδιοτήτων ΙΙ και α ( (... y dd( y... y α... α D(... α... α. (.9.6. Η διαδικαία Drchlet Έτω Ξ ένα ύνολο και Α ία -άλγεβρα υπουνόλων του Ξ. Περιγράφουε παρακάτω τον οριό ενός τυχαίου έτρου πιθανότητας P τον ετρήιο χώρο (Ξ Α έω της από κοινού κατανοής των τυχαίων εταβλητών ( P ( A... P( A για κάθε και κάθε ακολουθία A... A ετρήιων υπουνόλων A Α.... Για τις λεπτοέρειες του οριού παραπέπουε την εργαία του Fergso (97. Όπως πορεί να δειχθεί αρκεί να ορίουε το τυχαίο έτρο P έω της από κοινού κατανοής του ( P ( B... P( B για κάθε και για κάθε ετρήιη διαέριη ( B...B του Ξ. Λέε ότι το ( B...B αποτελεί ία ετρήιη διαέριη του Ξ ανν: B Α B B για και Ξ. α U B P B Εάν έχουε κάποιο ύτηα κατανοών του ( P ( B... ( κάθε ετρήιη διαέριη ( για κάθε και για B...B του Ξ υπάρχει ένα «κριτήριο υνέπειας» που θα θέλαε ίγουρα να ικανοποιείται: Κριτήριο Fergso Αν ( B B... και ( B...B Ξ και αν το ( B...B προκύπτει από υνδυαούς ενώεων του ( B... B B r U r U U B B B... B B τότε η κατανοή του: r r r r είναι ετρήιες διαερίεις του r r B B... B r r όπως αυτή ορίζεται από την κοινού κατανοή του ( P ( B... P( B κατανοή του ( P ( B... P( B. ε: είναι ίδια ε την Σηειώνουε ότι το παραπάνω κριτήριο αποτελεί ικανή υνθήκη για να ιχύουν οι ύνθηκες υνέπειας του Kologorov. Οριός.6. Θα λέε ότι το P είναι ένα τυχαίο έτρο πιθανότητας τον (ΞΑ P A όπου A Α παίρνει (α εάν ικανοποιείται το κριτήριο Fergso (β εάν το ( τιές όνο το [ ] και (γ εάν P(Ξ. 4

40 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Ας υβολίουε ε []Α τον χώρο όλων των υναρτήεων από το Α το [] και ε FΑ την -άλγεβρα που γεννιέται από τον χώρο των κυλινδρικών υνόλων. Όπως αποδεικνύεται υπάρχει ένα έτρο πιθανότητας P τον ([]Α FΑ το οποίο P A... P ορίζει την από κοινού κατανοή του ( ( ( A. Οριός.6. Έτω ότι α είναι ένα πεπεραένο έτρο τον χώρο (Ξ Α. Λέε ότι η P είναι ία διαδικαία Drchlet τον (Ξ Α ε παράετρο α εάν για κάθε... και κάθε ετρήιή διαέριη ( B...B του Ξ η κατανοή του P B... P α B... α ( ( ( B είναι Drchlet D ( ( ( B. Παρατηρούε ότι το κριτήριο Fergso είναι ακριβώς η ιδιότητα Ι της κατανοής Drchlet. Σηειώνουε ότι ένας εναλλακτικός οριός της διαδικαίας Drchlet επιλέγει αντί για το έτρο α ία κατανοή F και την υνέχεια χρηιοποιεί έναν υντελετή «ακρίβειας» α και την υβολίζει ε Ð ( F a. Υπάρχουν αρκετές ιδιότητες που δείχνουν την κοντινή χέη εταξύ του τυχαίου έτρου P και της πιθανότητας α. Εείς θα περιοριτούε την περιγραφή ιας από αυτές την οποία θα χρειατούε και την υνέχεια. Έτω ότι P είναι διαδικαία Drchlet τον (Ξ Α ε παράετρο α και έτω A Α. Τότε εάν α ( A έπεται ότι και P ( A ε πιθανότητα. Επιπλέον εάν α ( A > έπεται ότι και P ( A > ε πιθανότητα. Τέλος έχουε ότι: E P A α A / (Ξ. (. ( ( ( α c Αυτό ιχύει διότι αν θεωρήουε την διαέριη ( A c ακολουθεί την κατανοή B( ( A α( A A έχουε ότι το P ( A α (αυτό έπεται από τον Οριό.6. και την παρατήρηη ετά τον Οριό.6.. Ώτε: E ( P( A α α ( A c ( A α( A α α ( A ( c A U A ( P( A α ( A / α E (Ξ Τέλος ηειώνουε ότι το τήριγα της διαδικαίας Drchlet περιέχει το ύνολο όλων των έτρων πιθανότητας τα οποία είναι απολύτως υνεχή ως προς το α. Οριός.6.4 Έτω ότι το P είναι ένα τυχαίο έτρο πιθανότητας τον (Ξ Α. Λέε ότι το X... X είναι ένα δείγα εγέθους από το P εάν για κάθε N και για οποιαδήποτε ετρήια ύνολα A... A και C...C : χεδόν βεβαίως. {... } P( C P X C X C P( A... P( A P( C P( C Γενικά αυτό ηαίνει ότι το... (. X... X είναι δείγα εγέθους από το P εάν δοθέντων των P ( C... P( C τα γεγονότα { X C}...{ X C } είναι ανεξάρτητα εταξύ τους αλλά και από την υπόλοιπη διαδικαία ε P { X C P( C... P( C } P( C χεδόν βεβαίως.... 5

41 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών Πρόταη.6. Έτω ότι η P είναι ία διαδικαία Drchlet τον (Ξ Α ε παράετρο α και έτω ότι το X είναι δείγα εγέθους από την P. Τότε για A Α ιχύει Απόδειξη ( X α ( A / α P A P( A Από την χέη (. έχουε ότι Π A P( A ( E (Ξ. (. ( X P( A χεδόν βεβαίως. Οπότε: ( P X A P( A P X A P( A E( P( A α ( A / α (Ξ. Έτω ότι Ξ και ε δ υβολίζουε το έτρο Drac το οριένο τον (ΞΑ δηλαδή αυτό το οποίο δίνει πυκνότητα το ηείο : αν A δ ( A. αν A Τότε ιχύει το κάτωθι θεώρηα: Θεώρηα.6. Έτω ότι η P είναι ία διαδικαία Drchlet τον (Ξ Α ε παράετρο α και έτω ότι το X... X είναι δείγα εγέθους από αυτή. Τότε η δεευένη κατανοή της P δοθέντος ( X... X είναι η διαδικαία Drchlet ε παράετρο α δ. X Για την απόδειξη του παραπάνω θεωρήατος παραπέπουε την εργαία του Fergso (97. Ολοκληρώνουε το κεφάλαιο αυτό ε κάποιες εφαρογές της διαδικαίας Drchlet. Εφαρογή.6. Εκτίηη της υνάρτηης κατανοής. Έτω (Ξ Α (R Β και έτω ότι ο χώρος αποφάεων είναι ο χώρος όλων των υναρτήεων κατανοών τον R. Θεωρούε ότι η υνάρτηη ζηίας είναι η L ( P F ( F( t F( t dw ( t όπου W είναι ένα δοένο πεπεραένο έτρο τον ( R Β (ία υνάρτηη βάρους και ότι: F ( t P( ( t]. Εάν P ~ Ð ( α τότε F( t ~ B( α ( t] α( t για κάθε t. Ο κίνδυνος Bayes για την περίπτωη που δεν έχουε δείγα είναι: 6

42 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών E ( L( P F E( F( t F( t dw ( t ο οποίος ελαχιτοποιείται επιλέγοντας το F ( t να ελαχιτοποιεί το E F( t F( t t. Αυτό επιτυγχάνεται επιλέγοντας F ( t E( F( t απόφαη Bayes είναι (. Έτι λόγω της (.6. η (( t] α( R α F( t EF( t E( P( ( t] F η οποία εκφράζει την εκ των προτέρων άποψή ας για την ορφή της άγνωτης ( t F. Στην περίπτωη που διαθέτουε δείγα εγέθους ύφωνα ε το Θεώρηα.6. ο κανόνας Bayes είναι ο F ( R ( R ( tx... X α (( t] δ ( t] F α ( R ( t ( t ( F( tx... X α όπου και F ( t X... X ( ] α δ X t η επειρική υνάρτηη κατανοής. Παρατηρούε ότι η εκτίηη ας είναι ία είξη της εκ των προτέρων άποψης ας και της επειρικής υνάρτηης κατανοής. Πόρια Από την εφαρογή.6. έχουε ότι: F ( t X... X α α X (( t] δ ( t] α( R ( R Οπότε η περιθωριακή δεευένη κατανοή του F ( X X... X α( R ( R X ( R α( ( t] ( ( α R α R α ( X X t X δοθέντος του ( X... ( R X X α α F X είναι:. (. Αναφέρουε ότι εκφράεις της ορφής (. κατέχουν κεντρικό ρόλο τις εθόδους προοοίωης της απαραετρικής Μπεϋζιανής Στατιτικής για υπεραατολογία ε οντέλα είξεων αλλά εείς δεν θα επεκταθούε ε αυτές. Για ία περιγραφή των εθόδων αυτών παραπέπουε την εργαία των Escobar & West (995. 7

43 Κεφάλαιο : Στοιχεία πεπεραένων είξεων κατανοών 8

44 ΚΕΦΑΛΑΙΟ ΣΥΜΠΕΡΑΣΜΑΤΟΛΟΓΙΑ ΓΙΑ ΜΟΝΤΕΛΑ ΜΕΙΞΕΩΝ ΜΕ ΓΝΩΣΤΟ ΠΛΗΘΟΣ ΣΥΝΙΣΤΩΣΩΝ Τα πάντα πρέπει να απλοποιούνται όο γίνεται πιο πολύ. Όχι όως περιότερο. A. Este

45 Κεφάλαιο : Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών. Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών Τα οντέλα είξεων κατανοών έχουν υπάρξει η αφορή για την ανάπτυξη πολλών εθοδολογιών την Υπολογιτική Στατιτική. Εκτός από τον αλγόριθο EM πορούε να ξεχωρίουε την έθοδο διεύρυνης των δεδοένων (data agetato που προτάθηκε από τους Taer & Wog (987 και η οποία αποτελεί πρόδροο του δειγατολήπτη Gbbs των Gelfad & Sth (99. Αυτό το κεφάλαιο ελετά οντέλα όπου ο αριθός των υνιτωών της είξης είναι εκ των προτέρων γνωτός ακολουθώντας εθόδους Mote Carlo και - κυρίως - MCMC (Marov Cha Mote Carlo.. Διεύρυνη δεδοένων και ο δειγατολήπτης Gbbs Ο δειγατολήπτης Gbbs είναι ία από τις πιο κλαικές εθόδους MCMC και η χρήη του είναι ιδιαίτερα διαδεδοένη και την Μπεϋζιανή εκτίηη είξεων [Debolt & Robert (99a (994 Lave & West (99 Verdell & Wassera (99 Chb (995 Escobar & West (995]. Η έθοδος αυτή εκεταλλεύεται τα ελλιπή δεδοένα (Παράγραφος. δηλαδή αντιτοιχίζει ε κάθε παρατήρηη ία η παρατηρηθεία εταβλητή από την πολυωνυική κατανοή ~ M ;... έτι ώτε ( ( θ ~ f και την υνέχεια προοοιώνει κάθε παράετρο από τις πλήρεις δεευένες κατανοές δοθειών όλων των υπολοίπων. Υπενθυίζουε ότι ε ετερογενείς πληθυούς αποτελούενους από οοιογενή τρώατα είναι διαιθητικά λογικό να ερηνεύουε το αν τον δείκτη του πληθυού απ όπου προέρχεται το και ο οποίος έχει χαθεί την διαδικαία παρατήρηης. Παρ όλα αυτά η διάκριη εταξύ πραγατικής και φαντατικής υπλήρωης των δεδοένων δεν υφίταται τον δειγατολήπτη ο οποίος απλά τοχεύει το να παραγάγει ία Μαρκοβιανή αλυίδα ε τάιη κατανοή την εκ των υτέρων κατανοή των παραέτρων του οντέλου ας. Το πλαίιο που θα κινηθούε είναι το εξής: Έτω το οντέλο (. f ( θ όπου εδώ το N θεωρείται ία γνωτή ταθερά. Έτω επίης ότι οι ανεξάρτητες και ιόνοες τυχαίες εταβλητές οντέλο (. και (... των δεδοένων ε την ειαγωγή του Z ( Z... X ( θ θ Z ~ f αλλά και ότι: X... ακολουθούν το το τυχαίο δείγα που παρατηρήαε. Η διεύρυνη το οντέλο υνεπάγεται ότι Z ( X Z ~ f ( θ θ. Επειδή τις περιότερες εφαρογές τα βάρη είναι και αυτά άγνωτα θεωρούε την υζυγή εκ των προτέρων κατανοή ~ D ( γ... γ ; γ. Αν υποθέουε ότι η πυκνότητα f ανήκει ε ία εκθετική οικογένεια έχουε ότι

46 Κεφάλαιο : Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών ( ( ( ( ( { } θ φ θ θ t r h f e (. όπου R R : h R Θ : r R Θ : t και υβολίζει το εωτερικό γινόενο του χώρου R. Σε αυτή την περίπτωη ία υζυγής κατανοή για το θ δίνεται από την χέη: ( ( ( ( θ βφ α θ θ π r e (. όπου R α και > β είναι ταθερές είτε υπερπαράετροι ε εκ των προτέρων κατανοή ( β α π (Robert. Σε αυτή την περίπτωη έχουε ότι η εκ των υτέρων κατανοή είναι ( ( ( ( ( ( ( ( ( (. e ~ r f f γ γ β α π φ θ β α θ θ β θ π β α π β α θ π θ β θ Ο δειγατολήπτης Gbbs προοοιώνει ε κάθε επανάληψη τις παραέτρους και υπερπαραέτρους από τις αντίτοιχες πλήρεις δεευένες κατανοές της (. ώτε να παραγάγει ία Μαρκοβιανή αλυίδα ε τάιη κατανοή την (.. Για τα βάρη έχουε ότι ( ( ( ( ( ( ( ( r f e γ γ γ γ γ γ γ γ γ π β α π θ φ β α θ θ π K K K K K ~ D ( γ γ... (.4 όπου ε ( K π υβολίζουε την πλήρη δεευένη εκ των υτέρων κατανοή του δοθειών όλων των υπολοίπων παραέτρων ενώ { }. Για τις παραέτρους θ έχουε ότι: ( ( ( ( ( ( ( ( ( ( ( ( ( ( r t r h r f e e e θ φ β α θ φ θ θ β α π φ θ β α θ θ θ π γ K ( ( ( ( ( ( ( t r r e e θ φ θ φ θ β α θ ( ( ( ( { } ( { } ( t r r e e θ φ θ φ θ β α θ

47 Κεφάλαιο : Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών e r( θ ( ( { } ( ( α βφ θ r θ t φ θ ( { } ( ( ( θ K ~ e r θ α t β φ θ (.5 Τέλος από την χέη (.7 έχουε ότι: P ( Z f ( θ K. (.6 Λόγω των (.4 (.5 και (.6 τα βήατα του γενικού δειγατολήπτη Gbbs είναι: Δειγατολήπτης Gbbs για είξεις εκθετικών οικογενειών. Δώε κάποιες αρχικές τιές το θ. Όπως ε όλες τις εθόδους Mote Carlo πρέπει να εξετατεί προεκτικά η αποδοτικότητα των αλγορίθων MCMC. Εδώ η αποδοτικότητα έχει να κάνει ε διάφορα θέατα όπως η αυτουχέτιη των προοοιωένων αλυίδων και το φάλα Mote Carlo. Προφανώς η ύγκλιη του αλγορίθου εξαρτάται και από την επιλογή των εκ των προτέρων κατανοών. Για την αντιετώπιη τέτοιων ζητηάτων παραπέπουε τους Megerse et al. (999 και Robert & Casella (4 κεφάλαιο. Στην υνέχεια παραθέτουε την εφαρογή του παραπάνω αλγορίθου ε κάποια παραδείγατα. Παράδειγα.. Ως ία απλή εφαρογή ας θεωρήουε την απλή περίπτωη είξης δύο κανονικών κατανοών (οντέλο (.8: N ( ( N( όπου τα βάρη είναι γνωτά. Σε αυτή την περίπτωη ο παραετρικός χώρος είναι διδιάτατος και έτι πορούε να χεδιάουε το γράφηα της εκ των υτέρων ( (. Στην επανάληψη t t... : (.. Προοοίωε τα t... από την P.. Υπολόγιε τα ( ( t ( t ( t ( t ( t ( f θ ( t.. Προοοίωε τα.4. Προοοίωε τα ( θ. ( t { } και s ( t ( t από την D ( γ... γ ( t θ (... από την. { ( } ( t t ( ( t ( t ( θ e r( θ α s ( β φ( θ π..

48 Κεφάλαιο : Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών κατανοής. Θεωρούε ότι εκ των προτέρων οι έοι είναι ανεξάρτητοι και ακολουθούν την κατανοή ( λ δ / N όπου τα δ και λ είναι γνωτές υπερπαράετροι. Τότε: ( ( ( { }( ( e e e δ λ δ λ δ λ { }( ( e δ λ. (.7 Από την (.7 παρατηρούε ότι οι έοι είναι εκ των υτέρων επίης ανεξάρτητοι. Για τον πρώτο έχουε: { } { } { } { } { } { } { } { } e e e e λ λδ λ λ λδ λ λδ λ λδ λ s όπου { } s. Με ανάλογο τρόπο δουλεύουε και για το. Οπότε οι πλήρεις δεευένες κατανοές των και είναι: ~ s N λ λ λδ και ~ s N λ λ λδ. Επίης η εκ των υτέρων δεευένη κατανοή του δοθέντος του ( προκύπτει από τον τύπο (.6: ( ( ( ( ( ( P P e e e

49 Κεφάλαιο : Συπεραατολογία για οντέλα είξεων ε γνωτό πλήθος υνιτωών δηλαδή τα είναι ανεξάρτητες τυχαίες εταβλητές και ακολουθούν την κατανοή Beroll το {} ε πιθανότητα επιτυχίας που δίνεται από την τελευταία έκφραη. Οπότε ο αλγόριθος για την εφαρογή του δειγατολήπτη Gbbs ε αυτή την περίπτωη έχει ως εξής: Δειγατολήπτης Gbbs για το οντέλο (.8. Δώε κάποιες αρχικές τιές το Στο Σχήα 7 φαίνεται η απόδοη του παραπάνω αλγορίθου για ένα.7n.n.5. προοοιωένο δείγα παρατηρήεων από την ( ( ( (.. Στην επανάληψη t t... : (.. Προοοίωε τα t (... από την.. Υπολόγιε τα ( t ( t ( P ( ( t ( e.5( P. ( t.. Προοοίωε τα.4. Προοοίωε τα ΣΧΗΜΑ 7. Χάρτης επιφάνειας του λογαρίθου πιθανοφάνειας και το αντίτοιχο δείγα Gbbs για το ( ( οντέλο (.8 βαιένο ε επαναλήψεις. Οι αρχικές τιές είναι. ( t { } t και ( s ( ( t ( t από την D ( γ... γ ( t ( από την ( t. λδ s ~ N. λ λ { }. 4