MONTE CARLO ΜΕΘΟ ΟΙ ΜΕ ΧΡΗΣΗ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙ ΩΝ (MCMC) ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ. Ανδρέας Κ. Κούρτης

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ MONTE CARLO ΜΕΘΟ ΟΙ ΜΕ ΧΡΗΣΗ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙ ΩΝ (MCMC) ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Ανδρέας Κ. Κούρτης Επιβλέπων: Γεώργιος Τσακλίδης Αν. Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Οκτώβρης 007.

2

3 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΕΠΙΧΕΙΡΗΣΙΑΚΗ ΕΡΕΥΝΑ MONTE CARLO ΜΕΘΟ ΟΙ ΜΕ ΧΡΗΣΗ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙ ΩΝ (MCMC) ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Ανδρέας Κ. Κούρτης Επιβλέπων: Γεώργιος Τσακλίδης Αν. Καθηγητής Α.Π.Θ. Εγκρίθηκε από την τριµελή εξεταστική επιτροπή την Γ. Τσακλίδης Π. Μωϋσιάδης Π Χ.Βασιλείου Αν. Καθηγητής Α.Π.Θ. Καθηγητής Α.Π.Θ. Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Οκτώβρης

4 .. Ανδρέας Κ. Κούρτης Πτυχιούχος Μαθηµατικός Α.Π.Θ. Copyrght Ανδρέας Κ. Κούρτης, 007. Με επιφύλαξη παντός δικαιώµατος. All rghts reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανοµή της παρούσας εργασίας, εξ ολοκλήρου ή τµήµατος αυτής, για εµπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανοµή για σκοπό µη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν µήνυµα. Ερωτήµατα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς τον συγγραφέα. Οι απόψεις και τα συµπεράσµατα που περιέχονται σε αυτό το έγγραφο εκφράζουν τον συγγραφέα και δεν πρέπει να ερµηνευτεί ότι εκφράζουν τις επίσηµες θέσεις του Α.Π.Θ. 4

5 Στους Γονείς µου, Κωνσταντίνο και Αριστέα, για την αγάπη και τη στήριξή τους στις επιλογές µου. 5

6 ΠΕΡΙΛΗΨΗ Στην εργασία αυτή επικεντρώνουµε στις Markov Chan Monte Carlo (MCMC) µεθόδους, που τα τελευταία χρόνια χρησιµοποιούνται ευρέως από τους ερευνητές στην προσοµοίωση Μαθηµατικών και φυσικών συστηµάτων και σε σύνθετα προβλήµατα που απαιτούν µεγάλη υπολογιστική ισχύ. Στην εισαγωγή παρουσιάζουµε µια αναδροµή των Monte Carlo αλγορίθµων από την αρχή της εµφάνισής τους και παρουσιάζουµε την ιστορική τους εξέλιξη, τις διαφοροποιήσεις που εισήγαγαν οι ερευνητές σ αυτή τη διαδροµή. Αναφέρουµε τους βασικούς κλασικούς αλγόριθµους και τα πεδία εφαρµογών τους. Ακόµα παρουσιάζουµε τα πλεονεκτήµατα και τις αδυναµίες τους και τις προκλήσεις που έχουν να αντιµετωπίσουν οι σηµερινοί ερευνητές. Στο πρώτο κεφάλαιο αναφέρουµε ορισµούς, θεωρήµατα και βασικά αποτελέσµατα της θεωρίας των Μαρκοβιανών αλυσίδων και της θεωρίας πιθανοτήτων, που είναι απαραίτητα για την κατανόηση στη συνέχεια. Στο δεύτερο κεφάλαιο παρουσιάζουµε τις πιο βασικές MCMC µεθόδους, τον αλγόριθµο Metropols, τον Metropols-Hastngs, τον δειγµατολήπτη Gbbs, τον αλγόριθµο Metropols τυχαίου περιπάτου (random walk Metropols), έναν (κλασικό) υβριδικό Monte Carlo αλγόριθµο κλπ. Εξηγούµε αναλυτικά τη δοµή, τη λειτουργία και την ισχύ τους και για τις πιο σηµαντικές µεθόδους κατασκευάζουµε τα αντίστοιχα προγράµµατα στο πακέτο Matlab, βλέποντας στην πράξη την εφαρµογή τους. Στο τρίτο κεφάλαιο παρουσιάζουµε και αναλύουµε µεθοδολογία κατασκευής Μαρκοβιανών αλυσίδων (Μ.Α) στον υπολογιστή και κατασκευάζουµε πρόγραµµα στο Matlab που προσοµοιώνει τη συµπεριφορά µιας Μ.Α. Στη συνέχεια παρουσιάζουµε το Κλειστό Οµογενές Μαρκοβιανό Σύστηµα ιακριτού χρόνου το οποίο και προσοµοιώνουµε µε τη βοήθεια Markov Chan Monte Carlo (MCMC) αλγόριθµων, µε δύο διαφορετικούς τρόπους τους οποίους και συγκρίνουµε. Ακολουθεί το Παράρτηµα Α όπου παραθέτουµε αναλυτικά και µε τις απαραίτητες επεξηγήσεις τα προγράµµατα που χρησιµοποιήσαµε και κατασκευάσαµε στα πλαίσια της εργασίας, και το παράρτηµα Β όπου παραθέτουµε κάποια αποτελέσµατα των προγραµµάτων αυτών. Τέλος ακολουθεί η βιβλιογραφία που περιλαµβάνει τις πηγές που χρησιµοποιήσαµε για τη συγγραφή της εργασίας. 6

7 ΛΕΞΕΙΣ ΚΛΕΙ ΙΑ Μαρκοβιανή αλυσίδα, Monte Carlo, Αλγόριθµος, Αλγόριθµος Metropols, Burn n περίοδος, ειγµατολήπτης Gbbs, Υβριδικός Αλγόριθµος, Μαρκοβιανό σύστηµα. ABSTRACT In ths thess we focus on the Markov Chan Monte Carlo (MCMC) methods whch are useful n smulatng mathematcal and physcal systems especally those who demand powerful computng procedures. In the ntroducton we present some classcal Monte Carlo algorthms and ther hstorcal evoluton. We also outlne ther advantages and dsadvantages. In the frst chapter, defntons, theorems and basc results concernng Markov chan theory and Probablty theory are gven. Next, n chapter two, the followng classcal, MCMC algorthms are provded: Metropols, Metropols-Hastngs, random walk Metropols, Gbbs sampler, hybrd Monte Carlo, ndependent sampler, smple component Metropols etc. We explan ther structure, ther functon, and we construct some programs n Matlab n order to present ther usefulness n applcatons. In chapter three we construct a method smulatng a Markov chan. Then we usegeneralze ths methodology n smulatng a closed dscrete tme homogeneous Markov system. Fnally, n Appendx A, we provde all the programs wth analytcal explanatons, and n Appendx B we present some results produced by means of the programs. KEY WORDS Markov Chan, Monte Carlo, MCMC algorthm, Metropols Algorthm, Burn n perod, Gbbs Sampler, Hybrd Algorthm, Markov System. 7

8 ΠΡΟΛΟΓΟΣ Με την ολοκλήρωση αυτής της εργασίας φτάνει στο τέλος της η πορεία µου στο Μεταπτυχιακό πρόγραµµα σπουδών. Τελειώνοντας, θα ήθελα να ευχαριστήσω την οικογένεια µου για την αγάπη και τη στήριξή τους όλα αυτά τα χρόνια. Επίσης, θα ήθελα να ευχαριστήσω τον κ. Γεώργιο Τσακλίδη, αναπληρωτή καθηγητή του τµήµατος Μαθηµατικών του Α.Π.Θ. και επιβλέποντα της διπλωµατικής µου εργασίας, που ήταν δίπλα µου κατά την εκπόνηση της και µε τις γνώσεις και την εµπειρία του συνέβαλε σηµαντικά στο να ξεπεράσω τα όποια προβλήµατα παρουσιάστηκαν κατά την συγγραφή της. Ακόµη, θα ήθελα να ευχαριστήσω την βιβλιοθηκονόµο του Tµήµατος κα. Νούλα Πετρίδου, καθώς και το εργαστήριο υπολογιστών για την υλικοτεχνική υποδοµή που µου παρείχαν. 8

9 ΠΙΝΑΚΑΣ ΠΕΡΙΕΧΟΜΕΝΩΝ Σελίδα Περίληψη 6 Abstract 7 Πρόλογος 8 Περιεχόµενα 9 Εισαγωγή 0 Κεφάλαιο ο Βασικά στοιχεία των Μαρκοβιανών αλυσίδων και της Θεωρίας Πιθανοτήτων. Μαρκοβιανές Αλυσίδες 5 Κεφάλαιο ο Βασικές MCMC µέθοδοι. Ολοκλήρωση Monte Carlo 4. Batch Means εκτιµητής 33.3 Wndow estmate µέθοδος 33.4 Επιλογή αρχικών τιµών - Προσδιορισµός της περιόδου burn n και του χρόνου τερµατισµού του αλγόριθµου 34.5 Αλγόριθµος του Metropols 35.6 Αλγόριθµος Metropols Hastngs 4.7 Sngle Component Metropols Hastngs 46.8 ειγµατολήπτης του Gbbs 47.9 Ανεξάρτητος ειγµατολήπτης 5.0 Αλγόριθµος Metropols τυχαίου περιπάτου 53. Χαµιλτονιανά και Στοχαστικά δυναµικά 54. Υβριδικός Monte Carlo αλγόριθµος 57 Κεφάλαιο 3 ο ηµιουργία Μαρκοβιανών αλυσίδων Εφαρµογή σε κλειστό οµογενές Μαρκοβιανό σύστηµα διακριτού χρόνου 3. ηµιουργία Μαρκοβιανών αλυσίδων 6 3. Κλειστό Οµογενές Μαρκοβιανό σύστηµα διακριτού χρόνου Προσοµοίωση του κλειστού οµογενούς Μαρκοβιανού συστήµατος διακριτού χρόνου µε τη βοήθεια MCMC αλγόριθµων 7 Παράρτηµα Α 80 Παράρτηµα Β 93 Βιβλιογραφία 96 9

10 ΕΙΣΑΓΩΓΗ Πολλά προβλήµατα που αντιµετωπίζουν σήµερα οι επιστηµονικοί κλάδοι δεν λύνονται αναλυτικά. Τα τελευταία 60 χρόνια και ιδιαίτερα µετά από την δεκαετία του 980, µε την µεγάλη πρόοδο της τεχνολογίας και κυρίως των ηλεκτρονικών υπολογιστών, στην προσπάθεια επίλυσης αυτών των προβληµάτων χρησιµοποιούνται συχνά οι προσεγγιστικές µέθοδοι. Οι νέες συνθήκες και οι νέες προκλήσεις έστρεψαν την επιστηµονική κοινότητα σε νέους δρόµους και επέβαλαν την ανάπτυξη της στατιστικής, των αριθµητικών µεθόδων και διάφορων υπολογιστικών τεχνικών. Οι προσεγγιστικές µέθοδοι έχουν πάνω από 00 χρόνια ζωής και στην πορεία της ιστορικής τους εξέλιξης έχουν αλλάξει ριζικά µορφή και πεδία εφαρµογής. Στην αρχική τους µορφή είχαν µόνο θεωρητικό ενδιαφέρον, έπειτα γίνονταν εκτιµήσεις πάνω σε πραγµατικά προβλήµατα και µετά την ανακάλυψη των ηλεκτρονικών υπολογιστών µπορούσαν να γίνουν ακόµα και προσοµοιώσεις φυσικών συστηµάτων. Τα τελευταία χρόνια τα πεδία εφαρµογής τους καλύπτουν πολλούς επιστηµονικούς κλάδους και αντιµετωπίζονται σύνθετα θέµατα που ήταν αδύνατο να µελετηθούν µέχρι τώρα µε τις γνωστές µεθόδους. Η µέθοδος Monte Carlo είναι µια κατηγορία υπολογιστικών αλγορίθµων που προσοµοιώνουν την συµπεριφορά διάφορων Φυσικών και Μαθηµατικών συστηµάτων. Η βασικότερη διαφορά των µεθόδων Monte Carlo σε σχέση µε τις προηγούµενες µεθόδους προσοµοίωσης, είναι ότι οι πρώτες αναπτύσσουν ντετερµινιστικά προβλήµατα αφού πρώτα βρουν ένα πιθανοκρατικό, στοχαστικό ανάλογο. Οι άλλες µέθοδοι προσοµοίωσης και στατιστικής δειγµατοληψίας κάνουν το αντίθετο, δηλαδή χρησιµοποιούν προσοµοίωση για να επαληθεύσουν ένα εκ των προτέρων κατανοηµένο ντετερµινιστικό πρόβληµα. Τα ερεθίσµατα για την ανάπτυξη αυτών των υπολογιστικών τεχνικών, φαίνεται να δόθηκαν πολύ νωρίς από προβλήµατα της θεωρίας πιθανοτήτων, όπως η βελόνα του Buffon, αλλά πιο φανερά η µελέτη τους άρχισε από την περίοδο ανάπτυξης των ηλεκτρονικών υπολογιστών. Η πρώτη γνωστή χρήση τους, µε πολύ διαφορετική µορφή βέβαια από τις σηµερινές, έγινε από τον Enrco Ferm στα 930, σε εργασία του για την εκτίµηση των ιδιοτήτων των νετρονίων η οποία χρησιµοποιήθηκε στο µέλλον σε µια πιο προχωρηµένη µορφή για την κατασκευή της βόµβας υδρογόνου. Οι µέθοδοι Monte Carlo έπαιξαν καθοριστικό ρόλο στο περίφηµο Manhattan project, που αφορούσε στην 0

11 κατασκευή των πρώτων πυρηνικών όπλων. Οι προσοµοιώσεις που έγιναν µε αυτές ήταν πιο γρήγορες και αποτελεσµατικές από τις τότε γνωστές µεθόδους. Οι Monte Carlo µέθοδοι άρχισαν να µελετώνται σε βάθος την δεκαετία του 950, αµέσως µετά την κατασκευή των πρώτων ηλεκτρονικών υπολογιστών. Ο αµερικανικός στρατός και κάποιες επιχειρήσεις ήταν οι πρώτοι οργανισµοί που ενδιαφέρθηκαν να παράγουν γνώση σχετικά µε τους Monte Carlo αλγόριθµους, να την εξελίξουν και να την χρησιµοποιήσουν ανάλογα µε τα συµφέροντά τους. Έτσι χρησιµοποιήθηκαν για την εξέλιξη της βόµβας υδρογόνου στο Los Alamos από τον αµερικανικό στρατό και έπειτα καθιερώθηκαν σε διάφορα επιστηµονικά πεδία, όπως στη στατιστική φυσική και την επιχειρησιακή έρευνα. Ξεκινώντας µια ιστορική αναδροµή της εξέλιξης των µεθόδων Monte Carlo από την οπτική του µαθηµατικού, φαίνεται ότι η αρχή της σε βάθος µελέτης τους ξεκίνησε το 946 από τον Πολωνό µαθηµατικό Stanslaw Ulam µε αφορµή ένα παιχνίδι πόκερ στο οποίο συνήθιζε να στοιχηµατίζει ένας θείος του στο Casno του Monte Carlo (έτσι προέκυψε και το όνοµα). Η σύνθετη δοµή του παιχνιδιού έκανε αδύνατο τον αναλυτικό υπολογισµό της πιθανότητας να κερδίσει µια παρτίδα. Έτσι σκέφτηκε να παιχτούν µερικοί «γύροι» και να δει εµπειρικά πόσο συχνά κερδίζει στην πράξη. Έπειτα διερωτήθηκε αν µπορεί να εκτιµήσει µια συνάρτηση πιθανότητας χρησιµοποιώντας δείγµατα από την εµπειρική συνάρτηση πιθανότητας. Εξέλιξη των παραπάνω σκέψεων ήταν το 949 η ιδέα των Metropols και Ulam µε βάση την οποία µπορούµε να πάρουµε οποιαδήποτε πληροφορία από µια κατανοµή προσοµοιώνοντας τιµές από αυτήν (Grenager, T.,(004)). Η βασική αρχή λειτουργίας των Monte Carlo αλγορίθµων στην αρχή της ανάπτυξής τους στηριζόταν στην εξαγωγή ενός πλήθους δειγµάτων από έναν ιδιαίτερα ευρύ δειγµατοχώρο. Προκειµένου να υπάρξει ασυµπτωτικά σύγκλιση της εκτιµώµενης κατανοµής στην πραγµατική, µε την εφαρµογή των ασθενών νόµων των µεγάλων αριθµών, εισήχθη η ισχυρή υπόθεση ότι αυτά είναι ανεξάρτητα και ισόνοµα. Οι πρώτες χρήσεις της µεθόδου στα πρώτα χρόνια της εξέλιξής της, εκτός από το στρατιωτικό πεδίο, εστιάζονταν στην εκτίµηση µέσων τιµών και τυπικών αποκλίσεων καθώς και στον υπολογισµό τιµών από την εκ των υστέρων κατανοµή σε πιθανοκρατικά προβλήµατα. Οι εκτιµητές Monte Carlo σε ανεξάρτητα και ισόνοµα δείγµατα αποδείχθηκαν συνεπείς, δηλαδή πολύ κοντά στις πραγµατικές τους τιµές. Το 953 οι Nkolas Metropols, Aranna Rosenbluth, Augusta Teller και Edward Teller επιχείρησαν να επιτύχουν τα ίδια

12 αποτελέσµατα χρησιµοποιώντας δείγµα από µαρκοβιανή αλυσίδα, αντί των ανεξάρτητων και ισόνοµων Monte Carlo δειγµάτων. Το σκεπτικό τους ήταν να δηµιουργήσουν µια κατάλληλη µαρκοβιανή αλυσίδα της οποίας η κατανοµή ισορροπίας να είναι η κατανοµή από την οποία θέλουµε να πάρουµε δείγµα. Σε αυτή τους την εργασία βασικό σηµείο είναι η χρήση συµµετρικής συνάρτησης πυκνότητας πιθανότητας, πράγµα που στο µέλλον στις περισσότερες εκδοχές των αλγορίθµων εγκαταλείφθηκε. Από την εργασία τους αυτή προέκυψε ο αλγόριθµος Metropols που είναι ιστορικά η πρώτη εµφάνιση των Markov Chan Monte Carlo (MCMC) αλγορίθµων. Έτσι λοιπόν δηµιουργήθηκε µια νέα κλάση αλγορίθµων που µε τη βοήθειά της παίρνουµε δείγµα από κάποιες κατανοµές, στην οποία έχουµε εξάρτηση ενός βήµατος. ηλαδή η πιθανότητα µε βάση την οποία ο αλγόριθµος προχωρά από σηµείο σε σηµείο εξαρτάται µόνο από την τρέχουσα θέση και όχι από το παρελθόν. Κεντρικό σηµείο του αλγόριθµου είναι µια συνθήκη µετάβασης από το ένα βήµα στο άλλο. Αυτή η συνθήκη βασίζεται στον υπολογισµό µιας πιθανότητας που όταν βρίσκεται από κάποια τιµή και πάνω, αυτός προχωρά από το ένα σηµείο στο άλλο (Hastngs, W.K.,970). Οι δειγµατοληπτικές µέθοδοι οι βασισµένες σε µαρκοβιανές αλυσίδες αναπτύχθηκαν και εφαρµόστηκαν πρώτα σε προβλήµατα στατιστικής φυσικής όπως αυτό της εκτίµησης της ελεύθερης ενέργειας (free energy estmaton problem), που αναφέρεται στην εκτίµηση της ενέργειας που περιέχει ένα φυσικό σύστηµα. Το 959 οι Alder και Wanwrght ανέπτυξαν τη µέθοδο µοριακής δυναµικής (Molecular dynamcs), της οποίας οι αλγόριθµοι έχουν παρόµοια λειτουργία µε τον Metropols και διαφέρουν στη συνθήκη µετάβασης από το ένα σηµείο στο επόµενο. Η σύνθεση της παραπάνω µεθόδου µε τον αλγόριθµο του Metropols από τους Duane, Kennedy, Pendleton, και Roweth το 987 δηµιούργησε την υβριδική Monte Carlo µέθοδο (Hybrd Monte Carlo). Εξέλιξη του αλγόριθµου Metropols είναι ο Metropols Hastngs αλγόριθµος (973), από τον Hastng, ο οποίος δεν χρησιµοποιεί πλέον συµµετρική συνάρτηση πυκνότητας πιθανότητας. Αυτός είναι ίσως ο πιο βασικός αλγόριθµος, γιατί είναι απλός και εύχρηστος, και οι περισσότεροι αλγόριθµοι που προέκυψαν µετέπειτα είναι ειδικές περιπτώσεις του. Κυριότερες παραλλαγές του είναι ο Ανεξάρτητος ειγµατολήπτης (Independent sampler) και ο αλγόριθµος Metropols τυχαίου περιπάτου (random Walk Metropols).

13 Ένας ακόµη πολύ χρήσιµος MCMC αλγόριθµος, ο δειγµατολήπτης του Gbbs, προέκυψε το 984 από µια εργασία των Geman, S. και Geman, D. στην οποία χρησιµοποιούνταν τέτοιοι αλγόριθµοι για το πρόβληµα της αποκατάστασης εικόνας (Glks et al., 996). Πιο πρόσφατα το 990 οι Gelfant και Smth έδειξαν ότι οι MCMC µέθοδοι µπορούν να εφαρµοσθούν αποτελεσµατικά σε µια ποικιλία στατιστικών προβληµάτων και το 993 οι Smth και Roberts έδειξαν ότι ο δειγµατολήπτης του Gbbs µπορεί να χρησιµοποιηθεί στη Μπεϋζιανή στατιστική. Σήµερα οι MCMC αλγόριθµοι χρησιµοποιούνται σε ένα ευρύ επιστηµονικό φάσµα εκτός των µαθηµατικών, όπως στη στατιστική φυσική, τη βιολογία, τη γενετική, τη χηµεία, την πληροφορική, τα χρηµατοοικονοµικά και αλλού. Στη στατιστική και στις πιθανότητες συγκεκριµένα, χρησιµοποιούνται για εύρεση βασικών χαρακτηριστικών κάποιων µοντέλων, όπως η µέση τιµή, η διασπορά, και άλλων παραµέτρων. Ιδιαίτερα χρήσιµη είναι η βοήθειά τους στον υπολογισµό ολοκληρωµάτων, κυρίως πολλαπλών και όταν η υπό ολοκλήρωση ποσότητα έχει σύνθετη µορφή. Ακόµα δουλεύουν αποτελεσµατικά σε περίπλοκης δοµής πολυδιάστατα προβλήµατα που οι συνηθισµένες αριθµητικές µέθοδοι αδυνατούν. Στις διάφορες εφαρµογές των MCMC µεθόδων προέκυψαν σηµαντικές δυσκολίες. Γνωρίζουµε ότι κάτω από ορισµένες προϋποθέσεις µια µαρκοβιανή αλυσίδα συγκλίνει στην κατανοµή ισορροπίας από την οποία παίρνουµε και το δείγµα. Ένα σηµαντικό πρόβληµα που προκύπτει είναι να προσδιορίσουµε τον αριθµό των βηµάτων που χρειάζονται µέχρι να συγκλίνει η µαρκοβιανή αλυσίδα στην κατανοµή ισορροπίας, µε ένα αποδεκτό σφάλµα. Ο αριθµός αυτών των βηµάτων είναι γνωστός ως χρόνος µίξης (mxng tme) της µαρκοβιανής αλυσίδας. Ποιό σφάλµα όµως θεωρείται αποδεκτό, δηλαδή πότε το αποτέλεσµα του αλγόριθµου αντιπροσωπεύει επαρκώς την κατανοµή στόχο και µπορεί να χρησιµοποιηθεί για εκτίµηση; Από ποιους παράγοντες επηρεάζονται και µε ποια κριτήρια αξιολογούµε τα διάφορα σφάλµατα; Ένα ακόµα πρόβληµα που παρουσιάζεται όταν εφαρµόζουµε κάποια MCMC µέθοδο σε ένα µοντέλο, είναι η ενδεχόµενη ισχυρή συσχέτιση των παραµέτρων ή των παραγόντων του µοντέλου. Τότε η αλυσίδα χρειάζεται πολύ χρόνο για να φτάσει στην κατανοµή ισορροπίας και κινείται αργά προς την κατανοµή στόχο. Σ αυτή την περίπτωση η µαρκοβιανή αλυσίδα λέγεται ασθενούς µίξης (poor mxng) και το MC τυπικό σφάλµα (standard error) στο MCMC εξαγόµενο δείγµα (output) θα είναι µεγάλο. Το ίδιο συµβαίνει και όταν µελετάµε πολυδιάστατα προβλήµατα. Εδώ τίθεται το ζήτηµα 3

14 εάν η αλυσίδα έτρεξε αρκετά. Οι αρχικές συνθήκες επηρέασαν την ταχύτητα της; Θα πρέπει να δοκιµάσουµε να τρέξουµε τον αλγόριθµο από διαφορετικές αρχικές τιµές; υσκολίες παρουσιάζονται και όταν έχουµε να αντιµετωπίσουµε σύνθετα προβλήµατα ετερογένειας χώρου ή multmodal κατανοµών. Εδώ το φαινόµενο που µελετάµε δεν εξελίσσεται οµοιοτρόπως στον χώρο που ορίζεται αλλά διαφορετικά ανά περιοχές του. ηλαδή η συνάρτηση κατανοµής δεν δίνεται από έναν τύπο για όλο το πεδίο ορισµού της αλλά από διαφορετικούς τύπους ανά περιοχές. Έτσι είναι δύσκολο να πάρουµε από την µέθοδο κατάλληλο δείγµα από όλη την κατανοµή και συνήθως ο αλγόριθµος εγκλωβίζεται σε ένα µεµονωµένο κοµµάτι του παραµετρικού χώρου. Άρα είναι δύσκολο η µαρκοβιανή αλυσίδα να εξερευνήσει όλη την κατανοµή. Επίσης σε πολλές περιπτώσεις είναι δύσκολο να διακρίνουµε αν το δείγµα από την µαρκοβιανή αλυσίδα προέρχεται από την κατανοµή στόχο ή από ένα µικρό κοµµάτι του παραµετρικού χώρου (Gvens, G.H. and Hoetng, J.A. (005)). Σε αυτήν την εργασία θα επικεντρωθούµε στις Markov Chan Monte Carlo µεθόδους. Σε ένα πρώτο εισαγωγικό κεφάλαιο θα αναφέρουµε τους βασικούς ορισµούς, τα βασικά θεωρήµατα και συµπεράσµατα γύρω από τις µαρκοβιανές διαδικασίες και τη θεωρία πιθανοτήτων. Στο δεύτερο κεφάλαιο θα αναλύσουµε τους πιο βασικούς Markov Chan Monte Carlo αλγόριθµους και θα δώσουµε κάποια παραδείγµατα. Στο τρίτο και τελευταίο κεφάλαιο θα αναλύσουµε θεωρητικά πώς µπορούµε να κατασκευάσουµε Μαρκοβιανές αλυσίδες και θα κάνουµε µια εφαρµογή σε αυτή τη µεθοδολογία δηµιουργώντας Μαρκοβιανή αλυσίδα στον υπολογιστή. Θα αναφερθούµε στο κλειστό οµογενές Μαρκοβιανό σύστηµα διακριτού χρόνου το οποίο και θα προσοµοιώσουµε µε τη βοήθεια MCMC αλγόριθµου δηµιουργώντας το κατάλληλο πρόγραµµα στον υπολογιστή. Τέλος, θα προσοµοιώσουµε το σύστηµα αυτό µε έναν διαφορετικό τρόπο και θα συγκρίνουµε τα αποτελέσµατα. 4

15 ΚΕΦΑΛΑΙΟ 0 Βασικά στοιχεία των Μαρκοβιανών αλυσίδων και της Θεωρίας Πιθανοτήτων. Μαρκοβιανές Αλυσίδες Οι Μαρκοβιανές αλυσίδες οφείλονται στον Ρώσο µαθηµατικό Markov το 907. Συνοπτική ανάπτυξη της βασικής θεωρίας απαντάται στους Chung (967), Dunkn (965) και Freedman (97). Την παραπάνω βιβλιογραφία ακολουθήσαµε στους βασικούς ορισµούς και τα αποτελέσµατα που παραθέτουµε στη συνέχεια. Ορισµός.. Στοχαστική διαδικασία ονοµάζουµε µια οικογένεια τυχαίων µεταβλητών ορισµένων σε ένα χώρο πιθανοτήτων ( Ω, F, P). Εάν το πλήθος της οικογένειας είναι αριθµήσιµο η αλυσίδα συµβολίζεται µε X, X,..., ενώ αν δεν είναι αριθµήσιµο συµβολίζεται µε { X () t, t 0}. Ορισµός.. Χώρος καταστάσεων της στοχαστικής διαδικασίας είναι ο χώρος που σχηµατίζεται από όλες τις πιθανές τιµές (συνήθως) µε X t { 0,,,... }. Μπορεί να είναι διακριτός οπότε τον συµβολίζουµε ( ) S = ή συνεχής οπότε τον συµβολίζουµε µε S =, +. Ορισµός..3 Μαρκοβιανή διαδικασία, είναι µια στοχαστική διαδικασία που έχει την ιδιότητα του Markov, δηλαδή η πιθανότητα η διαδικασία να µετακινηθεί στο µέλλον (την επόµενη χρονική στιγµή) σε οποιαδήποτε κατάσταση, εξαρτάται µόνο από την παρούσα θέση και δεν απαιτείται επιπλέον πληροφορία που αφορά το παρελθόν. ηλαδή µια στοχαστική διαδικασία είναι Μαρκοβιανή εάν { Xn S Xt = x Xt = x Xt = xn} = { Xn S Xt = x } Pr /,,..., Pr / όπου S ο χώρος καταστάσεων και t < t... < tn < t ο χρόνος. n n n, (.) 5

16 Ορισµός..4 Μαρκοβιανή αλυσίδα (Μ.Α) καλείται κάθε Μαρκοβιανή διαδικασία σε διακριτό χρόνο και χώρο καταστάσεων. Ορισµός..5 Έστω ο χώρος καταστάσεων S = {,,..., k } και η Μαρκοβιανή αλυσίδα X } µε τιµές από τον S. Οι υπό συνθήκη πιθανότητες p () t Pr{ X = j / X } j t t = { t = µε, j =,,..., k και t =,,..., (.) που εκφράζουν την πιθανότητα η Μαρκοβιανή αλυσίδα τη χρονική στιγµή t να µεταβεί στην κατάσταση j, δεδοµένου ότι την προηγούµενη χρονική στιγµή t βρισκόταν στην κατάσταση, ονοµάζονται πιθανότητες µετάβασης της Μαρκοβιανής αλυσίδας. Ορισµός..6 Μια Μαρκοβιανή αλυσίδα στην οποία η πιθανότητα µετάβασης από µια κατάσταση σε µια άλλη είναι ανεξάρτητη του χρόνου µετάβασης λέγεται στατική ή οµογενής. Τότε Pr{ X = j / X = } = p για κάθε, j =,,..., k και t =,,.... (.3) t t j Ορισµός..7 Ονοµάζουµε πίνακα µετάβασης της Μαρκοβιανής αλυσίδας στο χρονικό διάστηµα () () [ t, t) και µε χώρο καταστάσεων S = {,,..., k}, τον πίνακα P t = p t } µε, j =,,..., k και γράφουµε () ( ).. k ( ) () ().. () { j p t p t p t p t p t pk t P() t = (.4)..... pk() t pk() t.. pkk() t Αν η Μαρκοβιανή αλυσίδα είναι οµογενής, δηλαδή αν οι πιθανότητες µετάβασης είναι ανεξάρτητες του χρόνου, τότε έχουµε 6

17 p p.. p k p p.. p k P = (.5)..... pk pk.. p kk Θεωρούµε µια Μαρκοβιανή αλυσίδα διακριτού χρόνου. Είναι ενδιαφέρον να υπολογίσουµε την πιθανότητα η αλυσίδα να βρίσκεται σε µια συγκεκριµένη κατάσταση µια συγκεκριµένη χρονική στιγµή, για όλες τις καταστάσεις και όλες τις χρονικές στιγµές. ηλαδή για την Μαρκοβιανή αλυσίδα } θέλουµε να βρούµε τις πιθανότητες ι ( n) = Pr{ X n = } { X n n=0 π για n = 0,,... και = 0,,.... (.6) Το σύνολο των παραπάνω πιθανοτήτων για κάθε κατάσταση της αλυσίδας σε µια χρονική στιγµή n, αποτελεί την κατανοµή της τη χρονική στιγµή n, και δίνεται µε το διάνυσµα κατάστασης ( ( n) = π ( n) π ( n) π ( n) π,,...,,...) T, (.7) όπου το σύµβολο T δηλώνει το ανάστροφο (διανύσµατος ή πίνακα). π 0, π 0,..., π 0,... λέγονται πιθανότητες αρχικής κατάστασης της Οι πιθανότητες ( ) ( ) ( ) ι αλυσίδας και δίνουν την αρχική της κατανοµή, δηλαδή τη χρονική στιγµή t = 0. Προφανώς εφόσον αναφερόµαστε σε πιθανότητες ισχύει = 0 ( n) π =, για κάθε n = 0,,.... (.8) Ορισµός..8 Μια Μαρκοβιανή αλυσίδα µε πεπερασµένο χώρο καταστάσεων λέγεται πεπερασµένη. Παρακάτω δίνεται ένα σηµαντικό θεώρηµα που συνδέει την αρχική κατανοµή µε την κατανοµή της αλυσίδας στην ισορροπία (δηλαδή όταν n ) δια µέσου του πίνακα µετάβασης. 7

18 Θεώρηµα.. Θεωρούµε µια πεπερασµένη οµογενή Μαρκοβιανή αλυσίδα µε πίνακα µετάβασης, P = { },, j =,,..., k, και χώρο καταστάσεων S = {,,..., k}. Έστω επίσης π p j ( π π π ) ( ) = ( ) ( ) ( ) 0 0, 0,..., 0,... T αλυσίδας στο χρόνο καταστάσεων στο χρόνο Ισχύει επίσης το διάνυσµα των αρχικών καταστάσεων της ( ) t = 0 και π ( n) = π ( n), π ( n),..., π ( n),... T το διάνυσµα n.τότε ισχύει T n ( n ) = ( 0) T π π P, για,,... T ( t ) ( t) n =. (.9) T π + = π P. (.0) Ορισµός..9 Θεωρούµε µια πεπερασµένη οµογενή Μαρκοβιανή αλυσίδα η οποία βρίσκεται στην κατάσταση j S από n βήµατα µε. Ορίζουµε την πιθανότητα πρώτης επανόδου στην κατάσταση j µετά ( n) X = j, X j,..., X j / X } f jj = Pr{ n n 0 = j. (.) Ορισµός..0 Η πιθανότητα να επιστρέψει η αλυσίδα στην κατάσταση j, ανεξάρτητα από τον αριθµό βηµάτων, συµβολίζεται µε f jj, δίνεται από τη σχέση f = jj f jj ( n), (.) n= και ονοµάζεται πιθανότητα επαναφοράς της αλυσίδας στην κατάσταση j για πρώτη φορά. Η πιθανότητα η αλυσίδα να µεταβεί από την κατάσταση ακριβώς µετά από n βήµατα είναι j S στην κατάσταση k S ( ) 0 f n = Pr{ X = k, X k,..., X k/ X = j }. (.3) jk n n 8

19 Ορισµός.. Η πιθανότητα η αλυσίδα να µεταβεί από την κατάσταση για πρώτη φορά είναι j S στην κατάσταση k S Ορισµός.. Μια κατάσταση S f = jk f jk ( n). (.4) n= καλείται επαναληπτική αν f = f ( n) =. (.5) n= ηλαδή µια κατάσταση καλείται επαναληπτική όταν είναι βέβαιο ότι κάποια στιγµή στο µέλλον η αλυσίδα θα ξαναβρεθεί σ αυτή. Μια µη επαναληπτική κατάσταση λέγεται παροδική. Ορισµός..3 Μια κατάσταση S λέγεται περιοδική µε περίοδο d, εάν ο µέγιστος κοινός διαιρέτης ( n) όλων των n για τα οποία p > 0 είναι ο d. ηλαδή µια κατάσταση S είναι περιοδική µε περίοδο d εάν η επαναφορά σε αυτή είναι δυνατή µόνο σε αριθµό µεταβάσεων πολλαπλάσιο του d. Μια κατάσταση µε περίοδο τη µονάδα λέγεται απεριοδική. Ορισµός..4 Θα λέµε ότι η κατάσταση S της Μαρκοβιανής αλυσίδας επικοινωνεί µε την ( n) κατάσταση j και θα γράφουµε j εάν υπάρχει χρόνος n τέτοιος ώστε > 0. p j Ορισµός..5 Θα λέµε ότι οι καταστάσεις γράφουµε j. Η σχέση επικοινωνίας είναι σχέση ισοδυναµίας., j S επικοινωνούν εάν j και j και θα Ορισµός..6 Μια Μαρκοβιανή αλυσίδα της οποίας κάθε κατάσταση κατάσταση j S λέγεται αδιαχώριστη. S είναι προσιτή από κάθε 9

20 Ορισµός..7 Μια Μαρκοβιανή αλυσίδα µε χώρο καταστάσεων S = {,,..., k} για την οποία ισχύει ότι f f ( n), για κάθε κατάσταση λέγεται επαναληπτική. = = S n= Επίσης µια Μαρκοβιανή αλυσίδα που είναι επαναληπτική και αδιαχώριστη λέγεται θετικά επαναληπτική. Ορισµός..8 Μια Μαρκοβιανή αλυσίδα ονοµάζεται εργοδική εάν είναι αδιαχώριστη, απεριοδική και όλες οι καταστάσεις είναι θετικά επαναληπτικές. Ορισµός..9 Θεωρούµε µια Μαρκοβιανή αλυσίδα διακριτού χρόνου, µε πίνακα µετάβασης διάνυσµα π, όπως έχει οριστεί από τις (.6) και (.7), του οποίου οι συνιστώσες αθροίζουν στην µονάδα. Κάθε διακριτή συνάρτηση κατανοµής για την οποία ισχύει Τ Τ π = π P (.6) και k = π =, λέγεται κατανοµή ισορροπίας της ΜΑ. Η κατανοµή ισορροπίας π = ( π, π,..., π κ ) π π n T σχέση lm P =. = π, n ~. π όπου T = (,,...,) T P και µιας αλυσίδας Markov ορίζεται από τη όταν το π υπάρχει, δηλαδή όταν η αλυσίδα είναι εργοδική και αδιαχώριστη. Μια συνθήκη (ικανή συνθήκη) που εξασφαλίζει ότι η π είναι η κατανοµή ισορροπίας της Μαρκοβιανής αλυσίδας είναι π p = π p για κάθε j. (.7) j j j 0

21 Ορισµός..0 Εάν υπάρχει το όριο lm ( n) Μαρκοβιανής αλυσίδας. n π = π, τότε η π λέγεται οριακή κατανοµή της Παρακάτω παραθέτουµε µερικά βασικά ασυµπτωτικά θεωρήµατα της θεωρίας πιθανοτήτων που θα φανούν χρήσιµα στη συνέχεια καθώς και ένα πολύ βασικό θεώρηµα σύγκλισης και µοναδικότητας Μαρκοβιανών αλυσίδων. Θεώρηµα.. (Ασθενής νόµος των µεγάλων αριθµών) Έστω } µια ακολουθία ανεξάρτητων και ισόνοµων τυχαίων µεταβλητών µε { X n n= πεπερασµένες µέσες τιµές Τότε ( ) = µ E, για =,,.... X X p X... X n µ n n (σύγκλιση κατά πιθανότητα) (.8) Θεώρηµα..3 (Ισχυρός νόµος των µεγάλων αριθµών) Έστω } µια ακολουθία ανεξάρτητων και ισόνοµων τυχαίων µεταβλητών µε { X n n= πεπερασµένες µέσες τιµές Τότε X X... n ( ) = µ E, για =,,.... X X σ. β n n µ (σύγκλιση µε πιθανότητα ) (.9) Θεώρηµα..4 (Κεντρικό Οριακό Θεώρηµα) Αν } είναι µια ακολουθία ανεξάρτητων και ισόνοµων τυχαίων µεταβλητών µε { X n n= πεπερασµένες µέσες τιµές =,,..., τότε ( ) = µ E, και πεπερασµένες διασπορές Var = σ για X ( ) X X lm P n + X X σ n n nµ a = a e π x dx, (.0)

22 δηλαδή η τυχαία µεταβλητή S n = X + X X n ακολουθεί ασυµπτωτικά κανονική X κατανοµή σχεδόν βέβαια, ή, αλλιώς, η τυχαία µεταβλητή Z = + X X σ n n nµ ακολουθεί ασυµπτωτικά τυποποιηµένη κανονική κατανοµή σχεδόν βέβαια. Παρακάτω δίνεται µια µορφή ενός εργοδικού θεωρήµατος που αποτελεί γενίκευση του ισχυρού νόµου των µεγάλων αριθµών. Θεώρηµα..5 (Εργοδικό θεώρηµα) Έστω { } X, =,,..., µια αδιαχώριστη και απεριοδική Μαρκοβιανή αλυσίδα µε κατανοµή ισορροπίας π. Τότε η { X } συγκλίνει κατά νόµο στην π και για κάθε συνάρτηση h ισχύει ότι { } < όταν h( X) E. π n n t= h ( X ) E { h( X ) t σ. β n π }, (.) Θεώρηµα..6 (Σύγκλιση Μ. Α, µοναδικότητα κατανοµής ισορροπίας) Για κάθε θετικά επαναληπτική, αδιαχώριστη και απεριοδική Μαρκοβιανή αλυσίδα η κατανοµή πιθανότητας ( n) την αρχική κατάσταση π π συγκλίνει σε µια κατανοµή ισορροπίας π, ανεξάρτητα από ( 0). Η κατανοµή ισορροπίας είναι µοναδική. Οι συνιστώσες (πιθανότητες) του διανύσµατος της κατανοµής ισορροπίας π, της εργοδικής Μαρκοβιανής αλυσίδας του θεωρήµατος (..6), αναφέρονται συνήθως ως πιθανότητες της κατάστασης ισορροπίας. Το ζητούµενο στις Markov Chans Monte Carlo (MCMC) µεθόδους είναι να κατασκευάσουµε µια Μαρκοβιανή αλυσίδα της οποίας η κατανοµή ισορροπίας να είναι η κατανοµή για την οποία ενδιαφερόµαστε (κατανοµή στόχος). Λόγω της ιδιότητας του Markov ο MCMC αλγόριθµος µετά από µια µακρά burn - n περίοδο, δηλαδή την περίοδο πριν την επιθυµητή ακρίβεια της σύγκλισης, παράγει ένα εξαρτηµένο δείγµα το οποίο µπορεί να θεωρηθεί ότι προέρχεται από την ζητούµενη κατανοµή. Ο burn - n χρόνος που τρέχει ο αλγόριθµος είναι σηµαντικός και επηρεάζεται πολλές φορές

23 καθοριστικά από την επιλογή της αρχικής τιµής της Μαρκοβιανής αλυσίδας από την οποία ξεκινά να τρέχει. Οι τιµές που προκύπτουν κατά την burn n περίοδο δεν λαµβάνονται υπόψη (ως προερχόµενες από την κατανοµή στόχο), αφού προέρχονται από κατανοµές συνήθως αρκετά διαφορετικές από την κατανοµή στόχο. 3

24 ΚΕΦΑΛΑΙΟ 0 Βασικές MCMC µέθοδοι Ξεκινάµε την παρουσίαση των βασικών MCMC µεθόδων µε την ολοκλήρωση Monte Carlo. Ακολουθήσαµε τους Sobol (994), Murphy (006), Geyer (993), Gelfand (000), Neal (993) και Glks et. al. (996). Επίσης κατασκευάσαµε παραδείγµατα για την καλύτερη κατανόηση των θεωρητικών αποτελεσµάτων... Ολοκλήρωση Monte Carlo Πολλά ολοκληρώµατα δεν είναι πάντα αναλυτικά υπολογίσιµα. Όπως έχουµε αναφέρει και στην εισαγωγή κύριοι παράγοντες που δυσκολεύουν τον ακριβή υπολογισµό τους είναι η σύνθετη µορφή της υπό ολοκλήρωση ποσότητας και η µορφή του πεδίου ολοκλήρωσης. Το πρόβληµα γίνεται ακόµα πιο δύσκολο όταν η υπό ολοκλήρωση συνάρτηση ή το πεδίο ολοκλήρωσης είναι ορισµένα σε χώρους πολλών διαστάσεων. Ιδιαίτερα αυτές οι περιπτώσεις είναι απροσπέλαστες για τις άλλες µεθόδους υπολογισµού ολοκληρωµάτων. Σε αυτές φαίνεται περισσότερο η χρησιµότητα της Monte Carlo ολοκλήρωσης και είναι τελικά ενδιαφέρον πώς για µια διαδικασία σαν την ολοκλήρωση οι επιστήµονες στράφηκαν σε µια πιθανοκρατική µέθοδο. Αρχικά θα ξεκινήσουµε µε την Monte Carlo ολοκλήρωση σε µια διάσταση. Θεωρούµε την συνάρτηση g( x) : Ag, η οποία είναι ολοκληρώσιµη στο πεδίο ορισµού της. Θέλουµε να υπολογίσουµε το ολοκλήρωµα όπου [ α, β ] ( ) A g I = β α ( x) g dx,. Το παραπάνω ολοκλήρωµα γράφεται β β β g ( ) ( x) g x dx = p( x) dx = h( x) p( x) p( x) I = dx, (.) α όπου p x οποιαδήποτε συνάρτηση πυκνότητας πιθανότητας, α α p( x) 0. Έτσι λοιπόν το ζητούµενο ολοκλήρωµα δίνεται πλέον ως µια µέση τιµή, στην περίπτωσή µας της τυχαίας µεταβλητής (τ.µ) ( Z ) ( Z ) ( Z ), g h = όπου η Z ορίζεται στο διάστηµα p 4

25 ολοκλήρωσης [ β ] λοιπόν, Έστω τώρα h h( Z ) α, και έχει συνάρτηση πυκνότητας πιθανότητας την p x. Έτσι, β = g( x) dx = h( x) p( x) dx E( h) I = α ( Z ) ( Z ) β α g = =, =,,..., N, όπου Z, =,,..., N, τιµές της τ.µ Z. p Τότε το άθροισµα αυτών των τυχαίων µεταβλητών, όπως προκύπτει από το κεντρικό οριακό θεώρηµα, θα ακολουθεί ασυµπτωτικά την κανονική κατανοµή. Επειδή για ανεξάρτητες και ισόνοµες τ.µ Z, Z,..., Z N µε µέση τιµή µ και διασπορά ότι θα είναι ή δηλαδή ( Nµ - 3σ < Z + Z Z < Nµ + 3σ) 0, 997 prob N, prob N I 3σ < h < + 3 0,9 σ prob I 3 < N prob N N N N N I σ 97, = N = g g p ( Z ) ( Z ) ( Z ) ( Z ) = p N I Εποµένως εάν επιλέξουµε N τιµές h h( Z ) N, ο µέσος που προκύπτει από τις τιµές της ολοκλήρωµα. ηλαδή, I N σ < I + 3 0,997, N. ( ) σ ισχύει σ < 3 0,997. (.) ( Z ) ( Z ) g = =, =,,..., N, τότε για µεγάλο p N g = N p = h ( Z ) ( Z ) θα είναι σχεδόν ίσος µε το ζητούµενο I. (.3) Όπως φαίνεται από την σχέση (.), η πιθανότητα το σφάλµα της εκτίµησης του ολοκληρώµατος να είναι µικρότερο του σ 3 είναι σχεδόν 0,997, δηλαδή σχεδόν. N Έτσι η ακρίβεια της εκτίµησης εξαρτάται από την διασπορά, που µε τη σειρά της 5

26 επηρεάζεται από την συνάρτηση και κατ επέκταση την πυκνότητα p x που έχουµε επιλέξει. h ( ) Αποδεικνύεται ότι η ελάχιστη διασπορά επιτυγχάνεται όταν η συνάρτηση πυκνότητας πιθανότητας p είναι ανάλογη της g ( x) (Sobol M., 994) και µάλιστα ( x) ( x) = β α ( x) g p. (.4) g ( x) Στην πράξη είναι αδύνατο να βρούµε την πυκνότητα p ( x) που ελαχιστοποιεί το σφάλµα γιατί αυτό προϋποθέτει την γνώση του ολοκληρώµατος που θέλουµε να υπολογίσουµε. Πολλές φορές έχουµε την δυνατότητα να γνωρίζουµε την µορφή που θα έχει περίπου η p ( x). Η διαδικασία υπολογισµού ολοκληρώµατος κατά την οποία επιλέγουµε συνάρτηση σπουδαιότητας. ( x) p παρεµφερή της g ( x) λέγεται δειγµατοληψία Παρακάτω θα δώσουµε ένα παράδειγµα υπολογισµού ενός απλού ολοκληρώµατος µε τη µέθοδο Monte Carlo. Ο κώδικας είναι γραµµένος στο πρόγραµµα Matlab, και παρατίθεται στο παράρτηµα Α, όπως και οι κώδικες ακολουθήσουν. των παραδειγµάτων που θα Παράδειγµα ο Έστω η συνάρτηση f ( x) x 3, x [ 0, ] ( ). Είναι γνωστό ότι 3 I = f x dx = x dx 0 0 =. Θα υπολογίσουµε το ολοκλήρωµα 4 3 x I = x dx = dx = 0, '. Ακολουθώντας την µεθοδολογία που αναπτύσσουµε στην παράγραφο (.) και µε τη βοήθεια της σχέσης (.) το ζητούµενο ολοκλήρωµα γράφεται ως εξής: f( x) I = f ( x) dx = p( x) dx = p( x) h( x) dx p x. ( ) Η συνάρτηση πυκνότητας πιθανότητας την οποία επιλέγουµε να χρησιµοποιήσουµε για την εκτίµηση του ολοκληρώµατος είναι η οµοιόµορφη στο διάστηµα [ 0, ], δηλαδή Έτσι θα έχουµε: ( ) p x [ ], x 0, =. 0, αλλου 6

27 3 f( x) x 3 I = f x dx = p x dx = dx = x dx ( ). ( ) p x ( ) Στον κώδικα που κατασκευάσαµε (βλ. σελ. 80), ορίζουµε τον αριθµό των δειγµατικών σηµείων που θα χρησιµοποιήσουµε, παίρνουµε το δείγµα µε τη βοήθεια της p( x) υπολογίζουµε τον δειγµατικό µέσο και την δειγµατική διασπορά. Λόγω του εργοδικού θεωρήµατος (..5), ο δειγµατικός µέσος προσεγγίζει ασυµπτωτικά το ολοκλήρωµα οπότε µπορεί να χρησιµοποιηθεί ως εκτίµηση του ζητούµενου ολοκληρώµατος. Τρέξαµε το πρόγραµµα στον υπολογιστή για 000 δειγµατικά σηµεία και το και I, ολοκλήρωµα εκτιµήθηκε I ˆ = 0,567 µε τυπικό σφάλµα se = 0,009. Αυξάνοντας το µέγεθος του δείγµατος η εκτίµηση πλησιάζει όλο και πιο πολύ την πραγµατική τιµή του ολοκληρώµατος. Στη συνέχεια θα δούµε την ολοκλήρωση Monte Carlo από µια άλλη οπτική όπου εµπλέκονται και οι µαρκοβιανές αλυσίδες. Υποθέτουµε πως έχουµε µια τυχαία µεταβλητή X µε συνάρτηση κατανοµής π (x) και συνάρτηση πυκνότητας πιθανότητας ( x) E ( g( x) ) <. Θέλουµε να υπολογίσουµε το ( ) f. Έστω επίσης συνάρτηση g x µε ( ( )) µ = gxf ( ) ( xdx ) = E g x. (.5) Ας υποθέσουµε ότι παίρνουµε ανεξάρτητο και ισόνοµο τυχαίο δείγµα µεγέθους n, από την κατανοµή ισορροπίας { X, X,..., X n π. Από τον ισχυρό νόµο των µεγάλων αριθµών ο δειγµατικός µέσος συγκλίνει στον πληθυσµιακό µέσο σχεδόν βέβαια, οπότε όταν n ( ) ( ) έχουµε ( n ˆ µ MC = g µ = n = σ. β ( X ) g( x) f ( x)dx Εάν u x = g x µ ) τότε η δειγµατική διασπορά του ˆµ MC είναι = }. (.6) n var{ ˆ µ MC} = ( g( X ) ˆ µ MC ). (.7) n Όταν το σ υπάρχει, από το κεντρικό οριακό θεώρηµα προκύπτει ότι το ακολουθεί ασυµπτωτικά κανονική κατανοµή, για µεγάλο n. ˆµ MC 7

28 Η χρησιµότητα της ολοκλήρωσης Monte Carlo είναι µεγάλη στον υπολογισµό πολλαπλών ολοκληρωµάτων: Ας υποθέσουµε ότι θέλουµε να υπολογίσουµε το ολοκλήρωµα g( x) dx =... g( x, x,... x ) µ = k dxdx... dx k. [0,] k 0 0 Έχουµε = ( g( U) ) = E ( g( U, U,..., )) E 0 µ, όπου οι τυχαίες µεταβλητές U, =,... k, είναι ανεξάρτητες και ακολουθούν οµοιόµορφη κατανοµή. Προφανώς και οι ( U ) g( U ) g( U k g,...,, ) µεγάλων αριθµών θα ισχύει U k είναι ανεξάρτητες και ισόνοµες και από τον ισχυρό νόµο των n n = σ.β g( U ) E( g( U )). Φυσικά η µέθοδος ισχύει για οποιαδήποτε άκρα ολοκλήρωσης τα οποία µε κατάλληλο µετασχηµατισµό µετατρέπονται στα 0 και. Στη συνέχεια θα υπολογίσουµε ένα διπλό ολοκλήρωµα µε τη µέθοδο της Monte Carlo ολοκλήρωσης. Για τον υπολογισµό αυτό κατασκευάσαµε το κατάλληλο πρόγραµµα στο Matlab το οποίο παρατίθεται µε τις απαραίτητες επεξηγήσεις στο παράρτηµα Α (σελ.80). Παράδειγµα ο Θέλουµε να υπολογίσουµε τον άρρητο αριθµό π. Είναι γνωστό ότι το εµβαδό που περικλείεται από κύκλο ( c ): x y r µε κέντρο + = ( ) το εµβαδό σε µορφή ολοκληρώµατος δίνεται από την σχέση r r I I = I dxdy, οπότε π =. ( x + y r ) r r r Το ολοκλήρωµα I µπορεί να γραφεί r r r r I = I dxdy = ( ) ( r) ( r) I dxdy x + y r = ( x + y r ) r r r r r r r r r r r r 4,, 0,0 και ακτίνα r είναι π r. Αυτό, = r I dxdy = h x y dxdy = h x y p x p x dxdy r r r r ( ) ( ) ( ) ( ) ( ) x + y r r r r r r r 8

29 όπου p ( x ) και p ( ) κατανοµής στο διάστηµα x οι συναρτήσεις πυκνότητας πιθανότητας της οµοιόµορφης ( rr, ), οι οποίες χρησιµοποιήθηκαν βάση της µεθοδολογίας της παραγράφου (.) για την εκτίµηση του ολοκληρώµατος Κατά την εφαρµογή του προγράµµατος για I. σηµεία το ολοκλήρωµα εκτιµήθηκε I ˆ =,5776, ο άρρητος π εκτιµήθηκε ˆ π = 3,444 και η τυπική απόκλιση του δείγµατος βρέθηκε να είναι se.. = 0,0656. Παρακάτω φαίνεται το νέφος των σηµείων που επιλέχθηκαν τυχαία από το πρόγραµµα. Με κόκκινο χρώµα είναι τα σηµεία που βρίσκονται εκτός κύκλου και µε µπλε τα σηµεία εντός κύκλου Σχήµα.. Νέφος σηµείων για την εκτίµηση του π. Με µπλε χρώµα είναι τα δειγµατικά σηµεία που χρησιµοποιήθηκαν για την εκτίµηση του ολοκληρώµατος I. Παράδειγµα 3 ο Θα υπολογίσουµε µε την ίδια µέθοδο το διπλό ολοκλήρωµα = ( + ) το χωρίο I x y dxdy, όπου { } D είναι ο δακτύλιος D = ( x, y) / x + y και x + y 4. Το χωρίο αυτό µε µεταφορά σε πολικές συντεταγµένες µετατρέπεται στο D 9

30 {(, θ ) / και π θ π } D ' r r Τότε το αρχικό ολοκλήρωµα γίνεται: =. π 4 5 ( ) θ θ π 6 D ' π 6 I = x + y dxdy = r rdrd = d r dr = r = π. (.8) D ηλαδή I 65, Το παραπάνω ολοκλήρωµα µπορεί να γραφεί όπου οι όροι I = x + y dxdy = x + y dxdy ( ) 4 4 ( ), οµοιόµορφης κατανοµής για τις µεταβλητές ηλαδή D D αντιστοιχούν στις συναρτήσεις πυκνότητας πιθανότητας της x και y. ( ) 6 ( ) x(,) y(, ) (, ) ( ) ( ) I = x + y dxdy = x + y U U dxdy = g x y p x p y dxdy D D D Κατασκευάσαµε στο Matlab τον Monte Carlo αλγόριθµο ο οποίος παρατίθεται στο παράρτηµα Α (σελ.8) και εκτιµήσαµε το ολοκλήρωµα. Με δείγµα 5000 σηµείων τα 936 πρόκυψε να ανήκουν στο δακτύλιο και το ολοκλήρωµα εκτιµήθηκε I ˆ = 65,83 µε τυπική απόκλιση se.. =,548. Το νέφος των σηµείων που επελέγησαν απ το πρόγραµµα και η υπό ολοκλήρωση συνάρτηση φαίνονται στα σχήµατα που ακολουθούν. 30

31 Σχήµα.. Νέφος σηµείων για τον υπολογισµό του ολοκληρώµατος I. Σχήµα..3 Το γράφηµα της συνάρτησης f ( xy, ) ( x y ) = +. 3

32 Σε όσα αναφέραµε παραπάνω το δείγµα µας ήταν ανεξάρτητο και ισόνοµο. Αυτό όµως δεν είναι συνήθως εφικτό, οπότε εδώ υπεισέρχονται οι µαρκοβιανές αλυσίδες. Αρχικά δηµιουργούµε έναν Markov Chan αλγόριθµο από κατάλληλη εργοδική Μαρκοβιανή αλυσίδα. Αφού τον τρέξουµε για αρκετό χρόνο, ώστε να περάσει η burn n περίοδος, δηλαδή η αρχική περίοδος κατά την οποία είµαστε ακόµα µακριά από την επιθυµητή κατανοµή, παίρνουµε έναν αριθµό επαναλήψεων του εξαρτηµένο δείγµα από την ζητούµενη κατανοµή. Έστω λοιπόν n. Τότε αυτές είναι ένα { X, X,..., X n δείγµα που προέκυψε από την παραπάνω διαδικασία. Από το εργοδικό θεώρηµα έχουµε n ˆ µ n = g( X ) E ( g( x) ) (.9) π n = µε πιθανότητα, όταν n (Meyer S.P. & Tweede R.L. (993)). Το σφάλµα είναι e ˆ µ µ. n = n Έχουµε υποθέσει από την αρχή ότι η Mαρκοβιανή αλυσίδα είναι εργοδική. Επιπλέον αν η ταχύτητα σύγκλισης είναι γεωµετρική ώστε να ισχύει g( x) + ( ) ε < } το E για κάποιο ε > 0, τότε από το κεντρικό οριακό θεώρηµα για Mαρκοβιανές αλυσίδες αποδεικνύεται ότι (Chan & Geyer (994)) και D n µ ), ( 0 ) n( ˆ µ N σ (.0) = ( ( X ), g( ) σ = var( g( X )) + cov g ). (.) 0 X Πολύ σηµαντικό πρόβληµα στην προσέγγιση µε την ολοκλήρωση Monte Carlo είναι η εκτίµηση της διασποράς σ. Αναφορικά µ αυτό έχουν δοθεί πολλά αποτελέσµατα και µια αναλυτική επισκόπησή τους παρατίθεται στον Geyer (99). Θα αναφερθούµε εν συντοµία σε δύο από τις πιο εύχρηστες και διαδεδοµένες µεθόδους εκτίµησης διασποράς µε χρήση MCMC αλγορίθµων, την Batch Means και την Wndow estmate µέθοδο. 3

33 .. Batch Means εκτιµητής Ας υποθέσουµε ότι θέλουµε να υπολογίσουµε το ολοκλήρωµα της (.5). Υποθέτουµε επίσης ότι τρέξαµε N φορές τον Markov Chan αλγόριθµο που έχουµε κατασκευάσει, αφού πρώτα περάσαµε την burn n περίοδο. Επιθυµούµε το N να είναι όσο το δυνατόν µεγαλύτερο. Έχουµε πλέον ένα µεγάλο δείγµα κατανοµή ισορροπίας. Χωρίζουµε το δείγµα σε στοιχεία, οπότε N = m k. Για κάθε οµάδα υπολογίζουµε το m ˆ = g( X ), =,,..., k k X, X,..., X N οµάδες που κάθε µια περιέχει από την µ. (.) m j= ( ) m+ Ο Batch Means εκτιµητής της διασποράς είναι (Geyer, (99)) k m k = ( n n σ = ˆ µ ˆ µ ). (.3) Το Monte Carlo τυπικό σφάλµα υπολογίζεται να είναι ˆ σ. (.4) Η µέθοδος αυτή είναι ιδιαίτερα εύχρηστη, µε µεγαλύτερο µειονέκτηµα ότι το να είναι τέτοιο ώστε να εξασφαλίζεται οριακά η ανεξαρτησία των N m m πρέπει ˆ µ, =,,..., k, το πλήθος των οποίων πρέπει µε τη σειρά του να είναι τέτοιο ώστε να εφαρµόζεται το κεντρικό οριακό θεώρηµα..3. Wndow estmate µέθοδος Σ αυτή τη µέθοδο προσπαθούµε να υπολογίσουµε την διασπορά µε τη βοήθεια της (.). Είναι Ένας συνεπής εκτιµητής αυτής είναι ο = ( g( X ), g( )) σ = var( g( X )) + cov. 0 X όπου k pˆ = ˆ σ = pˆ +, (.5) N k = 0 pˆ k = ( g( X ) ˆ µ n )( g( X + k ) ˆ µ n ). (.6) N k 33

34 Το πλεονέκτηµα της µεθόδου αυτής είναι ότι βασίζεται στο εύρος του παραθύρου k, δηλαδή στο εύρος του πλήθους των επαναλήψεων που επιλέγουµε να αξιοποιήσουµε για την εκτίµηση της διασποράς, που δεν χρειάζεται να ικανοποιεί καµία συνθήκη σε αντίθεση µε την προηγούµενη µέθοδο. Πριν ξεκινήσουµε την παρουσίαση κάποιων βασικών Markov Chan Monte Carlo αλγορίθµων θα αναφερθούµε σε ορισµένα ζητήµατα που αφορούν στη λειτουργία τους και έχουν ιδιαίτερο ενδιαφέρον. Τίθενται, λοιπόν, τα ερωτήµατα : Παίζουν ρόλο οι αρχικές τιµές (startng values) από τις οποίες ξεκινά να τρέχει ο αλγόριθµος και πώς αυτές επηρεάζουν την ταχύτητα σύγκλισης; Πότε µπορούµε να πούµε ότι τελειώνει η burn n περίοδος ώστε να σταµατήσουµε τον αλγόριθµο ;.4. Επιλογή αρχικών τιµών - Προσδιορισµός της περιόδου burn n και του χρόνου τερµατισµού του αλγόριθµου Η επιλογή των αρχικών τιµών του αλγόριθµου δεν επηρεάζει την οριακή κατανοµή όταν η µαρκοβιανή αλυσίδα είναι αδιαχώριστη και απεριοδική. Τέτοιες αλυσίδες καταλήγουν γρήγορα στην κατανοµή ισορροπίας, αλλά ακόµα και όταν χρησιµοποιούµε ακραίες αρχικές τιµές πάλι καταλήγουµε στην κατανοµή ισορροπίας, σε περισσότερο όµως χρόνο. Σε πολλές περιπτώσεις που χρησιµοποιούµε αλυσίδες που εµφανίζουν µικρή µίξη, δηλαδή έχουν µεγάλη burn n περίοδο, οι τιµές εκκίνησης του αλγορίθµου θα πρέπει να επιλέγονται προσεκτικά. Συνήθως επιδιώκεται οι αρχικές τιµές να είναι ευρέως διασκορπισµένες και να προέρχονται ει δυνατόν από την κατανοµή στόχο ώστε να έχουµε και γρήγορη σύγκλιση, αλλά και για να καλύπτει η προσοµοίωση όλο το εύρος της κατανοµής. Για περισσότερα µπορεί κανείς να δει στους Gelman και Rubn (99) και Geyer (99). Όπως έχουµε αναφέρει πιο πριν, η burn n περίοδος είναι ένας αριθµός επαναλήψεων (βηµάτων) του MCMC αλγόριθµου, του οποίου το εξαγόµενο δεν έχει αποµακρυνθεί ικανοποιητικά από τις αρχικές τιµές ή δεν έχει προσεγγίσει την κατανοµή στόχο. Συνεπώς, θεωρείται ότι το εξαγόµενο δεν προέρχεται από την κατανοµή ισορροπίας και δεν χρησιµοποιείται. Το εύρος της burn n περιόδου εξαρτάται από την επιλογή των αρχικών τιµών και την κατανοµή ισορροπίας που θέλουµε να προσεγγίσουµε. Πιο αναλυτικά µπορεί να δει κανείς στους Cowles και Carln (994) και Geweke (99). Η 34

35 πιο προφανής και κοινά αποδεκτή µέθοδος προσδιορισµού της burn n περιόδου είναι το γράφηµα των τιµών του αλγόριθµου, όπου φαίνεται πότε η αλυσίδα έχει αποµακρυνθεί αρκετά από τις αρχικές τιµές. Το πότε πρέπει να σταµατήσει να τρέχει ο αλγόριθµος είναι ένα σηµαντικό θέµα. Θέλουµε να τρέξει αρκετά ώστε να πετύχουµε ακριβή εκτίµηση του εργοδικού µέσου. Η πιο συνηθισµένη µέθοδος για τον προσδιορισµό του, είναι να τρέξουµε πολλές αλυσίδες παράλληλα ξεκινώντας από διαφορετικές αρχικές τιµές και να συγκρίνουµε τους εργοδικούς µέσους που προκύπτουν. Σε περίπτωση που διαφέρουν αρκετά πρέπει να αυξήσουµε τον αριθµό των επαναλήψεων του αλγόριθµου. Στη συνέχεια θα παρουσιάσουµε τους βασικούς MCMC αλγόριθµους ακολουθώντας την ιστορική εµφάνισή τους..5. Ο αλγόριθµος Metropols Ο αλγόριθµος Metropols παρουσιάστηκε το 953 στην εργασία των Metropols, A. Rosenbluth, M. Rosenbluth, A. Teller και E. Teller και εφαρµόστηκε αρχικά στην Στατιστική Φυσική. Ζητούµενο για τον αλγόριθµο είναι η εύρεση της κατανοµής στόχου (κατανοµή ισορροπίας) και η εξαγωγή δείγµατος από αυτή. Έστω ότι η κατανοµή στόχος n n που θέλουµε να προσεγγίσουµε είναι η p( x) : A, µε = (,,..., ) x x x x n. Απαραίτητη για τη προτεινόµενη λειτουργία του αλγόριθµου είναι µια συµµετρική κατανοµή εισήγησης (proposal dstrbuton) g( x): για την οποία ισχύει ) g ( x / x ) = g( x / x ) t t t t n n A, δηλαδή µια κατανοµή, για κάθε t, (.7) όπου oι παραπάνω συναρτήσεις εξαρτώνται εν γένει και από µια παράµετρο θ = ( θ θ,,..., θn, όµως για ευκολία ακολουθήσαµε τον παραπάνω συµβολισµό. Ακόµα χρειάζεται να ξέρουµε την κατανοµή στόχο χωρίς την σταθερά κανονικοποίησης Z που γενικά είναι δύσκολα υπολογίσιµη. Αν λοιπόν είναι p( x ) η κατανοµή στόχος, όπου p π ( x) ( x ) =, θέλουµε να γνωρίζουµε την ( ) Z π x και να µπορούµε να πάρουµε εύκολα n δείγµα από αυτή. Ο αλγόριθµος ξεκινά επιλέγοντας τυχαία ένα σηµείο x του από την συµµετρική κατανοµή εισήγησης g, για το οποίο πρέπει να ισχύει 0 ( x ) g > 0 0 T. Με τη βοήθεια του υπολογίζεται και η παράµετρος θ, οπότε και η νέα κατανοµή x0 0 35

36 εισήγησης. Σε κάθε επανάληψη του αλγόριθµου προτείνεται ένα υποψήφιο σηµείο από την κατανοµή εισήγησης ως επόµενο σηµείο του αλγόριθµου και υπολογίζεται µέσω µιας σχέσης (της.8) µια πιθανότητα µε την οποία το αποδεχόµαστε ή το απορρίπτουµε. Με αυτή τη διαδικασία και µέχρι να ολοκληρωθεί ο αριθµός των επαναλήψεων που έχουµε ορίσει, δηµιουργείται µια ακολουθία σηµείων που κάτω από προϋποθέσεις µπορούν να θεωρηθούν ως δείγµα από την κατανοµή στόχο. Παράλληλα µε την εναλλαγή των σηµείων σε κάθε επανάληψη µεταβάλλεται και η παράµετρος και κατ επέκταση η κατανοµή εισήγησης προσεγγίζει την κατανοµή στόχο p( x ). g ( x ), η οποία στην πορεία του χρόνου Πιο συγκεκριµένα, ας υποθέσουµε ότι έχουµε ξεκινήσει τον αλγόριθµο από ένα σηµείο 0, µε g x > και βρισκόµαστε πλέον στη χρονική στιγµή t όπου σε αυτή την x ( ) 0 0 επανάληψη έχει επιλεγεί το σηµείο. Βήµα 0 Επιλέγουµε ένα σηµείο x βρεθεί ο αλγόριθµος τη χρονική στιγµή x t, που είναι το υποψήφιο νέο σηµείο που ενδεχοµένως να t +. Η επιλογή του γίνεται µε τη βοήθεια της κατανοµής εισήγησης αξιοποιώντας την πληροφορία που υπάρχει µέχρι τη χρονική στιγµή. ηλαδή η επιλογή του x εξαρτάται από το σηµείο που βρίσκεται ο αλγόριθµος τη στιγµή t, το επανάληψη, την t θ t xt πρέπει να ισχύει η σχέση ( t) g x / x > 0. t Βήµα 0, και την παράµετρο που έχει προκύψει µετά την t - οστή. Λόγω της συνθήκης συµµετρικότητας της κατανοµής εισήγησης θα Υπολογίζουµε την πιθανότητα αποδοχής Βήµα 3 0 a t g ( x xt) ( / ) = g ( / ) x x x x για κάθε t. Επίσης πρέπει t t t t ( ) π / = mn,. (.8) π ( x t ) x Αποδεχόµαστε να είναι το x το επόµενο σηµείο του αλγόριθµου εάν : π ( x ) π ( x ) t θ 36

37 Στην περίπτωση που π ( ) < π ( ) οµοιόµορφη κατανοµή στο διάστηµα π π ( x ) ( x ) t γράφουµε x x επιλέγουµε τυχαία ένα σηµείο k από t ( 0, ). Αν αυτό προκύψει µικρότερο του x = x t+ και επιστρέφουµε στο βήµα. Σε αντίθετη περίπτωση επιλέγουµε το επόµενο σηµείο του αλγόριθµου να είναι το τρέχον, δηλαδή x x και επιστρέφουµε στο βήµα. = t+ t Ο αλγόριθµος τερµατίζει όταν συµπληρωθεί ο αριθµός των επαναλήψεων σύµφωνα µε κάποιο κριτήριο σύγκλισης συνεχόµενων σηµείων). Παρατηρήσεις που έχουµε ορίσει (π.χ. µε βάση τη διαφορά δύο Παρατηρούµε ότι ο αλγόριθµος επιτρέπει την µετάβαση από το σηµείο στο µε πιθανότητα ( x / ) ( / + x = x x ) ( x x ) K a π t t t t t t xt x t+ / για κάθε t. Οι πιθανότητες αυτές ορίζουν τον πυρήνα µετάβασης (transton Kernel). Από κατασκευής του ο αλγόριθµος είναι ανεξάρτητος από τη σταθερά κανονικοποίησης και σηµασία έχει ο λόγος π ( x ) ( ) π x. Για να µπορούµε να πούµε ότι ο αλγόριθµος καταλήγει στην επιθυµητή κατανοµή στόχο και να πάρουµε δείγµα από αυτή, θα πρέπει τα σηµεία αυτά να είναι καταστάσεις µιας εργοδικής µαρκοβιανής αλυσίδας. Πράγµατι παρατηρούµε ότι για την µετάβαση του αλγόριθµου από το ένα σηµείο στο άλλο υπάρχει εξάρτηση ενός βήµατος, δηλαδή η πιθανότητα µετάβασης από το σηµείο x t στο x εξαρτάται µόνο από το x. Επίσης ο πυρήνας µετάβασης αποτελείται από δύο θετικούς όρους, άρα όλες οι καταστάσεις είναι θετικά επαναληπτικές. Η αλυσίδα που προκύπτει είναι αδιαχώριστη και απεριοδική. Έτσι λοιπόν ισχύει το εργοδικό θεώρηµα και αφού η αλυσίδα έχει κατανοµή ισορροπίας, αυτή είναι µοναδική και ο αλγόριθµος την προσεγγίζει ασυµπτωτικά όσο µεγαλώνει ο αριθµός των επαναλήψεων. Η απόδειξη της στατικότητας πολλές φορές είναι ιδιαίτερα δύσκολη, οπότε αρκεί να ισχύει η συνθήκη αντιστρεψιµότητας της αλυσίδας που εµπεριέχει την στατικότητα. ηλαδή η αντιστρεψιµότητα συνεπάγεται την στατικότητα και θα πρέπει να ισχύει π ( x ) T( x, x ) = π( x ) T( x x ) t t t+ t+ t+, t όπου ( x, x ) ο πίνακας µετάβασης της µαρκοβιανής αλυσίδας. T t+ t t+, (.9) t t 37

38 Στην περίπτωση του αλγόριθµου Metropols για οποιαδήποτε σηµεία, δηλαδή για οποιεσδήποτε καταστάσεις της αλυσίδας xt, x t+ ισχύει ότι π ( x ) T( x x ) π ( x ) g( x x ) t t t+ t t t+ ( ) ( ) ( ) ( x ) T ( x x ) ( xt+ ) ( x ) π, = / mn, = π t { π π } g( ) { π( ) π ( ) } = g x / x mn x, x = x / x mn x, x t t+ t t+ t+ t t t+ = t+ t+ t ( xt ) ( x ) π = π ( xt+ ) g ( xt+ / xt) mn, π t+ = π,. Καθώς ο αλγόριθµος προχωρά από επανάληψη σε επανάληψη, δηµιουργείται µια ακολουθία σηµείων {,,...,,..., } x x x x n. Μετά από κάποια επανάληψη r τα σηµεία που t προκύπτουν µπορεί να θεωρηθεί ότι ανήκουν στην κατανοµή στόχο. Έτσι προκύπτει το δείγµα { x, x,..., x }. r r+ n Η πιθανότητα αποδοχής at( x xt) a t ( ) π / = mn, προκύπτει από την π ( xt ) x ( x xt) ( ) g ( t / ) ( xt) g ( x / xt) π x x x / = mn,, π αλλά λόγω της ισότητας gt( x / xt) = gt( xt x ) κλάσµατος. / απαλείφονται οι αντίστοιχοι όροι του Εάν η επιλεγµένη κατανοµή εισήγησης µετά από κάποιο πλήθος επαναλήψεων του αλγόριθµου µας οδηγεί σε σηµεία x πολύ κοντά στα x µε µεγάλη πιθανότητα, τότε η ( ) π x είναι πολύ κοντά στην π ( x t ), δηλαδή προφανώς µετακινούµαστε αργά προς την κατανοµή στόχο. Αυτή η µικρής µίξης αλυσίδα θα τρέξει πολύ χρόνο προκειµένου να συλλέξει δείγµα από την κατανοµή στόχο. Από την άλλη µεριά όταν η απόσταση των σηµείων x και x είναι µεγάλη, τότε το πηλίκο t t π π ( x ) ( x ) t είναι πολύ µικρό και η πιθανότητα αποδοχής πολύ µικρή. Αυτό έχει σαν συνέπεια να µην γίνεται στις περισσότερες περιπτώσεις αποδεκτό το υποψήφιο σηµείο σαν το επόµενο του αλγόριθµου. Άρα λοιπόν πρέπει να καταφέρουµε να ισορροπήσουµε µεταξύ αυτών των δύο φαινοµένων. Θέλουµε δηλαδή να δεχτούµε έναν ικανοποιητικό αριθµό υποψήφιων σηµείων και αυτά να µην είναι κοντά το ένα στο άλλο. Τα παραπάνω σχετικά µε την 38

39 κατανοµή εισήγησης είναι ζητούµενα και στους άλλους αλγόριθµους που θα παρουσιάσουµε και γενικά η επιλογή της κατανοµής εισήγησης έχει απασχολήσει πολύ τους ερευνητές. Περισσότερα σχετικά µε το θέµα µπορεί κανείς να δει στους Glks et al. (996) και Gudc και Green (999). Στη συνέχεια θα κατασκευάσουµε στο Matlab ένα πρόγραµµα µε τον αλγόριθµο του Metropols και θα δούµε µια εφαρµογή του. Το πρόγραµµα παρατίθεται µε τις επεξηγήσεις του στο παράρτηµα Α (σελ. 83) και συνοπτικά η λειτουργία του έχει ως εξής: Επιλέγουµε συµµετρική κατανοµή εισήγησης Επιλέγουµε κατανοµή στόχο χωρίς την σταθερά κανονικοποίησης Επιλέγουµε αρχικό σηµείο x 0 Επιλέγουµε µε τη βοήθεια του x 0 υποψήφιο µελλοντικό σηµείο Υπολογίζουµε την πιθανότητα αποδοχής και αποδεχόµαστε ή απορρίπτουµε το υποψήφιο µελλοντικό σηµείο Εκτελούµε N επαναλήψεις και απορρίπτουµε τα πρώτα σηµεία που ανήκουν στην burn n περίοδο Κάνουµε το ιστόγραµµα των σηµείων που προκύπτουν και το γράφηµα των τελευταίων επαναλήψεων της αλυσίδας. 500 Παράδειγµα ο Επιλέγουµε για κατανοµή εισήγησης την κανονική κατανοµή (, n ) N x s, η οποία έχει κάθε φορά σαν µέση τιµή την τρέχουσα κατάσταση του αλγόριθµου και σταθερή τυπική απόκλιση s = 5. Είναι γνωστό ότι η κανονική κατανοµή είναι συµµετρική. Επιλέγουµε ( ) ( ) x σαν κατανοµή στόχο την f x = x e, x 0, +, και σαν αρχικό σηµείο το x 0 = 0,. Θα προσεγγίσουµε µε τον αλγόριθµο την κατανοµή στόχο και θα πάρουµε δείγµα από αυτή. Τρέχουµε το πρόγραµµα για επαναλήψεις µε burn n περίοδο 5000 επαναλήψεις και παίρνουµε τα παρακάτω γραφήµατα. Το πρώτο γράφηµα µας δίνει τις τελευταίες 500 τιµές της αλυσίδας: 39

40 Σχήµα.5. Τα 500 τελευταία βήµατα της Μαρκοβιανής αλυσίδας. Σχήµα.5. Ιστόγραµµα συχνοτήτων των τιµών της αλυσίδας. Προφανώς το ιστόγραµµα συχνοτήτων αποτελεί εκτίµηση της κατανοµής στόχου f ( x ). Στη συνέχεια εφαρµόζουµε πάλι τον αλγόριθµο µε µόνη αλλαγή την τυπική απόκλιση της κατανοµής εισήγησης, που τώρα είναι s =, 5. Τότε έχουµε τα παρακάτω γραφήµατα. 40

41 Σχήµα.5.3 Τα 500 τελευταία βήµατα της Μαρκοβιανής αλυσίδας. Παρακάτω ακολουθεί η προσέγγιση της κατανοµής στόχου. Σχήµα.5.4 Ιστόγραµµα συχνοτήτων των τιµών της αλυσίδας. Παρατηρήσεις στο παράδειγµα Στο παραπάνω παράδειγµα παρατηρούµε ότι για διαφορετικές τιµές της παραµέτρου s της κατανοµής εισήγησης, η µίξη της αλυσίδας είναι πολύ διαφορετική. Αυτό φαίνεται από τα δύο γραφήµατα που µας δείχνουν την πορεία της αλυσίδας καθώς οι επαναλήψεις αυξάνουν. Στο πρώτο γράφηµα φαίνεται η αλυσίδα να παραµένει ανά τακτά διαστήµατα και για κάποιο αριθµό επαναλήψεων στο ίδιο σηµείο. Στο δεύτερο γράφηµα αυτό το 4

42 φαινόµενο είναι αρκετά ελαττωµένο. Μεθόδους µε τις οποίες περιορίζουµε την µικρή µίξη και άλλα ανεπιθύµητα αποτελέσµατα, µπορεί κανείς να δει στους Glks and Roberts (995), στους Efron (979) και Evans (99) και στους Gvens and Hoetng (005). Μια εξέλιξη του αλγόριθµου Metropols είναι αυτός των Metropols και Hastngs (970)..6. Ο αλγόριθµος Metropols Hastngs Ο νέος αυτός αλγόριθµος έχει πολλά κοινά στοιχεία µε τον αρχικό αλγόριθµο του Metropols (953) και δύο βασικές διαφορές που οφείλονται στον Hastng. Ο Hastng απέδειξε ότι µπορεί να προκύψει κατάλληλη Μαρκοβιανή αλυσίδα χωρίς η αρχική κατανοµή εισήγησης να είναι συµµετρική. Έτσι έχουµε το πλεονέκτηµα ότι µπορούµε να επιλέξουµε γι αυτόν τον ρόλο µια συνάρτηση από µια ευρύτερη κλάση. Εκτός από αυτή τη σηµαντική διαφορά ο Hastng εισήγαγε διαφορετική πιθανότητα αποδοχής, για την οποία απέδειξε ότι µας οδηγεί στη σωστή στάσιµη κατανοµή. Στόχος µας είναι η κατασκευή Μαρκοβιανής αλυσίδας µε κατανοµή ισορροπίας n n p( x ): A, όπου x = ( x, x,..., xn ) και η εξαγωγή δείγµατος από αυτή. Επιλέγουµε αρχικά µια κατανοµή εισήγησης g( x): θ 0 n n A η οποία εξαρτάται από την παράµετρο. Επιλέγουµε τυχαία ένα αρχικό σηµείο x από την κατανοµή εισήγησης. Από αυτό προκύπτει και η παράµετρος. Πρέπει επίσης g x >. θ = θ ( ) Έστω ότι µετά από t επαναλήψεις βρισκόµαστε στο σηµείο x µε παράµετρο θ και ( ) 0 g x >. Βήµα ο t Επιλέγουµε να είναι το x το υποψήφιο σηµείο στο οποίο θα µεταβεί ο αλγόριθµος τη στιγµή t +. Η επιλογή του εξαρτάται από το σηµείο x, την παράµετρο θ και γίνεται µε την κατανοµή εισήγησης. Βήµα ο Υπολογίζουµε την πιθανότητα αποδοχής a t π / = mn, π ( x xt) ( x ) gt( xt / x ) ( xt) gt( x / xt) t t. (.0) t t 4

43 Βήµα 3 ο Παίρνουµε τυχαία έναν αριθµό Εάν k a t x/x) t, τότε x = xt+ και θ = θ t+. ( k από οµοιόµορφη κατανοµή στο ( ) Αλλιώς x = x και θ = t+ t t+ θt και επιστρέφουµε στο βήµα. ( ) 0,, k ~ U 0,. Ο αλγόριθµος τερµατίζει όταν συµπληρωθεί ο αριθµός των επαναλήψεων που έχουµε ορίσει ότι θέλουµε να γίνουν. Παρατηρήσεις Η πιθανότητα αποδοχής που ορίστηκε παραπάνω εξασφαλίζει ότι η στάσιµη κατανοµή είναι η εκ των υστέρων κατανοµή, χωρίς να µας βεβαιώνει ότι η αλυσίδα που δηµιουργείται συγκλίνει σε στάσιµη κατανοµή. Όταν η αλυσίδα όµως είναι αδιαχώριστη και απεριοδική η στάσιµη κατανοµή της είναι η κατανοµή στόχος (Gvens and Hoetng (006), Roberts (995), Terney (995)). Ο πυρήνας µετάβασης της αλυσίδας είναι δοµηµένος έτσι ώστε να ισχύει η αντιστρεψιµότητα της αλυσίδας. Πιο συγκεκριµένα για οποιεσδήποτε καταστάσεις της αλυσίδας x, x t t+ ισχύει ότι π ( xt) T( xt, xt+ ) = π ( xt) g( xt+ / xt) = π ( xt+ ) g ( xt / xt+ ) π ( xt) g ( xt+ / xt) π ( xt+ ) g ( xt / xt+ ) π ( xt) g ( xt+ / xt) π ( xt+ ) g ( xt / xt+ ) π ( xt+ ) g ( xt / xt+ ) π ( x ) T ( x, x ) = = = t+ t+ t = = Θεωρητικά για να πάρουµε δείγµα από την κατανοµή στόχο µπορούµε να χρησιµοποιήσουµε οποιαδήποτε κατανοµή εισήγησης µας επιτρέπει ο αλγόριθµος, και εφ όσον δηµιουργεί µέσω των επαναλήψεών του αλυσίδα µε τις επιθυµητές ιδιότητες (εργοδική). Στην πράξη όµως η επιλογή της g είναι δύσκολη αφού η µορφή της επηρεάζει την ταχύτητα σύγκλισης του αλγορίθµου και την µίξη της αλυσίδας. Επίσης η πιθανότητα αποδοχής προκύπτει από την συνθήκη αντιστρεψιµότητας της αλυσίδας µε τον παρακάτω τρόπο. Έχουµε τα σηµεία και που είναι δύο xt x t+ οποιεσδήποτε καταστάσεις της µαρκοβιανής αλυσίδας. Έχουµε επίσης την κατανοµή 43

44 εισήγησης ( x /. Από την κατανοµή αυτή δεν µπορούµε να είµαστε βέβαιοι για την x ) g t+ t στατικότητα της αλυσίδας ούτε για το αν ισχύει η συνθήκη αντιστρεψιµότητας. Υποθέτουµε λοιπόν χωρίς βλάβη της γενικότητας ότι ισχύει η σχέση g( / ) ( ) ( /. Τότε εισάγουµε έναν παράγοντα που t+ t π t > g t t+ ) π ( t+ ) a x / t+ xt x x x x x x ( ) είναι τέτοιος ώστε να ισχύει η συνθήκη αντιστρεψιµότητας, δηλαδή ( / ) π ( ) ( / ) = ( / ) π ( ) g t+ t t a t+ t g t t+ t Τώρα λύνοντας ως προς ( ) x x x x x x x x +. (.) a / t+ a t x x παίρνουµε ( x xt) t ( x ) gt( xt / x ) ( xt) gt( x / xt) π / = mn,. π Στη συνέχεια θα κατασκευάσουµε ένα πρόγραµµα για τον αλγόριθµο Metropols Hastngs στο Matlab και θα δούµε µια εφαρµογή του στην εκτίµηση των παραµέτρων της κατανοµής Webull. Το πρόγραµµα µε τις απαραίτητες επεξηγήσεις βρίσκεται στο παράρτηµα Α (σελ.84). Παράδειγµα ο Η κατανοµή Webull έχει πυκνότητα πιθανότητας α ( αη, ) αη x f x x e α η =, µε x > 0, α > 0, η > 0. Είναι αδύνατο να βρούµε αναλυτικά εκ των υστέρων κατανοµές για τις παραµέτρους α και η. Κατασκευάζοντας Μαρκοβιανή αλυσίδα µε τον αλγόριθµο Metropols Hastngs θα εκτιµήσουµε εκ των υστέρων κατανοµές για τις παραµέτρους και θα υπολογίσουµε κάποια µέτρα τους. π α, η = e η e α β Θεωρούµε την κατανοµή ( ) g ( α η α η) βη α η,, = exp, αη α η και την κατανοµή εισήγησης όπου α, η τα υποψήφια µελλοντικά σηµεία και α, η τα τρέχοντα. Επίσης επιλέγουµε την τιµή β = και τις αρχικές τιµές α = και η = (για τις παραµέτρους α και η ). Η κατανοµή εισήγησης δεν είναι συµµετρική, δηλαδή γενικά g ( α, η α, η) g( α, η α, η ). Τρέχουµε τον αλγόριθµο 0000 φορές µε περίοδο 44

45 burn - n 5000 και παίρνουµε δύο γραφήµατα. Το πρώτο είναι η εκτίµηση της κατανοµής της παραµέτρου α και το δεύτερο η εκτίµηση της παραµέτρου η. Σχήµα.6. Εκτίµηση της κατανοµής της παραµέτρου α. Σχήµα.6. Εκτίµηση της κατανοµής της παραµέτρου η 45

46 Επίσης εκτιµήθηκαν οι µέσες τιµές και οι διασπορές των παραµέτρων. Αναλυτικά βρέθηκαν: α = 0,9840,,843 η =, var ( α ) = 0,570 και ( ) var η = 0, Στην θεωρητική παρουσίαση των δύο παραπάνω αλγορίθµων χρησιµοποιήσαµε πολυδιάστατες κατανοµές και παραµέτρους. Η µεταβολή στα αντίστοιχα διανύσµατα x και θ καθώς ο αλγόριθµος προχωρά, γίνεται σε οποιαδήποτε συνιστώσα τους και όχι κατ ανάγκη σε µια µόνο. Σε πολλούς αλγόριθµους η µεταβολή των x και θ γίνεται για µια προς µια συνιστώσα. Ένας τέτοιος είναι ο Sngle Component Metropols Hastngs και µια ευρέως χρησιµοποιήσιµη µορφή του είναι ο δειγµατολήπτης του Gbbs..7. Sngle Component Metropols Hastngs αλγόριθµος Έστω ότι θέλουµε να πάρουµε δείγµα από την κατανοµή στόχο ( ) x. Η παράµετρος είναι η θ = ( θ θ θ ) όπου = ( x, x,..., xk ) ο αλγόριθµος κάνει σηµείου x αρχικά υπολογίζουµε το και τέλος το k k,,..., r k k p x : A,. Εδώ σε κάθε επανάληψη βήµατα, και σε κάθε βήµα υπολογίζεται και µια συνιστώσα του µε τη βοήθεια κάθε φορά διαφορετικής κατανοµής εισήγησης. ηλαδή x µε την βοήθεια της ( ) x µε την βοήθεια της ( ) g x, το gk x. Ορίζουµε να είναι t, x µε την βοήθεια της g ( x ) x η - συνιστώσα του σηµείου στην επανάληψη t. Επίσης ορίζουµε να είναι t = ( xt,, xt,,..., xt,, xt,, xt, +,..., xt, k) x το σηµείο που έχει επιλέξει ο αλγόριθµος στο χρόνο t και xt() = ( xt+,, xt+,,..., xt+,, xt, +,..., xt, k ) το σηµείο που προκύπτει κατά τη µετάβαση του αλγόριθµου από την επανάληψη βήµα της, δηλαδή όταν έχουν αντικατασταθεί οι Ο αλγόριθµος ξεκινά µε έχουµε το σηµείο 0 t στην t +, ενώ αυτή βρίσκεται στο πρώτες συνιστώσες του σηµείου x. x=x για το οποίο g ( x ) > 0. Έστω ότι στην επανάληψη t ( x,, x,,..., x,, x,, x, +,..., x, ) x =. t t t t t t t k 46

47 Επανάληψη t Για =,..., k: Έστω x t, η υποψήφια συνιστώσα του σηµείου x για το χρόνο t + που προκύπτει απ την κατανοµή εισήγησης Υπολογίζουµε την πιθανότητα αποδοχής ( /,, ( ) ) g x x x,x. t t t ( x, / ( ) ) g x, / x,, ( ) x / () g x / x, t x t,xt ( t t x t,xt) ( t, x t,xt) ( t, t, x t(),xt) π a( xt, / xt,, x t(),xt) = mn,. (.) π k ( ) Παίρνουµε τυχαία έναν αριθµό από οµοιόµορφη κατανοµή στο 0,, ( t, t t) k ~ U ( 0,). Εάν k a x / x, x ( ),x τότε x = x, αλλιώς xt+, = xt,. t, ι t+, Αυτός είναι ο κύκλος που κάνει ο αλγόριθµος σε µια επανάληψη. Η διαδικασία τερµατίζει όταν συµπληρωθεί ο αριθµός των επαναλήψεων που έχουµε ορίσει ότι πρέπει να γίνουν..8. ειγµατολήπτης του Gbbs Ο δειγµατολήπτης του Gbbs είναι από τις πιο απλές Markov Chan µεθόδους δειγµατοληψίας αλλά διακρίθηκε σχετικά πρόσφατα, µετά από τις εργασίες των Geman, S. και Geman, D (984) και Gelfant και Smth (990). Αρχικά χρησιµοποιήθηκε στη στατιστική φυσική, σε προβλήµατα που οι µεταβλητές παίρνουν τιµές σε ένα πεπερασµένο και µικρό σύνολο ή έχουν κατανοµές από τις οποίες κανείς εύκολα παίρνει δείγµα. Ένα µεγάλο πλεονέκτηµα του δειγµατολήπτη του Gbbs είναι ότι µπορούµε να πάρουµε δείγµα από µια κατανοµή και να εκτιµήσουµε ικανοποιητικά κάποια µέτρα αυτής, όπως η µέση τιµή και η διασπορά, χωρίς να την γνωρίζουµε. Μπορούµε να πάρουµε δείγµα X, X,..., X n από την κατανοµή στόχο p( x ) χωρίς να την ξέρουµε, παίρνοντας δείγµα από τις δεσµευµένες κατανοµές p( x x ). Το πλεονέκτηµα αυτό είναι ακόµα µεγαλύτερο σε περιπτώσεις που η µορφή της κατανοµής είναι ιδιαίτερα σύνθετη και ο αναλυτικός υπολογισµός κάποιων µέτρων αδύνατος. Εφαρµογές του απαντώνται σε µοντέλα του Bayes και σε κλασσικούς υπολογισµούς (Πιθανοφάνεια. κτλ). Περισσότερες εφαρµογές µπορεί να δει κανείς στον Tanner (99). 47

48 Παρακάτω δίνουµε ένα παράδειγµα εφαρµογής του δειγµατολήπτη του Gbbs στις δύο διαστάσεις ώστε να κατανοηθεί καλύτερα η λειτουργία του στη συνέχεια: Ας υποθέσουµε ότι έχουµε ένα ζευγάρι τυχαίων µεταβλητών ( XY),. Ο δειγµατολήπτης του Gbbs δεν παράγει δείγµα απευθείας από µια κατανοµή αλλά εµµέσως, από τις δεσµευµένες κατανοµές ( ) X / Y X ( ) f x, f x y και f ( y x, οι οποίες Y/ X ) είναι συχνά γνωστές στα προβλήµατα που αντιµετωπίζουµε. Η ακολουθία που παράγεται είναι η Y0, X0, Y, X,..., Yt, Xt,.... Σε πρώτη φάση επιλέγουµε ένα αρχικό σηµείο Y0 = y0. Από αυτό, µέσω της δεσµευµένης κατανοµής 0 X / Y 0 = 0 0 f ( ) X / Y x y που είναι γνωστή, προκύπτει το X = f ( x Y y ). Από το νέο σηµείο X και την κατανοµή f ( y x, προκύπτει το σηµείο Y/ X ) Y = f ( y X = x ). Αυτή η επαναληπτική διαδικασία συνεχίζεται για Y/ X 0 0 µεγάλο χρόνο (k ), όπου αποδεικνύεται ότι υπάρχει σύγκλιση κάθε κατανοµής στην f ( x ). f X k Πιο συγκεκριµένα και αναλυτικά ο δειγµατολήπτης του Gbbs παρουσιάζεται παρακάτω: Ας υποθέσουµε ότι θέλουµε να πάρουµε δείγµα από την κατανοµή στόχο p( x ), µε ( x x x =,,..., xk ). Ο δειγµατολήπτης Gbbs αντικαθιστά κάθε συνιστώσα του x µε µια τιµή που προκύπτει από την πλήρως δεσµευµένη εκ των υστέρων κατανοµή της υπό αντικατάσταση συνιστώσας, δεδοµένων όλων των υπολοίπων συνιστωσών. ηλαδή για τον υπολογισµό της συνιστώσας x του επιλέγει σαν κατανοµή εισήγησης την g ( () ) ( x / xt,, xt, xt = p x / xt(), x t). Από τη µορφή που έχει η κατανοµή εισήγησης προκύπτει πιθανότητα αποδοχής πάντα, δηλαδή όλες οι κινήσεις του αλγόριθµου γίνονται δεκτές. Πιο συγκεκριµένα για να κατασκευάσουµε µια Mαρκοβιανή αλυσίδα µε κατανοµή ισορροπίας x p( x ), δεδοµένου ότι ξεκινήσαµε τον αλγόριθµο τη στιγµή t = 0 από το σηµείο 0 = ( x0,, x0,,..., x0, k ) ( x,, x,,..., x, ) x=x = έχουµε : t t t t k x=x και τη στιγµή t έχει επιλεγεί 48

49 Επανάληψη t + Βήµα ο : Επιλέγουµε τυχαία Βήµα ο : Επιλέγουµε τυχαία από την Βήµα 3 ο : Επιλέγουµε τυχαία από την x t +, από την p( xt, / xt,, xt,3, xt,4,..., x t, k) x t +, p( xt, / xt+,, xt,3, xt,4,..., xt, k) x t +,3 p( x t,3 / xt+,, xt+,, xt,4,..., xt, k).... o Βήµα k :Επιλέγουµε τυχαία από την x t +, k p( x tk, / xt+,, xt+,, xt+,3,..., xt+, k ). Έτσι ολοκληρώνεται η t + επανάληψη και έχουµε πλέον το σηµείο ( x, x,..., x ) x=x =,k. t+ t+, t+, t+ Ο αλγόριθµος τερµατίζει όταν ολοκληρωθεί ο αριθµός των επαναλήψεων που έχουµε ορίσει. εν είναι προφανές γιατί ο δειγµατολήπτης του Gbbs, µετά από πολλές επαναλήψεις, προσοµοιώνει τιµές που µπορεί να θεωρηθεί ότι προέρχονται από την κοινή συνάρτηση πυκνότητας πιθανότητας, δηλαδή ότι συγκλίνει. Αυτό οφείλεται στο µαρκοβιανό χαρακτήρα των επαναλήψεων. Το παραπάνω γίνεται καλύτερα αντιληπτό µέσα από ένα παράδειγµα: Έστω ότι οι τυχαίες µεταβλητές X και Y ακολουθούν κατανοµή Bernoull και έχουν κοινή συνάρτηση πυκνότητας πιθανότητας f xy που δίνεται απ τον πίνακα ( ) XY,, ( 0,0) XY(,0 ) ( 0,) (,) fxy, f, p p = fxy, f, XY, p3 p4 όπου p 0 για =,, 3, 4 και p+ p + p3+ p4 =. Η περιθώρια κατανοµή της τυχαίας µεταβλητής X είναι κατανοµή Bernoull µε πιθανότητα επιτυχίας p p4 δεσµευµένες πιθανότητες υπό µορφή πινάκων είναι +. ηλαδή f = f (0) f ( ) = [ p + p p p ] X X X Οι 49

50 και A A Y/ X X / Y p p3 f ( 0 0) fy X( 0) p + p p + p fx / Y( 0 ) fx / Y( ) p p4 p p4 p p Y/ X / 3 3 = = X / Y / = = (.3) p p f ( 0 0) fx Y( 0) p + p p + p. (.4) fy/ X( 0 ) fy/ X( ) p3 p4 p3+ p4 p3+ p 4 Όπως έχουµε δει παραπάνω ο δειγµατολήπτης του Gbbs εξάγει δείγµα από την κοινή κατανοµή f ( ) X / Y ( ) XY,, xy µε έµµεσο τρόπο, παράγοντάς το από τις δεσµευµένες κατανοµές f x y και f ( y x. Όπως φαίνεται από τον αλγόριθµο, ξεκινάµε επιλέγοντας µια αρχική τιµή Y/ X ) Y και παράγοντας εναλλάξ τιµές από τις ( ) 0 f x y και f ( y x ) X / Y Y/ X παίρνουµε την αποτελούµενη από µηδενικά και µονάδες ακολουθία Y, X, Y, X,..., Y, X, t t Οι πίνακες (.3) και (.4) έχουν άθροισµα γραµµών τη µονάδα και µπορούν να θεωρηθούν ως πίνακες µεταβάσεων από την κατάσταση x στην y και αντίστροφα. Αν µας ενδιαφέρει µόνο η παραγωγή της περιθώριας κατανοµής της τ.µ X, αποµονώνουµε τις τιµές X, X,..., X,... της τ.µ X, που προέκυψαν από την δειγµατοληψία 0 t του Gbbs. Για να µεταβούµε από την κατάσταση X 0 στη X αναγκαστικά πρέπει να περάσουµε από την. Έτσι η ακολουθία καταστάσεων που δηµιουργείται είναι Y X 0 Y X, και η µετάβαση από το X 0 στο X δηµιουργεί µια Μαρκοβιανή αλυσίδα µε πιθανότητα µετάβασης P X x X x P X x Y y P Y y X x ( = = ) = ( = = ) ( = = ) y Ο πίνακας πιθανοτήτων µετάβασης για την ακολουθία σχέση X / X Y/ X X / Y X0, X,..., X t,.... (.5) δίνεται απ τη A = A A (.6) και τώρα µπορούµε εύκολα να υπολογίσουµε την κατανοµή του ( = = ) =( ) είναι η P X x X x A. k k 0 0 X / X k X k, για κάθε k. Αυτή 50

51 Επίσης, αν συµβολίσουµε την περιθώρια κατανοµή του τότε ισχύει k ( ) k k 0 X / X 0 X / X X / X k / ( ) ( ) X k µε fk = fk 0 fk, f = f A = f A A = f A X X, για κάθε k. (.7) Η παραπάνω σχέση είναι η αντίστοιχη της (.0) για την περίπτωσή µας. Αποδεικνύεται (Hoel, Port, and Stone (978)) ότι εάν ο πίνακας A X / X έχει όλα τα στοιχεία του θετικά, τότε η παραπάνω σχέση συνεπάγεται ότι για κάθε αρχική κατανοµή f, όταν k, η f συγκλίνει στη µοναδική κατανοµή που ικανοποιεί την 0 f = f A = f A / k k 0 X / X k X Είναι f A f A A [ p p p p ] άρα X. p p3 p p p+ p3 p+ p 3 p+ p p+ p = = + +, p p4 p3 p4 p + p p + p p + p p + p X X / X X Y X X Y p p p+ p p+ p f A = [ p + p p + p ] = [ p + p p + p ] = f p p p3 p4 p3 p X X / X X 3 4 Έτσι όταν κατανοµή k X η κατανοµή της X k πλησιάζει όλο και πιο πολύ την περιθώρια f και αν σταµατήσουµε την επαναληπτική διαδικασία σε ένα µεγάλο k, µπορούµε να υποθέσουµε ότι η κατανοµή του X k προσεγγίζει την f X.. Κατασκευάσαµε στο Matlab ένα πρόγραµµα που παρατίθεται στο παράρτηµα Α (σελ. 85) και παράγει δείγµα από την δισδιάστατη κανονική κατανοµή f z, = exp ( ρ ) ( x y) XY, πσ σ ρ όπου ( x µ ) ( )( ) ( ) ρ x µ y µ y µ z = + και σ ρ = cor ( x, y) = µε τη βοήθεια των σ σ σ σ σ σ δεσµευµένων κατανοµών f ( x y ) και f ( y x ). Ακολουθεί το γράφηµα των σηµείων ( x, y ), για X / Y / =,..., n για n = 000. Y / X /, 5

52 Σχήµα.8. Το γράφηµα των σηµείων (, ) x y του δείγµατος..9. Ανεξάρτητος ειγµατολήπτης Ο ανεξάρτητος δειγµατολήπτης (Terney (994)) είναι ένας Metropols Hastngs αλγόριθµος στον οποίο η κατανοµή εισήγησης δεν εξαρτάται από την τρέχουσα θέση του αλγόριθµου. ηλαδή εάν είναι g ( / t ) = g( x x x ) για κάθε x, xt g( x): n A n η κατανοµή εισήγησης τότε. Ο ανεξάρτητος δειγµατολήπτης δουλεύει ακριβώς όπως ο Metropols Hastngs αλγόριθµος µε µόνη διαφορά το ότι η πιθανότητα αποδοχής ενός υποψήφιου σηµείου ως επόµενο σηµείο του αλγόριθµου δίνεται από τη σχέση όπου ( ) p( ) ( x ) g ( x) ( x) g ( x ) π a = mn,, (.8) π π x = x Z και Z η σταθερά κανονικοποίησης. x 5

53 Παρατηρήσεις Γενικά ο ανεξάρτητος δειγµατολήπτης δουλεύει ικανοποιητικά όταν µπορούµε να προσοµοιώσουµε εύκολα τιµές από την κατανοµή εισήγησης g ( x ) η οποία να είναι και κοντά στην κατανοµή στόχο p( x ). Σε αυτήν την περίπτωση ο αλγόριθµος µετακινείται κάθε φορά σε νέα σηµεία που διαφέρουν αρκετά από τα προηγούµενα. Ζητούµενο στην κατασκευή του ανεξάρτητου δειγµατολήπτη είναι η πιθανότητα αποδοχής να πλησιάζει κατά το δυνατό τη µονάδα. Επίσης είναι σηµαντικό το πηλίκο π ( x ) g( x) / π ( x) g( x ) να µην είναι πολύ µικρό γιατί σε αυτήν την περίπτωση ο αλγόριθµος θα καθυστερήσει πολύ υλοποιώντας επαναλήψεις στις οποίες τα σηµεία που θα προκύπτουν θα είναι πολύ κοντά το ένα στο άλλο..0. Αλγόριθµος Metropols τυχαίου περιπάτου Ο αλγόριθµος Metropols τυχαίου περιπάτου είναι ένας πολύ χρήσιµος και ευρέως διαδεδοµένος αλγόριθµος, ιδιαίτερα σε πολυδιάστατα προβλήµατα. Κεντρικής σηµασίας για την λειτουργία και την αποδοτικότητά του είναι η επιλογή της κατανοµής εισήγησης. Όσον αφορά αυτή την επιλογή είναι ζητούµενο η µορφή της να οδηγεί στην δηµιουργία εργοδικής Μαρκοβιανής αλυσίδας µε µοναδική στάσιµη κατανοµή, ανεξάρτητα του σηµείου εκκίνησης. Ακόµα θέλουµε να προκύπτει εύκολα δείγµα από αυτήν και τέλος η επιλογή αυτή να µας δίνει ικανοποιητικό κλάσµα αποδοχής. Το κλάσµα αποδοχής ορίζεται να είναι το πληθος σηµειων που αποδεχτηκαµε α =. πληθος επαναληψεων Για την κατανοµή εισήγησης µπορούµε να πούµε ότι ισχύει g ( / ) ( t = f ) x x x x t, (.9) όπου x το σηµείο που έχει επιλέξει ο αλγόριθµος τη στιγµή t, t x x e µε το σηµείο = t + e να επιλέγεται τυχαία από κάποια κατανοµή f ( e ). Συνήθως η κατανοµή εισήγησης επιλέγεται να είναι η κανονική µε κάποιες παραµέτρους µ και Σ. Η επιλογή των παραµέτρων είναι ιδιαίτερα σηµαντική για τον αλγόριθµο. Η παράµετρος µ συνήθως επιλέγεται να είναι το σηµείο x = ( x x x ),,..., n, το οποίο είναι το τρέχον σηµείο, δηλαδή η τρέχουσα κατάσταση στην οποία βρίσκεται η αλυσίδα που δηµιουργεί ο αλγόριθµος. Ο 53

54 πίνακας συνδιασπορών επιλέγεται να είναι σ Ι, όπου Ι ο µοναδιαίος n n και σ η διασπορά. Κατά τους Roberts et al. (994) κλάσµα αποδοχής από 0,5 έως 0,5 είναι καλό για την αποτελεσµατικότητα του αλγόριθµου και προφανώς όσο µεγαλύτερο είναι τόσο το καλύτερο. Σε περιπτώσεις µονοκόρυφων κατανοµών στόχων κλάσµα αποδοχής κοντά στο θεωρείται καλό για την αποτελεσµατικότητα του αλγόριθµου (Gelman, Carln, Stern, Rubn, (004)). Όταν έχουµε να προσεγγίσουµε πολυκόρυφες (multmodal) κατανοµές και γενικά κατανοµές που ορίζονται µε διαφορετικούς τύπους ανά διαστήµατα του πεδίου ορισµού τους είναι n n δύσκολο ο αλγόριθµος να καλύψει όλη την κατανοµή. Συνήθως καταφέρνει να εξερευνήσει ένα κοµµάτι της µόνο. Προκειµένου να αντιµετωπιστεί αυτό το πρόβληµα από τους Guan et al. (006) προτείνεται η χρήση κατά περιοχές διαφορετικών κατανοµών εισήγησης και τυχαίων κατανοµών. Αλυσίδες που προκύπτουν από τη χρήση τέτοιων κατανοµών είναι µια σύνθεση αλγόριθµου τυχαίου περιπάτου και ανεξάρτητου δειγµατολήπτη. Συνήθως είναι πιο εύκολο και επιθυµητό να δηµιουργήσουµε Υβριδικούς MCMC αλγόριθµους (Hybrd Monte Carlo algorthms). Οι τελευταίοι έχουν πολλές οµοιότητες µε τη µέθοδο των στοχαστικών και Χαµιλτονιανών δυναµικών κάποια στοιχεία των οποίων θα αναφέρουµε παρακάτω ώστε να κατανοήσουµε καλύτερα τον Υβριδικό αλγόριθµο. 0, 5 των.. Χαµιλτονιανά και Στοχαστικά δυναµικά Στη µέθοδο των Χαµιλτονιανών δυναµικών η συνολική ενέργεια του συστήµατος εκφράζεται µε τη συνάρτηση του Hamlton και είναι όπου q H( q,p) = E( q) + K( p) = E( q ) + p, (.30) διάνυσµα που εκφράζει τη θέση του υλικού σηµείου µια συγκεκριµένη χρονική 3 T στιγµή και συνήθως, για τον, είναι τριών διαστάσεων q = ( q, q, q 3 ). Σε εφαρµογές της στατιστικής µπορεί να εκφράζει τις παραµέτρους ενός µοντέλου περισσοτέρων διαστάσεων και γι αυτό θα συµβολίζεται µε q = q, q,..., q n. Το διάνυσµα p εκφράζει την ταχύτητα του υλικού σηµείου µια συγκεκριµένη χρονική στιγµή και είναι ίδιας διάστασης µε το q. Ο χώρος που παράγεται µε βάση τη θέση και την ταχύτητα είναι ο χώρος καταστάσεων του συστήµατος. Η ( ) T E ( q ) είναι η συνάρτηση δυναµικού, δηλαδή η 54

55 συνάρτηση που εκφράζει την δυναµική ενέργεια του υλικού σηµείου όταν γνωρίζουµε τη θέση του, και η K p αντίστοιχα εκφράζει την κινητική του ενέργεια όταν είναι q ( ) γνωστή η ταχύτητά του p. Οι συντεταγµένες θέσης και ταχύτητας q και p επιλέγονται τυχαία από κανονική κατανοµή του Boltzmann (canoncal dstrbuton). Πιο συγκεκριµένα τα q και p επιλέγονται αντίστοιχα από τις κατανοµές P ( q) = exp ( E( q ) ) και P( ) = exp ( K( )) C E p p. C Οι σταθεροί όροι στις δύο κατανοµές είναι τέτοιοι ώστε το ολοκλήρωµα των κατανοµών να είναι. Η κανονική κατανοµή που ορίζεται στον χώρο καταστάσεων µε βάση την ενέργεια H, έχει τη µορφή P H E K P CH CE Ck ( q,p) = exp( ( q,p) ) = exp( ( q) ) exp( ( p) ) = ( q) P( p) k. (.3) Η µεταβλητή ταχύτητας p και οι συναρτήσεις της εισάγονται βοηθητικά και προσωρινά ώστε να δοθεί ο δυναµικός χαρακτήρας στις εξισώσεις που θα προκύψουν. Αν επιτύχουµε να πάρουµε δείγµα µέσω της (.3), τότε µπορούµε να κρατήσουµε τις τιµές που προέκυψαν για το q και να αγνοήσουµε τις τιµές που προέκυψαν για το p. Έτσι, τελικά, παίρνουµε δείγµα από την περιθώρια κατανοµή της (.3) για την µεταβλητή q. Για να ορίσουµε ένα δυναµικό στον χώρο καταστάσεων χρησιµοποιούµε τη συνάρτηση Η του Hamlton, στην οποία τα q και p είναι συναρτήσεις µιας παραµέτρου t, που συνήθως δηλώνει το χρόνο, και ικανοποιούν τις παρακάτω εξισώσεις: dq H =+ = p dt p. (.3) dp H E = = dt q q Για ένα πραγµατικό σύστηµα η µεταβλητή t δηλώνει φυσικό χρόνο. Η τιµή της συνάρτησης του Hamlton (συνολική ενέργεια) διατηρείται σταθερή, όσο τα µεταβάλλονται χρονικά σύµφωνα µε την δυναµική που περιγράφεται από τις εξισώσεις (.3). Αυτό αποδεικνύεται ως εξής: dh H dq H dp H H H H = + = dt q dt p dt q p p q = 0. q και p 55

56 Επίσης, τα δυναµικά διατηρούν τον όγκο των περιοχών του χώρου καταστάσεων. ηλαδή, εάν παρατηρήσουµε πώς µετακινούνται τα σηµεία µιας περιοχής µε όγκο V, µε βάση τις δυναµικές εξισώσεις (.3), θα διαπιστώσουµε ότι η περιοχή που καταλήγουν αυτά τα σηµεία, µετά από µια χρονική περίοδο, έχει επίσης όγκο V. Αυτό αποδεικνύεται µε τη βοήθεια της απόκλισης στο χώρο καταστάσεων ως εξής: dq dp H H + = q dt p dt q p p q Το παραπάνω αποτέλεσµα είναι γνωστό ως θεώρηµα του Louvlle. = 0. (.33) Ένα ακόµα χαρακτηριστικό των δυναµικών αυτών, είναι η χρονική αντιστρεψιµότητα. Έτσι, το δυναµικό µπορεί να κινηθεί πίσω στο χρόνο, και θα προκύψει ακριβώς το αντίστροφο αποτέλεσµα από αυτό που προέκυψε κατά την προς τα εµπρός κίνησή του, όπου βέβαια αυτές οι δύο µεταβάσεις γίνονται για την ίδια χρονική περίοδο. Οι δυο παραπάνω ιδιότητες, οδηγούν στο συµπέρασµα ότι η κανονική (canoncal) κατανοµή που δίνεται στη (.3) παραµένει αµετάβλητη ως προς τον τύπο της (δηλαδή κανονική κατανοµή Boltzmann), ως προς οποιονδήποτε χρονικό µετασχηµατισµό συµβαίνει µε βάση τα χαµιλτονιανά δυναµικά για κάποιο δοσµένο χρονικό διάστηµα. Πράγµατι, ας θεωρήσουµε οποιαδήποτε µικρή περιοχή του χώρου καταστάσεων µε όγκο V και ολική ενέργεια Η0. Η πιθανότητα εύρεσης στην ανωτέρω περιοχή µετά τον (χρονικό) µετασχηµατισµό, είναι ακριβώς η πιθανότητα εύρεσης προηγούµενα, πριν το µετασχηµατισµό, σε κάποιο σηµείο που απεικονίστηκε στην περιοχή. Τελικά, αν η συνάρτηση κατανοµής πριν το µετασχηµατισµό είναι κανονική του Boltzmann η οποία εξαρτάται µόνο από την Η, τότε τα µετασχηµατισµένα σηµεία ακολουθούν επίσης κανονική κατανοµή Βoltzmann. Η µεταβλητή του χρόνου είναι συνεχής και για το λόγο αυτό την διακριτοποιούµε εισάγοντας ένα µη µηδενικό βήµα που µε τη σειρά του εισάγει ένα σφάλµα. Επιδιώκουµε η διακριτοποίηση να µην επηρεάζει την ισχύ του θεωρήµατος του Louvlle ώστε το σφάλµα να µην επηρεάζει στο όριο τα ποιοτικά χαρακτηριστικά της σύγκλισης. Η διακριτοποίηση αυτή είναι χρονικά αναστρέψιµη και παίζει πολύ σηµαντικό ρόλο στους Υβριδικούς αλγόριθµους. Η µορφή της θα δοθεί παρακάτω. Συµπερασµατικά, στα Xαµιλτονιανά δυναµικά το δείγµα από την ζητούµενη κατανοµή δεν προκύπτει εργοδικά. Η συνολική ενέργεια που εκφράζεται απ την συνάρτηση Χάµιλτον παραµένει σταθερή, όπως και η κατανοµή P ( q,p ). 56

57 Τέτοιες ντετερµινιστικές µεταβάσεις του υλικού σηµείου µπορούν να εναλλαχθούν µε στοχαστικές µεταβάσεις που είναι ικανές να µεταβάλουν τη συνάρτηση Χάµιλτον και να εξακολουθήσουν να αφήνουν την κατανοµή P ( q,p ) αµετάβλητη. Αυτό γίνεται στα στοχαστικά δυναµικά. Είναι ακόµα δυνατό να δηµιουργηθεί µια εργοδική µαρκοβιανή αλυσίδα που να παίρνει δείγµα από την επιθυµητή κατανοµή P ( q,p ). Συνηθίζεται να χρησιµοποιούνται στοχαστικές µεταβάσεις στις οποίες αντικαθίστανται όλα τα p µε µια διαδικασία που ουσιαστικά είναι ο δειγµατολήπτης του Gbbs, είτε να αντικαθίστανται µε τη βοήθεια σχέσεων όπως για παράδειγµα η όπου n ( ) α p = αp + n, τυχαίος αριθµός προερχόµενος από τυποποιηµένη κανονική κατανοµή και µια παράµετρος µε 0 α <. Για περισσότερες λεπτοµέρειες στις χαµιλτονιανές µεθόδους βλ. Neal (996). Στη συνέχεια θα παρουσιάσουµε τον Υβριδικό Monte Carlo αλγόριθµο. α.. Υβριδικός Monte Carlo αλγόριθµος Ο Υβριδικός Monte Carlo αλγόριθµος οφείλεται στους Duane, Kennedy, Pendleton και Roweth (987) και σχετίζεται ιδιαίτερα µε τη µέθοδο των Στοχαστικών και Χαµιλτονιανών δυναµικών. Αποτελεί εξέλιξη της µεθόδου των Μοριακών υναµικών (Molecular Dynamcs) στην οποία εργάζονταν το 959 οι Alder και Wanwrght για την προσοµοίωση φυσικών συστηµάτων. Χρησιµοποιείται πολύ συχνά σε προβλήµατα στατιστικής φυσικής και στη στατιστική του Bayes. Αναλυτικά µπορεί κάποιος να δει στους York (99) και Neal (993, 996). Στην Υβριδική Monte Carlo µέθοδο θέλουµε να πάρουµε δείγµα από µια κανονική q exp ( ) C κατανοµή P( ) = E( q) E ) για τη µεταβλητή θέσης q =. Για να µπορέσουµε να χρησιµοποιήσουµε δυναµικές µεθόδους πρέπει να εισάγουµε µια προσωρινή µεταβλητή p = ( p, p,..., p n T (,,..., ) T q q q n. Πλέον, από την ένωση αυτών των µεταβλητών, δηµιουργείται ένας χώρος καταστάσεων όπου ορίζονται η συνάρτηση Hamlton και η κατανοµή ( q,p) = ( q) + ( p) = ( q ) + p H E K E 57

58 P H E K P CH CE Ck ( q,p) = exp( ( q,p) ) = exp( ( q) ) exp( ( p) ) = ( q) ( p) Η συνάρτηση ( ) P. K p = p εκφράζει την κινητική ενέργεια. Η κεντρική ιδέα της µεθόδου είναι ότι η δειγµατοληψία σπάει σε δύο ξεχωριστά κοµµάτια. Στο ένα κοµµάτι παίρνουµε διάφορες τιµές των p και q για τις οποίες η συνολική ενέργεια που εκφράζει η συνάρτηση H του Hamlton παραµένει ίδια. Αυτό είναι το λεγόµενο δυναµικό κοµµάτι όπου οι µεταβάσεις είναι δυναµικές (εδώ θα αξιοποιηθούν οι βασικές ιδιότητες της χρονικής αντιστρεψιµότητας, της διατήρησης της συνολικής ενέργειας και το θεώρηµα του Louvlle, χαρακτηριστικά των Χαµιλτονιανών δυναµικών). Στο άλλο κοµµάτι τα διάφορα δειγµατικά σηµεία p και q που επιλέγονται δίνουν διαφορετικές τιµές της συνάρτησης H, δηλαδή η συνολική ενέργεια µεταβάλλεται. Η επιλογή των σηµείων γίνεται µε την δειγµατοληψία του Gbbs την οποία έχουµε εξηγήσει σε προηγούµενη παράγραφο. Αυτό είναι το κοµµάτι µε τις στοχαστικές µεταβάσεις. Έτσι λοιπόν στην Υβριδική Monte Carlo µέθοδο, σε αντίθεση µε τις µεθόδους στοχαστικών και Χαµιλτονιανών δυναµικών, οι δυναµικές και οι στοχαστικές µεταβάσεις µπορούν να εναλλάσσονται. Η εναλλαγή αυτή αποδεικνύεται ότι εξασφαλίζει την εργοδικότητα της µαρκοβιανής αλυσίδας που σχηµατίζεται και άρα και την σύγκλισή της. Έτσι λοιπόν η Υβριδική Monte Carlo µέθοδος συνδυάζει και αξιοποιεί χαρακτηριστικά και των δύο µεθόδων. Ο αλγόριθµος ξεκινά από ένα σηµείο ( qp, ) του χώρου καταστάσεων, και σε προκαθορισµένο χρόνο µεταβαίνει στο σηµείο ( q, p ). Από αυτό το σηµείο η µεταβλη- τή p αγνοείται και η q επιλέγεται ως νέα (µεταγενέστερη), εφόσον γίνεται αποδεκτή, ή επιλέγεται η παλιά (προγενέστερη) εφόσον η q απορρίπτεται. Υπάρχει µια τυχαία απόφαση για κάθε µετάβαση, είτε αυτή συµβαίνει µπροστά είτε πίσω στο χρόνο. Το σηµείο που προκύπτει είναι µόνο ένα υποψήφιο µελλοντικό σηµείο. Το αν αυτό θα απορριφθεί ή θα γίνει αποδεκτό εξαρτάται από τη µεταβολή που θα υποστεί η συνολική ενέργεια (συνάρτηση Hamlton). Εάν το δυναµικό προσοµοιώνεται ακριβώς, η µεταβολή στη συνάρτηση H του Hamlton θα είναι πάντα µηδέν και το νέο σηµείο θα γίνεται πάντα αποδεκτό. Όταν το δυναµικό προσοµοιώνεται µε ένα µη µηδενικό βήµα η συνάρτηση H του Hamlton µπορεί να µεταβληθεί και σ αυτή την περίπτωση για το 58

59 νέο σηµείο πρέπει να εξεταστεί αν ικανοποιείται η συνθήκη αποδοχής που θα δούµε στη συνέχεια. Οι δυναµικές µεταβάσεις γίνονται µέσω της leapfrog διακριτοποίησης. Σε ένα βήµα ε γίνεται µετάβαση από το σηµείο ( qp), στο χρόνο t, στο σηµείο ( q, p ) στο χρόνο t + ε µέσω των παρακάτω σχέσεων: ε ε E p t+ = p t t q () ( q() ) ε q( t+ ε) = q( t) + ε p t+ ε ε E p t p t t q ( + ε ) = + ( q( + ε )) Για να ακολουθείται το δυναµικό για ένα χρονικό διάστηµα, για κάθε =,,..., n. t, επιλέγεται µια τιµή του ε ώστε το σφάλµα που υπεισέρχεται να είναι αποδεκτό, και γίνονται επαναλήψεις. Οι δυναµικές µεταβάσεις γίνονται σε τρία βήµατα. t L = ε. Επιλέγεται µια κατεύθυνση για την µετάβαση, µε λ = για µετάβαση προς τα µπροστά και λ = για µετάβαση προς τα πίσω. Η επιλογή γίνεται ισοπίθανα. ( ). Ξεκινάµε από την τρέχουσα κατάσταση (, ) = ˆ( 0 ), ˆ( ) πλήθος βήµατα µήκους εο ( qˆ( ε0l), pˆ( ε 0L) ) = ( q,p ) qp q p 0 και κάνουµε L σε = λ ε το καθένα, και καταλήγουµε στην κατάσταση. 3. Θεωρούµε το q,p) υποψήφιο µελλοντικό σηµείο για την επόµενη κατάσταση, ( όπως και στον αλγόριθµο του Metropols. Αποδεχόµαστε το ( q,p ) µε πιθανότητα A { ( ( ))} (( q,p),( q,p )) = mn,exp H( q,p ) ( q,p) H, (.34) αλλιώς επιλέγουµε την τρέχουσα κατάσταση ( q,p ) σαν την επόµενη. Για να αποδείξουµε ότι ο Υβριδικός Monte Carlo αλγόριθµος αφήνει την κατανοµή P H E K P CH CE Ck ( q,p) = exp( ( q,p) ) = exp( ( q) ) exp( ( p) ) = ( q) P ( p) 59

60 αναλλοίωτη στο χώρο καταστάσεων ( qp, ), πρέπει να δείξουµε ότι η διαδικασία µε την οποία χρησιµοποιείται η κατανοµή παραπάνω, για να µας δώσει υποψήφιο µελλοντικό σηµείο, ικανοποιεί τη γενική συνθήκη συµµετρίας που απαιτείται να ικανοποιεί και ο αλγόριθµος του Metropols. Ας υποθέσουµε ότι είναι R, µια τυχαία µικρή περιοχή του χώρου καταστάσεων και ( q,p) R η εικόνα της µέσω ενός Χαµιλτονιανού συστήµατος κάτω από την επίδραση L χρονικών βηµάτων µεγέθους + ε το καθένα. Λόγω της χρονικής αντιστρεψιµότητας του Χαµιλτονιανού συστήµατος η εικόνα του R κάτω από την επίδρασή του για L χρονικά βήµατα µεγέθους ε το καθένα, είναι η περιοχή R. Όπως έχουµε εξηγήσει στην προηγούµενη παράγραφο οι παραπάνω µεταβάσεις αφήνουν τον όγκο του χώρου καταστάσεων αναλλοίωτο. Έτσι αν ο όγκος του χώρου R είναι τότε και ο όγκος του χώρου R θα είναι V. Υποθέτουµε ότι ο χώρος R είναι αρκετά µικρός ώστε όλα τα σηµεία του να έχουν την ίδια ενέργεια H( R). Όµοια και για το χώρο V R. Η πιθανότητα µετάβασης από το χώρο R στον R, όταν το αρχικό σηµείο ακολουθεί την κατανοµή Boltzmann είναι ( ( ))) exp( H( R) ) V mn,exp ( H( R ) H( R). (.35) Z H Ο πρώτος όρος του γινοµένου είναι η πιθανότητα να ξεκινήσουµε από ένα σηµείο στο χώρο R. Ο όρος είναι η πιθανότητα η µετάβαση να γίνει µπροστά στο χρόνο προς ένα σηµείο του R. Ο τρίτος όρος είναι η πιθανότητα η κίνηση αυτή να γίνει αποδεκτή. Όµοια και η πιθανότητα µετάβασης από το χώρο R στον R είναι ( ( ))) exp( H( R )) V mn,exp ( H( R) H( R ). (.36) Z H Οι δύο παραπάνω σχέσεις δείχνουν ότι η συνθήκη αντιστρεψιµότητας ισχύει. Παρακάτω θα αναπτύξουµε τον τρόπο µε τον οποίο µπορούµε να προσοµοιώνουµε Μαρκοβιανές αλυσίδες. 60

61 ΚΕΦΑΛΑΙΟ 3 0 ηµιουργία Μαρκοβιανών αλυσίδων Εφαρµογή σε Κλειστό Οµογενές Μαρκοβιανό Σύστηµα ιακριτού Χρόνου 3.. ηµιουργία Μαρκοβιανών αλυσίδων Αρκετοί µελετητές ασχολήθηκαν µε την κατασκευή Μαρκοβιανών αλυσίδων. Στον Bremaud (998) και τον Haggstrom (00) µπορεί κανείς να δει την µεθοδολογία κατασκευής και πληθώρα παραδειγµάτων. Ακολουθήσαµε τους Haggstrom (00), Iosfescu (980), Pescun (973) και Rpley (987). Επίσης κατασκευάσαµε παραδείγµατα για την καλύτερη κατανόηση των θεωρητικών αποτελεσµάτων. Θα δούµε πως µπορούµε να προσοµοιώσουµε µια οµογενή Μαρκοβιανή αλυσίδα { } 0 X σε χώρο καταστάσεων S = { s } =, s,..., sk, µε αρχική κατανοµή ( ( ) ( ) ( ) ( ) π 0 = π 0, π 0,..., π 0 T k ) και πίνακα µετάβασης P. Αρχικά παίρνουµε ανεξάρτητο και ισόνοµο δείγµα αποτελούµενο από µια ακολουθία τυχαίων µεταβλητών U0, U, U,... από την οµοιόµορφη κατανοµή στο διάστηµα [ 0, ], την U (0,).Επίσης χρειαζόµαστε µια συνάρτηση ψ ( x) :0, [ ] S, που την ονοµάζουµε αρχική συνάρτηση ή συνάρτηση πρώτης µετάβασης, η οποία χρησιµοποιείται προκειµένου να προσδιοριστεί το πρώτο βήµα της αλυσίδας, δηλαδή προκειµένου να βρεθεί η 0 φ s x S S, που την X. Ακόµα χρειαζόµαστε και µια συνάρτηση (, ) : [ 0,] ονοµάζουµε συνάρτηση εξέλιξης και είναι απαραίτητη για την µετακίνηση της αλυσίδας από την αρχική της θέση X 0 στις µεταγενέστερες X, X,.... Η συνάρτηση ψ ( x) :0, [ ] S αντιστοιχεί σε κάθε σηµείο του διαστήµατος [ ] 0, µια κατάσταση της µαρκοβιανής αλυσίδας. Η ψ ( x) πρέπει να έχει τις παρακάτω ιδιότητες : Πρέπει το πεδίο ορισµού της να αποτελείται από µεγάλου πλήθους ξένα υποσύνολα του [ 0,] σε καθένα από τα οποία να παίρνει µια σταθερή τιµή. 6

62 Για κάθε κατάσταση s S το συνολικό µήκος του διαστήµατος για το οποίο ψ ( x) = s, να είναι ίσο µε π ( 0), όπου το ( 0) s π είναι η πιθανότητα που εµφανίζεται η αντίστοιχη κατάσταση στο αρχικό διάνυσµα π 0. Μια άλλη γραφή για την τελευταία ιδιότητα είναι όπου I { ψ ( x) = s} 0 { ( ) } dx = π s ( 0 ψ x = s ) s s ( ) I, για κάθε s S, (3.), αν ψ ( x) = s =, η δείκτρια συνάρτηση της ( x) 0, αλλού ψ. Έτσι µε τη βοήθεια της συνάρτησης ψ ( x) και του πρώτου τυχαίου αριθµού µπορούµε να πάρουµε την πρώτη τιµή ισχύει γιατί ( ) ( ) X 0 της αλυσίδας θέτοντας X0 U 0 = ψ ( U ). Αυτό P ( X = s ) = P 0 ψ ( U 0) = s = I { } dx= πs ( 0 ψ x = s ), για κάθε s S. (3.) Συναρτήσεις σαν την ψ ( x), σε χώρο καταστάσεων S { s s s } 0 =,,..., k µε αρχική 0 κατανοµή π ( 0) = ( π ( 0 ), π ( 0 ),..., π ( 0) T k ), κατασκευάζονται εύκολα θέτοντας ψ ( x) ( )) s, για x 0, π s 0 s, για x π s ( 0 ), π ( 0) ( 0)) s + π s =. (3.3) s, για x π s ( 0 ), π ( 0) j s j j= j=... k sk, για x π s ( 0 ), j j= Η παραπάνω συνάρτηση ικανοποιεί τα δύο κριτήρια που τέθηκαν εξ αρχής. Το πρώτο είναι προφανές, αφού η ( x) λαµβάνονται στα ξένα µεταξύ τους υποσύνολα του (3.), αφού ψ παίρνει διακεκριµένες τιµές εντός του S, οι οποίες [ 0, ] και επιπλέον ισχύει και η σχέση 6

63 I s 0, για κάθε =,,..., k. 0 { ( ) } dx = π j( 0) π j( 0 ψ x s ) = π = ( ) j= j= Με την παραπάνω διαδικασία µπορούµε πλέον να πάρουµε την πρώτη τιµή X 0 της αλυσίδας. Μένει πλέον να εξάγουµε την X n + από την ολοκληρώσουµε την κατασκευή της Μαρκοβιανής αλυσίδας µετάβαση από την κατάσταση X n στην n και η συνάρτηση εξέλιξης (, ): [ 0,] που αποτελείται από µια κατάσταση s [ 0, ], αντιστοιχεί µια νέα κατάσταση s S n, n X n για κάθε n X0, X,..., X n,... ώστε να. Για την X + είναι απαραίτητος ο τυχαίος αριθµός U n + φ s x S S η οποία σε κάθε διατεταγµένο ζεύγος S και µια τυχαία τιµή U από το διάστηµα. Τότε για κάθε κατάσταση s S, η X = φ ( s U ) + +. Η συνάρτηση φ θα πρέπει να έχει τις ανάλογες της ψ ιδιότητες. ηλαδή Για δεδοµένο s S η συνάρτηση συνάρτηση του x ( s, x) και φ είναι τµηµατικά σταθερή σαν Για κάθε ζεύγος s, s S το συνολικό µήκος των διαστηµάτων για τα οποία ( ) φ s, x = s j, ισούται µε p j, όπου το pj είναι το αντίστοιχο στοιχείο του πίνακα µετάβασης P. Η σχέση (3.) εδώ αντικαθίσταται από την εδοµένης λοιπόν της ισχύος της (3.) έχουµε ότι j I { ( s, x) sj} dx = p φ = j. (3.4) 0 ( n+ j / n ) ( φ (, n+ ) j / n ) P X = s X = s = P s U = s X = s. (3.5) Επειδή η τιµή U n + είναι από την υπόθεση ανεξάρτητη από τις U 0, U,..., Un θα είναι και ανεξάρτητη της X n, οπότε η δέσµευση του β µέλους της (3.5) µπορεί να παραληφθεί. Τότε µε τη βοήθεια και της (3.4) έχουµε ότι ( / ) ( φ (, ) ) φ(, ) P X n + = s X = s = P s U j n n + = s = I dx= p j { s x = s j} j. (3.6) Ακολουθώντας την ίδια λογική και δεσµεύοντας ως προς τις τιµές X 0, X,..., Xn κατασκευάζουµε τη Μαρκοβιανή αλυσίδα που ζητούσαµε. 0 63

64 Η µορφή της συνάρτησης εξέλιξης είναι παρόµοια µε αυτή της συνάρτησης αρχικής τιµής και είναι εύκολο να κατασκευαστεί. Έτσι, για κάθε s έχουµε διαφορετική συνάρτηση εξέλιξης) είναι φ ( s, x) [ ) [ ) s, για x 0, p s, για x p, p + p j j = sj, για x pm, p m= m=... k sk, για x pm, m= m S, (για κάθε κατάσταση. (3.7) Εύκολα φαίνεται και η ισχύς της δεύτερης συνθήκης αφού για κάθε s, s j j 0 { φ( s, x) = sj} m m j m= m= j S I dx = p p = p. (3.8) Άρα, λοιπόν, παράγοντας µια ακολουθία τυχαίων αριθµών U, U,... του [0,] και επιλέγοντας δύο συναρτήσεις ψ και φ µε τις ιδιότητες και τη µορφή που περιγράφεται 0 παραπάνω καταφέρνουµε να κατασκευάσουµε µια Μαρκοβιανή αλυσίδα X = ψ ( U ) (, ) (, 0 0 X = φ X0 U X = φ X U )... = φ (, ) X n Xn U n... Ακολουθεί ένα παράδειγµα για να γίνει κατανοητή η λειτουργία της µεθόδου. X, X,..., όπου 0. (3.9) Παράδειγµα ο Έστω ότι θέλουµε να δηµιουργήσουµε µια οµογενή Μαρκοβιανή αλυσίδα µε χώρο καταστάσεων {, } ( ) ( ) S =, αρχική κατανοµή π 0 = 0,4 0,6 T και πίνακα µετάβασης 64

65 0, 7 0,3 P =. 0,5 0,5 5 U ( 0,) Επιλέγουµε τυχαίους αριθµούς απ την κατανοµή U 0.39, U 0.7, U 0.75, U 0.45, U Η συνάρτηση ψ x είναι = = = = = ( ) ψ ( x) 0 0,39 [ 0, 0.4) ( )) [ ) [ ] s, x 0, π 0, αν x 0, 0.4 = =. s, x π ( 0 ),, αν x 0.4, Είναι U =. Άρα X = ψ ( U ) = s = Αυτοί είναι Η φ ( s, x) δίνεται µε δύο τύπους, ανάλογα µε την κατάσταση που βρίσκεται η αλυσίδα: φ ( s, x) [ ) [ ], αν x 0, 0.7 =,, αν x 0.7, και Έτσι, θα είναι φ ( s, x) X X X X [ ) [ ], αν x 0, 0.5 =, αν x 0.5, ( ) = φ, 0.7 = s =, ( ) = φ, 0.75 = s =, ( ) = φ, 0.45 = s =, 3 ( ) = φ, 0.98 = s =. 4. Άρα λοιπόν οι 5 πρώτοι όροι X 0, X, X, X3, X 4 της αλυσίδας που δηµιουργήθηκε είναι: s s s s s. Παρατήρηση Στην εργασία αυτή θα επικεντρωθούµε στις οµογενείς Μαρκοβιανές αλυσίδες. Η διαδικασία σε µη οµογενείς µαρκοβιανές διαδικασίες είναι η ίδια, µε τη µόνη διαφορά ότι πρέπει να επιλέξουµε ένα πλήθος από συναρτήσεις εξέλιξης, λόγω της ύπαρξης διαφορετικών πινάκων µετάβασης από βήµα σε βήµα. n Έτσι θα πρέπει I x dx ( = p n φ ) ( s, x) = s j και 0 { } ( ) ( ) j 65

66 φ ( n ) ( s, x) n s, για x 0, p ( n) ( n) ( n) s, για x p, p + p ) = για κάθε s, s ( n) ( n) sj, για x p m, p m m= m=... k ( n) sk, για x p m, m= ( ) ) j j Τότε η µη οµογενής αλυσίδα προσοµοιώνεται όπως φαίνεται παρακάτω: X = ψ ( U ) 0 0 () (, ) ( ) (, ) X = φ X U 0 X = φ X U... ( n ) (, ) X n = φ Xn U n.... j S και κάθε n = 0,,.... Με βάση τη µεθοδολογία που αναπτύξαµε παραπάνω, κατασκευάσαµε ένα πρόγραµµα για τη δηµιουργία Μαρκοβιανών αλυσίδων στο Matlab, το οποίο παρατίθεται µε τις απαραίτητες επεξηγήσεις στο παράρτηµα Α (σελ. 86). Θα παρουσιάσουµε µια εφαρµογή του, δηµιουργώντας µια οµογενή Μαρκοβιανή αλυσίδα. Παράδειγµα ο Θα προσοµοιώσουµε µια Μαρκοβιανή αλυσίδα µε χώρο καταστάσεων S = {,, 3, 4}, αρχική κατανοµή ( ) = ( ) π 0 0.,0.35,0.5,0. Τ και πίνακα µετάβασης P = Τρέχουµε το πρόγραµµα για 000 βήµατα, και προκύπτει µια αλυσίδα της οποίας οι καταστάσεις δίνονται αναλυτικά στο παράρτηµα. Τα αποτελέσµατα αυτά παρουσιάζονται και στο διάγραµµα που ακολουθεί. Σ αυτό φαίνεται η πορεία της αλυσίδας ανά 50 βήµατα, για τα 000, συνολικά, βήµατα της Μαρκοβιανής αλυσίδας. 66

67 Σχήµα 3.. Η κίνηση της Μαρκοβιανής αλυσίδας για 000 βήµατα. Από την ακολουθία των σηµείων, προκύπτει µε βάση το εργοδικό θεώρηµα (..5) µια εκτίµηση του ασυµπτωτικού διανύσµατος της αλυσίδας: ( ) = ( ) π ˆ , 0., 0.40, 0.39 Τ. Γνωρίζουµε ότι η ακριβής τιµή του ασυµπτωτικού διανύσµατος π βρίσκεται επιλύοντας την εξίσωση Τ Τ π = π P, k µε π =. = Αναλυτικά έχουµε: 67