ΣΧΕΤΙΚΑ ΜΕ ΤΗ ΣΥΓΚΛΙΣΗ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ. ΤΑΧΥΤΗΤΑ ΣΥΓΚΛΙΣΗΣ ΚΑΙ ΗΛΙΚΙΑ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΣΧΕΤΙΚΑ ΜΕ ΤΗ ΣΥΓΚΛΙΣΗ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ. ΤΑΧΥΤΗΤΑ ΣΥΓΚΛΙΣΗΣ ΚΑΙ ΗΛΙΚΙΑ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Νικόλαος Κολώκας Επιβλέπων: Γεώργιος Τσακλίδης, Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Νοέμβριος 216 1

2 2

3 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΣΧΕΤΙΚΑ ΜΕ ΤΗ ΣΥΓΚΛΙΣΗ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ. ΤΑΧΥΤΗΤΑ ΣΥΓΚΛΙΣΗΣ ΚΑΙ ΗΛΙΚΙΑ ΜΗ ΟΜΟΓΕΝΩΝ ΜΑΡΚΟΒΙΑΝΩΝ ΑΛΥΣΙΔΩΝ ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Νικόλαος Κολώκας Επιβλέπων: Γεώργιος Τσακλίδης, Καθηγητής Α.Π.Θ. Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 9/11/216.. Γ. Τσακλίδης Α. Παπαδοπούλου Δ. Κουγιουμτζής Καθηγητής Α.Π.Θ. Επίκουρη Καθηγήτρια Α.Π.Θ. Αναπληρωτής Καθηγητής Α.Π.Θ. Θεσσαλονίκη, Νοέμβριος 216 3

4 .. Νικόλαος Κολώκας Πτυχιούχος Μαθηματικός Α.Π.Θ. Copyrigh Νικόλαος Κολώκας, 216. Με επιφύλαξη παντός δικαιώματος. All righs reserved. Απαγορεύεται η αντιγραφή, αποθήκευση και διανομή της παρούσας εργασίας, εξ ολοκλήρου ή τμήματος αυτής, για εμπορικό σκοπό. Επιτρέπεται η ανατύπωση, αποθήκευση και διανομή για σκοπό μη κερδοσκοπικό, εκπαιδευτικής ή ερευνητικής φύσης, υπό την προϋπόθεση να αναφέρεται η πηγή προέλευσης και να διατηρείται το παρόν μήνυμα. Ερωτήματα που αφορούν τη χρήση της εργασίας για κερδοσκοπικό σκοπό πρέπει να απευθύνονται προς το συγγραφέα. Οι απόψεις και τα συμπεράσματα που περιέχονται σε αυτό το έγγραφο εκφράζουν το συγγραφέα και δεν πρέπει να ερμηνευτεί ότι εκφράζουν τις επίσημες θέσεις του Α.Π.Θ. Ευχαριστίες του φοιτητή: Ευχαριστώ ιδιαίτερα εκτός του επιβλέποντα καθηγητή Γεωργίου Τσακλίδη και τους διδάσκοντες του Τμήματος Μαθηματικών Ιωάννη Αντωνίου και Αλεξάνδρα Παπαδοπούλου για τα εναύσματα που μου έδωσαν για να ξεκινήσω την παρούσα εργασία βασικής έρευνας, καθώς και το μεταπτυχιακό φοιτητή Θεμιστοκλή Μπότσα, του οποίου η προπέρσινη διπλωματική εργασία αποτέλεσε σημαντικό εφαλτήριο. Με εκτίμηση, Νικόλαος Κολώκας Θεσσαλονίκη, 7/11/216 4

5 Περίληψη: Η εργασία αυτή αφορά ομογενείς και μη ομογενείς Μαρκοβιανές Αλυσίδες σε συνεχή και διακριτό χρόνο. Μελετώνται η εξέλιξη, η ασυμπτωτική συμπεριφορά και η ταχύτητα σύγκλισης του πίνακα πιθανοτήτων μετάβασης, η εξέλιξη του δέλτα συντελεστή, της ορίζουσας και του ίχνους του, καθώς και η ηλικία των Αλυσίδων. Επίσης, συσχετίζονται τα ασυμπτωτικά όρια του πίνακα πιθανοτήτων μετάβασης και του διανύσματος κατάστασης. Το τελευταίο τμήμα της εργασίας αφορά μια εφαρμογή των Μαρκοβιανών Αλυσίδων, και συγκεκριμένα την κατανομή της ηλικίας ενός κλειστού Μαρκοβιανού Συστήματος. Ειδικότερα, στο συνεχή χρόνο επιλύεται συμβολικά το προς τα εμπρός διαφορικό σύστημα του Kolmogorov P(, ) P(, ) Q ( ) στις περιπτώσεις που ο πίνακας τάσεων Q() εξαρτάται από μοναδικό πίνακα, ομογενή, ενώ όταν αυτή η υπόθεση τείνει να ισχύει μόνο σε βάθος χρόνου βρίσκεται, με κάποιες ακόμα προϋποθέσεις, το lim P (, ). Μετά αναφέρονται ειδικές προτάσεις σχετικά με τους περιοδικούς πίνακες τάσεων, δίνονται οι ικανές και αναγκαίες συνθήκες ώστε μια 2x2 πινακοσυνάρτηση πιθανοτήτων μετάβασης να μπορεί να έχει παραχθεί από πίνακα τάσεων. Στο διακριτό χρόνο η ταχύτητα σύγκλισης μελετάται για Αλυσίδες που το lim P ( k1, k) υπάρχει και είναι εργοδικός πίνακας. Absrac: This hesis cocers homogeeous ad o-homogeeous, coiuous ad discree Markov Chais. We ivesigae he evoluio, he asympoic behavior ad he rae of covergece of he rasiio probabiliy marix, he evoluio of is dela coefficie, deermia ad race, as well as he age of he Chais. Also, we fid he relaio bewee he asympoic limis of he rasiio probabiliy marix ad he sae vecor. The las par of he projec cocers a applicaio of Markov Chais, paricularly he age disribuio of a closed Markov Sysem. Specifically, as for he coiuous ime we give he symbolic soluio of he Kolmogorov forward differeial sysem P(, ) P(, ) Q ( ) i case he geeraor marix Q() depeds oly o oe marix, homogeeous, whereas whe his assumpio eds o hold oly asympoically we fid lim P (, ), wih some addiioal requiremes. Aferwards we meio special proposiios abou he periodic geeraor marices, we give he sufficie ad ecessary codiios such ha a 2x2 rasiio probabiliy marix-fucio ca be geeraed by a geeraor marix. I he discree case he rae of covergece is examied for Chais i which he lim P ( k1, k) exiss ad i is a ergodic marix. 5

6 ΠΕΡΙΕΧΟΜΕΝΑ Κεφάλαιο/ενότητα Σελ. ΕΙΣΑΓΩΓΗ 7 1 ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΣΥΝΕΧΟΥΣ ΧΡΟΝΟΥ 8 Εισαγωγή Γενικά Εξέλιξη, ασυμπτωτική συμπεριφορά και ταχύτητα σύγκλισης Αλυσίδων με μη ομογενείς 12 πίνακες τάσεων εξαρτώμενους από μοναδικό πίνακα, ομογενή 1.3 Ασυμπτωτική συμπεριφορά Αλυσίδων με μη ομογενείς πίνακες τάσεων που τείνουν να 21 εξαρτώνται από μοναδικό πίνακα, ομογενή 1.4 Περιοδικοί πίνακες τάσεων Εξέλιξη του δέλτα συντελεστή, της ορίζουσας και του ίχνους πινακοσυνάρτησης 23 πιθανοτήτων μετάβασης που προκύπτει από Μαρκοβιανή Αλυσίδα συνεχούς χρόνου 1.6 Συνθήκες ύπαρξης πίνακα τάσεων που να αντιστοιχεί σε δοθείσα πινακοσυνάρτηση 26 πιθανοτήτων μετάβασης (2 καταστάσεις) 1.7 Σχετικά με το όριο του διανύσματος κατάστασης Παραδείγματα εξέλιξης, ασυμπτωτικής συμπεριφοράς και ταχύτητας σύγκλισης Ηλικία Αλυσίδας 42 2 ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ 46 Εισαγωγή Γενικά Εξέλιξη του δέλτα συντελεστή, της ορίζουσας και του ίχνους πινακοσυνάρτησης 47 πιθανοτήτων μετάβασης που προκύπτει από Μαρκοβιανή Αλυσίδα διακριτού χρόνου 2.3 Ταχύτητα σύγκλισης συγκεκριμένων Αλυσίδων Σχετικά με το όριο του διανύσματος κατάστασης Παραδείγματα εξέλιξης, ασυμπτωτικής συμπεριφοράς και ταχύτητας σύγκλισης Ηλικία Αλυσίδας 55 3 ΣΧΕΤΙΚΑ ΜΕ ΤΗΝ ΚΑΤΑΝΟΜΗ ΤΗΣ ΗΛΙΚΙΑΣ ΜΑΡΚΟΒΙΑΝΩΝ ΣΥΣΤΗΜΑΤΩΝ 61 Εισαγωγή Γενικά για το κλειστό Μαρκοβιανό Σύστημα και την ηλικία του Σχετικά με την κατανομή της ηλικίας Μαρκοβιανού Συστήματος διακριτού χρόνου Σχετικά με την κατανομή της ηλικίας Μαρκοβιανού Συστήματος συνεχούς χρόνου 7 ΒΑΣΙΚΑ ΣΥΜΠΕΡΑΣΜΑΤΑ 71 Π ΠΑΡΑΡΤΗΜΑ ΚΩΔΙΚΩΝ 72 Π.1 Υπολογισμός συνάρτησης ίχνους του πίνακα πιθανοτήτων μετάβασης με το Mahemaica 72 Π.2 Υπολογισμός πινακοσυνάρτησης πιθανοτήτων μετάβασης, λόγου σύγκλισής της και, στην 72 περίπτωση που ο πίνακας τάσεων εξαρτάται από μοναδικό πίνακα, ομογενή, υπολογισμός συνάρτησης νόρμας σφάλματος από τον οριακό πίνακα (παραδείγματα ) Π.3 Υπολογισμός στιγμής γέννησης Αλυσίδας στη συνεχή ή στη διακριτή με αναγωγή στη 76 συνεχή περίπτωση από το Mahemaica Π.4 Γραφήματα νορμών σφαλμάτων και λόγων νορμών διαδοχικών σφαλμάτων στη διακριτή 77 περίπτωση με την R Π.5 Σχετικά με την κατανομή της ηλικίας Μαρκοβιανού Συστήματος 78 ΑΝΑΦΟΡΕΣ 84 6

7 ΕΙΣΑΓΩΓΗ Η Μαρκοβιανή Αλυσίδα ([13]), που πήρε το όνομα της από τον Adrey Markov, είναι ένα μαθηματικό σύστημα που μεταβάλλεται από μια κατάσταση σε μια άλλη, ανάμεσα σε ένα πεπερασμένο αριθμό καταστάσεων. Είναι μια τυχαία διαδικασία που δε διατηρεί μνήμη για τις προηγούμενες μεταβολές, ή, πιο συγκεκριμένα, για τον (πιθανοθεωρητικό) προσδιορισμό της επόμενης κατάστασης απαιτείται (αρκεί) η πληροφορία για την τωρινή κατάσταση και δε χρειάζεται η πληροφορία για τις καταστάσεις που προηγήθηκαν. Αυτό το συγκεκριμένο είδος «αμνησίας» ονομάζεται Μαρκοβιανή ιδιότητα. Οι Μαρκοβιανές Αλυσίδες έχουν πολλές εφαρμογές ως στατιστικά μοντέλα καθημερινών διαδικασιών. Η Μαρκοβιανή Αλυσίδα είναι μια στοχαστική διαδικασία με τη Μαρκοβιανή ιδιότητα για ένα πεπερασμένο ή μετρήσιμο χώρο καταστάσεων. Ο όρος "Μαρκοβιανή Αλυσίδα" αναφέρεται στην αλληλουχία (ή Αλυσίδα) των καταστάσεων μέσω των οποίων κινείται μια τέτοια διαδικασία. Συνήθως μια Μαρκοβιανή Αλυσίδα ορίζεται για μια διακριτή συλλογή χρόνων (Μαρκοβιανή Αλυσίδα διακριτών χρόνων), παρόλο που μερικοί συγγραφείς χρησιμοποιούν την ίδια ορολογία για να αναφερθούν σε Μαρκοβιανή Αλυσίδα συνεχούς χρόνου. Η χρήση του όρου στη μεθοδολογία Μαρκοβιανής Αλυσίδας Μόντε Κάρλο καλύπτει περιπτώσεις όπου η διαδικασία βρίσκεται σε διακριτό χρόνο (διακριτά αλγοριθμικά βήματα) με ένα συνεχή χώρο καταστάσεων. Στην παρούσα εργασία θα ασχοληθούμε μόνο με Αλυσίδες διακριτού χώρου καταστάσεων. Μια γνωστή Μαρκοβιανή Αλυσίδα διακριτού χρόνου είναι ο λεγόμενος τυχαίος περίπατος ("περίπατος του μεθυσμένου"), μια τυχαία διαδρομή στην αριθμητική γραμμή όπου, σε κάθε βήμα, η θέση μπορεί να αλλάξει κατά +1 ή κατά -1 με ίση πιθανότητα. Από κάθε θέση υπάρχουν δύο δυνατές μεταβάσεις, στον επόμενο ή στον προηγούμενο ακέραιο. Οι πιθανότητες μετάβασης εξαρτώνται μόνο από την παρούσα θέση, όχι από τον τρόπο με τον οποίο η θέση επετεύχθη. Για παράδειγμα, οι πιθανότητες μετάβασης από το 5 στο 4 και από το 5 στο 6 είναι.5 και οι δύο, και όλες οι άλλες πιθανότητες μετάβασης από το 5 είναι. Αυτές οι πιθανότητες είναι ανεξάρτητες από το αν το σύστημα προηγουμένως βρισκόταν στο 4 ή στο 6. Μια σειρά ανεξάρτητων γεγονότων (για παράδειγμα, μια σειρά από στριψίματα νομίσματος) ικανοποιεί τον επίσημο ορισμό της Μαρκοβιανής Αλυσίδας. Παρ' όλα αυτά, η θεωρία συνήθως εφαρμόζεται μόνο όταν η πιθανότητα κατανομής του επομένου βήματος εξαρτάται μη-αμελητέα από την παρούσα κατάσταση. Υπάρχουν πολλά ακόμη παραδείγματα Μαρκοβιανών Αλυσίδων. 7

8 1. ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΣΥΝΕΧΟΥΣ ΧΡΟΝΟΥ Εισαγωγή Το αρχικό έναυσμα για τη συγγραφή της παρούσας εργασίας έδωσε η διπλωματική εργασία [3]. Σε εκείνη σκοπός ήταν να δοθεί η λύση του γραμμικού διαφορικού συστήματος του Kolmogorov P(, ) P(, ) Q ( ), όπου Q() ο πίνακας τάσεων και P(,) ο πίνακας πιθανοτήτων μετάβασης μιας Μαρκοβιανής Αλυσίδας συνεχούς χρόνου. Η λύση του παραπάνω διαφορικού συστήματος δεν μπορεί να δοθεί σε κλειστή αναλυτική μορφή στη γενική περίπτωση, ακόμα και αν οι ιδιότητες του πίνακα τάσεων και του πίνακα πιθανοτήτων μετάβασης για τους Q() και P(,) αντίστοιχα ισχύουν ([2], σ. 3 pdf). Η λύση εν γένει δεν μπορεί να δοθεί σε κλειστή αναλυτική μορφή ([3], σ. 22) και υπολογίζεται προσεγγιστικά με χρήση: του βασικού πίνακα marica ([2], [3], [19]-[23]), ολοκληρωτικών εξισώσεων ([3], [18]), αλγεβρών Lie ([3], [14]-[17]), της μεθόδου Wei-Norma ([24]). Στην [3] είχε αποδειχθεί ότι όταν ο Q() είναι της μορφής Q (>, -1), όπου ο Q είναι σταθερός πίνακας τάσεων, τότε η λύση του διαφορικού συστήματος του Kolmogorov μπορεί να δοθεί σε κλειστή αναλυτική μορφή, και βρέθηκε αυτή η λύση. Στην παρούσα εργασία γενικεύουμε το παραπάνω συμπέρασμα διευρύνοντας την οικογένεια πινάκων τάσεων που δίνουν λύση σε γνωστή κλειστή αναλυτική μορφή στο σύνολο πινάκων τάσεων που εξαρτώνται από μοναδικό σταθερό πίνακα A και την παράμετρο του χρόνου, δηλ., όπως θα συμβολίζουμε, είναι της μορφής F(A,). Για τις αντίστοιχες Αλυσίδες, εφόσον έχουμε υπολογίσει τη συνάρτηση P(,) αναλυτικά και ως συνάρτηση του A, χρησιμοποιούμε το ανάπτυγμα του P(,) κατά τους πίνακες συνιστώσες του A για να εκτιμήσουμε την ταχύτητα σύγκλισης του P(,) στο όριό του για, όταν υπάρχει. Βιβλιογραφία για την ταχύτητα σύγκλισης βρέθηκε μόνο για την ομογενή περίπτωση ([3], [25], [26]) με χρήση του δέλτα συντελεστή. Ασθενέστερα, όταν ο πίνακας τάσεων τείνει να πάρει τη μορφή F(A,) (με την έννοια απόλυτου ή σχετικού σφάλματος) τότε, με κάποιες ακόμα υποθέσεις, αποφαινόμαστε για την ασυμπτωτική συμπεριφορά της Μαρκοβιανής Αλυσίδας. Στη συνέχεια, με τη βοήθεια της [2], εξάγουμε ένα σημαντικό συμπέρασμα για την ειδική περίπτωση περιοδικού πίνακα τάσεων. Μελετώντας παραδείγματα Μαρκοβιανών Αλυσίδων ως προς τα παραπάνω εγέρθηκε το ερώτημα των ικανών και αναγκαίων συνθηκών για την ύπαρξη Μαρκοβιανής Αλυσίδας (πίνακα τάσεων) που να παράγει μια δοθείσα πινακοσυνάρτηση πιθανοτήτων μετάβασης. Σχετική βιβλιογραφία δεν έχει βρεθεί. Το πρόβλημα επιλύεται στην τρέχουσα εργασία για την περίπτωση των 2 καταστάσεων. Συμπέρασμα που προέκυψε κατά την επίλυσή του έστρεψε το ενδιαφέρον μας και στη μελέτη του δέλτα συντελεστή, της ορίζουσας και του ίχνους του πίνακα πιθανοτήτων μετάβασης ως συναρτήσεις του χρόνου. Ιδιότητες του δέλτα συντελεστή αντλήθηκαν από την [5]. Μετά αποδεικνύουμε προτάσεις που αφορούν το όριο του διανύσματος κατάστασης p(). Κλείνουμε το κεφάλαιο με το θέμα της ηλικίας αλυσίδας, απαντώντας ποια είναι η ελάχιστη δυνατή στιγμή εξέλιξης μιας Μαρκοβιανής Αλυσίδας όταν γνωρίζουμε την πινακοσυνάρτηση πιθανοτήτων μετάβασης και το διάνυσμα κατάστασης κάποια στιγμή. Μέρος των συμπερασμάτων αυτής της ενότητας έχει εξάγει και ο επιβλέπων στην [27], πάντως για το θέμα δεν υπάρχουν πολλές αναφορές. 8

9 1.1) Γενικά Ορισμός ([3], σ. 11): Μια στοχαστική διαδικασία είναι μια οικογένεια τυχαίων μεταβλητών ορισμένων σε ένα χώρο πιθανοτήτων. Αν το πλήθος των μελών της οικογένειας δεν είναι αριθμήσιμο, τότε η διαδικασία συμβολίζεται με { X( )} και καλείται «διαδικασία σε χρόνο συνεχή». Ορισμός ([3], σ. 11): Μια στοχαστική διαδικασία σε συνεχή χρόνο λέμε ότι έχει τη Μαρκοβιανή ιδιότητα αν για κάθε σύνολο χρονικών στιγμών <1< < και για κάθε σύνολο καταστάσεων {i,i1,,i}ϵs, όπου S ο χώρος k καταστάσεων, ισχύει prob{x()=i X()=i,X(1)=i1,,X(-1)=i-1}=prob{X()=i X(-1)=i-1}. Για κάθε Μαρκοβιανή Αλυσίδα ορίζονται οι πιθανότητες μετάβασης (σε χρονικό { X( )} διάστημα) Pij(s,)=prob{X()=j X(s)=i}. Ο αντίστοιχος πίνακας μετάβασης της Μαρκοβιανής Αλυσίδας είναι ο P(s,)=[Pij(s,)]i,jϵS. Αν ο P(s,s+) είναι ανεξάρτητος του s για κάθε >, τότε η Μαρκοβιανή Αλυσίδα καλείται ομογενής (ως προς το χρόνο). Παρατήρηση: Είναι P(, ) I. Πρόταση (εξίσωση Chapma-Kolmogorov, [3], σ. 12): Είναι P( s, ) P( s, u) P ( u, ) s u. Ορισμός ([3], σ. 19): Για ένα μικρό χρονικό διάστημα Δ και για i j θεωρούμε ότι prob{x(+δ)=j X()=i}=Qij()Δ+O(Δ), δηλ. η ποσότητα Qij() πολλαπλασιασμένη με το πολύ μικρό χρονικό διάστημα (,+Δ] δίνει προσεγγιστικά την πιθανότητα μετάβασης από την κατάσταση i στην j σε αυτό το διάστημα. Η ποσότητα Qij() ονομάζεται «τάση μετάβασης από την κατάσταση i στην j τη στιγμή» (για i j). Αντίστοιχα για ένα μικρό χρονικό διάστημα Δ θεωρούμε ότι prob{x(+δ) i X()=i}=-Qii()Δ+O(Δ). Εδώ η ποσότητα -Qii() εκφράζει την τάση εξόδου από την κατάστηση i. Οι παραπάνω ποσότητες συνθέτουν τον πίνακα τάσεων (iesiy marix) Q()=[Qij()]i,jϵS της Μαρκοβιανής Αλυσίδας. Παρατήρηση: Ένας πραγματικός τετραγωνικός πίνακας πεπερασμένης διάστασης μπορεί να είναι πίνακας τάσεων Μαρκοβιανής Αλυσίδας για κάποια στιγμή αν-ν τα στοιχεία κάθε γραμμής του αθροίζουν στο και τα μη διαγώνια στοιχεία του είναι μη αρνητικά (άρα τα διαγώνια μη θετικά). Συμβολισμός: [A,B]=AB-BA, όπου οι A, B είναι τετραγωνικοί πίνακες ίδιας διάστασης. Ορισμός 1.1.4: Θα λέμε «πινακοσυνάρτηση» μια συνάρτηση με σύνολο τιμών ένα σύνολο πινάκων. Θεώρημα 1.1 ([2], σ. 2 pdf): Έστω Μαρκοβιανή Αλυσίδα συνεχούς χρόνου με πίνακα τάσεων Q(), ολοκληρώσιμο στο [,]. α) Για την πινακοσυνάρτηση P(,) της Μαρκοβιανής Αλυσίδας ισχύει το προς τα εμπρός διαφορικό σύστημα του Kolmogorov P(, ) P(, ) Q ( ), που έχει μοναδική λύση, δηλ. ο Q() προσδιορίζει μονοσήμαντα την P(,). β) Είναι P(, ) exp Q ( ) d αν-ν Q( ), Q ( ) d. 9

10 Παρατηρήσεις: Ικανή συνθήκη για να μετατίθεται ο Q() με το Q( ), Q ( ), Q ( ) d είναι Στην ενότητα που αφορά την dep(,) παρακάτω θα δείξουμε ότι dep(,)>, άρα ο P(,) αντιστρέφεται και το προς τα εμπρός διαφορικό σύστημα του Kolmogorov γράφεται ισοδύναμα 1 P(, ) Q( ) P (, ). Άρα για κάθε πινακοσυνάρτηση P(,) ορισμένη στο [, ) υπάρχει το πολύ μια πινακοσυνάρτηση τάσεων Q() που να την παράγει. Η φράση «το πολύ» σημαίνει ότι ο Q() που προκύπτει από την παραπάνω σχέση μπορεί να μην είναι πίνακας τάσεων λόγω του προσήμου των στοιχείων του, ακόμα και αν ο P(,) είναι στοχαστικός πίνακας. Αυτό θα το δούμε αναλυτικότερα παρακάτω. Ένα συμπέρασμα που προκύπτει από αυτήν την παρατήρηση είναι ότι μια Μαρκοβιανή Αλυσίδα συνεχούς χρόνου είναι ομογενής αν-ν ο Q() είναι σταθερός. Από την [3] φαίνεται ότι ο τύπος της λύσης του παραπάνω διαφορικού συστήματος είναι ανεξάρτητος του αν ο Q() είναι πίνακας τάσεων. Αυτό, όμως, θα μας ενδιαφέρει μόνο σε μια συγκεκριμένη ενότητα πολύ παρακάτω, δηλ. κατά κανόνα θα εργαζόμαστε με πίνακα τάσεων. Στα επόμενα χρησιμοποιούμε την έννοια της σύγκλισης πίνακα. Λόγω της πεπερασμένης διάστασης των πινάκων, η κατά νόρμα σύγκλιση συμπίπτει με την κατά στοιχείο σύγκλιση. Πρόταση 1.1.2: Αν lim Q( ) : Q ( ) M ( ) και lim P(, ) : P (, ), τότε P(, ) lim O. Απόδειξη: Είναι P(, ) P(, ) Q ( ), άρα P(, ) lim P(, ) Q ( ) M( ). Θεωρούμε τυχαίες καταστάσεις i, j. Pij (, ) Pij (, ) Pij (, ) : lim lim. Έστω Pij (, ) lim. Επιλέγουμε P (, ) lim ij Pij (, ) και τότε η διατηρεί πρόσημο. Αν Pij (, ) lim, τότε η Pij (, ) αυξάνεται ταχύτερα σε σχέση με το να ίσχυε

11 Αλλά στην τελευταία περίπτωση η Pij (, ) Pij (, ) lim. P (, ) ij θα ήταν θετική σταθερά, άρα η Pij(,) θα αύξανε γραμμικά και θα έτεινε στο +. Άρα το ίδιο θα ίσχυε για την Pij(,) και στην πραγματικότητα: άτοπο, αφού είναι πιθανότητα. Όμοια καταλήγουμε σε άτοπο αν Pij (, ) lim. Άρα P(, ) lim O. Ορισμοί 1.1.5: Για κάθε πραγματικό πίνακα A=[Aij]i,j πεπερασμένης διάστασης ορίζονται οι νόρμες ( A ): γραμμής: max A. i στήλης: max A. Frobeius: j i i j j ij ij A 2 ij. Σύμβαση: Όταν αναφερόμαστε αόριστα σε νόρμα πίνακα θα εννοούμε οποιαδήποτε (όχι κατ ανάγκη από τις παραπάνω), όχι όμως γενικευμένη. Πρόταση 1.1.3: Αν Q( ) O, τότε P(, ) lim O. Απόδειξη: Είναι P(, ) P(, ) Q( ) P(, ) Q ( ), αφού ο P(,) είναι στοχαστικός και άρα η P(,) φραγμένη (η νόρμα γραμμής είναι 1 και οι νόρμες είναι ισοδύναμες από [1], σ. 152, θεώρημα 4.5). Πρόταση 1.1.4: Κάθε πίνακας τάσεων έχει ιδιοτιμή το και κάθε άλλη ιδιοτιμή του έχει αρνητικό πραγματικό μέρος. Απόδειξη: Ο Ο έχει ιδιοτιμή μόνο το. Κάθε πίνακας τάσεων Q Ο μπορεί να αντιστοιχιστεί στον Q P I : a max( Qii ). a i που είναι στοχαστικός. Άρα για κάθε ιδιοτιμή λ του Q η 1 είναι ιδιοτιμή του P και a αντιστρόφως. Όπως κάθε στοχαστικός πίνακας, ο P έχει ιδιοτιμή το 1, αφού P1=1, και όλες οι ιδιοτιμές του έχουν μέτρο το πολύ 1 ([9]). Άρα προκύπτει αντίστοιχα ότι ο Q έχει ιδιοτιμή το και όλες οι ιδιοτιμές του ανήκουν στο δίσκο του μιγαδικού επιπέδου με κέντρο mi Q ii, και ακτίνα max( Q ), του οποίου η περιφέρεια εφάπτεται από αριστερά στο φανταστικό άξονα στην αρχή των i αξόνων. ii i 11

12 1.2) Εξέλιξη, ασυμπτωτική συμπεριφορά και ταχύτητα σύγκλισης Αλυσίδων με μη ομογενείς πίνακες τάσεων εξαρτώμενους από μοναδικό πίνακα, ομογενή Συμβολισμός: Με το συμβολισμό F(A,) υπονοείται ότι στην έκφραση της F δεν υπεισέρχονται άλλοι πίνακες εκτός του σταθερού A (δηλ. ανεξάρτητου του ). Προφανώς επιτρέπουμε την εμφάνιση του ταυτοτικού I, αφού γράφεται ως συνάρτηση του A (Ι=Α ). Παρατηρήσεις: Στην πραγματικότητα, επειδή η F(A,) γράφεται ως πολυωνυμική συνάρτηση του A με χρήση των πινάκων συνιστωσών του, σε αυτήν την περίπτωση υπάρχουν συναρτήσεις fν() ώστε m1 FA (, ) A f ( ), όπου m το άθροισμα των πολλαπλοτήτων των ιδιοτιμών του A στο ελάχιστο πολυώνυμό του. Μπορεί ο F(A,) να είναι πίνακας τάσεων ακόμα και αν ο A δεν έχει καμία από τις δυο ιδιότητες του πίνακα τάσεων. Π.χ. αυτό ισχύει για Α=11 και F(A)=A-I. Αν επεκτείνουμε τον ορισμό της συνάρτησης πίνακα για συναρτήσεις πολλών πινάκων Ar, πεπερασμένου ή αριθμήσιμου πλήθους, ορίζοντάς τις ως πολυώνυμα ή σειρές μονωνύμων αντίστοιχα αυτών των πινάκων, τότε όλες οι προτάσεις αυτής της ενότητας ισχύουν και αν αντικατασταθεί το F(A,) με το γενικότερο F({Ar},), αρκεί οι πίνακες του {Ar} να αντιμετατίθενται. Πρόταση 1.2.1: Έστω η πινακοσυνάρτηση F(A,). Τότε για κάθε : α) Κάθε δεξί ή αριστερό ιδιοδιάνυσμα της ιδιοτιμής λ του A είναι αντίστοιχα δεξί ή αριστερό ιδιοδιάνυσμα της ιδιοτιμής F(λ,) του F(A,), που δεν έχει άλλες ιδιοτιμές. β) Αν η F(λ,) ως συνάρτηση του λ αντιστρέφεται στο σ(a), όπου σ( ) το φάσμα πίνακα, τότε οι ιδιοχώροι των ιδιοτιμών λ και F(λ,) των A και F(A,) αντίστοιχα συμπίπτουν. Αν η F(λ,) δεν αντιστρέφεται στο σ(a), τότε μπορεί η ένωση των ιδιοχώρων των ιδιοτιμών του A με κοινή εικόνα μέσω της F να είναι γνήσιο υποσύνολο του ιδιοχώρου της αντίστοιχης ιδιοτιμής-εικόνας του F(A,), δηλ. υπάρχει ιδιοδιάνυσμα του F(A,) που δεν είναι ιδιοδιάνυσμα του A. Απόδειξη: α) Αν x είναι δεξί ιδιοδιάνυσμα της ιδιοτιμής λ του A, τότε Ax=λx, άρα j j A x x j. Επίσης m1 FA (, ) A f ( ). Άρα το x είναι και δεξί ιδιοδιάνυσμα της ιδιοτιμής F(λ,) του F(A,), δηλ. F(A,)x=F(λ,)x. (Η απόδειξη είναι όμοια και για τα αριστερά ιδιοδιανύσματα.) Ο F(A,) δεν έχει άλλες ιδιοτιμές σύμφωνα με την [1], σ. 115, πόρισμα 3.1. β) Έστω ότι υπάρχει η αντίστροφη F -1 (λ,) της F(λ,) στο σ(a). Τότε, από το (α), κάθε δεξί ή αριστερό ιδιοδιάνυσμα της ιδιοτιμής μ()=f(λ,) του F(A,) είναι αντίστοιχα δεξί ή αριστερό ιδιοδιάνυσμα της ιδιοτιμής F -1 (μ())= F -1 (F(λ,))=λ του F -1 (F(A,))=A (η τελευταία σχέση προκύπτει από [1], σ. 123, θεώρημα 3.1). Έστω τώρα ότι η συνάρτηση F(λ,) ισούται με το χαρακτηριστικό πολυώνυμο του A ( A ),. Τότε η F δεν αντιστρέφεται στο σ(α), διότι εκεί μηδενίζεται παντού. Είναι F(A,)=Ο, που έχει ιδιοτιμή το με γεωμετρική (και αλγεβρική) πολλαπλότητα k. Δηλ. ο ιδιοχώρος k της ιδιοτιμής είναι ολόκληρος ο. Αν ο A δεν έχει πλήρες σύστημα ιδιοδιανυσμάτων, τότε η k ένωση των ιδιοχώρων του είναι γνήσιο υποσύνολο του. Πρόταση 1.2.2: Έστω πίνακας A και πίνακας τάσεων Q. Τότε: α) F(Q,)1= αν-ν F(,)=. β) Αν ο F(A,) είναι πίνακας τάσεων, τότε i] ReF(λ,) ( A ). 12

13 ii] Το Re F(, ) d είναι μη θετικό και φθίνουσα συνάρτηση του. γ) Ειδικότερα, αν ο F(Q,) είναι πίνακας τάσεων, τότε ReF(λ,) ( Q ), με F(,)=. Το αντίστροφο δεν ισχύει. Απόδειξη: α) Είναι m1 m 1 m 1 1 f f f f ) f 1 1 F( Q, ) 1 ( ) Q 1 ( ) 1 ( ) Q Q1 ( ) 1, F(, ( ) f ( ) f ( ). β) i] Τα F(λ,) είναι οι ιδιοτιμές του πίνακα τάσεων F(A,), άρα ReF(λ,) ( A ). ii] Προκύπτει από το [i], αφού Re F(, ) d Re F(, ) d. γ) Η σχέση F(,)= προκύπτει από το (α), ενώ από το (β) συνάγουμε ότι ReF(λ,) ( A ). Μπορεί η F(Q,) να μην είναι πίνακας τάσεων λόγω του προσήμου των στοιχείων, ακόμα και αν για τις ιδιοτιμές του F(Q,) ισχύει ReF(λ,) ( Q ), με F(,)=. Π.χ. για Q έχουμε Q O Q έχει ιδιοτιμές τις -7, -7,, άρα ο Q 7 τις (-7) 7, (-7) 7, 7. Είναι λ 7 < για λ< και 7 =. Παραδείγματα 1.2: Για κάθε πίνακα τάσεων Q μη σταθεροί πίνακες τάσεων της μορφής F(Q,) είναι οι: α) exp F ( Q, ) d Ι, για κάθε πίνακα τάσεων F(Q,), ώστε να ορίζεται η j d F (, ) j d d ( A ) με πολλαπλότητα j στο ελάχιστο πολυώνυμο, αφού ο εκθετικός όρος είναι στοχαστικός, ως ο πίνακας πιθανοτήτων μετάβασης μιας Μαρκοβιανής Αλυσίδας με πίνακα τάσεων F(Q,) και αρχική στιγμή (βλ. την παρακάτω πρόταση). β) Fi ( Q, ), όπου Fi(Q,) πίνακες τάσεων. i γ) F(Q,)f(), για κάθε f με f(),. Έστω ο πίνακας τάσεων Q Πίνακας τάσεων της μορφής F(Q,) είναι ο 13

14 Q cosh Q I (ισχύει Q e e Q cosh Q, 2 από [1], σ. 123, θεώρημα 3.1). O Q έχει ιδιοτιμές τις -7, -7,. Παρατηρούμε ότι για τη συνάρτηση F(λ)=5λ-coshλ+1 είναι F()= και F(λ)< για λ<. Πρόταση (εξέλιξη και ασυμπτωτική συμπεριφορά): Έστω Q()=F(A,) για κάθε. α) Για κάθε για το οποίο η F(λ,) αντιστρέφεται στο σ(a) ως συνάρτηση του λ υπάρχει σταθερό y με y Q()=. Το y ικανοποιεί τη σχέση y A=λy, όπου F(λ,)=. β) Αν υπάρχει 1 ώστε η F(λ,1) να αντιστρέφεται στο σ(a) και η γεωμετρική πολλαπλότητα της ιδιοτιμής λ του A να είναι 1, τότε μπορούμε να επιλέξουμε το y ως στοχαστικό π. Η επιλογή του στοχαστικού διανύσματος είναι μοναδική. γ) Αν οι υποθέσεις του (β) ισχύουν για κάθε 1, τότε το π είναι κατανομή ισορροπίας της Μαρκοβιανής Αλυσίδας με πίνακα τάσεων Q(). j δ) Αν ορίζεται η F(, ) d ( ) j A με πολλαπλότητα j στο ελάχιστο πολυώνυμο, τότε i] ii] Το P(, ) υπάρχει αν-ν ( A ) υπάρχει το P(, ) exp Q( ) d exp FA (, ) d. F(, ) d στο (με Re F(, ) d ) ή 14 Re F(, ) d. ε) Αν ισχύουν οι υποθέσεις του (γ), ισχύει P(, ) lim O και η Q 1 () είναι φραγμένη για, όπου ο προκύπτει αντικαθιστώντας την τελευταία στήλη του Q() με το g()1, όπου g() συνάρτηση τέτοια ώστε g() για κάθε 1, τότε P(, ) Π, όπου Π π π '. Απόδειξη: α) Το είναι ιδιοτιμή του Q(). Αν η συνάρτηση F(λ,) αντιστρέφεται στο σ(a), τότε όλα τα ιδιοδιανύσματα του Q() είναι ανεξάρτητα του, ως ιδιοδιανύσματα του A. Η σχέση y A=λy προκύπτει από την πρόταση 1.2.1(α). β) Αφού το y είναι ιδιοδιάνυσμα, μπορούμε να το επιλέξουμε έτσι ώστε να ισχύει y 1=1, αρκεί να είναι αδύνατο να ισχύει y 1=, που όμως συμβαίνει. Πράγματι, η γεωμετρική πολλαπλότητα της ιδιοτιμής λ του A, ισοδύναμα, λόγω της πρότασης 1.2.1(β) και της αντιστροφής της F(λ,1), η γεωμετρική πολλαπλότητα της ιδιοτιμής του Q(1) είναι 1, άρα η ομογενής Μαρκοβιανή Αλυσίδα με πίνακα τάσεων Q(1) έχει μοναδική κατανομή ισορροπίας π, για την οποία ισχύει π Q(1)=. Αφού η γεωμετρική πολλαπλότητα είναι 1 και λόγω της σχέσης y Q(1)= προκύπτει π//y, δηλ. ότι τα π και y είναι παράλληλα. Όμως π 1=1. Άρα μπορούμε να υποθέσουμε ότι y 1=1, δηλ. y=π. γ) Το π είναι σταθερό και π Q()= για κάθε 1, άρα ικανοποιεί το προς τα εμπρός διαφορικό σύστημα του Kolmogorov για κατανομές, p '( ) p'( ) Q ( ). δ) i] Είναι [A,F(A,)]=, αφού Q()

15 ii] Το P(, ) υπάρχει αν-ν για κάθε ακολουθία m1 FA (, ) A f ( ). P (, ) exp FA (, ) d,,, με =, το lim P (, ) υπάρχει και είναι ανεξάρτητο της ακολουθίας, δηλ. ([1], σ. 119) ισχύει το ίδιο και για κάθε ακολουθία δηλ. υπάρχει το F d Α exp (, ),,, ( ), limexp F(, ) d ( A ). Το ζητούμενο προκύπτει τώρα από τα χαρακτηριστικά της εκθετικής συνάρτησης. ε) Με τις υποθέσεις του (γ) το π είναι το μοναδικό στοχαστικό διάνυσμα με π Q()=, δηλ. η μοναδική λύση του συστήματος για κάθε 1. Άρα υπάρχει ο δηλ. Επίσης άρα ή ή άρα άρα άρα Q 1 () π' Q( ) [ ' g( )], για κάθε 1. Είναι P(, ) lim O, lim P(, ) Q( ) O. ΠQ( ) [ O g( ) 1] 1, lim P(, ) Q( ) [ O g( ) 1] 1 E( ) M ( ) : E( ) O και P(, ) Q( ) ΠQ( ) E ( ), [ P(, ) Π] Q( ) E ( ), P Π E Q 1 (, ) ( ) ( ), 1 P(, ) Π E( ) Q ( ), 1 P(, ) Π E( ) Q ( ), lim P(, ) Π, δηλ. P(, )=Π. Σχόλια: Για κάθε για το οποίο ο Q() έχει απλές ιδιοτιμές η F(λ,) αντιστρέφεται στο σ(a) ως συνάρτηση του λ και η γεωμετρική πολλαπλότητα της ιδιοτιμής του Q(1) είναι 1. Με τις υποθέσεις του (ε) το P(, ) είναι ανεξάρτητο της F. 15

16 Πόρισμα 1.2.1: Σε κάθε ομογενή Αλυσίδα συνεχούς χρόνου το P(, ) υπάρχει. Απόδειξη: Προκύπτει από το [ii] του (δ). Πράγματι, ( Q ) (όπου Q ο πίνακας τάσεων) είναι F(, ) d d. F, d d Re ( ) Re Relim ( ). Πρόταση (ανάπτυγμα κατά συνιστώσες): Έστω Q()=F(A,) για κάθε. Αν ορίζεται η j d F(, ) d ( ) j d A με πολλαπλότητα j στο ελάχιστο πολυώνυμο, τότε mi1 j mi 1 j m 1 d d P(, ) exp F(, ) d exp f ( ) d Z Z j i ij j i ij i1 j d i1 j d mi 1 j m1 d exp i g ( ) ij, j i1 j d Z όπου το πλήθος διαφορετικών ιδιοτιμών, m1 m1 FA (, ) A f ( ), F( A, ) d A g ( ) και Zij οι πίνακες συνιστώσες του A. Αν υπάρχουν τα να θέσουμε g( ) f( ) d, {,..., m 1}, f ( ) d, {,..., m 1}, τότε μπορούμε αν και αυτό δεν είναι απαραίτητο αν μπορεί να τεθεί κάτι άλλο. Ειδικά: α) Αν ο A διαγωνιοποιείται, τότε m1 m1 P(, ) exp i f( ) d i exp i g( ) i. Z Z i1 i1 Λόγω της διαγωνιοποίησης οι Ζi σχηματίζονται από το γινόμενο των δεξιών ιδιοδιανυσμάτων του A (στήλες) με τα αριστερά (γραμμές) ([3], σ. 48). β) Αν Q()=Qf() για κάθε, όπου Q Ο πίνακας τάσεων, τότε j mi 1 P(, ) exp i f ( ) d f ( ) d Z ij. i1 j [Οι πίνακες συνιστώσες είναι σταθεροί και γραμμικά ανεξάρτητοι. Ο ορισμός τους και ο τρόπος υπολογισμού τους φαίνονται στη [1], σ. 116, 117.] Ορισμοί 1.2.1: Έστω g()> για κάθε. Για : f ( ) O g( ) αν μεγάλο όμικρον: μικρό όμικρον: f ( ) og( ) θήτα: f ( ) g( ) αν αν c, : f ( ) cg( ). 1 1 f() lim. g () 16

17 c c cc 1 2 1, 2, 1 :. c1g ( ) f ( ) c2g( ) 1 Οι επόμενοι δυο ορισμοί θα μας χρειάζονται για τη P(, ) P (, ) ως συνάρτηση του. Ορισμοί 1.2.2: Έστω lim h ( ) : (, ). Θα λέμε «ταχύτητα σύγκλισης της h()» την dh(). d λέγεται γεωμετρική αν b(,1) : h( ) o( b ) ([8], σ. 152). Ειδικά η ταχύτητα σύγκλισης της h()> θα h ( 2) Θα λέμε «λόγο σύγκλισης της h() από τη στιγμή 1 στην 2» το. h ( 1) Παρατήρηση: Ο λόγος σύγκλισης της h()=cb : c>, <b<1 είναι b για κάθε ζεύγος στιγμών. Γι αυτό ο δεύτερος ορισμός θα μας είναι πιο χρήσιμος και μέσω αυτού θα αναφερόμαστε στην ταχύτητα σύγκλισης Από το ανάπτυγμα κατά συνιστώσες μπορεί να μελετηθεί η ταχύτητα σύγκλισης του P(,) στο P(, ) [δηλ. της P(, ) P (, ) στο ]. Πόρισμα 1.2.2: Στην περίπτωση (β) της πρότασης, αν το έχει πολλαπλότητα 1 στο ελάχιστο πολυώνυμο του A και lim f( ) d, τότε P(, )=Z1 και η ταχύτητα σύγκλισης σε βάθος χρόνου καθορίζεται κυρίως από τον όρο του αναπτύγματος που φθίνει πιο αργά, που είναι ο exp i f ( ) d f ( ) d i, m1, Z im όπου το Μ αποτελείται από τις ιδιοτιμές του Α με Re max Re : r i ( Q) {} και έχουν τη μέγιστη πολλαπλότητα m στο ελάχιστο πολυώνυμο του Α μεταξύ των ιδιοτιμών με αυτό το πραγματικό μέρος. Επίσης, σε βάθος χρόνου (για >>) m1 m1 P(, ) P(, ) exp r f ( ) d f ( ) d im, 1 oexp r f ( ) d f ( ) d, Z i M και ειδικότερα, όταν Μ =1, η προηγούμενη ανισότητα εκφυλίζεται στην αντίστοιχη ισότητα, δηλ. mi1 mi1 P(, ) P(, ) exp i f ( ) d f ( ) d i, m1 oexp i f ( ) d f ( ) d. Z Σχόλιο: Οι Q, Q() είναι πίνακες τάσεων, άρα f(). Άρα f( ) d και το ολοκλήρωμα αυτό είναι αύξον ως προς. Άρα είτε lim f( ) d, είτε το ολοκλήρωμα συγκλίνει, και τότε f( )=, δηλ. Q( )=O. 17 m1

18 Απόδειξη: Είναι Εφαρμόζοντας το παραπάνω για, αν a b 1 a b 1 ax b1 lim e x. x 1, αν x f ( ) d, αφού υπάρχει μοναδική ιδιοτιμή με πραγματικό μέρος (το ), με πολλαπλότητα 1 στο ελάχιστο πολυώνυμο του Α, και οι άλλες έχουν αρνητικά πραγματικά μέρη, από το ανάπτυγμα κατά συνιστώσες προκύπτει P(, )=Z1. Έχουμε Έστω e x x a a a1 x b1 1 b1 b2 1 2 lim lim, αν a2 a1 ή. x a2x b2 1 x ( a2 a1 ) x e x e b2 b1 M( ) exp i f ( ) d f ( ) d i, m1. Z im P(, ) Z M( ) o M ( ) και P(, )=Z1, άρα Είναι 1 o Αφού ( ) o ( ) ( ) o ( ) ( ) o ( ), o Είναι m1 P(, ) P(, ) M( ) M ( ). (1.2.1) M M M M M M η (1.2.1) συνεπάγεται ότι P(, ) P(, ) M( ) M ( ). (1.2.2) M( ) exp i f ( ) d f ( ) d im i im m1 exp ( r i Im ) f ( ) d f ( ) d i, m1 m1 m1 i, m1 exp r f ( ) d f ( ) d exp Im i f ( ) d i, i Z. m1 im Από την (1.2.3) και αφού η (1.2.2) γράφεται ισοδύναμα f( ) d m1 Z Z (1.2.3) P(, ) P(, ) exp r f ( ) d f ( ) d exp Im i f ( ) d i, m1 o ( ), i Z M i M άρα m1 P(, ) P(, ) exp r f ( ) d f ( ) d exp Im i f ( ) d i, m1 o ( ), i Z M i M δηλ. 18

19 m1 m1 P(, ) P(, ) exp r f ( ) d f ( ) d im, 1 oexp r f ( ) d f ( ) d. Z i M Αν το Μ είναι μονοσύνολο, η ιδιοτιμή του Μ είναι πραγματική (αλλιώς θα ανήκε στο Μ και η συζυγής της, άτοπο) και η ισότητα δε χρειάζεται να γίνει ανισότητα, γιατί το άθροισμα έχει μόνο έναν όρο. Πόρισμα 1.2.3: Σε κάθε πίνακα τάσεων με πραγματικές ιδιοτιμές η αλγεβρική και η γεωμετρική πολλαπλότητα της ιδιοτιμής είναι ίσες. Απόδειξη: Επιλέγουμε στο (β) f()=, =. Δηλ. F(λ,)=λ, άρα ορίζεται η ή j F(, ) d j άρα, αφού προκύπτει Αν m1 2, τότε, επειδή προκύπτει ( A ) με πολλαπλότητα j στο ελάχιστο πολυώνυμο. Άρα για λ1= είναι mi 1 i j P(, ) e Z ij, i1 j m1 1 mi 1 j i 1j j 2i j j P(, ) Z e Z, Z O 1, m1 1, lim P(, ) lim Z. άτοπο, αφού ο P(,) είναι στοχαστικός. Άρα m1=1. m1 1 1, m1 1 Z O 1, m1 1, lim P (, ) : Η ταχύτητα σύγκλισης μπορεί να μελετηθεί στην ομογενή περίπτωση και μέσω του δέλτα συντελεστή. ij Ορισμοί 1.2.3: Για κάθε στοχαστικό πίνακα P=[Pij]i,j ορίζονται τα εξής: εργοδικός συντελεστής: ( P ) 1 sup ( P ), όπου ( P P ) max(, P P ). i, j ij P j δέλτα συντελεστής: δ(p)=1-α(p), δηλ. ( P ) sup ( P ). i, j ij ij j ij j P j Πρόταση ([5], σ. 25 pdf): Είναι 1 ( P ) sup Pij P j. 2 i, j Σχόλιο: Από την πρόταση φαίνεται ότι το δ(p) είναι το μισό της μέγιστης απόστασης γραμμών του P η οποία παράγεται από τη νόρμα γραμμής. Ορισμός 1.2.4: Ένας πίνακας θα λέγεται ευσταθής αν έχει ίδιες γραμμές. 19

20 Ορισμοί ([3], σ. 47, 48): Η πινακοσυνάρτηση P(s,) θα λέγεται: ασθενώς εργοδική αν lim P ( s, ) s. ισχυρά εργοδική αν υπάρχει ευσταθής στοχαστικός πίνακας Π με lim P( s, ) Π s. Παρατήρηση: Αν η P(s,) είναι ισχυρά εργοδική, είναι και ασθενώς. Πρόταση 1.2.6: Η P(s,) ομογενούς Αλυσίδας συνεχούς χρόνου είναι ασθενώς εργοδική αν-ν είναι και ισχυρά. Απόδειξη: Αν η P(s,) είναι ασθενώς εργοδική, τότε lim P (, ), δηλ. οι γραμμές του P(,) τείνουν να συμπίπτουν. Επίσης, απεδείχθη στο πόρισμα ότι σε κάθε ομογενή Αλυσίδα συνεχούς χρόνου το P(, ) υπάρχει. Σύμβαση: Με βάση την πρόταση θα λέμε εργοδική μια ομογενή Μαρκοβιανή Αλυσίδα όταν η P(s,) είναι ισχυρά (ισοδύναμα ασθενώς) εργοδική. Πρόταση ([3], σ. 49): Αν η P(,) ομογενούς Αλυσίδας είναι εργοδική με P(, ) Π, τότε υπάρχουν σταθερές c και b (<b<1) ώστε Ρ(, ) Π cb, δηλ. Ρ(,)-Π =O(b ). Μπορούν να τεθούν 2 1, b d c : d Ρ (, ) (,1) (που δεν ισχύει πάντα). d Παρατήρηση: Ο τύπος m1 m1 P(, ) P(, ) exp r f ( ) d f ( ) d im, 1 oexp r f ( ) d f ( ) d, Z i M που είχαμε δείξει ότι ισχύει όταν Q()=Qf() για κάθε, όπου Q Ο πίνακας τάσεων, για f()=1 (ομογένεια) γίνεται r( ) m 1 r( ) m P(, ) P(, ) e ( ) Z o e ( ) 1, im, 1 im άρα (, ) (, ) ( r r P P o ) e, και ειδικότερα P Π Oe ( ) αν m 1. Να παραλληλιστεί αυτό με το γεγονός ότι το e r είναι το μέγιστο μικρότερο του 1 μέτρο ιδιοτιμής του P(,+1)=e Q (που ως εργοδικός έχει το 1 ως απλή ιδιοτιμή και τις άλλες με μικρότερο μέτρο). Όμως οι δυο μέθοδοι δε δίνουν εν γένει την ίδια βάση στην εκθετική συνάρτηση-φράγμα, πράγμα που αντιφάσκει με τα γραφόμενα στην [5], σ. 38 pdf. Π.χ. για Q έχουμε P (, 1) με ιδιοτιμές 1, , , και P (, 1)

21 1.3) Ασυμπτωτική συμπεριφορά Αλυσίδων με μη ομογενείς πίνακες τάσεων που τείνουν να εξαρτώνται από μοναδικό πίνακα, ομογενή Υπενθυμίζουμε ότι όταν αναφερόμαστε σε νόρμα πίνακα εννοούμε οποιαδήποτε νόρμα, όχι όμως γενικευμένη. Πρόταση 1.3: Έστω A και πίνακας τάσεων F(A,). Θεωρούμε τους και να προκύπτουν αντικαθιστώντας την τελευταία στήλη των Q() και F(A,) αντίστοιχα με το g()1. Αν ορίζεται η j F(, ) d ( ) j A με πολλαπλότητα j στο ελάχιστο πολυώνυμο, 21 Q() P(, ) P*(, ) lim lim O, όπου P*(,) ο πίνακας πιθανοτήτων μετάβασης αν ήταν Q()=F(A,), και lim Q( ) F( A, ) και η F 1 ( A, ) ή η Q 1 () Q( ) F( A, ) 1 1 lim και οι F ( A, ), F( A, ) F ( A, ) ή οι FA (, ) υπάρχουν και είναι φραγμένες για, τότε, ανεξάρτητα από τη σύγκλιση ή μη του P(,), είναι Απόδειξη: Πρώτα θεωρούμε τις P (, ) limex p FA (, ) d. FA (, ) υπάρχει και είναι φραγμένη για, ή 1 1 Q ( ), Q( ) Q ( ) 1 1 F A F A F A φραγμένες για. Από το προς (, ), (, ) (, ) τα εμπρός διαφορικό σύστημα του Kolmogorov προκύπτει lim P(, ) Q( ) lim P*(, ) F( A, ) [ O g( ) 1 ], άρα ή ή άρα άρα δηλ. E( ) M ( ) : E( ) O και P(, ) Q( ) P*(, ) F( A, ) E ( ), P(, ) Q( ) F( A, ) P*(, ) P(, ) F( A, ) E ( ), 1 1 P(, ) Q( ) F( A, ) F ( A, ) P*(, ) P(, ) E( ) F ( A, ), 1 1 P*(, ) P(, ) P(, ) Q( ) F( A, ) F ( A, ) E( ) F ( A, ), 1 1 *(, ) (, ) (, ) ( ) (, ) P P P Q F A F ( A, ) E( ) F ( A, ), P*(, ) P(, ) Q F A E F A F A F A P(, ) FA (, ) P(, ) 1 ( ) (, ) ( ) (, ) 1 (, ) (, ). Αλλά ο P(,) είναι στοχαστικός, άρα η P(,) κάτω φραγμένη από θετικό αριθμό (η νόρμα γραμμής είναι 1 και οι νόρμες είναι ισοδύναμες), άρα P*(, ) P(, ) lim, P(, ) ή lim P*(, ) P (, ),

22 ή ή P(, )=P*(, ), δηλ. Αν μόνο η F 1 ( A, ) lim[ P*(, ) P (, )], P(, ) limexp Q ( ) d. είναι φραγμένη για και 22 lim Q( ) F( A, ), τότε χρησιμοποιούμε την απλούστερη μορφή της τελευταίας ανίσωσης, δηλ. Αν οι ή ή άρα Αλλά άρα 1 ( ) (, ) 1 E F A P*(, ) P(, ) F ( A, ) Q( ) F( A, ). P(, ) P(, ) 1 1 Q Q Q είναι φραγμένες για, τότε, παρόμοια με πριν, ( ), ( ) ( ) P(, ) Q( ) P*(, ) F( A, ) E ( ), P(, ) P*(, ) Q( ) P*(, ) F( A, ) Q( ) E ( ), 1 1 P(, ) P*(, ) P*(, ) F( A, ) Q( ) Q ( ) E( ) Q ( ), 1 P( (, ) ( ) ( ) ( ), ) P*(, ) F A Q E Q 1 Q( ) Q ( ). P*(, ) Q() P*(, ) Τα υπόλοιπα δικαιολογούνται παρόμοια με πριν. 1.4) Περιοδικοί πίνακες τάσεων Έστω Q()=Q(+T) για κάθε, όπου Τ>. Q() lim 1, FA (, ) F( A, ) Q( ) lim. Q() Πρόταση ([2], σ. 5 pdf): Είναι P(s,)=P(s+T,+T) s. Πρόταση 1.4.2: Είναι P(s,+νT)=P(s,)P ν (,+T) για κάθε s,, ν φυσικό. Απόδειξη: Είναι P(s,+νT)=P(s,)P(,+T)P(+T,+2T) P(+(ν-1)T,+νT). Χρησιμοποιούμε την προηγούμενη πρόταση. Πόρισμα 1.4: Ο Π():=P (,+T) συγκλίνει και lim P(, T) P(, ) Π ( ). Ειδικά, αν ο Π(+δ) είναι ευσταθής, τότε li m P(, T) Π ( ).

23 Απόδειξη: Ο P(,+T) ως πίνακας πιθανοτήτων μετάβασης ομογενούς Μαρκοβιανής Αλυσίδας διακριτού χρόνου δεν είναι περιοδικός, αφού, εφόσον παράγεται από Μαρκοβιανή Αλυσίδα συνεχούς χρόνου, τα στοιχεία της κύριας διαγωνίου του είναι θετικά. Άρα ο Π() υπάρχει. Για την απόδειξη της τελευταίας σχέσης χρησιμοποιούμε ότι αν P στοχαστικός και Π ευσταθής στοχαστικός πίνακας, τότε PΠ=Π. Σχόλιο: Ακόμα και αν ο P(,) δε συγκλίνει, συγκλίνει κάθε ακολουθία τιμών του από χρονικές στιγμές που διαφέρουν κατά πολλαπλάσιο του Τ, με αποτέλεσμα ο P(,) να τείνει να γίνει περιοδικός με περίοδο κάποιο διαιρέτη του Τ. 1.5) Εξέλιξη του δέλτα συντελεστή, της ορίζουσας και του ίχνους πινακοσυνάρτησης πιθανοτήτων μετάβασης που προκύπτει από Μαρκοβιανή Αλυσίδα συνεχούς χρόνου Λήμμα ([5], σ. 38, 43 pdf): Είναι δ(p) 1. Ακόμα, δ(p)= αν-ν ο P είναι ευσταθής. Λήμμα [Paz, 1971 (σύμφωνα με την [5], σ. 36 pdf)]: Αν P1, P2 στοχαστικοί πίνακες, τότε δ(p1p2) δ(p1)δ(p2). Πρόταση (εξέλιξη δέλτα συντελεστή): Η (, ) P είναι φθίνουσα συνάρτηση του. Απόδειξη: Είναι P(, 2) P(, 1) P ( 1, 2) 2 1, άρα, σύμφωνα και με τα δυο προηγούμενα λήμματα προκύπτει P(, ) P(, ) P(, ) P (, ). Παρατήρηση: Είναι P(, ) ( I ) Λήμμα ([7], σ. 1 pdf): Για κάθε στοχαστικό πίνακα P είναι dep 1, με την ισότητα να ισχύει αν-ν ο P είναι πίνακας μετάθεσης. Λήμμα 1.5.4: Για κάθε Μαρκοβιανή Αλυσίδα συνεχούς χρόνου είναι de P ( s, ) 1 s, με την ισότητα να ισχύει αν-ν ο P ( s, ) είναι πίνακας μετάθεσης. Απόδειξη: Έστω ακολουθία διαμερίσεων Ξν={s=,1,2,,ν=} με ισαπέχοντα σημεία. Τότε 1 1 s P( s, ) P( i, i 1) P ( i, i h) : h. i i Είναι lim P(, h ) lim P(, h) I, άρα Άρα i i i i h limde P (, ) 1. 1 i : de P (, h ). i i i Δηλ. dep(s,)>. Τα υπόλοιπα προκύπτουν άμεσα από το προηγούμενο λήμμα. Πρόταση (εξέλιξη ορίζουσας): Η dep(,) είναι φθίνουσα συνάρτηση του. Απόδειξη: Είναι P(, ) P(, ) P (, ), i 23 h άρα, σύμφωνα και με την προηγούμενη πρόταση και τη σχέση de P ( 1, 2) 1 προκύπτει de P(, ) de P(, )de P(, ) de P (, )

24 Άρα η dep(,) είναι φθίνουσα. Παρατηρήσεις: Είναι dep(,)=dei=1. Αν η P(s,) είναι ασθενώς εργοδική, τότε, αφού lim P (, ), ο P(,) τείνει να γίνει ευσταθής (έστω και αν δε συγκλίνει), άρα limde P (, ). Το ίδιο συμπέρασμα προκύπτει και αν, ασθενέστερα, υπάρχει πίνακας που προκύπτει από τουλάχιστον 2 γραμμές του P(,) που τείνει να γίνει ευσταθής, καθώς και αν υπάρχει παροδική κατάσταση (δηλ. όλες οι τάσεις προς αυτήν είναι τελικά ), γιατί τότε και οι πιθανότητες μετάβασης προς αυτήν τείνουν στο για. Στην ομογενή περίπτωση με πίνακα τάσεων Q είναι άρα άρα P 24 ( ( ), ) e Q, e P Q ( ) (, ) { : ( )}, r ( de P ( ), ) e Q, και κατ επέκταση de P(, ) de P(, )r Q. Σχόλιο: Να συνδυαστεί η παραπάνω πρόταση με τη γεωμετρική ερμηνεία της ορίζουσας ως το μέτρο του χωρίου (ευθύγραμμου τμήματος στον παραλληλογράμμου στον παραλληλεπιπέδου στον κ.τ.λ.) που παράγεται από τις γραμμές (ή στήλες) του πίνακα. 3 Πρόταση (εξέλιξη ίχνους): Αν Q()=F(A,) και ορίζεται η, j F(, ) d ( ) A με πολλαπλότητα j στο ελάχιστο πολυώνυμο, τότε, στα διαστήματα που ο Q() έχει μόνο πραγματικές ιδιοτιμές, οι ιδιοτιμές του P(,) είναι θετικές και το rp(,) είναι φθίνουσα συνάρτηση του, πράγμα που δεν ισχύει γενικά στα διαστήματα που υπάρχουν μιγαδικές ιδιοτιμές. Απόδειξη: Αν Q()=F(A,) και ορίζεται η ελάχιστο πολυώνυμο, τότε j j j F(, ) d ( ) A με πολλαπλότητα j στο P(, ) exp Q( ) d exp FA (, ) d. Άρα P(, ) exp F(, ) d : ( A ). Σε κάποιο διάστημα που οι ιδιοτιμές F(λ,) του Q(), ισοδύναμα οι ιδιοτιμές του P(,), είναι όλες πραγματικές (άρα και θετικές, όπως δείχνει η μορφή τους), τότε, αφού το 2, F(, ) d φθίνει ως προς, το ίδιο ισχύει και για τις ιδιοτιμές του P(,). Άρα και το άθροισμά τους, δηλ. το rp(,), είναι φθίνουσα συνάρτηση του. Ως αντιπαράδειγμα για την περίπτωση μιγαδικών ιδιοτιμών θεωρούμε Αλυσίδα 3 καταστάσεων με Q()=Q. Τότε P(,)=e Q, άρα abi abi P(, ) e : ( Q) {1, e, e } για κάποια a, b *. ( ) ( )

25 Παρατηρούμε ότι σε κάποια διαστήματα του οι δυο τελευταίες ιδιοτιμές έχουν αρνητικό πραγματικό μέρος, ισοδύναμα σε αυτά τα διαστήματα ισχύει rp(,)<1. Είναι ( abi ) ( abi ) a b i b i a r P(, ) 1 e e 1 e ( e e ) 1 2e cos( b), άρα το rp(,) δεν είναι φθίνον ως προς. Επαληθεύτηκε το συμπέρασμα αυτό για 2 2 Q με ( Q) { 3 3i, 3 3 i, }. Ακολουθεί το γράφημα του 3 r P (, ) 12e cos( 3 ), όπου φαίνεται η πρώτη στιγμή που αλλάζει μονοτονία. rp, Σχήμα 1.5.1: Γράφημα του 3 r P (, ) 12e cos( 3 ). Παρατηρήσεις: Είναι rp(,)>, αφού ο P(,) έχει θετικά διαγώνια στοιχεία. Το rp(,)=ri ισούται με το πλήθος καταστάσεων. Αν ο P(,) τείνει σε μπλοκ-διαγώνιο με τους υποπίνακες της μπλοκ-διαγωνίου να είναι ασθενώς εργοδικοί ή διάστασης 1, τότε το limr P (, ) είναι το πλήθος των υποπινάκων. Υπάρχει η υποψία ότι για να φθίνει το rp(,) σε κάποιο διάστημα αρκεί μόνο η απουσία μιγαδικών ιδιοτιμών σε αυτό. Τουλάχιστον στις 2 καταστάσεις, που και οι δυο ιδιοτιμές είναι πραγματικές (αφού η μια είναι το 1), δε χρειάζεται καμία άλλη υπόθεση, αφού de P(, ) P (, ) P (, ) P (, ) P (, ) P (, ) P (, ) 1 r P (, ) Αν και διαπιστώθηκε εμπειρικά ότι σε ομογενείς Αλυσίδες 3 καταστάσεων το ελάχιστο rp(,) δεν είναι πολύ μικρότερο του 1, αν επεκτείνουμε το παραπάνω αντιπαράδειγμα σε παράδειγμα περισσότερων, έστω 23 καταστάσεων (επελέγη περιττός αριθμός για να αποφευχθεί η ύπαρξη πραγματικών ιδιοτιμών εκτός του 1) με 2, αν i j Qij 2, αν i j 1mod 23,, αλλού 25

26 τότε υπάρχει στιγμή που το ίχνος είναι πολύ κοντά στο, που σημαίνει ότι τη στιγμή αυτήν η πιθανότητα η Αλυσίδα να βρίσκεται στην αρχική κατάσταση είναι πολύ μικρή ανεξάρτητα της αρχικής κατάστασης. Οι εντολές που παρήγαγαν το γράφημα ήταν όμοιες με τις αντίστοιχες της περίπτωσης των 3 καταστάσεων. Διαπιστώθηκε ότι και οι 22 διάφορες του 1 ιδιοτιμές είναι πράγματι μιγαδικές. rp, Σχήμα 1.5.2: Γράφημα του rp(,). Σχόλιο: Είναι γνωστό και αποδεικνύεται στοιχειωδώς ότι r P(, ) div f p( ) : f ( x)' x' P (, ). Παρατηρούμε ότι f p( ) p ( ). Έτσι, η απόκλιση του διανυσματικού πεδίου f στο σημείο με συντεταγμένες αυτές της αρχικής κατανομής είναι θετική και συνήθως φθίνουσα συνάρτηση του. 1.6) Συνθήκες ύπαρξης πίνακα τάσεων που να αντιστοιχεί σε δοθείσα πινακοσυνάρτηση πιθανοτήτων μετάβασης (2 καταστάσεις) Πρόταση 1.6: Για κάθε πινακοσυνάρτηση P(,) υπάρχει το πολύ ένας πίνακας τάσεων Q() που ικανοποιεί το προς τα εμπρός διαφορικό σύστημα του Kolmogorov, και δίνεται ως 1 P(, ) Q( ) P (, ). (1.6) Στην περίπτωση 2 καταστάσεων ο πίνακας τάσεων υπάρχει αν-ν P11(, ) P11(, ) P22(, ) P11(, ), P22(, ) P22(, ) και τότε P11 (, ) P21 (, ). Απόδειξη: Ο τύπος (1.6) υπολογισμού του Q() προκύπτει από τον πολλαπλασιασμό των μελών του διαφορικού συστήματος του Kolmogorov με τον P(,) -1, που υπάρχει, αφού dep(,)>. Πάντα 1 P(, ) Q( ) 1 P(, ) 1, αφού 26

27 P(, ) P(, ) 1 1, άρα 1. Άρα το μόνο πρόβλημα που μένει είναι πότε τα στοιχεία εκτός της κύριας διαγωνίου του Q() είναι μη αρνητικά. Στην περίπτωση 2 καταστάσεων έχουμε P11(, ) P12(, ) 1 1 (, ) P11(, ) P12(, ) P Q( ) P(, ) P21(, ) P22(, ) P21(, ) P22(, ) P11(, ) P12(, ) 1 P22(, ) P12(, ) de P(, ) P21(, ) P11(, ) P21(, ) P22(, ) P11(, ) P11(, ) 1 P22(, ) P11(, ) 1 de P(, ) P22(, ) 1 P11(, ) P22(, ) P22(, ) P11(, ) P11(, ) P11(, ) P11(, ) P22(, ) P22(, ) P22(, ) P22(, ) P22(, ) P22(, ) 1. de P(, ) P11(, ) P11(, ) P11(, ) P11(, ) P11(, ) P11(, ) P22(, ) P22(, ) P22(, ) P22(, ) Ο παραπάνω πίνακας έχει τα μη διαγώνια στοιχεία μη αρνητικά (οπότε είναι πίνακας τάσεων) αν-ν ισχύει P (, ) P (, ) P22(, ) de P(, ) P22(, ) P22(, ). P11(, ) P11(, ) P11(, ) de P(, ) P22(, ) P22(, ) Αφού dep(,)>, οι αναγκαίες και ικανές συνθήκες για να είναι ο Q() πίνακας τάσεων γίνονται P11 (, ) P11 (, ) P22 (, ) P22 (, ) P22 (, ), P11 (, ) P11 (, ) P11 (, ) P22 (, ) P22 (, ) από όπου με πρόσθεση κατά μέλη παίρνουμε 27

28 P11(, ) P22(, ), δηλ. P11 (, ) P21 (, ). Σχόλια: Η ερμηνεία της τελευταίας αναγκαίας συνθήκης παραπάνω είναι ότι σε κάθε στήλη του P(,) η απόσταση των δυο στοιχείων είναι φθίνουσα, όπως και η συνάρτηση de P(, ) P11 (, ) P22 (, ) 1 r P (, ) 1, πράγμα που έχει προαναφερθεί. Παρατηρούμε, ακόμα, ότι στην περίπτωση 2 καταστάσεων είναι de P(, ) P (, ). Οι αντίστοιχες σχέσεις για μεγαλύτερο πλήθος καταστάσεων είναι πολύ μακροσκελείς και δε φάνηκε να καταλήγουν σε ενδιαφέρον αποτέλεσμα. 1.7) Σχετικά με το όριο του διανύσματος κατάστασης Έστω p() το διάνυσμα κατάστασης τη στιγμή. Πρόταση 1.7.1: α) Αν υπάρχει ο P(, ), τότε p( ) =p() P(, ). Ειδικότερα, αν P(, )=1π, τότε p( )=π. β) Αν δεν υπάρχει το P(, ) σε Αλυσίδα 2 καταστάσεων, τότε δεν υπάρχει ούτε το p( ). Απόδειξη: β) Έστω ότι υπάρχει το p( ). Τότε P11 (, ) P12 (, ) p( )' lim p( ) ' P(, ) lim[ p1( ) p2( )] ' P21 (, ) P22 (, ) lim p ( ) P (, ) p ( ) P (, ) p ( ) P (, ) p ( ) P (, ) Για να αντιστοιχεί η πινακοσυνάρτηση P(,) σε Μαρκοβιανή Αλυσίδα, πρέπει P11(, ) P21(, ), δηλ. [ P11(, ) P21(, )]. Αλλά για να υπάρχει το lim[ p1 ( ) P (, ) p ( ) P (, )] χωρίς να υπάρχουν τα επιμέρους όρια του αθροίσματος, πρέπει τα P11(,), P21(,) να αυξομειώνονται επ άπειρον, ώστε να μη συγκλίνουν (αφού είναι και φραγμένα), και μάλιστα όταν το ένα αυξάνεται το άλλο να μειώνεται, με αποτέλεσμα η διαφορά τους να αλλάζει μονοτονία, άτοπο. Σχόλιο: Η ερμηνεία του (α) είναι ότι το p( ) είναι ο σταθμικός μέσος των γραμμών του P(, ) με βάρη τις συντεταγμένες του p(). Γεωμετρικά αυτό σημαίνει ότι το p( ) είναι εντός του κυρτού πολυέδρου (οποιασδήποτε διάστασης) με κορυφές τις γραμμές του P(, ) και η ακριβής θέση του καθορίζεται από την αρχική κατανομή. (Το πολύεδρο είναι κυρτό διότι οι κορυφές του είναι μία παραπάνω από τη διάστασή του.) Παρατήρηση: Από το παραπάνω σχόλιο συμπεραίνουμε ότι αν υπάρχει ο P(, ), τότε οι κατανομές ισορροπίας είναι ακριβώς οι σταθμικοί μέσοι των γραμμών του. Άρα στην ειδική περίπτωση που ο P(, ) είναι ευσταθής με γραμμές π υπάρχει μοναδική κατανομή ισορροπίας, η π. Πρόταση 1.7.2: Αν η Q() είναι φραγμένη για και p( )=π, τότε dp() lim Q( )' π. d Απόδειξη: Έστω ε ()=[p()-π] Q(). Είναι ε() p()-π Q(), άρα ε( )=. Είναι 28

29 ή δηλ. ε ( ) [ p( ) π]' Q ( ), p( )' Q( ) π' Q( ) ε ( ), dp() π' Q( ) ε ( ). d Πόρισμα 1.7: Αν η Q() είναι φραγμένη για και υπάρχει το P(, ), τότε P(, ) lim P(, ) Q( ) O. Απόδειξη: Επειδή P(,)=Ι, αρκεί στην προηγούμενη πρόταση να θεωρηθούν ως αρχικές κατανομές αυτές που έχουν μια μονάδα και όλα τα άλλα στοιχεία μηδενικά. 1.8) Παραδείγματα εξέλιξης, ασυμπτωτικής συμπεριφοράς και ταχύτητας σύγκλισης Παράδειγμα [Q()=F(Q,)]: Ας είναι Q Q, Q( ) 2( e I) 3Q Επαληθεύεται ότι η αριθμητική λύση του προς τα εμπρός διαφορικού συστήματος του Kolmogorov από το Mahemaica και η λύση της R με τη μορφή 29 P(, ) exp Q ( ) d συμπίπτουν. Ο γενικός τύπος του P(,) παραλείπεται ως μακροσκελής, αν και υπολογίζεται από το Mahemaica. Παρατίθενται τα P(,) για κάποια (πίνακας 1.8.1). Οι ιδιοτιμές του Q είναι, -7, -7. Το P(, ) συμπίπτει με το P(,1) με ακρίβεια 7 δεκαδικών ψηφίων. Παρατηρούμε ότι η αντίστοιχη κατανομή ισορροπίας π είναι το αριστερό στοχαστικό ιδιοδιάνυσμα της ιδιοτιμής του Q και ίδια με αυτήν που αντιστοιχεί στην ομογενή Αλυσίδα με πίνακα τάσεων τον Q, πράγμα που συμφωνεί με την πρόταση 1.2.3(γ). Πράγματι, βλέπουμε ότι η F(, ) 2( e 1) 3 αντιστρέφεται ως συνάρτηση του λ για κάθε, η ιδιοτιμή του Q έχει γεωμετρική πολλαπλότητα 1 και F(,)=. Το μόνο διαφορετικό εδώ είναι η ταχύτητα σύγκλισης, που καθορίζεται από την F(λ,). Θα την εκτιμήσουμε θεωρητικά με τη μέθοδο των ιδιοτιμών, αφού η Αλυσίδα είναι μη ομογενής. Η ιδιοτιμή -7 έχει γεωμετρική πολλαπλότητα 1. Άρα η πολλαπλότητά της στο ελάχιστο πολυώνυμο, που είναι η διάσταση του μεγαλύτερου Jorda μπλοκ που αντιστοιχεί σε αυτήν την ιδιοτιμή, είναι 2. Άρα η σχέση mi 1 j d P(, ) exp F( i, ) d j ij i1 j d Z γράφεται ισοδύναμα 2 mi 1 j d i P(, ) exp 2( e 1) 3 i d ij, j i1 j d Z ή, αλλάζοντας τη σειρά παραγώγισης και ολοκλήρωσης με τον κανόνα του Leibiz ([4]), 2( 7 1) 3( 7) 2( 7 1) 3( 7) e d e d P(, ) Z e Z e (2 e 3) d Z, δηλ e e P(, ) Z1 e Z2 e e ( ) 3 Z

30 Πίνακας 1.8.1: Οι τιμές του πίνακα P(,) Παρατηρούμε ότι οι συντελεστές των Z2, Z21 τείνουν στο για. Η ταχύτητα σύγκλισης ασυμπτωτικά καθορίζεται κυρίως από τον όρο που φθίνει πιο αργά, που έχει συντελεστή ανάλογο 4 7 e του e. Αυστηρά έχουμε 4 7 e P(, ) P (, ) Oe, άρα 23 1 P(, ) P (, ) o( ) e , αφού 23 e είναι 4 7 e e e e lim lim e. Σχόλιο: Στην πράξη δεν μπορούμε να πιστοποιήσουμε την αλήθεια της παραπάνω θεωρητικής εκτίμησης, διότι για πολύ μεγάλο δημιουργούνται μεγάλα σχετικά σφάλματα στις υπολογιζόμενες 3

31 τιμές των Ρ(, ) Ρ (, ), προφανώς λόγω υπολογιστικών σφαλμάτων, που φαίνεται να προκαλούνται από το μικρό μέγεθος του Ρ(, ) Ρ (, ). Ειδικά στο παράδειγμά μας η σύγκλιση έχει επιτευχθεί με ακρίβεια 7 δεκαδικών ψηφίων ήδη από τη στιγμή =1, όπως είδαμε παραπάνω, και κατ αυτήν την έννοια δε μας ενδιαφέρει πολύ η ταχύτητα σύγκλισης αργότερα. Πάντως οι θεωρητικές εκτιμήσεις δίνουν και πάλι μια καλή εικόνα για την τάξη μεγέθους της ταχύτητας σύγκλισης, όπως φαίνεται στο 1 ο σχήμα παρακάτω, που φαίνεται το γράφημα του λόγου σύγκλισης Ρ(,.1) Ρ(, ) Ρ(, ) Ρ(, ) 1, για τον οποίο πρέπει να ισχύει Ρ(,.1) Ρ(, ) b για, Ρ(, ) Ρ(, ) αν και δε φαίνεται κάτι τέτοιο πριν την εμφάνιση της διαταραχής από τα υπολογιστικά σφάλματα για το b που βρέθηκε με τη μέθοδο των ιδιοτιμών. Στα σχήματα χρησιμοποιήθηκε η Frobeius νόρμα, που προσφέρεται από το Mahemaica. P (, ), Παρατήρηση: Για την πληρότητα του παραδείγματος παραθέτουμε και το γράφημα των dep(,), rp(,) (σχήμα 1.8.4). Από τα παραπάνω οι ιδιοτιμές του P(,) προκύπτουν ως e e , e, e, όπως επαληθεύτηκε και μέσω της αριθμητικής λύσης του Mahemaica, άρα e r P (, ) 12 e P,.1 P, P, P, P, P,

32 P, P, Σχήματα 1.8.1, 1.8.2, 1.8.3: Γραφήματα που δείχνουν την ταχύτητα σύγκλισης του P(,) P Tr P dela Σχήμα 1.8.4: Εξέλιξη δέλτα συντελεστή, ορίζουσας και ίχνους P(,). Q( ) F( A, ) Παράδειγμα [ lim (πρβλ. [3], σ. 94)]: Q()=Q+Q1 για κάθε, όπου FA (, ),5,5, 25, 25 Q, Q Δηλ.,5, 25, 25,5 Q ( ) Παρατηρούμε ότι QQ1 Q1Q, πράγμα που μας εμποδίζει να αξιοποιήσουμε την ισοδυναμία P (, ) exp Q ( ) d αν-ν Q ( ), Q ( ) d. Πράγματι, η αριθμητική λύση του προς τα εμπρός διαφορικού συστήματος του Kolmogorov από το Mahemaica και η λύση της R με τη μορφή διότι για F(Q,)=Q1 και g()= είναι P(, ) exp Q ( ) d διαφέρουν. Όμως P(, ) exp Q ( ) d, 32

33 ,5,25,25,25, Q( ) F( Q 4 4 1, ) lim lim F( Q, ),25,25 1,5 lim,,25, ,25, 25 1,56,3, F( Q1, ) F ( Q1, ) 2 3 1, 8,1,18 σταθερή ,88,1, 2 Παρόμοια με το προηγούμενο παράδειγμα η μοναδική κατανομή ισορροπίας π είναι το αριστερό στοχαστικό ιδιοδιάνυσμα της ιδιοτιμής του Q1, δηλ. το,88,1,2 ' [βλ. και την τελευταία γραμμή του F 1 ( Q, ) 1 ]. Παρατηρούμε ότι παρότι η λύση P(, ) exp Q ( ) d εδώ είναι λανθασμένη, αποτελεί καλύτερη προσέγγιση στην αριθμητική λύση του Mahemaica (πίνακας 1.8.2) από εκείνη της [3] με προσέγγιση του marica με πολλούς όρους (που εδώ δεν παρατίθεται). Ίσως, βέβαια, αυτό να οφείλεται στα πολλά μηδενικά και γενικά τις απόλυτα μικρές τιμές του Q. Επίσης, είχαν χρειαστεί δεκάδες λεπτά ώσπου να υπολογιστούν οι P(,) [ή, για συντομία, P()] για ως 2.4 με βήμα.1 με το πρόγραμμα της [3]. Λόγω των παραπάνω στην αναφορά εκείνη δεν είχε εκτιμηθεί ικανοποιητικά και το P(, ). Με το νέο πρόγραμμα οι υπολογισμοί γίνονται σχεδόν αμέσως σε αυτό το παράδειγμα. Να σημειωθεί, πάντως, ότι στα προηγούμενα παραδείγματα της [3], όπου ο Q() ήταν της μορφής F(Q,), οι P(,) υπολογίζονταν πολύ καλά. Παρατηρούμε πόσο αργή είναι η σύγκλιση P,.1 P, P, P, Σχήμα 1.8.5: Γράφημα που δείχνει την ταχύτητα σύγκλισης του P(,). 1 Παρατήρηση: Αν και ο Q() δεν είναι της μορφής F(A,), το rp(,) φθίνει. Όμως δε φθίνει παντού και κάθε πραγματικό μέρος ιδιοτιμής ξεχωριστά. (Το ίχνος κάθε πίνακα είναι το άθροισμα των πραγματικών μερών των ιδιοτιμών του, αφού τα φανταστικά απαλείφονται ανά ζεύγη συζυγών μιγαδικών ιδιοτιμών.) Διαπιστώθηκε, επίσης, ότι στο εμφανές στο γράφημα διάστημα που οι διάφορες του 1 ιδιοτιμές έχουν ίδιο πραγματικό μέρος, αυτές είναι μιγαδικές (σχήματα 1.8.6, 1.8.7). 33

34 Πίνακας 1.8.2: Οι τιμές του πίνακα P(,). aριθμητική λύση με το Mahemaica λανθασμένη προσέγγιση exp Q ( ) d με την R 34

35 35

36 36

37 P Tr P dela Re Eigevalues P 1 Re Eigevalues P Re Eigevalues P 3 Σχήματα 1.8.6, 1.8.7: Εξέλιξη δέλτα συντελεστή, ορίζουσας και ίχνους του P(,). Παράδειγμα [Q() περιοδικός]: Έστω cos(2 ) 1 1cos(2 ) Q ( ). 1si(2 ) si(2 ) 1 Η περίοδος είναι Τ=1. Ο πίνακας αυτός δεν έχει και δεν τείνει να πάρει τη μορφή F(A,), άρα δεν εφαρμόζεται κάποια από τις σχετικές προτάσεις. Αλλά από την περιοδικότητα του Q() προκύπτει P(,δ+k)=P(,δ)P k (δ,δ+1) για κάθε, k φυσικό. Όπως αποδεικνύει και το πόρισμα 1.4, ο P(,) τείνει να γίνει περιοδικός με περίοδο 1. Παρατίθεται η ακριβής αριθμητική λύση του Mahemaica (πίνακας 1.8.3). Το γράφημα (σχήμα 1.8.8) συμφωνεί με την παρακάτω σχέση, που έχουμε δει ότι ισχύει στις 2 καταστάσεις: P(, ) de P(, ) r P (, ) 1. Επαληθεύεται, επίσης, ότι αυτές οι συναρτήσεις φθίνουν, όπως έχει δειχθεί. (Προφανώς οι γραμμές της ορίζουσας και του δέλτα συντελεστή συμπίπτουν.) 37

38 Πίνακας 1.8.3: Οι τιμές του πίνακα P(,) Σχήμα 1.8.8: Εξέλιξη δέλτα συντελεστή, ορίζουσας και ίχνους του P(,). P Tr P dela P(, ) Παράδειγμα P(, ), lim O : Έστω 2 2 cos cos Q ( ). 2 2 si si Επιλύεται, συμβολικά αυτήν τη φορά, το διαφορικό σύστημα του Kolmogorov με τις δέουσες αρχικές συνθήκες και προκύπτει 38

39 P11(, ) 2 P11(, ) si P22(, ) P P11(, ) P22(, ) (, ) cos, δηλ. e e erf (1) i i P11(, ) e Re erf (1 i ) e e P22 (, ) P12 (, ) e Η 2η σχέση προέκυψε από πρόσθεση κατά μέλη των δυο διαφορικών εξισώσεων και δείχνει ότι ο P(,) τείνει να γίνει ευσταθής (έστω και αν δε συγκλίνει). Παρατηρούμε πώς το Q21() [σε συνδυασμό, βέβαια, με το Q12()=1-Q21()] εξαναγκάζει το P11(,) σε ταλάντωση. Απεδείχθη, μάλιστα, ότι η διαφορά τους, ισοδύναμα (λόγω της 1ης διαφορικής εξίσωσης) η P11 (, ) e e erf (1) e Reerf (1 ) 1, i 2 2 τείνει στο, παρότι δεν υπάρχει το P11(, ). Άρα αντίστοιχα συμπεράσματα προκύπτουν για το P22(,). Σχήμα 1.8.9: Εξέλιξη P11(,), Q21(). Συγκρίνοντας το παράδειγμα με το προηγούμενο, που ήταν περιοδικό, παρατηρούμε ότι ο Q() ταλαντώνεται με σταθερό πλάτος, αλλά με «μεταβαλλόμενη περίοδο». 39

40 P(, ) Παράδειγμα P (, ), lim : Εδώ, αντί να οριστεί η Αλυσίδα μέσω του Q(), ορίζεται μέσω του P(,). Η Αλυσίδα έχει 2 καταστάσεις. Η κατασκευή έχει τη λογική του να αποτελείται το γράφημα των διαγώνιων στοιχείων του P(,) από γνησίως φθίνοντα τμήματα τέτοια ώστε να υπάρχει η παράγωγος για κάθε, η οριακή τιμή να είναι το.5, ώστε ο οριακός πίνακας να είναι ευσταθής, και στο κάθε τμήμα η ελάχιστη παράγωγος να είναι η ίδια. Θέτουμε 2 1, 1 g 1(2 ) g 1( 2) 1 f( ) 8, f ( ) 1, f(1) f(2 ), 1 2 u 2, f ( u ) f ( ), 2 f u, g ( ), 2 g(2 1) g(4 2 ), 2 1 2( 1) P11(, ) P22(, ) f ( ), Για κάθε ν τα γραφήματα των fν(), gν() έχουν κεντρική συμμετρία, αφού για κάθε [,1) είναι g(2 ) g 2( 1) g (2 ) 2 g (2 1) g (2 ), 2 2 ή g(2 ) g 2( 1) g (2 1), 2 και g 1(2 ) g 12( 1) 1 g 1(2 ) g 1(2 ) 1 f (2 ) f 2( 1) g 12( 1) g 1(2 ) g 1(2 ) 2 1 g 1(2 ) g 1(2 1) 1 f (2 1), δηλ. f (2 ) f 2( 1) f (2 1). 2 Επίσης, εξ ορισμού ισχύουν για κάθε ν οι σχέσεις fν(2ν)=gν(2ν) και fν(2ν+1)=gν(2ν+1), άρα, λόγω της κεντρικής συμμετρίας, fν(2(ν+1))=gν(2(ν+1)). Αποδεικνύεται επαγωγικά ότι οι fν(), gν() είναι γνησίως φθίνουσες. Επειδή οι fν(), gν() είναι παραγωγίσιμες στο [2ν,2ν+1) και λόγω της κεντρικής συμμετρίας, είναι παραγωγίσιμες και στο [2ν,2(ν+1)]. 4

41 Σχήμα 1.8.1: Εξέλιξη του P(,). Επειδή οι παράγωγοι στα άκρα των διαστημάτων ορισμού της fν() είναι, υπάρχει η P(, ). Επίσης προέκυψε ότι 1 P, 11 '. 2 Όμως P(, ) lim, αφού για κάθε ν είναι dp11,2 dp22,2 dp11,2 1 dp22,2 1 1,. d d d d 4 Η πινακοσυνάρτηση P(,) ικανοποιεί τις ικανές και αναγκαίες συνθήκες για να αντιστοιχεί σε πιθανότητες μετάβασης Μαρκοβιανής Αλυσίδας, αφού P11(, ) P11(, ) P22(, ) P11(, ). P22(, ) P22(, ) Παράδειγμα [αποσβεννύμενη ταλάντωση του P(,)]: Έστω cos cos Q ( ) si si Πάλι με συμβολική επίλυση προκύπτει 2 P11(, ) 1 si P11(, ) P22(, ) 1 cos P22(, ), 1 1 P11(, ) P22(, ) 1 δηλ. 41

42 2 2 FreselC 4 x 2 P11(, ) 4( 1) : FreselCx cos d. 2 1 P22(, ) P12(, ) 1 Πάλι η 2η σχέση προέκυψε από πρόσθεση κατά μέλη των δυο διαφορικών εξισώσεων και δείχνει ότι ο P(,) τείνει να γίνει ευσταθής, άρα αρκεί σε βάθος χρόνου η μελέτη του P11(,). Πάλι οι «μεταβαλλόμενες περίοδοι» των P11(,) και Q21() τείνουν να συμπίπτουν, αλλά τώρα όχι μόνο η παράγωγος του P11(,) τείνει στο [προφανές, αφού ο Q() συγκλίνει στο Ο], αλλά υπάρχει και το P11(, )=.5. Όμως ο dq() d και το διαφορικό σύστημα του Kolmogorov. δε συγκλίνει, πράγμα επακόλουθο από τη μη σύγκλιση του 2 d P(, ) 2 d Σχήμα : Εξέλιξη P11(,) και Q21(). 1.9) Ηλικία Αλυσίδας Ορισμοί 1.9: Στιγμή γέννησης Αλυσίδας (που η Αλυσίδα γεννιέται): η ελάχιστη δυνατή αρχική στιγμή εξέλιξής της. Αν δεν υπάρχει στο, λέμε ότι είναι το -. Ηλικία Αλυσίδας τη στιγμή x [, ]: η διαφορά του x από τη στιγμή γέννησης της Αλυσίδας. Στιγμή ζωής Αλυσίδας (που η Αλυσίδα ζει): κάθε στιγμή του [-,+ ] όχι μικρότερη της στιγμής γέννησής της. 42

43 Έστω Μαρκοβιανή Αλυσίδα συνεχούς χρόνου που ορίζεται από τον πίνακα τάσεων Q() όπου I όχι άνω φραγμένο διάστημα, και το διάνυσμα κατάστασης p(u) για κάποια στιγμή I I. ui. I, Λήμμα 1.9: Με γνώση του Q() και του p(u) ορίζονται μοναδικά τα p() Απόδειξη: Για τα u το λήμμα είναι προφανές, αφού το p(u) μπορεί να ιδωθεί ως αρχική κατανομή. Για την απόδειξη για τα <u θυμόμαστε ότι dep(,u)>, άρα η σχέση p( u)' p( )' P (, u) γίνεται 1 p( )' p( u)' P (, u). Σχόλιο: Μπορούμε, λοιπόν, στη συνεχή περίπτωση, να θεωρούμε το χρόνο να κινείται και προς τα πίσω και τότε ο πίνακας που καθορίζει την εξέλιξη του διανύσματος κατάστασης είναι ο P 1 ( u, ), για τον οποίο ισχύει P 1 ( u, ) 1 1 [σχέση ισοδύναμη της P( u, ) 1 1 ], αλλά συνήθως έχει και αρνητικά στοιχεία με αποτέλεσμα να μην είναι στοχαστικός. Πρόταση 1.9.1: Το σύνολο στιγμών s ως την που η p() είναι σταθμικός μέσος των γραμμών του P(s,) είναι το διάστημα ζωής της αντίστοιχης Αλυσίδας συνεχούς χρόνου. Δηλ. το αριστερό άκρο του, έστω s [if I, ], είναι η στιγμή γέννησής της. [Στο σταθμικό μέσο τα βάρη θα εννοείται ότι ανήκουν στο [,1].] Απόδειξη: Είναι p() =p(s) P(s,), δηλ. p( )' pi( s) P i ( s, ), P i ( s, ) i όπου p(s)=[pi(s)]i και η i-οστή γραμμή του P(s,). Αν το p() είναι σταθμικός μέσος των γραμμών του P(s,) για κάποιο s [if I, ], τότε είναι σταθμικός μέσος και των γραμμών του P(u,) u ( s, ), αφού p( )' p( s)' P( s, ) p( s)' P( s, u) P ( u, ). Άρα η Αλυσίδα ζει τη στιγμή s αν-ν το p() είναι σταθμικός μέσος των γραμμών του P(s,), και τότε οι συντελεστές στάθμισης είναι οι συντεταγμένες του p(s). Σχόλιο: Η γεωμετρική ερμηνεία της πρότασης είναι ότι η p() δεν είναι εκτός του κυρτού πολυέδρου με κορυφές τις γραμμές του P(s,), αλλά είναι εκτός των κυρτών πολυέδρων με κορυφές τις γραμμές των P ( s, ) s s. Πρόταση 1.9.2: Έστω ομογενής Μαρκοβιανή Αλυσίδα συνεχούς χρόνου. Η ηλικία της τη στιγμή είναι αν-ν η p() είναι κατανομή ισορροπίας. Απόδειξη: Επειδή η Αλυσίδα είναι ομογενής, υπάρχει ο P(s, ) s, που λόγω ομογένειας είναι ανεξάρτητος του s και καθορίζεται μόνο από την άπειρη χρονική διαφορά, άρα ισούται και με τον P (, ). Από την προηγούμενη πρόταση συνάγουμε ότι η ηλικία της Αλυσίδας τη στιγμή είναι αν-ν η p() είναι σταθμικός μέσος των γραμμών του P(, ) P ( s, ), δηλ. κατανομή ισορροπίας. Στην πράξη η στιγμή γέννησης s μπορεί να βρεθεί με την παρακάτω πρόταση. Πρόταση 1.9.3: Ο μέγιστος αριθμός (έστω s) ώστε η p(s) να έχει μηδενική συντεταγμένη, αν αυτός υπάρχει, είναι η στιγμή γέννησης της αντίστοιχης Αλυσίδας συνεχούς χρόνου. Αν δεν υπάρχει ο παραπάνω αριθμός, τότε η στιγμή γέννησης είναι το ifi. Απόδειξη: Προκύπτει από το λήμμα και τη συνέχεια της p(). Το μόνο που πρέπει να δειχθεί είναι ότι η μηδενική συντεταγμένη του p(s) (ή, αν υπάρχουν περισσότερες, κάποια από αυτές) είναι αρνητική κοντά στο s από αριστερά. Πράγματι, για κάθε s, με s<, αν η p(s) έχει θετικές συντεταγμένες, τότε και η p() τις έχει θετικές, λόγω της σχέσης p() =p(s) P(s,) και του γεγονότος ότι ο πίνακας P(s,) δεν έχει μηδενική στήλη, ως αντιστρέψιμος. Παράδειγμα (ομογένεια): Ας είναι 43

44 Q( ) : Q : , (9).3. 5 p Υπολογίζουμε μέσω Mahemaica τον 17 e e (813 7 ) 4 e e (7 463) 1 e 63/5 63/5 245e 245e 7 17 e e ( ) 4 e e (7 1987) 1 e P(,9) exp Qd 63/5 63/5 245e 245e 7 63/5 7 /5 85 e e ( ) 2 e e (21 11) 1 6e 63/5 63/5 1225e 1225e 7 1 και μετά από τη σχέση p( )' p(9)' P (,9) έχουμε 63/5 7 /5 63/5 7 /5 7( 9)/5 9 63/5 7 /5 63/5 7 /5 7( 9)/5 63/5 7 /5 7( 9)/5 7(9 )/5 7(9 )/5 7(9 )/5 34 e (77 657) 8 e ( ) 1 11e p ( )' Έτσι βρίσκουμε, πάλι μέσω Mahemaica, ότι η στιγμή γέννησης της Αλυσίδας είναι = , όπου η p1() αλλάζει πρόσημο, δηλ. η ηλικία της τη στιγμή 9 είναι Σχήμα 1.9.1: Εξέλιξη του διανύσματος κατάστασης p() στο παρελθόν. Παρατήρηση: Επειδή επιβάλαμε να ισχύει -5, αν η μέγιστη χρονική στιγμή που το p() έχει μηδενική συντεταγμένη ήταν μικρότερη του -5, τότε η στιγμή γέννησης θα ήταν το -5. Όμως στον κώδικα του Mahemaica κάτι τέτοιο δε θα ελεγχόταν. Παράδειγμα (μη ομογένεια): Ας είναι Q( ) : Q : 5 6 1, (9).3 p Όμοια με το προηγούμενο παράδειγμα υπολογίζουμε μέσω Mahemaica τον e e (597 7 ) 16 e e (7 583) 1 e 567/2 567/2 98e 98e e e (499 7 ) 16 e e (7 485) 1 e P(,9) exp Qd 567/2 567/2 98e 98e /2 7 / e e ( ) 8 e e ( ) 1 6e 567/2 567/2 49e 49e 7 1 και μετά από τη σχέση p( )' p(9)' P (,9) έχουμε 44 p 1 p 2 p 3 567/2 7 / /2 7 /2 2 7( 81)/ /2 7 / /2 7 /2 2 7( 81)/ /2 7 /2 2 7( 81)/2

45 (81 )/2 2 7(81 )/2 2 7(81 )/2 34 e ( ) 8 e (77 613) 1 11e p ( )' Έτσι βρίσκουμε, πάλι μέσω Mahemaica, ότι η στιγμή γέννησης της Αλυσίδας είναι = , όπου η p1() αλλάζει πρόσημο, δηλ. η ηλικία της τη στιγμή 9 είναι Το σχήμα μοιάζει με αυτό του προηγούμενου παραδείγματος (λόγω της εμπλοκής του ίδιου σταθερού πίνακα τάσεων), αλλά εδώ η κίνηση είναι ταχύτερη. Σε αυτό το παράδειγμα το διάστημα του είναι αρκετά μικρό και έτσι η μεταβολή του Q() δεν είναι εμφανής p 1 p 2 p 3 Σχήμα 1.9.2: Εξέλιξη του διανύσματος κατάστασης p() στο παρελθόν. 45

46 2. ΜΑΡΚΟΒΙΑΝΕΣ ΑΛΥΣΙΔΕΣ ΔΙΑΚΡΙΤΟΥ ΧΡΟΝΟΥ Εισαγωγή Η μελέτη των Μαρκοβιανών Αλυσίδων διακριτού χρόνου έγινε σε αντιστοιχία με αυτήν των Αλυσίδων συνεχούς χρόνου. Παρατηρούμε ομοιότητες και διαφορές. Η μελέτη της εξέλιξης και της ασυμπτωτικής συμπεριφοράς των Αλυσίδων διακριτού χρόνου δε χρήζει ενδιαφέροντος, αφού η πινακοσυνάρτηση πιθανοτήτων μετάβασης ουσιαστικά είναι γνωστή εξ αρχής και δεν προκύπτει από κάτι αντίστοιχο του πίνακα τάσεων της συνεχούς περίπτωσης. Αυτό σημαίνει ότι οι κανόνες που διέπουν αυτήν την πινακοσυνάρτηση είναι ασθενέστεροι στις Αλυσίδες διακριτού χρόνου. Έτσι, η ταχύτητα σύγκλισης μελετάται για μια ειδική οικογένεια Αλυσίδων, αυτές για τις οποίες ο πίνακας P(k-1,k) συγκλίνει για k σε έναν εργοδικό P. Το αποτέλεσμα που παρατίθεται για την ταχύτητα σύγκλισης έχει αντληθεί από την [5] και δεν προκύπτει κάποιο νέο συμπέρασμα, ωστόσο, επειδή η ταχύτητα σύγκλισης είχε μελετηθεί και στη συνεχή περίπτωση, κρίθηκε σκόπιμο να αναπτυχθεί και εδώ για λόγους πληρότητας. 2.1) Γενικά Ορισμός ([3], σ. 11): Αν το πλήθος των μελών μιας στοχαστικής διαδικασίας είναι αριθμήσιμο, τότε η διαδικασία συμβολίζεται με { X } {, 1,...} και καλείται «διαδικασία σε χρόνο διακριτό». Ορισμός ([3], σ. 11): Μια στοχαστική διαδικασία σε διακριτό χρόνο λέμε ότι έχει τη Μαρκοβιανή ιδιότητα αν για κάθε ακέραιο +1 η X εξαρτάται το πολύ από την X-1. Για κάθε Μαρκοβιανή Αλυσίδα { X } {, 1,...} ορίζονται οι πιθανότητες μετάβασης Pij(m,)=prob{X=j Xm=i}. Ο αντίστοιχος πίνακας μετάβασης της Μαρκοβιανής Αλυσίδας είναι ο P(m,)=[Pij(m,)]i,jϵS, όπου S ο χώρος καταστάσεων, όπως στη συνεχή περίπτωση. Αν ο P(m,m+) είναι ανεξάρτητος του m για κάθε, τότε η Μαρκοβιανή Αλυσίδα καλείται ομογενής (ως προς το χρόνο). Παρατήρηση: P(, ) I. Συμβολισμοί: Pk=P(k-1,k) για κάθε k +1. p(k): το διάνυσμα κατάστασης τη στιγμή k για κάθε k. Πρόταση 2.1 (εξίσωση Chapma-Kolmogorov): Είναι P( m, ) P( m, k) P ( k, ) m k. Απόδειξη: Αποδεικνύουμε πρώτα ότι P(, 2) P 1P 2, σχέση που προκύπτει από το Θεώρημα Ολικής Πιθανότητας, και συνεχίζουμε με επαγωγή στο πλήθος βημάτων των μεταβάσεων. Πόρισμα 2.1: Η εξέλιξη μιας Μαρκοβιανής Αλυσίδας διακριτού χρόνου προκύπτει από την αναδρομική σχέση p( )' p( 1)' P, δηλ. Άρα p( )' p( )' P. km1 k 1 P( m, ) P m. k k 46

47 2.2) Εξέλιξη του δέλτα συντελεστή, της ορίζουσας και του ίχνους πινακοσυνάρτησης πιθανοτήτων μετάβασης που προκύπτει από Μαρκοβιανή Αλυσίδα διακριτού χρόνου Τα αποτελέσματα αυτής της ενότητας σχετίζονται αρκετά με εκείνα της συνεχούς περίπτωσης. Πρόταση (εξέλιξη δέλτα συντελεστή): Η (, ) Απόδειξη: Όμοια με τη συνεχή περίπτωση. P(, ) ( I ) 1. Παρατήρηση: Είναι P είναι φθίνουσα συνάρτηση του. Ορισμοί 2.2 ([5], σ. 22, 26 pdf): Η πινακοσυνάρτηση P(m,) θα λέγεται: ασθενώς εργοδική αν lim P ( m, ) m. ισχυρά εργοδική αν υπάρχει ευσταθής στοχαστικός πίνακας Π με lim P( m, ) Π m. Παρατήρηση: Αν η P(m,) είναι ισχυρά εργοδική, είναι και ασθενώς. Πρόταση (εξέλιξη ορίζουσας): Η dep(,) είναι φθίνουσα συνάρτηση του. Απόδειξη: Όμοια με τη συνεχή περίπτωση, απλά εδώ προστίθεται η απόλυτη τιμή στην ορίζουσα, αφού η dep(,) μπορεί να έχει οποιαδήποτε τιμή στο [-1,1]. Παρατηρήσεις: Είναι dep(,)=dei=1. Αν η P(m,) είναι ασθενώς εργοδική, τότε, όμοια με τη συνεχή περίπτωση, limde P (, ). Το ίδιο συμπέρασμα προκύπτει και αν, ασθενέστερα, υπάρχει πίνακας που προκύπτει από τουλάχιστον 2 γραμμές του P(,) που τείνει να γίνει ευσταθής, καθώς και αν υπάρχει παροδική κατάσταση (δηλ. η πιθανότητα η Αλυσίδα ευρισκόμενη στην κατάσταση να την επισκεφτεί ξανά άπειρες φορές είναι 1). Ως προς το ίχνος τα πράγματα είναι πιο διαφορετικά μεταξύ της συνεχούς και της διακριτής περίπτωσης. Παρατηρήσεις (εξέλιξη ίχνους): Είναι rp(,), αφού ο P(,) έχει μη αρνητικά διαγώνια (και μη) στοιχεία, με την ισότητα να είναι επιτεύξιμη, π.χ. στην περίπτωση περιοδικής Αλυσίδας με περίοδο ίση με το πλήθος καταστάσεων. Το rp(,) δε φθίνει απαραίτητα ως προς, όχι μόνο λόγω μιγαδικών, αλλά και λόγω αρνητικών ιδιοτιμών. Π.χ. σε μια ομογενή Αλυσίδα με.2.8 P.5.5 είναι σ(p)={1,-.3}, άρα σ(p )={1,(-.3) } και συνεπώς rp =1+(-.3). Το rp(,)=ri ισούται με το πλήθος καταστάσεων της Μαρκοβιανής Αλυσίδας. Αν ο P(,) τείνει σε μπλοκ-διαγώνιο με τους υποπίνακες της μπλοκ-διαγωνίου ασθενώς εργοδικούς ή διάστασης 1, τότε το lim r P (, ) είναι το πλήθος των υποπινάκων. 47

48 2.3) Ταχύτητα σύγκλισης συγκεκριμένων Αλυσίδων Επιλέγουμε (αυθαίρετα) τη νόρμα στήλης σε αυτήν την ενότητα, της οποίας πολλά αποτελέσματα είναι αντίστοιχα με άλλα που είχαν αναφερθεί στη συνεχή περίπτωση. Πρόταση 2.3.1: Η P(m,) ομογενούς Αλυσίδας διακριτού χρόνου είναι ασθενώς εργοδική αν-ν είναι και ισχυρά. Απόδειξη: Αν η P(m,) είναι ασθενώς εργοδική, τότε lim P (, ), δηλ. οι γραμμές του P(,) τείνουν να συμπίπτουν. Επίσης, για κάθε οι γραμμές του P +1 =PP είναι σταθμικοί μέσοι των γραμμών του P, δηλ. βρίσκονται μέσα στο αντίστοιχο πολύεδρο. Άρα η ακολουθία των πολυέδρων με κορυφές τις γραμμές των P είναι φθίνουσα ως προς (δηλ. κάθε πολύεδρο είναι υποσύνολο του προηγούμενού του) και τείνει σε σημείο. Σχόλιο: Το τελευταίο τμήμα της απόδειξης διαφέρει από αυτό της συνεχούς περίπτωσης, διότι στις ομογενείς Αλυσίδες διακριτού χρόνου το P(, )=P δεν υπάρχει πάντα, λόγω της γνωστής περίπτωσης των περιοδικών Αλυσίδων. Πάντως, και στη συνεχή περίπτωση η απόδειξη θα μπορούσε να είναι παρόμοια με αυτήν. Σύμβαση: Για P(,+1)=P (ομογένεια) θα λέμε ότι ο P είναι εργοδικός όταν ο P -m είναι ισχυρά (ισοδύναμα ασθενώς) εργοδικός. Παρατήρηση: Από τον ορισμό της ισχυρής εργοδικότητας ο P είναι εργοδικός αν-ν υπάρχει ευσταθής στοχαστικός πίνακας Π με P =Π. Θεώρημα ([5], σ. 78 pdf): Ο P=[Pij]i,j είναι εργοδικός αν-ν ( ) ( ) j, : if P, όπου P [ ]. i ij 48 P ij i, j Πρόταση ([5], [28]): Έστω Μαρκοβιανή Αλυσίδα με P =P, όπου P εργοδικός. Τότε ο συγκλίνει ομοιόμορφα ως προς m στο P =Π. m P( m, m ) P km1 Λήμμα ([5], [29]): Αν ο P είναι στοχαστικός και R1=, τότε RP R δ(p). Οι ορισμοί του μεγάλου και μικρού όμικρον και του θήτα ισχύουν ανάλογα και στη διακριτή περίπτωση, ενώ οι ορισμοί της ταχύτητας και του λόγου σύγκλισης διαμορφώνονται κατ αναλογία και αυτοί ως εξής: Ορισμοί 2.3: Έστω h( ) : {, 1,...}. Θα λέμε: «ταχύτητα σύγκλισης της h()» την h(+1)-h(). Ειδικά η ταχύτητα σύγκλισης της h()> θα λέγεται γεωμετρική αν b(,1) : h( ) o( b ). «λόγο σύγκλισης της h() από τη στιγμή 1 στην 2» το k h ( 2) h ( 1) Λήμμα ([5], [29]): Αν ο P είναι εργοδικός με P =Π, τότε υπάρχουν σταθερές c και b (<b<1) ώστε Ρ -Π cb για κάθε 1, δηλ. Ρ -Π =O(b ). Μπορούν να τεθούν 2, N : ( N c b d d Ρ ) (,1) (που δεν ισχύει πάντα). d Παρατήρηση: Η ταχύτητα σύγκλισης μπορεί να βρεθεί και με χρήση ιδιοτιμών, και μάλιστα και σε μη ομογενείς Αλυσίδες, κατ αναλογία με τη συνεχή περίπτωση

49 Από το επόμενο θεώρημα φαίνεται η ταχύτητα σύγκλισης του P(m,m+) στον Π σε σχέση με την ταχύτητα σύγκλισης του P στον εργοδικό P. Θεώρημα ([5], σ. 45 pdf): Έστω P =P, όπου P εργοδικός. [Από το προηγούμενο λήμμα υπάρχουν σταθερές c και b (<b<1) ώστε Ρ -Π cb για κάθε 1, όπου lim P Π.] Έστω g()> αύξουσα συνάρτηση του θετικού ακέραιου. Αν για τον ακέραιο k 2 είναι lim g( k) P P, τότε: α) η P(m,) είναι ισχυρά εργοδική. k 1 1 k β) lim mi l, g( ) sup P( m, m ) Π l 1,. m b Παρατήρηση: Αν για κάθε ακέραιο k 2 είναι lim g( k) P P, τότε 1 lim mi l, g( ) sup P( m, m ) Π l 1,. m b Πρόταση ([6], σ. 59): Στις Αλυσίδες 2 καταστάσεων με P εργοδικό είναι P Π ( I Π ), όπου λ=p11-p21 η μικρότερη του 1 ιδιοτιμή του P, άρα για κάθε νόρμα 1 P Π P Π. Παρατήρηση: Στις Αλυσίδες 2 καταστάσεων με P εργοδικό είναι και λ =δ(p), και κατ επέκταση λ =δ(p ) για κάθε φυσικό, άρα τότε η εκτίμηση της ταχύτητας σύγκλισης με χρήση ιδιοτιμών και δέλτα συντελεστή είναι ισοδύναμες. 2.4) Σχετικά με το όριο του διανύσματος κατάστασης Πρόταση 2.4: Αν υπάρχει ο P(, ), τότε p( ) =p() P(, ). Ειδικότερα, αν P(, )=1π, τότε p( )=π. Παρατήρηση: Όμοια με τη συνεχή περίπτωση, αν υπάρχει ο P(, ), τότε οι κατανομές ισορροπίας είναι ακριβώς οι σταθμικοί μέσοι των γραμμών του. Όμως στη διακριτή περίπτωση είναι δυνατό να υπάρχει το p( ) για κάποια αρχική κατανομή χωρίς να υπάρχει και ο P(, ), ακόμα και με 2 καταστάσεις. Βέβαια, τότε το p( ) δεν υπάρχει για οποιαδήποτε αρχική κατανομή, όπως φαίνεται θεωρώντας αρχική κατανομή με μια μονάδα που να αντιστοιχεί σε μη συγκλίνουσα γραμμή του P(,) (και τις άλλες συντεταγμένες ). Π.χ. αυτό συμβαίνει στην ομογενή Αλυσίδα με αρχική στιγμή το, P 1.5, (), 1 p.5 αφού p( )' p()' P.5.5 '. Όμως με οποιαδήποτε μεταβολή στην αρχική κατανομή δεν υπάρχει ισορροπία. 2.5) Παραδείγματα εξέλιξης, ασυμπτωτικής συμπεριφοράς και ταχύτητας σύγκλισης Στα παρακάτω παραδείγματα θα θεωρείται ως αρχική στιγμή το και θα μελετηθούν οι ρυθμοί μείωσης των P(,)-Π, P -Π. Θα χρησιμοποιούμε τη νόρμα στήλης. Παράδειγμα 2.5.1: Έστω 49

50 P Είναι P P, που είναι εργοδικός με P Π Έχουμε ( P ) 1, άρα από το λήμμα υπάρχουν σταθερές c και b (<b<1) ώστε Ρ -Π cb για κάθε 1, και μπορούν να τεθούν N 1, d ( P ), c 12, b d, 6 1/ 6 6 δηλ. 1 Ρ Π Από τα λήμματα και βρίσκουμε το ίδιο φράγμα με προσέγγιση σταθεράς: δηλ. 1 Ρ Π Ρ ΠΡ ( ΙΠ) Ρ Ι Π ( Ρ ) ( Ρ ) ( Ρ), 6 1 Ρ Π. 6 Άρα για είναι 1 O Ρ Π. 6 Όμως η Αλυσίδα έχει 2 καταστάσεις και από την πρόταση προκύπτει τελικά ότι ειδικότερα Ρ Π I Π, δηλ. Βλέπουμε ότι δηλ. 1 Ρ Π. 6 P P 1 1, P P. 2 5

51 r Εφαρμόζουμε το θεώρημα για g( ) : r 1, k=2 και m=, και ελέγχουμε ότι r 1 lim g(2 ) P P lim(2 ) Συνάγουμε l 1,, δηλ. l 1, 6, ότι 1/ 6 lim mi r l, P(, ) Π, ή r lim P(, ) Π, ή P(, ) Π lim, r 1/ δηλ. 1 P(, ) Π o. r Ας κάνουμε σύγκριση με τα σφάλματα 1 P P και 1 Ρ Π. 6 1 Ρ Π Στο αριστερό σχήμα έχουν παραχθεί οι λόγοι Ρ Π και P (, 1) Π, P(, ) Π ενώ στο δεξί τα απόλυτα σφάλματα Ρ Π, P(, ) Π (το δεύτερο είναι εκτός εικόνας, γιατί φθίνει πολύ αργά). Παρατηρούμε τις ταχύτητες σύγκλισης. Όπως αναμενόταν, η ακολουθία Ρ Π είναι γεωμετρική πρόοδος λόγου 1 b. 6 Επίσης από το αριστερό σχήμα φαίνεται το P(, ) Π να μειώνεται σε βάθος χρόνου με ρυθμό υπερβολής, δηλ. 1 P(, ) Π, και έτσι συγκεκριμενοποιείται το παραπάνω αντίστοιχο θεωρητικό συμπέρασμα. 51

52 Σχήμα 2.5.1: Γραφήματα που δείχνουν την ταχύτητα σύγκλισης. Παράδειγμα 2.5.2: Έστω P Ο P, άρα και ο Π, είναι αυτοί του προηγούμενου παραδείγματος. Άρα 1 Ρ Π. 6 Τώρα P P 1 1, δηλ. 1 P P. 1 2 r 1 Εφαρμόζουμε το θεώρημα για g( ) 2 : r, k=2 και m=, και ελέγχουμε ότι lim g (2 r ) P P lim Για 1<l 2 r έχουμε r lim mi l, 2 P(, ) Π, ή lim l P(, ) Π, ή P(, ) Π lim, (1/ l) δηλ. 1 P(, ) Π o. l r Για 2 l 6 έχουμε ισχυρότερο αποτέλεσμα, δηλ. η αρχική σχέση γράφεται ισοδύναμα 52

53 r lim 2 P(, ) Π, ή P(, ) Π lim, (1/ 2) r δηλ. r 1 (, ) o P Π. 2 Ας κάνουμε σύγκριση με τα σφάλματα 1 P P 2 και 1 Ρ Π. 6 Στα σχήματα η μόνη αλλαγή από το προηγούμενο παράδειγμα είναι ότι 1 P(, ) Π, 2 συμπέρασμα που πάλι δίνει πολύ σαφέστερη εικόνα για την αντίστοιχη ταχύτητα σύγκλισης. Σχήμα 2.5.2: Γραφήματα που δείχνουν την ταχύτητα σύγκλισης. Παράδειγμα 2.5.3: Έστω P ( 2) 3 ( 2) Ο P, άρα και ο Π, είναι αυτοί των προηγούμενων παραδειγμάτων. Άρα Τώρα 1 Ρ Π. 6 53

54 P P 1 1, ( 2) ( 2) δηλ. 1 P P. ( 2) 1 Εφαρμόζουμε το θεώρημα για ακέραιο k 2, g ( ) r k : r και m=, και ελέγχουμε ότι k kr kr kr 1 k lim g( k) P P lim( k) lim. ( 2) 2 k1 1 1 k Συνάγουμε l 1, 1 k, δηλ. l 1,6, ότι 1/ 6 lim mi r l, P(, ) Π, ή P(, ) Π lim, (1/ l) δηλ. 1 P(, ) Π o. l Άρα 1 P(, ) Π o l (1,6). l Ας κάνουμε σύγκριση με τα σφάλματα 1 Ρ Π 6 και 1 P P. Στα σχήματα η μόνη αλλαγή από το προηγούμενο παράδειγμα είναι ότι τώρα 1 P(, ) Π. 6 54

55 Σχήμα 2.5.3: Γραφήματα που δείχνουν την ταχύτητα σύγκλισης. Συμπέρασμα: Ο λόγος σύγκλισης της P(,)-Π γενικά είναι περίπου ίσος με το μέγιστο από αυτούς των P-P, P -Π. 2.6) Ηλικία Αλυσίδας Οι ορισμοί που δόθηκαν σχετικά με την ηλικία Αλυσίδας συνεχούς χρόνου ισχύουν και τώρα. Έστω Μαρκοβιανή Αλυσίδα διακριτού χρόνου που ορίζεται από την ακολουθία (Pk), όπου Pk P ( k1, k) k K και το K περιέχει συνεχόμενες ακέραιες τιμές και δεν είναι άνω φραγμένο. Έστω επίσης το διάνυσμα κατάστασης p() για κάποια στιγμή Στη διακριτή περίπτωση, αν και η εύρεση της πινακοσυνάρτησης P(m,) δεν είναι πρόβλημα, η αντιστρεψιμότητα του πίνακα km1 55 K. P( m, ) P k δεν είναι εξασφαλισμένη. Για να ορίζονται μοναδικά οι p ( m) m (εννοείται ότι m1 K) πρέπει, λόγω της σχέσης p( )' p( m)' P, km1 να ισχύει de P k k. Μπορούμε να μην επιβάλλουμε αυτόν τον περιορισμό, επιλέγοντας σε περίπτωση μη αντιστρεψιμότητας του P(m,) εκείνες από τις άπειρες λύσεις p(m) του παραπάνω συστήματος που δείχνουν ότι η Αλυσίδα ζει τη στιγμή γέννησής της. Πρόταση 2.6.1: Ο αριθμός m ώστε η p() να είναι σταθμικός μέσος των γραμμών του P(m,), αλλά όχι του P(m-1,), αν υπάρχει, είναι η στιγμή γέννησης της αντίστοιχης Αλυσίδας διακριτού χρόνου. Αν δεν υπάρχει ο παραπάνω αριθμός, τότε η p() είναι σταθμικός μέσος των γραμμών του P(m,) m επιτρεπτό και η στιγμή γέννησης είναι ifk. Απόδειξη: Όμοια με τη συνεχή περίπτωση, με τη βοήθεια του συστήματος p() =p(m) P(m,). Παρατήρηση: Για κάθε λύση x του συστήματος p =x P, όπου p κατανομή και P στοχαστικός πίνακας με dep, φαίνεται αμέσως ότι x 1=1, αφού x =p P -1 και P -1 1=1. Σχόλιο-συμβολισμός: Η γεωμετρική ερμηνεία της πρότασης είναι ότι η p() δεν είναι εκτός του κυρτού πολυέδρου με κορυφές τις γραμμές του P(m,) [συμβολισμός: p ( ) A( m, )], αλλά είναι εκτός του κυρτού πολυέδρου με κορυφές τις γραμμές του P( m 1, ) P P ( m, ). Θα συμβολίζουμε τότε p ( ) D( m, ). m Πρόταση 2.6.2: Έστω ομογενής Μαρκοβιανή Αλυσίδα διακριτού χρόνου. α) Αν υπάρχει το P, τότε η ηλικία της τη στιγμή είναι αν-ν η p() είναι κατανομή ισορροπίας. k

56 β) Αν η Αλυσίδα είναι περιοδική περιόδου T, τότε η ηλικία της τη στιγμή είναι αν-ν η p() είναι σταθμικός μέσος των γραμμών του για κάποιο i{,1,2,..., T 1}. lim T P i Απόδειξη: α) Όμοια με τη συνεχή περίπτωση. β) Μελετούμε τις ακολουθίες P νt+i για κάθε i χωριστά και αναγόμαστε στην απεριοδική περίπτωση. Παράδειγμα (ομογένεια, αντιστρεψιμότητα): Ας είναι Pk P k, (1).4 p Είναι dep. 1 ος 2m τρόπος (γραφικά): Λόγω της ομογένειας ο P( m,2) P εξαρτάται μόνο από τη διαφορά των δυο χρονικών στιγμών. Άρα για την εύρεση των D(m,) αρκεί να βρεθούν οι δυνάμεις του P ώσπου να βρεθεί δύναμη ώστε η p(1) να μην είναι σταθμικός μέσος των γραμμών της δύναμης. Σύμφωνα με ό,τι έχει αναφερθεί, για κάθε φυσικό οι συντελεστές του γραμμικού συνδυασμού των γραμμών του P 1 που διαμορφώνουν την p(1) είναι οι συντεταγμένες του p(1 ) p(1) P, για το οποίο ισχύει p(1 )' 1 1, αν και μπορεί να έχει αρνητική συντεταγμένη. Στο σχήμα φαίνονται οι 2 πρώτες συντεταγμένες των γραμμών των δυνάμεων του P. Παρατηρούμε ότι η p(1) είναι σταθμικός μέσος των γραμμών του P. Μετά υπολογίζουμε και τον P και παρατηρούμε ότι η p(1) είναι σταθμικός μέσος και των γραμμών του P 2. Δεν ισχύει όμως το ίδιο για τον P Δηλ. p (1) D( 1,1), δηλ. η Αλυσίδα γεννήθηκε τη στιγμή -1 και η ηλικία της τη στιγμή 1 είναι 2. [Στο σχήμα τα D(m,) θεωρήθηκαν καταχρηστικά υποσύνολα του αφού η 3 η συντεταγμένη δεν είναι ελεύθερη.] 2, 56

57 Σχήμα 2.6.1: Εξέλιξη των γραμμών των δυνάμεων του P. 2 ος τρόπος (με αντιστροφή): Αυτός ο τρόπος είναι το αλγεβρικό ισοδύναμο του προηγούμενου. Είναι dep και αυτό βοηθά να βρούμε την ηλικία μέσω του P Από τη σχέση p( k)' p( k 1)' P p( k 1)' p( k)' P και αφού γνωρίζουμε το p(1) υπολογίζουμε επαναληπτικά τα p ()', ( 1)', ( 2)' p p Το τελευταίο δεν είναι κατανομή, άρα καταλήγουμε στο προηγούμενο συμπέρασμα. Όπως αναμενόταν, τα p(), p(-1) είναι αυτά του παραπάνω σχήματος. Σχόλια: Ικανή και αναγκαία συνθήκη για να είναι ένας 3x3 στοχαστικός πίνακας μη αντιστρέψιμος είναι το να είναι συνευθειακά τα σημεία του 3 που προκύπτουν από τις γραμμές του. Πράγματι, αυτά τα σημεία πάντα ανήκουν στο επίπεδο x+y+z=1, ενώ dep= αν-ν τα αντίστοιχα διανύσματα είναι γραμμικά εξαρτημένα, αν-ν τοποθετώντας τις αρχές τους στην αρχή των αξόνων O τα διανύσματα είναι συνεπίπεδα, αν-ν τα πέρατά τους τότε βρίσκονται σε ευθεία του επιπέδου x+y+z=1. Αφού το τελευταίο επίπεδο δεν είναι κατακόρυφο, τα παραπάνω σημεία του 3 είναι συνευθειακά αν-ν είναι συνευθειακά και τα σημεία του 2, που προκύπτουν από τα πρώτα 2 στοιχεία κάθε γραμμής. Γι αυτό αντί να υπολογίζουμε την dep αποφαινόμαστε ότι είναι διάφορη του από το γεγονός ότι τα 57

58 σημεία του P (ή των προβολών τους στο επίπεδο Oxy) σχηματίζουν τρίγωνο (άρα αναγκαστικά το ίδιο θα ισχύει και για κάθε μεγαλύτερη δύναμη του P). Όταν η ηλικία είναι πολύ μεγάλη και προσπαθούμε να τη βρούμε με κάποιον από τους δυο παραπάνω τρόπους, μπορούμε να εφαρμόζουμε τεχνικές λογαριθμικού αντί γραμμικού χρόνου, π.χ. να ελέγχουμε με αύξουσα σειρά τις δυνάμεις του 2 ως πιθανούς αριθμούς μεγαλύτερους της ηλικίας και μόλις εντοπίζουμε τη δύναμη ν ώστε η ηλικία να είναι τουλάχιστον 2 ν και μικρότερη του 2 ν+1 να την αναζητούμε σε αυτό το διάστημα με διχοτομήσεις. 3 ος τρόπος (με αναγωγή στη συνεχή περίπτωση): Λόγω αντιστρεψιμότητας μπορούμε να βρούμε την ηλικία με αναγωγή στη συνεχή περίπτωση. Αυτή η μέθοδος είναι μάλλον πιο εκπαιδευτική παρά σπουδαιότερη. Γνωρίζουμε ότι το σύστημα X( s, ) X( s, ) A, όπου ο A δεν είναι απαραίτητα πίνακας τάσεων, έχει λύση X( s, ) exp A d, ( s) δηλ. X ( s, ) e A, άρα (, ) m A X m e m,. Θεωρούμε τον πίνακα A ώστε e A =P, δηλ. A=lP, δηλ A l Παρατηρούμε ότι A1=, πράγμα αναμενόμενο αφού το 1 είναι δεξί ιδιοδιάνυσμα της ιδιοτιμής e =1 του Όμως ο A δεν είναι πίνακας τάσεων λόγω του προσήμου των στοιχείων. Έχουμε, ma m λοιπόν, X( m, ) e P P ( m, ) m,. Με το Mahemaica υπολογίζουμε e A P. από τα παραπάνω τον X (,1) και μετά το ότι p() s από τη σχέση 1 p( )' p(1)' X (,1), που συνεπάγεται 1 p( m)' p(1)' P ( m,1) m : m 1. Γραφικά βλέπουμε ότι η μεγαλύτερη ρίζα συντεταγμένης του p () [συγκεκριμένα της p2()] επιτυγχάνεται για κάποιο ( 2, 1]. Αυτό όμως δε συνεπάγεται άμεσα ότι η στιγμή γέννησης της Αλυσίδας είναι -1, αλλά μόνο ότι είναι το πολύ -1, διότι το συνεχές σύστημα δεν καθορίζεται από πίνακα τάσεων και άρα ο X ( s, ) μπορεί να μην είναι στοχαστικός για κάποια s,. Πράγματι, βλέπουμε π.χ. ότι η p ( 1.4) δεν είναι κατανομή, ενώ η p ( 1.7) είναι, παρότι Αυτό εξηγείται από το γεγονός ότι δεν είναι στοχαστικός ο πίνακας X ( 1.7, 1.4) , αν και X( 1.7, 1.4) 1 1. Βλέπουμε, όμως, ότι p1 ( 2), άρα τυχαίνει η p ( 2) να μην είναι κατανομή και έτσι η στιγμή γέννησης είναι -1. Προφανώς οι p(), p(-1), p(-2) είναι αυτές που είχαν βρεθεί και με τις προηγούμενες μεθόδους. 58

59 D( 1, 1) D(1,1). Προφανώς p D(1,1) το σύστημα p ' x ' P δεν έχει λύση που να είναι κατανομή (αν και μπορεί να έχει λύσεις με αρνητικό στοιχείο) p 1 p 2 p 3 Σχήμα 2.6.2: Εξέλιξη του p() στο παρελθόν όπως προέκυψε με αναγωγή σε συνεχή χρόνο. Παράδειγμα (ομογένεια, μη αντιστρεψιμότητα): Ας είναι 1/ 6 1/ 3 1/ 2 7 / 2 Pk : P : 1/ 2 1/ 3 1/ 6 k, (1) : 1/ 3 p. 1/ 3 1/ 3 1/ 3 19 / 6 Είναι dep=, που σύμφωνα με το σχόλιο του προηγούμενου παραδείγματος φαίνεται και από το γεγονός ότι τα σημεία του που προκύπτουν από τα 2 πρώτα στοιχεία των γραμμών του P είναι συνευθειακά (άρα αναγκαστικά το ίδιο θα ισχύει και για κάθε μεγαλύτερη δύναμη του P). Στο σχήμα φαίνεται ότι p (1) D( 1,1), δηλ. η Αλυσίδα γεννήθηκε τη στιγμή -1 και η ηλικία της τη στιγμή 1 είναι 2. Σχόλιο: Προσπαθώντας να εργαστούμε με το σύστημα p( )' p( m)' P ( m, ) έχουμε p(1) =p() P, ή 1/ 6 1/ 3 1/ p1 () p2() 1 p1 () p2() 1/ 2 1/ 3 1/ 6, / 3 1/ 3 1/ 3 δηλ. 1 p2() p1(). 1 Παρατηρούμε ότι από τις παραπάνω άπειρες λύσεις με το p() να είναι κατανομή (βλ. σχήμα) η λύση p () ' D( 1,) D(,1), ενώ κάθε άλλη ανήκει στο 2. D(,) D(1,1). Όμοια έχουμε 1/ 6 1/ 3 1/ p ( 1) p ( 1) 1 p ( 1) p ( 1) 1/ 2 1/ 3 1/ p( 1) 1/ 3 1/ 3 1/ 3 αν-ν 3 p2( 1) p1( 1). 5 Οι άπειρες λύσεις για τις οποίες το p(-1) είναι κατανομή (βλ. σχήμα) ανήκουν όλες στο.

60 Σχήμα 2.6.3: Εξέλιξη των γραμμών των δυνάμεων του P. Σχόλιο (μη ομογένεια): Δεν παρατίθεται συγκεκριμένο παράδειγμα για τη μη ομογενή περίπτωση. Περιγράφεται η λογική των δυο προηγούμενων παραδειγμάτων και φαίνονται οι γενικεύσεις λόγω μη ομογένειας. Έστω ότι γνωρίζουμε την p(). Για να εφαρμόσουμε την πρόταση υπολογίζουμε διαδοχικά τους P(-1,)=P, P(-2,)=P-1P, P(-3,)=P-2P-1P, και ελέγχουμε αν η p() είναι σταθμικός μέσος των γραμμών των πινάκων, ώσπου να βρούμε την πρώτη στιγμή που η Αλυσίδα δε ζει, ώστε να συνάγουμε ότι η επόμενη είναι η στιγμή γέννησης. Σχόλιο: Στη μη ομογενή περίπτωση, αν και η ακολουθία συνόλων X=:A(m-,m) είναι φθίνουσα, η ακολουθία συνόλων Y=:A(m,m+) δεν είναι απαραίτητα. Δηλ. για κάθε στοχαστικούς πίνακες P1, P2 οι γραμμές του P1P2 είναι σταθμικός μέσος των γραμμών του P2, αλλά όχι απαραίτητα του P1. Ως αντιπαράδειγμα μπορούμε να θέσουμε P , 2,.6.4 P 1 και να δούμε ότι.4.6 PP

61 3. ΣΧΕΤΙΚΑ ΜΕ ΤΗΝ ΚΑΤΑΝΟΜΗ ΤΗΣ ΗΛΙΚΙΑΣ ΜΑΡΚΟΒΙΑΝΩΝ ΣΥΣΤΗΜΑΤΩΝ Εισαγωγή Σε αυτό το κεφάλαιο ασχολούμαστε με μια εφαρμογή των Μαρκοβιανών Αλυσίδων σε πραγματικό πρόβλημα. Αφορμή για τη σύνταξή του ήταν το πρόβλημα της εύρεσης συνόλου εμπιστοσύνης (κατά κανόνα του ελάχιστου πληθάριθμου στη διακριτή περίπτωση ή μήκους στη συνεχή) για την ηλικία ενός Μαρκοβιανού Συστήματος κάποια συγκεκριμένη στιγμή, ή, ισοδύναμα, για τη στιγμή γέννησής του (με τους παρακάτω ορισμούς), όταν είναι γνωστό το διάνυσμα κατάστασης (με τα πλήθη μελών ανά κατάσταση) (y) κάποια στιγμή y. Υποθέτουμε ότι το αρχικό διάνυσμα κατάστασης επιλέγεται σύμφωνα με την πολυδιάστατη ομοιόμορφη κατανομή. Το θέμα δεν έχει μελετηθεί στο παρελθόν εξ όσων γνωρίζουμε, και το παραπάνω ερώτημα μπορεί να απαντηθεί μόνο αόριστα χωρίς μια επιπλέον υπόθεση, δηλ. ένα πεπερασμένο κάτω φράγμα για τη στιγμή γέννησης. Η συνεχής και η διακριτή περίπτωση μελετώνται παρόμοια με τη μέθοδο που θα παρατεθεί και γι αυτό θα δοθεί έμφαση μόνο στη δεύτερη. 3.1) Γενικά για το κλειστό Μαρκοβιανό Σύστημα και την ηλικία του Ορισμός 3.1.1: Έστω ότι έχουμε N μέλη που κινούνται ανεξάρτητα μεταξύ των k καταστάσεων ενός πεπερασμένου χώρου καταστάσεων S, το καθένα σύμφωνα με τις πιθανότητες της πινακοσυνάρτησης πιθανοτήτων μετάβασης P(x,y) μιας Μαρκοβιανής Αλυσίδας (συνεχούς ή διακριτού χρόνου) με αυτόν το χώρο καταστάσεων. Κάθε στιγμή κάθε μέλος βρίσκεται σε ακριβώς μια κατάσταση. Θα λέμε «(κλειστό) Μαρκοβιανό Σύστημα» την τριάδα S, P( x, y), ( x ), όπου x η στιγμή γέννησης του συστήματος, που θεωρείται πεπερασμένη, x x y και (x)=[i(x)]iϵs το διάνυσμα κατάστασης του Μαρκοβιανού Συστήματος, δηλ. το διάνυσμα του πλήθους μελών σε κάθε κατάσταση τη στιγμή x, x x. Το Μαρκοβιανό Σύστημα θα λέγεται διακριτού ή συνεχούς χρόνου αν η αντίστοιχη Μαρκοβιανή Αλυσίδα είναι διακριτού ή συνεχούς χρόνου αντίστοιχα. Σχόλιο: Το (x) είναι τυχαία μεταβλητή x x, σε αντίθεση με το διάνυσμα κατάστασης p(x) της Μαρκοβιανής Αλυσίδας, που προσδιορίζεται μοναδικά από τα P(x,x), p(x). Ορισμοί 3.1.2: Έστω ότι γνωρίζουμε την πινακοσυνάρτηση P(x,y) και το διάνυσμα κατάστασης (y) ενός Μαρκοβιανού Συστήματος, χωρίς όμως να γνωρίζουμε αν η στιγμή y είναι η στιγμή γέννησης X (που θα συμβολίζεται στο εξής με κεφαλαίο ως τυχαία μεταβλητή). Εφόσον δεν έχουμε λόγο να θεωρούμε κάτι άλλο, υποθέτουμε ότι χωρίς γνώση του (y) το αρχικό διάνυσμα κατάστασης μπορεί να είναι οποιοδήποτε επιτρεπτό με ίση πιθανότητα. Με αυτές τις υποθέσεις θα λέμε: στιγμή ζωής του συστήματος (που το σύστημα ζει): κάθε στιγμή του [X, ]. ηλικία του συστήματος τη στιγμή x [, ]: τη διαφορά x-x. Σχόλιο: Οι παραπάνω ορισμοί δεν είναι σε πλήρη αντιστοιχία με τους ορισμούς της στιγμής ζωής και της ηλικίας Μαρκοβιανής Αλυσίδας. Αυτό συμβαίνει επειδή η στιγμή γέννησης μιας Αλυσίδας είχε οριστεί ως η ελάχιστη δυνατή αρχική στιγμή εξέλιξής της, ενώ η στιγμή γέννησης του συστήματος δεν είναι η ελάχιστη στιγμή (που συνήθως δεν υπάρχει), αλλά μπορεί να είναι οποιαδήποτε δυνατή ως την y με πιθανότητες που προκύπτουν από τις υποθέσεις. Για την επίλυση του προβλήματος του κεφαλαίου χρειαζόμαστε την κατανομή της X (y), υπό τις επιπλέον εννοούμενες συνθήκες του y, του Μαρκοβιανού Συστήματος εκτός των X και (X), καθώς και ενός πεπερασμένου κάτω φράγματος, έστω w, που θεωρούμε για την X. Θα υποθέτουμε ακόμη ότι η prob{ X x} είναι ανεξάρτητη του x στο σύνολο δυνατών στιγμών γέννησης (δηλ. των ακέραιων στη διακριτή περίπτωση ή όλων στη συνεχή, από την w ως την y). Αν δεν επιβάλλαμε το κάτω φράγμα, τότε σε πολλά Μαρκοβιανά Συστήματα η ηλικία ως τυχαία μεταβλητή θα ήταν μη φραγμένη, πράγμα που σε συνδυασμό με την πιθανή σύγκλιση της κατανομής του (x) 61

62 για x (βλ. την επόμενη πρόταση) θα έδινε για κάθε σύνολο Σ πεπερασμένου μήκους και για κάθε prob{ X ( y ) } prob{ X }, ενώ αναζητούμε σύνολο Σ* με pr o b { X* ( y) } 1 a, όπου a η στάθμη σημαντικότητας του συνόλου εμπιστοσύνης. Άρα τότε κάθε σύνολο εμπιστοσύνης, όπως και το συμπλήρωμά του ως προς το [, ), θα είχε άπειρο πληθάριθμο στη διακριτή περίπτωση ή μήκος στη συνεχή, οπότε το πρόβλημα δε θα είχε νόημα. Στην περίπτωση κάτω φράγματος το σύνολο εμπιστοσύνης εξαρτάται και από αυτό, όπως θα δούμε, και γι αυτό όταν το w είναι άγνωστο η κατανομή της X (y) θα fx ( y) ( x ) δίνεται αόριστα, δηλ. μόνο μέσω των λόγων. f ( y ) X ( y) Πρόταση (οριακή κατανομή, βλ. άλλη απόδειξη για την ομογενή περίπτωση στην [1], σ. 9, και στην [11], σ. 11): Αν η πινακοσυνάρτηση P(x,y) είναι ισχυρά εργοδική με ευσταθή πίνακα Π γραμμής π, τότε η κατανομή της τυχαίας μεταβλητής (y) (x) για x σταθερό και y συγκλίνει κατά νόμο στη muliomial(n,π). Απόδειξη: Η κατανομή της (y) (x) είναι η συνέλιξη των κατανομών των i (x,y) i(x), iϵs, όπου i (x,y)=[ij(x,y)]i,jϵs και ij(x,y) το πλήθος μελών που τις στιγμές x, y ήταν στις καταστάσεις i, j αντίστοιχα. Δηλ. (εννοώντας, προφανώς, με το συμβολισμό x, τη σχέση να ισχύει στοιχείο προς στοιχείο, για οποιοδήποτε διάνυσμα x) έχουμε prob{ ( y) ( x) } prob{ ( x, y) ( x) }. k y x i yi i xi k i1 yi, yi y i1 Αυτές οι κατανομές είναι, όπως φαίνεται από τη φυσική τους σημασία, οι muliomial(i(x),pi (x,y) ), όπου Pi (x,y) η i-οστή γραμμή του πίνακα P(x,y). Άρα η συνάρτηση πιθανότητας της (y) (x) είναι πολυωνυμική συνάρτηση όλων των στοιχείων του P(x,y), και άρα συνεχής ως προς αυτά. Άρα, αφού P(x, )=Π, προκύπτει το ζητούμενο, λόγω και της φυσικής σημασίας της muliomial(n,π). Παρατήρηση: Η οριακή κατανομή δεν εξαρτάται ούτε από το (x), ούτε από το x, άρα είναι η κατανομή του (y). Πρόταση (προσέγγιση πολυωνυμικών με κανονικές κατανομές): Αν τα i(x)pij(x,y) είναι όλα μεγάλα, τότε η κατανομή της τυχαίας μεταβλητής (y) (x) είναι προσεγγιστικά η k N P( x, y)' ( x), i ( x)[ D P (, )' (, )], i ( x, y P ) i x y P i x y i1 όπου D ο διαγώνιος πίνακας με διάνυσμα της κύριας διαγωνίου το Pi (x,y). P (, ) i xy Απόδειξη: Αν για κάποιο i το i(x)pij(x,y) για κάθε j είναι μεγάλο, τότε η muliomial(i(x),pi (x,y) ), που είναι, σύμφωνα με την απόδειξη της προηγούμενης πρότασης, η κατανομή του i (x,y) i(x), προσεγγίζεται ([12], σ. 17) από τη N ( x) P ( x, y)', ( x)[ D P P ( x, y)' P ( x, y)]. i i i i ( x, y ) i i Το ζητούμενο προκύπτει αφού οι i (x,y) i(x), iϵs, είναι ανεξάρτητες ([12], σ. 2). Παρατήρηση: Όπως για το (y), έτσι και για το διάνυσμα μέσης τιμής της προσεγγιστικής κατανομής *(y) ισχύει ότι τα στοιχεία του αθροίζουν στο μ, αφού (x) P(x,y)1=(x) 1=N. Επίσης ή k ( x)[ D P ( x, y)' P ( x, y)] 1 ( x)[ D 1P ( x, y)' P ( x, y) 1] i Pi ( x, y) i i i Pi ( x, y) i i i1 i1 k i1 ( x)[ P ( x, y)' P ( x, y)'], i i i k 62

63 k i x D P (, ), ' ( )] i x y Pi x y Pi x y 1 i1 ( )[ ( ),, άρα ([12], σ. 17) Var[*(y) 1]=, άρα *(y) 1=N, όπως ισχύει και στην πραγματικότητα. Πρόταση 3.1.3: Αν k ( y) ( x) ~ N P( x, y)' ( x), i ( x)[ DP (, ) (, )' (, )], i x y Pi x y P i x y i1 τότε k _( y) ( x) ~ N P _( x, y)' ( x), i ( x)[ DP _ (, ) _ (, ) ' _ (, )], i x y Pi x y P i x y i1 όπου τα διανύσματα με τις παύλες είναι τα αντίστοιχά τους χωρίς αυτές, αλλά χωρίς το τελευταίο στοιχείο, και παρόμοια ο P_(x,y) είναι ο P(x,y) χωρίς την τελευταία στήλη. Απόδειξη: Βλ. [12], σ. 2, σχετικά με τις περιθώριες κατανομές. 3.2) Σχετικά με την κατανομή της ηλικίας Μαρκοβιανών Συστημάτων διακριτού χρόνου Η μέθοδος που ακολουθεί έχει τη λογική της μεθόδου μέγιστης πιθανοφάνειας. Μας ενδιαφέρει για κάποιο η prob{ ( y) X x}prob{ X x} prob{ X x ( y) }. prob{ ( y ) } Η 63 prob{ X x} είναι ανεξάρτητη του x στο σύνολο δυνατών στιγμών γέννησης. Επίσης, η prob{ ( y) } είναι άγνωστη, αλλά δεν εμπλέκεται με το x. Άρα από την παραπάνω σχέση προκύπτει, με απαλοιφή των ίσων ποσοτήτων, prob{ X x ( y) } prob{ ( y) X x}, prob{ X y ( y ) } p όπου p=prob{ ( X) }, που υποτέθηκε ανεξάρτητη των X,, άρα είναι γνωστή και ίση με το αντίστροφο του πλήθους δυνατών. Στην [1] βρέθηκε αναλυτικός τύπος για την κατανομή της (y) X,(X) στην ομογενή περίπτωση, αλλά σε αυτόν εμπλέκονται παραγοντικές ροπές των i(x) τάξης ως N. Σύμφωνα με εκείνη την αναφορά, για την εύρεση της ροπής N τάξης χρειάζεται να υπολογιστεί το γινόμενο Kroecker του πίνακα πιθανοτήτων μετάβασης με τον εαυτό του N φορές, που είναι τετραγωνικός πίνακας διάστασης k N, όπου k το πλήθος καταστάσεων. Αφού η παραπάνω διάσταση είναι εκθετική ως προς N, ο αναλυτικός υπολογισμός της κατανομής της (y) X,(X), άρα λογικά και της (y) X, καθίσταται χωρικά (άρα και χρονικά) ασύμφορος. Έτσι καταφεύγουμε μέσω της R ή του Mahemaica στον υπολογισμό της με τον τύπο της συνέλιξης, στην εκτίμησή της με προσομοίωση και στην απόπειρα προσέγγισης από την πολυδιάστατη κανονική κατανομή, όπως φαίνεται στο παρακάτω παράδειγμα. Ο χρόνος υπολογισμού μέσω της συνέλιξης είναι πολυωνυμικός ως προς N και k, αλλά με βαθμό πολυωνύμου που μπορεί να θεωρείται μεγάλος, και έτσι η προσομοίωση και η προσέγγιση εξυπηρετούν τη μείωση του υπολογιστικού κόστους. Από την κατανομή της (y) X βρίσκουμε, εκτιμούμε ή προσπαθούμε να προσεγγίσουμε, λόγω της προηγούμενης αναλογίας, τους λόγους των αριστερών πιθανοτήτων για κάθε επιτρεπτό x, και τελικά, αφού όλες αθροίζουν στο 1, και τις ίδιες τις πιθανότητες prob{ X x ( y) }, δηλ. την κατανομή της X [(y)=], με την προϋπόθεση ότι γνωρίζουμε το κάτω φράγμα w, όπως προαναφέρθηκε. Συνήθως η prob{ X x ( y) } συγκλίνει για x, που σημαίνει ότι δε χρειάζεται να βρούμε, να εκτιμήσουμε ή να προσεγγίσουμε τους λόγους των αριστερών πιθανοτήτων για τα x που είναι μικρότερα από κάποιον αριθμό. Σχόλιο: Από τον τύπο prob{ ( y) y X x}prob{ X x} prob{ X x ( y) y} prob{ ( y) } y

64 συμπεραίνουμε ότι για κάθε y w η κατανομή του (y) εν γένει εξαρτάται από το w. Πράγματι, η prob{x=x (y)=y} εξαρτάται από τα x και w, η prob{x=x} μόνο από το w και η prob{ ( y) X x} είναι ανεξάρτητη των x και w. Και είναι φανερό, κυρίως από το y παράδειγμα, ότι οι prob{x=x (y)=y}, prob{x=x} δεν είναι ανάλογες ως προς w. Όταν η κατανομή του (y) εξαρτάται από το w, εξαρτάται από αυτό και η prob{ ( y) y ( x) x}prob{ ( x) x} prob{ ( x) x ( y) y}, prob{ ( y) } δηλ. η κατανομή του (x) (y): x<y. Το γεγονός ότι οι prob{(x)=x}, prob{(y)=y} εν γένει δεν είναι ανάλογες ως προς w φαίνεται καθαρά θέτοντας x=y=w [οπότε prob{(x)=x}=prob{(y)=y}] και x=y=w+1 [οπότε prob{(x)=x X=y}=prob{(y)=y X=y}, αλλά εν γένει prob{(x)=x X=w} prob{(y)=y X=w}, και τότε, από το Θεώρημα Ολικής Πιθανότητας, 1 1 prob{ ( x) x} prob{ ( x) x X y} prob{ ( x) x X w} prob{ ( y) y X y} prob { ( y) y X w} prob{ ( y) y}]. 2 2 Ακριβής υπολογισμός με τον τύπο της συνέλιξης: Με την υπόθεση ότι η prob{ ( y) X x}, ισοδύναμα, λόγω της αναλογίας, και η prob{ X x ( y) }, συγκλίνουν για θα υπολογίζουμε τις κατανομές των (y) X=x για x y, y 1,... ώσπου η prob{ ( y) X x} να σταθεροποιηθεί αρκετά, και συγκεκριμένα ώσπου να βρεθεί x για το οποίο prob{ ( y) X x} prob{ ( y 7 ) X x i}, prob{ ( y 7 ) X x i} i {1,2} Από το Θεώρημα Ολικής Πιθανότητας έχουμε prob{ ( y ) X x} p prob{ ( y ) X x, ( x) }, x, x' 1N δηλ., λόγω της ανεξαρτησίας της (y) (x) από το X, prob{ ( y ) X x} p prob{ ( y ) ( x) }, δηλ., από τον τύπο της συνέλιξης, ή δηλ. x, x' 1N y x x x, prob{ ( y ) X x} p prob{ ( x, y ) ( x) }, i i i xi, ' k x x 1N i1 i, i i1 k prob{ X x ( y) } prob{ i ( x, y) i i ( x) xi}, prob{ X y ( y ) } k x, x' 1N i1 i, i i1 prob{ X x ( y ) }! : [ ]. prob{ X y ( y ) }! k k ij P ij ( x, y) xi, ' k x x 1N i1 j1 ij i, i i ij js i1 Προσεγγιστική εκτίμηση με προσομοίωση: Θα εκτιμούμε τις κατανομές των (y) X=x για x y, y 1,... ώσπου η εκτιμώμενη πιθανότητα prob{ ˆ ( y) X x} να σταθεροποιηθεί αρκετά, και συγκεκριμένα ώσπου να βρεθεί x για το οποίο 19 2 ˆ ˆ ˆ prob{ ( y) X x} prob{ ( y) X x i}, prob{ ( y) X x i} i {1,2} k 64

65 Επειδή έχουμε υποθέσει ότι το αρχικό διάνυσμα κατάστασης (X) μπορεί να είναι οποιοδήποτε με ίση πιθανότητα, παίρνουμε κάθε δυνατό (x) ίσο πλήθος φορών και κάθε φορά προσομοιώνουμε τις μεταβάσεις των μελών από τη στιγμή x στην y παράγοντας και προσθέτοντας k-άδες τυχαίων διανυσμάτων από τις κατανομές muliomial(i(x),pi (x,y)), i=1,2,,k. Το άθροισμα είναι το τυχαίο (y). Επιλέξαμε όλες οι προσομοιώσεις να είναι ο μέγιστος δυνατός αριθμός ως το 1 6, ώστε να συνδυάσουμε ακρίβεια στις εκτιμήσεις και ταχύτητα εκτέλεσης του προγράμματος. Από τις σχετικές συχνότητες εμφάνισης κάθε (y) δεδομένου του x βρίσκουμε τις prob{ ˆ ( y) X x} για κάθε. Με βάση αυτές για = εκτιμούμε την κατανομή της X [(y)=]. Σχόλιο: Αν για κάποιο x είναι prob{ ˆ ( y) X x}, τότε θα υπάρχει μεγάλο σχετικό σφάλμα στην εκτίμηση του λόγου prob{ X x ( y) }. prob{ X y ( y ) } Απόπειρα προσέγγισης με την πολυδιάστατη κανονική κατανομή: Αγνοώντας τις προϋποθέσεις, προσεγγίζουμε τις muliomial(i(x),pi (x,y) ) με τις N ( x) P ( x, y)', ( x)[ D P P ( x, y)' P ( x, y)], i i i i ( x, y ) i i και κατ επέκταση τις συνελίξεις τους. Ο σκοπός αυτού είναι ότι αν και δεν υπάρχει απλοποιημένος τύπος για τη συνέλιξη των πολυωνυμικών κατανομών (επειδή έχουν διαφορετικά διανύσματα πιθανοτήτων), η συνέλιξη των παραπάνω κανονικών κατανομών προκύπτει να είναι η απλούστερη κανονική κατανομή που προαναφέρθηκε, δηλ. η k N P( x, y)' ( x), i ( x)[ D P (, )' (, )]. i ( x, y P ) i x y P i x y i1 Θα ελέγξουμε κατά πόσο η προσέγγιση αυτή είναι καλή, γιατί για κάποια (x) (ή για όλα) υπάρχουν μικρά i(x)pij(x,y). Υπάρχει το πρόβλημα ότι οι πίνακες διασπορών-συνδιασπορών όλων των κανονικών κατανομών, είναι μη αντιστρέψιμοι, αφού k i ( x)[ D P (, )' (, )], i ( x, y P ) i x y P i x y i1 k i x D P (, ), ' ( )] i x y Pi x y Pi x y 1 i1 ( )[ ( ),, άρα δεν ορίζεται η συνάρτηση πυκνότητας πιθανότητας των κατανομών. Αφαιρώντας, όμως, την τελευταία συντεταγμένη από το (y) (η οποία, άλλωστε, προκύπτει προσδιοριστικά δεδομένων των προηγούμενων), το πρόβλημα αυτό αντιμετωπίζεται εν γένει για κάθε ή σχεδόν για κάθε (x). Για όσα η μη αντιστρεψιμότητα παραμένει δε γίνεται προσέγγιση με πολυδιάστατη κανονική κατανομή και χρησιμοποιείται ο ακριβής τύπος συνέλιξης με τις πολυωνυμικές. Προφανώς απαιτείται διόρθωση λόγω συνέχειας. Παράδειγμα 3.2: Επιλέγουμε ομογενή Μαρκοβιανή Αλυσίδα. Όμως, κατ αναλογία με την ενότητα της ηλικίας Αλυσίδας, εύκολα γενικεύεται η μέθοδος που θα εφαρμοστεί τώρα και σε μη ομογενείς Αλυσίδες. Δηλ. ενώ στην ομογενή περίπτωση έχουμε τον ίδιο πίνακα πιθανοτήτων μετάβασης P σε κάθε βήμα, στη μη ομογενή έχουμε εν γένει διαφορετικούς. Έστω, λοιπόν, ένα Μαρκοβιανό Σύστημα N μελών με (y)= (γνωστό) και.8.2 P Το y θα μας ενδιέφερε μόνο στη μη ομογενή περίπτωση, άρα είναι άσκοπο να του ανατεθεί τιμή. Αφού η Αλυσίδα είναι εργοδική, η prob{ ( y) X x} και η prob{ X x ( y) } συγκλίνουν για x. 65

66 Θα κάνουμε εφαρμογή για 1 και 1 μέλη και θα επιλέξουμε ανάλογα για σύγκριση. Ο χρόνος ακριβούς υπολογισμού της κατανομής της (y) X φαίνεται εμπειρικά ότι είναι Θ(N 5 ), με βάση τους παρακάτω χρόνους, που παρατηρήθηκαν για κάποια N. Πλήθος μελών Χρόνος (δευτερ.) α) N=1: Αν ο χρόνος υπολογισμού της κατανομής της (y) X είναι ανάλογος του N 5, τότε, με βάση και τον παραπάνω πίνακα, ο χρόνος για N=1 είναι περίπου 18 ώρες. Αν και ο χρόνος αυτός είναι περίπου ανάλογος του πλήθους των προς τα πίσω βημάτων που γίνονται και συνεπώς μπορεί ο αλγόριθμος να ρυθμιστεί ώστε να τερματίζει νωρίτερα, το πρόβλημα με το χρόνο κρίνεται σοβαρό και άρα η προσομοίωση ή η προσέγγιση με ευκολότερη κατανομή αναγκαία. Σχετικά με την προσομοίωση, το πλήθος των δυνατών διανυσμάτων κατάστασης είναι 1 ( N 1)( N 2) (1 1)(1 2) p 2 2 Αφού επιθυμούμε να κάνουμε το πολύ 1 6 προσομοιώσεις, κάνουμε για κάθε αρχικό διάνυσμα κατάστασης 194 προσομοιώσεις, δηλ. συνολικά = Ακολουθούν τα coour γραφήματα των λόγων prob{ ˆ ( y) X x} 5151prob{ ˆ ( y) X x} p για x y 1, y 2,..., y 6. Σε κάθε γράφημα οι κορυφές του μαύρου τριγώνου έχουν συντεταγμένες τις 2 πρώτες y x συντεταγμένες των γραμμών του P( xy, ) P πολλαπλασιασμένες με τον αριθμό μελών. Παρατηρούμε ότι για x y 1 για τα (y) με τις 2 πρώτες συντεταγμένες επί του τριγώνου είναι prob{ ˆ ( y) X x} 1, p αφού το τρίγωνο σχεδόν συμπίπτει με την κίτρινη ζώνη. Καθώς μειώνεται το x (δηλ. αυξάνεται η δύναμη του P) παρατηρούμε ότι σταδιακά η prob{ ˆ ( y) X x} είναι θετική σε μικρότερη περιοχή και αυξανόμενη κοντά στο πολλαπλάσιο της κατανομής ισορροπίας διάνυσμα κατάστασης. Όμως, λόγω της τυχαιότητας, η μεταβολή αυτή δεν παρακολουθεί πλήρως τη συρρίκνωση του τριγώνου. Επαληθεύτηκε, μάλιστα, οπτικά, μέσω του (θεωρητικού) coour γραφήματος της συνάρτησης πιθανότητας της muliomial(n,π) διαιρεμένης με p, η αποδεδειγμένη πρόταση ότι η κατανομή της (y) X=x τείνει στη muliomial(n,π) για x. Το θεωρητικό γράφημα, βέβαια, δεν έχει γκρι περιοχή, αφού στην πραγματικότητα η prob{ ( y) X x} δεν είναι ποτέ ακριβώς. Στο τέλος παρατίθεται η εκτίμηση της συνάρτησης του x prob{ X x ( y) } prob{ X y ( y ) } για ' [6 2 2], με βάση την προσομοίωση και την προσέγγιση με πολυδιάστατη κανονική κατανομή. Παρατηρούμε ότι τα δυο γραφήματα είναι ικανοποιητικά κοντά μεταξύ τους, όμως για άλλα για τα οποία το prob{ X x ( y) } lim x prob{ X y ( y ) } είναι αισθητά μεγαλύτερο από το αρχίζει να φαίνεται, παραδόξως όχι από τα πρώτα βήματα, μια ουσιαστική αστοχία της κανονικής προσέγγισης, με συνέπεια η προσομοίωση να καθίσταται πολύ ακριβέστερη. Θα έλεγε κάποιος ότι ίσως θα είχαμε καλύτερη προσέγγιση με μεγαλύτερο αριθμό μελών, αλλά π.χ. για 1 μέλη το Mahemaica φαίνεται να χρειάζεται δεκάδες λεπτά για να βρει τους λόγους πιθανοτήτων με χρήση της πολυδιάστατης κανονικής κατανομής, και έτσι δεν έγινε μια τέτοια δοκιμή. Αν και η εκτίμηση από την προσομοίωση είναι στα τελευταία βήματα, γνωρίζουμε ότι στην πραγματικότητα ο παραπάνω λόγος για κάθε x y και το όριό του για x είναι θετικά, αφού όλες οι μεταβάσεις μεταξύ καταστάσεων είναι δυνατές (έστω και σε πάνω από 1 66

67 βήματα) και λόγω της σύγκλισης στη muliomial(n,π) με την π να μην έχει μηδενικά. Ας παρατηρήσει ο αναγνώστης σε τι χρώματος περιοχή βρίσκεται το σημείο (6,2) στα coour γραφήματα, ώστε να κατανοήσει την επιλογή του. Να σημειωθεί, επίσης, ότι η ηλικία της αντίστοιχης Μαρκοβιανής Αλυσίδας με p ( y)' [.6.2.2] (που είναι ανάλογο του ) είναι 1 τη στιγμή y, όπως φαίνεται από τα τρίγωνα, και να γίνει αντιπαραβολή με την ηλικία του Μαρκοβιανού Συστήματος τη στιγμή y, που είναι 1 με τη μέγιστη σχετική πιθανότητα. 67

68 prob{ ( y) X x} Σχήμα 3.2.1: Λόγοι από προσομοίωση, θεωρητικές ασυμπτωτικές τιμές prob{ ( X ) } prob{ X x ( y) } και ίσοι λόγοι για το της υπόθεσης. prob{ X y ( y) } β) N=1: Η μόνη διαφορά από το (α) είναι ότι τώρα ' [6 2 2]. Επειδή τα μέλη είναι λιγότερα, μπορούμε εύκολα να χρησιμοποιήσουμε τον τύπο της συνέλιξης. Θα κάνουμε, όμως, και πάλι προσομοίωση και προσέγγιση. Τώρα οι προσομοιώσεις για καθένα από τα 66 διανύσματα κατάστασης είναι και συνολικά = Όπως φαίνεται στα coour γραφήματα, συμπεριλαμβανομένου του θεωρητικού ασυμπτωτικού, εδώ η (y) X έχει μεγαλύτερη διασπορά. Αυτό εξηγείται από το μικρότερο N, που βοηθά στην εμφάνιση ακραίων (y) με μεγαλύτερη πιθανότητα σε σχέση με το (α). Έτσι, το prob{ X x ( y) } lim x prob{ X y ( y ) } είναι πολύ μεγαλύτερο από πριν και η ηλικία με τη μέγιστη σχετική πιθανότητα είναι 2 αντί για 1. Σε αυτήν την περίπτωση, προφανώς λόγω και του μικρότερου αριθμού μελών, είναι ξεκάθαρο ότι η προσέγγιση με την πολυδιάστατη κανονική κατανομή δεν είναι καθόλου ικανοποιητική, και φαίνεται, όπως και προηγούμενα, ότι το σχετικό σφάλμα αυξάνεται με την πάροδο του χρόνου. 68

69 69

70 prob{ ( y) X x} Σχήμα 3.2.2: Λόγοι από προσομοίωση, θεωρητικές ασυμπτωτικές τιμές prob{ ( X ) } prob{ X x ( y) } και ίσοι λόγοι για το της υπόθεσης. prob{ X y ( y ) } 3.3) Σχετικά με την κατανομή της ηλικίας Μαρκοβιανών Συστημάτων συνεχούς χρόνου Θεωρώντας ότι γνωρίζουμε, συμβολικά ή αριθμητικά, την πινακοσυνάρτηση P(x,y), εργαζόμαστε όπως στη διακριτή περίπτωση, με τη διαφορά ότι οι διαδοχικές χρονικές στιγμές δε διαφέρουν απαραίτητα κατά 1, αλλά κατά ένα δ>. Όσο μικρότερο είναι το δ, τόσο πιο λεπτομερής είναι η fx ( y) ( x ) εκτίμηση της συνάρτησης, αλλά και πιο χρονοβόρα. Κάθε χρονική στιγμή x που f ( y ) X ( y) λαμβάνουμε μπορεί να θεωρείται αντιπρόσωπος του διαστήματος με κέντρο αυτήν και μήκος δ, έστω I(x,δ), δηλ. τα ενδεχόμενα της μορφής X=z που εμφανίζονταν στη διακριτή περίπτωση γίνονται X I( x, ). Συγκεκριμένα έχουμε άρα prob{ ( y ) X I( x, )}prob{ X I( x, )} prob{ X I( x, ) ( y) }, prob{ ( y) } prob{ X I( x, ) ( y) } prob{ ( y) X I( x, )}, prob{ X I( y, ) ( y) } p από όπου για δ προκύπτει, με διαίρεση των όρων του αριστερού κλάσματος με δ, fx ( y) ( x ) prob{ ( y) X x}, f ( y ) p X ( y) αν λάβουμε υπόψη και τη συνέχεια της prob{ ( y) X x} ως προς x, που απορρέει από τη συνέχεια του P(x,y) ως προς x [η prob{ ( y) X x} έχει τον ίδιο τύπο με τη διακριτή περίπτωση (με τη βοήθεια συνέλιξης)]. Λόγω της ομοιότητας με τη διακριτή περίπτωση δεν κρίνεται σκόπιμο να παρατεθεί παράδειγμα. 7