ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΟΜΕΑΣ ΣΤΑΤΙΣΤΙΚΗΣ και ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ ΓΕΩΡΓΙΟΥ Π. ΒΑΣΙΛΕΙΑ Η

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΟΜΕΑΣ ΣΤΑΤΙΣΤΙΚΗΣ και ΕΠΙΧΕΙΡΗΣΙΑΚΗΣ ΕΡΕΥΝΑΣ ΓΕΩΡΓΙΟΥ Π. ΒΑΣΙΛΕΙΑ Η Πτυχιούχου Μαθηµατικού ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΣΧΕΣΕΙΣ ΓΙΑ ΤΙΣ ΡΟΠΕΣ ΤΩΝ ΜΕΓΕΘΩΝ ΤΩΝ ΚΑΤΑΣΤΑΣΕΩΝ ΤΟΥ ΟΜΟΓΕΝΟΥΣ ΜΑΡΚΟΒΙΑΝΟΥ ΣΥΣΤΗΜΑΤΟΣ ΜΕ Η ΧΩΡΙΣ ΧΩΡΗΤΙΚΟΤΗΤΕΣ Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ ΘΕΣΣΑΛΟΝΙΚΗ 2008

ΓΕΩΡΓΙΟΥ Π. ΒΑΣΙΛΕΙΑ Η Πτυχιούχου Μαθηµατικού ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΣΧΕΣΕΙΣ ΓΙΑ ΤΙΣ ΡΟΠΕΣ ΤΩΝ ΜΕΓΕΘΩΝ ΤΩΝ ΚΑΤΑΣΤΑΣΕΩΝ ΤΟΥ ΟΜΟΓΕΝΟΥΣ ΜΑΡΚΟΒΙΑΝΟΥ ΣΥΣΤΗΜΑΤΟΣ ΜΕ Η ΧΩΡΙΣ ΧΩΡΗΤΙΚΟΤΗΤΕΣ Ι ΑΚΤΟΡΙΚΗ ΙΑΤΡΙΒΗ Υποβλήθηκε στο Τµήµα Μαθηµατικών, Τοµέας Στατιστικής και Επιχειρησιακής Ερευνας Ηµεροµηνία Προφορικής Εξέτασης : 13 Ιουνίου, 2008 Εξεταστική Επιτροπή Αν. Καθ. Γ. Τσακλίδης, Επιβλέπων Καθηγητής Π.-Χ. Βασιλείου, Μέλος Τριµελούς Συµβουλευτικής Επιτροπής Αν. Καθ. Ν. Τσάντας, Μέλος Τριµελούς Συµβουλευτικής Επιτροπής Καθηγητής Π. Μωυσιάδης, Εξεταστής Καθηγητής Χ. Χαραλαµπίδης, Εξεταστής Αν. Καθ. Α. Γεωργίου, Εξεταστής Επικ. Καθ. Α. Παπαδοπούλου, Εξεταστής

c Γεώργιος Π. Βασιλειάδης c Α.Π.Θ. Τίτλος ιδακτορικής ιατριβής ISBN «Η έγκριση της παρούσης ιδακτορικής ιατριβής από το Τµήµα Μαθη- µατικών του Αριστοτελείου Πανεπιστηµίου Θεσσαλονίκης δεν υποδηλώνει αποδοχή των γνωµών του συγγραφέως» (Ν. 5343/1932, άρθρο 202, παρ. 2)

Στους γονείς µου Πασχάλη και Σοφία

Πρόλογος Με την ολοκλήρωση της εργασίας αυτής εκφράζω τις ϑερµές µου ευχαριστίες στον κ. Γεώργιο Τσακλίδη, Αναπληρωτή Καθηγητή του Τοµέα Στατιστικής και Επιχειρησιακής Ερευνας του Τµήµατος Μαθηµατικών του Α.Π.Θ., για την ανεκτίµητη ϐοήθεια που µου πρόσφερε. Το πνεύµα συνεργασίας και η διαρκής καθοδήγηση σε όλη τη διαδικασία της έρευνας καθώς επίσης και οι χρήσιµες παρατηρήσεις του κατά τη συγγραφή του κειµένου αποτέλεσαν καθοριστικούς παράγοντες για να ολοκληρωθεί η παρούσα εργασία. Επίσης ϑα ήθελα να ευχαριστήσω την υπεύθυνη της ϐιβλιοθήκης του Τµή- µατος Μαθηµατικών κ. Νούλα Πετρίδου για την πολύτιµη ϐοήθεια της και το Ιδρυµα Κρατικών Υποτροφιών (ΙΚΥ) για την οικονοµική συνεισφορά του. Θεσσαλονίκη 2008 Γεώργιος Π. Βασιλειάδης

Περίληψη Στην παρούσα διατριβή γίνεται µελέτη της συµπεριφοράς του διανύσµατος κατάστασης των κλειστών οµογενών µαρκοβιανών συστηµάτων (ΟΜΣ) διακριτού και συνεχούς χρόνου. Εξετάζεται η συµπεριφορά αυτών των συστη- µάτων στην εξέλιξη του χρόνου µε τη ϐοήθεια των παραγοντικών ϱοπών των µεγεθών των καταστάσεων. Για το σκοπό αυτό, δίνονται επαναληπτικές σχέσεις (µε παράµετρο το χρόνο) για τις παραγοντικές και τις µικτές ϱοπές των µεγεθών των καταστάσεων οποιασδήποτε τάξης. Οι ϐασικές επαναληπτικές σχέσεις προκύπτουν µε τη ϐοήθεια ενός νέου γινοµένου διανυσµάτων, το οποίο είναι παρόµοιο µε το γινόµενο Konecke. Χρησιµοποιώντας τις ϱοπές προσδιορίζεται στη συνέχεια η κατανοµή του µεγέθους κάθε κατάστασης, καθώς επίσης και η κοινή κατανοµή του διανύσµατος κατάστασης των συστηµάτων. Τα αποτελέσµατα αυτά γενικεύονται και για την περίπτωση του ΟΜΣ διακριτού χρόνου το οποίο παρουσιάζει πεπερασµένη χωρητικότητα c N σε µία από τις καταστάσεις του. Επίσης, γίνεται µελέτη του ΟΜΣ διακριτού χρόνου το οποίο σε κάθε κατάσταση i του χώρου καταστάσεων S = {1, 2,..., k} παρουσιάζει πεπερασµένη χωρητικότητα c i N, i = 1, 2,..., k. Εξετάζεται η συµπεριφορά αυτού του συστήµατος ϑεωρώντας ένα νέο σύστη- µα µε χώρο καταστάσεων S = {1, 2,..., k}, όπου η κατάσταση k + 1 περιέχει τα µέλη του συστήµατος που υπερχειλίζουν από τις καταστάσεις λόγω του περιορισµού της χωρητικότητας. Με τη ϑεώρηση αυτή καταργείται η ανεξαρτησία στις µετακινήσεις των µελών του συστήµατος, που είναι ϐασική προϋπόθεση στο κλασικό ΟΜΣ διακριτού χρόνου, και µελετάται πλέον ένα σύστηµα µε αλληλεπίδραση στις µετακινήσεις των µελών του. Με τη ϐοή- ϑεια των επαναληπτικών σχέσεων για τις ϱοπές των µεγεθών των καταστάσεων προσδιορίζεται η κατανοµή αυτών των µεγεθών για τα ϐήµατα εξέλιξης του συστήµατος πριν την κατάσταση ισορροπίας καθώς και ασυµπτωτικά.

Abstact The aim of this dissetation is to examine the evolution of the state sizes of closed discete and continuous time Homogeneous Makov systems (HMS). We investigate the evolution of these paticula systems by means of the factoial moments of the state sizes. Fo this eason, fo the factoial and mixed factoial moments ecusive fomulae (with paamete the time) ae povided. The basic ecusive fomulae ae deived by means of a new defined vecto poduct, which is simila to the Konecke poduct. Taking into account the moments, we compute the distibution of the state sizes and the joint distibution of the state vecto of the systems. The esults ae genealized fo the case of a discete time HMS which pesents a finite capacity c in one of its states. In addition, we conside the discete time HMS that has finite capacity c i N, i = 1, 2,..., k, in any state i of the state space S = {1, 2,..., k}. We examine the evolution of this system by consideing a new system with state space S = {1, 2,..., k}, whee the state k + 1 contains the membes of the system that oveflow due to the capacity. Unde this consideation the independence of the tansitions - which is a basic assumption in the classic discete time HMS - is abolished, and thus the system becomes an inteactive Makov model. By means of the ecusive elations fo the moments of the state sizes we compute the distibution of the state sizes fo any time t. x

Περιεχόµενα 1 Εισαγωγή 1 1.1 Εισαγωγή στις στοχαστικές διαδικασίες............. 1 1.2 Οι µαρκοβιανές στοχαστικές διαδικασίες............ 3 1.3 Το κλειστό οµογενές µαρκοβιανό σύστηµα διακριτού χρόνου.. 5 1.3.1 Μέσες τιµές, διακυµάνσεις, συνδιακυµάνσεις του ΟΜΣ διακριτού χρόνου..................... 7 1.4 Το κλειστό οµογενές µαρκοβιανό σύστηµα συνεχούς χρόνου.. 10 1.5 Μαρκοβιανά µοντέλα µε αλληλεπίδραση στις µετακινήσεις... 14 1.6 Χρήσιµοι ορισµοί και Θεωρήµατα................ 15 2 Περίληψη πρωτότυπου µέρους 21 3 Ροπές των µεγεθών των καταστάσεων του ΟΜΣ διακριτού χρόνου 29 3.1 Εισαγωγή............................. 29 3.2 Παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ διακριτού χρόνου......................... 30 3.3 Κλειστά ΟΜΣ µε περιοδικό πίνακα µετάβασης......... 45 3.4 Ροπές µε κέντρο το µηδέν.................... 46 3.5 Λοξότητα και κύρτωση...................... 47 3.6 Κατανοµή των µεγεθών των καταστάσεων............ 48 3.7 Παράδειγµα............................ 52 4 Ροπές των µεγεθών των καταστάσεων του ΟΜΣ συνεχούς χρόνου 57 4.1 Εισαγωγή............................. 57 4.2 Παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ συνεχούς χρόνου......................... 58 4.3 Μερικά χρήσιµα αποτελέσµατα στη Θεωρία Πινάκων...... 69 4.4 Κατανοµή των µεγεθών των καταστάσεων............ 74 xi

4.5 Παράδειγµα............................ 76 4.6 Επαλήθευση αποτελεσµάτων................... 84 5 Το ΟΜΣ διακριτού χρόνου µε πεπερασµένη χωρητικότητα σε µία κατάσταση 87 5.1 Εισαγωγή............................. 87 5.2 Παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ/c s 88 5.3 Κατανοµή των µεγεθών των καταστάσεων............ 96 5.4 Παραγοντικές ϱοπές του µεγέθους υπερχείλισης........ 99 5.5 Παράδειγµα............................ 102 6 Το ΟΜΣ διακριτού χρόνου µε πεπερασµένη χωρητικότητα στις καταστάσεις του 105 6.1 Εισαγωγή............................. 105 6.2 Πίνακας µετάβασης για το ΟΜΣ/c................ 106 6.3 Μέσες τιµές των µεγεθών των καταστάσεων του ΟΜΣ/c..... 111 6.4 Παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ/c 114 6.4.1 Υπολογισµός πιθανοτήτων p(b x 1j 1j bx 2j 2j... b x kj kj ; ñ(t)).... 121 6.4.2 Υπολογισµός πιθανοτήτων p(b y 11 11 b y 21 21... b y kk kk ; ñ(t)).... 122 6.4.3 Υπολογισµός πιθανοτήτων p(b x 11 11... b x kk kk by 11 11... b y kk kk ; ñ(t)) 123 6.5 Επαναληπτική σχέση για τις παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ/c................... 127 6.6 Ασυµπτωτική συµπεριφορά του ΟΜΣ/c............. 130 6.7 Παράδειγµα............................ 134 xii

Κεφάλαιο 1 Εισαγωγή 1.1 Εισαγωγή στις στοχαστικές διαδικασίες Μία στοχαστική διαδικασία {X(t) : t T } είναι µια συλλογή από τυχαίες µεταβλητές ορισµένες σε ένα χώρο πιθανοτήτων (Ω, F, P ) όπου Ω είναι ο δειγµατοχώρος, F η οικογένεια των γεγονότων (σ-άλγεβρα) και P (.) µια συνολοσυνάρτηση που αντιστοιχεί σε κάθε γεγονός την πιθανότητά του. ηλαδή για κάθε t T, η X(t) είναι µία τυχαία µεταβλητή. Η παράµετρος t συνήθως παριστά χρόνο και σαν αποτέλεσµα η X(t) αναφέρεται ως η κατάσταση της διαδικασίας τη χρονική στιγµή t, t R. Το σύνολο T καλείται παραµετρικός χώρος. Στην περίπτωση που το σύνολο T είναι απειραριθµήσιµο, η στοχαστική διαδικασία καλείται διαδικασία διακριτού χρόνου και τότε µπο- ϱούµε να τη συµβολίσουµε µε X(0), X(1), X(2),..., ενώ στην περίπτωση που T = [0, ) (οπότε το T δεν είναι αριθµήσιµο) η στοχαστική διαδικασία καλείται διαδικασία συνεχούς χρόνου και συµβολίζεται µε {X(t) : t 0} ή {X(t)} t 0. Ο χώρος καταστάσεων µιας στοχαστικής διαδικασίας είναι το σύνολο όλων των πιθανών τιµών που µπορούν να πάρουν οι τυχαίες µεταβλητές X(t). Αν αυτός ο χώρος καταστάσεων, τον οποίο συµβολίζουµε µε S, είναι πεπερασµένος ή αριθµήσιµος, η στοχαστική διαδικασία καλείται αλυσίδα, ενώ αν S = R, έχουµε µια στοχαστική διαδικασία µε πραγµατικές τιµές. Συµπερασµατικά, µια στοχαστική διαδικασία είναι µία οικογένεια τυχαίων µεταβλητών που περιγράφει την εξέλιξη µέσα στο χρόνο µιας (ϕυσικής) διαδικασίας. Οι στοχαστικές διαδικασίες χρησιµοποιούνται για να περιγράψουν διάφο- ϱα ϕυσικά ϕαινόµενα ή συστήµατα των οποίων η εξέλιξη καθορίζεται από 1

κάποιους πιθανοθεωρητικούς νόµους. Μελετώντας τις µαθηµατικές οντότητες της στοχαστικής διαδικασίας µας δίνεται η δυνατότητα να οδηγηθούµε σε ασφαλή συµπεράσµατα τόσο για την εξέλιξη του πραγµατικού ϕυσικού ϕαινοµένου το οποίο περιγράφουν, όσο και για την κατανόηση κάποιων ιδιαίτε- ϱων χαρακτηριστικών του. Καθώς λοιπόν στα περισσότερα ϕυσικά ϕαινόµενα ή συστήµατα που µελετώνται από τις διάφορες επιστήµες υπάρχει το στοιχείο της τυχαιότητας, οι στοχαστικές διαδικασίες ϐρίσκουν εφαρµογή σε πολλές επιστήµες. Οι πρώτες εφαρµογές των στοχαστικών διαδικασιών εµφανίζονται στις αρχές του εικοστού αιώνα για την περιγραφή κάποιων ϕαινοµένων στο χώρο της οικονοµίας και της ϕυσικής. Ο Bachelie (1900) προσπαθώντας να περιγράψει τις µεταπτώσεις τιµών στα προϊόντα της αγοράς δηµιούργησε κάποια µορφή στοχαστικής διαδικασίας. Ο Lundbeg (1903) µελετώντας αντίστοιχο πρόβληµα µε τις εισπράξεις µιας εταιρίας κατέληξε σε µια σηµαντική κατηγορία στοχαστικών διαδικασιών, τους τυχαίους περίπατους. Οµοια µε τους προηγούµενους και άλλοι επιστήµονες χρησιµοποίησαν στοχαστικές διαδικασίες για την περιγραφή διαφόρων ϕαινοµένων, όπως : Ο Einstein (1905) για την κίνηση ενός σωµατιδίου σε ϱευστό (κίνηση Bown), ο Ruthefod (1908) για τη µελέτη της διάσπασης ενός ϱαδιενεργού υλικού, ο Elang (1909) για το συνωστισµό των τηλεφωνικών κλήσεων στα τηλεφωνικά κέντρα. Η παρουσία εφαρµογών των στοχαστικών διαδικασιών συνεχίστηκε χωρίς την ταυτόχρονη αυστηρή µαθηµατική αντιµετώπιση και επεξεργασία του αντίστοιχου ερευνητικού πεδίου. Η ουσιαστική και αυστηρή µαθηµατική ϑεµελίωσή τους ξεκίνησε από τον Kolmogoov (1931) και συνεχίστηκε από τον Felle (1936). Από εκεί και µετά γνώρισαν ϱαγδαία ανάπτυξη κυρίως στη δεκαετία του 50 και συνεχίζουν να εξελίσσονται µέχρι και τις µέρες µας. Η εφαρµογή των στοχαστικών διαδικασιών στην πράξη απαιτεί αρχικά τον καθορισµό του συστήµατος, δηλαδή του συνόλου των αντικειµένων ή υποκει- µένων που σχετίζονται µε κάποιο τρόπο µεταξύ τους. Η µελέτη της εξέλιξης του συστήµατος προϋποθέτει α) τον ορισµό του χώρου καταστάσεων S, ο οποίος συνήθως αποτελείται από ένα σύνολο αριθµών που αντιστοιχούν στις διάφορες µορφές του συστήµατος και ϐ) την εύρεση των πιθανοθεωρητικών νόµων που διέπουν την κίνηση του συστήµατος από µία κατάσταση σε άλλη. Είναι ϕανερό λοιπόν ότι πολλά από τα ϕαινόµενα τα οποία παρατηρούµε στην καθηµερινή Ϲωή και στη ϕύση µπορούν να κωδικοποιηθούν µε τον τρόπο που προαναφέραµε. Ετσι εξηγείται και το πολυπληθές των εφαρµογών των στοχαστικών διαδικασιών στη ϕυσική, ϐιολογία, µηχανική, γεωλογία, δηµογραφία, οικονοµία, κλπ. 2

1.2 Οι µαρκοβιανές στοχαστικές διαδικασίες Η κατηγορία αυτών των στοχαστικών διαδικασιών πρωτοεµφανίστηκε το 1905, όταν ο Andey A. Makov (1856-1922) συνέλαβε την ιδέα της οµώνυµης αλυσίδας µελετώντας ως εφαρµογή τη διαδοχή των ϕωνηέντων και των συµ- ϕώνων στο ποίηµα του Puskin "Evgeni Onegin" και στο "Detskie gody Bagovavnuka" του Aksakov. Ο Makov γενίκευσε τις κλασικές ιδιότητες που προϋπήρχαν για τις ακολουθίες ανεξάρτητων τυχαίων µεταβλητών σε ακολου- ϑίες που δεν πληρούσαν τη συνθήκη της ανεξαρτησίας. Είναι ϕανερό ότι η επέκταση των ιδιοτήτων που ισχύουν για τις ανεξάρτητες τυχαίες µεταβλητές δεν ϑα ήταν δυνατή στην περίπτωση µιας πολύ γενικής εξάρτησης, ενώ παράλληλα ϑα έπρεπε να έχει ϕυσικό νόηµα. Ετσι επέλεξε ένα είδος δέσµευσης ανάµεσα σε διαδοχικές τυχαίες µεταβλητές. Υπέθεσε λοιπόν ότι η πιθανότητα να ϐρεθεί το σύστηµα σε µια συγκεκριµένη κατάσταση µια οποιαδήποτε χρονική στιγµή εξαρτάται αποκλειστικά και µόνο από τη ϑέση που ϐρισκόταν την προηγούµενη χρονική στιγµή. Αν ϑεωρήσουµε µια ακολουθία τυχαίων µεταβλητών (τ.µ.) X(0), X(1), X(2),... µε δυνατές τιµές 1, 2,..., k για κάθε X(t), t = 0, 1, 2,..., τότε η µαρκοβιανή ιδιότητα σηµαίνει ότι P ob{x(t + 1) = i t+1 /X(t) = i t, X(t 1) = i t 1,..., X(0) = i 0 } = = P ob{x(t + 1) = i t+1 /X(t) = i t }, t N, (1.1) όπου i 0, i 1,..., i t+1 {1, 2,..., k}. Εποµένως οι τ.µ. X(0), X(1), X(2),... της µαρκοβιανής διαδικασίας δεν είναι ανεξάρτητες αλλά εξαρτηµένες, όπου σύµφωνα µε τη µαρκοβιανή ιδιότητα το τι ϑα συµβεί στο µέλλον εξαρτάται αποκλειστικά από το παρόν και όχι από το παρελθόν. Ετσι, αν ϑέσουµε και p it = P ob{x(t) = i t }, t = 0, 1,..., i t = 1, 2,..., k, p iti t+1 = P ob{x(t + 1) = i t+1 /X(t) = i t } τότε ενώ µε την κλασική ϑεώρηση της ανεξαρτησίας των τυχαίων µεταβλητών X(0), X(1), X(2),... έχουµε P ob{x(0) = i 0, X(1) = i 1,..., X(t) = i t, X(t + 1) = i t+1 } = p i0 p i1... p it+1, 3

µε την υπόθεση του Makov έχουµε P ob{x(0) = i 0, X(1) = i 1,..., X(t) = i t, X(t+1) = i t+1 } = p i0 p i0 i 1 p i1 i 2... p iti t+1. Οι δεσµευµένες πιθανότητες p it i t+1 = P ob{x(t+1) = i t+1 /X(t) = i t }, t = 0, 1,..., i t, i t+1 {1, 2,..., k} καθορίζουν τη ϕύση της µαρκοβιανής διαδικασίας και τα ιδιαίτερα χαρακτηριστικά της. Οι πιθανότητες αυτές συνήθως συµβολίζονται µε p ij (t), i, j = 1, 2,..., k και καλούνται πιθανότητες µετάβασης, καθώς εκφράζουν την πι- ϑανότητα η τυχαία µεταβλητή να µεταβεί στην κατάσταση j τη χρονική στιγµή t + 1, δεδοµένου ότι ήταν στην κατάσταση i τη χρονική στιγµή t. Οι ποσότητες p ij (t) µπορούν να ϑεωρηθούν ως στοιχεία ενός k k πίνακα P(t), ο οποίος καλείται πίνακας µετάβασης της µαρκοβιανής αλυσίδας. Στον πίνακα αυτό η i-γραµµή και j-στήλη αντιστοιχούν στην i και j κατάσταση του χώρου καταστάσεων S. Ετσι, αν S = {1, 2,..., k}, τότε p 11 (t) p 12 (t)... p 1k (t) P(t) = p 21 (t) p 22 (t)... p 2k (t)............. (1.2) p k1 (t) p k2 (t)... p kk (t) Ο πίνακας P(t), t = 0, 1, 2... είναι τετραγωνικός µε όλα τα στοιχεία του µη αρνητικά και άθροισµα κάθε γραµµής ίσο µε µονάδα. Αν οι πιθανότητες µετάβασης είναι ανεξάρτητες από το χρόνο t, οπότε P(t) = P για κάθε t N, τότε η αλυσίδα καλείται οµογενής και περιγράφεται από έναν και µόνο πίνακα µετάβασης, ενώ διαφορετικά καλείται µη οµογενής και περιγράφεται από µια ακολουθία πινάκων µετάβασης P(t), t = 0, 1, 2,..., όπου για κάθε t N ο πίνακας P(t) αντιστοιχεί στις µεταβάσεις που συµβαίνουν στο χρονικό διάστηµα [t, t + 1). Στην περίπτωση διαδικασίας συνεχούς χρόνου {X(t)} t 0 η οποία παίρνει τιµές σε κάποιο διάστηµα, δηλαδή ο χώρος καταστάσεων S είναι συνεχής, η αντίστοιχη σχέση της (1.1) είναι P ob{a < X(t) < b/x(t 1 ) = x 1, X(t 2 ) = x 2,..., X(t n ) = x n } = = P ob{a < X(t) < b/x(t n ) = x n }, t N, όπου t 1 < t 2 <... < t n < t και x 1, x 2,..., x n S. Σ αυτήν την περίπτωση ο πίνακας P(t) έχει ίδια µορφή µε τον πίνακα της (1.2), µε τη διαφορά ότι t [0, + ). 4

Η ϐιβλιογραφία σχετικά µε τις µαρκοβιανές αλυσίδες είναι αρκετά εκτενής τόσο στο καθαρά µαθηµατικό επίπεδο όσο και στον τοµέα των εφαρµογών. Σηµαντική ϑεωρείται η συνεισφορά των Doob (1952), Chiang (1968), Cox and Mille (1965), Kemeny, Snell and Knapp (1966), Felle (1968,1971), Iosifescu and Tautu (1973), Kalin and Taylo (1975) και Isaacson and Madsen (1976). Στις επόµενες παραγράφους παρουσιάζουµε τα µαρκοβιανά µοντέλα : ο- µογενές µαρκοβιανό σύστηµα διακριτού χρόνου, οµογενές µαρκοβιανό σύστη- µα συνεχούς χρόνου και µαρκοβιανά µοντέλα µε αλληλεπίδραση στις µετακινήσεις. Τα µοντέλα αυτά αποτελούν το αντικείµενο µελέτης στα κεφάλαια 3-6. 1.3 Το κλειστό οµογενές µαρκοβιανό σύστηµα διακριτού χρόνου Θεωρούµε ένα σύστηµα τα µέλη του οποίου είναι ταξινοµηµένα σε k καταστάσεις σύµφωνα µε κάποιο χαρακτηριστικό τους. Τα µέλη του συστήµατος µπορεί να είναι ϐιολογικοί οργανισµοί, µηχανήµατα, διάφορα σωµατίδια κ.λ.π. Οι καταστάσεις µπορεί να είναι τόποι εργασίας ή κατοικίας, κοινωνικές τάξεις, πλήθος σωµατιδίων σε κάποιους χώρους κ.λ.π. Οι καταστάσεις του συστήµατος ορίζονται µε τέτοιο τρόπο ώστε κάθε µέλος να ανήκει σε µία µόνο κατάσταση. Ολα τα µέλη του συστήµατος έχουν τη δυνατότητα να µετακινούνται από κατάσταση σε κατάσταση σύµφωνα µε τη µαρκοβιανή ιδιότητα. Θεωρούµε ότι οι µετακινήσεις αυτές γίνονται σε χρόνο διακριτό. Επίσης, ο αριθµός των µελών του συστήµατος είναι σταθερός. εν υπάρχει δυνατότητα εισόδου νέων µελών, ούτε επιτρέπεται η έξοδος στους ήδη υπάρχοντες. Για ένα κλειστό οµογενές µαρκοβιανό σύστηµα (ΟΜΣ) χρησιµοποιούµε τους παρακάτω συµβολισµούς : t = 0, 1, 2,..., η παράµετρος που δηλώνει τα ϐήµατα (ή χρονικές στιγ- µές) S = {1, 2,....k}, ο χώρος καταστάσεων N, το πλήθος των µελών του συστήµατος. Θεωρούµε ότι τα N σε πλήθος µέλη του συστήµατος είναι κατανεµηµένα στις k σε πλήθος καταστάσεις και πραγµατοποιούν µετακινήσεις µέσα στο σύστηµα καθώς ο χρόνος ϱέει διακριτά. 5

Συµβολίζουµε µε p ij, i, j = 1, 2,..., k, την πιθανότητα µετάβασης από την κατάσταση i στη j σ ένα ϐήµα. Οι πιθανότητες p ij είναι σταθερές, ανεξάρτητες του χρόνου, και δίνονται ως στοιχεία του πίνακα µετάβασης P = (p ij ), i, j = 1, 2,..., k. Επίσης συµβολίζουµε µε n ij (t), i, j = 1, 2,..., k, το πλήθος των µελών του συστήµατος που µετακινούνται από την κατάσταση i στη j µεταξύ των χρονικών στιγµών t και t + 1, και µε n i (t), i = 1, 2,..., k, το πλήθος των µελών που ϐρίσκονται στην κατάσταση i τη χρονική στιγµή t. Η πληθυσµιακή δοµή του συστήµατος σε κάθε χρονική στιγµή t, t N, δίνεται από το διάνυσµα κατάστασης (διάνυσµα στήλη) n(t) = (n 1 (t), n 2 (t),..., n k (t)) T, όπου ο εκθέτης T συµβολίζει το ανάστροφο διάνυσµα (ή πίνακα). Παρουσιάζουµε στη συνέχεια (Σχήµα 1.1) γραφικά τη µορφή του συστή- µατος για δύο διαδοχικά ϐήµατα (χρονικές στιγµές). t t+1 n 1 (t) n 2 (t).. n i (t).... n k (t) n i1 (t) p i1 n ij (t) n ik (t) n i2 (t) p i2 p ij p ik n 1 (t+1) n 2 (t+1)... n j (t+1).. n k (t+1) Σχήµα 1.1: Οµογενές Μαρκοβιανό σύστηµα διακριτού χρόνου 6

1.3.1 Μέσες τιµές, διακυµάνσεις, συνδιακυµάνσεις του ΟΜΣ διακριτού χρόνου Η µελέτη της εξέλιξης της πληθυσµιακής δοµής ενός κλειστού ΟΜΣ διακριτού χρόνου στηρίζεται σε δύο σηµαντικές επαναληπτικές σχέσεις οι οποίες δίνονται στο ϐιβλίο του D.J. Batholomew "Stochastic Models fo Social Pocesses" (1982). Με τη ϐοήθεια αυτών των επαναληπτικών σχέσεων, έχουµε τη δυνατότητα να υπολογίσουµε τα αναµενόµενα µεγέθη, τις διακυµάνσεις και συνδιακυµάνσεις των µεγεθών των καταστάσεων του συστήµατος για οποιαδήποτε µελλοντική χρονική στιγµή. Στην παράγραφο αυτή παρουσιάζουµε συνοπτικά τον τρόπο µε τον οποίο προκύπτουν αυτές οι σχέσεις, καθώς επίσης και το πώς µπορούν να χρησιµοποιηθούν για τη µελέτη της ασυµπτωτικής συµπεριφοράς του συστήµατος. Για κάθε χρονική στιγµή t, t N, το µέγεθος µιας κατάστασης j, j = 1, 2,..., k, του συστήµατος προκύπτει ως το άθροισµα των µελών του συστή- µατος που µετακινήθηκαν προς την j κατά το χρονικό διάστηµα [t, t + 1), δηλαδή k n j (t + 1) = n ij (t). Ετσι, E[n j (t + 1)] = k E[n ij (t)]. (1.3) εδοµένου του n i (t), η τ.µ. n ij (t) ακολουθεί διωνυµική κατανοµή µε παραµέτρους n i (t) και p ij, δηλαδή ισχύει n ij (t)/n i (t) B(n i (t), p ij ). (1.4) Εποµένως, για τη µέση τιµή της τ.µ. n ij (t)/n i (t) έχουµε άρα Τότε από την (1.3) παίρνουµε E [n ij (t)/n i (t)] = n i (t)p ij, E [n ij (t)] = E(E [n ij (t)/n i (t)]) = E [n i (t)] p ij. E[n j (t + 1)] = k E [n i (t)] p ij, 7

οπότε E [ n T (t + 1) ] = E [ n T (t) ] P, t N. (1.5) Η παραπάνω επαναληπτική σχέση µας δίνει τη δυνατότητα να υπολογίσουµε τα αναµενόµενα µεγέθη κάθε κατάστασης του συστήµατος για οποιαδήποτε µελλοντική χρονική στιγµή. Ετσι, έχουµε µία εκτίµηση του τρόπου εξέλιξης της πληθυσµιακής δοµής του συστήµατος. Εφαρµόζοντας την (1.5) διαδοχικά για κάθε χρονική στιγµή, οδηγούµαστε σε µία σχέση, µε τη ϐοήθεια της οποίας µπορούµε να υπολογίσουµε τα ανα- µενόµενα µεγέθη κάθε κατάστασης του συστήµατος, συναρτήσει της αρχικής δοµής n(0) του ΟΜΣ. Είναι E [ n T (t) ] = E [ n T (t 1) ] P = E [ n T (t 2) ] P 2 =............ = n T (0)P t. (1.6) Οσον αφορά την ασυµπτωτική συµπεριφορά των αναµενόµενων µεγεθών των καταστάσεων, από την (1.6) έχουµε lim E [ n T (t) ] = n T (0) lim P t, (1.7) t t εφ όσον το lim t P t υπάρχει. Ετσι, η ύπαρξη του lim t E [ n T (t) ] εξαρτάται από τη σύγκλιση της ακολουθίας P t, t = 1, 2,.... Είναι γνωστό ότι (Θεώρηµα 1.6.2) αν ένας πίνακας P είναι πλήρως κανονικός (ϐλ. Ορισµό 1.6.4), δηλαδή έχει τη µονάδα ως απλή ιδιοτιµή και δεν έχει άλλες ιδιοτιµές µέτρου ένα, τότε το lim t P t υπάρχει και είναι ένας πίνακας P του οποίου όλες οι γραµµές είναι ίδιες (ευσταθής πίνακας). Η τυχαία γραµµή π T του P ικανοποιεί τις σχέσεις π T P = π T π T 1 = 1, όπου 1 = (1, 1,..., 1) T. ηλαδή το διάνυσµα π T είναι ένα στοχαστικό αριστερό ιδιοδιάνυσµα του P για την ιδιοτιµή 1. Ετσι, στην περίπτωση που ο πίνακας µετάβασης ενός συστήµατος είναι πλήρως κανονικός, από την (1.7) έχουµε E [ n T ( ) ] = n T (0)P, 8

όπου E [ n T ( ) ] = lim t E [ n T (t) ]. Αναφορικά µε τις συνδιακυµάνσεις των µεγεθών των καταστάσεων ενός ΟΜΣ, από την (1.3) έχουµε cov (n j (t + 1), n (t + 1)) = E [n j (t + 1)n (t + 1)] E[n j (t + 1)]E[n (t + 1)] = k k (E [n ij (t)n s (t)] E[n ij (t)]e[n s (t)])(1.8). Χρησιµοποιώντας την (1.4) ϐρίσκουµε (Batholomew (1982)) και s=1 E [n ij (t)n s (t)/n i (t), n s (t)] = n i (t)n s (t)p ij p s, (i s) (1.9) E [n ij (t)n i (t)/n i (t)] = n i (t)(n i (t) 1)p ij p i + δ j n i (t)p ij, (1.10) όπου δ j το δέλτα του Konecke. Παίρνοντας µέσες τιµές στις σχέσεις (1.9), (1.10) και αντικαθιστώντας στην (1.8) προκύπτει για τις συνδιακυµάνσεις των µεγεθών των καταστάσεων η επαναληπτική σχέση cov (n j (t + 1), n (t + 1)) = k k p ij p s cov (n i (t), n s (t)) + s=1 + k (δ j p ij p ij p i )E[n i (t)]. (1.11) Εστω µ(t) το διάνυσµα των µέσων και των συνδιασπορών των µεγεθών των καταστάσεων για τη χρονική στιγµή t, δηλαδή µ(t) = {E(n 1 (t)),..., E(n k (t)), cov(n 1 (t), n 1 (t)),..., cov(n 1 (t), n k (t)), cov(n 2 (t), n 1 (t)), cov(n 2 (t), n 2 (t)),..., cov(n k (t), n k (t))} T. Στην παραπάνω παράσταση η συνδιακύµανση των τ.µ. n i (t) και n j (t), (i j) εµφανίζεται δύο ϕορές : ως cov(n i (t), n j (t)) και ως cov(n j (t), n i (t)). ιατη- ϱώντας όµως την παράσταση όπως είναι για λόγους συµµετρίας, από τις σχέσεις (1.5) και (1.11) παίρνουµε για δύο διαδοχικές χρονικές στιγµές t και t + 1 την επαναληπτική σχέση µ T (t + 1) = µ T (t)π, (1.12) 9

όπου ο k(k + 1) k(k + 1) πίνακας Π έχει τη µορφή [ ] P X, O Y και P = (p ij ) είναι ο k k πίνακας µετάβασης, O είναι ο k 2 k µηδενικός πίνακας, X είναι ένας k k 2 πίνακας µε στοιχεία της µορφής δ j p ij p ij p i (το i δηλώνει τη γραµµή και το (j 1)k + τη στήλη κάθε στοιχείου) και Y το Konecke γινόµενο των P και P (Y = P P). Εφαρµόζοντας επαναληπτικά την (1.12) ϐρίσκουµε µ T (t) = µ T (0)Π t. (1.13) Οσον αφορά την ασυµτωτική συµπεριφορά του διανύσµατος µ(t), από την (1.13) γίνεται ϕανερό ότι για τον υπολογισµό του lim t µ(t) απαιτείται ο υπολογισµός του lim t Π t (εφόσον αυτό υπάρχει). Αποδεικνύεται ότι αν ο πίνακας P είναι πλήρως κανονικός, τότε το lim t µ(t) υπάρχει και µάλιστα είναι lim t µt (t) = µ T (0)Π, όπου [ ] Π P = P X (I Y + Y ) 1 O Y, ενώ I είναι ο µοναδιαίος πίνακας και Y = P P. 1.4 Το κλειστό οµογενές µαρκοβιανό σύστηµα συνεχούς χρόνου Κατ αναλογία µε το σύστηµα διακριτού χρόνου ϑεωρούµε ένα σύστηµα τα µέλη του οποίου είναι ταξινοµηµένα σε k καταστάσεις και κάθε µέλος ανήκει σε µία µόνο κατάσταση. Το σύνολο S = {1, 2,..., k} αποτελεί το χώρο καταστάσεων του συστήµατος. Ολα τα µέλη έχουν τη δυνατότητα να µετακινούνται από κατάσταση σε κατάσταση σύµφωνα µε τη µαρκοβιανή ιδιότητα. Θεω- ϱούµε ότι οι µετακινήσεις αυτές γίνονται σε χρόνο συνεχή. Καθώς ο χρόνος είναι συνεχής µεταβλητή, η κίνηση ορίζεται από την τάση (τον ϱυθµό µετάβασης) που έχει ένα µέλος να µεταβεί από µία κατάσταση i στην κατάσταση j. Την τάση µετάβασης από την κατάσταση i στην κατάσταση j τη συµβολίζουµε µε q ij, i, j = 1, 2,..., k. Επίσης, ο αριθµός των µελών του συστήµατος είναι 10

σταθερός. εν υπάρχει δυνατότητα εισόδου νέων µελών, ούτε επιτρέπεται η έξοδος στους ήδη υπάρχοντες. Το µέγεθος κάθε κατάστασης του συστήµατος δίνεται για κάθε χρονική στιγµή t από την k-διάστατη τ.µ. n(t) = (n 1 (t), n 2 (t),..., n k (t)) T. Θεωρούµε ότι οι µεταβάσεις των µελών του συστήµατος από κατάσταση σε κατάσταση πραγµατοποιούνται σύµφωνα µε τον πίνακα των τάσεων q 11 q 12... q 1k Q = q 21 q 22... q 2k............, q k1 q k2... q kk όπου q ij, i, j = 1, 2,..., k, η τάση µετάβασης από την κατάσταση i στην κατάσταση j. Συµβολίζουµε µε p ij (t, t + δt), i, j S, την πιθανότητα ένα µέλος του συστήµατος να µεταβεί από την κατάσταση i στη j κατά το χρονικό διάστηµα [t, t + δt). Θεωρώντας ότι το σύστηµα είναι οµογενές, οι πιθανότητες αυτές είναι ανεξάρτητες από το t και εξαρτώνται µόνο από το µήκος του διαστήµατος δt. Γι αυτό το λόγο συµβολίζουµε τις πιθανότητες αυτές και µε p ij (δt), i, j S. Επίσης συµβολίζουµε µε n ij (t, t + δt), i, j S, την τ.µ. η οποία εκφράζει το πλήθος των µελών του συστήµατος που µετακινούνται από την κατάσταση i στην j κατά το χρονικό διάστηµα [t, t + δt). Παρουσιάζουµε στη συνέχεια (Σχήµα 1.2) γραφικά τη µορφή του συστήµατος για τις χρονικές στιγµές t και t + δt. Προφανώς, µε ϐάση τα παραπάνω, για την τ.µ. n ij (t, t+δt)/n i (t), i, j S, είναι n ij (t, t + δt)/n i (t) B(n i (t), p ij (t, t + δt)). (1.14) Ακόµη, το µέγεθος n j (t + δt), j = 1, 2,..., k, κάθε κατάστασης κατά τη χρονική στιγµή t + δt, δίνεται από τη σχέση n j (t + δt) = k n ij (t, t + δt). (1.15) Ετσι, για το αναµενόµενο µέγεθος κάθε κατάστασης του συστήµατος, δεδοµένης της ανεξαρτησίας των τ.µ. n ij (t, t + δt), από τις (1.14) και (1.15) 11

t n 1 (t) n 2 (t).. n i (t).... n k (t) n i2 (t,t+ t) n i1 (t,t+ t) p i1 ( t) n ij (t,t+ t) p i2 ( t) p ij ( t) nik (t,t+ t) p ik ( t) t+ t n 1 (t+ t) n 2 (t+ t)... n j (t+ t).. n k (t+ t) Σχήµα 1.2: Οµογενές Μαρκοβιανό σύστηµα συνεχούς χρόνου έχουµε E[n j (t + δt)/n i (t)] = = k E[n ij (t, t + δt)] k n i (t)p ij (t, t + δt). Άρα, E[n j (t + δt)] = E[E[n j (t + δt)/n i (t)]] = k E[n i (t)]p ij (t, t + δt). (1.16) Οι πιθανότητες µετάβασης στο χρονικό διάστηµα [t, t + δt) ικανοποιούν τη σχέση p ij (t, t + δt) = δ ij + q ij δt + o(δt), 12

όπου δ ij, i, j = 1, 2,..., k, το δέλτα του Konecke, q ij οι τάσεις µετάβασης και o(δt) µία ποσότητα για την οποία ισχύει lim δt 0 (o(δt)/δt) = 0. Αντικαθιστώντας στην (1.16), παίρνουµε Ετσι, E[n j (t + δt)] = k E[n i (t)](δ ij + q ij δt + o(δt)) = E[n j (t)] + k E[n i (t)]q ij δt + o(δt) k E[n i (t)]. E[n j (t + δt)] E[n j (t)] δt = k E[n i (t)]q ij + o(δt) δt k E[n i (t)] και παίρνοντας το όριο για δt 0, έχουµε E[n j (t + δt)] E[n j (t)] lim δt 0 δt = k E[n i (t)]q ij + lim δt 0 o(δt) δt k E[n i (t)], ή d(e[n j (t)]) dt = k E[n i (t)]q ij, αφού lim δt 0 (o(δt)/δt) = 0. Η παραπάνω σχέση ισχύει για κάθε j S, οπότε µπορεί να γραφεί σε διανυσµατική µορφή ως όπου συµβολίζουµε d(e[n T (t)]) dt d(e[n T (t)]) dt ( d(e[n1 (t)]) = dt = E[n T (t)]q, (1.17), d(e[n 2(t)]) dt,..., d(e[n ) k(t)]). dt Λύνοντας τη διαφορική εξίσωση (1.17), εύκολα προκύπτει ότι το ανα- µενόµενο µέγεθος των καταστάσεων του συστήµατος, για οποιαδήποτε χρονική στιγµή t, δίνεται από τη σχέση E [ n T (t) ] = n T (0)e Qt. (1.18) 13

Οι διακυµάνσεις και οι συνδιακυµάνσεις των µεγεθών των καταστάσεων του συστήµατος για οποιαδήποτε χρονική στιγµή t προκύπτουν µε ανάλογο τρόπο όπως στην περίπτωση του διακριτού χρόνου, ϑεωρώντας ότι για το χρονικό διάστηµα [0, t) ο πίνακας µετάβασης P(t) δίνεται από τη σχέση P(t) = e Qt. 1.5 Μαρκοβιανά µοντέλα µε αλληλεπίδραση στις µετακινήσεις Τόσο στο ΟΜΣ διακριτού χρόνου όσο και στο ΟΜΣ συνεχούς χρόνου που περιγράψαµε στις προηγούµενες παραγράφους ϐασική υπόθεση αποτελεί το γεγονός ότι οι µετακινήσεις των µελών του συστήµατος είναι ανεξάρτητες. ηλαδή, τα µέλη του συστήµατος µετακινούνται από κατάσταση σε κατάσταση ανεξάρτητα το ένα από το άλλο. Στην πράξη όµως, σε πολλά συστήµατα, τα άτοµα αλληλεπιδρούν µεταξύ τους, π.χ. σε κοινωνικά συστήµατα τα άτοµα παρατηρούν το ένα τη συµπεριφορά του άλλου και επηρεάζονται από αυτά που ϐλέπουν. Ετσι η υπόθεση της ανεξαρτησίας για τις µετακινήσεις δεν ισχύει. Η κατηγορία αυτών των µοντέλων, όπου υπάρχει κάποια εξάρτηση στις µετακινήσεις, ϕαίνεται να έχει προταθεί πρώτα από τον Matas (1967). Ο Matas πρότεινε οι πιθανότητες που αντιστοιχούν σε µεταβάσεις που συµβαίνουν µεταξύ των χρονικών στιγµών t και t + 1 να εξαρτώνται από τα µεγέθη (πλήθος ατόµων) που έχουν οι καταστάσεις σε χρόνο t. Ο όρος µοντέλα αλληλεπίδρασης (inteactive models) οφείλεται στον Conlisk (1976 και 1978) ο οποίος ανέπτυξε µεγάλο µέρος της υπάρχουσας ϐασικής ϑεωρίας. Στα µοντέλα µε αλληλεπίδραση που ϑα εξετάσουµε υποθέτουµε ότι αν n(t) είναι το διάνυσµα κατάστασης του συστήµατος για τη χρονική στιγµή t, τότε τα στοιχεία του πίνακα µετάβασης για το χρονικό διάστηµα [t, t + 1) εξαρτώνται από τις παρατηρούµενες τιµές του n(t). Ετσι ο πίνακας µετάβασης για το χρονικό διάστηµα [t, t + 1) συµβολίζεται µε P(n(t)). Εποµένως το αναµενόµενο µέγεθος των καταστάσεων του συστήµατος για τη χρονική στιγµή t + 1 δοθέντος του n(t), δίνεται από τη σχέση E[n T (t + 1)/n T (t)] = n T (t)p(n(t)), οπότε E[n T (t + 1)] = E[n T (t)p(n(t))]. (1.19) 14

Προφανώς ο υπολογισµός του E[n T (t + 1)] δεν µπορεί να προκύψει ως συνάρτηση της αρχικής δοµής n(0) µε επαναληπτική εφαρµογή της (1.19) όπως µε τα ΟΜΣ σε διακριτό χρόνο χωρίς αλληλεπίδραση ( ϐλ. (1.6) ). Για την αντιµετώπιση του προβλήµατος ο Conlisk (1976) πρότεινε µια ντετερµινιστική προσέγγιση στο µοντέλο, που προκύπτει µε αντικατάσταση του n(t) στον P(n(t)) µε E[n T (t)]. Τότε E[n T (t + 1)] E[n T (t)]p(e[n T (t)]). Το Ϲήτηµα της συµπεριφοράς και σύγκλισης τέτοιων µοντέλων έχει διερευνη- ϑεί από τους Bumelle και Gechak (1980), Lehoczky (1980), Batholomew (1984), Stadje (1997, 2000) και Hsieh (1997). 1.6 Χρήσιµοι ορισµοί και Θεωρήµατα Στην παράγραφο αυτή παρουσιάζουµε ορισµούς και γνωστά από την ϐι- ϐλιογραφία ϑεωρήµατα, τα οποία είναι απαραίτητα για την κατανόηση των επόµενων κεφαλαίων. Ορισµός 1.6.1. Ονοµάζουµε ϕάσµα ενός τετραγωνικού πίνακα A και συµβολίζουµε µε σ(a) το σύνολο των διακριτών ιδιοτιµών του A. Ορισµός 1.6.2. Κάθε πραγµατικός τετραγωνικός πίνακας µε µη αρνητικά στοιχεία και άθροισµα στοιχείων κάθε γραµµής ίσο µε τη µονάδα καλείται στοχαστικός. Ορισµός 1.6.3. Ονοµάζουµε ένα στοχαστικό πίνακα ευσταθή (stable) αν έχει όλες τις γραµµές του ίσες. Ορισµός 1.6.4. Ονοµάζουµε ένα στοχαστικό πίνακα κανονικό (pope) αν δεν έχει ιδιοτιµές µέτρου 1 διάφορες της µονάδας και πλήρως κανονικό (egula) αν είναι κανονικός και η µονάδα είναι απλή ϱίζα του χαρακτηριστικού του πολυωνύµου. Ακολουθούν δύο ορισµοί που χρειάζονται για την ανάλυση ενός πίνακα µε τη ϐοήθεια της Jodan κανονικής µορφής (Θεώρηµα 1.6.9). 15

Ορισµός 1.6.5. Ονοµάζουµε Jodan µπλοκ J k (λ), έναν k k άνω τριγωνικό πίνακα της µορφής λ 1 0... 0 0 0 λ 1... 0 0 J k (λ) =.................. 0 0 0... λ 1, 0 0 0... 0 λ δηλαδή έναν πίνακα µε k σε πλήθος στοιχεία λ στην κύρια διαγώνιο, (k 1) µονάδες στην υπερδιαγώνιο και µηδενικά σε όλες τις άλλες ϑέσεις. Ορισµός 1.6.6. Ονοµάζουµε Jodan πίνακα, έναν τετραγωνικό n n µπλοκ (σύνθετο) πίνακα J ο οποίος κατασκευάζεται από Jodan µπλοκς και έχει τη µορφή J = J n1 (λ 1 ) 0... 0 0 J n2 (λ 2 )... 0............ 0 0... J ns (λ s ), n 1 + n 2 +... + n s = n, όπου η σειρά τοποθέτησης των Jodan µπλοκς δεν έχει σηµασία και οι τιµές λ i δεν είναι απαραίτητα διακεκριµένες. Στη συνέχεια δίνουµε τον ορισµό µιας ιδιαίτερης κατηγορίας πινάκων, των περιοδικών πινάκων. Οι περιοδικοί πίνακες αποτελούν µία κατηγορία των αδιαχώριστων πινάκων. Ορισµός 1.6.7. Ενας τετραγωνικός πίνακας A µε µη αρνητικά στοιχεία ονοµάζεται διαχωρίσιµος (educible) εάν µε κατάλληλες µεταθέσεις των γραµ- µών και των αντίστοιχων στηλών του είναι δυνατό να γραφεί στη µορφή ( ) A11 0, A 21 A 22 όπου A 11, A 22 µη αρνητικοί τετραγωνικοί πίνακες. Στην αντίθετη περίπτωση ο A λέγεται αδιαχώριστος (ieducible). 16

Ορισµός 1.6.8. Ενας αδιαχώριστος στοχαστικός πίνακας A καλείται περιοδικός µε περίοδο d εάν µε κατάλληλες µεταθέσεις των γραµµών και των αντίστοιχων στηλών του είναι δυνατό να γραφεί στη µορφή C 0 C 1 C 2... C d 1 C 0 0 A 0 0... 0 C 1 0 0 A 1... 0. C d 2 0 0 0... A, d 2 C d 1 A d 1 0 0... 0 όπου A 0, A 1,..., A d 1 όχι κατ ανάγκη τετραγωνικοί πίνακες. Τα σύνολα C 0, C 1,..., C d 1 αποτελούν µία διαµέριση του συνόλου των καταστάσεων S = {1, 2,..., n} και καλούνται κυκλικά κινούµενες υποκλάσεις του S. Αν d = 1 τότε ο πίνακας Α καλείται απεριοδικός. Ακολουθούν κάποια γνωστά ϑεωρήµατα από τη ϑεωρία πινάκων τα οποία ϑα χρειαστούµε στα επόµενα κεφάλαια. Θεώρηµα 1.6.1. Κάθε στοχαστικός πίνακας P έχει ιδιοτιµή την µονάδα. Για οποιαδήποτε ιδιοτιµή λ του P ισχύει λ 1. Θεώρηµα 1.6.2. Εστω ένας πλήρως κανονικός (egula) στοχαστικός πίνακας P. Τότε : i) υπάρχει αριστερό ιδιοδιάνυσµα του πίνακα P για την ιδιοτιµή 1 µε µη αρνητικές συνιστώσες. Στην περίπτωση που το ιδιοδιάνυσµα αυτό το επιλέξουµε στοχαστικό, το συµβολίζουµε µε π και έχουµε ii) lim t P t = P, όπου P = 1π T, δηλαδή ο P είναι ένας ευσταθής στοχαστικός πίνακας του οποίου όλες οι γραµµές ταυτίζονται µε το διάνυσµα π. Θεώρηµα 1.6.3. Εστω A M m,n, B M,s, C M n,k και D M s,v. Τότε, (A B)(C D) = AC BD. Θεώρηµα 1.6.4. Εστω A M n και B M m. Αν λ σ(a) και x είναι ιδιοδιάνυσµα του A που αντιστοιχεί στην ιδιοτιµή λ, και αν µ σ(b) και y είναι ιδιοδιάνυσµα του B που αντιστοιχεί στην ιδιοτιµή µ, τότε λ + µ είναι ιδιοτιµή του πίνακα (I m A) + (B I n ) µε αντίστοιχο ιδιοδιάνυσµα y x. Αν σ(a) = {λ 1,..., λ n } και σ(b) = {µ 1,..., µ m }, τότε σ((i m A) + (B I n )) = {λ i + µ j, i = 1,..., n, j = 1,..., m}. 17

Θεώρηµα 1.6.5. (Schu) Κάθε πίνακας A M n είναι ορθοµοναδιαία ισοδύναµος µε έναν τριγωνικό πίνακα του οποίου οι ιδιοτιµές εµφανίζονται στην κύρια διαγώνιο (µε προκαθορισµένη σειρά). Θεώρηµα 1.6.6. Εστω A M n και σ(a) = {λ 1, λ 2,..., λ k }. Το ελάχιστο πολυώνυµο του A M n είναι το y(λ) = (λ λ i ) m i, όπου m i η διάσταση του µεγαλύτερου Jodan µπλοκ που αντιστοιχεί στην ιδιοτιµή λ i, i = 1, 2,..., k. Στη συνέχεια δίνονται δύο προτάσεις αναφορικά µε τις συναρτήσεις πινάκων. Θεώρηµα 1.6.7. Αν A M n µε ελάχιστο πολυώνυµο ψ(λ) = (λ λ 1 ) m 1 (λ λ 2 ) m 2... (λ λ k ) m k και f συνάρτηση που ορίζεται στο σ(a), τότε f(a) = k m i 1 j=0 f (j) i Z ij, όπου Z ij, i = 1, 2,..., k, j = 0, 1,..., m i 1, οι πίνακες συνιστώσες του A και f (j) i η j-τάξης παράγωγος της f στο λ i. Οι πίνακες Z ij δεν εξαρτώνται από την f και είναι γραµµικά ανεξάρτητοι. Θεώρηµα 1.6.8. Εστω A M n και B M n. αντιµετατίθενται, τότε e (A+B) = e A e B. Αν οι πίνακες A και B Τέλος, διατυπώνουµε τη ϐασική πρόταση για την Jodan κανονική µορφή ενός πίνακα. Θεώρηµα 1.6.9. (Jodan κανονική µορφή) Εστω A ένας n n πίνακας και λ i, i = 1, 2,..., s, οι s σε πλήθος διακεκριµένες ιδιοτιµές του µε αντίστοιχες πολλαπλότητες στο χαρακτηριστικό πολυώνυµο n i (οπότε n 1 + n 2 +... + n s = 18

n). Υπάρχουν, ένας οµαλός n n πίνακας U και ένας n n Jodan πίνακας J τέτοιοι ώστε ο A να µπορεί να γραφεί στη µορφή J n1 (λ 1 ) 0... 0 A = U 0 J n2 (λ 2 )... 0............ U 1 = UJU 1. 0 0... J ns (λ s ) 19

20

Κεφάλαιο 2 Περίληψη πρωτότυπου µέρους Στο κεφάλαιο 3 µελετάµε ένα κλειστό οµογενές µαρκοβιανό σύστηµα (ΟΜΣ) διακριτού χρόνου. Βασικός στόχος είναι η εύρεση µιας επαναληπτικής σχέσης (µε παράµετρο το χρόνο t) για τις ϱοπές των µεγεθών των καταστάσεων του συστήµατος. Η σχέση αυτή αποτελεί επέκταση της γνωστής σχέσης που ισχύει για τις µέσες τιµές (ϱοπές 1ης τάξης) των µεγεθών των καταστάσεων, δηλαδή E[n T (t)] = E[n T (t 1)]P. Στην παράγραφο 3.2 δίνουµε µία επαναληπτική σχέση για την -τάξης παραγοντική ϱοπή της τ.µ. n i (t), i = 1, 2,..., k (Πρόταση 3.2.1) και µία επαναληπτική σχέση για την µικτή παραγοντική ϱοπή των τ.µ. n i (t) (Πρόταση 3.2.2). Για την απόδειξη αυτών των προτάσεων χρησιµοποιούµε το Λήµ- µα 3.2.1 όπου αποδεικνύεται µία σχέση για την πιθανογεννήτρια µιας τ.µ. X που προκύπτει ως άθροισµα k ανεξάρτητων τ.µ. που ακολουθούν τη διωνυ- µική κατανοµή. Στη συνέχεια, µε τη ϐοήθεια ενός νέου γινοµένου διανυσ- µάτων που ορίζουµε, δίνουµε στο Θεώρηµα 3.2.1 µία επαναληπτική σχέση για τις παραγοντικές και τις µικτές παραγοντικές ϱοπές των µεγεθών των καταστάσεων. Από τη σχέση αυτή προκύπτουν άµεσα, συναρτήσει του αρχικού διανύσµατος κατάστασης n(0) και του πίνακα µετάβασης P (ϐλ. σχέση 3.8), οι παραγοντικές και µικτές παραγοντικές ϱοπές των µεγεθών των καταστάσεων του συστήµατος για οποιαδήποτε χρονική στιγµή t. Στη συνέχεια εξετάζουµε την ασυµπτωτική συµπεριφορά αυτών των ϱοπών. Χρησιµοποιώντας ένα ϐοηθητικό λήµµα (Λήµµα 3.2.2) καταλήγουµε στο Πόρισµα 3.2.1, µε τη ϐοήθεια του οποίου µπορούµε να υπολογίσουµε τις ασυµπτωτικές παραγοντικές ϱοπές των µεγεθών των καταστάσεων ενός συστήµατος του οποίου ο πίνακας µετάβασης είναι πλήρως κανονικός. 21

Στην παράγραφο 3.3 εξετάζουµε την περίπτωση ενός κλειστού ΟΜΣ διακριτού χρόνου του οποίου ο πίνακας µετάβασης είναι περιοδικός µε περίοδο d. Στην Πρόταση 3.3.1 δίνουµε µία επαναληπτική σχέση για τις -τάξης παραγοντικές ϱοπές αυτού του συστήµατος χρησιµοποιώντας τις κυκλικές υποκλάσεις C i, i = 0, 1,..., d 1. Συγκρίνοντας τις δύο περιπτώσεις (του περιοδικού και µη περιοδικού πίνακα µετάβασης) συµπεραίνουµε ότι στην περίπτωση που ο πίνακας µετάβασης είναι περιοδικός, ο αλγόριθµος υπολογισµού των παραγοντικών ϱοπών παρουσιάζει µικρότερη πολυπλοκότητα χρόνου (Παρατήρηση 3.3.1). Στην παράγραφο 3.4, χρησιµοποιώντας την επαναληπτική σχέση της Πρότασης 3.2.1 και τους αριθµούς Stiling δεύτερου είδους, ϐρίσκουµε µία επαναληπτική σχέση για τις ϱοπές των µεγεθών των καταστάσεων µε κέντρο το µηδέν. Με τη ϐοήθεια των παραγοντικών ϱοπών και των ϱοπών µε κέντρο το µηδέν, µπορούµε να υπολογίσουµε τόσο το συντελεστή λοξότητας όσο και το συντελεστή κύρτωσης της κατανοµής της τ.µ. n j (t), j = 1, 2,..., k, για οποιαδήποτε χρονική στιγµή t (παράγραφος 3.5). Αντικείµενο της παραγράφου 3.6 είναι ο προσδιορισµός της κατανοµής των µεγεθών των καταστάσεων και της κοινής κατανοµής του διανύσµατος κατάστασης n(t) ενός κλειστού ΟΜΣ διακριτού χρόνου. Χρησιµοποιώντας τις παραγοντικές ϱοπές των µεγεθών των καταστάσεων του συστήµατος προκύπτουν άµεσα και οι κατανοµές αυτών των τ.µ. για κάθε χρονική στιγµή t, t = 1, 2,... (Πόρισµα 3.6.1). Η κοινή κατανοµή του διανύσµατος κατάστασης n(t) δίνεται στο Πόρισµα 3.6.2 µε τη ϐοήθεια της Πρότασης 5.2.2, όπου διατυπώνουµε και αποδεικνύουµε µία σχέση για την κοινή κατανοµή µιας διακριτής τ.µ. X = (X 1, X 2,..., X k ) T. Στη συνέχεια εξετάζουµε την ασυµπτωτική κατανοµή των µεγεθών των καταστάσεων ενός συστήµατος µε πλήρως κανονικό πίνακα µετάβασης P. Χρησιµοποιώντας τις ασυµπτωτικές παραγοντικές ϱοπές αποδεικνύουµε ότι η ασυµπτωτική κατανοµή των τ.µ. n i (t), είναι διωνυµική µε παραµέτρους N και π i, i = 1, 2,..., k (Πόρισµα 3.6.3), και η ασυµπτωτική κοινή κατανοµή του n(t) είναι πολυωνυµική µε παραµέτρους N και π 1, π 2,..., π k (Πόρισµα 3.6.4), όπου N το µέγεθος του συστήµατος και π i τα στοιχεία του στοχαστικού διανύσµατος π για το οποίο ισχύει π T P = π T. Στην παράγραφο 3.7 παραθέτουµε ένα αριθµητικό παράδειγµα ενός κλειστού ΟΜΣ διακριτού χρόνου για το οποίο υπολογίζουµε, µε τη ϐοήθεια της επαναληπτικής σχέσης για τις παραγοντικές ϱοπές και ενός κώδικα που κατασκευάσαµε στο Matlab (Παράρτηµα Α), τις µέσες τιµές, διακυµάνσεις και συνδιακυµάνσεις των τ.µ. n i (t), καθώς επίσης και τους συντελεστές λοξότητας και κύρτωσης των κατανοµών αυτών, για τις χρονικές 22

στιγµές t = 1, 2, 3 και για t. Στο κεφάλαιο 4 µελετάµε ένα κλειστό οµογενές µαρκοβιανό σύστηµα (ΟΜΣ) συνεχούς χρόνου. Συγκεκριµένα, στην παράγραφο 4.2, επεκτείνουµε για το συνεχή χρόνο τα συµπεράσµατα που αντλήσαµε µελετώντας το ΟΜΣ σε διακριτό χρόνο. Για να καταλήξουµε στο ϐασικό συµπέρασµα του Πορίσµατος 4.2.1 (το αντίστοιχο του Θεωρήµατος 3.2.1 για το συνεχή χρόνο), στο οποίο δίνουµε µία σχέση για των υπολογισµό των παραγοντικών ϱοπών των µεγε- ϑών των καταστάσεων συναρτήσει του διανύσµατος κατάστασης n(0) και του πίνακα τάσεων Q, αποδεικνύουµε τις Προτάσεις 4.2.1, 4.2.2 και το Θεώρηµα 4.2.1. Στις προτάσεις αυτές δίνεται µε τη ϐοήθεια δύο διαφορικών εξισώσεων ο ϱυθµός µεταβολής των παραγοντικών και των µικτών παραγοντικών ϱοπών των µεγεθών των καταστάσεων του συστήµατος. Χρησιµοποιώντας το γινόµενο διανυσµάτων που ορίσαµε στο κεφάλαιο 3 παρουσιάζουµε τα αποτελέσµατα των προηγούµενων προτάσεων µε τη ϐοήθεια µιας διαφορικής εξίσωσης (Θεώ- ϱηµα 4.2.1). Λύνοντας αυτή τη διαφορική εξίσωση και αποδεικνύοντας τη ϐοηθητική Πρόταση 4.2.3 καταλήγουµε στο επιθυµητό αποτέλεσµα του Πορίσµατος 4.2.1 µε τη ϐοήθεια του οποίου µπορούµε να υπολογίσουµε τόσο τις παραγοντικές όσο και τις µικτές παραγοντικές ϱοπές των µεγεθών των καταστάσεων για κάθε χρονική στιγµή t. Στη συνέχεια εξετάζουµε την α- συµπτωτική συµπεριφορά αυτών των ϱοπών και καταλήγουµε στο Πόρισµα 4.2.2 (το αντίστοιχο του Πορίσµατος 3.2.1 για το συνεχή χρόνο). Στην παράγραφο 4.2, ϑεωρώντας τον πίνακα S = I I... Q + I I... Q I +... + Q I... I, }{{}}{{}}{{} όπου I ο µοναδιαίος n n πίνακας και Q M n, ο οποίος εµφανίζεται στα προηγούµενα αποτελέσµατα, διατυπώνουµε και αποδεικνύουµε δύο προτάσεις. Στην Πρόταση 4.3.1 δίνεται το ϕάσµα του S συναρτήσει των ιδιοτιµών του πίνακα των τάσεων Q. Ακολουθεί η πρόταση 4.3.2 στην οποία παρουσιάζεται η σχέση που συνδέει τους πίνακες συνιστώσες του S µε τους πίνακες συνιστώσες του Q. Στην παράγραφο 4.3, εργαζόµενοι µε ανάλογο τρόπο όπως στην περίπτωση του διακριτού χρόνου, προσδιορίζουµε την κατανοµή των µεγεθών των καταστάσεων και την κοινή κατανοµή του διανύσµατος κατάστασης n(t). Χρησιµοποιώντας τις παραγοντικές και τις µικτές παραγοντικές ϱοπές των µεγεθών των καταστάσεων, από τις σχέσεις (4.9) και (4.10) προκύπτουν άµεσα η κατανοµή των µεγεθών των καταστάσεων και η κοινή κατανοµή του διανύσµατος κατάστασης του συστήµατος για κάθε χρονική στιγµή t. Στη συνέχεια εξετάζουµε 23

την ασυµπτωτική κατανοµή αυτών των τ.µ. και καταλήγουµε στο συµπέρασµα ότι η ασυµπτωτική συµπεριφορά του συστήµατος είναι ίδια µε αυτήν του ΟΜΣ διακριτού χρόνου (Πορίσµατα 4.4.1, 4.4.2). Στην παράγραφο 4.5 παρα- ϑέτουµε ένα αριθµητικό παράδειγµα ενός κλειστού ΟΜΣ συνεχούς χρόνου για το οποίο παρουσιάζουµε, µε τη ϐοήθεια ενός κώδικα που κατασκευάσαµε στο Matlab (Παράρτηµα Β), τη συµπεριφορά των µέσων τιµών, διακυµάνσεων και συνδιακυµάνσεων των τ.µ. n i (t), καθώς επίσης και των συντελεστών λοξότητας και κύρτωσης των κατανοµών αυτών, για το χρονικό διάστηµα [0, 2]. Για επαλήθευση των αποτελεσµάτων, στην παράγραφο 4.6 χρησιµοποιούµε το γνωστό από τη ϐιβλιογραφία τρόπο υπολογισµού των διακυµάνσεων και συνδιακυµάνσεων των µεγεθών των καταστάσεων (Batholomew (1982)). Στο κεφάλαιο 5 µελετάµε το ΟΜΣ διακριτού χρόνου το οποίο παρουσιάζει πεπερασµένη χωρητικότητα σε µία από τις καταστάσεις του. Το σύστηµα αυτό αποτελεί γενίκευση του κλασικού ΟΜΣ, στο οποίο δεν υπάρχει κανένας περιορισµός όσον αφορά τη χωρητικότητα των καταστάσεών του (ή µε άλλα λόγια, υπάρχει άπειρη χωρητικότητα σε κάθε κατάσταση). Εξετάζουµε τη συµπεριφορά ενός τέτοιου συστήµατος στην εξέλιξη του χρόνου µε τη ϐοήθεια των παραγοντικών ϱοπών των µεγεθών των καταστάσεων. Πιο συγκεκριµένα, στην παράγραφο 5.2 παρουσιάζουµε επαναληπτικές σχέσεις (µε παράµετρο το χρόνο t) για τις παραγοντικές και τις µικτές παραγοντικές ϱοπές των µεγεθών των καταστάσεων του συστήµατος (Προτάσεις 5.2.1, 5.2.2, 5.2.3, 5.2.4). Οι ϱοπές αυτές για τη χρονική στιγµή t δίνονται συναρτήσει των ϱοπών E[e ( s) (t) k i s n ( i) i (t)], i N, i = 1, 2,..., k, όπου e(t) ο αριθµός των µελών του συστήµατος που υπερχειλίζουν τη χρονική στιγµή t (µέγεθος υπερχείλισης) και s η κατάσταση που παρουσιάζει τη χωρητικότητα. Χρησιµοποιώντας τα αποτελέσµατα των παραπάνω προτάσεων καταλήγουµε στο Θεώρηµα 5.2.2 όπου δίνουµε µία επαναληπτική σχέση για τις ϱοπές των τ.µ. n i (t), i = 1, 2,..., k. Θεωρώντας στη συνέχεια την περίπτωση όπου η χωρητικότητα υπερβαίνει το συνολικό µέγεθος του συστήµατος οδηγούµαστε στις ίδιες επαναληπτικές σχέσεις που ισχύουν για τις παραγοντικές ϱοπές των µεγεθών των καταστάσεων του κλασικού ΟΜΣ διακριτού χρόνου (Πόρισµα 5.2.1). Το αποτέλεσµα αυτό είναι αναµενόµενο, αφού στην περίπτωση αυτήν το σύστηµα δεν παρουσιάζει υπερχείλιση και συµπεριφέρεται όπως το κλασικό ΟΜΣ. Στην παράγραφο 5.3, λαµβάνοντας υπόψη τα αποτελέσµατα της παραγράφου 3.6 για τις κατανοµές των µεγεθών των καταστάσεων ενός κλασικού ΟΜΣ διακριτού χρόνου, δίνουµε (Πρόταση 5.3.1) την κατανοµή των µεγε- 24

ϑών των καταστάσεων του συστήµατος µε πεπερασµένη χωρητικότητα σε µία κατάσταση. Η κατανοµή αυτή, για οποιαδήποτε χρονική στιγµή t, δίνεται συναρτήσει των παραγοντικών ϱοπών των µεγεθών των καταστάσεων τη χρονική στιγµή t και της κατανοµής της τ.µ. e t 1, όπου e t οι συνολικές απώλειες του συστήµατος µέχρι τη χρονική στιγµή t. Για τον υπολογισµό της κατανοµής της τ.µ. e t µπορούµε να χρησιµοποιήσουµε την επαναληπτική σχέση της Πρότασης 5.3.2. Στην παράγραφο 5.4 παραθέτουµε δύο προτάσεις για τις παραγοντικές ϱοπές του µεγέθους υπερχείλισης. Στην Πρόταση 5.4.1 δίνεται µία σχέση για τον υπολογισµό της -τάξης παραγοντικής ϱοπής E[e () (t)] της τ.µ. e(t), ενώ στην Πρόταση 5.4.2 µία σχέση για τον υπολογισµό της µικτής παραγοντικής ϱοπής E[e ( s) (t) k i s n ( i) i (t)], i N, i = 1, 2,..., k. Οι προτάσεις αυτές είναι απαραίτητες για τον υπολογισµό των παραγοντικών ϱοπών των µεγεθών των καταστάσεων του συστήµατος µε τη ϐοήθεια της επαναληπτικής σχέσης του Θεωρήµατος 5.2.2. Στην παράγραφο 5.5 παρουσιάζουµε ένα αριθµητικό παράδειγµα ενός ΟΜΣ διακριτού χρόνου µε χωρητικότητα σε µία από τις τρεις καταστάσεις του. Με τη ϐοήθεια ενός κώδικα που κατασκευάσαµε στο Mathematica (Παράρτηµα Γ), υπολογίζουµε τις µέσες τιµές, διακυµάνσεις και συνδιακυµάνσεις των τ.µ. n i (t), i = 1, 2, 3, για τη χρονική στιγµή t = 1. Στο κεφάλαιο 6 µελετάµε το ΟΜΣ διακριτού χρόνου το οποίο σε κάθε κατάσταση i του χώρου καταστάσεων S = {1, 2,..., k} παρουσιάζει πεπερασµένη χωρητικότητα c i N, i = 1, 2,..., k (συµβολίζουµε το σύστηµα αυτό µε ΟΜΣ/c). Για λόγους ευκολίας, ϑεωρούµε ότι τα µέλη του συστήµατος που υπερχειλίζουν, λόγω του περιορισµού της χωρητικότητας, από οποιαδήποτε κατάσταση σε κάθε χρονική στιγµή, εισέρχονται σε µία νέα εικονική κατάσταση την οποία συµβολίζουµε µε k + 1. Ετσι, µε τη ϑεώρηση αυτή παίρνουµε ένα νέο σύστηµα µε χώρο καταστάσεων S = {1, 2,..., k + 1} και διάνυσµα κατάστασης ñ(t) = (n 1 (t), n 2 (t),..., n k (t), n k+1 (t)) T. Η πιθανότητα ένα µέλος του συστήµατος να µετακινηθεί από την κατάσταση i στην j κατά το χρονικό διάστηµα [t, t + 1), εξαρτάται τόσο από τη χωρητικότητα c j όσο και από το συνολικό αριθµό µελών του συστήµατος που µετακινήθηκαν από όλες τις καταστάσεις του συστήµατος προς την j στο χρονικό διάστηµα [t, t + 1). Ετσι, οι πιθανότητες µετάβασης για το χρονικό διάστηµα [t, t + 1) στο ΟΜΣ/c είναι εξαρτηµένες από το χρόνο t και το διάνυσµα κατάστασης ñ(t). Εποµένως, µε την παραπάνω ϑεώρηση καταργείται η ανεξαρτησία στις µετακινήσεις των µελών του συστήµατος, που είναι ϐασική προϋπόθεση στο κλασικό ΟΜΣ διακριτού χρόνου, και µελετάµε πλέον ένα σύστηµα µε αλληλεπίδραση στις 25

µετακινήσεις των µελών του. Στην παράγραφο 6.2 προσδιορίζουµε αρχικά τις πιθανότητες µετάβασης για το ΟΜΣ/c. Για το σκοπό αυτό ϑεωρούµε ότι σε κάθε κατάσταση του συστήµατος υπάρχει ένας αποθηκευτικός χώρος (buffe) στον οποίο µετακινούνται αρχικά τα µέλη του συστήµατος. Στη συνέχεια, αν ο αριθµός των µελών που έχουν µετακινηθεί στον αποθηκευτικό χώρο µιας κατάστασης j δεν υπερβαίνει τη χωρητικότητά της, τότε όλα τα µέλη εισέρχονται σ αυτήν ενώ σε αντίθετη περίπτωση εισέρχονται c j από αυτά µε τυχαία επιλογή και τα υπόλοιπα µετακινούνται στην κατάσταση k + 1. Με τη ϑεώρηση αυτή και µε τη ϐοήθεια των αποτελεσµάτων του τρίτου κεφαλαίου υπολογίζουµε τις πιθανότητες µετάβασης για το χρονικό διάστηµα [t, t + 1), τις οποίες συµβολίζουµε µε p ij (ñ(t)), i, j = 1, 2,..., k, k + 1. Στην επόµενη παράγραφο δίνουµε µία σχέση για τον υπολογισµό των µέσων τιµών των µεγεθών των καταστάσεων του ΟΜΣ/c (Θεώρηµα 6.3.1). Για τον υπολογισµό αυτών των µέσων τιµών για µία χρονική στιγµή t χρειαζόµαστε την κατανοµή του διανύσµατος κατάστασης ñ(t 1). Η κατανοµή αυτή µπορεί να προσδιοριστεί µε τη ϐοή- ϑεια των παραγοντικών και των µικτών παραγοντικών ϱοπών των µεγεθών των καταστάσεων του συστήµατος τη χρονική στιγµή t 1. Στην παράγραφο 6.4 και στα Θεωρήµατα 6.4.1 και 6.4.2 δίνουµε σχέσεις που ικανοποιούν αυτές οι ϱοπές. Στις σχέσεις αυτές παρουσιάζονται κάποιες πιθανότητες, ο υπολογισµός των οποίων παρατίθεται στις παραγράφους 6.4.1, 6.4.2 και 6.4.3. Στη συνέχεια, ορίζοντας ένα νέο γινόµενο πινάκων δίνουµε (Θεώρηµα 6.4.4) µία σχέση για τις παραγοντικές και τις µικτές παραγοντικές ϱοπές των µεγε- ϑών των καταστάσεων του ΟΜΣ/c. Με τη ϐοήθεια των ϱοπών, όπως και στην περίπτωση του κλασικού ΟΜΣ διακριτού χρόνου, προσδιορίζουµε εύκολα τις κατανοµές των µεγεθών των καταστάσεων του ΟΜΣ/c (Πορίσµατα 6.4.2 και 6.4.3). Χρησιµοποιώντας επαναληπτικά το Θεώρηµα 6.4.4 και το Πόρισµα 6.4.3 µπορούµε να υπολογίσουµε τόσο τις παραγοντικές ϱοπές των τ.µ. n i (t), i = 1, 2,..., k + 1, όσο και την κοινή κατανοµή του διανύσµατος ñ(t) για οποιαδήποτε χρονική στιγµή t. Στην παράγραφο 6.5 προσπαθούµε να ϐρούµε µία επαναληπτική σχέση για τις παραγοντικές ϱοπές των µεγεθών των καταστάσεων του ΟΜΣ/c. Για το σκοπό αυτό ϑεωρούµε ένα νέο πίνακα µετάβασης για το χρονικό διάστη- µα [t, t + 1), ο οποίος είναι συνάρτηση µόνο του χρόνου t και όχι του διανύσµατος κατάστασης ñ(t). Ο πίνακας αυτός αποτελεί µία προσέγγιση του πίνακα µετάβασης P(ñ(t)) = ( p ij (ñ(t))). Με τη ϐοήθεια αυτού του νέου πίνακα µετάβασης δίνουµε, στο Θεώρηµα 6.5.1, µία επαναληπτική σχέση 26