ΜΕΛΕΤΩΝΤΑΣ ΜΟΝΤΕΛΑ ΒΕΛΤΙΣΤΟΥ ΕΛΕΓΧΟΥ ΕΠΙΔΗΜΙΚΩΝ ΔΙΑΔΙΚΑΣΙΩΝ

Transcript

1 ΜΕΛΕΤΩΝΤΑΣ ΜΟΝΤΕΛΑ ΒΕΛΤΙΣΤΟΥ ΕΛΕΓΧΟΥ ΕΠΙΔΗΜΙΚΩΝ ΔΙΑΔΙΚΑΣΙΩΝ Μεταπτυχιακή Διατριβή της Τσάγκα Ερασμίας Επιβλέπων Καθηγητής: Δημητράκος Θεοδόσης ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥΔΩΝ ΣΠΟΥΔΕΣ ΣΤΑ ΜΑΘΗΜΑΤΙΚΑ Κατεύθυνση Εφαρμοσμένων Μαθηματικών Σάμος 2017

2 Αφιερώσεις Στην οικογένεια μου καθώς και στα αγαπημένα μου πρόσωπα που έφυγαν νωρίς από την ζωή. 1

3 Ευχαριστίες Ευχαριστώ τον επιβλέποντα Καθηγητή κ. Θεοδόση Δημητράκο για την πολύτιμη βοήθεια και τα χρήσιμα σχόλια του κατά την συγγραφή και την ολοκλήρωση του παρόντος πονήματος. Τέλος, ευχαριστώ την οικογένεια μου και τους φίλους μου, οι οποίοι μου άνοιξαν νέους ορίζοντες στην σκέψη και την αντιμετώπιση των πραγμάτων και ήταν δίπλα μου σε όλο αυτό το ταξίδι. 2

4 Πίνακας Περιεχομένων Λίστα Σχημάτων... 5 Περίληψη... 6 Κεφάλαιο1: Βασική θεωρία Επιδημιολογίας Εισαγωγή Ιστορική αναδρομή Βασικές Έννοιες Μοντελοποίηση ασθενειών Κεφάλαιο 2: Είδη Επιδημιών Γενικά στοιχεία Απλές Επιδημίες Ντετερμινιστική περίπτωση Στοχαστική περίπτωση Γενικές Επιδημίες Ντετερμινιστική περίπτωση Στοχαστική περίπτωση Επαναλαμβανόμενες Επιδημίες Ντετερμινιστική περίπτωση Στοχαστική περίπτωση Κεφάλαιο 3: Βασικά Επιδημιολογικά Μοντέλα Εισαγωγή Μοντέλο SI Μοντέλο SIR Μοντέλα SIS Μοντέλα SEIS, SEIR Κεφάλαιο 4: Μοντελοποίηση μολυσματικών ασθενειών με τη χρήση Μαρκοβιαννών μοντέλων Εισαγωγή Βασικά στοιχεία της μεθοδολογίας του μοντέλου ΜΔΑ Μαρκοβιαννά Μοντέλα διακριτού χρόνου Πεπερασμένου χρονικού ορίζοντα ΜΔΑ Άπειρου χρονικού ορίζοντα ΜΔΑ Ημιμαρκοβιαννές (Semi-Markov) διαδικασίες λήψης αποφάσεων (SMDPs) Γενικά θέματα μοντελοποίησης

5 4.3.1 Πλεονεκτήματα των μοντέλων ΜΔΑ σε σχέση με παραδοσιακά μοντέλα αποφάσεων στην υγειονομική περίθαλψη Καταλληλόλητα των ΜΔΑ Εφαρμογές των ΜΔΑ για αποφάσεις στην ιατρική θεραπεία Επιδημικός έλεγχος Έγχυση φαρμάκων Θεραπεία σφαιροκυττάρων Έλεγχος και θεραπεία του καρκίνου του μαστού Μεταμόσχευση ήπατος Συμπεράσματα Προτάσεις Κεφάλαιο 5: Βέλτιστη παρέμβαση για μοντέλα Επιδημίας υπό την αβεβαιότητα των παραμέτρων Εισαγωγή Ανάλυση του μοντέλου και πιθανές παρεμβάσεις Αναπαράσταση της αβεβαιότητας των παραμέτρων Βέλτιστη παρέμβαση υπό την αβεβαιότητα των παραμέτρων Εναλλακτικές παραμετροποιήσεις μοντέλου Επίδραση διαφορετικών παραμέτρων εκτίμησης στη βέλτιστη πολιτική Συμπεράσματα Βιβλιογραφία

6 Λίστα Σχημάτων Σχήμα 1: Άξονας εξέλιξης Σχήμα 2: Άξονας μετάδοσης Σχήμα 3: Περιγραφή των χρονικών περιόδων μιας μόλυνσης Σχήμα 4: Περιγραφή του κλασσικού επιδημικού μοντέλου SI Σχήμα 5: Ένα μοντέλο ευπαθή-μολυσμένο-ανακτημένο σε τρία κράτη-διαμερίσματα Σχήμα 6: Εξάπλωση της επιδημίας Σχήμα 7: Εξάπλωση γενικής επιδημίας - περίπτωση Σχήμα 8: Εξάπλωση γενικής επιδημίας περίπτωση Σχήμα 9: ένα άτομο που ανήκει στην μολυσματική κατάσταση Ι μεταφέρεται στην ευπαθή κατάσταση S και το αντίστροφο Σχήμα 10: Διάγραμμα καταστάσεων για το μοντέλο SEIS Σχήμα 11: Διάγραμμα καταστάσεων για το μοντέλο SEIR Σχήμα 12: Συμβολική αναπαράσταση προβλήματος διαδοχικών αποφάσεων Σχήμα 13: Μολυσματική ασθένεια με αριθμό σειριακών τάξεων Μ Σχήμα 14: Βέλτιστες περιοχές απομόνωσης, που απεικονίζουν την επίδραση της αντικατάστασης της άγνωστης παραμέτρου ρ από την εκτίμηση σημείων ρ Σχήμα 15: Βέλτιστες περιοχές απομόνωσης, που απεικονίζουν την επίδραση της αντικατάστασης της άγνωστης παραμέτρου ρ από κάθε μία από τις εκτιμήσεις σημείων ρ, ρ q, ή ρ R Σχήμα 16: Βέλτιστες πολιτικές απομόνωσης ή ολικής ανοσοποίησης, που απεικονίζουν το αποτέλεσμα της αντικατάστασης της άγνωστης παραμέτρου ρ από κάθε μία από τις εκτιμήσεις σημείων ρ, ρ q, ή ρ R

7 Περίληψη Γενικά, η επιδημιολογία σαν κλάδος των Μαθηματικών αναπτύχθηκε τον εικοστό αιώνα με την παράλληλη ανάπτυξη της τεχνολογίας και των Μαθηματικών εννοιών. Η αφαιρετική προσέγγιση και μοντελοποίηση σε ένα αυστηρό μαθηματικό πλαίσιο οδήγησε τον τομέα της επιδημιολογίας σε πολλά και σημαντικά αποτελέσματα. Η συνεχής μελέτη των δυνατών μοντέλων επίθεσης ενός ιού (ή και περισσότερων) σε ένα πληθυσμό με διαφορετικές ιδιότητες οδήγησε στην εμπεριστατωμένη μελέτη των επιδημιών. Αντικείμενο της παρούσας μεταπτυχιακής διατριβής είναι η μελέτη των μοντέλων για βέλτιστο έλεγχο επιδημικών διαδικασιών. Για την επίτευξη αυτού του στόχου μελετώνται οι βασικές έννοιες της Επιδημιολογίας, τα μοντέλα που χρησιμοποιούνται και τα βασικά μαθηματικά εργαλεία που είναι απαραίτητα για να μοντελοποιηθούν οι βασικές σχέσεις. Έτσι, αρχικά γίνεται μια σύντομη παρουσίαση της βασικής θεωρίας της επιδημιολογίας και των επιδημιολογικών μοντέλων, αναλύοντας την ντετερμινιστική και την στοχαστική περίπτωση σε κάθε είδος των επιδημιών αντίστοιχα. Στην συνέχεια, παρατίθενται οι βασικές μαθηματικές έννοιες και τα εργαλεία που χρησιμοποιούνται για την μοντελοποίηση του προβλήματος, όπως οι μολυσματικές ασθένειες που εξετάζονται και μπορούν να περιγραφούν με κατάλληλα Μαρκοβιαννά ή ημι-μαρκοβιαννά μοντέλα αποφάσεων. Επιπλέον, παρουσιάζονται τα βασικά στοιχεία μεθοδολογίας των μοντέλων με Μαρκοβιαννές διαδικασίες αποφάσεων (ΜΔΑ), τα πλεονεκτήματα τους σε σχέση με παραδοσιακά μοντέλα αποφάσεων καθώς επίσης και πολλές σημαντικές εφαρμογές που αφορούν την ιατρική θεραπεία. Τέλος, γίνεται λεπτομερής αναφορά στην βέλτιστη παρέμβαση για ένα συγκεκριμένο στοχαστικό μοντέλο επιδημίας όταν αντιμετωπίσαμε αβεβαιότητα παραμέτρων. Στην συνέχεια πραγματοποιούνται πιθανές παρεμβάσεις στο μοντέλο και εναλλακτικές παραμετροποιήσεις σχετικά με τις παραμέτρους εκτίμησης. Επιπλέον, παρουσιάζεται η βέλτιστη πολιτική όταν λαμβάνεται ρητά υπόψη η αβεβαιότητα των παραμέτρων και η επιλογή της εκτίμησης των παραμέτρων που μπορεί να έχουν ουσιαστική επίδραση 6

8 στην υπολογισμένη πολιτική παρέμβασης. Ο κύριος στόχος είναι η εύρεση της πολιτικής η οποία, για κάθε αρχική κατάσταση της διαδικασίας, ελαχιστοποιεί τη μέση τιμή μιας προκαθορισμένης συνάρτησης του μελλοντικού κόστους. Εκτελούνται διάφορα σενάρια σχετικά με την επιλογή της εκτίμησης των παραμέτρων και οδηγούμαστε στο συμπέρασμα ποια εκτίμηση οδηγεί σε μια καλή προσέγγιση στην πραγματική βέλτιστη πολιτική σε κάθε περίπτωση. 7

9 Κεφάλαιο1: Βασική θεωρία Επιδημιολογίας 1.1 Εισαγωγή Αρχικά, σε ένα σημαντικό κομμάτι της Βιολογίας, έχουν εξελιχθεί μαθηματικά μοντέλα που αποτελούν εργαλεία που εφαρμόζεται σε πολλά επιστημονικά πεδία για τον υπολογισμό διάφορων περιπτώσεων. Έχουν γίνει παρουσιάσεις και αναθεωρήσεις διάφορων λύσεων και ανοικτών προβλημάτων στην ανάπτυξη, την ανάλυση και τον έλεγχο των επιδημικών μοντέλων. Η σωστή μοντελοποίηση και η ανάλυση των διαδικασιών διάδοσης ήταν μια μακροχρόνια περιοχή έρευνας μεταξύ πολλών διαφορετικών πεδίων, συμπεριλαμβανομένης της Μαθηματικής Βιολογίας, της Φυσικής, της Μηχανικής, της Οικονομίας και των Κοινωνικών επιστημών. Υπήρχαν πολλοί διαφορετικοί ερευνητές που εργάζονταν για μαθηματικά επιδημικά μοντέλα σε αυτό το χρονικό διάστημα. Αυτά τα αρχικά μοντέλα ήταν αρκετά απλοϊκά και η περαιτέρω ανάπτυξη και μελέτη τέτοιων μοντέλων χρονολογούνται από τη δεκαετία του 1900, όπου εξακολουθούν να είναι απλά μοντέλα τα οποία μελετήθηκαν για να δώσουν μια εικόνα για το πώς διάφορες ασθένειες μπορεί να εξαπλωθούν μέσω ενός πληθυσμού. Τα τελευταία χρόνια, υπάρχει μια αναζωπύρωση του ενδιαφέροντος για αυτά τα προβλήματα και γίνεται όλο και πιο διαδεδομένη στη μοντελοποίηση με πολλές διαφορετικές πτυχές. Συνεπώς, υπάρχει ήδη ένα τεράστιο έργο που αφιερώνεται στην ανάπτυξη και την ανάλυση επιδημικών μοντέλων, αλλά πολύ λιγότερα έργα που παρέχουν σωστή γνώση και μηχανισμούς για το πώς να ελέγχουν αποτελεσματικά αυτές τις διαδικασίες. Επομένως, σε αυτή την εργασία περιγράφονται κάποιες λεπτομέρειες που έχουν κλασικά και πρόσφατα αποτελέσματα στη βιβλιογραφία, ενώ παράλληλα περιγράφονται πολλά ανοιχτά προβλήματα που μπορούν να επωφεληθούν από τη συλλογική γνώση της θεωρίας βελτιστοποίησης και ελέγχου. Γενικά η μοντελοποίηση μιας επιδημίας έχει τρεις βασικούς στόχους. Ο πρώτος είναι να κατανοηθούν οι μηχανισμοί διάδοσης και πώς διαφορετικές παράμετροι επηρεάζουν την πορεία της επιδημίας. Ο δεύτερος στόχος είναι να επιτευχθεί η δυνατότητα πρόβλεψης της πορείας της επιδημίας στο μέλλον, η οποία περιλαμβάνει, μεταξύ άλλων, το τελικό 8

10 μέγεθος της επιδημίας. Τέλος, ο τρίτος στόχος είναι να οριστούν οι μηχανισμοί για την αντιμετώπιση της επιδημίας και να αποτραπεί η περαιτέρω εξάπλωσή της. Για να δημιουργηθεί επομένως ένα μοντέλο επιδημίας είναι σημαντικό να πραγματοποιηθεί ένα σύνολο με παραδοχές σχετικό με τη φύση του πληθυσμού και τους μηχανισμούς εξάπλωσης της. Οι μηχανισμοί διάδοσης ορίζουν το πώς ακριβώς ένας ιός εξαπλώνεται. Για παράδειγμα, σε κάποιες ασθένειες, η μόλυνση μπορεί να μεταδίδεται με τον αέρα, σε κάποιες άλλες μπορεί να μεταδοθεί μέσω του αίματος και σε άλλες μέσω του σάλιου. Με βάση τις μετάβασης μεταξύ καταστάσεων σε μία νόσο, τα πιο μελετημένα μοντέλα είναι SI (Ευπαθής-Μολυσμένος), SIS (Ευπαθής-Μολυσμένος-Ευπαθής) και SIR (Ευπαθής- Μολυσμένος-Αναρρωμένος). Στο SI μοντέλο, τα άτομα που είναι ευαίσθητα σε λοιμώξεις, όταν μολυνθούν παραμένουν σε αυτή την κατάσταση για πάντα. Στο SIS μοντέλο, τα άτομα διέρχονται από τρείς καταστάσεις, από ευπαθή τα οποία μετατρέπονται σε μολυσμένα και μετά πάλι ευπαθή. Η εξάπλωση του κοινού κρυολογήματος μπορεί να μοντελοποιηθεί με αυτό το μοντέλο. Στην περίπτωση ενός SIR μοντέλου, αφού περάσει κάποιο χρονικό διάστημα σε μολυσμένη κατάσταση, ένα άτομο πεθαίνει ή γίνεται ανάκτηση του ανοσοποιητικού και δεν μπορεί να εξαπλωθεί περαιτέρω μόλυνση. Με λίγα λόγια έχουμε τρείς καταστάσεις για το άτομο: Ευπαθής Μολυσμένος Αναρρωμένος με ανοσία. Όταν μοντελοποιείται μια ασθένεια οφείλεται να υπάρχει μια στενή περιγραφή του συνόλου των χαρακτηριστικών της διαδικασίας εξάπλωσης στο πληθυσμό και το δεύτερο βήμα είναι να επιλεχθεί συγκεκριμένη προσέγγιση με μαθηματικά μοντέλα. Παρά το γεγονός ότι η εξάπλωση μιας ασθένειας είναι στατιστική διαδικασία από τη φύση της, υπάρχουν ντετερμινιστικά μοντέλα που χρησιμοποιούνται συχνά για τον προσδιορισμό της έκβασής της. 1.2 Ιστορική αναδρομή Η επιδημιολογία διαμορφώθηκε ως επιστήμη τον μεσαίωνα για την μελέτη μεγάλων επιδημιών (χολέρα, ευλογιά, πανώλη). Ο πρώτος που ασχολήθηκε με τα αντικείμενα της Επιδημιολογίας είναι ο Ιπποκράτης ( π.χ.) στο «Περί αέρος, ύδατος και τόπων». Εκεί κατέγραψε τις εμπειρικές σχέσεις μεταξύ συγκεκριμένων ασθενειών και του τόπου εκδήλωσης ή εμφάνισης, των συνθηκών διαβίωσης, της διατροφής, 9

11 κατοικίας, κλίματος και άλλων αιτιών. Όλα αυτά αποτελούν το αντικείμενο της σύγχρονης περιγραφικής Επιδημιολογίας. Πολλά χρόνια αργότερα, ο Graunt ( ) χρησιμοποίησε ποσοτικές μεθόδους για τη μελέτη της θνησιμότητας αγοριών και τις ιδιομορφίες της βρεφικής θνησιμότητας. Ο Farr ( ) έβαλε τις βάσεις για την επιδημιολογική χρήση δημογραφικών δεδομένων εργαζόμενος ως υπεύθυνος ιατρικών θεμάτων στην στατιστική υπηρεσία της Αγγλίας. Την ίδια εποχή, ο Snow ( ) απέδειξε ότι η χολέρα προερχόταν από μικρόβιο που μεταδιδόταν από το νερό και την κοπριά. Στο αποτέλεσμα αυτό κατέληξε αφού μελέτησε το νερό από την κεντρική ύδρευση δύο περιοχών ίδιων χαρακτηριστικών (ηλικία, φύλο, κοινωνικοοικονομική κατάσταση): το Lambeth( με καθαρό νερό) και το Soutwork (όπου το νερό περιείχε απόβλητα). Το Lambeth είχε 8 φορές μικρότερη θνησιμότητα από χολέρα, άρα το νερό ήταν κλειδί και όχι ο αέρας όπως πίστευαν εκείνη την εποχή. Στον 20 ο αιώνα είχαμε σημαντικές εξελίξεις στην Επιδημιολογία. Μία από τις πιο σημαντικές είναι η σύνδεση του καπνίσματος με τον καρκίνο του πνεύμονα από τον Doll. Πολύ σημαντικό γεγονός είναι και η δημιουργία Σχολή Δημόσιας Υγιεινής το 1922 στο Πανεπιστήμιο του Harvard, η οποία περιλαμβάνει τμήματα Επιδημιολογίας και συνέβαλε στην προώθηση της επιστήμης της Επιδημιολογίας με αποτέλεσμα να καθιερωθεί ως ένα από τα καλύτερα πανεπιστήμια στον τομέα αυτό. 1.3 Βασικές Έννοιες Η επιδημιολογία έχει συντελέσει στην παραγωγή σημαντικού αριθμού ντετερμινιστικών και στοχαστικών μοντέλων, καθώς και σχετικά θεωρήματα με την πρόληψη και την πρόβλεψη των επιδημιών. Ένα από τα πρώτα μοντέλα επιδημίας είναι αυτό του Daniel Bernoulli το 1760, ο οποίος αποσαφήνισε με έναν απλό ντετερμινιστικό τρόπο λειτουργίας την εξάπλωση της ευλογιάς. Στη συνέχεια, αναπτύχθηκαν πιο πολύπλοκα ντετερμινιστικά μοντέλα. Τα στοχαστικά μοντέλα εμφανίστηκαν αργότερα κατά τον 19ο και 20ο αιώνα. 10

12 Η επιδημιολογική μοντελοποίηση ασθενειών ενός πληθυσμού βασίζεται στο νόμο δράσης της μάζας, η οποία αναφέρει ότι σε έναν μικτό πληθυσμό ο ρυθμός επαφών είναι ανάλογος με το γινόμενο του μολυσμένου και του ευπαθή. Δηλαδή ο ρυθμός των επαφών, που παίζει ρόλο στον ρυθμό μόλυνσης, έχει άμεση σχέση με το γινόμενο των μολυσμένων ατόμων με τα ευπαθή στον ιό. Ο νόμος της μάζας δράσης είναι μια υπέρθεση όλων των πιθανών καταστάσεων και των επιμέρους χαρακτηριστικών για τον υπολογισμό των επαφών (μολυσμένα με υγιή άτομα), και σε περίπτωση που υπάρχουν περισσότερες από μία διεργασίες που εμπλέκονται αποτελέσματα υπολογισμού των επαφών αυτών τότε προστίθενται στις μεταβλητές του συστήματος. Συνεπώς είναι σημαντικό να κατανοήσουμε τις παρακάτω έννοιες για την επιδημιολογία. Αρχικά ένα μοντέλο μπορεί να είναι στοχαστικό ή ντετερμινιστικό. Στοχαστικό είναι εκείνο που υπολογίζονται τα πιθανά ενδεχόμενα βάσει πιθανοτήτων. Σε μικρούς πληθυσμούς με λιγότερους παράγοντες να παίζουν ρόλο για το περιβάλλον και όπου έχουμε μικρότερες πιθανότητες να υπάρχουν αλλαγές από εξωτερικούς παράγοντες να υπολογίσουμε επιλέγουμε συνήθως τέτοιου είδους μοντέλα. Ντετερμινιστικό μοντέλο είναι εκείνο που χρησιμοποιεί ανώτερα μαθηματικά χωρίζοντας τους πληθυσμούς σε μικρότερα μέρη για ακριβέστερα αποτελέσματα και υπολογίζει διάφορα στάδια μιας νόσου. Παρακάτω παραθέτονται μερικοί από τους συνήθης συμβολισμούς που ισχύουν στα επιδημιολογικά μοντέλα καθώς και η σημασία τους: R 0 : Βασικός ρυθμός αναπαραγωγής S Ευάλωτοι Ε Εκτεθειμένοι στην περίοδο επώασης Ι Μολυσμένοι R Υγιείς από ανάρρωση με ανοσία β Πιθανότητα επαφής μ Μέσος όρος θνησιμότητας Β: Μέσος όρος γεννήσεων 11

13 1 ε 1 γ Μέση περίοδος επώασης Μέση περίοδος με κίνδυνο μετάδοσης Ν Ολικός πληθυσμός f Μέσος όρος εξάλειψης της ανοσίας για άτομα που έχουν αναρρώσει δ Μέση περίοδος προσωρινής ανοσίας Εκτός των βασικών μοντέλων SI, SIR και SIS, στη διεθνή βιβλιογραφία καταγράφονται και επεκτάσεις αυτών. Ενδεικτικά μερικά από αυτά είναι: SIRS SEIS SEIR MSIR MSEIR MSEIRS Αυτά τα μοντέλα λαμβάνουν περισσότερους παράγοντες υπόψη με τους οποίους δεν θα ασχοληθούμε καθώς δεν κατασκευάζουμε έναν αλγόριθμο στοχευόμενο σε συγκεκριμένο πληθυσμό (π.χ. Αθήνα) και δεν έχουμε την δυνατότητα μέτρησης τέτοιων παραγόντων. Βασικό ρυθμός αναπαραγωγής Ο βασικός ρυθμός αναπαραγωγής χρησιμοποιείται για να προσδιορίσει εάν μια ασθένεια είναι δυνατόν να ξεσπάσει σε επιδημία. Είναι ένας μαθηματικός όρος που βοηθάει να κατανοήσουμε πόσο μεταδοτική είναι μια ασθένεια και συμβολίζεται με R 0. Για το R 0 τρεις είναι οι πιθανές καταστάσεις: 1. R 0 < 1. Σε αυτή την περίπτωση ο ιός δεν αποτελεί κίνδυνο για επιδημία. 2. R 0 = 1. Θεωρητικά μόνο 1 άτομο μολύνεται από ένα μολυσμένο άτομο. 12

14 3. R 0 > 1. Υπάρχει κίνδυνος επιδημίας γιατί κάθε μολυσμένο άτομο μπορεί να μολύνει παραπάνω από ένα άτομα. Φυσικά σε μια τέτοια περίπτωση είναι προφανής ο κίνδυνος καθώς αυξάνονται εκθετικά οι πιθανότητες εξάπλωσης του ιού. Γενικότερα αυτοί είναι οι πιο σημαντικοί παράγοντες που πρέπει να λαμβάνουμε υπόψη όταν υπολογίζουμε τον αριθμό αυτό: Η μολυσματική περίοδος Ο παράγοντας αυτό ορίζεται κυρίως στην δύναμη του ιού να εξαπλώνεται. Μερικές ασθένειες είναι πιο μεταδοτικές από άλλες και για διαφορετικά χρονικά διαστήματα. Επίσης σημαντικό ρόλο παίζει και ο πληθυσμός που επωάζει ο ιός. Για παράδειγμα η γρίπη μπορεί να κρατήσει μέχρι 8 μέρες περίπου στους ενήλικες ενώ στα παιδιά φτάνει μέχρι και 2 εβδομάδες. Επομένως όταν ο ιός της γρίπης εγκατασταθεί σε ένα παιδί είναι πιο πιθανό να μολύνει και περισσότερα άτομα. Πιθανότητα επαφής Ουσιαστικά είναι η μέση πιθανότητα που υπάρχει να έρθει σε επαφή ένας μολυσμένος με ένα υγιές άτομο. Για τον λόγο αυτό προκειμένου να αποφευχθούν οι επιδημίες πρέπει να μένουν οι ασθενείς σε περιορισμένους χώρους. Μέσον μετάδοσης Το μέσον είναι ο τρόπος με τον οποίο μεταδίδεται ο ιός από ένα άτομο σε ένα άλλο. Οι ασθένειες που μεταδίδονται γρηγορότερα είναι αυτές που ταξιδεύουν στον αέρα, όπως ο ιός της γρίπης. Η φυσική επαφή δεν είναι απαραίτητη και έτσι αυξάνονται εκθετικά οι πιθανότητες μετάδοσης στον πληθυσμό. Ασθένειες που απαιτούν φυσική επαφή όπως ο ιός HIV είναι σχεδόν απίθανο να οδηγήσουν σε επιδημία. 13

15 Αίτια μιας επιδημίας Βακτήρια Ιοί Παράσιτα και πρωτόζωα Μυκοτοξίνες Χημικές ουσίες (υδράργυρος, αρσενικό) Τα ποιοτικά χαρακτηριστικά της επιδημίας καλύπτονται από 7 τομείς Γεωγραφική τοποθέτηση Κατανάλωση τροφής Ασθένειες που μεταδίδονται αιματογενώς Ασθένειες που σχετίζονται με επαφή με ζώα Ασθένειες που μεταδίδονται υδατογενώς Ασθένειες που μεταδίδονται με επαφή από άνθρωπο σε άνθρωπο Μοριακή τυποποίηση παθογόνων. Στο παρακάτω σχήμα 1 βλέπουμε τον άξονα εξέλιξης μιας επιδημίας και στο σχήμα 2 τον άξονα μετάδοσης. Σχήμα 1: Άξονας εξέλιξης 14

16 Σχήμα 2: Άξονας μετάδοσης Επιπλέον, ένα τυπικό χρονοδιάγραμμα είναι το παρακάτω: Σχήμα 3: Περιγραφή των χρονικών περιόδων μιας μόλυνσης 1.4 Μοντελοποίηση ασθενειών Η μαθηματική μοντελοποίηση που χρησιμοποιείται για μια ασθένεια μπορεί να συμβάλλει στην πρόβλεψη της προόδου μιας νόσου και να δείξει την πιθανή έκβαση της εξάπλωσης της. Επίσης βοηθούν για να ληφθούν οι αποφάσεις στις διάφορες παρεμβάσεις που μπορεί να χρειαστούν για την δημόσια υγεία. Τα μοντέλα αυτά εκμεταλλεύονται ορισμένες βασικές παραδοχές για να οριστούν οι διάφορες παράμετροι των ασθενειών που μελετώνται. Αυτές οι παράμετροι είναι απαραίτητες για τον 15

17 υπολογισμό των επιπτώσεων των διαφόρων πιθανών εκβάσεων και αποφάσεων για μια επικίνδυνη ασθένεια, όπως για παράδειγμα ένα πρόγραμμα μαζικού εμβολιασμού. Ένα τέτοιο μοντέλο απαιτεί παραδοχές για να υλοποιηθεί. Όσο πιο στενές και προσεκτικά ορισμένες είναι οι παραδοχές αυτές, τόσο πιο κοντά στο πραγματικό αποτέλεσμα θα είναι και η πρόβλεψη. Αν οι παραδοχές δεν βασίζονται σε πραγματικές πειραματικές μετρήσεις τότε η πρόβλεψη θα απέχει από το πραγματικό αποτέλεσμα. Γενικότερα, ένας από τους σημαντικότερους παράγοντες που πρέπει να υπολογιστεί σε μία ασθένεια είναι το R 0, δηλαδή ο βασικός ρυθμός αναπαραγωγής. Μία ασθένεια με R 0 ίσο με ένα σημαίνει πως βρίσκεται σε ενδημικό στάδιο, δηλαδή ούτε πεθαίνει τελείως αλλά ούτε είναι αρκετά ισχυρή για να εξαπλωθεί. Αν είναι μικρότερο από ένα συνήθως εξαλείφεται, και αν είναι μεγαλύτερο από ένα τότε υπάρχει κίνδυνος εξάπλωσης. Όσο πιο μεγάλο είναι το R 0 από το ένα τόσο μεγαλύτερος είναι ο κίνδυνος αυτός. Για παράδειγμα μία από τις πιο μολυσματικές ασθένειες είναι η Ιλαρά με R 0 μεταξύ Για να γίνει επομένως σωστή μοντελοποίηση μιας ασθένειας απαιτείται να γίνει πρώτα σωστή έρευνα για τους παράγοντες που θα συντελούν στην εξάπλωση της. Αυτό πρέπει να επιβεβαιωθεί με πειραματικά αποτελέσματα. Οι παράγοντες αυτοί είναι οι εξής: Ο ρυθμός μετάδοσης της ασθένειας. Ο ρυθμός ίασης της ασθένειας. Το μέσο μετάδοσης του ιού. Η επιμονή του ιού σε έναν οργανισμό. Ποια όργανα του οργανισμού είναι πιο εύκολο να καταλάβει ο ιός. Πως, πότε και αν είναι εφικτή η ανοσία. Την εξέλιξη και την επέκταση της ανοσίας στον πληθυσμό. Με αυτό εννοούμε πως αν οι γειτονικοί κόμβοι που έχουν ένα μολυσμένο άτομο έχουν ανοσία τότε ο ιός δεν μπορεί να βρει έδαφος για εξάπλωση, δηλαδή δεν μπορεί να έρθει σε 16

18 επαφή με ευπαθές άτομο και να εξαπλωθεί. Προφανώς αλλιώς θα εξαπλωθεί ένας ιός σε μια φτωχή ανεμβολίαστη κοινωνία και αλλιώς σε μια εύπορη που εμβολιάζεται. Τα γενετικά χαρακτηριστικά του πληθυσμού. Αυτό χρησιμεύει για την πρόβλεψη των αντιστάσεων ή των ευπαθειών που μπορεί να έχει ο πληθυσμός καθώς και το πρόσφορο έδαφος που έχει ο ιός για να εξαπλωθεί. Τη μελέτη του συγκεκριμένου είδους του ιού (strain of a virus) της ασθένειας. Την πιθανότητα αντιγονικής μετατόπισης (antigenic shift). Δηλαδή δύο είδη ενός ιού συνδυάζονται για να σχηματίσουν ένα νέο τύπο που έχει ένα μίγμα των επιφανειακών αντιγόνων των αρχικών ιών. Όσο περισσότεροι παράγοντες ληφθούν υπόψη κατά την μοντελοποίηση τόσο πιο ακριβής θα είναι και η πρόβλεψη που προσφέρει το μοντέλο. Για να γίνει αυτό λοιπόν όλοι αυτοί οι παράγοντες λαμβάνονται υπόψη και όσο περισσότερα στατιστικά δεδομένα συγκεντρωθούν τόσο πιο ακριβής θα είναι και ο αλγόριθμος εξάπλωσης. Τα εργαλεία αυτά στην σημερινή εποχή πρέπει να λαμβάνουν υπόψη μεγάλα δεδομένα ώστε να διαχειριστούν όλον αυτόν τον όγκο της πληροφορίας. 17

19 Κεφάλαιο 2: Είδη Επιδημιών 2.1 Γενικά στοιχεία Από τα αρχαία χρόνια υπάρχουν καταγραφές επιδημιών παγκοσμίως που είχαν μεγάλο αντίκτυπο στις τοπικές κοινωνίες. Η συμβολή των επιδημιών στην ιστορική εξέλιξη αποτελεί από μόνη της ξεχωριστό κεφάλαιο μελέτης με πολλές προεκτάσεις. Ωστόσο, υπάρχουν διάφορα κλασικά παραδείγματα γνωστά από τα σχολικά βιβλία, αλλά και τη νεότερη ιστορία, η μελέτη των οποίων έχει συμβάλει στην ανάπτυξη και τον σχεδιασμό πολιτικών αντιμετώπισης για τις επιδημίες στη σύγχρονη εποχή. Ορισμός επιδημίας: Επιδημία (από το επί+δήμος, δηλαδή πάνω στον πληθυσμό) είναι η περίπτωση εξάπλωσης μιας ορισμένης ασθένειας σε μια ορισμένη περίοδο επί ενός ορισμένου πληθυσμού, εξάπλωση η οποία υπερβαίνει τα "αναμενόμενα" ή "προβλεπόμενα" όρια. Με άλλα λόγια, επιδημία είναι όταν μια ασθένεια προσβάλει ένα μέρος του πληθυσμού (πόσο μεγάλο είναι αυτό το μέρος είναι ακαθόριστο) με τρόπο που καθίσταται ανεξέλεγκτη. Ορισμός επώασης: Ο χρόνος μεταξύ της λήψης της λοίμωξης και της εμφάνισης των συμπτωμάτων. Η λανθάνουσα περίοδος (tatent period) είναι το 0, έτσι το μολυσμένο άτομο γίνεται μολυσματικό προς τους άλλους αμέσως μετά τη λήψη της λοίμωξης. Το μήκος της μολυσματικής περιόδου έχει αρνητική εκθετική διανομή. Άλλη μια λογική παραδοχή είναι ότι η πιθανότητα οποιοδήποτε ευαίσθητου ατόμου που έχει μολυνθεί σε σύντομο χρονικό διάστημα είναι από κοινού ανάλογη με τον αριθμό των μολυσμένων ατόμων και του μήκους του διαστήματος. Αυτό σημαίνει ότι η πιθανότητα για μια νέα μόλυνση σε 18

20 όλον τον πληθυσμό (σύνολο) μέσα σε σύντομο χρονικό διάστημα είναι ανάλογη με τον αριθμό των λοιμώξεων και των ευαίσθητων ατόμων, καθώς επίσης και του μήκους του διαστήματος. Έτσι, έχουμε μια πιθανότητα μετάβασης, η οποία είναι μη-γραμμική συνάρτηση του μεγέθους του πληθυσμού (group size), όπως αναφέραμε παραπάνω. Αυτή είναι η κύρια πηγή για την μαθηματική ανάλυση. Γενικά, η λοίμωξη μεταδίδεται άμεσα από μολυσμένα άτομα σε μη μολυσμένα αποκλειστικά μέσω της «αποτελεσματικής» ή «επαρκούς» επαφής. Οποιοσδήποτε επί-νόσο άτομο, δηλαδή ευπαθή άτομο, αφού έχει έρθει σε επαφή με κάποιο μολυσμένο άτομο σε μια δεδομένη χρονική περίοδο, θα αναπτύξει τη λοίμωξη και θα μολύνει άλλους μόνο μέσα στα πλαίσια αντίστοιχης χρονικής περιόδου, μετά την πάροδο της οποίας, το άτομο θα έχει πλήρη ανοσία. Επιπλέον, κάθε άτομο έχει σταθερή πιθανότητα να έλθει σε επαφή με οποιοδήποτε άλλο συγκεκριμένο άτομο της ομάδας σε δεδομένη χρονική διάρκεια και αυτή η πιθανότητα είναι η ίδια για κάθε άτομο της ομάδας. Τα άτομα υπό μελέτη είναι εντελώς διαχωρισμένα από άλλα άτομα εκτός της ομάδας τους. Τέλος, οι παραπάνω συνθήκες παραμένουν σταθερές κατά τη διάρκεια της επιδημίας. Οπότε κάθε άτομο στον υπό μελέτη πληθυσμό μπορεί να βρίσκεται σε μία από τις εξής δυνατές καταστάσεις κατά τη διάρκεια οποιασδήποτε χρονικής περιόδου, που είναι αυτές της ενεργού νόσου, της επινοσίας και της αποκατάστασης και ενδεχόμενης ανοσίας ή απόσυρσης λόγω θανάτου. Ορίζοντας το μέγεθος του υπό μελέτη πληθυσμού, τον αριθμό των ατόμων που βρίσκονται σε κάθε κατάσταση και την πιθανότητα της αποτελεσματικής επαφής, το μοντέλο τρέχει συνεχώς με δεδομένα χρονικά βήματα μέχρι να μην υπάρχει κανένα άτομο που να μη μεταδίδει τη νόσο ή να είναι όλος ο πληθυσμός σε κατάσταση ανοσίας. 2.2 Απλές Επιδημίες Προκειμένου να προχωρήσουμε στην παρουσίαση των διαφορετικών επιδημιολογικών μοντέλων, πρέπει να γίνει περιγραφή ορισμένων βασικών εννοιών και μεγεθών. Αρχικά θα δούμε το πιο απλό είδος συνεχούς χρόνου επιδημικό μοντέλο στο οποίο έχουμε 19

21 τοποθετήσει σε ένα σύνολο τα ευαίσθητα άτομα τα οποία είναι πολύ πιθανό να κολλήσουν την τρέχουσα μόλυνση, αλλά δεν υπάρχει μετακίνηση (καμία δηλαδή μετακίνηση των ατόμων από το σύνολο τους με θάνατο, ανάρρωση ή απομόνωση). Αυτό το μοντέλο είναι ίσως το πιο κατάλληλο για ήπιες μολύνσεις της υψηλής αναπνευστικής περιοχής όπου υπάρχει μεγάλο χρονικό διάστημα μεταξύ της μόλυνσης του κάθε ατόμου και της πραγματικής τους απομάκρυνσης από την «κυκλοφορία» (δηλαδή την τρέχουσα λοίμωξη). Το κύριο μέρος της επιδημίας θα μπορούσε να λάβει μέρος πριν απομακρυνθεί οποιοσδήποτε από το σύνολο των ευαίσθητων ατόμων. Τα επιδημιολογικά μοντέλα θα μπορούσαν να χωριστούν σε προσδιοριστικά και σε στοχαστικά μοντέλα. Τα προσδιοριστικά μοντέλα είναι αυτά που χρησιμοποιούνται περισσότερο, ιδίως όταν πρόκειται να μελετηθούν μεγάλοι πληθυσμοί και βασίζονται σε κάποιες υποθέσεις, οι οποίες αν και περιορίζουν την ευελιξία του μοντέλου, δεν απέχουν πολύ από την πραγματικότητα καθώς οι ομαδοποιήσεις των υπό-πληθυσμών και η ανομοιογένεια τους εξισορροπείται από το μέγεθος του συνολικού πληθυσμού Ντετερμινιστική περίπτωση Εδώ ο πληθυσμός χωρίζεται και τοποθετείται σε διαμερίσματα, τα οποία αντιπροσωπεύουν τις διαφορετικές καταστάσεις της λοιμώδους διαδικασίας που περιεγράφηκαν παραπάνω. Η μετακίνηση ενός ατόμου ενός διαμερίσματος μπορεί να συμβεί μόνο προς συγκεκριμένα άλλα διαμερίσματα και ακολουθεί κανόνες που περιγράφονται από διαφορικές εξισώσεις. Το χαρακτηριστικό που δίνει το όνομα σε αυτά τα μοντέλα είναι η σαφής και προκαθορισμένη μαθηματικά, δηλαδή προσδιοριστική, εξέλιξη της λοιμώδους διαδικασίας. Ας θεωρήσουμε λοιπόν ότι έχουμε μια ομοιογενή ομάδα ανάμιξης μεγέθους n + 1, η οποία περιέχει αρχικά n επίνοσα άτομα και 1 μολυσμένο (μολυσματικό άτομο). Υποθέτω ότι στο χρόνο t, υπάρχουν x επίνοσα άτομα και y μολυσματικά, έτσι ώστε x + y = n + 1. Ο συνολικός αριθμός των νέων μετακινήσεων (συνεχή μεταβλητή) Δx σε χρονικό διάστημα Δt ισούται με βxyδt, όπου β είναι σταθερή τιμή και δηλώνει τον ρυθμό της μόλυνσης. Οπότε έχουμε: dx dt = βxy = βχ(n x + 1) (2.1), διότι ξέρουμε ότι x + y = n

22 Αν κάνουμε αλλαγή μεταβλητής για τ = βt, θα έχουμε συνθήκες x = n, τ = 0. Λύνοντας αυτή τη διαφορική εξίσωση θα έχουμε x=(n(n + 1))/n+e (n+1)τ,x(0) = n, τ = 0. Επιδημική καμπύλη: Μετρά την τιμή dx dx dτ dx dτ = x(n x + 1) με αρχικές όπου προκύπτουν νέες περιπτώσεις = xy = n(n+1)2 e (n+1)τ. Αυτή η επιδημική καμπύλη είναι συμμετρική με ένα μόνο dτ (n+e (n+1)t ) 2 μέγιστο η οποία περνά από το σημείο (0, n), το οποίο είναι μέγιστο όταν τ = log(n) /(n + 1). Έτσι, έχουμε τη χαρακτηριστική καμπύλη των επιδημιών στις οποίες το ποσοστό εμφάνισης των νέων περιπτώσεων που ξεκινούν αυξάνεται απότομα, φτάνει στη κορυφή και μειώνεται τελικά φτάνοντας στο μηδέν Στοχαστική περίπτωση Τα στοχαστικά μοντέλα χρησιμοποιούνται κυρίως στη μελέτη μικρών πληθυσμών και διαφέρουν στο ότι περιέχουν τυχαίες μεταβλητές. Οι σχέσεις ανάμεσα στα διάφορα διαμερίσματα δεν είναι προσδιοριστικές. Αυτό συμβαίνει, επειδή οι διάφορες μεταβλητές που εμπεριέχονται στις διαφορικές εξισώσεις που καθορίζουν τις μετακινήσεις ατόμων μεταξύ των διαμερισμάτων υπόκεινται σε τυχαίες διακυμάνσεις. Πλέον μπορεί να γίνει συνδυασμός των δύο ειδών. Πρακτικά, τα χρησιμοποιούμενα μοντέλα είναι προσδιοριστικά, όμως κάποιες από τις χρησιμοποιούμενες μεταβλητές είναι δυνατό να υπόκεινται σε τυχαίες διακυμάνσεις. Σε αυτή τη στοχαστική περίπτωση των απλών επιδημιών έχουμε n επίνοσα άτομα και ένα μολυσματικό. Έχουμε μια τυχαία μεταβλητή Χ(t) η οποία αντιπροσωπεύει τον αριθμό των ευαίσθητων ατόμων (επίνοσα άτομα) που είναι μη μολυσμένα σε χρόνο t, όπου η πιθανότητα η τ.μ. X(t) να έχει την τιμή r είναι Pr(t). Σε χρόνο t υπάρχουν επομένως Χ(t) μη μολυσμένα άτομα και n X(t) + 1 μολυσμένα άτομα. Μόνο ένα είδος μετάβασης είναι πιθανό, κυρίως η εμφάνιση μιας νέας μόλυνσης με αποτέλεσμα τη μείωση των ευαίσθητων ατόμων. Η πιθανότητα μιας μόλυνσης σε χρόνο Δt γράφεται όπως πριν βx(n X + 1)Δt όπου β σταθερά. Με αλλαγή μεταβλητής τ = βt η πιθανότητα γίνεται βx(n X + 1)Δt. 21

23 Έχουμε μια απλή μονή μετάβαση από το j = 1 με f 1 = X(n X + 1). Η μερική διαφορική εξίσωση για την πιθανογεννήτρια συνάρτηση (probability generating function) είναι: P τ = (x 1 1) (x ) ((n+1) (x ))P = (1 x) (n P x x x P(x, 0) = x n (2.2) x 2 p x 2) με αρχική συνθήκη Η αντίστοιχη εξίσωση για την ροπογεννήτρια συνάρτηση (moment generating function) είναι: M = τ (e θ 1) ((n + 1) M θ 2 M θ 2 ) με αρχική συνθήκη Μ(θ, 0) = enθ (2.3) Για τις εξισώσεις (2.2), (2.3) είναι δύσκολο να βρούμε σαφείς εκφράσεις για τις πιθανότητες καθώς γίνονται πολύ περίπλοκοι τύποι αν το n δεν είναι πολύ μικρό. Στη συνέχεια, θεωρούμε τη βασική διαφορική εξίσωση για την πιθανότητα Pr(t). Αυτή μπορεί να συναχθεί από την επιλογή του συντελεστή x r και στα δύο μέλη, έτσι έχουμε: dp r dτ = (r + 1) (n r)p r+1 r(n r + 1)p r, 0 r n 1 dp n dτ = np n (2.4) p n (0) = 1 Τo σύστημα αυτό μπορεί να επιλυθεί επιτυχώς, ξεκινώντας από την p n. Η πιο εύκολη διαδικασία είναι να χρησιμοποιήσουμε τον μετασχηματισμό Laplace (που χρησιμοποιείται στις διαδικασίες αναμονής). Οπότε θα γράψουμε την q r (s) ως μετασχηματισμό της p n (τ) και έτσι έχουμε: q r (s) = P r (s)= 0 e sτ p r (τ)dτ. 22

24 Εφαρμόζοντας τον μετασχηματισμό Laplace στο σύστημα (2.4) και χρησιμοποιώντας την αρχική συνθήκη p n (0) = 1, θα έχουμε τις σχέσεις επανεμφάνισης: { q r = (r+1)(n r) s+r(n r+1) q r+1, 0 r n 1 q n = 1 s+n (2.5) Τώρα μπορούμε να αποκτήσουμε τη σαφή έκφραση για το q r : q r = n! (n r)! r! n r+1 j=1 (s + j(n j + 1)) 1, 0 r n 1 (2.6) Τώρα το μόνο που πρέπει να χρησιμοποιήσουμε είναι ο αντίστροφος μετασχηματισμός της έκφρασης (2.6) για να αποκομίσουμε έναν τύπο για το p r (τ). Το δεξί μέλος της (2.6) αποτελείται από ένα σύνολο μερικών κλασμάτων που περιλαμβάνουν όρους όπως {s + j(n j + 1)} 1 και {s + j(n j + 1)} 2. Το τελευταίο δημιουργείται όταν υπάρχουν επαναλαμβανόμενοι όροι, το οποίο συμβαίνει όταν r < ½(n + 1). Αντίστροφα, τα μερικά κλάσματα τείνουν στο e j(n j+1)τ και τe j(n j+1)τ αντίστοιχα. Γενικά, όταν r 1 n υπάρχουν επαναλαμβανόμενοι όροι στην (2.6) και ο τύπος για 2 το p r (τ) είναι περίπλοκος. Για τις τιμές του n όπου είναι μεγάλες, οι τύποι για τις ατομικές πιθανότητες είναι εύκολος χειρισμός. Από την (2.3), η συνηθισμένη τεχνική των ισοδυναμικών τελεστών του θ από τα δύο μέλη οδηγεί στο ακόλουθο σύστημα εξισώσεων: d μ1 dτ = {(n + 1)μ 1 -μ 2 } d μ2 dτ = +{(n + 1)μ 1 -μ 2 } 2{(n + 1)μ 2 -μ 3 } (2.7) κτλ. 23

25 Όπου το μ κ είναι η νιοστή στιγμή της προσέλευσης. Δυστυχώς, εμείς δεν μπορούμε να λύσουμε επιτυχώς τις εξισώσεις. Αυτό έχει μια δυσκολία και προκύπτει κυρίως επειδή οι πιθανότητες μετάβασης δεν είναι γραμμικές συναρτήσεις του μεγέθους του πληθυσμού. Εάν γνωρίζουμε το μ 1, τότε μπορούμε εύκολα να υπολογίσουμε την μ 2 από την 1 η εξίσωση του συστήματος (2.7). 2.3 Γενικές Επιδημίες Ντετερμινιστική περίπτωση Θα ξεκινήσουμε με μια σύντομη έρευνα στο ντετερμινιστικό μοντέλο. Υποθέτουμε ότι έχουμε σύνολο n ατόμων, σε χρόνο t, όπου x είναι τα ευαίσθητα άτομα, y τα μολυσματικά και z τα άτομα που έχουν πεθάνει ή έχουν απομονωθεί ή έχουν ανοσία, β ο ρυθμός μόλυνσης και γ ο ρυθμός αποκατάστασης. Έτσι, έχουμε x + y + z = n. Ο αριθμός των μετακινήσεων των μολυσματικών είναι γyδt = Δy. Άρα, έχουμε το εξής σύστημα διαφορικών εξισώσεων (2.8): dx dt = βxy dy dt = βxy γy dz dt = γy (x, y, z) = (x 0, y 0, 0), t = 0. Παρατηρώντας την 2 η εξίσωση μπορούμε να πούμε ότι καμία επιδημία δεν μπορεί να υπάρξει εκτός αν x 0 > γ. Για την αύξηση του αρχικού αριθμού των μολυσματικών β ατόμων, πρέπει να έχουμε [ dy ] dt t=0 > 0. Είναι βολικό να ορίσουμε ένα σχετικό ποσοστό απομάκρυνσης που δίνεται από το ρ = γ. Για πυκνότητες κάτω από αυτή την β 24

26 τιμή, ένα αρχικό ίχνος μόλυνσης θα αφαιρεθεί με υψηλότερο ρυθμό απ ότι μπορεί να δημιουργηθεί. Αλλά για πυκνότητες άνω του ορίου θα προκύψει ένας αυξανόμενος αριθμός περιπτώσεων. Το ρ αποτελεί ένα όριο για τα ευαίσθητα άτομα. Η επιδημική καμπύλη του συστήματος (2.7) είναι η ακόλουθη: dz = 1 (γa 2 ρ 2 )sech 2 ( 1 1 αγt φ) όπου φ = tanh 1 (x dt 2x 0 2 αρ 0 ρ) και α = {( x 0 ρ 1)2 + 1 ρ 2 2x 0y 0 } 1/2. Είναι μια κωδωνοειδής συμμετρική καμπύλη και ανταποκρίνεται στο γεγονός ότι σε πολλές πραγματικές επιδημίες ο αριθμός των νέων μολύνσεων αυξάνονται κάθε μέρα στο μέγιστο και μετά πεθαίνουν. Μόλις η επιδημία τελειώσει,έχουμε dz dt = Στοχαστική περίπτωση Σε αυτήν την υποενότητα θα αναλύσουμε την στοχαστική φόρμουλα για τις γενικές επιδημίες. Ξεκινάμε έχοντας δύο μεταβλητές, Χ(t) να είναι ο αριθμός των ευαίσθητων ατόμων σε χρόνο t, και Y(t) να είναι ο αριθμός των μολυσματικών ατόμων σε χρόνο t. Η διαδικασία είναι δισδιάστατη και ίσως μπορέσουμε να την αντιμετωπίσουμε τουλάχιστον όσο αφορά την κατασκευή των κατάλληλων διαφορικών εξισώσεων. Οπότε, έχουμε την πιθανότητα P uv (t) δηλαδή μπορούμε να γράψουμε αλλιώς P{ X(t)=u,Y(t)=v } = P uv (t), με u και v να είναι τα επίνοσα και τα μολυσματικά άτομα αντίστοιχα σε χρόνο t. Η πιθανότητα της γεννήτριας συνάρτησης είναι P(z, w, t) = v,u w v z u P uv (t), όπου z, w μεταβλητές. Στην συνέχεια θα να αναφέρουμε δύο είδη μεταφοράς: Α) μπορεί να υπάρξει μια καινούρια μόλυνση σε Δt χρόνο, η οποία θα συμβεί με πιθανότητα βxyδt και θα μειωθεί κατά μία μονάδα η ποσότητα u όπου είναι ο αριθμός των ευαίσθητων ατόμων και θα αυξηθεί κατά μία μονάδα η ποσότητα v δηλαδή ο αριθμός των μολυσματικών ατόμων. 25

27 Β) μπορεί να υπάρξει μια μετακίνηση από το διαμέρισμα των μολυσματικών, η οποία θα συμβεί με πιθανότητα γyδt με αποτέλεσμα να μειωθεί η ποσότητα v. Συνοψίζοντας έχουμε τις εξής μεταφορές: Για την μεταφορά Α) (j, k) = ( 1, +1) με f 1,+1 = βxy και για την μεταφορά Β) (j, k) = (0, 1) με f 0, 1 = γy. Τώρα χρησιμοποιώντας τον τύπο P t (x, y, t) = (xj y k j,k 1)f jk (x, y ) P (x, y, t) x y και κάνοντας την κατάλληλη αλλαγή μεταβλητής στο χρόνο τ = βt και στην ποσότητα ρ = γ θα πάρουμε την διαφορική εξίσωση για την γεννήτρια συνάρτηση P(z, w, t). β Οπότε έχουμε, P t =(w2 zw) 2 P w z + ρ(1 w) P w (2.9), η διαδικασία ξεκινάει σε χρόνο τ = 0 με n ευαίσθητα άτομα, α μολυσματικά και αρχική συνθήκη P(z, w, 0) = z n w a. Από τη διαφορική εξίσωση (2.9) δεν μπορούμε να πάρουμε κάποια λύση, οπότε αν εκφράσουμε την P uv (t + Δt) με όρους πιθανοτήτων σε χρόνο t, θα πάρουμε το παρακάτω σύστημα εξισώσεων (2.10): dp u,v dτ = (u + 1)(v 1)P u+1,v 1 v(u + ρ)p uv +ρ(v + 1)P u,v+1 dp n,a dτ = α(n + ρ)p nα P nα (0) = 1 0 u + v n + α, 0 u n, 0 v n + α Έπειτα μπορούμε να απλοποιήσουμε το σύστημα διαφορικών εξισώσεων (2.10) με τη χρήση του μετασχηματισμού Laplace, άρα έχουμε το ακόλουθο νέο σύστημα (2.11): (u + 1)(v 1)q u+1,v 1 {u(u + ρ) + s} q uv +ρ(v + 1)q u,v+1 = 0 {α(n + ρ) + s}q nα + 1 = 0 26

28 0 u + v n + α, 0 u n, 0 v n + α Γενικά, έχουν γίνει κάποιες βελτιώσεις όσο αφορά την έρευνα του συνολικού μεγέθους των επιδημιών. Είναι εύκολο να δούμε ότι καθώς το t, όλοι οι όροι του P uv εξαφανίζονται, αφήνοντας μόνο μια σταθερά. Ο σταθερό όρος είναι ο συντελεστής του όρου 1/s στο q uv. Επιπλέον, η επιδημία σταματά όταν το V = 0. Ως εκ τούτου η πιθανότητα P w της επιδημίας και των αρχικών συνθηκών δίνονται ως εξής: P w = lim t P n w,0 = lim s 0 sq n w,0 = lim s 0 ρq n w,1 ( για v = 0 στην (2.11) ), 0 w n Υπάρχουν διαφορετικοί τρόποι αντιμετώπισης της πιθανότητας P w, μπορούμε να κατασκευάσουμε την γεννήτρια συνάρτηση της το οποίο μπορεί να φανεί χρήσιμο σε πολλές έρευνες για το συνολικό μέγεθος της επιδημίας, αλλά οι λύσεις που θα προκύψουν είναι δύσκολες. Άλλη διαδικασία είναι να υιοθετήσουμε μια προσέγγιση τυχαίων βημάτων. Έτσι, η πρόοδος της επιδημίας μπορεί να αντιπροσωπευτεί διαδοχικά από σημεία της μορφής (u, v). Η τυχαία διαδρομή ξεκινά από το σημείο (n, α) και τελειώνει στο σημείο (n w, 0), για μια επιδημία μεγέθους w. Η γραμμή v = 0 είναι ένα απορροφητικό φράγμα. Υπάρχουν δύο είδη μεταφοράς με πιθανότητες: P {(u, v) (u 1, v + 1)} = u/(u + ρ) P {(u, v) (u, v 1)} = ρ/(u + ρ) Με αυτόν τον τρόπο μπορούμε να φτιάξουμε μια φόρμουλα για το P w, προσθέτοντας τις πιθανότητες από όλα τα μονοπάτια, ξεκινώντας από το (n, α) και καταλήγοντας στο (n w, 0). Η απαιτούμενη πιθανότητα (2.12) δίνεται ως: 27

29 P w = n!ρ α+w (n + ρ) (n w)!(n+ρ) (n+ρ w) α 0(n + ρ w) α w α, όπου το άθροισμα είναι από το i α + w 1 ως το w + 1, έτσι ώστε 0 j=0 α + i 1 για 0 i w 1 και 1 α w α + w 1. Δυστυχώς, εάν το n είναι πολύ μεγάλο, υπάρχει μια δυσκολία να χρησιμοποιήσουμε αυτό το αποτέλεσμα, λόγω αβεβαιότητας ως προς τον αν έχουν συμπεριληφθεί όλοι οι σχετικοί όροι της κατανομής. 2.4 Επαναλαμβανόμενες Επιδημίες Ντετερμινιστική περίπτωση Θα θεωρήσουμε ένα μοντέλο ίδιο με την Ενότητα 2.3, με την μόνη διαφορά ότι στο διαμέρισμα των ευαίσθητων ατόμων προστίθενται συνεχώς άτομα επίνοσα με σταθερό ρυθμό μ, και μδt να είναι τα νέα ευαίσθητα άτομα που εισάγονται στον πληθυσμό σε χρόνο Δt. Για να διατηρηθεί το συνολικό μέγεθος του πληθυσμού σταθερό, η εισροή νέων ευαίσθητων πρέπει να εξισορροπηθεί με ένα κατάλληλο ποσοστό θνησιμότητας. Ας υποθέσουμε ότι αφορά τα άτομα που έχουν αφαιρεθεί από την ομάδα. Εμείς μπορούμε να επικεντρωθούμε στον αριθμό των ευαίσθητων και μολυσματικών ατόμων για τους οποίους οι κατάλληλες εξισώσεις (2.12) εύκολα γράφονται ως εξής: dx dt dy dt = βxy + μ = βxy γy 28

30 Είναι σαφές ότι από τις εξισώσεις (2.12) η κατάσταση ισορροπίας (x 0, y 0 ) είναι πιθανή και δίνεται όταν dx = 0 = dy. dt dt Έχοντας τις εξισώσεις x = x 0 (1 + u), y = y 0 (1 + v) (2.13), όπου x 0 = γ β, y 0 = μ γ, μπορούμε να γράψουμε το εξής σύστημα διαφορικών εξισώσεων (2.14): σ du = (u + v + uv) dt τ du = u(1 + v) dt όπου, σ = γ βμ και τ = 1 γ. Αγνοώντας το γινόμενο uv, μπορούμε να υπολογίσουμε το u από τον (2.14) και θα μας δώσει μια 2 ης τάξης διαφορική εξίσωση ως προς v. d 2 v dt σ dv dt + v στ = 0 (2.15). t 2σ Η λύση της είναι η εξής : v = v 0 e cos(ξt), με ξ 2 = 1 1 οπότε, για το u στ 2 1 έχουμε την εξής λύση: u = u 0 ( τ ) 2 t e 2σ cos(ξt + ψ), όπου το cos(ψ) = 1 σ 2( τ 1, σ ) 2 με 1 ψ π. Παρατηρούμε ότι οι λύσεις για τα u και v περιέχουν εξασθενημένα αρμονικά κύματα. Επομένως, αν και η συνεχής εισαγωγή νέων ευαίσθητων ατόμων είναι επαρκής για να παλέψει σε κάποιο βαθμό για την ύπαρξη επιδημικών κυμάτων, τα τελευταία κύματα πάντοτε καταστέλλονται έχοντας μια σταθερή επιδημική κατάσταση. Αυτό 4σ όμως ακριβώς δεν παρατηρείται στην περίπτωση μας, οπότε θα συνεχίσουμε με μια στοχαστικό τύπο για να δούμε εάν αυτός μπορεί να μας εξυπηρετήσει καλύτερα. 29

31 2.4.2 Στοχαστική περίπτωση Το στοχαστικό μας μοντέλο δεν διαφέρει κατά πολύ από το στοχαστικό μοντέλο της προηγούμενης ενότητας που αφορούσε τις γενικές επιδημίες. Σε αυτό το μοντέλο υπάρχουν τρεις πιθανοί τύποι μεταφοράς σε χρόνο Δt. Όπως προηγουμένως, έχουμε X(t), Y(t) για να παρουσιάσουμε τον αριθμό των ευαίσθητων και μολυσματικών ατόμων σε t, αντίστοιχα, με πιθανότητα P uv (t). Πρώτον, μια νέα μόλυνση θα συμβεί σε χρόνο Δt με πιθανότητά βxyδt και η ποσότητα u θα μειωθεί κατά μία μονάδα ενώ η ποσότητα v θα αυξηθεί κατά μία μονάδα. Δεύτερων, μια απομάκρυνση θα συμβεί με πιθανότητα γyδt και τότε η ποσότητα v θα μειωθεί κατά μία μονάδα. Τρίτον, θα γίνει εισαγωγή νέων ευαίσθητων ατόμων με πιθανότητα μδt, με αποτέλεσμα να αυξηθεί κατά μία μονάδα η ποσότητα u. Επομένως, οι μεταφορές θα έχουν ως εξής: (j, k) = ( 1, +1), (0, 1), (+1,0) και f 1,+1 = βxy, f 0, 1 = γy, f 1,0 = μ Η πιθανότητα για την γεννήτρια συνάρτηση είναι: P = t β(w2 wz) 2 p P + γ(1 w) + μ(z 1)P (2.16), με αρχική συνθήκη z w w P(z, w, 0) = z n w a. Η βασική εξίσωση για την διαδικασία μπορούμε να την χρησιμοποιήσουμε ώστε να βρούμε τις διαφορικές εξισώσεις για τις ατομικές πιθανότητες P uv, αλλά αυτό δεν έχει αποφέρει αποτελέσματα σε κάποια έρευνα. Παρά τις δυσκολίες αντιμετώπισης του πλήρους στοχαστικού μοντέλου της επιδημίας με την εισροή νέων ευαίσθητων ατόμων, ορισμένες βασικές ιδιότητες της διαδικασίας μπορούν να διασαφηνιστούν τουλάχιστον κατά προσέγγιση. 30

32 Κεφάλαιο 3: Βασικά Επιδημιολογικά Μοντέλα 3.1 Εισαγωγή Η δημιουργία και η εξάπλωση μολυσματικών ασθενειών είναι ένα σύνθετο φαινόμενο με διάφορους παράγοντες όπως το περιβάλλον στο οποίο το παθογόνο και πιθανοί δέκτες βρίσκονται, ο πληθυσμός που εκτίθεται σε αυτό, καθώς και οι δυναμικές του πληθυσμού που μελετάται. Ο ρόλος των μαθηματικών στην επιδημιολογία είναι να μοντελοποιήσει την δημιουργία και την εξάπλωση ενός ιού. Μια κυρίαρχη μέθοδος για να γίνει αυτό, είναι να χωριστεί ο πληθυσμός σε μικρότερες ομάδες-διαμερίσματα υπό ορισμένες παραδοχές, οι οποίες αντιπροσωπεύουν την ευπάθειά τους έναντι στον ιό που βρίσκεται στο σύστημα. Τέτοιου είδους μοντέλα καλούνται διαχωριστικά μοντέλα στον τομέα της επιδημιολογίας και χρησιμεύουν για την κατανόηση των συστημάτων και των δυναμικών που δρα ο ιός. Δύο πιο κοινά διαμερίσματα που υπάρχουν σε κάθε επιδημικό μοντέλο είναι το ευαίσθητο S και το μολυσμένο Ι. Σε μοντέλα που περιέχουν μόνο αυτά τα δύο διαμερίσματα, ο δεδομένος πληθυσμός χωρίζεται αρχικά μόνο σε αυτά τα διαμερίσματα. Το S αντιπροσωπεύει άτομα που είναι υγιή αλλά ευαίσθητα να μολυνθούν και το Ι εκπροσωπεί τα άτομα που είναι μολυσμένα αλλά είναι σε θέση να ανακάμψουν. Από αυτή τη διαμερισματοποίηση, μπορούν να υπάρξουν πολλές αλληλεπιδράσεις μέσα στον πληθυσμό. Σε διάφορα μοντέλα τα άτομα μπορούν να κινηθούν τυχαία από το ένα διαμέρισμα στο άλλο με ορισμένους καθορισμένους ρυθμούς και όχι με καθοριστικό τρόπο, δεδομένου ότι τα στοχαστικά μοντέλα μπορούν καλύτερα να καταγράψουν τη δυναμική της εξάπλωσης της νόσου, όπως η γρίπη. Για παράδειγμα, αν ένα άτομο είναι πιο πιθανό να μολυνθεί όταν περιβάλλεται από πολλά μολυσμένα άτομα, αυτό δεν αποτελεί εγγύηση. Λαμβάνοντας υπόψη το απλούστερο μοντέλο δύο διαμερισμάτων, τα υγιή άτομα μπορούν να μεταβαίνουν τυχαία από το S στο Ι με κάποιο ρυθμό μόλυνσης που είναι αποτέλεσμα αλληλεπιδράσεων με 31

33 μολυσμένα άτομα. Ομοίως, τα μολυσμένα άτομα μπορούν να έχουν τυχαία μετάβαση από Ι σε S με κάποιο ρυθμό ανάκτησης, αυτό είναι αποτέλεσμα της ανάκαμψης από τη μόλυνση. Περισσότερες λεπτομέρειες σχετικά με τον τρόπο καθορισμού αυτών των ποσοστών παρέχονται αργότερα. Εκτός από τα μοντέλα με μόνο δύο διαμερίσματα, υπάρχουν και άλλα μοντέλα επιδημίας που αποσκοπούν στη σύλληψη πιο χαρακτηριστικών ρεαλιστικών ασθενειών και των διαδικασιών διάδοσης. Καταγραφή περισσότερων χαρακτηριστικών μιας συγκεκριμένης ασθένειας ή διεργασίας γίνεται συχνά με την προσθήκη περισσότερων διαμερισμάτων, όπως το R που αντιπροσωπεύει τα άτομα που δεν είναι πλέον επιρρεπή στη μόλυνση. Αυτό το διαμέρισμα μπορεί να αναφέρεται σε νεκρό, εμβολιασμένο ή ανοσοποιητικό άτομο. Για παράδειγμα, αυτό το πρόσθετο διαμέρισμα μπορεί να είναι χρήσιμο στη μοντελοποίηση μιας ασθένειας όπως η ανεμοβλογιά, όπου ένα άτομο αποκτά ασυλία μετά την ανάκτηση από την πρώτη φορά. Εν συντομία, αυτή η ενότητα επικεντρώνεται σε δύο από τα παλαιότερα επιδημικά μοντέλα, γνωστά ως ευαίσθητα-μολυσμένα-αφαιρεμένα (SIR) και τα ευαίσθητα-μολυσμένα-ευαίσθητα (SIS) μοντέλα. 3.2 Μοντέλο SI Το μοντέλο SI είναι ένα από τα βασικά μοντέλα επιδημιολογίας. Στο μοντέλο αυτό οι κόμβοι μπορούν να μεταφερθούν από την κατάσταση του επιρρεπή στην κατάσταση του μολυσμένου. Ουσιαστικά είναι το πιο απλοποιημένο επιδημιολογικό μοντέλο και η βάση για τα μοντέλα που θα αναφερθούν στις επόμενες ενότητες. Το μοντέλο αυτό περιγράφεται από τις εξής σχέσεις: ds dt = α Ν SI (3.1) di dt = α Ν SI (3.2) 32

34 Επειδή στο μοντέλο αυτό οι πιθανές καταστάσεις είναι δύο (Ευπαθής Μολυσμένος) έχουμε δύο διαφορικές εξισώσεις που περιγράφουν στην κάθε χρονική στιγμή ποιος είναι ο αριθμός των ατόμων που είναι μολυσμένα και ποια υγιή. Η ιδιαιτερότητα του μοντέλου αυτού είναι πως εάν μολυνθεί ένας κόμβος, παραμένει για πάντα μολυσμένος. Στα μοντέλα αυτά ένας πληθυσμός ξεκινά με ένα ποσοστό μολυσμένων κόμβων και στην συνέχεια μελετώνται πόσα βήματα χρειάζονται έως ότου να μολυνθεί όλος ο πληθυσμός. Αφού δεν υπάρχει πιθανότητα ίασης τέτοια μοντέλα χρησιμοποιούνται σε ασθένειες όπως ο HIV ή στην πληροφοριακή για περιπτώσεις όπου η πληροφορία αφού μεταδοθεί δεν χάνεται ποτέ (λ.χ. ένας ιός εξαπλώνεται σε ένα δίκτυο και καταστρέφει τον δίσκο του μηχανήματος που καταλαμβάνει). Σχήμα 4: Περιγραφή του κλασσικού επιδημικού μοντέλου SI. 33

35 3.3 Μοντέλο SIR Η ιστορία της επιδημιολογίας ξεκινά από τον Ιπποκράτη το 400 π.χ. Συνεχίζεται με τον John Graunt's με το βιβλίο του Natural and Political Observations made the Bills of Mortality(1662) και τέλος με τον Louis Pasteur και Robert Koch στα μέσα Η ιστορία της μαθηματικής επιδημιολογίας ξεκίνα με τον Daniel Bernoulli ο οποίος έδειξε το μοντέλο με τον εμβολιασμό ενάντια της ευλογιάς ώστε να αυξήσει την υπολογιζόμενη διάρκεια ζωής των Γάλλων (1760). Έπειτα έχουμε το απλό επιδημικό μοντέλο του Ross (1911) και τέλος το γενικό επιδημικό μοντέλο Kermack-McKendrick s, πάνω στο οποίο θα στηριχθεί η ανάλυση των μοντέλων παρακάτω (1927). Επιδημίες και ιατρική αποτελούν μια συνεχόμενη μάχη. Οι σύγχρονες τεχνολογικές πρόοδοι έχουν συμβάλει στην ανάπτυξη των αποτελεσματικότερων φαρμάκων από αυτών του παρελθόντος. Με τον ερχομό των ιδιαίτερα προηγμένων μικροσκοπίων και του γονιδιώματος που επακολούθησαν στην τεχνολογία, οι ερευνητές είναι σε θέση να αξιολογήσουν τους ιούς ακριβώς και να αναπτύξουν αποδοτικά φάρμακα. Παρά τις σύγχρονες τεχνολογικές και ιατρικές προόδους, οι επιδημίες συνεχίζουν να απειλούν χιλιάδες ζωές κάθε έτος. Επειδή τα μικρόβια μεταβάλλονται συχνά για να προσαρμοστούν στο περιβάλλον τους, η ανάπτυξη μιας θεραπείας γίνεται ολοένα και περισσότερο δύσκολη. Μια μεγάλη περίοδος παρατήρησης είναι απαραίτητη για να λάβει τις εξακριβωμένες πληροφορίες των ιών. Έτσι λοιπόν για να καταλάβουμε καλύτερα την εξάπλωση των επιδημιών στους πληθυσμούς μελετάμε τα SIR models. Πιο συγκεκριμένα, το SIR model είναι ένα επιδημιολογικό μοντέλο που υπολογίζει το θεωρητικό αριθμό ανθρώπων που μολύνονται με μια μεταδοτική ασθένεια σε έναν κλειστό πληθυσμό κατά τη διάρκεια του χρόνου. Ένα από τα απλούστερα SIR models είναι το Kermack-McKendrick Model, όπως αναφέραμε πριν από λίγο, το οποίο προτάθηκε για να εξηγηθεί η γρήγορη άνοδος και κάθοδος στον αριθμό μολυσμένων ασθενειών που παρατηρήθηκε στις επιδημίες όπως η πανούκλα (Λονδίνο , Βομβάη 1906) και η χολέρα (Λονδίνο 1865). Στην επιδημιολογία το μοντέλο SIR χρησιμοποιείται πιο συχνά ως το πιο ρεαλιστικό μοντέλο για την μετάδοσης μιας νόσου. Το SIR μοντέλο παρουσιάζει μια συμπεριφορά 34

36 ανάλογα με όρια. Με άλλα λόγια, εάν οι παράμετροι επιδημίας έχουν κάποια κρίσιμη τιμή, ο ιός στο δίκτυο με Ν κόμβους πεθαίνει πριν το μεγαλύτερο μέρος του πληθυσμού προλάβει να μολυνθεί. Εάν οι παράμετροι αυτοί είναι πάνω από το όριο, η επιδημία θα φτάσει στο μεγαλύτερο μέρος του πληθυσμού. Οι Kermack και McKendrick (ΚΜ) ορίζουν το ντετερμινιστικό μοντέλο επιδημίας με σταθερό πληθυσμό Ν ατόμων και τρεις καταστάσεις (SIR). Θεωρείται βασικό μοντέλο καθώς τα αποτελέσματα του είναι ένα σημείο αναφοράς για την επιδημιολογία. Η επέκταση του και η εισαγωγή νέων παραμέτρων οδήγησε στην δημιουργία διαφόρων, πιο σύγχρονων μοντέλων επιδημίας. Κύριο αποτέλεσμα τους είναι η αντιμετώπιση μιας επιδημίας. Ορίζονται τα κρίσιμα σημεία που διαχωρίζουν την επιδημία από μια απλή μόλυνση. Το μοντέλο αυτό έχει τα εξής χαρακτηριστικά: 1) Ο πληθυσμός θεωρείται σταθερός και διαμερίζεται σε τρία υποσύνολα. 2) Το σύνολο των ανθρώπων που είναι επιρρεπείς με την ασθένεια και συμβολίζεται με S ή S(t) αν θέλουμε να δείξουμε ότι εξαρτάται η πληθωρικότητα του συνόλου από τον χρόνο. 3) Το σύνολο των ασθενών I ή I(t) και 4) Και το σύνολο των υγιών ανθρώπων, που συμβολίζουμε με R ή R(t). Σε ένα SIR μοντέλο διαιρούμε τον πληθυσμό σε τρεις ομάδες: Ευπαθή άτομα S(t) Μολυσμένα άτομα I(t) Ανακτημένα άτομα (εμβολιασμένα ή μη επιρρεπή ως προς την μόλυνση) R(t) Οι υποθέσεις που κάνουμε για αυτό το μοντέλο είναι ότι το μέγεθος του πληθυσμού είναι μεγάλο και σταθερό δηλαδή έχουμε S(t) + I(t) + R(t). Δεν υπάρχει καμία γέννηση, θάνατος, μετανάστευση ή αποδημία. Επίσης, δεν υπάρχει καμία λανθάνουσα περίοδος, ενώ η περίοδος επώασης του μολυσματικού πράκτορα είναι στιγμιαία. Η διάρκεια της μολυσματικότητας είναι ίδια με το μήκος της ασθένειας και έχουμε ένα ομοιογενή πληθυσμό (χωρίς ηλικία, χώρο και κοινωνική δομή). Τέλος, ο ρυθμός 35

37 μόλυνσης είναι ανάλογος με τον αριθμό των μολυσμένων ατόμων και ο ρυθμός αποκατάστασης είναι σταθερός. Για το ντετερμινιστικό μοντέλο SIR με S η συνάρτηση ευπαθών ατόμων στον χρόνο, I η συνάρτηση των μολυσμένων και R η συνάρτηση των απομακρύνσεων μπορούμε να ορίσουμε τις εξισώσεις: ds dt = α Ν di dt = I (α Ν SI (3.3) S γ) (3.4) dr dt = γi (3.5) Όπου έχουμε S(0) + I(0) + R(0) = N, ή αλλιώς η αρχική κατάσταση των ευπαθών, μολυσμένων και αναρρωμένων είναι ίση με τον πληθυσμό. Επίσης, α είναι ο ρυθμός μόλυνσης, και γ είναι ο μέσος ρυθμός ιάσεων/θανάτων. Εδώ είναι σημαντικό να κάνουμε την παρατήρηση ότι στην πραγματικότητα σε ένα πληθυσμό δεν έχουν όλοι την ίδια πιθανότητα να κολλήσουν μια ασθένεια και αυτό το καταλαβαίνουμε γιατί παίζουν ρόλο παράγοντες όπως το περιβάλλον, ο εμβολιασμός κ.α. Αν ένα άτομο έχει μολυνθεί τότε μπορεί να μεταδώσει την ασθένεια σε β το πλήθος από άτομα την ίδια χρονική στιγμή αναλόγως τις επαφές που έχει με υγιή αλλά επιρρεπή άτομα. Αυτό συνεπάγεται ότι ο ασθενής είναι ικανός να προκαλέσει α N NC = αc (3.6) το πλήθος από μολύνσεις, επίσης κάθε χρονική στιγμή, με C την πιθανότητα επαφής. Το εάν θα ξεσπάσει επιδημία εξαρτάται από την αρχική κατάσταση, δηλαδή το ποσοστό του πληθυσμού που είναι ευπαθές (susceptibles) κατά την έναρξη της επιδημίας. Αυτή η εξάρτηση της εξάπλωσης στην αρχική κατάσταση είναι ιδιαίτερο χαρακτηριστικό του μοντέλου SIR. Επίσης για την δεύτερη και τρίτη σχέση, που δεν είναι τίποτα άλλο από μια παράγωγος ως προς το χρόνο, η υπόθεση εργασίας είναι ότι το πλήθος των ατόμων που φεύγουν από το σύνολο S πάνε στο σύνολο Ι, όπως μπορούμε και να αναπαραστήσουμε με το παρακάτω σχήμα 5. 36

38 Σχήμα 5: Ένα μοντέλο ευπαθή-μολυσμένο-ανακτημένο σε τρία κράτη-διαμερίσματα. Ένα άτομο i στην ευαίσθητη κατάσταση S μπορεί να μεταβεί στη μολυσμένη κατάσταση με κάποια συχνότητα μόλυνσης β i eff = α και από τη μολυσμένη κατάσταση Ι να μετέβη στη κατάσταση απομάκρυνσης R με κάποιο ρυθμό ανάκτησης δ i =γ. Το παραπάνω σχήμα είναι το διάγραμμα καταστάσεων για το επιδημιολογικό μοντέλο SIR, όπου η παράμετρος β i eff εκφράζει την συχνότητα των κρουσμάτων και η παράμετρος δ i συμβολίζει το ποσοστό των ασθενών που θεραπεύονται ανά χρονική στιγμή. Επιπλέον είναι αξιοσημείωτο ότι το σύστημα διαφορικών εξισώσεων που παρουσιάσαμε πιο πάνω για το μοντέλο SIR δεν είναι γραμμικό και άρα δεν έχει σίγουρα μια αναλυτική λύση τα γραμμικά συστήματα διαφορικών εξισώσεων λύνονται αρκετά εύκολα και αναλυτικά αλλά και αριθμητικά και ως εκ τούτου πρέπει να αναζητήσουμε λύσεις με άλλους τρόπους. Η υπόθεση που κάναμε πριν θα μας οδηγήσει στην λύση, δηλαδή ότι ο συνολικός πληθυσμός παραμένει σταθερός. Έτσι έχουμε: S(t) + I(t) + R(t) = N ds dt + di dt + dr dt = 0 (3.7) Διαιρώντας με την τρίτη εξίσωση (3.5) από το σύνολο εξισώσεων κατά μέλη έχουμε: S(t) = S(0)e β(r(t) R(0)) γ 37

39 Από αυτή την εξίσωση προκύπτει και η επόμενη σχέση: Όπου η σχέση αυτή μας λέει ότι γενικά στο τέλος μιας επιδημίας αυτό δηλώνει το άπειρο ότι δεν θα έχουν αναρρώσει όλοι οι ασθενείς. Αυτό συνεπάγεται ότι στο τέλος μιας επιδημίας υπάρχει πτώση των μολυσμένων (ασθενών) αλλά όχι η καθολική έλλειψη ευπαθών ατόμων. Επιπλέον, από τις παραπάνω σχέσεις συμπεραίνουμε ότι δεν μολύνεται όλος ο πληθυσμός. Σχήμα 6: Εξάπλωση της επιδημίας. Το παραπάνω διάγραμμα (σχήμα 6) δείχνει ακριβώς την εξάπλωση μιας επιδημίας. Η βασική αξία που κυβερνά τη χρονική εξέλιξη όλων των παραπάνω εξισώσεων είναι ο αποκαλούμενος αναπαραγωγικός αριθμός, οποίος είναι η σημαντικότερη ποσότητα στην επιδημιολογία. Έχουμε R 0 να ορίζεται ως αριθμός δευτεροβάθμιων μολύνσεων 38

40 προκαλούμενος από ένα μεμονωμένο μολυσμένο άτομο που εισάγεται σε έναν πληθυσμό που αποτελείται από ευπαθείς μόνο. Όταν R 0 < 1, κάθε άτομο που προσβάλλεται από την ασθένεια θα μολύνει λιγότερους από ένα άτομο πριν ανακτήσει, έτσι το ξέσπασμα της επιδημίας θα εξαντληθεί σταδιακά( δηλαδή di dt < 0). Σχήμα 7: Εξάπλωση γενικής επιδημίας - περίπτωση 1 (δηλαδή όταν R 0 < 1) Από το παραπάνω διάγραμμα (Σχήμα 7) παρατηρούμε ότι ο αριθμός των ευπαθή ατόμων αρχικά μειώνεται και έπειτα γίνεται σταθερός, ο αριθμός των μολυσμένων επίσης αρχικά μειώνεται και τελικά μηδενίζεται το οποίο δείχνει το ότι η επιδημία δεν 39

41 εξαπλώνεται. Ο αριθμός των ανακτημένων τέλος αρχικά αυξήθηκε και έπειτα σταθεροποιήθηκε. Όταν το R 0 > 1, κάθε άτομο που συλλαμβάνει την ασθένεια θα μολύνει περισσότερα από ένα πρόσωπα, έτσι η επιδημία θα εξαπλωθεί (δηλαδή di dt > 0). Σχήμα 8: Εξάπλωση γενικής επιδημίας περίπτωση 2 (δηλαδή όταν R 0 > 1). Από το παραπάνω διάγραμμα (Σχήμα 8) παρατηρούμε ότι ο αριθμός των ευπαθή ατόμων μειώνεται αρχικά σημαντικά και έπειτα σταθεροποιείται ενώ παράλληλα ο αριθμός των μολυσμένων αυξάνεται το ίδιο χρονικό διάστημα το οποίο δηλώνει και την εξάπλωση της επιδημίας. Ο αριθμός των ανακτημένων αυξάνεται με μικρό ρυθμό και 40

42 τελικά σταθεροποιείται, σε αντίθεση όταν R 0 < 1, όπου η αύξηση γίνεται με μεγαλύτερη ρυθμό. Το επόμενο βήμα είναι να δούμε ότι η σχέση για τα μολυσμένα άτομα γράφεται: di dt = I(β S γ) (3.8) t 0 Δηλαδή, ln(i(t)) = β S(x)dx γt, και άρα έχουμε, I(t) = e α C > 1 (3.9) γ S(0) t γt+β 0 S(x)dx. Άρα αν : Τότε I (0) > 0 δηλαδή ότι θα υπάρξει ένα επιδημιολογικό ξέσπασμα με μια αύξηση του πλήθους των ασθενών και ως συνέπεια όλων αυτών αντιλαμβανόμαστε την σημαντικότητα του λόγου α γ C. 3.4 Μοντέλα SIS Μία παραλλαγή του μοντέλου SIR, αποτελεί το μοντέλο SIS, όπου λόγω της απουσίας της κλάσης R, δεν υφίσταται η έννοια της μόνιμης ανοσίας απέναντι στον ιό. Σε αυτή την περίπτωση, θεωρούμε ότι τα άτομα θα ανήκουν είτε στην κλάση S είτε στην κλάση I και η μετάβαση από την μία κλάση στην άλλη, είναι αμοιβαία. Το μοντέλο SIS εκφράζει κατά κάποιο λόγο την εμπειρία μας ότι σε μερικές ασθένειες τα άτομα δεν αποκτούν μεγάλο χρόνο ανοσίας μετά την ασθένεια και άρα γίνονται αμέσως ευπαθή μετά την ίαση. Σε αυτήν την περίπτωση το διάγραμμα ροής είναι το παρακάτω σχήμα 9: 41

43 Σχήμα 9: ένα άτομο που ανήκει στην μολυσματική κατάσταση Ι μεταφέρεται στην ευπαθή κατάσταση S και το αντίστροφο. Σε αυτό το μοντέλο λοιπόν ο συνολικός πληθυσμός Ν διαμερίζεται σε δύο μόνο υποσύνολα τα S και I, το σύνολο των ευπαθών και το σύνολο των ασθενειών. Ομοίως και σε αυτό το μοντέλο ισχύουν οι υποθέσεις που κάναμε για το SIR μοντέλο, δηλαδή ότι ο πληθυσμός είναι σταθερός και όλα τα άτομα έχουν την ίδια πιθανότητα β να προσβληθούν από την ασθένεια. Επίσης ένα άτομο μπορεί να μεταδώσει την ασθένεια σε β το πλήθος άτομα και η αναλογία ευαίσθητων-συνολικό αριθμό ατόμων είναι S άρα κάθε άτομο είναι δυνατόν να προκαλέσει βn N (S ) = βs μολύνσεις και αυτό N συνεπάγεται ότι τα άτομα που είναι ασθενείς I το πλήθος μπορούν να προκαλέσουν άλλες IβS το πλήθος από μολύνσεις. Το σύστημα διαφορικών εξισώσεων (3.3) που περιγράφει αυτό το μοντέλο είναι το παρακάτω: ds dt di dt = βsi + αi (3.10) = βsi αi (3.11) Έχομε S(t) + I(t) = N di + ds di = 0 (3.12) και άρα dt dt dt = (βn α)i βi2 (3.13) Το συγκεκριμένο σύστημα εξισώσεων έχει επίλυση με αναλυτικό τρόπο αρκεί να κάνουμε τον μετασχηματισμό I = 1 τότε προκύπτει η λύση : y 42

44 y(t) = Ce (α Nβ)t + β (3.14) Άρα, I(t) = 1 Ce (α Nβ)t +β (3.15) 3.5 Μοντέλα SEIS, SEIR Παραλλαγές του μοντέλου SIR, με περισσότερες καταστάσεις, αποτελούν τα μοντέλα SEIS και SEIR. Στο μοντέλο SEIS, η επιπρόσθετη κλάση Ε (exposed), αφορά τα άτομα τα οποία έχουν εκτεθεί στον ιό, έχουν ασθενήσει αλλά για κάποιο χρονικό διάστημα δεν μπορούν να μεταδώσουν την ασθένεια. Μετά το πέρας αυτού του διαστήματος, τα άτομα μεταβαίνουν στην κατάσταση Ι όπου είναι ασθενείς και μπορούν να μολύνουν κάποιον. Επιπλέον, δεν τίθεται θέμα ανοσίας σε αυτό το μοντέλο καθώς η μετάβαση από την κατάσταση Ι, είναι μόνο προς την κατάσταση S. Οι διαφορικές εξισώσεις που περιγράφουν το μοντέλο, παρουσιάζονται παρακάτω: ds dt de dt di dt = B βsi μs + γi (3.16) = βsi (ε + μ)e (3.17) = εe (γ + μ) (3.18) Σχήμα 10: Διάγραμμα καταστάσεων για το μοντέλο SEIS. Η παράμετρος λ συμβολίζει τη συχνότητα κρουσμάτων μόλυνσης, η παράμετρος e το ποσοστό των ατόμων που έχουν εκτεθεί, είναι στην κλάση E και μεταβαίνουν στην κλάση Ι και η παράμετρος r, συμβολίζει το ποσοστό των ασθενών που θεραπεύονται 43

45 ανά χρονική στιγμή. Επιπλέον, με Β συμβολίζεται ο μέσος ρυθμός γεννήσεων και με μ ο μέσος ρυθμός θανάτων. Αντίστοιχα, στο μοντέλο SEIR, παρατηρείται παρόμοια συμπεριφορά με το μοντέλο SIR, με τη διαφοροποίηση ότι υπάρχει ενδιάμεση κατάσταση ανάμεσα στις καταστάσεις S και I, ή E που αφορά τα άτομα τα οποία έχουν εκτεθεί στον ίο, έχουν ασθενήσει αλλά για κάποιο χρονικό διάστημα δεν μπορούν να μεταδώσουν την ασθένεια. Σε αυτήν την παραλλαγή μοντέλου, παρατηρείται μόνιμη ανοσία, λόγω της παρουσίας της κατάστασης R. Οι διαφορικές εξισώσεις που περιγράφουν το μοντέλο, παρουσιάζονται παρακάτω: ds dt de dt di dt dr dt = B βsi μs (3.19) = βsi (ε + μ)e (3.20) = εe (γ + μ)i (3.21) = γi μr (3.22) όπου με B συμβολίζεται ο μέσος ρυθμός γεννήσεων, με μ ο μέσος ρυθμός θανάτων, με ε η συχνότητα έκθεσης, και με γ ο μέσος ρυθμός ιάσεων/θανάτων. Σχήμα 11: Διάγραμμα καταστάσεων για το μοντέλο SEIR. Η παράμετρος λ συμβολίζει τη συχνότητα κρουσμάτων μόλυνσης, η παράμετρος e το ποσοστό των ατόμων που έχουν εκτεθεί και είναι στην κλάση Ε και μεταβαίνουν στην κλάση Ι και η παράμετρος r συμβολίζει το ποσοστό των ασθενών που θεραπεύονται ανά χρονική στιγμή. 44

46 Κεφάλαιο 4: Μοντελοποίηση μολυσματικών ασθενειών με τη χρήση Μαρκοβιαννών μοντέλων 4.1 Εισαγωγή Οι αποφάσεις ιατρικής θεραπείας είναι συχνά διαδοχικές και αβέβαιες. Οι Μαρκοβιαννές διαδικασίες αποφάσεων ΜΔΑ ή (MDPs) είναι μια κατάλληλη τεχνική για την μοντελοποίηση και την επίλυση στοχαστικών και δυναμικών αποφάσεων. Οι ΜΔΑ παρέχουν βέλτιστες πολιτικές για στοχαστικές και δυναμικές αποφάσεις. Σε αυτήν την ενότητα θα περιγράψουμε τις Μαρκοβιαννές διαδικασίες, πως διαμορφώνουν μοντέλα στο πλαίσιο της ιατρικής θεραπείας και πότε τα ΜΔΑ είναι πιο κατάλληλες τεχνικές. Επίσης, θα αναφερθούμε και σε επιλεγμένες επιτυχημένες εφαρμογές των ΜΔΑ οι οποίες αφορούν φυσικά ιατρικές θεραπείες. Σημαντικές έννοιες που θα χρησιμοποιήσουμε παρακάτω είναι: 1. Μαρκοβιαννές διαδικασίες αποφάσεων, 2. στοχαστικά δυναμικά προγράμματα, 3. βέλτιστη ιατρική θεραπεία, 4. στοχαστικός βέλτιστος έλεγχος και, 5. ιατρική λήψη αποφάσεων. Οι Μαρκοβιαννές διαδικασίες αποφάσεων, οι οποίες αναφέρονται και ως στοχαστικά δυναμικά προγράμματα ή στοχαστικά προβλήματα ελέγχου, είναι μοντέλα λήψης διαδοχικών αποφάσεων όταν το αποτέλεσμα των οποίων είναι αβέβαιο. Για την ανάλυση ενός ΜΔΑ μοντέλου απαιτούνται πληροφορίες για τα παρακάτω χαρακτηριστικά: χρονικοί ορίζοντες αποφάσεων, καταστάσεις, ενέργειες, αμοιβές και πιθανότητες μετάβασης. Σε κάθε χρονική περίοδο αποφάσεων ή χρονική στιγμή, το σύστημα μας παρέχει την απαραίτητη πληροφορία ώστε από την κατάσταση στην οποία βρισκόμαστε να διαλέγουμε την κατάλληλη ενέργεια μέσα από ένα σύνολο ενεργειών. Οι πιθανότητες μετάβασης εξαρτώνται από την κατάσταση αλλά και από την 45

47 επιλογή της ενέργειας. Έτσι σε μία συγκεκριμένη χρονική στιγμή ακολουθώντας έναν κανόνα αποφάσεων που μπορεί να εξαρτάται είτε μόνο από την παρούσα κατάσταση είτε και από τις καταστάσεις του παρελθόντος είμαστε σε θέση να επιλέξουμε μία ενέργεια. Για μελλοντικές τώρα καταστάσεις η πολιτική που θα ακολουθήσουμε είναι αυτή που θα μας δώσει τις απαραίτητες πληροφορίες για την επιλογή των ενεργειών μας. Η πολιτική δηλαδή είναι μία ακολουθία κανόνων αποφάσεων. Σκοπός του προβλήματος είναι την πρώτη χρονική περίοδο να διαλέξουμε την κατάλληλη πολιτική που θα ακολουθήσουμε, προσπαθώντας έτσι να ελέγξουμε τη συμπεριφορά του συστήματος και να πετύχουμε τη βελτιστοποίησή του. Μία Μαρκοβιαννή πολιτική είναι μία πολιτική σύμφωνα με την οποία η επιλογή μιας ενέργειας σε κάθε χρονική στιγμή n=0,1,2,... εξαρτάται μόνον από τη χρονική στιγμή n και από την κατάσταση της διαδικασίας σ αυτή τη χρονική στιγμή. Ο στόχος ενός ΜΔΑ μοντέλου είναι να παράσχει μια βέλτιστη πολιτική, η οποία αποτελεί στρατηγική απόφασης για τη βελτιστοποίηση ενός συγκεκριμένου κριτηρίου όπως η μεγιστοποίηση μιας συνολικής μειωμένης ανταμοιβής. Με αυτόν τον τρόπο, οι ΜΔΑ διαφέρουν από άλλες στοχαστικές τεχνικές μοντελοποίησης, όπως προσομοίωση διακριτών συμβάντων ή Markov διαδικασίες. Οι ΜΔΑ όχι μόνο παρέχουν τις συνέπειες μιας πολιτικής, εγγυώνται ότι δεν υπάρχει καλύτερη πολιτική. Επιπλέον, ένα σημαντικό πλεονέκτημα αυτών των μοντέλων για την λήψη αποφάσεων στην ιατρική θεραπεία είναι η ευελιξία τους. Ακόμη, ένα ΜΔΑ μοντέλο απαιτεί αρκετές παρατηρήσεις για να εκτιμηθεί ακρίβεια στις πιθανότητες μετάβασης στην επόμενη χρονική στιγμή,όσο αφορά κάθε πιθανή περιγραφή της υγείας των ασθενών και κάθε πιθανή θεραπεία. Στην πράξη αυτό σημαίνει ότι τα δεδομένα ποιότητας που καλύπτουν χιλιάδες ασθενείς είναι απαραίτητα για ένα επιτυχημένο και ρεαλιστικό μοντέλο ΜΔΑ. Τέλος, η αυξανόμενη χρήση ηλεκτρονικών αρχείων από τα ιατρικά συστήματα ενισχύει την ικανότητα των ερευνητών να χρησιμοποιούν μεγάλες ποσότητες κλινικών δεδομένων από χιλιάδες ασθενείς. 46

48 4.2 Βασικά στοιχεία της μεθοδολογίας του μοντέλου ΜΔΑ Οι Μαρκοβιαννές διαδικασίες αποφάσεων ή τα στοχαστικά δυναμικά προγράμματα αποτελούν ένα γενικό πλαίσιο για την μοντελοποίηση των δυναμικών συστημάτων υπό αβεβαιότητα. Οι διαδικασίες αυτές είναι προσανατολισμένες στην ανάπτυξη σεναρίων και στη λήψη αποφάσεων σχετικά με τις βέλτιστες τακτικές, οι οποίες εάν εφαρμοστούν μπορούν να προκαλέσουν τη μετάβαση στην επιθυμητή κατάσταση. Σχήμα 12: Συμβολική αναπαράσταση προβλήματος διαδοχικών αποφάσεων Κάτω από τις παραδοχές για διαχωρισμό, το ΜΔΑ μοντέλο διακριτού χρόνου μπορεί να εφαρμοστεί σε μια ποικιλία συστημάτων, όπου οι αποφάσεις γίνονται διαδοχικά για την βελτιστοποίηση ενός καθορισμένου κριτηρίου απόδοσης. Επιπλέον, ένα ΜΔΑ συνδέει τις προηγούμενες, τις τρέχουσες και τις μελλοντικές αποφάσεις του συστήματος μέσω του σωστού ορισμού των καταστάσεων του συστήματος, που ορίζονται ως μεταβλητές που περιέχουν τις σχετικές πληροφορίες για την λήψη μελλοντικών αποφάσεων. Το μοντέλο του συστήματος εξελίσσεται με τον ακόλουθο τρόπο: Η κατάσταση του συστήματος που παρατηρείται ( ή μερικώς παρατηρείται), η ενέργεια που έχει ληφθεί, το κόστος που προκύπτει, και το σύστημα που μεταβαίνει σε μια νέα κατάσταση γίνονται σύμφωνα με μια γνωστή κατανομή πιθανότητας. Οι μεταβλητές κατάστασης πρέπει να καθοριστούν έτσι ώστε, δεδομένης της τρέχουσας κατάστασης του συστήματος, οι μελλοντικές μεταβάσεις και ανταμοιβές να είναι ανεξάρτητες από το παρελθόν. Αυτή είναι η τυπική παραδοχή μιας Markov διαδικασίας. Τα ΜΔΑ μοντέλα χρησιμοποιούνται συνήθως για να μοντελοποιούν δυναμικά συστήματα, επομένως θεωρείται ότι οι αποφάσεις συμβαίνουν διαδοχικά. Ωστόσο, οι στατικές αποφάσεις 47

49 μπορούν επίσης να μοντελοποιηθούν χρησιμοποιώντας ΜΔΑ, όταν οι αποφάσεις του προβλήματος ή η δομή ανταμοιβής είναι διαχωρίσιμες Μαρκοβιαννά Μοντέλα διακριτού χρόνου Σε αυτή την υποενότητα, συζητάμε για την κατασκευή μιας γενικευμένης κατηγορίας μοντέλων Markov σε διακριτό χρόνο για μολυσματικές ασθένειες που πληρούν τις απαιτήσεις δυναμικών τεχνικών προγραμματισμού. Για να απεικονιστούν τα βήματα που απαιτούνται για την κατασκευή μοντέλων Markov διακριτικής χρονικής διάρκειας της εξάπλωσης μολυσματικών ασθενειών, θεωρούμε μια υποθετική μολυσματική ασθένεια με φυσικό ιστορικό που μπορεί να συνοψιστεί επαρκώς με σειριακές τάξεις Μ (βλέπε σχήμα 13). Σχήμα 13: Μολυσματική ασθένεια με αριθμό σειριακών τάξεων Μ. Σε ένα δεδομένο χρόνο t, υποδηλώνουμε τον αριθμό των ατόμων στην τάξη C i με X Ci (t), για i {1, 2,., M}. Όπως συμβαίνει με κάθε μοντέλο μολυσματικής νόσου, πρέπει πρώτα να προσδιορίσουμε το σύνολο των τάξεων που μπορούν να περιγράψουν επαρκώς τη δυναμική της ασθένειας που μας ενδιαφέρει. Μόλις εντοπιστεί αυτό το σύνολο των τάξεων, μπορούμε να γράψουμε μια δυναμική εξίσωση κατάστασης, η οποία καθορίζει τη σχέση μεταξύ των αριθμών των ατόμων σε κάθε τάξη (δηλαδή, X Ci (t)). Αυτή η θεμελιώδης εξίσωση χρησιμοποιείται για τον προσδιορισμό των καταστάσεων της ασθένειας που πρέπει να συμπεριληφθούν στη Μαρκοβιαννή διαδικασία. Αν υποθέσουμε ότι στο σχήμα 13 το μέγεθος του πληθυσμού είναι σταθερό και ίσο με Ν, τότε η δυναμική εξίσωση της κατάστασης για αυτή την ασθένεια θα είναι: 48

50 Μ i=1 X Ci (t) = Ν (4.1) Με την εξίσωση (4.1), η κατάσταση της νόσου είναι πλήρως αναγνωρισμένη αν γνωρίζουμε τις M 1 μεταβλητές του {X C1 (t), X C2 (t),.... X CM (t)}, καθώς η μεταβλητή που εξαιρείται καθορίζεται από τις τιμές των άλλων. Η κατάσταση του συστήματος αλλάζει καθώς συμβαίνουν τα γεγονότα, όπως οι γεννήσεις ή οι θάνατοι των ευπαθών, τα επεισόδια μετάδοσης, οι ανακτήσεις ή οι θάνατοι μολυσματικών κ.λπ. Ονομάζουμε αυτά τα συμβάντα δυναμικά γεγονότα οδήγησης. Στο σχήμα 13, το συμβάν οδήγησης από την κλάση C i έως C i+1 δηλώνεται ως C i+1 (t), η οποία είναι μια μη αρνητική διακριτή τυχαία μεταβλητή που αντιπροσωπεύει τον αριθμό μεταβάσεων από την κλάση C i έως C i+1 κατά τη διάρκεια του διαστήματος [ t, t + Δt]. Για παράδειγμα, το συμβάν οδήγησης από την τάξη των ευαίσθητων S στην τάξη των μολυσματικών I, είναι η τυχαία μεταβλητή I (t) που αντιπροσωπεύει τον αριθμό των νέων μολύνσεων που εμφανίζονται κατά τη διάρκεια του διαστήματος [ t, t + Δt]. Έστω P Ci (t)( ) η συνάρτηση μάζας πιθανότητας για την τυχαία μεταβλητή C i (t), δηλαδή P Ci (t)(c) = Pr{ C i (t) = c}, i {2,3,.., M}. Οι τυχαίες μεταβλητές C 2 (t), C 3 (t),, C Μ (t) θεωρούνται ότι διανέμονται ανεξάρτητα και καθορίζονται μόνο από την κατάσταση της νόσου σε χρόνο t, δηλαδή {X C1 (t), X C2 (t),.... X CM (t)}. Αυτή η υπόθεση υπονοεί ότι οι μεταβάσεις από τις καταστάσεις συμβαίνουν ανεξάρτητα η μία από την άλλη. Το δεύτερο βήμα για την κατασκευή διακριτού χρόνου Μαρκοβιαννού μοντέλου είναι να βρεθεί η κατανομή πιθανότητας για κάθε μία από τις τυχαίες μεταβλητές συμβάντος οδήγησης εξαρτώμενη από την κατάσταση της νόσου κατά το χρόνο t: P Ci (t) ( X C1 (t), X C2 (t),.... X CM (t)). Δεδομένου ότι οι τυχαίες μεταβλητές C 2 (t), C 3 (t),, C Μ (t) κατανέμονται ανεξάρτητα, η συνάρτηση μάζας πιθανότητας της τυχαίας μεταβλητής (C 2 (t), C 3 (t),, C Μ (t)) είναι : M P (C 2 (t),c 3 (t),,c Μ (t)) (( C 2, C 3,, C Μ X C1 (t), X C2 (t),.... X CM (t)) = i=2 P Ci (t) (C i X C1 (t), X C2 (t),.... X CM (t)). (4.2) 49

51 Γενικά είναι απλή συνήθως η εύρεση της συνάρτησης πιθανότητας κάθε τυχαίας μεταβλητής συμβάντος οδήγησης και συνεπώς η συνάρτηση μάζας πιθανότητας (4.2). Για να κατασκευάσουμε Μαρκοβιαννό μοντέλο διακριτού χρόνου υπολογίζουμε στη συνέχεια τον πίνακα πιθανότητας μετάβασης των οποίων οι σειρές αντιπροσωπεύουν την κατανομή πιθανότητας της κατάστασης της νόσου στο χρόνο t + Δt, δεδομένης της κατάστασης της νόσου κατά το χρόνο t: Pr {(X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)) = (x 1, x 2,, x Μ ) X C1 (t), X C2 (t),.... X CM (t)}. (4.3) Κατά τον υπολογισμό των πιθανοτήτων μετάβασης (4.3), πρέπει πρώτα να βρούμε έναν τρόπο να συσχετίσουμε την κοινή τυχαία μεταβλητή (X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt) ) στις τυχαίες μεταβλητές του συμβάντος οδήγησης C 2 (t), C 3 (t),, C Μ (t)των οποίων η κοινή συνάρτηση μάζας πιθανότητας υπολογίστηκε στο (2), και δεύτερον, πρέπει να προσδιορίσουμε την κοινή τυχαία μεταβλητή (X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)) εξαρτώμενη από την κατάσταση της ασθένειας κατά το χρόνο t, {X C1 (t), X C2 (t),.... X CM (t)}. Έχουμε Ω Χ(t) για να προσδιορίσουμε την κοινή τ.μ. Αυτές οι δύο συνθήκες μπορούν να επιτευχθούν με δύο σύνολα περιορισμών: δυναμικούς περιορισμούς οδήγησης και δυναμικούς περιορισμούς σκοπιμότητας. Το σύνολο δυναμικών περιορισμού οδήγησης συνοψίζει τις σχέσεις μεταξύ των συμβάντων οδήγησης κατά τη διάρκεια του διαστήματος [t, t + Δ t] και την κατάσταση της νόσου κατά το χρόνο t και t + Δt. Για την ασθένεια στο Σχήμα 13 με σταθερό μέγεθος πληθυσμού, οι δυναμικοί περιορισμοί οδήγησης είναι: X C1 (t + Δt) = X C1 (t) C 2 (t), (4.4) X Ci (t + Δt) = X Ci (t) + C i (t) C i+1 (t), για κάθε i {1,2,3,, M 1}, (4.5) X CM (t + Δt) = X CM (t) + C M (t). (4.6) Αυτές οι εξισώσεις καθορίζουν τις νέες τιμές του (X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)), εάν κατά την περίοδο [t, t + Δt] τα συμβάντα οδήγησης έχουν αξία ( C 2 (t), C 3 (t),, C Μ (t)). Προσθέτοντας τις εξισώσεις (4.4) - (4.6) 50

52 Μ οδηγούμαστε στο αποτέλεσμα i=1 X Ci (t + Δt) = i=1 X Ci (t), η οποία πρέπει να ισούται με N από την δυναμική κατάσταση της εξίσωσης (4.1). Επομένως, ο περιορισμός (4.6) είναι περιττός και μπορεί να αφαιρεθεί. Λύνοντας το σύνολο των εξισώσεων (4.4) και (4.5) για για κάθε i {2,3,, M} έχουμε: i 1 C i (t) = j=1(x Cj (t) X Cj (t + Δt)), για κάθε i {2,3,, M} (4.7) Δεδομένου ότι οι τυχαίες μεταβλητές C i (t), για κάθε i {2,3,, M} είναι μη αρνητικές και δεν μπορούν να ξεπεράσουν τον αριθμό των ατόμων στην τάξη C i 1, το σύνολο των περιορισμών (4.7) μπορεί πλέον να χρησιμοποιηθεί για να εξαχθούν οι δυναμικοί περιορισμοί σκοπιμότητας, οι οποίοι καθορίζουν τις εφικτές κλίμακες για την κατάσταση της νόσου κατά το χρόνο t + Δt, δεδομένου των {X C1 (t), X C2 (t),.... X CM (t)}. Υποθέτοντας ένα σταθερό μέγεθος πληθυσμού, οι δυναμικοί περιορισμοί σκοπιμότητας για το Σχήμα 13 θα είναι: Μ i 1 0 j=1(x Cj (t) X Cj (t + Δt)) X Ci 1 (t), για κάθε i {2,3,, M}. (4.8) Επομένως, στην εύρεση των πιθανοτήτων μετάβασης (4.3), η υποστήριξη της τυχαίας μεταβλητής (X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)), υπό τον όρο {X C1 (t), X C2 (t),.... X CM (t)}, καθορίζεται από το σύνολο δυναμικών περιορισμών σκοπιμότητας (4.8): i 1 Ω Χ(t) = {(x 1, x 2,, x Μ ) N Μ τ. ω j=1(x Cj (t) x j ) X Ci 1 (t), i {2,3,.. M}} (4.9) και η σχέση μεταξύ των τ.μ. (X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)), και (C 1 (t), C 2 (t),, C Μ (t)) καθορίζεται από το σύνολο των δυναμικών περιορισμών οδήγησης (4.7). Έτσι, με τη χρήση της συνάρτησης μάζας πιθανότητας (4.2) και του 51

53 συνόλου της δυναμικής που οδηγεί τις εξισώσεις (4.7), οι πιθανότητες μετάβασης (4.3) μπορούν να υπολογιστούν ως εξής: Pr {(X C1 (t + Δt), X C2 (t + Δt),.... X CM (t + Δt)) = (x 1, x 2,, x Μ ) X C1 (t), X C2 (t),.... X CM (t)} = { 1 P (C 2 (t),c 3 (t),,c Μ (t))( (X Cj (t) x j,.., (X Cj (t) x j ) X C1 (t), X C2 (t),.... X CM (t) εάν (x 1, x 2,, x Μ ) j=1 M 1 j=1 Ω Χ(t) 0, διαφορετικά Συνοψίζοντας, μπορούμε να κατασκευάσουμε το μοντέλο Markov διακριτού χρόνου μέσω των ακόλουθων βημάτων: 1. Ορίζουμε τις κλάσεις και διαμορφώνουμε την δυναμική εξίσωση της κατάστασης (1). 2. Βρίσκουμε την κοινή κατανομή πιθανοτήτων των συμβάντων οδήγησης (2). 3. Δημιουργούμε τους δυναμικούς περιορισμούς οδήγησης και σκοπιμότητας περιορισμοί ((7) και (8)). 4. Υπολογίζουμε τον πίνακα πιθανοτήτων μετάβασης για την αλυσίδα Markov {X C1 (t), X C2 (t),.... X CM (t)): t = 1,2,. }. (4.10) Μαρκοβιαννά μοντέλα διακριτού χρόνου για SIS,SIR Σε αυτήν την ενότητα των Μαρκοβιαννών μοντέλων θα ξεκινήσουμε να αναπτύσσουμε Μαρκοβιαννά μοντέλα διακριτού χρόνου SIS και SIR. Η σημειογραφία που θα έχουμε, 52

54 όπως έχουμε αναφέρει και προηγουμένως είναι η εξής: κατά τη γέννηση, ένα άτομο εισέρχεται στην ευαίσθητη κατηγορία S. Εάν συμβεί επαφή μεταξύ ευαίσθητου και μολυσματικού αυτό έχει ως αποτέλεσμα τη μετάδοση λοίμωξης, και οι ευαίσθητες κινήσεις εκτίθενται στην κλάση Ε, όπου τα άτομα σε αυτή την κατηγορία βρίσκονται σε λανθάνουσα περίοδο και έχουν μολυνθεί αλλά δεν είναι ακόμη μολυσματικά. Όταν λήξει η λανθάνουσα περίοδος, το άτομο εισέρχεται στην μολυσματική κατηγορία Ι και είναι ικανό να μεταδώσει τη μόλυνση. Εάν η μόλυνση καταλήξει σε μόνιμη ανοσία, ένα άτομο που θεραπεύεται από λοίμωξη εισέρχεται στην ανακτημένη κατηγορία R, διαφορετικά το άτομο μετακινείται πίσω στην ευαίσθητη κατηγορία S. Για κάθε μοντέλο που παρουσιάζουμε, υποθέτουμε ότι τα μέλη του πληθυσμού μολύνθηκαν μόνο μέσω επαφής με άλλα μολυσματικά μέλη και ότι οι επαφές κατά τη διάρκεια του διαστήματος [t, t + Δt] συμβαίνουν σύμφωνα με μια ομοιογενή διαδικασία Poisson, με ρυθμό λδt. Αρχικά υποθέτουμε ένα κλειστό μέγεθος πληθυσμού μεγέθους Ν. Α) Γενικά, τα μοντέλα SIS είναι απλά μοντέλα στα οποία τα άτομα κινούνται από την ευαίσθητη τάξη στην μολυσματική τάξη και στη συνέχεια επιστρέφουν στην ευαίσθητη τάξη κατά την ανάκτηση, και δεν υπάρχει ανοσία από προηγούμενη μόλυνση. Υποθέτουμε ότι η μολυσματική περίοδος καθορίζεται σε μήκος Δt, δηλαδή, είναι μολυσματική στο χρόνο t και παραμένει μολυσματική στο διάστημα [t, t + Δt] αλλά θα διαγνωστεί και θα αντιμετωπιστεί αποτελεσματικά στο τέλος αυτής της περιόδου. Το άτομο αυτό θα ξαναγυρίσει στον πληθυσμό ως ευαίσθητο στο χρόνο t + Δt.Το μοντέλο SIS αποτελείται από δύο κατηγορίες: τα ευαίσθητα άτομα C 1 = S και τα μολυσματικά C 2 = I. Έχουμε X s (t) να δηλώνει τον αριθμό των ευαίσθητων στο χρόνο t, X I (t) να δηλώνει τον αριθμό των μολυσματικών στο χρόνο t, I (t) να υποδηλώνει τον αριθμό των νέων λοιμώξεων κατά τη διάρκεια της περιόδου [t, t + Δt] και S (t) να υποδηλώνει τον αριθμό των μολυσματικών που θεραπεύονται κατά την περίοδο [t, t + Δt] και επιστρέφουν στην ευαίσθητη κατηγορία κατά το χρόνο t + Δt. Δυναμική εξίσωση κατάστασης: Για έναν πληθυσμό με σταθερό μέγεθος Ν, η δυναμική εξίσωση κατάστασης θα είναι X s (t) + X I (t) = N, και ως εκ τούτου απαιτείται μόνο μία τάξη για να οριστεί στο Markov μοντέλο. Επιλέγουμε το X s (t) ως την κατάσταση του μοντέλου Markov. 53

55 Κατανομή των οδηγικών γεγονότων: Εδώ διαπιστώνουμε ότι η κατανομή πιθανότητας του συμβάντος οδήγησης I (t) εξαρτάται από την κατάσταση της νόσου κατά το χρόνο t, δηλ., P I (t)(i X s (t)). Για το σκοπό αυτό, ας εισαγάγουμε πρώτα την εξής συμβολική αναφορά: r(t): πιθανότητα όπου ένα ευαίσθητο άτομο μολύνεται κατά την επαφή με ένα μολυσματικό άτομο. β(t): πιθανότητα όπου η επόμενη αλληλεπίδραση ενός τυχαίου ευαίσθητου ατόμου να είναι με ένα μολυσματικό άτομο. q(t): συνολική πιθανότητα όπου ένα μολυσματικό άτομο μολύνεται. Τόσο το r(t) όσο και το β(t) μπορούν να είναι μεταβλητές απόφασης, οι οποίες επηρεάζονται από «επεμβάσεις υγιεινής» (μειώνοντας την πιθανότητα μετάδοσης της επαφής μεταξύ μολυσματικών και ευαίσθητων ατόμων) και «κοινωνική αποστασιοποίηση» (μειώνοντας την πιθανότητα επαφής μεταξύ ευαίσθητων και μολυσματικών ατόμων), αντίστοιχα. Όταν η κοινωνική απομάκρυνση δεν έχει χρησιμοποιηθεί και η ανάμειξη είναι ομοιογενής, το β(t) είναι ίσο με β(t) = 1 X s (t)/ν. Για να υπολογίσουμε την πιθανότητα q(t), αρχικά σημειώνουμε ότι ένα τυχαίο ευαίσθητο άτομο θα έλθει σε επαφή με n άτομα κατά τη διάρκεια του διαστήματος Δt, όπου το n έχει κατανομή Poisson με ρυθμό λδt. Ο αριθμός των μολυσματικών ατόμων, j, μεταξύ των n ατόμων έχει διωνυμική κατανομή (n, β(t)) και τέλος, το ευάλωτο άτομο μπορεί να μολυνθεί εάν η επαφή με τουλάχιστον ένα από αυτά τα άτομα οδηγεί σε μόλυνση (έτσι η πιθανότητα ότι το ευαίσθητο άτομο μολύνεται είναι ένα μείον την πιθανότητα ότι καμία από τις αλληλεπιδράσεις με μολυσματικά δεν οδηγεί σε μόλυνση). Ως εκ τούτου, e λδt (λδt) n q(t) = n=0 ( j=0 ( n j ) β(t) j (1 β(t)) n j (1 (1 r(t)) j )) = n! e λδt (λδt) n n = 1 n=0 ( j=0 ( n j ) β(t) j (1 β(t)) n j (1 r(t)) j ). (4.11) n! n 54

56 n Η έκφραση j=0 ( n j ) β(t) j (1 β(t)) n j (1 r(t)) j είναι ο z-μετασχηματισμός της διωνυμικής κατανομής (n, β(t)) για z = 1 r(t), και ισούται με [1 β(t) + β(t)(1 r(t))] n. Επίσης, η εξίσωση (4.11) έχει λύση : e λδt (λδt) n q(t) = 1 n=0 (1 β(t)r(t)) n. (4.12) n! e λδt (λδt) n Στην εξίσωση (4.12) η έκφραση n=0 (1 β(t)r(t)) n είναι ο z-μετασχηματισμός της κατανομής Poisson με ρυθμό λδt για z = 1 β(t)r(t), και άρα η εξίσωση (4.12) έχει λύση την q(t) = 1 e λδtβ(t)r(t). (4.13) Όταν η πιθανότητα να μολυνθεί ένα τυχαίο άτομο από το X s (t), που είναι τα ευαίσθητα άτομα, και γίνει μολυσματικό είναι q (t), τότε ο αριθμός των νέων μολύνσεων κατά τη διάρκεια του διαστήματος [t, t + Δt] θα έχει διωνυμική κατανομή (X s (t), q(t)), επομένως η συνάρτηση μάζας πιθανότητας για το συμβάν οδήγησης I(t) θα είναι: P I (t)(i X s (t)) = { (X s (t) )q(t)(1 q(t)) X s (t) i i 0, διαφορετικά, για 0 i X s(t), (4.14) Σημειώνουμε ότι για ένα μοντέλο SIS, η κατάσταση X s (t) = Ν είναι μια κατάσταση απορρόφησης αφού δεν υπάρχουν λοιμώξεις στον πληθυσμό. Για αυτή την κατάσταση, η συνάρτηση πιθανοτήτων (4.14) ορίζεται ως: n! P I (t)(i X s (t) = Ν) = { 1, για i = 0 0, διαφορετικά. (4.15) Δυναμική οδήγηση και περιορισμοί σκοπιμότητας: Σε αυτό το βήμα, διαμορφώνουμε τους δυναμικούς όρους οδήγησης και σκοπιμότητας. Για ένα μοντέλο SIS, ο αριθμός ευαίσθητων σε χρόνο t + Δt, X s (t + Δt) ισούται με τον αριθμό των ευαίσθητων ατόμων σε χρόνο t, X s (t) μείον τον αριθμό των μολυσματικών κατά την διάρκεια της περιόδου, Ι(t), συν τον αριθμό των μολυσματικών οι οποίοι έχουν θεραπευτεί και έχουν επιστρέψει στην ευαίσθητη τάξη σε χρόνο t, S(t); δηλαδή έχουμε 55

57 X s (t + Δt) = X s (t) Ι(t) + S(t). Επομένως, οι δυναμικοί οδηγοί και οι περιορισμοί σκοπιμότητας θα είναι: I(t) = X s (t) X s (t + Δt) + S(t) (4.16) και 0 X s (t) X s (t + Δt) + S(t) X s (t) (4.17) Εφόσον, με την παραδοχή, όλα τα μολυσματικά άτομα σε χρόνο t θα απομακρυνθούν από τον χρόνο t + Δt, έχουμε S (t) = X 1 (t) = N X s (t). Αντικαθιστώντας το S (t) = N X s (t) με περιορισμούς (4.16) και (4.17) έχουμε ως αποτέλεσμα: Ι(t) = Ν X s (t + Δt) (4.18) και 0 X s (t + Δt) Ν (4.19) Για να υπολογίσουμε την πιθανότητα (4.9), από την συνάρτηση πιθανοτήτων (4.14) έχουμε 0 Ι(t) X s (t) η οποία σε συνδυασμό με την Εξ. (4.18) και η ανισότητα (4.19) οδηγεί σε Ν X s (t) X s (t + Δt) Ν. Συνεπώς, η υποστήριξη πιθανότητας (4.9) θα είναι: Ω Xs (t) = {x N Ν X s (t) x N} (4.20) Πιθανότητες μετάβασης της αλυσίδας Markov {X s (t): t = 1, 2,... }: Ο πίνακας πιθανοτήτων μετάβασης της αλυσίδας Markov {X s (t): t = 1,2,... } δίνεται από (4.10): P{X s (t + Δt) = x X s (t)} = { P I(t)(N x X s (t)), εαν N X s (t) x N 0, διαφορετικά (4.21) όπου η συνάρτηση πιθανότητας P I(t) ( X s (t)) δίνεται από την εξίσωση (4.15). Β) Εάν τα άτομα που αναρρώνουν από λοιμώξεις αποκτούν μόνιμη ανοσία, τότε ένα μοντέλο SIR μπορεί να χρησιμοποιηθεί για να αντιπροσωπεύσει τη διάδοση της νόσου. Εδώ υποθέτουμε ότι η μολυσματική περίοδος κατανέμεται εκθετικά με μέση διάρκεια 1/μ Ι. Το X s (t) υποδηλώνει τον αριθμό των ευπαθών, το X Ι (t)υποδηλώνει τον αριθμό των μολυσματικών και το X R (t) δηλώνει τον αριθμό των ανακτηθέντων στο χρόνο t. Επίσης, με I(t) δηλώνουμε τον αριθμό των μολύνσεων κατά την περίοδο [t, t + Δt] και R (t) δηλώνουμε τον αριθμό των ανακτηθέντων από μόλυνση κατά την περίοδο [t, t + Δt]. 56

58 Δυναμική εξίσωση κατάστασης: Στο μοντέλο SIR για πληθυσμό σταθερού μεγέθους N, η δυναμική εξίσωση κατάστασης είναι X s (t) + X I (t) + X R (t) = N. Επομένως, δύο τάξεις επαρκούν για την κατασκευή του μοντέλου. Επιλέγουμε (X S (t), X I (t)) ως την κατάσταση του Μαρκοβιαννού μοντέλου. Κατανομή των γεγονότων οδήγησης: Η πιθανότητα κατανομής του συμβάντος οδήγησης I(t) η οποία εξαρτάται από την κατάσταση (X S (t), X I (t)) είναι ίδια με την πιθανότητα κατανομής (17) για το μοντέλο SIS της ενότητας 4.1, με την εξαίρεση ότι στον υπολογισμό των q(t), β(t)πρέπει να θέσουμε, β(t) = X I (t) Ν: P I (t)(i X s (t), X I (t)) = { (X s (t) )q(t) i (1 q(t)) X s (t) i i 0, διαφορετικά, για 0 i X s(t), (4.16) Για να υπολογίσουμε την πιθανότητα κατανομής του συμβάντος οδήγησης R(t) με την προϋπόθεση της κατάστασης (X S (t), X I (t)), ορίζουμε πρώτα μία πρόσθετη παράμετρο: ρ(t): πιθανότητα όπου ένα μολυσματικό άτομο σε χρόνο t ανακτάται ανά χρόνο t + Δt. Εφόσον υποθέσουμε ότι η διάρκεια της μολυσματικότητας κατανέμεται εκθετικά με μέσο μήκος 1/μ Ι, ρ(t) μπορεί να υπολογιστεί ως: ρ(t) = 1 e μ ΙΔt. Ο αριθμός των μολυσματικών σε χρόνο t που ανακτάται κατά την περίοδο [t, t + Δt] θα έχει διωνυμική κατανομή με πιθανότητα επιτυχίας ρ(t) και ο συνολικός αριθμός δοκιμών, X I (t): P R(t) (r X s (t), X I (t)) = { (X I (t) r )ρ(t)r (1 ρ(t)) X I (t) r 0, διαφορετικά, για 0 r X I(t), (4.17) Σημειώνουμε ότι για ένα μοντέλο SIR, οι καταστάσεις (X S (t), X I (t)) = (X s, 0), 0 X s Ν, είναι καταστάσεις απορρόφησης αφού δεν υπάρχουν λοιμώξεις στον πληθυσμό. Για αυτές τις καταστάσεις, η συνάρτηση πιθανότητας (4.17) ορίζεται ως: 57

59 1, για i = 0 P Ι(t) (i X s (t), X I (t)) = (X s, 0) = { 0, διαφορετικά και η συνάρτηση πιθανότητας (4.18) ορίζεται ως: 1, για r = 0 P R(t) (r X s (t), X I (t)) = (X s, 0) = { 0, διαφορετικά Δυναμική οδήγηση και περιορισμοί σκοπιμότητας: Οι εξισώσεις δυναμικής οδήγησης του μοντέλου SIR μπορούν εύκολα να ληφθούν από την εξίσωση (4.7): I(t) = X s (t) X s (t + Δt) (4.19) R(t) = X s (t) X s (t + Δt) + X I (t) X I (t + Δt) (4.20) Οι δυναμικοί περιορισμοί σκοπιμότητας για το μοντέλο SIR μπορούν να ληφθούν από την (4.8): 0 X s (t) X s (t + Δt) X s (t) (4.21) 0 X s (t) X s (t + Δt) + X I (t) X I (t + Δt) X I (t) (4.22) Οι περιορισμοί (4.21) και (4.22) είναι ισοδύναμοι με: 0 X s (t + Δt) X s (t) και X s (t) X s (t + Δt) + X I (t + Δt) X s (t) + X I (t). Επιπλέον, η πιθανότητα υποστήριξης (4.9) θα είναι : Ω (Xs (t),x I (t)) = {(X s, X I ) N 2 0 x s X s (t) x s + x Ι X s (t) + X Ι (t)} (4.23) Πιθανότητες μετάβασης της αλυσίδας Markov {(X s (t), X I (t)), : t = 1, 2,... }: Από τις δυναμικές εξισώσεις οδήγηση (4.19) και (4.20) και την πιθανότητας υποστήριξης (4.23), έχουμε την πιθανότητα μετάβασης P{(X s (t + Δt), X Ι (t + Δt)) = (x s, x Ι ) X s (t), X I (t)} να ισούται με : 58

60 P{(X s (t + Δt), X Ι (t + Δt)) = (x s, x Ι ) X s (t), X I (t)} = { Pr{(I(t), R(t)) = (X s (t) x s, X s (t) + X Ι (t) x s x Ι ) X s (t), X Ι (t)} για 0 x s X s (t), X s (t) x s + x Ι X s (t) + X Ι (t), και 0, διαφορετικά (4.24) Με την παραδοχή ότι τα I(t) και R(t) είναι ανεξάρτητα, η συνάρτηση πιθανοτήτων (4.24) έχει ως αποτέλεσμα: P{(X s (t + Δt), X Ι (t + Δt)) = (x s, x Ι ) X s (t), X I (t)} = { P I(t) (X s (t) x s X s (t))p R(t) (X s (t) + X I (t) x s x Ι ) X s (t), X I (t)), όταν έχουμε 0 x s X s (t), X s (t) x s + x Ι X s (t) + X Ι (t), και 0, διαφορετικά (4.25) Πεπερασμένου χρονικού ορίζοντα ΜΔΑ Το βασικό μοντέλο πεπερασμένου χρονικού ορίζοντα ΜΔΑ ορίζεται ως (S, A, P t, r t, N), όπου S είναι το σύνολο καθορισμένων καταστάσεων για κάθε s S, A είναι το σύνολο όλων των εφικτών δράσεων ή ενεργειών στην κατάσταση s. Το σύστημα εξελίσσεται από την κατάσταση s στην κατάσταση s, όταν η ενέργεια είναι α Α και επιλέγεται την στιγμή της απόφασης t, (t = 1,, N) με γνωστή πιθανότητα μετάβασης P t (s /s, α). Όταν η ενέργεια α Α, επιλέγεται την κατάσταση s την στιγμή απόφασης t, η ανταμοιβή r t (s, a) λαμβάνεται. Ορίζουμε μια πολιτική π = {d 1,.., d N } ως μια ακολουθία των κανόνων απόφασης, όπου ο κανόνας απόφασης είναι μια χαρτογράφηση από τις καταστάσεις στις ενέργειες, έτσι έχουμε d t (s) A. Η εφαρμογή της πολιτικής π, 59

61 προκαλεί κατανομή πιθανότητας στις καταστάσεις σε διάφορα στάδια, όπου η κατάσταση του συστήματος μετά τις t μεταβάσεις είναι X t, επιλέγεται η ενέργεια και, Y t, είναι η συνάρτηση της κατάστασης. Ο στόχος είναι να επιλέξουμε εκείνη την πολιτική που μεγιστοποιεί ένα δεδομένο κριτήριο σε προσδοκία. Τρία είναι τα κοινώς χρησιμοποιούμενα κριτήρια (όταν αρχίζουν από την κατάσταση s) : 1. Η συνολική αναμενόμενη ανταμοιβή: V π Ν (s) = E π s { N 1 t=1 r t (X t, Y t ) + r N (X N )} (4.26) 2. Η συνολική προ εξοφλημένη ανταμοιβή: V Ν π (s) = E s π { N 1 t=1 3. Ο μέσος όρος ανταμοιβής ανά στάδιο: λ t 1 r t (X t, Y t ) + λ N 1 r N (X N )}, για 0 λ 1 (4.27) και N 1 V π Ν (s) = E π s { 1 ( r Ν t=1 t (X t, Y t ) + r N (X N )) (4.28) Για πεπερασμένο N, η βέλτιστη πολιτική για το μέσο όρο ανταμοιβής ανά στάδιο όσο και για το κριτήριο της συνολική ανταμοιβής είναι ισοδύναμα. Για την περίπτωση άπειρου ορίζοντα που θα αναφέρουμε παρακάτω, υπάρχει μια διάκριση. Στην συνέχεια θα παρουσιάσουμε τα θεμελιώδη στοιχεία του κριτηρίου για την συνολική προ εξοφλημένη ανταμοιβή. Σύμφωνα με τις τυποποιημένες παραδοχές ενός βασικού μοντέλου ΜΔΑ, όπου S και A είναι πεπερασμένα σύνολα και οι ανταμοιβές είναι φραγμένες δηλαδή έχουμε r t (s, a) M < για κάθε ζεύγος καταστάσεων-δράσεων (s,α), και t N, τότε V π Ν (s) υπάρχει και είναι φραγμένο. Επιδιώκουμε μια πολιτική π* τέτοια ώστε V π Ν (s) V π Ν (s) για κάθε s S. Άρα ως αποτέλεσμα της αρχής της βέλτιστης λειτουργίας, η δυνατότητα διαχωρισμού των μαρκοβιαννών διαδικασιών λήψης αποφάσεων και των ανταμοιβών μπορεί να αξιοποιηθεί για να αποσυνθέσει αυτό το πρόβλημα Ν-περίοδών σε μια ακολουθία Ν-1 σταδίων με αναδρομική επίλυση προς τα πίσω από το στάδιο Ν-1 έως το 1: v N (s) = r N (s), για κάθε s S, και v t (s) = max {v t (s, a) + s εs λp(s s, a) v t+1 (s )}, για t = N 1,.,1 και s S (4.29), όπου v t (s) είναι η συνολική προ εξοφλημένη ανταμοιβή του σταδίου Ν-t, ξεκινώντας από την κατάσταση s στο στάδιο t. 60

62 Η βέλτιστη πολιτική ορίζεται ως η ακολουθία των κανόνων απόφασης, αλλιώς χαρτογράφηση των καταστάσεων σε σχέση με τις ενέργειες που μεγιστοποιούν την παραπάνω αναδρομή, δηλαδή έχουμε : d t (s) = argmax{r t (s, a) + s εs λp(s s, a) v t+1 (s )}, όταν α Α, s S και t = N 1,..,1. (4.30) Στο παραπάνω μοντέλο υποθέσαμε ότι ο ορίζοντας της απόφασης είναι πεπερασμένος. Συχνά δεν υπάρχει καθορισμένος ορίζοντας ή ο αριθμός των σταδίων του προβλήματος μπορεί να είναι τόσο μεγάλος,όπου σε αυτή την περίπτωση μπορεί να προσεγγιστεί από ένα άπειρο ορίζοντα. Για αυτές τις περιπτώσεις και για τις τεχνικές που μπορούμε να χρησιμοποιήσουμε θα αναφερθούμε στην επόμενη ακριβώς υποενότητα Άπειρου χρονικού ορίζοντα ΜΔΑ Τα μοντέλα άπειρου χρονικού ορίζοντα απαιτούν άπειρο όγκο δεδομένων. Επομένως, θεωρούμε ότι δεδομένα είναι ομοιογενή ως προς το χρόνο ή μεταβάλλονται τόσο αργά ώστε η ομοιογένεια να είναι μια λογική υπόθεση. Ένα από τα πλεονεκτήματα της Μαρκοβιαννής θεωρίας αποφάσεων είναι ότι μπορεί να αποδειχθεί μαθηματικά η ύπαρξη μιας βέλτιστης στάσιμης πολιτικής v κ, για κ=1,2,3,4 σε άπειρο χρονικό ορίζοντα. Η στάσιμη πολιτική είναι μια πολιτική που είναι ανεξάρτητη του χρόνου αλλά η απόφαση εξαρτάται αποκλειστικά από την κατάσταση στην οποία βρίσκεται ο πελάτης. Επιπλέον η στάσιμη πολιτική έχει το πλεονέκτημα ότι υπολογίζεται εύκολα. Έτσι το πρόβλημα μετατρέπεται σε πρόβλημα στοχαστικού δυναμικού προγραμματισμού. Έχουμε d t (s) = d(s) για κάθε s S και t = 1,2,., και τον αναμενόμενο φορέα ανταμοιβής να είναι σταθερός, v π t (s) = v π (s). (4.31) 61

63 Είναι γνωστό ότι μια σταθερή πολιτική είναι βέλτιστη για αυτά τα μοντέλα ΜΔΑ. Επιπλέον, το βέλτιστο διάνυσμα v είναι λύση των παρακάτω εξισώσεων, γνωστές και ως εξισώσεις Bellman: v (s) = max {v(s, a) + λp(s s, a) s εs v (s )}, για κάθε s S, α Α. (4.32) Δεδομένου κάθε αρχικού οριοθετημένου διανύσματος v, μπορεί να αποδειχθεί ότι η ακόλουθη ακολουθία συγκλίνει στη λύση των εξισώσεων Bellman: v k (s) = max {r(s, a) + κ = 1,2.. (4.33). s εs λp(s s, a) v k 1(s )}, για κάθε s S, α Α και Ωστόσο, αυτή η διαδικασία λύσης μπορεί να απαιτεί ένα άπειρο αριθμό επαναλήψεων. Το Μαρκοβιαννό μοντέλο μπορεί να μετατραπεί σε γραμμικό μοντέλο και μπορεί εύκολα να λυθεί χρησιμοποιώντας το πρόγραμμα excel Ημι Μαρκοβιαννές (Semi-Markov) διαδικασίες λήψης αποφάσεων (SMDPs) Στις παραπάνω ενότητες επικεντρωθήκαμε σε μοντέλα όπου ο χρόνος είναι διακριτός και δεν επηρεάζει τα οφέλη του συστήματος. Ωστόσο, στην υγειονομική περίθαλψη και σε άλλες εφαρμογές, οι αποφάσεις μπορεί εμφανιστούν σε συνεχή χρονικά διαστήματα, όπως για παράδειγμα οι θεραπείες που χορηγούνται πολλές φορές μεταβάλλονται. Ο χρόνος μεταξύ αυτών των μεταβάσεων μπορεί να εξαρτάται από την ενέργεια που επιλέγεται ή μπορεί να συμβεί τυχαία. Σε αυτές τις περιπτώσεις, μια επέκταση των ΜΔΑ είναι οι Ημι Μαρκοβιαννές διαδικασίες αποφάσεων, οι οποίες μπορούν να χρησιμοποιηθούν αποτελεσματικά. Μέσα από μετασχηματισμούς και επαναπροσδιορισμούς, έχουν αναπτυχθεί τεχνικές και αλγοριθμικές λύσεις ανάλογες με εκείνες των ΜΔΑ διακριτού χρόνου. 4.3 Γενικά θέματα μοντελοποίησης 62

64 4.3.1 Πλεονεκτήματα των μοντέλων ΜΔΑ σε σχέση με παραδοσιακά μοντέλα αποφάσεων στην υγειονομική περίθαλψη Για απλές αποφάσεις ιατρικής θεραπείας, μπορούμε να χρησιμοποιήσουμε ένα παραδοσιακό μοντέλο αποφάσεων γνωστό ως δένδρο απόφασης. Ένας τερματικός κόμβος ενός δένδρου αποφάσεων συνήθως αντιπροσωπεύει το προσδόκιμο ζωής ή τα προσαρμοσμένα κατά την ποιότητα έτη ζωής ενός ασθενή του οποίου η εξέλιξη της υγείας του ακολουθεί αυτόν τον κλάδο του δένδρου. Η διαδρομή προς τον τερματικό κόμβο μπορεί να είναι σύνθετη και ο υπολογισμός και απαιτεί να γνωρίζουμε πως μπορεί ο ασθενής να μεταβαίνει στις διάφορες καταστάσεις της υγείας του, δηλαδή από την αρχική απόφαση μέχρι το θάνατο. Η μοντελοποίηση αυτών των μεταβάσεων σε ένα τέτοιο δένδρο απαιτεί μεγάλο αριθμό κόμβων οι οποίοι αντιπροσωπεύουν πολλαπλές χρονικές περιόδους στο μοντέλο. Επιπλέον, η κατάσταση μπορεί να γίνει ακόμη πιο περίπλοκη εάν οι αποφάσεις ληφθούν σε διάφορες χρονικές στιγμές, με αποτέλεσμα να ενσωματωθούν κόμβοι αποφάσεων, κάνοντας την ανάλυση του δένδρου σχεδόν αδύνατη. Οπότε λόγω της πολυπλοκότητας, το δένδρο απόφασης καθίσταται μη πρακτικό. Αυτές τις δυσκολίες που μόλις περιγράψαμε μπορούν να τις χειριστούν τα Μαρκοβιαννά μοντέλα. Όμως, έχουν και αυτά τα μοντέλα τους περιορισμούς τους όσο αφορά τα χρονικά σημεία που πρέπει να λαμβάνονται οι αποφάσεις. Όποτε λόγω ανεπάρκειας των παραδοσιακών Μαρκοβιαννών μοντέλων, την λύση μας την προσφέρουν οι Μαρκοβιαννές διαδικασίες λήψης αποφάσεων. Γενικά η μεθοδολογία των ΜΔΑ είναι ιδιαίτερα επωφελής διότι προσφέρει ευελιξία επιλογής διαφορετικών ενεργειών σε πολλαπλές χρονικές περιόδους ανάλογα φυσικά με την κατάσταση του ασθενούς. 63

65 4.3.2 Καταλληλόλητα των ΜΔΑ Οι περιορισμοί των δεδομένων και η υπολογιστική προσπάθεια μπορεί να επιβάλει όρια όσο αφορά την ικανότητα του ατόμου να επιλύει μοντέλα ΜΔΑ μεγάλης κλίμακας στον τομέα της ιατρικής. Μια προσομοίωση διακριτού συμβάντος εκτιμά τη συμπεριφορά ενός συστήματος υπό αβεβαιότητα, αλλά γενικά δεν είναι σε θέση να λάβει τις βέλτιστες αποφάσεις μέσα στην προσομοίωση. Μια εξαίρεση είναι η βελτιστοποίηση μέσω προσομοίωσης, στην οποία οι παράμετροι που διέπουν την προσομοίωση βελτιστοποιούνται με την εκτίμηση των κλίσεων. Μια ΜΔΑ επιτρέπει την ενσωμάτωση των αποφάσεων σε μια Μαρκοβιαννή διαδικασία, εξετάζει όλους τους πιθανούς κανόνες ή πολιτικές απόφασης και παράγει αυτό που συμπεριφέρεται καλύτερα σε ένα δεδομένο κριτήριο βέλτιστης πρακτικής. 4.4 Εφαρμογές των ΜΔΑ για αποφάσεις στην ιατρική θεραπεία Παρά την καταλληλόλητα των ΜΔΑ για αποφάσεις ιατρικής θεραπείας, το γεγονός ότι υπάρχουν σχετικά λίγες τέτοιες εφαρμογές απεικονίζει τις δυσκολίες στην ανάπτυξη επιτυχημένων εφαρμογών. Στις ακόλουθες υποενότητες θα περιγράψουμε κάποιες από αυτές τις εφαρμογές Επιδημικός έλεγχος Ο Lefèvre ανέπτυξε μια συνεχούς χρόνου ΜΔΑ για την αντιμετώπιση του προβλήματος του ελέγχου της επιδημίας σε έναν κλειστό πληθυσμό Ν ανθρώπων. Η κατάσταση του συστήματος περιεγράφηκε από τον αριθμό των μολυσματικών ανθρώπων και ο υπόλοιπος πληθυσμός θεωρήθηκε ευαίσθητος. Οι πιθανότητες μετάβασης εξαρτώνται από τον ρυθμό μόλυνσης από ορισμένες εξωτερικές αιτίες, τον εσωτερικό ρυθμό μεταφοράς ασθενειών από εκείνους που έχουν μολυνθεί προς τους μη μολυσμένους και 64

66 τον ρυθμό με τον οποίο οι μολυσματικοί ανακτήθηκαν από την ασθένεια. Σε οποιαδήποτε χρονική στιγμή, ο υπεύθυνος για τη λήψη αποφάσεων θα μπορούσε να επιλέξει δύο επίπεδα παραμέτρων: 1) Το μέγεθος του πληθυσμού που βρίσκεται σε καραντίνα και 2) Ο αριθμός της ιατρικής περίθαλψης που εφαρμόζεται στον μολυσμένο πληθυσμό. Έτσι το μοντέλο ελαχιστοποίησε το συνολικό αναμενόμενο κόστος σε ένα άπειρο χρονικό ορίζοντα, όπου το κόστος ενσωμάτωσε το κοινωνικό κόστος των ατόμων που έχουν μολυνθεί, το κόστος της καραντίνας και το κόστος της χορήγησης ιατρικής θεραπείας στους μολυσματικούς. Αντί να χρησιμοποιήσει πραγματικά δεδομένα για να λύσει μια περίπτωση του προβλήματος, ο Lefèvre ανέπτυξε τη δομή της βέλτιστης πολιτικής σύμφωνα με τη μορφή των διαφόρων παραμέτρων εισόδου. Για να γίνει αυτό, χρησιμοποίησε μια τεχνική που επιτρέπει σε κάποιον να μετατρέψει την ΜΔΑ συνεχούς χρόνου σε ισοδύναμη διακριτού χρόνου ΜΔΑ Έγχυση φαρμάκων Οι Hu et al. εξέτασαν το πρόβλημα της επιλογής κατάλληλου σχεδίου έγχυσης φαρμάκων για τη χορήγηση της αναισθησίας. Η υπερβολική αναισθησία μπορεί να προκαλέσει προβλήματα με την αρτηριακή πίεση, τον καρδιακό ρυθμό ή την ανάρρωση από την κατάσταση της αναισθησίας, αλλά η πολύ μικρή αναισθησία μπορεί να κάνει τον ασθενή να βιώσει την επώδυνη διαδικασία οποιουδήποτε χειρουργείου. Επομένως, μοντελοποίησαν το πρόβλημα ως POMDP δηλαδή ως μερικώς παρατηρήσιμη ΜΔΑ, το οποίο στην απλή του μορφή δεν είχε κάποια λύση. Μία από τις κύριες δυσκολίες στο πρόβλημα αυτό από την αδυναμία άμεσης παρατήρησης των παραμέτρων του ασθενούς όπως η συγκέντρωση αναισθησίας στο αίμα και ο ρυθμός κάθαρσης του φαρμάκου. Αυτό οδήγησε σε δύο βασικά ζητήματα στο μοντέλο: 1. εάν θα χρησιμοποιηθεί μια συνεχής ή διακριτή κατανομή και 2. τι κόστος θα πρέπει να πραγματοποιηθεί τώρα για την απόκτηση χρήσιμων πληροφοριών που μπορούν να χρησιμοποιηθούν πιο αποτελεσματικά αργότερα 65

67 Οι συγγραφείς ανέπτυξαν τη δική τους τεχνική διακριτικοποίησης για την εκτίμηση της κατανομής των παραμέτρων. Αυτή η τεχνική έχει τα περισσότερα πλεονεκτήματα της χρήσης συνεχών και διακριτών κατανομών χωρίς να επιβαρύνεται με υψηλό υπολογιστικό κόστος. Εφαρμόστηκαν έξι μέθοδοι προσέγγισης για να προσδιορίσουν χρήσιμες θεραπευτικές στρατηγικές Θεραπεία σφαιροκυττάρων Magni et al. χρησιμοποίησε μια προσέγγιση των ΜΔΑ για να αποφασίσει για τη θεραπεία της ήπιας κληρονομικής σφαιροκυτότητας, μια ασθένεια που προκαλεί τη χρόνια καταστροφή των ερυθρών αιμοσφαιρίων. Για ασθενείς με ήπια μορφή αυτής της νόσου, οι κύριες ιατρικές θεραπείες ήταν η προληπτική σπληνεκτομία ή χολοκυστοεκτομή ή καθόλου χειρουργική επέμβαση. Οι συγγραφείς εξέτασαν το φυσικό ιστορικό της χολόλιθου, τον κίνδυνο χειρουργικής θνησιμότητας και τις φυσικές αιτίες θανάτου εξηγώντας έτσι τις πιθανότητες μετάβασης. Εκτίμησαν αυτές τις πιθανότητες και τα βοηθητικά προγράμματα ποιότητας ζωής βάσει δημοσιευμένων πινάκων θνησιμότητας και προηγούμενων μελετών. Η βέλτιστη λύση στο μοντέλο ΜΔΑ οδήγησε στην ακόλουθη στρατηγική: Εάν ένας ασθενής ηλικίας έξι ετών δεν έχει χολόλιθους, και εφόσον δεν αναπτύξει χολόλιθους μέχρι τα δεκαπέντε του χρόνια, τότε γίνεται χειρουργική επέμβαση σπληνεκτομίας. Εάν εμφανιστούν χολόλιθοι πριν την ηλικία των δεκαπέντε, τότε προτείνεται και η χολοκυστοεκτομή και η σπληνεκτομία Έλεγχος και θεραπεία του καρκίνου του μαστού Ο Ivy χρησιμοποίησε μια μερικώς παρατηρήσιμη Μαρκοβιαννή διαδικασία λήψης αποφάσεων για να αναπτύξει μια ανάλυση κόστους-οφέλους της συχνότητας μαστογραφίας και επιλογές θεραπείας για καρκίνο του μαστού. Ο στόχος ήταν να ελαχιστοποιηθεί το συνολικό αναμενόμενο κόστος για τη διάρκεια ζωής ενός ασθενούς, 66

68 όπου το κόστος βασίστηκε στην κατάσταση του ασθενούς, τις εξετάσεις και τις επιλογές θεραπείας. Το μοντέλο αποτελείται από τρία καταστάσεις: 1. καμία ασθένεια, 2. μη επεμβατικός καρκίνος του μαστού, 3. επιθετικός καρκίνος του μαστού. Θεωρήθηκε ότι όλοι οι ασθενείς ξεκίνησαν στην κατάσταση χωρίς νόσο, μεταφέρθηκαν στην μη επεμβατική κατάσταση μετά από τυχαίο αριθμό ετών (σύμφωνα με μια γεωμετρική κατανομή με βάση την ηλικία) και στη συνέχεια μεταφέρθηκε στο επιθετικό στάδιο μετά από έναν άλλο τυχαίο αριθμό ετών. Το τμήμα του μοντέλου που ήταν μερικώς παρατηρήσιμη ήταν η κατάσταση του ασθενούς. Δύο τύποι εξετάσεων όπως κλινικές εξετάσεις μαστού (CBE) και μαστογραφίες, θα μπορούσαν να πραγματοποιηθούν για να λάβουν πληροφορίες σχετικά με την κατάσταση του ασθενούς. Στην αρχή κάθε χρονικού διαστήματος, ο υπεύθυνος λήψης αποφάσεων πρέπει να επιλέξει εάν θα πραγματοποιήσει μόνο ένα CBE ή ένα CBE με μαστογραφία. Αν μια μαστογραφία εκτελέστηκε και τα αποτελέσματα ήταν ανώμαλα, τότε ο υπεύθυνος για τη λήψη αποφάσεων θα μπορούσε να επιλέξει την μαστεκτομή. Εάν η μαστογραφία ήταν φυσιολογική, ο υπεύθυνος για τη λήψη αποφάσεων θα μπορούσε να επιλέξει να σταματήσει τη θεραπεία. Ο Ivy λύνει το δυναμικό πρόγραμμα και χαρακτηρίζει τις βέλτιστες περιοχές λήψης αποφάσεων με βάση τις πιθανές πιθανότητες των διαφορετικών καταστάσεων καρκίνου του μαστού Μεταμόσχευση ήπατος Ο Alagoz et al. παρουσίασε ένα μοντέλο ΜΔΑ για να αποφασίσει τον βέλτιστο χρόνο για να εκτελέσει μια μεταμόσχευση συκωτιού από ζωντανό δότη. Σε αυτούς τους τύπους μεταμοσχεύσεων, ο φίλος ή ο συγγενής ενός ασθενούς συμφωνεί να δωρίσει μέρος του ήπατος και το συκώτι τόσο του δότη όσο και του ασθενούς αναγεννάται σε κανονικό μέγεθος. Ο στόχος του μοντέλου ήταν να καθοριστεί πότε πρέπει να εκτελεστεί η 67

69 χειρουργική επέμβαση προκειμένου να μεγιστοποιηθούν τα αναμενόμενα έτη ζωής του ασθενούς. Το μοντέλο εξέτασε την απόφαση για το εάν θα γίνει η μεταμόσχευση ή όχι. Εάν πραγματοποιήθηκε μεταμόσχευση, η ανταμοιβή ήταν τα αναμενόμενα υπολειπόμενα έτη ζωής μετά τη μεταμόσχευση, και αυτό βασίστηκε σε εκτιμήσεις ανάλυσης επιβίωσης. Εάν δεν πραγματοποιήθηκε καμία μεταμόσχευση, τότε ο ασθενής πέθανε την επόμενη μέρα με κάποια πιθανότητα ή μεταφέρθηκε σε άλλη κατάσταση υγείας και αύξησε τη ζωή του κατά μία ημέρα. Alagoz et al. χρησιμοποίησε την πολιτική του αλγόριθμου επανάληψης για να λύσει τη ΜΔΑ και δημιούργησε μια βέλτιστη στατική πολιτική για τη μεταμόσχευση. 4.5 Συμπεράσματα Προτάσεις Τα τελευταία χρόνια έχουν καταβληθεί σημαντικές προσπάθειες για την ανάπτυξη μεθόδων που διευκολύνουν τη λήψη αποφάσεων σε πραγματικό χρόνο κατά τη διάρκεια μιας επιδημίας, καθώς διατίθενται νέες πληροφορίες. Ο δυναμικός προγραμματισμός (Winston, 2003, Bertsekas, 2005), μια τεχνική που στοχεύει στη λήψη αποφάσεων σε μεταβαλλόμενα περιβάλλοντα, εφαρμόστηκε επιτυχώς σε προβλήματα με παρόμοια χαρακτηριστικά (Schaefer et al., 2005, Van and Dana, 2003; Winston, 2003). Μέχρι σήμερα, δεν έχουν αξιοποιηθεί οι δυναμικές τεχνικές προγραμματισμού στις προσπάθειες ενίσχυσης των επιλογών πολιτικής για τον έλεγχο αναδυόμενων ή επίμονων μολυσματικών ασθενειών. Ένας λόγος για αυτό μπορεί να είναι ότι τα διαθέσιμα επί του παρόντος μοντέλα μολυσματικών νόσων δεν ικανοποιούν γενικά τις απαιτήσεις αυτών των τεχνικών. Σε αυτήν την ενότητα αναλύσαμε μια σειρά μοντέλων για τη διάδοση μολυσματικών ασθενειών σε σχετικά μεγάλους πληθυσμούς. Τα μοντέλα αυτά διαθέτουν δύο πλεονεκτήματα έναντι των υφιστάμενων μοντέλων μολυσματικών ασθενειών: (1) μπορούν να χρησιμοποιηθούν αποτελεσματικά με την χρήση μεθόδων δυναμικής βελτιστοποίησης για να επιλέξουν τις βέλτιστες πολιτικές υγείας και (2) είναι σε θέση να προσεγγίσουν την εξάπλωση της ασθένειας σε σχετικά μεγάλους πληθυσμούς με 68

70 περιορισμένο μέγεθος χώρου κατάστασης και εύλογο βαθμό και χρόνο υπολογισμού.. Σε ένα σχετικό papper, έχουν αποδείξει πώς η προτεινόμενη κατηγορία μοντέλων μπορεί να χρησιμοποιηθεί από μια ΜΔΑ και να δημιουργήσει στάσιμες βέλτιστες πολιτικές υγείας για τον έλεγχο μιας Επιδημίας της γρίπης (Yaesoubi and Cohen, 2010). Αν και το κύριο κίνητρο στην ανάπτυξη της προτεινόμενης τάξης μοντέλων Markov ήταν να τα χρησιμοποιήσουμε για τη δημιουργία δυναμικών πολιτικών υγείας, το πλαίσιο που αναπτύχθηκε εδώ επεκτείνει την εφαρμογή στοχαστικών μαθηματικών μοντέλων σε πληθυσμούς με σχετικά μεγάλο μέγεθος. Τα τρέχοντα στοχαστικά μαθηματικά μοντέλα μολυσματικών ασθενειών περιορίστηκαν σε πληθυσμούς μικρού και μέτριου μεγέθους (Keeling and Ross, 2008), και ως εκ τούτου, μέχρι σήμερα, η προσομοίωση μέσω υπολογιστή ήταν η πρωταρχική προσέγγιση μοντελοποίησης για την καταγραφή της στοχαστικής δυναμικής των μεταδοτικών λοιμώξεων σε μεγάλους πληθυσμούς. Το κύριο μειονέκτημα της χρήσης ενός μοντέλου προσομοίωσης υπολογιστή είναι η ανάγκη για ένα μεγάλο αριθμό αντιγράφων που χαρακτηρίζουν τη στοχαστική συμπεριφορά επιδημίας. Η προτεινόμενη τάξη μοντέλων Markov παρέχει εδώ ένα μαθηματικό πλαίσιο για να συλλάβει τη στοχαστική δυναμική της εξάπλωσης μολυσματικών ασθενειών σε σχετικά μεγάλο πληθυσμό επιτρέποντας ταυτόχρονα στον μοντέλο να ενσωματώσει το επιθυμητό επίπεδο πολυπλοκότητας στην εκπροσώπηση του φυσικού ιστορικού της νόσου εντός του ξενιστή. Εάν, ωστόσο, η εξάπλωση της νόσου έχει αμελητέα στοχαστικότητα, θα προτιμούσαμε τα ντετερμινιστικά μοντέλα σε σχέση με το στοχαστικό πλαίσιο που προτείνεται σε αρκετές εργασίες. Το κύριο μειονέκτημα του προτεινόμενου πλαισίου μας είναι η ανάγκη χρήσης δικτύων για τη μείωση του μεγέθους κατάστασης του μοντέλου Markov για τη μοντελοποίηση της εξάπλωσης της νόσου σε μεγάλους πληθυσμούς. Οι μέθοδοι για τον προσδιορισμό του βελτιστοποιημένου μεγέθους του πλέγματος για την ελαχιστοποίηση των σφαλμάτων προσέγγισης και την ανάπτυξη εναλλακτικών τεχνικών προσέγγισης είναι υποσχόμενα θέματα για μελλοντική έρευνα. 69

71 Κεφάλαιο 5: Βέλτιστη παρέμβαση για μοντέλα Επιδημίας υπό την αβεβαιότητα των παραμέτρων Σε αυτό το κεφάλαιο θα ασχοληθούμε με τις βέλτιστες πολιτικές παρέμβασης για ένα συγκεκριμένο στοχαστικό μοντέλο συνεχής χρονικής διάρκειας για τη διάδοση της λοίμωξης μέσω ενός κλειστού πληθυσμού, το SIR (ευαίσθητο, μολυσματικό, απομακρυσμένο). Θα εξετάσουμε την επίδραση στη βέλτιστη πολιτική των μεταβολών στις εκτιμήσεις των παραμέτρων και στην ρητή συνεκτίμηση της αβεβαιότητας των παραμέτρων μέσω ενός θεωρητικού πλαισίου απόφασης Bayesian. Θεωρούμε πολιτικές που επιτρέπουν (i) την απομόνωση οποιουδήποτε αριθμού μολυσματικών ή (ii) την ανοσοποίηση όλων των ευπαθών (ολική ανοσοποίηση). 5.1 Εισαγωγή Υπό το πρίσμα των πρόσφατων αναδυόμενων και επανεμφανιζόμενων λοιμώξεων και της απειλής της σκόπιμης μόλυνσης, η μαθηματική μοντελοποίηση της εξάπλωσης της νόσου είναι πλέον τόσο σημαντική είναι και η μελέτη αποτελεσματικών στρατηγικών παρέμβασης. Δηλαδή, μπορούμε να παρέμβουμε για να αλλάξουμε στιγμιαία την κατάσταση του συστήματος, για παράδειγμα με απομόνωση ενός μολυσμένου ατόμου από τον ευαίσθητο πληθυσμό. Η υπόθεση ότι η παρέμβαση μπορεί να είναι στιγμιαία αποτελεσματική, είναι βέβαια κάπως ρεαλιστικό στην πράξη, αλλά μαθηματικά είναι ένα λογικό σημείο εκκίνησης. Σε αυτό το κεφάλαιο, θεωρούμε την επίδραση της αβεβαιότητας των παραμέτρων σε βέλτιστες πολιτικές ελέγχου για το γενικό στοχαστικό επιδημικό μοντέλο. Πρώτα από όλα, περιγράφουμε το μοντέλο και τις μορφές πιθανής παρέμβασης και ανακαλούμε τα σχετικά αποτελέσματα από τη βιβλιογραφία, όταν οι τιμές των παραμέτρων υποτίθεται ότι είναι γνωστές. Στην συνέχεια, δείχνουμε πώς υπολογίζουμε βέλτιστες πολιτικές όταν η αβεβαιότητα των παραμέτρων λαμβάνεται 70

72 ρητά υπόψη και εξετάζουμε το αποτέλεσμα της αντιμετώπισης διάφορων σημείων εκτίμησης, σαν να ήταν οι πραγματικές τιμές της παραμέτρου. 5.2 Ανάλυση του μοντέλου και πιθανές παρεμβάσεις Θεωρούμε το κλασικό συνεχούς χρόνου επιδημικό μοντέλο SIR (ευαίσθητομολυσματικό - απομακρυνόμενο) που είναι γνωστό ως γενικό στοχαστικό μοντέλο επιδημίας. Ο πληθυσμός που υφίσταται την επιδημία θεωρείται ότι είναι σταθερού μεγέθους, έτσι ώστε να μην υπάρχει μετανάστευση μέσα στον πληθυσμό ή μετανάστευση από τον πληθυσμό και να αναμειγνύεται ομοιογενώς. Αυτές οι υποθέσεις είναι εύλογες για έναν μικρό πληθυσμό και μια επιδημία μικρής διάρκειας. Ο πληθυσμός στο χρόνο t υποτίθεται ότι αποτελείται από X(t) ευαίσθητα άτομα, Υ(t) μολυσματικά άτομα και Z(t) απομακρυσμένα. Εφόσον ο πληθυσμός είναι κλειστός, το X(t) + Y(t) + Z(t) παραμένει σταθερό, έτσι η διαδικασία περιγράφεται πλήρως από {(X(t), Y(t)): t 0}. Τα ευαίσθητα άτομα δεν είναι μολυσμένα αλλά είναι ευάλωτα στην μόλυνση. Τα μολυσματικά άτομα είναι σε θέση να μολύνουν τα ευαίσθητα ( δεν υπάρχει λανθάνουσα περίοδος) και τα άτομα που έχουν απομακρυνθεί δεν έχουν καμία επίδραση στην εξάπλωση της λοίμωξης καθώς έχουν ολοκληρώσει τη μολυσματική περίοδο και είναι άνοσα στην περαιτέρω μόλυνση. Η κατάσταση του πληθυσμού εξελίσσεται σύμφωνα με μια συνεχούς χρόνου Μαρκοβιαννή διαδικασία με ποσοστά μετάβασης. { P ((X(t + δt), Y(t + δt)) = (x 1,y+1) = (x, y)) = βxyδt + ο(δt), (X(t),Y(t)) (5.1) P ((X(t + δt), Y(t + δt)) = (x,y 1) = (x, y)) = γyδt + ο(δt), (X(t),Y(t)) Όπου το β > 0 είναι η παράμετρος του ρυθμού μόλυνσης και γ > 0 η παράμετρος ρυθμού απομάκρυνσης και όλες οι άλλες μεταβάσεις έχουν πιθανότητα ο(δt). Όσο 71

73 αφορά την παράμετρο του ρυθμού σχετικής απομάκρυνσης ρ = γ/β, ορίζουμε τις πιθανότητες μετάβασης στην αλυσίδα μετασχηματισμού p xy = x, q x+ρ xy = ρ. (5.2) x+ρ Σημειώνουμε ότι για το γενικό στοχαστικό μοντέλο επιδημίας τα p xy και q xy είναι ανεξάρτητα από y. Ωστόσο, για άλλα επιδημικά μοντέλα αυτό μπορεί να μην συμβαίνει. Η πιο απλή συνάρτηση κόστους που θα εξετάσουμε είναι η λειτουργία αναμενόμενου κόστους μη παρέμβασης. Το τελικό μέγεθος είναι ο συνολικός αριθμός ευαίσθητων που έχουν μολυνθεί καθ όλη τη διάρκεια της επιδημίας. Με την C ρ (x, y) δηλώνουμε το αναμενόμενο τελικό μέγεθος της μη ελεγχόμενης επιδημίας ξεκινώντας από (x, y), τότε C ρ (x, y) προσδιορίζεται με C ρ (x, y) = p xy (1 + C ρ (x 1, y + 1)) + q xy C ρ ( x, y 1) για x, y 1, (5.3) C ρ (x, y) = 0 για x 0, C ρ (0, y) = 0 για y 0. (5.4) Θα εξετάσουμε δύο μορφές παρέμβασης: απομόνωση οποιουδήποτε αριθμού μολυσμένων ατόμων από τον ευάλωτο πληθυσμό ή την επιλογή της απομόνωσης των μολυσματικών ατόμων ή της ανοσοποίησης ολόκληρου του ευαίσθητου πληθυσμού. Το κόστος ενός προσβεβλημένου ατόμου δηλαδή αυτού που μολύνεται καθορίζεται ως το μοναδιαίο κόστος, τα κόστη της απομόνωσης και της ανοσοποίησης καθορίζονται σε σχέση με το κόστος της μόλυνσης. Εξετάζουμε μια παρορμητική πολιτική ελέγχου που επιτρέπει ανά πάσα στιγμή την απομόνωση οποιουδήποτε αριθμού μολυσματικών ατόμων σε κόστος L ανά άτομο. Καθορίζουμε το W L,ρ (x, y) να είναι το αναμενόμενο μελλοντικό κόστος της αναμονής για μια ενιαία μετάβαση που συμβαίνει φυσικά και υιοθετούμε μια βέλτιστη πολιτική όπου από την στιγμή αυτή και μετά μπορούμε να υπολογίσουμε αναδρομικά το αναμενόμενο μελλοντικό κόστος V L,ρ (x, y) αρχίζοντας από (x, y) και έχουμε W L,ρ (x, y) = p x,y (1 + V L,ρ (x 1, y + 1)) + q x,y V L,ρ (x, y 1), για x, y 1, (5.5) 72

74 V L,ρ (x, y) = min {L + V L,ρ (x, y 1), W L,ρ (x, y)}, για x, y 1. (5.6) Με οριακές συνθήκες V L,ρ (x, 0) = 0 για x 0, V L,ρ (0, y) = 0 για y 0. Στην κατάσταση (x, y) η βέλτιστη πολιτική είναι να απομονώσουμε ένα μολυσματικό άτομο εάν L + V L,ρ (x, y 1) < W L,ρ (x, y) και να μην παρεμβαίνουμε εάν L + V L,ρ (x, y 1) > W L,ρ (x, y). Οπότε υιοθετώντας την σύμβαση ότι αν L + V L,ρ (x, y 1) = W L,ρ (x, y) τότε απομονώνουμε ένα μολυσματικό άτομο. Η εξίσωση (5.6) είναι η δυναμική εξίσωση προγραμματισμού. Σημειώνουμε ότι επειδή υπάρχει θετική πιθανότητα ότι τουλάχιστον ένα ευαίσθητο αποφεύγει τη μόλυνση, τότε V L,ρ (x, y) C ρ (x, y) < x. Με αυτή τη συνάρτηση κόστους έχει αποδειχθεί ότι μπορούμε να καθορίσουμε ένα όριο s L,ρ (x) έτσι ώστε για 1 y s L,ρ (x), να μπορούμε να παρέμβουμε για να απομονώσουμε όλα τα μολυσματικά άτομα ενώ για y > s L,ρ (x) δεν παρεμβαίνουμε. Το όριο απομόνωσης δίνεται από s L,ρ (x) = max{y: L + V L,ρ (x, y 1) W L,ρ (x, y)} = max{y: L y W L,ρ (x, y)} (5.7), για x 1 και δεδομένου ότι η βέλτιστη πολιτική απομόνωσης είναι μια πολιτική απόλυτης απομόνωσης, αυτό έπεται V L,ρ (x, y) = min{l y, W L,ρ (x, y)}, x, y 1. Επιπλέον έχει αποδειχθεί ότι το V L,ρ (x, y) είναι μια μη φθίνουσα συνάρτηση των x, y και s L,ρ (x) s L,ρ (x + 1) για x 0. Ας σκεφτούμε τώρα μια πολιτική που επιτρέπει ανά πάσα στιγμή την ανοσοποίηση είτε όλων είτε κανέναν από τους ευπαθείς. Ας εξετάσουμε λοιπόν μια πολιτική που επιτρέπει είτε την απομόνωση είτε την ολική ανοσοποίηση. Δηλαδή, ανά πάσα στιγμή μπορούμε να απομονώσουμε οποιοδήποτε αριθμό μολυσματικών ατόμων με κόστος L > 0, να ανοσοποιήσουμε ολόκληρο τον ευαίσθητο πληθυσμό με κόστος Α + xκ, όπου Α 0, 0 Κ < 1, Α + Κ > 0, ή αλλιώς δεν κάνουμε τίποτα. Τονίζουμε ότι για K 1 το κόστος της μη παρέμβασης είναι πάντοτε μικρότερο από το κόστος της ανοσοποίησης και έχουμε απλά την πολιτική απομόνωσης όπως ορίζεται παραπάνω. Είναι φανερό ότι η ανοσοποίηση τερματίζει την επιδημία με αποτέλεσμα να μην ανοσοποιήσουμε ποτέ τους ευπαθείς και ταυτόχρονα να απομονώσουμε τα μολυσματικά. Έχουμε V L,Α,Κ,ρ (x, y) να είναι το αναμενόμενο μελλοντικό κόστος υιοθέτησης μιας βέλτιστης 73

75 πολιτικής ξεκινώντας από (x, y) και W L,Α,Κ,ρ (x, y) να είναι το αναμενόμενο μελλοντικό κόστος αναμονής για να συμβεί μια μοναδική μετάβαση και υιοθετούμε μια βέλτιστη πολιτική από τότε και μετά. Τότε έχουμε W L,Α,Κ,ρ (x, y) = p x,y (1 + V L,Α,Κ,ρ (x 1, y + 1)) + q x,y V L,Α,Κ,ρ (x, y 1) για x, y 1, { V L,Α,Κ,ρ (x, y) = min{a + xk, L + V L,Α,Κ,ρ (x, y 1), W L,Α,Κ,ρ (x, y)} για x, y 1, V L,Α,Κ,ρ (x, 0) = 0 για x 0, V L,Α,Κ,ρ (0, y) = 0 για y 0 (5.8) Όπου τα p x,y και q x,y ορίζονται από την (5.2). Σε κάθε δεδομένη κατάσταση (x, y), εάν W L,Α,Κ,ρ (x, y) < min {A + xk, L + V L,Α,Κ,ρ (x, y 1)} δεν κάνουμε τίποτα, εάν L + V L,Α,Κ,ρ (x, y 1) < A + xk και V L,Α,Κ,ρ (x, y 1) W L,Α,Κ,ρ (x, y) απομονώνουμε τα μολυσματικά και εάν A + xk min {L + V L,Α,Κ,ρ (x, y 1), W L,Α,Κ,ρ (x, y)} τότε ανοσοποιούμε ολόκληρο το ευαίσθητο πληθυσμό. Δηλαδή, όταν το κόστος είναι ίσο, η ολική ανοσοποίηση έχει προτεραιότητα έναντι της απομόνωσης, η οποία με τη σειρά της υπερισχύει έναντι της μη παρέμβασης. 5.3 Αναπαράσταση της αβεβαιότητας των παραμέτρων Σε αυτή την ενότητα, διερευνάμε τη χρήση μιας κατανομής αβεβαιότητας για να εκπροσωπήσουμε την ελλιπή γνώση που έχουμε για τις τιμές των παραμέτρων. Υιοθετούμε μια θεωρητική προσέγγιση της Bayesian απόφασης για να καθορίσουμε τη βέλτιστη πολιτική. Σε μια πλήρη Bayesian ανάλυση, θα αναθέσουμε μια προηγούμενη κατανομή σε κάθε άγνωστη παράμετρο, η οποία στη συνέχεια ενημερώνεται υπό το πρίσμα της παρατηρούμενης προόδου της επιδημικής διαδικασίας για να δώσει μια οπίσθια κατανομή ανά πάσα στιγμή t > 0. Στις Bayesian στατιστικές, η οπίσθια προβλεπτική κατανομή είναι η κατανομή των πιθανών μη παρατηρημένων τιμών που εξαρτώνται από τις παρατηρούμενες τιμές. Στη συνέχεια υπολογίζεται το αναμενόμενο μελλοντικό κόστος μιας βέλτιστης πολιτικής με τη χρήση αυτής της μεταγενέστερης 74

76 κατανομής και λαμβάνοντας υπόψη το γεγονός ότι η μελλοντική διανομή θα ενημερωθεί περαιτέρω στο μέλλον. Ωστόσο, αυτό οδηγεί σε ένα αρκετά περίπλοκο πρόβλημα βελτιστοποίησης, λόγω της ανάγκης να ληφθεί υπόψη η μελλοντική ενημέρωση της οπίσθιας κατανομής εκτός από τις μεταβάσεις της ίδιας της διαδικασίας (x, y). Για να αποφευχθεί μια τέτοια υπερβολικά εμπλεκόμενη ανάλυση, θα ακολουθήσουμε την πιο απλή προσέγγιση της εκχώρησης μιας κατανομής αβεβαιότητας στην άγνωστη παράμετρο μας, αλλά όχι την ενημέρωση αυτής της διανομής καθώς εξελίσσεται η επιδημία. Αυτό φαίνεται λογικό στην πράξη καθώς οι γνώσεις μας σχετικά με τις τιμές παραμέτρων στην αρχή μιας επιδημίας μπορεί να βασίζονται σε περισσότερες από μία ολοκληρωμένες προηγούμενες επιδημίες, οπότε οι περαιτέρω πληροφορίες που παρέχει η επιδημία που βρίσκεται σε εξέλιξη θα έχουν σχετικά μικρή αξία. Σημειώνουμε ότι αν και θα υιοθετήσουμε μια θεωρητική προσέγγιση της Bayesian απόφασης, δεν εκτελούμε ρητά κανένα Bayesian συμπέρασμα Βέλτιστη παρέμβαση υπό την αβεβαιότητα των παραμέτρων Υποθέτουμε ότι οι γνώσεις μας σχετικά με το σχετικό ποσοστό απομάκρυνσης ρ αντιπροσωπεύονται με κάποια κατανομή π όταν 0 ρ. Έχουμε V π L (x, y) να είναι το αναμενόμενο μελλοντικό κόστος υιοθέτησης μιας βέλτιστης πολιτικής απομόνωσης το οποίο ξεκινά από (x, y) και το W π L (x, y) να είναι το αναμενόμενο μελλοντικό κόστος της αναμονής για μια ενιαία μετάβαση και η υιοθέτηση μιας βέλτιστης πολιτικής από τότε και μετά. Σημειώνουμε ότι τοv π L (x, y)και το W π L (x, y) εκπροσωπούν τις προσδοκίες όσον αφορά τόσο την κατανομή αβεβαιότητας όσο και την (τυχαία) μελλοντική πρόοδο της διαδικασίας μόλυνσης, υπό τη βέλτιστη (μη τυχαία) πολιτική παρέμβασης. Δηλώνουμε με V π L (x, y ρ) το αναμενόμενο μελλοντικό κόστος, ξεκινώντας από (x, y), υιοθετώντας την πολιτική που είναι βέλτιστη υπό την κατανομή π, υπό τον όρο ότι η πραγματική τιμή της παραμέτρου του σχετικού ρυθμού απομάκρυνσης είναι ρ. Στη συνέχεια V π L (x, y) = E π [V π L (x, y ρ)] και επισημαίνοντας ότι οι πιθανότητες μετάβασης p x,y και q x,y που δίνονται από το (5.2) είναι οι ίδιες λειτουργίες του ρ που αντιστοιχούν στα (5.5) και (5.6), οπότε έχουμε: 75

77 W L π (x, y) = E π [ p x,y (1 + V L π (x 1, y + 1 ρ)) + q x,y V L π (x, y 1 ρ)], (5.9) V L π (x, y) = min {L + V L π (x, y 1), W L π (x, y)}. (5.10) Στην κατάσταση (x, y) παρεμβαίνουμε με απομόνωση ενός μολυσματικού όποτε L + V L π (x, y 1) W L π (x, y). Από αυτό έχουμε V L π (x, y ρ) = { L + V L π (x, y 1 ρ), όταν L + V L π (x, y 1) W L π (x, y) p x,y (1 + V L π (x 1, y + 1 ρ)) + q x,y V L π (x, y 1 ρ), διαφορετικά (5.11) Χρησιμοποιώντας τις εξισώσεις (5.9), (5.10) και (5.11), η βέλτιστη πολιτική μπορεί να αξιολογηθεί αριθμητικά ως εξής. Υποθέτοντας ότι το π είναι μια συνεχής κατανομή, τότε για κάποιο (αρκετά μεγάλο) θετικό ακέραιο n, υποδηλώνουμε με ρ 0, ρ 1,, ρ n τις ποσότητες της κατανομής π τέτοια ώστε για i = 0,1,.., n, να έχουμε π(ρ ρ i ) = i+0.5 n+1. Επίσης έχουμε y max 1. Μελετώντας τις καταστάσεις με την ακόλουθη σειρά (1,1), (1,2),.., (1, y max ), (2,1), (2,2), (2, y max 1),., τότε όταν φτάσουμε στην κατάσταση (x, y), θα έχουμε ήδη αντιμετωπίσει τις καταστάσεις (x 1, y + 1) και (x, y 1), έτσι εμείς θα γνωρίζουμε τις τιμές των V L π (x 1, y + 1 ρ i ) και V L π (x, y 1 ρ i ) για i = 0,1,.., n, μαζί με τη βέλτιστη ενέργεια σε κάθε μία από αυτές τις δύο καταστάσεις. Η προσδοκία στη δεξιά πλευρά του (5.9) μπορεί τώρα να προσεγγιστεί ως W π n L (x, y) 1/n i=0 p x,y ( ρ i )(1 + V π L (x 1, y + 1 ρ i )) + q x,y (ρ i )V π L (x, y 1 ρ i ) (5.12) Αντικαθιστώντας την παραπάνω εξίσωση στην (5.10) μας επιτρέπει να καθορίσουμε τη βέλτιστη ενέργεια στην κατάσταση (x, y) μαζί με το σχετικό κόστος V π L (x, y). Τελικά, χρησιμοποιώντας την εξίσωση (5.11) μπορούμε να υπολογίσουμε V π L (x, y ρ i ) για i = 0,1,.., n. Για να επιλέξουμε μια κατάλληλη τιμή για το n στην πράξη, μπορούμε να πάρουμε ένα αυξανόμενο σύνολο τιμών n και να υπολογίσουμε την (κατά προσέγγιση) βέλτιστη πολιτική με την παραπάνω μέθοδο για κάθε n με τη σειρά του, σταματώντας 76

78 όταν οι περαιτέρω αυξήσεις του n δεν οδηγούν σε αλλαγές στην υπολογιζόμενη βέλτιστη ενέργεια εντός της περιοχής των καταστάσεων (x, y) που εξετάζουμε. Η βέλτιστη πολιτική κάτω από μια κατανομή αβεβαιότητας ρ δυστυχώς δεν έχει γενικά την απλή μορφή που επεξεργαστήκαμε προηγουμένως για την περίπτωση που είναι γνωστή η πραγματική τιμή του ρ. Για παράδειγμα, το σχήμα 14 (i) δείχνει την βέλτιστη πολιτική απομόνωσης που λαμβάνεται όταν παίρνουμε ρ να είναι η εκθετική κατανομή με μέση τιμή 100, με L = 0,5. Βλέπουμε ότι η βέλτιστη πολιτική σε αυτή την περίπτωση δεν αποτελεί κανόνα διακοπής. Για n = 999, χρησιμοποιήθηκαν 1000 ποσότητες για την προσέγγιση της εκθετικής κατανομής. Η υπολογιζόμενη πολιτική είναι πανομοιότυπη με εκείνη που βρέθηκε με n = 899, έτσι τουλάχιστον φαίνεται εύλογο να υποθέσουμε ότι η μέθοδος προσέγγισης συγκλίνει στην πραγματική λύση. Όποια και αν είναι η πεπερασμένη τιμή n που χρησιμοποιούμε, δεν μπορούμε ποτέ να είμαστε βέβαιοι ότι η υπολογιζόμενη πολιτική είναι ακριβώς σωστή για τη εκθετική κατανομή του ρ με μέση τιμή 100. Έτσι, έχουμε αποδείξει σίγουρα την ύπαρξη μιας κατανομής αβεβαιότητας ρ έτσι ώστε η βέλτιστη πολιτική απομόνωσης να λαμβάνει την πολύπλοκη μορφή που φαίνεται στο σχήμα 14(i). Θα μπορούσαμε να απλοποιήσουμε το πρόβλημα αναζητώντας τη βέλτιστη πολιτική ολικής απομόνωσης, όπως και προηγουμένως. Δηλαδή, σε κάθε κατάσταση (x, y) επιλέγουμε εάν θα απομονώσουμε ολόκληρο τον μολυσματικό πληθυσμό ή δεν θα παρέμβουμε. Ωστόσο, εξακολουθούμε να διαπιστώνουμε ότι το σύνολο των καταστάσεων (x, y) στις οποίες είναι βέλτιστο να παρέμβουμε μπορεί να είναι πολύ περίπλοκο και ειδικότερα δεν χρειάζεται να είναι μια συνδεδεμένη περιοχή του (x, y). 77

79 Σχήμα 14: Βέλτιστες περιοχές απομόνωσης, που απεικονίζουν την επίδραση της αντικατάστασης της άγνωστης παραμέτρου ρ από την εκτίμηση σημείων ρ. Η μαύρη περιοχή υποδεικνύει καταστάσεις (x, y) όπου είναι βέλτιστη η απομόνωση ενός μολυσματικού και η λευκή περιοχή υποδεικνύει τις καταστάσεις όπου δεν μπορεί να γίνει κάποια παρέμβαση. Σε κάθε περίπτωση, το κόστος της απομόνωσης ενός μολυσματικού θεωρείται L = 0,5. Στο (i) η αβεβαιότητα για το ρ αντιπροσωπεύεται λαμβάνοντας το π να είναι η εκθετική κατανομή με μέση τιμή 100 και στο (ii) το ρ θεωρείται ότι λαμβάνει την τιμή ρ = 100. Η περίπλοκη μορφή της περιοχής απομόνωσης, όπως απεικονίζεται στο παραπάνω σχήμα, σημαίνει ότι εκτός από τις δυσκολίες της μαθηματικής ανάλυσης, η βέλτιστη πολιτική υπό το π μπορεί να μην είναι εύκολη στην πράξη. Για την εκτίμηση του σημείου η προφανής επιλογή είναι να χρησιμοποιήσουμε την εκτίμηση σημείου ρ = E π [ρ] και να υπολογίσουμε τη βέλτιστη πολιτική βάσει της υπόθεσης ότι το ρ είναι γνωστό ότι λαμβάνει την τιμή ρ. Για παράδειγμα, στο σχήμα(i) έχουμε E π [ρ] = 100 και το (ii) δείχνει την βέλτιστη πολιτική απομόνωσης που λαμβάνεται αν υποθέσουμε ότι το ρ είναι γνωστό και παίρνει την τιμή ρ = ρ = 100, με L = 0,5. Συγκρίνοντας την (ii) με την (i) βλέπουμε ότι η θεραπεία ρ, όπως είναι γνωστή, με την τιμή ρ, δεν παράγει κατ 'ανάγκη μια πολύ καλή προσέγγιση στην πραγματική βέλτιστη πολιτική υπό το π. Ωστόσο, το ρ δεν είναι η μόνη δυνατή επιλογή εκτίμησης σημείων για ρ. Συγκεκριμένα, θα εξετάσουμε τώρα μερικές εναλλακτικές παραμετροποιήσεις του γενικού στοχαστικού μοντέλου επιδημίας που δημιουργούν εναλλακτικές φυσικές εκτιμήσεις για το ρ. 78

80 5.3.2 Εναλλακτικές παραμετροποιήσεις μοντέλου Μέχρι στιγμής, έχουμε παραμετροποιήσει το μοντέλο μας ως προς το σχετικό ποσοστό απομάκρυνσης ρ. Δύο είναι οι πιθανές εναλλακτικές λύσεις που χρησιμοποιούνται συχνά στη βιβλιογραφία για την παραμετροποίηση είτε (i) του βασικού αριθμού αναπαραγωγής R 0, ο οποίος ορίζεται ως ο μέσος αριθμός νέων μολύνσεων που αποδίδονται άμεσα από ένα μόνο μολυσματικό άτομο σε έναν ευπαθή πληθυσμό, ή (ii) την πιθανότητα αποφυγής q, που ορίζεται ως η πιθανότητα να αποτύχει η μονή μολυσματική μόλυνση ενός συγκεκριμένου ευαίσθητου ατόμου. Ο βασικός αριθμός αναπαραγωγής R 0 χρησιμοποιείται συνήθως ως παράμετρος κατωφλίου για ένα μοντέλο επιδημίας: για ένα μεγάλο πληθυσμό η επιδημία δεν απομακρύνεται ποτέ αν R 0 1 και ξεκινά με μη μηδενική πιθανότητα εάν R 0 > 1. Συνεπώς, η παρέμβαση για τη μείωση του R 0 κάτω από το 1 είναι μια κοινή στρατηγική επιδημιολογικού ελέγχου. Οι σχέσεις μεταξύ των παραμέτρων ρ, R 0, q έχουν ως εξής. Πρώτον, επειδή το μέσο μήκος μιας μολυσματικής περιόδου είναι 1 / c και ο αριθμός λοιμώξεων ανά μονάδα χρόνου σε έναν πλήρως ευαίσθητο πληθυσμό μεγέθους Ν είναι bn, τότε έχουμε R 0 = βν = Ν. (5.13) γ ρ Δηλώνοντας το μήκος μιας τυπικής μολυσματικής περιόδου, έτσι ώστε Ι~Exp(γ), η πιθανότητα ένα συγκεκριμένο ευαίσθητο άτομο να διαφύγει από μια μολυσματική κατάσταση είναι q = E[e βn ] = γ = 1 γ+β 1+( 1 (5.14) ). ρ Σημειώνουμε ότι οι εξισώσεις (5.13) και (5.14) υποδηλώνουν ότι οι παράμετροι ρ, R 0, q σχετίζονται μονοτονικά: μια αύξηση στο ρ αντιστοιχεί σε μια μείωση στο R 0 και σε μία αύξηση στο q. Για παράδειγμα, δεδομένου ότι x 0, y 0, τότεv L,ρ (x, y) δεν μειώνεται σε R 0 και δεν αυξάνεται σε q και το όριο απομόνωσης s L,ρ (x) δεν μειώνεται σε R 0 και δεν αυξάνεται σε q. Δεδομένου ότι η παράμετρος R 0 περιλαμβάνει το μέγεθος του πληθυσμού N, ενώ τα ρ και q όχι, θα ορίσουμε το R = 1 / ρ και θα υπολογίσουμε το R αντί του R 0. Αντιστρέφοντας την σχέση (5.14) θα έχουμε 79

81 ρ = 1 R = q 1 q. (5.15) Κατά την προσέγγιση της βέλτιστης πολιτικής υπό το π, το ρ είναι γνωστό ότι παίρνει κάποια ιδιαίτερη αξία, και η σχέση (5.15) οδηγεί στις ακόλουθες τρεις φυσικές επιλογές της εκτίμησης σημείου για το ρ. (i)ρ = E π [ρ], (ii)ρ q = E π [q] 1 E π [q], (iii)ρ R = 1 E π [R]. Θα διερευνήσουμε τώρα την επίδραση της χρήσης των παραπάνω εκτιμήσεων του ρ για την υπολογιζόμενη βέλτιστη πολιτική παρέμβασης και τη συναφή συνάρτηση κόστους Επίδραση διαφορετικών παραμέτρων εκτίμησης στη βέλτιστη πολιτική Για τις εκτιμήσεις ρ, ρ q, ρ R, αποδεικνύεται ότι υπάρχει μια ιδιαίτερα απλή σχέση μεταξύ των τριών βέλτιστων πολιτικών απομόνωσης που αντιστοιχούν σε αυτές τις τρεις διαφορετικές εκτιμήσεις για ρ, όπως φαίνεται από το ακόλουθο θεώρημα. Θεώρημα 1: Έχοντας E π [ρ], E π [R] < τότε (i) για κάθε x, y 0, V L,ρ (x, y) V L,ρq (x, y) V L,ρR (x, y), (ii) για κάθε x 0, s L,ρ (x) s L,ρq (x) s L,ρR (x) 80

82 Το σχήμα 15 απεικονίζει την επίδραση στην περιοχής απομόνωσης χρησιμοποιώντας κάθε μία από τις τρεις εκτιμήσεις ρ, ρ q, ρ R. Ενώ στο σχήμα 14 χρησιμοποιήσαμε μία τυπική (εκθετική) κατανομή για το ρ, τώρα παραμετροποιούμε αρχικά σε όρους τη πιθανότητα αποφυγής q, λαμβάνοντας ότι η q ακολουθεί την κατανομή Beta με τις παραμέτρους (5,0.25) (έτσι ώστε E π [q] = = 0.952). Το κόστος της απομόνωσης ενός μολυσματικού θεωρείται L = 0,7. Το (i) δείχνει την περιοχή απομόνωσης που υπολογίζεται κάτω από την κατανομή αβεβαιότητας π, η οποία φαίνεται ότι έχει μάλλον περίπλοκη μορφή παρόμοια με αυτή που φαίνεται προηγουμένως στο σχήμα 14(i). Όσον αφορά το σχήμα 15 (i), η βέλτιστη πολιτική υπολογίστηκε με n = 999, η υπολογιζόμενη πολιτική είναι ίδια με εκείνη που βρέθηκε με n = 899, έτσι ώστε να είναι εύλογο να υποθέσουμε ότι η σύγκλιση έχει επιτευχθεί. Στο σχήμα 15 τα (ii) (iv) δείχνουν τις περιοχές απομόνωσης που υπολογίζονται με επεξεργασία των σημείων εκτίμησης ρ, ρ q, ρ R, αντίστοιχα, σαν να ήταν οι πραγματικές τιμές του ρ. Αυτά τα στοιχεία απεικονίζουν τις σχέσεις μεταξύ των ορίων s L,ρ, s L,ρq, s L,ρR που εκφράζονται στο Θεώρημα 1 (ii). Βλέπουμε επίσης ότι σε αυτή την περίπτωση, όπως και στο σχήμα 14, η χρήση ρ παρέχει μια κακή προσέγγιση στην πραγματική περιοχή απομόνωσης. Από την άλλη πλευρά, χρησιμοποιώντας είτε ρ q, ρ R, αποδίδουν μια περιοχή απομόνωσης η οποία είναι αρχικά μια καλή προσέγγιση στην πραγματική περιοχή απομόνωσης και, δεύτερον, είναι απλούστερη μορφή από την πραγματική περιοχή απομόνωσης και ως εκ τούτου πιο κατάλληλη για πρακτική εφαρμογή. 81

83 Σχήμα 15: Βέλτιστες περιοχές απομόνωσης, που απεικονίζουν την επίδραση της αντικατάστασης της άγνωστης παραμέτρου ρ από κάθε μία από τις εκτιμήσεις σημείων ρ, ρ q,ή ρ R. Η μαύρη περιοχή υποδεικνύει καταστάσεις (x, y) όπου είναι βέλτιστη η απομόνωση ενός μολυσματικού και η λευκή περιοχή υποδεικνύει τις καταστάσεις όπου είναι βέλτιστο να μην γίνει παρέμβαση. Σε κάθε περίπτωση, το κόστος της απομόνωσης ενός μολυσματικού θεωρείται L = 0,7. (i) Η αβεβαιότητα σχετικά με τις τιμές των παραμέτρων αντιπροσωπεύεται από τη λήψη q για την παρακολούθηση της κατανομής Beta με τις παραμέτρους (5,0,25), έτσι E π [q] = = (ii) το ρ θεωρείται ότι παίρνει την τιμή ρ = (iii) το ρ θεωρείται ότι λαμβάνει την τιμή ρ q = 20 (iv) το ρ θεωρείται ότι λαμβάνει την τιμή ρ R = 16,07. 82

84 Για την πολιτική απομόνωσης ή ολικής ανοσοποίησης έχουμε τα ακόλουθα αποτελέσματα που αντιστοιχούν στο Θεώρημα 2. Θεώρημα 2: Έχοντας E π [ρ], E π [R] < τότε (i) για κάθε x, y 0, V L,A,K,ρ (x, y) V L,A,K,ρq (x, y) V L,A,K,ρR (x, y), (ii) για κάθε x 0, s L,A,K,ρ (x) s L,A,K,ρq (x) s L,A,K,ρR (x) R L,A,K,ρR R L,A,K,ρq (x) R L,A,K,ρ (x). Το Σχήμα 16 απεικονίζει την επίδραση στην υπολογισμένη πολιτική απομόνωσης ή ολικής ανοσοποίησης για τη χρήση καθεμίας από τις τρεις εκτιμήσεις ρ, ρ q, ρ R. Σε αυτή την περίπτωση, παραμετροποιούμε αρχικά τους όρους R, όπου R ακολουθεί την εκθετική κατανομή με μέση τιμή Λαμβάνουμε τις παραμέτρους κόστους L = 1.5, A = 0, K = 0.5. Το (i) δείχνει τη βέλτιστη πολιτική που υπολογίστηκε με την κατάλληλη κατανομή αβεβαιότητας, όπου όπως πριν πήραμε n = 999 για τον υπολογισμό και αυτό έδωσε τα ίδια αποτελέσματα με τη λήψη n = 899. Τα (ii) (iv) δείχνουν τις πολιτικές που υπολογίζονται με την αντιμετώπιση των εκτιμήσεων σημείων ρ, ρ q, ρ R, αντίστοιχα, σαν να ήταν οι πραγματικές τιμές του ρ. 83

85 Σχήμα 16: Βέλτιστες πολιτικές απομόνωσης ή ολικής ανοσοποίησης, που απεικονίζουν το αποτέλεσμα της αντικατάστασης της άγνωστης παραμέτρου ρ από κάθε μία από τις εκτιμήσεις σημείων ρ, ρ q,ή ρ R. Η μαύρη περιοχή υποδεικνύει καταστάσεις (x, y) όπου είναι βέλτιστη η απομόνωση ενός μολυσματικού, η γκρίζα περιοχή υποδεικνύει καταστάσεις όπου η ολική ανοσοποίηση είναι βέλτιστη και η λευκή περιοχή υποδεικνύει τις καταστάσεις όπου είναι βέλτιστο να μην γίνει παρέμβαση. Σε κάθε περίπτωση, L = 1.5, Α = 0, Κ = 0.5. (i) Η αβεβαιότητα σχετικά με τις τιμές των παραμέτρων αντιπροσωπεύεται λαμβάνοντας το R να ακολουθεί την εκθετική κατανομή με μέση τιμή Στο (ii) το ρ θεωρείται ότι λαμβάνει την τιμή ρ = ,και στο (iii) το ρ θεωρείται ότι λαμβάνει την τιμή ρ q = (iv) q θεωρείται ότι παίρνει την τιμή ρ R = 20. Για άλλη μια φορά, ενώ η χρήση του ρ παρέχει μια κακή προσέγγιση στην πραγματική βέλτιστη πολιτική, χρησιμοποιώντας είτε ρ q, ρ R αποδίδουν μια λογικά καλή προσέγγιση. Είναι σημαντικό να σημειωθεί ότι τα σχήματα που αναλύσαμε σε αυτήν το κεφάλαιο προορίζονται να απεικονίζουν προβλήματα που μπορεί να προκύψουν όταν αγνοείται η αβεβαιότητα στις τιμές των παραμέτρων και να μην αντιπροσωπεύουν τυπικές 84