Γιονταµελή Θ. Αντουανέττα

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΚΡΥΦΑ ΗΜΙΜΑΡΚΟΒΙΑΝΑ ΜΟΝΤΕΛΑ ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Γιονταµελή Θ. Αντουανέττα Επιβλέπουσα: Παπαδοπούλου Αλεξάνδρα Επίκ. Καθηγήτρια Α.Π.Θ. Θεσσαλονίκη, Ιούνιος 20

ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΜΕΤΑΠΤΥΧΙΑΚΟ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΣΤΑΤΙΣΤΙΚΗ ΚΑΙ ΜΟΝΤΕΛΟΠΟΙΗΣΗ ΚΡΥΦΑ ΗΜΙΜΑΡΚΟΒΙΑΝΑ ΜΟΝΤΕΛΑ ΜΕΤΑΠΤΥΧΙΑΚΗ ΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Γιονταµελή Θ. Αντουανέττα Επιβλέπουσα: Παπαδοπούλου Αλεξάνδρα Επίκ. Καθηγήτρια Α.Π.Θ. Εγκρίθηκε από την τριµελή εξεταστική επιτροπή την... 20. Α. Παπαδοπούλου Επ. Καθηγήτρια Α.Π.Θ. Π-Χ.Γ.Βασιλείου Καθηγητής Α.Π.Θ Γ.Τσακλίδης Καθηγητής Α.Π.Θ Θεσσαλονίκη, Ιούνιος 20

Περίληψη Στόχος της παρούσας εργασίας είναι η περιγραφή και η µελέτη των Κρυφών Ηµιµαρκοβιανών Μοντέλων (ΚΗΜΜ), σε ότι αφορά τις παραµέτρους του µοντέλου, τη χρησιµότητάς τους, τους λόγους επιλογής ενός τέτοιου µοντέλου καθώς και ποιες είναι οι δυνατότητές τους στις διάφορες εφαρµογές. Αρχικά παρουσιάζονται περιληπτικά τα βασικά στοιχεία της θεωρίας των κρυφών Μαρκοβιανών µοντέλων (ΚΜΜ) και κάποιες από τις επεκτάσεις τους, γιατί ως επέκταση αυτών µελετήθηκαν πρώτα τα ΚΗΜΜ. Στη συνέχεια, παρουσιάζεται η κατασκευή των ΚΗΜΜ. Στο δεύτερο κεφάλαιο αναλύονται τα τρία βασικά προβλήµατά τους, της αξιολόγησης, της αποκωδικοποίησης και της εκτίµησης των παραµέτρων ενός ΚΗΜΜ καθώς και η επέκταση του ΕΜ (Esimaion-Maximizaion) αλγορίθµου κατά αντιστοιχία µε τον ΕΜ αλγόριθµο των ΚΜΜ, µε βάση τη µελέτη του S.Z. Yu (200) καθώς και άλλων ερευνητών. Επιπλέον, περιγράφονται οι προς τα εµπρός και οι προς τα πίσω µεταβλητές σε µορφή πινάκων µε σκοπό την εύρεση της αναλυτικής µορφής των αρχικών αναδροµικών σχέσεων. Στο 3 ο κεφάλαιο παρουσιάζεται αναλυτικά η διαδικασία µε την οποία από τη γενική περίπτωση των ΚΗΜΜ γίνεται η µετάβαση σε τρείς µορφές των ΚΜΜ (άµεσης διάρκειας, µεταβλητής µετάβασης και residenial χρόνου) που είχαν ήδη µελετηθεί από τη σκοπιά των ΚΜΜ. Μελετώνται οι παράµετροι που αλλάζουν και πως αυτές οι αλλαγές επηρεάζουν τις βασικές πιθανότητες των µοντέλων. Τέλος, παρουσιάζονται δύο επεκτάσεις των ΚΗΜΜ, τα swiching και τα συνδεδεµένα, που ουσιαστικά η κατασκευή τους είναι παρόµοια µε τις αντίστοιχες επεκτάσεις των ΚΜΜ αλλά οι παράµετροι του µοντέλου αλλάζουν. Στο τελευταίο κεφάλαιο παρουσιάζονται συγκεκριµένες εφαρµογές από διάφορα πεδία επιστηµών (η λειτουργική χαρτογράφηση εγκεφάλου µέσω µαγνητικής τοµογραφίας, η αναγνώριση ανθρώπινων γονιδίων στο DNA, η κίνηση πακέτων στον Ιστό και η κίνηση σε ένα δίκτυο που περιλαµβάνει χρήστες σε κίνηση) µε σκοπό την ανάδειξη της χρησιµότητά τους και την περιγραφή της διαδικασίας µοντελοποίησής τους.

Absrac The goal of his Maser Thesis is he descripion and sudy of Hidden semi-markov Models (HSMM), referring o he parameers of he model, is usefulness, he reasons when such a model is chosen o be applied, as well as heir poenial in he various applicaions. Firs, he basic daa of he heory of Hidden Markov Models (HMM) and some of heir exensions are presened, because he HSMM were firsly sudied as an exension of hose. Aferwards, he consrucion of a HSMM is presened. In he second chaper he hree basic problems (of evaluaion, decoding and esimaion) for he HSMM are analyzed, on he basis of he paper of S.Z.Yu, (200), and oher publicaions. Moreover, he forward and backward variables are described in he form of marices in order o solve analyically he iniial recursive equaions. In he hird chaper, i is analyzed how he general HSMM can be ransformed o hree specific kinds of HMM (explici duraion, variable ransiion and residenial ime) ha have already been sudied by he viewpoin of HMM and wo exensions of HSMM, he swiching and he mulichannel HSMM are considered. The final chaper conains he descripion of four applicaions, fmri brain mapping (2006), recogniion of human genes in DNA (997), Nework raffic characerizaion (200-2006) in order o illusrae heir usefulness and he applying echnique.

Από αυτή τη θέση θα ήθελα να ευχαριστήσω την επιβλέπουσα καθηγήτριά µου, Αλεξάνδρα Παπαδοπούλου, για την επιλογή του συγκεκριµένου θέµατος, τις γνώσεις που µου µετέφερε και τη συνεχή µα πάνω από όλα ουσιαστική επίβλεψη και υποστήριξή της κατά τη συγγραφή της παρούσας εργασίας. Επιπλέον, θα ήθελα να ευχαριστήσω τους καθηγητές Γ.Τσακλίδη, Π.-Χ.Γ.Βασιλείου που συµµετέχουν στην τριµελή επιτροπή αυτής της εργασίας καθώς και τους καθηγητές και τους συµφοιτητές µου στο ΠΜΣ. Τέλος, θα ήθελα να ευχαριστήσω την οικογένειά µου για όλα, τη Νικολίνα Χατζηπανταζή για την πολύτιµη βοήθειά της στα θέµατα βιολογίας, και τον Κοσµά Λαζαρίδη γιατί είναι πάντα δίπλα µου.

ΠΕΡΙΕΧΟΜΕΝΑ Κεφάλαιο ΕΙΣΑΓΩΓΗ. Μαρκοβιανή διαδικασία-ηµιµαρκοβιανή διαδικασία 9.2 Περιγραφή των κρυφών Μαρκοβιανων µοντέλων 2.3 Τα τρία βασικά προβλήµατα των ΚΜΜ και οι βασικές µέθοδοι επίλυσής τους 6.4 Ειδικές περιπτώσεις ΚΜΜ 2.5 Περιγραφή των κρυφών ηµιµαρκοβιανών µοντέλων 28 Κεφάλαιο 2 ΠΡΟΒΛΗΜΑΤΑ ΚΗΜΜ 2. Προς τα εµπρός και προς τα πίσω µεταβλητές 38 2.2 Αλγόριθµος Vierbi 53 2.3 Αλγόριθµος εκτίµησης παραµέτρων ενός ΚHΜΜ 56 2.4 ΕΜ αλγόριθµος για ΚHΜΜ 6 Κεφάλαιο 3 ΕΙ ΙΚΕΣ ΜΟΡΦΕΣ ΚΗΜΜ 3. Άµεσης διάρκειας κρυφό µαρκοβιανό µοντέλο 65 3.2 Κρυφά Μαρκοβιανά µοντέλα µεταβλητής µετάβασης 73 3.3 Residenial ime κρυφά Μαρκοβιανά µοντέλα 76 3.4 Επεκτάσεις κρυφών ηµιµαρκοβιανών µοντέλων 78 Κεφάλαιο 4 ΕΦΑΡΜΟΓΕΣ ΚΗΜΜ 4. Ένα κρυφό Ηµιµαρκοβιανό µοντέλο για την αυτοοµοιότητα του φόρτου εργασίας του Ιστού 84 4.2 Μοντέλο κινητικότητας και κυκλοφορίας για την κατανοµή της εκχώρησης πόρων στα ασύρµατα δίκτυα 90 4.3 Μοντέλο για ανάλυση εγκεφαλικής λειτουργίας µέσω fmri 94 4.4 Αναγνώριση γονιδίων στο DNA 97 ΕΡΩΤΗΜΑΤΑ ΠΡΟΣ ΙΕΡΕΥΝΗΣΗ. Βιβλιογραφία.. 3 4

Κρυφά Ηµιµαρκοβιανά Μοντέλα 9 ΚΕΦΑΛΑΙΟ ΕΙΣΑΓΩΓΗ Στο πρώτο κεφάλαιο παρουσιάζονται περιληπτικά τα βασικά στοιχεία της θεωρίας των κρυφών Μαρκοβιανών µοντέλων (ΚΜΜ). Αυτό είναι αναγκαίο γιατί τα κρυφά Ηµιµαρκοβιανά µοντέλα (ΚΗΜΜ) κατασκευάστηκαν ώστε να ξεπεραστούν οι περιορισµοί που έχουν τα κρυφά Μαρκοβιανά µοντέλα ως προς την κατανοµή των πιθανοτήτων µετάβασης.

0 Γιονταµελή Αντουανέττα. Μαρκοβιανή διαδικασία-ηµιµαρκοβιανή διαδικασία Μία Μαρκοβιανή διαδικασία είναι ένα µαθηµατικό µοντέλο που περιγράφει την εξέλιξη ενός συστήµατος το οποίο έχει την Μαρκοβιανή ιδιότητα (memoryless propery). Ορισµός...(Βασιλείου Π.-Χ.Γ. (999)): Μία στοχαστική διαδικασία σε χρόνο συνεχή και χώρο διακριτό, δηλαδή µία οικογένεια τυχαίων µεταβλητών ορισµένων σε ένα χώρο πιθανοτήτων ( Ω, F, P ), έχει τη Μαρκοβιανή ιδιότητα αν για κάθε σύνολο χρονικών στιγµών 0< <... < n και για κάθε σύνολο { i, i,..., i } ισχύει καταστάσεων 0 n P{ X ( ) = i X ( ) = i, X ( ) = i,..., X ( ) = i } n n 0 0 n n = P{ X ( ) = i X ( ) = i } n n n n Για κάθε Μαρκοβιανή διαδικασία ορίζουµε τις πιθανότητες µετάβασης p ( s, ) = P{ X ( ) = j Χ ( s) = i} και τον αντίστοιχο στοχαστικό πίνακα ij P ( s, ). Όταν οι πιθανότητες µετάβασης είναι ανεξάρτητες του χρόνου τότε η Μαρκοβιανή αλυσίδα καλείται οµογενής και, =. Για τους παραπάνω λόγους µπορούµε να πούµε ότι ένα Μαρκοβιανό µοντέλο χαρακτηρίζεται από το σύνολο των καταστάσεων της διαδικασίας, S, και από τον πίνακα πιθανοτήτων µετάβασης, P, δηλαδή από το ζεύγος ( S, P ). Οι χρόνοι παραµονής στις καταστάσεις, ακολουθούν εκθετικές κατανοµές εάν ο χρόνος είναι συνεχής και αντίστοιχα, αν ο χρόνος είναι διακριτός γεωµετρικές κατανοµές. Ακολουθεί ένα παράδειγµα (Ibe (2009)) Μαρκοβιανής διαδικασίας. Παράδειγµα..: Είµαστε σε ένα δωµάτιο µε τον Bill του οποίου η διάθεση αλλάζει σύµφωνα µε τον καιρό και θέλουµε να µοντελοποιήσουµε την κατάσταση του καιρού. Έτσι όταν ο καιρός είναι ηλιόλουστος τότε η διάθεση του Bill είναι καλή (Good), όταν ο καιρός είναι συννεφιασµένος τότε είναι µέτρια (So-So) ενώ όταν ο καιρός είναι βροχερός τότε η διάθεσή του είναι κακή (Bad). Επόµενο είναι λοιπόν να µπορούµε να φτιάξουµε ένα Μαρκοβιανό µοντέλο που θα περιγράφει τον καιρό και κατά συνέπεια και την διάθεση του Bill. Οι πιθανότητες µετάβασης του καιρού από τη µία κατάσταση στην άλλη δίνονται στο παρακάτω διάγραµµα ροής.

Κρυφά Ηµιµαρκοβιανά Μοντέλα 0,4 ιάγραµµα..: ιάγραµµα ροής Μαρκοβιανής διαδικασίας που περιγράφει τον καιρό και συνεπώς και τη διάθεση του Bill. Στον τοµέα των Μαρκοβιανών διαδικασιών έχουν γίνει πάρα πολλές µελέτες τα τελευταία 50 χρόνια και αυτό γιατί τα µοντέλα αυτά προσαρµόζουν καλά φαινόµενα της καθηµερινής µας ζωής. Όµως η Μαρκοβιανή υπόθεση επιβάλει περιορισµούς ισµούς στην κατανοµή των χρόνων παραµονής (εκθετική/ γεωµετρική) και αυτό είναι το κύριο µειονέκτηµά τους. Επόµενο ήταν λοιπόν, να δηµιουργηθεί µία γενίκευση αυτών των µοντέλων, τα λεγόµενα Ηµιµαρκοβιανά µοντέλα, ώστε να επιτρέπεται οι χρόνοι παραµονής να ακολουθούν τυχαία κατανοµή και ταυτοχρόνως να ισχύει η Μαρκοβιανή ιδιότητα. Ενώ λοιπόν στα Μαρκοβιανά µοντέλα κάθε χρονική στιγµή γίνεται µετάβαση από µία κατάσταση i σε κάποια άλλη κατάσταση j, βάση των πιθανοτήτων µετάβασης p ij, στα Ηµιµαρκοβιανά µοντέλα οι διαδοχικές µεταβάσεις γίνονται πάλι βάση αυτών των πιθανοτήτων µετάβασης αλλά ο χρόνος που θα συµβεί η επόµενη µετάβαση είναι τυχαία µεταβλητή. Έστω ότι το σύστηµα έχει χώρο καταστάσεων S = {,2,..., n }. Κάθε Ηµιµαρκοβιανή διαδικασία έχει την αντίστοιχη «εµβαπτισµένη Μαρκοβιανή διαδικασία» βάση της οποίας γίνονται οι µεταβάσεις. Οι πιθανότητες µετάβασης της Ηµιµαρκοβιανής διαδικασίας είναι πάλι ij ενώ οι χρόνοι τ ij είναι τυχαίες µεταβλητές που παρεµβάλλονται ανάµεσα στις διαδοχικές µεταβάσεις (από την i στην j ). p Ορισµός..2(Βασιλείου Π.-Χ.Γ. (999)): Η τ.µ. τ ij ονοµάζεται χρόνος παραµονής και υποθέτουµε ότι έχει πεπερασµένες τιµές i, j S µε κατανοµή h ij ( τ ) = P { τ ij = τ }, τ =,2,3,..., i, j =,2,..., n µε h (0) = 0, i, j=,2,..., n και αντίστοιχο πίνακα H ( m) τα στοιχεία του οποίου είναι ij

2 Γιονταµελή Αντουανέττα ο χρόνος παραµονής στην κατάσταση i να είναι ίσος µε m hij ( m) = P χρονικές µονάδες η επόµενη µετάβαση θα γίνει στην κατάσταση j Έτσι γίνεται φανερό ότι η επαρκής πληροφορία για την πλήρη περιγραφή µίας Ηµιµαρκοβιανής διαδικασίας είναι η τριάδα (S,P,H(m)) σε αντίθεση µε µία Μαρκοβιανή διαδικασία όπου για την περιγραφή της αρκεί η δυάδα (S,P). Ορισµός..3 (Βασιλείου Π.-Χ.Γ. (999)): Η τ.µ. τ i ονοµάζεται αναµενόµενος χρόνος παραµονής (χρόνος αναµονής) στην κατάσταση i. Έχει κατανοµή wi ( m) = P{ τi = τ} τ =,2,... i, j=,2,..., n και αντίστοιχο πίνακα W ( m) µε στοιχεία ο χρόνος παραµονής στην κατάσταση i wi ( m) = P να είναι m χρονικές µονάδες n =pijhij ( m) j= Το γινόµενο c ( m) p h ( m) ij = ij ij εκφράζει την πιθανότητα η Ηµιµαρκοβιανή διαδικασία να κάνει την επόµενη µετάβασή της στην κατάσταση j ακριβώς στο χρόνο m δεδοµένου ότι εισήλθε στην κατάσταση i στο χρόνο 0 και είναι στοιχείο του λεγόµενου πίνακα πυρήνα C ( m). Ορισµός..4 (Βασιλείου Π.-Χ.Γ. (999)):Συµβολίζουµε µε qij ( ) την πιθανότητα µετάβασης της Ηµιµαρκοβιανής διαδικασίας στο διάστηµα n (0, ) δηλαδή qij ( ) = δijwj ( ) + pik hik ( mq ) ij ( m) για k= m= 0 i=,2,..., n, j=,2,..., n, = 0,,2,... και σε µορφή πινάκων > Q( ) = W ( ) + C( m) Q( m) m= 0 όπου > W ( ) = wm ( ) m= + Σχηµατικά θα µπορούσαµε να παραστήσουµε στον άξονα του χρόνου µία Ηµιµαρκοβιανή διαδικασία ως εξής:

Κρυφά Ηµιµαρκοβιανά Μοντέλα 3 καταστάσεις j k X 2 X 3 X 4 i X χρόνος ιάγραµµα..2 (Ibe (2009)): Παράδειγµα µονοπατιού µίας Ηµιµαρκοβιανής διαδικασίας..2 Περιγραφή των κρυφών Μαρκοβιανών µοντέλων Τα Μαρκοβιανά µοντέλα που περιγράψαµε παραπάνω, έχουν περιορισµούς στο να µοντελοποιήσουν πολλές εφαρµογές. Ο περιορισµός αυτός απορρέει όχι µόνο από τη συγκεκριµένη κατανοµή που ακολουθούν οι µεταβάσεις αλλά και από το γεγονός ότι υποθέτουν ότι υπάρχει πλήρης γνώση της δυνατότητας της εξέλιξης του συστήµατος ή ακόµα ότι αυτός που φτιάχνει το µοντέλο µπορεί να ελέγξει την εξέλιξη του συστήµατος. Πολλές όµως εφαρµογές δεν συµβαδίζουν µε τα παραπάνω και για αυτό το λόγο οι επιστήµονες ανέπτυξαν µοντέλα που µπορούν να προσαρµοστούν σε συστήµατα για τα οποία είτε δεν έχουµε πλήρη γνώση είτε δεν µπορούν να «ελεγχθούν». Ένας τύπος τέτοιων µοντέλων είναι τα κρυφά Μαρκοβιανά µοντέλα. Τα κρυφά Μαρκοβιανά µοντέλα παρουσιάστηκαν για πρώτη φορά το 966 από τους Baum-Perie και έγιναν αµέσως δηµοφιλή λόγω του ευρέως φάσµατος των εφαρµογών τους στη βιολογία (Churchill (992); Durbin e al (998)), στην αναγνώριση λόγου (Rabiner (989)), στην επεξεργασία εικόνων, στην αναγνώριση κειµένου κ.α.. Ένα κρυφό Μαρκοβιανό µοντέλο υποθέτει ότι η ακολουθία καταστάσεων που η διαδικασία περνά είναι άγνωστη και µπορεί µόνο να περιγραφεί µέσω µίας ακολουθίας παρατηρήσεων της εξέλιξης της διαδικασίας. Αυτό σηµαίνει ότι είναι µία διπλή στοχαστική διαδικασία που αποτελείται από µία Μαρκοβιανή διαδικασία µε χώρο καταστάσεων S= { s, s2,... s } την οποία δεν µπορούµε να παρατηρήσουµε και ονοµάζεται κρυφή, και από µία ακολουθία τυχαίων µεταβλητών που παίρνουν τιµές από το χώρο καταστάσεων Ω= { o, o2,... o M } την οποία µπορούµε να παρατηρήσουµε, και ονοµάζεται διαδικασία παρατήρησης.

4 Γιονταµελή Αντουανέττα Ο χώρος Ω είναι συνάρτηση του χώρου των καταστάσεων S, (Ibe Ο.C (2009)) εποµένως οι χώροι των καταστάσεων συνδέονται µε τη σχέση f ( S ) =Ω για κάποια συνάρτηση f. k k Ένα κρυφό Μαρκοβιανό µοντέλο ορίζεται από την πεντάδα Ω (Ibe O.C. (2009)): ( S,, P, φ, π ) S= { s, s2,... s }: πεπερασµένο σύνολο από Ν καταστάσεις στις οποίες µπορεί να µεταβεί η κρυφή Μαρκοβιανή διαδικασία Ω= { o, o2,... o M }: πεπερασµένο σύνολο από Μ πιθανά σύµβολα τα οποία µπορεί να πάρει η τ.µ. που παρατηρούµε P= { p ij }: σύνολο πιθανοτήτων µετάβασης όπου pij είναι η πιθανότητα το σύστηµα να µεταβεί από την κατάσταση s i στην κατάσταση s j Φ = { φ ( ο )}: πιθανότητες παρατήρησης, όπου φ ( ο ) είναι η i k i k πιθανότητα η παρατήρηση ο k, να παράγεται δεδοµένου ότι η Μαρκοβιανή διαδικασία, η οποία είναι κρυφή, είναι στην s i π = { π i }: αρχικές πιθανότητες της κρυφής Μαρκοβιανής διαδικασίας, όπου π i είναι η πιθανότητα το σύστηµα να αρχίσει από την κατάσταση s i. Συνήθως θεωρούµε ότι ο αριθµός των καταστάσεων καθώς και οι καταστάσεις-σύµβολα που παίρνει η διαδικασία που παρατηρούµε είναι γνωστές. Αυτό σηµαίνει ότι ενώ στην πραγµατικότητα ένα κρυφό Μαρκοβιανό µοντέλο όπως είδαµε παραπάνω χαρακτηρίζεται από την πεντάδα ( S, Ω, P, φ, π ) µπορούµε να λέµε ότι χαρακτηρίζεται µόνο από την τριάδα λ= ( P, φ, π ). Στη συνέχεια δίνεται η προσαρµογή του προηγούµενου παραδείγµατος (Ibe Ο.C (2009)) από απλό Μαρκοβιανό µοντέλο σε κρυφό Μαρκοβιανό µοντέλο ώστε να γίνει πιο εύκολα αντιληπτή η κατασκευή του, τα στοιχεία που το χαρακτηρίζουν καθώς και η χρησιµότητα ενός τέτοιου µοντέλου. Παράδειγµα.2.: Έστω ότι είµαστε σε ένα δωµάτιο µε τον Bill και θέλουµε παρατηρώντας τη διάθεσή του να καταλάβουµε πως είναι ο καιρός έξω χωρίς να έχουµε καµία επιπλέον πληροφορία. Ας υποθέσουµε κατά αντιστοιχία µε το Παράδειγµα.. της προηγούµενης παραγράφου ότι οι πιθανότητες µετάβασης του καιρού από µία µέρα σε µια άλλη είναι ίδιες αλλά η διάθεση του Bill και στις τρεις περιπτώσεις µπορεί να είναι καλή (Good), µέτρια (So-So) ή κακή (Bad) µε κάποια πιθανότητα. Σύνολο καταστάσεων της κρυφής Μαρκοβιανής διαδικασίας:

Κρυφά Ηµιµαρκοβιανά Μοντέλα 5 S= { s, s, s } = {ηλιόλουστος, συνεφιασµένος, βροχερός} = { SCR,, } 2 3 Σύνολο καταστάσεων της παρατηρούµενης διαδικασίας: Ω= { o, o, o } = {καλή, µέτρια, κακή} = { GSS,, B} 2 3 Σύνολο πιθανοτήτων µετάβασης: pij = P{η διάθεση του Βill να είναι sj η διάθεσή του ήταν si} όπου si, sj S για παράδειγµα, p2 = P{ο καιρός είναι συνεφιασµένος την προηγούµενη χρονική στιγµή ήταν ηλιόλουστος} = 0.3 p3 = P{ο καιρός είναι ηλιόλουστος την προηγούµενη χρονική στιγµή ήταν βροχερός} = 0.2 κ.ο.κ Πιθανότητες παρατήρησης: φi ( οk ) = P{η διάθεση του Bill είναι οk ο καιρός να είναι si} όπου si S, o k Ω παραδείγµατος χάριν, φ ( ο ) =P{η διάθεση του Bill να είναι µέτρια ο καιρός είναι ηλιόλουστος} 2 = 0.3 φ3( ο ) = P{η διάθεση του Bill να είναι καλή ο καιρός είναι βροχερός} = 0. φ ( ο ) =P{η διάθεση του Bill να είναι κακή ο καιρός είναι συνεφιασµένος} 2 3 κ.ο.κ. = 0.2 Στο παράδειγµα.. οι πιθανότητες για τη διάθεση του Bill είναι δηλαδή: P {η διάθεση του Bill να είναι καλή ο καιρός είναι ηλιόλουστος} = P {η διάθεση του Bill να είναι µέτρια ο καιρός είναι συνεφιασµένος} = P {η διάθεση του Bill να είναι κακή ο καιρός είναι βροχερός} = Έτσι δεν χρειάζεται να µιλάµε για πιθανότητες παρατήρησης εφόσον κάθε παρατήρηση της διάθεσης του Bill αντιστοιχίζεται σε µία µόνο κατάσταση του καιρού. Σε αυτό το παράδειγµα, µε τη βοήθεια ενός κρυφού Μαρκοβιανού µοντέλου οι πιθανότητες παρατήρησης µπορούν να πάρουν τιµές µικρότερες της µονάδας, που κατά πάσα πιθανότητα θα αντικατοπτρίζει καλύτερα την πραγµατικότητα. Εποµένως δεν είναι ακριβές σε ποια κατάσταση βρίσκεται ο καιρός παρατηρώντας µόνο τη διάθεση του Bill. Οι παραπάνω πιθανότητες δίνονται ολοκληρωµένα στο παρακάτω διάγραµµα ροής.

6 Γιονταµελή Αντουανέττα ιάγραµµα.2. (Ibe Ο.C (2009)):: ιάγραµµα ροής του κρυφού Μαρκοβιανού µοντέλου Όπως για κάθε τύπο µοντέλου, έτσι και για το κρυφό Mαρκοβιανό µοντέλο υπάρχουν κάποιες παραδοχές. Θεωρούµε µία ακολουθία καταστάσεων της Μαρκοβιανής διαδικασίας Q = { q }, q S. Οι καταστάσεων της παραδοχές είναι οι εξής τρεις. Μαρκοβιανή παραδοχή που αναφέρεται στη µνήµη του µοντέλου. P { q = j q = iq, = l,..., q = n } = P { q = j q = i } + 0 + Αυτή είναι η περίπτωση Μαρκοβιανού µοντέλου α τάξης γιατί η κατάσταση στην οποία θα µεταβεί το σύστηµα την επόµενη χρονική στιγµή εξαρτάται µόνο από την κατάσταση στην οποία βρίσκεται τη δεδοµένη χρονική στιγµή. Είναι εφικτό βέβαια να έχουµε και µοντέλα µεγαλύτερης τάξης. 2. Παραδοχή οµογένειας που ουσιαστικά µας βεβαιώνει για το ότι οι πιθανότητες µετάβασης είναι ανεξάρτητες του χρόνου δηλαδή P { q = j q = i} = P{ q = j q = i} για δύο τυχαίες + + 2 2 χρονικές στιγµές 3. Παραδοχή ανεξαρτησίας που στηρίζει ότι οι παρατηρήσεις που βλέπουµε σε ανεξάρτητα µεταξύ τους διαστήµατα είναι ανεξάρτητες µεταξύ τους, δηλαδή δεδοµένης ακολουθίας παρατηρήσεων O= { v, v2,..., v T } ισχύει PO { q, q,..., q, λ} Pv { q, λ} 2 όπου v k η πραγµατοποίηση της o k. T T = =

Κρυφά Ηµιµαρκοβιανά Μοντέλα 7.3 Τα τρία βασικά προβλήµατα των ΚΜΜ και οι βασικές µέθοδοι επίλυσής τους Τα τρία θεµελιώδη προβλήµατα των ΚΜΜ s προκύπτουν από το τι ζητά κάθε φορά ο χρήστης του µοντέλου. Έστω ότι έχουµε το µοντέλο λ = ( P, Φ, π ) όπως αυτό περιγράφηκε στην προηγούµενη παράγραφο..3. Πρόβληµα αξιολόγησης Το πρώτο πρόβληµα αφορά στην πιθανότητα µίας ακολουθίας παρατηρήσεων O= o, o2,..., ot δεδοµένων των παραµέτρων του µοντέλου λ = ( P, Φ, π ). Εποµένως ζητάµε την PO [ λ ] και για αυτό ονοµάζεται πρόβληµα αξιολόγησης. Ο πιο συνηθισµένος τρόπος επίλυσής του είναι οι προς τα εµπρός και προς τα πίσω αλγόριθµοι και αυτό γιατί η πολυπλοκότητά τους είναι µικρότερη από άλλες µεθόδους. Ακολουθούν τα βήµατα των δύο αυτών αλγορίθµων. Προς τα εµπρός αλγόριθµος(ibe Ο.C (2009)): Ορίζουµε την πιθανότητα η ΜΑ να βρίσκεται στην si τη χρονική στιγµή και a ( i) = P να έχει παρατηρηθεί η ακολουθία { o, o2,..., o } των παραµέτρων του µοντέλου = Po {, o,..., o, q = s λ} 2 i Βήµα : Αρχική κατάσταση a ( i) = πφ ( o ) i N i i Βήµα 2: Επαγωγή a ( j) = φ ( o ) p a ( i) για T και j Ν + j + ij i= Βήµα 3: Αναπροσαρµογή χρόνου se = + if < T go o 2 else go o Βήµα 4 Βήµα 4: Τερµατισµός PO [ λ] = at ( i) = POq [, T = s i λ] i= i= (.3.) (.3.2) (.3.3) 2 Η πολυπλοκότητα αυτού του αλγορίθµου είναι Ν Τ γιατί απαιτεί Ν( Ν+ )( Τ ) +Ν πολλαπλασιασµούς και Ν( Ν )( Τ ) προσθέσεις.

8 Γιονταµελή Αντουανέττα Παράδειγµα.3.(Ibe Ο.C (2009)): Θεωρούµε ξανά το πρόβληµα µε τη διάθεση του Bill και θεωρούµε ότι περιγράφεται και πάλι από το ιάγραµµα.2. της παραγράφου.2. Έστω ότι παρατηρούµε τη διάθεσή του Bill να αλλάζει σύµφωνα µε την ακολουθία {Καλή, Καλή, Μέτρια, Κακή, Κακή}={G,G,SS,B,B}. Θέλουµε να βρούµε την πιθανότητα το µοντέλο που περιγράφεται στο διάγραµµα (.2.) να παράγει αυτή την ακολουθία. Χρησιµοποιώντας τις σχέσεις (.3.)-(.3.3) του προς τα εµπρός αλγορίθµου και θεωρώντας ότι πs = πc = πr = έχουµε: 3 Βήµα : a ( S ) = 0.2, a ( C ) = 0., a ( R ) = 0.033 Βήµα 2-3: Με επαγωγή βρίσκουµε τα a 5 ( S ) = 0.0004, a 5 ( C ) = 0.0009, a 5 ( R ) = 0.023 Βήµα 4: Βρίσκουµε τη λύση PO ( = { GG,, SS, B, B} λ) = at ( i) = α 5( S) + α5( C) + α5( R) = 0.0036 i= Προς τα πίσω αλγόριθµος: Ορίζουµε την πιθανότητα β ( i) η ακολουθία παρατηρήσεων στο [,Τ] να είναι η β ( i) = P {o +,o +2,...,o T} η ΜA βρίσκεται στην s i τη χρονική στιγµή και το µοντέλο είναι το λ = P{ o, o,..., o q = s, λ} + + 2 T i Βήµα : Αρχική κατάσταση β Τ ( i) = Βήµα 2: Επαγωγή β ( i) = p β ( j) φ ( o ) για T και i Ν ij + j + j= Βήµα 3: Αναπροσαρµογή χρόνου se = - if < T go o 2 else go o Βήµα 4 Βήµα 4: Τερµατισµός PO [ λ] = φ ( o ) β ( j) π = β ( i) a ( i) i i j= j= (.3.4) (.3.5) (.3.6)

Κρυφά Ηµιµαρκοβιανά Μοντέλα 9 Παράδειγµα.3.2(Ibe Ο.C (2009)) : Συνεχίζοντας το παράδειγµα.2. και θέλοντας να βρούµε πάλι την πιθανότητα το µοντέλο του διαγράµµατος.2. να παράγει την ακολουθία O= { G, G, SS, B, B} θα χρησιµοποιήσουµε τον προς τα πίσω αλγόριθµο. β ( S) = β ( C) = β ( R) = Βήµα : 5 5 5 Βήµα 2-3: Με επαγωγή βρίσκουµε τα β ( S) = 0.02, β ( C) = 0.004, β ( R) = 0.0078 Βήµα 4: Βρίσκουµε την πιθανότητα P{ O= { GGSS,,, B, B} λ} = β( i) πφ i i ( ο) i= = β( S) πsφs ( G) + β( C) πcφc ( G) + β( R) πrφr ( G) = 0.00354 Βλέπουµε ότι η πιθανότητα που βρίσκουµε από τον προς τα εµπρός αλγόριθµο 0.0036 και η πιθανότητα που δίνεται από τον προς τα πίσω 0.00354 είναι πολύ κοντά όπως και θα έπρεπε..3.2 Πρόβληµα αποκωδικοποίησης Το δεύτερο πρόβληµα είναι πώς θα υπολογίσουµε τη βέλτιστη ακολουθία κρυφών καταστάσεων (ως βέλτιστη ακολουθία καταστάσεων ορίζουµε αυτή την ακολουθία που προκύπτει µε τη µεγαλύτερη πιθανότητα) που µπορεί να παραχθεί από µία συγκεκριµένη ακολουθία O= o, o2,..., ot που έχουµε παρατηρήσει ή µας ενδιαφέρει. Εποµένως ζητάµε το µονοπάτι που ακολουθεί η Μαρκοβιανή διαδικασία, Q, δεδοµένου του µοντέλου και της διαδικασίας παρατήρησης και για αυτό ονοµάζεται πρόβληµα αποκωδικοποίησης. Με τη βοήθεια της θεωρίας πιθανοτήτων, ορίζουµε την πιθανότητα a ( ) ( ) ( ) {, } i β i γ i = P q = si O λ =. Επειδή ψάχνουµε τη βέλτιστη a ( i) β ( i) i= ακολουθία ουσιαστικά ζητάµε την ακολουθία που δίνει τη µέγιστη πιθανότητα άρα και τη µέγιστη τιµή της γ ( i) εποµένως την απάντησή * µας θα την πάρουµε µόλις βρούµε την q = arg max { γ ( i)}. Τη λύση µας i * * * * δίνει ο αλγόριθµος Vierbi ο οποίος βρίσκει την Q = { q, q2,..., q T } δεδοµένης της O= { o, o2,..., o T }.

20 Γιονταµελή Αντουανέττα Αλγόριθµος Vierbi: Ορίζουµε τις µεταβλητές δ ( i), που είναι η µέγιστη πιθανότητα µίας κατάστασης σε ένα µονοπάτι που αρχίζει από τις πρώτες παρατηρήσεις και τελειώνει στην κατάσταση s i και ψ ( j), που αποτελείται από όλες τις καταστάσεις που επιλέγει η δ ( i) σε κάθε χρονική στιγµή. ηλαδή, PQO [, λ] δ ( i) arg max{ γ ( i)} = arg max{ PQ [ O, λ]} = arg max{ } Q Q Q PO [ λ] = arg max PQO [, λ]} Q = max P{ q, q,..., q, q = s, o, o,..., o λ} Q 2 i 2 ψ ( j) arg max{ ( i) p } δ ij Q Βήµα : Αρχική κατάσταση δ ( i) = πφ ( ο ) και ψ ( i) = 0 i i (.3.7) Βήµα 2: Αναδροµή δ ( j) = max{ δι ( i) pij} φj ( ο ) και ψ ( j) = arg max{ δι ( i) pij} Βήµα 3: Αναπροσαρµογή χρόνου se = + if < T goo 2 else goo Βήµα 4 Βήµα 4: Τερµατισµός * * P = max{ δt ( i)} και q = arg max{ δt ( i)} Βήµα 5: Μονοπάτι * * q =ψ + ( q + ) =T-,T-2,..., (.3.8) (.3.9) (.3.0) Παράδειγµα.3.3(Ibe O.C (2009)): Θεωρώντας τις ίδιες υποθέσεις µε τα δύο προηγούµενα παραδείγµατα θέλουµε να βρούµε την πιο πιθανή ακολουθία καταστάσεων της κρυφής Μαρκοβιανής διαδικασίας που παράγει την Ο. Αυτό είναι ένα πρόβληµα αποκωδικοποίησης και για αυτό το λόγο θα χρησιµοποιήσουµε τον αλγόριθµο Vierbi. Βήµα : Αρχικές συνθήκες δ ( S) = π φ ( G) = 0.2 δ ( C) = π φ ( G) = 0. S S C C

Κρυφά Ηµιµαρκοβιανά Μοντέλα 2 δ ( R) = π φ ( G) = 0.033 R R ψ ( S) = ψ ( C) = ψ ( R) = 0 Βήµα 2-3-4: Με τη βοήθεια των δύο αναδροµικών σχέσεων έχουµε τις τιµές και τις καταστάσεις για την τελευταία χρονική στιγµή δ5( S) = 0.0000288 ψ 5( S) = C δ5( C) = 0.0000864 ψ 5( C) = R δ5( R) = 0.00002592 ψ 5( R) = R Βήµα 5: Το µονοπάτι που ακολουθεί η διαδικασία δίνεται από το παρακάτω σχήµα όπου και φαίνεται ότι η πιο πιθανή ακολουθία καταστάσεων της Μαρκοβιανής διαδικασίας που παράγει την παρατήρηση O= { G, G, SS, B, B} είναι η * = {,,,, }. Q S S S R R S S S S S C C C C C R R R R R ιάγραµµα.3.: Μονοπάτι Μαρκοβιανής διαδικασίας..3.3 Πρόβληµα µάθησης Στο τρίτο πρόβληµα ζητείται να υπολογιστούν οι παράµετροι του µοντέλου ώστε να έχουµε τη µέγιστη πιθανότητα µίας ακολουθίας παρατηρήσεων O= o, o2,... o T. Αυτό σηµαίνει ότι ψάχνουµε ποιες παράµετροι θα µας δώσουν την max PO [ λ ] και άρα θέλουµε την * λ = arg max{ PO [ λ]}. Έχουµε ήδη ορίσει τις µεταβλητές a ( i), β ( i) για λ τους προς τα εµπρός και προς τα πίσω αλγορίθµους και τη πιθανότητα γ ( i) για τον αλγόριθµο Vierbi. Για τον αλγόριθµο Baum-Welch που δίνει τη λύση στο τρίτο πρόβληµα, χρειάζεται να ορίσουµε ακόµα µία µεταβλητή που θα εκφράζει τις πιθανότητες µετάβασης της Μαρκοβιανής διαδικασίας από µία κατάσταση σε µία άλλη δεδοµένων των παρατηρήσεων και των παραµέτρων του µοντέλου. Ορίζουµε λοιπόν την πιθανότητα

22 Γιονταµελή Αντουανέττα η ΜΑ να βρίσκεται στην si στο χρόνο ξ ( i, j) = P και στην sj στο χρόνο + Ο, λ = P{ q = s, q = s Ο, λ} = i + α ( i) p φ ( o ) β ( j) i j ij j + + α ( i) p φ ( o ) β ( j) ij j + + Αν αθροίσουµε την ξ ( i, j) ως προς όλες τις καταστάσεις j θα πάρουµε την πιθανότητα γ ( i) και αν αθροίσουµε ως προς το χρόνο θα πάρουµε τον αναµενόµενο αριθµό µεταβάσεων από την s i στην s j. j Αλγόριθµος Baum-Welch: Βήµα : Εκτίµηση της πιθανότητας της αρχικής κατάστασης π = αναµενόµενη συχνότητα µετάβασης στην s τη χ.σ. = γ ( i) i Βήµα 2: Εκτίµηση των p, ( k) p ij ij φ j. συνολικός αριθµός µεταβάσεων si s = = συνολικό αριθµό µεταβάσεων s =, o= k T = i T j = T = ξ ( i, j) γ ( i) i συνολικός αριθµός µεταβάσεων στην sj παρατηρώντας το k φj ( k) = συνολικό αριθµό µεταβάσεων s = T γ ( j) γ ( j) Βήµα 3: Έστω ότι το µοντέλο που χρησιµοποιήθηκε στο βήµα 2 είναι το = ( P, Φ, ). Γίνεται ξανά επανεκτίµηση του µοντέλου λ π έστω λ = ( P, Φ, π ) και πραγµατοποιούµε τόσες επαναλήψεις ώστε το τελικό µοντέλο να συγκλίνει (Βήµα 4) Βήµα 4: Εάν PO [ λ ] PO [ λ] < δ τότε sop, όπου δ ένα κατώτατο όριο. Ο αλγόριθµος Baum-Welch δεν εγγυάται ότι το µοντέλο θα συγκλίνει στο ολικό µέγιστο, γιατί µπορεί να υπάρχουν πολλά τοπικά µέγιστα, και j και

Κρυφά Ηµιµαρκοβιανά Μοντέλα 23 αυτό είναι το µεγάλο του µειονέκτηµα. Παρόλα αυτά µετά από την εκτέλεση του αλγορίθµου πολλές φορές µε διαφορετικές αρχικές συνθήκες το πρόβληµα αυτό µπορεί να ξεπεραστεί..4 Ειδικές περιπτώσεις ΚΜΜ Στην ανάγκη για µεγαλύτερη ευελιξία των µοντέλων και καλύτερη περιγραφή των φυσικών φαινοµένων πολλές ειδικές περιπτώσεις µελετήθηκαν. Αυτές προκύπτουν είτε προσθέτοντας νέα χαρακτηριστικά στο µοντέλο είτε αναπτύσσοντας εξαρτήσεις στα ήδη υπάρχοντα είτε προσθέτοντας επιπλέον σχέσεις µεταξύ γνωρισµάτων που υπάρχουν. Στη συνέχεια της παραγράφου περιγράφονται τέσσερεις τέτοιες επεκτάσεις των κρυφών Μαρκοβιανών µοντέλων: τα ιεραρχικά, τα παραγοντικά, τα συνδεµένα και τα profile κρυφά Μαρκοβιανά µοντέλα όπου η διαφορετικότητά τους έγκειται στη µορφή των καταστάσεων περισσότερο (τοπολογία) και όχι στις συνδέσεις που µπορεί να έχουν αυτές. Η παρακάτω αναφορά γίνεται ώστε να φανεί ο λόγος για τον οποίο τα κρυφά Ηµιµαρκοβιανά µοντέλα που θα αναλυθούν εκτενώς σε αυτή την εργασία, ενώ προέκυψαν ως µία ειδική µορφή των κρυφών Μαρκοβιανών µοντέλων (Rabiner L (989)), σήµερα µελετώνται διεξοδικά και χρησιµοποιούνται πολύ περισσότερο από τις παρακάτω µορφές κρυφών Μαρκοβιανών µοντέλων..4.:ιεραρχικά κρυφά Μαρκοβιανά µοντέλα (HΚΜΜ) Τα κρυφά ιεραρχικά µοντέλα µελετήθηκαν για πρώτη φορά το 998 από τον S.Fine (Fine S. e al (998)) ώστε να προσθέσουν στις κρυφές καταστάσεις ενός κρυφού Μαρκοβιανού µοντέλου ιεραρχία. Τα µοντέλα αυτά έχουν ένα επιπλέον προτέρηµα εκτός αυτών ενός κρυφού Μαρκοβιανού µοντέλου. Έχουν τη δυνατότητα να περιγράφουν συσχετίσεις παρατηρήσεων κατά τη διάρκεια µεγάλων περιόδων λόγω της ιεραρχίας που έχουν οι καταστάσεις της κρυφής αλυσίδας. Τα ιεραρχικά ΚMM είναι µία στοχαστική διαδικασία σε πολλαπλά επίπεδα. Κάθε µία από τις κρυφές καταστάσεις είναι από µόνη της ένα πιθανολογικό µοντέλο όπου η αρχική κατάσταση µε τις υποκαταστάσεις είναι σε µορφή δέντρου. Αυτό σηµαίνει ότι κάθε κατάσταση παράγει µία ακολουθία παρατηρήσεων και όχι µόνο µία παρατήρηση όπως συµβαίνει στα κρυφά Μαρκοβιανά µοντέλα χωρίς ιεραρχία. Περιγραφή του µοντέλου: Υπάρχουν δύο τύποι καταστάσεων: οι κανονικές κρυφές καταστάσεις S = { s, s2,... s } που ονοµάζονται καταστάσεις παραγωγής και οι εσωτερικές καταστάσεις I = { i, i2,..., i M } που µπορούν να συνδέονται µε άλλες καταστάσεις αλλά δεν µπορούν να παράγουν παρατηρήσεις. Σε κάθε επίπεδο ιεραρχίας υπάρχει και µία κατάσταση που ονοµάζεται

24 Γιονταµελή Αντουανέττα τελική κατάσταση από την οποία η διαδικασία µεταφέρεται στο αµέσως επόµενο επίπεδο. Έτσι οι µόνες καταστάσεις που παράγουν παρατηρήσεις είναι οι καταστάσεις παραγωγής. Υπάρχουν και οριζόντιες µεταβάσεις (µεταξύ των εσωτερικών καταστάσεων και των καταστάσεων παραγωγής) αλλά και κάθετες µεταξύ των καταστάσεων στα διαφορετικά επίπεδα ιεραρχίας. * Έστω Σ ένα πεπερασµένο αλφάβητο και Σ το σύνολο όλων των πιθανών συνδυασµών (λέξεων) των γραµµάτων του Σ. Μία ακολουθία * παρατηρήσεων είναι µία σειρά από τα στοιχεία του συνόλου Σ, έστω d Ο= { ο, ο2,..., ο Τ }. Μία κατάσταση συµβολίζεται µε qi ( d {,2,..., D}) όπου i είναι ο δείκτης που δείχνει την κατάσταση και d ο δείκτης που ορίζει το επίπεδο στο οποίο βρίσκεται η κατάσταση. Εάν η κατάσταση αυτή έχει άνω δείκτη d = D τότε είναι κατάσταση παραγωγής και ανήκει στο S, αλλιώς είναι εσωτερική και ανήκει στο I. Ένα παράδειγµα τέτοιου µοντέλου µε τυχαία ιεραρχική τοπολογία παρουσιάζεται στο παρακάτω διάγραµµα v v 2 v 3 v 4 ιάγραµµα.4. (Fine S. e al (998)): Παράδειγµα ιεραρχικού κρυφού Μαρκοβιανού µοντέλου µε τέσσερα επίπεδα. d Η κίνηση των εσωτερικών καταστάσεων qi ( d {, 2,..., D }) του ίδιου επιπέδου ορίζεται από τον πίνακα πιθανοτήτων µετάβασης d d q q A = ( ) όπου a ij d q d+ d+ ij j i a = P( q q ) και i, j υποκαταστάσεις της d q. Οι αρχικές πιθανότητες µετάβασης, δηλαδή για τις κάθετες κινήσεις της διαδικασίας, είναι κατ αντιστοιχία µε τα κρυφά Μαρκοβιανά µοντέλα

Κρυφά Ηµιµαρκοβιανά Μοντέλα 25 q d d q d + d + d Π = { π ( q i )} = { P ( q i q )} που ουσιαστικά µία εσωτερική κατάσταση του επιπέδου d ενεργοποιεί µία κατάσταση του επόµενου D επιπέδου d+. Τέλος σε κάθε κατάσταση παραγωγής q αντιστοιχεί q q και ένα διάνυσµα πιθανοτήτων B = { b ( k )} τέτοιο ώστε D q D D b ( k ) = P ( σ k q ) = P {η κατάσταση q να παράγει το σύµβολο σ k Σ}. Σύµφωνα µε τη θεωρία των κρυφών Μαρκοβιανών µοντέλων το ιεραρχικό µοντέλο χαρακτηρίζεται από την τριάδα q d q q q d = {,2,..., D } A d = {,2,..., D } Π d = {,2,..., D } B λ = { λ } = = {{ } =,{ Π } =,{ B }}. Εφαρµογή(Phung D..Q., Bui H.H. and Venkaesh S. (2004)): Μεταξύ πολλών εφαρµογών είναι και αυτή των D.Q. Phung, H.H. Bui και S.Venkaesh όπου παρουσιάζουν ένα ιεραρχικό κρυφό Μαρκοβιανό µοντέλο για την ανακάλυψη των δοµών στα εκπαιδευτικά βίντεο, ουσιαστικά δηλαδή να µπορούν να ανιχνεύσουν τη µετάβαση των θεµάτων (deecion of opic ransiion). Γενικά υπάρχουν τρεις τύποι θεµάτων: () άµεση καθοδήγηση, (2) επί της οθόνης και (3) επεξηγηµατική. Στο πρώτο ο δηµιουργός του βίντεο παρουσιάζει ένα θέµα βασισµένος σε κείµενο και λόγο, στο δεύτερο επιλέγει να µιλάει απευθείας στην κάµερα και στο τρίτο περιέχονται παραδείγµατα του θέµατος που θέλει να διδάξει. Οι παραπάνω συγγραφείς δηµιούργησαν ένα τέτοιο µοντέλο µε τρία επίπεδα. Το πρώτο επίπεδο (roo level) αντιπροσωπεύει ολόκληρο το βίντεο το οποίο ακολουθούν τρείς καταστάσεις στο δεύτερο επίπεδο κάθε µία εκ των οποίων αντιστοιχεί σε ένα τύπο θέµατος ((),(2),(3)). Η µόνη υπόθεση είναι ότι το θέµα ακολουθεί αυστηρά έναν από τους παραπάνω τρεις τύπους. Το επίπεδο παραγωγής, το τελευταίο δηλαδή, αντιστοιχεί σε τέσσερεις σηµασιολογικές έννοιες () εισαγωγή, (2) οδηγία που παραδίδεται από το µέσο όρο τιτλοφορούµενων κειµένων, (3) οδηγία που παραδίδεται άµεσα από τον παρουσιαστή και (4) επεξηγηµατικό παράδειγµα ( ιάγραµµα.4.2). D d d D D ιάγραµµα.4.2: οµή του ιεραρχικού κρυφού Μαρκοβιανού µοντέλου των Phung D.Q., Bui H.H. and Venkaesh S. για τα εκπαιδευτικά βίντεο.

26 Γιονταµελή Αντουανέττα.4.2:Παραγοντικά κρυφά Μαρκοβιανά µοντέλα (FΚΜΜ) Τα µοντέλα αυτά αναπτύχθηκαν στην προσπάθεια να επεκταθούν τα ΚΜΜ και να βρεθούν νέες τοπολογίες των καταστάσεών τους που πιθανών θα εξηγούσαν καλύτερα την πραγµατικότητα. Πρώτη φορά µελετήθηκαν από τους Ghahramani and Jordan (997) (Ghahramani Z., Jordan M.I. (997)). Στα παραγοντικά ΚΜΜ µπορεί πίσω από µία παρατήρηση να «κρύβονται» δύο Μαρκοβιανές διαδικασίες. Αυτό σηµαίνει ότι µπορεί να εξηγήσουν φαινόµενα στα οποία οι παρατηρήσεις που παίρνουµε συνίστανται από δύο διαφορετικά φαινόµενα και κατά συνέπεια από δύο διαφορετικές στοχαστικές διαδικασίες. Για παράδειγµα, οι Kadirkamanahan and Varga (99) πριν µελετηθεί το συγκεκριµένο είδος ΚΜΜ χρησιµοποίησαν µία αλυσίδα για να παραστήσουν το λόγο και µία άλλη για κάποια πηγή δυναµικού θορύβου. Όµοια, µετά τη µελέτη των µοντέλων αυτών, οι Logan and Moreno (998) χρησιµοποίησαν τα παραγοντικά ΚΜΜ στην διαδικασία του λόγου. Περιγραφή του µοντέλου Logan-Moreno (Logan B. and Moreno P.J. (997)): ιάγραµµα.4.3: Παραγοντικό ΚΜΜ µε δύο µαρκοβιανές αλυσίδες. Το παραπάνω διάγραµµα παριστάνει την τοπολογία των παραγοντικών ΚΜΜ. Ουσιαστικά δηλαδή, ένα παραγοντικό ΚΜΜ δηµιουργείται από επίπεδα όπου κάθε στρώµα έχει ανεξάρτητη κίνηση αλλά η κάθε παρατήρηση εξαρτάται από τη τρέχουσα κατάσταση σε κάθε ένα από τα στρώµατα. Η κάθε κρυφή κατάσταση που παράγει µία παρατήρηση στο χρόνο είναι τώρα ένα σύνολο από καταστάσεις οι οποίες βρίσκονται () (2) ( M ) στα διάφορα επίπεδα τη χρονική στιγµή δηλαδή S = S, S,... S όπου M είναι ο αριθµός των επιπέδων (layers). Όπως φαίνεται από το διάγραµµα.4.3 δεν επιτρέπονται µεταβάσεις µεταξύ των επιπέδων και αυτό γιατί αν επιτρέπονταν τότε θα είχαµε το απλό ΚΜΜ µε πίνακα

Κρυφά Ηµιµαρκοβιανά Μοντέλα 27 M M µεταβάσεων. Χωρίζοντας τις καταστάσεις σε επίπεδα δηµιουργείται ένα σύστηµα που µπορεί να µοντελοποιήσει πολλές διαδικασίες µε ανεξάρτητες κινήσεις που είναι αόριστα συνδεδεµένες όπως παραδείγµατος χάριν συνδυασµούς πολλών σηµάτων τα οποία είναι ανεξάρτητα µεταξύ τους και το µόνο κοινό που έχουν είναι η ακολουθία παρατηρήσεων που παράγουν. Κάθε στρώµα έχει παρόµοια δυνατότητα εξέλιξης µε ένα βασικό κρυµµένο Μαρκοβιανό µοντέλο αλλά η πιθανότητα µιας παρατήρησης εξαρτάται κάθε φορά από τη τρέχουσα κατάσταση σε όλα τα στρώµατα. Το µόνο µειονέκτηµα είναι ότι υπάρχει δυσκολία στο να βρούµε το µοντέλο ιδίως αν είναι πάρα πολλές οι κρυφές αλυσίδες όπου µπορεί να γίνει και αδύνατο. Οι Logan και Moreno (997) υποθέτουν ότι σε κάθε στρώµα, η µεταβλητή της κατάστασης µπορεί να πάρει µιας εκ των N τιµών κάθε φορά. Για παράδειγµα, υποθέτουµε ότι έχουµε ένα σύστηµα δύο επιπέδων κάθε ένα από τα οποία έχει 3 καταστάσεις όπως δείχνει το ιάγραµµα.4.4. () S () S 2 () S 3 Κρυφή διαδικασία 0 ο επίπεδο (2) S (2) S 2 (2) S 3 Κρυφή διαδικασία ο επίπεδο V V 2 V3 Παρατηρήσεις ιάγραµµα.4.4: Παραγοντικό κρυφό Μαρκοβιανό µοντέλο δύο επιπέδων Θεωρούµε ένα σύστηµα δύο επιπέδων µε τρείς καταστάσεις σε κάθε επίπεδο. Εδώ γενικά οι πίνακες µετάβασης για τα δύο επίπεδα είναι a0 b0 c0 a b c αντίστοιχα A 0 = 0 d0 e0 και A = 0 d e µέσω ενός 0 0 0 0 παραγοντικού κρυφού Μαρκοβιανού µοντέλου ενώ µέσω ενός κρυφού Μαρκοβιανού µοντέλου θα ήταν το καρτεσιανό γινόµενο των παραπάνω πινάκων Α0 Α

28 Γιονταµελή Αντουανέττα πράγµα που κάνει φανερή την ανάγκη αυτής της επέκτασης των µοντέλων..4.3:συνδεµένα Συνδεµένα κρυφά Μαρκοβιανά µοντέλα (CΚΜΜ) Τα συνδεµένα κρυφά Μαρκοβιανά µοντέλα αναπτύχθηκαν στην προσπάθεια να ξεπεραστεί ο περιορισµός των κρυφών Μαρκοβιανών µοντέλων που υποθέτουν ότι υπάρχει µία διαδικασία µε µικρό αριθµό καταστάσεων και πολύ περιορισµένη µνήµη. Πολλές φορές είναι δύσκολο να α µοντελοποιηθούν φαινόµενα µε µία µόνο Μαρκοβιανή διαδικασία. Τα συνδεµένα κρυφά Μαρκοβιανά µοντέλα δίνουν τη λύση σε αυτό το πρόβληµα. Παραδείγµατος χάριν οποιοδήποτε σήµα που µπορεί να παράγεται από την ανθρώπινη συµπεριφορά µπορεί να αποσυντεθεί σε οµάδες άδες από αλληλοεπιδρώµενες διαδικασίες. Πρώτος ο Brand M. (997) έδειξε τη χρησιµότητά τους στην ταξινόµηση της κίνησης των δύο χεριών. Έπειτα σηµαντικές εφαρµογές έκαναν οι Kwon και Murphy K.P (2000) που µοντελοποίησαν την κίνηση σε αυτοκινητόδροµο και οι ο Xie Y. and Liu Z. (2006) τη λεκτική αναπαράσταση (speech animaion). Περιγραφή του µοντέλου(ibe µοντέλου Ο.C (2009)): Ένα συνδεδεµένο κρυφό Μαρκοβιανό µοντέλο έχει παραπάνω από µία κρυφές διαδικασίες κάθε µία εκ των οποίων παράγει µία ακολουθία παρατηρήσεων. Ένα σχεδιάγραµµα τέτοιου µοντέλου φαίνεται στο παρακάτω διάγραµµα ιάγραµµα.4.5 (Ibe Ο.C (2009)): (2009)) Συνδεµένο κρυφό Μαρκοβιανό µοντέλο µε δύο διαδικασίες. διαδικασίες

Κρυφά Ηµιµαρκοβιανά Μοντέλα 29 Η κάθε κρυφή διαδικασία S, R παράγει µία ακολουθία παρατηρήσεων A B αντίστοιχα. Μεταξύ τους επιτρέπεται να συνδέονται κάτι που, σηµαίνει ότι µία κατάσταση της µίας κρυφής αλυσίδας µπορεί να οδηγήσει σε µία κατάσταση της άλλης αλυσίδας. Για να δηµιουργηθεί ένα τέτοιο µοντέλο, έστω το C, ουσιαστικά δηµιουργούνται οι δεσµευµένες πιθανότητες των δύο διαφορετικών κρυφών Μαρκοβιανών µοντέλων που οι κρυφές τους καταστάσεις αλληλεπιδρούν. Πιο συγκεκριµένα, παίρνουµε το καρτεσιανό γινόµενο των καταστάσεων των διαδικασιών, { si},{ rk } των S, R, και των πιθανοτήτων τους P, P και σαν αποτέλεσµα έχουµε τις καταστάσεις c = { s, r } µε s s r r i j k l πιθανότητα Pc c =Ψ ( Ps s, Pr r, Ps r, Pr s ). Εάν συµβολίσουµε τις ik jl i j k l i l k j παρατηρήσεις µε o k όπως και στις προηγούµενες παραγράφους τότε η πιθανότητα µίας παρατήρησης δεδοµένου ότι η κρυφή διαδικασία βρίσκεται στην c = { s, r } δίνεται από τη σχέση P ( o) = P ( o) P ( o) ik i k ik i k c s r ik i k και αυτό γιατί προϋπόθεση των κρυφών Μαρκοβιανών διαδικασιών είναι η ακολουθία παρατηρήσεων να αποτελείται από ανεξάρτητες τυχαίες µεταβλητές..5 Περιγραφή των κρυφών Ηµιµαρκοβιανών µοντέλων Τα κρυφά Ηµιµαρκοβιανά µοντέλα είναι µία επέκταση των κρυφών Μαρκοβιανών µοντέλων. Πρωτοαναφέρθηκαν από τον Ferguson J.D. J.D. (980) και αναπτύχθηκαν αργότερα κυρίως µε τη µελέτη των Levinson S.E.S.E. (986), Rabiner L. (989), Murphy K.P (2002), Barbu and Limnios (2008), Yu S.-Z. (200). Κατά καιρούς διαφορετικά ονόµατα έχουν δοθεί σε αυτού του είδους τα µοντέλα όπως κρυφά Μαρκοβιανά µοντέλα (KΜΜ) άµεσης διάρκειας, µεταβλητής διάρκειας, γενικευµένα ΚΜΜ, τµηµατικά µοντέλα που εξαρτώνται κυρίως από τις αρχικές υποθέσεις ως προς τις καταστάσεις και τις πιθανότητες µετάβασης της Ηµιµαρκοβιανής διαδικασίας και ως προς τα πεδία εφαρµογής. Οι εφαρµογές τους µετρούν σε τριάντα επιστηµονικά πεδία. Κάποια από αυτά αφορούν στη βιολογία για την αναγνώριση γονιδίων στο DNA και την δοµή των πρωτεϊνών, στην απεικόνιση του εγκεφάλου µέσω µαγνητικής τοµογραφίας, σε προγνώσεις για θέµατα υγείας, στην αναγνώριση λόγου, γραφής, ανθρώπινης δραστηριότητας και γεγονότων που περιέχονται σε ένα βίντεο, στην ανίχνευση ανωµαλίας δικτύων, στην τµηµατοποίηση εικόνας και πολλά άλλα. Από το 2000 και έπειτα η εφαρµογή αυτών αυξήθηκε µε συνέπεια να χρειάζεται συνεχής µελέτη των ιδιοτήτων τους και των εκτιµήσεων που µπορούν να γίνουν ώστε το κάθε µοντέλο να µπορεί να εξηγήσει µε ακρίβεια την πραγµατικότητα.

30 Γιονταµελή Αντουανέττα Στις προηγούµενες παραγράφους αναπτύχθηκε η βασική θεωρία των κρυφών Μαρκοβιανών µοντέλων όπου ορίστηκαν ως µία διπλή στοχαστική διαδικασία µε παρατηρήσεις που είναι τυχαίες µεταβλητές και µία κρυφή Μαρκοβιανή διαδικασία που σε κάθε χρονική στιγµή παράγει µία από τις παρατηρήσεις. Το µεγάλο µειονέκτηµα των ΚΜΜ είναι ότι ο χρόνος παραµονής της κάθε κρυφής κατάστασης ακολουθεί γεωµετρική ή εκθετική κατανοµή. Όµως υπάρχουν προβλήµατα σε εφαρµογές στα οποία ο χρόνος παραµονής σε κάθε κατάσταση ακολουθεί άλλη κατανοµή. Σε αυτό το κεφάλαιο θα αναπτυχθεί η θεωρία των κρυφών ηµιµαρκοβιανών µοντέλων που επιτρέπουν στην κρυφή αλυσίδα να είναι Ηµιµαρκοβιανή, δηλαδή ο χρόνος παραµονής σε µία κατάσταση να ακολουθεί οποιαδήποτε κατανοµή και κατά συνέπεια ξεπερνούν τον περιορισµό των ΚΜΜ κρατώντας όλα τα προτερήµατα τους. Έστω Z = ( Z n ) n N χώρο καταστάσεων S {,..., M } µία Ηµιµαρκοβιανή διαδικασία µε πεπερασµένο =. Μία ακολουθία καταστάσεων αυτής, συµβολίζεται µε S : T S, S 2,... S T όπου S S είναι η κατάσταση που βρίσκεται η αλυσίδα τη χρονική στιγµή και η πραγµατοποίηση αυτής µε s :T. Έστω τώρα η O= ( On ) n N µία οµογενής ως προς το χρόνο ακολουθία τυχαίων µεταβλητών µε πεπερασµένο χώρο καταστάσεων V = { v, v2,..., v K }.. Θα συµβολίζουµε µε O : T O, O2,..., O T την ακολουθία παρατηρήσεων όπου. Τέλος, θεωρούµε την τυχαία O V µεταβλητή d που ορίζει τη διάρκεια της κάθε κατάστασης και έχει χώρο καταστάσεων D = {, 2,..., D}. Αυτό δείχνει ότι η διάρκεια κάθε κατάστασης είναι πεπερασµένη. Ουσιαστικά είναι ο αριθµός των παρατηρήσεων που παράγονται όσο η Ηµιµαρκοβιανή διαδικασία βρίσκεται σε µία συγκεκριµένη κατάσταση. Το διάγραµµα.5. αναπαριστά σχηµατικά µία κρυφή Ηµιµαρκοβιανή διαδικασία. Παρατηρήσεις Χρόνος ιάρκεια Ακολουθία καταστάσεων Μεταβάσεις ιάγραµµα.5. : Κρυφή Ηµιµαρκοβιανή διαδικασία (Yu S.-Z. (200))

Κρυφά Ηµιµαρκοβιανά Μοντέλα 3 Για να οριστεί µία κρυφή Ηµιµαρκοβιανή διαδικασία θα πρέπει να γίνουν κάποιες υποθέσεις που όµως δεν αναιρούν τη γενικότητα του µοντέλου. Οι υποθέσεις αυτές είναι: Y: Η κρυφή αλυσίδα να ικανοποιεί τη Μαρκοβιανή ιδιότητα δηλαδή η κατάσταση στην οποία θα µεταβεί η Ηµιµαρκοβιανή διαδικασία εξαρτάται µόνο από την προηγούµενη κατάσταση, P{ s+ = j s d : = i, s d d : d = l,..., s: d = n} = P{ s+ = j s d : = i} µε 2 2 n i, jl,, n S, d, d,..., dn D. Υ2: Οι µεταβάσεις της κρυφής διαδικασίας είναι ανεξάρτητες από το χρόνο στον οποίο γίνονται που δείχνει ότι η διαδικασία είναι οµογενής ως προς το χρόνο, P{ s + = j s = i} = P{ s + = j s = i}, i, j S,, 2 N 2 2 Υ3: Οι τυχαίες µεταβλητές που παρατηρούµε είναι µεταξύ τους ανεξάρτητες, T PO { s, s2,..., st, λ} = Pv { s, λ}, v V = Ορισµός.5. (Barbu V.S.and Limnios N.(2008)):. Έστω O= ( On ) n N ανεξάρτητες τυχαίες µεταβλητές, δεδοµένου ενός µονοπατιού της ΗΜ Z = ( Zn) n N, δηλαδή * ο V, j S, n N ισχύει η παρακάτω σχέση: PO { = o O =, Z = iz, = } = PO { = o Z = i}. n : n n 0: n n n Η αλυσίδα ( Z, O) = ( Zn, On ) n N ονοµάζεται κρυφή Ηµιµαρκοβιανή αλυσίδα τύπου SM-M0, όπου το 0 δείχνει την τάξη της O θεωρούµενη ως δεσµευµένη Μαρκοβιανή αλυσίδα. 2. Ορίζουµε πίνακα R= ( Rio ; ; i S, o V ) M S V ως τη δεσµευµένη κατανοµή της αλυσίδας O, R ; = P{ O = o Z = i}, και καλείται io n n πίνακας πιθανοτήτων παραγωγής της O (emission probabiliy marix). Ορισµός.5.2 (Barbu V.S.and Limnios N.(2008)):. Έστω O= ( On ) n N µία οµογενής Μαρκοβιανή διαδικασία τάξης k, k, δεδοµένου ενός µονοπατιού της ΗΜ Z = ( Zn) n N, * δηλαδή ο0, ο,..., ο k V, i S, n N ισχύει η παρακάτω σχέση:

32 Γιονταµελή Αντουανέττα PO { = o O = o, O =, Z = i, Z = } n+ k n k+ : n 0: k 0: n k n+ 0: n. = PO { n+ = ok On k+ : n = o0: k, Zn+ = i} Η αλυσίδα ( Z, O) = ( Zn, On ) n N ονοµάζεται κρυφή Μαρκοβιανή αλυσίδα τύπου SM-Mk, όπου το k δείχνει την τάξη της O. 2. Ορίζουµε πίνακα R= ( Rio ; ; i S, o0: k V ) M S V V V ως τον 0: k πίνακα µετάβασης της αλυσίδας O, Rio ; = P{ On+ = ok On k+ : n = o0: k, Zn+ = i}, και καλείται 0: k πίνακας πιθανοτήτων παραγωγής της O (emission probabiliy marix). Παράδειγµα.5. (Barbu V.S. and Limnios N.(2008)): Πρόβληµα ανίχνευσης ενός κάλπικου ζαριού. Θεωρούµε δύο ζάρια ένα δίκαιο και ένα κάλπικο. Όταν ρίχνουµε το κάλπικο ζάρι η πιθανότητα να φέρουµε 6 είναι 2 και οι πιθανότητες να φέρουµε,2,3,4,5 είναι 0. Αν ρίξουµε το κανονικό ζάρι οι πιθανότητες να φέρουµε,2,3,4,5,6 είναι όλες ίσες 6. Από τα δεδοµένα έχουµε ότι οι πιθανότητες µετάβασης δίνονται από τον παρακάτω πίνακα πιθανοτήτων µετάβασης όπου για το δίκαιο και Κ για το κάλπικο ζάρι: Κ 9 0 0 P = Κ 2 2 Έστω Z0, Z,... η τυχαία ακολουθία µεταβλητών των επαναλήψεων του πειράµατος µε τιµές 0 για το δίκαιο ζάρι και για το κάλπικο. Έστω O, O,... ακολουθία τυχαίων µεταβλητών µε τιµές από τον ακόµα την 0 χώρο {,2,3,4,5,6} που αναπαριστά τις τιµές των ζαριών. Οι τιµές της πρώτης ακολουθίας σε κάθε χρονική στιγµή είναι άγνωστες ενώ της δεύτερης γνωστές. Έτσι µπορούµε να θεωρήσουµε το ζευγάρι ( Z, O) = ( Zn, On ) n N σαν µία κρυφή Ηµιµαρκοβιανή διαδικασία µε κρυφές τις καταστάσεις Z που εκφράζουν αν το ζάρι είναι κάλπικο ή όχι και παρατηρήσεις τις O που εκφράζουν το αποτέλεσµα της ρίψης το οποίο και µπορούµε να παρατηρήσουµε. Οι πιθανότητες που θα µας ενδιέφεραν σε ένα πρόβληµα τέτοιου τύπου είναι PO { = i Z = }, PO { = i Z = 0} καθώς και τις ασυµπτωτικές τους n o n o πιθανότητες. (Barbu and Limnios (2008)). Από τον ορισµό.5. γίνεται φανερή η ανάγκη για να οριστούν τα χαρακτηριστικά ενός κρυφού Ηµιµαρκοβιανού µοντέλου, εκείνα δηλαδή τα χαρακτηριστικά που είναι ικανά και αναγκαία για να περιγραφεί. O Yu

Κρυφά Ηµιµαρκοβιανά Μοντέλα 33 S.-Z. (200) συγκέντρωσε στη δηµοσίευση του «Hidden semi-markov models» τις βασικές πιθανότητες που κάποιος πρέπει να µελετήσει όταν δουλεύει ένα κρυφό Ηµιµαρκοβιανό µοντέλο. Στην περιγραφή που ακολουθεί, θα διατηρηθούν οι συµβολισµοί αυτής της δηµοσίευσης και αυτό γιατί είναι περισσότερο περιγραφικοί από άλλες εργασίες.. Πιθανότητες µετάβασης της κρυφής Ηµιµαρκοβιανής διαδικασίας: Έστω η ακολουθία παρατηρήσεων o :T. Τότε η ακολουθία καταστάσεων της κρυφής Ηµιµαρκοβιανής διαδικασίας είναι S : d ] = i, S [ d+ : d+ d2 ] = i 2,..., S [ d+... + dn + : d+... + d = n i n και οι µεταβάσεις από µία κατάσταση σε µία άλλη m m n όπου dm = T, i,..., in S, m= ( i, d ) ( i, d ), m=,2,..., n m+ m+ d,..., dn D. Για ακρίβεια στους ορισµούς των πιθανοτήτων χρησιµοποιούνται στους δείκτες οι αγκύλες. Έτσι η S : d ] σηµαίνει ότι η κατάσταση στο χρόνο d + θα πρέπει να είναι διάφορη από την κατάσταση στο χρόνο d και αντίστοιχα στην S [ d+ : d+ d2 ] η κατάσταση στους χρόνους d και d+ d2+ θα είναι [ d +, d + d ]. Η διαφορετική από την κατάσταση στο διάστηµα χρόνου 2 πρώτη κατάσταση δεν χρειάζεται να αρχίζει από τη χρονική στιγµή όπως ούτε η τελευταία να τελειώνει στο χρόνο Τ. Ορίζουµε την πιθανότητα µετάβασης ( i, d ) ( j, d ), i j ως p ( id, ) ( jd, ) η ΗΜ να κάνει την επόµενη µετάβαση στην j και να P παραµείνει d χρονικές µονάδες είναι στην i για d χρονικές µονάδες = = i} P{ S[ + : + d] j S[ d + : ] = και µε p ( id, ) ( id, ) = 0 όπου µε p ( id, ) ( jd, ) j S \{ i} d D (.5.) i, j S, d, d D. Από τον ορισµό της πιθανότητας µετάβασης παρατηρούµε ότι η κατάσταση στην οποία θα µεταβεί και η διάρκειά της εξαρτάται από την προηγούµενη κατάσταση και τη διάρκειά αυτής. Αυτή την περίπτωση βέβαια µελετάµε στη γενική µορφή των κρυφών ηµιµαρκοβιανών µοντέλων. Σε επόµενο κεφάλαιο θα παρουσιασθούν διαφορετικές σκοπιές όσον αφορά στις εξαρτήσεις µεταξύ καταστάσεων και διάρκειας. Μία άλλη σκοπιά είναι η προσέγγιση της πιθανότητας µετάβασης µέσω της θεωρίας ανανέωσης. Αυτή η ανάλυση είναι χρήσιµη γιατί οι πιθανότητες µετάβασης συνδέονται µε τις πιθανότητες σε διάστηµα και τη συνάρτηση επιβίωσης της Ηµιµαρκοβιανής αλυσίδας. Έστω

34 Γιονταµελή Αντουανέττα U = ( U γ ) γ N δηλαδή Uγ : γ S ( γ ) ο προς τα πίσω χρόνος επανεµφάνησης της Z = ( Z γ ) γ N =, όπου S ( γ ) ο χρόνος της τελευταίας ανανέωσης πριν το χρόνο γ. Τότε η αλυσίδα ( ZU, ) = ( Uγ, Zγ ) γ N είναι Μαρκοβιανή µε χώρο καταστάσεων S N (Anselone P.M. (960);Limnios and Oprisan (200)). U γ S ( γ ) γ χρόνος Θεωρούµε τώρα τον πίνακα πιθανοτήτων µετάβασης pɶ : = ( p ( id, ) ( jd, )) i, j S, d, d N, τότε ισχύει η παρακάτω πρόταση: Πρόταση.5. (Chryssaphinou O. e.al (2008)): Για όλα τα i, j S, d, d N, οι πιθανότητες µετάβασης της Μαρκοβιανής διαδικασίας ( ZU, ) ( Uγ, Zγ ) γ = N δίνονται από τη σχέση p P{ Z ju, d Z iu, d } ( id, ) ( jd, ) = γ+ = γ+ = γ = γ = qij ( d + ), αν d=0 H ( d ) + = 0, αλλού i I {i=j} Hi ( d ), αν d=d + Hi( d ) όπου Ηi ( ) η συνάρτηση επιβίωσης των χρόνων παραµονής στην κατάσταση i και qij ( d + ) στοιχείο του πίνακα πυρήνα της Ηµιµαρκοβιανής διαδικασίας. (.5.2) Απόδειξη (Chryssaphinou O. e.al (2008)): Αρχικά θα δείξουµε ότι υπάρχει ( i, d ) Θ όπου M Θ= Θ i : = {( i, d ) S N : Hi ( d ) < } τέτοιο ώστε P{ Ζ γ = iu, γ = d } 0 i= και έπειτα θα υπολογίσουµε τις πιθανότητες µετάβασης πρώτης τάξης. Για το σκοπό αυτό ορίζουµε γ ( r) ψij ( γ ) : = ψ ( i, j, γ ) = qij ( γ ), για i, j S, γ N (.5.3) r= 0 γ ψ ( γ ) : = P{ Z = ju, = γ }, για i, j S, γ N j r r r= 0 (.5.4)

Κρυφά Ηµιµαρκοβιανά Μοντέλα 35 Γνωρίζουµε P{ Zγ = ju, γ = d} = ψ ( γ d)[ H ( d)] ότι j Sγ= 0 j qij ( γ ) = και 0 qij ( γ ) για κάθε i,j S και γ N. Εποµένως για όλα τα l S, i S, γ N τ.ω. q li( γ ) > 0. Χρησιµοποιώντας τη σχέση (.5.3) παίρνουµε ότι για όλα τα l S, i S, γ N τ.ω. ψ li( γ ) > 0 και εφαρµόζοντας τη σχέση (.5.4) ότι i S, γ N τ.ω. ψ i ( γ ) > 0.Εποµένως, i S, γ d τ.ω. ψ i( γ d ) > 0, d N και κατά συνέπεια ( id, ) Θ, γ d τ.ω. ψ ( γ d ) > 0. Για d = 0 ο χρόνος γ + είναι jump ime. Αυτό σηµαίνει ότι εάν S < είναι χρόνος στάσης τότε S = inf{ k > S : Z Z }. Από τη n j i n+ n k S n σχέση (.5.5) και τον τύπο της δεσµευµένης πιθανότητας έχουµε P{ Zγ+ = ju, γ+ = d Zγ = iu, γ = d } = = = γ d n= 0 γ d n= 0 γ d n= 0 P{ S = γ +, J = j S = γ d, J = i} P{ S = γ d, J = i} n+ n+ n n n n ψ ( γ d )[ H ( d )] i P{ S S = d +, J = j J = i} P{ S = γ d, J = i} n+ n n+ n n n ψ ( γ d )[ H ( d )] i qij ( d + ) P{ Sn = γ d, Jn = i} qij ( d + ) ψ i ( γ d ) = ψ ( γ d )[ H ( d )] ψ ( γ d )[ H ( d )] i i i i qij ( d + ) qij ( d + ) = = [ H ( d )] H ( d ) i i Για d = d + το γ + είναι jump ime και οµοίως µε παραπάνω, P{ Z = ju, = d Z = iu, = d } γ+ γ+ γ γ = = γ d I P{ S > γ +, J = j S = γ d, J = i} { i= j} n+ n+ n n n= 0 γ d ψ ( γ d )[ H ( d )] i I P{ S > γ + J = i, S = γ d } P{ S = γ d, J = i} { i= j} n+ n n n n n= 0 i ψ ( γ d )[ H ( d )] i i i i (.5.5)

36 Γιονταµελή Αντουανέττα = = I = γ d I P{ S S > d + J = i} P{ S = γ d, J = i} { i= j} n+ n n n n n= 0 γ d ψ ( γ d )[ H ( d )] i I [ H ( d + )] P{ S = γ d, J = i} { i= j} i n n n= 0 { i= j} i ψ ( γ d )[ H ( d )] i I{ i= j} [ Hi ( d + )] ψ i ( γ d ) = ψ ( γ d )[ H ( d )] [ H ( d + )] [ H ( d )] i i i i i 2. Πιθανότητες παραγωγής µίας συγκεκριµένης ακολουθίας παρατηρήσεων δεδοµένου µονοπατιού ΚΗ : Είδαµε στον ορισµό.5. πως ορίζεται ο πίνακας πιθανοτήτων παραγωγής. Έστω ότι η Ηµιµαρκοβιανή διαδικασία βρίσκεται στην κατάσταση j S τη χρονική στιγµή και θα παραµείνει d χρονικές µονάδες. Αυτό σηµαίνει ότι θα παράγει d στον αριθµό παρατηρήσεις, τις o+ : + d = o+,..., o+ d. Θεωρούµε ότι οι πιθανότητες παραγωγής µίας ακολουθίας παρατηρήσεων είναι ανεξάρτητες από το χρόνο και για αυτό το λόγο µπορούµε να τις γράψουµε και ως οι παρατηρήσεις που βλέπουµε να είναι οι bjd, ( o+ : + d ) P { o+,..., o+ d} η ΗΜ βρίσκεται στην κατάσταση j για d χρονικές µονάδες = P{ o S = j} + : + d [ + : + d ] (.5.6) 3. Αρχικές πιθανότητες της Ηµιµαρκοβιανής διαδικασίας: Θα συµβολίζουµε τις αρχικές πιθανότητες µίας κατάστασης i S της Ηµιµαρκοβιανής διαδικασίας µε π id, P{η ΗΜ να βρίσκεται στην κατάσταση i για d χρονικές µονάδες} = P{S [ d + : ] =i} (.5.7) µε 0, d D. Με αυτό τον τρόπο εκφράζεται η πιθανότητα µίας αρχικής κατάστασης και της διάρκειάς της πριν το χρόνο = ή πριν την πρώτη παρατήρηση o. Χρησιµοποιώντας και πάλι τη θεωρία ανανέωσης µπορούν να βρεθούν οι ασυµπτωτικές πιθανότητες σε σχέση µε τη συνάρτηση επιβίωσης και