Τεχνικές Εκτίμησης Υποογιστικών Συστημάτων Ακαδημαϊκό έτος 2016-17 Λύσεις για την Προαιρετική Εργασία Φεβρουάριος 2017 Πρόβημα 1 Δίνεται το παρακάτω μητρώο με τις πιθανότητες μετάβασης μιας Μαρκοβιανής Αυσίδας P = 0 08 0 02 0 0 0 06 0 02 0 02 0 0 0 1 0 0 0 0 0 0 0 1 α α 0 0 0 0 β 0 0 0 1 β 0 0 0 0 0 03 0 07 0 0 0 0 0 1 0 Ερώτημα 1α - Να ταξινομήσετε τις καταστάσεις για τις διάφορες τιμές των παραμέτρων α και β Ξεκινώντας από μία κατάσταση και κάνοντας έναν τυχαίο περίπατο, τι τιμές πρέπει να πάρουν οι παράμετροι ώστε να υπάρχει μοναδική οριακή κατανομή, ανεξάρτητη της αρχικής κατάστασης; Αρχικά παρουσιάζουμε ένα διάγραμμα για τη συγκεκριμένη αυσίδα Έχουμε μία ομογενή Μαρκοβιανή Αυσίδα, διακριτού χρόνου με διακριτό σύνοο καταστάσεων 06 1 2 5 1 β 6 08 β 02 03 02 02 1 07 1 α 4 3 7 1 α Η πρώτη παρατήρηση που πρέπει να κάνουμε είναι πως κάθε στοιχείο του μητρώου P αντιστοιχεί σε πιθανότητα, οπότε ισχύει ότι α, β [0, 1] Για την ταξινόμηση των καταστάσεων μεετάμε τις εξής περιπτώσεις: i α = 1, β = 0 Έχουμε την εξής διαμέριση, T = {1, 2, 3} (μεταβατικές), C 1 = {4} (απορροφητική), C 2 = {5, 6, 7} (επαναηπτικές) Σημειώνουμε πως η υπο-αυσίδα C 2 έχει περιοδικές καταστάσεις, με περίοδο 2 ii α = 1, β > 0 Όες οι καταστάσεις είναι μεταβατικές εκτός της {4} που είναι απορροφητική 1
iii α [0, 1), β = 0 Εδώ έχουμε T = {1, 2, 3, 4} (μεταβατικές) και C = {5, 6, 7} Το σύνοο C έχει επαναηπτικές αά περιοδικές καταστάσεις iv α = 0, β = 1 Πέον μεταβατικές είναι οι T = {6, 7} και C = {1, 2, 3, 4, 5}, πάι μια κάση βέβαια επαναηπτικών αά περιοδικών καταστάσεων v α = 0, β (0, 1) Όες οι καταστάσεις επικοινωνούν και η αυσίδα είναι αμείωτη Όμως υπάρχει περίοδος στην επαναηπτικότητα Άρα οι καταστάσεις είναι περιοδικές και βέβαια επαναηπτικές vi α (0, 1) και β (0, 1) Η αυσίδα είναι πάι αμείωτη Επίσης, η ύπαρξη του self-loop στην κατάσταση 4 την καθιστά απεριοδική, όπως και τις υπόοιπες Συνεπώς οι καταστάσεις είναι όες εργοδικές Αφού κάναμε την προηγούμενη ανάυση, μπορούμε τώρα να απαντήσουμε στο ερώτημα της ύπαρξης μοναδικής οριακής κατανομής Αυτό οιπόν συμβαίνει στις περιπτώσεις (ii) και (vi) Στη (ii), ο τυχαίος περίπατος μακροπρόθεσμα θα καταήξει με πιθανότητα 1 στην απορροφητική κατάσταση Από την άη, στη τεευταία περίπτωση, το Εργοδικό Θεώρημα εξασφαίζει την ύπαρξη μοναδικής οριακής κατανομής η οποία συμπίπτει με τη στάσιμη Στις υπόοιπες περιπτώσεις είτε η αυσίδα είναι μειώσιμη, είτε δεν υπάρχει οριακή κατανομή όγω περιοδικότητας, είτε υπάρχει αά εξαρτάται της αρχικής κατάστασης Ερώτημα 1β - Υποθέτουμε πως ο τυχαίος περιηγητής ξεκινάει από την κατάσταση 2 Βρείτε τις οριακές πιθανότητες όταν β = 0 και α = 1 Επιπέον, υποογίστε τον μέσο αριθμό βημάτων μέχρι να γίνει απορρόφηση σε κάποια κάση ισοδυναμίας Για τη συγκεκριμένη παραμετροποίηση είδαμε πως η αυσίδα είναι μειώσιμη Αυτό σημαίνει πως, ξεκινώντας από κάποια από τις μεταβατικές καταστάσεις T = {1, 2, 3}, σε βάθος χρόνου, μπορεί να καταήξει στην κάση C 1 = {4} ή στην C 2 = {5, 6, 7} Έστω a i οι πιθανότητες απορρόφησης στην κάση C 1 δεδομένου ότι ξεκινάμε από την κατάσταση i, για i = 1, 2, 3, δηαδή a i = Pr(X n = 4, n X 0 = i) Ισχύει ότι Pr(X n C 2, n X 0 = i) = 1 a i Αυτές οι πιθανότητες δεν είναι οι γνωστές πιθανότητες μετάβασης και δε μπορούν να υποογιστούν μέσω του γνωστού συστήματος με το μητρώο P Όμως ικανοποιούν την αναδρομική σχέση a i = k T p ik a k + p i4 η οποία περιγράφει πως μπορεί να γίνει η απορρόφηση στην κατάσταση 4 δεδομένου ότι ξεκινάμε από την κατάσταση i Παίρνουμε έτσι τις εξισώσεις a 1 = 08a 2 + 02 a 2 = 06a 1 + 02a 3 + 03a 5 a 3 = a 2 Λύνοντας το παραπάνω σύστημα βρίσκουμε ότι a 1 = 05 και a 2 = a 3 = 0375 Χρησιμοποιήσαμε το γεγονός ότι a 5 = 0 αφού, όγω του ότι β = 0, από την κατάσταση 5 μεταφέρεται μόνο προς τις 6, 7 Συνεπώς, ο τυχαίος περιηγητής ξεκινώντας από την κατάσταση 2, οριακά θα καταήξει στην 4 με πιθανότητα 0375 και σε κάποια από τις 5, 6, 7 με πιθανότητα 0625 Τέος, στην υπο-αυσίδα C 2 οι καταστάσεις είναι βέβαια επαναηπτικές αά και περιοδικές Αυτό σημαίνει πως εκεί δεν υπάρχει οριακή κατανομή και άρα, δεν υπάρχουν οι πιθανότητες Pr(X n = i, n X 0 = 2) για i = 5, 6, 7 2
Ένας άος τρόπος είναι μέσω των πιθανοτήτων μετάβασης Ουσιαστικά ισχύει πως a 2 = lim n p(n) 2,4 Αυτός ο όρος μπορεί να βρεθεί υποογίζοντας διαδοχικά τα μητρώα P 2, P 3, P 4, μέχρι να υπάρξει σύγκιση και παίρνοντας το αντίστοιχο στοιχείο Προσοχή! Όπως είπαμε, η αυσίδα C 2 είναι περιοδική Αν κάποιος οιπόν υποογίσει κάποιες μεγάες διαδοχικές δυνάμεις του μητρώου P, πχ P 500, P 501, P 502 κπ, θα δει πως το υπο-μητρώο που αναφέρεται στις καταστάσεις {5, 6, 7} αάζει διαρκώς μεταξύ 2 μητρώων χωρίς να συγκίνει Αυτό επαηθεύει το γεγονός ότι δεν υπάρχει μοναδική οριακή κατανομή Θα βρούμε τώρα τον αναμενόμενο αριθμό βημάτων μέχρι να γίνει απορρόφηση Δε μας ενδιαφέρει που γίνεται η απορρόφηση οπότε υποθέτουμε πως οι καταστάσεις του συστήματος είναι το σύνοο {1, 2, 3, 4 } με τις 4, 5, 6, 7 να συγχωνεύονται όες στην 4 Αυτό διότι χρειάζεται να μετρήσουμε τα βήματα που γίνονται μόνο μεταξύ των καταστάσεων 1, 2, 3 αφού, αν φύγει από αυτές έχουμε απορρόφηση Οι πιθανότητες μετάβασης είναι οιπόν όπως στο επόμενο μητρώο P = 0 08 0 02 06 0 02 02 0 1 0 0 0 0 0 1 Έστω i ο αναμενόμενος αριθμός βημάτων μέχρι να γίνει απορρόφηση, δεδομένου ότι ξεκινάμε από την κατάσταση i, για i = 1, 2, 3 Με ανάυση πρώτου βήματος προκύπτει το εξής σύστημα 1 = 1 + 08 2 2 = 1 + 06 1 + 0 3 3 = 1 + 2 Λύνοντας το σύστημα αυτό βρίσκουμε ότι 1 = 55000, 2 = 56250, 3 = 66250 Επομένως, ξεκινώντας από την κατάσταση 2, ο τυχαίος περιηγητής θα κάνει κατά μέσο όρο 56250 βήματα ανάμεσα στις καταστάσεις 1, 2, 3, μέχρι να καταήξει σε κάποια κάση ισοδυναμίας Για έναν δεύτερο τρόπο: Μπορούμε να υποογίσουμε το 3 3 μητρώο ˆQ που περιέχει τις πιθανότητες μετάβασης για τις καταστάσεις 1, 2, 3, χωρίς να άβουμε υπόψιν τις καταστάσεις 4, 5, 6, 7 Ο ζητούμενος αριθμός, οι επισκέψεις στις μεταβατικές καταστάσεις μέχρι να γίνει απορρόφηση, προκύπτει από το μητρώο (I 3 3 ˆQ) 1 (βέπε Fundamental Matrix στη βιβιογραφία) και πιο συγκεκριμένα: 1 2 3 = (I 3 3 ˆQ) 1 Ερώτημα 1γ - Θέτουμε α = 05 και β = 07 Τι θα συμβεί μακροπρόθεσμα; Εξηγείστε αναυτικά κάνοντας τους απαραίτητους υποογισμούς Ορίστε το πρόβημα μαθηματικά και βρείτε τη ύση μέσω ενός περιβάοντος υποογισμών 1 1 1 3
Με την παραμετροποίηση α = 05 και β = 07, βρισκόμαστε στην έκτη περίπτωση από την ανάυση του ερωτήματος (α) Όες οι καταστάσεις επικοινωνούν και είναι απεριοδικές Άρα η αυσίδα είναι εργοδική Έτσι, μακροπρόθεσμα, ο τυχαίος περίπατος θα μπει σε μια στάσιμη κατανομή, η οποία είναι μοναδική και ανεξάρτητη της αρχικής κατάστασης Δηαδή, για κάθε j, ισχύει πως lim Pr(X n = i X 0 = j) = lim Pr(X n = i) = π i, i = 1, 2,, 7 n n Οι οριακές πιθανότητες π i, θέτοντας π = [π 1,, π 7 ] ικανοποιούν το σύστημα π P = π 6 π i = 1 i=1 Ένα τέτοιο σύστημα μπορεί να υθεί στο χαρτί αά θα είναι κοπιαστικό Από την άη, σε κάποιο περιβάον υποογισμών εύκοα μπορούμε να βρούμε πως η ύση είναι π = [02047, 03411, 01092, 00819, 00975, 00975, 00682] Ένας ενδεικτικός τρόπος να γίνει αυτό σε MATLAB είναι ο παρακάτω Μπορείτε να εξηγήσετε γιατί; P=[ [ 0, 0 8, 0, ] ; ] ; A=[P eye ( 7 ), ones ( 7, 1 ) ] ; b = [ 0, 0, 0, 0, 0, 0, 0, 1 ] ; x=b/a; Ερώτημα 1δ - Σε αυτό το ερώτημα καείστε να προσεγγίσετε την οριακή κατανομή μιας Μαρκοβιανής Αυσίδας μέσω προσομοίωσης τυχαίων περιπάτων Θα χρειαστεί να βρείτε κατάηο εκτιμητή τον οποίο και θα μεετήσετε Εξηγείστε αναυτικά τη διαδικασία που ακοουθήσατε και τα συμπεράσματα στα οποία καταήγετε Στο ερώτημα αυτό πρέπει να προσεγγίσουμε την οριακή κατανομή μιας εργοδικής Αυσίδας Markov εκτεώντας έναν μεγάο αριθμό από ανεξάρτητους τυχαίους περιπάτους Το πείραμα τύχης που πρέπει να επαναάβουμε είναι το εξής: Ξεκινάμε από μία κατάσταση Κάνουμε διαδοχικά βήματα μεταξύ των καταστάσεων, σύμφωνα με τις αντίστοιχες πιθανότητες μετάβασης, και σημειώνουμε τις επισκέψεις μας Η σχετική συχνότητα με των επισκέψεων σε μία κατάσταση προσεγγίζει την αντίστοιχη οριακή πιθανότητα Το τεευταίο εξασφαίζεται από το Εργοδικό Θεώρημα Επίσης, πάι όγω της εργοδικότητας, δεν έχει σημασία από που ξεκινάμε Έστω οιπόν πως κάνουμε M τυχαίους περιπάτους, τον κάθε ένα με N βήματα Χρησιμοποιούμε τον εξής συμβοισμό: 1{X (w) t = k} = 1 ο w-στός περίπατος στο βήμα t βρέθηκε στην κατάσταση k, αιώς 1{X (w) t = k} = 0 Έτσι οιπόν, ο εκτιμητής T k = 1 M N 1{X s (w) = k}, M N w=1 s=1 για ικανοποιητικά μεγάα M, N προσεγγίζει την πιθανότητα π k = lim n Pr(X n = k) Στη συνέχεια παρουσιάζουμε κάποια ενδεικτικά αποτεέσματα από πειράματα με τον συγκεκριμένο εκτιμητή Σε όες τι περιπτώσεις έχουμε ξεκινήσει από την κατάσταση 1 # Walks και # Steps είναι το πήθος και το μέγεθος αντίστοιχα των περιπάτων που υοποιήσαμε Στο τέος του πίνακα παραθέτουμε και την αηθινή κατανομή, όπως αυτή υποογίστηκε από τη ύση του σχετικού συστήματος για το ερώτημα (δ) Σχεδόν σε κάθε τιμή έχει γίνει στρογγυοποίηση σε 4 δεκαδικά ψηφία 4
# Steps # Walks π 1 π 2 π 3 π 4 π 5 π 6 π 7 10 100 02410 03710 01170 00940 01000 00510 00260 100 100 02163 03459 01136 00888 00959 00843 00552 1000 100 02083 03448 01098 00817 00977 00933 00644 10000 100 02046 03411 01093 00820 00972 00975 00684 100 1000 02083 03421 01114 00833 00969 00931 00650 1000 1000 02061 03424 01096 00820 00972 00958 00669 10000 1000 02048 03411 01093 00821 00973 00973 00681 100000 1000 02047 03411 01091 00819 00975 00975 00682 Αηθινή Κατανομή 02047 03411 01092 00819 00975 00975 00682 Για έναν δεύτερο τρόπο: Εναακτική προσέγγιση, αά ιγότερο αποδοτική, είναι να σταθεροποιήσει κανείς τα βήματα και να μετρήσει μόνο την τεευταία κατάσταση, για όες τις επαναήψεις-περιπάτους Αυτός ο τρόπος ακοουθήθηκε από κάποιους φοιτητές και, φυσικά, ήταν εξίσου σωστός Για παράδειγμα, παραθέτουμε τo script σε MATLAB που έφτιαξε ο φοιτητής Κοσμάς Μάριος n=100000;%ari8mos epanalhpsewn peiramatos s t a t e s =[1 2 3 4 5 6 7 ] ; count_visits=z e r o s ( 1, 7 ) ; s t a r t _ s t a t e =2; P=[0 0 8 0 0 2 0 0 0 ; ] ; f o r i = 1 : n temp = P( start_state, : ) ; r = rand ( ) ; % dhmiourgia enos tuxaiou ari8mou s t o diashma [ 0, 1 ] sum = temp ( 1 ) ; f o r ( j = 1 : 7 ) i f ( r <= sum) next_ state = j ; count_visits ( j ) = count_visits ( j )+1; %m e t r i s i episkepsewn s t a r t _ s t a t e = next_state ; break ; e l s e sum = sum+temp( j +1); end end end count_visits = count_visits /n %t e l i k e s pi8anothtes kanonikopoihsh 5
Πρόβημα 2 Υποθέτουμε πως σε ένα σύστημα εξυπηρέτησης πεατών ακοουθείται η παρακάτω στρατηγική Όσο οι πεάτες στην ουρά είναι ιγότεροι από T high, υπάρχει ένας εξυπηρετητής και το σύστημα ειτουργεί ως ένα συνηθισμένο M/M/1 Μόις όμως ο αριθμός των πεατών ξεπεράσει το T high, προστίθεται ένας δεύτερος εξυπηρετητής και το σύστημα ειτουργεί ως M/M/2 Αυτό συμβαίνει μέχρις ότου οι πεάτες γίνουν ιγότεροι από T low, οπότε και ο δεύτερος εξυπηρετητής αποσύρεται Οι παράμετροι οιπόν είναι ο ρυθμός αφίξεων, ο ρυθμός εξυπηρέτησης και τα κατώφια T high και T low Ερώτημα 2α - Αναπαραστήστε την αυσίδα με ένα διάγραμμα και διατυπώστε τις εξισώσεις ισορροπίας Πρόκειται για μία Μαρκοβιανή Αυσίδα συνεχούς χρόνου με άπειρο πήθος καταστάσεων Δεν συμπίπτει προφανώς με κάποια από όσες έχουν παρουσιαστεί στο μάθημα, παρ ό αυτά μπορεί να γίνει μια βασική μεέτη Ξεκινάμε παρουσιάζοντας ένα διάγραμμα Ουσιαστικά έχουμε δύο ενωμένες αυσίδες, μία που αναφέρεται σε έναν εξυπηρετητή και μια άη για δύο εξυπηρετητές Για ευκοία στην αναπαράσταση θέτουμε T high = H και T low = L 0 1 L-1 L H-1 L H-1 H H+1 Έχουμε υποθέσει πως δύο εξυπηρετητές δουεύουν μέχρι οι πεάτες να γίνουν L 1 Εφόσον κάθε κατάσταση εξαρτάται από τον αριθμό πεατών και εξυπηρετητών, για την οριακή κατανομή θα συμβοίσουμε με π 0,, π H 1 τις καταστάσεις που αντιστοιχούν σε έναν εξυπηρετητή και σ L,, σ H 1, σ H, αυτές που αντιστοιχούν σε δύο Με βάση το διάγραμμα, οι εξισώσεις ισορροπίας είναι οι εξής: π 0 = π 1 ( + )π 1 = π 0 + π 2 ( + )π L 1 = π L 2 + π L+1 ( + )π L = π L 1 + π L+1 + σ L (1) ( + )π L+1 = π L 1 + π L+2 ( + )π H 1 = π H 2 (2) ( + )σ L = σ L+1 ( + )σ L+1 = σ L + σ L+2 6
( + )σ H 1 = σ H 2 + σ H ( + )σ H = σ H 1 + σ H+1 + π H 1 (3) ( + )σ H+1 = σ H + σ H+2 όπου σημειώσαμε τις εξισώσεις (1) και (2) καθώς αποτεούν τους συνδετικούς κρίκους των δύο υποαυσίδων Τέος, η εξίσωση κανονικοποίησης είναι π 0 + π H 1 + σ L + σ H + = 1 Ερώτημα 2β - Για = 15, = 1, T low = 1 και T high = 8, βρείτε την αναυτική ύση της οριακής κατανομής για τη συγκεκριμένη αυσίδα Πέον, όταν ενεργοποιηθεί ο δεύτερος εξυπηρετητής, αυτός εργάζεται μέχρι να αδειάσει η ουρά Η αυσίδα οιπόν αναπαρίσταται ως εξής: 0 1 2 6 7 1 2 7 8 9 Το σύστημα εξισώσεων ισορροπίας πέον γράφεται όπως παρακάτω τ 0 = τ 1 + σ 1 (4) ( + )τ 1 = τ 0 + τ 2 (5) ( + )τ 2 = τ 1 + τ 3 ( + )τ 6 = τ 5 + τ 7 (6) ( + )τ 7 = τ 6 (7) ( + )σ 1 = σ 2 (8) ( + )σ 2 = σ 1 + σ 3 (9) ( + )σ 7 = σ 6 + σ 8 ( + )σ 8 = σ 7 + σ 9 + τ 7 ( + )σ 9 = σ 8 + σ 10 Αυτό που είναι σημαντικό για την επίυση είναι να διαέξουμε σωστά ποια-ποιες μεταβητές θα έχουμε ως σημείο αναφοράς Με ίγη προσοχή προκύπτει ότι αυτές θα είναι οι τ 7 και σ 1 Η διαδικασία είναι δυστυχώς επίπονη οπότε θα προσπαθήσουμε να την περιγράψουμε περιηπτικά 7
Ξεκινάμε από την (7) και βρίσκουμε το τ 6 ως προς τ 7 Πηγαίνοντας προς τα πίσω, μέχρι την (5), βρίσκουμε ομοίως τα τ 5,, τ 0 ως προς τ 7 Έπειτα, η (4) μας βοηθάει να εκφράσουμε το σ 1 ως προς τ 7 Πέον, ξεκινώντας από τη (8) μπορούμε να βρούμε και όα τα υπόοιπα σ k, k = 2, 3, ως προς σ 1 και κατ επέκτασιν, τ 7 Για ευκοία θέτουμε ϕ = και ψ = Έτσι ισχύει ότι ϕ, ψ 1 και ότι 2ϕψ = 1 Βρίσκουμε οιπόν τ k = 1 ϕ8 k 1 ϕ τ 7, για k = 0, 1, 7 σ 1 = ψτ 7 σ k = ψ ψk 1 ψ τ 7, για k = 2, 3 8 σ k = ψk 7 ψ k 1 ψ τ 7, για k = 9, 10 Τέος, μπορούμε να βρούμε την τιμή του τ 7 από την εξίσωση κανονικοποίησης Μια χρήσιμη παρατήρηση είναι ότι ισχύει επίσης πως σ k = ψ k 8 σ 8 για k 8 Για την επίυση του συστήματος θα χρησιμοποιήσουμε μία εαφρώς διαφορετική τεχνική Θα αρχικοποιήσουμε το τ 7 σε μια αυθαίρετη τιμή και, αφού εκφράσουμε όους τους υπόοιπους αγνώστους ως προς αυτό, θα κάνουμε κανονικοποίηση Επίσης, θα υποογίσουμε κατευθείαν την κατανομή του αριθμού των πεατών, ανεξάρτητα του πήθους των εξυπηρετητών, δηαδή βρίσκουμε τις πιθανότητες π k = τ k + σ k = Pr( k πεάτες στο σύστημα ) Έμμεσα θέσαμε ότι τ 0 = 0 Υποθέτοντας πως θα είναι απίθανο η ουρά να ξεπεράσει τα 100 άτομα (κάτι που είδαμε εμπειρικά στο (2β)), το σύστημα μπορεί να υθεί σε Python ενδεικτικά με τον παρακάτω τρόπο import numpy as np p s i=1 5 /2; phi=1/1 5 ; x=1000; # pi_7, the r e f e r e n c e point d i s t =[x (1 phi 8)/(1 phi ) ] # s t a r t by \pi_0 f o r k in range ( 1, 8 ) : # compute \pi_1 \pi_8 temp=x (1 phi (8 k))/(1 phi ) + x p s i (1 p s i (k 1))/(1 p s i ) distappend (temp) f o r k in range ( 8, 1 0 0 ) : # compute \pi_8 distappend ( d i s t [ k 1] p s i ) d i s t=d i s t /npsum ( d i s t ) # normalize Σημειώνουμε πως έτσι μπορεί να υποογιστεί η πραγματική οριακή κατανομή της αυσίδας κι όχι κάποια προσέγγιση, όπως αρχικά είχε ζητηθεί Δυστυχώς κανένας φοιτητής δεν έδωσε ικανοποιητική απάντηση σε αυτό το ζητούμενο Κι επειδή το κομμάτι της προσομοίωσης είναι ουσιαστικά εκτός ύης για την τεική εξέταση, δημοσιεύουμε προσωρινά τις ύσεις σε αυτή τη μορφή ώστε να υπάρχει χρόνος μεέτης για την επικείμενη εξέταση 8