הרצאה 7: CTMC הסתברויות גבוליות, הפיכות בזמן, תהליכי לידה ומוות משואות קולמוגורוב pi, j ( t + ) = pi, j ( t)( rj ) + pi, k ( t) rk, j k j pi, j ( + t) = ( ri ) pi, j ( t) + ri, k pk, j ( t) k j P ( t) = QP( t) משואות אחוריות P ( t) = P( t) :משואות קדמיות Q h Qt t h P( t) = e = Q h= 0 h! פתרון:, exp( ) X ( t ) = 0 X ( t ) = המשך דוגמא 2: אמינות רכיב תקין, מקולקל, זמן פעולה זמן 0 J 0 Q, R = =, P = 0 0 t CTMC עם 0 תיקון: ) exp( התהליך הוא פתרון משואות קולמוגורוב, הסתברויות מעבר לזמן ( + ) t ( + ) t 0 + e e P( t) = + + + + ( + ) t ( + ) t e + e + + + + עבור זמן מעבר 0, זמן מעבר קצר, ועבור זמן ארוך (הגבוליות): 0 + + P(0) = P( ) P( ) 0 = = + + = 2, = 4, 3, 2, תרגיל : בדוגמא 2 חשב נומרית את הסתברויות המעבר ל זמנים כאשר
t = t רמז: ניתן להציב בנוסחאות זמן כל אבל מספיק גם לחשב רק עבור ואז להשתמש ב P( k) = P() k t הסתברויות גבוליות: כמו בזמן בדיד, כאשר מקבלים הסתברויות גבוליות: lim P( X ( t) = j X (0) = i) = i t יהי משפט: X(t) תהליך מרקוב בזמן רציף שהוא אי פריק עם מצבים מתמידים חיוביים (בכל תהליך אי פריק עם מרחב מצבים סופי כל המצבים הם מתמידים חיוביים) אז קיימות הסתברויות גבוליות, שהן גם הסתברויות סטציונריות ושהן גם זמני השהיה הממוצעים לטווח זמן ארוך, ליחידת זמן, בכל המצבים, והם Q = 0, i פותרים את משואות שיווי המשקל לזמן רציף: = Q = המשך דוגמא 2: הגנרטור היה: משואות שיווי המשקל הן: [ ] =, 2 = + + [ ] 2 2 = [ 0 0 ], = או:, = 2 = 0, + 2 + תרגיל 2: עבור המודל סדנת מכונות עם והפתרון הוא: = 003 N = 3, M = 2, = 00, חשב את ההסתברויות הגבוליות חשב את הגדלים הבאים: מה הוא המספר הממוצע של מכונות שפועלות במצב סטציונרי (זהו גם הממוצע לזמן ארוך) מה המספר הממוצע של מפעילים שעסוקים בתיקונים X ( t) הפיכות בזמן :reversibility הגדרה: תהליך סטציונרי: הוא תהליך סטציונרי הוא נראה אותו דבר כאשר מזיזים את הזמן: X ( s + t), X ( s + t2),, X ( s + t m ) מתפלג כמו X ( t), X ( t2),, X ( t m ) הפיכות בזמן: t) X ( אותו אחורה): משפט עזר הוא תהליך הפיך בזמן הוא נראה אותו דבר כאשר הופכים את כיוון הזמן (מריצים X ( s t), X ( s t2),, X ( s t m ) מתפלג כמו X ( t), X ( t2),, X ( t m ) תהליך הוא הפיך בזמן אז הוא בודאי סטציונרי לכל: בתהליך שהוא הפיך בזמן קיים שיווי משקל במעברים בין כל זוג מצבים: אנו רואים את התהליך עובר מ i ל j אותו מספר פעמים שרואים אותו עובר חזרה מ j ל : i תנאי הכרחי ומספיק לכך שתהליך סטציונרי יהיה הפיך (הפיך בזמן) הוא קיום משואות שיווי משקל מפורטות: iri, j = jrj, i i, j S 2
תהליכי לידה ומוות: תהליך מרקוב CTMC או DTMC שמרחב המצבים שלו הוא,0,,2} = S ושכל המעברים ממצב למצב הם או תוספת של (לידה) או החסרה של,, +, } (מוות) נקרא תהליך לידה ומוות + הקצב שבו עוברים מ ל קצב הלידה במצב הוא הקצב שבו עוברים מ ל קצב המוות במצב הוא משפט: הוכחה: תהליכי לידה ומוות ארגודיים הם הפיכים, נסתכל במהלך של התהליך בין שני ביקורים במצב יותר, כלומר מספר המעברים מ זהה למספר המעברים מ אז על כל עליה יש ירידה מתאימה מאוחר K i ל i + 0 00 = = 0 i + 0 = 2 2 2 = = 0 2 2 0 = = = = 0 2 i ל לכן דוגמאות לתהליכי לידה ומוות דוגמא : תרגיל : 3 מרכזית טלפון: כולם תפוסים השיחה הולכת לאיבוד שיחות מגיעות בתהליך פואסון בקצב אחרת השיחה תופסת קו ומחזיקה בו למשך זמן במרכזיה יש קוים תאר exp( ) את המערכת כתהליך לידה ומוות צייר דיאגרמת מצבים וקצבי מעבר להסתברויות הסטציונריות רשום את הגנרטור מצא נוסחא חשב את ההסתברויות הסטציונריות ואת אחוז השיחות שהולכות לאיבוד כאשר = 5, = 4, K = 5 X ( t) דוגמא 2: לידה ומוות באוכלוסיה - (קצב ( או ללדת פריט נוסף (קצב ) לכן: סופר את מספר הפריטים באוכלוסיה כל פריט יכול למות r, + = = r, = = 3
זה מתאר אוכלוסיה של בקטריות שכל אחת יכולה להתפלג או למות הלידה וקצב המוות מוכפלים ב כאשר יש בתהליך זה יש מספר בן מניה אינסופי של מצבים פריטים באוכלוסיה קצב המצב 0 הוא סופג, כל שאר המצבים מתקשרים ומסתבר שכולם חולפים זמן סופי נגיע למצב והאוכלוסיה נכחדת עבור יש כאן שני מקרים: עבור בסיכוי לאחר > התהליך נוטה לנדוד (drift) כלפי מעלה, אבל יש כל הזמן גם קפיצות אקראיות חזרה למטה לכן יש הסתברות מסלול של התהליך, או שהוא נכחד, או שהאוכלוסיה חיובית להכחדה בכל מקרה, עבור כל כלומר אחרי מספר סופי של צעדים כבר לעולם α = P( exticito X (0) = ) 0 לא חוזרים מתחת ל נחשב את הסיכוי להכחדה: מאחר והוא תלוי במצב ההתחלתי נסמן אותו ), θ = P( X ( t) =, for some t =,2, X (0) = שהוא גודל שאינו תלוי במצב θ = > 2 θ = + θ + + ( ) נגדיר גם ההתחלתי נחשב קודם את θ 2 + + = ( )( ) = 0 θ θ θ θ θ = or θ = θ = הפתרון כאן הוא: פעם למצב נמוך יותר בפרט: אז ובטוח שחוזרים אז בסיכוי חוזרים אי α 0 =, α =, = + + + + α α α α ( α α+ ) = ( α α) + + = θ = α = α α+, α = α = α0 = i α = α0 α0 α α = = i= 0 4
( M/M/ ) הסיכוי להכחדה הולך ופוחת ככל שמתחילים גבוה יותר, וערכו α = דוגמא 3: תהליך לידה ומוות עם קצבים קבועים תור חסר זכרון עם שרת יחיד צרכנים מגיעים לשרת יחיד מופעים פואסוניים, שרות אכספוננציאלי לפי הנוסחא הכללית, 0 = 0 = 0 = 0 2 = 0 = = 0 = 0 לכן: הטור מתכנס, כל המצבים מתמידים חיוביים אחרת כל המצבים הם או חולפים או מתמידים אפס במקרה זה: ρ = < התהליך ארגודי עם התפלגות סטציונרית = ( ρ) ρ ρ = = ρ = > כל המצבים הם מתמידים אפס כל המצבים חולפים, והתור הולך וגדל עם הזמן דוגמא 4: תרגיל 4: לידה ומוות עם הגירה: למודל הלידה והמוות של דוגמא 2 נוסף גם תהליך פואסון בקצב ν את התהליך של פריטים שמהגרים אל האוכלוסיה במקרה זה כל המצבים מתקשרים והתהליך אי פריק תאר מצא תנאי לארגודיות ואת ההתפלגות הסטציונריות דוגמא 5: תרגיל 5: חזור למודל אהרנפסט עם חלקיקים N הפוך אותו לתהליך בזמן רציף על ידי הנחה שזמן השהיה של כל חלקיק בכל אחד משני התאים הוא אכספוננציאלי עם קצב תאר זאת כתהליך לידה ומוות צייר את דיאגרמת המצבים וקצבי המעבר, וחשב את ההתפלגות הסטציונרית חזור על כך כאשר בתא אחד הקצב של זמן השהיה של כל חלקיק הוא ובשני הוא 5
סיכום התרגילים: = 2, = 4, 3, 2, תרגיל : בדוגמא 2 חשב נומרית את הסתברויות המעבר ל זמנים כאשר t = t רמז: ניתן להציב בנוסחאות כל זמן אבל מספיק גם לחשב רק עבור ואז להשתמש ב P( k) = P() k תרגיל 2: עבור המודל סדנת מכונות עם N = 3, M = 2, = 00, = 003 חשב את ההסתברויות הגבוליות חשב את הגדלים הבאים: מה הוא המספר הממוצע של מכונות שפועלות במצב סטציונרי (זהו גם הממוצע לזמן ארוך) תרגיל : 3 מרכזית טלפון: תפוסים השיחה הולכת לאיבוד מה המספר הממוצע של מפעילים שעסוקים בתיקונים שיחות מגיעות בתהליך פואסון בקצב במרכזיה יש אחרת השיחה תופסת קו ומחזיקה בו למשך זמן המערכת כתהליך לידה ומוות צייר דיאגרמת מצבים וקצבי מעבר להסתברויות הסטציונריות K exp( ) רשום את הגנרטור קוים = 5, = 4, K = 5 כולם תאר את מצא נוסחא חשב את ההסתברויות הסטציונריות ואת אחוז השיחות שהולכות לאיבוד כאשר תרגיל 4: לידה ומוות עם הגירה: למודל הלידה והמוות של דוגמא 2 נוסף גם תהליך פואסון בקצב ν של פריטים שמהגרים אל האוכלוסיה במקרה זה כל המצבים מתקשרים והתהליך אי פריק תאר את התהליך מצא תנאי לארגודיות ואת ההתפלגות הסטציונריות תרגיל 5: חזור למודל אהרנפסט עם חלקיקים N הפוך אותו לתהליך בזמן רציף על ידי הנחה שזמן השהיה של כל חלקיק בכל אחד משני התאים הוא אכספוננציאלי עם קצב תאר זאת כתהליך לידה ומוות צייר את דיאגרמת המצבים וקצבי המעבר, וחשב את ההתפלגות הסטציונרית חזור על כך כאשר בתא אחד הקצב של זמן השהיה של כל חלקיק הוא ובשני הוא מקורות פרק 6 בספר של קולקרני על CTMC פרק בספר של Kelly מסכם נהדר את הנושא של הפיכות בזמן בתהליכי מרקוב, מודל אהרנפסט, ותהליכי לידה ומוות מומלץ!! דפים מהפרק הראשון נמצאים באתר הספריה עבור הקורס את הספר של http://statslabcamacuk/~frak/books/kelly_bookhtml אפשר להוריד בשלמותו מ Kelly 6