תורת ההסתברות 2: (או הסתברות ותהליכים סטוכסטים)

Transcript

1 תורת ההסתברות : או הסתברות ותהליכים סטוכסטים סוכם על ידי תום חן tomhen@gmail.com בדצמבר 04 שימו לב יתכנו שגיאות בטקסט עידכונים יתבצעו במהלך הסמסטר נא לדווח שגיאות ל gidi.amir@gmail.com או לחלופין שלשמור כהערות בקובץ ולשלוח לי חזרה תקציר סיכום ההרצאות בקורס בתורת ההסתברות סמסטר ב' 04 מהרצאותיו של אורי גוראל גורביץ.

2 תוכן עניינים תוכן עניינים תוכן עניינים 3 כמה דוגמאות ראשונות לשאלות הסתברותיות: סילבוס הקורס: חזרה על תורת המידה: הסתברות בסיסית יחסית: כמה טענות בסיסיות בהסתברות: משתנים מקריים: סדרות של משתנים מקריים: התפלגויות של משתנים מקריים: תוחלת של משתנה מקרי וכמה תכונות: התכנסות בהסתברות של משתנים מקריים: ריכוז מידה של סדרות משתנים מקריים: הקדמה ודוגמאות ראשונות: החוק החלש והחזק של המספרים הגדולים: כמה דוגמאות משעשעות: חזרה לריכוז מידה: מרטינגלים: 5 3 מרטינגלים בדידים: תוחלת מותנית: פילטרציות ומרטינגלים: זמני עצירה: על\תת מרטינגלים: מרטינגלים וריכוז מידה: דוגמאות משעשעות עם מרטינגלים: התכנסות של מרטינגלים: שרשראות מרקוב: מחזוריות והתכנסות לסטציונריות: נשנות של שרשראות מרקוב: משפט הגבול המרכזי: התכנסות חלשה: משפט הגבול המרכזי: קצת הקדמה להוכחה: פונקציות אופייניות: התכנסות של פונקציות אופייניות: הוכחת משפט הגבול המרכזי: תנועה בראונית:

3 כמה דוגמאות ראשונות לשאלות הסתברותיות: ספרים: Durrett: Probability Theory & Examples. Varadhan: Porbability Theory. Williams - Probability with Martingales. כמה דוגמאות ראשונות לשאלות הסתברותיות: להלן כמה דוגמאות לשאלות מעניינות בהסתברות: דוגמה. הכד של פוליה Urn ::Polya s בכד בשלב ראשון יש שני כדורים, שחור ולבן. בכל שלב מוציאים כדור באקראי באופן אחיד ומחזירים אותו ועוד כדור באותו צבע. נסמן ב a n את מספר הכדורים הלבנים בצעד ה n. נשאלת השאלה מה a.s.u Uniform 0, כאשר an n+ ההתפלגות של סדרת המשתנים המקריים...,.a, a מתברר ש U תרגיל: עבור N N קבוע מתקיים } + N.a N U {,..., נגדיר = 0 0 X ובאינדוקציה: { X n + P = X n+ = X n P = דוגמה. הילוך השיכור Walk :Random שאלות אפשריות שעולות: מה ההסתברות שקיים > 0 N כך ש = 0 N X התשובה היא ומכך בהסתברות קיימים אינסוף ערכי N כך ש = 0 N X. מהי ההתפלגות של זמן החזרה הראשונה ובפרט מהי התוחלת שלה מתברר שהתוחלת היא. ניתן להכליל את הבעיה הזו למהלך על שריג דו ממדי כאשר נגדיר 0,0 = 0 X ובאינדוקציה: X n + 0, P = 4 X n + 0, P = X n = 4 X n +, 0 P = 4 X n +, 0 P = 4 וכן הלאה ניתן להכליל את התהליך למימדים יותר גבוהים. בפרט מתברר שעבור =, n ההילוך הוא נשנה Recurrent כלומר בהסתברות קיים > 0 N כך ש X. N = X 0 מאידך עבור > 3 n הנ"ל כבר לא מתרחש בהסתברות. אפשר להראות שמבחינה עבור > 3.n n אסימפטוטית הסיכוי לחזור לנקודת ההתחלה מתנהג כמו דוגמה.3 פרקולציה על שריג: נתבונן בשריג הדו ממדי Z ובהסתברות,0 p כל אחת מהצלעות בשריג נמחקת או נשארת בהסתברות p. נשאלת p < השאלה מה קורה לשריג. למשל ניתן לשאול כתלות ב p האם יהיה רכיב קשירות אינסופי בגרף שנשאר. ניתן להראות שעבור > p בהסתברות נשאר רכיב קשירות אינסופי והוא יחיד. בנוסף עבור בהסתברות לא נשאר רכיב קשירות אינסופי ועבור = p מתברר שאין רכיב קשירות אינסופי. דוגמה.4 השרדות של שם משפחה: נניח שמספר הצאצאים הזכרים של אדם מפולג בהתפלגות F כלשהי למשל {n U,},,... והנ"ל נכון גם עבור הצאצאים וצאצאי הצאצאים וכן הלאה באופן בלתי תלוי. נשאלת השאלה מה הסיכוי שקיים דור שבו לא יוולדו צאצאים זכרים בכלל או לחילופין הסיכוי ששם המשפחה ישרוד לעד. אפשר להראות שאם התוחלת של ההתפלגות גדולה מ אז בהסתברות חיובית אז שם המשפחה ישרוד לעד ואם התוחלת קטנה מ אז השם לא שורד. כמו כן אם התוחלת היא אז יש שרידות רק אם בכל שלב יש צאצא אחד בדיוק. 3

4 . סילבוס הקורס: כמה דוגמאות ראשונות לשאלות הסתברותיות: הערה.5 ניתן לייצג את הבעיה הזו בתור עץ אינסופי שמבצעים עליו פרקולציה ונשאלת השאלה האם נשאר מסלול אינסופי. דוגמה.6 ערבוב של חפיסת קלפים: נניח שיש לנו חבילת כלפים מסודרת בת 5 קלפים ואנחנו חותכים את החפיסה במקום מקרי לפי התפלגות מסוימת ואז מערבבים באופן מסוים שגם נתון על ידי חוקיות מסוימת. נשאלת כמה ערבובים צריך לבצע כדי ששיטת הערבוב תהיה שקולה לבחירה מקרית ואחידה מ S 5 פרמוטציות של 5 איברים. בפועל באף שיטה סבירה לא נקבל אף פעם באמת פילוג אחיד מ S 5 אבל אפשר לשאול עד כמה שיטת הערבוב מתקרבת לכך אחרי מספר מסוים של ערבובים וכמה צעדים נדרשים כדי להתקרב מספיק כאשר מגדירים מרחק בין התפלגויות באופן מסוים. דוגמה.7 הקלדה של רצף אותיות מסוים: קופים מקלידים אותיות ב ABC באופן אחיד ואקראי וכבר ידוע לנו שכל רצף של אותיות יוקלד בשלב מסוים בהסתברות. נשאל לדוגמה כמה זמן צריך לחכות בתוחלת עד שנראה את הרצף.ABRAKEDABRA לצאת אבל מאחר ואנחנו מקלידים ברצף בניגוד לבחירת רצף כל 6 לכל רצף של אותיות מתוך 6 אותיות יש הסתברות של פעם מחדש ללא המשכיות וגם מאחר ויש חפיפה בין הסוף וההתחלה של הרצף יקח דווקא יותר זמן עד שנראה את הרצף הזה. באופן כללי לרצפים שיש בהם פחות חפיפה יקח פחות זמן להופיע מאשר לרצפים שיש בהם יותר חפיפה. דוגמה.8 חידה: נתונה חפיסת קלפים מעורבבת ושולפים קלפים זה אחר זה מראש הערימה ומסתכלים בהם ובכל שלב ניתן להחליט שעוצרים ולא שולפים יותר. כאשר עוצרים מקבלים ± לפי צבע הקלף הבא. נשאלת השאלה מה האסטרטגיה האופטימלית כדי למקסם את הרווח.. סילבוס הקורס:. תהליכים סטוכסטיים סדרות של משתנים מקריים והתכנסויות.. פונקציות אופיניות ומשפט הגבול המרכזי. 3. מרטינגלים שם קוד לסדרה של הימורים הוגנים. 4. שרשראות מרקוב. 5. סטיות גדולות..6 ריכוז מידה Measure.Concentration of 7. תנועה בראונית. 4

5 חזרה על תורת המידה: חזרה על תורת המידה: הגדרה. אלגברה על קבוצה: בהנתן קבוצה Ω משפחת קבוצות Ω F P תקרא אלגברה אם היא מקיימת:. F.. אם A F אז.A c F.3 אם A, B F אז.A B F לפעמים דורשים סגירות לחיתוך במקום לאיחוד והנ"ל שקול שכן יש סגירות למשלים. כמו כן באינדוקציה מקבלים שאלגברה סגורה לאיחודים וחיתוכים סופיים. דוגמה. דוגמאות:. אוסף האיחודים של קטעים חצי פתוחים [,0] [b,a הוא אלגברה.. בהנתן Ω =,0} { N נגדיר קבוצת צילינדר בסיסית ע"י: { } C b,...,b k = a n n= {0, }N a i = b i i k כלומר קבוצת כל הסדרות ש k המקומות הראשונים שלהן הם b,..., b k עבור } {0, k b,..., b נתונים. אוסף כל האיחודים הסופיים של כל קבוצות הצילנידר הוא אלגברה על { N,0}. 3. אוסף כל תת הקבוצות הסופיות\קו סופיות של Ω הוא אלגברה. הגדרה.3 סיגמה אלגברה: בהנתן קבוצה Ω משפחת קבוצות Ω F P תקרא סיגמה אלגברה אם היא אלגברה והיא סגורה גם לאיחודים בני מנייה. הגדרה.4 סיגמה אלגברה נוצרת: בהנתן S Ω ה σ אלגברה הנוצרת על ידי S שתסומן S σ היא ה σ אלגברה המינימלית שמכילה את S ובאופן שקול חיתוך כל ה σ אלגבראות המכילות את S. הגדרה.5 סיגמה אלגברת בורל: בהנתן מרחב טופולוגי T,X נגדיר את σ אלגברת בורל על X שתסומן X B בתור T B. X =: σ כלומר ה σ אלגברה שנוצרת על ידי כל הקבוצות הפתוחות באופן שקול אפשר להגדיר גם באמצעות סגורות. הגדרה.6 מרחב מדיד: מרחב מדיד הוא זוג F,Ω כאשר Ω היא קבוצה ו F היא σ אלגברה על Ω. דוגמה.7 נגדיר את N S P להיות אוסף הקבוצות A N שיש להן צפיפות אסימפטוטית, כלומר קיים הגבול: A {,..., n} lim n בפרט S איננה σ אלגברה שכן ניתן לבחור קבוצה בת מנייה שאין לה צפיפות אסימפטוטית והיא תהיה איחוד בן מנייה של יחידונים שכמובן יש להם צפיפות אסימפטוטית ולכן S לא סגורה לאיחודים בני מנייה בבירור. אפשר להראות גם ש S איננה אלגברה ולשם כך מספיק למצוא שתי קבוצות בעלות צפיפות אסימפטוטית שלאיחוד או לחיתוך שלהם אין צפיפות אסימפטוטית. פתרון: נקח את A להיות כל הזוגיים ואת B להיות הקבוצה שמכילה את כל הזוגיים עד מיליון, כל האי זוגיים בין מיליון ומיליארד, כל הזוגיים בין מיליארד למיליארד ומאה מיליון וכן הלאה. לשתי הקבוצות הללו תהיה צפיפות אסימפטוטית אולם לחיתוך יהיו ולכן לא תהיה צפיפות אסימפטוטית. פלקטואציות בצפיפות שתשתנה בין 0 לבערך 5

6 חזרה על תורת המידה: הגדרה.8 מידה על מרחב מדיד: בהנתן מרחב מדיד F,Ω פונקציה [,0] F µ : תקרא מידה אם היא מקיימת את התכונות הבאות:.µ = 0..A F לכל µ A 0..µ n= A n =.3 סיגמה אדיטיביות: בהנתן קבוצות זרות A, A,.. F מתקיים n n= µ A בפרט אם < Ω µ נאמר כי µ היא מידה סופית ואם = Ω µ אז זוהי מידת הסתברות. הגדרה.9 מרחב מידה\הסתברות: מרחב מידה הוא שלשה µ,ω,f כאשר F,Ω הוא מרחב מדיד ו µ היא מידה על F,Ω. הערה.0 בפרט אם µ היא מידת הסתברות נאמר כי המרחב הוא מרחב הסתברות. תזכורת. כמה תכונות של מידה: יהא µ,ω,f מרחב מידה, מתקיימים הדברים הבאים:. מונוטוניות: עבור A, B F כך ש A B מתקיים B.µ A µ.µ n= A n. תת אדיטיביות: בהנתן A, A,... F מתקיים n n= µ A 3. רציפות מלמטה: בהנתן סדרה עולה A n F מתקיים: lim µ A n = µ A n n=.4 רציפות מלמעלה: בהנתן סדרה יורדת A n F כך שקיים N שעבורו < N µ A מתקיים: lim µ A n = µ A n n= הערה. פונקציית קבוצות [,0] F µשהינה : אדיטיבית סופית ומקיימת = 0 µ היא מידה אמ"מ היא מקיימת את תכונה 3 או.4 הגדרה.3 מידה על אלגברה :Pre-Measure בהנתן אלגברה A פונקציית קבוצות ] [0, A µ : תקרא מידה על האלגברה אם = 0 µ וגם לכל A, A,... A זרות כך.µ n= A n = מתקיים n n= µ A ש n= A n A משפט.4 משפט ההרחבה של :Caratheodory תהא F 0 היא אלגברה ותהא µ 0 מידה עליה. אזי קיימת מידה µ על 0 F =: σ F כך ש µ. F0 = µ 0 הנ"ל מכונה הרחבה של המידה µ 0 מהאלגברה F 0 ל σ אלגברה הנוצרת ממנה. בפרט אם µ 0 היא מידה סופית למעשה גם σ סופית אז ההרחבה הנ"ל יחידה. הערה.5 באמצעות המשפט הנ"ל ניתן להרחיב מידות שמוגדרות על אלגברה לסיגמה אלגברה הנוצרת. לדוגמה:. הרחבת מידת האורך µ 0,a] [b = b a מהאלגברה שנוצרת על ידי תת קטעים ל σ אלגברה שהם יוצרים שהיא R B.. הרחבת מידת הטלת מטבעות מהאלגברה הנוצרת על ידי צילינדרים ל σ אלגברה הנוצרת. 6

7 3 הסתברות בסיסית יחסית: משפט.6 מסקנה ממשפט π λ משפט דינקין: יהא F Ω, מרחב מדיד כך ש 0 F = σ F ויהיו µ, µ מידות סופיות על F.Ω, אזי אם F 0 סגורה לחיתוכים וגם E µ E = µ לכל E F 0 אז E µ E = µ לכל.E F משפט.7 משפט תנאי למדידות תרגיל: יהא µ Ω, F, מרחב מידה כך ש 0 F = σ F כאשר F 0 היא אלגברה. אזי לכל A F ולכל > 0 ε קיימת A 0 F 0 כך ש: µ A A 0 = µ A\A 0 A 0 \A < ε המשמעות היא שבמובן מסוים ניתן לקרב קבוצות ב σ אלגברה ע"י קבוצות באלגברה. lim sup E n = lim inf E n = 3 הסתברות בסיסית יחסית: 3. כמה טענות בסיסיות בהסתברות: הגדרה 3. ה Limsup/Liminf של סדרת מאורעות: יהא F Ω, מרחב מדיד, בהנתן סדרה E, E,... F נגדיר: m= n>m m= n>m בפרט ה Liminf של הסדרה הוא אוסף ה ω Ω כך ש ω E n פרט למספר סופי של ערכי n וה Limsup הוא אוסף ה ω Ω כך ש ω E n עבור אינסוף ערכי.n בפרט אם = n P lim sup E אז אינסוף מהמאורעות E n קורים כמעט תמיד ואם = n P lim inf E אז כל המאורעות E n פרט למספר סופי קורים כמעט תמיד. P lim inf E n P lim sup E n E n משפט 3. הלמה של :Fatou יהא P Ω, F, מרחב הסתברות ויהיו,E, E,... F אזי: lim inf P E n E n lim sup P E n P lim sup E n = P הוכחה: := m A ונקבל כי,A m lim inf E n לכן מרציפות של מידה נקבל כי:. נגדיר n>m E n lim inf P E n P A m m P lim inf E n כאשר א"ש המסומן נובע מכך ש A m E n לכל n > m ולכן n P A m P E לכל.n > m c lim sup E n = lim inf ומכך על סמך הטענה הראשונה נקבל כי:. נשים לב כי Ec n c lim inf E n lim inf P Ec n = lim inf P Ec n = lim sup P E n 7

8 3. כמה טענות בסיסיות בהסתברות: 3 הסתברות בסיסית יחסית: מעבירים אגפים ומקבלים את הנדרש. למה 3.3 הלמה הראשונה של בורל קנטלי: אזי = 0 n.p lim sup E יהא P Ω, F, מרחב הסתברות ותהא E, E,... F כך ש < n n= P E P הוכחה: נשים לב כי לכל m N מתקייים,lim sup E n n>m E n מכך נקבל כי: lim sup E n P n>m E n n>m P E n m 0 P. למשל לא בהכרח נובע ש > 0 n lim sup E הערה 3.4 נשים לב כי הטענה הזו איננה אמ"מ, כלומר אם = n =n P E. n= P E n = n= n עבור n] E n = 0, ו ] 0, = Ω עם מידת הסתברות אחידה נקבל כי = n lim sup E אולם = הגדרה 3.5 אי תלות של סדרת σ אלגבראות ושל סדרת מאורעות: :F i F סדרה של תת σ אלגבראות {F i } יהא P,Ω,F מרחב הסתברות ותהא תהא.P n A i = n P A i מתקיים i =,..., n A i F i ולכל בחירה של n N בלתי תלויה אם לכל {F i }. נאמר ש. נאמר שסדרת מאורעות A, A,... F היא בלתי תלויה אם הסדרה } i σ {A i } = {, Ω, A i, A c בלתי תלויה. הערה 3.6 בשני המקרים הסדרות יכולות להיות סופיות בשינוי מתאים של ההגדרה. טענה 3.7 הגדרה שקולה לאי תלות של אוסף וסדרת מאורעות תוספת: יהא P,Ω,F מרחב הסתברות: m.p j= A k j = m j= P. מאורעות A,..., A N F הם ב"ת אם לכל k <... < k m N מתקיים A kj. מאורעות A, A,... F הם ב"ת אם לכל N N המאורעות A,..., A N בלתי תלויים. הגדרה 3.8 אי תלות בזוגות של סדרת σ אלגבראות וסדרת מאורעות: {F i } של תת σ אלגבראות F i F בלתי תלויה בזוגות אם לכל i j ו יהא P,Ω,F מרחב הסתברות נאמר שסדרה A F i ו B F j מתקיים B.P A B = P A P באופן מתאים נאמר שסדרת מאורעות E, E,... F בלתי תלויים בזוגות אם אם הסדרה } c σ {E i } = {, Ω, E i, Ei בלתי תלויה בזוגות. הערה 3.9 אי תלות כמובן תמיד גוררת אי תלות בזוגות אבל ההפך לא נכון. למה 3.0 תנאי לאי תלות של שתי תת σ אלגבראות במרחב הסתברות: יהא P Ω, F, מרחב הסתברות ויהיו S, S F תת קבוצות סגורות לחיתוכים כך שלכל A S ו B S מתקיים P A B = P A P B אזי σ S ו σ S הן ב"ת. 8

9 3 הסתברות בסיסית יחסית: 3. כמה טענות בסיסיות בהסתברות: הערה 3. באופן כללי יותר אם S, S,..., S n F סגורות לחיתוכים ומתקיים: n n P A i = P A i לכל A i S i אז n σ S,..., σ S ב"ת. הוכחה: נקבע A S ונגדיר A P B = P B P ו A P B = P B עבור כל.B σ S נשים לב כי P, P הן מידות סופיות על Ω, σ S ומתקיים B P B = P לכל.B S לכן ממשפט דינקין מאחר ש S סגורה לחיתוכים נובע שהשוויון מתקיים לכל.B σ S כעת נסמן T = σ S ו,T = σ S גם אלו הן קבוצות שסגורות לחיתוכים, נקבע B T ונגדיר A P A = P B P ו A P A = P B עבור כל.A σ S אלו הן מידות סופיות על Ω, σ S ועל סמך מה שהוכחנו מתקיים A P A = P לכל.A S לכן שוב ממשפט דינקין מתקיים השוויון הנ"ל לכל.A σ S סה"כ ניתן לראות שלכל B σ S ולכל A σ S מתקיים B P A P B = P A ומכך ישנה אי תלות כנדרש. למה 3. הלמה השנייה של בורל קנטלי: אזי = n.p lim sup E יהא P Ω, F, מרחב הסתברות ותהא E, E,... F סדרת מאורעות ב"ת כך ש = n n= P E P. lim inf נשים לב כי: הוכחה: מספיק שנראה כי = 0 n Ec P = P E n e PEn = e PE n n>m = 0 n>m E c n n>m n>m n>m P E n. בפרט מכך נסיק כי: כאשר השתמשנו בכך ש PEn P E n e וגם P lim inf Ec n = P n= n>m E c n = 0 הגדרה σ אלגברת 3.3 זנב של סדרת σ אלגבראות: n= {F n } סדרת σ אלגבראות חלקיות של,F נגדיר: יהא F,Ω מרחב מדיד ותהא T n = σ {F n, F n+,...} = σ F n = T, הנ"ל מכונה σ אלגברת הזנב של הסדרה =n F} n } נשים לב כי, } {Ω T ולכן הנ"ל לא ריקה. כמו כן נגדיר =n T n n>m הערה 3.4 כל מאורע של T מכונה גם "מאורע זנב"..lim sup E n T וגם lim inf E n T אז n לכל E n F n כך ש {E n } n= תרגיל: אם נקח סדרת מאורעות משפט 3.5 משפט 0 של קולמוגורוב:.P A {0, } מתקיים A T אזי לכל סדרה ב"ת של σ אלגבראות {F n } n= יהא P Ω, F, מרחב הסתברות ותהא F P דוגמה 3.6 דוגמה קנונית שבד"כ משתמשים בה כדי להתבונן בהתנהגות של סדרה ב"ת של σ אלגבראות ומאורעות זנב בה היא הדוגמה שבה Ω = {0, } N ו 0} = n.f n = σ {ω : ω 9

10 3 הסתברות בסיסית יחסית: 3. משתנים מקריים: הוכחה: חסרים פרטים ראשית נראה ש..., T, F, F ב"ת. בהנתן A T לכל n N מתקיים A T n ולכן בהנתן מאורעות A i F i נקבל כי: n n P A A i = P A P A i כאשר השוויון הנ"ל נובע מכך ש n T n, F,,... F הן ב"ת על סמך הגרסה הכללית יותר של למה 3.0. כעת שהראינו ש T כאשר הנ"ל נובע שוב מלמה 3.0 כאשר משתמשים באי תלות, בכך ש σ {F, F,...} ב"ת ב T ב"ת נסיק ש T, F, F,... זוהי איננה σ אלגברה אך כן אלגברה סגורות לחיתוכים ובכך שמתקיים: n= σ n ו i F n σ {F, F,...} = σ σ F i לסיום מאחר ש...}, T σ {F, F ומאי התלות הנ"ל נקבל שלכל A T מתקיים A P A = P A A = P A P ולכן.P A {0, } n= תרגיל: האם הטענה נכונה גם במקרה שהסדרה ב"ת רק בזוגות? 3. משתנים מקריים: הגדרה 3.7 פונקציה מדידה: יהיו F X, ו G Y, מרחבים מדידים. העתקה g : X Y תקרא G, F מדידה אם g B F לכל.B G הערה 3.8 בד"כ ה σ אלגברה בטווח פחות רלוונטית ולכן נרשום באופן מקוצר שההעתקה היא F מדידה. הערה 3.9 העתקה מדידה m f : R n, B n R m, B תקרא מדידה בורל. בפרט כל רציפה היא מיידית מדידה בורל. הגדרה 3.0 משתנה מקרי: יהיו P,Ω,F מרחב הסתברות, משתנה מקרי מ"מ הוא פונקציה F מדידה מ F,Ω למרחב מדיד G,Y כלשהו. משתנה מקרי ממשי הוא פונקציה F מדידה מ F,Ω ל B,R. הערה 3. כאשר נרשום ש X הוא מ"מ הכוונה תמיד תהיה שהתחום הוא מרחב הסתברות והטווח הוא B,R. תהא S G כך ש g [A] F לכל A S אז g היא תזכורת 3. תנאי מספיק למדידות ראינו במידה: יהיו F X, ו G Y, מרחבים מדידים ותהא.g : X Y S, F מדידה. σ בפרט אם σ S = G אז g היא F מדידה. מסקנה 3.3 תנאי מספיק למדידות של מ"מ ממשי: יהיו F Ω, מרחב מדיד ותהא B.f : Ω, F R, אזי f היא F מדידה אמ"מ f [, t]] F לכל.t R הוכחה: מיידי מהטענה הקודמת ומכך ש {R, } [t t יוצרת את B. הערה 3.4 מתקיים B B n = σ B ובפרט: B n = σ {, t ], t n ] t,..., t n R} כלומר σ אלגברת בורל ב R n היא ה σ אלגברה שנוצרת על ידי מכפלות של קבוצות בורל ובפרט של קרנות. מסקנה 3.5 וקטור מקרי הוא משתנה מקרי מדיד Ω: R יהא F Ω, מרחב מדיד ויהיו X, Y משתנים מקריים. אזי X, Y : Ω R הוא וקטור מקרי למרחב R, B. 0

11 3 הסתברות בסיסית יחסית: 3.3 סדרות של משתנים מקריים: הערה 3.6 כמובן שהנ"ל נכון גם עבור וקטור מקרי X,..., X n : Ω R n והנ"ל מדיד כפונקציה n.ω, F R n, B הוכחה: מספיק להראות ש s]] X, Y [, t], היא F מדידה לכל t, s R וזה נובע מיידית מכך ש: X, Y [, t], s]] = X [, t]] Y [, s]] טענה 3.7 הרכבת פונקציות מדידות היא מדידה: אזי תהא f : X Y העתקה F מדידה ותהא g : Y Z העתקה G מדידה. יהיו H X, F, Y, G, Z, מרחבים מדידים. g f : X Z היא F מדידה. הוכחה: תהא A, H מההנחה כי g היא G מדידה נקבל כי g. A G מההנחה כי f היא F מדידה נובע כי: g f A = f g A F מכך ניתן לראות כי g f היא F מדידה כנדרש. מסקנה 3.8 מסקנה מיידית מהטענה הקודמת: יהא F,Ω מרחב מדיד ויהיו,X Y משתנים מקריים אזי X + Y הוא משתנה מקרי כלומר הוא F מדיד. הוכחה: מיידי מכך שהעתקת החיבור : R R + היא רציפה ולכן מדידה בורל. טענה 3.9 אריתמטיקה כללית יותר של פונקציות מדידות ללא הוכחה: יהיו B f, g : X, F R, פונקציות F מדידות ויהיו α, β R אזי:. הקבוצה x} {x X f x > g היא F מדידה כנ"ל עבור =, <,,.,. הפונקציות αf, f + α ו αf + βg הן F מדידות. f g היא F מדידה..3 הפונקציה f g היא F מדידה ואם 0 g אז.4 הפונקציות g} max {f, ו g} min {f, הן F מדידות. 5. הפונקציה f היא F מדידה..6 הפונקציות + f ו f הן F מדידות. 7. הפונקציה f היא F מדידה. 3.3 סדרות של משתנים מקריים: את חלק מההגדרות בקטע הבא אני הוספתי מאחר והן רלוונטיות לדיון שהתקיים בהרצאה. טענה 3.30 כמה תכונות בסיסיות של סדרות משתנים מקריים: יהא F X, מרחב מדיד ותהא B f n : X, F R, סדרת פונקציות F מדידות אזי הפונקציות: sup f n x, n N inf f n x, n N lim sup f n x, lim inf f n x הן פונקציות F מדידות יש לשים לב כי הפונקציות הללו יכולות לקבל גם את הערכים ±.

12 3.3 סדרות של משתנים מקריים: 3 הסתברות בסיסית יחסית: { sup f n [, a]] = n N { inf f n [, a]] = n N x X sup f n x < a n N x X inf n N f n x < a } = {x X f n x < a} = n= n= הוכחה: נשים לב כי לכל a R מתקיים: n= } = {x X f n x < a} = n= fn [, a] F fn [, a] F מכך sup, inf הם F מדידים על סמך למה 3.3 ולכן מיידית גם lim sup וגם lim inf הן F מדידות שכן: lim sup f n x = inf sup f k x n N lim inf f n x = sup n N k n inf k n f k x טענה 3.3 אוסף נקודות ההתכנסות של סדרת משתנים מקריים היא קבוצה מדידה: { } } n {X סדרת מ"מ אזי ω Ω lim X n ω exists היא F מדידה. n= יהא F,Ω מרחב מדיד ותהא הוכחה: אם ω X n לא מתכנסת ל ± באף ω Ω אז פשוט נקבל כי: { } { } ω Ω lim X n ω exists = ω Ω lim inf X n ω = lim sup X n ω מאחר ש lim sup X n ו lim inf X n הן F מדידות ידוע שקבוצת הנקודות שעליהן הן משתוות היא קבוצה מדידה, כנדרש. הערה 3.3 אם מאפשרים לסדרה להתכנס ל ± צריך לעבוד קצת יותר אבל הטענה נשארת נכונה. הגדרה 3.33 התכנסות כמעט תמיד של סדרת משתנים מקריים: =n X} n } סדרת מ"מ. נאמר כי הנ"ל מתכנסת כמעט תמיד כ"ת למ"מ X אם: יהא P,Ω,F מרחב הסתברות ותהא { } P ω Ω lim X n ω X ω = 0.X n a.s כלומר X n מתכנסת נקודתית ל X פרט אולי על תת קבוצה מהסתברות אפס. נסמן זאת X הגדרה 3.34 סיגמה אלגברה הנוצרת ע"י משתנה מקרי וע"י סדרת משתנים מקריים: יהא P,Ω,F מרחב הסתברות ויהא X משתנה מקרי:. נגדיר את X σ להיות ה σ אלגברה המינימלית על Ω שעבורה X מדיד. באופן שקול } B.σ X = σ { X B B.n מדיד לכל X n כך ש Ω המינימלית על להיות ה σ אלגברה σ {X n } n= נגדיר את {X n} n=. עבור סדרת מ"מ הגדרה 3.35 אי תלות של סדרת משתנים מקריים: n= {X n} היא ב"ת אם n= {σ X n } היא סדרה ב"ת של σ אלגבראות. יהא P,Ω,F מרחב הסתברות נאמר כי סדרת מ"מ הערה 3.36 גם כאן אפשר לדבר כמובן על אי תלות של מספר סופי של מ"מ בשינוי מיידי של ההגדרה.

13 3.3 סדרות של משתנים מקריים: 3 הסתברות בסיסית יחסית: טענה 3.37 הגדרה שקולה לאי תלות של אוסף וסדרת משתנים מקריים תוספת: יהא P,Ω,F מרחב הסתברות: X ב"ת. [B ],..., X. משתנים מקריים X,..., X N הם ב"ת אם לכל B,..., B N F המאורעות N] N [B. משתנים מקריים..., X, X הם ב"ת אם לכל N N המשתנים X,..., X N ב"ת. הגדרה 3.38 אי תלות של מ"מ בסדרת מ"מ: תהא n= {X n} סדרת מ"מ. נאמר כי מ"מ Y ב"ת בסדרה אם Y σ ו n= σ {X n } ב"ת. הגדרה 3.39 אי תלות של מאורע בסדרת מ"מ: תהא n= {X n} סדרת מ"מ. נאמר כי A F ב"ת בסדרה אם {A} σ ו n= σ {X n } ב"ת. הגדרה 3.40 סיגמת אלגברת זנב של סדרת משתנים מקריים: = T, הנ"ל היא σ אלגברת הזנב של הסדרה. בפרט תהא n= {X n } סדרת מ"מ נגדיר...}, n+ T n := σ {X n, X ונגדיר n= T n כל מאורע A T יכונה מאורע זנב של הסדרה..T σ {X n } n= שכן σ מדיד {X n} n= הערה 3.4 נשים לב שאם Y הוא מ"מ T מדיד אז הוא מיידית גם למה 3.4 משתנים מקריים T מדידים הם ב"ת בסדרה ב"ת ללא הוכחה: תהא =n X} {n סדרת מ"מ ב"ת ותהא σ אלגברת T הזנב של הסדרה. אזי אם Y הוא מ"מ T מדיד אזי Y ב"ת ב =n X}. n } הערה 3.43 אפשר להראות גם שכל מאורע זנב של סדרה הוא ב"ת בסדרה ללא צורך שהסדרה תהיה ב"ת. משפט 3.44 גרסה של חוק 0 של קולמוגורוב תרגיל: תהא n= {X n} סדרת מ"מ ב"ת ויהא Y משתנה מקרי n= σ מדיד {X n } כך ש..., Y, X, X הם בלתי תלויים. אזי Y קבוע כ"ת כלומר קיים c R כך ש = c} P {ω Ω Y ω = ובפרט ניתן להראות ש: c = sup { a R : P Y [, a]] = 0 } הערה 3.45 נזכיר שבמשפט 0- הקודם הראינו שמאורע זנב של סדרת מאורעות הוא ב"ת בסדרה ומכך הסקנו שהוא ב"ת תלוי בעצמו ולכן טריוויאלי. במשפט הזה התנאים קצת שונים ונתון לנו מ"מ שהוא ב"ת בסדרה שהיא בעצמה ב"ת וצריך להסיק שהמשתנה הנ"ל טריוויאלי..n לכל σ X n היא דרישה חלשה בהרבה מאשר להיות מדיד ביחס ל σ {X n } n= הערה 3.46 להיות מדיד ביחס ל דוגמה 3.47 דוגמאות: { } A := ω Ω X n ω < n= n= {X n } הקבוצה:. בהנתן סדרת מ"מ היא F מדידה וגם מהווה מאורע זנב של הסדרה. בנוסף ω A הוא משתנה מקרי n= σ מדיד {X n } וב"ת ב...,.X, X לכן אם..., X, X היא סדרה ב"ת אז A הוא קבוע כ"ת. הנ"ל שקול לכך שהמאורע A מתרחש בהסתברות 0 או הטור מתכנס על קבוצה ממידה או לא מתכנס על קבוצה ממידה. 3

14 3.3 סדרות של משתנים מקריים: 3 הסתברות בסיסית יחסית: A := { ω Ω lim n n= {X n } הקבוצה:. בהנתן סדרת מ"מ } X i ω exists.y ω = lim היא מאורע זנב. לכן אם הסדרה ב"ת אז = 0, A P וכאשר = A P אפשר להגדיר מ"מ ω n n= X i בפרט הנ"ל הוא T מדיד ולכן ב"ת ב..., X, X ומכך קבוע כ"ת. n= תרגיל: נתבונן בסדרה המוגדרת ע"י: X n = { n P = n P = Ω P {ω האפשרויות הן.0, מתברר שהתשובה n= X n ω < } היא סדרה ב"ת מהו הערך של {X n } n= נניח ש היא והדרך להראות זאת משתמשת בא"ש צ'בישב ובכך שסכום השוניות של המשתנים המקריים הללו מתכנס. תרגיל: משתנה מקרי שמדיד ביחס למשתנה מקרי אחר הוא פונקציה שלו: יהא P Ω, F, ויהיו B X, Y : Ω, F R, מ"מ כך ש Y הוא X σ מדיד אזי קיימת f : R R מדידה כך ש X.Y = f דוגמה 3.48 דוגמה מעניינת לשאלות על מאורעות זנב פרקולציה בגרף אינסופי: נתבונן בשריג אינסופי בן מנייה E G =,V גם E וגם V בני מנייה שבו דרגת הקודקודים היא חסומה. בהנתן מנייה = E {.., e}, e נבצע פרקולציה על השריג עם הסתברות p נמחק כל קשת בהסתברות p ונשאיר אותה בהסתברות p באופן בלתי תלוי ונקבל גרף חדש E G = V, כאשר E כמובן. כעת נגדיר סדרת מ"מ } {en E X n = ונגדיר סדרת σ אלגבראות E =.T בפרט עבור כל קשת e n מתקיים: σ X n = { Ω,, { E e n E }, על ידי n,f n = σ X,..., X נתבונן בזנב n= F n {E e n / E }} G" הוא מאורע מדיד הערה 3.49 נשים לב שעבור קודקוד v V כלשהו המאורע "הקודקוד שייך לרכיב קשירות אינסופי בגרף ביחס לזנב שכן הוא המשלים של איחוד המאורעות "v שייך לרכיב קשירות מגודל k עבור k N כלשהו". לכן המאורע "קיים רכיב קשירות אינסופי" הוא גם כן מדיד ביחס לזנב כאיחוד על פני כל v V של המאורעות הללו. למעשה נרצה לחשוב על רכיבי הקשירות כמיוצגים על ידי צלעות ולא על ידי קודקודים שכן כל הפורמליזם של הבעיה מנוסח על פי מצב הקשתות בגרף. לאחר שהשתכנענו שהמאורע = A "קיים רכיב קשירות אינסופי" הוא מדיד ביחד לזנב נקבל ממשפט קולמוגורוב שהוא בעל הסתברות {,0} A P. כעת אפשר להראות ש A P יכולה רק לעלות כאשר p גדל. כלומר A ϕ p = P p היא פונקציה עולה ולכן מכך ש } {0, A P p לכל p נסיק שקיים ערך קריטי ] [0, c p כך ש {p>pc}.ϕ p A = אפשר להראות שתמיד מתקיים.p c הזה אפשר להראות ש = במקרה. נתבונן במקרה הפרטי של השריג Z 3 p c 3 < 3 p. נשים לב שמספר המסלולים הפשוטים מאורך n ב Z שמתחילים בראשית הוא לכל היותר נבצע פרקולציה עם n 3 4. הסיכוי של מסלול כנ"ל לשרוד את הפרקולציה הוא כמובן p n ולכן תוחלת מספר המסלולים מאורך n שמתחילים 3 n p n 4 ומכך בהכרח בראשית ושורדים את הפרקולציה היא לכל היותר 3n p n.4 עבור < 3 p נקבל כי 0 ההסתברות שהראשית תהיה שייכת לרכיב קשירות אינסופי היא אפס אחרת התוחלת הזו הייתה שואפת למשהו גדול מאפס. מאחר והנ"ל נכון לא רק לראשית אלא עבור כל קודקוד נסיק שהסיכוי של כל קודקוד להופיע ברכיב קשירות אינסופי הוא < 3 p ההסתברות שקיים רכיב קשירות אינסופי היא אפס. אפס ולכן כאשר עבור > 3 p נראה שבהסתברות חיובית קיים רכיב קשירות שמכיל את הראשית. נתבונן בגרף הדואלי ל Z הגרף שבו הפאות הן קודקודים וקשרתות עוברות בין פאות סמוכות בגרף המקורי. רכיב הקשירות של הראשית הוא סופי אמ"מ קייים מסלול בגרף הדואלי מאורך שמקיף את הראשית. אפשר להראות שמספר המסלולים הדואליים מאורך n שמקיפים את הראשית הוא לכל היותר 3n n והסיכוי של מסלול כזה לחסום את הראשית הוא pn. עבור > 3 p נקבל כי: n= n 3n p n < 4

15 3.4 התפלגויות של משתנים מקריים: 3 הסתברות בסיסית יחסית: לכן מבורל קנטלי יש רק מספר סופי של ערכי n ככה שיש מסלול דואלי מאורך n סביב הראשית. מהמסקנה הזו אפשר.p > 3 להראות שבהכרח קיים רכיב קשירות אינסופי לא בהכח שמכיל את הראשית עבור כל התובנה העיקרית שצריך כדי להראות ש = c p היא שהגרף הדואלי ל Z הוא גם כן Z אבל ההוכחה מסובכת. 3.4 התפלגויות של משתנים מקריים: הגדרה 3.50 התפלגות של משתנה מקרי: יהא P Ω, F, מרחב הסתברות ויהא X מ"מ ממשי, אזי X משרה מידת הסתברות על R שנתונה ע"י A µ A = P X לכל A. B בפרט מוגדרת פונקציית ההתפלגות המצטברת CDF של X שנתונה ע"י: F X t def = µ, t] = P X, t] = P X t טענה 3.5 תכונות של ה CDF של משתנה מקרי ממשי: יהא X מ"מ ממשי עם התפלגות מצטברת F X אזי:. X F היא מונוטונית עולה חלש..F X t t t F X t ו..F X t t s F X s רציפה מימין F.3 בנוסף כל פונקציה F שמקיימת את תכונות 3 היא CDF של משתנה מקרי ממשי. כלומר קיימת מידת הסתברות µ F כך ש: x R : µ F, x] = F x F X b F X a = µ, b] µ, a] = µ a, b] 0 ובפרט לכל [a, b] R מתקיים a.µ F [a, b] = F b F הוכחה: להלן ההוכחה מהקורס בתורת המידה:. יהיו < b < a <, נשים לב כי: לכן F מונוטונית לא יורדת. נראה רציפות מימין, יהא x R ותהא x} n } R סדרה כך ש x. n x מכך נקבל כי = [x, ומכך מרציפות מלמטה של מידות כאשר כאן משתמשים בסופיות של המידה בפרט נקבל: n=, x n] lim F X x n = lim µ, x n] = µ, x] = F X x ובאופן דומה מראים את הגבול השני. ולכן: n=, x n] = מכך נקבל כי.x n כך ש {x n } n= כעת תהא R lim F X x n = lim µ, x n] = µ = 0 מאחר והנ"ל נכון לכל סדרה כך ש n x נסיק כי = 0 x lim F X x. נגדיר } b S := {a, b] a < ונגדיר = F ו = 0.F לכל a, b] S נגדיר: µ F a, b] = F b F a זוהי מידה σ אדיטיבית על S ולכן נוכל להרחיב את המידה הזו ל B באמצעות משפט Caratheodory ובכך נסיים. תרגיל: חידה: יהיו X, Y, Z מ"מ ב"ת אחידים בקטע ] [0, הראו ש ] [0, U.XY Z 5

16 3 הסתברות בסיסית יחסית: 3.5 תוחלת של משתנה מקרי וכמה תכונות: X n או D הגדרה 3.5 התכנסות בהתפלגות Distribution/Law :Convergence in תהא X n סדרת מ"מ לא בהכרח באותו מרחב הסתברות נאמר ש Xn מתכנסת בהתפלגות למ"מ X ונסמן X.F שהיא נקודת רציפות של t בכל F n t F t אם L X n L X הערה 3.53 הגדרה חילופית כאשר כל המשתנים מוגדרים באותו מרחב הסתברות היא שיש התכנסות חלשה של סדרת המידות.µ A = P X A למידה µ n A = P Xn המושרות A 3.5 תוחלת של משתנה מקרי וכמה תכונות: הגדרה 3.54 תוחלת של משתנה מקרי אינטגרציה: יהא P,Ω,F מרחב הסתברות ויהא X מ"מ, נגדיר את התוחלת של X ע"י: ˆ ˆ E [X] = XdP = xdµ X Ω R כאשר האינטגרלים הם אינטגרלי לבג ו µ X היא המידה שמשרה X על R. הערה 3.55 בפרט נאמר ש X בעל תוחלת אם < [ X ] E או לחילופין P.X L Ω, הערה 3.56 התוחלת של משתנה מקרי X תלויה רק בהתפלגות של X ולא במרחב ההסתברות. [ הגדרה 3.57 מומנט של משתנה מקרי: יהא X מ"מ נגדיר את המומנט ה k N של X ע"י k] E [ X כאשר נאמר שהנ"ל קיים כאשר < k].e X הערה 3.58 אפשר להראות שאם ל X קיים מומנט k אז קיימים כל המומנטים עבור l. k Var X def [ = E X E [X] ] = E [ X ] E [X] הגדרה 3.59 שונות של משתנה מקרי: יהא X מ"מ נגדיר את השונות של X על ידי: בפרט הנ"ל קיימת אמ"מ X בעל מומנט שני. משפט 3.60 אי שוויון ינסן Inequality :Jensen תהא ϕ פונקציה ממשית קמורה בקטע b,a ויהא X מ"מ בעל תוחלת שמקבל את ערכיו ב b,a אזי: ϕ E X E [ϕ X] בתנאי ש X] E [ϕ קיים אפילו במובן הרחב ובפרט אם < X ]. E [ ϕ הערה 3.6 ברור שעבור פונקציה קעורה אי השוויון מתהפך. הוכחה: מההנחה כי a < X < b ומכך ש P היא מידת הסתברות נקבל כי: a = E a < E [X] < E [b] = b מכך ש ϕ קמורה קיים β x R כך שעבור b x := E [X] a, לכל b X z a, מתקיים: ϕ X z ϕ E [X] + β x X z E [X] 6

17 3 הסתברות בסיסית יחסית: 3.6 התכנסות בהסתברות של משתנים מקריים: ˆ ˆ E [ϕ X] = ϕ X dp [ϕ E [X]] dp + β x E [X] E [E [X]] Ω ˆ = ϕ E [X] Ω Ω dp + β x E [X] E [E [X]] = ϕ E [X] + β x 0 = ϕ E [X] נקח את האינטגרל dp על שני האגפים ונקבל: [ X ] הערה 3.6 בפרט x, x, e x כולן קמורות ולכן מקבלים את אי השוויונות המתאימים. כמו כן x קעורה ולכן [X].E E תרגיל: [ X ] האם אפשר לקבל חסם תחתון מעניין על E במקרה ש X הוא מ"מ פואסוני עם פרמטר λ? משפט 3.63 אי שוויון הלדר:.E [ X Y ] p E [ X p ] q E [ Y q ] מ"מ אזי X, Y ויהיו p + q יהיו > q p, אקספוננטים צמודים = [ ] הוכחה: בה"כ אפשר להניח ש 0 Y X, ומהומוגניות בשני האגפים אפשר להצטמצם למקרה שבו = P E X וגם = ] q.e [ Y xy xp ומכך נקבל כי: p + yq q E XY E [Xp ] p מכך מספיק להראות ש [ Y E. X ] מא"ש Young ידוע לנו ש + E [Y q ] q = p + q = f x = xp מקיימת f x = x p y וגם p + yq q עבור הוכחת א"ש Young נשים לב כי עבור 0 y קבוע הפונקציה xy x = y היא נקודת מינימום של הפונקציה שבה ערך הפונקציה p = y מכך הנקודה q x > 0 לכל f x = p x p > 0 הוא 0 ומהעברת אגפים מקבלים את הנדרש. p + q ויהיו X, Y מ"מ אזי: תרגיל: א"ש מינקובסקי: יהיו > q,p אקספוננטים צמודים = p E X + Y p E p [ X p ] + p E [ Y p ] ובפרט ] p x = p E [ X מגדירה נורמה על P L p Ω, מרחב המשתנים המקריים X : Ω R כך ש < ] p.e [ X 3.6 התכנסות בהסתברות של משתנים מקריים: הגדרה 3.64 התכנסות בהסתברות: P יהא P Ω, F, מרחב הסתברות. נאמר שסדרת מ"מ X n מתכנסת בהסתברות ונסמן X n X אם לכל > 0 :ε P X n X > ε 0 או לחילופין לכל > 0 ε קיים N N כך שלכל n N מתקיים.P X n X > ε < ε למה 3.65 התכנסות בהסתברות גוררת התכנסות כ"ת של תת סדרה:.X nk a.s X כך ש X nk אזי קיימת ת"ס X n P תהא X n סדרת מ"מ כך ש X 7

18 3.6 התכנסות בהסתברות של משתנים מקריים: 3 הסתברות בסיסית יחסית: הוכחה: מהתכנסות בהסתברות בהנתן k N קיים N k כך שלכל n N k מתקיים: P { X x X n x > k} < k ω ולכן i=k Ec i אז ω / נגדיר k} E k := { X ω X Nk ω > ונקבל כי.P E k < k נשים לב כי אם i=k E i ω / A על סמך מה שראינו אם,A := lim sup E k כעת נגדיר.X Ni ω i X ω כלומר k i לכל X ω X Ni ω < i k i X Ni ω וכמו כן ניתן לראות כי לכל k N מתקיים: אז ω X P A = P E i P E i i = k+ X n k= i=k i=k i=k,x Nk כנדרש. a.s לכן בהכרח = 0 A P ומכך X משפט 3.66 התכנסות כ"ת גוררת התכנסות בהסתברות גוררת התכנסות בהתפלגות: יהא P,Ω,F מרחב הסתברות ותהא X n סדרת מ"מ ו X מ"מ. אזי: a.s P X = X n X = L X n L X הוכחה: ניתן סקיצה של ההוכחות:. נראה שהתכנסות כ"ת גוררת התכנסות בהסתברות. נגדיר {ε A ε n = X } n X < ונקבל שהתכנסות כ"ת שקולה לכך שעבור P. lim inf כעת מהלמה של Fatou נקבל כי: כל > 0 ε מתקיים = n Aε = P lim inf Aε n lim inf P Aε n = lim inf P Aε P n = = X n X. נראה שהתכנסות בהסתברות גוררת התכנסות בהתפלגות. נשים לב כי: X n a X n X > ε X a + ε P X n a P X a + ε + P X n X > ε מכך נקבל כי: מכך מהתכנסות בהסתברות לכל > 0 ε קיים N מספיק גדול כך שלכל n N מתקיים: F a + ε ε F n a F a + ε + ε lim sup F n a lim F a + ε = F a ε 0 lim inf F n a lim F a + ε = ε 0 }{{} F a continuity points בפרט נקבל כי:. lim לכן נקבל כי בנקודות רציפות של F מתקיים a F n a = F 8

19 3.6 התכנסות בהסתברות של משתנים מקריים: 3 הסתברות בסיסית יחסית: הערה 3.67 התכנסות כ"ת איננה תכונה טופולוגית במרחב של משתנים מקריים: } כך ש.x nkl x עובדה: במרחב טופולוגי {x n } X מתכנסת ל x X אמ"מ לכל ת"ס } nk {x קיימת ת"ס {x nkl שמתכנסת בהסתברות ולא מתכנסת כ"ת. בהנתן ת"ס } nk X} גם היא מתכנסת בהסתברות ולכן } {X n } n ניתן למצוא סדרה שמתכנסת כ"ת. כלומר הסדרה } n X} מקיימת את התכונה שלכל ת"ס שלה יש ת"ס מהלמה שהוכחנו יש לה ת"ס X} nkl מתכנסת כ"ת אבל היא בעצמה לא מתכנסת כ"ת ולכן לא ייתכן שהתכנסות כ"ת מגיעה מטופולוגיה. משפט 3.68 משפט ההתכנסות החסומה Theorem :Bounded Convergence.E [X n ] E [X] אזי n לכל X n M וגם X n P X או X n a.s תהא X n סדרת מ"מ כך ש X משפט 3.69 משפט ההתכנסות המונוטונית Theorem :Monotone Convergence.E [X n ] E [X] אזי X n P X או X n.e [X n ] E [X] אזי n לכל X n Y מ"מ בעל תוחלת כך ש Y יהא.X n a.s תהא X n סדרה עולה של מ"מ כך ש X משפט 3.70 משפט ההתכנסות הנשלטת Theorem :Dominated Convergence P X או X n a.s תהא X n סדרת מ"מ כך ש X 9

20 4 ריכוז מידה של סדרות משתנים מקריים: 4 ריכוז מידה של סדרות משתנים מקריים: 4. הקדמה ודוגמאות ראשונות: ריכוז מידה של מ"מ מתעניין בכמה משתנה מקרי מפוזר סביב התוחלת שלו, כלומר בחסמים על ε P. X E [X] > תזכורת 4. א"ש מרקוב וצ'בישב: עבור משתנה מקרי X מתקיימים הדברים הבאים: P X a E X a. א"ש מרקוב: לכל > 0 a מתקיים ] E[X P X a ובפרט אם < ] E [ X אז:. א"ש צ'בישב: לכל > 0 a מתקיים a P X E [X] a Var X a.3 עבור פונקציה g : R R לא יורדת ואי שלילית בטווח של X ולכל > 0 a מתקיים: P X a E [g X] g a בפרט אי השוויון הקודם הוא מקרה פרטי של כך עבור g. t = t תזכורת 4. משפט פוביני בגרסת הסתברותית: אם X, Y הם משתנים מקריים ב"ת ובעלי תוחלת אזי ] [Y.E [X Y ] = E [X] E הערה 4.3 הניסוח הזה לא נראה כמו הניסוח הקלאסי של משפט פוביני בתורת המידה אבל הוא נובע מהמשפט הכללי יותר. הגדרה 4.4 שונות משותפת ומ"מ בלתי מתואמים: יהיו,X Y מ"מ בעלי תוחלת נגדיר את השונות המשותפת של,X Y ע"י: Cov X, Y = E [X E [X] Y E [Y ]] Cov X, Y = E [X Y ] E [X] E [Y ] אפשר בקלות להראות שמתקיים: ובפרט = 0 Y Cov X, אמ"מ ] [Y,E [X Y ] = E [X] E במקרה זה נאמר ש X ו Y בלתי מתואמים.Uncorrelated הערה 4.5 בפרט ניתן לראות שאי תלות גוררת חוסר תיאום אולם ההפך לא בהכרח נכון. S n = n ונשים לב כי = 0 [S] E וגם: n דוגמה 4.6 יהיו..., X, X מ"מ כך ש = = i,p X i = = P X נגדיר X i E [ S ] = n E [ Xi ] Independence {}}{ + E [X i X j ] = i<j<n n + i<j<n =0 =0 {}}{{}}{ E [X i ] E [X j ] = n מכך מא"ש צ'בישב נקבל כי: P S > λ n λ 0

21 4. הקדמה ודוגמאות ראשונות: 4 ריכוז מידה של סדרות משתנים מקריים: בפרט ברור שעבור λ < n החסם הנ"ל חסר תועלת והוא משתפר ככל ש λ גדל. כמו כן עבור λ = n נקבל כי: P S = n = P S n n כאשר בפרט S = n רק כאשר.X =... = X n

22 4. הקדמה ודוגמאות ראשונות: 4 ריכוז מידה של סדרות משתנים מקריים: שאלה: השתמשנו כאן באי תלות כדי לקבל את החסם, נבחן מה קורה אם יש רק אי תלות בזוגות. תרגיל: שיטה לבניית מ"מ ב"ת בזוגות: יהיו Y,..., Y m מ"מ ב"ת כך ש {±} i Y בהסתברות. עבור כל m} = A P {,..., נגדיר.X A := j A Y j אזי עבור כל B A המ"מ X A ו X B הם ב"ת כלומר האוסף m}} {X A A {,..., ב"ת בזוגות. הערה 4.7 מאידך כבר לא מתקיימת אי תלות בשלשות שכן למשל {} X X. {,} = X {} הערה 4.8 באמצעות וריאציה על השיטה הזו אפשר לבנות אוספים של משתנים מקריים ב"ת בשלשות, רבעיות וכו'. מסקנה 4.9 בהנחה שהוכחנו את התרגיל הנ"ל נשים לב כי: ניתן להגדיר m משתנים מקריים שונים מהצורה X A שכולם ב"ת בזוגות. מתקיים = A X לכל m} A {,..., רק אם = m Y =... = Y והנ"ל קורה בהסתברות m. S = X A = m A {,...,m} במקרה שבו = m Y =... = Y נקבל כי: קיבלנו שעבור m n = אי תלות בזוגות הספיקה לנו כדי לקבל ש: P S = n = n + P S = n n שראינו בדוגמה הקודמת הוא כמעט הדוק אפילו אם דורשים רק אי תלות בזוגות כי הנ"ל מראה לנו שהחסם יש דוגמה שמשיגה את החסם ולכן לא יכול להיות חסם הרבה יותר טוב עבור אי תלות בזוגות. S n = n נקבל כי אם יש אי תלות דוגמה 4.0 נשים לב כי עבור מ"מ X,..., X n כך ש {±} i X עם הסתברות ו X i או אפילו אי תלות ברביעיות מספיק אפילו אי תיאום ברביעיות אז מתקיים: E [ S 4] Independence {}}{ = n E [ Xi 4 ] 4 + i<j n = {}}{ E [ X i X j ] = n + 6 n n 3n P S > λ 3n ובפרט: מכך נקבל כי λ 4 P S = n 3 n לכן ניתן לראות שקיבלנו חסם יותר קטן שדועך יותר מהר על ההסתברות ש n P S = מאשר במקרה שהנחנו אי תלות רק בזוגות. אפשר להראות שבמקרה של אי תלות בשלשות מקבלים ש = 0 [3 E [ S ולכן לא ניתן להשיג חסם מעניין בשיטה הזו. שאלה: מה ההתנהגות של n P S = במקרה זה, האם היא דומה לזו של אי תלות בזוגות או לזו של אי תלות ברביעיות?

23 4 ריכוז מידה של סדרות משתנים מקריים: 4. החוק החלש והחזק של המספרים הגדולים: 4. החוק החלש והחזק של המספרים הגדולים: תרגיל: עבור זוג מאורעות,A B מתקיים ש,A B ב"ת אמ"מ המ"מ המציינים A, B הם בלתי מתואמים. למה 4. הלמה השנייה של בורל קנטלי עבור מ"מ ב"ת בזוגות: אזי = n.p lim sup A יהא P Ω, F, מרחב הסתברות ויהיו A, A,... F מאורעות ב"ת בזוגות כך ש = i P A.S n = n מאחר שהנחנו אי תלות בזוגות נקבל כי Cov X i, X j = δ ij ומכך נקבל כי: הוכחה: נגדיר X i := Ai ו X i Var S n = {}}{ n Var X i + Cov X i, X j = i j =0 [ n ] E [S n ] = E X i = VarX i n {}}{ P A i P A i n E [X i ] = S n P n P A i > ε = P S n Var S n ε n P A i n P A i n P A i נשים לב כי מכך מא"ש צ'בישב נקבל כי: n n P A i > ε P A i n P A i ε n P A i = ε n P A 0 i ומכך בהנתן > 0 ε קיים n כך ש: S n E[S n] S n P E [S n ] < ε ε P מאחר והנ"ל נכון לכל > 0 ε קיבלנו כי P E [S n ] גורר ש n S ולכן עבור כל > 0 ε וכל > 0 M קיים n גדול מספיק כך ש הנ"ל בשילוב עם כך ש a.s P S n > M ε כלומר למעשה n S ומהגדרת S n המשמעות של כך היא שאינסוף A i קורים כמעט תמיד. למה 4. יהא 0 X מ"מ אי שלילי בעל תוחלת אזי לכל > 0 ε קיים K N כך ש: E X {X K} < ε בנוסף {X<K} X הוא בעל מומנט שני סופי. הוכחה: נתבונן ב {x<k} Y, K = X מאחר ש X אי שלילי ברור כי Y k X כאשר K ולכן ממשפט ההתכנסות המונוטונית: E [Y K ] K E [X] = E X {X K} = E [X YK ] = E [X] E [Y K ] K 0 [ X ] E {X<K} = E [ X ] [ {X<K} E K ] = K < בנוסף ניתן לראות כי: 3

24 4. החוק החלש והחזק של המספרים הגדולים: 4 ריכוז מידה של סדרות משתנים מקריים:. n S n משפט 4.3 החוק החלש של המספרים הגדולים: P µ אזי,S n = n תהא X i סדרת מ"מ שווי התפלגות, ב"ת בזוגות ובעלי תוחלת.E [X i ] = µ נסמן X i הוכחה: מקרה ראשון: ראשית נניח ש X i בעלי מומנט שני סופי כך ש < i,var X מכך מא"ש צ'בישב נקבל כי: P S n µn > εn n Var X ε n = Var X ε 0 n Var S n = n Var X i = nvar X כאשר השתמשנו בכך שמאי תלות בזוגות של X i נובע כי: כעת באופן כללי יותר: מאחר ו X i = X + i X i בה"כ נניח כי 0 i.x יהא > 0,ε על סמך הלמה הקודמת קיים K N כך ש: E X i {Xi K} < ε נשים לב כי {Xi<K} X i = X i {Xi K} + X i ומכך: S n = { S n }} { n X i {Xi<K} + { S n }} { n X i {Xi K} ] [ E.µ = מכך ש µ µ = µ + נקבל כי: X i {Xi K} ו µ = E [ X i {Xi<K}] נסמן n µ n > ε S n + P n µ n ε > S P S n µn > εn P X i הוא בעל מומנט שני ובפרט nµ Var S n = נקבל מא"ש צ'בישב כי: S P n µ n > ε Chebyshev n {}}{ nµ ε n 4µ ε n כעת מאחר ש n] E [ S ולכן: ε n נקבל כי µ = E [ X i {Xi K}] כמו כן מאחר ו < ε P S n µ n > ε n P S n > ε Markov n {}}{ ε n ε מכך ניתן לראות כי: n = ε P S n µn > εn 4µ ε + ε ε n מאחר והנ"ל נכון לכל > 0 ε נסיק את השאיפה בהסתברות, כנדרש. הערה 4.4 נשים לב שכאשר X i הם מ"מ בעלי מומנט ראשון ושני חסומים באופן אחיד אבל לא בהכרח זהים החוק החלש נובע מיידית מא"ש צ'בישב ולא צריך לדרוש שוויון התפלגות. 4

25 4 ריכוז מידה של סדרות משתנים מקריים: 4. החוק החלש והחזק של המספרים הגדולים:. n S n משפט 4.5 החוק החזק של המספרים הגדולים: a.s תהא X i סדרת משתנים מקריים ש"ה, ב"ת בזוגות ובעלי תוחלת E X] i ] = µ אזי µ הערה 4.6 אם מניחים אי תלות ברביעיות וקיום של מומנט רביעי אז אפשר להוכיח את המשפט באותם כלים שהשתמשנו בהם בחוק K n שמסתכם לערך סופי ולכן החלש באמצעות פירוק של המשתנים המקריים ושימוש בחסמים. בפרט מקבלים חסם מהצורה של מהלמה הראשונה של מבורל קנטלי תהיה סטייה של n S n מ µ רק מספר סופי של פעמים. הוכחה: מקרה ראשון: ראשית נניח כי i X ולכן כל המומנטים סופיים ובנוסף בה"כ = 0 ] i E. X] באופן מיידי כך ש i X ] [ E Var X i ומכך מא"ש צ'בישב נקבל כי: Xi נובע כי k= P S n > εn Var S n ε n Sk ε k.p מאחר ש < k > ε ε k {}}{ = nvar X i ε n n ε n = ε n כאשר המעבר המסומן נובע מא"ת בזוגות. נתבונן בת"ס n k = k עבורה { } Sn בהסתברות קורה רק מספר סופי של פעמים ומאחר והנ"ל נכון לכל k נסיק מהלמה הראשונה של בורל קנטלי שהמאורע > ε a.s > 0 ε נסיק כי 0 S n S k = n i=k +. S k כעת נשים לב כי אם + k k n נקבל כי: k X i n {}}{ X i k + k + = k X i i=k + S n n S k n + k n S k n + n n = S k k + a.s 0 n מכך נקבל כי: lim sup בהסתברות. בהנתן k N נסמן S n n מקרה שני: בה"כ אפשר להניח כי 0,X נסמן ] i µ = E [X ונראה כי 4µ X i = X i + X i כאשר } k X i = X i {Xi ו } k.x i = X i {Xi> כמו כן נסמן: k S k = S + k S = X k i + k X i S k = S נקבל כי: + S k מאחר ש k S k P k > µ = P S k > µ k P S µk + P S k k > 0 ] E ולכן מא"ש צ'בישב נקבל כי: [S = ] k k כמו כן µ [X E i = k P S µk = P k P S > 0 = P k Var S k k µ k µ µ S k µk µ k {}}{ {}}{ k Var X E i = µ k X i > 0 k S P k µ k µ k [ ] X i µ k := α k כאשר המעבר המסומן נובע מא"ת בזוגות. כמו כן ניתן לראות כי: P X i > 0 = k P X i > 0 = k P X i k 5

26 4. החוק החלש והחזק של המספרים הגדולים: 4 ריכוז מידה של סדרות משתנים מקריים: k= נסמן X i := X הנחנו שוויון התפלגות ונסמן i+.p i = P i X נשים לב כי: k P X i k = k p i = α k = k= k= k= i=k E [ Xi ] {X i k } µ k µ k=i p i i k p i i E [X] < k= k k= p i i k = µ k k p i i k= {}}{ = µ p i i k µ p i i µ E [X] < ולכן מהלמה הראשונה של בורל קנטלי בהסתברות קיים k 0 כך שלכל k > k 0 מתקיים k= P S k > µ k S n n lim sup בהסתברות. לסיום X i = X i + X i ו n S n = S n + S כמו קודם. על סמך המקרה הראשון כמו כן ניתן לראות כי: מכך נסיק כי < 4µ ולכן Sn n S k+ k 4µ מתקיים k n ו k+ k מכך עבור כל k 0. S k k µ?e [X i ] = µ אמ"מ Sn n ] [ E ונסמן בהנתן > 0 ε נבחר K כך ש X i {K>k} < ε a.s µ נקבל כי S n ועל סמך מה שראינו כעת נקבל כי בהסתברות מתקיים: n lim sup lim sup S n n 4µ 4ε S n n µ 5ε, Sn כנדרש. n מכך נקבל כי בהסתברות מתקיים: a.s מאחר והנ"ל נכון לכל > 0 ε נסיק כי µ תרגיל: a.s נניח ש X i ב"ת וש"ה אך לא בהכרח בעלי תוחלת סופית האם µ הערה 4.7 החוק החלש\חזק של המשתנים הגדולים מאששים את האינטואיציה שמשחק שבו תוחלת הרווח היא פונקציה של התפלגות מסוימת נעדיף לשחק משחק שבו ההתפלגות היא בעלת תוחלת גדולה יותר במיוחד אם נעשה חזרות רבות על המשחק. 4.. כמה דוגמאות משעשעות: דוגמה 4.8 פרדוקס שתי המעטפות: נניח שישנן שתי מעטפות שבאחת יש X כסף ובשנייה יש X כסף X משתנה מקרי מפולג בצורה כלשהי. נותנים לנו מעטפה שבה יש Y כסף X או X בהסתברות. אנחנו מסתכלים בתוכן של המעטפה ושואלים אותנו באקראי הסתברות מתקיים Y = X ואז החלפה תתן לנו האם נרצה לשמור את המעטפה או להחליף למעטפה השנייה. לכאורה בהסתברות Y = Y ובהסתברות מתקיים Y = X ואז החלפה תתן לנו Y, = Y מכך נקבל כי לכאורה אם נחליף אז מתקיים: [ ] E Y Y = Y + Y [ = 4 Y = E Y ] [ [ ]] = E E Y Y = 4 E [Y ] [ Y היא גם הסכום של מעטפה מקרית ולכן צריך להתקיים ] Y] E Y [ = E ובפרט נגיע למסקנה הלא הגיונית שתמיד אולם צריך להחליף. הסיבה שאין כאן פרדוקס היא שהחישוב שעשינו כאן איננו תקין מאחר ולא לקחנו בחשבון את האינפורמציה שגלומה בכך שראינו את Y כלומר את הפילוג של X. 6

27 4 ריכוז מידה של סדרות משתנים מקריים: 4.3 חזרה לריכוז מידה: נתבונן במקרה שבו X = 3 N כאשר P N = n = n ונשים במעטפות X ו.3X נניח שקיבלנו מעטפה וראינו,Y = 3 k הנ"ל קורה בשני מקרים: אם X = 3 k וקיבלנו את המעטפה עם X הנ"ל קורה בהסתברות k.p = אם k X = 3 וקיבלנו את המעטפה עם 3X הנ"ל קורה בהסתברות k.p = בפרט ניתן לראות שהמאורע הראשון סביר פי מהמאורע השני. [ P Y = 3Y Y = 3 k] = P [Y = Y3 ] Y = 3k = כעת אם נחליף ונסמן ב Y את הסכום שנקבל אז מנוסחת Bayes נקבל כי: k k + k = 3 k k + k = 3 [ ] E Y Y = 3 3Y + 3 Y [ 3 = 9 Y = E Y ] [ [ ]] = E E Y Y = 9 E [Y ] מכך נקבל כי: Y הם בעלי אותה התפלגות ולכן צריך לכן ניתן לראות [ שלכאורה כדאי לנו תמיד להחליף לא משנה מה ראינו. מצד שני Y ו להתקיים ] Y] E. Y [ = E הסיבה שאין כאן פרדוקס למרות שכאן בניגוד למקרה קודם כן ידועה לנו ההתפלגות של X היא.E [ Y [ > E Y] ] הוא תקין לחלוטין שכן לא נובע ממנו ש E [ פשוט שמתקיים = ] [Y E ולכן השוויון ] [Y Y ] = 9E נכפיל את מה תרגיל: נניח שישנו משחק שבו בכל שלב אם מהמרים על סכום x אז בהסתברות חצי נפסיד את הכל ובהסתברות שהימרנו. כעת בהנתן שיש לנו סכום התחלתי x 0 ומשחקים k סיבובים על המשחק שבכל סיבוב j k נהמר על x j שהוא חלקי ל j x שהוא הסכום שהיה לנו בסוף הסיבוב הקודם. נשאלת השאלה מהי אסטרטגיית ההימור החלק היחסי מ j x שנרצה להמר עליה במשחק ה j כך שנמקסם את חציון הסכום שיהיה לנו אחרי k סיבובים שאותו נסמן x. k 4.3 חזרה לריכוז מידה: הגדרה 4.9 פונקציה יוצרת מומנטים של משתנה מקרי:.E [ e יהא X מ"מ הפונקציה יוצרת מומנטים של X היא tx] ϕ X t := E [ e כאשר הנ"ל מוגדרת בכל נקודה שבה < ] tx הערה 4.0 אפשר לראות ש = 0 X ϕ בהכרח ולכן ϕ X תמיד מוגדרת באפס. = tx e ומכך בתנאי התכנסות מסוימים נקבל כי: k=0 tk X k k! הערה 4. עבור משתנה מקרי X אפשר להגדיר E [ e tx] = t k E [ X k] k=0.ϕ k X מכך ניתן לראות ϕ X היא הפונקציה היוצרת שמוגדרת על ידי הסדרה n= {E [X n ]} ובפרט לכל k N מתקיים k] = E [ X 0 הערה 4. ישנם מקרים שבהם ל X יש את כל המומנטים שלו והם סופיים אך ϕ X לא מוגדרת באף נקודה פרט לאפס. k! למה 4.3.ϕ Sn t = n ϕ i t אזי,S n = n X i ו ϕ i t = E [ e txi ] יהיו X,..., X n מ"מ ב"ת, נסמן הוכחה: באינדוקציה פשוטה. 7

28 4.3 חזרה לריכוז מידה: 4 ריכוז מידה של סדרות משתנים מקריים: דוגמה 4.4 נניח ש X n היא סדרת מ"מ ב"ת המקבלים את הערכים ± בהסתברות, מכך נקבל כי: E [ e tx] = e t + e t = k t k + t k = t k k! k! t k k k! = e t ϕ Sn t k=0 Independence {}}{ = n ϕ i t = k=0 k=0 S n = n ונקבל כי לכל > 0 t מתקיים: נסמן X i n E [ e txi] e t n P S n > λ = P Markov {}}{ e tsn > e tλ E [ ] e tsn e λ ומכך נסיק כי: n e tλ e t n e tλ = e t n tλ לכן נקבל כי: הפונקציה f t = e t n tλ מקבלת מינימום בנקודה t = λ n שערכו P S n > λ e λ n נכליל את הדוגמה הזו: דוגמה 4.5 נניח ש X i היא סדרת מ"מ ב"ת כך ש i X וגם = 0 ] i.e [X.P S n λ כלשהו נרצה לחסום את ההסתברות λ ועבור 0 S n = n נסמן X i P S n λ = P Markov {}}{ e tsn e tλ E [ ] e tsn = ϕ Sn t e tλ e tλ ראשית ניתן לראות כי לכל 0 t מתקיים: E [ e txi] E [X i] x נקבל כי: מאחר ש e tx קמורה ב t ומכך שלכל x מתקיים ] [0, e tx = e x +x t+ t x e t + + x e t מכך נקבל שלכל i מתקיים: e t + + E [X i] e t = e t + e t =0 {}}{ + E [X i ] e t + e t ] [ E ϕ Xi t = ומכך: e txi t כבר ראינו ש e t + e t e t ולכן קיבלנו שלכל i מתקיים e n n P S n λ ϕ Sn t e tλ = ϕ Xi t e tλ e t e tλ = e n t tλ P S n λ e n λ n λ n בפרט t = λ n היא נקודת מינימום של e n t tλ ומכך נקבל כי: = e λ n הערה 4.6 נשים לב שחייבים לדרוש ש 0 λ שכן האנליזה שעשינו הייתה עבור 0 t. הערה 4.7 בפרט ניתן לראות שהמקרה שבו = ± i X בהסתברות משיג את החסם הנ"ל. 8

29 4 ריכוז מידה של סדרות משתנים מקריים: 4.3 חזרה לריכוז מידה: על סמך הדוגמה הזו ננסח את המשפט הבא שכרגע הוכחנו למעשה: משפט 4.8 משפט חסם הופדינג Bound :Hoeffding.P n X i λ e λ תהא X i סדרת מ"מ ב"ת כך ש i X וגם = 0 ] i E [X אזי לכל 0 λ מתקיים n e λ כפונקציה של λ מתחילה רק ב λ = n ולכן עבור λ < n החסם הנ"ל נותן ש הערה 4.9 נשים לב שהדעיכה של n = λ P S n וזה כמובן טריוויאלי. הערה 4.30 אם במקום ההנחה ש i X נניח ש X i C i לכל i אז אפשר להראות באמצעות אותה אנליזה שמתקיים: n P X i λ n e C i λ n דוגמה 4.3 נתבונן במקרה של λ, = an במקרה הנ"ל נקבל כי: Sn P n a e a n.rate Function ה מכונה I a := lim n log P S n n אפשר להראות שקיים הגבול a דוגמה 4.3 במובן מסוים חסם הופדינג עשוי להיות רחוק מאופטימלי, נסתכל למשל במקרה שבו: P = p X i = P = p 0 P = p עבור 3 n p = נקבל ש Var S n = n 3 וסטיית התקן היא n 6. מאידך הדעיכה של חסם הופדינג מתחילה רק ב λ = n שזה הרבה מעבר לסדר של סטיית תקן אחת של S n כאשר n גדול. היינו רוצים לקבל אומדן טוב לריכוז המידה סביב התוחלת באזור של כמה סטיות תקן בודדות מהתוחלת. משפט 4.33 משפט חסם צ'רנוף Bound :Chernoff תהא X i סדרת מ"מ ב"ת כך ש i E [X i ] = 0, X ו < i.var X i = V נסמן: V := Var S n = n V i n P X i λ } max {e λ 4V, e λ אזי לכל 0 λ מתקיים: הערה 4.34 בפרט בדוגמה הקודמת עבור λ מסדר של התוחלת. K n 6 כדי לקבל חסם על ריכוז המידה באזור של K סטיות תקן סביב הוכחה: ראשית על סמך הפיתוח של e tx לטור חזקות נקבל כי לכל i מתקיים: E [ =0 e txi] {}}{ t k E [ ] Xi k = + t E [X i ] + k! k= 9

30 4.3 חזרה לריכוז מידה: 4 ריכוז מידה של סדרות משתנים מקריים: E [ e txi] = + ] [ ] [ E V i = ולכן: Xi E X k מכך ש i X ו = 0 ] [Xi E נקבל כי לכל k מתקיים i t k E [ ] Xi k + V i k! k= k= t k k! = + V i e t t +x ex {}}{ e Viet t כעת לא קשה להראות שעבור t 0 מתקיים e t t t ומכך עבור t כנ"ל נקבל כי: E [ e tsn] = E [ e txi] e Viet t e V it n E [ e txi] n e Vit = e n V it = e V t לכן על סמך פיתוחים שעשינו קודם נקבל שאם t 0 אז לכל 0 λ מתקיים: P S n λ E [ e tsn] e tλ e V t e tλ = e V t tλ e. λ לסיום נפריד לשני מקרים: 4V λ V = e λ 4V שערכו הוא t = λ V כמו כן הפונקציה ev t tλ מקבלת מינימום כאשר.P S n λ e λ אם λ V אז t 0 ולכן על סמך האנליזה הזו נקבל כי 4V אם λ V אז נקח = t ונקבל כי.P S n λ e λ מכך סה"כ נקבל את המסקנה הנדרשת. הערה 4.35 נשים לב שללא הניתוח שעשינו כדי לקבל ש e t t t עדיין נקבל שבכל מקרה מתקיים: P S n λ e V et t λt d e V et t λt = V e t λ dt ניתן לראות כי: t. = log λ אם נציב זאת נקבל כי: הנ"ל מקבל מינימום ב + V P S n λ e V λ V + log λ V + λ log λ V + = e λ λ+v log λ V + אם λ < V נוכל להשתמש באנליזה שעשינו קודם. מאידך אם λ > V אז נקבל כי: P S n λ e λ λ+v log λ V + e λ λ log λ V + = e λlog λ V + P S n λ e λlog λ + λ log λ V V e 8 אפשר להראות שכאשר λ > V אז מתקבל החסם הבא: P S n λ max { } e λ λ log V λ 4V, e 8 לכן סה"כ נקבל את החסם: 30

31 4.3 חזרה לריכוז מידה: 4 ריכוז מידה של סדרות משתנים מקריים: דוגמה 4.36 נרצה להראות שבמובן מסוים החסם הנ"ל הוא הדוק. נתבונן במקרה שבו :X i Ber n n P S n λ P S n = λ =.Var X i = n n ניתן לראות כי = 0 ] [Xi E וגם.Var S n = n ובפרט S n Bin n, n כמו כן Pois על סמך כך ש S n מפולג בקירוב Pois נקבל כי לכל k n 0 מתקיים: e λ +! e e λ+ logλ+ λ+ logλ = e n Var S n אז החל מ = λ מתקיים λ > V ולכן על סמך החסם שפיתחנו נקבל כי: מאחר ש e λ+ logλ λ log λ V P S n λ e 8. λ log λ הנ"ל מראה ש λ log P Sn דועך בסדר גודל של V דוגמה 4.37 מודל הצפרדעים: יש גרף אינסופי שעל כל קודקוד בו יושבת צפרדע, בהתחלה כולן ישנות, מעירים צפרדע כלשהי והיא מתחילה לעשות הילוך מקרי על הגרף מעבר לקודקוד סמוך בהסתברות אחידה. כל פעם שצפרדע מגיעה לקודקוד שיש בו צפרדע שעוד לא התעוררה היא מתעוררת ומתחילה מהלך מקרי זהה. אפשר לשאול כתלות בגרף האם כל הצפרדעים מתעוררות. כמו כן אפשר לעשות ווריאציה של השאלה שבה יש יותר מצפרדע אחת בכל קודקוד. בפרט ידוע שעבור עץ 00 רגולרי שבו יש הרבה התפצלויות כאשר יש צפרדע אחת בכל קודקוד לא כל הצפרדעים מתעוררות. נעשה קצת אנליזה פשוטה של הבעיה: נשים לב כי בכל שלב לכל היותר מספר הצפרדעים הערות מוכפל במקרה שכל הצפרדעים העירו צפרדע ישנה. לכן לאחר n צעדים של הבעיה מספר הצפרדעים שהתעוררו הוא לכל היותר. n נתבונן בעץ 00 רגולרי שבו 99 קשתות עולות למעלה וקשת אחת יורדת למטה בכל קודקוד. אפשר לראות שלאחר n צעדים תוחלת הגובה של הצפרדע שהתחילה את התהליך ביחס לגובה שבו היא התחילה היא E [S n ] = 0.98n כאשר: S n = n {The frog went up on the i th step} מכך על סמך חסם צ'רנוף אפשר להסיק שעבור הצפרדע המקורית צפרדע הסיכוי להיות בגובה 0 הגובה שבו היא התחילה לאחר n צעדים דועך בצורה אקספוננציאלית כפונקציה של n. כלומר: P S n = 0 e Kn עבור קבוע K שנתון מהחסם והוא פונקציה של = 00 d דרגת כל הקודקודים והעובדה ש 99 קשתות עולות. להראות שעבור דרגת קודקודים = 99 d מתקיים ש.e Kn 3 n אפשר נשים לב שעבור כל צפרדע שמתעוררת ההתפלגות של הגובה שלה לאחר שהתהליך עבור n צעדים היא זהה להתפלגות של S n שכן אנחנו מעירים כל צפרדע בגובה התחלתי מתאים. מאחר שיש n צפרדעים ערות לכל היותר לאחר n צעדים וההסתברות לרדת לגבהים נמוכים היא כל כך נמוכה כך שלמשל שההסתברות לרדת לגובה n שואפת לאפס כאשר n. לכן לא נכסה את כל עץ במקרה הנ"ל. 3

32 5 מרטינגלים: 5 מרטינגלים: 5. מרטינגלים בדידים: תזכורת 5. בהנתן מרחב הסתברות P Ω, Ω, עם Ω סופית\בת מנייה ומאורע B Ω כך ש 0 B P ניתן להגדיר מידת הסתברות מותנית על Ω,Ω ע"י: P B A = P A B = P A B P B בפרט לכל מ"מ X : Ω, Ω R מוגדרת התוחלת של X בהנתן B שתסומן [X B] E בתור התוחלת ביחס למידה.P B דוגמה 5. נתבונן בהסתברות הבאה המוגדרת על {3,}, : Ω כאשר נייצג את הקוארדינטות כמ"מ,X: Y Y \X ניתן לראות ש 3} {,, U X עם = [X] E וניתן לשאול מהי a] E [Y X = כלומר לכל 3} {,, a ניתן לשאול מה התוחלת של Y בהנתן המאורע.X = a אפשר לחשב ולהראות ש = a] E [Y X = לכל 3} {,,.a כמו כן אפשר להראות ש = 4 ] Y E [X ומתקיים: 9 E [XY ] = E [E [Y X] X] E [Y X] a = E [Y X = a] כאשר E [Y X] : Ω, Ω R היא הפונקציה כך ש: כאשר נחשוב עליה כפונקציה שתלויה רק בקוארדינטה הראשונה והיא מדידה ביחס ל σ אלגברה על Ω,Ω שנוצרת ע"י X תזכורת 5.3 משתנה מקרי בדיד אם התמונה שלו בת מנייה בפרט סופית או באופן שקול:.P X = a i מתקיים > 0 a Im X היא קבוצה בת מנייה כך שלכל Im X R קיימת קבוצה בת מנייה A R כך ש = A.P X נזכיר שאם התמונה של משתנה מקרי איננה בת מנייה אז לא ייתכן שלכל X a Im מתקיים > 0 a P. X = דוגמה 5.4 בהנתן מרחב הסתברות P Ω, F, וסדרת מ"מ בדידים..., X, X נניח שמתקיים: E [X k+ X = a,..., X k = a k ] = 0 S k = k ונתבונן בתוחלת המותנית הבאה: עבור כל k N ועבור כל a,..., a k בטווח של.X,..., X k נתבונן בסכום X i E [S k+ i k S i = t i ] E [S k + X k+ i k S i = t i ] = E [S k + X k+ i k S i = t i ] = E [S k i k S i = t i ] + E [X k+ i k S i = t i ] = t k + E [X k+ i k S i = t i ] = t k + 0 = t k נשים לב כי: כאשר המעבר לפני האחרון נובע מכך שמהסדרה } k {S,..., S ניתן לשחזר בדיוק את } k {X,..., X ומההנחה. 3