p=2 p=1 x 2 x 3 גרסה 3.0

Transcript

1 שיטות חישוביות באופטימיזציה חוברת תרגולים ותיאוריה ϕ p (t) p p= p= t 3 3 L דורי פלג מאת גרסה 3.

2

3 הקדמה הקורס שיטות חישוביות באופטימזציה מהווה מבוא לעולם הרחב מאד של האופטימיזציה. מהנדסים נתקלים כמעט בכל תחום בבעיות של,tradeoff כלומר בחירה של פרמטרים כדי לקבל תוצר הפועל בצורה אופטימלית. לכן תורת האופטימזציה תורמת רבות לתחומים רבים כמו עיבוד אותות, תקשורת,,VLSI וכדומה. ברוב המכריע של בעיות הנדסיות אמיתיות חישוב אנליטי של נקודות האופטימום בלתי מעשי, למשל כאשר נדרש לפתור מערכת משוואות לא לינארית או כאשר קיים סט אילוצים לא טריוויאלי. לכן הקורס עוסק במציאת נקודות אופטימום של פונקציות באופן נומרי. ספר זה נועד להשלים את ההרצאות ומציג דוגמאות ותרגילים בנוסף לחומר התיאורטי. אני מודה מראש לקוראים שישלחו לי הערות ותגובות על מהדורה זו דורי פלג מרץ 5 3

4 4

5 תוכן עניניים. חזרה על אלגברה לינארית... 8 פירוק לערכים עצמיים (ע"ע) ווקטורים עצמיים (ו"ע)...8 מטריצה לכסינה... 9 שמושים של לכסון מטריצה... מטריצה חיובית מוגדרת DEFINIE) (POSIIVE ומטריצה חיובית חצי מוגדרת SEMIDEFINIE)...(POSIIVE. חזרה על חשבון דיפרנציאלי ואינטגרלי... 3 נגזרת כיוונית... 3 תרגיל...3 הדיפרנציאל...4 למה אופרטור הדיפרנציאל חשוב?...5 תרגיל...5 תרגיל תרגיל דיפרנציאלים חלקיים... 8 תרגיל נוסחאות לשערוך הנגזרות... קמירות...3 קבוצה קמורה... 3 תרגיל תרגיל תרגיל פונקציה קמורה ופונקציה קמורה ממש...6 תכונות של פונקציות קמורות... 7 תרגיל תרגיל תרגיל...3 תרגיל...35 תרגיל...38 תרגיל אלגוריתמים לחיפוש על ישר מוטיבציה פונקציה UNIMODAL אלגוריתם ה- BISECION...47 מציאת מקטע התחלתי שמכיל נקודת מינימום אלגוריתם ניוטון...5 גישת אינטרפולציה...5 אינטרפולציה ריבועית אינטרפולציה קובית...54 אלגוריתם GOLDEN SECION אלגוריתמים לא מדויקיםלחיפוש על הישר...64 גודל צעד דועך...64 כלל Armjo סיכום אלגוריתמיםלחיפוש על הישר אלגוריתמי מינימיזציה רב-מימדיים מבוססי גרדיאנט אלגוריתם 7... SEEPES DESCEN תרגיל תרגיל הגדרה 74...condton number θ אלגוריתם NORMALIZED SEEPES DESCEN אלגוריתם ANGENS) 79...PARRAN (PARALLEL אלגוריתם ניוטון...8 שיפורים לאלגוריתם ניוטון... 8 אלגוריתם CONJUGAE DIRECIONS 5

6 .5 כיוונים צמודים יצירת כיוונים צמודים...85 Q תרגיל גרדיאנטים צמודים CONJUGAE GRADIENS חסם התכנסות של אלגוריתם 9...CG שיטות ניוטוניות למחצה...9 QUASI NEWON משפחת Broyden של Quas-Newton תכונות של אלגוריתמים ממשפחת...95 Broyden אלגוריתם 96...RUNCAED NEWON בעיות ריבועים פחותים...99 LEAS SQUARES אלגוריתם...GAUSS-NEWON פתרון בעית LS לינארית... בעיות LS לא לינאריות בעלות מבנה יחודי... 3 תרגיל תרגיל קירוב נורמה APPROXIMAION) 9...(NORM קירוב פונקציות קנס... רגישות לשגיאות בעיות אופטימיזציה עם אילוצים בעיות אופטימיזציה עם אילוצי שוויון בלבד... 9 כופלי לגרנז'... 9 משפט כופלי לגראנז' (תנאים הכרחיים לנקודת מינימום)... משפט כופלי לגרנז' (תנאים מספיקים לנקודת מינימום)... תרגיל 7... תרגיל תרגיל אילוצי אי שוויון...36 עקרון 37...COMPLEMENARY SLACKNESS תנאים הכרחיים של 38...KARUSH-KUHN-UCKER תרגיל אלגורתמים נומרים לפתרוןבעיותעם אילוצים שיטת Penalty 7.3. שיטת Barrer אלגוריתם 5...Augmented Lagrangan.8 תכנות ליניארי PROGRAMMING) 55...(LINEAR דוגמא: בעיית הדיאטה פתרונות בסיסיים ופתרונות בסיסיים חוקיים...57 פתרון בסיסי פתרון בסיסי חוקי...58 תרגיל תרגיל תרגיל תרגיל נקודות קיצון...64 תרגיל אלגוריתם ה SIMPLEX בעיה תרגיל בעיה 7... בעיה בעיה תרגיל השקפת MIN-MAX של דואליות תרגיל תרגיל תרגיל

7 תרגיל תרגיל 9.5- סכום r האיברים הכי גדולים של וקטור אי-שוויונים מוכללים ובעיות קוניות...99 אי-שוויון וקטורי וקון האורטנט האי-שלילי... אי-שוויון מטריצי והקון החיובי חצי מוגדר... קונים דואליים... 4 תרגיל...5 בעיות אופטימיזציה עם אילוציאי שוויון מוכללים... 6 תרגיל...9 תרגיל SEMIDEFINIE PROGRAMMING תרגיל.4: בעיית מינימיזציה של ערך עצמי מקסימלי......Schur Complements תרגיל.5: המרת אי שוויון ריבועי לאי שוויון מטריצי 4...(LMI) תרגיל.6: המרת בעיית QCQP לבעיית 5...SDP תרגיל תרגיל תרגיל ROBUS LINEAR PROGRAMMING. דוגמא מסכמת- אלגוריתם...SVM מבוא: זיהוי תבניות.... מדידות אימון ניתנות להפרדה בצורה לינארית ללא שגיאות אימון מדידות אימון אינן ניתנות להפרדה בצורה לינארית ללא שגיאות אימון הרחבה למקרה לא ליניארי...34 נספחים נספח 3.: הוכחת נוסחת הקירוב של פונקציה ריבועית עבור אלגוריתם גישת האינטרפולציה נספח 3.: הוכחת נוסחת הקידום של אלגוריתם ההתאמה הריבועית נספח נספח נספח נספח נספח...46 נספח...47 נספח.: מושג הגרעין...48 רשימת מקורות... 5 רשימת מונחים...5 7

8 . חזרה על אלגברה לינארית הסכם לאורך הקורס: כל הווקטורים יהיו וקטורי עמודה, אלא אם נאמר אחרת. לפרק זה נגדיר מטריצה ריבועית n]. [n A. מטריצה A היא מטריצה הפיכה A פירוק לערכים עצמיים (ע"ע) ווקטורים עצמיים (ו"ע) אם מתקיים היחס הבא: Av =λv כאשר, [n n] מטריצה - A [n ] וקטור v - λ סקלר. A מוגדר ערך עצמי (ע"ע) של מטריצה λ ו- A אז v מוגדר וקטור עצמי (ו"ע) של מטריצה חישוב ע"ע J( λ ) = det(a λi) A λ I = הע"ע הם שורשי הפולינום האופיני המוגדר באופן הבא, כאשר, [n n] מטריצת היחידה - I כלומר חישוב המשוואה הבאה מניב את הע"ע, חישוב ו"ע (A λ I)v = v לכל ע"ע λ מחשבים את הו"ע המתאים לו עפ"י הנוסחה,. A = 3 דוגמא נחשב את הע"ע והו"ע של המטריצה חישוב ע"ע, λ A λ I = = ( λ)( λ) 3 =... = ( λ+ )( λ 4) = 3 λ λ = λ = 4 8

9 (A λ I)v = ( ) + y = = 3 ( ) y 3+ 3y חישוב ו"ע, = y = v = כלומר קיבלנו משוואות בשני נעלמים והפתרון הוא, (A λ I)v = 4 3+ y = = 3 4 y 3 y = y = 3 v = 3 כלומר קיבלנו משוואות בשני נעלמים והפתרון הוא, מטריצה לכסינה ( ). Λ= dag λ,, λ כלומר אם n A היא לכסינה אם היא דומה למטריצה אלכסונית n n מטריצה יש מטריצה הפיכה V כך ש- V AV= Λ. n A היא לכסינה אם"ם ל- A n n משפט מטריצה יש וקטורים עצמיים בלתי תלויים לינארית. כלומר אם ל- A יש n וקטורים עצמיים בלתי תלויים לינארית אז נגדיר את מטריצת הו"ע V שעמודותיה הן הו"ע של מטריצה A, כמטריצה V v v v n נגדיר את מטריצת הע"ע כמטריצה אלכסונית שאיברי אלכסונה A, הם הע"ע של מטריצה λ Λ 9

10 Λ λ λ λn A= VΛV. ואז מתקיים הערה מטריצות סימטריות הן תמיד לכסינות והע"ע שלהן תמיד ממשיים. [ ] V v v 3 = = Λ= 4 בדוגמא שלנו, שמושים של לכסון מטריצה A = VΛ V A = A A A = VΛ V n n n ). הפיכת מטריצה: ). העלאה בחזקה: רדיוס ספקטרלי radus) (spectral λ ρ(a), כאשר ma λ רדיוס ספקטרלי מוגדר: הם הע"ע של מטריצה סימטרית A.

11 מטריצה חיובית מוגדרת Defnte) (Postve ומטריצה חיובית חצי מוגדרת Semdefnte) (Postve הגדרות עזר [n [n מטריצה ריבועית סימטרית - A S - n n n] וקטור ] תבנית ריבועית היא ביטוי מהצורה -. A נשים לב כי התבנית הריבועית היא סקלר! שני תנאים שקולים להגדרת מטריצה חיובית מוגדרת, A. A> שנבחר מתקיים, > ) λ. mn( כלומר אם כל הע"ע של A הם חיוביים. ). אם ). אם שני תנאים שקולים להגדרת מטריצה חיובית חצי מוגדרת, A. שנבחר מתקיים, A ) λ. mn( כלומר אם כל הע"ע של A הם אי-שליליים. ). אם ). אם הערות באופן דומה מגדירים מטריצה שלילית מוגדרת ומטריצה שלילית חצי מוגדרת עם סימן הפוך (בשני התנאים כמובן). נשים לב כי הע"ע של המטריצה 3 הם, אבל המטריצה לא חיובית מוגדרת כי היא לא סימטרית! מערכות משוואות לינאריות הדרגה של מטריצה A (מסומנת כ- (A ( ran ( היא מספר השורות השונות מאפס של המטריצה המדורגת המתקבלת ממטריצה A על ידי פעולות שורה אלמנטריות. תהי A=b מערכת של m משוואות ב- n נעלמים. קיימות שלוש אפשריות: n-ran ( A) למערכת יש פתרון יחיד אם"ם אם. ran ( A ) =ran ([ A b ]) =n ([ ]) ran A =ran A b <n דרגות חופש. למערכת יש אינסוף פתרונות והיא בעלת..

12 ([ ]) אם ran A ran A b למערכת אין פתרון..3. ran A למערכת של n משוואות לינאריות ב- n נעלמים יש פתרון יחיד אם"ם = n למערכת הומוגנית A= יש לפחות פתרון אחד (הפתרון הטריוויאלי = ). למערכת הומוגנית קיים רק הפתרון הטריוויאלי כאשר. ran A n מסקנות

13 . חזרה על חשבון דיפרנציאלי ואינטגרלי נגזרת כיוונית r וקטור כיוון - f() וקטור הגרדיאנט f () = r הנגזרת הכיוונית היא: f() r. r בחדוו"א הגדירו את הנגזרת הכיוונית רק עבור וקטורים שנרמלו אותם. כלומר וקטור הכיוון r. לצורך שימוש באלגוריתמים נומריים בהמשך הקורס "נגמיש" את ההגדרה של הנגזרת r הכיוונית גם לווקטורי כיוון שלא מנורמלים. המשמעות הגיאומטרית של הנגזרת הכיוונית היא השיפוע של הפונקציה f בנקודה בכיוון הנגזרת הכיוונית היא גודל סקלרי. הנגזרת הכיוונית שלא בכיוון הגרדיאנט תמיד קטנה מזו שבכיוון הגרדיאנט (בגלל שמכפלה פנימית מכסימלית כאשר שני הווקטורים באותו כיוון). הערות תרגיל. f: R R נתונה פונקציה f הבאה, f() = + + e f + + e f() = = f e א). חשבו את הגרדיאנט של f. + e f(,) = e. r = = ב). חשבו את הנגזרת הכיוונית בנקודה ובכיוון f r (,) = f (,) r = + e e = 3 3

14 H() f f e e = f() = = f f e 4e ג). חשבו את ההסיאן של הפונקציה f, נשים לב כי זו מטריצה סימטרית (בגלל שהנגזרות המעורבות מתחלפות ( שלה ממשיים. ולכן היא תמיד לכסינה והע"ע הדיפרנציאל מהו הדיפרנציאל? y f( ) y = f() d dy =y של משתנה עבור פונקציה f() חד-ממדי יחיד כזכור, dy = f() d רעיון הדיפרנציאל הוא שניתן להתיחס ל- dy ול- d באופן נפרד ולכן, dy = f ()d f d f d n dn f n ; d ; g() f() = עבור המשתנה נסמן, הרב ממדי, 3 מתקיים, אם כל הנגזרות החלקיות רציפות בנקודה מסוימת בנקודה זו הנגזרות המעורבות שוות. אנו נתעסק עם פונקציות שמקיימות את התנאי הזה. ראו ספר של בן ציון קון- סמי זעפרני/ חדו"א, ע"מ 73 3 ראו ספר של בן ציון קון- סמי זעפרני/ חדו"א חלק א', ע"מ 86 4

15 f f f df = g, d = f (), d = f () d = d+ d + + dn n למה אופרטור הדיפרנציאל חשוב? מטרת הקורס היא למצוא מינימום של פונקציות. כדי למצוא מינימום של פונקציה במקרים רבים צריך לחשב את הגרדיאנט וההסיאן שלה. ברוב המקרים יש צורך לבצע גזירה לפי וקטורים ומטריצות ועוד "יצורים" מתמטיים אחרים. באמצעות אופרטור הדיפרנציאל ניתן לעשות זאת בקלות ללא צורך בזכירת נוסחאות רבות. תרגיל. f() = A נתון, [n וקטור עמודה ] [n n] מטריצה ריבועית A א). חשבו את הגרדיאנט. df = g,d = g d כדי לחשב את הגרדיאנט נחשב את הדיפרנציאל df ונביא אותו לצורה הבאה, df = d ( A) = d A + Ad = ( A d + Ad) = סקלר A A d = + g() = ( A + A ) = ( A + A ) ב). חשבו את ההסיאן. כדי לחשב את ההסיאן נחשב את הדיפרנציאל dg ונביא אותו לצורה הבאה, dg = Hd dg = ( A + A ) d H() = A + A 5

16 תרגיל.3 f =ϕ (h(w)) ( w = [ w,w, ],w n ) [n ] נתון, כאשר, w וקטור עמודה w,w,,wn פונקציה של המשתנים h ϕ פונקציה של משתנה אחד. df =ϕ dh =ϕ h dw א). חשבו את הגרדיאנט. דיפרנציאל של פונקציה של משתנה אחד dh = h dw דיפרנציאל של פונקציה של מספר משתנים g= ϕ h = h ϕ =ϕ h ϕ סקלר = ϕ +ϕ =ϕ +ϕ = dg d h d( h) h dw h hdw d( ϕ ) =ϕ dh =ϕ h dw d( h) = hdw ב). חשבו את ההסיאן. =ϕ +ϕ = ϕ +ϕ h h dw hdw h h h dw =ϕ +ϕ H h h h 6

17 תרגיל.4 נתונה הפונקציה f() Q b () =,. n ו- < Q n כאשר וידוע כי = = Q Q f() d( Q) b Q b א). חשבו את הגרדיאנט. נשים לב כי מאחר ו- Q אז המטריצה היא סימטרית. ב). חשבו את ההסיאן. Qd d( f() ) = d Q = + Q d = Q Q Q 3 Qd = + Q ( Q) Qd = Q 3 = Q QQ QQd 3 f() = Q Q Q Q Q 7

18 נשים לב כי בשלוש הדוגמאות הקודמות של אופרטור הדיפרנציאל לפונקציות היה משתנה אחד (משתנה יכול להיות גם וקטור או מטריצה של משתנים סקלרים). כעת נרחיב למקרה בו ישנם מספר משתנים. דיפרנציאלים חלקיים אם f היא פונקציה של שני משתנים,u v הדיפרנציאלים החלקיים של f, f f df (u, v) = du + dv dfu + dfv u v df v ו- הוא הדיפרנציאל של הפונקציה לפי df u הוא הדיפרנציאל של הפונקציה לפי (v u קבוע), כלומר u) v קבוע). עבור פונקציה של מספר משתנים לכל משתנה יש גרדיאנט והסיאן. כדי לחשב אותם נשתמש בדיפרנציאלים החלקיים באותו אופן שבו עשינו במקרה של משתנה בודד, df = g,du ; dg = H du u u u u df = g,dv ; dg = H dv v v v v תרגיל.5 = ϕ ( + ) f v,b,w v W b ( u) ( u) ( u ) u ϕ u ϕ u ϕ( u ) ϕ =ϕ = n n נתונה רשת ניורונים Net),(Neural [n - v וקטור עמודה ] [n - b וקטור עמודה ] [n m] מטריצה W [m - וקטור עמודה ] - ϕ פונקציה וקטורית שמוגדרת באופן הבא, כאשר ϕ היא אותה פונקציה אבל סקלרית. הפונקציה f היא פונקציה של מספר משתנים : v, W b, (המשתנה W הוא מטריצה). dfv = dv ϕ W + b =ϕ W + b dv v g =ϕ W+ b. g v א). חשבו את הגרדיאנט לפי - v 8

19 . g b ב). חשבו את הגרדיאנט לפי - b תחילה נחשב דיפרנציאל של פונקציה וקטורית, d ϕ(u ) ϕ (u )du ϕ (u ) du d(u) ϕ ϕ (u)du ϕ (u) du dϕ= = = d ϕ(u n) ϕ (u n)dun ϕ (u n) dun Φ dϕ=φ du dfb = v d ϕ (W + b) = v Φ d W + b = v Φdb b g = v Φ = Φ v=φ v Φ היא מטריצה אלכסונית ועבור מטריצות אלכסוניות מתקייםA A =. G W - חזרה לתרגיל, ג). חשבו את הגרדיאנט לפי W מאחר ו- W היא מטריצה אז נגדיר מכפלה פנימית בין מטריצות, [n m] מטריצה A [n m] מטריצה B,j,j,j A,B = a b = tr A B () df = G,dW = tr ( G dw) () לכן מ-( ) נובע כי, הערות - - נשים לב כי כעת G הוא מטריצה. אופרטור trace פועל רק על מטריצות ריבועיות (סקלר נחשב למטריצה ריבועית). 9

20 תכונה של אופרטור trace ידוע כי לכל מטריצות,C D מהצורה הבאה, [m n] מטריצה C [n m] מטריצה D מתקיים, tr(cd) = tr(dc) (3) חזרה לתרגיל, dfw v d (W b) v d W b v dw scalar ( W ) tr v dw tr v dw tr G dw C[ m] D[m ] W G = v Φ = Φ v =Φ v scalar = tr(scalar) = ϕ + = Φ + = Φ = = Φ = Φ = (3) ()

21 נוסחאות לשערוך הנגזרות בחישוב האנליטי של הגרדיאנט וההסיאן לעיתים נופלות טעויות חישוב. לכן רצוי לפתח אמצעי בדיקה. ניתן לעשות זאת באמצעות קירוב נומרי של הנגזרות. בקירוב זה יש צורך בחישוב ערך הפונקציה בלבד. קירוב הגרדיאנט, f f(+εe ) f() = g (4) ε f f(+εe ) f( εe ) = g (5) ε n f: R R n R נקודת המדידה ε R ערך קטן וקבוע n e R וקטורי יחידה - רכיב של הגרדיאנט g g e = coordnate הערה בנוסחה (4) יש פחות חישובים מפני שכבר נתון לנו.f() נוסחה (5) מניבה קירוב יותר מדויק מפני שהיא סימטרית סביב נקודת המדידה. j (4) f g( +εe) j g() H,j() = ε קירוב ההסיאן לפי (4), ( +ε +ε j) ( +ε j) ( +ε ) + f e e f e f e f H,j() = (6) ε j (5) f g( +εe) j g( εe) j H,j() = ε קירוב ההסיאן לפי (5),

22 ( +ε +ε j) ( ε +ε j) ( +ε ε j) + ( ε ε j) f e e f e e f e e f e e H,j() = (7) 4ε טריק לקירוב ההסיאן כזכור, f f f f n f f f f g g g g() = ; H() = n = n f f f f n n n n n כלומר במקום לחשב איבר איבר במטריצת ההסיאן לפי נוסחאות (6), (7) ניתן לקרב בבת אחת עמודה שלמה של ההסיאן באמצעות הגרדיאנט. הערה חשובה הקירובים הנומריים לגרדיאנט וההסיאן מאד תלויים בערך ε שנבחר. לכן לאורך כל הקורס לא נסתפק בקירובים הנ"ל אלא נחשב את הגרדיאנט וההסיאן באופן אנליטי. מאחר ולעיתים קרובות החישוב מורכב, נוכל להשתמש בקירובים הנומריים רק כדי לבדוק אם נפלו טעויות בחישובים האנליטיים.

23 קמירות מוטיבציה: פונקציות קמורות הן פונקציות בעלות חשיבות רבה באופטימיזציה. תכונה חשובה מאד שלהן היא שמינימום לוקלי הוא גם מינימום גלובלי. למה זה חשוב? נזכור כי מטרת הקורס היא למצוא מינימום גלובלי של פונקציות. עבור רוב הבעיות המעשיות אי אפשר לחשב זאת אנליטית. לכן בהמשך הקורס נפתח אלגוריתמים ש"מחפשים" את נקודת המינימום במקום לחשב אותה. אלגוריתמים אלו יוכלו להבטיח מציאת מינימום לוקלי בלבד. עבור פונקציות קמורות הם יוכלו להבטיח מציאת מינימום גלובלי. קבוצה קמורה α קבוצה הנקודה Ω מוגדרת כקבוצה קמורה אם לכל שתי נקודות, Ω α + ( α) אף היא בקבוצה. Ω מתקבל כי לכל דוגמאות, קבוצה לא קמורה קבוצה לא קמורה קבוצה קמורה 3

24 תרגיל.6 { } B= z z נתונה הקבוצה הבאה, Im{z} B Re{ z} האם B קבוצה קמורה? המשמעות הגיאומטרית של קבוצה B היא עיגול ולכן אינטואיטיבית B צריכה להיות קבוצה קמורה. z,z B הוכחה נגדיר z = α z + ( α)z α z + ( α )z =α z + ( α) z α+ ( α ) = () α [,] z,z B - זוהי תכונה ידועה שערך מוחלט של סכום של שני מספרים קומפלקסים קטן שווה מסכום הערכים 4 המוחלטים (אי-שוויון המשולש). לכן B קבוצה קמורה. ראה ספר של בן-ציון קון, פונקציות מורכבות עמוד 8 סעיף ה'. 4 4

25 תרגיל.7 { } C B = z z > נתונה הקבוצה המשלימה של B, c האם B קבוצה קמורה? המשמעות הגיאומטרית של קבוצה B היא, Im{z} C B Re{ z} לכן אינטואיטיבית B צריכה להיות קבוצה לא קמורה. הוכחה (באמצעות דוגמא נגדית) נבחר, z =α z + ( α )z = + = B c C z = B z = B α= C לכן קבוצה לא קמורה. c B 5

26 פונקציה קמורה ופונקציה קמורה ממש, פונקציה f() מעל קבוצה קמורה Ω מוגדרת כפונקציה קמורה אם לכל שתי נקודות Ω כי, מתקבל f( α + ( α) ) α f( ) + ( α)f α [,], Ω פונקציה f() מעל קבוצה קמורה Ω מתקבל כי, מוגדרת כפונקציה קמורה ממש אם לכל שתי נקודות f( α + ( α ) ) <α f( ) + ( α)f α (,) כלומר פונקציה מעל קבוצה קמורה היא קמורה ממש אם לכל שתי נקודות שניקח מהקבוצה הקמורה אז ערך הפונקציה קטן יותר מערך המיתר לכל נקודה על הישר המחבר את שתי הנקודות. f( ) f( ) 6

27 תכונות של פונקציות קמורות ). תהי. f() C אזי פונקציה זו קמורה מעל תחום ההגדרה קמור Ω אמ"ם מתקיים כי,, Ω f() f + f, Ω אמ"ם מתקיים כי Ω אזי פונקציה זו קמורה מעל תחום ההגדרה קמור. f() C ). תהי H() = f() (כלומר ההסיאן הוא מטריצה חיובית חצי מוגדרת).. f + f לכן המשמעות f() אינטואיציה לתכונה, הישר המשיק לפונקציה בנקודה הוא: הגיאומטרית של תכונה זו היא שעבור פונקציה קמורה בכל נקודה לפונקציה, כל הפונקציה (לכל ( תהיה מעל המשיק הזה. שבה נמתח ישר משיק f() f + f 7

28 תרגיל.8 f()= A+b נתונה הפונקציה הריבועית. A S האם הפונקציה קמורה ותחת איזה תנאים? בדקו לפי שלושת הקריטריונים. n כאשר פתרון n בשאלה זו. Ω= α [,],, : f( α + ( α) ) α f + ( α)f n א). נבדוק תחת איזה תנאים מתקיים האי"ש:, Ω מתקבל כי, אגף ימין של המשוואה הוא α f( ) + ( α )f( ) =α A +b + ( α ) A +b = = α A + ( α ) A +α b + ( α)b אגף שמאל של המשוואה הוא f( α + ( α ) ) = [ α + ( α)] A[ α + ( α) ] +b [ α + ( α )] = = α A + ( α ) A +α( α ) A +α b + ( α)b נבדוק מתי הביטוי הבא הוא אי-שלילי α f + ( α)f f ( α + ( α ) ) = = α A + ( α ) A +α b + ( α)b α A + ( α ) A +α( α ) A +α b + ( α )b = = α A + ( α) A α A ( α) A α( α ) A = = {( α α ) A + A A } α α α α = = { α( α ) A + ( α) [ ( α) ] A α( α ) A } = 8

29 = α ( α ) ( A + A A ) = = α ( α ) ( ) A ( ), : A () n מאחר ו- α) α,( אז מספיק לבדוק מתי מתקיים האי"ש, אז זה שקול לבדוק את : A () n. מאחר וצריך לבדוק את אי"ש () לכל נגדיר = האי"ש נשים לב כי הביטוי באי"ש () הוא התבנית הריבועית של המטריצה. A. A לכן אי"ש () מתקיים כאשר לסיכום, הפונקציה הריבועית קמורה אם המטריצה A היא מטריצה חיובית חצי מוגדרת. f()=a+b., : f() f + f n A+b A+b + f() A+b A b ( ) (A+b). f() C הגרדיאנט של הפונקציה הוא ב). נניח כי נבדוק תחת איזה תנאים מתקיים האי"ש: נציב: A+b A b A b+ A+b ( A + A A ) ( ) A ( ) (3). באופן זהה לסעיף הקודם נקבל כי אי"ש (3) מתקיים כאשר A. = נגדיר f()=a f()=a. f() C ההסיאן של הפונקציה הוא ג). נניח כי הפונקציה היא קמורה אם 9

30 תרגיל.9 h(t) δ = t +, δ> t +δ δ. t h(t) δ נתונה הפונקציה הבאה, (כאשר δ,t סקלרים). א). חשבו את הנגזרת הראשונה והשניה של הפונקציה לכל h(t) δ = t+ t +δ δ נגזור תחילה בתחום > t : h '(t) = δ ( t +δ) h δ ''(t) = ( t +δ ) = +δ +δ ( t ) h(t) δ = t+ t +δ δ h δ '(t) = + +δ ( t ) ( t ) 4 3 עבור < t : h δ ''(t) = ( t +δ ) = +δ +δ ( t ) h δ '(t) = sgn(t) h ''(t) = δ t t ( t +δ) lm t + = + t +δ δ lm t + = t +δ δ 3 ( t ) 4 3 ( t +δ). δ נאחד את שני המקרים: מה קורה ב- = t? האם הפונקציה רציפה? הפונקציה רציפה לכל ערך של 3

31 lm = + δ t t ( t +δ) lm + = + δ ( t +δ) האם הנגזרת הראשונה רציפה? h δ '(t) איננה גזירה ב- = t רק עבור =δ הנגזרת הראשונה עבור הפונקציה רציפה ואין בעיית גזירות.. h '(t) δ δ> ב). האם הפונקציה הזו קמורה?! δ h(t) δ נשים לב כי הנגזרת השניה היא חיובית לכל > δ.,t אבל הפונקציה לדוגמא עבור =.5 δ מתקבל, איננה קמורה לכל הסיבה לכך היא שניסינו להוכיח קמירות באמצעות הנגזרת השניה אך תנאי הגזירות מתקיים רק עבור δ=. 3

32 תרגיל. נתונה הפונקציה הבאה, t + t, t ϕ (t) = 3 ln( t), t < t סקלר. הוכיחו כי פונקציה זו קמורה עפ"י שתי התכונות של פונקציות קמורות. פתרון תכונה ) תחום הגדרה כמובן קמור. ( נוכיח תחילה כי ϕ(t) היא פונקציה רציפה פונקציה רציפה, היא פונקציה רציפה (הארגומנט של ln חיובי בתחום ההגדרה > t t + t 3 ln( t) 4 8 t 3 + t = = 8 8 t= ϕ (t) = t= = = ln( t) ln() t= נבדוק את נקודת החיבור = t, ולכן הפונקציה ϕ(t) רציפה t. t +, t ϕ (t) =, t < 4t כעת נוכיח כי ϕ(t) פונקציה גזירה ברציפות, איננו נכלל בתחום ההגדרה של פונקציה זו). +t היא פונקציה רציפה. היא פונקציה רציפה (הערך = t 4t נבדוק את נקודת החיבור = t, 3

33 t + = 4t t= ϕ (t) t= = = t=. t ולכן הפונקציה ϕ(t) גזירה ברציפות. f() C., ישנם 4 מקרים, Ω f() f + f ( ) כעת צריך להוכיח כי מתקיים, א. ), [, ב.(, ( ג. ), [ );, ( ד. ), ( );, [ נוכיח את סעיף א באופן מלא ובסעיפים ב, ג, ד רק נראה מה צריך להוכיח., [, ) ( + )( ) + ( + )( ) א. צ.ל. פתרון = + = ( ), (, ] 3 3 ln( ) ln( ) + ( )( ) ב. צ.ל. 33

34 [, ); (, ] ג. צ.ל ln( ) ( ) [, ); y (, ] 3 ln ד. צ.ל. תכונה ). f() C כדי להוכיח קיום התכונה השניה יש להוכיח תחילה כי הנגזרת השניה גם בחלק הוכחנו כי רציפה,, t ϕ (t) =, t < 4t היא פונקציה רציפה היא פונקציה רציפה (הערך = t איננו נכלל בתחום ההגדרה של פונקציה זו) 4t נבדוק את נקודת החיבור = t,, t ϕ (t) t= =, t < ולכן הפונקציה ϕ(t) גזירה ברציפות פעמיים t.. f() C כעת נותר לבדוק אם ההסיאן הוא מטריצה חיובית מוגדרת לכל t. במקרה הסקלרי זוהי הנגזרת השניה,, t ϕ (t) =, t < 4t ולכן הפונקציה קמורה ואפילו קמורה ממש. 34

35 תרגיל. m f() log e = R a + b = n n a,,,m b R, =,,m R = נתונה הפונקציה הבאה, כאשר, האם הפונקציה f() היא קמורה או קעורה? קבעו מתי הפונקציה קמורה/קעורה ממש. a b e y m y A ; b ; y A b ; = + m = ; e = ym a m b m e y g f() A e y m e פתרון נגדיר תחילה: ולכן, y f() = log( m e ) חישוב הגרדיאנט: y y y y df = d( me y ) = y md( e ) = y mdag( e ) dy= y mdag( e ) Ad me me me me = = y y dg = d y A e + d y ( A e ) = me me = dag e AdA e + A dag e Ad = y y y m y y ( m e ) m e y y y y ( m ) m y ( m e ) = e A dag e A A e dag e A d y y y y H() = f() = A ( ) me dag e e e A y ( m e ) n v, y y y y v H()v = v A ( ) m e dag e e e Av = y ( m e ) חישוב ההסיאן: הפונקציה קמורה כי: 35

36 s= Av y y y y = s ( m e ) dag( e ) ( e )( e ) s= y ( m e ) y y y = ( m e ) s dag( e ) s ( s e ) y ( m e ) m ( wz ) ( ww )( zz ) כאשר, נזכר כעת באי-שוויון קושי-שוורץ: y y w = s e,z= נשים לב כי אם נגדיר e (כאשר היא פעולת כפל איבר-איבר) אז מתקיים: j j m m y y y se e sj e j= j=. מ.ש.ל. ולכן מתקיים H()v v v. נבדוק אם ניתן למצוא v H()v > v הפונקציה היא קמורה ממש כאשר לכל אשר מקיים מתקיים. מתי אי-שוויון קושי-שוורץ מתקיים בשוויון? v H()v = s הוא Av = c m התשובה היא כאשר הווקטורים w,z תלויים לינארית. עבור הבחירה הנ"ל זה יתקיים כאשר =s, כאשר. c כלומר אם קיים פתרון למערכת המשוואות: c m וקטור של קבועים, ל- c כלשהו, אז הפונקציה איננה קמורה ממש., Av = c m כאשר c אין פתרון למערכת המשוואות לכן התנאי שהפונקציה קמורה ממש הוא שלכל v. כעת נפריד לשני מקרים: v ( למערכת המשוואות ההומוגנית =c : השאלה היא מתי לא קיים פתרון לא טריוויאלי ( א. = Av. מאלגברה לינארית תנאי זה מתקיים כאשר דרגת המטריצה A גדולה או שווה ל-. n לכן תנאי הכרחי הוא ש- n. m. Av = c m נשים לב כי c : השאלה היא מתי לא קיים פתרון למערכת המשוואות הלא הומוגנית ב. =v איננו פתרון של מערכת משוואות זו ולכן אין צורך להתחשב במקרה זה. בנוסף מספיק לבחון c. הסיבה לכך היא שאם v הוא פתרון של מערכת המשוואות Av = m ולא לכל מערכת משוואות.[ A m ] v. Av = c m Av = m אז הוא פתרון של c מאלגברה לינארית זה יתקיים כאשר הדרגה של מטריצה A שונה מהדרגה של המטריצה.[ A m ] לסיכום, הפונקציה קמורה ממש כאשר: דרגת המטריצה A גדולה או שווה ל-. n א. הדרגה של מטריצה A שונה מהדרגה של המטריצה ב. A= ] A m [ היא.3 דוגמא: הדרגה של מטריצה A היא. הדרגה של מטריצה 36

37 תנאים מספיקים למינימום לוקלי תהי f גזירה פעמיים ברציפות ) ( f() C ותהי הנקודה נקודה כלשהי בתחום ההגדרה של הפונקציה f. נניח כי ידוע שבנקודה f =.( f.( מתקיים, אזי הנקודה היא נקודת מינימום לוקלית ממש של הפונקציה f. להלן דוגמא של פונקציה של משתנה סקלרי יחיד ונקודות הקיצון שלו, f מינימום לוקלי מקסימום גלובלי מינימום לוקלי מקסימום לוקלי מינימום גלובלי 37

38 תרגיל. f() = + 3 מצאו את נקודת המינימום של הפונקציה הבאה,. כאשר פתרון f = f() = = = f 3 + = H() f() = = נבדוק אם זוהי מטריצה חיובית מוגדרת בשתי הדרכים שלמדנו, א). באמצעות ערכים עצמיים λ λ = = λ = λ+λ =λ λ+ = λ H I = ( λ )( λ 3) = λ =, 3 >, לכן המטריצה חיובית מוגדרת. ב). באמצעות תבנית ריבועית y y y (y y ) y y y = + + > y y= y = לכן המטריצה חיובית מוגדרת. כמו כן ניתן לראות כי f C ולכן היא נקודת מינימום. = [ ] 38

39 + רעש y n = h() +η h() {,y} L = תרגיל.3 קירוב פולינומיאלי. הבעיה: נתונות L מדידות גאוסי לבן (ב"ת ותוחלת אפס). כלומר כאשר, וידוע כי מקור המדידות הוא מודל של פולינום מסדר n = a = h() { } n a = המטרה: מצאו את המקדמים כך שהפולינום הכי "קרוב" לנקודות המדידה. {,y} כלומר לכל מדידה נתאים את המודל הבא, y a + a + a a =,,...,L n n ובצורה מטריצית נסמן, 39

40 X n n = n L L L L a a a = a a n y y y yl = כלומר בהינתן מטריצות הקבועים הידועים,X y המטרה היא לבחור את המשתנים a כך שהווקטור y יהיה "קרוב" ככל האפשר לווקטור. Xa קריטריון הקרבה מוגדר ע"י סוג הקנס שנטיל על המרחק בין שני הווקטורים. נבחר בפונקצית קנס ריבועית, f a y a a a... a L n = ( ) n = ומטרתנו היא למצוא את המשתנים a כלומר בעיית האופטימיזציה היא, שימזערו את פונקצית הקנס הנ"ל. a mnmze Xa y = Xa y Xa y זוהי בעיית ריבועים פחותים Squares).(Least f = ( Xa y) ( Xa y) = a X Xa y Xa+ y y א). חשבו את הגרדיאנט של f(a). = + = = df da X Xa a X Xda y Xda a X Xda y Xda a X X y X da g= a X X y X = X Xa X y dg = X Xda ב). חשבו את ההסיאן של f(a). H= X X XX = X X = XX נשים לב כי המטריצה XX היא מטריצה סימטרית, 4

41 ג). מצאו את נקודת המינימום וחשב את ערך הפונקציה. האם זו נקודת המינימום לכל? X g= X Xa X y = XXa = Xy a = X X X y נפעל לפי התנאים למציאת מינימום לוקלי. כעת נבדוק את קיום שני התנאים,.( בהנחה כי XX היא מטריצה הפיכה..( כדי לבדוק אם a היא אכן נקודת המינימום צריך לבדוק האם מטריצת ההסיאן היא מטריצה חיובית מוגדרת. תחילה נשים לב כי מטריצת ההסיאן היא מטריצה סימטרית. נוכיח כי ההסיאן היא מטריצה חיובית חצי מוגדרת (באמצעות תבנית ריבועית),.[n + n + ] s Xr [L ] X היא מטריצה מגודל לכל וקטור שנבחר [L n + ] n+ r R נגדיר, ולכן ההסיאן היא מטריצה ריבועית מגודל s = r X [ L] L = r X X r = s s= s ומתקיים, הוכחנו כי מטריצת ההסיאן היא מטריצה חיובית חצי מוגדרת לכל X במקרה זה ללא קשר לערך הנעלמים. a בנוסף ברור כי הפונקציה E גזירה פעמים ברציפות, ולכן הפונקציה E היא פונקציה קמורה. לכן אם נוכיח בנוסף כי מטריצת ההסיאן חיובית מוגדרת אז גם נוכיח כי a היא נקודת מינימום לוקלית ממש וגם ש- a בהכרח גם נקודת מינימום גלובלי. כדי להוכיח כי המטריצה חיובית מוגדרת נותר להראות כי לכל מתקיים r. r X X r = s s> s, כלומר כאשר Xr. לכן הפונקציה קמורה ממש כאשר לא קיים פתרון זה יתקיים רק כאשר לא טריוויאלי למערכת המשוואות = Xr. מאלגברה לינארית זה יתקיים כאשר + n. ran X נזכר כי שורות המטריצה X הן המדידות. לכן עבור המבנה המיוחד של מטריצה X (מטריצת +n נקודות בעלות קואורדינטות ציר שונות. (Vandermonde זה יתקיים כאשר ישנן לפחות הערה קיים משפט הקובע כי מטריצה ריבועית היא הפיכה אמ"ם כל הע"ע שלה שונים מאפס. משפט זה נובע A = VΛ שהוצג בחזרה על אלגברה לינארית. מלכסון מטריצה ההופכית: V 4

42 באופן מידי ניתן להסיק כי למטריצות חיוביות מוגדרות (או שליליות מוגדרות) קימת מטריצה הופכית. לכן כאשר המטריצהXX היא מטריצה חיובית מוגדרת, אז גם קיימת לה מטריצה הפיכה. ואז קיימת נקודת המינימום, a = X X X y = + = f(a ) a X Xa y Xa y y כעת נמצא את ערך הפונקציה בנקודת המינימום, = yxxx XXXX Xy yxxx Xy+ yy= a a a = yxxx Xy yxxx Xy+ yy= f A = A nv(a) = nv(a) = yxxx Xy+ yy= ( ) y I X X X X y =. X XX X = X X X = X ( XX) X הגדרה הביטוי עבור X ריבועי, ואז נקבל, הוא הפסאדו-אינברס nverse) (pseado של המטריצה I = = ( ) = X f(a ) y I X X X X y y I I y כלומר במקרה הכללי (הלא ריבועי) נצפה לערכים הקרובים לאפס עבור קירוב טוב. 4

43 3. אלגוריתמים לחיפוש על ישר מוטיבציה כדי למצוא נקודת מינימום של פונקציה תנאי הכרחי הוא לחשב את הגרדיאנט ולהשוות לאפס, f g() = f() = = f n כלומר לפתור מערכת של n משוואות עם n נעלמים. ברוב הבעיות המעשיות זוהי מערכת משוואות לא- לינאריות ולכן או שאין או שקשה מאד למצוא פתרון אנליטי. לכן מעשית נשתמש באלגוריתמים ש"יחפשו" את המינימום.? + f(,) = ( + )e.+ ( ) למשל: מהי נקודת המינימום של צריך לפתור את מערכת המשוואות הלא לינארית הבאה: ( + ) ( + ) e ( + )e. f(, ) = = ( + ) ( + ) e ( + )e. 43

44 כיצד האלגוריתמים יחפשו את נקודת המינימום? נבנה אלגוריתמים איטרטיבים כך שבכל צעד יתקרבו לנקודת המינימום ויקטינו את ערך הפונקציה. האלגוריתמים יפעלו באופן הבא, הציעו נקודת מינימום כלשהי בחרו כיוון d התקדמות (כולל סימן) חשבו את גודל α הצעד האופטימלי כך שמושגת ירידה מרבית. = +α + d האם מושג תנאי עצירה? לא כן mn = סיום: + 44

45 = +α + d + ל- באופן גרפי בכל איטרציה האלגוריתם מתקדם מ- באופן הבא, d mn + α כלומר בעית מינימזציה כללית שבה יש מספר נעלמים, מפורקת לבעיות מינימיזציה חד-מימדיות. בכל איטרציה מבוצע חיפוש חד-מימדי אחר גודל צעד α אופטימלי. במינוח מתמטי, α opt = arg mn{f ( +αd) α } α f ( α ) f(+αd) ls f ( α) f d ls (+α d) 5 נגדיר את הפונקציה החד-מימדית הבאה, בפונקציה זו הווקטורים,d קבועים והמשתנה הוא הסקלר. α פונקציה זו היא הפונקציה הרב מימדית f רק על הקרן היוצאת מ- בכיוון. d מפיתוח הנגזרת וההסיאן לפונקציה הזו נקבל בהתאם, f ( α) d f d ls (+α d) f () = f d d ()? f d () f ls מהו הקשר בין (α ( ניזכר כי הנגזרת הכיוונית היא, לבין הנגזרת הכיוונית. + αd בנוסף נשים לב להבדל חשוב בין שתי. α f ls ( α) f ls כלומר α) ( היא למעשה הנגזרת הכיוונית בנקודה הפונקציות הנ"ל: המשתנה של הנגזרת הכיוונית הוא הוקטור והמשתנה של הוא הסקלר משמעות הסימון ls היא.lnesearch 5 45

46 פונקציה unmodal פונקציה היא 6 unmodal אם יש לה נקודת מינימום יחידה. f() דוגמא, f() < < > > f () f () () עבור פונקציה כזו מתקיים, אנו נבצע שתי הנחות על הפונקציות שעליהן אנו מבצעים את המינימיזציה החד-מימדית, ). הפונקציות הן.unmodal ). המינימזציה מבוצעת על מקטע סופי והמינימום הבודד נמצא בתוך המקטע הנ"ל. הערות לגבי ההנחות הנחת ה- unmodal איננה כה מגבילה כפי שאולי ניתן להסיק ממבט ראשון. במקרה שבו הפונקציה היא קמורה, אז הפונקציה היא בהכרח.unmodal במקרה שבו קיימות מספר נקודות מינימום, נבחר את הכיוון d כך שתובטח לנו תחילה ירידה ולאחריה (איפשהו) תבוא עליה. במקרה הגרוע נתקע במינימום לוקלי ולא גלובלי. ללא הנחה זו אלגוריתמי חיפוש על ישר קורסים. נראה בהמשך שיטה אדפטיבית למציאת מקטע סופי שהמינימום הבודד נמצא בתוכו. גישת האלגורתמים המדוייקים היא לצמצם את גודל המקטע שבו אנו בטוחים שנקודת המינימום נמצאת בו. לכן חייבים להתחיל ממקטע סופי שהמינימום הבודד נמצא בתוכו.. 6 פונקציה בעלת יותר ממינימום לוקלי יחיד מוגדרת כפונקציה.multmodal 46

47 אלגוריתם ה- Bsecton אלגוריתם ה- Bsecton מנצל את התכונה () של פונקציה.unmodal תנאי העצירה של האלגוריתם הזה הוא גודל המקטע שבו אנו יודעים בוודאות כי נקודת המינימום נמצאת בו. ברגע שגודל זה יורד מתחת לסף שנקבע ע"י המשתמש, האלגוריתם נעצר (אלא אם במקרה הוא פגע בדיוק בנקודת המינימום). [a קבעו מקטע התחלתי [ b, שנקודת המינימום נמצאת בתוכו. m ls. f (m ) b = a + a חשבו את נקודת האמצע: חשבו את ערך הנגזרת בנקודת האמצע α =m f (m ) = ls f (m ) ls f (m ) > f ls (m ) < ls b a + + = m = a a b + + = m = b חשבו את גודל המקטע החדש שבו נמצאת נקודת המינימום: = b a האם? < + mn לא כן α =m + f (m ) ε, ε ls נשים לב כי אלגוריתם זה דורש ידיעת הנגזרת של הפונקציה. f צריך להמירו לתנאי ls (m באופן מעשי, כדי ליישם את התנאי = ) בגלל אי דיוקים נומריים. הערות

48 מציאת מקטע התחלתי שמכיל נקודת מינימום מאחר וכל אלגוריתם מדוייק לחיפוש על ישר מתבסס על צימצום המקטע סופי שבו אנו בטוחים כי נקודת המינימום נמצאת בו יש צורך למצוא שיטה למצוא מקטע התחלתי שכזה. בחירה לא אדפטיבית של אורך המקטע יכולה להביא את האלגוריתמים לשיתוק. אם המקטע קצר מדי אז נפספס את נקודת המינימום ונאלץ לעשות צעדים נוספים. אם נבחר מקטע ארוך מדי נקודת המינימום תהיה קרובה מאד לראשית ונבזבז זמן ומשאבים יקרים בחיפוש במקומות רחוקים מנקודת המינימום. ישנם אלגוריתמים הדורשים ידע מסדר (ערך הפונקציה + נגזרות מסדר ) וישנם אלגוריתמים הדורשים רק ידע מסדר (ערך הפונקציה). נציג שתי השיטות למציאת מקטע התחלתי שמכיל נקודת מינימום בהתאם למידע הנתון. באמצעות נגזרת. f (a) <,f (b) > ls ls המטרה היא למצוא שתי נקודות a < b שמקימות a =,b = s> אתחלו ( s= (למשל f ls (b חשבו ( האם f ls (b ) >? כן a b + + = b = b חשבו לא f (b ) ls + [a,b ] המקטע הוא הערה. f (a ) < ls מניחים בהתחלה כי הכיוון ההתחלתי הוא כיוון ירידה ולכן 48

49 ללא שימוש בנגזרת a < b< המטרה היא למצוא קומבינצית V התחלתית. כלומר, שלוש נקודות c. f (a) > f (b) < f (c) a =,b = s> אתחלו ( s= (למשל חשבו ) (b f (a ),f שמקימות ls ls ls ls ls האם f ls (a ) f ls (b )? לא המקטע הוא ],b [a כן a b c f (c ) ls = a = b = b חשבו a+ = b b+ = c f ls(b + ) = f ls(c ) c = c + f ls (c + חשבו ( לא האם f ls (b ) < f ls (c )? כן המקטע הוא ],c [a הערות ידוע לנו כי ב- = α הפונקציה יורדת והחל מנקודה מסויימת היא מתחילה לעלות. לכן בהנחה כי הפונקציה אינה קבועה במקטע ] b,], אז אם ) b) f () f אז בהכרח היתה עליה ls ls בערך הפונקציה במקטע ] b,] ולכן נקודת המינימום שייכת למקטע זה. נשים לב כי כאשר נתונות לנו הנגזרות מסדר אז אנו זקוקים רק לשתי נקודות כדי לדעת אם המקטע מכיל נקודת מינימום. לעומת זאת אם נתון לנו רק ערך הפונקציה אנו זקוקים לשלוש נקודות. 49

50 f ls לפונקציה ישנה משפחה של אלגוריתמים לחיפוש מינימום על ישר המקרבים את הפונקציה פשוטה יותר, שלה ניתן לחשב את נקודת המינימום בקלות. גישה אחת היא למדל את הפונקציה f ls לפונקציה ריבועית. אלגוריתם ניוטון f( α) ˆf( α) f בפונקציה ls הרעיון הבסיסי של אלגוריתם ניוטון הוא בכל איטרציה לקרב את הפונקציה המקורית (α ( ריבועית כדלהלן, ˆf ls ( α ) = f ls ( α ) + f ls ( α )( α α ) + f ls ( α )( α α ) f ls זהו קירוב טיילור מסדר שני של הפונקציה (α ( הבאה היא, בנקודה. α נקודת המינימום המשוערת באיטרציה ˆf ( α ) = ls + f ls ( α ) + f ls ( α )( α+ α ) = f ( α ) ls α + =α ls α f 5

51 תרשים זרימה של אלגוריתם ניוטון בחרו גודל צעד התחלתי אקראי α חשבו את f ( α ),f ( α ) ls ls f ( α ) ls α + =α ls α f לא האם מושג תנאי עצירה? כן α =α+ הערות - - נשים לב כי ערך הפונקציה בנקודה אינו מעורב בקביעת הנקודה הבאה באלגוריתם. צריך לחשב את ערך הנגזרת השניה. 5

52 α גישת אינטרפולציה באופן דומה לאלגוריתם ניוטון נציע אלגוריתם שמתבסס על ידיעת ערך הפונקציה בנקודה ועל ידיעת f. הפונקציה הריבועית אשר ls ( α ),f ls ( α ערכי הנגזרות הראשונות בשתי הנקודות האחרונות ( מקיימת נתונים אלו תהיה, f ls ( α ) f ls ( α ) ˆf ls ( α ) = f ls ( α ) + f ls ( α )( α α ) + ( α α) α α f α ls הוא הקירוב הנומרי של הנגזרת מסדר שני ועבור פונקציה f ls ( α ) f ls ( α ) למעשה הביטוי α α 7 ריבועית הקירוב הוא שוויון. f ls ( α ) α α f ls ( α) α + =α =α f ls ( α) f ls ( α ) f ls ( α) f ls ( α ) α α נוסחת הקידום תהיה, הוכחה בנספח

53 אינטרפולציה ריבועית באותו אופן ניתן לוותר גם על הנגזרת הראשונה ולהשתמש בערכי הפונקציה בלבד. 8 b< a < ונקבל, נמדוד את ערך הפונקציה בשלוש נקודות c f ls (a)(c b ) + f ls (b)(a c ) + f ls (c)(b a ) α= f (a)(c b) + f (b)(a c) + f (c)(b a) ls ls ls f ls ( α) בעיה, a b c α f היא,unmodal קירוב הפונקציה לפונקציה ריבועית מניב ls בדוגמא זו למרות שהפונקציה (α ( פונקציה ריבועית שאין לה מינימום!.( f (a) > f (b) < f (c) ls ls ls a < b< c הפתרון: נבחר את שלושת הנקודות עבור בחירה כזו מובטח כי יתקבל כך שתתקבל קומבינצית V (יתקיים. α [ a,c] האלגוריתם יפעל לצמצם את המקטע שבו מובטח כי נקודת המינימום נמצאת בו. הוכחה בנספח

54 אינטרפולציה קובית בשלושת האלגוריתמים הקודמים קירבנו את הפונקציה החד-מימדית הנתונה ע"י פולינום מסדר. הרעיון של אינטרפולציה קובית הוא לקרב את הפולינום באמצעות פולינום מסדר 3. אלגוריתם האינטרפולציה הקובית משתמש בידיעת ערך הפונקציה בנקודות a,b (כאשר ( a < b ועל ידיעת ערכי הנגזרות הראשונות בשתי הנקודות הנ"ל. f ומתקבל, ls (a), f ls (b), f ls (a),f ls סה"כ נתון: (b) f ls (b) + w z α= b (b a) f (b) f (a) + w ls ls ( f(b) ) 3f(a) ls ls z= + f ls (a) + f ls (b) b a כאשר, = w z f ls (a)f ls (b) טיפ מעשי יתכן מצב שבו α קרוב מצד אחד ל- α ומצד שני קרוב לקצה המקטע כפי שמתואר בציור. לכן גודל מקטע האי-וודאות הבא יהיה יקטן רק במעט למרות ששערוך נקודת המינימום α קרוב מאד לנקודת המינימום. יתכן כי בצעד הבא α יתקרב עוד יותר ל- α אך עדין מאותו צד ולכן גודל מקטע האי-וודאות יקטן רק במעט שוב. כך יכול להיווצר מצב שבו ששערוך נקודת המינימום קרוב מאד לנקודת המינימום אך גודל מקטע האי-וודאות כמעט ולא מצטמק. הבעיה: f ls ( α) f ls ( α ) > a α α b α מקטע אי-וודאות מקטע אי-וודאות α הפתרון: כאשר α קרוב לקצוות, להזיז את הרחק מהקצה הקרוב אליו (למשל ב- % מרוחב המקטע). 54

55 תרשים זרימה של אינטרפולציה קובית קבעו אינטרוול התחלתי שבו תמצא נקודת מינימום ],b [a α חשבו את חשבו את ) α f ( ls α =α f ( α ) = ls f ( α ) ls f ( α ) > ls f ( α ) < ls a b + + = a =α a b + + = α = b חשבו את גודל המקטע החדש שבו נמצאת נקודת המינימום: = b a האם < + mn? α =α הערה ההבדל היחידי בין האלגוריתם הנ"ל לאלגוריתם ה- Bsecton הוא שבמקום לחשב את הנגזרת בנקודת האמצע,, נחשבה בנקודה שבה הקירוב מסדר 3 מתאפס,. α m 55

56 א. ב. אלגוריתם Golden Secton המטרה באלגוריתם זה היא לצמצם את האינטרוול שבו אנו בטוחים שנמצא את נקודת המינימום ללא חישוב הנגזרת. האלטרנטיבה היא מציאת קומבינצית V. f( ) > f( ) < f( 3) קומבינצית V היא קומבינציה של 3 נקודות < < 3 באופן גרפי, המקימות, f( 3) f( ) f( ) 3 ]. כמו באלגוריתם ה- עבור פונקציה unmodal מובטח כי נקודת המינימום נמצאת במקטע [3, Bsecton מטרתנו היא לצמצם את מקטע האי וודאות שבו נמצאת נקודת המינימום. [a, a ]. a < b < b < a הוא האינטרוול בכל איטרציה נמדוד את ערך הפונקציה ב- 4 נקודות b,b שבו נמצאת נקודת המינימום. הן מחושבות באופן הבא, הן נקודות בתוך האינטרוול הנ"ל שאנו מודדים את ערך הפונקציה. b = a τ a a b = a +τ a a b = a +τ a a b = a τ a a (. (. ) ). ( < τ<, τ ), τ>, τ< τ עבור עבור כאשר הוא יחס החלוקה של המקטע 56

57 ישנם סה"כ 5 מקרים שונים ושתי קומבינציות V אפשריות, ) (b. f (a ) > f (b ) < f במקרה זה נקודת המינימום נמצאת במקטע b +,b+ ls ls ls. a = + f ls (b ) < f ls (b ) f ls (a ) > f ls (b ) a ). מתקיים א). מתקיים קומבינצית ה- V היא a = + b.[a, b ] העדכון יהיה ו- וחשבו את ) (b f (b ),f בנקודות החדשות. חשבו את שתי הנקודות החדשות לפי נוסחאות () ls + ls +, α > b נשים לב כי נקודת המינימום α יכולה לקיים f ls ( α) a b α b a α, α <b או לקיים f ls ( α) a α b b a α 57

58 f ls (a ) < f ls (b ב). מתקיים ) אין קומבינצית V בכלל, f ls ( α) a α b b a α b +,b+.[a,b ]. a חשבו את שתי הנקודות החדשות במקרה זה נקודת המינימום בהכרח במקטע = + a a = + b העדכון יהיה ו- וחשבו את ) (b f (b ),f בנקודות החדשות. לפי נוסחאות () ls + ls + ) (a. f (b ) > f (b ) < f במקרה זה נקודת המינימום בהכרח במקטע b +,b+ ls ls ls. a = + f ls (b ) > f ls (b ) f ls (b ) < f ls (a ) b ). מתקיים א). מתקיים קומבינצית ה- V היא a = + a.[b, a ] העדכון יהיה ו- וחשבו את ) (b f (b ),f בנקודות החדשות. חשבו את שתי הנקודות החדשות לפי נוסחאות () ls + ls + f ls ( α), α < b נשים לב כי נקודת המינימום α יכולה לקיים a b α b a α 58

59 f ls ( α), α > b או לקיים a b b α a α f ls (b ) f ls (a ב). מתקיים ) f ls ( α) אין קומבינצית V בכלל, a b α b a α + a = ו- ולכן במקרה זה העדכון יהיהa b]. במקרה זה נקודת המינימום בהכרח במקטע [,a = a. חשבו את שתי הנקודות החדשות b לפי נוסחאות () וחשבו +,b+ + b את ) (b f (b ),f בנקודות החדשות. ls + ls +. f (b ) = f (b ) ls ls 3). מתקיים. a = ו- a = + b + ולכן העדכון יהיהb b]., b במקרה זה נקודת המינימום בהכרח במקטע [ f בנקודות ls (b + ),f ls (b + b לפי נוסחאות () וחשבו את ( חשבו את שתי הנקודות החדשות,b+ + החדשות. f ls ( α) a b α b a α 59

60 כעת נותרה השאלה איזה יחס חלוקה τ הכי כדאי לבחור? התשובה היא יחס הזהב. היוונים הגדירו את יחס הזהב כ-.68. זהו היחס שעבורו מתקבל: AC CB = AB AC A C B CB = AB AC =.68 =.38 CB.38 = =.68 AC τ= AC =.68, AB = + 5 τ= המחשה: נניח 9 באופן מדויק : למה יחס זה באמת אופטימלי עבור אלגוריתם?Golden Secton נמחיש אם דוגמא: a b b a α.38.68,(. f ls (a ) > f ls (b ) < f ls (b ) +. a = לפי נוסחאות ) א. a = b+ = a+ τ a+ a + =.68.68(.68 ) =.36 b = a +τ a a = +.68(.68 ) =.38 = b נניח כי מתקיימת קומבינציית ה- V הבאה, a b.68 = = + לכן העדכון יהיה ו- b את ערך הפונקציה ב- כבר חישבנו! כלומר יש לנו פחות חישוב אחד. ( τ = ( τ) ) τ = זה פותר את המשוואה (τ ( שקשורה לסדרת מספרי פיבונצ'י. τ 9 6

61 .), א. f ls (b ) > f ls (b ) < f ls (a ) +. a = לפי נוסחאות ) a = נניח כי מתקיימת קומבינציית ה- V הבאה: a b.38 = = + לכן העדכון יהיה ו- b = a τ a a =.68(.68 ) =.36 =.68 = b b = a +τ a a = (.38) = b את ערך הפונקציה ב- כבר חישבנו! כלומר גם כאן יש לנו פחות חישוב אחד. כלומר במקום בכל איטרציה לחשב את ערך הפונקציה בשתי נקודות חדשות, צריך רק לחשב בנקודה חדשה בודדת! (בתנאי שיש קומבינציית V). 6

62 סיכום אלגוריתם ה- Golden Secton איתחול קביעת יחס, τ + 5 τ= 3 5 τ= [a, a קביעת מקטע התחלתי: [S,] = [ חישוב נקודות האמצע, ( a ) b = a τ a a b = a + τ a ( ) b = a + τ a a b = a τ a a חשבו את ערך הפונקציה בארבעת הנקודות הנ"ל:(. f (a ),f (b ),f (b ),f (a ls ls ls ls איטרציה a = a f (a ) = f (a ) + ls + ls a = b f (a ) = f (b ) + ls + ls f אז, ls (b ) < f ls (b ) אם ) (b f (a ) > f ls ls אם אז, b = b f (b ) = f (b ) + ls + ls ( ) τ b = a τ a a + = a + a a f ls (b + ) אם אז, חשבו (רק) את a+ = a f ls(a + ) = f ls(a ) a = b f (a ) = f (b ) + ls + ls f ls (a ) f ls (b ) ( ) ( a ) ( ) b = a τ a a b = a +τ a a b = a a +τ b = a τ a a ls ls f (b ),f (b ) + + חשבו את 6

63 a = b f (a ) = f (b ) + ls + ls a = a f (a ) = f (a ) + ls + ls f אז, ls (b ) > f ls (b ) f ls (b ) < f ls (a אם ) אם אז, b = b f (b ) = f (b ) + ls + ls τ b = a + τ a a + = a a a f ls (b + ) אם אז, חשבו (רק) את a+ = b f ls(a + ) = f ls(b ) a = a f (a ) = f (a ) + ls + ls f ls (b ) f ls (a ) ( ) ( a ) ( ) b = a τ a a b = a +τ a a b = a a +τ b = a τ a a f ls (b + ),f ls(b + חשבו את ( a = b f (a ) = f (b ) + ls + ls a = b f (a ) = f (b ) + ls + ls f ls (b ) = f ls (b אם ) אז, ( ) ( a ) ( ) b = a τ a a b = a +τ a a b = a a +τ b = a τ a a f ls (b + ),f ls(b + חשבו את ( a a תנאי עצירה f = mn{f (a ),f (a ),f (b ),f (b )} mn ls + ls + ls + ls + אז, < + mn אם. f mn היא הנקודה שבה מושג ו- α 63

64 אלגוריתמים לא מדויקים לחיפוש על הישר עד כה סקרנו רק אלגוריתמים לחיפוש על ישר שמבצעים את החיפוש באופן מדויק. משמעות המונח מדויק הוא שהאלגוריתם יחפש את גודל הצעד α כך שערך הפונקציה על הישר יהיה מינימלי. גודל צעד כזה מוגדר כאופטימלי, מאחר ושיטות אלו דורשות מספר חישובים יחסית גבוה כדי למצוא α opt = arg mn{f ( +αd) α } α α opt ניתן לגשת לפתרון בעית המינימיזציה החד-מימדית מכיוון של שיטות לא-מדויקות אך מהירות יותר. משמעות המונח לא-מדויק הוא שאלגוריתם לא ינסה לחפש את גודל הצעד האופטימלי, אלא יסתפק במציאת גודל צעד שיקטין את ערך הפונקציה. גודל צעד דועך זהו הרעיון הכי פשוט ונאיבי, התחל בגודל צעד. α m מכסימלי = s האם ערך הפונקציה ירד? f ( α ) < f () ls m ls לא m α m =β s כאשר β< < למשל =. β כן α =α m. f( + α md ) < f( נזכור כי התנאי הוא למעשה התנאי ( הבעיה עם גודל צעד דועך היא שלמרות שהוא עובד במקרים רבים הוא איננו מבטיח התכנסות. הערות - - דוגמא למקרה כזה מצויה בספר, Nonlnear Programmng\ Dmtr P. Bertseas nd edton עמוד.3 64

65 כלל Armjo כלל Armjo לבחירת גודל צעד הוא למעשה אלגוריתם גודל צעד דועך משופר, כך שההתכנסות מובטחת. נגדיר סקלר β המקיים β< <. למשל =..β התחילו בגודל צעד α = s α m α m = β האם f ( α ) f () ls ls <σαf ls()? לא כן α =βα m m האם f ( α ) f () האם f ( α ) f () ls m ls <σαmf ls()? ls m ls <σαmf ls()? לא כן כן לא α =αm α =α m הסבר במילים התנאי () f f ( α ) f () <σα בודק אם היתה "ירידה מספיק גדולה" בערך הפונקציה. הביטוי ls m ls m ls σαmf הוא מדד אדפטיבי המתאר מהי "ירידה מספיק גדולה" בערך הפונקציה. אם הצעד ls(), α של האלגוריתם לא מקיים את התנאי אז נקטין את הצעד בפקטור β וכך הלאה עד שנמצא ההתחלתי, את צעד המקיים את התנאי. ברור כי אם לא קיבלנו כבר את המינימום עבור = α (כלומר = () f ( אז קיים α מספיק קטן שיקיים את התנאי בגלל ההנחה כי הפונקציה יורדת בראשית. ls אם הצעד ההתחלתי כבר מקיים את התנאי אז עדיף לא להסתפק בצעד ההתחלתי אלא למצוא צעד יותר גדול. לכן האלגוריתם מגדיל את גודל הצעד כל פעם בפקטור עד שהוא מוצא צעד שלא מקיים את β התנאי. הצעד שיבחר הוא הצעד הכי גדול שקיים את התנאי (כלומר הצעד הקודם. 65

66 . f( f ls ( m ) f ls () mf +αmd ) f( ) <σαmf d ( ) שקול ל- α <σα ls התנאי () ההבדל בין כלל Armjo לבין גודל צעד דועך הוא שכעת הדרישה היא שערך הפונקציה לא רק יקטן, אלא גם יקטן מעבר לסף מסוים. הפרמטר σ< <. ממומלץ להשתמש ב- =.3 σ. עבור = σ מתקבל אלגוריתם גודל צעד דועך. הביטוי () αf הוא המשיק לפונקציה () f f ( α) בנקודה = α. ls ls ls הערות f ls ( α) הסבר גרפי f ls () s α f ( α) f () ls ls נסיונות גודל צעד לא מוצלחים תחומים שבהם גודל הצעד מקיים את כלל Armjo β s βs s α σαf () ls αf () ls 66

67 סיכום אלגוריתמים לחיפוש על הישר מבין כל האלגוריתמים שהובאו עד כה מומלץ (בד"כ) להשתמש באלגוריתמים הבאים,. אלגוריתמים מדויקים: שילוב של אינטרפולציה קובית ואלגוריתם ה-.Bsecton התחילו את (התכנסות + האלגוריתם בשימוש באינטרפולציה קובית. אם בצעד מסויים מתקבל >.7 ( וחזרו + איטית), בצעו צעד אחד של אלגוריתם ה- Bsecton (המבטיח =.5 לאינטרפולציה הקובית.. אלגוריתמים לא מדויקים: כלל.Armjo 67

68 68

69 4. אלגוריתמי מינימיזציה רב-מימדיים מבוססי גרדיאנט הגישה לפתרון בעיות מינימזציה רב-מימדיות היא לחלק אותן להרבה בעיות חד-מימדיות ובכל בעיה חד- מימדית למצוא כיוון התקדמות וגודל צעד שיקטינו את ערך הפונקציה בצורה המרבית, = +α + d. d mn + α d כיצד נבחר את כיוון ההתקדמות בכל צעד? נזכר מחדוו"א כי הגרדיאנט הוא הכיוון שבו הנגזרת הכיוונית הכי גדולה. המשמעות הגיאומטרית היא שהגרדיאנט הוא הכיוון שבו הפונקציה עולה הכי מהר. מאחר ומטרתנו היא להקטין את ערך הפונקציה בצורה הכי מהירה רצוי לבחור בכיוון הפוך. אלגוריתם Steepest Decent מממש רעיון זה בדיוק. כך גם אלגוריתמים יותר מתקדמים יתבססו על עקרון זה. תזכורת במעבר לבעיות החד-מימדיות, f ls( α ) f( +αd ) f ls ( α ) f(+αd ) d f ( α ) d f d ls ( +α d ) 69

70 אלגוריתם Steepest Descent d = f = α f + הצעה ראשונית לאלגוריתם,SD כאשר גודל הצעד α קבוע כלשהו. Q f() = Q b+ נבחן את ההצעה הזו על הפונקציה הריבועית: c מוגדרת). (כאשר מטריצה חיובית למה פונקציה ריבועית? הפונקציה הריבועית היא פונקציה קמורה בעלת נקודת מינימום לוקלית יחידה שהיא גלובלית. אנו יכולים לחשב אנליטית את נקודת המינימום שלה, הגרדיאנט של הפונקציה הריבועית הוא, ולכן נקודת המינימום שלה היא, f() = Q b = Q b הפונקציה הריבועית מהווה קירוב טיילור מסדר שני לכל פונקציה חלקה דיה ופונקציות בסביבות נקודות המינימום שלהן מתנהגות כמו קירוב טיילור מסדר שני של עצמן. לכן נשתמש בפונקציה הריבועית כפונקצית יחוס שעליה ננתח את הביצועים של אלגוריתמים מבוססי גרדיאנט. משוואת העדכון של אלגוריתם SD המוצע היא, = α f = α Q b = +α b Q + בגלל שהמטריצה Q היא חיובית מוגדרת אז היא גם הפיכה. 7

71 תרגיל 4. האם עבור הפונקציה הריבועית הנ"ל אלגוריתם SD המוצע יתכנס תמיד לפתרון הנכון? [ ] [ ] + [ ] = +α b Q = I α Q +α b= = I α Q +α I αq b + j= j, b = Q נשתמש בעובדה כי אנו יודעים את הפתרון המדויק + + = [ α ] +α [ α j ] j= I Q I Q Q [ I αq ] + + תנאי הכרחי כדי ש- ההתחלה תדעך לאפס וכי טור המטריצות יתכנס לנקודת המינימום נדרוש כי המטריצה הכופלת את תנאי יתכנס. לכן נדרוש שהע"ע של המטריצה [ I αq] j= j I αq יהיו בתוך מעגל היחידה. { I Q} { Q} λ α = αλ הע"ע של מטריצה I αq הם, { } < αλ Q < ולכן הדרישה היא, Q> { } αλ Q < α > αλ { Q} < α < λma <α< λ ma { Q} { Q} כלומר קיבלנו כי אפילו עבור פונקציה ריבועית, לא מובטח כי באמצעות גודל צעד קבוע α נצליח להתכנס לפתרון הנכון. כלשהו 7

72 תרגיל 4. א). מצאו את גודל הצעד הקבוע האופטימלי כך שאלגוריתם SD הנ"ל יתכנס עם יחס התכנסות הכי קטן (ולכן ההתכנסות הכי מהירה). +. β ככל ש- β יותר קטן, כך האלגוריתם התקרב יותר לנקודת יחס התכנסות מוגדר: b= Q [ ] [ ] = I α Q +α b= I α Q +αq + [ ] [ ] [ ] ( + ) [ I Q]( ) = I α Q +αb = I α Q +αq = I αq + = α המינימום. I α + Q נפעיל נורמה על שני האגפים ונקבל, (האי-שוויון נובע מההגדרה של (nduced norm הנורמה על המטריצה I αq היא הרדיוס הספקטרלי ולכן, + β= I α Q = ma λ I α Q = ma αλ Q { } { }. λ { Q} λ מעתה נסמן בשביל נוחות מאחר ומטרתנו היא למצוא α שיתן יחס התכנסות מינימלי יש לנו בעית אופטימיזציה מהצורה הבאה, α = arg mn ma αλ opt α באופן גרפי הבעיה נראית כך, רק עבור מטריצות סימטריות. אנו נעסוק בקורס רק במטריצות סימטריות. מאחר ו- Q סימטרית אז גם A =ρ(a) I αq סימטרית. 7

73 αλ ma αλ λ ma λ λ mn α α נזכור כי אנו מחפשים. ma αλ הפונקציה המסומנת בקו הכחול העבה בגרף היא למינימום את הפונקציה הזו. מהגרף ניתן לראות כי α כזה יקיים, שיביא α λ =α λ opt mn opt ma α opt = λ mn +λ ma <α opt = < λ +λ λ mn ma ma α opt ב). בדיקה: האם שחישבנו מקיים את תנאי ההתכנסות שחושב בתרגיל? { } מאחר ו- Q היא מטריצה חיובית מוגדרת אז כל הע"ע שלה חיוביים ולכן, β ma α λ Q = ma α λ, α λ = opt opt opt ma opt mn ג). חשבו את החסם העליון של יחס ההתכנסות האופטימלי, λ +λ λ λ λ = λ = = λ +λ λ +λ λ +λ mn ma mn ma mn mn mn ma mn ma ma mn 73

74 λ θ λ ma mn θ βopt θ+ הגדרה condton number θ (נשים לב כי מההגדרה נובע כי θ ). β opt ונקבל, נציב בביטוי ל- θ θ+ θ βopt נזכור כי ככל שיחס ההתכנסות יותר קטן כך האלגוריתם יתכנס יותר מהר. β opt קרוב יותר לאפס. ניתן לראות מהחסם על יחס ההתכנסות כי ככל ש- θ קרוב ל- כך f() mn =.7 λ = ; λ =.7 θ=.7 ma כלומר במצב שבו כל הע"ע קרובים אחד לשני, נקבל התכנסות מהירה. המחשה, התכנסות אלגוריתם SD לנקודת המינימום 74

75 β opt שואף ל- θ θ βopt θ+ f() mn = 4 λ = ; λ = 4 θ= 4 ma לעומת זאת עבור θ המטריצה נקראת ll-condtoned ואז החסם על כלומר במצב שבו הע"ע רחוקים האחד מהשני, נקבל התכנסות איטית. המחשה התכנסות אלגוריתם SD לנקודת המינימום ההתכנסות האיטית מבוטאת בתופעת הזיג-זג.. d ככל שהשיפוע יותר חד כך אלגוריתמים SD קובע את כיוון ההתקדמות ( = f( הנורמה של הגרדיאנט יותר גדולה ונקודת המינימום יותר רחוקה ולהיפך. לכן עבור אלגוריתמי =s ובכך לתת לאלגוריתם חיפוש על הישר מומלץ להשתמש בגודל צעד מקסימלי התחלתי חיפוש הכיוון לקבוע את גודל הצעד המקסימלי ההתחלתי. המלצה זו תקפה גם לגבי אלגוריתמים אחרים מבוססי גרדיאנט. כדי לחשב את גודל הצעד הקבוע האופטימלי צריך לחשב את הע"ע של המטריצה. תהליך זה יותר יקר חישובית מאשר לפתור את מערכת המשוואות. b = Q לכן זהו איננו אלגוריתם מעשי. עבור הבעיה הלא ריבועית במקום לחשב את הע"ע של המטריצה, Q מחשבים הע"ע של מטריצת ההסיאן. הערות

76 תרשים זרימה של אלגוריתם SD בחרו נקודת אתחול בחרו גודל צעד קבוע α כך שהאלגוריתם יתכנס. f( חשבו את ) = האם f כן? ε לא d = f = + +α d 76

77 אלגוריתם Normalzed Steepest Descent אחת הבעיות של אלגוריתם SD היא בחירת גודל צעד קבוע α שעבורו האלגוריתם יתכנס. אלגוריתם NSD מציע גודל צעד משתנה. כלומר בכל איטרציה האלגוריתם יחפש את גודל הצעד כך שימצא b+ Q ) f() = Q מטריצה חיובית מינימום על הישר. עבור הבעיה הריבועית: c α האופטימלי. מוגדרת). כל חתך הוא בצורת פרבולה ולכן ניתן לקבל ביטוי אנליטי עבור ערכו של 3 הביטוי שהתקבל, α = d d ; d g b Q d Qd = עבור המקרה הכללי, הלא-ריבועי בהכרח, נשתמש באלגוריתמי אופטיזציה על ישר כדי למצוא את גודל הצעד האופטימלי. המחשה עבור הדוגמא ה- ll-condtoned שהוצגה באלגוריתם,SD 4 f() = λ mn = ; λ ma = 4 θ= 4 התכנסות אלגוריתם NSD לנקודת המינימום אם נשווה לתוצאות של אלגוריתם SD עם גודל צעד קבוע אופטימלי נראה כי אלגוריתם NSD מתכנס לפתרון יותר מהר. יחד עם זאת עדין נותרה בעית הזיג-זג. בעיה זו נובעת מכך שעבור הבעיה הריבועית כיווני גרדיאנט עוקבים הם ניצבים. 3 הוכחה בנספח

78 [ ] [ ] d d+ = d b Q+ = d b Q +α d = d d α Qd = הוכחה ( d d) d d = d d Qd = d d d Qd = d Qd d Qd גם עבור בעיות כלליות וחיפוש מדויק על הישר הכיוונים העוקבים הם ניצבים: f ls α = d f +α d = d+ תרשים זרימה של אלגוריתם NSD בחרו נקודת אתחול f( חשבו את ) = האם f כן? ε לא α d = f קבעו את גודל הצעד לפי חיפוש על הישר, ( d ) α = arg mn f +α α = +α + d 78

79 אלגוריתם angents) PARRAN (Parallel תופעת הזיג-זג באלגוריתם NSD נובעת מכך שכיווני החיפוש הם גרדיאנטים, ואלו אנכיים זה לזה בצעדים עוקבים בבעיה הריבועית בשל החיפוש המדויק על הישר. y אלגוריתם ה- PARRAN מציע לקחת תוצאות של איטרציות עוקבות של ה- NSD ולבצע חיפוש על ישר אשר מאחד אותן. האלגוריתם מתחיל בנקודת איתחול שרירותית. ממנה באיטרצית NSD. y כעת בא ההבדל במקום לקבוע. באופן דומה נבצע צעד NSD נוסף ונקבל את מקבלים את = y כפי שעושה זאת ה-,NSD נקבע את כנקודה המשיגה את המינימום של הפונקציה על ישר הנמתח בין באופן דומה, והנקודה, y, צעד NSD יוצר את הנקודה. y ל- אם נניח כי אנו באיטרציה ה- - ובידינו הנקודה + באופן גרפי: תתקבל על הישר הקושר את. y ל- y y 3 4 y 3 הערה אלגוריתם זה אינו יכול להיות יותר גרוע מאלגוריתם NSD מכיוון שמוצע חיפוש על הישר הכולל את נקודת ה- NSD, ואם היא הכי נמוכה, נקבל אותה ונתלכד עם ה- NSD. 79

80 תרשים זרימה של אלגוריתם PARRAN - בחרו נקודת איתחול שרירותית - חשבו את הנקודה.NSD ע"י = + האם f כן? ε לא. האלגוריתם נמצא בנקודה. y חשבו צעד NSD וקבל את חשבו את גודל הצעד: β = arg mn f +β y ( ( )) β = +β y + 8

81 אלגוריתם ניוטון אלגוריתם ניוטון זה מרחיב את רעיון אלגוריתם ניוטון החד-מימדי למקרה הרב ממדי. ההבדל הוא שכעת במקום לחפש גודל צעד אופטימלי, מחפשים כיוון אופטימלי ומניחים גודל צעד של יחידה. כלומר צעד העידכון הוא, = + + מעשית, המשמעות היא שהאלגוריתם יקבע את הכיוון והצעד באותו חישוב.. d מקרבים את הפונקציה המקורית בפונקציה ריבועית רב-מימדית שהיא טור טיילור מסדר של הפונקציה. ניזכר כי טור טיילור של פונקציה במשתנה אחד סביב נקודה a הוא, ˆf = f ( a) + f ( a)( a) + f ( a)( a) עבור פונקציה רב-ממדית הנוסחא היא, ˆf ( ) = f ( a ) + ( a ) f ( a ) + ( a ) f ( a )( a ) +. = מהצבה נקבל, ו- a = הנקודה סביבה מחושב טור הטיילור היא fˆ( ) ˆ + = f ( + d) f + d f + d f d= f + d g + d H( )d כאשר, g f f( ) H ובעית האופטימיזציה היא לבחור את הכיוון באיטרציה כך שהקירוב הריבועי של הפונקציה בנקודה יהיה מינימלי, הבאה + d = arg mn fˆ = arg mn fˆ + d + d d ˆf = g + H d= + d = H g עבור פונקציה ריבועית עם מטריצת הסיאן חיובית מוגדרת אלגוריתם ניוטון יביא לנקודת המינימום באיטרציה אחת (!). לכן גם עבור פונקציה כללית בקרבת נקודת המינימום, אלגוריתם ניוטון יביא להתכנסות מאד מהירה. = + H g כלומר בצורה הטהורה של אלגוריתם ניוטון משוואת העדכון תהיה, באלגוריתם ניוטון הסטנדרטי מקובל לבצע גם חיפוש על הישר כדי למצוא את גודל הצעד האופטימלי ומשוואת העדכון תהיה, = α + H g α 8

82 בעיות של אלגוריתם ניוטון. יתכן ומטריצת ההסיאן לא הפיכה (עבור פונקצית מטרה לא קמורה ממש) ואז המטריצה H כלל לא קיימת.. הצורה הטהורה של אלגוריתם ניוטון איננה מבטיחה ירידה בערך הפונקציה מאיטרציה לאיטרציה עבור פונקציה לא קמורה. למעשה הצורה הטהורה של אלגוריתם ניוטון "נמשכת" באותה מידה למקסימום לוקלי כמו למינימום לוקלי. האלגוריתם פשוט מחפש פתרון למערכת המשוואות. f = 3. O( n ) 3. פעולת הפיכת מטריצה היא פעולה חישובית יקרה שיפורים לאלגוריתם ניוטון. כדי להבטיח כי ערך הפונקציה ירד מאיטרציה לאיטרציה + צריך לבטיח כי הנגזרת הכיוונית בכיוון ההתקדמות תהיה שלילית, f = g d = g H g < d d התנאי הזה יתקיים רק אם 4 ) H( היא מטריצה חיובית מוגדרת. כלומר אם מטריצת ההסיאן איננה מטריצה חיובית אז כדי להבטיח כי האלגוריתם יתקדם בכיוון ירידה צריך לאלץ את המטריצה להיות מטריצה חיובית באופן הבא, עם כל עוד ) )H איננה מטריצה חיובית מוגדרת הוסף למטריצה ) )H מטריצה אלכסונית ע"ע חיוביים עד אשר המטריצה H + תהיה מטריצה חיובית מוגדרת.. משתמשים בפירוק Cholesy כדי להקטין את המקדם של מספר הפעולות הארתמטיות (הסיבוכיות נשארת.( O n 3 באלגוריתם ניוטון אנו פותרים את מערכת המשוואות הלינארית Hd g = באמצעות הפיכת מטריצת ההסיאן. נשים לב כי d הוא וקטור הנעלמים ו- H,g נתונים. אם מערכת המשוואות הייתה בעלת צורה משולשת, ly = b ly + ly = b l3y + l3y + l33y3 = b3 y וכך y מהמשוואה הראשונה, להציב ערך זה במשוואה השניה ולחלץ את אז ניתן בקלות לחלץ את הלאה. ברישום מטריצי, Ly = b כאשר L מטריצה משולשת תחתונה. 5 כדי לעבור למערכת משוואות מהצורה הנ"ל מבצעים את פירוק Cholesy על מטריצת ההסיאן =H. כלומר כעת נותר לפתור, ומתקבלת מטריצה משולשת תחתונה המקיימת LL LL d = g 4 5 המטריצה ההופכית של מטריצה חיובית מוגדרת היא מטריצה חיובית מוגדרת. ב- Matlab השתמשו בפונקציה.chol רצוי להוסיף תוספת חיובית למטריצת ההסיאן כדי להפוך אותה למטריצה חיובית ממש.(Levenberg-Marquardt) 8

83 6 נפתור את מערכת המשוואות הזו ע"י פתירת שתי מערכות משוואות בעלות צורה משולשת, א. Ly = g forward substtuton ב. Ld= y bacward substtuton Hd = L L d = g נשים לב כי פתירת שתי מערכות משוואות אכן מניבה כיוון ניוטון: כתוצר לוואי של פירוק Cholesy מקבלים אם המטריצה היא חיובית מוגדרת. אם המטריצה איננה חיובית מוגדרת, מקבלים גם כמה צריך להוסיף לה כדי שתהפוך למטריצה חיובית מוגדרת. 6 ב- Matlab השתמשו באופרטור. = A\b \ כדי לפתור מערכת משוואות. למשך פתרון מערכת המשוואות A = b ניתן ע"י 83

84 תרשים זרימה של אלגוריתם ניוטון בחרו נקודת אתחול חשבו את ) ),H( g( = האם f כן? ε לא, d חשבו את הכיוון. חשבו את פירוק,Cholesey L = chol(h( )). פתרו את מערכת המשוואות, Ly = g() 3. פתרו את מערכת המשוואות, L d = y גודל הצעד הוא, α = arg mn f +αd α = +α + d 84

85 אלגוריתם Conjugate Drectons המטרה של אלגוריתם CD היא להאיץ את קצב ההתכנסות של אלגוריתם SD ולהימנע מכמות החישובים המרובה של אלגוריתם ניוטון. האלגוריתם תוכנן כך שיפתור את הבעיה הריבועית, Q ) mn f () = Q b + c מטריצה חיובית מוגדרת) או באופן שקול את מערכת המשוואות. Q = b CD יפתרו את הבעיה הרבועית ב- n איטרציות לכל היותר. כיוונים צמודים (,y) Q Qy נגדיר מכפלה פנימית, כאשר Q מטריצה חיובית מוגדרת. הגדרה,d (שאינם כוללים את,d נגדיר את סט הווקטורים n], בהינתן מטריצה חיובית מוגדרת [n Q וקטור האפס) ככיוונים צמודים (Q-Conjugate Drectons) Q אם מתקיים,, לכל, j כך ש- j d,d = d Qd = j Q j משפט d, אם סט הווקטורים,d 7 הוא Q צמוד אז הוא גם בלתי תלוי לינארית (ולכן פורס את המרחב). יצירת כיוונים צמודים Q d =ξ d,,d צמודים Q ניתן לבנות סט וקטורים,,ξ, בהינתן סט וקטורים בת"ל ξ =,, נקבל, d,,d תת המרחב שנפרש ע"י =,ξ, תת המרחב שנפרש ע"י ξ תהליך הבניה הזה נקרא תהליך גרם שמידט, כך שלכל d =ξ + c d m m m=. d,,d d יהיה צמוד Q ל- + c ( + ) m כאשר הם מקדמים כך ש- הוכחה בנספח

86 מהם מקדמי תהליך גרם שמידט? j=,, Qd j נפעיל אופרטור ונקבל, על שני האגפים ונכפיל את שני האגפים בביטוי מימין, כאשר + j + j ( + ) m m j m= = d Qd =ξ Qd + c d Qd d Qd = m j m j d, מאחר ו-,d הם צמודים Q, נקבל כי לכל ואז נקבל, ξ Qd j c ( ) =, j=,, + j d Qd d =ξ + j j סיכום תהליך גרם שמידט, d Qd + m + =ξ+ d m m= dm Qdm ξ תרגיל 4.3 הוכיחו כי במרחב הנפרש ע"י וקטורים צמודים Q התבנית הריבועית מלוכסנת (וכיווני החיפוש הם לאורך הצירים). f() = Q לשם פשטות ההוכחה, נתבונן בפונקציה הריבועית הבאה,. [ n כאשר Q היא מטריצה ריבועית וסימטרית [n פתרון. d,,dn נתונים n וקטורים צמודים Q מטריצת הטרספורמציה הבאה מלכסנת את הפונקציה הריבועית הנ"ל, [ ] d,,d n f (y) = ( y) Q( y) = y Qy נבצע את הטרנספורמציהy, =. Q קיבלנו תבנית ריבועית חדשה בעלת המטריצה = Q נשאר להוכיח כי מטריצה ריבועית Q היא אלכסונית, כלומר האיברים היחידים השונים מאפס הם האיברים על האלכסון. 86

87 Q = d Qd = d,d, Q Q = d Qd = d,d =,j j j Q, Q, j, Q,j, איברים על האלכסון איברים מחוץ לאלכסון מ.ש.ל. המשמעות של תרגיל זה היא שטרנספורמציה למערכת צירים של כיוונים צמודים Q הופכת כל מימד של הבעיה הריבועית לבלתי תלוי בשאר. לכן אם נבצע חיפושים על הישר לאורך הכיוונים הצמודים נצטרך לבצע רק n איטרציות עד שנגיע לפתרון. באופן גרפי, d d d d 87

88 ) Q מטריצה חיובית מוגדרת) תחילה = +α d, = +, n = + סיכום ביניים כדי לפתור את הבעיה הריבועית,d. משוואת הקידום תהיה, נבנה n כיוונים צמודים,dn f() Q b c α כאשר כלומר, הוא נקודת התחלה שרירותית ואת משיגים באמצעות אופטימיזציה מדויקת על הישר. α = arg mn f = arg mn f +αd + α α נשים לב כי יתכן והכיוונים הצמודים אינם כיווני ירידה. לכן האופטימיזציה על גודל הצעד היא גם עבור גודל צעד שלילי. באופן דומה לחישוב גודל הצעד האופטימלי באלגוריתם NSD עבור בעיה ריבועית נקבל, ( ) d b Q α = d Qd בתחילת הדיון באלגורים CD טעננו כי האלגוריתם מוצא את הפתרון תוך n איטרציות. הסיבה לכך נעוצה בטענה הבאה, 8 טענה בכל איטרציה () האלגוריתם מוצא את נקודת המינימום שנמצאת בתת-מרחב שנפרש ע"י הכיוונים הצמודים. d,,d כלומר, כאשר, + = argmnf() M M = + subspace spanned by d,,d n. M לכן כאשר נגיע לאיטרציה n, יהיה המרחב כולו הערות - - ניתן לחשוב על אלגוריתם CD כאלגוריתם שבונה את הפתרון ב- n איטרציות. נזכור כי אסור להתלהב ממספר איטרציות נמוך. נזכור כי באלגוריתם ניוטון יש צורך רק באיטרציה אחת. חשוב גם כי מספר החישובים בכל איטרציה יהיה נמוך. באלגוריתם CD בכל איטרציה צריך לבצע תהליך גרם שמידט. ככל שמימד הבעיה יותר גדול, תהליך חישוב הכיוונים הצמודים הופך ליותר מסורבל. חסרון נוסף הוא שצריך לזכור את כל סט הווקטורים מהתחלתו. 8 הוכחה בנספח

89 גרדיאנטים צמודים Conjugate Gradents אלגוריתם CG הוא מקרה פרטי של אלגוריתם CD כאשר מוצע לבצע תהליך גרם שמידט לכיוונים הפוכים לווקטורי הגרדיאנט. כלומר, ξ = g,, ξ n = gn כאשר סימננו, g = f = Q b ישנן מספר סיבות לבחירת הוקטורים הנ"ל, g אז התהליך יופסק.. אם בשלב מסוים נקבל =. ב- CG הודות לתכונות הניצבות של וקטורי גרדיאנט (בבעיה ריבועית) אז נוסחת העדכון של תהליך גרם שמידט מצטמצמת ומקלה מאד על מספר החישובים. 3. מאחר והכיוונים מבוססים על גרדיאנטים התהליך יתקדם בצורה מהירה. עבור כיוונים צמודים שרירותיים יתכן מצב שבו רוב ההתקדמות תבוצע רק במספר הצעדים האחרונים. כך גם ניתן לסיים את התהליך גם לפני שביצענו n איטרציות. 4. מובטח כי הכיוונים שמבוססים על גרדיאנטים יניבו כיווני ירידה ולכן נוכל להפעיל את אלגוריתמי מציאת גודל צעד אופטימלי עבור גודל צעד חיובי בלבד. = +α + d בשיטת הגרדיאנטים הצמודים משוואת העדכון תהיה, d = g d מושג ע"י אופטימזציה על ישר מדויקת. מושג בתהליך גרם שמידט, α g Qd d g d j = + j j= dj Qdj. g = השיטה עוצרת כאשר התכונה הכי חשובה באלגוריתם CG היא שמקדמי תהליך גרם שמידט מפושטים בצורה ניכרת, וצריך לזכור רק את הגרדיאנט הקודם. תכונה זו נובעת מכך שכל גרדיאנט אורתוגונלי (אורתוגנלי עם מכפלה פנימית רגילה) לגרדיאנטים באיטרציות הקודמות g. g,,g 9 טענה d = g הכיוונים באלגוריתם CG מיוצרים ע"י התהליך הבא, d = g +β d g β = g g g כאשר, 9 הוכחה בנספח

90 β בצורה g,,g לסט הווקטורים ניתן לכתוב את ( ) g g g β = β = g g g g ( ) g g g g g g g Fletcher Re evs Pola Rbere g ניתן לראות כי בגלל האורתוגנליות של הבאה,,β שתי הנוסחאות ל- עבור הפונקציה הריבועית שתי הנוסחאות הנ"ל מניבות את אותן הכיוונים, אבל עבור בעיות לא-ריבועיות יש הבדל ביניהן. מסתבר כי דווקא הנוסחה של Fletcher-Reevs מניבה תוצאות יותר טובות מאשר.Pola-Rbere הערה עבור בעיות אופטימיזציה לא ריבועיות מקובל לבצע איתחול מחדש (restart) של האלגוריתם כל מספר מסויים של איטרציות. למשל כל n איטרציות. - חסם התכנסות של אלגוריתם CG ללא הגבלת הכלליות ניתן לבצע טרנספורמציה לבעיה הריבועית כך שצורתה תהיה כך, f() = ( ) Q( ) λ ma =λ λ λ3 λ n =λmn ( Q) λmn( Q) ( Q) ( Q) f( ) λ + f( ) λ +λ mn כמו כן נניח כי הע"ע של Q מסודרים באופן הבא, מתקבל חסם התכנסות הבא (ללא הוכחה), המשמעות היא שבכל איטרציה אנו מורידים בפועל מהמטריצה Q את הערך העצמי הגדול ביותר, וה- condton number הנותר מכתיב את יחס ההתכנסות. יחס זה לפיכך הולך ומשתפר עם התקדמות האיטרציות. באיטרציה האחרונה נקבל כי λ Q λ= Q ואז מתקבלת התוצאה המדויקת. תכונה חשובה נוספת שנובעת מהחסם הזה היא שאם ישנם מספר ע"ע זהים אז האלגוריתם מוריד אותם בבת אחת (!). mn 9

91 תרשים זרימה של אלגוריתם CG לבעיות לא ריבועיות בחרו נקודת אתחול שרירותית d = f( ) קבעו את גודל הצעד α לפי חיפוש על הישר, ( d ) α = arg mn f +α α = +α d f( חשבו את ) = האם f כן? ε לא קבעו את הכיוון, f ( f f( ) ) β = f f d = f( ) +βd α קבעו את גודל הצעד לפי חיפוש על הישר, ( d ) α = arg mn f +α α = +α + d 9

92 המוטיבציה לעסוק ב- CG באה מההבנה כי יש שתי קצוות של אלגוריתמים ה- SD (או ה- NSD ) אשר בכל איטרציה מבצע מעט חישובים אבל בעל ביצועי התכנסות ירודים, ולעומתו אלגוריתם ניוטון אשר בכל איטרציה מבצע הרבה חישובים אך בעלי ביצועי התכנסות מעולים. חיפשנו דרך אמצע, ואמנם ה- CG מהווה דרך אמצע שכזו ביצועי התכנסותו טובים יותר מה- NSD למרות שמורכבותו החישובית אינה גבוהה בהרבה מזו של ה-.NSD השיטות הניטוניות למחצה הם המשך חיפוש אחר אלגוריתמי אמצע הדרך. הפעם נקודת המוצא תהיה אלגוריתם ניוטון ומטרת האלגוריתמים תהיה לעקוף את החישוב היקר של המטריצה ההופכית של ההסיאן ולשמור עד כמה שאפשר על תכונת ההתכנסות המהירה של אלגוריתם ניוטון. לכן שיטות אלו נקראות.Quas Newton הגישה המרכזית תהיה שבמקום לחשב את המטריצה ההופכית של ההסיאן במפורש, נבנה מטריצה המתכנסת למטריצה ההופכית של ההסיאן מאיטרציה לאיטרציה בדרך חישובית זולה. = + +α d שיטות ניוטוניות למחצה Quas Newton שיטות Quas Newton הן שיטות אופטימיזציה מבוססות גרדיאנט מהצורה הבאה, d = B f ( ). B = H = f B כאשר היא מטריצה המקרבת את המטריצה B חייבת להיות מטריצה חיובית מוגדרת כדי להבטיח כיוון ירידה, f = f d = f B f < d גישה נאיבית לקירוב ההסיאן נקרב את המשוואה. dg = Hd p + q f f + ( f( + ) f ) f( + )( + ) q f p + נסמן, ואז הקירוב יהיה, 9

93 ועבור n קירובים כאלה ניתן לרשום אותם באופן הבא, q q q H p p p n n Q P הערה לא להתבלבל אם מטריצה Q של פונקציה ריבועית. [ n n] כעת ניתן להפוך את המטריצות כי הן ונקבל, H QP B H PQ שיטה זו יקרה מבחינה חישובית כי צריך לזכור את כל ה- n וקטורים וגם צריך לבצע היפוך מטריצה. משפחת Broyden של Quas-Newton משפחת אלגוריתמים זו פותחה עבור בעיות ריבועיות (כרגיל) שמטריצות ההסיאן שלהן קבועות. עבור בעיות כאלה כל הקירובים הנ"ל הופכים לשוויונים מדויקים. כלומר מתקיים, H= QP B= PQ B + תנאי טבעי על הקירובים האיטרטיביים של המטריצה ההופכית של ההסיאן איטרציה, יהיה שיתקיים בכל H+ p= q, =,,, או B + q = p, =,,,. B= PQ = f n ואז לאחר n איטרציות נקבל כי האלגוריתמים ממשפחה זו בונים את מטריצת ההסיאן ההופכית באופן המתואר בתרשים הזרימה הבא. n { p j},{ qj} n j= j= בתנאי ששתי סדרות הוקטורים בלתי תלויות לינארית (כל סדרה בנפרד). 93

94 תרשים זרימה של אלגוריתם QN בחר נקודת אתחול שרירותית קבעו מטריצה חיובית מוגדרת כלשהי B α לפי חיפוש על הישר, ( d ) α = arg mn f +α α = +α d d = B f( ) קבעו את גודל הצעד f( חשבו את ) = האם f כן? ε לא p = ; q = f f; τ = q B q v p B q = p q τ ( B q )( q B ) p p B B v v = + +ξ τ p q τ α לפי חיפוש על הישר, ( d ) α = arg mn f +α α = + +α d d = B f קבעו את גודל הצעד 94

95 הערה הסקלרים ξ הם הפרמטרים הקובעים את השיטה. עבור DFP זוהי שיטת ξ = Broyden-Fletcher-Goldfarb-) BFGS זוהי שיטת ξ.(davdson-fletcher-powell) עבור =.(Shanno תכונות של אלגוריתמים ממשפחת Broyden B+ q= p בכל איטרציה, ולכן לאחר. האלגוריתמים אכן מקיימים את המשוואות, =,,, n איטרציות משיגים עבור הבעיה הריבועית את מטריצת ההסיאן ההפוכה. B הן מטריצות חיוביות מוגדרות. לכן גם. קיים משפט הקובע כי תחת הנחה לא קשה המטריצות מטריצות קירוב ההסיאן יניבו כיווני ירידה וגם המטריצות יהיו סימטריות כפי שצריך להיות., B n הם גם מניבים 3. עבור הבעיה הריבועית, בזמן שהאלגוריתמים הנ"ל בונים את המטריצה ההופכית כיווני צמודים Q. 4. עבור הבעיה הריבועית, באמצעות חיפוש מדויק על הישר, מסלול החיפוש יהיה זהה לכל משפחת Broyden (הכוונה במסלול חיפוש היא לנקודות דרכן האלגוריתם עובר עד אשר הוא מסתיים:,, ). באופן מפתיע, גם עבור הבעיה הכללית, באמצעות חיפוש מדויק על הישר, מסלול,, החיפוש יהיה זהה לכל משפחת.Broyden כלומר, המקרה היחיד שבו יתקבלו מסלולים שונים יהיה עבור חיפוש לא מדויק על הישר. 5. באופן היסטורי אלגוריתם ה- DFP הוא האלגוריתם הראשון שפותח. אלגוריתם BFGS נחשב לאלגוריתם ה- Newton Quas- הכי טוב כיום. המשפט מצורף בנספח

96 אלגוריתם runcated Newton d = H g באלגוריתם ניוטון הטהור משוואת העדכון היתה, כלומר בכל צעד, כדי למצוא את כיוון ההתקדמות, d היה צריך לפתור את מערכת המשוואות, = H d g 3 הבעיה היתה שפתירת מערכת המשוואות הזו באופן מדויק צורכת ) O(n פעולות ארתמטיות. באלגוריתם runcated Newton נסתפק בפתרון מקורב שיחסוך הרבה חישובים. ניזכר מאיפה באה מערכת המשוואות הזו. באלגוריתם ניוטון הטהור קירבנו את הפונקציה הכללית לפונקציה ריבועית באופן הבא, fˆ( ) ˆ + = f ( + d) f + d f + d f d= = f + d g + d H( )d אלגוריתם runcated Newton מציע לפתור את בעית האופטימזציה הבאה, d = argmn d H( )d+ g d d =. H d g בנקודת המינימום של פונקציה זו מתקיים הגישה של אלגוריתם runcated Newton היא שבמקום לחשב את נקודת המינימום של הפונקציה הריבועית הזו באופן מדויק, לבצע חיפוש איטרטיבי אחר נקודת המינימום הזו. כלומר בכל איטרציה של אלגוריתם runcated Newton מבוצע קירוב של הפונקציה הכללית בפונקציה ריבועית. כיוון d מופעל על הקירוב d הוא כזה שמשיג מינימום של הקירוב הריבועי הנ"ל. כדי למצוא את ההתקדמות הריבועי אלגוריתם אופטימזציה אחר (למשל.(CG d שיבחר יהיה כיוון ירידה H( היא מטריצה חיובית מוגדרת אז מובטח כי הכיוון אם בכל איטרציה ) (תכונה זו רצויה עם נוסיף גם חיפוש על הישר ). גם אם פונקצית המטרה איננה ריבועית, בכל איטרציה אנו פותרים בעיה ריבועית. לכן ניתן לדעת אצ גודל הצעד האופטימלי באופן אנליטי (ראו אלגוריתם.(NSD 96

97 תרשים זרימה של אלגוריתם runcated Newton בחר נקודת איתחול שרירותית H( ) חשבו את ), g( פתרו את בעית המינימיזציה הבאה (למשל באמצעות :(CG d = argmn d H( )d+ g d d = + + d האם f? ε לא כן = + 97

98 98

99 5. בעיות ריבועים פחותים Least Squares בעיות LS הן משפחת בעיות מאד פופולרית במגוון רחב של תחומים. מטרת בעיית ה- LS היא למצוא = g() וזה יתקבל כאשר נפתור את בעיית האופטימיזציה הבאה, L = mnmze f () = g() = g () g: n g: n n L. g,g,,g L g כאשר, כלומר היא פונקציה וקטורית שרכיביה הם דוגמאות: התאמת מודל למדידות, רשתות עצביות, מסנן קלמן. { } L,y = למשל קירוב פולינמיאלי, נתונות אוסף מדידות והמטרה היא למצוא פולינום מסדר n במובן מסוים. כאשר נגדיר קריטריון מרחק מהצורה הבאה נקבל תבנית של,LS העובר הכי קרוב לנקודות הנ"ל ( ) n L f(a,a,,a n) = y a a an = g mnmze f () = ϕ(g ()) L = ϕ(t) נבצע הכללה לבעיה יותר כללית, כאשר ϕ היא מהצורה, t כלומר באופן כללי ϕ היא פונקציה קמורה, סימטרית סביב האפס ונקודת המינימום שלה באפס. בבעית. ϕ (t) = t היא ϕ הפונקציה LS 99

100 הגרדיאנט וההסיאן של הפונקציה f() עבור המקרה הכללי, f() = g() ϕ (g()) f() = g() Φ (g()) g() + ϕ (g ()) g () כאשר, g() g () g m() ϕ (g ()) ϕ (g ()) ϕ (g()) ; (g()) Φ ; ϕ (g ()) ϕ (g ()) m m ϕ = ϕ = ϕ = (t) t ; (t) t; (t) f() = g()g() m f() = g() g () + g () g () = עבור בעיית LS מתקבל, ולכן, נשים לב לגדלים של המטריצות, [n L] [n n] g() היא מטריצה [L g() וקטור ] g() סקלר g() מטריצה במיוחד עבור בעיות LS מוצע אלגוריתם הנקרא.Gauss-Newton

101 אלגוריתם Gauss-Newton הרעיון של אלגוריתם Gauss-Newton הוא להזניח את איבר הסכום בחישוב מטריצת ההסיאן. L = f() = g() g () + g () g () g() g () f() = g()g() f() g() g () כלומר כעת, ישנם שני יתרונות מרכזיים בהזנחה זו,. בד"כ מספר המדידות L הוא גדול ולכן איבר הסכום שמוזנח מהווה מעמסה חישובית גדולה. נזכור כי באלגוריתם Newton רגיל צריך לחשב את ההסיאן בכל איטרציה.. איבר הסכום שהוזנח הוא מטריצה (ריבועית וסימטרית) כלשהי ולא בהכרח חיובית. לאחר ההזנחה מטריצת ההסיאן היא לפחות מטריצה חיובית חצי מוגדרת. לכן כדי להבטיח שיווצר לנו כיוון ירידה וגם כדי להבטיח כי מטריצת ההסיאן הפיכה דרושה רק עוד תוספת קטנה כדי להפוך אותה למטריצה חיובית מוגדרת. שתי שיטות אפשריות הן באמצעות פירוק Cholesy או בשיטת.Levenberg- Marquardt ואז כמו בקידום ניוטון, מתי ההזנחה הזו סבירה? = f f = + g() g () g()g() g() קטנים בד"כ בסביבת נקודת המינימום איבר הסכום שמוזנח יחסית קטן. מקרה נוסף בו הזנחה כזו יעילה היא כאשר g הקירוב שלנו יהיה מדויק. (נזכור כי בנקודת המינימום = g() ( ואז לינארית (או כמעט לינארית). במקרה הלינארי - - הערות גם במקרים שבהם הזנחה זו אינה מוצדקת האלגוריתם מייצר כיווני ירידה. הוספת חיפוש על הישר בכל איטרציה משפרת את ביצועי האלגוריתם. דרך נוספת להסתכל על אלגוריתם Gauss-Newton היא שבכל נקודה האלגוריתם מבצע g() מתאפסות. לינאריזציה לפונקציה f() ואז הנגזרות מסדר שני אלגוריתם Gauss-Newton הכי פופולרי לבעיות.LS

102 g() = Y H פתרון בעית LS לינארית נדון בבעיות LS לינאריות מהצורה ואז בעיית האופטימיזציה הופכת ל, mnmze f() = g() = g ()g() = ( y H) ( y H) כאשר, [L - y וקטור ] [L n] מטריצה - H [n - וקטור ] y = y וצריך למצוא אופטימלי. כלומר נתון H ו- y L. למעשה כדי למצוא את הפתרון לבעיה זו הוא = H H H y מערכת המשוואות הבאה, האופטימלי צריך לפתור את HH = Hy L כלומר שלא יהיה מצב שבו יש פחות משוואות מנעלמים. בנוסף למען כדי לקבל פתרון נדרוש כי n הפיכות נדרוש כי הדרגה של המטריצה H תהיה מלאה. למראית עין, אין צורך בכלל בשיטות נומריות למציאת הפתרון עבור הבעיה הזו. נשים לב כי הפתרון האנליטי = H H H y הוא שקול לאיטרציה אחת של אלגוריתם ניוטון הטהור. עבור מימד בעיה = n בפתרון האנליטי צריך = ( ) ( ) = f() y H y H g ()g() df g dg y H Hd y H H H d = = = + f() = y H + H H = H y + H H g() = H (n) נמוך ניתן להסתפק בפתרון האנליטי. אבל למשל עבור למשל![ להפוך מטריצה בגודל [ נשים לב כי באלגוריתם Gauss-Newton הקירוב כעת מדויק, g() = y H(,:) g() = f() = g() g () = H H = H H

103 בעיות LS לא לינאריות בעלות מבנה יחודי mnmze f () = y S() y S() נתיחס לבעית האופטימיזציה הבאה, כאשר S() איננה לינארית. ישנם שני מקרים שקיים מבנה נוח של במבנה קל יותר לטיפול. S() אשר מאפשר המרת הבעיה מקרה S() = S(G (z)) = Hz z= נניח כי קיים קשר חד-חד ערכי G() כך שיתקבל, במקרה כזה נוכל להמיר את הבעיה הלא לינארית לבעיה לינארית, שפתרונה קל מאד. בשל המעבר החד- חד ערכי בין ל- z מתקבל כי מציאת ה- z האופטימלי וחישוב מתוכו מבטיח את מציאת האופטימלי. כלומר תחילה נפתור את בעית ה- LS הלינארית הבאה, f() = y S() y S() = y Hz y Hz. ובגלל ש- G HHz = Hy ונמצא את z מפתרון מערכת המשוואות חד-חד ערכית נקבל כי. = G (z ) 3

104 {,y } L = תרגיל 5. נניח כי בידנו אוסף הצמדים המהווים דגימה רועשת של האות ההרמוני f ידוע ורצוננו לשערך את האמפליטודה והפאזה של האות הזה מאוסף ( π +φ). A cos f התדר הצמדים. m f (A, ) y A cos f φ = π +φ = נציע את הקריטריון הבא למינימיזציה, זוהי בבירור בעית LS לא לינארית. אבל מתקיים הקשר הבא המאפשר להמיר את הבעיה הזו לבעיה לינארית, ( π +φ ) = ( φ) ( π ) ( φ) ( π ) Acos f Acos cos f Asn sn f a = Acos φ a = Asn φ ( π +φ ) = ( π ) ( π ) Acos f a cos f a sn f לכן נציע את צמד הנעלמים הבאים כתחליף, 4

105 הטרנספורמציה היא המעבר מקוארדינטות פולריות לקרטזיות ולכן היא חח"ע. a Asn( φ) A φ Acos( φ) a ( ) L = π π = f(a,a ) y a cos f a sn f מתקבלת בעית ה- LS הבאה, וזוהי אכן בעית LS לינארית. נציג אותה בצורה מטריצית, ( π ) sn( πf ) y cos f a y = ; a = ; H a = L y L L cos( πf ) sn( πf ) f(a,a ) = y Ha y Ha A= a + a a φ= tg a. a HHa = Hy נפתור את מערכת המשוואות כדי לקבל את ונקבל את נשתמש בהתמרה מקואורדינטות קרטזיות לפולריות, A,φ 5

106 מקרה במקרים רבים מתקבל כי ניתן להפריד את S() למכפלת שני גורמים מהצורה הבאה, S() = H( α) β כאשר α ו- β הם וקטורי משתנים המייצגים את משתני הוקטור H. היא מטריצה התלויה באופן לא לינארי רק ב-. α במצב כזה ניתן לפתור תחילה את הבעיה עבור וקטור הנעלמים β באופן הבא (מניחים כי α קבוע), f( αβ, ) = y H( αβ ) y H( αβ ) ב- β זוהי בעית LS ריבועית וכדי למצוא את β נפתור את מערכת המשוואות, H ( α)h( α) β = H ( α)y β = α α α H H H y פתרון מדויק יניב לנו, נציב חזרה בפונקציה המקורית ונקבל, f( αβ, ) = y H( αβ ) y H( αβ ) = y I H( α) H ( α)h( α) H ( α) y כעת נותר לפתור את בעית המינמיזציה הבאה, α = α α α α α argma y H H H H y וזאת בעיה שאינה תלויה ב- β. 6

107 תרגיל 5. נניח כי נתונה לנו המשפחה הפרמטרית הבאה של פונקציות בסיס חד-ממדיות =, n,. Ψ,) α ) = e בהינתן פונקציה h() רצוננו לייצגה כצירוף ליניארי של פונקציות בסיס אלה. α כלומר נחפש ייצוג מהצורה, n n h() = β Ψ (, α ) = β e α =β e α +β e α + +β e nα n = = }.,y } L נציע את איתור פרמטרי הייצוג המוצלחים ביותר ע"י פתרון = נניח כי בידנו אוסף הצמדים בעיית ה- LS הבאה, f( αβ,, β,, β ) = h βe L n α n = =. S() = H( αβ ) ניתן לראות מייד כי המבנה הזה הוא לא לינארי אבל ניתן לכתיבה באופן בצורה מטריצית, α α nα β h e e e β α α nα h β= ; y = ; H= e e e L β n h L L L e α e α e nα f( αβ, ) = y H( αβ ) y H( αβ ) β = α α α H H H y פתרון מדויק של מערכת המשוואות הזו מניבה, כעת נותר לפתור את בעית המינמיזציה הבאה, α = α α α α α argma y H H H H y 7

108 8

109 .6 קירוב נורמה Appromaton) (Norm mnmze A b בעית קירוב נורמה הפשוטה ביותר היא מהצורה, כאשר, A מטריצה [ m n] [ m b וקטור ] וקטור הנעלמים [ n ]. הווקטור, פתרון בעית קירוב נורמה נקרא הפתרון המקורב של A b בנורמה r A b נקרא השארית (resdual) של הבעיה., m> n בעית קירוב הנורמה היא בעיה קמורה. נניח כי עמודות המטריצה A 3 כלומר נניח כי יש יותר משוואות מנעלמים. הן בת"ל. בנוסף נניח כי טענה 4. הערך האופטימלי של בעית קירוב הנורמה הוא אפס אם ורק אם R(A) b הסבר A a a = n m a כאשר R,=,,n באופן הבא, הם וקטורי העמודה של מטריצה. A לכן ניתן לרשום את הביטוי A A = a + + a n n ואם אכן R(A) b אז ניתן כלומר A היא למעשה קומבינציה לינארית של עמודות המטריצה A לייצג את b באמצעות קומבינציה לינארית של עמודות מטריצה. A A ברוב הבעיות המעשיות R(A) b ולכן ערך הפתרון האופטימלי גדול מאפס. ניתן לפרש את בעית הקירוב הנ"ל כמציאת הקומבינציה הלינארית של עמודות מטריצה "קרובות" לווקטור. b הקרבה מוגדרת באמצעות פונקצית הקנס של הנורמה. כך שהן הכי m= n 3 4 אם אז הפתרון אז הפתרון האופטימלי הוא = A b משמעות הסימון R(A) היא ה- range של מטריצה. A. 9

110 פרוש נוסף של בעיית קירוב הנורמה הוא בעיית שערוך. ונתונות מדידות רועשות של מודל זה, הוא וקטור פרמטרים של מודל לינארי y = A+η כאשר, y וקטור m [ הוא וקטור המדידות ] וקטור η m [ הוא וקטור רעש המדידות ] ההנחה הבסיסית בבעיית השערוך היא שהרעש η איננו ידוע, אך הוא קטן (במובן הנורמה בעיית השערוך היא למצוא ניחוש "טוב" של על סמך המדידות בעקיפין אנו קובעים כי, בהסתמך על ההנחה הבסיסית, הניחוש הכי טוב של יהיה פתרון הבעיה,. y לכן אם ננחש כי ערך ). מטרת הוא, ˆ η= y Aˆ ˆ = argmn y A להלן מספר בעיות קירוב נורמה סטנדרטיות, קירוב Least Squares l. בבעית LS סטנדרטית הנורמה השניה זוהי בעית קירוב הנורמה הכי נפוצה המשתמשת בנורמה מועלית בריבוע (זוהי בעיה שקולה) ורישומה הוא, m mnmze A b = r + r + + r כלומר המטרה היא למצוא 5 אשר יביא למינימום את ריבועי השאריות. לבעיה זו קיים פתרון אנליטי הכרוך בפתירת מערכת המשוואות הלינארית, AA = Ab = A A A b ותחת ההנחות של תחילת הפרק קיים פתרון והוא יחיד, קירוב סכום ערכים מוחלטים שימוש בנורמה l מניב את בעית הקירוב הבאה, mnmze A b = r + r + + r m 5 הכוונה במינוח שאריות הוא לאיברי וקטור השארית.

111 קירוב Chebyshev או mnma שימוש בנורמה l מניב את בעית הקירוב הבאה, { m} mnmze A b = ma r, r,, r כלומר המטרה היא למצוא אשר יביא למינימום את הערך המוחלט המקסימלי של השאריות. קירוב פונקציות קנס עד עתה טיפלנו בבעיות של קירוב נורמה המטילות קנס על רכיבי שארית גדולים. ניתן להכליל מפונקציות קנס של נורמה, לפונקציות קנס כלליות יותר, φ mnmzeφ r +φ r + +φ r s.t. r = A b m רצוי לבחור פונקציות קנס φ סימטריות (סביב האפס כמובן), אי-שליליות, = φ שבעיית האופטימיזציה תהיה קמורה. וקמורות כדי להלן מספר פונקציות קנס נפוצות, p u φ u = כאשר p. במקרה זה קירוב פונקציות הקנס שקול לקירוב הנורמה עם נורמה.l p פונקצית הקנס deadzone-lnear בעלת רוחב > a,, u a φ ( u) = u a, u > a פונקצית זו איננה מטילה קנס על שאריות הקטנות בערכן המוחלט מ-. a פונקצית log-barrer בעלת גבול > a, u a log, u a φ ( u) = a, u > a פונקציה זו מטילה קנס אינסופי על שאריות הגדולות בערכן המוחלט מ-. a מהשוואה בין פונקציות הקנס בגרף נשים לב למספר נקודות,.. u < u u a.5 u > u u בתחום u מתקיים ובתחום מתקיים פונקצית log-barrer קרובה מאד לפונקצית הקנס הריבועית עבור - -

112 גרף : פונקציות הקנס עבור עבור רוחב u בגרף השמאלי ועבור u 4 a =.5 ופונקצית log-barrer שורטטה עבור בגרף הימני.. a =.75 פונקצית deadzone-lnear שורטטה הכפלת פונקצית המטרה במספר חיובי לא משפיע על פתרון בעית האופטימיזציה, אלא רק על הסקאלה של פונקצית המטרה. מה שקובע איזה סוג פתרון פונקצית הקנס מעדיפה הוא הקנס שיתקבל עבור ערך מסוים יחסית לקנס המתקבל עבור ערך אחר. לכן הכפלה בקבוע חיובי כלשהו איננה משפיעה על היחס ולכן איננה משפיעה על סוג הפתרון. לעומת זאת לצורה של פונקצית הקנס יש השפעה על פתרון בעיית קירוב פונקצית הקנס. קובעת עד כמה איננו רוצים את השארית בעלת ערך. u לכן אם קטנים של φ( u) (u )φ מקבלת ערכים נמוכים עבור ערכים, u משמעותו היא שערכים קטנים של שארית אינם מפריעים לנו. אם φ( u) גדלה במהירות ככל ש- u גדל, אז המשמעות היא שלפונקצית הקנס ישנה נטייה חזקה נגד שאריות גדולות. אם פונקצית הקנס מקבלת ערך אינסופי בתחום מסוים, משמעותו שפונקצית הקנס איננה מאפשרת קבלת ערכים בתחום זה כלל..l, עבור u מתקבל u) φ( u) φ( ועבור u מתקבל נשווה למשל את קירוב הנורמה l ( u) φ ( u), l l נותן יותר דגש על שאריות קטנות מאשר קירוב נורמה. φ כלומר קירוב נורמה.l l שם פחות דגש מאשר קירוב נורמה ואילו עבור שאריות גדולות קירוב נורמה l נצפה לקבל ההבדל במישקול יתבטא בפילוג ערכי השארית של הפתרון. למשל מפתרון קירוב נורמה.l לעומת מספר גדול יותר של ערכי שארית נמוכים מאד (או ממש אפסים) לעומת פתרון קירוב נורמה l יניב מספר קטן של שאריות בעלות ערך גבוה לעומת פתרון קירוב זאת נצפה כי פתרון קירוב נורמה.l נורמה,φ בעלות צורות שונות. האם יתכן מצב שבו עבור u מסוים שאלה: נתונות שתי פונקציות קנס φ מתקבל, φ u φ< u אבל פתרון פונקצית קנס מעדיף את u הנ"ל לעומת פתרון פונקצית קנס?

113 י- 6 להלן דוגמא הממחישה את סוגי הפתרונות השונים המתקבלים עבור פונקציות קנס שונות. יוצרו 3 b באופן אקראי. הפתרונות של בעיות קירוב הנורמה עבור R והווקטור A המטריצה R log חושבו. בגרף מוצגות ההיסטוגרמות של barrer ו- deadzone ועבור פונקציות הקנס =p, השאריות לעומת פונקציות הקנס. גרף. a =.6 : עבור פונקצית a = deadzone ועבור פונקצית log-barrer ניתן לראות מגרף מספר תופעות, l מספר רב של שאריות בעלות ערך נמוך מאד או ממש אפסים (כלומר - בפתרון קירוב נורמה l ישנן שאריות בעלות ערך הכי גבוה. התקבל פתרון ). sparce יחסית בפתרון קירוב נורמה l מספר רב של שאריות בעלות ערך נמוך ומעט שאריות בעלות ערך - בפתרון קירוב נורמה גבוה. - בפתרון קירוב פונקצית הקנס deadzone ישנם מספר גדול של שאריות בקצוות המקטע שבו אין קנס. - בפתרון קירוב פונקצית הקנס log-barrer אין ערכים מחוץ לתחום.[.6,.6] 6 עמודים 78-8 בגרסת דצמבר של ספרו של."Conve Optmzaton" Stephen Boyd 3

114 רגישות לשגיאות η הוא יחסית בהקשר של שיערוך או רגרסיה, מדידה y = a +η נקראת outler אם הרעש גדול. מקור outler -ים הוא בד"כ ממדידה שגויה. בכל פתרון של בעיה עם מדידות outler -ים יהיו שאריות גדולות. באופן אידיאלי היינו רוצים לדעת איזה מדידות הן outler -ים ולסלקן כצעד מקדים או לתת להן משקל נמוך. אך אם ניתן משקל נמוך לשאריות גדולות אז נקבל פתרונות בעלי שארית גדולה. אם ניתן קנס קבוע החל מגודל מסוים, למשל הפונקציה הלא רגישה ל- outler -ים הבאה, אז פונקצית הקנס לא תהיה קמורה כפי שניתן לראות בגרף 3. φ ( u) = u, u M M, u M > גרף 3: פונקצית הקנס הנ"ל עבור. M = אם נגביל את עצמנו לפונקציות קנס קמורות, הפונקציות הכי פחות רגישות לשאריות גדולות הן הפונקציות הגדלות באופן לינארי. פונקציות קנס כאלו נקראות לעיתים רובסטיות (robust) מפני שהן פחות רגישות ל- outler -ים ושגיאות גדולות מאשר למשל.LS 4

115 ים.- ( u) דוגמאות לפונקציות קנס רובסטיות הן u (Huber) כמובן ופונקצית הקנס של הובר φ =, 7 u, u M φ ( u) = M( u M ), u > M פונקצית קנס הובר משורטטת בגרף 4. גרף 4: פונקצית קנס של הובר עבור () =M. נשים לב כי החל מ- פונקצית קנס זו עולה בצורה לינארית. ניתן לחשוב על פונקצית הקנס של הובר בתור הפונקציה הקמורה הכי "קרובה" לפונקציה הלא רגישה ל- outler 8 על סמך דוגמא בספרו של Stephen Boyd מוצגת בעיית רגרסיה של התאמת פונקצית פולינום מסדר f t =α+βt לנקודות מדידה רועשות. בדוגמא זו נתונות 3 מדידות שמתוכן ברור לעין כי שתיים =M ( בקו שלם. הן outler -ים. בגרף 5 מוצגים פתרון Least-Squares בקו מקווקו ופתרון הובר ( ברור כי פתרון LS מוטה לכיוון ה- outler -ים בעוד שפתרון הובר פחות מושפע משתי נקודות מדידה מטעות אלו ולכן בדוגמא זו הוא יותר רובסטי מאשר.LS 7 8 פונקצית קנס זו גם לעיתים נקראת גם.robust least squares עמוד 8 בגרסת דצמבר. 5

116 גרף 5: פתרון LS והובר של בעית רגרסיה. סיכום אין די בקביעה הכללית כי ברצוננו למצוא כך ש- A קרוב ל-. b יש להגדיר את מושג הקרבה באמצעות פונקצית קנס מסויימת. כל פונקצית קנס מייצרת פתרונות מסוגים שונים בגלל שלכל פונקצית קנס ישנם דגשים שונים. פונקצית הקנס הכי נפוצה היא הפונקציה הריבועית, כלומר בעיית.Least-Squares הסיבות לכך הן קיום פתרון אנליטי שניתן לחשבו (תחת התנאים המתאימים) בצורה פשוטה והאפשרות לפיתוח פשוט של אלגוריתם הפותר את הבעיה באופן רקורסיבי Squares).(Recursve Least אך עצם הבחירה בפונקצית קנס זו, משמעותו סוג פתרון שאיננו מתאים לכל אפליקציה כפי שניתן לראות בגרף 5. 6

117 7. בעיות אופטימיזציה עם אילוצים עד עתה עסקנו בבעיות אופטימיזציה ללא אילוצים. בעיות אלו נוסחו באופן הבא, כלומר בבעיות שאין כל מגבלות על הפתרון. mnmze f () s.t. n נדון באילוצים משני סוגים,. h() =, =,,m j. g(),j=,,r אילוצי שוויון: אילוצי אי-שוויון:.. mnmze f() s.t. j h() =, =,,m g(), j=,,r f: j n h: g: n n h() ואז בעית האופטימזציה מנוסחת באופן הבא, כאשר, דוגמא גרפית g() f() 7

118 ניתן לעבור לרישום מטריצי באמצעות הסימונים הבאים, h() g() h() = ; g() = h () g () m r mnmze f() s.t. h() = g() f: h: g: n n n m r [ ] h() h (),, h () m ואז בעית האופטימזציה מוגדרת, כאשר, בנוסף נוח להגדיר את מטריצת גרדיאנט האילוצים באופן הבא, כלומר כל עמודה היא וקטור הגרדיאנט של אילוץ אחר. לעת עתה נתמקד רק בבעיות עם אילוצי שוויון ובהמשך הבא נרחיב את הדיון לבעיות אופטימיזציה הכוללות אילוצי אי-שוויון. 8

119 7. בעיות אופטימיזציה עם אילוצי שוויון בלבד mnmze f() s.t. h() = נדון בבעיות מהסוג, כופלי לגרנז', λ,, λ m m =, קיימים סקלרים f() + λ h() = הרעיון המרכזי בתורת כופלי לגרנז' הוא שעבור מינימום לוקלי הנקראים כופלי לגרנז', כך שיתקיים, נדגים את הרעיון עבור אילוץ אחד באופן גרפי, h d f f() h()= ניזכר כי הגרדיאנט ניצב לכל קו שווה גובה ולכן גרדיאנט האילוץ ולכן גם ב-. נדמיין כי אנו מתקדמים בכיוון d לאורך האילוץ. מתאפסת ולכן מתקיים, h() ניצב ל- לכל = h() בנקודת המינימום הנגזרת הכיוונית = = f d () f()d כלומר בנקודת המינימום הגרדיאנט ניצב לכיוון החיפוש. המסקנה היא שבנקודת המינימום גראדיאנט הפונקציה ) f( וגראדיאנט האילוץ ) h( נמצאים על אותו הישר (כלומר וקטורים (collnear ולכן ניתן לכתוב, עבור סקלר λ מסוים, כי, בקלות ניתן להראות כי הרחבה ל- m אילוצים תקיים, f +λ h = m = f() + λ h() = ניתן לפרש את המשוואה הזו באופן הבא, ניתן לייצג את גראדיאנט הפונקציה ) f( כקומבינציה לינארית של בנקודת המינימום הלוקלית () h(),, h. הגראדיאנטים של האילוצים m 9

120 משפט כופלי לגראנז' (תנאים הכרחיים לנקודת מינימום). h() = f. אם, היא נקודת מינימום של הפונקציה תחת האילוץ () h(),, h בלתי תלויים לינארית. m ( הנקרא וקטור כופלי הלגראנז', כך שמתקיים,. f(),h() C הגראדיאנטים של האילוץ [,, ] λ λ λm ) λ..3 אזי, קיים וקטור יחיד m = f + λ h = בנוסף אם מתקיים f(),h() C אזי לכל y המקיים =y( h ) יתקיים, m y f + λ h y = הערות. = - הגזירה היא לפי. כלומר { } V = y h y =, =,,m = y y, h באופן שקול, ) V( הבא, ניתן לכתוב את התנאי לכל y הנמצא בתת-המרחב משמעות התנאי הזה היא שנדרש כי המטריצה הנ"ל תהיה מטריצה חיובית חצי מוגדרת רק בכיוונים שבהם מתקיימים האילוצים. - הגדרה: רגולריות h(),, h () m נקודה היא רגולרית אם מתקיים שהגרדיאנטים של האילוצים לינארית או באופן שקול אם דרגת המטריצה h() מלאה. בלתי תלויים כלומר תנאי 3 שקול לכך שנקודה היא נקודה רגולרית. אם נקודת מינימום לוקלית היא רגולרית אז מובטח כי קיימים כופלי לגרנז'. אם נקודת מינימום לוקלית איננה רגולרית אז יתכן כי לא קיימים כופלי לגרנז'.

121 הגדרה: פונקצית הלגרנז'יאן m L(, λ ) f() + λ h () = f() +λ h() = פונקצית הלגרנז'יאן מוגדרת באופן הבא, פונקצית הלגרנז'יאן ממירה את הבעיה עם האילוצים לצורה הדומה לבעיה ללא אילוצים, m m L(, λ ) = f() + λ h () L(, λ ) = f() + λ h () = = λl(, λ ) = h() m L(, λ ) f h L(, ) + λ λ = = = = L(, ) λ λ h לכן ניתן לכתוב את משפט כופלי לגרנז' (תנאים הכרחיים) ברישום הבא, היא נקודת מינימום לוקלית שהיא רגולרית אז בהכרח מתקיים, אם L(, λ ) L(, λ ) = L(, ) = λ λ y L(, λ )y = y h מתקיים, ולכל y המקיים משפט כופלי לגרנז' (תנאים מספיקים לנקודת מינימום) h() =. L(, λ ) f() + λ h () m = נגדיר: היא נקודת מינימום של הפונקציה f() תחת האילוץ אם מתקיימים התנאים הבאים, y L(, λ )y> h( ) מתקיים y = f(),h() C L(, λ ) = y לכל הערות לתנאי 3 - y הוא וקטור כיוון. וקטור כיוון זה "נע" רק לאורך קווים שווי גובה של h(). התנאי ) λ L(, תהיה מטריצה חיובית מוגדרת בנקודת y קובע כי המטריצה L(, λ )y> המינימום, בכיוונים שלאורך האילוצים (נשים לב כי הדרישה היא רק על נקודות שמקימות את האילוץ). - נשים לב כי אין דרישת לרגולריות של. התנאים המספיקים יכולים להתקיים גם עבור נקודות לא רגולריות. אין אף משפט שהוא תנאי מספיק והכרחי....3

122 mnmze s.t. + = + תרגיל 7.. באופן גרפי הבעיה נראית כך, h()= f() פתרון f() = + h() = + L(, λ ) = f() +λ h() = + +λ + לפי הרישום שלנו, לכן הלגרנז'יאן הוא, נבדוק את קיום 3 התנאים המספיקים,. f(),h() C בבירור מתקיים התנאי L(,, λ) + λ L(,, λ) L(, λ ) = = + λ = + L(,, λ) λ

123 λ λ = = + = = =± λ= = לכן ישנם שני פתרונות אפשריים, = λ = λ h() = א). ב). נבדוק את התנאי השלישי, h = = y y h y = [ ] y y y y = + = = y + λ L(, λ ) = + λ א). L(, ) λ λ λ = λ L(, λ ) = = λ λ= 3

124 y y y L(, λ )y=[ y y] [ y y] = = y y = (y + y ) = y <. y הסימן הוא < ולא כי הווקטור התנאי השלישי לנקודת מינימום אינו מתקיים בנקודה זו. למעשה התנאי השלישי לנקודת מקסימום מתקיים בנקודה זו. ב). h = = y y h y = [ ] y y y y = = = y λ L(, λ ) = = λ λ= y y y L(, λ )y=[ y y] [ y y] = = y y = (y + y ) = y >. y הסימן הוא > ולא כי הווקטור התנאי השלישי לנקודת מינימום מתקיים בנקודה זו. h() בנקודת המינימום, בנוסף ניתן לראות כי אכן f() הוא קומבינציה לינארית של f() = ; h() = f = ; h = ; λ = f() +λ h() = + = באופן גרפי הפתרון נראה כך, 4

125 h()= =(-,-) h = f = f() 5

126 תרגיל 7.. mnmze s.t. + + = + = 4 באופן גרפי הבעיה נראית כך, h() = h() = 4 f() פתרון f() = + h() = + h() = + 4 לפי הרישום שלנו, לכן הלגרנז'יאן מוגדר בצורה הבאה, = ( ) L(, λ ) f () + λ h () = + +λ + +λ + 4 נבדוק את קיום 3 התנאים,. f(),h (),h () C בבירור מתקיים התנאי 6

127 L(,, λ, λ) L( ( ) ( ),, λ, λ) + λ + λ + λ + λ L(, λ ) = = = L(,, λ, λ) ( ) + λ ( ) 4 + L(,, λ, λ) λ = = λ 4λ = = משתי המשוואות התחתונות נקבל כי, נציב בשתי המשוואות העליונות ונקבל, כלומר עבור הבעיה הזו אין כופלי לגרנז'! האם הנקודה רגולרית? ( ) ( ) f() = ; h () = ; h () =, = ובנקודה 4 4 f() = ; h() ; h() h() = = = הגרדיאנטים של האילוצים תלויים לינארית ולכן איננה נקודה רגולרית. כלומר במקרה זה הנקודה לא רגולרית ואי אפשר לבטא את הגרדיאנט של הפונקציה כקומבינציה לינארית של הגרדיאנטים של האילוצים. נזכור כי יתכן מצב בו לא רגולרית אבל ניתן לבטא את הגרדיאנט של הפונקציה כקומבינציה לינארית של הגרדיאנטים של האילוצים. כלומר יתכן כי ניתן לפתור את מערכת המשוואות = ) λ L(, עבור נקודות לא רגולריות. 7

128 באופן גרפי הפתרון נראה כך, h() = h() = h() = f = 4 h() =(,) = 4 f() 8

129 תרגיל מקסמו את שטח פני התיבה בהינתן כי סכום אורכי צלעותיה ידוע. 3 mamze + + s.t. + + = f() = h() = פתרון לפי הרישום שלנו, לכן הלגרנז'יאן מוגדר בצורה הבאה, L(, λ ) = f() +λ h() = + + +λ נבדוק את קיום 3 התנאים,. f(),h (),h () C בבירור מתקיים התנאי L(,, 3, λ) L(,, 3, λ) + 3+λ + +λ λ = = = L(,, 3, λ) + +λ L(,, 3, λ) λ 3 L(, ) כלומר התקבלה מערכת משוואות לינארית, ( + + ) 3 3 שטח פני התיבה הוא למעשה אך הכפלת פונקצית המטרה בקבוע חיובי איננה משנה את 9 הפתרון. 9

130 = = 3 3 λ 3 λ L(,, 3, λ) + 3 +λ L(,, 3, λ) L(, λ ) = = 3 + +λ + +λ L(,, 3, λ) 3 נבדוק את התנאי השלישי, L(, ) λ = הע"ע של המטריצה הזו הם,-,- ולכן זוהי איננה מטריצה שלילית מוגדרת (נזכור כי אנו מחפשים מקסימום). אבל הדרישה היא שהתבנית הריבועית תהיה שלילית רק עבור וקטורים הניצבים לגראדיאנטים של האילוצים, y = h y= [ ] y = y+ y + y3 y 3 = (y+ y ) y 3 כלומר הוקטור הכללי המקיים את האילוצים ניתן ליצוג באופן הבא, y = y y y+ y לכן נקבל, y L(, λ )y= y = y y y + y y = ( ) ( y+ y) y = y y ( y+ y) y = y y ( y+ y) < ( y+ y) כלומר בכיוון האילוצים המטריצה היא אכן שלילית מוגדרת ולכן זוהי נקודת מקסימום. ישנם מספר פירושים לערכי כופלי לגרנז'. נתחיל במשפט הרגישות. 3

131 רגישות (Senstvty) ניתן לפרש את כופלי הלגרנז' כקצבי השינוי של פונקצית המחיר האופטימלית כאשר האילוצים משתנים. הבעיה המקורית היתה, mnmze f () s.t. h() = () ).( נגדיר את λ נגדיר את כנקודת המינימום של בעיית האופטימיזציה המתאים לנקודת המינימום. נגדיר את כווקטור כופלי לגרנז'. p= f כפונקצית המחיר המינימלית, כלומר p mnmze f () s.t. h() = u נתבונן בבעיה חדשה שבה האילוץ הוא פרמטר, λ (u) נגדיר את. u נגדיר את (u) כנקודת המינימום של בעית האופטימיזציה כוקטור כופלי לגרנז' המתאים לנקודת המינימום כתלות ב- p(u) כפונקצית המחיר המינימלית (u). נגדיר את. p(u) = f ( (u)) כלומר, u כתלות ב - אז טענת הרגישות heorem) (Senstvty קובעת כי, p(u) = λ (u) u הוכחה mnmze f () s.t. h() = h() u = ( ) תחילה נמיר את בעיה לצורה הסטנדרטית, לכן הלגרנז'יאן הוא, m L(, λ ) = f() +λ h() = f() +λ h() u = f() + λ h () u = מהתנאים ההכרחיים של נקודת מינימום (עבור בעית האופטימיזציה () ( נקבל, m = f( (u)) + λ h ( (u)) = m = p(u) + λ h ( (u)) = p(u) = נציב את הקשר ((u) f ) ונקבל, 3

132 d ונקבל, נבצע ונכפיל מימין ב- m = p (u)d + λ h ( (u))d = dp = p(u) d נשתמש באופרטור הדיפרנציאל ונקבל את הקשרים הבאים, dh = h ( (u)) d m dp + λ dh = = dp + λ dh = ולכן נקבל, וברישום וקטורי, dp + λ du = dh = du נשים לב כי מהאילוץ h() = u נובע כי ולכן, dp = λ du p(u) = λ (u) u מ.ש.ל. 3

133 נבחן את משפט הרגישות על תרגיל 3 mamze + + s.t. + + = 3 3 = 3 λ mamze + + s.t = u 3 3 קיבלנו כי הפתרון הוא, נגדיר את הבעיה הבאה, ממשפט הרגישות נובע כי, up() = λ () = ( ) = נחשב את p() = f = = + + = 3 = = 3=, p() כלומר עבור u -ים קטנים קירוב טיילור מסדר ראשון, p(u) p() + up() u = 3+ u דהיינו- כופל הלגרנז' משמש בהקשר זה כמידת רגישותה של פונקצית המחיר לשינויים באילוצים. כלומר שינוי קטן של רמת האילוץ ב- u גרמה לערך הפונקציה המקסימלי להשתנות ב-. u L(, λ ) = + + +λ u נדגים זאת גם ע"י חישוב ישיר, הלנגרדז'יאן הוא, נקבל את מערכת המשוואות הבאה, u + 3 u + 3 = = u u 3 λ + λ u

134 קיבלנו כי כל הפתרון משתנה וגם כופל הלגרנז'. נחשב את p(u) באופן מדויק, u u u p(u) = = 3 + = עבור u -ים קטנים (כלומר עבור אילוץ שקרוב לאילוץ המקורי ונקבל, בדיוק כמו שקיבלנו באמצעות משפט הרגישות. = h() ( נזניח את האיבר מסדר שני u p(u) 3 + = 3+ u 3 34

135 3 f() בגורם משמעות נוספת לכופלי לגרנז' נתבונן במקרה שבו מכפילים את פונקצית המחיר <α. הבעיה החדשה היא, mamze α + + s.t. + + = פונקצית הלגרנז'יאן תהיה, L(, λ ) =α f() +λ h() =α + + +λ L(,, 3, λ) L(,, 3, λ) α +α 3+λ α +α +λ λ = = = L(,, 3, λ) α +α +λ 3 α +α +α3 3 L(,, 3, λ) λ 3 L(, ) כלומר התקבלה מערכת משוואות לינארית, α α α α = = α α 3 3 λ 3 λ α התקבל כי הפתרון לא השתנה, רק כופל הלגרנז' השתנה באותו יחס. α אנו יכולים להתייחס לפונקצית הלגרנז'יאן כפונקצית מחיר בה יש מרכיב אחד של מחיר הפונקציה f() שאותו ברצוננו להקצין, ומרכיב שני אשר מתמחר את אי-קיום האילוצים. כאשר גדל מחיר אחד, גדל גם השני באותו יחס כדי לשמור על היחס האופטימלי ביניהם יחס זה הינו כופל הלגרנז'. לכן, משמעות נוספת אשר נוכל ליחס לכופלי הלגרנז' היא יחס אופטימלי בין מחיר הפונקציה ומחיר האילוצים. 35

136 7. אילוצי אי שוויון נחזור להגדרה היותר כללית של בעית האופטימיזציה תחת האילוצים הכוללת את אילוצי האי-שוויון, mnmze f() s.t. j h() =, =,,m g(), j=,,r f: j n h: g: n n כאשר, הטריק המרכזי בפתרון בעיות אופטימיזציה עם אילוצי אי שוויון הוא באבחנה כי בנקודת המינימום אילוץ אי שוויון יכול להיות רק באחד משני המצבים הבאים,. פעיל נקודת המינימום נמצאת על אילוץ האי-שוויון ולכן הוא הופך לאילוץ שוויון.. לא פעיל נקודת המינימום לא נמצאת על אילוץ האי-שוויון ולכן האילוץ לא משפיע (לא רלוונטי) וניתן לבטלו. דוגמא גרפית, g() g() בדוגמא זו האילוץ g() פעיל והאילוץ g() לא פעיל. באופן פורמלי נגדיר את קבוצת אילוצי האי-שוויון הפעילים באופן הבא, { j } A() = j g () =. j כלומר משמעות A() היא שהאילוץ ה- j -י אינו פעיל בנקודה 36

137 mnmze f() s.t. נשים לב כי בעית האופטימזציה הכוללת אילוצי אי שוויון ניתנת לכתיבה באופן השקול הבא, h() =, =,,m g() j =, j A() µ כך שמתקיים, j,j A() λ,, λ m 3 רגולרי קיימים כופלי לגרנז' ו- כלומר עבור m j j = j A f() + λ h() + µ g() = רישום אלטרנטיבי, m r j j = j= f() + λ h() + µ g() = j A, µ = j כלומר לאפס את כל כופלי הלגראנז' של האילוצים הלא פעילים. עקרון Complementary slacness µ g() =, j=,,r j j µ = g.µ j g() j = בנקודת המינימום מתקיים ובכתיב וקטורי, משמעות העקרון: אם האילוץ פעיל אז לפי ההגדרה אם האילוץ לא פעיל אז ואי אפשר להסיק על ערך.µ j = g() j < µ j היא שהם אי-שליליים. תכונה חשובה של כופלי הלגרנז' של אילוצי האי-שוויון פונקצית הלגרנז'יאן מוגדרת באופן הבא, m L(, λµ, ) f() + λ h () + µ g () j j = j= r הערות - - נרחיב כעת את מושג הרגולריות עבור בעית האופטימזציה הכוללת אילוצי אי-שוויון: נגדיר נקודה רגולריות כנקודה שבה הגראדיאנטים של אילוצי השוויון,h, h והגראדיאנטים של אילוצי האי- m j g,() הם בלתי תלויים לינארית. גם עבור המקרה המנוון שבו אין אילוצי שוויון ואין A() j 3 שוויון הפעילים אילוצי אי-שוויון פעילים נגדיר את הנקודה כרגולרית. 37

138 תנאים הכרחיים של Karush-Kuhn-ucer mnmze f() s.t. j h() =, =,,m g(), j=,,r בהינתן, היא נקודת מינימום של בעיית האופטימיזציה הבאה, f(),h(),g() C נקודה רגולריות. וגם,.. µ µ,, µ r [,, ] λ λ λm אז, קיימים וקטורי כופלי לגרנז' יחידים כך ש, L(, λ, µ ) = µ, j =,, r j µ =, j A j f(),h(),g() C בנוסף בהינתן אז מתקיים, = h y לכל וקטור y שמקיים, = g() j y, j A() y L(, λ, µ )y אז, הערות כדי להשיג את התנאים המספיקים אין צורך בדרישת הרגולריות המורחבת אבל הדרישה על מטריצת הנגזרות השניות של הלנגרדז'יאן היא, y, y L(, λ, µ )y> אי אפשר לדעת מראש איזה אילוצי אי-שוויון פעילים ואיזה לא. הדרך היחידה למצוא את נקודת המינימום היא לנסות את כל הקומבינציות ) r אפשריות!) עד שמקבלים פתרון המקיים את כל התנאים המספיקים

139 תרגיל 7.. mnmze ( + ) ( + ) s.t. + 5 (I) (II) g() 6 5 g() 5 5 מינימום של פונ' המטרה לאורך ישר קווי גובה של פונקציית המטרה פתרון f (, ) = ( + ) ( + ) g, = + 5 g, = L(,, µ, µ ) = f(, ) +µ g, +µ g, = = ( + ) ( + ) +µ + 5 +µ

140 () L ולכן המשוואות הנ"ל חייבות להתקיים = המינימום L = ( + ) + µ + 3 µ = L = (+ ) + µ +µ = ללא קשר לאילו אילוצים פעילים, חייב להתקיים בנקודת, בגלל שאלו אילוצי אי-שוויון אי אפשר לדעת אילו אילוצים פעילים, לכן נעבור על כל הקומבינציות עד שנמצא פתרון המקיים את כל התנאים המספיקים,,µ = ; µ = ). נניח כי כל האילוצים לא פעילים - לאחר הצבה במשוואות () נקבל, (+ ) = (+ ) = =α = 5 α 3+ = 3α+ ( 5 α ) = α+ 5 < 6 α< + =α + 5 α = α α+ 5 < 5 α 5α+ = α < כאשר. α נבדוק את קיום שני האילוצים, :(II) :(I) תנאי (I) לעולם לא מתקיים ולכן זוהי סתירה להנחה.,µ = ). נניח כי האילוץ הראשון פעיל והאילוץ השני לא פעיל - (+ ) + µ = (+ ) + µ = + = 5 לאחר הצבה במשוואות () נקבל, 4

141 5 = 5 = 5 5 µ =.63 > 5 נבדוק את קיום אילוץ,(II) = > 6 (+ ) + 3µ = (+ ) +µ = 3+ = 6 =.5 = 4.5 µ = µ והאילוץ השני פעיל, = כלומר האילוץ השני אינו מתקיים. 3). נניח כי האילוץ הראשון לא פעיל - לאחר הצבה במשוואות () נקבל, נשים לב כי µ כמו במקרה () אבל זהו מצב שונה כי כעת האילוץ השני פעיל. =µ = הערה µ j יכול לקבל כל ערך אי-שלילי (כלומר הוא יכול להתאפס). g(), אבל j אילוץ פעיל מחייב = g() כי אחרת j g() יכול לקבל כל ערך שלילי (אבל j µ, אבל j אילוץ לא פעיל מחייב = האילוץ היה פעיל). + = =.5 > 5 נבדוק את קיום האילוץ הראשון, ושוב קיבלנו סתירה. 4

142 4). שני האילוצים פעילים לאחר הצבה במשוואות () נקבל, (+ ) + µ + 3µ = (+ ) + µ +µ = + = 5 3+ = 6 =.7 =.45 or =.53 =.73 µ =.78 < µ =.988 or µ = 4.85 µ =.945 =.45 =.73 µ =.988 µ =.945 נבדוק את קיום שני האילוצים, כלומר הפתרון היחיד המקיים את התנאים ההכרחיים הוא, נמשיך ונבדוק את שאר התנאים המספיקים, L(,, µ, µ ) = ( + ) ( + ) +µ + 5 +µ ( + ) + µ + 3µ L(,, µ, µ ) = (+ ) + µ +µ + µ L(,, µ, µ ) = + µ + µ L(,, µ, µ ) = = + µ לאחר חישוב קצר מקבלים כי הע"ע הם: ,.כלומר המטריצה הזו היא מטריצה חיובית מוגדרת (לכל וקטור ). y כל התנאים המספיקים מתקיימים ולכן הנקודה הנ"ל היא אכן נקודת מינימום. 4

143 7.3 אלגורתמים נומרים לפתרון בעיות עם אילוצים עד עתה הצגנו תוצאות אנליטיות לבעיות אופטימיזציה עם אילוצי שוויון ואי-שוויון. מרכיבים מרכזיים בתוצאות אלו היה הלגרנז'יאן וכופלי הלגרנז'. שיטות Penalty ו- Barrer הן שיטות נומריות לפתרון בעיות אופטימיזציה הכוללות אילוצים. הרעיון המרכזי של שיטות Penalty ו- Barrer הוא להפוך את בעית האופטימיזציה עם אילוצים לסדרת בעיות אופטימיזציה ללא אילוצים. בסדרת בעיות זו מחיר פתרון שלא מקיים את האילוצים הולך וגובר שיטת Penalty ניתן לחשוב על הלנגז'יאן כבעית אופטימיזציה ללא אילוצים המטילה קנס על הפרת האילוצים, m L(, λµ, ) = f() + λ h () + µ jg j() = j= איבר קנס על הפרת אילוצי שוויון r איבר קנס על הפרת אילוצי אי שוויון באופן דומה בשיטת Penalty מגדירים Penalty Aggregate באופן הבא, m F p() = f() + ψ p(h ()) + ϕp(g j()) = j= איבר קנס על הפרת אילוצי שוויון r איבר קנס על הפרת אילוצי אי שוויון פונקציות הקנס יהיו מהצורה, פונקציות קנס של אילוצי שוויון פונקציות קנס של אילוצי אי שוויון ϕ p(t) = ϕ(pt) ψ p(t) = ψ(pt) p p ϕ (t) =ϕ (pt) ψ (t) =ψ (pt) p p, t, t = lm ϕ p(t) = lm ψ p(t) = p,t p >,else 43

144 פונקציות קנס של אילוצי שוויון פונקציות קנס של אילוצי אי שוויון p ϕ p (t) p= p= ψ p p(t) p= p= t לכן כאשר p פונקציות הקנס יכריחו את הפתרון לקיים את האילוצים לבטח. אם כן מדוע שלא נפתור את בעיה האופטימיזציה ללא אילוצים הבאה, m F () = f() + ψ (h ()) + ϕ (g ()) = j= r j תשובה: פונקציה זו איננה חלקה (במיוחד עבור אילוצי השוויון) ולכן כל שיטות חיפוש באמצעות גרדיאנט קורסות (נדרש לפחות ). C הצעה: נקבע ל- p ערך גבוה מאד אבל סופי וכך הפונקציה תהיה חלקה דיה כדי להפעיל את שיטות החיפוש מבוססות גרדיאנט. הבעיה היא שעבור ערך גבוה של p דוגמא הבעיה הופכת לקשה יותר. mnmze s.t. = ( + ) p t ψ p(t) = ( ψ (pt)) = ( pt) = = pt p p p F p() = f() +ψ p(h()) = + + p זוהי בעיית אופטימיזציה עם אילוץ שוויון יחיד:. h() = נבחר פונקצית קנס ולכן, ψ (t) = t ולכן, 44

145 זוהי למעשה בעיית אופטימיזציה ריבועית ללא אילוצים. נחשב את הגרדיאנט וההסיאן שלה, g() p F() + p = p = H() p F() + p = p = + p לכן ה- condton number הוא:. θ = = + p כלומר ככל שערך p גבוה יותר, כך הבעיה היא יותר ll-condtoned ולכן קשה יותר לאלגוריתמי חיפוש למצוא את נקודת המינימום. הדגמה גרפית של הדוגמא הזו עבור מספר ערכי p מצורפת בדף הבא. נציע מספר סוגים של פונקציות :Penalty ψ (t) = t () t ϕ (t) = e () עבור אילוצי שוויון: עבור אילוצי אי-שוויון: t + t, t ϕ (t) = 3 ln( t), t < 4 8 (3) הערה: עבור אילוצי אי-שוויון מומלץ להשתמש בפונקציה (3). 45

146 46

147 סיכום אלגוריתם שיטת Penalty m F () = f() + ψ (h ()) + ϕ (g ()) p p p j = j= r נפתור סדרת בעיות אופטימיזציה ללא אילוצים, 3 נתחיל עם משקל נמוך לפונקצית הקנס על הפרת האילוצים ובאופן הדרגתי נגדיל את המשקל. של איטרציה מסוימת יהיה נקודת האתחול של האיטרציה הבאה אחריה. תרשים הזרימה: - קבעו ערך התחלתי p נמוך דיו כדי שהבעיה לא תהיה ll-condtoned - בחרו פונקציות קנס - בחרו נקודת אתחול הפתרון פתרו את בעיית האופטימיזציה הלא מאולצת הבאה מנקודת האתחול, m F () = f() + ψ (h ()) + ϕ (g ()) p p p j = j=. p r נסמן את פתרון הבעיה הזו כ- הגדילו את p באופן הבא, p = β + p המלצה היוריסטית, β [ 4,] לא האם הושג תנאי העצירה? = p כן = p הקביעה משקל נמוך הוא תלוי בעיה. מעשית הגודל הזה נקבע ע"י ניסוי וטעיה. 3 47

148 דיון בתנאי העצירה (). mnmze F לכל בעיה כזו יש תנאי p בכל איטרציה אנו פותרים בעיית אופטימיזציה ללא אילוצים.( F() p העצירה (למשל ε { r m } ma g,,g, h,, h, f f תנאי עצירה לאלגוריתם כולו הוא, תנאי עצירה זה הוא שילוב של שני אלמנטים שונים,. הפרת אילוצים קטנה אם אין הפרת אילוצים אז = h(). g(),. ירידה קטנה בערך הפונקציה- כאשר האלגוריתם בקרבת המינימום הוא מתקדם בצורה איטית מאד. δ הערות נהוג להגביל את ערכי p כדי להכריח את האלגוריתם להפסיק גם אם לא הושג תנאי עצירה. p> p ma אחר. כלומר האלגוריתם כולו ייעצר אם הפרת אילוצים מכסימלית מוגדרת, ma g,,g, h,, h δ { r m } { } ma g, r,g, δ או במקרה של אילוצי אי-שוויון בלבד, - - בתחום הפיזאבילי ביטוי זה צריך להתאפס (בשביל זה המקסימום כולל את ). 48

149 7.3. שיטת Barrer שיטת המחסום היא דומה לשיטת הקנס כפי שנראה מיד, אך מתאימה רק לבעיות בהן יש אילוצי אי- שוויון בלבד. בשיטת המחסום אין אפשרות להפר את אילוצי האי-שוויון. שיטת מחסום שיטת קנס p ϕ p (t) p= p= p ψ p (t) p= p= t t כלומר ההתקרבות לפונקצית קנס אידיאלית מתבצעת באמצעות פונקציות הנותנות קנס סופי על קיום 3 האילוצים וקנס אינסופי על אי קיום האילוצים. להלן המחשה גרפית נוספת עבור האילוצים. a b P() p p= B() שיטת מחסום שיטת קנס p= p= p p= a b a b 3 אילוצים אלו מכונים אילוצי קופסא constrants).(bo 49

150 הערה: נשים לב כי עבור p מקבלים בשתי השיטות פונקצית קנס אידיאלית.. B() התכונות של פונקצית מחסום B() הן,. B פונקציה רציפה.. אי-שליליות - B()., 3. בתחום שבו מתקיים g() (כולל נקודות השפה) מתקיים φ (t) = ln( t) נציע מספר סוגים של פונקציות,Barrer φ (t) = t הערה: מומלץ להשתמש בפונקציה הלוגריתמית. אלגוריתם שיטת המחסום זהה לאלגוריתם שיטת הקנס חוץ מההבדלים הבאים,. נקודת האיתחול הראשונית חייבת להיבחר בתחום שמקיים את אילוצי האי-שוויון. אחרת ערך הפונקציה הוא אינסוף ואי אפשר להתקדם. מוטב למצוא נקודה כזו ע"ס מידע מוקדם או מהתבוננות באילוצי האי-שוויון. אם אין אפשרות כזו קיימים אלגוריתמים למציאת נקודה המקיימת את אילוצי האי- שוויון.. צריך לבדוק בכל שלב כי הנקודות מקיימות את אילוצי האי-שוויון. בכל האלגוריתמים לפתרון בעית אופטימזציה רב-מימדיות ישנה בעיה עם פונקצית המחסום. בשלב חיפוש על הישר, אם הנקודה ההתחלתית נמצאת מחוץ לתחום המקיים את אילוצי האי-שוויון אז בנקודה כזו אי אפשר להשתמש בערך הפונקציה והגרדיאנט. צריך להוסיף תיקון כדי שגודל הצעד המקסימלי עדיין יקיים את אילוצי האי-שוויון. בד"כ עדיפה שיטת הקנס על שיטת המחסום. משתמשים בשיטת המחסום בעיקר עבור בעיות בעלות מבנה שבו מאד חשוב לדאוג שהפתרון יקיים את אילוצי האי שוויון. ניתן להשתמש בשיטת המחסום עבור אילוצי האי שוויון בשילוב עם שיטת הקנס עבור אילוצי השוויון. בניגוד לדיון בתנאי העצירה של שיטת הקנס, בשיטת המחסום הפרת האילוצים המקסימלית היא תמיד אפס מאחר והקנס אינסופי עבור כל הפרת אילוצים. הערות

151 תרשים הזרימה - קבעו ערך התחלתי p נמוך דיו כדי שהבעיה לא תהיה ll-condtoned - בחרו פונקציות מחסום המקיימת - מצאו נקודת אתחול את אילוצי האי-שוויון. פתרו את בעיית האופטימיזציה הלא מאולצת מנקודת האתחול, F () = f() + φ (g ()) p p j j= r. p נסמן את פתרון הבעיה הזו כ- הגדילו את p באופן הבא, p = β + p המלצה היוריסטית, β [ 4,] לא האם הושג תנאי העצירה? = p כן = p 5

152 7.3.3 אלגוריתם Augmented Lagrangan אלגוריתם ה- Augmented Lagrangan הינו אלגוריתם הדומה לאלגוריתם שיטת.Penalty בשיטת Penalty פתרנו סדרת בעיות אופטימיזציה ללא אילוצים, m F () = f() + ψ (h ()) + ϕ (g ()) p p p j = j= r כאשר, פונקציות קנס של אילוצי שוויון פונקציות קנס של אילוצי אי שוויון p ϕ p (t) p= p= ψ p p(t) p= p= t האלגוריתם מאותחל עבור p נמוך ובאופן הדרגתי p מוגדל עד שנקבל את הבעיה המאולצת. הפתרון של איטרציה מסוימת יהיה נקודת האתחול של האיטרציה הבאה אחריה. ההבדל בין שיטת Penalty לבין שיטת Augmented Lagrangan היא שלפונקציות הקנס יש כעת שני פרמטרים, λµ והן מהצורה ) µ. ψ (t; λ), ϕ (t; התנאי שפונקציות קנס אלו מקיימות הוא, ϕ (; µ ) =µ ψ p (; λ ) =λ p p p ϕ (t; µ ) =µϕ (t) ψ (t; λ ) =ψ (t) +λt p p p p למשל, פונקצית Augmented Lagrangan היא, m F () = f() + ψ (h (); λ ) + ϕ (g (); µ ) p p p j j = j= r הגרדיאנט של פונקצית Augmented Lagrangan הוא, m F () = f() + ψ (h (); λ ) h () + ϕ (g (); µ ) g () p p p j j j = j= r 5

153 . F() = p ניתן לחשוב על בעיית האופטימיזציה הזו כחיפוש אחר פתרון של המשוואה תזכורת m r L(, λµ, ) f() + λ h () + µ g () j j = j= הלגרז'יאן הוא, הפתרון של הבעיה הפרימאלית זהה לפתרון של הבעיה הלא מאולצת, mnmze L(, λ, µ ) כלומר אם כופלי לגרנז' האופטימליים היו ידועים, אז היינו יכולים לפתור את הבעיה הפרימאלית דרך הלגרנז'יאן. m r j j = j= L(, λ, µ ) = f() + λ h () + µ g () הגרדיאנט של פונקציה זו הוא,. L(, λ, µ ) = ניתן לחשוב על פתרון הבעיה הפרימאלית כחיפוש אחר פתרון של המשוואה m r F () f() (h (); ) h () = + ψ λ + ϕ (g (); µ ) g () λ µ = + λ + µ p p p j j j = j= m r L(,, ) f() h () j g j() = j= השוואה ψ (h (); λ ), ϕ (g (); µ ) p p j j ניתן לחשוב על כמשערכים של כופלי הלגרנז' האופטימליים. λ, µ j משמעות אלגוריתם Augmented Lagrangan היא שבמקום רק לחפש את, מחפשים בו זמנית גם את כופלי הלגרנז' האופטימליים. לכן יכול להיות מצב שגם עבור p -ים נמוכים הצלחנו למצוא את כופלי לגרנז' האופטימליים ואז האלגוריתם ימצא בצעד הבא את. שלב הגבלת שינוי משערכי כופלי הלגרנז' נועד לייצב את התקדמות האלגוריתם. עבור כופלי לגרנז' של אילוצי שוויון קימת אפשרות שסימנם יתהפך. במקרה כזה כדאי להגביל את שינויים רק אם סימנם לא משתנה בין האיטרציות. הערה - 53

154 תרשים הזרימה של אלגוריתם Augmented Lagrangan - קבעו ערך התחלתי p נמוך דיו - בחרו פונקציות קנס - בחרו נקודת איתחול פתרו את בעיית האופטימיזציה הלא מאולצת הבאה מנקודת האתחול : m F () = f() + ψ (h (); λ ) + ϕ (g (); µ ) p p p j j = j= λ =ψ (h ; λ ) + + p µ =ϕ (g ; µ ) + + j p j j r נסמן את פתרון הבעיה הזו כ µ = 3µ µ > 3µ j j µ + j j + j j µ + j j אם אם < µ µ = ובדומה עבור. λ הגדילו את p באופן הבא: p= 3p = + λ =λ µ =µ j + + j לא האם הושג תנאי העצירה? כן = + 54

155 .8 תכנות ליניארי Programmng) (Lnear בעיית התכנות הליניארי הקנונית מוגדרת כבעיית מינימיזציה שפונקצית המטרה שלה היא צירוף ליניארי של מספר נעלמים אי-שליליים והאילוצים שלה הם משוואות לינאריות. ברישום מטריצי קנוני, mnmze c s.t. A = b [ n ] [ m n] [ m ] [ n ] כאשר, - וקטור - A מטריצה - b וקטור - c וקטור דוגמא: בעיית הדיאטה כיצד נקבע את הדיאטה הכי זולה שמספקת את דרישות התזונה בשביל בריאות טובה? נניח: קיימים 3 סוגי מאכלים: בשר, ירקות, ודגים. קיימים רכיבי תזונה התורמים לבריאות טובה: חלבון וברזל. המחירים של המאכלים הם, מאכל בשר ירקות דגים מחיר 7 רכיבי התזונה במאכלים והדרישות על כמות רכיבי המזון, בשר ירקות דגים דרישה יומית חלבון ברזל

156 mnmze + + 7,, בעיית האופטימיזציה היא, דגים ירקות בשר דגים ירקות בשר s.t דגים ירקות בשר דגים ירקות בשר,, דגים ירקות בשר - מספר n m ) A = בבעיית התכנות הליניארי הקנונית ההנחות לגבי האילוצים b המשתנים) הן: - מספר האילוצים, >m, כלומר יהיו פחות אילוצים מאשר משתנים. במקרה בבעיית תכנות לינארית אופיינית יתקיים n שבו ישנם n אילוצים (בלתי תלויים לינארית) אז האילוצים לבדם קובעים את הפתרון. במקרה שבו ישנם יותר מ- n אילוצים יתכן כי חלקם קומבינציה לינארית של אילוצים אחרים ולכן מיותרים, ויתכן שחלקם אף סותרים אחד את השני. לכן נניח כי דרגת המטריצה A היא, m כלומר אין אילוצים שמופיעים בסמוי באילוצים אחרים ואין סתירה בין אילוצים. נניח כי b. אם אחד מהרכיבים של b שלילי אז ניתן להכפיל את המשוואה ב -. לעיתים רבות מתקבלות בעיות הדומות מאד לבעיית התכנות הליניארי הקנונית ודרוש לבצע שינויים כדי להמירה לבעיה הקנונית. נבחן שני מקרים, mnmze c s.t. A b. אילוצי אי שוויון ( ). נתונה הבעיה, y y y m mnmze c,y s.t. A + y = b y m נגדיר m משתני דמה varables) (slac אי-שליליים בעיית האופטימיזציה השקולה היא, כדי להשלים את ההמרה לצורה הקנונית נגדיר,,y y, ובכתיב מטריצי, c = ; c ; A A I y m [ ] m m 56

157 mnmze c s.t. A = b בעיית האופטימיזציה הקנונית היא, +n נעלמים. ברור כי כאשר כלומר המרנו את הבעיה המקורית בעלת n נעלמים לבעיה חדשה של m רק חלק מהאילוצים יהיו אילוצי אי שוויון, נוסיף משתני דמה לאילוצי האי-שוויון בלבד. mnmze c s.t. A = b ( ) mnmze c u v u,v s.t. A( u v) = b u v = u v u c = ; c ; A A A v c [ ]. אין אילוץ על הנעלמים להיות אי-שלילים. נתונה הבעיה: u,v [ n נגדיר שני וקטורי משתני דמה [ בעיית האופטימיזציה השקולה היא, כדי להשלים את ההמרה לצורה הקנונית נגדיר, כך ש- פתרונות בסיסיים ופתרונות בסיסיים חוקיים בחלק זה נתייחס רק לאילוצים של בעיית התכנות הליניארי הקנונית ונגדיר שני סוגים של פתרונות למערכת המשוואות (הלינארית) של האילוצים, A = b כאשר, - וקטור.( m< n) בעלת דרגה מלאה m [ n ] [ m n] [ m ] - A מטריצה - b וקטור משמעות ran(a) = m היא שלמטריצה A כל m השורות בלתי תלויות לינארית וישנן m n עמודות תלויות לינארית. בלתי תלויות לינארית. כלומר למטריצה A יש m עמודות 57

158 פתרון בסיסי n m פתרון בסיסי הוא פתרון של מערכת המשוואות A = b היותר m איברים שונים מאפס). שבו מאופסים איברים (כלומר לכל b A = a a a a = m m m+ n m+ b m n כיצד נחשב פתרון בסיסי? מערכת המשוואות היא: B בסיסי במערכת המשוואות הנ"ל מניבה בשביל פשטות רישום נקבע כי: = בסיסי. הצבת n m מערכת משוואות חדשה, m A = a am am a + n a a m b = m B 33 לכן אם,a a, עמודות בת"ל אז ניתן לחשב את הפתרון הבסיסי כך:. = B b בסיסי m פתרון בסיסי חוקי פתרון בסיסי חוקי הוא פתרון בסיסי אשר כל ערכיו גדולים או שווים לאפס. כלומר פתרון המקיים גם את האילוץ. 33 ניתן לחשוב על B כבסיס למרחב. a + + a = b m מאחר והוא מורכב מ- m וקטורי עמודה בלתי תלויים לינארית. כלומר m m 58

159 תרגיל = 3,, 3 חשבו את הפתרונות הבסיסיים של מערכת האילוצים הבאה, 3 A = b A= [ ]; = ; b= 3 נמיר לרישום מטריצי, n m= בכל פתרון בסיסי נאפס את שאר האיברים של. למשל פתרון בסיסי יתקבל איברים של ונפתור את מערכת המשוואות הנותרת כדי לקבל בסיסיA [ ] = b נפתור את מערכת המשוואות, = לחשב את בסיסי כדי = = [ ] = בסיסי, כלומר קיבלנו, 59

160 = בסיסי,, סה"כ נקבל 3 פתרונות בסיסיים, במקרה זה שלושת הפתרונות הבסיסיים הם גם חוקיים. נשים לב כי הפתרונות הבסיסים החוקיים התקבלו בקדקודי המשולש. תרגיל = 3 + =,, 3 נוסיף אילוץ למערכת האילוצים בדוגמא, 3 + = = A = b A = ; = ; b = 3 =? = = נמיר לרישום מטריצי, נחפש פתרונות בסיסיים, 6

161 .5 = = = = = = =, סה"כ קיבלנו פתרונות בסיסיים, במקרה זה שני הפתרונות הבסיסיים הם גם חוקיים. נשים לב כי הפתרונות הבסיסים החוקיים התקבלו בנקודות הקיצוניות של האילוצים. תרגיל = 3 + =,, 3 נוסיף אילוץ למערכת האילוצים בדוגמא, 3 + = = נמיר לרישום מטריצי, 6

162 A = b A = ; ; b = = 3 = = = נחפש פתרונות בסיסיים,.5 = = = = = = =,.5 קיבלנו כי הפתרון הבסיסי הראשון מתלכד עם הפתרון הבסיסי השלישי. סה"כ קיבלנו פתרונות בסיסיים, במקרה זה שני הפתרונות הבסיסיים הם גם חוקיים. נשים לב כי הפתרונות הבסיסים החוקיים התקבלו בנקודות הקיצוניות של האילוצים. 6

163 תרגיל 8.4 נוסיף אילוץ למערכת האילוצים בדוגמא, + + = =,, = = A = b A = ; ; b 3 = = 3 נמיר לרישום מטריצי, = 3 = =.5 = = = נחפש פתרונות בסיסיים, 63

164 3 3 3 = = = קיבלנו כי הפתרון הבסיסי הראשון איננו חוקי ואילו שאר הפתרונות חוקיים..5 =,, סה"כ קיבלנו 3 פתרונות בסיסיים, נשים לב כי הפתרונות הבסיסים החוקיים התקבלו בנקודות הקיצוניות של האילוצים. נקודות קיצון C C נקודה בקבוצה קמורה נקראת נקודת קיצון של אם אין שתי נקודות שונות השייכות ל-. <α< =α + α,עבור α כלשהו המקיים כך ש- C C נקודת קיצון לא נקודת קיצון A = b משפט נקודות הקיצון של האילוצים הם פתרונות בסיסיים חוקיים. משפט הפתרון של בעיית תכנות לינארית תמיד תהיה נקודת קיצון. 64

165 תרגיל 8.5 נתונה בעיית התכנות הלינארית בעלת פונקצית המטרה f() = והאילוצים הבאים, = = = 3,,,,, התחום הפיזאבילי קווי גובה של f() נקודת המינימום 3 = 4 = = = 5 = ממשפט ו- נקבל כי הפתרון של בעיית תכנות לינארית יהיה פתרון בסיסי חוקי. כלומר אין צורך לחפש בכל המרחב הפיזאבילי את הפתרון ואפילו אין צורך לחפש לכל אורך האילוצים, אלא רק לבדוק את נקודות הקיצון שהן הפתרונות הבסיסיים החוקיים. n n! = m m! ( n m )! גישה זו עדיין איננה יעילה מאחר והיא מחייבת בדיקת פתרונות בסיסיים חוקיים. 65

166 אלגוריתם ה- Smple הרעיון המרכזי של אלגוריתם ה- Smple הוא, בעיה 4 אתחל בפתרון בסיסי חוקי כלשהו בעיה בעיה עבור לפתרון חדש שיהיה:. בסיסי. חוקי 3. בעל ערך נמוך יותר בעיה 3 נמיר את מערכת המשוואות (באמצעות פעולות שורה) למערכת המשוואות הקנונית הבאה, m a am am+ an = b m am+ an = b b ואז הפתרון הבסיסי יהיה, B בסיסי = = n m n m, יקראו המשתנים הבסיסיים ושאר המשתנים יקראו בייצוג הנ"ל, המשתנים,m המשתנים הלא-בסיסיים. מערכת המשוואות מוגדרת קנונית גם כאשר סדר עמודות היחידה שונה.. b נשים לב כי כדי שפתרון בסיסי יהיה גם חוקי צריך לבדוק כי הערות

167 מקובל לרשום את מערכת המשוואות הנ"ל בצורת טבלה, m m+ n a a b,m+,n a a b m,m+ m,n m בעיה בהינתן פתרון בסיסי אחד, כיצד עוברים לפתרון בסיסי סמוך? p כדי להפוך משתנה לא בסיסי תהפוך לעמודה של המשתנה, q נבצע פעולות שורה כך שהעמודה של המשתנה במשתנה בסיסי q (לפני השינויים). p a,p בוחרים איבר pvot האיברים בעמודה p: והמטרה היא, באמצעות פעולות שורה, 34 לנרמל אותו לאחד ולאפס את שאר R R a,p R R a R,p תרגיל 8.6 נתונה מערכת המשוואות הלינארית הבאה, + + = = = = = נתון כי הפתרון הבסיסי הוא, ורוצים לעבור לפתרון הבסיסי, נשים לב כי אי אפשר לבחור ערך אפס כ- pvot מפני שאי אפשר לנרמל אותו לאחד

168 3 = כלומר להפוך משתנה לא- בסיסי בוחרים באיבר pvot הבא, במשתנה בסיסי , R R, R R R , R R + R הפתרון הבסיסי החדש הוא, 68

169 3 3 = = קיבלנו פתרון בסיסי אך לא חוקי.. 4 נמיר משתנה לא- בסיסי נבחר pvot אחר, במשתנה בסיסי , R R, R R R , R R + R 3 3 הפתרון הבסיסי החדש הוא, 69

170 3.5 = = קיבלנו פתרון בסיסי וגם חוקי נמיר משתנה לא- בסיסי במשתנה בסיסי = = 5 6 נבחר pvot אחר,, R R 3 3, R R R 3, R R R 3 הפתרון הבסיסי החדש הוא, קיבלנו פתרון בסיסי אך לא חוקי. 7

171 בעיה בהינתן כי התשובה לבעיה ידועה, כיצד נבטיח כי הפתרון הבסיסי החדש יהיה חוקי? נניח כי הפתרון הקודם היה בסיסי חוקי ולכן העמודה הימנית ביותר הייתה חיובית. כדי שהפתרון החדש גם כן יהיה חוקי דרוש כי העמודה הנ"ל תישאר חיובית. הפעולות המבוצעות הן, R R a,p R R a,pr b b = a,p a b = b b, a,p נבחן את השפעת פעולות שורה אלו על העמודה הימנית, b b תהיה חיובית. לכן היחס הבא חייב להתקיים בשורת ה-, b b a,p b a,p a b a b a,p, b a, נזכור כי התנאי הוא שהעמודה הימנית החדשה b. b בנוסף חייב להתקיים = :pvot a b ולכן,,p לכן סה"כ חייב להתקיים, כלומר היחס בשורת איבר ה- pvot החיובי הכי קטן יניב פתרון בסיסי חוקי. b 4 a,p 4 b 3 b 3 a 3,p a:,p = ; b= 3 = =.5 a,p המשך דוגמא 8.6 היחס החיובי הכי קטן הוא האמצעי ואכן רק עבור ה- pvot האמצעי קיבלנו כי הפתרון הבסיסי החדש הוא חוקי. 7

172 בעיה 3 בהינתן כי התשובות לבעיות, ידועות, כיצד נחליט (ללא חיפוש מלא) איזה פתרון יתן את הירידה הכי גדולה בערך הפונקציה? נבצע מספר פעולות ארתמטיות כדי לבטא את פונקצית המטרה באמצעות המשתנים הלא בסיסיים. לשם פשטות רישום נניח כי מערכת המשוואות היא בצורה הקנונית, = n m am+ an b m+ n m n = = = m+ m a = e + a = b e = b a = = m+ n ( ) c c c c B m נכפיל את שני האגפים בווקטור ונקבל, m n c B e = cb b c B a = = m+ m n c = cb b c B a = = m+ n n c = c= cb b+ c cb a = = m+ r = c c a B n f() = c = cb b+ r = m+ n = m+ c נוסיף את הגורם לשני האגפים ונקבל, למען פשטות רישום נגדיר, ניתן לרשום את פונקצית המטרה באופן הבא, [ ] = פונקצית המטרה היא, b m עבור הפתרון הבסיסי 7

173 n b = B + = B = m+ f c b r c b לכן ניתן לרשום את פונקצית המטרה כפונקצית המטרה עבור הפתרון הבסיסי הנ"ל + עוד גורם שתלוי רק במשתנים הלא בסיסיים, n f() = f( b) + r = m+ מאפס r אז ניתן להגדיל את ולכן עם ישנו גורם < לכל פתרון חוקי חייב להתקיים כי ובכך להקטין את ערך פונקצית המטרה. לכן כדי להקטין את פונקצית המטרה צריך להפוך את המשתנים הלא בסיסיים שעבורם < r למשתנים בסיסיים. r של המשתנים הלא בסיסיים הם אי-שליליים היא שהגענו לפתרון בנוסף נובע מכך כי המשמעות שכל האופטימלי וניתן לעצור את האלגוריתם. r אלגוריתם ה- Smple מנצל תכונה זו כדי לקבוע איזה עמודה תשולב בפתרון. האלגוריתם מחשב את לכל העמודות והעמודה שלה שייך הערך השלילי הכי נמוך מוחלפת. r -ים אי-שליליים, האלגוריתם עוצר. אם כל ה- a,m+ a,n b a,m a,n b + am,m+ am,n bm rm+ r n מקובל לכתוב מחדש, 73

174 בעיה 4 y y = y m,y mnmze y s.t. A + y = b y A = b = y A = [A I] A = b כיצד נמצא פתרון בסיסי חוקי התחלתי? נגדיר משתנים מלאכותיים, y= נפתור בעיית עזר, הפתרון של בעיה זו הוא נכתוב את האילוצים מחדש, ואז האילוצים של הבעיה המקורית מתקיימים,. n בפתרון בסיסי יאופסו, = n+ m n m= n+ m m= n b, כאשר [ m n ] בבעיה זו ממד A הוא. n = n+ משתנים מתוך m. מספר האפסים הוא n ונתון כי נאתחל את בעיית העזר הנ"ל עם הפתרון הבא: = = y b ולכן זהו פתרון בסיסי חוקי של בעיית העזר. בסיסי. נשים לב כי mn אלגוריתם ה- Smple ימצא את הפתרון הבסיסי החוקי הבא: = = y n אפסים ו- m איברים גדולים בסיסי יהיו עוד m איפוס וקטור y מניב m אפסים, ולכן בווקטור מאפס, וזוהי בדיוק ההגדרה של פתרון בסיסי חוקי של הבעיה המקורית. 74

175 תרגיל = = 3 3,, 3 מצא פתרון בסיסי חוקי לאילוצים הבאים,, 4 5 נציג שני משתנים מלאכותיים ונפתור את בעיית תכנות הליניארי הבאה, mnmmze,y s.t. A + y = b y b הטבלה תהיה, b 4 = = a, r ניתן לראות כי בעל הערך השלילי הכי נמוך ולכן ה- pvot יהיה בעמודה זו. b 3 = =, a b לכן איבר ה- pvot הוא, R R R, R R 3 לאחר פעולות השורה כעת רק שלילי, נקבל, r b נקבל, 75

176 3 4 5 b =, =, 3 = 3 r כעת כל ה- חיוביים, ערך פונקצית המטרה הוא אפס וקיבלנו פתרון בסיסי חוקי, פותרים בעיית תכנות ליניארי בשיטת שני השלבים method),(two-phase שלב I: פתור את בעיית העזר וקבל פתרון בסיסי חוקי. שלב :II פתור את הבעיה המקורית באמצעות הפתרון הבסיסי החוקי שקיבלת בשלב I. mnmze s.t = = 3,, המשך דוגמא, את השלב הראשון כבר ביצענו ולכן, 3 b b =, = 5, 3 = 9 5 ולכן הפתרון האופטימלי הוא, 76

177 תרשים זרימה של אלגוריתם ה- Smple מצאו פתרון בסיסי חוקי התחלתי באמצעות בעית העזר. בנו את טבלת ה- Smple באופן הבא, A b c z כאשר z הוא ערך פונקצית המטרה בפתרון המוצע. בצעו פעולות שורה כדי להביא את העמודות של הפתרון הבסיסי למבנה הקנוני (השורה האחרונה עוברת אותן המניפולציות ללא הבדל). r בחרו את העמודה בעלת ערך הנמוך ביותר. חשבו את היחס b. =,,m a, בחרו את איבר ה- pvot כאיבר שעבורו היחס הנ"ל הוא החיובי המינימלי. בצעו את פעולות ה- pvot באמצעות פעולות שורה(כולל השורה האחרונה). לא האם mn{r } >? כן mn = b 77

178 78

179 9. דואליות לבעיית אופטימיזציה אפשר להגדיר בעיה דואלית שבה המשתנים הם כופלי הלגרנז'. F הגדרה התחום הפיזאבילי הוא התחום שבו מתקיימים אילוצי השוויון והאי-שוויון. השקפת Mn-Ma של דואליות עד עתה עסקנו בבעיות אופטימיזציה פרימאליות (ראשוניות) שעבורן ערך הפונקציה הפרימאלית בפתרון היה, p p = mn f() s.t. F טענה p = mn f() = mn ma L(, λ, µ ) F µ λ הוכחה m r f(), F ma L(, λµ, ) = ma f() + λ h () + µ jg j() = = j= µ µ λ λ בתחום הפיזאבילי h() מתאפס ומתקיים g() µ. לכן עבור בחירת כופלי הלגרנז' =µ, הלגרז'יאן בתחום הפיזאבילי יהיה מקסימלי. בתחום הלא פיזאבילי אפשר לבחור את כופלי לגרנז' כך שהביטוי הנ"ל ישאף לאינסוף. למשל עם מתקיים > g() אז נבחר.µ f(), F mn ma L(, λµ, ) = mn = mn f () = p µ F λ j j מ.ש.ל. הגדרות ηλµ (, ) mn L(, λµ, ) mamze ηλµ (, ) µ λ d = ma η( λ, µ ) µ λ הפונקציה הדואלית היא, הבעיה הדואלית היא, והערך בנקודת האופטימום של הבעיה הדואלית הוא, השוואה בין הבעיה הפרימאלית והדואלית, 79

180 p = mn ma L(, λ, µ ) = mn f () µ λ F d = ma mn L(, λ, µ ) = ma η( λ, µ ) µ µ λ λ כלומר ההבדל בין פתרון הבעיה הפרימאלית והדואלית הוא סדר המינימיזציה לפי.µ, λ והמקסימיזציה לפי. d = p הדואליות החלשה מוגדרת כאשר מתקיים d p ישירות מרישום הנ"ל נובעת הדואליות החלשה, ודואליות חזקה מוגדרת כאשר d = ma mn L(, λ, µ ) mn ma L(, λ, µ ) = p µ µ λ λ ma mn Φ(, y) mn ma Φ(, y) y Y X X y Y נוכיח עבור מקרה כללי כי מתקיים: mn Φ(, y) mn ma Φ(, y) X X y Y הוכחה y לכל Y מתקיים, y אז הוא מתקיים גם ל- y ומאחר ואי שוויון זה מתקיים לכל Y. ma mn Φ(, y) כלומר גם ל-, mn Φ(, y) שממקסם את הפונקציה y Y X X ma mn Φ(, y) mn ma Φ(, y) y Y X X y Y לכן מתקיים: מ.ש.ל. הדואליות החלשה תמיד מתקיימת כי אי שוויון זה אינו תלוי בפונקצית הלגרנז'יאן., µ יכול להתחלף משמעות הדואליות החזקה היא שסדר המינימיזציה לפי והמקסימיזציה לפי λ ללא השפעה על התוצאה. mnmze f() s.t. j g(), j=,,r A = b משפט נתונה בעיית אופטימיזציה פרימאלית קמורה, f(),g הן פונקציות קמורות ואילוצי השוויון הם ליניאריים. אם קיימת נקודה (), g כלומר r(),strctly feasble כלומר המקיימת, g() j <, j=,,r A = b 35 אז קיימת דואליות חזקה. עבור אילוצי אי-שוויון ליניאריים מספיק ש- g(). j 35 8

181 תרגיל 9. mnmze + s.t. 4 נתון, א. מהו התחום הפיזאבילי? התחום הפיזאבילי הוא 4} F= { ב. מהו פתרון הבעיה הפרימאלית? f() = + () L(, µ ) = + +µ 4 = + +µ הפונקציה הפרימאלית היא, הלגרנז'יאן הוא, L(, µ ) = ( + ) = = = נניח כי האילוץ פאסיבי ולכן = µ, פתרון זה פסול מאחר והוא איננו בתחום הפיזאבילי (כלומר אינו מקיים את אילוצי האי שוויון). נניח כי האילוץ אקטיבי ולכן = g(), () () ( ) L(, µ ) = + +µ 6+ 8 = + µ 6µ= ( )( 4) = =,4 µ =, 4 ממשוואה () נקבל שני פתרונות אפשריים, נציב פתרונות אלה במשוואה () ונקבל בהתאם, הפתרון השני פסול מפני שכופל הלגרנז' של אילוץ אי שוויון חייב להיות אי-שלילי, ולכן הפתרון האפשרי היחיד הוא, = µ = 8

182 µ L(, ) = ( + µ 6µ ) = + µ נבדוק את שאר התנאים המספיקים, L(, µ ) = + = > 6 לכן זוהי אכן נקודת מינימום. p = f = + = 5 ערך הפונקציה הפרימאלית בנקודת המינימום p הוא, µ λ בגרף משורטטת הפונקציה הפרימאלית נשים לב כי מתקיים בדוגמא זו: לעומת הלגרז'יאן עבור מספר ערכי µ. f() f(), F ma L(, λµ, ) = כפי שניתן לראות מגרף החתכים,. L(, µ ) > f () ניתן לראות כי מתקיים כי () L(, µ ) f בתחום הפיזאבילי, אחרת להלן גרף תלת ממדי הממחיש תכונה זו, 8

183 ג. חשבו את הפונקציה הדואלית. ηµ = µ = + +µ + mn L(, ) mn 6 8 הפונקציה הדואלית היא, L(, µ ) = + µ 6 µ= 3µ = µ µ +µ L(, µ ) = + µ> µ 9 ηµ = + +µ + = µ µ = +µ µ+ נציב את שקיבלנו, 83

184 9 mamze ηµ = µ+ µ µ+ s.t. µ µ = ( µ+ 4)( µ ) η ( µ ) = = µ µ+, 4 ηµ = 8 µ µ+ 3,µ = ד. הציגו את הבעיה הדואלית ופתרו אותה. פתרון הבעיה הדואלית, < = µ הוא לא חוקי ולכן נבדוק רק את הפתרון הפתרון 4 ηµ 8 = < µ 7 µ= לכן = µ היא אכן נקודת מקסימום. d = ma η ( µ ) = µ+ = 5 µ µ+ µ= 9 ערך הפונקציה הדואלית בנקודת המקסימום d הוא,, d כלומר קיבלנו דואליות חזקה. = p בגרף משורטטת הפונקציה הדואלית ) µ η ( נשים לב כי מתקיים,. לעומת הלגרז'יאן עבור מספר ערכי F ηλµ (, ) = mn L(, λµ, ) L(, λµ, ) 84

185 . L(, µ ) <η ( µ ) נשים לב כי הפס האדום מציין את הקו שבו ) ( =ηµ L(, µ ) ואין תחום שבו 85

186 λ, µ מה עושים עם פתרון הבעיה הדואלית? כדי למצוא את, מציבים בלגרז'יאן את כופלי לגרנז' האופטימליים האופטימיזציה ללא האילוצים הבאה, ופותרים את בעיית mn L(, λ, µ ) L(, µ ) = + +µ = = בדוגמא שלנו, L(, µ ) = = = 6 L(, µ ) = > 6 הערות סיכום סה"כ ראינו כי הפונקציה הפרימאלית f() חוסמת את פונקצית הלגרז'יאן מלמעלה (בתחום הפיזאבילי) והפונקציה הדואלית ), λµ )η חוסמת את הלגרז'יאן מלמטה. כאשר דואליות חזקה (, λ, µ מתקיימת, בנקודת האופטימום ) שלושת הפונקציות הנ"ל מקבלות ערכים זהים. אלגוריתם Augmented Lagrangan פועל על עקרון זה בדיוק. בכל איטרציה הוא מנסה. λ, µ למצוא את ובמקביל את ניתן לראות מהגרף הבא כי בנקודה ערך שלושת הפונקציות שווה. (, µ ) = (,)

187 האם תמיד כאשר קיימת דואליות חזקה נצליח לקבל מפתרון הבעיה הדואלית את פתרון הבעיה הפרימאלית? התשובה היא לא! כדי לקבל מפתרון הבעיה הדואלית את פתרון הבעיה הפרימאלית חייב להיות רק צמד נקודות. d = p שבו מתקיים, λ, µ ) ( יחיד - בגלל שבתנאי Slater פונקצית המטרה היא קמורה ולא קמורה ממש יתכן מקרה מנוון שבו הפתרון של הבעיה הפרימאלית איננו יחיד. לדוגמא בעיית התכנות הליניארי (הקמורה) הבאה, mnmze + s.t. A b באופן גרפי יכול להיווצר המצב הבא, כל פתרון לאורך הסוגריים המסולסלות הוא בעל ערך פונקצית מטרה. p כלומר אין פתרון יחיד לבעיה הפרימאלית ולכן אין נקודה אחת שבה. d = p כדי שניתן יהיה לקבל מהפתרון הדואלי את הפתרון הפרימאלי או שלא יתקיים הניוון הנ"ל או שפונקצית המטרה תהיה קמורה ממש. 87

188 תרגיל 9. mnmze W s.t. =, =,,n נתון, n כאשר. W S כלומר W מטריצה סימטרית, לא בהכרח מטריצה חיובית מוגדרת. זוהי בעיית אופטימיזציה לא קמורה גם בגלל שאילוצי השוויון לא קמורים. לעומת זאת ידוע כי בעיית האופטימיזציה הדואלית היא תמיד בעיה קמורה. לכן פתרון בעיית האופטימיזציה הקמורה d נותן לפחות חסם תחתון על פתרון הבעיה הפרימאלית. p משמעות הבעיה היא למצוא חלוקה של n איברים לשתי קבוצות כך שמחיר חלוקה זו יהיה מינימלי. =, = 3, היא שאיברים, יהיו בקבוצה אחת ואיבר 3 יהיה בקבוצה למשל משמעות = נפרדת. קבוצה א קבוצה ב 3 n n n n n = j j = j j + = j j +,j=,j= =,j= = j j W w w w w w נבחן את פונקצית המחיר, w j משמעות היא המחיר שרכיבים, j נמצאים באותה קבוצה. כאשר j ניתן לראות כי רכיבי האלכסון של המטריצה אינם משפיעים ולכן נאפס אותם. זוהי בעיית אופטימיזציה דיסקרטית ופתרון אפשרי שלה הוא לנסות את כל הקומבינציות. מאחר ומספר n הקומבינציות הוא, מהר מאד גישה זו הופכת לבלתי מעשית. המחשה "מעשית" של הבעיה הזו: רותי, יוסי ומוטי נקלעו לאי בודד המורכב משני איים קטנים. הם החליטו לקבוע מי יהיה יחד עם מי על סמך קריטריון מינימום סבל לכולם. נגדיר: רותי יוסי 3 מוטי 88

189 = 3 w. w = רותי =.5 w. w = יוסי ומוטי ממש נתון כי רותי ויוסי מסתדרים ביחד היטב ולכן נקבע את מדד הסבל שיהיו ביחד W = 3.5 ומוטי מסתדרים פחות טוב ולכן מדד הסבל שהם יהיו ביחד הוא. w3 = w3 יסבלו אם הם יהיו ביחד ולכן נגדיר = לכן "מטריצת הסבל", 3 ישנן = 4 אפשריות, משמעות כולם רותי+יוסי, מוטי לבד רותי+מוטי, יוסי לבד יוסי+מוטי, רותי לבד מדד הסבל לכן הבחירה שתניב הכי פחות סבל היא שרותי ויוסי יהיו ביחד ואילו מוטי ישאר לבד. חשבו את הפונקציה הדואלית ונסחו את הבעיה הדואלית. n n n L(, λ ) = W + λ = W + λ λ = = = = W dag = + λ λ נגדיר כוקטור אחדים באורך. n הלגרז'יאן יהיה, הפונקציה הדואלית, λ + λ,w dag ηλ = mn L(, λ ) = mn ( W + dag( λ) ) λ= אחרת, נשים לב כי השתמשנו בתכונה כי המינימום של תבנית ריבועית הוא אפס כאשר המטריצה היא חיובית חצי מוגדרת ו- אחרת. mamze λ λ s.t. W+ dag( λ) הבעיה הדואלית, 89

190 תרגיל 9.3 בעיית Program) QCQP (Quadratcally Constraned Quadratc קמורה מוגדרת באופן הבא, mnmze P q r s.t. + + P j qj rj,j,,r + + =. [ n n].[ n ] מטריצות ריבועיות וקטורי עמודה j סקלרים. { } r j { q } r j = { r } r j P j = j j = P, j=,,,r מצאו את הבעיה הדואלית. r j j j j j = L(, µ ) = P + q + r + µ P + q + r = הלגרנז'יאן, r r r P jpj q jqj r jrj j= j= j= = + µ + + µ + + µ r r r P( µ ) P + µ P; q( µ ) q + µ q ; r( µ ) r + µ r j j j j j j j= j= j= L(, µ ) = P( µ )+ q ( µ )+ r( µ ) נגדיר, נציב בביטוי הלגרז'יאן ונקבל, P( µ ) המטריצה,µ כלומר קיבלנו מבנה של בעיה ריבועית. במקרה הכללי, שבו אין מגבלה על בהכרח מטריצה חיובית מוגדרת ולכן למצוא מינימום של בעיה ריבועית זו אינו עניין פשוט. אך נזכור כי בבעיה הדואלית µ ולכן המטריצה ) µ )P היא מטריצה חיובית מוגדרת, היא לא vp( µ )v= vpv + µ jvpv j > r > j= הוכחה חישוב הפונקציה הדואלית, ηµ = µ = µ + µ + µ mn L(, ) mn P q r 9

191 L(, µ ) = P( µ ) + q( µ ) = P q = µ µ L(, µ ) = P( µ ) > נציב חזרה בביטוי של הפונקציה הדואלית ונקבל, ηµ = L(, µ ) = = P ( µ )q( µ ) ( ) ( ) ( ) = P ( µ )q( µ ) P( µ ) P ( µ )q( µ ) + q ( µ ) P ( µ )q( µ ) + r( µ ) = = q ( µ )P ( µ )P( µ )P ( µ )q( µ ) q ( µ )P ( µ )q( µ ) + r( µ ) = I = q ( µ )P ( µ )q( µ ) q ( µ )P ( µ )q( µ ) + r( µ ) = = µ µ µ + µ q P q r mamze ηµ = q ( µ )P ( µ )q( µ ) + r( µ ) µ s.t. µ לכן הבעיה הדואלית היא, 9

192 תרגיל 9.4 n = p n mnmze p log(p ) s.t. Ap b p = = p, =,,n p p p n n. ε= plog(p ) = בעיית מקסימיזציה של אנטרופיה. אנטרופיה מוגדרת בעיית האופטימיזציה הפרימאלית היא, כאשר, א. כתבו את פונקצית הלגרנז'יאן בצורה מטריצית log(p ) ; log(p) ; log(p ) n נגדיר, בנוסף,. Ap b וקטור כופלי לגרנז' הקשור לאילוצי אי השוויון µ. p µ וקטור כופלי לגרנז' הקשור לאילוצי אי השוויון µ =µ וקטור כופלי לגרנז' הקשור לכל אילוצי האי- השוויון µ µ n = כופל לגרנז' (סקלר) הקשור לאילוץ השוויון = p n n L(p, λµ, ) = plog(p ) +λ p +µ ( Ap b ) +µ ( p) = = = = p log(p) +λ p +µ Ap b µ p= = p log(p) + λ +µ A µ p λ µ b א. כתוב את הלגרז'יאן בצורה מטריצית. λ 9

193 ב. חשבו את הגרדיאנט וההסיאן של הלגרז'יאן לפי p נגדיר, log(p ) p p log (p) = log(p ) n pn pn ( ) = + + λ +µ µ = dl dp log(p) p log (p)dp A dp = log(p) + p log (p) +λ +µ A µ dp L= log(p) + p log(p) +λ +µ A µ = p log(p) log (p)p A = + +λ + µ µ p p log (p)p = = = pn pn נשים לב לצמצום הבא, נציב חזרה בביטוי של הגרדיאנט של הלגרז'יאן, L = log(p) + log (p)p +λ + A µ µ = p = + +λ + µ µ = + λ+ + µ µ log(p) A log(p) A ( p ) d L = d log(p) = log (p)dp חישוב ההסיאן של הלגרז'יאן לפי, p 93

194 p ppl= log(p) = pn מאחר וזוהי מטריצה אלכסונית וההסתבריות הן חיוביות אז כל הע"ע חיוביים ולכן המטריצה הזו חיובית מוגדרת לכל. p אם ישנן הסתבריות ששוות לאפס ניתן לנפות אותן בשלב מקדים. p p p p ηλµ (, ) = mn L(p, λµ, ) = mn p log(p) + λ +µ A µ p λ µ b= = mn log(p) +λ + A µ µ p λ µ b ג. נסחו את הבעיה הדואלית L= p מאחר וההסיאן של הלגרז'יאן לפי p היא מטריצה חיובית מוגדרת לכל p אז הנקודה שבה תהיה נקודת מינימום, L= log(p) + λ+ + A µ µ = p ( ) p= ep λ+ A µ +µ נציב ביטוי זה בלנגרז'יאן כדי לקבל את הפונקציה הדואלית, ( ( ( )) ) ( ) λ ( ) ηλµ (, ) = log ep λ+ A µ +µ +λ + A µ µ ep λ+ A µ +µ λ µ b = = λ+ Aµ +µ +λ + Aµ µ ep λ+ Aµ +µ λ µ b= = ep λ+ Aµ +µ λ µ b= e ep Aµ +µ λ µ b λµ, λ mamze ηλµ (, ) = e ep A µ +µ λ µ b s.t. µ לכן הבעיה הדואלית היא, אך מסענו עדין לא הסתיים. ניתן לפשט את הבעיה הדואלית ע"י מקסימיזציה על פני המשתנה הדואלי λ באופן אנליטי. 94

195 λ µ +µ η λ µ = λ µ c ep A (, ) ce b לשם פשטות החישוב נגדיר, c נשים לב כי c הוא סקלר חיובי. 36 חיובי מפני שהוא סכום של אקספוננטים שהם חיובים. η( λ, µ ) λ = ( ce λ µ b) = λ λ e λ λ λ ce ce = = = λ = λ = = c ηλµ log = log c c log c (, ) λ = ( ce ) = ce λ λ λ נוודא שזוהי אכן נקודת מקסימום, ηλµ (, ) = c = < λ c λ=λ נציב את λ בפונקציה הדואלית ונקבל, ηλµ (, ) = ce λ µ b λ η( λ, µ ) = c ( log( c) ) µ b= log( c) + µ b= c ( ) = logep Aµ +µ µ b ( ) mamze log ep A µ +µ µ b µ s.t. µ הבעיה הדואלית היא, A,µ סופיים. e יתאפס רק כאשר אבל במקרה שלנו מניחים כי כל איברי 36 95

196 תרגיל 9.5- סכום r האיברים הכי גדולים של וקטור. [] f = r =. r {,,, n} n,. [] [ ] [ n] נתון: נסמן: לכן סכום r האיברים הכי גדולים של וקטור הוא בטאו את האילוץ f α פתרון בצורה "יעילה". = ma { + + < < r } f n r f היא פונקציה קמורה! הסבר:. איברים שונים של וקטור r היא מכסימום של כל הקומבינציות האפשריות של f נשים לב כי הפונקציה כלומר הפונקציה ( ( פונקציה שהיא מכסימום של פונקציות קמורות היא גם קמורה. n! הבעיה היא שצריך לבדוק קומבינציות. לכן יש צורך במציאת צורה יותר יעילה כדי לייצג r!( n r)! את האילוץ. f α לשם כך נעזר בטענה הבאה. טענה f = ma y st.. y y = r n נניח כי כאשר המשתנה הוא הוא וקטור נתון וקבוע. n. y אינטואיציה: נניח כי =. r ה- y שיביא למכסימום את פונקצית המטרה תחת האילוצים הנ"ל הוא: y y, = ma{ } =, else, = ma{ } =, else { } = []. ma ערך פונקצית המטרה במקרה זה הוא נניח כעת כי = r. אילולא ההגבלה כי y אז הפתרון היה מאחר ואין זה המקרה הפתרון יהיה: 96

197 y, = [] or = [ ] =, else r ברור. {,,, המעבר ל-{ n. + [] [ ] ערך פונקצית המטרה במקרה זה הוא ) ( אז n נקודה חשובה היא שהטענה נתונה לוקטור קבוע. כדי לייצג את האילוץ f α צריך להיות משתנה. אם נתיחס ל- כמשתנה בבעית האופטימיזציה בטענה אז נקבל כי פונקצית המטרה איננה קמורה. טענת עזר (, ) f = הפונקציה איננה קמורה או קעורה. f = (, ) f = הוכחה הגרדיאנט של הפונקציה הוא וההסיאן של הפונקציה הוא,}.{ מ.ש.ל. = f. הע"ע של המטריצה הם כדי להימנע מפונקציות לא קמורות נחשב את הבעיה הדואליות. לפני שנתחיל, נשים לב כי בעיית האופטימיזציה הפרימאלית היא בעית מקסימיזציה. כל ההנחות שלנו התבססו על כך שהבעיה פרימאלית היא בעיית מינימזציה. כדי להתגבר על העיה הזו נשים לב לקשרים הבאים: arg mn { } { } f = arg ma f = ma mn f f ובאופן גרפי: f f ( ) f ( ) f לכן כדי לחשב את הבעיה הדואלית של בעית המקסימיזציה נהפוך אותה לבעית המינימיזציה הבאה: mn y st.. y y = r 97

198 n t µ, s, מתאימים לאילוצי הקופסא התחתונים, העליונים ואילוץ השוויון כופלי הלגרנז' בהתאם. פונקצית הלגרנז'יאן היא: ( µ ) µ ( µ ) L y;, s, t = y y+ s y + t y r = + s+ t y s tr η µ, st, = mn L y; µ, st, = mn µ + s+ t y s tr= y s tr, µ + s+ t= =, else ( st) mn η µ,, st.. µ, s mn s+ tr st.. µ + s+ t= µ, s ( הבעיה הדואלית היא: y mn f = ma{ f } הפונקציה הדואלית היא: כדי לתקן את המינוס (נזכור כי כלומר, מאחר והמשתנים µ מופיעים רק באילוצי השוויון וכמשתנים אי שליליים אז הבעיה הבאה שקולה: mn s+ tr st.. s+ t s כעת ברור כי אם נהפוך את מקבוע למשתנה אז הבעיה הדואלית היא בעית תכנות לינארי! לכן ( f ( נדרוש כי יתקיים: מדואליות חזקה של בעיות תכנות לינארי כדי שהאילוץ α s+ tr α s + t s n! לסיכום, כדי להימנע מ- אילוצים ב- n משתנים נגדיר + n אילוצים ב- n משתנים. ללא r!( n r)! השימוש ברעיון הדואליות אילוץ מהסוג f α לא היה מעשי. 98

199 . אי-שוויונים מוכללים ובעיות קוניות 37 generalzed ) לאי-שוויונים מוכללים a,b ניתן להרחיב את מושג האי-שוויון הסקלרי a b.(nequaltes אי-שוויונים מוכללים מוגדרים כאי-שוויונים המקיימים את התכונות הבאות, a b. λa λb λ. a a. רפלקסביות :(Refleve) a b. אנטי-סימטריות :(Ant-symmetrc) אם b. a = b a a b.3 טרנזטיביות :(ranstve). a c b c a b. a+ c b+ d c d אם מתקיים.4 אדטיביות :(Addtve).5 הומוגניות :(Homogeneous) λ ניתן לאפיין אי-שוויון מוכלל באמצעות קון. מגדירים את הקון K תחת ההגדרה של האי-שוויון. כלומר הקבוצה המקיימת, כקבוצה של כל הנקודות האי-שליליות { K } K = b K a b a K b a K K לכן ניתן לרשום את האי-שוויון המוכלל בדרכים הבאות, קונים 'טובים' cone) (proper 38 מוגדרים כקונים המקיימים את התכונות הבאות, קבוצה קמורה. קבוצה סגורה. לא קבוצה ריקה.. a אז = a, a K K. K. K.3 4. אם.,, וכל שאר האי-שוויונים מוגדרים בפרק זה רק אי-שוויון סקלרי מוגדר הגדרה יותר מפורטת ניתנה בשקפים של ההרצאות

200 אי-שוויון וקטורי וקון האורטנט האי-שלילי b n R+ a n אי-שוויון וקטורי הוא אי-שוויון איבר-איבר. כלומר צמד וקטורים a,b יתקיים, יקיים אם"ם b a b a bn a n וקטור אי-שלילי, במובן של אי-שוויון וקטורי, הוא וקטור שכל איבריו הם אי-שליליים ולכן הקון המאפיין את האי-שוויון הוקטורי הוא האורטנט האי-שלילי, n { n } n K=,,, = + a b a = ; b= a b { } K = + =, עבור המקרה הדו-מימדי נגדיר שתי נקודות, האורטנט האי-שלילי הוא, R + b b a a 3 b = ; a = R+ המשמעות של האי-שוויון a למשל, אי השוויון a b היא, b מתקיים כי מתקיים, R+

201 b R+ המשמעות הגיאומטרית של האי-שוויון הוקטורי היא שאם a לנקודה אז הנקודה b היא מעל ומימין!Error. a a = 3 b = 4. R + b a b R+ כדי שיתקיים a אז ההפרש חייב להיות בתוך 3 b a = 4 = + נקודה למחשבה b K (כפי שמתקיים a או b K באי-שוויון מוכלל לא חייב להתקיים כי לכל שתי נקודות מתקיים a באי-שוויון הסקלרי). כלומר לא תמיד אפשר לקבוע כי נקודה היא "קטנה" או "גדולה" מנקודה אחרת. למשל עבור אי השוויון הוקטורי ושתי הנקודות הנ"ל, 5 3 b = ; a = אבל מי גדול ממי?

202 K [ n n] אי-שוויון מטריצי והקון החיובי חצי מוגדר K משמעות האי-שוויון A, B כאשר A,B מטריצות B היא היא שהמטריצה A מטריצה חיובית חצי מוגדרת. לכן הקון המאפיין את האי-שוויון המטריצי הוא הקון החיובי החצי מוגדר, n { n } K = X S מטריצה חיובית חצי מוגדרתX = S, n + איך נראה הקון החיובי חצי מוגדר? ב- Sem Defnte Programmng מגדירים פונקציה של וקטור המשתנים n A() = A B = A + A + + A B = n n = ; A A,,A,B S n m m, n A() = + = + 3 S+ כאשר, 39 דוגמא, הקון החיובי חצי מוגדר בדוגמא זו נראה כך, 3 S + = = נשים לב כי מימד המטריצה A() קובע את מספר אילוצי האי שוויונים הסקלריים. 39

203 n קון לורנץ L (נקרא גם,(Icecream Cone L n = = [ n n n] n = { [ ] } 3 3 L = = + 3 למשל עבור 3 מימדים, 3 3 L 3

204 { } K = y,y, K, K קונים דואליים הקבוצה הבאה מוגדרת הקון הדואלי לקון K K הערות אם לקון K מתקיים K = K אז הקון נקרא דואלי עצמי dual).(self לקונים טובים cones) (proper מתקיים. K = K מאחר ובקון האורטנט האי שלילי ובקון לורנץ הזווית של הקון היא של 9 אז הקונים האלו הם דואליים עצמיים. 4

205 A,B n S+ = r AB A, r AB B n S+ n n S, נשתמש במכפלה הפנימית של.race כלומר, () תרגיל. הוכיחו כי הקון החיובי חצי מוגדר הוא דואלי עצמי. B פתרון עבור מטריצות סימטריות צריך להוכיח כי המטריצות הן המטריצות, היחידות שמקיימות, נחלק את מרחב המטריצות למטריצות חיוביות חצי מוגדרות וכאלה שלא. כדי להוכיח את הטענה נראה תחילה כי אם המטריצה B איננה חיובית חצי מוגדרת אז לא מתקיים התנאי () ואם היא חיובית חצי מוגדרת אז כן מתקיים התנאי (). כיוון. qbq< שעבורו מתקיים r qbq = r qqb < n מאחר ו- B איננה מטריצה חיובית חצי מוגדרת אז קיים וקטור q בגללש- qbq הוא סקלר אז מתקיים, A =A וזוהי מטריצה חיובית חצי מוגדרת. כלומר קיימת לפחות מטריצה אחת qq n S+ r( AB) < AB. r אבל התנאי () קובע כי נגדיר שעבורה אם המטריצה B איננה חיובית חצי מוגדרת אז לא מתקיים התנאי. לכל מטריצה חיובית חצי מוגדרת. כיוון מאחר ו- A היא מטריצה חיובית חצי מוגדרת אז היא גם מטריצה סימטרית ולכן ניתן לבטא אותה באופן הבא, n A= λ v v =. A כאשר λ v הם הע"ע ו- הו"ע של המטריצה n r( AB) = r( BA) = r B λvv = n n n n = r λ Bvv = λ r Bv v = λ r( v Bv) = λ v Bv = = = = מ.ש.ל. 5

206 בעיות אופטימיזציה עם אילוצי אי שוויון מוכללים ניתן להכליל את אילוצי האי שוויון כך שבעיית האופטימיזציה המאולצת תהיה מהצורה, mnmze f() s.t. h() = g() f: j n h: g: n n K כאשר, כאשר K הוא קון טוב cone).(proper m L(, λµ, ) f() + λ h () + µ g () j j = j= r נזכיר כי הלגרז'יאן הוא, הפונקציה הדואלית מוגדרת בדיוק באותו אופן כמו עבור הבעיה הסטנדרטית (כלומר עם אילוצי אי שוויון 'רגילים'), ηλµ (, ) mn L(, λµ, ) µ. עבור אי-שוויון מוכלל m R +, כלומר j=,,r µלכל j בבעיה הסטנדרטית דרשנו שיתקיים.µ K מדוע? נדרוש שיתקיים בבעיה הסטנדרטית הפונקציה הדואלית (בתחום הפיזאבילי) הייתה חסומה מלמעלה ע"י הפונקציה הפרימאלית, ηλµ (, ) = mn L(, λµ, ) = mn f() + λ h () + µ g () µ קיבלנו כי j m m j j = j= j r מתקיים (), h () =, g ומהדרישה ש- בתחום הפיזאבילי F j j = j= r ηλµ (, ) = mn f() + λ h () + µ g () f() בתחום הפיזאבילי ולכן, F r j= jg j() g() µ =µ 6

207 כלומר כל פיתוח הדואליות מסתמך על עקרון ה- Slacness,Complementary בתחום הפיזאבילי מתקיים:,g(). µ. g() K מתקיים בבעיית האופטימיזציה הפרימאלית עם אילוצי אי שוויון מוכללים, בתחום F?complementary slacness תקיים את עקרון µ m R,µ כלומר j האם דרישה של + התשובה היא לא. דוגמא. g() = ; µ= 3 R + + = = g() 3 L g() [. ].8 µ = = > מתקיים, נניח כי בנקודה פיזאבילית F = g() מתקיים, עבור הוקטור ולכן, האם מתקיים? µ g() אם כן, איזה דרישת אי-שליליות על?Complementary Slacness תקיים את עקרון µ µ K התשובה: { } K = y,y, K ניזכר כי הקון הדואלי הוגדר, כלומר המכפלה הפנימית בין כל נקודה (שהיא וקטור) בקון K עם כל נקודה בקון K תהיה אי-שלילית. במקרה שלנו, µ K µ K g() K g() K g() K µ. לכן המכפלה הפנימית בין שני הנקודות K כלומר הנקודה בקון K היא g() האלו היא אי-שלילית: והנקודה בקון היא 7

208 µ, g() µ,g() µ. K זוהי הסיבה להגדרה כלומר עקרון complementary slacness מתקיים רק כאשר נדרוש של קון דואלי ומכאן כל שאר הניתוחים לגבי דואליות זהים לבעיה הסטנדרטית. mamze ηλµ (, ) s.t. µ λµ, K לכן בעיית האופטימיזציה הדואלית היא, 8

209 תרגיל. מהי הבעיה הדואלית של בעיית תכנות קונית. mnmze c s.t. A K b כאשר,. [ m n].[ m ].[ n ] - מטריצה - וקטור - וקטור A b c נגדיר וקטור כופלי לגרנז' הקשור לאי שוויון.µ K במובן הבא הלגרז'יאן הוא, m.µ נדרוש כי וקטור כופלי הלגרנז' יהיה אי שלילי L(, µ ) = c µ A b = c A µ +µ b ηµ = µ = µ +µ = mn L(, ) mn c A b הפונקציה הדואלית היא, µ µ= b, c A =, else mamze s.t. A µ µ= c K µ µ b µ פיזאבילית בבעיה הדואלית מתקיים, לכן הבעיה הדואלית היא, פער הדואליות, לכל נקודה פיזאבילית בבעיה הפרימאלית ולכל נקודה f() ηµ DualtyGap(, µ ) = f () η ( µ ) = c b µ פער הדואליות מוגדר, אם קיימת דואליות חזקה אז בפתרון פער הדואליות הוא אפס.,µ 9

210 תרגיל.3 מהי הבעיה הדואלית של? Semdefnte Programmng mnmze c s.t. A() m A+ + nan B S + הבעיה הפרימאלית היא, כאשר, [ m מטריצות [m סימטריות. m m A,,A n,b S - וקטור [ n ] [ n - וקטור ] c [ m m] כופל הלגרנז' Z הלגרז'יאן הוא, מוגדר כמטריצה סימטרית. ( ( n n )) L(,Z) f() Z, A() c r Z A A B n = n = = + = + + = = c r Z A + + nr Z An + r ZB = ( ) = c r ZA + r ZB סקלר לא תלוי ב סקלר לא תלוי ב הפונקציה הדואלית היא, η (Z) = mn L(,Z) = Z Z m S + mamze r ZB s.t. r ZB, c r ZA =, =,,n r ZA = c, =,,n, אחרת הבעיה הדואלית היא, Z m S + נשים לב כי התקבל כי הקון החיובי חצי מוגדר הוא קון עצמי dual).(self

211 Semdefnte Programmng תרגיל.4: בעיית מינימיזציה של ערך עצמי מקסימלי n A() = A B = A + A + + A B = n n A,,A,B S n n נתון, כאשר (כלומר מטריצות סימטריות). mnmze λ ma { A() } A() בעיית האופטימיזציה היא, ניתן להמיר בעיה זו לבעיית SDP באופן הבא, מגדירים סקלר t שיהווה חסם עליון על הערכים העצמיים של המטריצה החסם העליון. t כלומר בעיית האופטימיזציה היא, ונביא למינימום את mnmze t,t s.t. A() ti A ti t ma =,,n { λ } טענה 4 עבור מטריצה A סימטרית, λ שקול ל- כאשר הם הע"ע של מטריצה A. הוכחה מאחר ומטריצה A היא סימטרית, היא גם לכסינה והע"ע שלה ממשיים. לכן ניתן לייצגה באמצעות הע"ע והו"ע, A= VΛ V כאשר V היא מטריצה שעמודותיה הם הע"ע של מטריצה A ו- Λ היא מטריצה אלכסונית של הע"ע A ti נחשב את הע"ע של המטריצה A. של מטריצה ( λ =,, (n,, ( ) ( ) [ ] A ti = VΛV ti = VΛV VV ti VV = V Λ tv IV V = V Λ ti V A ti. λ t, =,,n לכן האי"ש המטריצי A כלומר הע"ע של המטריצה ti הם שקול ל- =,,r { }, λ t t ma λ מ.ש.ל. ראו נספח. בשביל הוכחה למטריצה כללית [ לא בהכרח סימטרית. ] 4

212 Schur Complements דרך נפוצה מאד לעבור לאי שוויונים מטריצים Inequaltes) (Lnear Matr מאי שוויונים אחרים היא באמצעות.Schur complement נתונה המטריצה הסימטרית הבאה המורכבת מבלוקים, A B X= X = B C A S C עבור המטריצה הנ"ל Schur Complement מוגדר B A B A,C חייבות להיות מטריצות ריבועיות. (בהנחה כי הפיכה). רק טענה. S X אז אם A הוכחה u,v. A X מתקיים אם"ם לכל וקטורים נניח כי האי"ש (בגדלים מתאימים), u A B u v B C v תנאי שקול הוא שבמקום לכל וקטורים u,v האי"ש מתקיים, לוקטורים u,v המביאים את התבנית הריבועית הנ"ל למינימום. לכן התנאי הבא שקול, לכל וקטור, v u A B u mn f (u) = u v B C v mn f (u) u נפתור את בעיית האופטימיזציה הזו (כעת v תחילה נכתוב מחדש את הוא קבוע כלשהו),, f(u) f(u) ua vb ub vc u A B u u = v = + + = B C v v uau vbu ubv vcv uau vbu vcv = = + +

213 קיבלנו כי f(u) היא בעיה ריבועית ב-. u נחשב את הגרדיאנט וההסיאן שלה, df = du Au + u Adu + v B du = u Adu + v B du u f = u A+ v B = Au+ Bv A A= A d f = A u u f = Au Bv Au u + = = Bv = A Bv לכן נקודת המינימום מקיימת, השלב האחרון אפשרי כי מטריצות חיוביות מוגדרות הן תמיד הפיכות. f(u ) נציב את הביטוי ל- u חזרה בפונקציה ונקבל, f(u ) u Au v B u v Cv u Bv v B u v Cv = + + = + + = = + = + = = vcv vbu vcv vb A Bv v C BA Bv vsv mn f (u) u. S vsv נזכור כי קבענו שלכל וקטור v ולכן זה שקול לכך שלכל מתקיים, מתקיים כלומר v סיכום הוכחת הטענה. S מ.ש.ל. הוכחנו שאם- A אז X המרה בכיוון הפוך A S X ניתן לעבור מאי שוויון מטריצי לאי שוויון אחר ע"י המשפט, 3

214 תרגיל.5: המרת אי שוויון ריבועי לאי שוויון מטריצי (LMI) ( ) ( ) A + b A + b c d S= C B A B אי השוויון הריבועי הוא, כדי לעבור לאי שוויון מטריצי נשתמש ב- Complement,Schur נבטא את האי שוויון הריבועי,. A ורק נותר לקבוע את,B,C A= I B = A + b = + C c d ( ) ( ) S C B A B c d A b I A b = = = נקבע, ונקבל, ( ) ( ) = c d A b A b זהו בדיוק האי שוויון הריבועי ולכן ניתן לרשום את האי שוויון הריבועי בצורה הבאה, I A + b X= A + b c + d כיצד נרשום את האי שוויון המטריצי בצורה הסטנדרטית של?SDP n = = n n = = A() A B A A A B I b B = b d a = = n n A,,,n a c A = a a n I A + b ( ) A + b c + d כאשר, 4

215 תרגיל.6: המרת בעיית QCQP לבעיית SDP בעיית QCQP היא בעיה בעלת אילוצים ריבועיים Constraned) (Quadratcally ופונקצית מטרה ריבועית Program).(Quadratc mnmze f () s.t. f(), =,,r f() A+ b A+ b c d,=,,,r כאשר, אילוצי האי שוויון הריבועים ניתנים לרישום כאי שוויון מטריצי כפי שראינו בתרגיל הקודם, I A+ b ( A + b) c + d,=,,r כדי להמיר את פונקצית המטרה הריבועית ללינארית נגדיר שוב משתנה עזר t המהווה חסם על פונקצית המטרה. כלומר, f() t f() = A+ b A+ b c d t c + d + t A + b A + b כדי להמיר אי שוויון זה לאי שוויון מטריצי נשתמש ב- Complement.Schur נבטא את האי שוויון הריבועי, S= C B A B, A ורק נותר לקבוע את,B,C A= I B = A + b C = c + d + t כלומר נקבל, S C B A = B= c + d + t A + b I A + b mnmze t,t וזהו אכן האי שוויון המקורי. ולסיכום בעיית QCQP ניתנת לרישום כבעיות SDP באופן הבא, s.t. I A+ b I A+ b,, =,, r ( A + b) c + d + t ( A + b) c + d 5

216 תרגיל.7 נמיר את בעיית האופטימיזציה הלא לינארית הבאה לבעיית SDP בעל פונקצית מטרה לינארית, mnmze ( c ) d. d> נניח כי תמיד מתקיים mnmze t s.t. t t,t ( c) d ( c) d ( ) ( ) ( ) t c d c הבעיה השקולה היא, נרשום את האי שוויון מחדש, כדי להמיר אי שוויון זה לאי שוויון מטריצי נשתמש ב- Complement, Schur S= C B A B = B = C = t A d,t d c c mnmze t s.t. c t, A ורק נותר לקבוע את,B,C לכן בעיית ה- SDP השקולה היא, 6

217 mnmze A() ( ) n תרגיל.8 מינימיזציה של הנורמה הבאה של מטריצה, A λ A A A() = A B= A + A + + A B t λ t λ ma n n = ( ) ma A() A() ( ma ( A() A() )) t λ t ( A() A() ) ma t a. t היא מטריצה חיובית חצי מוגדרת ולכן = = t t I A() A() A() IA() A() I A() ti A() ti A() t A= ti B = A() C = ti t כאשר, שוב נגדיר חסם עליון הערה אם אז האי שוויון על פונקצית המטרה, 4 t a שקול לאי השוויונים : A() A() a מההערה הנ"ל + העובדה כי ( λ ) נקבל כי, ma A() A() ראינו כי חסם על הע"ע המקסימלי מניב את האי שוויון הבא, לכן נקבע, בעיית האופטימיזציה ברישום מחדש כ- SDP היא, הוכחה בנספח.. 4 7

218 mnmze t,t s.t. ti A() A() ti t { n n } L = + + n n n + + n n n + + n = = In n n ונקבל n nin n n > A= nin n B = = n C= n n תרגיל.9 המרת אי שוויון לורנץ לאי שוויון מטריצי, נגדיר, נמיר את האי שוויון, נניח כעת כי > ונחלק את שני האגפים ב- n n A B I n n n 3 B C n n X= = = n n 3 n n n = L מאחר והנקודה. = n n לכן, המטריצה X, נשים לב כי אם = אז שהנקודה הנ"ל מקיימת. X אכן, אז כדי שההוכחה תושלם עלינו לראות עבור = האי"ש המטריצי מתקיים בשוויון. 8

219 Robust Lnear Programmng mnmze c s.t. a b, =,,m נבחן בעיית תכנות ליניארי, c, b ידועים בוודאות { } a ε = a + Pu u c,a, b שבה קיימת אי וודאות בפרמטרים ו- ידוע כי נמצא בתוך אליפסה, 4. למען פשטות הדיון נדון במקרה שבו P a כאשר הערה משמעות מטריצות חיוביות חצי מוגדרות. a היא ש- ידועים בוודאות. P = המחשה דו- ממדית, a 3 4 נתון: 3 a = 3 P = 3 בבעיה זו נדרוש כי המקרה הכי גרוע case) (worst יקיים את אילוצי האי שוויון. כלומר, mnmze c s.t. a b, for all a ε, =,, m { ε } ma a a b תנאי זה על האילוצים משמעותו, ו- c, b סקלרים לכל. =,,m a R n 4 9

220 u ( + ) mamze a Pu s.t. u נפתור את בעיית האופטימיזציה הבאה, הפעם נפתור את הבעיה מכיוון שונה: נשים לב כי a אינו תלוי ב- u ולכן נותר לנו למקסם את הביטוי P) u ( תחת האילוץ u. P הוא וקטור והביטוי הנ"ל משמעותו, עבור איזה וקטור u המקיים u נקבל את המכפלה הפנימית הכי גדולה P)?,u ( התשובה היא כאשר ). α > ) u = αp ככל ש- α יהיה יותר גדול, כך המכפלה הפנימית הנ"ל תהיה P יותר גדולה ולכן האילוץ u הוא אקטיבי. כלומר: = u. P P a+ Pu = a + u P = a + P = a + P P לכן מתקיים, סיכום mnmze c s.t. a + P b, =,,m בעיית התכנות הליניארי הרובסטי היא, בעיה זו ניתנת לרישום כבעיית תכנות קוני עם קון לורנץ. המשמעות של האיבר P היא של "איבר רגרלרוזציה", כלומר הוא מגביל את בכיוונים שבהם האי וודאות גדולה. = P = היא גבוהה. P = = = + 6 המחשה כלומר אי הוודאות ב- -ים בעלי ערך נמוך. a + P b ולכן כדי לקיים את האילוץ אז חייבים לבחור

221 . דוגמא מסכמת- אלגוריתם SVM מבוא: זיהוי תבניות תחום זיהוי התבניות עוסק בבעיות שבהן צריך לסווג אובייקטים לקטגוריות שונות על סמך לימוד ממדידות. דוגמא טבעית של זיהוי תבניות היא היכולת של ילדים ללמוד לזהות אותיות. בשלב אימון מראים לילדים דוגמאות רבות של אותיות ומדריכים אותם איזה אותיות הם רואים. הילדים לבסוף מזהים את הצורות של האותיות וכאשר יראו דוגמאות חדשות הם יוכלו לזהות את האותיות. קיימות בעיות רבות של זיהוי תבניות שהן מסובכות מידי בשביל אדם. למשל רופא הנדרש לקבוע אם לשלוח אדם לבדיקות יקרות לגילוי מחלה. הרופא צריך להתבסס על מספר רב של מאפיינים כמו לחץ דם, כמות כדוריות דם אדומות, היסטוריה של מחלות במשפחה וכו'. בבעיות מעשיות רבות מגיעים לעשרות ומאות מאפיינים שבהסתמך עליהם צריך להגיע להחלטה. הסכמה הכללית של זיהוי תבניות שלב האימון שמירת הפרמטרים המביאים למינימום אימון על המדידות המביא למינימום קריטריון סיווג עתידי שגוי הוצאת מאפיינים מדידות אימון שלב סיווג מדידות חדשות תוצאות הסיווג סיווג ע"ס הפרמטרים שנקבעו באימון מדידות חדשות דוגמא כיצד מחשב יוכל לזהות את אוסמא בין לאדן? בשלב האימון ניתן למחשב תמונות רבות של אוסמא שנתייג אותן כקטגוריה '', ותמונות רבות של אנשים אחרים שנתייג אותן כקטגוריה '-'. בשלב מיצוי המאפיינים נבחר מאפיינים שקשה לזייף כמו המרחק בין העיניים והמרחק בין קצות השפתיים.

222 מיצוי מאפיינים מדידות של אוסמא- '' o מדידות של לא אוסמא- '-' מסווג המדידות החדשות יהיה: אם המדידה החדשה בתוך האליפסה הסגולה אז החלט '' - זהו אוסמא. אם המדידה החדשה מחוץ לאליפסה הסגולה אז החלט '-' - זהו איננו אוסמא.