1 بنام خدا بهینه سازی شبیه سازی Simulation Optimization Lecture 6 روش های بهینه سازی شبیه سازی گرادیان مبنا Gradient-based Simulation Optimization methods 6- روش های گرادیان مبنا< سر فصل مطالب 2 شماره عنوان فصل 1-6 معرفی 2-6 براورد گرادیان تصادفی براوردگرهای گرادیان غیرمستقیم 1-2-6 2-2-6 3-6 روش تقریب تصادفی الگوریتم (RM) Robbins-Monro 1-3-6 الگوریتم Kiefer-Wolfowitz(KW) 2-3-6 3-3-6 واریانت های متداول 1
6- روش های گرادیان مبنا > منابع 3 منابع: Fu, Michael C; Handbook of Simulation Optimization, Springer, 2015, Chapters 5 &6 6- روش های گرادیان مبنا > معرفی ساختار مسئله در این بخش: برای مسائل بهینه سازی با متغیرهای تصادفی پیوسته در دسترس بودن گرادیان می تواند کارایی الگوریتم ها را به صورت چشم گیر بهبود بخشد 4 ولی در شرایط عدم قطعیت و زمانی که متغیرهای پاسخ خود تصادفی هستند براورد گرادیان های تصادفی خود چالش برانگیز است یا یافتن 2
6- روش های گرادیان مبنا > معرفی 5 مساله بهینه سازی زیر را در نظر بگیرید: که در آن و برای حل مساله باال می توان روش تقریب تصادفی (SA) که برگرفته شده از روش تندترین شیب در بهینه سازی غیر خطی قطعی است را به کار گرفت روش SA یک روش تکرار شونده است که در آن پارامترهای رابطه زیر تا زمان رسیدن به مقدار گرادیان تابع هدف برابر با صفر به روز می شود: 6- روش های گرادیان مبنا > معرفی 6 همگرایی با احتمال 1 نیازمند تحت شرایط متداول: است ولی با نرخی که سریع نیست و در عمل بعد از تعدادی تکرار برابر یک مقدار ثابت در نظر گرفته می شود که به صورت تئوریک تنها همگرایی ضعیف را تضمین می کند مقادیر اندازه گام می تواند مقادیر غیر قطعی باشد یعنی وابسته به مقادیر خروجی بدست آمده باشد زمانی که یک براوردگر نااریب باشد الگوریتم SA از نوع Robbins- (RM) Monro و در صورتی که به صورت مجانبی نااریب باشد از نوع (KW) Kiefer-Wolfowitz نامیده می شود 3
6- روش های گرادیان مبنا > معرفی 7 یک چالش برای استفاده الگوریتم SA در بهینه سازی شبیه سازی وابستگی نسبت به رفتار توالی است برای الگوریتم های KW یک چالش دیگر انتخاب توالی تفاضل است بسیار حساس به به عنوان مثال رفتار SA برای توالی انتخاب a است اگر مقدار a کوچک باشد الگوریتم با سرعت کمی به سمت جواب بهینه حرکت می کند و در صورتی که a بزرگ باشد نوسان ایجاد شده و منجر به پیشرفت بی ثبات می شود میانگین گیری تکراری که در آن بهینه براورد شده آخرین مقدار نیست و یک مقدار میانگین از مقادیر اخیرا بررسی شده است می تواند حساسیت را کاهش دهد 8 :Notation f: تابع چگالی احتمال J: تابع هدف θ: متغیر تصمیم هدف در این قسمت براورد است 4
> براوردگرهای گرادیان غیرمستقیم 9 براوردگرهای گرادیان غیرمستقیم یک براوردگر غیر مستقیم معموال دو ویژگی دارد: تنها مقدار تقریبی گرادیان حقیقی را براورد می کند تنها از ارزیابی تابع )بدست آمده از نمونه گیری( از سیستم مورد مطالعه استفاده می کند یک براوردگر گرادیان مستقیم سعی در براورد گرادیان حقیقی با استفاده از برخی تجزیه و تحلیل های مازاد بر ماهیت غیر قطعی مدل دارد در حقیقت در براوردگرهای غیر مستقیم با خروجی شبیه سازی همانند خروجی یک جعبه سیاه برخورد می شود به این معنا که 1( یعنی هیچ دانشی در خصوص ساختار مدل شبیه سازی )نظیر تابع توزیع احتمال متغیرهای ورودی( در دست نیست 2( هیچ تغییری در اجرای مدل شبیه سازی )نظیر تغییر تابع توزیع ورودی( نمی توان ایجاد کرد در الگوریتم های SA براوردگرهای غیرمستقیم مربوط به الگوریتم های KW و براوردگرهای مستقیم مربوط به الگوریتم های RM می شوند 10 > براوردگرهای گرادیان غیرمستقیم< تفاضل محدود تفاضل محدود سرراست ترین روش برای براورد گرادیان استفاده از روش تفاضل محدود است در این روش مقدار هر جزء از θ به صورت مجزا اغتشاش داده می شود در حالیکه سایر اجزا در مقدار اسمی خود قرار دارند اگر مقدار اغتشاش خیلی کوچک باشد براورد تفاضل بدست آمده دارای نویز زیاد خواهد بود زیرا خروجی مقدار تصادفی است از اینرو یک trade-off بین اریبی و واریانس وجود دارد از آنجا که مقدار اغتشاش برای هر جزء بصورت جداگانه تعیین می شود این روش برای مسائل با ابعاد بزرگ سخت خواهد بود ساده ترین براوردگر تفاضل محدود براوردگر گرادیان تفاضل یک طرفه است که در آن i امین جزء به صورت زیر است: 5
> براوردگرهای گرادیان غیرمستقیم< تفاضل محدود 11 i تفاضل محدود براوردگر دقیق تر براوردگر صورت زیر است: به جزء امین آن در که است طرفه دو متقارن تفاضل این براوردگر در روش KW استفاده می شود این براوردگر دقیق تر است ولی نیازمند 2d براورد از تابع هدف برای براورد گرادیان است در حالیکه در براوردگر یک-طرفه نیاز به 1+d براورد تابع است 12 > براوردگرهای گرادیان غیرمستقیم< اغتشاش همزمان simultaneous perturbation stochastic approximation (SPSA) اغتشاش همزمان این روش برای مسائل با ابعاد باال طراحی شده است زیرا تعداد دوباره سازی های شبیه سازی مورد نیاز برای ایجاد یک براوردگر مستقل از بعد بردار پارامترها است در این روش i امین جزء از براوردگر گرادیان به صورت زیر است: یک بردار d بعدی اغتشاش است که بصورت عمومی که در آن فرض می شود iid است در این براوردگر C یک ماتریس قطری شامل مجموعه تفاضل ها برای هر جزء با مقادیر قطر اصلی است 6
> براوردگرهای گرادیان غیرمستقیم< اغتشاش همزمان 13 simultaneous perturbation stochastic approximation (SPSA) اغتشاش همزمان بنابراین این براوردگر تنها نیازمند دو براورد تابع مستقل از اندازه بعد فضای جواب d است از آنجا که در هر تکرار d عدد تصادفی باید ایجاد شود تا اغتشاش Δ را ایجاد نماید در صورتی که براورد تابع )اجرای شبیه سازی( از نظر محاسباتی هزینه بر نباشد این روش نسبت به روش تفاضل محدود از نظر محاسباتی برتری ندارد نیازمندی اساسی بر مقادیر اغتشاش جهت تضمین همگرایی با احتمال 1 این است که هر جزء دارای میانگین صفر و معکوس گشتاور دوم محدود باشد بنابراین توزیع نرمال مجاز نیست و متداول ترین تابع توزیع تابع برنولی متقارن است که در آن مقادیر اغتشاش مقادیر مثبت و منفی با احتمال 05 می گیرند 14 > براوردگرهای گرادیان غیرمستقیم< اغتشاش همزمان simultaneous perturbation stochastic approximation (SPSA) اغتشاش همزمان یک براوردگر گرادیان مشابه برای استفاده در الگوریتم SA براوردگر با جهت تصادفی است که در آن i امین جزء به صورت زیر است: به جای تقسیم شدن بر جزء اغتشاش جزء تفاضل در عبارت تفاضل ضرب شده است بنابراین تابع توزیع نرمال برای توالی اغتشاش قابل بکارگیری است و شرط همگرایی تبدیل به محدود بودن گشتاور دوم در کنارمیانگین صفر می شود 7
در صورت موجود بودن دارای مزایای زیر هستند: 15 آنها عموما نااریب هستند که منجر به نرخ همگرایی سریع تر می شود آنها نیاز برای تعیین مقادیر مناسب برای توالی تفاضل محدود را حذف می کنند که منجر به افزایش درستی براوردگر می شود آنها عموما از نظر محاسباتی کاراتر هستند خروجی Y نویسیم: متغیرهای از انتظار مورد مقدار قالب در را می زیر صورت به تصادفی که در آن N یک عدد ثابت محدود است 16 روش های مختلف براورد گرادیان مستقیم بر مبنای نحوه تعریف وابستگی به θ به دو دسته زیر تقسیم می شوند: نمونه )مسیر( مبنا- (pathwise) Sample مقیاسی )توزیعی(- (distributional) measure برای بدست آوردن مقدار مورد انتظار را با استفاده از آنچه قانون unconscious statistician نامیده می شود به صورت زیر می نویسیم: که در آنها و به ترتیب تابع توزیع Y و X هستند یعنی به مدل شبیه سازی متغیرهای تصادفی ورودی با توابع توزیع معلوم داده شود و نمونه هایی از متغیرهای تصادفی خروجی ایجاد نمود که به دنبال یافتن تابع توزیع مشخص برای آن ها هستیم 8
17 برای سادگی از این پس فرض می شود پارامتر θ یک اسکالر است زیرا حالت بردار می تواند از طریق در نظر گرفتن هر جزء بصورت جداگانه مدیریت شود با در نظر گرفتن متغیر تصمیم در عملکرد نمونه روش تحلیل اغتشاش Analysis) (Perturbation و با در نظرگرفتن آن در تابع توزیع روش نسبت درستنمایی Ratio) (Likelihood )که با نام تابع امتیاز Score Function نیز شناخته می شود( بدست می آید در حالت عمومی زمانیکه متغیر تصمیم یک بردار است ممکن است برخی اجزاء عملکرد نمونه و برخی در تابع توزیع قرار گیرند و یک روش ترکیبی ایجاد شود در 18 را تابع توزیع چگالی برای کلیه متغیرهای تصادفی ورودی تعریف می کنیم با مشتق گرفتن از E[Y(X)] و فرض مجاز بودن جابجایی انتگرال و مشتق دو حالت زیر نوشته می شود: که در آن بعد x و u برابر N است همچنین فرض می کنیم یک عدد تصادفی u یک متغیر تصادفی x را ایجاد نماید 9
19 برای سادگی در ابتدا فرض می کنیم که تنها X1 وابسته به متغیر تصمیم است و X1 بصورت مستقل از سایر متغیرهای تصادفی ورودی ایجاد می شود بنابراین برای حالت دوم از قانون زنجیر برای نوشتن رابطه بصورت زیر استفاده می کنیم: به بیان دیگر براوردگر بصورت زیر نوشته می شود: این رویکرد Analysis(IPA) Infinitesimal Perturbation نامیده می شود 20 فرض می شود X1 دارای pdf حاشیه ای مابقی متغیرهای تصادفی ورودی شود بنابراین استقالل فرض شده نتیجه می دهد: نوشته می شود: و pdf مشترک برای که وابستگی به θ ندارند در نظر گرفته و رابطه اول به صورت زیر در واقع براوردگر به صورت زیر تبدیل می شود: 10
21 از آنجا که عبارت یک تابع شناخته شده در آمار با عنوان تابع امتیاز است این روش با عنوان روش تابع امتیاز شناخته می شود نام دیگر این روش نسبت درستنمایی از تابع نسبت درستنمایی به صورت زیر گرفته شده است: که زمانیکه نسبت به θ مشتق گرفته می شود به صورت زیر نوشته می شود: 22 11
23 - مشتق معیار 24 یک متغیر تصادفی نمایی با میانگین θ و pdf به مثال 1: فرض می کنیم شرح زیر باشد: جهت ایجاد اعداد تصادفی از رابطه زیر استفاده می شود: که در آن u یک عدد تصادفی است 12
25 مثال 1 )ادامه(: با مشتق گیری از هر دو عبارت داریم: توجه شود که x=θ نقطه ای است که در آن عالمت عوض می کند مثال 1 )ادامه(: روابط پایین به ترتیب مربوط به براوردگرهای LR/SF و IPA هستند: 26 13
27 آنگاه داریم: مثال 2: فرض می کنیم که در آن تابع δ مستقیم به صورت مشتق تابع step به صورت زیر تعریف شده است: 28 مثال 3: شبکه فعالیت تصادفی یک شبکه فعالیت تصادفی بوسیله یک گراف جهت دار بدون دور شامل M گره و N کمان جهت دار که نشان دهنده فعالیت ها هستند نمایش داده می شود زمان فعالیت نشان داده می شوند بدون از دست ها بوسیله متغیرهای تصادفی دادن کلیت گره 1 بعنوان مبداء و گره M بعنوان مقصد مشخص می شود یک مسیر P شامل کمان های جهت دار است که از مبدا به مقصد می روند فرض می کنیم نشان دهنده مجموعه کلیه مسیرها از مبداء به مقصد و نشان دهنده مجموعه کمان ها در مسیر بهینه مرتبط با طول پروژه Y )کوتاهترین یا بلند ترین مسیر وابسته به مساله( باشد یعنی: که در آن خود یک متغیر تصادفی است به دنبال براورد آن θ یک پارامتر در تابع توزیع زمان های فعالیت ها است هستیم که در 14
29 مثال 3 )ادامه(: شبکه فعالیت تصادفی بعنوان مثال یک شبکه با 5 گره و 6 کمان مطابق شکل در نظر گرفته می شود در این وجود دارد اگر طوالنی ترین شبکه 3 مسیر مسیر معیار عملکرد باشد آنگاه: 30 مثال 3 )ادامه(: شبکه فعالیت تصادفی برای یک حالت خاص و pdf و cdf برای به ترتیب با و نشان داده می شود برای سادگی فرض می شود زمان های کلیه فعالیت ها مستقل است واضح است که طول مسیرها در به صورت کلی مستقل نیست فرض می کنیم θ پارامتر توزیع برای یک باشد آنگاه براوردگر IPA به صورت زیر است: 15
31 مثال 3 )ادامه(: شبکه فعالیت تصادفی براوردگر LR/SF به صورت زیر است: IPA اگر پارامتر در کلیه بدست می آید: براوردگر آنگاه باشد موجود توابع زنجیر قانون اعمال با 32 مثال 3 )ادامه(: شبکه فعالیت تصادفی که در آن براوردگرهای LR/SF با اعمال قانون ضرب مشتق برای توزیع ورودی مربوطه اعمال استقالل که اجازه می دهد تا توزیع مشترک در قالب ضرب توزیع های حاشیه ای بیان شود بدست می آیند به صورت کلی براوردگرهای LR/SF بوسیله رابطه زیر ارائه می شوند: 16
33 مثال 3 )ادامه(: شبکه فعالیت تصادفی که θ میانگین توزیع نمایی برای یک یا برای این مثال حالت های مختلف برایθ=10 کلیه زمان های فعالیت است نشان داده می شود حالت 1: θ میانگین زمان اولین فعالیت است یعنی در مسیر بحرانی قرار زیرا براوردگر IPA برابر است با دارد براوردگر LR/SF برابر است با حالت 2: θ میانگین زمان دومین فعالیت است یعنی براوردگر IPA برابر 0 است زیرا بر مسیر بحرانی قرار ندارد براوردگر LR/SF برابر است با 34 زیرا همواره بر مسیر مثال 3 )ادامه(: شبکه فعالیت تصادفی حالت 3: θ میانگین زمان فعالیت ششم است یعنی براوردگر IPA برابر است با بحرانی قرار دارد براوردگر LR/SF برابر است با حالت 4: θ میانگین زمان کلیه فعالیت ها است یعنی براوردگر IPA برابر است با براوردگر LR/SF برابر است با 17
35 مثال 4: مساله صف با یک خدمت دهنده فرض می کنیم بازه زمانی بین ورود مشتری (1-i) و مشتری i و زمان خدمت دهی به مشتری i و زمان حضور در سیستم )زمان حضور در صف و زمان خدمت دهی( برای مشتری i باشد معیار عملکرد متوسط زمان حضور در سیستم برای N است θ بعنوان پارامتر در تابع توزیع زمان خدمت مشتری اول دهی در نظر گرفته می شود فرض می شود سیستم بصورت خالی آغاز به کار می کند بنابراین زمان اتمام N خدمت دهی کامال به وسیله N اولین بازه های ورود و N اولین زمان خدمت دهی مشخص می شود فرض می شود پروسه ورود به سیستم مستقل از زمان خدمت دهی و نیز مستقل از یکدیگر است ولی لزوما دارای تابع توزیع یکسان نیست و pdf و cdf برای به ترتیب با و نشان داده می شود زمان حضور مشتری در سیستم با استفاده از رابطه زیر نشان داده می شود: 36 مثال 4 )ادامه(: مساله صف با یک خدمت دهنده براوردگر IPA از طریق مشتق گیری به صورت زیر بدست می آید: بنابراین براوردگر IPA بدست می آید: زیر رابطه از سیستم در حضور زمان متوسط مشتق برای که در آن M تعداد دوره های مشغول بودن خدمت دهنده و دریافت کننده خدمت در m امین بازه شلوغ است اندیس آخرین مشتری 18
37 مثال 4 )ادامه(: مساله صف با یک خدمت دهنده برای براوردگرهای LR/SF از این واقعیت استفاده می شود که زمان های بین دو ورود و زمان های خدمت دهی به صورت مستقل ایجاد می شوند بنابراین pdf مشترک برای متغیرهای تصادفی ورودی از طریق حاصلضرب pdf برای توزیع زمان های ورود مشترک و توابع توزیع خدمت دهی با استفاده از رابطه زیر بدست می آید: که در آن g تابع pdf اشتراکی از زمان های بین دو ورود است بنابراین براوردگر LR/SF بوسیله رابطه زیر بدست می آید: 38 مثال 4 )ادامه(: برای حالت 10=θ که در آن θ میانگین توزیع نمایی برای دو حالت است حالت اول اولین زمان خدمت دهی و حالت دوم کلیه زمان های خدمت دهی با در نظر گرفتن 5=N که اولین 5 ورود در زمان های 10,20,30,40,50=t رخ داده است یعنی 5,,1,2=i و زمان های خدمت دهی به صورت زیر است: برای این مقادیرتمام 5 مشتری در دوره شلوغ قرار دارند یعنی به جز اولین مشتری کلیه مشتری ها باید در صف منتظر باشند مقادیر خروجی به شرح زیر است: 19
39 مثال 4 )ادامه(: حالت 1: θ میانگین اولین زمان خدمت دهی است یعنی براوردگر IPA برابر است با براوردگر LR/SF برابر است با حالت 2: θ میانگین کلیه زمان های خدمت دهی است یعنی براوردگر IPA برابر است با براوردگر LR/SF برابر است با 40 روش تقریب تصادفی (SA) Stochastic Approximation روش تقریب تصادفی یک الگوریتم جستجوی تکرار شونده است که می تواند به عنوان همتای تصادفی برای روش تندترین شیب در نظر گرفته شود روش های کالسیک در این حوزه دو روش (RM) Robbins Monro و (KW) Kiefer Wolfowitz هستند مساله بهینه سازی زیر را در نظر بگیرید: که در آن هدف یافتن یک توالی از است که به بهینه )محلی( همگرا باشد 20
41 روش تقریب تصادفی (SA) Stochastic Approximation با استفاده از رابطه زیر: که در آن یک تصویر از x در فضای شدنی است در صورتیکه اندازه حرکت براوردی از گرادیان و خروجی است که در آن N زمان توقف است و جواب بهینه در زمان توقف است اگرچه الگوریتم ارائه شده در SA ساده است ولی انتخاب توالی براورد گرادیان اپراتور پروجکشن و خروجی بر عملکرد الگوریتم دارد اندازه حرکت هر یک تاثیر زیادی 6- روش های گرادیان مبنا > روش تقریب تصادفی< Robbins-Monro (RM) 42 الگوریتم (RM) Robbins-Monro در این الگوریتم از روش های براورد گرادیان مستقیم استفاده مناسب پارامترها نرخ همگرایی مجانبی برای این روش شود و می است انتخاب با این الگوریتم برای حل مساله یافتن ریشه ارائه شد که در آن تابع M(x) از نوع مقدار مورد انتظار است فرض می شود به دنبال یافتن ریشه معادله زیر هستیم: M(x)=α و این معادله دارای ریشه منحصر به فرد x=θ است فرض می شود مقادیر M(x) در دست نیست و به جای آن متغیر تصادفی Y(x) که در آن M(x)=E[Y(x)] در دست است ساختار الگوریتم تکرار شونده ارائه شده به صورت زیر است: اثبات شده است که جواب بدست آمده از این رابطه دارای همگرایی 2^L است 21
6- روش های گرادیان مبنا > روش تقریب تصادفی< Robbins-Monro (RM) 43 الگوریتم (RM) Robbins-Monro در ادامه ثابت شد که با فرض اینکه یک در صورتی که توالی دست آمده باشد و شرایط زیر برقرار باشد: براوردگر گرادیان از رابطه یعنی باشد نااریب به آنگاه زمانیکه است یک انتخاب متداول همچنین مقادیر و به معنای همگرایی مربع میانگین که در آن و است که در آن یک انتخاب متداول است 44 6- روش های گرادیان مبنا > روش تقریب تصادفی< Kiefer Wolfowitz (KW) الگوریتم (KW) Kiefer Wolfowitz این روش با عنوان gradient-free یا stochastic zeroth-order method نیز شناخته می شود زیرا تنها نیازمند معیارهای نویزی عملکرد است و به اطالعات اضافی در خصوص ماهیت سیستم یا توابع توزیع متغیرهای ورودی نیاز ندارد پروسه تکرار شونده KW به شرح زیر است: که در آن گرادیان با استفاده از روش تفاضل محدود متقارن براورد می شود و تحت شرایط مشخص دارای نرخ همگرایی مجانبی است همچنین می توان از اعداد تصادفی مشترک (CRN) جهت کاهش واریانس براورد استفاده کرد 22
6- روش های گرادیان مبنا > روش تقریب تصادفی< Kiefer Wolfowitz (KW) 45 اگر توالی الگوریتم (KW) Kiefer Wolfowitz قضیه 2: با فرض اینکه شده باشد و شرایط زیر برقرار باشد: از رابطه اسالید قبل ایجاد 6- روش های گرادیان مبنا > روش تقریب تصادفی< Kiefer Wolfowitz (KW) 46 الگوریتم (KW) Kiefer Wolfowitz که در آن آنگاه زمانیکه یه معنای همگرایی در احتمال است 23
6- روش های گرادیان مبنا > روش تقریب تصادفی< Kiefer Wolfowitz (KW) 47 در ناحیه همواری باشد دارد اگر و الگوریتم (KW) Kiefer Wolfowitz عملکرد KW بستگی به انتخاب توالی در ناحیه کوچک باشد آنگاه نرخ همگرایی کند خواهد بود از سوی دیگر اگر و بزرگ باشد الگوریتم دچار نوسان خواهد شد پرشیبی واقع شده باشد و خیلی کوچک باشد براورد گرادیان با استفاده از روش تفاضل محدود همچنین اگر شدیدا نویزی خواهد بود KW به بعدهای باالتر توسعه داده شده است و دو گرادیان متداول تفاضل متقارن و تفاضل رو به جلو هستند که i امین جزء آنها به صورت زیر تعریف می شود: 48 6- روش های گرادیان مبنا > روش تقریب تصادفی< Kiefer Wolfowitz (KW) الگوریتم (KW) Kiefer Wolfowitz حالت متقارن به 2d و حالت یک طرفه به 1+d براورد از تابع هدف نیاز دارد اگرچه حالت متقارن دارای هزینه همحاسباتی بیشتری است ولی نرخ همگرایی مجانبی آن در مقابل برای حالت یکطرفه است در مقایسه با الگوریتم RM الگوریتم KW دارای نرخ همگرایی بدتری است گرچه تحت شرایط خاصی نرخ همگرایی آن تا قابل افزایش است برای مسائل بهینه سازی شبیه سازی روش RM همواره قابل استفاده نیست زیرا نیازمند اطالعات مازادی است که ممکن است در دسترس نباشد الگوریتم KW الگوریتم ساده تری است ولی برای مسائل با ابعاد باال پر هزینه است و نیز نیاز به انتخاب مناسب توالی دارد 24
6- روش های گرادیان مبنا > روش تقریب تصادفی< واریانت های متداول 49 Kesten s Rule -1 در این الگوریتم از اندازه حرکت انطباقی استفاده می شود که در آن مقدار اندازه حرکت با پیشروی الگوریتم و با توجه به ویژگی های تابع هدف در نقطه جاری و میزان نزدیکی آن به جواب بهینه تنظیم می شود در این قانون اندازه حرکت زمانی که تغییر جهت در تکرار وجود داشته باشد کاهش داده می شود ایده این روش بر این مبناست که زمانی که تکرار در جهت قبلی پیش می رود نباید اندازه گام را کاهش داد تا سرعت همگرایی افزایش یابد ولی در صورتی که عالمت براورد تغییر می کند به این معناست که اندازه حرکت بزرگ است و الگوریتم در حال نوسان است بنابراین باید اندازه حرکت را کاهش داد و یا اینکه الگوریتم در نزدیکی جواب بهینه قرار دارد 50 6- روش های گرادیان مبنا > روش تقریب تصادفی< واریانت های متداول 25
6- روش های گرادیان مبنا > روش تقریب تصادفی< واریانت های متداول 2- میانگین گیری از تکرارها Averaging Iterates در این روش به جای تنظیم کردن اندازه حرکت مطابق با ساختار تابع از اندازه حرکت بزرگ تر استفاده می شود تا اطراف جواب بهینه نوسان ایجاد شود و میانگین گیری از تکرارها منجر به تقریب خوب برای جواب بهینه حقیقی خواهد بود برای اینکه این روش نتایج خوب ارائه دهد باید تکرارها حول نقطه بهینه به شیوه متعادل حرکت کنند و حوزه ای که در آنها حرکت انجام می شود با پیشروی الگوریتم کوچک تر شود در این روش حساسیت نسبت به اندازه حرکت اولیه کاهش می یابد در این الگوریتم از رابطه تکرارشونده RM استفاده می شود منتها در پایان به جای ارائه آخرین جواب به عنوان خروجی جواب بهینه بصورت زیر ارائه می شود: 51 این الگوریتم دارای نرخ همگرایی مشابه RM است 6- روش های گرادیان مبنا > روش تقریب تصادفی 52-3 مرزهای متغیر Varying Bounds ایده این روش بر این اساس است که هر چقدر فضای جوابی که در آن جستجو انجام می شود کوچک تر باشد نرخ همگرایی به جواب بهینه بیشتر است این الگوریتم بر مبنای ناحیه شدنی که با پیش روی الگوریتم بزرگ تر می شود طراحی شده است بنابراین یک توالی افزایشی از مجموعه های بسته است یعنی: همچنین اپراتور پروژکشن از به تغییر می کند در صورتیکه در این روش از یک فضای شدنی کوچک الگوریتم شروع به کار صورتیکه مشخص شود که جواب بهینه به این فضا تعلق ندارد شدنی را افزایش می دهد نکته مهم در این روش انتخاب مناسب توالی است می کند و در فضای 26
6- روش های گرادیان مبنا > روش تقریب تصادفی 53 6- روش های گرادیان مبنا > روش تقریب تصادفی 54 Simultaneous Perturbation Stochastic Approximation (SPSA) -4 مشابه الگوریتم های نوع SPSA KW تنها نیازمند مقادیر تابع هدف برای تقریب گرادیان بوده و الگوریتم ساده ای است SPSA مستقل از بعد فضای جواب تنها نیازمند دو براورد از تابع هدف در هر تکرار است که می تواند منجر به کاهش هزینه محاسباتی در مسائل با ابعاد باال گردد در این روش بردار x بصورت رندم در کلیه جهت ها دچار اغتشاش می شود و i امین جزء براورد گرادیان ساختار زیر را دارد: که در آن نشان دهنده عدم قطعیت است و اندازه حرکت تفاضل محدود و 27
6- روش های گرادیان مبنا > روش تقریب تصادفی 55 6- روش های گرادیان مبنا > روش تقریب تصادفی 56 اصالحات جدید در این بخش اصالحات جدید که بر بهبود عملکرد زمان محدود SA تاکید دارند ارائه می شود که شامل الگوریتم های زیر است: Scaled-and-Shifted Kiefer Wolfowitz (SSKW) Robust SA (RSA) Secant-Tangents AveRaged stochastic approximation (STAR- SA) 28
6- روش های گرادیان مبنا > روش تقریب تصادفی 57 Scaled-and-Shifted Kiefer Wolfowitz (SSKW) را به تعداد دفعات زیادی در طول و این الگوریتم به صورت انطباقی مقادیر الگوریتم تنظیم می کند تا با ساختار تابع و سطح نویز با هدف جلوگیری از همگرایی است به نحویکه تکرارها دارای پیشرفت کند منطبق شود ایده بر مبنای افزایش در صورت بزرگ بودن وجود دارد قابل توجه در راستای بهینه با گزینه کاهش افزایش داده می شود تا همچنین در صورتیکه جهت گرادیان نادرست شناسایی شود دارد در حالیکه SSKW و نویز را کاهش دهد توجه شود که KW تنها نیاز به انتخاب دو پارامتر نیاز به انتخاب یازده پارامتر دارد 6- روش های گرادیان مبنا > روش تقریب تصادفی 58 Scaled-and-Shifted Kiefer Wolfowitz (SSKW) 29
6- روش های گرادیان مبنا > روش تقریب تصادفی 59 Scaled-and-Shifted Kiefer Wolfowitz (SSKW) 6- روش های گرادیان مبنا > روش تقریب تصادفی 60 Scaled-and-Shifted Kiefer Wolfowitz (SSKW) 30
6- روش های گرادیان مبنا > روش تقریب تصادفی 61 Scaled-and-Shifted Kiefer Wolfowitz (SSKW) 6- روش های گرادیان مبنا > روش تقریب تصادفی 62 Robust Stochastic Approximation (RSA) این روش نسبت به انتخاب اندازه حرکت حساس نیست در این روش به که در آن آخرین جواب است به صورت زیر محاسبه می شود: جای که در آن برای کلیه مقادیر n مثبت است تحت RSA زمانیکه فرض می شود محدب است یک حد باال برای بدست آمده است با فرض اینکه وجود دارد به نحویکه برای کلیه آنگاه برای سیاست تکرار N گام : 31
6- روش های گرادیان مبنا > روش تقریب تصادفی 63 Robust Stochastic Approximation (RSA) برای حالت است با های وزن برابر یا میانگین که در آن از گیری تکرارها اندازه برابر گام طول این تعریف اندازه گام نیازمند ثابت بودن تعداد تکرار N است براورد همچنین می تواند شامل آخرین N-K+1 براورد بوده و به شکل زیر باشد: در این حالت اندازه حرکت به صورت زیر تعریف می شود: برای 0<θ 6- روش های گرادیان مبنا > روش تقریب تصادفی 64 Secant-Tangents AveRaged Stochastic Approximation (STAR-SA) این الگوریتم گرادیان را با استفاده از یک براوردگر ترکیبی براورد می کند این براوردگر ترکیب محدب از یک تفاضل محدود متقارن و میانگینی از دو براوردگر گرادیان مستقیم است: این الگوریتم نیازمند تابع و براورد گرادیان در دو نقطه برای هر است 32
6- روش های گرادیان مبنا > روش تقریب تصادفی 65 Secant-Tangents AveRaged Stochastic Approximation (STAR-SA) وزن ترکیب تاثیر زیادی بر عملکرد الگوریتم دارد و می تواند به نحوی انتخاب شود که واریانس براورد گرادیان را کمینه کند به نحویکه این واریانس از واریانس هر دوی براورد گرادیان تفاضل محدود متقارن و براورد گرادیان مستقیم بیشتر باشد اگر: که در آن و آنگاه STAR-SA از نظر معیار MSE در مقایسه با RM و KW برای توابع کوادراتیک ساده بهینه است و واریانس گرادیان STAR تحت شرایط مشخص کمتر از واریانس گرادیان RM و KW است 33