Support Vector Machines: A survey

Transcript

1 دانشکده فنی و مهندسی گروه مهندسی کامپیوتر : عنوان مروری بر ماشینهای بردار پشتیبان Support Vector Machines: A survey استاد مربوطه : دکتر جهانشاه کبودیان ارائه دهنده : مزدک فتاحی

2 چکیده استفاده از ماشینهای بردار پشتیبان (SVM) که توسط Vapnik ارائه شد بعنوان یکی از راه حلها در یادگیری ماشین و تشخیص الگو گسترش یافته است. SVM پیشگوییهای خود را با استفاده از ترکیبی خطی از تابع که Kernel بر روی مجموعهای از دادههای آموزشی با نام بردارهای پشتیبان عمل میکند انجام میدهد. روش ارائه شده توسط SVM با روشهای قابل مقایسه مانند Neural Network میکند. ویژگیهای یک SVM به مقدار زیادی به انتخاب برنامهریزی درجهی دوم متفاوت میباشد تعلیم SVM همواره مینیمم سراسری را پیدا kernel (QP) آن مربوط میشود. تعلیم SVM منجر به یک مسئلهی از نوع مقید میگردد که حل آن برای حجم زیادی از نمونهها میتواند با روشهای عددی بسیار مشکل باشد لذا برای ساده کردن حل این مسئلهی بهینهسازی روشهای متعددی ارائه گردیده که متناسب با نیاز قابل استفاده و پیادهسازی میباشند. در این مقاله ابتدا راجع مسئلهی یادگیری ماشین طبقهبندی و معرفی SVM بحث شده و سپس معادلهی مربوط به یادگیری در SVM بدست میآید. در پایان نیز تعدادی از روشهای حل این معادله ذکر میگردند. در این میان به کاربردها و بستههای کاربردی برای کار با SVM نیز اشاره گردیده است. کلمات کلیدی: SVM بردار پشتیبان بهینهسازی مقید طبقهبندی Classification

3 فهرست مطالب مقدمه مروری بر دستهبندی کنندهی 4...SVM 1-2- حالت جداییپذیر در حالته یا و جداییناپذیر غیرخطی SVM -3 جدایی ناپذیر غیر خطی کالسه بردار پشتیبان بردار پشتیبان به عنوان جداکنندهی چند 1-3- دادهه یا 2-3- ماشینه یا 2-3- ماشینه یا 4- راهحله یا بهینه جهت حل معادلهی QP برای...SVM : Decomposition Method 24...: SVM light Chunking SMO(Sequential Minimal Optimization) Core Vector Machines )Lagrangian SVM( LSVM -6-4 Reduced SVM Relevance Vector Machine انتخاب مجموعهی کاری کاربردهای...SVM تشخیص و شناسایی چهره تشخیص و شناسایی اشیاء تشخیص دستنوشته و ارقام... 36

4 4-1- تشخیص صحبت و گوینده بازیا یب تصاویر و اطالعات پیشبینی سایر کاربردها ابزارهای پیادهسازی... SVM MATLAB LIBSVM svm-struct-matlab 1- جمعبندی و نتیجهگیری پیوست پیوست...:2 44 مراجع

5 فهرست تصاویر شکل 1- مثالی از طبقهبندی تصاویر... 1 شکل 2 SVM - به عنوان یک ابر صفحه برای جداسازی خطی نمونهها در فضای دادهها... 4 شکل 3- تفکیک دادهها در فضا توسط ابرصفحهه یا مختلف... 1 شکل 4- با کاهش دقت نقاط آموزش تفکیککنندهای که از هر دو دسته بیشترین فاصله را دارد مناسبتر به نظر میرسد 1... شکل 1- جداسازی خطی در حالت دوبعدی... 1 شکل 6- جداسازی خطی در حالت سهبعدی... 1 شکل شکل - 1 نمایش بردارهای پشتیبان شکل 9- دادهه یا آموزشی در حالت جداییناپذیر شکل 12 انتقال مسئله از فضای دو بعدی به سه بعدی شکل 11- الف( یک زیر مسئلهی بهینهسازی که نقاط شرایط بهینه بودن را نقض کرده و داخل ناحیهی ±1 قرار میگیرند. ب( ناحیهی تصمیمگیری مجددا تعریف میشود. از آنجایی که هیچ نقطهای با α=0 در فاصلهی ±1 قرار ندارد لذا راه حل بهینه است. همانطور که دیده میشود حاشیه نیز کاهش یافته و شکل سطح تصمیمگیری متفاوت خواهد بود.] 14 [ شکل - 12 دو ضریب الگرانژ باید تمامی قیدهای مطرح شده در مسئله را مرتفع نمایند. قید نامساوی در مسئله سبب میشود که ضرایب در چهارچوب محدود شده و شرط تساوی سبب واقع شدن آنها روی خط قطری میگردد. بنابراین SMO شکل 13- باید مقدار بهینه را روی این قطعه خط قطری بدست آورد مسئلهیMEB شکل 14- دادهه یا شکل 11- داداهه یا آزمایشی تولید شده دستهبندی شده با...svm 42

6 1- مقدمه در حالت کلی یادگیری ماشین به دو شکل نظارت شده و نظارت نشده انجام میشود. بسیاری از روشهای یادگیری ماشین که به صورت نظارت شده عمل مینمایند به این صورت کار میکنند که مجموعهای از بردارهای ورودی مانند X={xn} و بردارهای خروجی متناظر با آنها دادههای آموزشی برای ورودی x جدید T={tn} t داده میشود. هدف این است که ماشین قادر باشد با استفاده از این را پیشبینی نماید.[ 6 ] در این راستا میتوان دو حالت متمایز را در نظر گرفت: رگرسیون) Regression ( که در آن t یک متغیر پیوسته است و طبقهبندی کردن( Classification ) که در آن t متعلق به یک مجموعهی گسسته میباشد. بسیاری از مسائل یادگیری ماشین اساسا در دسته دوم واقع میشوند و هدف تعلیم ماشین به گونهایست که ماشین بتواند بخوبی این دستهبندی را انجام دهد. بعنوان مثال فرض کنید که هدف طراحی و تعلیم ماشینی است که قادر به تشخیص تصویر چهره( face ) و غیر چهره (non-face) باشد. ورودی( یک بردار n این سیستم عمال کاری جز دستهبندی انجام نمیدهد. اگر برای هر x بعدی ورودی )در این مثال تصویر فرض کنیم )مثال بردار ویژگی خاصی که از یک تصویر استخراج شده است( ماشین باید قادر باشد بردارهای x که بعنوان دادههای تعلیمی هستند و در فضای n -بعدی به شکل نقاطی دیده میشوند را دستهبندی نمایند. شکل زیر این دستهبندی را برای ماشینی نمایش میدهد که قادر به تشخیص تصویر گربه از سایر تصاویر میباشد. شکل 1- مثالی از طبقهبندی تصاویر 1

7 در فرآیند یادگیری نیاز است که ابتدا سیستم تعلیم یافته و سپس بهازای مقادیر ورودی جدید تست شود. به شکل ریاضی مسئلهی یادگیری ماشین را میتوان به شکل یک نگاشت در نظر گرفت که طی آن ماشین با مجموعهای از نگاشتهای ممکن به شکل برچسب انتخاب. در واقع xi yi x f(x,α) تعریف میشود که در آن خود توابع f(x,α) α قابل تنظیم میباشند. فرض میشود که سیستم deterministic بوده و بهازای یک ورودی خاص توسط x α ماشین همواره یک خروجی مشخص برابر با یک ماشین تعلیم دیده f(x,α) (Trained Machine) و مقدار بایاس در آن باشد یک ماشین یادگیری میباشد. در اینجا بر حالتی تمرکز خواهیم داشت که پیشگویی زیر بیان میشود: بدهد. انتخاب αی انجام میدهد. بعنوان مثال یک شبکهی عصبی که و مناسب همان عملیاست که α y(x,w) توسط ترکیب خطی از تابع پایهی متناظر با وزنها به فرم Φm(x) که در آن Kernel M y(x, w) = w m ϕ m (x) = w T ϕ m=0 )1( wm پارامترهای مدل میباشند که وزن نامیده میشوند. در SVM توابع پایه به عنوان توابع استفاده میشوند که بهازای هر میباشد. xm در مجموعهی آموزشی داریم Φm(x)=K(x,xm) که در آن K(.,.) تابع Kernel تخمین وزنها در SVM بوسیلهی بهینهسازی ضوابطی حاصل میشود که به صورت همزمان سعی در مینیمم کردن تابع y(x,w) دارند. در نتیجه تعدادی از وزنها صفر میشوند که سبب میشود مدل خلوتی (Sparse Model) Kernel حاصل شود که مدیریت پیشگویی آن توسط رابطهی )1( و فقط وابسته به زیرمجموعهای از تابع باشد.[ 6 ] در سالهای اخیر استفاده از ماشینهای بردار پشتیبان( SVM ) بسیار مورد توجه قرار گرفته است. بطور تجربی نشان داده شده است که استفاده از SVM در کاربردهایی مانند تشخیص دستنوشتهها تشخیص چهره و... نتایج خوبی را حاصل نموده است. تا زمان ارائهی [3] استفاده از ماشینهای بردار پشتیبان تنها به گروه خاصی از محققین محدود میشد. علت این محدودیت در استفاده از SVM کندی الگوریتم آموزش برای این روش میباشد خصوصا در مورد مجموعههای آموزش بزرگ. به بیان دیگر الگوریتم آموزش SVM برای بسیاری از 2

8 مهندسین پیچیده و ارائه شده است. دشوار بوده است و به همین دلیل راهحلها و شیوههای جدیدی برای مواجه با این مسئله در ادامهی این مقاله و در بخش دوم مروری بر مفهوم دستهبندی که در SVM انجام میگیرد خواهیم داشت و مثالهایی از کاربردهای این دستهبندی کننده را ذکر مینماییم سپس در بخش سوم ابتدا راجع مسائل بهینهسازی مقید و حل آنها به روش ضرائب الگرانژ پرداخته و در ادامه مسئله مربوط به یادگیری در SVM را در سادهترین حالت به شکل یک مسئلهی برنامهریزی درجهی دوم فرموله مینماییم و در بخش سوم راجع به سایر حالتهای ممکن صحبت خواهیم کرد. در بخش چهارم تعدادی از راهحلها که برای محاسبهی کارآمد مسئلهی QP SVM در ارائه شدهاند معرفی میشوند و در بخش پنجم به ابزارهایی که برای پیادهسازی SVM طراحی گردیدهاند اشاره میگردد. در بخش ششم به کاربردهای SVM پرداخته و در پایان نیز در بخش هفتم به جمعبندی و نتیجهگیری خواهیم رسید. 3

9 2- مروری بر دستهبندی کنندهی SVM در 1919 ماشینهای بردار پشتیبان( Machines (Support Vector توسط آن یعنی SVM خطی SVM Vapnik ارائه گردید. در سادهترین فرم عبارتست از یک ابر صفحه که مجموعهی نمونههای مثبت و منفی را با حداکثر فاصله) margin )maximum از هم جدا نموده است. )شکل 2( شکل 2 SVM - به عنوان یک ابر صفحه برای جداسازی خطی نمونهها در فضای دادهها در شکل )3( نمونهای از دادههای تفکیکپذیر )جداییپذیر( در فضای دوبعدی دیده میشوند.)در ادامه گفته خواهد شد که این حالت سادهترین حالت در دستهبندی )طبقهبندی( دادهها میباشد که از کمترین پیچیدگی برخوردار میباشد و دادها در آن با استفاده از یک ابرصفحه به صورت خطی به دو دستهی کامال مجزا تفکیک میشوند ) همانطور که دیده می شود این دادهها را میتوان توسط چندین خط جداکننده )یا ابرصفحه در فضای n -بعدی( تفکیک و طبقهبندی نمود و در عین حال تمام این دستهبندیها نیز صحیح میباشند. در حالت کلی این مسئله را میتوان در فضای n -بعدی در نظر گرفت که در آن دادهها در دو دسته واقع شدهاند که این دو دسته به خوبی قابل جداسازی میباشند. در این حالت بجای خطوط جداکننده از ابر صفحات جداکننده (Hyperplane) استفاده خواهد شد. در اینجا سئوال این است که در میان این جداکنندهها کدامیک بهترین میباشد برای این منظور باید به مفهوم ریسکپذیری دقت نمود. در واقع در اینجا حالتی را میخواهیم انتخاب نماییم که بیشترین دقت را در تفکیککنندگی ارائه دهد یعنی با وجود مقداری خطا و جابجایی در دادهها تفکیککنندگی همچنان صحیح باشد. مثال حالتی را درنظر بگیرید که هرکدام از دادههای دارای حاشیهای از خطا باشند در این 4

10 شکل 3- تفکیک دادهها در فضا توسط ابرصفحههای مختلف حالت اگر ابرصفحهی جداکننده به اندازهی کافی از دادههای هر دسته دور نباشد سبب خواهد شد که با اندکی خطا دادها از مرز جدا کنندگی عبور نمایند. شکل 4 این حالت را نمایش میدهد. شکل 4- با کاهش دقت نقاط آموزش تفکیککنندهای که از هر دو دسته بیشترین فاصله را دارد مناسبتر به نظر میرسد همانطور که دیده میشود جدا کنندهای مناسب است که بیشترین فاصلهرا از هر دو دسته از دادهها داشته باشد. به عبارت دیگر سبب شود بیشترین حاشیهی ریسک ایجاد شود. بنابراین در مورد این ماشین که خروجی آن 5

11 برچسب گروهها )در اینجا 1- و 1+( میباشد هدف بدست آوردن ماکزیمم فاصله بین دستههای داده میباشد. این حالت به داشتن ماکزیمم حاشیه تعبیر میشود. در ارتباط با SVM میتوان مسئلهی طبقهبندی دادهها را در چند حالت مختلف بررسی نمود: 1- استفاده از ماشین بردار پشتبان خطی و وجود دو دسته داده: الف - دادهها دقیقا در دو دسته قرار گرفته باشند یعنی جداییپذیر باشند. ب - دادههای دو دسته قابل تفکیک به دو دستهی جدا از هم نباشند. 2 -ماشین بردار پشتبان غیرخطی: )Separable Data( (Nonseparable Data) 3- ماشین بردار پشتیبان برای تفکیککنندههای چند کالسه 1-2- حالت جداییپذیر سادهترین حالت حالتی است که ماشین به صورت خطی روی دادههای جداییپذیر آموزش دیده باشد. جالب توجه میباشد که معادالت حاصل از این حالت قابل تعمیم به حالت غیرخطی و جداییناپذیر نیز میباشد لذا این حالت اساس تعریف سایر حاالت میباشد. الزم به ذکر است که در این وضعیت فرض شده که دادهها دقیقا در دو دسته قرار دارند. yi در این حالت فرض میشود که مجموعهای از نمونههای آموزشی تفکیکپذیر وجود دارند که میتوان آنها را با برچسب زد. در این حالت نمونهها به شکل زوجهای مرتب متعلق به (xi,yi) بیان میشوند که در آن i=1,...,l و xi دارای مقادیر yi و R n {-1,1} میباشند.[ 1 ] همانطور که در شکل 3 دیده شد دادهها را میتوان توسط چندین خط جداکننده )یا ابرصفحه در فضای n -بعدی( تفکیک و طبقهبندی نمود. برای انتخاب بهترین ابرصفحهی جداکننده با توجه به مفهوم تعریف شده در مورد ماکزیمم حاشیه باید عمل نمود. در حالت خطی "حاشیه" به صورت فاصلهی ابر صفحه تا نزدیکترین نمونهی منفی و مثبت تعریف میشود.[ 4 ] میشود: هر خط تفکیک کننده در فضای 2 w 1 x 1 + w 2 x 2 + b = 0 )2( بعدی به شکل معادلهی خط زیر نوشته 6

12 شکل 1 این موضوع را برای نمایش میدهد: xi ها که در دو کالس با برچسبهای 1- و 1+ واقع شدهاند در فضای دو بعدی شکل 1- جداسازی خطی در حالت دوبعدی خط جداکننده با فرمول 2 نمایش داده میشود. و در فضای 3 بعدی به شکل زیر خواهد بود: w 1 x 1 + w 2 x 2 + w 3 x 3 + b = 0 )3( که در این حالت فرمول 3 نمایشدهندهی یک صفحه خواهد بود )شکل 6(. در حالت کلی و برای یک جداکننده از نوع ابرصفحه خواهیم داشت: w i x i + b = 0 i )4( 7

13 شکل 6- جداسازی خطی در حالت سهبعدی که در نمایش برداری به شکل زیر قابل بیان میباشد: که در آن u = w. x + b )1( w بردار وزن بردار عمود بر ابرصفحه و b مقدار bias ابرصفحهی جداکننده داشته و نزدیکترین نقاط بر روی صفحهی میباشد. در این نمایش u=0 u=±1 اشاره به خود قرار دارند. در واقع به فرض تفکیکپذیر بودن دو کالس دادهی مثبت و منفی بردارهای مرزی روی ابر صفحههای زیر قرار خواهند گرفت: ناحیهی بین این دو ابرصفحه حاشیه w. x + b = ±1 )6( (Margin) گفته میشود. شکل 1 بیانگر حالت دو بعدی با فرض منفی بودن مقدار میباشد: bias 8

14 شکل 1 همانطور که در شکل دیده میشود فضا به دو دسته از نمونههای با ویژگیهای زیر تقسیم میشود: w. x + b +1 for y i = 1 )1( w. x + b 1 )1( for y i = 1 میتوان فرمول فوق را به شکل زیر ترکیب نمود: y i (w. x + b) 1 0 )9( i در این حالت فاصله تا مبداء به صورت عمودی )نزدیکترین فاصله( برای نقاطی که روی ابر صفحهی قرار دارند برابر با : x.w+b=+1 1 b w )12( 9

15 و به شکل مشابه فاصله تا مبداء به صورت عمودی برای نقاطی که روی ابر صفحهی برابر با : x.w+b=-1 1 b w )11( خواهد بود.[ 5 ] از طرفی فاصلهی مبداء تا ابرصفحهی جداکننده برابر با : b w )12( قرار دارند میباشد. بنابراین کمترین فاصلهی بین این ابرصفحه تا هر یک از صفحات مذکور به شکل زیر خواهد بود: d + = d = 1 w )13( بنابراین حاشیهی مذکور یعنی فاصلهی بین دو ابر صفحهی مورد نظر به شکل زیر بدست میآید: d + + d = 2 w )14( به این ترتیب حداکثر شدن حاشیه میتواند به شکل معادلهی بهینهسازی مقید زیر بیان شود: min 1 2 w 2 subject to: y i (w. x + b) 1 0 i )11( برای حل این مساله سادهتر آن است که مساله بصورت دوگان( Dual ) مطرح و حل شود. برای بدست آوردن شکل دوگان مسئله ضرایب الگرانژ مثبت 10 αi 0 معادلهی زیر میرسیم که Primal Problem گفته میشود: در قیود ضرب شده و از تابع هدف کسر میشود در نتیجه به L p = 1 2 w 2 α i ( i y i (w. x + b) 1) (16)

16 شرایط Karush-Kuhn-Tucker (KKT) نقش مهمی را در مسائل بهینهسازی مقید بازی میکنند. این شرایط شرایط الزم و کافی برای داشتن پاسخ بهینه برای معادالت مقید را بیان میدارند و باید مشتق تابع نسبت به متغیرها برابر صفر باشد. با اعمال شرایط قرار داده شود خواهیم داشت: KKT روی Lp و اگر از Lp نسبت به w و b مشتق گرفته شده و برابر صفر w = α i y i x i i )11( 0 = α i y i i )11( )Lp( شرایط KKT به شکل زیر خواهند بود: در واقع در اینجا و برای Primal Problem L w p = w v α i y i x iv = 0 v = 1,, d v i )19( b L p = α i y i = 0 i )22( y i (w. x + b) 1 0 i = 1,, l α i 0 i ) 21( α i (y i (w. x + b) 1) 0 i ) 22( که از نتیجهی آن برای بدست آوردن دوگان مسئله )LD( استفاده شده است. شرایط KKT 11 هر گونه مسئلهی بهینهسازی مقیدی را )چه محدب و چه غیر محدب( باهر نوع قیدی برآورده میسازد. مسئلهی SVM یک مسئلهی محدب میباشد و برای مسائل محدب شرایط KKT شرایط الزم و کافی میباشند تا w,b,α بتوانند راهحل مسئله باشند. بنابراین حل مسئلهی SVM معادل است با یافتن یک راه حل برای شرایط KKT که از آن در

17 وL روشهای مختلفی برای یافتن راه حل SVM استفاده شده است. یک کاربرد از این شرایط این است که اگر w در روال آموزش تعیین شده و b با جایگذاری در معادلهی 16 خواهیم داشت : مشخص نشده باشد میتوان b را بدست آورد. L D = α i i 1 2 α iα j y i y j (x i. x j ) i )23( j نامیده میشود. که معادلهی دوگان 1 یا ماکزیمم Lp و LD هر دو از یک شرایط بدست آمدهاند لذا با محاسبهی مینیمم p ( که دوگان LD Lp میباشد( با شرط αi 0 میتوان به جواب رسید. برای هر نمونهی آموزشی xi( ) یک ضریب الگرانژ αi 0 αi>0 میباشد بردارهای پشتیبان یا "Support Vectors" وجود دارد. در حل مساله به نمونههایی که به ازای آنها گفته میشوند که بر روی ابر صفحات معادلهی )6( قرار میگیرند )شکل 1(. مسئلهی به دست آمده برای SVM یک مسئلهی بهینهسازی مقید درجهی دوم و محدب میباشد. شکل - 1 نمایش بردارهای پشتیبان 1 Dual Problem 12

18 قابل توجه میباشد که تمامی کارهایی که انجام میشود برای آن است که مسئله به یک مسئلهی بهینهسازی تبدیل شود که قیود آن قابل مدیریتتر باشند نسبت به ) 1 (و) 1 (. یافتن راه حل برای مسئلهی مطرح شده مستلزم روشهای عددی میباشد که بهازای حجم زیاد دادهها بسیار مشکل و زمانبر خواهد بود. در قسمتهای بعدی به راهحلهایی که برای کاهش پیچیدگی این محاسبات ارائه شده است اشاره خواهد گردید. جهت تکمیل این بحث روش ضرائب الگرانژ و شرایط آمده است. KKT برای حل مسائل بهینهسازی مقید در ضمیمهی 2 SVM -3 در حالتهای غیرخطی و جداییناپذیر در این بخش سایر حالتهای ممکن برای دستهبندی دادهها را بررسی مینماییم دادههای جدایی ناپذیر در این مورد فرض بر این است که دادهای موجود به سادگی قابل تفکیک به دو دسته نباشند.در واقع در این حالت که به واقعیت نیز نزدیکتر است دادهها با نویز همراه بوده و الزم است SVM برای غلبه بر این حالت مقداری عمومیسازی (generalization) گردد. این وضعیت با تعریف یک حاشیهی نرم( Margin (Soft قابل حل میباشد[ 9 ] زیرا اگر الگوریتم فوق برای حالت جداییپذیر به مجموعهای از عناصر جداییناپذیر اعمال شود راه حل ممکنی پیدا نخواهد شد. برای گسترش ایدهی مطرح شده در بخش قبلی به این حالت متغیری تحت عنوان در قیود مسئله تعریف میشود و به این ترتیب خواهیم داشت: متغیر مثبت کاهشی )کمبود( 2 x i. w + b +1 ξ i for y i = 1 )24( x i. w + b 1 + ξ i )21( for y i = 1 بنابراین برای هر خطایی که رخ میدهد هر ξ i 0 i )26( ξ i باید صورت جداگانه افزایش مییابد. بنابراین به عنوان i ξ i یک کران باال برای تعداد خطاهای آموزش میباشد. در نتیجه بهترین راه برای نسبت دادن یک هزینهی اضافی 2 Slack variable 13

19 برای خطاها تغییر تابع هدف برای به حداقل رسانیدن تابع w C( i ξ i ) k بجای w 2 2 C میباشد. مقدار توسط کاربر انتخاب میگردد. یک مقدار C بزرگ به معنی اعمال جریمهی بیشتر برای خطاها میباشد. تابع مطرح شده به ازای هر مقدار مثبت از k تابعی محدب میباشد خصوصا به ازای وk=2 1=k به یک مسئلهی برنامهریزی درجهی دوم تبدیل میشود. با محاسبهی دوگان تابع مشابه با حالت جداییپذیر به 21 میرسیم: Maximize: L D = α i i 1 2 α iα j y i y j (x i. x j ) )21( subject to 0 α i C, α i y i = 0 i )21( i j در این شرایط راه حل از طریق 29 ارائه میگردد: N s در 29 w = α i y i x i )29( اشاره به تعداد بردارهای پشتیبان دارد. بنابراین تنها اختالف با حالت ابرصفحهی بهینه در این است i=1 NS که در این حالت αi دارای کران باالی C میباشد.[ 5 ] 14

20 مسئلهی الگرانژ به شکل 32 خواهد بود: شکل 9- دادههای آموزشی در حالت جداییناپذیر primal L p = w C( ξ i i ) k α i {y i (x i. w + b) 1 + ξ i } i )32( μ i ξ i i ξ i که در آن μ i ضرائب الگرانژ میباشند که سبب مثبت شدن میگردند. با اعمال شرایط KKT بر مسئلهی primal حاصل )Lp( خواهیم داشت: L w p = w v α i y i x iv = 0 v = 1,, d v i )31( b L p = α i y i = 0 i )32( ξ i L p = C α i μ i = 0 )33( LD که با اعمال این شرایط در Lp پشتیبان برای این حالت میباشند. میتوان به ) 21 (رسید. پس از محاسبهی ضرائب الگرانژ α i C 0 بردارهای 2-3- ماشینهای بردار پشتیبان غیر خطی در حالتی که دادهها به سادگی از هم تفکیک نمیشوند یک تفکیککنندهی خطی نمیتواند موثر باشد. اما اگر دادهها را به فضایی با ابعاد بیشتر انتقال دهیم میتوان راه حلی برای تفکیک آنها به دست آورد. به عنوان مثال شکل 12 مثالی از این انتقال را نمایش میدهد. 15

21 شکل 12 انتقال مسئله از فضای دو بعدی به سه بعدی همانطور که دیده میشود پس این انتقال میتوان کالسهبندی را انجام داد. در حالتهای ذکر شده در بخشهای گذشته در واقع از حاصلضرب داخلی دادههای آموزشی ورودی در بردارهای پشتیبان )21( برای تشکیل جداکنندهی خطی به شکل ابرصفحه استفاده شده است. در اینجا ابتدا دادهها را به یک فضای اقلیدسی با ابعاد باالتر نگاشت نموده و سپس از ضرب داخلی عناصر بدست آمده استفاده مینماییم.[ 5 ] Φ: R d H )34( این فضای با ابعاد باالتر و کامال برداری فضای هیلبرت خوانده میشود.[ 12 ] بنابراین الگوریتم آموزش وابسته به این به شکل زیر تعریف کینم: ضرب داخلی در فضای H به شکل Φ(xj) Φ(xi). خواهد شد. اگر یک تابع هسته 3 K(x i, x j ) = Φ(x i ). Φ(x j ) )31( آنگاه در الگوریتم یادگیری تنها کافیست که بدون اینکه بطور صریح به Φ اشاره کنیم فقط از K استفاده نماییم. شرایط فوق بیانگر یک جداسازی خطی ولی در ابعاد باالتر میباشد Vapnik, Boser, Guyon and نشان دادهاند با این را دارا باشد هستهی مورد استفاده مناسب بوده و دادههای نگاشت و در صورتی که تابع هسته شرایط قضیهی 4 Mercer 3 Kernel Function 4 Mercer s Condition 16

22 جداییناپذیر در فضای اصلی در فضای نگاشته شده جداییپذیر خواهند بود و لذا جایگزینی هسته میتواند الگوریتمی غیرخطی را از الگوریتم خطی ذکر شده ایجاد نماید.[ 5,9 ] در زیر برخی از توابع Kernel پرکاربرد آمدهاند: K(x i, x j ) = (x i. x j + 1) p )36( K(x i, x j ) = e x i x j 2 2σ 2 )31( K(x i, x j ) = tanh(βx i. x j + δ) )31( به طور مشابه با داشتن هستههای ذکر شده دوگان مسئلهی بهینهسازی به شکل )41( خواهد بود: 0 < α i C, Maximize: L D = α i 1 2 α iα j y i y j K(x i, x j ) i i j )39( subject to 0 α i C, α i y i = 0 i )42( و همچنین به شکل مشابه بردارهای پشتیبان نمونههایی هستند که ضرایب الگرانژ متناظر آنها در رابطهی صادق باشند ماشینهای بردار پشتیبان به عنوان جداکنندهی چند کالسه در دنیای واقعی بسیاری از مسائل شامل دستهبندیهای چند کالسه میباشد و فقط به دستهبندیهای دودویی محدود نمیشود. راهحلهای مختلفی برای این دسته ارائه شده است. شکل 12 یکی از سادهترین راهحلها را که در آن از یک دستهبندی دودویی استفاده میشود نمایش میدهد.[ 9 ] عموما برای این دسته از کالسهبندیها از ترکیبی از روشهای 17

23 میباشد در این روش یک دسته به عنوان دودویی استفاده میشود. یک روش سادهی دیگر روش یکی در مقابل بقیه 1 دادههای مثبت و بقیه منفی فرض میشوند. [5] 4- راهحلهای بهینه جهت حل معادلهی QP برای SVM همانطور که دیده شد آموزش ماشین بردارهای پشتیبان منجر به حل مسئلهی بهینهسازی درجهی دوم زیر میشود: Minimize: W(α) = α i α iα j y i y j K(x i, x j ) i i j i, j {1,, l} تعداد نمونههای آموزشی l میباشد. αها برداری با (x i, y i ) )41( subject to 0 α i C, α i y i = 0 )42( متغیر میباشند و αها i نظیر به دادههای آموزشی α = [α 1,, α l ] T i l و نیز K: R n R n R تابع هسته و C ثابتی مثبت است. معادلهی فوق میباشد. با تعریف ماتریس بازنویسی نمود:] 16 [ به شکل Q (Q) ij = y i y j k(x i, x j ) میباشند با توجه به قیود ذکر شده بعنوان جواب میتوان مسئلهی فوق را به شکل زیر سختی حل مسئلهی minimize W(α) = α T αt Qα Subject to α T y = 0 0 α C1 )43( QP مطرح شده در اندازه ماتریس ایجاد شده میباشد)ماتریس Q( که عناصر آن عموما غیر صفر میباشند بنابراین حجم زیادی از حافظه نیاز است که بتوان این ماتریس و محاسبات مربوطه را در آن گنجانید. همچنین و... قادر به حل این مسئله به صورت مستقیم نخواهند بود. روشهای سنتی مانند روشهای نیوتنی و یا شبه- نیوتنی one-versus-rest classifiers 6 Quasi-Newton

24 مسئلهی بهینهسازی بردارهای پشتیبان فقط در صورتی میتواند به شکل تحلیلی حل شود که مجموعهی آموزش عناصر بسیار کمی داشته باشد و یا در مورد تفکیکپذیر زمانی که از قبل بدانیم که کدام عناصر از دادههای آموزشی Support Kernel از توابع SVM هستند. Vector استفاده مینماید. بسیاری از توابع Kernel به شکل برنامهریزی درجهی دوم فرموله میشوند. اگر m تعداد دادههای آموزشی باشد پیچیدگی مرتبهی زمانی برای یک مسئلهی برنامهریزی درجهی دوم از مرتبهی O(m 3 ) و پیچیدگی فضایی آن از مرتبهی حداقل درجهی دوم میباشد. در مثال دنیای واقعی معادلهی بهینهسازی SVM از نوع برنامهریزی درجهی دوم باید به صورت عددی محاسبه گردد. در مواردی با اندازه کوچک هر راه حلی که برای برنامهریزی خطی درجهی دوم از نوع محدب وجود دارد قابل استفاده میباشد. با توجه به ابعاد بسیار بزرگ مسئلهی QP ارائه شده در حالتهای مختلف در بخش قبل) LD ( که از SVM بدست میآید میتوان فهمید که این مسئله به سادگی و با روشهای حل بهینهسازی درجهی دوم قابل حل نمیباشد. مسئلهی درجهی دوم ارائه شده شامل ماتریسی میباشد که تعداد عناصر آن مربع تعداد عناصر مجموعهی آموزشی میباشد.. برای مسائل بزرگ روشهای و تکنیکهای مختلفی وجود دارد که در آنها بر خالف روش نیوتن که حل ماتریس Hessian مربوط به کل مسئله را درمحاسبات دخالت میدهد فقط قسمتی از ماتریس که در هر تکرار نیاز میباشد مورد استفاده قرار میگیرد.] 11 [ اساسا این راهحلها به صورت تکراری عمل نموده و در هر تکرار مجموعهای کوچک از متغیرها که به مجموعهی معروف است را انتحاب نموده و با توجه به این مجموعه مسئلهی QP کاری 1 ایدهی کلی به شکل مراحل اساسی زیر قابل بیان میباشند:[ 5 ] را حل مینمایند. توجه به شرایط بهینه بودن) KKT ( که راه حل باید آنرا دارا باشد. تعریف یک استراتژی برای رسیدن به حالت بهینه با کاهش یکنواخت دوگان تابع هدف با در نظر گرفتن -1-2 قیود مسئله. 3- تصمیمگیری برای یک الگوریتم تجزیه بطوریکه در هر زمان تنها بخشهایی از دادههای آموزش نیاز به مدیریت داشته باشند. برای کاهش پیچیدگی زمانی و فضایی روشهای مختلفی برای تخمین ماتریس Kernel )Williams and Seeger, 2001( Nystrom تخمین حریصانه (Smola and Scholkopf, 2000) کاهشیافته با استفاده از روش نمونهبرداری )2002 al., )Achlioptas et و تجزیهی ماتریس( 2001 Scheinberg, (Fine and ابداع شده است. از میان کارههای انجام 19 1 Working Set

25 شده روش Decomposition Method ]14[ از همه مهمتر میباشد. به همین سبب در قسمت بعد ابتدا این روش بررسی شده و سپس به تعدادی دیگر از روشها به صورت گذرا اشاره خواهد شد.: : Decomposition Method -1-4 در 1991 Osuna اثبات نمود که یک مسئلهی بزرگ QP میتواند به یک سری از زیر مسئلههای QP کوچکتر شکسته شود. تا زمانی که حداقل یک نمونه که شرایط KKT را محقق نمینماید)نقض مینماید( به نمونههای زیر مسئلهی قبلی اضافه شده هر مرحله کل تابع هدف را کاهش میدهد و نقطهای را که قیود را رعایت میکند نگهداری مینماید. بنابراین دنبالهای از زیر مسئلههای QP که همیشه حداقل یک عنصر را اضافه میکنند همگرایی را گارانتی مینماید. [4] الگوریتم کلی که در این روش استفاده میشود اساس بسیاری از روشهای دیگر میباشد. هر روش مبتنی بر تجزیه 3 1 ویژگی اصلی دارد:] 21 [ - نحوهی انتخاب مجموعهی کاری - نحوهی حل زیر مسئلهی ایجاد شده - شرایط پایان الگوریتم inactive این روش که توسط Osuna در ]14[ مطرح شده است مسئلهی بهینهسازی بدست آمده را به دو قسمت و active )یا همان )working set تقسیم مینماید. ]16[ در ]14[ بهینهسازی سراسری را تضمین نموده و میتواند در زمانی که حجم دادههای آموزشی بسیار باال میباشد کارآمد باشد. ایدهی اصلی در این الگوریتم حل زیر مسئلهها و بررسی شرایط بهینه بودن در هر تکرار میباشد. همچنین در این مقاله این الگوریتم برای کاربرد تشخیص چهره بکار رفته که تعداد نمونهها در آن نمونه بوده است. حافظهی مورد نیاز برای حل یک مسئلهی QP با ابعاد مثال ارائه شده در این مقاله )ماتریسی با ابعاد 12222*12222( و با فرض اینکه برای هر نمونه تعداد 1 بایت اختصاص داده شده باشد 20GB خواهد بود. برای ارائهی الگوریتم مطرح شده ابتدا 2 شرط مطرح میشود: : این شرایط به ما اجازه میدهد که به صورت محاسباتی در مورد بهینه شدن راه حل در 1- شرایط بهینه بودن 9 یک تکرار خاص تصمیمگیری نماییم Decomposition Method 9 Optimality Conditions

26 : اگر یک راهحل خاص بهینه نباشد این استراتژی راهی برای بهبود تابع هزینه ارائه میدهد. 2- استراتژی بهبود 12 این استراتژی عمدتا در ارتباط با متغیرهایی میباشد که شرایط بهینه بودن را نقض مینمایند. الگوریتم : Decomposition در هر تکرار αهای i مرتبط به مسئله به دو دسته تقسیم میشوند) B,N (. فرض کنید بتوان مجموعهی کاری B را طوری انتخاب نمود که B B l و همچنین به اندازهی کافی بزرگ باشد که بتواند شامل بردارهای پشتیبان باشد) 0 > i α (و نیز به اندازهای نیز کوچک باشد که انجام محاسبات روی آن مقدور باشد) توسط کامپیوتر(. عناصر مجموعهی B شرایط بهینه بودن را دارا هستند و سایر عناصر که این شرایط را نقض میکنند در مجموعهی N دستهبندی میگردند. با این شرایط الگوریتم به شکل زیر خواهد بود : 1- به صورت دلخواه نقطه را از مجموعهی دادهها انتخاب کنید. α j را با = 0 α i = 0, i B 2- زیر مسئلهای را که توسط متغیرهای B تعریف میشود حل کنید. -3 تا زمانی کهN j وجود دارد بگونهای که < 1 j g(x j )y ) l جایگزین نموده و زیر مسئلهی جدید را حل کنید. بعبارت دیگر یعنی تا زمانی که شرایط بهینه بودن نقض میشود )= ) i g(x i=1 α j u j K(x i, x j ) + b باید توجه نمود که از آنجایی که این الگوریتم به صورت تکهای تابع هدف را در هر تکرار بهبود میبخشد لذا دارای شکل 11- الف( یک زیر مسئلهی بهینهسازی که نقاط شرایط بهینه بودن را نقض کرده و داخل ناحیهی ±1 قرار میگیرند. ب( ناحیهی تصمیمگیری مجددا تعریف میشود. از آنجایی که هیچ نقطهای با α=0 در فاصلهی ±1 قرار ندارد لذا راه حل بهینه است. همانطور که دیده میشود حاشیه نیز کاهش یافته و شکل سطح تصمیمگیری متفاوت خواهد بود.] 14 [ Strategy for Improvement

27 نبوده و تابع هدف دارای کران میباشد )محدب بوده و توسط ناحیهی امکانپذیر محدود میباشد( و الگوریتم در دور 11 تعداد محدودی تکرار به مقدار بهینهی سراسری همگرا خواهد شد. شکل 11 تفسیر هندسی از روشی را نشان میدهد که الگوریتم برای تعریف مجدد سطح جدا کننده با افزودن نقاطی که شروط بهینه را نقض مینمایند بکار میبرد. در ]16[ روش فوق به شکل الگوریتم زیر آورده شده است : While (the optimality conditions are violated) Select q variables for the working set B. The remaining l-q variables are fixed at their current value. Decompose problem and solve QP-subproblem: optimize W(α) on B. Terminate and return α. از آنجایی که ماتریس Q positive-semidefinite میباشد و تمام قیود ذکر شده خطی میباشند لذا مسئلهی مورد نظر یک مسئلهی بهینهسازی محدب خواهد بود. برای این دسته از مسائل شرایط KKT شرایط الزم و کافی برای بهینه بودن میباشند. با توجه به قیود مسئله یعنی : Subject to α T y = 0 0 α C1 )44( ضرائب الگرانژ را به این ترتیب عالمتگذاری مینماییم: برای شرایط تساوی با به این ترتیب λ eq و برای کران باال λو up پایین با.λ lo α بهینه خواهد بود اگر λ lo λو up λ eq وجود داشته باشند بنابراین با اعمال شرایط KKT خواهیم داشت: g(α) + (λ eq y λ lo + λ up ) = 0 )41( i [1.. l]: λ i lo ( α i ) = 0 i [1.. l]: λ i up (α i C) = 0 λ lo 0 λ up 0 α T y = 0 0 α C1 )46( cycle

28 g(α) بردار مشتقهای جزئی در α است. برای این مسئله داریم: g(α) = 1 + Qα )41( همانطور که در الگوریتم مشخص است اگر شرایط بهینه بودن وجود نداشته باشد الگوریتم مسئله را میشکند و به حل مسئلهی کوچکتر میپردازد. با توجه به تقسیم نمونهها در دو دستهی B و N میتوان ماتریس Q و متغیرهای متناظر با NوB اندیسگذاری نمود: را نیز yوα α = α B α N y = y B y N Q = Q BB Q BN Q NB Q NN )41( در نتیجه میتوان مسئله را به شکل زیر باز نویسی نمود: T با توجه به تقارن Q داریم که Q NB = Q BN W(α) = α B T (1 Q BN α N ) α B T Q BB α B α N T Q NN α N α N T 1 )49( subject to: α B T y B + α N T y N = 0 0 α C1 )05( با توجه به اینکه متغیرهای مجموعهی N به صورت ثابت فرض میشوند لذا عبارت ثابت خواهد بود. مسئلهی به دست آمده یک مسئلهی بهینهسازی درجه دوم از نوع 1 2 α N T Q NN α N α N T 1 positive semidefinite مقداری میباشد که با توجه به کوچک بودن نسبی ابعاد مسئله با استفاده از روشهای مرسوم قابل حل میباشد. در این روال مهمترین فرایند انتخاب iαها برای تشکیل B میباشد توجه داریم که B در هر تکرار بهروز میشود. بنابراین سرعت روش حل میتواند وابسته به انتخاب صحیح مجموعهی کاری باشد. در خصوص همگرایی این روش در ]23[ یک حالت ساده از شرایط بهینه بودن برای مسئله فرض شده و سپس نشان داده شده است که این روش میتواند با رعایت شرایط بهینه بودن مفروض پس از تعداد محدودی تکرار به جواب بهینه همگرا شود. 23

29 : SVM light -2-4 در ]16[ روشی ارائه شده با عنوان SVM light آموزشی باشد از متغیرها با استفاده از روش که در آن تعداد ثابتی که میتواند هر عدد زوج کمتر از تعداد نمونههای Steepest Descent میشوند و زیر مسئلهی ایجاد شده با روشهای سنتی قابل حل میباشد. به صورت متقارن برای مجموعهی کاری انتخاب پس از انتخاب مجموعهی کاری باید از بین متغیرهای به گونهای انتخاب انجام شود که در تکرار فعلی بیشترین پیشرفت در بهبود تابع هدف ایجاد گردد. در ]16[ از روش Steepest Descent صفر استفاده مینماید. برای این منظور مسئلهی بهینهسازی زیر حل میشود: برای یافتن بهترین جهت نزولی با عنصر غیر q minimize v(d) = g(α t ) T d (51) همانطور که قبال اشاره شد نقطهی subject to: y T d = 0 d i 0 for i: α i = 0 d i 0 for i: α i = C (52) 1 d 1 {d i : d i 0} = q (53) g(α) بردار مشتقهای جزئی در α α t است. مسئلهی بیان شده نشان میدهد که جهت نزولی در مورد نظر میباشد. این روش مجموعهی کاری را با بیشترین شیب نزولی انتخاب مینماید. در ]22[ در خصوص همگرایی این روش بحث شده و آمده است که میتواند باشد. تعداد اعضای مجموعهی کاری هر عدد زوجی در این میان برخی روشهای دیگر نیز وجود دارند که با ایجاد تغییراتی در روشهای ذکر شده ایجاد شدهاند. بعنوان مثال در ]21[ روشی برای انتخاب مجموعهی کاری ارائه شده است که مبتنی بر روش Conjugate Gradient میباشد. همچنین در ]21[ نشان داده شده است که روش تجزیه با توجه به مجموعهی کاری انتخاب شده همیشه در پس از تعداد محدودی تکرار پایان مییابد و جواب بهینه را پیدا خواهد نمود. تفاوت این روش با روش انتخاب متغیرهای مجموعهی کاری میباشد. در کاری انتخاب میشوند ولی در این روش از SVM light SVM light از با استفاده از روش Steepest Decent Conjugate Gradient در روش عناصر مجموعهی استفاده مینماید.روش GC روشی کارا در حل مسائل 24

30 k ما- درجهی دوم نامقید است. در این روش فرض میشود که h(α) تابع هدف باشد بناب این جهت در تکرار d(k) خواهد بود: d(k) = h(α(k)) + β(k)d(k 1), k = 0,1,2, )14( β(0) = 0, β(k) = h(α(k)) 2 h(α(k 1)) 2, k = 1,2, )11( در ]21[ نشان داده شده است که این الگوریتم در تعداد محدودی تکرار متوقف خواهد شد. Chunking -3-4 Vapnik روشی را برای حل QP SVM مطرح نمود که به الگوریتم chunking معروف میباشد و اولین الگوریتم ارائه شده از این دسته میباشد. این روش براساس این واقعیت استوار است که مقدار در درجهی دوم با حالتی که از حذف سطرها و ستونهای ماتریس متناظر با ضرائب الگرانژ برابر صفر میباشند حاصل میشود معادل است. مسئلهی [4] QP اصلی میتواند به یک سری از مسائل QP بنابراین با اندازهی کوچکتر شکسته شود که هدف نهایی آن شناسایی تمام ضرائب الگرانژ غیر صفر و حذف ضرائب الگرانژ صفر میباشد. این روش سبب میشود که سایز ماتریس از توان دوم تعداد نمونههای آموزشی به حدود توان دوم تعداد ضرائب الگرانژ غیر صفر کاهش یابد ولی باز هم این روش نمیتواند برای مقادیر دادهی بسیار زیاد مناسب باشد زیرا گنجاندن این ماتریس کاهش یافته نیز در حافظه کار مشکلی میباشد. این روش نیاز به بهینه کردن تمام ضرائب الگرانژ غیر صفر دارد در عین حال ممکن است ماتریس ساخته شده به اندازهای بزرگ باشد که در حافظه گنجانده نشود. Kernel SMO(Sequential Minimal Optimization) -4-4 Sequential minimal optimization (SMO) آموزش ماشین بردارهای پشتیبان( SVM ) میباشد. این روش توسط الگوریتمی برای حل برنامهریزی درجهی دوم منتج شده در ضمن فرآیند )از John Platt )Microsoft Research در 1991 ابداع گردید. SMO به طور وسیعی برای تعلیم ماشین بردارهای پشتیبان بکار گرفته شده و توسط بستهی بسیار محبوب LIBSVM پیادهسازی شده است. انتشار SMO در 1991 سبب موج استقبال وسیعی توسط انجمن SVM گردید زیرا روشهای موجود برای حل SVM بسیار پرهزینه و پیچیده بودهاند.[ 13 ] 25

31 در حقیقت SMO الگوریتم سادهایست که به سرعت مسئلهی QP SVM را بدون هیچگونه ذخیرهسازی ماتریس و بدون استفاده از راه حل عددی بهینهسازی برنامه ریزی درجهی دوم حل میکند. SMO با استفاده از تئوریOsuna اقدام به تجزیهی مسئلهی اصلی به تعدادی زیر مسئله مینماید و به این ترتیب همگرایی روش را نیز تضمین مینماید. برخالف سایر روشهای پیشین SMO در هر مرحله کوچکترین مسئله را برای بهینهسازی انتخاب مینماید. برای مسئلهی QP 26 SVM استاندارد کوچکترین مسئلهی بهینهسازی ممکن شامل 2 ضریب الگرانژ میباشد زیرا ضرائب الگرانژ باید از قیود خطی تساوی تبعیت نمایند. در هر مرحله SMO دو ضریب الگرانژ را برای بهینه کردن انتخاب مینماید و مقدار بهینه را برای این ضرائب پیدا نموده و SVM را برای یافتن مقدار بهینه بهروز مینماید. مزیت روش SMO در این است که راه حل مسئله برای دو ضریب الگرانژ میتواند به صورت تحلیلی حاصل شود. بنابراین در سراسر راه حل از بهینهسازی QP [4] به صورت عددی پرهیز میگردد. بعالوه همانطور که گفته شد این روش نیازی به حافظه جهت ذخیرهسازی ماتریس ندارد بنابراین مجموعههای آموزشی بسیار بزرگ را نیز میتوان توسط این روش مدیریت نمود. الگوریتم SMO در بری آموزش ماشینهای بردار پشتیبان به طور کامل ارائه شده است. آموزش یک ماشین بردار پشتیبان مستلزم حل یک معادلهی بهینهسازی ازنوع برنامهریزی درجهی دوم بسیار بزرگ میباشد. میزان فضایی مورد نیاز برای SMO نسبت به اندازهی مجموعهی آموزش خطی میباشد که این خود به SMO اجازهی مدیریت مجموعههای آموزشی بزرگ را میدهد. با توجه یه اینکه در این روش از محاسبات ماتریسی اجتناب شده است لذا بین SMO مرتبههای خطی و دوم نسبت به اندازهی مجموعهی آموزشی قرار میگیرد در حالیکه در SVM استاندارد در میان مرتبههای دوم و سوم قرار میگیرد. در دنیای واقعی SMO میتواند بیش از 1222 بار از الگوریتم قطعهبندی استاندارد برایSVM سریعتر باشد.[ 4 ] در روش SMO [4] SMO در هر تکرار دو متغیر انتخاب شده و مسئله به صورت تحلیلی حل میشود بنابراین دو عنصر در وجود دارد] 11 [ یک روش آنالیزی برای حل مسئله با دو ضریب الگرانژ و یک روال اکتشافی برای انتخاب اینکه کدام ضرائب برای بهینهسازی انتخاب شوند حل مسئله برای دو ضریب الگرانژ برای محاسبهی این مسئله به ازای دو ضریب الگرانژ ابتدا باید محدودیتهای روی ضرائب را در نظر گرفت و سپس به محاسبهی مینیمم مقید شده پرداخت. با توجه به اینکه در این حالت فقط دو متغیر وجود دارد میتوان آنها را در دو بعد نمایش داد. قیدها نامساوی در مسئله QP SVM سبب قرار گرفت ضرایب در یک چهارچوب و قید مساوی مسئله سبب واقع شدن آنها روی یک خط )قطری از چهارچوب( می گردد)شکل 12(. بنابراین مینیمم مقید برای تابع هدف

32 روی این قطر واقع خواهد شد. قیدهای مسئله علت این نکته را که چرا دو ضریب الگرانژ حداقل تعداد ضریب برای بهینهسازی میباشد: انتخاب تنها یک ضریب سبب عدم برآورده شدن قیدهای مسئله میشود. انتهای قطعه خط قطری را برای دومین ضریب )بدون از دست دادن کلیت مسئله( برحسب ضریب α 2 نوشته میشود. شکل - 12 دو ضریب الگرانژ باید تمامی قیدهای مطرح شده در مسئله را مرتفع نمایند. قید نامساوی در مسئله سبب میشود که ضرایب در چهارچوب محدود شده و شرط تساوی سبب واقع شدن آنها روی خط قطری میگردد. بنابراین SMO باید مقدار بهینه را روی این قطعه خط قطری بدست آورد. برای نوشتن حدود خطها خواهیم داشت: همانطور که در داشت: y 1 y 2 : L = max(0, α 2 α 1 ), H = min(c, C + α 2 α 1 ) )16( y 1 = y 2 : L = max(0, α 2 + α 1 C), H = min (C, α 2 + α 1 ) )11( [25] نشان داده شده است پس از جایگذاری و گرفتن مشتق دوم از دوگان مسئلهی بهینهسازی خواهیم d 2 L D dα 2 = K(x 1, x 1 ) + K(x 2, x 2 ) 2K(x 1, x 2 ) )11( 27

33 که تعریف میکنیم: η = K(x 1, x 1 ) + K(x 2, x 2 ) 2K(x 1, x 2 ) )19( α 1 Kernel که مثبت یا منفی بودن η و و سایر αها i مقدار جدید بستگی به تابع مورد استفاده دارد. در اینجا میخواهیم با داشتن مقادیر قبلی برای : را محاسبه نماییم. با تعریف u به شکل زیر α 2 α 2 N u = y j α j K(x j, x) b j=1 )62( و تعریف Ei به عنوان خطا در نمونهی i -ام آموزشی: E i = u i y i )61( با جایگذاری در مشتق مرتبه اول خواهیم داشت: dl D dα 2 = ηα 2 + (y 2 (E 1 E 2 ) ηα 2 ) )62( α 2 new = α 2 + y 2(E 1 E 2 ) η )63( از مساوی صفر قرار دادن رابطهی فوق داریم: مقدار بهینهی محاسبه شده برای α 2 باید توسط قیدهای مسئله محدود گردد لذا خواهیم داشت: H if α new 2 H; α new,clipped new 2 = { α 2 if L < α new 2 < H L if α new 2 L )64( 28

34 با تعریف α 1 s=y1y2 جدید با توجه به α 2 جدید محاسبه میشود: α 1 new = α 1 + s(α 2 α 2 new,clipped ) )61( روش اکتشافی برای انتخاب ضرایب الگرانژ [4] شده برای افزایش سرعت همگرایی در SMO از روش اکتشافی برای انتخاب اینکه کدام ضرائب الگرانژ جهت بهینهسازی انتخاب شوند استفاده میکند. برای این کار از دو انتخاب اکتشافی مجزا برای ضرائب استفاده میشود. در الگوریتم ارائه از دو حلقهی متداخل استفاده شده است. در حلقهی خارجی در اولین اجرا تمام مجموعهی دادههای آموزشی را برای یافتن نمونهای که شرایط KKT را نقض نماید پویش مینماید. اگر نمونهای شرایط KKT را نقض نماید مناسب برای بهینهسازی خواهد بود. در[ 26 ] به دنبال ضریبی میگردد که شرایط زیر را نقض نماید: این موضوع به شکل واضحتری اشاره شده است و بیان نموده که حلقه خارجی α i = 0 => y i f(x i ) 1 )66( 0 < α i < C => y i f(x i ) = 1 )61( α i = C => y i f(x) 1 )61( در واقع این شرایط به همان شرایط KKT اشاره دارند. بعد از اولین تکرار حلقهی خارجی تکرار را برروی نمونههایی از ضرایب الگرانژ که بین C و 0 KKT قرار دارند) C و 0 نباشند مثال < α i < C 0( ادامه میدهد. مجددا هر نمونه با شرایط مقایسه شده و نمونهای که آنرا نقض نماید مناسب برای بهینهسازی خواهد بود. این بهینهسازی در حلقهی خارجی تا زمانی اجرا میشود که تمام این نمونههای مذکور شرایط KKT ε را با خطای برآورده سازند. در ادامه حلقه خارجی بازگشت نموده و تکرار را روی تمام مجموعهی آموزشی انجام میدهد. حلقه خارجی به طور مداوم تا زمانی که تمامی نمونههای آزمایشی شرایط KKT را با خطای ε برآورده سازند بین این دو انتخاب این جابجا میشود. بعد از انتخاب اولین ضریب توسط حلقهی خارجی دومین ضریب توسط حلقه داخلی و با تکرار بر روی ضرائب باقیمانده برای انجام بهینهسازی انتخاب میشود. ارزیابی تابع Kernel زمانبر میباشد لذا SMO از قدرمطلق اندازهی

35 گام (E 1 E 2 ) برای تخمین استفاده مینماید. از یک SMO cache برای نگهداری مقدار خطای نمونههای غیرمرزی) C < α i < 0( استفاده نموده و سپس از یک خطا برای تخمین اندازهی گام ماکزیمم استفاده مینماید. در صورتی که خطا E1 مثبت باشد نمونهای با حداقل خطا E2 انتخاب میگردد. در صورتی که E1 E2 انتخاب میگردد. در الگوریتم ارائه شده در [4] یک مرحلهی بهروزرسانی برای b در نظر گرفته شدهاست که در منفی باشد نمونهای با حداکثر [27] الگوریتم SMO آمده است که طی آن نیازی با بهروزرسانی b الگوریتم ارائه شده برای SMO در شده است. [4] نمیباشد. به صورت شبه کد آمده است. در [26] Core Vector Machines-0-4 در [2] روش CVM روشی بهینه برای نیز این الگوریتم به صورت سادهتری ذکر به عنوان روشی سریع برای آموزش SVM با دادههای با حجم بسیار باال مطرح شده است. SVM استاندارد دارای زمان آموزشی از مرتبهی زمانی O(m 3 ) و مرتبه پیچیدگی فضایی ) 2 O(m میباشد. m( اندازهی مجموعهی آموزش میباشد(. با مشاهدهی اینکه پیادهسازیهای تجربی SVM فقط تخمینی از راه حل بهینه را با روشهای تکرار ارائه میدهند در که هر متد روشهای [2] kernel Kernel با توجه به چنین تخمینهایی گسترش داده شده است. ابتدا نشان داده شده است به طور مشابه میتواند با مسائلهی MEB در هندسهی محاسباتی فرموله شود. سپس با انطباق یک الگوریتم موثر در تخمین MEB مقدار تخمینی بهینه با توجه به ایدهی core set به دست میآید. روش Core Vector Machine ارائه شده در [2] میتواند با kernelهای غیر خطی بکار رود و دارای پیچیدگی زمانی خطی از m و پیچیدگی فضایی مستقل از m میباشد. نتایج تجربی نشان داده است که در مقادیر زیاد دادهها دقت CVM به خوبی SVM میباشد و در عین حال میتواند با سرعت باالتر حجم زیادی از دادهها را پاسخگو باشد. نکته کلیدی در پیادهسازیهای تجربی SVM این است که مانند بسیاری از روشهای عددی فقط تقریبی از راه حل بهینه با استفاده از روشهای تکراری حاصل میشود. این روشهای تقریبی در بسیاری از مسائل محاسباتی مشکل در کامپیوتر کاربرد داشته و به طور وسیعی مورد استفاده قرار میگیرند. در این الگوریتم از مفهوم minimum enclosing ball (MEB) برای تخمین استفاده میشود. مسئلهی پوشش دهد محاسبه میکند. MEB ClarksonوBȈadoiu کوچکترین شعاعی را که میتواند نقاط یک نشان دادند که تقریبی از MEB میتواند با استفاده از مجموعه را Core Sets بدست آید. Set Core زیر مجموعهای از نقاط ورودی است که میتواند تقریب خوبی از جواب بهینه را از حل مسئلهی بهینهسازی روی این مجموعه حاصل نماید در واقع نقشی مشابه با CVM در Core Set Working Set الگوریتم Decomposition را بازی میکند. در 30

36 برای محاسبهی تقریبی از MEB به صورت زیر عمل میشود برای مجموعهی مفروض S={x1,x2,...,xm} که میباشد R d متعلق به xi نشان داده میشود عبارتست از کوچکترین حجمی که بتواند تمام نقاط حجمی به مرکز بوده و minimum enclosing ball که با MEB(S) S را شامل شود. اگر فرض شود که B(c,R) c و شعاع R باشد آنگاه برای B(c,(1+ ε)r) ε>0 تخمینی از MEB(S) خواهد بود اگر R rmeb(s) ε)r) S B(c,(1+ باشد.)شکل ) شکل 13- مسئلهیMEB الگوریتم ارائه شده توسط CVM برای بهینهسازی و یافتن بهترین جواب تقریبی برای مسئلهی بهینهسازی با بدست آوردن مجموعهای از بردارها با نام Coreها Vector پیادهسازی میشود. در این الگوریتم مرکز حجم با در تکرار برای مجموعهی t و شعاع آن با ct با St Rt نمایش داده میشود. برای 0<ε CVM به شکل زیر عمل میکند: ما- 1.Initialize S0, c0 and R0. 2.Terminate if there is no training point z such that ϕ(z) falls outside the (1 + ε)-ball B(ct,(1 +ε)rt). 3.Find z such that ϕ(z) is furthest away from ct. Set St+1 = St {z}. 4.Find the new MEB(St+1) from (5) and set ct+1 = cmeb(st+1) and Rt+1 = rmeb(st+1) using (3). 5.Increment t by 1 and go back to Step 2. 31

37 ϕ(z) تابع نگاشت میباشد. نقاطی که به مجموعهی Core Set اضافه میشوند Core Vector گفته میشود. جزئیات مراحل فوق در ]11[ آمده است. الگوریتم ارائه شده برای CVM برخالف سادگیاش ضمن گارانتی جواب تقریبی دارای زمان کوتاه و پیچیدگی فضایی کم نیز میباشد. 32 )Lagrangian SVM( LSVM -6-4 الگوریتم )Fung andmangasarian, 2003;Mangasarian and Musicant 2001( LSVM راه حل را با تکرارهای سریع محاسبه مینماید ولی این روش نیز در مواردی با Kernel m*m میباشد.[ 2 ] Reduced SVM-7-4 Reduced SVM در 2221 اقدام به ابداع روش Mangasarian و Lee مستطیل تصادفی از ماتریس غیرخطی نیاز به محاسبهی ماتریس معکوس با ابعاد یا RSVM Kernel نمودند. این روش از یک زیرمجموعهی استفاده مینماید.[ 2 ] RSVM یکی از جایگزینهای SVM استاندارد میباشد. انگیزهی پیدایش این روش مشکالت SVM استاندارد در مدیریت مجموعههای بزرگ دادهها با SVM با Kernel غیرخطی میباشد. این روش زیر مجموعهای از دادهها را بعنوان بردارهای پشتیبان انتخاب نموده و مسئلهی بهینهسازی کوچکتری را حل میکند. در [1] از RSVM نشان داده شده است که RSVM نیز به شکلی فرمول SVM خطی میباشد و همچنین 4 پیادهسازی مورد بحث قرار گرفته است. نتایج تجربی نشان میدهد که دقت RSVM اندکی از SVM استاندارد کمتر است ولی در مسائلی با حجم 12 ها هزار داده و یا با تعداد زیاد بردار پشتیبان RSVM میتواند مفید باشد. در مقایسه صورت گرفته است: [1] 1- پیادهسازیهای مختلف برای SVM خطی SVM -2 استاندارد با استفاده از تابع هزینهی درجهی دوم و خطی. دو در مواجه شدن با مجموعهای بزرگ از دادهها RSVM بعنوان راهحلی برای کاهش پیچیدگی محاسباتی و کاهش پیچیدگیهای مدل ارائه شده است. در در پایان این بخش به RSVM [3] Relevance Vector Machine QP و سپس به مسئلهی انتخاب مجموعهی کاری اشاره میگردد. Relevance Vector Machine -8-4 از دیدگاه نمونهبرداری و آماری مورد مطالعه قرار گرفته است. به عنوان توسعهای از SVM و نه روشی برای حل معادلهی اساسا روش SVM جهت بدست آوردن کارائی بهتر در کاربردهای عملی طراحی شده است. ولی این روش مشکالتی نیز دارد. در از [6] Non-Bayesian بودن این روش بعنوان بزرگترین مشکل آن اشاره شده است. در SVM به ازای

38 ورودی جدید خروجی مشخصی وجود دارد. مزایای زیادی در دانستن احتمال وقوع اعضای یک کالس وجود دارد. روش Relevance )که Vector Machine) RVM توسط Tipping )Microsoft زا) پیشبینی را انجام میدهد و همچنان کارائی باال و خلوت بودن SVM را حفظ مینماید.[ 6 ] RVM روشی است در یادگیری ماشین که با استفاده از استنباط Bayesian ارائه شده به صورت احتماالتی راهحلهای کم هزینهای را برای رگرسیون و طبقهبندی احتماالتی Classification) (Probabilistic ارائه میدهد. RVM فرم تابعی مشابه با SVM دارد ولی طبقهبندی احتماالتی را ارائه میکند.[ 11 ] 9-4- انتخاب مجموعهی کاری 12 [10] در به مسئلهی انتخاب مجموعهی کاری به عنوان یک مسئلهی مهم در روشهای مبتنی بر تجزیه 13 پرداخته شده است. در این مقاله روشی برای انتخاب مجموعهی کاری در روش تجزیهی مبتی برSMO ارائه شده است. در بسیاری از مسائل برای سادگی نمایش مسئلهی بهینهسازی مطرح شده در آموزش SVM به شکل زیر بیان میشود: که در آن min f(α) = 1 2 αt Qα e T α )69( subject to: 0 α i C, i = 1,, l, y T α = 0 )75( e آرائهای از 1 ها C کرانباالی متغیرها Q یک ماتریس l*l متقارن که در آن Qij=yiyjK(xi,xj) K(xi,xj) و عبارتست از تابع هستهی مورد استفاده. ماتریس Q عموما بسیار پر )خلوت نمیباشد( بوده و بسیار بزرگ میباشد به طوری که در حافطه قرار گرفتن آن مشکل میباشد. روشهای تجزیه مانند روشهای ذکر شده در این بخش اساسا در پی مدیریت این پیچیدگی میباشند. برخالف سایر روشهای بهینهسازی که در آنها تمام بردارα به صورت یکجا و در هر تکرار بهروز میشود روشهای مبتنی بر تجزیه فقط زیر مجموعهای از α را در هر تکرار بهروز رسانی مینمایند. این زیر مجموعه به مجموعهی کاری معروف میباشد و با B نمایش داده میشود. به این ترتیب بهروزرسانی B در هر تکرار سبب میشود که یک زیرمسئلهی کوچک در هر تکرار مینیمایز شود. همانطور که پیشتر اشاره شد اوج این روش در SMO میباشد که در هر مرحله B تنها دارای 2 عنصر میباشد. بنابراین در هر مرحله این مسئلهی دو متغیره به سادگی حل میشود. الگوریتم زیر روش تجزیه در SMO را نمایش میدهد: Working Set 13 Decomposition Methods

39 α 1-1 را به عنوان راه حل ممکن اولیه پیدا کن. K=1 α k اگر -2 B={i,j} {1,...,l} تعریف کن. راه حلی بهینه برای )41( میباشد متوقف شو در غیر اینصورت مجموعهی دوعنصری کاری را انتخاب کن. N {1,...,l)/B و α k B و α k N را به عنوان زیربرداری از مناظر با α k N و B min 1 α B 2 [α B T (α k N ) T ] [ Q BB Q BN ] [ α B T k ] [e Q NN α B e T N ] [ α B k ] N α N Q NB = 1 2 α B T Q BB α B + ( e B + Q BN α N k ) T α B + constant = 1 2 [α i α j ] [ Q ii Q ij ] [ α i Q ij Q jj α ] + ( e B + Q BN α k j N ) T + constant )11( subject to: 0 α i, α j C, y i α i + y j α j = y N T α N T )12( 3- زیر مسئلهی زیر را با متغیر αb حل کن: α 1+k B را به عنوان راه حل بهینه برای )11( قرار بده. k=k+1.α k+1 N =α k N برو به.2-4 باید توجه داشت که B در هر تکرار تغییرمینمایدو در اینجا برای سادگی بجای B k از B استفاده شده است. از آنجایی که در هر تکرار تنها تعداد کمی از عناصر بهروز میشوند لذا در مسائل بزرگ روش تجزیه به کندی همگرا میشود. راهحلهای مناسبتر میتوانند از طریق کاهش تعداد مراحل تکرار سریعتر عمل نمایند. روشهای موجود عموما بر اساس نقض شرایط بهینه عمل میکنند که وابسته به دانستن اطالعات مرتبهی اول )مانند گرادیان( از تابع هدف میباشند. مطالعات بر روی بهینهسازی نشان داده است که استفاده از اطالعات مرتبهی دوم عموما سبب سرعت بیشتر در همگرایی میشوند. از آنجایی که معادلهی )69( یک مسئلهی درجهی دوم میباشد لذا اطالعات مرتبهی دوم مستقیما به کاهش تابع هدف مربوط میشود. تالشهای بسیاری برای یافتن مجموعهی کاری براساس کاهش تابع هدف انجام شده است. اما این روشها اکتشافی بوده و تضمینی بر همگرایی آنها نمیباشد. در [10] روش سادهای برای انتخاب مجموعهی کاری با استفاده از اطالعات مرتبهی دوم ارائه شده است که سبب زمان تعلیم کوتاهتری میگردد. روشهای مختلفی برای انتخاب این مجموعه در [10] معرفی شده از کارائی بیشتری نسبت به تمام آنها برخوردار میباشد. معرفی شده و مقایسه شدهاند و نشان داده شده است که روش 34

40 -0 کاربردهای SVM با استفاده از.SVM با توجه به هدف کاربردها در در این بخش مروری خواهیم داشته به کاربردهای تشخیص الگو 14 [8] هفت دسته کاربرد مختلف برای SVM دستهبندی شده است که در اینجا به آنها اشاره مینماییم. تعدادی از کاربردها که در دستهبندی خاصی گنجانده نشده است در گروه سایر کاربردها ذکر شدهاند تشخیص و شناسایی چهره 10 این دسته یکی از محبوبترین زمینههای در بایومتریک تایید هویت کنترل دسترسی و نظارت ویدئویی میباشد. زمینههای تحقیقاتی فعالی در این دسته وجود دارند که برای این کاربردها از روشهای مختلفی استفاده مینمایند. به هرحال رسیدن به کارائی مطلوب در این زمینه بسیار مشکل خواهد بود. شناسایی چهرههای افرادی که ویژگیهای ظاهری نزدیک به هم دارند بسیار مشکل خواهد بود. همچین حاالت مختلف برای یک چهرهی خاص نظیر آرایشهای متفاوت و... تشخیص را بسیار مشکل مینماید. همچنین استفاده از عینک و یا ریش و سیبیل میتواند تشخیص را مشکل و پیچیده نماید. در سالهای اخیر تحقیقات زیادی برای استفاده از SVM در کاربردهای تشخیص چهره شناسایی و بازشناسی چهره و تشخیص حاالت چهره صورت گرفته است. هر کدام از روشهای فوق از ورودیهای پایگاهدادهها و هستههای مختلفی برای طبقهبندیکنندهی SVM استفاده کردهاند. اولین بار SVM از Osuna برای تشخیص چهره استفاده نمود. در این کاربرد وی از یک تصویر چهرهی 19*19 و تابع هستهی چند جملهای درجهی دوم استفاده نمود. شناسایی ماشین در مورد چهره به دو دستهی شناسایی چهره و تایید چهره تقسیم میشود. Guo از SVM چندکالسه و یک درخت باینری برای شناسایی چهره استفاده نمود. ویژگیهای نرمال شده که توسط روش PCA استخراج شده بودند به عنوان ورودی SVM بکار گرفته شدند تشخیص و شناسایی اشیاء هدف از تشخیص یا شناسایی اشیا یافتن و تعقیب افراد در حال حرکت و یا بررسی ترافیک برای کاربردهای کنترل ترافیک میباشد. شناسایی اشیا 3 -بعدی نیز یکی از این زمینهها میباشد. COIL یک پایگاهدادهی معروف میباشد که شامل 1222 تصویر از 122 شیء و از 12 زاویه دید مختلف میباشد. این پایگاه داده در بسیاری از کاربردهای تحقیقاتی در این زمینه مورد استفاده قرار گرفته است. Roobaert تشخیص اشیاء 3 بعدی را توسط SVM انجام داد و توانایی Pattern Recognition 11 Face Detection and Recognition

41 SVM را در این شناسایی از زاویههای مختلف بررسی کرد. M.Pontil و با نویز و شیف دادن تصاویر کارائی باالیی را نتیجه گرفتند. A.Verri 3-0- تشخیص دستنوشته و ارقام با آمیختن تصاویر پایگاه دادهی COIL در میان کاربردهای مختلفی که بر پایهی SVM انجام شده است تشخیص ارقام دستنویس توسط SVM از تمامی الگوریتمهای یادگیری دیگر کارائی باالتری داشته است. مشکل عمده در مسئلهی تشخیص دستنوشته وجود الگوهای مختلف و متنوع نوشتاری بسیار زیاد میباشد. مدلهای Elastic که برپایهی مشاهدات محلی و برنامهنویسی پویا شکل گرفتهاند مانند HMM برای تحلیل این تنوع کارا و مناسب هستند. Choisy برای ترکیب این توانایی محلی با ویژگیهای سراسری از NSPH-HMM برای مشاهدات محلی و نرمالسازی و از SVM برای مشاهدات سراسری بر روی خروجی نرمال شده توسط NSPH-HMM استفاده نمود. کارهای مختلفی در این زمینه انجام شده است که در مجموع برتری این روش را به سایر روشها در شناسایی دستنوشتهها نشان میدهد تشخیص صحبت و گوینده در مسئلهی تشخیص صحبت و یا شناسایی گوینده دو روش بسیار محبوب modelها clasifier میباشند. generative و discriminativeها classifier روشهایی که از discriminativeها classifier استفاده میکنند شامل درختهای تصمیمگیری شبکههای عصبی و SVM میباشند. معروفترین روش generative model clasifier شامل مدل Hidden Markov(HMM) و مدل ترکیبی (GMM) Gaussian میباشد. و Bengio SVM از Wan برای شناسایی گوینده با پایگاهدادههای مختلف استفاده نمودند. آنها بر روی دادههای وابسته به متن و غیر وابسته به متن کار کرده و روش SVM را با آستانهگذاری کالسیک برای تصمیمگیری در رد یا پذیرش تایید گویندهی جایگزین نمودند. استفادههای گوناگونی از SVM در این زمینه نیز صورت گرفته است بازیابی تصاویر و اطالعات Content-based image retrival چندرسانهای میباشد. Guo نتیجهی زمنیهی تحقیقات مهمی در زمینهی کتابخانههای دیجیتال و پایگاهدادههای معیاری جدیدی را تحت عنوان فاصله از مرز 11 را برای بازیابی بافت تصاویر ابداع نمود که در آن مرز بین دستهها توسط SVM بدست آمده است. برای بازیابی تصاویر مرتبط بیشتر با تصویر ورودی طبقهبندی کنندهی SVM برای جدا کردن تصاویر به دودستهی مرتبط و غیرمرتبط استفاده شده است. Drucker,Tian وZhang Information and Image Retrival 11 Distance-from-boundray

42 روش اتوماتیکی را با استفاده از SVM برای بازیابی تصاویر ابداع نمودند که در آن وزنهابا فاصله از ابر صفحه تعیین میشوند و دادهها به دو دستهی دادههای مثبت و منفی تقسیم میشوند پیشبینی 11 هدف اصلی در بسیاری از روشهای پیشگویی غیرخطی پیشبینی نقطهی بعدی در یک سری زمانی میباشد[ 7 ]. وCao Tay روش C-ascending SVM را با کاهش C ارائه دادند. این ایده بر این فرض استوار است که بهتر است که وزن بیشتری را به دادههای اخیر بدهیم تا به دادههای دورتر. نتایج آنها نشان داد که روش C-ascending SVM کارائی باالتری را نسبت به SVM استاندارد در پیشگویی سریهای زمانی اقتصادی ارائه میدهد. SVM روش Fan را بر مسئلهی پیشبینی مشکالت شرکتها با توجه به وضعیت اقصادی آنها منطبق نمود. برای این مسئله انتخاب متغیرهای ورودی ( شاخصهای اقتصادی( روی کارائی سیستم تاثیرگذار میباشد. در مقالهی ارائه شده پیشنهاد داده که از دادههای مناسب استفاده شود که فاصلهی بین دستههای بیشترین مقدار و فاصلهی بین دادههای مشابه را کمترین مقدار قرار میدهند سایر کاربردها کاربردهای بسیار زیاد دیگری برای SVM در زمینهی تشخیص الگو وجود دارد. بعنوان مثال SVM از Yang برای دستهبندی بصری بر اساس جنسیت با استفاده از تصاویر کوچک )12*21( و با کیفیت پایین استفاده نمود. او برای این کار از پایگاه دادهی FERET استفاده نمود و از 1111 تصویر استفاده نمود.پس تعلیم نشان داده شد که کارائی این روش در مقابل روشهای قبلی مانند FLD,RBF SVM از Gutta و... بسیار باالتر میباشد.) 3.4% خطا( برای دستهبندی حاالت چهره بروی پایگاه دادهی FERET استفاده نمود و به %122 دقت رسید. Yao پنج دسته اثر انگشت را فرض نمود و از SVM برای این دستهبندی استفاده نمود و کارائی خوبی را نتیجه گرفت. عالوه بر کاربردهای ذکر شده بسیاری از کاربردهای دیگر مانند خالصه کردن دادهها 19 شناسایی هدف و... وجود دارد که SVM به خوبی از عهدهی آنها برمیآید. در کاربرد خالصهسازی دادهها زیرمجموعهای کوچک از پایگاهدادهای بزرگ انتخاب میشود و دقت تفکیک کننده که بر روی این دادههای کاهش یافته عمل میکند با نتیجهی آموزش روی تمام دادهها مقایسه میشود Time Series 19 Data Consentation