تشخيص پوست بر اساس يادگيري تقويتي مريم حبيبي پور مهديه پوستچي حميدرضا پوررضا سعيد راحتي قوچاني گروه هوش مصنوعي دانشگاه آزاد اسلامي مشهد گروه هوش مصنوعي دانشگاه علم و صنعت ايران گروه مهندسي كامپيوتر دانشگاه فردوسي مشهد گروه مهندسي برق دانشگاه آزاد اسلامي مشهد habibi.maryam@gmail.com ma_poostchi@comp.iust.ac.ir hpourreza@um.ac.ir rahati@mshdiau.ac.ir چكيده در كاربردهاي پردازش تصوير تشخيص پوست مي تواند به عنوان نخستين گام براي استخراج اطلاعات مورد نياز بعدي سيستم در نظر گرفته شود. به منظور رسيدن به اين هدف روش هاي طيف بصري مبتني بر اطلاعات رنگ- عليرغم تغييرپذيري در مقابل پارامترهاي متفاوت - بدليل پايداري در مقابل چرخش اندازة تصوير و نيز مقرون به صرفه بودن نسبت به روش هاي غير بصري مانند مادون قرمز ترجيح داده شده اند. در اين مقاله تكنيك تشخيص پوست بر اساس اطلاعات رنگ پوست با استفاده از يادگيري تقويتي را پيشنهاد مي دهيم كه از لحاظ محاسباتي بسيار سريع است. در اين راستا به منظور كاهش وابستگي به نور سفيد روشنايي جهت منبع و نيز عملكرد مناسب مدل رنگي HSL به همراه جدول مراجعه اين فضاي رنگ به عنوان مدل رنگي در الگوريتم تشخيص انتخاب شده است. اكنون براي حل مسي لة دسته بندي دودويي روشي جديد مبتني بر يادگيري تقويتي به عنوان تكنيك آموزشي براي توليد جدول مراجعه اي كاملا سازگار اراي ه شده است. تصاوير دودويي خروجي حاصل از تكنيك پيشنهادي و مقايسه با نتايج حاصل از ساير روش ها مانند پارزن بيزين و گاوسين حاكي از كارايي روش پيشنهادي مي باشد. كلمات كليدي-تشخيص پوست مدل رنگي HSL يادگيري تقويتي جدول مراجعه سازگار. 1- مقدمه در تشخيص چهره فيلتركردن سايت هاي غير اخلاقي آناليز پيكر سيستم هاي بازيابي بر اساس محتوا تصاوير پزشكي و بسياري كاربردهاي ديگر پردازش تصوير تشخيص پوست را مي توان به عنوان يك گام نخست براي استخراج اطلاعات مورد نياز بعدي در نظر گرفت[ 6,1-4]. در واقع اين الگوريتم ها را مي توان بخشي از الگوريتم هاي پيش پردازش براي كاربردهاي پردازش تصوير دانست. به منظور رسيدن به اين هدف روش هاي طيف بصري مبتني بر اطلاعات رنگ- عليرغم تغييرپذيري در مقابل پارامترهاي متفاوت بدليل پايداري در مقابل چرخش اندازة تصوير و نيز مقرون به صرفه بودن نسبت به روش هاي غير بصري مانند مادون قرمز از توجه خاصي برخوردار هستند[ 1 ]. به دليل تغييرپذيري و حساسيت رنگ پوست به فاكتورهاي متعددي از جمله شرايط نور قوميت ويژگي هاي دوربين ويژگي هاي شخصي آرايش و... روش هاي متفاوتي براي تشخيص پوست اراي ه شده است[ 1-6 ]. اولين مرحلة تشخيص پوست در هر كدام از روش هاي مبتني بر اطلاعات رنگ انتخاب فضاي رنگ مناسب است. بدين ترتيب ناحية رنگي پيكسل هاي پوست و غير پوست از هم مجزا شده و عمل دسته بندي انجام مي شود. در اين
ميان مدل فضاي رنگي RGB كه بيشتر در عمليات ذخيره سازي 2- و نمايش تصاوير ديجيتال استفاده مي شود قابل ذكر است كه البته حساسيت زيادي نسبت به فاكتورهاي گفته شده دارد. از سوي ديگر مدل فضاي رنگي ادراكي HSL را داريم كه بسيار شبيه به سيستم بينايي انسان عمل مي كند[ 1,2,3 ]. وجود سه ويژگي منحصر به فرد روشنايي اشباع و فام در اين مدل رنگي و قابليت تفكيك آنها از يكديگر از جمله دلايلي است كه باعث شده است اين مدل رنگي بيش از ساير مدل ها مورد توجه قرار گيرد[ 1,2 ]. در اين مقاله نيز به دليل عملكرد مناسب مدل فضاي رنگHSL با تكنيك هاي جدول مراجعه اين فضاي رنگي انتخاب گرديده است. مدل هاي فضاي رنگي قابل ذكر ديگر نيز كه هر كدام در روش هاي خاصي مورد استفاده قرار گرفته اند و قابل ذكر مي باشند عبارتند از: فضاي رنگ RGB نرماليزه شده فضاي رنگ مفهوما يكنواخت فضاي رنگ متعامد و... [2,3]. پس از انتخاب مدل فضاي رنگي نياز به حل مسي لة تفكيك كلاس هاي پوست و غير پوست از يكديگر را داريم. براي اين منظور الگوريتم هاي متفاوتي اراي ه گرديده است كه از آن جمله آستانه گذاري فضاي رنگ پوست به صورت صريح الگوريتم هاي مبتني بر هيستوگرام دسته كننده هاي گاوسين مدل مرزبندي بيضوي دسته بندهاي پرسپترون چند لايه دسته بندهاي ماكزيمم انتروپي و قابل ذكر... هستند[ 1,4,5,6 ]. هر كدام از تكنيك هاي فوق داراي مزايا و معايب خاصي هستند. به طور مثال الگوريتم هاي آستانه گذاري با توجه به فضاي رنگي كه استفاده مي كنند حدي را براي پارامترهاي آن فضا در نظر مي گيرند. اما باتوجه به اينكه با تغيير شرايط محيط و روشنايي رنگ پوست در تصوير تغيير مي كند نمي توان حد ثابتي براي رنگ پوست قاي ل شد. لذا اين الگوريتم ها داراي كارايي پاييني هستند[ 1 ]. حال اگر بتوان حد آستانه گذاري را به صورت سازگار در قالب يك جدول مراجعه و با استفاده از مجموعه داده هاي كافي و مناسب بدست آورد نتايج تغيير مي كند. در اين راستا آنچه در اين مقاله پيشنهاد مي شود و نتايج بدست آمده از آن نيز حاكي از موثر بودن روش است استفاده از يادگيري تقويتي مي باشد. اساس كار اين روش كه تاكنون نيز در تشخيص پوست مورد استفاده قرار نگرفته است بر اساس ماتريس پاداش و ماتريس حالات مي باشد[ 7-10 ]. در ادامة مقاله در بخش دوم مدل فضاي رنگيHSL در بخش سوم اصول يادگيري تقويتي و الگوريتم Q-learning و در بخش چهارم نيز الگوريتم پيشنهادي اراي ه مي گردد. بخش پنجم نتايج حاصل از پياده سازي روش پيشنهادي در محيط مطلب و مقايسه با نتايج حاصل از روش هاي پارامتريك پارزن گاوسين و روش آماري بيزين را در بر دارد. نهايتا در بخش ششم نتيجه گيري و رهگذر آينده را خواهيم داشت. مدل فضاي رنگي HSL اين فضا از بهترين مدل هاي فضاي رنگ براي الگوريتم هاي تشخيص پوست است. سه ويژگي ادراكي رنگ يعني روشنايي اشباع و فام كه در اين مدل هر يك به صورت تفكيك پذير وجود دارند در هيچكدام از مدل هاي فضاي رنگي ديگر همچون RGB وجود ندارند[ 1 ]. اين ويژگي ها سبب مي شوند تا اين مدل رنگي بسيار شبيه سيستم بينايي انسان عمل كند. در فضاي HSL رنگ با سه جزء فام ويژگي رنگ كه در گذر از قرمز به سبز تغيير مي كند- همراه با اشباع ويژگي رنگ در گذر از قرمز به صورتي- و روشنايي ويژگي كه در گذر از سياه به سفيد تغيير مي كند- تعريف مي شود[ 1,2 ]. از سوي ديگر تبديل RGB به HSL نسبت به شدت هاي بالاي نور سفيد نور روشن و جهت سطح نسبت به منبع نور نامتغير است[ 1 ]. بدين ترتيب گزينه اي مناسب براي انتخاب مدل فضاي رنگ در تشخيص پوست مي باشد. شكل 1. مدل رنگي HSL و اجزاء آن مدل فضاي رنگ انتخابي در اين مقاله نيز استفاده از تبديلات مناسب بدست مي آيد. 3- يادگيري تقويتي HSL مي باشد كه با فضاي رنگ RGB تصاوير ورودي يادگيري تقويتي مسي له اي است كه در آن عامل مي بايست رفتار خود را از طريق سعي و خطا در محيط ديناميك اطرافش بياموزد. دو استراتژي اصلي براي حل مساي ل يادگيري تقويتي وجود دارد. تكنيك اول جستجو در فضاي رفتارها است تا بتوان آن رفتاري را كه در محيط بهترين عملكرد را دارد پيدا نمود- شبيه آنچه در الگوريتم هاي ژنتيك و برنامه نويسي ژنتيك مي بينيم. استراتژي دوم استفاده از تكنيك هاي آماري و متدهاي برنامه نويسي ديناميك براي تخمين امكان انجام عمل در حالات مختلف فضا است[ 7 ]. در واقع يادگيري تقويتي يادگيري آنچه كه بايد انجام بگيريد است اينكه چگونه موقعيت ها را به اعمال نگاشت كنيم
تا بتوانيم سيگنال پاداش عددي را بيشينه نماي يم[ 10 ]. در مدل استاندارد در هر گام از بر هم كنش عامل به عنوان ورودي i نمادي از حالت جاري s از محيط را دريافت مي كند. سپس عامل يك عمل a را براي توليد خروجي انتخاب مي كند. عمل سبب تغيير حالت مي گردد و ارزش اين انتقال حالت از طريق يك سيگنال عددي تقويتي r به عامل منتقل مي شود. رفتار عامل B مي بايست عملياتي را انتخاب كند كه عامل را به سمت افزايش مجموع ارزش هاي سيگنال هاي تقويتي هدايت كند[ 7 ]. براي رسيدن به اين مقصود روش هاي سعي و خطاي سيستماتيك همراه با الگوريتم هاي مناسب وجود دارد. يكي از اين الگوريتم ها كه پياده سازي بسيار ساده اي نيز دارد الگوريتم Q-Learning است كه در سال 1989 توسط واتكينز اراي ه گرديده است. -1-3 الگوريتم Q-Learning يكي از رهيافت هاي مهم در يادگيري تقويتي توسعه الگوريتم كنترلي Q-Learning است. اين الگوريتم در ساده ترين شكل به صورت زير بيان مي شود[ 7,10 ]: 1. متغير γو ماتريس پاداش محيط R را تنظيم كنيد. 2. ماتريس Q را با مقادير صفر مقدار دهي اوليه كنيد. 3. براي هر تكرار: a. حالت اوليه را به صورت تصادفي انتخاب كنيد. b. تا زمانيكه به حالت هدف نرسيده ايد: i. از ميان تمام عمليات ممكن براي حالت فعلي يكي را انتخاب كنيد..ii با استفاده از عمل ممكن گذر به حالت بعدي را لحاظ كنيد..iii مقدار بيشينة Q براي حالت بعدي را بر اساس تمام اعمال ممكن بدست آوريد..iv محاسبه كنيد Q( state, action) = R( state, action) + ( 1) γ.max[ Q( next state, all action)] v. حالت بعدي را به عنوان حالت جاري در نظر بگيريد. الگوريتم فوق توسط عامل براي يادگيري از طريق تجربيات يا آموزش استفاده مي شود هر تكرار معادل با يك دوره آموزش است. در هر دوره آموزش عامل محيط را كه توسط ماتريس پاداش R نمايش داده مي شود كاوش مي كند و تا زماني كه به حالت هدف نرسيده است امتيازهاي لازم داده مي شود. هدف از آموزش ساخت مغز عامل است كه توسط ماتريس Q نمايش داده مي شود. آموزش بيشتر منجر به ماتريس Q بهتري خواهد شد كه مي تواند توسط عامل براي حركت در مسير بهينه استفاده شود. بدين ترتين با داشتن ماتريس Q عامل مي تواند در عوض كاوش و جلو عقب رفتن هاي متعدد با رجوع به ماتريس حالات و انتخاب گزينة ماكزيمم بهترين حالت را انتخاب نمايد[ 6,10 ]. متغير γ نرخ يادگيري است و مقداري در بازة [0,1] دارد. -4 روش پيشنهادي با توجه به حساسيت پاي ين مدل فضاي رنگي HSL در مقابل شدت هاي بالاي نور سفيد نور روشن و جهت سطح نسبت به منبع نور در تبديلات RGB به HSL اين مدل در كار با جدول مراجعه عملكرد بسيار مناسبي دارد. از طرفي اگر بتوان اين جدول را به روشي سازگار و از طريق آموزش نه صرفا به طور مستقيم با استفاده از داده هاي آموزشي بدست آورد نتايج بسيار مطلوب تر خواهد بود. بدين ترتيب آنچه در اين مقاله پيشنهاد مي شود توليد جدول مراجعه به روشي كاملا سازگار و قابل توسعه با استفاده از داده هاي آموزشي جديد مي باشد. براي ساخت اين جدول از الگوريتم Q-Learning استفاده مي شود. همانطور كه در بالا اشاره شد هدف Q-Learning ساخت ماتريس حالات Q يا مغز سيستم است. براي اين منظور ابتدا با استفاده از يك تابع يك به يك كه به روش درون يابي لاگرانژ و با استفاده از داده هاي آموزشي بدست آمده است فضاي سه بعدي,S H, حاصل از تبديلات RGB داده هاي آموزشي ورودي L ورودي را به دو مقدار منحصر به فرد كه انديس هاي ماتريس پاداش خواهند بود نگاشت مي كنيم. بدين ترتيب ماتريس پاداش در درايه هايي كه بيانگر پيكسل پوست مي باشند مقدار پاداش را خواهند گرفت. مرحلة بعد ساخت ماتريس حالات خواهد بود كه به سادگي و با توجه به معادلة يك در الگوريتم Q-Learning ساخته مي شود. در واقع مقادير اين ماتريس- كه مقدار اولية صفر داشته اند - در نقاطي كه بيشترين احتمال براي پيكسل رنگ را پوست بودن دارند بيشينه است. نهايتا اين ماتريس جدول مراجعه اي سازگار براي مرحلة نهايي كار يعني تشخيص كلاس پيكسل هاي پوست و غير پوست خواهد بود كه به صورت نقاط سفيد(پوست) نمايش داده مي شوند. -1-4 و سياه(غير پوست) الگوريتم پيشنهادي در تصوير دودويي خروجي الگوريتم داراي دو بخش اصلي مي باشد قسمت اول مربوط به ساخت جدول مراجعه و قسمت دوم تشخيص پوست در تصوير ورودي بر اساس جدول مراجعة سازگار بدست آمده خواهد بود.
(1 (2 ماتريس R و Q و Qfinal را با مقادير صفر مقدار دهي اوليه كنيد براي هر تصوير ورودي آموزشي: RGB تصوير (i (ii ورودي را به HSL تبديل كنيد براي تمام پيكسل هاي تصوير ورودي آموزشي: (a) اگر پيكسل پوست است (i) (ii) S, H, آن را در مقادير L نظر بگيريد انديس هاي ماتريس پاداش H, S, متناظر با مقادير L پيكسل فوق را با استفاده از تابع بدست آمده محاسبه نماي يد(اين مقدار منحصر به فرد است). (iii) مقدار پاداش را به دراية ماتريس فوق نسبت دهيد (b) ماتريس Q را متناظر با ماتريس پاداش بدست آمده آموزش دهيد. (c) ماتريس Qfinal را به صورت زير بدست آوريد: Qfinal=Q+Qfinal; ( 2) (3-5 تصويرRGB تست را پس از تبديل به فرمت HSL بر اساس مقادير موجود در جدولQfinal به دو ناحية سفيد (پوست) و سياه (غير پوست) تفكيك نماي يد. نتايج به منظور پياده سازي روش و مقايسة آن با روش هاي ذكر شده از محيط مطلب استفاده شده است. يادگيري الگوريتم بر روي حدود S, H, پوست از 518 تصوير 658600 پيكسل با مقادير L RGB جمع آوري شده حاصل از مجموعه داده هاي آموزشي حقيقي و معتبر در 1271 تكرار الگوريتم Q_Learning صورت گرفته است (براي اطلاعات بيشتر در مورد مجموعة داده ها به مرجع [11] مراجعه شود). نتايج استفاده از جدول مراجعة سازگار بدست آمده در قالب تصاوير دودويي در جدول 1 اراي ه شده است. به منظور مقايسة روش پيشنهادي با ساير تكنيك ها روش هاي پارزن گاوسين و بيزين نيز پياده سازي شده اند و تصاوير دودويي خروجي حاصل از آنها نيز در كنار خروجي هاي روش پيشنهادي در جدول 1 گنجانده شده اند. نتايج به خوبي حاكي از برتري روش بر ساير روش ها است. در انتخاب تصاوير فاكتورهاي سن زمينه جنسيت و شدت نور لحاظ شده اند. تصاوير داراي وضوح متفاوتي مي باشند آنچه داراي اهميت مي باشد سرعت الگوريتم است كه هيچگاه حتي براي تصاوير با وضوح بسيار بالا از حد چند ميلي ثانيه تجاوز نمي كند. 6- نتيجه گيري و رهگذر آينده الگوريتم هاي تشخيص پوست را مي توان در عمل جزء الگوريتم هاي پيش پردازش براي كاربردهاي پردازش تصوير دانست. به بيان ديگر از اين الگوريتم ها مي توان به عنوان اولين مرحله جهت محدود كردن فضاي جستجو استفاده نمود. اين الگوريتم ها با توجه به حساسيت هاي رنگ پوست به پارامترهاي متفاوت مانند روشنايي سايه جهت منبع نور و... عملكرد متفاوتي از خود نشان مي دهند. لذا انتخاب فضاي رنگ مناسب كه حساسيت كمتري نسبت به تغييرات محيط داشته باشد تا ثير چشمگيري در نتايج خواهد داشت. در اين ميان فضاي رنگ HSL به دليل حساسيت هاي كمتر بيشتر مورد توجه قرار مي گيرد و در اين مقاله نيز مورد استفاده قرار گرفته است. نتايج خطاي حاصل از پياده سازي روش هاي پارامتري مورد اشاره در دو فضاي رنگي RGB و HSL كه در قالب جدول 2 اراي ه شده است نيز به خوبي اين مسي له را نشان مي دهد. جدول 2. خطاي محاسبه شده در تشخيص نواحي پوست براي روش هاي پارامتري در دو فضاي RGB و HSL خطا در فضاي خطا در فضاي روش HSL RGB 0.1978 0.30876 گاوسين 0.1998 0.3104 تخمين بيزين 0.1123 0.35905 پارزن الگوريتم هاي متفاوت تشخيص پوست كه تاكنون اراي ه شده اند از جهات مختلف داراي نقاط قوت و ضعف مي باشند. يكي از مهمترين مساي ل قابل ذكر مرتبة زماني اين تكنيك ها است. به طور مثال روش پارزن و نزديك ترين همسايه با مرتبة زماني چندين ثانيه و بعضا دقيقه (با توجه به حجم و وضوح تصوير) نسبت به روش هايي چون بيزين و گاوسين قابل رقابت نمي باشند. از سوي ديگر روش هاي مبتني بر آستانه گيري و جدول مراجعه از بهترين مرتبة زماني(در حد ميلي ثانيه) برخوردار هستند. آنچه در اين مقاله مورد نظر است بدست آوردن جدول مراجعه به روشي كاملا سازگار دقيق و منعطف مي باشد كه علاوه بر داشتن مرتبة زماني ميلي ثانيه داراي نتايج بسيار قابل قبولي در مقايسه با ساير روش هاي اراي ه شدة پيشين باشد. نتايج اراي ه شده در جدول 1 نيز بر صحت اين موضوع تا كيد دارد. با توجه به اينكه استفاده از يادگيري تقويتي و الگوريتم پيشنهادي مبتني بر آن در اين مقاله نخستين بار است كه
جدول 1 - تصاوير دودويي خروجي حاصل از پياده سازي روش پيشنهادي (سمت راست ترين ستون) همراه با نتايج خروجي روش هاي پارامتري گاوسين تخمين بيزين و پارزن روش پيشنهادي پارزن تخمين بيزين گاوسين تصوير اصلي
Computational Neuroscience Unit, University College London, 2003. [10] Richard S. Sutton and Andrew G. Barto, "Reinforcement Learning: An Introduction", A Bradford Book, MIT Press, Cambridge, MA, 1998. [11] http://lbmedia.ece.ucsb.edu/resources/dataset به عنوان يك تكنيك يادگيري تقويتي براي تشخيص پوست اراي ه مي شود نكات قابل توجهي وجود دارد كه مي توانند به عنوان راه كارهاي آينده در نظر گرفته شوند. به طور مثال پس از اجراي قسمت اول الگوريتم و بدست آوردن جدول مراجعه از اين پس پردازش تصاوير براي تشخيص نواحي پوستي بسيار سريع خواهد بود ولي بدست آوردن اين جدول در قسمت اول با در نظر گرفتن حجم داده هاي آموزشي بسيار زمان بر است. حال آنكه تكنيك هاي مناسبي با استفاده از الگوريتم هاي ژنتيك براي سرعت بخشيدن به مرحلة آموزش و تعيين مقدار مناسب نرخ يادگيري اراي ه شده است كه استفاده از آنها مي تواند مفيد واقع شود. علاوه بر اين اندازة مناسب داده هاي آموزشي نيز مشخص نيست كه آن هم مي تواند مورد بررسي قرار گيرد. مراجع [1] P. Kakumanu, S. Makrogiannis, N. Bourbakis, "A survey of skin-color modeling and detection methods", Pattern Recognition, vol. 40, pp.1106 1122, 2007. [2] Giovani Gomez, "On selecting colour components for skin detection", In 16th International Conference on Pattern Recognition, vol. 2, pp. 961 964, 2002. [3] Giovani Gomez, Eduardo F.Morales, "Automatic Feature Construction and a Simple Rule Induction Algorithm for Skin detection", In A. Sowmya and T. Zrimec, editors, Proc. of the ICML Workshop on Machine Learning in Computer Vision, pp 31 38, Sydney, July 2002. [4] B. Jedynak, H. Zheng and M. Daoudi, "Statistical Models for Skin Detection", IEEE Workshop on Statistical Analysis in Computer Vision, June 22, 2003. [5] Li Chen, Jiliu Zhou, Zhiming Liu, Wei Chen, Guoqing Xiong, "A Skin Detector Based on Neural Network", IEEE International Conference on Communications, Circuits and Systems and West Sino Expositions, Vol. 1, pp. 615-619, 2002. [6] H. Lin, S. Wang, S. Yen, Y. Kao, " Face Detection Based on Skin Colour segmentation and Neural Network", International Conference on Neural Networks and Brain, ICNN&B '05. Vol. 2, pp. 1144-1149, 2005. [7] Leslie Pack Kaelbling, Michael L. Littman, and Andrew W. Moore, "Reinforcement Learning: A Survey", Journal of Artificial Intelligence Research, Vol. 4, 1996. [8] Carlos Diuk, Alexander L. Strehl, Michael L. Littman, "A hierarchical approach to efficient reinforcement learning in deterministic domains", Proceedings of the fifth international joint conference on Autonomous agents and multiagent systems, pp.313-319, 2006. [9] Sham M. Kakade, "On the Sample Complexity of Reinforcement Learning", PhD thesis, Gatsby