چكيده 1- مقدمه تنوعات طبقهبندي الگوهاي فضايي-زماني. (Spatiotemporal) تصادفي تقريب فيلترهاي تربيعي

Transcript

1 مقايسه روش هاي مبتني بر گراديان به منظور تعليم شبكه عصبي مصنوعي با سيناپس پويا * سهراب صاي ب طاهري آيدين فرجي داور سيد علي سيدصالحي دانشگاه صنعتي اميركبير دانشكده مهندسي پزشكي آزمايشگاه مهندسي عصبي شناختي sohrabsab@bm.au.ac.ir * نويسنده مسي ول مكاتبات چكيده در شبكههاي عصبي مصنوعي با سيناپس پويا Synaps Dynamic قدرت سيناپسها پس از مرحله تعليم يك كميت ثابت باقي نميماند بلكه به طور پيوسته در حال تغيير است. در بيشتر مدلهاي اراي ه شده براي سيناپس پويا به دليل وجود مرزهاي تصميم غيرخطي و هموار نبودن تابع خطاي شبكه امكان استفاده از روشهاي مبتني بر گراديان براي تنظيم پارامترهاي تعليم آنها وجود ندارد. در مدلي كه در اين مقاله اراي ه ميشود هموار بودن تابع خطا به ما اجازه استفاده از اين روشها را خواهد داد. در اين مقاله چند روش اصلي مبتني بر گراديان براي تعليم مدل سيناپس پويا به كار گرفته شده و در نهايت مقايسهاي بين اين روشها صورت ميپذيرد. روشهاي تعليمي كه مورد استفاده قرار ميگيرند شامل روش بيشترين كاهش گراديان مزدوج لونبرگ-ماركوارد و در نهايت پسانتشار مقاوم ميباشند. در نهايت با در نظر گرفتن دو عامل خطاي نهايي و سرعت همگرايي به نظر ميرسد روش پسانتشار مقاوم مناسبترين روش براي تعليم مدل باشد. با به كار گيري قانون پسانتشار خطا كه در شبكههاي جلوسو به كار گرفته ميشود ميتوان از اين روش براي تعليم شبكههاي جلوسوي چندلايه با سيناپسهاي پويا بهره برد. واژههاي كليدي: شبكههاي عصبي سيناپس پويا يادگيري روشهاي مبتني بر گراديان. - مقدمه در اوايل دهه 9 ميلادي نگرش جديدي در زمينه اتصالات سيناپسي در شبكههاي عصبي زيستي به وجود آمد اما تنها در سالهاي پاياني اين دهه بود كه اين نگرش توانست جايگاه خود را در دنياي هوش مصنوعي و شبكههاي عصبي تثبيت نمايد. نگرش جديد بر اين پايه استوار بود كه سيناپسها بر خلاف آنچه كه پيشتر فرض ميشد يكي از پوياترين اجزاء دستگاه عصبي جانداران هستند []. اين بدان معناست كه حتي پس از مرحله تعليم قدرت سيناپس يك كميت ثابت باقي نميماند بلكه به طور پيوسته در حال تغيير است كه اين تغيير از فعاليت تعدادي فرآيند شيميايي در نواحي پيشسيناپسي و پسسيناپسي ناشي ميشود []. از آن هنگام چندين مدل شبكه عصبي بر مبناي نگرش فوق اراي ه شده است كه عموما" از آنها با عنوان شبكههاي عصبي مصنوعي با سيناپس پويا Synaps Dynamic Nural Nwors يا به اختصار DSNN ياد ميشود. از مدلهاي DSNN تا كنون در كاربردهاي گوناگوني از جمله استخراج ويژگيهاي تغيير ناپذير از سيگنال گفتار متا ثر از تنوعات طبقهبندي الگوهاي فضايي-زماني Spaiomporal تصادفي تقريب فيلترهاي تربيعي Quaraic و شناسايي گوينده استفاده گرديده است [3 8] با اين وجود هنوز بر سر روش فراگير تعليم اين گونه شبكههاي عصبي توافقي وجود ندارد. براي تعليم شبكههاي DSNN تعدادي روش بر مبناي

2 تطبيق بلندمدت با الهام از طبيعت پيشنهاد شده است [4 9] كه با وجود سرعت نسبتا" مناسب تنها قادرند بخشي از پارامترهاي سيناپس را تنظيم نمايند. از روش الگوريتم ژنتيك نيز براي تعليم شبكه عصبي مبتني بر سيناپس پويا استفاده شده است كه اغلب بسيار كند و وقتگير ميباشد.[] روش تعليم ديگري كه پيشنهاد شده بر مبناي بهينهسازي غيرخطي ناحيه اطمينان Rgion Trus است.[] اما رويكردي كه جاي آن در تعليم شبكههاي DSNN خالي به نظر ميرسد استفاده از روشهاي تعليم مبتني بر گراديان است. روشهاي تعليم مبتني بر گراديان خطا با استفاده از مشتق اول و يا دوم خطا هر يك با به كارگيري رويه خاص خود سعي ميكنند با اصلاح پارامترهاي سيستم تابع معيار خطاي تعريف شده براي آن را كمينه سازند. در بيشتر مدلهاي اراي ه شده براي سيناپس پويا به دليل وجود مرزهاي تصميم غيرخطي و هموار Smooh نبودن تابع خطاي شبكه امكان استفاده از اين روشها وجود ندارد. در مدلي كه در اين مقاله اراي ه خواهد شد هموار بودن تابع خطا به ما اجازه استفاده از روشهاي تعليم مبتني بر گراديان را خواهد داد. در اين مقاله قصد داريم چند روش اصلي مبتني بر گراديان را براي تعليم يك مدل سيناپس پويا به كار بسته و در نهايت مقايسهاي بين اين روشها انجام دهيم. ابتدا در بخش مدل سيناپس پويا اراي ه خواهد شد. در بخش 3 براي روشهاي مبتني بر گراديان شامل روشهاي بيشترين كاهش Dscn Sps گراديان مزدوج Lvnbrg- لونبرگ ماركوارت Conjuga Grain Rsilin Bac- و پسانتشار مقاوم LM يا Marquar Propagaion يا RP معرفي شده و روابط رياضي براي اصلاح پارامترهاي مدل به دست خواهد آمد. در بخش 4 نتايج تعليم مدل سيناپس پويا با استفاده از اين روشها اراي ه خواهد شد. در نهايت در بخش 5 مقايسهاي بين روشهاي مطرح شده صورت خواهد گرفت. - مدل سيناپس پويا بر مبناي مدلسازي فرآيندهاي شيميايي دخيل در قدرت وزن سيناپس مدلهاي بسياري اراي ه گرديده است كه از چندين معادله ديفرانسيل غيرخطي براي تعيين مقدار وزن در هر لحظه استفاده ميكنند [3 ]. اما در مدلي كه در اين مقاله اراي ه ميشود تابع وزن سيناپس پويا w با يك معادله ديفرانسيل درجه اول به صورت زير تعريف ميشود: w w. كه در آن و مقادير ثابت تعيين كننده رفتار تابع وزن و ورودي سيناپس است. به طور دقيقتر و تعيين كننده قدرت و ثابت زماني رفتار ديناميكي تابع وزن w و پارامتر نشاندهنده مقدار استراحت اين تابع است. همچنين فرض ميكنيم <. معادله مدلي از فرآيند موسوم به شيميايي تسهيل Faciliaion نمايش به را ميگذارد كه در آن اعمال ورودي به سيناپس باعث افزايش موقتي قدرت آن ميشود [] اما اين افزايش قدرت پس از مدتي اثر خود را از دست داده و وزن سيناپس به مقدار استراحت آن يعني بازميگردد. رابطه بين ورودي و خروجي سيناپس به صورت زير خواهد بود: y w. پاسخ زماني معادله را ميتوان به صورت زير نوشت: w 3 همان طور كه ديده ميشود تغييرات وزن به صورت انتگرالي ميرا شونده از گذشته ورودي است به طوري كه هر چه ورودي مربوط به زمان گذشتهتري باشد تا ثير آن در وزن فعلي كمتر خواهد بود. به منظور معادله صورت گسسته پيادهسازي در كامپيوتر نياز به صورت گسسته خواهيم داشت. از آنجايي كه بدست آوردن معادله با توجه به وجود ثابت در آن كمي پيچيده خواهد بود مستقيما" از صورت گسسته پاسخ آن يعني معادله در هر لحظه براي محاسبه مقدار تابع w استفاده خواهيم كرد. ميتوان به صورت زير نوشت: صورت گسسته معادله را

3 4 n m m T m n T n w.. نآ رد هك.تسا يرادربهنومن دويرپ T -3 ميلعت ياهشور رب ينتبم شور دنچ يريگراك هب اب ميراد دصق شخب نيا رد هلداعم ياهرتماراپ نايدارگ خساپ هب يبايتسد يارب ار.مينك ميظنت رظن دروم اطخ عبات ار ريز تروص هب :مينكيم فيرعت 5 y هك نآ رد y و سپانيس يعقاو يجورخ يجورخ.تسا بولطم طباور هب هجوت اب و :تشاد ميهاوخ 3 6 عبات سپ نيا زا و هتفرگ رظن رد اطخ رايعم ناونع هب ار مينك هنيمك ار نآ درك ميهاوخ يعس هيور نيگنايم نيرتمك اي تاعبرم نيبوكاژ ياهسيرتام.LMS J نيسه و H عبات رتماراپ هس هب تبسن و سپ بيترت ظفح اب :دنيآيم رد ريز تروص هب هبساحم زا 7 J 8 H هطبار ود زا و 7 يتشگزاب طباور ندروآ تسدب يارب 8 اهرتماراپ حلاصا فلتخم ياهشور رد.درك ميهاوخ هدافتسا --3 شهاك نيرتشيب شور نيرتهداس و نيرتيميدق زا يكي شهاك نيرتشيب شور.دشابيم يبصع ياههكبش رد رتماراپ حلاصا ياهشور رد اطخ نايدارگ فلاخ تهج رد هكبش ياهرتماراپ شور نيا دنوشيم حلاصا.[3] هب اهرتماراپ حلاصا هطبار نياربانب :دوب دهاوخ ريز تروص 9 J نآ رد هك و يريگداي خرن حلاصا هس يارب رتماراپ و يريگداي راركت هدنرامش و و سيرتام J نيبوكاژ.تسا.متنموم بيرض زا هدافتسا اي متنموم بيرض زا ناوتيم متيروگلا ييآراك شيازفا يارب يشومارف شهاك نيرتشيب درك هدافتسا.[3] هطبار تروص نيا رد ريز تروص هب 9 :دوشيم ليدبت mo mo mo J :نآ رد هك --3 جودزم نايدارگ شور بيش نيرتشيب تهج رد اهرتماراپ شهاك نيرتشيب شور رد عبات شهاك.دنوشيم حلاصا اطخ دوجو اب اما نيا ره رد هك "اموزل دنكيم اديپ شهاك تعرس رثكادح اب عبات نيا هظحل.تشاد ميهاوخن ار ييارگمه نيرتعيرس شهاك ريسم لك رد.تسين هنيهب ريسم كي "امازلا ريسم رگيد نايب هب شور رد تروص جودزم ياهتهج نيب وجتسج جودزم نايدارگ دريذپيم بيش نيرتشيب يارب وجتسج ياج هب رما نيا هك

4 موجب همگرايي سريعتري نسبت به روش بيشترين كاهش ميگردد [4]. جهت جستجو در هر تكرار از الگوريتم را به صورت p تعريف ميكنيم. در آغاز الگوريتم جهت جستجو برابر منفي گراديان تابع معيار همانند روش بيشترين كاهش قرار داده p g p ميشود: بنابراين يك ماتريس به صورت زير خواهد بود: / p / / p 3 سپس يك جستجوي خطي در جهت بيشترين كاهش تابع معيار صورت ميگيرد: يافتن براي p 4 كه در آن متغير است و جستجو براي يافتن مقداري از آن كه متناظر با مقدار كمينه تابع ارزش باشد صورت p ميپذيرد. جهت جستجو به صورت زير به روز ميشود: g p 5 كه در آن g برابر گراديان تابع معيار در تكرار ام الگوريتم است. ماتريس مربعي مانند ضريب فراموشي مومنتم در روش بيشترين كاهش عمل مي كند. روشهاي مختلفي براي الگوريتم گراديان مزدوج وجود دارد كه هر يك را به نوعي تعيين ميكنند. در روش موسوم به فلچر ريوز Flchr an Rvs اين پارامتر به صورت زير محاسبه ميشود g T g g T g :[4] 6 كه در آن g را مي توان از رابطه 7 محاسبه كرد روش لونبرگ ماركوارد LM در روش LM هم از مشتق اول گراديان و هم مشتق دوم موسوم به هسين براي اصلاح پارامترها استفاده ميشود. يك حسن روش LM اين است كه در آن نيازي به تعيين نرخ يادگيري از ابتدا نميباشد و الگوريتم قادر است نرخ يادگيري را به صورت تطبيقي تغيير دهد. اصلاح پارامترها به T [ H I ] J صورت زير انجام ميشود [5]: 7 كه در آن H ماتريس هسين J ماتريس ژاكوبين و نرخ يادگيري است كه به صورت زير تطبيق پيدا ميكند: - اگر خطا نسبت به تكرار قبلي الگوريتم افزايش يافت افزايش مي يابد تا سهم مشتق اول مشتق دوم افزايش پيدا كند. ژاكوبين نسبت به - اگر خطا نسبت به تكرار قبلي الگوريتم كاهش يافت را كاهش مي دهيم تا سهم مشتق دوم هسين افزايش پيدا كند. اما همانطور كه در رابطه 8 ديده ميشود ماتريس هسين يك ماتريس مفرد Singular است دترمينان آن صفر مي باشد. اما از آنجا كه در رابطه بازگشتي 7 با I جمع ميشود از حالت مفرد بودن خارج شده و معكوس پذير خواهد بود. از آنجايي كه قصد داريم مقدار براي هر يك از پارامترها متفاوت باشد ماتريس I را به صورت زير تعريف I ميكنيم: 8 بنابراين رابطه 7 را ميتوان به صورت زير بازنويسي كرد: I / /. / I I 9

5 -4-3 روش RP يكي از مشكلات اساسي روش بيشترين كاهش دخالت اندازه گراديان در طول گام اصلاح پارامترهاست به طوري كه در بسياري از مواقع كوچك بودن مقدار گراديان باعث كوچك شدن طول گام و كاهش شديد سرعت همگرايي ميشود. هدف از اراي ه روش RP حذف اثر مخرب اندازه گراديان در يادگيري ميباشد. روش RP بسيار شبيه به روش گراديان خطاست با اين تفاوت كه در اين روش تنها از جهت علامت گراديان براي اصلاح پارامترها استفاده ميشود و نه اندازه آن [6]. بنابراين رابطه 9 به صورت زير اصلاح ميشود: sgn J و كه در آن نرخ يادگيري براي هر يك از پارامترها و sgn تابع علامت است كه به صورت زير تعريف ميشود: ; < sgn ; اما تفاوت اساسي روش RP با گراديان خطاي معمولي در تطبيقي بودن نرخ يادگيري آن است به طوري كه نرخ يادگيري در هر مرحله از الگوريتم تعيين ميشود. تغيير نرخ يادگيري بدين صورت است: اگر در دو مرحله متوالي الگوريتم علامت گراديان تابع معيار نسبت به پارامتر X ثابت ماند نرخ يادگيري اين پارامتر با ضريب m افزايش مييابد و در صورتي كه اين علامت تغيير كرد نرخ يادگيري با ضريب m كاهش پيدا ميكند. ضريب m در ابتداي آزمايش تعيين ميشود. آزمايشها خواهد بود. علت استفاده از نويز سفيد به عنوان ورودي اين است كه اين سيگنال كليه مو لفههاي فركانسي را در برداشته و كليه ويژگيهاي فركانسي مدل را در معرض آزمايش قرار ميدهد. سيگنال خطاي هر مرحله Error Iraion برابر مجموع مربعات اختلاف بين نمونه هاي خروجي واقعي و خروجي مطلوب در آن مرحله ميباشد. الگوريتم از يك مقدار تصادفي براي براي سه پارامتر و شروع شده و آنقدر ادامه مييابد تا تغييرات تابع خطاي مرحله از مقدار معيني كمتر گردد. -4- روش بيشترين كاهش در اين آزمايش از روش بيشترين كاهش بدون ضريب مومنتم براي تنظيم پارامترهاي مدل استفاده شد. معادله 9 براي اصلاح پارامترهاي مدل به كار گرفته شدند. مقدار ضريب يادگيري براي سه پارامتر به صورت زير قرار داده شد:... مقدار نهايي خطا برابر /95 ميباشد كه پس از گذشت 466 تكرار الگوريتم حاصل شده است. شكل نمودار كاهش خطاي مدل را در حين تنظيم پارامترها با اين روش نشان ميدهد. 4- پيادهسازي و نتايج براي انجام آزمايش در هر يك از روشها ابتدا مقادير معيني براي پارامترهاي مدل و در نظر گرفته شدهاند. سپس نمونه از يك سيگنال نويز سفيد با واريانس به مدل داده شده و پاسخ آن به دست آمده است. اين دو سيگنال سري زماني نويز و پاسخ در فايلهاي مشخص ذخيره شده و ورودي و خروجي مرجع ما براي تمامي شكل : نمودار كاهش خطاي مدل در حين تعليم با روش بيشترين كاهش بدون ضريب مومنتم.

6 -3-4 روش LM در اين آزمايش از روش LM براي تنظيم پارامترهاي مدل استفاده كرديم. از معادله 9 براي اصلاح پارامترهاي مدل استفاده شد. مقادير اوليه نرخ يادگيري به صورت زير انتخاب شدند:... شكل : نمودار كاهش خطاي مدل در حين تعليم با روش بيشترين كاهش با ضريب مومنتم. انتخاب اين پارامترها بر مبناي سعي و خطا و با توجه به اين واقعيت كه حساسيت مدل نسبت به پارامتر بيشتر از ساير پارامترها ميباشد صورت پذيرفته است. نمودار كاهش خطاي الگوريتم LM در شكل 4 نمايش داده شده است. مقدار نهايي خطا /88 و تعداد تكرارهاي لازم براي رسيدن به آن 8 ميباشد روش RP در اين آزمايش روش RP به كار گرفته شد. مقدار پارامترهاي روش به صورت زير انتخاب شدند: شكل 3: نمودار كاهش خطاي مدل در حين تعليم با روش گراديان مزدوج نوع فلچر-ريوز. بهكارگيري ضريب مومنتم. در اين آزمايش از روش بيشترين كاهش با ضريب مومنتم براي تنظيم پارامترها مدل استفاده شد. معادله براي اصلاح پارامترهاي مدل به كار گرفته شد. مقدار ضريب يادگيري براي هر سه پارامتر برابر / و ضريب فراموشي برابر /9 قرار داده شد. مقدار نهايي خطا برابر /86 ميباشد كه پس از گذشت حدود تكرار الگوريتم حاصل شده است. شكل نمودار كاهش خطاي مدل را در حين تنظيم با اين روش نشان ميدهد. --4 روش گراديان مزدوج در اين آزمايش از الگوريتم گردايان مزدوج با روش فلچر- ريوز استفاده كرديم 6. تا معادلات نمودار كاهش خطا در شكل 3 نمايش داده شده است. مقدار نهايي خطا برابر / ميباشد كه پس از 3 تكرار الگوريتم به دست آمده است. مقادير اوليه نرخ يادگيري ضريب اصلاح نرخ يادگيري... m.3 نمودار كاهش خطا در شكل 5 نمايش داده شده است. مقدار نهايي خطا برابر /94 ميباشد كه پس از حدود 64 بار تكرار الگوريتم به دست آمده است. آزمايش را يك بار ديگر با به كارگيري ضريب مومنتم برابر mo.7 تكرار كرديم. نتيجه تنظيم پارامترها با اين روش در شكل 6 نشان داده شده است كه در آن مقدار نهايي خطا برابر /3 بوده و الگوريتم پس از 6 بار تكرار به پاسخ نهايي رسيده است.

7 روش RP 6 روش RP با ضريب مومنتم. شكل 4: نمودار كاهش خطاي مدل در حين تعليم با روش.LM در مقايسه خطاي نهايي شكل 7 ميتوان گفت خطاي نهايي الگوريتمهاي RP و LM تا حدي قابل قبول بوده هب ترتيب /94 و /88 اما ساير الگوريتمها داراي خطاي نهايي زيادي بودهاند. اما در مقايسه تعداد تكرارهاي لازم براي يادگيري شكل 8 روش گراديان مزدوج و پس از آن LM به ترتيب با 3 و 8 تكرار بيشترين سرعت را داشتهاند. اما روش گراديان خطا بدون ضريب مومنتم با 466 تكرار كندترين روش بوده است شكل 5: نمودار كاهش خطاي مدل در حين تعليم با روش RP بدون ضريب مومنتم. شكل 7: مقايسه خطاي نهايي براي الگوريتمهاي مختلف تعليم پارامترهاي مدل سيناپس پويا شكل 6: نمودار كاهش خطاي مدل در حين تعليم با روش RP با 5- جمع بندي نتايج به عنوان جمع بندي ضريب مومنتم. نتايج حاصل شده از هر يك از روشهاي مورد استفاده را با هم مقايسه ميكنيم. مقايسه در شكلهاي شمارهگذاري بيشترين كاهش مومنتم 8 و 7 اين نمايش داده شده است. بدين ترتيب انجام شده است: 3 روش روش بيشترين كاهش با ضريب روش گراديان مزدوج روش 4 شكل 8: مقايسه تعداد تكرارهاي لازم براي الگوريتمهاي مختلف تعليم پارامترهاي مدل سيناپس پويا. 6- نتيجهگيري در اين مقاله چند روش تعليم مبتني بر گراديان براي تنظيم پارامترهاي يك مدل سيناپس پويا به كار گرفته شد. مدلهاي قبلي به دليل هموار نبودن تابع خطا در امكان استفاده از اين روشها وجود نداشته و به ناچار از روشهايي چون الگوريتم ژنتيك و تطبيق بلند مدت استفاده گرديده است كه عمدتا" پيچيده و وقتگير هستند. اما هموار بودن تابع معيار خطا در اين مدل اجازه استفاده از روشهاي 5 LM

8 Synapic Plasiciy a Singl Synapss, Nuropharmacology, Vol. 37, pp , 998. [3] D. E. Rumlhar, G. E. Hinon, an R. J. Williams, Larning Inrnal Rprsnaions by Error Propagaion, D. Rumlhar an J. McClllan: iors. Paralll Daa Procssing, Vol., Chapr 8, Cambrig, MA, MIT Prss, pp , 986. [4] M. T. Hagan, H. B. Dmuh, an M. H. Bal, Nural Nwor Dsign, Boson, MA, PWS Publishing, 996. [5] M. T. Hagan, an M. Mnhaj, Training Fforwar Nwors wih h Marquar Algorihm, IEEE Trans. Nural Nwors, Vol. 5, No. 6, pp , 994. [6] M. Rimillr, an H. Braun, A Dirc Aapiv Mho for Fasr Bacpropagaion Larning: Th RPROP Algorihm, Proc. IEEE Inrnaional Confrnc on Nural Nwors, San Francisco, CA, April 993. مبتني بر گراديان خطا را به ما داد. در مجموع با در نظر گرفتن خطاي نهايي و زمان مورد نياز براي تعليم روش RP مناسبترين روش مبتني بر گراديان به نظر ميرسد. با به كار گيري قانون پسانتشار خطا كه در شبكههاي جلوسو به كار گرفته ميشود ميتوان از اين روش براي تعليم شبكههاي جلوسوي چندلايه با سيناپسهاي پويا بهره برد. سپاسگزاري اين تحقيق از طرح حمايت مركز تحقيقات مخابرات ايران از پروژههاي كارشناسي ارشد طبق قرارداد شماره 5/85 /ت مورخ 84/7/6 دانشگاه صنعتي اميركبير با آن مركز بهرهمند گرديده است كه بدينوسيله از ايشان تشكر ميشود. مراجع [] P. Srn, Nuroscinc: A Vibran Conncion, Scinc, Vol. 98, p. 769,. [] R. S. Zucr, an W. G. Rghr, Shor-rm Synapic Plasiciy, Annu. Rv. Physiol., Vol. 64, pp ,. [3] J. S. Liaw, an T. W. Brgr, Dynamic Synaps: A Nw Concp of Nural Rprsnaion an Compuaion, Hippocampus, Vol. 6, pp. 59-6, 996. [4] J. Sorc, F. Jäl, an G. Dco, Tmporal Clusring wih Spiing Nurons an Dynamic Synapss: Towars Tchnological Applicaion, Nural Nwors, Vol. 4, pp ,. [5] J. Sorc, F. Jäl, an G. Dco, Larning Spaiomporal Simuli wih Nwors of Spiing Nurons an Dynamic Synapss, Nurocompuing, Vol. 38-4, pp ,. [6] T. Naschlägr, W. Maass, an A. Zaor, Efficin Tmporal Procssing wih Biologically Ralisic Dynamic Synapss, Nwor: Compuaion in Nural Sysms, Vol., pp ,. [7] S. Gorg, A. Dibazar, V. Dsai, an T. W. Brgr, Spar Rcogniion Using Dynamic Synaps Bas Nural Nwors wih Wavl Prprocssing, Proc. IEEE Inrnaional Join Confrnc on Nural Nwors IJCNN, Vol., pp. -5,. [8] S. Gorg, A. Dibazar, V. Dsai, an T. W. Brgr, Using Dynamic Synaps Bas Nural Nwors wih Wavl Prprocssing for Spch Applicaions, Proc. IEEE Inrnaional Join Confrnc on Nural Nwors IJCNN, Vol., pp , 3. [9] W. Snn, H. Marram, an M. Tsoys, An Algorihm for Moifying Nuroransmir Rlas Probabiliy Bas on Pr- an Possynapic Spi Timing, Nural Compuaion, Vol. 3, pp ,. [] H. H. Namarvar, J. S. Liaw, an T. W. Brgr, A Nw Dynamic Synaps Nural Nwor for Spch Rcogniion, Proc. IEEE Inrnaional Join Confrnc on Nural Nwors IJCNN, Vol. 4, pp ,. [] H. H. Narnarvar, an T. W. Brgr, Trus Rgion Nonlinar Opimizaion Larning Mho for Dynamic Synaps Nural Nwors, Proc. IEEE Inrnaional Join Confrnc on Nural Nwors IJCNN, Vol. 4, pp , 3. [] H. Marram, D. Pius, A. Gupa, an M. Tsoys, Ponial for Mulipl Mchanisms, Phnomna an Algorihms for