افزایش وضوح ناحیه اي

Transcript

1 افزایش وضوح ناحیه اي محمود امین طوسی, محمود فتحی و ناصر مزینی دانشگاه علم و صنعت ایران دانشکده مهندسی کامپیوتر دانشگاه تربیت معلم سبزوار گروه ریاضی تصاویر و فیلم ها با نام وضوح برتر 6 زیرشاخه اي از پردازش تصویر می باشد که مرتبط با بهبود کیفیت تصویر و فیلم است. برخلاف سایر روشهاي معمول بهبود کیفیت تصاویر که اندازه تصاویر ورودي و خروجی یکسان است در اینجا وضوح تصویر خروجی از ورودي بیشتر است. منظور از وضوح میزان جزي یات ریز قابل دید در تصویر است. وضوح یکسان دو تصویر به این معنی است که یکی می تواند با درونیابی دیگري حاصل شود یا اطلاعات مفید بارز در دو تصویر یکسان است. [1]. آغازین اثر در این حوزه توسط تی ساي و هوآنگ [2] 7 به عنوان روشی براي افزایش وضوح تصاویر دریافتی از ماهواره در سال 1984 اراي ه شده است. از آن زمان تاکنون روشهاي مختلفی براي این مسي له و در حوزه هاي متنوعی اراي ه شده است [3 4]. در حالت کلی دو مسي له ي اصلی در الگوریتم هاي وضوح برتر وجود دارد که بایستی حل شوند: اولا باید تمام تصاویر ورودي دقیقا نسبت به هم و روي یک شبکه ي مشترك تنظیم شوند (ثبت تصویر) 8 و ثانیا بایستی تصویر نهایی از روي این تصاویر تنظیم شده بازسازي شود. 9 با توجه به تحقیقات بسیار انجام شده در دو زمینه ي فوق می توان گفت افزایش وضوح از طریق روشهاي مبتنی بر بازسازي به حدود نهاي ی خود نزدیک شده است اخیرا لین و شام 10 نشان داده اند [1] که استفاده از روشهاي مبتنی بر بازسازي براي حصول ضریب بزرگنماي ی 11 بالاتر مطلوب نبوده و بایستی به روشهاي دیگري همچون روشهاي مبتنی بر مدل یا مبتنی بر مثال توجه نمود. این شیوه ها اطلاعات با فرکانس بالا را از یک پایگاه داده از تصاویر آموزشی استخراج نموده و به تصویر با وضوح پایین اضافه می نمایند. این روش ها به لحاظ آنکه نویدبخش غلبه بر برخی محدودیت هاي مبتنی بر بازسازي هستند توجه ویژه اي را در چند سال اخیر به خود معطوف نموده اند[ 5 ]. در روشهاي قبلی مبتنی بر مثال [6 8] 7 در مرحله ي آموزش زوجهایی از بلوکهاي متناظر تصاویر وضوح پایین و وضوح بالا گردآوري 6 Super-Resolution 7 Tsai and Huang 8 Registration 9 Reconstruction 10 Lin and Shum 11 Magnification factor چکیده: در این مقاله شیوه اي براي افزایش وضوح 1 برخی نواحی یک تصویر با وضوح پایین با استفاده از چند تصویر با وضوح بالا اراي ه شده است. هر یک از تصاویر باوضوح بالا به عنوان تصویر آموزشی متناظر با قسمتی از تصویر باوضوح پایین هستند. تصاویر آموزشی می توانند تفاوتهایی با تصویر اصلی از نقطه نظر شدت روشناي ی یا زاویه ي اخذ داشته باشند. این تفاوتها می تواند ناشی از برداشت عکسها در زمانهاي متفاوت و یا با دوربینهاي متفاوت و از زوایاي مختلف باشد. در شیوه ي پیشنهادي ابتدا تصاویر به اندازه ي مطلوب بزرگ شده و سپس تبدیل مناسبی براي نگاشت هر یک از تصاویر آموزشی بر روي تصویر مورد نظر با استفاده از نقاط کلیدي 2 SIFT و الگوریتم RANSAC در قالب ماتریس هوموگرافی 3 پیدا می شود. تخمین بدست آمده با استفاده از یک شیوه ي ثبت تصویر مبتنی بر ناحیه 4 اصلاح شده و در انتها تصویر باوضوح بالاي نگاشت شده با تصویر باوضوح پایین ورودي آمیخته 5 می شود. نتایج آزمایشات انجام شده برتري شیوه ي پیشنهادي را نسبت به چند روش دیگر نشان می دهد. واژه هاي کلیدي:وضوح برتر آمیختن ثبت تصویر موجک هوموگرافی.RANSAC SIFT 1- مقدمه اخیرا استفاده از دوربین هاي دیجیتال بسیار مرسوم و همه گیر شده است. بسیاري از دوربین هاي مخصوص عکس برداري و فیلم برداري امکان برداشت و ذخیره عکس ها را با وضوح هاي مختلف فراهم می نمایند. دسته اي از آنها (همانند دوربین هاي گوشی هاي تلفن هاي همراه) تواناي ی ثبت عکس با وضوح بالا و گرفتن فیلم با وضوح پایین را دارا می باشند. افزایش وضوح 1 Resolution 2 (SIFT) Scale Invariant Feature Transform 3 Homography matrix 4 Area-based image registration 5 Fused

2 (ا) تصویر ورودي با وضوح پایین( ) (ب) (ج ) (د) شکل 1. تصویر با وضوح پایین ورودي(ا) و تصاویر با وضوح بالاي آموزشی (ب-د) فراهم شده از منابع متفاوت از نقش برجسته ي داریوش. ابعاد هر تصویر در زیر هر یک نوشته شده است. تفاوت رنگ وضوح و زاویه ي اخذ عکس ها مشهود است. می شود. سپس نزدیکترین بلوك با وضوح پایین ذخیره شده به هر بلوك از نمونه تصویر با وضوح پایین ورودي پیدا می شود. در نهایت اطلاعات فرکانس بالاي بلوك با وضوح بالاي متناظر با بلوك پیدا شده به بلوك ورودي افزوده می شود. مقالات مبتنی بر مثال فوق همگی از بلوکهاي کوچک (5 5 و 7 7) استفاده نموده اند. شیوه ي پیشنهادي در این مقاله مبتنی بر نگاشت کل تصویر آموزشی بر روي تصویر ورودي می باشد. این روش عمومیت روشهاي قبل را ندارد اما در حالتیکه تصاویر باوضوح بالا از قسمتهایی از صحنه در دسترس باشند نتایج بسیار خوبی می تواند تولید کند. تصاویر با وضوح بالا از نقطه نظرهاي ذیل می توانند با تصویر ورودي متفاوت باشند: زاویه ي تصویربرداري زاویه ي تصویربرداري تصاویر مختلف آموزشی و ورودي می تواند متفاوت باشد. البته اختلاف زاویه باید به نحوي باشد که عمل نگاشت تصویر با مدل پروجکتیو 12 امکانپذیر باشد. شدت روشناي ی جابجا شدن دوربین و خودکار بودن زمان نوردهی 13 و برداشت عکس در زمانهاي مختلف یا توسط دوربین هاي متفاوت باعث می شود که تصاویري با شدتهاي روشناي ی متفاوت داشته باشیم. وضوح متفاوت بودن دوربین ها تغییر زووم و تغییر دستی میزان وضوح مورد نظر در دوربین سبب می شود که تصاویري با وضوح مختلف داشته باشیم. در چنین حالاتی بهبود وضوح تصاویر باوضوح پایین با استفاده از تصاویر با وضوح بالا مطلوب می باشد. کلیات شیوه ي پیشنهادي در این مقاله اخیرا توسط نگارندگان به عنوان مکملی براي شیوه هاي مبتنی بر بازسازي در [9] اراي ه شده است لیکن مقاله ي مذکور مواردي را مورد لحاظ قرار نداده است که در این مقاله به موارد زیر پرداخته خواهد شد: 1. در [9] ضریب بزرگنمایی به صورت دستی تعیین می شده است که در این مقاله روشی خودکار براي این مسي له پیشنهاد شده است 2. در [9] براي ثبت تصویر فقط از یک شیوه ي مبتنی بر ویژگی استفاده شده است در حالیکه این شیوه همیشه نتایج دقیقی تولید نمی کند در این مقاله با استفاده از یک متد ثبت تصویر مبتنی بر ناحیه نتیجه ي شیوه ي مبتنی بر ویژگی بهبود داده شده است 3. در [9] فقط از یک تصویر آموزشی استفاده شده است و در اینجا چارچوبی براي لحاظ نمودن بیش از یک تصویر آموزشی اراي ه شده است. ضمن آنکه در مقاله ي مذکور شیوه ي نگاشت به صورت مختصر ذکر شده بود که در اینجا به تفصیل بیان شده است. در بخش 2 شیوه ي پیشنهادي و در بخش 3 نتایج پیاده سازي ها آمده است. بخش 4 به بحث در مورد مشکلات و راهکارهاي آتی شیوه ي پیشنهادي اختصاص یافته و در انتها جمع بندي آورده شده است. 2- شیوه ي پیشنهادي همانگونه که در بخش قبل ذکر شد شیوه ي پیشنهادي مبتنی بر استفاده از تصاویر با وضوح بالاي ی است که مبین قسمتی از تصویر باوضوح پایین ورودي هستند. هر تصویر آموزشی می تواند در افزایش وضوح یک ناحیه از تصویر ورودي دخیل باشد. میزان افزایش وضوح در همه جاي تصویر ورودي یکسان نبوده و وابسته به وضوح تصویر آموزشی مربوطه است. به همین دلیل شیوه پیشنهادي افزایش وضوح ناحیه اي نامیده شده است. نکته اصلی در شیوه ي پیشنهادي نگاشت دقیق تصویر با وضوح بالا بر روي تصویر ورودي و آمیختن مناسب نتیجه ي نگاشت با تصویر ورودي است. به منظور نمایش بهتر مراحل کار برخی از نتایج میانی در همین بخش آورده خواهد شد. شکل 1 تصویر با وضوح پایین ورودي و چند تصاویر 12 Projective 13 Exposure time

3 روي خروجی مربوط به تصویر قبل اعمال خواهد شد. این مراحل اصلی را می توان به صورت زیر برشمرد: مجموعه تصاوير با وضوح بالا تصوير با وضوح پايين ورودي 1. تغییر اندازه تصویر تصویر ورودي براي تولید تصویري با ابعاد مطلوب وابسته به تصویر آموزشی 2. پیدا کردن نقاط کلیدي در دو تصویر 3. حذف نقاط برون هشته 14 از مجموعه نقاط کلیدي متناظر و پیدا کردن ماتریس تبدیل مناسب براي نگاشت تصویر وضوح بالا A انتخاب تصوير با وضوي بالاي بعدي پيدا كردن نقاط وضوح كليدي بالا تصوير با تغيير اندازه تصوير ورودي با الگوريتم اراي ه شده در متن پيدا كردن نقاط كليدي تصوير ورودي 4. دقیق تر نمودن پارامترهاي تبدیل بدست آمده در مرحله ي قبل توسط یک الگوریتم ثبت تصویر مبتنی بر ناحیه 5. نگاشت تصویر آموزشی بر روي مختصات تصویر ورودي 6. آمیختن تصویر نگاشت شده و تصویر ورودي. در بخش هاي ذیل هر یک از مراحل فوق به صورت کامل تري بیان خواهد شد. 1-2 تغییر اندازه ي تصویر ورودي براي افزایش وضوح تصویر ورودي با استفاده از اطلاعات تصویر دیگر بایستی ابعاد آن به اندازه ي لازم بزرگ شوند. به میزان افزایش ابعاد تصویر ورودي در منابع وضوح برتر ضریب بزرگنماي ی گفته می شود. در روشهاي مبتنی بر بازسازي معمولا این ضریب 2 درنظر گرفته می شود. همانند [7] براي بزرگنماي ی اولیه می توان از یکی از روشهاي مرسوم مانند: تکرار 15 یا درونیابی اسپلاین مکعبی 16 بهره برد. از این شیوه ها می توان به عنوان روشهاي کلاسیک بزرگنماي ی تصویر نام برد. نتیجه ي این مرحله تصویري با تعداد پیکسل بیشتر است که فاقد جزي یات با وضوح بالاست. ضریب بزرگنماي ی در مقالات وضوح برتر و منجمله در [9 10] یک عدد ثابت درنظر گرفته می شده است لیکن هنگامی که تصاویر آموزشی ما از وضوح هاي متفاوتی برخوردار هستند این شیوه کارا نخواهد بود. در این بخش روشی براي تخمین ضریب بزرگنماي ی وابسته به تصویر آموزشی و بر اساس نسبت فواصل نقاط یکسان از دو تصویر اراي ه خواهد شد. فرض کنید )} N N {(P 1, Q 1),..., (P N, Q زوج نقطه ي متناظر در دو تصویر هستند که P i = (x i, y i ) T مختصات iامین نقطه در تصویر با وضوح بالا و Q i متناظر این نقطه در تصویر ورودي با وضوح پایین است. به فرض } n {r 1,..., r و } n {s 1,..., s دو مجموعه ي n N عضوي از اندیس هاي تصادفی r i و s i باشند N) r i, s i 1 ) فاصله ي d HR اقلیدسی بین دو نقطه ي P ri و P si در تصویر آموزشی را با = i 14 Outlier 15 Replication 16 Cubic spline interpolation تصوير نتيجه را به عنوان تصوير ورودي در نظربگير و به مرحلهA برو خير حذف برون هشته ها و تخمين ماتريس تبديل دقيق نمودن تخمين بدست آمده با استفاده از ثبت تصوير مبتني بر ناحيه نگاشت تصوير آموزشي برروي مختصات تصوير ورودي آميختن تصوير نگاشت شده و تصوير ورودي آيا همه تصاوير آموزشي مورد استفاده قرار گرفته اند بله شکل 2. چارچوب کلی شیوه ي پیشنهادي اعلان تصوير نتيجه به عنوان تصوير نهاي ي با وضوح بالا از نقش برجسته ي داریوش در بیستون را نشان می دهد. هدف ما افزایش وضوح تصویر 1 (ا) با استفاده از تصاویر 1 (ب)- 1 (د) می باشد. تصویر 1 (ا) توسط نگارنده با دوربین Panasonic NV-GS75 گرفته شده است. به خاطر دوري فاصله و محدودیت میدان دید وضوح تصویر پایین می باشد. تصاویر با وضوح بالا از منابع مختلف گردآوري شده اند. تصاویر 1 (ب) و 1 (د) با جستجو در اینترنت پیدا شده اند و تصویر 1 (ج ) از روي یکی از بروشورهاي سازمان میراث فرهنگی اسکن شده است. همانگونه که مشاهده می شود تصاویر آموزشی از منظر زاویه دید رنگ و شدت روشناي ی با تصویر ورودي متفاوت هستند. چارچوب کلی شیوه ي پیشنهادي در شکل 2 نشان داده شده است. از آنجا که نحوه ي اعمال شیوه پیشنهادي بر روي هر تصویر آموزشی یکسان است به منظور سادگی مراحل را فقط براي یک تصویر دنبال خواهیم کرد. مطابق چارچوب شکل 2 این مراحل براي هر تصویر دیگر

4 ) si norm(p ri P و فاصله ي نقاط نظیر آنها در تصویر ورودي را با d LR نشان می دهیم. نسبت مقیاس دو تصویر i = norm(q ri Q si ) می تواند به صورت زیر تخمین زده شود: 1 n n i=1 d HR i /d LR i (1) شکل 3. تطابقات تصدیق شده با الگوریتم RANSAC پس از اعمال الگوریتم تغییر اندازه ي اراي ه شده در بخش حدف برون هشته ها و تخمین ماتریس تبدیل الگوریتم معروف [14] 20 RANSAC مجموعه دادگان را به دو مجموعه ي درون هشته ها 21 و برون هشته ها 22 افراز نموده و همزمان تخمینی از مدل بر اساس مجموعه ي حداقل با بیشترین تصدیق 23 را بدست می دهد [15]. از آنجا که در این مقاله مدل هوموگرافی مسطح 24 مفروض بوده و مجموعه دادگان ما زوج نقاطی از فضاي دوبعدي هستند مجموعه ي حداقل بایستی 4 عضو داشته باشد. شکل 3 مجموعه تطابقات صحیحی که توسط این الگوریتم در نگاشت تصویر 1 (ب) بر روي تصویر 1 (ا) انتخاب شده اند را نشان می دهد. بعلاوه ماتریس تبدیل پروجکتیو مسطح 25 نیز توسط این الگوریتم برآورد می شود. تبدیل پروجکتیو مسطح عبارت است از یک تبدیل خطی روي بردارهاي 3 تاي ی همگن 26 که توسط ماتریس 3 3 نامنفرد 27 p زیر نمایش داده می شود[ 15 ]: داد. p 1 p 2 p 3 p 4 p 5 p 6 p 7 p 8 p 9 در ادامه نگاشت نقطه ي x = (x 1, x 2, x 3 ) T تحت تبدیل با پارامترهاي p به نقطه ي y = (y 1, y 2, y 3 ) T را با p) y = W(x; نشان خواهیم 4-2 دقیق تر نمودن مدل نگاشت ماهیت تصادفی الگوریتم RANSAC باعث می شود که گاهی تخمین مدل تبدیل با شیوه ي ثبت تصویر مبتنی بر ویژگی بقدر کافی دقیق نباشد. راه حلی که می توان استفاده نمود اصلاح مدل با استفاده از یک 20 RANdom SAmple Consensus 21 Inliers (The largest consensus set) 22 Outliers (The rest of the data set) 23 The minimal set with greatest support 24 Planar homography 25 Planar projective transformation 26 Homogeneous 3-vectors 27 Non-singular به منظور مقاومت روش نسبت به برون هشته ها به جاي میانگین گیري از میانه ي نسبت فواصل به صورت زیر استفاده می نماییم: scale = Median{d HR 1 /d LR 1,..., d HR n /d LR n } (2) در صورتی که > 1 scale باشد تصویر ورودي با ضریب scale بزرگ خواهد شد. در غیر این صورت تصویر آموزشی را به نسبت 1/scale بزرگ می نماییم. به این ترتیب میزان بزرگنماي ی تصویر ورودي به صورت خودکار و براساس نسبت اندازه ي موارد مشترك دو تصویر بدست خواهد آمد. 2-2 پیدا کردن نقاط کلیدي هدف اصلی ما جز با پیدا کردن یک ماتریس تبدیل خوب که در بخش بعد به آن پرداخته خواهد شد محقق نخواهد گشت. این مسي له به عبارتی همان مسي له ي ثبت تصویر است که در مقدمه به آن اشاره شد. دو گروه اصلی از روشهاي ثبت تصویر روشهاي مبتنی بر ناحیه و روشهاي مبتنی بر ویژگی 17 می باشند[ 11 ]. می توان گفت روشهاي گروه اول از دقت بالاتري برخوردارند لیکن نیازمند یک تخمین اولیه ي خوب از ماتریس تبدیل هستند. در این بخش از روش مبتنی بر ویژگی استفاده شده و مدل بدست آمده در بخش بعد بهبود داده خواهد شد. در این روشها ابتدا بایستی یک مجموعه از نقاط متناظر بین دو تصویر را که به آنها نقاط کلیدي گفته می شود پیدا نموده و سپس ماتریس انتقال را بر اساس آنها برآورد نمود. از بین ویژگیهاي مختلف معمول در پردازش تصویر گوشه هاي هریس[ 12 ] و تبدیل ویژگیهاي نامتغیر با مقیاس( 13](SIFT ] انتخاب و بررسی شدند. نتایج آزمایشات ما نشان داد که نقاط کلیدي SIFT منجر به مدل تبدیل بهتري شده و نسبت به گوشه ها مناسب تر هستند. بر اساس پیشنهاد دیوید لوو 18 در [13] مبتنی بر یک شیوه ي آستانه اي از بین حجم زیاد نقاط کلیدي یک دسته از نقاط متناظر در دو تصویر به عنوان تطابقاتی که به احتمال زیاد صحیح هستند انتخاب می شوند. با اینحال زوج نقاط انتخاب شده کاملا درست نبوده و حاوي تطابقات نادرست 19 نیز می باشد. لذا نیازمند شیوه اي براي حذف این موارد نادرست به عنوان مقادیر برون هشته هستیم تا برآورد قابل اطمینانی از مدل تبدیل بدست آوریم. 17 Feature-based methods 18 David Lowe 19 False matches

5 شیوه ي ثبت تصویر مبتنی بر ناحیه مانند روش لوکاس-کاناد[ 16 ] می باشد. کمینه سازي تفاوت یک تصویر و تبدیل شده ي دیگري روش کلی حل مسي له در این شیوه هاست. هدف در شیوه ي ثبت تصویر معروف لوکاس- کاناد کمینه سازي مجموع مربع تفاضلات زیر بین تصویر آموزشی (x) T و نگاشت تصویر ورودي I(x) است: (ا) یک شبکه از نقاط روي تصویر 1 (ب) (ب) نگاشت شبکه ي نقاط روي تصویر ورودي شکل 4. نگاشت یک شبکه از نقاط روي تصویر آموزشی بر مختصات تصویر ورودي نگاشت معکوس زیر اتخاذ شده است. فرض کنید x یک حفره در نگاشت تصویر آموزشی باشد نقطه ي y متناظر با آن از تصویر آموزشی به صورت 1 (p y = W(x; برآورد شده شدت روشناي ی x برابر با (y) T قرار داده می شود. 6-2 آمیختن آمیختن 29 عبارت است از ایجاد یک تصویر از ترکیب دو یا چند تصویر دیگر به نحوي که اطلاعات مهم آنها محفوظ بماند. از جمله روشهاي آمیختن می توان به روش میانگین گیري مقادیر پیکسلها روشهاي مبتنی بر آنالیز مو لفه ي اصلی و تبدیل موجک اشاره نمود[ 17 18]. آمیختن با تبدیل موجک را می توان با ω تبدیل موجک دو تصویر و قانون آمیختن ϕ بیان نمود. تصویر آمیخته ي (x) I با استفاده از تبدیل موجک ω معکوس آن 1 ω و قانون ϕ به صورت زیر حاصل می شود: I (x) = ω 1( ϕ ( ω(i(x)), ω(t (W(x; p) 1 )) )) (8) از آنجا که ضراي ب موجک با قدرمطلق بزرگ حاوي اطلاعات نمایان و مهم تصویر همچون لبه ها و خطوط هستند یک قانون آمیختن خوب می تواند انتخاب بیشینه ي ضراي ب متناظر دو تصویر باشد. اما مفروضات این مقاله موجب شد که قانون دیگري را مورد استفاده قرار دهیم. هدف ما تقویت اطلاعات با فرکانس بالاي تصویر ورودي (با صرفنظر کردن از نویز تصویر ورودي) با تصویر دیگري است که به فرض اطلاعات مهم را بهتر از تصویر اول نشان می دهد فلذا به عنوان قانون آمیختن اطلاعات با فرکانس پایین تصویر ورودي و جزي یات با فرکانس بالاي تصویر آموزشی مورد استفاده قرار گرفت. این شیوه حتی هنگامی که شدت روشناي ی تصاویر متفاوت هستند نیز به خوبی عمل می نماید. (x) I در رابطه ي 8 تصویر ورودي در دور بعد در چارچوب نشان داده شده در شکل 2 خواهد بود. SSD = [I(W(x; p)) T (x)] 2 (3) x که در آن در ((p I(W(x; نگاشت مختصات تصویر ورودي I بر روي مختصات تصویر آموزشی T می باشد. کمینه سازي (3) نسبت به p انجام می شود. در شیوه ي لوکاس -کاناد فرض بر آن است که در ابتدا تخمینی از مدل دردست بوده و در یک فرآیند تکراري این تخمین بهبود داده می شود: ابتدا عبارت زیر بر اساس p کمینه شده: [I(W(x; p + p)) T (x)] 2 (4) x و سپس پارامترها بروزرسانی می شوند: p p + p (5) دو مرحله ي فوق تا مادامیکه الگوریتم همگرا نشده است تکرار خواهند شد. در فرآیند کمینه سازي p به صورت زیر محاسبه می شود: p = H 1 x [ I W p ]T [T (x) I(W(x; p))] (6) که در آن H ماتریس هسین تقریبی 28 به صورت زیر بدست می آید: H = x [ I W p ]T [ I W p ] (7) مدل تبدیل برآورد شده توسط روش مبتنی بر ویژگی در بخش قبل تخمین اولیه ي مورد نیاز این روش می باشد. 5-2 نگاشت تصویر آموزشی حال با در دست داشتن تخمین دقیق مدل تبدیل ((p (W(x; می توان تصویر باوضوح بالا را بر روي مختصات تصویر ورودي نگاشت نمود. شکل 4 نگاشت یک شبکه از نقاط تصویر آموزشی را روي تصویر ورودي نشان می دهد. یکی از مشکلاتی که در تبدیل یک تصویر با آن مواجه می شویم وجود حفره هایی در تصویر مقصد می باشد. این مشکل می تواند ناشی از نگاشت دو یا چند نقطه از تصویر مبدأ به یک نقطه از تصویر مقصد باشد. یک راه حل معمول براي این مسي له درونیابی شدت روشناي ی این حفره ها با استفاده از پیکسلهاي مجاورشان می باشد ولی در این قسمت شیوه ي 29 Fusion 28 Approximate Hessian Matrix

6 شکل 5. نتیجه ي افزایش وضوح تصویر 1 (ا) با استفاده از تصاویر 1 (ب) تا 1 (د). به منظور مشخص شدن نگاشت تصاویر آموزشی مرز مربوط به هر ناحیه با یک قاب چهارضلعی نشان داده شده است. اعمال الگوریتم اراي ه شده در بخش 1-2 براي تغییر اندازه ي تصویر ورودي جهت آمیختن اولین تصویر آموزشی با تصویر ورودي منجر به نتیجه اي با اندازه ي شده است (یعنی ضریب بزرگنمایی برابر با 1.43). دو تصویر آموزشی دیگر نیز به ترتیب اندازه ي تصویر ورودي را به و رسانیده اند. به این ترتیب تصویر خروجی نهایی 2.9 برابر تصویر ورودي اولیه شده است (9 =,2 4- بحث و کارهاي آتی.( در زیر به تنگناهاي روش پیشنهادي که هر یک محور کارهاي آتی می باشد اشاره می شود: پارالاکس پارالاکس 30 (اختلاف منظر) اختلاف رؤیت با در نظر گرفتن محل دید ناظر است. به بیان دیگر اگر دوربین حول محور خود دوران یافته و جابجا نیز بشود با مشکل پارالاکس مواجه خواهیم بود. در چنین وضعیتی هیچ مدل پروجکتیوي نمی تواند بیانگر تبدیل واقعی باشد. این مشکل به لحاظ برجسته بودن نقوش در مثال ما نیز کمی مشهود است. سایه سایه ها (و مخصوصا در تصاویر آموزشی) علاوه بر آنکه ثبت تصویر را با مشکل مواجه می کنند به لحاظ ایجاد لبه هایی کاذب عمل آمیختن را نیز متا ثر خواهند نمود. 30 Parallax 3- نتایج پیاده سازي کیفیت بصري تصویر نهاي ی تولید شده لازمه ي اعتبارسنجی هر الگوریتم وضوح برتر است. برخی از مراحل میانی در شکلهاي پیشین نشان داده شدند. شکل 5 نتیجه ي نهاي ی افزایش وضوح تصویر 1 (ا) را با استفاده از تصاویر آموزشی 1 (ب)- 1 (د) نشان می دهد. نواحی متناظر با تصاویر نگاشت شده با قابهاي چهارضلعی نشان داده شده است. براي مقایسه چند شیوه ي دیگر پیاده سازي شده اند. به عنوان روش آمیختن در روش پیشنهادي در این مقاله و روش اراي ه شده در [9] از تبدیل موجک دوبیشزو با 3 سطح استفاده شده است. ضریب بزرگ نمایی براي روش اراي ه شده در [9] 2 در نظر گرفته شده است. روش مبتنی بر مثال اراي ه شده در [7] نیز به منظور مقایسه پیاده سازي شده و براي حفظ سازگاري بلوکهاي مجاور از شیوه ي پویش سطر به سطر ذکر شده در همان مرجع استفاده شده است. روشهاي افزایش اندازه ي تصویر Replication و Bicubic در واقع جزو روشهاي افزایش وضوح به حساب نمی آیند و نتایج آنها صرفا براي مقایسه آمده است. فقدان تصویري با وضوح بالا از تصویر ورودي مانع از مقایسه ي آنها با معیار مرسوم میانگین مربعات خطا شده است. لذا از میانگین انرژي هر تصویر[ 19 ] به عنوان محک مقایسه استفاده شده است. شکل 7 مقایسه ي کم ی نتایج روشهاي مختلف را نشان می دهد. همانگونه که مشاهده می شود روش پیشنهادي بالاترین انرژي را دارا می باشد. مقایسه ي تصاویر شکل 6 کیفیت برتر شیوه ي پیشنهادي را به خوبی نشان می دهد. تصاویر آموزشی به همان ترتیبی که در شکل 1 آمده اند به سیستم داده شده اند. اندازه ي تصویر ورودي در ابتدا بوده است.

7 Average Energy of Pixels ReplicationBicubic [7] [9] This paper (ا) روش بزرگنماي ی Neighbor) Replication (Nearest شکل 7. مقایسه ي کم ی نتایج بر اساس انرژي تصویر. اشیاء متحرك مواجهه با اشیاء متحرك یکی از مهمترین مشکلات در بسیاري از مساي ل پردازش تصویر و بیناي ی ماشین منجمله در وضوح برتر و تصاویر عریض می باشد. در مثال مورد استفاده در بخش هاي قبل با این مشکل مواجه نبودیم لیکن وجود اشیاء متحرك هم برآورد مدل و هم مرحله ي آمیختن را تحت تاثیر قرار می دهد. پیدابودن مرزها با آنکه قاب هاي نمایش داده شده در شکل 5 در تصاویر 6 (د) و 6 (ه ) نشان داده نشده اند در این تصاویر مرز نواحی قابل رؤیت است. علت آن است که مرحله ي آمیختن پیاده سازي شده بدون درز 31 نبوده است. 5- جمع بندي (ب) روش بزرگنماي ی Bicubic (ج ) روش افزایش وضوح مبتنی بر مثال[ 7 ] (د) روش اراي ه شده در [9] (ه ) روش پیشنهادي در این مقاله شکل 6. بزرگ شده ي قسمتی از نتیجه ي اجراي شیوه هاي مختلف براي افزایش وضوح شکل 1 (ا). نویسندگان در [9] شیوه اي جدید براي افزایش وضوح یک تصویر با استفاده از یک تصویر آموزشی اراي ه نموده بودند که در مقاله ي حاضر به رفع مشکلاتی از آن پرداخته شد. اراي ه ي روشی براي استفاده از چند تصویر و پیشنهاد یک شیوه ي خودکار تعیین میزان تغییر اندازه ي تصاویر مورد عمل نوآوري هاي اصلی این مقاله می باشند. همچنین از یک روش ثبت تصویر مبتنی بر ناحیه نیز به منظور دقیق تر شدن مدل نگاشت تصاویر استفاده شد. با روش اراي ه شده براي تغییر اندازه ي تصویر ورودي برخلاف رویه ي معمول در الگوریتم هاي وضوح برتر که ضریب بزرگنماي ی از قبل تعیین می شود ضریب بزرگنماي ی به صورت خودکار محاسبه می شود. تصاویر آموزشی می توانند تفاوتهایی از نقطه نظر شدت روشناي ی زاویه دید و میزان زووم با تصویر مورد نظر داشته باشند. به خاطر پذیرش این مفروضات مدل پروجکتیو به عنوان مدل نگاشت تصاویر انتخاب گردید. افزایش وضوح با آمیختن پی درپی نگاشت تصاویر آموزشی بر روي تصویر ورودي انجام شد. نتایج پیاده سازي هاي انجام شده برتري شیوه ي پیشنهادي را در مقایسه با برخی از دیگر روشها نشان داده است. 31 Seamless

8 In Eugene Fiume, editor, SIGGRAPH 2001, Computer Graphics Proceedings, pages ACM Press / ACM SIGGRAPH, [9] M. Amintoosi, M. Fathy, and N. Mozayani. Reconstruction+synthesis: A hybrid method for multi-frame super-resolution. In (MVIP08) 5th Iranian Conference on Machine Vision and Image Processing, University of Tabriz, Iran, Nov [10] M. Fathy, N. Mozayani, and M. Amintoosi. Outlier removal for super-resolution problem using QR- Decomposition. In Proceedings of the International Conference on Image Processing, Computer Vision, and Pattern Recognition (IPCV08), pages , USA, July [11] Barbara Zitová and Jan Flusser. Image registration methods: a survey. Image and Vision Computing, 21: , [12] C. Harris and M. Stephens. A combined corner and edge detector. In Proc. Fourth Alvey Vision Conf., volume 15, pages , [13] David G. Lowe. Distinctive image features from scale-invariant keypoints. Int. J. Comput. Vision, 60(2):91 110, [14] Martin A. Fischler and Robert C. Bolles. Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography. Commun. ACM, 24(6): , [15] R. I. Hartley and A. Zisserman. Multiple View Geometry in Computer Vision. Cambridge University Press, ISBN: , second edition, [16] B.D. Lucas and T. Kanade. An iterative image registration technique with an application to stereo vision. In IJCAI81, pages , [17] A. Ardeshir Goshtasby and Stavri Nikolov. Image fusion: Advances in the state of the art. Inf. Fusion, 8(2): , [18] Paul Hill, Nishan Canagarajah, and Dave Bull. Image fusion using complex wavelets. In BMVC2002, pages , [19] Shai Avidan and Ariel Shamir. Seam carving for content-aware image resizing. ACM Trans. Graph., 26(3):10, تشکر و قدردانی مو لفین وظیفه ي خود می دانند که از آقاي دکتر Peter Kovesi بابت توابع سودمند 32 MATLAB و آقایان وفا خلیقی مصطفی واحدي و دکتر مهدي امیدعلی بابت زحمات و راهنمایی هاي ارزنده ي آنها در زمینه ي 33 X (که این مقاله با آن آماده شده است) و آقاي محمد بابازاده Persian E (گروه کامپیوتر دانشگاه صنعتی شریف) به جهت همکاري تشکر به عمل آورند. مراجع [1] Z. Lin and H.Y. Shum. Fundamental limits of reconstruction-based superresolution algorithms under local translation. IEEE Trans. Pattern Anal. Mach. Intell., 26:83 97, [2] R. Tsai and T. Huang. Multiframe image restoration and registration. In R. Y. Tsai and T. S. Huang, editors, Advances in Computer Vision and Image Processing, volume 1, pages JAI Press Inc, [3] Sean Borman and Robert L. Stevenson. Superresolution from image sequences - a review. In MWS- CAS 98: Proceedings of the 1998 Midwest Symposium on Systems and Circuits, page 374, Washington, DC, USA, IEEE Computer Society. [4] A.K. Katsaggelos, R. Molina, and J. Mateos. Super resolution of images and video. Morgan & Claypool, [5] Tuan Q. Pham. Spatiotonal Adaptivity in Super- Resolution of Under-sampled Image Sequences. PhD thesis, aan de Technische Universiteit Delft, [6] Simon Baker and Takeo Kanade. Hallucinating faces. In FG 00: Proceedings of the Fourth IEEE International Conference on Automatic Face and Gesture Recognition 2000, page 83, Washington, DC, USA, IEEE Computer Society. [7] William T. Freeman, Thouis R. Jones, and Egon C Pasztor. Example-based super-resolution. IEEE Comput. Graph. Appl., 22(2):56 65, [8] Aaron Hertzmann, Charles E. Jacobs, Nuria Oliver, Brian Curless, and David H. Salesin. Image analogies. 32 School of Computer Science & Software Engineering, The University of Western Australia, 33 زي پرشین با لوگوي X Persian بسته ي فارسی براي حروف چینی در 2ε L A TEX می باشد: E