ПЕРФОРМАНСЕ ИВИЧНЕ ОБЈЕКТИВНЕ ПРОЦЕНЕ КВАЛИТЕТА СЛИКЕ OBJECTIVE EDGE-BASED IMAGE QUALITY ASSESSME T PERFORMA CES

Transcript

1 ПЕРФОРМАНСЕ ИВИЧНЕ ОБЈЕКТИВНЕ ПРОЦЕНЕ КВАЛИТЕТА СЛИКЕ OJECTIVE EDGE-SED IMGE ULITY SSESSME T PERFORM CES Бобан Бонџулић, Владимир Петровић 2, Димитрије Бујаковић Војна академија - Београд 2 Imain Science - University of Manchester Садржај У раду су анализиране перформансе ивичне објективне процене квалитета слика. Предложена су два начина одређивања мапа субјективног значаја којима су модулисане мапе локалног квалитета слике. Предложени приступи су евалуирани коришћењем три референтне базе слика. bstract In this paper we analyzed ede-based objective rayscale imae quality metric performances. We proposed two perceptual importance maps which modulate local imae quality success. The proposed approaches are validated usin three, well known imae datasets with subjective results.. УВОД У литератури се могу наћи бројне објективне мере за процену квалитета слике. Основни циљ ових мера је добити предикције које су у доброј корелацији са просечном субјективном оценом (MOS mean opinion score). Према количини информација изворне слике која се користи у поступку процене квалитета од стране посматрача, објективне мере за процену квалитета слике се могу поделити у три категорије, без референцирања (NR no-reference), са потпуним референцирањем (FR full-reference) и са делимичним референцирањем (RR reduced-reference) []. Алгоритми за процену квалитета слике најчешће имају две фазе. У првој фази, квалитет се евалуира на локалном нивоу и добија се мапа (матрица) квалитета. У другој фази се примењује алгоритам просторног удруживања локалних вредности квалитета како би се добила нумеричка вредност која представља квалитет комплетне слике. И док је велики труд уложен у развој прве фазе, мало је урађено за проналажење најбоље стратегије у другој фази, па се најчешће користи просторно усредњавање [2]. Проблеми са просторним усредњавањем се јављају када дисторзија није униформно распоређена у простору слике. На пример, када у малом делу слике постоји дисторзија а остали делови су доброг квалитета, посматрач ће већу пажњу обратити региону лошег квалитета и даће процену нижу од средње вредности мапе квалитета. Евалуација субјективног значаја визуелних информација није једноставан задатак и она представља део моделовања визуелног система човека. У контексту објективне процене квалитета слике, евалуација значаја идентификује информације на слици које утичу на посматрача када формира импресију о квалитету. То омогућава да се повећа утицај битних информација на резултат процене. У [3] се за одређивање мапе субјективног значаја користе особине региона добијених сегментацијом: контраст, димензија, облик, позиција и припадност предњем плану/позадини. Подела слика на регионе, одређивање сличности региона и одређивање мапе субјективног значаја на основу особина региона користе се и у [4]. У [5] је субјективни значај пиксела одређен као производ три фактора: амплитуде градијента, позиције пиксела на слици и припадности ентитетима вишег реда (објектима као што су путеви, реке, возила и сл.). У [6] је уведена мапа субјективног значаја која зависи од локалних варијанси нивоа сивог. У [2] су истражене три технике просторног удруживања: Минковски удруживање, удруживање на основу локалног квалитета и удруживање на основу информационог садржаја. Експерименти су показали да сва три метода могу побољшати предикцију мера за процену квалитета слика, али се трећи метод показао као генералан и робустан. У раду [7] мапа значаја формирана је на два начина. Први начин је на основу броја фиксација на свакој позицији пиксела а други начин је на основу трајања фиксација. Међутим, увођењем мапа субјективног значаја нису остварена значајна побољшања у односу на просторно усредњавање. У [8] се значај пиксела одређује након поделе пиксела слике у три класе: ивице, текстуре и глатки (flat) региони. Пикселима сврстаним у класу ивица дат је дупло већи значај него пикселима преостале две класе. У раду [9] су истражене две хипотезе просторног удруживања. Прва је визуелна пажња а друга коришћење p% најнижих скорова који одговарају деловима слике са лошим квалитетом. У другом делу рада описана је ивична објективна процена квалитета слике, и у оквиру њега су предложена два начина одређивања мапа субјективног значаја. Субјективни значај одређен је на основу информационог садржаја изворне и тест слике. У трећем делу рада дати су примери процене квалитета слика са компресијом, док су перформансе ивичне објективне процене квалитета (без и са мапама субјективног значаја) евалуиране у четвртом делу. 2. ИВИЧНА ПРОЦЕНА КВАЛИТЕТА СЛИКЕ У ивичној процени полази се од издвајања параметара ивица и коришћења субјективног модела значаја пиксела. Разматрањем субјективног значаја региона слике, очување параметара ивица локалних региона интеграли се у једну нумеричку вредност која одсликава квалитет тест слике. Наведени приступ је проистекао из приступа који се користи у процени квалитета сједињавања монохроматских слика [5], где се очување просторних информација евалуира кроз ивичну (градијентну) репрезентацију. Ивична процена

2 полази од идеје да је пренос (компресија, деградација) којим се пренесе више ивичних информација бољи. А. Издвајање параметара ивица За потребе објективне процене потребно је обе слике филтрирати са Собел просторним маскама. Резултате конволуције слика који дају информације о хоризонталним и вертикалним компонентама ивица (x и y оријентације) означимо sa s x и s y, респективно. Од ових компоненти се добијају амплитуда, (m,, и оријентација ивице, α(m,, пиксела слике (слике ): x 2 y 2 max s + s = () s = arctan s y x α (2) У () је са max означена максимална вредност градијента која се може добити применом Собел маски ( max =.8) за 8.-битне монохроматске слике сведене на опсег од нула до један. Амплитуда може бити у опсегу [0,], где минимална вредност одговара ситуацијама када нема промена нивоа сивог, а максимална вредност одговара максималном контрасту. Оријентација α може бити у опсегу [-π,π]. Оријентација је циклична променљива, тј. екстремне вредности -π и π су у основи исте. Б. Мера одржања ивица Ивица изворне слике је сасвим пресликана у тест слику ако су амплитуде и оријентације остале непромењене. Промена једног или оба параметра је показатељ губитка информација. Уколико постоји губитак контраста од изворне слике до тест слике, промена амплитуде,, се дефинише као однос амплитуда изворне и тест слике: + C, ( m, n ) > ( m, n ) (, ) m n + C = (3) + C, ( m, n ) ( m, n ) + C У (3) је са C (C=4/256=/64) означена константа која се додаје због ситуација у којима су оба градијента веома близу нуле или прага детекције ивице. Промена оријентације ивица слике у односу на слику, α, се дефинише као нормализована разлика оријентација α и α : α = π α α π Вредности и α описују линеарне промене ивичних информација. Међутим, како субјективни губитак информација није линеарно завистан од промене амплитуда и оријентација у обзир је узета и нелинеарна природа визуелног система човека. Губитак амплитуда и оријентација ивица модулисан је са нелинеарним функцијама. Коришћењем ових функција добијају се мере одржања параметара ивица, (4) и α, које моделују истинитост улазних амплитуда и оријентација на позицији (m, у тест слици: i Γ i =, {,α} + ( ki( i m n σ i) ) exp (, ) i. (5) Вредности параметара нелинеарних сигмоидних функција [k,σ,k α,σ α ]=[-,0.7,-24,0.8] оптимизоване су за потребе сједињавања слика [5]. Константе Γ i добијају се тако да је i = када је i =. Мере одржања амплитуда и оријентација (m, и α (m, се комбинују у меру одржања ивица (m,, која представља меру верности којом слика представља слику : = (6) Крајња мера квалитета тест слике,, се добија као средња вредност одржања ивичних параметара пиксела изворне слике, (m,: = M m= n= M На слици приказане су изворна слика uildins, три њене модификације настале JPEG компресијом и мапе квалитета добијене применом мере одржања ивица. Степени компресије и вредности анализираних објективних мера процене дати су у табели. Са слике види се да тест слике имају различит визуелни квалитет, а са мапа квалитета види се да се са повећањем степена компресије (смањење bpp) очува и мање информација о ивицама изворне слике (црни пиксели 0, бели пиксели ). Из табеле види се да се повећање степена компресије правилно евалуира са ивичном објективном проценом квалитета, као и са PSNR. В. Одређивање мапе субјективног значаја Расподела субјективног значаја на слици је комплексан процес који зависи од од бројних фактора као што су контраст, оријентација ивица, позиција на слици, припадност ентитетима вишег реда (објектима), садржај слике, итд. Евалуација значаја је потребна у истој резолуцији као што су резолуције изворне и тест слике и њен циљ је формирање мапе субјективног значаја, w(m,, која одсликава субјективну важност пиксела слике. Уколико је позната мапа субјективног значаја, w, крајња мера квалитета се може добити као нормализована сума мапе квалитета тест слике модулисане са мапом субјективног значаја w. То значи да се мера квалитета тест слике може добити као: M = m n= w = M m= n= α w( m, w( m, (7) (8)

3 (a) (б) (в) (г) (д) (ђ) (е) Слика. (а) изворна слика, (б) (в) (г) тест слике, (д) (ђ) (е) мапе квалитета добијене применом ивичне мере (7). Табела. Вредности објективних процена тест слика. Слика bpp PS R (d) (б) (в) (г) Вредности мера (7) и w (8) се налазе у опсегу [0,], где вредност нула указује да је дошло до потпуног губитка информација изворнe сликe, док вредност један указује да се ради о идеалном преносу при коме су информације изворне слике у потпуности пресликане у тест слику. За тест слику која има већу вредност / w кажемо да је бољег квалитета. Субјективни значај у раду је одређен на два начина. Први начин је на основу локалног информационог садржаја изворне слике (слике А): w( ) = lo P( ), (9) 2 где је P( ) функција густине вероватноће градијента изворне слике. Из (9) се види да значај пиксела зависи од расподеле вредности градијента. Значај пиксела p(m, се може тумачити као број бита потребних за репрезентацију вредности његовог градијента (m,. За претпоставку о Рејлијевој расподели амплитуда градијента, функција значаја (9) ће бити нелинеарна функција, што је у складу са нелинеарном природом визуелног система човека. Како би се у обзир узео и локални информациони садржаји тест слике уведена је и друга функција значаја пиксела: w(, ) = lo 2 P(, ), (0) где је P(, ) здружена расподела градијената изворне и тест слике. На овај начин збирна процена (8) ће испуњавати услов симетричности ( w= w). Увођењем функција значаја (9) и (0) избегава се хеуристичко одређивање значаја пиксела са нултим градијентом, јер значај зависи од фреквенције појаве нултог градијента. Одсуство промене сигнала носи малу али коначну количину информација. На слици 2 приказане су изворна и тест слика, мапа одржања ивица (светлије вредности имају веће вредности квалитета) и одговарајуће мапе значаја (светлије вредности имају већи значај). Мапа одржања ивица (мапа квалитета) 2(в) рефлектује просторне варијације субјективног квалитета. Са слика 2(г) и 2(д) види се да објекти на слици у предњем плану имају већи субјективни значај од позадине (небо). Такође, са слике 2(д) види се да пиксели позадине код којих се уочава блоковски ефекат добијају на значају.

4 (а) (б) (в) (г) (д) Слика 2. (а) изворна слика, (б) тест слика, (в) мапа одржања ивица, (г) (д) мапе субјективног значаја добијене коришћењем (8) и (9), респективно. 3. ПРИМЕРИ ПРОЦЕНЕ КВАЛИТЕТА На сликама 3 и 4 приказане су тест слике различитог квалитета настале применом JPEG и JPEG2000 компресије. Степен компресије тест слика је различит. Груба квантизација коришћењем JPEG и JPEG2000 компресије доводи до губљења финих детаља изворних слика (цреп на слици 3, односно дрвеће на слици 4). Како су у овим регионима структурне информације скоро потпуно изгубљене то условљава и лошији визуелни квалитет. У табелама 2 и 3 дати су степени компресије тест слика и вредности објективних процена. У даљем раду са обележени су резултати добијени применом ивичне објективне процене (7), где је свим пикселима дат једнак субјективни значај (просторно усредњавање). Са w и w2 обележене су вредности добијене коришћењем (8) и мапа значаја (9) и (0), респективно. Из табеле 2 види се да се коришћењем објективних мера процене правилно евалуира субјективни утисак слика са JPEG компресијом. Код слика са JPEG2000 компресијом субјективни утисак се не слаже са објективним проценама добијеним применом PSNR. (а) (б) (в) (г) (д) (ђ) (е) (ж) (з) Слика 3. (а) (б) (в) изворне слике, (г) (д) (ђ) тест слике настале применом JPEG компресије, (е) (ж) (з) мапе квалитета/дисторзије тест слика (г) (д) (ђ), респективно.

5 Табела 2. Вредности објективних процена тест слика са JPEG компресијом. Слика bpp PS R (d) w w2 3(г) (д) (ђ) Табела 3. Вредности објективних процена тест слика са JPEG2000 компресијом. Слика bpp PS R (d) w w2 4(г) (д) (ђ) ПЕРФОРМАНСЕ ИВИЧНЕ ПРОЦЕНЕ Перформансе објективних мера процене евалуиране су кроз три аспекта предикције []: предикција тачности, одређена рачунањем коефицијента корелације CC, средње апсолутне грешке ME и корена средње квадратне грешке RMSE, између објективних процена и субјективних скорова, предикција монотоности, одређена Спирмановим коефицијентом корелације рангова SROCC, предикција конзистентности, одређена рачунањем тачака ван прозора од две стандардне девијације субјективних процена outlier ratio OR. За нелинеарно пресликавање између објективних процена и субјективних скорова користи се логистик функција са четири параметра []. Перформансе ивичне објективне процене (без и са мапама субјективног значаја) упоређене су са перформансама PSNR и перформансама мера које се због добре предикције субјективних процена најчешће користе: VSNR (Visual-Sinal-to-Noise Ratio) [0], MS- SSIM (Multi-Scale Structural Similarity) [] и VIF (Visual Information Fidelity) [2]. Поређење је извршено на референтним базама слика са доступним субјективним проценама: Toyama, LIVE и IVC база. На слици 5 приказани су дијаграми расипања MOS и DMOS вредности (диференцијални MOS) на три базе слика, при чему свака тачка представља једну тест слику. Вертикална и хоризонтална оса представљају MOS/DMOS и добијене ивичне процене w. Са дијаграма са слике 5 види се да ивичне објективне процене имају константно расипање око логистик криве у комплетном опсегу квалитета. Такође, расипање око логистик функција је слично за све три базе што говори о робустности ивичне процене. У табели 4 дате су перформансе објективних мера процене по анализираним аспектима (две најбоље мере су обележене масним словима). (а) (б) (в) (г) (д) (ђ) (е) (ж) (з) Слика 4. (а) (б) (в) изворне слике, (г) (д) (ђ) тест слике настале применом JPEG2000 компресије, (е) (ж) (з) мапе квалитета/дисторзије тест слика (г) (д) (ђ), респективно.

6 Табела 4. Поређење перформанси објективних мера процене на Toyama, LIVE и IVC базама. Toyama база LIVE база IVC база Мера CC SROCC ME RMSE OR [%] PS R VS R MS-SSIM VIF w w PS R VS R MS-SSIM VIF w w PS R VS R MS-SSIM VIF w w Из табеле 4 види се да се ивична објективна процена налази раме уз раме са најбољим техникама објективне процене квалитета (MS-SSIM и VIF), а на свим базама слика је боља од PSNR и VSNR. Генерално, из табеле 4 може се закључити да се предложеним мапама субјективног значаја незнатно побољшава предикција ивичне објективне процене. 5. ЗАКЉУЧАК Ивична објективна процена се налази раме уз раме са најбољим техникама објективне процене квалитета. Увођењем предложених мапа субјективног значаја незнатно је побољшана предикција ивичне процене. Побољшање не зависи од базе слика која се користи у евалуацији. У даљем раду потребно је испитати утицај мапа субјективног значаја на различитим класама слика (JPEG, JPEG2000, шум,...). Такође, предложени приступ ће се проширити на процену квалитета колор слика и процену квалитета видео секвенци. ЛИТЕРАТУРА [] International Telecommunication Union, TUTORIL: Objective perceptual assessment of video quality - Full reference television, ITU-T, [2] Wan, Z., Shan, X., Spatial poolin strateies for perceptual imae quality assessment, IEEE Inter. Conf. Imae Proc., tlanta, G, October [3] Osberer, W., Maeder,.J., utomatic Identification of Perceptually Important Reions in an Imae, IEEE 4 th International Conference on Pattern Reconition, 998. Слика 5. Дијаграми расипања DMOS вредности. Toyama база LIVE база IVC база [4] Ghanem,., Resendiz, E., huja, N., Sementation-based perceptual imae quality assessment (SPI), IEEE Inter. Conf. Imae Proc., [5] Petrović, V., Multisensor Pixel-level Imae Fusion, PhD Thesis, University of Manchester, 200. [6] Wan, Z., Simoncelli, E.P., Stimulus Synthesis for Efficient Evaluation and Refinement of Perceptual Imae uality Metrics, IS&T/SPIE s Symposium on Electr. Ima., [7] Ninassi,., Meur, O.L., Callet, P.L., arba, D., Does where you aze on an imae affect your perception of quality? pplyin visual attention to imae quality metric, IEEE Inter. Conf. Imae Proc., [8] Li, C., ovik,.c., Three-Component Weihted Structural Similarity Index, SPIE Conference on ISP, [9] Moorthy,.K., ovik,.c., Perceptually Sinificant Spatial Poolin Techniques for Imae uality ssessment, SPIE Conference on HVEI, [0] Chandler, D.M., Hemami, S.S., VS R: Wavelet-ased Visual Sinal-to- oise Ratio for atural Imaes, IEEE Trans. on Imae Proc., Vol. 6 (9), pp , [] Wan, Z., Simoncelli, E.P., ovik,.c., Multi-Scale Structural Similarity for Imae uality ssessment, 37 th silomar Conf. on Sinals, Systems and Computers, [2] Sheikh, H.R., ovik,.c., Imae information and visual quality, IEEE Transactions on Imae Processin, Vol. 5, No. 2, pp , Feb