ÐïëõìåóéêÝò ÂÜóåéò ÄåäïìÝíùí Åñãáóßá

ÐïëõìåóéêÝò ÂÜóåéò ÄåäïìÝíùí Åñãáóßá 2007-2008 Yëïðïßçóç óõóôþìáôïò áíüêôçóçò åéêüíùí ìå âüóç ôï ñþìá Ðåñßëçøç Ç åñãáóßá áõôþ ëáìâüíåé ôï 50% ôïõ óõíïëéêïý âáèìïý ôïõ ìáèþìáôïò. Óôü ïò åßíáé ç õëïðïßçóç åíüò óõóôþìáôïò áíüêôçóçò åéêüíùí ìå âüóç ôï ðåñéå üìåíï (content-based image retrieval). Ïé ìýèïäïé áíüêôçóçò ùò ðñïò ôï ñþìá èá óõíäõáóôïýí ìå ìåèüäïõò áíüêôçóçò ìå âüóç ôï êåßìåíï ðïõ èá áñáêôçñßæåé êüèå åéêüíá. Ç åñãáóßá óôï åýåé åðßóçò óôçí êáëýôåñç êáôáíüçóç ôùí åííïéþí ðïõ áöïñïýí óôçí áíüêôçóç ðïëõìåóéêþí äåäïìýíùí ìå âüóç ôï ðåñéå üìåíï êáé óôçí êáôáíüçóç ôùí âáóéêþí äéáöïñþí ìåôáîý ôçò áíüêôçóçò ðëçñïöïñßáò êåéìýíùí êáé ðïëõìåóéêþí äåäïìýíùí. Ç åñãáóßá èá ðñýðåé íá õëïðïéçèåß áðü ïìüäåò 2 áôüìùí. 1 ÅéóáãùãÞ Ãéá ôçí åêðüíçóç ôçò åñãáóßáò èá ñçóéìïðïéçèåß ìßá ãëþóóá ðñïãñáììáôéóìïý ç ïðïßá ìðïñåß íá åßíáé C++, JAVA Þ Üëëç. Åðßóçò, åßíáé åöéêôþ êáé ç õëïðïßçóç ôçò åöáñìïãþò ìýóù web interface, ïðüôå èá ìðïñïýóå íá ñçóéìïðïéçèåß êáé Ýíá ó Þìá üðùò PHP-MySQL. Ç åðéëïãþ ôïõ ðåñéâüëëïíôïò åñãáóßáò áöþíåôáé óôçí êüèå ïìüäá. Ç åöáñìïãþ èá ðñýðåé íá óõíåñãüæåôáé ìå êüðïéï óýóôçìá âüóåùí äåäïìýíùí. Ðñïôåßíåôáé ç ñþóç åßôå ôçò MySQL åßôå ôïõ SQL Server, ùñßò áõôü íá åßíáé äåóìåõôéêü. ¼ëåò ïé ðëçñïöïñßåò ðïõ áöïñïýí óôéò åéêüíåò èá ðñýðåé íá áðïèçêåýïíôáé óôç âüóç äåäïìýíùí. Èá ðñýðåé íá õðïóôçñé- èïýí ïé åîþò ëåéôïõñãßåò: (i) åéóáãùãþ íýáò åéêüíáò, (ii) äéáãñáöþ åéêüíáò, (iii) áíáæþôçóç åéêüíáò ìå âüóç ôéò ðåñéãñáöýò êáé (iv) áíáæþôçóç åéêüíáò ìå âüóç ôï ðåñéå üìåíï (åäþ åóôéüæïõìå óôá áñáêôçñéóôéêü ñþìáôïò ôùí åéêüíùí). Ãéá ôçí áíáæþôçóç ìå âüóç ôéò ðåñéãñáöýò, èá ðñýðåé üôáí åéóüãåôáé ìßá íýá åéêüíá óôç âüóç, ï ñþóôçò íá äßíåé êáé ìßá óýíôïìç ðåñéãñáöþ áõôþò. 1

Óôç óõíý åéá, ãéá ôçí áíáæþôçóç ï Þóôçò äßíåé ìåñéêýò ëýîåéò êëåéäéü êáé ôï óýóôçìá åðéóôñýöåé ôéò k êáëýôåñåò åéêüíåò, üðïõ ôï k äçëþíåé ôïí áñéèìü ôùí áðïôåëåóìüôùí. Ãéá ôçí áíáæþôçóç ìå âüóç ôï ñþìá, ï ñþóôçò äéáëýãåé ìßá åéêüíá (åßôå ìßá áðü ôéò åéêüíåò ôçò âüóçò åßôå ìßá äéêþ ôïõ) êáé óôç óõíý åéá ïñßæåé ðüóåò üìïéåò åéêüíåò åðéèõìåß óôçí Ýîïäï (ðáñüìåôñïò k). Ôï óýóôçìá åðåîåñãüæåôáé ôï åñþôçìá ôïõ ñþóôç êáé óôç óõíý åéá äßíåé óôçí Ýîïäï ôéò k åéêüíåò ðïõ åßíáé ðåñéóóüôåñï üìïéåò ìå ôçí åéêüíá ôïõ ñþóôç. Ïé åéêüíåò åìöáíßæïíôáé ìå öèßíïõóá êáôüôáîç ùò ðñïò ôçí ïìïéüôçôá. ñá, ðñþôç óôç ëßóôá èá åìöáíéóôåß ç åéêüíá ìå ôçí ìåãáëýôåñç ïìïéüôçôá êáé ôåëåõôáßá ç åéêüíá ìå ôç ìéêñüôåñç ïìïéüôçôá. Ïé åéêüíåò åìöáíßæïíôáé ìå ôç ìïñöþ thumbnails. Óôç óõíý åéá áí ï ñþóôçò åðéèõìåß íá äåé ôçí åéêüíá óå ðñáãìáôéêü ìýãåèïò ðñýðåé íá ôïõ äßíåôáé áõôþ ç äõíáôüôçôá. 2 Ìåèïäïëïãßá Ãéá íá ìðïñýóïõìå íá ïñßóïõìå ôçí ïìïéüôçôá ìåôáîý äýï åéêüíùí ðñýðåé íá ðïóïôéêïðïéþóïõìå ôéò äéáöïñýò ôïõò ùò ðñïò ôï ñþìá. íáò ôñüðïò íá ôï ðåôý ïõìå áõôü åßíáé íá ñçóéìïðïéþóïõìå éóôïãñüììáôá. Ôï êüèå pixel ôçò åéêüíáò áñáêôçñßæåôáé áðü ôéò ôéìýò RGB. Åöüóïí êüèå ìßá áðü ôéò ôñåéò ðáñáìýôñïõò ñþìáôïò ìðïñåß íá ëüâåé 256 ôéìýò (áðü 0 Ýùò 255), ìðïñïýìå íá Ý ïõìå 16.777.216 äéáöïñåôéêü ñþìáôá. Ãéá íá áðëïðïéþóïõìå ôç äéáäéêáóßá ñçóéìïðïéïýìå êâüíôéóç ôïõ þñïõ RGB ùò åîþò: áíôß íá ñçóéìïðïéþóïõìå 256 ôéìýò ãéá ôçí êüèå ðáñüìåôñï, ñçóéìïðïéïýìå ìüíïí 16. ñá, ç êüèå äéüóôáóç (R,G,B) äéá ùñßæåôáé óå 16 ñùìáôéêýò ðåñéï Ýò. Ðñïöáíþò, ìå áõôþí ôç ìýèïäï Ý ïõìå ìßá áðþëåéá ðëçñïöïñßáò. Áõôü óçìáßíåé üôé Ý ïõìå 16 3 = 4.096 äéáöïñåôéêü ñþìáôá. Óôç óõíý åéá ìåôñüìå ôïí áñéèìü ôùí pixels ôçò åéêüíáò ðïõ Ý ïõí Ýíá óõãêåêñéìýíï ñþìá (áðü ôá 4.096) êáé äçìéïõñãïýìå ôï éóôüãñáììá. Ìå ôïí ôñüðï áõôü êüèå åéêüíá áíáðáñéóôüôáé óáí Ýíá äéüíõóìá óôï þñï ôùí 4.096 äéáóôüóåùí. óôù N ï áñéèìüò ôùí ñùìüôùí ðïõ ñçóéìïðïéïýìå. ÅóôéÜæïõìå óôéò áêüëïõèåò áðïóôüóåéò ìåôáîý éóôïãñáììüôùí ôéò ïðïßåò èá ìåëåôþóïõìå: ÌÝèïäïò É - Åõêëåßäéá Áðüóôáóç ÉóôïãñáììÜôùí. ñçóéìïðïéïýìå ôá éóôïãñüììáôá üðùò Ý ïõí ðñïêýøåé áðü ôçí ðñïçãïýìåíç ìåèïäïëïãßá êáé ïñßæïõìå üôé ç ïìïéüôçôá äýï åéêüíùí äßíåôáé áðü ôçí Åõêëåßäéá áðüóôáóç ôùí áíôßóôïé ùí éóôïãñáììüôùí. ñá áí X êáé Y åßíáé äýï åéêüíåò ìå éóôïãñüììáôá HX êáé HY, ôüôå ç ìåôáîý ôïõò áíïìïéüôçôá ïñßæåôáé ùò åîþò: 2

D euclidean (HX, HY ) = N (HX[i] HY [i]) 2 ÌÝèïäïò ÉI - ÔïìÞ ÉóôïãñáììÜôùí. Åäþ ñçóéìïðïéïýíôáé ôá éóôïãñüììáôá üðùò Ý ïõí ðñïêýøåé ðñïçãïõìýíùò, áëëü ùò ìýôñï áðüóôáóçò ïñßæåôáé ç ôïìþ ôùí éóôïãñáììüôùí üðùò ïñßæåôáé áðü ôçí ðáñáêüôù óõíüñôçóç: N min{hx[i], HY [i]} D intersection (HX, HY ) = min{ N j=1 HX[j], N k=1 HY [k]} ÌÝèïäïò ÉÉÉ - Áðüóôáóç Bhattacharyya Ç áðüóôáóç Bhattacharyya ìåôáîý äýï éóôïãñáììüôùí ïñßæåôáé ùò åîþò: D bhattacharyya (HX, HY ) = ln N HX[i] HY [i] ÌÝèïäïò IV - Áðüóôáóç Matusita Ç áðüóôáóç Matusita ìåôáîý äýï éóôïãñáììüôùí ïñßæåôáé ùò åîþò: D Matusita (HX, HY ) = N ( ) 2 HX[i] HY [i] ÌÝèïäïò V - Áðüêëéóç ÉóôïãñáììÜôùí Ç áðüêëéóç ìåôáîý äýï éóôïãñáììüôùí ïñßæåôáé ùò åîþò: N ( D divergence (HX, HY ) = (HX[i] HY [i]) ln HX[i] ) HY [i] ÌÝèïäïò VI - ÔåôñáãùíéêÞ Áðüóôáóç ÉóôïãñáììÜôùí. ñçóéìïðïéïýìå ðüëé ôá éóôïãñüììáôá üðùò ðñéí, üìùò åðéðëýïí ñçóéìïðïéïýìå êáé Ýíáí ðßíáêá ïìïéüôçôáò ñùìüôùí A. Ï ðßíáêáò A êáôáãñüöåé ôçí ïìïéüôçôá ìåôáîý ôùí èýóåùí ôïõ éóôïãñüììáôïò. Ï ðßíáêáò A åßíáé Ýíáò óõììåôñéêüò ðßíáêáò, êáé ôá óôïé åßá ôïõ ïñßæïíôáé ùò åîþò: A[i, j] = 1 d(b i, b j ) d max üðïõ b i, êáé b j åßíáé äýï èýóåéò ôïõ éóôïãñüììáôïò ðïõ áíáðáñéóôïýí ìßá áðü ôéò 4096 ñùìáôéêýò ðåñéï Ýò ðïõ ñçóéìïðïéïýìå, d(b i, b j ) ïñßæåé ôçí áðüóôáóç ôùí èýóåùí áõôþí. Áí red i, green i êáé blue i åßíáé ïé ôéìýò RGB ôçò èýóçò b i êáé red j, green j êáé blue j åßíáé ïé ôéìýò RGB ôçò èýóçò b j, ôüôå ç áðüóôáóç áõôþí ôùí èýóåùí ïñßæåôáé ùò åîþò: 3

d(b i, b j ) = (red i red j ) 2 + (green i green j ) 2 + (blue i blue j ) 2 Óçìåéþíåôáé üôé ôá óôïé åßá ôçò êõñßáò äéáãùíßïõ ôïõ ðßíáêá A åßíáé 1, äéüôé èåùñïýìå üôé Ýíá ñþìá Ý åé ôç ìýãéóôç ïìïéüôçôá ìå ôïí åõáôü ôïõ. Ôï d max åßíáé ç ìýãéóôç äõíáôþ áðüóôáóç êáé ñçóéìïðïéåßôáé ãéá êáíïíéêïðïßçóç, þóôå üëåò ïé ôéìýò ôïõ ðßíáêá A íá âñßóêïíôáé óôçí ðåñéï Þ [0,1]. Ìå âüóç ôá ðáñáðüíù, ôï ìýôñï ïìïéüôçôáò ìåôáîý äýï åéêüíùí X êáé Y ìå éóôïãñüììáôá HX êáé HY áíôßóôïé á ïñßæåôáé ùò åîþò: D hist3 (X, Y ) = (HX HY ) T A (HX HY ) = 4096 4096 j=1 A[i, j] (HX[i] HY [i]) (HX[j] HY [j]) 2.1 Åðåîåñãáóßá ÅñùôÞìáôïò êáé ÅéóáãùãÞ Åéêüíáò Ï ñþóôçò äßíåé ìßá åéêüíá, Ýíáí áêýñáéï áñéèìü k êáé åðéëýãåé Ýíá áðü ôá ôñßá ðñïáíáöåñèýíôá ìýôñá ïìïéüôçôáò (D hist1, D hist2 Þ D hist3 ). Ôï óýóôçìá ìåôáôñýðåé ôçí åéêüíá ôïõ ñþóôç óå éóôüãñáììá, êáé óôç óõíý åéá âáèìïëïãåß ôéò åéêüíåò ôçò âüóçò óýìöùíá ìå ôï ìýôñï ïìïéüôçôáò ðïõ Ý åé åðéëåãåß. ÔÝëïò, áíáöýñåé óôçí Ýîïäï ôéò k ðåñéóóüôåñï üìïéåò åéêüíåò. ñçóéìïðïéþíôáò äéáöïñåôêü ìýôñá ïìïéüôçôáò ðáßñíïõìå óôç ãåíéêþ ðåñßðôùóç êáé äéáöïñåôéêü áðïôåëýóìáôá. Âáóéêüò óôü ïò ôçò åñãáóßáò åßíáé ç ðïéïôéêþ óýãêñéóç ôùí áðïôåëåóìüôùí ðïõ äßíïõí ôá äéáöïñåôéêü ìýôñá ïìïéüôçôáò. Ãéá ôçí åéóáãùãþ ìßáò íýáò åéêüíáò óôç âüóç, áñ éêü ðñýðåé íá äçìéïõñãþóïõìå ôï éóôüãñáììá ôï ïðïßï ðñýðåé íá áðïèçêåõôåß óå êáôüëëçëç ìïñöþ ìýóá óôç âüóç äåäïìýíùí. Ãéá ôçí áíáæþôçóç åéêüíáò ìå âüóç ôï êåßìåíï ï ñþóôçò äå ñåéüæåôáé íá åðéëýîåé êüðïéá åéêüíá. Áñêåß íá äþóåé ìåñéêýò ëýîåéò êëåéäéü ðïõ ðñïóäéïñßæïõí ôï åßäïò ôùí åéêüíùí ðïõ åðéèõìåß óôçí Ýîïäï. Èá åêôéìçèåß éäéáßôåñá êüèå ðñïóðüèåéá ðñïóèþêçò åðéðëýïí ëåéôïõñãéêüôçôáò óôçí åöáñìïãþ. Ãéá ðáñüäåéãìá, èá åßíáé ðïëý ñþóéìï ï ñþóôçò íá ìðïñåß íá óõíäõüæåé áðïôåëýóìáôá áðü ôçí áíáæþôçóç ùò ðñïò ôï êåßìåíï ìå ôá áðïôåëýóìáôá ôçò áíáæþôçóçò ùò ðñïò ôï ñþìá. ÐñïóðÜèåéåò ðñïò áõôþí ôçí êáôåýèõíóç èá åðéâñáâåõôïýí áíüëïãá. 3 ÐáñáäïôÝá Èá ðñýðåé íá ðáñáäþóåôå ôá áêüëïõèá: 4

Ôå íéêþ Ýêèåóç üðïõ èá áíáëýåôáé ç ðñïóýããéóç ðïõ áêïëïõèþóáôå ãéá ôçí åðßëõóç ôïõ ðñïâëþìáôïò, ðåéñáìáôéêü áðïôåëýóìáôá ðïõ Ý ïõí äéåîá èåß êáé ðïéïôéêþ óýãêñéóç ôùí áðïôåëåóìüôùí ðïõ äßíïõí ôá ôñßá ìýôñá ïìïéüôçôáò. Ôå íéêþ Ýêèåóç üðïõ èá áíáëýåôáé ï êþäéêáò ðïõ õëïðïéþóáôå. Ôïí ðçãáßï êþäéêá ôïõ ðñïãñüììáôïò. Ôá åêôåëýóéìá áñ åßá. Ôç âüóç ìå ôéò åéêüíåò ðïõ Ý åôå ñçóéìïðïéþóåé. Ôá ðáñáäïôýá èá ðñýðåé íá ôá äþóåôå óå øçöéáêþ ìïñöþ (CD). Ùò çìåñïìçíßá ðáñüäïóçò ôçò åñãáóßáò ïñßæåôáé ôï ôýëïò ôçò åîåôáóôéêþò Öáâñïõáñßïõ. Ùóôüóï, ïé ïìüäåò èá ðñýðåé íá Ý ïõí Ýôïéìç ôïõëü éóôïí ôçí ðáñïõóßáóç ôçò åöáñìïãþò íùñßôåñá. Ïé ìýñåò ôùí ðáñïõóéüóåùí èá ïñéóôïýí áñãüôåñá. Ç ðáñïõóßáóç èá ðåñéëáìâüíåé êáé demo ôçò ëåéôïõñãßáò ôçò åöáñìïãþò. 4 ñþóéìïé Óýíäåóìïé ÐáñáêÜôù äßíïíôáé ìåñéêïß âïçèçôéêïß óýíäåóìïé. Ðñïöáíþò èá ðñýðåé íá áíáôñýîåôå óôç ó åôéêþ âéâëéïãñáößá ãéá íá Ý åôå ìßá ðëçñýóôåñç åéêüíá ôïõ ðñïâëþìáôïò êáé íá êáôåõèõíèåßôå ó åôéêü ìå ôçí ôå íéêþ Ýêèåóç. http://en.wikipedia.org/wiki/content-based image retrieval http://citeseer.ist.psu.edu/133934.html http://scien.stanford.edu/class/psych221/projects/02/sojeong/ 5