ANALIZA I INTERPRETACIJA

Transcript

1 ANALIZA I INERPREACIJA Analza nterpretaca porazumevau otkrvane, entfkacu razumevane uzoraka o nteresa, Slka 90. Automatska analza slke mora bt u mogućnost a pokaže oređen stepen ntelgence:. mogućnost zvaana značanh nformaca z mase relevantnh etala,. mogućnost učena na osnovu uzoraka generalzace naučenog tako a se može prment u novm, rugačm okolnostma, 3. sposobnost zaklučvana z nekompletnh nformaca. Slka 90. [] Blok šema procesa analze nterpretace slke UZORCI I KLASE UZORAKA Po uzorkom ćemo porazumevat kvanttatvn ops obekta l ela slke o nteresa. Uzorak e sačnen o enog l vše eskrptora (osobna - features). Klase uzoraka ω, ω,..., ω su skupov (famle) uzoraka ko ele neke zaenčke osobne. ašnsko prepoznavane uzoraka uklučue tehnke grupsana uzoraka u prpaauće klase, bez l sa što mane ntervence čoveka. Deskrptor ko čne uzorak se uobčaeno zapsuu u form vektora: x x x = x n 5

2 Prmer: Posmatramo tr vrste (klase) cveća rs koe se razlkuu po užn. Usvomo va eskrptora:: x x = x Prestavlauć uzorke u vektorskom prostoru, Slka 9, vmo a postoe lako teško separablne klase: uzorc ko prestavlau rs setosa se vrlo lako razvoe o preostale ve vrste, ok e razvaane rs vrgnca rs verscolor na osnovu oabranh obleža veoma teško. Jasno e a stepen separablnost ako zavs o zbora eskrptora. Slka 9. [] Klase uzoraka prestavlene u vektorskom prostoru eskrptora Ako se potps korste za ops obekata, svak obekat će bt prestavlen enomenzonalnm sgnalom, Slka 9. Omervanem ovog sgnala potpsa možemo formrat uzorak: ( θ ) ( θ ) r r x =. r( θ ) n 6

3 Slka 9. [] Potps obekta Klase su sa prestavlene oblacma u n-menzonalnom vektorskom prostoru (uzorc su vektor u n-menzonalnom vektorskom prostoru). Umesto korštena vrenost potpsa, možemo zračunat prvh n momenata potpsa nh korstt kao eskrptore uzorka. U naveenm prmerma su za eskrptore korštene kvanttatvne mere nekh osobna. Ako se uzme u obzr a relace zmeđu poenh osobna oređuu prpanost neko o klasa, reč e o strukturalnom prstupu klasfkac. Pr klasfkac e veoma važan zbor ogovaraućh eskrptora ko će omogućt separacu klasa. FUNKCIJE ODLUČIVANJA [ Neka e x = x,x,..., x ] n-mezonaln vektor uzorka. Za klasa ω, ω,..., ω osnovn problem prepoznavana se svo na pronalažene funkca olučvana ( x), ( x),..., ( x) sa osobnom a, ako uzorak x prpaa klas ω, bue zaovolena sleeća neenakost: ( ) ( x), =,,..., ; x. Granca olučvana koa razvaa klasu ω o ω e oređena vrenostma x za koe e: 7

4 ( x) ( x) = 0. Uobčaena praksa e a funkca: ( x) = ( x) ( x) = 0 oređue grancu klasa. Ako e prpaa klas ω. ( x) 0 uzorak prpaa klas ω, a ako e ( x) 0 uzorak Klasfkaca na osnovu mnmalne ualenost Pretpostavmo a e svaka klasa opsana prototpnm (srenm) vektorom: m = x, =,,..., N x ω. Jean načn klasfkace e prružvane uzorka (vektora) x ono klas č mu e vektor prototp nablž (Euklova norma): ( ) = x m = ( x m ) ( x m ), =, D x,...,. Uzorak x prpaa ono klas koa ma namanu ovako efnsanu normu. ože se pokazat a e ova postupak ekvvalentan računanu funkce: ( x) = x m m m prružvanu uzorka ono klas za kou se obe naveća numerčka vrenost. Ova koncept se slaže sa konceptom funkca olučvana. Granca zmeđu klasa oređena e sa: x =. ( ) ( x) ( x) = x ( m m ) ( m m ) ( m m ) = 0 Za n= granca e prava, za n=3 ravan, a Za n>4 hperravan.u praks ova klasfkator ra obro ako su razlke srenh vektora klasa velke u poređenu sa raspanem oko srene vrenost unutar svake poene klase. Prmer: Posmatramo stanarzovan set karaktera, Slka 94. Jenomenzonaln sgnal e proporconalan brzn promene svetlost koa pane na čtač. Karakter su tako oabran a se obu enoznačn D sgnal. Prototpn vektor se enostavno formranu o nza omeraka ovh D sgnala (umesto tražena srene vrenost uzoraka z klase). Zatm se svak uzorak pore sa prototp vektorom (računa se negova ualenost o svakog prototp vektora) prružue ono klas za kou se obe naveća vrenost funkce olučvana, onosno namana ualenost o prototp vektora. 8

5 Slka 93. [] Granca olučvana Slka 94. [] Stanarzovan set karaktera ogovarauć talasn oblc 9

6 Klasfkaca na osnovu korelace Pronalažene poslke w ( x, y) menza J K u slc f ( x y) menza N c, korelacom: ( s, t) = f ( x, y) w( x s, y t), s = 0,,,...,, t = 0,,,..., N x y se zasnva na čnenc a e vrenost korelace maksmalna kaa se u slc f ( xypronađe, ) o ko e naslčn traženo poslc w( x, y ). Sama operaca korelace koa e veoma slčna konvoluc lustrovana e na Slc 95. Poslka w( x, y) u oblku prozora se pomera preko slke u koo se traž poklapane nakon svakog pomaka se računa ata korelacona suma. Jena razlka u onosu na konvolucu e što se ne vrš obrtane prozorske funkce. reba napomenut a se tačnost oređvana poklapana gub u regonma blzu rubova slke. Slka 95. [] Postupak oređvana korelace Loša osobna ovog metoa e a ta što e vrenost korelace zavsna o vrenost svetlne (ako se nvo svetlne povećau va puta, va puta se poveća vrenost korelace). Ovo se prevazlaz korštenem korelaconh koefcenata umesto korelace: γ ( s t) [ f ( x, y) f ( x, y) ][ w( x s, y t) w] x y, = x y [ f ( x, y) f ( x, y) ] [ w( x s, y t) w] x y, s = 0,,,...,, t = 0,,,..., N, 0

7 ge su f, w srene vrenost. Korelacon koefcent su skalran u opseg o o, neovsno o promen u ampltua f ( x, y) w ( x, y). Iako e zvršena normalzaca korelaconh koefcenata tako a su on neosetlv na promenu ampltue, normalzaca koa b korelacu učnla otpornom na promenu velčne rotace e teška, (rotrane slke a b se pronašao položa ko ae naveć korelacon koefcent e računsk zahtevno, kao skalrane po velčn). Iako se korelaca može računat u frekvencskom omenu, zbog malh menza uzorka efkasne e računane u prostornom omenu. Prmer: Posto analoga zmeđu računana konvoluce kolčne svetlost koa prolaz kroz prekloplene slke. Ako bele regone na Slc 96(a) u koo se traž uzorak Slc 96(b) koa e tražen uzorak zamslmo kao otvore, ako zamslmo a Slku 96(b) pomeramo preko Slke 96(a) za koe se nalaz zvor svetlost, navše svetlost kroz otvore će proć kaa se tražen uzorak poklop sa stm uzorkom u Slc 96(a). Rezultat konvoluce prkazan e na Slc 96(c). Slka 96. [] Prmer oređvana konvoluce Optmaln klasfkator Potražcemo optmalne klasfkatore u smslu namane verovatnoće greške klasfkace. Neka e verovatnoća a uzorak x prpaa klas ω e označena sa p( ω x). Ako klasfkator oluč a uzorak ko prpaa klas ω prpaa klas ω, velčnu učnene pogreška označmo sa L. Kako uzorak x može a prpaa blo koo o klasa, ukupna greška učnena pr svrstavanu uzorka u klasu ω e: r ( ) = L p( x) x ω. k= k k

8 Ova enačna se u teor olučvana često zove uslovn prosečn rzk (gubtak). Znauć p a b = p a p b a / p b, mamo: a e ( ) [ ( ) ( )] ( ) r x = Lk p( x ω k ) P( ω k ), p ( ) ( x) k= ge e p ( x ω k ) funkca gustoće uzoraka z klase k klase ω k. Kako e p( x) ω, a ( ) poztvno zaenčko za sve r ( x ), =,,..., P ω e verovatnoća poavlvana k, ta član se može zostavt a a se ne naruš relatvn poreak ove funkce o namane ka navećo vrenost. Izraz ko prestavla sren gubtak e taa: r ( ) = L p( x ω ) P( x ω ). k= k Za svak uzorak klasfkator treba a oabere enu o mogućh klasa. Za uzorak x se zračunau sv r ( x), r ( x),..., r ( x) uzorak se prružue klas sa namanm srenm gubtkom. Klasfkator ko mnmzra ukupan sren gubtak se nazva Bayes-ov klasfkator. Bayes-ov klasfkator prružue uzorak x klas ω ako e r x r x, =,,..., ;. Drugm rečma, uzorak x prpaa klas ω ako e: ( ) ( ) k= L k ( ω k ) P( ω k ) Lq p( x ω q ) P( p x ω ). U mnogm prmenama, gubtak pr onošenu spravne oluke e nula, ok su gubc svh pogrešnh oluka enak mau neku nenegatvnu vrenost, recmo. aa e L = δ, pa sren gubtak postae enak: r q= ( x) ( δ ) p( x ω ) P( ω ) = p( x) p( x ω ) P( ω = k k k ). k= Dakle, uzorak x će bt prružen klas ω ako e: onosno: p ( x) p( x ω ) P( ω ) p( x) p( x ω ) P( ω ), ( ω ) P( ω ) p( x ω ) P( ω ) =,,..., ; p x. Poreeć ovo sa funkcama olučvana, vmo a Bayes-ov klasfkator sa gubcma 0- ne nšta rugo o mplementaca funkce olučvana u form: ge se uzorak x prružue klas ( ) = p( x ω ) P( ω ) =, x,...,, ω ako vre ( ) ( x) k k x. q

9 Ova funkca olučvana e optmalna u smslu a mnmzra sren gubtak pogrešne klasfkace. Da b bla prmenlva, neophono e poznavat funkcu gustoće uzoraka u zvako klas, kao verovatnoću poavlvana svake o klasa. Drug zahtev uglavnom ne prestavla problem. Ako su sve klase enako verovatne, P( ω ) =. Ako to ne sluča, na osnovu poznavana problema može se zaklučt kakve su verovatnoće poavlvana klasa. Procena funkca gustoće p( x ω ) ne tako enostavna. Ako e vektor uzorka n-menzonalan, p( x ω ) e funkca o n varabl kou e teško procent, posebno ka nemamo ovolan bro reprezentatvnh uzoraka z svake klase. Zbog ovoga se prmena Bayes-ovog klasfkatora zasnva na pretpostavlenm analtčkm zrazma, č parametr se procenuu na osnovu uzoraka z svake klase. Načešće se za p( x ω ) pretpostavla Gausova funkca gustoće. Što e ova pretpostavka blža realnost, to će se Bayes-ov klasfkator bole prblžavat mnmumu prosečnh gubtaka u klasfkac. Bayes-ov klasfkator za Gausove klase uzoraka Posmatramo enomenzonaln problem (n=) sa ve klase uzoraka (=) sa Gausovm funkcama gustoće, Slka 97. Bayes-ove funkce olučvana mau oblk: ge su uzorc skalar. ( x) p( x ω ) P( ω ) ( x m ) = = exp πσ σ P ( ω ), Slka 97. [] Funkce gustne za enomenzonaln problem klasfkace Granca e tačka za kou vre ( x0 ) ( x0 ) klase enaka, P ( ω ) = P( ω ) = ( x0 ω) p( x0 ω ) =. Ako e verovatnoća poavlvana obe, z enakost funkca olučvana na granc klasa sle p =, akle presek funkca verovatnoće oređue grancu klasa. Svak uzorak (tačka) s esne strane x0 će bt prružen klas ω, a svak uzorak (tačka) s leve strane x0 će bt prružen klas ω. Ako klase nsu enako verovatne, granca x 0 se pomera prema mane verovatno klas. U n-menzonalnom slučau Gausova funkca gustoće vektora u -to klas ma formu: 3

10 ge e m, su: ( x ) p ω = exp ( x m ) C ( x m ) n, C ( π ) = E {} x C E{ ( x m )( x m ) } =, a Procenena srena vrenost kovaransna matrca na osnovu C e etermnanta kovaransne matrce. N uzoraka z klase ω m = N x ω x, C = xx N x ω m m. Dagonaln element c kk kovaransne matrce prestavlau varansu k-tog elementa z vektora uzorka, ok su element kovaranse k-tog -tog elementa vektora uzorka. Ka c k su element x x (eskrptor!) vektora uzorka statstčk nezavsn, = 0. k Bayes-ova funkca olučvana za klase uzoraka sa gubcma 0- e: ( ) = p( x ω ) P( ω ) =, x,...,, al e enostavne rat sa funkcom koa e nen logartam koa ma ste osobne u smslu klasfkace (er e ln monotono rastuća funkca), tako a za funkcu olučvana možemo uzet: ( ) = ln [ p( x ω ) P( ω )] = ln p( x ω ) + ln P( ω ) x. Uvrštavauć zraz za Gausovu funkcu gustoće mamo: n ( x) = ln P( ) ln π ln C ( x m ) C ( x m ) c k [ ] ω. Član n ln π e st za sve klase te se može zostavt: [ ], =, ( ) = ln P( ) ln C ( x m ) C ( x m ) x ω,...,. Poslena enačna prestavla Bayes-ovu funkcu olučvana za Gausove klase uzoraka sa gubcma 0-. Ona ma oblk hperkvaratne funkce (kvaratna funkca u n-menzonalnom prostoru) er se ne poavluu komponente o x rea većeg o va. Nabole što se može postć Bayes-ovm klasfkatorom za Gausove klase uzoraka e a se postav površ rugog rea zmeđu svake ve klase uzoraka. Ako su populace uzoraka zasta Gausove, ne posto ruga površ koa će bole razgrančt klase u smslu namanh prosečnh gubtaka u klasfkac. Ako su sve kovaransne matrce enake, C = C, =,,...,, zostavlanem svh članova ko su neovsno o, obva se lnearna funkca olučvana: ( x) = ln P( ω ) + x C m m C m, =,,...,. 4

11 Uz to, ako e C = I P( ω ) =, =,,..., oba se: ( x ) = x m m m, =,,...,, što e funkca olučvana klasfkatora zasnovanog na mnmalno ualenost. Prema tome, klasfkator zasnovan na mnmalno ualenost e optmalan u Bayes-ovom smslu ako su: () klase uzoraka Gausove, () sve kovaransne matrce enake enčno matrc, (3) verovatnoće svh klasa poenake. Gausove klase uzoraka koe zaovolavau ove uslove su sferčn oblac entčnog oblka u n menza (zvan hpersfere). Klasfkator zasnovan na mnmalnm ualenostma postavla hperravan zmeđu svake ve klase, sa osobnom a hperravan okomto seče lnsk segment ko spaa centre vu sfera. U ve menze, klase čne kružn regon, a granca e lna koa okomto seče už koa spaa centar ve klase. Prmer: Na Slc 98 su prkazan uzorc ko prpaau vema klasama u tr menze. Pretpostavka e a se ra o Gausovo raspoel. Slka 98. [] Dve klase uzoraka Bayes-ova granca Postupak raa Bayes-ovog klasfkatora počne oređvanem: 3 m =, 4 ω = P ω Ako pretpostvmo ( ) ( ) = 3 = m 3 4, C = C = C = ln P ω se može spustt: P član ( ) ( x) x C m m C m =, 5

12 ge e: Funkce olučvana su: C = ( ) = x. 5 4 x, ( ) = x + 8x + 8x x, ok e grančna površ ata sa: ( ) ( x) = x 8x 8x x. 8 3 = 6