SEGMENTAREA IMAGINILOR
Segmentarea descompunerea magn n partle sale componente. (reducerea numarulu de culor dntr-o magne este un caz partcular) Segmentare : - orentata pe regun - orentata pe conturur (abordar duale)
magne orgnala magne segmentata (magne de etchete)
Segmentare Descompunerea magn (scene) n partle sale consttuente. Matematc: segmentarea este o parttonare a multm pxellor dn magnea f, n submultm f contnand una sau ma multe componente conexe, dsjuncte s unforme dpdv al unu crteru C pre-stablt. f f C( C( f f f U j f ) f φ, j ) 0 j
Eror : supra-segmentarea : descompunerea magn n ma multe elemente (part) decat necesar sub-segmentarea : descompunerea magn n ma putne elemente (part) decat necesar
Cne [s cum] defneste numarul necesar, corect, de part ale magn? sub-segmentare? (soarele este n clasa cer ) 3 tpur de elemente : cer, vegetate, casa supra-segmentare? (copac mpartt n doua clase) 4 tpur de elemente : cer, vegetate, lemn, zd
Segmentare pe regun: segmentarea n suportul magn etchetarea magnlor bnare segmentarea n spatul caracterstclor cresterea (s fuzunea) regunlor segmentarea pe hstograma algortm general de clusterng
Solute medata : cresterea regunlor Determnarea unor zone n care se verfca unformtatea valorlor une caracterstc. front de crestere oprt de neunformtate punct de plecare : germene drecte de nantare front de crestere
Cresterea regunlor Etape de rezolvat : Germen : alegerea germenlor (punctelor de start) alegerea crterulu de unformtate a regun se aleg n regun unforme (sa fe plasat n centrul regunlor) se repartzeaza unform n suportul spatal al magn valoarea pxellor germene trebue sa fe reprezentatva pentru dstrbuta valorlor pxellor dn magne este preferabla alegerea unu numar mare de germen, char cu rscul supra-segmentar
Exemplu germene regune, T unf 0
Verfcarea germenlor redundant (germen ce conduc la suprasegmentare) germen redundant : exsta cel putn o cale unforma care uneste germen ne-redundant : nu exsta nc o cale unforma care sa uneasca (dec se trece peste frontera) Numarul de ca testate ( toate ) este redus dn consderente de calcul.
Verfcarea germenlor redundant (germen ce conduc la suprasegmentare) Des germen sunt plasat n aceeas componenta, nu sunt declarat redundant : cale verfcate care unesc traverseaza fronterele-obect. Obectul va f mpartt (artfcal) n doua componente. Supra-segmentarea poate f partal corectata prn fuzunea regunlor
Cresterea efectva a regunlor In jurul germenulu se agrega pxel vecn structur deja exstente, daca valoarea acestor pxel este sufcent de apropata de valoarea germenulu. Cresterea trebue magnata ca fnd smultana pentru tot germen ales n magne. Cresterea se opreste cand pxel ramas ne-alocat une regun nu ma satsfac crterul de unformtate; relaxarea crterulu de unformtate construrea une clase a pxellor a-tpc.
Corecta rezultatelor : fuzunea regunlor Se verfca daca regunle vecne nu ar putea f reunte. Crterle de smlartate se refera n general la frontera : procentul de pxel slab procentul de pxel tar altele Concluze : Procesul este complcat s de durata, necesta reglarea multor parametr. Cresterea regunlor ar f buna pentru separarea unu numar mc de obecte fxate, nu pentru segmentarea magn ntreg.
Tpurle de obecte pot f separate n spatul caracterstclor, daca respectvele caracterstc sunt dscrmnante (de ex. culoarea). R G B
Cea ma smpla caracterstca: nvelul de gr Presupunem ca nvelul de gr este reprezentatv s sufcent pentru caracterzarea tpurlor de obecte dn magne. Trebue dec dentfcate concentrarle de nvele de gr, adca modurle dn hstograma magn. Fecare mod bne dentfcat va corspunde unu tp de obecte dn magne.
Hstograma Hstograma functe ce asocaza fecaru nvel de gr posbl probabltatea [sa] de aparte n magne. h(u) numar pxel de nvel de gr u / numar total pxel h( u ) MN M N m 0 n 0 δ ( f ( m,n ) u), u 0,,...,L Hstograma este o functe de denstate de probabltate. L u 0 h( u ) Hstograma descre contnutul de culoare/ de gr al magn.
Hstograma
Hstograma
Segmentarea pe hstograma Thresholdng (pragure) gasrea pragurlor de separare dntre modurle hstograme de nvele de gr a magn. Fe T k pragurle de segmentare pe hstograma. g(m,n) E k, daca T k f(m,n) T k+ E k este etcheta ce se atrbue tpulu de obecte k T 0 0, T C L, k 0,,..., L- Caz partcular : C 2 (bnarzarea) g( m, n) E E 0,, f f ( m, n) ( m, n) T > T
Evdent, alegerea pragurlor de segmentare T k este crucala. obecte ntunecate obecte gr medu T T 2 obecte foarte lumnoase Pragurle se aleg pe mnmele hstograme (separata dntre modur).
Exemplu C2 T70
Exemplu C3 T 40 T 2 00 C4 T 40 T 2 00 T 3
Daca mnmele hstograme nu sunt usor de dentfcat? Segmentare pe hstograma ponderata h'( u) MN M N m n w( m, n) δ ( f ( m, n) u), u w(m,n) masura locala, caracterstca pxelulu Δ(, j ) Laplacanul magn w( m, n) + Δ( m, n) adancrea mnmelor dn hstograma w( m, n) Δ( m, n) separatle dntre modur devn maxme
Exemplu hstograma hstograma ponderata, mnme adancte
Exemplu
Segmentarea cu prag optm Sa presupunem cunoscute: numarul de tpur de obecte dn magne, proportle n care acestea ocupa suprafata magn s dstrbuta nvelelor de gr caracterstce fecaru tp de obect. C C P x P p x h ) ( ) ( Pentru bnarzare C2 : ) ( ) ( ) ( 2 2 2 + + P P x p P x P p x h Pentru bnarzare va trebu determnat pragul T ce separa modurle. Pragul este optm n sensul mnmzar une eror.
Eroarea de segmentare este data de pxel prost etchetat: nvel de gr ma mc ca T, des provn dn p 2 nvel de gr ma mare ca T, des provn dn p T + ( ) P p x dx + P 2 2( ) p T ε T ( x) dx
Optm : dε ( T ) 0 dt T + ( ) P p x dx + P 2 2( ) p T ε T ( x) dx P p ( T ) P p ( T 2 2 ) In cazul partcular cel ma curent, dstrbutle ce caracterzeaza obectele sunt normale (gaussene). Daca varantele lor sunt egale, pragul este: T 2 μ + μ2 σ P ln 2 μ μ P 2 2
Segmentare globala Metoda Bhattacharyya Ipoteza: clasele de obecte pot f modelate cu dstrbut gaussene. Metoda: descompunerea hstograme magn n modur normale. Obs. ca : N( μ, σ )( x ) ( exp x μ ) 2 2 2σ 2πσ 2 ( x μ ) ln N( μ, σ )( x ) ln 2πσ 2 2σ d x μ ln N( μ, σ )( x ) + mx + n 2 2 dx σ σ 2 2
Unu mod gaussan corespunde o dreapta descrescatoare n domenul functe dscrmnant (dervata logartmulu denstat de probabltate). hstograma trmodala 0.0 0.008 0.006 0.004 0.002 0 0 50 00 50 200 250 0.3 functa dscrmnant (dervata logartmulu hstograme) 0.2 0. 0-0. 0 50 00 50 200 250
In functa dscrmnant se vor dentfca dec domenle pe care functa este descrescatoare. Aceste domen separa modurle normale n hstograma. Parametr modurlor sunt obtnut dn parametr drepte de aproxmare a functe dscrmnant. d x μ z( z ) ln N( μ, σ )( x ) + mx + 2 2 dx σ σ n Segmentarea se va face dupa pragur alese pe capetele ntervalelor de descrestere a functe dscrmnant.
Alternatv: nvelele de gr dn nterorul fecaru mod sunt nlocute cu meda modulu respectv. 0.3 0.2 0. 0 0 50 00 50 200 250 300 Segmentarea poate f vazuta astfel ca o problema de aproxmare a valorlor magn.
Orgnal: 230 nvele gr Aproxmare : 22 nvele gr SNR 29.6 db Aproxmare 2: 3 nvele gr SNR20.4 db
Orgnal: 247 nvele gr Aproxmare : 40 nvele gr SNR 35 db Aproxmare 2: 3 nvele gr SNR24 db
Observat: Numarul de modur nu poate f controlat decat prn mpunerea une lungm mnme a unu nterval de descrestere a functe dscrmnant s a une eror mc de aproxmare cu o dreapta. Putem consdera ca metoda m asgura o legatura ntre conceptele de segmentare s cuantzare (aproxmare a valorlor ntale cu alte valor, n numar ma mc). Apar probleme daca poteza de normaltate a modurlor nu este adevarata.
Segmentare globala Metode bazate pe hstograma cumulatva functa de rapartte asocata hstograme Presupunand ca obectele de nteres sunt de nvel de gr nchs s ocupa o are relatva P% dn magne, atunc pragul de segmentare T se determna prn: Pentru obecte de nteres lumnoase, H(T) - P
Dar daca nvelul de gr nu este sufcent? (s la hstograma ponderata se foloseau caracterstc suplmentare) Dar daca magnle nu sunt scalare? (magnle color au 3 numere/ pxel)... Segmentarea generala n spatul caracterstclor prn clusterng.
Segmentarea nseamna dentfcarea grupurlor de pxel ce au caracterstc asemanatoare. Acest proces de grupare se numeste clusterng (denumrea generala). R? Algortm de clusterng urmaresc dentfcarea automata a unor grupur de puncte dn spatul caracterstclor ce sunt : compacte, dense reprezentatve bne separate? G
Clusterng Punerea probleme : un set de N puncte, descrse de vector de dmensune p trebue mpartt n C clase (grupur, clustere). X x { ( x x },,2,...,N,x 2,...,x p ) Impartrea (parttonarea) setulu de puncte n clase : ndce de apartenenta a fecaru punct (care clase apartne) Exprmarea canttatva a conceptulu de parttonare buna. crter de caltate a partte.
Apartenenta punctelor la clase Clusterng Apartenenta punctulu x la clasa j : u j,,2,...,n, j,2,...,c Modele de clusterng : Net (bnar) : Nuantat (fuzzy) : u j, x 0, x Clasa Clasa j j u j [0,],2,...,N, j,2,...,c
Masur de caltate a claselor Clusterng clase compacte : centrul clase este aproape de toate punctele clase (punctele clase sunt bne aproxmate de centrul clase). clasa are sufcent de multe puncte clase bne separate : dstantele dntre centrele claselor sa fe cat ma mar. Cele doua cernte sunt adeseor contradctor.
Basc ISODATA (k-means, C-means) Clusterng net ISODATA Iteratve Self Organzng Data Analyss Technque Se fxeaza numarul de clase dort, C. Caltatea partte (a claselor) e caracterzata de eroarea globala de aproxmare a vectorlor de date prn prototpurle claselor. J μ j J( u j, μ j ) C j ε j C N j prototpul (centrodul) clase j u j x μ j 2
Basc ISODATA (C-means) J μ μ j j N 2 N N u j u j u x j ( x μ j ) 0 Clusterng net prototpurle claselor sunt medle artmetce ale vectorlor de date ce apartn claselor. u j, x μ j x 0, rest μ k, k j orce vector apartne clase de al care prototp este cel ma apropat.
Basc ISODATA (C-means). alege un set aleator de prototpur Clusterng net 2. calculeaza apartenenta fecaru vector la una dntre clasele partte (vector apartn clase de al care prototp sunt ce ma apropat) 3. calculeaza prototpurle claselor ca meda artmetca a vectorlor apartnd fecare clase 4. evalueaza crteru de oprre : eroare globala sufcent de mca? numar de terat sufcent de mare? au fost vector care sa s schmbe apartenenta? au fost prototpur care s-au modfcat semnfcatv? 5. repeta de la 2 daca e cazul.
Problema : Clusterng net osclat ale vectorlor ntre clase alocarea vectorlor stuat la egala dstanta fata de clase prototp x prototp 2? Clasa Clasa 2
Clusterng fuzzy Orce vector apartne orcare clase, dar ntr-o masura ma mare sau ma mca. u j sunt gradele de apartenenta [fuzzy] ale vectorlor la clase. Probleme de ce fuzzy? ce semnfcate au gradele de apartenenta? cum se modfca crterle obectve de caltate?
Fuzzy : cum? Numerele corespund masur n care un obect dn unversul probleme satsface o propretate (sau o categore) semantca; numerele sunt n [0,]. Multme fuzzy functe de apartenenta a obectelor la categora data «Inalt» 0 0.5.8 naltme (metr) Functa de apartenenta corespunde unu model natural (plauzbl) s nu este «machavelca» (Bezdeck)
Fuzzy : cum? Un model «machavelc» al categore «Inalt»: 0 0.8 2. naltme Gradele de apartenenta nu sunt acelas lucru cu probabltatle! Exemplul calatorulu nsetat (Bezdeck) : Calatorul nsetat ce merge prn desert gaseste doua stcle plne cu lchd. Calatorul trebue neaparat sa bea contnutul une stcle. Etchetele stclelor nu sunt clare.
Fuzzy probabltate Probabltatea unu contnut «potabl» : 0.9 Gradul de apartenenta al contnutulu la categora «potabl» : 0.9 Probabltatea : o sansa dn zece de a gas n stcla acd. Gradul de apartenenta : contnutul este foarte potabl (ar putea f bere). Gradul de apartenenenta nu se schmba dupa observate!
Fuzzy probabltate Probabltatea unu contnut «potabl» : 0. Gradul de apartenenta al contnutulu la categora «potabl» : 0. Probabltatea : noua sanse dn zece de a gas n stcla acd. Gradul de apartenenta : contnutul este foarte putn potabl (aproape sgur este acd). Gradul de apartenenenta nu se schmba dupa observate!
Modur de nterpretare a gradelor de apartenenta Clusterng fuzzy Clusterng probablst - gradele de apartenenta repreznta masura n care vector sunt mpartt claselor C j u j (constrangerea de normare probablsta) Clusterng posblst - gradele de apartenenta repreznta masura n care vector sunt tpc pentru clase (fara constranger de normare)
FCM - Fuzzy C-Means (Fuzzy Isodata) Se fxeaza numarul de clase dort, C. Clusterng fuzzy probablst Caltatea partte (a claselor) e caracterzata de eroarea globala de aproxmare a vectorlor de date prn prototpurle claselor. J J μ m j J( u j, μ j ) C j ε j j prototpul (centrodul) clase j gradul de fuzfcare al partte C N u m j x μ 2 j C N N C m 2 FCM uj x μ j λ uj j j
N m j N m j j N j m j j FCM u u 0 ) ( u 2 J x μ μ x μ prototpul orcare clase este o mede ponderata a tuturor vectorlor dn setul de date, ponderat cu gradele lor de apartenenta la clasa respectva. Clusterng fuzzy probablst m C k m 2 k C k k m 2 j j 2 j m j j FCM m u m u 0 mu u J μ x μ x μ x λ λ λ
u u j j C k C x k x μ dst dst j μ 2 m 2 m 2 m k ( x 2 m ( x, μ j, μ ) k ) Clusterng fuzzy probablst gradele de apartenenta depnd nvers proportonal de patratele dstantelor de la vectorul de date la prototpurle claselor rezolva problema gradelor de apartenenta egale n cazul vectorlor egal dstantat de prototpur ale claselor.
FCM (Fuzzy Isodata). alege un set aleator de prototpur 2. calculeaza apartenenta fecaru vector la clasele partte Clusterng fuzzy probablst 3. calculeaza prototpurle claselor ca medle ponderate ale vectorlor 4. evalueaza crteru de oprre : eroare globala sufcent de mca? numar de terat sufcent de mare? au fost vector care sa s schmbe apartenenta? au fost prototpur care s-au modfcat semnfcatv? 5. repeta de la 2 daca e cazul.
Exemplu Clusterng fuzzy probablst FCM, C3 segmentare deala (C3) FCM, C4
Lmtarle modelulu de mpartre a vectorulu ntre clase. Clusterng fuzzy probablst prototp prototp 2 A C clasa clasa 2 B