Lucrarea 1.b Clasificatorul Bayes

Transcript

1 Lucrarea.b Clasificatorul Bayes. Bază teoretică Formele sunt atât obiectele fizice observabile dar şi modele matematice relativ la celule, particule, forme de undă, spectre de frecvenţă (imagini TV, semnale radar, zgomote, EKG-uri, aplicaţiile de recunoaşterea formelor fiind prezente în medicină, imageria satelitară, meteorologie, criminalistică sau aplicaţii militare. O formă dată poate fi descrisă printr-un set de entităţi caracteristice exprimate prin numere reale (biţi X F =(x,.x n, unde N depinde de precizia urmărită (de exemplu rezoluţia unei imagini. Algoritmii de clasificare Bayes fac parte din metodele statistice de clasificare şi recunoastere a formelor... Algoritmi de clasificare Bayes (cazul a două clase Fie Ω = Μ ω (M clase disjuncte de forme de acelaşi tip ω,..., ω M, M şi se consideră cunoscute din i= determinări statistice probabilităţile apriori P ( ω i ale claselor ω i (pentru i= M, şi se presupune că ω i M > 0 şi i= ω i =... Regula lui Bayes de clasificare (ipoteza binară În cazul a două clase de forme ω, ω (M=, o formă nouă de intrare X (vector aleator n-dimensional de caracteristici poate fi clasificată (teoretic prin compararea probabilităţilor aposteriori după regula : unde: i=,: P ( ω X > ω <P ( ω X => X { ω P ( ω i X este probabilitatea aposteriori (probabilitatea ca după ce X a fost clasificat, forma X să aparţină clasei ω i ; P ( ω i este probabilitatea apriori a clasei ω i, i=, (probabilitatea ca o formă să aparţină clasei ω i (... Algoritmul lui Bayes cu eroare minimă de clasificare Algoritmul Bayes cu eroare minimă realizează clasificarea formelor pe baza comparării raportului de plauzibilitate cu un anumit prag. Definim :

2 raportul de plauzibilitate L ( x = f ( x ω (al claselor ω, ω, relative la forma X, unde f( x ω şi f( f ( x ω x ω sunt funcţiile densitate ale vectorului X condiţionate de ω respectiv ω. pragul raportului de plauzibilitate ν = şi notăm cu h = ln L Relaţia lui Bayes devine : ω ω < ω ω h( x > ln X { ( ω ω Demonstraţie : < ω h( x > ln < > f ( x ω ln L > ln ν L > f ( x ω < ν < ν ω f ( x ω f ( x f ( x ω ω P ( ω X > ω <P ( ω X (conform relaţiei ( X { f ( x ω Testul de clasificare Bayes poate duce la situaţii de ambiguitate, în cazul egalităţii membrului stâng. De ω > < aceea se evaluează performanţa testului prin calcularea probabilităţii erorii de clasificare. La egalitate se obţine ecuaţia suprafeţei de separaţie: L (x = ν ce împarte spaţiul R n în două regiuni R : L (x ν şi R : L (x < ν Eroarea de clasificare a formei X apare când se atribuie X regiunii R în cazul în care X R sau dacă X se atribuie lui R când în realitate X R Probabilitatea erorii de clasificare ε este : ε = P (X R ω P (ω + P (X R ω P (ω = P (ω f ( x ω dx R Din R R = R n f ( x dx R ω + P (ω f ( x ω dx + f x dx R ( ω = f x dx n R ( ω R Deci se obţine : ε = P (ω + R P (ω f ( x ω P (ω f ( x ω dx (a Pentru minimizarea lui ε trebuie ca termenul integral din relaţia (a să fie negativ: P (ω f ( x ω P (ω f ( x ω 0

3 Deci R e definit prin P (ω f ( x ω P (ω f ( x ω relaţie identică cu relaţia ( În ipoteza că densităţile de probabilitate condiţionate f ( x ω şi f ( x ω sunt normal distribuite, având vectorii medie µ şi µ, şi matricile de covarianţă Σ şi Σ se poate scrie relaţia echivalentă : detσ (x µ T Σ - (x µ (x µ T Σ - (x µ + ln det Demonstraţie: Din relaţia ( avem ln f ( x ω f ( x ω > < ln ω, ω Σ > < ω ω ln X { (3 ω ω Înlocuind f ( x ω = n / / (π (detσ exp(- (x µ T Σ - (x µ (vezi mai jos def. 3 şi f ( x ω detσ => (x µ T Σ - (x µ (x µ T Σ - (x µ + ln det Σ > < ln ω (q.e.d. ω Definiţia : Vectorul-medie al unui vector aleator n-dimensional X= (ξ,, ξ n T este vectorul coloană µ X = ( µ,, µ n T = ( E ξ,, E ξ n T not E (X Definiţia : Matricea de covarianţă Σ X R n x n este matricea pătratică de ordin n, asociată lui X (un vector aleator n- dimensional X= (ξ,, ξ n T (cu componente ce au media µ şi dispersia Σ, definită ca: Σ X= E ( ( X E ( X ( X E ( X T = E ( X X T E (X E ( X T. Deci Σ X = σ... σ n unde σ ij =cov(ξ i, ξ j =covarianţa, σ ii =Var(ξ i, ξ i =σ i (σ i = varianţa / dispersia / σ σ... σ n nn i = abaterea medie pătratică Definiţie 3 : Un vector aleator n-dimensional X= (ξ,, ξ n T (cu componente ce au media µ şi dispersia Σ este = repartizat normal (sau gasussian, notat f (x N (µ, Σ, dacă matricea de covarianţă Σ = Σ X este pozitiv definită şi are funcţia de densitate de probabilitate f(x= exp(- n / / (x µ T Σ - (x µ, unde µ = µ X (π (detσ e vectorul-mediu al lui X. Funcţia d(x, µ, Σ=((x µ T Σ - (x µ ½ este distanţa Mahalanobis între vectorii coloană x şi µ asociată matricii simetrice Σ Algoritmul lui Bayes de risc minim (extinde algoritmul cu eroare minimă de clasificare Notăm cu c ij costul clasificarii eronate a formei X ωj când de fapt este ω I ( i, j şi presupunem că o decizie eronată este mai scumpă decât o decizie corectă:

4 Pentru c > c şi c > c în urma minimizării costului mediu r = j= i= R j c ij ω i f (x ω i dx. Se obţine relaţia : f ( x ω > c c ω ω < X { (4 f ( x ω c c ω ω Pentru cazul când c -c =c -c (ex. cazul particular c =c =0 si c =c din relaţia de calcul al algoritmului de risc minim (4 se obţine relaţia algoritmului Bayes cu eroare minimă de clasificare (. Dacă în membrul stâng al ecuaţiilor ( şi (4 apare o situaţie de egalitate nu se poate trage nici o concluzie. În consecinţă se poate atribui forma uneia dintre clase, sau se rafinează testul prin adăugarea de noi caracteristici, sau se aplică alt algoritm. Odată ce clasificatorul a fost proiectat şi antrenat, în situaţia în care densităţile de probabilitate condiţionate ale vectorilor caracteristicilor selectate sunt cunoscute pentru fiecare clasă sau pot fi estimate precis dintr-un set de eşantioane (set de antrenare, se aplică regula de clasificare Bayes, care minimizează probabilităţile de recunoaştere eronată sau riscul mediu. În situaţia, mai des întâlnită, când acestea nu sunt cunoscute se utilizează fie funcţiile discriminant, fie metode neparametrice de clasificare... Clasificare Bayes pentru M clase (M> Pentru M (M > clase de forme din spaţiul R n, notate ω,..., ω M, o formă nouă de intrare X (vector aleator n-dimensional de caracteristici poate fi clasificată prin : a compararea probabilităţilor aposteriori după regula de forma : P ( ω i X > ω <P ( ω j X => X { i, pentru j j (5 ω j ceea ce e echivalent cu P ( ω i f (x ω i > ω <P ( ω j f( x ω j => X { i, pentru j j (6 ω j unde : i, j = M, cu M > P ( ω i X este probabilitatea aposteriori (probabilitatea ca după ce X a fost clasificat, forma X să aparţină clasei ω i ; P ( ω i, P ( ω j este probabilitatea apriori a clasei ω i (respectiv ω j (probabilitatea ca o formă să aparţină clasei ω i, respectiv ω j

5 b decizie bazată pe minimizarea riscului (costului mediu pentru M clase Pentru calculul riscului avem expresia : M r = j= M i= R j c ij ω i f (x ω i dx (7 unde : R i sunt regiunile din spaţiul R n corespunzând claselor ω i, pentru i.m iar cij este costul deciziei eronate X ω j când clasa adevărată este ω i Algoritmul Bayes de risc minim poate fi scris pentru cazul a M clase de forme: M i= M c ij ω i f (x ω i < i= c ik ω i f (x ω i, pentru k j X ω j, i,j,k.m (8 În cazul particular c ii = 0 şi c ij = pentru i j algoritmul capătă forma de la punctul (a C o.3. Clasificatori şi funcţii discriminant v Pentru cazul a M clase de forme din spaţiul R n (M >, notate ω,..., ω M, se consideră cunoscute probabilităţile apriori P ( ω i şi densităţile condiţionate f (x ω i, i M. Proiectarea unui clasificator presupune calcularea explicită a unui set de M funcţii discriminant şi selectarea clasei care corespunde maximului MAX g k :: k g k : R n R, k M, astfel că g i (X > g j (X, pentru j j (9 Când inegalitatea din ecuaţia (8 nu este strictă se ajunge la ambiguitatea deciziei, caz în care clasificarea nu poate fi decisă. Soluţia: fie se alege oricare din cele două clase ω i, ω j fie se alege un algoritm mai puternic. Ex: Se poate alege setul de funcţii discriminant de forma: a în cazul algoritmului Bayes cu eroare minimă de clasificare g k (x = ln P (ω k + ln f (x ω k, sau g k (x = P (ω k f (x ω k, pentru k M b în cazul algoritmului Bayes cu risc minim M g k (x = i= c ik ω i f (x ω i

6 .4. Funcţii discriminant de tip Bayes pentru vectori de caracteristici repartizaţi normal Pentru forme X de intrare din spaţiul R n cu densităţi condiţionate normale de forma : = f ( x, ω i N (µ i, Σ i, i M Luăm în considerare un clasificator Bayes cu eroare minimă de clasificare pentru M clase, cu funcţiile discriminant : g k (x = ln P (ω k + ln f (x ω k, pentru k M se obţine pentru vectori repartizaţi normal relaţia: g k (x = (x µ k T k (x µ k n ln π ln (det k + ln ω k (0 selectarea clasei corespunzând lui Cazuri particulare: MAX g k : k a Pentru k = σ I n (componente vectorilor X sunt independente având dispersia σ se obţine relaţia: g k (x = σ x µ k + ln ω k, k M ( b Pentru clase echiprobabile ω k = /M atunci funcţiile discriminant sunt g k (x = x µ k ( Clasificatorul bazat pe minimizarea distanţei euclidiene: Pentru o forma F reprezentată prin vectorul X F de caracteristici se calculează distanţele minime dintre X F şi vectorul medie al claselor.(comparare este de tip template-matching când vectorul medie este prototipul clasei sale: min d (x F, µ k = x µ k =g k (x= d (x F, µ i0 X ω i0 (3 Clasificatorul liniar are setul de funcţii discriminant: g k (x = σ ( xt x µ T k x +µ T k µ k + ln ω k, k M g k (x = w k T x + w k0 (4 unde w k = σ µ k, şi w k0 = σ µ k T µ k + ln ω k, pentru k M

7 . Probleme Problema. Fie două clase de semnale bidimensionale X= x x repartizate normal clasa ω {A=, B=, C=, D= }, clasa ω {E=, F=, G=, H= }, 0 0 Cerinte: a Calculaţi probabilităţile apriori (ω, ω, vectorii medie (µ, µ şi matricile de covarianţă (Σ, Σ. b Ecuaţia suprafeţei de separaţie c Reprezentarea grafică d Regula de decizie 3 e Să se clasifice vectorii : J =, J =, J3 =, J4 = G H E A D C x Problema. Fie 3 clase de semnale bidimensionale X= x x repartizate normal clasa ω {A=, B=, C=, D= }, clasa ω {E=, F=, G=, H= }, clasa ω 3 {I=, J=, K=, L= }, 0 0 Cerinte: a functiile discriminant pentru cele 3 clase b ecuatiile suprafetelor de separate dintre clase c sa se clasifice vectorii V =, V =,

8 3. Aplicații de laborator 3.. Clasificatorul Bayes Se utilizează aplicaţia Bayes.exe (consola şi se parcurg paşii :. Se selectează ( Criteriul de decizie Bayes (forma quadratică. Dimensiunea spaţiului = 3. Numărul de vectori din lotul de estimare al clasei = Numărul de vectori din lotul de test al clasei = Media impusă pentru clasa = µ =(3 0 T 0 6. Matricea de covariaţie impusă pentru clasa Σ = 0 7. Numărul de vectori din lotul de estimare al clasei = Numărul de vectori din lotul de test al clasei = Media impusă pentru clasa = µ =(-3 0 T 0 0. Matricea de covariaţie impusă pentru clasa Σ = 0. Se noteaza în caietul de laborator parametric statistici ai clasei şi parametrii statistici ai clasei cu zecimale.. Afisare faza de recunoastere? (D Se notează eroarea de clasificare obţinută. 3a. Doriti sa clasificati un vector necunoscut? Nu 4. Se reiau pasii -3 pentru cazul menţinerii constante a mediilor µ şi µ şi matricile de covarianţă modificate a Σ = Σ =( 0 0 (σ =σ = ½ b Σ = Σ =( (σ =σ =3 ½ c Σ = Σ =( (σ =σ = 5. Se selectează optiunea 4 Sfârsit program. 6. Să se reprezinte grafic eroarea de clasificare în funcţie de dispersie σ Opţional: 3b. Pentru matricile de covarianţă a Σ = Σ =(/ 0 0 / se verifică clasificarea vectorilor J =, 0 3 =, J3 =, J4 = (problema punctul e 0 3

9 3.. Aplicatie demo a clasificatorului Bayes pentru clase Obiectiv: reprezentarea suprafetei de separatie pentru doua clase folosind Clasificatorul Bayes. Desfasurarea lucrarii: - se deschide programul Matlab si se ruleaza fisierul ClasifBayes.m - inainte de initializarea claselor se reseteaza toate valorile prin apasarea butonului Reset - fiecare clasa se initializeaza cu minim 3 puncte necoliniare (daca punctele sunt coliniare, nu se va putea calcula inversa matricei de covariatie, deoarece determinantul matricei de covariatie va fi zero - dupa initializarea celor clase, pentru a vedea suprafata de separatie apasati butonul Suprafata de separatie - pentru a clasifica un nou punct in una dintre cele doua clase, introduceti coordonatele punctului si apasati butonul Clasifica. Daca punctul va fi clasificat ca facand parte din Clasa, atunci va fi marcat cu culoarea specifica Clasei(verde, altfel va fi marcat cu culoarea specifica Clasei(magenta. Odata cu afisarea grafica a suprafetei de separatie se vor afisa mediile si matricele de covariatie a celor doua clase precum si ecuatia suprafetei de separatie. Exemplu. Se apasa butonul de Reset. Pentru Clasa se introduc punctele ( 0, ( 3, ( 4 0, ( 3-3. Pentru Clasa se introduc punctele (- 0, (-3, (-4 0, ( Se afiseaza suprafata de separatie apasand butonul Suprafata de separatie 5. Se clasifica vectorii (- si ( 0 Exemplu Pentru Clasa se introduc punctele ( 0 0, ( 0, ( Pentru Clasa se introduc punctele ( -, ( -, ( 0 Exemplu 3 Pentru Clasa se introduc punctele ( 0, (, ( 3 Pentru Clasa se introduc punctele ( -, ( 0, (

10 Pentru Exemplu veti obtine o reprezentare grafica precum cea din captura de mai jos: Figura 3.. Aplicatie demo a clasificatorului Bayes pentru clase

11 3.3. Clasificarea pixelilor din imagini cu sol si vegetatie folosind clasificatorul Bayes Obiectiv: identificarea pixelilor de sol si a celor de vegetatie din imagini color folosind clasificatorul Bayes. Deoarece imaginile contin in mod predominant doar informatie de sol si vegetatie (maron si verde s-a facut trecerea din coordonate RGB in coordonate rg. Pentru fiecare pixel s-a aplicat transformata RGB rg unde: R G r = 55 si g = 55 R+ G+ B R+ G+ B a. Antrenarea Pentru etapa de antrenare s-au folosit clase: - clasa(vegetatie formata dintr-o imagine de dimensiune 50*50 continand numai puncte de vegetatie; - clasa (sol formata dintr-o imagine de dimensiune 50*50 continand numai puncte de sol. (Observatie: folosirea unui numar mai mare de pixeli pentru etapa de antrenare va duce la o cresterea a acuratetii in etapa de detectie. Pentru cele clase de sol si de vegetatie s-a facut transformarea RGB rg. S-au obtinut astfel doua clase (sol si vegetatie cu vectori bidimensionali (rg pentru care s-a aplicat clasificatorul Bayes si s-a determinat suprafata de separatie. b. Testarea Pentru fiecare pixel din imaginile de test s-a aplicat transformata RGB rg si apoi s-a folosind regula de decizie: detσ (x µ T Σ - (x µ (x µ T Σ - (x µ + ln det pentru clasificarea in una dintre cele clase. Σ > < ω ω ln X { ω ω

12 Desfasurarea lucrarii: - se deschide programul Matlab si se ruleaza fisierul Segmentare_sol_vegetatie.m - pentru etapa de antrenare se selecteaza o imagine cu sol si o imagine cu vegetatie - pentru reprezentarea grafica in spatiul rg si a suprafetei de separatie apasati butonul Suprafata de separatie - Pentru etapa de testare alegeti una dintre imaginile de test disponibile Pentru imaginea de test test veti obtine o reprezentare grafica precum cea din captura de mai jos: Figura 3.. Clasificarea pixelilor din imagini cu sol si vegetatie folosind clasificatorul Bayes

13 Bibliografie : V.Neagoe, O. Stănăşilă Recunoasterea formelor si retele neurale algoritmi fundamentali, Ed. Matrix Rom, Bucureşti, 998.