ANALIZA IMAGINILOR
ANALIZA IMAGINILOR Titular curs : Prof. Dr. Ing. Constantin VERTAN cvertan@alpha.imag.pub.ro B141 Laborator : As. Dr. Ing. Laura FLOREA lflorea@alpha.imag.pub.ro B141/ B135A
Chestiuni administrative http://alpha.imag.pub.ro/cursuri Cod curs: 04.S.08.O.512-3 puncte credit Curs: 3 ore/ saptamana 9.3 saptamani Laborator: 3 ore/ 2 saptamani, cu subgrupa, B135A Punctare: 20 puncte lucrare finala 2 x 20 puncte lucrari de verificare la curs 40 puncte colocviu de laborator (20 pct. test teoretic laborator, eliminatoriu 20 pct. test practic laborator 0 pct. prezenta)
Chestiuni administrative http://alpha.imag.pub.ro/cursuri Programare lucrari de verificare (cu degrevare): Lucrarile NU SE REPETA! Lucrare 1: Saptamana 4 Marti, 16 martie (la curs) Lucrare 2: Saptamana 7 Marti, 13 aprilie (la curs) Verificare finala: Saptamana 10 Marti, 4 mai (la curs)
Bibliografie de baza http://alpha.imag.pub.ro/cursuri
Imaginile digitale sunt un bun de larg consum anul 2008: 140 milioane aparate foto digitale vandute 250 milioane telefoane mobile cu camera vandute + cateva zeci de milioane de camere video digitale + produsele profesionale
ANALIZA IMAGINILOR: imagini de consum
Analiza continutului imaginilor pentru detectia si corectia erorilor
Analiza conţinutului imaginilor pentru detecţia feţelor... chiar si corectia feţelor
Analiza conţinutului imaginilor pentru detecţia continutului ofensator: family filter Renoir : Nude
ANALIZA IMAGINILOR: imagini de securitate
Identificarea persoanelor Iris Amprenta Fata Recunoastere? 01110010111..
AH-64 Apache helicopter
ANALIZA IMAGINILOR: imagini medicale
Melanoame de piele Descrierea automata: criteriul ABCD A - asimetrie B - bordura C - culoarea D - diametrul Problema : stabilitatea achizitiei culorii
Detectia cancerului mamar
MIAS database X-rays normal malignant chistic masses
Urmarirea protezelor totale de sold identificarea si caracterizarea protezei imagine HDR a filmului radiologic
Analiza interfetei os-proteza Descrierea structurii osoase in regiunile Gruen descriere de textura detectia semnelor radiologice (piedestal, linii radiolucenta)
Screening-ul osteoporozei prin analiza [semi]- automata a radiografiilor de calcai Baza de cazuri radiografie de calcai ROI 0 ROI 1 ROI 2 schema de descriere MPEG-7 + extra clasificare supervizata decizie privind osteoporoza <=10% MD <=15% FA
ANALIZA IMAGINILOR Ce este, cum se leaga de prelucrarea imaginilor.
Sistemul tipic de prelucrarea imaginilor Compunere la nivel logic (in sistemul de calcul): Imbunatatire Restaurare Segmentare Analiza Compresie
Imbunatatire Restaurare Segmentare Analiza Segmentare: Descompunerea imaginii (scenei) in partile sale constituente.
Imbunatatire Restaurare Segmentare Analiza Segmentare: Descompunerea imaginii (scenei) in partile sale constituente.
Imbunatatire Restaurare Segmentare Analiza Analiza: Descrierea partilor (obiectelor) din imagine si a relatiilor dintre ele; decizii/ clasificari De la obiecte la numere: 011 000 111.
Caracteristicile pixelului pozitie : linie, coloana valoare (+ informatie de afisare) dimensiune k imagine forma legatura cu realitatea fizica
Valoarea pixelului vs. conventii de afisare Imaginea ce se vede pe un ecran nu este neaparat informatia reala achizitionata din scena investigata. In general, imaginilor li se adauga si conventiile de afisare a valorilor, ce sunt stabilite de utilizator. Aceste conventii sunt deci subiective si independente de continutul imaginii. Actiunea este de modificare a perceptiei vizuale a imaginii, si nu a continutului imaginii. - LAPI
Caracteristicile pixelului Sunt valorile fizice masurate in scena relevante? Este oare posibil ca : Obiecte diferite sa fie caracterizate de aceleasi valori ale pixelilor? sau Obiecte identice sa fie caracterizate de valori diferite ale pixelilor? depinde de ceea ce se achizitioneaza..
Caracteristicile pixelului
Structura cursului Segmentarea imaginilor segmentarea orientata pe regiuni segmentarea orientata pe contururi separarea componentelor scenei (imaginii) Caracterizarea componentelor din imagini descrierea regiunilor descrierea contururilor individualizarea (recunoasterea, identificarea) componentelor scenei (imaginii)
Segmentarea orientata pe regiuni
Segmentare Descompunerea imaginii (scenei) in partile sale constituente. Matematic: segmentarea este o partitionare a multimii pixelilor din imaginea f, in submultimi f i continand una sau mai multe componente conexe, disjuncte si uniforme dpdv al unui criteriu C pre-stabilit. f = f i C( C( f f f U i i i j f i ) = 1 f = φ,i j ) = 0 j
Exemplu de segmentare imagine originala componenta 1 imagine segmentata: componentele sunt pseudocolorate comp. 2 comp. 3
Exemplu de segmentare
Segmentare : uniformitatea regiunilor uniformitate a valorilor uniformitate a unor caracteristici, altele decat valoarea [texturale]
Texturi
Segmentare Evident, segmentarea inseamna ca pentru fiecare pixel din imagine, in functie de valoarea acestuia (si poate si alte valori din imagine) si in functie de parametri specifici unui anume metode, sa se decida care componenta din care respectivul pixel face parte. Parametrii care particularizeaza o metoda generala pentru o anume imagine pot sa depinda doar de valoare pixelilor segm. globala de valoarea pixelilor si de caracteristici de vecinatate ale pixelilor segm. locala de valoarea pixelilor, de caracteristici segm. dinamica de vecinatate ale pixelilor si de pozitia in imagine segm. adaptiva
Categorii de tehnici de segmentare pe regiuni Thresholding (segmentare pe histograma) Cresterea si fuziunea regiunilor Segmentarea in spatiul caracteristicilor (generalizare thresholding) pentru regiuni cu uniformitate a valorilor pentru regiuni cu uniformitate a caracteristicilor (texturi)
Marea problema Cate tipuri de obiecte (cate clase de obiecte) sunt in imagine??
Segmentarea orientata pe contururi
Contur = frontiera unei regiuni; este format din pixeli in jurul carora criteriul de uniformitate nu se mai respecta. Contur = modificare (variatie) a valorilor pixelilor.
Descrierea (caracterizarea) regiunilor si contururilor
Cum putem individualiza acest obiect printr-un set de numere? (mutam obiectul de studiu din domeniul functiilor binare cu suport in Z 2 intr-un spatiu real de dimensiune n).
Aplicatii posibile sky is the limit.
Thresholding (segmentare pe histograma) Presupunere esentiala : diversele categorii de obiecte din scena sunt formate din pixeli al caror nivel de gri (valoare) este relativ constanta. Tip de obiecte = plaja ingusta de valori a pixelilor Obiectele sunt caracterizate de grupuri de pixeli avand o uniformitate a valorilor.
Thresholding Nivelul de gri (valoarea) pixelilor corespunde in scena unor proprietati fizice definitorii si discriminatorii pentru tipurile de obiecte. Distributia proprietatii fizice masurate in scena este aproximata de histograma imaginii. Histograma - instrument de descriere a continutului scenei.
Histograma Histograma = functie ce asociaza fiecarui nivel de gri posibil probabilitatea [sa] de aparitie in imagine. h(u) = numar pixeli de nivel de gri u / numar total pixeli h( u ) 1 MN M 1N 1 = m= 0 n= 0 δ ( f ( m,n ) u), u = 0,1,...,L 1 Histograma este o functie de densitate de probabilitate. L 1 u= 0 h( u ) = 1 Histograma descrie continutul de culoare/ de gri al imaginii.
Histograma
Histograma
% Histograma color culori Histograma nu ofera informatie asupra distributiei spatiale a culorilor.
Histograma Se poate face distinctia intre imagini intunecate / luminoase. Histograma nu reflecta distributia spatiala a valorilor.
Histograma Se pot face presupuneri asupra numarului de tipuri de componente din imagine.
Histograma Modurile histogramei corespund unor categorii de obiecte.
Thresholding Segmentarea pe histograma (thresholding) inseamna determinarea modurilor din histograma si separarea lor. Fiecare mod va corespunde unui tip de obiecte, caracterizate de plaje distincte (si relativ inguste) de nivele de gri. Problema : cate moduri sunt? care este separatia dintre ele?
Exemplu C=3 T 1 =40 T 2 =100 C=4 T 1 =40 T 2 =100 T 3 =190
Thresholding Presupunem cunoscut numarul de clase de obiecte din imagine in care se face segmentarea, C. Presupunem ca am ales pragurile de separatie dintre modurile histogramei, aceleasi pentru intreaga imagine (deci suntem in cazul unei segmentari de tip global). Presupunem ca nivelul de gri al pixelilor corespunde unei marimi fizice discriminante. Tuturor pixelilor ce apartin aceluiasi mod (au acelasi interval de valori) li se atribuie aceeasi eticheta de apartenenta la o clasa. Dupa segmentare rezulta o imagine etichetata (sau harta a claselor).
Thresholding gasirea pragurilor de separare dintre modurile histogramei de nivele de gri a imaginii. Fie T k pragurile de segmentare pe histograma. g(m,n) = E k, daca T k f(m,n) T k+1 E k este eticheta ce se atribuie tipului de obiecte k T 0 = 0, T C = L, k = 0, 1,..., L-1 Caz particular : C = 2 (binarizarea) g( m, n) = E E 0 1,, f f ( m, n) ( m, n) T > T
Exemplu de binarizare C=2 T=170
Evident, alegerea pragurilor de segmentare T k este cruciala. obiecte intunecate obiecte gri mediu T 1 T 2 obiecte foarte luminoase Pragurile se aleg pe minimele histogramei (separatia dintre moduri).
Exemplu Pentru inspectia de calitate a produselor se fac fotografii ale suprafetei acestora, cu imagini cu 1 pixel/ mm. Petele de rugina nu trebuie sa depaseasca niste limite impuse. Cum se detecteaza aceasta? Rugina: culoare (nivel de gri) intermediar. T 1 T 2 Fixam doua praguri care sa separe acest mod central: fie T 1 =80 si T 2 =150 (pragurile sunt situate pe minimele histogramei).
Exemplu Imaginea segmentata: eticheta 1 pentru pixelii de rugina (mod central), eticheta 0 pentru pixelii modului intunecat si eticheta 2 pentru pixelii modului alb. Imaginea etichetata este afisata in mod pseudo-color: rosu pentru 0, albastru pentru 1, verde pentru 2. Rugina = pixelii avand nivele de gri intre 80 si 150, adica pixelii colorati in albastru in imaginea etichetata, adica 62.2 % din imagine.
Exemplu O bila alba de biliard este fotogafiata pe un fundal negru. Fotografia este esantionata pe o retea patrata cu spatierea pixelilor de 1 mm si este cuantizata pe 11 de nivele de gri. Histograma imaginii este descrisa de vectorul : (300, 3000, 9000, 3000, 800, 200, 300, 1127, 700, 300, 0). a) Binarizati imaginea; care este valoarea pragului de segmentare? b) Calculati raza bilei de biliard. c) Rezultatul ar mai fi credibil daca spatierea dintre pixeli ar fi de 2 mm?
Observatie Elementele partitiei determinate prin segmentarea pe histograma (deci multimile de pixeli ce au aceeasi eticheta) nu sunt multimi conexe (pot avea mai mult de o singura componenta). Nu se poate face nici o distinctie intre componente conexe diferite din aceeasi clasa (adica intre obiectele de acelasi fel din scena). Individualizarea componentelor dintr-o aceeasi clasa se face prin etichetare.
Thresholding Modalitati de alegere a pragurilor Metode globale Minimele histogramei Metoda Bhattacharryya Metoda Fisher Metoda Otsu Metoda Kittler-Illingworth Metode globale cu cunostinte apriori Segmentarea pe histograma cumulativa Segmentarea cu prag optim
Thresholding Modalitati de alegere a pragurilor (cont.) Metode locale Folosirea histogramelor ponderate Metode dinamice (adaptive) Metoda Nakagawa
www.dilbert.com