ADVANCES IN DIGITAL AND COMPUTER VISION

Transcript

1 ΤΕΧΝΟΛΟΓΙΚΟ ΕΚΠΑΙΔΕΥΤΙΚΟ ΙΔΡΥΜΑ ΚΡΗΤΗΣ ΔΠΜΣ ΠΡΟΗΓΜΕΝΑ ΣΥΣΤΗΜΑΤΑ ΠΑΡΑΓΩΓΗΣ ΑΥΤΟΜΑΤΙΣΜΟΥ ΚΑΙ ΡΟΜΠΟΤΙΚΗΣ 01 10/02/2017 Unknown ΕΡΓΑΣΙΑ 3 ADVANCES IN DIGITAL AND COMPUTER VISION ΣΠΟΥΔΑΣΤΕΣ: ΓΕΡΜΕΝΗΣ ΕΥΑΓΓΕΛΟΣ (Α.Μ.: ΜΗ77) ΠΑΠΑΔΟΠΟΥΛΟΣ ΓΕΩΡΓΙΟΣ (Α.Μ.:ΜΗ79) ΕΠΙΒΛΕΠΩΝ ΚΑΘΗΓΗΤΗΣ: ΑΛΕΞΑΝΔΡΟΣ ΜΑΚΡΗΣ ΗΡΑΚΛΕΙΟ 2016

2 01 10/02/2017 Unknown Exercise 1 - Blob Detection (30%) a) Develop a simple 'blob' detector. The detector takes as arguments an image and the blob radius and return the detected blob positions. The detector should use the LoG filter so the possible detections are the local minima and maxima of the filter response. b) Add an extra parameter to the detector to select either: i) dark blobs, ii) light blobs, or iii) both. c) Ext the detector so instead of a single radius it accepts a range (min, max). Test the detector firstly in the images 'black_dots.jpg', 'white_dots.jpg' and then also in 'coins.tiff' and 'circles_%%.jpg'. Present the results by showing the detected blobs in the initial images. Δημιουργούμε Script Askhsh3_1.m στο οποίο καλούμε την εικόνα στη συνέχεια επιλέγουμε το εύρος ακτίνας R των Blob που θέλουμε να εντοπίσουμε. Έπειτα με την Function BlobSwitch επιλέγουμε το είδος blob που θέλουμε κάθε φορά ( dark, light, both). Η δεύτερη συνάρτηση που καλείται λέγεται Function Blobid και είναι υπεύθυνη για την δημιουργία των blobs κατά συγκεκριμένο εύρος R. Τέλος καλούμε την Function BlobCircles για την οπτικοποίηση των Blobs πάνω στην εικόνα μας Ι. clear;clc;close all; I=imread('black_dots.jpg'); s=size(i); R=51:55; Choose_blob='dark'; %% Blob Detection if s(3)==3 I=rgb2gray(I); % Blob Radius Range % Choose 'dark', 'light' or 'both' [D,L]=BlobSwitch(Choose_blob); % Type of Blob( Dark or Light ) [DB,LB]=Blobid(I,R); % Blob response in Image BlobCircle(I,R,DB,LB,D,L); % Draw Frame and centers of Blob 2

3 Function BlobSwitch Δημιουργήσαμε συνάρτηση BlobSwitch που παίρνει ως όρισμα (input) την μεταβλητή τύπου χαρακτήρα Choose_blob στην οποία ο χρήστης δίνει της επιλογές dark, light και both. Στη συνέχεια με χρήση της εντολής switch θέσαμε τρία διαφορετικά cases για τα αντίστοιχα inputs. Εξάγω (output) από την συνάρτηση του επιλογέα τις μεταβλητές ( D, L ) που παίρνουν τιμές 0 ή 1 αναλόγως. function [ D,L ] = BlobSwitch( Choose_blob ) switch Choose_blob case 'dark' D=1;L=0; case 'light' D=0;L=1; case 'both' D=1;L=1; Function Blobid Για την δημιουργία της συνάρτησης Blobid πήραμε ως ορίσματα την εικόνα Ι και το εύρος R ακτίνας Blob. Στη συνέχεια υπολογίσαμε φίλτρο Laplacian of Gaussian με κατάλληλο kernel και (σ). Φιλτράραμε την εικόνα με το LoG, έγινε scale normalize και δημιουργήσαμε δύο πίνακες LB,DB binary με όριο (threshold) κατάλληλο για την αποδοχή αντίστοιχα Dark η Light Blobs. Τέλος εξήγαμε από την συνάρτηση τους binary(thresholded) πίνακες [DB,LB]. function [ DB,LB ] = Blobid ( I,R ) I=im2double(I); %% Blob identification for j=1:length(r); hsize=round((r(j)/sqrt(2))*6); %Filter size (σ x 6)for better response sigma=hsize/6; h=fspecial('log',hsize,sigma); %LoG Filter Blob(:,:,j)=imfilter(I,h); %Image Filtered Bnorm(:,:,j)=Blob(:,:,j)/max(max(Blob(:,:,j)));% Scale Normalize LB(:,:,j)=Bnorm(:,:,j)<=-0.54; %Binary/Threshold Light blobs DB(:,:,j)=Bnorm(:,:,j)>=0.48; %Binary/Threshold Dark Blobs 3

4 Function BlobCircle Στην συνάρτηση BlobCircle εισήγαμε ως ορίσματα την εικόνα Ι, την ακτίνα Blob (R),τους binary πίνακες ( DB, LB ) που πήραμε ως έξοδο από την συνάρτηση Blobid και το συνδυασμό ( D, L) του επιλογέα BlobSwitch. Βάση του D, L χρησιμοποιείται κατάλληλα η συνάρτηση regionprops(boundingbox) κάθε φορά για την εύρεση των κέντρων των blobs.τέλος δημιουργούμε την γραφική απεικόνιση των επιλεγμένων blobs με χρήση της βοηθητικής συνάρτησης SetCircles. function [ output_args ] = BlobCircle( I,R,DB,LB,D,L ) %% Dark Blobs if D==1 S1=regionprops(DB); Coord=cat(1,S1.BoundingBox); %BoundindgBox struct Array[Coordinates(x,y),width] xcnt1=coord(:,1)+coord(:,4)/2; %Xcenter of every BoundingBox(Circle) ycnt1=coord(:,2)+coord(:,5)/2; %Ycenter of every BoundingBox(Circle) r1=coord(:,3)+min(r); %Radius of Circle r1=round(r1); value=255; for t=1:size(r1); I=SetCircle(I,r1(t),xcnt1(t),ycnt1(t),value); %Draw Circle %% Light Blobs if L==1 S2=regionprops(LB); Coord2=cat(1,S2.BoundingBox); xcnt2=coord2(:,1)+coord2(:,4)/2; ycnt2=coord2(:,2)+coord2(:,5)/2; r2=coord2(:,3)+min(r); r2=round(r2); r2=r2/2; value=255; for t=1:size(r2); I=SetCircle(I,r2(t),xcnt2(t),ycnt2(t),value); %% Blob Circles and Centers plot imshow(i) hold on if D==1 plot(xcnt1,ycnt1,'*c'); if L==1 plot(xcnt2,ycnt2,'*r'); Ακολουθούν δείγματα εικόνων 4

5 02 10/02/2017 Unknown Εικόνα 1.1 : Detection of Both Dark & Light Blobs Εικόνα 1.2 : Detection of Both Dark & Light Blobs 5

6 02 10/02/2017 Unknown Exercise 2 Edge Detection (70%) a) Develop a system that detects circular objects of known radius r in an image. For their detection you should implement the Hough transform. Visualize the detected objects on the initial image. Test your system using the images 'coins.tiff' and 'circles_%%.jpg'. b) Ext your system to detect circular objects within a given radius interval rmin-rmax. c) Use the gradient orientation to rer your system more robust to noise. d) Evaluate the final detector on the image 'circles_05.jpg'. To that evaluate the precision and recall metrics for various detection thresholds and plot the precision-recall curve. A detection should be considered as correct if the ratio of overlap between the detection bounding box and the groundtruth bounding box divided by the area of the detection bounding box is above 0.8. The groundtruth bounding boxes are provided ('circles_05_gt.mat'). Δημιουργούμε Script Askhsh3_2.m κατά το οπoίο καλούμε την εικόνα. Αρχικά ορίζουμε τα Threshold (thres1) και (thres2), στην συνέχεια προετοιμάζουμε την εικόνα για τον χώρο Hough με χρήση κατάλληλων φίλτρων και προσδιορίζουμε το εύρος ακτινών r. Έπειτα καλούμε την συνάρτηση HoughCircle, η οποία κατασκευάζει τον χώρο Hough βάση της SetCircle ή καλούμε την ΗoughGrad με βάση τον προσανατολισμό του Gradient. Γίνετε κανονικοποίηση με την Function HoughNorm και εντοπισμός του κέντρου των κύκλων με την Function Center. Τέλος κάνουμε την γραφική αναπαράσταση των κύκλων με την βοήθεια της συνάρτησης SetCircle από τον φάκελο Help Function. clc;clear;close all %% Thresholds for thres1=0.4 for thres2=0.5 %% Hough Tranform I=imread('circles_05.jpg'); if (size(i,3)==3); I=rgb2gray(I); I=im2double(I); I=imsharpen(I); Ie=edge(I); s=size(ie); r=17:19; %Radius Range 6

7 for i=1:length(r) cval=1; %circle value radius=r(i); [ Hough(:,:,i) ] =HoughGrad( s,ie,radius );% Hough gradient based orientation % [ Hough(:,:,i) ]=HoughCircle(s,Ie,cval,radius); % Hough with circle [ HoughN ] = HoughNorm( r,hough,thres1 ); % Hough Scale Normalization [ xc,yc,rc ] = Center( Hough,HoughN,r,thres2 ); %Find Centers %% Draw Circle for n=1:size(xc) value=1; I = SetCircle(I, rc(n),xc(n), yc(n), value); imshow(i) hold on plot(xc,yc,'c*'); % Plot centers in Image Function HoughCircle Δημιουργία της συνάρτησης HoughCircle με εισόδους την μεταβλητή s η οποία εμπεριέχει το μέγεθος της αρχικής εικόνας, την εικόνα Ie που περιέχει τα σημεία που ψηφίζουν στον χώρο Hough, την cval που καθορίζει το μέγεθος στην SetCircle και την radius με ακτίνες των κύκλων που ψάχνουμε. Έπειτα κατασκευάζουμε ένα μηδενικό πίνακα Hough και με την βοήθεια της SetCircle τοποθετούμε τους ψήφους στον χώρο Hough για κάθε σημείο της Ie. Ως έξοδο τελικά παίρνουμε τον πίνακα Hough με τους ψήφους. function [ Hough ] = HoughCircle( s,ie,cval,radius ) Hough=zeros(s(1),s(2)); [y,x]=find(ie>0); %For every edge point in Ie for t=1:size(x) Hcounter=zeros(s(1),s(2)); Hough =Hough+ SetCircle(Hcounter, radius,x(t), y(t), value); 7

8 Function HoughGrad Για την δημιουργία της HoughGrad εισάγουμε την μεταβλητή s που καθορίζει το μέγεθος της αρχικής εικόνας, την εικόνα Ie με τα σημεία που θα ψηφίσουν στον χώρο Hough και την μεταβλητή r η οποία καθορίζει την ακτίνα του κύκλου που ψάχνουμε. Στη συνέχεια δημιουργούμε μηδενικό πίνακα Hough και υπολογίζουμε την κλίση κάθε σημείου βάση του Gradient. Εν τέλη εξάγουμε τον πίνακα Hough ο οποίος εμπεριέχει τους ψήφους των σημείων βάση του Gradient. function [ Hough ] =HoughGrad( s,ie,r ) %% sobel and gradient calculation Ie=double(Ie); Hough=zeros(s(1),s(2)); sob1=fspecial('sobel');% sobel for x sob2=sob1'; % sobel for y Ix=imfilter(Ie,sob1); Iy=imfilter(Ie,sob2); % Image filtering theta=atan2(iy,ix); % Angle theta of gradient [x,y]=find(theta~=0); for i=1:size(x) X(i,1)=r*cos(theta(x(i),y(i)))+x(i); Y(i,1)=r*sin(theta(x(i),y(i)))+y(i); X=round(X); Y=round(Y); for i=1:size(x) if(x(i)>0 && Y(i)>0 && X(i)<=size(Ie,1) && Y(i)<=size(Ie,2)) %Inside image boundaries Hough(X(i),Y(i))=Hough(X(i),Y(i))+1; Function HoughNorm Για την δημιουργία της HoughNorm εισάγουμε το εύρος των ακτινών r, τον πίνακα του χώρου HoughGrad ή HoughCricle, και ένα όριο Threshold(thres1) πάνω από το οποίο δεχόμαστε πιθανά κέντρα. Τέλος κανονικοποιούμε τον χώρο Hough (Circle ή Grad) και δημιουργούμε το κατώφλι βάση του thres1. Εξάγουμε τον πίνακα HoughΝ. function [ HoughN ] = HoughNorm( r,hough,thres1 ) for i=1:length(r) Hough(:,:,i)=Hough(:,:,i)/max(max(Hough(:,:,i))); %Hough scale normalize HoughN(:,:,i)=Hough(:,:,i)>=thres1; 8

9 Function Center Για την δημιουργία της Function Center εισάγουμε των πίνακα Hough και HoughN την μεταβλητή r και ένα όριο thres2. Έπειτα καλούμε την συνάρτηση regionprops και βρίσκουμε τα κέντρα των κύκλων. Στην συνέχεια δημιουργούμε συνθήκη που εντοπίζει τυχών επικαλυπτόμενους κύκλους και διαγράφη τον κύκλο με τον μικρότερο αριθμό ψήφων. function [ xc,yc,rc ] = Center( Hough,HoughN,r,thres2) %% Regionprops struct array for centers HoughN=logical(HoughN); K=regionprops(HoughN); point=cat(1,k.centroid); point=round(point); xc=point(:,1); yc=point(:,2); rc=point(:,3)+min(r)-1; rc2=point(:,3); length=size(xc,1); %% Center Localize by Threshold for i=1:length for n=1:length if(xc(i)~=0 && yc(i)~=0 && rc(i)~=0) %For non zero Circle=sqrt((xc(n)-xc(i))^2+(yc(n)-yc(i))^2); %Circle Equation if ( Circle <=(thres2+1)*(rc(i)) && ((i<n) (i>n)) ) if ( Hough(yc(i),xc(i),rc2(i)) > Hough(yc(n),xc(n),rc2(n)) ) xc(i)=0;yc(i)=0;rc(i)=0; else xc(n)=0;yc(n)=0;rc(n)=0; Παρατηρήσεις 03 10/02/2017 Unknown Είναι φανερό ότι με την χρήση του Hough detector εντοπίζονται κύκλοι εύρους ακτινών με μεγάλη ακρίβεια. Επίσης παρατηρείτε πιο γρήγορη απόκριση του HoughGrad detector με αντίστοιχα υψηλό βαθμό ακρίβειας. Ακολουθούν δείγματα εικόνων 9

10 Εικόνα 2.1 HoughGrad circles_05.jpg for thres1=0.4, thres2=0.5 and r = 17:19 Εικόνα 2.2 : HoughGrad circles_03.jpg for thres1=0.9, thres2=0.6 and r = 73:75 Εικόνα 2.3: HoughGrad circles_01.jpg for thres1=0.9, thres2=0.6 and r = 41:42 10

11 Εικόνα 2.4 : HoughGrad cioins.tiff for thres1=0.75, thres2=0.5 and r = 22:24 Εικόνα 2.5: HoughGrad for thres1=0.9, thres2=0.6 and r = 27:29 11

12 Εικόνα 2.1 : HoughGrad for thres1=0.8, thres2=0.6 and r = 28:29 12

13 Annotations ADVANCES IN DIGITAL AND COMPUTER VISION 01 Unknown Unknown Page 2 10/2/ :21 3/3 02 Unknown Unknown Page 5 10/2/ :22 ++ dark or light only 03 Unknown Unknown Page 9 10/2/ :25 Apo ta paradeigmata sas den fainetai oti mporei epituxws na entopisei kukloys mias aktinas an to euros pou tou dinete einai megalo.

14 Annotations ADVANCES IN DIGITAL AND COMPUTER VISION 01 Unknown Unknown Page 1 10/2/ :45 B:9/10 02 Unknown Unknown Page 6 10/2/ :46 6/7