Αναγνώριση Προτύπων. Μη παραμετρικές τεχνικές Αριθμητικά. (Non Parametric Techniques)

Transcript

1 Αναγνώριση Προτύπων Μη παραμετρικές τεχνικές Αριθμητικά Παραδείγματα (Non Parametric Techniques) Καθηγητής Χριστόδουλος Χαμζάς Τα περιεχόμενο της παρουσίασης βασίζεται στο βιβλίο: Introduction to Pattern Recognition A Matlab Approach, S. Theodoridis, A. Pikrakis, K. Koutroubas, D. Caboyras, Academic Press, 010 Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 1/3

2 ΠΑΡΑΘΥΡΑ PARZEN Για να υπολογίσουμε την pdf pn(x) στο σημείο x προσθέτουμε το x για όλα τα N σημεία x n και το κανονικοποιούμε διαιρώντας με το NV N δηλαδή p N x) h n x n N 1 NVN i1 x x h ( i φ(.) )είναι η συνάρτηση kernel και συνήθως είναι η πολυδιάστατη κανονική με V N = (h N ) d, δηλαδή, N T 1 1 ( x x i ) ( x x p x N ( ) exp d N i1 d h N ( ) h ( i N N ) Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

3 Παράθυρα Parzen Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 3

4 Parzen Παράθυρα Example Generate N = 1000 data points lying in the real axis, xi ЄR, i = 1,,...,N, from the following pdf, and plot p(x): p ( x ) exp x 3 1 exp x 1 1 where σ 1 =σ =0 0.. Use the Parzen windows approximation with normal kernel, with h = 0.1, and plot the obtained estimate.

5

6 Ν=1000, h=0,

7 Ν=1000, h=0, Ν=10000, h=0, Ν=10000, h=0,

8 Πιθανοτικά Νευρωνικά ίκτυα Probabilistic bili Neural Networks (PNN) Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 8

9 PNN - Εκπαίδευση Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 9

10 PNN Ταξινόμηση Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 10

11 Παράδειγμα ParzenPNN function net = parzenpnnlearn(samples,classification,center) samples=[x 1 x x 3... x N ] Τ Matrix Nxd with N samples with d components each. Classification = [ω 1 ω 3 ω 3 ω 1.ω ] Classification of the N samples in C classes Center=true Example: N=5, d=, c= Samples 0,8 0,7 0,3 0,1 0,9 0,6 0,8 0, classification [abbba] Net : the probabilistic Parzen Neural Net function [class,score,scores] = parzenpnnclassify(net,x,nonlin) Net a valid parzenpnn X sample to be classified with d componets Nonlin = σ (default ) Example: X=[ 0,3 0,1]

12 Εφαρμογή 1 close('all'); clear; % To generate X, utilize the function generate_gauss_classes m=[0 0 ; 0 3 ; 3 4]'; S1=0.8*eye(); S(:,:,1)=S1;S(:,:,)=S1;S(:,:,3)=S1; P=[1/3 1/3 1/3]'; ]; N=10; randn('seed',0); [X,y]=generate_gauss_classes(m,S,P,N); net=parzenpnnlearn(x,y); class=parzenpnnclassify(net,[1 ]') ans=1 [class score scores]=parzenpnnclassify(net, X) y = [ ] class = [ ] Score =[ ] [ ] [ ] Scores = [ [ ] [ ]

13 Εφαρμογή Εάν τρέξουμε το parzenpnn_demo, μας επιτρέπει να βάλουμε 3 κλασεις σημείων διαστάσεων, μετά μας επιτρέπει να προσθέσουμε και νέα δείγματα εκπαίδευσης και στο τέλος διαχωρίζει το επίπεδο στις περιοχές των κλάσεων

14 Εκτίμηση k n -πλησιέστερων γειτόνων k n -Nearest neighbour (KNN) Το πρόβλημα: Έχουμε Ν δεδομένα {x 1, x,, x N } από μία άγνωστη pdf και θέλουμε να εκτιμήσουμε την τιμή p(x) της άγνωστη pdf για ένα x. Ο Αλγόριθμος 1. Επιλέγουμε μία τιμή για το k καθώς και την συνάρτηση μέτρου που θα χρησιμοποιήσουμε για την απόσταση (Ευκλείδεια, Mahalanobis, Manhattan,..). Βρίσκουμε την απόσταση του x από όλα τα δεδομένα 3. Βρίσκουμε τα πλησιέστερα k δεδομένα στο x 4. Υπολογίζουμε τον όγκο V(x) που περικλείει τα k σημεία k 5. Προσεγγίζουμε την pdf στο χ με p( x) NV (x) x Εάν έχουμε επιλέξει την Ευκλείδεια απόσταση στο d-διαστατο χώρο και η απόσταση από το μακρινότερο δείγμα είναι ρ τότε V(x) = ρ για d=1, V(x) = πρ για d=, V(x) = (4/3)πρ για d=3 ενώ για απόσταση Μαhalanobis έχουμε υπερελλειψοειδή. Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 14

15 k πλησιέστεροι γείτονες Example Generate N = 1000 data points lying in the real axis, xi ЄR, i = 1,,...,N, from the following pdf, and plot p(x): p( x) 1 1 x 1 x exp exp where σ 1 =σ = 0.. Use the k nearest neighborhood with k = 1, and plot the obtained estimate.

16 Ν=1000, k= Ν=10000, k= Ν=10000, k=

17 Ταξινομητής KNN Εάν έχουμε c κλάσεις τότε το k δεν πρέπει να είναι πολλαπλάσιο του c. Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 17

18 Παράδειγμα knn ταξινομητή

19 Compute the optimum Classification error with a Bayes Classifier z1=bayes_classifier(m,s,p,x); pr_err_bayes=sum(z1~=y)/length(y) Η πιθανότητα λάθους που παίρνουμε είναι 15,1% ενώ το βέλτιστο σφάλμα για ένα Bayes ταξινομητή είναι 1,44%

20 Μείωση ιαστάσεων Μία μέθοδος για να μειώσουμε την υπολογιστική πολυπλοκότητα είναι να μειώσουμε τον αριθμό N των χαρακτηριστικών των δειγμάτων Χ 1. Μπορούμε να το πετύχουμε παραλείποντας στους υπολογισμούς μερικά χαρακτηριστικά. Είναι καλύτερο να δημιουργήσουμε νέα δείγματα Y=AX με τον γραμμικό συνδυασμό ώστε κάποια χαρακτηριστικά των Υ να μην είναι πλέον σημαντικά για την αναπαράστασή τους. Παράδειγμα: Χ 1 =(1, 5), Χ =(, 8), Χ 3 =(0, ), Χ 4 =(-1, -1), Χ 5 =(0.,.6), Y A T X λ 1 =1.68 λ =0.0

21 X=[1,5;,8;0,;-1,-1;0.,.6]'; [eigenval,eigenvec,explain,y,mean_vec]=pca_fun(x,); i l i figure(1), hold on; axis([ ]); plot(x(1,:),x(,:),'r*'); Y=eigenvec'*X; figure(), hold on; axis([ ]); plot(y(1,:),y(,:),'r*'); Άρα χρειαζόμαστε μόνο ένα χαρακτηριστικό το y 1 =0.316x x 10 5 X Y Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 1

22 ΜΕΙΩΣΗ ΙΑΣΤΑΣΕΩΝ: PCA Principal Component Analysis Έστω x σε D-διαστάσεις. Θέλουμε κάποιο μετασχηματισμό A να μας δώσει ένα y=ax σε N- διαστάσεις, (N<D), ώστε να μπορούμε να αναπαραστήσουμε ικανοποιητικά το y σε λιγότερες διαστάσεις Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών

23 ΜΕΙΩΣΗ ΙΑΣΤΑΣΕΩΝ: Τεχνική Fisher Έστω y σε D-διαστάσεις. Θέλουμε κάποιο μετασχηματισμό w να μας δώσει ένα x=wy σε N-διαστάσεις, ώστε να κάνουμε την κατηγοριοποίηση σε λιγότερες διαστάσεις Παράδειγμα D= και Ν=11 Θέλουμε να διαλέξουμε το μετασχηματισμό w ώστε: 1. Σε κάθε κατηγορία να έχουμε τα γεγονότα κοντά μεταξύ τους, και. οι κατηγορίες να απέχουν το μέγιστο μεταξύ τους. ηλαδή, θα θέλαμε να ισχύουν: Ανάλυση με κριτήριο την 1. οι μέσες τιμές να απέχουν το μέγιστο μεταξύ τους και. οι διασπορές των δύο κατηγοριών να είναι μηδέν. μέγιστη διαχωριστικότητα (Fisher Eye) Ανάλυση σε κύριες συνιστώσες (PCA) Τα παραπάνω μεταφράζονται ως εξής Και ο Fisher πρότεινε την 1 max 1 min 1 ( ) max 1 J w Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 3

24 Σύγκριση PCA και FISHER % Example (modified by Chamzas) % "Introduction to Pattern Recognition: A MATLAB Approach" % S. Theodoridis, A. Pikrakis, K. Koutroumbas, D. Cavouras close('all'); ll') clear; randn('seed',0) S1=[.3.;. 5]; S=[.5 1.; 1. 5]; [l,l]=size(s1); mv=[-8 9; -3 10]'; N=500; X=[mvnrnd(mv(: [mvnrnd(mv(:,1),s1,n); mvnrnd(mv(:,),s,n)] N)]'; y=[ones(1,n), *ones(1,n)]; % Plot the dataset figure(1), plot(x(1,y==1),x(,y==1),'r.',x(1,y==),x(,y==),'bo') figure(1), axis equal % FISHER EYE ANALYSIS % Estimate the mean vectors of each class using the available samples mv_est(:,1)=mean(x(:,y==1)')'; mv_est(:,)=mean(x(:,y==)')'; % Compute the within scatter matrix [Sw,Sb,Sm]=scatter_mat(X,y); w=inv(sw)*(mv_est(:,1)-mv_est(:,)); ( (, ) _ (, )); % Apply PCA on X [eigenval,eigenvec,explained,y,mean_vec]=pca_fun(x,1); w=eigenvec; % Compute the projections on PCA direction t1=w'*x(:,y==1); t=w'*x(:,y==); X_proj1=[t1;t1].*((w/(w'*w))*ones(1,length(t1))); X_proj=[t;t].*((w/(w'*w))*ones(1,length(t))); X_proj=[X_proj1 X_proj]; %Plot the projections on the PCA axis figure(1), hold on plot(x_proj(1,y==1),x_proj(,y==1), r0',x_proj(1,y==),x_proj(,y==), bx') % Compute the projections t1=w'*x(:,y==1); t=w'*x(:,y==); X_proj1=[t1;t1].*((w/(w'*w))*ones(1,length(t1))); X_proj=[t;t].*((w/(w'*w))*ones(1,length(t))); X_proj=[X_proj1 X_proj]; %Plot the projections on the FISHER axis figure(1), hold on plot(x_proj(1,y==1),x_proj(,y==1), ro',x_proj(1,y==),x_proj(,y==), bx') Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 4

25 Ανάλυση με κριτήριο την μέγιστη διαχωριστικότητα (Fisher Eye) Ανάλυση σε κύριες συνιστώσες (PCA) Τμήμα Ηλεκτρολόγων Μηχανικών & Μηχανικών Υπολογιστών 5