Η μέθοδος PCA -Ανάλυση Κύριων Συνιστωσών

Transcript

1 Η μέθοδος PCA -Ανάλυση Κύριων Συνιστωσών Γιώργος Παπαδουράκης Κώστας Μαριάς Technological Educational Institute Of Crete Department Of Applied Informatics and Multimedia Intelligent Systems Laboratory

2 Ανάλυση Κύριων Συνιστωσών Είναι μια μέθοδο στατιστικής που χρησιμοποιεί έναν ορθογώνιο μετασχηματισμό* για να μετατρέψει ένα σύνολο παρατηρήσεων συσχετισμένων πιθανώς μεταβλητών, σε ένα σύνολο τιμών γραμμικά μη συσχετισμένων μεταβλητών που ονομάζονται κύριες συνιστώσες (ΚΣ)! Ο αριθμός των ΚΣ είναι από τον αριθμό των αρχικών μεταβλητών ή τον αριθμό των παρατηρήσεων. * Στη γραμμική άλγεβρα, ένας ορθογώνιος μετασχηματισμός είναι ένας γραμμικός μετασχηματισμός T: V V ο οποίος διατηρεί το εσωτερικό γινόμενο. Δηλαδή, για κάθε ζεύγος u, v των στοιχείων του V, έχουμε u, v = Tu, Tv

3 Ανάλυση Κύριων Συνιστωσών Η πρώτη ΚΣ έχει τη μεγαλύτερη δυνατή διακύμανση (δηλαδή, αντιπροσωπεύει όσο το δυνατόν μεγαλύτερη μεταβλητότητα στα δεδομένα). Κάθε επακόλουθη ΚΣ με τη σειρά της έχει τη μεγαλύτερη δυνατή διακύμανση υπο τον περιορισμό ότι είναι ορθογώνια σε σχέση με τις προηγούμενες ΚΣ. Το τελικό αποτέλεσμα είναι μη συσχετισμένα διανύσματα ΚΣ που αποτελούν ένα ορθογώνιο σύνολο βάσης. * Στη γραμμική άλγεβρα, ένας ορθογώνιος μετασχηματισμός είναι ένας γραμμικός μετασχηματισμός T: V V ο οποίος διατηρεί το εσωτερικό γινόμενο. Δηλαδή, για κάθε ζεύγος u, v των στοιχείων του V, έχουμε u, v = Tu, Tv

4 Ανάλυση Κύριων Συνιστωσών Να θυμηθούμε από την γραμμική άλγεβρα ότι: Αν Α είναι ένας πίνακας nxn, το λ είναι ιδιοτιμή του πίνακα Α αν υπάρχει μη μηδενικό διάνυσμα x, τέτοιο ώστε Αx=λx. Το x ονομάζεται ιδιοδιάνυσμα του Α που αντιστοιχεί στο λ. Αν το λ είναι ιδιοτιμή του Α και x το ιδιοδιάνυσμα που αντιστοιχεί στο λ, τότε αυτό που προκύπτει πολλαπλασιάζοντας το x με οποιοδήποτε μη μηδενικό αριθμό είναι επίσης ιδιοδιάνυσμα του Α.

5 Άσκηση Δείξτε ότι το x = 2 είναι ιδιοδιάνυσμα του πίνακα Α = και αντιστοιχεί στην ιδιοτιμή λ=

6 Πως βρίσκουμε τις ιδιοτιμές/ιδιοδιανύσματα Άς υποθέσουμε ότι θέλουμε να βρούμε τις ιδιοτιμές/ιδιοδιανύσματα του πίνακα Α = ) Βρίσκουμε τον πίνακα Α λι = λ = 7 λ λ Για να βρούμε τις ιδιοτιμές η ορίζουσα του παραπάνω πίνακα πρέπει να είναι ίση με μηδέν: det 7 λ λ = 0 7 λ 1 λ 3 3 = 0

7 Πως βρίσκουμε τις ιδιοτιμές/ιδιοδιανύσματα λ 2 6λ 16 = 0 λ 1, 2 = ( 6) ± 36 4( 16) 2 1 λ1 = 8, λ2 = 2 Έχοντας βρεί τις ιδιοτιμές μπορούμε τώρα να υπολογίσουμε και τα ιδιοδιανύσματα ξεκινώντας από τον πίνακα Α λι και αντικαθιστώντας λ=8

8 Πως βρίσκουμε τις ιδιοτιμές/ιδιοδιανύσματα 7 8 Α λ 1 Ι = Α 8Ι = Στη συνέχεια θέτουμε Α λ 1 Ι x = = x 1 x 2 = 0 x 1 + 3x 2 = 0 x 1 = 3x 2 Οπότε αν θέσουμε x 2 = 1 x 1 = 3 το 1 ο ιδιοδιάνυσμα είναι x = 3 (για έλεγχο μπορούμε πάντα να δούμε αν ισχύει το Α x=λ x) 1

9 Πως βρίσκουμε τις ιδιοτιμές/ιδιοδιανύσματα Με τον ίδιο τρόπο για την άλλη ιδιοτιμή λ2=-2 έχουμε: Α λ 2 Ι = Α + 2Ι = 9 3 Στη συνέχεια θέτουμε Α λ 2 Ι x = x 1 x 2 = 0 3x 1 + x 2 = 0 x 2 = 3x 1 Οπότε αν θέσουμε x 1 = 1 x 2 = 3 το 2 ο ιδιοδιάνυσμα είναι x = 1 3 (για έλεγχο μπορούμε πάντα να δούμε αν ισχύει το Α x=λ x)

10 Το ίδιο παράδειγμα σε matlab Δηλώνουμε πρώτα τον πίνακα A=[7 3;3-1] Στη συνέχεια χρησιμοποιούμε την έτοιμη συνάρτηση [V,D] = eig(a) Η οποία μας δίνει V = και D = Π.χ. Για την ιδιοτιμή -2 x = > Αν πολλαπλασιάσουμε x*(3.1624) παίρνουμε x = Αυτό γιατί όπως είπαμε στην εισαγωγή πολλαπλασιάζοντας το x με οποιοδήποτε μη μηδενικό αριθμό είναι επίσης ιδιοδιάνυσμα του Α!!!

11 Μεθοδολογία Ανάλυσης Κύριων Συνιστωσών 1 1 : Λήψη των Δεδομένων 2 : Αφαίρεση του μέσου όρου από τον πίνακα δεδομένων 3 : Υπολογισμός του πίνακα Συνδιακύμανσης 4 : Υπολογισμός των ιδιοδιανυσμάτων και των ιδιοτιμών ενός πίνακα συνδιακύμανσης 5 : Επιλογή όλων ή μερικών ιδιοδιανυσμάτων για να φτιάξουμε το feature vector (διάνυσμα χαρακτηριστικών) 6 : Μετασχηματισμός των δεδομένων μας 7 (προαιρετικό): Επιστροφή στα αρχικά δεδομένα

12 Μεθοδολογία Ανάλυσης Κύριων Συνιστωσών (Mε matlab) 1 Περνάμε σε ένα παράδειγμα για το οποίο έχουμε 2 μεταβλητές: x=[ ]; y=[ ]; 1)Για να κάνουμε ΑΚΣ πρέπει να αφαιρέσουμε το μέσο όρο από κάθε μεταβλητή: x2=x-mean(x) ; y2=y-mean(y) ; 2)Στη συνέχεια υπολογίζουμε τον πίνακα συνδιακύμανσης C=cov(x2,y2) Και παίρνουμε τον πίνακα C =

13 Ανάλυση Κύριων Συνιστωσών (Mε matlab) 2 3) Το επόμενο βήμα είναι να βρούμε τις ιδιοτιμές και τα ιδιοδυανύσματα του C: [V,D] = eig(c) V = D = Οι ιδιοτιμές είναι και και τα αντίστοιχα ιδιοδιανύσματα είναι στον V Εδώ μπορούμε να τσεκάρουμε ότι τα ιδιοδιανύσματα είναι μοναδιαία δηλαδή έχουν μήκος 1: sqrt(v(1,1)^2+v(2,1)^2) sqrt(v(1,2)^2+v(2,2)^2)

14 Ανάλυση Κύριων Συνιστωσών 3 E=eig(C) [V,D] = eig(c) C = V = D = plot(x2,y2,'ro') hold on plotv(v) 4)Παριστώντας γραφικά τα ιδιοδιανύσματα πάνω στα αρχικά δεδομένα βλέπουμε ότι α) είναι κάθετα μεταξύ τους, β) αυτό που αντιστοιχεί στην μεγαλύτερη ιδιοτιμή (πράσινο) μας δείχνει πως τα δεδομένα σχετίζονται στην ευθεία του ενώ το μπλέ μας δείχνει τη μικρή διακύμανση! Η υψηλότερη ιδιοτιμή/ιδιοδιάνυσμα, περιέχει τις περισσότερες πληροφορίες για τα δεδομένα μας!

15 Ανάλυση Κύριων Συνιστωσών 4 5)Για να προχωρήσουμε στο μετασχηματισμό των δεδομένων πρέπει να φτιάξουμε ένα διάνυσμα χαρακτηριστικών FV είτε με όλα τα ιδιοδιανύσματα (στην πρώτη γραμμή θα μπει το σημαντικότερο, αυτό που αντιστοιχεί στην υψηλότερη ιδιοτιμή) ή με μόνο το σημαντικότερο (αντιστοιχεί στην ψηλότερη πράσινο)! FV=[V(:,2) V(:,1)] FV = E=eig(C) [V,D] = eig(c) V = D = Μπορούμε να ανακατασκευάσουμε τα δεδομένα μας με όλες ή τις σημαντικότερες ΚΣ πετυχαίνοντας π.χ. συμπίεση.

16 Ανάλυση Κύριων Συνιστωσών 5 Data = Για να μετασχηματίσουμε τα δεδομένα χρειαζόμαστε να μπουν τα ιδιοδιανύσματα σε γραμμές με το πιο σημαντικό στην πρώτη γραμμή. FV' Ο αρχικός πίνακας με τα δεδομένα είναι: Data=[x2; y2] E=eig(C) [V,D] = eig(c) V = D = NewData = Τώρα μπορούμε να υπολογίσουμε τα μεσασχηματισμένα δεδομένα μας! NewData=FV'*Data Τα δεδομένα μας τώρα έχουν προβληθεί στις κύριες συνιστώσες! Όπως θα δούμε στη συνέχεια (βήμα 7) μπορούμε να τα προβάλουμε και σε λιγότερες και με αυτόν τον τρόπο να κάνουμε και συμπίεση!

17 Ανάλυση Κύριων Συνιστωσών 5 Data = Ο αρχικός πίνακας με τα δεδομένα είναι: Data=[x2; y2] NewData = Τώρα μπορούμε να υπολογίσουμε τα μεσασχηματισμένα δεδομένα μας! NewData=FV'*Data Για να οπτικοποιήσουμε τα μετασχηματισμένα δεδομένα μας (με όλες τις ΚΣ) γράφουμε στη matlab: x22=newdata(1,:);y22=newdata(2,:); plot(x22,y22,'ro') E=eig(C) [V,D] = eig(c) V = D = Τα δεδομένα μας τώρα είναι στους άξονες των ΚΣ!

18 Ανάλυση Κύριων Συνιστωσών 6 6) Αφού χρησιμοποιήσαμε όλα τα ιδιοδιανύσματα μπορούμε να ανακτήσουμε τα αρχικά δεδομένα αν από τη σχέση: NewData=FV'*Data-> Data=inv(FV )*NewData. Ο αντίστροφος όμως του πίνακα χαρακτηριστικών είναι ο ανάστροφος του πίνακα. Επίσης για να ανακτήσουμε τα αρχικά δεδομένα θα πρέπει να προσθέσουμε και τους μέσους όρους του x,y που έιχαμε αφαιρέσει αρχικά. Οπότε στη matlab: M=[mean(x)*ones(1,10); mean(y)*ones(1,10)]; Datacheck=inv(FV')*NewData+M Με αυτό ξαναεπιστρέφουμε στα αρχικά δεδομένα στους αρχικούς άξονες! Datacheck = Init_Data=[x;y] Init_Data = E=eig(C) [V,D] = eig(c) V = D = However, when we take all the eigenvectors in our feature vector, it turns out that the inverse of our feature vector is actually equal to the transpose of our feature vector. This is only true because the elements of the matrix are all the unit eigenvectors of our data set. inv(fv')=(fv') =FV Χρησιμοποιώντας όλες τις ιδιοτιμές μπορούμε να ανακατασκευάσουμε τα δεδομένα μας 100% Τα δεδομένα μας τώρα είναι στους άξονες των ΚΣ!

19 Ανάλυση Κύριων Συνιστωσών 7 Data = 7)Αν τώρα θέλουμε να μετασχηματίσουμε τα δεδομένα μόνο με την ΚΣ πάλι την βάζουμε μόνη της πρώτη γραμμή του πίνακα χαρακτηριστικών: FV(:,1)' ans = Ο αρχικός πίνακας με τα δεδομένα είναι: Data=[x2; y2] E=eig(C) [V,D] = eig(c) V = D = Βλέπουμε ότι με 1 ιδιοτιμή μόνο χάνουμε τη μια διάσταση από τα δεδομένα μας (την μπλε). Αν τώρα επιχειρήσουμε από τα δεδομένα αυτά να πάμε στα αρχικά με τις ίδιες εντολές όπως και πριν: M=[mean(x)*ones(1,10); mean(y)*ones(1,10)]; Datacheck=inv(FV(:,1)')*NewData+M Datacheck=FV(:,1)*NewData+M NewData = Τώρα μπορούμε να υπολογίσουμε τα μεσασχηματισμένα δεδομένα μας! NewData= FV(:,1)'*Data Στην επόμενη διαφάνεια θα δούμε πως είναι τα δεδομένα που ανακτήσαμε με ΜΙΑ ΜΟΝΟ ΙΔΙΟΤΙΜΗ!!!

20 Init_Data Datacheck Ανάλυση Κύριων Συνιστωσών 8 Init_Data=[x;y] Init_Data = Datacheck = Datacheck=FV(:,1)*NewData+M x22=datacheck(1,:);y22=datacheck(2,:); plot(x22,y22,'ro') E=eig(C) [V,D] = eig(c) V = D = Μ/Σ με 2 ιδιοτιμες Init_Data Μ/Σ με 1 ιδιοτιμή Datacheck Χρησιμοποιώντας λιγότερες ιδιοτιμές μπορούμε να ανακατασκευάσουμε τα αρχικά δεδομένα μας αλλά χάνοντας πληροφορία στον άξονα που παραλείψαμε!

21 Περίληψη κώδικα που φτιάξαμε για το παράδειγμα x=[ ]; y=[ ]; A=[x;y] [m, n]=size (A); % Show the size m=rows, n=columns mn = mean (A,2); %Mesos oros kathe grammhs dhl dianusma m grammwn %In a a matrix mean(a) returns a row of the mean of each column % For matrices mean(a,2) is a column vector containing the mean value of each row B=A-repmat(mn,1,n); C=B*B'/(n-1); [V,D] = eig(c); %και μετά θα συνεχίζαμε όπως στο παράδειγμα πριν

22 Αν είχαμε πιο πολλά από 2 πρότυπα? Πρέπει να δούμε αρχικά πως θα αφαιρέσουμε το μέσο όρο από κάθε στοιχείο της εικόνας π.χ. A=[ ; ; ] A = [m, n]=size (A); % Show the size m= 3γραμμες, n=4 στήλεςcolumns mn = mean (A,2); %Mesos oros kathe grammhs dhl dianusma m grammwn mn = Τώρα πρέπει να φτιάξουμε ένα πίνακα που να επαναλαμ το μέσο όρο κάθε γραμμής: M=repmat(mn,1,n) M = Και στη συνέχεια να τον αφαιρέσουμε από τον Α! B=A-repmat(mn,1,n) B = Μετά θα συνεχίζαμε όπως στο παράδειγμα που αναλύσαμε Η μέθοδος αυτή μπορεί να χρησιμοποιηθεί και σε εικόνες!

23