ΤΕΙ ΘΕΣΣΑΛΙΑΣ. Αναγνώριση προσώπου με επιλογή των κατάλληλων κυρίων συνιστωσών. ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ Τ.Ε ΚΑΒΒΑΔΙΑ ΑΛΕΞΑΝΔΡΟΥ.

Transcript

1 ΤΕΙ ΘΕΣΣΑΛΙΑΣ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ ΠΛΗΡΟΦΟΡΙΚΗΣ Τ.Ε Αναγνώριση προσώπου με επιλογή των κατάλληλων κυρίων συνιστωσών. Πτυχιακή εργασία του ΚΑΒΒΑΔΙΑ ΑΛΕΞΑΝΔΡΟΥ Επιβλέπων καθηγητής:βέντζας Δημήτριος ΛΑΡΙΣΑ ΜΑΙΟΣ 2014

2 Περιεχόμενα 1.Eισαγωγή 1.1 Γενικά Στόχος Δομή Αναγνώριση με Χρήση Ανάλυσης Κυρίων Συνιστωσών Αναγνωρίζοντας εικόνες χρησιμοποιώντας τον ιδιοχώρο Βελτιστοποίηση μεθόδου προβολής σε ιδιοχώρο Επιλογή Ιδιοδιανυσμάτων Αναγνώριση με Χρήση Διαχωριστικής Ανάλυσης Κυρίων Συνιστωσών 3.1 Παραλλαγές της Ανάλυσης Κυρίων Συνιστωσών Διαχωριστική Ανάλυση Κυρίων Συνιστωσών Μηχανές Διανυσμάτων Υποστήριξης (SVM) Γραμμικοί ταξινομητές Δυαδικοί SVM ταξινομητές One Versu All SVM ταξινομητές Διαχωριστική Ανάλυση Κυρίων Συνιστωσών για ταξινόμηση σε πολλαπλές κατηγορίες Διαχωριστική Ανάλυση Κυρίων Συνιστωσών για δυαδική ταξινόμηση Επέκταση Διαχωριστικής Ανάλυση Κυρίων Συνιστωσών για ταξινόμηση σε πολλαπλές κατηγορίες

3 4. Μέτρα Ομοιότητας και Απόστασης Τα μέτρα ομοιότητας είναι ίδια μέσα και έξω από τον ιδιοχώρο; Βάσεις δεδομένων 39 6.Πειραματική Αξιολόγηση 6.1 Προ-επεξεργασία δεδομένων Περιγραφή Πρώτου Πειράματος Παράδειγμα ταξινόμησης για μία εικόνα ελέγχου Πειραματικά Αποτελέσματα Περιγραφή Δεύτερου Πειράματος Παράδειγμα ταξινόμησης για μία εικόνα ελέγχου Πειραματικά Αποτελέσματα.64 7.Συμπεράσματα 66 Παράρτημα Παράδειγμα 83 Βιβλιογραφία 88 2

4 Κεφάλαιο 1 Εισαγωγή 1.1 Γενικά Ένα σύστημα αναγνώρισης προσώπου (Facial Recognition System) είναι μια εφαρμογή πληροφορικής, η οποία αποτελείται από το συνδυασμό περιφερειακών μέσων και κατάλληλου λογισμικού αναγνώρισης. Το εν λόγω σύστημα μπορεί αυτόματα να εντοπίσει ή να ταυτοποιήσει ένα πρόσωπο από μία ψηφιακή εικόνα (βλέπε Εικ. 1.1), είτε από ένα βίντεο. Η διαδικασία ταυτοποίησης γίνεται με τη σύγκριση των χαρακτηριστικών του προσώπου που εξάγονται από την εικόνα, με τα χαρακτηριστικά των προσώπων που είναι αποθηκευμένα σε μια βάση δεδομένων. Η σύγκριση μπορεί να γίνει με διάφορες μεθόδους όπως με Ανάλυση Κυρίων συνιστωσών (PCA) ή διαχωριστική ανάλυση του Fisher (LDA). Αυτά τα συστήματα χρησιμοποιούνται συνήθως ως συστήματα ασφαλείας, για τον έλεγχο πρόσβασης σε περιοχές υψηλού κινδύνου, σε δημόσια και ιδιωτικά κτίρια, στρατιωτικές εγκαταστάσεις και γενικότερα όπου χρειάζεται ταυτοποίηση προσώπου. 3

5 Δύο σημαντικά πλεονεκτήματα της αναγνώρισης προσώπου, σχετικά με τις άλλες βιομετρικές μεθόδους αναγνώρισης,είναι ότι δεν χρειάζεται την συγκατάθεση του ατόμου που ταυτοποιείται και επίσης μπορεί να εντοπίσει ένα άτομο μέσα σε πλήθος. Τεχνικές αναγνώρισης έχουν αναπτυχθεί και για τις ίδιες τις εκφράσεις του προσώπου. Λέγοντας έκφραση του προσώπου εννοούμε τις αλλαγές που πραγματοποιεί το πρόσωπο ως προς το σχήμα του και τη διάταξη των μυών του. Οι αλλαγές αυτές μπορεί να οφείλονται στη συναισθηματική κατάσταση του ατόμου αλλά και στην προσπάθεια επικοινωνίας του με άλλα άτομα. Το πρόβλημα της αναγνώρισης προσώπου ή εκφράσεων αντιμετωπίζεται συνήθως ως πρόβλημα ταξινόμησης, όπου κάθε πρόσωπο (ή έκφραση προσώπου) αναπαριστά μια κατηγορία. Τα νέα πρόσωπα αντιστοιχούνται στις εικόνες προσώπου της βάσης δεδομένων, προκειμένου να ταξινομηθούν σε κάποια από τις υπάρχουσες κατηγορίες. Όσο αυξάνεται η διαστασιμότητα των δεδομένων, τόσο δυσκολότερα γίνεται η ταξινόμηση στις σωστές κατηγορίες. Υπάρχουν διάφορες τεχνικές που εφαρμόζονται με επιτυχία στην αναγνώριση προσώπου ή εκφράσεων, όπως η Principal Component Analysis με χρήση eigenfaces, Linear Discriminate Analysis, Elastic Bunch Graph Matching με χρήση αλγορίθμου Fisherface, the Hidden Markov model, Multilinear Subspace Learning και η dynamic link matching. Εικόνα 1 α) Αυτόματος εντοπισμός προσώπου και ταυτοποίηση, β) αναγνώριση προσώπου και σύνδεση με βάση δεδομένων Το 1987,οι Sirovich και Kirby [1] χρησιμοποίησαν την PCA προκειμένου να εξασφαλίσουν μια μειωμένη αναπαράσταση των εικόνων προσώπου. Το 1991, οι 4

6 Turk και Pentland χρησιμοποίησαν PCA προβολές ως χαρακτηριστικά διανύσματα για να λύσουν το πρόβλημα της αναγνώρισης προσώπου χρησιμοποιώντας την ευκλείδεια απόσταση. Αυτό το σύστημα, το οποίο αργότερα ονομάστηκε Eigenfaces, ήταν η πρώτη προσέγγιση αναγνώρισης προσώπου βασισμένη σε υποχώρο, και από τότε, πολλά συστήματα βασισμένα σε υποχώρο προσώπων έχουν προταθεί χρησιμοποιώντας διαφορετικές μεθόδους προβολής και μέτρα ομοιότητας. 1.2 Στόχος Ύστερα από την πρωτοποριακή εργασία των Turk and Pentland (1991) [2], η χρήση Ανάλυσης Κυρίων Συνιστωσών (PCA) στην αναγνώριση προσώπων ή εκφράσεων αποτελεί μια ευρύτατα διαδεδομένη πρακτική. Σύμφωνα με αυτήν την προσέγγιση η αναγνώριση πραγματοποιείται σε τρία βασικά βήματα. Πρώτα κατασκευάζεται ο υποχώρος προσώπων υπολογίζοντας τα ιδιοδιανύσματα της μήτρας συνδιασποράς των παραδειγμάτων εκπαίδευσης. Στη συνέχεια προβάλλονται τα παραδείγματα εκπαίδευσης στον υποχώρο αυτόν. Τέλος, οι εικόνες των παραδειγμάτων ελέγχου ταυτοποιούνται συγκρίνοντας τις προβολές τους με αυτές των εικόνων εκπαίδευσης. Δύο βασικοί παράγοντες επηρεάζουν το αποτέλεσμα της αναγνώρισης, η επιλογή των ιδιοδιανυσμάτων του υποχώρου προσώπων και η συνάρτηση απόστασης που χρησιμοποιείται για τη σύγκριση των προβολών. Στην παρούσα διπλωματική εργασία μελετώνται δύο διαφορετικά σχήματα επιλογής των ιδιοδιανυσμάτων. Το πρώτο βασίζεται στο μέτρο των ιδιοτιμών της μήτρας συνδιασποράς των παραδειγμάτων εκπαίδευσης, ενώ το δεύτερο, το οποίο έχει προταθεί στην εργασία Thomaz and Giraldi (2010) [3], βασίζεται στην ικανότητα διάκρισης κάθε ιδιοδιανύσματος όπως αυτή προκύπτει από τα βαρή Μηχανών Διανυσμάτων Στήριξης (SVM). Τέλος, η απόδοση κάθε σχήματος συγκρίνεται για διαφορετικές επιλογές της συνάρτησης απόστασης, όπως οι L1 και L2 νόρμες και η απόσταση Mahalanobis. 1.3 Δομή Στο κεφάλαιο 2 παρουσιάζεται εν συντομία η βασική μέθοδος αναγνώρισης με χρήση Ανάλυσης Κύριων Συνιστωσών (PCA). Στη συνέχεια, στο κεφάλαιο 3 περιγράφεται η παραλλαγή που προτείνεται στην εργασία Thomaz and Giraldi (2010) και η οποία ονομάζεται Διαχωριστική Ανάλυση Κύριων Συνιστωσών (Discriminant PCA). Καθώς 5

7 η παραλλαγή αυτή χρησιμοποιεί τα βαρή Μηχανών Διανυσμάτων Στήριξης (SVM), το κεφάλαιο 3 περιλαμβάνει και μια σύντομη περιγραφή του SVM ταξινομητή. Στο κεφάλαιο 4 αναλύονται τα μέτρα ομοιότητας και οι συναρτήσεις απόφασης που χρησιμοποιούνται για την αναγνώριση, ενώ στο κεφάλαιο 5 παρουσιάζονται μερικές από τις δημόσιες βάσεις δεδομένων από εικόνες προσώπου. Η πειραματική αξιολόγηση των μεθόδων παρουσιάζεται στο κεφάλαιο 6, ενώ η εργασία ολοκληρώνεται με τα τελικά συμπεράσματα στο κεφάλαιο 7. Αναφορές [1] Sirovich L. and Kirby M. (1987), A low-dimensional procedure for the characterization of human faces, The Journal of the Optical Society of America, 4: [2] Turk M. A. and Pentland P., (1991) Face Recognition Using Eigenfaces, Proc. of IEEE Conference on Computer Vision and Pattern Recognition, [3] C. E. Thomaz and G. A. Giraldi. A new ranking method for Principal Components Analysis and its application to face image analysis, Image and Vision Computing, vol. 28, no. 6, pp , June

8 Κεφάλαιο 2 Αναγνώριση με Χρήση Ανάλυσης Κυρίων Συνιστωσών Το 1987 οι Sirovich και Kirby χρησιμοποίησαν Ανάλυση Κυρίων Συνιστωσών (PCA) προκειμένου να εξασφαλίσουν μια συμπιεσμένη αναπαράσταση ψηφιακών εικόνων προσώπου [1]. Το 1991 οι Turk και Pentland χρησιμοποίησαν προβολές PCA ως χαρακτηριστικά διανύσματα για να λύσουν το πρόβλημα της αναγνώρισης προσώπου χρησιμοποιώντας ως μέτρο ομοιότητας την ευκλείδεια απόσταση[2]. Αυτό το σύστημα, το οποίο αργότερα ονομάστηκε Ιδιοπρόσωπα (Eigenfaces), ήταν η πρώτη προσέγγιση βασισμένη σε υποχώρο αναγνώρισης προσώπου. Από τότε έχουν προταθεί πολλά αντίστοιχα συστήματα χρησιμοποιώντας διαφορετικές μεθόδους προβολής και συναρτήσεις ομοιότητας. Το εν λόγο σύστημα αναγνώρισης εικόνας εξετάζει τις εικόνες μέσα στον υποχώρο, ο οποίος δημιουργείται από τα ιδιοδιανύσματα της μήτρας συνδιασποράς των δεδομένων εκπαίδευσης. Η προβολή εικόνων στον υποχώρο είναι μια συνήθης διαδικασία για πολλούς αλγόριθμους αναγνώρισης, οι οποίοι βασίζονται στην εμφάνιση των αντικειμένων. Αν και ορισμένες από τις λεπτομέρειες μπορεί να διαφέρουν, υπάρχει ένας βασικός αλγόριθμος για τον εντοπισμό των εικόνων από την προβολή τους στον υποχώρο. 7

9 Πρώτα κάποιος επιλέγει έναν υποχώρο στον οποίο θα προβάλει τις εικόνες. Μόλις επιλεγεί ο υποχώρος, όλες οι εικόνες εκπαίδευσης προβάλλονται σε αυτόν. Στη συνέχεια, κάθε εικόνα ελέγχου προβάλλεται στον ίδιο υποχώρο. Κάθε εικόνα ελέγχου συγκρίνεται με όλες τις εικόνες εκπαίδευσης χρησιμοποιώντας κάποιο μέτρο ομοιότητας ή απόστασης. Η εικόνα εκπαίδευσης που βρέθηκε να είναι παρόμοια ή πιο κοντά στην εικόνα ελέγχου χρησιμοποιείται για την αναγνώριση της εικόνας ελέγχου. Μια εικόνα μπορεί να θεωρηθεί ως ένα διάνυσμα εικονοστοιχείων (pixels), όπου η τιμή κάθε καταχώρησης στο διάνυσμα είναι η τιμή κλίμακας του γκρι, του αντίστοιχου pixel. Για παράδειγμα, μία εικόνα διάστασης 8x8 pixels μπορεί να αναδιαμορφωθεί και να αντιμετωπιστεί ως ένα διάνυσμα μήκους 64ρων στοιχείων. Η εικόνα υπάρχει σε ένα χώρο N-διαστάσεων, όπου N είναι ο αριθμός των pixels (και το μήκος του διανύσματος). Αυτή η διανυσματική αναπαράσταση της εικόνας θεωρείται η αρχική διάσταση ης εικόνας. Η προβολή εικόνων σε υποχώρο έχει μελετηθεί για πολλά χρόνια και η έρευνα σε αυτούς τους υποχώρους έφερε την επανάσταση στους αλγορίθμους αναγνώρισης εικόνας, ιδιαίτερα στην αναγνώριση προσώπου. Κατά τη μελέτη αυτών των υποχώρων πρόεκυψε ένα ενδιαφέρον ερώτημα: υπό ποιές συνθήκες μπορούμε, προβάλλοντας μια εικόνα στον υποχώρο, να έχουμε βελτίωση των επιδόσεων; Η απάντηση στο ερώτημα αυτό δεν είναι εύκολη. Ο Ιδιοχώρος (Eigenspace) υπολογίζεται, προσδιορίζοντας τα ιδιοδιανύσματα της μήτρας συνδιασποράς ενός σύνολου εικόνων εκπαίδευσης. Τα ιδιοδιανύσματα που αντιστοιχούν σε μη μηδενικές ιδιοτιμές της μήτρας συνδιασποράς σχηματίζουν μία ορθοκανονική βάση που περιστρέφεται και / ή αντανακλά τις εικόνες στον Ν- διάστατο χώρο. Συγκεκριμένα, κάθε εικόνα αποθηκεύεται σε ένα διάνυσμα x μεγέθους N. T i i i x x1 x N (1) Οι εικόνες κανονικοποιούνται αφαιρώντας τη μέση τιμή κάθε στοιχείου από όλα τα διανύσματα εκπαίδευσης. 1 x x m m x (2) P i i i, όπου P i 1 Αυτά τα διανύσματα συνδυάζονται, δίπλα-δίπλα, για να δημιουργηθεί μια μήτρα δεδομένων μεγέθους NˣP (όπου P είναι ο αριθμός των εικόνων) 1 2 P X x x x (3) Η μήτρα δεδομένων X πολλαπλασιάζεται με την ανάστροφη η μήτρα συνδιασποράς. T X για να υπολογιστεί 8

10 Ω XX (4) Αυτή η μήτρα συνδιασποράς έχει μέχρι και P ιδιοδιανύσματα συνδεδεμένα με μημηδενικές ιδιοτιμές, υποθέτοντας P<Ν. Τα ιδιοδιανύσματα είναι ταξινομημένα, από το μεγαλύτερο προς το μικρότερο, σύμφωνα με τις αντίστοιχές τους ιδιοτιμές. Το ιδιοδιάνυσμα που αντιστοιχεί στην μεγαλύτερη ιδιοτιμή, είναι το ιδιοδιάνυσμα που βρίσκει τη μεγαλύτερη διακύμανση στις εικόνες. Το ιδιοδιάνυσμα που αντιστοιχεί στη δεύτερη μεγαλύτερη ιδιοτιμή, είναι το ιδιοδιάνυσμα που βρίσκει την δεύτερη μεγαλύτερη διακύμανση στις εικόνες. Η τάση αυτή συνεχίζεται έως ότου η μικρότερη ιδιοτιμή να αντιστοιχεί στο ιδιοδιάνυσμα που βρίσκει την μικρότερη διακύμανση στις εικόνες. 2.1 Αναγνωρίζοντας εικόνες χρησιμοποιώντας τον ιδιοχώρο Υπάρχουν τρία βασικά βήματα για την αναγνώριση εικόνων χρησιμοποιώντας τον ιδιοχώρο. Πρώτα, πρέπει να δημιουργηθεί ο ιδιοχώρος χρησιμοποιώντας εικόνες εκπαίδευσης. Στη συνέχεια, οι εικόνες εκπαίδευσης προβάλλονται στον ιδιοχώρο και τέλος, οι εικόνες ελέγχου ταυτοποιούνται με βάση την προβολή τους στον ιδιοχώρο και τη σύγκρισή τους με τις προβαλόμενες εικόνες εκπαίδευσης. Τα βήματα αυτά περιγράφονται πιο αναλυτικά στις επόμενες παραγράφους. Βήμα 1: Δημιουργία ιδιοχώρου Τα βήματα που ακολουθούν δημιουργούν έναν ιδιοχώρο. α. Κανονικοποίηση δεδομένων: Κάθε μία από τις εικόνες εκπαίδευσης θα πρέπει να κανονικοποιηθεί αφαιρώντας τη μέση τιμή κάθε εικονοστοιχείου, όπως ορίζεται στην εξίσωση (2). Η μέση εικόνα m είναι ένα διάνυσμα στήλη, τέτοιο ώστε κάθε είσοδος να είναι ο αντίστοιχος μέσος όρος όλων των pixels των εικόνων εκπαίδευσης. β. Δημιουργία μήτρας δεδομένων: Εφόσον οι εικόνες είναι κανονικοποιημένες, συνδυάζονται σε μια μήτρα δεδομένων μεγέθους NˣP, όπου P είναι ο αριθμός των εικόνων και κάθε στήλη είναι μια ενιαία εικόνα, όπως φαίνεται στην εξίσωση (3). γ. Δημιουργία μήτρας συνδιασποράς : Η μήτρα δεδομένων πολλαπλασιάζεται με την ανάστροφή της, ώστε να δημιουργηθεί ο πίνακας συνδιασποράς, όπως φαίνεται στην εξίσωση (4). δ. Υπολογισμός ιδιοτιμών και ιδιοδιανυσμάτων: Οι ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα υπολογίζονται για τη μήτρα συνδιασποράς. ΩV ΛV, (5) 9

11 όπου V είναι η μήτρα των ιδιοδιανύσματων που συνδέονται με τις ιδιοτιμές που περιέχονται στο διαγώνιο πίνακα. 5. Ταξινόμηση ιδιοδιανυσμάτων: Γίνεται φθίνουσα ταξινόμηση των ιδιοδιανυσμάτων v Vσύμφωνα με τις αντίστοιχες ιδιοτιμές τους i i Λ. Κρατάμε μόνο τα ιδιοδιανύσματα που συνδέονται με μη μηδενικές ιδιοτιμές. Αυτή η μήτρα των ιδιοδιανυσμάτων είναι ο ιδιοχώρος V, όπου κάθε στήλη των V είναι ένα ιδιοδιάνυσμα. V v1 v2 v P (6) Βήμα 2: Προβολή εικόνων εκπαίδευσης Κάθε μια από τις κανονικοποιημένες εικόνες προβάλλεται στον ιδιοχώρο. Για να προβάλουμε μια εικόνα μέσα στον ιδιοχώρο, υπολογίζουμε το εσωτερικό γινόμενο του διανύσματος της εικόνας με κάθε ένα από τα διατεταγμένα ιδιοδιανύσματα. i T i x V x (7) Επομένως, το εσωτερικό γινόμενο του διανύσματος της εικόνας με το πρώτο ιδιοδιάνυσμα θα είναι η πρώτη τιμή του νέου διανύσματος. Το νέο διάνυσμα περιέχει τόσες τιμές όσες και τα ιδιοδιανύσματα. i x θα Βήμα 3: Αναγνώριση εικόνων ελέγχου Προκειμένου να γίνει η αναγνώριση, η εικόνα ελέγχου i y κανονικοποιείται αφαιρώντας τη μέση εικόνα m και στη συνέχεια προβάλλεται στον ιδιοχώρο που ορίζεται από τη μήτρα ιδιοδιανυσμάτων V. 1 y y m m x (8) P i i i, όπου = P i 1 και i T i y V y (9) Η εικόνα δοκιμής συγκρίνεται με κάθε μια από τις εκπαιδευτικές εικόνες και όποια από τις εκπαιδευτικές εικόνες ταιριάζει περισσότερο στην εικόνα δοκιμής, χρησιμοποιείται στην αναγνώριση της εκπαιδευτικής εικόνας. Οι εικόνες μπορούν να συγκριθούν χρησιμοποιώντας οποιοδήποτε μέτρο ομοιότητας,όμως το πιο κοινό είναι το L2 norm. 10

12 Ακολουθεί ένα παράδειγμα αναγνώρισης εικόνων με χρήση PCA. Υποθέτουμε ότι οι πρώτες τέσσερις εικόνες του σχήματος 1 είναι οι εικόνες εκπαίδευσης και η πέμπτη εικόνα είναι η εικόνα ελέγχου. Σχήμα 1. Τέσσερις εικόνες εκπαίδευσης και μια εικόνα δοκιμής. Τα διανύσματα των τεσσάρων εικόνων εκπαίδευσης και η μέση εικόνα είναι: x 33 x 18 x 59 x 0 m Οι κανονικοποιημένες εικόνες μετά την αφαίρεση της μέσης τιμής είναι: x 5.5 x 9.5 x 31.5 x

13 Συνδυάζουμε όλες τις κανονικοποιημένες εικόνες στη μήτρα δεδομένων: X Υπολογισμός της μήτρας συνδιασποράς: Ω XX Tα μη μηδενικά ιδιοδιανύσματα της μήτρας συνδιασποράς και οι αντίστοιχες ιδιοτιμές είναι οι εξής: 12

14 v v v Ο ιδιοχώρος ορίζεται από την μήτρα προβολής: V Οι τέσσερις κανονικοποιημένες εικόνες εκπαίδευσης που προβάλλονται στον ιδιοχώρο είναι: T 1 2 T 2 x V x x V x T 3 4 T 4 x V x x V x

15 Η εικόνα ελέγχου που αντιμετωπίζεται ως διάνυσμα πριν και μετά την κανονικοποίηση είναι: y y Η προβαλλόμενη εικόνα ελέγχου είναι: y = V y 1 T Οι αποστάσεις με βάση την L 2 νόρμα των εικόνων x 1, x 2, x3 και x 4 από την εικόνα ελέγχου είναι 296, 18, 508 και 449, αντίστοιχα. Συγκρίνοντας αυτές τις αποστάσεις, η δεύτερη εικόνα εκπαίδευσης x2 βρέθηκε να είναι πιο κοντά στην εικόνα ελέγχου y 1. Για αυτό τον λόγο η y1 αναγνωρίστηκε ότι ανήκει στην ίδια τάξη εικόνων με την δεύτερη εικόνα εκπαίδευσης x 2. Βλέποντας τις αρχικές εικόνες, η εικόνα y1 μοιάζει αρκετά με την x Βελτιστοποίηση μεθόδου προβολής σε ιδιοχώρο Η μέθοδος που παρουσιάστηκε παραπάνω μπορεί να οδηγήσει σε υπερβολικά μεγάλες μήτρες συνδιασποράς. Για παράδειγμα, εικόνες μεγέθους 64x64 συνδυάζονται για να δημιουργήσουν έναν πινάκα δεδομένων μεγέθους 4096xΡ και μια μήτρα συνδιασποράς μεγέθους 4096x4096. Αυτό είναι πρόβλημα, διότι υπολογίζοντας την μήτρα συνδιασποράς και τα ιδιοδιανύσματα/ιδιοτιμές της συνδιασποράς, είναι υπολογιστικά απαιτητικό. Είναι γνωστό ότι για μια μήτρα ΝxΜ ο μέγιστος αριθμός μη μηδενικών ιδιοδιανυσματων που μπορεί να έχει είναι min(n- 1,M-1) [3,4,6]. Εφόσον ο αριθμός των εικόνων (P) είναι συνήθως μικρότερος από τον 14

16 αριθμό των pixels (N), ο μέγιστος αριθμός ιδιοδιανυσμάτων/ιδιοτιμών που μπορούν να βρεθούν είναι P-1. Ένα κοινό θεώρημα της γραμμικής άλγεβρας δηλώνει ότι οι ιδιοτιμές των είναι ίδιες. Επιπλέον, τα ιδιοδιανύσματα του ιδιοδιανύσματα του [3,4,6]. T T και είναι ίδια με τα πολλαπλασιασμένα με την μήτρα και κανονικοποιημένα Χρησιμοποιώντας το παραπάνω θεώρημα, μπορεί να χρησιμοποιηθεί η μέθοδος του στιγμιοτύπου για την δημιουργία του ιδιοχώρου από μια PxP μήτρα συνδιασποράς, αντί μιας NxN μήτρας συνδιασποράς. Για να το πετύχουμε αυτό πρέπει να ακολουθήσουμε τα παρακάτω βήματα: 1.Κανονικοποίηση δεδομένων: (ίδια με την αρχική μέθοδο) 2.Δημιουργία μήτρας δεδομένων: (ίδια με την αρχική μέθοδο) 3.Δημιουργία μήτρας συνδιασποράς: η ανάστροφη μήτρα συνδιασποράς πολλαπλασιάζεται με την μήτρα δεδομένων, για να δημιουργηθεί η μήτρα συνδιακυμανσης. (10) 4. Υπολογισμός των ιδιοτιμών και των ιδιοδιανυσμάτων της Ω: οι ιδιοτιμές και τα αντίστοιχα ιδιοδιανύσματα υπολογίζονται για. V V (11) 5. Υπολογισμός των ιδιοδιανυσμάτων της δεδομένων με τα ιδιοδιανύσματα. T : πολλαπλασιάζουμε τη μήτρα Διαίρεση των ιδιοδιανυσμάτων με το μέτρο τους ˆ V V (12) v i vˆ i vˆ (13) i 6. Ταξινόμηση ιδιοδιανυσμάτων: (ίδια με την αρχική μέθοδο) Το παρακάτω παράδειγμα είναι το ίδιο που χρησιμοποιήθηκε παραπάνω, αλλά ο ιδιοχώρος υπολογίζεται χρησιμοποιώντας τη μέθοδο του στιγμιότυπου. Θα χρησιμοποιηθούν οι ίδιες εικόνες εκπαίδευσης και δοκιμής, όπως φαίνεται στο σχήμα 1. Η αναθεωρημένη μήτρα συνδιακύμανσης είναι: 15

17 ' Τα ταξινομημένα ιδιοδιανύσματα και οι αντίστοιχες μη μηδενικές ιδιοτιμές της αναθεωρημένης μήτρας συνδιακύμανσης είναι: ' ' ' v1 v2 v λ λ λ Η μήτρα δεδομένων, πολλαπλασιασμένη με τα ιδιοδιανυσματα είναι: vˆ ˆ ˆ v v Παρακάτω είναι τα κανονικοποιημένα ιδιοδιανυσμάτα. Σημειώστε ότι αυτά είναι τα ίδια ιδιοδιανύσματα που υπολογίστηκαν με βάση την αρχική μέθοδο. 16

18 v v v Επιλογή Ιδιοδιανυσμάτων Μέχρι αυτό το σημείο, όταν δημιουργείται ένας υπόχωρος χρησιμοποιώντας την προβολή σε κάποιον ιδιοχώρο, χρησιμοποιούμε όλα τα ιδιοδιανύσματα που σχετίζονται με τις μη-μηδενικές ιδιοτιμές. Ο χρόνος υπολογισμού της προβολής αυτής είναι ευθέως ανάλογος με τον αριθμό των ιδιοδιανυσμάτων που χρησιμοποιήθηκαν για την δημιουργία του ιδιοχώρου. Συνεπώς, με την αφαίρεση κάποιας μερίδας από τα ιδιοδιανυσματα ο χρόνος υπολογισμού μειώνεται. Επιπλέον, με την αφαίρεση πρόσθετων ιδιοδιανύσματων που δεν συμβάλλουν στην ταξινόμηση της εικόνας, η απόδοση μπορεί να βελτιωθεί. Εξετάστηκαν πολλές παραλλαγές στην επιλογή ιδιοδιάνυσματων. Θα αναφέρουμε έξι από αυτές. 1.Βασική προβολή eigenspace: Όλα τα ιδιοδιανύσματα που αντιστοιχούν σε μη μηδενικές ιδιοτιμές χρησιμοποιούνται για τη δημιουργία του υποχώρου. 2.Αφαιρέιτε το τελευταίο 40% των ιδιοδιανυσμάτων: Δεδομένου ότι τα ιδιοδιανύσματα είναι ταξινομημένα με βάση τις αντίστοιχες φθίνουσες ιδιοτιμές, αυτή η μέθοδος αφαιρεί τα ιδιοδιανύσματα που βρίσκουν το ελάχιστο ποσό της διακύμανσης μεταξύ των εικόνων. Συγκεκριμένα, αφαιρείται το 40% των ιδιοδιανύσματων που βρίσκουν το ελάχιστο ποσό της διακύμανσης[5]. 3.Ενεργειακή διάσταση: Αντί να χρησιμοποιείται ένα πρότυπο αποκοπής για όλους τους υποχώρους,αυτή η μέθοδος χρησιμοποιεί τον ελάχιστο αριθμό ιδιοδιανυσμάτων για να εγγυηθεί ότι η ενέργεια ( e ) είναι μεγαλύτερη από ό, τι ένα όριο. Ένα τυπικό όριο είναι 0,9. Η ενέργεια του i th του ιδιοδιάνυσματος είναι ο λόγος του αθροίσματος των πρώτον i ιδιοτιμων πάνω από το άθροισμα όλων των ιδιοτιμών [4] e i i j1 k j1 j j (14) 17

19 4.Διάσταση έκτασης: Μια άλλη μέθοδος για την επιλογή των ιδιοδιανυσμάτων με βάση τις πληροφορίες που παρέχονται από τις ιδιοτιμές, είναι να υπολογιστεί η έκταση (s) ενός ιδιοδιανύσματος. Η έκταση του i-οστού ιδιοδιάνυσματος είναι ο λόγος της i-οστής ιδιοτιμής ( ) προς τη μέγιστη ιδιοτιμή ( 1 ) [4]. Ένα κοινό όριο για την τεντωμένη διάσταση είναι s i i (15) 1 5.Like-Image Difference: Στην ιδανική περίπτωση, δύο εικόνες από το ίδιο πρόσωπο θα πρέπει να προβάλλονται στο ίδιο σημείο στον eigenspace. Οποιαδήποτε διαφορά μεταξύ των σημείων, είναι ανεπιθύμητη μεταβολή. Από την άλλη πλευρά, δύο εικόνες διαφορετικών θεμάτων θα πρέπει να προβάλλονται στα σημεία που έχουν, όσο το δυνατόν τη μεγαλύτερη απόσταση. Για να συλλάβουμε αυτή τη διαίσθηση και να τη χρησιμοποιήσουμε για να ταξινομήσουμε ιδιοδιανύσματα, ορίζουμε σαν μια εικόνα-διαφορά( ) για καθένα από τα k ιδιοδιανύσματα [7]. Για να οριστεί η ( ),θα εργαστούμε με ζευγάρια εικόνων από τους ίδιους ανθρώπους προβάλλοντας τα στο eigenspace. Έστω X να είναι οι εκπαιδευτικές εικόνες και Y οι εικόνες των αντίστοιχων ανθρώπων στο δοκιμαστικό σύνολο διατεταγμένο τέτοιο ώστε xj X και yj Y να είναι εικόνες του ίδιου προσώπου. Ορισμός : k i i where δ= xj yj (16) i j1 Όταν μια διαφορά μεταξύ των εικόνων που θα έπρεπε να ταιριάζoυν είναι μεγάλη σε σχέση με τη διακύμανση για τη διάσταση i τότε το i είναι μεγάλο. Αντίθετα, όταν η διαφορά μεταξύ των εικόνων που θα έπρεπε να ταιριάζουν είναι μικρή σε σχέση με τη διακύμανση, το i είναι μικρή. Δεδομένου ότι ο στόχος είναι να επιλέξουμε ιδιοδιανύσματα που φέρνουν παρόμοιες εικόνες κοντά η μία στην άλλη, κατατάσσουμε τα ιδιοδιανύσματα κατά αύξουσα σειρά i και αφαιρούμαι κάποια από τα τελευταία ιδιοδιανύσματα. Το γράφημα της Εικόνας 2.1 δείχνει τις τιμές για την ενέργεια και το τέντωμα για το σύνολο των δεδομένων Féret. 18

20 Εικόνα 2.1 Παράδειγμα έκτασης και ενέργειας για ένα συγκεκριμένο σύνολο δεδομένων. 6.Αφαίρεση του πρώτου ιδιοδιανύσματος: Οι τρεις προηγούμενες μεθόδοι προϋποθέτουν ότι η πληροφορία στα τελευταία ιδιοδιανύσματα λειτουργεί κατά της ταξινόμησης. Η μέθοδος αυτή προϋποθέτει ότι η πληροφορία στα πρώτα ιδιοδιανύσματα λειτουργεί κατά της ταξινόμησης. Για παράδειγμα, ο φωτισμός προκαλεί σημαντικές διαφορές σε διαφορετικά όμοιες εικόνες. Ως εκ τούτου, αυτή η μέθοδος αφαιρεί το πρώτο ιδιοδιάνυσμα [5]. 19

21 Αναφορές [1] Sirovich L. and Kirby M. (1987), A low-dimensional procedure for the characterization of human faces, The Journal of the Optical Society of America, 4: [2] Turk M. A. and Pentland P., (1991) Face Recognition Using Eigenfaces, Proc. of IEEE Conference on Computer Vision and Pattern Recognition, [3] Horn R. and Johnson C., Matrix Analysis, New York: Cambridge University Press,1985. [4] Kirby M. (2000), Dimensionally of Reduction and Pattern Analysis: an empirical approach. Under contract with Wiley. [5] Moon H. and Phillips J., Analysis of PCA-based Faced Recognition Algorithms. In Boyer K. and Phillips J., editors, Empirical Evaluation Techniques In Computer Vision, IEEE Computer Society Press, Los Alamitos, CA, [6] Trucco E. and Verri A., Introductory Techniques for 3-D Computer Vision, New Jersey: Prentice-Hall, Inc., [7] Yambor W., Draper B., and Beveridge J.R., (2000) Analysis of PCA-based Face Recognition Algorithms: Eigenvector Selection and Distance Measures. Second Workshop on Empirical Evaluation Methods in Computer Vis. 20

22 Κεφάλαιο 3 Αναγνώριση με Χρήση Διαχωριστικής Ανάλυσης Κυρίων Συνιστωσών 3.1 Παραλλαγές της Ανάλυσης Κυρίων Συνιστωσών Η Ανάλυση Κύριων Συνιστωσών (PCA), είναι μια από τις πιο επιτυχείς προσεγγίσεις στο πρόβλημα της αναπαράστασης των δεδομένων χρησιμοποιώντας μικρό αριθμό διαστάσεων και σε αυτό της ανάλυσης των εικόνων προσώπου. Από τη πρωτοποριακή εργασία του Sirovich και Kirby [1], η οποία δημοσιεύθηκε πριν από 20 χρόνια, πολλές επόμενες εργασίες έχουν προβάλει τις εικόνες προσώπου σε ένα χαρακτηριστικό χώρο κυρίων συνιστωσών. Όχι μόνο, για να μειώσουν την διάσταση των αρχικών δειγμάτων για περαιτέρω ταξινόμηση και ανάλυση, αλλά και για να αναλύσουν και να ανακατασκευάσουν τις κύριες συνιστώσες, που περιγράφονται από όλες τις εικόνες εκπαίδευσης. Ωστόσο, δεδομένου ότι η PCA εξηγεί τη δομή συνδιακύμανσης όλων των δεδομένων με τις πιο εκφραστικές συνιστώσες [2], δηλαδή τις πρώτες κύριες συνιστώσες με τις μεγαλύτερες ιδιοτιμές, δεν αντιπροσωπεύει κατ 'ανάγκη τις σημαντικές διαχωριστικές κατευθύνσεις σε διαφορετικές ομάδες των εικόνων. Μια κοινή πρακτική για τον προσδιορισμό των σημαντικών γραμμικών κατευθύνσεων για το διαχωρισμό των ομάδων είναι να χρησιμοποιήσουμε την γραμμική διαχωριστική ανάλυση του Fisher, (LDA) [3,4] αντί της PCA. Ωστόσο, όταν η διάσταση του χώρου είναι μεγαλύτερη από τον αριθμό των ομάδων, η LDA μπορεί να βρεί το πολύ ν-1 κατευθύνσεις, όπου ν ο αριθμός των ομάδων [5,6]. Έτσι, για παράδειγμα, όταν υπάρχουν δύο ομάδες για να διαχωρίσουμε, η LDA μπορεί να αναγνωρίσει μόνο μία κατεύθυνση. Κατά συνέπεια, πρόσθετες πληροφορίες που είναι σημαντικές για να χαρακτηρίσουν τις διαφορές της ομάδας του δείγματος μπορεί να χαθούν [5,6]. Επιπλέον, η LDA προσδιορίζει τις βέλτιστες κατευθύνσεις διαχωρισμού μόνο όταν η συνάρτηση πυκνότητας-πιθανότητας της κάθε ομάδας δείγματος μπορεί να προσεγγιστεί ικανοποιητικά από Γκαουσιανές κατανομές με μία κοινή μήτρα συνδιακύμανσης, αλλά αποτυγχάνει εάν οι πυκνότητες της κάθε κατηγορίας είναι πιο γενικές [5,6,7]. 21

23 Πρόσφατα, στην εργασία Loog et al. [8] παρουσιάστηκε μία παραλλαγή του γνωστού κριτηρίου Fisher πολλαπλών κατηγοριών, για να βελτιώσει την ακρίβεια ταξινόμησης του προτύπου LDA. Η προσέγγιση αυτή βασίζεται σε σταθμισμένα ζεύγη και δεν απαιτεί επαναληπτική μέθοδο βελτιστοποίησης για να καθοριστεί η καλύτερη κατεύθυνση γραμμικού διαχωρισμού για ταξινόμηση. Ωστόσο, δεδομένου ότι βασίζεται σε μια λύση φασματικής ιδιοτιμής, όπως και η κλασσική LDA, έχει τον ίδιο περιορισμό στον αριθμό των κατευθύνσεων που μπορεί να βρει. Οι Zhu και Hastie [6,7], ανέπτυξαν μια μέθοδο εύρεσης των κατευθύνσεων διαχωρισμού χωρίς να υποθέτουν κάποιο συγκεκριμένο παραμετρικό μοντέλο για τη συνάρτηση πυκνότητας πιθανότητας καθεμιάς από τις ομάδες δειγμάτων. Όταν οι μήτρες συνδιασποράς των ομάδων του δείγματος κάθε κατηγορίας δεν έχουν τον ίδιο προσανατολισμό [7], χρειάζεται μια επαναληπτική μέθοδος για τη βελτιστοποίηση του κριτήριου τους, η οποία οδηγεί σε κατευθύνσεις διαχωρισμού που δεν εκπροσωπούνται κατ 'ανάγκη από τις κύριες συνιστώσες όλων των δειγμάτων εκπαίδευσης. Στο [9],οι Zhu και Martinez προτείνουν μια συγκεκριμένη μέθοδο για την επιλογή των κύριων συνιστωσών για τη βελτίωση της κατάταξης LDA. Το κριτήριό τους βασίζεται στη φασματική ανάλυση της χαρακτηριστικής εξίσωσης της LDA, επιλέγοντας τις κύριες συνιστώσες, που συσχετίζονται περισσότερο με τον πίνακα διασποράς μεταξύ των κατηγοριών. Η προσέγγιση των Zhu και Martinez περιορίζεται στην LDA φασματική επίλυση, αλλά χρησιμοποιήθηκε επιτυχώς και για την επίλυση των προβλημάτων διαχωριστικής ανάλυσης μικρού μεγέθους δείγματος. Ξεπερνώντας έτσι με συνέπεια μια σειρά άλλων μεθόδων ανάλυσης, σε διάφορα σύνολα δεδομένων [10,11,12]. 3.2 Διαχωριστική Ανάλυση Κυρίων Συνιστωσών Στην εργασία Thomaz and Giraldi (2010), προτείνεται μια νέα μέθοδος κατάταξης των κύριων συνιστωσών που δίνονται από τις διαφορές της ομάδας και εξάγονται από τα διαχωριστικά υπερεπίπεδα. Έτσι, δεν ασχολούνται με το πρόβλημα της εύρεσης γενικών κατευθύνσεων διαχωρισμού που δεν είναι κύριες συνιστώσες. Επίσης δεν ασχολούνται ούτε με το πρόβλημα της επιλογής κύριων συνιστωσών για να βελτιωθεί η ακρίβεια ένος συγκεκριμένου ταξινομητή, όπως η LDA. Αντίθετα, προτείνουν την ιδέα της χρησιμοποίησης των βαρών διαχωρισμού, που δίνονται από τα διαχωριστικά υπερεπίπεδα, προκειμένου να επιλέξουμε μεταξύ των κύριων συνιστωσών αυτές με την μεγαλύτερη διακριτική ικανότητα. Δηλαδή, η πρότασή τους είναι να κατατάξουν τις κύριες συνιστώσες με βάση το πόσο καλά θα ευθυγραμμιστούν με τις κατευθύνσεις των διαχωριστικών υπερεπίπεδων, τα οποία καθορίζονται από τα αντίστοιχα βάρη διαχωρισμού. Ένα τέτοιο σύνολο κύριων συνιστωσών ταξινομημένο κατά φθίνουσα σειρά των βαρών διαχωρισμού το αποκαλούν διαχωριστική ανάλυση κυρίων συνιστωσών. Στην εργασία των Thomaz and Giraldi επικεντρωθηκαν στις LDA και SVM [13,14] μεθόδους διαχωρισμού, αλλά θα μπορούσαν να χρησιμοποιήσουν οποιοδήποτε άλλο διαχωριστικό υπερεπίπεδο. Η προσέγγισή τους αυτή είναι η πρώτη ανάλυση κυρίων συνιστωσών βασισμένη πάνω σε μια γενική στρατηγική κατάταξης του διαχωριστικού υπερεπιπέδου. 22

24 Προκειμένου να αξιολογηθούν οι κύριες συνιστώσες διαχωρισμού. Στην εργασία των Thomaz and Giraldi, πραγματοποιήθηκαν οι ακόλουθες εργασίες διαχωρισμού δύο ομάδων με τη χρήση μετωπικών εικόνων προσώπου και τρία διαφορετικά σύνολα δεδομένων: (α) πειράματα των δύο φύλων (γυναικεία συγκριτικά με ανδρικά δείγματα ), και (β) πειράματα έκφρασης του προσώπου (χαμόγελο-όχι χαμόγελο, θυμός-αηδία, ευτυχία θλίψη, φόβος-έκπληξη). Σε περίπτωση που το πρόβλημα ανάλυσης εικόνας προσώπου περιλαμβάνει μικρά σύνολα εκπαίδευσης και μεγάλο αριθμό χαρακτηριστικών και δεν απαιτεί ειδικές γνώσεις για να ερμηνεύσει τις διαφορές μεταξύ των ομάδων, φαίνεται μια ελκυστική μέθοδος για να διερευνήσει την αποτελεσματικότητα των διακρίνουσων κύριων συνιστωσών. Επίσης, και για να συγκρίνει την κατεύθυνση διαχωρισμού που βρέθηκε από τις αντίστοιχες LDA και SVM προσεγγίσεις. Τα πειραματικά αποτελέσματα αυτής της εργασίας δείχνουν ότι οι κύριες συνιστώσες που επιλέγονται από τα διαχωριστικά υπερεπίπεδα επιτρέπουν την ισχυρή ανασυγκρότηση και ερμηνεία των δεδομένων. Καθώς και μεγαλύτερα ποσοστά αναγνώρισης που χρησιμοποιούν λιγότερα γραμμικά χαρακτηριστικά, σε περιπτώσεις όπου οι διαφορές μεταξύ των ομάδων του δείγματος είναι λεπτές και κατά συνέπεια πιο δύσκολες. Η ανάλυση κύριων συνιστωσών (PCA) είναι μία διαδικασία εξαγωγής χαρακτηριστικών, που ασχολείται με την εξήγηση της συνδιακύμανσης, μίας ομάδας μεταβλητών, χρησιμοποιώντας ένα μικρό αριθμό από γραμμικούς συνδυασμούς τους. Έστω ένας N n πίνακας Χ που απαρτίζεται από N διανύσματα εισόδου (ή εικόνες προσώπων) με n μεταβλητές (ή pixels). Αυτό σημαίνει ότι κάθε στήλη του πίνακα Χ αντιπροσωπεύει τις τιμές μιάς συγκεκριμένης μεταβλητής, παρατηρούμενη σε όλα τα N διανύσματα. Έστω αυτός ο πίνακας Χ έχει μήτρα συνδιακύμανσης S, μήτρα ιδιοδιανύσματος P και μήτρα ιδιοτιμής Λ: T P SP= Λ (16) Είναι αποδεδειγμένο ότι η ομάδα των m (όπου m n) ιδιοδιανυσμάτων του S, το οποίο αντιστοιχεί στις μεγαλύτερες m ιδιοτιμές, ελαχιστοποιεί το μέσο τετραγώνικο λάθος ανακατασκευής από όλες τις επιλογές των m ορθοκανονικών ιδιοδιανυσμάτων βάσης. Αυτή η ομάδα ιδιοδιανυσμάτων, η οποία ορίζει ένα νέο ασυσχέτιστα σύστημα συντεταγμένων για το σύνολο εκπαίδευσης του πίνακα Χ, είναι γνωστή σαν κύριες συνιστώσες (principal components). Στο πλαίσιο της αναγνώρισης προσώπου, οι P [ p, p p ] συνιστώσες συχνά αποκαλούντα ιδιοπρόσωπα (eigenfaces) [15]. pca 1 2,..., m Η PCA εξηγεί τη συνδιακύμανση όλων των δεδομένων με τις πιο χαρακτηριστικές συνιστώσες [2], δηλαδή τις πρώτες κύριες συνιστώσες με τις μεγαλύτερες ιδιοτιμές. Ωστόσο, οι ιδιοτιμές αυτές δεν είναι απαραίτητα και αυτές με τη μεγαλύτερη διαχωριστική ικανότητα. Η Εικόνα 4.1 δείχνει τα δείγματα προσώπων δύο ομάδων δεδομένων πού χρησιμοποιήθηκαν σε αυτήν την εργασία για να προβάλλουν το πρόβλημα. 23

25 Εικόνα 4.1 Γραφήματα των πιο χαρακτηριστικών δισδιάστατων υποχώρων PCA για τη περίπτωση διαχωρισμού φύλου (πάνω) και έκφρασης (κάτω). Το πάνω και το κάτω σχεδιάγραμμα δείχνουν το φύλο και τα δείγματα έκφρασης, αντιστοίχως, προβαλλόμενα πάνω στις πρώτες 2 κύριες συνιστώσες. Όπως φαίνεται, η PCA αποτυγχάνει να ανακτήσει τα σημαντικά χαρακτηριστικά για τον διαχωρισμό 24

26 των προσώπων που χαμογελούν από αυτά που δεν χαμογελούν. Ο λόγος για τον οποίο αποτυγχάνει η PCA, είναι ότι οι χαμογελαστές και οι μη-χαμογελαστές αλλαγές του προσώπου δεν είναι τόσο σημαντικές πληροφορίες, όσο το φύλο του προσώπου. Συνεπώς οι πρώτες κύριες συνιστώσες, που μεγιστοποιούν την συνολική διασπορά δια μέσου όλων των εικόνων, κωδικοποιούν τις ουσιαστικές μεταβολές λόγο των φυλετικών πληροφοριών. 3.3 Μηχανές Διανυσμάτων Υποστήριξης (SVM) Στο σημείο αυτό θα κάνουμε μια συνοπτική περιγραφή των μηχανών διανυσμάτων υποστήριξης, της μεθόδου διαχωρισμού που επιλέξαμε σε αυτή την πτυχιακή προκειμένου να μελετήσουμε περαιτέρω τη διαχωριστική ανάλυση κυρίων συνιστωσών και να την επεκτείνουμε σε περιπτώσεις ταξινόμησης πολλαπλών κατηγοριών. Οι μηχανές διανυσμάτων υποστήριξης ανήκουν στην ευρύτερη κατηγορία των γραμμικών ταξινομητών, καθώς επιτυγχάνουν το διαχωρισμό των δεδομένων με τη χρήση υπερεπιπέδων Γραμμικοί ταξινομητές Εικόνα 4.2 Παράσειγμα γραμμικού ταξινομητή για δισδιάστατα δεδομένα εισόδου. Από το παραπάνω παράδειγμα διαπιστώνουμε, ότι υπάρχουν πολλοί γραμμικοί ταξινομητές (υπερεπίπεδα) που μπορούν να διαχωρίσουν τα δεδομένα. Μία από τις προκλήσεις του διαχωρισμού είναι η επιλογή του κατάλληλου ταξινομητή. 25

27 3.3.2 Δυαδικοί SVM ταξινομητές Εικόνα 4.3 Απεικόνιση ενός γραμμικού SVM ταξινομητή Η εικόνα 4.3 παρουσιάζει ένα παράδειγμα ταξινόμησης με χρήση μέγιστου περιθωρίου. Η ταξινόμηση με χρήση μέγιστου περιθωρίου παρέχει μια ικανοποιητική λύση στο πρόβλημα επιλογής του κατάλληλου γραμμικού ταξινομητή. Το μέγιστο περιθώριο δίνεται ως: margin= arg min d( x) d( x) xd xw b n 2 w i1 i Το μέγιστο περιθώριο αποτελεί ένα καλό κριτήριο επιλογής, επειδή υπάρχουν ενδείξεις ότι βελτιώνει την εμπειρική απόδοση του ταξινομητή. Η ταξινόμηση με SVM έχει ως στόχο το διαχωρισμό των δεδομένων σε δύο κατηγορίες χρησιμοποιώντας ως επιφάνεια διαχωρισμού ένα υπερεπίπεδο: y ( xw. b) 1 0 i i i Στην παραπάνω εξίσωση το x είναι ένα διάνυσμα εισόδου και w είναι το διάνυσμα βαρών που ορίζει το υπερεπίπεδο και y είναι 1 ή -1 αναλόγως σε ποια κατηγορία i ανήκει το x i. Ανάμεσα σε όλα τα πιθανά υπερσύνολα, η SVM επιλέγει εκείνο όπου η απόσταση του επιπέδου είναι όσο το δυνατόν μεγαλύτερη από τα διάνυσμα εισόδου 26

28 που είναι πιο σημαντικά για το διαχωρισμό και που ονομάζονται διανύσματα υποστήριξης. Εικόνα 4.4 Παρουσίαση υπερεπιπέδου σε δεδομένα δύο διαστάσεων Η μεγιστοποίηση του περιθωρίου είναι ένα πρόβλημα βελτιστοποίησης και πρέπει να το επιλύσουμε ως προς w και b. Για να λυθεί αυτό θα πρέπει να βελτιστοποιηθεί η τετραγωνική συνάρτηση με γραμμικούς περιορισμούς. Η λύση περιλαμβάνει την κατασκευή ενός δυαδικού προβλήματος όπου χρησιμοποιεί πολλαπλασιαστές Lagrange. Πρέπει να βρούμε w και b τέτοια ώστε η Φ (w) =. w w να ελαχιστοποιείται τα ( x, y ). i i 2 w ενώ ικανοποιείται ταυτόχρονα η σχέση y ( xw b) 1, για όλα Επιλύοντας έχουμε w aixi, b yk wxk για οποιαδήποτε x k όπου συνάρτηση ταξινόμησης θα έχει την ακόλουθη μορφή: f ( x) ai yixix b i i ak 0. Η One Versus All SVM ταξινομητές Οι SVM ταξινομητές είναι κατά βάση μια δυαδική μέθοδος ταξινόμησης των δεδομένων. Ωστόσο αρκετά προβλήματα απαιτούν ταξινόμηση σε παραπάνω από δύο κατηγορίες. Η πιο δημοφιλείς μέθοδος ταξινόμησης σε πολλές κατηγορίες με χρήση SVM, είναι η One Versus All (OVA), η οποία εκτελεί μια σειρά από δυαδικές SVM ταξινομήσεις με σκοπό να διαχωρίσει την κάθε μια κατηγορία από όλες τις 27

29 υπόλοιπες. Ο διαχωρισμός των δεδομένων σε K κατηγορίες απαιτεί τη δημιουργία K διαφορετικών ταξινομητών όπου ο i οστός ταξινομητής εκπαιδεύεται να διαχωρίζει τα δείγματα που ανήκουν στην κατηγορία i από όλα τα υπόλοιπα. Αυτήν την εκδοχή θα χρησιμοποιήσουμε για την επέκταση της διαχωριστικής ανάλυσης κυρίων συνιστωσών για εφαρμοφή σε προβλήματα πολλαπλών κατηγοριών. 3.4 Διαχωριστική Ανάλυση Κυρίων Συνιστωσών για ταξινόμηση σε πολλαπλές κατηγορίες Στην παρούσα πτυχιακή εργασία υιοθετούμε την προσσέγγιση των Thomaz and Giraldi, η οποία όμως αξιολογήθηκε σε προβλήματα δυαδικής ταξινόμησης, δηλαδή διαχωρισμού σε δύο κατηγορίες. Ωστόσο στην παρούσα εργασία προτείνουμε έναν ευθή τρόπο επέκτασής της σε περιπτώσεις ταξινόμησης πολλαπλών κατηγοριών. Η επέκταση βασίζεται στη χρήση OVA-SVM ταξινομητών, οι οποίοι πραγματοποιούν διάκριση σε πολλαπλές κατηγορίες. Ακολουθεί η μαθηματική περιγραφή της δυαδικής μεθόδου Διαχωριστικής Ανάλυσης Κυρίων Συνιστωσών με χρήση SVM, έτσι ώστε να μπορέσει να δοθεί και η περιγραφή της προτεινόμενης επέκτασης με χρήση One Versus All SVM Διαχωριστική Ανάλυση Κυρίων Συνιστωσών για δυαδική ταξινόμηση Προσεγγίζουμε το πρόβλημα της επιλογής των κύριων συνιστωσών, σαν ένα πρόβλημα εκτίμησης ενός γραμμικού ταξινομητή, υποθέτωντας ότι υπάρχουν μόνο δύο τάξεις για να διαχωρίσουμε. Ως εκ τούτου, χρησιμοποιήσαμε παραδείγματα εκπαίδευσης και τις αντίστοιχες ετικέτες τους για να κατασκευάσουμε τα SVM διαχωριστικά υπερεπίπεδα. Για την συγκρότηση του πίνακα μετασχηματισμού της PCA, δηλαδή Ppca [ p1, p2,..., p N 1], διατηρήσαμε όλες τις κύριες συνιστώσες με μημηδενικές ιδιοτιμές. Με άλλα λόγια,θεωρήσαμε ότι όλα τα N δείγματα εκπαίδευσης είναι γραμμικά ανεξάρτητα. Τα κανονικοποιημένα διανύσματα προβάλλονται στις κύριες συνιστώσες και μειώνονται σε m-διάστασης διανύσματα,αναπαριστώντας τα περισσότερο εκφραστικά χαρακηριστικά, καθενός από τα n-διάστασης διανύσματα δεδομένων. Ύστερα,ο πίνακας N m και οι αντίστοιχες ετικέτες του, χρησιμοποιούνται σαν δεδομένα εισόδου για τον υπολογισμο SVM διαχωριστικών υπερεπιπέδων. Τα πιο εκφραστικά χαρακτηριστικά καθενός από τα m-διάστασης διανύσματα λαμβάνονται, πολλαπλασιάζοντας τα N m πιο εκφραστικα χαρακτηριστικά με τα m 1 διανύσματα διαχωρισμού. Έτσι,η αρχική ομάδα δεδομένων εκπαίδευσης που αποτελείται από Ν μετρήσεις πάνω σε n μεταβλητές, μειώνεται σε μία ομάδα δεδομένων που αποτελείται από N μετρήσεις πάνω σε ένα μόνο χαρακτηριστικό διαχωρισμού που δίνεται από : 28

30 y x w x w... x w, m y x w x w... x w, m y x w x w... x w, N N1 1 N 2 2 Nm m m m (17) όπου [ w1, w2,..., wm ] είναι τα βάρη πού αντιστοιχούν στα χαρακτηριστικά κύριας συνιστώσας, υπολογισμένα από τα SVM διαχωριστικά υπερπεπίπεδα και [ x, x,..., x ] είναι τα γνωρίσματα, καθενός από τα διανύσματα δεδομένων i, όπου i1 i2 im i 1,..., N,προβαλλόμενα πάνω στον συνολικό χώρο της ανάλυσης κύριων συνιστωσών. Μπορούμε να υπολογίσουμε τη συνεισφορά καθενός χαρακτηριστικού στο T διαχωρισμό, ερευνώντας τα βάρη w [ w1, w2,..., w m ] των αντίστοιχων κατευθύνσεων. Πρέπει να θυμηθούμε ότι αυτά τα βάρη περιγράφουν το διαχωριστικό υπερεπίπεδο,στον αρχικό χαρακτηριστικό του χώρο, w ( P w). p, w... T 1 pca 1 T 2 pca 2 3 ( P w). p, T w ( P w). p, pca m (18) όπου p1, p2,..., p m είναι οι κύριες συνιστώσες. Τα βάρη που εκτιμώνται να είναι μηδενικά, ή σχεδόν μηδενικά έχουν αμελητέα συνεισφορά στα αποτελέσματα διαχωρισμού y i, όπως περιγράφονται στην εξίσωση (17), υποδεικνύοντας ότι τα αντίστοιχα χαρακτηριστικά δεν είναι σημαντικά για τον διαχωρισμό των ομάδων δειγμάτων. Σε αντίθεση τα μεγαλύτερα βάρη (σε απόλυτες τιμές) υποδεικνύουν ότι τα αντιστοιχα χαρακτηριστικά συνεισφέρουν περισσότερο στα αποτέλεσματα διαχωρισμού και κατά συνέπεια είναι σημαντικά για να χαρακτηρίσουμε τις διαφορές μεταξύ των ομάδων. Έτσι, αντί να επιλέξουμε τις κύριες συνιστώσες με φθίνουσα σειρά, αναλόγως των αντίστοιχων ιδιοτιμών τους, όπως γίνεται συνηθως, επιλέγουμε σαν πρώτες κύριες συνιστώσες αυτές με τα μεγαλύτερα βάρη διαχωρισμού, P [ p, p,..., p ] arg max P T ΩP (19) svm 1 2 όπου { p 1,2,..., m} είναι η ομάδα των ιδιοδιανυσμάτων του Ω που αντιστοιχούν i i στα μεγαλύτερα βάρη διαχωρισμού w1 w2... wm,όπως περιγράφονται από το SVM διαχωριστικό υπερεπίπεδο m P 29

31 N w a y ( x P ). (20) svm i i i pca i1 Για αυτό επιλέγουμε μεταξύ των κύριων συνιστωσών τις κατευθύνσεις, οι οποίες είναι αποτελεσματικές,για τον διαχωρισμό των δειγμάτων σε ομάδες,αντί όλων των δειγμάτων. Μία τέτοια ομάδα από συνιστώσες, οι οποίες είναι ταξινομημένες με βάση τα βάρη διαχωρισμού κατά φθίνουσα σειρά τις ονομάζουμε διαχωριστικές κύριες συνιστώσες Επέκταση Διαχωριστικής Ανάλυση Κυρίων Συνιστωσών για ταξινόμηση σε πολλαπλές κατηγορίες Στην περίπτωση διαχωρισμού σε πολλές κατηγορίες (έστω K>2), μπορούμε να εφαρμόσουμε OVA-SVM ταξινόμηση και αντί για ένα δυαδικό SVM ταξινομητή, να εκπαιδεύσουμε K δυαδικούς SVM ταξινομητές. Όμως με αυτόν τον τρόπο προκύπτουν K διαφορετικά βάρη για κάθε χαρακτηριστικό. Για το λόγο αυτό στην παρούσα πτυχιακή προτείνουμε να υπολογίζουμε τη μέση τιμή των τετραγώνων των βαρών για κάθε χαρακτηριστικό και στη συνέχεια να επιλέγουμε τα χαρακτηριστικά με τα μεγαλύτερα μέσα τετραγωνικά βάρη. Πιο συγκεκριμένα, αν συμβολίσουμε με () w i το βάρος του j οστού χαρακτηριστικού του i οστού ταξινομητή, τότε το μέσο j τετραγωνικό βάρος για το j οστό χαρακτηριστικό υπολογίζεται ως w 2 1 K 2 j wij K i 1 (21) και η επιλογή γίνεται πλέον με την ιεράρχηση των μέσων τετραγωνικών βαρών w w w m Στο επόμενο κεφάλαιο θα διερευνήσουμε τα πειραματικά αποτελέσματα για την περίπτωση διαχωρισμού σε πολλαπλές κατηγορίες, βασιζόμενοι στην επιλογή των χαρακτηριστικών με τα μεγαλύτερα μέσα βάρη όπως αυτά υπολογίζονται από την εξίσωση (21). 30

32 Αναφορές [1] L. Sirovich, M. Kirby, Low-dimensional procedure for the characterization of human faces, Journal of Optical Society of America 4 (3) (1987) [2] D. Swets, J. Weng, Using discriminants eigenfeatures for image retrieval, IEEE Transactions on Pattern Analysis and Machine Intelligence 18 (8) (1996) [3] P.A. Devijver, J. Kittler, Pattern Classification: A Statistical Approach, Prentice- Hall, [4] K. Fukunaga, Introduction to Statistical Pattern Recognition, Academic Press, New York, [5] R.D. Cook, X. Yin, Dimension reduction and visualization in discriminant analysis (with discussion), Australian and New Zealand Journal of Statistics 43 (2001) [6] M. Zhu, T.J. Hastie, Feature extraction for nonparametric discriminant analysis, Journal of Computational and Graphical Statistics 12 (2003) [7] M. Zhu, Discriminant analysis with common principal components, Biometrika 93 (4) (2006) [8] Marco Loog, R.P.W. Duin, R. Haeb-Umbach, Multiclass linear dimension reduction by weighted pairwise fisher criteria, IEEE Transactions on Pattern Analysis and Machine Intelligence 23 (7) (2001) [9] M. Zhu and Aleix M. Martinez, Selecting principal components in a two-stage lda algorithm, in: CVPR 06, June, 2006, pp [10] A.M. Martinez, M. Zhu, Where are linear feature extraction methods applicable?, IEEE Transactions on Pattern Analysis and Machine Intelligence 27 (12) (2005) [11] M. Zhu, A.M. Martinez, Subclass discriminant analysis, IEEE Transactions on Pattern Analysis and Machine Intelligence 28 (8) (2006) [12] M. Zhu, A.M. Martinez, Pruning noisy bases in discriminant analysis, IEEE Transactions on Neural Networks 19 (1) (2008) [13] Christopher J.C. Burges, A tutorial on support vector machines for pattern recognition, Data Mining and Knowledge Discovery 2 (2) (1998) [14] N. Vladimir, Vapnik, Statistical Learning Theory, John Wiley and Sons, Inc., [15] M. Turk, A. Pentland, Eigenfaces for recognition, Journal of Cognitive Neuroscience 3 (1991)

33 Κεφάλαιο 4 Μέτρα Ομοιότητας και Απόστασης Εφόσον οι εικόνες έχουν προβληθεί στον ιδιοχώρο, το επόμενο βήμα είναι να διαπιστώσουμε ποιες εικόνες μοιάζουν περισσότερο μεταξύ τους. Γενικά υπάρχουν δυο τρόποι για να διαπιστώσουμε πόσο όμοιες είναι οι εικόνες. Ο πρώτος τρόπος είναι να μετρήσουμε την απόσταση μεταξύ των εικόνων στο Ν-διάστατο χώρο. Ο δεύτερος τρόπος είναι να μετρήσουμε την ομοιότητα δύο εικόνων. Όταν μετράμε απόσταση, επιθυμούμε την ελαχιστοποίηση της απόστασης, έτσι δυο όμοιες εικόνες παράγουν μικρή απόσταση. Όταν μετράμε ομοιότητα, επιθυμούμε την μεγιστοποίηση της ομοιότητας, έτσι δυο όμοιες εικόνες παράγουν μεγάλο βαθμό ομοιότητας. Τα μέτρα απόστασης D( x, y ) ικανοποιούν την τριγωνική ανισότητα για δύο στοιχεία xy:, 1. D( x, x) 0, 2. D( x, y) D( y, x), 3. D( x, y) D( x, z) D( z, y). Υπάρχουν πολλά πιθανά μέτρα ομοιότητας και απόστασης, θα αναφέρω πέντε: 1. L 1 norm:ο L 1 τύπος, επίσης γνωστός ως τύπος Manhattan, αθροίζει την απόλυτη διαφορά μεταξύ των pixel.o L 1 τύπος μιας εικόνας Α και μιας εικόνας Β είναι: 1 N i i (22) i1, L A B A B ο L 1 τύπος είναι μέτρο απόστασης. 2. L 2 norm:o L 2 τύπος, επίσης γνωστός ως ευκλείδεια απόσταση, αθροίζει την τετραγωνισμένη απόσταση μεταξύ των pixel.o L 2 τύπος μιας εικόνας Α και μιας εικόνας Β είναι: 32

34 2 N i i (23) i1, 2 L A B A B ο L 2 τύπος είναι μέτρο απόστασης. 3. Συνδιασπορά: υπολογίζει την γωνία μεταξύ δυο κανονικοποιημένων διανυσμάτων. Αυτός ο υπολογισμός εκτελείται παίρνοντας το στιγμιαίο προϊόν από τα κανονικοποιημένα διανύσματα. Η συνδιασπορα μεταξύ των εικόνων Α και Β είναι: cov AB, A B A B (24) H συνδιασπορά είναι μέτρο ομοιότητας, αλλά αντιστρέφοντας το πρόσημο γίνεται μέτρο απόστασης. Εικόνα 4.1 Απόσταση L 1, απόσταση L 2 και συνδιασπορά μεταξύ δύο διανυσμάτων. 4. Απόσταση Μahalanobis: υπολογίζει τα γινόμενα από τις τιμές των pixels και την ιδιοτιμη κάθε διάστασης και τα αθροίζει. Η απόσταση Μahalanobis μεταξύ μιας εικόνας Α και μιας εικόνας Β είναι: Mah A, B N A B C (25) i1 i i i 33

35 C i 1 (26) i Η απόσταση Μahalanobis είναι μέτρο απόστασης. Συσχέτιση: μετράει τον ρυθμό της αλλαγής μεταξύ των pixels δυο εικόνων. Η τιμή που παράγεται κυμαίνεται από -1 και 1,οπου η τιμή -1 σημαίνει ότι οι δυο εικόνες δεν ταιριάζουν, ενώ όπου η τιμή είναι 1 σημαίνει ότι οι δυο εικόνες είναι πανομοιότυπες. Η συσχέτιση μεταξύ μιας εικόνας Α και μιας εικόνας Β είναι: corr A, B A B N i A i B (27) i1 A B Εικόνα 4.2 Δύο εικόνες με αρνητική συσχέτιση (αριστερά) και δύο εικόνες με θετική συσχέτιση (δεξιά). 4.1 Τα μέτρα ομοιότητας είναι ίδια μέσα και έξω από τον ιδιοχώρο; Ένας ιδιοχωρος που αποτελείται από όλα τα ιδιοδιανυσματα συνδυαζόμενα με μη μηδενικές ιδιοτιμες είναι μια ορθοκανονικη βάση. Μια ορθοκανονικη βάση είναι ένα σύνολο από διανύσματα, όπου το εσωτερικό γινόμενο από κάθε δυο ξεχωριστά διανύσματα είναι μηδέν και το μήκος κάθε διανύσματος είναι ένα. Οι ορθοκανονικές βάσεις έχουν την ιδιότητα πως κάθε εικόνα που χρησιμοποιήθηκε για την δημιουργία της ορθοκανονικης βάσης μπορεί να προβληθεί στη πλήρη ορθοκανονικη βάση χωρίς να υπάρξει απώλεια της πληροφορίας. Αυτό σημαίνει ότι η εικόνα μπορεί να προβληθεί στην ορθοκανονική βάση και μετά να μετατραπεί ξανά στην αρχική εικόνα. Για παράδειγμα, έστω U μια ορθοκανονικη βάση και έστω Α μια εικόνα που 34

36 T χρησιμοποιήθηκε για τη δημιουργία της U.Τότε A' U A,όπου A ' είναι η εικόνα A που έχει προβληθεί στο U.Η A μπορεί να ανακτηθεί πολλαπλασιάζοντας με την U, A U A' Με βάση το γεγονός ότι δεν υπάρχει απώλεια πληροφορίας όταν προβάλουμε συγκεκριμένες εικόνες μέσα σε μια ορθοκανονικη βάση, αλλάζουν οι τιμές των μέτρων ομοιότητας; Η απάντηση είναι ότι εξαρτάται από τα μέτρα ομοιότητας. Ο L 1 τύπος και η συσχέτιση παράγουν διαφορετικές τιμές μέσα στους δυο χώρους. Η απόσταση Mahalanobis τυπικά χρησιμοποιείται μόνο σε συνδυασμό με τον ιδιοχώρο. Ο L2 τύπος και η συνδιασπορα παράγουν το ίδιο αποτέλεσμα και στους δυο χώρους. Ακολουθεί η απόδειξη των παραπάνω: Θεώρημα 4.1: Ο L 2 τύπος παράγει την ίδια τιμή για ένα ζευγάρι διανυσμάτων και για τις προβολές τους., T T, L A B L U A U B (28) 2 2 Απόδειξη: Έστω U είναι μια ορθοκανονικη βάση και A ένα διάνυσμα τέτοιο ώστε ' T ' T A U A.Έστω Β ένα διάνυσμα τέτοιο ώστε B U B.Ο L 2 τύπος από το A B ορίζεται από την εξίσωση (23) και είναι το ίδιο με: T A B A B (29) O 2 L τύπος του ( A B) ορίζεται ως: N 2( ' ') ( ' i 2 ') ( ' T ') ( ' ') i1 L A B A B A B A B T T T T A' A' A' B ' B ' A' B ' B ' T T T T T T T T T ( U A) ( U A) ( U B) ( U A) ( U B) ( U B) T T T T T T T T A UU A A UU B B UU A B UU B T T T T A A A B B A B B N T 2 A B A B ( A B ) L A, B i1 Επομένως ο L 2 τύπος παράγει την ίδια τιμή σε και για τα αρχικά διανύσματα και για τις προβολές τους. i i 2 Θεώρημα 4.2: H συνδιακυμανση παράγει την ίδια τιμή για ένα ζευγάρι διανυσμάτων και για τις προβολές τους. 35

37 T T A B A B cov, cov U, U (30) Απόδειξη: Έστω U είναι μια αρθοκανονικη βάση και A ένα διάνυσμα τέτοιο ώστε T T A' U A και A U A'.Έστω Β ένα διάνυσμα τέτοιο ώστε B' U B και B U B'.Η συνδιασπορα του A και του B ορίζεται από την εξίσωση (24) και η συνδιασπορα του A ' και του B ' ορίζεται ως: cov A', B' ' T T ' ' ' ' ' T A B A B U A B U A B A UB ' T T T T T T A' B' A' B' U A U B U A U B U A U B T (31) Είναι γνωστό ότι B U B',άρα cov AB, T AB T T (32) U A U B Από το θεώρημα 4.1 T T A U A A' και B U B B'. T AB Άρα cov A', B' cov A, B A B (33) Οπότε το μέτρο της συνδιασποράς παράγει τα ίδια αποτελέσματα και για τα αρχικά διανύσματα και για τις προβολές τους. Παρακάτω θα επεξηγήσω πως συμπεριφέρεται κάθε μέτρο με παραδείγματα. Έστω 1 7 δυο διανύσματα A 5, B Προβάλω αυτά τα δυο σημεία πάνω στην ορθοκανονίκη βάση: U T A' U A

38 T B' U B Ο L 2 τύπος παράγει την ίδια τιμή και για τα αρχικά διανύσματα και για τις προβολές τους. Ο 2 L τύπος του A B είναι: 2 N 2 i L A B ( A B) Ο 2 2 L τύπος του A' B' είναι: N 2 i L A' B' ( A' B') Αυτό το παράδειγμα μας δείχνει ότι για αυτή την συγκεκριμένη περίπτωση είναι ίδια, ενώ η παραπάνω απόδειξη καλύπτει τη γενική περίπτωση. Συνδιασπορα: Η συνδιασπορα παράγει τα ίδια αποτελέσματα και για τα αρχικά διανύσματα και για τις προβολές τους. Η συνδιασπορα μεταξύ A και B είναι: A B cov( AB, ) A B H συνδιασπορα μεταξύ του A ' και του B ' είναι: 37

39 A' B' cov( A', B') A' B' Αυτό το παράδειγμα μας δείχνει ότι για αυτή την συγκεκριμένη περίπτωση είναι ίδια και η παραπάνω απόδειξη καλύπτει την γενική περίπτωση. L1 τύπος: Ο L 1 τύπος δεν παράγει την ίδια τιμή on unprojected vectors and on projected vectors. διαισθητικά,δυο σημεία που βρίσκονται διαγώνια το ένα από το άλλο θα έχουν μεγαλύτερη L 1 απόσταση από ότι θα είχαν αυτά τα δυο σημεία αν ήταν οριζόντια το ένα στο άλλο. Παράδειγμα: O 1 L τύπος του A B είναι : 1 2 L ( A B) A B O 1 i1 L τύπος του A' B' είναι: i i 1 2 L ( A' B ') A' B' ( ) ( ) ( ) i i i Όπως διαπιστώνουμε από τα αποτελέσματα οι δυο τιμές δεν είναι ίδιες, άρα οι αποστάσεις L 1 δεν είναι ίδιες για τα αρχικά και τα προβαλόμενα διανύσματα. 38

40 Κεφαλαιο 5 Βάσεις δεδομένων Η εμφάνιση ενός προσώπου επηρεάζεται από ένα μεγάλο αριθμό παραγόντων, όπως η πόζα, τα μαλλιά, ο φωτισμός, η έκφραση του προσώπου και η ηλικία. Η ανάπτυξη αλγορίθμων αναγνώρισης προσώπου απαιτεί βάσεις επαρκούς μεγέθους, οι οποίες περιλαμβάνουν ελεγχόμενες παραλλαγές αυτών των παραγόντων. Λόγω της ανάπτυξης των αλγορίθμων αναγνώρισης προσώπου, έχει συλλεχθεί ένας συγκριτικά μεγάλος αριθμός βάσεων δεδομένων προσώπου. Ωστόσο, πολλές από αυτές τις βάσεις δεδομένων είναι προσαρμοσμένες στις ειδικές ανάγκες του κάθε υπό ανάπτυξη αλγορίθμου. Σε αυτήν την ενότητα θα αναφέρουμε κάποιες διαθέσιμες στο κοινό βάσεις δεδομένων που έχουν αποδειχθεί χρήσιμες. Color FERET database Η βάση δεδομένων Color FERET περιέχει 1564 σετ εικόνων για ένα σύνολο εικόνων που περιλαμβάνει 1199 άτομα και 365 διπλά σετ εικόνων. Ένα διπλό σετ είναι ένα δεύτερο σύνολο εικόνων ενός προσώπου, οι οποίες υπάρχουν ήδη στη βάση δεδομένων και συνήθως έχουν αποκτηθεί διαφορετική ημέρα από τις αρχικές εικόνες. Για μερικά άτομα είχαν παρέλθει πάνω από δύο χρόνια μεταξύ της πρώτης και της τελευταίας συνεδρίασής τους και κάποια πρόσωπα είχαν φωτογραφηθεί πολλές φορές. Αυτό το μεγάλο χρονικό διάστημα ήταν σημαντικό, επειδή επέτρεψε στους ερευνητές να μελετήσουν για πρώτη φορά, τις αλλαγές που συμβαίνουν στην εμφάνιση ενός ατόμου σε διάστημα πάνω από ένα χρόνο. Ιστοσελίδα βάσης δεδομένων: 39

41 SCface - Surveillance Cameras Face Database Η Scface είναι μια βάση που περιέχει 4160 στατικές φωτογραφίες ανθρώπινων προσώπων, οι οποίες τραβήχτηκαν σε εσωτερικό χώρο χρησιμοποιώντας πέντε κάμερες παρακολούθησης. Ιστοσελίδα βάσης δεδομένων: Multi-PIE Περιέχει 337 άτομα, τα όποια έχουν καταγραφεί κάτω από 15 διαφορετικές οπτικές γωνίες και 19 διαφορετικές συνθήκες φωτισμού σε τέσσερις συνεδρίες. Η βάση περιλαμβάνει συνολικά περισσότερες από φωτογραφίες. Ιστοσελίδα βάσης δεδομένων: PIE Database, CMU Μια βάση δεδομένων, η οποία αποτελείται από εικόνες από 68 άτομα, κάθε άτομο φωτογραφήθηκε σε 13 διαφορετικές πόζες, 43 διαφορετικές συνθήκες φωτισμού και με 4 διαφορετικές εκφράσεις [2]. Εικονα 5.1 Στην παραπάνω εικόνα βλέπουμε διάφορες πόζες του προσώπου, υπό διαφορετικές γωνίες λήψης. Ιστοσελίδα βάσης δεδομένων: 40

42 Project - Face In Action (FIA) Face Video Database, AMP, CMU Έξι κάμερες φωτογραφίζουν ανθρώπινα πρόσωπα από τρεις διαφορετικές οπτικές γωνίες. Οι τρεις από τις έξι κάμερες έχουν μικρότερη εστιακή απόσταση και οι άλλες τρεις έχουν μεγαλύτερη εστιακή απόσταση. Βιντεοσκοπούνται 200 άτομα σε 3 συνεδρίες σε διαφορετική χρονική περίοδο. Εξαρτάται από το χρήστη, η στάση και η παραλλαγή έκφρασης που αναμένονται από την βιντεοσκόπηση. Ιστοσελίδα βάσης δεδομένων: AT&T (The Database of Faces) Δέκα διαφορετικές εικόνες ανά πρόσωπο, για 40 διαφορετικά πρόσωπα. Για ορισμένα από αυτά, οι εικόνες ελήφθησαν σε διαφορετικές χρονικές στιγμές, μεταβάλλοντας το φωτισμό, τις εκφράσεις (ανοικτά / κλειστά μάτια, χαμογελώντας / δεν χαμογελά) και κάποιες λεπτομέρειες (γυαλιά / χωρίς γυαλιά). Όλες οι εικόνες ελήφθησαν σε σκούρο ομοιογενές φόντο με τα πρόσωπα να απεικονίζονται από την μπροστινή όψη. Ιστοσελίδα βάσης δεδομένων: M2VTS Multimodal Face Database (Release 1.00) Η βάση αποτελείται από 37 διαφορετικά πρόσωπα και περιέχει 5 φωτογραφίες από κάθε πρόσωπο. Για κάθε φωτογραφία, ζητήθηκε από τα άτομα να μετρήσουν από 0 έως το 9 στην μητρική τους γλώσσα, περιστρέφοντας το κεφάλι τους από τις 0 στις - 90 μοιρες, ξανά στις 0 μοίρες,μετά στις +90 μοίρες και ξανά στις 0 μοίρες. Ιστοσελίδα βάσης δεδομένων: The AR Face Database, Purdue University, USA Περιέχει έγχρωμες εικόνες, οι οποίες αντιστοιχούν σε 126 πρόσωπα ανθρώπων (70 άνδρες και 56 γυναίκες). Οι εικόνες απεικονίζουν την μπροστινή όψη του προσώπου, με διαφορετικές εκφράσεις προσώπου, συνθήκες φωτισμού, και οπτικά εμπόδια (γυαλιά ηλίου και κασκόλ). 41

43 Εικόνα 5.2 Οι συνθήκες είναι: (1) ουδέτερο, (2) χαμόγελο, (3) θυμός, (4) ουρλιαχτό, (5) αριστερός φωτισμός (6) δεξιός φωτισμός, (7) αριστερός και δεξιός φωτισμός, (8) γυαλιά ηλίου, (9) γυαλιά ηλίου / αριστερός φωτισμός (10)γυαλιά ηλίου /δεξιός φωτισμός, (11) κασκόλ (12) κασκόλ / αριστερός φωτισμός, (13) κασκόλ / δεξιός φωτισμός. Ιστοσελίδα βάσης δεδομένων: The University of Oulu Physics-Based Face Database Περιέχει 125 διαφορετικά πρόσωπα, το καθένα σε 16 διαφορετικές συνθήκες βαθμονόμησης και φωτισμού της κάμερας. Τα πρόσωπα φωτογραφήθηκαν με μετωπική θέση υπό Horizon, Incandescent, Fluorescent and Daylight φωτισμό. Η βάση περιλαμβάνει 3 φασματικές ανακλαστικότητες του δέρματος ανά άτομο, μετρημένες από τα δύο μάγουλα και το μέτωπο. Επίσης περιέχει την RGB φασματική απόκριση της κάμερας που χρησιμοποιείται και τη φασματική κατανομή της ηλεκτρικής ενέργειας των φωτιστικών [4]. Ιστοσελίδα βάσης δεδομένων: BioID Face DB - HumanScan AG, Switzerland Το σύνολο δεδομένων αποτελείται από 1521 μονοχρωματικές εικόνες με ανάλυση 384 ˣ 286 pixel. Κάθε ένα δείχνει τη μπροστινή όψη ενός από τα 23 διαφορετικά πρόσωπα ελέγχου. 42

44 Ιστοσελίδα βάσης δεδομένων: Labeled Faces in the Wild Είναι μια βάση φωτογραφιών προσώπου που έχουν σχεδιαστεί για τη μελέτη του προβλήματος της αναγνώρισης προσώπου χωρίς περιορισμούς. Η βάση δεδομένων περιέχει περισσότερες από εικόνες προσώπων, οι οποιές συλλέχθηκαν από το διαδίκτυο. Κάθε πρόσωπο έχει επισημανθεί με το όνομα του ατόμου που απεικονίζεται. Από τα άτομα που απεικονίζονται, τα 1680 έχουν δύο ή περισσότερες διακριτές εικόνες στη βάση δεδομένων. Ο μοναδικός περιορισμός σε αυτά τα πρόσωπα είναι ότι είχαν εντοπιστεί από τον ανιχνευτή προσώπου Viola-Jones [1]. Ιστοσελίδα βάσης δεδομένων: The Bosphorus Database Είναι μια νέα βάση τρισδιάστατων απεικονίσεων προσώπων, η οποία περιλαμβάνει ένα πλούσιο σύνολο εκφράσεων, ποικιλία στάσεων και διαφόρων τύπων οπτικών εμποδίων. Αυτή η βάση δεδομένων είναι μοναδική διότι: (α) οι εκφράσεις του προσώπου αποτελούνται από συνετά επιλεγμένα υποσύνολα των μονάδων δράσης και χρησιμοποιήθηκαν ηθοποιοί για να είναι πιο ρεαλιστικά τα στοιχεία έκφρασης, (β) είναι διαθέσιμο ένα πλούσιο σύνολο από στάσεις του κεφαλιού, και (γ) περιλαμβάνονται διαφορετικοί τύποι οπτικών εμποδίων. Ως εκ τούτου, αυτή η νέα βάση δεδομένων μπορεί να είναι ένα πολύτιμο εργαλείο για την ανάπτυξη και την αξιολόγηση των αλγορίθμων αναγνώρισης προσώπου κάτω από αντίξοες συνθήκες. Επίσης μπορεί να χρησιμοποιηθεί και για την ανάλυση ή σύνθεση της έκφρασης του προσώπου. Ιστοσελίδα βάσης δεδομένων: PhotoFace: Face recognition using photometric stereo Αυτή η μοναδική βάση δεδομένων τρισδιάστατων απεικονίσεων προσώπου είναι μια από τις μεγαλύτερες που διατίθενται σήμερα, περιέχει 3187 συνεδρίες από 453 άτομα, τα οποία φωτογραφήθηκαν σε δύο περιόδους καταγραφής, διάρκειας περίπου έξι μηνών η καθεμία. Η συσκευή Photoface βρισκόταν σε ένα διάδρομο επιτρέποντας μια ρεαλιστική και χωρίς περιορισμούς σύλληψη. Κάθε συνεδρία περιλαμβάνει 43

45 τέσσερις διαφορετικές έγχρωμες φωτογραφίες του θέματος, από την οποία μπορεί να υπολογιστεί η κανονική επιφάνεια και οι εκτιμήσεις για την ανακλαστικότητά της. Αυτό επιτρέπει πολλά σενάρια δοκιμής και συνδυασμό δεδομένων διαφορετικών τύπων. Επιπλέον, παρέχεται το εργαλείο Photoface Query (υλοποιημένο σε περιβάλλον Matlab), το οποίο επιτρέπει την εξαγωγή υποσύνόλων της βάσης δεδομένων σύμφωνα με επιλεγμένα μεταδεδομένα όπως π.χ. φύλο, στάση, έκφραση. Ιστοσελίδα βάσης δεδομένων: The Yale Face Database B Περιέχει 5760 εικόνες 10 ατόμων το καθένα ορατό υπό 576 διαφορετικές συνθήκες θέασης (9 στάσης x 64 συνθήκες φωτισμού). Για κάθε πρόσωπο σε μια συγκεκριμένη στάση, καταγράφεται και μια εικόνα υπό διάχυτο φωτισμό [3]. Εικόνα 5.3 Φωτογραφίες του προσώπου με διαφορετικές συνθήκες φωτισμού. Ιστοσελίδα βάσης δεδομένων: The Yale Face Database Περιέχει 165 ασπρόμαυρες εικόνες σε μορφή GIF από 15 άτομα. Υπάρχουν 11 εικόνες ανά πρόσωπο, μία για κάθε διαφορετική έκφραση του προσώπου ή διαμόρφωση: κεντρικός φωτισμός, με γυαλιά, ευτυχισμένος, αριστερός φωτισμός, χωρίς γυαλιά, κανονική, δεξιός φωτισμός, λυπημένος, υπνηλία, έκπληκτος, κλείσιμο ματιού [5]. Είναι μια από τις πιο ευρέως χρησιμοποιούμενες βάσεις για τον έλεγχο αλγορίθμων αναγνώρισης προσώπου και την επιλέξαμε για την διεξαγωγή των πειραμάτων της παρούσας διπλωματικής. 44

46 Εικόνα 5.4 Φωτογραφίες του προσώπου με διαφορετικές συνθήκες φωτισμού και εκφράσεις στη Yale Face Database. Ιστοσελίδα βάσης δεδομένων: 45

47 Αναφορές [1] P. Viola and M. J. Jones. Robust real-time face detection. International Journal of Computer Vision, 57(2): , [2] T. Sim, S. Baker, and M. Bsat. The CMU pose, illumination, and expression database. IEEE Transactions on Pattern Analysis and Machine Intelligence, 25(12): , [3] A. Georghiades, D. Kriegman, and P. Belhumeur. From few to many: generative models for recognition under variable pose and illumination. IEEE Transactions on Pattern Analysis and Machine Intelligence, 23(6): , [4] E. Marszalec, B. Martinkauppi, M. Soriano, and M. Pietkainen. A physics-based face database for color research. Journal of Electronic Imaging, 9(1):32 38, [5] P. N. Belhumeur, J. P. Hespanha, and D. J. Kriegman. Eigenfaces vs. fisherfaces: recognition using class specific linear projection. IEEE Transactions on Pattern Analysis and Machine Intelligence, 19(7): , July

48 Κεφάλαιο 6 Πειραματική Αξιολόγηση Στην εργασία Thomaz and Giraldi (2010), προτείνεται μια νέα μέθοδος κατάταξης των κύριων συνιστωσών που δίνονται από τις διαφορές της ομάδας και εξάγονται από τα διαχωριστικά υπερεπίπεδα. Όπως είδαμε η μέθοδος αυτή ονομάζεται Διαχωριστική Ανάλυση Κυρίων Συνιστωσών και εφαρμόστηκε με επιτυχία για το διαχωρισμό σε δύο κατηγορίες εικόνων προσώπων. Στην παρούσα πτυχιακή προτάθηκε στο κεφάλαιο 3 ένας ευθύς τρόπος επέκτασης της μεθόδου για διαχωρισμό σε πολλαπλές κατηγορίες. Σε αυτό το κεφάλαιο γίνεται η πειραματική αξιολόγηση της επέκτασης αυτής χρησιμοποιώντας εικόνες από τη Yale Face Database. Η Yale Face Database είναι μια από τις πιο ευρέως χρησιμοποιούμενες βάσεις για τον έλεγχο αλγορίθμων αναγνώρισης προσώπου και την επιλέξαμε για την διεξαγωγή των πειραμάτων μας γιατί περιλαμβάνει πλήθος εκφράσεων οι οποίες μπορούν να αποτελέσουν τις πολλαπλές κατηγορίες διαχωρισμού. 6.1 Προ-επεξεργασία δεδομένων Το αρχικό σύνολο δεδομένων της βάσης περιλαμβάνει 165 ασπρόμαυρες εικόνες σε μορφή GIF από 15 άτομα. Υπάρχουν 11 εικόνες ανά πρόσωπο, μία για κάθε διαφορετική έκφραση του προσώπου ή διαμόρφωση: κεντρικός φωτισμός, με γυαλιά, ευτυχισμένος, αριστερός φωτισμός, χωρίς γυαλιά, κανονική, δεξιός φωτισμός, λυπημένος, υπνηλία, έκπληκτος, κλείσιμο ματιού. Ωστόσο, για τη διεξαγωγή των πειραμάτων μας επιλέξαμε τέσσερις από τις 11 κατηγορίες, προκειμένου να μην χρειάζεται η κατασκευή μεγάλου αριθμού δυαδικών SVM ταξινομητών. Επίσης μειώσαμε το μέγεθος των εικόνων σε 64ˣ64 εικονοστοιχεία, ούτως ώστε να μειώσουμε και την αρχική διάσταση των διανυσμάτων των εικόνων. Τέλος επιλέξαμε τις 40 εικόνες των 10 ατόμων για εκπαίδευση και τις υπόλοιπες 20 εικόνες των άλλων 5 ατόμων για έλεγχο. Πραγματοποιήσαμε δύο πειράματα. Το πρώτο πείραμα αφορούσε τις εκφράσεις και περιλάμβανε τις κατηγορίες κανονικός, χαρούμενος, έκπληκτος και υπνηλία, ενώ το δεύτερο πείραμα το φωτισμό και περιλάμβανε τις κατηγορίες κανονικός, κεντρικός φωτισμός, αριστερός φωτισμός και δεξιός φωτισμός. Τα πειράματα πραγματοποιήθηκαν σε περιβάλλον Matlab και ο κώδικας που χησιμοποιήθηκε δίνεται στο Παράρτημα. 6.2 Περιγραφή Πρώτου Πειράματος Για το πρώτο πείραμα επιλέξαμε τις κατηγορίες κανονικός, χαρούμενος, έκπληκτος και υπνηλία οι οποίες αφορούν εκφράσεις προσώπου και αναλογούν συνολικά σε 60 εικόνες της βάσης. Στην Εικόνα 6.1 φαίνονται οι εικόνες εκπαίδευσης, ενώ στην Εικόνα 6.2 οι εικόνες ελέγχου. 47

49 Εικόνα 6.1 Εικόνες εκπαίδευσης 48

50 Εικόνα 6.2 Εικόνες ελέγχου Αρχικά χρησιμοποιήσαμε τις εικόνες εκπαίδευσης για να δημιουργήσουμε τον ιδιοχώρο προσώπων με χρήση ανάλυσης κυρίων συνιστωσών. Ο πλήρης ιδιοχώρος έχει διάσταση Ωστόσο μόνο 39 ιδιοτιμές είναι μη μηδενικές. Στη συνέχεια επιλέξαμε τις κύριες συνιστώσες με τις μεγαλύτερες ιδιοτιμές έτσι ώστε συνολικά να περιλαμβάνουν το 90% της διακύμανσης. Για το συγκεκριμένο σύνολο εκπαίδευσης από τις 39 μη μηδενικές συνιστώσες, οι πρώτες 19 αντιστοιχούν στο 90.6% της συνολικής διακύμανσης. Στη συνέχεια χρησιμοποιήσαμε τις προβολές στον υποχώρο των 39 συνιστωσών με τις μη μηδενικές ιδιοτιμές για να εκπαιδεύσουμε ένα OVA- SVM ταξινομητή τεσσάρων κατηγοριών. Ο OVA-SVM ταξινομητής αποτελείται από τέσσερις δυαδικούς SVM ταξινομητές των οποίων τα βάρη και υπολογίσαμε. Προσθέτωντας τα τετράγωνα κάθε βάρους για τους τέσσερις ταξινομητές υπολογίσαμε τα μέσα τετραγωνικά βάρη και τα κατατάξαμε κατά φθίνουσα σειρά. Στη συνέχεια υπολογίσαμε το πλήθος που περιλαβάνει το 90% του συνολικού πλάτους τους. Για το συγκεκριμένο σύνολο εκπαίδευσης το πλήθος αυτό είναι τα 22 μεγαλύτερα βάρη. Τέλος χρησιμοποιήσαμε τις κύριες συνιστώσες αυτών των 22 χαρακτηριστικών για να προβάλουμε τις εικόνες και να κάνουμε την ταξινόμηση. Σε κάθε μία από τις παραπάνω τρεις περιπτώσεις (πλήρης, 90% PCA, 90% DPCA) η ταξινόμηση πραγματοποιήθηκε με τη χρήση κάποιου μέτρου απόστασης. Συγκεκριμένα εξετάσαμε την απόδοση των μεθόδων με χρήση τεσσάρων μέτρων απόστασης: ευκλείδεια, Manhattan, Μahalanobis, συσχέτιση. 49

51 6.2.1 Παράδειγμα ταξινόμησης για μία εικόνα ελέγχου Χρησιμοποιώντας τον κώδικα που δίνεται στο Παράρτημα προχωρήσαμε στην πειραματική αξιολόγηση των μεθόδων ταξινόμησης. Τα προγράμματα που χρησιμοποιήσαμε για λόγους αποδοτικότητας πραγματοποιούν τους υπολογισμούς σε μορφή πινάκων ταυτόχρονα για όλες τις εικόνες ελέγχου. Ωστόσο, για λόγους κατανόησης δίνουν την επιλογή να προβληθούν τα αποτελέσματα των επιμέρους υπολογισμών για μία εικόνα ελέγχου. Ακολουθούν αυτά τα αποτελέσματα σε μορφή Matlab Figures, όπως αυτά προέκυψαν από το πρόγραμμα για τη δέκατη εικόνα του συνόλου ελέγχου που χρησιμοποιήσαμε στο πρώτο πείραμα (Εικόνα 6.3). Εικόνα 6.3 Η δέκατη εικόνα στο σύνολο ελέγχου του πρώτου πειράματος Ακολουθεί η μέση εικόνα, όπως προέκυψε από τις 40 εικόνες του συνόλου εκπαίδευσης του πρώτου πειράματος (Εικόνα 6.4). 50

52 Εικόνα 6.4 Η μέση εικόνα του συνόλου εκπαίδευσης του πρώτου πειράματος Στη συνέχεια παρουσιάζεται ξανά η εικόνα ελέγχου μετά την κανονικοποίησή της, η οποία πραγματοποιήθηκε με αφαίρεση της μέσης εικόνας (Εικόνα 6.5). 51

53 Εικόνα 6.5 Η δέκατη εικόνα στο σύνολο ελέγχου του πρώτου πειράματος μετά την κανονικοποίηση Στην Εικόνα 6.6 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την απλή PCA και την Ευκλέιδια απόσταση. Η ταξινόμηση απέτυχε, καθώς η εικόνα ελέγχου ανήκει στην κατηγορία χαρούμενος, ενώ η πλησιέστερη εικόνα εκπαίδευσης σύμφωνα με την απλή PCA ανήκει στην κατηγορία κανονικός. 52

54 Εικόνα 6.6 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του πρώτου πειράματος με χρήση απλής PCA Στην Εικόνα 6.7 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την PCA με επιλογή των μεγαλύτερων ιδιοτιμών και μέτρο την Ευκλέιδια απόσταση. Όπως και στην απλή PCA η ταξινόμηση απέτυχε, καθώς η εικόνα ελέγχου ανήκει στην κατηγορία χαρούμενος, ενώ η πλησιέστερη εικόνα εκπαίδευσης ανήκει στην κατηγορία κανονικός. 53

55 Εικόνα 6.7 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του πρώτου πειράματος με χρήση PCA με επιλογή των μεγαλύτερων ιδιοτιμών Στην Εικόνα 6.8 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την DPCA και μέτρο την Ευκλέιδια απόσταση. Αντίθετα από τις δύο παραπάνω περιπτώσεις η ταξινόμηση πέτυχε, καθώς η εικόνα ελέγχου ανήκει στην κατηγορία χαρούμενος και η πλησιέστερη εικόνα εκπαίδευσης ανήκει επίσης στην ίδια κατηγορία. 54

56 Εικόνα 6.8 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του πρώτου πειράματος με χρήση DPCA Όπως βλεπουμε η DPCA, αντίθετα από τις άλλες δύο μεθόδους φαίνεται να μην επηρεάζεται από την παρουσία γυαλιών και μουστακιού και καταφέρνει να διακρίνει την παρουσία χαμόγελου Πειραματικά Αποτελέσματα Στον Πινακα 6.1 παρουσιάζεται το ποσοστό επιτυχούς διαχωρισμού % για τις παραπάνω τρεις περιπτώσεις ταξινόμησης. Κάθε γραμμή του πίνακα αντιστοιχεί και σε διαφορετικό μέτρο απόστασης, ενώ στην τελευταία γραμμή υπολογίζεται ο μέσος όρος για όλα τα μέτρα απόστασης Πίνακας 6.1 Ποσοστά επιτυχούς ταξινόμησης Πλήρης PCA 90% PCA 90% DPCA Ευκλείδια 60 % 60 % 65 % Manhattan 60 % 50 % 65 % Μahalanobis 50 % 50 % 55 % Συσχέτιση 65 % 60 % 55 % Συνολικά % 55 % 60 % Όπως βλέπουμε από τον παραπάνω πίνακα υπάρχει μια σχετική συμφωνία στα αποτελέσματα των τριών πρώτων αποστάσεων, ενώ αυτά της συσχέτισης 55

57 διαφοροποιούνται σημαντικά. Με εξαίρεση τη συσχέτιση η χρήση DPCA βελτιώνει το ποσοστό σωστής ταξινόμησης. Αυτό ισχύει και για τους μέσους όρους των ποσοστών με την DPCA να εμφανίζει 60% επιτυχία. Ωστόσο, την καλύτερη απόδοση την εμφανίζει η DPCA για την Ευκλείδια απόσταση, αγγίζοντας το 65%. Στον Πίνακα 6.2 παρουσιάζεται η σειρά με την οποία κατατάχτηκαν οι κύριες συνιστώσες με βάση τα βάρη του OVA-SVM. Η πρώτη γραμμή περιλαμβάνει τις 22 που επιλέχτηκαν από την DPCA, ενώ η δεύτερη γραμμή τις υπόλοιπες 17. Πίνακας 6.2 Ιεράρχιση κυρίων συνιστωσών με βάση την DPCA Επ Μη Επ Από την πρώτη γραμμή του Πίνακα 6.2 προκύπτει πως 16 από τις 22 επιλεγμένες συνιστώσες είναι κοινές με αυτές της 90% PCA. Ωστόσο, οι 1, 12 και 15 δεν περιλαμβάνονται και στη θέση τους επιλέγονται οι 23, 27, 29, 30, 31, 35. Δηλαδή συνιστώσες με αρκετά μικρές ιδιοτιμές, που ωστόσο συνεισφέρουν αρκετά στο υπερεπίπεδο διαχωρισμού του OVA-SVM. Αξίζει να επισημάνουμε πως η DPCA κατατάσει τελευταία την πρώτη συνιστώσα της PCA, η οποία αν και περιέχει περιπου το 28% της συνολικής διακύμανσης δεν συνεισφέρει σημαντικά στο διαχωρισμό των κατηγοριών. 6.3 Περιγραφή Δεύτερου Πειράματος Για το δεύτερο πείραμα επιλέξαμε τις κατηγορίες κατηγορίες κανονικός, κεντρικός φωτισμός, αριστερός φωτισμός και δεξιός φωτισμός, οι οποίες αφορούν τον προσανατολισμό του φωτισμού και αναλογούν συνολικά σε 60 εικόνες της βάσης. Στην Εικόνα 6.9 φαίνονται οι εικόνες εκπαίδευσης, ενώ στην Εικόνα 6.10 οι εικόνες ελέγχου. 56

58 Εικόνα 6.9 Εικόνες εκπαίδευσης 57

59 Εικόνα 6.10 Εικόνες ελέγχου Αρχικά χρησιμοποιήσαμε τις εικόνες εκπαίδευσης για να δημιουργήσουμε τον ιδιοχώρο προσώπων με χρήση ανάλυσης κυρίων συνιστωσών. Ο πλήρης ιδιοχώρος έχει διάσταση Ωστόσο μόνο 39 ιδιοτιμές είναι μη μηδενικές. Στη συνέχεια επιλέξαμε τις κύριες συνιστώσες με τις μεγαλύτερες ιδιοτιμές έτσι ώστε συνολικά να περιλαμβάνουν το 90% της διακύμανσης. Για το συγκεκριμένο σύνολο εκπαίδευσης από τις 39 μη μηδενικές συνιστώσες, οι πρώτες 13 αντιστοιχούν στο 90.2% της συνολικής διακύμανσης. Στη συνέχεια χρησιμοποιήσαμε τις προβολές στον υποχώρο των 39 συνιστωσών με τις μη μηδενικές ιδιοτιμές για να εκπαιδεύσουμε ένα OVA- SVM ταξινομητή τεσσάρων κατηγοριών. Ο OVA-SVM ταξινομητής αποτελείται από τέσσερις δυαδικούς SVM ταξινομητές των οποίων τα βάρη και υπολογίσαμε. Προσθέτωντας τα τετράγωνα κάθε βάρους για τους τέσσερις ταξινομητές υπολογίσαμε τα μέσα τετραγωνικά βάρη και τα κατατάξαμε κατά φθίνουσα σειρά. Στη συνέχεια υπολογίσαμε το πλήθος που περιλαβάνει το 90% του συνολικού πλάτους τους. Για το συγκεκριμένο σύνολο εκπαίδευσης το πλήθος αυτό είναι τα 14 μεγαλύτερα βάρη. Τέλος χρησιμοποιήσαμε τις κύριες συνιστώσες αυτών των 14 χαρακτηριστικών για να προβάλουμε τις εικόνες και να κάνουμε την ταξινόμηση. Σε κάθε μία από τις παραπάνω τρεις περιπτώσεις (πλήρης, 90% PCA, 90% DPCA) η ταξινόμηση πραγματοποιήθηκε με τη χρήση κάποιου μέτρου απόστασης. Συγκεκριμένα εξετάσαμε την απόδοση των μεθόδων με χρήση τεσσάρων μέτρων απόστασης: ευκλείδεια, Manhattan, Μahalanobis, συσχέτιση. 58

60 6.3.1 Παράδειγμα ταξινόμησης για μία εικόνα ελέγχου Ακολουθούν αυτά τα αποτελέσματα σε μορφή Matlab Figures, όπως αυτά προέκυψαν από το πρόγραμμα για τη δέκατη εικόνα του συνόλου ελέγχου που χρησιμοποιήσαμε στο δεύτερο πείραμα (Εικόνα 6.11). Εικόνα 6.11 Η δέκατη εικόνα στο σύνολο ελέγχου του δεύτερου πειράματος Ακολουθεί η μέση εικόνα, όπως προέκυψε από τις 40 εικόνες του συνόλου εκπαίδευσης του δεύτερου πειράματος (Εικόνα 6.12). 59

61 Εικόνα 6.12 Η μέση εικόνα του συνόλου εκπαίδευσης του δεύτερου πειράματος Στη συνέχεια παρουσιάζεται ξανά η εικόνα ελέγχου μετά την κανονικοποίησή της, η οποία πραγματοποιήθηκε με αφαίρεση της μέσης εικόνας (Εικόνα 6.13). 60

62 Εικόνα 6.13 Η δέκατη εικόνα στο σύνολο ελέγχου του δεύτερου πειράματος μετά την κανονικοποίηση Στην Εικόνα 6.14 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την απλή PCA και την Ευκλέιδια απόσταση. Η ταξινόμηση πέτυχε, καθώς η εικόνα ελέγχου ανήκει στην κατηγορία δεξιός φωτισμός και η πλησιέστερη εικόνα εκπαίδευσης σύμφωνα με την απλή PCA ανήκει επίσης στην ίδια κατηγορία. 61

63 Εικόνα 6.14 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του δεύτερου πειράματος με χρήση απλής PCA Στην Εικόνα 6.15 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την PCA με επιλογή των μεγαλύτερων ιδιοτιμών και μέτρο την Ευκλέιδια απόσταση. Όπως και στην απλή PCA η ταξινόμηση πέτυχε. 62

64 Εικόνα 6.15 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του δεύτερου πειράματος με χρήση PCA με επιλογή των μεγαλύτερων ιδιοτιμών Στην Εικόνα 6.16 παρουσιάζεται το αποτέλεσμα της ταξινόμησης της εικόνας ελέγχου με βάση την DPCA και μέτρο την Ευκλέιδια απόσταση. Όπως και στις δύο παραπάνω περιπτώσεις η ταξινόμηση πέτυχε. 63

65 Εικόνα 6.16 Το αποτέλεσμα της ταξινόμησης της δέκατης εικόνας του συνόλου ελέγχου του δεύτερου πειράματος με χρήση DPCA Όπως βλεπουμε αντίθετα από το αποτέλεσμα του πρώτου πειράματος, και οι τρεις μέθοδοι πέτυχαν σωστή ταξινόμηση. Αυτό μάλλον οφείλεται στο γεγονός ότι στο δεύτερο πείραμ ο φωτισμός περιέχει σημαντική πληροφορία όχι μόνο συνολικά για την εικόνα, αλλά και για το διαχωρισμό ανάμεσα στις κατηγορίες αφού αυτές έχουν να κάνουν με την κατεύθυνση του φωτισμού Πειραματικά Αποτελέσματα Στον Πινακα 6.3 παρουσιάζεται το ποσοστό επιτυχούς διαχωρισμού % για τις παραπάνω τρεις περιπτώσεις ταξινόμησης. Κάθε γραμμή του πίνακα αντιστοιχεί και σε διαφορετικό μέτρο απόστασης, ενώ στην τελευταία γραμμή υπολογίζεται ο μέσος όρος για όλα τα μέτρα απόστασης Πίνακας 6.3 Ποσοστά επιτυχούς ταξινόμησης Πλήρης PCA 90% PCA 90% DPCA Ευκλείδια 80 % 80 % 85 % Manhattan 75 % 80 % 85 % Μahalanobis 55 % 65 % 80 % Συσχέτιση 80 % 80 % 80 % Συνολικά 72.5 % % 82.5 % 64

66 Όπως βλέπουμε από τον παραπάνω πίνακα υπάρχει μια σχετική συμφωνία στα αποτελέσματα των αποστάσεων, εκτός από αυτά της Μahalanobis που διαφοροποιούνται σημαντικά. Με εξαίρεση τη συσχέτιση η χρήση DPCA βελτιώνει το ποσοστό σωστής ταξινόμησης. Αυτό ισχύει και για τους μέσους όρους των ποσοστών με την DPCA να εμφανίζει 82.5% επιτυχία. Ωστόσο, την καλύτερη απόδοση την εμφανίζει η DPCA για την Ευκλείδια απόσταση, αγγίζοντας το 85%. Στον Πίνακα 6.4 παρουσιάζεται η σειρά με την οποία κατατάχτηκαν οι κύριες συνιστώσες με βάση τα βάρη του OVA-SVM. Η πρώτη γραμμή περιλαμβάνει τις 14 που επιλέχτηκαν από την DPCA. Πίνακας 6.2 Ιεράρχιση κυρίων συνιστωσών με βάση την DPCA Επ Από την πρώτη γραμμή του Πίνακα 6.2 προκύπτει πως 9 από τις 14 επιλεγμένες συνιστώσες είναι κοινές με αυτές της 90% PCA. Ωστόσο, οι 5, 11, 12 και 13 δεν περιλαμβάνονται και στη θέση τους επιλέγονται οι 15, 17, 19, 21, 26. Δηλαδή συνιστώσες με αρκετά μικρές ιδιοτιμές, που ωστόσο συνεισφέρουν αρκετά στο υπερεπίπεδο διαχωρισμού του OVA-SVM. Αξίζει να επισημάνουμε πως η DPCA κατατάσει πρώτη την πρώτη συνιστώσα της PCA, η οποία και περιέχει περιπου το 39% της συνολικής διακύμανσης αλλά συνεισφέρει επίσης σημαντικά στο διαχωρισμό των κατηγοριών. 65

67 Κεφάλαιο 7 Συμπεράσματα Η αναγνώριση προσώπου και οι συναφείς εφαρμογές αποτελούν ένα αρκετά ενδιαφέρον πεδίο έρευνας που συγκεντρώνει ολοένα και αυξανόμενη προσοχή από την επιστημονική κοινότητα τα τελευταία χρόνια. Η παρούσα πτυχιακή επικεντρώθηκε στην ταξινόμηση εικόνων προσώπου με χρήση μιας νέας μεθόδου που ονομάζεται διαχωριστική ανάλυση κυρίων συνιστωσών (DPCA). Η μέθοδος αυτή βασίζεται στην κλασική ανάλυση κυρίων συνιστωσών όπως αυτή εφαρμόζεται συνήθως στην αναγνώριση προσώπου, αλλά πραγματοποιεί επιλογή των πιο χαρακτηριστικών κυρίων συνιστωσών με βάση τα βάρη ενός γραμμικού ταξινομητή. Η DPCA όπως είχε προταθεί και αξιολογηθεί στην εργασία Thomaz and Giraldi (2010), αναφέρεται σε διαχωρισμό σε δύο κατηγορίες. Στην παρούσα πτυχιακή προτείναμε την επέκτασή της σε προβλήματα πολλαπλών κατηγοριών. Για να το πετύχουμε αυτό, ως γραμμικό ταξινομητή επιλέξαμε τον OVA-SVM, ο οποίος ουσιαστικά αποτελείται από Κ δυαδικούς SVM ταξινομητές για διαχωρισμό σε Κ κατηγορίες. Ως μέτρο για την επιλογή των πιο χαρακτηριστικών κυρίων συνιστωσών χρησιμοποιήσαμε το μέσο όρο των τετραγώνων κάθε βάρους για τους Κ δυαδικούς ταξινομητές του OVA-SVM. Αυτή είναι μια συνήθης τακτική που ακολουθείται και στην περίπτωση επιλογής χαρακτηριστικών όταν η ταξινόμηση πραγματοποιείται με SVM. Μια τέτοια περίπτωση είναι η επιλογή χαρακτηριστικών με χρήση Recursive Feature Elimination (RFE), όπως αυτή έχει επεκταθεί για προβλήματα πολλαπλών κατηγοριών. Στο Κεφάλαιο 6 πραγματοποιήσαμε την πειραματική αξιολόγηση της προτεινόμενης μεθόδου. Για το σκοπό αυτό χρησιμοποιήσαμε δύο σύνολα δεδομένων τα οποία εξάγαμε από τη Yale Face Database. Κάθε σύνολο περιέχει 60 εκόνες προσώπου από 4 διαφορετικές κατηγορίες. Το πρώτο σύνολο έκανε διαχωριμό με βάση την έκφραση του προσώπου, ενώ το δεύτερο με βάση το φωτισμό. Η εκπαίδευση πραγματοποιήθηκε με χρήση των 40 εκ των 60 εικόνων, ενώ οι υπόλοιπες 20 χρησιμοποιήθηκαν για έλεγχο. Η ταξινόμηση στις κατηγορίες πραγματοποιήθηκε με χρήση τεσσάρων μέτρων απόστασης. Και στις δύο περιπτώσεις η επέκταση της DPCA παρουσίασε καλύτερη απόδοση από την κλασσική PCA για την πλειοψηφία των μέτρων απόστασης, αλλά και κατά μέσο όρο. Στην περίπτωση του διαχωρισμού εκφράσεων η DPCA πέτυχε σωστή ταξινόμηση κατά 65%, ενώ στην περίπτωση διαχωρισμού ως προς το φωτισμό η απόδοση άγγιξε το 85%. Αυτή η διαφορά ανάμεσα στα αποτελέσματα των δύο πειραμάτων υποδηλώνει ότι ο φωτισμός μάλλον επιφέρει σημαντικότερες αλλαγές στην εικόνα του προσώπου από ότι οι ίδιες οι εκφράσεις. Επίσης αξίζει να σημειώσουμε πως στην περίπτωση των εκφράσεων η DPCA αφαιρεί την πρώτη κύρια συνιστώσα, η οποία περιλαμβάνει το 28% της διακύμανσης. Μάλιστα την κατατάσσει τελευταία με βάση τα βάρη του γραμμικού ταξινομητή. Αντίθετα στην περίπτωση του φωτισμού επιλέγει την πρώτη κύρια 66

68 συνιστώσα, την οποία μάλιστα την κατατάσσει επίσης πρώτη με βάση τα βάρη του γραμμικού ταξινομητή. Από τα παραπάνω μπορούμε να συμπεράνουμε πως στην περίπτωση του φωτισμού, οι μεγάλες αλλαγές οφείλονται κυρίως στο διαφορετικό φωτισμό και άρα πρέπει να τις λάβουμε υπόψιν για το διαχωρισμό. Αντίθετα οι μεγάλες αλλαγές στο σύνολο των εκφράσεων δεν οφείλονται στις εκφράσεις και πρέπει να τις αγνοήσουμε κατά το διαχωρισμό. Αυτό επαληθεύεται και από το γεγονός ότι η κλασσική PCA που δεν απορρίπτει την πρώτη κύρια συνιστώσα παράγει μικρότερο ποσοστό σωστής ταξινόμησης από την DPCA. Επομένως, η DPCA φαίνεται να είναι μια αξιόπιστη μέθοδος επιλογής κύριων συνιστωσών ακόμα και στην περίπτωση πολλαπλών κατηγοριών. Επειδή στα σύνολα που χρησιμοποιήσαμε είχαμε το πολύ 39 κύριες συνιστώσες με μη μηδενικές ιδιοτιμές, θα μπορούσαμε ως μελλοντική δουλειά να εξετάσουμε την απόδοση της DPCA σε μεγαλύτερα σύναλα εικόνων, έτσι ώστε να γίνεται επιλογή από περισσότερες κύριες συνιστώσες. Επίσης θα μπορούσαμε να εξετάσουμε και διαφορετικούς γραμμικούς ταξινομητές πολλαπλών κατηγοριών. 67

69 Παράρτημα Για τη διεξαγωγή των πειραμάτων χρησιμοποιήσαμε το προγραμματιστικό περιβάλλον Matlab της Mathworks, το οποίο περιλαμβάνει έτοιμες συναρτήσεις για επεξεργασία εικόνας και ταξινόμηση με SVM. Ακολουθεί η λίστα των αρχείων που χρησιμοποιήσαμε και δεν περιλαμβάνονται στο περιβάλλον, ενώ στη συνέχεια περιγράφουμε εν συντομία τη λειτουργία τους: 1 MYpca2.m 2 makebasis2.m 3 classif2.m 4 multisvm.m 5 SVMweights.m 6 recognizeexpression.m Για την ανάπτυξη των τριών πρώτων προγραμμάτων βασιστήκαμε στα αρχεία pca.m, makebasis.m και classif.m του Teofilo Campos ( ενώ η πρωτότυπη εκδοχή του multisvm προέρχεται από το σύστημα ανταλλαγής αρχείων της Mathworks και συγγραφέας του είναι ο Cody Neuburger, ( Τα πειράματα πραγματοποιήθηκαν εκτελώντας το αρχείο MYpca2.m σύμφωνα με τις εντολές του οποίου αρχικά φορτώνονται τα δεδομένα που είναι αποθηκευμένα σε μορφή πινάκων μέσα στα αρχεία ExperDataSet1.mat και ExperDataSet2.mat για το πρώτο και δεύτερο πείραμα αντίστοιχα. Στη συνέχεια υπολογίζεται η μέση εικόνα και αφαιρείται από τους πίνακες με τις εικόνες εκπαίδευσης και ελέγχου. Κατόπιν καλείται η συνάρτηση makebasis2 η οποία υπολογίζει με αποδοτικό τρόπο τις ιδιοτιμές και τα ιδιοδιανύσματα της μήτρας συνδιασποράς των εικόνων εκπαίδευσης και τα επιστρέφει με φθίνουσα σειρά. Με χρήση των υπολογισμένων ιδιοδιανυσμάτων οι εκόνες εκπαίδευσης και ελέγχου προβάλλονται στο νέο υποχώρο. Ύστερα καλείται η συνάρτηση classif2, η οποία υπολογίζει την εικόνα εκπαίδευσης που στο νέο υποχώρο είναι πλησιέστερα στην κάθε μία από τις εικόνες ελέγχου και έτσι πραγματοποιείται η ταξινόμηση. Η classif2 καλείται τέσσερις φορές, κάθε φορά με διαφορετικό μέτρο απόστασης. Τέλος χρησιμοποιώντας τις πραγματικές κατηγορίες των εικόνων ελέγχου υπολογίζονται τα ποσοστά επιτυχούς ταξινόμησης για κάθε μέτρο απόστασης που χρησιμοποιήθηκε. Η παραπάνω διαδικασία ταξινόμησης επαναλαμβάνεται αφού επιλεγούν πρώτα οι ιδιοτιμές που συγκεντρώνουν το 90% της συνολικής διακύμανσης και οι εικόνες προβληθούν στον υποχώρο των επιλεγμένων ιδιοτιμών. Στη συνέχεια καλείται η συνάρτηση multisvm, με είσοδο τις προβαλλόμενες στον αρχικό υποχώρο εικόνες εκπαίδευσης και ελέγχου. Η multisvm πραγματοποιεί διαχωρισμό σε πολλαπλές κατηγορίες με χρήση OVA- SVM ταξινομητή, ενώ υπολογίζει τα βάρη των δυαδικών ταξινομητών καλώντας τη συνάρτηση SVMweights. Στη συνέχεια μέσα στο MYpca2.m υπολογίζονται τα μέσα τετραγωνικά βάρη των ταξινομητών και τοποθετούνται σε φθίνουσα σειρά ώστε να γίνει η νέα επιλογή των κυρίων συνιστωσών. Με βάση τη νέα επιλογή οι εικόνες εκπαίδευσης και ελέγχου προβάλλονται σε νέο υποχώρο και πραγματοποιείται ξανά ταξινόμηση με χρήση της συνάρτησης classif2. Τέλος το MYpca2.m τυπώνει στη 68

70 γραμμή εντολών ένα πίνακα με τα ποσοστά επιτυχούς ταξινόμησης για τις τρεις μεθόδους και τα τέσσερα μέτρα απόστασης. Για λόγους παρουσίασης δημιουργήσαμε και τη συνάρτηση recognizeexpression.m, η οποία μπορεί να πάρει σαν είσοδο μια μεμονωμένη εικόνα ελέγχου και να την ταξινομήσει εμφανίζοντας και ενδιάμεσα αποτελέσματα. Στη συνέχεια παραθέτουμε το περιεχόμενο των παραπάνω προγραμμάτων: MYpca2.m: Το αρχείο αυτό καλείται στη γραμμή εντολών και πραγματοποιεί τα πειράματα του Κεφαλαίου 6 close all clear clc % Set dispflag to 1 if you want to display example, else set it to 0. dispflag=1; % Load Yale Face Database data: % DataSet1 4 different expressions load ExperDataSet1.mat n1=10; % DataSet2 4 different light orientations % load ExperDataSet2.mat % n1=11; %Loads: %TrainSet: 40x4096, 40 face images 64x64 of 10 persons (4 images per person) %TestSet: 20x4096, 20 face images 64x64 of 5 persons (4 images per person) %Train Targets: 40x1, labels for the face class (1 of 4) of each training image %Test Targets: 40x1, labels for the face class (1 of 4) of each training image % Displaying the tenth image in the test set if dispflag Im1=TestSet(n1,:); Im1=uint8(reshape(Im1,64,64)); h1=figure('name','this is the tenth image in the Test Set'),imshow(Im1); 69

71 end pause; % Calculate mean image using training set meanimg=mean(trainset); % Displaying the mean image of the training set if dispflag Im2=uint8(reshape(meanImg,64,64)); h2=figure('name','this is the mean image of the Training Set'),imshow(Im2); pause; end % Repeat mean image 40 times MeanImg1=repmat(meanImg,size(TrainSet,1),1); % Repeat mean image 20 times MeanImg2=repmat(meanImg,size(TestSet,1),1); % Center training set Xbasis = (TrainSet-MeanImg1)'; % Center test set Xtest = (TestSet-MeanImg2)'; % Displaying the sixth image in the test set after centering if dispflag Im3=Xtest(:,n1); Im3=reshape(Im3,64,64); h3=figure('name','this is the tenth image in the Test Set after centering'),imshow(im3/255,[]); pause; end % Compute number of non zero eigenvalues (neig) neig=min(size(trainset))-1; if dispflag display(['there are ' num2str(neig) ' non-zero eigenvalues of the covariance matrix']) end % Calculating Original Eigenspace ['Creating the face spaces basis...'] [A,eigenvalues_sort]=makebasis2(Xbasis); % A 4096x40 contains the sorted eigenvectors of the eigenspace and eigenvalues_sort 1x40 contains the sorted eigenvalues 70

72 % Projecting Training images to Original Eigenspace (which contains all 39 % eigenvectors with non zero eigenvalues) ['Creating the faces representation in original face space...'] YtrainAll= A(:,1:neig)'*Xbasis; % Projecting Training images to Original Eigenspace YtestAll= A(:,1:neig)'*Xtest; % Calculating classification rates for Original Eigenspace of the 20 test images and for four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification rates for Original Eigenspace of the 20 test images...'] RatesAll=zeros(4,1); for i=0:3 classification=classif2(ytrainall, YtestAll, i); % classif2 assigns a class label to every test image Succ= TestTargets == TrainTargets(classification);% Succ is a vector with 0,1 indicating correct(1) and wrong(0) classification rate=100*sum(uint8(succ))/length(succ); RatesAll(i+1,1)=rate; end if dispflag Im4=Xbasis(:,classification(n1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the tenth image in the Test Set using Original PCA and Eucleidian distance'), end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; ['Selecting eigenvalues:'] % cumulative sum of sorted eigenvalues Seig=cumsum(eigenvalues_sort)/sum(eigenvalues_sort); % find sum larger than 90% of total sum SelEig=find(Seig>0.9); neig=seleig(1); 71

73 % Projecting Training images to Selected Eigenspace ['Creating the faces representation in selected face space...'] YtrainSel= A(:,1:neig)'*Xbasis; % Projecting Test images to Selected Eigenspace YtestSel = A(:,1:neig)'*Xtest; % Calculating classification rates for Selected Eigenspace and four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification rates for Selected Eigenspace of the 20 test images...'] RatesSel=zeros(4,1); for i=0:3 classification=classif2(ytrainsel, YtestSel, i); % classif2 assigns a class label to every test image Succ= TestTargets == TrainTargets(classification); % Succ is a vector with 0,1 indicating correct(1) and wrong(0) classification rate=100*sum(uint8(succ))/length(succ); RatesSel(i+1,1)=rate; end if dispflag Im4=Xbasis(:,classification(n1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the tenth image in the Test Set using Selected PCA and Eucleidian distance'), end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; % Proposed method for component selection based on SVM weights: ['Selecting eigenvalues using SVM weights:'] [result,models,svmweights] = multisvm(ytrainall',traintargets,ytestall'); % Computes One Versus All-SVM and returns the weights in svmweights (4x39) % every row of svmweights corresponds to the weights of a binary SVM 72

74 % the weights of the 4 binary SVMs are averaged WW=sum(svmWeights.^2); % and sorted from largest to smallest [ww,seira]=sort(ww,'descend'); % cumulative sum of sorted SVM weights Sww=cumsum(ww)/sum(ww); % find sum larger than 88% of total sum SelW=find(Sww>0.88); nw=selw(1); % create index for the selected Eigenvalues indx=seira(1:nw); % Projecting Training images to SVM Selected Eigenspace ['Creating the faces representation in SVM selected face space...'] YtrainSVM= A(:,indx)'*Xbasis; % Projecting Test images to SVM Selected Eigenspace YtestSVM= A(:,indx)'*Xtest; % Calculating classification rates for SVM selected Eigenspace and four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification rates for SVM Selected Eigenspace of the 20 test images...'] RatesSVM=zeros(4,1); for i=0:3 classification=classif2(ytrainsvm, YtestSVM, i); % classif2 assigns a class label to every test image Succ= TestTargets == TrainTargets(classification); % Succ is a vector with 0,1 indicating correct(1) and wrong(0) classification rate=100*sum(uint8(succ))/length(succ); RatesSVM(i+1,1)=rate; end if dispflag Im4=Xbasis(:,classification(n1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the tenth image in the Test Set using SVM Selected PCA and Eucleidian distance'), end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; 73

75 ['Printing correct classification rates:'] RatesDataSet=[RatesAll RatesSel RatesSVM] %save resultsdataset.mat RatesDataSet seira neig makebasis2.m: Η συνάρτηση makebasis2 καλείται από το αρχείο MYpca2.m για να υπολογίσει τα ιδιοδιανύσματα (Α) και τις ιδιοτιμές (eigenvalues_sort) της μήτρας συνδιασποράς του πίνακα Χ. Ιεραρχεί τις ιδοτιμές από τη μεγαλύτερη προς τη μικρότερη. function [A,eigenvalues_sort] = makebasis2(x) % A = makebase(x) % % Function that creates the "faces space", i. e. the % basis of the space created throught the eigenvectors % of the covariance matrix of the population matrix X. % % % A = Orthogonal basis of the face space. [r1 c1]=size(x); if r1<=c1 % Covariance matrix: ['Computing the covariance matrix of X (Cx)...'] Cx = cov(x'); % The matrix X must be transposed because each row % of X ia a variable, and each column of X is an % observation (face). ['Computing the eigenfaces and eigenvalues of Cx...'] [V,D] = eig(cx); % D = diagonal matrix with the eigenvalues % V = matrix in witch eacj column is the % respective eigenfaces: % Cx*V = V*D. ['Sorting the eigenvectors with respect to the decreasing order of the eigenvalues...'] eigenvalues = diag(d); [eigenvalues, index] = sort(eigenvalues); sizev=size(v,2); else % Covariance matrix: ['Computing the covariance matrix of X (Cx)...'] 74

76 Cx = X'*X; % The matrix X must be transposed because each row % of X ia a variable, and each column of X is an % observation (face). ['Computing the eigenfaces and eigenvalues of Cx...'] [V,D] = eig(cx); % D = diagonal matrix with the eigenvalues % V = matrix in witch eacj column is the % respective eigenfaces: % Cx*V = V*D. ['Sorting the eigenvectors with respect to the decreasing order of the eigenvalues...'] eigenvalues = diag(d); [eigenvalues, index] = sort(eigenvalues); V=X*V; sizev=size(v,2); mynorm = (sqrt(sum((v).^2))); V=V./repmat(mynorm,size(V,1),1); end A=zeros(size(V)); for c=1:sizev, eigenvalues_sort(c) = eigenvalues(sizev-c+1); A(:,c) = V(:,index(sizeV-c+1)); % A is the eigenvector matrix sorted with respect to the eigenvalues. end return classif2.m: Η συνάρτηση αυτή παίρνει σαν είσοδο τις εικόνες εκπαίδευσης (Ytrain) και ελέγχου (Ytest) καθώς και έναν ακέραιο (DistMeasure) που δηλώνει ποιο μέτρο απόστασης θα χρησιμοποιηθεί. Επιστρέφει τη θέση των εικόνων εκπαίδευσης που μοιάζουν περισσότερο σε κάθε μία από τις εικόνες ελέγχου. Χρησιμοποιείται από το MYpca2. function classification = classif2(ytrain, Ytest, DistMeasure) % classification = classify(ytrain, Ytest) % % Given the train matrix Ytrain and the test matrix Ytest, 75

77 % this function returs a vector classification, where % for Ytest(:, a), the nearest element of Ytrain is % Ytrain(:, classification(a)). switch DistMeasure case 1 distances = pdist2(ytrain', Ytest','cityblock'); case 2 distances = pdist2(ytrain', Ytest','mahalanobis'); case 3 distances = pdist2(ytrain', Ytest','correlation'); otherwise distances = dist(ytrain', Ytest); end classification = zeros(size(ytest,2),1); for a=1:size(ytest,2), aux = find(distances(:,a)==min(distances(:,a))); classification(a) = aux(1); end multisvm.m: Η συνάρτηση αυτή παίρνει σαν είσοδο τις εικόνες εκπαίδευσης (TrainingSet), τις ετικέτες των κατηγοριών των εικόνων εκπαίδευσης (GroupTrain) και τις εικόνες ελέγχου (TestSet) και επιστρέφει το αποτέλεσμα της OVA- SVM ταξινόμησης (result), πληροφορίες για τους δυαδικούς SVM ταξινομητές (models) και τα βάρη κάθε δυαδικού ταξινομητή (svmweights). Χρησιμοποιείται από το MYpca2. function [result,models,svmweights] = multisvm(trainingset,grouptrain,testset) %Models a given training set with a corresponding group vector and %classifies a given test set using an SVM classifier according to a %one vs. all relation. % %This code was written by Cody Neuburger cneuburg@fau.edu %Florida Atlantic University, Florida USA %This code was adapted and cleaned from Anand Mishra's multisvm function %found at -multi-class-support-vector-machine/ u=unique(grouptrain); numclasses=length(u); result = zeros(length(testset(:,1)),1); 76

78 svmweights=zeros(numclasses,size(trainingset,2)); %build models for k=1:numclasses %Vectorized statement that binarizes Group %where 1 is the current class and 0 is all other classes G1vAll=(GroupTrain==u(k)); models(k) = svmtrain(trainingset,g1vall); model=models(k); yi=double(g1vall); yi(g1vall==0)=-1; w=svmweights(model,yi); svmweights(k,:)=w; end %classify test cases for j=1:size(testset,1) for k=1:numclasses if(svmclassify(models(k),testset(j,:))) break; end end result(j) = k; end SVMweights.m: Η συνάρτηση αυτή παίρνει σαν είσοδο τις πληροφορίες για τους δυαδικούς SVM ταξινομητές (models) και τις ετικέτες των κατηγοριών των εικόνων εκπαίδευσης (yi) και επιστρέφει τα βάρη κάθε δυαδικού ταξινομητή (svmweights). Χρησιμοποιείται από την multisvm. function w=svmweights(model,yi) SV= model.supportvectors; Alpha=repmat(model.Alpha,1,size(SV,2)); yii=yi(model.supportvectorindices); Yi=repmat(yii,1,size(SV,2)); w=sum(yi.*alpha.*sv); 77

79 recognizeexpression.m: Η συνάρτηση αυτή παίρνει σαν είσοδο το όνομα του αρχείου με τις εικόνες (MatFileName), μια εικόνα ελέγχου (testimage), το όνομα της μεθόδου που θέλουμε να εφαρμόσουμε (method), το μέτρο απόστασης σε μορφή ακεραίου (measure) και μία ένδειξη για το αν θέλουμε να εμφανίσει ενδιάμεσα αποτελέσματα (dispflag). Επιστρέφει το όνομα της κατηγορίας στην οποία ταξινομήθηκε η εικόνα ελέγχου (label). function [label]=recognizeexpression(matfilename,testimage,method,,dispflag) Labels=cell(4,1); Labels{1}='normal'; Labels{2}='smiling'; Labels{3}='surprised'; Labels{4}='sleepy'; load(matfilename) TestIm=testImage(:)'; % Displaying the test image if dispflag Im1=uint8(testImage); h1=figure('name','this is the test image'),imshow(im1); pause; end % Calculate mean image using training set meanimg=mean(trainset); % Displaying the mean image of the training set if dispflag Im2=uint8(reshape(meanImg,64,64)); h2=figure('name','this is the mean image of the Training Set'),imshow(Im2); pause; end % Repeat mean image 40 times MeanImg1=repmat(meanImg,size(TrainSet,1),1); 78

80 % Center training set Xbasis = (TrainSet-MeanImg1)'; % Center test set Xtest = (TestIm-meanImg)'; % Displaying the sixth image in the test set after centering if dispflag Im3=reshape(Xtest,64,64); h3=figure('name','this is the test image after centering'),imshow(im3/255,[]); pause; end % Compute number of non zero eigenvalues (neig) neig=min(size(trainset))-1; if dispflag display(['there are ' num2str(neig) ' non-zero eigenvalues of the covariance matrix']) end % Calculating Original Eigenspace ['Creating the face spaces basis...'] [A,eigenvalues_sort]=makebasis2(Xbasis); % A 4096x40 contains the sorted eigenvectors of the eigenspace and eigenvalues_sort 1x40 contains the sorted eigenvalues if strcmp(method,'pca') % Projecting Training images to Original Eigenspace (which contains all 39 % eigenvectors with non zero eigenvalues) ['Creating the faces representation in original face space...'] YtrainAll= A(:,1:neig)'*Xbasis; % Projecting Training images to Original Eigenspace YtestAll= A(:,1:neig)'*Xtest; % Calculating classification rates for Original Eigenspace of the 20 test images and for four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification result for Original Eigenspace...'] 79

81 classification=classif2(ytrainall, YtestAll, measure); % classif2 assigns a class label to every test image label=labels{ TrainTargets(classification)}; if dispflag Im4=Xbasis(:,classification(1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the test image using Original PCA'), end end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; if strcmp(method,'pcaselect') ['Selecting eigenvalues:'] % cumulative sum of sorted eigenvalues Seig=cumsum(eigenvalues_sort)/sum(eigenvalues_sort); % find sum larger than 90% of total sum SelEig=find(Seig>0.9); neig=seleig(1); % Projecting Training images to Selected Eigenspace ['Creating the faces representation in selected face space...'] YtrainSel= A(:,1:neig)'*Xbasis; % Projecting Test images to Selected Eigenspace YtestSel = A(:,1:neig)'*Xtest; % Calculating classification rates for Selected Eigenspace and four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification result for Selected Eigenspace...'] classification=classif2(ytrainsel, YtestSel, measure); % classif2 assigns a class label to every test image label=labels{ TrainTargets(classification)}; 80

82 if dispflag Im4=Xbasis(:,classification(1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the testimage using Selected PCA'), end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; end if strcmp(method,'dpca') ['Creating the faces representation in original face space...'] YtrainAll= A(:,1:neig)'*Xbasis; % Projecting Training images to Original Eigenspace YtestAll= A(:,1:neig)'*Xtest; % Proposed method for component selection based on SVM weights: ['Selecting eigenvalues using SVM weights:'] [result,models,svmweights] = multisvm(ytrainall',traintargets,ytestall'); % Computes One Versus All-SVM and returns the weights in svmweights (4x39) % every row of svmweights corresponds to the weights of a binary SVM % the weights of the 4 binary SVMs are averaged WW=sum(svmWeights.^2); % and sorted from largest to smallest [ww,seira]=sort(ww,'descend'); % cumulative sum of sorted SVM weights Sww=cumsum(ww)/sum(ww); % find sum larger than 88% of total sum SelW=find(Sww>0.88); nw=selw(1); % create index for the selected Eigenvalues indx=seira(1:nw); % Projecting Training images to SVM Selected Eigenspace 81

83 ['Creating the faces representation in SVM selected face space...'] YtrainSVM= A(:,indx)'*Xbasis; % Projecting Test images to SVM Selected Eigenspace YtestSVM= A(:,indx)'*Xtest; % Calculating classification rates for SVM selected Eigenspace and four % distance measures [Eucleidian (L2 norm), city block (L1 norm), % mahalanobis and correlation] ['Calculating classification rates for SVM Selected Eigenspace of the 20 test images...'] classification=classif2(ytrainsvm, YtestSVM, measure); % classif2 assigns a class label to every test image label=labels{ TrainTargets(classification)}; if dispflag Im4=Xbasis(:,classification(1)); Im4=reshape(Im4,64,64); h4=figure('name','classification result for the test image using DPCA'), end end end subplot(1,2,1);imshow(im3/255,[]); title(['test Image']); subplot(1,2,2);imshow(im4/255,[]); title(['closest Training Image']); pause; 82

84 Παράδειγμα Παρακάτω, παραθέτουμε ένα παράδειγμα μιας εικόνας εκτός βάσης. Χρησιμοποιήσαμε μια εικόνα προσώπου από το google. Εικόνα Π.1 Αρχική εικόνα Εικόνα Π.2 Η εικόνα ελέγχου (έχει υποστεί περικοπή) 83

85 Εικόνα Π.3 Η μέση εικόνα του συνόλου εκπαίδευσης του πρώτου πειράματος Εικόνα Π.4 Η εικόνα μετά την κανονικοποίηση 84

86 Εικόνα Π.5 Το αποτέλεσμα της ταξινόμησης της εικόνας με χρήση DPCA 85