ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΕΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ. Πτυχιακή Εργασία

Transcript

1 ΑΡΙΣΤΟΤΕΛΕΙΟ ΠΑΝΕΠΙΣΤΗΜΕΙΟ ΘΕΣΣΑΛΟΝΙΚΗΣ ΣΧΟΛΗ ΘΕΤΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΠΛΗΡΟΦΟΡΙΚΗΣ ΚΑΤΕΥΘΥΝΣΗ ΨΗΦΙΑΚΩΝ ΜΕΣΩΝ Πτυχιακή Εργασία Αλγόριθμοι Βαθειάς Μάθησης για Διακριτική Αυτοκωδικοποίηση Deep Learning Algorithms for Discriminant Autoencoding Νούση Παρασκευή Επιβλέπων Καθηγητής: Αναστάσιος Τέφας, Επίκουρος Καθηγητής Θεσσαλονίκη, Οκτώβριος 2014

2 Πίνακας Περιεχομένων Περίληψη... 2 Abstract Εισαγωγή Γενική παρουσίαση Η παρούσα εργασία Μηχανική Μάθηση Μηχανική Μάθηση και Κατηγοριοποίηση δεδομένων Νευρωνικά Δίκτυα και Βαθειά Μάθηση Autoencoders Εισαγωγή στους autoencoders Denoising Autoencoders Σύγκριση Autoencoders με Principal Component Analysis Autoencoders και Multilayer Perceptron Διαχωρισμός Δεδομένων Μετακίνηση δειγμάτων προς το κέντρο της κλάσης τους Μετακίνηση δειγμάτων προς τους κοντινότερους γείτονες ίδιας κλάσης Απομάκρυνση από γείτονες αντίπαλων κλάσεων Μετακίνηση προς το κέντρο της κλάσης μέσω των γειτόνων ίδιας κλάσης Discriminant Autoencoder Πειραματικά αποτελέσματα Αναγνώριση χειρόγραφων ψηφίων Αναγνώριση εκφράσεων προσώπου Βάση BU Βάση JAFFE Βάση Kanade Λίστα εικόνων Λίστα σχημάτων Λίστα πινάκων Λίστα διαγραμμάτων Αναφορές PAGE 1

3 Περίληψη Στην παρούσα εργασία, μελετάμε τους Autoencoders ως εργαλεία μείωσης διάστασης και επιθυμούμε να συνδυάσουμε το στόχο αυτό με παράλληλο διαχωρισμό των κλάσεων, χρησιμοποιώντας διάφορες μεθόδους διαχωρισμού κλάσεων, που προκαλούν μετατόπιση των δειγμάτων στο χώρο τέτοια ώστε οι κλάσεις να διαχωρίζονται καλύτερα. Το αποτέλεσμα του συνδυασμού αυτού είναι ένα είδος Διακριτικού Autoencoder, όπου στόχος του δικτύου είναι πλέον τα διαχωρισμένα δείγματα αντί των ίδιων των αρχικών δειγμάτων. Τελικά παρουσιάζουμε τα αποτελέσματα αυτού του Διακριτικού AE σε σχέση με τον κλασσικό Denoising AE. PAGE 2

4 Abstract In this thesis, we study Autoencoders as tools for dimensionality reduction and seek to combine this goal with simultaneous class discrimination, using various class separating methods, which cause a translocation of the data in a way such that the classes are better separated. The result of this combination is a new type of Discriminant Autoencoder, in which the targets are now the discriminated samples instead of the original samples themselves. Finally, we present the results of this Discriminant AE compared to those of the classic Denoising AE. PAGE 3

5 1. Εισαγωγή 1.1 Γενική παρουσίαση Η κατηγοριοποίηση δεδομένων αποτελεί ένα από τα πιο σημαντικά προβλήματα στη μηχανική μάθηση, ίσως το πιο διαδεδομένο. Πλήθος αλγορίθμων έχουν εφευρεθεί για το σκοπό αυτό, που περιλαμβάνουν γραμμικούς ταξινομητές, απλά ή και πολύ σύνθετα νευρωνικά δίκτυα, μηχανές διανυσμάτων υποστήριξης μεταξύ άλλων. Για την επίτευξη καλύτερου αποτελέσματος στην κατηγοριοποίηση, έχουν προταθεί διάφορες τεχνικές προεπεξεργασίας των δεδομένων. Μία από αυτές τις τεχνικές αφορά τη μείωση της διάστασης των δεδομένων, δηλαδή η διαδικασία μείωσης των τυχαίων μεταβλητών (χαρακτηριστικών) των δειγμάτων που λαμβάνονται υπόψη στη διαδικασία της κατηγοριοποίησης. Αυτός ο μετασχηματισμός των δεδομένων μπορεί να είναι γραμμικός, όπως συμβαίνει στη μέθοδο Ανάλυσης Κυρίων Συνιστωσών, ωστόσο υπάρχουν και πολλές μη γραμμικές μέθοδοι μείωσης της διάστασης των δεδομένων. Μία μη γραμμική προσέγγιση για το σκοπό αυτό είναι η χρήση Autoencoders, δηλαδή ενός είδους νευρωνικών δικτύων εμπρόσθιας τροφοδότησης τα οποία κωδικοποιούν την είσοδο τους σε μία αναπαράσταση μικρότερης διάστασης, η οποία μπορεί να συνέχεια να αποκωδικοποιηθεί ώστε να ανακατασκευάσει την είσοδο αυτή. Οι Autoencoders εμπίπτουν στην περιοχή της μηχανικής μάθησης που ονομάζεται βαθειά μάθηση (Deep Learning). Στη βαθιά μάθηση, οι μηχανές προσπαθούν να μοντελοποιήσουν υψηλού επιπέδου αφαιρέσεις από τα δεδομένα χρησιμοποιώντας αρχιτεκτονικές που αποτελούνται από πολλούς μη γραμμικούς μετασχηματισμούς. Συγκεκριμένα για τους autoencoders, η αναπαράσταση μικρότερης διάστασης της εισόδου που παράγουν, προσπαθεί να συλλάβει και να ανακαλύψει τα πιο εύρωστα χαρακτηριστικά της εισόδου. Μία δεύτερη τεχνική που χρησιμοποιείται για τη βελτίωση της κατηγοριοποίησης και όχι μόνο, είναι ο διαχωρισμός των κλάσεων των δεδομένων, δηλαδή η απομάκρυνση της κάθε κλάσης από τις άλλες, αλλά και η συγκέντρωση των δεδομένων ίδιας κλάσης σε συστάδες μεγαλύτερης συνεκτικότητας. Μία γνωστή μέθοδος που επιτυγχάνει το σκοπό αυτό είναι η Γραμμική Διαχωριστική Ανάλυση που χρησιμοποιείται συνήθως μαζί με την Ανάλυση Κυρίων Συνιστωσών για τον διαχωρισμό των κλάσεων και τη μείωση των διαστάσεων των δεδομένων με σκοπό την καλύτερη ταξινόμηση τους αργότερα. Βέβαια, μπορούν να επιτύχουν τον σκοπό αυτό και πιο απλές μέθοδοι. Διαισθητικά, αν καταφέρουμε να απομακρύνουμε τα δείγματα μιας κλάσης από τα δείγματα αντίπαλων κλάσεων και τα φέρουμε πιο κοντά σε δείγματα της ίδιας κλάσης, τότε έχουμε πραγματοποιήσει διαχωρισμό των κλάσεων. PAGE 4

6 Εκτός από τις δύο αυτές τεχνικές έχουν προταθεί πολλές άλλες που αποσκοπούν στην καλύτερη κατηγοριοποίηση δεδομένων, γενικές ή πιο εξειδικευμένες ανάλογα με το είδος των δεδομένων. Στην εργασία αυτή, μελετάμε τους Autoencoders γενικά ως μηχανισμούς βαθειάς μάθησης και ως εργαλείο μείωσης της διάστασης των δεδομένων, καθώς και διάφορες μεθόδους που επιτυγχάνουν διαχωρισμό δεδομένων. Τελικά προσπαθούμε να συνδυάσουμε τις δύο αυτές τεχνικές σε μία δομή, δηλαδή επιθυμούμε να πραγματοποιήσουμε μείωση διάστασης και διαχωρισμό δεδομένων με τη χρήση νευρωνικών δικτύων. Το αποτέλεσμα είναι ένα νέο είδος διακριτικού, επιβλεπόμενου Autoencoder. 1.2 Η παρούσα εργασία Η εργασία είναι χωρισμένη σε κεφάλαια και υποενότητες κάθε μία από τις οποίες ασχολείται με ένα ξεχωριστό θέμα, τα οποία συνδυαστικά συνιστούν αυτή την εργασία. Στο τέλος υπάρχει ένα κεφάλαιο που αναφέρεται στα πειραματικά αποτελέσματα των μεθόδων που πραγματεύονται τα προηγούμενα κεφάλαια. Γενικά, η δομή της εργασίας έχει ως εξής: Κεφάλαιο 2: Θεωρητικό υπόβαθρο της εργασίας, εισαγωγή στη μηχανική μάθηση. Κεφάλαιο 3: Εισαγωγή στους Autoencoders και παραλλαγές του απλού autoencoder. Κεφάλαιο 4: Μέθοδοι διαχωρισμού κλάσεων και προβληματικά δείγματα. Κεφάλαιο 5: Supervised Discriminant Autoencoder, η παραλλαγή που μελετήσαμε. Κεφάλαιο 6: Πειραματικά αποτελέσματα και συμπεράσματα. PAGE 5

7 2. Μηχανική Μάθηση 2.1 Μηχανική Μάθηση και Κατηγοριοποίηση δεδομένων Με τον όρο Μηχανική Μάθηση αναφερόμαστε στον επιστημονικό κλάδο που ασχολείται με την κατασκευή και τη μελέτη αλγορίθμων που μπορούν να μάθουν από δεδομένα. Οι αλγόριθμοι αυτοί κατασκευάζουν μοντέλα βασισμένα στα δεδομένα εισόδου και χρησιμοποιούν τα μοντέλα αυτά για να παράξουν προβλέψεις ή αποφάσεις. Όσον αφορά τη μάθηση, μπορεί να χωριστεί σε τρεις μεγάλες κατηγορίες: Επιβλεπόμενη μάθηση, όπου στη μηχανή δίνονται τόσο οι είσοδοι όσο και οι αντίστοιχες επιθυμητές έξοδοι που πρέπει να μάθει γι αυτές, Μη-επιβλεπόμενη μάθηση, όπου στη μηχανή δίνονται μόνο οι είσοδοι, και στόχος μπορεί για παράδειγμα να είναι η ανακάλυψη κρυμμένων χαρακτηριστικών της εισόδου, Ενισχυτική μάθηση, όπου η μηχανή αλληλεπιδρά με το περιβάλλον της μέσα στο οποίο πρέπει να επιτύχει ένα συγκεκριμένο στόχο, χωρίς να υπάρχει κάποιος δάσκαλος που να δηλώνει στη μηχανή αν είναι κοντά στο στόχο της ή όχι. Ανάμεσα στην επιβλεπόμενη και τη μη-επιβλεπόμενη μάθηση, βρίσκεται η ημιεπιβλεπόμενη μάθηση, στην οποία για κάποιες εισόδους οι επιθυμητές έξοδοι είναι γνωστές, για μερικές όμως λείπει. Ένα από τα σημαντικότερα και πιο διαδεδομένα προβλήματα που λύνονται με χρήση αλγορίθμων βαθειάς μάθησης είναι η κατηγοριοποίηση δεδομένων. Στην κατηγοριοποίηση, τα δεδομένα χωρίζονται σε δύο ή περισσότερες ομάδες (κλάσεις), και στόχος της μηχανής είναι η παραγωγή ενός μοντέλου το οποίο δεδομένης της εισόδου, κατατάσσει το δείγμα σε μία ή και περισσότερες κλάσεις (έξοδος). Όσον αφορά την αναπαράσταση των δεδομένων στη μηχανή, απαιτείται η εξαγωγή μεμονωμένων χαρακτηριστικών του μεγέθους που παρατηρούμε. Για παράδειγμα, αν τα δεδομένα που θέλουμε να μάθει η μηχανή είναι ψηφιακές εικόνες, τότε ένα χαρακτηριστικό θα μπορούσε να είναι το χρώμα του πρώτου pixel, ένα ακόμη του δεύτερου pixel, κ.ο.κ. Η επιλογή διακριτικών και ανεξάρτητων χαρακτηριστικών έχει μεγάλη σημασία, ιδιαίτερα για τη μετέπειτα κατηγοριοποίηση των δεδομένων. Μπορεί έτσι να δημιουργηθεί ένα διάνυσμα χαρακτηριστικών για κάθε δείγμα εισόδου, το οποίο μπορεί στη συνέχεια να χρησιμοποιηθεί ως μαθηματική δομή. Σαν συνέχεια του παραδείγματος, κάθε ψηφιακή εικόνα μπορεί να θεωρηθεί σαν πίνακας τιμών pixel, και οι τιμές αυτές μπορούμε να πούμε ότι αποτελούν το διάνυσμα χαρακτηριστικών της PAGE 6

8 εικόνας-δείγματος. Επομένως, κάθε χαρακτηριστικό μπορεί να θεωρηθεί σαν μία ξεχωριστή διάσταση του δείγματος, στον πολυδιάστατο χώρο, και οι τιμές του διανύσματος χαρακτηριστικών δίνουν τη θέση του δείγματος στο χώρο αυτό. Με δεδομένα λοιπόν τα διανύσματα χαρακτηριστικών των δεδομένων εισόδου, και προαιρετικά τις επιθυμητές εξόδους, οι αλγόριθμοι κατηγοριοποίησης κατασκευάζουν μοντέλα πρόβλεψης κλάσεων. Ένας απλός αλγόριθμος κατηγοριοποίησης είναι ο αλγόριθμος k-κοντινότερων Γειτόνων (k-nearest Neighbours), σύμφωνα με τον οποίο ένα δείγμα κατατάσσεται στην κλάση που ανήκει η πλειοψηφία των k κοντινότερων γειτόνων του. Η εύρεση των γειτόνων ενός δείγματος, δεδομένων των διανυσμάτων χαρακτηριστικών των δεδομένων, αποτελεί τώρα ένα πρόβλημα αναζήτησης δειγμάτων στον n-διάστατο χώρο, όπου n τα χαρακτηριστικά των δεδομένων, με βάση την απόσταση τους από το εν λόγω δείγμα. 2.2 Νευρωνικά Δίκτυα και Βαθειά Μάθηση Ένας αλγόριθμος μάθησης εμπνευσμένος από τη δομή και λειτουργία των βιολογικών νευρωνικών δικτύων είναι τα Τεχνητά Νευρωνικά Δίκτυα (Artificial Neural Networks). Ένα ΤΝΔ αποτελείται από τεχνητούς νευρώνες, συνδεδεμένους μεταξύ τους ώστε να επικοινωνούν, οι οποίοι είναι σε θέση να παράγουν κάποια έξοδο. Συνήθως, οι είσοδοι ενός τεχνητού νευρώνα αθροίζονται με συγκεκριμένα βάρη μοναδικά για κάθε νευρώνα, και το άθροισμα αυτό περνάει από μία μη-γραμμική συνάρτηση, που ονομάζεται συνάρτηση ενεργοποίησης του νευρώνα. Ένα παράδειγμα απλού νευρωνικού δικτύου μπορεί να αποτελείται από τρία επίπεδα: το πρώτο είναι το επίπεδο εισόδου, όπου οι νευρώνες είναι τόσοι όσες και οι διαστάσεις του διανύσματος χαρακτηριστικών της εισόδου και κάθε νευρώνας παίρνει την τιμή του αντίστοιχου χαρακτηριστικού και τη μεταφέρει μέσω συνάψεων στο επόμενο επίπεδο, και από κει μεταφέρονται μέσω άλλων συνάψεων στο τρίτο επίπεδο, που είναι το επίπεδο εξόδου. Οι τιμές των συναρτήσεων ενεργοποίησης του επιπέδου εξόδου αποτελούν το διάνυσμα εξόδου. Τα νευρωνικά δίκτυα αποτελούν μια κατηγορία αλγορίθμων μηχανικής μάθησης και μπορούν να χρησιμοποιηθούν στο πρόβλημα της κατηγοριοποίησης. Ένας απλός αλγόριθμος που μαθαίνει να αντιστοιχεί εισόδους σε επιθυμητές εξόδους είναι ο Perceptron Πολλών Επιπέδων (Multilayer Perceptron), που έχει δομή παρόμοια μ αυτήν που περιγράψαμε παραπάνω για ένα απλό νευρωνικό δίκτυο. Η επιθυμητή έξοδος του δικτύου στην κατηγοριοποίηση είναι να ενεργοποιηθεί μόνο ο νευρώνας εκείνος στον PAGE 7

9 οποίο αντιστοιχεί η κλάση του δείγματος, δηλαδή το δίκτυο πρέπει να έχει τόσους νευρώνες εξόδου όσες και οι κλάσεις των δεδομένων. Όσον αφορά την εκπαίδευση των νευρωνικών δικτύων, πολλοί αλγόριθμοι έχουν προταθεί. Ένας από τους πιο απλούς, ο αλγόριθμος Backpropagation, στηρίζεται στη βασική ιδέα διόρθωσης των βαρών των συνάψεων μεταξύ των νευρώνων, με βάση το σφάλμα της εξόδου. Δηλαδή, μετά από κάθε εμπρόσθια μετάδοση των δεδομένων, υπολογίζεται το σφάλμα το δικτύου σε κάθε κόμβο από το επίπεδο εξόδου και προς τα πίσω, διορθώνοντας σε κάθε επίπεδο τα βάρη των συνάψεων ανάλογα με το αντίστοιχο σφάλμα. Η Βαθειά Μάθηση αποτελεί ένα σύνολο αλγορίθμων μηχανικής μάθησης που επιχειρούν να μοντελοποιήσουν υψηλού επιπέδου αφαιρέσεις στα δεδομένα, κάνοντας χρήση πολύπλοκων αρχιτεκτονικών μη γραμμικών οντοτήτων. Παραδείγματα αλγορίθμων βαθειάς μάθησης αποτελούν τα Βαθειά Νευρωνικά Δίκτυα (Deep Neural Nets), τα οποία είναι νευρωνικά δίκτυα που αποτελούνται από πολλαπλά κρυμμένα επίπεδα νευρώνων, τα Deep Belief Networks και τα Restricted Boltzmann Machines καθώς και οι Autoencoders, με τους οποίους θα ασχοληθούμε κυρίως σ αυτή την εργασία. Λόγω της πολύπλοκης αρχιτεκτονικής τους, τα δίκτυα Βαθειάς Μάθησης είναι ικανά να ανακαλύψουν κρυμμένα και πιο εύρωστα χαρακτηριστικά στα δεδομένα. Ένα ακόμη πλεονέκτημα των αλγορίθμων αυτών είναι ότι συνήθως δεν απαιτούν γνώση των κλάσεων των δεδομένων, δηλαδή εμπίπτουν στη μη-επιβλεπόμενη μάθηση. Αυτό είναι θετικό γιατί δεδομένα για τα οποία δεν είναι γνωστές οι κλάσεις τους είναι πιο συνηθισμένα και περισσότερα συγκριτικά με δεδομένα για τα οποία είναι γνωστές. PAGE 8

10 3. Autoencoders 3.1 Εισαγωγή στους autoencoders Όταν μιλάμε για Aυτοκωδικοποιητές (Autoencoders, AE), αναφερόμαστε σε τεχνητά νευρωνικά δίκτυα, τα οποία εκπαιδεύονται έτσι ώστε να μπορούν να ανακατασκευάσουν την είσοδο τους μέσω μιας ενδιάμεσης αναπαράστασης, τυπικά μικρότερης διάστασης από την αρχική. Προτάθηκε το 1986 από την ομάδα του G. E. Hinton [1] σαν λύση στο πρόβλημα backpropagation χωρίς δάσκαλο, και σχετικά πρόσφατα επανήλθε στο προσκήνιο ως αλγόριθμος βαθειάς μάθησης. Ένας απλός autoencoder μπορεί να αποτελείται από ένα μόλις κρυφό επίπεδο, και να εκπαιδευτεί αποτελεσματικά με τη χρήση κάποιας παραλλαγής του βασικού αλγορίθμου Backpropagation, ώστε η έξοδος του να ανακατασκευάζει με μεγάλη ακρίβεια την είσοδο του. Η δομή αυτή μοιάζει πολύ με τη δομή ενός Multilayer Perceptron ενός κρυφού επιπέδου. Η διαφορά τους είναι ότι ενώ το MLP εκπαιδεύεται ώστε να αντιστοιχεί μία είσοδο x σε μία έξοδο y, ένας autoencoder εκπαιδεύεται ώστε να μπορέσει να ανακατασκευάσει την ίδια είσοδο x. Μαθηματικά μπορούμε να γράψουμε ότι ένας autoencoder δέχεται μία είσοδο x και την κωδικοποιεί (επίπεδο encoder) σε μία κρυφή αναπαράσταση y μέσω μιας ντετερμινιστικής αντιστοίχισης: y = s(wx + b) όπου s είναι κάποια μη γραμμικότητα, όπως η σιγμοειδής, η υπερβολική εφαπτομένη ή άλλη. Η κρυφή αναπαράσταση y στη συνέχεια αποκωδικοποιείται (επίπεδο decoder) σε μια ανακατασκευή x r ίδιου μεγέθους με την είσοδο, μέσω μιας παρόμοιας διαδικασίας: x r = s(w y + b ) όπου η απόστροφος ( ) δεν υποδεικνύει αναστροφή πινάκων. Μπορούμε να πούμε ότι η έξοδος x r αποτελεί πρόβλεψη της εισόδου x δεδομένης της κρυφής αναπαράστασης y. Τα βάρη W και W μπορούν να περιορίζονται από τη σχέση W = W T, δηλαδή τα βάρη στο επίπεδο αποκωδικοποίησης δένονται με τα βάρη του επιπέδου αποκωδικοποίησης με μία σχέση αναστροφής, κάτι που δεν είναι όμως απαραίτητο να ισχύει. Στόχος είναι οι παράμετροι του παραπάνω μοντέλου να βελτιστοποιηθούν ώστε το σφάλμα ανακατασκευής της εισόδου να ελαχιστοποιηθεί. Ένας τρόπος μέτρησης, που χρησιμοποιείται και στην παρούσα εργασία, για το σφάλμα αυτό είναι το μέσο τετραγωνικό σφάλμα, δηλαδή l = x x r 2. PAGE 9

11 Αν ο αριθμός νευρώνων στο κρυφό επίπεδο είναι μικρότερος από τους νευρώνες εισόδου/εξόδου, ή ισοδύναμα, η διάσταση της κρυφής αναπαράστασης είναι μικρότερη από τη διάσταση της εισόδου/εξόδου, τότε οι ενεργοποιήσεις (activations) του επιπέδου αυτού μπορούν να θεωρηθούν ως μία (απωλεστική) συμπιεσμένη αναπαράσταση των αρχικών δεδομένων. Επειδή η συμπίεση είναι απωλεστική, η συμπίεση αυτή δε μπορεί να είναι καλή (με μικρή απώλεια) για κάθε είσοδο, και η εκπαίδευση την ωθεί να γίνει καλή για τη συγκεκριμένη είσοδο και κατ ελπίδα και για άλλες παρόμοιας κατανομής [2]. Ένα παράδειγμα χρήσης ενός τέτοιου απλού νευρωνικού δικτύου φαίνεται στο σχήμα 1, για δεδομένα της βάσης MNIST (784 διαστάσεις) εποχές 2000 εποχές x r 784 W y 100 W x 784 Σχήμα 1. Χρήση ενός απλού autoencoder με ένα κρυφό επίπεδο. Αν η είσοδος του είναι κάποια από τις εικόνες με τις οποίες εκπαιδεύτηκε, η έξοδος πρέπει να είναι η αναπαράσταση που έχει μάθει το δίκτυο γι αυτή. Φυσικά, ένας autoencoder μπορεί, και είναι αποτελεσματικό, να έχει περισσότερα από ένα κρυφά επίπεδα. Η χρήση του αλγορίθμου backpropagation σ αυτήν την περίπτωση δεν είναι πολύ αποτελεσματική, καθώς υπάρχει κίνδυνος να κολλήσει σε κάποιο τοπικό ελάχιστο, μακριά από τη βέλτιστη λύση. Υπάρχουν άλλοι πιο αποτελεσματικοί τρόποι εκπαίδευσης, όπως η χρήση Restricted Boltzmann Machines, όπως πρότειναν και οι G.E. Hinton και R.R. Salakhutdinov [3]. PAGE 10

12 3.2 Denoising Autoencoders Μια παραλλαγή του απλού autoencoder, ο Denoising Autoencoder [4], έχει ως βασική ιδέα την προσθήκη ενός όρου θορύβου στα αρχικά δεδομένα και την προσπάθεια ανακατασκευής τους χωρίς το θόρυβο. Διαισθητικά, η προσέγγιση αυτή βγάζει νόημα, μιας και οι ίδιοι σαν άνθρωποι μπορούμε να αναγνωρίσουμε τι απεικονίζει μια εικόνα ακόμη και αν έχει διαφθαρεί από αρκετό θόρυβο. Από την άποψη βελτιστοποίησης, η προσθήκη θορύβου σε κάποια χαρακτηριστικά, αναγκάζει το νευρωνικό δίκτυο να ανακαλύψει πιο εύρωστα χαρακτηριστικά αντί απλώς να μάθει την ταυτότητα της εισόδου του. Το είδος του θορύβου μπορεί να έχει πολλές μορφές και εξαρτάται από το είδος του προβλήματος και τα χαρακτηριστικά της εισόδου του νευρωνικού. Αρχικά προτάθηκε ένας μηχανισμός ο οποίος κρύβει κάποια χαρακτηριστικά, μηδενίζοντας τα. Μπορεί όμως να χρησιμοποιηθεί προσθετικός ή πολλαπλασιαστικός γκαουσσιανός θόρυβος με μέση τιμή και τυπική απόκλιση που εξαρτάται από τα ίδια τα δεδομένα, ή οποιοδήποτε είδος θορύβου, πίσω από την ίδια λογική. Για παράδειγμα αν έχουμε προσθετικό γκαουσσιανό θόρυβο, το ενθόρυβο δείγμα μπορεί να γραφεί ως: x noisy = x + z, όπου z~n(μ, Σ) Πολλοί Denoising Autoencoders μπορούν να στοιβαχτούν ο ένας μετά τον άλλο, σχηματίζοντας μια αρχιτεκτονική με το όνομα Stacked Denoising Autoencoders [4]. Κάθε επίπεδο ενός SAE εκπαιδεύεται ξεχωριστά ως ένας Denoising Autoencoder, ελαχιστοποιώντας το σφάλμα ανακατασκευής της εισόδου του, που είναι η έξοδος του προηγούμενου επιπέδου. 3.3 Σύγκριση Autoencoders με Principal Component Analysis Η σύγκριση των Autoencoders με την Ανάλυση Κυρίων Συνιστωσών (Principal Components Analysis, PCA) είναι σχεδόν αναπόφευκτη αφού φαίνεται πως λειτουργούν για την επίτευξη του ίδιου στόχου: τη μείωση της διάστασης των δεδομένων. Παρόλα αυτά οι διαφορές τους είναι σημαντικές. Στη σύγκριση αυτή πρέπει να λάβουμε υπόψη ότι ένας autoencoder ως μηχανισμός βαθιάς μάθησης, δηλαδή επιχειρεί να ανακαλύψει τα πιο εύρωστα χαρακτηριστικά τους. Στην χρήση autoencoders, θέλουμε η ενδιάμεση αναπαράσταση y των δεδομένων να είναι μια κατανεμημένη αναπαράσταση των δεδομένων που αποτυπώνει τα χαρακτηριστικά κατά τους κύριους παράγοντες της διακύμανσης των PAGE 11

13 δεδομένων. Παρομοίως, η προβολή σε κύριες συνιστώσες αποτυπώνει τους κύριους παράγοντες της διακύμανσης των δεδομένων. Στην περίπτωση του απλού autoencoder, με ένα κρυφό επίπεδο, αν η συνάρτηση ενεργοποίησης του επιπέδου αυτού είναι μη γραμμική, τότε ο autoencoder συμπεριφέρεται διαφορετικά από την PCA: έχει τη δυνατότητα μάθησης και σύλληψης πολλαπλών πτυχών της κατανομής της εισόδου. Ο διαχωρισμός από την PCA μεγιστοποιείται στην περίπτωση χρήσης Stacked Autoencoders, οι οποίοι έχουν το δυναμικό για βαθύτερη μάθηση και συνεπώς για καλύτερη μείωση διάστασης ανακαλύπτοντας και διατηρώντας εύρωστα χαρακτηριστικά των δεδομένων [3]. 3.4 Autoencoders και Multilayer Perceptron Μία άλλη χρήση των autoencoders είναι ως προ-εκπαίδευση (pretraining) νευρωνικών δικτύων όπως ένα MLP με στόχο την αρχικοποίηση των βαρών του δικτύου σε πιο ευνοϊκή για την εύρεση του ολικού ελαχίστου περιοχή. Τα Multilayer Perceptron είναι μια γενική κατηγορία νευρωνικών δικτύων εμπρόσθιας τροφοδότησης που χρησιμοποιούνται ευρέως στην αναγνώριση προτύπων για κατηγοριοποίηση δεδομένων. Αποτελεί επέκταση του απλού Perceptron και μπορεί να διαχωρίσει δεδομένα που δεν είναι γραμμικώς διαχωρίσιμα. Σαν αρχιτεκτονική, ένα MLP αποτελείται από ένα επίπεδο εισόδου, ένα επίπεδο εξόδου και προαιρετικά ένα ή περισσότερα κρυφά επίπεδα. Αν εκπαιδεύσουμε έναν απλό autoencoder με τα δεδομένα που θέλουμε να κατηγοριοποιήσουμε αργότερα, έχουμε δύο επιλογές όσον αφορά την κατηγοριοποίηση με MLP: είτε να χρησιμοποιήσουμε την ενδιάμεση αναπαράσταση y σαν είσοδο στο MLP, οπότε το επίπεδο εισόδου αποτελείται από τόσους νευρώνες όσες οι διαστάσεις του y, είτε να χρησιμοποιήσουμε τα βάρη του encoder επιπέδου όπως αυτά διαμορφώθηκαν κατά την εκπαίδευση του autoencoder ως τα βάρη μεταξύ του επιπέδου εισόδου και του κρυφού επιπέδου του perceptron. Μ αυτόν τον τρόπο, τα βάρη του MLP αρχικοποιούνται με βάση το αποτέλεσμα του Autoencoder, εκπαιδεύονται όμως και αυτά στα πλαίσια της κατηγοριοποίησης που εκτελεί ο MLP. Οι δύο αυτές επιλογές φαίνονται στο Σχήμα 2, για δεδομένα της βάσης MNIST (784 διαστάσεις, 10 κλάσεις). PAGE 12

14 AE MLP MLP x r W y 100 μετά την εκπαίδευση W W x 784 μετά την εκπαίδευση 784 Σχήμα 2. Μετά την εκπαίδευση του AE, μπορεί να χρησιμοποιηθεί είτε η ενδιάμεση αναπαράσταση ως είσοδος του MLP, είτε τα βάρη του επιπέδου decoder σαν βάρη μεταξύ της εισόδου κι ενός κρυφού επιπέδου σε ένα άλλο MLP. PAGE 13

15 4. Διαχωρισμός Δεδομένων Όπως προαναφέραμε, μία χρήσιμη τακτική στην αναγνώριση προτύπων είναι η επεξεργασία των δεδομένων με τέτοιο τρόπο ώστε οι κλάσεις να είναι καλύτερα διαχωρίσιμες. Πρακτικά αυτό σημαίνει ότι οι αποστάσεις των δειγμάτων εσωτερικά μιας κλάσης μικραίνουν και οι αποστάσεις μεταξύ δειγμάτων διαφορετικών κλάσεων αυξάνονται, ή αν το δούμε με σχέσεις λόγων, ο λόγος των αποστάσεων μέσα στην ίδια κλάση προς τις αποστάσεις μεταξύ διαφορετικών κλάσεων μικραίνει. Μία γνωστή τακτική που επιτυγχάνει ακριβώς αυτόν τον στόχο είναι η Γραμμική Διαχωριστική Ανάλυση (Linear Discriminant Analysis, LDA). Η LDA χρησιμοποιείται συνήθως σε συνδυασμό με Ανάλυση Κυρίων Συνιστωσών (PCA) για τον διαχωρισμό των δειγμάτων και την καλύτερη ταξινόμηση τους στη συνέχεια [5]. Εκτός από την LDA όμως υπάρχουν και άλλες τεχνικές που μπορούν να χρησιμοποιηθούν για την επίτευξη του ίδιου στόχου. Κάποιες από αυτές παρουσιάζονται τις παρακάτω ενότητες. 4.1 Μετακίνηση δειγμάτων προς το κέντρο της κλάσης τους Γνωρίζοντας τις ετικέτες των δειγμάτων, μπορούμε πολύ εύκολα να βρούμε ένα κέντρο για κάθε κλάση, που ορίζεται ως ο μέσος όρος των δειγμάτων που ανήκουν σ αυτήν. Στην εύρεση των κέντρων στηρίζεται άλλωστε και ο ταξινομητής Nearest Centroid, ο οποίος διαισθητικά θα δώσει καλύτερα αποτελέσματα αν τα δείγματα μετακινηθούν προς τα κέντρα τους, αφού δείγματα που βρίσκονται μακριά από την κλάση τους και είναι πιθανό να ταξινομηθούν σε λάθος κλάση, έρχονται με τον τρόπο αυτό πιο κοντά στο δικό τους κέντρο και συνεπώς είναι πιθανότερο να ταξινομηθούν πλέον στη σωστή κλάση. Για να το γράψουμε μαθηματικά, το μετατοπισμένο δείγμα δίνεται από τη σχέση: x = ax + (1 a)c x όπου x είναι εν λόγω δείγμα, a είναι ένας συντελεστής στο (0,1) που ορίζει τη βαρύτητα της μετατόπισης και c x είναι το κέντρο της κλάσης στην οποία ανήκει το δείγμα. Η μετακίνηση μπορεί να αφορά όλα τα δείγματα, μπορούμε όμως να ορίσουμε και προβληματικά δείγματα και η μετακίνηση να αφορά μόνο αυτά. Μπορούμε, για παράδειγμα, να ορίσουμε ως προβληματικό ένα δείγμα το οποίο βρίσκεται πιο κοντά σε κάποιο κέντρο αντίπαλης κλάσης απ ότι στο κέντρο της δικής του κλάσης. Θα μπορούσε ακόμη προβληματικό να θεωρείται ένα δείγμα αν βρίσκεται σε απόσταση μεγαλύτερη από ένα κατώφλι από το κέντρο του. Το μέγεθος του κατωφλίου θα μπορούσε να είναι PAGE 14

16 η μέση απόσταση των δειγμάτων μιας κλάσης από το κέντρο τους. Βέβαια, όσο πιο κοντά στο κέντρο της κλάσης είναι ένα δείγμα, τόσο λιγότερο αισθητή είναι η μετακίνηση του προς αυτό. Στις παρακάτω εικόνες φαίνεται το αποτέλεσμα της μετακίνησης όλων των δειγμάτων προς τα αντίστοιχα κέντρα τους καθώς και το αποτέλεσμα της μετακίνησης μόνο των προβληματικών (όσα κατατάσσονται λάθος σύμφωνα με τον Nearest Centroid). Τα δείγματα είναι οι αριθμοί 2 και 7 από ένα υποσύνολο της βάσης δεδομένων MNIST μετά από PCA. Το πρώτο διάγραμμα και στις δύο περιπτώσεις είναι η αρχική κατανομή των δειγμάτων, ενώ τα επόμενα διαγράμματα απεικονίζουν το αποτέλεσμα διαδοχικών εφαρμογών της μεθόδου στα δείγματα. Εικόνα 1. Σύγκριση αποτελέσματος μετακίνησης όλων των δειγμάτων προς τα κέντρα τους (πάνω σειρά) και μετακίνησης μόνο προβληματικών (πιο κοντά σε άλλο κέντρο) προς τα κέντρα τους (κάτω σειρά). Μετακίνηση 20% κάθε φορά σε σχέση με την προηγούμενη κατάσταση. Στην Εικόνα 1 φαίνεται πως η μετακίνηση όλων των δειγμάτων προκαλεί πιο έντονη συμπίεση αλλά και διαχωρισμό των κλάσεων, ενώ η μετακίνηση μόνο όσων έχουν πρόβλημα διατηρεί σε μεγάλο βαθμό τις σχέσεις των αποστάσεων και διορθώνει μόνο όπου υπάρχει πρόβλημα, δηλαδή κυρίως στην περιοχή ανάμεσα στις δύο κλάσεις. Μετρώντας τα νέα προβληματικά δείγματα μετά από κάθε επανάληψης της διαδικασίας μπορούμε να δούμε πως ο αριθμός τους μειώνεται και με τις δύο μεθόδους και έχει το δυναμικό να γίνει μηδέν. Σε μια παραλλαγή αυτής της βασικής ιδέας της μετακίνησης προς το κέντρο της κλάσης, μπορούμε να ορίσουμε περισσότερα από ένα κέντρα για κάθε κλάση, με χρήση κάποιου αλγορίθμου ομαδοποίησης, όπως για παράδειγμα ο k-means. Διαισθητικά, η PAGE 15

17 παραλλαγή αυτή θα είναι πιο ευνοϊκή σε δεδομένα όπου τα δείγματα εσωτερικά των κλάσεων παρουσιάζουν μικρή ομοιομορφία, δηλαδή σχηματίζουν φυσικές συστάδες, ειδικά αν αυτές βρίσκονται μακριά η μία απ την άλλη. Σε μια ακραία περίπτωση, κάθε δείγμα μπορεί να θεωρηθεί ως ξεχωριστή συστάδα και ξεκινώντας από τις πιο απομακρυσμένες συστάδες, μπορούμε να τις φέρνουμε πιο κοντά ανά ζευγάρια. Αν η διαδικασία αυτή επαναληφθεί αρκετές φορές, θεωρητικά, τα δείγματα θα σχηματίσουν μία ή περισσότερες μεγάλες συστάδες. 4.2 Μετακίνηση δειγμάτων προς τους κοντινότερους γείτονες ίδιας κλάσης Όπως και στην προηγούμενη μέθοδο, αν γνωρίζουμε τις ετικέτες των δειγμάτων, τότε για κάθε δείγμα γνωρίζουμε ποια άλλα δείγματα ανήκουν στην ίδια κλάση με αυτό. Μπορούμε τότε να διαπιστώσουμε πόσο κοντά ή μακριά από τους πιο κοντινούς του γείτονες της ίδιας κλάσης βρίσκεται ένα δείγμα. Αν η απόσταση είναι μεγάλη, μπορούμε να πούμε ότι πρόκειται για outlier. Αντίθετα αν η απόσταση αυτή είναι μικρή, τότε το δείγμα είναι πιθανό να ταξινομηθεί σωστά με τη χρήση του ταξινομητή k-nearest Neighbors. Μπορούμε επομένως να μετατοπίσουμε το δείγμα προς τους κοντινότερους αυτούς γείτονες. Η αντίστοιχη μαθηματική σχέση για το μετατοπισμένο δείγμα είναι: x = ax + (1 a)x n όπου x είναι το εν λόγω δείγμα, a ο συντελεστής της μετατόπισης και με τον όρο xn εννοούμε το μέσο όρο των γειτόνων του x, δηλαδή x n = 1 N x x Ν x όπου Νx το σύνολο των γειτόνων του x και Ν το πλήθος τους. Αυτή η δεύτερη μέθοδος διαχωρισμού των δεδομένων, αφορά τη μετακίνηση τους προς τους k κοντινότερους γείτονες τους. Μπορούμε και πάλι να ορίσουμε προβληματικά δείγματα, για παράδειγμα όσα βρίσκονται σε απόσταση μεγαλύτερη από ένα κατώφλι από τους κοντινότερους γείτονες τους. Ένας άλλος τρόπος να ορίσουμε προβληματικά δείγματα, είναι για κάθε δείγμα να ψάξουμε για αντιπάλους μέσα στην υπερ-σφαίρα που ορίζει η μεγαλύτερη από τις k αποστάσεις από τους γείτονες ίδιας κλάσης. Για κάποια δείγματα είναι πιθανό να μην βρεθούν αντίπαλοι στην ακτίνα αυτή. Όσα έχουν αντιπάλους, και κυρίως όσα έχουν περισσότερους αντιπάλους απ ότι γείτονες στην ακτίνα αυτή, θεωρούνται προβληματικά. Βέβαια, όπως και στην PAGE 16

18 προηγούμενη μέθοδο, όσο πιο κοντά στους γείτονες του βρίσκεται ένα δείγμα τόσο λιγότερο αισθητή είναι η μετακίνηση προς αυτούς. Στις παρακάτω εικόνες φαίνεται το αποτέλεσμα της μετακίνησης όλων των δειγμάτων προς τους 5 κοντινότερους γείτονες τους κατά 20%. Τα δείγματα είναι και πάλι οι αριθμοί 2 και 7 από ένα υποσύνολο της MNIST και μετά από PCA. Εικόνα 2. Διαδοχικές μετακινήσεις όλων των δειγμάτων προς τους 5 κοντινότερους γείτονες τους, κατά 20% κάθε φορά. Όπως φαίνεται στην Εικόνα 2, με τη μέθοδο αυτή είναι πιθανό να σχηματιστούν συστάδες, λόγω της μετακίνησης προς την κατεύθυνση πλήθους γειτόνων. Οι αποστάσεις των δειγμάτων εσωτερικά των κλάσεων φαίνεται πως μικραίνουν, ενώ οι αποστάσεις μεταξύ διαφορετικών κλάσεων δεν επηρεάζονται σημαντικά. 4.3 Απομάκρυνση από γείτονες αντίπαλων κλάσεων Όταν ένα δείγμα βρίσκεται κοντά σε αντιπάλους και θέλουμε να το φέρουμε σε καλύτερη περιοχή, μία στρατηγική είναι δούμε που βρίσκονται οι αντίπαλοι αυτοί και να το μετακινήσουμε σε κατεύθυνση αντίθετη από αυτούς. Μαθηματικά μπορούμε να το θέσουμε ως: x = (1 + a)x αx n όπου x το εν λόγω δείγμα, a ο συντελεστής της μετατόπισης και x n ο μέσος όρος των κοντινότερων αντιπάλων του δείγματος. Δηλαδή: x n = 1 N x x Ν x όπου Ν x το σύνολο των Ν κοντινότερων αντιπάλων του δείγματος. PAGE 17

19 Προβληματικά δείγματα εδώ μπορούν να θεωρηθούν όσα βρίσκονται κοντά σε αντίπαλα δείγματα, ή όπως και πριν, έχουν αντιπάλους στην υπερ-σφαίρα που ορίζουν οι κοντινότεροι γείτονες τους. Ενώ με τον τρόπο αυτόν ξέρουμε ότι το δείγμα θα απομακρυνθεί κατά ένα βαθμό από τους αντιπάλους του, δεν μας εγγυάται ότι θα καταλήξει και πιο κοντά στην δική του κλάση ώστε τελικά να ταξινομηθεί σωστά. Για το λόγο αυτό μπορούμε να συνδυάσουμε τη μέθοδο αυτή με την προηγούμενη, και η μετακίνηση να λαμβάνει υπόψη τόσο τη θέση των αντιπάλων όσο και τη θέση των γειτόνων ίδιας κλάσης. Επιπλέον, ειδικά στην περίπτωση ύπαρξης πολλών αντιπάλων στην υπερ-σφαίρα που ορίζουν οι γείτονες ίδιας κλάσης, η απομάκρυνση από το μέσο όρο των αντιπάλων αυτών μπορεί να οδηγήσει το δείγμα στην ίδια θέση ή σε αμελητέα μετατόπιση, αν οι αντίπαλοι βρίσκονται κυκλικά γύρω από αυτό. Το ίδιο ισχύει και στην προηγούμενη μέθοδο, εάν οι γείτονες ίδιας κλάσης του δείγματος βρίσκονται σε αντικρουόμενες θέσεις. 4.4 Μετακίνηση προς το κέντρο της κλάσης μέσω των γειτόνων ίδιας κλάσης Λαμβάνοντας υπόψη τα πλεονεκτήματα και μειονεκτήματα των παραπάνω μεθόδων, καταλήγουμε σε μία συνδυαστική μέθοδο: για κάθε δείγμα βρίσκουμε έναν γείτονα του ο οποίος είναι πιο κοντά στο κέντρο της κλάσης τους από αυτό. Με άλλα λόγια, βρίσκουμε έναν γείτονα που αποτελεί πιο αντιπροσωπευτικό δείγμα της κλάσης από το εν λόγω δείγμα αλλά και βρίσκεται αρκετά κοντά του. Μαθηματικά, μπορούμε να γράψουμε: x = ax + (1 a)x better όπου x better δείγμα τέτοιο ώστε x better Ν x και d(x better, c x ) < d(x, c x ), όπου d(, ) υποδεικνύει κάποια μετρική, όπως η ευκλείδεια ή οποιαδήποτε άλλη, c x το κέντρο της κλάσης του x και Ν x το σύνολο των κοντινότερων γειτόνων του x. Με τον τρόπο αυτό, τα δείγματα μπορούν να συγκεντρωθούν γύρω από το κέντρο της κλάσης τους όπως και στην πρώτη μέθοδο, περνώντας από το μονοπάτι που ορίζουν οι γείτονες του προς αυτό. Αν επαναλάβουμε τη διαδικασία αρκετές φορές, ακόμα και δεδομένα που παρουσιάζουν συστάδες με ανομοιόμορφο σχηματισμό μπορούν να συγκεντρωθούν σε μικρότερη περιοχή διατηρώντας το βασικό τους σχήμα, καθώς τα δείγματα μετακινούνται προς τους γείτονες σε καλύτερη περιοχή και όχι προς το κέντρο της κλάσης άμεσα, μέθοδος που μπορεί να καταστρέψει το σχήμα της συστάδας. Στο PAGE 18

20 Σχήμα 3 παρουσιάζεται η διαφορά της μεθόδου αυτής από τη μέθοδο απευθείας μετακίνησης προς το κέντρο της κλάσης. Σχήμα 3. Αποτέλεσμα μετακίνησης προς το κέντρο της κλάσης άμεσα (διακεκομμένο βελάκι) και μέσω γειτόνων πιο κοντά στο κέντρο από το εν λόγω δείγμα. Η μετακίνηση προς ένα γείτονα αντί για περισσότερους οφείλεται σε δύο λόγους. Πρώτον, η μετακίνηση κατά ένα ποσοστό προς το μέσο όρο πολλών γειτόνων προκαλεί μετατόπιση κατά ένα μικρότερο ποσοστό προς τον κάθε γείτονα, με αποτέλεσμα το δείγμα να θολώνει. Αυτό είναι ιδιαίτερα εμφανές αν τα δείγματα είναι εικόνες, όπως για παράδειγμα στην MNIST όπως φαίνεται παρακάτω στην εικόνα. Δεύτερον, επειδή επιλέγουμε γείτονες που γνωρίζουμε ότι είναι καλύτεροι από το εν λόγω δείγμα (πιο αντιπροσωπευτικοί υπό μία έννοια, καθώς βρίσκονται πιο κοντά στο κέντρο της κλάσης), μπορούμε με κάποια ασφάλεια να υποθέσουμε ότι και ένας μόνο από αυτούς θα οδηγήσει το δείγμα σε καλύτερη θέση. Παρόλα αυτά, θα μπορούσαν να χρησιμοποιηθούν και περισσότεροι του ενός γείτονες, και το δείγμα να μετακινηθεί προς το μέσο όρο των γειτόνων αυτών. Εικόνα 3. Ένα τυχαίο δείγμα της βάσης MNIST, πριν και μετά τη μετατόπιση του προς 5 γείτονες πιο κοντά από το ίδιο στο κέντρο της κλάσης τους. Φυσικά και σ αυτή την περίπτωση μπορούμε να ορίσουμε προβληματικά δείγματα και να εφαρμόσουμε τη μετατόπιση μόνο σε αυτά. Ως προβληματικό εδώ PAGE 19

21 ορίζεται ένα δείγμα το οποίο έχει έναν ή περισσότερους αντιπάλους στην υπερ-σφαίρα που ορίζουν οι λίγοι κοντινότεροι γείτονες του ίδιας κλάσης. Γενικά, η μέθοδος αυτή είναι η πιο πολύπλοκη και υπολογιστικά ακριβή καθώς απαιτεί την εύρεση γειτόνων σε ακτίνα γύρω από το κέντρο της κλάσης. Στην παρακάτω εικόνα φαίνεται το αποτέλεσμα της μετατόπισης με τη μέθοδο αυτή μόνο των προβληματικών δειγμάτων, σε δεδομένα ενός υποσυνόλου της MNIST μετά από PCA. Εικόνα 4. Δύο διαδοχικές μετακινήσεις προβληματικών δειγμάτων προς έναν καλύτερο γείτονα πιο κοντά στο κέντρο της κλάσης από αυτό. Στην Εικόνα 4 φαίνεται η μετατόπιση των προβληματικών δειγμάτων προς έναν γείτονα καλύτερο από αυτούς. Με τη μέθοδο αυτή επιτυγχάνουμε διαχωρισμό των κλάσεων και μείωση των αποστάσεων εσωτερικά στις κλάσεις. Φαίνεται επίσης πως το γενικό σχήμα των κλάσεων διατηρείται. Αν εφαρμοστεί σε όλα τα δείγματα και όχι μόνο στα προβληματικά, τότε οι αποστάσεις αυτές μειώνονται ακόμη περισσότερο, αφού θα μετακινηθούν και outliers που απλά είναι απομακρυσμένα από την κλάση τους, χωρίς αυτό να σημαίνει ότι βρίσκονται κοντά σε αντιπάλους. Η εφαρμογή σε όλα τα δείγματα φαίνεται στην παρακάτω εικόνα. Εικόνα 5. Το αποτέλεσμα της μετακίνησης όλων των δειγμάτων προς τον καλύτερο γείτονα τους. PAGE 20

22 Στην Εικόνα 5 φαίνεται η διαφορά μετακίνησης όλων των δειγμάτων σε σύγκριση με το αποτέλεσμα της Εικόνας 4. Φαίνεται πιο καθαρά η συγκέντρωση γύρω από το κέντρο της κλάσης, ενώ διατηρείται και αναδεικνύεται το γενικό σχήμα της κλάσης. Όπως και στην πρώτη μέθοδο, που αφορά τη μετακίνηση των δειγμάτων προς το κέντρο της κλάσης τους, μια παραλλαγή και εδώ θα μπορούσε να είναι η εξής: για κάθε κλάση ορίζουμε περισσότερα από ένα κέντρα και κάθε δείγμα ανήκει στην ομάδα στο κέντρο της οποίας είναι πιο κοντά. Στη συνέχεια μετακινούμε τα προβληματικά δείγματα προς τους κοντινότερους γείτονες ίδιας ομάδας με αυτά, που βρίσκονται πιο κοντά στο κέντρο της ομάδας. Κατά τη μετακίνηση των δειγμάτων, τα κέντρα αυτά εσωτερικά των κλάσεων αλλά και η ομάδα κάθε δείγματος μεταβάλλονται, επομένως αν θέλουμε να επαναλάβουμε τη διαδικασία θα πρέπει τα κέντρα των κλάσεων να βρεθούν από την αρχή. PAGE 21

23 5. Discriminant Autoencoder Συνδυάζοντας τους denoising autoencoders με το διαχωρισμό των δειγμάτων, μπορούμε να ορίσουμε ένα νέο είδος επιβλεπόμενου, διακριτικού autoencoder (Discriminant Autoencoder). Ως στόχο του νευρωνικού δικτύου θέτουμε όχι την ίδια την είσοδο, όπως στον κλασσικό autoencoder, αλλά τα δείγματα της εισόδου ελαφρώς τροποποιημένα με κάποια από τις μεθόδους που αναπτύξαμε στο κεφάλαιο 3. Για να γράψουμε το αντίστοιχο μαθηματικό μοντέλο με τη λογική αυτή, η ενδιάμεση αναπαράσταση y αλλά και η έξοδος του δικτύου x r προκύπτει με τον ίδιο τρόπο με τον απλό autoencoder: y = s(wx + b) x r = s(w y + b ) Η έξοδος του νευρωνικού δικτύου, δηλαδή η ανακατασκευή της εισόδου, μπορεί πλέον να θεωρηθεί ως μία μετατοπισμένη πρόβλεψη της εισόδου x δεδομένης της κρυφής αναπαράστασης. Δηλαδή η ανακατασκευή θα πρέπει να προσεγγίζει την μετατοπισμένη εκδοχή της εισόδου x καθώς εκπαιδεύεται το δίκτυο: x r x Έτσι, το δίκτυο θα προσπαθήσει να μάθει να ανακατασκευάζει τα μετατοπισμένα δείγματα αντί των αρχικών δειγμάτων. Παρόλα αυτά, η ανακατασκευή πιθανώς δε θα είναι τέλεια, δηλαδή κάποια δείγματα δε θα μπορέσουν να ανακατασκευαστούν στις θέσεις του χώρου όπου βρέθηκαν μετά τη μετατόπιση τους. Σ αυτήν την περίπτωση, μπορούμε να θέσουμε νέους στόχους στα δείγματα, με βάση την ανακατασκευή τους. Με άλλα λόγια, αν για κάποια δείγματα ο αρχικός στόχος ήταν δύσκολος, δηλαδή ανακατασκευάζονται μακριά από την περιοχή που τους ανατέθηκε, μπορούμε να αναθέσουμε σ αυτά ένα νέο στόχο με βάση τη νέα τους θέση και την νέα κατάσταση των δειγμάτων στον χώρο. Είναι πιθανό στην ανακατασκευή των δειγμάτων, να έχουν αλλάξει οι κοντινότεροι γείτονες (και αντίπαλοι) των δειγμάτων επομένως απαιτείται επαναπροσδιορισμός τους. Η διαδικασία αυτή μπορεί να επαναληφθεί για έναν αριθμό βημάτων, εφόσον έχει νόημα, δηλαδή εφόσον η ανακατασκευή σε κάθε βήμα είναι αρκετά καλή, που σημαίνει ότι οι νέοι στόχοι δεν είναι πολύ δύσκολοι. Επιπλέον, έχουμε δύο δυνατότητες για τους νέους αυτούς στόχους. Πρώτον, μπορούμε να θέσουμε τους νέους στόχους από την αρχή της εκπαίδευσης του νευρωνικού δικτύου, και να τους αλλάζουμε κάθε έναν καθορισμένο αριθμό εποχών με PAGE 22

24 βάση την ανακατασκευή τους. Ή, δεύτερον, να αφήσουμε αρχικά έναν απλό autoencoder, με έξοδο-στόχο ίδια με την είσοδο, να συγκλίνει και στη συνέχεια να θέσουμε στο δίκτυο αυτό σαν είσοδο τα προβληματικά δείγματα της βάσης, όπως αυτά καθορίζονται με βάση τη μέθοδο μετατόπισης, με τους νέους στόχους τους. Η μέθοδος αυτή έχει το δυναμικό να ξεκολλήσει το δίκτυο από τοπικά ελάχιστα και μπορεί να επαναληφθεί όπως και η πρώτη αρκετές φορές, εφόσον και πάλι η ανακατασκευή είναι αρκετά καλή ώστε να το επιτρέπει. Η επανάληψη της παραπάνω διαδικασίας είναι θεμιτή και διαισθητικά αν σκεφτούμε το εξής: όταν ένα δείγμα μετακινείται με κάποια από τις μεθόδους που αναπτύξαμε, υπάρχει πάντα η πιθανότητα να καταλήξει σε περιοχή στο χώρο όπου υπάρχουν περισσότεροι αντίπαλοι από πριν. Επιπλέον, ακόμη και αν ο στόχος του τον θέτει σε καλύτερη περιοχή από προηγουμένως, υπάρχει η πιθανότητα τελικά το δείγμα να μην ανακατασκευαστεί στη θέση αυτή, αλλά σε χειρότερη. Για τις περιπτώσεις αυτές, έχει νόημα να επαναληφθεί η διαδικασία, είτε για όλα τα δείγματα είτε μόνο για τα προβληματικά κάθε φορά, από την αρχή: δηλαδή να βρεθούν εκ νέου τα προβληματικά δείγματα όπως προκύπτουν από την ανακατασκευή των δειγμάτων που δίνει ο autoencoder και από τη μέθοδο που χρησιμοποιούμε, να εφαρμοστεί ξανά η μέθοδος ώστε να βρεθούν οι νέοι γείτονες και αντίπαλοι (και τα νέα κέντρα στην περίπτωση ύπαρξης περισσότερων του ενός κέντρου για κάθε κλάση) και τελικά οι νέοι στόχοι ώστε να εκπαιδευτεί ο autoencoder από το σημείο που είχε σταματήσει η προηγούμενη φάση της εκπαίδευσης. Με τη μέθοδο αυτή του διαχωριστικού autoencoder έχουμε δύο σημαντικά οφέλη: μείωση της διάστασης των δεδομένων και ταυτόχρονο διαχωρισμό των κλάσεων με χρήση ενός νευρωνικού δικτύου. Στο επόμενο κεφάλαιο παραθέτουμε τα πειραματικά αποτελέσματα της μεθόδου. PAGE 23

25 6. Πειραματικά αποτελέσματα Στα παρακάτω πειράματα ελέγχουμε την απόδοση του Διακριτικού Autoencoder και του συνδυασμού Απλού Autoencoder και Διακριτικού Autoencoder συγκριτικά με τη χρήση μόνο κλασσικού Autoencoder, όπου κλασσικός ή απλός autoencoder είναι ένας Denoising Autoencoder ενός κρυφού επιπέδου. Τα αποτελέσματα που παραθέτουμε είναι τα αποτελέσματα που πετυχαίνουμε με χρήση της ενδιάμεσης αναπαράστασης που δίνει ο εκάστοτε autoencoder, εκτός αν αναφέρουμε κάτι διαφορετικό. 6.1 Αναγνώριση χειρόγραφων ψηφίων Το σύνολο δεδομένων MNIST [6] αποτελεί ίσως την πιο διαδεδομένη βάση δεδομένων στην αναγνώριση προτύπων. Η βάση της αποτελείται από εικόνες χειρόγραφων αριθμητικών ψηφίων (0-9) διάστασης 28x28 pixels (διάσταση 784) που προορίζονται για εκπαίδευση και αντίστοιχες εικόνες που προορίζονται για έλεγχο. Εικόνα 6. Παραδείγματα δειγμάτων της βάσης MNIST. Για λόγους ταχύτητας, εκτελέσαμε πειράματα χρησιμοποιώντας ένα υποσύνολο του συνόλου εκπαίδευσης μεγέθους 1000 και ένα υποσύνολο του συνόλου ελέγχου ίδιου μεγέθους. Στον πίνακα που ακολουθεί φαίνονται τα αποτελέσματα τριών ταξινομητών στις αρχικές 784 διαστάσεις για σύγκριση. PAGE 24

26 Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 87.5% 87.1% Nearest Centroid 82.1% 80.8% MLP % 85.9% Πίνακας 1. Ποσοστά επιτυχίας στα υποσύνολα εκπαίδευσης και ελέγχου της MNIST που χρησιμοποιήσαμε, στις αρχικές διαστάσεις τους. Χρησιμοποιώντας τη μέθοδο μετακίνησης προς έναν καλύτερο γείτονα μόνο στα προβληματικά δείγματα, βρίσκουμε τους στόχους που θα θέσουμε στον Διακριτικό Autoencoder. Στην παρακάτω εικόνα συγκρίνουμε την αρχική κατάσταση ανάμεσα σε δύο κλάσεις της βάσης (ψηφία 2 και 7) και τη νέα μετατοπισμένη τους θέση. Εικόνα 7. Σύγκριση αρχικών θέσεων (αριστερά) και μετατοπισμένων θέσεων για δύο κλάσεις του υποσυνόλου εκπαίδευσης της MNIST που χρησιμοποιήσαμε. Μετά από 4000 εποχές εκπαίδευσης του Διακριτικού AE με τους στόχους που φαίνονται πιο πάνω, στον οποίο η ενδιάμεση αναπαράσταση ορίζουμε ότι έχει 100 διαστάσεις, παίρνουμε τα αποτελέσματα που φαίνονται στον παρακάτω πίνακα για τέσσερις ταξινομητές: k-nearest Neighbors, Nearest Centroid, έναν απλό MLP χωρίς κρυφό επίπεδο και έναν ακόμη MLP στον οποίο τα βάρη μεταξύ της εισόδου και του κρυφού επιπέδου είναι τα βάρη που προκύπτουν από τη φάση κωδικοποίησης του AE. PAGE 25

27 Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 89.5% 88% Nearest Centroid 86.9% 82.1% MLP % 85% MLP % 86.90% Πίνακας 2. Ποσοστά επιτυχίας μετά από 4000 Διακριτικού AE σε υποσύνολο της MNIST. Στην Εικόνα 8 συγκρίνουμε τους στόχους που θέσαμε στον autoencoder με την ανακατασκευή που τελικά καταφέρνει να πραγματοποιήσει μετά από αυτές τις 4000 εποχές, κοιτώντας τις ίδιες κλάσεις με την Εικόνα 7. Φαίνεται πως κάποια δείγματα κατάφεραν να ανακατασκευαστούν στις θέσεις που τους ανατέθηκαν, ενώ κάποια άλλα δεν έφτασαν ακριβώς στις θέσεις που τους ανατέθηκαν. Εικόνα 8. Σύγκριση των στόχων που θέσαμε στον autoencoder (αριστερά) με την ανακατασκευή που τελικά πέτυχε. Στα ανακατασκευασμένα δείγματα τώρα θέτουμε και πάλι νέους στόχους, διαφορετικούς από πριν καθώς πιθανώς έχουν αλλάξει οι κοντινότεροι γείτονες και αντίπαλοι. Εκπαιδεύουμε ξανά το δίκτυο χρησιμοποιώντας τους νέους αυτούς στόχους για 4000 εποχές, και τα αποτελέσματα φαίνονται στον παρακάτω πίνακα: Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 89.9% 88% PAGE 26

28 Nearest Centroid 87.2% 81.8% MLP % 83.9% MLP % 87.80% Πίνακας 3. Ποσοστά επιτυχίας μετά από 4000 εποχές Διακριτικού Autoencoder με νέους στόχους στην προηγούμενη ανακατασκευή. Τέλος, η ανακατασκευή που τελικά επιτυγχάνει ο autoencoder σε σύγκριση με τους τελικούς στόχους που αναθέσαμε φαίνεται στην Εικόνα 9. Φαίνεται πως τα δείγματα έχουν πλησιάσει περισσότερο από προηγουμένως τους στόχους που τους ανατέθηκαν, αν και κάποια εξακολουθούν να είναι προβληματικά. Εικόνα 9. Σύγκριση νέων στόχων από την προηγούμενη ανακατασκευή (αριστερά) και νέας ανακατασκευής στις κλάσεις ψηφίων 2 και 7 του υποσυνόλου εκπαίδευσης της MNIST που χρησιμοποιήσαμε. Σαν ένα δεύτερο πείραμα, αφήσαμε τον απλό autoencoder να εκπαιδευτεί για 4000 εποχές και στη συνέχεια τον μετατρέψαμε σε Διακριτικό autoencoder και εκπαιδεύσαμε μόνο με τα προβληματικά δείγματα και τους νέους τους στόχους. Μετά τις 4000 εποχές απλού autoencoding, παίρνουμε τα εξής αποτελέσματα: Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 87.9% 87.4% Nearest Centroid 86.8% 81.7% PAGE 27

29 MLP % 84.8% MLP % 86.60% Πίνακας 4. Ποσοστά επιτυχίας στα υποσύνολα της MNIST μετά από 4000 εποχές απλού autoencoder. Εκπαιδεύουμε τώρα για 500 ακόμη εποχές μόνο με τα προβληματικά δείγματα και τους νέους τους στόχους, και παίρνουμε τα εξής αποτελέσματα: Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 89.3% 87.6% Nearest Centroid 86.9% 81.8% MLP % 84.2% MLP % 88% Πίνακας 5. Ποσοστά επιτυχίας μετά από 500 εποχές εκπαίδευσης μόνο με τα προβληματικά δείγματα, αφού έχει συγκλίνει ο απλός AE. Μετά από ακόμη 500 εποχές εκπαίδευσης, με νέους στόχους όπως προκύπτουν από την ανακατασκευή που πήραμε προηγουμένως: Ταξινομητής Εκπαίδευση Έλεγχος k-nearest Neighbors 89.8% 87.6% Nearest Centroid 87.1% 81.7% MLP % 84% MLP % 87.7% Πίνακας 6. Ποσοστά επιτυχίας μετά από 500 ακόμη εποχές με νέους στόχους με βάση την προηγούμενη ανακατασκευή. Η διαδικασία αυτή μπορεί να επαναληφθεί πολλές φορές, για οποιοδήποτε αριθμό εποχών. Αυτό που παρατηρούμε με κάθε επανάληψη είναι πως το ποσοστό επιτυχίας στο σύνολο εκπαίδευσης αυξάνεται συνεχώς μέχρι ένα σημείο: μετά από δύο ακόμη επαναλήψεις ο knn δίνει 91.6%, ο NC 88,1%, o απλός MLP 95.2% και ο MLP ενός κρυφού επιπέδου 98.9%. Το ποσοστό επιτυχίας στον έλεγχο δε φαίνεται να αυξάνεται PAGE 28

30 αντίστοιχα, αλλά παραμένει περίπου το ίδιο με μικρές αυξομειώσεις για όλους τους ταξινομητές. 6.2 Αναγνώριση εκφράσεων προσώπου Η αναγνώριση εκφράσεων προσώπου αποτελεί άλλο ένα μεγάλο πρόβλημα στην αναγνώριση προτύπων, που εμφανίζει ιδιαίτερο ενδιαφέρον και έχει μελετηθεί αρκετά τελευταία, εξακολουθεί πάντως να είναι ένα απαιτητικό πρόβλημα [7]. Έχουν δημιουργηθεί πολλές βάσεις με σκοπό τη μελέτη αυτού του προβλήματος, ανάμεσα τους οι BU, JAFFE [8] και Kanade [9] [10]. Παρακάτω παρουσιάζονται οι βάσεις πιο αναλυτικά και τα αποτελέσματα που πετύχαμε με τη μέθοδο διακριτικού autoencoding Βάση BU Η βάση BU αποτελείται από συνολικά 700 φωτογραφίες προσώπων από 100 άτομα, διαστάσεων 30x40 pixels. Για κάθε άτομο υπάρχει μια εκδοχή για κάθε ένα από τα 7 βασικά συναισθήματα: χαρά, λύπη, έκπληξη, θυμός, αηδία, φόβος και ουδέτερο. Εικόνα 10. Μερικά από τα πρόσωπα και εκφράσεις στη βάση BU. PAGE 29

31 Στα πειράματα που εκτελέσαμε, χωρίσαμε τη βάση 5 φορές σε δείγματα εκπαίδευσης και δείγματα ελέγχου, αφήνοντας πάντα για έλεγχο και τις επτά εκδοχές ενός ατόμου. Η ενδιάμεση αναπαράσταση που παράγει ο autoencoder έχει διάσταση 400, δηλαδή υποτριπλάσια της αρχικής. Η διακριτική μέθοδος που δουλεύει καλύτερα στα δεδομένα της συγκεκριμένης βάσης είναι η μετακίνηση των δειγμάτων προς το κέντρο τους. Στα παρακάτω διαγράμματα παρουσιάζονται τα αποτελέσματα στον έλεγχο κάθε 500 εποχές και μέχρι τις 8000 συνολικά, για τέσσερις ταξινομητές: k-κοντινότεροι Γείτονες (k-nearest Neighbours), Κοντινότερο Κέντρο (Nearest Centroid), ένα δίκτυο MLP χωρίς κρυφό επίπεδο (400-7) και ένα δίκτυο MLP με ένα κρυφό επίπεδο, στο οποίο ως βάρη μεταξύ του πρώτου και του κρυφού επιπέδου θέτουμε τα βάρη που προέκυψαν από την εκπαίδευση του autoencoder (όπως αναφέραμε στην ενότητα 2.4). Τα επίπεδα του τελευταίου αυτού δικτύου έχουν διαστάσεις αντίστοιχα. Ελέγχουμε τα αποτελέσματα από α) τον κλασσικό autoencoder όπως παρουσιάστηκε στην ενότητα 2.1, β) τον διακριτικό autoencoder που προτείναμε στο κεφάλαιο 4 και γ) συνδυασμό του απλού autoencoder και του διακριτικού autoencoder. Για την τρίτη μέθοδο, αφήνουμε τον κλασσικό autoencoder να εκπαιδευτεί για 4000 εποχές (δηλαδή μέχρι και τις 4000 εποχές η μέθοδος αυτή δίνει τα ίδια αποτελέσματα με τον απλό autoencoder), οπότε και μπορούμε να πούμε ότι έχει συγκλίνει, και στη συνέχεια συνεχίζουμε την εκπαίδευση μόνο με τα προβληματικά δείγματα και τους νέους τους στόχους. 50 k-nearest Neighbours Κλασσικός AE Διακριτικός AE Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 1. Ποσοστά επιτυχίας στον έλεγχο της BU με χρήση του αλγορίθμου knn. PAGE 30

32 Nearest Centroid Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός AE και Διακριτικός ΑΕ Διάγραμμα 2. Ποσοστά επιτυχίας στον έλεγχο της BU με χρήση του αλγορίθμου NC MLP Κλασσικός AE Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 3. Ποσοστά επιτυχίας στον έλεγχο της BU με χρήση MLP χωρίς κρυφό επίπεδο. PAGE 31

33 MLP Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 4. Ποσοστά επιτυχίας στον έλεγχο της BU με χρήση MLP ενός κρυφού επιπέδου. Στα διαγράμματα συγκρίνεται η απόδοση ανά ταξινομητή του απλού Denoising Autoencoder (Κλασσικός ΑΕ), του Διακριτικού Autoencoder που προτείνουμε (Διακριτικός ΑΕ) και του συνδυασμού των δύο, δηλαδή απλού DAE για 4000 εποχές και στη συνέχεια Διακριτικού ΑΕ με εκπαίδευση μόνο με τα προβληματικά δείγματα. Το ίδιο ισχύει και για τα επόμενα διαγράμματα στις άλλες βάσεις. Για τον διακριτικό autoencoder, οι μετατοπισμένοι στόχοι θέτονται από την αρχή της εκπαίδευσης και επαναπροσδιορίζονται στις 4000 και στις 6000 εποχές. Για το συνδυασμό, οι νέοι στόχοι θέτονται στις 4000 εποχές, οπότε και ξεκινάει η εκπαίδευση μόνο με τα προβληματικά δείγματα, και επαναπροσδιορίζονται τόσο τα προβληματικά δείγματα όσο και οι νέοι τους στόχοι στις 5000 και στις 6500 εποχές. Τέλος, τόσο ο απλός MLP όσο και ο MLP ενός κρυφού επιπέδου εκπαιδεύονται πάντα για 1500 εποχές. Οι ίδιες ακριβώς ρυθμίσεις ισχύουν και για τις επόμενες βάσεις αναγνώρισης εκφράσεων Βάση JAFFE Η βάση JAFFE (Japanese Female Facial Expressions) αποτελείται αποκλειστικά από φωτογραφίες προσώπων γυναικών Ιαπωνικής καταγωγής, διάστασης 30x40. Συνολικά υπάρχουν 210 φωτογραφίες από 10 διαφορετικά άτομο. Για κάθε άτομο υπάρχουν 3 διαφορετικές εκδοχές για κάθε ένα από τα 7 βασικά συναισθήματα (χαρά, λύπη κτλ.), δηλαδή 21 συνολικά φωτογραφίες ανά άτομο. PAGE 32

34 Εικόνα 11. Μερικά από τα πρόσωπα και εκφράσεις στη βάση JAFFE. Για τα πειράματα μας χωρίσαμε τη βάση 5 φορές σε δείγματα εκπαίδευσης και ελέγχου (168 και 42 αντίστοιχα), αφήνοντας για έλεγχο όλες τις φωτογραφίες δύο ατόμων. Η ενδιάμεση αναπαράσταση έχει και πάλι διάσταση υποτριπλάσια της αρχικής, δηλαδή 400 από 1200, και η διακριτική μέθοδος που χρησιμοποιήσαμε είναι η μετακίνηση των δειγμάτων προς το κέντρο τους. Για την κατηγοριοποίηση ελέγξαμε τα αποτελέσματα τεσσάρων ταξινομητών, ακριβώς όπως και στην προηγούμενη βάση, δηλαδή K-Nearest Neighbours, Nearest Centroid, απλός MLP χωρίς κρυφό επίπεδο (400-7) και MLP με ένα κρυφό επίπεδο ( ) όπου τα βάρη μεταξύ εισόδου και κρυφού επιπέδου είναι τα βάρη που προέκυψαν από την εκπαίδευση του αντίστοιχου autoencoder. Τα αποτελέσματα φαίνονται στα παρακάτω διαγράμματα. PAGE 33

35 k-nearest Neighbours Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 5. Ποσοστά στον έλεγχο στη JAFFE με χρήση του αλγορίθμου knn. Nearest Centroid Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 6. Ποσοστά επιτυχίας στη JAFFE με χρήση του αλγορίθμου NC. PAGE 34

36 MLP Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 7. Ποσοστά επιτυχίας στον έλεγχο με χρήση MLP χωρίς κρυφό επίπεδο MLP Κλασσικός ΑΕ Διακριτικός ΑΕ Απλός ΑΕ και Διακριτικός ΑΕ Διάγραμμα 8. Ποσοστά επιτυχίας στον έλεγχο με χρήση MLP ενός κρυφού επιπέδου Βάση Kanade Η βάση αυτή αποτελείται από 245 φωτογραφίες προσώπων διάστασης 30x40 που καλύπτουν τα εφτά βασικά συναισθήματα, από 35 άτομα. Δηλαδή για κάθε ένα από τα 35 άτομα διαθέτουμε μια φωτογραφία του για κάθε συναίσθημα. PAGE 35

37 Εικόνα 12. Μερικά από τα πρόσωπα και εκφράσεις της βάσης KANADE. Όμοια με τις προηγούμενες χωρίστηκε και αυτή η βάση σε 5 σύνολα εκπαίδευσης και ελέγχου (196 και 49 αντίστοιχα), αφήνοντας πάντα για έλεγχο και τις 7 εκφράσεις 7 ατόμων. Η ενδιάμεση αναπαράσταση και στα τρία είδη autoencoder που ελέγξαμε έχει διάσταση 400, ενώ η αρχική ήταν και πάλι 1200, και η διακριτική μέθοδος που χρησιμοποιήσαμε ήταν η μετακίνηση όλων των δειγμάτων προς τα κέντρα τους. Τέλος για την κατηγοριοποίηση χρησιμοποιήσαμε τους τέσσερις ταξινομητές που αναφέραμε πιο πάνω. PAGE 36