Θ.Ε. ΠΛΗ31 (2004-5) ΓΡΑΠΤΗ ΕΡΓΑΣΙΑ #3 Στόχος Στόχος αυτής της εργασίας είναι η απόκτηση δεξιοτήτων σε θέματα που αφορούν τα Τεχνητά Νευρωνικά Δίκτυα και ποιο συγκεκριμένα θέματα εκπαίδευσης και υλοποίησης. Στην εργασία αυτή θα επικεντρώσουμε κυρίως στον αλγόριθμο Πίσω Διάδοσης του Λάθους (Error Back Propagation - EBP) σε πολύ-επίπεδα Νευρωνικά Δίκτυα (Multi-Layers Perceptrons - MLPs). Επίσης, θα αποκτηθεί εμπειρία στη χρήση ενός έτοιμου πακέτου (WEKA) που έχει υλοποιημένους αλγορίθμους Μηχανικής Μάθησης, μεταξύ των οποίων και τον αλγόριθμο EBP, για την εκπαίδευση πολυεπίπεδων Ν.Δ. Τέλος, θα γίνει εφαρμογή του παραπάνω αλγορίθμου στην επίλυση δύο προβλημάτων του πραγματικού κόσμου. Θέμα 1: Πολύ-επίπεδα Perceptrons Δίνεται το παρακάτω ΤΝΔ δύο επιπέδων με δύο κρυφούς νευρώνες και ένα νευρώνα εξόδου. Η συνάρτηση ενεργοποίησης που χρησιμοποιούν όλοι οι υπολογιστικοί νευρώνες (νευρώνες του κρυφού επιπέδου και του επιπέδου εξόδου) είναι η συνάρτηση κατωφλίου που δίνεται από τη σχέση: 1, υ j 0 f ( υ j ) = 0, υ j < 0 υ = w x και j ji i i Δείξτε ότι το παραπάνω δίκτυο επιλύει το πρόβλημα XOR (έχει μάθει δηλαδή τη συνάρτηση XOR): a. Συμπληρώνοντας τον παρακάτω πίνακα
x 1 x 2 y 1 y 2 y 3 0 0 0 1 1 0 1 1 Όπου x 1 και x 2 είναι οι είσοδοι του δικτύου και b. Κατασκευάζοντας τις περιοχές απόφασης κάθε νευρώνα του δικτύου. Θέμα 2: Ο Αλγόριθμος Πίσω Διάδοσης του Λάθους για Πολύεπίπεδα Perceptrons Δίνεται το παρακάτω ΤΝΔ για την επίλυση του προβλήματος XOR. Για την εκπαίδευσή του χρησιμοποιείται η μέθοδος οπισθοδιάδοσης του σφάλματος με ρυθμό εκπαίδευσης n=1, χωρίς χρήση ορμής (momentum). Η συνάρτηση ενεργοποίησης σε όλους τους νευρώνες είναι η γνωστή σιγμοειδής συνάρτηση S, όπου: 1 S( x) = 1 + e x
Σε κάποια στιγμή εκπαίδευσής του για την εκμάθηση του προτύπου [0.0,1.0] τα βάρη των συνδέσεων μεταξύ των κόμβων έχουν πάρει τις παρακάτω τιμές: w 13 =0.1, w 14 =0.2, w 23 =0.2, w 24 =0.1, w 35 =-0.1 και w 45 = -0.1. Ζητούνται αναλυτικά: a. Να υπολογιστεί η έξοδος του ΤΝΔ για το πρότυπο [0.0,1.0]. b. Να βρεθούν οι νέες τιμές των βαρών w για το αμέσως επόμενο κύκλο εκπαίδευσης βάσει της μεθόδου οπισθοδιάδοσης του λάθους. c. Με τις νέες τιμές των βαρών να υπολογίσετε εκ νέου την έξοδο του ΤΝΔ για το πρότυπο [0.0,1.0]. Τι παρατηρείτε; Να πραγματοποιήσετε τους υπολογισμούς με ακρίβεια 3 δεκαδικών ψηφίων. Θέμα 3: Υλοποίηση του Αλγόριθμου Πίσω Διάδοσης του Λάθους Στο αρχείο BackPropagation_PatternMode.c που επισυνάπτεται, υπάρχει ο κώδικας σε C που υλοποιεί τον αλγόριθμο Πίσω Διάδοσης του Λάθους, για πολύ-επίπεδα Νευρωνικά Δίκτυα εμπρόσθιας τροφοδότησης. Ο κώδικας είναι γενικός (μπορεί να χρησιμοποιηθεί για την επίλυση διαφόρων προβλημάτων). Στη συγκεκριμένη υλοποίηση επικεντρώνεται στην επίλυση του προβλήματος της Ίριδας. Το πρόβλημα ταξινόμησης των λουλουδιών της Ίριδας (Iris plant problem) είναι ίσως το πιο γνωστό πρόβλημα στο χώρο της αναγνώρισης προτύπων (pattern recognition). Περιέχει τρεις (3) κατηγορίες λουλουδιών, με κάθε κατηγορία να αποτελείται από πενήντα (50) δείγματα (άρα ο συνολικός αριθμός δειγμάτων είναι 150). Κάθε μια από τις κατηγορίες αναφέρεται και σε έναν τύπο του φυτού της Ίριδας (Iris-setosa, Irisversicolor, Iris-virginica). Κάθε κατηγορία είναι γραμμικά ανεξάρτητη από τις άλλες δύο, οι οποίες όμως δεν είναι γραμμικά ανεξάρτητες μεταξύ τους. Οι ιδιότητες, με βάση τις οποίες, γίνεται ο διαχωρισμός των λουλουδιών είναι 4 και παίρνουν πραγματικές τιμές. Τα δεδομένα του προβλήματος της Ίριδας υπάρχουν σε μορφή πίνακα στο αρχείο «IRIS Plant Problem.xls». Για την μεταγλώττιση του κώδικα έχει χρησιμοποιηθεί το σύστημα lcc που διατίθεται ελεύθερα από τον διαδικτυακό τόπο: http://www.cs.virginia.edu/~lcc-win32/. Εκτός από αυτόν τον compiler μπορεί να χρησιμοποιηθεί και οποιοσδήποτε άλλος compiler που υποστηρίζει C. Στο αρχείο Οdigies_lcc.doc υπάρχουν οδηγίες για το πως μεταγλωττίζουμε και εκτελούμε ένα πρόγραμμα στον lcc. Θέμα 3α. Τεκμηρίωση κώδικα Μελετήστε προσεκτικά τον κώδικα και περιγράψτε τη λειτουργία του σε μορφή ψευδοκώδικα δίνοντας έμφαση στον αλγόριθμο Πίσω διάδοσης του Λάθους όπως αυτός υλοποιείται στον κώδικα. Δηλαδή στον ψευδοκώδικα που θα γράψετε θα πρέπει να περιγράφετε τον αλγόριθμο Πίσω Διάδοσης (όπως αυτός έχει υλοποιηθεί στον κώδικα) αγνοώντας δευτερεύουσες λειτουργίες του κώδικα (όπως για παράδειγμα το «διάβασμα» του συνόλου εκπαίδευσης κ.λπ.) Θέμα 3β. Εκπαίδευση σε batch mode
Όπως θα έχετε διαπιστώσει από τη μελέτη του κώδικα, αυτός έχει υλοποιηθεί για να υποστηρίζει εκπαίδευση σε pattern mode (δηλαδή τα βάρη του δικτύου ενημερώνονται μετά από την παρουσίαση κάθε δείγματος). Στο θέμα αυτό σας ζητείτε να προσθέσετε στον κώδικα τη δυνατότητα για εκπαίδευση του δικτύου και σε batch mode. Στην περίπτωση της εκπαίδευσης σε Batch Mode η ενημέρωση των βαρών γίνεται αφού έχει περάσει όλο το σύνολο εκπαίδευσης και όχι μετά από κάθε pattern. Συγκεκριμένα, θα υλοποιήσετε μια εκδοχή της εκπαίδευσης σε batch mode που λειτουργεί ως εξής: Για κάθε δείγμα του σύνολου εκπαίδευσης υπολογίζουμε το λάθος στην έξοδο (εμπρός πέρασμα Αλγορίθμου Πίσω διάδοσης). Στη συνέχεια διαδίδουμε το λάθος προς τα πίσω (προς τα πίσω πέρασμα) και υπολογίζουμε τις μεταβολές των βαρών (Δw) για το συγκεκριμένο δείγμα. Έως εδώ, δηλαδή, λειτουργούμε με τον ίδιο τρόπο όπως και στο pattern mode. Αυτές οι μεταβολές του βάρους που προκαλεί κάθε δείγμα του συνόλου εκπαίδευσης (training set) αθροίζονται και υπολογίζεται μια «συνολική» μεταβολή του βάρους (Δw) για όλο το δείγμα εκπαίδευσης. Τέλος ενημερώνονται τα βάρη του δικτύου σύμφωνα με τη σχέση: wt ( + 1) = wt ( ) +Δ wt ( )(Εδώ, για λόγους ευκολίας στην υλοποίηση δεν χρησιμοποιούμε momentum term). Θέμα 3γ. Σύγκριση pattern και batch mode Συγκρίνετε τις δύο μεθόδους εκπαίδευσης (pattern mode και batch mode) πραγματοποιώντας πειράματα χρησιμοποιώντας τις τιμές των παραμέτρων που υπάρχουν στον αλγόριθμο. Κάντε γραφική παράσταση του μέτρου του λάθους (του Mean Square Error) για το training set και για το test set ως προς τα βήματα εκπαίδευσης, για την περίπτωση της εκπαίδευσης σε pattern mode και για την περίπτωση της εκπαίδευσης σε batch mode. Τι παρατηρείτε από τις γραφικές παραστάσεις για τις δύο μεθόδους; Θέμα 4. Περιβάλλον προγραμματισμού WEKA To Weka είναι ένα περιβάλλον ανάπτυξης αλγορίθμων και εφαρμογών μηχανικής μάθησης που έχει αναπτυχθεί σε Java και διατίθεται ελεύθερα. Το Weka έχει αναπτυχθεί και συνεχίζει να αναπτύσσεται στο Πανεπιστήμιο του Waikato στη Νέα Ζηλανδία και το όνομά του προέρχεται από τα αρχικά των: Waikato Environment for Knowledge Analysis. Περιλαμβάνει υλοποιήσεις πολλών γνωστών αλγορίθμων μηχανικής μάθησης. Στην εργασία αυτή θα ασχοληθούμε μόνο με τους αλγορίθμους μηχανικής μάθησης που υλοποιούν Νευρωνικά Δίκτυα, και συγκεκριμένα με τα πολύεπίπεδα Perceptrons που εκπαιδεύονται με τον αλγόριθμο Πίσω-Διάδοσης του Λάθους. Στο αρχείο parasites.txt που επισυνάπτεται, υπάρχουν μετρήσεις που ελήφθησαν σε ζωντανούς παρασιτικούς οργανισμούς ενός είδους με τη βοήθεια μικροσκοπίου. Οι οργανισμοί αυτοί κατατάχθηκαν με τη βοήθεια έμπειρου παρασιτολόγου σε 5 υποκατηγορίες (cooperia, haemonchus, oesophagostomum, ostertagia, trichostrongylus). Για την ταξινόμησή τους στις αντίστοιχες υποκατηγορίες χρησιμοποιούνται 5 ποσοτικές μετρήσεις που πραγματοποιήθηκαν με λογισμικό
επεξεργασίας εικόνας. Οι μετρήσεις αυτές είναι: Εμβαδόν, περίμετρος, πλάτος σώματος, ολικό μήκος, μήκος ουράς. Στο θέμα αυτό καλείστε να εκπαιδεύσετε ένα Τεχνητό Νευρωνικό Δίκτυο για την ταξινόμηση του δοθέντος δείγματος με χρήση του λογισμικού WEKA. Θέμα 4α. Προετοιμασία και ανάλυση του δείγματος για εκπαίδευση Δημιουργείστε το κατάλληλο αρχείο *.arff για την εκπαίδευση του ΤΝΔ στο περιβάλλον του WEKA με βάση το αρχείο parasites.txt. Φορτώστε το αρχείο που δημιουργήσατε. Μπορεί το πρόβλημα αυτό να λυθεί με ένα ΤΝΔ απλού αισθητήρα (perceptron); Δικαιολογήστε την απάντησή σας αξιολογώντας τα διαγράμματα από την επιλογή visualize του WEKA. Θέμα 4β. Δοκιμαστικές εκπαιδεύσεις Μια συνήθης τακτική, όπως είδαμε και παραπάνω, στην εκπαίδευση των ΤΝΔ είναι να διαχωρίζουμε τα δείγματα που έχουμε σε σύνολο εκπαίδευσης (π.χ. 60% του ολικού δείγματος) και σε σύνολο δοκιμής (το υπόλοιπο 40%). Με τον τρόπο αυτό έχουμε τη δυνατότητα να δοκιμάσουμε το βαθμό εκπαίδευσης σε ένα σύνολο παρουσιάζοντας πρότυπα στα οποία δεν έχει εκπαιδευτεί. Για τις δοκιμαστικές εκπαιδεύσεις σε αυτό το θέμα θα ακολουθήσουμε την τεχνική αυτή. Ένα κριτήριο για το πόσο καλά έχει εκπαιδευτεί ένα ΤΝΔ είναι η τιμή RMSE (Root Mean Square Error) πρόκειται για την τετραγωνική ρίζα του Mean Squared Error. Το Weka δίνει σαν κριτήριο απόδοσης το RMSE, οπότε θα το χρησιμοποιήσουμε για την εκτίμηση εκμάθησης του προβλήματος από το Νευρωνικό μας Δίκτυο. Όσο πιο μικρή είναι αυτή η τιμή, τόσο καλύτερα έχει «μάθει» το δίκτυο το σύνολο των προτύπων στο οποία εκπαιδεύεται. Επιπλέον, η μήτρα σύγχυσης (confusion matrix) ή αλλιώς πίνακας ενδεχομένων συνοψίζει τα αποτελέσματα μετά τη παρουσίαση του συνόλου δοκιμής στο ΤΝΔ. Στην διαγώνιό της παρουσιάζονται τα πρότυπα που έχουν ταξινομηθεί σωστά ανά κλάση και στις υπόλοιπες θέσεις τα πρότυπα που έχουν ταξινομηθεί λανθασμένα. Το Weka παρουσιάζει τον πίνακα κατά τη διαδικασία δοκιμής ενός ΤΝΔ και διευκολύνει το χρήστη να αντιληφθεί την ταξινόμηση των προτύπων ανά κλάσεις. Με βάση τα παραπάνω: Δημιουργείστε ένα πολυ-επίπεδο ΤΝΔ με 4 νευρώνες στο μεσαίο επίπεδο με τις παρακάτω μεταβλητές εκπαίδευσης. Κύκλοι εκπαίδευσης Learning epoch=500, ρυθμό εκπαίδευσης learning rate=0.3, και σταθερά momentum m=0.2. Επιλέξτε χωρισμό του δείγματος ώστε το 66% να αποτελεί το σύνολο εκπαίδευσης και το υπόλοιπο 34% να είναι το σύνολο δοκιμής. (Επιλογή percentage split στο test options του WEKA). Με βάση τη μήτρα σύγχυσης (confusion matrix) και το Root mean squared error απαντήστε τα παρακάτω: 1.Τι αποτελέσματα έχουμε όσον αφορά την εκμάθηση του συνόλου εκπαίδευσης; Τι παρατηρείτε όσον αφορά τις κλάσεις;
2. Δοκιμάστε να αυξήσετε τον αριθμό που ορίζει τους κύκλους εκπαίδευσης στο 1000, 1500, 2500 κρατώντας τις υπόλοιπες παραμέτρους του αρχικού ΤΝΔ σταθερές. Τι παρατηρείτε όσον αφορά την εκπαίδευση του συνόλου; 3. Δοκιμάστε να αυξήσετε το ρυθμό εκπαίδευσης στο 0.5, 0.8, 1.0 κρατώντας τις υπόλοιπες παραμέτρους του αρχικού ΤΝΔ σταθερές. Τι παρατηρείτε όσον αφορά την εκπαίδευση του συνόλου; 4. Επαναλάβετε την εκπαίδευση όπως στο υποερώτημα 3 θέτοντας τώρα τη σταθερά momentum ίση με 0.9. Εξηγείστε τι συμβαίνει. Θέμα 4γ. ΤΝΔ για ταξινόμηση παρασιτικών οργανισμών Δημιουργήστε ένα ΤΝΔ στο περιβάλλον WEKA με ένα κρυφό επίπεδο που θα εκπαιδευτεί με τη μέθοδο οπισθοδιάδοσης του λάθους σε 500 κύκλους εκπαίδευσης, ώστε να αντιμετωπίζει το πρόβλημα κατάταξης των παρασίτων του δείγματός μας με ποσοστό επιτυχίας 100%. Να επιλέξετε χωρισμό του δείγματος ώστε το 66% να αποτελεί το σύνολο εκπαίδευσης και το υπόλοιπο 34% να είναι το σύνολο δοκιμής. Για να περιγράψετε ακριβώς το ΤΝΔ που θα δημιουργήσετε αρκεί να δώσετε τις παρακάτω παραμέτρους του: Αριθμό νευρώνων στο κρυφό επίπεδο, ρυθμό εκπαίδευσης και σταθερά momentum.
Κριτήρια αξιολόγησης: Θέμα 1. Πολύ-επίπεδα Perceptrons 15 1.α Συμπλήρωση Πίνακα 5 1.β Περιοχές Απόφασης 10 Θέμα 2. Ο Αλγόριθμος Πίσω Διάδοσης του Λάθους για Πολύ-επίπεδα Perceptrons 2.α Υπολογισμός εξόδου δικτύου 5 2.β Υπολογισμός βαρών 10 2.γ Υπολογισμός νέας εξόδου δικτύου 5 Θέμα 3. Υλοποίηση του Αλγορίθμου Πίσω Διάδοσης του Λάθους 35 3.α Τεκμηρίωση Κώδικα 10 3.β Εκπαίδευση σε Batch Mode 15 3.γ Σύγκριση Pattern Mode και Batch Mode 10 Θέμα 4. Περιβάλλον προγραμματισμού WEKA 30 4.α Προετοιμασία και ανάλυση του δείγματος για εκπαίδευση 10 4.β Δοκιμαστικές εκπαιδεύσεις 15 4.γ ΤΝΔ για ταξινόμηση παρασιτικών οργανισμών 5 ΣΥΝΟΛΟ 100 Ο συνολικός βαθμός θα διαιρεθεί δια 10, ώστε να προκύψει ο τελικός βαθμός της εργασίας. 20 Τρόπος Ημερομηνία Παράδοσης Η εργασία σας θα πρέπει να έχει φτάσει στον Καθηγητή-Σύμβουλό σας μέχρι την Κυριακή 27/03/2005 ώρα 23:00. Περιμένουμε όλες οι εργασίες να αποσταλούν μέσω Email και να είναι γραμμένες σε επεξεργαστή κειμένου MS Word. Τα τμήματα κώδικα θα βρίσκονται σε ξεχωριστά αρχεία και θα αναφέρονται στο κείμενο της εργασίας. Στον Καθηγητή-Σύμβουλό σας, σε κάθε περίπτωση, στέλνετε ΕΝΑ μόνο αρχείο (συμπιεσμένο) το οποίο θα περιέχει όλα τα αρχεία της εργασίας. Δεν θα δοθεί παράταση στην παράδοση της εργασίας πέραν της ως άνω αναφερόμενης ημέρας και ώρας, για κανένα λόγο. Την Τρίτη 29/03/2005 ώρα 13:00, θα δημοσιευθεί πρότυπη απάντηση για την επίλυση της εργασίας στο διαδίκτυο. Καλή Επιτυχία!