ΠΑΝΕΠΙΣΤΗΜΙΟΥ ΠΑΤΡΩΝ ΕΚΠΑΙ ΕΥΣΗΣ ΑΠΟ ΑΠΟΣΤΑΣΗ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΕΚΠΑΙ ΕΥΣΗΣ ΑΠΟ ΑΠΟΣΤΑΣΗ ΠΡΟΓΡΑΜΜΑ ΣΠΟΥ ΩΝ ΘΕΜΑΤΙΚΗ ΕΝΟΤΗΤΑ P-INF-003 : ΠΛΗΡΟΦΟΡΙΚΗ : ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ ΚΑΙ ΓΕΝΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ ΕΚΠΑΙ ΕΥΤΙΚΟ ΥΛΙΚΟ ΤΕΤΑΡΤΟ ΚΕΦΑΛΑΙΟ ΣΥΓΓΡΑΦΕΙΣ : Σ. ΛΥΚΟΘΑΝΑΣΗΣ ΕΠ. ΚΑΘΗΓΗΤΗΣ ΤΜΗΜΑΤΟΣ ΜΗΧ/ΚΩΝ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ ΠΑΝΕΠΙΣΤΗΜΙΟΥ ΠΑΤΡΩΝ Ε. ΓΕΩΡΓΟΠΟΥΛΟΣ ΜΗΧΑΝΙΚΟΣ Η/Υ ΚΑΙ ΠΛΗΡΟΦΟΡΙΚΗΣ - ΠΑΤΡΑ 999 -

2 4. ΜΕΛΕΤΗ ΠΕΡΙΠΤΩΣΗΣ: ΑΡΧΕΣ ΚΑΙ ΠΕΡΙΟΡΙΣΜΟΙ ΣΧΕ ΙΑΣΜΟΥ ΤΕΧΝΗΤΩΝ ΝΕΥΡΩΝΙΚΩΝ ΙΚΤΥΩΝ Σκοπός Στο τρίτο κεφάλαιο είδαµε τους τρεις βαικούς αλγορίθµους εκπαίδευης Τεχνητών Νευρωνικών ικτύων. Συγκεκριµένα, πρώτα είδαµε δύο αλγορίθµους για εκπαίδευη απλών Ν.. ενός επιπέδου, δηλαδή τον κανόνα του Perceptron και τον αλγόριθµο Ελάχιτων µέων Τετραγώνων. Για την περίπτωη των Ν.. πολλών επιπέδων, παρουιάαµε τον αλγόριθµο Πίω ιάδοης του λάθους και µια γενίκευή του, τον Γενικευµένο έλτα κανόνα. Το κύριο βάρος την παρουίαη αυτών των αλγορίθµων, δόθηκε την παραγωγή τους και άλλα θεωρητικά θέµατα. Οι παραπάνω αλγόριθµοι εργάζονται για προκαθοριµένη διαµόρφωη (τοπολογία) του δικτύου. Σε αυτό το κεφάλαιο θα αχοληθούµε µε θέµατα που αφορούν την υλοποίηη Τ.Ν.. πολλών επιπέδων. Θα υζητήουµε πρώτα το πρόβληµα της αρχικοποίηης, µερικούς τρόπους αποτελεµατικότερης εκτέλεης των αλγορίθµων και την εφαρµογή τους αν υτήµατα ταξινόµηης. Όµως, το βαικό πρόβληµα την υλοποίηη ενός Ν.., για την επίλυη ενός πραγµατικού προβλήµατος είναι ότι δεν είναι εκ των προτέρων γνωτή η διαµόρφωη του δικτύου. ηλαδή δεν γνωρίζουµε τον ακριβή αριθµό κρυφών επιπέδων καθώς και τον αριθµό των κόµβων ανά κρυφό επίπεδο. εν υπάρχει κάποια γενική θεωρία που επιλύει αυτό το πρόβληµα. Σε αυτό το κεφάλαιο θα προπαθήουµε να δώουµε µερικές ιδέες για το πως αντιµετωπίζεται ο καθοριµός του βέλτιτου δικτύου, µε τη βοήθεια µιας µελέτης περίπτωης. Αυτή η µελέτη θα γίνει µε τη βοήθεια προοµοίωης ε ηλεκτρονικό υπολογιτή. Συνοψίζοντας, αναφέρουµε ότι κοπός αυτού του κεφαλαίου είναι να βοηθήει τον αναγνώτη τη χεδίαη και υλοποίηη Τ.Ν.., δίνοντάς του ιδέες για τον τρόπο αντιµετώπιης των πρακτικών προβληµάτων που προκύπτουν. Προδοκώµενα Αποτελέµατα: Όταν θα έχετε τελειώει τη µελέτη αυτού του κεφαλαίου, θα µπορείτε να:

3 χεδιάετε ένα Τ.Ν.. κατάλληλο για την επίλυη ενός πρακτικού προβλήµατος, να υλοποιήετε ένα τέτοιο δίκτυο, να αντιµετωπίετε τα επιµέρους προβλήµατα που παρουιάζονται, να βελτιτοποιήετε τη δοµή ενός δικτύου. Έννοιες Κλειδιά: αρχικοποίηη αναπαράταη εξόδου κανόνας απόφαης βέλτιτη δοµή γενίκευη Ειαγωγικές Παρατηρήεις: Το βαικό πλεονέκτηµα των Perceptrons πολλών επιπέδων είναι ότι µπορούν να διαχωρίουν µη-γραµµικά διαχωριζόµενα πρότυπα. Θεωρητικά λοιπόν, µπορούν να αντιµετωπίουν οποιοδήποτε πρόβληµα ταξινόµηης προτύπων. υτυχώς όµως, την πράξη τα πράγµατα δεν είναι τόο απλά. Όπως ήδη αναφέραµε, το βαικό πρόβληµα ενός τέτοιου δικτύου είναι ο καθοριµός της βέλτιτης δοµής που είναι κατάλληλη για την επίλυη ενός υγκεκριµένου προβλήµατος. Έχοντας επιλέξει ωτά το εκπαιδευτικό ύνολο, αυτόµατα έχουµε καθορίει τον αριθµό των ειόδων και των εξόδων του δικτύου. εν έχουµε όµως καµία εκ των προτέρων γνώη για την εωτερική αρχιτεκτονική του δικτύου (αριθµός κρυφών επιπέδων και αριθµός κόµβων ανά κρυφό επίπεδο). Ένας προφανής τρόπος, για να αντιµετωπίουµε αυτό το πρόβληµα, είναι µε τη µέθοδο δοκιµής και λάθους (trial and error). Με βάη κάποιους εµπειρικούς κανόνες, υλοποιούµε µια υγκεκριµένη αρχιτεκτονική δικτύου και το εκπαιδεύουµε, ελπίζοντας ε καλή γενίκευη. Αν µετά την εκπαίδευη το λάθος την έξοδο του δικτύου είναι χετικά µεγάλο, τροποποιούµε την δοµή του (προθέτοντας ή αφαιρώντας κρυφά επίπεδα ή/και κόµβους) και το εκπαιδεύουµε πάλι. Έτι, µε διαδοχικές δοκιµές, ελπίζουµε να επιτύχουµε το (χεδόν) βέλτιτο δίκτυο. Είναι προφανές ότι αυτή η διαδικαία είναι χρονοβόρα και επίπονη. Γι αυτό το λόγο λέγεται ότι µαθαίνει κανείς µαζί µε το δίκτυο. Τα τελευταία χρόνια, έχουν εµφανιτεί τη βιβλιογραφία, πιο έξυπνες µέθοδοι για την επίλυη αυτού του προβλήµατος. Τέτοιες µέθοδοι είναι η µέθοδος του κλαδέµατος

4 (pruning) [], της ανάπτυξης (growing) [] και της εξέλιξης Ν.. [3], [4]. Η παρουίαη αυτών των αλγορίθµων είναι πέρα από τους κοπούς αυτού του µαθήµατος και ο αναγνώτης παραπέµπεται τη χετική βιβλιογραφία. Στις ενότητες που ακολουθούν, θα παρουιάουµε τις πιο γνωτές ευριτικές µεθόδους, µε τις οποίες µπορεί κανείς να αντιµετωπίει τα παραπάνω προβλήµατα. 4. Αρχικοποίηη Το πρώτο βήµα της µάθηης πίω-διάδοης είναι να αρχικοποιήουµε το δίκτυο. Μια καλή επιλογή για της αρχικές τιµές των ελεύθερων παραµέτρων του δικτύου θα βοηθήει την επιτυχία του χεδιαµού και της λειτουργίας του δικτύου. Σε περιπτώεις που έχουµε προηγούµενες πληροφορίες, θα ήταν καλύτερα να χρηιµοποιήουµε τις προηγούµενες πληροφορίες για να µαντεύουµε της αρχικές τιµές των ελεύθερων παραµέτρων. Πως όµως µπορούµε να αρχικοποιήουµε το δίκτυο αν δεν έχουµε προηγούµενη πληροφορία; Η υνηθιµένη πρακτική είναι να θέουµε τις ελεύθερους παραµέτρους του δικτύου τυχαίους αριθµούς που είναι οµοιόµορφα κατανεµηµένοι µέα ε µία µικρή περιοχή τιµών (π.χ. 0. µέχρι +0.). Η λανθαµένη επιλογή των αρχικών βαρών µπορεί να οδηγήει ένα φαινόµενο γνωτό ως πρόωρος κορεµός (Lee et al., 99[]). Αυτό το φαινόµενο αναφέρεται ε µία κατάταη όπου το τιγµιαίο άθροιµα των τετραγωνικών λαθών E(n) παραµένει χεδόν ταθερό για µία περίοδο χρόνου κατά τη διάρκεια µάθηης. Ένα τέτοιο φαινόµενο δεν µπορεί να θεωρηθεί αν ένα τοπικό ελάχιτο γιατί το τετραγωνικό λάθος υνεχίζει να µειώνεται το τέλος αυτής της περιόδου. Όταν εφαρµόζεται ένα δείγµα µάθηης το επίπεδο ειόδου ενός πολυεπίπεδου perceptron, οι τιµές εξόδου του δικτύου υπολογίζονται µέω µίας ειράς από εµπρός υπολογιµός που περιλαµβάνει εωτερικά γινόµενα και ιγµοειδείς µετατροπές. Αυτό ακολουθείται µε µία ειρά από πίω υπολογιµούς των ηµάτων λάθους και της χετικής κλίης της ιγµοειδούς υνάρτηης ενεργοποίηης και καταλήγει τις ρυθµίεις των υναπτικών βαρών. Ας υποθέουµε ότι για ένα υγκεκριµένο δείγµα µάθηης υπολογίτηκε το εωτερικό επίπεδο ενεργοποίηης του δικτύου, για έναν νευρώνα εξόδου, να έχει µεγάλο µέγεθος. Τότε, θεωρώντας ότι η ιγµοειδής υνάρτηη ενεργοποίηης του νευρώνα έχει τις περιοριµένες τιµές - και +, βρίκουµε ότι η αντίτοιχη κλίη της υνάρτηης ενεργοποίηης για αυτόν τον νευρώνα θα είναι πολύ µικρή και η τιµή εξόδου του νευρώνα θα πληιάζει το - ή +.

5 Σε αυτή την περίπτωη λέµε ότι ο νευρώνας είναι ε κόρο. Αν η τιµή εξόδου πληιάζει το + όταν η επιθυµητή απόκριη είναι -, ή αντίτροφα, τότε λέµε ότι ο νευρώνας είναι κατά λάθος κορεµένος. Όταν υµβαίνει αυτό, οι µεταβολές που γίνονται πάνω τα υναπτικά βάρη του νευρώνα θα είναι µικρές (ας είναι µεγάλο το µέγεθος του χετικού ήµατος λάθους) και το δίκτυο θα αργήει να ξεφύγει από αυτή τη περίπτωη (Lee et al., 99[]). Στην αρχική φάη της πίω-διάδοης µάθηης, ανάλογα µε τις επικρατούες υνθήκες, νευρώνες που είναι ή δεν είναι κορεµένοι, µπορούν να υπάρχουν το επίπεδο εξόδου του δικτύου. Καθώς η διαδικαία µάθηης υνεχίζεται, τα υναπτικά βάρη που χετίζονται µε τους µη κορεµένους νευρώνες εξόδου αλλάζουν γρήγορα, γιατί τα αντίτοιχα ήµατα λάθους και κλίης έχουν χετικά µεγάλο µέγεθος, και για αυτό το λόγο προκαλούν µία ελάττωη του τιγµιαίου αθροίµατος των τετραγωνικών λαθών E(n). Αν ωτόο, ' αυτό το ηµείο οι κατά λάθος κορεµένοι νευρώνες εξόδου µείνουν κορεµένοι για µερικά δείγµατα µάθηης, τότε το φαινόµενο του πρόωρου κορεµού µπορεί να εµφανιτεί µε το E(n) να παραµένει ταθερό. Στην αναφορά Lee et al. (99), µια φόρµουλα για την πιθανότητα του πρόωρου κορεµού την µάθηη πίω-διάδοης έχει παραχθεί για το ωρηδόν τρόπο ενηµέρωης, και έχει επαληθευτεί χρηιµοποιώντας εξοµοίωη µε υπολογιτή. Η ουία αυτού του τύπου υνοψίζεται παρακάτω:. Αν επιλέξουµε της αρχικές τιµές για τα υναπτικά βάρη και για τα επίπεδα κατωφλίων του δικτύου να είναι οµοιόµορφα κατανεµηµένες µέα ε µία µικρή περιοχή τιµών τότε αποφεύγεται ο κατά λάθος κορεµός.. Ο κατά λάθος κορεµός έχει µικρότερη πιθανότητα να υµβεί όταν έχουµε µικρό αριθµό από κρυµµένους νευρώνες και έχουµε ικανοποιητική λειτουργία του δικτύου. 3. Ο κατά λάθος κορεµός πάνια υµβαίνει όταν οι νευρώνες του δικτύου λειτουργούν ε γραµµικές περιοχές. Για τον τρόπο ενηµέρωης των βαρών πρότυπο προς πρότυπο, τα αποτελέµατα εξοµοιώεων δείχνουν παρόµοιες τάεις µε τη ωρηδόν λειτουργία που αναφέρθηκε µέχρι εδώ. Ο Russo (99) [] υνιτά ένα εµπειρικό τύπο για της αρχικές τιµές των βαρών για να αποφεύγεται ο κορεµός των νευρώνων. Αυτό το τύπο τον περιγράφουµε

6 το ηµείο 3 της ενότητας 4.3. Άκηη αυτοαξιολόγηης 4. /: Ο πρόωρος κορεµός είναι η κατάταη όπου το Ν..:. το τιγµιαίο άθροιµα των τετραγωνικών λαθών παραµένει ταθερό για µια χρονική περίοδο και η κλίη της υνάρτηης ενεργοποίηης του νευρώνα είναι πολύ µικρή,. η κλίη της υνάρτηης ενεργοποίηης του νευρώνα είναι πολύ µεγάλη, 3. τα ήµατα λάθους έχουν µεγάλο µέγεθος, 4. το µέο τετραγωνικό λάθος παραµένει ταθερό. Απάντηη: Η ωτή απάντηη είναι η. Άκηη αυτοαξιολόγηης 4. / : Ποιές είναι οι βαικές αρχές, για να αποφύγουµε τον πρόωρο κορεµό; Απάντηη: Είναι οι τρεις αρχές που αναφέρονται το τέλος της ενότητας Το πρόβληµα της XOR Στο απλό perceptron δεν υπάρχουν κρυφοί νευρώνες. Κατά υνέπεια, δεν µπορεί να ταξινοµήει πρότυπα ειόδου τα οποία δεν είναι γραµµικά διαχωρίιµα. Όµως µηγραµµικά διαχωρίιµα πρότυπα εµφανίζονται υνήθως τα προβλήµατα. Για παράδειγµα αυτό εµφανίζεται το πρόβληµα Exclusive OR (XOR), το οποίο µπορεί να θεωρηθεί αν µια ειδική περίπτωη ενός πιο γενικού προβλήµατος, αυτού της ταξινόµηης ηµείων τον µοναδιαίο υπερκύβο. Κάθε ηµείο τον υπερκύβο είναι είτε την τάξη 0 είτε την τάξη. Ωτόο, την ειδική περίπτωη του προβλήµατος XOR, χρειάζεται να λάβουµε υπόψη µας µόνο τις τέερις γωνίες (άκρα) του µοναδιαίου τετραγώνου, οι οποίες αντιτοιχούν τα πρότυπα ειόδου (0,0), (0,), (,) και (,0). Το πρώτο και τρίτο πρότυπο ειόδου είναι την τάξη 0 όπως φαίνεται από την : 0 XOR 0 = 0 και:

7 XOR = 0 Τα πρότυπα ειόδου (0,0) και (,) είναι ε αντίθετες γωνίες του µοναδιαίου τετραγώνου, και παρόλα αυτά παράγουν την ταυτόηµη έξοδο 0. Από την άλλη µεριά, τα πρότυπα ειόδου (0,) και (,0) είναι, επίης ε αντίθετες γωνίες του τετραγώνου, αλλά είναι την τάξη, όπως φαίνεται από την : 0 XOR = και : XOR 0 = Αρχικά αναγνωρίζουµε ότι η χρήη ενός απλού νευρώνα µε δυο ειόδους έχει ως αποτέλεµα µια ευθεία γραµµή για όριο απόφαης τον χώρο ειόδου. Για όλα τα ηµεία τη µια πλευρά αυτής της γραµµής ο νευρώνας δίνει έξοδο, ενώ για όλα τα ηµεία την άλλη πλευρά της γραµµής δίνει έξοδο 0. Η θέη και ο προανατολιµός της γραµµής τον χώρο ειόδου καθορίζονται από τα υναπτικά βάρη του νευρώνα µε τα οποία είναι υνδεδεµένος µε τους κόµβους ειόδου, και το κατώφλι που εφαρµόζεται το νευρώνα. Με τα πρότυπα ειόδου (0,0) και (,) τοποθετηµένα ε αντίθετες γωνίες του µοναδιαίου τετραγώνου και παροµοίως για τα άλλα δυο πρότυπα ειόδου (0,) και (,0), είναι προφανές ότι δεν µπορούµε να κατακευάουµε µια ευθεία γραµµή για ένα όριο απόφαης έτι ώτε (0,0) και (,) να βρίκονται την µια περιοχή απόφαης και (0,) και (,0) να βρίκονται την άλλη περιοχή απόφαης. Με άλλα λόγια ένα τοιχειώδες perceptron δεν µπορεί να επιλύει το πρόβληµα της XOR. Μπορεί να επιλύουµε το πρόβληµα της XOR χρηιµοποιώντας ένα απλό κρυφό επίπεδο µε δυο νευρώνες, όπως το χήµα.a (Touretzky and Pomerleau, 989) []. Το διάγραµµα ροής ήµατος του δικτύου φαίνεται το χήµα.b. Οι υποθέεις που έγιναν εδώ είναι οι ακόλουθες : Κάθε νευρώνας αναπαρίταται από ένα µοντέλο McCulloch-Pitts. Τα ψηφία 0 και αναπαρίτανται από τα επίπεδα 0 και + αντίτοιχα. Ο νευρώνας κορυφής, που επιγράφεται ως το κρυφό επίπεδο, χαρακτηρίζεται από τις ακόλουθές χέεις : w = w = + θ = +3/ Η κλίη του ορίου απόφαης που κατακευάζεται από αυτόν τον κρυφό νευρώνα ιούται µε -, και τοποθετείται όπως το χήµα.b. Ο νευρώνας πυθµένα, που επιγράφεται ως το κρυφό επίπεδο, χαρακτηρίζεται από τις ακόλουθες χέεις :

8 Σχήµα :(α) Ο αρχιτεκτονικός γράφος δικτύου για την επίλυη του XOR προβλήµατος. (β) Το διάγραµµα ροής ηµάτων του δικτύου. w = w = + θ = +/

9 Σχήµα : (α) Όριο απόφαης που κατακευάτηκε από τον κρυµµένο νευρώνα του δικτύου το χήµα. (β) Όριο απόφαης που κατακευάτηκε από τον κρυµµένο νευρώνα του δικτύου. (γ) Όρια απόφαης που κατακευάτηκαν από το υνολικό δίκτυο. Ο προανατολιµός και η θέη του ορίου απόφαης που κατακευάζεται από αυτό το δεύτερο κρυφό νευρώνα είναι όπως φαίνεται το χήµα.b. Ο νευρώνας εξόδου, που επιγράφεται ως 3 το χήµα.a, χαρακτηρίζεται από τις ακόλουθες χέεις : w 3 = - w 3 = + θ 3 = +/ Η λειτουργία του νευρώνα εξόδου είναι να κατακευάζει ένα γραµµικό υνδυαµό των ορίων απόφαης που διαµορφώνονται από τους δύο κρυφούς νευρώνες. Το αποτέλεµα αυτού του υπολογιµού φαίνεται το χήµα.c. Ο κρυφός νευρώνας το κάτω µέρος έχει µια διεγερτική (θετική) ύνδεη µε τον νευρώνα εξόδου ενώ ο

10 νευρώνας το πάνω µέρος έχει µια δυνατότερη κωλυτική (αρνητική) ύνδεη µε το νευρώνα εξόδου. Όταν και οι δύο κρυφοί νευρώνες είναι off, το οποίο υµβαίνει όταν το πρότυπο ειόδου είναι (0,0), ο νευρώνας εξόδου παραµένει off. Όταν και οι δύο κρυφοί νευρώνες είναι on, το οποίο υµβαίνει όταν το πρότυπο ειόδου είναι (,), ο νευρώνας εξόδου γίνεται πάλι off, επειδή η κωλυτική επίδραη του µεγαλύτερου αρνητικού βάρους, που είναι υνδεδεµένο µε τον κρυφό νευρώνα κορυφής υπερκαλύπτει την διεγερτική επίδραη του θετικού βάρους που είναι υνδεδεµένο µε τον κρυφό νευρώνα τον πυθµένα. Όταν ο κρυφός νευρώνας κορυφής είναι off και ο κρυφός κάτω νευρώνας είναι on, το οποίο υµβαίνει όταν το πρότυπο ειόδου είναι (0,) ή (,0), ο νευρώνας εξόδου τίθεται on εξαιτίας της διεγερτικής επίδραης του θετικού βάρους που είναι υνδεδεµένο µε τον κάτω κρυφό νευρώνα. Εποµένως το δίκτυο του χήµατος.a επιλύει πραγµατικά το πρόβληµα της XOR. 4.3 Μερικοί τρόποι αποτελεµατικότερης εκτέλεης του αλγορίθµου Πολλές φορές λέγεται πως ο χεδιαµός ενός νευρωνικού δικτύου χρηιµοποιώντας τον αλγόριθµο πίω διάδοης είναι περιότερο τέχνη παρά επιτήµη, µε την έννοια πως πολλοί από τους πολυάριθµους παράγοντες που περιλαµβάνονται τον χεδιαµό είναι πράγµατι το αποτέλεµα της προωπικής πείρας του καθενός µας. Πράγµατι υπάρχει κάποια αλήθεια την προηγούµενη πρόταη. Εν τούτοις όµως υπάρχουν τρόποι µε τους οποίους είναι δυνατόν να κάνουµε τον αλγόριθµο πίω διάδοης να δουλεύει καλύτερα. (Russo, 99; Guyon, 99) [].

11 Σχήµα 3: (α) αυµµετρική υνάρτηη ενεργοποίηης (υπερβολική) (b) µη υµµετρική υνάρτηη ενεργοποίηης ( λογιτική ). Ένα πολυεπίπεδο perceptron εκπαιδευµένο µε τον αλγόριθµο πίω διάδοης θα µπορούε, την γενική περίπτωη να µαθαίνει γρηγορότερα (µε την έννοια του αριθµού των επαναλήψεων για µάθηη που χρειάζονται) όταν η ιγµοειδής υνάρτηη ενεργοποίηης που έχει υλοποιηθεί το µοντέλο του νευρώνα του δικτύου είναι αυµµετρική (asymmetric) παρά όταν είναι µη υµµετρική. Εµείς λέµε πως µια υνάρτηη ενεργοποίηης φ(υ) είναι αυµµετρική όταν: φ(-υ) = -φ(υ) όπως απεικονίζεται το χήµα 3.a. Αυτή η υνθήκη δεν ικανοποιείται από την λογιτική υνάρτηη, που απεικονίζεται το χήµα 3.b. Ένα γνωτό παράδειγµα µιας αυµµετρικής υνάρτηης ενεργοποίηης είναι η ιγµοειδής µη γραµµική µε την µορφή της υπερβολικής εφαπτοµένης, που ορίζεται ως φ(υ) = a tanh( bυ )

12 όπου τα a και b είναι ταθερές. Σηµειώνουµε πως η υπερβολική εφαπτοµένη είναι απλά η λογιτική υνάρτηη πολωµένη όπως δείχνεται παρακάτω: a tanh ( bυ ) = α ( bυ) exp + exp( bυ) = a α () + exp( bυ) Αντίτοιχα, οι αλλαγές που γίνονται την διατύπωη του αλγορίθµου πίω διάδοης χρηιµοποιώντας αυτήν την µορφή της ιγµοειδούς µη γραµµικότητας είναι µικρής ηµαίας. Κατάλληλες τιµές για τις ταθερές α και b είναι ( Guyon 99)[]: α =.76 και b = /3. Είναι ηµαντικό οι τιµές τόχος (επιθυµητή απόκριη) να επιλεγούν µέα το διάτηµα της ιγµοειδούς υνάρτηης ενεργοποίηης. Πιο ειδικά, η επιθυµητή απόκριη dj για τον νευρώνα j το επίπεδο εξόδου του πολυεπίπεδου perceptron θα πρέπει να µετατοπιτεί κατά κάποια ποότητα ε µακριά από την περιοριτική τιµή της ιγµοειδούς υνάρτηης ενεργοποίηης, εξαρτώµενη από το εάν η περιοριτική τιµή είναι θετική ή αρνητική. Στην αντίθετη περίπτωη, ο αλγόριθµος πίω διάδοης έχει την τάη να οδηγήει τις ελεύθερες παραµέτρους του δικτύου το άπειρο και ως εκ τούτου επιβραδύνει την διαδικαία µάθηης κατά τάξεις µεγέθους. Πιο ειδικά θεωρήτε την αυµµετρική υνάρτηη ενεργοποίηης του χήµατος 3.a. Για την πεπεραµένη τιµή +α εµείς θέτουµε dj= α - ε όπου ε είναι µια κατάλληλη θετική ταθερά. Για την επιλογή α =.76 που αναφέρθηκε νωρίτερα, µπορούµε να θέουµε ε = 0.76, την οποία περίπτωη η επιθυµητή τιµή dj µπορεί να επιλεγεί καταλλήλως να είναι Η αρχικοποίηη των υναπτικών βαρών και των επιπέδων κατωφλιού του δικτύου θα πρέπει να είναι οµοιόµορφα κατανεµηµένα ένα µικρό διάτηµα. Ο λόγος που µικραίνουµε το διάτηµα είναι να µειώουµε την πιθανότητα των νευρώνων το δίκτυο να κορετούν και να παράγουν µικρές κλίεις λάθους. Εν τούτοις όµως, το διάτηµα δεν θα πρέπει να γίνει πολύ µικρό διότι αυτό µπορεί να έχει αποτέλεµα οι κλίεις λάθους να είναι πολύ µικρές και δια τούτο η µάθηη αρχικά να είναι πολύ αργή. Για µια αυµµετρική υνάρτηη ενεργοποίηης µε την µορφή της υπερβολικής

13 εφαπτοµένης για την οποία οι ταθερές a και b προδιορίτηκαν παραπάνω µια πιθανή δυνατότητα αρχικοποίηης είναι να πάρουµε τυχαία τιµές για τα υναπτικά βάρη και επίπεδα κατωφλιού οι οποίες είναι οµοιόµορφα κατανεµηµένες το διάτηµα: , Fi Fi όπου το Fi είναι το fan-in (δηλ. ο υνολικός αριθµός των ειόδων) του νευρώνα i µέα το δίκτυο, µε άλλα λόγια, η αρχικοποίηη βαρών γίνεται από νευρώνα ε νευρώνα. 4. Όλοι οι νευρώνες του πολυεπίπεδου perceptron είναι επιθυµητό να µαθαίνουν µε τη ίδια ταχύτητα. Χαρακτηριτικά τα τελευταία επίπεδα τείνουν να έχουν µεγαλύτερες τοπικές κλίεις ε χέη µε τα επίπεδα την αρχή του δικτύου. ια τούτου την παράµετρο η του ρυθµού µάθηης θα πρέπει να εκχωρηθεί µια µικρότερη τιµή τα τελευταία επίπεδα ε χέη µε τα εµπρός επίπεδα. Νευρώνες µε πολλές ειόδους θα πρέπει να έχουν µικρότερη παράµετρο ρυθµού µάθηης ε χέη µε νευρώνες που έχουν λίγες ειόδους. 5. Για on-line λειτουργία, η ενηµέρωη πρότυπο προς πρότυπο είναι προτιµότερο ε χέη µε ωρηδόν ενηµέρωη για την ρύθµιη των βαρών. Για προβλήµατα ταξινόµηης δειγµάτων που περιλαµβάνουν µια µεγάλη και πλεονάζουα βάη δεδοµένων, η πρότυπο προς πρότυπο ενηµέρωη τείνει να είναι τάξεις µεγέθους γρηγορότερη ε χέη µε ωρηδόν ενηµέρωη. Ωτόο όµως η πρότυπο προς πρότυπο ενηµέρωη είναι πιο δύκολο να εκτελετεί παράλληλα. 5. Η ειρά µε την οποία εµφανίζονται τα παραδείγµατα εκπαίδευης το δίκτυο θα πρέπει να καθορίζεται τυχαία από κύκλο ε κύκλο. Η µορφή της τυχαιοποίηης είναι κρίιµη για την παραπέρα βελτίωη την ταχύτητα της ύγκλιης. Επίης η χρήη ουρών µπορεί να βελτιώει την εκπαίδευη αποδοτικά (Baum, 99) []. 7. Η εκµάθηη από ένα ύνολο δειγµάτων εκπαίδευης χετίζεται µε µια άγνωτη υνάρτηη f(. ) η οποία αντιτοιχίζει την είοδο την έξοδο. Ως εκ τούτου, η διαδικαία µάθηης εκµεταλλεύεται την πληροφορία που περιλαµβάνεται τα

14 παραδείγµατα χετικά µε την υνάρτηη f(.) και εξάγει µια προεγγιτική υλοποίηη της. Η διαδικαία µάθηης από παραδείγµατα µπορεί να γενικευτεί, ώτε να υµπεριλάβει µάθηη από υπαινιγµούς, το οποίο πετυχαίνεται επιτρέποντας πληροφορία εκ των προτέρων που έχουµε για την υνάρτηη f(.) να υµπεριληφθεί την διαδικαία µάθηης ( Abu-Mostafa, 990; Al-Mashouq and Reed, 99) []. Άκηη αυτοαξιολόγηης 4.3 / 3: Να αναφέρετε τους βαικούς τρόπους για την αποτελεµατικότερη εκτέλεη του αλγορίθµου. Ποιοί από αυτούς είναι οι πιο ηµαντικοί και γιατί. Απάντηη: Οι βαικοί τρόποι αναφέρονται ε αυτή την ενότητα. Οι πιο ηµαντικοί είναι η επιλογή της υνάρτηης ενεργοποίηης, η αρχικοποίηη των βαρών και οι κατάλληλες τιµές των παραµέτρων µάθηης και ορµής. 4.4 Αναπαράταη εξόδου και κανόνα απόφαης Στην θεωρία για ένα m - κλάεων πρόβληµα ταξινόµηης το οποίο η ένωη των m διακριτών κλάεων χηµατίζει το υνολικό χώρο ειόδου εµείς χρειαζόµατε m εξόδους για να αναπαρατήουµε όλες τις πιθανές αποφάεις ταξινόµηης, όπως απεικονίζεται το χήµα 4. Στο χήµα αυτό, το διάνυµα xj αναφέρεται το j-το προτότυπο (δηλαδή µοναδικό δείγµα) ενός p-διατάεων τυχαίου διανύµατος x το οποίο πρέπει να ταξινοµηθεί από ένα πολυεπίπεδο perceptron. Το k-το από τις m δυνατές κλάεις τις οποίες µπορεί να ανήκει το x το υµβολίζουµε µε C k. Ετω y k,j είναι η k-τη έξοδος του δικτύου που παράγεται ε απόκριη του πρωτοτύπου x j, όπως δείχνεται από την χέη: y k,j = Fk(xj), k =,,...,m () όπου η υνάρτηη F k (.) ορίζει την απεικόνιη την οποία έχει µάθει το δίκτυο της ειόδου την k-τη έξοδο. Για λόγους ευκολίας την αναπαράταη, έτω: yj = [ y,j, y,j,..., ym,j ] T = [ F(xj), F(xj),..., Fm(xj) ] T = F( xj) (3)

15 όπου η F(.) είναι υνάρτηη που παίρνει ως τιµές διανύµατα. Μια βαική ερώτηη την οποία θέλουµε να µελετήουµε την παράγραφο αυτή είναι η ακόλουθη : Μετά την εκπαίδευη του πολυεπίπεδου perceptron πoιος θα πρέπει να είναι ο βέλτιτος κανόνας απόφαης για την ταξινόµηη των m εξόδων του δικτύου; Σίγουρα κάθε λογικός κανόνας απόφαης εξόδου οφείλει να βαιτεί την γνώη της διανυµατικής υνάρτηης: F : R p x y R m (4) Γενικά το βέβαιο για την διανυµατική υνάρτηη F( ) είναι ότι είναι µια υνεχή υνάρτηη η οποία ελαχιτοποιεί το µέο τετραγωνικό φάλµα το οποίο ορίζεται ως η τιµή της υνάρτηης κότους: N L(F) = dj F(xj) (5) Ν j = όπου το dj είναι το επιθυµητό (τοχευόµενο) δείγµα εξόδου για το πρότυπο xj, είναι η Ευκλείδια νόρµα του διανύµατος και Ν είναι ο υνολικός αριθµός των δειγµάτων ειόδου - εξόδου που παρουιάζονται το δίκτυο για εκπαίδευη. Η ουία του κριτηρίου του µέου τετραγωνικού φάλµατος της εξίωης (5) είναι ίδια µε αυτή της υνάρτηης κότους της εξίωης () της ενότητας 3... Η υνάρτηη F(.) είναι τενά εξαρτηµένη από την επιλογή των ζευγαριών ειόδου - εξόδου (xj, yj) τα οποία χρηιµοποιούνται την εκπαίδευη του δικτύου, έτι ώτε διαφορετικές τιµές των (xj, yj) να οδηγήουν πράγµατι ε διαφορετικές διανυµατικές υναρτήεις F(.). Σηµειώνουµε ότι η ορολογία (xj, yj) που χρηιµοποιούµε εδώ είναι η ίδια όπως η [x(j),y(j)] που χρηιµοποιήαµε προηγουµένως. Υποθέτε τώρα ότι το δίκτυο εκπαιδεύεται µε δυαδικές τιµές (οι οποίες υµπτωµατικά ανταποκρίνονται το πάνω και κάτω όριο της εξόδου του δικτύου όταν χρηιµοποιούµε τη λογιτική υνάρτηη), γραµµένες ως εξής: όταν το πρότυπο x j ανήκει την κλάη C k d k,j ={ (6)

16 0 όταν το πρότυπο x j δεν ανήκει την κλάη Ck Σχήµα 4: Μπλοκ διάγραµµα ενός ταξινοµητή προτύπων Βαιµένη ε αυτή την ηµειογραφία, η κλάη Ck αντιπροωπεύεται από ένα m- διάτατο διάνυµα: Είναι δελεατικό να υποθέουµε ότι ένας πολυεπίπεδοw perceptron ταξινοµητής εκπαιδευµένος µε τον αλγόριθµο πίω διάδοης πάνω ε ένα πεπεραµένο ύνολο ανεξάρτητων όµοια κατανεµηµένων παραδειγµάτων µπορεί να µας οδηγήει ε αυµπτωτική προέγγιη των βαικών εκ των υτέρων πιθανοτήτων κλάεων. Αυτή η ιδιότητα µπορεί να δικαιολογηθεί βαιζόµενη τους ακόλουθους λόγους (White, 989; Richard and Lippmann, 99) []: Επικαλούµατε τον νόµο των µεγάλων αριθµών για να δείξουµε ότι καθώς το µέγεθος του υνόλου εκπαίδευης Ν, προεγγίζει το άπειρο το διάνυµα βαρών w το οποίο ελαχιτοποιεί την υνάρτηη κότους L(F) της εξίωης (5) προεγγίζει το βέλτιτο διάνυµα βαρών w* το οποίο ελαχιτοποιεί την προδοκία της τυχαίας ποότητας ½ d - F(w,x), όπου το d είναι το επιθυµητό διάνυµα απόκριης και το F(w,x) είναι η προέγγιη πραγµατοποιηµένη από ένα πολυεπίπεδο perceptron µε διάνυµα βαρών w και διάνυµα x ως ειόδου (White, 989) []. Η υνάρτηη F(w,x),που δείχνει αφή εξάρτηη το διάνυµα βαρών w, είναι ίδια µε την F(x) που χρηιµοποιήαµε προηγουµένως.

17 Το βέλτιτο διάνυµα βαρών w* έχει την ιδιότητα ότι το αντίτοιχο διάνυµα των παρόντων εξόδων του δικτύου, F(w*,x) είναι µια µέη τετραγωνική προέγγιη ελαχιτοποίηης λάθους ε χέη µε την υπό υνθήκη προδοκία E[d x] (White, 989) []. Για το πρόβληµα ταξινόµηης l εκ των m δειγµάτων, το k-το τοιχείο του επιθυµητού διανύµατος απόκριης d είναι ίο µε ένα εάν το διάνυµα ειόδου ανήκει την κλάη Ck και µηδέν αλλιώς. Κάτω από αυτήν την υνθήκη, η υπό υνθήκη προδοκία E[d x] είναι ίη µε την εκ των υτέρων πιθανότητα κλάης P(Ck x), k=,,...,m (Richard and Lippmann, 99) []. Άρα υµπεραίνουµε πως ένας πολυεπίπεδος perceptron ταξινοµητής (που χρηιµοποιεί την λογιτική υνάρτηη για µη γραµµικότητα) πράγµατι προεγγίζει τις εκ των υτέρων πιθανότητες κλάεων, υπό τον όρο ότι το µέγεθος του υνόλου εκπαίδευης είναι αρκετά µεγάλο και η διαδικαία της µάθηης της πίω διάδοης δεν κολλάει ε ένα τοπικό ελάχιτο. Τώρα µπορούµε να προχωρήουµε το να απαντήουµε την ερώτηη που είχαµε θέη πριν. Ειδικότερα µπορούµε να πούµε πως ο πιο κατάλληλος κανόνας απόφαης είναι: Ταξινόµηε το τυχαίο διάνυµα x ως ανήκων την κλάη Ck εάν Fk(x) > Fj(x) για όλα τα j k (7) όπου Fk(x) και Fj(x) είναι τοιχεία της διανυµατικής υνάρτηης: Όταν οι βαικές εκ των υτέρων κατανοµές κλάεων είναι διακεκριµένες τότε υπάρχει µια µοναδική µέγιτη τιµή εξόδου µε πιθανότητα ένα. Για αυτό το λόγο, αυτός ο κανόνας απόφαης έχει το πλεονέκτηµα της προφοράς αναµφίβολων απoφάεων

18 πάνω το κοινό ad hoc κανόνα της επιλογής κλάης βαιµένος την γενική ιδέα της εκπυροκρότηης της εξόδου. ηλαδή το διάνυµα x είναι εκχωρηµένο µέλος ε µια υγκεκριµένη κλάη εάν η αντίτοιχη τιµή εξόδου είναι µεγαλύτερη από κάποιο ταθερό κατώφλι (υνήθως 0.5 για την λογιτική υνάρτηη ενεργοποίηης) το οποίο µπορεί να οδηγήει ε πολλαπλές εκχωρήεις κλάεων. Επίης είναι ενδιαφέρον να ηµειώουµε πως όταν ένα όριο απόφαης καθορίζεται υγκρίνοντας τις εξόδους του πολυεπίπεδου perceptron απέναντι ε κάποιες φιξαριµένες τιµές, η ολική µορφή και ο προανατολιµός του ορίου απόφαης θα µπορούε να εξηγηθεί ευριτικά (για την περίπτωη ενός κρυµµένου επιπέδου) ε όρους του αριθµού των κρυµµένων νευρώνων και των αναλογιών των υναπτικών βαρών υνδεµένων µε αυτά (Lui, 989) []. Παρόλ αυτά µια τέτοια ανάλυη δεν είναι εφαρµόιµη ε ένα όριο απόφαης χηµατιµένο ύµφωνα µε τον κανόνα απόφαης εξόδου της εξίωης (7). Μια πιο κατάλληλη προέγγιη είναι να θεωρήουµε τους κρυµµένους νευρώνες ως µη γραµµικούς ανιχνευτές χαρακτηριτικών, οι οποίοι προπαθούν να απεικονίουν κλάεις από το πρωτότυπο χώρο ειόδου R P, όπου οι κλάεις µπορεί να µην είναι γραµµικά διαχωρίιµες, το χώρο του κρυµµένου επιπέδου ενεργοποιήεων, όπου είναι πιθανότερο για αυτές να είναι γραµµικά διαχωρίιµες.(yee, 99) []. Άκηη αυτοαξιολόγηης 4.4 / 4: Με ποιά έννοια ένας κανόνας απόφαης θεωρείται βέλτιτος; Απάντηη: Όταν ελαχιτοποιεί ελαχιτοποιείται η πιθανότητα λάθους ταξινόµηης. µια προκαθοριµένη υνάρτηη κότους. Έτι Άκηη αυτοαξιολόγηης 4.4 / 5: Να αιτιολογήετε γιατί ο κανόνας απόφαης που ορίζεται από τη χέη (7) της ενότητας 4.4, είναι ο πιο κατάλληλος κανόνας απόφαης. Απάντηη: Για το πρόβληµα ταξινόµηης l εκ των m δειγµάτων, το k-το τοιχείο του επιθυµητού διανύµατος απόκριης d είναι ίο µε ένα εάν το διάνυµα ειόδου ανήκει την κλάη Ck και µηδέν αλλιώς. Κάτω από αυτήν την υνθήκη, η υπό υνθήκη προδοκία E[d x] είναι ίη µε την εκ των υτέρων πιθανότητα κλάης P(Ck x), k=,,...,m (Richard

19 and Lippmann, 99) []. 4.5 Προοµοίωη ε ηλεκτρονικό υπολογιτή Σ αυτό το κεφάλαιο χρηιµοποιούµε ένα πείραµα µε υπολογιτή για να δείξουµε τη υµπεριφορά εκµάθηης ενός πολυεπίπεδου perceptron νευρωνικού δικτύου χρηιµοποιούµενου ως ταξινοµητή δειγµάτων. Το αντικείµενο του πειράµατος είναι ο διαχωριµός µεταξύ δύο κλάεων από αλληλοεπικαλυπτόµενα, δύο διατάεων, Gaussian κατανεµηµένων δειγµάτων, που ονοµάαµε και. Έτω C και C τα ύνολα των γεγονότων για τα οποία ένα τυχαίο διάνυµα x ανήκει τα δείγµατα και, αντίτοιχα. Μπορούµε τότε να εκφράουµε τις υπό υνθήκη υναρτήεις πυκνότητας πιθανότητας για τις δύο κλάεις ως εξής : Κλάη C : f(x C)= exp π x µ (8) όπου: µ =µέο διάνυµα=[0,0] Τ =διαπορά= Κλάη C: f(x C)= exp π x µ (9) όπου: µ =[,0] Τ =4 Οι δύο κλάεις θεωρούνται ιοπίθανες, δηλαδή: P(C)=P(C)=0.5 Το χήµα 5 δείχνει τριδιάτατα γραφήµατα των δύο Gaussian κατανοµών που ορίτηκαν από τις εξιώεις (8) και (9). Μια υπέρθεεη των διαγραµµάτων δείχνει καθαρά ότι οι δύο κατανοµές επικαλύπτουν η µία την άλλη ηµαντικά.

20 Σχήµα 5: Πάνω: Συνάρτηη πυκνότητας πιθανότητας f(x C) Κάτω: Συνάρτηη πυκνότητας πιθανότητας f(x C ) 4.5. Όριο απόφαης του Bayes Xρηιµοποιώντας το κριτήριο του Bayes, ένα βέλτιτο όριο απόφαης για το όριο των δύο κλάεων µπορεί να βρεθεί εφαρµόζοντας το τετ του λόγου πιθανοτήτων : όπου Λ(x) είναι ο λόγος πιθανοτήτων, οριµένος ως : C Λ(x) > < λ (0) C f(x C) Λ(x)= () f(x C)

21 και λ είναι το κατώφλι του τετ, που ορίζεται ως : P(C) λ= () P(C) Για το υγκεκριµένο παράδειγµά µας,έχουµε : Λ(x)= + exp µ µ x x και: λ= Το βέλτιτο (Bayesian) όριο απόφαης ορίζεται εποµένως από την: + exp µ µ x x = ή ιοδύναµα: µ µ + x x = 4ln (3) Χρηιµοποιώντας απλούς χειριµούς, µπορούµε να επαναορίουµε το βέλτιτο όριο απόφαης της εξίωη (3) ως: x-x c =r (4) όπου: x c = µ µ (5) και: r = + + ln 4 µ µ (6) Η εξίωη (4) παριτάνει κύκλο µε κέντρο x c και ακτίνα r. Έτω ότι µε Ω υµβολίζουµε την περιοχή εντός του κύκλου. Τότε, ο κανόνας της Bayesian ταξινόµηης για το δεδοµένο πρόβληµα µπορεί να διατυπωθεί ως ακολούθως : Κατέταξε το παρακολουθούµενο διάνυµα x αν να ανήκει την κλάη C αν x Ω και την κλάη C διαφορετικά.

22 Για τις ιδιαίτερες παραµέτρους αυτού του πειράµατος, έχουµε ένα κυκλικό όριο απόφαης του οποίου το κέντρο βρίκεται το: x c =[-/3,0] και η ακτίνα του είναι: ρ.34 Έτω c το ύνολο των ωτών ταξινοµήεων, και e το ύνολο των λαθεµένων ταξινοµήεων. Η µέη πιθανότητα λάθους, P e,ενός ταξινοµητή που λειτουργεί ύµφωνα µε τον κανόνα απόφαης του Bayes,είναι: P e =P(e C)P(C)+P(e C)P(C) (7) όπου P(e C) είναι η υπό υνθήκη πιθανότητα λάθους δεδοµένου ότι τα δεδοµένα ειόδου του ταξινοµητή πάρθηκαν από την κατανοµή της κλάης C, και παρόµοια για το P(e C). Για το υγκεκριµένο πρόβληµα, βρίκουµε ότι: P(e C) και: P(e C) 0.64 Η µέη πιθανότητα λάθους είναι εποµένως: P e Ιοδύναµα, η µέη πιθανότητα ωτής ταξινόµηης είναι: P c =-P e Πειραµατικός καθοριµός του βέλτιτου πολυεπίπεδου Perceptron Ο πίνακας περιέχει τη λίτα των µεταβλητών παραµέτρων ενός MLP το οποίο περιέχει ένα µόνο επίπεδο κρυµµένων νευρώνων και εκπαιδεύεται µε τον αλγόριθµο της πίω διάδοης. Καθώς ο βαικός τόχος ενός ταξινοµητή δειγµάτων είναι να πετύχει έναν αποδεκτό βαθµό ταξινόµηης, αυτό το κριτήριο χρηιµοποιείται για να κρίνει πότε οι µεταβλητές παράµετροι του MLP (το οποίο χρηιµοποιείται ως ταξινοµητής προτύπων) είναι βέλτιτες. Άκηη αυτοαξιολόγηης 4.5 / 6:

23 Πως καθορίζεται το βέλτιτο (Bayesian) όριο απόφαης για δύο κλάεις, όταν οι υπό υνθήκη υναρτήεις πυκνότητας πιθανότητας ακολουθούν κανονική κατανοµή. Απάντηη:Εφαρµόζουµε το τετ του λόγου πιθανοτήτων και καταλήγουµε τη χέη (3). Άκηη αυτοαξιολόγηης 4.5 / 7: Αν P(c)=/3 και P(c)=/3, να υπολογίετε την µέη πιθανότητα λάθους, για τον παραπάνω ταξινοµητή Bayes. Απάντηη: Υπολογίζεται εύκολα από τη χέη (7) Βέλτιτος αριθµός κρυφών νευρώνων Αντανακλώντας πρακτικές προεγγίεις του προβλήµατος καθοριµού του βέλτιτου αριθµού κρυµµένων νευρώνων Μ, το κριτήριο είναι ο µικρότερος αριθµός κρυµµένων νευρώνων που αποφέρουν απόδοη κοντά αυτή του βέλτιτου Bayesian ταξινοµητή - ας πούµε περίπου %. Έτι, η πειραµατική µελέτη ξεκινά µε δύο κρυµµένους νευρώνες ως ηµείο εκκίνηης, για τα αποτελέµατα της εξοµοίωης που υγκεντρώνονται τον πίνακα. Καθώς ο κοπός της πρώτης οµάδας των εξοµοιώεων είναι απλώς να εξακριβώει την επάρκεια ή όχι των δύο νευρώνων, ο ρυθµός εκµάθηης η και η ταθερά ορµής α τίθενται αυθαίρετα ε κάποιες ονοµατικές τιµές. Για κάθε εκτέλεη εξοµοίωης, ένα ύνολο εκπαίδευης από ζεύγη ειόδου-εξόδου, τυχαία παραγόµενων από τις Gaussian κατανοµές για τις κλάεις C και C µε ίη πιθανότητα, επαναλαµβανόµενα ανακυκλώνονται διαµέου του δικτύου, µε κάθε κύκλο εκπαίδευης να αναπαριτά ένα κύκλο (epoch). Ο αριθµός των κύκλων επιλέχθηκε έτι ώτε ο υνολικός αριθµός των δειγµάτων εκπαίδευης που χρηιµοποιήθηκαν για κάθε εκτέλεη να είναι ταθερός. Μ αυτό τον τρόπο όλα τα δυνατά αποτελέµατα που προκύπτουν από τις µεταβολές του µεγέθους των υνόλων εκπαίδευης εξιώνονται. ΠΙΝΑΚΑΣ Μεταβλητές Παράµετροι του Πολυεπίπεδου Perceptron

24 Παράµετρος Σύµβολο Τυπικό Εύρος Αριθµός κρυµµένων νευρώνων Μ (, ) Παράµετρος ρυθµού εκµάθηης η (0,) Σταθερά ορµής α (0,) Στον πίνακα και τους επόµενους πίνακες, το µέο τετραγωνικό λάθος υπολογίζεται ακριβώς όπως την εξίωη (5). Πρέπει να τονιτεί ότι το µέο τετραγωνικό λάθος περιλήφθηκε αυτούς τους πίνακες µόνο για λόγους καταγραφής, καθώς ένα µικρό µέο τετραγωνικό λάθος δε υνεπάγεται απαραίτητα και καλή γενίκευη (δηλαδή, καλή απόδοη µε δεδοµένα που δεν ειήχθηαν παλαιότερα ). Μετά τη ύγκλιη ενός δικτύου που εκπαιδεύτηκε µε έναν υνολικό αριθµό από Ν δείγµατα, η πιθανότητα ωτής ταξινόµηης µπορεί, θεωρητικά, να υπολογιτεί ως ακολούθως : P(c; N)=P(c; N C)P(C)+P(c; N C)P(C) (8) όπου: P(c; N C)= Ω(N) f(x C)dx (9) P(c; N C) = - Ω(N) f(x C)dx (0) και Ω (Ν) είναι η περιοχή του πεδίου απόφαης την οποία το MLP (που εκπαιδεύτηκε µε Ν δείγµατα) ταξινοµεί το διάνυµα x τοποθετώντας το την κλάη C. Συνήθως, η περιοχή αυτή βρίκεται πειραµατικά µε υπολογιµό της υνάρτηης αντιτοίχηης που µαθεύτηκε από το δίκτυο και εφαρµόζοντας τον κανόνα απόφαης εξόδου της εξίωης (7). υτυχώς, ο αριθµητικός υπολογιµός των P(c; N C) και P(c; N C) είναι προβληµατικός, επειδή κλειτές µορφές εκφράεων που να περιγράφουν το όριο απόφαης Ω (Ν) είναι δύκολο να βρεθούν. Συνεπώς, καταφεύγουµε τη λύη µιας πειραµατικής προέγγιης η οποία περιλαµβάνει έλεγχο του εκπαιδευµένου MLP χρηιµοποιώντας άλλα ανεξάρτητα ύνολα από ζεύγη ειόδου-εξόδου, τα οποία επίης παίρνονται τυχαία από τις κατανοµές των κλάεων C και C µε ίη πιθανότητα. Έτω Α µια τυχαία µεταβλητή η οποία µετράει τον αριθµό των δειγµάτων από τα Ν δείγµατα δοκιµής τα οποία ταξινοµούνται ωτά. Τότε ο λόγος:

25 P N = A N () είναι µια τυχαία µεταβλητή η οποία δίνει την µεγίτης-πιθανότητας (maximumlikelihood) αµερόληπτη εκτίµηη της πραγµατικής απόδοης ταξινόµηης p του δικτύου. Θεωρώντας ότι το p είναι ταθερό πάνω τα Ν ζεύγη ειόδου-εξόδου, µπορούµε να εφαρµόουµε το όριο του Chernoff (Devroye, 99) [], τον εκτιµητή p N του p,παίρνοντας: Prob( p N - p > ε) < exp(-ε N) = δ () Η εφαρµογή του ορίου Chernoff δίνει Ν 6500 για ε= 0,0 και δ=0,0 (δηλ., 99 τις εκατό ιγουριά ότι η εκτίµηη p έχει την δεδοµένη ανοχή ). Έτι, πήραµε ένα ύνολο δοκιµής µεγέθους Ν=3000. Η τελευταία τήλη του πίνακα παρουιάζει τη µέη πιθανότητα ωτής ταξινόµηης που εκτιµήθηκε γι αυτό το µέγεθος του υνόλου δοκιµής. ΠΙΝΑΚΑΣ Αποτελέµατα Εξοµοίωης για Κρυφούς Νεύρωνες (η=0, & α=0) Αριθµός Μέγεθος Αριθµός Μέο Πιθανότητα Εκτελέεων Συνόλου Κύκλων Τετραγ. Λάθος Σωτής Εκπαίδευης ταξινόµηης, P c ,33 79,84% ,38 80,34% ,7 80,3% Η µέη απόδοη ταξινόµηης που δείχνεται τον πίνακα 5. για ένα MLP µε δύο κρυµµένους νευρώνες είναι ήδη κοντά ε λογικό βαθµό την Bayesian απόδοη P c =8,5 τις εκατό. Πάνω αυτή τη βάη, µπορούµε να καταλήξουµε το ότι το πρόβληµα ταξινόµηης δειγµάτων που περιγράφηκε εδώ, η χρήη δύο κρυµµένων νευρώνων είναι επαρκής. Για να τονίουµε αυτό το αποτέλεµα, τον πίνακα 3 παρουιάζουµε τα αποτελέµατα εξοµοιώεων που επαναλήφθηκαν για την περίπτωη τεάρων κρυµµένων νευρώνων, µε όλες τις άλλες παραµέτρους να

26 παραµένουν οι ίδιες. Παρ όλο που κατά µέο όρο το µέο τετραγωνικό λάθος τον πίνακα 3 για τους τέερις κρυµµένους νευρώνες είναι ελαφρώς µικρότερο από αυτό του πίνακα για τους δύο κρυµµένους νευρώνες, ο µέος βαθµός ωτού διαχωριµού δε δείχνει ηµαντική βελτίωη. Συνεπώς, για το υπόλοιπο του πειράµατος που περιγράφεται εδώ, ο αριθµός των κρυµµένων νευρώνων κρατιέται τους δύο. ΠΙΝΑΚΑΣ 3 Αποτελέµατα Εξοµοίωης για 4 Κρυµµένους Νεύρωνες(η=0,& α=0) Αριθµός Μέγεθος Αριθµός Μέο Πιθανότητα Εκτελέεων Συνόλου Κύκλων Τετραγ. Λάθος Σωτής Εκπαίδευης ταξινόµηης, P c ,75 80,43% ,75 80,45% ,95 80,99% 4.6. Βέλτιτες ταθερές µάθηης και ορµής Για τις βέλτιτες τιµές του ρυθµού µάθηης η και της ταθεράς ορµής α µπορούµε να χρηιµοποιήουµε οποιονδήποτε από τους παρακάτω οριµούς :. Τα η και α τα οποία, τη µέη περίπτωη, επιφέρουν ύγκλιη ένα τοπικό ελάχιτο της επιφάνειας λάθους του δικτύου µε τον µικρότερο αριθµό κύκλων.. Τα η και α τα οποία, τη µέη ή την χειρότερη περίπτωη, επιφέρουν ύγκλιη το ολικό ελάχιτο της επιφάνειας λάθους µε το µικρότερο αριθµό κύκλων. 3. Τα η και α τα οποία, τη µέη περίπτωη, επιφέρουν ύγκλιη εκείνη τη διαµόρφωη του δικτύου η οποία έχει την καλύτερη γενίκευη, πάνω το υνολικό πεδίο ειόδων, µε το µικρότερο αριθµό κύκλων. Η µέη και χειρότερη περίπτωη αναφέρονται την κατανοµή των ζευγών ειόδου-

27 εξόδου της εκπαίδευης. Ο οριµός 3 είναι ο ιδανικός. Στην πράξη όµως είναι δύκολο να εφαρµοτεί καθώς η ελαχιτοποίηη του µέου τετραγωνικού λάθους είναι υνήθως το µαθηµατικό κριτήριο για βελτιτοποίηη κατά τη διάρκεια της εκπαίδευης του δικτύου και, όπως ηµειώθηκε πριν από λίγο, ένα µικρότερο τετραγωνικό λάθος πάνω το ύνολο εκπαίδευης δε υνεπάγεται απαραίτητα και καλή γενίκευη. Από ερευνητικής απόψεως, ο οριµός έχει προκαλέει µεγαλύτερο ενδιαφέρον από τον οριµό. Για παράδειγµα, το Luo (99) [], παρουιάζονται αυτηρά αποτελέµατα για τη βέλτιτη προαρµογή του ρυθµού µάθηης η έτι ώτε να απαιτείται ο µικρότερος αριθµός κύκλων για το MLP να προεγγίει τον υνολικά βέλτιτο πίνακα υναπτικών βαρών ε µια επιθυµητή ακρίβεια, εκτός από την ειδική περίπτωη των γραµµικών νευρώνων. Γενικά, ωτόο, ευριτικές και πειραµατικές διαδικαίες χρηιµοποιούν τελευταία τον οριµό για τη βέλτιτη επιλογή των η και α. Εµείς για το παρόν πείραµα θα χρηιµοποιήουµε τον οριµό. Χρηιµοποιώντας ένα MLP µε δύο κρυµµένους νευρώνες, διάφοροι υνδυαµοί των η {0,0, 0,, 0,5, 0,9} και α {0,0, 0,, 0,5, 0,9} εξοµοιώνονται για να παρατηρήουµε τα αποτελέµατά τους τη ύγκλιη του δικτύου. Κάθε υνδυαµός εκπαιδεύεται µε το ίδιο ύνολο αρχικών τυχαίων βαρών και το ίδιο ύνολο από 500 δείγµατα ειόδου-εξόδου, έτι ώτε τα αποτελέµατα του πειράµατος να µπορούν να υγκριθούν άµεα. Όπως ειπώθηκε προηγουµένως, ένα δίκτυο θεωρείται ότι έχει υγκλίνει όταν ο απόλυτος ρυθµός αλλαγής του µέου τετραγωνικού λάθους ανά κύκλο είναι επαρκώς µικρός. Σ αυτό το πείραµα επιλέξαµε ο ρυθµός αυτός να είναι

28 Σχήµα 6: Καµπύλες µάθηης για διάφορες τιµές της ταθεράς ορµής α και τις ακόλουθες τιµές της παραµέτρου ρυθµού µάθηης (α) η=0.0 ; (b) η=0.. είναι µικρότερος από 0,0 τις εκατό. Οι καµπύλες µάθηης που υπολογίτηκαν µ αυτό τον τρόπο χεδιάτηκαν τα χήµατα 6.α,b και 7.c, δ [], ένα χήµα για κάθε διαφορετικό η.

29 Σχήµα 7: (υνέχεια) : (c) η=0.5 ; (d) η=0.9 Οι παραπάνω πειραµατικές καµπύλες µάθηης οδηγούν τα παρακάτω υµπεράµατα: Καθώς, γενικά, µικρότερος ρυθµός µάθηης η έχει ως αποτέλεµα πιο αργή ύγκλιη, µπορεί να εντοπίει βαθύτερο τοπικό ελάχιτο την επιφάνεια λάθους

30 απ ότι ένα µεγαλύτερο η. Αυτό είναι και διαιθητικά ωτό, καθώς µικρότερο η υνεπάγεται ότι η αναζήτηη για ελάχιτο θα καλύψει µεγαλύτερο µέρος της επιφάνειας λάθους απ ότι την περίπτωη ενός µεγαλύτερου η. Για η 0, η χρήη α προκαλεί αύξηη την ταχύτητα ύγκλιης. Από την άλλη, για η, η χρήη α 0 απαιτείται για να ιγουρέψει τη ταθερότητα µάθηης. Η χρήη των ταθερών η = { 0,5, 0,9 } και α = 0,9 προκαλεί ταλαντώεις το µέο τετραγωνικό λάθος κατά την διάρκεια µάθηης και µια υψηλότερη τιµή για το τελικό µέο τετραγωνικό λάθος της ύγκλιης, δύο αποτελέµατα τα οποία είναι ανεπιθύµητα. Σχήµα 8: Οι καλύτερες καµπύλες µάθηης που επιλέχθηκαν από το χήµα 7. Στο χήµα 8 βλέπουµε τις γραφικές παρατάεις των καλύτερων καµπυλών µάθηης από κάθε οµάδα των καµπυλών µάθηης που αναπαρίτανται γραφικά το χήµα 7, έτι ώτε να καθορίουµε µία υνολικά καλύτερη καµπύλη µάθηης. Από το χήµα 8 φαίνεται ότι η βέλτιτη παράµετρος ρυθµού µάθηης η opt είναι περίπου 0. και η βέλτιτη ταθερά ορµής α opt είναι περίπου 0.5. Έτι ο πίνακας 4 υνοψίζει τις

31 βέλτιτες τιµές των παραµέτρων του δικτύου που χρηιµοποιούνται το υπόλοιπο µέρος του πειράµατος. Το γεγονός ότι τα τελικά µέα τετραγωνικά φάλµατα των καµπυλών το χήµατος 8 δεν διαφέρουν ηµαντικά για τα διάφορα η και α υποδηλώνει µία καλά-υµπεριφερόµενη ( χετικά λεία ) επιφάνεια λάθους για το ίδιο το πρόβληµα Εκτίµηη του βέλτιτου χεδιαµού του δικτύου οµένου του βέλτιτου πολυεπίπεδου perceptron που έχει τις παραµέτρους που υνοψίζονται τον πίνακα 4 το δίκτυο τελικά αξιολογείται για να καθορίει το όριο απόφαης του, την τελική µέη καµπύλη µάθηης του και την µέη πιθανότητα ωτής ταξινόµηης. Με πεπεραµένου µεγέθους εκπαιδευτικά ύνολα η υνάρτηη που το δίκτυο έµαθε µε τις βέλτιτες παραµέτρους είναι τοχατική από την φύη της. Κατά αντιτοιχία αυτά τα µέτρα απόδοης είναι ένας µέος υνόλου για πάνω από 0 ανεξάρτητα εκπαιδευµένα δίκτυα. Κάθε εκπαιδευτικό ύνολο αποτελείται από 000 ζεύγη ειόδου-εξόδου, παρµένα από τις κατανοµές για τις κλάεις C και C µε ίη πιθανότητα, και τα οποία παρουιάζονται το δίκτυο µε τυχαία ειρά. Όπως προηγουµένως, το κριτήριο που χρηιµοποιείται για την ύγκλιη του δικτύου είναι ο απόλυτος ρυθµός αλλαγής του µέου τετραγωνικού φάλµατος να είναι µικρότερος από 0.0% ανά κύκλο. Για τον πειραµατικό καθοριµό των µέων πιθανοτήτων ωτής ταξινόµηης, το ίδιο τετ από 3,000 ζεύγη ειόδου-εξόδου που χρηιµοποιήθηκε προηγουµένως, χρηιµοποιείται µία φορά ακόµη. Πίνακας 4 ιαµόρφωη του βέλτιτου πολυεπίπεδου Perceptron Παράµετρος Σύµβολο Τιµή Βέλτιτος αριθµός κρυµµένων νευρώνων M opt Βέλτιτη παράµετρος ρυθµού µάθηης η opt 0. Βέλτιτη ταθερά ορµής α opt 0.5

32 Σχήµα 9: Όρια απόφαης που κατακευάτηκαν από το πολυεπίπεδο perceptron Το χήµα 9 δείχνει τα όρια απόφαης για τα δύο δίκτυα από τα είκοι υνολικά, µε την χειρότερη και καλύτερη απόδοη ταξινόµηης. Αυτή η εικόνα επίης περιέχει, για αναφορά, το ( κυκλικό ) Bayesian όριο απόφαης. Και τα δύο όρια απόφαης ( για την χειρότερη και καλύτερη απόδοη ταξινόµηης ) είναι κυρτά µε αναφορά την περιοχή όπου ταξινοµούν το διάνυµα x όπως αυτό ανήκει την κλάη C ή την κλάη C. Κάθε όριο εµφανίζεται να περιέχει δύο γραµµικά τµήµατα µ ένα µη- γραµµικό τµήµα να τα υνδέει κοντά την δική τους προβαλλόµενη τοµή.

33 Σχήµα 0: Καµπύλες µάθηης - αργότερες και ταχύτερες αποδόεις για το βελτιτοποιηµένο δίκτυο Σχήµα : Μέη ωτή πιθανότητα ταξινόµηης έναντι µέου τετραγωνικού λάθους

34 Το χήµα 0 δείχνει τις τελικές µέες, τις αργότερες και ταχύτερες καµπύλες µάθηης που παρατηρήθηκαν κατά την διάρκεια της εκπαίδευης του βελτιτοποιηµένου δικτύου. Παρόλο το ανώτερο τελικό µέο τετραγωνικό φάλµα του δικτύου µε την ταχύτερη καµπύλη µάθηης ( έναντι για το δίκτυο µε την αργότερη καµπύλη µάθηης ), αυτό το προφανές πλεονέκτηµα δεν παρέχει κανένα κέρδος την απόδοη της ταξινόµηης. Στην πραγµατικότητα, το δίκτυο που µαθαίνει ταχύτερα έχει µία οριακά χειρότερη απόδοη ταξινόµηης απ ότι το δίκτυο που µαθαίνει αργότερα (79.78 έναντι 79.90%). Μία παρόµοια κατάταη υµβαίνει όταν υνολικά το µέο τετραγωνικό φάλµα του δικτύου µε την καλύτερη απόδοη ταξινόµηης υγκρίνετε µ αυτό του δικτύου µε την χειρότερη απόδοη ταξινόµηης. Το πρώτο έχει P C της τάξης του 80.3% µ ένα τελικό µέο τετραγωνικό φάλµα της τάξης του 0.380, ενώ το άλλο έχει ένα P C της τάξης του 78.68% µ ένα τελικό µέο τετραγωνικό φάλµα της τάξης του 0.39, όχι ηµαντικά διαφορετικά από το πρώτο. Αυτά τα αποτελέµατα ενιχύουν την αντίληψη ότι ένα χαµηλότερο µέο τετραγωνικό φάλµα κατά µήκος του εκπαιδευτικού υνόλου δεν είναι από µόνο του µία ικανή υνθήκη για µία καλύτερη απόδοη ταξινόµηης. Πράγµατι, η γραφική παράταη της πειραµατικά καθοριζόµενης πιθανότητας της ωτής ταξινόµηης έναντι του τελικού µέου τετραγωνικού φάλµατος που φαίνεται το χήµα παρουιάζει µόνο έναν αδύνατο αρνητικό υχετιµό -0.0 ανάµεα τα δύο µέτρα απόδοης του δικτύου. Οι υνολικές τατιτικές των µέτρων απόδοης, µέη πιθανότητα ωτής ταξινόµηης και τελικό µέο τετραγωνικό φάλµα, υπολογιζόµενα για το εκπαιδευτικό ύνολο φαίνονται τον πίνακα 5. Πίνακας 5: Στατιτικές υνόλου του µέτρου επίδοης (µήκος υνόλου = 0) Μέτρο επίδοης Μέη τιµή Τυπική απόκλιη Μέη πιθανότητα ωτής ταξινόµηης Τελικό µέο τετραγωνικό λάθος 79.70% 0.44% Γενίκευη Στην µάθηη πίω-διάδοης ξεκινάµε µ ένα εκπαιδευτικό ύνολο και

35 χρηιµοποιούµε τον αλγόριθµο πίω-διάδοης για να υπολογίουµε τα υναπτικά βάρη ενός πολυεπίπεδου perceptron φορτώνοντας (κωδικοποιώντας) όα περιότερα από τα εκπαιδευτικά παραδείγµατα είναι δυνατόν µέα το δίκτυο. Η επιθυµία είναι ότι το νευρωνικό δίκτυο έτι χεδιαµένο θα γενικεύει. Ένα δίκτυο λέγεται ότι γενικεύει καλά όταν η χέη ειόδου-εξόδου υπολογιζόµενη από το δίκτυο είναι ωτή ( ή χεδόν ωτή ) για δείγµατα ειόδου-εξόδου ( δεδοµένα ελέγχου ) που ποτέ δεν χρηιµοποιήθηκαν την δηµιουργία ή την εκπαίδευη του δικτύου. Ο όρος γενίκευη είναι δανειµένος από την ψυχολογία. Εδώ βέβαια υποτίθεται ότι τα δεδοµένα ελέγχου προέρχονται από τον ίδιο πληθυµό που χρηιµοποιήθηκε για να παράγει τα εκπαιδευτικά δεδοµένα. Η διαδικαία µάθηης ( εκπαίδευης ενός νευρωνικού δικτύου ) µπορεί να θεωρηθεί αν ένα πρόβληµα προαρµογής καµπύλης. Το δίκτυο το ίδιο µπορεί να θεωρηθεί απλά αν µία µη-γραµµική αντιτοίχηη ειόδων ε εξόδους. Τέτοια άποψη µας επιτρέπει να δούµε την γενίκευη όχι αν µία µυτηριώδη ιδιότητα των νευρωνικών δικτύων αλλά απλούτερα αν την επίδραη µίας καλής µη-γραµµικής παρεµβολής των δεδοµένων ειόδου. Το δίκτυο εκτελεί χρήιµη παρεµβολή κυρίως επειδή πολυεπίπεδα perceptrons µε υνεχείς υναρτήεις ενεργοποίηης οδηγούν ε εξωτερικές υναρτήεις που είναι επίης υνεχείς.

36 Σχήµα : (α) Κατάλληλα ταιριαµένα δεδοµένα (καλή γενίκευη) (b) Υπερβολικά ταιριαµένα δεδοµένα (φτωχή γενίκευη) Το χήµα.a επεξηγεί πως η γενίκευη µπορεί να υµβεί ένα υποθετικό δίκτυο. Η µη-γραµµική αντιτοίχηη ειόδων ε εξόδους που παριτάνεται από την καµπύλη την απεικονιζόµενη αυτό το χήµα υπολογίζεται από το δίκτυο αν αποτέλεµα της εκµάθηης των ηµείων µε ετικέτα εκπαιδευτικά δεδοµένα. Το ηµείο που είναι µαρκαριµένο την καµπύλη αν γενίκευη, είναι αυτό που φαίνεται απλά ως το αποτέλεµα της παρεµβολής που εκτελείται από το δίκτυο. Ένα νευρωνικό δίκτυο που χεδιάτηκε να γενικεύει καλά θα παράγει µία ωτή

37 αντιτοίχηη ειόδων ε εξόδους ακόµα και όταν η είοδος είναι λίγο διαφορετική από τα παραδείγµατα που χρηιµοποιήθηκαν για να εκπαιδευτεί το δίκτυο, όπως επεξηγείται το χήµα.a. Όταν όµως ένα νευρωνικό δίκτυο µαθαίνει αρκετές ειδικές χέεις ειόδου-εξόδου ( υπερεκπαιδεύεται ) το δίκτυο µπορεί να κρατάει την µνήµη του τα δεδοµένα εκπαίδευης και υνεπώς να είναι λιγότερο ικανό να γενικεύει µεταξύ παρόµοιων δειγµάτων ειόδου-εξόδου. Όπως υνήθως, δεδοµένα που φορτώνονται ένα πολυεπίπεδο perceptron µε τέτοιο τρόπο απαιτούν την χρηιµοποίηη περιοτέρων κρυφών νευρώνων απ ότι πραγµατικά είναι απαραίτητο, µε αποτέλεµα ανεπιθύµητες καµπύλες τον χώρο του προβλήµατος να αποθηκεύονται τα υναπτικά βάρη του δικτύου. Ένα παράδειγµα για το πως φτωχή γενίκευη οφειλόµενη ε µνηµοποίηη ένα νευρωνικό δίκτυο µπορεί να υµβεί επεξηγείται το χήµα.b για τα ίδια δεδοµένα που απεικονίζονται το χήµα.a. Η µνηµοποίηη είναι βαικά ένας πίνακας ψαξίµατος ( look-up table ) που υπονοεί ότι η αντιτοίχηη ειόδων ε εξόδους που υπολογίζεται από το νευρωνικό δίκτυο δεν είναι λεία Κατάλληλο µέγεθος εκπαιδευτικού υνόλου για έγκυρη γενίκευη Η γενίκευη επηρεάζεται από τρεις παράγοντες: το µέγεθος και την αποτελεµατικότητα του εκπαιδευτικού υνόλου, την αρχιτεκτονική του δικτύου και την φυική πολυπλοκότητα του ίδιου του προβλήµατος. Είναι φανερό ότι δεν έχουµε κανένα έλεγχο γύρω από τον τελευταίο παράγοντα. Σχετικά µε τους άλλους δύο παράγοντες µπορούµε να δούµε το ζήτηµα της γενίκευης από δύο διαφορετικές κοπιές ( Hush και Horne, 993 ) []: Η αρχιτεκτονική του δικτύου είναι φιξαριµένη ( ευτυχώς και ε αντιτοίχηη µε την φυική πολυπλοκότητα του δεδοµένου προβλήµατος ) και το ζήτηµα που πρέπει να επιλυθεί είναι αυτό του καθοριµού του µεγέθους του εκπαιδευτικού υνόλου που απαιτείται για να υµβεί µία καλή γενίκευη. Το µέγεθος του εκπαιδευτικού υνόλου είναι φιξαριµένο και το ζήτηµα που µας ενδιαφέρει είναι ο καθοριµός της καλύτερης αρχιτεκτονικής του δικτύου για την επίτευξη µίας καλής γενίκευης.

38 Παρόλο που και οι δύο αυτές απόψεις είναι έγκυρες µε τον δικό τους ξεχωριτό τρόπο η πρώτη άποψη είναι αυτή που πιο υχνά αντιµετωπίζουµε την πράξη. Γι αυτό θα υγκεντρωθούµε αυτήν από δω και πέρα. Πράγµατι, η καταλληλότητα του µεγέθους του εκπαιδευτικού υνόλου είναι ένα θεωρητικό ζήτηµα που έχει προελκύει ένα µεγάλο ποό προοχής την βιβλιογραφία και υνεχίζει να το κάνει. Σ αυτήν την υποενότητα περιληπτικά θα περιγράψουµε ένα χρήιµο αποτέλεµα προερχόµενο από τους Baum και Haussler (989 ) [], για την περίπτωη ενός νευρωνικού δικτύου που περιέχει ένα µόνο κρυφό επίπεδο και χρηιµοποιείται αν δυαδικός ταξινοµητής. Για να προετοιµάουµε το έδαφος για µία πρόταη του µαθηµατικού τύπου τους πρώτα παρουιάζουµε κάποιους οριµούς. Ένα παράδειγµα ορίζεται αν ζεύγος { x, d } όπου το διάνυµα ειόδου x R P και η επιθυµητή έξοδος d [-,]. Με άλλα λόγια το δίκτυο δρα αν δυαδικός ταξινοµητής. Ένας κύκλος ορίζεται αν µία ειρά από παραδείγµατα που παίρνονται ανεξάρτητα και κατά τυχαίο τρόπο από κάποια κατανοµή D. Έτω f µία υνάρτηη από το διάτηµα R P το [-,], µε d=f(x). Ένα λάθος της υνάρτηης f, µε αναφορά την κατανοµή D, ορίζεται ως η πιθανότητα η έξοδος y να είναι διαφορετική από το d για ένα ζεύγος ( x, d ) που επιλέχτηκε κατά τυχαίο τρόπο. Έτω M ο υνολικός αριθµός των κρυφών υπολογιτικών κόµβων. Έτω W ο υνολικός αριθµός των υναπτικών βαρών το δίκτυο. Έτω N ο αριθµός των τυχαίων παραδειγµάτων που χρηιµοποιούνται για να εκπαιδεύουν το δίκτυο. Έτω ε το φράγµα των λαθών που επιτρέπονται το τετ. Τότε βαιζόµενοι τους Baum και Haussler το δίκτυο χεδόν βέβαια παρέχει γενίκευη αν και µόνο αν ικανοποιούνται οι δύο παρακάτω υνθήκες:. Το φράγµα των λαθών που δηµιουργήθηκαν από το εκπαιδευτικό ύνολο είναι µικρότερο από ε/.. Ο αριθµός των παραδειγµάτων N, που χρηιµοποιήθηκαν την εκπαίδευη είναι: 3W 3M N ln ε ε όπου ln υποδηλώνει τον φυικό λογάριθµο. (3)

39 Η χέη (3) παρέχει έναν ελεύθερο από κατανοµές και χειρότερης περίπτωης τύπο για την εκτίµηη του µεγέθους του εκπαιδευτικού υνόλου για ένα νευρωνικό δίκτυο ενός επιπέδου που είναι κατάλληλο για µία καλή γενίκευη. Λέµε χειρότερης περίπτωης επειδή την πράξη µπορεί να υπάρχει ένα τεράτιο αριθµητικό κενό ανάµεα το πραγµατικό µέγεθος του εκπαιδευτικού υνόλου που απαιτείται και απ αυτό που προβλέπεται από το κριτήριο της χέης (3). Πρέπει όµως να υπογραµµιτεί ότι αυτό το κενό είναι απλά µία αντανάκλαη της φύης της χειρότερης περίπτωης του κριτηρίου. Αγνοώντας τον λογαριθµικό παράγοντα την χέη (3) βλέπουµε ότι ο κατάλληλος αριθµός από εκπαιδευτικά παραδείγµατα είναι, ε µία πρώτη προέγγιη, ανάλογος του αριθµού των βαρών το δίκτυο και αντιτρόφως ανάλογος της παραµέτρου ακριβείας ε. Πράγµατι φαίνεται ότι την πράξη όλο και όλο αυτό που χρειαζόµατε για µία καλή γενίκευη είναι να ικανοποιείται η υνθήκη: N ε W (4) Έτι µ ένα λάθος της τάξης του 0% λέµε ότι ο αριθµός των εκπαιδευτικών παραδειγµάτων πρέπει να είναι προεγγιτικά 0 φορές ο αριθµός των υναπτικών βαρών το δίκτυο. Άκηη αυτοαξιολόγηης 4.6 / 8: Ποιά είναι η επίδραη του µεγέθους του εκπαιδευτικού υνόλου την εκπαίδευη του νευρωνικού δικτύου. Απάντηη: Όο µεγαλύτερο είναι το µέγεθος, τόο µικρότερος είναι ο αριθµός των κύκλων και το µέο τετραγωνικό λάθος. Άκηη αυτοαξιολόγηης 4.6 / 9: Ποιο είναι το αποτέλεµα της αύξηης του αριθµού των κρυφών νευρώνων; Απάντηη: Βελτιώνεται ελαφρώς το µέο τετραγωνικό λάθος, αλλά δεν βελτιώνεται ο ωτός διαχωριµός των προτύπων.