ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Οκτωβρίου 23 ιάρκεια: 2 ώρες Έστω το παρακάτω γραµµικώς διαχωρίσιµο σύνολο εκπαίδευσης: Είσοδος Χρησιµοποιείστε το παραπάνω σύνολο για να εκπαιδεύσετε έναν γραµµικό νευρώνα µε βηµατική συνάρτηση:, αν >, αν Για την εκπαίδευση χρησιµοποιείστε τον κανόνα δέλτα, w j,i w j,i-new -w j,i-old -da i -o i a j, όπου a i η τρέχουσα έξοδος του νευρώνα i και o i η επιθυµητή έξοδος του νευρώνα i. Μπορείτε να χρησιµοποιήσετε οποιαδήποτε θετική τιµή θέλετε για την σταθερά d, π.χ. d. Παρατήρηση: Ο νευρώνας πρέπει να έχει τρεις εισόδους, δύο κανονικές και µια για την τάση πόλωσης. Θεωρείστε ότι η τάση πόλωσης ισούται µε. ώστε αρχικές τιµές στα βάρη ίσες µε µηδέν. Υπόδειξη: Παρουσιάστε τη διαδικασία εκπαίδευσης συµπληρώνοντας τον παρακάτω πίνακα, για καλύτερη παρουσίαση της διαδικασίας µάθησης. επανάληψης παραδεί -γµατος Είσοδος Βάρη Επιθυµη τή έξοδος Μεταβολές βαρών Θα παρουσιάζουµε κυκλικά τα παραδείγµατα εκπαίδευσης στις εισόδους του νευρώνα µαζί µε τη σταθερή τάση πόλωσης, θα υπολογίζουµε κάθε φορά την έξοδο και θα τη συγκρίνουµε µε την επιθυµητή έξοδο για το εκάστοτε τρέχον παράδειγµα. Όταν η τρέχουσα και η επιθυµητή έξοδος συµπίπτουν δεν χρειάζεται να κάνουµε αλλαγή βαρών. Όταν όµως η τρέχουσα και η επιθυµητή

2 έξοδος διαφέρουν, υπολογίζουµε τη µεταβολή του βάρους για κάθε µια από τις µη-µηδενικές εισόδους. Τη διαδικασία αυτή θα την εκτελέσουµε πολλές φορές, µέχρι τα βάρη να πάρουν τέτοιες τιµές ώστε να προκύπτει σωστή έξοδος για όλα τα παραδείγµατα εκπαίδευσης. Παρακάτω φαίνεται ο πίνακας συµπληρωµένος. επανάληψης παραδεί -γµατος Είσοδος Βάρη Επιθυµη τή έξοδος Μεταβολές βαρών ΘΕΜΑ 2 ο 2.5 µονάδες Ορίστε το πρόβληµα του υπερβολικού ταιριάσµατος overfitting κατά την εκπαίδευση νευρωνικών δικτύων. Περιγράψτε δύο µεθόδους για την αντιµετώπισή του. Το πρόβληµα του υπερβολικού ταιριάσµατος έχει να κάνει µε την ελαχιστοποίηση του σφάλµατος ενός νευρωνικού δικτύου στα δεδοµένα εκπαίδευσης, ενώ την ίδια στιγµή παρουσιάζει πολύ µεγάλα σφάλµατα σε νέα δεδοµένα που διαφέρουν λίγο από τα δεδοµένα εκπαίδευσης. Το πρόβληµα εµφανίζεται σε νευρωνικά δίκτυα µε πολύ µεγάλους αριθµούς νευρώνων στο κρυφό επίπεδο, τα οποία εκπαιδεύονται µέχρι να ελαχιστοποιηθεί το συνολικό σφάλµα σε πολύ µεγάλο βαθµό. Μερικές µέθοδοι αντιµετώπισης του προβλήµατος είναι οι εξής: α Τροποποίηση της συνάρτησης σφάλµατος, έτσι ώστε να προτιµούνται οι µικροί συντελεστές βαρύτητας. N n 2 2 MEREG γ ai oi + γ w j N i N j β Χρήση στατιστικών µεθόδων για εκτίµηση του πλήθους των εσωτερικών συνδέσεων που χρειάζονται για την εκπαίδευση του δικτύου.

3 γ Μέθοδος του πρόωρου τερµατισµού, µε καταµερισµό των διαθέσιµων δεδοµένων σε δεδοµένα εκπαίδευσης, δεδοµένα επαλήθευσης και δεδοµένα ελέγχου. ΘΕΜΑ 3 ο 2.5 µονάδες Εξηγείστε τη λογική λειτουργίας των ανταγωνιστικών νευρώνων. Περιγράψτε τον τρόπο εκπαίδευσής τους κανόνας µάθησης Kohonen. Υποδείξτε δύο τρόπους αντιµετώπισης του φαινοµένου των νεκρών νευρώνων dead neurons. Ένα στρώµα µε ανταγωνιστικούς νευρώνες λειτουργεί ως εξής: Όλοι οι νευρώνες δέχονται το σήµα από τους νευρώνες του προηγούµενου επιπέδου συνήθως το επίπεδο εισόδου. Κάθε νευρώνας υπολογίζει την ευκλείδια απόσταση του διανύσµατος εισόδου Χ από το διάνυσµα των βαρών των εισόδων του Wi: d X-Wi. Ο νευρώνας µε τη µικρότερη απόσταση παράγει έξοδο, ενώ όλοι οι υπόλοιποι παράγουν έξοδο. Γενικά δεν υπάρχει επόµενο επίπεδο µετά το επίπεδο µε ανταγωνιστικούς νευρώνες. Η µάθηση σε ένα επίπεδο ανταγωνιστικών νευρώνων γίνεται χωρίς επίβλεψη. Τα παραδείγµατα εκπαίδευσης µόνο είσοδοι παρουσιάζονται στο δίκτυο διαδοχικά και µε τυχαία σειρά. Για κάθε παράδειγµα εκπαίδευσης βρίσκεται ο νευρώνας i µε την µικρότερη ευκλείδια απόσταση d Wi-X και τα βάρη του αλλάζουν ώστε να πλησιάσουν περισσότερο το τρέχον παράδειγµα, σύµφωνα µε τη σχέση: Wi'Wi+aX-Wi ΚΑΝΟΝΑΣ ΜΑΘΗΣΗΣ KOHONEN όπου i ο νευρώνας που κέρδισε, Wi Το προηγούµενο διάνυσµα βαρών του νευρώνα i, Wi' Το νέο διάνυσµα βαρών του νευρώνα i, Χ το τρέχον διάνυσµα εισόδου και a ο ρυθµός εκπαίδευσης. Τα βάρη των υπολοίπων νευρώνων παραµένουν αµετάβλητα. Ένα πρόβληµα που εµφανίζουν τα δίκτυα ανταγωνιστικής µάθησης είναι ότι κάποιοι νευρώνες ενδέχεται να µην κερδίσουν ποτέ! ειδικά εάν έχουµε πολλούς νευρώνες. Οι νευρώνες αυτοί θα κρατήσουν τα αρχικά τους βάρη τα οποία τους έχουν αποδοθεί τυχαία. Για να αποφύγουµε νεκρούς νευρώνες χρησιµοποιούµε τα βάρη εισόδου της σταθερής τάσης πόλωσης bias. Η τάση πόλωση έχει τιµή για όλους τους νευρώνες στο Matlab. Τα αρχικά βάρη της τάσης πόλωσης παίρνουν µια µεγάλη τιµή, ίδια για όλους τους νευρώνες, δηµιουργώντας έτσι µια µεγάλη απόσταση από την τιµή της τάσης πόλωσης. Η αλλαγή των βαρών της τάσης πόλωσης γίνεται µε τέτοιον τρόπο, ώστε να δίνονται µικρότερα βάρη στην τάση πόλωσης στους νευρώνες που δεν κερδίζουν συχνά. Ένας δεύτερος τρόπος αντιµετώπισης του φαινοµένου των νεκρών νευρώνων είναι τα δίκτυα αυτοοργάνωσης. Σε αυτά, οι νευρώνες του ανταγωνιστικού επιπέδου θεωρείται ότι σχηµατίζουν ένα νοητό πλέγµα π.χ. ορθογώνιο, εξαγωνικό, τυχαίο. Για κάθε παράδειγµα εκπαίδευσης, εκτός από τα βάρη του νευρώνα-νικητή, αλλάζουν τα βάρη και για τους νευρώνες της "γειτονιάς" στο πλέγµα του νευρώνα-νικητή. ΘΕΜΑ 4 ο 2.5 µονάδες Κατασκευάστε ένα δίκτυο Hopfield για την αποθήκευση του διανύσµατος X [ - ]. Πώς συµπεριφέρεται το δίκτυο εάν εµφανιστεί στην είσοδό του το διάνυσµα Χ 2 [- - ];

4 Προφανώς το δίκτυο Hopfield θα αποτελείται από τέσσερις νευρώνες, κάθε ένας από τους οποίους συνδέεται µε όλους τους άλλους, εκτός από τον εαυτό του. Πρώτα υπολογίζουµε τα βάρη των συνδέσεων: [ ] W Επειδή όµως δεν υπάρχουν συνδέσεις από κάθε νευρώνα στον εαυτό του, τα διαγώνια στοιχεία του παραπάνω πίνακα µηδενίζονται: W Έστω ότι στο δίκτυο παρουσιάζεται η είσοδος X 2 [- - ], η οποία διαφέρει από το αρχικό διάνυσµα σε ένα στοιχείο. Θα υπολογίσουµε τις νέες εξόδους των νευρώνων µε τυχαία σειρά, έστω µε τη σειρά 3, 4,, 2. Νέα έξοδος 3ου νευρώνα: [ ], 3 3 Το διάνυσµα παραµένει [- - ]. Νέα έξοδος 4ου νευρώνα: [ ], 4 4 Το διάνυσµα παραµένει [- - ]. Νέα έξοδος του ου νευρώνα: [ ] 3, Το διάνυσµα αλλάζει σε [ - ]. Τέλος ενηµέρωση του 2ου νευρώνα: [ ] 3, 2 2 Έχει λοιπόν παραχθεί το αρχικό διάνυσµα. Αν συνεχίσουµε τις "ενηµερώσεις", η κατάσταση αυτή δεν θα αλλάξει. ΘΕΜΑ 5 ο 2.5 µονάδες Περιγράψτε τον τρόπο λειτουργίας ενός ακτινικού δικτύου. Ποια τα πλεονεκτήµατα/µειονεκτήµατα των ακτινικών δικτύων σε σχέση µε τα feed-forward νευρωνικά δίκτυα;

5 Ένα ακτινικό δίκτυο radial basis network µοιάζει στη λειτουργία του µε ένα ανταγωνιστικό δίκτυο. Ο βαθµός ενεργοποίησης ενός ακτινικού νευρώνα εξαρτάται από την απόσταση του σήµατος εισόδου από τα βάρη εισόδου του νευρώνα, i w-x, όπου w τα βάρη στην είσοδο του νευρώνα και x η τρέχουσα είσοδος. Ενεργοποιούνται όλοι οι νευρώνες, όµως ο βαθµός της ενεργοποίησης είναι µεγαλύτερος για τους νευρώνες εκείνους, τα βάρη εισόδου των οποίων βρίσκονται πιο κοντά στην τρέχουσα είσοδο. Η ακτινική συνάρτηση ενεργοποίησης είναι η εξής: i σ i e Στη γενική του µορφή ένα ακτινικό δίκτυο έχει την παρακάτω δοµή: Ακτινικοί νευρώνες Γραµµικοί νευρώνες Οι νευρώνες του ακτινικού επιπέδου είναι τόσοι όσα και τα παραδείγµατα εκπαίδευσης. Κάθε ακτινικός νευρώνας λοιπόν αντιστοιχεί σε ένα παράδειγµα εκπαίδευσης. Τα βάρη στις εισόδους κάθε νευρώνα του ακτινικού επιπέδου είναι ίδια µε τις τιµές του αντίστοιχου παραδείγµατος εκπαίδευσης. Οι έξοδοι των νευρώνων του ακτινικού επιπέδου πολλαπλασιάζονται µε τα βάρη στις εισόδους των νευρώνων του γραµµικού επιπέδου και τελικά δίνουν τις εξόδους του δικτύου. Το ακτινικό δίκτυο δεν χρειάζεται εκπαίδευση. Τα βάρη µπορούν να υπολογιστούν αυτόµατα από τα παραδείγµατα εκπαίδευσης. Ειδικότερα, τα βάρη στις εισόδους των ακτινικών νευρώνων αντιστοιχούν στις εισόδους των παραδειγµάτων εκπαίδευσης ένα παράδειγµα για κάθε νευρώνα. Στη συνέχεια τα βάρη στις εξόδους των ακτινικών νευρώνων υπολογίζονται έτσι ώστε το ακτινικό δίκτυο να απαντά απολύτως σωστά σε όλα τα παραδείγµατα εκπαίδευσης. Ο υπολογισµός των βαρών αυτών βασίζεται στην επίλυση συστηµάτων Ν γραµµικών εξισώσεων µε Ν αγνώστους, όπου Ν το πλήθος των παραδειγµάτων και άρα και των ακτινικών νευρώνων αλλά και το πλήθος των βαρών στις εισόδους κάθε γραµµικού νευρώνα. Σε σχέση µε ένα απλό νευρωνικό δίκτυο feed-forward, ένα ακτινικό δίκτυο πλεονεκτεί γιατί: εν χρειάζεται εκπαίδευση Παρουσιάζει καλύτερη συµπεριφορά σε προβλήµατα µε πάρα πολλά παραδείγµατα Και µειονεκτεί γιατί: Έχει περισσότερους νευρώνες Έχει µεγαλύτερο χρόνο υπολογισµού κατά τη λειτουργία του λόγω ακριβώς των περισσότερων νευρώνων. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ