ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 2 Σεπτεµβρίου :00-8:00 Σχεδιάστε έναν αισθητήρα ercetro δύο εισόδων βηµατική συνάρτηση ενεργοποίησης ο οποίος υλοποιεί τη λογική συνάρτηση A w Β. Υπόδειξη: Μην εκτελέσετε εκπαίδευση µε τον κανόνα δέλτα αλλά βρείτε µια ευθεία η οποία διαχωρίζει τα παραδείγµατα εκπαίδευσης υπολογείστε τις παραµέτρους της και από αυτές υπολογείστε τα βάρη του αισθητήρα. Απάντηση: Έστω ότι έχουµε τέσσερα παραδείγµατα για όλους τους συνδυασµούς δυαδικών τιµών για τις µεταβλητές εισόδου Α και Β: # Α Β Έξοδος A w Β Σε διδιάστατο διάγραµµα σχεδιάζουµε µια ευθεία η οποία διαχωρίζει τα τέσσερα παραδείγµατα: Β Στο παραπάνω διάγραµµα µε λευκούς κύκλους φαίνονται τα παραδείγµατα που αντιστοιχούν στην έξοδο 0 και µε µαύρο κύκλο το παράδειγµα που αντιστοιχεί στην έξοδο. Τα παραδείγµατα είναι φανερά γραµµικώς διαχωρίσιµα. Η διακεκοµµένη ευθεία κλίσης 45 ο διαχωρίζει σωστά τα παραδείγµατα και µάλιστα το κάνει µε τον καλύτερο δυνατό τρόπο. Α

2 Θα προσπαθήσουµε να βρούµε την εξίσωση αυτής της ευθείας. Αυτή θα είναι της µορφής α*αβ*βγ0 όπου αναζητάµε τους συντελεστές α β και γ. Η ευθεία αυτή διέρχεται από δύο γνωστά σηµεία τα και 0.5. Άρα η εξίσωσή της ικανοποιεί τις σχέσεις: α*0.5γ0 α*β*0.5γ0. Θέτοντας αυθαίρετα την τιµή γ παίρνουµε α-2 και β2. Άρα η εξίσωση της ευθείας γίνεται: -2*Α2*Β0 Παρακάτω φαίνεται το µοντέλο του αισθητήρα. Θεωρούµε τάση πόλωσης ίση µε -. b- w b A w A Γ Av Β w B B Ο αισθητήρας παράγει έξοδο όταν ισχύει: w A *Aw B *B-w Γ 0 2 Συγκρίνοντας την εξίσωση 2 µε την προκύπτει ότι αυτές ταυτίζονται όταν w A -2 w B 2 και w Γ. Στο σηµείο αυτό χρειάζεται προσοχή γιατί η εξίσωση θα µπορούσε να γραφεί και ως: 2*Α-2*Β-0 3 όπου η 3 προέκυψε από την µε πολλαπλασιασµό των δύο µερών της µε -. Οι εξισώσεις και 3 διαφέρουν κατά το ποιο ηµιεπίπεδο από τα δύο στα οποία χωρίζουν το επίπεδο αντιστοιχεί σε θετικές τιµές της παράστασης στο αριστερό σκέλος τους. Αντικαθιστώντας στο αριστερό σκέλος της τις συντεταγµένες Α Β0 παίρνουµε: -2*2*>0 ενώ για τις συγκεκριµένες εισόδους το παραπάνω άθροισµα έπρεπε να είναι αρνητικό µιας και αναµένεται µηδενική έξοδος. Άρα η σωστή εξίσωση είναι η 3 από την οποία και θα προκύψουν τα βάρη του αισθητήρα. ΘΕΜΑ 2 ο 2.5 µονάδες α Περιγράψτε τη µέθοδο εκπαίδευσης νευρωνικών δικτύων πολλών επιπέδων µε χρήση µεταβλητού ρυθµού µάθησης..5 β Έστω το παρακάτω διάγραµµα που παρουσιάζει την εξάρτηση του σφάλµατος ενός νευρωνικού δικτύου από έναν συντελεστή βαρύτητας για απλοποίηση θεωρούµε ότι δεν υπάρχουν άλλοι συντελεστές βαρύτητας. Η αρχική τιµή του βάρους είναι η τιµή w 0. Περιγράψτε τα πλεονεκτήµατα από τη χρήση µεταβλητού ρυθµού µάθησης χρησιµοποιώντας το παρακάτω διάγραµµα. E w w 0 w

3 Απάντηση: α Ένας µικρός ρυθµός µάθησης καθυστερεί την σύγκλιση. Ένας µεγάλος ρυθµός µάθησης µπορεί να προκαλέσει 'ταλαντώσεις' στην αναζήτηση και αδυναµία σταθεροποίησης στη λύση. Μεταβλητός ρυθµός µάθησης µε βάση κάποιο κριτήριο µπορεί να αποφύγει τα παραπάνω δύο προβλήµατα. Εάν µετά από µια εποχή εκπαίδευσης το συνολικό σφάλµα ξεπερνά το σφάλµα της προηγούµενης εποχής κατά κάποιο ποσοστό π.χ. επί.04 ο ρυθµός µάθησης µειώνεται π.χ. επί 0.7. Εάν µετά από µια εποχή εκπαίδευσης το συνολικό σφάλµα είναι µικρότερο από το σφάλµα της προηγούµενης εποχής ο ρυθµός µάθησης αυξάνεται π.χ. επί.05. Η τεχνική του µεταβλητού ρυθµού µάθησης και της ορµής µπορούν να συνδυαστούν για ακόµη καλύτερα αποτελέσµατα πάντα σε οµαδική µάθηση - batch trag. β Ξεκινώντας µε αρχική τιµή βάρους w 0 η εκπαίδευση του νευρώνα θα αυξάνει σε κάθε εποχή το βάρος µέχρι να φθάσει στην τιµή w που αντιστοιχεί στο ελάχιστο σφάλµα. Χωρίς µεταβλητό ρυθµό µάθησης το βάρος σε κάθε εποχή θα αυξάνει µε σταθερό πάντα βήµα και ενδεχοµένως θα χρειαστούν αρκετές εποχές εκπαίδευσης µέχρι το βάρος να φθάσει στην τιµή w. Με µεταβλητό ρυθµό µάθησης επειδή όλες οι αλλαγές του βάρους είναι προς την ίδια κατεύθυνση αύξηση τα βήµατα αύξησης του βάρους θα είναι ολοένα και µεγαλύτερα µέχρι το βάρος να φθάσει ή να περάσει την τιµή w. Το αποτέλεσµα θα είναι ότι το βάρος θα φθάσει στην τιµή w σε λιγότερες εποχές εκπαίδευσης. E w w 0 w w ΘΕΜΑ 3 ο 2.5 µονάδες Έστω ένα δίκτυο αυτοοργάνωσης self-orgazg feature ma µε 2 εισόδους και 4 ανταγωνιστικούς νευρώνες διατεταγµένους σε ορθογώνιο πλέγµα 22. Η τρέχουσα ακτίνα της γειτονιάς είναι. Στον παρακάτω πίνακα φαίνονται οι τρέχουσες τιµές των βαρών των νευρώνων. Συντεταγµένες νευρώνα ιάνυσµα βαρών [ ] 2 [ ] 2 [0.8 0.] 22 [ ] ίνεται το παράδειγµα εκπαίδευσης [0.0.]. είξτε πώς αλλάζουν τα βάρη των νευρώνων του δικτύου µετά την εµφάνιση του παραδείγµατος. Θεωρείστε απόσταση Mahatta και ρυθµό µάθησης a0.5. ίνεται ο κανόνας µάθησης Kohoe: W'WaX-W.

4 Απάντηση: Για το συγκεκριµένο παράδειγµα εκπαίδευσης θα βρούµε ποιος νευρώνας είναι ο νικητής και θα χρησιµοποιούµε τον κανόνα Kohoe για να αλλάξουµε τα βάρη του. Στη συνέχεια θα βρούµε τους νευρώνες που βρίσκονται σε απόσταση έως από τον νικητή και θα αλλάξουµε και αυτών τα βάρη χρησιµοποιώντας όµως ως ρυθµό µάθησης την τιµή a/ Με δεδοµένο ότι η ακτίνα της γειτονιάς είναι και η απόσταση µετριέται σύµφωνα µε τη µέθοδο Mahatta για οποιονδήποτε πιθανό νευρώνα-νικητή η γειτονιά του θα ορίζεται από τους δύο άµεσα γειτονικούς του νευρώνες σε οριζόντια και κατακόρυφη κατεύθυνση. Οι αποστάσεις των νευρώνων από το παράδειγµα είναι οι εξής: Νευρώνας : Νευρώνας 2: Νευρώνας 2: Νευρώνας 22: Από τα παραπάνω φαίνεται ότι νικητής είναι ο νευρώνας οπότε η γειτονιά του αποτελείται από τους νευρώνες 2 και 2. Τα βάρη λοιπόν του νευρώνα αλλάζουν σε: W '[0.20.3]0.5[0.0.]-[0.20.3][0.20.3]0.5[ ] [0.20.3][ ][0.50.2] Θα αλλάξουν όµως και τα βάρη των νευρώνων 2 και 2 ως εξής: W 2 '[0.40.7]0.25[0.0.]-[0.40.7][0.40.7]0.25[ ] [0.40.7][ ][ ] W 2 '[0.80.]0.25[0.0.]-[0.80.][0.80.]0.25[-0.70] [0.80.][-0.750][ ] Τέλος τα βάρη του νευρώνα 22 δεν αλλάζουν. ΘΕΜΑ 4 ο 2.5 µονάδες Περιγράψτε δύο εναλλακτικές αναπαραστάσεις για την επίλυση του προβλήµατος του σάκου µε γενετικούς αλγορίθµους. ΑΠΑΝΤΗΣΗ: Η πιο απλή αναπαράσταση για το πρόβληµα είναι η χρήση ενός διανύσµατος µήκους Ν όσα δηλαδή και τα αντικείµενα µε στοιχεία µηδενικά και άσσους: < 2... >. Οι άσσοι δηλώνουν τη συµπερίληψη των αντίστοιχων αντικειµένων στο σάκο ενώ τα µηδενικά τη µη-συµπερίληψη. Ένα χρωµόσωµα είναι έγκυρο εάν ισχύει: Η αξία ενός τέτοιου χρωµοσώµατος είναι: P V < C P όπου P η αξία του αντικειµένου. Η πρώτη προσέγγιση είναι η χρήση αρνητικής βαθµολόγησης ealtes για τα χρωµοσώµατα εκείνα των οποίων ο συνολικός όγκος υπερβαίνει τη χωρητικότητα του σάκου:

5 Pe P eval όπου η τιµή της συνάρτησης Pe εξαρτάται από το µέγεθος της παραβίασης: < C V Pe C V Pe αλλιώς αν 0 Η δεύτερη προσέγγιση είναι η διόρθωση των µη-έγκυρων χρωµοσωµάτων. Κάτι τέτοιο µπορεί να γίνει µε την τυχαία µετατροπή των άσσων σε µηδενικά µέχρι το χρωµόσωµα να µην παραβιάζει τον περιορισµό του όγκου του σάκου. ΘΕΜΑ 5 ο 2.5 µονάδες Περιγράψτε τη µέθοδο επιλογής χαρακτηριστικών στους κόµβους ενός δένδρου αποφάσεων µε θετικά και αρνητικά παραδείγµατα. Για έναν κόµβο µε θετικά και αρνητικά παραδείγµατα εκπαίδευσης συµβολείστε µε: την πληροφορία που χρειάζεται για να κατατάξουµε ένα νέο παράδειγµα σε µία από τις δύο κατηγορίες. ΑΠΑΝΤΗΣΗ: Το κριτήριο µε το οποίο επιλέγουµε το χαρακτηριστικό που θα ελέξουµε στον τρέχοντα κόµβο έχει να κάνει µε το πόση πληροφορία αποµένει να µαζέψουµε µετά από έναν έλεγχο. Έστω ότι ελέγχουµε ένα χαρακτηριστικό A το οποίο χωρίζει το σύνολο παραδειγµάτων του κόµβου Ε σε υποσύνολα E E 2... E m όπου m οι διαφορετικές τιµές του Α. Έστω τα θετικά και αρνητικά παραδείγµατα για κάθε µια από τις δυνατές απαντήσεις στο χαρακτηριστικό Α. Κάθε ένας από τους κόµβους παιδιά του τρέχοντος κόµβου θα χρειάζεται πληροφορία: Επιλέγοντας λοιπόν το χαρακτηριστικό Α για έλεγχο γνωρίζουµε ότι uα καταλήξουµε σε έναν από τους κόµβους-παιδιά του τρέχοντος κόµβου. Η πιθανότητα να πάµε σε κάθε έναν από τους κόµβους παιδιά για τις διάφορες τιµές του Α είναι: Άρα η αναµενόµενη πληροφορία που θα µας λείπει µετά τον έλεγχο στο Α είναι: m A Remader Το αναµενόµενο κέρδος σε πληροφορία µετά τον έλεγχο στο χαρακτηριστικό Α ισούται µε την πληροφορία που µας έλειπε πριν τον έλεγχο µείον την αναµενόµενη πληροφορία που θα µας λείπει µετά τον έλεγχο: A Remader A Ga

6 Τελικά επιλέγουµε για έλεγχο το χαρακτηριστικό εκείνο που έχει τη µικρότερη αναµενόµενη τιµή στην υπολειπόµενη πληροφορία ή ισοδύναµα το µεγαλύτερο αναµενόµενο κέρδος. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ