ΘΕΜΑ ο 2.5 µονάδες ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις 7 Ιανουαρίου 2005 ιάρκεια εξέτασης: 5:00-8:00 Έστω ότι τα σηµεία {-,, -,-,,-} ανήκουν στην κατηγορία Α και τα σηµεία {-2,-2,,, 2,2, 4,} ανήκουν στην κατηγορία Β. α είξτε διαγραµµατικά ότι οι δύο οµάδες σηµείων δεν είναι γραµµικώς διαχωρίσιµες. β Έστω το παρακάτω δίκτυο δύο επιπέδων, µε δύο κρυφούς νευρώνες µε αριθµούς 3 και 4 και έναν νευρώνα εξόδου µε αριθµό 5. Όλοι οι νευρώνες λειτουργούν µε τη βηµατική συνάρτηση θεωρείστε ότι για είσοδο 0 η έξοδος των βηµατικών νευρώνων είναι. Η είσοδος 0 του δικτύου αφορά την τάση πόλωσης έστω η σταθερή τιµή της, ενώ οι είσοδοι και 2 είναι οι κύριες είσοδοι του δικτύου. 0-6 -2-2 3 w 35 w 05 5 2 - -3 4 β είξτε διαγραµµατικά ότι το κρυφό επίπεδο µετασχηµατίζει τα παραδείγµατα των κατηγοριών Α και Β σε γραµµικώς διαχωρίσιµα. β2 Υπολογίστε χωρίς εκπαίδευση τα βάρη στις εισόδους του νευρώνα 5, ώστε το δίκτυο να βγάζει έξοδο για τα παραδείγµατα της κατηγορίας Α και 0 για τα παραδείγµατα της κατηγορίας Β. w 45 Τοποθετούµε όλα τα σηµεία σε ένα διάγραµµα Χ-Υ:
Στο παραπάνω διάγραµµα µε o συµβολίζονται τα παραδείγµατα της κατηγορίας Α και µε + τα παραδείγµατα της κατηγορίας Β. Είναι φανερό από το διάγραµµα ότι οι δύο οµάδες παραδειγµάτων δεν είναι γραµµικώς διαχωρίσιµες. Σηµείωση: Για µια πιο αυστηρή απόδειξη θα έπρεπε να υποθέσουµε µια ευθεία a+by+c0, τέτοια ώστε εάν όπου,y θέσουµε τις συντεταγµένες των παραδειγµάτων της κατηγορίας Α να παίρναµε a A +by A +c>0, ενώ αν όπου,y θέσουµε τις συντεταγµένες των παραδειγµάτων της κατηγορίας Β να παίρναµε a B +by B +c<0. Με δεδοµένο ότι έχουµε 7 παραδείγµατα θα παίρναµε 7 ανισότητες, από τις οποίες θα έπρεπε να υπολογίσουµε τις παραµέτρους a, b και c. Θα βλέπαµε τότε ότι το σύστηµα ανισώσεων είναι αδύνατο. β Θα δούµε τις εξόδους των νευρώνων 3 και 4, µε δεδοµένα τα παραδείγµατα και τα βάρη στις εισόδους τους. Οι τιµές φαίνονται στον παρακάτω πίνακα όπου τα τρία πρώτα παραδείγµατα αντιστοιχούν στην κατηγορία Α και τα επόµενα 4 στην κατηγορία Β: Κατηγορία 0 2 3 4 Α - Φ-2--Φ2 Φ-6-2--3Φ-70 Α - - Φ-2---Φ3 Φ-6-2--3-Φ-0 Α - Φ-2--Φ0 Φ-6-2-3-Φ-50 Β -2-2 Φ-2-2--2Φ7 Φ-6-2-2-3-2Φ4 Β Φ-2-Φ-20 Φ-6-2-3Φ-0 Β 2 2 Φ-22-2Φ-50 Φ-6-22-32Φ-60 Β 4 Φ-24-Φ-80 Φ-6-24-3Φ-70 Άρα τα νέα σηµεία είναι τα {,0,,0,,0} για την κατηγορία Α και {,, 0,0, 0,0 0,0 } για την κατηγορία Β. Στο παρακάτω διάγραµµα φαίνεται καθαρά ότι τα σηµεία είναι γραµµικώς διαχωρίσιµα σηµείωση: πολλά σηµεία ταυτίζονται, µε αποτέλεσµα να φαίνονται µόνο τρία διακριτά σηµεία στο διάγραµµα.
β2 Έστω w 05, w 35 και w 45 τα βάρη στις εισόδους του νευρώνα 5. Έστω επίσης η έξοδος του νευρώνα 3 και y η έξοδος του νευρώνα 4. Ο νευρώνας 5 θα δίνει έξοδο εφόσον ισχύει η σχέση: w 35 +w 45 y+w 05 0, ενώ θα δίνει έξοδο 0 εφόσον ισχύει w 35 +w 45 y+w 05 <0. Η εξίσωση w 35 +w 45 y+w 05 0 ορίζει µια ευθεία που χωρίζει το επίπεδο -y σε δύο ηµιεπίπεδα, έτσι ώστε τα παραδείγµατα της κατηγορίας Α να είναι στο ένα ηµιεπίπεδο και της κατηγορίας Β στο άλλο. Θα υπολογίσουµε την ευθεία αυτή µε τέτοιο τρόπο, ώστε να διέρχεται από τη µέση των δύο παραδειγµάτων. Από το παραπάνω διάγραµµα µπορούµε να δούµε ότι δύο σηµεία από τα οποία διέρχεται η ευθεία είναι τα 0,-0.5 και 0.5,0. Έχουµε λοιπόν τις εξισώσεις: -0.5w 45 +w 05 0 0.5w 35 +w 05 0 Επιλέγοντας αυθαίρετα την τιµή για το βάρος w 05, βρίσκουµε ότι w 45 2 και w 35-2. Θα ελέγξουµε εάν µε αυτά τα βάρη, τα παραδείγµατα της κατηγορίας Α δίνουν έξοδο. Βλέπουµε ότι για και y0 έχουµε w 35 +w 45 y+w 05-2+<0, που δίνει έξοδο 0. Για το λόγο αυτό πολλαπλασιάζουµε όλα τα βάρη µε -, οπότε αυτά γίνονται: w 35 2, w 45-2, w 05 -. Για αυτά τα βάρη µπορούµε εύκολα να διαπιστώσουµε ότι για τα τρία παραδείγµατα της κατηγορίας Α η έξοδος του νευρώνα 5 γίνεται, ενώ για τα 4 παραδείγµατα της κατηγορίας Β η έξοδος του νευρώνα 5 γίνεται 0. ΘΕΜΑ 2 ο 2.5 µονάδες Έστω ένα δίκτυο αυτοοργάνωσης self-organzng feature map µε 2 εισόδους και 4 ανταγωνιστικούς νευρώνες διατεταγµένους σε ορθογώνιο πλέγµα 22. Η τρέχουσα ακτίνα της γειτονιάς είναι. Στον παρακάτω πίνακα φαίνονται οι τρέχουσες τιµές των βαρών των νευρώνων. Συντεταγµένες νευρώνα ιάνυσµα βαρών, [0.2, 0.3],2 [0.4, 0.7] 2, [0.8, 0.] 2,2 [0.9, 0.8] ίνεται το παράδειγµα εκπαίδευσης [0.,0.]. είξτε πώς αλλάζουν τα βάρη των νευρώνων του δικτύου µετά την εµφάνιση του παραδείγµατος. Θεωρείστε απόσταση Manhattan και ρυθµό µάθησης a0.5. ίνεται ο κανόνας µάθησης Kohonen: W'W+aX-W.
Για το συγκεκριµένο παράδειγµα εκπαίδευσης θα βρούµε ποιος νευρώνας είναι ο νικητής, και θα χρησιµοποιούµε τον κανόνα Kohonen για να αλλάξουµε τα βάρη του. Στη συνέχεια θα βρούµε τους νευρώνες που βρίσκονται σε απόσταση έως από τον νικητή και θα αλλάξουµε και αυτών τα βάρη, χρησιµοποιώντας όµως ως ρυθµό µάθησης την τιµή a/20.25. Με δεδοµένο ότι η ακτίνα της γειτονιάς είναι και η απόσταση µετριέται σύµφωνα µε τη µέθοδο Manhattan, για οποιονδήποτε πιθανό νευρώνα-νικητή η γειτονιά του θα ορίζεται από τους δύο άµεσα γειτονικούς του νευρώνες σε οριζόντια και κατακόρυφη κατεύθυνση. Οι αποστάσεις των νευρώνων από το παράδειγµα είναι οι εξής: Νευρώνας,: 0.-0.2 2 + 0.-0.3 2-0. 2 +-0.2 2 0.0+0.040.05 Νευρώνας,2: 0.-0.4 2 + 0.-0.7 2-0.3 2 +-0.6 2 0.09+0.360.45 Νευρώνας 2,: 0.-0.8 2 + 0.-0. 2-0.7 2 +0 2 0.49 Νευρώνας 2,2: 0.-0.9 2 + 0.-0.8 2-0.8 2 +-0.7 2 0.64+0.49.3 Από τα παραπάνω φαίνεται ότι νικητής είναι ο νευρώνας,, οπότε η γειτονιά του αποτελείται από τους νευρώνες,2 και 2,. Τα βάρη λοιπόν του νευρώνα, αλλάζουν σε: W, '[0.2,0.3]+0.5[0.,0.]-[0.2,0.3][0.2,0.3]+0.5[-0.,-0.2] [0.2,0.3]+[-0.05,-0.][0.5,0.2] Θα αλλάξουν όµως και τα βάρη των νευρώνων,2 και 2, ως εξής: W,2 '[0.4,0.7]+0.25[0.,0.]-[0.4,0.7][0.4,0.7]+0.25[-0.3,-0.6] [0.4,0.7]+[-0.075,-0.5][0.325,0.55] W 2, '[0.8,0.]+0.25[0.,0.]-[0.8,0.][0.8,0.]+0.25[-0.7,0] [0.8,0.]+[-0.75,0][0.625,0.] Τέλος τα βάρη του νευρώνα 2,2 δεν αλλάζουν. ΘΕΜΑ 3 ο 2.5 µονάδες Κατασκευάστε ένα δίκτυο Hopfeld για την αποθήκευση του διανύσµατος X [ -]. Πώς συµπεριφέρεται το δίκτυο εάν εµφανιστεί στην είσοδό του το διάνυσµα Χ 2 [ - ]; Προφανώς το δίκτυο Hopfeld θα αποτελείται από τέσσερις νευρώνες, κάθε ένας από τους οποίους συνδέεται µε όλους τους άλλους, εκτός από τον εαυτό του. Πρώτα υπολογίζουµε τα βάρη των συνδέσεων: [ ] W Επειδή όµως δεν υπάρχουν συνδέσεις από κάθε νευρώνα στον εαυτό του, τα διαγώνια στοιχεία του παραπάνω πίνακα µηδενίζονται:
0 0 W 0 0 Βρήκαµε λοιπόν τα βάρη των συνδέσεων του δικτύου Hopfeld. Έστω τώρα ότι στο δίκτυο παρουσιάζεται η είσοδος X 2 [ - ], η οποία διαφέρει από το αρχικό διάνυσµα σε δύο στοιχεία. Θα υπολογίσουµε τις νέες εξόδους των νευρώνων µε τυχαία σειρά, έστω µε τη σειρά 3, 4,, 2. Νέα έξοδος 3ου νευρώνα: S 3 [ ], Φ S3 0 Το διάνυσµα εισόδου λοιπόν αλλάζει σε [ ]. Νέα έξοδος 4ου νευρώνα: [ ] S 4 3, Φ S4 0 Το διάνυσµα γίνεται [ -]. Στο σηµείο αυτό η είσοδος του δικτύου Hopfeld έχει ταυτιστεί µε το διάνυσµα εκπαίδευσης X. Άρα αναµένουµε ότι στο εξής το διάνυσµα εισόδου δεν πρόκειται να µεταβληθεί παραπέρα, και άρα αυτή είναι η έξοδος του δικτύου Hopfeld για αρχική είσοδο το διάνυσµα X 2. Σηµείωση: Κανονικά βέβαια θα πρέπει στο σηµείο αυτό να επαναλάβουµε τέσσερις ακόµη υπολογισµούς εξόδου του δικτύου Hopfeld, και εάν σε αυτούς δεν παρατηρηθεί καµία αλλαγή, τότε να ισχυριστούµε ότι το δίκτυο ισορρόπησε. ΘΕΜΑ 4 ο 2.5 µονάδες Περιγράψτε τον τρόπο λειτουργίας ενός ακτινικού δικτύου. Ποια τα πλεονεκτήµατα/µειονεκτήµατα των ακτινικών δικτύων σε σχέση µε τα feed-forward νευρωνικά δίκτυα; Ένα ακτινικό δίκτυο radal bass network µοιάζει στη λειτουργία του µε ένα ανταγωνιστικό δίκτυο. Ο βαθµός ενεργοποίησης ενός ακτινικού νευρώνα εξαρτάται από την απόσταση του σήµατος εισόδου από τα βάρη εισόδου του νευρώνα, S w-, όπου w τα βάρη στην είσοδο του νευρώνα και η τρέχουσα είσοδος. Ενεργοποιούνται όλοι οι νευρώνες, όµως ο βαθµός της ενεργοποίησης είναι µεγαλύτερος για τους νευρώνες εκείνους, τα βάρη εισόδου των οποίων βρίσκονται πιο κοντά στην τρέχουσα είσοδο. Η ακτινική συνάρτηση ενεργοποίησης είναι η εξής: 0.8326 2 S σ Φ S e Στη γενική του µορφή ένα ακτινικό δίκτυο έχει την παρακάτω δοµή:
Ακτινικοί νευρώνες Γραµµικοί νευρώνες Οι νευρώνες του ακτινικού επιπέδου είναι τόσοι όσα και τα παραδείγµατα εκπαίδευσης. Κάθε ακτινικός νευρώνας λοιπόν αντιστοιχεί σε ένα παράδειγµα εκπαίδευσης. Τα βάρη στις εισόδους κάθε νευρώνα του ακτινικού επιπέδου είναι ίδια µε τις τιµές του αντίστοιχου παραδείγµατος εκπαίδευσης. Οι έξοδοι των νευρώνων του ακτινικού επιπέδου πολλαπλασιάζονται µε τα βάρη στις εισόδους των νευρώνων του γραµµικού επιπέδου και τελικά δίνουν τις εξόδους του δικτύου. Το ακτινικό δίκτυο δεν χρειάζεται εκπαίδευση. Τα βάρη µπορούν να υπολογιστούν αυτόµατα από τα παραδείγµατα εκπαίδευσης. Ειδικότερα, τα βάρη στις εισόδους των ακτινικών νευρώνων αντιστοιχούν στις εισόδους των παραδειγµάτων εκπαίδευσης ένα παράδειγµα για κάθε νευρώνα. Στη συνέχεια τα βάρη στις εξόδους των ακτινικών νευρώνων υπολογίζονται έτσι ώστε το ακτινικό δίκτυο να απαντά απολύτως σωστά σε όλα τα παραδείγµατα εκπαίδευσης. Ο υπολογισµός των βαρών αυτών βασίζεται στην επίλυση συστηµάτων Ν γραµµικών εξισώσεων µε Ν αγνώστους, όπου Ν το πλήθος των παραδειγµάτων και άρα και των ακτινικών νευρώνων αλλά και το πλήθος των βαρών στις εισόδους κάθε γραµµικού νευρώνα. Σε σχέση µε ένα απλό νευρωνικό δίκτυο feed-forward, ένα ακτινικό δίκτυο πλεονεκτεί γιατί: εν χρειάζεται εκπαίδευση Παρουσιάζει καλύτερη συµπεριφορά σε προβλήµατα µε πάρα πολλά παραδείγµατα Και µειονεκτεί γιατί: Έχει περισσότερους νευρώνες Έχει µεγαλύτερο χρόνο υπολογισµού κατά τη λειτουργία του λόγω ακριβώς των περισσότερων νευρώνων. ΘΕΜΑ 5 ο 2.5 µονάδες Περιγράψτε δύο εναλλακτικές αναπαραστάσεις για την επίλυση του προβλήµατος του σάκου µε γενετικούς αλγορίθµους. Η πιο απλή αναπαράσταση για το πρόβληµα είναι η χρήση ενός διανύσµατος µήκους Ν όσα δηλαδή και τα αντικείµενα, µε στοιχεία µηδενικά και άσσους: <, 2,..., >. Οι άσσοι δηλώνουν τη συµπερίληψη των αντίστοιχων αντικειµένων στο σάκο, ενώ τα µηδενικά τη µη-συµπερίληψη. Ένα χρωµόσωµα είναι έγκυρο, εάν ισχύει: Η αξία ενός τέτοιου χρωµοσώµατος είναι: V < C
P P όπου P η αξία του αντικειµένου. Η πρώτη προσέγγιση είναι η χρήση αρνητικής βαθµολόγησης penaltes για τα χρωµοσώµατα εκείνα των οποίων ο συνολικός όγκος υπερβαίνει τη χωρητικότητα του σάκου: Pen P eval όπου η τιµή της συνάρτησης Pen εξαρτάται από το µέγεθος της παραβίασης: < C V Pen C V Pen αλλιώς αν 0, Η δεύτερη προσέγγιση είναι η διόρθωση των µη-έγκυρων χρωµοσωµάτων. Κάτι τέτοιο µπορεί να γίνει µε την τυχαία µετατροπή των άσσων σε µηδενικά, µέχρι το χρωµόσωµα να µην παραβιάζει τον περιορισµό του όγκου του σάκου. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ