ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ ο (.5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ίνεται το παρακάτω ύνολο εκπαίδευης: ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάεις 3 Ιουνίου 005 ιάρκεια: 3 ώρες # Είοδος Κατηγορία Α 0 0 Α 3 0 Β Α 5 0 Β Α 7 0 Β 8 Β α) Στον παρακάτω κύβο τοποθετείτε τα οκτώ παραδείγµατα, χρηιµοποιώντας διαφορετικά ύµβολα για να διαχωρίετε τα ηµεία της κατηγορίας Α από αυτά της κατηγορίας Β. Ορίτε το ύτηµα υντεταγµένων που χρηιµοποιείτε (αρχή, κατεύθυνη και µονάδες των αξόνων). Ελέγξτε εάν τα ηµεία των δύο κατηγοριών είναι γραµµικώς διαχωρίιµα. () β) Κατακευάτε ένα αιθητήρα (perceptron) ο οποίος διαχωρίζει τις δύο κατηγορίες παραδειγµάτων. (.5) Απάντηη: Ονοµάζοντας τις τρεις ειόδους ως x, y, z αντίτοιχα, ορίζουµε τρεις άξονες που ξεκινούν από την κάτω αριτερή γωνία του κύβου και µε θετικές κατευθύνεις δεξιά, µέα και επάνω αντίτοιχα. Θεωρούµε ότι η πλευρά του κύβου ιούται µε τη µονάδα. Χρηιµοποιούµε έναν κιαµένο κύκλο για να υµβολίουµε τα ηµεία της κατηγορίας Α και έναν µη-κιαµένο κύκλο για να υµβολίουµε τα ηµεία της κατηγορίας Β. Όλα τα παραπάνω φαίνονται το χήµα που ακολουθεί:

2 Ζ Υ Χ Από το παραπάνω χήµα φαίνεται ότι οι δύο κατηγορίες είναι γραµµικώς διαχωρίιµες. β) Ο αιθητήρας θα έχει τρεις ειόδους, υν την τάη πόλωης, άρα υνολικά χρειαζόµατε τέερα βάρη. εν θα πραγµατοποιήουµε εκπαίδευη, αλλά θα βρούµε τα βάρη απευθείας από τη γεωµετρία του προβλήµατος. Ειδικότερα, θα βρούµε ένα επίπεδο το οποίο να διαχωρίζει τα 8 ηµεία. Η εξίωη ενός επιπέδου το χώρο των τριών διατάεων είναι της µορφής ax+by+cz+d=0. Οι υντελετές a, b και c θα είναι τα βάρη των ειόδων x, y και z αντίτοιχα, ενώ, αν θεωρήουµε τάη πόλωης ίη µε, η ταθερά d θα είναι το βάρος της τάης πόλωης (ουιατικά η ταθερά d ιούται µε το γινόµενο της τάης πόλωης επί το βάρος της τάης πόλωης). Για να υπολογίουµε την εξίωη ενός επιπέδου χρειαζόµατε 3 ηµεία. Αυτά µπορούν να βρίκονται τα µέα των ακµών που υνδέουν ένα ηµείο της κατηγορίας Α µε ένα ηµείο της κατηγορίας Β. Τέτοια είναι τα: 0.5, 0, 0, 0.5,, 0.5, 0 Ζ Υ Έχουµε λοιπόν τις παρακάτω εξιώεις: Χ 0.5a+c+d=0 0.5b+c+d=0 a+0.5b+d=0 Αφαιρώντας τη δεύτερη από την τρίτη εξίωη παίρνουµε: a-c=0 a=c Οπότε από την πρώτη εξίωη έχουµε:.5a+d=0 ή a=-d/.5 Το ύτηµα έχει άπειρες λύεις (τέερις άγνωτοι για τρεις εξιώεις), οπότε µπορούµε να δώουµε αυθαίρετες µη-µηδενικές τιµές ε µία από τις παραµέτρους. Έτω d=-3, για να πάρουµε απλά νούµερα για τις παραµέτρους a και c. Έχουµε λοιπόν: a=c=, d=-3 και από τη δεύτερη εξίωη έχουµε b=.

3 Άρα η εξίωη του επιπέδου είναι η: x+y+z-3=0 Ο αιθητήρας λοιπόν είναι ο παρακάτω: b= w b =-3 x y z w y = w x = w z = Ένας τελευταίος έλεγχος που έχουµε να κάνουµε είναι να ελέγξουµε την έξοδο του αιθητήρα για τα διάφορα παραδείγµατα. Βλέπουµε λοιπόν ότι για όλα τα παραδείγµατα της κατηγορίας Α η έξοδος του αιθητήρα είναι 0 ενώ για όλα τα παραδείγµατα της κατηγορίας Β η έξοδος του αιθητήρα είναι. ΘΕΜΑ ο (.5 µονάδες) ίνεται ο τύπος µεταβολής των βαρών τη µέθοδο εκπαίδευης µε οπιθοδιάδοη φάλµατος µε χρήη ορµής (momentum): w ji (t+) = -(-mc) d δ i α j +mc w ji (t). α) Σχολιάτε τον παραπάνω τύπο (εξηγείτε τη λογική µε την οποία προκύπτει από τον απλό τύπο µεταβολής των βαρών). () β) Έτω το παρακάτω διάγραµµα που παρουιάζει την εξάρτηη του φάλµατος ενός νευρωνικού δικτύου από έναν υντελετή βαρύτητας (για απλοποίηη θεωρούµε ότι δεν υπάρχουν άλλοι υντελετές βαρύτητας). Η αρχική τιµή του βάρους είναι η τιµή w 0. Περιγράψτε τα πλεονεκτήµατα από τη χρήης ορµής την αλλαγή των βαρών, χρηιµοποιώντας το παρακάτω παράδειγµα. (.5) E w w 0 w Απάντηη: α) Η ειαγωγή της έννοιας της «ορµής» τον τύπο µεταβολής των βαρών κατά τη µάθηη µε οπιθοδιάδοη φάλµατος έχει ως τόχο να εξαρτά την µεταβολή ενός βάρους από την προηγούµενη µεταβολή του ίδιου βάρους. Με άλλα λόγια, να µην είναι εύκολο ένα βάρος του οποίου η τιµή αυξανόταν υνεχώς κατά τις προηγούµενες επαναλήψεις, να αρχίει απότοµα να µειώνεται και αντίτροφα. Ο τύπος που δόθηκε ορίζει ότι η µεταβολή του βάρους εξαρτάται κατά ποοτό (-mc) από τη µεταβολή που προκύπτει από τον απλό τύπο µεταβολής βαρών, w ji = -

4 d δ i α j και κατά ποοτό mc από την προηγούµενη µεταβολή του ίδιου βάρους, όπου 0<mc< ο υντελετής της ορµής. Σε περίπτωη λοιπόν που ο υντελετής της ορµής τείνει τη µονάδα, είναι πολύ ηµαντική η επίδραη της προηγούµενης µεταβολής τη νέα και κατά υνέπεια δεν είναι εύκολο για τη µεταβολή του βάρους να αλλάζει πρόηµο απότοµα. β) Στο διάγραµµα φαίνεται ότι το βάρος w θα πρέπει να αυξηθεί, προκειµένου να µειωθεί το φάλµα E w του νευρωνικού δικτύου. Ωτόο, καθώς αυξάνεται το βάρος, κινδυνεύει να «παγιδευθεί» το πρώτο ελάχιτο που θα υναντήει, το οποίο όµως είναι τοπικό, την τιµή w. Πράγµατι, µε τον απλό τύπο αλλαγής των βαρών, µόλις το βάρος περάει την τιµή w, η τιµή του θα πρέπει να µειωθεί, γιατί αλλιώς η τιµή του φάλµατος θα αρχίει να αυξάνει. E w w 0 w w w 3 w Εµείς θα θέλαµε το βάρος να υνεχίει να αυξάνει και να καταφέρει να προπεράει την τιµή w (βλέπε το παραπάνω χήµα). Εάν υµβεί αυτό, µετά η µεταβολή του φάλµατος ε χέη µε το βάρος είναι τέτοια ώτε το βάρος πλέον µπορεί να υνεχίει να αυξάνει µέχρι και την τιµή w 3, που αντιτοιχεί το ολικό ελάχιτο του φάλµατος. Η χρήη της ορµής την αλλαγή των βαρών είναι αυτή που µπορεί να επιτρέψει τη υνέχιη της αύξηης του βάρους το κρίιµο διάτηµα [w,w ]. Πράγµατι, µε δεδοµένο ότι το βάρος αύξανε υνεχώς από την τιµή w 0 µέχρι την w, η χρήη της ορµής εµποδίζει την απότοµη αλλαγή του προήµου της µεταβολής του βάρους. Έτι υπάρχει αρκετά καλή πιθανότητα το βάρος να υνεχίει να αυξάνει µέχρι και την τιµή w, ώτε να προπεράει το τοπικό µέγιτο της υνάρτηης του φάλµατος, και να υνεχίει µέχρι το ολικό ελάχιτο. Παρατήρηη: Θεωρούµε ότι µετά το w 3 το φάλµα αυξάνει υνεχώς οπότε, παρά την ορµή, το βάρος δεν µπορεί να αυξάνει υνεχώς παραπέρα. ΘΕΜΑ 3 ο (.5 µονάδες) α) Κατακευάτε ένα ακτινικό δίκτυο για κατηγοριοποίηη (πιθανοτικό δίκτυο) χρηιµοποιώντας τα παρακάτω 5 παραδείγµατα. () # Παράδειγµα Κατηγορία [0,] Α [,0] Α 3 [3,3] Β 4 [7,8] Β 5 [8,7] Β β) Ταξινοµείτε το νέο παράδειγµα [,] ε µια από τις δύο κατηγορίες, Α και Β, για διάφορες τιµές της ταθεράς, και ειδικότερα για τις τιµές =, =3 και =0. Σχολιάτε τα αποτελέµατα. (.5) ίνεται ο τύπος της ακτινικής υνάρτηης:

5 0.836 ( Φ( ) = e ) ίνονται οι παρακάτω τιµές της εκθετικής υνάρτηης: e =0.986, e =0.966, e =0.857, e =0.680, e =0.655, e =0.5, e =0.03, e =0.009, e =0. Απάντηη: α) Το δίκτυο θα έχει πέντε ακτινικούς νευρώνες και ανταγωνιτικούς, ως εξής: 0 0 Α Β Ανταγωνιτικοί νευρώνες Ακτινικοί νευρώνες Στο παραπάνω χήµα δεν χεδιάαµε τις υνδέεις µε µηδενικά βάρη από ακτινικούς ε ανταγωνιτικούς νευρώνες. β) Στον παρακάτω πίνακα φαίνονται οι υπολογιµοί των εξόδων των ακτινικών νευρώνων για την περίπτωη που = Παράδειγµα S i = w-x ( Si ) S i Φ( ) = e 0, , , , , ( Προθέτοντας τις εξόδους των δύο πρώτων ακτινικών νευρώνων έχουµε άθροιµα ίο µε Προθέτοντας τις εξόδους των τριών τελευταίων νευρώνων έχουµε άθροιµα ίο µε Άρα για = το νέο παράδειγµα ταξινοµείται την κατηγορία Β. Οµοίως για =3 έχουµε τα παρακάτω αποτελέµατα: Παράδειγµα S i = w-x ( Si ) S i Φ( ) = e 0, ) ( )

6 , , , , Προθέτοντας τις εξόδους των δύο πρώτων ακτινικών νευρώνων έχουµε άθροιµα ίο µε Προθέτοντας τις εξόδους των τριών τελευταίων νευρώνων έχουµε άθροιµα ίο µε Άρα για =3 το νέο παράδειγµα ταξινοµείται την κατηγορία Α. Τέλος για =0 έχουµε τα παρακάτω αποτελέµατα: Παράδειγµα S i = w-x ( Si ) Φ( ) = e 0, , , , , ( ) Προθέτοντας τις εξόδους των δύο πρώτων ακτινικών νευρώνων έχουµε άθροιµα ίο µε Προθέτοντας τις εξόδους των τριών τελευταίων νευρώνων έχουµε άθροιµα ίο µε Άρα για =0 το νέο παράδειγµα ταξινοµείται την κατηγορία Β. Παρατηρούµε ότι την περίπτωη = το νέο παράδειγµα ταξινοµήθηκε την κατηγορία Β. Αυτό υνέβη λόγω του παραδείγµατος #3, το οποίο βρικόταν πιο κοντά το νέο παράδειγµα, και του γεγονότος ότι για =, η ακτινική υνάρτηη είναι πολύ απότοµη, µε αποτέλεµα η υνειφορά από τα υπόλοιπα παραδείγµατα να είναι αµελητέα. Για =3 το νέο παράδειγµα ταξινοµήθηκε την κατηγορία Α. Αυτό υνέβη γιατί πλέον η ακτινική υνάρτηη έχει αρχίει να "απλώνει", µε αποτέλεµα η οµάδα των δύο παραδειγµάτων # και # να υπερτερεί του παραδείγµατος #3. Ωτόο η ακτινική υνάρτηη δεν έχει "απλώει" αρκετά ώτε να κατατήει ηµαντική και τη υνειφορά των παραδειγµάτων #4 και #5. Τέλος για =0 η ακτινική υνάρτηη έχει "απλώει" αρκετά, όλα τα παραδείγµατα υνειφέρουν το ίδιο, οπότε ε αυτή την περίπτωη το νέο παράδειγµα ταξινοµήθηκε την κατηγορία Β γιατί αυτή έχει τα περιότερα παραδείγµατα. ΘΕΜΑ 4 ο (.5 µονάδες) Έτω ότι θέλουµε να βρούµε µια ανάθεη τιµών τις δυαδικές µεταβλητές a, b, c, d, e και f, ώτε να ικανοποιείται η παρακάτω χέη: ( a c) ( a c e) ( b c d e) (a b c) ( e f) ηµιουργείτε έναν αρχικό πληθυµό τεάρων χρωµοωµάτων, ορίτε τη υνάρτηη καταλληλότητας και επιλύτε το πρόβληµα εφαρµόζοντας τις τεχνικές της διαταύρωης και της µετάλλαξης. Θεωρείτε πιθανότητα µετάλλαξης ίης µε Θεωρείτε ότι έχετε γεννήτρια τυχαίων αριθµών η οποία ας δίνει (µε τη ειρά) την παρακάτω ακολουθία τυχαίων αριθµών από το 0 ως το , , 0.335, , 0.99, , 0.466, , 0.485, , , , 0.46, , , 0.80, 0.730, 0.737, 0.309, , , 0.55, 0.573, 0.348, 0.88, , 0.836, 0.394, 0.768, , , , 0.634, 0.693, 0.97, 0.967, 0.448, , 0.06, , 0.75, , , 0.696, , , 0.569, ,

7 0.8477, 0.375, 0.99, , , 0.837, , 0.83, 0.56, 0.34, 0.555, , , , 0.667, 0.54, 0.384, 0.644, 0.346, 0.4, 0.390, 0.443, , Υπόδειξη : Χρηιµοποιείτε τους τυχαίους αριθµούς για να δηµιουργήετε τον αρχικό πληθυµό, για να επιλέξετε ζευγάρια χρωµοωµάτων, τα ηµεία διαταύρωης και τις ενδεχόµενες µεταλλάξεις. Σε περίπτωη που χρειατείτε επιπλέον τυχαίους αριθµούς, χρηιµοποιείτε τον πίνακα ξανά από την αρχή. Υπόδειξη : Σε περίπτωη που χρειάζετε τυχαίους αριθµούς ε άλλη κλίµακα, µπορείτε να πολλαπλαιάζετε τον επόµενο τυχαίο αριθµό επί το µέγιτο της κλίµακάς ας (θεωρώντας ότι όλες οι κλίµακες ξεκινούν από το µηδέν). Απάντηη: Κάθε χρωµόωµα θα έχει 6 ψηφία, µηδενικά ή άους, τα οποία αντιτοιχούν τις µεταβλητές a, b, c, d, e και f αντίτοιχα. Η τιµή 0 για ένα bit ιοδυναµεί µε το ψευδές ενώ η τιµή ιοδυναµεί µε το αληθές. ηµιουργούµε τον αρχικό πληθυµό των τεάρων χρωµοωµάτων χρηιµοποιώντας τους 4 πρώτους τυχαίους αριθµούς. Κάθε φορά που ο τυχαίος αριθµός είναι µικρότερος από 0.50, το αντίτοιχο bit είναι µηδέν, ενώ κάθε φορά που ο τυχαίος αριθµός είναι µεγαλύτερος του 0.5, το αντίτοιχο bit είναι µονάδα. 000, 000, 000, Χρηιµοποιούµε ως υνάρτηη αξιολόγηης το πλήθος των όρων της ύζευξης που ικανοποιεί κάθε υποψήφια λύη. Έτι ο µέγιτος βαθµός κάθε υποψήφιας λύης είναι το 5 (που αντιτοιχεί και τις πραγµατικές λύεις του προβλήµατος) και ο ελάχιτος το 0. Βαθµολογούµε λοιπόν τις τέερις λύεις ως εξής: Α = Β = Γ = = 0000 Υπολογίζουµε τις αθροιτικές καταλληλότητες των τεάρων χρωµοωµάτων: Α = Β = Γ = 000 = ηµιουργούµε τα ζευγάρια προς διαταύρωη, χρηιµοποιώντας τους επόµενους τέερις τυχαίους αριθµούς, πολλαπλαιαµένους επί 4. Οι αριθµοί αυτοί, µετά τον πολλαπλαιαµό, είναι οι: , ,.6564, δηµιουργώντας τα ζευγάρια B-Γ και Γ-Β. Όλα τα ζευγάρια αποτελούνται από διαφορετικά χρωµοώµατα, οπότε και γίνονται δεκτά. Σε περίπτωη που προέκυπτε ζευγάρι µε δύο φορές τον ίδιο γονέα, θα µπορούαµε να επιλέξουµε νέο δεύτερο γονέα, χρηιµοποιώντας τον επόµενο τυχαίο αριθµό. Για κάθε ένα ζευγάρι πρέπει τώρα να επιλέξουµε το ηµείο το οποίο θα γίνει η διαταύρωη. Υπάρχουν πέντε υποψήφιες θέεις, άρα χρειαζόµατε δύο τυχαίους αριθµούς από το 0 ως το 5. Αυτοί είναι οι εξής (µε πολλαπλαιαµό των επόµενων δύο τυχαίων αριθµών επί 5):

8 3.8405,.875 δίνοντας ως ηµεία διαταύρωης τα 4 και 3. Άρα, µετά τις διαταυρώεις παίρνουµε τα εξής νέα χρωµοώµατα: Γονείς Β = 00-0 Γ = 00-0 Γ = 0-00 Β = 00-0 Απόγονοι Α' = 000 Β' = 000 Γ' = 00 ' = 0000 Στη υνέχεια εξετάζουµε το ενδεχόµενο µετάλλαξης. Οι απόγονοι έχουν υνολικά 4 bits που µπορεί να υποτούν µετάλλαξη, το καθένα µε πιθανότητα µετάλλαξης Κοιτάζουµε τους επόµενους 4 τυχαίους αριθµούς εάν υπάρχει κάποιος που είναι µικρότερος από Κάτι τέτοιο δεν υµβαίνει, οπότε ο νέος πληθυµός είναι όπως περιγράφηκε τον παραπάνω πίνακα. Η βαθµολογία των τεάρων νέων χρωµοωµάτων είναι η εξής: Α' = Β' = Γ' = 00 5 ' = 0000 Βλέπουµε λοιπόν ότι δηµιουργήθηκαν δύο λύεις, οπότε ο αλγόριθµος τερµατίζει. ΘΕΜΑ 5 ο (.5 µονάδες) ίνεται το παρακάτω ύνολο παραδειγµάτων που αφορά την πιτοληπτική ικανότητα υποψήφιων δανειοληπτών µιας τράπεζας. # Ιτορικό Χρέη Υποθήκη Ειόδηµα Ρίκο κακό υψηλά όχι 0-5k υψηλό άγνωτο υψηλά όχι 5k- 35k υψηλό 3 άγνωτο χαµηλά όχι 5k- 35k µέτριο 4 άγνωτο χαµηλά όχι 0-5k υψηλό 5 άγνωτο χαµηλά όχι > 35k χαµηλό 6 άγνωτο χαµηλά επαρκής > 35k χαµηλό 7 κακό χαµηλά όχι 0-5k υψηλό 8 κακό χαµηλά επαρκής > 35k µέτριο 9 καλό χαµηλά όχι > 35k χαµηλό 0 καλό υψηλά επαρκής > 35k χαµηλό καλό υψηλά όχι 0-5k υψηλό καλό υψηλά όχι 5k- 35k µέτριο 3 καλό υψηλά όχι > 35k χαµηλό 4 κακό υψηλά όχι 5k- 35k υψηλό Βρείτε όλους τους κανόνες υχέτιης µε µία υπόθεη και ένα υµπέραµα, που έχουν ελάχιτη υποτήριξη 5 και ελάχιτη εµπιτούνη 80%. Απάντηη: Βρίκουµε καταρχήν όλα τα ύνολα ενός τοιχείου µε υποτήριξη τουλάχιτον 5:

9 {Ιτορικό=άγνωτο}=5, {Ιτορικό=καλό}=5 {Χρέη=υψηλά}=7, {Χρέη=χαµηλά}=7 {Υποθήκη=όχι}= {Ειόδηµα= > 35k}=6 {Ρίκο=υψηλό}=6, {Ρίκο=χαµηλό}=5. Στη υνέχεια βρίκουµε όλα τα ύνολα δύο τοιχείων, που έχουν υποτήριξη τουλάχιτον 5. Για το κοπό αυτό υνδυάζουµε ζεύγη από τα παραπάνω ύνολα ενός τοιχείου. {Χρέη=υψηλά, Υποθήκη=όχι}=6, {Χρέη=χαµηλά, Υποθήκη=όχι}=5 {Υποθήκη=όχι, Ρίκο=υψηλό}=6, {Ειόδηµα= > 35k, Ρίκο=χαµηλό}=5 Από κάθε ύνολο δύο τοιχείων {Α,Β} µπορούν να προκύψουν δύο κανόνες: if A then B και if B then A. Η εµπιτούνη κάθε τέτοιου κανόνα ιούται µε το λόγο της υποτήριξης των δύο τοιχείων προς την υποτήριξη της προϋπόθεης του κανόνα. Παρακάτω παραθέτουµε όλους τους κανόνες που προκύπτουν, µαζί µε την εµπιτούνη τους:. if Χρέη=υψηλά then Υποθήκη=όχι (6/7=0.86). ifυποθήκη=όχι then Χρέη=υψηλά (6/=0.55) 3. if Χρέη=χαµηλά then Υποθήκη=όχι (5/7=0.7) 4. ifυποθήκη=όχι then Χρέη=χαµηλά (5/=0.45) 5. if Υποθήκη=όχι then Ρίκο=υψηλό (6/=0.55) 6. if Ρίκο=υψηλό then Υποθήκη=όχι (6/6=) 7. if Ειόδηµα= > 35k then Ρίκο=χαµηλό (5/6=0.83) 8. if Ρίκο=χαµηλό then Ειόδηµα= > 35k (5/5=) Από τους παραπάνω κανόνες µόνο οι #, 6, 7, και 8 πληρούν το κριτήριο της εµπιτούνης και άρα αυτοί είναι οι κανόνες που επιτρέφει ο αλγόριθµος. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ