ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ

Transcript

1 ΘΕΜΑ 1 ο (2,5 µονάδες) ΠΑΝΕΠΙΣΤΗΜΙΟ ΜΑΚΕ ΟΝΙΑΣ ΟΙΚΟΝΟΜΙΚΩΝ ΚΑΙ ΚΟΙΝΩΝΙΚΩΝ ΕΠΙΣΤΗΜΩΝ ΤΜΗΜΑ ΕΦΑΡΜΟΣΜΕΝΗΣ ΠΛΗΡΟΦΟΡΙΚΗΣ ΝΕΥΡΩΝΙΚΑ ΙΚΤΥΑ Τελικές εξετάσεις Πέµπτη 19 Ιουνίου :00-14:00 Έστω το παρακάτω νευρωνικό δίκτυο δύο επιπέδων. Όλοι οι νευρώνες (Α έως Ε) είναι σιγµοειδείς. Οι µικροί κύκλοι δηλώνουν τις εισόδους του δικτύου (x, y και z), ενώ τα µικρά άσπρα τρίγωνα υποδηλώνουν την τάση πόλωσης που ισούται µε 1. x Α y Β Ε z Γ Έστω ότι τα διανύσµατα βαρών στις εισόδους των νευρώνων είναι ως εξής (οι είσοδοι κάθε νευρώνα θεωρούνται από πάνω προς τα κάτω όπως φαίνονται στο παραπάνω σχήµα, ενώ ο τελευταίος αριθµός αντιστοιχεί στο βάρος της τάσης πόλωσης): Νευρώνας ιάνυσµα βαρών Α [0.5, 0.7, -0.3, 0.2] Β [ , -0.7, 0.1] Γ [0.5, 0.3, 0, -0.9] [0.8, 0.6, -0.3, 0.9] Ε [-0.9, -0.4, 0.1, -0.7] Έστω ότι το τρέχον διάνυσµα εισόδου είναι το [1, 0, 1], για το οποίο η έξοδος του δικτύου θα έπρεπε να είναι [1,0]. Βρείτε πώς αλλάζει το βάρος που συνδέει την είσοδο z µε τον νευρώνα Γ για το τρέχον παράδειγµα. Θεωρείστε ρυθµό µάθησης d=1. ίνονται: 1 Σιγµοειδής συνάρτηση ενεργοποίησης: Φ( Si ) = S 1+ e i Μεταβολή βάρους (από τον νευρώνα στον νευρώνα i): w i =-d δ i α, όπου δ i =(α i -o i )Φ'(S i ) για τους νευρώνες εξόδου (α i η τρέχουσα έξοδος και o i η επιθυµητή έξοδος του νευρώνα εξόδου i). Επιµερισµός σφάλµατος στους κρυφούς νευρώνες: δ =Φ' ( S ) δ w Παράγωγος της σιγµοειδούς συνάρτησης ενεργοποίησης: Φ '( S ) =Φ( S )[1 Φ ( S )] ίνονται επίσης οι παρακάτω τιµές της συνάρτησης ενεργοποίησης: Φ(0,4)=0,5987, Φ(0)=0.5, Φ(-0.4)=0.4013, Φ(1,5585)=0.8261, Φ(-1,3986)=0,1980 k k k

2 Υπολογίζουµε καταρχήν τις συνολικές εισόδους και τις εξόδους των νευρώνων του κρυφού επιπέδου: S A =0,5 1+0,7 0-0,3 1+0,2 1=0,4 Φ(S A )=0,5987 S Β =0,6 1+0,2 0-0,7 1+0,1 1=0 Φ(S Β )=0,5 S Γ =0,5 1+0, ,9 1=-0,4 Φ(S Γ )=0,4013 Στη συνέχεια υπολογίζουµε τις εισόδους και τις εξόδους των κρυφών νευρώνων: S =0,8 0, ,6 0,5-0,3 0, ,9 1=1,5585 Φ(S )=0,8261 S Ε =-0,9 0, ,4 0,5+0,1 0, ,7 1=-1,39869 Φ(S Ε )= 0, Το (προσαρµοσµένο) σφάλµα των νευρώνων εξόδου είναι: δ =(0,8261-1) 0,8261 (1-0,8261) = -0,02497 δ Ε =(0,198-0) 0,198 (1-0,198) = 0,0314 Υπολογίζουµε το σφάλµα που αντιστοιχεί στον νευρώνα Γ: δ Γ = α Γ (1-α Γ )(w Γ δ +w ΓΕ δ Ε ) = 0,4013 (1-0,4013)(-0,3-0, ,1 0,0314)=0,00255 όπου α Γ =Φ(S Γ ). Η µεταβολή λοιπόν του βάρους που συνδέει την είσοδο z µε τον νευρώνα Γ θα είναι: w zγ =-1*0,00255*1=-0, Με δεδοµένο ότι η προηγούµενη τιµή του w zγ ήταν 0, η νέα του τιµή θα είναι -0, ΘΕΜΑ 2 ο (2,5 µονάδες) Έστω ότι σε ένα νευρωνικό δίκτυο η εκπαίδευση γίνεται οµαδικά (batch training), δηλαδή τα βάρη µεταβάλλονται µόνο στο τέλος κάθε εποχής εκπαίδευσης. Ως µέθοδος εκπαίδευσης χρησιµοποιείται ο απλός κανόνας δέλτα, στην εκδοχή του για δίκτυα πολλών επιπέδων. Έστω ότι κάποιο βάρος µεταβλήθηκε στην προηγούµενη εποχή κατά +0,4, ενώ στην τρέχουσα εποχή εκπαίδευσης το αλγεβρικό άθροισµα όλων των µεταβολών (για τα διάφορα παραδείγµατα εκπαίδευσης) όπως προκύπτουν από τον κανόνα δέλτα για το συγκεκριµένο βάρος είναι α) Πόσο θα µεταβαλλόταν (αντί για +0,8) το συγκεκριµένο βάρος εάν θεωρούσαµε συντελεστή ορµής 0.9 ; (1) β) Ας υποθέσουµε ότι στην προηγούµενη εποχή εκπαίδευσης ο ρυθµός µάθησης ήταν 1 και τώρα αυξήθηκε σε Ποια θα ήταν η µεταβολή του βάρους µε το νέο ρυθµό µάθησης, αν θεωρήσουµε ότι η µεταβολή +0.8 υπολογίστηκε µε ρυθµό µάθησης ίσο µε 1 ; (0.5) γ) Ποια θα ήταν τελικά η µεταβολή του βάρους αν λαµβάναµε υπόψη τόσο την ορµή όσο και το νέο ρυθµό µάθησης ; (1) α) Εάν θεωρήσουµε ορµή ίση µε 0.9, η µεταβολή θα είναι: w=0.9* *0.8=0,44. β) Η µεταβολή +0.8 προέκυψε µε ρυθµό µάθησης ίσο µε 1. Εάν ο ρυθµός µάθησης γίνει 1.1, τότε η ίδια µεταβολή θα γινόταν w=0.8*1.1=0.88.

3 γ) Συνδυάζοντας ορµή και µεταβλητό ρυθµό µάθησης έχουµε: w=0.9* *0.88=0,448. ΘΕΜΑ 3 ο (2,5 µονάδες) ίνεται το παρακάτω απλοϊκό δίκτυο Elman. x Α Β y Οι νευρώνες είναι σιγµοειδείς, η τάση πόλωσης ισούται µε 1 και ο ρυθµός µάθησης επίσης µε 1. Έστω ότι αρχικά όλα τα βάρη ισούνται µε µηδέν. ίνεται η παρακάτω ακολουθία εισόδου-εξόδου: Είσοδος x 'Εξοδος y Προσοµοιώστε την εκπαίδευση του παραπάνω νευρωνικού δικτύου για τα δύο πρώτα παραδείγµατα. ίνεται ότι Φ(-0,156)=0,461. Χρονική στιγµή 1: Στην πρώτη χρονική στιγµή θεωρούµε ότι η αναδροµική είσοδος έχει τιµή 0. Έχουµε λοιπόν: S A =0, Φ(S A )=0,5 S B =0, Φ(S B )=0,5 δ Β =0,5 0,5 (1-0,5)=0,125 w AB =-1 (0,125) 0,5=-0,0625 w AB =-0,0625 w 0B =-1 (0,125) 1=-0,125 w 0B =-0,125 δ Α =0,5 (1-0,5) 0 0,125=0 w xa =0 w AA =0 w 0A =0 Άρα, µετά το πρώτο παράδειγµα τα βάρη έχουν πάρει τις εξής τιµές: w xα = 0 w AΑ = 0 w 0Α = 0 w AB = -0,0625 w 0B = -0,125 Χρονική στιγµή 2: Στη χρονική στιγµή 2 η αναδροµική είσοδος έχει τιµή 0,5. Έχουµε λοιπόν: S A =0, Φ(S A )=0,5 S B =-0,15625, Φ(S B )=0,4610 δ Β =(0,4610-1) 0,4610 (1-0,4610)=-0,13393

4 w AB =-1 (-0,13393) 0,5 = 0,07 w AB = 0,00446 w 0B =-1 (-0,13393) 1 = 0,13393 w 0B = 0, δ Α =0,5 (1-0,5) (-0,0625) (-0,13393)=0,002 w xa = -1*0,002*1=-0,002 w xa = -0,002 w 0A = -1*0,002*1=-0,002 w 0A = -0,002 w AA = -1*0,002*0,5=-0,001 w 0A = -0,001 Άρα µετά και το δεύτερο παράδειγµα τα βάρη έχουν πάρει τις εξής τιµές: w xa = -0,002 w 0A = -0,002 w 0A = -0,001 w AB = 0,00446 w 0B = 0, ΘΕΜΑ 4 ο (2,5 µονάδες) Έστω το πρόβληµα τοποθέτησης 5 βασιλισσών σε µια σκακιέρα 5x5, έτσι ώστε να µην απειλούνται ανά δύο µεταξύ τους. Σχεδιάστε έναν γενετικό αλγόριθµο για να λύσετε το παραπάνω πρόβληµα. Χρησιµοποιείστε πληθυσµό 4 χρωµοσωµάτων που ανανεώνεται πλήρως από γενιά σε γενιά. Προσοµοιώστε την εκτέλεση του γενετικού αλγορίθµου για µία γενιά, χρησιµοποιώντας τους παρακάτω τυχαίους αριθµούς. 0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,53311 Θεωρώντας ότι κάθε µία από τις πέντε βασίλισσες βρίσκεται σε ξεχωριστή στήλη, το πρόβληµα ανάγεται στο να βρούµε τις γραµµές στις οποίες βρίσκονται οι βασίλισσες έτσι ώστε να µην απειλούνται µεταξύ τους. Κάθε χρωµόσωµα λοιπόν θα αποτελείται από 5 αριθµούς, έκαστος από το 1 έως το 5, δηλώνοντας έτσι τη γραµµή κάθε βασίλισσας. Για να σχηµατίσουµε λοιπόν τον αρχικό πληθυσµό των 4 χρωµοσωµάτων χρησιµοποιούµε τους 20 πρώτους τυχαίους αριθµούς του δοθέντος πίνακα. Κάθε αριθµό τον πολλαπλασιάζουµε επί 5 και τον στρογγυλοποιούµε στον αµέσως µεγαλύτερο ακέραιο αριθµό. Έχουµε λοιπόν για τον αρχικό πληθυσµό τα παρακάτω χρωµοσώµατα: Χ1: Χ2: Χ3: Χ4: Ως συνάρτηση αξιολόγησης θα ορίσουµε κάποια που να λαµβάνει το πλήθος των απειλών µεταξύ των βασιλισσών. Το µέγιστο πλήθος απειλών για 5 βασίλισσες είναι 10 (φανταστείτε και τις 5 βασίλισσες στην ίδια σειρά και µετρείστε τα ζευγάρια βασιλισσών που απειλούνται). Επειδή θέλουµε οι µεγαλύτερες τιµές της συνάρτησης καταλληλότητας να εκφράζουν καλύτερα χρωµοσώµατα, επιλέγουµε ως συνάρτηση

5 καταλληλότητας το f(x)=10-απειλές(χ), όπου απειλές(χ) το πλήθος των ζευγαριών βασιλισσών που βρίσκονται στην ίδια σειρά ή στην ίδια διαγώνιο. Με βάση το παραπάνω σκεπτικό οι βαθµοί των 4 χρωµοσωµάτων είναι οι εξής: f(x1)=7 f(x2)=6 f(x3)=8 f(x4)=5 Στη συνέχεια πρέπει να σχηµατίσουµε 2 ζευγάρια χρωµοσωµάτων. Το άθροισµα των αξιών είναι 26. Επιλέγουµε λοιπόν 4 τυχαίους αριθµούς από το 0 ως το 26 (πολλαπλασιάζοντας τους τέσσερις επόµενους αριθµούς του πίνακα µε το 26) και εάν κάποιος από αυτούς είναι στο διάστηµα [0,7) επιλέγουµε το #1 χρωµόσωµα, εάν είναι στο [7,13) επιλέγουµε το #2 χρωµόσωµα, εάν είναι στο [13,21) επιλέγουµε το #3 χρωµόσωµα και εάν είναι στο [21,26) επιλέγουµε το #4 χρωµόσωµα. Σε περίπτωση που για κάποιο ζευγάρι επιλεγεί δύο φορές το ίδιο χρωµόσωµα, χρησιµοποιούµε επόµενο τυχαίο αριθµό, µέχρι να επιλεγεί διαφορετικό χρωµόσωµα. Οι επόµενοι 4 τυχαίοι αριθµοί λοιπόν (πολλαπλασιασµένοι µε 26) είναι οι: 22, , , , και τα ζευγάρια χρωµοσωµάτων που σχηµατίζονται είναι τα: Για το πρώτο ζευγάρι επιλέγουµε έναν τυχαίο ακέραιο αριθµό από το 1 έως το 4 (πολλαπλασιάζοντας τον επόµενο τυχαίο αριθµό επί 4 και στρογγυλοποιώντας προς τα πάνω), που αντιστοιχεί στο σηµείο διασταύρωσης (δεν µπορεί η διασταύρωση να γίνει στα άκρα των χρωµοσωµάτων). Στην προκειµένη περίπτωση ο αριθµός που προκύπτει είναι ο 2,522, που σηµαίνει ότι η διασταύρωση θα γίνει µετά την 3 η θέση. Έτσι οι δύο απόγονοι είναι οι: Για κάθε έναν από τους απογόνους εξετάζουµε το ενδεχόµενο να γίνει µετάλλαξη. Έστω ότι η πιθανότητα µετάλλαξης είναι Εξετάζουµε τους επόµενους 10 αριθµούς, εάν κάποιος από αυτούς είναι µικρότερος από 0.01 τότε το αντίστοιχο bit αλλάζει τιµή. Κάτι τέτοιο δεν συµβαίνει, οπότε δεν πραγµατοποιείται καµία µετάλλαξη. Στη συνέχεια επιλέγουµε σηµείο διασταύρωσης για το δεύτερο ζευγάρι, το οποίο είναι και πάλι η θέση 3 (τυχαίος αριθµός x 3: 2,785). Έτσι οι δύο απόγονοι είναι οι: Και πάλι ελέγχουµε την πιθανότητα µετάλλαξης, αλλά στους 10 επόµενους αριθµούς δεν υπάρχει κάποιος µικρότερος από 0.01, οπότε δεν πραγµατοποιείται καµία µετάλλαξη. Το νέο σύνολο χρωµοσωµάτων µε τα χαρακτηριστικά τους είναι λοιπόν το: # Χρωµόσωµα Καταλληλότητα Η διαδικασία που περιγράφηκε παραπάνω πρέπει να συνεχισθεί µέχρις είτε να βρεθεί κάποιο χρωµόσωµα µε καταλληλότητα ίση µε 10, είτε να συµπληρωθεί κάποιος προκαθορισµένος αριθµός επαναλήψεων.

6 ΘΕΜΑ 5 ο (2,5 µονάδες) ίνονται τα παρακάτω δεδοµένα από το γνωστό πρόβληµα του εστιατορίου: # Alt Bar Fri Hun Pat Price Rain Res Type Est Wait Χ 1 yes no no yes some $$$ no yes French 0-10 yes Χ 2 yes no no yes full $ no no Thai no Χ 3 no yes no no some $ no no Burger 0-10 yes Χ 4 yes no yes yes full $ yes no Thai yes Χ 5 yes no yes no full $$$ no yes French >60 no Χ 6 no yes no yes some $$ yes yes Italian 0-10 yes Χ 7 no yes no no none $ yes no Burger 0-10 no Χ 8 no no no yes some $$ yes yes Thai 0-10 yes Χ 9 no yes yes no full $ yes no Burger >60 no Χ 10 yes yes yes yes full $$$ no yes Italian no Χ 11 no no no no none $ no no Thai 0-10 no Χ 12 yes yes yes yes full $ no no Burger yes Κατασκευάστε ένα σύνολο κανόνων κατηγοριοποίησης για την περίπτωση Wait=yes. Όπως στις διαφάνειες. ΑΠΑΝΤΗΣΤΕ 4 ΑΠΟ ΤΑ ΠΑΡΑΠΑΝΩ 5 ΘΕΜΑΤΑ Ενδεικτικές λύσεις θα αναρτηθούν µετά την εξέταση στην ιστοσελίδα του µαθήµατος