Ασκήσεις Φροντιστηρίου «Υπολογιστική Νοημοσύνη Ι» 2ο Φροντιστήριο

Transcript

1 Ασκήσεις Φροντιστηρίου 2ο Φροντιστήριο Πρόβλημα ο Ο κανόνας δέλτα που περιγράφεται από την παρακάτω ισότητα n) ηe n)x και ο κανόνας του Hebb που περιγράφεται από την επόμενη ισότητα n) ηy x αποτελούν δύο διαφορετικές μεθόδους μάθησης. Αναφέρετε τα χαρακτηριστικά τους και τα σημεία στα οποία διαφέρουν. Κανόνας Δέλτα: η e x Όπου : η : παράμετρος μάθησης * e : σήμα λάθους στην έξοδο του νευρώνα κ x : σήμα εισόδου στην -οστή σύναψη του νευρώνα κ * όπου e d y n) με d n) : επιθυμητή έξοδο του νευρώνα κ y n) : πραγματική έξοδο του νευρώνα κ Κανόνας Hebb η y x Όπου : η : παράμετρος μάθησης y : σήμα στην έξοδο του νευρώνα μετά-συναπτικό σήμα) x : σήμα εισόδου στην -οστή σύναψη του νευρώνα κ προσυναπτικό σήμα) Ομοιότητες των δύο κανόνων: - Και οι δύο περιέχουν τον παράγοντα η n) Διαφορές των δύο κανόνων: x Ασκήσεις 2 ου Φροντιστηρίου

2 - Ο κανόνας δέλτα πολλαπλασιάζει το η x n) με το σφάλμα e n), ενώ ο Hebb το πολλαπλασιάζει με την έξοδο y. - Ο κανόνας δέλτα χρειάζεται την γνώση της επιθυμητής εξόδου, ενώ κάτι παρόμοιο δεν απαιτείτε στον κανόνα Hebb Πρόβλημα 2 ο Μια γενικευμένη μορφή του κανόνα του Hebb περιγράφεται από την παρακάτω ισότητα: y ) G x ) ) βw F y )) αf n όπου x n) και y n) είναι τα προ-συναπτικά και μετα-συναπτικά σήματα, αντίστοιχα. F.) και G.) είναι συναρτήσεις των αντίστοιχων ορισμάτων. n) είναι η αλλαγή που δημιουργείται στο συναπτικό βάρος w τη χρονική στιγμή n σε σχέση με τα σήματα x n) και y n). Βρείτε: α) το σημείο ισορροπίας balance point). Γενικευμένη μορφή του κανόνα του Hebb α F y ) G x ) β w F y ) F y n)) α G x ) β w ) α) Σημείο Ισορροπίας όταν Δ 0 w Άρα : α α G x ) β w 0 w G x ) β Πρόβλημα 3 ο Ένα σήμα εισόδου με μοναδιαίο πλάτος εφαρμόζεται επανειλημμένα σε μία συναπτική σύνδεση της οποίας η αρχική τιμή είναι επίσης ίση με τη μονάδα. Υπολογίστε την αλλαγή στην τιμή του συναπτικού βάρους σε σχέση με το χρόνο χρησιμοποιώντας τους δύο παρακάτω κανόνες: α) Απλή μορφή του κανόνα του Hebb που δίνεται από την παρακάτω εξίσωση ηy x θεωρώντας ότι η παράμετρος ρυθμού μάθησης είναι ίση με η0.. β) Παραλλαγή του κανόνα του Hebb που δίνεται από την παρακάτω εξίσωση [ cx w )] α y n Ασκήσεις 2 ου Φροντιστηρίου 2

3 θεωρώντας ότι η0. και c0. cη/α). A) Κανόνας Hebb: η y x Με η 0. w ) y ) w ) x ) η y ) x ) 0, 0, W 2) w ) + ) + 0,, y 2) w 2) x 2),, 2) η y 2) x 2) 0,, 0, W 3) w 2) + 2), + 0,,2 y 3) w 3) x 3),2,2 3) η y 3) x 3) 0,,2 0,2 W 4) w 3) + 3),2 + 0,2,33 Αλλαγή του W στον χρόνο Wn) n time) Ασκήσεις 2 ου Φροντιστηρίου 3

4 B) Παραλλαγή του κανόνα του Hebb [ cx w )] α y n C n/α 0. Έχω : α n/c 0./0. Άρα: [ 0. x w )] y n W ) ) y [ 0. x ) w ) ] 0, ) 0, 9 ) y ) W 2) w 2) + 2) - 0,9 0, y 2) w 2) x 2) 0, 0, [ 0. x 2) w 2)] 0, 0, 0,) 0 2) y 2) W 3) w 3) + 3) - 0,9 0, W 4) 0. W 5) 0. Αλλαγή W στο χρόνο Βάρος Wn), 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0, n time) Ασκήσεις 2 ου Φροντιστηρίου 4

5 Πρόβλημα 4 ο Δώστε τη σχέση που περιγράφει την έξοδο y του νευρώνα στο παρακάτω νευρωνικό δίκτυο. Μπορείτε να πάρετε ως δεδομένα τα ακόλουθα στοιχεία: x i το i-οστό σήμα εισόδου w i το βάρος της σύναψης από την είσοδο i στο νευρώνα c το βάρος της σύνδεσης από το νευρώνα στο νευρώνα υ το επίπεδο ενεργοποίησης του νευρώνα y φυ ) Ποια είναι η συνθήκη που πρέπει να ικανοποιείται έτσι ώστε ο νευρώνας να είναι ο επικρατών νευρώνας; x x2 x3 x4 Η έξοδος του νευρώνα στο σχήμα δίνεται από την σχέση y φu ) όπου το επίπεδο ενεργοποίησης u δίνεται από u 4 i w i x i + 3 c y,,2,3 Για να είναι ο νευρώνας ο επικρατών θα πρέπει να ισχύει : y > y για όλα τα Ασκήσεις 2 ου Φροντιστηρίου 5

6 Πρόβλημα 5 ο Επαναλάβετε το προηγούμενο πρόβλημα θεωρώντας αυτή τη φορά ότι κάθε νευρώνας έχει αυτό-ανατροφοδότηση. Η αυτό-ανατροφοδότηση του κάθε νευρώνα στο δίκτυο φαίνεται στο σχήμα με διακεκομμένες γραμμές μπλε χρώματος. x x2 x3 x4 Με ανατροφοδότηση έχουμε ότι η έξοδος του νευρώνα γίνεται : y φu ) 4 όπου u wi x + 3 i c y,,2,3 στην οποία το c ορίζει το βάρος αυτοτροφοδότησης του νευρώνα. Ασκήσεις 2 ου Φροντιστηρίου 6