Τεχνητά Νευρωνικά Δίκτυα. Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης

Transcript

1 Τεχνητά Τσιριγώτης Γεώργιος Τμήμα Μηχανικών Πληροφορικής ΤΕΙ Ανατολικής Μακεδονίας & Θράκης

2 Ο Βιολογικός Νευρώνας Δενδρίτες Συνάψεις Πυρήνας (Σώμα) Άξονας 2

3 Ο Βιολογικός Νευρώνας 3

4 Βασικά Χαρακτηριστικά πλαστικότητα: οι νευρώνες έχουν ρυθμιζόμενες παραμέτρους μεγάλο πλήθος νευρώνων παραλληλισμός της επεξεργασίας κατανομή της πληροφορίας 4

5 Είσοδοι Έξοδοι Δενδρίτες: είσοδοι. Δέχονται ηλεκτρικά σήματα από άλλους νευρώνες Άξονας: έξοδος. Μήκος από 1mm έως >1m. Στέλνει ηλεκτρικούς παλμούς σταθερού πλάτους αλλά μεταβλητής συχνότητας. Συνάψεις: σημεία ένωσης μεταξύ διακλαδώσεων του άξονα ενός νευρώνα και των δενδριτών από άλλους νευρώνες. 5

6 Συνάψεις Προσυναπτική μεμβράνη Κυστίδια Βολβός τερματισμού του άξονα Νευρο-μεταδότης Συναπτική σχισμή Μετασυναπτική μεμβράνη 6

7 Συνάψεις Φούσκες με ιόντα (Na +, K + ). Το πλάτος της σύναψης, η απόστασή της από τον δενδρίτη και η πυκνότητα του ηλεκτροχημικού υλικού επηρεάζουν την ευκολία με την οποία η ηλεκτρική δραστηριότητα μεταδίδεται από τον άξονα στο δενδρίτη. Το ποσοστό της ηλεκτρικής δραστηριότητας που μεταδίδεται τελικά στο δενδρίτη λέγεται συναπτικό βάρος. Είδη συνάψεων ενισχυτικές (exitatory) που ερεθίζουν τον νευρώνα ανασταλτικές (inhibitory) που καταστέλλουν τον νευρώνα 7

8 Λειτουργία βιολογικού νευρώνα Συχνότητα παλμών στον άξονα (έξοδος) είναι ανάλογη της συνολικής διέγερσης Συνολική διέγερση ισούται με το άθροισμα των διεγέρσεων σε όλους τους δενδρίτες t p : χρονική διάρκεια παλμού του νευρώνα t r : χρόνος ανάπαυσης του νευρώνα Άρα: Μέγιστη Συχνότητα παλμών < 1 t p +t r 8

9 Λειτουργία βιολογικού νευρώνα 9

10 Έξοδος: s = 0 ο νευρώνας είναι αδρανής s = 1 μέγιστη συχνότητα παλμών Είσοδοι (ερεθίσματα): x 1, x 2,..., x n Συναπτικά βάρη: w 1, w 2,..., w n Συνολική διέγερση: u = w 1 x 1 + w 2 x w n x n Το μοντέλο McCulloch-Pitts (1940) Τα γράμματα για τους συμβολισμούς μπορεί να ποικίλουν, ανάλογα με την βιβλιογραφία. 10

11 Το μοντέλο McCulloch-Pitts Κατώφλι (threshold) θ Αν u > θ τότε ο νευρώνας πυροβολεί Αν u < θ παραμένει αδρανής s = f u θ ή s = f u + θ όπου θ = θ f = Συνάρτηση ενεργοποίησης 11

12 Σχηματοποίηση του νευρώνα McCulloch-Pitts x 1 x j w i1 Σ u i 1 θ i si Ερέθισμα w ij -1 x n w in Απόκριση (Έξοδος) Δενδρίτες Σώμα Άξονας Matlab Example: One Input Neuron: nnd2n1 προς άλλες Συνάψεις

13 x 1 x j w i1 Σ u i 1 θ i si w ij -1 w in x n x x1, x2,..., x n T Άνυσμα Εισόδου i w w..., i1, wi 2, w in T Άνυσμα Βαρών ή Συναπτικών Συντελεστών x i w ij : Δυαδικό ή Πραγματικό

14 x 1 x j w i1 Σ u i 1 θ i s i w ij -1 u i n j 1 x s f u i i u u i i x n w in i i s j i. w s ij 1 i 1 Δυναμικό του Νευρώνα Κατάσταση Νευρώνα (Έξοδος) f : Συνάρτηση Ενεργοποίησης Δυναμικό u i και τάση Κατωφλίου θ i του Νευρώνα i

15 Η έννοια της εκμάθησης (ή ρυθμίζοντας τα βάρη) x w Σ u i 1-1 θ i s i Για τον j th συναπτικό βάρος, στο k+1, βήμα εκμάθησης Επιθυμητή Έξοδος (d) Πραγματική Έξοδος (s) w k j 1 k μ: Συντελεστής εκμάθησης w j d s x j (learning coefficient) Αν d= s, Αν d- s= 1, Αν d- s= -1, Το βάρος δεν αλλάζει Το w j μεταβάλλεται σε w j +μx j Το w j μεταβάλλεται w j -μx j

16 Παράδειγμα x 2 Γραμμικά διαχωριζόμενες περιοχές Έξοδος Περιοχή 1 (-1,+1) Β (+1,+1) Β A x 1 (-1,-1) (+1,-1) Έξοδος Περιοχή -1 Εξίσωση γραμμής : x 2 = Ax 1 + B Για π.χ. A=1,1 και B=0,8 x 2 = 1, 1x 1 + 0, 8

17 x 1 w 1 Σ u 1 0,2 s x 2 w 2-1 θ= 0,2 Κατώφλι θ=0,2 S = x 1 w 1 + x 2 w 2 θ = 0 x 2 = w 1 w 2 x 1 + θ w 2 = Ax 1 + B = 1, 1x 1 + 0, 8 Για: A = w 1 w 2 = 1, 1 B = θ w 2 = 0, 8 w 2 = θ B = 0, 2 0, 8 = 0, 25 Και: w 1 = Aw 2 = 1, 1 0, 25 = 0, 275 Γραμμικά διαχωριζόμενες περιοχές

18 x 1-0,275 Σ u 1 0,2 s x 1 x 2 u S ,275+0,25-0,2= 0,325> ,275-0,25-0,2= -0,15<0-1 x 2 0, ,275-0,25-0,2= -0,725< ,275+0,25-0,2= - 0,225<0-1 Θ= 0,2 x 2 Έξοδος Περιοχή 1 (-1,+1) (+1,+1) x 1 (-1,-1) (+1,-1) Έξοδος Περιοχή -1 Matlab Example: nnd2n2

19 Συνάρτηση ενεργοποίησης Βηματική συνάρτηση 0/1: f(x) = 0, αν x 0 f(x) = 1, αν x > 0 Hardlim (Matlab) Βηματική συνάρτηση -1/1: f(x) = -1, αν x 0 f(x) = 1, αν x > 0 Hardlims (Matlab) S S x x Οι εν λόγω Συναρτήσεις λέγονται και Συναρτήσεις Κατωφλίου 19

20 Συνάρτηση ενεργοποίησης Σιγμοειδής (sigmoid): Logsig (Matlab) 1 f x = 1 + e x Υπερβολική εφαπτομένη: Tansig (Matlab) 1 e x f x = tanh x = 1 + e x 20

21 Συνάρτηση ενεργοποίησης Συνάρτηση ράμπας (ramp function): f(x) = 0, αν x 0 f(x) = x, αν x > 0 S x Γραμμική (linear): Purelin (Matlab) f(x) = x S x Ανάλογα με την εφαρμογή, μπορούν να υπάρξουν και άλλες Συναρτήσεις ενεργοποίησης (π.χ. Satlin, Satlins, Matlab) 21

22 Ανθρώπινος Εγκέφαλος 22

23 Ανθρώπινος Εγκέφαλος Ανθρώπινος εγκέφαλος 100 δισεκατομμύρια νευρώνες (10 11 ) 1 νευρώνας συνάψεις Η λειτουργία του εγκεφάλου μοιάζει με συνδυασμό λειτουργίας ενός ηλεκτρονικού υπολογιστή και ενός χημικού εργοστασίου! Τα, στις διάφορες εφαρμογές που έχουν πραγματοποιηθεί σε Hardware, ανέρχονται στην τάξη των μερικών χιλιάδων (10 3 ). 23

24 Νοημοσύνη Η μνήμη Η αναγνώριση εικόνων Η αναγνώριση φωνής Η κατανόηση και η παραγωγή της γλώσσας Η αυτόνομη πλοήγηση στο χώρο Η εξαγωγή συμπερασμάτων Η λήψη αποφάσεων Η κατάστρωση στρατηγικής Η λογική Η ανάπτυξη επιχειρημάτων Η μάθηση και η αυτοπροσαρμογή 24

25 Τεχνητή Νοημοσύνη Βασική αρχή: Η νοημοσύνη δεν είναι αποκλειστικότητα του εγκεφάλου Στόχοι: Ανάπτυξη κατάλληλου υλικού (hardware) για την υποστήριξη νοημόνων λειτουργιών Ανάπτυξη αλγορίθμων που υλοποιούν τις νοήμονες λειτουργίες Εργαλείο: 25

26 Ταξινόμηση Νευρωνικών Μοντέλων Τεχνητά Εκπαιδευόμενα βάρη Σταθερά βάρη Με επίβλεψη Χωρίς επίβλεψη Δίκτυο Hopfield Perceptron ADALINE / MADALINE Συσχετιστικά μοντέλα (κανόνας του Hebb) Ανταγωνιστικά μοντέλα Learning VQ Συσχετιστικές μνήμες (BAM, CMM ) Brain-State-in-a-Box Back-propagation Αναδρομικό δίκτυο Back-propagation Δίκτυο RBF Δίκτυα PCA Δίκτυα ICA Δίκτυα Linsker Δίκτυο Kohonen (SOM) ART Μηχανή Boltzmann 26