ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΣΟ ΠΑΝΕΠΙΣΗΜΙΟ ΠΡΟΓΡΑΜΜΑ ΠΟΤΓΩΝ ΜΔΣΑΠΣΤΥΙΑΚΔ ΠΟΤΓΔ ΣΑ ΜΑΘΗΜΑΣΙΚΑ ΔΙΠΛΩΜΑΣΙΚΗ ΕΡΓΑΙΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ ΠΡΟΟΜΟΙΩΗ ΣΟΤ ΑΝΘΡΩΠΙΝΟΤ ΕΓΚΕΦΑΛΟΤ

Transcript

1 ΕΛΛΗΝΙΚΟ ΑΝΟΙΚΣΟ ΠΑΝΕΠΙΣΗΜΙΟ ΥΟΛΗ ΘΕΣΙΚΩΝ ΕΠΙΣΗΜΩΝ ΚΑΙ ΣΕΥΝΟΛΟΓΙΑ ΠΡΟΓΡΑΜΜΑ ΠΟΤΓΩΝ ΜΔΣΑΠΣΤΥΙΑΚΔ ΠΟΤΓΔ ΣΑ ΜΑΘΗΜΑΣΙΚΑ ΔΙΠΛΩΜΑΣΙΚΗ ΕΡΓΑΙΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ ΠΡΟΟΜΟΙΩΗ ΣΟΤ ΑΝΘΡΩΠΙΝΟΤ ΕΓΚΕΦΑΛΟΤ ΠΛΔΡΟΤ ΑΝΣΩΝΙΑ ΔΠΙΒΛΔΠΩΝ ΚΑΘΗΓΗΣΗ ΒΛΑΜΟ ΠΑΝΑΓΙΩΣΗ ΠΑΣΡΑ - ΜΑΙΟ

2 ΠΔΡΗΛΖΦΖ Ή παξνχζα δηπισκαηηθή εξγαζία πξαγκαηεχεηαη ηνλ θιάδν ηεο επηζηήκεο πνπ αζρνιείηαη κε ηα λεπξσληθά δίθηπα. Ξεθίλεζε µε ζθνπφ λα δψζεη απαληήζεηο ζε εξσηήκαηα ζρεηηθά κε ην ηη είλαη λεπξσληθά δίθηπα ηη πξνβιήκαηα κπνξνχλ λα ιπζνχλ κε ηελ βνήζεηα ηνπο έηζη ψζηε λα γίλεη ηειηθά ε ζπζρέηηζε ησλ λεπξσληθψλ δηθηχσλ µε ηνλ εγθέθαιν. Έπεηηα απφ ζχληνκε ηζηνξηθή αλάδξνκε αλαθέξζεθαλ νη δηαθνξέο θαη νκνηφηεηεο κεηαμχ ππνινγηζηή θαη αλζξψπηλνπ εγθεθάινπ. Με αθνξκή ηελ πεξηγξαθή ηεο δνκήο ελφο ηερλεηνχ λεπξψλα έγηλε ζχγθξηζε κε ηα βηνινγηθά λεπξσληθά δίθηπα θαη αλαθέξζεθαλ επηγξακκαηηθά θάπνηεο απφ ηηο εθαξκνγέο ησλ λεπξσληθψλ δηθηχσλ. Έπεηηα δφζεθαλ ε πεξηγξαθή ηνπ κνληέινπ ηνπ ηερλεηνχ λεπξψλα θαη νη πην ζπλεζηζκέλεο ζπλαξηήζεηο πνπ ρξεζηκνπνηνχληαη γηα ηελ ελεξγνπνίεζε ηνπ. ηελ ζπλέρεηα δφζεθαλ παξαδείγκαηα αξρηηεθηνληθψλ ελφο δηθηχνπ θαη έγηλε αλαθνξά ζηνπο αιγνξίζκνπο ζχκθσλα κε ηνπο νπνίνπο εθπαηδεχνληαη ηα δίθηπα θαζψο επίζεο θαη θάπνηα παξαδείγκαηα κάζεζεο. Δπηπιένλ έγηλε αλάιπζε θάπνησλ γλσζηψλ κνληέισλ δηθηχσλ πνπ ηαμηλνκνχληαη ζχκθσλα κε ηελ δηαδηθαζία εθπαίδεπζεο ηνπο φπσο Perceptron, Bac Propagation θαζψο θαη ηα δίθηπα Kohonen θαη Hopfield. Δπίζεο παξνπζηάδεηαη ε απφδνζε κάζεζεο πνπ είλαη κηα θαηεγνξία εθπαίδεπζεο ησλ λεπξσληθψλ δηθηχσλ. Δίλαη κηα κέζνδνο εθπαίδεπζεο ζηελ νπνία νη δηθηπαθέο παξάκεηξνη είλαη ξπζκηζηηθνί κε ζθνπφ ηελ βειηηζηνπνίεζε ηεο απφδνζεο ηνπ δηθηχνπ. Καζνξίδνληαη επίζεο νη ζπλζήθεο χπαξμεο ειάρηζηνπ ζεκείνπ ζηελ επηθάλεηα ηεο απφδνζεο. Παξνπζηαζηήθαλ νη ζεηξέο Taylor σο έλα εξγαιείν αλάιπζεο ηεο επηθαλεηαθήο απφδνζεο θαζψο θαη νη ζπλζήθεο ηηο νπνίεο πξέπεη λα ηθαλνπνηνχλ ηα βέιηηζηα ζεκεία. πγθεθξηκέλα αλαπηχρηεθαλ αιγφξηζκνη γηα ηελ ηνπνζέηεζε ησλ βέιηηζησλ ζεκείσλ κε ηελ βνήζεηα ησλ ζεηξψλ απηψλ. Έηζη παξνπζηάδνληαη θάπνηνη ζεκαληηθνί αιγφξηζκνη βειηηζηνπνίεζεο φπσο νη Steepest Descent, Newton's Method, Conjugate Gradient νη νπνίνη κάιηζηα ρξεζηκνπνηνχληαη γηα ηελ εθπαίδεπζε Νεπξσληθψλ Γηθηχσλ. πγθεθξηκέλα ν αιγφξηζκνο Conjugate Gradient παξνπζηάδεηαη ηφζν ζηε πεξίπησζε ησλ δεπηεξνβάζκησλ εμηζψζεσλ φζν γηα ηελ βειηηζηνπνίεζε κε αξηζκεηηθέο ηερληθέο. Έγηλε επίζεο αλαθνξά ζε αιγνξίζκνπο εθπαίδεπζεο ηεο Matlab. Απηνί νη αιγφξηζκνη ρξεζηκνπνηνχλ ηελ θιίζε απφδνζεο ηεο ζπλάξηεζεο ψζηε λα θαζνξηζηεί ε ηξνπνπνίεζε ησλ βαξψλ κε ζθνπφ ηελ ειαρηζηνπνίεζε ηεο ζπλάξηεζεο. Γηα λα θαζνξηζηεί ε θιίζε ρξεζηκνπνηείηαη κηα ηερληθή ε νπνία νλνκάδεηαη Bac Propagation. Αξρηθά αλαιχεηαη ν βαζηθφο αιγφξηζκνο ζηνλ νπνίν ηα βάξε θηλνχληαη ζε κία θαηεχζπλζε αξλεηηθήο θιίζεο θαη ζηε ζπλέρεηα πην ζχλζεηνη αιγφξηζκνη νη νπνίνη απμάλνπλ ηελ ηαρχηεηα ηεο ζχγθιηζεο ηεο ζπλάξηεζεο. ABSTRACT This dissertation deals with the branch of science about neural networs. It begins by giving answers about neural networs, some of the problems that can be solved, so as to mae the correlation of neural networs and brain. The computer and human brain differences and similarities are mentioned as well as a 2

3 brief historical overview. The artificial neurons were compared with the biological neural networs and some of the applications of neural networs are briefly mentioned. Then a description of an artificial neuron model and the most common functions used for activation were given. We give some examples of the networ architecture. Afterwards there is a reference in accordance to the algorithms which are used to train networs as well as some examples of learning. Moreover we analyzed some well-nown networ models such as Perceptron, Bac Propagation and Kohonen networs and Hopfield. Those models are classified according to their training process. We present the learning efficiency as a neural networs training. Due this method networ parameters are prescribed in order to improve networ performance. We set the conditions in which the minimum point appears. The Taylor series were presented as a tool of analyze the surface performance as well as the conditions to achieve which the highest level. More specifically, some algorithms were developed to find this level. We present some significant optimization algorithms such as Steepest Descent, Newton's Method, Conjugate Gradient which were also used to train neural networs. The Conjugate Gradient algorithm is shown in the case of the quadric equation as well as in the optimization using numerical techniques. We were also mentioned training algorithms of Matlab. These algorithms were using the gradient of performance function to determine the change of weights in order minimize this function. We used a specific technique called Bac Propagation in order to determine this gradient. The basic algorithm in which the weights are moving in a direction of negative gradient was analyzed first and afterwards more complex algorithms which increased the speed of function s convergence. ΜΔΛΖ ΔΞΔΣΑΣΗΚΖ ΔΠΗΣΡΟΠΖ Βιάκνο Παλαγηψηεο Βαζίιεηνο Παπαδφπνπινο Υαηδεληθνιάνπ Μαξία Αλαπιεξσηήο Καζεγεηήο Καζεγεηήο Αλαπιεξψηξηα Καζεγήηξηα Σκήκα Πιεξνθνξηθήο Σκήκα Πνιηηηθψλ Μεραληθψλ Σκήκα Φπζηθψλ Δπηζηεκψλ Ηφλην Παλεπηζηήκην Γεκνθξίηεην Παλεπηζηήκην θαη Σερλνινγίαο Διιεληθφ Αλνηθηφ Παλεπηζηήκην Δπηβιέπσλ Καζεγεηήο Δπφπηεο Καζεγεηήο Πξφεδξνο Σκήκαηνο 3

4 ΔΤΥΑΡΙΣΙΔ Αξρηθά ζα ήζεια λα επραξηζηήζσ ηδηαίηεξα ηνλ επηβιέπνληα θαζεγεηή ηεο δηπισκαηηθήο εξγαζίαο θ. Βιάκν Παλαγηψηε γηα ηελ εκπηζηνζχλε πνπ κνπ έδεημε θαη ηελ ζηήξημε ηνπ ζε φιε ηελ δηάξθεηα ηεο ζπγγξαθήο απηήο ηεο εξγαζίαο. Δπίζεο ηνλ επραξηζηψ γηα ηελ πξνζνρή θαη ηελ ππνκνλή ηνπ αιιά θαη γηα ηελ βνήζεηα ηνπ γηα δεκνζίεπζε ηεο ζπγθεθξηκέλεο εξγαζίαο. Δπίζεο επραξηζηψ ηνλ επφπηε ηεο εξγαζίαο κνπ θ. Παπαδφπνπιν Βαζίιεην θαη ηελ πξφεδξν ηνπ ηκήκαηνο ηνπ Μεηαπηπρηαθνχ Πξνγξάκκαηνο θα Υαηδεληθνιάνπ Μαξία, κέιε ηεο εμεηαζηηθήο επηηξνπήο, γηα ην ρξφλν πνπ αθηέξσζαλ θαη ηελ πξνζνρή ηνπο. Σέινο επραξηζηψ ηνπο θ. Γθηληίδε Γξφζν, θ. Αλνχζε Μηράιε θαη θ. Απγεξηλφ Δπγέλην, θαζεγεηέο ηνπ ηκήκαηνο Μεηαπηπρηαθψλ πνπδψλ ζηα Μαζεκαηηθά γηα ηελ ζπλεξγαζία ηνπο θαηά ηελ δηάξθεηα ηεο θνίηεζεο κνπ ζην ηκήκα. ηνλ δάζθαιν κνπ, ζηνπο γνλείο κνπ θαη ζην αδειθφ κνπ γηα ηελ ζηήξημε θαη ηελ ππνκνλή ηνπο 4

5 ΠΔΡΗΔΥΟΜΔΝΑ ΠΔΡΗΛΖΦΖ ABSTRACT ΔΤΥΑΡΗΣΗΔ 1.ΔΗΑΓΧΓΖ 1.1.Γεληθά Γλσζηαθή επηζηήκε θαη πξνζνκνίσζε εγθεθάινπ Γηαθνξέο ππνινγηζηή θαη αλζξψπηλνπ εγθεθάινπ Ηζηνξηθή αλαδξνκή Ζ αξρή ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ Σα πξψηα Σερλεηά Νεπξσληθά Γίθηπα Ζ σξίκαλζε ησλ Σερλεηψλ Νεπξσληθά Γίθηπα Ζ ζεκεξηλή θαηάζηαζε 12 2.ΝΔΤΡΧΝΗΚΑ ΓΗΚΣΤΑ 2.1.Βηνινγηθά Νεπξσληθά Γίθηπα Σερλεηά Νεπξσληθά Γίθηπα Δθαξκνγέο ησλ Νεπξσληθψλ Γηθηχσλ Ηδηφηεηεο ησλ Νεπξσληθψλ Γηθηχσλ Σν κνληέιν ηνπ ηερλεηνχ λεπξψλα Σχπνη ζπλαξηήζεσλ ελεξγνπνίεζεο. 20 5

6 2.6.1.Βεκαηηθή πλάξηεζε Δλεξγνπνίεζεο (Heaviside Function) Σκεκαηηθά Γξακκηθή πλάξηεζε Δλεξγνπνίεζεο (Piecewise Linear Function) ηγκνεηδήο πλάξηεζε Δλεξγνπνίεζεο Αξρηηεθηνληθέο Νεπξσληθψλ Γηθηχσλ Μνλνζηξσκαηηθά Σξνθνδνηνχκελα πξνο ηα Δκπξφο Γίθηπα Πνιπζηξσκαηηθά Σξνθνδνηνχκελα πξνο ηα Δκπξφο Γίθηπα Αλαδξνκηθά Γίθηπα Πιεγκαηηθέο Γνκέο ηνηρεία απφ ηελ ζεσξία κάζεζεο - Καλφλεο κάζεζεο Αιγφξηζκνη κάζεζεο Μάζεζε κε δηφξζσζε ζθάικαηνο Μάζεζε Hebb Αληαγσληζηηθή κάζεζε Μάζεζε Boltzmann Παξαδείγκαηα κάζεζεο Μάζεζε κε επίβιεςε Μάζεζε κε ελίζρπζε Μάζεζε ρσξίο επίβιεςε ΓΝΧΣΟΣΔΡΑ ΣΔΥΝΖΣΑ ΝΔΤΡΧΝΗΚΑ ΓΗΚΣΤΑ 3.1.Αηζζεηήξαο Πνιπζηξσκαηηθά Σξνθνδνηνχκελα πξνο ηα Δκπξφο Νεπξσληθά Γίθηπα Bac Propagation Γίθηπα Kohonen Γίθηπα Hopfield

7 4.ΔΠΗΦΑΝΔΗΑ ΑΠΟΓΟΖ ΚΑΗ ΒΔΛΣΗΣΑ ΖΜΔΗΑ 4.1.Δηζαγσγή Απφδνζε κάζεζεο εηξέο Taylor Γηαλπζκαηηθέο πεξηπηψζεηο Καηεπζπληηθά παξάγσγα Διάρηζην Γπλαηφ ειάρηζην (Strong Minimum) Οιηθφ ειάρηζην Αδχλακν ειάρηζην (Wea Minimum) Απαξαίηεηεο ζπλζήθεο γηα βειηηζηνπνίεζε Πξψηεο ηάμεο ζπλζήθεο Γεχηεξεο ηάμεο ζπλζήθεο Γεπηεξνβάζκηεο ζπλαξηήζεηο Υαξαθηεξηζηηθφ Δζζηαλφ κνληέιν Σα βαζηθά ραξαθηεξηζηηθά ησλ δεπηεξνβάζκησλ εμηζψζεσλ ΠΡΟΠΑΘΔΗΑ ΒΔΛΣΗΣΟΠΟΗΖΖ 5.1.Δηζαγσγή Βαζηθέο αξρέο Αιγφξηζκνο steepest descent ηαζεξνί ξπζκνί εθπαίδεπζεο Διαρηζηνπνίεζε θαηά κήθνο κηαο γξακκήο Ζ κέζνδνο Newton

8 5.5.Ζ κέζνδνο Conjugate Gradient Ζ κέζνδνο Gonjugate Gradient γηα δεπηεξνβάζκηεο ζπλαξηήζεηο Ο αιγφξηζκνο Gonjugate Gradient γηα λεπξσληθά δίθηπα βαζηζκέλνο ζε αξηζκεηηθέο ηερληθέο βειηηζηνπνίεζεο ΑΛΓΟΡΗΘΜΟΗ ΔΚΠΑΗΓΔΤΖ ΣΖ MATLAB 6.1.Δηζαγσγή Αιγφξηζκνο νπηζζνδξφκεζεο Batch Gradient Descent (traingd) Batch Gradient Descent with Momentum (traingdm) Γξήγνξε εθπαίδεπζε Μεηαβιεηνί ξπζκνί εθπαίδεπζεο (traingda, traingdx) Αιγφξηζκνη Conjugate Gradient Fletcher-reeves update (traincgf) Pola-ribiere update (traincgp) Powell-beale restarts (traincgb) Scaled Conjugate Gradient (trainscg) ΤΝΟΦΖ.. 83 ΛΔΞΗΚΟ ΟΡΧΝ.. 85 ΒΗΒΛΗΟΓΡΑΦΗΑ. 88 8

9 1.ΔΙΑΓΧΓΗ 1.1.ΓΔΝΙΚΑ Ζ αλαπαξάζηαζε ηεο γλψζεο θαη ε πξνζαξκνγή ησλ ζεκαζηνινγηθψλ πεξηγξαθψλ απνηειεί πεδίν έξεπλαο ηα ηειεπηαία ρξφληα θαη πνιιά ζπζηήκαηα έρνπλ πξνηαζεί γηα ην ζθνπφ απηφ. Οη δνκηθέο δηαθνξέο ππνινγηζηή θαη εγθεθάινπ δελ εκπνδίδνπλ ηελ πξνζπάζεηα λα ππνθαηαζηαζνχλ θάπνηεο λνεηηθέο ιεηηνπξγίεο ηνπ εγθέθαινπ απφ ππνινγηζηηθφ ζχζηεκα φπσο έρεη ήδε γίλεη γηα ηνπο αξηζκεηηθνχο ππνινγηζκνχο. Απηφ ζεκαίλεη φηη ππάξρεη ε δπλαηφηεηα απνδνηηθφηεξεο εξγαζίαο κε ηελ ρξήζε ελφο δπλαηνχ εξγαιείνπ πνπ απαιιάζζεη ηνλ αλζξψπηλν εγθέθαιν απφ ρξνλνβφξεο λνεηηθέο ιεηηνπξγίεο επηηπγράλνληαο έηζη κεγαιχηεξε ηαρχηεηα ινγηζκνχ. ηα πιαίζηα απηήο ηεο ινγηθήο μεθίλεζε ε πξφνδνο ηνπ θιάδνπ ηεο επηζηήκεο ππνινγηζηψλ ν νπνίνο αζρνιείηαη κε ηε ζρεδίαζε θαη ηελ πινπνίεζε ππνινγηζηηθψλ ζπζηεκάησλ δειαδή ζπζηεκάησλ πνπ επηδεηθλχνπλ ραξαθηεξηζηηθά πνπ ζρεηίδνληαη κε ηε λνεκνζχλε ζηελ αλζξψπηλε ζπκπεξηθνξά θαη νλνκάζηεθε ηερλεηή λνεκνζχλε. Έηζη κέζα ζε κηα πεξίνδν ηερλνινγηθήο αλάπηπμεο άξρηζε λα πινπνηείηαη ε ηδέα λα θαηαζθεπαζηνχλ κεραλέο, νη νπνίεο ζα πηνζεηνχζαλ αλζξψπηλεο ζπκπεξηθνξέο θαη ζα ιεηηνπξγνχζαλ κε ινγηθή ζθέςε [10]. Μέζα απφ απηέο ηηο δηαδηθαζίεο δφζεθε ψζεζε ζηελ έξεπλα ζρεηηθά κε ην ηξφπν κε ηνλ νπνίν ιεηηνπξγεί ν αλζξψπηλνο εγθέθαινο θαη απφ πνηεο δνκέο απνηειείηαη, ηέηνηα ψζηε λα είλαη επθνιφηεξε ε ζρεδίαζε θαη ε αλάπηπμε ζπζηεκάησλ θαη πξνγξακκάησλ ππνινγηζηψλ θαη απηνκαηηζκνχ. Με ηα ζπζηήκαηα απηά επηδηψθεηαη λα πξνζνκνηαζηεί φζν ην δπλαηφ πεξηζζφηεξν ε αλζξψπηλε λνεηηθή ζπκπεξηθνξά ψζηε λα εθηεινχληαη πνιχπινθεο ιεηηνπξγίεο. Δθηφο απφ ηελ θαηάηκεζε ηεο γλψζεο ζε πιεξνθνξίεο θαη ηελ ηαρχηαηε επεμεξγαζία ηνπο, ζα κπνξνχλ λα θαηαλννχλ ηελ αλζξσπηλή νκηιία θαη γιψζζα θαη λα επηθνηλσλνχλ κέζσ απηήο κε ηνλ ρξήζηε κε άκεζν δηάινγν, φπσο επίζεο λα θαηαλννχλ θείκελα, ζρήκαηα θαη εηθφλεο. Δπηπιένλ λα έρνπλ ινγηθνχο ζπλεηξκνχο θαη λα εμάγνπλ ζπκπεξάζκαηα, λα δηδάζθνληαη απφ ηελ εκπεηξία ηνπο αιιά θαη απφ ηνλ άλζξσπν θαη ηέινο λα ζπλνςίδνπλ θαη λα αλαθαηαλέκνπλ δεδνκέλα αλάινγα κε ηε ρξήζε γηα ηελ νπνία δεηνχληαη. Απηφο φκσο ν θιάδνο άξρηζε ηελ πξαγκαηηθή ηνπ δηάδνζε θαη αλάπηπμε φηαλ θξίζεθε απαξαίηεηε ε δεκηνπξγία εμειηγκέλσλ θαη πεξίπινθσλ ζπζηεκάησλ ηα νπνία ζα είραλ ηελ ηθαλφηεηα λα επεμεξγάδνληαη πιήζνο πιεξνθνξηψλ θαη λα θαηαιήγνπλ ζε έλα ινγηθφ απνηέιεζκα ή ζπκπέξαζκα, θάηη πνπ δελ ζα κπνξνχζε λα θάλεη έλα θνηλφ αλζξψπηλν κπαιφ [10]. Έηζη άξρηζαλ νη εξγαζίεο γχξσ απφ ηα λεπξσληθά δίθηπα. Καηά ηελ δηάξθεηα ηεο θιαζζηθήο πεξηφδνπ ηεο αλάπηπμεο ησλ λεπξσληθψλ δηθηχσλ θαη ζπγθεθξηκέλα ηνπ αηζζεηήξα (1960) πηζηεπφηαλ φηη ηα λεπξσληθά δίθηπα κπνξνχζαλ λα θάλνπλ ηα πάληα θάηη πνπ απνδείρηεθε ιάζνο µε ηε βνήζεηα ησλ καζεκαηηθψλ αθνχ απνδείρηεθε φηη ππάξρνπλ πεξηνξηζκνί φζνλ αθνξά ηη ζα κπνξνχζε λα ππνινγηζηεί απφ ηνλ αηζζεηήξα. 1.2.ΓΝΧΙΑΚΗ ΔΠΙΣΗΜΗ Ζ ηδέα φηη ν αλζξψπηλνο λνπο είλαη έλαο ππνινγηζηήο, ηελ ιεηηνπξγία ηνπ νπνίνπ κπνξνχκε λα θαηαιάβνπκε κέζα απφ κηα δηαδηθαζία αληίζηξνθεο κεραλήο έρεη θέξεη ζην πξνζθήλην ηεο γλσζηαθήο επηζηήκεο κηα ζεηξά απφ ζέκαηα πνπ έρνπλ λα θάλνπλ κε ηελ εμειηθηηθή ζεσξία θαη θπζηθά ηελ εμέιημε ηνπ λνπ. Ζ εμειηθηηθή ζεσξία ππνζηεξίδεη φηη ηα δσληαλά εηδή δελ παξακέλνπλ ακεηάβιεηα θαη ζηαζεξά αιιά φηη αιιάδνπλ κέζα ζην ρξφλν [11]. Οη ιεηηνπξγίεο ηνπ εγθεθάινπ θαίλεηαη λα έρνπλ ηξνπνπνηεζεί κε ην πέξαζκα ηνπ ρξφλνπ κέζα απφ αιιεπάιιειεο πξνζαξκνζηηθέο κεηαηξνπέο. Πνιινί ςπρνιφγνη θαη γλσζηαθνί επηζηήκνλεο πηζηεχνπλ φηη ε εμειηθηηθή πξνζέγγηζε κπνξεί λα καο βνεζήζεη λα θαηαιάβνπκε ηνπο ζθνπνχο γηα ηνπο νπνίνπο 9

10 ζρεδηάζηεθε ν αλζξψπηλνο εγθέθαινο, ηα πξνβιήκαηα ηα νπνία είρε λα επηιχζεη θαη ηνλ ηξφπν κε ηνλ φπνην εμειίρζεηε θάλνληαο κε απηφ ηνλ ηξφπν δπλαηή ηελ θαηαζθεπή ηεο αληίζηξνθεο κεραλήο ηνπ λνπ [3]. Μηα βαζηθή κέζνδνο έιεγρνπ ζεσξηψλ λνεηηθψλ ιεηηνπξγηθψλ κε ηνλ ππνινγηζηή είλαη ε πξνζνκνίσζε (simulation). Ζ κέζνδνο ηεο πξνζνκνίσζεο πξνυπνζέηεη ηνλ πξνγξακκαηηζκφ ελφο ππνινγηζηή ψζηε λα ζπκπεξηθέξεηαη θαηά ην δπλαηφ πιεζηέζηεξα πξνο έλα θπζηθφ ζχζηεκα φπσο ν εγθέθαινο φηαλ εθηειεί κηα πλεπκαηηθή ή λνεηηθή ιεηηνπξγία. Σν πξφγξακκα πξνζνκνίσζεο νλνκάδεηαη θαη ππνινγηζηηθφ πξφηππν ή κνληέιν. Έλα ππνινγηζηηθφ πξφηππν κπνξεί λα πξνέξρεηαη απφ ηελ πινπνίεζε ελφο καζεκαηηθνχ ζπζηήκαηνο εμηζψζεσλ ή ελφο αιγνξίζκνπ. Έλα πξφηππν αμηνινγείηαη κε ηελ ζχγθξηζε ηεο ζπκπεξηθνξάο ηνπ κε εθείλε ηνπ θπζηθνχ ζπζηήκαηνο ηνπ νπνίνπ πξνηείλεηαη σο πξφηππν. Βαζηθφ ζηνηρείν ηεο κεζφδνπ αμηνιφγεζεο πξνηχπσλ λνεηηθψλ ιεηηνπξγηψλ είλαη ε ζχγθξηζε ζπκπεξηθνξάο ηνπ πξνγξάκκαηνο πνπ αληηζηνηρεί ζην πξφηππν θαη ςπρνινγηθψλ πξσηνθφιισλ. Με βάζε ηα παξαπάλσ πξφηππα έρνπλ γίλεη δηάθνξεο πξνζπάζεηεο θαηαζθεπήο ειεθηξνληθψλ ζπζηεκάησλ πνπ έρνπλ δνκή αλάινγε κε εθείλε ηνπ εγθεθάινπ. Σα πιένλ δηαδεδνκέλα απφ απηά ηα ζπζηήκαηα είλαη ηα ηερλεηά λεπξσληθά δίθηπα [3]. 1.3.ΓΙΑΦΟΡΔ ΤΠΟΛΟΓΙΣΗ ΚΑΙ ΑΝΘΡΧΠΙΝΟΤ ΔΓΚΔΦΑΛΟΤ Πνιιά απφ ηα ζηνηρεία ιεηηνπξγίαο ηνπ αλζξψπηλνπ λνπ πνπ έρνπλ γίλεη έσο ηψξα γλσζηά ρξεζηκνπνηήζεθαλ γηα ηε πξνζνκνίσζε ηνπ αλζξψπηλνπ εγθεθάινπ απφ ζπζηήκαηα ηερλεηήο λνεκνζχλεο. Σν ζεκαληηθφηεξν φκσο εκπφδην ζηελ πξνζπάζεηα πξνζνκνίσζεο ηνπ αλζξσπίλνπ εγθεθάινπ απφ έλα ιεηηνπξγηθφ ζχζηεκα είλαη νη δηαθνξέο ζηελ αξρηηεθηνληθή θαη ζηελ δνκή απηψλ ησλ δπν ζπζηεκάησλ. Μηα απφ ηηο δηαθνξέο ησλ δπν ζπζηεκάησλ είλαη φηη ππάξρεη δηαθνξεηηθή ειεθηξηθή ιεηηνπξγία θαη ζπλδεζηκφηεηα φπσο επίζεο θαη δηαθνξά σο πξνο ηελ πιηθή θαηαζθεπή. Δπίζεο ππάξρεη δηαθνξνπνίεζε σο πξνο ηελ αλαγλψξηζε πξνηχπσλ. ηνλ ππνινγηζηή ε αλαγλψξηζε γίλεηαη κε βάζε ην πεξίγξακκα ησλ αληηθεηκέλσλ. Δηδηθφηεξα ν ππνινγηζηήο δελ δηαζέηεη ζχζηεκα αλαγλψξηζεο εηθφλσλ ζπγθξίζηκν κε ην αλζξψπηλν νπηηθφ ζχζηεκα. Υαξαθηεξηζηηθφ είλαη φηη ν αλζξψπηλνο εγθέθαινο κπνξεί λα εθηειέζεη αλαγλψξηζε πξνηχπσλ ή αιιηψο λα αλαγλσξίζεη γλσζηά πξφζσπα ζε άγλσζηα πεξηβάιινληα ρξεηάδεηαη πεξίπνπ ρηιηνζηά ηνπ δεπηεξνιέπηνπ, ελψ έλαο πνιχ ηζρπξφο ππνινγηζηήο ζα ρξεηαδφηαλ ίζσο νιφθιεξεο κέξεο γηα λα εθηειέζεη κηα ηέηνηα δηαδηθαζία. Μηα αθφκα δηαθνξά είλαη φηη ε θαηαρψξεζε θαη ε επεμεξγαζία πιεξνθνξηψλ εθηεινχληαη ζηνλ ππνινγηζηή απφ ζαθψο δηαθξηηά ζπζηήκαηα δειαδή ηελ κλήκε θαη ηελ θεληξηθή κνλάδα επεμεξγαζίαο ζε αληίζεζε κε ηνλ εγθέθαιν. Δπηπιένλ ν ππνινγηζηήο έρεη ηελ δπλαηφηεηα πιήξνπο δηαγξαθήο φισλ ησλ πιεξνθνξηψλ απφ ηελ κλήκε θαη ηελ απνζήθεπζε λέσλ ζηνηρείσλ θαη πξνγξακκάησλ ζε αληίζεζε κε ηνλ αλζξψπηλν εγθέθαιν ζηνλ νπνίν δελ ζα ήηαλ πνηέ δπλαηή κηα ηέηνηα δηαδηθαζία. Σέινο ν ππνινγηζηήο επηδεηθλχεη πνιχ κεγάιε αθξίβεηα εθηέιεζεο αξηζκεηηθψλ δηαδηθαζηψλ θαη ραξαθηεξίδεηαη απφ ιεηηνπξγηθή ζηαζεξφηεηα ζε αληίζεζε κε ηνλ εγθέθαιν ν νπνίνο ελ δπλάκεη επεξεάδεηαη απφ νξγαληθνχο, ςπρνινγηθνχο αιιά θαη ζπλαηζζεκαηηθνχο παξάγνληεο. Γεληθεχνληαο, ν εγθέθαινο δελ δηαζέηεη νχηε ζα απνθηήζεη ιφγν αδπλακίαο ηεο ζεκεξηλήο ηερλνινγηθήο γλψζεο αλζξψπηλε ζπλείδεζε [7]. 1.4.ΙΣΟΡΙΚΗ ΑΝΑΓΡΟΜΗ Σα λεπξσληθά δίθηπα είλαη κηα ζρεηηθά λέα πεξηνρή έξεπλαο ζηελ νπνία δελ ππάξρεη κεγάιε πξντζηνξία φπσο ζηηο άιιεο παξαδνζηαθέο επηζηήκεο. Ξεθίλεζε ζε δηεζλέο επίπεδν κφιηο θαηά ηηο ηειεπηαίεο δεθαεηίεο αιιά 10

11 ε κεγάιε ψζεζε ζε απηά δφζεθε κεηά ην ε απηφ βνήζεζε ηφζν ε κεγάιε αλάπηπμε ηνπ πιηθνχ ινγηζκηθνχ ησλ ειεθηξνληθψλ ππνινγηζηψλ φζν θαη ησλ λέσλ αιγνξίζκσλ εθπαίδεπζεο. Ζ αλάπηπμε ησλ λεπξσληθψλ δηθηχσλ πέξαζε έηζη απφ πνιιέο θάζεηο θαη εμειίμεηο Η ΑΡΥΗ ΣΧΝ ΣΔΥΝΗΣΧΝ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Ζ κνληέξλα πεξίνδνο ησλ λεπξσληθψλ δηθηχσλ ιέγεηαη φηη μεθίλεζε κε ηελ πξσηνπνξηαθή δνπιεία ησλ Mc Culloch θαη Pitts (1943). Ο πξψηνο ήηαλ ςπρίαηξνο ελψ ν δεχηεξνο καζεκαηηθφο. Ζ θιαζηθή εξγαζία ησλ Mc Culloch θαη Pitts πεξηγξάθεη ην ινγηθφ ινγηζκφ ησλ λεπξσληθψλ δηθηχσλ ε νπνία έγηλε ζην παλεπηζηήκην ηνπ ηθάγν θαη είρε δηάξθεηα κεγαιχηεξε απφ πέληε ρξφληα. Δίλαη αμηνζεκείσην φηη ν Von Neumann ρξεζηκνπνίεζε ζηνηρεία απφ ηελ εξγαζία ησλ Mc Culloch θαη Pitts γηα ηελ θαηαζθεπή ηνπ EDVAC (Electronic Discrete Variable Automatic Computer) ν νπνίνο θαηέιεμε ζηνλ ENIAC, ηνλ πξψην γεληθνχ ζθνπνχ ππνινγηζηή. Ζ επφκελε εμέιημε ζηα λεπξσληθά δίθηπα ήξζε ην 1949 κε ηελ έθδνζε ηνπ βηβιίνπ ηνπ Hebb κε ηίηιν «The Organization of Behavior» ζην νπνίν έγηλε κηα ηδηαίηεξε έθθξαζε ελφο θπζηνινγηθνχ θαλφλα κάζεζεο γηα ζπλαπηηθέο ηξνπνπνηήζεηο. Πην ζπγθεθξηκέλα ν Hebb πξφηεηλε φηη ε ζπλδεηηθφηεηα ηνπ εγθέθαινπ αιιάδεη ζπλερψο θαζψο ν νξγαληζκφο καζαίλεη δηάθνξεο εξγαζίεο θαη φηη νη λεπξσληθνί ζπγθεληξσηέο δεκηνπξγνχληαη απφ ηέηνηεο αιιαγέο. Δπίζεο πξφηεηλε ην δηάζεκν αίηεκα ηεο κάζεζεο ζχκθσλα κε ην νπνίν ε απνηειεζκαηηθφηεηα ζχλαςεο κηαο κεηαβιεηήο αλάκεζα ζε δπν λεπξψλεο απμάλεηαη απφ ηελ επαλαιακβαλνκέλε ελεξγνπνίεζε ηνπ ελφο λεπξψλα απφ ηνλ άιιν θαηά κήθνο ηεο ζχλαςεο. Σν 1952 εθδφζεθε ην βηβιίν ηνπ Ashby κε ηίηιν «Design for a brain: The Origin of the Adaptive Behavior», ην νπνίν αζρνιήζεθε κε ηελ βαζηθή έλλνηα φηη ε πξνζαξκνδφκελε ζπκπεξηθνξά δελ είλαη έκθπηε αιιά καζαίλεηαη. Σν 1954 ν Minsy έγξαςε ηελ δηδαθηνξηθή ηνπ δηαηξηβή κε ηίηιν «Theory of Neural-Analog Reinforcement Systems and its Application to the Brain Model Problem» έσο αξγφηεξα ην 1961 ζπλερίδνληαο ην έξγν ηνπ έγξαςε κηα εξγαζία κε ηίηιν «Step Towards Artificial Intelligence». Σν 1954 ε ηδέα ησλ κε γξακκηθψλ πξνζαξκνδφκελσλ θίιηξσλ πξνηάζεθε απφ ηνλ Gabor o νπνίνο ήηαλ επηπιένλ πξσηνπφξνο ηεο ζεσξίαο επηθνηλσληψλ. Ο Gabor πινπνίεζε κηα ηέηνηα κεραλή ζηελ νπνία ε κάζεζε ζα επηηπγράλνληαλ κε ηξνθνδφηεζε δεηγκάησλ ζηνραζηηθψλ δηαδηθαζηψλ ζηελ κεραλή, καδί κε ηε ζπλάξηεζε-ζηφρν, ηελ νπνία ήηαλ αλακελφκελν λα παξάγεη ε κεραλή [7] ΣΑ ΠΡΧΣΑ ΜΟΝΣΔΛΑ ΣΔΥΝΗΣΧΝ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Έλα ζέκα ηδηαίηεξνπ ελδηαθέξνληνο γηα ηα λεπξσληθά δίθηπα είλαη απηφ ηεο ζρεδίαζεο ελφο αμηφπηζηνπ δηθηχνπ κε λεπξψλεο πνπ κπνξνχλ λα ζεσξεζνχλ σο κε αμηφπηζηα ζηνηρεία ην νπνίν ιχζεθε απφ ηνλ von Neumann ην Γεθαπέληε ρξφληα κεηά ηελ έθδνζε ηεο εξγαζίαο ησλ Mc Culloch θαη Pitts, κηα λέα πξνζέγγηζε πάλσ ζην ζέκα ηεο αλαγλψξηζεο πξνηχπσλ έγηλε απφ ηνλ Rosenblatt (1958) ζηελ εξγαζία ηνπ πάλσ ζηνλ αηζζεηήξα (Perceptron). Σν ηδηαίηεξν επίηεπγκα ηνπ ήηαλ ην ιεγφκελν Θεώξεκα Σύγθιηζεο Αηζζεηήξα (Perceptron Convergence Theorem). Σν 1960 ν Widrow θαη Hoff πξφηεηλαλ ηνλ αιγφξηζκν κέζνπ ειάρηζηνπ ηεηξαγψλνπ (Least Mean Square LMS) θαη ηνλ ρξεζηκνπνίεζαλ γηα ηνλ ζρεκαηηζκφ ηνπ Adaline (Adaptive Linear Element). Ζ δηάθνξα αλάκεζα ζηνλ αηζζεηήξα θαη ην Adaline βξίζθεηαη ζηνλ ηξφπν κάζεζεο. Καηά ηελ δηάξθεηα ηεο θιαζηθήο πεξηφδνπ ηνπ αηζζεηήξα πίζηεπαλ φηη ηα λεπξσληθά δίθηπα κπνξνχλ λα θάλνπλ ηα πάληα. Ζ αλαηξνπή έγηλε φηαλ εθδφζεθε ην βηβιίν ησλ Minsy θαη Papert νη νπνίνη κε ηελ βνήζεηα ησλ καζεκαηηθψλ απέδεημαλ φηη ππάξρνπλ φξηα φζνλ αθνξά ζην ηη κπνξεί λα ππνινγηζηεί απφ ηνλ αηζζεηήξα. Έλα ζεκαληηθφ πξφβιεκα πάλσ ζηελ ζρεδίαζε ελφο πνιπζηξσκαηηθνχ αηζζεηήξα είλαη ην πξφβιεκα αλάζεζεο ηεο εκπηζηνζχλεο (Credit Assignment Problem) ην νπνίν ιχζεθε κφιηο ηελ δεθαεηία ηνπ 80 [7]. 11

12 1.4.3.Η ΧΡΙΜΑΝΗ ΣΧΝ ΣΔΥΝΗΣΧΝ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Καηά ηελ δεθαεηία ηνπ 70 ην ελδηαθέξνλ πνπ ζεκεηψζεθε φζνλ αθνξά ζηα λεπξσληθά δίθηπα ήηαλ πεξηνξηζκέλν. Μηα ζεκαληηθή ελέξγεηα ηελ δεθαεηία απηή ήηαλ νη ράξηεο απηννξγάλσζεο κε αλαγλσξηζηηθή κάζεζε (Competitive Learning). ηελ αληαγσληζηηθή κάζεζε νη λεπξψλεο αληαγσλίδνληαη κεηαμχ ηνπο γηα ην πνηνο ζα ελεξγνπνηεζεί. ηελ πεξίπησζε ηεο κάζεζεο µε απηννξγάλσζε (Self Organization) δελ ππάξρεη θάπνηνο εμσηεξηθφο παξάγνληαο πνπ επηβιέπεη ηελ δηαδηθαζία κάζεζεο ρσξίο απηφ λα ζεκαίλεη φηη δελ ππάξρνπλ παξαδείγκαηα ηα νπνία πξέπεη λα κάζεη ην δίθηπν. Σν 80 φκσο έγηλαλ πνιιέο εξγαζίεο πάλσ ζηελ ζεσξία αιιά θαη ηνλ ζρεδηαζκφ ησλ λεπξσληθψλ δηθηχσλ. Ο Grossberg (1980) αλέπηπμε κηα θαηλνχξγηα αξρή απηννξγάλσζεο πνπ ζπλδπάδεη θηιηξάξηζκα απφ «θάησ πξνο ηα πάλσ», ηαίξηαζκα πξνηχπσλ θαη ζηαζεξνπνίεζε ηνπ θψδηθα κάζεζεο. Γεδνκέλεο κηαο ηέηνηαο ηθαλφηεηαο θαη αλ ην πξφηππν εηζφδνπ ηαηξηάδεη κε ηελ αλάδξαζε κάζεζεο, ιακβάλεη ρψξα κηα δπλακηθή θαηάζηαζε πνπ θαιείηαη Adaptive Resonance Theory (ART). Σν 1982 ν Hopfield ρξεζηκνπνίεζε ηελ ηδέα κηαο ζπλάξηεζεο ελέξγεηαο γηα λα θηηάμεη έλα λέν ηξφπν θαηαλφεζεο ηνπ ππνινγηζκνχ πνπ γίλεηαη απφ ηα δίθηπα κε ζπκκεηξηθέο ζπλαπηηθέο ζπλδέζεηο δειαδή ζπκκεηξηθέο ζπλδέζεηο κεηαμχ ησλ λεπξψλσλ. Απηή ε ηερλνινγία άλνημε ην δξφκν γηα ηνλ θαηαθιπζκφ ζεσξηψλ γηα ηα λεπξσληθά δίθηπα. Απηή ε ζπγθεθξηκέλε ηάμε λεπξσληθψλ δηθηχσλ κε αλαηξνθνδφηεζε έηπρε ηδηαίηεξεο πξνζνρήο θαηά ηελ δεθαεηία ηνπ 80 θαη κε ην ρξφλν έγηλαλ γλσζηά σο δίθηπα Hopfield. Σελ ίδηα ρξνληά εθδφζεθε ε εξγαζία ηνπ Kohonen πάλσ ζηνπο ράξηεο απηννξγάλσζεο, ρξεζηκνπνηψληαο κίαο ή δχν δηαζηάζεσλ πιεγκαηηθέο δνκέο. Έλα πιέγκα απνηειείηαη απφ έλαλ κνλνδηάζηαην, δηζδηάζηαην ή πνιπδηάζηαην πίλαθα απφ λεπξψλεο µε έλα αληίζηνηρν ζχλνιν θφκβσλ εηζφδνπ πνπ παξέρνπλ ηα ζήκαηα εηζφδνπ ζηνλ πίλαθα. Ζ δηάζηαζε ηνπ πιέγκαηνο αλαθέξεηαη ζηνλ αξηζκφ ησλ δηαζηάζεσλ ηνπ ρψξνπ ζηνλ νπνίν βξίζθεηαη ην πιέγκα. Σν 1983 εθδφζεθε κηα εξγαζία απφ ηνπο Bruto, Sutton θαη Anderson πάλσ ζηελ εληζρπκέλε κάζεζε ε νπνία δεκηνχξγεζε κεγάιν ελδηαθέξνλ ζηελ εληζρπκέλε κάζεζε θαη ηελ εθαξκνγή ηεο ην 1984 ν Braitenberg εμέδσζε βηβιίν κε ηνλ ηίηιν «Vehiches: Experiments in Synthetic Psychology» ην νπνίν πεξηγξάθεη δηάθνξεο κεραλέο κε απιή αξρηηεθηνληθή θαη ην νπνίν ελζσκαηψλεη κεξηθέο ζεκαληηθέο αξρέο ηεο απηννξγαλνχκελεο απφδνζεο. Σν 1986 ε αλάπηπμε ηνπ αιγνξίζκνπ Bac Propagation Algorithm παξνπζηάζηεθε γηα πξψηε θνξά απφ ηνλ Rumelhart. Απηφο ν αιγφξηζκνο έγηλε πνιχ δεκνθηιήο θαη έδσζε κηα λέα ψζεζε ζηηο εθαξκνγέο ησλ λεπξσληθψλ δηθηχσλ. Σν 1988 ν Linser πεξηέγξαςε κηα λέα αξρή γηα ηελ απηννξγάλσζε ζε έλα δίθηπν αηζζεηήξσλ (Perceptrons). Απηή ε αξρή ζρεδηάζηεθε ψζηε λα δηαηεξεί ηελ κέγηζηε πιεξνθνξία ζρεηηθά κε ηα πξφηππα ελεξγεηψλ πνπ ππφθεηληαη ζε πεξηνξηζκνχο φπσο δπλακηθέο πεξηνρέο ζχλαςεο θαη ζπλαπηηθέο ζπλδέζεηο δειαδή ησλ ζπλδέζεσλ πνπ πεξηέρνληαη κεηαμχ ησλ λεπξψλσλ. Ο Linser ρξεζηκνπνίεζε αθεξεκέλεο έλλνηεο πάλσ ζηελ ζεσξία πιεξνθνξηψλ ψζηε λα ζρεκαηηζηεί ε αξρή δηαηήξεζεο ηεο κεγίζηεο πιεξνθνξίαο. Δπίζεο ην 1988 νη Broomhead θαη Lowe πεξηέγξαςαλ κηα δηαδηθαζία γηα ηνλ ζρεδηαζκφ «Πξνο ηα Δκπξφο Σξνθνδφηεζεο» Γηθηχσλ (Feedforward Networs) κε ρξήζε ζπλαξηήζεσλ αλάινγσλ κε εθείλεο πνπ ρξεζηκνπνηνχληαη ζε πνιπζηξσκαηηθφ αηζζεηήξα. Σν 1989 εθδφζεθε ην βηβιίν ηνπ Mead κε ηίηιν VLSI and Neural Systems. Απηφ ην βηβιίν δίλεη κηα αζπλήζηζηε κίμε πεξηερνκέλσλ απφ ηελ λεπξνινγία θαη ηελ ηερλνινγία VLSI (Very Large Scale Integration ηερλνινγία νινθιήξσζεο πνιχ κεγάιεο θιίκαθαο). πλνςίδνληαο ε εξγαζία ηνπ Hopfield (1982) θαη ην βηβιίν ησλ RummelHeart θαη McLennand (1986) λα ήηαλ ν πην ζεκαίλνπζεο εθδφζεηο ππεχζπλεο γηα ηελ αλαδσνγφλεζε ηνπ ελδηαθέξνληνο γηα ηα λεπξσληθά δίθηπα ζηελ δεθαεηία ηνπ 80 [7]. 12

13 Η ΗΜΔΡΙΝΗ ΚΑΣΑΣΑΗ Απηέο νη ηειεπηαίεο εμειίμεηο αλαδσνγφλεζαλ ηνλ ηνκέα ησλ λεπξσληθψλ δηθηχσλ. Απφ ην 1985 θαη κεηά αξρίδνπλ ηα πξψηα ζπλέδξηα πνπ είλαη αθηεξσκέλα απνθιεηζηηθά ζε λεπξσληθά δίθηπα, απφ ηελ American Physical Society θαη απφ ηελ ΗΔΔΔ. Παξαθνινπζνχληαη απφ πεξηζζφηεξνπο απφ ρίιηνπο ζπλέδξνπο. Σαπηφρξνλα δεκηνπξγνχληαη εηδηθέο επαγγεικαηηθέο εηαηξίεο λεπξσληθψλ δηθηχσλ µε ρηιηάδεο µέιε, φπσο ε International Neural Networ Society µε ηξεηο πφινπο: Ακεξηθή (Grossberg), Δπξψπε (Kohonen) θαη Ηαπσλία (Amari). Πξνο ηα ηέιε ηεο δεθαεηίαο ηνπ νγδφληα παξνπζηάδνληαη ηνπιάρηζηνλ πέληε λέα πεξηνδηθά αθηεξσκέλα απνθιεηζηηθά ζηα λεπξσληθά δίθηπα, ελψ πξηλ ιίγα ρξφληα δελ ππήξρε νχηε έλα. Σα ηειεπηαία ρξφληα κεηά ην 1990 εθδίδνληαη θαη άιια λέα πεξηνδηθά, µε ζπλέπεηα λα ππάξρνπλ ζήκεξα πεξίπνπ 10 επηζηεκνληθά πεξηνδηθά αθηεξσκέλα ζηα λεπξσληθά δίθηπα. Σα γλσζηά πεξηνδηθά ηεο Δπηζηήκεο Τπνινγηζηψλ, ηεο Φπζηθήο θαη ησλ Ζιεθηξνιφγσλ Μεραληθψλ επίζεο πεξηιακβάλνπλ πιεηάδα άξζξσλ µε λέα απνηειέζκαηα ζηα λεπξσληθά δίθηπα. Κάζε κήλα πιένλ δεκνζηεχνληαη εθαηνληάδεο εξγαζίεο µε απνθιεηζηηθφ ζέκα ηα λεπξσληθά δίθηπα. Μεξηθά απφ ηα εμεηδηθεπκέλα λέα πεξηνδηθά είλαη: Neural Networs: The Official Journal of the International Neural Networ Society (Pergamon Press). Networ: Computation in Neural Systems (Institute of Physics Publishing). International Journal of Neural Systems (World Scientific). Neural Computation. Connection Science: Journal of Neural Computing, Artificial Intelligence and Cognitive Research (Carfax Publishing). Neural Networ World: Neural and Massively Parallel Computing and Information Systems (Computer World, Prague). Σα λεπξσληθά δίθηπα έρνπλ ζίγνπξα δηαλχζεη πνιχ δξφκν απφ ηελ επνρή ησλ McCulloch θαη Pitts Πξαγκαηηθά έρνπλ εγθαζηδξπζεί ζαλ αληηθείκελν κε βαζηέο ξίδεο ζηελ επηζηήκε ησλ λεπξψλσλ, ζηελ ςπρνινγία, ζηα καζεκαηηθά, ζηηο θπζηθέο επηζηήκεο θαη ζηελ κεραληθή. Μεηά απφ απηή ηελ πνξεία ζην ρξφλν ηα λεπξσληθά δίθηπα πξφθεηηαη λα ζπλερίζνπλ λα εμειίζζνληαη θαη ζην κέιινλ ηφζν ζε ζεσξία θαη ζε ζρεδηαζκφ θαη ζε εθαξκνγέο [12]. 2.ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ 2.1.ΑΠΟ ΣΑ ΒΙΟΛΟΓΙΚΑ ΣΑ ΣΔΥΝΗΣΑ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ Σα ηερλεηά λεπξσληθά δίθηπα ελψ πξνέξρνληαη σο θηινζνθία απφ ηα βηνινγηθά λεπξσληθά δίθηπα είλαη πην απιντθά ιφγν αλεπάξθεηαο ηερλνινγηψλ. Σα ηερλεηά λεπξσληθά δίθηπα παξέρνπλ έλα ελαιιαθηηθφ κνληέιν ην νπνίν είλαη εκπλεπζκέλν απφ ηα βηνινγηθά κνληέια ζχκθσλα κε ην νπνίν νη ππνινγηζκνί γίλνληαη παξάιιεια θαη καδηθά θαη ε εθπαίδεπζε αληηθαζηζηά ηελ αλάπηπμε πξνγξάκκαηνο. Δίλαη κηα πξνζπάζεηα πξνζνκνίσζεο κε ηελ βνήζεηα ππνινγηζηψλ ηνπ αλζξψπηλνπ λεπξηθνχ ζπζηήκαηνο. Μειεηψληαο ηα βηνινγηθά λεπξσληθά δίθηπα πνπ ππάξρνπλ ζηνλ αλζξψπηλν εγθέθαιν παξαηεξνχκε φηη απνηεινχληαη επίζεο απφ λεπξψλεο. Ο λεπξψλαο είλαη ην κηθξφηεξν ηκήκα ηνπ εγθεθάινπ πνπ είλαη ηθαλφ λα επεμεξγαζηεί πιεξνθνξίεο θαη ε χπαξμε ηνπ δηαθνξνπνηεί ηα δψα απφ ηα θπηά (ηα θπηά δελ έρνπλ λεπξψλεο). Σππηθά ε επεμεξγαζία ζηνπο λεπξψλεο γίλεηαη 5 κε 6 ηάμεηο κεγέζνπο πην αξγά απφ φηη ζηηο ζχγρξνλεο ςεθηαθέο ινγηθέο πχιεο. Ο ρξφλνο γηα ηηο ςεθηαθέο ινγηθέο πχιεο κεηξηέηαη ζε δηζεθαηνκκπξηνζηά ηνπ δεπηεξνιέπηνπ (nanoseconds), ελψ γηα ηνπο λεπξψλεο ζε ρηιηνζηά ηνπ δεπηεξνιέπηνπ (milliseconds) [5]. κσο ν εγθέθαινο αληηζηαζκίδεη ηελ ζρεηηθά αξγή ηαρχηεηα ιεηηνπξγίαο λεπξψλσλ κε ηνλ πξαγκαηηθά ηεξάζηην αξηζκφ ησλ κεηαμχ ηνπο ζπλδέζεσλ. Τπνινγίδεηαη φηη ππάξρνπλ 10 13

14 δηζεθαηνκκχξηα λεπξψλεο θαη 60 ηξηζεθαηνκκχξηα ζπλδέζεηο ζηνλ θινηφ ηνπ αλζξψπηλνπ εγθεθάινπ, γεγνλφο πνπ απνηειεί βαζηθφ ιφγν αλεπάξθεηαο ηνπ ππνινγηζηή γηα ηελ απφιπηε πξνζνκνίσζε ηνπ κε ηνλ εγθέθαιν [14]. Σρήκα 2.1.Αλαπαξάζηαζε θπζηθώλ λεπξώλσλ [14]. Οη βηνινγηθνί λεπξψλεο απνηεινχληαη απφ ηξία βαζηθά ηκήκαηα πνπ είλαη ην ζψκα, ν άμνλαο θαη νη δελδξίηεο. Αλαιπηηθφηεξα νη δελδξίηεο, ιακβάλνπλ ζήκαηα απφ γεηηνληθνχο λεπξψλεο. Σα ζήκαηα απηά είλαη ειεθηξηθνί παικνί πνπ δηαδίδνληαη κεηαμχ ηνπ άμνλα ηνπ λεπξψλα πνκπνχ θαη ησλ δελδξηηψλ ηνπ λεπξψλα δέθηε κε ηελ βνήζεηα ρεκηθψλ δηεξγαζηψλ. Σν ζεκείν ησλ ρεκηθψλ δηεξγαζηψλ, φπνπ ν άμνλαο ελφο λεπξψλα κεηαδίδεη ην ζήκα ζηνπο δελδξίηεο ηνπ επφκελνπ ιέγεηαη ζχλαςε. Αλαθνξηθά απηέο νη δηεξγαζίεο κεηαβάιινπλ ηα εηζεξρφκελα ζήκαηα αιιάδνληαο ηε ζπρλφηεηα ηνπο. ηελ ζπλέρεηα ην ζψκα αζξνίδεη ηα εηζεξρφκελα ζήκαηα θαη φηαλ αξθεηά ζήκαηα έρνπλ ιεθζεί απνζηέιιεη ην επεμεξγαζκέλν ζήκα ζηνπο γεηηνληθνχο ηνπ λεπξψλεο κέζσ ηνπ άμνλα. Έηζη θάζε λεπξψλαο δέρεηαη πνιιά ζήκαηα σο είζνδν θαη κεηά ηελ επεμεξγαζία ηνπο δηαδίδεη κφλν έλα ζε φινπο ηνπο λεπξψλεο κε ηνπο νπνίνπο ζπλδέεηαη [8]. Σρήκα 2.2.Αλαινγία κε ην βηνινγηθό δίθηπν. 2.2.ΣΔΥΝΗΣΑ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ Σα ηερλεηά λεπξσληθά δίθηπα απνηεινχλ κηα πξνζπάζεηα πξνζέγγηζεο ηεο ιεηηνπξγίαο ηνπ αλζξψπηλνπ εγθεθάινπ απφ κηα κεραλή θαη έρνπλ ηελ ηθαλφηεηα λα εθηεινχλ ππνινγηζκνχο κε καδηθφ παξάιιειν ηξφπν [7]. 14

15 Σν ηερλεηφ λεπξσληθφ δίθηπν είλαη έλα κνληέιν επεμεξγαζίαο πιεξνθνξηψλ εκπλεπζκέλν απφ ηνλ ηξφπν κε ηνλ νπνίν βηνινγηθά λεπξηθά ζπζηήκαηα, φπσο o εγθέθαινο, επεμεξγάδνληαη πιεξνθνξίεο. Σν βαζηθφ ζηνηρείν απηνχ ηνπ κνληέινπ είλαη ε πξσηφηππε δνκή ηνπ ζπζηήκαηνο επεμεξγαζίαο πιεξνθνξηψλ. Σα ηερλεηά λεπξσληθά δίθηπα είλαη κηα ζπιινγή κεγάινπ αξηζκνχ ζπλδεδεκέλσλ ζηνηρείσλ επεμεξγαζίαο πνπ νλνκάδνληαη λεπξψλεο (Processing Units, Pus) νη νπνίνη ζπλδένληαη κεηαμχ ηνπο, ιεηηνπξγνχλ αξκνληθά θαη είλαη νξγαλσκέλνη ζε ζηξψκαηα (Layers). Κάζε PUs έρεη πνιιέο εηζφδνπο (Inputs) αιιά κφλν κηα έμνδν (Output) ε νπνία κε ηελ ζεηξά ηεο κπνξεί λα απνηειέζεη είζνδν γηα άιιεο PUs. Οη ζπλδέζεηο κεηαμχ ησλ PUs δηαθέξνπλ κεηαμχ ηνπο θαη ε ζπνπδαηφηεηα ηνπο πξνζδηνξίδεηαη απφ ηνλ ζπληειεζηή βάξνπο γηα θάζε ζχλαςε. Ζ ζπλεξγαζία PUs θαζνξίδεηαη απφ ηελ ζπλάξηεζε κεηαθνξάο ε νπνία θαζνξίδεη ηελ θάζε έμνδν ζε ζρέζε κε ηηο εηζφδνπο θαη ηνπο ζπληειεζηέο βάξνπο. Ζ επεμεξγαζία θάζε λεπξψλα θαζνξίδεηαη απφ ηελ ζπλάξηεζεο ελεξγνπνίεζεο ε νπνία θαζνξίδεη ηελ έμνδν ζε ζρέζε κε ηηο εηζφδνπο θαη ηνπο ζπληειεζηέο βάξνπο [17]. Γηα λα ρξεζηκνπνηεζεί έλα δίθηπν πξέπεη αξρηθά λα πεξάζεη ηελ δηαδηθαζία εθπαίδεπζεο. Ζ κάζεζε πεξηιακβάλεη αιιαγέο ζηηο ζπλαπηηθέο ζρέζεηο (βάξε) πνπ πεξηέρνληαη κεηαμχ ησλ λεπξψλσλ. πγθεθξηκέλα έλα κέξνο ηεο εθπαίδεπζεο απνηειεί ηε δηαδηθαζία πξνζδηνξηζκνχ ησλ θαηαιιήισλ ζπληειεζηψλ βάξνπο ην νπνίν πξαγκαηνπνηείηαη κε ηελ βνήζεηα θαηαιιήισλ αιγνξίζκσλ. Έπεηηα απφ απηή ηελ δηαδηθαζία ην ΣΝΓ είλαη ζε ζέζε λα εθηειεί ηνπο θαηάιιεινπο ππνινγηζκνχο γηα ηνπο νπνίνπο εθπαηδεχηεθε ρξεζηκνπνηψληαο έηζη ηελ εκπεηξηθή γλψζε πνπ απέθηεζε. Ο ξφινο ησλ ζπληειεζηψλ κάζεζεο κπνξεί λα εξκελεπηεί σο απνζήθεπζε γλψζεο, ε νπνία παξέρεηαη ζην ζχζηεκα κε ηελ βνήζεηα παξαδεηγκάησλ θάηη πνπ ηζρχεη θαη ζηα βηνινγηθά λεπξσληθά δίθηπα. Με απηφ ηνλ ηξφπν ηα ΣΝΓ καζαίλνπλ ην πεξηβάιινλ ηνπο, ή κε άιια ιφγηα ην θπζηθφ κνληέιν πνπ παξέρεη ηα δεδνκέλα. πλνςίδνληαο θαηαιήγνπκε ζηνλ παξαθάησ νξηζκφ ζχκθσλα κε ηνπο Alesander θαη Morton (1990) [8]. Οπιζμόρ : Σερλεηφ Νεπξσληθφ Γίθηπν είλαη έλαο παξάιιεινο θαηαλεκεκέλνο επεμεξγαζηήο πνπ έρεη µηα θπζηθή θιίζε ζηελ απνζήθεπζε θαη απφδνζε εκπεηξηθήο γλψζεο. Μνηάδεη κε ηνλ εγθέθαιν ζηα εμήο: 1. Ζ γλψζε ιακβάλεηαη απφ ην δίθηπν µέζσ κηαο δηαδηθαζίαο εθπαίδεπζεο. 2. Ζ απνζήθεπζε ηεο γλψζεο γίλεηαη µέζσ ησλ βαξψλ πνπ ππάξρνπλ ζηηο ζπλδέζεηο κεηαμχ ησλ λεπξψλσλ [5]. 2.3.ΔΦΑΡΜΟΓΔ ΣΧΝ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Αεπόπλοια: Γεκηνπξγία απηφκαησλ πηιφησλ θαη πξφγξακκα πξνζνκνίσζεο, ζπζηήκαηα ειέγρνπ πηήζεο, αλίρλεπζε ειαηησκάησλ ζε ηκήκαηα αεξνπιάλσλ. Βιολογία: Βνήζεηα ζηελ θαηαλφεζε ηνπ εγθεθάινπ θαη άιισλ ζπζηεκάησλ, δεκηνπξγία κνληέισλ ακθηβιεζηξνεηδνχο ρηηψλα θαη θνριία. Γευπγία: Αλάιπζε πηζαλφηεηαο χπαξμεο πεηξειαίνπ ζε γεσινγηθνχο κεηαζρεκαηηζκνχο, αλάιπζε πεηξσκάησλ ζε νξπρεία, αλάιπζε ηεο κφιπλζεο ηνπ πεξηβάιινληνο. Δπισειπήζειρ: Αμηνιφγεζε ππνςεθίσλ γηα θάπνηα ζέζε, βειηηζηνπνίεζε ηνπ ζπζηήκαηνο θξαηήζεσλ ζε κεηαθνξηθά κέζα, αλαγλψξηζε γξαθηθνχ ραξαθηήξα. Ιαηπική: Αλάιπζε νκηιίαο γηα ηελ θαηαζθεπή αθνπζηηθψλ βνεζεκάησλ, δηάγλσζε βαζηζκέλε ζηα ζπκπηψκαηα, έιεγρνο ρεηξνπξγείνπ, εμαγσγή ζπκπεξαζκάησλ απφ αθηηλνγξαθίεο, αλάιπζε θαξδηνγξαθεκάησλ θαη εγθεθαινγξαθεκάησλ, εληνπηζκφο θαξθίλνπ ζε θνινλνζθνπήζεηο θαη καζηνγξαθίεο. Καηαζκεςέρ: Απηφκαηνο έιεγρνο, έιεγρνο γξακκήο παξαγσγήο, έιεγρνο πνηφηεηαο, επηινγή ηκεκάησλ θαη ην ζηάδην ηεο ζπλαξκνιφγεζεο. 15

16 Οικονομία: Τπνινγηζκφο θηλδχλνπ γηα δάλεηα θαη ππνζήθεο, έιεγρνο πιαζηνγξαθηψλ, κεηάθξαζε ρεηξφγξαθσλ εληχπσλ, εθηίκεζε ηηκψλ κεηνρψλ θαη ζπλαιιάγκαηνο. Πεπιβάλλον: Πξφγλσζε θαηξνχ, αλάιπζε ηάζεσλ θαη θαηξηθψλ ζπλζεθψλ. Άμςνα: Υεηξηζκφο κε επαλδξσκέλσλ νρεκάησλ θαη αεξνπιάλσλ, αλαγλψξηζε ζεκάησλ απφ radar, δεκηνπξγία έμππλσλ φπισλ, αλαγλψξηζε θαη ζθφπεπζε ζηφρσλ, βειηηζηνπνίεζεο αμηνπνίεζεο απνζεκάησλ θαη θξππηνγξαθία. Τπολογιζηέρ: Αλαγλψξηζε νκηιίαο, εληνπηζκφο θσλήελησλ θζφγγσλ, κεηαηξνπή θεηκέλνπ ζε νκηιία, δξνκνιφγεζε πιεξνθνξηψλ ζε δίθηπα ππνινγηζηψλ [7], [11], [14]. 2.4.ΙΓΙΟΣΗΣΔ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Σν επηζηεκνληθφ ελδηαθέξνλ γηα ηα ηερλεηά λεπξσληθά δίθηπα πξνθχπηεη θπξίσο απφ ηελ δπλαηφηεηα λα βξίζθνπλ ιχζεηο ζε δχζθνια θαη ελδηαθέξνληα ππνινγηζηηθά πξνβιήκαηα ηνπ πξαγκαηηθνχ θφζκνπ. Ζ ρξήζε ησλ λεπξσληθψλ δηθηχσλ πξνζθέξεη ηηο αθφινπζεο πνιχ ρξήζηκεο ηδηφηεηεο θαη δπλαηφηεηεο. Μη γπαμμικόηηηα: Οη λεπξψλεο γεληθά είλαη κε γξακκηθνί αθνχ βαζίδνληαη ζε κε γξακκηθέο ζπλαξηήζεηο ελεξγνπνίεζεο. Καηά ζπλέπεηα ην ΣΝΓ αθνχ απνηειείηαη απφ ηελ ζχλδεζε πνιιψλ λεπξψλσλ θαη είλαη θαη απηφ κε ηε ζεηξά ηνπ κε γξακκηθφ. ςζσέηιζη ειζόδος-εξόδος: Καηά ηελ εθπαίδεπζε παξνπζηάδνπκε ζην ΣΝΓ πξφηππα εηζφδνπ ή εθπαίδεπζεο πνπ θσδηθνπνηνχλ ην δνζκέλν πξφβιεκα θαη ηηο αληίζηνηρεο επηζπκεηέο εηζφδνπο. θνπφο είλαη γηα θάζε πξφηππν εθπαίδεπζεο ηνπ λεπξσληθνχ δηθηχνπ, ε έμνδνο ηνπ λα ηαπηίδεηαη κε ηελ επηζπκεηή έμνδν. Έηζη δεκηνπξγείηαη κηα ζπζρέηηζε κεηαμχ ησλ δεδνκέλσλ εηζφδνπ θαη εμφδνπ, ρσξίο φκσο ηελ ρξήζε θάπνηνπ πξνθαζνξηζκέλνπ ζηαηηζηηθνχ ε άιινπ κνληέινπ. Πποζαπμογή: Σα ΣΝΓ έρνπλ ηελ δπλαηφηεηα λα κεηαβάιινπλ ηα βάξε ηνπο αλάινγα κε ην πεξηβάιινλ ηνπο δειαδή αλάινγα κε ηα πξφηππα εηζφδνπ θαη ηε πφισζε ζ. Έηζη έλα ΣΝΓ είλαη δπλαηφ λα ζπλερίζεη λα εθπαηδεχεηαη γηα λα αληηκεησπηζηεί κηα κηθξή αιιαγή ησλ πξνηχπσλ ή αθφκα θαη κε ζηαηηζηηθά πξνβιήκαηα. Απόκπιζη βαζιζμένη ζε ενδείξειρ: Σα εθπαηδεπκέλα ΣΝΓ κπνξνχλ φρη κφλν λα ηαμηλνκνχλ θαη λα ηνπνζεηνχλ ηα πξφηππα εηζφδνπ ζε θιάζεηο αιιά επηπξφζζεηα δίλνπλ θαη ηνλ βαζκφ εκπηζηνζχλεο απηήο ηεο απφθαζεο. Έηζη κπνξνχλ λα ηαμηλνκήζνπλ θαη λέα, άγλσζηα θαηά ηελ δηάξθεηα ηεο εθπαίδεπζεο πξφηππα. ςναθείρ πληποθοπίερ: Ζ γλψζε αληηπξνζσπεχεηαη απφ ηελ δνκή θαη ηελ θαηάζηαζε ηνπ ΣΝΓ. Κάζε λεπξψλαο πηζαλά επεξεάδεη θαη επεξεάδεηαη απφ φινπο ηνπο ππφινηπνπο λεπξψλεο. πλεπψο ζπλαθείο πιεξνθνξίεο αληηκεησπίδνληαη κε θπζηθφ ηξφπν απφ ην ΣΝΓ. Ανεκηικόηηηα ζηα ζθάλμαηα: Σα λεπξσληθά δίθηπα πνπ έρνπλ πινπνηεζεί ζε πιηζκηθφ (Ζardware) έρνπλ ηελ ηδηφηεηα ηεο αλζεθηηθφηεηαο ζε ζθάικαηα γηαηί ε απφδνζε ηνπ ζπζηήκαηνο κεηψλεηαη νκαιά ζε πεξίπησζε ιάζνπο. Γειαδή ζε πεξίπησζε πνπ θαηαζηξαθεί έλαο λεπξψλαο, ην λεπξσληθφ δίθηπν δελ ζα αρξεζηεπηεί αιιά ζα ζπλερίζεη ηελ ιεηηνπξγία ηνπ κε κηθξφηεξε απιά απφδνζε. Γςναηόηηηα VLSI ςλοποίηζηρ: Ζ καδηθά παξάιιειε θχζε ησλ ΣΝΓ ηα θαζηζηά ηδαληθά γηα πινπνίεζε ζε πιηζκηθφ κε ρξήζε ηεο ηερλνινγίαο νινθιήξσζεο πνιχ κεγάιεο θιίκαθαο (Very Large Scale Integration, VLSI). Απνηέιεζκα απηήο ηεο πινπνίεζεο είλαη ε εμαηξεηηθά γξήγνξε απφθξηζε ηνπ ζπζηήκαηνο θαη ε δπλαηφηεηα ρξεζηκνπνίεζεο ηνπ σο κέξνο ελφο κεγαιπηέξνπ θαη πνιχπινθνπ ζπζηήκαηνο. Ομοιομοπθία ανάλςζηρ και ζσεδιαζμού: ια ηα κνληέια ΣΝΓ κνηξάδνληαη θάπνηεο βαζηθέο αξρέο φπσο ηελ έλλνηα ηνπ λεπξψλα, ησλ ζπλδέζκσλ θαη ηεο εθπαίδεπζεο. Απνηέιεζκα απηνχ είλαη ε επθνιφηεξε δηαζπνξά ηδεψλ κεηαμχ ησλ εξεπλεηψλ. 16

17 Βιολογική αναλογία: Ζ θαηαζθεπή ησλ ΣΝΓ είλαη εκπλεπζκέλε απφ ηνλ αλζξψπηλν εγθέθαιν. Έηζη νη λεπξνιφγνη ζπρλά κειεηνχλ ηα ΣΝΓ γηα λα θαηαιάβνπλ θαιπηέξα ηελ ιεηηνπξγία ηνπ αλζξψπηλνπ εγθέθαινπ θαη ηα απνηειέζκαηα απηήο ηεο έξεπλαο βνεζνχλ ηελ πεξαηηέξσ αλάπηπμε ησλ ΣΝΓ. Απηφο ν θχθινο αλαηξνθνδνηεί θαη ηηο δπν επηζηήκεο θαη δίλεη ζηα ΣΝΓ ηδηαίηεξε εξεπλεηηθή αμία [4], [7]. 2.5.ΣΟ ΜΟΝΣΔΛΟ ΣΟΤ ΣΔΥΝHΣΟΤ ΝΔΤΡΧΝΑ Έλαο λεπξψλαο είλαη µηα κνλάδα επεμεξγαζίαο πιεξνθνξίαο, πνπ είλαη ζεκειηαθή γηα ηελ ιεηηνπξγία ελφο λεπξσληθνχ δηθηχνπ. Σν ζρήκα δείρλεη ην κνληέιν ελφο λεπξψλα. Σα ηξία βαζηθά ζηνηρεία απηνχ ηνπ κνληέινπ είλαη: 1. Έλα ζχλνιν απφ ζπλάςεηο ή ζπλδεηηθνχο θξίθνπο, θάζε µηα απφ ηηο νπνίεο ραξαθηεξίδεηαη απφ έλα βάξνο ή δχλακε. πγθεθξηκέλα, έλα ζήκα x j ζηελ είζνδν ηεο ζχλαςεο j πνπ ζπλδέεηαη ζηνλ λεπξψλα, πνιιαπιαζηάδεηαη µε ην ζπλαπηηθφ βάξνο w j. Ο πξψηνο ππνδείθηεο αλαθέξεηαη ζηνλ ελ ιφγν λεπξψλα θαη ν δεχηεξνο ζηελ είζνδν ηεο ζχλαςεο φπνπ αλαθέξεηαη ην βάξνο. Σν βάξνο w j είλαη ζεηηθφ αλ ε ζχλαςε είλαη δηεγεξηηθή δειαδή σζεί ηνλ λεπξψλα λα απνθξηζεί ζηε δηέγεξζε ελψ αξλεηηθφ αλ ε ζχλαςε είλαη απαγνξεπηηθή δειαδή απνηξέπεη ηoλ λεπξψλα λα παξάγεη µηα απφθξηζε. 2. Έλαο αζξνηζηηθφο θφκβνο γηα ηελ πξφζζεζε ησλ ζεκάησλ εηζφδνπ, πνπ παίξλνπλ βάξνο απφ ηελ αληίζηνηρε ζχλαςε. Απηέο νη ιεηηνπξγίεο απνηεινχλ ην γξαµµηθφ ζπλδπαζηή u. 3. Μηα ζπλάξηεζε ελεξγνπνίεζεο γηα ηε κείσζε ηνπ εχξνπο ηεο εμφδνπ ηνπ λεπξψλα [5]. πλήζσο ην θαλνληθνπνηεµέλν εχξνο ηεο εμφδνπ ελφο λεπξψλα είλαη ην θιεηζηφ ζχλνιν [0,1] ή [-1,1]. Σρήκα Η κνξθή ηνπ ηερλεηνύ λεπξώλα [5]. Σν κνληέιν επίζεο πεξηιακβάλεη κηα εμσηεξηθά εθαξκνδφκελε πφισζε (θαηψθιη) ζ, πνπ έρεη επίδξαζε ζηελ ειάηησζε ηεο εηζφδνπ ζηελ εθαξκνδφκελε ζπλάξηεζε ελεξγνπνίεζε πνπ αθνινπζεί. Αληίζεηα, ε είζνδνο ηνπ δηθηχνπ κπνξεί λα απμεζεί µε ηελ ρξήζε ελφο φξνπ κεξνιεςίαο, ν νπνίνο είλαη ν αληίζεηνο απφ ηε πφισζε (bias) [8]. Παξαθάησ ζα ζπκβνιίδνληαη κε x j ηα ζήκαηα εηζφδνπ, κε w j ηα ζπλαπηηθά (synaptic) βάξε ηνπ λεπξψλα θαη κε u ηε γξακκηθή ζπλδπαζηηθή έμνδνο ηνπ. Δπίζεο ζα ζπκβνιίδνληαη κε ζ ε πφισζε, κε θ(.) ε ζπλάξηεζε ελεξγνπνίεζεο θαη κε y ην ζήκα εμφδνπ ηνπ λεπξψλα ην νπνίν αλαθέξεηαη θαη σο πξαγκαηηθή έμνδνο [7]. 17

18 Με καζεκαηηθνχο φξνπο, έλαο λεπξψλαο πεξηγξάθεηαη απφ ηηο παξαθάησ εμηζψζεηο: p u = w x j j j=1 θαη y =θ (u - ζ ) Ζ ρξήζε ηεο πφισζεο ζ έρεη σο απνηέιεζκα ηελ εθαξκνγή ελφο εγγελνχο (affine) κεηαζρεκαηηζκνχ ηεο εμφδνπ u, ηνπ γξακκηθνχ ζπλδηαζηή ηνπ ζρήκαηνο 2.5.1, φπσο θαίλεηαη απφ ηελ παξαθάησ ζρέζε: v =(u -ζ ) πγθεθξηκέλα, µε βάζε ην γεγνλφο αλ ε πφισζε ζ είλαη ζεηηθή ή αξλεηηθή, ε ζρέζε κεηαμχ ηνπ επηπέδνπ ηεο εζσηεξηθήο δξαζηεξηφηεηαο ή αιιηψο ηεο δπλαηφηεηαο ελεξγνπνίεζεο v ηνπ λεπξψλα θαη ηεο εμφδνπ ηνπ γξακκηθνχ ζπλδηαζηή u ηξνπνπνηείηαη φπσο θαίλεηαη ζην ζρήκα Σρήκα : Ο ηξόπνο κε ηνλ νπνίν ε πόισζε επεξεάδεη ηελ έμνδν ηνπ γξακκηθνύ ζπλδηαζηή [5], [7]. Ζ πφισζε ζ είλαη εμσηεξηθή παξάκεηξνο ηνπ λεπξψλα [5]. Απφ ηηο δπν ηειεπηαίεο ζπλαξηήζεηο πξνθχπηεη: v = p w x - ζ j j j=1 θαη y =θ(v ) 18

19 Δάλ ζηελ λέα εμίζσζε ηνπ v θ έρνπκε πξνζζέζεη µηα λέα ζχλαςε ηεο νπνίαο ε είζνδνο είλαη x 0 = 1 θαη ην βάξνο είλαη w 0 =ζ ηφηε ν ηξφπνο πνπ ε πφισζε ζ επεξεάδεη ηνλ λεπξψλα πεξηγξάθεηαη απφ δπν δηαδηθαζίεο. πξνζηίζεηαη έλα λέν ζήκα εηζφδνπ κε ζηαζεξή ηηκή -1. πξνζηίζεηαη έλα βάξνο ζχλαςεο πνπ ηζνχηαη κε ην ζ. Δλαιιαθηηθά, κπνξνχκε λα κνληεινπνηήζνπκε ην λεπξψλα εάλ ζηελ εμίζσζε ηνπ v πξνζηεζεί µηα λέα ζχλαςε ηεο νπνίαο ε είζνδνο είλαη x 0 =+1 θαη ην αληίζηνηρν βάξνο είλαη w 0 =b [7]. Έηζη κπνξνχκε λα αλαδηακνξθψζνπκε ην κνληέιν ηνπ λεπξψλα, αληίζηνηρα θαη γηα ηηο δπν πεξηπηψζεηο φπσο θαίλεηαη ζηα ζρήκαηα θαη πνπ είλαη ηζνδχλακα µε ην ζρήκα Σρήκα Τξόπνη κνληεινπνίεζεο λεπξώλσλ [5]. Σρήκα Τξόπνη κνληεινπνίεζεο λεπξώλσλ [5]. 19

20 2.6. ΣΤΠΟΙ ΤΝΑΡΣΗΔΧΝ ΔΝΔΡΓΟΠΟΙΗΗ ΝΔΤΡΧΝΧΝ Ζ ζπλάξηεζε ελεξγνπνίεζεο πνπ ζπκβνιίδεηαη µε θ(.) νξίδεη ηελ έμνδν ηνπ λεπξψλα ζε ζρέζε µε ην ηη ζπκβαίλεη ζηελ είζνδφ ηνπ. Οξίδεη δειαδή ηνλ ηξφπν κε ηνλ νπνίν κεηαδίδεηαη ην ζήκα απφ λεπξψλα ζε λεπξψλα, κέζα ζην λεπξηθφ ζχζηεκα. πγθεθξηκέλα φια ηα ζήκαηα πνπ θζάλνπλ ζε έλα λεπξψλα αζξνίδνληαη, ππφθεηληαη ζε κηα επεμεξγαζία, παξάγεηαη σο απνηέιεζκα κηα έμνδνο θη απηφ είλαη ην ζήκα πνπ κεηαδίδεηαη πεξαηηέξσ ζηνπο επφκελνπο λεπξψλεο. Ζ ζεψξεζε απηή είλαη γεληθή θαη ηζρχεη πάληνηε, απηφ φκσο πνπ αιιάδεη είλαη ε δηαδηθαζία ε νπνία δελ είλαη πάληα ε ίδηα [5] ΒΗΜΑΣΙΚΗ ΤΝΑΡΣΗΗ ΔΝΔΡΓΟΠΟΙΗΗ (Heaviside Function) Έλαο απφ ηνπο ηξφπνπο πνπ γίλεηαη απηή ε κεηάδνζε είλαη δπαδηθφο. ηελ πεξίπησζε απηή έλαο λεπξψλαο κπνξεί λα βξεζεί ζε κηα απφ δπν ελδερφκελεο θαηαζηάζεηο δειαδή λα είλαη ελεξγφο ή αδξαλήο. ηαλ έλαο λεπξψλαο δέρεηαη δηάθνξα ζήκαηα ηελ ίδηα ζηηγκή, ηφηε ππνινγίδεη κηα πνζφηεηα λ, ε νπνία πξφθεηηαη γηα ην άζξνηζκα ησλ δεδνκέλσλ πνπ θηάλνπλ ζε απηφλ θαη ζπγθξίλεη ην ππνινγηδφκελν απνηέιεζκα κε ηελ ηηκή πφισζεο ηνπ ζ, ε νπνία είλαη ζηαζεξή θαη νξηζκέλε απφ ηελ αξρή γηα απηφλ ην λεπξψλα [5]. Αλ ε ηηκή ηεο πνζφηεηαο είλαη κεγαιχηεξε απφ ηελ ηηκή πφισζεο, ηφηε ιέκε φηη ν λεπξψλαο ελεξγνπνηείηαη. Αλ φκσο είλαη κηθξφηεξε, ηφηε ν λεπξψλαο παξακέλεη αδξαλήο, δειαδή ζηε δεδνκέλε ζηηγκή δελ κεηαδίδεη θαλέλα πεξαηηέξσ ζήκα ζην ππφινηπν δίθηπν. Δπεηδή ν λεπξψλαο εδψ ιεηηνπξγεί σο δπαδηθφ ζηνηρείν, ε έμνδφο ηνπ ζα είλαη 1 φηαλ είλαη ελεξγνπνηεκέλνο θαη 0 φηαλ είλαη αδξαλήο [7]. Γηα απηφ ην είδνο ζπλάξηεζεο ελεξγνπνίεζεο πνπ πεξηγξάθεηαη ζην ζρήκα έρνπκε: 1, v 0 θ(v)= 0, v <0 Αληίζηνηρα ε έμνδνο ηνπ λεπξψλα µε ηελ ρξήζε κηαο ηέηνηαο ζπλάξηεζεο εθθξάδεηαη απφ ηελ ζρέζε. 1, v 0 y= 0, λ < 0 φπνπ v είλαη ην εζσηεξηθφ επίπεδν ελεξγνπνίεζεο ηνπ λεπξψλα [14]. Γειαδή v = p w x - ζ j j j=1 Έλαο λεπξψλαο πνπ ρξεζηκνπνηεί ηέηνηνπ είδνπο ζπλάξηεζε ελεξγνπνίεζεο αθνινπζεί ην κνληέιν McCulloch θαη Pitts. ε απηφ ην κνληέιν ε έμνδνο ηνπ λεπξψλα παίξλεη ηελ ηηκή 1 αλ ην νιηθφ εζσηεξηθφ επίπεδν δξαζηεξηφηεηαο ηνπ λεπξψλα είλαη µε αξλεηηθφ, δηαθνξεηηθά παίξλεη ηελ ηηκή 0. 20

21 Σρήκα Βεκαηηθή ζπλάξηεζε ελεξγνπνίεζεο [7]. Αλάινγα κε ην αλ ην ζήκα μεπέξαζε ή φρη ηελ ηηκή πφισζεο, ζπλερίδεη ηελ πνξεία ηνπ πξνο ηνπο άιινπο λεπξψλεο ηνπ ζπζηήκαηνο, ελψ απνκαθξχλεηαη απφ ην ζψκα ηνπ ζπγθεθξηκέλνπ θπηηάξνπ. Σν αμηνζεκείσην είλαη φηη ε θαηεχζπλζε είλαη πάληνηε ε ίδηα [14] ΣΜΗΜΑΣΙΚΑ ΓΡΑΜΜΙΚΗ ΤΝΑΡΣΗΗ ΔΝΔΡΓΟΠΟΙΗΗ (Piecewise Linear Function). Γηα απηφ ην είδνο ζπλάξηεζεο ελεξγνπνίεζεο πνπ θαίλεηαη ζην ζρήκα έρνπκε 1 1, v θ(.)= v, > v > , v - 2 φπνπ ν παξάγνληαο ελίζρπζεο (Amplification factor) κέζα ζηελ γξακκηθή πεξηνρή ηεο ζπλάξηεζεο ζεσξείηαη ίζνο κε ηε κνλάδα. Σν είδνο απηφ ησλ ζπλαξηήζεσλ κπνξεί λα ζεσξεζεί σο πξνζέγγηζε µε γξακκηθνχ εληζρπηή [7]. Οη δπν πεξηπηψζεηο παξαθάησ είλαη εηδηθέο κνξθέο ηεο Piecewise Linear Function: 1. Έλαο γξακκηθφο ζπλδηαζηήο ρξεζηκνπνηείηαη φηαλ ε γξαµµηθφηεηα ηεο πεξηνρήο ελεξγνπνίεζεο δηαηεξείηαη ρσξίο λα ππάξρνπλ θνξεζκνί. 2. Ζ Piecewise Linear Function κεηαηξέπεηαη ζε ζπλάξηεζε πφισζε (Threshold function) αλ ν παξάγνληαο ελίζρπζεο ηεο γξαµµηθήο πεξηνρήο γίλεη απείξσο κεγάινο φπσο δηεπθξηλίδεηαη παξαθάησ [5]. 21

22 ρήκα Piecewise Linear Function. (Σκεκαηηθά γξακκηθή ζπλάξηεζε) [7] ΙΓMΟΔΙΓΗ ΤΝΑΡΣΗΗ ΔΝΔΡΓΟΠΟΙΗΗ. Έλαο άιινο ηξφπνο κεηάδνζεο ηνπ ζήκαηνο απφ λεπξψλα ζε λεπξψλα είλαη εθείλνο ζηνλ νπνίν κπνξεί λα κελ ππάξρεη ραξαθηεξηζηηθή ηηκή πφισζεο. ε απηή ηελ πεξίπησζε, ην εηζεξρφκελν ζήκα λ ππφθεηηαη επεμεξγαζία κέζσ κηαο ζπλάξηεζεο ε νπνία απνθαιείηαη «ζπλάξηεζε κεηαθνξάο» (Transfer function) ή «ζπλάξηεζε ελεξγνπνίεζεο» (Activation function). Ζ ζπλάξηεζε ιέγεηαη ζηγκνεηδήο ζπλάξηεζε ιφγσ ηεο κνξθήο ηεο γξαθηθήο ηεο παξάζηαζεο. Ζ ζηγκνεηδήο ζπλάξηεζε είλαη ε επξχηεξα ρξεζηκνπνηνχκελε ζπλάξηεζε ελεξγνπνίεζεο ζηελ δεκηνπξγία ΣΝΓ. Οξίδεηαη ζαλ µηα γλεζίσο αχμνπζα ζπλάξηεζε πνπ είλαη νκαιή θαη αζπµπησηηθή [7]. Έλα παξάδεηγκα ζηγκνεηδνχο ζπλάξηεζεο ελεξγνπνίεζεο είλαη ε ζπλάξηεζε: 1 θ(v)= 1+exp(-av) φπνπ a είλαη ε παξάκεηξνο θιίζεο ηεο ζηγκνεηδνχο ζπλάξηεζεο. Με κεηαβνιή ηνπ a κπνξνχκε λα κεηαβάιινπκε ηελ θιίζε ηεο ζηγκνεηδνχο φπσο θαίλεηαη ζην ζρήκα πγθεθξηκέλα ε θιίζε ηεο ζηγκνεηδνχο ζηελ αξρή ησλ αμφλσλ ηζνχηαη µε a/4. ην φξην, θαζψο ην a ηείλεη πξνο ην άπεηξν, ε ζηγκνεηδήο ζπλάξηεζε ελεξγνπνίεζεο κεηαηξέπεηαη ζε ζπλάξηεζε ελεξγνπνίεζεο κε πόισζε (Threshold function). Αληίζεηα µε ηελ ζπλάξηεζε Heaviside πνπ παίξλεη ηηκέο 0 ή 1, ε ζηγκνεηδήο ζπλάξηεζε κπνξεί λα πάξεη φιεο ηηο ηηκέο απφ ην [0,1]. Δπίζεο ε ζηγκνεηδήο ζπλάξηεζε είλαη δηαθνξίζηµε ελψ ε ζπλάξηεζε Heaviside δελ είλαη [14]. 22

23 Σρήκα Σηγκνεηδήο ζπλάξηεζε ελεξγνπνίεζεο [7]. Μέρξη ηψξα νη ζπλαξηήζεηο πνπ αλαθέξζεθαλ παίξλνπλ ηηκέο απφ ην 0 σο ην +1, θάπνηεο θνξέο φκσο είλαη επηζπκεηφ ε ζπλάξηεζε ελεξγνπνίεζεο λα παίξλεη ηηκέο απφ ην -1 σο ην +1 [5]. πγθεθξηκέλα ε ζπλάξηεζε γίλεηαη: 1, v 0 θ(.)= 0, v = 0-1, v < 0 απφ: Χο παξάδεηγκα ζηγκνεηδνχο ζπλάξηεζεο κπνξνχκε λα πάξνπκε ηελ ππεξβνιηθή εθαπηφκελε πνπ δίλεηαη v 1-exp(-v) θ(v)=tanh( )= 2 1+exp(-v) Έλα θνηλφ ραξαθηεξηζηηθφ απηψλ ησλ ζπλαξηήζεσλ είλαη φηη πξέπεη λα είλαη πάληνηε κε γξακκηθέο. Γελ κπνξνχλ λα ρξεζηκνπνηεζνχλ γξακκηθέο ζπλαξηήζεηο γηαηί ηφηε ε έμνδνο ζα είλαη επζέσο αλάινγε κε ηελ είζνδν, θάηη πνπ δελ κπνξεί λα ζπκβεί ζηα λεπξσληθά δίθηπα. 2.7.ΑΡΥΙΣΔΚΣΟΝΙΚΔ ΣΔΥΝΗΣΧΝ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ Ο ηξφπνο µε ηνλ νπνίν νη λεπξψλεο ελφο ΣΝΓ είλαη δνκεκέλνη είλαη ζηελά ζπλδεδεκέλνο µε ηνλ αιγφξηζκν εθπαίδεπζεο πνπ ρξεζηκνπνηείηαη γηα ην δίθηπν. Γεληθά ππάξρνπλ ηέζζεξηο δηαθνξεηηθέο θιάζεηο αξρηηεθηνληθψλ δηθηχνπ ΜΟΝΟΣΡΧΜΑΣΙΚΑ ΣΡΟΦΟΓΟΣΟΤΜΔΝΑ ΠΡΟ ΣΑ ΔΜΠΡΟ ΓΙΚΣΤΑ (Single Layer Feedforward Networs) Ζ πην απιή κνξθή λεπξσληθνχ δηθηχνπ µε επίπεδα είλαη έλα λεπξσληθφ δίθηπν ελφο ζηξψκαηνο. ηελ πεξίπησζε απηή έρνπκε έλα ζηξψκα µε θφκβνπο εηζφδνπ πνπ πξνβάιινληαη ζε έλα ζηξψκα εμφδνπ µε λεπξψλεο. Σν αληίζεην φκσο δελ ηζρχεη, λα γίλεη δειαδή πξνβνιή ησλ λεπξψλσλ εμφδνπ ζηνπο θφκβνπο εηζφδνπ. Απηφ ην 23

24 δίθηπν είλαη απζηεξά έλα πξνο ηα εκπξφο ηξνθνδνηνχκελν δίθηπν θαη θαιείηαη «Feedforward Γίθηπν ελφο ηξψκαηνο». Με ηνλ φξν «ελφο ζηξψκαηνο» πεξηγξάθεηαη ην ζηξψκα εμφδνπ πνπ πεξηέρεη θαη ηνπο λεπξψλεο ζηνπο νπνίνπο γίλνληαη νη ππνινγηζκνί. εκεηψλεηαη φηη δελ ππνινγίδεηαη ην ζηξψκα εηζφδνπ µε ηνπο θφκβνπο εηζφδνπ γηαηί ζε απηφ δελ γίλνληαη θαζφινπ ππνινγηζκνί ΠΟΛΤΣΡΧΜΑΣΙΚΑ ΣΡΟΦΟΓΟΣΟΤΜΔΝΑ ΠΡΟ ΣΑ ΔΜΠΡΟ ΓΙΚΣΤΑ (Multilayer Feedforward Networs) Ζ δεχηεξε θαηεγνξία πξνο ηα εκπξφο ηξνθνδνηνχκελσλ δηθηχσλ δηαθέξεη απφ ηελ πξψηε ζηελ χπαξμε ελφο ή πεξηζζνηέξσλ θξπθψλ ζηξσκάησλ, ησλ νπνίσλ νη λεπξψλεο θαινχληαη θξπθνί λεπξψλεο. Ζ ιεηηνπξγία ησλ θξπθψλ λεπξψλσλ είλαη λα δέρνληαη ηα ζήκαηα απφ ηνπο θφκβνπο εηζφδνπ, νη νπνίνη δελ ιεηηνπξγνχλ σο λεπξψλεο απιά κεηαδίδνπλ ηηο ηηκέο ζην επφκελν ζηξψκα. Σειηθά ηα θξπθά ζηξψκαηα αθνχ δερζνχλ απηφ ην ζήκα ην κεηαθέξνπλ ζηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ. Με ηελ πξνζζήθε ελφο ή πεξηζζφηεξσλ ηέηνησλ ζηξσκάησλ, παξέρεηαη ε δπλαηφηεηα ζην δίθηπν λα πξνζεγγίδεη ζπλαξηήζεηο µε κεγαιχηεξε πνιππινθφηεηα. Οη θφκβνη εηζφδνπ ζην ζηξψκα εηζφδνπ παξέρνπλ ηα ζηνηρεία ησλ δηαλπζκάησλ ησλ πξνηχπσλ πνπ γίλνληαη είζνδνη ζηνπο λεπξψλεο ηνπ δεχηεξνπ επηπέδνπ, δειαδή ηνπ πξψηνπ θξπθνχ ζηξψκαηνο [5]. Σα ζήκαηα εμφδνπ ησλ λεπξψλσλ ηνπ δεχηεξνπ ζηξψκαηνο, ρξεζηκνπνηνχληαη ζαλ ζήκαηα εηζφδνπ ζην ηξίην ζηξψκα θαη ζπλερίδεηαη θαηά απηφ ηνλ ηξφπν ε ξνή ησλ ζεκάησλ κεηαμχ ησλ ζηξσκάησλ ηνπ δηθηχνπ. πλήζσο, νη λεπξψλεο ζε θάζε ζηξψκα ηνπ δηθηχνπ, παίξλνπλ σο είζνδν, ηα ζήκαηα εμφδνπ απφ ηνπο λεπξψλεο ηνπ πξνεγνπκέλνπ ζηξψκαηνο µφλν. Σν ζχλνιν ησλ ζεκάησλ εμφδνπ ζην ζηξψκα εμφδνπ (ηειεπηαίν ζηξψκα ηνπ δηθηχνπ), απνηειεί θαη ηελ απάληεζε ηνπ δηθηχνπ γηα ηα δεδνκέλα πνπ εηζάγνληαη ζηνπο θφκβνπο εηζφδνπ [7]. ην ζρήκα θαίλεηαη έλα πνιπζηξσκαηηθφ πξνο ηα εκπξφο ηξνθνδνηνχκελν δίθηπν µε έλα θξπθφ ζηξψκα. Γηα ζπληνκία ην δίθηπν ηνπ ζρήκαηνο αλαθέξεηαη θαη ζαλ δίθηπν αθνχ έρεη 10 θφκβνπο εηζφδνπ, 4 λεπξψλεο ζην θξπθφ ζηξψκα θαη 2 λεπξψλεο ζην ζηξψκα εμφδνπ. Γεληθά έλα δίθηπν µε p θφκβνπο εηζφδνπ, h 1 λεπξψλεο ζην πξψην θξπθφ ζηξψκα, h 2 λεπξψλεο ζην δεχηεξν θξπθφ ζηξψκα, θ.ιπ. h n λεπξψλεο ζην n-νζηφ θξπθφ ζηξψκα θαη q λεπξψλεο ζην ζηξψκα εμφδνπ, αλαθέξεηαη ζαλ έλα p h 1 h 2... h n q δίθηπν. Σρήκα Πνιπζηξσκαηηθφ πξνο ηα Δκπξφο Σξνθνδνηνχκελν Γίθηπν κε θξπθφ ζηξψκα θαη ηνπνινγία [5]. 24

25 Σν λεπξσληθφ δίθηπν ηνπ ζρήκαηνο ιέγεηαη φηη είλαη πιήξσο ζπλδεδεκέλν (Fully connected), µε ηελ έλλνηα φηη θάζε θφκβνο ζε θάζε ζηξψκα ηνπ δηθηχνπ είλαη ζπλδεδεκέλνο µε θάζε θφκβν ηνπ επφκελνπ ζηξψκαηνο ηνπ δηθηχνπ. ηελ πεξίπησζε πνπ θάπνηεο απφ ηηο ζπλδέζεηο δελ ππάξρνπλ ηφηε ιέκε φηη ην δίθηπν είλαη κεξηθψο ζπλδεδεκέλν (Partially connected). Έλα είδνο κεξηθψο ζπλδεδεκέλνπ πνιπζηξσκαηηθνχ πξνο ηα εκπξφο ηξνθνδνηνχκελνπ δηθηχνπ πνπ έρεη ηδηαίηεξν ελδηαθέξνλ είλαη έλα ηνπηθά ζπλδεδεκέλν δίθηπν [7]. Έλα παξάδεηγκα ηέηνηνπ δηθηχνπ µε έλα θξπθφ ζηξψκα απεηθνλίδεηαη ζην ζρήκα Σρήκα Τνπηθά Γηαζπλδεδεκέλν Πνιπζηξσκαηηθφ πξνο ηα Δκπξφο Σξνθνδνηνχκελν Γίθηπν [5]. Κάζε λεπξψλαο ζην θξπθφ ζηξψκα ζπλδέεηαη µε έλα ηνπηθφ ζχλνιν απφ θφκβνπο εηζφδνπ πνπ βξίζθνληαη θνληά ζε απηφλ. Απηφ ην ηνπηθφ ζχλνιν θαιείηαη ην πεδίν ππνδνρήο (Receptive field) ηνπ λεπξψλα. Οκνίσο θάζε λεπξψλαο ηνπ ζηξψκαηνο εμφδνπ ζπλδέεηαη µε έλα ηνπηθφ ζχλνιν λεπξψλσλ ηνπ θξπθνχ ζηξψκαηνο. Σν δίθηπν ηνπ ζρήκαηνο έρεη ηνλ ίδην αθξηβψο αξηζκφ θφκβσλ εηζφδνπ, θξπθψλ λεπξψλσλ θαη λεπξψλσλ εμφδνπ µε ην δίθηπν ηνπ ζρήκαηνο Αλ ζπγθξίλνπκε απηά ηα δχν δίθηπα, παξαηεξνχκε φηη ην ηνπηθά ζπλδεδεκέλν δίθηπν ηνπ ζρήκαηνο έρεη εμεηδηθεπκέλε δνκή. ηελ πξάμε ε εμεηδηθεπκέλε δνκή πνπ δίλεηαη ζην λεπξσληθφ δίθηπν αληηθαηνπηξίδεη πξνεγνχκελε πιεξνθνξία πνπ ππάξρεη γηα ηα ραξαθηεξηζηηθά ησλ δεδνκέλσλ πξνηχπσλ πνπ ζα εηζαρζνχλ ζην δίθηπν γηα θαηεγνξηνπνίεζε [5] ΑΝΑΓΡΟΜΙΚΑ ΣΔΥΝΗΣΑ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ (Recurrent Neural Networs) Έλα αλαδξνκηθφ λεπξσληθφ δίθηπν δηαθέξεη απφ έλα πξνο ηα εκπξφο ηξνθνδνηνχκελν δίθηπν ζην γεγνλφο φηη πεξηέρεη έλαλ ηνπιάρηζηνλ βξφγρν αλαηξνθνδφηεζεο. Απηφ ζεκαίλεη φηη ζε έλαλ ηνπιάρηζηνλ λεπξψλα, ην ζήκα εμφδνπ ηνπ επεξεάδεη ην ζήκα πνπ έξρεηαη ζηελ είζνδν ηνπ λεπξψλα. Έλαο ηέηνηνο βξφγρνο θαίλεηαη ζην ζρήκα Γηα παξάδεηγκα, έλα αλαδξνκηθφ λεπξσληθφ δίθηπν κπνξεί λα απνηειείηαη απφ έλα µφλν ζηξψκα λεπξψλσλ φπνπ θάζε λεπξψλαο επηζηξέθεη ην ζήκα εμφδνπ ηνπ σο ζήκα εηζφδνπ ζε φινπο ηνπο άιινπο λεπξψλεο ηνπ ζηξψκαηνο φπσο δείρλεη ην ζρήκα ην ζρήκα απηφ δελ ππάξρνπλ βξφγρνη φπνπ έλαο λεπξψλαο λα επηζηξέθεη ην ζήκα εμφδνπ ηνπ σο είζνδν ζηνλ αξρηθφ λεπξψλα νχηε θξπθνί λεπξψλεο. ην ζρήκα παξνπζηάδεηαη µηα άιιε θιάζε αλαδξνκηθψλ λεπξσληθψλ δηθηχσλ πνπ έρνπλ θξπθνχο λεπξψλεο [5]. Οη αλαδξνκηθέο ζπλδέζεηο πνπ θαίλνληαη ζην ζρήκα, μεθηλάλε ηφζν απφ ηνπο θξπθνχο λεπξψλεο φζν θαη απφ ηνπο λεπξψλεο εμφδνπ [7]. Ζ χπαξμε απηή ησλ βξφγρσλ φπσο θαίλνληαη ζηα ζρήκαηα θαη επεξεάδεη ζεκαληηθά ηελ επίδνζε θαη ηελ ηθαλφηεηα ηνπ δηθηχνπ λα εθπαηδεπζεί. Δπίζεο, νη αλαδξνκηθνί βξφγρνη 25

26 πεξηιακβάλνπλ θαη ηελ ρξήζε ζηνηρείσλ θαζπζηέξεζεο (ζην ζρήκα ζπκβνιίδνληαη µε z 1 ) έρνληαο σο απνηέιεζκα µηα δπλεηηθή µε γξακκηθή ζπκπεξηθνξά ηνπ δηθηχνπ. Σρήκα Βξόγρνο ζε αλαδξνκηθό ΤΝΓ [5]. Σρήκα Αλαδξνκηθό ΤΝΓ µε έλα ζηξώκα [5]. Σρήκα Αλαδξνκηθό δίθηπν κε λ θξπθνύο λεπξώλεο. 26

27 ΠΛΔΓΜΑΣΙΚΔ ΓΟΜΔ (Lattice Structures) Έλα πιέγκα απνηειείηαη απφ έλαλ κνλνδηάζηαην, δηζδηάζηαην ή πνιπδηάζηαην πίλαθα απφ λεπξψλεο µε έλα αληίζηνηρν ζχλνιν θφκβσλ εηζφδνπ πνπ παξέρνπλ ηα ζήκαηα εηζφδνπ ζηνλ πίλαθα. Ζ δηάζηαζε ηνπ πιέγκαηνο αλαθέξεηαη ζηνλ αξηζκφ ησλ δηαζηάζεσλ ηνπ ρψξνπ ζηνλ νπνίν βξίζθεηαη ην πιέγκα. ηα παξαθάησ ζρήκαηα παξαδείγκαηα, έλα κνλνδηάζηαην πιέγκα ζην ζρήκα µε ηξεηο λεπξψλεο θαη ηξεηο θφκβνπο εηζφδνπ θαη έλα δηζδηάζηαην πιέγκα ζην ζρήκα µε 3 3 λεπξψλεο θαη ηξεηο θφκβνπο εηζφδνπ [5]. εκεηψλεηαη φηη θαη ζηηο δχν πεξηπηψζεηο θάζε θφκβνο εηζφδνπ ζπλδέεηαη µε θάζε λεπξψλα ηνπ πιέγκαηνο. ηελ πξάμε έλα πιεγκαηηθφ δίθηπν είλαη έλα πξνο ηα εκπξφο ηξνθνδνηνχκελν δίθηπν ηνπ νπνίνπ νη λεπξψλεο είλαη δηαηεηαγκέλνη ζε γξακκέο θαη ζηήιεο [7]. Σρήκα Μνλνδηάζηαην πιέγκα [5]. Σρήκα Γηζδηάζηαην πιέγκα [5]. 2.8.ΣΟΙΥΔΙΑ ΣΗ ΘΔΧΡΙΑ ΜΑΘΗΗ - ΚΑΝΟΝΔ ΜΑΘΗΗ Αλάκεζα ζηηο ηδηφηεηεο ελφο λεπξσληθνχ δηθηχνπ απηή κε ηελ κεγαιχηεξε ζπνπδαηφηεηα είλαη ε ηθαλφηεηα ηνπ λα καζαίλεη απφ ην πεξηβάιινλ ηνπ θαη έηζη λα βειηηψλεη ηελ απφδνζε κέζσ ηεο κάζεζεο. Ζ βειηίσζε απηή γίλεηαη ζηαδηαθά κέζσ ηνπ ρξφλνπ, ζχκθσλα κε θάπνην θαζνξηζκέλν κέηξν. Ζ κάζεζε επαλαιακβάλεηαη κέζσ κηαο επαλαιεπηηθήο δηαδηθαζίαο ξπζκίζεσλ ηεο ηηκήο ησλ ζπλαπηηθψλ βαξψλ θαη ησλ πνιψζεσλ. Θεσξεηηθά ην δίθηπν απνθηά πεξηζζφηεξε γλψζε γηα ην πεξηβάιινλ ηνπ κεηά απφ θάζε επαλάιεςε 27

28 ηεο δηαδηθαζίαο κάζεζεο. Με ηνλ φξν κάζεζεο θαη ζχκθσλα κε ηνλ νξηζκφ ησλ Mendel θαη McClaren (1970) [7]. Μάθηζη είλαη κηα δηαδηθαζία ζχκθσλα κε ηελ νπνία πξνζαξκφδνληαη νη ειεχζεξνη παξάκεηξνη ελφο λεπξσληθνχ δηθηχνπ κέζσ κηαο ζπλερνχο δηαδηθαζίαο ελεξγνπνίεζεο απφ ην πεξηβάιινλ ζην φπνην βξίζθεηαη ην δίθηπν. Σν είδνο ηεο κάζεζεο θαζνξίδεηαη απφ ηνλ ηξφπν κε ηνλ νπνίν πξαγκαηνπνηνχληαη νη αιιαγέο ησλ παξακέηξσλ [3]. Ο παξαπάλσ νξηζκφο ηεο κάζεζεο ζπλεπάγεηαη ηελ αθφινπζε ζεηξά βεκάησλ: 1. ην λεπξσληθφ δίθηπν δέρεηαη πιεξνθνξίεο απφ ην πεξηβάιινλ θαη ελεξγνπνηείηαη. 2. ην λεπξσληθφ δίθηπν πθίζηαηαη αιιαγέο ζαλ ζπλέπεηα απηήο ηεο ελεξγνπνίεζεο. 3. ην λεπξσληθφ δίθηπν απαληά κε έλα θαηλνχξγην ηξφπν ζην πεξηβάιινλ, ιφγσ ησλ αιιαγψλ πνπ έγηλαλ ζηελ εζσηεξηθή δνκή ηνπ [5]. Έλα ζχλνιν απφ θαιά νξηζκέλνπο θαλφλεο γηα ηελ ιχζε ελφο πξνβιήκαηνο κάζεζεο θαιείηαη αλγόπιθμορ μάθηζηρ. πσο είλαη θαλεξφ δελ ππάξρεη κνλαδηθφο ηέηνηνο αιγφξηζκνο γηα ηνλ ζρεδηαζκφ λεπξσληθψλ δηθηχσλ. Αληίζεηα ππάξρεη έλα ζχλνιν απφ εξγαιεία πνπ αλαπαξηζηάλνληαη απφ κηα κεγάιε πνηθηιία κάζεζεο ν θαζέλαο απφ ηνπο νπνίνπο έρεη δηαθνξεηηθά πιενλεθηήκαηα. Καηά βάζε νη αιγφξηζκνη δηαθέξνπλ ζηνλ ηξφπν πνπ εθθξάδεηαη ε θάζε ξχζκηζε ζην βάξνο ζχλδεζεο αιιά θαη κε ην ηξφπν κε ηνλ νπνίν ην λεπξσληθφ δίθηπν ζρεηίδεηαη κε ην πεξηβάιινλ [14]. Πην ζπγθεθξηκέλα ζεσξνχκε έλα δεπγάξη απφ ζήκαηα θφκβσλ, x j θαη v πνπ ζπλδένληαη απφ έλα βάξνο ζχλαςεο φπσο θαίλεηαη ζην ζρήκα Σρήκα Γηάγξακκα ξνήο ηνπ ζήκαηνο κεηαμύ δύν λεπξώλσλ [5]. Σν ζήκα x j παξηζηάλεη ην ζήκα εμφδνπ ηνπ λεπξψλα j θαη ην ζήκα v αληηπξνζσπεχεη ηελ εζσηεξηθή δξαζηεξηφηεηα ηνπ λεπξψλα, δειαδή ηελ πνζφηεηα ε νπνία πξφθεηηαη απφ ην άζξνηζκα ησλ δεδνκέλσλ πνπ θηάλνπλ ζε απηφλ. ζνλ αθνξά ην βάξνο w j ηεο ζχλαςεο, ηα ζήκαηα x j θαη v θαινχληαη πξνζπλαπηηθή θαη κεηαζπλαπηηθή δξαζηεξηφηεηα αληίζηνηρα. Έζησ φηη µε w j (n) ζεκεηψλεηαη ε ηηκή ηνπ βάξνπο w j ηελ ρξνληθή ζηηγκή n. Σε ζηηγκή n γίλεηαη µηα πξνζαξκνγή Γw j (n) ηνπ βάξνπο w j(n) πνπ έρεη σο απνηέιεζκα ηελ λέα ηηκή γηα ην βάξνο w j (n+1). Γξάθνπκε δειαδή: w j (n +1) = w j (n)+γw j (n) Ζ παξαπάλσ εμίζσζε πεξηγξάθεη ηα γεγνλφηα 1 θαη 2 ηνπ νξηζκνχ πνπ δφζεθε. πγθεθξηκέλα, ε πξνζαξκνγή Γw j (n) ηνπ βάξνπο ππνινγίδεηαη ζαλ απνηέιεζκα ελφο εξεζίζκαηνο απφ ην πεξηβάιινλ (γεγνλφο 1) 28

29 θαη ε λέα ηηκή w j (n+1) ηνπ βάξνπο νξίδεη ηελ αιιαγή πνπ επέξρεηαη ζην δίθηπν ζπλεπεία ηνπ εξεζίζκαηνο πνπ απηφ δέρηεθε (γεγνλφο 2). Σν γεγνλφο 3 ιακβάλεη ρψξα φηαλ επαλαυπνινγίδεηαη ε απάληεζε ηνπ δηθηχνπ µε βάζε ηα λέα βάξε w j (n +1). 2.9.ΑΛΓΟΡΙΘΜΟΙ ΜΑΘΗΗ Γηα ηελ εθπαίδεπζε ησλ ΣΝΓ, δειαδή γηα ηνλ ηξφπν πνπ ζα κεηαβάιινληαη νη ειεχζεξεο παξάκεηξνη ψζηε λα επηηπγράλεηαη ε ζσζηή έμνδνο γηα ην ΣΝΓ αλάινγα µε ηα δεδνκέλα πνπ εηζέξρνληαη ζε απηφ ρξεζηκνπνηνχληαη αιγφξηζκνη εθπαίδεπζεο. Οπιζμόρ : Αλγόριθμος εκπαίδεσζης, θαιείηαη έλα πξνθαζνξηζκέλν ζχλνιν απφ θαλφλεο πνπ ρξεζηκνπνηνχληαη γηα ηελ επίιπζε ελφο πξνβιήκαηνο κάζεζεο. Γελ ππάξρεη έλαο κνλαδηθφο αιγφξηζκνο εθπαίδεπζεο θαηάιιεινο γηα φιεο ηηο πεξηπηψζεηο. Αληίζεηα ππάξρεη έλα ζχλνιν αιγνξίζκσλ πνπ ρξεζηκνπνηνχληαη θαηά πεξίπησζε αλάινγα µε ηα πιενλεθηήκαηα θαη ηα κεηνλεθηήκαηα θάζε ελφο θαη ην είδνο ηνπ πξνβιήκαηνο εθπαίδεπζεο. Σν βαζηθφ ζεκείν ζην νπνίν δηαθέξνπλ νη αιγφξηζκνη εθπαίδεπζεο είλαη ν ηξφπνο µε ηνλ νπνίν πξνζαξκφδνπλ µε ην Γw j ηα βάξε w j ησλ ζπλάςεσλ. Έλα άιιν ζεκείν πνπ πξέπεη λα ιακβάλεηαη ππφςε είλαη ν ηξφπνο µε ηνλ νπνίν έλα ΣΝΓ επηθνηλσλεί µε ην πεξηβάιινλ ηνπ. Πξφθεηηαη γηα έλα εθπαηδεπηηθφ παξάδεηγκα πνπ αλαθέξεηαη ζε έλα κνληέιν ηνπ πεξηβάιινληνο κέζα ζην νπνίν ιεηηνπξγεί ην ΣΝΓ. ην ζρήκα 2.9. απεηθνλίδεηαη έλα ζρεδηάγξακκα ηξφπσλ εθπαίδεπζεο ΣΝΓ. Σρήκα 2.9 Μέζνδνη εθπαίδεπζεο [5] ΜΑΘΗΗ MΔ ΓΙΟΡΘΧΗ ΦΑΛΜΑΣΟ (Error Correction Learning) Έζησ φηη d (n) είλαη ε επηζπκεηή απάληεζε ή απάληεζε ζηφρνο (Target response) γηα θάπνηνλ λεπξψλα ηελ ρξνληθή ζηηγκή n. Έζησ φηη ε αληίζηνηρε πξαγκαηηθή απάληεζε ηνπ λεπξψλα παξηζηάλεηαη µε y (n). Ζ απάληεζε y (n) πξνθαιείηαη απφ έλα εξέζηζκα (πξφηππν) x(n) πνπ εηζάγεηαη ζην επίπεδν εηζφδνπ ηνπ ΣΝΓ ηνπ νπνίνπ ζηνηρείν είλαη ν λεπξψλαο. Σν πξφηππν x(n) θαη ε επηζπκεηή απάληεζε d (n) γηα ηνλ λεπξψλα απνηεινχλ έλα ζπγθεθξηκέλν παξάδεηγκα γηα ην ΣΝΓ ηελ ρξνληθή ζηηγκή n. Τπνζέηνπκε φηη απηφ ην παξάδεηγκα θαζψο θαη φια ηα άιια παξαδείγκαηα πνπ δίλνληαη ζην δίθηπν, παξάγνληαη απφ έλα πεξηβάιινλ πνπ είλαη πηζαλνζεσξεηηθφ αιιά δελ είλαη γλσζηή ε θαηαλνκή πνπ έρνπλ ηα ζηνηρεία ηνπ [5]. ηελ πξάμε, ζπλήζσο, ε πξαγκαηηθή απάληεζε y (n) ηνπ λεπξψλα είλαη δηαθνξεηηθή απφ ηελ απάληεζε ζηφρν d (n). Έηζη κπνξεί λα νξηζηεί έλα ζήκα ζθάικαηνο σο ηελ δηαθνξά κεηαμχ ηεο επηζπκεηήο απάληεζεο d (n) θαη ηεο πξαγκαηηθήο απάληεζεο y (n) ηνπ λεπξψλα, φπσο θαίλεηαη απφ ηελ παξαθάησ εμίζσζε. 29

30 e n = d n - y (n) Ο ηειηθφο ζηφρνο ηεο εθπαίδεπζεο µε δηφξζσζε ζθάικαηνο είλαη ε ειαρηζηνπνίεζε κίαο ζπλάξηεζεο θφζηνπο πνπ βαζίδεηαη ζην ζθάικα e (n), έηζη ψζηε ε πξαγκαηηθή απάληεζε θάζε λεπξψλα ζην δίθηπν λα πιεζηάδεη ηελ επηζπκεηή απάληεζε γηα ηνλ λεπξψλα ρσξίο ζεκαληηθέο απνθιίζεηο. Έλα θξηηήξην πνπ ρξεζηκνπνηείηαη ζπρλά σο ζπλάξηεζε θφζηνπο είλαη ην θξηηήξην ηνπ κέζνπ ηεηξαγσληθνχ ζθάικαηνο, πνπ νξίδεηαη σο ε κέζε ηεηξαγσληθή ηηκή ηνπ αζξνίζκαηνο ηνπ ηεηξαγψλνπ ησλ ζθαικάησλ: J=E 1 2 e (n) 2 Σν άζξνηζκα είλαη ησλ ζθαικάησλ ησλ λεπξψλσλ εμφδνπ ηνπ ΣΝΓ. Ζ ειαρηζηνπνίεζε ηεο J σο πξνο ηηο παξακέηξνπο ηνπ δηθηχνπ νδεγεί ζηελ κέζνδν Gradientdescent ([19], [34]). ηελ πξάμε δελ είλαη δπλαηφλ λα βξεζεί ε αθξηβήο ιχζε ηνπ πξνβιήκαηνο βειηηζηνπνίεζεο µε απηή ηελ κέζνδν θαη επνκέλσο πεξηνξηδφκαζηε ζηελ εχξεζε κίαο πξνζεγγηζηηθήο ιχζεο. πγθεθξηκέλα, ρξεζηκνπνηνχκε ηελ ζηηγκηαία ηηκή ηνπ αζξνίζκαηνο ησλ ηεηξαγσληθψλ ζθαικάησλ σο θξηηήξηα: 1 E (n)= ' 2 2 e (n) ε απηή ηελ πεξίπησζε ην δίθηπν βειηηζηνπνηείηαη ειαρηζηνπνηψληαο ηελ ' E (n) σο πξνο ηα βάξε ησλ ζπλάςεσλ ηνπ δηθηχνπ. Έηζη, ζχκθσλα µε ηνλ θαλφλα εθπαίδεπζεο µε δηφξζσζε ζθάικαηνο, ε πξνζαξκνγή Γw j (n) πνπ γίλεηαη ζην βάξνο w j ηελ ρξνληθή ζηηγκή n δίλεηαη απφ ηνλ παξαθάησ ηχπν [18]: Γw j n = he n x j n πνπ h είλαη µηα ζεηηθή ζηαζεξά πνπ θαζνξίδεη ην ξπζκφ εθπαίδεπζεο. Απφ ηελ εμίζσζε απηή βιέπνπκε φηη ε πξνζαξκνγή πνπ γίλεηαη ζηα βάξε είλαη αλάινγε µε ην ζθάικα θαη ην ζήκα εηζφδνπ ηεο ζχλαςεο πνπ είλαη ην ζήκα εμφδνπ ηνπ πξνζπλαπηηθνχ λεπξψλα. Γεληθά ε εθπαίδεπζε µε δηφξζσζε ζθάικαηνο απνηειεί έλα ζχζηεκα θιεηζηνχ βξφγρνπ. Χο εθ ηνχηνπ ζα πξέπεη ε ηηκή ηνπ ξπζκνχ εθπαίδεπζεο h λα επηιέγεηαη έηζη ψζηε λα εμαζθαιίδεηαη ε ζηαζεξφηεηα ηεο δηαδηθαζίαο. Ζ ζεκαζία ηεο ηηκήο πνπ δίλεηαη ζηνλ ξπζκφ εθπαίδεπζεο είλαη κεγάιε γηαηί δελ επεξεάδεη µφλν ηνλ ξπζκφ ζχγθιηζεο ηεο εθπαίδεπζεο αιιά θαη ηελ ίδηα ηελ ζχγθιηζε ηεο δηαδηθαζίαο. Αλ ην h είλαη αξθεηά κηθξφ ε δηαδηθαζία εθπαίδεπζεο πξνρσξάεη νκαιά αιιά είλαη ρξνλνβφξα θαη ην ζχζηεκα αξγεί λα ζπγθιίλεη ζε µηα ζηαζεξή ιχζε. Απφ ηελ άιιε πιεπξά, αλ ην h επηιεγεί κεγάιν, ν ξπζκφο ηεο εθπαίδεπζεο ζα επηηαρχλεηαη αιιά ηφηε ε δηαδηθαζία εθπαίδεπζεο κπνξεί λα απνθιίλεη θαη ην ζχζηεκα λα γίλεη αζηαζέο. ηελ εθπαίδεπζε µε δηφξζσζε ζθάικαηνο, ζηφρνο είλαη ε ειαρηζηνπνίεζε ηεο ζπλάξηεζεο J. Κάλνληαο ηελ γξαθηθή παξάζηαζε ηεο ζπλάξηεζεο J µε ηα βάξε ησλ ζπλάςεσλ δεκηνπξγείηαη µηα πνιπδηάζηαηε επηθάλεηα πνπ θαιείηαη επηθάλεηα ζθάικαηνο θαη αλάινγα µε ηνλ ηχπν ησλ λεπξψλσλ ηνπ ΣΝΓ κπνξνχκε λα δηαθξίλνπκε δχν πεξηπηψζεηο: 30

31 1. Σν λεπξσληθφ δίθηπν απνηειείηαη µφλν απφ γξακκηθνχο λεπξψλεο. ε απηή ηελ πεξίπησζε ε επηθάλεηα ζθάικαηνο είλαη µηα ηεηξαγσληθή ζπλάξηεζε ησλ βαξψλ ηνπ δηθηχνπ, δειαδή έρεη έλα θαη κνλαδηθφ ειάρηζην. 2. Σν λεπξσληθφ δίθηπν απνηειείηαη απφ µε γξακκηθνχο λεπξψλεο. ε απηή ηελ πεξίπησζε ε επηθάλεηα ζθάικαηνο έρεη έλα ή θαη πεξηζζφηεξα νιηθά ειάρηζηα θαη έλα ή πεξηζζφηεξα ηνπηθά ειάρηζηα. Καη ζηηο δχν πεξηπηψζεηο ε αξρή γίλεηαη απφ έλα απζαίξεην ζεκείν πάλσ ζηελ επηθάλεηα ζθάικαηνο ην νπνίν θαζνξίδεηαη απφ ηηο αξρηθέο ηηκέο ησλ βαξψλ ηνπ ΣΝΓ θαη ζηφρνο είλαη λα βξεζεί ην νιηθφ ειάρηζην. ηελ πξψηε πεξίπησζε ν ζηφρνο απηφο είλαη εθηθηφο, ζηελ δεχηεξε φκσο πεξίπησζε δελ είλαη πάληα δπλαηφλ λα βξεζεί ην νιηθφ ειάρηζην γηαηί είλαη δπλαηφλ ν αιγφξηζκνο λα ζπγθιίλεη ζε έλα ηνπηθφ ειάρηζην απφ ην νπνίν λα µελ κπνξεί λα μεθχγεη [5] ΚΑΝΟΝΑ ΜΑΘΗΗ ΣΟΤ HEBB (HEBBIAN LEARNING) Ζ κέζνδνο απηή εθπαίδεπζεο είλαη ε πην παιηά θαη πην δηάζεκε κέζνδνο. Σν φλνκα ηεο ην πήξε απφ ηνλ λεπξνςπρνιφγν Hebb (1949) ν νπνίνο ζην βηβιίν ηνπ «Ζ Οξγάλσζε ηεο πκπεξηθνξάο» γξάθεη πσο φηαλ έλαο άμνλαο ηνπ θπηηάξνπ Α είλαη αξθεηά θνληά ζην λα δηεγείξεη έλα θχηηαξν Β θαη επαλεηιεκκέλα ή επίκνλα επζχλεηαη γηα ηε δηέγεξζή ηνπ, ηφηε ιακβάλεη ρψξα µηα αιιαγή ζην έλα ή θαη ηα δχν θχηηαξα ψζηε λα απμάλεηαη ε απνηειεζκαηηθφηεηα ηνπ θπηηάξνπ Α ζην λα δηεγείξεη ην θχηηαξν Β [5]. Ζ παξαπάλσ πξφηαζε έρεη απνδνζεί µε λεπξνβηνινγηθνχο φξνπο. Μπνξεί λα επεθηαζεί θαη λα αλαδηαηππσζεί, ψζηε λα αλαθέξεηαη ζηα ΣΝΓ, σο εμήο: 1. Αλ δχν λεπξψλεο ζηα άθξα κίαο ζχλαςεο ελεξγνπνηνχληαη ζπγρξφλσο, ηφηε ε ηζρχο απηήο ηεο ζχλαςεο απμάλεηαη επηιεθηηθά. 2. Αλ δχν λεπξψλεο ζηα άθξα κίαο ζχλαςεο ελεξγνπνηνχληαη αζχγρξνλα, ηφηε ε ζχλαςε απνδπλακψλεηαη ή δηαγξάθεηαη επηιεθηηθά. Μηα ηέηνηα ζχλαςε θαιείηαη Σύλαςε Hebb. Πην ζπγθεθξηκέλα ζύλαςε ηνπ Hebb θαιείηαη µηα ζχλαςε πνπ ρξεζηκνπνηεί έλα κεραληζκφ πνπ εμαξηάηαη απφ ην ρξφλν θαη ε απνηειεζκαηηθφηεηα ηεο θαζνξίδεηαη απφ ηα απνηειέζκαηα ηεο ζπζρέηηζεο ηεο πξνζπλαπηηθήο θαη κεηαζπλαπηηθήο δξαζηεξηφηεηαο. Απφ ηνλ νξηζκφ απηφ κπνξνχλ λα εμαρζνχλ νη ηέζζεξηο κεραληζκνί πνπ ραξαθηεξίδνπλ µηα ζχλαςε Hebb : 1. Μεραληζκόο πνπ εμαξηάηαη από ηνλ ρξόλν. Απηφο ν κεραληζκφο αλαθέξεηαη ζην γεγνλφο φηη ζε µηα ζχλαςε Hebb νη κεηαβνιέο πνπ γίλνληαη εμαξηψληαη απφ ηνλ αθξηβή ρξφλν ζηνλ νπνίν δηελεξγείηαη ε πξνζπλαπηηθή θαη κεηαζπλαπηηθή δξαζηεξηφηεηα. 2. Τνπηθόο κεραληζκόο. Ζ ηζρχο κίαο ζχλαςεο Hebb εμαξηάηαη απφ ην άκεζν πεξηβάιινλ ηεο 3. Γηαδξαζηηθόο κεραληζκόο. Μηα αιιαγή ζε µηα ζχλαςε Hebb εμαξηάηαη απφ ηα επίπεδα δξαζηεξηφηεηαο θαη ζηα δχν άθξα ηεο ζχλαςεο. Γειαδή, ν ηξφπνο κάζεζεο ηνπ Hebb εμαξηάηαη απφ «πξαγκαηηθή δηάδξαζε» κεηαμχ ησλ πξνζπλαπηηθψλ θαη κεηαζπλαπηηθψλ δξαζηεξηνηήησλ αθνχ δελ κπνξεί λα γίλεη ε πξφβιεςε ηεο κεηαβνιήο απφ ηελ θάζε µία δξαζηεξηφηεηα μερσξηζηά. 31

32 4. Σπζρεηηζηηθόο κεραληζκόο. πσο αλαθέξζεθε ζχκθσλα µε ηνλ θαλφλα κάζεζεο ηνπ Hebb, ε ζπλζήθε γηα λα γίλεη µηα κεηαβνιή ζηελ απνηειεζκαηηθφηεηα κίαο ζχλαςεο, είλαη ν ζπλδηαζµφο πξνζπλαπηηθήο θαη κεηαζπλαπηηθήο δξαζηεξηφηεηαο. Έηζη ε ζχκπησζε πξνζπλαπηηθήο θαη κεηαζπλαπηηθήο δξαζηεξηφηεηαο, κέζα ζηα φξηα ελφο κηθξνχ ρξνληθνχ δηαζηήκαηνο, αξθεί γηα λα πξνθαιέζεη ηελ κεηαβνιή ηεο ζχλαςεο. 5. Ο ηξφπνο πνπ µηα ζχλαςε Hebb ελδπλακψλεηαη ε απνδπλακψλεηαη εμαξηάηαη απφ ην αλ ε πξνζπλαπηηθή θαη κεηαζπλαπηηθή δξαζηεξηφηεηα είλαη ζεηηθά ζπζρεηηζκέλε, νπφηε θαη ε ζχλαςε ελδπλακψλεηαη, ή αξλεηηθά ζπζρεηηζκέλε νπφηε θαη ε ζχλαςε απνδπλακψλεηαη [5]. Έζησ έλαο λεπξψλαο µε βάξνο ζχλαςεο w j θαη πξνζπλαπηηθέο θαη κεηαζπλαπηηθέο δξαζηεξηφηεηεο x j θαη y αληίζηνηρα. χκθσλα µε ηνλ θαλφλα ηνπ Hebb, ε κεηαβνιή πνπ εθαξκφδεηαη ζην βάξνο w j ηελ ρξνληθή ζηηγκή n είλαη ηεο κνξθήο: Γw j n = F y n, x j n φπνπ F(, ) είλαη µηα ζπλάξηεζε ησλ πξνζπλαπηηθψλ θαη κεηαζπλαπηηθψλ δξαζηεξηνηήησλ. Μηα εηδηθή πεξίπησζε ηεο F είλαη ε hy (n)x j (n) νπφηε ε πην πάλσ εμίζσζε γίλεηαη: Γw j n = hy n x j n φπνπ h είλαη ν ξπζκφο εθπαίδεπζεο. Ζ εμίζσζε απηή είλαη ν πην απιφο θαλφλαο γηα κεηαβνιή ησλ ζπλαπηηθψλ βαξψλ πνπ εθθξάδεηαη ζαλ ην γηλφκελν ηεο πξνζπλαπηηθήο θαη κεηαζπλαπηηθήο δξαζηεξηφηεηαο θαη δείρλεη ηελ ζπζρεηηζηηθή θχζε κίαο ζχλαςεο Hebb. Ζ επαλεηιεκκέλε εθαξκνγή ηνπ ζήκαηνο εηζφδνπ x j νδεγεί ζε εθζεηηθή αχμεζε ηνπ βάξνο ηεο ζχλαςεο πνπ νδεγεί ηειηθά ην βάξνο w j ζε θνξεζκφ. Γηα λα απνθεπρζεί απηή ε πεξίπησζε είλαη απαξαίηεην λα επηβιεζεί έλα φξην ζηελ αχμεζε ησλ βαξψλ. Γηα ηνλ ιφγν απηφ εηζάγεηαη έλαο παξάγνληαο ζηνλ ηχπν ηεο κεηαβνιήο Γw j (n) ησλ βαξψλ ([35], [36], [37]) ν νπνίνο δίλεηαη ζηελ εμίζσζε: Γw j n = hy n x j n - ay n w j(n) φπνπ a είλαη µηα ζεηηθή ζηαζεξά θαη w j (n) ην βάξνο ηεο ζχλαςεο ηελ ρξνληθή ζηηγκή n. Ηζνδχλακα κπνξνχκε λα γξάςνπκε θαη: Γw j n = ay n cx j n - w j n φπνπ h c = a. w j(n) Ζ εμίζσζε απηή ζπλεπάγεηαη φηη γηα εηζεξρφκελα ζήκαηα γηα ηα νπνία ηζρχεη x j(n) <, ην βάξνο c w j (n +1) ηελ ρξνληθή ζηηγκή n +1 ζα έρεη κεησζεί ζε ζρέζε µε ηελ ηηκή πνπ είρε ηελ ρξνληθή ζηηγκή n θαηά έλα 32

33 w πνζφ αλάινγν µε ηελ κεηαζπλαπηηθή δξαζηεξηφηεηα y (n). Αλ αληίζεηα ηζρχεη j(n) x j(n) > ηφηε ην βάξνο c w j (n +1) ζα απμεζεί αλάινγα µε ην y (n). Καηά απηφ ηνλ ηξφπν ην ζεκείν ηζνξξνπίαο γηα ην αλ ζα απμεζεί ή ζα κεησζεί ην βάξνο ηεο ζχλαςεο ηελ ρξνληθή ζηηγκή n +1 είλαη µηα κεηαβιεηή ίζε µε w j(n) θαη εμαξηάηαη απφ c ην βάξνο ηεο ζχλαςεο ηελ ψξα ηεο πξνζπλαπηηθήο ελεξγνπνίεζεο. Απηή ε πξνζέγγηζε ιχλεη ην πξφβιεκα πνπ κπνξεί λα δεκηνπξγεζεί απφ ηελ πνιχ κεγάιε αχμεζε ησλ βαξψλ αθνχ ηα κεηαβάιιεη µε αξλεηηθφ ξπζκφ αχμεζεο [5]. Έλαο άιινο ηξφπνο καζεκαηηθήο κνληεινπνίεζεο ηνπ θαλφλα κάζεζεο ηνπ Hebb είλαη κνληεινπνίεζε κέζα απφ ζηαηηζηηθνχο φξνπο. Γειαδή ν ηξφπνο πνπ γίλνληαη νη αιιαγέο ησλ βαξψλ είλαη αλάινγνο ηεο δηαζπνξάο κεηαμχ πξνζπλαπηηθήο θαη κεηαζπλαπηηθήο δξαζηεξηφηεηαο. πγθεθξηκέλα ε κεηαβνιή ηνπ βάξνπο w j ηελ ρξνληθή ζηηγκή n γξάθεηαη σο: Γw j(n)= hcov[y (n),x j(n)] = he[(y (n)-y )(x j(n),x j) φπνπ h είλαη ν ξπζκφο εθπαίδεπζεο, E είλαη ε κέζε ηηκή θαη y, x j είλαη νη κέζεο ηηκέο ησλ πξνζπλαπηηθψλ θαη κεηαζπλαπηηθψλ δξαζηεξηνηήησλ αληίζηνηρα θαη είλαη απηέο πνπ θαζνξίδνπλ ηελ αχμεζε ή κείσζε ησλ βαξψλ. Ζ πην πάλσ εμίζσζε θαιείηαη θαλόλαο δηαζπνξάο δξαζηεξηνηήησλ (Activity covariance rule). χκθσλα µε απηφ ηνλ θαλφλα ε ηζρχο κίαο ζχλαςεο ζα πξέπεη λα απμάλεηαη φηαλ ε πξνζπλαπηηθή θαη κεηαζπλαπηηθή δξαζηεξηφηεηα ππάξρεη ζεηηθή ζπζρέηηζε, λα κεηψλεηαη φηαλ ππάξρεη αξλεηηθή ζπζρέηηζε θαη λα παξακέλεη ακεηάβιεηε φηαλ είλαη δελ ππάξρεη ζπζρέηηζε ΑΝΣΑΓΧΝΙΣΙΚΗ ΜΑΘΗΗ (Competitive Learning) ηελ αληαγσληζηηθή κάζεζε, νη λεπξψλεο εμφδνπ ελφο λεπξσληθνχ δηθηχνπ αληαγσλίδνληαη σο πξνο ην πνηνο απφ φινπο ζα ελεξγνπνηεζεί. Γειαδή ελψ ζε λεπξσληθά δίθηπα πνπ ρξεζηκνπνηνχλ άιιεο κνξθέο κάζεζεο κπνξεί λα ελεξγνπνηνχληαη ηαπηφρξνλα παξαπάλσ απφ έλαο λεπξψλεο εμφδνπ, ζηα λεπξσληθά δίθηπα αληαγσληζηηθήο κάζεζεο κπνξεί λα ελεξγνπνηεζεί µφλν έλαο [5]. Γηα ην ιφγν απηφ ηα ζπγθεθξηκέλα ΣΝΓ είλαη θαηάιιεια γηα ηελ εχξεζε εθείλσλ ησλ ραξαθηεξηζηηθψλ ησλ πξνηχπσλ πνπ είλαη ζεκαληηθά απφ ζηαηηζηηθήο άπνςεο γηα ηελ θαηεγνξηνπνίεζε ελφο ζπλφινπ πξνηχπσλ. Έλαο θαλφλαο αληαγσληζηηθήο κάζεζεο έρεη ηξία βαζηθά ζηνηρεία [43], [44] : 1. Έλα ζχλνιν απφ νκνίνπο λεπξψλεο πνπ δηαθέξνπλ ζην γεγνλφο φηη έρνπλ δηαθνξεηηθά βάξε ζηηο ζπλάςεηο ηνπο θαη έηζη αληηδξνχλ δηαθνξεηηθά ζην ζχλνιν ησλ δεδνκέλσλ πνπ δέρνληαη ζαλ είζνδν. 2. Μηα νξηαθή ηηκή πνπ θαζνξίδεη πνηνο λεπξψλαο είλαη απηφο πνπ ηειηθά ζα επηθξαηήζεη ζε βάξνο ησλ άιισλ λεπξψλσλ. 3. Έλα κεραληζκφ πνπ επηηξέπεη ζηνπο λεπξψλεο λα αληαγσλίδνληαη κεηαμχ ηνπο γηα ην δηθαίσκα λα ελεξγνπνηεζνχλ φηαλ εηζέιζεη ζε απηνχο σο πιεξνθνξία έλα ππνζχλνιν ηνπ ζπλφινπ ησλ πξνηχπσλ, έηζη ψζηε µφλν έλαο λεπξψλαο εμφδνπ ή µφλν έλαο λεπξψλαο απφ θάζε νκάδα λα είλαη ελεξγφο θάζε ρξνληθή ζηηγκή. Ο λεπξψλαο πνπ θπξηαξρεί θαιείηαη «Winner Taes All» λεπξψλαο. χκθσλα µε ηα ζηνηρεία απηά ησλ θαλφλσλ αληαγσληζηηθήο κάζεζεο, θάζε λεπξψλαο ζε έλα ΣΝΓ καζαίλεη λα εμεηδηθεχεηαη ζε ζχλνια απφ παξφκνηα πξφηππα απνθηψληαο έηζη ηελ δπλαηφηεηα λα εληνπίδεη 33

34 ζπγθεθξηκέλα ραξαθηεξηζηηθά ησλ πξνηχπσλ απηψλ. ηελ πην απιή κνξθή αληαγσληζηηθήο κάζεζεο, ην ΣΝΓ έρεη έλα ζηξψκα λεπξψλσλ εμφδνπ θαζέλαο εθ ησλ νπνίσλ είλαη πιήξσο ζπλδεδεκέλνο µε ηνπο θφκβνπο εηζφδνπ, ελψ κπνξεί λα είλαη θαη παξάιιεια ζπλδεδεκέλνο µε ηνπο ππφινηπνπο λεπξψλεο εμφδνπ µε έλα είδνο παξάιιειεο αλαζηαιηηθήο ζχλδεζεο. Γηα λα κπνξέζεη γηα παξάδεηγκα ν λεπξψλαο j λα είλαη απηφο πνπ ηειηθά ζα επηθξαηήζεη ζα πξέπεη ε εζσηεξηθή δξαζηεξηφηεηα v j ηνπ λεπξψλα απηνχ γηα έλα ζπγθεθξηκέλν πξφηππν x λα είλαη κεγαιχηεξε απφ φισλ ησλ άιισλ λεπξψλσλ. ε απηή ηελ πεξίπησζε ην ζήκα εμφδνπ y j ηνπ λεπξψλα ληθεηή j γίλεηαη ίζν µε ηελ κνλάδα θαη ηα αληίζηνηρα ζήκαηα εμφδνπ ησλ ππνινίπσλ λεπξψλσλ πνπ ράλνπλ γίλνληαη ίζα µε ην κεδέλ [5]. Αλ w ji είλαη ην βάξνο ηεο ζχλαςεο πνπ ζπλδέεη ηνλ θφκβν εηζφδνπ i µε ησλ λεπξψλα j θαη ζε θάζε λεπξψλα θαηαλέκεηαη έλα ζηαζεξφ πνζφ βάξνπο πνπ κνηξάδεηαη κεηαμχ ησλ θφκβσλ εηζφδνπ ηνπ, ηφηε έρνπκε: i w =1, ji j Έλαο λεπξψλαο καζαίλεη κεηαθέξνληαο ηα βάξε απφ ηνπο αλελεξγνχο ζηνπο ελεξγνχο θφκβνπο εηζφδνπ ηνπ. Αλ έλαο λεπξψλαο δελ αληηδξά ζε έλα ζπγθεθξηκέλν πξφηππν, δειαδή αλ ην πξφηππν απηφ δελ ηνλ ελεξγνπνηεί, ηφηε ν λεπξψλαο απηφο δελ καζαίλεη ηίπνηα απφ ην ζπγθεθξηκέλν πξφηππν. ηαλ έλαο λεπξψλαο γίλεη λεπξψλαο ληθεηήο, ηφηε θάζε θφκβνο εηζφδνπ ηνπ λεπξψλα απηνχ ράλεη θάπνην πνζνζηφ απφ ην βάξνο ηεο ζχλαςεο πνπ ηνλ ζπλδέεη µε ηνλ λεπξψλα θαη ην πνζνζηφ πνπ ράλεη κνηξάδεηαη ηζφπνζα ζηνπο ελεξγνχο θφκβνπο εηζφδνπ. χκθσλα µε ηνλ ηππηθά αληαγσληζηηθφ θαλφλα κάζεζεο, ε κεηαβνιή Γw ji πνπ γίλεηαη ζηελ ηηκή ηνπ βάξνπο w ji δίλεηαη απφ ηνλ παξαθάησ ηχπν: Γw ji = 0, h(x -w ), i ji ηαλ ν λεπξψλαο j βγεη ληθεηήο ηαλ ν λεπξψλαο j δελ βγεί ληθεηήο φπνπ h είλαη ν ξπζκφο εθπαίδεπζεο. Απηφο ν θαλφλαο έρεη σο απνηέιεζκα ηελ κεηαθίλεζε ηνπ δηαλχζκαηνο βαξψλ w j ηνπ λεπξψλα ληθεηή j πξνο ην πξφηππν x ΜΑΘΗΗ BOLTZMANN Ο θαλφλαο κάζεζεο Boltzmann είλαη έλαο ζηνραζηηθφο αιγφξηζκνο κάζεζεο. ε έλα ΣΝΓ φπνπ ρξεζηκνπνηείηαη ν θαλφλαο κάζεζεο Boltzmann, νη λεπξψλεο απνηεινχλ µηα αλαδξνκηθή δνκή (Recurrent structure) θαη ιεηηνπξγνχλ µε δπαδηθφ ηξφπν [5]. Απηφ ζεκαίλεη φηη είηε είλαη ελεξγνί νπφηε απηφ δειψλεηαη µε ην +1 είηε είλαη αλελεξγνί νπφηε παίξλνπλ ηελ ηηκή -1. Σν ΣΝΓ ραξαθηεξίδεηαη απφ µηα ζπλάξηεζε ελέξγεηαο (Energy function) E ε ηηκή ηεο νπνίαο θαζνξίδεηαη απφ ηελ θαηάζηαζε, ελεξγνί ή αλελεξγνί, ζηελ νπνία βξίζθνληαη νη λεπξψλεο ηνπ δηθηχνπ: 1 E= - w jis js i, φηαλ i j 2 i j φπνπ s i είλαη ε θαηάζηαζε ηνπ λεπξψλα i θαη w ji είλαη ην βάξνο ηεο ζχλαςεο πνπ ζπλδέεη ην λεπξψλα i µε ηνλ λεπξψλα j. Ζ ζρέζε i j δείρλεη φηη θαλέλαο λεπξψλαο δελ έρεη βξφγρν. Σν ΣΝΓ ιεηηνπξγεί επηιέγνληαο ηπραία 34

35 ζε θάπνην βήκα ηεο δηαδηθαζίαο έλα λεπξψλα, έζησ ηνλ j θαη αιιάδεη ηελ θαηάζηαζε ηνπ απφ ηελ θαηάζηαζε s j ζηελ θαηάζηαζε s j ζε θάπνηα ζεξκνθξαζία T µε πηζαλφηεηα: W(s -s )= i j 1 ΓΔ j 1+exp(- ) T φπνπ ΓE j είλαη ε κεηαβνιή ζηελ ελέξγεηα, δειαδή ζηελ ζπλάξηεζε ελέξγεηαο ηνπ ΣΝΓ, πνπ πξνθαιείηαη απφ ηελ αιιαγή θαηάζηαζεο ηνπ λεπξψλα j. Αλ απηφο ν θαλφλαο κάζεζεο εθαξκνζηεί επαλαιεπηηθά, ην ΣΝΓ ζα έξζεη ζε έλα ζεκείν ζεξκηθήο ηζνξξνπίαο. Οη λεπξψλεο ελφο ΣΝΓ πνπ ρξεζηκνπνηεί ηνλ θαλφλα κάζεζεο Boltzmann ρσξίδνληαη ζε δχν θαηεγνξίεο, ζηνπο νξαηνχο θαη ηνπο θξπθνχο. Οη νξαηνί λεπξψλεο είλαη απηνί πνπ επζχλνληαη γηα ηελ δηάδξαζε ηνπ ΣΝΓ µε ην πεξηβάιινλ, είλαη δειαδή νη λεπξψλεο εηζφδνπ θαη εμφδνπ ηνπ ΣΝΓ. Οη θξπθνί λεπξψλεο έρνπλ ειεχζεξε ιεηηνπξγία. Τπάξρνπλ δχν θαηαζηάζεηο ιεηηνπξγίαο ηνπ ΣΝΓ: 1. Πεξηνξηζκέλε (Clamped), φπνπ νη νξαηνί λεπξψλεο είλαη πεξηνξηζκέλνη ζε ζπγθεθξηκέλε θαηάζηαζε πνπ θαζνξίδεηαη απφ ην πεξηβάιινλ. 2. Διεύζεξεο ιεηηνπξγίαο (Free running), φπνπ φινη νη λεπξψλεο έρνπλ ηελ δπλαηφηεηα λα ιεηηνπξγνχλ ειεχζεξα [5]. Με ξ ij + ζπκβνιίδεηαη ε ζπζρέηηζε κεηαμχ ησλ θαηαζηάζεσλ ησλ λεπξψλσλ i θαη j, ε νπνία είλαη δεζκεπκέλε αλ ην δίθηπν είλαη ζε πεξηνξηζκέλε θαηάζηαζε. Με ξ ij ζπκβνιίδεηαη ε αλεμάξηεηε ζπζρέηηζε κεηαμχ ησλ θαηαζηάζεσλ ησλ λεπξψλσλ i θαη j, φηαλ ην δίθηπν βξίζθεηαη ζε θαηάζηαζε ειεχζεξεο ιεηηνπξγίαο. Καη νη δχν ζπζρεηίζεηο ππνινγίδνληαη µε φιεο ηηο δπλαηέο θαηαζηάζεηο ηνπ ΣΝΓ φηαλ απηφ βξίζθεηαη ζε ζεξκηθή ηζνξξνπία. Οη ζπζρεηίζεηο ξ ij + θαη ξij νξίδνληαη σο εμήο: ξ = Ρ s s + + ji αβ jαβ i αβ α β ξ ji = Ραβs s jαβ i αβ α β φπνπ s i αβ είλαη ε θαηάζηαζε ηνπ λεπξψλα i κε ην δεδνκέλν φηη νη νξαηνί λεπξψλεο βξίζθνληαη ζηελ θαηάζηαζε α θαη νη θξπθνί λεπξψλεο είλαη ζηελ θαηάζηαζε β. Ο παξάγνληαο P αβ + είλαη ε δεζκεπκέλε πηζαλφηεηα νη νξαηνί λεπξψλεο λα βξίζθνληαη ζηελ θαηάζηαζε α θαη νη θξπθνί λεπξψλεο λα βξίζθνληαη ζηελ θαηάζηαζε β, µε δεδνκέλν φηη ην δίθηπν είλαη ζηελ πεξηνξηζκέλε θαηάζηαζε ιεηηνπξγίαο. Ο παξάγνληαο P αβ είλαη ε δεζκεπκέλε πηζαλφηεηα νη νξαηνί λεπξψλεο λα βξίζθνληαη ζηελ θαηάζηαζε α θαη νη θξπθνί λεπξψλεο λα βξίζθνληαη ζηελ θαηάζηαζε β, µε δεδνκέλν φηη ην δίθηπν είλαη ζηελ θαηάζηαζε ειεχζεξεο ιεηηνπξγίαο. Έηζη ζχκθσλα µε ηνλ θαλφλα κάζεζεο Boltzamnn ε κεηαβνιή Γw ji πνπ επέξρεηαη ζηα βάξνο w ji ηεο ζχλαςεο απφ ηνλ λεπξψλα i ζηνλ λεπξψλα j νξίδεηαη απφ ηελ παξαθάησ εμίζσζε [43]. + - Γw ji =h(ξ ji-ξ ji), i j 35

36 φπνπ h είλαη ν ξπζκφο εθπαίδεπζεο ηνπ δηθηχνπ. εκεηψλεηαη φηη ηφζν ε ξ αβ + φζν θαη ε ξαβ παίξλνπλ ηηκέο απφ ην -1 ζην +1 [5] ΠΑΡΑΓΔΙΓΜΑΣΑ ΜΑΘΗΗ ΜΑΘΗΗ ΜΔ ΔΠΙΒΛΔΦΗ (Supervised Learning) ηελ κάζεζε µε επίβιεςε είλαη απαξαίηεηε ε παξνπζία ελφο εμσηεξηθνχ, σο πξνο ην δίθηπν, παξάγνληα πνπ κπνξνχκε λα νλνκάζνπκε «δάζθαιν». Σν πψο επηδξά ν δάζθαινο ζην δίθηπν θαη ην πεξηβάιινλ παξνπζηάδεηαη ζην ζρήκα Ο δάζθαινο έρεη ηελ απαξαίηεηε γλψζε γηα ην πεξηβάιινλ, πνπ πξαθηηθά είλαη έλα ζχλνιν απφ παξαδείγκαηα εηζφδνπ θαη ηελ αληίζηνηρε επηζπκεηή έμνδν. Σν ΣΝΓ δελ έρεη θακία γλψζε γηα ην πεξηβάιινλ. Αλ ππνζέζνπκε φηη παξνπζηάδνπκε ζηνλ δάζθαιν θαη ην δίθηπν έλα πξφηππν απφ ην πεξηβάιινλ, ηφηε ιφγσ ηεο πξνεγνχκελεο γλψζεο ηνπ δαζθάινπ γηα ην πεξηβάιινλ, ζα είλαη ζε ζέζε λα παξέρεη ζην δίθηπν ηελ επηζπκεηή απάληεζε έμνδν. ηε ζπλέρεηα νη παξάκεηξνη ηνπ δηθηχνπ πξνζαξκφδνληαη αλάινγα µε ην πξφηππν πνπ ρξεζηκνπνηείηαη γηα ηελ εθπαίδεπζε θαη ην ζθάικα ηνπ δηθηχνπ, δειαδή ηελ δηαθνξά κεηαμχ ηεο επηζπκεηήο εμφδνπ θαη ηεο εμφδνπ πνπ ζηελ πξάμε δίλεη ην δίθηπν. Ζ πξνζαξκνγή απηή ησλ παξακέηξσλ, γίλεηαη επαλαιεπηηθά, βήκα πξνο βήκα µε ζηφρν θάπνηα ζηηγκή ην δίθηπν λα κπνξεί λα πξνζνκνηψζεη ηνλ δάζθαιν. Αλ απηφ γίλεη εθηθηφ, ηφηε κπνξνχκε λα επηηξέςνπκε ζην δίθηπν λα αιιειεπηδξάζεη µε ην πεξηβάιινλ ρσξίο ηελ παξνπζία ηνπ δαζθάινπ. Μηα κνξθή κάζεζεο µε επίβιεςε είλαη θαη ε κάζεζε µε δηφξζσζε ζθάικαηνο πνπ πεξηγξάθεθε ζηελ παξάγξαθν Ζ κάζεζε µε επίβιεςε είλαη έλα ζχζηεκα θιεηζηνχ βξφγρνπ ζην νπνίν φκσο δελ πεξηιακβάλεηαη ην πεξηβάιινλ κέζα ζην νπνίν ιεηηνπξγεί ην δίθηπν. Χο κέηξν απφδνζεο γηα ην ζχζηεκα κπνξνχκε λα ζεσξήζνπκε έλα είδνο κέζνπ ηεηξαγσληθνχ ζθάικαηνο (π.ρ. ηελ κέζε ηηκή ηνπ αζξνίζκαηνο ησλ ηεηξαγσληθψλ ζθαικάησλ) πνπ νξίδεηαη σο ζπλάξηεζε ησλ ειεχζεξσλ παξακέηξσλ ηνπ ζπζηήκαηνο. Απηή ε ζπλάξηεζε κπνξεί λα παξαζηαζεί σο µηα πνιπδηάζηαηε επηθάλεηα ζθάικαηνο πνπ σο ζπληεηαγκέλεο έρεη ηηο ειεχζεξεο παξακέηξνπο ηνπ ζπζηήκαηνο. Κάζε ιεηηνπξγία ηνπ ζπζηήκαηνο ππφ ηελ επίβιεςε ηνπ δαζθάινπ αλαπαξηζηάηαη σο έλα ζεκείν ζηελ επηθάλεηα ζθάικαηνο. Γηα λα βειηηψλεηαη ε απφδνζε ηνπ ζπζηήκαηνο ζηε δηάξθεηα ηνπ ρξφλνπ ζα πξέπεη ην ζεκείν απηφ λα έρεη θαζνδηθή πνξεία πξνο θάπνην ειάρηζην, ηνπηθφ ή νιηθφ, ηεο επηθάλεηαο ζθάικαηνο. Eλα ζχζηεκα πνπ καζαίλεη µε επίβιεςε, έρεη ηελ δπλαηφηεηα λα κεηαθηλεί ην ζεκείν απηφ πξνο έλα ειάρηζην µε ηελ ρξήζε θάπνηαο πιεξνθνξίαο πνπ έρεη γηα ηελ θιίζε (gradient) ηεο επηθάλεηαο ζθάικαηνο πνπ αληηζηνηρεί ζηελ ζπκπεξηθνξά ηνπ ζπζηήκαηνο ηελ ζπγθεθξηκέλε ρξνληθή ζηηγκή. Ζ θιίζε ηεο επηθάλεηαο ζθάικαηνο ζε νπνηνδήπνηε ζεκείν είλαη έλα δηάλπζκα πνπ έρεη θαηεχζπλζε πξνο ηελ πην απφηνκε θάζνδν (Steepest Descent). ηελ πξάμε, φηαλ πξφθεηηαη γηα κάζεζε µε επίβιεςε απφ παξαδείγκαηα ην ζχζηεκα ρξεζηκνπνηεί µηα ζηηγκηαία πξνζέγγηζε ηνπ δηαλχζκαηνο θιίζεο [5]. 36

37 Σρήκα Δθπαίδεπζε µε Δπίβιεςε [5]. Κάπνηα παξαδείγκαηα αιγνξίζκσλ κάζεζε µε επίβιεςε είλαη ν αιγφξηζκνο Διάρηζησλ Μέζσλ Σεηξαγψλσλ (LeastMean Square) [29] θαη ε γελίθεπζή ηνπ πνπ είλαη γλσζηή ζαλ ν αιγφξηζκνο Bac Propagation (BP) ΜΑΘΗΗ ΜΔ ΔΝΙΥΤΗ (Reinforcement Learning) Μάζεζε µε ελίζρπζε είλαη ε on line κάζεζε κίαο απεηθφληζεο, απφ ην ζχλνιν ησλ πξνηχπσλ εηζφδνπ, ζην ζχλνιν ησλ πξνηχπσλ εμφδνπ, µέζσ κίαο δηαδηθαζίαο δνθηκήο θαη ζθάικαηνο ζρεδηαζκέλεο λα κεγηζηνπνηεί µηα κεηαβιεηή πνπ είλαη δείθηεο απφδνζεο θαη θαιείηαη ζήκα ελίζρπζεο (Reinforcemnet signal). Γίλεηαη παξαθάησ ν νξηζκφο ηεο κάζεζεο µε ελίζρπζε [27]. Οπιζμόρ: Αλ ε ελέξγεηα πνπ θάλεη έλα ζχζηεκα κάζεζεο, αθνινπζείηαη απφ µηα ηθαλνπνηεηηθή θαηάζηαζε γεγνλφησλ, ηφηε ε ηάζε ηνπ ζπζηήκαηνο λα επαλαιάβεη απηή ηελ ελέξγεηα εληζρχεηαη. ηελ αληίζεηε πεξίπησζε ε ηάζε ηνπ ζπζηήκαηνο λα επαλαιάβεη απηή ηελ ελέξγεηα εμαζζελεί [5]. Ζ κάζεζε µε ελίζρπζε κπνξεί λα δηαρσξηζηεί αλάινγα µε ηνλ ηχπν ηνπ παξαδείγκαηνο ζε δχν θαηεγνξίεο [30]: 1. Σπζρεηηζηηθή κάζεζε µε ελίζρπζε, φπνπ ην πεξηβάιινλ παξέρεη επηπξφζζεηεο κνξθέο πιεξνθνξηψλ πέξαλ ηεο ελίζρπζεο. Απηφ πνπ πξέπεη λα κάζεη λα πξνζνκνηψλεη ην δίθηπν ζε απηή ηελ πεξίπησζε είλαη µηα απεηθφληζε πνπ έρεη ηελ κνξθή κίαο ζπζρέηηζεο εξεζίζκαηνο αληίδξαζεο. Απηή ε κνξθή κάζεζεο είλαη επξέσο ρξεζηκνπνηνχκελε ζηα ΣΝΓ θαη ζηελ πξάμε ζπλδέεηαη µε ηελ ζεσξία βέιηηζηνπ ειέγρνπ (Optimal Control Theory). 2. Με ζπζρεηηζηηθή κάζεζε µε ελίζρπζε, φπνπ ην ζχζηεκα πξέπεη λα επηιέμεη µία µφλν βέιηηζηε αληίδξαζε γηα φια ηα εξεζίζκαηα (πξφηππα πνπ εηζέξρνληαη ζην δίθηπν) αληί λα ζπζρεηίδεη δηαθνξεηηθέο αληηδξάζεηο µε δηαθνξεηηθά εξεζίζκαηα. Αληίζεηα µε ηελ πεξίπησζε ηεο ζπζρεηηζηηθήο κάζεζεο µε επίβιεςε ε κφλε πιεξνθνξία πνπ παίξλεη ην δίθηπν απφ ην πεξηβάιινλ είλαη ε πιεξνθνξία ζηα πιαίζηα ηεο ελίζρπζεο. Ζ µε ζπζρεηηζηηθή κάζεζε µε επίβιεςε, ρξεζηκνπνηείηαη θπξίσο ζηε βειηηζηνπνίεζε ζπλαξηήζεσλ ζηα πιαίζηα ησλ γελεηηθψλ αιγνξίζκσλ [18]. 37

38 ΜΑΘΗΗ ΥΧΡΙ ΔΠΙΒΛΔΦΗ (Unsupervised Learning) ηελ πεξίπησζε ηεο κάζεζεο ρσξίο επίβιεςε ή αιιηψο κάζεζεο µε απηννξγάλσζε (Self organization) δελ ππάξρεη θάπνηνο εμσηεξηθφο παξάγνληαο πνπ επηβιέπεη ηελ δηαδηθαζία κάζεζεο. Απηφ ζεκαίλεη φηη δελ ππάξρνπλ παξαδείγκαηα ηεο ζπλάξηεζεο πνπ πξέπεη λα κάζεη ην δίθηπν. Τπάξρεη φκσο έλα κέηξν, αλεμάξηεην απφ ην εθάζηνηε έξγν πνπ πξέπεη λα θέξεη εηο πέξαο ην ΣΝΓ, πνπ κεηξάεη ηελ πνηφηεηα ηεο αλαπαξάζηαζεο πνπ πξέπεη λα κάζεη ην δίθηπν. Οη ειεχζεξεο παξάκεηξνη ηνπ δηθηχνπ βειηηζηνπνηνχληαη σο πξνο απηφ ην κέηξν. ηαλ ην δίθηπν «κάζεη» ηηο ζηαηηζηηθέο ηδηφηεηεο ησλ πξνηχπσλ πνπ ηνπ δίλνληαη σο είζνδν, αλαπηχζζεη ηελ ηθαλφηεηα λα δεκηνπξγεί εζσηεξηθέο αλαπαξαζηάζεηο γηα ηελ θσδηθνπνίεζε ησλ ραξαθηεξηζηηθψλ ησλ πξνηχπσλ. Απνθηά δειαδή ηελ ηθαλφηεηα λα δεκηνπξγεί λέεο θιάζεηο απηφκαηα ([35], [36], [37]). Γηα ηελ κάζεζε ρσξίο επίβιεςε κπνξεί λα ρξεζηκνπνηεζεί έλαο θαλφλαο αληαγσληζηηθήο κάζεζεο. Γηα παξάδεηγκα έλα ΣΝΓ µε δχν ζηξψκαηα, έλα ζηξψκα εηζφδνπ θαη έλα ζηξψκα ηνπ νπνίνπ νη λεπξψλεο ζα αληαγσλίδνληαη γηα ην πνηφο ζα ελεξγνπνηεζεί αλάινγα µε ηα ραξαθηεξηζηηθά ηνπ θάζε πξνηχπνπ πνπ δίλεηαη σο είζνδνο ζην ΣΝΓ [5]. 3.ΓΝΧΣΟΣΔΡΑ ΣΔΥΝΗΣΑ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ 3.1. ΑΙΘΗΣΗΡΑ (Perceptron) Σν πξψην λεπξσληθφ δίθηπν πνπ αλαπηχρζεθε ήηαλ ν Αηζζεηήξαο (Perceptron) µε ην φλνκα ηνπ λα πξνθχπηεη απφ ηελ αγγιηθή ιέμε perception (αληίιεςε). Δίλαη έλα Πξνο ηα Δκπξφο Σξνθνδνηνχκελν (Feedforward) Γίθηπν ελφο λεπξψλα [7]. Πξφθεηηαη γηα ην πην απιφ, απηνδχλακν ζχζηεκα πνπ ππάξρεη ην νπνίν είλαη ηθαλφ λα επηηειέζεη δηάθνξεο ρξήζηκεο δηεξγαζίεο. Σρήκα Αηζζεηήξαο (Perceptron) [17]. Ζ ιεηηνπξγία ηνπ είλαη λα καζαίλεη θαη λα ηαμηλνκεί ζε πνηα απφ δχν νξηζκέλεο θιάζεηο αλήθεη ην πξφηππν εηζφδνπ [17]. Γηα λα ην επηηχρεη απηφ, ππνινγίδεη ην άζξνηζκα ησλ γηλνκέλσλ ησλ εηζφδσλ µε ηα βάξε: S=u= w x i i θαη ην ζπγθξίλεη µε µηα δεδνκέλε ζηάζκε (εμσηεξηθά εθαξκνδφκελε πφισζε, Threshold). Αλ ην S είλαη κεγαιχηεξν ηεο πφισζεο, ηφηε ε έμνδνο ηνπ αηζζεηήξα είλαη 1, αιιηψο είλαη -1 ή 0 (αλάινγα µε ηελ πινπνίεζε). Τπάξρεη δειαδή µηα βεκαηηθή ζπλάξηεζε ελεξγνπνίεζεο f (Heaviside function) [14]. Ζ εθπαίδεπζε ηνπ αηζζεηήξα γίλεηαη µε επνπηεία θαη έρεη σο εμήο: Με θάζε πξφηππν εηζφδνπ, δίλεηαη θαη ην επηζπκεηφ απνηέιεζκα d. Ζ έμνδνο ηνπ αηζζεηήξα ππνινγίδεηαη απφ ηνλ ηχπν: 38

39 y=f ( w x ) i i ην d: ηελ ζπλέρεηα πξνζαξκφδεηαη ην βάξνο ηεο θάζε ζχλαςεο ρξεζηκνπνηψληαο ηελ δηαθνξά ηεο εμφδνπ απφ w i _ λέν = w i _παιηφ + h d - y xi φπνπ h ν ξπζκφο εθπαίδεπζεο µε ηηκέο ζην δηάζηεκα (0, 1) [17]. Ο αηζζεηήξαο είλαη αξθεηά απιφο θαη γξήγνξνο ζηελ ιεηηνπξγία ηνπ, ε νπνία, ζε γξαθηθή αλαπαξάζηαζε, ζρεδηάδεη µηα επζεία γξακκή πνπ δηαρσξίδεη ηηο δχν θιάζεηο γηα ηηο νπνίεο έρεη εθπαηδεπηεί λα αλαγλσξίδεη. Π.ρ. αλ ν αηζζεηήξαο εμνκνηψλεη ην ινγηθφ AND, ηφηε κπνξνχκε λα αλαπαξαζηήζνπκε ηελ ιεηηνπξγία ηνπ σο εμήο: Σρήκα Σρεκαηηθή αλαπαξάζηαζε AND [17] φπνπ x 1, x 2 ηα δεδνκέλα εηζφδνπ (µε ηηκέο 0 ή 1) θαη ε δηαθεθνκκέλε γξακκή είλαη ν λνεηφο δηαρσξηζκφο πνπ πξαγκαηνπνηεί ν αηζζεηήξαο. Έλα άιιν απφ ηα ραξαθηεξηζηηθά πξνβιήκαηα πνπ επηιχεη ν αηζζεηήξαο είλαη απηφ ηεο εθκάζεζεο ηεο ζπλάξηεζεο X-OR (exclusive-or), δειαδή ηεο ζπλάξηεζεο ηεο απνθιεηζηηθήο δηάδεπμεο, φπσο ιέγεηαη. Πξφθεηηαη γηα ζπλάξηεζε πνπ δέρεηαη δπν εηζφδνπο θαη δίλεη κηα έμνδν κε ηηκέο κφλν 0 ή 1, ελψ ηζρχεη θαη ν εμήο πεξηνξηζκφο: Αλ θαη νη δπν είζνδνη είλαη ίδηεο ηφηε ε έμνδνο είλαη 0, ελψ αλ είλαη δηαθνξεηηθέο, ε έμνδνο είλαη 1. Οη φξνη απηνί ζπλνςίδνληαη ζηνλ πίλαθα (1) πνπ νλνκάδεηαη θαη «πίλαθαο αιήζεηαο» ηεο ζπλάξηεζεο [15]. Πίλαθαο (1): Η ζπλάξηεζε X-OR Δίζνδνο 1 Δίζνδνο 2 Έμνδνο

40 Σρήκα Ο αηζζεηήξαο κε δπν εηζόδνπο γηα ην πξόβιεκα X-OR [15] Μηα παξαιιαγή ηνπ ζηνηρεηψδε αηζζεηήξα κε δπν εηζφδνπο θαη κηα έμνδν θαίλεηαη ζην ρήκα ην δηάγξακκα ηνπ ρήκαηνο πξνθχπηνπλ φινη νη δπλαηνί ζπλδπαζκνί πνπ κπνξνχλ λα ππάξμνπλ ζην επίπεδν x-y, απφ ηε ρξήζε απηνχ ηνπ είδνπο ΣΝΓ, φπνπ νη δπν άμνλεο είλαη νη δπν είζνδνη s 1 θαη s 2. ην δίθηπν ηνπ ρήκαηνο θάζε θνξά πνπ εηζέξρνληαη νη είζνδνη s 1,s 2 πξέπεη λα ππνζηνχλ ηε ζχγθξηζε κεηαμχ ηνπ S θαη ηνπ ζ. Θέινπκε, γηα παξάδεηγκα, ην δίθηπν λα δίλεη έμνδν 0 φηαλ S<0,5 θαη λα δίλεη έμνδν 1 φηαλ S>0,5. Απφ φηη θαίλεηαη φκσο, δελ ππάξρεη θαλέλαο ζπλδπαζκφο ηηκψλ ησλ w 1,w 2 πνπ λα παξάγεη ηηο ζρέζεηο πνπ πεξηιακβάλνληαη ζηνλ πίλαθα (1). Ζ αιγεβξηθή εμίζσζε γίλεηαη : s1w 1+ s2w 2=0,5 θαη πεξηγξάθεη ην δίθηπφ καο κε κηα ζρέζε γξακκηθή σο πξνο s 1 θαη s 2. Απηφ ζεκαίλεη φηη φιεο νη ηηκέο ησλ s 1,s 2 πνπ ηελ ηθαλνπνηνχλ, βξίζθνληαη πάλσ ζε επζεία ηνπ επηπέδνπ x-y, φπσο απηή ζην ρήκα Σρήκα Τν πξόβιεκα ηεο ζπλάξηεζεο X-OR ζε αλαπαξάζηαζε ζην επίπεδν x-y [15]. Γηα λα είλαη S > ζ, ζα πξέπεη ηα s 1, s 2 βξίζθνληαη ζην δεμί εκηεπίπεδν νπφηε θαη ε έμνδνο λα είλαη 1,αιιηψο αλ ηα s 1,s 2 βξίζθνληαη ζην αξηζηεξφ εκηεπίπεδν, ηφηε S < ζ θαη ε έμνδνο είλαη 0. Οη ηηκέο ησλ w 1, w 2, ζ θαζνξίδνπλ ηε ζέζε θαη ηελ θιίζε ηεο επζείαο. Απηφ πνπ ζέινπκε εκείο φκσο είλαη ηα ζεκεία (0,0) θαη (1,1) λα βξίζθνληαη ζηελ ίδηα πιεπξά, θαζψο θαη ηα (0,1) θαη (1,0) ζηελ άιιε. Μφλν ηφηε ην δίθηπν ζα δίλεη ηε ζσζηή απάληεζε. Παξαηεξνχκε φηη δελ ππάξρεη θαλέλαο ηξφπνο λα ζρεδηάζνπκε κηα ηέηνηα επζεία θη έηζη θαηαιήγνπκε ζην ζπκπέξαζκα φηη ην δίθηπν ζην ζρήκα είλαη αδχλαην λα ιχζεη ην πξφβιεκα X-OR, αλεμάξηεηα απφ ηηο ηηκέο ησλ w 1, w 2, ζ [15]. Οη αδπλακίεο ηνπ αηζζεηήξα γίλνληαη εκθαλείο φηαλ δεη θαλείο ηελ αλαπαξάζηαζε ηνπ ινγηθνχ X-OR. 40

41 Σρήκα Σρεκαηηθή αλαπαξάζηαζε X-OR [17]. πσο είλαη πξνθαλέο, ν αηζζεηήξαο δελ κπνξεί λα ηξαβήμεη µηα λνεηή επζεία ζην επίπεδν γηα λα θάλεη ηνλ δηαρσξηζµφ ησλ νκάδσλ. Απηφο ήηαλ θαη ν ιφγνο πνπ ηα Σ.Ν.. γλψξηζαλ ηελ ακθηζβήηεζε απφ ηελ επηζηεκνληθή θνηλφηεηα ηε δεθαεηία ηνπ ΠΟΛΤΣΡΧΜΑΣΙΚΑ ΣΡΟΦΟΓΟΣΟΤΜΔΝΑ ΠΡΟ ΣΑ ΔΜΠΡΟ ΣΝΓ Multilayer Perceptrons (MLPs) Έλα MLP δίθηπν απνηειείηαη απφ έλα ζχλνιν θφκβσλ εηζφδνπ πνπ απνηεινχλ ην ζηξψκα εηζφδνπ, έλα ή πεξηζζφηεξα θξπθά ζηξψκαηα πνπ απνηεινχληαη απφ λεπξψλεο πνπ εθηεινχλ ππνινγηζκνχο θαη έλα ζηξψκα εμφδνπ πνπ απνηειείηαη επίζεο απφ λεπξψλεο πνπ εθηεινχλ ππνινγηζκνχο. Σν ζήκα εηζφδνπ (πξφηππν) θηλείηαη κέζα ζην δίθηπν πξνο ηα κπξνζηά, δειαδή απφ ην έλα ζηξψκα ζην επφκελν ηνπ. Σα MLPs εθπαηδεχνληαη µε θαλφλεο κάζεζεο µε επίβιεςε. Έλαο αιγφξηζκνο πνπ ρξεζηκνπνηείηαη πνιχ ζπρλά γηα ηνλ ζθνπφ απηφ είλαη γλσζηφο σο αιγόξηζκνο Bac Propagation (BP) θαη βαζίδεηαη ζηνλ θαλφλα κάζεζεο µε δηφξζσζε ζθάικαηνο. Ο αιγφξηζκνο απηφο κπνξεί λα ζεσξεζεί σο γελίθεπζε ηνπ αιγνξίζκνπ Διάρηζησλ Μέζσλ Τεηξαγώλσλ (Least Mean Square Algorithm). Έλα MLP έρεη ηα παξαθάησ ηξία ραξαθηεξηζηηθά: 1. Σν κνληέιν θάζε λεπξψλα ζην δίθηπν πεξηιακβάλεη έλα µε γξακκηθφ ραξαθηεξηζηηθφ ζηελ έμνδφ ηνπ. Ζ µε γξακκηθφηεηα φκσο απηή είλαη νκαιή, δειαδή παληνχ δηαθνξίζηκε. Μηα θνηλά ρξεζηκνπνηνχκελε κνξθή µε γξακκηθφηεηαο πνπ ηθαλνπνηεί απηή ηελ απαίηεζε νξίδεηαη απφ ηελ ζπλάξηεζε: 1 y= i 1+exp(-v j ) φπνπ v j είλαη ε εζσηεξηθή δξαζηεξηφηεηα ηνπ λεπξψλα j θαη y j είλαη ε έμνδνο ηνπ λεπξψλα. Δπηπιένλ, ε ρξήζε ηεο ζπλάξηεζεο απηήο έρεη ην πιενλέθηεκα φηη πξνζνκνηάδεη ηελ βηνινγηθή θάζε αλάδξαζεο ζηνπο πξαγκαηηθνχο λεπξψλεο [17]. 2. Σν δίθηπν πεξηιακβάλεη έλα ή πεξηζζφηεξα θξπθά ζηξψκαηα πνπ δελ απνηεινχλ κέξνο ηεο εηζφδνπ θαη 41

42 ηεο εμφδνπ ηνπ δηθηχνπ. Οη λεπξψλεο πνπ βξίζθνληαη ζηα θξπθά ζηξψκαηα είλαη απηνί πνπ επηηξέπνπλ ζην δίθηπν λα «καζαίλεη» λα εθηειεί πεξίπινθεο εξγαζίεο, εμάγνληαο πξννδεπηηθά ηα ραξαθηεξηζηηθά εθείλα ησλ πξνηχπσλ εηζφδνπ πνπ έρνπλ ηελ κεγαιχηεξε ζεκαζία γηα ηελ ζσζηή απάληεζε ηνπ δηθηχνπ. 3. Σν δίθηπν παξνπζηάδεη πςειφ βαζκφ ζπλδεζηκφηεηαο πνπ θαζνξίδεηαη απφ ηηο ζπλάςεηο κεηαμχ ησλ λεπξψλσλ ηνπ δηθηχνπ. Μηα αιιαγή ζηελ ζπλδεζηκφηεηα ηνπ δηθηχνπ απαηηεί µηα αιιαγή ζηνλ πιεζπζκφ ησλ ζπλδέζεσλ ησλ ζπλάςεσλ ή ζηα βάξε ηνπο. ην ζρήκα θαίλεηαη ε αξρηηεθηνληθή ελφο MLP δηθηχνπ πνπ έρεη δχν θξπθά ζηξψκαηα θαη είλαη πιήξσο δηαζπλδεδεκέλν. Πιήξσο δηαζπλδεδεκέλν θαιείηαη έλα δίθηπν ηνπ νπνίνπ θάζε λεπξψλαο θφκβνο είλαη ζπλδεδεκέλνο µε φινπο ηνπο λεπξψλεο θφκβνπο ηνπ πξνεγνχκελνπ ζηξψκαηνο. ην δίθηπν ην ζήκα κεηαδίδεηαη πξννδεπηηθά απφ αξηζηεξά πξνο ηα δεμηά θαη απφ ζηξψκα ζε ζηξψκα [5]. Σρεκα : Αξρηηεθηνληθή MLP Γηθηύνπ (Multilayer Perceptrons)[5]. Σρήκα Μεηάδνζε ζεκάησλ ζην δίθηπν [5]. ην δίθηπν κεηαδίδνληαη δχν εηδψλ ζήκαηα φπσο παξνπζηάδεηαη ζην ζρήκα [38]: 1. Σήκαηα ζπλαξηήζεσλ (Function signals). Έλα ζήκα ζπλάξηεζεο είλαη έλα ζήκα εηζφδνπ (εξέζηζκα) πνπ μεθηλάεη απφ ηνπο θφκβνπο εηζφδνπ ηνπ δηθηχνπ δηαδίδεηαη πξνο ηα κπξνζηά απφ λεπξψλα ζε λεπξψλα 42

43 θαη θαηαιήγεη ζηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ. Γειαδή ζε θάζε λεπξψλα ηνπ δηθηχνπ ππνινγίδεηαη ην ζήκα σο ζπλάξηεζε ησλ εηζεξρφκελσλ ζεκάησλ θαη ησλ αληίζηνηρσλ βαξψλ ησλ ζπλάςεσλ πνπ θαηαιήγνπλ ζην ζπγθεθξηκέλν λεπξψλα. 2. Σήκαηα ζθάικαηνο (Error signals). Έλα ζήκα ζθάικαηνο, μεθηλάεη απφ ηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ θαη δηαδίδεηαη πξνο ηα πίζσ απφ ζηξψκα ζε ζηξψκα. ε θάζε λεπξψλα ην ζήκα απηφ ππνινγίδεηαη απφ µηα ζπλάξηεζε πνπ εμαξηάηαη απφ ην ζθάικα. Οη λεπξψλεο πνπ βξίζθνληαη ζην ηειεπηαίν ζηξψκα ηνπ ΣΝΓ πνπ νλνκάδεηαη θαη ζηξψκα εμφδνπ, θαινχληαη λεπξψλεο εμφδνπ. Οη θφκβνη πνπ βξίζθνληαη ζην ζηξψκα ηνπ ΣΝΓ απφ ην νπνίν μεθηλάεη ην ζήκα νλνκάδνληαη θφκβνη εηζφδνπ. ινη νη άιινη λεπξψλεο πνπ βξίζθνληαη ζηα ππφινηπα, ελδηάκεζα ζηξψκαηα ηνπ δηθηχνπ ιέγνληαη θξπθνί λεπξψλεο θαη ηα ζηξψκαηα θξπθά ζηξψκαηα [5]. Κάζε θξπθφο λεπξψλαο θαη θάζε λεπξψλαο εμφδνπ ελφο MLP έρεη ζρεδηαζηεί γηα λα εθηειεί δχν ππνινγηζκνχο: 1. Τπνινγίδεη ην ζήκα ζπλάξηεζεο πνπ εκθαλίδεηαη ζηελ έμνδν ηνπ λεπξψλα θαη εθθξάδεηαη σο µηα ζπλερήο µε γξαµµηθή ζπλάξηεζε ησλ ζεκάησλ πνπ εηζέξρνληαη ζηνλ λεπξψλα θαη ησλ αληίζηνηρσλ βαξψλ ησλ ζπλάςεσλ πνπ ζρεηίδνληαη µε ηνλ λεπξψλα. 2. Τπνινγίδεη µηα ζηηγκηαία πξνζέγγηζε ηνπ δηαλχζκαηνο θιίζεο, δειαδή ηηο θιίζεηο ηεο επηθάλεηαο ζθάικαηνο σο πξνο ηα βάξε πνπ ζρεηίδνληαη µε ηηο ζπλάςεηο πνπ εηζέξρνληαη ζηνλ λεπξψλα, θαηά ηελ πξνο ηα πίζσ δηάδνζε ηνπ ζήκαηνο ζην δίθηπν Ο ΑΛΓΟΡΙΘΜΟ BACK PROPAGATION ην ζρήκα παξνπζηάζηεθε ε αξρηηεθηνληθή ελφο MLP. Ζ αληίζηνηρε αξρηηεθηνληθή γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ µε ηνλ αιγφξηζκν Bac Propagation παξνπζηάδεηαη ζην ζρήκα θαη πεξηιακβάλεη ηφζν ηελ πξνο ηα εκπξόο θάζε ηεο εθπαίδεπζεο φζν θαη ηελ πξνο ηα πίζσ. 43

44 Σρήκα Η δηαδηθαζία Bac Propagation [5] Σν ΣΝΓ πνπ θαίλεηαη ζην πάλσ θνκκάηη ηνπ ζρήκαηνο αληηζηνηρεί ζηελ πξνο ηα εκπξφο θάζε ηεο δηαδηθαζίαο [5]. Οη ζπκβνιηζκνί πνπ ρξεζηκνπνηνχληαη ζην πάλσ θνκκάηη ηνπ ζρήκαηνο έρνπλ σο εμήο: w (l) = δηάλπζκα βαξώλ ησλ ζπλάςεσλ ελόο λεπξώλα ηνπ ζηξώκαηνο l. ζ (l) = πόισζε ελόο λεπξώλα ηνπ ζηξώκαηνο l. v (l) = δηάλπζκα εζσηεξηθήο δξαζηεξηόηεηαο ησλ λεπξώλσλ ηνπ ζηξώκαηνο l y (l) = δηάλπζκα ζεκάησλ ζπλαξηήζεσλ ησλ λεπξώλσλ ηνπ ζηξώκαηνο l. Ο δείθηεο l θάζε ζηξψκαηνο μεθηλάεη απφ ην ζηξψκα εηζφδνπ (l=0) κέρξη ην δίθηπν εμφδνπ (l=l). ην ζρήκα ζπκβαίλεη L=3 θαη ην L ιέγεηαη βάζνο ηνπ δηθηύνπ. Σν θάησ θνκκάηη ηνπ ζρήκαηνο παξνπζηάδεη ηελ «πξνο ηα πίζσ θάζε» πνπ αλαθέξεηαη ζαλ δίθηπν επαηζζεζίαο θαη ππνινγίδεη ηηο ηνπηθέο θιίζεηο ζηνλ αιγφξηζκν BP. Οη ζπκβνιηζκνί ηνπ θάησ ηκήκαηνο ηνπ ζρήκαηνο έρνπλ σο εμήο: δ (l) = δηάλπζκα ηνπηθώλ θιίζεσλ ησλ λεπξώλσλ ηνπ ζηξώκαηνο l 44

45 e = δηάλπζκα ζθάικαηνο πνπ έρεη ζαλ ζηνηρεία ηα e 1,e 2,...,e q Σν BP δίθηπν είλαη έλα πνιπζηξσκαηηθφ ηξνθνδνηνχκελν πξνο ηα εκπξφο ΣΝΓ ζην νπνίν νη έμνδνη ησλ λεπξψλσλ ελφο ζηξψκαηνο απνηεινχλ ηηο εηζφδνπο ησλ λεπξψλσλ ηνπ επφκελνπ ζηξψκαηνο θαη απνηειεί έλα απφ ηα πην απιά µέιε ηεο νηθνγέλεηαο αιγνξίζκσλ πνπ είλαη γλσζηνί σο "Gradient Descent". Έλα ηέηνην δίθηπν θαίλεηαη ζην ζρήκα Σρήκα Πνιπζηξσκαηηθό πξνο ηα Δκπξόο Τξνθνδνηνύκελν Τ.Ν.. [17]. Ζ δηαδηθαζία πνπ αθνινπζεί ν αιγφξηζκνο BP γηα λα εθπαηδεχζεη ην δίθηπν έρεη ηα παξαθάησ βήκαηα: 1.Βήμα: Αξρηθνπνίεζε. Αλαζέηεη ζε φια ηα βάξε ησλ ζπλάςεσλ θαη ηηο πνιψζεηο ησλ λεπξψλσλ ηνπ δηθηχνπ κηθξνχο ηπραίνπο αξηζκνχο απφ ηελ νκνηφκνξθε θαηαλνκή. 2.Βήμα: Δίζνδνο ησλ πξνηύπσλ γηα εθπαίδεπζε. Γίλεη ζην δίθηπν ηα πξφηππα γηα ηελ εθπαίδεπζε. Γηα θάζε πξφηππν ζην ζχλνιν εθηειεί ηελ παξαθάησ αιιεινπρία πξνο ηα εκπξφο θαη πξνο ηα πίζσ ελεξγεηψλ πνπ πεξηγξάθνληαη ζηα Βήμαηα 3 θαη 4 αληίζηνηρα. 3.Βήμα: Πξνο ηα εκπξόο ππνινγηζκνί. Έζησ φηη έλα πξφηππν γηα εθπαίδεπζε ζπκβνιίδεηαη µε [x(n),d(n)], φπνπ x(n) είλαη ην δηάλπζκα ηνπ πξνηχπνπ πνπ εηζάγεηαη ζην δίθηπν απφ ην ζηξψκα εηζφδνπ θαη d(n) είλαη ε επηζπκεηή απάληεζε απφ ην δίθηπν πνπ δίλεηαη ζηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ. Τπνινγίδνληαη νη δπλαηφηεηεο ελεξγνπνίεζεο θαη ηα ζήκαηα ησλ ζπλαξηήζεσλ ησλ λεπξψλσλ πξνρσξψληαο πξνο ηα εκπξφο ζην δίθηπν απφ ζηξψκα ζε ζηξψκα. Ζ εζσηεξηθή δξαζηεξηφηεηα v j (l) (n) γηα ηνλ λεπξψλα j πνπ βξίζθεηαη ζην ζηξψκα l ηνπ δηθηχνπ δίλεηαη απφ ηε ζρέζε: p (l) l (l-1) j j i i=0 v (n)= w (n)y (n) πνπ y η (l-1) (n) ζπκβνιίδεηαη ην ζήκα ζπλάξηεζεο ηνπ λεπξψλα i ζην πξνεγνχκελν ζηξψκα (l 1) ζηελ n-νζηή επαλάιεςε θαη φπνπ w j l (n) ζπκβνιίδεηαη ην βάξνο ηεο ζχλαςεο ζην ζηξψκα (l 1). 45

46 Γηα i = 0 έρσ y 0 (l-1) (n) = 1 θαη w 0 l (n)= ζ j l (n), φπνπ ζj l (n) είλαη ε πφισζε ηνπ λεπξψλα j πνπ βξίζθεηαη ζην ζηξψκα l. Έηζη µε βάζε ηε ζηγκνεηδή ζπλάξηεζε πνπ ρξεζηκνπνηήζεθε πην πξηλ ην ζήκα ζπλάξηεζεο ηνπ λεπξψλα j ηνπ ζηξψκαηνο l ζα δίλεηαη απφ ηνλ ηχπν: 1 (l) y j (n)= 1+exp(-v (l) j (n)) Αλ ν λεπξψλαο j βξίζθεηαη ζην πξψην θξπθφ ζηξψκα δειαδή l=1, γίλεηαη αληηθαηάζηαζε κε y n = x n (0) j j φπνπ x j (n) είλαη ην j-νζηφ ζηνηρείν ηνπ δηαλχζκαηνο ηνπ πξνηχπνπ εηζφδνπ (n). Αλ ν λεπξψλαο j βξίζθεηαη ζην ζηξψκα εμφδνπ, δειαδή l = L, γίλεηαη αληηθαηάζηαζε y n = o n (L) j j φπνπ o j (n) είλαη ε έμνδνο ηνπ δηθηχνπ γηα ηνλ λεπξψλα j. ηε ζπλέρεηα ππνινγίδεηαη ην ζήκα ζθάικαηνο e j (n)= d j (n) o j (n). Με d j (n) ζπκβνιίδεηαη ην j-νζηφ ζηνηρείν ηνπ δηαλχζκαηνο ηεο επηζπκεηήο απάληεζεο γηα ην δίθηπν d(n). 4.Βήµα: Πξνο ηα πίζσ ππνινγηζκνί. Τπνινγίδνληαη ηνπηθέο θιίζεηο δ ηνπ δηθηχνπ πξνρσξψληαο πξνο ηα πίζσ απφ ζηξψκα ζε ζηξψκα σο εμήο: δ (n)=e (n)o (n) 1-o (n) (L) (L) j J j j γηα ηνλ λεπξψλα j ζην ζηξψκα εμφδνπ L (l) (l) (l) l+1 l+1 δ j (n)=y j (n) 1-y i (n) δ θ (n)w j (n) γηα ηνλ λεπξψλα j ζην θξπθφ ζηξψκα L ηε ζπλέρεηα πξνζαξκφδνληαη ηα βάξε ησλ ζπλάςεσλ ηνπ δηθηχνπ ζην ζηξψκα l ζχκθσλα µε ην γεληθεπκέλν θαλφλα ηνπ δ: l l l l l (l-1) w ji(n+1)=w ji(n)+a w ji(n)-w ji(n-1) +nδ j(n)y i (n) 5.Βήμα: Δπαλάιεςε. Δπαλαιακβάλνληαη νη ππνινγηζκνί παξνπζηάδνληαο λέα πξφηππα εθπαίδεπζεο ζην δίθηπν κέρξη νη ειεχζεξεο παξάκεηξνη ηνπ δηθηχνπ ζηαζεξνπνηήζνπλ ηηο ηηκέο ηνπο θαη ε ζπλάξηεζε ζθάικαηνο γηα φιν ην ζχλνιν πξνηχπσλ εθπαίδεπζεο απνθηήζεη ηελ ειάρηζηε ηηκή ηεο ή µηα πνιχ κηθξή απνδεθηή ηηκή. Ζ ζεηξά πνπ ζα ηξνθνδνηνχληαη ηα πξφηππα ζην δίθηπν ζα πξέπεη λα κεηαβάιιεηαη ηπραία [5]. 46

47 εκαληηθφ ξφιν έρεη ε ζπλάξηεζε ελεξγνπνίεζεο, ε νπνία, ζε αληίζεζε µε ηνλ αηζζεηήξα αλήθεη ζηελ θαηεγνξία ησλ ζηγκνεηδψλ. πλεζέζηεξα ρξεζηκνπνηείηαη ε ζηγκνεηδήο ζπλάξηεζε κε ηχπν: 1 f(x)= 1+e -x ε νπνία παξάγεη, φπσο θαίλεηαη θαη απφ ηελ γξαθηθή ηεο παξάζηαζε, ηηκέο κεηαμχ 0 θαη 1. Σρήκα Σηγκνεηδήο ζπλάξηεζε [17]. Μάιηζηα, φζν κεγαιχηεξν ην x, ηφζν πην θνληά είλαη ην απνηέιεζκα ζην 1 θαη αληίζηξνθα, φζν κηθξφηεξν ην x, ηφζν πην θνληά ζην 0 είλαη ην απνηέιεζκα. Δπίζεο ε παξάγσγνο ηεο βνεζάεη ζηελ εθπαίδεπζε ηνπ δηθηχνπ µε ηελ νκαιφηεηα πνπ παξνπζηάδεη: ' f (x)=f(x)(1-f(x)) Μηα άιιε ζπλάξηεζε πνπ ρξεζηκνπνηείηαη ζπρλά είλαη ε ππεξβνιηθή εθαπηνκέλε: f(x)=tanh(x) ε νπνία έρεη παξφκνηεο ηδηφηεηεο µε ηελ ζηγκνεηδή, µε ηελ δηαθνξά φηη είλαη ζπκκεηξηθή σο πξνο ηελ αξρή ησλ αμφλσλ [17]. Σρήκα Σπλάξηεζε Υπεξβνιηθήο εθαπηνκέλεο [17]. 47

48 3.3.ΓΙΚΣΤΟ KOHONEN - SELF ORGANIZING MAP (SOM) ε απηή ηελ παξάγξαθν απηφ γίλεηαη αλαθνξά ζε έλα παξάδεηγκα δηθηχνπ πνπ αλήθεη ζηελ θαηεγνξία ηεο κε επηβιεπφκελεο κάζεζεο (un supervised learning), δειαδή ηεο κάζεζεο ρσξίο ηελ παξνπζία «δαζθάινπ». Πεξηζζφηεξν ζπγθεθξηκέλα ζε έλα ζπγθεθξηκέλν είδνο κε επηβιεπφκελεο κάζεζεο, ηελ αληαγσληζηηθή κάζεζε (Competitive learning). ηελ αληαγσληζηηθή κάζεζε νη λεπξψλεο αληαγσλίδνληαη κεηαμχ ηνπο γηα ην πνηνο ζα ελεξγνπνηεζεί. Δλψ ζε άιια είδε κάζεζεο φπσο γηα παξάδεηγκα ζηε κάζεζε Hebb κπνξνχλ λα ελεξγνπνηνχληαη ηαπηφρξνλα πεξηζζφηεξνη ηνπ ελφο λεπξψλεο, ζηελ αληαγσληζηηθή κάζεζε κφλν έλαο λεπξψλαο κπνξεί λα είλαη ελεξγφο θάζε θνξά. Ο λεπξψλαο απηφο πνπ «θεξδίδεη ηνλ αληαγσληζκφ» νλνκάδεηαη Winner taes all neuron [35]. Ζ βαζηθή ηδέα ηεο αληαγσληζηηθήο κάζεζεο μεθίλεζε ηε δεθαεηία ηνπ 70, φκσο γηα πξψηε θνξά έηπρε ηεο πξνζνρήο ηεο αθαδεκατθήο θαη εξεπλεηηθήο θνηλφηεηαο ζηα ηέιε ηεο δεθαεηίαο ηνπ 80, φηαλ ν Teuvo Kohonen παξνπζίαζε κηα εηδηθή ηάμε ηερλεηψλ λεπξσληθψλ δηθηχσλ ηα νπνία νλφκαζε απηννξγαλσκέλνπο ράξηεο ραξαθηεξηζηηθώλ (Self Organizing Feature Maps) ([36], [37]). Ο αλζξψπηλνο εγθέθαινο απνηειείηαη απφ ηνλ εγθεθαιηθφ θινηφ, ν νπνίνο είλαη κηα πνιχ πνιχπινθε δνκή απφ δηζεθαηνκκχξηα λεπξψλεο θαη εθαηνληάδεο δηζεθαηνκκχξηα ζπλάςεηο. Ο θινηφο ζηελ νξγάλσζε ηνπ δελ παξνπζηάδεη νχηε νκνηνκνξθία νχηε θαη νκνηνγέλεηα. Πεξηιακβάλεη πεξηνρέο πνπ ραξαθηεξίδνληαη απφ ην πάρνο ησλ επηπέδσλ ηνπο θαη ηνλ ηχπν ησλ λεπξψλσλ πνπ ππάξρνπλ ζε απηέο. Κάζε κία απφ ηηο πεξηνρέο απηέο είλαη ππεχζπλε θαη γηα κηα δηαθνξεηηθή αλζξψπηλε ιεηηνπξγία, φπσο γηα παξάδεηγκα ηελ φξαζε, ηελ θίλεζε, ηελ αθνή θ.η.ι. θαη θάζε κηα ζρεηίδεηαη κε δηαθνξεηηθά αηζζεηήξηα φξγαλα. Άξα θάζε δηαθνξεηηθφ αηζζεηήξην φξγαλν απεηθνλίδεηαη ζε κηα αληίζηνηρε πεξηνρή ζηνλ εγθεθαιηθφ θινηφ. Με άιια ιφγηα ν θινηφο είλαη έλαο απηννξγαλσκέλνο ππνινγηζηηθόο ράξηεο (Self Organizing Computational Map) ζηνλ αλζξψπηλν εγθέθαιν [35]. Ο Kohonen δηαηχπσζε ηελ αξρή ηνπ ζρεκαηηζκνχ ηνπνγξαθηθνχ ράξηε (Principle of Topographic Map Formation) [37]. χκθσλα κε ηελ αξρή απηή ε ζέζε ελφο λεπξψλα εμφδνπ ζε έλα ηνπνγξαθηθφ ράξηε αληηζηνηρεί ζε έλα ζπγθεθξηκέλν ραξαθηεξηζηηθφ ηνπ πξνηχπνπ εηζφδνπ. Σν κνληέιν απηφ «ζπιιακβάλεη» ηα βαζηθά ραξαθηεξηζηηθά ησλ απηννξγαλσκέλσλ ραξηψλ ηνπ εγθεθάινπ θαη κπνξεί λα αλαπαξαζηαζεί θαη λα πινπνηεζεί εχθνια ζε έλαλ ππνινγηζηή. Ζ νλνκαζία Self-Organizing Map πξνήιζε απφ ηελ ηδηφηεηα ηνπ δηθηχνπ Kohonen λα κνηάδεη µε έλαλ ηνπνγξαθηθφ ράξηε ν νπνίνο δεκηνπξγείηαη θαη νξγαλψλεηαη µφλνο ηνπ. Σν κνληέιν ηνπ Kohonen θάλεη κηα ηνπνγξαθηθή απεηθφληζε ελφο ζπγθεθξηκέλνπ ζηαζεξνχ αξηζκνχ πξνηχπσλ εηζφδνπ, ηα νπνία παξνπζηάδνληαη ζην ζηξψκα εηζφδνπ, ζε έλα κεγαιχηεξεο δηάζηαζεο ζηξψκα εμφδνπ, ην νπνίν νλνκάδεηαη θαη ζηξψκα Kohonen. Έλα απιφ δίθηπν απνηειείηαη απφ δχν ζηξψκαηα λεπξψλσλ, ηα νπνία είλαη πιήξσο ζπλδεδεκέλα κεηαμχ ηνπο. Κάζε λεπξψλαο εηζφδνπ έρεη µηα πξνο ηα εκπξφο ηξνθνδνηνχκελε ζχλαςε µε θάζε λεπξψλα εμφδνπ. 48

49 Σρήκα Γίθηπν Kohonen [17]. Σν δίθηπν Kohonen ιεηηνπξγεί ζε δχν βήκαηα:πξψηα, επηιέγεη ηνλ θφµβν εμφδνπ ηνπ νπνίνπ ην δηάλπζκα ησλ ζπλαπηηθψλ βαξψλ είλαη θνληχηεξα ζην ηξέρνλ δηάλπζκα εηζφδνπ σο θφκβν ληθεηή. Δπηιέγεηαη δειαδή ν θφκβνο i ηνπ ζηξψκαηνο εμφδνπ γηα ηνλ νπνίν είλαη ειάρηζηε ε απφζηαζε: d = x-w = (x -w ) i j ij j 2 ηελ ζπλέρεηα κεηαβάιινληαη φια ηα βάξε ζχκθσλα µε ηελ ζπλάξηεζε w _new =w _old =+κf(i,)(x j-w ) φπνπ f(i, ) νλνκάδεηαη ε ζπλάξηεζε γεηηνληάο, ε νπνία θαη νπζηαζηηθά «θηιηξάξεη» ηνπο θφκβνπο πνπ είλαη θνληά ή αιιηψο «γείηνλεο» ζηνλ θφκβν ληθεηή απφ ηνπο πην απνκαθξπζκέλνπο θφκβνπο. Απηφ έρεη σο απνηέιεζκα ν ληθεηήο θαη νη γείηνλέο ηνπ λα αιιάδνπλ ηα βάξε ηνπο αηζζεηά ψζηε µε ηνλ θαηξφ λα αληαπνθξίλνληαη ζε παξφκνηα δεδνκέλα εηζφδνπ ελψ νη απνκαθξπζκέλνη θφκβνη ιακβάλνπλ ειάρηζηε κεηαβνιή βαξψλ. ε γεληθέο γξακκέο, ην δεηνχκελν είλαη λα κεηαηνπηζηεί ην δηάλπζκα ησλ βαξψλ ηνπ ληθεηή θαη ησλ γεηηφλσλ ηνπ πξνο ην δηάλπζκα εηζφδνπ [17]. Σρήκα Μεηαβνιή δηαλύζκαηνο [17]. 49

50 Έλα παξάδεηγκα κίαο ζπλάξηεζεο γεηηνληάο είλαη ε f(i,)=e 2 ( r-r i ) 2 (2ζ ) 2 φπνπ ην ζ είλαη ε παξάκεηξνο ηεο απφζηαζεο πνπ κπνξεί λα κεηψλεηαη ζπλαξηήζεη ηνπ ρξφλνπ [6]. 3.4.ΓΙΚΣΤΑ HOPFIELD Έλα αλαδξνκηθφ Νεπξσληθφ Γίθηπν έρεη εθηφο απφ ηηο πξνο ηα εκπξφο θαη πξνο ηα πίζσ ζπλδέζεηο, δειαδή βξφγρνπο αλαδξνκήο απφ ηηο εμφδνπο ηνπ πξνο ηηο εηζφδνπο ηνπ. Ζ παξνπζία ηέηνησλ βξφγρσλ έρεη ηζρπξή επίπησζε ζηελ ηθαλφηεηα κάζεζεο ηνπ δηθηχνπ. Σα δίθηπα Hopfield αλήθνπλ ζηελ θαηεγνξία ησλ αλαδξνκηθψλ Νεπξσληθά Γηθηχσλ [6]. Ζ δηαδηθαζία κάζεζεο ελφο αλαδξνκηθνχ δηθηχνπ είλαη ε παξαθάησ: Αθνχ εθαξκνζηεί κηα είζνδνο ππνινγίδεηαη ε έμνδνο ηνπ δηθηχνπ ε νπνία ζηε ζπλέρεηα αλαηξνθνδνηείηαη σο είζνδνο ζην δίθηπν. Τπνινγίδεηαη ε λέα έμνδνο ηνπ δηθηχνπ θαη ε δηαδηθαζία επαλαιακβάλεηαη έσο φηνπ ε έμνδνο ηνπ δηθηχνπ γίλεη ζηαζεξή δειαδή πάςεη λα κεηαβάιιεηαη. Βέβαηα δελ γίλεηαη πάληα ε έμνδνο ηνπ δηθηχνπ ζηαζεξή. Ζ παξαπάλσ δηαδηθαζία δελ εμαζθαιίδεη πάληα φηη ζε θάζε επαλάιεςε νη κεηαβνιέο ζηελ έμνδν ηνπ δηθηχνπ ζα είλαη νινέλα θαη κηθξφηεξεο έηζη ψζηε ζε θάπνηα ρξνληθή ζηηγκή ε έμνδνο λα πάςεη λα κεηαβάιιεηαη. Αληηζέησο είλαη πνιχ πηζαλφ λα νδεγήζεη ζε κηα ρανηηθή ζπκπεξηθνξά ηνπ δηθηχνπ. ηελ πεξίπησζε απηή ε έμνδνο ηνπ δηθηχνπ δελ γίλεηαη πνηέ ζηαζεξή θαη ηφηε ιέκε φηη ην δίθηπν είλαη αζηαζέο ([33], [34]). Ζ επζηάζεηα ησλ αλαδξνκηθψλ Νεπξσληθψλ Γηθηχσλ απνηέιεζε αληηθείκελν έξεπλαο πνιιψλ εξεπλεηψλ ηνπ ρψξνπ ζηηο δεθαεηίεο ηνπ 60 θαη 70. Παξφια απηά, θαλείο δελ θαηάθεξε λα πξνβιέςεη πην αλαδξνκηθφ δίθηπν ζα κπνξνχζε λα ήηαλ επζηαζέο, κε απνηέιεζκα πνιινί απφ απηνχο λα εθθξάδνπλ κηα απαηζηνδνμία γηα ην εάλ ηειηθά ζα κπνξνχζε λα βξεζεί ιχζε ζε απηφ ην πξφβιεκα. Ζ ιχζε φκσο ήξζε ην 1982, φηαλ ν John Hopfield δηαηχπσζε ηε θπζηθή αξρή ηεο απνζήθεπζεο πιεξνθνξίαο ζε έλα δπλακηθά επζηαζέο δίθηπν ([33], [17]). Σν δίθηπν ηνπ Hopfield είλαη ινηπφλ έλα αλαηξνθνδνηνχκελν δίθηπν µε ζπκκεηξηθέο ζπλάςεηο πνπ ζεκαίλεη φηη δειαδή φινη νη θφκβνη έρνπλ ζπλάςεηο µε φινπο ηνπο θφκβνπο. Σρήκα Γίθηπν Hopfield [17]. 50

51 Κάζε θφκβνο ρξεζηκνπνηείηαη θαη σο είζνδνο θαη σο έμνδνο, ελψ ε ζπλάξηεζε ελεξγνπνίεζεο ηνπ θάζε θφκβνπ είλαη ε ζπλάξηεζε κνλαδηαίνπ βήκαηνο. Σν δίθηπν ζπγθιίλεη πάληα ζε µηα ζηαζεξή θαηάζηαζε, πνπ είλαη ειάρηζην ηεο ζπλάξηεζεο ελέξγεηαο ηνπ δηθηχνπ. Ζ ιεηηνπξγία ηνπ ζπλνςίδεηαη σο εμήο: Πξψηα, νξίδνληαη νη ηηκέο ησλ βαξψλ ζχκθσλα µε ηα πξφηππα πνπ ζέινπκε λα απνζεθεπηνχλ ζην δίθηπν [17]. M s s ij i j s=1 w = x x, i=1,2,...,n j=1,2...,n φπνπ Μ ην πιήζνο ησλ απνζεθεπκέλσλ πξνηχπσλ ζην δίθηπν θαη x s ε ζπληεηαγκέλε ηνπ s πξνηχπνπ. Καηφπηλ, εηζάγεηαη έλα άγλσζην πξφηππν θαη ην δίθηπν εμαλαγθάδεηαη λα ηαπηίζεη ηελ έμνδν µε ην λέν πξφηππν. Σν δηάλπζκα εμφδνπ ππνινγίδεηαη σο εμήο: 1, u >0 y =f(u )= φπνπ u = w x N i i i i ij j -1, u i<0 j=1 Σν δίθηπν επαλαιακβάλεη απηά ηα βήκαηα κέρξη λα ζπγθιίλεη, δειαδή λα µελ ππάξρεη κεηαβνιή ζην δηάλπζκα εμφδνπ. Γεληθά κε ηε ρξήζε ηνπ δηθηχνπ Hopfield επηδηψθεηαη ε αλαγλψξηζε ελφο αηεινχο ή ιαλζαζκέλνπ πξνηχπνπ έπεηηα απφ ζχγθξηζε µε ηα απνζεθεπκέλα πξφηππα κέζα ζην δίθηπν [6]. 4.ΔΠΙΦΑΝΔΙΑ ΑΠΟΓΟΗ ΚΑΙ ΒΔΛΣΙΣΑ ΗΜΔΙΑ 4.1.ΔΙΑΓΧΓΗ Σν θεθάιαην ζρεηίδεηαη κε έλαλ απφ ηνπο ηχπνπο ησλ ηερληθψλ εθπαίδεπζεο ησλ λεπξσληθψλ δηθηχσλ ν νπνίνο νλνκάδεηαη Απφδνζε Μάζεζεο. Τπάξρνπλ πνιιέο δηαθνξεηηθέο θαηεγνξίεο απφ θαλφλεο εθπαίδεπζεο δηθηχσλ φπσο ε ζπζρεηηδφκελε κέζνδνο εθπαίδεπζεο (π.ρ. ε κέζνδνο εθπαίδεπζεο ηνπ Hebbian) θαη ε αληαγσληζηηθή κέζνδνο νη νπνίεο έρνπλ αλαιπζεί ζε πξνεγνχκελν θεθάιαην. Ζ Απφδνζε Μάζεζεο είλαη κηα ζεκαληηθή κέζνδνο εθπαίδεπζεο, ζηελ νπνία νη δηθηπαθέο παξάκεηξνη είλαη ξπζκηζηηθνί, γηα ηελ βειηηζηνπνίεζε ηεο απφδνζεο ηνπ δηθηχνπ. Εεηνχκελν είλαη λα εξεπλεζεί ε επηθάλεηα ηεο απφδνζεο θαη λα θαζνξηζηνχλ νη ζπλζήθεο χπαξμεο θάπνηνπ ειάρηζηνπ ή κέγηζηνπ ζεκείνπ ζηελ επηθάλεηα ηεο απφδνζεο. 4.2.ΑΠΟΓΟΗ ΜΑΘΗΗ ηελ ζπλέρεηα παξνπζηάδνληαη δπν θαλφλεο απφ ηε θαηεγνξία Απφδνζε Μάζεζεο. Απηνί νη θαλφλεο εθπαίδεπζεο είλαη δηαθνξεηηθνί επεηδή θαηά ηελ δηάξθεηα ηεο εθπαίδεπζεο, νη παξάκεηξνη ηνπ δηθηχνπ είλαη ξπζκηζκέλνη ζε κηα πξνζπάζεηα βειηηζηνπνίεζεο ηεο επηθάλεηαο ηνπ δηθηχνπ. Καηά ηελ δηαδηθαζία βειηηζηνπνίεζεο πξαγκαηνπνηνχληαη δχν βήκαηα: 51

52 Σν πξψην βήκα είλαη ν θαζνξηζκφο ηεο έλλνηαο «επηθάλεηαο» δειαδή ε εχξεζε ελφο πνζνηηθνχ κέηξνπ ηεο επηθάλεηαο ηνπ δηθηχνπ, ε νπνία νλνκάδεηαη επηθαλεηαθόο δείθηεο. Απηφ ν δείθηεο είλαη κηθξφο φηαλ ην δίθηπν ιεηηνπξγεί ζσζηά θαη κεγάινο φηαλ ην δίθηπν ιεηηνπξγεί πξνβιεκαηηθά. Σν δεχηεξν βήκα θαηά ηελ δηαδηθαζία βειηηζηνπνίεζεο είλαη ε εχξεζε ησλ παξακεηξηθψλ δηαζηεκάησλ, ηα νπνία ξπζκίδνληαη απφ ηα βάξε ηνπ δηθηχνπ κε ζθνπφ λα κεησζεί ν επηθαλεηαθόο δείθηεο [13] ΔΙΡΔ TAYLOR ηε ζπλέρεηα ζα ζπκβνιίδεηαη σο f(x) ν δείθηεο ηεο απφδνζεο νπνχ ην x είλαη κηα αξηζκεηηθή παξάκεηξνο. Ο δείθηεο απφδνζεο είλαη κία αλαιπηηθή ζπλάξηεζε έηζη ψζηε λα είλαη παληνχ παξαγσγίζηκε θαη ε νπνία πξέπεη λα ειαρηζηνπνηεζεί. Γηα λα γίλεη πξνζέγγηζε ηνπ δείθηε ηεο απφδνζεο ρξεζηκνπνηνχληαη ζεηξέο Taylor γηα θάπνηα νλνκαζηηθά ζεκεία x* θαζνξίδνληαο φκσο απφ ηελ αξρή κηα ζεηξά απφ πεξηνξηζκνχο πνπ ζα πξέπεη λα ηζρχνπλ: 2 n * d * 1 d y * 2 1 d y * f(x)=f(x )+ f(x) (x-x )+ f(x) (x-x ) f(x) (x-x ) * 2 * n * dx x=x 2 dx x=x n! dx x=x n Γηα παξάδεηγκα γηα ηελ ζπλάξηεζε: f(x)=cos(x) Ζ έθηαζε ηεο εθαξκνγήο ηεο εηξάο Taylor ζηελ f(x) γηα ην ζεκείν x* = 0 είλαη: f(x)=cos(x)=cos(0)-sin(0)(x-0)- cos(0)(x-0) + sin(0)(x-0) Ζ κεδεληθήο ηάμεο πξνζέγγηζε ηεο f(x) είλαη: f(x) f (x)=1 0 H πεξίπησζε ηεο πξψηεο ηάμεο είλαη ίδηα κε ηελ πεξίπησζε ηεο κεδεληθήο ηάμεο εθφζνλ ε πξψηε παξαγσγφο είλαη κεδέλ. Ζ δεχηεξεο ηάμεο πξνζέγγηζε είλαη: 1 f(x)=f 2(x)=1- x 2 2 κνηα ε ηέηαξηεο ηάμεο πξνζέγγηζε είλαη: 1 1 f(x)=f 4(x)=1- x + x

53 ρήκα 4.1.Ζ ζπλάξηεζε Cosine θαη ζεηξέο Taylor [13]. ην ζρήκα 4.1 παξαηεξείηαη φηη νη ηξεηο απηέο εθθξάζεηο είλαη αθξηβείο θαη ζσζηέο ζηελ πεξίπησζε πνπ ην x* είλαη πνιχ θνληά ζηελ ηηκή x* = 0. κσο, φηαλ ην x θηλείηαη πνιχ πην καθξηά απφ ην x* κφλν ε πξνζέγγηζε ηεο κεγαιχηεξεο ηάμεο είλαη ζσζηή. Κάζε επηηπρήο πνξεία ησλ ζπλαξηήζεσλ πεξηιακβάλεη κηα κεγάιε δχλακε ησλ (x - x*). ζν ην x είλαη πην θνληά ζην x* ηφζν θαη νη πνξείεο ζα γίλνληαη θαη γεσκεηξηθά κηθξφηεξεο. Έηζη ρξεζηκνπνηνχληαη νη ζεηξέο ηνπ Taylor, ζηνλ δείθηε ηεο απφδνζεο, ψζηε λα εξεπλεζεί ην ζρήκα ηνπ δείθηε ηεο απφδνζεο ζηα πην πηζαλά βέιηηζηα ζεκεία [13] ΓΙΑΝΤΜΑΣΙΚΔ ΠΔΡΙΠΣΧΔΙ O δείθηεο ηεο απφδνζεο ησλ λεπξσληθψλ δηθηχσλ είλαη κηα ζπλάξηεζε, ε νπνία εμαξηάηαη απφ δηθηπαθέο παξακέηξνπο (βάξε θαη bias). Έηζη απαηηείηαη ε επέθηαζε ησλ ζεηξψλ Taylor ψζηε λα εθθξαζηεί σο ζπλάξηεζε πνιιψλ κεηαβιεηψλ. Οξίδεηαη ε επφκελε ζπλάξηεζε n κεηαβιεηψλ. f(x)=f(x 1,x 2,...x n) Ζ έθθξαζε ησλ ζεηξψλ ηνπ Taylor γηα απηήλ ηελ ζπλάξηεζε ζην ζεκείν x* είλαη : d d d f(x)=f(x )+ f(x) (x -x )+ f(x) (x -x )+...+ f(x) (x -x )+ * * * * * 1 1 * 2 2 * n n dx x=x x=x x=x 1 dx2 dxn d * 2 1 d * * + f(x) (x 2 1-x 1) + f(x) (x1-x 1)(x 2-x 2) dx * * 1 x=x 2 dx1dx 2 x=x Δλαιιαθηηθά ε f(x) ζε κνξθή πίλαθα: * Σ * * Σ 2 * f(x)=f(x )+ f(x) (x-x )+ (x-x ) f(x) (x-x )+... * * x=x x=x 1 2 Ζ θιίζε ηεο ζπλάξηεζεο ζπκβνιίδεηαη κε f(x) θαη νξίδεηαη σο: 53

54 d d d f(x)= f(x), f(x),..., f(x) dx dx dx 1 2 n Σ Ο Δζζηαλφο πίλαθαο ζπκβνιίδεηαη κε 2 f(x) νξίδεηαη σο: d d d f(x) f(x) f(x) dx dx dx dx dx n d d d Σ= f(x) f(x) f(x) dx dx dx dx dx n d d d f(x) f(x) f(x) dx dx dx dx dx dx n 1 n 2 n n 4.3.ΚΑΣΔΤΘΤΝΣΙΚΑ ΠΑΡΑΓΧΓΑ To i ζηνηρείν ηεο θιίζεο είλαη θαη ε πξψηε παξάγσγνο ηνπ δείθηε ηεο απφδνζεο ηεο f ζηνλ άμνλα ησλ x i. To i ζηνηρείν ηεο δηαγψληνπ ηνπ Δζζηαλνχ πίλαθα είλαη ε δεχηεξε παξάγσγνο ηνπ δείθηε ηεο απφδνζεο ηεο f ζηνλ άμνλα ησλ x i. Γηα ηνλ πξνζδηνξηζκφ ηεο θαηεχζπλζεο ηεο ζπλάξηεζεο ππεχζπλν είλαη ην δηάλπζκα p θαη ζπγθεθξηκέλα ην απνηέιεζκα ηεο παξαγψγηζεο απηνχ ηνπ δηαλχζκαηνο είλαη ε θαηεχζπλζε ηεο ζπλάξηεζεο. Απηφ ην θαηεπζπληηθφ παξάγσγν ππνινγίδεηαη απφ ηελ παξάζηαζε: T p f(x) p Ζ δεχηεξε παξάγσγνο σο πξνο p ππνινγίδεηαη σο: p T 2 p f(x)p 2 Γηα παξάδεηγκα ζεσξείηαη ε ζπλάξηεζε: f(x) = x 2x p = 2, - 1 Πξέπεη λα βξεζεί ε παξάγσγνο ηεο ζπλάξηεζεο ζην ζεκείν, x* = 0.5, 0.5 κε ηελ θαηεχζπλζε Σ. Αξρηθά ππνινγίδεηαη ε θιίζε ηεο ζπλάξηεζεο ζην ζεκείν x*. Σ 54

55 f ( x) * x x d dx d dx f ( x) f ( x) * x x 2x 1 4x 2 2 * x x Έπεηηα ππνινγίδεηαη ε παξάγσγνο ηεο θαηεχζπλζεο p: p T 1 2, 1 f(x) 2 0 p Δπνκέλσο ε ζπλάξηεζε έρεη κεδεληθή θιίζε ζηελ θαηεχζπλζε p απφ ην ζεκείν x*. Δάλ ζεσξεζεί θαζνξηζκέλε ε θαηεπζπληηθή παξάγσγνο ζε απηφ ην ζεκείν, παξαηεξείηαη φηη ν αξηζκεηήο ηνπ θιάζκαηνο είλαη έλα εζσηεξηθφ παξάγσγν αλάκεζα ζην δηάλπζκα ηεο θαηεχζπλζεο θαη ζηελ θιίζε. Δπνκέλσο θάζε θαηεχζπλζε ε νπνία είλαη νξζή ζηελ θιίζε ηεο ζπλάξηεζεο ζα είλαη κεδεληθή. Ζ κέγηζηε θιίζε ζα πξαγκαηνπνηεζεί φηαλ ην εζσηεξηθφ παξάγσγν ηνπ δηαλχζκαηνο θαηεχζπλζεο θαη ηεο θιίζεο ζα είλαη κέγηζην. Γειαδή φηαλ ε θαηεχζπλζε ηνπ δηαλχζκαηνο θιίζεο ζα είλαη ε ίδηα κε ηελ θιίζε. Απηφ παξνπζηάδεηαη ζηα ζρήκαηα 4.2a θαη 4.2b, ηα νπνία δείρλνπλ ην ζρήκα ηεο γξαθηθήο απφδνζεο θαη έλα ηξηζδηάζηαην ζρήκα ηεο ζπλάξηεζεο f(x). ηελ γξαθηθή αλαπαξάζηαζε ηνπ ζρήκαηνο δηαθξίλνληαη πέληε δηαλχζκαηα, λα μεθηλνχλε απφ ην ζεκείν x* θαη λα θαηεπζχλνληαη πξνο δηαθνξεηηθέο θαηεπζχλζεηο. ην ηέινο ηνπ θάζε δηαλχζκαηνο ε πξψηε θαηεπζπληηθή παξάγσγνο εκθαλίδεηαη. Ζ κέγηζηε παξάγσγνο επέξρεηαη απφ ηελ θαηεχζπλζε ηεο θιίζεο ηεο ζπλάξηεζεο. Ζ κεδεληθή παξάγσγνο είλαη κηα θαηεχζπλζε θάζεηε ζηελ θιίζε [13]. ρήκα 4.2a 4.2.b.: Γεπηεξνβάζκηα εμίζσζε κε παξάγσγα θαηεχζπλζεο [13]. 55

56 4.4 ΔΛΑΥΙΣΟ. ε απηφ ην θεθάιαην θαζνξίδεηαη ε έλλνηα ηνπ βέιηηζηνπ ζεκείνπ κε ηελ ππφζεζε φηη ην βέιηηζην ζεκείν είλαη έλα ειάρηζην γηα ην δείθηε απφδνζεο. Σν αληηθείκελν απφ ηελ απφδνζε εθπαίδεπζεο ζα βειηηζηνπνηεί ην δείθηε απφδνζεο ηνπ δηθηχνπ. Σα νξίζκαηα κπνξνχλ εχθνια λα ηξνπνπνηεζνχλ γηα πξνβιήκαηα κεγηζηνπνίεζεο ΓΤΝΑΣΟ ΔΛΑΥΙΣΟ (STRONG MINIMUM). Σν ζεκείν x* είλαη έλα δπλαηφ ειάρηζην ηεο ζπλάξηεζεο f(x) εάλ ππάξρεη αξηζκφο δ > 0 έηζη ψζηε * * f(x ) < f(x +Γx) γηα φια ηα Γx κε δ > Γx > 0. Γειαδή γηα κηα κηθξή απφζηαζε απφ ην δπλαηφ ειάρηζην ε ζπλάξηεζε ζα απμαλφηαλ ΟΛΙΚΟ ΔΛΑΥΙΣΟ. Σν ζεκείν x* είλαη έλα γεληθφ ειάρηζην ηεο ζπλάξηεζεο f(x) εάλ * * f (x ) < f (x +Γx) γηα φια ηα Γx δηαθνξεηηθά ηνπ κεδελφο. ε έλα απιφ δπλαηφ ειάρηζην x* ε ζπλάξηεζε κπνξεί λα γίλεη κηθξφηεξε απφ ηελ f(x*) θαη γηα θάπνηα ζεκεία εθηφο απφ ηε κηθξή πεξηνρή ησλ x*. Απηφ νλνκάδεηαη γεληθό ειάρηζην. Γηα φια ηα νιηθά ειάρηζηα ηεο ζπλάξηεζεο, ηζρχεη φηη είλαη κεγαιχηεξα απφ ηα ειάρηζηα ζε θάζε άιιν ζεκείν ησλ δηαζηεκάησλ ησλ παξακέηξσλ ΑΓΤΝΑΜΟ ΔΛΑΥΙΣΟ (WEAK MINIMUM). Σν ζεκείν x* είλαη έλα αδχλακν ειάρηζην ηεο ζπλάξηεζεο f(x) εάλ δελ είλαη έλα δπλαηφ ειάρηζην θαη εάλ ππάξρεη αξηζκφο δ > 0 έηζη ψζηε f (x*) <f (x*+γx) γηα φια ηα Γx κε δ > Γx > 0. Αλεμάξηεηα απφ ηελ θαηεχζπλζε πνπ γίλεηαη ε θίλεζε καθξηά απφ έλα αδχλακν ειάρηζην ε ζπλάξηεζε δελ κπνξεί λα απμεζεί. Έλα παξάδεηγκα ηνπηθνχ θαη νιηθνχ ειάρηζηνπ βαζίδεηαη ζηελ επφκελε αξηζκεηηθή ζπλάξηεζε: f(x) =3x -7x - x +6 2 ζεκεία H ζπλάξηεζε απηή πνπ παξνπζηάδεηαη ζην ζρήκα 4.3 έρεη δχν δπλαηά ειάρηζηα ζεκεία ζηα αληίζηνηρα 1,1 θαη 1,1. Γηα ηα δχν απηά ζεκεία ε ζπλάξηεζε απμάλεηαη ζε κηα κηθξή θαη ηνπηθή πεξηνρή. Σν ειάρηζην ζην ζεκείν 1,1 είλαη έλα νιηθφ ειάρηζην αθνχ δελ ππάξρεη άιιν ζεκείν γηα ην νπνίν ε ζπλάξηεζε λα είλαη κηθξφηεξε. πσο θαίλεηαη ζην ζρήκα δελ ππάξρεη αδχλακν ειάρηζην γηα απηήλ ηελ ζπλάξηεζε. 56

57 ρήκα 4.3.: Παξάδεηγκα ηνπηθνχ ειαρίζηνπ θαη νιηθνχ ειαρίζηνπ [13]. ρήκα 4.4.a 4.4.b.: Αδχλακν ζεκείν [13]. 4.5 ΑΠΑΡΑΙΣΗΣΔ ΤΝΘΗΚΔ ΓΙΑ ΒΔΛΣΙΣΟΠΟΙΗΗ Μεηά ηνλ νξηζκφ ηεο έλλνηαο ηνπ φξνπ βέιηηζην ζεκείν (ειάρηζην) νξίδνληαη νη ζπλζήθεο νη νπνίεο ηθαλνπνηνχληαη απφ έλα ηέηνην ζεκείν κε ηε ρξήζε ησλ ζεηξψλ Taylor. * * Σ Σ 2 f(x)=f(x +Γx)=f(x )+ f(x) Γx+ Γx f(x) Γx... * * x=x x=x 1 2 θαη * Γx=(x-x ) ΠΡΧΣΗ ΣΑΞΗ ΤΝΘΗΚΔ Δάλ ην Γx είλαη πνιχ κηθξφ ε ζπλζήθε ηεο κεγαιχηεξεο ηάμεο ζα είλαη κεδακηλή θαη ε ζπλάξηεζε: 57

58 * * Σ Σ 2 f(x)=f(x +Γx)=f(x )+ f(x) Γx+ Γx f(x) Γx... * * x=x x=x 1 2 πξνζεγγίδεηαη απφ ηε ζπλάξηεζε: * * Σ f(x +Γx) f(x )+ f(x) Γx * x=x Σν ζεκείν x* είλαη ππνςήθην ειάρηζην πνπ ζεκαίλεη φηη ε ζπλάξηεζε πξέπεη λα έρεη αλνδηθή πνξεία ή ηνπιάρηζηνλ φρη θαζνδηθή εάλ ην Γx δελ έρεη κεδεληθή ηηκή. κσο γηα λα ζπκβεί απηφ ε ζπλζήθε ηεο δεχηεξεο ηάμεο ζα πξέπεη λα κελ είλαη αξλεηηθή. Γειαδή ζα πξέπεη: Σ f(x) Γx 0 * x=x κσο εάλ απηφ είλαη ζεηηθφ: Σ f(x) Γx > 0 * x=x Θα ζεκαίλεη φηη: * * Σ * f(x -Γx) f(x )- f(x) Γx < f(x ) * x=x Απηφ είλαη αληηθαηηθφ θαη ην x* ζα πξέπεη λα είλαη έλα ειάρηζην. Άξα ε ζρέζε: Σ f(x) Γx 0 * x=x ζα πξέπεη λα ηζρχεη. Δλψ ε ζρέζε: Σ f(x) Γx > 0 * x=x δελ ζα πξέπεη λα ηζρχεη. ε ζπλδπαζκφ νη παξαπάλσ ζρέζεηο δίλνπλ: 58

59 f(x) Σ * x=x Γx=0 Σφηε ζα πξέπεη λα είλαη ζσζηή γηα θάζε x θαη έηζη: f(x) 0 * x=x Άξα ε θιίζε πξέπεη λα είλαη κεδέλ ζην ζεκείν πνπ είλαη ειάρηζην. Απηφ είλαη απαξαίηεηε αιιά φρη επαξθήο ζπλζήθε γηα λα είλαη ην x* ηνπηθφ ειάρηζην. Κάζε ζεκείν πνπ κπνξεί λα ηθαλνπνηήζεη ηελ παξαπάλσ ζπλζήθε νλνκάδεηαη θαη ζηαζεξφ ζεκείν (Stationary point) [13] ΓΔΤΣΔΡΗ ΣΑΞΗ ΤΝΘΗΚΔ Θεσξψληαο έλα ζηαζεξφ ζεκείν x* θαη φηη ε θιίζε ηεο ζπλάξηεζεο f(x) είλαη κεδεληθή γηα φια ηα ζηαζεξά ζεκεία ε έθθξαζε ησλ ζεηξψλ ηνπ Taylor ζα είλαη: 1 2 * * Σ 2 f(x +Γx)=f(x )+ Γx f(x) Γx... * x=x ηαλ ην Γx είλαη πνιχ κηθξφ ε ζπλάξηεζε ηεο f(x) κπνξεί λα πξνζεγγηζηεί απφ ηα δχν κέξε ηεο πξνεγνχκελεο ζρέζεο. Άξα ην δπλαηφ ειάρηζην ζα ππάξρεη ζην ζεκείν x* εάλ: Σ 2 Γx f(x) Γx > 0 * x=x Γηα λα ηζρχεη απηφ θαη γηα θάζε Γx 0 απαηηείηαη ν Δζζηαλφο πίλαθαο λα είλαη ζεηηθά θαζνξηζκέλνο. Γηα λα είλαη ζεηηθά θαζνξηζκέλνο έλαο πίλαθαο Α ζα πξέπεη: Σ z Αz > 0 γηα θάζε δηάλπζκα z δηάθνξν ηνπ κεδελφο. Αληίζηνηρα είλαη ζεηηθφο θαη εκηθαζνξηζκέλνο εάλ ηζρχεη: Σ z Αz 0 γηα θάζε δηάλπζκα z. Μπνξεί λα ειεγρζνχλ απηέο νη ζπλζήθεο, εμεηάδνληαο ηε ραξαθηεξηζηηθή ξίδα ηνπ πίλαθα. Δάλ φιεο νη ξίδεο είλαη ζεηηθέο, ηφηε ν πίλαθαο είλαη ζεηηθά θαζνξηζκέλνο. Δάλ φιεο νη ξίδεο είλαη κε αξλεηηθέο ηφηε ν πίλαθαο είλαη ζεηηθά εκηθαζνξηζκέλνο. Έλαο ζεηηθά θαζνξηζκέλνο Δζζηαλφο πίλαθαο δεχηεξεο ηάμεο είλαη επαξθή ζπλζήθε γηα λα ππάξμεη έλα δπλαηφ ειάρηζην ρσξίο λα είλαη απαξαίηεηε. Έλα ειάρηζην κπνξεί αθφκα λα είλαη δπλαηφ εάλ ε δεχηεξε ηάμε ησλ ζεηξψλ ηνπ Taylor είλαη κεδεληθή αιιά ε ηξίηε ηάμε ζεηηθή. 59

60 πκπεξαζκαηηθά απαξαίηεηε ζπλζήθε γηα ππάξρεη έλα δπλαηφ ειάρηζην είλαη έλαο Δζζηαλφο πίλαθαο λα είλαη ζεηηθά εκηθαζνξηζκέλνο [28]. Σειηθά, νη απαξαίηεηεο ζπλζήθεο γηα λα είλαη ην x* έλα ειάρηζην ηεο f, δπλαηφ ή αδχλακν, είλαη: f(x) * 0 x x θαη ν Δζζηαλφο * 2 f(x) x x λα είλαη ζεηηθά εκηθαζνξηζκέλνο. Οη επαξθείο ζπλζήθεο, γηα λα είλαη ην x* δπλαηφ ειάρηζην ηεο f είλαη: f(x) * 0 x x θαη ν Δζζηαλνο * 2 f(x) x x λα είλαη ζεηηθά θαζνξηζκέλνο. 4.6 ΓΔΤΣΔΡΟΒΑΘΜΙΔ ΤΝΑΡΣΗΔΙ Γηα λα βξεζεί έλα είδνο ελφο δείθηε απφδνζεο ν νπνίνο ζα είλαη γεληθφο ζα γίλεη κηα ζρεηηθή πξνζέγγηζε ζε δεχηεξνπ βαζκνχ ζπλαξηήζεηο. Τπάξρνπλ πνιιέο εθαξκνγέο ζηηο νπνίεο ρξεζηκνπνηνχληαη δεχηεξνπ βαζκνχ ζπλαξηήζεηο αιιά θαη πεξηπηψζεηο φπνπ ζπλαξηήζεηο πξνζεγγίδνληαη απφ δεπηέξνπ βαζκνχ ζπλαξηήζεηο ζε κηθξέο πεξηνρέο θνληά ζηα ηνπηθά ειάρηζηα ζεκεία [16]. Ο γεληθφο ηχπνο απφ κηα δεπηέξνπ βαζκνχ ζπλάξηεζε είλαη: 1 f(x) = 2 T T x Ax + d x + c φπνπ ν πίλαθαο Α είλαη ζπκκεηξηθφο. Γηα ηελ θιίζε απηήο ηεο ζπλάξηεζεο ρξεζηκνπνηνχληαη νη ηδηφηεηεο ηεο: T T (h x) = (x h) = h φπνπ h είλαη έλα ζηαζεξφ δηάλπζκα θαη αλ Q ζπκκεηξηθφο 60

61 T T x Qx = Qx + Q x = 2Qx Αθφκα είλαη γλσζηφ φηη ππάξρεη ε δπλαηφηεηα λα ππνινγηζηεί ε θιίζε ηεο f(x) f(x) = Ax + d κε ηνλ ίδην ηξφπν πνπ κπνξεί λα βξεζεί θαη ν Δζζηαλφο πίλαθαο. 2 f(x) = A ια ηα πςειά παξάγσγα απφ ηηο δεπηέξνπ βαζκνχ ζπλαξηήζεηο είλαη κεδεληθά. Άξα ηα πξψηα ηξία ζηνηρεία απφ ηελ έθθξαζε ησλ ζεηξψλ ηνπ Taylor δίλνπλ κηα αθξηβήο αλαπαξάζηαζε ηεο ζπλάξηεζεο. Δπίζεο φιεο νη αλαιπηηθέο ζπλαξηήζεηο ζπκπεξηθέξλνληαη σο δεπηέξνπ βαζκνχ ζε κηα κηθξή πεξηνρή φηαλ ην Γx είλαη κηθξφ [13] ΥΑΡΑΚΣΗΡΙΣΙΚΟ ΔΙΑΝΟ ΜΟΝΣΔΛΟ Θα αλαιπζεί αξρηθά ην γεληθφ ζρήκα κηαο ζπλάξηεζεο δεπηέξνπ βαζκνχ. Έζησ κηα ζπλάξηεζε δεπηέξνπ βαζκνχ ε νπνία έρεη έλα ζηαζεξφ ζεκείν ζηελ αξρή θαη ε ηηκή είλαη κεδέλ: 1 f(x)= 2 Σ x Αx Πξαγκαηνπνηείηαη αιιαγή ζηε βάζε ηεο ζπλάξηεζε θαη σο θαηλνχξγηα βάζε δηαλπζκάησλ ρξεζηκνπνηνχληαη ηα ραξαθηεξηζηηθά δηαλχζκαηα απφ ηνλ Δζζηαλφ πίλαθα Α. Δπεηδή ν πίλαθαο Α είλαη ζπκκεηξηθφο ηα ραξαθηεξηζηηθά δηαλχζκαηα ζα είλαη θάζεηα κεηαμχ ηνπο. Απηφ ζεκαίλεη φηη γηα έλα πίλαθα κε ραξαθηεξηζηηθά δηαλχζκαηα ζηηο ζηήιεο. Β= z 1,z 2,...,zn ζα ηζρχεη φηη ν αληίζηξνθνο ηνπ ζα είλαη ν ίδηνο κε ηελ αιιεινκεηάζεζε ησλ ζηνηρείσλ ηνπ Α. 1 Δάλ πξαγκαηνπνηεζεί κηα αιιαγή ζηελ βάζε ηνπ ηα ραξαθηεξηζηηθά δηαλχζκαηα ζα είλαη ηα δηαλχζκαηα ηεο βάζεο θαη ν πίλαθαο Α ζα είλαη: 61

62 ' ι ι ι n φπνπ ηα ι i ζα είλαη ξίδεο ηνπ Α. Δπίζεο κπνξεί λα γξαθεί ε εμίζσζε θαη σο: Α = B AB = ι ι 0 2 T 0 0 ι n Α=BAB Θα κπνξνχζαλ λα ρξεζηκνπνηεζνχλ ηα παξάγσγα θαηεχζπλζεο γηα λα εμεγεζεί ε θπζηθή ζεκαζία απφ ηηο ραξαθηεξηζηηθέο ξίδεο θαη ηα ραξαθηεξηζηηθά δηαλχζκαηα απφ ηνλ πίλαθα Α θαη ην πσο θαζνξίδεηαη ην ζρήκα ηεο επηθάλεηαο απφ ηελ ηεηξαγσληθή εμίζσζε. H δεχηεξε παξάγσγνο ηεο ζπλάξηεζεο f(x) κε ηελ θαηεχζπλζε ηνπ δηαλχζκαηνο p καο δίλεηαη απφ ηελ παξαθάησ πξφηαζε: T 2 T p f(x)p p Ap p = 2 2 p Καζνξίδνληαο ινηπφλ: p=bc φπνπ c είλαη κηα αλαπαξάζηαζε ηνπ δηαλχζκαηνο p αλαθνξηθά κε ηα ραξαθηεξηζηηθά δηαλχζκαηα ηνπ πίλαθα Α. Με ηελ βνήζεηα ησλ ζρέζεσλ: T Α=BAB θαη p=bc Ζ ζρέζε: T 2 T p f(x)p p Ap p = 2 2 p κπνξεί λα μαλαγξαθεί σο: 62

63 n 2 Σ T T T C B BAB Bc T ιc η i c Ac i=1 = = = 2 T T T n p c B Bc cc 2 ci i=1 p Αp H δεχηεξε παξάγσγνο είλαη κφλν έλαο ζηαζκηθφο κέζνο φξνο απφ ραξαθηεξηζηηθέο ξίδεο ή κηθξφηεξεο απφ ηηο πην κηθξέο ξίδεο πνπ ζα κπνξνχζαλ λα ππάξρνπλ. Γειαδή: T p Ap ι min ι 2 p max Κάησ απφ πνηεο ζπλζήθεο ζα ήηαλ ε δεχηεξε παξάγσγνο λα είλαη ίζε κε ηελ κεγαιχηεξε ραξαθηεξηζηηθή ξίδα; Δπηιέγεηαη: p =z max φπνπ z είλαη ραξαθηεξηζηηθφ δηάλπζκα δηάλπζκα c φπνπ: T T c=β p =B z max = T θαη απηφ βξίζθεηαη κφλν ζηελ ζέζε ζηελ νπνία ηαηξηάδεη ε κεγαιχηεξε ραξαθηεξηζηηθή ξίδα. Απηφ γίλεηαη γηα ηνλ ιφγν ην νπνίν ηα ραξαθηεξηζηηθά δηαλχζκαηα είλαη νξζνθαλνληθά. Δάλ ηψξα αληηθαζηζηνχζακε ην p κε ην z max ζηελ ζρέζε n 2 Σ T T T C B BAB Bc T ιc η i c Ac i=1 = = = 2 T T T n p c B Bc cc 2 ci i=1 p Αp Θα γηλφηαλ: z n 2 Σ ιc η i max Αzmax i=1 2 n z 2 max ci i=1 = =ι max Έηζη ινηπφλ ε κέγηζηε δεχηεξε παξάγσγνο βξίζθεηαη ζηελ θαηεχζπλζε ηνπ ραξαθηεξηζηηθνχ δηαλχζκαηνο ην νπνίν ηαηξηάδεη ζηελ κεγαιχηεξε ραξαθηεξηζηηθή ξίδα. ε θάζε θαηεχζπλζε ελφο ραξαθηεξηζηηθνχ δηαλχζκαηνο ε δεχηεξε παξάγσγνο ζα είλαη ίζε κε ηελ αληίζηνηρε ραξαθηεξηζηηθή ξίδα. ε άιιεο θαηεπζχλζεηο ε δεχηεξε παξάγσγνο ζα είλαη έλαο κέζνο φξνο ησλ ραξαθηεξηζηηθψλ ξηδψλ ηνπ. Οη 63

64 ραξαθηεξηζηηθέο ξίδεο είλαη νη δεχηεξνη παξάγσγνη ζηηο θαηεπζχλζεηο ησλ ραξαθηεξηζηηθψλ δηαλπζκάησλ. Σα ραξαθηεξηζηηθά δηαλχζκαηα θαζνξίδνπλ έλα λέν ηζνδχλακν ζχζηεκα ζην νπνίν νη δηαζηαπξσκέλνη φξνη δεπηέξνπ βαζκνχ κεδελίδνληαη. Σα ραξαθηεξηζηηθά δηαλχζκαηα είλαη γλσζηά σο αξρηθνί άμνλεο απφ ην ζρήκα ηεο ζπλάξηεζεο. ην παξαθάησ ζρήκα θαίλεηαη ε πξψηε ραξαθηεξηζηηθή ξίδα είλαη κηθξφηεξε απφ ηελ δεχηεξε. Άξα ε κηθξφηεξε θακπχιε ζα βξίζθεηαη ζηελ θαηεχζπλζε ηνπ πξψηνπ ραξαθηεξηζηηθνχ δηαλχζκαηνο. Ζ κεγαιχηεξε θακπχιε ζα βξίζθεηαη ζηελ θαηεχζπλζε ηνπ δεχηεξνπ ραξαθηεξηζηηθνχ δηαλχζκαηνο θαη έηζη δηαζηαπξψλνληαη νη γξακκέο ηνπ πεξηγξάκκαηνο πην γξήγνξα ζε απηήλ ηελ θαηεχζπλζε [28]. ρήκα 4.5: Σα ραξαθηεξηζηηθά δηαλχζκαηα [13]. Σν ζρήκα 4.5. ηζρχεη φηαλ νη ραξαθηεξηζηηθέο ξίδεο έρνπλ ην ίδην ζχκβνιν θαη έηζη ππάξρεη είηε έλα δπλαηφ ειάρηζην είηε έλα δπλαηφ κέγηζην. Γηα απηέο ηηο πεξηπηψζεηο νη γξακκέο ηνπ ζρήκαηνο είλαη ειιεηπηηθέο [13] ΣΑ ΒΑΙΚΑ ΥΑΡΑΚΣΗΡΙΣΙΚΑ ΣΧΝ ΓΔΤΣΔΡΟΒΑΘΜΙΧΝ ΔΞΙΧΔΧΝ Μεξηθά απφ ηα ραξαθηεξηζηηθά κηαο ηεηξαγσληθήο ζπλάξηεζεο είλαη ηα εμήο: Δάλ νη ραξαθηεξηζηηθέο ξίδεο ηνπ Δζζηαλνχ πίλαθα είλαη φιεο ζεηηθέο ε ζπλάξηεζε ζα έρεη έλα θαη κνλαδηθφ δπλαηφ ειάρηζην. Δάλ νη ραξαθηεξηζηηθέο ξίδεο είλαη φιεο αξλεηηθέο ε ζπλάξηεζε ζα έρεη έλα θαη κνλαδηθφ δπλαηφ κέγηζην. Δάλ θάπνηεο ραξαθηεξηζηηθέο ξίδεο είλαη ζεηηθέο θαη θάπνηεο άιιεο είλαη αξλεηηθέο, ε ζπλάξηεζε ζα έρεη έλα θαη κνλαδηθφ ζαγκαηηθφ ζεκείν. Δάλ νη ραξαθηεξηζηηθέο ξίδεο είλαη φιεο κε αξλεηηθέο, αιιά θάπνηεο είλαη κεδεληθέο, ηφηε ε ζπλάξηεζε ζα έρεη είηε αδχλαην ειάρηζην, είηε θαλέλα ζηαζεξφ ζεκείν. Δάλ νη ραξαθηεξηζηηθέο ξίδεο είλαη φιεο κε αξλεηηθέο αιιά θάπνηεο είλαη κεδεληθέο, ηφηε ε ζπλάξηεζε ζα έρεη είηε έλα αδχλαην κέγηζην είηε θαλέλα ζηαζεξφ ζεκείν [13]. Γηα ιφγνπο απιφηεηαο έρεη γίλεη ε ππφζεζε φηη ηα ζηαζεξά ζεκεία κηαο ηεηξαγσληθήο ζπλάξηεζεο ήηαλ απφ ηελ αξρή θαη έρνπλ ηελ ηηκή ηνπ κεδέλ. Απηφ απαηηεί ην d θαη ην c λα είλαη θαη ηα δχν ηνπο κεδέλ. Δάλ ην c είλαη κε κεδεληθφ ηφηε ε ζπλάξηεζε απιά απμάλεηαη κε ην κέγεζνο ηνπ c ζε θάζε ζεκείν. To ζρήκα ηνπ 64

65 πεξηγξάκκαηνο δελ αιιάδεη. ηαλ ην d είλαη κε κεδεληθφ θαη ν Α είλαη αληηζηξέςηκνο, ηφηε ην ζρήκα ηνπ πεξηγξάκκαηνο δελ αιιάδεη, αιιά ηα ζηαζεξά n ζεκεία ηεο ζπλάξηεζεο λα θηλνχληαη ζην: 1 * x = -A d Δάλ Α δελ είλαη αληηζηξέςηκνο θαη ην d είλαη κε κεδεληθφ ηφηε κπνξεί λα κελ ππάξρνπλ ζηαζεξά ζεκεία [28]. 5.ΠΡΟΠΑΘΔΙΑ ΒΔΛΣΙΣΟΠΟΙΗΗ 5.1 ΔΙΑΓΧΓΗ ε απηφ ην θεθάιαην ρξεζηκνπνηνχληαη νη ζεηξέο ηνπ Taylor γηα αλαπηπρζνχλ αιγφξηζκνη γηα ηελ ηνπνζέηεζε ησλ βέιηηζησλ ζεκείσλ. ηελ ζπλέρεηα παξνπζηάδνληαη ηξεηο δηαθνξεηηθέο θαηεγνξίεο απφ αιγφξηζκνπο βειηηζηνπνίεζεο Steepest Descent, Newton's Method θαη Conjugate Gradient νη νπνίνη ρξεζηκνπνηνχληαη γηα ηελ εθπαίδεπζε Νεπξσληθψλ Γηθηχσλ. 5.2.ΒΑΙΚΔ ΑΡΥΔ Μεηά ηελ έξεπλα ηεο παξάζηαζεο ηεο επηθάλεηαο ζα αλαπηπρζνχλ αιγφξηζκνη νη νπνίνη ζα ςάρλνπλ δηαζηήκαηα παξακέηξσλ θαη ζα ηνπνζεηνχλ ηα ειάρηζηα ζεκεία ζηελ επηθάλεηα βξίζθνληαο δειαδή ηα βέιηηζηα βάξε θαη πνιψζεηο (Βiases) γηα έλα ππάξρνλ Νεπξσληθφ Γίθηπν. πγθεθξηκέλα αλαπηχζζνληαη αιγφξηζκνη πνπ βειηηζηνπνηνχλ ην δείθηε παξάζηαζεο ηεο f(x). Ζ ιέμε "βειηηζηνπνίεζε" ζεκαίλεη λα βξεζεί κηα ηηκή γηα ην x έηζη ψζηε λα ειαρηζηνπνηείηαη ε f(x). ινη νη αιγφξηζκνη βειηηζηνπνίεζεο πνπ ζα ζπδεηεζνχλ είλαη επαλαιεπηηθνί (Iterative) [13]. Θεσξψληαο θάπνηνλ αξρηθφ αξηζκφ x 0 νη επφκελνη αξηζκνί ζα απμάλνληαη ζηαδηαθά ζχκθσλα κε ηελ αθφινπζε εμίζσζε: x +1 = x + αp ή Γx = (x +1 - x ) = ap φπνπ ην δηάλπζκα p αλαπαξηζηά κηα θαηεχζπλζε έξεπλαο θαη ν ζεηηθφο αξηζκφο a έλαλ βαζκφ εθπαίδεπζεο ν νπνίνο θαζνξίδεη ην κέγεζνο ησλ βεκάησλ. 5.3 ΑΛΓΟΡΙΘΜΟ STEEPEST DESCENT Αλαλεψλνληαο ηα ζεκεία αλαδεηψληαο ην βέιηηζην ζεκείν είλαη επηζπκεηή ε κείσζε ηεο ζπλάξηεζεο ζε θάζε επαλάιεςε. Γειαδή: f(x +1) < f(x ) 65

66 Γηα λα επηιεγεί ε θαηεχζπλζε p εθαξκφδνληαη νη ζεηξέο ηεο πξψηεο ηάμεο ηνπ Taylor ζε κηα ζπλάξηεζε f(x) πνπ δίλεηαη απφ ηε ζρέζε: * Σ * * Σ 2 * f(x)=f(x )+ f(x) (x-x )+ (x-x ) f(x) (x-x )+... * * x=x x=x 1 2 θαη γηα ην ζεκείν x γίλεηαη: Σ f(x +1) = f(x + Γx ) f(x )+g Γx φπνπ g ζπκβνιίδεηαη ε θιίζε: g f(x) x=x Γηα λα είλαη κηθξφηεξν ην f(x+1) απφ ην f(x), πξέπεη απηφ πνπ πξνζηίζεηαη ζην f(x ) ζην δεχηεξν κέξνο ηεο εμίζσζεο Σ f(x +1) = f(x + Γx ) f(x )+g Γx λα είλαη αξλεηηθφ. Άξα: g Γx =a g p 0 Σ Σ Δπηιέγεηαη έλα a, ην νπνίν είλαη κηθξφ αιιά είλαη κεγαιχηεξν ηνπ κεδελφο. Απηφ ζπλεπάγεηαη φηη πξέπεη: g p < 0 Κάζε δηάλπζκα p ηθαλνπνηεί ηελ εμίζσζε ε νπνία νλνκάδεηαη descent direction [13]. H ζπλάξηεζε πξέπεη λα έρεη πηψζε ζε πεξίπησζε πνπ πάξνπκε έλα αξθεηά κηθξφ βήκα πξνο απηήλ ηελ θαηεχζπλζε. Απηφ δεκηνπξγεί εξσηήκαηα φπσο ηη είλαη ε θαηεχζπλζε ηνπ steepest descent θαη ζε πνηα θαηεχζπλζε ε κείσζε ηεο ζπλάξηεζε ζα ζπκβαίλεη γξεγνξφηεξα. Απηφ ζα ζπκβεί φηαλ ην gp T είλαη αξλεηηθφ. Σν κέγεζνο p δελ αιιάδεη κφλν ηελ θαηεχζπλζε. Απηφ είλαη έλα παξάγσγν απφ ηελ θιίζε θαη ην ραξαθηεξηζηηθφ δηάλπζκα, ζα ήηαλ πην αξλεηηθφ αλ ην θαηεπζπληηθφ δηάλπζκα ήηαλ ζην αξλεηηθφ ζεκείν ηεο θιίζεο. Άξα έλα δηάλπζκα απηφ πνπ ζθνπεχεη ζηελ θαηεχζπλζε Steepest Descent είλαη ην p = -g 66

67 Υξεζηκνπνηψληαο ηε ζρέζε απηή ζηελ x +j = x + αp πξνθχπηεη ε κέζνδνο Steepest Descent x +1 = x - ag Γηα ηνλ αιγφξηζκν Steepest Descent ππάξρνπλ δχν γεληθέο κέζνδνη γηα ηνλ θαζνξηζκφ ηνπ βαζκνχ εθπαίδεπζεο a. 1. Μηα πξνζέγγηζε είλαη λα ειαρηζηνπνηεζεί ν δείθηεο ηεο παξάζηαζεο f(x), δίλνληαο βαξχηεηα ζην a ζε θάζε επαλάιεςε. ε απηήλ ηελ πεξίπησζε ε ειαρηζηνπνίεζε γίλεηαη θαηά κήθνο ηεο γξακκήο x - αg 2. Ζ άιιε κέζνδνο γηα ηελ επηινγή ηνπ a είλαη λα ρξεζηκνπνηεζεί κία ζηαζεξή ηηκή ή ελαιιαθηηθά κηα κεηαβιεηή ε νπνία ζα έρεη πξνθαζνξηζκέλε ηηκή [13] ΣΑΘΔΡΟΙ ΡΤΘΜΟΙ ΔΚΠΑΙΓΔΤΗ Τπνζέηνπκε φηη ν δείθηεο ηεο παξάζηαζε είλαη κηα ηεηξαγσληθή ζπλάξηεζε: 1 f(x) = 2 T T x Ax + d x + c Δίλαη γλσζηφ φηη ε θιίζε ηεο ηεηξαγσληθήο ζπλάξηεζεο είλαη: f(x) = Ax + d Υξεζηκνπνηψληαο απηήλ έθθξαζε κέζα ζηελ έθθξαζε ηνπ αιγφξηζκνπ steepest descent, κε δεδνκέλν φηη ν ξπζκφο εθπαίδεπζεο είλαη ζηαζεξφο: x +1 = x - ag = x - a(ax + d) x +1 = [I -aa] x -ad Απηφ είλαη έλα γξακκηθφ δπλακηθφ ζχζηεκα, ην νπνίν ζα παξακείλεη ζηαζεξφ, γηαηί νη ραξαθηεξηζηηθέο ξίδεο ηνπ πίλαθα Η - aα έρνπλ ιηγφηεξε ζεκαζία. Δίλαη δπλαηφ λα εθθξαζηνχλ νη ραξαθηεξηζηηθέο ξίδεο απηνχ ηνπ πίλαθα ζε ζπλάξηεζε κε ηηο ραξαθηεξηζηηθέο ξίδεο ηνπ Δζζηαλνχ πίλαθα Α [16]. Έρνληαο ι 1,ι 2,,ι λ θαη (z l,z 2,,z v) ραξαθηεξηζηηθέο ξίδεο θαη ραξαθηεξηζηηθά δηαλχζκαηα αληίζηνηρα ελφο Δζζηαλνχ πίλαθα ζα ηζρχεη: [I -aa]z i = z i - aaz i = z i -aι iz i = (1 - aι i)z i 67

68 Άξα ηα ραξαθηεξηζηηθά δηαλχζκαηα απφ ηνλ πίλαθα Η-aΑ είλαη θνηλά κε ηα ραξαθηεξηζηηθά δηαλχζκαηα ηνπ Α θαη νη ραξαθηεξηζηηθέο ηηκέο ηνπ Η-aΑ είλαη (1-aι η). Έηζη ινηπφλ ε ζπλζήθε γηα ζηαζεξφηεηα ηνπ αιγφξηζκνπ steepest descent είλαη : (1-aι η ) < 1 Δάλ ππνηεζεί φηη ε ηεηξαγσληθή ζπλάξηεζε έρεη έλα δπλαηφ ειάρηζην ηφηε νη ραξαθηεξηζηηθέο ξίδεο ζα πξέπεη λα είλαη ζεηηθνί αξηζκνί. Ζ αλίζσζε (1-aι η ) < 1 ζπλεπάγεηαη φηη : 2 a< ι i Δπεηδή ζα πξέπεη λα ηζρχεη γηα φιεο ηηο ηηκέο ηνπ Δζζηαλνχ πίλαθα έρνπκε: 2 a< ι max Ο κεγαιχηεξνο, ζηαζεξφο ξπζκφο εθπαίδεπζεο είλαη αληηζηξφθσο αλάινγνο κε ηελ κέγηζηε θακπχισζε κηαο ηεηξαγσληθήο ζπλάξηεζεο. Ζ θακπχισζε καο δείρλεη ην πφζν γξήγνξα ε θιίζε αιιάδεη. Δάλ ε θιίζε αιιάδεη πνιχ γξήγνξα ζα πξέπεη λα πάκε ζην πην θνληηλφ ζε απηφ ην ζεκείν δειαδή ζην ειάρηζην. Έηζη ε θιίζε ζηελ λέα ηνπνζεζία ζα έρεη κεγαιχηεξν κέγεζνο απφ ηελ θιίζε ζηελ παιαηφηεξε ηνπνζεζία. Απηφ ζα πξνθαιέζεη ηελ αχμεζε ησλ βεκάησλ ζε κέγεζνο ζε θάζε επαλάιεςε [13] ΔΛΑΥΙΣΟΠΟΙΗΗ ΚΑΣΑ ΜΗΚΟ ΜΙΑ ΓΡΑΜΜΗ Μηα άιιε πξνζέγγηζε γηα ηελ επηινγή ηνπ ξπζκνχ εθπαίδεπζεο είλαη ε ειαρηζηνπνίεζε ηνπ δείθηε απφδνζεο αλαθνξηθά κε ην a ζε θάζε επαλάιεςε [8]. Δπηιέγεηαη δειαδή έλα a γηα λα ειαρηζηνπνηεί ηελ ζπλάξηεζε: f(x +1) f(x + ap ) ηηο δεπηεξνβάζκηεο ζπλαξηήζεηο είλαη εθηειείηαη ε γξακκηθή ειαρηζηνπνίεζε αλαιπηηθά. Σν παξάγσγν f(x + a p ) είλαη: ηνπ d f(x + a p ) = f(x) p + a p f(x) p da θ T 2 x=x x=x Δάλ εμηζσζεί απηφ ην παξάγσγν ίζν κε ην κεδέλ θαη ιπζεί σο πξνο a πξνθχπηεη: 68

69 f(x) p g p a = - =- T T x=x T 2 T p f(x) p x=x pap φπνπ Α είλαη έλαο Δζζηαλφο πίλαθαο ππνινγηζκέλνο απφ ην παιηφ ζεκείν: A 2 f(x) x=x ρήκα 5.1.: Ο αιγφξηζκνο Steepest Descent ζηελ ειαρηζηνπνίεζε θαηά κήθνο κηαο γξακκήο [13]. 5.4 Η ΜΔΘΟΓΟ NEWTON Σα παξάγσγα ηνπ αιγφξηζκνπ steepest descent ήηαλ βαζηζκέλα ζηελ πξψηε ηάμε ησλ ζεηξψλ ηνπ Taylor [16]. Ζ κέζνδνο ηνπ Newton είλαη βαζηζκέλε ζηελ δεχηεξε ηάμε ησλ ζεηξψλ ηνπ Taylor: 1 f(x ) = f(x + Γx ) = f(x) + g Γx + Γx A Γx 2 Σ T +1 Ζ βαζηθή αξρή πνπ ζηεξίδεηαη ε κέζνδνο ηνπ Newton είλαη ε ηνπνζέηεζε ζηαζεξψλ ζεκείσλ ζε απηήλ ηελ ηεηξαγσληθή πξνζέγγηζε σο πξνο ηελ f(x). Υξεζηκνπνηψληαο ηε ζρέζε f(x) = Ax + d θαη εμηζψλνληαο ηελ θιίζε ίζε κε ην κεδέλ έρσ: g + A x = 0 Λχλνληαο σο πξνο Γx γίλεηαη: 1 x = -A g Σφηε ε κέζνδνο Newton ζα νξίδεηαη σο: x = x -A g

70 Έλα παξάδεηγκα γηα ηε δηαδηθαζία ηεο κεζφδνπ Newton είλαη ην παξαθάησ: f(x) x + 25x Ζ θιίζε θαη ν Δζζηαλφο πίλαθαο είλαη: d f(x) dx f(x)= = d f(x) dx x 50x 2 θαη f(x)= 0 50 Ξεθηλψληαο απφ ην αξρηθφ ζεκείν x To πξψην βήκα ηεο κεζφδνπ ηνπ Newton είλαη: x Απηή ε κέζνδνο ζα βξίζθεη πάληα ην ειάρηζην ηεο ηεηξαγσληθήο εμίζσζεο ζην πξψην βήκα. Απηφ γηαηί ε κέζνδνο ηνπ Newton ζρεδηάζηεθε γηα λα πξνζεγγίδεη ηηο ζπλαξηήζεηο δεπηέξνπ βαζκνχ θαη έπεηηα λα ηνπνζεηεί ζηαζεξά ζεκεία ηεο ηεηξαγσληθή πξνζέγγηζεο. Γειαδή εάλ ε αξρηθή ζπλάξηεζε είλαη δεπηέξνπ βαζκνχ ζα ειαρηζηνπνηεζεί ζε έλα βήκα. Οη ηξνρηέο απηήο ηεο κεζφδνπ θαίλνληαη ζην ζρήκα 5.2. [13]. Δάλ ε ζπλάξηεζε f(x) δελ είλαη δεπηέξνπ βαζκνχ ε κέζνδνο ηνπ Newton δελ ζα ζπγθιίλεη ζε έλα βήκα. Βέβαηα δελ είλαη ζίγνπξν αλ ζα ζπγθιίλεη νινθιεξσηηθά εθφζνλ απηφ εμαξηάηαη απφ ην είδνο ηεο ζπλάξηεζεο θαη ην αξρηθφ ζεκείν. ρήκα 5.2.: Ζ ηξνρηά ηεο κεζφδνπ Newton [13]. 70

71 5.5 Η ΜΔΘΟΓΟ CONJUGATE GRADIENT Η ΜΔΘΟΓΟ CONJUGATE GRADIENT ΓΙΑ ΓΔΤΣΔΡΟΒΑΘΜΙΔ ΤΝΑΡΣΗΔΙ Ζ κέζνδνο Newton έρεη κηα δπλαηφηεηα ε νπνία νλνκάδεηαη Σεηξαγσληθή θαηάιεμε (Quadratic termination) ε νπνία ζεκαίλεη φηη ειαρηζηνπνηεί ηελ ηεηξαγσληθή εμίζσζε αθξηβψο ζην ηέινο ησλ επαλαιήςεσλ. Απηφ απαηηεί ππνινγηζκφ θαη απνζήθεπζε ησλ δεχηεξσλ παξαγψγσλ. ηαλ ν αξηζκφο ησλ παξακέηξσλ n είλαη κεγάινο, είλαη πξαθηηθά πνιχ δχζθνιν λα ππνινγηζηνχλ φιεο νη δεχηεξνη παξάγσγνη δεδνκέλνπ φηη ε θιίζε έρεη n ζηνηρεία θαη ν Δζζηαλφο πίλαθαο έρεη ε 2 ζηνηρεία. Απηφ είλαη πξαγκαηηθφηεηα ζηα Νεπξσληθά δίθηπα φπνπ νη πξαθηηθέο εθαξκνγέο κπνξεί λα απαηηνχλ απφ κεξηθέο εθαηνληάδεο κέρξη πνιιέο ρηιηάδεο βάξε. Γηα απηέο ηηο πεξηπηψζεηο είλαη επηζπκεηφ λα ππάξρεη κηα κέζνδνο ε νπνία απαηηεί κφλν ηελ πξψηε παξάγσγν αιιά επηπιένλ έρεη ηελ ηεηξαγσληθή θαηάιεμε [16]. Υξήζηκεο είλαη νη παξαζηάζεηο απφ ηνλ Steepest Descent αιγφξηζκν κε γξακκηθέο αλαδεηήζεηο ζε θάζε επαλάιεςε. Ζ αλαδήηεζε ησλ θαηεπζχλζεσλ ζε ζπλερείο επαλαιήςεηο δεκηνπξγεί νξζέο γσλίεο. Οη δεπηεξνβάζκηεο εμηζψζεηο κε ειιεηπηηθά πεξηγξάκκαηα παξάγνπλ zig-zag ηξνρηέο γηα ηα κηθξά βήκαηα. Ίζσο ε ηεηξαγσληθή αλαδήηεζε θαηεπζχλζεσλ δελ είλαη ε θαιχηεξε επηινγή. Ζ Conjugate directions είλαη έλαο ζπλδπαζκφο αλαδήηεζεο θαηεπζχλζεσλ ν νπνίνο κπνξεί λα εγγπεζεί ηελ ηεηξαγσληθή θαηάιεμε. Γίλεηαη αλαδήηεζε ηνπ ειάρηζηνπ ηεο παξαθάησ ηεηξαγσληθήο ζπλάξηεζεο: 1 f(x) = 2 T T x Ax + d x + c Έλα ζχλνιν απφ δηαλχζκαηα p είλαη θνηλά ζπλελσκέλα ζχκθσλα κε ηνλ ζεηηθά θαζνξηζκέλν πίλαθα Α εάλ θαη κφλν εάλ ηζρχεη: p Ap = 0, T j j ηα θάζεηα δηαλχζκαηα ππάξρνπλ άπεηξνη αξηζκνί απφ θνηλά ζπδπγή ζχλνια δηαλπζκάησλ ηα νπνία δηαζθνξπίδνληαη ζε έλα δηάζηεκα ε. Δίλαη γλσζηφ φηη έλα ζχλνιν απφ ζπδπγή δηαλχζκαηα απνηειεί θαη ηα ραξαθηεξηζηηθά δηαλχζκαηα ηνπ πίλαθα Α. Έζησ φηη ι 1,ι 2,,ι λ θαη (z l,z 2,,z v) είλαη νη ραξαθηεξηζηηθέο ξίδεο θαη ηα ραξαθηεξηζηηθά δηαλχζκαηα αληίζηνηρα απφ ην Δζζηαλφ πίλαθα. Γηα λα γίλεη έιεγρνο αλ ραξαθηεξηζηηθά δηαλχζκαηα είλαη ζπδπγήο αξηζκνί γίλεηαη αληηθαηάζηαζε ησλ p κε ηα z. z Az = ι z z = 0, T T j j j j H ηειεπηαία ηζφηεηα ηζρχεη γηαηί ηα ραξαθηεξηζηηθά δηαλχζκαηα απφ έλα ζπκκεηξηθφ πίλαθα είλαη θάζεηα. Άξα ηα ραξαθηεξηζηηθά δηαλχζκαηα είλαη ηαπηφρξνλα, θάζεηα θαη ζπδπγή (Conjugate). Μπνξνχκε λα ειαρηζηνπνηήζνπκε ηελ ηεηξαγσληθή ζπλάξηεζε θάλνληαο αλαδήηεζε θαηά κήθνο ησλ ραξαθηεξηζηηθψλ δηαλπζκάησλ ηνπ Δζζηαλνπ πίλαθα θάηη πνπ είλαη ρξνλνβφξν. Έηζη αλαδεηείηαη έλαο αιγφξηζκνο ν νπνίνο δελ απαηηεί πνιινχο ππνινγηζκνχο ησλ δεχηεξσλ παξαγψγσλ. 71

72 Έπεηηα απφ κία αθνινπζία απφ αθξηβείο γξακκηθέο αλαδεηήζεηο θαηά κήθνο φισλ ησλ ζπδπγψλ θαηεπζχλζεσλ (Conjugate directions) (p 1,p 2,...,p n) ην λα βξεζεί ην αθξηβέο ειάρηζην απφ νπνηαδήπνηε ηεηξαγσληθή ζπλάξηεζε, κε n παξακέηξνπο, ζα είλαη εθηθηφ ζε n αλαδεηήζεηο ην πνιχ Σν εξψηεκα πνπ δεκηνπξγείηε είλαη ην πψο δνκνχληαη απηέο ηηο ζπδπγείο θαηεπζχλζεηο αλαδεηήζεσλ (Conjugate search directions). Αξρηθά, γίλεηαη επαλαηνπνζέηεζε ησλ ζπδχγσλ ζπλζεθψλ (Conjugacy condition) ρσξίο θακία νπζηαζηηθή ρξήζε ηνπ Δζζηαλνχ πίλαθα. Έηζη: f(x) = Ax + d 2 f(x) = A είλαη: Με ζπλδπαζκφ απηψλ ησλ εμηζψζεσλ παξαηεξείηαη αιιαγή ζηελ θιίζε ζηελ +1 επαλάιεςε ε νπνία g = g +1 - g = (Ax +1 + d) - (Ax + d) = A x Απφ ηε ζρέζε x = (x+1- x ) = ap θαη ηηο παξαπάλσ ζρέζεηο πξνθχπηεη: T T T apap j = xap j = gp j = 0, j θαη a επηιέγεηαη γηα λα ειαρηζηνπνηήζεη ηελ f(x) ζηελ θαηεχζπλζε p. Έρνπλ επαλαπξνζδηνξηζηεί νη ζπδπγείο ζπλζήθεο (Conjugate condition) κε ηελ πξαγκαηνπνίεζε ησλ αιιαγψλ ζηελ θιίζε ζηηο επηηπρεκέλεο επαλαιήςεηο ηνπ αιγνξίζκνπ ρσξίο λα είλαη απαξαίηεηε ε ρξήζε ηνπ Δζζηαλνχ πίλαθα. Ζ θαηεχζπλζε αλαδήηεζεο ζα ζπλδπαζηεί εάλ απηέο είλαη θάζεηεο ζηηο αιιαγέο ηεο θιίζεο [8]. Ζ πξψηε θαηεχζπλζε αλαδήηεζε p 0, είλαη απζαίξεηε θαη p 1 κπνξεί λα είλαη νπνηνδήπνηε δηάλπζκα ην νπνίν είλαη θάζεην ζην Γg 0. Άξα ππάξρεη έλαο άπεηξνο αξηζκφο απφ ζπλδπαζκέλα δηαλχζκαηα. Δίλαη ζπλεζηζκέλν λα μεθηλάεη ε αλαδήηεζε ζηελ θαηεχζπλζε ηνπ Steepest Descent αιγνξίζκνπ. p 0 = -g 0 Έπεηηα απφ θάζε επαλάιεςε πξέπεη λα δνκείηαη έλα δηάλπζκα p ην νπνίν είλαη θάζεην ζηα g 0, g 1, Γg +1 Δίλαη κηα δηαδηθαζία παξφκνηα κε απηήλ ηνπ Gram Schmidt. Γίλεηαη απινπνίεζε ζηηο επαλαιήςεηο κε ηνλ ηχπν: p = -g + βp -1 Οη αξηζκνί β θ κπνξνχλ λα επηιεγνχλ απφ πνιιέο θαη δηαθνξεηηθέο κεζφδνπο, νη νπνίεο παξάγνπλ ηζνδχλακα απνηειέζκαηα γηα ηελ δεπηεξνβάζκηεο εμηζψζεηο. Ζ πην ζπλεζηζκέλε επηινγή είλαη: 72

73 g g T -1 β= g T -1 p -1 ιφγν ησλ Hestenes θαη Steifel gg T β = g T -1 g -1 ιφγν ησλ Fleletcher θαη Reeves θαη g g T -1 β = g T -1 g -1 ρήκα 5.3.: Ο αιγφξηζκνο Conjugate Gradient ζπγθιίλεη αθξηβψο ζην ειάρηζην ζε δχν επαλαιήςεηο [13] Ο ΑΛΓΟΡΙΘΜΟ CONJUGATE GRADIENT ΓΙΑ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ ΒΑΙΜΔΝΟ Δ ΑΡΙΘΜΙΣΙΚΔ ΣΔΥΝΙΚΔ ΒΔΛΣΙΣΟΠΟΙΗΗ ε απηφ ην θεθάιαην αλαθέξεηαη πσο ν αιγφξηζκνο κπνξεί λα πξνζαξκνζηεί γηα κε δεπηεξνβάζκηεο εμηζψζεηο. πγθεθξηκέλα πεξηγξάθεηαη πψο ν αιγφξηζκνο Conjugate Gradient ρξεζηκνπνηείηαη ζηελ εθπαίδεπζε ησλ πνιπζηξσκαηηθψλ δηθηχσλ θαη νλνκάδεηαη αιγφξηζκνο Conjugate Gradient Bac Propagation (CGBP). Ο αιγφξηζκνο Conjugate Gradient δελ απαηηεί ηνλ ππνινγηζκφ ηεο δεχηεξεο παξαγψγνπ αιιά έρεη ηελ δπλαηφηεηα ηεο ηεηξαγσληθήο ζχγθιηζεο [16]. πγθεθξηκέλα: 1. Δπηιέγεηαη ε πξψηε θαηεχζπλζε αλαδήηεζεο p 0 κε αξλεηηθή θιίζε: p 0 = -g 0 φπνπ 73

74 g = F(x) x=x 2. Γίλεηαη έλα βήκα επηιέγνληαο ξπζκφ εθπαίδεπζεο a γηα λα ειαρηζηνπνηεζεί ε ζπλάξηεζε θαηά κήθνο ηεο θαηεχζπλζεο ηεο αλαδήηεζεο: x +1 = x + αp 3. Δπηιέγεηαη ε επφκελε θαηεχζπλζε αλαδήηεζεο θαη ππνινγίδεηαη ην β : p = -g + βp -1 κε έλαλ απφ ηνπο ηξεηο ηχπνπο: T T g g gg g g β = β = β = g g g g g p T -1 T -1-1 T T Δάλ ν αιγφξηζκνο δελ ζπγθιίλεη, γίλεηαη επηζηξνθή ζην βήκα 2. Ο αιγφξηζκνο conjugate gradient δελ κπνξεί λα εθαξκνζηεί άκεζα ζε κηα δχζθνιε εθπαηδεπηηθή δηαδηθαζία ελφο λεπξσληθνχ δηθηχνπ εθφζνλ ν δείθηεο απφδνζεο δελ είλαη δεπηεξνβάζκηνο. Απηφ επεξεάδεη ηνλ αιγφξηζκν κε δχν ηξφπνπο: Πξψην, δελ κπνξεί λα ρξεζηκνπνηεζεί ε ζρέζε : F(x) p g p α = =- T T x=x T 2 T p F(x) p x=x pap γηα ηελ ειαρηζηνπνίεζε ηεο ζπλάξηεζε θαηά κήθνο ηεο γξακκήο φπσο απαηηείηαη ζην βήκα 2. Γεχηεξν, ην αθξηβέο ειάρηζην δελ πξφθεηηαη λα βξεζεί ζε έλαλ πεπεξαζκέλν αξηζκφ βεκάησλ θαη άξα ν αιγφξηζκνο ζα ρξεηαζηεί λα κεδεληζηεί κεηά απφ έλαλ αξηζκφ επαλαιήςεσλ. ζνλ αθνξά ηε γξακκηθή αλαδήηεζε ρξεηάδεηαη κηα γεληθή δηαδηθαζία γηα λα ηνπνζεηεζνχλ ειάρηζηα κηα ζπλάξηεζεο ζε κηα θαζνξηζκέλε θαηεχζπλζε. Απηφ ζα πεξηιακβάλεη δχν βήκαηα: Αξρηθά απαηηείηαη ν εληνπηζκφο κε δηάζηεκα θαη έπεηηα ε κείσζε δηαζηήκαηνο Ο ζθνπφο ηνπ εληνπηζκνχ κε δηάζηεκα, είλαη λα βξεζνχλ θάπνηα αξρηθά δηαζηήκαηα ηα νπνία πεξηθιείνπλ θαη έλα ειάρηζην. ην βήκα ηεο κείσζεο ηνπ δηαζηήκαηνο κεηψλεηαη ην κέγεζνο ηνπ αξρηθνχ δηαζηήκαηνο κέρξη ην ειάρηζην λα ηνπνζεηείηαη ζηελ επηζπκεηή ζέζε. Θα ρξεζηκνπνηεζεί ε ζπγθξηηηθή κέζνδνο ζπλαξηήζεσλ γηα λα παξνπζηαζηεί ην βήκα εληνπηζκνχ κε δηάζηεκα. Γίλεηαη εθηίκεζε ηνπ δείθηε απφδνζεο απφ έλα αξρηθφ 74

75 ζεκείν, ην νπνίν αλαπαξίζηαηαη απφ ηελ α 1 ζηo ζρήκα 5.4 Απηφ ην ζεκείν αληηζηνηρεί ζε ζπγθεθξηκέλεο ηηκέο δηθηπαθψλ βαξψλ θαη biases. Έηζη ππνινγίδεηαη ε f (x 0). Σν επφκελν βήκα είλαη λα εθηηκεζεί ε ζπλάξηεζε ζην δεχηεξν ζεκείν, ην νπνίν αλαπαξίζηαηαη απφ ην b 1 ζην ζρήκα 5.4. ηνπ νπνίνπ ε απφζηαζε απφ ην αξρηθφ ζεκείν είλαη ε θαηά κήθνο ηεο θαηεχζπλζεο ηεο αλαδήηεζεο ηνπ p 0. Γειαδή ππνινγίδεηαη ην f (x 0 + εp 0). ρήκα 5.4. Αξρηθή ζπλάξηεζε [13]. ηε ζπλερεία εθηηκάηαη ν δείθηεο απφδνζεο ζε λέα ζεκεία b, δηαδνρηθά δηπιαζηάδνληαο ηελ απφζηαζε κεηαμχ ησλ ζεκείσλ. Ζ δηαδηθαζία ζηακαηάεη φηαλ ε ζπλάξηεζε απμάλεηαη κεηαμχ δχν ζπλερφκελσλ ζεκείσλ. ην ζρήκα 5.4 γίλεηαη ε αλαπαξάζηαζε απφ ηα ζεκεία b 3 θαη b 4. Σν ειάρηζην πεξηθιείεηαη αλάκεζα ζηα ζεκεία α 5 θαη b 5 θαη έηζη ην δηάζηεκα δελ γίλεηαη λα κηθξχλεη πεξηζζφηεξν γηαηί ην ειάρηζην κπνξεί λα βξίζθεηαη θαη ζηα δηαζηήκαηα [a 4,b 4]ή [a 3,b 3]. Δθφζνλ έρνπλ ηνπνζεηεζεί ηα δηαζηήκαηα πνπ πεξηθιείνπλ ην ειάρηζην ην επφκελν βήκα ζηελ γξακκηθή αλαδήηεζε είλαη κείσζε ησλ δηαζηεκάησλ. Απηφ ζα πεξηιακβάλεη ηελ εθηίκεζε ηεο ζπλάξηεζεο ζηα ζεκεία αλάκεζα ζην δηάζηεκα [a,b ] ηα νπνία επηιέρζεθαλ ζην βήκα ηνπ εληνπηζκνχ κε δηάζηεκα. ην ζρήκα 5.5. θαίλεηαη φηη ζα 5 5 ρξεηαζηεί λα εθηηκεζεί ε ζπλάξηεζε ζηα δχν ζεκεία ηνπ δηαζηήκαηνο γηα λα κεησζεί ην κέγεζνο ηνπ δηαζηήκαηνο αβεβαηφηεηαο. ην ζρήκα 5.5.a θαίλεηαη φηη έλαο ππνινγηζκφο ηεο ζπλάξηεζεο ηνπ δηαζηήκαηνο δελ παξέρεη θακία πιεξνθνξία γηα ηελ ηνπνζεζία ηνπ ειάρηζηνπ. Χζηφζν εάλ ππνινγηζηεί ε ζπλάξηεζε ζε δχν ζεκεία c θαη d ηνπ ζρήκαηνο 5.5.b κπνξεί λα ειαηησζεί ην δηάζηεκα αβεβαηφηεηαο. Δάλ f(c) > f(d) φπσο θαίλεηαη ζην δεμί κέξνο ηνπ ζρήκαηνο 5.5. ηφηε ην ειάρηζην πξέπεη λα πεξηθιείεηαη ζην δηάζηεκα [c, b]. Αληίζεηα, εάλ ηζρχεη f(c) < f(d) ηφηε ην ειάρηζην ζα πξέπεη λα πεξηθιείεηαη ζην δηάζηεκα [α, d]. 75

76 ρήκα 5.5. Μείσζε ηνπ δηαζηήκαηνο αβεβαηφηεηαο [13]. Ζ παξαπάλσ δηαδηθαζία, πξνηείλεηαη σο κέζνδνο γηα ηελ κείσζε ηνπ κεγέζνπο ηνπ δηαζηήκαηνο αβεβαηφηεηαο. Γηα λα θαζνξηζηνχλ νη ηνπνζεζίεο ηνπ δηαζηήκαηνο ησλ ζεκείσλ c θαη d ζα ρξεζηκνπνηεζεί ε κέζνδνο Golden Section search ε νπνία ζρεδηάζηεθε γηα λα κεηψλεη ηνλ αξηζκφ ηεο ζπλαξηεζηαθήο απνηίκεζεο πνπ απαηηείηαη. Γηα θάζε επαλάιεςε κηα λέα ζπλαξηεζηαθή απνηίκεζε απαηηείηαη. Γηα παξάδεηγκα ζηελ πεξίπησζε πνπ παξνπζηάδεηαη ζην ζρήκα 5.5.b ην ζεκείν a ζα απνξξηθζεί θαη ην ζεκείν c ζα γίλεη έλα εμσηεξηθφ ζεκείν. Έπεηηα έλα λέν ζεκείν c ζα ηνπνζεηεζεί αλάκεζα ζηα αξρηθά ζεκεία c θαη d. θνπφο είλαη λα ηνπνζεηεζεί ην λέν ζεκείν έηζη ψζηε ην δηάζηεκα ηεο αβεβαηφηεηαο λα κεησζεί φζν πην γξήγνξα κπνξεί. Έηζη ινηπφλ ν αιγφξηζκνο ηνπ Golden Section search αθνινπζεί: Θέηνπκε: η =0.618 c 1 = α 1 + (1-η)(b 1-α 1) Fc F(c 1).d 1 = b 1 - (1-η)(b 1-α 1), Fd F(d 1) Γηα =1,2,... γίλεηαη επαλάιεςε. Δάλ F c<f d ηφηε γίλνληαη νη αληηθαηαζηάζεηο: a =1 = a ; b +1 = d ; d +1 = c c +1 = a +1 + (1-η)(b +1 - a +1) F d = F c; F c = F(c +1) 76

77 Αιιηψο γίλνληαη νη αληηθαηαζηάζεηο a +1 = c ; b +1 = b ; c +1 = d d +1 = b+1- (1 - η)(b +1 - a +1) F c = F d; F d = F(d +1) Σέινο κέρξη b +1 - a +1 < tol Γελ ππάξρεη θακηά ηξνπνπνίεζε πνπ ρξεηάδεηαη ν αιγφξηζκνο Conjugate Gradient γηα λα εθαξκνζηεί ζηελ εθπαίδεπζε λεπξσληθψλ δηθηχσλ. Γηα ηηο δεπηεξνβάζκηεο ζπλαξηήζεηο ν αιγφξηζκνο ζα ζπγθιίλεη ζην ειάρηζην ζε n επαλαιήςεηο, φπνπ n είλαη ν αξηζκφο ησλ παξακέηξσλ πνπ βειηηζηνπνηνχληαη. Ο δείθηεο απφδνζεο ηεο κέζεο ηηκήο γηα ηα πνιπζηξσκαηηθά δίθηπα δελ είλαη δεπηέξνπ βαζκνχ άξα ν αιγφξηζκνο δελ ζα κπνξνχζε εχθνια λα ζπγθιίλεη ζε n επαλαιήςεηο. Ζ αλάπηπμε ηνπ αιγνξίζκνπ Conjugate Gradient δελ δείρλεη πνηα θαηεχζπλζε αλαδήηεζεο πξέπεη λα ρξεζηκνπνηεζεί φηαλ έλαο θχθινο επαλαιήςεσλ n ηειεηψζεη. Ζ πην απιή κέζνδνο είλαη ε επαλαθνξά ηεο θαηεχζπλζεο αλαδήηεζεο ζηελ θαηεχζπλζε Steepest Descent κεηά απφ n επαλαιήςεηο [16]. ρήκα 5.5a,5.5.b: Ζ ηξνρηά ηνπ Conjugate Gradient [13]. 6.ΑΛΓΟΡΙΘΜΟΙ ΔΚΠΑΙΓΔΤΗ ΣΗ MATLAB 6.1.Διζαγυγή Γηα λα μεθηλήζεη ε εθπαίδεπζε ελφο δηθηχνπ ζα πξέπεη πξψηα λα έρνπλ αξρηθνπνηεζεί ηα δηθηπαθά βάξε θαη biases. Έλα λεπξσληθφ δίθηπν κπνξεί λα εθπαηδεπηεί γηα πξνβιήκαηα ηξηψλ εηδψλ: ζπλαξηεζηαθήο πξνζέγγηζεο, ηαμηλφκεζε πξνηχπσλ θαη αλαγλψξηζεο πξνηχπσλ. Ζ δηαδηθαζία ηεο εθπαίδεπζεο απαηηεί έλα πιήζνο παξαδεηγκάησλ γηα λα έρεη ηελ επηζπκεηή απφδνζε κεηά ηελ εθπαίδεπζε ηνπ. Καηά ηελ δηάξθεηα ηεο εθπαίδεπζεο ηα βάξε θαη νη πνιψζεηο (biases) ηνπ δηθηχνπ ηξνπνπνηνχληαη ζε θάζε επαλάιεςε έηζη ψζηε λα 77