Σύγκριζη Μεθόδων Εκπαίδεσζης Τετνηηών Νεσρωνικών Δικηύων

Transcript

1 ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΑ ΥΟΛΗ ΘΔΣΙΚΩΝ ΔΠΙΣΗΜΩΝ ΣΜΗΜΑ ΜΑΘΗΜΑΣΙΚΩΝ Μεηαπηπρηαθφ Γίπισκα Δηδίθεπζεο Μαζεκαηηθά ησλ Τπνινγηζηψλ θαη ησλ Απνθάζεσλ Σύγκριζη Μεθόδων Εκπαίδεσζης Τετνηηών Νεσρωνικών Δικηύων πνπδαζηήο: ηαζνπνχινπ Γήκεηξα Δπηβιέπσλ Καζεγεηήο: Πιαγηαλάθνο Βαζίιεηνο (Ννέκβξηνο 2010)

2

3 Δπραξηζηίεο Δίλαη πνιχ δχζθνιν λα νινθιεξψζεηο ην έξγν πνπ μεθίλεζεο θάπνηα ζηηγκή έρνληαο ηαπηφρξνλα θαη άιιεο ππνρξεψζεηο, γηα απηφ αηζζάλνκαη ηελ αλάγθε λα επραξηζηήζσ φινπο φζνπο κε βνήζεζαλ γηα ηελ πεξάησζε ηεο παξνχζαο εξγαζίαο. Πξψηα απφ φινπο ζα ήζεια λα επραξηζηήζσ ηνλ επηβιέπνληα θαζεγεηή κνπ θ. Πιαγηαλάθν Βαζίιεην, Δπίθνπξν Καζεγεηή ηνπ Σκήκαηνο Πιεξνθνξηθήο κε Δθαξκνγέο ζηε Βηνταηξηθή ηνπ Παλεπηζηεκίνπ ηεξεάο Διιάδνο, δηφηη ε εξγαζία απηή δελ ζα κπνξνχζε λα έρεη πξαγκαηνπνηεζεί ρσξίο ηελ πνιχηηκε ζπκβνιή ηνπο. Δπίζεο, ζα ήζεια λα επραξηζηψ ηνπο γνλείο κνπ θαη ηνλ αδεξθφ κνπ, πνπ ζηέθνληαη δίπια κνπ ζε θάζε κνπ βήκα, ηνπο ζπκθνηηεηέο κνπ νθία νπξιίγθα, Παλαγηψηε Σάγην θαη ην μάδεξθν κνπ Γεκήηξε Γθφηζε, γηα ηελ ακέξηζηε ζπκπαξάζηαζε ηνπο. Σέινο, ζα ήζεια λα επραξηζηήζσ ζεξκά ην θίιν θαη ζπκθνηηεηή κνπ, Μηράιε Δπηηξνπάθε, γηα ηελ πνιχηηκε βνήζεηα ηνπ θαζψο θαη ην θίιν θαη ζπλάδεξθν, Δπζηάζην πειηφπνπιν, γηα ηελ παξφηξπλζε ηνπ θαη ηε βνήζεηα ηνπ ζε φιε απηή ηε πξνζπάζεηα.

4 ηνπο γνλείο κνπ θαη ηνλ αδεξθφ κνπ.

5 Πεξηερόκελα Κεθάιαην Από ηα Βιολογικά ζηα Νεσρωνικά Γίκησα Δηζαγσγή Βηνινγηθά Νεπξσληθά Γίθηπα χγθξηζε Βηνινγηθψλ θαη ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ Κεθάιαην Τετνηηό Νεσρωνικό Γίκησο Μαζεκαηηθφ Μνληέιν Αξρηηεθηνληθή Σερλεηψλ Νεπξσληθψλ Γηθηχσλ Δθπαίδεπζε Σερλεηψλ Νεπξσληθψλ Γηθηχσλ Σξφπνη λεπξσληθήο κάζεζεο Ιδηφηεηεο ησλ ΣΝΓ Γηαθνξέο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ θαη ησλ Τπνινγηζηψλ Δθαξκνγέο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ Ιζηνξηθή Αλαδξνκή Κεθάιαην Perceptron Καλφλαο εθπαίδεπζεο Perceptron Σξνπνπνίεζε ηνπ θαλφλα Perceptron Κεθάιαην Μέθοδοι Βεληιζηοποίηζης Αιγφξηζκνη Βειηηζηνπνίεζεο Η κέζνδνο ηνπ Newton Η κέζνδνο ησλ ζπδπγψλ θιίζεσλ Κεθάιαην Πολσεπίπεδα Δμπρόζθιας Τροθοδόηηζης ΤΝ ή Multilayer Perceptrons (MLP)

6 5.1 Ο αιγφξηζκνο ηεο φπηζζελ δηάδνζεο ζθάικαηνο ή back-propagation Αλάζηξνθε κεηάδνζε ησλ ζεκάησλ ζθάικαηνο δηακέζνπ ηνπ δηθηχνπ Ο αιγφξηζκνο Back-Propagation Σξφπνη εθπαίδεπζεο ελφο πνιπεπηπέδνπ δηθηχνπ Δθπαίδεπζε αλά νκάδα πξνηχπσλ εηζφδνπ Δθπαίδεπζε αλά πξφηππν εηζφδνπ ρεδίαζε λεπξσληθψλ δηθηχσλ Κεθάιαην Τροποποιήζεις ηοσ αλγορίθμοσ όπιζθεν διάδοζης ζθάλμαηος O αιγφξηζκνο ηεο φπηζζελ δηάδνζεο ζθάικαηνο κε νξκή ή momentum back-propagation Ο Αιγφξηζκνο ηεο φπηζζελ δηάδνζεο ζθάικαηνο κε πξνζαξκνζηηθφ ξπζκφ εθπαίδεπζεο ή adaptive back-propagation Ο Αιγφξηζκνο Resilient back-propagation (Rprop) ΚΔΦΑΛΑΙΟ Σύγκριζη Μεθόδων Δκπαίδεσζης ΤΝΓ Πξνβιήκαηα θαη Απνηειέζκαηα Πξνζέγγηζε κηαο ζπλερνχο ζπλάξηεζεο Πξφβιεκα γελίθεπζεο MONK Σν πξφβιεκα θαηεγνξηνπνίεζεο ζεκάησλ SONAR Σν πξφβιεκα θαηεγνξηνπνίεζεο SPECT θαξδηάο πκπεξάζκαηα Βηβιηνγξαθία

7 Πεξίιεςε Η παξνχζα δηπισκαηηθή εξγαζία απνζθνπεί ζηε κειέηε θαη ηελ εθπαίδεπζε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ κε ηε βνήζεηα γλσζηψλ κεζφδσλ, φπσο ηε κέζνδν φπηζζελ δηάδνζεο ζθάικαηνο (back-propagation), ηε κέζνδν adaptive backpropagation, ηε momentum back-propagtion θαη ηελ resilient propagation (RPROP) θαη ηε ζχγθξηζε απηψλ. Καηά ηε δηάξθεηα απηή ηεο εξγαζίαο παξνπζηάζακε ηηο βαζηθέο αξρηηεθηνληθέο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ θαη ηηο δηάθνξεο κεζφδνπο εθπαίδεπζεο ηνπο. Μειεηήζακε ηηο ηερληθέο βειηηζηνπνίεζεο απφδνζεο ελφο δηθηχνπ κε ηε ρξήζε αιγνξίζκσλ θαη πεξηγξάςακε ηε γλσζηή κέζνδν φπηζζελ δηάδνζεο ζθάικαηνο (backpropagation) αιιά θαη παξαιιαγέο απηήο. Σέινο, δψζακε ηα πεηξακαηηθά απνηειέζκαηα απφ ηελ εθπαίδεπζε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ, κε ηε βνήζεηα ησλ παξαπάλσ αιγνξίζκσλ, ζε πνιχ γλσζηά θαη επξέσο ρξεζηκνπνηεκέλα ραξαθηεξηζηηθά πξνβιήκαηα πξαγκαηηθνχ θφζκνπ. 7

8 SYNOPSIS The purpose of this thesis is to study and train Artificial Neural Networks with the help of well-known methods, such as the back-propagation method, the adaptive back-propagation method, the momentum back-propagation method and the resilient propagation (RPROP) method, and also to implement a comparison between them. During this project we introduced the basic architectures of Artificial Neural Networks and the various methods for their training. We studied the techniques for optimizing the performance of a network with the use of algorithms and described the well-known back-propagation method but also her variations. Finally, we gave the experimental results from the training of the Neural Networks, with the help of the previous mentioned algorithms, in widely known and commonly used characteristical problems of the real world. 8

9 Κεθάιαην 1 Από ηα Βηνινγηθά ζηα Νεπξσληθά Γίθηπα 1.1 Δηζαγσγή Η Σερλεηή λνεκνζχλε αλήθεη ζην θιάδν ηεο επηζηήκεο ησλ ππνινγηζηψλ, ν νπνίνο έρεη ζαλ ζηφρν ηελ αλάπηπμε ππνινγηζηηθψλ ζπζηεκάησλ, πνπ κηκνχληαη ζηνηρεία ηεο αλζξψπηλεο ζπκπεξηθνξά θαη ππνλννχλ έζησ θαη ζηνηρεηψδε επθπΐα φπσο ε κάζεζε, ε πξνζαξκνζηηθφηεηα θαη ε εμαγσγή ζπκπεξαζκάησλ. Μηα απφ ηηο θχξηεο ηερληθέο κέζσ ηεο νπνίαο κπνξνχλ λα απνδνζνχλ αλζξψπηλεο ηδηφηεηεο ζε έλα ππνινγηζηή είλαη ε ρξεζηκνπνίεζε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ. ηελ πξαγκαηηθφηεηα ηα Σερλεηά Νεπξσληθά Γίθηπα είλαη εκπλεπζκέλα απφ ηνλ ηξφπν πνπ ιεηηνπξγνχλ ηα βηνινγηθά λεπξσληθά δίθηπα, φπσο έρνπλ αλαπηπρζεί απφ ηελ λεπξνεπηζηήκε (neuroscience), ε νπνία αξρηθά πξνζπάζεζε λα εμεγήζεη ηνλ ηξφπν ιεηηνπξγίαο ηνπ αλζξψπηλνπ εγθεθάινπ δηαηππψλνληαο απινπζηεπκέλα καζεκαηηθά κνληέια. Οη δσληαλνί νξγαληζκνί, απφ ηνπο πην απινχο κέρξη ηνλ άλζξσπν, έρνπλ έλα λεπξηθφ ζχζηεκα ην νπνίν είλαη ππεχζπλν γηα έλα κεγάιν πιήζνο δηεξγαζηψλ, φπσο είλαη ε επαθή κε ην εμσηεξηθφ θφζκν, ε κάζεζε, ε κλήκε θηι. Σν λεπξηθφ ζχζηεκα ησλ νξγαληζκψλ απνηειείηαη απφ πνιιά λεπξσληθά δίθηπα εμεηδηθεπκέλα ζε απηέο ηηο δηεξγαζίεο. Η θεληξηθή κνλάδα ηνπ λεπξηθνχ ζπζηήκαηνο είλαη, ν εγθέθαινο, ν 9

10 νπνίνο επίζεο απνηειείηαη απφ λεπξσληθά δίθηπα. Κάζε λεπξσληθφ δίθηπν απνηειείηαη απφ έλα κεγάιν αξηζκψλ κνλάδσλ πνπ ιέγνληαη λεπξψλεο. Ο λεπξψλαο είλαη ε πην κηθξή κνλάδα δηθηχνπ. ήκεξα δηεμάγεηαη ηδηαίηεξα κεγάιε έξεπλα γηα ηελ θαιχηεξε θαηαλφεζε ησλ λεπξσληθψλ δηθηχσλ ηνπ εγθεθάινπ αθνχ απηφ ζα βνεζήζεη ζην λα εμεγήζνπκε πψο αθξηβψο ιεηηνπξγεί ν εγθέθαινο θαη ηηο ηφζν πεξίπινθεο δηεξγαζίεο ηνπ, φπσο ην πψο ζπκφκαζηε θαη πψο ζθεπηφκαζηε. Οη δηεξγαζίεο πνπ πξαγκαηνπνηνχληαη απφ ηα βηνινγηθά λεπξσληθά δίθηπα είλαη εμαηξεηηθά πνιχπινθεο αιιά θαη ρξήζηκεο ζηελ θαζεκεξηλή δσή ηνπ αλζξψπνπ. Μεξηθέο απφ απηέο είλαη εξγαζίεο ξνπηίλαο, φπσο ε αλαγλψξηζε κηαο εηθφλαο, γηα ηελ νπνία ν αλζξψπηλνο εγθέθαινο θαηαβάιιεη κεδακηλή πξνζπάζεηα. Γελ ηζρχεη φκσο ην ίδην γηα ηνπο ππνινγηζηέο. Γελ κπνξνχλ ην ίδην εχθνια λα αλαγλσξίζνπλ ην πξφηππν κηαο εηθφλαο θαη απηφ φρη γηαηί δελ είλαη γξήγνξνη, αθνχ είλαη ρηιηάδεο θνξέο πην γξήγνξνη απφ ην κπαιφ αιιά γηαηί ε δνκή ηνπο είλαη πνιχ δηαθνξεηηθή απφ ηε δνκή ηνπ εγθεθάινπ. Ο άλζξσπνο έρεη αλαπηχμεη ηελ ηθαλφηεηα λα αλαγλσξίδεη εηθφλεο θαη λα επεμεξγάδεηαη ηα δεδνκέλα κέζσ ηεο δνθηκήο θαη ηεο επαλάιεςεο, ε κάζεζε δειαδή γίλεηαη κέζσ ηεο εκπεηξίαο. Η δηαδηθαζία ηεο κάζεζεο γίλεηαη κε ηε δεκηνπξγία λέσλ ζπλδέζεσλ κεηαμχ ησλ λεπξψλσλ ή ηελ ηξνπνπνίεζε ησλ ήδε ππαξρφλησλ.[5] Τπάξρνπλ πεξίπνπ δηαζπλδεδεκέλνη λεπξψλεο. Ο θάζε λεπξψλαο είλαη απηφλνκνο θαη αλεμάξηεηνο θαη ε ιεηηνπξγία ηνπ είλαη αζχγρξνλε, δειαδή δελ απαηηείηαη ζπγρξνληζκφο δεδνκέλσλ. Αληίζεηα ηα πξνβιήκαηα απηά είλαη δχζθνια γηα έλα ππνινγηζηηθφ ζχζηεκα θαζψο δελ είλαη εχθνιε ε εχξεζε ελφο αιγνξίζκνπ βήκα βήκα γηα ηελ επίιπζε ηνπο. Οη δπλαηφηεηεο απηέο ηνπ εγθεθάινπ ήηαλ ε αθνξκή γηα ηε κειέηε ηεο δνκήο ησλ λεπξψλσλ θαη ηε δεκηνπξγία ππνινγηζηηθψλ δνκψλ πνπ ε νξγάλσζε ηνπο είλαη εκπλεπζκέλε απφ ην βηνινγηθφ κνληέιν. Οη πξνζνκνίσζε ηεο ιεηηνπξγία ησλ βηνινγηθψλ λεπξψλσλ έγηλε απφ ηα Σερλεηά Νεπξσληθά Γίθηπα. Η βαζηθή ηνπο δηαθνξά απφ ηα βηνινγηθά λεπξσληθά δίθηπα είλαη φηη ηα δίθηπα απηά καζαίλνπλ κε ηελ εμάζθεζε θαη ηελ εκπεηξία, φπσο αθξηβψο θαη νη άλζξσπνη, αιιά δηαθέξνπλ ζην φηη δελ αθνινπζνχλ νξηζκέλνπο πξνθαζνξηζκέλνπο θαλφλεο, πνπ είλαη ραξαθηεξηζηηθφ ησλ ππνινγηζηψλ. 10

11 1.2 Βηνινγηθά Νεπξσληθά Γίθηπα Γηα λα θαηαλνήζνπκε θαιχηεξα ηα ηερλεηά λεπξσληθά δίθηπα ζα δνχκε παξαθάησ ηα ραξαθηεξηζηηθά ηεο εγθεθαιηθήο ιεηηνπξγίαο αιιά θαη ηε δνκή ησλ βηνινγηθψλ λεπξψλσλ, πνπ ελέπλεπζαλ ζηελ αλάπηπμε απηψλ ησλ δηθηχσλ. Ο αλζξψπηλνο εγθέθαινο απνηειείηαη απφ έλα κεγάιν αξηζκφ δηαζπλδεδεκέλσλ ζηνηρείσλ πνπ απνθαινχληαη λεπξψλεο. Ο λεπξψλαο απνηειεί ηε βαζηθή ιεηηνπξγηθή θαη αλαηνκηθή κνλάδα ηνπ λεπξηθνχ ζπζηήκαηνο. Όινη νη λεπξψλεο είλαη δηαθνξεηηθνί κεηαμχ ηνπο θαη δελ ππάξρνπλ δχν νιφηδηνη ζηνλ κεγάιν απηφ αξηζκφ. Η ζχλδεζε ησλ λεπξψλσλ επηηπγράλεηαη κέζσ ησλ ζπλάςεσλ. Ο αξηζκφο ησλ ζπλάςεσλ δελ είλαη ζηαζεξφο, αιιά ζπλήζσο έλαο λεπξψλαο έρεη πεξί ηηο 10 4 ζπλάςεηο. Καηά ηε γέλλεζή ηνπ ν εγθέθαινο θαηαζθεπάδεη ηνπο δηθνχο ηνπ θαλφλεο, εκπεηξία, ε νπνία κεγαιψλεη κε ηελ πάξνδν ηνπ ρξφλνπ. Καηά ηα 2 πξψηα ρξφληα δσήο, έρνπκε ηε κέγηζηε αλάπηπμε, φπνπ δεκηνπξγνχληαη πεξίπνπ 1 εθαηνκκχξην ζπλάςεηο (synapses) ζην δεπηεξφιεπην. Οη λεπξψλεο απνηεινχληαη απφ ηξία βαζηθά ζηνηρεία, ην ζψκα θπηηάξνπ, ηνλ άμνλα θαη ηνπο δελδξίηεο. ρήκα 1.1: ρεκαηηθή απεηθφληζε βηνινγηθνχ λεπξσληθνχ θχηηαξν 11

12 Ο θπξίσο θνξκφο ηνπ λεπξψλα είλαη ην ζψκα, κέζα ζην νπνίν βξίζθεηαη ν ππξήλαο ηνπ θπηηάξνπ. Ο άμνλαο είλαη κηα κεγάιε επέθηαζε απφ ην ζψκα θαη εθάπηεηαη κε άιινπο λεπξψλεο. Κάζε λεπξψλαο έρεη έλαλ κφλν άμνλα, ν νπνίνο κεηαδίδεη ζήκαηα ζε άιινπο λεπξψλεο, δει. ζηέιλεη ηα εμεξρφκελα ζήκαηα. Σέινο, ππάξρνπλ νη ιεπηέο επεθηάζεηο πνπ κνηάδνπλ κε δηαθιαδψζεηο δέλδξνπ θαη νλνκάδνληαη δελδξίηεο. ρήκα 1.2: Βηνινγηθφο λεπξψλαο Ο θάζε λεπξψλαο έρεη πνιινχο δελδξίηεο κε πνιιέο δηαθιαδψζεηο. Απηέο νη δνκέο απνηεινχλ ην δίθηπν κε ην νπνίν ν λεπξψλαο πξνζιακβάλεη ζήκαηα απφ άιια θχηηαξα. Σα θχκαηα απηά θηάλνπλ ζηνπο δελδξίηεο ηνπ θάζε λεπξηθνχ θπηηάξνπ απφ λεπξίηεο (έλαλ ή πεξηζζφηεξνπο) άιισλ λεπξηθψλ θπηηάξσλ. Με ηνλ ηξφπν απηφ ζπλδένληαη, δηαθιαδίδνληαη θαη ζπλεξγάδνληαη κεηαμχ ηνπο ηα λεπξηθά θχηηαξα, θαηά νκάδεο, γηα λα επηηειέζνπλ ην ζθνπφ γηα ηνλ νπνίν θαηαζθεπάζηεθαλ, ηε δηάδνζε ησλ εξεζηζκάησλ απφ ηελ πεξηθέξεηα πξνο ην θέληξν (εγθέθαιν) θαη ην αληίζηξνθν. Οη ζπλδέζεηο κεηαμχ ησλ λεπξψλσλ, κε ηνπο άμνλεο θαη ηνπο δελδξίηεο, γίλνληαη ζηηο επαθέο πνπ νλνκάδνληαη ζπλάςεηο. Η ζχλαςε έρεη πνιχ πεξίπινθε δνκή θαη επηηειεί επίζεο πεξίπινθεο δηεξγαζίεο θαηά ηελ κεηάδνζε ηνπ ζήκαηνο. Τπάξρνπλ δηεγεξηηθέο 12

13 θαη αλαζηαιηηθέο ζπλάςεηο. Οη αλαζηαιηηθέο ζπλάςεηο είλαη ην ίδην ζεκαληηθέο κε ηηο δηεγεξηηθέο γηαηί έρνπλ ηελ ηθαλφηεηα λα πεξηνξίδνπλ ή θαη λα επηιέγνπλ ηε ζπλερή ξνή ησλ λεπξηθψλ ζεκάησλ. Έηζη ηα ζεκαληηθά ζήκαηα κεηαβηβάδνληαη ελψ ηα κε ζεκαληηθά θαηαζηέιινληαη. ρήκα 1.3: ρεκαηηθή απεηθφληζε ηεο ζχλαςεο κεηαμχ δπν λεπξσληθψλ θπηηάξσλ. Η δηέγεξζε κεηαβηβάδεηαη κε ρεκηθέο νπζίεο, νη νπνίεο εθθξίλνληαη απφ ηα θπζηίδηα, απφ ηηο νπνίεο ε πην ζπρλή είλαη ε αθεηπινρνιίλε(ach), αιιά θαη νη θαηερνιακίλεο θαζψο θαη ε ληνπακίλε θαη ε ζεξνηνλίλε δξνπλ σο λεπξνκεηαβηβαζηέο. Οη λεπξνκεηαβηβαζηέο είλαη πεξίπινθα κφξηα, πάλσ απφ πελήληα δηαθνξεηηθά είδε, ηα νπνία ζπκκεηέρνπλ ζηηο ρεκηθέο αληηδξάζεηο πνπ ιακβάλνπλ ρψξα κέζα ζην θχηηαξν. Η δξαζηηθή νπζία ζηηο αλαζηαιηηθέο ζπλάςεηο ζεσξείηαη φηη είλαη ην γ- ακηλν-βνπηπξηθφ νμχ (GABA). ην ζπλαπηηθφ δηάζηεκα απηέο νη νπζίεο πξνθαινχλ εθπφισζε ηεο κεηαζπλαπηηθήο κεκβξάλεο θαη έηζη γίλεηαη ε κεηαβίβαζε ηεο δηέγεξζεο. Μεηά ηε δηέγεξζε απηέο νη λεπξνκεηαβηβαζηηθέο νπζίεο πξέπεη λα εμνπδεηεξσζνχλ γηα λα κε ζπλερίδεηαη ε εθπφισζε, απηφ επηηπγράλεηαη ακέζσο κε ηα ελδπκηθά ζπζηήκαηα. 13

14 Σν πιάηνο ηεο ζχλαςεο, ε απφζηαζε ηεο απφ ην δελδξίηε θαη ε ππθλφηεηα ηνπ ειεθηξνρεκηθνχ πιηθνχ επεξεάδνπλ ηελ επθνιία κε ηελ νπνία ε ειεθηξηθή δξαζηεξηφηεηα κεηαδίδεηαη απφ ηνλ άμνλα ζηνλ δελδξίηε. Σν πνζνζηφ ηεο ειεθηξηθήο δξαζηεξηφηεηαο πνπ κεηαδίδεηαη ηειηθά απφ ηνλ δελδξίηε ιέγεηαη ζπλαπηηθφ βάξνο. Σν ζπλαπηηθφ βάξνο είλαη δηαθνξεηηθφ γηα θάζε δεχγνο ζπλδεδεκέλσλ λεπξψλσλ θαη ε γλψζε ζην βηνινγηθφ λεπξηθφ ζχζηεκα είλαη νπζηαζηηθά απνζεθεπκέλε κε θαηαλεκεκέλν ηξφπν ζηηο ηηκέο ηνπ ζπλαπηηθνχ βάξνπο. Αθφκε, κε ηε κεηαβνιή ησλ ζπλνπηηθψλ βαξψλ επηηπγράλεηαη ε κάζεζε. Οη ηειηθνί θιάδνη ελφο λεπξσληθνχ άμνλα νλνκάδνληαη δελδξχιιηα θαη κπνξεί λα έξρνληαη ζε επαθή κε πεξηζζφηεξνπο κεηαζπλαπηηθνχο λεπξψλεο, έηζη ψζηε έλα ζήκα λα κεηαδίδεηαη ηαπηφρξνλα ζε πνιιά λεπξηθά θχηηαξα. Άιινηε πάιη ε δηέγεξζε ελφο λεπξψλα πξνθαιεί ηαπηφρξνλε αλαζηνιή ζε φια ηα γεηηνληθά θχηηαξα. Έλα ραξαθηεξηζηηθφ ηνπ αλζξψπηλνπ εγθεθάινπ είλαη ε πιαζηηθφηεηα, δειαδή ε ηθαλφηεηα ηνπ ζήκαηνο λα πξνζαξκφδεηαη ζην πεξηβάιινλ. ηνλ εγθέθαιν ελφο ελήιηθνπ αλζξψπνπ, ε πιαζηηθφηεηα εθθξάδεηαη κε δχν ηξφπνπο: Με ηξνπνπνίεζε ησλ ζπλάςεσλ κεηαμχ ησλ λεπξψλσλ, δειαδή κε ηε δεκηνπξγία λέσλ ή ηε θαηαζηξνθή ππαξρφλησλ θαη κε ηελ αιιαγή ησλ ππαξρφλησλ. Όπσο, ζηνλ αλζξψπηλν εγθέθαιν έηζη θαη ζηα Σερλεηά Νεπξσληθά Γίθηπα ε πιαζηηθφηεηα είλαη απαξαίηεηε γηα ηε ιεηηνπξγία ησλ λεπξψλσλ ζαλ απηφλνκεο κνλάδεο επεμεξγαζίαο πιεξνθνξηψλ. ηε γεληθή ηνπ κνξθή, έλα λεπξσληθφ δίθηπν είλαη κία κεραλή πνπ έρεη ζρεδηαζηεί γηα λα κνληεινπνηεί ηνλ ηξφπν πνπ κε ηνλ νπνίν ν εγθέθαινο εθηειεί κία ζπγθεθξηκέλε εξγαζία. Σν δίθηπν ζπλήζσο πινπνηείηαη κε ηελ ρξήζε ειεθηξνληθψλ εμαξηεκάησλ ή πξνζνκνηψλεηαη κε ηε ρξήζε ινγηζκηθνχ ζε έλαλ ειεθηξνληθφ ππνινγηζηή. [1] 14

15 ε πιήξε αληηζηνηρία κε ην απινπνηεκέλν κνληέιν ηνπ βηνινγηθνχ λεπξψλα αλαπηχρζεθε ην κνληέιν ηνπ ηερλεηνχ λεπξψλα. Σελ αληηζηνηρία ηε παξαηεξνχκε ζην ρήκα 1.4 ρήκα 1.4: Αληηζηνηρία βηνινγηθνχ κε ηερλεηνχ λεπξψλα. 1.3 ύγθξηζε Βηνινγηθώλ θαη ησλ Σερλεηώλ Νεπξσληθώλ Γηθηύσλ Οη πξαγκαηηθνί εγθέθαινη είλαη πνιχ εππξνζάξκνζηνη. Μπνξνχλ λα θάλνπλ δηάθνξα πξάγκαηα, φπσο λα θαηαιάβνπλ ηε γιψζζα εληειψο άγλσζησλ αλζξψπσλ. Μπνξνχλ λα αληέμνπλ θαηαζηάζεηο πνπ πάλε ζηξαβά, κπνξνχλ λα ιεηηνπξγνχλ ζρεηηθά θαιά γηα κηα δσή, παξφηη κεξηθά θχηηαξα πεζαίλνπλ. Αθφκα δε θαη ζε κεγάιε ειηθία, κπνξνχλ λα κάζνπλ θαηλνχξηα ηερλάζκαηα. ε αληίζεζε ηα ζχγρξνλα ξνκπφη είλαη πνιχ ηθαλά ζην λα εθηεινχλ ηηο πεξηνξηζκέλεο εξγαζίεο γηα ηηο νπνίεο έρνπλ ζρεδηαζηεί, φπσο ην λα θαηαζθεπάζνπλ κέξνο ελφο απηνθηλήηνπ, αιιά είλαη πνιχ ιηγφηεξν αλζεθηηθά φηαλ θάηη πάεη ιάζνο. Αλ ιάβνπκε ππφςε καο ηε πνιππινθφηεηα ηνπ αλζξψπηλνπ λνπ θαη ηηο δηεξγαζίεο πνπ εθηειεί ζα θαηαιάβνπκε φηη ν αξηζκφο ησλ λεπξψλσλ θαη νη ζπλδέζεηο ηνπ είλαη πξαγκαηηθά πνιχ κεγάιεο, ζε ζρέζε κε απηέο πνπ κπνξεί λα ρεηξηζηεί έλαο ππνινγηζηήο. Ο εγθέθαιφο καο πεξηέρεη θαηά πξνζέγγηζε 100 δηζεθαηνκκχξηα λεπξηθψλ θπηηάξσλ, 3.2 εθαηνκκχξηα ρηιηφκεηξα «θαισδίσλ», έλα εθαηνκκχξην δηζεθαηνκκχξηα ζπλδέζεηο, φια ζηνηβαγκέλα κέζα ζε έλα φγθν 1.5 ιίηξσλ, πνπ 15

16 δπγίδεη κφλν 1.5 kg θαη θαηαλαιψλεη κφιηο 10 Watt. Σα ηερλεηά λεπξσληθά δίθηπα (ΣΝΓ) νπσζδήπνηε ππνιείπνληαη θαηά πνιχ ζην ζεκείν απηφ θαη δελ κπνξνχλ λα θάλνπλ πξάγκαηα πνπ ν εγθέθαινο αθφκα θαη ελφο παηδηνχ επηηειεί κε κεγάιε επθνιία. Έλα ΣΝΓ κπνξεί λα έρεη κεξηθέο εθαηνληάδεο ή ρηιηάδεο λεπξψλεο, αιιά φρη ηελ ηάμε κεγέζνπο πνπ έρεη ν αλζξψπηλνο εγθέθαινο. Απφ ηελ άιιε κεξηά φκσο κπνξνχλ ιχζνπλ δχζθνια καζεκαηηθά πξνβιήκαηα. Οη ζπλάςεηο αιιά θαη ε ζπλδεζκνινγία ησλ βηνινγηθψλ λεπξηθψλ δηθηχσλ είλαη πην πεξίπινθε απφ ησλ ηερλεηψλ. Παξφια απηά ε ηαρχηεηα ησλ ππνινγηζηψλ είλαη πνιχ πην κεγάιε απφ ηε ηαρχηεηα δηάδνζεο ηνπ ζήκαηνο ζηα βηνινγηθά λεπξσληθά δίθηπα, αιιά απηφ δελ θαιχπηεη ηε δηαθνξά ζηε πνιππινθφηεηα. Η κάζεζε ζε έλα ηερλεηφ λεπξσληθφ δίθηπν παίξλεη πνιχ ρξφλν ζε αληίζεζε κε ηνλ εγθέθαιν, ν νπνίνο θαηαιαβαίλεη θαη καζαίλεη πνιχ γξήγνξα. Απηφ νθείιεηαη ελ κέξεη απφ ηε καδηθή παξάιιειε δνκή ησλ βηνινγηθψλ λεπξηθψλ δηθηχσλ ηελ νπνία πξνζνκνηψλνπλ θαη ηα ηερλεηά λεπξσληθά δίθηπα. Οη ηερλεηνί λεπξψλεο είλαη νξγαλσκέλνη θαηά ηέηνην ηξφπν ψζηε λα πξνζνκνηψλνπλ ηελ αλαηνκία ηνπ αλζξψπηλνπ εγθεθάινπ. Παξά ηελ φρη φκσο θαη ηφζν κεγάιε νκνηφηεηα ηνπο κε ηνλ εγθέθαιν, επηηπγράλνπλ λα πξνζεγγίζνπλ έλα κεγάιν αξηζκφ ραξαθηεξηζηηθψλ ηεο δνκήο, αιιά θαη ηεο ιεηηνπξγίαο ηνπ εγθεθάινπ. Γηα παξάδεηγκα καζαίλνπλ ρξεζηκνπνηψληαο εκπεηξία ηελ νπνία έρνπλ ζπζζσξεχζεη, έρνπλ ηελ ηθαλφηεηα γελίθεπζεο απφ πξνεγνχκελα παξαδείγκαηα ζε λέα, κπνξνχλ λα επεμεξγαζηνχλ κηα νκάδα δεδνκέλσλ θαη λα μερσξίζνπλ απφ απηή ηα πην νπζηψδε ραξαθηεξηζηηθά. Έλαο βηνινγηθφο λεπξψλαο ιακβάλεη ζήκαηα απφ άιινπο λεπξψλεο κέζσ ησλ δελδξηηψλ. Σν άζξνηζκα ησλ δηεγέξζεσλ ζε φινπο ηνπο δελδξίηεο απνηειεί ηε ζπλνιηθή δηέγεξζε ηνπ λεπξψλα. ην ζψκα ηνπ λεπξψλα πξαγκαηνπνηείηαη ε επεμεξγαζία απηψλ ησλ ζεκάησλ, ηα νπνία ζπλδπάδεη κε θάπνηνλ ηξφπν θαη εθηειεί κηα κε γξακκηθή δηεξγαζία γηα ηελ απφθξηζε ηεο εμφδνπ. Σν ζήκα εμφδνπ κεηαθέξεηαη κέζσ ηνπ άμνλα θαη ηειηθά κέζσ ησλ ζπλάςεσλ ζε άιινπο λεπξψλεο. Αληίζηνηρα έλαο ηερλεηφο λεπξψλαο δέρεηαη έλα δηάλπζκα εηζφδσλ p(n). Κάζε είζνδνο πνιιαπιαζηάδεηαη κε έλαλ πξαγκαηηθφ αξηζκφ πνπ νλνκάδεηαη ζπληειεζηήο βάξνπο. Σα ζπλαπηηθά βάξε w ρξεζηκνπνηνχληαη γηα ηελ ηξνπνπνίεζε ησλ εηζφδσλ ηνπ λεπξψλα θαη αληηζηνηρνχλ ζηε δχλακε κηαο ζχλαςεο. Οη ηξνπνπνηεκέλεο είζνδνη 16

17 αζξνίδνληαη θαη ζην απνηέιεζκα πνπ ζπρλά ραξαθηεξίδεηαη σο είζνδνο ηνπ δηθηχνπ εθαξκφδεηαη κηα ζπλάξηεζε γλσζηή σο ζπλάξηεζε ελεξγνπνίεζεο. Σν θπηηαξηθφ ζψκα ηνπ λεπξψλα αλαπαξίζηαηαη απφ ηνλ αζξνηζηή θαη ηε ζπλάξηεζε ελεξγνπνίεζεο θαη ε έμνδνο ηνπ ηερλεηνχ λεπξψλα y αλαπαξηζηά ην ζήκα ζηνλ άμνλα ηνπ λεπξψλα. 17

18 Κεθάιαην 2 Σερλεηό Νεπξσληθό Γίθηπν Σα Σερλεηά Νεπξσληθά Γίθηπα (Σ.Ν.Γ) είλαη καδηθά παξάιιεινη θαηαλεκεκέλνη επεμεξγαζηέο απνηεινχκελνη απφ απιέο κνλάδεο επεμεξγαζίαο (Σερλεηνί Νεπξψλεο). Κάζε κνλάδα επεμεξγαζίαο ραξαθηεξίδεηαη απφ εηζφδνπο θαη εμφδνπο. Τινπνηεί ηνπηθά έλαλ ππνινγηζκφ κε βάζε ηηο εηζφδνπ πνπ δέρεηαη θαη κεηαδίδεη ην απνηέιεζκα ζε άιιεο κνλάδεο επεμεξγαζίαο κε ηηο νπνίεο ζπλδέεηαη. Σν ζχζηεκα ιεηηνπξγεί παξάιιεια θαη πνιιέο κνλάδεο έρνπλ δπλαηφηεηα λα πξαγκαηνπνηνχλ ηαπηφρξνλα ηνπο ππνινγηζκνχο ηνπο. Κάζε ζχλδεζε κεηαμχ κνλάδσλ ραξαθηεξίδεηαη απφ κία ηηκή βάξνπο. Οη ηηκέο ησλ βαξψλ ησλ ζπλδέζεσλ απνηεινχλ ηε γλψζε πνπ είλαη απνζεθεπκέλε ζην ΣΝΓ θαη ραξαθηεξίδνπλ ηε ιεηηνπξγία ηνπ. πλήζσο έλα ΣΝΓ αλαπηχζζεη κία ζπλνιηθή ιεηηνπξγηθφηεηα κέζσ κηαο κνξθήο εθπαίδεπζεο. ην δίθηπν ππάξρνπλ θαη νη θξπθέο κνλάδεο,νη νπνίεο δελ είλαη νξαηέο ζηνλ εμσηεξηθφ θφζκν θαη νη είζνδνη ηνπο θαζψο θαη νη έμνδνη ηνπο βξίζθνληαη εληφο ηνπ ΣΝΓ. 2.1 Μαζεκαηηθό Μνληέιν Ο Νεπξψλαο είλαη ην βαζηθφ ζπζηαηηθφ ελφο ΣΝΓ. Δίλαη ε κνλάδα επεμεξγαζίαο ησλ εηζεξρνκέλσλ πιεξνθνξηψλ, ε έμνδνο ηνπ νπνίνπ κεηαθέξεηαη κέζσ ησλ ζπλάςεσλ ζε επφκελνπο λεπξψλεο. 18

19 Έλαο λεπξψλαο ιακβάλεη ζπλήζσο πνιιέο ηαπηφρξνλεο εηζφδνπο. Κάζε είζνδνο έρεη ην αληίζηνηρν βάξνο ηεο. Απηά ηα βάξε εθηεινχλ ηνλ ίδην ηχπν ιεηηνπξγίαο φπσο νη πνηθίιεο ζπλαπηηθέο δπλάκεηο ησλ βηνινγηθψλ λεπξψλσλ. Με ιίγα ιφγηα ηα βάξε είλαη πξνζαξκνζηηθνί ζπληειεζηέο κέζα ζην δίθηπν πνπ θαζνξίδνπλ ηελ έληαζε ηνπ ζήκαηνο εηζφδνπ θαζψο εηζάγεηαη ζηνλ ηερλεηφ λεπξψλα. Η ζεκαζία ηνπ βάξνπο είλαη φπσο αθξηβψο είλαη θαη ν ρεκηθφο δεζκφο αλάκεζα ζε δχν άηνκα πνπ απαξηίδνπλ έλα κφξην. Ο δεζκφο καο δείρλεη πφζν δπλαηά είλαη ζπλδεδεκέλα ηα δχν άηνκα ηνπ κνξίνπ. Έηζη θαη ην βάξνο καο δείρλεη αθξηβψο πφζν ζεκαληηθή είλαη ε ζπλεηζθνξά ηνπ ζπγθεθξηκέλνπ ζήκαηνο ζηελ δηακφξθσζε ηεο δνκήο ηνπ δηθηχνπ γηα ηνπο δχν λεπξψλεο ηνπο νπνίνπο ζπλδέεη. Όηαλ ην βάξνο w είλαη ζρεηηθά «κεγάιν» («κηθξφ»), ηφηε ε ζπλεηζθνξά ηνπ ζήκαηνο είλαη «κεγάιε» («κηθξή»), αληίζηνηρα. Απνηεινχλ έλα κέηξν ηεο ζπλδεηηθήο δχλακεο ηεο εηζφδνπ. Απηέο νη δπλάκεηο κπνξνχλ λα ηξνπνπνηεζνχλ αλάινγα κε ηα δηάθνξα πξφηππα εθπαίδεπζε θαη ζχκθσλα κε ηε ζπγθεθξηκέλε ηνπνινγία ηνπ δηθηχνπ ή κέζσ ησλ θαλφλσλ εθπαίδεπζεο, αληίζηνηρα[1][2][3] ην παξαθάησ ζρήκα θαίλεηαη έλα κνληέιν λεπξψλα θαη δηαθξίλνληαη ηα βαζηθά ζπζηαηηθά ηνπ (ρήκα 2.1). ρήκα 2.1 : Μνληέιν Σερλεηνχ Νεπξψλα ε θάζε λεπξψλα θαηαθζάλεη έλαο αξηζκφο ζεκάησλ, ηα νπνία έξρνληαη σο είζνδνο ζ απηφλ. Κάζε ζήκα πνπ κεηαδίδεηαη απφ έλα λεπξψλα ζε έλα άιιν κέζα ζην λεπξσληθφ δίθηπν ζπλδέεηαη κε ηελ ηηκή βάξνπο, w, ε νπνία ππνδειψλεη πφζν ζηελά είλαη ζπλδεδεκέλνη νη δχν λεπξψλεο πνπ ζπλδένληαη κε ην βάξνο απηφ. Δπίζεο, ν ηερλεηφο λεπξψλαο έρεη θαη κία ζχλδεζε ζηαζεξήο δηέγεξζεο, δειαδή κηα είζνδν b k 19

20 ηεο νπνίαο ε ηηκή είλαη κφληκα 1. Δλαιιαθηηθά, κπνξνχκε λα ζεσξήζνπκε φηη ε είζνδνο απηή είλαη ζπλδεδεκέλε κε έλα «ηδεαηφ» λεπξψλα, ν νπνίνο βξίζθεηαη ζε δηαξθή ελεξγνπνίεζε θαη κεηαδίδεη ζπλερψο ζήκαηα κε ηηκή 1. Όπσο θαη νη ππφινηπεο ζπλδέζεηο έηζη θαη απηή ραξαθηεξίδεηαη απφ κία ηηκή βάξνπο πνπ ζα ηε ζπκβνιίδνπκε w 0 θαη νλνκάδεηαη πφισζε ηνπ λεπξψλα. Η εηζαγσγή ηεο πφισζεο πξνζδίδεη ζην λεπξψλα επηπιένλ ππνινγηζηηθέο δπλαηφηεηεο κάζεζεο θαη πξνζαξκνγήο ζηα δεδνκέλα εθπαίδεπζεο. Έηζη θάζε εηζεξρφκελν ζήκα πνιιαπιαζηάδεηαη κε ην αληίζηνηρν βάξνο θαη φια απηά ηα γηλφκελα αζξνίδνληαη καδί κε έλα εμσηεξηθφ βάξνο (πφισζε),πνπ απνηειεί ηελ ζπλνιηθή είζνδν ηνπ λεπξψλα: n u = s i w i + w 0 i=1 ηελ ζπλέρεηα, ε είζνδνο απηή κεηαζρεκαηίδεηαη βάζεη κίαο ζπλάξηεζεο ελεξγνπνίεζεο θ(u) ε νπνία δίλεη θαη ηελ ηειηθή έμνδν ηνπ λεπξψλα, πνπ ζα δηαδνζεί κέζα ζην λεπξσληθφ δίθηπν πξνο ηελ έμνδν y = φ u Η ζπλάξηεζε ελεξγνπνίεζεο θ επηιέγεηαη απφ ηνλ θαηαζθεπαζηή ηνπ δηθηχνπ θαη αλάινγα κε ηηο απαηηήζεηο ηνπ πξνβιήκαηνο θαη νη παξάκεηξνη w θαη w 0 πξνζαξκφδνληαη αλάινγα κε ηε ρξήζε ελφο θαλφλα εθπαίδεπζεο έηζη ψζηε ε ζρέζε κεηαμχ ηεο εηζφδνπ θαη ηεο εμφδνπ ηνπ λεπξψλα λα ηθαλνπνηεί ηνλ επηζπκεηφ ζηφρν ηνπ πξνβιήκαηνο. Δλαιιαθηηθά ε ζπλνιηθή είζνδνο κπνξεί λα ππνινγηζηεί απφ ηελ ζρέζε u x = d i=1 w i x i θ Όπνπ αληί γηα ηελ πφισζε w 0 ρξεζηκνπνηείηαη ε παξάκεηξνο ζ, πνπ νλνκάδεηαη θαηψθιη (threshold). ε αλαινγία κε ηε πφισζε ην θαηψθιη κπνξεί λα ζεσξεζεί σο ην βάξνο κηαο ζχλδεζεο ηεο νπνίαο ε ζχλδεζε είλαη κφληκα -1. Δίλαη πξνθαλέο φηη νη δχν ηχπνη γηα ηνλ ππνινγηζκφ ηνπ u(x) είλαη ηζνδχλακνη. Οη λεπξψλεο πνπ ππνινγίδνπλ ηε 20

21 ζπλνιηθή είζνδν ηνπ u κε βάζε ηελ παξαπάλσ ζρέζε νλνκάδνληαη λεπξψλεο εζσηεξηθνχ γηλνκέλνπ. Τπάξρνπλ ηξεηο ηχπνη ζπλάξηεζε ελεξγνπνίεζεο : ε δπαδηθή ζπλάξηεζε ε γξακκηθή ζπλάξηεζε θαη ε ζηγκνεηδήο ζπλάξηεζε Γπαδηθή πλάξηεζε Δλεξγνπνίεζεο Η δπαδηθή ζπλάξηεζε (ή αιιηψο βεκαηηθή) ζέηεη ηελ έμνδν ηνπ λεπξψλα ίζε κε ην 0 αλ ην φξηζκα ηεο ζπλάξηεζεο είλαη κηθξφηεξν ή ίζν ηνπ 0 θαη ίζε κε 1 αλ ην φξηζκα είλαη κεγαιχηεξν ηνπ 0. Η έμνδνο δειαδή ηνπ λεπξψλα πεξηνξίδεηαη ζηηο δπαδηθέο ηηκέο {0,1}. Η ζπλάξηεζε απηή ρξεζηκνπνηείηαη γηα ηε δεκηνπξγία λεπξψλσλ πνπ δηαρσξίδνπλ ηηο εηζφδνπο ζε δχν δηαθνξεηηθέο θαηεγνξίεο. Παξφκνηα ε ζπλάξηεζε πξνζήκνπ έρεη ζαλ απνηέιεζκα ε έμνδνο ηνπ λεπξψλα λα παίξλεη ηηο ηηκέο {-1,1} θαη ε ινγηζηηθή ζπλάξηεζε πεξηνξίδεη ην πεδίν ηηκψλ ηεο εμφδνπ ηνπ λεπξψλα ζην δηάζηεκα (0,1). ρήκα 2.2: Βεκαηηθή πλάξηεζε 21

22 ρήκα 2.3: πλάξηεζε Πξνζήκνπ Γξακκηθή πλάξηεζε Δλεξγνπνίεζεο Η γξακκηθή ζπλάξηεζε είλαη ε θ(u)=u ρήκα 2.4: Γξακκηθή πλάξηεζε Δλεξγνπνίεζεο Κπξίσο, ρξεζηκνπνηείηαη ζε λεπξψλεο πνπ πξννξίδνληαη γηα γξακκηθή πξνζέγγηζε ζηα γξακκηθά θίιηξα. 22

23 ηγκνεηδήο πλάξηεζε Δλεξγνπνίεζεο Η ζηγκνεηδήο ζπλάξηεζε είλαη ε πην επξέσο ρξεζηκνπνηνχκελε ζπλάξηεζε ελεξγνπνίεζε γηα ηελ θαηαζθεπή ΣΝ. Οξίδεηαη σο κηα γλεζίσο αχμνπζα ζπλάξηεζε πνπ είλαη νκαιή θαη αζπκπησηηθή. Έλα παξάδεηγκα ζηγκνεηδνχο ζπλάξηεζεο είλαη ην παξαθάησ: φ u = exp ( au) φπνπ α είλαη ε παξάκεηξνο θιίζεο ηεο ζηγκνεηδνχο ζπλάξηεζεο. Με κεηαβνιή ηνπ α κπνξνχκε λα κεηαβάινπκε ηελ θιίζε ηεο ζηγκνεηδνχο φπσο θαίλεηαη ζην ρήκα 2.5. πγθεθξηκέλα ε θιίζε ηεο ζηγκνεηδνχο ζηελ αξρή ησλ αμφλσλ ηζνχηαη κε α/4. ην φξην, θαζψο ην α ηείλεη πξνο ην άπεηξν, ε ζηγκνεηδήο ζπλάξηεζε κεηαηξέπεηαη ζε ζπλάξηεζε θαηψθιη. Αληίζεηα κε ηελ ζπλάξηεζε θαηψθιη πνπ παίξλεη ηηκέο 0 ή 1, ε ζηγκνεηδήο ζπλάξηεζε κπνξεί λα πάξεη φιεο ηηο ηηκέο απφ ην [0,1]. Δπίζεο ε ζηγκνεηδήο ζπλάξηεζε είλαη δηαθνξίζηκε ελψ ε ζπλάξηεζε θαηψθιη δελ είλαη. [2][3] ρήκα 2.5 : ηγκνεηδήο ζπλάξηεζε γηα δηάθνξεο ηηκέο ηνπ α ηνλ πίλαθα 2.1 θαίλνληαη ζπλνπηηθά φιεο νη ζπλαξηήζεηο ελεξγνπνίεζεο πνπ αλαθέξακε θαη ν ζπκβνιηζκφο ηνπο. 23

24 Πίλαθαο 2.1: πλαξηήζεηο Δλεξγνπνίεζεο 2.2 Αξρηηεθηνληθή Σερλεηώλ Νεπξσληθώλ Γηθηύσλ Η ηνπνινγηθή δνκή είλαη ην θχξην ραξαθηεξηζηηθφ ησλ ΝΓ θαη αλαθέξεηαη ζηελ αξρηηεθηνληθή ζηελ νπνία δηεπζεηνχληαη θαη δηαζπλδένληαη πνιιαπινί λεπξψλεο. Οη δχν βαζηθέο ηδηφηεηεο πνπ θαζνξίδνπλ ηελ αξρηηεθηνληθή ελφο ΝΓ είλαη ην πιήζνο ησλ επηπέδσλ (layers ) θαη νη ζπλδέζεηο κεηαμχ ησλ λεπξψλσλ. Σν ηξίην ραξαθηεξηζηηθφ, ην νπνίν ζρεηίδεηαη θπζηνινγηθά κε ηνλ ηξφπν θαηά ηνλ νπνίν είλαη δνκεκέλνη νη λεπξψλεο, είλαη ν αιγφξηζκνο κάζεζεο πνπ ρξεζηκνπνηείηαη γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ. Η κάζεζε ζα εμεηαζηεί ζηελ επφκελε παξάγξαθν. Τπάξρνπλ νη εμήο βαζηθέο αξρηηεθηνληθέο : Γίθηπα εκπξφζζηα ηξνθνδφηεζεο ελφο επηπέδνπ (Single Layer Feedforward networks) Γίθηπα εκπξφζζηαο ηξνθνδφηεζεο πνιιαπιψλ επηπέδσλ (Multilayer Feedforward Networks) Αλαδξνκηθά Σερλεηά Νεπξσληθά Γίθηπα (Recurrent Neural Networks) 24

25 Γίθηπα εκπξόζζηα ηξνθνδόηεζεο ελόο επηπέδνπ ηελ πεξίπησζε απηή έρνπκε έλα επίπεδν κε θφκβνπο εηζφδνπ πνπ πξνβάιινληαη ζε έλα επίπεδν εμφδνπ κε λεπξψλεο (φπνπ γίλνληαη νη ππνινγηζκνί), ελψ ην αληίζεην δελ ηζρχεη, δελ κπνξνχκε δειαδή λα πάκε απφ ηνπο λεπξψλεο εμφδνπ ζηνπο θφκβνπο εηζφδνπ. Σν δίθηπν είλαη απζηεξά εκπξφζζηαο ηξνθνδφηεζεο θαη θαιείηαη «Γίθηπν εκπξφζζηαο ηξνθνδφηεζεο ελφο επηπέδνπ». ρήκα 2.6: Γίθηπα Δκπξφζζηαο ηξνθνδφηεζεο ελφο επηπέδνπ Με ηνλ φξν έλα επίπεδν ελλννχκε ην επίπεδν εμφδνπ πνπ πεξηέρεη θαη ηνπο λεπξψλεο φπνπ γίλνληαη νη ππνινγηζκνί. εκεηψλεηαη φηη δελ ππνινγίδεηαη ην επίπεδν εηζφδνπ κε ηνπο θφκβνπο εηζφδνπ γηαηί ζε απηφ δελ γίλνληαη θαζφινπ ππνινγηζκνί. Γίθηπα εκπξόζζηαο ηξνθνδόηεζεο πνιιαπιώλ επηπέδσλ Η δεχηεξε αξρηηεθηνληθή εκπξφζζηαο ηξνθνδφηεζεο λεπξσληθψλ δηθηχσλ δηαθέξεη απφ ηελ πξψηε ζηελ χπαξμε ελφο ή πεξηζζνηέξσλ θξπθψλ επηπέδσλ, ησλ νπνίσλ νη 25

26 λεπξψλεο θαινχληαη θξπθνί λεπξψλεο. Η ιεηηνπξγία ησλ θξπθψλ λεπξψλσλ είλαη λα παξεκβάιινληαη κεηαμχ ησλ θφκβσλ εηζφδνπ θαη ησλ λεπξψλσλ εμφδνπ ηνπ δηθηχνπ. Με ηελ πξνζζήθε ελφο ή πεξηζζφηεξσλ θξπθψλ επηπέδσλ, ην δίθηπν έρεη ηελ δπλαηφηεηα λα πξνζεγγίδεη ζπλαξηήζεηο κεγαιχηεξεο πνιππινθφηεηαο. ρήκα 2.7: Γίθηπα Δκπξφζζηαο ηξνθνδφηεζεο πνιιαπιψλ επηπέδσλ Οη θφκβνη εηζφδνπ, ζην επίπεδν εηζφδνπ ηνπ δηθηχνπ, παξέρνπλ ηα ζηνηρεία ησλ πξνηχπσλ εηζφδνπ, κε ηελ κνξθή δηαλπζκάησλ, πνπ γίλνληαη είζνδνη ζηνπο λεπξψλεο ηνπ δεχηεξνπ επηπέδνπ, δειαδή ηνπ πξψηνπ θξπθνχ επηπέδνπ. Σα ζήκαηα εμφδνπ ησλ λεπξψλσλ ηνπ δεχηεξνπ θξπθνχ επηπέδνπ, γίλνληαη ζήκαηα εηζφδνπ ζην ηξίην επίπεδν θαη ζπλερίδεηαη θαηά απηφ ηνλ ηξφπν ε ξνή ησλ ζεκάησλ κεηαμχ ησλ επηπέδσλ ηνπ δηθηχνπ κέρξη λα θηάζνπλ ζην επίπεδν εμφδνπ. πλήζσο, νη λεπξψλεο ζε θάζε επίπεδν ηνπ δηθηχνπ, παίξλνπλ ζαλ είζνδν, ηα ζήκαηα εμφδνπ απφ ηνπο λεπξψλεο ηνπ πξνεγνχκελνπ επηπέδνπ κφλν. Σν ζχλνιν ησλ ζεκάησλ εμφδνπ ζην επίπεδν εμφδνπ (ηειεπηαίν επίπεδν ηνπ δηθηχνπ), απνηειεί θαη ηελ απάληεζε ηνπ δηθηχνπ γηα ηα δεδνκέλα πνπ εηζάγνληαη ζηνπο θφκβνπο εηζφδνπ. Έλα παξάδεηγκα ΝΓ εκπξφζζηαο ηξνθνδφηεζεο κε έλα θξπθφ επίπεδν ηεζζάξσλ θφκβσλ (h=4), νθηψ θφκβνπο πεγήο ζην επίπεδν εηζφδνπ (ξ=8) θαη δχν θφκβνπο (q=2) ζην επίπεδν εμφδνπ εηθνλίδεηαη ζην ρήκα 2.8. Σν δίθηπν απηφ αλαθέξεηαη ζπκβνιηθά σο ΝΓ εκπξφζζηαο ηξνθνδφηεζεο (8 θφκβνη εηζφδνπ, 4 θξπκκέλνη θφκβνη,2 θφκβνη εμφδνπ). 26

27 ρήκα 2.8: Πιήξσο δηαζπλδεκέλν Νεπξσληθφ Γίθηπν Σν λεπξσληθφ δίθηπν ηνπ παξαπάλσ ζρήκαηνο νλνκάδεηαη «ΝΓ πιήξσο δηαζπλδεδεκέλν» γηαηί θάζε θφκβνο νπνηνπδήπνηε επηπέδνπ ζπλδέεηαη κε φινπο ηνπο θφκβνπο ηνπ γεηηνληθνχ ηνπ πξνο ηα εκπξφο (δειαδή ηνπ επνκέλνπ) επηπέδνπ. Δάλ απηφ δελ ηζρχεη, δειαδή εάλ ιείπνπλ κεξηθνί ζχλδεζκνη επηθνηλσλίαο (ζπλαπηηθέο ζπλδέζεηο), ηφηε ην ΝΓ νλνκάδεηαη «ΝΓ κεξηθά δηαζπλδεδεκέλν». ρήκα 2.9: Πιήξσο δηαζπλδεκέλν ΣΝΓ πξφζζηαο ηξνθνδφηεζεο

28 Αλαδξνκηθά Γίθηπα ρήκα 2.10: Αλαδξνκηθφ ΣΝΓ κε έλα κφλν επίπεδν Έλα Αλαδξνκηθφ Σερλεηφ Νεπξσληθφ Γίθηπν δηαθέξεη απφ έλα εκπξφζζηαο ηξνθνδφηεζεο δίθηπν ζην γεγνλφο φηη πεξηέρεη έλαλ ηνπιάρηζηνλ βξφγρν αλαηξνθνδφηεζεο. Απηφ ζεκαίλεη φηη ζε έλαλ ηνπιάρηζηνλ λεπξψλα, ην ζήκα εμφδνπ ηνπ επεξεάδεη ην ζήκα πνπ έξρεηαη ζηελ είζνδν ηνπ λεπξψλα. Γηα παξάδεηγκα, έλα Αλαδξνκηθφ Σερλεηφ Νεπξσληθφ Γίθηπν κπνξεί λα απνηειείηαη απφ έλα κφλν επίπεδν λεπξψλσλ φπνπ θάζε λεπξψλαο επηζηξέθεη ην ζήκα εμφδνπ ηνπ ζαλ ζήκα εηζφδνπ ζε φινπο ηνπο άιινπο λεπξψλεο ηνπ επηπέδνπ (ρήκα 2.10). ην ζρήκα απηφ δελ ππάξρνπλ θξπθνί λεπξψλεο νχηε βξφρνη φπνπ έλαο λεπξψλαο λα επηζηξέθεη ην ζήκα εμφδνπ ηνπ ζαλ είζνδν ζηνλ εαπηφ ηνπ. Αθφκα, έρνπκε κία άιιε θιάζε αλαδξνκηθψλ λεπξσληθψλ δηθηχσλ πνπ έρνπλ θξπθνχο λεπξψλεο (ρήκα 2.11). Οη αλαδξνκηθέο ζπλδέζεηο πνπ θαίλνληαη ζην ζρήκα, μεθηλάλε ηφζν απφ ηνπο θξπθνχο λεπξψλεο φζν θαη απφ ηνπο λεπξψλεο εμφδνπ. Η χπαξμε απηή ησλ βξφγρσλ φπσο θαίλεηαη ζην ζρήκα 2.10 θαη ζρήκα 2.11 επεξεάδνπλ ζεκαληηθά ηηο επηδφζεηο θαη ηελ ηθαλφηεηα εθπαίδεπζεο ηνπ λεπξσληθνχ δηθηχνπ. 28

29 Δπίζεο, νη αλαδξνκηθνί βξφγρνη πεξηιακβάλνπλ θαη ηε ρξήζε ζηνηρείσλ θαζπζηέξεζεο (ζην ζρήκα ζπκβνιίδνληαη κε z 1 ) έρνληαο ζαλ απνηέιεζκα ην δίθηπν λα απνθηήζεη κηα δπλακηθή κε γξακκηθή ζπκπεξηθνξά. ρήκα 2.11: Αλαδξνκηθφ ΣΝΓ κε θξπθνχο λεπξψλεο ρήκα 2.12 : Σππηθά δίθηπα απφ ηηο δχν θαηεγνξίεο λεπξσληθψλ δηθηχσλ 29

30 2.3 Δθπαίδεπζε Σερλεηώλ Νεπξσληθώλ Γηθηύσλ Η κάζεζε ή αιιηψο αιγφξηζκνο εθπαίδεπζεο είλαη κηα ζεκειηαθή ηθαλφηεηα ησλ ΝΓ ε νπνία ηνπο επηηξέπεη λα καζαίλνπλ απφ ην πεξηβάιινλ ηνπο θαη λα βειηηψλνπλ ηε ζπκπεξηθνξά ηνπο κε ην πέξαζκα ηνπ ρξφλνπ. Η κάζεζε είλαη κηα γεληθή έλλνηα ηεο επηζηήκεο ησλ ζπζηεκάησλ θαη νξίδεηαη κε πνηθίινπο ηξφπνπο αλάινγα κε ην εθάζηνηε πεδίν εθαξκνγήο. ηα ΝΓ, ε κάζεζε αλαθέξεηαη ζηε δηεξγαζία επίηεπμεο κηαο επηζπκεηήο ζπκπεξηθνξάο κέζσ αλαλέσζεο ηεο ηηκήο ησλ ζπλαπηηθψλ βαξψλ. Έηζη, έλα ΝΓ καζαίλεη γηα ην πεξηβάιινλ ηνπ κέζσ κηαο επαλαιεπηηθήο δηαδηθαζίαο αλαλέσζεο (αιιαγήο) ησλ ζπλαπηηθψλ βαξψλ θαη θαησθιίσλ. Γεληθά, ππάξρνπλ πνιινί αιγφξηζκνη κάζεζεο ζηα ΝΓ, θαζέλαο απφ ηνπο νπνίνπο έρεη ζπγθεθξηκέλα πιενλεθηήκαηα θαη κεηνλεθηήκαηα. Κάζε αιγφξηζκνο κάζεζεο πξνζθέξεη έλαλ άιιν ηξφπν πξνζαξκνγήο (επηινγήο/αλαλέσζεο) ησλ ζπλαπηηθψλ βαξψλ. Έλα άιιν ζέκα ην νπνίν πξέπεη λα ιεθζεί ππ' φςε θαηά ηε ζρεδίαζε ελφο ΝΓ είλαη ην πεξηβάιινλ ζην νπνίν εξγάδεηαη ην ΝΓ. Έηζη, δηαθνξεηηθά κνληέια ηνπ πεξηβάιινληνο έρνπλ σο απνηέιεζκα ηελ επηινγή δηαθνξεηηθψλ αιγνξίζκσλ κάζεζεο. Οη αιγφξηζκνη κάζεζεο ρσξίδνληαη ζε ηξείο κεγάιεο θαηεγνξίεο: Δπηβιεπφκελε (ελεξγή) κάζεζε Με επηβιεπφκελε (απην-νξγαλνχκελε) κάζεζε Δληζρπηηθή κάζεζε Οη ηέζζεξηο βαζηθνί ηξφπνη (θαλφλεο) λεπξσληθήο κάζεζεο είλαη νη αθφινπζνη: Μάζεζε δηφξζσζεο ζθάικαηνο Μάζεζε Hebb θαλφλαο ηνπ Hopfield θαλφλαο Γέιηα θαλφλαο εθκάζεζεο Kohonen 30

31 Δπηβιεπόκελε κάζεζε Η δνκή ηεο επηβιεπφκελεο ή ελεξγνχ κάζεζεο (supervised/active learning) πεξηιακβάλεη δχν θχξηεο ζπληζηψζεο, δειαδή ην δάζθαιν θαη ην ζχζηεκα κάζεζεο. Η δνκή ηεο επηβιεπφκελεο ή ελεξγνχ κάζεζεο (supervised/active learning) έρεη ηε γεληθή κνξθή ηνπ ρήκαηνο ρήκα 2.13: Γνκή ηεο επηβιεπφκελεο κάζεζεο Σν θχξην ραξαθηεξηζηηθφ ηεο επηβιεπφκελεο κάζεζεο είλαη ε χπαξμε ηνπ εμσηεξηθνχ δαζθάινπ ν νπνίνο κε βάζε ηε γλψζε θαη εκπεηξία ηνπ είλαη ηθαλφο λα δηδάμεη ζην ζχζηεκα κάζεζεο (δειαδή ζην ΝΓ) ηηο επηζπκεηέο εμφδνπο (εμφδνπο ζηφρνπ) γηα έλα ζχλνιν εηζφδσλ εθπαίδεπζεο. Όηαλ ν δάζθαινο θαη ην ΝΓ ιαβαίλνπλ έλα δηάλπζκα εηζφδνπ εθπαίδεπζεο, ν δάζθαινο δίλεη ζην λεπξσληθφ δίθηπν κηα επηζπκεηή έμνδν ε νπνία παξηζηά ηε βέιηηζηε ελέξγεηα (δξάζε) πνπ πξέπεη λα θάλεη ην ΝΓ. Η κάζεζε κε επίβιεςε απαηηεί ηελ χπαξμε δεπγψλ ηεο κνξθήο (είζνδνο- έμνδνο) ή αιιηψο (εξψηεζε-ζσζηή απάληεζε). ηελ κάζεζε κε επίβιεςε, εηζάγνληαη ζην ζχζηεκα νη είζνδνη (εξσηήζεηο) βάζεη ησλ νπνίσλ ππνινγίδεηαη ε έμνδνο ηνπ ζπζηήκαηνο. Η έμνδνο απηή ζπγθξίλεηαη κε ηελ επηζπκεηή έμνδν θαη αλάινγα κε ηε δηαθνξά ηνπο ηξνπνπνηείηαη ην ζχζηεκα, δειαδή ηξνπνπνηνχληαη ηα βάξε ησλ ζπλάςεσλ. Η δηαδηθαζία απηή επαλαιακβάλεηαη γηα φια ηα δεχγε εηζφδσλ-εμφδσλ, φπνπ ζε θάζε επαλάιεςε ην ζχζηεκα «δηνξζψλεη ηα ιάζε ηνπ». 31

32 Γχν πεξηπηψζεηο αιγνξίζκσλ επηβιεπφκελεο κάζεζεο είλαη ν αιγφξηζκνο Eιαρίζηνπ Μέζνπ Σεηξαγψλνπ (Least- Mean Square / LMS) θαη ε γελίθεπζε ηνπ, πνπ είλαη γλσζηή σο Αιγφξηζκνο ηεο Όπηζζελ Γηάδνζεο θάικαηνο (Back Propagation/ BP). Με επηβιεπόκελε κάζεζε ηνλ ηχπν απηφ κάζεζεο, πνπ θαιείηαη θαη απηφ-νξγαλνχκελε κάζεζε, δελ ρξεζηκνπνηείηαη εμσηεξηθφο δάζθαινο γηα λα επηβιέςεη ηελ εθπαίδεπζε ηνπ ΝΓ. Σν ΝΓ, αληί λα εθπαηδεπηεί κε ζπγθεθξηκέλα παξαδείγκαηα (δεχγε) εηζφδνπ-εμφδνπ, εθπαηδεχεηαη κε έλα αλεμάξηεην-θαζεθφλησλ κέηξν ηεο πνηφηεηαο ηεο παξάζηαζεο. Οη πξνο επηινγή ειεχζεξεο παξάκεηξνη ηνπ δηθηχνπ πξνζαξκφδνληαη (επηιέγνληαη) έηζη ψζηε λα βειηηζηνπνηεζεί ην κέηξν απηφ. Πξαθηηθά, ην κφλν πνπ ρξεηάδεηαη έλα ΝΓ κε επηβιεπφκελεο κάζεζεο είλαη λα ζπληνληζζεί ζηηο ζηαηηζηηθέο νκαιφηεηεο ησλ δεδνκέλσλ εηζφδνπ θαη κεηά λα κπνξέζεη λα δεκηνπξγήζεη εζσηεξηθέο παξαζηάζεηο γηα ηελ θσδηθνπνίεζε ησλ ηδηνηήησλ (ραξαθηεξηζηηθψλ) εηζφδνπ θαη λα παξαγάγεη απηφκαηα λέεο θαηεγνξίεο (θιάζεηο). Η κε επηβιεπφκελε κάζεζε κπνξεί λα ζπλδπαζζεί κε ηελ επηβιεπφκελε κάζεζε ζε έλα πνιπεπίπεδν δίθηπν εκπξφζζηαο ηξνθνδφηεζεο εθπαηδεπφκελν κε ηνλ αιγφξηζκν αλάζηξνθεο δηάδνζεο, γηα λα επηηαρχλεη ηε δηαδηθαζία κάζεζεο. Ο αιγφξηζκνο ηεο φπηζζελ δηάδνζεο ζθάικαηνο, πνπ είλαη έλαο αιγφξηζκνο επηβιεπφκελεο κάζεζεο, πεξηιακβάλεη κηα «θάζε πξνο ηα εκπξφο» (forward - phase) θαηά ηελ νπνία ηα ζήκαηα εηζφδνπ δηαλχνπλ ην ΝΓ επίπεδν κε επίπεδν απφ ηελ είζνδν πξνο ηελ έμνδν παξάγνληαο ηειηθά κηα απφθξηζε, θαη κηα «θάζε πξνο - ηα πίζσ» (backward phase) θαηά ηελ νπνία ηα ζήκαηα ζθάικαηνο ( νη δηαθνξέο κεηαμχ ησλ πξαγκαηηθψλ θαη επηζπκεηψλ απνθξίζεσλ) δηαδίδνληαη αλάζηξνθα (απφ ηελ έμνδν πξνο ηελ είζνδν). Καηά ηε «θάζε πξνο - ηα πίζσ» νη ειεχζεξεο παξάκεηξνη ηνπ ΝΓ επηιέγνληαη (πξνζαξκφδνληαη) έηζη ψζηε λα ειαρηζηνπνηεζεί ην άζξνηζκα ησλ ηεηξαγψλσλ ησλ ζθαικάησλ. 32

33 Δληζρπηηθή κάζεζε ηνλ ηχπν απηφ κάζεζεο, ην ΝΓ ηξνθνδνηείηαη θαη πάιη κε δεηγκαηηθά πξφηππα εηζφδνπ αιιά δελ ηξνθνδνηείηαη κε ηηο επηζπκεηέο απνθξίζεηο ζε απηέο ηηο εηζφδνπο. Δδψ ρξεζηκνπνηείηαη έλα ζπλνιηθφ κέηξν ηεο επάξθεηαο ηεο πξνθχπηνπζαο απφθξηζεο (δείθηεο ζπκπεξηθνξάο) ην νπνίν κπνξεί λα νδεγήζεη ην δίθηπν ζηελ επηζπκεηή ζπκπεξηθνξά. Σν κέηξν απηφ είλαη γλσζηφ σο εληζρπηηθφ ζήκα (reinforcement signal) θαη αλαηξνθνδνηείηαη ζην ΝΓ έηζη ψζηε λα «επηβξαβεχζεη» (reward) ηηο νξζέο ζπκπεξηθνξέο θαη λα «ηηκσξήζεη» (penalize) ηηο ιαλζαζκέλεο ζπκπεξηθνξέο. Η εληζρπηηθή κάζεζε ζηεξίδεηαη ζην λφκν Thornlike ν νπνίνο εξκελεχεηαη σο εμήο: «Δάλ κηα ελέξγεηα ελφο ζπζηήκαηνο κάζεζεο αθνινπζείηαη απφ κηα ηθαλνπνηεηηθή θαηάζηαζε ή ζπκπεξηθνξά, ηφηε ε ηάζε ηνπ ζπζηήκαηνο απηνχ λα παξάγεη ηε ζπγθεθξηκέλε ελέξγεηα εληζρχεηαη (ελδπλακψλεηαη). Γηαθνξεηηθά, ε ηάζε ηνπ ζπζηήκαηνο λα παξάγεη ηελ ελέξγεηα απηή εμαζζελεί» Η εληζρπηηθή κάζεζε δηαθξίλεηαη ζε ζπζρεηηζηηθή θαη κε ζπζρεηηζηηθή εληζρπηηθή κάζεζε. ηελ πξψηε, ην πεξηβάιινλ ηξνθνδνηεί, πέξα απφ ην εληζρπηηθφ ζήκα, άιιεο κνξθέο πιεξνθνξίαο απφ ηηο νπνίεο ην ΝΓ πξέπεη λα κάζεη κηα απεηθφληζε κε ηε κνξθή κηαο ζπζρέηηζεο αηηίνπ - απνηειέζκαηνο (stimulus - action). ηε δεχηεξε, ε κνλαδηθή πιεξνθνξία (είζνδνο) πνπ δίλεηαη απφ ην πεξηβάιινλ είλαη ην εληζρπηηθφ ζήκα, ελψ ν πξννξηζκφο ηνπ ζπζηήκαηνο κάζεζεο είλαη κάιινλ λα επηιέμεη κηα κνλαδηθή βέιηηζηε ελέξγεηα παξά λα ζπζρεηίζεη δηάθνξεο ελέξγεηεο κε δηαθνξεηηθά εξεζίζκαηα (εηζφδνπο). πλνπηηθά, ε εληζρπηηθή κάζεζε ιεηηνπξγεί σο εμήο: Σν ΝΓ ππνινγίδεη ηηο εμφδνπο πνπ παξάγνληαη απφ ηελ ηξέρνπζα (παξνχζα) είζνδν κε ηηο παξνχζεο ηηκέο ησλ βαξψλ. Σν ζχζηεκα αμηνινγεί ηελ έμνδν θαη ην εληζρπηηθφ ζήκα ηξνθνδνηείηαη ζην δίθηπν. Σα βάξε αλαλεψλνληαη κε βάζε ην εληζρπηηθφ ζήκα απμάλνληαο ηηο ηηκέο ησλ βαξψλ πνπ ζπλέβαιαλ ζε θαιή ζπκπεξηθνξά ή κεηψλνληαο ηηο ηηκέο απηψλ πνπ πξνθάιεζαλ θαθή ζπκπεξηθνξά. ε φιεο ηηο πεξηπηψζεηο φηαλ ην δίθηπν ζηακαηάεη λα αιιάδεη ηηο ηηκέο ησλ βαξψλ, ηφηε ζεσξνχκε φηη ε εθπαίδεπζε έρεη επηηεπρζεί. Απηφ ζπκβαίλεη επεηδή ην ζθάικα ζηελ έμνδν γίλεηαη κεδέλ ή είλαη πνιχ θνληά (ηείλεη) ζην κεδέλ. ε νξηζκέλεο πεξηπηψζεηο φκσο ε εθπαίδεπζε ηνπ λεπξσληθνχ δηθηχνπ δελ είλαη δπλαηή. Απηφ πηζαλφλ ζπκβαίλεη επεηδή ηα δεδνκέλα εηζφδνπ δελ πεξηέρνπλ αθξηβή πιεξνθνξία 33

34 απφ ηελ νπνία πξνθχπηνπλ νη επηζπκεηνί ζηφρνη. Έλα δίθηπν επίζεο κπνξεί λα κε ζπγθιίλεη αλ δελ ππάξρνπλ αξθεηά δεδνκέλα πνπ λα επηηξέπνπλ ηελ πιήξε εθπαίδεπζε. Με ηε κάζεζε κε επίβιεςε ην δίθηπν πξέπεη λα εθπαηδεπηεί πξνηνχ ρξεζηκνπνηεζεί. Σα δεδνκέλα εθπαίδεπζεο πξέπεη λα είλαη αξθεηά γηα λα πεξηέρνπλ φιεο ηηο αλαγθαίεο πιεξνθνξίεο, ψζηε ην δίθηπν λα κπνξεί λα κάζεη ηα ραξαθηεξηζηηθά γλσξίζκαηα θαη ηηο ζρέζεηο πνπ είλαη ζεκαληηθά. Αθνχ εθπαηδεπηεί θαιά έλα δίθηπν κε ηα ζηνηρεία εθπαίδεπζεο, θαηφπηλ είλαη ζεκαληηθφ λα δνχκε ηη κπνξεί λα θάλεη κε ηα ζηνηρεία πνπ δελ έρεη δεη πξηλ. Δάλ έλα ζχζηεκα δελ δίλεη ηα ινγηθά απνηειέζκαηα γηα απηφ ην ζχλνιν δνθηκήο, ε πεξίνδνο εθπαίδεπζεο δελ ηειεηψλεη. Απηή ε δνθηκή είλαη θξίζηκε γηα λα εμαζθαιίζεη φηη ην δίθηπν δελ έρεη απνκλεκνλεχζεη απιά έλα δεδνκέλν ζχλνιν ζηνηρείσλ αιιά έρεη κάζεη ηα γεληθά πξφηππα πνπ πεξηιακβάλνληαη κέζα ζε κηα εθαξκνγή. Ο ζπλεζέζηεξνο ηξφπνο ρξήζεο ησλ δεδνκέλσλ εθπαίδεπζεο είλαη ζε θχθινπο εθπαίδεπζεο. ηε δηάξθεηα θάζε θχθινπ ην δίθηπν δέρεηαη σο είζνδν, έλα έλα, φια ηα δηαλχζκαηα εθπαίδεπζεο, αζξνίδεη ηε κεηαβνιή ζηελ ηηκή ησλ βαξψλ πνπ πξνθχπηεη απφ θάζε δηάλπζκα θαη αλαπξνζαξκφδεη ηα βάξε ζην ηέινο θάζε θχθινπ, ρξεζηκνπνηψληαο ηε ζπζζσξεπκέλε κεηαβνιή. ηελ πεξίπησζε απηή έρνπκε εθπαίδεπζε αλά νκάδα πξνηχπσλ εηζφδνπ (batch training). Δλαιιαθηηθά, ε πξνζαξκνγή ησλ βαξψλ κπνξεί λα γίλεηαη κεηά ηε ρξήζε ελφο απφ ηα δηαλχζκαηα εθπαίδεπζεο νπφηε κηιάκε γηα εθπαίδεπζε αλά πξφηππν εηζφδνπ (online training). Οη θχθινη εθπαίδεπζεο νλνκάδνληαη επνρέο (epochs), αλ θαη ν φξνο απηφο είλαη πεξηζζφηεξν ζπλδεδεκέλνο κε ηε κάζεζε δέζκεο, ε νπνία δίλεη γξεγνξφηεξα απνηειέζκαηα αιιά έρεη κεγαιχηεξεο απαηηήζεηο κλήκεο. 34

35 2.4 Σξόπνη λεπξσληθήο κάζεζεο Μάζεζε δηόξζσζεο ζθάικαηνο ηνλ ηχπν απηφ κάζεζεο ε απαηηνχκελε αλαλέσζε (αιιαγή, πξνζαξκνγή) ησλ ζπλαπηηθψλ βαξψλ ππνινγίδεηαη παξνπζηάδνληαο ζην ΝΓ δεδνκέλα πξφηππα (δηαλχζκαηα) εηζφδνπ, ζπγθξίλνληαο ηηο πξνθχπηνπζεο απνθξίζεηο κε ηηο a-priori επηζπκεηέο απνθξίζεηο θαη αθνινχζσο αιιάδνληαο ηα ζπλαπηηθά βάξε πξνο ηελ θαηεχζπλζε κείσζεο ηνπ ζθάικαηνο. Μάζεζε Hebb Η κάζεζε ηνπ ηχπνπ απηνχ βαζίδεηαη ζηελ νλνκαζηή ππφζεζε κάζεζεο ηνπ Hebb ζχκθσλα κε ηελ νπνία: «Όηαλ έλαο άμνλαο ελφο θπηηάξνπ Α είλαη αξθεηά θνληά ζην λα εξεζίζεη έλα θχηηαξν Β θαη επίκνλα ή επαλαιεπηηθά ζπκκεηέρεη ζηελ ππξνδφηεζε ηνπ, ηφηε ιακβάλεη ρψξα θάπνηα δηεξγαζία αλάπηπμεο (αχμεζεο) ή κεηαβνιηθψλ αιιαγψλ ζε έλα ή θαη ηα δχν θχηηαξα, έηζη ψζηε ε απνδνηηθφηεηα ηνπ Α σο θπηηάξνπ πνπ ππξνδνηεί ην Β λα απμάλεη». Η ππφζεζε απηή κπνξεί λα επαλαδηαηππσζεί ζε δχν κέξε σο εμήο: (α) Η δχλακε (βάξνο) κηαο ζχλαςεο ησλ λεπξψλσλ ηεο νπνίαο, ζε νπνηαδήπνηε πιεπξά ηεο, ελεξγνπνηνχληαη ζπγρξφλσο, απμάλεη επηιεθηηθά. (β) Η δχλακε (βάξνο) κηαο ζχλαςεο ησλ λεπξψλσλ ηεο νπνίαο, ζε νπνηαδήπνηε πιεπξά ηεο, ελεξγνπνηνχληαη αζχγρξνλα, κεηψλεηαη ή εμαιείθεηαη επηιεθηηθά. Μηα ηέηνηα ζχλαςε νλνκάδεηαη ζχλαςε ηχπνπ Hebb θαη απμάλεη ηε ζπλαπηηθή απνδνηηθφηεηα σο ζπλάξηεζε ηεο ζπζρέηηζεο αλάκεζα ζηηο πξνζπλαπηηθέο θαη κεηαζπλαπηηθέο δξαζηεξηφηεηεο. Σνχην γίλεηαη κε ηε ρξήζε ελφο ρξνληθά εμαξηψκελνπ, ηζρπξά ηνπηθνχ θαη ηζρπξά αιιειεπηδξψληνο κεραληζκνχ. 35

36 Καλόλαο ηνπ Hopfield Δίλαη παξφκνηνο κε ην θαλφλα κάζεζεο ηνπ Hebb κε εμαίξεζε φηη δηεπθξηλίδεη ην κέγεζνο ηεο ελίζρπζεο ή ηεο απνδπλάκσζεο. χκθσλα κε ηνλ θαλφλα απηφ εάλ ε επηζπκεηή έμνδνο θαη είζνδνο ηνπ λεπξψλα είλαη θαη νη δχν ελεξγέο ή θαη νη δχν αλελεξγέο, απμάλεηαη ην ζπλαπηηθφ βάξνο ζχκθσλα κε ην πνζνζηφ εθκάζεζεο, δηαθνξεηηθά κεηψλεηαη ην βάξνο ζχκθσλα κε ην πνζνζηφ εθκάζεζεο. Καλόλαο Γέιηα Ο θαλφλαο Γέιηα απνηειεί παξαιιαγή ηνπ θαλφλα Hebb. Απηφο ν θαλφλαο είλαη βαζηζκέλνο ζηελ ηδέα ηεο ζπλερνχο ηξνπνπνίεζεο ησλ βαξψλ ηνπ δηθηχνπ έηζη ψζηε λα κεησζεί ε δηαθνξά (ην δέιηα) κεηαμχ ηεο επηζπκεηήο εμφδνπ θαη ηεο πξαγκαηηθήο. Απηφο ν θαλφλαο αιιάδεη ηα ζπλαπηηθά βάξε κε ηξφπν ψζηε λα ειαρηζηνπνηεί ην κέζν ηεηξαγσληθφ ζθάικα ηνπ δηθηχνπ. Απηφο ν θαλφλαο είλαη επίζεο γλσζηφο σο θαλφλαο εθκάζεζεο Widrow-Hoff θαη ν αιγφξηζκνο πνπ ηνλ πινπνηεί νλνκάδεηαη θαη LMS. Καλόλαο εθκάζεζεο Kohonen Απηφο ν λφκνο, αλαπηχρηεθε απφ ηνλ Teuvo Kohonen, θαη είλαη εκπλεπζκέλνο απφ ηε κάζεζε ζηα βηνινγηθά ζπζηήκαηα. ε απηήλ ηελ δηαδηθαζία, ηα ζηνηρεία επεμεξγαζίαο ηνπ δηθηχνπ αληαγσλίδνληαη γηα λα κάζνπλ, ή λα ελεκεξψζνπλ ηα βάξε ηνπο. Σν ζηνηρείν επεμεξγαζίαο κε ηε κεγαιχηεξε έμνδν είλαη ν ληθεηήο θαη έρεη ηελ ηθαλφηεηα λα παξεκπνδίδεη ηνπο αληαγσληζηέο ηνπ θαζψο επίζεο θαη λα δηεγείξεη ηνπο γείηνλέο ηνπ. Μφλν ν ληθεηήο παξάγεη έμνδν θαη κφλν απηφο θαη νη γείηνλέο ηνπ επηηξέπεηαη γηα λα ξπζκίζνπλ ηα βάξε ζχλδεζήο ηνπο. 36

37 2.5 Ιδηόηεηεο ησλ ΣΝΓ Σα λεπξσληθά δίθηπα κε ηελ δπλαηφηεηα ηνπο λα εμάγνπλ έλλνηεο θαη απνηειέζκαηα απφ πεξίπινθα ή αλαθξηβή ζηνηρεία κπνξνχλ λα ρξεζηκνπνηεζνχλ γηα λα αλαγλσξίζνπλ πξφηππα θαη λα αληρλεχζνπλ ηάζεηο πνπ είλαη ζχλζεηεο γηα λα παξαηεξεζνχλ απφ άιια ππνινγηζηηθά ζπζηήκαηα. Σα Σερλεηά Νεπξσληθά Γίθηπα έρνπλ ηελ ηθαλφηεηα λα καζαίλνπλ κέζσ παξαδεηγκάησλ. Αλ θαη δελ είλαη ηα κφλα ζπζηήκαηα κε απηήλ ηελ δπλαηφηεηα κάζεζεο εληνχηνηο δηαθξίλνληαη γηα ηελ ηθαλφηεηά ηνπο λα νξγαλψλνπλ ηελ πιεξνθνξία ησλ δεδνκέλσλ εηζφδνπ ζε ρξήζηκεο κνξθέο. Απηέο νη κνξθέο απνηεινχλ ζηελ νπζία έλα κνληέιν πνπ αλαπαξηζηά ηε ζρέζε πνπ ηζρχεη κεηαμχ ησλ δεδνκέλσλ εηζφδνπ θαη εμφδνπ. Δπίζεο κπνξνχλ λα ζεσξεζνχλ σο θαηαλεκεκέλε κλήκε θαη σο κλήκε ζπζρέηηζεο. Ο ραξαθηεξηζκφο ηνπο σο θαηαλεκεκέλε κλήκε πεγάδεη απφ ην φηη ε θσδηθνπνίεζε πνπ δεκηνπξγνχλ είλαη θαηαλεκεκέλε ζε φια ηα βάξε ηεο ζπλδεζκνινγίαο ηνπο. Γηα ηνλ ίδην ιφγν ηα Σερλεηά Νεπξσληθά Γίθηπα ραξαθηεξίδνληαη θαη σο κλήκεο ζπζρέηηζεο. Μηα κλήκε ζπζρέηηζεο δελ απνζεθεχεη πιεξνθνξία κε ηνλ παξαδνζηαθφ ηξφπν αιιά κέζσ θαηάιιεισλ ζπζρεηίζεσλ πνπ δεκηνπξγεί απφ ηα δεδνκέλα εθπαίδεπζεο. Η αλάθιεζε ηεο πιεξνθνξίαο γίλεηαη κε βάζε ην πεξηερφκελν θαη φρη ηε δηεχζπλζε, φπσο δειαδή ζπκβαίλεη θαη κε ηνλ αλζξψπηλν εγθέθαιν. Η παξαπάλσ νξγάλσζε θάλεη νξηζκέλα είδε λεπξσληθψλ δηθηχσλ λα είλαη πνιχ αλεθηηθά ζε κηθξέο αιιαγέο ζηα ζήκαηα εηζφδνπ, δειαδή είλαη ζε ζέζε λα παξάγνπλ ηε ζσζηή έμνδν αθφκε θη αλ ηα δεδνκέλα εηζφδνπ είλαη ιίγν δηαθνξεηηθά ή ειιηπή, γηα παξάδεηγκα ιφγσ ζνξχβνπ. Οη ππνινγηζκνί ελφο λεπξσληθνχ δηθηχνπ κπνξνχλ λα εθηειεζηνχλ παξάιιεια, ελψ ζπγρξφλσο παξνπζηάδνπλ αλνρή ζηελ δηαζηξέβισζε εηθφλσλ-πξνηχπσλ. Δπίζεο έρνπλ δπλαηφηεηα γελίθεπζεο. Σα Σερλεηά Νεπξσληθά Γίθηπα φπσο θαη ηα βηνινγηθά έρνπλ κεγάιε αλνρή ζε δνκηθά ζθάικαηα. Απηφ ζεκαίλεη φηη ε θαθή ιεηηνπξγία ή ε θαηαζηξνθή ελφο λεπξψλα ή θάπνησλ ζπλδέζκσλ δελ είλαη ηθαλή λα δηαηαξάμεη ζεκαληηθά ηε ιεηηνπξγία ηνπο, θαζψο ε πιεξνθνξία πνπ εζσθιείνπλ δελ είλαη εληνπηζκέλε ζε ζπγθεθξηκέλν ζεκείν αιιά δηάρπηε ζε φιν ην δίθηπν. Γεληθά, ην κέγεζνο ηνπ ζθάικαηνο ιφγσ δνκηθψλ 37

38 ιαζψλ είλαη αλάινγν ηνπ πνζνζηνχ ησλ θαηεζηξακκέλσλ ζπλδέζεσλ. Απφ ηε ζηηγκή πνπ έλα Σερλεηφ Νεπξσληθφ Γίθηπν εθπαηδεπηεί ζην λα αλαγλσξίδεη ζπλζήθεο θαη θαηαζηάζεηο, απαηηείηαη έλαο κφλν θχθινο ιεηηνπξγίαο ηνπο γηα λα πξνζδηνξίζνπλ κηα ζπγθεθξηκέλε θαηάζηαζε. Σν κεηνλέθηεκα ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ είλαη φηη ε ρξήζε ηνπο δελ ελδείθλπηαη ζε πεξηπηψζεηο, ζηηο νπνίεο ππάξρνπλ απνδνηηθέο καζεκαηηθέο ή αιγνξηζκηθέο κέζνδνη επίιπζεο, κηαο θαη ν ρξφλνο πνπ απαηηείηαη γηα ην ζρεδηαζκφ θαη ηελ εθπαίδεπζε ελφο ΣΝ είλαη πηζαλά απμεκέλνο. Δπίζεο, ππάξρεη δπζθνιία εμήγεζεο ηεο αηηίαο γηα ηελ νπνία ην ΣΝ θηάλεη ζε κία ζπγθεθξηκέλε ιχζε θαη φρη ζε θάπνηα άιιε. 2.6 Γηαθνξέο ησλ Σερλεηώλ Νεπξσληθώλ Γηθηύσλ θαη ησλ Τπνινγηζηώλ Η αξρηηεθηνληθή ησλ λεπξσληθψλ δηθηχσλ είλαη πνιχ δηαθνξεηηθή απφ απηήλ ησλ παξαδνζηαθψλ ππνινγηζηψλ πνπ πεξηέρνπλ έλαλ επεμεξγαζηή. Οη γλσζηνί ππνινγηζηέο δνπιεχνπλ ζεηξηαθά, ζχκθσλα κε ηηο πξψηεο ηδέεο ηνπ von Neumann 1 [6], θαη έρνπλ ηελ ηθαλφηεηα λα επηηεινχλ κεξηθέο εθαηνληάδεο εληνιψλ πνπ είλαη πνιχ γλσζηέο, φπσο είλαη νη αξηζκεηηθέο πξάμεηο θηι. ηελ δηαδηθαζία εθηέιεζεο ησλ εληνιψλ αθνινπζνχλ πηζηά έλα εζσηεξηθφ ξνιφη[7]. 1 Η von Neumann αξρηηεθηνληθή ππνινγηζηψλ πξνηάζεθε απφ ηνλ John von Neumann, ν νπνίνο ήηαλ ν πξψηνο πνπ θαηέγξαςε ηηο απαηηήζεηο ζηελ δνκή ελφο ειεθηξνληθνχ ππνινγηζηή. Πξφθεηηαη γηα ηελ βαζηθή αξρηηεθηνληθή δνκή ησλ ππνινγηζηψλ πνπ ρξεζηκνπνηνχκε ζήκεξα θαη ε νπνία ζπλίζηαηαη απφ 4 βαζηθά κέξε. Σελ κνλάδα αξηζκεηηθήο ινγηθήο θαη ειέγρνπ, ηελ κλήκε θαη ηηο κνλάδεο εηζφδνπεμφδνπ. Οη ηθαλφηεηεο ελφο ζπζηήκαηνο πνπ αθνινπζεί απηή ηελ αξρηηεθηνληθή πεξηνξίδνληαη ζηελ απνζήθεπζε ησλ δεδνκέλσλ θαη ησλ απνηειεζκάησλ πνπ πξνθχπηνπλ κεηά απφ ππνινγηζκνχο θαη ηελ απνζήθεπζε νδεγηψλ θαη εληνιψλ γηα ηελ εθηέιεζε ησλ ππνινγηζκψλ. 38

39 Απφ ηε θχζε ηνπο ηα λεπξσληθά δίθηπα δελ ιεηηνπξγνχλ ζεηξηαθά, αιιά κε ηξφπν πνπ κνηάδεη πην πνιχ ζε παξάιιειν ηξφπν ιεηηνπξγίαο, δηφηη κία εξγαζία κνηξάδεηαη ζηα δηάθνξα ηκήκαηα ηνπ δηθηχνπ, κνηξάδεηαη ζε φινπο ηνπο επί κέξνπο λεπξψλεο [4]. Έηζη ιέκε φηη ηα λεπξσληθά δίθηπα είλαη ζπζηήκαηα «παξάιιεισλ θαηαλεκεκέλσλ δηεξγαζηψλ» («parallel distributed processing»). Απηφ καο παξέρεη κεγάιεο ηαρχηεηεο, δηφηη είλαη ζαλ λα έρνπκε ηαπηφρξνλα πνιινχο επεμεξγαζηέο ζηε δηάζεζή καο. Η αξρηηεθηνληθή ησλ λεπξσληθψλ δηθηχσλ δηαθέξεη απφ απηήλ ησλ παξαιιήισλ επεμεξγαζηψλ, γηα ην ιφγν φηη νη απινί επεμεξγαζηέο ησλ λεπξσληθψλ δηθηχσλ (δει. νη λεπξψλεο) έρνπλ κεγάιν αξηζκφ δηαζπλδέζεσλ, ν νπνίνο ζπλνιηθά είλαη πνιχ κεγαιχηεξνο απφ ηνλ αξηζκφ ησλ λεπξψλσλ. Καη απηφ βέβαηα γηαηί θάζε λεπξψλαο έρεη πνιιέο ζπλδέζεηο. Αληίζεηα, ζηνπο παξάιιεινπο ππνινγηζηέο, νη επεμεξγαζηέο είλαη ζπλήζσο πεξηζζφηεξνη απφ ηηο δηαζπλδέζεηο κεηαμχ ηνπο θαη σο πξνο ηελ πνιππινθφηεηα ηνπο αθνινπζνχλ ηελ κεραλή von Neumann [6]. Σα λεπξσληθά δίθηπα δηαθέξνπλ απφ απηφ, δηφηη νη κνλάδεο ηνπο είλαη πνιχ πην απιέο θαη επηηεινχλ πνιχ απινχζηεξεο ιεηηνπξγίεο, δει. μέξνπλ κφλν λα αζξνίδνπλ ηα ζήκαηα εηζφδνπ θαη λα ηξνπνπνηνχλ ηα βάξε ησλ δηαζπλδέζεσλ. Δπίζεο, νη λεπξψλεο ιεηηνπξγνχλ αλεμάξηεηα ν έλαο απφ ηνλ άιιν θαη δελ ρξεηάδνληαη ζπγρξνληζκφ. Απηφ δίλεη ζηα λεπξσληθά δίθηπα ηελ επξσζηία θαη αλνρή ζε ζθάικαηα. Ο Πίλαθαο 2.2 πξνζδηνξίδεη ηηο βαζηθέο δηαθνξέο κεηαμχ απηψλ ησλ δχν πξνζεγγίζεσλ ππνινγηζκνχ. Οη πιεξνθνξίεο πνπ απνζεθεχνληαη ζε έλα λεπξσληθφ δίθηπν κνηξάδνληαη ζε έλα κεγάιν αξηζκφ κνλάδσλ, δει. ζε πνιινχο λεπξψλεο. Αληίζεηα, φηαλ απνζεθεχνπκε ζηνηρεία ζηελ κλήκε ηνπ ππνινγηζηή, θάζε πιεξνθνξία ζε δπαδηθή κνξθή ηνπνζεηείηαη ζε κηα ζπγθεθξηκέλε ηνπνζεζία. 39

40 Πίλαθαο 2.2: Γηαθνξέο ησλ ΣΝΓ κε ηηο άιιεο ππνινγηζηηθέο ηερληθέο 2.7 Δθαξκνγέο ησλ Σερλεηώλ Νεπξσληθώλ Γηθηύσλ Σα ηερλεηά λεπξσληθά δίθηπα έρνπλ πξνζθέξεη ηθαλνπνηεηηθέο ιχζεηο ζε πνιιά πξνβιήκαηα απφ φια ηα επηζηεκνληθά πεδία. Μεξηθέο απφ ηηο εθαξκνγέο ηνπ είλαη: Δπεμεξγαζία πνιπκεζηθώλ δεδνκέλσλ: Αλάιπζε, θαηάηκεζε θαη ζπκπίεζε εηθφλσλ θαη video, πξφβιεςε θίλεζεο, αλίρλεπζε ηξνρηάο αληηθεηκέλσλ, αλαγλψξηζε γεγνλφησλ ζε video. Αλαγλώξηζε πξνηύπσλ: Αλαγλψξηζε θσλήο, πξνζψπσλ, αλαγλψξηζε ραξαθηήξσλ ρεηξνγξάθνπ. Οηθνλνκία, Δπηρεηξεζηαθή έξεπλα: Μνληεινπνίεζε θαη πξφβιεςε ρξνλνζεηξψλ ζρεηηδφκελσλ κε ηηκέο κεηνρψλ θαη νηθνλνκηθψλ δεηθηψλ. 40

41 Γηαρείξηζε γλώζεο: Σαμηλφκεζε θεηκέλσλ κε βάζε ην πεξηερφκελν, απηφκαηε νκαδνπνίεζε ηζηνζειίδσλ, αλίρλεπζε spam κελπκάησλ. Ιαηξηθή: Αλάιπζε ειεθξνθαξδηνγξαθήκαηνο θαη άιισλ βηνινγηθψλ ζεκάησλ, επεμεξγαζία θαη θαηάηκεζε ηαηξηθψλ εηθφλσλ (π.ρ. εηθφλσλ MRI,καζηνγξαθηψλ). Βηνπιεξνθνξηθή: πζηήκαηα δηάγλσζεο ηνπ θαξθίλνπ κε βάζε εμεηάζεηο DNA (εηθφλεο απφ κηθξνζπζηνηρίεο DNA). Ακπληηθή ηερλνινγία: Έρεη αλαπηπρζεί πιεζψξα εθαξκνγψλ βαζηζκέλσλ ζηα ηερλεηά λεπξσληθά δίθηπα γηα π.ρ. παξαθνινχζεζε ηξνρηάο θηλνχκελνπ ζηφρνπ απφ πχξαπιν. ηελ πεξίπησζε απηή γίλεηαη θαη αμηνπνίεζε ηνπ γεγνλφηνο φηη έλα ΣΝΓ απνθαζίδεη ζε πξαγκαηηθφ ρξφλν (real time) θαη ε απφθαζε ηνπ κπνξεί λα πινπνηεζεί απεπζείαο ζε ελζσκαησκέλν chip. Ρνκπνηηθή θαη δηαζηεκηθή ηερλνινγία: Σα απηφλνκα ξνκπνηηθά ζπζηήκαηα πνπ κειεηνχλ ηνπο αλεμάξηεηνπο πιαλήηεο εκπεξηέρνπλ πνιιά ζπζηήκαηα ΣΝΓ γηα δηάθνξεο ιεηηνπξγίεο. Οπηηθή παξαθνινύζεζε ζε γξακκέο παξαγσγήο: Αλίρλεπζε θαη απφξξηςε ειαηησκαηηθψλ αληηθεηκέλσλ ζηηο γξακκέο παξαγσγήο. Μεηεσξνινγία: Μνληέια πξφβιεςεο ηεο θίλεζεο ησλ αέξησλ καδψλ. 2.8 Ιζηνξηθή Αλαδξνκή Η ηζηνξία ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ μεθίλεζε ζε δηεζλέο επίπεδν κφιηο θαηά ηηο ηειεπηαίεο δεθαεηίεο, αιιά ε κεγάιε ψζεζε ζ απηά δφζεθε κεηά ην απηφ βνήζεζε ηφζν ε ηεξάζηηα αλάπηπμε ηνπ πιηθνχ/ινγηζκηθνχ ησλ Η/Τ, φζν θαη ε αλάπηπμε λέσλ αιγνξίζκσλ εθπαίδεπζεο. Η αλάπηπμε ησλ λεπξσληθψλ δηθηχσλ πέξαζε απφ πνιιέο θάζεηο θαη εμειίμεηο. Σν 1943 παξνπζηάζζεθε απφ ηνπο McCulloch θαη Pitts [15] ην πξψην κνληέιν λεπξσληθνχ δηθηχνπ. Ο McCulloch ήηαλ λεπξνθπζηνιφγνο θαη ν Pitts έλαο 18ρξνλνο πξσηνεηήο θνηηεηήο ησλ Μαζεκαηηθψλ. ηελ εξγαζία ηνπο ζεψξεζαλ φηη έλα λεπξσληθφ δίθηπν απνηειείηαη απφ κία ζπιινγή ελφο κεγάινπ αξηζκνχ λεπξψλσλ θαη 41

42 έδεημαλ πψο ζα κπνξνχζαλ λα ιεηηνπξγνχλ νη λεπξψλεο κε ηηο δηαζπλδέζεηο ηνπο. Σν 1947 νη ίδηνη πξνρψξεζαλ ζε έλα άιιν πξφηππν θαη ζεψξεζαλ φηη ν λεπξψλαο κπνξεί λα έρεη δχν κφλν θαηαζηάζεηο. Μπνξεί λα δέρεηαη πνιιέο εηζφδνπο αιιά δίλεη κία κφλν έμνδν. Οη έμνδνη απφ δηαθνξεηηθνχο λεπξψλεο δελ επηηξέπεηαη λα ελψλνληαη, αιιά πξέπεη ππνρξεσηηθά λα νδεγνχλ ζε είζνδν άιινπ λεπξψλα. Οη απνιήμεηο ησλ λεπξψλσλ είλαη δχν εηδψλ: δηεγεξηηθέο θαη αλαζηαιηηθέο. Σν 1949, ν D.Hebb [14] ππνζηήξημε φηη ε ζπκπεξηθνξά ησλ αλζξψπσλ κπνξεί λα εμεγεζεί απφ ηε ζπκπεξηθνξά ησλ λεπξψλσλ. Ο θαλφλαο ηνπ Hebb ιέεη φηη θάζε θνξά πνπ ην δίθηπν ρξεζηκνπνηεί ηηο λεπξσληθέο ηνπ ζπλδέζεηο, νη ζπλδέζεηο απηέο εληζρχνληαη θαη ην δίθηπν πιεζηάδεη πεξηζζφηεξν ζην λα κάζεη ην πξφηππν ην νπνίν παξνπζηάδεηαη. ηε ζπλέρεηα, ην 1957 παξνπζηάζζεθε γηα πξψηε θνξά ην κνληέιν ηνπ perceptron. Σν perceptron είλαη έλα απιφ κνληέιν πνπ έρεη κφλν δχν επίπεδα, απηά ηεο εηζφδνπ θαη ηεο εμφδνπ. Σν ζήκα πξνρσξά κνλνδξνκηθά απφ ηελ είζνδν ζηελ έμνδν. Μηα ζπλνιηθή θαη εκπεξηζηαησκέλε εηθφλα ηνπ πξνηχπνπ απηνχ παξνπζηάζζεθε ην 1969 ζην βηβιίν «Perceptrons» ησλ Minsky θαη Papert. Σελ ίδηα πεξίπνπ επνρή κε ηελ αλάπηπμε ηνπ κνληέινπ ηνπ perceptron νη Widrow θαη Hoff αλέπηπμαλ ην 1959 δχν λέα κνληέια, ην Adaline θαη ην Madaline, ηα νπνία φπσο είδακε λσξίηεξα ήηαλ απφ ηα πξψηα κνληέια πνπ ρξεζηκνπνηήζεθαλ επηηπρψο γηα πξαθηηθά πξνβιήκαηα: Υξεζηκνπνηήζεθαλ σο θίιηξα γηα λα εμαιείςνπλ ηελ ερψ ζε ηειεθσληθέο γξακκέο Σα δίθηπα Perceptron ρξεζηκνπνηήζεθαλ κε επηηπρία ζε αξθεηέο εθαξκνγέο ηαμηλφκεζεο, φκσο ζεσξεηηθέο θαη πεηξακαηηθέο έξεπλεο θαηέιεμαλ ζην ζπκπέξαζκα φηη παξνπζηάδνπλ ζεκαληηθά πξνβιήκαηα, ζε πεξηπηψζεηο φπνπ νη θιάζεηο δελ είλαη γξακκηθά δηαρσξίζηκεο. Σνπο πεξηνξηζκνχο απηνχο γλψξηδαλ ν Rosanblatt θαη ν Widrow θαη γηα ην ιφγν απηφ πξφηεηλαλ λέα πην πνιχπινθα πνιπζηξσκαηηθά δίθηπα. Σν 1969, ν Minsky θαη ν Papert [16] πξνθάιεζαλ κείσζε ηνπ εξεπλεηηθνχ ελδηαθέξνληνο γηα ην perceptron, ππνζηεξίδνληαο φηη νη πην ελδηαθέξνπζεο επηζπκεηέο απεηθνλίζεηο ήηαλ αδχλαην λα πινπνηεζνχλ απφ απηφ. ηηο δεθαεηίεο, ηα κεηνλεθηήκαηα ηνπ perceptron μεπεξάζηεθαλ κε ηελ εηζαγσγή ησλ πνιπζηξσκαηηθψλ δηθηχσλ πξφζζηαο ηξνθνδφηεζεο ( multilayer perceptron) θαη αληίζηνηρσλ αιγνξίζκσλ εθπαίδεπζεο. Υαξαθηεξηζηηθφ απηήο ηεο επνρήο είλαη ε ππεξεθηίκεζε ησλ δπλαηνηήησλ ησλ Σερλεθψλ Νεπξσληθψλ Γηθηχσλ. 42

43 Σν ζεκαληηθφηεξν επίηεπγκα είλαη ν αιγφξηζκνο φπηζζελ δηάδνζεο ζθάικαηνο (backpropagation) γηα ηελ εθπαίδεπζε ηνπ πνιπεπίπεδνπ perceptron(1985). Σν 1972 ν Teuvo Kohonen θαη ν James Anderson [17] αλεμάξηεηα ν έλαο απφ ηνλ άιιν αλέπηπμαλ έλα θαηλνχξγην ηχπν λεπξσληθψλ δηθηχσλ, ηα νπνία κπνξνχζαλ λα ζπκπεξηθέξνληαη ζαλ κλήκεο. Σελ ίδηα ρξνληθή πεξίνδν ν Stephen Grossberg αλέπηπμε κε γξακκηθά ζπλερνχο ρξφλνπ ζπζρεηηδφκελα δίθηπα. Κιεηδί ζηελ αλάπηπμε ησλ λεπξσληθψλ δηθηχσλ ππήξμε ε αλαθάιπςε ηνπ αιγνξίζκνπ ηεο φπηζζελ δηάδνζεο ζθάικαηνο (Backpropagation) γηα ηελ εθπαίδεπζε πνιπζηξσκαηηθψλ δηθηχσλ Perceptron. Η πξψηε πεξηγξαθή ελφο αιγνξίζκνπ γηα ηελ εθπαίδεπζε πνιπζηξσκαηηθψλ δηθηχσλ έγηλε απφ ηνλ Paul Werbos ην Η ζέζε ηνπ φκσο δελ αλαγλσξίζηεθε απφ ηελ θνηλφηεηα πνπ αζρνινχηαλ κε ηα λεπξσληθά δίθηπα. Έηζη είρακε ηελ επάλνδν ηεο αλαθάιπςεο ηνπ αιγνξίζκνπ Backpropagation ζηα κέζα ηνπ 1980 απφ πνιινχο εξεπλεηέο αλεμάξηεηα, ηνπο David Rumelhart, Geoffrey Hinton, Ronald Willliams, David Parker θαη Yann Le Cun. Η εξγαζία πνπ επεξέαζε πεξηζζφηεξν ήηαλ απηή ησλ David Rumelhart θαη James McClelland. Ο αιγφξηζκνο απηφο ήηαλ απάληεζε ζηηο θξηηηθέο ησλ Minsky θαη Papert θαη άλνημε λένπο δξφκνπο ζηελ έξεπλα ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ. Απφ ην 1985 θαη κεηά αξρίδνπλ ηα πξψηα ζπλέδξηα πνπ είλαη αθηεξσκέλα απνθιεηζηηθά ζε λεπξσληθά δίθηπα, απφ ηελ American Physical Society θαη απφ ηελ ΙΔΔΔ. Παξαθνινπζνχληαη απφ πεξηζζφηεξνπο απφ ρίιηνπο ζπλέδξνπο. Σαπηφρξνλα δεκηνπξγνχληαη εηδηθέο επαγγεικαηηθέο εηαηξίεο λεπξσληθψλ δηθηχσλ κε ρηιηάδεο κέιε, φπσο ε International Neural Network Society κε ηξεηο πφινπο: Ακεξηθή (κε δηεπζπληή ηνλ Grossberg), Δπξψπε (Kohonen) θαη Ιαπσλία (Amari). Πξνο ηα ηέιε ηεο δεθαεηίαο ηνπ νγδφληα παξνπζηάδνληαη ηνπιάρηζηνλ πέληε λέα πεξηνδηθά αθηεξσκέλα απνθιεηζηηθά ζηα λεπξσληθά δίθηπα, ελψ πξηλ ιίγα ρξφληα δελ ππήξρε νχηε έλα. Σα ηειεπηαία ρξφληα κεηά ην 1990 εθδίδνληαη θαη άιια 3-4 λέα, κε ζπλέπεηα λα ππάξρνπλ ζήκεξα πεξίπνπ 10 επηζηεκνληθά πεξηνδηθά αθηεξσκέλα ζηα λεπξσληθά δίθηπα. Αλ θαη είλαη δχζθνιν λα πξνβιέςνπκε ην κέιινλ ηεο επηηπρίαο ησλ λεπξσληθψλ δηθηχσλ, ν κεγάινο αξηζκφο θαη ε πνηθηιία ησλ εθαξκνγψλ απηήο ηεο λέαο ηερλνινγίαο δίλεη πνιιέο ππνζρέζεηο. 43

44 Κεθάιαην 3 Perceptron Η αξρηηεθηνληθή θαη ν ηχπνο ησλ λεπξψλσλ (π.ρ. είδνο ζπλάξηεζεο ελεξγνπνίεζεο πνπ ρξεζηκνπνηνχλ ) θαζνξίδνληαη θάζε θνξά απφ ηνλ ηχπν ηνπ πξνβιήκαηνο κάζεζεο πνπ ζέινπκε λα αληηκεησπίζνπκε. Η πην απιή αξρηηεθηνληθή είλαη ην κνληέιν ηνπ perceptron. Δθεπξέζεθε ην 1957 απφ ηνλ Frank Rosenblatt. Μπνξεί λα ραξαθηεξηζηεί σο έλα απιφ είδνο ελφο εκπξφο ηξνθνδνηνχκελνπ (feed-forward) λεπξσληθνχ δηθηχνπ: έλαο γξακκηθφο ηαμηλνκεηήο (linear classifier). ήκεξα, ππάξρνπλ πνιιέο παξαιιαγέο λεπξσληθψλ δηθηχσλ πνπ βαζίδνληαη ζην Perceptron θαη έρνπλ δηαθνξεηηθέο δνκέο, άιιεο απιέο θαη άιιεο πην πεξίπινθεο. O Perceptron ρξεζηκνπνηεί ηδηνδηαλχζκαηα πίλαθα γηα λα αλαπαξαζηήζεη εκπξφο ηξνθνδνηνχκελα λεπξσληθά δίθηπα θαη είλαη ηξίηνπ βαζκνχ ηαμηλνκεηήο, ν νπνίνο απεηθνλίδεη ηελ είζνδφ x (έλα δπαδηθφ δηάλπζκα) ζε κία ηηκή εμφδνπ f(x) (κία θαη κνλαδηθή δπαδηθή ηηκή). [11] Έλα κνλνζηξσκαηηθφ δίθηπν Perceptron απνηειείηαη απφ έλαλ ή πεξηζζφηεξνπο λεπξψλεο εηζφδνπ ν θαζέλαο απφ ηνπο νπνίνπο ζπλδέεηαη κε έλαλ παξάγνληα βάξνπο w i γηα φιεο ηηο εηζφδνπο i. Σν γεληθφ δίθηπν Perceptron θαίλεηαη ζην ρήκα

45 ρήκα 3.1: Γίθηπν Perceptron Η έμνδνο ηνπ δηθηχνπ δίλεηαη απφ ηε ζρέζε: y = f(w p + b) Σν δίθηπν απνηειείηαη απφ ηα εμήο ζηνηρεία : ηνλ πίλαθα βαξψλ ηνπ δηθηχνπ w = w 1,1 w 1,2. w 1,R w s,1 w s,2 w s,r ην δηάλπζκα ησλ εηζφδσλ p = p 1 p 2.. p R θαη ηε ζπλάξηεζε κεηαθνξάο f s = 1, αν s > 0 0, αλλιώς Αλ ην εζσηεξηθφ γηλφκελν κηαο γξακκήο ηνπ πίλαθα βαξψλ κε δηάλπζκα εηζφδνπ είλαη κεγαιχηεξν ή ίζν κε ην b, ηφηε ε έμνδνο ηνπ δηθηχνπ ζα είλαη ίζε κε 1, αιιηψο ε έμνδνο ζα είλαη 0. Με ηνλ ηξφπν απηφ θάζε λεπξψλαο ηνπ δηθηχνπ ρσξίδεη ηα δεδνκέλα εηζφδνπ ζε δχν θαηεγνξίεο. 45

46 ηελ πην απιή πεξίπησζε ην δίθηπν απνηειείηαη απφ δχν κφλν εηζφδνπο θαη κηα κνλαδηθή έμνδν, επνκέλσο απφ έλα κφλν λεπξψλα. Η είζνδνο ηνπ λεπξψλα είλαη ην βεβαξπκκέλν άζξνηζκα ησλ εηζφδσλ ζπλ ηελ πφισζε. Η έμνδνο ηνπ δηθηχνπ δηακνξθψλεηαη απφ ηελ ελεξγνπνίεζε ηνπ λεπξψλα εμφδνπ θαη ε εμίζσζε δίλεηαη απφ ηε ζρέζε y = f( w i p i + b) Σν δίθηπν απηφ θαίλεηαη ζην ζρήκα 3.2. ρήκα 3.2: Έλα απιφ δίθηπν Perceptron. Η έμνδνο ηνπ δηθηχνπ ζα είλαη ίζε κε 1 ή 0 αλάινγα κε ηελ είζνδν. Σν δίθηπν κπνξεί λα ρξεζηκνπνηεζεί γηα θαηεγνξηνπνίεζε ησλ εηζφδσλ ζε δχν θαηεγνξίεο. Ο δηαρσξηζκφο κεηαμχ ησλ δχν θιάζεσλ ζηελ πεξίπησζε απηή είλαη κηα επζεία γξακκή ή νπνία δίλεηαη απφ ηηο ηηκέο ηεο εηζφδνπ γηα ηηο νπνίεο ε είζνδνο ηνπ δηθηχνπ λ είλαη ίζε κε 0. Γειαδή, n = w 1 p 1 + w 2 p 2 + b Σν δίθηπν απηφ ρξεζηκνπνηείηαη γηα ηε ιχζε γξακκηθά δηαρσξίζηκσλ πξνβιεκάησλ. Αλ δψζνπκε ηπραία ηηκέο ζηα βάξε θαη ηελ πφισζε ηνπ δηθηχνπ, έζησ w 1 = 1, w 2 = 2 θαη b = 1, ηφηε ε δηαρσξηζηηθή γξακκή ζα είλαη 46

47 n = p 1+ p 2 1 = 0 Η εμίζσζε απηή θαζνξίδεη κηα επζεία γξακκή. ηε κία πιεπξά ηεο γξακκήο ε έμνδνο ηνπ δηθηχνπ ζα είλαη ίζε κε 1, ελψ ζηελ άιιε πιεπξά ζα είλαη ίζε κε 0. Γηα λα ζρεδηάζνπκε ηελ επζεία αξθεί λα βξνχκε δχν ζεκεία απηήο. Σα ζεκεία απηά κπνξεί είλαη ε ηνκή ηεο επζείαο κε ηνπο άμνλεο x θαη y, δειαδή ηα ζεκεία πνπ βξίζθνπκε αλ ζέζνπκε ηηο εηζφδνπο p 1 και p 2 ίζεο κε 0. Σφηε ζα έρνπκε γηα Καη γηα p 1 = 0, p 2 = b w 2 = ( 1 1 ) = 1 p 2 = 0, p 1 = b w 1 = ( 1 1 ) = 1 Η επζεία πνπ πξνθχπηεη θαίλεηαη ζην ρήκα 3.3. ρήκα 3.3: Γηαρσξηζηηθή γξακκή γηα έλα δίθηπν Perceptron δχν εηζφδσλ. Γηα λα βξνχκε ζε πνηα πιεπξά ηεο επζείαο ε έμνδνο ηνπ δηθηχνπ είλαη ίζε κε 1, αξθεί λα δνθηκάζνπκε έλα ηπραίν ζεκείν. Γηα p = [ 2 0 ] ε έμνδνο ηνπ δηθηχνπ ζα είλαη 47

48 y = f wp + b = f T 1 = 1 Δπνκέλσο γηα φιεο ηηο εηζφδνπο πνπ αληηζηνηρνχλ ζηα ζεκεία δεμηά ηεο επζείαο, ε έμνδνο ηνπ δηθηχνπ ζα είλαη ίζε κε 1. Παξαηεξνχκε φηη ην δηάλπζκα ησλ βαξψλ είλαη πάληα θάζεην ζηε δηαρσξηζηηθή γξακκή. Γηα φια ηα ζεκεία ηεο δηαρσξηζηηθήο γξακκήο ην εζσηεξηθφ γηλφκελν ηνπ δηαλχζκαηνο ησλ εηζφδσλ κε ην δηάλπζκα ησλ βαξψλ είλαη ην ίδην. Απηφ πξνυπνζέηεη φηη απηά ηα δηαλχζκαηα εηζφδσλ ζα έρνπλ ηελ ίδηα πξνβνιή ζην δηάλπζκα ησλ βαξψλ θη έηζη ζα πξέπεη λα βξίζθνληαη ζε κηα γξακκή νξζνγψληα ζην δηάλπζκα βαξψλ. Δπνκέλσο ην δηάλπζκα ησλ βαξψλ ζα δείρλεη πάληα πξνο ηελ πεξηνρή φπνπ ε έμνδνο ηνπ λεπξψλα είλαη ίζε κε 1. Γηα δίθηπα Perceptron κε πνιιαπινχο λεπξψλεο ζα ππάξρεη κηα δηαρσξηζηηθή γξακκή γηα θάζε λεπξψλα. Έλα δίθηπν κε έλα λεπξψλα θαηεγνξηνπνηεί ηηο εηζφδνπο ζε δχν θαηεγνξίεο θαζψο ε έμνδνο πνπ παξάγεη ην δίθηπν είλαη είηε 0 ή 1. Έλα Perceptron κε πνιινχο λεπξψλεο κπνξεί λα ηαμηλνκήζεη ηα δηαλχζκαηα εηζφδνπ ζε πνιιέο θαηεγνξίεο. Κάζε θαηεγνξία αλαπαξίζηαηαη απφ έλα δηαθνξεηηθφ δηάλπζκα εμφδνπ. Αθνχ θάζε ζηνηρείν ηνπ δηαλχζκαηνο εμφδνπ κπνξεί λα είλαη κφλν 0 ή 1, ζα ππάξρνπλ ζπλνιηθά ην πνιχ 2 s πηζαλέο θαηεγνξίεο, φπνπ S είλαη ν αξηζκφο ησλ λεπξψλσλ ηνπ δηθηχνπ. 3.1 Καλόλαο εθπαίδεπζεο Perceptron Η εθπαίδεπζε ηνπ δηθηχνπ ζπλίζηαηαη ζην λα κπνξέζνπκε λα βξνχκε ηηο θαηάιιειεο ηηκέο ησλ w θαη b θαη ηφηε ην δίθηπν ζα κπνξεί λα αλαγλσξίδεη ηα πξφηππα ζηα νπνία έρεη εθπαηδεπζεί. Ο θαλφλαο εθπαίδεπζεο Perceptron απνηειεί έλα παξάδεηγκα κάζεζεο κε επίβιεςε. ηελ αξρή ηεο κάζεζεο ην ζχζηεκα δελ έρεη θακία πξνεγνχκελε γλψζε. Σα βάξε w i πξέπεη λα έρνπλ ηπραίεο ηηκέο, γηα παξάδεηγκα έρνπλ ηηκέο νη νπνίεο δίλνληαη απφ κία θαηαλνκή ςεπδνηπραίσλ αξηζκψλ, θαη είλαη φια ζην δηάζηεκα [0,1]. Σν δίθηπν 48

49 ηξνθνδνηείηαη κε έλα ζχλνιν πξνηχπσλ εθπαίδεπζεο p 1, t 1, p 2, t 2. p n, t n φπνπ p n είλαη ε είζνδνο πνπ ζα εθαξκνζηεί ζην δίθηπν θαη t n είλαη ε επηζπκεηή έμνδνο ή ζηφρνο πνπ αληηζηνηρεί ζηελ είζνδν απηή. Καζψο θάζε είζνδνο ηξνθνδνηείηαη ζην δίθηπν, ε έμνδνο πνπ πξνθχπηεη ζπγθξίλεηαη κε ηνλ επηζπκεηφ ζηφρν. Ο θαλφλαο εθπαίδεπζεο ηφηε πξνζαξκφδεη ηα βάξε θαη ηηο πνιψζεηο ηνπ δηθηχνπ, έηζη ψζηε ε έμνδνο ηνπ δηθηχνπ λα ζπγθιίλεη κε ην ζηφρν. Όηαλ παξνπζηάδνπκε ηα πξφηππα ζην λεπξσληθφ δίθηπν, ηφηε ην ζχζηεκα καζαίλεη ηελ πιεξνθνξία θάζε πξνηχπνπ κε ην λα κεηαβάιεη ηα βάξε ηνπ πξνο ηελ ζσζηή θαηεχζπλζε. Η δηαδηθαζία απηή είλαη αλάινγε κε ηελ εμάζθεζε πνπ πθίζηαηαη έλα βηνινγηθφ ζχζηεκα, φηαλ καζαίλεη κηα δηεξγαζία. Η κεηαβνιή ησλ βαξψλ ζπλερίδεηαη κέρξηο φηνπ ην ζχζηεκα κάζεη ην ζήκα πνπ ηνπ δφζεθε. Όηαλ ζπκβεί απηφ ηφηε ζηακαηάεη ε κεηαβνιή ησλ w θαη νη ηειηθέο ηηκέο ηνπο απνζεθεχνληαη θαη ρξεζηκνπνηνχληαη πεξαηηέξσ. ην ζεκείν απηφ ιέκε φηη ην δίθηπν έρεη εθπαηδεπζεί θαη έρεη κάζεη ηα πξφηππα πνπ ηνπ δηδάμακε. Ο αιγφξηζκνο Perceptron απνηειείηαη απφ ηα αθφινπζα βήκαηα : 1. Αξρηθνπνίεζε φια ηα βάξε θαη ηηο πνιψζεηο ηνπ δηθηχνπ κε ηπραίεο ηηκέο. 2. Δηζήγαγε ηα πξφηππα κε ηε ζεηξά. Μφιηο ηειεηψζνπλ μαλάξρηζε απφ ηελ αξρή. 3. Γηα θάζε είζνδν i επαλέιαβε ηα παξαθάησ βήκαηα: t i = 1 και y i = 0 τότε w i = w i + p i t i = 0 και y i = 1 τότε w i = w i p i t i = y i τότε w i = w i 4. Ο αιγφξηζκνο ηεξκαηίδεηαη φηαλ δελ γίλεηαη πιένλ θακία δηφξζσζε ζε θαλέλα πξφηππν. Απηφ ζεκαίλεη φηη φινη νη ζηφρνη είλαη ίζνη κε φιεο ηηο εμφδνπο. Όηαλ παξνπζηάζνπκε ζην δίθηπν φια ηα πξφηππα παξαηεξνχκε φηη ην δίθηπν αξρίδεη λα εθπαηδεχεηαη θαη ιέκε φηη ην δίθηπν καζαίλεη ζηαδηαθά ηα πξφηππα ηα νπνία ηνπ παξνπζηάδνληαη. Υξεζηκνπνηνχκε ηνλ φξν «καζαίλεη» σο ζπλψλπκν ηνπ 49

50 «εθπαηδεχεηαη», ελλνψληαο φηη ην δίθηπν απνθηά ηελ ηθαλφηεηα λα ιχλεη θάπνην πξφβιεκα. Η εθπαίδεπζε απηή δελ γίλεηαη ζε έλα βήκα, αιιά αθνινπζεί κία δηαδηθαζία πνιιψλ θχθισλ, κηα δηαδηθαζία ε νπνία επαλαιακβάλεηαη πνιιέο θνξέο θαη θαηά ηελ νπνία ην δίθηπν θαιπηεξεχεη ζπλερψο ηηο ηηκέο ησλ βαξψλ ηνπ. Μηα θπθιηθή επαλάιεςε φισλ ησλ πξνηχπσλ νλνκάδεηαη επνρή. Μεηά απφ κεξηθνχο θχθινπο, πνπ κπνξεί θαη λα είλαη πνιιέο ρηιηάδεο, ην δίθηπν έρεη ήδε βξεη ηηο θαηάιιειεο ηηκέο ησλ w θαη έηζη έρεη αλαπηχμεη ηηο ηθαλφηεηεο ηνπ. Αθνινχζσο φκσο ε πξφνδνο απηή ζηακαηάεη θαη ιέκε φηη ην δίθηπν έρεη πιένλ ζπγθιίλεη. Απηφ ζεκαίλεη φηη νη ηηκέο ησλ w δελ αιιάδνπλ πιένλ θαη ην δίθηπν έρεη εθπαηδεπζεί ζσζηά. 3.2 Σξνπνπνίεζε ηνπ θαλόλα Perceptron Ο θαλφλαο εθπαίδεπζεο πνπ αλαθέξακε πξνεγνπκέλσο κπνξεί λα ηξνπνπνηεζεί ψζηε λα έρνπκε κία κφλν έθθξαζε. Αξρηθά ζα εηζάγνπκε κηα θαηλνχξγηα κεηαβιεηή πνπ νλνκάδεηαη ζθάικα ηνπ δηθηχνπ. Σν ζθάικα ππνινγίδεηαη απφ ηε ζρέζε e = t y. Οπφηε νη θαλφλεο ηξνπνπνηνχληαη σο εμήο: 1. Αξρηθνπνίεζε φια ηα βάξε θαη ηηο πνιψζεηο ηνπ δηθηχνπ κε ηπραίεο ηηκέο. 2. Δηζήγαγε ηα πξφηππα κε ηε ζεηξά. Μφιηο ηειεηψζνπλ μαλάξρηζε απφ ηελ αξρή. 3. Γηα θάζε είζνδν i επαλέιαβε ηα παξαθάησ βήκαηα : Αλ e=1 ηφηε w i = w i + p i Αλ e = -1 ηφηε w i = w i p i Αλ e = 0 ηφηε w i = w i 4. Ο αιγφξηζκνο ηεξκαηίδεηαη φηαλ δελ γίλεηαη πιένλ θακία δηφξζσζε ζε θαλέλα πξφηππν. Απηφ ζεκαίλεη φηη φινη νη ζηφρνη είλαη ίζνη κε φιεο ηηο εμφδνπο. 50

51 Παξαηεξψληαο φηη ην πξφζεκν ηνπ p είλαη ίδην κε ην πξφζεκν ηνπ e γηα θάζε θαλφλα, κπνξνχκε λα ελνπνηήζνπκε ηνπο ηξεηο απηνχο θαλφλεο ζε έλαλ. Οπφηε έρνπκε : w = w + ep = w + t y p Η πφισζε αλ ππάξρεη πξέπεη λα ηξνπνπνηεζεί θη απηή. Λακβάλνληαο ππφςε φηη ε πφισζε είλαη απιά έλα βάξνο ηνπ νπνίνπ ε είζνδνο είλαη πάληα 1 έρνπκε φηη : b = b + e 51

52 Κεθάιαην 4 Μέζνδνη Βειηηζηνπνίεζεο Ο ρψξνο ηεο βειηηζηνπνίεζεο αλαθέξεηαη ζηελ αλαδήηεζε βέιηηζησλ παξακέηξσλ ελφο ζπζηήκαηνο. ηα καζεκαηηθά έλα πξφβιεκα βειηηζηνπνίεζεο δηαηππψλεηαη ζαλ πξφβιεκα ειαρηζηνπνίεζεο ή κεγηζηνπνίεζεο κηαο ζπλάξηεζεο κηαο κεηαβιεηήο ή πνιιψλ κεηαβιεηψλ. Η γεληθή κνξθή ελφο πξνβιήκαηνο βειηηζηνπνίεζεο νξίδεηαη καζεκαηηθά σο ε εχξεζε ελφο δηαλχζκαηνο x = x 1 x 2 x n Σν νπνίν ειαρηζηνπνηεί ηε ζπλάξηεζε F(x). Γεδνκέλνπ φηη ε κεγηζηνπνίεζε κηα ζπλάξηεζεο F(x) ηζνδπλακεί κε ειαρηζηνπνίεζε ηεο ζπλάξηεζεο -F(x), ν παξαπάλσ νξηζκφο θαιχπηεη φια ηα δπλαηά πξνβιήκαηα βειηηζηνπνίεζεο. Οη κέζνδνη βειηηζηνπνίεζεο αλαθέξνληαη θαη σο Σερληθέο Μαζεκαηηθνχ Πξνγξακκαηηζκνχ θαη απνηεινχλ αληηθείκελν κειέηεο μερσξηζηνχ θιάδνπ ησλ Μαζεκαηηθψλ. Η χπαξμε πνιιψλ δηαθνξεηηθψλ θαηεγνξηψλ πξνβιεκάησλ έρεη νδεγήζεη ζηελ αλάπηπμε κηαο πιεηάδαο κεζφδσλ βειηηζηνπνίεζεο. Οη αιγφξηζκνη βειηηζηνπνίεζεο γεληθά είλαη αιγφξηζκνη νη νπνίνη εληνπίδνπλ ηα βέιηηζηα ζεκεία. Μπνξνχλ λα ρξεζηκνπνηεζνχλ ζηα Σερλεηά Νεπξσληθά Γίθηπα θαη απνηεινχλ κηα δηαθνξεηηθή θαηεγνξία θαλφλσλ εθπαίδεπζεο. Οη θαλφλεο απηνί μερσξίδνπλ απφ ην γεγνλφο φηη θαηά ηε δηάξθεηα ηεο εθπαίδεπζεο νη παξάκεηξνη ηνπ 52

53 δηθηχνπ, δειαδή ηα βάξε θαη νη πνιψζεηο, πξνζαξκφδνληαη έηζη ψζηε λα βειηηζηνπνηείηαη ε απφδνζε ηνπ δηθηχνπ. Η δηαδηθαζία βειηηζηνπνίεζεο πξαγκαηνπνηείηαη ζε δχν βήκαηα. Αξρηθά θαζνξίδεηαη ε απφδνζε ηνπ δηθηχνπ ρξεζηκνπνηψληαο έλα κέηξν ην νπνίν απνθαινχκε δείθηε απφδνζεο. Ο δείθηεο απφδνζεο είλαη κηθξφο φηαλ ην δίθηπν εθπαηδεχεη ζσζηά θαη κεγάινο φηαλ ην δίθηπν δελ απνδίδεη κε ην βέιηηζην ηξφπν. ηε ζπλέρεηα γίλεηαη πξνζαξκνγή ησλ παξακέηξσλ ηνπ δηθηχνπ, ςάρλνληαο ζην ρψξν ησλ βαξψλ, έηζη ψζηε λα κεησζεί ν δείθηεο απφδνζεο. Θεσξνχκε φηη ν δείθηεο απφδνζεο πνπ ζέινπκε λα ειαρηζηνπνηήζνπκε αλαπαξίζηαηαη απφ κηα ζπλάξηεζε F(x) φπνπ x είλαη ε κεηαβιεηή πνπ ζέινπκε λα πξνζαξκφζνπκε. Τπνζέηνπκε φηη ν δείθηεο απφδνζεο είλαη κηα αλαιπηηθή ζπλάξηεζε ηέηνηα ψζηε λα ππάξρνπλ φιεο νη παξάγσγνί ηεο. Σφηε κπνξεί λα αλαπαξαζηαζεί απφ ηηο ζεηξέο Taylor γηα θάπνην αξρηθφ ζεκείν. Η αλαπαξάζηαζε κίαο ζπλάξηεζεο κε ηε κνξθή ζεηξάο Taylor γξάθεηαη σο αλάπηπγκα ησλ παξαγψγσλ ηεο γηα θάπνην αξρηθφ ζεκείν x, ην νπνίν έρεη ηελ αθφινπζε κνξθή : F x = F x + d dx F x x=x x x n! d 2 dx 2 F x x=x x x 2 + d n dx n F x x=x x x n + Υξεζηκνπνηνχκε ηηο ζεηξέο Taylor έηζη ψζηε λα ππνινγίζνπκε ηελ απφδνζε ηνπ δηθηχνπ, κεηψλνληαο ηελ παξαπάλσ έθθξαζε ζε έλαλ πεπεξαζκέλν αξηζκφ φξσλ. Ο δείθηεο απφδνζεο ηνπ λεπξσληθνχ δηθηχνπ φκσο ζα είλαη κηα ζπλάξηεζε φισλ ησλ παξακέηξσλ ηνπ δηθηχνπ. Γηα ην ιφγν απηφ ε εμίζσζε επεθηείλεηαη γηα πνιιέο κεηαβιεηέο : F x = F(x 1, x 2,, x n ) Δπνκέλσο, γηα θάπνην ζεκείν 53

54 F x = F x Η νπνία ζε κνξθή πίλαθα γξάθεηαη: d dx 1 F x x=x x 1 x 1 + d dx n F x x=x x n x n d dx 2 F x x=x x 2 x 2 + d 2 dx 1 2 F x x=x x 1 x 1 2 d 2 2dx 1 dx 2 F x x=x x 1 x 1 (x 2 x 2 ) + F x = F x + F x T x=x x x x x 2 F x x=x x x + Όπνπ F(x) είλαη ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ θαη νξίδεηαη σο εμήο: F x = d dx 1 F x d d F x. F x dx 2 dx n T θαη 2 F(x) είλαη ν Δζζηαλφο πίλαθαο 2 F x = d 2 dx 1 2 F x d 2 F x dx 2 dx 1 d 2 F x dx n dx 1 d 2 dx 1 dx 2 F x d 2 dx 2 F x 2 d 2 dx 1 dx n F x d 2 dx 2 dx n F x d 2 dx n dx 2 F x d2 dx n 2 F x Δλψ ζηελ ειαρηζηνπνίεζε ζπλαξηήζεσλ κηαο κεηαβιεηήο κπνξνχλ λα ρξεζηκνπνηεζνχλ αλαιπηηθέο θαη αιγεβξηθέο κέζνδνη γηα ηνλ αθξηβή νξηζκφ ησλ ειάρηζησλ, ζηε κειέηε ζπλαξηήζεσλ πνιιψλ κεηαβιεηψλ ρξεζηκνπνηνχληαη θπξίσο αξηζκεηηθέο κέζνδνη γηα έλαλ πξνζεγγηζηηθφ νξηζκφ ειάρηζησλ ζεκείσλ. Βέιηηζην ζεκείν ε έλα πξφβιεκα βειηηζηνπνίεζεο κε ηνλ φξν βέιηηζην ζεκείν ελλννχκε έλα ειάρηζην ζεκείν ηεο ζπλάξηεζεο πνπ ζέινπκε λα ειαρηζηνπνηήζνπκε. ε έλα λεπξσληθφ δίθηπν ζεσξνχκε φηη έλα βέιηηζην ζεκείν είλαη έλα ειάρηζην ηνπ δείθηε απφδνζεο. Γηαθξίλνπκε ηξεηο θαηεγνξίεο ειάρηζησλ ζεκείσλ : 54

55 Ιζρπξφ ειάρηζην. Σν ζεκείν x είλαη έλα ηζρπξφ ειάρηζην ηνπ F(x) αλ ππάξρεη κηα κεηαβιεηή d >0 ηέηνηα ψζηε F x < F(x + Dx) γηα φια ηα Dx ψζηε d> D(x) > 0. Με άιια ιφγηα αλ κεηαθηλεζνχκε ζε κηα κηθξή πεξηνρή γχξσ απφ έλα ηζρπξφ ειάρηζην πξνο νπνηαδήπνηε θαηεχζπλζε ηφηε ε ζπλάξηεζε ζα απμεζεί. Οιηθφ ειάρηζην : Σν ζεκείν x είλαη έλα κνλαδηθφ νιηθφ ειάρηζην ηνπ F(x) αλ F x < F(x + Dx) γηα φια ηα Dx 0. Γηα έλα απιφ ηζρπξφ ειάρηζην, x, ε ζπλάξηεζε κπνξεί λα είλαη κηθξφηεξε απφ ηελ F(x ) ζε κεξηθά ζεκεία έμσ απφ κηα κηθξή πεξηνρή ηνπ x. Γηα ην ιφγν απηφ κεξηθέο θνξέο ιέγεηαη ηνπηθφ ειάρηζην. Γηα έλα νιηθφ ειάρηζην ε ζπλάξηεζε ζα είλαη κεγαιχηεξε απφ ην ειάρηζην ζεκείν γηα θάζε ζεκείν ζηνλ ρψξν ησλ παξακέηξσλ. Αζζελέο ειάρηζην : Σν ζεκείν x είλαη έλα αζζελέο ειάρηζην ηνπ F (x) αλ δελ είλαη ηζρπξφ ειάρηζην θαη ππάξρεη κηα κεηαβιεηή d > 0 έηζη ψζηε F x F(x + Dx) γηα φια ηα Dx ψζηε d > Dx > 0. Πξνο νπνηαδήπνηε θαηεχζπλζε θη αλ κεηαθηλεζνχκε απφ έλα αζζελέο ειάρηζην ε ζπλάξηεζε δελ κπνξεί λα κεησζεί, αλ θαη κπνξεί λα ππάξρνπλ θάπνηεο θαηεπζχλζεηο φπνπ αλ κεηαθηλεζνχκε ε ζπλάξηεζε παξακέλεη ζηαζεξή. 4.1 Αιγόξηζκνη Βειηηζηνπνίεζεο ηελ ελφηεηα απηή ζα εμεηάζνπκε αιγνξίζκνπο νη νπνίνη βειηηζηνπνηνχλ ην δείθηε απφδνζεο F(x). Οη αιγφξηζκνη βειηηζηνπνίεζεο πνπ ζα αλαιχζνπκε είλαη φινη επαλαιεπηηθνί, δειαδή μεθηλάκε απφ κηα ηπραία αξρηθή ηηκή x 0 θαη ζηε ζπλέρεηα πξνζαξκφδνπκε ηελ ηηκή απηή αλάινγα κε ηελ εμίζσζε x k+j = x k + a k p k (4.1) ή Δx k = x k+1 x k = a k p k, φπνπ p k είλαη έλα δηάλπζκα ην νπνίν αλαπαξηζηά κηα θαηεχζπλζε θαη νλνκάδεηαη δηάλπζκα θιίζεο θαη a k είλαη κηα ζεηηθή κεηαβιεηή πνπ νλνκάδεηαη ξπζκφο εθπαίδεπζεο θαη θαζνξίδεη ην κέγεζνο ηνπ βήκαηνο ζε θάζε επαλάιεςε Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ 55

56 Έλαο απφ ηνπο πην γλσζηνχο αιγνξίζκνπο βειηηζηνπνίεζεο είλαη ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ. [11] Η κέζνδνο απηή έρεη ζαλ ζηφρν ηε ζπλερή αλαδήηεζε θαιχηεξσλ ιχζεσλ. Υξεζηκνπνηψληαο ηελ εμίζσζε 4.1 γηα λα βξνχκε ην ειάρηζην ζεκείν ζέινπκε ε ζπλάξηεζε πνπ νξίδεη ην δείθηε απφδνζεο λα κεηψλεηαη ζε θάζε επαλάιεςε. Γειαδή, ζέινπκε λα βξνχκε ην δηάλπζκα θιίζεο p k έηζη ψζηε γηα έλα κηθξφ ξπζκφ εθπαίδεπζεο λα ηθαλνπνηείηαη ε εμίζσζε F(x k+1 ) < F(x k ) (4.2) Η πξψηε ζπληζηψζα ηεο ζεηξάο Taylor γηα ηελ αξρηθή καο ππφζεζε xk δίλεηαη απφ ηε ζρέζε F(x k+1 ) = F(x k + Δx k ) = F(x k ) + g T k Δx k, φπνπ g k είλαη ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ γηα ηελ αξρηθή ππφζεζε x k g k = F x x=xk Γηα λα ηζρχεη ε εμίζσζε 4.2 πξέπεη g T k Δx k = a k g T k p k > 0 φπνπ ε ηηκή ηνπ ξπζκνχ εθπαίδεπζεο a k επηιέγεηαη λα είλαη κηθξή αιιά κεγαιχηεξε απφ ην 0 έηζη ψζηε g T k p k < 0 (4.3) Οπνηνδήπνηε δηάλπζκα p k ηθαλνπνηεί ηελ εμίζσζε 4.3 νλνκάδεηαη θιίζε θαζφδνπ. Αλ επηιέμνπκε έλα θνληηλφ ζεκείν πξνο απηή ηελ θαηεχζπλζε ηφηε ε ζπλάξηεζε ζα πξέπεη λα ειαηησζεί. Γηα λα έρνπκε ηελ πην απφηνκε θάζνδν, δειαδή γηα λα βξνχκε ηελ θαηεχζπλζε πξνο ηελ νπνία ε ζπλάξηεζε ειαηηψλεηαη πην γξήγνξα πξέπεη ε ζρέζε g T k p k (4.4) λα έρεη ηε κεγαιχηεξε αξλεηηθή ηηκή. Η ζρέζε 4.4 είλαη έλα εζσηεξηθφ γηλφκελν κεηαμχ ηνπ δηαλχζκαηνο κεξηθψλ παξαγψγσλ θαη ηνπ δηαλχζκαηνο θιίζεο θαη έρεη ηε κεγαιχηεξε αξλεηηθή ηηκή φηαλ ην δηάλπζκα θιίζεο ηζνχηαη κε ηελ αξλεηηθή ηηκή ηνπ δηαλχζκαηνο κεξηθψλ παξαγψγσλ, δειαδή p k = g k 56

57 Δπνκέλσο ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ ππνινγίδεηαη απφ ηελ εμίζσζε x k+1 = x k a k g k (4.5) Τπάξρνπλ δχν κέζνδνη γηα ηνλ θαζνξηζκφ ηνπ ξπζκνχ εθπαίδεπζεο a k ηηο νπνίεο ζα αλαιχζνπκε ζηε ζπλέρεηα. χκθσλα κε ηε πξψηε κέζνδν επηιέγνπκε ην ξπζκφ εθπαίδεπζεο έηζη ψζηε λα ειαρηζηνπνηείηαη ν δείθηεο απφδνζεο F(x), ελψ έλαο δεχηεξνο ηξφπνο είλαη ε επηινγή κηαο πξνθαζνξηζκέλεο ηηκήο γηα ην ξπζκφ εθπαίδεπζεο. ρήκα 4.1: Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ ην ρήκα 4.1 θαίλεηαη ην δηάγξακκα ηζνυςψλ κηαο ζπλάξηεζεο θαη ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ φπσο ππνινγίδεηαη απφ έλα ζεκείν x 0. Σν θφθθηλν ηφμν καο δείρλεη ηελ θαηεχζπλζε ηνπ αληίζεηνπ ηνπ δηαλχζκαηνο ησλ κεξηθψλ παξαγψγσλ ζε θάζε ζεκείν. Σν δηάλπζκα απηφ ζε θάζε ζεκείν είλαη θάζεην ζηηο θακπχιεο πνπ νξίδνπλ ηε ζπλάξηεζε ζην δηάγξακκα ηζνυςψλ. Παξαηεξνχκε φηη ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ καο νδεγεί ζε έλα ειάρηζην, δειαδή ζην ζεκείν ζην νπνίν ηε ηηκή ηεο ζπλάξηεζεο είλαη ε ειάρηζηε. 57

58 ηαζεξόο ξπζκόο εθπαίδεπζεο Τπνζέηνπκε φηη ν δείθηεο απφδνζεο είλαη κηα ηεηξαγσληθή ζπλάξηεζε, έρεη δειαδή ηε κνξθή F x = 1 2 xt A x + d T x + C Γλσξίδνπκε φηη ε ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ ηεο ζπλάξηεζεο δίλεηαη απφ ηελ εμίζσζε F (x) = Ax + d Αλ θάλνπκε αληηθαηάζηαζε ηνπ g k ζηε ζρέζε 4.5 ζχκθσλα κε απηή ηελ εμίζσζε ηφηε έρνπκε x k+1 = x k ag k = x k a(ax k + d) ή x k+1 = I aa x k ad (4.6) Η εμίζσζε 4.6 νξίδεη έλα γξακκηθφ δπλακηθφ ζχζηεκα ην νπνίν ζα είλαη ζηαζεξφ αλ νη ηδηνηηκέο ηνπ πίλαθα [I aa] είλαη κηθξφηεξεο θαηά απφιπηε ηηκή απφ ηε κνλάδα. Αλ {λ 1, λ 2, λ n } θαη {z 1, z 2, z n }είλαη νη ηδηνηηκέο θαη ηα ηδηνδηαλχζκαηα αληίζηνηρα ηνπ Δζζηαλνχ πίλαθα, ηφηε I aa z i = z i aaz i = z i aλ ι z i = (1 a λ i )z i Απηφ ζπλεπάγεηαη φηη ηα ηδηνδηαλχζκαηα ηνπ πίλαθα I aa ζα είλαη ηα ίδηα κε ηα ηδηνδηαλχζκαηα ηνπ πίλαθα A θαη νη ηδηνηηκέο ηνπ I aa ζα είλαη (1 a λ i ). Δπνκέλσο γηα λα είλαη ζηαζεξφ ην ζχζηεκα 4.6 πξέπεη λα ηζρχεη ε ζρέζε 1 a λ i < 1 Αλ ηψξα ππνζέζνπκε φηη ε ηεηξαγσληθή ζπλάξηεζε έρεη έλα ηζρπξφ ειάρηζην, ηφηε ζχκθσλα κε ηηο ηδηφηεηεο ησλ ηεηξαγσληθψλ ζπλαξηήζεσλ πνπ είδακε νη ηδηνηηκέο ζα πξέπεη αλ είλαη ζεηηθνί αξηζκνί, δειαδή 58

59 α < 2 λ i Δθφζνλ απηφ πξέπεη λα αιεζεχεη γηα φιεο ηηο ηδηνηηκέο ηνπ Δζζηαλνχ πίλαθα έρνπκε φηη α < 2 λ max (4.7) Ρπζκόο εθπαίδεπζεο πνπ ειαρηζηνπνηεί ην δείθηε απόδνζεο. Μία δηαθνξεηηθή κέζνδνο γηα ηελ πξνζέγγηζε ηνπ ξπζκνχ εθπαίδεπζεο είλαη ε θαηάιιειε επηινγή κηαο ηηκήο ηέηνηα ψζηε λα ειαρηζηνπνηείηαη ν δείθηεο απφδνζεο ζε θάζε επαλάιεςε. Γειαδή ε επηινγή ελφο ξπζκνχ εθπαίδεπζεο a k πνπ ειαρηζηνπνηεί ηε ζπλάξηεζε F(x k + a k p k ) (4.8) Γηα ηεηξαγσληθέο ζπλαξηήζεηο, ε παξάγσγνο ηεο ζπλάξηεζεο 4.8 σο πξνο a k απνδεηθλχεηαη φηη είλαη d da k F x k + a k p k = F(x) T x=xk p k + a k p k T 2 F(x) x=xk p k k Aλ ζέζνπκε ηε ζρέζε απηή ίζε κε 0 θαη ιχζνπκε σο πξνο a k έρνπκε a k = F(x) T x=xk p k p k T 2 F(x) x=xk p k = ππνινγίδεηαη γηα x = x k g k T p k p k T A k p k φπνπ A k είλαη ν Δζζηαλφο πίλαθαο ν νπνίνο A k = 2 F(x) x=xk Παξάδεηγκα 6.2 Έζησ φηη ζέινπκε λα εθαξκφζνπκε ηνλ αιγφξηζκν ηεο πην απφηνκεο θαζφδνπ ζηε ζπλάξηεζε F x = x x

60 Αξρηθά νξίδνπκε έλα ηπραίν αξρηθφ ζεκείν έζησ ην x 0 = Σν πξψην βήκα είλαη λα βξνχκε ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ : F x = d dx 1 F(x) d dx 2 F(x) = 2x 1 50x 2 Αλ ππνινγίζνπκε ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ γηα ην αξρηθφ ζεκείν x 0 έρνπκε g 0 = F x x=x0 = 5 25 Αλ ππνζέζνπκε φηη ρξεζηκνπνηνχκε έλα ξπζκφ εθπαίδεπζεο a = 0.01, ηφηε ε πξψηε επαλάιεςε ηνπ αιγνξίζκνπ ηεο πην απφηνκεο θαζφδνπ ζα είλαη x 1 = x 0 ag 0 = = = Με ηνλ ηδην ηξφπν ζηε δεχηεξε επαλάιεςε ζα έρνπκε : x 2 = x 1 ag 1 = = = Αλ ζπλερίζνπκε ηηο επαλαιήςεηο ηφηε ζα έρνπκε ηε πνξεία πνπ θαίλεηαη ζην ρήκα

61 ρήκα 4.2: Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ γηα ξπζκφ εθπαίδεπζεο a = 0.01 Αλ ηψξα αιιάμνπκε ην ξπζκφ εθπαίδεπζεο, έζησ a = 0.035, παξαηεξνχκε φπσο θαίλεηαη ζην ρήκα 4.3 φηη αιγφξηζκνο γίλεηαη πην αζηαζήο. Μεγαιψλνληαο ην ξπζκφ εθπαίδεπζεο ζα πεξηκέλακε αθνχ θάλνπκε κεγαιχηεξα βήκαηα, ν αιγφξηζκνο λα ζπγθιίλεη θαη γξεγνξφηεξα. Όπσο βιέπνπκε φκσο θαη απφ ην παξάδεηγκα απηφ δε ζπκβαίλεη. Αληίζεηα, ν αιγφξηζκνο γίλεηαη πην αζηαζήο, γηα απηφ είλαη απαξαίηεην λα εθηηκνχκε ην κέγηζηε απνδεθηή ηηκή γηα ην ξπζκφ εθπαίδεπζεο. ρήκα 4.3: Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ γηα ξπζκφ εθπαίδεπζεο a = Δπεηδή ε ζπλάξηεζε F(x) είλαη ηεηξαγσληθή ζπλάξηεζε κπνξνχκε λα βξνχκε ην κέγηζην απνδεθηφ ξπζκφ εθπαίδεπζεο ζχκθσλα κε ηελ εμίζσζε 4.7. Αξρηθά ππνινγίδνπκε ηνλ Δζζηαλφ πίλαθαο απηήο ηεο ζπλάξηεζεο Α =

62 Oη ηδηνηηκέο θαη ηδηνδηαλχζκαηα ηνπ πίλαθα A είλαη λ 1 = 2, ( z 1 = 1 0, λ 2 = 50, ( z 2 = 0 1 Δπνκέλσο ε κέγηζηε ηηκή ηνπ ξπζκνχ εθπαίδεπζεο είλαη α < 2 = 2 λ max 50 = 0.04 ην ρήκα 4.4βιέπνπκε ηελ πνξεία ηνπ αιγνξίζκνπ γηα ξπζκφ εθπαίδεπζεο a=0.039, κε ηηκή ιίγν κηθξφηεξε απφ ηε κέγηζηε ζηαζεξή ηηκή. ηελ πεξίπησζε απηή ν αιγφξηζκνο βξίζθεη ην ειάρηζην ζεκείν. Αληίζεηα ζην ρήκα 4.5 έρνπκε ξπζκφ εθπαίδεπζεο a= 0.041, δειαδή ιίγν κεγαιχηεξν απφ ηε κέγηζηε ηηκή,φπνπ βιέπνπκε φηη ν αιγφξηζκνο μεπεξλάεη ην ειάρηζην ζεκείν θαη δε ζπγθιίλεη. ρήκα 4.4: Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ γηα a=0.039 ρήκα 4.5: Η κέζνδνο ηεο πην απφηνκεο θαζφδνπ γηα a =

63 Δπίζεο ν αιγφξηζκνο ηείλεη λα ζπγθιίλεη πην γξήγνξα ζηελ θαηεχζπλζε ηνπ ηδηνδηαλχζκαηνο πνπ αληηζηνηρεί ζηε κεγαιχηεξε ηδηνηηκή, ελψ αληίζεηα ζπγθιίλεη πην αξγά ζηελ θαηεχζπλζε ηνπ ηδηνδηαλχζκαηνο πνπ αληηζηνηρεί ζηε κηθξφηεξε ηδηνηηκή. Δπνκέλσο φηαλ ππάξρεη κεγάιε δηαθνξά αλάκεζα ζηηο απφιπηεο ηηκέο ηεο κεγαιχηεξεο θαη ηεο κηθξφηεξεο ηδηνηηκήο ηφηε ν αιγφξηζκνο ζα ζπγθιίλεη ζρεηηθά αξγά Η κέζνδνο ηνπ Newton Η κέζνδνο ηνπ Newton ζε αληίζεζε ηε κέζνδν ηεο πην απφηνκεο θαζφδνπ, βαζίδεηαη ζηηο δχν πξψηεο ζπληζηψζεο ηεο ζεηξάο Taylor F(x k+1 ) = F(x k + Δx k ) = F(x k ) + g T k Δx k Δx k T A k Δx k Η βαζηθή ηδέα απηήο ηεο κεζφδνπ είλαη λα εληνπηζηεί ην ζηάζηκν ζεκείν απηήο ηεο ηεηξαγσληθήο ζπλάξηεζεο. Αλ ρξεζηκνπνηήζνπκε ηελ εμίζσζε 5.12 γηα λα βξνχκε ην δηάλπζκα ησλ κεξηθψλ παξαγψγσλ απηήο ηεο ζπλάξηεζεο σο πξνο Δx k θαη ζέζνπκε ηελ ηηκή ηνπ ίζε κε 0 βξίζθνπκε g k = A k Δx k = 0 Αλ ιχζνπκε σο πξνο Δx k ηφηε έρνπκε Δx k = A k 1 g k πλεπψο ε κέζνδνο ηνπ Newton νξίδεηαη απφ ηελ εμίζσζε x k+1 = x k A 1 k g k Η κέζνδνο απηή βξίζθεη πάληα ην ειάρηζην κηαο ηεηξαγσληθήο ζπλάξηεζεο ζε έλα κφλν βήκα. Απηφ ζπκβαίλεη επεηδή ε κέζνδνο ηνπ Newton είλαη ζρεδηαζκέλε έηζη ψζηε λα πξνζεγγίδεη κηα νπνηαδήπνηε ζπλάξηεζε ζαλ ηεηξαγσληθή ζπλάξηεζε θαη ζηε ζπλέρεηα λα εληνπίδεη ην ζηάζηκν ζεκείν απηήο ηεο πξνζέγγηζεο. Αλ ε αξρηθή ζπλάξηεζε είλαη ηεηξαγσληθή κε έλα ηζρπξφ ειάρηζην, ηφηε ζα ειαρηζηνπνηείηαη ζε έλα βήκα. Αλ ε ζπλάξηεζε F(x) δελ είλαη ηεηξαγσληθή, ηφηε ε κέζνδνο ηνπ Newton 63

64 δε ζα ζπγθιίλεη γεληθά ζε έλα βήκα, ελψ κπνξεί θαη λα κε ζπγθιίλεη πνηέ θαζψο απηφ εμαξηάηαη απφ ηε ζπλάξηεζε θαη ηελ αξρηθή ηηκή πνπ επηιέμακε. Δπίζεο ε κέζνδνο απηή δελ κπνξεί λα δηαρσξίζεη έλα ηνπηθφ ειάρηζην απφ έλα νιηθφ γηαηί πξνζεγγίδεη θάζε ζπλάξηεζε ζαλ ηεηξαγσληθή ζπλάξηεζε ε νπνία κπνξεί λα έρεη έλα κφλν ειάρηζην. Έζησ ε ζπλάξηεζε F x = (x 2 x 1 ) 4 + 8x 2 x 1 x 1 + x Γλσξίδνπκε φηη ε ζπλάξηεζε απηή έρεη ηξία ζηάζηκα ζεκεία, ηα x 1 = , x2 = και x3 = Σν x 1 είλαη ηζρπξφ ηνπηθφ ειάρηζην, ην x 2 είλαη έλα ζεινεηδέο ζεκείν ελψ ην x 3 είλαη ηζρπξφ νιηθφ ειάρηζην. Αλ εθαξκφζνπκε ην κέζνδν ηνπ Newton ζε απηφ ην πξφβιεκα μεθηλψληαο απφ έλα αξρηθφ ζεκείν x 0 = T ηφηε ε πνξεία ηνπ αιγνξίζκνπ θαίλεηαη ζην ρήκα 4.6. ρήκα 4.6: Η κέζνδνο ηνπ Newton γηα έλα αξρηθφ ζεκείν x 0 = T 64

65 Σν δηάγξακκα ζηα αξηζηεξά είλαη ην δηάγξακκα ηζνυςψλ ηεο ζπλάξηεζεο, ελψ ζην δηάγξακκα ζηα δεμηά είλαη ην δηάγξακκα ηζνυςψλ ηεο πξνζεγγηζηηθήο ηεηξαγσληθήο ζπλάξηεζεο ζην αξρηθφ ζεκείν. Πξνθαλψο ε ζπλάξηεζε δελ ειαρηζηνπνηείηαη ζε έλα βήκα θαζψο δελ είλαη ηεηξαγσληθή ζπλάξηεζε, φκσο απφ ηελ πξψηε θηφιαο επαλάιεςε ε κέζνδνο πξνζεγγίδεη ην νιηθφ ειάρηζην. Η κέζνδνο ηνπ Newton ζπγθιίλεη γξήγνξα γηα πνιιέο εθαξκνγέο επεηδή νη αλαιπηηθέο ζπλαξηήζεηο κπνξνχλ λα πξνζεγγηζηνχλ αθξηβψο απφ ηεηξαγσληθέο ζπλαξηήζεηο ζε κηα κηθξή γεηηνληθή πεξηνρή ελφο ηζρπξνχ ειάρηζηνπ. Μπνξνχκε λα παξαηεξήζνπκε φηη ην δηάγξακκα ηζνυςψλ ηεο πξνζεγγηζηηθήο ηεηξαγσληθήο ζπλάξηεζεο είλαη παξφκνην κε ην δηάγξακκα ηζνυςψλ ηεο αξρηθήο ζπλάξηεζεο θνληά ζην αξρηθφ ζεκείν πνπ επηιέγνπκε. Αληίζεηα αλ επηιέμνπκε ην ζεκείν x 0 = T ζαλ αξρηθφ ζεκείν, ηφηε ηα βήκαηα ηνπ αιγνξίζκνπ θαίλνληαη ζην ρήκα 4.7. ηελ πεξίπησζε απηή ν αιγφξηζκνο ζπγθιίλεη πξνο ην ηνπηθφ ειάρηζην. Η κέζνδνο ηνπ Newton φπσο θαη ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ βαζίδεηαη ζηα ηνπηθά ραξαθηεξηζηηθά ηεο επηθάλεηαο θαη δελ κπνξεί λα γλσξίδεη ηα ζπλνιηθά ραξαθηεξηζηηθά κηαο ζπλάξηεζεο. Οκνίσο αλ επηιέμνπκε σο αξρηθφ ζεκείν ην x 0 = T, ν αιγφξηζκνο ζπγθιίλεη ζην ζεινεηδέο ζεκείν ηεο ζπλάξηεζεο φπσο θαίλεηαη θαη ζην ρήκα 4.8. Δπνκέλσο, παξαηεξνχκε φηη ε κέζνδνο ηνπ Newton κπνξεί λα εληνπίδεη ηα ζηάζηκα ζεκεία κηαο ζπλάξηεζεο αλάινγα κε ηελ αξρηθή ππφζεζε, αιιά δελ κπνξεί λα θάλεη δηαρσξηζκφ αλάκεζα ζηα ειάρηζηα, κέγηζηα θαη ζεινεηδή ζεκεία. ρήκα 4.7: Η κέζνδνο ηνπ Newton γηα έλα αξρηθφ ζεκείν x 0 = T 65

66 ρήκα 4.8 : Η κέζνδνο ηνπ Newton γηα έλα αξρηθφ ζεκείν x 0 = T ύγθξηζε ηεο κεζόδνπ ηεο πην απόηνκεο θαζόδνπ θαη ηεο κεζόδνπ ηνπ Newton ην ζεκείν απηφ κπνξνχκε λα δηαθξίλνπκε θάπνηεο ζεκαληηθέο δηαθνξέο κεηαμχ ηεο κεζφδνπ ηνπ Newton θαη ηεο πην απφηνκεο θαζφδνπ. Η κέζνδνο ηνπ Newton ζπλήζσο ζπγθιίλεη πνιχ πην γξήγνξα απφ ηε κέζνδν ηεο πην απφηνκεο θαζφδνπ θαη γηα ηεηξαγσληθέο ζπλαξηήζεηο εληνπίδεη ην ζηάζηκν ζεκείν ζε κία κφλν επαλάιεςε. Απφ ηελ άιιε πιεπξά φκσο νη ηδηφηεηεο ζχγθιηζεο ηεο κεζφδνπ ηνπ Newton είλαη αξθεηά πνιχπινθεο. Δθηφο απφ ην πξφβιεκα ηεο ζχγθιηζεο ζε ζεινεηδή ζεκεία, γεγνλφο πνπ δε ζπκβαίλεη κε ηνλ αιγφξηζκν ηεο πην απφηνκεο θαζφδνπ, επηπξφζζεηα ν αιγφξηζκνο ηνπ Newton κπνξεί λα ηαιαληεχεηαη ή λα απνθιίλεη. Αληίζεηα, κε ηε κέζνδν ηεο πην απφηνκεο θαζφδνπ ν αιγφξηζκνο εγγπάηαη φηη ζα ζπγθιίλεη ζε έλα ζηάζηκν ζεκείν αλ ν ξπζκφο εθπαίδεπζεο δελ είλαη πνιχ κεγάινο ή αλ εθαξκφζνπκε γξακκηθή ειαρηζηνπνίεζε ζε θάζε βήκα. Έλα αθφκε κεηνλέθηεκα ηεο κεζφδνπ ηνπ Newton είλαη φηη απαηηεί ηνλ ππνινγηζκφ θαη ηελ απνζήθεπζε ηνπ Δζζηαλνχ πίλαθα θαη ηνπ αληίζηξνθνχ ηνπ. Αληίζεηα ε κέζνδνο ηεο πην απφηνκεο θαζφδνπ είλαη πνιχ απιή θαη απαηηεί κφλν ηνλ ππνινγηζκφ ηνπ δηαλχζκαηνο ησλ κεξηθψλ παξαγψγσλ. Τπάξρνπλ δηάθνξεο παξαιιαγέο ηεο κεζφδνπ ηνπ Newton κε ηηο νπνίεο κπνξνχλ λα μεπεξαζηνχλ απηά ηα πξνβιήκαηα. Μία απφ απηέο είλαη ν ζπλδπαζκφο ησλ δχν κεζφδσλ ηελ νπνία ζα δνχκε ζε επφκελε ελφηεηα. 66

67 4.4.3 Η κέζνδνο ησλ ζπδπγώλ θιίζεσλ Η κέζνδνο ηνπ Newton έρεη ηελ ηδηφηεηα λα ειαρηζηνπνηεί κηα ηεηξαγσληθή ζπλάξηεζε ζε έλαλ πεπεξαζκέλν αξηζκφ επαλαιήςεσλ, απαηηεί φκσο ηνλ ππνινγηζκφ θαη ηελ απνζήθεπζε ηνπ Δζζηαλνχ πίλαθα θάηη πνπ κπνξεί λα κελ είλαη πξαθηηθφ αλ ν αξηζκφο ησλ αγλψζησλ είλαη πνιχ κεγάινο. Δηδηθά ζε πξαθηηθέο εθαξκνγέο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ κπνξεί λα απαηηνχληαη ρηιηάδεο βάξε. ε απηήλ ηελ πεξίπησζε ζέινπκε κηα κέζνδν γηα ηελ νπνία λα απαηηείηαη ν ππνινγηζκφο κφλν ησλ πξψησλ παξαγψγσλ αιιά ηαπηφρξνλα λα έρεη ηελ ηδηφηεηα λα ειαρηζηνπνηεί κηα ηεηξαγσληθή ζπλάξηεζε ζε έλαλ πεπεξαζκέλν αξηζκφ επαλαιήςεσλ. Μηα ηέηνηα κέζνδνο είλαη ε κέζνδνο ησλ ζπδπγψλ θιίζεσλ (Conjugate Gradient). Η κέζνδνο ησλ ζπδπγψλ θιίζεσλ ζπλνςίδεηαη ζηα παξαθάησ βήκαηα : 1. Δπηιέγνπκε ηελ θαηεχζπλζε πξνο ηελ νπνία ζα αλαδεηήζνπκε ην ειάρηζην ζεκείν. Η θαηεχζπλζε απηή νξίδεηαη σο ην αληίζεην ηνπ δηαλχζκαηνο ησλ κεξηθψλ παξαγψγσλ. p 0 = g 0 2. Κάλνπκε έλα βήκα ζχκθσλα κε ηελ εμίζσζε Δx k = a k p k, φπνπ a k είλαη ν ξπζκφο εθπαίδεπζεο ν νπνίνο επηιέγεηαη έηζη ψζηε λα ειαρηζηνπνηεί ηε ζπλάξηεζε θαηά κήθνο ηεο θαηεχζπλζεο αλαδήηεζεο x k+1 = x k + a k p k Γηα ηεηξαγσληθέο ζπλαξηήζεηο ν ξπζκφο εθπαίδεπζεο ππνινγίδεηαη ζχκθσλα κε ηελ εμίζσζε 67

68 a k = F x T x=xk p k p kt 2 F(x) x=xk p k = g k T p k p kt A k p k 3. ηε ζπλέρεηα επηιέγνπκε ηελ επφκελε θαηεχζπλζεο ηεο αλαδήηεζεο κε ηελ εμίζσζε p k = g k + β k p k 1 Τπνινγίδνπκε ηε κεηαβιεηή β k κε θάπνηα κέζνδν, φπσο νη ηξεηο πνπ αθνινπζνχλ: Μέζνδνο Hestenes θαη Steifel β k = g k 1 Τ g k g k 1 Τ p k 1 Μέζνδνο Fletcher θαη Reeves β k = g k Τ g k g k 1 Τ g k 1 Μέζνδνο Polak θαη Ribiere β k = Δg k 1 Τ g k g k 1 Τ g k 1 4. Αλ ν αιγφξηζκνο δελ έρεη ζπγθιίλεη ηφηε επηζηξέθνπκε ζην βήκα 2. 68

69 Κεθάιαην 5 Πνιπεπίπεδα Δκπξόζζηαο Σξνθνδόηεζεο ΣΝ ή Multilayer Perceptrons (MLP) Έλα MLP δίθηπν απνηειείηαη απφ έλα ζχλνιν θφκβσλ εηζφδνπ πνπ απνηεινχλ ην επίπεδν εηζφδνπ, έλα ή πεξηζζφηεξα θξπθά επίπεδα πνπ απνηεινχληαη απφ λεπξψλεο πνπ εθηεινχλ ππνινγηζκνχο θαη έλα επίπεδν εμφδνπ πνπ απνηειείηαη επίζεο απφ λεπξψλεο πνπ εθηεινχλ ππνινγηζκνχο. Σν ζήκα εηζφδνπ (πξφηππν εηζφδνπ) θηλείηαη κέζα ζην δίθηπν πξνο ηα κπξνζηά, δειαδή απφ ην έλα επίπεδν ζην επφκελφ ηνπ. Σα MLP ζπλήζσο εθπαηδεχνληαη κε θαλφλεο κάζεζεο κε επίβιεςε. Έλαο αιγφξηζκνο πνπ ρξεζηκνπνηείηαη πνιχ ζπρλά γηα ηνλ ζθνπφ απηφ είλαη γλσζηφο σο αιγφξηζκνο Back-Propagation (BP) θαη βαζίδεηαη ζηνλ θαλφλα κάζεζεο κε δηφξζσζε ζθάικαηνο. Ο αιγφξηζκνο απηφο κπνξεί λα ζεσξεζεί ζαλ γελίθεπζε ηνπ αιγνξίζκνπ Διάρηζησλ Μέζσλ Σεηξαγψλσλ (Least Mean Square A lgorithm). Δλα MLP έρεη ηξία ζαθή ραξαθηεξηζηηθά : 1. Σν κνληέιν θάζε λεπξψλα ζην δίθηπν πεξηιακβάλεη κία κε-γξακκηθή ζπλάξηεζε ελεξγνπνίεζεο ζηελ έμνδφ ηνπ. Σν ζεκαληηθφ ζεκείν ην νπνίν πξέπεη λα παξαηεξεζεί είλαη φηη ε κε γξακκηθφηεηα απηή είλαη νκαιή (smooth), δειαδή παληνχ δηαθνξίζηκε. Μηα θνηλφο ρξεζηκνπνηνχκελε κνξθή 69

70 κε γξακκηθφηεηαο πνπ ηθαλνπνηεί απηή ηελ απαίηεζε είλαη ε ζηγκνεηδήο ζπλάξηεζε ή ινγηζηηθή ζπλάξηεζε θαη νξίδεηαη σο : y j = exp ( u j ) φπνπ u j είλαη ε δξαζηεξηφηεηα ελεξγνπνίεζεο ηνπ λεπξψλα j θαη y j είλαη ε έμνδνο ηνπ λεπξψλα. Η παξνπζία ηεο κε-γξακκηθφηεηαο είλαη αξθεηά ζεκαληηθή δηφηη ζε δηαθνξεηηθή πεξίπησζε ε ζρέζε εηζφδνπ-εμφδνπ ηνπ δηθηχνπ ζα κεησλφηαλ ζε απηή ηνπ ελφο επηπέδνπ perceptron. Δπηπιένλ, ε ρξήζε ηεο ζπλάξηεζεο απηήο έρεη ην πιενλέθηεκα φηη πξνζνκνηάδεη ηελ βηνινγηθή θάζε αλάζρεζεο (refractory phase) ζηνπο πξαγκαηηθνχο λεπξψλεο. 2. Σν δίθηπν πεξηιακβάλεη έλα ή πεξηζζφηεξα επίπεδα κε θξπθνχο λεπξψλεο πνπ δελ απνηεινχλ κέξνο είηε ηεο εηζφδνπ, είηε ηεο εμφδνπ ηνπ δηθηχνπ. Οη θξπθνί λεπξψλεο επηηξέπνπλ ζην δίθηπν λα καζαίλεη θαη λα εθηειεί πεξίπινθεο εξγαζίεο, εμάγνληαο πξννδεπηηθά ηα ραξαθηεξηζηηθά εθείλα ησλ πξνηχπσλ εηζφδνπ πνπ έρνπλ ηελ κεγαιχηεξε ζεκαζία γηα ηελ ζσζηή απάληεζε ηνπ δηθηχνπ. 3. Σν δίθηπν παξνπζηάδεη πςειφ βαζκφ ζπλδεζηκφηεηαο πνπ θαζνξίδεηαη απφ ηηο ζπλάςεηο κεηαμχ ησλ λεπξψλσλ ηνπ δηθηχνπ. Μηα αιιαγή ζηελ ζπλδεζηκφηεηα ηνπ δηθηχνπ απαηηεί κηα αιιαγή ζηνλ πιεζπζκφ ησλ ζπλδέζεσλ ησλ ζπλάςεσλ ή ζηα βάξε ηνπο. ην ρήκα 5.1 θαίλεηαη ε αξρηηεθηνληθή ελφο MLP δηθηχνπ πνπ έρεη δχν θξπθά επίπεδα θαη είλαη πιήξσο δηαζπλδεδεκέλν. Πιήξσο δηαζπλδεδεκέλν θαιείηαη έλα δίθηπν ηνπ νπνίνπ θάζε λεπξψλαο/θφκβνο είλαη ζπλδεδεκέλνο κε φινπο ηνπο λεπξψλεο/θφκβνπο ηνπ πξνεγνχκελνπ επηπέδνπ. ε απηήο ηεο κνξθήο ηα δίθηπα ην ζήκα κεηαδίδεηαη πξννδεπηηθά απφ αξηζηεξά πξνο ηα δεμηά θαη απφ επίπεδν ζε επίπεδν. ην δίθηπν κεηαδίδνληαη δχν εηδψλ ζήκαηα [19]: 1. ήκαηα ζπλαξηήζεσλ (Function signals). Έλα ζήκα ζπλάξηεζεο είλαη έλα ζήκα εηζφδνπ (εξέζηζκα) πνπ μεθηλάεη απφ ηνπο θφκβνπο εηζφδνπ ηνπ 70

71 δηθηχνπ, δηαδίδεηαη πξνο ηα κπξνζηά, απφ λεπξψλα ζε λεπξψλα, θαη θαηαιήγεη ζηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ. ε θάζε λεπξψλα ηνπ δηθηχνπ απφ φπνπ πεξλάεη ην ζήκα ππνινγίδεηαη ζαλ ζπλάξηεζε φισλ ησλ εηζεξρφκελσλ ζεκάησλ θαη ησλ αληίζηνηρσλ βαξψλ ησλ ζπλάςεσλ πνπ θαηαιήγνπλ ζην ζπγθεθξηκέλν λεπξψλα. 2. ήκαηα ζθάικαηνο (Error signals). Έλα ζήκα ζθάικαηνο, μεθηλάεη απφ ηνπο λεπξψλεο εμφδνπ ηνπ δηθηχνπ θαη δηαδίδεηαη πξνο ηα πίζσ απφ επίπεδν ζε επίπεδν. ε θάζε λεπξψλα ην ζήκα απηφ ππνινγίδεηαη απφ κηα ζπλάξηεζε πνπ εμαξηάηαη απφ ην ζθάικα. ρήκα 5.1: Αξρηηεθηνληθή MLP δηθηχνπ. Οη λεπξψλεο πνπ βξίζθνληαη ζην επίπεδν εμφδνπ ηνπ ΣΝ, θαινχληαη λεπξψλεο εμφδνπ. Οη θφκβνη πνπ βξίζθνληαη ζην επίπεδν ηνπ ΣΝ απφ ην νπνίν μεθηλάεη ην ζήκα νλνκάδνληαη θφκβνη εηζφδνπ. Όινη νη άιινη λεπξψλεο πνπ βξίζθνληαη ζηα ππφινηπα, ελδηάκεζα, επίπεδα ηνπ δηθηχνπ ιέγνληαη θξπθνί λεπξψλεο θαη ηα επίπεδα θξπθά επίπεδα. Κάζε θξπθφο λεπξψλαο θαη θάζε λεπξψλαο εμφδνπ ελφο MLP έρεη ζρεδηαζηεί γηα λα εθηειεί δχν ππνινγηζκνχο : 1. Τπνινγίδεη ην ζήκα ζπλάξηεζεο πνπ εκθαλίδεηαη ζηελ έμνδν ηνπ λεπξψλα θαη εθθξάδεηαη ζαλ κηα ζπλερήο κε γξακκηθή ζπλάξηεζε ησλ ζεκάησλ πνπ 71