Γηπισκαηηθή Δξγαζία ηεο θνηηήηξηαο ηνπ Σκήκαηνο Ηιεθηξνιφγσλ Μεραληθψλ θαη Σερλνινγίαο Τπνινγηζηψλ ηεο Πνιπηερληθήο ρνιήο ηνπ Παλεπηζηεκίνπ Παηξψλ

Transcript

1 ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΩΝ ΣΜΗΜΑ ΗΛΔΚΣΡΟΛΟΓΩΝ ΜΗΥΑΝΙΚΩΝ ΚΑΙ ΣΔΥΝΟΛΟΓΙΑ ΤΠΟΛΟΓΙΣΩΝ ΣΟΜΔΑ: ΤΣΗΜΑΣΩΝ ΚΑΙ ΑΤΣΟΜΑΣΟΤ ΔΛΔΓΥΟΤ ΔΡΓΑΣΗΡΙΟ: ΑΤΣΟΜΑΣΙΜΟΤ ΚΑΙ ΡΟΜΠΟΣΙΚΗ Γηπισκαηηθή Δξγαζία ηεο θνηηήηξηαο ηνπ Σκήκαηνο Ηιεθηξνιφγσλ Μεραληθψλ θαη Σερλνινγίαο Τπνινγηζηψλ ηεο Πνιπηερληθήο ρνιήο ηνπ Παλεπηζηεκίνπ Παηξψλ ΘΔΟΓΟΗ-ΚΟΚΚΙΝΟΤ ΛΑΟΤΡΑ Αξηζκφο Μεηξψνπ: 6257 Θέκα «Σερλεηά Νεπξσληθά Γίθηπα θαη εθαξκνγέο ζηα πζηήκαηα Απηόκαηνπ Διέγρνπ» Δπηβιέπσλ Καζεγεηήο Πέηξνο Γξνπκπφο Αξηζκόο Γηπισκαηηθήο Δξγαζίαο: Πάηξα, Ινχληνο 2013

2 ΠΙΣΟΠΟΙΗΗ Πηζηνπνηείηαη φηη ε Γηπισκαηηθή Δξγαζία κε ζέκα «Σερλεηά Νεπξσληθά Γίθηπα θαη εθαξκνγέο ζηα πζηήκαηα Απηόκαηνπ Διέγρνπ» Σεο θνηηήηξηαο ηνπ Σκήκαηνο Ηιεθηξνιφγσλ Μεραληθψλ θαη Σερλνινγίαο Τπνινγηζηψλ Θενδφζε-Κφθθηλνπ Λάνπξα ηνπ Ηιία Αξηζκφο Μεηξψνπ: 6257 Παξνπζηάζηεθε δεκφζηα θαη εμεηάζηεθε ζην Σκήκα Ηιεθηξνιφγσλ Μεραληθψλ θαη Σερλνινγίαο Τπνινγηζηψλ ζηηο / / Ο Δπηβιέπσλ Πέηξνο Γξνπκπφο Καζεγεηήο Ο Γηεπζπληήο ηνπ Σνκέα Νηθφιανο Κνχζνπιαο Καζεγεηήο 2

3 Αξηζκόο Γηπισκαηηθήο Δξγαζίαο: Θέκα: «Σερλεηά Νεπξσληθά Γίθηπα θαη εθαξκνγέο ζηα πζηήκαηα Απηόκαηνπ Διέγρνπ» Φνηηήηξηα: Θενδφζε-Κφθθηλνπ Λάνπξα Δπηβιέπσλ: Καζεγεηήο Πέηξνο Γξνπκπφο Πεξίιεςε Σα Σερλεηά Νεπξσληθά Γίθηπα είλαη κηα επηζηεκνληθή πεξηνρή ε νπνία έρεη αλαπηπρζεί θαηά ηηο ηειεπηαίεο δεθαεηίεο θαη επηθαιχπηεη φιεο ζρεδφλ ηηο ζεηηθέο επηζηήκεο θαη ηελ κεραλνινγία. Σα Νεπξσληθά Γίθηπα απνηεινχληαη απφ έλα ζχλνιν απιψλ, δηαζπλδεδεκέλσλ θαη πξνζαξκνζηηθψλ κνλάδσλ νη νπνίεο δεκηνπξγνχλ έλα παξάιιειν θαη πνιχπινθν ππνινγηζηηθφ κνληέιν. ηελ νπζία είλαη πξνγξάκκαηα πνπ πινπνηνχληαη ζηνπο ειεθηξνληθνχο ππνινγηζηέο. Μέρξη ζήκεξα έρνπλ ρξεζηκνπνηεζεί ζε πνιιέο εθαξκνγέο θαη ζε πξνβιήκαηα πνπ νη γλσζηνί ηξφπνη αληηκεηψπηζήο ηνπο παξνπζηάδνπλ δπζθνιίεο, κε απνηέιεζκα ηελ αλαγθαηφηεηα ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ. Η εξγαζία απηή απνηειείηαη απφ έμη θεθάιαηα. ην πξψην θεθάιαην θάλνπκε κηα εηζαγσγή ζηα Σερλεηά Νεπξσληθά Γίθηπα. Αλαθέξνπκε ηηο βαζηθέο αξρέο ηνπο θαη ηελ αληηζηνηρία ηνπο κε ηα βηνινγηθά δίθηπα. Σν δεχηεξν θεθάιαην αζρνιείηαη κε ην δίθηπν Perceptron. Ξεθηλάκε κε ην πην απιφ κνληέιν, ηνλ αηζζεηήξα θαη ζπλερίδνπκε κε ηα πνιπεπίπεδα Νεπξσληθά Γίθηπα Perceptron. Αλαθέξνπκε δχν κεζφδνπο εθπαίδεπζεο, ηε κέζνδν νπηζζνδηάδνζεο ηνπ ιάζνπο θαη ηνλ θαλφλα Γέιηα. ην ηξίην θεθάιαην κειεηάκε άιια είδε δηθηχσλ, φπσο ηα αλαδξνκηθά δίθηπα, ην δίθηπν Hopfeld, ην δίθηπν SOM θαη ην δίθηπν RBF. Σν ηέηαξην θεθάιαην αλαθέξεηαη ζηνλ λεπξσληθφ έιεγρν θαη ζηηο αξρηηεθηνληθέο ησλ λεπξσληθψλ ειεγθηψλ. ην πέκπην θεθάιαην βιέπνπκε θάπνηεο ζπγθεθξηκέλεο εθαξκνγέο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ. ην έθην θεθάιαην αλαθέξνπκε ηα ζπκπεξάζκαηα θαζψο θαη κειινληηθέο επεθηάζεηο ησλ ΣΝΓ. 3

4 Θα ήζεια λα επραξηζηήζσ ζεξκά ηνλ επηβιέπνληα θαζεγεηή κνπ θ. Πέηξν Γξνπκπφ γηα ηε δπλαηφηεηα πνπ κνπ έδσζε λα πξαγκαηνπνηήζσ ηελ παξνχζα εξγαζία ζε έλαλ ελδηαθέξνλ ηνκέα φπσο είλαη ν ηνκέαο ησλ Νεπξσληθψλ Γηθηχσλ θαζψο θαη γηα ηελ ζεκαληηθή βνήζεηα ηνπ. Δπίζεο ζα ήζεια λα επραξηζηήζσ ζεξκά ηνλ θ. Γεψξγην Μνπζηαθίδε γηα ηηο ρξήζηκεο επηζεκάλζεηο ηνπ ζηε ζπγγξαθή ηεο δηπισκαηηθήο. 4

5 ΠΔΡΙΔΥΟΜΔΝΑ ΠΡΟΛΟΓΟ... 8 ΚΕΦΑΛΑΙΟ 1 ΣΕΧΝΗΣΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ Ειςαγωγή ςτα Νευρωνικά Δίκτυα Ιςτορική Αναδρομή Βιολογικά Νευρωνικά Δίκτυα Πλεονεκτήματα Σεχνητϊν Νευρωνικϊν Δικτφων Σο μοντζλο του τεχνητοφ νευρϊνα Αρχιτεκτονικζσ Νευρωνικϊν Δικτφων Διαδικαςίεσ μάθηςησ Νευρωνικϊν Δικτφων Ικανότητα γενίκευςησ Εφαρμογζσ των Νευρωνικϊν Δικτφων ΚΕΦΑΛΑΙΟ 2 - ΔΙΚΣΤΟ PERCEPTRON Σο μοντζλο του αιςθητήρα Η εκπαίδευςη και τα μειονεκτήματα του δικτφου Perceptron Σο Perceptron πολλϊν επιπζδων Πολυεπίπεδο δίκτυο Perceptron - MLP Μειονεκτήματα του αλγόριθμου Back Propagaton Σρόποι εκπαίδευςησ ενόσ δικτφου MLP Επεξεργαςία των δεδομζνων για την εκπαίδευςη των ΣΝΔ Γενικευμζνοσ Κανόνασ Δζλτα ΚΕΦΑΛΑΙΟ 3 - ΑΛΛΑ ΕΙΔΗ ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ Ειςαγωγή Δίκτυα χρονικήσ καθυςτζρηςησ Αναδρομικά δίκτυα Σο δίκτυο Hopfeld Σο δίκτυο MAXNET

6 3.4 Αυτοοργανοφμενα δίκτυα - δίκτυο SOM Δίκτυα υναρτήςεων Βάςησ Ακτινικοφ Σφπου - RBF Ανάκληςη δικτφου RBF Εκπαίδευςη δικτφου RBF φγκριςη δικτφων MLP και RBF ΚΕΦΑΛΑΙΟ 4 - ΝΕΤΡΩΝΙΚΟ ΕΛΕΓΧΟ Ειςαγωγή Αρχιτεκτονικζσ Νευρωνικϊν Ελεγκτϊν Αντίςτροφο πρότυπο Ειδικευμζνη μάθηςη με ανατροφοδοτοφμενο ςφάλμα Ζμμεςη μάθηςη Γενικευμζνη μάθηςη ΚΕΦΑΛΑΙΟ 5 - ΕΦΑΡΜΟΓΕ ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ Εφαρμογή ΣΝΔ ςε μονάδα επεξεργαςίασ λυμάτων φγκριςη ςτατικϊν και δυναμικϊν Νευρωνικϊν Δικτφων για βραχυπρόθεςμη πρόβλεψη πλημμυρϊν Ειςαγωγή Μεθοδολογία Περιοχή μελζτησ και ςυλλογή δεδομζνων υμπεράςματα φγκριςη τεχνικϊν μοντελοποίηςησ μη γραμμικοφ και χρονικά μεταβαλλόμενου ςυςτήματοσ - εφαρμογή ςε χημικό αντιδραςτήρα Ειςαγωγή Μοντελοποίηςη μη γραμμικϊν ςυςτημάτων με δίκτυα MLP Μοντελοποίηςη μη γραμμικϊν ςυςτημάτων με δίκτυα RBF υγκριτική μελζτη των μοντζλων Ανακεφαλαίωςη των δφο εφαρμογϊν ΚΕΦΑΛΑΙΟ 6 ΤΜΠΕΡΑΜΑΣΑ/ΜΕΛΛΟΝΣΙΚΗ ΕΞΕΛΙΞΗ ΣΝΔ

7 6.1 φνοψη Διπλωματικήσ - υμπεράςματα Μελλοντική εξζλιξη Νευρωνικϊν Δικτφων ΠΑΡΑΡΣΗΜΑ A Γενετικοί Αλγόριθμοι ΒΙΒΛΙΟΓΡΑΦΙΑ

8 ΠΡΟΛΟΓΟ Σα Σερλεηά Νεπξσληθά Γίθηπα απνηεινχλ κηα κνξθή ηερλεηήο λνεκνζχλεο, ηα νπνία απνηεινχληαη απφ έλα ζχλνιν απιψλ, δηαζπλδεδεκέλσλ θαη πξνζαξκνζηηθψλ κνλάδσλ, νη νπνίεο ζπληζηνχλ έλα παξάιιειν πνιχπινθν ππνινγηζηηθφ κνληέιν. Μέρξη ζήκεξα έρνπλ εθαξκνζηεί επηηπρεκέλα ζε έλα επξχ θάζκα πεξηνρψλ γηα ηελ επίιπζε πξνβιεκάησλ ηαμηλφκεζεο ή πξφβιεςεο, φπσο ε Βηνινγία, ε Ιαηξηθή, ε Γεσινγία, ε Φπζηθή θ.α. Σα Σερλεηά Νεπξσληθά Γίθηπα απνηεινχλ κηα πξνζπάζεηα πξνζέγγηζεο ηεο ιεηηνπξγίαο ηνπ αλζξψπηλνπ εγθεθάινπ. Μπνξνχλ λα εθηεινχλ ππνινγηζκνχο κε καδηθφ παξάιιειν ηξφπν θαη ε αξρηηεθηνληθή ηνπο βαζίδεηαη ζηελ αξρηηεθηνληθή ησλ βηνινγηθψλ Νεπξσληθψλ Γηθηχσλ. Έλα ηππηθφ κνληέιν απνηειείηαη απφ δηάθνξα επίπεδα κνλάδσλ επεμεξγαζίαο. Η κνλάδα επεμεξγαζίαο κπνξεί λα ζεσξεζεί σο έλαο πξαγκαηηθφο λεπξψλαο ή νκάδα λεπξψλσλ. Κάζε κνλάδα αζξνίδεη πιεξνθνξία απφ άιιεο κνλάδεο, εθηειεί έλα απιφ ππνινγηζκφ ζε απηφ ην άζξνηζκα θαη πεξλά ην απνηέιεζκα ζε άιιεο κνλάδεο. Η επίδξαζε κηαο κνλάδαο ζε κηα άιιε εμαξηάηαη απφ ηε βαξχηεηα ηεο κεηαμχ ηνπο δηαζχλδεζεο. θνπφο ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ είλαη λα δεηρζεί αλ ηα κνληέια πνπ βαζίδνληαη ζε απηέο ηηο απιέο αξρέο κπνξνχλ λα εθηειέζνπλ ηνπο ππνινγηζκνχο πνπ εθηειεί ν αλζξψπηλνο εγθέθαινο. Γειαδή αλ κπνξνχλ λα κεηαδψζνπλ πιεξνθνξίεο ζρεηηθά κε ηα εξεζίζκαηα πνπ ιακβάλνπλ. Σα δίθηπα εθπαηδεχνληαη ψζηε λα αλαγλσξίδνπλ θαη λα επηηεινχλ κηα ζπγθεθξηκέλε δηεξγαζία. Η εθπαίδεπζή ηνπο γίλεηαη κε ηελ αιιαγή ησλ ηηκψλ ησλ βαξψλ ηνπο. Έρνπλ πεηχρεη αξθεηά εληππσζηαθά απνηειέζκαηα αιιά έρνπλ θαη θάπνηνπο πεξηνξηζκνχο. Οη πεξηνξηζκνί δεκηνπξγνχληαη ζπρλά φηαλ ην κέγεζνο θαη ε πνιππινθφηεηα ηνπ ζπζηήκαηνο απμάλνπλ. Σα Νεπξσληθά Γίθηπα δελ είλαη απνηειεζκαηηθά ζε ππνινγηζκνχο φπνπ ε αξηζκεηηθή αθξίβεηα είλαη ζεκαληηθφο παξάγνληαο. Τπάξρνπλ πνιιά κνληέια δηθηχσλ αλάινγα κε ηελ αξρηηεθηνληθή ηνπο, ηνλ ηξφπν ιεηηνπξγίαο θαη εθπαίδεπζεο. Η αλάπηπμε ησλ Νεπξσληθψλ Γηθηχσλ έρεη πεξάζεη πνιιέο θάζεηο, άιιεο ήηαλ πνιχ ελδηαθέξνπζεο κε κεγάια επηηεχγκαηα θαη άιιεο φρη ηφζν. Απφ ην 1980 θαη κεηά απηή ε επηζηήκε έρεη εμειηρζεί πνιχ θαη εθαξκφδεηαη ζε δηάθνξνπο ηνκείο ηεο δσήο φπσο ζηελ νηθνλνκία, ζηελ εθπαίδεπζε, ζηελ αζθάιεηα θηι. 8

9 ΚΕΦΑΛΑΙΟ 1 ΣΕΧΝΗΣΑ ΝΕΤΡΩΝΙΚΑ ΔΙΚΣΤΑ 1.1 Διζαγυγή ζηα Νεςπυνικά Γίκηςα Σα Σερλεηά Νεπξσληθά Γίθηπα είλαη απινπνηεκέλα κνληέια ηνπ θεληξηθνχ λεπξηθνχ ζπζηήκαηνο ηνπ αλζξψπνπ. Μηκνχληαη ηε ιεηηνπξγία ησλ βηνινγηθψλ λεπξψλσλ ηνπ εγθεθάινπ θαη ηε δνκή ησλ βηνινγηθψλ Νεπξσληθψλ Γηθηχσλ. Απνηεινχληαη απφ δηαζπλδεδεκέλα ππνινγηζηηθά ζηνηρεία πνπ έρνπλ ηελ ηθαλφηεηα λα αληαπνθξίλνληαη ζε εξεζίζκαηα πνπ δέρνληαη ζηελ είζνδφ ηνπο θαη λα καζαίλνπλ λα πξνζαξκφδνληαη ζην πεξηβάιινλ ηνπο. Η έξεπλα ζρεηηθά κε ηα Σερλεηά Νεπξσληθά Γίθηπα είλαη εκπλεπζκέλε απφ ηε δνκή θαη ηε ιεηηνπξγία ηνπ εγθεθάινπ. Βαζηθφ δνκηθφ ζηνηρείν ηνπ εγθεθάινπ είλαη νη λεπξψλεο, δειαδή ηα λεπξηθά θχηηαξα ηα νπνία δεκηνπξγνχλ έλα ππθλφ δίθηπν επηθνηλσλίαο κεηαμχ ηνπο. Κίλεηξν γηα ηε κειέηε ηνπ λεπξψλα θαη ησλ Νεπξσληθψλ Γηθηχσλ είλαη ε ειπίδα αλαθάιπςεο ελφο λένπ ππνινγηζηηθνχ κνληέινπ κε δηθηπαθή δνκή παξφκνηα κε απηή ηνπ εγθεθάινπ. Απηή ε θαηλνχξηα ππνινγηζηηθή πιαηθφξκα γλσζηή σο Connectonst Model, ζα είλαη πην θαηάιιειε γηα αλάπηπμε επθπψλ αιγνξίζκσλ θαη γεληθφηεξα δηαδηθαζηψλ πνπ ζρεηίδνληαη κε ηε λνεκνζχλε, φπσο ε κάζεζε, ε κλήκε, ε γελίθεπζε, ε νκαδνπνίεζε πξνηχπσλ θ.ι.π [1]. Σα ζπλήζε Σερλεηά Νεπξσληθά Γίθηπα ρξεζηκνπνηνχλ πνιχ απινπνηεκέλα κνληέια λεπξψλσλ ηέηνηα ψζηε λα δηαηεξνχλ κφλν ηα πνιχ αδξά ραξαθηεξηζηηθά ησλ ιεπηνκεξψλ κνληέισλ πνπ ρξεζηκνπνηνχληαη ζηε λεπξνινγία. Σα ηερλεηά λεπξσληθά κνληέια έρνπλ δειαδή ειάρηζηε ζρέζε κε ηα βηνινγηθά λεπξσληθά ζπζηήκαηα. Ωζηφζν νη ιεπηνκέξεηεο δελ έρνπλ ηδηαίηεξε ζεκαζία ζηελ θαηαλφεζε ηεο επθπνχο ζπκπεξηθνξάο ησλ βηνινγηθψλ λεπξσληθψλ ζπζηεκάησλ. Αθφκε θαη απηά ηα απιά κνληέια κπνξνχλ λα δεκηνπξγήζνπλ ελδηαθέξνληα δίθηπα αξθεί λα πιεξνχλ δχν βαζηθά ραξαθηεξηζηηθά: 1. νη λεπξψλεο λα έρνπλ ξπζκηδφκελεο παξακέηξνπο ψζηε λα δηεπθνιχλεηαη ε δηαδηθαζία ηεο κάζεζεο- ηδηφηεηα γλσζηή σο πιαζηηθφηεηα ησλ λεπξψλσλ 2. ην δίθηπν λα απνηειείηαη απφ πνιινχο λεπξψλεο ψζηε λα επηηπγράλεηαη παξαιιειηζκφο ηεο επεμεξγαζίαο θαη θαηαλνκή ηεο πιεξνθνξίαο Σα ΣΝΓ «κνηάδνπλ» κε ηνλ εγθέθαιν ζηα εμήο ζεκεία: ε γλψζε απνθηάηαη απφ ην δίθηπν κέζα απφ κηα δηαδηθαζία κάζεζεο εθπαίδεπζεο ε γλψζε απνζεθεχεηαη ζηηο δπλάκεηο ζχλδεζεο ησλ λεπξψλσλ, νη νπνίεο είλαη ηα ζπλαπηηθά (synaptc) βάξε. 9

10 Σν αληηθείκελν ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ είλαη ε αλάπηπμε θαηάιιεισλ αιγνξίζκσλ εθπαίδεπζεο θαη αλάθιεζεο ηεο πιεξνθνξίαο πνπ απηά πεξηέρνπλ έηζη ψζηε λα πξνζνκνηάδνληαη επθπείο δηαδηθαζίεο. Γηα λα γίλεη απηφ, πξέπεη λα νξίζνπκε ην θαηάιιειν πεξηβάιινλ εθπαίδεπζεο, πρ. αλ ην δίθηπν ζα εθπαηδεχεηαη κε επίβιεςε, δειαδή κε ηε ρξήζε θάπνησλ δεδνκέλσλ νδεγψλ-δαζθάισλ, ή αλ ην δίθηπν ζα αθήλεηαη κφλν ηνπ λα απηννξγαλσζεί θαη κε πνην ζπγθεθξηκέλν θξηηήξην θαη ζηφρν. Η ζεκειηψδεο κνλάδα επεμεξγαζίαο ηεο πιεξνθνξίαο ζηα ΣΝΓ είλαη ν λεπξψλαο (neuron) ή θφκβνο (node). 1.2 Ιζηοπική Αναδπομή Σα Νεπξσληθά Γίθηπα είλαη ζρεηηθά κηα λέα πεξηνρή θαη δελ ππάξρεη νπζηαζηηθά κεγάιε πξντζηνξία, φπσο ζε άιιεο επηζηήκεο. Ξεθίλεζε ζε δηεζλέο επίπεδν θαηά ηηο ηειεπηαίεο δεθαεηίεο, αιιά ε κεγάιε ψζεζε ζε απηά δφζεθε κεηά ην απηφ βνήζεζε ε κεγάιε αλάπηπμε ηνπ πιηθνχ/ινγηζκηθνχ ησλ Η/Τ αιιά θαη ε αλάπηπμε λέσλ αιγνξίζκσλ εθπαίδεπζεο [24]. Σν πξψην κνληέιν Νεπξσληθνχ Γηθηχνπ ην νπνίν πξνηείλεη φηη νη λεπξψλεο είλαη ε βαζηθή κνλάδα ηνπ δηθηχνπ, παξνπζηάζζεθε ην 1943 απφ ηνπο McCulloch θαη Ptts. ηελ εξγαζία ηνπο παξνπζίαζαλ γηα πξψηε θνξά ηελ ηδέα φηη έλα Νεπξσληθφ Γίθηπν απνηειείηαη απφ έλα ζχλνιν ελφο κεγάινπ αξηζκνχ λεπξψλσλ θαη έδεημαλ πψο ζα κπνξνχζαλ λα ιεηηνπξγνχλ νη λεπξψλεο κε ηηο δηαζπλδέζεηο ηνπο. Απηή ζεσξείηαη ε πξψηε εηθφλα ελφο Νεπξσληθνχ Γηθηχνπ. Σν 1947, νη ίδηνη ζπγγξαθείο, πξνρψξεζαλ ζε έλα πην εμειηγκέλν πξφηππν γηα ηελ αλαγλψξηζε ζρεκάησλ. απηφ ην πξφηππν, ν λεπξψλαο ζεσξείηαη φηη κπνξεί λα έρεη κφλν δχν θαηαζηάζεηο, νη νπνίεο είλαη φηη είηε ππξνδνηεί ή βξίζθεηαη ζε εξεκία. Μπνξεί λα έρεη πνιιέο εηζφδνπο αιιά δίλεη κία κφλν έμνδν. Οη έμνδνη απφ δηαθνξεηηθνχο λεπξψλεο δελ επηηξέπεηαη λα ελψλνληαη, αιιά πξέπεη ππνρξεσηηθά λα νδεγνχλ ζε είζνδν άιινπ λεπξψλα. Οη απνιήμεηο ησλ λεπξψλσλ είλαη δχν εηδψλ: δηεγεξηηθέο θαη αλαζηαιηηθέο. Όηαλ ν λεπξψλαο ππξνδνηεί, ζηέιλεη έλα παικφ. Οη ιεηηνπξγίεο απηέο γίλνληαη πάληα ζε δηαθξηηφ ρξφλν θαη ππνηίζεηαη φηη φινη νη λεπξψλεο απνθξίλνληαη ηαπηφρξνλα, δειαδή ην ζχζηεκα δξα ζπγρξνληζκέλα. Σα δίθηπα McCulloch-Ptts πξνζπαζνχλ λα εμεγήζνπλ γηα πξψηε θνξά πψο δνπιεχεη ε κλήκε. Θεσξνχλ φηη έλαο πηζαλφο κεραληζκφο κλήκεο κπνξεί λα είλαη ε χπαξμε θιεηζηψλ δηαδξνκψλ ηνπ ζήκαηνο κέζα ζην δίθηπν. Έηζη, κηα ίλα ελψλεη ηελ έμνδν ελφο θπηηάξνπ κε ην ζεκείν εηζφδνπ ζην ίδην θχηηαξν, δεκηνπξγψληαο έλαλ κεραληζκφ αλάδξαζεο (feedback). 10

11 Σηο εξγαζίεο ησλ McCulloch-Ptts ρξεζηκνπνίεζε ιίγα ρξφληα αξγφηεξα ν J. Von Neumann σο παξάδεηγκα γηα ππνινγηζηηθέο κεραλέο θαη ηφηε έγηλαλ θαη νη πξψηεο πξνζπάζεηεο άληιεζεο πιεξνθνξηψλ απφ ηα βηνινγηθά δίθηπα θαη δεκηνπξγίαο ησλ πξψησλ ηερλεηψλ δηθηχσλ. Σν 1949 ν D. Hebb κε ην βηβιίν ηνπ «The organzaton of behavor», εηζάγεη ηνλ θαλφλα κάζεζεο ηνπ Hebb. Σν κνληέιν ηνπ Hebb έρεη σο θεληξηθή ηδέα ηηο ζπλδέζεηο κεηαμχ κνλάδσλ ηνπ ζπζηήκαηνο, δειαδή ηνπο λεπξψλεο. Ο θαλφλαο απηφο ιέεη φηη θάζε θνξά πνπ ην δίθηπν ρξεζηκνπνηεί ηηο λεπξσληθέο ηνπ ζπλδέζεηο, νη ζπλδέζεηο απηέο εληζρχνληαη θαη ην δίθηπν πιεζηάδεη πεξηζζφηεξν ζην λα κάζεη ην πξφηππν ην νπνίν παξνπζηάδεηαη. Σν κνληέιν ηνπ αηζζεηήξα (Perceptron) παξνπζηάζζεθε γηα πξψηε θνξά ην 1957 απφ ηνλ F. Rosenblatt, ν νπνίνο αξρηθά έθηηαμε ην πξψην δίθηπν κε πιηθφ (hardware) πνπ κπνξνχζε λα θάλεη πνιιέο θαη δηάθνξεο εξγαζίεο. Δίλαη έλα πνιχ απιφ κνληέιν κε δχν επίπεδα, ηεο εηζφδνπ θαη ηεο εμφδνπ, φπνπ ην ζήκα πξνρσξά κνλνδξνκηθά απφ ηελ είζνδν ζηελ έμνδν. ην βηβιίν «Perceptrons» ησλ Mnsky θαη Papert γίλεηαη κηα εθηίκεζε ηεο ρξεζηκφηεηαο ηνπ πξνηχπνπ απηνχ, παξνπζηάδνληαη φκσο θαη νη πεξηνξηζκνί ηνπ. Σελ ίδηα πεξίπνπ επνρή κε ηελ αλάπηπμε ηνπ Perceptron, νη Wdrow θαη Hoff αλέπηπμαλ ην 1959 δχν λέα κνληέια ην Adalne θαη ην Madalne. Απηά ηα δχν κνληέια ήηαλ απφ ηα πξψηα πνπ ρξεζηκνπνηήζεθαλ επηηπρψο ζε πξαθηηθά πξνβιήκαηα: Υξεζηκνπνηήζεθαλ σο θίιηξα γηα λα εμαιείςνπλ ηελ ερψ ζε ηειεθσληθέο γξακκέο. Σν 1982 ν Hopfeld έδσζε κεγάιε ψζεζε ζηελ αλάπηπμε ησλ Νεπξσληθψλ Γηθηχσλ. ε κηα εξγαζία ηνπ απέδεημε κε απζηεξά καζεκαηηθή απφδεημε πψο έλα Νεπξσληθφ Γίθηπν κπνξεί λα ρξεζηκνπνηεζεί σο απνζεθεπηηθφο ρψξνο θαη επίζεο πψο κπνξεί λα επαλαθηήζεη φιε ηελ πιεξνθνξία ελφο ζπζηήκαηνο έζησ θαη αλ ηνπ δνζνχλ κεξηθά κφλν ηκήκαηα θαη φρη νιφθιεξν ην ζχζηεκα. Έλα επφκελν ζεκαληηθφ βήκα ήηαλ ε πξφνδνο ζηελ δηαδηθαζία εθπαίδεπζεο ησλ δηθηχσλ φηαλ επηλνήζεθε ν θαλφλαο ηεο δηφξζσζεο ηνπ ζθάικαηνο (error correcton learnng). Καηά ηελ εθπαίδεπζε ελφο δηθηχνπ, ζε φπνηα θαηάζηαζε θαη αλ βξίζθεηαη απηφ ζε κηα δεδνκέλε ζηηγκή, ζεκαζία έρεη ε απφθιηζε πνπ δίλεη ζηελ έμνδφ ηνπ ην δίθηπν απφ ηελ αλακελφκελε ηηκή ή ηνλ ζηφρν πνπ έρνπκε ζέζεη. Απηή ε απφθιηζε είλαη ην ζθάικα πνπ παξάγεη ην δίθηπν ηελ δεδνκέλε ζηηγκή. Σν ζθάικα ελεξγνπνηεί έλα κεραληζκφ ειέγρνπ ψζηε λα επηθέξεη κηα ζεηξά απφ δηνξζσηηθέο αιιαγέο ζηα βάξε w ησλ λεπξψλσλ [12]. Σν 1986 δεκνζηεχεηαη έλα άιιν ζεκαληηθφ έξγν απφ ηνπο McClelland θαη Rumelhart, ην «Parallel Dstrbuted Processng», ζην νπνίν παξνπζηάδεηαη ε ηδέα πψο έλα Νεπξσληθφ Γίθηπν κπνξεί λα ρξεζηκνπνηεζεί σο παξάιιεινο επεμεξγαζηήο. Σν έξγν απηφ επηηξέπεη ηελ χπαξμε θαη άιισλ επηπέδσλ λεπξψλσλ, εθηφο απφ ηελ είζνδν θαη ηελ έμνδν, πνπ απνηεινχλ ηελ 11

12 εζσηεξηθή δνκή ηνπ δηθηχνπ. Πξνηείλνπλ κία λέα δηαδηθαζία εθπαίδεπζεο, ηελ κέζνδν ηεο νπηζζνδηάδνζεο (back-propagaton) ε νπνία είλαη ζήκεξα ε πην ρξήζηκε ηερληθή εθπαίδεπζεο δηθηχσλ [5]. Απφ ην 1985 θαη κεηά αξρίδνπλ ηα πξψηα ζπλέδξηα πνπ είλαη αθηεξσκέλα απνθιεηζηηθά ζε Νεπξσληθά Γίθηπα, απφ ηελ Amercan Physcal Socety θαη απφ ηελ IEEE. Σαπηφρξνλα δεκηνπξγνχληαη εηδηθέο επαγγεικαηηθέο εηαηξίεο Νεπξσληθψλ Γηθηχσλ κε ρηιηάδεο κέιε. 1.3 Βιολογικά Νεςπυνικά Γίκηςα Σν έξγν ζην επηζηεκνληθφ πεδίν ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ βαζίζηεθε ζην γεγνλφο φηη ν αλζξψπηλνο εγθέθαινο εθηειεί ηνπο ππνινγηζκνχο κε εληειψο δηαθνξεηηθφ ηξφπν απφ ην ζπκβαηηθφ ππνινγηζηή. Η αλαινγία κεηαμχ λεπξνθπζηνινγίαο ηνπ αλζξψπηλνπ εγθεθάινπ θαη Σερλεηψλ Νεπξσληθψλ Γηθηχσλ είλαη πνιχ ζεκαληηθή γηα ηελ θαηαλφεζε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ. Ο λεπξψλαο είλαη έλαο εμεηδηθεπκέλνο ηχπνο θπηηάξνπ πνπ απνηειεί ηε βαζηθή κνλάδα ησλ ζπζηεκάησλ επεμεξγαζίαο πιεξνθνξηψλ πνπ απαξηίδνπλ ην λεπξηθφ ζχζηεκα ηνπ αλζξψπνπ [3]. Δίλαη ην βαζηθφ δνκηθφ ζηνηρείν ηνπ εγθεθάινπ ηφζν ζηνλ άλζξσπν φζν θαη ζηα δψα. Ο εγθέθαινο ελφο λενγέλλεηνπ αλζξψπνπ απνηειείηαη απφ πεξίπνπ 100 δηζεθαηνκκχξηα λεπξψλεο θάζε έλαο απφ ηνπο νπνίνπο ζπλδέεηαη κε πεξίπνπ 1000 άιινπο λεπξψλεο. Απηφ πξαγκαηνπνηείηαη κέζσ ηνπ άμνλα θάζε λεπξψλα ζηνλ νπνίν θαηαιήγνπλ ηζάξηζκνη δελδξίηεο άιισλ λεπξψλσλ [11, 13]. Δθηηκάηαη φηη ν κέζνο αλζξψπηλνο εγθέθαινο απνηειείηαη απφ 10 9 λεπξψλεο πνπ ζπλδένληαη κεηαμχ ηνπο κε δηάθνξνπο ηξφπνπο. Οη λεπξψλεο είλαη ηα ζηνηρεία κλήκεο θαη ινγηθψλ θπθισκάησλ. Αλαηνκηθά ν λεπξψλαο απνηειείηαη απφ ην ζψκα (body) πνπ απνηειεί ηνλ ππξήλα ηνπ, ηνπο δελδξίηεο (dendrtes) κέζσ ησλ νπνίσλ ιακβάλεη ζήκαηα απφ γεηηνληθνχο λεπξψλεο (ζεκεία εηζφδνπ) θαη ηνλ άμνλα (axon) πνπ είλαη ε έμνδνο ηνπ λεπξψλα θαη ην κέζν ζχλδεζήο ηνπ κε άιινπο λεπξψλεο. ε θάζε δελδξίηε ππάξρεη έλα απεηξνειάρηζην θελφ πνπ νλνκάδεηαη ζχλαςε (synapse). Πην ζπγθεθξηκέλα: Οη δελδξίηεο είλαη νη πχιεο εηζφδνπ ηνπ λεπξψλα θαζψο δέρνληαη ειεθηξηθά ζήκαηα απφ άιινπο λεπξψλεο. Ο άμνλαο είλαη ε πχιε εμφδνπ ηνπ λεπξψλα. ηέιλεη ζήκαηα πξνο άιινπο λεπξψλεο ππφ κνξθή ειεθηξηθψλ παικψλ ζηαζεξνχ πιάηνπο αιιά κεηαβιεηήο ζπρλφηεηαο. 12

13 Οη ζπλάςεηο είλαη ηα ζεκεία ζηα νπνία ελψλνληαη νη δηαθιαδψζεηο ηνπ άμνλα ελφο λεπξψλα κε ηνπο δελδξίηεο άιισλ λεπξψλσλ. Δίλαη θχζηεο κε ειεθηξνρεκηθφ πιηθφ (ηφληα θπξίσο Καιίνπ θαη Ναηξίνπ). Σν πιηθφ απηφ κεηαδίδεη ηελ ειεθηξηθή δξαζηεξηφηεηα ηνπ άμνλα- απνζηνιέα ζηνπο δελδξίηεο- παξαιήπηεο. Η επθνιία κε ηελ νπνία ε ειεθηξηθή δξαζηεξηφηεηα κεηαδίδεηαη απφ ηνλ άμνλα ζην δελδξίηε εμαξηάηαη απφ ην πιάηνο ηεο ζχλαςεο, ηελ απφζηαζή ηεο απφ ηνλ δελδξίηε θαη απφ ηελ ππθλφηεηα ηνπ ειεθηξνρεκηθνχ πιηθνχ. Σν πνζνζηφ ηεο ειεθηξηθήο δξαζηεξηφηεηαο πνπ κεηαδίδεηαη ηειηθά ζην δελδξίηε είλαη ην ζπλαπηηθό βάξνο. Οη ζπλάςεηο ρσξίδνληαη ζε εληζρπηηθέο θαη αλαζηαιηηθέο αλάινγα κε ην αλ ην θνξηίν πνπ εθιχεηαη απφ ηελ ζχλαςε εξεζίδεη ηνλ λεπξψλα λα παξάγεη παικνχο κε κεγαιχηεξε ζπρλφηεηα ή αλ ηνλ θαηαζηέιιεη εκπνδίδνληάο ηνλ λα παξάγεη παικνχο αληίζηνηρα. ην επφκελν ζρήκα θαίλεηαη ε αλαπαξάζηαζε ελφο βηνινγηθνχ λεπξψλα [13]. Σχιμα 1: Ζνασ βιολογικόσ νευρϊνασ Σν βαζηθφηεξν ραξαθηεξηζηηθφ ηνπ λεπξψλα είλαη ε επαηζζεζία ηνπ, δειαδή ε ηθαλφηεηά ηνπ λα αληηδξά ζε δηάθνξα εμσηεξηθά εξεζίζκαηα (ειεθηξνκαγλεηηθά, ρεκηθά, ζεξκηθά, κεραληθά θ.α.). Η αληίδξαζε απηή έρεη σο απνηέιεζκα ηελ παξαγσγή παικψλ ζχληνκεο δηάξθεηαο. Απηνί νη παικνί, νη νπνίνη είλαη νη θνξείο πιεξνθνξίαο ζηα βηνινγηθά Νεπξσληθά Γίθηπα, ηαμηδεχνπλ ζηνλ άμνλα θάζε λεπξψλα θαη κέζσ ησλ ζπλάςεσλ δηαδίδνληαη ζηνπο δελδξίηεο ησλ παξαιεπηψλ λεπξψλσλ. Κάζε λεπξψλαο ζπιιέγεη φιν ην ειεθηξηθφ θνξηίν πνπ δέρεηαη απφ θάζε ζχλαςε ζηνπο δελδξίηεο ηνπ. Όζν πην ηζρπξή είλαη κία ζπλαπηηθή δεχμε ηφζν πην πνιχ έληνλα ζπκκεηέρεη ην ζπγθεθξηκέλν θνξηίν εηζφδνπ ζην ζπλνιηθφ άζξνηζκα θνξηίνπ. Αλ ην άζξνηζκα ηνπ θνξηίνπ μεπεξλάεη θάπνην θαηψθιη ηφηε ν άμνλαο ηνπ λεπξψλα αξρίδεη λα παξάγεη ειεθηξηθνχο παικνχο κε κεγάιε ζπρλφηεηα νπφηε ιέκε φηη ν λεπξψλαο ππξνβνιεί. Αλ ην θνξηίν δελ πεξλάεη ην ζπγθεθξηκέλν απηφ φξην ηφηε ν λεπξψλαο 13

14 παξάγεη πνιχ αξαηά παικνχο ζε ηπραίεο ζηηγκέο νπφηε ιέκε φηη ν λεπξψλαο είλαη αδξαλήο. Έηζη βιέπνπκε φηη ν λεπξψλαο είλαη δπαδηθφ ζηνηρείν. Οη αξηζκνί ησλ κνλάδσλ ησλ λεπξψλσλ θαη νη ζπλδέζεηο ηνπο ζηνλ άλζξσπν σο ηάμε κεγέζνπο είλαη πνιχ κεγαιχηεξνη απφ ηνπο αξηζκνχο κνλάδσλ πνπ κπνξεί λα ρεηξηζηεί εχθνια ζήκεξα έλαο ππνινγηζηήο. Απηφ είλαη ινγηθφ εμαηηίαο ηεο πνιππινθφηεηαο ηνπ αλζξψπηλνπ εγθεθάινπ θαη ησλ δηεξγαζηψλ πνπ επηηειεί. Σα Σερλεηά Νεπξσληθά Γίθηπα δελ κπνξνχλ λα θάλνπλ πξάγκαηα πνπ ν εγθέθαινο αθφκα θαη ελφο παηδηνχ θάλεη πνιχ εχθνια. Έλα ΣΝΓ κπνξεί λα έρεη κεξηθέο εθαηνληάδεο ή ρηιηάδεο λεπξψλεο, αιιά φρη ηελ ηάμε κεγέζνπο πνπ έρεη ν αλζξψπηλνο εγθέθαινο. Απφ ηελ άιιε πιεπξά ηα ΣΝΓ κπνξνχλ λα ιχζνπλ δχζθνια καζεκαηηθά πξνβιήκαηα, φπσο είλαη ε αλαγλψξηζε ζπζηήκαηνο, ε πξφβιεςε θ.α., ζηα νπνία ν αλζξψπηλνο εγθέθαινο δελ ηα θαηαθέξλεη θαιά. Η πην ζεκαληηθή δηαθνξά κεηαμχ ησλ βηνινγηθψλ Νεπξσληθψλ Γηθηχσλ θαη ησλ ΣΝΓ είλαη ζηηο ζπλάςεηο. Οη ζπλάςεηο θαζψο θαη ε ζπλδεζκνινγία ηνπο είλαη πνιχ πεξίπινθεο ζηα βηνινγηθά Νεπξσληθά Γίθηπα ελψ ζηα ΣΝΓ είλαη πνιχ απιέο. Δπίζεο ε ηαρχηεηα ζηνπο ππνινγηζηέο είλαη ρηιηάδεο θνξέο κεγαιχηεξε απφ ηελ ηαρχηεηα δηάδνζεο ηνπ ζήκαηνο ζηα βηνινγηθά Νεπξσληθά Γίθηπα. Παξφια απηά, ε δηαθνξά ζηελ ηαρχηεηα δελ επαξθεί γηα λα θαιχςεη ηελ δηαθνξά ζηελ πνιππινθφηεηα. Δλψ ν αλζξψπηλνο εγθέθαινο καζαίλεη θαη θαηαιαβαίλεη πνιχ γξήγνξα, ε κάζεζε ζην ΣΝΓ παίξλεη πνιχ ρξφλν, αθφκα θαη ζηνλ πην γξήγνξν ππνινγηζηή. Σέινο, ν εγθέθαινο κπνξεί λα θάλεη ζχγρξνλε ή αζχγρξνλε ελεκέξσζε ησλ κνλάδσλ ηνπ (δει. ζε ζπλερή ρξφλν), ελψ ην ΣΝΓ θάλεη κφλν ζχγρξνλε ελεκέξσζε, δει. ζε δηαθξηηφ ρξφλν [1, 4]. 1.4 Πλεονεκηήμαηα Τεσνηηών Νεςπυνικών Γικηύυν Έλα Νεπξσληθφ Γίθηπν νθείιεη ηελ ππνινγηζηηθή ηνπ ηζρχ θαηά πξψηνλ ζηελ παξάιιειε, θαηαλεκεκέλε δνκή ηνπ θαη θαηά δεχηεξνλ ζηελ ηθαλφηεηά ηνπ λα καζαίλεη θαη, σο εθ ηνχηνπ, λα γεληθεχεη. Ο φξνο γελίθεπζε αλαθέξεηαη ζηελ παξαγσγή, απφ ην Νεπξσληθφ Γίθηπν, ινγηθψλ εμφδσλ γηα εηζφδνπο ηηο νπνίεο δελ έρεη ζπλαληήζεη θαηά ηελ δηάξθεηα ηεο εθπαίδεπζήο ηνπ. Απηέο νη δχν δπλαηφηεηεο δίλνπλ ζηα Νεπξσληθά Γίθηπα ηε δπλαηφηεηα λα βξίζθνπλ θαιέο πξνζεγγηζηηθέο ιχζεηο ζε πνιχπινθα πξνβιήκαηα, ηα νπνία είλαη κε επηδεθηηθά ζε ιχζεηο. Σα Νεπξσληθά Γίθηπα πξνζθέξνπλ ηηο αθφινπζεο ρξήζηκεο ηδηφηεηεο [5]: 1. Με γξακκηθόηεηα. Έλαο ηερλεηφο λεπξψλαο κπνξεί λα είλαη είηε γξακκηθφο, είηε κε γξακκηθφο. Έλα ΣΝΓ πνπ απνηειείηαη απφ δηαζπλδεδεκέλνπο κε γξακκηθνχο λεπξψλεο 14

15 είλαη κε γξακκηθφ. Απηή ε ηδηφηεηα είλαη πνιχ ζεκαληηθή, θπξίσο αλ ν ππνθείκελνο θπζηθφο κεραληζκφο πνπ παξάγεη ην ζήκα εηζφδνπ (π.ρ. νκηιία) είλαη εθ θχζεσο κε γξακκηθφο. 2. Αληηζηνίρηζε Δηζόδνπ-Δμόδνπ. Έλα δεκνθηιέο παξάδεηγκα κάζεζεο, ε μάθηζη με εκπαιδεςηή ή επιβλεπόμενη μάθηζη, ζπλίζηαηαη ζηελ ηξνπνπνίεζε ησλ ζπλαπηηθψλ βαξψλ ελφο Νεπξσληθνχ Γηθηχνπ εθαξκφδνληαο έλα ζχλνιν παπαδειγμάηυν εκπαίδεςζηρ. Κάζε παξάδεηγκα απνηειείηαη απφ έλα κνλαδηθφ ζήκα εηζφδνπ θαη κηα αληίζηνηρε επηζπκεηή απφθξηζε (ζηφρνο). Σα ζπλαπηηθά βάξε ηξνπνπνηνχληαη έηζη ψζηε λα ειαρηζηνπνηεζεί ε δηαθνξά κεηαμχ ηεο επηζπκεηήο απφθξηζεο θαη ηεο πξαγκαηηθήο απφθξηζεο ηνπ δηθηχνπ. Σφηε ην δίθηπν θηάλεη ζε κηα επζηαζή θαηάζηαζε φπνπ δελ ππάξρνπλ άιιεο αιιαγέο βαξψλ. Αλ θαη ηα ΣΝΓ δελ είλαη ηα κφλα ζπζηήκαηα κε ηθαλφηεηα κάζεζεο κέζσ παξαδεηγκάησλ, εληνχηνηο δηαθξίλνληαη γηα ηελ ηθαλφηεηα ηνπο λα νξγαλψλνπλ ηελ πιεξνθνξία ησλ δεδνκέλσλ εηζφδνπ ζε ρξήζηκεο κνξθέο. Απηέο νη κνξθέο απνηεινχλ ζηελ νπζία έλα κνληέιν πνπ αλαπαξηζηά ηε ζρέζε πνπ ηζρχεη κεηαμχ ησλ δεδνκέλσλ εηζφδνπ θαη εμφδνπ. 3. Παξάιιεινο ηξόπνο ιεηηνπξγίαο. Σα Νεπξσληθά Γίθηπα ιεηηνπξγνχλ κε παξάιιειν ηξφπν γηαηί κηα εξγαζία κνηξάδεηαη ζηα δηάθνξα ηκήκαηα ηνπ δηθηχνπ, δειαδή ζε φινπο ηνπο επηκέξνπο λεπξψλεο. Έηζη ηα Νεπξσληθά Γίθηπα είλαη ζπζηήκαηα «παξάιιεισλ θαηαλεκεκέλσλ δηεξγαζηψλ». Απηφ παξέρεη κεγάιεο ηαρχηεηεο γηαηί είλαη ζαλ λα έρνπκε ηαπηφρξνλα πνιινχο επεμεξγαζηέο. 4. Πξνζαξκνζηηθόηεηα. Σα Νεπξσληθά Γίθηπα έρνπλ ηελ δπλαηφηεηα λα πξνζαξκφδνπλ ηα ζπλαπηηθά ηνπο βάξε αλάινγα κε ηηο κεηαβνιέο πνπ γίλνληαη ζην πεξηβάιινλ ηνπο. Έλα ΣΝΓ εθπαηδεπκέλν λα ιεηηνπξγεί ζε ζπγθεθξηκέλν πεξηβάιινλ, κπνξεί εχθνια λα επαλεθπαηδεπηεί ψζηε λα κπνξεί λα ρεηξίδεηαη ηηο κεηαβνιέο ζην λέν πεξηβάιινλ ιεηηνπξγίαο ηνπ. 5. Αλνρή ζε βιάβεο (fault-tolerant). Έλα Νεπξσληθφ Γίθηπν πινπνηεκέλν ζε hardware έρεη ηελ δπλαηφηεηα λα είλαη αλεθηηθφ ζε βιάβεο ή εχξσζην, ππφ ηελ έλλνηα φηη ε απφδνζή ηνπ κεηψλεηαη βαζκηαία θαη νκαιά ππφ αληίμνεο ζπλζήθεο ιεηηνπξγίαο. Αλ έλαο λεπξψλαο ή νη ζπλδέζεηο ηνπ θαηαζηξαθνχλ, ε πνηφηεηα ηεο εμφδνπ κεηψλεηαη. Ωζηφζν επεηδή ε πιεξνθνξία πνπ απνζεθεχεηαη ζην δίθηπν είλαη θαηαλεκεκέλε ζε φιε ηε δνκή ηνπ, ε βιάβε ζα πξέπεη λα ιάβεη κεγάιε έθηαζε γηα λα αξρίζεη λα κεηψλεηαη ζνβαξά ε ζπλνιηθή απφθξηζε ηνπ δηθηχνπ. 15

16 6. Οκνηνκνξθία αλάιπζεο θαη ζρεδίαζεο. Σα Νεπξσληθά Γίθηπα απνιακβάλνπλ θαζνιηθήο απνδνρήο σο επεμεξγαζηέο πιεξνθνξηψλ, ππφ ηελ έλλνηα φηη ρξεζηκνπνηείηαη ε ίδηα ζεκεηνγξαθία ζε φια ηα πεδία εθαξκνγήο ηνπο. Οη λεπξψλεο αληηπξνζσπεχνπλ έλα ζπζηαηηθφ θνηλφ ζε φια ηα Νεπξσληθά Γίθηπα θαη απηφ θαζηζηά εθηθηή ηε ρξήζε ησλ ίδησλ ζεσξηψλ θαη αιγνξίζκσλ κάζεζεο ζε δηαθνξεηηθέο εθαξκνγέο ησλ Νεπξσληθψλ Γηθηχσλ. 7. Αλαινγία κε ηε λεπξνθπζηνινγία ηνπ εγθεθάινπ. Η ζρεδίαζε ελφο Νεπξσληθνχ Γηθηχνπ δαλείδεηαη ζηνηρεία απφ ηε ιεηηνπξγία ηνπ αλζξψπηλνπ εγθεθάινπ, ν νπνίνο είλαη ε δσληαλή απφδεημε φηη ε εχξσζηε, παξάιιειε επεμεξγαζία δελ είλαη κφλν θπζηθά εθηθηή, αιιά επίζεο γξήγνξε θαη ηζρπξή. Σα ΣΝΓ, φπσο θαη ηα βηνινγηθά, έρνπλ κεγάιε αλνρή ζε δνκηθά ζθάικαηα. Απηφ ζεκαίλεη φηη ε θαθή ιεηηνπξγία ή ε θαηαζηξνθή ελφο λεπξψλα ή θάπνησλ ζπλδέζεσλ δελ είλαη ηθαλή λα δηαηαξάμεη ζεκαληηθά ηε ιεηηνπξγία ηνπο θαζψο ε πιεξνθνξία πνπ εζσθιείνπλ δελ είλαη εληνπηζκέλε ζε ζπγθεθξηκέλν ζεκείν αιιά δηάρπηε ζε φιν ην δίθηπν. Γεληθά, ην κέγεζνο ηνπ ζθάικαηνο ιφγσ «δνκηθψλ αζηνρηψλ» είλαη αλάινγν ηνπ πνζνζηνχ ησλ θαηεζηξακκέλσλ ζπλδέζεσλ. 8. Η δπλαηόηεηα ζεώξεζήο ηνπο σο θαηαλεκεκέλε κλήκε (dstrbuted memory) θαη σο κλήκε ζπζρέηηζεο (assocatve memory). Ο ραξαθηεξηζκφο ησλ ΣΝΓ σο καηανεμημένη μνήμη, πεγάδεη απφ ην φηη ε θσδηθνπνίεζε πνπ δεκηνπξγνχλ είλαη θαηαλεκεκέλε ζε φια ηα βάξε ηεο ζπλδεζκνινγία ηνπο. Γηα ηνλ ίδην ιφγν ηα ΣΝΓ ραξαθηεξίδνληαη θαη σο μνήμερ ζςζσέηιζηρ. Μηα κλήκε ζπζρέηηζεο δελ απνζεθεχεη πιεξνθνξία κε ηνλ παξαδνζηαθφ ηξφπν αιιά κέζσ θαηάιιεισλ ζπζρεηίζεσλ πνπ δεκηνπξγεί απφ ηα δεδνκέλα εθπαίδεπζεο. Η αλάθιεζε ηεο πιεξνθνξίαο γίλεηαη κε βάζε ην πεξηερφκελν θαη φρη ηε δηεχζπλζε, φπσο δειαδή ζπκβαίλεη θαη κε ηνλ αλζξψπηλν εγθέθαιν. Η παξαπάλσ νξγάλσζε θάλεη νξηζκέλα είδε ΣΝΓ λα είλαη πνιχ αλεθηηθά ζε κηθξέο αιιαγέο ζηα ζήκαηα εηζφδνπ, δειαδή είλαη ζε ζέζε λα παξάγνπλ ηε ζσζηή έμνδν αθφκε θαη αλ ηα δεδνκέλα εηζφδνπ είλαη ιίγν δηαθνξεηηθά (γηα παξάδεηγκα, ιφγσ ζνξχβνπ) ή θαη ειιηπή. 9. Η ηθαλόηεηά ηνπο γηα αλαγλώξηζε πξνηύπσλ (pattern recognton). Σέινο, ηα ΣΝΓ έρνπλ εμαηξεηηθή ηθαλφηεηα αλαγλψξηζεο πξνηχπσλ θαζψο δελ επεξεάδνληαη απφ ειιηπή ή/θαη κε ζφξπβν δεδνκέλα. Απφ ηε ζηηγκή πνπ έλα ΣΝΓ εθπαηδεπηεί ζην λα αλαγλσξίδεη ζπλζήθεο θαη θαηαζηάζεηο, απαηηείηαη έλαο κφλν θχθινο ιεηηνπξγίαο ηνπο γηα λα πξνζδηνξίζνπλ κηα ζπγθεθξηκέλε θαηάζηαζε. Η ηειεπηαία ηδηφηεηα θάλεη έλα ΣΝΓ ηδαληθφ γηα ρξήζε ζε απηνκαηηζκνχο πνπ ζα ιεηηνπξγήζνπλ ζε αληίμνεο ζπλζήθεο, φπσο 16

17 γηα παξάδεηγκα ζε δηαζηεκηθέο απνζηνιέο, ζε ρψξνπο κε ξαδηελέξγεηα θαη ζε πεδία κάρεο. 1.5 Το μονηέλο ηος ηεσνηηού νεςπώνα Ο ηερλεηφο λεπξψλαο (artfcal neuron) είλαη έλα ππνινγηζηηθφ κνληέιν ηα κέξε ηνπ νπνίνπ κπνξεί λα αληηζηνηρηζηνχλ άκεζα κε απηά ηνπ βηνινγηθνχ λεπξψλα. Έλαο ηερλεηφο λεπξψλαο δέρεηαη θάπνηα ζήκαηα εηζφδνπ x 1, x 2,, x n θαη θάζε ηέηνην ζήκα κεηαβάιιεηαη απφ κηα ηηκή βάξνπο w (weght), ν ξφινο ηεο νπνίαο είλαη αληίζηνηρνο ηνπ ξφινπ ηεο ζχλαςεο ζην βηνινγηθφ λεπξψλα. Η ηηκή βάξνπο κπνξεί λα είλαη ζεηηθή ή αξλεηηθή ζε αληηζηνηρία κε ηελ επηηαρπληηθή ή επηβξαδπληηθή ιεηηνπξγία ηεο ζχλαςεο. Σν παξαθάησ ζρήκα παξνπζηάδεη ην κνληέιν ηνπ ηερλεηνχ λεπξψλα [13]. Σχιμα 2: Μοντζλο τεχνθτοφ νευρϊνα Σν ζψκα ηνπ ηερλεηνχ λεπξψλα ρσξίδεηαη ζε δχν κέξε, ηνλ αθποιζηή (sum), ν νπνίνο πξνζζέηεη ηα επεξεαζκέλα απφ ηα βάξε ζήκαηα εηζφδνπ παξάγνληαο ηελ πνζφηεηα S θαη ηε ζςνάπηηζη ενεπγοποίηζηρ (actvaton functon), έλα είδνο θίιηξνπ ην νπνίν δηακνξθψλεη ηελ ηειηθή ηηκή ηνπ ζήκαηνο εμφδνπ y, ζε ζπλάξηεζε κε ηελ πνζφηεηα S θαη ηελ ηηκή θαησθιίνπ ηεο ζπλάξηεζεο ελεξγνπνίεζεο. Γηεπθξηλίδεηαη φηη ε κνλαδηθφηεηα ηεο εμφδνπ ηνπ λεπξψλα έρεη λα θάλεη κε ηελ ηηκή εμφδνπ θαη φρη κε ην πφζεο γξακκέο-έμνδνη ππάξρνπλ ζην δεμηφ κέξνο [5]. Μπνξεί δειαδή έλαο λεπξψλαο λα έρεη πνιιέο εμφδνπο, αιιά φιεο ζα έρνπλ ηελ ίδηα ηηκή. Η ελαιιαθηηθή κνξθή ελφο κνληέινπ ηερλεηνχ λεπξψλα θαίλεηαη ζην παξαθάησ ζρήκα θαη απνηειείηαη απφ ηα εμήο ζηνηρεία [18]: 17

18 Σχιμα 3: Εναλλακτικι μορφι ενόσ μοντζλου τεχνθτοφ νευρϊνα 1. Έλα ζχλνιν ζπλάςεσλ (ή δηαζπλδέζεσλ), θάζε κία απφ ηηο νπνίεο ραξαθηεξίδεηαη απφ ην δηθφ ηεο βάξνο. πγθεθξηκέλα, έλα ζήκα x j ζηελ είζνδν ηεο ζχλαςεο j πνπ ζπλδέεηαη κε ην λεπξψλα k πνιιαπιαζηάδεηαη κε ην ζπλαπηηθφ βάξνο w kj. Ο δείθηεο k αλαθέξεηαη ζην λεπξψλα, ελψ ν δείθηεο j ζην άθξν εηζφδνπ ηεο ζχλαςεο. Σα ζπλαπηηθά βάξε είλαη ζεηηθνί πξαγκαηηθνί αξηζκνί γηα ηηο εληζρπηηθέο ζπλάςεηο θαη αξλεηηθνί γηα ηηο αλαζηαιηηθέο ζπλάςεηο. 2. Έλαλ αζξνηζηή γηα ηελ άζξνηζε ησλ ζεκάησλ εηζφδνπ, πνιιαπιαζηαζκέλσλ κε ηα αληίζηνηρα ζπλαπηηθά βάξε ηνπ λεπξψλα. Η άζξνηζε είλαη γξακκηθή. 3. Μηα ζπλάξηεζε ελεξγνπνίεζεο ε νπνία είλαη έλαο κε-γξακκηθφο κεηαζρεκαηηζηήο γηα ηνλ πεξηνξηζκφ ηνπ πιάηνπο ηεο εμφδνπ ηνπ λεπξψλα ζε θάπνηα πεπεξαζκέλε ηηκή. πλήζσο ην θαλνληθνπνηεκέλν εχξνο ηηκψλ πιάηνπο ηεο εμφδνπ ελφο λεπξψλα είλαη ην κνλαδηαίν θιεηζηφ δηάζηεκα [0, 1] ή [-1, 1]. Σν κνληέιν ηνπ λεπξψλα πεξηιακβάλεη επίζεο κηα εμσηεξηθά εθαξκνδφκελε πφισζε, ηελ b k. Η πφισζε έρεη σο απνηέιεζκα ηελ αχμεζε ή κείσζε ηεο δηθηπαθήο δηέγεξζεο ηεο ζπλάξηεζεο ελεξγνπνίεζεο, αλάινγα κε ην αλ είλαη ζεηηθή ή αξλεηηθή αληίζηνηρα. Η πφισζε είλαη κηα εμσηεξηθή παξάκεηξνο ηνπ λεπξψλα θαη είλαη ίζε κε ην ζπλαπηηθφ βάξνο w k0 ηεο ζηαζεξήο εηζφδνπ x 0 = +1. Οη καζεκαηηθέο εμηζψζεηο πνπ πεξηγξάθνπλ ην λεπξψλα είλαη νη εμήο [14]: u k m j 0 w. kj x j θαη y k φ(u k ). Η ζπλάξηεζε ελεξγνπνίεζεο, ε νπνία ζπκβνιίδεηαη y σο k φ(u k ), νξίδεη ηελ έμνδν ελφο λεπξψλα βάζεη ηνπ ηνπηθνχ πεδίνπ u. Τπάξρνπλ πνιιά είδε ζπλαξηήζεσλ θαη νη πην βαζηθέο είλαη νη εμήο [17]: 18

19 1, αν n 0 1. Βεκαηηθή ζπλάξηεζε 0/1 (step functon): (n) 0, αν n 0 1, αν n 0 2. Βεκαηηθή ζπλάξηεζε -1/1 (ζπκβνιίδεηαη θαη σο sgn): (n) -1, αν n 0 3. Γξακκηθή ζπλάξηεζε: α(n) = b. n, n, φπνπ b = θιίζε επζείαο 4. ηγκνεηδήο ζπλάξηεζε (sgmod): απνηειεί ηελ πην θνηλή κνξθή ζπλάξηεζεο ελεξγνπνίεζεο πνπ ρξεζηκνπνηείηαη ζηελ θαηαζθεπή Νεπξσληθψλ Γηθηχσλ. Οξίδεηαη σο απζηεξά αχμνπζα ζπλάξηεζε θαη ιακβάλεη ηηκέο απφ έλα ζπλερέο πεδίν ηηκψλ, απφ 0 σο 1 θαη είλαη δηαθνξίζηκε ζε αληίζεζε κε ηε ζπλάξηεζε θαησθιίνπ. Η ινγηζηηθή ζηγκνεηδήο 1 ζπλάξηεζε είλαη: (n) 1 e bn 1.6 Απσιηεκηονικέρ Νεςπυνικών Γικηύυν Σα Νεπξσληθά Γίθηπα ραξαθηεξίδνληαη απφ ηελ αξρηηεθηνληθή ηνπο, ηε ιεηηνπξγία πνπ επηηεινχλ θαη ηε κέζνδν εθπαίδεπζήο ηνπο. Η αξρηηεθηνληθή ηνπ δηθηχνπ θαζνξίδεη ηε δηάηαμε ησλ ζπλδέζεσλ ησλ λεπξψλσλ θαζψο θαη ηνλ αξηζκφ θαη ηνλ ηχπν ησλ λεπξψλσλ [24]. Οη λεπξψλεο ελφο Νεπξσληθνχ Γηθηχνπ νξγαλψλνληαη ζε κνξθή επηπέδσλ θαη ν ηξφπνο κε ηνλ νπνίν είλαη δνκεκέλνη ζρεηίδεηαη κε ηνλ αιγφξηζκν κάζεζεο πνπ ρξεζηκνπνηείηαη γηα ηελ εθπαίδεπζε απηνχ ηνπ δηθηχνπ. Τπάξρνπλ ηξεηο θαηεγνξίεο αξρηηεθηνληθψλ δηθηχσλ: 1. Γίκηςα ππόζθιαρ ηποθοδόηηζηρ ενόρ επιπέδος (feedforward): απνηεινχλ ηελ πην απιή κνξθή ελφο δηθηχνπ. Πεξηέρνπλ έλα επίπεδν εηζφδνπ απνηεινχκελν απφ πεγαίνπο θφκβνπο, ην νπνίν δείρλεη ζην επφκελν επίπεδν λεπξψλσλ εμφδνπ (ππνινγηζηηθνί θφκβνη) θαη φρη αληίζηξνθα. Σν ζήκα ξέεη απφ ην επίπεδν εηζφδνπ πξνο ην επίπεδν εμφδνπ [25]. Οη λεπξψλεο εηζφδνπ δειαδή, απιά κεηαθέξνπλ ην ζήκα ζην επίπεδν εμφδνπ ρσξίο λα θάλνπλ θακία επεμεξγαζία. Ο ραξαθηεξηζκφο ελφο επηπέδνπ αλαθέξεηαη ζην επίπεδν εμφδνπ δει. ησλ 19

20 ππνινγηζηηθψλ θφκβσλ. Σν επίπεδν εηζφδνπ δελ πξνζκεηξείηαη γηαηί δελ εθηειείηαη θαλέλαο ππνινγηζκφο ζε απηφ. Έλα παξάδεηγκα ηέηνηνπ δηθηχνπ θαίλεηαη ζην παξαθάησ ζρήκα [5]: Σχιμα 4: Δίκτυο πρόςκιασ τροφοδότθςθσ ενόσ επιπζδου 2. Πολςεπίπεδα δίκηςα ππόζθιαρ ηποθοδόηηζηρ: ππάξρνπλ έλα ή πεξηζζφηεξα θξπθά επίπεδα, ησλ νπνίσλ νη λεπξψλεο νλνκάδνληαη θξπθνί λεπξψλεο. Οη λεπξψλεο ζε θάζε επίπεδν έρνπλ ζαλ εηζφδνπο ηα ζήκαηα εμφδνπ κφλν ηνπ πξνεγνχκελνπ επηπέδνπ. Σν ζήκα ξέεη απφ ην επίπεδν εηζφδνπ πξνο ην επίπεδν εμφδνπ κέζσ ησλ θξπθψλ επηπέδσλ. Γειαδή θαη εδψ νη λεπξψλεο εηζφδνπ απιά κεηαθέξνπλ ην ζήκα ζην επφκελν επίπεδν ρσξίο λα θάλνπλ θακία επεμεξγαζία, ελψ νη θξπθνί λεπξψλεο θαη νη λεπξψλεο εμφδνπ είλαη ππνινγηζηηθνί λεπξψλεο πνπ αθνινπζνχλ ην κνληέιν ηνπ λεπξψλα. Έλα ηέηνην δίθηπν κε έλα θξπθφ επίπεδν θαίλεηαη ζην ζρήκα [5]: Σχιμα 5: Δίκτυο πρόςκιασ τροφοδότθςθσ με ζνα κρυφό επίπεδο 20

21 3. Αναδπομικά δίκηςα (recurrent neural network). ε απηή ηελ θαηεγνξία δηθηχσλ ππάξρεη ηνπιάρηζηνλ έλαο βξφρνο αλάδξαζεο. Η έμνδνο θάζε λεπξψλα ηνπ δηθηχνπ αλαηξνθνδνηεί ηελ είζνδν ησλ άιισλ λεπξψλσλ ηνπ ίδηνπ επηπέδνπ θαη ζε κεξηθέο πεξηπηψζεηο αθφκα θαη ηε δηθή ηνπ είζνδν (απηφ-αλάδξαζε). Η παξνπζία βξφρσλ αλάδξαζεο επεξεάδεη ηε δπλαηφηεηα κάζεζεο ηνπ δηθηχνπ θαη ηελ απφδνζή ηνπ [23]. Οη θιάδνη ησλ βξφρσλ αλάδξαζεο πεξηέρνπλ ζηνηρεία κνλαδηαίαο ρξνληθήο θαζπζηέξεζεο πνπ ζπκβνιίδνληαη σο z -1. Έλα αλαδξνκηθφ δίθηπν ρσξίο απηφ-αλάδξαζε θαη θξπθνχο λεπξψλεο θαίλεηαη ζην επφκελν ζρήκα [5]: Σχιμα 6: Αναδρομικό δίκτυο 1.7 Γιαδικαζίερ μάθηζηρ Νεςπυνικών Γικηύυν Ο πξσηαξρηθφο ζθνπφο ηεο ιεηηνπξγίαο ελφο Σερλεηνχ Νεπξσληθνχ Γηθηχνπ είλαη λα κπνξεί λα ιχλεη ζπγθεθξηκέλα πξνβιήκαηα ή λα επηηειεί απφ κφλν ηνπ νξηζκέλεο δηεξγαζίεο π.ρ. αλαγλψξηζε εηθφλσλ. Γηα λα κπνξεί φκσο λα γίλεη απηφ πξέπεη πξψηα ην δίθηπν λα έρεη εθπαηδεπηεί θαηάιιεια. Απηφ είλαη θαη ην πην ζεκαληηθφ ραξαθηεξηζηηθφ ησλ Νεπξσληθψλ Γηθηχσλ, φηη δειαδή καζαίλνπλ ή εθπαηδεχνληαη. Σα ΣΝΓ πξαγκαηνπνηνχλ δχν βαζηθέο ιεηηνπξγίεο: ηε μάθηζη θαη ηελ ανάκληζη. Ανάκληζη (recall) νλνκάδεηαη ε δηαδηθαζία ηνπ ππνινγηζκνχ ελφο δηαλχζκαηνο εμφδνπ γηα ζπγθεθξηκέλν δηάλπζκα εηζφδνπ θαη ηηκέο βαξψλ [15] θαη μάθηζη (learnng) νλνκάδεηαη ε δηαδηθαζία ηεο ηξνπνπνίεζεο ηεο ηηκήο ησλ βαξψλ ηνπ δηθηχνπ, ψζηε δνζέληνο ζπγθεθξηκέλνπ δηαλχζκαηνο εηζφδνπ λα παξαρζεί ζπγθεθξηκέλν δηάλπζκα εμφδνπ. 21

22 Η κάζεζε γίλεηαη κε ηε ρξήζε θάπνησλ παξαδεηγκάησλ εθπαίδεπζεο θαη ελφο αλγοπίθμος εκπαίδεςζηρ θαη έρεη σο απνηέιεζκα ηε βειηίσζε ηεο απφδνζεο ηνπ δηθηχνπ. Απηφο ν αιγφξηζκνο είλαη κηα επαλαιεπηηθή δηαδηθαζία κε ηελ νπνία αιιάδνπλ νη ειεχζεξνη παξάκεηξνη (βάξε θαη θαηψθιηα) ελφο Νεπξσληθνχ Γηθηχνπ έηζη ψζηε λα κεησζεί ην ζθάικα κεηαμχ επηζπκεηήο θαη πξαγκαηηθήο εμφδνπ ηνπ δηθηχνπ. Τπάξρνπλ πνιιά είδε κάζεζεο ελφο Νεπξσληθνχ Γηθηχνπ θάζε έλα απφ ηα νπνία αιιάδεη κε δηαθνξεηηθφ ηξφπν ηηο παξακέηξνπο. Η κάζεζε πεξηιακβάλεη ηα αθφινπζα βήκαηα: 1. Σν ΣΝΓ δηεγείξεηαη απφ ην πεξηβάιινλ 2. Σν ΣΝΓ πθίζηαηαη αιιαγέο (ησλ παξακέηξσλ) σο ζπλέπεηα απηήο ηεο δηέγεξζεο. 3. Σν ΣΝΓ αληηδξά κε έλα λέν ηξφπν ζην πεξηβάιινλ ιφγσ ησλ αιιαγψλ πνπ επήιζαλ ζην εζσηεξηθφ ηνπ. Η δηαδηθαζία απηή νλνκάδεηαη επίζεο θαη εθπαίδεπζε (tranng) ηνπ ΣΝΓ. Ο γεληθφο ηξφπνο κε ηνλ νπνίν γίλεηαη ε ηξνπνπνίεζε ησλ βαξψλ ελφο ΣΝΓ θαηά ηελ εθπαίδεπζε ηνπ, επηηξέπεη ηελ δηάθξηζε ηξηψλ εηδψλ κάζεζεο ζηα ΣΝΓ. α) ηε μάθηζη με επίβλετη (supervsed learnng) δίλνληαη ζην δίθηπν δεπγάξηα δηαλπζκάησλ εηζφδνπ επηζπκεηήο εμφδνπ θαη απηφ παξάγεη, κε ηελ ηξέρνπζα θαηάζηαζε βαξψλ, κηα έμνδν πνπ αξρηθά δηαθέξεη απφ ηελ επηζπκεηή. Απηή ε δηαθνξά νλνκάδεηαη ζθάικα (error) θαη βάζε απηήο θαζψο θαη ελφο αιγνξίζκνπ εθπαίδεπζεο γίλεηαη ζπλήζσο ε αλαπξνζαξκνγή ησλ βαξψλ. Η επιβλεπόμενη κάζεζε αλαθέξεηαη θαη σο μάθηζη με εκπαιδεςηή θαη είλαη ν πην ζπρλφο ηξφπνο ζηελ εθπαίδεπζε ησλ Νεπξσληθψλ Γηθηχσλ. Σν παξαθάησ ζρήκα πεξηγξάθεη απηή ηε κνξθή κάζεζεο [18]. Σχιμα 7: Σχθματικό διάγραμμα επιβλεπόμενθσ μάκθςθσ Όπσο θαίλεηαη, ε επηβιεπφκελε κάζεζε είλαη έλα ζχζηεκα αλάδξαζεο θιεηζηνχ βξφρνπ θαη ην πεξηβάιινλ είλαη εθηφο ηνπ βξφρνπ. Ωο κέηξν απφδνζεο γηα ην ζχζηεκα ρξεζηκνπνηείηαη ην κέζν ηεηξαγσληθφ ζθάικα ή ην άζξνηζκα ησλ ηεηξαγψλσλ ησλ ζθαικάησλ 22

23 νξηζκέλν σο ζπλάξηεζε (ζπλάξηεζε θφζηνπο) ησλ ζπλαπηηθψλ βαξψλ ηνπ δηθηχνπ. Μεξηθέο θνξέο ε δηαδηθαζία απηή απαηηεί πνιιέο δηνξζψζεηο ησλ βαξψλ θαη άξα κεγάινπο ππνινγηζηηθνχο ρξφλνπο [16]. Ο εθπαηδεπηήο έρεη γλψζε ηνπ πεξηβάιινληνο ζε αληίζεζε κε ην Νεπξσληθφ Γίθηπν θαη απηή ε γλψζε αληηπξνζσπεχεηαη απφ έλα ζχλνιν παπαδειγμάηυν ειζόδος-εξόδος. Ο εθπαηδεπηήο θαη ην Νεπξσληθφ Γίθηπν αληινχλ απφ ην πεξηβάιινλ ζαλ είζνδν έλα δηάλπζκα εθπαίδεπζεο (δει. έλα παξάδεηγκα εηζφδνπ) θαη ν εθπαηδεπηήο παξέρεη ζην Νεπξσληθφ Γίθηπν κηα επηζπκεηή απφθξηζε (ζηφρνο) γηα ην ζπγθεθξηκέλν δηάλπζκα εθπαίδεπζεο. Η επηζπκεηή απφθξηζε είλαη ε βέιηηζηε ελέξγεηα πνπ πξέπεη λα εθηειέζεη ην Νεπξσληθφ Γίθηπν. Η δηαθνξά κεηαμχ ηεο επηζπκεηήο απφθξηζεο θαη ηεο πξαγκαηηθήο απφθξηζεο ηνπ δηθηχνπ απνηειεί φπσο πξναλαθέξζεθε- ην ζήμα ζθάλμαηορ. Τπφ ηε ζπλδπαζκέλε επηξξνή ηνπ δηαλχζκαηνο εθπαίδεπζεο θαη ηνπ ζήκαηνο ζθάικαηνο, νη παξάκεηξνη ηνπ δηθηχνπ κεηαβάιινληαη κε επαλαιεπηηθφ ηξφπν. Απηή ε πξνζαξκνγή έρεη ζηφρν λα θέξεη ηειηθά ην Νεπξσληθφ Γίθηπν ζε κηα θαηάζηαζε πνπ ζα πξνζνκνηψλεη ηε ζπκπεξηθνξά ηνπ εθπαηδεπηή. Έηζη ε γλψζε ηνπ πεξηβάιινληνο κεηαθέξεηαη ζην Νεπξσληθφ Γίθηπν κέζσ εθπαίδεπζεο θαη απνζεθεχεηαη κε ηε κνξθή ζηαζεξψλ ζπλαπηηθψλ βαξψλ ηα νπνία απνηεινχλ ηελ καθξνπξφζεζκε κλήκε ηνπ δηθηχνπ. β) ηε βαθμολογημένη μάθηζη (graded learnng) ή ενιζσςηική μάθηζη ε έμνδνο ραξαθηεξίδεηαη σο θαιή ή θαθή κε βάζε κηα αξηζκεηηθή θιίκαθα θαη ηα βάξε αλαπξνζαξκφδνληαη κε βάζε απηφ ην ραξαθηεξηζκφ. ε απηφλ ηνλ ηχπν κάζεζεο, ην ΝΓ ηξνθνδνηείηαη θαη πάιη κε δεηγκαηηθά πξφηππα εηζφδνπ αιιά δελ ηξνθνδνηείηαη κε ηηο επηζπκεηέο απνθξίζεηο ζε απηέο ηηο εηζφδνπο. Δδψ ρξεζηκνπνηείηαη έλα ζπλνιηθφ κέηξν ηεο επάξθεηαο ηεο πξνθχπηνπζαο απφθξηζεο (δείθηεο ζπκπεξηθνξάο) ην νπνίν κπνξεί λα νδεγήζεη ην δίθηπν ζηελ επηζπκεηή ζπκπεξηθνξά. Σν κέηξν απηφ είλαη γλσζηφ σο εληζρπηηθφ ζήκα (renforcement sgnal) θαη αλαηξνθνδνηείηαη ζην ΝΓ έηζη ψζηε λα επιβπαβεύζει (reward) ηηο νξζέο ζπκπεξηθνξέο θαη λα ηιμυπήζει (penalze) ηηο ιαλζαζκέλεο ζπκπεξηθνξέο. Η εληζρπηηθή κάζεζε ζηεξίδεηαη ζην λφκν Thornlke ν νπνίνο εξκελεχεηαη σο εμήο: «Δάν μια ενέπγεια ενόρ ζςζηήμαηορ μάθηζηρ ακολοςθείηαι από μια ικανοποιηηική καηάζηαζη ή ζςμπεπιθοπά, ηόηε η ηάζη ηος ζςζηήμαηορ αςηού να παπάγει ηη ζςγκεκπιμένη ενέπγεια ενιζσύεηαι (ενδςναμώνεηαι). Γιαθοπεηικά, η ηάζη ηος ζςζηήμαηορ να παπάγει ηην ενέπγεια αςηή εξαζθενεί». Η εληζρπηηθή κάζεζε δηαθξίλεηαη ζε ζπζρεηηζηηθή θαη κε ζπζρεηηζηηθή εληζρπηηθή κάζεζε. ηελ πξψηε, ην πεξηβάιινλ ηξνθνδνηεί, πέξα απφ ην εληζρπηηθφ ζήκα, άιιεο κνξθέο πιεξνθνξίαο απφ ηηο νπνίεο ην ΝΓ πξέπεη λα κάζεη κηα απεηθφληζε κε ηε κνξθή κηαο ζπζρέηηζεο αηηίνπ - 23

24 απνηειέζκαηνο (stmulus - acton). ηε δεχηεξε, ε κνλαδηθή πιεξνθνξία (είζνδνο) πνπ δίλεηαη απφ ην πεξηβάιινλ είλαη ην εληζρπηηθφ ζήκα, ελψ ν πξννξηζκφο ηνπ ζπζηήκαηνο κάζεζεο είλαη κάιινλ λα επηιέμεη κηα κνλαδηθή βέιηηζηε ελέξγεηα παξά λα ζπζρεηίζεη δηάθνξεο ελέξγεηεο κε δηαθνξεηηθά εξεζίζκαηα (εηζφδνπο). πλνπηηθά, ε εληζρπηηθή κάζεζε ιεηηνπξγεί σο εμήο: Αξρηθά ην ΝΓ ππνινγίδεη ηηο εμφδνπο πνπ παξάγνληαη απφ ηελ ηξέρνπζα (παξνχζα) είζνδν κε ηηο παξνχζεο ηηκέο ησλ βαξψλ. ηε ζπλέρεηα ην ζχζηεκα αμηνινγεί ηελ έμνδν θαη ην εληζρπηηθφ ζήκα ηξνθνδνηείηαη ζην δίθηπν. Σα βάξε αλαλεψλνληαη κε βάζε ην εληζρπηηθφ ζήκα, απμάλνληαο ηηο ηηκέο ησλ βαξψλ πνπ ζπλέβαιαλ ζε θαιή ζπκπεξηθνξά ή κεηψλνληαο ηηο ηηκέο απηψλ πνπ πξνθάιεζαλ θαθή ζπκπεξηθνξά. γ) ηε μάθηζη συπίρ επίβλετη (unsupervsed learnng) ε απφθξηζε ηνπ δηθηχνπ βαζίδεηαη ζηελ ηθαλφηεηά ηνπ λα απην-νξγαλψλεηαη κε βάζε ηα δηαλχζκαηα εηζφδνπ θαζψο δελ ππάξρνπλ αληίζηνηρα δηαλχζκαηα εμφδνπ. Απηή ε εζσηεξηθή νξγάλσζε γίλεηαη έηζη ψζηε ζε ζπγθεθξηκέλν ζχλνιν εηζφδσλ λα αληηδξά ηζρπξά έλαο ζπγθεθξηκέλνο λεπξψλαο. ηελ πεξίπησζε απηή δίλεηαη απιψο ε πιεξνθνξία ζην δίθηπν θαη δελ ππάξρεη θάπνηνο εμσηεξηθφο εθπαηδεπηήο πνπ λα δίλεη ηελ επηζπκεηή απφθξηζε θαη λα επηβιέπεη ηε δηαδηθαζία ηεο κάζεζεο. Σα δείγκαηα εθπαίδεπζεο απνηεινχληαη ηψξα κφλν απφ ηα δείγκαηα εηζφδνπ θαη δελ πεξηέρνπλ δείγκαηα επηζπκεηήο εμφδνπ. Σν δίθηπν ρξεζηκνπνηεί έλαλ εζσηεξηθφ έιεγρν, ςάρλεη λα βξεη θαλνληθφηεηα ζηα ζήκαηα εηζφδνπ θαη εθπαηδεχεηαη ψζηε νη έμνδνη λα έρνπλ ηα ίδηα ραξαθηεξηζηηθά κε ηηο εηζφδνπο. Έηζη ην δίθηπν ειέγρεη ηνλ εαπηφ ηνπ θαη δηνξζψλεη ηα ζθάικαηα ζηα δεδνκέλα κε έλα κεραληζκφ αλάδξαζεο (feedback). Όηαλ ην δίθηπν ζηακαηήζεη λα αιιάδεη ηηο ηηκέο ησλ βαξψλ ηφηε ε εθπαίδεπζε έρεη ηειεηψζεη. Σν παξαθάησ ζρήκα πεξηγξάθεη ηε δηαδηθαζία ηεο κε επηβιεπφκελεο κάζεζεο [18]: Σχιμα 8: Σχθματικό διάγραμμα μθ επιβλεπόμενθσ μάκθςθσ ηηο πεξηζζφηεξεο εθαξκνγέο ΣΝΓ ρξεζηκνπνηείηαη μάθηζη ςπό επίβλετη, γηα ηελ νπνία ππάξρνπλ αξθεηνί αιγφξηζκνη. ηνλ αιγφξηζκν πνπ βαζίδεηαη ζηνλ θαλφλα Γέιηα (Delta rule learnng), ε δηαθνξά κεηαμχ πξαγκαηηθήο θαη επηζπκεηήο εμφδνπ ειαρηζηνπνηείηαη κέζσ κηαο δηαδηθαζίαο ειαρίζησλ ηεηξαγψλσλ. ηνλ αιγφξηζκν αλάζηξνθεο κεηάδνζεο ιάζνπο (back propagaton) ε κεηαβνιή ησλ βαξψλ βαζίδεηαη ζηνλ ππνινγηζκφ ηεο ζπλεηζθνξάο θάζε βάξνπο ζην ζπλνιηθφ ζθάικα. ηελ αληαγσληζηηθή κάζεζε (compettve learnng), νη ηερλεηνί 24

25 λεπξψλεο ζπλαγσλίδνληαη, θαηά θάπνην ηξφπν, κεηαμχ ηνπο θαη κφλν απηφο κε ηε κεγαιχηεξε απφθξηζε ζε δνζείζα είζνδν ηξνπνπνηεί ηα βάξε ηνπ. Σέινο, ζηε ηπραία κάζεζε (random learnng), νη κεηαβνιέο ζηα βάξε εηζάγνληαη ηπραία θαη αλάινγα κε ην αλ ε έμνδνο βειηηψλεηαη ή φρη κε βάζε θάπνηα πξνθαζνξηζκέλα απφ ην ρξήζηε θξηηήξηα, νη κεηαβνιέο απηέο πηνζεηνχληαη ή απνξξίπηνληαη. 1.8 Ικανόηηηα γενίκεςζηρ Γενίκεςζη νλνκάδεηαη ε ηθαλφηεηα ηνπ Σερλεηνχ Νεπξσληθνχ Γηθηχνπ λα απνδίδεη εμίζνπ θαιά δειαδή λα εθηηκά κε επηηπρία ηνπο ζηφρνπο γηα πξφηππα εηζφδνπ πνπ δελ έρεη μαλαδεί θαη φρη κφλν γηα ηα ζπγθεθξηκέλα πξφηππα πνπ ρξεζηκνπνηήζεθαλ ζηελ εθπαίδεπζε. Η ηθαλφηεηα γελίθεπζεο είλαη απφ ηα πην ζεκαληηθά ιεηηνπξγηθά ραξαθηεξηζηηθά ηνπ ΣΝΓ, θαζψο ζηα πεξηζζφηεξα πξνβιήκαηα πνπ αληηκεησπίδνληαη κε κνληέια ΣΝΓ δελ κπνξνχκε λα γλσξίδνπκε απφ πξηλ ηηο θαηαζηάζεηο ζηηο νπνίεο ελδερνκέλσο λα πεξηέιζεη απηφ. Η γελίθεπζε είλαη έλαο φξνο δαλεηζκέλνο απφ ηελ ςπρνινγία. απηφ βξίζθεηαη κηα ζεκειηψδεο δηαθνξά αλάκεζα ζηνλ ζρεδηαζκφ ελφο Νεπξσληθνχ Γηθηχνπ θαη ζην κέξνο ηεο θιαζζηθήο επεμεξγαζίαο πιεξνθνξίαο (pattern classfer). ηελ ηειεπηαία πεξίπησζε ζπλήζσο πξνρσξάκε ζρεκαηίδνληαο πξψηα έλα καζεκαηηθφ κνληέιν πεξηβαιινληηθψλ παξαηεξήζεσλ επαιεζεχνληαο ην κνληέιν κε πξαγκαηηθά δεδνκέλα θαη θαηφπηλ ρηίδνληαο ην ζρεδηαζκφ απφ ηε βάζε ηνπ κνληέινπ. Αληίζεηα ν ζρεδηαζκφο ελφο Νεπξσληθνχ Γηθηχνπ βαζίδεηαη απ επζείαο ζε πξαγκαηηθά δεδνκέλα κε ην ζχλνιν ησλ δεδνκέλσλ λα θάλεη απ επζείαο φιε ηε δνπιεηά. Γη απηφ ην Νεπξσληθφ Γίθηπν φρη κφλν δίλεη έλα ηέιεην κνληέιν ηνπ πεξηβάιινληνο ζην νπνίν εγθαζίζηαηαη, αιιά παξνπζηάδεη κηα εξγαζία επεμεξγαζίαο πιεξνθνξηψλ κεγάινπ ελδηαθέξνληνο. Η ηθαλφηεηα γελίθεπζεο επεξεάδεηαη απφ ηνπο εμήο παξάγνληεο: Σνλ αξηζκφ ησλ δηαλπζκάησλ εθπαίδεπζεο θαη απφ ην αλ απηά αλαπαξηζηνχλ ηθαλνπνηεηηθά ηνλ ππεξρψξν απφ ηνλ νπνίν πξνέξρνληαη. Γεληθά φζν κεγαιχηεξνο είλαη ν αξηζκφο ησλ δηαλπζκάησλ εθπαίδεπζεο ηφζν θαιχηεξε ιχζε κπνξεί λα βξεζεί. Αλ έρνπκε πνιιά δηαλχζκαηα εθπαίδεπζεο κπνξνχκε λα ρξεζηκνπνηήζνπκε ΣΝΓ ζηαζεξνχ κεγέζνπο θαη κεηά λα πξνζδηνξίζνπκε πφζα δηαλχζκαηα εθπαίδεπζεο ζα ρξεζηκνπνηήζνπκε γηα ηε βέιηηζηε ηθαλφηεηα γελίθεπζεο. Αλ έρνπκε ιίγα δηαλχζκαηα εθπαίδεπζεο πξέπεη λα πξνζδηνξίζνπκε ην κέγεζνο ηνπ ΣΝΓ πνπ βειηηζηνπνηεί ηελ ηθαλφηεηα γελίθεπζεο. Σελ πνιππινθφηεηα ηνπ πξνβιήκαηνο Σν κέγεζνο ηνπ ηερλεηνχ Νεπξσληθνχ Γηθηχνπ 25

26 1.9 Δθαπμογέρ ηυν Νεςπυνικών Γικηύυν Σα Σερλεηά Νεπξσληθά Γίθηπα ρξεζηκνπνηνχληαη επξέσο ηα ηειεπηαία ρξφληα ζε δηάθνξνπο ηνκείο ιφγσ ηεο ππνινγηζηηθήο ηνπο ηαρχηεηαο, ηεο ηθαλφηεηαο αληηκεηψπηζεο πνιχπινθσλ κε γξακκηθψλ ιεηηνπξγηψλ θαη ηεο ηθαλφηεηάο ηνπο λα αλαγλσξίδνπλ ηηο ζρέζεηο κεηαμχ πνζνηήησλ νη νπνίεο είλαη δχζθνιν λα κνληεινπνηεζνχλ. Η ρξήζε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ ζε δηάθνξεο εθαξκνγέο πξνζθέξεη επθνιία πινπνίεζεο, ζρεηηθά αμηφπηζηε ιεηηνπξγία θαη άκεζε απφθξηζε θαηά ηελ θάζε πξαγκαηηθήο ιεηηνπξγίαο εθφζνλ ην Νεπξσληθφ Γίθηπν πινπνηεζεί ζε πιηθφ (hardware). Οη εθαξκνγέο απηέο πεξηιακβάλνπλ αλαγλψξηζε πξνηχπσλ, ππνινγηζκφ ζπλαξηήζεσλ, βειηηζηνπνίεζε, πξφβιεςε, απηφκαην έιεγρν θαη άιια ζέκαηα. Κάπνηεο ζπγθεθξηκέλεο πεξηνρέο εθαξκνγψλ είλαη νη παξαθάησ [26, 27]: Βιολογία: βνήζεηα ζηελ θαηαλφεζε ηεο ιεηηνπξγίαο ηνπ εγθεθάινπ, δεκηνπξγία κνληέισλ γηα ηελ φξαζε. Γευλογία: αλάιπζε πηζαλφηεηαο χπαξμεο πεηξειαίνπ ζε γεσινγηθά πεηξψκαηα, αλάιπζε πεηξσκάησλ ζε νξπρεία. Ιαηπική: αλάιπζε νκηιίαο γηα ηελ θαηαζθεπή αθνπζηηθψλ βνεζεκάησλ, παξαθνινχζεζε εγρείξεζεο, αλάγλσζε αθηηλνγξαθηψλ, απηφκαηε δηάγλσζε θαη ζεξαπεία απφ ηα ζπκπηψκαηα, πξνβιέςεηο γηα αληηδξάζεηο νξγαληζκψλ ζηε ιήςε θαξκάθσλ, πξφηαζε θαηάιιειεο θαξκαθεπηηθήο αγσγήο κε βάζε ηα ζπκπηψκαηα ελφο αζζελή. Βιομησανία: Απηνκαηνπνίεζε ξνκπφη θαη ζπζηεκάησλ έιεγρνπ, έιεγρνο ρεκηθψλ δηεξγαζηψλ, έιεγρνο ζηε γξακκή παξαγσγήο, επηινγή αληαιιαθηηθψλ θαηά ηε ζπλαξκνιφγεζε, βηνκεραληθφο έιεγρνο πνηφηεηαο, ξχζκηζε ειεθηξηθνχ θνξηίνπ, εθαξκνγέο ζε νρήκαηα. Δπεξεπγαζία ζημάηυν: Αθαίξεζε ζνξχβνπ απφ ηειεθσληθή γξακκή, κνληεινπνίεζε ζήκαηνο. Υπολογιζηέρ: Αλαγλψξηζε πξνηχπσλ πρ απηφκαηε αλαγλψξηζε ρεηξφγξαθσλ ραξαθηήξσλ, αλαγλψξηζε πξνζψπνπ θαη θσλήο, ειεθηξνληθά παηρλίδηα Πεπιβάλλον: Πξφγλσζε ηνπ θαηξνχ, αλάιπζε θαηξηθψλ ζπλζεθψλ Αεποπλοΐα: Γεκηνπξγία απηφκαησλ πηιφησλ θαη πξνγξακκάησλ πξνζνκνίσζεο πηήζεο, ζπζηήκαηα ειέγρνπ πηήζεο, αλίρλεπζε ειαηησκάησλ ζε ηκήκαηα ησλ αεξνπιάλσλ Άμςνα: Κσδηθνπνίεζε ζεκάησλ ξαληάξ, αλαγλψξηζε θαη παξαθνινχζεζε ζηφρσλ 26

27 Οικονομία: πξφβιεςε ηηκήο κεηνρψλ, αλάιπζε επηθηλδπλφηεηαο δαλείσλ, αμηνιφγεζε επελδχζεσλ, αλίρλεπζε απάηεο ζε ειεθηξνληθέο ζπλαιιαγέο, εθηίκεζε αμίαο αθηλήησλ. ηηο ηξαπεδηθέο εξγαζίεο κηα δχζθνιε απφθαζε είλαη ν ππνινγηζκφο ηνπ παξάγνληα επηθηλδπλφηεηαο κηαο αίηεζεο ζηεγαζηηθνχ δαλείνπ. Η ηξάπεδα ζέιεη λα γλσξίδεη ηελ πηζαλφηεηα ν πειάηεο λα κελ κπνξεί λα απνπιεξψζεη ην δάλεην. Σα ζηνηρεία πνπ παίδνπλ ξφιν ζε απηέο ηηο απνθάζεηο είλαη ην εηζφδεκα θαη ε θεξεγγπφηεηα ηνπ δαλεηνιήπηε, φπσο θαίλεηαη θαη ζην επφκελν ζρήκα [1]: Σχιμα 9: φερεγγυότθτα και ειςόδθμα δανειολιπτθ ςε τραπεηικό δάνειο ηελ πεξηνρή ησλ ε πηζαλφηεηα λα πιεξσζεί ην δάλεην είλαη πνιχ κεγάιε, δηφηη ν δαλεηνιήπηεο έρεη κεγάιν εηζφδεκα θαη είλαη πνιχ θεξέγγπνο, ελψ ζηελ πεξηνρή ησλ ζπκβαίλεη ην αληίζεην. Γηα απηέο ηηο δχν πεξηνρέο ε απφθαζε ηεο ηξάπεδαο είλαη εχθνιε. Αλάκεζα φκσο ζε απηέο ηηο πεξηνρέο ππάξρεη κηα πεξηνρή ζηελ νπνία νη απνθάζεηο είλαη πνιχ δχζθνιεο. Έλα πξφγξακκα Νεπξσληθνχ Γηθηχνπ πνπ ιέγεηαη «Νέζησξ» εθπαηδεχεηαη ζε κεξηθέο ρηιηάδεο αηηήζεηο, απφ ηηο νπνίεο νη κηζέο εγθξίζεθαλ θαη νη κηζέο απνξξίθζεθαλ απφ ηελ ηξάπεδα κε απφθαζε ησλ ππαιιήισλ ηεο [1]. Όηαλ γίλεηαη κηα λέα αίηεζε δαλείνπ ζηελ ηξάπεδα, ην ζχζηεκα ςάρλεη λα βξεη ζηνηρεία ηεο αίηεζεο θαη λα απνθαζίζεη ηη απνηειεί παξάγνληα κεγάιεο επηθηλδπλφηεηαο. Σειηθά παίξλεη κηα απφθαζε λα δψζεη ή λα κελ δψζεη ην δάλεην, ε νπνία έρεη κεγαιχηεξν πνζνζηφ επηηπρίαο ζε ζρέζε κε άιιεο κεζφδνπο. Φημική ανάλςζη: ρξεζηκνπνηνχληαη φηαλ πξέπεη λα ιεθζνχλ γξήγνξεο απνθάζεηο θαη δελ ππάξρεη ρξφλνο γηα λα γίλνπλ ιεπηνκεξείο θαη ρξνλνβφξεο αλαιχζεηο ζην εξγαζηήξην. Έλα ηέηνην παξάδεηγκα είλαη λα κπνξεί λα γίλεη γξήγνξνο έιεγρνο ζηηο απνζθεπέο επηβαηψλ ζηα αεξνδξφκηα γηα ην αλ ππάξρνπλ εθξεθηηθέο χιεο κέζα ζε απηέο. Η εηαηξεία Scence Applcaton Internatonal έρεη δεκηνπξγήζεη κηα ζπζθεπή ζεξκηθήο αλάιπζεο 27

28 λεηξνλίσλ (thermal neutron analyss), ε νπνία ειέγρεηαη απφ έλα Νεπξσληθφ Γίθηπν θαη αλαθαιχπηεη αληηθείκελα πνπ πεξηέρνπλ εθξεθηηθά κε ην λα αλαιχζεη ην ζήκα εθπνκπήο αθηίλσλ γ [1]. Απηή ε κέζνδνο έρεη επηηπρία 90%. Δπεξεπγαζία κειμένυν: ην πξφγξακκα πνπ ρξεζηκνπνηείηαη πεξηζζφηεξν είλαη ην Omnpage, ην νπνίν αλέπηπμε ε εηαηξεία Caere ην 1994 θαη πινπνηείηαη ζε έλα απιφ PC. Σν πξφγξακκα δηαβάδεη ηππσκέλα θείκελα κε ζαξσηή θαη ηα κεηαηξέπεη ζε ραξαθηήξεο ASCII. Σν πξφγξακκα απηφ δνπιεχεη ηθαλνπνηεηηθά αθφκα θαη αλ ηα γξάκκαηα είλαη κεξηθψο θαηεζηξακκέλα, φπσο ζπκβαίλεη ζπρλά ζε ζειίδεο fax. Μεηαηποπή κειμένος ζε θυνή και ηο ανηίζηποθο: γλσζηφ πξφγξακκα πνπ πινπνηεί ηε ζπγθεθξηκέλε δηαδηθαζία είλαη ην NETtalk, ην νπνίν απνηειεί έλα Νεπξσληθφ Γίθηπν πνπ εθπαηδεχεηαη ζηελ αλάγλσζε θαη απαγγειία γξαπηψλ θεηκέλσλ. Σν δίθηπν έρεη 309 λεπξψλεο κε ζπλάςεηο ζε 3 δηαθνξεηηθά επίπεδα. Η είζνδνο ηνπ δηθηχνπ απνηειείηαη απφ 7 νκάδεο λεπξψλσλ θαη θάζε νκάδα απφ 29 λεπξψλεο (έλαο λεπξψλαο γηα θάζε έλα απφ ηα 26 γξάκκαηα, έλαο γηα ην θελφ, ηελ ηειεία θαη ην θφκκα). Σν κεζαίν επίπεδν έρεη 80 λεπξψλεο θαη ην επίπεδν εμφδνπ απνηειείηαη απφ 26 λεπξψλεο. ηελ αξρή ε απαγγειία ήηαλ αθαηαλφεηε, κεηά ήηαλ λεπηαθήο κνξθήο θαη ηειηθά έθζαζε ζε 95% αλαγλσξίζηκεο θαη θαηαλνεηήο νκηιίαο. Δθαπμογέρ ζηην Ιαηπική: κηα γλσζηή εθαξκνγή κε φλνκα Γιαηπόρ ζηη ζηιγμή (Instant Physcan) αλαπηχρζεθε ζηα κέζα ηεο δεθαεηίαο ηνπ 80. Η ηδέα ήηαλ λα εθπαηδεπηεί κηα απηνζπζρεηηδφκελε κλήκε (Bran state n a box) γηα ηελ απνζήθεπζε πνιιψλ ηαηξηθψλ αξρείσλ, θαζέλα απφ ηα νπνία πεξηέρεη πιεξνθνξίεο γηα ζπκπηψκαηα, δηαγλψζεηο θαη ζεξαπείεο γηα θάζε πεξίπησζε. Μεηά ηελ εθπαίδεπζε, φηαλ παξνπζηαζηεί σο είζνδνο ζην δίθηπν έλα ζχλνιν ζπκπησκάησλ, ζα βξεη ην πιήξεο απνζεθεπκέλν πξφηππν πνπ παξέρεη ηελ θαιχηεξε δηάγλσζε θαη ζεξαπεία. Σν δίθηπν απνδίδεη αξθεηά θαιά, αλ θαη ε δνκή ηνπ είλαη πνιχ απιή. Όηαλ ππάξρνπλ ακθηβνιίεο ζηα δεδνκέλα εηζφδνπ (ζπκπηψκαηα), ην δίθηπν ζα δψζεη ηελ πην ζπλεζηζκέλε δηάγλσζε θαη ζεξαπεία. 28

29 ΚΕΦΑΛΑΙΟ 2 - ΔΙΚΣΤΟ PERCEPTRON 2.1 Το μονηέλο ηος αιζθηηήπα Σν κνληέιν ηνπ αηζζεηήξα ή αιιηψο Perceptron ηνπ Rosenblatt είλαη ην πην απιφ Νεπξσληθφ Γίθηπν πνπ κπνξεί λα ζρεδηαζηεί θαη λα κειεηεζεί γηαηί απνηειείηαη κφλν απφ έλα λεπξψλα. Δίλαη απφ ηα πξψηα κνληέια Νεπξσληθψλ Γηθηχσλ πνπ αλαπηχρζεθαλ θαη έγηλε ε βάζε γηα πην πεξίπινθα δίθηπα πνπ αλαπηχρζεθαλ αξγφηεξα. Σν δίθηπν απηφ έρεη έλαλ νξηζκέλν αξηζκφ εηζφδσλ, αιιά παξάγεη κφλν κία έμνδν φπσο θαίλεηαη ζην παξαθάησ ζρήκα [3]: Σχιμα 10: Στοιχειϊδθσ αιςκθτιρασ Οη κφλεο ζπλδέζεηο πνπ ππάξρνπλ είλαη απηέο κεηαμχ ησλ εηζφδσλ x 1, x 2, x n θαη ηνπ λεπξψλα. Κάζε ζχλδεζε ηνπ λεπξψλα κε ην εηζεξρφκελν ζήκα x έρεη έλα αληίζηνηρν ζπλαπηηθφ βάξνο w. πνπ δείρλεη ηελ επίδξαζε ηνπ εηζεξρφκελνπ ζήκαηνο ζην λεπξψλα. Απηφ πνπ έρεη ζεκαζία είλαη ην γηλφκελν x w θαη φρη ε ηηκή ηνπ βάξνπο w κφλε ηεο ή ηνπ ζήκαηνο x. Ο λεπξψλαο αθνινπζεί ην κνληέιν McCulloch-Ptts θαη πεξηγξάθεηαη απφ ηηο αθφινπζεο εμηζψζεηο [14]: n u w x 1 Η έμνδνο ηνπ λεπξψλα είλαη ε y = f(u) πνπ ελαιιαθηηθά κπνξεί λα γξαθεί θαη σο εμήο: n y f ( w x ) 1 (2. 2) ηνλ αλσηέξσ ηχπν κε u ζπκβνιίδεηαη ε δηέγεξζε ηνπ λεπξψλα, δειαδή ην ζπλνιηθφ ζήκα πνπ απηφο ιακβάλεη. Η ζπλάξηεζε κεηαθνξάο (ελεξγνπνίεζεο) f απεηθνλίδεη ην δηάλπζκα εηζφδνπ x = [x 1, x 2,, x n ] Σ ζηελ έμνδν y. Η παξάκεηξνο ζ νλνκάδεηαη θαηώθιη ελεξγνπνίεζεο θαη είλαη ην φξην πάλσ απφ ην νπνίν ελεξγνπνηείηαη ν λεπξψλαο. Απηφ (2.1) εμεγείηαη απφ ην γεγνλφο φηη ε δηέγεξζε u ηνπ λεπξψλα είλαη ζεηηθή αλ ην άζξνηζκα μεπεξάζεη απηφ ην φξην. Έηζη δηαθξίλνπκε ηξεηο πεξηπηψζεηο: n wx 1 29

30 u>0 αλ n wx 1 n u=0 αλ wx 1 n wx u<0 αλ 1 Η ζπλάξηεζε ελεξγνπνίεζεο f ηξνθνδνηείηαη απφ ηε δηέγεξζε u θαη δίλεη ηελ έμνδν ηνπ λεπξψλα. Δίλαη κε γξακκηθή θαη γηα ην Perceptron παίξλεη κία απφ ηηο παξαθάησ κνξθέο ηεο ζπλάξηεζεο θαησθιίνπ: 1. 1, αν u>0 f( u) 0, αν u , αν u>0 f( u) 1, αν u 0 Υξεζηκνπνηψληαο ηνλ πξψην ηχπν ε έμνδνο y = f(u) είλαη έλαο δπαδηθφο αξηζκφο πνπ παίξλεη ηελ ηηκή y=1 αλ n wx 1 (ν αηζζεηήξαο ελεξγνπνηείηαη θαη ζεσξνχκε φηη ππξνδνηεί) n ή ηελ ηηκή y=0 αλ wx 1 ( ην u κεδελίδεηαη θαη ν αηζζεηήξαο παξακέλεη αδξαλήο). Η ελεξγεηηθφηεηα ηνπ αηζζεηήξα δειαδή εμαξηάηαη απφ ηξεηο παξακέηξνπο: ηα βάξε ησλ ζπλδέζεσλ, ηηο ηηκέο ησλ εηζφδσλ θαη ηελ ηηκή ηνπ θαησθιίνπ. Πνιιέο θνξέο ζεσξνχκε ην θαηψθιη ζ ζαλ έλα επί πιένλ εζσηεξηθφ ζπλαπηηθφ βάξνο w 0 = ζ, ην νπνίν αληηζηνηρεί ζηελ είζνδν x 0 = -1 θαη είλαη μερσξηζηφ απφ ηα άιια βάξε, αιιά δξα κε ηνλ ίδην ηξφπν. Έηζη ην u γίλεηαη: n n n u w 1 x w x w x w x (2. 3) Απηή ε εμίζσζε είλαη ην εζσηεξηθφ γηλφκελν ησλ δηαλπζκάησλ w θαη x (u = w T x). Έηζη πξνζζέηνπκε κηα επί πιένλ είζνδν x 0 κε ζηαζεξή ηηκή -1 θαη ην δηάλπζκα εηζφδνπ γίλεηαη x = [x 0, x 1, x 2,,x n ] T θαη ην δηάλπζκα ησλ βαξψλ γίλεηαη w = [w 0,w 1,w 2,,w n ] T. Σν βάξνο w 0 = -ζ ζεσξείηαη φηη αληηζηνηρεί ζηελ ζηαζεξή είζνδν x 0 = +1 θαη νλνκάδεηαη πόλυζη (bas ή απιά b). Ο φξνο w 0 = b δελ έρεη θακία θπζηθή ζεκαζία θαη ζεσξείηαη φηη είλαη έλα εμσηεξηθφ εξέζηζκα ην νπνίν πξνζηίζεηαη ζην ππφινηπν άζξνηζκα γηα λα δψζεη ην ζσζηφ δπλακηθφ ελεξγνπνίεζεο ηνπ λεπξψλα. 30

31 Σν Perceptron ρξεζηκνπνηείηαη γηα ηελ ηαμηλφκεζε πξνηχπσλ θαη γηα λα ιεηηνπξγήζεη ζσζηά πξέπεη λα επηηπγράλεη γξακκηθό δηαρσξηζκό. Ο αιγφξηζκνο πνπ εθπαηδεχεη απηφ ην Νεπξσληθφ Γίθηπν κε ηελ πξνζαξκνγή ησλ παξακέηξσλ ηνπ αλαπηχρζεθε απφ ηνλ Rosenblatt. Ο Rosenblatt απέδεημε φηη αλ ηα δηαλχζκαηα εθπαίδεπζεο ηνπ Perceptron πξνέξρνληαη απφ δχν γξακκηθά δηαρσξίζηκεο θιάζεηο, ηφηε ν αιγφξηζκνο ηνπ Perceptron ζπγθιίλεη ζε πεπεξαζκέλν αξηζκφ επαλαιήςεσλ θαη ηνπνζεηεί ηε δηαρσξηζηηθή επηθάλεηα απφθαζεο κε ηε κνξθή ελφο ππεξεπηπέδνπ κεηαμχ ησλ δχν θιάζεσλ. Σν Perceptron κε έλα λεπξψλα ηαμηλνκεί πξφηππα πνπ αλήθνπλ ζε δχν κφλν θιάζεηο. ηφρνο ηνπ είλαη - φπσο πξναλαθέξακε- ε ζσζηή ηαμηλφκεζε ηνπ ζπλφινπ ησλ εηζφδσλ (πξνηχπσλ) x 1, x 2,..., x n ζε κία απφ ηηο δχν θιάζεηο C 1 ή C 2. Ο θαλφλαο απφθαζεο γηα ηελ ηαμηλφκεζε είλαη λα αλαζέηεη ην ζεκείν πνπ αλαπαξηζηνχλ νη είζνδνη x 1, x 2,..., x n ζηελ θιάζε C 1 αλ ε έμνδνο y = +1 ή ζηελ θιάζε C 2 αλ y = -1. Γηα ηελ θαηαλφεζε ηεο ζπκπεξηθνξάο ηνπ Perceptron, ζρεδηάδνπκε ηηο πεξηνρέο απφθαζεο ζηνλ n- δηάζηαην ρψξν ζεκάησλ πνπ θαηαιακβάλνπλ νη n κεηαβιεηέο εηζφδνπ x 1, x 2,...,x n. ηελ πην απιή κνξθή ηνπ Perceptron κε έλα λεπξψλα, ππάξρνπλ δχν πεξηνρέο απφθαζεο πνπ δηαρσξίδνληαη απφ έλα ππεξεπίπεδν, ην νπνίν νξίδεηαη σο εμήο: n u w x 0 1 n w x b 0 1 (2. 4) (2. 5) ηελ πεξίπησζε χπαξμεο δχν κεηαβιεηψλ εηζφδνπ x 1 θαη x 2 ην ππεξεπίπεδν είλαη κηα επζεία γξακκή πνπ ρξεζηκνπνηείηαη σο φξην απφθαζεο κεηαμχ ησλ δχν θιάζεσλ θαη πεξηγξάθεηαη απφ ηελ εμίζσζε: w 1 x 1 +w 2 x 2 +b=0 (2. 6) ηνπ επφκελνπ ζρήκαηνο [5]: Σχιμα 11: Το υπερεπίπεδο για ζνα πρόβλθμα ταξινόμθςθσ δφο κλάςεων 31

32 Σα ζεκεία (x 1, x 2 ) πνπ αληηζηνηρνχλ ζε ηηκή u>0 βξίζθνληαη ζηελ πεξηνρή πάλσ απφ ηελ επζεία γξακκή θαη αλήθνπλ ζηελ θιάζε C 1 γηαηη ε έμνδνο ηνπ λεπξψλα είλαη y=+1. Σα ζεκεία (x 1, x 2 ) πνπ αληηζηνηρνχλ ζε ηηκή u<0 βξίζθνληαη θάησ απφ ηελ επζεία γξακκή θαη αλήθνπλ ζηελ θιάζε C 2 γηαηί y = -1. Σα ζεκεία (x 1, x 2 ) πνπ αληηζηνηρνχλ ζε u = 0 βξίζθνληαη αθξηβψο πάλσ ζηελ επζεία. Η πφισζε bas αλάινγα κε ηελ ηηκή πνπ έρεη κεηαηνπίδεη ην φξην απφθαζεο καθξηά απφ ηελ αξρή ησλ αμφλσλ [28, 29]. 2.2 Η εκπαίδεςζη και ηα μειονεκηήμαηα ηος δικηύος Perceptron Σν δεηνχκελν ζην Νεπξσληθφ Γίθηπν Perceptron είλαη ε απηφκαηε εθκάζεζε ησλ παξακέηξσλ ηνπ ψζηε λα επηηπγράλεηαη ν επηζπκεηφο ζηφρνο πνπ είλαη ε εχξεζε ηεο δηαρσξηζηηθήο γξακκήο κεηαμχ ησλ δχν θιάζεσλ C 1 θαη C 2. Θέινπκε λα βξνχκε έλα δηάλπζκα βαξψλ w ηέηνην ψζηε λα ηθαλνπνηείηαη κία απφ ηηο παξαθάησ αληζφηεηεο: w T x>0 γηα θάζε πξφηππν εηζφδνπ πνπ αλήθεη ζηελ θιάζε C 1 ή w T x<0 γηα θάζε πξφηππν εηζφδνπ πνπ αλήθεη ζηελ θιάζε C 2. Η εθπαίδεπζε γίλεηαη κε επίβιεςε, δειαδή ππάξρεη έλαο δάζθαινο πνπ δίλεη ηελ επηζπκεηή έμνδν d γηα θάζε πξφηππν εθπαίδεπζεο (εηζφδνπ) x ρξεζηκνπνηψληαο θάπνηνλ επαλαιεπηηθφ αιγφξηζκν. Ο θιαζζηθφο θαλφλαο εθπαίδεπζεο είλαη ν θαλόλαο ζηαζεξήο αύμεζεο (fxed ncrement rule), φπνπ ηα πξφηππα παξνπζηάδνληαη ζην δίθηπν κε θπθιηθή ζεηξά θαη φηαλ ηειεηψζνπλ επαλαιακβάλνληαη απφ ηελ αξρή. Έλαο θχθινο φισλ ησλ πξνηχπσλ ιέγεηαη επνρή. Ο θαλφλαο απηφο κεηαβάιιεη ην δηάλπζκα ησλ βαξψλ κφλν φηαλ ππάξρεη ζθάικα ηαμηλφκεζεο, δειαδή φηαλ ν ζηφρνο γηα ην ζπγθεθξηκέλν πξφηππν εηζφδνπ θάζε θνξά δηαθέξεη απφ ηελ έμνδν ηνπ δηθηχνπ. Ο αιγφξηζκνο ζχγθιηζεο γηα έλα Perceptron n εηζφδσλ κε έλα ππνινγηζηηθφ λεπξψλα θαίλεηαη παξαθάησ. ηα βήκαηα απηά ην δηάλπζκα εηζφδσλ είλαη ην x(n)= [+1, x 1 (n), x 2 (n),,x n (n)] T θαη ην δηάλπζκα ησλ βαξψλ είλαη w(n)= [b, w 1 (n), w 2 (n),,w n (n)] T. Βήκα 1. Αξρηθνπνίεζε: κεδεληζκφο ηνπ δηαλχζκαηνο ησλ βαξψλ, δειαδή w(0)=0 θαη n=1 Βήκα 2. Δλεξγνπνίεζε: ζην ρξνληθφ βήκα (επαλάιεςε) n, ελεξγνπνηείηαη ην Perceptron εθαξκφδνληαο ην δηάλπζκα εηζφδσλ x(n). Βήκα 3. Τπνινγηζκφο πξαγκαηηθήο απφθξηζεο: ππνινγηζκφο ηεο πξαγκαηηθήο εμφδνπ ηνπ Perceptron κε ηνπο ηχπνπο: u(n) = w T (n). x(n) (2. 7) y(n)= sgn(u(n)) = sgn [w T (n). x(n)] (2. 8) φπνπ ε ζπλάξηεζε πξνζήκνπ 1 αν u 0 sgn( u) 1 αν u 0 32

33 Βήκα 4. Πξνζαξκνγή δηαλχζκαηνο βαξψλ: κεηαβνιή (πξνζαξκνγή) ησλ βαξψλ ηνπ Perceptron ζχκθσλα κε ηνλ θαλφλα w(n+1)=w(n) + η. [d(n)-y(n)] x(n) (2. 9) φπνπ η είλαη ε παξάκεηξνο κάζεζεο (βήκα ή ξπζκφο εθπαίδεπζεο) πνπ ξπζκίδεη ην κέγεζνο ηεο δηφξζσζεο θαη παίξλεη ηηκέο ζην δηάζηεκα [0 1] θαη επίζεο 1 αν X( n) ανήκει στην κλάση C 1 dn ( ) 1 αν X( n) ανήκει στην κλάση C 2 Βήκα 5. πλέρηζε: αχμεζε ηνπ ρξνληθνχ βήκαηνο n θαηά έλα θαη επηζηξνθή ζην βήκα 2. Η εθπαίδεπζε ηνπ w γίλεηαη έηζη ψζηε ην πξφηππν πνπ ηαμηλνκήζεθε ηψξα ιάζνο, ηελ επφκελε θνξά είηε ζα ηαμηλνκεζεί ζσζηά είηε ζα πιεζηάδεη πεξηζζφηεξν ζην λα ηαμηλνκεζεί ζσζηά. Σν κεγαιχηεξν κεηνλέθηεκα ηνπ κνληέινπ ηνπ αηζζεηήξα είλαη φηη δελ κπνξεί λα ιχζεη πξνβιήκαηα ηα νπνία είλαη κε γξακκηθά δηαρσξίζηκα [3, 40]. Σα πην πνιιά πξνβιήκαηα ζηνλ πξαγκαηηθφ θφζκν είλαη κε γξακκηθά δηαρσξίζηκα θαη ηα ιίγα πξνβιήκαηα πνπ είλαη γξακκηθά δηαρσξίζηκα έρνπλ ιπζεί πην εχθνια κε άιινπο ηξφπνπο. Έλα απιφ κε γξακκηθά δηαρσξίζηκν πξφβιεκα είλαη ε ζπλάξηεζε XOR, ε νπνία δελ κπνξεί λα παξαζηαζεί κε έλα δίθηπν ελφο κφλν λεπξψλα θαη θαίλεηαη ζην παξαθάησ ζρήκα [3]: Σχιμα 12: Το πρόβλθμα XOR ε απηφ ην πξφβιεκα έρνπκε δχν θιάζεηο πνπ ε θάζε κία έρεη δχν πξφηππα. Η θιάζε 1 πεξηέρεη ηα πξφηππα πνπ ζπκβνιίδνληαη κε θαη ηα νπνία αληηζηνηρνχλ ζηα δηαλχζκαηα εηζφδσλ [0,1] θαη [1,0]. Η θιάζε 2 πεξηέρεη ηα πξφηππα πνπ ζπκβνιίδνληαη κε θαη απηά αληηζηνηρνχλ ζηα δηαλχζκαηα [0,0] θαη [1,1]. Γηα λα πινπνηεζεί ε ζπλάξηεζε XOR πξέπεη ζηελ θιάζε 1 λα αληηζηνηρεί ε έμνδνο y = 1 θαη ζηελ θιάζε 2 ε έμνδνο y = 0. Όπσο πξνθχπηεη φκσο απφ ην ζρήκα δελ ππάξρεη θακία επζεία γξακκή πνπ λα δηαρσξίδεη ηηο δχν θιάζεηο άξα ην δίθηπν Perceptron δελ κπνξεί λα ιχζεη απηφ ην πξφβιεκα. Απηά ηα κεηνλεθηήκαηα νδήγεζαλ ζηε κειέηε ηνπ δηθηχνπ Perceptron πνιιψλ επηπέδσλ, ην νπνίν είλαη πην πεξίπινθν θαζψο δηαζέηεη πεξηζζφηεξνπο λεπξψλεο. 33

34 2.3 Το Perceptron πολλών επιπέδυν Η απινχζηεξε πεξίπησζε ΣΝΓ πνπ απνηεινχλ θαη ηελ επξχηεξε ρξεζηκνπνηνχκελε θαηεγνξία ΣΝΓ είλαη ηα δίθηπα πξφζζηαο ηξνθνδφηεζεο (feedforward networks). Σν ραξαθηεξηζηηθφ ησλ δηθηχσλ απηψλ είλαη φηη δελ ππάξρεη αλαηξνθνδφηεζε ηεο εμφδνπ ελφο λεπξψλα πξνο ηνπο λεπξψλεο απφ ηνπο νπνίνπο επεξεάδεηαη άκεζα ή έκκεζα. Σα δίθηπα απηά νλνκάδνληαη πξφζζηαο ηξνθνδφηεζεο γηαηί, κε δεδνκέλε θάπνηα είζνδν x, γηα ηνλ ππνινγηζκφ ηεο εμφδνπ πξαγκαηνπνηνχληαη ππνινγηζκνί, φινη πξνο ηελ ίδηα θαηεχζπλζε: απφ ηελ είζνδν πξνο ηελ έμνδν [19] Πολσεπίπεδο δίκησο Perceptron - MLP Σν δίθηπν Perceptron πνιιψλ επηπέδσλ (Mult-Layer Perceptron - MLP) είλαη κηα γελίθεπζε ηνπ απινχ Perceptron. Απνηειείηαη απφ έλα ζχλνιν αηζζεηήξσλ (πεγαίνη θφκβνη) πνπ απνηεινχλ ην επίπεδν εηζφδνπ, έλα ή πεξηζζφηεξα θξπθά επίπεδα (hdden layers) ππνινγηζηηθψλ θφκβσλ θαη έλα επίπεδν ππνινγηζηηθψλ θφκβσλ εμφδνπ [30]. Σν βαζηθφ ραξαθηεξηζηηθφ ηνπ δηθηχνπ απηνχ είλαη φηη νη λεπξψλεο ηνπ νπνηνπδήπνηε ζηξψκαηνο l ηξνθνδνηνχλ απνθιεηζηηθά ηνπο λεπξψλεο ηνπ επφκελνπ ζηξψκαηνο l+1 θαη ηξνθνδνηνχληαη απνθιεηζηηθά απφ ηνπο λεπξψλεο ηνπ πξνεγνχκελνπ ζηξψκαηνο l-1. Η αξρηηεθηνληθή ελφο δηθηχνπ MLP ηξηψλ επηπέδσλ κε δχν θξπθά επίπεδα απεηθνλίδεηαη ζην ζρήκα [5]: Σχιμα 13: Ζνα MLP με δφο κρυφά επίπεδα Σν δίθηπν απηφ είλαη πλήρως διαζσνδεδεμένο, δειαδή έλαο λεπξψλαο ζε θάζε επίπεδν είλαη ζπλδεδεκέλνο κε φινπο ηνπο λεπξψλεο ηνπ πξνεγνχκελνπ επηπέδνπ. Δπηπιένλ ην ζήκα ξέεη κέζα ζην δίθηπν ζε κία πξνο ηα εκπξφο θαηεχζπλζε, απφ ηα αξηζηεξά πξνο ηα δεμηά θαη απφ επίπεδν ζε επίπεδν. Έλα MLP έρεη ηα παξαθάησ ραξαθηεξηζηηθά: Σν κνληέιν θάζε λεπξψλα ζην δίθηπν πεξηιακβάλεη κηα κε γξακκηθή ζπλάξηεζε ελεξγνπνίεζεο, ε νπνία είλαη παληνχ παξαγσγίζηκε. Η πην ζπλεζηζκέλε κε γξακκηθή 34

35 ζπλάξηεζε πνπ ρξεζηκνπνηείηαη είλαη ε ζηγκνεηδήο ζπλάξηεζε πνπ νξίδεηαη απφ ηε ζρέζε: f(u) = 1 1 e -u (2. 10) Απηή ε ζπλάξηεζε έρεη ζπλερείο ηηκέο ζε αληίζεζε κε ηε βεκαηηθή πνπ έρεη δπαδηθέο ηηκέο θαη δελ είλαη παξαγσγίζηκε. Ο ιφγνο πνπ πξέπεη ε ζπλάξηεζε ελεξγνπνίεζεο λα είλαη παξαγσγίζηκε είλαη φηη νη πεξηζζφηεξνη θαλφλεο εθπαίδεπζεο βαζίδνληαη ζε κεζφδνπο βειηηζηνπνίεζεο νη νπνίεο ρξεζηκνπνηνχλ παξαγψγνπο. Δπηπιένλ ε κε γξακκηθφηεηα είλαη ζεκαληηθή γηαηί αιιηψο ε ζρέζε εηζφδνπ-εμφδνπ ηνπ πνιπεπίπεδνπ δηθηχνπ ζα ειαηησλφηαλ ζε απηή ηνπ απινχ Perceptron ελφο επηπέδνπ. Σν δίθηπν πεξηέρεη έλα ή πεξηζζφηεξα επίπεδα ηα νπνία παξακέλνπλ θξπθά γηα ηνπο θφκβνπο ησλ επηπέδσλ εηζφδνπ θαη εμφδνπ. Οη θξπθνί λεπξψλεο δίλνπλ ηε δπλαηφηεηα ζην δίθηπν λα κάζεη πνιχπινθεο εξγαζίεο κε ην λα εμάγνπλ ηα πην ζεκαληηθά ραξαθηεξηζηηθά απφ ηα δηαλχζκαηα εηζφδνπ. Σν δίθηπν επηδεηθλχεη πςειφ βαζκφ δηαζχλδεζεο πνπ θαζνξίδεηαη απφ ηα ζπλαπηηθά βάξε ηνπ δηθηχνπ. Γηαζέηεη δχν είδε ζεκάησλ: ην πξψην είδνο είλαη ηα λειηοςπγικά ζήμαηα (functon sgnals), ηα νπνία είλαη ζήκαηα εηζφδνπ πνπ θηάλνπλ ζηελ είζνδν ηνπ δηθηχνπ, ζηε ζπλέρεηα δηαδίδνληαη πξνο ηα εκπξφο δηακέζνπ ηνπ δηθηχνπ θαη ηειηθά εκθαλίδνληαη ζηελ έμνδν ηνπ δηθηχνπ σο ζήκαηα εμφδνπ, εθηειψληαο κηα ρξήζηκε ιεηηνπξγία ζηελ έμνδν ηνπ δηθηχνπ θαη ζε θάζε λεπξψλα ηνπ δηθηχνπ ηα ζήκαηα απηά ππνινγίδνληαη σο ζπλάξηεζε ησλ εηζφδσλ ηνπ λεπξψλα θαη ησλ αληίζηνηρσλ ζπλαπηηθψλ βαξψλ. Σν δεχηεξν είδνο είλαη ηα ζήμαηα ζθάλμαηορ (error sgnals) πνπ δεκηνπξγνχληαη ζε έλαλ λεπξψλα εμφδνπ ηνπ δηθηχνπ θαη δηαδίδνληαη πξνο ηα πίζσ δηακέζνπ ηνπ δηθηχνπ, επίπεδν πξνο επίπεδν. Κάζε θξπθφο λεπξψλαο ή λεπξψλαο εμφδνπ ηνπ Perceptron πνιιψλ επηπέδσλ ππνινγίδεη ην ιεηηνπξγηθφ ζήκα πνπ εκθαλίδεηαη ζηελ έμνδν ηνπ θαη βξίζθεη κηα εθηίκεζε ηνπ δηαλχζκαηνο θιίζεο πνπ ρξεηάδεηαη γηα ηελ πίζσ δηάδνζε κέζσ ηνπ δηθηχνπ. Σα δίθηπα Perceptron πνιιψλ επηπέδσλ κπνξνχλ λα πινπνηήζνπλ ζπλαξηήζεηο πνπ δελ κπνξεί λα πινπνηήζεη έλα απιφ δίθηπν Perceptron. Σα δίθηπα MLP πνπ ελζσκαηψλνπλ ηε ζηγκνεηδή ζπλάξηεζε κπνξνχλ λα πξνζεγγίζνπλ νπνηαδήπνηε ζπλερή ζπλάξηεζε φζν θνληά ζέινπκε (2 επίπεδα αξθνχλ) θαη γηα ην ιφγν απηφ νλνκάδνληαη θαη καθολικοί πποζεγγιζηέρ (unversal approxmators). πγθεθξηκέλα έρνπκε έλα Νεπξσληθφ Γίθηπν δχν επηπέδσλ πνπ δέρεηαη n 35

36 εηζφδνπο x 1, x 2,, x n. Σν πξψην επίπεδν (θξπθφ επίπεδν) απνηειείηαη απφ p κε γξακκηθνχο λεπξψλεο πνπ ρξεζηκνπνηνχλ ηε ζηγκνεηδή ζπλάξηεζε ελεξγνπνίεζεο f. Η έμνδνο ελφο λεπξψλα ηνπ πξψηνπ επηπέδνπ είλαη: n y f ( w x ) j 1 j j (2. 11) Σν δεχηεξν επίπεδν απνηειείηαη απφ έλα γξακκηθφ λεπξψλα πνπ πξνζζέηεη ηηο ελεξγνπνηήζεηο ηνπ πξψηνπ επηπέδνπ ρξεζηκνπνηψληαο ηα ζπλαπηηθά βάξε σ 1, σ 2,..., σ p. Έηζη ε έμνδνο ηνπ δηθηχνπ είλαη: p g( x 1, x 2,..., xn) y 1 (2. 12) Απνδεηθλχεηαη φηη ππάξρεη έλαο αθέξαηνο p θαη ηηκέο ησλ βαξψλ σ, w j θαη ζ έηζη ψζηε ε g(x 1,x 2,, x n ) λα πξνζεγγίδεη κηα νπνηαδήπνηε ζπλερή ζπλάξηεζε θ(x 1,x 2,, x n ), φπνπ ηα x αλήθνπλ ζην δηάζηεκα [0,1], κε ζθάικα κηθξφηεξν ηνπ ε γηα νπνηνδήπνηε ε>0. Απηφ είλαη πνιχ ζεκαληηθφ γηαηί βιέπνπκε φηη έλα δίθηπν MLP κπνξεί λα πινπνηήζεη νπνηαδήπνηε ζπλερή δηαρσξηζηηθή επηθάλεηα ζε n δηαζηάζεηο ζε αληίζεζε κε ην απιφ Perceptron πνπ κπνξεί λα εθηειέζεη γξακκηθνχο δηαρσξηζκνχο. Η εθπαίδεπζε ελφο δηθηχνπ πνιιψλ επηπέδσλ είλαη ε δηαδηθαζία ξχζκηζεο ησλ ζπλαπηηθψλ βαξψλ ηνπ έηζη ψζηε λα ηθαλνπνηείηαη θάπνην θξηηήξην βειηηζηνπνίεζεο. ηφρνο ηεο εθπαίδεπζεο είλαη ην δίθηπν λα κάζεη νπνηαδήπνηε επηζπκεηή ζπλάξηεζε κε νπνηνδήπνηε βαζκφ πξνζέγγηζεο. Ο αιγφξηζκνο πνπ ρξεζηκνπνηείηαη θπξίσο γηα ηελ εθπαίδεπζε ησλ MLP είλαη ν αιγφξηζκνο πίζσ δηάδνζεο ηνπ ιάζνπο (Error Back Propagaton). Ο αιγφξηζκνο απηφο βαζίδεηαη ζηνλ θαλφλα κάζεζεο δηφξζσζεο ηνπ ιάζνπο (error correcton learnng rule). Βαζηθφ ραξαθηεξηζηηθφ ηεο εθπαίδεπζεο κε ηνλ αιγφξηζκν Back Propagaton είλαη ε χπαξμε ζηφρσλ, δειαδή ην δίθηπν εθπαηδεχεηαη κε επίβιεςε. Η δηαδηθαζία εθπαίδεπζεο απνηειείηαη απφ δχν πεξάζκαηα δηακέζνπ ησλ επηπέδσλ ηνπ δηθηχνπ: έλα πέξαζκα πξνο ηα εκπξφο θαη έλα πέξαζκα πξνο ηα πίζσ. ην εμππόρ πέπαζμα έλα δηάλπζκα εηζφδνπ εθαξκφδεηαη ζηνπο λεπξψλεο εηζφδνπ ηνπ δηθηχνπ θαη ε επίδξαζή ηνπ δηαδίδεηαη κέζα ζην δίθηπν απφ επίπεδν ζε επίπεδν. ην ηέινο παξάγνληαη νη έμνδνη πνπ είλαη ε πξαγκαηηθή απφθξηζε ηνπ δηθηχνπ. ε απηφ ην πέξαζκα ηα βάξε ηνπ δηθηχνπ είλαη ζηαζεξά. ην πίζυ πέπαζμα ηα βάξε κεηαβάιινληαη ζχκθσλα κε ηνλ θαλφλα δηφξζσζεο ηνπ ιάζνπο. πγθεθξηκέλα ε πξαγκαηηθή απφθξηζε ηνπ δηθηχνπ αθαηξείηαη απφ ηελ επηζπκεηή έμνδν γηα λα δεκηνπξγεζεί έλα ζήκα ιάζνπο ην νπνίν δηαδίδεηαη πξνο ηα πίζσ ζην δίθηπν. Σα ζπλαπηηθά βάξε πξνζαξκφδνληαη έηζη ψζηε ε πξαγκαηηθή απφθξηζε λα πιεζηάζεη ηελ επηζπκεηή. 36

37 Αλ ζεσξήζνπκε έλα δίθηπν MLP κε L επίπεδα, n εηζφδνπο θαη m εμφδνπο θαη γηα κηα ζεηξά απφ P δηαλχζκαηα εηζφδνπ, ζέινπκε νη έμνδνη λα είλαη ίζεο κε ηα αληίζηνηρα P δηαλχζκαηα ζηφρσλ πνπ δίλνληαη. Σα δεδνκέλα πνπ ρξεηάδνληαη γηα λα εθπαηδεπηεί ην δίθηπν είλαη ηα P δεχγε δηαλπζκάησλ εηζφδσλ-ζηφρσλ {x (p), d (p) } p=1, 2,, P. Σα δηαλχζκαηα εηζφδνπ, εμφδνπ θαη ζηφρσλ είλαη x=[x 1, x 2,, x n ] T, y=[y 1, y 2,, y m ] T θαη d=[ d 1, d 2,, d m ] T. Η ηδαληθή θαηάζηαζε ζα ήηαλ λα ηαπηηζηνχλ νη έμνδνη κε ηνπο ζηφρνπο γηα θάζε πξφηππν εηζφδνπ, δειαδή λα είρακε y (p) =d (p) γηα p=1, 2,, P, ην νπνίν φκσο δελ κπνξεί λα γίλεη θαη γηα απηφ αλαδεηνχκε ηε βέιηηζηε πξνζέγγηζε ηεο επηζπκεηήο εμφδνπ, ρξεζηκνπνηψληαο έλα θξηηήξην θφζηνπο. Απηφ ην θξηηήξην θφζηνπο είλαη ην κέζν ηεηξαγσληθφ ζθάικα: P ( p) ( p) 1 P m ( p) ( p) J d y P p 1 P p 1 1 d y (2. 13) Η ειαρηζηνπνίεζε ηνπ θξηηεξίνπ ζεκαίλεη ηελ ειαρηζηνπνίεζε ηεο ηεηξαγσληθήο απφζηαζεο κεηαμχ ησλ δηαλπζκάησλ y (p) θαη d (p). Η πην γλσζηή κέζνδνο πνπ ρξεζηκνπνηείηαη ζηελ εθπαίδεπζε κε ηνλ back propagaton είλαη ε καηάβαζη δςναμικού. Καηάβαζε δπλακηθνύ Καηά ηε δηαδηθαζία ηεο εθπαίδεπζεο νη παξάκεηξνη πνπ δηνξζψλνληαη είλαη ηα ζπλαπηηθά βάξε w j έηζη ψζηε λα ειαρηζηνπνηεζεί ην θφζηνο J. Οη είζνδνη x (p) θαη νη ζηφρνη d (p) είλαη δεδνκέλνη θαη ζηαζεξνί. χκθσλα κε ηε κέζνδν θαηάβαζεο δπλακηθνχ, ε κεηαβνιή ηνπ w j σο πξνο ην ρξφλν είλαη ίζε κε ην αληίζεην ηεο θιίζεο ηνπ J σο πξνο w j : dw j dt J (2. 14) w j Η εμίζσζε απηή φκσο ρξεζηκνπνηεί ηνλ ζπλερή ρξφλν t θαη γηα ην ιφγν απηφ δελ κπνξεί λα δηαθξηηνπνηεζεί ζηνλ Η/Τ, νπφηε ε θαηάβαζε δπλακηθνχ εμνκνηψλεηαη κε ηελ αληίζηνηρε εμίζσζε ζηνλ δηαθξηηφ ρξφλν k πνπ είλαη ε εμήο: J w j ( l, k 1) w j ( l, k) w j ( l, k) (2. 15) φπνπ w j (l,k) είλαη ην ζπλαπηηθφ βάξνο πνπ ζπλδέεη ην λεπξψλα j ηνπ επηπέδνπ l-1 κε ην λεπξψλα ηνπ επηπέδνπ l ηε ρξνληθή ζηηγκή k θαη β είλαη ην βήκα εθπαίδεπζεο, ην νπνίν είλαη γεληθά ζπλάξηεζε ηνπ k θαη παίξλεη κηθξέο ζεηηθέο ηηκέο. Γηα ηνλ ππνινγηζκφ ηεο θιίζεο ηνπ J σο πξνο ην ζπλαπηηθφ βάξνο w j (l,k), πξέπεη λα νξηζηεί ε ηοπική κλίζη (ή ζθάλμα) ηνπ λεπξψλα ηε ρξνληθή ζηηγκή k κε ηε ζρέζε: 37

38 ( k) J () l ( k) u () l (2. 16) Άξα ζχκθσλα κε ηνλ θαλφλα αιπζίδαο ηνπ δηαθνξηθνχ ινγηζκνχ ηζρχεη φηη: ( k) ( k) J J u ( l) ( k) u ( l) () l w ( l, k) ( k) () w ( l, k) j u l j w j ( l, k) (2. 17) φπνπ ην u (k) (l) είλαη ε δηθηπαθή δηέγεξζε (ή ηνπηθφ πεδίν ηνπ λεπξψλα ) θαη είλαη ην άζξνηζκα ησλ δηεγέξζεσλ ησλ λεπξψλσλ ηνπ πξνεγνχκελνπ επηπέδνπ πνιιαπιαζηαζκέλσλ κε ηα ζπλαπηηθά βάξε w j (l,k): ( k) N ( k) u ( l) w ( l, k) y ( l 1) w ( l, k) j 1 j j (2. 18) 0 ( k) ( k) y l f u () l (2. 19) Ιζρχεη: ( k) u () l y ( k) ( l 1) w ( l, k) j (2. 20) j νπφηε J ( k) ( k) ( l) y ( l 1) w ( l, k) j (2. 21) j γηα j = 0, 1, 2,, Ν θαη l = 1, 2,, L. Γηα ηελ εχξεζε ησλ ηνπηθψλ θιίζεσλ δ (k) (l) γηα φινπο ηνπο λεπξψλεο, μεθηλάκε απφ ην επίπεδν εμφδνπ θαη κε θαηεχζπλζε πξνο ηα πίζσ θηάλνπκε ζην πξψην επίπεδν. Πην ζπγθεθξηκέλα: α) Για ηο επίπεδο εξόδος L ην ζθάικα είλαη: ( k) ( k) J J y ( L ) ( ) L ( k) ( k) ( k) u ( L) y ( L) u ( L) Απφ ηνλ ππνινγηζκφ ηνπ πξψηνπ θιάζκαηνο, ηζρχεη: J ( ) ( ) ( d k y k ) ( k) y ( L ) (2. 23) (2. 22) Άξα αληηθαζηζηψληαο ηε κεξηθή παξάγσγν ηνπ J ζηνλ ηχπν (2. 22), πξνθχπηεη φηη: ( ( k) ( k) ( ) ( ) ( )) ( ) ( k k f u L ) L d y ( k) ( ) ( ( k) ( k) ) ' ( ( k) ( k) L d y f u ( L)) (2. 24) u ( L ) Η ηνπηθή θιίζε δ (k) (l) είλαη δειαδή ε δηαθνξά ηεο εμφδνπ ηνπ λεπξψλα απφ ηελ αληίζηνηρε επηζπκεηή έμνδν, πνιιαπιαζηαζκέλε κε ηελ παξάγσγν ηεο ζπλάξηεζεο 38

39 ελεξγνπνίεζεο f. Αλάινγα κε ηε ζπλάξηεζε ελεξγνπνίεζεο, ππάξρεη θαη δηαθνξεηηθή παξάγσγνο. Αλαθνξηθά κε ηνλ ππνινγηζκφ ηεο f (u) έρνπκε λα παξαηεξήζνπκε ηα εμήο: 1 Γηα ηε ζηγκνεηδή ζπλάξηεζε f(u)= 1 e u u u e e Γηα ηελ ππεξβνιηθή εθαπηνκέλε f(u)= u u e e Γηα ηε γξακκηθή ζπλάξηεζε f(u)=u, ε παξάγσγνο, ε παξάγσγνο f ' ( u) f ( u)(1 f ( u)), ε παξάγσγνο f ' ( u) (1 f ( u))(1 f ( u)) f ' ( u) 1 β) Για οποιοδήποηε άλλο επίπεδο l = 1, 2,, L-1 ην ζθάικα είλαη: ( 1) ( k) ( 1) ( k) ( k) J l J u l y () l () l ( k) 1 ( k) ( k) ( k) u ( l) (2. 25) u ( l 1) y ( l) u ( l) θαη κεηά απφ πξάμεηο πξνθχπηεη φηη: ( k) Nl ( 1) ( ) ( k) ( 1) ( k) ( 1) ' ( ( k) l l w l f u ( l)) 1 (2. 26) φπνπ ( k) ( l 1) είλαη ην ζθάικα ελφο λεπξψλα κ πνπ βξίζθεηαη ζην επφκελν επίπεδν l+1. Απφ απηφλ ηνλ ηχπν πξνθχπηεη φηη ην ζθάικα δ ζε νπνηνδήπνηε λεπξψλα ηνπ ζηξψκαηνο l είλαη ζπλάξηεζε ησλ ζθαικάησλ δ ηνπ επφκελνπ ζηξψκαηνο l+1. Γειαδή ηα ζθάικαηα πξνσζνχληαη πξνο ηα πίζσ θαη γη απηφ ν αιγφξηζκνο νλνκάδεηαη back propagaton (BP). Δπίζεο ρξεζηκνπνηείηαη πάιη ε παξάγσγνο ηεο ζπλάξηεζεο ελεξγνπνίεζεο, ε νπνία κπνξεί λα είλαη δηαθνξεηηθή γηα θάζε επίπεδν ηνπ δηθηχνπ. Άξα ε ηειηθή κνξθή ηνπ θαλφλα back propagaton αλαθνξηθά κε ηνλ ππνινγηζκφ ησλ ζθαικάησλ είλαη ε εμήο: ( ) ( ) (, 1 ) (, ) k k w j l k w j l k ( l) y j ( l 1) (2. 27) πλνπηηθά ηα βήκαηα ηνπ επαλαιεπηηθνχ αιγφξηζκνπ Back-Propagaton είλαη: - Αξρηθνπνίεζε ησλ βαξψλ w j (l) ζε κηθξέο ηπραίεο ηηκέο γηα θάζε ζηξψκα l. Σν βάξνο w 0 (l) είλαη ην θαηψθιη ηνπ λεπξψλα ηνπ ζηξψκαηνο l. Δπανέλαβε για κάθε εποσή = 1, 2,, MAXepoch { Γηα θάζε πξφηππν p=1,, P { Τπνιφγηζε ηηο εμόδνπο y (1) ηνπ ζηξψκαηνο 1 ζχκθσλα κε ηνλ ηχπν: Nl ( 1) y ( l) f ( u ( l)) f ( w ( l) y ( l 1) w ( l)) j 1 j j 0 (2. 28), l = 1, 2,, L... 39

40 Τπνιφγηζε ηηο εμφδνπο y (L) ηνπ ζηξψκαηνο L Τπνιφγηζε ηα ζθάικαηα δ (L) ηνπ ζηξψκαηνο L ζχκθσλα κε ηνλ ηχπν: ( k) ( ) ( ( k) ( k) ) ' ( ( k) L d y f u ( L)) (2. 29) Τπνιφγηζε ηα ζθάικαηα δ (L-1) ηνπ ζηξψκαηνο L-1 ζχκθσλα κε ηνλ ηχπν: ( k) ( ) ( 1) ( ) ' k Nl l f ( u ( l)) ( l 1) w ( l 1) 1... Τπνιφγηζε ηα ζθάικαηα δ (1) ηνπ ζηξψκαηνο 1 (2. 30), l = 1, 2,, L-1 Δλεκέξσζε ηα βάξε φισλ ησλ ζηξσκάησλ ζχκθσλα κε ηνλ ηχπν: ( ) ( ) (, 1 ) (, ) k k w j l k w j l k ( l) y j ( l1) (2. 31) γηα j = 0, 1,, N(l-1) θαη l = 1,, L } μέσπιρ_όηος ηο ζςνολικό ζθάλμα J ζε μια εποσή να είναι μικπόηεπο από ένα καηώθλι ε } Σν βήκα εθπαίδεπζεο β επεξεάδεη ηελ ηαρχηεηα ζχγθιηζεο ηνπ αιγνξίζκνπ. Αλ δνζνχλ ζην β πνιχ κηθξέο ζεηηθέο ηηκέο ηφηε ν αιγφξηζκνο ζα ζπγθιίλεη ζην πην θνληηλφ ηνπηθφ ειάρηζην, αιιά ε ζχγθιηζε ζα είλαη πνιχ αξγή. Αλ δνζνχλ κεγαιχηεξεο ηηκέο ζην β ηφηε πεηπραίλεηαη πην γξήγνξε ζχγθιηζε. Απφ θάπνην ζεκείν θαη κεηά φκσο ζα ππάξρεη θαθή ζχγθιηζε ηνπ αιγνξίζκνπ (ηαιαληψζεηο) ή αθφκα θαη απφθιηζε, δειαδή νη ηηκέο ησλ βαξψλ ζα νδεγνχληαη ζην. Γηα ηε ζσζηή επηινγή ηνπ β ζπλήζσο ρξεζηκνπνηείηαη ε κέζνδνο δνθηκήο θαη ζθάικαηνο θαη έλαο γεληθφο θαλφλαο είλαη φηη ρξεζηκνπνηνχληαη ηηκέο κηθξφηεξεο έσο πνιχ κηθξφηεξεο απφ ηε κνλάδα. Δπηπιένλ πεηπραίλεηαη ηαρχηεξε ζχγθιηζε αλ ρξεζηκνπνηεζνχλ δηαθνξεηηθά βήκαηα εθπαίδεπζεο γηα θάζε ζηξψκα ηνπ δηθηχνπ ή θαη γηα θάζε ζπλαπηηθφ βάξνο μερσξηζηά. Σα ηειεπηαία ζηξψκαηα έρνπλ ζπλήζσο κεγαιχηεξε παξάγσγν J / w ζε ζρέζε κε ηα πξψηα. Έηζη, αλ ρξεζηκνπνηεζεί ην ίδην βήκα εθπαίδεπζεο j ζε φια ηα ζηξψκαηα, ηφηε ε δηφξζσζε ησλ βαξψλ πνπ γίλεηαη ζχκθσλα κε ηνλ ηχπν: J w j ( k) w j ( k) (2. 32) ζα είλαη κεγαιχηεξε ζηα ηειεπηαία ζηξψκαηα απ φηη ζηα πξψηα. Γηα λα εμηζνξξνπεζεί ε ηαρχηεηα εθπαίδεπζεο ζε φια ηα επίπεδα, κπνξεί λα ρξεζηκνπνηεζεί κηθξφηεξν βήκα εθπαίδεπζεο ζηα ηειεπηαία ζηξψκαηα θαη κεγαιχηεξν ζηα πξψηα. Αλ ρξεζηκνπνηεζεί δηαθνξεηηθφ βήκα εθπαίδεπζεο β j γηα θάζε βάξνο w j ρσξηζηά, ηφηε ν θαλφλαο BP γίλεηαη: 40

41 J w j ( k) j w j ( k) (2. 33) Η ηδέα είλαη φηη θάζε βάξνο είλαη μερσξηζηφ θαη κπνξεί λα ρξεηάδεηαη πην γξήγνξνπο ή πην αξγνχο ξπζκνχο εθπαίδεπζεο απφ ηα άιια βάξε. Έηζη ηα βήκαηα κπνξνχλ λα αιιάδνπλ απφ επαλάιεςε ζε επαλάιεςε ή απφ επνρή ζε επνρή. Γελ ππάξρνπλ ζαθψο νξηζκέλα θξηηήξηα πνπ λα ζηακαηνχλ ηελ ιεηηνπξγία ηνπ αιγνξίζκνπ back propagaton, αιιά ππάξρνπλ θάπνηα ινγηθά θξηηήξηα πνπ κπνξνχλ λα ρξεζηκνπνηεζνχλ γηα λα ηεξκαηίζνπλ ηηο ξπζκίζεηο ησλ βαξψλ. Απηά ηα θξηηήξηα πεξηιακβάλνπλ ην θφζηνο J ή ηα ζπλαπηηθά βάξε w j. Πην ζπγθεθξηκέλα: Α. Με βάζη ηο κόζηορ J ιζσύει: 1. Σν θφζηνο J(n) γηα θάπνηα επνρή εθπαίδεπζεο n είλαη κηθξφηεξν απφ θάπνην θαηψθιη ε πνπ νξίδεηαη απφ ην ρξήζηε. Σν J(n) νξίδεηαη απφ ηνλ ηχπν: 2 1 P m ( p) ( p) J d y P p 1 1 (2. 34) 2. Σν ζθάικα ζε δχν δηαδνρηθέο επνρέο n-1, n δελ κεηψλεηαη ζεκαληηθά, δειαδή ηζρχεη φηη J(n-1) - J(n) < ε (φπνπ ε θαηψθιη πνπ νξίδεη ν ρξήζηεο). Β. Με βάζη ηα ζςναπηικά βάπη ιζσύει: Σα ζπλαπηηθά βάξε αιιάδνπλ πνιχ ιίγν θαηά ηελ επνρή n θαη απηφ κπνξεί λα κεηξεζεί αλ πξνζηεζνχλ νη κεηαβνιέο ησλ βαξψλ πςσκέλεο ζην ηεηξάγσλν ή ζε απφιπηε ηηκή θαη ζπγθξηζνχλ κε θάπνην θαηψθιη ε πνπ νξίδεη ν ρξήζηεο, δειαδή: ( ) 2 w j, j ή w j, j (2.35) Μειονεκηήμαηα ηοσ αλγόριθμοσ Back Propagaton Παξά ηελ κεγάιε επηηπρία ηεο κεζφδνπ ηεο νπηζζνδηάδνζεο, ππάξρνπλ θαη πεξηπηψζεηο πνπ ε κέζνδνο απνηπγράλεη ή δελ δνπιεχεη άκεζα κε επηηπρία. ε απηέο ηηο πεξηπηψζεηο ζπλήζσο ρξεηάδεηαη λα αιιαρζνχλ νη ηηκέο ησλ παξακέηξσλ ή νη αξρηθέο ζπλζήθεο κέρξη λα δηνξζσζεί ην πξφβιεκα. Μεξηθέο θνξέο ν ρξφλνο εθπαίδεπζεο είλαη ππεξβνιηθά κεγάινο. Υξεηάδνληαη π.ρ. ρηιηάδεο ή εθαηνκκχξηα θχθινη δηφξζσζεο κέρξη ην ζχζηεκα λα ζπγθιίλεη ή ππάξρεη πεξίπησζε θαη λα κελ ζπγθιίλεη πνηέ. ε απηέο ηηο πεξηπηψζεηο πξέπεη λα αιιάμεη ην κέγεζνο ηνπ βήκαηνο εθπαίδεπζεο β. Κάπνηεο άιιεο θνξέο φκσο απαηηνχληαη ιίγεο επαλαιήςεηο, νη νπνίεο πξαγκαηνπνηνχληαη κέζα ζε ιίγα ιεπηά αθφκα θαη γηα κεγάιν φγθν δεδνκέλσλ. 41

42 Έλα άιιν κεηνλέθηεκα είλαη φηη ν αιγφξηζκνο κπνξεί λα ζπγθιίλεη ζε θάπνην ηνπηθό ειάρηζην ηεο ζπλάξηεζεο θφζηνπο αληί ζην νιηθφ. Σα ηνπηθά ειάρηζηα είλαη γεληθά αλεπηζχκεηα γηαηί είλαη θαηψηεξεο ιχζεηο ηνπ πξνβιήκαηνο ζε ζρέζε κε ην νιηθφ ειάρηζην. Δμαηηίαο απηνχ ηνπ γεγνλφηνο, ε δηαδηθαζία κάζεζεο κπνξεί λα ζηακαηήζεη πξφσξα, δειαδή ζηελ αξρή ηνπ αιγνξίζκνπ θαη ην δίθηπν δελ ζα απνδψζεη ην επηζπκεηφ απνηέιεζκα. Γηα ηελ αληηκεηψπηζε απηνχ ηνπ πξνβιήκαηνο, πξέπεη θαηά ηελ εθθίλεζε ηα βάξε λα αξρηθνπνηνχληαη ζε κηθξέο ηηκέο. Ο ιφγνο είλαη φηη ηα κεγάια βάξε νδεγνχλ ζηνλ θνξεζκό θαηά ηνλ νπνίν ε κεηαβνιή ησλ ζπλαπηηθψλ βαξψλ είλαη πνιχ κηθξή φρη φκσο επεηδή ην δίθηπν έρεη θηάζεη ζε θαιφ ζεκείν. Απηφ απνδεηθλχεηαη απφ ηνλ ηχπν ηεο δηθηπαθήο δηέγεξζεο ηνπ λεπξψλα πνπ είλαη: u w j y j w, φπνπ αλ ππάξρνπλ κεγάια βάξε ηφηε ην u j 0 παίξλεη κεγάιεο ζεηηθέο ή αξλεηηθέο ηηκέο θαη κε ηε ζηγκνεηδή ζπλάξηεζε ελεξγνπνίεζεο ε έμνδνο ηνπ λεπξψλα f(u ) ηείλεη ζηηο νξηαθέο ηηκέο 0 θαη 1. Σφηε ε παξάγσγνο f ' ( u ) f ( u )[1 f ( u )], άξα ην ζθάικα δ πνπ εμαξηάηαη απφ ηελ f ' είλαη ζρεδφλ κεδέλ γηαηί ' f είλαη θαη απηφ ζρεδφλ κεδέλ θαη γη απηφ ζχκθσλα κε ηνλ θαλφλα back propagaton δελ έρνπκε κεηαβνιή βαξψλ, θάηη ην νπνίν είλαη ιάζνο Τρόποι εκπαίδεσζης ενός δικηύοσ MLP ηνλ αιγφξηζκν πίζσ δηάδνζεο, ε κάζεζε επηηπγράλεηαη εθαξκφδνληαο έλα ζχλνιν απφ δηαλχζκαηα εθπαίδεπζεο ζηελ είζνδν ηνπ πνιπεπίπεδνπ Perceptron. Η πιήξεο παξνπζίαζε φισλ ησλ δηαλπζκάησλ εθπαίδεπζεο ζην δίθηπν ιέγεηαη θύθινο ή επνρή εθπαίδεπζεο (epoch). Η δηαδηθαζία κάζεζεο πξνρσξάεη απφ θχθιν ζε θχθιν κέρξη λα ζηαζεξνπνηεζνχλ ηα ζπλαπηηθά βάξε θαη ηα θαηψθιηα ηνπ δηθηχνπ θαη ην κέζν ηεηξαγσληθφ ζθάικα φισλ ησλ δηαλπζκάησλ εθπαίδεπζεο λα ηείλεη ζε θάπνην ειάρηζην. Τπάξρνπλ δχν ηξφπνη γηα ηελ παξνπζίαζε ησλ δηαλπζκάησλ εθπαίδεπζεο: Παξνπζηάδεηαη ην έλα δείγκα εθπαίδεπζεο, κεηά ην άιιν ζηελ ζεηξά κέρξη λα παξνπζηαζηνχλ φια θαη λα ζπκπιεξσζεί κηα επνρή εθπαίδεπζεο. Απηφ επαλαιακβάλεηαη ζε φιεο ηηο επνρέο. Παξνπζηάδνληαη ηα δείγκαηα εθπαίδεπζεο ζε ηπραία ζεηξά, εμαζθαιίδνληαο φηη ζε θάζε θχθιν εθπαίδεπζεο ζα παξνπζηαζηνχλ φια ηα δείγκαηα απφ κηα κφλν θνξά ην θαζέλα. Η ηπραία απηή ζεηξά δηαθέξεη ζε θάζε θχθιν εθπαίδεπζεο. Γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ ππάξρνπλ νη παξαθάησ ηξφπνη [14]: 42

43 Α. Σξόπνο Πξνηύπσλ (Pattern Mode). Με απηφλ ηνλ ηξφπν επηβιεπφκελεο κάζεζεο, νη πξνζαξκνγέο ζηα βάξε ηνπ Perceptron πνιιψλ επηπέδσλ εθηεινχληαη παξάδεηγκα πξνο παξάδεηγκα, δειαδή κε ηελ παξνπζίαζε θάζε δηαλχζκαηνο εθπαίδεπζεο. Η ζπλάξηεζε θφζηνπο πνπ ζα ειαρηζηνπνηεζεί είλαη: 1 m 2 J d ( p) y ( p) 2 1 (2.36) Κάζε επνρή απνηειείηαη απφ N παξαδείγκαηα εθπαίδεπζεο νξγαλσκέλα ζε ζεηξά {x(1), d(1)}, {x(2), d(2)},, {x(n), d(n)}. Πξψηα παξνπζηάδεηαη ζην δίθηπν ην δεχγνο παξαδείγκαηνο {x(1), d(1)} θαη πξνζαξκφδνληαη ηα βάξε ηνπ δηθηχνπ κε ηελ κέζνδν βαζκσηήο θαηάβαζεο. Μεηά παξνπζηάδεηαη ην δεχηεξν παξάδεηγκα {x(2), d(2)}, ην νπνίν νδεγεί ζε επηπιένλ πξνζαξκνγέο βαξψλ ηνπ δηθηχνπ. Απηή ε δηαδηθαζία ζπλερίδεηαη κέρξη ην ηειεπηαίν παξάδεηγκα {x(ν), d(n)}, νπφηε θαη νινθιεξψλεηαη έλαο θχθινο εθπαίδεπζεο. Β. Μαδηθή κάζεζε (Batch Mode). ηε καδηθή κέζνδν επηβιεπφκελεο κάζεζεο, νη πξνζαξκνγέο ζηα βάξε ηνπ Perceptron πνιιψλ επηπέδσλ εθηεινχληαη κεηά απφ ηελ παξνπζίαζε φισλ ησλ παξαδεηγκάησλ εθπαίδεπζεο ηα νπνία απνηεινχλ κία επνρή εθπαίδεπζεο. Η ζπλάξηεζε θφζηνπο πξνο ειαρηζηνπνίεζε είλαη: 1 N m 2 J d ( n) y ( n) 2N n 1 1 (2.37) Έηζη νη δηνξζψζεηο ησλ βαξψλ γίλνληαη επνρή πξνο επνρή. πγθξίλνληαο ηνπο δχν πξναλαθεξφκελνπο ηξφπνπο, πξνθχπηεη φηη ν ηξφπνο πξνηχπσλ είλαη πξνηηκφηεξνο απφ ηε καδηθή κάζεζε γηαηί ρξεηάδεηαη πνιχ ιηγφηεξν ρψξν απνζήθεπζεο γηα θάζε ζχλαςε θαη επίζεο κπνξεί λα παξαθνινπζεί ηηο κηθξέο κεηαβνιέο ζηα δεδνκέλα εθπαίδεπζεο. Δπηπιένλ έρνληαο ζαλ δεδνκέλν φηη ηα παξαδείγκαηα εθπαίδεπζεο παξνπζηάδνληαη ζην δίθηπν κε ηπραία ζεηξά, ε ρξήζε ηεο πξνζαξκνγήο πξφηππν πξνο πξφηππν (pattern mode) θαζηζηά ηελ αλαδήηεζε ζηνλ ρψξν βαξψλ ζηνραζηηθή δηαδηθαζία, ε νπνία κεηψλεη ηηο πηζαλφηεηεο λα παγηδεπηεί ν αιγφξηζκνο ζε έλα ηνπηθφ ειάρηζην. Η καδηθή κάζεζε φκσο δίλεη κηα πην ζσζηή εθηίκεζε ηνπ δηαλχζκαηνο θιίζεο. 2.4 Δπεξεπγαζία ηυν δεδομένυν για ηην εκπαίδεςζη ηυν ΤΝΓ Η εθπαίδεπζε ηνπ ηερλεηνχ Νεπξσληθνχ Γηθηχνπ κπνξεί λα γίλεη ηδηαίηεξα απνδνηηθή αλ πξνεγεζεί επεμεξγαζία ησλ δεδνκέλσλ. Η πξνεηνηκαζία ησλ δεδνκέλσλ πεξηιακβάλεη ηα αθφινπζα ηξία ζηάδηα [18]: 43

44 1. Καζνξηζκόο ησλ δεδνκέλσλ 2. Φηιηξάξηζκα ησλ δεδνκέλσλ 3. Πξνεπεμεξγαζία ησλ δεδνκέλσλ Σν πξώην ζηάδην, ζην νπνίν θαζνξίδνληαη ηα δεδνκέλα, είλαη ηηο πεξηζζφηεξεο θνξέο ην πην ζεκαληηθφ γηα ηελ πξνεηνηκαζία ησλ δεδνκέλσλ, δηφηη πξέπεη λα πξνδηαγξαθεί πιήξσο έλα ζπγθεθξηκέλν πξφβιεκα θαη λα θαζνξηζηνχλ νη κεηαβιεηέο εηζφδνπ ηνπ δηθηχνπ. ε θάπνηεο πεξηπηψζεηο δελ είλαη δπλαηφ λα ζπκπεξηιεθζνχλ φια ηα ραξαθηεξηζηηθά ηνπ πξνβιήκαηνο ζε έλα Νεπξσληθφ Γίθηπν, γηαηί θάζε ραξαθηεξηζηηθφ εηζφδνπ αλαπαξίζηαηαη κε έλα θφκβν εηζφδνπ θαη φηαλ έρνπκε πάξα πνιιά ραξαθηεξηζηηθά δεκηνπξγείηαη έλα πνιχ κεγάιν ΣΝΓ. Σφηε φκσο απαηηεί κεγάιν αξηζκφ ππνινγηζκψλ θαη επίζεο ζπγθιίλεη αξγφηεξα. Έηζη ζα πξέπεη λα αλαδεηεζεί ν αξηζκφο θαη ην είδνο ησλ εηζφδσλ πνπ δίλνπλ ηε δπλαηφηεηα ζην δίθηπν λα κάζεη ηε ζρέζε κεηαμχ ηεο εηζφδνπ-εμφδνπ. Μεηά ηελ έλαξμε ηεο εθπαίδεπζεο θαη αθνχ ην Νεπξσληθφ Γίθηπν έρεη εθηειέζεη κεξηθνχο θχθινπο εθπαίδεπζεο, ηα βάξε ησλ θφκβσλ εηζφδνπ κπνξεί λα δψζνπλ θάπνηεο ελδείμεηο ζρεηηθά κε ηελ ζπλεηζθνξά θάζε εηζφδνπ. Κάπνηεο είζνδνη ηνπ ΣΝΓ νη νπνίεο δελ απαηηνχληαη πξαγκαηηθά γηα ηελ αληηζηνίρηζε εηζφδνπ-εμφδνπ ηνπ ζπζηήκαηνο, ζα έρνπλ κηθξά βάξε ζε ζρέζε κε άιιεο πνπ είλαη πην ζεκαληηθέο. Σν δεύηεξν ζηάδην είλαη ην θηιηξάξηζκα ησλ δεδνκέλσλ θαη ζε απηφ ην ζηάδην αλαδεηείηαη θάπνηα αζπλήζηζηε ζπκπεξηθνξά ψζηε λα απνθιεηζηνχλ απφ ην ζχλνιν εθπαίδεπζεο θάπνηα δεδνκέλα πνπ δελ αθνινπζνχλ ηε γεληθφηεξε ζπκπεξηθνξά ησλ ππνινίπσλ. Σν ηξίην ζηάδην πεξηέρεη ηελ θαλνληθνπνίεζε ησλ δεδνκέλσλ γηα ηελ εηζαγσγή ηνπο ζην δίθηπν. Απηφ είλαη πνιχ ζεκαληηθφ φηαλ νη είζνδνη ηνπ δηθηχνπ δηαθέξνπλ αξθεηά σο πξνο ηελ ηηκή ηνπο. Γηα ηελ θαλνληθνπνίεζε ησλ δεδνκέλσλ ρξεζηκνπνηείηαη κηα ηππηθή πεξηνρή θαλνληθνπνίεζεο. πλήζσο πξνηηκάκε ηα δεδνκέλα λα παίξλνπλ ηηκέο κεηαμχ ηνπ 0 θαη 1 ή κεηαμχ ηνπ -1 θαη 1. Έλαο ζεκαληηθφο παξάγνληαο είλαη θαη ν αξηζκφο ησλ δεδνκέλσλ πνπ απαηηνχληαη γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ. Αλ ην πξφβιεκα είλαη ζχλζεην ηφηε απαηηνχληαη πνιιά δεδνκέλα εθπαίδεπζεο γηα λα θαζνξηζηεί ν ρψξνο ηνπ πξνβιήκαηνο. Καηά ηελ εθπαίδεπζε ελφο ηερλεηνχ Νεπξσληθνχ Γηθηχνπ ρξεζηκνπνηνχληαη ηξία είδε δεδνκέλσλ: 1. Δθπαίδεπζεο (tranng data): ρξεζηκνπνηνχληαη γηα ηνλ ππνινγηζκφ ηεο θιίζεο ε νπνία κεηψλεηαη θαηά ηελ εθπαίδεπζε θαη γηα ηελ κεηαβνιή ησλ βαξψλ ησλ λεπξψλσλ. 44

45 2. Δπαιήζεπζεο (valdaton data): ρξεζηκνπνηνχληαη γηα ηνλ ππνινγηζκφ θαη ηελ παξαθνινχζεζε ηνπ ζθάικαηνο επαιήζεπζεο. Καηά ηελ εθπαίδεπζε, ην ζθάικα εθπαίδεπζεο, δειαδή ην ζθάικα κεηαμχ εμφδνπ ηνπ δηθηπνχ θαη επηζπκεηήο εμφδνπ, θαζψο θαη ην ζθάικα επαιήζεπζεο κεηψλνληαη. Όηαλ ην Νεπξσληθφ Γίθηπν αξρίδεη λα ππεξπξνζαξκόδεη ηα δεδνκέλα (overfttng), ην ζθάικα επαιήζεπζεο απμάλεηαη. Οη ηηκέο ησλ βαξψλ ησλ λεπξψλσλ θαη ηεο πφισζεο κε ηηο νπνίεο έρνπκε ην κηθξφηεξν ζθάικα επαιήζεπζεο απνζεθεχνληαη σο ηειηθέο ηηκέο ζηελ εζσηεξηθή δνκή ηνπ δηθηχνπ. Σν ζθάικα επαιήζεπζεο ππνινγίδεηαη ζε θάζε επνρή ησλ δεδνκέλσλ εθπαίδεπζεο θαη φηαλ απηφ δελ έρεη κεησζεί κεηά απφ θάπνην αξηζκφ επαλαιήςεσλ ηφηε ε κάζεζε ζηακαηάεη. 3. Δθαξκνγήο (test data): ηα δεδνκέλα εθαξκνγήο ή ειέγρνπ δελ ρξεζηκνπνηνχληαη θαηά ηελ δηάξθεηα ηεο εθπαίδεπζεο θαη έηζη δελ επεξεάδνπλ ηελ πξνζαξκνγή ησλ βαξψλ ησλ λεπξψλσλ. Υξεζηκνπνηνχληαη γηα ηνλ έιεγρν ηεο επίδνζεο ηνπ δηθηχνπ ζε πξφηππα ηα νπνία δελ έρεη μαλαδεί, δειαδή γηα ηνλ έιεγρν ηεο δπλαηφηεηαο γελίθεπζήο ηνπ. Η ππεξπξνζαξκνγή ή ππεξεθπαίδεπζε (overtranng) είλαη έλα απφ ηα βαζηθά πξνβιήκαηα πνπ κπνξεί λα εκθαληζηεί θαηά ηελ εθπαίδεπζε ελφο ΣΝΓ. ε απηή ηελ πεξίπησζε ην Νεπξσληθφ Γίθηπν εθπαηδεχεηαη πάξα πνιχ θαιά ζηα δεδνκέλα εθπαίδεπζεο (εηζφδνπ-εμφδνπ) θαη ην ζθάικα ηνπ δηθηχνπ γίλεηαη πάξα πνιχ κηθξφ, αιιά ζε άιια παξαδείγκαηα ζηα νπνία δελ έρεη εθπαηδεπηεί γίλεηαη ππεξβνιηθά κεγάιν θαη ηφηε ην δίθηπν δελ γεληθεχεη θαιά. Η ππεξπξνζαξκνγή επεξεάδεηαη απφ ην κέγεζνο ηνπ Νεπξσληθνχ Γηθηχνπ, δειαδή ηνλ αξηζκφ ησλ θξπθψλ λεπξψλσλ. Όζν πην πνιχπινθα είλαη ηα δεδνκέλα εηζφδνπ ηφζν κεγαιχηεξν πξέπεη λα είλαη ην δίθηπν, φκσο ην πνιχ κεγάιν κέγεζνο κπνξεί λα νδεγήζεη ζηελ ππεξπξνζαξκνγή, ελψ ε ρξεζηκνπνίεζε ιηγφηεξσλ λεπξψλσλ απφ φζνπο ρξεηάδεηαη νδεγεί ζε αδπλακία κάζεζεο. Γηα απηφ είλαη ζεκαληηθφ λα γίλεηαη δηεξεχλεζε θαη λα ρξεζηκνπνηνχληαη ηφζνη λεπξψλεο φζνη ρξεηάδνληαη γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ. Γηα λα εληνπηζηεί ν θαηάιιεινο αξηζκφο λεπξψλσλ ρξεζηκνπνηνχληαη δηάθνξεο κέζνδνη. Μηα κέζνδνο είλαη κεηά ηελ ηειηθή πξνζαξκνγή ησλ βαξψλ ηνπ δηθηχνπ λα εμεηαζηνχλ ηα βάξε ησλ ζπλδέζεσλ θαη αλ ππάξρεη θάπνην βάξνο πνιχ κηθξφηεξν ζε ζρέζε κε ηα άιια βάξε λα απαιείθεηαη ν αληίζηνηρνο λεπξψλαο. Η ππεξπξνζαξκνγή ησλ δεδνκέλσλ κπνξεί επίζεο λα απνηξαπεί κε ηελ πξφσξε δηαθνπή ηεο εθπαίδεπζεο ηνπ δηθηχνπ (early stoppng). 45

46 2.5 Γενικεςμένορ Κανόναρ Γέληα Ο γεληθεπκέλνο θαλφλαο Γέιηα είλαη κηα παξαιιαγή ηνπ βαζηθνχ αιγνξίζκνπ back propagaton ε νπνία ρξεζηκνπνηεί ηελ παξάκεηξν ηεο νξκήο μ (momentum). Ο αιγφξηζκνο back propagaton δίλεη κηα πξνζέγγηζε ηεο θζίλνπζαο θακπχιεο ηνπ θφζηνπο πξνο ην ειάρηζην, ζηνλ ρψξν ησλ βαξψλ ρξεζηκνπνηψληαο ηε κέζνδν ηεο απφηνκεο θαηάβαζεο (steepest descent). Όζν πην κηθξφ είλαη ην βήκα εθπαίδεπζεο β, ηφζν πην κηθξέο ζα είλαη νη αιιαγέο ζηα βάξε ηνπ δηθηχνπ απφ ηε κία επαλάιεςε ζηελ επφκελε θαη ηφζν πην νκαιή ζα είλαη ε ηξνρηά ζηνλ ρψξν ησλ βαξψλ, δειαδή ε ζχγθιηζε ζα είλαη πην ζηαζεξή. Σν κεηνλέθηεκα είλαη φκσο φηη ε ζχγθιηζε είλαη αξγή [3]. Αλ ην βήκα εθπαίδεπζεο πάξεη ππεξβνιηθά κεγάιε ηηκή γηα λα επηηαρχλνπκε ηελ εθπαίδεπζε, ζα έρνπκε κεγάιεο αιιαγέο ζηα βάξε θαη ην δίθηπν κπνξεί λα γίλεη αζηαζέο δειαδή λα ηαιαληψλεη. Η ρξήζε ηεο νξκήο απμάλεη ηνλ ξπζκφ εθπαίδεπζεο θαη ηαπηφρξνλα κεηψλεη ηνλ θίλδπλν αζηάζεηαο ηνπ αιγνξίζκνπ. ε απηφλ ηνλ θαλφλα, ε δηφξζσζε ηνπ βάξνπο θαηά ηελ επαλάιεςε k επεξεάδεηαη απφ ηελ ηηκή ηεο δηφξζσζεο θαηά ηελ πξνεγνχκελε επαλάιεςε k-1, δειαδή έρνπκε φηη: J w j ( k) w j ( k) w j ( k 1) w ( k 1) w ( k) j (2.38) j Η ζηαζεξά νξκήο μ είλαη ζπλήζσο ζεηηθφο αξηζκφο θαη θαζνξίδεη πφζν κεγάιε είλαη ε αιιαγή ηνπ βάξνπο ζηελ επφκελε επαλάιεςε. Η ελζσκάησζε ηεο νξκήο ζηνλ αιγφξηζκν back propagaton νδεγεί ζε κηα κηθξή αιιαγή ζηελ ελεκέξσζε ησλ βαξψλ, αιιά επεξεάδεη ζεηηθά ηελ ζπκπεξηθνξά κάζεζεο ηνπ αιγνξίζκνπ. Μπνξεί επίζεο λα εκπνδίζεη ηε δηαδηθαζία κάζεζεο λα ηεξκαηίζεη πξφσξα ζε έλα ηνπηθφ ειάρηζην. πγθεθξηκέλα παξνπζηάδεη ηα παξαθάησ πιενλεθηήκαηα [14]: J 1. Δπηηάρπλζε ηεο ζύγθιηζεο ηνπ αιγνξίζκνπ. Όηαλ ε κεξηθή παξάγσγνο w j ( k) έρεη ίδην πξφζεκν ζε δηαδνρηθέο επαλαιήςεηο, ηφηε κε ηε ρξήζε ηεο νξκήο ην w j ( k) απμάλεηαη ζε κέηξν, δειαδή ην βάξνο w j ( k) πξνζαξκφδεηαη θαηά έλα κεγάιν πνζφ. J 2. ηαζεξνπνίεζε ηεο ζύγθιηζεο ηνπ αιγνξίζκνπ. Όηαλ ε κεξηθή παξάγσγνο w j ( k) έρεη αληίζεηα πξφζεκα ζε δηαδνρηθέο επαλαιήςεηο, δειαδή ππάξρεη ηαιάλησζε ηνπ αιγφξηζκνπ εμαηηίαο ζπλερψλ αιιαγψλ θαηεχζπλζεο (αλεθφξεο θαη θαηεθφξεο), ηφηε κε ηελ ρξήζε ηεο νξκήο ην w j ( k) κεηψλεηαη ζε κέηξν, δειαδή ην βάξνο w j ( k) πξνζαξκφδεηαη θαηά έλα κηθξφ πνζφ θαη έηζη απνθεχγνληαη νη κεγάιεο ηαιαληψζεηο. 46

47 ΚΕΦΑΛΑΙΟ 3 - ΑΛΛΑ ΕΙΔΗ ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ 3.1 Διζαγυγή Σα ΣΝΓ είλαη ζπκπιέγκαηα πνπ απνηεινχληαη απφ πνιιά απιά κε-γξακκηθά ζηνηρεία ή λεπξψλεο πνπ πξνζδηνξίδνληαη απφ ηε δνκή ηνπο, ηνλ ηξφπν επηθνηλσλίαο ηνπο κε ην πεξηβάιινλ, ηε δηαδηθαζία κάζεζεο θαη ηε ζπκπεξηθνξά ηνπο θαηά ηελ επεμεξγαζία ησλ δεδνκέλσλ. Σα ΣΝΓ δηαρσξίδνληαη ζε δχν βαζηθέο θαηεγνξίεο [2]: 1. Σα ζηαηηθά Νεπξσληθά Γίθηπα (statc) πνπ δελ πεξηέρνπλ ζηνηρεία κε κλήκε αιιά κπνξνχλ λα έρνπλ σο εηζφδνπο πξνεγνχκελεο ηηκέο ησλ εηζφδσλ. Απηά ηα δίθηπα φπσο ην MLP εθπαηδεχνπλ θάπνηεο λεπξσληθέο δνκέο αλεμάξηεηα απφ ηνλ ρξφλν, απνηεινχλ δειαδή έλα είδνο πάγηαο κλήκεο. 2. Σα δπλακηθά Νεπξσληθά Γίθηπα (dynamc) κε ζηνηρεία κλήκεο δειαδή πεξηέρνπλ ρξνληθή πιεξνθνξία. Απηά είλαη θαηάιιεια γηα ηελ κνληεινπνίεζε κε-γξακκηθψλ δπλακηθψλ ζπζηεκάησλ θαη ηε ζχλζεζε δπλακηθψλ ειεγθηψλ. ηελ πεξίπησζε απηή έρνπκε: n1 u( k) u( k 1) w x ( k) (3. 1) 1 φπνπ k είλαη ν δηαθξηηφο ρξφλνο θαη απαηηείηαη ε απνζήθεπζε ηνπ u(k-1) πνπ είλαη ε πξνεγνχκελε ηηκή ηεο εηζφδνπ. Σα δπλακηθά Νεπξσληθά Γίθηπα δηαζέηνπλ σο ζπλάξηεζε κεηαθνξάο ησλ ηερλεηψλ λεπξψλσλ ηνπο κηα εμίζσζε δηαθνξψλ ή αθφκα θαη θάπνηα δηαθνξηθή εμίζσζε. Σα δπλακηθά Νεπξσληθά Γίθηπα δηαθξίλνληαη ζε απηά πνπ: Γελ δηαζέηνπλ αλάδξαζε δπλακηθψλ (feedforward dynamcs), φπσο είλαη ηα TDNN. Γηαζέηνπλ αλαηξνθνδφηεζε εμφδνπ (output feedback, αλαδξνκηθφ). Γηαζέηνπλ αλαηξνθνδφηεζε θαηαζηάζεσλ (state feedback, αλαδξνκηθφ). Απηέο νη κνξθέο δπλακηθψλ Νεπξσληθψλ Γηθηχσλ παξνπζηάδνληαη παξαθάησ: 3.2 Γίκηςα σπονικήρ καθςζηέπηζηρ Σα δίθηπα ρξνληθήο θαζπζηέξεζεο (Tme Delay Neural Networks TDNN) είλαη κηα απιή παξαιιαγή δπλακηθνχ ηερλεηνχ Νεπξσληθνχ Γηθηχνπ θαη πξνθχπηνπλ απφ έλα ζηαηηθφ δίθηπν MLP ή RBF, αλ ιάβνπκε σο εηζφδνπο έλα ζπγθεθξηκέλν αξηζκφ ρξνληθά θαζπζηεξεκέλσλ δηαλπζκάησλ εηζφδνπ. ε απηά ηα δίθηπα ππάξρεη κηα ρξνληθή θαζπζηέξεζε κεηαμχ ησλ εηζφδσλ, δειαδή ε είζνδνο x θαηά ηε ρξνληθή ζηηγκή k ηζνχηαη κε ηελ είζνδν x +1 θαηά ηε ρξνληθή ζηηγκή k+1. Έλα δίθηπν MLP ρξνληθήο θαζπζηέξεζεο θαίλεηαη ζην παξαθάησ ζρήκα [3]: 47

48 Σχιμα 14: Δίκτυο MLP χρονικισ κακυςτζρθςθσ Σν ζήκα s(k) εηζάγεηαη απφ ηα αξηζηεξά θαη πξνσζείηαη πξνο ηα δεμηά κε δηαδνρηθέο ρξνληθέο θαζπζηεξήζεηο (delays) πνπ ζπκβνιίδνληαη κε ην γξάκκα D. Κάζε είζνδνο δειαδή αλαπαξάγεη ην ζήκα s κε έλα ρξφλν θαζπζηέξεζεο παξαπάλσ απφ φηη ν αξηζηεξφο ηεο γείηνλαο. Η ζπλάξηεζε πνπ πινπνηείηαη απφ ην δίθηπν είλαη y(k) = F [s(k), s(k-1),, s(k-n+1)] γηα θάπνηα κε γξακκηθή ζπλάξηεζε F. Απηή ε ζπλάξηεζε ιέγεηαη κε γξακκηθφ θίιηξν ζε αληίζεζε κε έλα γξακκηθφ θίιηξν πνπ πεξηγξάθεηαη απφ ηε ζπλάξηεζε y=w 0 s(k) + w 1 s(k-1) + + w n-1 s(k-n+1). Ο αιγφξηζκνο εθπαίδεπζεο είλαη ίδηνο κε απηφλ ηνπ ζηαηηθνχ δηθηχνπ (BP) γηαηί φιε ε ρξνληθή πιεξνθνξία βξίζθεηαη ζηελ είζνδν ηνπ δηθηχνπ θαη επίζεο δελ ππάξρεη αλαηξνθνδφηεζε. Σα δίθηπα ρξνληθήο θαζπζηέξεζεο έρνπλ εθαξκνζηεί κε επηηπρία ζε πνιινχο ηνκείο φπσο ζηνλ απηφκαην έιεγρν θαη ζηε ξνκπνηηθή, ζηελ αλαγλψξηζε ηεο αλζξψπηλεο θίλεζεο, ζην γλσζηφ NETtalk θαη ζηελ αλαγλψξηζε πξνηχπσλ πνπ εμειίζζνληαη ζηνλ ρξφλν, φπσο είλαη ηα ζήκαηα νκηιίαο (αλαγλψξηζε θσλήο). 3.3 Αναδπομικά δίκηςα Αλαδξνκηθό (recurrent) είλαη έλα δίθηπν ζην νπνίν ππάξρνπλ επηπιένλ ζπλδέζεηο πξνο ηα πίζσ, δειαδή λεπξψλεο κεγαιχηεξσλ ζηξσκάησλ ηξνθνδνηνχλ είηε λεπξψλεο πξνεγνχκελσλ ζηξσκάησλ είηε λεπξψλεο ηνπ ίδηνπ ζηξψκαηνο. Τπάξρεη δειαδή αλαηξνθνδφηεζε κεηαμχ ησλ λεπξψλσλ θαη απηφο είλαη έλαο ηξφπνο εηζαγσγήο δπλακηθήο ζπκπεξηθνξάο ζην δίθηπν. Σα αλαδξνκηθά δίθηπα είλαη ηδηαίηεξα θαηάιιεια γηα κνληεινπνίεζε θαη έιεγρν δπλακηθψλ ζπζηεκάησλ. Έλα γεληθεπκέλν παξάδεηγκα αλαηξνθνδνηνχκελνπ ηερλεηνχ Νεπξσληθνχ Γηθηχνπ θαίλεηαη ζην παξαθάησ ζρήκα [4]: 48

49 Σχιμα 15: Γενικευμζνο παράδειγμα αναδρομικοφ δικτφου Η έμνδνο ηνπ αλαηξνθνδνηνχκελνπ Νεπξσληθνχ Γηθηχνπ ζε θάζε ρξνληθή ζηηγκή είλαη ζπλάξηεζε ησλ πξνεγνχκελσλ ρξνληθά εμφδσλ θαη εηζφδσλ θαη απηφ ην δίθηπν πεξηγξάθεηαη απφ ηε ζρέζε: y(k) = F [x(k), x(k-1),, x(k-n), y(k-1), y(k-2),, y(k-m)] (3.2) Η ηηκή ελφο λεπξψλα δελ εμαξηάηαη κφλν απφ ηηο ηηκέο ησλ εηζφδσλ αιιά θαη απφ ηηο ηηκέο ησλ άιισλ λεπξψλσλ ή θαη ηνπ εαπηνχ ηνπ. Σν ζχζηεκα έρεη κλήκε γηαηί ε απφθξηζή ηνπ εμαξηάηαη φρη κφλν απφ ηελ είζνδν αιιά θαη απφ ηηο αξρηθέο ηηκέο ησλ λεπξψλσλ. Γηα ηνλ ππνινγηζκφ ηεο ηηκήο εμφδνπ y ελφο λεπξψλα ηελ ρξνληθή ζηηγκή k ρξεζηκνπνηείηαη ν παξαθάησ αλαδξνκηθφο ηχπνο πνπ πεξηέρεη ηηο ηηκέο ησλ λεπξψλσλ θαηά ηελ πξνεγνχκελε ρξνληθή ζηηγκή: y ( k) f ( w j y j ( k 1)) (3.3) j φπνπ έρνπλ δνζεί θάπνηεο αξρηθέο ηηκέο y = y (0) ζε φινπο ηνπο λεπξψλεο ηνπ δηθηχνπ. Σν δίθηπν καζαίλεη λα αθνινπζεί θάπνηα ηξνρηά ζην ρξφλν, ε νπνία εμαξηάηαη απφ ηηο ηηκέο ησλ ζπλαπηηθψλ βαξψλ θαη ηηο αξρηθέο ηηκέο y (0). Σν βαζηθφ πξφβιεκα ζε απηά ηα κνληέια είλαη ε εθπαίδεπζή ηνπο έηζη ψζηε λα κάζνπλ θάπνηεο ζπγθεθξηκέλεο ρξνληθέο αθνινπζίεο ζηφρσλ {d (p) (k), k=1,, T}, p = 1,,P γηα ζπγθεθξηκέλεο αθνινπζίεο εηζφδσλ {x (p) (k), k = 1,, T}. Γηα ηε ιχζε ηνπ πξνβιήκαηνο, ρξεζηκνπνηείηαη πάιη ην κέζν ηεηξαγσληθφ ζθάικα J, ην νπνίν ζε απηήλ ηελ πεξίπησζε είλαη: T 1 T P ( p) ( p) J ( ) [ ( ) ( )] 2 J k d k y k (3. 4) k 1 P k 1p 1 θαη γηα ηελ ειαρηζηνπνίεζή ηνπ ρξεζηκνπνηείηαη ν αιγφξηζκνο Back Propagaton Through Tme (BPTT). ηα Σερλεηά Νεπξσληθά Γίθηπα κε αλάδξαζε θαηαζηάζεσλ ππάξρεη ζπλήζσο έλα κφλν επίπεδν ηερλεηψλ λεπξψλσλ. ηε γεληθή πεξίπησζε, ε έμνδνο θάζε λεπξψλα αλαηξνθνδνηείηαη 49

50 ζε φινπο ηνπο άιινπο λεπξψλεο αιιά θαη ζηελ δηθή ηνπ είζνδν. Άξα ε έμνδνο θάζε λεπξψλα κπνξεί λα είλαη ηκήκα ηνπ δηαλχζκαηνο θαηάζηαζεο. Οη λεπξψλεο κπνξεί λα δέρνληαη εηζφδνπο θαη απφ ην εμσηεξηθφ πεξηβάιινλ. Σέηνηνο ηχπνο δηθηχνπ είλαη ην δίθηπν Hopfeld πνπ παξνπζηάδεηαη παξαθάησ Το δίκησο Hopfeld Σν δίθηπν Hopfeld είλαη έλα αλαδξνκηθφ δίθηπν, ην νπνίν έρεη εκπλεπζηεί απφ ηε ζηαηηζηηθή θπζηθή. πγθεθξηκέλα έρεη επεξεαζηεί απφ κνληέια καγλεηηθψλ πιηθψλ φπνπ κηθξνί καγλήηεο ππφ κνξθή αηφκσλ είλαη δηαηεηαγκέλνη ζε θαλνληθή δνκή πιέγκαηνο πνπ αληηπξνζσπεχεη ηελ θξπζηαιιηθή δνκή ηνπ πιηθνχ. ηα κνληέια απηά ην βαζηθφ ραξαθηεξηζηηθφ ησλ αηφκσλ είλαη ην spn ηνπο ην νπνίν κπνξεί λα πάξεη δχν δηαθξηηέο θαηεπζχλζεηο «πάλσ» ή «θάησ». Απηφ αλαπαξίζηαηαη απφ κηα δπαδηθή κεηαβιεηή πνπ παίξλεη ηηκή 1 αλ ην spn θνηηάεη πξνο ηα πάλσ ή -1 αλ ην spn θνηηάεη πξνο ηα θάησ [3, 13]. Οη λεπξψλεο ηνπ δηθηχνπ Hopfeld είλαη δηαηεηαγκέλνη ζε πιέγκα θαη θάζε λεπξψλαο έρεη ηηκή εμφδνπ 1 ή -1. Η έμνδνο ηνπ λεπξψλα φηαλ έρνπκε n λεπξψλεο δίλεηαη απφ ηνλ ηχπν: n y f ( w y w ) j 1 j j 0 (3. 5) Απηή ε ζρέζε είλαη αλαδξνκηθή γηαηί νη άγλσζηεο ηηκέο y βξίζθνληαη θαη ζηα δεμηά θαη ζηα αξηζηεξά ηεο ηζφηεηαο. Η ζπλάξηεζε f είλαη ε βεκαηηθή ζπλάξηεζε -1/1, ε νπνία νλνκάδεηαη θαη ζπλάξηεζε πξνζήκνπ (sgn), άξα n y sgn( w y w ) j 1 j j 0 (3. 6) Δπηιέγεηαη ε βεκαηηθή ζπλάξηεζε -1/1 αληί ηεο βεκαηηθήο 1/0 γηα λα είλαη πην αθξηβήο ε αλαινγία κε ην spn ην νπνίν παίξλεη κηα απφ ηηο δπν αληίζεηεο θαηεπζχλζεηο. Έλα δίθηπν Hopfeld κε 4 λεπξψλεο θαίλεηαη ζην παξαθάησ ζρήκα [1]: 50

51 Σχιμα 16: Δομι Δικτφου Hopfeld Έλα λεπξσληθφ κνληέιν Hopfeld έρεη ηα παξαθάησ ραξαθηεξηζηηθά [32]: Δίλαη δίθηπν ελφο κφλν επηπέδνπ. Δίλαη αλαδξνκηθφ γηαηί θάζε λεπξψλαο ηξνθνδνηείηαη απφ ηηο εμφδνπο ησλ άιισλ λεπξψλσλ. Οη εμσηεξηθέο είζνδνη εθαξκφδνληαη σο αξρηθέο ζπλζήθεο ζηελ αλαδξνκή. ε απηφ ην δίθηπν ηα ζπλαπηηθά βάξε δελ νξίδνληαη απφ θάπνηνλ αλαδξνκηθφ θαλφλα αιιά παίξλνπλ κηα απ επζείαο ζηαζεξή ηηκή, δειαδή δελ ππάξρεη θαλφλαο εθπαίδεπζεο. Η εχξεζε ησλ εμφδσλ ηνπ δηθηχνπ φηαλ ηα ζπλαπηηθά βάξε είλαη γλσζηά ιέγεηαη αλάθιεζε. Αλ εηζαρζνχλ ηηκέο y 1, y 2,, y n ζην δεμί ζθέινο ηεο εμίζσζεο n y sgn( w y w ) j 1 j j (3. 7) 0 ζα πξνθχςνπλ λέεο ηηκέο ζην αξηζηεξφ ζθέινο, άξα θαη λέα εμίζσζε πνπ πεξηγξάθεηαη απφ ηνλ ηχπν: n έ y sgn( w y w ) j 1 j j 0 (3. 8) Η αλάθιεζε κπνξεί λα πξαγκαηνπνηεζεί κε δχν ηξφπνπο, ην ζύγρξνλν θαη ηνλ αζύγρξνλν. ηε ζχγρξνλε αλάθιεζε πξψηα ππνινγίδνληαη φιεο νη λέεο ηηκέο y λέν λέν 1,, y n θαη κεηά αλαηξνθνδνηνχληαη ζην δεμί ζθέινο γηα λα ιεθζνχλ νη επφκελεο λέεο ηηκέο. ηελ αζχγρξνλε, αθνχ ππνινγηζηεί ε λέα ηηκή ηνπ λεπξψλα ηνπνζεηείηαη ακέζσο ζην δεμί ζθέινο καδί κε ηηο ππφινηπεο ηηκέο ησλ εμφδσλ y 1,, y n γηα λα ππνινγηζηεί ε λέα ηηκή ηνπ επφκελνπ λεπξψλα +1. Απηφ επαλαιακβάλεηαη γηα φινπο ηνπο λεπξψλεο θαη φηαλ ηειεηψζνπλ γίλεηαη 51

52 επηζηξνθή ζηελ αξρή. Τπάξρνπλ αληίζηνηρα δχν αιγφξηζκνη αλάθιεζεο, ν ζχγρξνλνο θαη ν αζχγρξνλνο, θαη αλαιχνληαη δηεμνδηθά παξαθάησ. Πην ζπγθεθξηκέλα: Α. Αλγόπιθμορ ζύγσπονηρ ανάκληζηρ - Αξρηθνπνίεζε ησλ y 1,, y n ζε ηπραίεο ηηκέο πνπ επηιέγεη ν ρξήζηεο. - Γηα θάζε επαλάιεςε k κέρξη ηε ζχγθιηζε { Γηα θάζε λεπξψλα = 1,, n { n έ y sgn( w y w ) j 1 j j 0 } Γηα θάζε λεπξψλα = 1,, n { λέν y = y } k = k+1 } Β. Αλγόπιθμορ αζύγσπονηρ ανάκληζηρ (3. 9) - Αξρηθνπνίεζε ησλ y 1,, y n ζε ηπραίεο ηηκέο πνπ επηιέγεη ν ρξήζηεο. - Γηα θάζε επαλάιεςε k κέρξη ηε ζχγθιηζε { } Γηα θάζε λεπξψλα = 1,, n { n έ y sgn( w y w ) j 1 j j 0 λέν y = y } k = k+1 (3. 10) Η αλαδξνκή θαη ζηνπο δχν αιγφξηζκνπο ηειεηψλεη αλ δελ αιιάμεη θακία ηηκή εμφδνπ θαλελφο λεπξψλα, δειαδή ηζρχεη φηη y λέν 1 = y 1 θαη y λέν 2 = y 2 θαη, θαη y λέν n = y n. Σφηε ην δίθηπν ζπγθιίλεη ή βξίζθεηαη ζε θαηάζηαζε ηζνξξνπίαο. Η θαηάζηαζε ηζνξξνπίαο είλαη έλα δηάλπζκα ηζνξξνπίαο y = [ y 1,, y n ] T ηα ζηνηρεία ηνπ νπνίνπ ηθαλνπνηνχλ ηελ εμίζσζε: n y sgn( w y w ) j 1 j j 0 (3. 11) γηα = 1,, n. ην δίθηπν Hopfeld δελ ππάξρεη κφλν κία θαηάζηαζε ηζνξξνπίαο, αιιά πνιιέο. Σα δηαλχζκαηα ηζνξξνπίαο y 1,, y k ιέγνληαη ζεκεία έιμεο (attractors) ηνπ ζπζηήκαηνο. Η θαηάζηαζε ηζνξξνπίαο ζηελ νπνία ζα ζπγθιίλεη ην δίθηπν εμαξηάηαη θάζε θνξά απφ ηελ αξρηθή ζπλζήθε, δειαδή απφ ηηο αξρηθέο ηηκέο ησλ λεπξψλσλ y 1,, y n. Σν ζχλνιν ηηκψλ πνπ κπνξεί λα πάξεη αξρηθά ην δηάλπζκα y = [ y 1,, y n ] T ρσξίδεηαη ζε δηάθνξεο πεξηνρέο. Αλ γηα παξάδεηγκα 52

53 ην y αξρηθνπνηεζεί ζε κηα πεξηνρή A 1 ηφηε ην δίθηπν ζα ζπγθιίλεη ζην δηάλπζκα ηζνξξνπίαο y 1, αλ αξρηθνπνηεζεί ζηελ πεξηνρή A 2 ζα ζπγθιίλεη ζην δηάλπζκα y 2. Οη πεξηνρέο A 1,, A n ιέγνληαη πεδία ζύγθιηζεο (domans of attracton). Με θάζε επαλάιεςε δειαδή ηνπ αιγνξίζκνπ αλάθιεζεο, ην δηάλπζκα y αθνινπζεί κηα δηαδξνκή ζηνλ ρψξν ηηκψλ ε νπνία θαηαιήγεη ζηελ ηειηθή θαηάζηαζε ηζνξξνπίαο αλάινγα κε ην ζεκείν εθθίλεζεο. Οη ζπλδέζεηο ζε έλα δίθηπν Hopfeld έρνπλ ζπλήζσο ηνπο αθφινπζνπο πεξηνξηζκνχο: 1. w = 0 γηα θάζε δειαδή θαλέλαο λεπξψλαο δελ ζπλδέεηαη κε ηνλ εαπηφ ηνπ 2. w j = w j γηα θάζε, j δειαδή νη ζπλδέζεηο είλαη ζπκκεηξηθέο Αλ ηζρχνπλ απηνί νη πεξηνξηζκνί, ηφηε απνδεηθλχεηαη φηη ν αιγφξηζκνο αλάθιεζεο ζπγθιίλεη πάληα ζε θάπνηα ηηκή. Σν δίθηπν Hopfeld ραξαθηεξίδεηαη απφ κηα παξάκεηξν E πνπ εμαξηάηαη απφ ηηο εμφδνπο ησλ λεπξψλσλ θαη ηα βάξε, θαη ε νπνία είλαη αληίζηνηρε ηεο ελέξγεηαο ζε θπζηθά πξνβιήκαηα. Η παξάκεηξνο E νξίδεηαη απφ ηελ ζρέζε: 1 n n E w y y w y 2, 1 j j (3. 12) j 1 0 Όηαλ ηα βάξε είλαη ζπκκεηξηθά, ηφηε θάζε θνξά πνπ αιιάδεη ε ηηκή νπνηνπδήπνηε λεπξψλα, ε ελέξγεηα E κεηψλεηαη. Μεηά απφ θάπνηα επαλάιεςε πνπ νη ηηκέο y ζα ζηακαηήζνπλ λα αιιάδνπλ, ην δίθηπν ζπγθιίλεη θαη ηφηε ε ελέξγεηα παίξλεη θάπνηα ειάρηζηε ηηκή. Σν δίθηπν Hopfeld ιεηηνπξγεί ζαλ ζπζρεηηζηηθή κλήκε (content addressable memory CAM). Η ζπζρεηηζηηθή κλήκε ή κλήκε δηεπζπλζηνδνηνχκελε απφ ηα πεξηερφκελα είλαη έλα επθπέο ζχζηεκα πνπ έρεη απνζεθεπκέλα δηάθνξα πξφηππα θαη ε ιεηηνπξγία πνπ επηηειεί είλαη ε αλάθηεζε ελφο πξνηχπνπ πνπ έρεη απνζεθεπηεί ζε απηήλ. Γίλνληαο ζηελ είζνδν θάπνην αιινησκέλν, ζνξπβψδεο ή ειιηπέο πξφηππν, ζα πξέπεη λα ιεθζεί ζηελ έμνδν απηφ ην απνζεθεπκέλν πξφηππν πνπ κνηάδεη πεξηζζφηεξν κε ην πξφηππν εηζφδνπ. Οη ζπζρεηηζηηθέο κλήκεο έρνπλ αλνρή ζε ζθάικαηα ή παξακνξθψζεηο ηνπ πξνηχπνπ εηζφδνπ, αξθεί απηέο λα κελ είλαη ηφζν κεγάιεο ψζηε ην πξφηππν εηζφδνπ ηειηθά λα ζπκίδεη θάπνην άιιν πξφηππν. Κάπνηεο εθαξκνγέο ηεο ζπζρεηηζηηθήο κλήκεο είλαη ε αλαγλψξηζε θαη αλαθαηαζθεπή εηθφλσλ θαη ε αλαδήηεζε πιεξνθνξίαο κε ειιηπή ζηνηρεία. Καηά ηε ιεηηνπξγία ηνπ δηθηχνπ σο ζπζρεηηζηηθή κλήκε, ηα ζεκεία έιμεο ηνπ δηθηχνπ είλαη ηα πξφηππα πνπ ζέινπκε λα απνζεθεπηνχλ ζηε κλήκε. Αλ δνζεί σο αξρηθή ηηκή έλα αιινησκέλν πξφηππν εηζφδνπ ηφηε ην δίθηπν ζα δψζεη ζηελ έμνδν ην πην θνληηλφ ζεκείν έιμεο, δειαδή έλα «θαζαξφ» πξφηππν απφ απηά πνπ έρνπλ απνζεθεπηεί ζηελ κλήκε. Η απνζήθεπζε ησλ πξνηχπσλ ζην δίθηπν γίλεηαη κε ηελ θαηάιιειε επηινγή ησλ ζπλαπηηθψλ βαξψλ. Αλ ζέινπκε λα απνζεθεχζνπκε ζηε κλήκε έλα πξφηππν x = [x 1, x 2,, x n ] T φπνπ ηα x παίξλνπλ ηηκέο -1 ή +1, ηφηε ηα βάξε πξέπεη λα είλαη: w j = x x j (3. 13) 53

54 Με απηά ηα βάξε, ην δηάλπζκα x είλαη ζεκείν έιμεο γηαηί ηφηε [3]: n n n sgn( w ) sgn( ) sgn( 1) sgn( ) 1 j x j x x x x nx x 1 j j j j j 1 (3. 14) Αλ ην δεηνχκελν είλαη ε απνζήθεπζε ζηε κλήκε ησλ P πξνηχπσλ x (1),, x (P), ηφηε ηα βάξε πξέπεη λα είλαη: P w ( p) ( p) j x x (3. 15) p 1 j Γηα λα είλαη ην πξφηππν x (m) = [x (m) 1, x (m) 2,, x (m) n ] T ζεκείν έιμεο, πξέπεη λα ηζρχεη ε ηζφηεηα: ( ) n ( ) P ( ) n x m sgn( m ) sgn( p ( p) ( m) w x x x x ) 1 j j j p 1 (3. 16) j 1 j j ή αιιηψο ην x (m) λα είλαη ίζν κε: ( ) P ( ) n ( ) ( ) ( ) ( ) n x m sgn( p p m ) sgn( m p ( p) ( m) x x x nx x x x ) 1 1 j j p j p m j 1 j j Απφ ηελ παξαπάλσ ζρέζε θαίλεηαη φηη αλ ν φξνο u (m) ν νπνίνο είλαη ίζνο κε: (3. 17) ( ) ( ) ( ) n u m m p ( p) ( m) nx x x x p m j 1 j j (3. 18) έρεη ην ίδην πξφζεκν κε ην x (m) γηα θάζε = 1, 2,, n ηφηε ην πξφηππν x (m) είλαη ζεκείν έιμεο. Απηή είλαη ε πλζήθε εκείνπ Έιμεο πνπ πξέπεη λα ηζρχεη γηα λα είλαη ηα πξφηππα πνπ απνζεθεχνληαη ζηε κλήκε, ζεκεία έιμεο. Η ζπλζήθε εκείνπ Έιμεο κπνξεί λα ηζρχεη γηα θάπνηα ζχλνια πξνηχπσλ θαη λα κελ ηζρχεη γηα θάπνηα άιια. Όηαλ ν φξνο ( p) n ( p) ( m) x x x pm j1 j j έρεη αληίζεην πξφζεκν απφ ην x (m) θαη κεγαιχηεξε απφιπηε ηηκή απφ απηφ, ηφηε θαη ην u (m) ζα έρεη αληίζεην πξφζεκν απφ ην x (m) θαη ε ζπλζήθε εκείνπ Έιμεο δελ ζα ηζρχεη. ε απηή ηελ πεξίπησζε δεκηνπξγνχληαη πιαζηά ζεκεία έιμεο, ηα νπνία δελ έρνπλ ζρέζε κε ηα πξφηππα πνπ απνζεθεχζακε ζηε κλήκε. Όηαλ ηα πξφηππα είλαη αζπζρέηηζηα, ηζρχεη φηη: ( p) ( m) x j x j 0 (3. 19) j δειαδή ηφηε ηα δηαλχζκαηα x (p) θαη x (m) είλαη θάζεηα κεηαμχ ηνπο (εθφζνλ p m ) θαη ηφηε ηζρχεη ε ζπλζήθε εκείνπ Έιμεο. 54

55 3.3.2 Το δίκησο MAXNET Σν δίθηπν MAXNET είλαη αλαδξνκηθφ θαη είλαη κηα εηδηθή πεξίπησζε ηνπ κνληέινπ Hopfeld. Ο ζθνπφο ηνπ είλαη φηαλ ζπγθιίλεη, λα βξίζθεη ηνλ δείθηε m ηνπ κέγηζηνπ αξηζκνχ x m αλάκεζα ζε έλα πιήζνο N ζεηηθψλ αξηζκψλ x 1, x 2,, x N, νη νπνίνη είλαη κηθξφηεξνη απφ ηε κνλάδα. Σν δίθηπν απηφ έρεη N λεπξψλεο θαη ηα βάξε w πνπ αλαηξνθνδνηνχλ ηηο εμφδνπο ησλ λεπξψλσλ ζηνλ εαπηφ ηνπο είλαη ίζα κε ηε κνλάδα. Σα ζπλαπηηθά βάξε w j πνπ ζπλδένπλ δηαθνξεηηθνχο λεπξψλεο κεηαμχ ηνπο είλαη ίζα κε N φπνπ ε είλαη έλαο ζεηηθφο αξηζκφο κηθξφηεξνο απφ ηε κνλάδα. Η ζπλάξηεζε ελεξγνπνίεζεο πνπ ρξεζηκνπνηείηαη είλαη ε κε γξακκηθή ζπλάξηεζε θαησθιίνπ: 0 αν x 0 f ( x) x αν 0 x 1 1 αν x 1 Οη έμνδνη ησλ λεπξψλσλ αξρηθνπνηνχληαη ζηηο ηηκέο x 1, x 2,, x N θαη εθαξκφδνληαο ηνλ αιγφξηζκν ηεο ζχγρξνλεο αλάθιεζεο Hopfeld, νη ηηκέο ησλ y κεηψλνληαη γηα φινπο ηνπο λεπξψλεο απφ επαλάιεςε ζε επαλάιεςε θαη ηειηθά ην κνληέιν ζπγθιίλεη ζε y = 0 γηα φια ηα = 1, 2,, N εθηφο απφ ηνλ λεπξψλα y m γηα ηνλ νπνίν y m > 0. Ο λεπξψλαο y m αληηζηνηρεί ζηνλ κέγηζην αξηζκφ x m = max{x 1, x 2,, x N }. Ο αιγφξηζκνο ηεο ζχγρξνλεο αλάθιεζεο Hopfeld γηα ην δίθηπν MAXNET είλαη ν εμήο: Αλγόπιθμορ MAXNET Γεκηνχξγεζε έλα κνληέιν Hopfeld κε N λεπξψλεο θαη κε βάξε w = 1, w j = -ε/n φπνπ 0<ε<1 Γηα θάζε λεπξψλα = 1,, N { y = x } Γηα θάζε επαλάιεςε = 1, 2,, MAX { Γηα θάζε λεπξψλα = 1, 2,, N { έ N y f ( w y ) f ( y y ) 1 j j j N j j } Γηα θάζε λεπξψλα = 1, 2,, N { λέν y = y } } (3. 20) 55

56 3.4 Αςηοοπγανούμενα δίκηςα - δίκηςο SOM Σν δίθηπν SOM ηνπ Kohonen είλαη έλα Νεπξσληθφ Γίθηπν πνπ απηφ-νξγαλψλεηαη κε ηξφπν πνπ είλαη επεξεαζκέλνο απφ ηελ ηνπνγξαθηθή νξγάλσζε ηνπ εγθεθάινπ. Ο εγθέθαινο παξνπζηάδεη απζηεξή ηνπνινγηθή νξγάλσζε θαη απηφ είλαη πνιχ ζεκαληηθφ γηα ηελ ιεηηνπξγία ηνπ. Οη λεπξψλεο ηνπ εγθεθάινπ νη νπνίνη δηεγείξνληαη απφ παξφκνηα ή γεηηνληθά εμσηεξηθά εξεζίζκαηα βξίζθνληαη θνληά ν έλαο κε ηνλ άιινλ θαη έηζη δεκηνπξγνχληαη πεξηνρέο λεπξηθψλ θπηηάξσλ ζηνλ εγθέθαιν πνπ νλνκάδνληαη ράξηεο [32]. Οη δηαηάμεηο ησλ λεπξψλσλ ηνπ εγθεθάινπ απεηθνλίδνπλ ηελ ηνπνγξαθηθή δηάηαμε ησλ αηζζεηήξσλ λεπξψλσλ θαη αλάινγα κε ηελ αίζζεζε ζηελ νπνία αληηζηνηρνχλ ιέγνληαη αθνπνηνπηθνί ράξηεο γηα ηελ αθνή, ξεηηλνηνπηθνί ράξηεο γηα ηελ φξαζε θ.ι.π. Ο ράξηεο ηνπ Kohonen ιέγεηαη Απηννξγαλνύκελνο Σνπνγξαθηθόο Υάξηεο (Self Organzng topographc Map - SOM). Σν δίθηπν SOM εθπαηδεχεηαη ρσξίο επίβιεςε (unsupervsed learnng), δειαδή δελ ππάξρνπλ ζηφρνη θαη ε δηάηαμή ηνπ είλαη έλα κνλνδηάζηαην ή δηζδηάζηαην πιέγκα απφ λεπξψλεο. Σν παξαθάησ ζρήκα δείρλεη έλα δηζδηάζηαην πιέγκα λεπξψλσλ πνπ ρξεζηκνπνηείηαη σο δηαθξηηφο ράξηεο [5]. Σχιμα 17: Διςδιάςτατο πλζγμα νευρϊνων Κάζε λεπξψλαο ζην πιέγκα είλαη πιήξσο ζπλδεδεκέλνο κε φινπο ηνπο πεγαίνπο θφκβνπο εηζφδνπ. Απηφ ην δίθηπν έρεη δνκή πξφζζηαο ηξνθνδφηεζεο κε έλα ππνινγηζηηθφ επίπεδν ην νπνίν απνηειείηαη απφ λεπξψλεο δηαηεηαγκέλνπο ζε γξακκέο θαη ζηήιεο. Η ζέζε ηνπ θάζε λεπξψλα ζην δίθηπν είλαη πνιχ ζεκαληηθή γηαηί ε ηνπνγξαθηθή νξγάλσζε ρξεζηκνπνηεί ηελ έλλνηα ηεο γεηηνληάο σο έλα ζχλνιν λεπξψλσλ πνπ βξίζθνληαη ζε δηπιαλέο ζέζεηο ζην πιέγκα. Σν δίθηπν SOM είλαη έλα αληαγσληζηηθό δίθηπν γηαηί νη λεπξψλεο αληαγσλίδνληαη κεηαμχ ηνπο γηα ην πνηνο ηαηξηάδεη θαιχηεξα ζην δηάλπζκα εηζφδνπ. Ο λεπξψλαο πνπ ηαηξηάδεη θαιχηεξα είλαη απηφο ηνπ νπνίνπ ην δηάλπζκα βαξψλ w είλαη πην φκνην κε ηελ είζνδν x θαη ιέγεηαη λεπξψλαο ληθεηήο γηα ην πξφηππν απηφ. θνπφο ηνπ δηθηχνπ SOM είλαη ε 56

57 νκαδνπνίεζε φκνησλ πξνηχπσλ εηζφδνπ δειαδή λα δεκηνπξγεζνχλ δηαθνξεηηθέο γεηηνληέο λεπξψλσλ ζηνλ ράξηε πνπ αληηζηνηρνχλ ζε δηαθνξεηηθέο νκάδεο (θιάζεηο) εηζφδσλ θαη απηέο νη γεηηνληέο πξέπεη λα έρνπλ δηαθξηηέο ζέζεηο κεηαμχ ηνπο [33]. Γηα θάζε πξφηππν εηζφδνπ x εθπαηδεχεηαη ν ληθεηήο λεπξψλαο θαη ε γεηηνληά ηνπ έηζη ψζηε λα ηαηξηάδνπλ αθφκα πεξηζζφηεξν ζην x. θνπφο είλαη αλ ζην κέιινλ μαλαεκθαληζηεί απηφ ην πξφηππν ή θάπνην παξφκνην λα ππάξρνπλ πνιιέο πηζαλφηεηεο λα ληθήζεη μαλά ν ίδηνο λεπξψλαο ή θάπνηνο απφ ηελ γεηηνληά ηνπ. Η γεηηνληά ελφο ληθεηή λεπξψλα C εθπαηδεχεηαη θαη απηή έηζη ψζηε λα εμαζθαιηζηεί φηη θακία άιιε θιάζε δελ ζα βξίζθεη ληθεηέο ζηε γεηηνληά ηνπ C. Έηζη ην δίθηπν απηo-νξγαλψλεηαη ψζηε δηαθνξεηηθέο γεηηνληέο λα θεξδίδνπλ φηαλ ζηελ είζνδν παξνπζηάδνληαη πξφηππα απφ δηαθνξεηηθέο θιάζεηο. Σν δηάλπζκα βαξψλ θάζε λεπξψλα ηνπ δηθηχνπ έρεη ίδηα δηάζηαζε κε ην ρψξν εηζφδνπ. Γηα λα νξηζηεί κε ζαθήλεηα ν ληθεηήο λεπξψλαο γηα έλα ζπγθεθξηκέλν πξφηππν εηζφδνπ x = [x 1,, x n ] T, δειαδή ν λεπξψλαο πνπ ηαηξηάδεη θαιχηεξα κε ην δηάλπζκα εηζφδνπ, ρξεζηκνπνηείηαη σο θξηηήξην ηαηξηάζκαηνο ε επθιείδεηα απφζηαζε ηνπ x απφ ην δηάλπζκα βαξψλ ηνπ λεπξψλα w=[w 1,, w n ] T, d wx. Με βάζε απηφ ην θξηηήξην αληαγσλίδνληαη φινη νη λεπξψλεο ηνπ δηθηχνπ θαη ληθεηήο είλαη εθείλνο ν λεπξψλαο ν νπνίνο έρεη ηε κηθξφηεξε απφζηαζε απφ ην πξφηππν x δειαδή ν λεπξψλαο * γηα ηνλ νπνίν ηζρχεη φηη d * = mn d = mn w x. Σα πξφηππα x(1), x(2), x(3),, x(p) παξνπζηάδνληαη κε ηε ζεηξά ζην δίθηπν θαη φηαλ ηειεηψζνπλ επαλαιακβάλνληαη απφ ηελ αξρή κε θπθιηθφ ηξφπν. Μηα πιήξεο επαλάιεςε φισλ ησλ πξνηχπσλ ιέγεηαη επνρή (epoch). Γηα έλα ζπγθεθξηκέλν πξφηππν εηζφδνπ x(k) κφλν ν ληθεηήο λεπξψλαο * θαη ε γεηηνληά ηνπ Γ( * ) εθπαηδεχνληαη έηζη ψζηε λα κνηάζνπλ αθφκα πεξηζζφηεξν ζην πξφηππν x(k). Ο θαλφλαο εθπαίδεπζεο ζχκθσλα κε ηνλ νπνίν ηα ζπλαπηηθά βάξε απηψλ ησλ λεπξψλσλ εθπαηδεχνληαη είλαη: w ( k 1) w ( k) ( k) x( k) w ( k) (3. 21) ελψ ηα βάξε φισλ ησλ άιισλ λεπξψλσλ δελ αιιάδνπλ. Γηα ην επφκελν πξφηππν x(k+1) θάπνηνο άιινο λεπξψλαο ζα είλαη ν ληθεηήο θαη άξα θάπνηα άιιε γεηηνληά ζα εθπαηδεπηεί κε απηφ ην πξφηππν. Η εθπαίδεπζε ηνπ δηθηχνπ SOM μεθηλάεη απφ κηα αξρηθή ηπραία θαηάζηαζε φπνπ ηα ζπλαπηηθά βάξε φισλ ησλ λεπξψλσλ είλαη ηπραίνη αξηζκνί. Απνηέιεζκα ηνπ παξαπάλσ θαλφλα εθπαίδεπζεο είλαη ε κεηαθίλεζε ηνπ δηαλχζκαηνο ζπλαπηηθψλ βαξψλ w ηνπ ληθεηή λεπξψλα πξνο ην δηάλπζκα εηζφδνπ x. Μεηά απφ επαλαιακβαλφκελεο παξνπζηάζεηο ησλ δεδνκέλσλ εθπαίδεπζεο, ηα δηαλχζκαηα ζπλαπηηθψλ βαξψλ ηείλνπλ λα αθνινπζνχλ ηελ θαηαλνκή ησλ δηαλπζκάησλ εηζφδνπ ιφγσ ηεο ελεκέξσζεο πνπ πξαγκαηνπνηείηαη ζηε γεηηνληά. Με απηφλ ηνλ ηξφπν ε εθπαίδεπζε θαηαιήγεη ζε ηνπνινγηθή νξγάλσζε ησλ 57

58 λεπξψλσλ, ππφ ηελ έλλνηα φηη νη λεπξψλεο πνπ είλαη γεηηνληθνί ζην πιέγκα ζα ηείλνπλ λα έρνπλ παξφκνηα δηαλχζκαηα ζπλαπηηθψλ βαξψλ [34]. Η δηαδηθαζία πξνζαξκνγήο ησλ ζπλαπηηθψλ βαξψλ ηνπ δηθηχνπ πεξλάεη κέζα απφ δχν θάζεηο. ηελ πξψηε θάζε νη λεπξψλεο ηαμηλνκνχληαη ζε γεηηνληέο δειαδή απνθαζίδεηαη πνηνο λεπξψλαο αλήθεη ζε πνηα γεηηνληά θαη επίζεο ηαθηνπνηνχληαη νη γεηηνληέο ρσξνηαμηθά ζην δίθηπν είηε είλαη κνλνδηάζηαην είηε δηζδηάζηαην. ηελ δεχηεξε θάζε νη λεπξψλεο ζπγθιίλνπλ ζηηο ηειηθέο ηνπο ηηκέο κέζα ζηηο γεηηνληέο. Αλάινγα κε ηελ θάζε εθπαίδεπζεο ηνπ δηθηχνπ SOM, παίδνπλ ζεκαληηθφ ξφιν δηάθνξεο παξάκεηξνη πνπ είλαη νη εμήο: 1. Δπηινγή ηνπ βήκαηνο εθπαίδεπζεο α(k). Σν βήκα εθπαίδεπζεο α(k) είλαη απζαίξεην θαη είλαη ζπλάξηεζε ηνπ δηαθξηηνχ ρξφλνπ k. Η ηηκή ηνπ πξέπεη λα θζίλεη ζηαδηαθά πξνο ην κεδέλ θαζψο πξνρσξάεη ε εθπαίδεπζε ψζηε λα ζηαζεξνπνηείηαη κηα θαηάζηαζε ησλ ζπλαπηηθψλ βαξψλ θαη λα κελ ππάξρνπλ ζπλερείο παιηλδξνκήζεηο κε ηελ πξφνδν ηεο εθπαίδεπζεο. ηελ αξρή, π.ρ. ζηηο πξψηεο 1000 επαλαιήςεηο κπνξεί λα είλαη ζηαζεξφ θνληά ζην 1 θαη κεηά ζα κεηψλεηαη ζηαδηαθά παξακέλνληαο πάλσ απφ ην 0.1. ηελ πξψηε θάζε φπνπ ην α είλαη ζηαζεξφ, ηαθηνπνηνχληαη ηνπνινγηθά νη λεπξψλεο θαη ζηελ δεχηεξε θάζε γίλνληαη νη κηθξέο δηνξζψζεηο πνπ ξπζκίδνπλ ηα φξηα ησλ θιάζεσλ. 2. Δπηινγή ζρήκαηνο θαη κεγέζνπο ηεο γεηηνληάο. Η γεηηνληά Γ( * ) είλαη κηα ζπκκεηξηθή πεξηνρή γχξσ απφ ην ληθεηή λεπξψλα * θαη ε έθηαζή ηεο κεηψλεηαη κε ηνλ ρξφλν. πλήζσο έρεη ηεηξαγσληθφ ζρήκα αιιά κπνξεί λα είλαη θαη ξνκβηθή, εμαγσληθή θιπ. ηελ πξψηε θάζε ηνπ αιγνξίζκνπ ε πεξηνρή κπνξεί λα μεθηλάεη ηφζν κεγάιε ψζηε λα πεξηέρεη φινπο ηνπο λεπξψλεο ηνπ δηθηχνπ θαη λα κεηψλεηαη γξακκηθά κέρξη π.ρ. ηνπο 8 λεπξψλεο. ηελ αξρή ηεο θάζεο ζχγθιηζεο (δεχηεξε θάζε ηνπ αιγνξίζκνπ) ε γεηηνληά πεξηέρεη κφλν ηνπο πιεζηέζηεξνπο γείηνλεο ηνπ ληθεηή λεπξψλα θαη κπνξεί ηειηθά λα κεησζεί ζε 1 ή 0 γεηηνληθνχο λεπξψλεο. ην παξαθάησ ζρήκα θαίλνληαη δχν ηνπνινγίεο γεηηνληάο ζε δηαθνξεηηθά είδε πιέγκαηνο: κηα ηεηξαγσληθή γεηηνληά ζε ηεηξαγσληθφ πιέγκα θαη κηα εμαγσληθή γεηηνληά ζε εμαγσληθφ πιέγκα [3]. Σχιμα 18: Τοπογραφικζσ δομζσ του δικτφου SOM 58

59 3. Δπηινγή ηνπ πιήζνπο ησλ επνρώλ. Η πξψηε θάζε εθπαίδεπζεο (θάζε ηνπνινγηθήο δηάηαμεο) κπνξεί λα νινθιεξσζεί ζρεηηθά γξήγνξα π.ρ. κέζα ζε επνρέο. Καηά ηε δεχηεξε θάζε ηνπ αιγνξίζκνπ φπνπ γίλνληαη κηθξέο δηνξζψζεηο γηα ηελ ηαθηνπνίεζε ησλ λεπξψλσλ κέζα ζηελ θάζε γεηηνληά (θάζε ζχγθιηζεο), κπνξεί λα απαηηεζνχλ ρηιηάδεο ή δεθάδεο ρηιηάδεο επαλαιήςεηο. Έλαο γεληθφο θαλφλαο ιέεη φηη θαηά ηε δεχηεξε θάζε απαηηνχληαη ηνπιάρηζηνλ ηφζεο επνρέο φζν είλαη ην πιήζνο ησλ λεπξψλσλ ηνπ δηθηχνπ επί 500 θνξέο. Ο αιγφξηζκνο εθπαίδεπζεο ηνπ δηθηχνπ SOM ηνπ Kohonen φηαλ έρνπκε ζαλ δεδνκέλα ηηο δηαζηάζεηο ηνπ πιέγκαηνο N 1 N 2 θαη ηα P πξφηππα εηζφδνπ x(1),, x(p) είλαη ν παξαθάησ: Αλγόπιθμορ εκπαίδεςζηρ SOM - Αξρηθνπνίεζε ηα δηαλχζκαηα βαξψλ w j =1,, N 1, j=1,, N 2 ζε ηπραίεο ηηκέο - Δπέιεμε αξρηθέο ηηκέο γηα ην βήκα εθπαίδεπζεο α θαη ην εχξνο γεηηνληάο Γ - Γηα θάζε επνρή = 1,, MAXEPOCHS { } Γηα θάζε πξφηππν εηζφδνπ k = 1,, P { Γηα θάζε λεπξψλα, j { Τπνιφγηζε ην θξηηήξην ηαηξηάζκαηνο d j w j x ( k) } Βξεο ηνλ ληθεηή λεπξψλα *, j * ζχκθσλα κε ηε ζρέζε d mn d ** j j Γηα θάζε λεπξψλα, j ζηε γεηηνληά ηνπ *, j * { Δθπαίδεπζε ην δηάλπζκα βαξψλ w j ζχκθσλα κε ηε ζρέζε w j ( k 1) w j ( k) ( k) x( k) w j ( k) (3. 22) } } Μείσζε ην βήκα εθπαίδεπζεο α θαη ην κέγεζνο ηεο γεηηνληάο Γ Η εθπαίδεπζε ζηακαηά φηαλ δελ παξαηεξνχληαη πιένλ επδηάθξηηεο αιιαγέο ζηνλ ράξηε ραξαθηεξηζηηθψλ. Δπηπιένλ ε εθπαίδεπζή ηνπ κπνξεί λα γίλεηαη ζπλερψο ψζηε ην δίθηπν λα έρεη ηελ δπλαηφηεηα λα πξνζαξκφδεηαη θαη ζε λέεο αιιαγέο πνπ κπνξεί λα παξνπζηάδνληαη ζε ζπλερή ρξφλν. Η θηινζνθία ηνπ δηθηχνπ SOM είλαη φηη φκνηεο είζνδνη αληηζηνηρνχλ ζε γεηηνληθνχο λεπξψλεο ζην πιέγκα θαη κε απηφλ ηνλ ηξφπν πξαγκαηνπνηείηαη νκαδνπνίεζε πξνηχπσλ (clusterng). Κάλεη ινηπφλ κηα αληηζηνίρηζε ησλ εηζφδσλ ζηελ έμνδν θαη γηα ηνλ 59

60 ιφγν απηφ ιέκε φηη επηηειεί κηα απηννξγαλνχκελε απεηθφληζε ραξαθηεξηζηηθψλ (selforganzng feature map). ε ηαρχηεηα είλαη απφ ηα πην γξήγνξα δίθηπα πνπ ππάξρνπλ ζε πξαγκαηηθφ ππνινγηζηηθφ ρξφλν. Σν δίθηπν SOM εθαξκφδεηαη ζε πνιινχο ηνκείο φπσο ζηνλ ξνκπνηηθφ έιεγρν, ζηνλ βηνκεραληθφ έιεγρν, ζηελ επεμεξγαζία ξαληάξ, ζηελ επεμεξγαζία ζεκάησλ ηειεπηθνηλσλίαο, ζηελ αλαγλψξηζε νκηιίαο θ.ι.π. Μηα ζεκαληηθή εθαξκνγή ηνπ δηθηχνπ SOM είλαη ε δεκηνπξγία ηνπ ζεκαζηνινγηθνύ ράξηε (semantc map) ή ελλνηνινγηθνύ ράξηε (contextual map) δειαδή ελφο απηννξγαλνχκελνπ ράξηε ζηνλ νπνίν νη ιέμεηο νκαδνπνηνχληαη κε βάζε ηε ζεκαζία ηνπο. Οη Rtter θαη Kohonen δεκηνχξγεζαλ έλα ηέηνην ράξηε θαη γηα απηφ ρξεζηκνπνίεζαλ κηα πνιχ απιή γιψζζα φπνπ θάζε πξφηαζε απνηειείηαη απφ 3 ιέμεηο ηχπνπ νπζηαζηηθφ, ξήκα ή επίξξεκα. Σν ιεμηιφγην πνπ ρξεζηκνπνίεζαλ, θαίλεηαη ζηνλ παξαθάησ πίλαθα: Πίνακασ 3.1: Λεξιλόγιο ςθμαςιολογικοφ χάρτθ 1. Bob, Jm, Mary 4. meat, bread 7. vsts, phones 10. drnks 13. fast, slowly 2. horse, dog, cat 5. runs, walks 8. buys, sells 11. eats 14. often, seldom 3. beer, water 6. works, speaks 9. lkes, hates 12. much, lttle 15. well, poorly Οη ιέμεηο 1-4 είλαη νπζηαζηηθά, νη ιέμεηο 5-11 είλαη ξήκαηα θαη νη ιέμεηο είλαη επηξξήκαηα. Οη Rtter θαη Kohonen δεκηνχξγεζαλ ηπραίεο πξνηάζεηο ηχπνπ νπζηαζηηθφξήκα-νπζηαζηηθφ ή νπζηαζηηθφ-ξήκα-επίξξεκα θαη ηνπνζέηεζαλ φιεο απηέο ηηο πξνηάζεηο ηε κηα δίπια ζηελ άιιε ζε έλα κεγάιν θείκελν ρσξίο λα ηηο δηαρσξίδνπλ κεηαμχ ηνπο. Κάζε ιέμε θσδηθνπνηήζεθε κε έλα 7-δηάζηαην δηάλπζκα-θσδηθφ θαη νη ιέμεηο αληηθαηαζηάζεθαλ απφ ηνπο θσδηθνχο ηνπο. Με απηφλ ηνλ ηξφπν δεκηνπξγήζεθε κηα πνιχ κεγάιε αθνινπζία S= {c 1, c 2, c 3,, c N } πνπ απνηειείηαη απφ N = θσδηθνχο. ηε ζπλέρεηα εθπαηδεχηεθε έλα δίθηπν SOM 1015 λεπξψλσλ θαη 21 εηζφδσλ. Γηα θάζε δηάλπζκα-θσδηθφ c δεκηνπξγήζεθε έλα δηάλπζκα εηζφδνπ ηνπ δηθηχνπ x ην νπνίν απνηειείηαη απφ ηξία ζηνηρεία. Απηά είλαη ε κέζε ηηκή ηνπ θσδηθνχ ηεο πξνεγνχκελεο ιέμεο E{c -1 c }, ν θσδηθφο c πνιιαπιαζηαζκέλνο κε έλαλ κηθξφ ζεηηθφ ζπληειεζηή ε θαη ε κέζε ηηκή ηνπ θσδηθνχ ηεο επφκελεο ιέμεο E{c +1 c }, E{ c c } 1 δειαδή: x c. Οη φξνη E{c -1 c } θαη E{c +1 c } ιέγνληαη ζπκθξαδόκελα E{ c c } 1 (context) θαη ρξεζηκνπνηνχληαη γηα λα θαηαιάβεη ην δίθηπν ηελ ιεηηνπξγηθή ζεκαζία ηεο θάζε ιέμεο απφ ηνλ ηξφπν πνπ ζπλδέεηαη κε ηηο γεηηνληθέο ηεο ιέμεηο. Ο ράξηεο SOM δεκηνπξγείηαη ηειηθά κεηά απφ 2000 επαλαιήςεηο ηνπ αιγνξίζκνπ εθπαίδεπζεο θαη θαίλεηαη ζην παξαθάησ ζρήκα [3]: 60

61 Σχιμα 19: Σθμαςιολογικόσ χάρτθσ Απφ ηελ αλσηέξσ εηθφλα ζπκπεξαίλεηαη φηη ηα νπζηαζηηθά, ξήκαηα θαη επηξξήκαηα μερσξίδνπλ κεηαμχ ηνπο γηαηί θαηαιακβάλνπλ δηαθνξεηηθέο γεηηνληέο ζην ράξηε. Δπηπιένλ νη ιέμεηο νκαδνπνηνχληαη ζε θιάζεηο κε βάζε φρη κφλν ηνλ ζπληαθηηθφ ηνπο ξφιν αιιά θαη κε βάζε ην ζεκαζηνινγηθφ ηνπο ξφιν. Η αλάιπζε ηνπ πεξηερνκέλνπ ησλ θεηκέλσλ έρεη επεθηαζεί ζε ζπιινγέο εθαηνκκπξίσλ εγγξάθσλ θαη ζε απηφ ην είδνο εθαξκνγήο ν αξηζκφο ησλ λεπξψλσλ ηνπ πιέγκαηνο κπνξεί λα θηάζεη ηηο εθαηνληάδεο ρηιηάδεο. Οη εθαξκνγέο απηνχ ηνπ είδνπο θαζηζηνχλ ην δίθηπν SOM πνιχ ζεκαληηθφ εξγαιείν γηαηί νπηηθνπνηεί απηνχο ηνπο ξφινπο ησλ ιέμεσλ. 61

62 3.5 Γίκηςα Σςναπηήζευν Βάζηρ Ακηινικού Τύπος - RBF Μηα ζεκαληηθή θαηεγνξία ΣΝΓ πξφζζηαο ηξνθνδφηεζεο είλαη ηα δίθηπα ζπλαξηήζεσλ βάζεο αθηηληθνχ ηχπνπ (RBF), ηα νπνία ρξεζηκνπνηνχλ σο ζπλαξηήζεηο ελεξγνπνίεζεο ηνπ θξπθνχ ζηξψκαηνο ηηο πλαξηήζεηο Αθηηληθνύ Σύπνπ (Radal Bass Functons - RBF). Μηα ζπλάξηεζε f(x) ιέγεηαη ζπλάξηεζε αθηηληθνχ ηχπνπ (radal functon) αλ ππάξρεη θάπνην δηάλπζκα c ην νπνίν ιέγεηαη θέληξν (center ή centrod) θαη ε ηηκή ηεο ζπλάξηεζεο εμαξηάηαη κφλν απφ ηελ απφζηαζε ηνπ x απφ ην θέληξν: f( x) f x c (3. 23) Η αθηηληθή ζπλάξηεζε ραξαθηεξίδεηαη θαη απφ ην εύξνο ζ ην νπνίν είλαη κηα παξάκεηξνο πνπ ξπζκίδεηαη θαη δείρλεη πφζν γξήγνξα ή αξγά «πέθηεη» ε ζπλάξηεζε δεμηά θαη αξηζηεξά απφ ην θέληξν ηεο. Κάπνηεο ζπλαξηήζεηο αθηηληθνχ ηχπνπ είλαη [3]: Σχιμα 20: α) Συνάρτθςθ Gauss β) Πολυτετραγωνικι ςυνάρτθςθ γ) Συνάρτθςθ Cauchy Σα δίθηπα RBF έρνπλ κφλν δχν ζηξψκαηα, θαζψο δελ ππάξρεη θάπνηνο ηθαλνπνηεηηθφο αιγφξηζκνο εθπαίδεπζεο γηα ηξία θαη πεξηζζφηεξα ζηξψκαηα. Έλα δίθηπν RBF κε d εηζφδνπο, έλα θξπκκέλν επίπεδν κε M λεπξψλεο θαη έλα επίπεδν εμφδνπ κε p λεπξψλεο θαίλεηαη ζην παξαθάησ ζρήκα: Σχιμα 21: Δίκτυο RBF Οη αθηηληθέο ζπλαξηήζεηο h(x) κε φξηζκα ην δηάλπζκα εηζφδνπ x ππνινγίδνληαη απφ ηνπο θξπκκέλνπο λεπξψλεο. ηηο ζπλαξηήζεηο απηέο ππάξρεη θάπνην ζεκείν (θέληξν) γηα ην νπνίν 62

63 παίξλνπλ ηε κέγηζηε ηηκή θαη θαζψο απνκαθξπλφκαζηε απφ ην θέληξν, ε ηηκή ηεο ζπλάξηεζεο κεηψλεηαη θαη ζρεδφλ κεδελίδεηαη γηα ζεκεία x πνπ βξίζθνληαη πνιχ καθξηά απφ απηφ. Απφ ηηο αθηηληθέο ζπλαξηήζεηο, ε πην ραξαθηεξηζηηθή πνπ ρξεζηκνπνηείηαη επξχηαηα είλαη ε ζπλάξηεζε Gauss, ηεο νπνίαο ε γξαθηθή παξάζηαζε θαίλεηαη ζην παξαθάησ ζρήκα [19]: Σχιμα 22: Γραφικι παράςταςθ ςυνάρτθςθσ Gauss μιασ διάςταςθσ Ανάκληζη δικηύοσ RBF Η αλάθιεζε ζε έλα δίθηπν RBF είλαη εληειψο φκνηα κε έλα δίθηπν MLP. Σν θξπθφ ζηξψκα πεξηέρεη ηελ αθηηληθή ζπλάξηεζε ελεξγνπνίεζεο f, ελψ ην ζηξψκα εμφδνπ είλαη γξακκηθφ. Η δηαθνξά είλαη φηη ε ζπλάξηεζε f δελ είλαη πιένλ ε ζηγκνεηδήο. Δπηπιένλ θάζε θξπθφο λεπξψλαο έρεη ην δηθφ ηνπ θέληξν c θαη εχξνο ζπλάξηεζεο ζ. Ο αιγφξηζκνο αλάθιεζεο ζε έλα δίθηπν RBF φηαλ ην δηάλπζκα εηζφδνπ είλαη x = [x 1, x 2,, x n ] T, ην πιήζνο λεπξψλσλ ζην επίπεδν εηζφδνπ είλαη n, ζην θξπθφ επίπεδν K θαη ζην επίπεδν εμφδνπ m, είλαη ν παξαθάησ: Μέθοδορ Γηα θάζε θξπθφ λεπξψλα = 1,, K { f xc, (3.24) } Γηα θάζε λεπξψλα εμφδνπ = 1,, m { K y w w } (3.25) j j 0 j1 Απφ ηνλ παξαπάλσ αιγφξηζκν πξνθχπηεη φηη δελ ππάξρνπλ ζπλαπηηθά βάξε κεηαμχ εηζφδσλ θαη θξπθνχ επηπέδνπ. πλαπηηθά βάξε ππάξρνπλ κφλν κεηαμχ θξπθνχ επηπέδνπ θαη επηπέδνπ εμφδνπ. 63

64 3.5.2 Εκπαίδεσζη δικηύοσ RBF Σα δίθηπα RBF είλαη αλνκνηνγελή. ην θξπθφ επίπεδν ε ζπλάξηεζε ελεξγνπνίεζεο είλαη αθηηληθνχ ηχπνπ θαη νη παξάκεηξνη πνπ πξέπεη λα εθπαηδεπηνχλ είλαη ηα θέληξα c θαη ηα εχξε ζ ησλ θξπθψλ λεπξψλσλ = 1, 2,, K. ην επίπεδν εμφδνπ ε ζπλάξηεζε ελεξγνπνίεζεο είλαη γξακκηθή θαη νη παξάκεηξνη πνπ πξέπεη λα εθπαηδεπηνχλ είλαη νη ηηκέο ησλ ζπλαπηηθψλ βαξψλ w j. Λφγσ απηήο ηεο αλνκνηνγέλεηαο αληηκεησπίδεηαη μερσξηζηά ην πξφβιεκα ηεο εθπαίδεπζεο ηνπ θξπθνχ επηπέδνπ απφ ην πξφβιεκα ηεο εθπαίδεπζεο ηνπ επηπέδνπ εμφδνπ. Αθνχ βξεζνχλ ηα θέληξα ησλ θξπθψλ λεπξψλσλ κε θάπνηα κέζνδν νκαδνπνίεζεο (clusterng), ζηε ζπλέρεηα βξίζθνληαη ηα ζπλαπηηθά βάξε ηνπ εμσηεξηθνχ επηπέδνπ κε θάπνηα κέζνδν εθπαίδεπζεο κε επίβιεςε. 1) Δθπαίδεπζε θξπθνύ επηπέδνπ Γηα ηελ εθπαίδεπζε ησλ λεπξψλσλ ηνπ θξπθνχ επηπέδνπ ελφο δηθηχνπ RBF ππάξρνπλ δηάθνξεο κέζνδνη. Κάπνηεο απφ απηέο είλαη ηδηαίηεξα απιέο, αιιά φρη ηφζν απνδνηηθέο, ελψ άιιεο έρνπλ κεγαιχηεξε πνιππινθφηεηα αιιά επηηπγράλνπλ θαιχηεξα απνηειέζκαηα κε ιηγφηεξνπο λεπξψλεο. Οη απιέο κέζνδνη είλαη απηέο πνπ επηιέγνπλ φια ή θάπνηα απφ ηα πξφηππα εηζφδνπ γηα λα απνηειέζνπλ ηα θέληξα c πνπ δεηάκε. Μηα πην πνιχπινθε κέζνδνο αιιά κε θαιχηεξα απνηειέζκαηα είλαη ε κέζνδνο ησλ K-κέζσλ, ε νπνία πεξηγξάθεηαη παξαθάησ. Γηα ηε κέζνδν απηή δηαηίζεληαη P πξφηππα x (1), x (2),, x (P) πνπ αλήθνπλ ζε K θιάζεηο Υ 1, Υ 2,, Υ K. Σν πιήζνο ησλ θιάζεσλ καο δίλεηαη απφ ηελ αξρή. Η κέζνδνο K- κέζσλ αλαδεηά έλα δηάλπζκα αληηπξφζσπν γηα θάζε θιάζε. Ξεθηλάεη κε ηπραία αξρηθά δηαλχζκαηα θέληξσλ θαη πξνζπαζεί λα ζπκθηιηψζεη ηηο εμήο δχν βαζηθέο απαηηήζεηο: α) γηα θάζε = 1,, K, ε θιάζε Υ απνηειείηαη απφ ηα πξφηππα x (p) πνπ βξίζθνληαη πην θνληά ζην δηάλπζκα c ζε ζρέζε κε φια ηα άιια δηαλχζκαηα c j, κε j διάθοπο ηος, δειαδή: p p x c mn x c (3.26) j β) γηα θάζε = 1,, K, ην δηάλπζκα c είλαη ν κέζνο φξνο ησλ πξνηχπσλ πνπ αλήθνπλ ζηελ θιάζε Υ, δειαδή: 1 ( p) c x (3.27) p j φπνπ είλαη ην πιήζνο ησλ πξνηχπσλ ηεο θιάζεο. Σν δηάλπζκα c ιέγεηαη θέληξν ηεο θιάζεο. Ο αιγφξηζκνο εθπαίδεπζεο K κέζσλ φηαλ νη είζνδνη είλαη ηα P πξφηππα x (1), x (2),, x (P) θαη ην πιήζνο ησλ θέληξσλ είλαη K, είλαη ν παξαθάησ: 64

65 Μέθοδορ Αξρηθνπνίεζε ηα θέληξα c 1,, c K ζε ηπραίεο ηηκέο. Δπαλέιαβε { Γηα θάζε πξφηππν p = 1,, P { Τπνιφγηζε ην θνληηλφηεξν θέληξν c ζην πξφηππν x (p) label(p) = */ην πξφηππν p αλήθεη ζηελ θιάζε /* } Γηα θάζε θιάζε k = 1,, K { Όξηζε ην θέληξν c k σο ην κέζν φξν ησλ δηαλπζκάησλ x (p) πνπ αλήθνπλ ζηελ θιάζε k, */Γειαδή απηά γηα ηα νπνία ηζρχεη φηη label(p) = k/*. } } Μέρξη λα κε ππάξμεη θακία αιιαγή ζηα θέληξα c 1,, c K Ο αιγφξηζκνο ιεηηνπξγεί επαλαιεπηηθά ελαιιάζζνληαο ηνλ ππνινγηζκφ ησλ κειψλ ησλ θιάζεσλ (βήκα α) κε ηνλ ππνινγηζκφ ηνπ κέζνπ φξνπ ηεο θάζε θιάζεο (βήκα β). Αλ ν αιγφξηζκνο δελ έρεη ζπγθιίλεη, ηφηε ν ππνινγηζκφο ησλ κειψλ ησλ θιάζεσλ κπνξεί λα αιιάμεη ην κέζν φξν ηεο θιάζεο γηαηί κπνξεί λα κεηαθηλεζνχλ θάπνηα πξφηππα απφ κηα θιάζε ζε κηα άιιε. Αλ πάιη αιιάμεη θάπνην θέληξν c (βήκα β) ηφηε κπνξεί λα αιιάμνπλ ηα κέιε ησλ θιάζεσλ γηαηί θάπνην πξφηππν x (p) κπνξεί λα βξίζθεηαη πιένλ πην θνληά ζε θάπνην άιιν θέληξν απ φηη πξηλ. Μεηά απφ πνιιέο επαλαιήςεηο ν αιγφξηζκνο ζπγθιίλεη θαζψο νη κεηαθηλήζεηο κειψλ απφ θιάζε ζε θιάζε κεηψλνληαη ζηαδηαθά θαη έηζη ηα θέληξα ησλ θιάζεσλ παγηψλνληαη, κεηψλνληαο αθφκα πεξηζζφηεξν ηηο κεηαθηλήζεηο κειψλ. Σν ελδηάκεζν επίπεδν δειαδή ρξεζηκνπνηείηαη γηα ηελ νκαδνπνίεζε (ηαμηλφκεζε) ησλ πξνηχπσλ, αλάινγα κε ηε ζέζε ηνπο ζην επίπεδν ή ζην ρψξν, κε ηελ εχξεζε ησλ θέληξσλ ησλ νκάδσλ. Σν παξαθάησ ζρήκα 23 παξνπζηάδεη ηελ ηαμηλφκεζε ησλ πξνηχπσλ ζε νκάδεο κε ηελ βνήζεηα ηνπ αιγφξηζκνπ K-κέζσλ [3]: Σχιμα 23: Ομαδοποίθςθ προτφπων με τον αλγόρικμο K-μζςων 65

66 Η κέζνδνο απηή πξνυπνζέηεη φηη έρεη δνζεί ην πιήζνο ησλ θιάζεσλ K, δειαδή ην πιήζνο ησλ θξπθψλ λεπξψλσλ. Γηα λα εθπαηδεπηεί πιήξσο ην θξπκκέλν επίπεδν ελφο δηθηχνπ RBF, πξέπεη γηα θάζε θξπθφ λεπξψλα, εθηφο απφ ην θέληξν c, λα νξηζηεί θαη ην εχξνο ζ ηεο ζπλάξηεζεο f, x c. Σν εχξνο δελ δίλεηαη άκεζα απφ ηνλ παξαπάλσ αιγφξηζκν, έκκεζα φκσο ζρεηίδεηαη κε ην εχξνο ηεο αληίζηνηρεο πεξηνρήο θαη πην ζπγθεθξηκέλα ηζρχεη φηη φζν πην πιαηηά είλαη ε πεξηνρή ηφζν πην κεγάιν είλαη ην ζ. πλήζσο επηιέγνπκε ηα εχξε ησλ ζπλαξηήζεσλ φισλ ησλ θξπθψλ λεπξψλσλ λα είλαη ίζα κεηαμχ ηνπο: D 1... K (3.28) 2P Όπνπ D είλαη ε απφζηαζε κεηαμχ ησλ πην απνκαθξπζκέλσλ πξνηχπσλ εηζφδνπ (πιάηνο ηνπ δηαζηήκαηνο πξνηχπσλ) θαη P είλαη ην πιήζνο ηνπο. 2) Δθπαίδεπζε εμσηεξηθνύ επηπέδνπ Η εθπαίδεπζε ηνπ εμσηεξηθνχ επηπέδνπ αθνινπζεί ηειείσο δηαθνξεηηθή θηινζνθία ζε ζρέζε κε ηελ εθπαίδεπζε ηνπ θξπθνχ επηπέδνπ. Αθνχ έρνπκε ήδε εθπαηδεχζεη ην θξπθφ επίπεδν, γλσξίδνπκε ηηο ηηκέο ελεξγνπνίεζεο α 1, α 2,, α K ησλ θξπθψλ λεπξψλσλ γηα θάζε πξφηππν εηζφδνπ x = [x 1, x 2,, x n ] T. Δπνκέλσο ην πξφβιεκα είλαη φκνην κε ηελ εθπαίδεπζε ελφο δηθηχνπ κε έλα κφλν επίπεδν. Καζψο ην επίπεδν εμφδνπ είλαη γξακκηθφ, ε έμνδνο ηνπ λεπξψλα εμφδνπ είλαη: K (3.29) y w w j j 0 j1 ηελ ηηκή y γηα ην πξφηππν εηζφδνπ ( p ) T ( p) ( p) ( p) a 1,..., a αληηζηνηρεί ε ηηκή ζηφρνπ d θαη ν θαλφλαο εθπαίδεπζεο είλαη: ( p ) w w ( d y ) (3.30), γηα j = 1,, K, = 1,, m ( p1) ( p) ( p) ( p) ( p) j j j w w d y (3.31), γηα = 1,, m. ( p1) ( p) ( p) ( p) 0 0 ( ) Σύγκριζη δικηύων MLP και RBF Όπσο γηα ηα δίθηπα MLP, έηζη θαη γηα ηα δίθηπα RBF ππάξρεη έλα αληίζηνηρν ζεψξεκα θαζνιηθνχ πξνζεγγηζηή (global approxmaton). Απνδεηθλχεηαη φηη νη ζπλαξηήζεηο αθηηληθνχ ηχπνπ είλαη βάζε ηνπ ρψξνπ ησλ ζπλερψλ ζπλαξηήζεσλ θαη άξα κπνξνχκε λα πξνζεγγίζνπκε νπνηαδήπνηε ζπλερή ζπλάξηεζε κε νπνηνδήπνηε βαζκφ αθξίβεηαο ζέινπκε, αλ ζέζνπκε ηθαλφ πιήζνο θξπθψλ λεπξψλσλ. Καη νη δχν απηέο αξρηηεθηνληθέο ΣΝΓ έρνπλ ην θνηλφ 66

67 ραξαθηεξηζηηθφ φηη πινπνηνχλ κε γξακκηθέο απεηθνλίζεηο απφ ην ρψξν ησλ εηζφδσλ R d ζην ρψξν ησλ εμφδσλ R p. Υαξαθηεξίδνληαη φκσο θαη απφ ζεκαληηθέο δηαθνξέο, ηηο νπνίεο πξέπεη θαλείο λα ιακβάλεη ππφςε ηνπ φηαλ επηιέγεη πνην απφ ηα δχν δίθηπα ζα ρξεζηκνπνηήζεη. Η βαζηθή δηαθνξά κεηαμχ MLP θαη RBF βξίζθεηαη ζηε κνξθή ησλ ζπλαξηήζεσλ ηνπ θξπκκέλνπ επηπέδνπ. Κάζε θξπκκέλνο λεπξψλαο ηνπ MLP ππνινγίδεη ην εζσηεξηθφ γηλφκελν ησλ ηηκψλ ησλ εηζφδσλ κε ην αληίζηνηρν δηάλπζκα βαξψλ θαη ην απνηέιεζκα απνηειεί ηελ είζνδν ζηε ζπλάξηεζε ελεξγνπνίεζεο. ηελ νπζία θάζε θξπκκέλνο λεπξψλαο ζην MLP νξίδεη ηελ εμίζσζε ελφο ππεξεπηπέδνπ θαη ην MLP ζπλνιηθά πινπνηεί ζπλαξηήζεηο ηαμηλφκεζεο δηαρσξίδνληαο ηνλ ρψξν ησλ πξνηχπσλ κε ππεξεπίπεδα θαη νξίδνληαο ηηο πεξηνρέο απφθαζεο σο ηνκέο ησλ ππεξεπηπέδσλ απηψλ. Δπνκέλσο ζηνλ ππνινγηζκφ κηαο εμφδνπ ζπκκεηέρνπλ φινη νη θξπκκέλνη λεπξψλεο θαη γηα ην ιφγν απηφ ιέκε φηη ην MLP καζαίλεη ρξεζηκνπνηψληαο θαηαλεκεκέλε αλαπαξάζηαζε. Μηα άιιε δηαθνξά είλαη φηη ηα δίθηπα RBF έρνπλ κφλν δχν επίπεδα, ζε ζχγθξηζε κε ηα δίθηπα MLP πνπ κπνξνχλ λα έρνπλ θαη πεξηζζφηεξα επίπεδα. Δπηπιένλ δηαθνξέο ππάξρνπλ θαη ζηελ εθπαίδεπζε ησλ δχν δηθηχσλ. Σν θξπθφ επίπεδν ηνπ δηθηχνπ RBF είλαη απηφνξγαλνχκελν (εθπαίδεπζε ρσξίο επίβιεςε), ζε αληίζεζε κε ηα θξπθά επίπεδα ησλ δηθηχσλ MLP πνπ εθπαηδεχνληαη κε επίβιεςε. Μηα αθφκε ζεκαληηθή δηαθνξά κεηαμχ MLP θαη RBF είλαη φηη ηα δίθηπα RBF είλαη πην εμεηδηθεπκέλα λα εθηεινχλ κία ζπγθεθξηκέλε ιεηηνπξγία απ φηη ηα MLP πνπ ρξεζηκνπνηνχληαη γηα πην γεληθέο ρξήζεηο. Απηφ νθείιεηαη ζην γεγνλφο φηη ηα RBF αμηνπνηνχλ ζην κέγηζην δπλαηφ ηελ πξσζχζηεξε (πξνυπάξρνπζα) γλψζε γχξσ απ ην πξφβιεκα πνπ πξφθεηηαη λα πινπνηεζεί. Έηζη ηα RBF είλαη πην απνηειεζκαηηθά ζαλ ηαμηλνκεηέο. Απ ηελ άιιε κεξηά φκσο ηα RBF ζηεξνχληαη γεληθφηεηαο, δειαδή έλα Νεπξσληθφ Γίθηπν απηήο ηεο κνξθήο είλαη θαηάιιειν κφλν γηα ηα δεδνκέλα γηα ηα νπνία ζρεδηάζηεθε. Δπίζεο έλα άιιν κεηνλέθηεκα ησλ RBF είλαη φηη ε εθ ησλ πξνηέξσλ γλψζε δελ είλαη πάληα δπλαηή. Μηα άιιε δηαθνξά κεηαμχ ησλ δχν ηχπσλ δηθηχνπ είλαη φηη ηα ΜLP καζαίλνπλ ρξεζηκνπνηψληαο θαηαλεκεκέλε αλαπαξάζηαζε, δειαδή ε γλψζε ζρεηηθά κε ηελ έμνδν πνπ αληηζηνηρεί ζε θάπνηα είζνδν θαηαλέκεηαη ζηηο ηηκέο ησλ βαξψλ φισλ ησλ θξπκκέλσλ κνλάδσλ. Έηζη ηα MLP έρνπλ αλνρή ζε ζθάικαηα (fault tolerance) πνπ ζεκαίλεη φηη ε θαηαζηξνθή θάπνησλ ζπλδέζεσλ δελ είλαη θαηαζηξνθηθή γηα ην δίθηπν, ιφγσ ηνπ φηη ε γλψζε είλαη θαηαλεκεκέλε ζε φιεο ηηο ζπλδέζεηο. Αληηζέησο ζηα δίθηπα RBF ν ρψξνο πξνηχπσλ δηαηξείηαη ζε πεξηνρέο πνπ θάζε κία απ απηέο αληηζηνηρεί ζε κία κνλάδα ηνπ θξπκκέλνπ επηπέδνπ. ηα δίθηπα MLP ε θάζε πεξηνρή νξίδεηαη απ ηελ ηνκή ησλ ππεξεπηπέδσλ πνπ 67

68 νξίδνληαη απφ φιεο ηηο θξπκκέλεο κνλάδεο, ελψ ην RBF ιεηηνπξγεί δεκηνπξγψληαο ηνπηθέο αλαπαξαζηάζεηο, δειαδή ε γλψζε γηα ηελ έμνδν πνπ αληηζηνηρεί ζε θάπνηα ζπγθεθξηκέλε είζνδν ελζσκαηψλεηαη ζηα βάξε εθείλσλ ησλ θξπκκέλσλ λεπξψλσλ νη νπνίνη πεξηιακβάλνπλ ηελ είζνδν απηή ζηε ζθαίξα επηξξνήο ηνπο. ηελ πεξίπησζε ηνπ RBF, δειαδή, ν ρψξνο πξνηχπσλ δηαηξείηαη ζε πεξηνρέο, θάζε κηα απφ ηηο νπνίεο αληηζηνηρεί ζε κηα κνλάδα ηνπ θξπκκέλνπ επηπέδνπ. Σέινο, απηφ πνπ πξέπεη λα απνηειέζεη ην θξηηήξηφ καο γηα λα απνθαζίζνπκε αλ ζα ρξεζηκνπνηήζνπκε έλα δίθηπν RBF ή έλα δίθηπν MLP ζε θάπνην ζπγθεθξηκέλν πξφβιεκα, είλαη ε πνηφηεηα ηεο πξνζέγγηζεο πνπ δίλεη ην θάζε κνληέιν γηα ην ζπγθεθξηκέλν ζχλνιν δεδνκέλσλ θαη κε πεπεξαζκέλν πιήζνο λεπξψλσλ. 68

69 ΚΕΦΑΛΑΙΟ 4 - ΝΕΤΡΩΝΙΚΟ ΕΛΕΓΧΟ 4.1 Διζαγυγή Οη λεπξσληθνί ειεγθηέο είλαη κε-ζπκβαηηθνί ειεγθηέο πνπ βαζίδνληαη ζηελ Τπνινγηζηηθή Ννεκνζχλε θαη πινπνηνχληαη κε Σερλεηά Νεπξσληθά Γίθηπα πνπ πξέπεη πξψηα λα εθπαηδεπηνχλ θαηάιιεια. Σα Σερλεηά Νεπξσληθά Γίθηπα κπνξνχλ λα ρξεζηκνπνηεζνχλ ζε πξνβιήκαηα ειέγρνπ φηαλ νη ζπκβαηηθέο πξνζεγγίζεηο είλαη δχζθνιεο ή κε-απνηειεζκαηηθέο. Μηα παξαγσγηθή δηαδηθαζία κπνξεί λα ειεγρζεί θαη απφ αλζξψπνπο θαη απφ κεραλέο. Έλαο απφ ηνπο ζηφρνπο ηνπ ειέγρνπ είλαη λα βειηηψλεη ηελ επζηάζεηα θαη ηε ζζελαξφηεηα ηνπ ζπζηήκαηνο, δειαδή ηελ ηθαλφηεηα ηνπ ζπζηήκαηνο λα παξακέλεη ιεηηνπξγηθφ θάησ απφ απξφβιεπηεο θαη αληίμνεο ζπλζήθεο είηε ελδνγελείο είηε εμσγελείο. Μεηαμχ ηνπ ηξφπνπ πνπ κπνξεί ν άλζξσπνο λα ειέγμεη κηα δηαδηθαζία θαη ηνπ ηξφπνπ ειέγρνπ ελφο ππνινγηζηηθνχ ζπζηήκαηνο, ππάξρνπλ αξθεηέο δηαθνξέο. Ο άλζξσπνο ρξεζηκνπνηεί κεγάιν πιήζνο δεδνκέλσλ, ηε δηαίζζεζε, ηε γλψζε θαη ηελ εκπεηξία ηνπ θαη πξνζαξκφδεηαη γξήγνξα ζε λέεο ζπλζήθεο, ελψ έλα επθπέο ζχζηεκα βαζίδεηαη ζε πεξηνξηζκέλε γλψζε. Απφ ηελ άιιε, ν άλζξσπνο είλαη επηξξεπήο ζε θφπσζε, ακέιεηα θαη ζθάικαηα, ελψ ην ππνινγηζηηθφ ζχζηεκα δελ έρεη απηά ηα πξνβιήκαηα εθφζνλ ππάξρεη ξεχκα θαη ιεηηνπξγεί. Μηα άιιε δηαθνξά κεηαμχ ηνπ ειέγρνπ πνπ γίλεηαη απφ έλαλ ρεηξηζηή θαη απηνχ πνπ γίλεηαη απφ κεραλέο είλαη ν ζπιινγηθφο ηξφπνο επεμεξγαζίαο πιεξνθνξίαο ζηα Σερλεηά Νεπξσληθά Γίθηπα (ΣΝΓ). Η ζπιινγηθή ηθαλφηεηα επεμεξγαζίαο δίλεη ζηα Νεπξσληθά Γίθηπα ηελ ηθαλφηεηα λα απνθξίλνληαη γξήγνξα. Η ηειεπηαία θαη πην ζεκαληηθή δηαθνξά είλαη φηη ε γλψζε πνπ απαηηείηαη γηα ηνλ έιεγρν κηαο δηαδηθαζίαο απνθηάηαη κεηά απφ καθξνρξφληα κάζεζε, ελψ ε ιεηηνπξγία ησλ λεπξσληθψλ ειεγθηψλ θαζνξίδεηαη απφ αιγφξηζκνπο. Σα Σερλεηά Νεπξσληθά Γίθηπα κπνξνχλ λα αληηκεησπίδνπλ κε-γξακκηθά θαηλφκελα θαη απηφ είλαη πνιχ ζεκαληηθφ γηα ηνλ απηφκαην έιεγρν. Έρνπλ ηελ ηθαλφηεηα δειαδή λα αλαπαξάγνπλ κε-γξακκηθέο ζρέζεηο θαη έηζη λα κνληεινπνηνχλ κε-γξακκηθέο δηαδηθαζίεο. Σα ραξαθηεξηζηηθά ησλ Νεπξσληθψλ Γηθηχσλ πνπ ηα θάλνπλ ηδηαίηεξα εθαξκφζηκα ζηελ πεξηνρή ηνπ απηφκαηνπ ειέγρνπ είλαη ηα παξαθάησ: ηθαλόηεηα παξάιιειεο επεμεξγαζίαο. Σα Νεπξσληθά Γίθηπα έρνπλ έκθπηε παξάιιειε δνκή πνπ επηηξέπεη ηελ απνηειεζκαηηθή ρξήζε ησλ λέσλ παξάιιεισλ επεμεξγαζηψλ φηαλ απαηηνχληαη πνιχ πςειέο ηαρχηεηεο επεμεξγαζίαο. Η παξάιιειε αξρηηεθηνληθή έρεη ην πιενλέθηεκα φηη νη λεπξσληθνί ειεγθηέο παξέρνπλ πνιχ πςειφηεξν βαζκφ αμηνπηζηίαο θαη αλεθηηθφηεηαο ζε βιάβεο απφ ηνπο ζπκβαηηθνχο ειεγθηέο θαη είλαη πην γξήγνξνη ζηνλ ππνινγηζκφ ηνπ λφκνπ ειέγρνπ. 69

70 κάζεζε θαη πξνζαξκνγή. Σα Νεπξσληθά Γίθηπα κπνξνχλ λα εθπαηδεπηνχλ απφ πξνεγνχκελα δεδνκέλα ηνπ ζπζηήκαηνο ππφ κειέηε. Έλα θαηάιιεια εθπαηδεπκέλν δίθηπν κπνξεί ζηε ζπλέρεηα λα γεληθεχζεη ηηο απνθάζεηο ηνπ φηαλ δηεγείξεηαη κε άγλσζηεο εηζφδνπο. πιαζηηθόηεηα. Δίλαη ε ηθαλφηεηα ησλ δηθηχσλ λα καζαίλνπλ λέα γλψζε ζρεηηθά κε ηνλ έιεγρν ηεο δηαδηθαζίαο κε ηαπηφρξνλε δηαηήξεζε ηεο παιαηφηεξεο εκπεηξίαο. ζύληεμε δεδνκέλσλ. Σα Νεπξσληθά Γίθηπα κπνξνχλ λα ιεηηνπξγνχλ ην ίδην απνηειεζκαηηθά ηφζν κε αξηζκεηηθά φζν θαη κε ιεθηηθά δεδνκέλα. κε-γξακκηθά ζπζηήκαηα. Σα Νεπξσληθά Γίθηπα κπνξνχλ λα πξνζεγγίδνπλ θαη κεγξακκηθέο ζρέζεηο εηζφδνπ-εμφδνπ θαη γη απηφ ρξεζηκνπνηνχληαη γηα ηνλ κε-γξακκηθφ έιεγρν ζπζηεκάησλ. πνιπκεηαβιεηά ζπζηήκαηα. Σα Νεπξσληθά Γίθηπα είλαη ηδαληθά γηα ηνλ έιεγρν πνιπκεηαβιεηψλ ζπζηεκάησλ, γηαηί κπνξνχλ λα επεμεξγάδνληαη πνιιαπιά ζήκαηα εηζφδνπ θαη λα παξάγνπλ πνιιαπιά ζήκαηα εμφδσλ ζπγρξφλσο. Οη λεπξσληθνί ειεγθηέο έρνπλ επηπιένλ πξνζαξκνζηηθφηεηα ζε αληηζηάζκηζε ησλ κεηαβνιψλ ηεο θπζηθήο δηαδηθαζίαο θαη κπνξνχλ λα αληεπεμέιζνπλ ζην ζφξπβν θαη λα επεμεξγαζηνχλ πνιιέο πιεξνθνξίεο απφ αηζζεηήξεο. Η αχμεζε ησλ πιεξνθνξηψλ δελ κεηψλεη ηελ ηαρχηεηα επεμεξγαζίαο ησλ λεπξσληθψλ ειεγθηψλ, αιιά επεξεάδεη ηνλ ρξφλν κάζεζεο. Οη ζπκβαηηθέο κέζνδνη ζρεδηαζκνχ ζπζηεκάησλ ξχζκηζεο πεξηιακβάλνπλ ηελ θαηαζθεπή ελφο καζεκαηηθνχ κνληέινπ πνπ αλαπαξηζηά ηε δπλακηθή ηνπ ζπζηήκαηνο θαη ηε ρξήζε αλαιπηηθψλ ηερληθψλ γηα ηελ παξαγσγή ελφο ξπζκηζηηθνχ θαλφλα. Η πην δηαδεδνκέλε κέζνδνο αλάιπζεο θαη ειέγρνπ είλαη ε γξακκηθνπνίεζε γχξσ απφ θάπνην επηζπκεηφ ζεκείν θαη ε ρξήζε αλαηξνθνδφηεζεο γηα ηε βειηίσζε ηεο απφδνζεο ηνπ ζπζηήκαηνο έλαληη ησλ αβεβαηνηήησλ ηνπ κνληέινπ θαη ησλ εμσηεξηθψλ δηαηαξαρψλ. Όηαλ νη ζηαζεξνί ξπζκηζηέο αλαηξνθνδφηεζεο δελ είλαη επαξθείο, ηφηε ρξεζηκνπνηνχληαη νη πξνζαξκνζηηθνί ξπζκηζηέο. Ο ζρεδηαζκφο ελφο πξνζαξκνζηηθνχ ξπζκηζηή πεξηιακβάλεη ην ζρεδηαζκφ ξπζκηζηψλ πνπ πιεξνχλ ηηο πξνδηαγξαθέο γχξσ απφ έλα ζεκείν ιεηηνπξγίαο, φπνπ ην γξακκηθφ κνληέιν είλαη έγθπξν θαη ηε ρξήζε ελφο πξνγξακκαηηζηή (scheduler). Ο πξνζαξκνζηηθφο ξπζκηζηήο πνπ πξνθχπηεη κε απηφλ ηνλ ηξφπν κπνξεί λα επηηχρεη ηνπο ξπζκηζηηθνχο ζηφρνπο ζε φιν ην εχξνο ιεηηνπξγίαο ηνπ. ε αξθεηέο πεξηπηψζεηο φκσο απαηηείηαη λα απμεζεί ζεκαληηθά ην εχξνο ιεηηνπξγίαο ηνπ ζπζηήκαηνο. Δπίζεο, ρξεηάδεηαη λα αληηκεησπηζηνχλ απνηειεζκαηηθά δηάθνξα ζηνηρεία αβεβαηφηεηαο ζε πνιχπινθα κνληέια θαζψο θαη απξφβιεπηεο κεηαβνιέο ζην 70

71 ζχζηεκα, ζην πεξηβάιινλ θαη ζηνπο ξπζκηζηηθνχο ζηφρνπο. Γηα ηελ επίηεπμε ησλ παξαπάλσ ζηφρσλ, ε ρξήζε επθπψλ δηαδηθαζηψλ ιήςεο απνθάζεσλ είλαη ζε ζέζε λα δηαηεξήζεη ην επίπεδν απφδνζεο ζε πςειά επίπεδα αθφκα θαη φηαλ ζπκβαίλνπλ δξαζηηθέο αιιαγέο ζηηο ζπλζήθεο ιεηηνπξγίαο ελφο ζπζηήκαηνο. Σα Νεπξσληθά Γίθηπα έρνπλ εθαξκνζηεί ζηε ρεκηθή βηνκεραλία, ζε ηαηξηθέο εθαξκνγέο, ζηε κνληεινπνίεζε δηεξγαζηψλ, ζηελ απηφκαηε ξχζκηζε, ζε επαγσγηθέο εθηηκήζεηο θαη επνπηηθέο εθαξκνγέο. Η κνληεινπνίεζε δηεξγαζηψλ πεξηιακβάλεη ηε κε-γξακκηθή πξφβιεςε ησλ ξπζκηδφκελσλ κεηαβιεηψλ ή/θαη ηε κνληεινπνίεζε άγλσζησλ παξακέηξσλ ηνπ κνληέινπ ζε ζπλήζεηο δηαθνξηθέο εμηζψζεηο ζρεκαηίδνληαο εκηεκπεηξηθέο εμηζψζεηο. ηε ξχζκηζε δηεξγαζηψλ ηα Νεπξσληθά Γίθηπα έρνπλ ρξεζηκνπνηεζεί σο πξνγξακκαηηζηέο (scheduler) ησλ παξακέηξσλ PID ξπζκηζηψλ, αληηζηνηρίδνληαο ην ρψξν θαηάζηαζεο ζε έλα ζπγθεθξηκέλν ζχλνιν παξακέηξσλ ηνπ ξπζκηζηή. ε εθαξκνγέο ξχζκηζεο ηα Νεπξσληθά Γίθηπα κπνξνχλ λα ελζσκαησζνχλ ζην βξφρν ειέγρνπ κέζσ άκεζσλ ή έκκεζσλ κεζφδσλ ξχζκηζεο. ηελ άκεζε κέζνδν, έλα Νεπξσληθφ Γίθηπν εθπαηδεχεηαη κε δεδνκέλα εηζφδνπ-εμφδνπ γηα λα παξαζηήζεη ηελ αληίζηξνθε δπλακηθή ηνπ κνληέινπ θαη ζηε ζπλέρεηα ιεηηνπξγεί σο ξπζκηζηήο ζε πξφζζηα κεηάδνζε. ηελ έκκεζε κέζνδν, ην Νεπξσληθφ Γίθηπν εθπαηδεχεηαη γηα λα αλαπαξαζηήζεη ηελ δπλακηθή ηνπ ζπζηήκαηνο. Γηα ηελ ηξέρνπζα θαηάζηαζε θαη ηελ ηξέρνπζα ξπζκηζηηθή δξάζε, ην δίθηπν καζαίλεη λα πξνβιέπεη ηελ επφκελε θαηάζηαζε ηνπ ζπζηήκαηνο. Σν κνληέιν απηφ ηεο δηεξγαζίαο κπνξεί λα ρξεζηκνπνηεζεί ζηε ζπλέρεηα απφ έλαλ αιγφξηζκν ξχζκηζεο γηα ηνλ ππνινγηζκφ ηεο ξπζκηζηηθήο δξάζεο. 4.2 Απσιηεκηονικέρ Νεςπυνικών Δλεγκηών Σα ηειεπηαία ρξφληα ηα Σερλεηά Νεπξσληθά Γίθηπα ρξεζηκνπνηνχληαη πάξα πνιχ γηα αλαγλψξηζε ζπζηεκάησλ θαζψο θαη γηα έιεγρν θπζηθψλ δηαδηθαζηψλ. Οη απμαλφκελεο απαηηήζεηο γηα ηελ απφδνζή ηνπο θαη ε επαθφινπζε πνιππινθφηεηά ηνπο, νδεγνχλ ζηε ρξήζε πξνεγκέλσλ κεζφδσλ επεμεξγαζίαο πιεξνθνξηψλ θαη ειέγρνπ δηαδηθαζηψλ. Οη επηθξαηέζηεξεο αξρηηεθηνληθέο λεπξσληθψλ ειεγθηψλ είλαη νη παξαθάησ: Ανηίζηροθο πρόησπο Η αξρηηεθηνληθή ηνπ αληίζηξνθνπ πξνηχπνπ (nverse model) ρξεζηκνπνηείηαη ζπρλά ιφγσ ηεο απιφηεηάο ηεο. Καηά ηε θάζε κάζεζεο ηνπ ηερλεηνχ Νεπξσληθνχ Γηθηχνπ πνπ γίλεηαη κε ππνδείγκαηα απφθξηζεο ηεο δηαδηθαζίαο ζε γλσζηέο δηεγέξζεηο, ζηφρνο είλαη ην Νεπξσληθφ Γίθηπν λα αλαγλσξίζεη ηελ αληίζηξνθε ζρέζε θ -1 κεηαμχ εηζφδνπ θαη εμφδνπ ηεο 71

72 ειεγρφκελεο δηαδηθαζίαο, δειαδή ηελ αληίζηξνθε ζπλάξηεζε κεηαθνξάο. Αλ ε θπζηθή δηαδηθαζία έρεη ζρέζε y=θ(u), ηφηε ζηελ ηδαληθή πεξίπησζε ην Νεπξσληθφ Γίθηπν ζα παξάγεη ηελ αληίζηξνθε ζρέζε u=θ -1 (y), κεηά απφ κάζεζε, έηζη ψζηε ε νιηθή ζρέζε εηζφδνπ-εμφδνπ ηνπ αλνηθηνχ ζπζηήκαηνο λα είλαη ε κνλάδα. Μεηά ηε κάζεζε, ε έμνδνο ηεο δηαδηθαζίαο ζεσξεηηθά ζα αθνινπζεί ηελ επηζπκεηή έμνδν κε αθξίβεηα. Η δηάηαμε ηνπ λεπξσληθνχ ειεγθηή αληίζηξνθνπ πξνηχπνπ θαίλεηαη ζην παξαθάησ ζρήκα [2]: Σχιμα 24: Αρχιτεκτονικι αντίςτροφου προτφπου Απφ ην παξαπάλσ ζρήκα θαίλεηαη φηη ην Σερλεηφ Νεπξσληθφ Γίθηπν είλαη ζε ζεηξά κε ηελ ειεγρφκελε δηαδηθαζία θαη παξάγεη ην λφκν ειέγρνπ u, ν νπνίνο εθαξκφδεηαη ζηε ζπλέρεηα ζηελ είζνδν ηνπ ζπζηήκαηνο. Σν ζήκα ζθάικαηνο είλαη e = d y (δηαθνξά κεηαμχ ηεο επηζπκεηήο εμφδνπ θαη ηεο εμφδνπ ηνπ ειεγρφκελνπ ζπζηήκαηνο). Απηφ ην ζήκα ζθάικαηνο ρξεζηκνπνηείηαη γηα ηελ πξνζαξκνγή ησλ παξακέηξσλ ηνπ Νεπξσληθνχ Γηθηχνπ κε ζηφρν ηελ ειαρηζηνπνίεζε ηνπ ηεηξαγψλνπ ηεο δηαθνξάο ησλ δχν εμφδσλ. Η αξρηηεθηνληθή απηή έρεη ζνβαξά κεηνλεθηήκαηα θαη αληηκεησπίδεη ρακειή ζζελαξφηεηα. Η αλαγλψξηζε ηνπ αληίζηξνθνπ πξνηχπνπ δελ κπνξεί λα είλαη αθξηβήο θαη άξα ε νιηθή ζρέζε εηζφδνπ-εμφδνπ ηνπ αλνηθηνχ ζπζηήκαηνο δελ κπνξεί πνηέ λα είλαη ε κνλάδα. Γηα λα ιεηηνπξγήζεη απνηειεζκαηηθά ε κέζνδνο απαηηείηαη αλαγλψξηζε ηεο ειεγρφκελεο δηαδηθαζίαο ζε ηαθηά δηαζηήκαηα, ην νπνίν πεξηνξίδεη ηελ εθαξκνγή ηεο κεζφδνπ ζηελ πξάμε Ειδικεσμένη μάθηζη με αναηροθοδοηούμενο ζθάλμα Η αξρηηεθηνληθή απηή αληηκεησπίδεη ζε κεγάιν βαζκφ ηελ έιιεηςε ζζελαξφηεηαο ηνπ αληίζηξνθνπ πξνηχπνπ θαη θαίλεηαη ζην παξαθάησ ζρήκα [2]: Σχιμα 25: Αρχιτεκτονικι ειδικευμζνθσ μάκθςθσ 72

73 Σν ΣΝΓ είλαη ζε ζεηξά κε ηελ ειεγρφκελε δηαδηθαζία θαη επίζεο δεκηνπξγείηαη βξφρνο θιεηζηνχ ζπζηήκαηνο γηαηί ε έμνδνο ηεο δηαδηθαζίαο ηξνθνδνηείηαη πίζσ ζηελ είζνδν ηνπ δηθηχνπ. Σν απνηέιεζκα είλαη ε απμεκέλε ζζελαξφηεηα ηνπ νιηθνχ θιεηζηνχ ζπζηήκαηνο ιφγσ ηεο αλαηξνθνδφηεζεο. Η έμνδνο y ηνπ ζπζηήκαηνο αθαηξείηαη απφ ην ζήκα αλαθνξάο d, ην νπνίν παξέρεηαη απφ κηα εμσηεξηθή πεγή θαη έηζη δεκηνπξγείηαη ην ζήκα ζθάικαηνο e. Σν ζήκα ζθάικαηνο εθαξκφδεηαη ζηνλ λεπξσληθφ ειεγθηή κε ζηφρν ηελ πξνζαξκνγή ησλ παξακέηξσλ ηνπ. Ο βαζηθφο ζηφρνο ηνπ ειεγθηή είλαη λα παξέρεη θαηάιιειεο εηζφδνπο ζην ειεγρφκελν ζχζηεκα έηζη ψζηε ε έμνδνο ηνπ y λα παξαθνινπζεί ην ζήκα αλαθνξάο d Έμμεζη μάθηζη Η έκκεζε κάζεζε είλαη κηα αξρηηεθηνληθή λεπξσληθνχ ειέγρνπ πην ζχλζεηε απφ ηηο δχν πξνεγνχκελεο, γηαηί πεξηέρεη δχν δπλακηθά Σερλεηά Νεπξσληθά Γίθηπα θαη ε κάζεζή ηνπο είλαη πνιχ πην δχζθνιε. Η αξρηηεθηνληθή απηή θαίλεηαη ζην παξαθάησ ζρήκα [2]: Σχιμα 26: Αρχιτεκτονικι ζμμεςθσ μάκθςθσ Σν ΣΝΓ 1 είλαη έλαο λεπξσληθφο ειεγθηήο πξφζζηαο ηξνθνδφηεζεο ελψ ην ΣΝΓ 2 θάλεη αλαγλψξηζε ηνπ ζπζηήκαηνο θαη έηζη παξηζηάλεη ην (ηδαληθφ) δπλακηθφ κνληέιν ηεο θπζηθήο δηαδηθαζίαο. Σν ΣΝΓ 2 θαηά ηελ εθπαίδεπζή ηνπ καζαίλεη ηελ δπλακηθή ζρέζε εηζφδνπεμφδνπ ηεο δηαδηθαζίαο, δειαδή ηελ ζπλάξηεζε κεηαθνξάο. Γηα ηελ πξνζαξκνγή ησλ παξακέηξσλ απηνχ ηνπ δηθηχνπ ρξεζηκνπνηείηαη ην ζήκα ζθάικαηνο e * = y-y * πνπ είλαη ε δηαθνξά ησλ εμφδσλ ηεο δηαδηθαζίαο θαη ηνπ ΣΝΓ 2 θαη ζηφρνο ηεο εθπαίδεπζεο είλαη ε ειαρηζηνπνίεζε ηνπ ηεηξαγψλνπ ηεο δηαθνξάο ησλ δχν εμφδσλ. Γηα ηε κάζεζε ηνπ ΣΝΓ 1 ρξεζηκνπνηείηαη ην νιηθφ ζθάικα e = d-y. 73

74 4.2.4 Γενικεσμένη μάθηζη Η γεληθεπκέλε ή άκεζε κάζεζε είλαη κηα άιιε δνκή πνπ ρξεζηκνπνηείηαη γηα ηελ αληίζηξνθε κνληεινπνίεζε δπλακηθψλ ζπζηεκάησλ θαη θαίλεηαη ζην ζρήκα: Σχιμα 27: Αρχιτεκτονικι άμεςθσ μάκθςθσ Σν δηάλπζκα εηζφδνπ ηνπ ζπζηήκαηνο είλαη έλα ηερλεηφ ζήκα εθπαίδεπζεο θαη ε έμνδνο ηνπ ζπζηήκαηνο ρξεζηκνπνηείηαη ζηελ ζπλέρεηα ζαλ είζνδνο ηνπ Νεπξσληθνχ Γηθηχνπ. Η έμνδνο ηνπ δηθηχνπ ζπγθξίλεηαη κε ηελ είζνδν ηνπ ζπζηήκαηνο (ην ζήκα εθπαίδεπζεο) θαη ε δηαθνξά ηνπο είλαη ην παξαγφκελν ζήκα ζθάικαηνο, ην νπνίν ρξεζηκνπνηείηαη γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ. Απηή ε δνκή ζίγνπξα ζα αλαγθάζεη ην δίθηπν λα απεηθνλίζεη ην αληίζηξνθν κνληέιν ηνπ ππφ έιεγρν ζπζηήκαηνο. Η ζπγθεθξηκέλε αξρηηεθηνληθή παξνπζηάδεη δηάθνξα κεηνλεθηήκαηα, φπσο ην φηη ε δηαδηθαζία εθπαίδεπζεο δελ θαηεπζχλεηαη απφ ζηφρνπο. Σν ζήκα εθπαίδεπζεο πξέπεη λα επηιεγεί απφ έλα κεγάιν αξηζκφ εηζφδσλ ηνπ ζπζηήκαηνο θαη νη πξαγκαηηθέο είζνδνη ιεηηνπξγίαο κπνξεί λα είλαη δχζθνιν λα θαζνξηζηνχλ απφ πξηλ. 74

75 ΚΕΦΑΛΑΙΟ 5 - ΕΦΑΡΜΟΓΕ ΝΕΤΡΩΝΙΚΩΝ ΔΙΚΣΤΩΝ 5.1 Δθαπμογή ΤΝΓ ζε μονάδα επεξεπγαζίαρ λςμάηυν Οη εμειίμεηο ζηηο επθπείο κεζφδνπο θαζηζηνχλ δπλαηή ηελ ρξήζε ηνπο ζηελ κνληεινπνίεζε πνιχπινθσλ ζπζηεκάησλ. Έλα ηέηνην πνιχπινθν ζχζηεκα είλαη θαη ε κνλάδα επεμεξγαζίαο αζηηθψλ ιπκάησλ (ΜΔΑΛ). Σα ηειεπηαία ρξφληα νη κειέηεο ζρεηηθά κε ηελ επθπή κνληεινπνίεζε απηψλ ησλ κνλάδσλ έρνπλ γίλεη δεκνθηιείο ιφγσ ηνπ κεγάινπ ελδηαθέξνληνο γηα ην πεξηβάιινλ. Αθαηάιιειε ιεηηνπξγία κηαο ΜΔΑΛ κπνξεί λα πξνθαιέζεη ζνβαξά πξνβιήκαηα ζηελ δεκφζηα πγεία θαη ζην πεξηβάιινλ. Ο έιεγρνο ηεο ιεηηνπξγίαο κηαο ΜΔΑΛ κπνξεί λα επηηεπρζεί κε ηελ αλάπηπμε εχξσζησλ κνληέισλ ηα νπνία πξνβιέπνπλ ηελ απνδνηηθφηεηά ηεο. Γηα ηε ζσζηή ιεηηνπξγία ηεο κνλάδαο πξέπεη λα πξαγκαηνπνηνχληαη ζπζηεκαηηθά θαη κε αθξίβεηα κεηξήζεηο ζε δηάθνξα βηνρεκηθά ζηνηρεία ησλ ιπκάησλ, επεμεξγαζία ησλ κεηξήζεσλ θαη εμαγσγή απνηειεζκάησλ. Οη κεηξήζεηο απηέο θαηαρσξνχληαη ζε κηα βάζε δεδνκέλσλ ηελ νπνία δηαρεηξίδεηαη ην Σερλεηφ Νεπξσληθφ Γίθηπν. Αλ ππάξρνπλ απμεκέλα φξηα ζηηο κεηξήζεηο ή θάπνηα βιάβε ζε ηκήκα ηεο κνλάδαο ηφηε ην Νεπξσληθφ Γίθηπν ζα εηδνπνηεί γηα δπζιεηηνπξγίεο κε βάζε αλάινγεο ζπκπεξηθνξέο πνπ έρεη ζην αξρείν ηνπ. Σν ΣΝΓ κπνξεί λα ειέγρεη ηελ νξζή ιεηηνπξγία ηεο κνλάδαο, λα πξνβιέπεη πξνβιήκαηα κε βάζε ηελ απφθιηζε ησλ κεηξήζεσλ, λα πξαγκαηνπνηεί δηελέξγεηα γηα ηαπηνπνίεζε ηνπ πξνβιήκαηνο, λα θάλεη πξφηαζε γηα επίιπζή ηνπ θαη ηέινο λα πξαγκαηνπνηεί ηελ επίιπζε ηνπ πξνβιήκαηνο. Έλα παξάδεηγκα εθαξκνγήο, απνηειεί ε έξεπλα πνπ πξαγκαηνπνίεζαλ νη Davut Hanbay, Ibrahm Turkoglu θαη Yakup Demr [10]. ηε ζπγθεθξηκέλε εθαξκνγή δεκηνχξγεζαλ θαη εθπαίδεπζαλ έλα Σερλεηφ Νεπξσληθφ Γίθηπν ζαλ κνληέιν ηεο ΜΔΑΛ, έηζη ψζηε λα ειέγμνπλ ηελ απφδνζή ηεο. Έλα κέηξν ηεο ζπλνιηθήο απφδνζεο ηεο κνλάδαο είλαη ε ζπγθέληξσζε ησλ νιηθψλ αησξνχκελσλ ζηεξεψλ (total suspended sold TSS) πνπ ππάξρνπλ ζηα επεμεξγαζκέλα ιχκαηα ηεο κνλάδαο. Δπνκέλσο, ζηφρνο ηνπο ήηαλ ην Νεπξσληθφ Γίθηπν λα εθηηκήζεη ηελ ζπγθέληξσζε ησλ TSS. Σα δεδνκέλα πνπ ρξεζηκνπνίεζαλ ζηελ εθαξκνγή ηα πήξαλ απφ κηα ΜΔΑΛ ζηελ Malatya ηεο Σνπξθίαο. Αξρηθά δεκηνχξγεζαλ ηελ Βάζε Γεδνκέλσλ πνπ πεξηέρεη ηηο ηηκέο ησλ παξακέηξσλ θαη θαλνληθνπνίεζαλ ηα δεδνκέλα, ρξεζηκνπνηψληαο ηνλ ηχπν: (5.1) Ο πίλαθαο δεδνκέλσλ πνπ ρξεζηκνπνηήζεθε γηα ηελ εθπαίδεπζε ηνπ Νεπξσληθνχ Γηθηχνπ, θαίλεηαη παξαθάησ [10]: 75

76 Πίνακασ 5.1: Δεδομζνα για τθν εκπαίδευςθ του Νευρωνικοφ Δικτφου ηνλ παξαπάλσ πίλαθα ε ζηήιε COD παξνπζηάδεη ην ρεκηθά απαηηνχκελν νμπγφλν πνπ ρξεηάδεηαη γηα ηελ πιήξε απνηθνδφκεζε ησλ νξγαληθψλ ζπζηαηηθψλ ησλ απνβιήησλ, ε ζηήιε TN παξνπζηάδεη ηα ζπλνιηθά ληηξηθά άιαηα θαη ε ζηήιε TSS παξνπζηάδεη ηα νιηθά αησξνχκελα ζηεξεά πνπ ππάξρνπλ ζηα ιχκαηα. Η δνκή ηεο κνλάδαο επεμεξγαζίαο ιπκάησλ κε ην Νεπξσληθφ Γίθηπν θαίλεηαη ζην επφκελν ζρήκα, φπνπ ην Νεπξσληθφ Γίθηπν θάλεη αλαγλψξηζε ηνπ άγλσζηνπ δπλακηθνχ ζπζηήκαηνο ηεο κνλάδαο [10]. Σχιμα 28: Μοντζλο Νευρωνικοφ Δικτφου Σν δεηνχκελν είλαη ε εχξεζε ησλ παξακέηξσλ εθπαίδεπζεο ηνπ Νεπξσληθνχ Γηθηχνπ, έηζη ψζηε λα παξάγεη ηελ ίδηα έμνδν κε ηε κνλάδα επεμεξγαζίαο ιπκάησλ, φηαλ εθαξκφδεηαη ε ίδηα είζνδνο θαη ζηα δχν ζπζηήκαηα. Σν Νεπξσληθφ Γίθηπν είλαη ην κνληέιν ηεο κνλάδαο θαη πξνζπαζεί λα κηκεζεί ηελ ζπκπεξηθνξά ηεο. Γηα ηε κνληεινπνίεζε ηεο κνλάδαο ρξεζηκνπνίεζαλ ην πνιπεπίπεδν Perceptron (MLP), ην νπνίν απνηειείηαη απφ 2 επίπεδα, έρεη 4 εηζφδνπο, 25 λεπξψλεο ζην θξπθφ επίπεδν θαη 1 λεπξψλα εμφδνπ. Η ζπλάξηεζε ελεξγνπνίεζεο πνπ ρξεζηκνπνηήζεθε είλαη ε ζηγκνεηδήο. Σν Νεπξσληθφ Γίθηπν εθπαηδεχηεθε κε ηνλ 76

77 αιγφξηζκν Back propagaton θαη ηα αξρηθά βάξε επηιέρηεθαλ ηπραία. ε απηή ηελ δνκή θαηέιεμαλ κεηά απφ πνιιέο δνθηκέο θαη ζηάδηα ζθάικαηνο. Γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ ρξεζηκνπνηήζεθαλ 50 πξφηππα εθπαίδεπζεο θαη γηα ηνλ έιεγρν ηεο επίδνζήο ηνπ 12 πξφηππα ειέγρνπ. Σα απνηειέζκαηα ηεο εθπαίδεπζεο θαίλνληαη ζηα επφκελα ζρήκαηα [10]. Σν πξψην παξνπζηάδεη ηελ θακπχιε κάζεζεο, δειαδή ην κέζν ηεηξαγσληθφ ζθάικα J ζε ζπλάξηεζε κε ηηο επνρέο, ην νπνίν ειαρηζηνπνηείηαη ζηελ ηηκή εληφο 352 επνρψλ. Σχιμα 29: Αποτελζςματα εκπαίδευςθσ του πολυεπίπεδου Νευρωνικοφ Δικτφου - Σφάλμα εκπαίδευςθσ Σν ζρήκα 30 παξνπζηάδεη ηηο εμφδνπο ηνπ ΣΝΓ ζε ζρέζε κε ηηο επηζπκεηέο εμφδνπο γηα ηα 50 πξφηππα (παξαδείγκαηα) εθπαίδεπζεο. Σχιμα 30: Αποτελζςματα εκπαίδευςθσ του πολυεπίπεδου Νευρωνικοφ Δικτφου ζξοδοσ μοντζλου ςε ςχζςθ με τθν επικυμθτι ζξοδο. Σν ηειεπηαίν ζρήκα 31 παξνπζηάδεη ηηο εμφδνπο ηνπ δηθηχνπ ζε ζρέζε κε ηηο επηζπκεηέο εμφδνπο γηα 12 πξφηππα ειέγρνπ θαη δείρλεη φηη ην Νεπξσληθφ Γίθηπν πξνζεγγίδεη ζσζηά ηα 77

78 ραξαθηεξηζηηθά ηεο ΜΔΑΛ θαη παξνπζηάδεη κηα ηθαλνπνηεηηθή γελίθεπζε γηα πξφηππα ζηα νπνία δελ έρεη εθπαηδεπηεί, δηφηη ε θακπχιε εμφδνπ ηνπ κνληέινπ αθνινπζεί αξθεηά πηζηά ηελ επηζπκεηή έμνδν. Σχιμα 31: Αποτελζςματα ελζγχου λειτουργίασ του Ν.Δ. Σα πην ζεκαληηθά ραξαθηεξηζηηθά ηνπ κνληέινπ πνπ κειεηήζεθε, είλαη ε ηθαλφηεηα ηεο απηφ-νξγάλσζεο ηνπ δηθηχνπ MLP ρσξίο απαηηήζεηο πξνγξακκαηηζκνχ θαη ε άκεζε απφθξηζή ηνπ θαηά ηε δηάξθεηα εθαξκνγψλ πξαγκαηηθνχ ρξφλνπ. Απηά ηα ραξαθηεξηζηηθά θάλνπλ ην δίθηπν MLP θαηάιιειν γηα πνιχπινθα ζπζηήκαηα δηφηη είλαη γξήγνξν, εχθνιν ζηελ ρξήζε ηνπ θαη νηθνλνκηθά ζπκθέξσλ. 5.2 Σύγκπιζη ζηαηικών και δςναμικών Νεςπυνικών Γικηύυν για βπασςππόθεζμη ππόβλετη πλημμςπών Ειζαγωγή ηελ παξάγξαθν απηή κειεηάκε ηελ αλάπηπμε δχν Σερλεηψλ Νεπξσληθψλ Γηθηχσλ πνπ ρξεζηκνπνηνχληαη γηα ηελ βξαρππξφζεζκε πξφβιεςε πιεκκπξψλ. Απηά ηα δίθηπα έρνπλ δηαθνξεηηθά ραξαθηεξηζηηθά θαη πξαγκαηνπνηνχκε κηα ζχγθξηζε ζηελ απφδνζή ηνπο. θνπφο ηνπο είλαη λα πξνβιέπνπλ ηελ απνξξνή πνπ δεκηνπξγείηαη ιφγσ ηεο βξνρφπησζεο. Μέξνο ηνπ λεξνχ ηεο βξνρήο πνπ πέθηεη πάλσ ζην έδαθνο, θπιάεη επηθαλεηαθά πξνο ηα πνηάκηα, ζρεκαηίδνληαο ηελ επηθαλεηαθή απνξξνή. Η επηθαλεηαθή απνξξνή είλαη ε ξνή (θίλεζε) ηνπ λεξνχ απφ πςειφηεξα ζεκεία πξνο ρακειφηεξα εμαηηίαο ηεο βαξχηεηαο, πάλσ ζηελ επηθάλεηα ηεο γεο, θαηά κήθνο ησλ θπζηθψλ πδαηνξεπκάησλ. ηα θπζηθά πδαηνξεχκαηα πεξηιακβάλεηαη φιν ην θάζκα ηνπο, απφ έλα κηθξφ ξπάθη κέρξη ην πην κεγάιν πνηάκη. Η κεγαιχηεξε πνζφηεηα ηεο επηθαλεηαθήο απνξξνήο κεηαθέξεηαη ζηνπο σθεαλνχο απφ ηα πνηάκηα θαη πνζνηηθά ε απνξξνή εθθξάδεηαη ζε φξνπο παξνρήο ή φγθνπ. 78

79 Απφ ηελ ηερλνινγηθή νπηηθή ηνπ κεραληθνχ, ε επηθαλεηαθή απνξξνή ελδηαθέξεη πεξηζζφηεξν απφ θάζε άιιε ζπληζηψζα ηνπ πδξνινγηθνχ θχθινπ, ηφζν γηαηί δίλεη ην κεγαιχηεξν κέξνο ησλ εθκεηαιιεχζηκσλ πδαηηθψλ πφξσλ, φζν θαη γηαηί δεκηνπξγεί ζεκαληηθνχο θπζηθνχο θηλδχλνπο ζηελ πεξίπησζε ησλ πιεκκπξψλ. πρλά ππάξρεη ν θίλδπλνο ηζρπξψλ βξνρνπηψζεσλ, κε απνηέιεζκα λα θαζίζηαηαη επηηαθηηθή ε αλάγθε ειέγρνπ ηνπ επηπέδνπ αζθαιείαο ησλ ηακηεπηήξσλ λεξνχ (ηερλεηέο ιίκλεο απνζήθεπζεο λεξνχ), πξνθεηκέλνπ λα επηηεπρζεί εθείλε ε πνζφηεηα λεξνχ πνπ δελ ζα πξνθαιέζεη ππεξρείιηζε ηνπ ηακηεπηήξα. Η ππεξρείιηζε ηνπ ηακηεπηήξα έρεη σο απνηέιεζκα ηα λεξά λα εηζέξρνληαη ζην πνηάκη θαη καδί κε ηελ απνξξνή ιφγσ βξνρήο, αλπςψλεηαη ε ζηάζκε ηνπ πνηακνχ θαη πξνθαινχληαη πιεκκχξεο. Η ξνή ηνπ πνηακνχ πξέπεη λα ειεγρζεί θαη λα πεξηνξηζηεί κέρξη κηα κέγηζηε επηηξεπηή ξνή, έηζη ψζηε λα ππάξρνπλ αζθαιή επίπεδα θαηά κήθνο ηεο δηαδξνκήο εθείλνπ ηνπ ηκήκαηνο ηνπ πνηακνχ πνπ βξίζθεηαη εληφο θαηνηθεκέλσλ πεξηνρψλ. Η εθηίκεζε ηεο ξνήο ησλ πνηακψλ είλαη θξίζηκε θαη παίδεη θαζνξηζηηθφ ξφιν ηφζν γηα ηε ξχζκηζή ηεο φζν θαη γηα ηε ιήςε κέηξσλ πξνζηαζίαο. Η κε-γξακκηθή ζρέζε κεηαμχ βξνρφπησζεο θαη απνξξνήο είλαη έλα απφ ηα πεξηζζφηεξν πνιχπινθα πδξνινγηθά θαηλφκελα θαη ε πξφβιεςε ηεο απνξξνήο εμαξηάηαη απφ έλα κεγάιν αξηζκφ παξακέηξσλ. Η δεκηνπξγία ηεο κέγηζηεο απνξξνήο απφ κηα ιεθάλε απνξξνήο 1 εμαξηάηαη πξσηαξρηθά απφ ηελ έληαζε θαη ηε δηάξθεηα ηεο βξνρφπησζεο θαη ηελ ζπρλφηεηα ησλ έληνλσλ βξνρνπηψζεσλ. Ωζηφζν ε ηειηθή απνξξνή πνπ πξνθχπηεη ζε κηα ιεθάλε, εθηφο απφ ηε βξνρφπησζε, είλαη ζπλάξηεζε ησλ γεσκεηξηθψλ θαη γεσινγηθψλ ραξαθηεξηζηηθψλ ηεο, ηεο δαζνθάιπςεο, ηεο εδαθηθήο πγξαζίαο, ηεο εμάηκηζεο ησλ πδάησλ θαη ησλ ρξήζεσλ γεο. Γηα ην ιφγν απηφ είλαη πνιχ δχζθνιν λα πξνβιεθζεί ε απνξξνή ζε κηα ιεθάλε εμαηηίαο ησλ κε γξακκηθψλ θαη αγλψζησλ παξακέηξσλ πνπ πξναλαθέξζεθαλ. Η ζρέζε κεηαμχ βξνρφπησζεο θαη απνξξνήο είλαη έλα θπζηθφ θαηλφκελν πνπ παίδεη πνιχ ζεκαληηθφ ξφιν ζηε δηαρείξηζε ησλ πδαηηθψλ πφξσλ θαη ζηελ πξφβιεςε ησλ πιεκκπξηθψλ παξνρψλ. Γηα ην ιφγν απηφ έρεη αλαπηπρζεί έλαο κεγάινο αξηζκφο κνληέισλ γηα ηελ πξνζνκνίσζή ηεο, κε δηαθνξεηηθφ βαζκφ πνιππινθφηεηαο. ην πιαίζην απηφ, ε δχλακε ησλ Σερλεηψλ Νεπξσληθψλ Γηθηχσλ πξνθχπηεη απφ ηελ ηθαλφηεηά ηνπο λα θαηαζθεπάδνπλ κε γξακκηθά κνληέια. Μεηαμχ ησλ δηαθφξσλ κεζφδσλ ηερλεηήο λνεκνζχλεο, ηα Σερλεηά Νεπξσληθά Γίθηπα παίδνπλ δσηηθφ ξφιν ζηελ πξφβιεςε θαη κνληεινπνίεζε ζχλζεησλ πδξνινγηθψλ ζπζηεκάησλ. Σα Νεπξσληθά Γίθηπα ζεσξνχληαη επξέσο σο κηα απνηειεζκαηηθή πξνζέγγηζε γηα δηαρείξηζε κεγάισλ πνζνηήησλ δπλακηθψλ, κε γξακκηθψλ δεδνκέλσλ πνπ 1 Με ηνλ φξν απηφ ελλνείηαη κηα γεσγξαθηθή πεξηνρή πνπ θηινμελεί ην πνηάκη, είλαη θπζηθφο ππνδνρέαο αηκνζθαηξηθψλ θαηαθξεκληζκάησλ (λεξνχ) θαη ηα λεξά ηεο θαηαιήγνπλ ζην πνηάκη (θαη ζηελ ζπλέρεηα ζηε ζάιαζζα). 79

80 πεξηέρνπλ ζφξπβν, εηδηθά ζε πεξηπηψζεηο φπνπ νη ππνθείκελεο θπζηθέο ζρέζεηο δελ είλαη πιήξσο θαηαλνεηέο. Δπίζεο είλαη θαηάιιεια γηα ηε κνληεινπνίεζε ζπζηεκάησλ ζε πξαγκαηηθφ ρξφλν, θάηη πνπ ζα σθειήζεη ιεηηνπξγηθά ζπζηήκαηα πξφβιεςεο πιεκκπξψλ πνπ ζηνρεχνπλ λα πξνβιέπνπλ πδξνγξαθήκαηα γηα ηηο αλάγθεο ειέγρνπ θαη πξνεηδνπνίεζεο πιεκκχξαο. Έλα παξάδεηγκα εθαξκνγήο απνηειεί ε έξεπλα πνπ πξαγκαηνπνίεζαλ νη Rahul P. Deshmukh, A. Ghatol [21]. Υξεζηκνπνηήζεθε έλα ππνζχλνιν ηζηνξηθψλ δεδνκέλσλ βξνρφπησζεο απφ ηελ ιεθάλε απνξξνήο ηνπ πνηακνχ Wardha ηεο Ιλδίαο, πξνθεηκέλνπ λα θαηαζθεπαζηνχλ κνληέια Νεπξσληθψλ Γηθηχσλ γηα πξφβιεςε πξαγκαηηθνχ ρξφλνπ. Οη ζηαζκνί απηφκαηεο κέηξεζεο κεηεσξνινγηθψλ θαη πδξνινγηθψλ δεδνκέλσλ αλαπηχρζεθαλ ζε νρηψ ζπγθεθξηκέλεο ζηξαηεγηθέο ηνπνζεζίεο έηζη ψζηε λα κεηαθέξνπλ ηα δεδνκέλα βξνρφπησζεο ζε σξηαία βάζε. ηελ πεξηνρή ηνπ θξάγκαηνο ηνπ πνηακνχ αλαπηχζζεηαη ην κνληέιν Σερλεηνχ Νεπξσληθνχ Γηθηχνπ γηα λα πξνβιέςεη ηελ απνξξνή ησλ πδάησλ ηξεηο ψξεο λσξίηεξα απφ ηελ ζηηγκή πνπ ζα ζπκβεί. Υξεζηκνπνηνχληαη ηα αναδπομικά Νεςπυνικά Γίκηςα σπονικήρ καθςζηέπηζηρ (TLRNN - Tme Lagged Recurrent Neural Network) θαη ηα δίκηςα ζςναπηήζευν βάζηρ ακηινικού ηύπος (RBF - Radal Bass Functon Neural Network) γηα ηελ πξφβιεςε ηεο απνξξνήο ζην θξάγκα θαη ηαπηφρξνλα ζπγθξίλεηαη ε απφδνζή ηνπο. Σν πξψην λεπξσληθφ δίθηπν είλαη έλα δπλακηθφ κνληέιν πνπ επεθηείλεη ην δίθηπν Perceptron πνιιψλ επηπέδσλ κε κνλάδεο πνπ ζπκνχληαη ηελ παξειζνληηθή δξαζηεξηφηεηα. Αληίζεηα ην δεχηεξν λεπξσληθφ δίθηπν απνηειεί έλα ζηαηηθφ κνληέιν πνπ δηαζέηεη κηα δνκή εκπξφζζηαο ηξνθνδφηεζεο θαη απνηειείηαη απφ έλα θξπκκέλν επίπεδν κε έλαλ δνζέληα αξηζκφ θξπθψλ λεπξψλσλ πνπ είλαη πιήξσο δηαζπλδεδεκέλνη κε ην επίπεδν εμφδνπ γξακκηθψλ λεπξψλσλ Μεθοδολογία Δθαξκφδνληαη δχν κεζνδνινγίεο γηα ηε κνληεινπνίεζε ηεο ζρέζεο βξνρφπησζεο απνξξνήο, νη νπνίεο ρξεζηκνπνηνχλ ηα εμήο Σερλεηά Νεπξσληθά Γίθηπα: α) αναδπομικά Νεςπυνικά Γίκηςα σπονικήρ καθςζηέπηζηρ (TLRNN) θαη β) δίκηςα ζςναπηήζευν βάζηρ ακηινικού ηύπος (RBF). Σα δίθηπα TLRNN απνηεινχλ κηα πεξίπησζε πνιπεπίπεδσλ Perceptron κε δνκέο βξαρππξφζεζκεο κλήκεο, πνπ δηαζέηνπλ ηνπηθέο αλαδξνκηθέο ζπλδέζεηο θαη απνηεινχλ θαηάιιεια κνληέια γηα επεμεξγαζία ρξνληθά κεηαβαιιφκελσλ πιεξνθνξηψλ. ην ζρήκα 32 πνπ αθνινπζεί παξνπζηάδεηαη ε δνκή ηνπ κνληέινπ απηνχ [21]: 80

81 Σχιμα 32: Το μοντζλο TLRNN Απφ ηελ άιιε κεξηά, ηα δίθηπα RBF έρνπλ κία πνιχ ηζρπξή καζεκαηηθή βάζε γηα ηελ επίιπζε πξνβιεκάησλ πνπ δελ είλαη θαιψο νξηζκέλα. Σα δίθηπα απηά ρξεζηκνπνηνχλ ζπλαξηήζεηο Gauss αληί γηα ζηγκνεηδείο φπσο ηα δίθηπα MLP. Η εθκάζεζε ζηα δίθηπα απηά δηελεξγείηαη ζε δχν θάζεηο: πξψηα γηα ην θξπκκέλν επίπεδν θαη έπεηηα γηα ην επίπεδν εμφδνπ. Σν θξπκκέλν επίπεδν είλαη απηφ-νξγαλνχκελν, θάηη πνπ ζεκαίλεη φηη νη παξάκεηξνί ηνπ εμαξηψληαη απφ ηελ θαηαλνκή ησλ εηζφδσλ θαη φρη απφ ηελ απεηθφληζε ηεο εηζφδνπ ζηελ έμνδν. Αληίζεηα, ην επίπεδν εμφδνπ ρξεζηκνπνηεί επηβιεπφκελε εθκάζεζε γηα λα ξπζκίζεη ηηο παξακέηξνπο ηνπ. ην ζρήκα πνπ αθνινπζεί, παξνπζηάδεηαη ε δνκή ηνπ κνληέινπ RBF [21]: Σχιμα 33: Το RBF Νευρωνικό Δίκτυο Μεηξηθέο απόδνζεο: Η ηθαλφηεηα ηεο εθκάζεζεο θαη ηεο γελίθεπζεο ηνπ εθηηκψκελνπ Νεπξσληθνχ Γηθηχνπ αμηνινγείηαη κε βάζε ζεκαληηθέο κεηξηθέο απφδνζεο, φπσο ην κέζν ηεηξαγσληθφ ζθάικα (MSE - Mean Square Error), ην θαλνληθνπνηεκέλν κέζν ηεηξαγσληθφ ζθάικα (NMSE - Normalzed Mean Square Error) θαη ν ζπληειεζηήο ζπζρέηηζεο r (correlaton coeffcent). ηε ζπλέρεηα πξνζδηνξίδνληαη κε αθξίβεηα νη ηξεηο πξναλαθεξζέληεο κεηξηθέο: 81

82 Α. Μέζο Τεηραγωνικό Σθάλμα MSE Σν κέζν ηεηξαγσληθφ ζθάικα κπνξεί λα ρξεζηκνπνηεζεί γηα λα πνζνηηθνπνηήζεη ηελ απφθιηζε κηαο ηηκήο πνπ εθηηκήζεθε ζε ζρέζε κε ηελ πξαγκαηηθή ηηκή ηεο πνζφηεηαο πνπ εξεπλάηαη. Ο ηχπνο πνπ πξνζδηνξίδεη ην κέζν ηεηξαγσληθφ ζθάικα είλαη ν εμήο: MSE P N j 0 0 ( d j NP y ) φπνπ P είλαη ν αξηζκφο ησλ ζηνηρείσλ επεμεξγαζίαο ζηελ έμνδν θαη N είλαη ν αξηζκφο ησλ δεηγκάησλ ζηελ ζπιινγή ησλ δεδνκέλσλ. Δπίζεο ην y j είλαη ε έμνδνο ηνπ δηθηχνπ γηα ην δείγκα εηζφδνπ ζην ζηνηρείν επεμεξγαζίαο j θαη ην d j είλαη ε επηζπκεηή έμνδνο ηνπ δηθηχνπ γηα ην δείγκα εηζφδνπ ζην ζηνηρείν επεμεξγαζίαο j. j 2 (5.2) Β. Κανονικοποιημένο Μέζο Τεηραγωνικό Σθάλμα NMSE Ο ηχπνο πνπ πξνζδηνξίδεη ην θαλνληθνπνηεκέλν κέζν ηεηξαγσληθφ ζθάικα είλαη ν εμήο: P N MSE N MSE (5.3) N N 2 2 N d ( d ) P j 0 0 j N 0 φπνπ P είλαη ν αξηζκφο ησλ ζηνηρείσλ επεμεξγαζίαο ζηελ έμνδν, N είλαη ν αξηζκφο ησλ δεηγκάησλ ζηελ ζπιινγή ησλ δεδνκέλσλ, MSE είλαη ην κέζν ηεηξαγσληθφ ζθάικα θαη d j είλαη ε επηζπκεηή έμνδνο ηνπ δηθηχνπ γηα ην δείγκα εηζφδνπ ζην ζηνηρείν επεμεξγαζίαο j. j C. Σσνηελεζηής Σσζτέηιζης r Ο ζπληειεζηήο ζπζρέηηζεο είλαη έλα κέηξν ηεο γξακκηθήο παιηλδξφκεζεο κεηαμχ ηεο εμφδνπ x ηνπ δηθηχνπ θαη ηεο επηζπκεηήο εμφδνπ d θαη δίλεηαη απφ ηνλ ηχπν: φπνπ 1 x N N x 1 ( x x) ( d d) r N (5.4) 2 2 ( d d) ( x x) N N N 1 (5.5) θαη d N d 1 Ο ζπληειεζηήο ζπζρέηηζεο πεξηνξίδεηαη ζην θιεηζηφ δηάζηεκα [-1, 1]. Όηαλ ην r = 1 ππάξρεη κηα ηδαληθή ζεηηθή γξακκηθή ζπζρέηηζε κεηαμχ ηνπ x θαη ηνπ d, θάηη πνπ ζεκαίλεη φηη κεηαβάιινληαη γξακκηθά θαηά ηελ ίδηα πνζφηεηα. (5.6) 82

83 Περιοτή μελέηης και ζσλλογή δεδομένων Έρεη παξαηεξεζεί φηη θαηά ηνπο κήλεο Αχγνπζην θαη επηέκβξην, νη βξνρνπηψζεηο ζηελ ιεθάλε απνξξνήο ηνπ πνηακνχ Wardha είλαη ηφζν έληνλεο ψζηε δεκηνπξγνχληαη ακέζσο απνξξνέο πξνθαιψληαο ηζρπξέο πιεκκχξεο. Γηα απηέο ηηο πεξηπηψζεηο είλαη δχζθνιν λα πξνβιεθζεί ε απνξξνή ζην θξάγκα θαη νη ζπκβαηηθέο κέζνδνη απνηπγράλνπλ. Γηα ην ιφγν απηφ θαηαζθεπάδνληαη κνληέια πνπ βαζίδνληαη ζηα Σερλεηά Νεπξσληθά Γίθηπα πξνθεηκέλνπ λα πξνβιέςνπλ ηε ζπλνιηθή απνξξνή απφ ηε βξνρφπησζε ζηε ιεθάλε απνξξνήο ηνπ πνηακνχ Wardha. Σα δεδνκέλα βξνρφπησζεο - απνξξνήο έρνπλ ιεθζεί απφ ηε ιεθάλε απνξξνήο ηνπ πνηακνχ Wardha, ε νπνία πεξηέρεη έλα κείγκα αζηηθήο θαη γεσξγηθήο πεξηνρήο. Απηή ε ιεθάλε ρσξίδεηαη νκνηφκνξθα ζε νρηψ δψλεο κε βάζε ηελ πνζφηεηα ηεο βξνρφπησζεο θαη ηα γεσγξαθηθά ραξαθηεξηζηηθά ηεο θάζε δψλεο. ε θάζε δψλε ππάξρεη έλαο ζηαζκφο κέηξεζεο ησλ κεηεσξνινγηθψλ ζηνηρείσλ βξνρφπησζεο. πγθεθξηκέλα νη είζνδνη ηνπ κνληέινπ είλαη ην χςνο ηεο βξνρήο ζε ρηιηνζηά (mm). Οη ζηφρνη (επηζπκεηέο έμνδνη) ηνπ κνληέινπ είλαη νη πξαγκαηηθέο κεηξήζεηο ηεο απνξξνήο ζηελ έμνδν ηεο ιεθάλεο, ζηελ πεξηνρή ηνπ θξάγκαηνο φπνπ ππάξρεη εγθαηεζηεκέλνο ζηαζκφο κέηξεζεο ζε θπβηθά κέηξα αλά δεπηεξφιεπην (m 3 /sec). Σα δεδνκέλα απηά ρξεζηκνπνηνχληαη γηα ηελ εθπαίδεπζε ηνπ λεπξσληθνχ δηθηχνπ θαη παξνπζηάδνληαη ζηνλ επφκελν πίλαθα [21]: Πίνακασ 5.2: Χρθςιμοποιοφμενεσ παράμετροι για τθν εκπαίδευςθ του Νευρωνικοφ Δικτφου Μήλαο βξνρφπησζεο RG1 RG2 RG3 RG4 RG5 RG6 RG7 RG8 8 ζηαζκνί κέηξεζεο κεηεσξνινγηθψλ ζηνηρείσλ βξνρφπησζεο Απνξξνή ζηελ έμνδν ηεο ιεθάλεο Σφζν νη κεηξήζεηο ηεο βξνρφπησζεο φζν θαη νη κεηξήζεηο ηεο απνξξνήο πνπ ρξεζηκνπνηήζεθαλ ζηελ εθπαίδεπζε ηνπ δηθηχνπ ήηαλ ζε σξηαία βάζε γηα κηα ρξνληθή πεξίνδν 7 εηψλ ( ) θαη γηα ηνπο κήλεο Ινχλην Οθηψβξην, επεηδή έρεη δηαπηζησζεί φηη ην πην ζεκαληηθφ πνζνζηφ βξνρφπησζεο (90%) ζπκβαίλεη απηνχο ηνπο κήλεο. Σα δεδνκέλα πνπ έρνπλ ζπιιερζεί ρσξίδνληαη ζε ηξεηο θαηεγνξίεο νη νπνίεο είλαη ε εθπαίδεπζε, ε επαιήζεπζε θαη ν έιεγρνο. Ο ιφγνο είλαη φηη ην Νεπξσληθφ Γίθηπν πξέπεη λα εμεηαζηεί γηα δεδνκέλα εηζφδνπ πνπ δελ ηνπ έρνπλ παξνπζηαζηεί πξνεγνπκέλσο θαη απηφ είλαη αλαγθαίν γηα λα δηαζθαιηζηεί ε γελίθεπζε. Σν Νεπξσληθφ Γίθηπν εθπαηδεχεηαη γηα 5000 επνρέο ηφζν γηα ηε κνξθή TLRNN φζν θαη γηα ηελ RBF. Σα επφκελα ζρήκαηα παξνπζηάδνπλ ηφζν ηελ πξαγκαηηθή φζν θαη ηελ πξνβιεπφκελε απνξξνή ησλ δπν Νεπξσληθψλ Γηθηχσλ θαζψο θαη ην ζθάικα πξφβιεςεο γηα 83

84 θάζε πεξίπησζε [21]. Απφ ηελ παξαηήξεζε ησλ ζρεκάησλ πξνθχπηεη ην ζπκπέξαζκα φηη ην ζθάικα ηνπ δηθηχνπ TLRNN είλαη κηθξφηεξν απφ απηφ ηνπ RBF. χήμα 34: Πραγματικι ζναντι προβλεπόμενθσ απορροισ μοντζλου TLRNN χήμα 35: Σφάλμα πρόβλεψθσ μοντζλου TLRNN χήμα 36: Πραγματικι ζναντι προβλεπόμενθσ απορροισ μοντζλου RBF 84

85 χήμα 37: Σφάλμα πρόβλεψθσ μοντζλου RBF Μεηά απφ ηελ εθπαίδεπζε ησλ Νεπξσληθψλ Γηθηχσλ θαη ηε κειέηε ηεο ζπκπεξηθνξάο θαη ηεο απφδνζήο ηνπο, παξαηίζεληαη νη παξάκεηξνη απφδνζεο γηα θάζε πεξίπησζε: Πίνακασ 5.3: Παράμετροι και απόδοςθ μοντζλων TLRNN και RBF Παξάκεηξνο (TLRNN) Απόδνζε Παξάκεηξνο (RBF) Απόδνζε MSE (κέζν ηεηξαγσληθφ ζθάικα) MSE (κέζν ηεηξαγσληθφ ζθάικα) NMSE (θαλνληθνπνηεκέλν κέζν NMSE (θαλνληθνπνηεκέλν κέζν ηεηξαγσληθφ ζθάικα) ηεηξαγσληθφ ζθάικα) Mn Abs Error (ειάρηζην απφιπην Mn Abs Error (ειάρηζην απφιπην ζθάικα) ζθάικα) Max Abs Error (κέγηζην απφιπην Max Abs Error (κέγηζην απφιπην ζθάικα) ζθάικα) r (ζπληειεζηήο ζπζρέηηζεο) r (ζπληειεζηήο ζπζρέηηζεο) Σσμπεράζμαηα ηε ζπλέρεηα αθνινπζεί κηα ζχγθξηζε ησλ δχν κειεηψκελσλ Νεπξσληθψλ Γηθηχσλ. Ξεθηλάκε κε ηα πιενλεθηήκαηα θαη ηα κεηνλεθηήκαηα ησλ Νεπξσληθψλ Γηθηχσλ αθηηληθψλ ζπλαξηήζεσλ βάζεο. Πην ζπγθεθξηκέλα ην θχξην πιενλέθηεκα ηνπ κνληέινπ RBF είλαη φηη βξίζθεη ηελ αληηζηνίρηζε απφ ηελ είζνδν ζηελ έμνδν ρξεζηκνπνηψληαο κφλν ηνπηθέο αθηηληθέο ζπλαξηήζεηο. Κάζε έλα απφ απηά ηα ηνπηθά ηκήκαηα ζηαζκίδεηαη γξακκηθά ζηελ έμνδν ηνπ δηθηχνπ. Γεδνκέλνπ φηη ηα δίθηπα απηά έρνπλ ιηγφηεξα βάξε, εθπαηδεχνληαη πάξα πνιχ γξήγνξα θαη απαηηνχλ ιηγφηεξα δείγκαηα εθπαίδεπζεο. Σν κεηνλέθηεκά ηνπο είλαη φηη απαηηνχλ πνιιέο αθηηληθέο ζπλαξηήζεηο βάζεο (RBF) γηα λα θαιχςνπλ έλα κεγάιν ρψξν δηαζηάζεσλ. Όζνλ αθνξά ηα δίθηπα TLRNN, ην θχξην πιενλέθηεκά ηνπο είλαη ην κηθξφηεξν κέγεζνο δηθηχνπ πνπ απαηηείηαη γηα ηελ εθκάζεζε ρξνληθψλ πξνβιεκάησλ ζπγθξηλφκελα κε ηα δίθηπα MLP πνπ ρξεζηκνπνηνχλ επηπιένλ εηζφδνπο γηα λα αλαπαξαζηήζνπλ ηα πξνεγνχκελα δείγκαηα 85

86 (πνπ είλαη ηζνδχλακα κε ηα Νεπξσληθά Γίθηπα θαζπζηέξεζεο ρξφλνπ). Έλα επηπξφζζεην πιενλέθηεκα ησλ δηθηχσλ TLRNN είλαη ε ρακειή επαηζζεζία ηνπο ζην ζφξπβν. Η αλαδξνκηθφηεηα ησλ δηθηχσλ TLRNN παξέρεη ην πιενλέθηεκα ελφο πξνζαξκνζηηθνχ βάζνπο κλήκεο, θάηη πνπ ζεκαίλεη φηη βξίζθνπλ ηελ θαιχηεξε δηάξθεηα γηα ηελ αλαπαξάζηαζε ηνπ παξειζφληνο ζήκαηνο εηζφδνπ. πκπεξαζκαηηθά ζα κπνξνχζε λα αλαθεξζεί φηη γηα ηελ αλάπηπμε ελφο ζπζηήκαηνο βξαρππξφζεζκεο πξφβιεςεο απνξξνήο βαζηδφκελνπ ζε Σερλεηά Νεπξσληθά Γίθηπα, ρξεζηκνπνηήζεθαλ δχν κνληέια: ην TLRNN (δπλακηθφ) θαη ην RBF (ζηαηηθφ). Διέγρζεθε ε απφδνζε θαζελφο εμ απηψλ θαη βξέζεθε φηη ην Νεπξσληθφ Γίθηπν TLRNN είλαη πεξηζζφηεξν επέιηθην θαη έρεη θαιχηεξε απφδνζε απφ ην RBF, φηαλ ε ζπλνιηθή απφδνζε αθνξά ηελ πξφβιεςε απνξξνήο ηξεηο ψξεο λσξίηεξα. Έηζη θαηαιήγνπκε ζην ζπκπέξαζκα φηη ην TLRNN δίθηπν είλαη έλα πνιχ ηζρπξφ εξγαιείν γηα βξαρππξφζεζκε πξφβιεςε απνξξνήο ζηνλ πνηακφ Wardha. Γεληθεχνληαο, ζα κπνξνχζακε λα αλαθέξνπκε φηη ζε εθαξκνγέο βξαρππξφζεζκεο πξφβιεςεο, φπσο π.ρ. θαηξνχ, βξνρνπηψζεσλ θ.ι.π., φπνπ απαηηείηαη ε ζπιινγή πνιιψλ δεδνκέλσλ, ηα δπλακηθά Νεπξσληθά Γίθηπα είλαη πξνηηκφηεξα, επεηδή κπνξνχλ λα απνζεθεχζνπλ ζηελ πξνζαξκνζηηθή κλήκε ηνπο πεξηζζφηεξα δεδνκέλα πνπ βνεζνχλ ζε επηηπρέζηεξεο πξνβιέςεηο. Δπίζεο θαη ην ζθάικα πξφβιεςεο ζηελ πεξίπησζε ησλ δπλακηθψλ ΣΝΓ είλαη κηθξφηεξν απφ ην αληίζηνηρν ησλ ζηαηηθψλ θαη απηφ απνηειεί κε ηε ζεηξά ηνπ έλα ζεκαληηθφ παξάγνληα επηηπρεκέλσλ πξνβιέςεσλ. 5.3 Σύγκπιζη ηεσνικών μονηελοποίηζηρ μη γπαμμικού και σπονικά μεηαβαλλόμενος ζςζηήμαηορ - εθαπμογή ζε σημικό ανηιδπαζηήπα Διζαγυγή Σα Νεπξσληθά Γίθηπα ρξεζηκνπνηνχληαη επξέσο γηα ηελ κνληεινπνίεζε ρξνληθά κεηαβαιιφκελσλ κε γξακκηθψλ ζπζηεκάησλ. Σν ζχζηεκα κπνξεί λα έρεη ακεηάβιεηεο ή ρξνληθά κεηαβαιιφκελεο παξακέηξνπο, ελψ ε δηαθχκαλζε θάπνησλ ζπζηεκάησλ κπνξεί λα είλαη απφ ζπζηήκαηα πνπ δηαζέηνπλ παξακέηξνπο πνπ κεηαβάιινληαη αξγά ζην ρξφλν έσο παξακέηξνπο πνπ κεηαβάιινληαη γξήγνξα ζην ρξφλν θαη ζπγθιίλνπλ αζπκπησηηθά πξνο ζηαζεξέο ηηκέο. Σα δίθηπα MLP ρξεζηκνπνηνχληαη γηα ηελ κνληεινπνίεζε ρξνληθά κεηαβαιιφκελσλ θαη κε γξακκηθψλ ζπζηεκάησλ. Η αξρηηεθηνληθή ελφο δηθηχνπ MLP εμαξηάηαη απφ δηάθνξεο παξακέηξνπο, φπσο ν αξηζκφο ησλ θξπκκέλσλ επηπέδσλ (hdden layers), ν αξηζκφο ησλ 86

87 λεπξψλσλ ζε θάζε θξπκκέλν επίπεδν, ε ζπλάξηεζε ελεξγνπνίεζεο θαη ν ξπζκφο κάζεζεο. Απηέο νη παξάκεηξνη παξνπζηάδνπλ κηα δπζθνιία αλαθνξηθά κε ηελ εχξεζε ηεο θαηάιιειεο αξρηηεθηνληθήο ελφο δηθηχνπ MLP. Σα ηειεπηαία ρξφληα ππάξρεη έλα έληνλν ελδηαθέξνλ γηα ηα RBF Νεπξσληθά Γίθηπα ηα νπνία εθαξκφδνληαη ζε δηάθνξνπο ηνκείο, φπσο ε κνληεινπνίεζε θαη ν έιεγρνο, ε αλαγλψξηζε πξνηχπσλ, ε νκαδνπνίεζε πξνηχπσλ, ε επίιπζε ζπζηεκάησλ εμηζψζεσλ θ.ι.π. Η γεληθφηεξε δνκή ηνπ κνληέινπ RBF θαζψο θαη ε δηαδηθαζία εθπαίδεπζήο ηνπ είλαη ιηγφηεξν πνιχπινθε απφ απηή ελφο δηθηχνπ MLP. Η απφδνζε ησλ ζπγθεθξηκέλσλ δηθηχσλ εμαξηάηαη απφ δηάθνξνπο παξάγνληεο φπσο: ε επηινγή ηεο θαηάιιειεο ζπλάξηεζεο ελεξγνπνίεζεο, ν αξηζκφο ησλ θξπκκέλσλ λεπξψλσλ θαη ηα ζπλαπηηθά βάξε Μονηελοποίηζη μη γπαμμικών ζςζηημάηυν με δίκηςα MLP Η κνληεινπνίεζε ελφο κε γξακκηθνχ ζπζηήκαηνο κπνξεί λα γίλεη κε δηάθνξα κνληέια θαη έλα εμ απηψλ είλαη ην κνληέιν NARMA (Nonlnear Auto-Regressve Movng Average) [22] πνπ πεξηγξάθεηαη απφ ηελ αθφινπζε εμίζσζε: y(k+1) = f(y(k),, y(k - N y +1), u(k),, u(k - N u +1)) (5.7) φπνπ f είλαη κηα κε γξακκηθή ζπλάξηεζε, u(k) θαη y(k) είλαη ηα δηαλχζκαηα εηζφδνπ θαη εμφδνπ αληίζηνηρα θαη N u θαη N y είλαη ε κέγηζηε θαζπζηέξεζε εηζφδνπ θαη εμφδνπ αληίζηνηρα. Ο ζθνπφο ηεο κνληεινπνίεζεο είλαη ε δεκηνπξγία ελφο δηθηχνπ MLP ηνπ νπνίνπ ε έμνδνο αθνινπζεί ηελ έμνδν ηνπ ζπζηήκαηνο, φηαλ δέρνληαη ηελ ίδηα είζνδν. Ωο γλσζηφλ, έλα δίθηπν Perceptron πνιιψλ επηπέδσλ απνηειείηαη απφ έλα επίπεδν εηζφδνπ, έλα επίπεδν εμφδνπ θαη έλα ή πεξηζζφηεξα θξπκκέλα επίπεδα. ην παξαθάησ ζρήκα 38, παξνπζηάδεηαη ε αξρηηεθηνληθή ηνπ MLP δηθηχνπ πνπ ρξεζηκνπνηείηαη γηα ηε κνληεινπνίεζε ελφο κε γξακκηθνχ ζπζηήκαηνο [22]. Πεξηέρεη έλα επίπεδν εηζφδνπ απνηεινχκελν απφ n 0 λεπξψλεο, L θξπκκέλα επίπεδα θαζέλα απφ ηα νπνία πεξηέρεη n λεπξψλεο θαη έλα επίπεδν εμφδνπ κε έλα λεπξψλα. Ωο ζπλάξηεζε ελεξγνπνίεζεο ρξεζηκνπνηείηαη ε ζηγκνεηδήο ζπλάξηεζε s. Η έμνδνο ηνπ κνληέινπ MLP δίλεηαη απφ ηελ εμίζσζε: yr(k+1) (5.8) φπνπ s είλαη ε ζηγκνεηδήο ζπλάξηεζε ελεξγνπνίεζεο, yr(k) είλαη ην δηάλπζκα εμφδνπ θαη w, ( L1) 1L (3) w qp, (2) w pj δίθηπν MLP κε ρξνλνθαζπζηέξεζε: (1) w j είλαη ηα ζπλαπηηθά βάξε ηνπ MLP. ην επφκελν ζρήκα θαίλεηαη έλα 87