ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΧΝ ΣΜΗΜΑ ΜΗΥΑΝΙΚΧΝ Η/Τ & ΠΛΗΡΟΦΟΡΙΚΗ ΔΡΓΑΣΗΡΙΟ ΑΝΑΓΝΧΡΙΗ ΠΡΟΣΤΠΧΝ

Transcript

1 ΠΑΝΔΠΙΣΗΜΙΟ ΠΑΣΡΧΝ ΣΜΗΜΑ ΜΗΥΑΝΙΚΧΝ Η/Τ & ΠΛΗΡΟΦΟΡΙΚΗ ΔΡΓΑΣΗΡΙΟ ΑΝΑΓΝΧΡΙΗ ΠΡΟΣΤΠΧΝ Υπήζη γενεηικού αλγόπιθμος για βεληιζηοποίηζη δομήρ, παπαμέηπων ηεσνηηών νεςπωνικών δικηύων και εθαπμογή ηηρ ςβπιδικήρ μεθόδος ζε πποβλήμαηα από ηον σώπο ηηρ οικονομίαρ ΓΙΠΛΧΜΑΣΙΚΗ ΔΡΓΑΙΑ ΘΧΜΑ ΑΜΟΡΓΗΑΝΗΧΣΖ ΑΜ:3621 Δπηβιέπσλ: Λπθνζαλάζεο ππξίδσλ πλεπηβιέπνληεο: Θενθηιάηνο Κσλζηαληίλνο, Γεσξγφπνπινο Δπζηξάηηνο, Καξαζαλαζφπνπινο Αλδξέαο Οθηψβξηνο 2011

2 ηνπο γνλείο κνπ, Υξηζηφθνξν θαη νθία

3 ΠΡΟΛΟΓΟ ε απηή ηελ δηπισκαηηθή εξγαζία επηρεηξείηαη ε δεκηνπξγία ελφο ζπλδπαζκνχ γελεηηθνχ αιγνξίζκνπ καδί κε ηερλεηά λεπξσληθά δίθηπα. Ζ κεζνδνινγία πνπ πξνέθπςε, εθαξκφζηεθε ζην πξφβιεκα ηεο πξφβιεςεο ηεο ηζνηηκίαο ΔUR/USD θαη ηνπ δείθηε ASE 20 ηνπ Διιεληθνχ ρξεκαηηζηεξίνπ. Ζ ηδέα ηνπ ζπλδπαζκνχ ησλ δπν απηψλ ηερληθψλ γηα ηελ αληηκεηψπηζε ησλ παξαπάλσ πξνβιεκάησλ πξνέθπςε απφ ηηο εγγελείο δπλαηφηεηεο ηνπο λα βξίζθνπλ ιχζε εθεί πνπ άιιεο παξαδνζηαθέο κέζνδνη απνηπγράλνπλ. Απφ ηελ κηα πιεπξά, ηα ηερλεηά λεπξσληθά δίθηπα κηκνχληαη ηηο ιεηηνπξγίεο ηνπ αλζξψπηλνπ εγθεθάινπ θαη απφ ηελ άιιε, νη γελεηηθνί αιγφξηζκνη κηκνχληαη ηελ δηαδηθαζία ηεο εμέιημεο ζηελ θχζε. Γειαδή, ζηελ νπζία θαη νη δπν ηερληθέο αληηγξάθνπλ κεξηθέο απφ ηηο ιεηηνπξγίεο ηεο θχζεο. Σα ηερλεηά λεπξσληθά δίθηπα κέζσ ηεο δηαδηθαζίαο ηεο εθπαίδεπζεο θαη ηεο γελίθεπζεο θαηαθέξλνπλ λα καζαίλνπλ έλα πξφβιεκα θαη λα κπνξνχλ λα δψζνπλ ιχζεηο ζε απηφ. Οη γελεηηθνί αιγφξηζκνη κέζσ ηνπ θχθινπ ηεο εμέιημεο θαηαθέξλνπλ λα μεπεξλνχλ ηα ηνπηθά ειάρηζηα ή κέγηζηα θαη λα θηάλνπλ ζηα νιηθά. Λφγσ ηεο ζπκπαγήο παξάιιειεο θαηαλεκεκέλεο δνκήο[1] θαη ηεο ηθαλφηεηάο ηνπο γηα κάζεζε ηα λεπξσληθά δίθηπα, θάλνπλ δπλαηή ηελ επίιπζε πνιχπινθσλ πξνβιεκάησλ, ηα νπνία ζπάλε ζε κηθξφηεξα έξγα, πνπ αλαιακβάλνπλ ηα λεπξσληθά δίθηπα αλάινγα κε ηηο δπλαηφηεηεο ηνπο. Σα λεπξσληθά δίθηπα έρνπλ ηα παξαθάησ πιενλεθηήκαηα : I. Με-γξακκηθφηεηα II. ρεδηαζκφο Δηζφδνπ-Δμφδνπ III. Πξνζαξκνζηηθφηεηα. IV. Απνδεηθηηθή Απφθξηζε. V. πλαθήο Πιεξνθνξία. VI. Αληνρή ζε ζθάικαηα. VII. Τινπνηεζηκφηεηα ζε VLSI. VIII. Οκνηνκνξθία Αλάιπζεο θαη ρεδηαζκνχ. IX. Αλαινγία κε Νεπξνβηνινγία Οη γελεηηθνί αιγφξηζκνη[11] ιεηηνπξγνχλ ζχκθσλα κε θάπνηεο βαζηθέο αξρέο. Απηέο είλαη η Αναπαπαγυγή, η Τςσαία Μεηάλλαξη, ο Ανηαγυνιζμόρ θαη η Επιλογή αηφκσλ ηνπ πιεζπζκνχ απνηεινχλ ζεκειηψδε ραξαθηεξηζηηθά ηεο Δμέιημεο. Σα πιενλεθηήκαηα ησλ γελεηηθψλ αιγνξίζκσλ είλαη ηα εμήο: I. Μπνξνχλ λα ιχζνπλ δχζθνια πξνβιήκαηα γξήγνξα θαη αμηφπηζηα. II. Μπνξνχλ εχθνια λα ζπλεξγαζηνχλ κε ηα ππάξρνληα κνληέια θαη ζπζηήκαηα. III. Δίλαη εχθνια επεθηάζηκνη θαη εμειίμηκνη. IV. Μπνξνχλ λα ζπκκεηέρνπλ ζε πβξηδηθέο κνξθέο κε άιιεο κεζφδνπο. V. Δθαξκφδνληαη ζε πνιχ πεξηζζφηεξα πεδία απφ θάζε άιιε κέζνδν. VI. Γελ απαηηνχλ πεξηνξηζκνχο ζηηο ζπλαξηήζεηο πνπ επεμεξγάδνληαη VII. Γελ ελδηαθέξεη ε ζεκαζία ηεο ππφ εμέηαζε πιεξνθνξίαο. VIII. Έρνπλ απφ ηε θχζε ηνπο ην ζηνηρείν ηνπ παξαιιειηζκνχ. IX. Δίλαη ε κφλε κέζνδνο, πνπ θάλεη ηαπηφρξνλα εμεξεχλεζε ηνπ ρψξνπ αλαδήηεζεο θαη εθκεηάιιεπζε ηεο ήδε επεμεξγαζκέλεο πιεξνθνξίαο. X. Δπηδέρνληαη παξάιιειε πινπνίεζε. Λφγσ ησλ παξαπάλσ πιενλεθηεκάησλ ησλ ηερλεηψλ λεπξσληθψλ δηθηχσλ θαη ησλ γελεηηθψλ αιγνξίζκσλ, δεκηνπξγήζακε έλα ζπλδπαζκφ γελεηηθνχ αιγφξηζκνπ θαη λεπξσληθψλ δηθηχσλ γηα ηελ πξφβιεςε ηεο ηζνηηκίαο EUR/USD θαη ηνπ δείθηε ASE 20 ηνπ Διιεληθνχ ρξεκαηηζηεξίνπ. Σα πεηξακαηηθά απνηειέζκαηα ηεο πξνηεηλφκελεο κεζνδνινγίαο ήηαλ εμαηξεηηθά ειπηδνθφξα θαη καο ελζαξξχλνπλ ζε πεξαηηέξσ βειηίσζε θαη εθαξκνγή ηεο. 1

4 2

5 Abstract In the present thesis we attempted to create a combination of genetic algorithms and neural networks. The proposed methodology was applied to the problem of predicting the exchange rate between EUR/USD and the Greek stock market ASE 20 index. The idea of combining these two techniques for the solving of the above mentioned problems emerged by their innate ability of finding solutions where traditional methods fail. On one hand, neural networks imitate the human brain procedures and on the other, genetic algorithms imitate the physical evolution process. In fact, both techniques copy some of nature s functions. Artificial neural networks, through educating and generalizing manage to learn a problem and provide solutions to it. Genetic algorithms, through the evolution circle can overcome local minima or maxima and reach global ones. Due to their compact, parallel and distributed format [1] and their ability of learning, neural networks make the solving of complicated problems possible, by dividing them in smaller projects, which are taken over by the neural networks according to their capabilities. Neural networks have the following advantages: I. They are non-linear. II. Input-output planning. III. Adaptation. IV. Response by proof. V. Relevant information. VI. Endurance in errors. VII. They can be applied in VLSI. VIII. Analysis and planning uniformity. IX. Analogy with neurobiology. Genetic algorithms [11] operate according to some basic principles. Reproduction, Random Mutation, Competition, and Choise of units from a population are foundational characteristics of evolution. The advantages of genetic algorithms are the following: They can solve difficult problems fast and reliably. They can easily cooperate with existing models and systems. They are easily expanded and evolved. They can co-exist in hybrid forms with other methods. They are applied in significantly more fields than any other method. They don t require limits in the functions they compute. The meaning of the tested information is not important. They have by nature the element of parallelism. It is the only method that can explore the search field and exploit the already used information simultaneously. They can be implemented on parallel. Due to the aforementioned advantages of neural networks and genetic algorithms we created a combination of them to predict the exchange rate between EUR/USD and the Greek stock market ASE 20 index. The experimental results were extremely promising and encouraged us to further improve the proposed methodology and apply it in modelling, predicting and trading of other financial indexes. 3

6 4

7 ΔΤΥΑΡΙΣΙΔ ην ζεκείν απηφ, ζα ήζεια λα εθθξάζσ ηηο επραξηζηίεο κνπ ζε φινπο φζνπο κε βνήζεζαλ ζηελ εθπφλεζε απηήο ηεο δηπισκαηηθήο εξγαζίαο. πγθεθξηκέλα επραξηζηψ ηνλ θαζεγεηή θ. Λπθνζαλάζε πχξν, σο επηβιέπσλ ηνπ έξγνπ απηνχ θαη θαζψο ε εξεπλά θαη ε πινπνίεζε ηεο εξγαζίαο απηήο έγηλε ζηα πιαίζηα ηνπ καζήκαηφο ηνπ Τπνινγηζηηθή Ννεκνζχλε. Ηδηαίηεξα επραξηζηψ ζεξκά ηνπο ζπλεπηβιέπνληεο θ. Θενθηιάην Κσλζηαληίλν, θ. Γεσξγφπνπιν Δπζηξάηην θαη ηνλ θ. Καξαζαλαζφπνπιν Αλδξέα γηα ηελ νπζηαζηηθή θαζνδήγεζή ηνπο, ηηο πνιχηηκεο ζπκβνπιέο θαη ππνδείμεηο ηνπο θαηά ηε δηάξθεηα ηεο δηεμαγσγήο ηεο έξεπλαο, ηεο πεηξακαηηθήο εθαξκνγήο θαη ηεο ζπγγξαθήο ηεο δηπισκαηηθήο. Δπίζεο επραξηζηψ πνιχ ηελ εθπαηδεπηηθφ θαη αδεξθή κνπ, Ακνξγηαληψηε Δηξήλε, γηα ηε θηινινγηθή δηφξζσζε θαη επηκέιεηα ηνπ έξγνπ. Σέινο επραξηζηψ πνιχ ηνπο γνλείο κνπ γηα ηελ εζηθή ζπκπαξάζηαζε θαη ζηήξημε κνπ έδεημαλ απφ ηα πξψηα καζεηηθά κνπ ρξφληα θαη εχρνκαη λα ηνπο δηθαηψζσ. Θσκάο Υ. Ακνξγηαληψηεο Πάηξα

8 6

9 Πεπιεσόμενα 1. ΔΙΑΓΧΓΗ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ ΔΗΑΓΧΓΖ ΣΟ ΜΟΝΣΔΛΟ ΣΟΤ ΣΔΥΝΖΣΟΤ ΝΔΤΡΧΝΑ ΣΤΠΟΗ ΤΝΑΡΣΖΔΧΝ ΔΝΔΡΓΟΠΟΗΖΖ ΘΔΧΡΧΝΣΑ ΣΑ Ν.Γ. ΑΝ ΚΑΣΔΤΘΤΝΟΜΔΝΟΤ ΓΡΑΦΟΤ ΑΡΥΗΣΔΚΣΟΝΗΚΔ ΣΧΝ ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ ΜΑΘΖΖ-ΔΚΠΑΗΓΔΤΖ Ο ΑΛΓΟΡΗΘΜΟ ΠΗΧ ΓΗΑΓΟΖ (Π.Γ.) ΣΟΤ ΛΑΘΟΤ ΑΛΓΟΡΗΘΜΟ LEVENBERG MARQUARDT ΔΞΔΛΙΚΣΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ ΔΗΑΓΧΓΖ ΒΑΗΚΔ ΑΡΥΔ ΣΧΝ ΔΞΔΛΗΚΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ ΜΟΡΦΔ ΣΧΝ ΔΞΔΛΗΚΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ ΓΔΝΔΣΗΚΟΗ ΑΛΓΟΡΗΘΜΟΗ ΠΔΡΗΓΡΑΦΖ ΣΟΤ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ ΥΔΓΗΑΓΡΑΜΜΑ ΣΟΤ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ ΠΑΡΑΓΔΗΓΜΑ ΔΦΑΡΜΟΓΖ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ ΤΝΓΤΑΜΟ ΔΞΔΛΙΚΣΙΚΧΝ ΑΛΓΟΡΙΘΜΧΝ ΚΑΙ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ ΔΗΑΓΧΓΖ ΔΞΔΛΗΞΖ ΣΧΝ ΤΝΓΔΣΗΚΧΝ ΒΑΡΧΝ ΤΒΡΗΓΗΚΖ ΔΚΠΑΗΓΔΤΖ ΔΞΔΛΗΞΖ ΣΖ ΑΡΥΗΣΔΚΣΟΝΗΚΖ ΣΟ ΥΖΜΑ ΑΜΔΖ ΚΧΓΗΚΟΠΟΗΖΖ (DIRECT ENCODING SCHEME) ΣΟ ΥΖΜΑ ΔΜΜΔΖ ΚΧΓΗΚΟΠΟΗΖΖ (INDIRECT ENCODING SCHEME) ΠΑΡΑΜΔΣΡΗΚΖ ΑΝΑΠΑΡΑΣΑΖ ΑΝΑΠΑΡΑΣΑΖ ΚΑΗ ΔΞΔΛΗΞΖ ΑΡΥΗΣΔΚΣΟΝΗΚΖ ΜΔ ΣΟΤ ΚΑΝΟΝΔ ΑΝΑΠΣΤΞΖ ΑΛΛΔ ΑΝΑΠΑΡΑΣΑΔΗ ΑΡΥΗΣΔΚΣΟΝΗΚΖ ΔΞΔΛΗΞΖ ΣΖ ΤΝΑΡΣΖΖ ΜΔΣΑΦΟΡΑ ΣΑΤΣΟΥΡΟΝΖ ΔΞΔΛΗΞΖ ΑΡΥΗΣΔΚΣΟΝΗΚΖ ΚΑΗ ΤΝΑΠΣΗΚΧΝ ΒΑΡΧΝ ΔΞΔΛΗΞΖ ΣΧΝ ΚΑΝΟΝΧΝ ΜΑΘΖΖ Ζ ΔΞΔΛΗΞΖ ΣΧΝ ΠΑΡΑΜΔΣΡΧΝ ΣΧΝ ΑΛΓΟΡΗΘΜΧΝ ΔΚΠΑΗΓΔΤΖ Ζ ΔΞΔΛΗΞΖ ΣΧΝ ΚΑΝΟΝΧΝ ΔΚΠΑΗΓΔΤΖ ΑΛΛΟΤ ΔΗΓΟΤ ΤΝΓΤΑΜΟΗ ΑΝΑΜΔΑ Δ ΝΔΤΡΧΝΗΚΑ ΓΗΚΣΤΑ ΚΑΗ ΔΞΔΛΗΚΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ ΔΞΔΛΗΞΖ ΣΧΝ ΔΗΟΓΧΝ ΝΔΤΡΧΝΗΚΑ ΓΗΚΣΤΑ ΑΝ ΤΝΑΡΣΖΔΗ ΑΠΟΓΟΖ ΤΝΓΤΑΜΟ ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ ΚΑΗ ΓΔΝΔΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ ΓΗΑ ΣΖΝ ΠΡΟΒΛΔΦΖ ΣΟΤ ΓΔΗΚΣΖ ASE 20 ΣΟΤ ΔΛΛΖΝΗΚΟΤ ΥΡΖΜΑΣΗΣΖΡΗΟΤ ΔΞΔΛΗΞΖ ΤΝΟΛΧΝ (ENSEMBLES) ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ 48 7

10 4.8. ΤΝΓΤΑΜΟ ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ ΚΑΗ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ Δ ΑΤΣΟΤΥΔΣΗΣΗΚΑ ΓΗΚΣΤΑ ΑΛΛΑ ΖΜΔΗΑ ΤΝΔΡΓΑΗΑ ΔΞΔΛΗΚΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ ΚΑΗ ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ ΤΜΠΔΡΑΜΑΣΑ ΥΔΓΙΑΜΟ ΓΔΝΔΣΙΚΟΤ ΑΛΓΟΡΙΘΜΟΤ ΓΙΑ ΣΗΝ ΠΡΟΒΛΔΦΗ ΣΟΤ ΓΔΙΚΣΗ ASE 20 ΣΟΤ ΥΡΗΜΑΣΙΣΗΡΙΟΤ ΔΗΑΓΧΓΖ ΤΝΟΠΣΗΚΖ ΠΔΡΗΓΡΑΦΖ ΣΟΤ ΑΛΓΟΡΗΘΜΟΤ ΥΔΓΗΑΣΗΚΔ ΛΔΠΣΟΜΔΡΔΗΔ ΣΟΤ ΑΛΓΟΡΗΘΜΟΤ ΑΡΥΗΚΟΠΟΗΖΖ FITNESS ΔΠΗΛΟΓΖ ΓΗΑΣΑΤΡΧΖ ΜΔΣΑΛΛΑΞΖ ΣΔΡΜΑΣΗΜΟ 59 6.ΠΔΙΡΑΜΑΣΑ ΔΗΑΓΧΓΖ ΑΝΑΛΤΖ ΓΔΓΟΜΔΝΧΝ ΓΗΑ ΣΖΝ ΗΟΣΗΜΗΑ EUR/USD ΠΡΟΖΓΟΤΜΔΝΔ ΔΦΑΡΜΟΓΔ ΣΖΝ ΠΡΟΒΛΔΦΖ ΣΖ ΗΟΣΗΜΗΑ EUR/USD ΑΝΑΛΤΖ ΓΔΓΟΜΔΝΧΝ ΓΗΑ ΣΟΝ ΓΔΗΚΣΖ FTSE/ASE ΠΑΡΑΓΔΗΓΜΑ ΔΚΚΑΘΑΡΗΖ ΣΟΤ.Μ.Δ. ΣΟ ΓΔΗΚΣΖ FTSE/ASE ΠΡΟΖΓΟΤΜΔΝΔ ΔΦΑΡΜΟΓΔ ΣΖΝ ΠΡΟΒΛΔΦΖ ΣΟΤ ΓΔΗΚΣΖ FTSE/ASE ΑΠΟΣΔΛΔΜΑΣΑ ΠΔΗΡΑΜΑΣΧΝ ΣΖΝ ΠΡΟΒΛΔΦΖ ΣΖ ΗΟΣΗΜΗΑ EUR/USD ΑΠΟΣΔΛΔΜΑΣΑ ΠΔΗΡΑΜΑΣΧΝ ΣΖΝ ΠΡΟΒΛΔΦΖ ΣΟΤ ΓΔΗΚΣΖ FTSE/ASE ΤΜΠΔΡΑΜΑ-MΔΛΛΟΝΣΙΚΗ ΔΡΓΑΙΑ ΠΑΡΑΡΣΗΜΑ 89 Α. ΤΛΟΠΟΙΗΗ ΑΛΓΟΡΙΘΜΟΤ Δ MATLAB 89 Α.1. ΔΗΑΓΧΓΖ 89 Α.2. ΤΝΟΠΣΗΚΖ ΠΔΡΗΓΡΑΦΖ ΤΛΟΠΟΗΖΖ ΣΟΤ ΑΛΓΟΡΗΘΜΟΤ 89 Α.3. ΥΔΓΗΑΣΗΚΔ ΛΔΠΣΟΜΔΡΔΗΔ ΤΛΟΠΟΗΖΖ ΣΟΤ ΑΛΓΟΡΗΘΜΟΤ 89 Α.4. GENE_A.M 89 Α.5. READ_DATA.M 90 Α.6. CREATE_POPULATION.M 91 Α.7. FITNESS.M 91 Α.8. SELECTION_CROSSOVER.M 92 Β. ΚΧΓΙΚΑ 95 Γ. ΒΙΒΛΙΟΓΡΑΦΙΑ 115 8

11 9

12 ΠΙΝΑΚΑ ΥΗΜΑΣΧΝ 1. EIΑΓΧΓΗ ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ 15 σήμα 2.1: Σν κε-γξακκηθφ κνληέιν ελφο ηερλεηνχ λεπξψλα. 16 σήμα 2.2: Δγγελήο κεηαζρεκαηηζκφο πνπ παξάγεηαη απφ ηελ παξνπζία θαησθιίνπ. 17 σήμα 2.3: Γχν άιια κε-γξακκηθά κνληέια ελφο λεπξψλα. 17 σήμα 2.4: (α) πλάξηεζε θαησθιίνπ, (b) Σκεκαηηθά γξακκηθή ζπλάξηεζε, (c)ηγκνεηδήο ζπλάξηεζε. 19 σήμα 2.5: Αξρηηεθηνληθφο γξάθνο ελφο λεπξψλα. 20 σήμα 2.6: Δκπξφο-Σξνθνδφηεζεο δίθηπν κε έλα επίπεδν λεπξψλσλ, πιήξσο ζπλδεδεκέλν δίθηπν εκπξφοηξνθνδφηεζεο κε έλα θξπθφ επίπεδν θαη έλα επίπεδνπ εμφδνπ. 21 σήμα 2.7: Αλαδξνκηθφ δίθηπν ρσξίο αλαηξνθνδφηεζε θαη ρσξίο θξπθνχο λεπξψλεο, δηζδηάζηαην πιέγκα κε 3x3 λεπξψλεο. 21 σήμα 2.8: Αξρηηεθηνληθφ δηάγξακκα ελφο ηξηψλ επηπέδσλ feedforward δηθηχνπ θαη έλα ζπλεξγαδφκελν δίθηπν κε ηα ζήκαηα πίζσ-δηάδνζεο ιάζνπο ΔΞΔΛΙΚΣΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ 27 σήμα 3.1: Θέζε ησλ Δμειηθηηθψλ Αιγνξίζκσλ ζην ρψξν ηεο Τπνινγηζηηθήο Ννεκνζχλεο θαη ζρέζε ηνπο κε Δμειηθηηθφ Πξνγξακκαηηζκφ, ηηο Δμειηθηηθέο ηξαηεγηθέο, ηνπο Γελεηηθνχο Αιγνξίζκνπο θαη ην Γελεηηθφ Πξνγξακκαηηζκφ. 27 σήμα 3.2: Γνκή ελφο εληαίνπ Δμειηθηηθνχ Αιγνξίζκνπ Πιεζπζκψλ. 28 σήμα 3.3: Γηαζηαχξσζε Δλφο ζεκείνπ ΤΝΓΤΑΜΟ ΔΞΔΛΙΚΣΙΚΧΝ ΑΛΓΟΡΙΘΜΧΝ ΚΑΙ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ 35 σήμα 4.1: Ζ επηινγή ηνπ w1 ζαλ αξρηθφ βάξνο νδεγεί ζε ηνπηθφ ειάρηζην w2 ελψ ε επηινγή αξρηθνχ βάξνπο w4 νδεγεί ζην ζπλνιηθφ ειάρηζην w3.[6] 35 σήμα 4.2:Τβξηδηθή εθπαίδεπζε. Ζ αξρηθή αλαδήηεζε απφ γελεηηθφ αιγφξηζκν εληνπίδεη «ππνζρφκελα ζεκεία» (a,b) θαη ζηε ζπλέρεηα γίλεηαη ε αλαδήηεζε ηνπηθνχ βέιηηζηνπ(1,2) απφ ηνλ Backpropagation.[6] 37 σήμα 4.3: Κχθινο εμέιημεο αξρηηεθηνληθήο ελφο back propagation Νεπξσληθνχ Γηθηχνπ.[6] 37 σήμα 4.4: Γηαθνξνπνηήζεηο εμέιημεο ηεο αξρηηεθηνληθήο ελφο Νεπξσληθνχ Γηθηχνπ ζε ζρέζε κε ηνλ ηξφπν θσδηθνπνίεζεο ηνπ. 39 σήμα 4.5:Άκεζε θσδηθνπνίεζε ελφο feed forward ANN. Αξρηηεθηνληθή, πίλαθαο ζχλδεζεο θαη δπαδηθή αλαπαξάζηαζε. Παξαηεξνχκε πσο κφλν ζην πάλσ κηζφ ππάξρνπλ 1.[6] 40 σήμα 4.6:Άκεζε θσδηθνπνίεζε ελφο αλαδξνκηθνχ (recurrent) ANN. Αξρηηεθηνληθή, πίλαθαο ζχλδεζεο θαη δπαδηθή αλαπαξάζηαζε αληίζηνηρα.[12] 40 σήμα 4.7: Αλαπαξάζηαζε Νεπξσληθνχ Γηθηχνπ κε ηε κέζνδν ηεο παξακεηξηθήο αλαπαξάζηαζεο.[6] 41 σήμα 4.8: Παξνπζίαζε παξαγσγήο ελφο Νεπξσληθνχ Γηθηχνπ απφ δεμηφ θαλφλα παξαγσγήο. 42 σήμα 4.9: Ζ βαζηθή δνκή ηνπ EPNet. 44 σήμα 4.10 : Γηάγξακκα Γ.Ν. αιγνξίζκνπ γηα ηελ εθηίκεζε ησλ αγλψζησλ εηζφδσλ ΥΔΓΙΑΜΟ ΓΔΝΔΣΙΚΟΤ ΑΛΓΟΡΙΘΜΟΤ ΓΙΑ ΣΗΝ ΠΡΟΒΛΔΦΗ ΣΟΤ ΓΔΙΚΣΗ ASE 20 ΣΟΤ ΥΡΗΜΑΣΙΣΗΡΙΟΤ 53 σήμα 5.1 :Ρνπιέηα σο δηαδηθαζία επηινγήο. 57 σήμα 5.2: δηάγξακκα ξνήο αιγνξίζκνπ ΠΔΙΡΑΜΑΣΑ 61 σήμα 6.1:Ηζνηηκία EUR/USD απφ 17/1/2002 σο ηελ 30/12/2010 [55] 62 σήμα 6.2: Ο δείθηεο ASE 20 απφ ην 1/1/2001 σο ην 31/5/2010[61]. 65 σήμα 6.3: Ο δείθηεο ASE 20 γηα ην ζχλνιν δνθηκήο απφ 12/8/2008 σο 31/5/2010[61]. 65 σήμα 6.4 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ησλ ρξσκνζσκάησλ θαηά ηελ δηάξθεηα ηεο εμέιημεο ηνπ εμειηθηηθνχ αιγνξίζκνπ. 74 σήμα 6.5 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ηνπ θαιχηεξνπ ρξσκνζψκαηνο θαηά ηελ δηάξθεηα ηεο εμέιημεο ηνπ εμειηθηηθνχ αιγνξίζκνπ. 74 σήμα 6.6 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ησλ ρξσκνζσκάησλ θαηά ηελ δηάξθεηα ηεο εμέιημεο. 77 σήμα 6.7 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ηνπ θαιχηεξνπ ρξσκνζψκαηνο θαηά ηελ δηάξθεηα ηεο εμέιημεο. 77 σήμα 6.8 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ησλ ρξσκνζσκάησλ θαηά ηελ δηάξθεηα ηεο εμέιημεο. 81 σήμα 6.9 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ηνπ θαιχηεξνπ ρξσκνζψκαηνο θαηά ηελ δηάξθεηα ηεο εμέιημεο

13 σήμα 6.10 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ησλ ρξσκνζσκάησλ θαηά ηελ δηάξθεηα ηεο εμέιημεο. 84 σήμα 6.11 :Γξαθηθή παξάζηαζε πνπ απεηθνλίδεη ηνλ κέζν φξν ηεο απφδνζεο ηνπ θαιχηεξνπ ρξσκνζψκαηνο θαηά ηελ δηάξθεηα ηεο εμέιημεο

14 ΠΙΝΑΚΑ ΠΙΝΑΚΧΝ Πίνακαρ 6.1: Δίζνδνη λεπξσληθψλ δηθηχσλ[55]. 62 Πίνακαρ 6.2: Δίζνδνη λεπξσληθψλ δηθηχσλ[61]. 66 Πινάκαρ 6.3: Μέζεο ηηκέο απνηειεζκάησλ γηα ην πξψην ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 72 Πινάκαρ 6.4: Σα θαιχηεξα απνηειέζκαηα γηα ην πξψην ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 73 Πινάκαρ 6.5: Μέζεο ηηκέο απνηειεζκάησλ γηα ην δεχηεξν ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 75 Πινάκαρ 6.6:Σα θαιχηεξα απνηειέζκαηα γηα ην πξψην ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 76 Πινάκαρ 6.7: Μέζεο ηηκέο απνηειεζκάησλ γηα ην ηξίην ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 78 Πινάκαρ 6.8: Μέζεο ηηκέο απνηειεζκάησλ γηα ην ηέηαξηφ ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 79 Πινάκαρ 6.9: Σα θαιχηεξα απνηειέζκαηα γηα ην ηέηαξην ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ. 80 Πινάκαρ 6.10: Μέζεο ηηκέο απνηειεζκάησλ γηα ην θαιχηεξν ζχλνιν παξακέηξσλ ηνπ αιγνξίζκνπ (ASE-20). 82 Πινάκαρ 6.11: To θαιχηεξν απνηέιεζκα γηα ην θαιχηεξν παξακέηξσλ ηνπ αιγνξίζκνπ(ase-20)

15 1.ΔΙΑΓΧΓΗ Σα λεπξσληθά δίθηπα θαη νη γελεηηθνί αιγφξηζκνη ρξεζηκνπνηνχληαη επξέσο ζε κηα πνηθηιία πξνβιεκάησλ θαη ζε πνιιά δηαθνξεηηθά πεδία. Ζ αλάπηπμε ησλ καδηθά παξαιιήισλ ππνινγηζηψλ θαη ε αχμεζε ηεο ππνινγηζηηθήο ηζρχο κε ηα ρξφληα έρεη θάλεη θαη ηηο 2 ηερληθέο ειθπζηηθέο γηα εθαξκνγή ζε δηάθνξα πξνβιήκαηα. Σα λεπξσληθά δίθηπα έρνπλ ρξεζηκνπνηεζεί ζε εθαξκνγέο ζηελ αεξνπνξία, ζηελ απηνθίλεζε, ζε ηξαπεδηθέο εθαξκνγέο, ζηελ άκπλα θηι. Οη γελεηηθνί αιγφξηζκνη έρνπλ εθαξκνζηεί ζε πξνβιήκαηα ηεο επηζηήκεο ησλ ππνινγηζηψλ, ηεο επηζηήκεο ηεο βηνινγίαο, ζε πξνβιήκαηα κε κεηαβαιιφκελεο ζπλζήθεο θαη ζηελ επηζηήκε ηεο ηερλεηήο λνεκνζχλεο. Σα ηερλεηά λεπξσληθά δίθηπα[1], γηα λα ρξεζηκνπνηεζνχλ, πξέπεη πξψηα λα εθπαηδεπηνχλ γηα λα κάζνπλ. Καηά ηελ δηαδηθαζία ηεο κάζεζεο νη ζπληειεζηέο βάξνπο ησλ λεπξσληθψλ δηθηχσλ απνθηνχλ θαηάιιειεο ηηκέο, ψζηε ην ηερλεηφ λεπξσληθφ δίθηπν λα εθηειεί ηνπο θαηάιιεινπο ππνινγηζκνχο θαη λα ιχλεη ην εθάζηνηε πξφβιεκα. Ζ εθπαίδεπζε ελφο λεπξσληθνχ δηθηχνπ γίλεηαη κε ηε βνήζεηα θαλφλσλ κάζεζεο ή αιγφξηζκσλ εθπαίδεπζεο. ηελ νπζία νη ζπληειεζηέο βάξνπο απνζεθεχνπλ γλψζε, ηελ νπνία παξέρνπκε κέζσ παξαδεηγκάησλ. Με απηφ ηνλ ηξφπν ηα λεπξσληθά δίθηπα καζαίλνπλ ην πεξηβάιινλ ηνπο, δειαδή ην θπζηθφ κνληέιν, πνπ παξέρεη ηα δεδνκέλα. Ο γελεηηθφο αιγφξηζκνο απνηειείηαη απφ θάπνηα βήκαηα[11]. Σα βήκαηα απηά είλαη ηα εμήο: 1.Αξρηθνπνίεζε (Initialization) 2. Απνθσδηθνπνίεζε (Decoding) 3. Τπνινγηζκφο ηθαλφηεηαο ή αμηνιφγεζε (Fitness calculation ή evaluation) 4. Αλαπαξαγσγή (Reproduction) I. Δπηινγή (Selection) II. Γηαζηαχξσζε (Crossover ή mating) III. Μεηάιιαμε (Mutation) 5. Δπαλάιεςε απφ ην βήκα (2) κέρξη λα ηθαλνπνηεζεί ην θξηηήξην ηεξκαηηζκνχ ηνπ ΓA Όπσο θαίλεηαη, ην ζρεδηάγξακκα ηνπ ΓΑ είλαη πνιχ γεληθφ. Τπάξρνπλ πνιιά ζεκεία, πνπ δηαθνξνπνηνχληαη αλάινγα κε ην πξφβιεκα πνπ επηιχεηαη. Καηά ηελ αλαπαξαγσγή εθαξκφδνληαη ηξείο Σελεζηέρ (Operators): ε Δπιλογή, ε Γιαζηαύπωζη(Crossover) θαη ε Μεηάλλαξη (Mutation), νη νπνίνη εθαξκφδνληαη κε δηάθνξεο κνξθέο θαη κεζφδνπο. Σα πην ζεκαληηθά κέξε ελφο γελεηηθνχ αιγνξίζκνπ είλαη ε επηινγή, ε δηαζηαχξσζε θαη ε κεηάιιαμε. Σα πνιπεπίπεδα λεπξσληθά δίθηπα έρνπλ εθαξκνζηεί ζην παξειζφλ κε κεγάιε επηηπρία ζην πξφβιεκα ηεο πξφβιεςεο ρξνλνζεηξψλ απφ ην ρψξν ηεο νηθνλνκίαο. ηελ πξάμε φκσο παξνπζηάδνπλ δηάθνξα πξνβιήκαηα φπσο : ηελ εχξεζε ηνπ βέιηηζηνπ ππνζπλφινπ ραξαθηεξηζηηθψλ θαη ρξεζηκνπνίεζε ηνπο, ζαλ εηζφδνπο. ηελ εχξεζε ηεο βέιηηζηεο δνκήο ηνπ λεπξσληθνχ δηθηχνπ (επίπεδα θξπθψλ λεπξψλσλ,αξηζκφο θξπθψλ λεπξψλ). ηελ εχξεζε ησλ βέιηηζησλ ηηκψλ ησλ παξακέηξσλ ηνπ αιγνξίζκνπ εθπαίδεπζεο ησλ ηερλεηψλ λεπξσληθψλ δηθηχσλ (παξάκεηξνο κάζεζεο, παξάκεηξνο νξκήο θιπ.) θνπφο ηεο δηπισκαηηθήο εξγαζίαο είλαη ε δεκηνπξγία κηαο πβξηδηθήο κεζφδνπ γελεηηθψλ αιγνξίζκσλ θαη λεπξσληθψλ δηθηχσλ. Ο γελεηηθφο αιγφξηζκνο ζα είλαη ππεχζπλνο ζηελ εχξεζε ηνπ βέιηηζηνπ ζπλδπαζκνχ ησλ παξαπάλσ πξνο αλαδήηεζε παξακέηξσλ ηνπ λεπξσληθνχ δηθηχνπ. Ζ κεζνδνινγία εμεηδηθεχζεθε κέζσ ηεο ρξήζεο ηεο θαηάιιειεο ζπλάξηεζεο αμηνιφγεζεο ζηελ εμαγσγή επελδπηηθψλ ζηξαηεγηθψλ κέζα απφ ηελ πξφβιεςε βξαρππξφζεζκε πξφβιεςε ηεο εμέιημεο νηθνλνκηθψλ ρξεκαηηζηεξηαθψλ δεηθηψλ. Ζ πβξηδηθή κέζνδνο, πνπ αλαπηχρζεθε, εθαξκφζηεθε ζην πξφβιεκα ηεο πξφβιεςεο ηνπ δείθηε ASE-20 ηνπ Διιεληθνχ ρξεκαηηζηήξηνπ 13

16 θαζψο θαη ζην πξφβιεκα ηεο πξφβιεςεο ηεο ηζνηηκίαο δνιαξίνπ επξψ δίλνληαο εμαηξεηηθά ειπηδνθφξα απνηειέζκαηα. Σν θείκελν ρσξίδεηαη ζε 8 ελφηεηεο. ηελ ππώηη ενόηηηα δίλεηαη κηα εηζαγσγή γηα ηελ δνκή ηεο παξνχζαο Γηπισκαηηθήο. ηελ δεύηεπη ενόηηηα δίλεηαη κηα εηζαγσγή ζηηο βαζηθέο έλλνηεο ησλ ηερλεηψλ λεπξσληθψλ δηθηχσλ. Γίλεηαη ε παξνπζίαζε ηνπ κνληέινπ ηνπ ηερλεηνχ λεπξψλα. ηελ ζπλέρεηα παξνπζηάδνληαη νη ηχπνη ζπλαξηήζεσλ ησλ ηερλεηψλ λεπξσληθψλ δηθηχσλ. Μεηά παξνπζηάδνληαη νη δηάθνξεο θαηεγφξηεο λεπξσληθψλ δηθηχσλ ζε ζρέζε κε ηελ αξρηηεθηνληθή ηνπο θαη ηελ ιεηηνπξγία, πνπ εθηεινχλ. Αθφκε παξνπζηάδνληαη δχν αιγφξηζκνη κάζεζεο ν αιγφξηζκνο πίζσ δηάδνζεο ηνπ ιάζνπο θαη ν αιγφξηζκνο Levenberg Marquardt. ηελ ηπίηη ενόηηηα γίλεηαη κηα εηζαγσγή ζηηο βαζηθέο έλλνηεο ησλ εμειηθηηθψλ αιγνξίζκσλ. Αξρηθά πξαγκαηνπνηείηαη κηα αλαθνξά ζηηο βαζηθέο αξρέο ησλ Δμειηθηηθψλ αιγφξηζκσλ. ηελ ζπλέρεηα παξνπζηάδνληαη νη κνξθέο ησλ εμειηθηηθψλ αιγφξηζκσλ. Μεηά δίλεηαη κηα εηζαγσγή ζηνπο γελεηηθνχο αιγφξηζκνπο, νη νπνίνη απνηεινχλ ππνθαηεγνξία ησλ εμειηθηηθψλ αιγφξηζκσλ. Ύζηεξα γίλεηαη ε πεξηγξαθή ηνπ γελεηηθνχ αιγφξηζκνπ, παξνπζηάδεηαη ην γεληθφ ζρεδηάγξακκα ηνπ θαη παξαηίζεηαη έλα παξάδεηγκα γηα πεξεηαίξσ θαηαλφεζε ησλ γελεηηθψλ αιγφξηζκσλ. ηελ ηέηαπηη ενόηηηα γίλεηαη κηα βηβιηνγξαθηθή αλαθνξά ζηνπο ζπλδπαζκνχο γελεηηθψλ αιγφξηζκσλ θαη λεπξσληθψλ δηθηχσλ. Αξρηθά επηρεηξείηαη κηα εηζαγσγή ζηελ κέζνδν ζπλδπαζκφ ησλ δχν απηψλ ηερληθψλ. ηελ ζπλέρεηα πεξηγξάθεηαη ε εμέιημε ησλ ζπλδεηηθψλ βαξψλ ηνπ λεπξσληθνχ δηθηχνπ κέζσ ησλ εμειηθηηθψλ αιγφξηζκσλ. Μεηά παξνπζηάδεηαη ε εμέιημε ηεο αξρηηεθηνληθήο ησλ λεπξσληθψλ δηθηχσλ. Τζηέξα θαηαγξάθεηαη ε ηαπηφρξνλε εμέιημε ησλ ζπλδεηηθψλ βαξψλ θαη ηεο αξρηηεθηνληθήο ησλ λεπξσληθψλ δηθηχσλ. ηελ επφκελε ππνελφηεηα παξνπζηάδνληαη άιινπ είδνπο ζπλδπαζκνί κεηαμχ λεπξσληθψλ δηθηχσλ θαη εμειηθηηθψλ αιγφξηζκσλ. Αθφκε πξνζηίζεηαη κηα εθαξκνγή ζπλδπαζκνχ λεπξσληθψλ δηθηχσλ θαη γελεηηθνχ αιγνξίζκνπ ζε απηνζπζρεηηζηίθα δίθηπα. Σέινο γίλεηαη κία αλαθνξά ζε άιια ζεκεία ζπλεξγαζίαο εμειηθηηθψλ αιγφξηζκσλ θαη λεπξσληθψλ δηθηχσλ θαη παξαηίζεληαη ηα ζπκπεξάζκαηα. ηελ πέμπηη ενόηηηα επηρεηξείηαη ε θαηαζθεπή ηεο πβξηδηθήο κεζφδνπ γελεηηθνχ αιγφξηζκνπ θαη λεπξσληθνχ δηθηχνπ γηα ηελ πξφβιεςε ηνπ δείθηε ASE-20 ηνπ Διιεληθνχ ρξεκαηηζηήξηνπ θαη ηεο πξφβιεςεο ηεο ηζνηηκίαο δνιαξίνπ επξψ. Αξρηθά γίλεηαη κηα ζπλνπηηθή πεξηγξαθή ηνπ γελεηηθνχ αιγφξηζκνπ θαη ζηε ζπλέρεηα αλαιχνληαη νη ζρεδηαζηηθέο ιεπηνκέξεηεο ηνπ αιγφξηζκνπ. ηελ έκηη ενόηηηα παξνπζηάδνληαη ηα πεηξάκαηα ηνπ γελεηηθνχ αιγφξηζκνπ πνπ αλαπηχμακε. Αξρηθά θαηαγξάθεηαη κηα αλάιπζε ησλ δεδνκέλσλ γηα ηελ ηζνηηκία δνιαξίνπ επξψ πάλσ ζηα νπνία έγηλαλ ηα πεηξάκαηα καο. Μεηά γίλεηαη κηα παξνπζίαζε κηαο βηβιηνγξαθηθήο αλαδήηεζεο ησλ πξνεγνπκέλσλ εθαξκνγψλ ζηελ πξφβιεςε ηεο ηζνηηκίαο δνιαξίνπ-επξψ. Ύζηεξα αλαιχνληαη ηα δεδνκέλα γηα ηνλ δείθηε ASE-20, κε ηα νπνία εθηειέζακε ηα πεηξάκαηα καο, θαη παξαηίζεηαη έλα παξάδεηγκα εθθαζάξηζεο ηνπ.μ.δ. ζην δείθηε FTSE/ASE-20. ηελ ζπλέρεηα παξνπζηάδεηαη κηα βηβιηνγξαθηθή αλαδήηεζε ζε πξνεγνχκελεο εξγαζίεο ζηελ πξφβιεςε ηνπ δείθηε ASE-20 ηνπ Διιεληθνχ ρξεκαηηζηήξηνπ. Σέινο δίλνληαη ηα απνηειέζκαηα ησλ πεηξακάησλ ηεο πβξηδηθήο κεζφδνπ γελεηηθνχ αιγφξηζκνπ θαη λεπξσληθνχ δηθηχνπ γηα ηελ πξφβιεςε ηνπ δείθηε ASE-20 ηνπ Διιεληθνχ ρξεκαηηζηήξηνπ θαη ηεο πξφβιεςεο ηεο ηζνηηκίαο δνιαξίνπ επξψ. ηελ έβδομη ενόηηηα ζπιιέγνληαη ηα ζπκπεξάζκαηα ηεο δηπισκαηηθήο εξγαζίαο θαζψο θαη νη κειινληηθέο επεθηάζεηο. Ύζηεξα ζηελ όγδοη ενόηηηα γίλεηαη κηα επεμήγεζε ηνπ θψδηθά ηεο πινπνίεζεο ηνπ γελεηηθνχ αιγφξηζκνπ, πνπ αλαπηχμακε θαη παξαηίζεηαη θαη ν θψδηθαο ηεο πινπνίεζεο. ην ηέινο ηεο ελφηεηαο απηήο παξνπζηάδεηαη ε βηβιηνγξαθία πάλσ ζηελ νπνία ζηεξηρηήθακε γηα ηελ εθπιήξσζε ηηο δηπισκαηηθήο εξγαζίαο. 14

17 2. ΝΔΤΡΧΝΙΚΑ ΓΙΚΣΤΑ 2.1. ΔΗΑΓΧΓΖ Καηά ηελ δηάξθεηα ησλ ηξηψλ ηειεπηαίσλ δεθαεηηψλ ππάξρεη έλα απμαλφκελν ελδηαθέξνλ ζε αιγφξηζκνπο, νη νπνίνη βαζίδνληαη ζε αλαινγίεο κε ηηο θπζηθέο δηαδηθαζίεο[1]. Ζ εκθάληζε ησλ καδηθά παξαιιήισλ ειεθηξνληθψλ ππνινγηζηψλ έθαλε απηνχο ηνπο αιγφξηζκνπο λα απνθηήζνπλ πξαθηηθφ ελδηαθέξνλ. ηνπο πην γλσζηνχο αιγνξίζκνπο απηήο ηεο θαηεγνξίαο πεξηιακβάλνληαη ηα Νεπξσληθά δίθηπα, νη γελεηηθνί αιγφξηζκνη, ν εμειηθηηθφο πξνγξακκαηηζκφο, νη εμειηθηηθέο ζηξαηεγηθέο, νη κέζνδνη ηνπηθήο αλαδήηεζεο θαη ηα ζπζηήκαηα ηαμηλφκεζεο. Οη παξαπάλσ αιγφξηζκνη, αλ θαη έγηλαλ γλσζηνί σο ηερλνινγίεο, πνπ ρξεζηκνπνηνχληαη ζηελ Σερλεηή λνεκνζχλε(artificial Intelligence) θαη πην ζπγθεθξηκέλα ζηελ Μεραληθή κάζεζε (Machine Learnig), πξφζθαηα αλαθέξνληαη ζηελ δηεζλή βηβιηνγξαθία σο αιγφξηζκνη Τπνινγηζηηθήο λνεκνζχλεο (Computational Inteligence). Tα ηερλεηά Νεπξσληθά δίθηπα (ΣΝΓ) ή απιά Νεπξσληθά δίθηπα απνηεινχλ κηα πξνζπάζεηα πξνζέγγηζεο ηεο ιεηηνπξγίαο ηνπ αλζξψπηλνπ εγθεθάινπ απφ κηα κεραλή. Έρνπλ ηελ ηθαλφηεηα λα εθηεινχλ ππνινγηζκνχο κε καδηθφ παξάιιειν ηξφπν. Ζ αξρηηεθηνληθή ηνπο βαζίδεηαη ζηελ αξρηηεθηνληθή ησλ βηνινγηθψλ Νεπξσληθψλ δηθηχσλ. Σα ΣΝΓ είλαη κηα ζπιινγή απφ λεπξψλεο (Processing Units-PUs) πνπ ζπλδένληαη κεηαμχ ηνπο. Κάζε PU έρεη πνιιέο εηζφδνπο αιιά κφλν κηα έμνδν, ε νπνία κε ηελ ζεηξά ηεο κπνξεί λα απνηειέζεη είζνδν γηα άιιεο PUs. Οη ζπλδέζεηο κεηαμχ ησλ PUs δηαθέξνπλ σο πξνο ηελ ζεκαληηθφηεηα ηνπο, ε νπνία θαη πξνζδηνξίδεηαη απφ ηνλ ζπληειεζηή βάξνπο (ζχλαςε ). Ζ επεμεξγαζία θάζε PU θαζνξίδεηαη απφ ηελ ζπλάξηεζε κεηαθνξάο, ε νπνία θαζνξίδεη ηελ θάζε έμνδν ζε ζρέζε κε ηηο εηζφδνπο θαη ηνπο ζπληειεζηέο βάξνπο. Γηα λα ρξεζηκνπνηεζεί έλα ΣΝΓ πξέπεη πξψηα λα εθπαηδεπηεί γηα λα κάζεη. Ζ κάζεζε ζπλίζηαηαη ζηνλ πξνζδηνξηζκφ ησλ θαηάιιεισλ ζπληειεζηψλ βάξνπο, ψζηε ην ΣΝΓ λα εθηειεί ηνπο επηζπκεηνχο ππνινγηζκνχο θαη πξαγκαηνπνηείηαη κε ηε βνήζεηα αιγνξίζκσλ πνπ είλαη γλσζηνί σο θαλφλεο κάζεζεο ή αιγφξηζκνη εθπαίδεπζεο. Ο ξφινο ησλ ζπληειεζηψλ βάξνπο κπνξεί λα εξκελεπηεί σο απνζήθεπζε γλψζεο, ε νπνία παξέρεηαη κέζσ παξαδεηγκάησλ. Με απηφ ηνλ ηξφπν ηα λεπξσληθά δίθηπα καζαίλνπλ ην πεξηβάιινλ ηνπο,δειαδή ην θπζηθφ κνληέιν πνπ παξέρεη ηα δεδνκέλα. Γλσζηά ΣΝΓ είλαη ηα ΣΝΓ ρσξίο αλαηξνθνδφηεζε π.ρ. ηα εκπξφο ηξνθνδφηεζεο Ν.Γ. πνιιψλ επηπέδσλ (feedforward multilayer Neural Networks ), κε αλαηξνθνδφηεζε π.ρ. ην κνληέιν Hopfield,ηα Cellular neural networks, θ.α ΣΟ ΜΟΝΣΔΛΟ ΣΟΤ ΣΔΥΝΖΣΟΤ ΝΔΤΡΧΝΑ Έλαο λεπξψλαο είλαη κηα κνλάδα επεμεξγαζίαο πιεξνθνξίαο, πνπ είλαη ζεκειηαθή γηα ηελ ιεηηνπξγία ελφο λεπξσληθνχ δηθηχνπ[2,3]. Σν ζρήκα 2.1 δείρλεη ην κνληέιν ελφο λεπξψλα. Σα ηξία βαζηθά ζηνηρεία απηνχ ηνπ κνληέινπ είλαη : 1. Έλα ζχλνιν απφ ζςνάτειρ ή ζςνδεηικούρ κπίκοςρ, θάζε κηα απφ ηηο νπνίεο ραξαθηεξίδεηαη απφ έλα βάξνο ή δχλακε. πγθεθξηκέλα, έλα ζήκα x j ζηελ είζνδν ηεο ζχλαςεο j πνπ ζπλδέεηαη ζηνλ λεπξψλα k, πνιιαπιαζηάδεηαη κε ην ζπλαπηηθφ βάξνο w kj. Σν βάξνο w kj είλαη ζεηηθφ, αλ ε ζχλαςε είλαη δηεγεξηηθή (δειαδή σζεί ηνλ λεπξψλα λα απνθξηζεί ζηε δηέγεξζε) θαη αξλεηηθφ, αλ ε ζχλαςε είλαη απαγνξεπηηθή (δειαδή απνηξέπεη ηελ λεπξψλα λα παξάγεη κηα απφθξηζε). 15

18 2. Έλαλ αθποιζηή γηα ηελ πξφζζεζε ησλ ζεκάησλ εηζφδνπ, πνπ παίξλνπλ βάξνο απφ ηελ αληίζηνηρε ζχλαςε. Απηέο νη ιεηηνπξγίεο απνηεινχλ ην γξακκηθφ ζπλδπαζηή. 3. Μηα ζπλάξηεζε ελεξγνπνίεζεο γηα ηε κείσζε ηνπ εχξνπο ηεο εμφδνπ ηνπ λεπξψλα. σήμα 2.1: Σν κε-γξακκηθφ κνληέιν ελφο ηερλεηνχ λεπξψλα. Σν κνληέιν επίζεο πεξηιακβάλεη έλα εμσηεξηθά εθαξκνδφκελν καηώθλι θ κ, πνπ έρεη επίδξαζε ζηελ ειάηησζε ηεο εηζφδνπ ζηελ εθαξκνδφκελε ζπλάξηεζε ελεξγνπνίεζεο, πνπ αθνινπζεί. ηελ βηβιηνγξαθία, ην θαηψθιη αλαθέξεηαη θαη ζαλ πφισζε (bias). Με καζεκαηηθνχο φξνπο, έλαο λεπξψλαο k πεξηγξάθεηαη απφ ηηο παξαθάησ εμηζψζεηο: u k p w x kjj j 1 ky θ(u k ζ) θ )1( )2( φπνπ x j είλαη ηα ζήκαηα εηζφδνπ θαη ηα w kj είλαη ηα synaptic βάξε ηνπ k. Σν u k είλαη ε γξακκηθή ζπλδπαζηηθή έμνδνο ηνπ λεπξψλα, ζ k είλαη ην θαηψθιη, θ(.) είλαη ε ζπλάξηεζε ελεξγνπνίεζεο θαη y k είλαη ην ζήκα εμφδνπ ηνπ λεπξψλα, πνπ αλαθέξεηαη θαη ζαλ πξαγκαηηθή έμνδνο. Ζ ρξήζε ηνπ θαησθιίνπ ζθ έρεη ζαλ απνηέιεζκα ηελ εθαξκνγή ελφο εγγελνχο (affine) κεηαζρεκαηηζκνχ ηεο εμφδνπ u θ ηνπ γξακκηθνχ ζπλδπαζηή ηνπ ρήκαηνο 2.1, φπσο θαίλεηαη απφ ηελ παξαθάησ ζρέζε U k k u ζ k )3( Ζ έμνδνο u θ, αλάινγα κε ην ζ θ αλ είλαη ζεηηθφ ή αξλεηηθφ κεηαβάιιεηαη, φπσο θαίλεηαη ζην ρήκα

19 σήμα 2.2: Δγγελήο κεηαζρεκαηηζκφο πνπ παξάγεηαη απφ ηελ παξνπζία θαησθιίνπ. Σν θαηψθιη ζ k είλαη εμσηεξηθή παξάκεηξνο ηνπ λεπξψλα k. Έηζη κπνξνχκε λα δηακνξθψζνπκε ην ζπλδπαζκφ ησλ εμηζψζεσλ (1), (2) σο εμήο: θαη p π k w kj x j (4) j 0 y k θ(π k ) (5) ηελ εμίζσζε (4) έρνπκε πξνζζέζεη κηα λέα ζχλαςε, ηεο νπνίαο ε είζνδνο είλαη : x 0 =-1 (6) θαη ηεο νπνίαο ην βάξνο είλαη: w k0 =ζ θ (7) Έηζη κπνξνχκε λα αλαδηακνξθψζνπκε ην κνληέιν ηνπ λεπξψλα k σο εμήο : σήμα 2.3: Γχν άιια κε-γξακκηθά κνληέια ελφο λεπξψλα. 17

20 2.3. ΣΤΠΟΗ ΤΝΑΡΣΖΔΧΝ ΔΝΔΡΓΟΠΟΗΖΖ Ζ ζπλάξηεζε ελεξγνπνίεζεο θ(.), νξίδεη ηελ έμνδν ελφο λεπξψλα ζπλαξηήζεη ηνπ επηπέδνπ ελεξγνπνίεζεο ηεο εηζφδνπ[2,3]. Έρνπκε 3 βαζηθνχο ηχπνπο ζπλαξηήζεσλ ελεξγνπνίεζεο. 1. πλάξηεζε Καησθιηνχ. Γηα απηφλ ηνλ ηχπν ζπλάξηεζεο ελεξγνπνίεζεο, πνπ πεξηγξάθεηαη ζην ζρήκα 4a, έρνπκε:,1 0 ( ) { (8),0 0 Δπνκέλσο, ε έμνδνο ελφο λεπξψλα k, πνπ έρεη ηελ παξαπάλσ ζπλάξηεζε ελεξγνπνίεζεο, έρεη ηε κνξθή:,1π θ 0 y k { (9) 0,π 0 θ φπνπ π k είλαη ην εζσηεξηθφ επίπεδν ελεξγνπνίεζεο ηνπ λεπξψλα θαη δίλεηαη απφ ηε ζρέζε: p π k wkjx j ζ θ (10) j 0 2. Σκεκαηηθά Γξακκηθή πλάξηεζε. Γηα ηελ ηκεκαηηθά γξακκηθή ζπλάξηεζε, πνπ πεξηγξάθεηαη ζην ζρήκα 4b, έρνπκε: 1, π1/2 ( π){ π,1/2 π-1/2(11) 0, π1/2 Απηή ε κνξθή ζπλάξηεζεο ελεξγνπνίεζεο κπνξεί λα ζεσξεζεί ζαλ κηα πξνζέγγηζε ελφο κε-γξακκηθνχ εληζρπηή. 3. ηγκνεηδήο. Δίλαη ε πην ζπλεζηζκέλε κνξθή ζπλάξηεζεο ελεξγνπνίεζεο, πνπ ρξεζηκνπνηείηαη ζηελ θαηαζθεπή ηερλεηψλ λεπξσληθψλ δηθηχσλ. Οξίδεηαη ζαλ απζηεξά αχμνπζα ζπλάξηεζε, ε νπνία παξνπζηάδεη εμνκάιπλζε θαη αζπκπησηηθέο ηδηφηεηεο. Έλα παξάδεηγκα είλαη ε ινγηζηηθή ζπλάξηεζε, πνπ νξίδεηαη απφ ηε ζρέζε: 1 () 1exp( απ) (12) Μεηαβάιινληαο ηελ παξάκεηξν α παίξλνπκε δηαθνξεηηθέο ζπλαξηήζεηο, φπσο θαίλεηαη ζην ζρήκα 4c. Οη πξνεγνχκελεο ζπλαξηήζεηο ελεξγνπνίεζεο θπκαίλνληαη απφ 0 σο +1. Αλ ζέινπκε ζπλάξηεζε, πνπ λα θπκαίλεηαη απφ -1 σο +1, επαλαπξνζδηνξίδνπκε ηελ ζπλάξηεζε θαησθιηνχ σο: 18

21 1, π 0 (π) { 0,π 0 (13) 0, π 0 πνπ νλνκάδεηαη ζπλάξηεζε πξνζήκνπ (signum) θαη ζπκβνιίδεηαη ζαλ sgn(.). σήμα 2.4: (α) πλάξηεζε θαησθιίνπ, (b) Σκεκαηηθά γξακκηθή ζπλάξηεζε, (c)ηγκνεηδήο ζπλάξηεζε ΘΔΧΡΧΝΣΑ ΣΑ Ν.Γ. ΑΝ ΚΑΣΔΤΘΤΝΟΜΔΝΟΤ ΓΡΑΦΟΤ Μπνξνχκε ηψξα λα αλαθέξνπκε ηνπο παξαθάησ καζεκαηηθνχο νξηζκνχο ελφο λεπξσληθνχ δηθηχνπ[2,3]: Έλα λεπξσληθφ δίθηπν είλαη έλαο θαηεπζπλφκελνο γξάθνο, πνπ απνηειείηαη απφ θφκβνπο κε ζπλαπηηθέο δηαζπλδέζεηο θαη ζπλδέζεηο ελεξγνπνίεζεο θαη ραξαθηεξίδνληαη απφ ηηο αθφινπζεο ηδηφηεηεο : Κάζε λεπξψλαο, παξηζηάλεηαη απφ έλα ζχλνιν γξακκηθψλ ζπλαπηηθψλ ζπλδέζεσλ, έλα εμσηεξηθά εθαξκνδφκελν θαηψθιη θαη κηα κε-γξακκηθή ζχλδεζε ελεξγνπνίεζεο. Σν θαηψθιη παξηζηάλεηαη απφ ζπλαπηηθέο ζπλδέζεηο κε ζήκα εηζφδνπ ζηαζεξήο ηηκήο -1. Οη ζπλαπηηθέο ζπλδέζεηο ελφο λεπξψλα δπγίδνπλ ηα αληίζηνηρα ζήκαηα εηζφδνπ. Σν άζξνηζκα ησλ βαξψλ ησλ ζεκάησλ εηζφδνπ θαζνξίδεη ην ζπλνιηθφ εζσηεξηθφ επίπεδν ελεξγνπνίεζεο ηνπ λεπξψλα, πνπ δεηείηαη. Ζ ζχλδεζε ελεξγνπνίεζεο ζπλζιίβεη (πεξηνξίδεη) ην εζσηεξηθφ επίπεδν ελεξγνπνίεζεο, γηα ηελ παξαγσγή ηεο εμφδνπ πνπ παξηζηάλεη ηελ θαηάζηαζε ηνπ λεπξψλα. Τπάξρνπλ φκσο θαη κεξηθψο νινθιεξσκέλνη θαηεπζπλφκελνη γξάθνη, πνπ είλαη γλσζηνί ζαλ αξρηηεθηνληθνί γξάθνη. Έλαο ηέηνηνο γξάθνο παξηζηάλεηαη ζην παξαθάησ ζρήκα

22 σήμα 2.5: Αξρηηεθηνληθφο γξάθνο ελφο λεπξψλα. Πξέπεη λα ζεκεησζεί φηη, ηφζν ζηνπο θαηεπζπλφκελνπο φζν θαη ηνπο αξρηηεθηνληθνχο γξάθνπο, νη θφκβνη, πνπ παξηζηάλνληαη κε ηεηξάγσλν, δελ πξαγκαηνπνηνχλ θακία ιεηηνπξγία. Υξεζηκνπνηνχληαη απιψο γηα ην πέξαζκα ησλ εηζφδσλ ζην δίθηπν ΑΡΥΗΣΔΚΣΟΝΗΚΔ ΣΧΝ ΝΔΤΡΧΝΗΚΧΝ ΓΗΚΣΤΧΝ Ο ηξφπνο κε ηνλ νπνίν νη λεπξψλεο ελφο λεπξσληθνχ δηθηχνπ δνκνχληαη, είλαη ζηελά ζπλδεδεκέλνο κε ηνλ αιγφξηζκν εθκάζεζεο, πνπ ρξεζηκνπνηείηαη γηα ηελ εθπαίδεπζε ηνπ δηθηχνπ[2,3]. αλ εκπξφο ηξνθνδφηεζεο, αλαθέξνληαη ηα δίθηπα ζηα νπνία ηα ζήκαηα θαηεπζχλνληαη απφ ηελ είζνδν ζηελ έμνδν. Όηαλ νη έμνδνη θάπνησλ λεπξψλσλ, γίλνληαη είζνδνη ζε λεπξψλεο πξνεγνχκελσλ επηπέδσλ (πξνο ην κέξνο ηεο εηζφδνπ ηνπ δηθηχνπ), ηφηε έρνπκε αλάδξαζε. Μπνξνχκε λα δηαθξίλνπκε 4 δηαθνξεηηθέο θιάζεηο αξρηηεθηνληθψλ δνκψλ: Δλφο-επηπέδνπ Δκπξφο-Σξνθνδφηεζεο Γίθηπα. ε έλα ηέηνην δίθηπν, νη λεπξψλεο είλαη νξγαλσκέλνη ζε κνξθή επηπέδσλ. Οη λεπξψλεο ηνπ πεγαίνπ επηπέδνπ δείρλνπλ ζηνπο λεπξψλεο ηνπ επφκελνπ επηπέδνπ αιιά φρη αληίζηξνθα.(ζρήκα 1.6). Πνιιαπιψλ-Δπηπέδσλ Δκπξφο-Σξνθνδφηεζεο Γίθηπα. Δδψ έρνπκε πεξηζζφηεξα ηνπ ελφο θξπθά επίπεδα, ησλ νπνίσλ νη θφκβνη ππνινγηζκνχ νλνκάδνληαη θξπθνί λεπξψλεο. Σππηθά, νη λεπξψλεο ζε θάζε επίπεδν έρνπλ ζαλ εηζφδνπο ηα ζήκαηα εμφδνπ ηνπ πξνεγνχκελνπ κφλν επηπέδνπ. (ζρήκα 1.6). Αλαδξνκηθά Γίθηπα. Ζ δηαθνξά κε ηα Γίθηπα Δπαλαηξνθνδφηεζεο είλαη φηη έρεη έλα ηνπιάρηζηνλ βξφρν αλάδξαζεο. (ζρήκα 2.7). Γηθηπσηέο Γνκέο. Έλα πιέγκα, απνηειείηαη απφ έλαλ πίλαθα κηαο, δχν ή κεγαιχηεξεο δηάζηαζεο απφ λεπξψλεο, κε έλα αληίζηνηρν ζχλνιν απφ πεγαίνπο θφκβνπο, πνπ παξέρνπλ ηα ζήκαηα εηζφδνπ ζηνλ πίλαθα. (ζρήκα 2.7). 20

23 σήμα 2.6: Δκπξφο-Σξνθνδφηεζεο δίθηπν κε έλα επίπεδν λεπξψλσλ, πιήξσο ζπλδεδεκέλν δίθηπν εκπξφοηξνθνδφηεζεο κε έλα θξπθφ επίπεδν θαη έλα επίπεδνπ εμφδνπ. σήμα 2.7: Αλαδξνκηθφ δίθηπν ρσξίο αλαηξνθνδφηεζε θαη ρσξίο θξπθνχο λεπξψλεο, δηζδηάζηαην πιέγκα κε 3x3 λεπξψλεο ΜΑΘΖΖ-ΔΚΠΑΗΓΔΤΖ Όπσο αλαθέξακε θαη πην πάλσ, ηα Ν.Γ. εθπαηδεχνληαη κε ηε βνήζεηα παξαδεηγκάησλ, έηζη ψζηε λα καζαίλνπλ ην πεξηβάιινλ ηνπο[2,3]. Έλα παξάδεηγκα πεξηιακβάλεη ηελ είζνδν θαη ηελ επηζπκεηή έμνδν ζε απηή. Σν ζχλνιν ησλ παξαδεηγκάησλ απνηειεί ην εθπαηδεπηηθφ ζχλνιν. Γηα ηελ εθπαίδεπζε ρξεζηκνπνηνχληαη θαλφλεο, νη νπνίνη βαζίδνληαη ζηελ ειαρηζηνπνίεζε ηνπ ιάζνπο ζηελ έμνδν ηνπ δηθηχνπ. Αθνινπζεί ε γελίθεπζε, δειαδή ηα Ν.Γ. καζαίλνπλ παξαδείγκαηα γηα ηα νπνία δελ έρνπλ εθπαηδεπηεί. Όπσο ππάξρνπλ πνιιέο θαηεγνξίεο Ν.Γ., αλάινγα κε ηελ αξρηηεθηνληθή ηνπο θαη ηνλ ηξφπν εθπαίδεπζήο ηνπο, έηζη ππάξρεη κεγάιε πνηθηιία αιγνξίζκσλ εθπαίδεπζεο, αλάινγα κε ηνλ θαλφλα κάζεζεο θαη ηνλ αιγφξηζκν ειαρηζηνπνίεζεο πνπ ρξεζηκνπνηείηαη. Θα αζρνιεζνχκε κε δίθηπα πνιιψλ επηπέδσλ, πνπ είλαη γλσζηά θαη ζαλ Perceptrons πνιιψλ επηπέδσλ. Απηά ηα δίθηπα εθπαηδεχνληαη κε ηνλ αιγφξηζκν Πίζσ Γηάδνζεο ηνπ ιάζνπο θαη είλαη θαηάιιεια γηα ηελ ηαμηλφκεζε πξνηχπσλ, πνπ δελ είλαη γξακκηθά δηαρσξηδφκελα. Απηφο είλαη ν ιφγνο, πνπ απηή ε θαηεγνξία Σ.Ν.Γ., έρεη ρξεζηκνπνηεζεί γηα ηελ επίιπζε κηαο κεγάιεο πνηθηιίαο πξαθηηθψλ πξνβιεκάησλ Ο ΑΛΓΟΡΗΘΜΟ ΠΗΧ ΓΗΑΓΟΖ (Π.Γ.) ΣΟΤ ΛΑΘΟΤ ε απηή ηελ ελφηεηα ζα κειεηήζνπκε κία ζπνπδαία θιάζε λεπξσληθψλ δηθηχσλ, ηα δίθηπα εκπξφο ηξνθνδφηεζεο πνιιψλ επηπέδσλ[2,3]. Σππηθά έλα ηέηνην δίθηπν απνηειείηαη απφ έλα 21

24 ζχλνιν αηζζεηήξσλ (πεγαίνη θφκβνη), πνπ απνηεινχλ ην επίπεδν εηζφδνπ, έλα ή πεξηζζφηεξα θξπθά επίπεδα (hidden layers) ππνινγηζηηθψλ θφκβσλ θαη έλα επίπεδν ππνινγηζηηθψλ θφκβσλ εμφδνπ. Σν ζήκα εηζφδνπ δηαδίδεηαη κέζα ζην δίθηπν ζε κία πξνο ηα εκπξφο θαηεχζπλζε, απφ επίπεδν ζε επίπεδν. Απηά ηα λεπξσληθά δίθηπα αλαθέξνληαη ζαλ Perceptrons πνιιψλ επηπέδσλ (Μulti Layer Perceptrons- MLPs), ηα νπνία είλαη κηα γελίθεπζε ηνπ απινχ Perceptron. Σα MLPs έρνπλ εθαξκνζηεί κε επηηπρία ζηελ επίιπζε δχζθνισλ θαη πνηθίισλ πξνβιεκάησλ, εθπαηδεχνληαο ηα κε έλαλ επηβιεπφκελν ηξφπν (supervised manner), κε έλα πνιχ δεκνθηιή αιγφξηζκν γλσζηφ ζαλ αιγφξηζκν πίζσ δηάδνζεο ηνπ ιάζνπο (error Back Propagation algorithm - BP). Απηφο ν αιγφξηζκνο βαζίδεηαη ζηνλ θαλφλα κάζεζεο δηφξζσζεο ηνπ ιάζνπο (error correction learning rule). Ζ αξρηηεθηνληθή γηα ηελ πίζσ-δηάδνζεο κάζεζε παξνπζηάδεηαη ζην ζρήκα 10, πνπ ελζσκαηψλεη ηηο πξνο ηα εκπξφο θαη πξνο ηα πίζσ θάζεηο ησλ ππνινγηζκψλ, πνπ πεξηιακβάλνληαη ζηε δηαδηθαζία κάζεζεο. Σν πνιχ-επίπεδν δίθηπν, πνπ δείρλνπκε ζην πάλσ κέξνο ηνπ ζρήκαηνο, δείρλεη ηελ πξνο ηα εκπξφο θάζε. σήμα 2.8: Αξρηηεθηνληθφ δηάγξακκα ελφο ηξηψλ επηπέδσλ feedforward δηθηχνπ θαη έλα ζπλεξγαδφκελν δίθηπν κε ηα ζήκαηα πίζσ-δηάδνζεο ιάζνπο. Ζ ζεκεηνγξαθία, πνπ ρξεζηκνπνηήζεθε ζ' απηφ ην θνκκάηη ηνπ ζρήκαηνο, παξαθάησ: είλαη ε w (l) = δηάλπζκα ζπλαπηηθψλ βαξψλ (synaptic weight vector) απφ ηo λεπξψλα ζην επίπεδν l. ζ (l) = θαηψθιη ελφο λεπξψλα ζην επίπεδν l. λ (l) = δηάλπζκα ησλ εζσηεξηθψλ επηπέδσλ δξαζηεξηφηεηαο ηνπ δηθηχνπ (net internal activity levels) ησλ λεπξψλσλ ζην επίπεδν l. y (l) = δηάλπζκα απφ ζήκαηα ιεηηνπξγίαο ησλ λεπξψλσλ ζην επίπεδν l. 22

25 Ο δείθηεο επηπέδνπ l εθηείλεηαη απφ ην επίπεδν εηζφδνπ (l = 0) κέρξη ην επίπεδν εμφδνπ (l = L). ην ζρήκα 10 έρνπκε ην L = 3, ην L είλαη ην βάζνο ηνπ δηθηχνπ. Σν θαηψηεξν θνκκάηη ηνπ ζρήκαηνο δείρλεη ηε πίζσ θάζε, πνπ αλαθέξεηαη σο έλα δίθηπν επαηζζεζίαο (sensitivity ) γηα ππνινγηζκφ ησλ ηνπηθψλ θιίζεσλ ζηνλ αιγφξηζκν πίζσ-δηάδνζεο. Ζ ζεκεηνγξαθία, πνπ ρξεζηκνπνηήζεθε ζ' απηφ ην δεχηεξν θνκκάηη ηνπ ζρήκαηνο, είλαη ε παξαθάησ: δ (l) = δηάλπζκα ησλ ηνπηθψλ θιίζεσλ ησλ λεπξψλσλ ζην επίπεδν l. e = δηάλπζκα ιάζνπο (error vector) πνπ ζπκβνιίδεηαη απφ ηα e1,e2,...,eq ζαλ ζηνηρεία. Έρνπκε αλαθέξεη φηη ε pattern by pattern κέζνδνο ελεκέξσζεο ησλ βαξψλ πξνηηκάηαη γηα on-line πινπνίεζε ηνπ αιγνξίζκνπ πίζσ-δηάδνζεο. Γηα απηφλ ηνλ ηξφπν ιεηηνπξγίαο, ν αιγφξηζκνο θάλεη θχθινπο δηακέζνπ ησλ δεδνκέλσλ εθπαίδεπζεο {[x(n),d(n)]; n = 1, 2,...,N}, φπσο παξαθάησ: 1. Αξρηθνπνίεζε. Ξεθίλα κε κία ινγηθή δηακφξθσζε ηνπ δηθηχνπ, θαη ζέζε ζ φια ηα ζπλαπηηθά βάξε θαη ηα επίπεδα θαησθιίνπ ηνπ δηθηχνπ κηθξνχο ηπραίνπο αξηζκνχο, πνπ είλαη νκνηφκνξθα θαηαλεκεκέλνη. 2. Παξνπζίαζε Παξαδεηγκάησλ Δθπαίδεπζεο. Παξνπζίαζε ζην δίθηπν έλα θχθιν απφ παξαδείγκαηα εθπαίδεπζεο. Γηα θάζε παξάδεηγκα ηαμηλνκεκέλν κε θάπνην ηξφπν κέζα ζην ζχλνιν, εθηέιεζε ηελ παξαθάησ ζεηξά απφ κπξνο θαη πίζσ ππνινγηζκνχο ηνπ 3 θαη 4 αληίζηνηρα. 3. Δκπξφο Τπνινγηζκφο. Έζησ, φηη έλα παξάδεηγκα εθπαίδεπζεο ηνπ θχθινπ δειψλεηαη απφ ην [ x(n),d(n) ], κε ην δηάλπζκα εηζφδνπ x(n) λα εθαξκφδεηαη ζην επίπεδν εηζφδνπ ησλ αηζζεηήξσλ θφκβσλ θαη ην επηζπκεηφ δηάλπζκα απφθξηζεο d(n) λα παξνπζηάδεηαη ζην επίπεδν εμφδνπ ησλ θφκβσλ ππνινγηζκνχ. Τπνιφγηζε ηα επίπεδα ελεξγνπνίεζεο θαη ηα ιεηηνπξγηθά ζήκαηα ηνπ δηθηχνπ, πξνρσξψληαο πξνο ηα εκπξφο δηα κέζσ ηνπ δηθηχνπ, επίπεδν αλά επίπεδν. Σν εζσηεξηθφ επίπεδν ελεξγνπνίεζεο ηνπ δηθηχνπ λ (j) γηα ην λεπξψλα j ζην επίπεδν l είλαη: ( 1) y l p () j l ( l )1 un () wny () () n ji i 0 i φπνπ i ( n) είλαη ην ιεηηνπξγηθφ ζήκα ηνπ λεπξψλα i ζην πξνεγνχκελν επίπεδν l-1 ζηελ (l) επαλάιεςε n θαη ην w ji είλαη ην ζπλαπηηθφ βάξνο ηνπ λεπξψλα j ζην επίπεδν l, πνπ ( ηξνθνδνηείηαη απφ ην λεπξψλα j ζην επίπεδν l-1. Γηα i = 0, έρνπκε y l 1) 0 ( n) 1 θαη () l l (l) w( j0) () n ζ() j n, φπνπ ην j είλαη ην θαηψθιη, πνπ εθαξκφδεηαη ζηε λεπξψλα j ζην επίπεδν l. Τπνζέηνληαο ηε ρξεζηκνπνίεζε κηαο ινγηζηηθήο ζπλάξηεζεο γηα ηε ζηγκνεηδή κε γξακκηθφηεηα, ην ιεηηνπξγηθφ ζήκα (έμνδνο) απφ ην λεπξψλα j ζην επίπεδν l είλαη: () i 1 yj () n () l ( j ()) n 1 e Αλ ν λεπξψλαο j είλαη ζην πξψην θξπκκέλν επίπεδν (δειαδή, l=1), βάιε: (0) y ( n) x( n) j j φπνπ x j (n) είλαη ην j-ζηφ ζηνηρείν ηνπ δηαλχζκαηνο εηζφδνπ x(n). Αλ ν λεπξψλαο j είλαη ζην επίπεδν εμφδνπ, βάιε: ( L) yj () n oj () n 23

26 Έηζη, ππνιφγηζε ην ζήκα ιάζνπο: e( n) dn () o () n j j j φπνπ d j (n) είλαη ην j-ζηφ ζηνηρείν ηνπ επηζπκεηνχ δηαλχζκαηνο απφθξηζεο d(n). 4. Πίζσ Τπνινγηζκφο. Τπνιφγηζε ηα δ ( δειαδή ηηο ηνπηθέο θιίζεηο) ηνπ δηθηχνπ, πξνρσξψληαο πξνο ηα πίζσ, επίπεδν αλά επίπεδν: δ (L) ) j () ( L n ej ()(1)[()] onno j j nγηα ην vεπξψλα j ζην επίπεδν εμφδνπ L γηα ην v (l 1)()1 l δ)( j wn kj k (i) i)( i)( j n )(δ yyn j1[ j()] n)( λεπξψλα j ζην θξπθφ επίπεδν l. Έηζη, ξχζκηζε ηα ζπλαπηηθά βάξε ηνπ δηθηχνπ ζην επίπεδν l κε βάζε ηνλ γεληθφ θαλφλα δέιηα: l)( (l))( l (l) ()1 l ()1)(δ[w nw ji nw ji)( ji (1 nwn )])(εδ jynn i )(, l)( ji φπνπ ε είλαη ν ξπζκφο κάζεζεο θαη α είλαη ε ζηαζεξά νξκήο. 5. Δπαλάιεςε. Δπαλέιαβε ηνλ ππνινγηζκφ παξνπζηάδνληαο λένπο θχθινπο παξαδεηγκάησλ εθπαίδεπζεο κέρξη, πνπ νη ειεχζεξεο παξάκεηξνη ηνπ δηθηχνπ ζηαζεξνπνηνχλ θαη ην κέζν ηεηξαγσληθφ ιάζνο Eav(w), πνπ ππνινγίζακε πάλσ ζην ζπλνιηθφ set εθπαίδεπζεο λα είλαη ζε έλα ειάρηζην ή ζε κηα απνδεθηά κηθξή ηηκή. Ζ ζεηξά παξνπζίαζεο ησλ παξαδεηγκάησλ εθπαίδεπζεο ζα πξέπεη λα είλαη ηπραία απφ θχθιν ζε θχθιν. Καζψο απμάλεηαη ν αξηζκφο ησλ επαλαιήςεσλ κάζεζεο, ε νξκή θαη ν ξπζκφο κάζεζεο κεηαβάιινληαη ηππηθά ( θαη ζπλήζσο κεηψλνληαη) Αιγφξηζκνο Levenberg Marquardt Ο αιγφξηζκνο Levenberg Marquardt (LM) [4,5,6] είλαη κία επαλαιεπηηθή ηερληθή, πνπ εληνπίδεη ην ειάρηζην κίαο ζπλάξηεζεο πνιιαπιψλ κεηαβιεηψλ, πνπ είλαη εθθξαζκέλε σο άζξνηζκα ηεηξαγψλσλ κε-γξακκηθψλ πξαγκαηηθψλ ζπλαξηήζεσλ. Απνηειεί κία ζηάληαξ ηερληθή γηα κεγξακκηθά πξνβιήκαηα ειαρίζησλ ηεηξαγψλσλ θαη πηνζεηείηαη επξέσο γηα έλα επξχ θάζκα εθαξκνγψλ. Ο LM κπνξεί λα ζεσξεζεί σο έλα ζπλδπαζκφο ηεο κεζφδνπ απφηνκεο θαζφδνπ θαη ηεο κεζφδνπ Gauss Newton. Όηαλ ε ιχζε δηαθέξεη πνιχ απφ ηε ζσζηή, ν αιγφξηζκνο ζπκπεξηθέξεηαη φπσο ε κεζφδνπ απφηνκεο θαζφδνπ: αξγά, αιιά κε εγγπεκέλε ζχγθιηζε. Όηαλ ε ιχζε είλαη θνληά ζηε ζσζηή, αιιάμεη ζε κέζνδν Gauss Newton. ηε ζπλέρεηα ππάξρεη κία ζχληνκε πεξηγξαθή ηνπ αιγφξηζκνπ. Όπσο ηηο quasi-newton κεζφδνπο, ν αιγφξηζκνο Levenberg-Marquardt ζρεδηάζηεθε ζην λα πξνζεγγίδεη δεπηέξαο ηάμεο ηαρχηεηα εθπαίδεπζεο ρσξίο λα πξέπεη λα ππνινγηζηεί ν πίλαθαο Hessian. Όηαλ ε ιεηηνπξγία απφδνζεο έρεη ηε κνξθή ελφο πνζνχ ησλ ηεηξαγψλσλ (φπσο είλαη ραξαθηεξηζηηθφ ζε δίθηπα εκπξνο ηξνθνδφηεζεο θαηάξηηζεο), θαηφπηλ ε Hessian κήηξα κπνξεί λα πξνζεγγηζηεί φπσο: θαη ε θιίζε κπνξεί λα ππνινγηζηεί σο J T J 24

27 g J Όπνπ J είλαη ν πίλαθαο Jacobian, πνπ πεξηέρεη ηα πξψηα παξάγσγα ησλ ιαζψλ ηνπ δηθηχνπ, φζνλ αθνξά ηα βάξε θαη ηα biases, θαη ην e είλαη έλα δηάλπζκα ησλ ιαζψλ ησλ δηθηχσλ. Ο πίλαθαο Jacobian κπνξεί λα ππνινγηζηεί κέζσ κηαο ηππνπνηεκέλεο backpropagation ηερληθήο, πνπ είλαη πνιχ ιηγφηεξν ζχλζεηε απφ ππνινγίδνληαο ην πίλαθα Hessian. Ο αιγφξηζκνο Levenberg-Marquardt ρξεζηκνπνηεί πξνζέγγηζε ζηνλ πίλαθα Hessian ζηα εμήο Newton-like update: T 1 T x x [ JJ κ IJe T e k 1 k ] Όηαλ ην κ είλαη κεδέλ, απηφ είλαη αθξηβψο ε κέζνδνο Newton, πνπ ρξεζηκνπνηεί ηνλ θαηά πξνζέγγηζε πίλαθα Hessian. Όηαλ κ είλαη κεγάιν, απηφ γίλεηαη θαζνδηθή θιίζε κε έλα κηθξφ κέγεζνο βεκάησλ. Ζ κέζνδνο Newton είλαη γξεγνξφηεξε θαη αθξηβέζηεξε θνληά ζε έλα ειάρηζην ιάζνο, έηζη ν ζηφρνο πξφθεηηαη λα κεηαηνπηζηεί πξνο ηε κέζνδν Newton φζν ην δπλαηφλ γξεγνξφηεξα. Καηά ζπλέπεηα, ην κ κεηψλεηαη κεηά απφ θάζε επηηπρέο βήκα (κείσζε ζηελ απφδνζε ζπλάξηεζεο) θαη απμάλεηαη κφλν φηαλ ζα αχμαλε έλα δνθηκαζηηθφ βήκα ηελ απφδνζε. Καηά απηφλ ηνλ ηξφπν, ε ζπλάξηεζε απφδνζεο ζα κεησζεί πάληα ζε θάζε επαλάιεςε ηνπ αιγνξίζκνπ. Αμίδεη λα πνχκε φηη ζέινπκε φζν ην δπλαηφ κηθξφηεξε ηελ απφδνζε ζπλάξηεζεο. Οη παξάκεηξνη θαηάξηηζεο ηνπ trainlm είλαη: epochs, show, goal, time, min_grad, max_fail, mu, mu_dec, mu_inc, mu_max, θαη mem_reduc. Ζ παξάκεηξνο ε mu είλαη ε αξρηθή ηηκή γηα ην κ. Απηή ε ηηκή πνιιαπιαζηάδεηαικε ην mu_dec, φπνηε ε ιεηηνπξγία απφδνζεο κεηψλεηαη θαηά έλα βήκα. Πνιιαπιαζηάδεηαη κε ην mu_inc, φπνηε έλα βήκα ζα αχμαλε ηε ζπλάξηεζε απφδνζεο. Δάλ ε mu γίλεηαη κεγαιχηεξε απφ mu_max, ν αιγφξηζκνο ζηακαηά. Ζ παξάκεηξνο mem_reduc ρξεζηκνπνηείηαη, γηα λα ειέγμεη ην πνζφ κλήκεο, πνπ ρξεζηκνπνηείηαη απφ ηνλ αιγφξηζκν. 25

28 26

29 3. ΔΞΔΛΙΚΣΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ 3.1. ΔΗΑΓΧΓΖ: Οη Δμειηθηηθνί Αιγφξηζκνη (ΔΑ) ηα ηειεπηαία ρξφληα, είλαη έλαο επξέσο γλσζηφο θαη αλαπηπζζφκελνο ηνκέαο πνπ επηηπγράλεη ηελ επίιπζε πνιιψλ πξνβιεκάησλ. Οη εμειηθηηθνί αιγφξηζκνη είλαη πηζαλνηηθέο κέζνδνη αλαδήηεζεο, πνπ, φπσο εχθνια ζπκπεξαίλνπκε απφ ην φλνκά ηνπο, είλαη εκπλεπζκέλνη θαη κηκνχληαη ηε δηαδηθαζία ηεο θπζηθήο βηνινγηθήο εμέιημεο[7]. Ζ ζέζε ηνπο ζην ρψξν ηεο Τπνινγηζηηθήο Ννεκνζχλεο θαίλεηε ζην ζρήκα 2.1 σήμα 3.1: Θέζε ησλ Δμειηθηηθψλ Αιγνξίζκσλ ζην ρψξν ηεο Τπνινγηζηηθήο Ννεκνζχλεο θαη ζρέζε ηνπο κε Δμειηθηηθφ Πξνγξακκαηηζκφ, ηηο Δμειηθηηθέο ηξαηεγηθέο, ηνπο Γελεηηθνχο Αιγνξίζκνπο θαη ην Γελεηηθφ Πξνγξακκαηηζκφ. Οη ΔΑ έρνπλ εθαξκνγή δπλακηθά ζπζηήκαηα ζηα νπνία ν ζηφρνο θαη νη πεξηνξηζκνί ηνπ πξνβιήκαηνο κπνξεί λα κεηαβάιινληαη ζε ζρέζε κε ην ρξφλν. Δπίζεο κπνξνχλ λα ρξεζηκνπνηεζνχλ κε επηηπρία ζε πεξηπηψζεηο, φπνπ ν ρψξνο αλαδήηεζεο είλαη αζπλερήο, έρεη πνιιά αθξφηαηα, είλαη ρανηηθφο θαη γεληθφηεξα ζε πεξηπηψζεηο, φπνπ νη παξαδνζηαθέο κέζνδνη επίιπζεο δελ δίλνπλ ηθαλνπνηεηηθά απνηειέζκαηα. Οη ΔΑ ιεηηνπξγνχλ ζε έλαλ πιεζπζκφ πηζαλψλ ιχζεσλ, πνπ εθαξκφδνπλ ηελ αξρή ηεο επηβίσζεο ηνπ θαηαιιειφηεξνπ, ψζηε λα παξαγάγνπλ ηηο θαιχηεξεο ιχζεηο ή ηηο θαιχηεξεο πξνζεγγίζεηο ζε κηα ιχζε. ε θάζε γελεά, έλα λέν ζχλνιν πξνζεγγίζεσλ δεκηνπξγείηαη κε δηαδηθαζία θαηά ηελ νπνία νληφηεηεο επηιέγνληαη ζχκθσλα κε ην επίπεδν θαηαιιειφηεηαο ηνπο, γηα ηε πεξηνρή ηνπ πξνβιήκαηνο, θαη ζπκκεηέρνπλ ζηελ αλαπαξαγσγηθή δηαδηθαζία, ρξεζηκνπνηψληαο ηειεζηέο δαλεηζκέλνπο απφ ηε θπζηθή γελεηηθή. Απηή ε δηαδηθαζία νδεγεί ζηελ εμέιημε ησλ πιεζπζκψλ νληνηήησλ, πνπ ηαηξηάδνπλ θαιχηεξα ζην πεξηβάιινλ ηνπο, απ φηη νη νληφηεηεο, πνπ ηηο δεκηνχξγεζαλ, αθξηβψο φπσο ζηε θπζηθή πξνζαξκνγή. Οη ΔΑ ελεξγνχλ βάζε ησλ θπζηθψλ δηαδηθαζηψλ, φπσο ε επηινγή, ν ζπλδπαζκφο, ε κεηάιιαμε, ε κεηαλάζηεπζε θαη ε ηνπηθφηεηα. ην ρήκα 3.2 παξνπζηάδεηαη ε δνκή ελφο απινχ Δμειηθηηθνχ Αιγνξίζκνπ. Οη ΔΑ ιεηηνπξγνχλ ζηνπο πιεζπζκνχο ησλ νληνηήησλ αληί ησλ εληαίσλ ιχζεσλ. Καη' απηφ ηνλ ηξφπν, ε αλαδήηεζε εθηειείηαη θαηά ηξφπν παξάιιειν. 27

30 σήμα 3.2: Γνκή ελφο εληαίνπ Δμειηθηηθνχ Αιγνξίζκνπ Πιεζπζκψλ. Σππηθά έλαο ΔΑ αξρηθνπνηεί ηνλ πιεζπζκφ ηνπ κε ηπραίν ηξφπν, παξφιν πνπ θχξηα γλψζε κπνξεί επίζεο λα ρξεζηκνπνηεζεί γηα λα θαηεπζχλεη ηελ αλαδήηεζε. Οη ΔA κεηξνχλ ηελ ηηκή θαηαιιειφηεηα (fitness) θάζε νληφηεηαο, ζχκθσλα κε ηελ αμία ηεο ζε θάπνην πεξηβάιινλ θαη έηζη παξάγεηαη ε πξψηε, αξρηθή γελεά. Δάλ ηα θξηηήξηα βειηηζηνπνίεζεο, δελ ηθαλνπνηνχληαη, αξρίδεη ε δεκηνπξγία κηαο λέαο γελεάο. Οη νληφηεηεο επηιέγνληαη ζχκθσλα κε ηελ ηθαλφηεηά ηνπο γηα ηελ παξαγσγή ησλ απνγφλσλ. Ζ Δπηινγή ησλ γνλέσλ απνθαζίδεη γηα ην πνηεο νληφηεηεο ζα γίλνπλ γνλείο θαη πφζα παηδηά ζα θάλνπλ. Ζ Δμέιημε, κπνξεί λα είλαη ηφζν απιή δηαδηθαζία ζαλ ηνλ ππνινγηζκφ κηαο ζπλάξηεζεο θαηαιιειφηεηαο, είηε ηφζν πνιχπινθε, ζαλ ηελ εθηέιεζε κηαο πεξίηερλεο πξνζνκνίσζεο. Σα παηδηά δεκηνπξγνχληαη κέζσ ηεο Γηαζηαχξσζεο, ε νπνία αληαιιάζζεη πιεξνθνξίεο κεηαμχ ησλ γνλέσλ θαη ηεο Μεηάιιαμεο, ε νπνία επηπιένλ αλαηαξάζζεη ηα παηδηά κε κηα νξηζκέλε πηζαλφηεηα. Έπεηηα θαη πάιη ππνινγίδεηαη ε ηθαλφηεηα ηνπ απνγφλνπ. Οη απφγνλνη παξεκβάιινληαη ζηνλ πιεζπζκφ θαη αληηθαζηζηνχλ ηνπο γνλείο, παξάγνληαο κηα λέα γελεά. Σν ζηάδην απηφ πνιιέο θνξέο, νινθιεξψλεηαη βάζεη ηεο δηαδηθαζίαο ηεο Δπηβίσζεο (Survival), θαηά ηελ νπνία απνθαζίδεηαη πνηεο νληφηεηεο (γνλείο θαη παηδηά) ζα επηβηψζνπλ ζηνλ πιεζπζκφ. Απηφο ν θχθινο εθηειείηαη έσο φηνπ επηηεπρζνχλ ηα θξηηήξηα βειηηζηνπνίεζεο ή ηεξκαηηζκνχ ΒΑΗΚΔ ΑΡΥΔ ΣΧΝ ΔΞΔΛΗΚΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ Οη ΔΑ είλαη βαζηζκέλνη ζηελ πξνζνκνίσζε ησλ δηάθνξσλ εμειηθηηθψλ δηαδηθαζηψλ θαη γη απηφ βαζίδνληαη ζηηο θχξηεο αξρέο, πνπ δηέπνπλ ηελ θπζηθή εμέιημε[7]. Οη αξρέο απηέο δελ είλαη άιιεο απφ ηελ Αλαπαξαγσγή, ηελ ηπραία Μεηάιιαμε, ηνλ Αληαγσληζκφ θαη ηελ Δπηινγή ησλ αηφκσλ ηνπ πιεζπζκνχ γηα εμέιημε θαη απνηεινχλ ηα ζεκειηψδε ραξαθηεξηζηηθά ηεο Δμέιημεο. Ζ αλαπαξαγσγή απνηειεί ηελ πην βαζηθή ηδηφηεηα ησλ δσληαλψλ νξγαληζκψλ. Ζ δηαδηθαζία ηεο αλαπαξαγσγήο επηηπγράλεηαη κε κεηαθνξά ηνπ γελεηηθνχ πιηθνχ ελφο αηφκνπ ζηνπο απνγφλνπο ηνπ. Αλ γηα θάπνην ιφγν ε κεηαθνξά απηή επηηεπρζεί κε ιάζνο ηξφπν, ηφηε αληηθαζίζηαηαη βάζεη ηνπ θαηλνκέλνπ ηεο κεηάιιαμεο. Καηά ηνλ αληαγσληζκφ, παξαηεξείηαη αχμεζε ησλ έκβησλ φλησλ κέζα ζε έλα ρψξν κε πεξηνξηζκέλεο πεγέο πφξσλ. Σέινο, ε Δπηινγή κία ζηνραζηηθή θαη φρη κία ληεηεξκηληζηηθή δηαδηθαζία, είλαη εθείλε ηνπ ζπληαηξηάζκαηνο δχν φλησλ κε ζθνπφ ηελ αλαπαξαγσγή. 28

31 3.3. ΜΟΡΦΔ ΣΧΝ ΔΞΔΛΗΚΣΗΚΧΝ ΑΛΓΟΡΗΘΜΧΝ Ζ θαηαγσγή ησλ ΔΑ κπνξεί λα εληνπηζηεί ζηελ δεθαεηία ηνπ 50, αιιά ζα αλαθεξζνχκε κε ιεπηνκέξεηεο ζε ηξεηο κεζνδνινγίεο, νη νπνίεο εκθαλίζηεθαλ πξηλ κεξηθέο δεθάδεο ρξφληα: o Δμειηθηηθφο Πξνγξακκαηηζκφο [8], νη Δμειηθηηθέο ηξαηεγηθέο [9] θαη νη Γελεηηθνί Αιγφξηζκνη [10]. Παξά ηνπ φηη θνηηψληαο απηέο ηηο κεζνδνινγίεο ζε έλα πςειφ επίπεδν είλαη παξφκνηεο, θάζε έλα απφ ηα είδε απηά πινπνηεί έλαλ ΔΑ κε έλα δηαθνξεηηθφ ηξφπν. Οη δηαθνξέο απηέο θαιχπηνπλ φιεο ζρεδφλ ηηο ζεσξήζεηο ησλ ΔΑ, ζπκπεξηιακβάλνληαο ηηο επηινγέο αλαπαξάζηαζεο γηα ηηο αηνκηθέο δνκέο, ηνπο ηχπνπο κεραληζκψλ Δπηινγήο, πνπ ρξεζηκνπνηνχλ, ηηο θφξκεο ησλ γελεηηθψλ ηειεζηψλ θαη ηε ζπλάξηεζε θαηαιιειφηεηαο. Πην ζπγθεθξηκέλα έρνπκε : Ο Δμειηθηηθφο Πξνγξακκαηηζκφο δίλεη έκθαζε ζηε δηαδηθαζία ηεο κεηάιιαμεο θαη δελ ζπκπεξηιακβάλεη ηε δηαδηθαζία ηεο δηαζηαχξσζεο. Όπσο αθξηβψο ζηελ πεξίπησζε ησλ Δ, φηαλ αληηκεησπίδεη πξνβιήκαηα βειηηζηνπνίεζεο κε πξαγκαηηθέο παξακέηξνπο, ν ΔΠ ρξεζηκνπνηεί νκνηφκνξθα θαηαλεκεκέλεο κεηαιιάμεηο θαη επεθηείλεη ηελ εμειηθηηθή δηαδηθαζία θαη ζηηο παξακέηξνπο ηεο ζηξαηεγηθήο, πνπ εθαξκφδεηαη. Ο ηειεζηήο επηινγήο, πνπ ρξεζηκνπνηείηαη, είλαη πηζαλνηηθφο. Οη Δ ρξεζηκνπνηνχλ νκνηφκνξθα θαηαλεκεκέλεο κεηαιιάμεηο, γηα λα ηξνπνπνηήζνπλ δηαλχζκαηα πξαγκαηηθψλ ηηκψλ. Γίλνπλ έκθαζε ζηε κεηάιιαμε θαη ηε δηαζηαχξσζε, σο απαξαίηεηεο δηαδηθαζίεο γηα ηελ ηαπηφρξνλε αλαδήηεζε, ηφζν κέζα ζην ρψξν αλαδήηεζεο ησλ ιχζεσλ, φζν θαη κέζα ζην ρψξν ησλ παξακέηξσλ ηεο ζηξαηεγηθήο πνπ εθαξκφδεηαη. Ο ηειεζηήο επηινγήο είλαη ληεηεξκηληζηηθφο, ελψ ην κέγεζνο ηνπ πιεζπζκνχ ησλ γνλέσλ ζπλήζσο δηαθέξεη απφ ην κέγεζνο ηνπ πιεζπζκνχ ησλ απνγφλσλ ηνπο.οη ΓΑ δίλνπλ κεγαιχηεξε έκθαζε ζηε δηαζηαχξσζε, ηελ νπνία ζεσξνχλ ηελ πην ζεκαληηθή δηαδηθαζία αλαπαξαγσγήο, ελψ εθαξκφδνπλ κεκνλσκέλα ηε κεηάιιαμε κε κηα πνιχ κηθξή πηζαλφηεηα, αληηκεησπίδνληάο ηελ σο κία δεχηεξεο θαηεγνξίαο δηαδηθαζία.υξεζηκνπνηνχλ επίζεο έλα πηζαλνηηθφ ηειεζηή επηινγήο (επηινγή αλαινγηθά κε ηελ απφδνζε) θαη ζπλήζσο βαζίδνληαη ζε δπαδηθή αλαπαξάζηαζε ησλ αηφκσλ ΓΔΝΔΣΗΚΟΗ ΑΛΓΟΡΗΘΜΟΗ Οη γελεηηθνί αιγφξηζκνη είλαη γεληθήο ρξήζεο αιγφξηζκνη αλαδήηεζεο, πνπ βαζίδνληαη ζηηο αξρέο ηεο εμέιημεο, πνπ παξαηεξνχληαη ζηε θχζε θαη γίλνληαη φιν θαη πεξηζζφηεξν γλσζηνί ράξηλ ηεο ηθαλφηεηά ηνπο λα ιχλνπλ δχζθνια πξνβιήκαηα.[7] Οη ΓΑ πινπνηήζεθαλ απφ ηνλ Holland (1975)[10], πνπ παξαδνζηαθά ρξεζηκνπνίεζε ηηο πεξηζζφηεξν θπξίαξρεο αλαπαξαζηάζεηο, δειαδή bit-strings. Όκσο, πνιιέο πξφζθαηεο εθαξκνγέο ησλ ΓΑ έρνπλ εζηηάζεη ζε δηαθνξεηηθέο αλαπαξαζηάζεηο, φπσο γξάθνη (Νεπξσληθά Γίθηπα), Lisp- Expressions, δηαηεηαγκέλεο ιίζηεο θαη δηαλχζκαηα πξαγκαηηθψλ ηηκψλ. Οη ΓΑ ραξαθηεξίδνληαη απφ ηελ απιφηεηα θαη ηελ θνκςφηεηά ηνπο σο γεξνί αιγφξηζκνη αλαδήηεζεο, θαζψο επίζεο θαη απφ ηε δχλακή ηνπο λα αλαθαιχςνπλ γξήγνξα ηηο θαιέο ιχζεηο δχζθνισλ, κεγάιεο δηάζηαζεο πξνβιεκάησλ. Οη ΓΑ είλαη ρξήζηκνη θαη απνδνηηθνί φηαλ[11]: Σν δηάζηεκα αλαδήηεζεο είλαη κεγάιν, ζχλζεην ή αλεπαξθψο θαηαλνεηφ. Ζ γλψζε πεξηνρψλ είλαη ιηγνζηή ή ε εηδηθή γλψζε είλαη δχζθνιν λα θσδηθνπνηεζεί, ψζηε λα πεξηνξηζηεί ζην δηάζηεκα αλαδήηεζεο. Κακία καζεκαηηθή αλάιπζε δελ είλαη δηαζέζηκε. Οη παξαδνζηαθέο κέζνδνη αλαδήηεζεο απνηπγράλνπλ. 29

32 3.5. ΠΔΡΗΓΡΑΦΖ ΣΟΤ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ Ο Γελεηηθφο Αιγφξηζκνο μεθηλά κε έλα ζχλνιν ιχζεσλ (ηηο ιχζεηο αλαπαξηζηάλνπλ ηα ρξσκνζψκαηα), πνπ θαιείηαη πιεζπζκφο[7,11]. Κάπνηα ρξσκνζψκαηα απφ ηνλ πξψην πιεζπζκφ ιακβάλνληαη, γηα λα παξάγνπλ ηνλ επφκελν πιεζπζκφ, κε ηελ ειπίδα λα είλαη θαιχηεξφο ηνπ. πλήζσο, ην κέγεζνο ηνπ πιεζπζκνχ παξακέλεη ζηαζεξφ γηα επθνιία. Οη ιχζεηο ρξσκνζψκαηα, πνπ επηιέγνληαη λα ζρεκαηίζνπλ ηηο λέεο ιχζεηο (απνγφλνπο), επηιέγνληαη ζχκθσλα κε ην fitness ηνπο φζν πην θαηάιιεια είλαη, ηφζν κεγαιχηεξε ειπίδα έρνπλ λα αλαπαξαρζνχλ. Ζ παξαπάλσ δηαδηθαζία επαλαιακβάλεηαη κέρξηο φηνπ θάπνηα ζπλζήθε ηθαλνπνηεζεί (φπσο γηα παξάδεηγκα έλαο αξηζκφο πιεζπζκψλ ή ε βειηηζηνπνίεζε ηεο θαιχηεξεο ιχζεο) ΥΔΓΗΑΓΡΑΜΜΑ ΣΟΤ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ 1. Κσδηθνπνίεζε (Coding) 2. Αξρηθνπνίεζε (Initialization) 3. Απνθσδηθνπνίεζε (Decoding) 4. Τπνινγηζκφο ηθαλφηεηαο ή αμηνιφγεζε (Fitness calculation ή evaluation) 5. Δπηινγή (Selection) 6. Αλαπαξαγσγή (Reproduction) 7. Γηαζηαχξσζε (Crossover ή mating) 8. Μεηάιιαμε (Mutation) 9. Δπαλάιεςε απφ ην βήκα (2) κέρξη λα ηθαλνπνηεζεί ην θξηηήξην ηεξκαηηζκνχ ηνπ Γ.Α. Αθνινπζεί ε πεξηγξαθή ησλ βαζηθψλ θνκκαηηψλ ηνπ αιγφξηζκνπ θαη έλα κηθξφ παξάδεηγκα, ψζηε λα γίλεη πην θαηαλνεηή ε ιεηηνπξγία ηνπ[7,11]. Κσδηθνπνίεζε Γηα ηελ κυδικοποίηζη ηνπ ρξσκνζψκαηνο κπνξεί λα ρξεζηκνπνηεζεί ε δπαδηθή αλαπαξάζηαζε. Όηαλ εθαξκφδεηαη ρξεζηκνπνηνχληαη N bits γηα θάζε παξάκεηξν, φπνπ ην Ν κπνξεί λα δηαθνξνπνηείηαη γηα θάζε κηα παξάκεηξν. Αλ κηα παξάκεηξνο θπκαίλεηαη κεηαμχ κηαο κέγηζηεο ηηκήο ΜΑΥ θαη κηαο ειάρηζηεο ΜΗΝ ηφηε, ν ηχπνο πνπ θαζνξίδεη ην κήθνο ηεο είλαη: r ( MAX MIN )( 2 )1 Μία δπαδηθή ζπκβνινζεηξά νξίδεηαη κε ηε ρξήζε ελφο δπαδηθνχ αιθάβεηνπ {0, 1}. Μία ζπκβνινζεηξά κε l δπαδηθά ςεθία θαηαιακβάλεη ρψξν ίζν κε B l ={0,1} l. Κάζε κεηαβιεηή i θσδηθνπνηείηαη ζε κία δπαδηθή ζπκβνινζεηξά ζπγθεθξηκέλνπ κήθνπο l i, ην νπνίν θαζνξίδεηαη απφ ην ρξήζηε. Έπεηηα, ζρεκαηίδεηαη νιφθιεξε ε κήθνπο l ζπκβνινζεηξά κε ζπλέλσζε φισλ ησλ l ππφ-ζπκβνινζεηξψλ. Έηζη, ε ζπκβνινζεηξά (άηνκν), πνπ ζα ρξεζηκνπνηεζεί απφ ην ΓΑ έρεη ηελ εμήο κνξθή: l n l 1 φπνπ n είλαη ν αξηζκφο ησλ άγλσζησλ κεηαβιεηψλ. Μία δπαδηθή ζπκβνινζεηξά κε κήθνο l i θσδηθνπνηεί 2 li ζεκεία αλαδήηεζεο. 30

33 Δπηινγή Ζ Επιλογή ζπληζηά έλα ζεκαληηθφ κέξνο ηνπ ΓΑ. Υξσκνζψκαηα επηιέγνληαη απφ ηνλ πιεζπζκφ, γηα λα γίλνπλ γνλείο θαη λα δηαζηαπξσζνχλ. Σν πξψην βήκα είλαη ε αλάζεζε κηαο ηηκήο θαηαιιειφηεηαο. Κάζε κηα αηνκηθφηεηα ιακβάλεη κηα πηζαλφηεηα αλαπαξαγσγήο αλάινγα κε ηελ αληηθεηκεληθή αμία (ηηκή θαηαιιειφηεηαο) θαη ηελ αληηθεηκεληθή αμία φισλ ησλ άιισλ νληνηήησλ. Απηή ε ηθαλφηεηα θαηφπηλ, ρξεζηκνπνηείηαη γηα ην πξαγκαηηθφ βήκα επηινγήο. 1. [Άθποιζμα] Τπνινγίδεηαη ην άζξνηζκα S φισλ ησλ fitness ηηκψλ ησλ ρξσκνζσκάησλ ηνπ πιεζπζκνχ. 2. [Επιλογή] Γέλλεζε ηπραία αξηζκφ r απφ ην δηάζηεκα (0,S) 3. [Επανέλαβε] Γηαηξέρεηαη φινο ν πιεζπζκφο θαη αζξνίδεηαη fitness ηηκψλ ησλ ρξσκνζσκάησλ ηνπ πιεζπζκνχ απφ ην κεδέλ ζην S. Όηαλ ην S είλαη κεγαιχηεξν ηνπ r, ζηακάηα θαη επέζηξεςε ην ρξσκφζσκα ζην νπνίν είζαη. Φπζηθά, ην βήκα 1 πινπνηείηαη κφλν κηα θνξά γηα θάζε πιεζπζκφ. Γηαζηαχξσζε Ζ Διαζηαύπυζη Δλφο εκείνπ είλαη ν πην απιφο ηξφπνο δηαζηαχξσζεο. ηελ Γηαζηαχξσζε Δλφο εκείνπ επηιέγεηαη νκνηφκνξθα θαη ηπραία έλα ζεκείν (εκείν Γηαζηαχξσζεο) κε k [1, 2,, Nvar-1] φπνπ Nvar ν αξηζκφο ησλ κεηαβιεηψλ θάζε νληφηεηαο. ην ζεκείν απηφ k θφβνληαη ηα δχν ρξσκνζψκαηα θαη αληαιιάζζνληαη νη κεηαβιεηέο ηνπο, παξάγνληαο έηζη δχν λέα ρξσκνζψκαηα. Ζ Γηαζηαχξσζε επεμεγείηαη ζην ρήκα 3.3: Μεηάιιαμε σήμα 3.3: Γηαζηαχξσζε Δλφο ζεκείνπ. Γηα ηηο νληφηεηεο, πνπ έρνπλ απεηθνληζηεί ζε bit-strings, ε Μεηάιιαμε ζεκαίλεη ε αλαζηξνθή (Flip) ησλ bits. Έηζη, αιιάδνπκε επηιεγφκελα bits ηνπ ρξσκνζψκαηνο απφ 1 ζε 0 ή απφ 31

34 0 ζε 1, βάζεη ηεο Πηζαλφηεηαο Μεηάιιαμεο. πλήζσο, ν κεραληζκφο απηφο έρεη κηθξή πηζαλφηεηα λα ζπκβεί. ρεκαηηθά έρεη σο εμήο: Υξσκφζσκα Απφγνλνο Γηα θάζε ρξσκφζσκα ην bit, πνπ ζα ππνζηεί Μεηάιιαμε, είλαη επηιεγκέλν νκνηφκνξθα θαη ηπραία. Κξηηήξηα ηεξκαηηζκνχ Απιθμόρ παπαγυγήρ Μηα κέζνδνο ιήμεο, πνπ ζηακαηά ηελ εμέιημε, φηαλ νινθιεξσζεί ν θαζνξηζκέλνο απφ ηνλ ρξήζηε, αλψηαηνο αξηζκφο εμειίμεσλ. Χπόνορ εξέλιξηρ Μηα κέζνδνο ιήμεο, πνπ ζηακαηά ηελ εμέιημε, φηαλ ππεξβαίλεη ε παξεξρφκελε πεξίνδνο εμέιημεο, ηνλ θαζνξηζκέλν απφ ηνλ ρξήζηε αλψηαην ρξφλν εμέιημεο. Δμ νξηζκνχ, ηελ εμέιημε δελ ζηακαηνχλ έσο φηνπ έρεη νινθιεξψζεη ε εμέιημε ηεο ηξέρνπζαο παξαγσγήο, αιιά απηή ε ζπκπεξηθνξά κπνξεί λα αιιάμεη, έηζη ψζηε λα ζηακαηά ε εμέιημε κέζα ζε κηα παξαγσγή. Αλαθέξακε ηηο βαζηθφηεξεο κεζφδνπο, πνπ κπνξνχκε λα ρξεζηκνπνηήζνπκε ζηνλ Γ.Α.. Πξνθαλψο εθηφο απφ απηέο ηηο κεζφδνπο ππάξρνπλ θαη άιιεο. Οη ζπλδπαζκνί ησλ κεζφδσλ καο νδεγνχλ ζε δηαθνξεηηθά απνηειέζκαηα ΠΑΡΑΓΔΗΓΜΑ ΔΦΑΡΜΟΓΖ ΓΔΝΔΣΗΚΟΤ ΑΛΓΟΡΗΘΜΟΤ Έζησ, φηη ζέινπκε λα βξνχκε ην κέγηζην ηεο xf )( xό 2 xαθέξα x, [1,3. Κυδικοποίηζη: Ζ θσδηθνπνίεζε είλαη πξνθαλήο: Θέινπκε λα αλαπαξαζηήζνπκε 31 αξηζκνχο, νπφηε ζα ρξεζηκνπνηήζνπκε ρξσκνζψκαηα ησλ 5 γνληδίσλ (ζπκβνινζεηξέο ησλ 5bits) 25=32>31. Απσικοποίηζη: Γεκηνπξγία αξρηθνχ πιεζπζκνχ (έζησ κεγέζνπο 4) κε ηπραίν ηξφπν: Α 1 = = Α 2 = = Α 3 = = 8 10 Α 4 = =

35 Αξιολόγηζη F(Α 1 ) = 13 2 = 169 F(Α 2 ) = 24 2 = 576 F(Α 3 ) = 8 2 = 64 F(Α 4 ) = 19 2 = 361 πλνιηθή Απφδνζε: 1170 Μέζε απφδνζε: 293 Επιλογή Δπηινγή ησλ αηφκσλ ηνπ πιεζπζκνχ, πνπ ζα «πεξάζνπλ» ζηνλ επφκελν πιεζπζκφ. Απηφ κπνξεί λα γίλεη κε δηάθνξνπο ηξφπνπο, φπσο γηα παξάδεηγκα κε ηε ρξήζε κηαο εμαλαγθαζκέλεο ξνπιέηαο ηελ εμαλαγθαζκέλε ξνπιέηα θάζε κέινο ηνπ πιεζπζκνχ έρεη πηζαλφηεηα επηινγήο ίζε κε ηε ζρεηηθή ηνπ απφδνζε ζηνλ ηξέρνληα πιεζπζκφ. P(A 1 ) = 0.14 P(A 2 ) = 0.49 P(A 3 ) = 0.06 P(A 4 ) = 0.31 A2 A1 A3 A4 Αναπαπαγυγή Διαζηαύπυζη Ο πξνζσξηλφο πιεζπζκφο κεηά ηελ εθαξκνγή ηεο εμαλαγθαζκέλεο ξνπιέηαο: Α' 1 = Α' 2 = Α' 3 = Α' 4 = Δπηινγή κε ηπραίν ηξφπν ησλ αηφκσλ, πνπ ζα δηαζηαπξψζνπλ ην γελεηηθφ πιηθφ ηνπο: Έζησ, φηη δηαζηαπξψλνληαη ην Α' 1 κε ην Α' 2 κε ζεκείν δηαζηαχξσζεο ην 4 θαη ην Α' 3 κε ην Α' 4 κε ζεκείν δηαζηαχξσζεο ην 2: Α' 1 = Α'' 1 = Α' 2 = Α'' 2 = Α' 3 = Α'' 3 = Α' 4 = Α'' 4 =

36 Μεηάλλαξη Με ηπραίν ηξφπν επηιέγνληαη γνλίδηα ησλ νπνίσλ ε ηηκή αληηζηξέθεηαη: Νέορ Πληθςζμόρ Ο λένο πιεζπζκφο, πνπ πξνθχπηεη, είλαη: πλνιηθή Απφδνζε: 1822 Μέζε απφδνζε: Α'' 1 = Α''' 1 = Α'' 2 = Α''' 2 = Α'' 3 = Α''' 3 = Α'' 4 = Α''' 4 = Α 1 = = =>F(12)=144 Α 2 = = =>F(25)=625 Α 3 = = =>F(27)=729 Α 4 = = =>F(18)=324 Απ φηη βιέπνπκε, κε κηα κφλν επαλάιεςε έρνπκε ζεκαληηθή βειηίσζε ηφζν ηεο ζπλνιηθήο φζν θαη ηεο κέζεο απφδνζεο. 34

37 4. ΤΝΓΤΑΜΟ ΔΞΔΛΙΚΣΙΚΧΝ ΑΛΓΟΡΙΘΜΧΝ ΚΑΙ ΝΔΤΡΧΝΙΚΧΝ ΓΙΚΣΤΧΝ 4.1.ΔΗΑΓΧΓΖ Σα Νεπξσληθά Γίθηπα θαη νη Δμειηθηηθνί αιγφξηζκνη εκθαλίδνπλ πνιιά ζεκεία αιιειεπίδξαζεο. Ο ζπλδπαζκφο απηψλ ησλ δπν καο νδεγεί ζε αιγνξίζκνπο πην απνηειεζκαηηθνχο θαη αθξηβείο. Μπνξνχκε, είηε λα ρξεζηκνπνηήζνπκε εμειηθηηθνχο αιγνξίζκνπο, γηα λα εμειίμνπκε ηα ζπλδεηηθά βάξε ή ηελ ζπλάξηεζε κεηαθνξάο, γηα λα νδεγεζνχκε ζε θαιχηεξν απνηειέζκαηα απφ ην λεπξσληθφ δίθηπν,είηε λα ρξεζηκνπνηήζνπκε ην λεπξσληθφ δίθηπν σο ζπλάξηεζε αμηνιφγεζεο ελφο ρξσκνζψκαηνο. Οη πβξηδηθνί αιγφξηζκνη, πνπ πξνθχπηνπλ, απφ ηνλ ζπλδπαζκφ ηνπο είλαη πνιινί. ε αχηε ηελ ελφηεηα αλαθεξφκαζηε ζηνπο βαζηθφηεξνπο ζπλδπαζκνχο, πνπ κπνξνχκε λα θάλνπκε. 4.2.ΔΞΔΛΗΞΖ ΣΧΝ ΤΝΓΔΣΗΚΧΝ ΒΑΡΧΝ Ζ εθπαίδεπζε ελφο Νεπξσληθνχ Γηθηχνπ κπνξεί λα γίλεη είηε κε επίβιεςε ή ρσξίο επίβιεςε[12]. Ζ εθπαίδεπζε κε επίβιεςε έρεη σο ζηφρν ζηελ κείσζε ηνπ ζθάικαηνο εμφδνπ θάησ απφ έλα πξνθαζνξηζκέλν φξην. Έλαο εθπξφζσπνο απηήο ηεο κεζφδνπ είλαη ν αιγφξηζκνο εθπαίδεπζεο κε νπηζζνδηάδνζε ηνπ ζθάικαηνο (Back propagation Error). χκθσλα κε ηνλ αιγφξηζκν απηφ, ηα βάξε ηνπ δηθηχνπ κεηαβάιινληαη έσο φηνπ ην ζθάικα εμφδνπ( Δπηζπκεηή έμνδνο έμνδνο δηθηχνπ) γίλεη φζν κηθξφ έρνπκε θαζνξίζεη. Απηή ε κέζνδνο αλήθεη ζηηο κεζφδνπο ηεο βαζκσηήο θαζφδνπ (gradient descent), ε νπνία έρεη θαη θάπνηεο ζεκαληηθέο αδπλακίεο. Μηα απφ απηέο είλαη ε πηζαλφηεηα ν αιγφξηζκνο λα παγηδεπηεί ζε ηνπηθφ ειάρηζην ηεο αληηθεηκεληθήο ζπλάξηεζεο. Σα ηνπηθά ειάρηζηα είλαη αλεπηζχκεηα, γηαηί νδεγνχλ ζε κε βέιηηζηεο ιχζεηο ηνπο πξνβιήκαηνο, πνπ έρεη αλαιάβεη ην Νεπξσληθφ Γίθηπν. Ηδηαίηεξε ζεκαζία έρεη ην ηη αξρηθέο ηηκέο ζα δνζνχλ ζηα ζπλαπηηθά βάξε ηνπ δηθηχνπ. Αλ ηα αξρηθά βάξε είλαη κεγάια ηφηε, αλ ρξεζηκνπνηνχκε ζαλ ζπλάξηεζε ελεξγνπνίεζεο ηε ζηγκνεηδή απηή ζα δψζεη εμφδνπο πνιχ θνληά ζηα αθξφηαηα ηεο ζπλάξηεζεο δει 0 θαη 1, νη νπνίεο κε ηε ζεηξά δίλνπλ παξάγσγν πνιχ κηθξή θαη ζπλεπψο ηηκή ζθάικαηνο θνληά ζην 0. Απνηέιεζκα ηεο φιεο δηαδηθαζίαο είλαη λα θηλδπλεχεη ην δίθηπν λα εγθισβηζηεί ζ απηέο ηηο πεξηνρέο (ρήκα 4.1). σήμα 4.1: Ζ επηινγή ηνπ w1 ζαλ αξρηθφ βάξνο νδεγεί ζε ηνπηθφ ειάρηζην w2 ελψ ε επηινγή αξρηθνχ βάξνπο w4 νδεγεί ζην ζπλνιηθφ ειάρηζην w3.[6] 35

38 Έλαο ηξφπνο, γηα λα επηιπζεί ην πξφβιεκα, είλαη λα ηξνπνπνηεζεί ε δηαδηθαζία εθπαίδεπζεο θαη αληί ζαλ κηα ζπλερήο πξνζπάζεηα βαζκσηήο κείσζεο ηνπ ιάζνπο, λα αλαηεζεί ζε θάπνην Δμειηθηηθφ Αιγφξηζκν ε αλαδήηεζε ηνπ βέιηηζηνπ δηαλχζκαηνο βαξψλ ηνπ Νεπξσληθνχ Γηθηχνπ ππνζέηνπκε ζηαζεξή αξρηηεθηνληθή δνκή. ηελ νπζία, κε ηελ πξαθηηθή απηή, αλαζέηνπκε ζε θάπνην εμειηθηηθφ αιγφξηζκν κε ηθαλφηεηα αλαδήηεζεο λα βξεη ην ηδαληθφ δηάλπζκα βαξψλ γηα ην λεπξσληθφ δίθηπν. Χο αληηθεηκεληθή ζπλάξηεζε κπνξεί λα ζεσξεζεί ην ζθάικα εμφδνπ ηνπ Νεπξσληθνχ Γηθηχνπ. εκαληηθφ είλαη φηη κ απηφ ηνλ ηξφπν επηηαρχλεηαη ζεκαληηθά ε δηαδηθαζία εθπαίδεπζεο ζε back propagation αιγνξίζκνπο, γηαηί δελ πξαγκαηνπνηείηαη ε πξνο ηα πίζσ δηάδνζε ηνπ ζθάικαηνο. Ζ εμειηθηηθή πξνζέγγηζε εθπαίδεπζεο ησλ βαξψλ ζε Νεπξσληθά Γίθηπα πινπνηείηαη ζε δχν θάζεηο. ε πξψηε θάζε ζα πξέπεη λα γίλεη επηινγή ηεο απεηθφληζεο ησλ βαξψλ. Αλ δειαδή απηά ζα πξέπεη λα είλαη ζε κνξθή δπαδηθψλ ζπκβνινζεηξψλ ή αλ ζα είλαη ζε κνξθή πξαγκαηηθψλ αξηζκψλ. Έρεη κεγάιε ζεκαζία ε επηινγή, φπσο ζα δνχκε ζηα επφκελα θεθάιαηα. ε δεχηεξε θάζε ζα πξέπεη λα γίλεη επηινγή ησλ ηειεζηψλ, πνπ ζα ρξεζηκνπνηήζεη ε εμειηθηηθφο αιγφξηζκνο. Όπσο ζα δνχκε ζηε ζπλέρεηα δηαθνξεηηθνί ηειεζηέο, νδεγνχλ ζε δηαθνξεηηθά απνηειέζκαηα. Παξαθάησ πεξηγξάθεηαη έλαο ηππηθφο αιγφξηζκνο εμέιημεο βαξψλ ελφο Νεπξσληθνχ Γηθηχνπ. Ζ θάζε νινθιεξψλεηαη, φηαλ ην ζθάικα πέζεη θάησ απφ θάπνηα επίπεδα πνπ έρνπλ ηεζεί. Αθνινπζεί ε πεξηγξαθή ηνπ αιγνξίζκνπ [13]: 1. Απνθσδηθνπνίεζε θάζε γνλφηππνπ ζηελ ηξέρνπζα γεληά θαη θαηαζθεπή Νεπξσληθνχ Γηθηχνπ κε απηά ζαλ ζπλδεηηθά βάξε. 2. Αμηνιφγεζε θάζε λεπξσληθνχ δηθηχνπ πνπ δεκηνπξγείηαη απφ ηελ εμέιημε ησλ βαξψλ ππνινγίδνληαο ην κέζν ηεηξαγσληθφ ζθάικα ηνπ.σελ αληηθεηκεληθή ζπλάξηεζε γηα ηνλ εμειηθηηθφ αιγφξηζκν απνηειεί ην ζθάικα εμφδνπ αληηζηξφθσο αλάινγν.γηα ηελ απνθπγή ησλ πιενλαδνπζψλ ηηκψλ (redundant values) εθαξκφδεηαη ε κέζνδνο ηεο πνηλήο (penalty method). 3. Δπηινγή γνλέσλ γηα αλαπαξαγσγή βαζηζκέλε ζηελ αληηθεηκεληθή ζπλάξηεζε. 4. Δθαξκνγή ηειεζηψλ ζηνπο γνλείο έηζη ψζηε λα δεκηνπξγεζεί ε λέα γεληά απνγφλσλ ΤΒΡΗΓΗΚΖ ΔΚΠΑΗΓΔΤΖ Οη πεξηζζφηεξνη Δμειηθηηθνί Αιγφξηζκνη, ελψ είλαη ηδηαίηεξα ηθαλνί ζε αλαδήηεζε νιηθνχ κέγηζηνπ, εληνχηνηο παξνπζηάδνπλ αδπλακίεο ζηελ αλαδήηεζε ηνπηθψλ αθξφηαησλ[12]. Απηφ είλαη ηδηαίηεξα έληνλν ραξαθηεξηζηηθψλ ησλ Γελεηηθψλ Αιγνξίζκσλ. Οη δπλαηφηεηεο ησλ Δμειηθηηθψλ Αιγνξίζκσλ ζηελ εθπαίδεπζε ζα κπνξνχζαλ λα κεγηζηνπνηεζνχλ, αλ ππήξρε ε δπλαηφηεηα γηα βέιηηζηε απφδνζε θαη ζε ηνπηθφ επίπεδν. Απηφ κπνξεί λα επηηεπρζεί κε ηελ ζπλεξγαζία Γελεηηθψλ Αιγνξίζκσλ θαη Νεπξσληθψλ Γηθηχσλ απηή ηε θνξά γηα ηελ εχξεζε βέιηηζησλ βαξψλ θαηά ηελ εθπαίδεπζε ελφο Νεπξσληθνχ Γηθηχνπ. Αξρηθά ν Δμειηθηηθνί Αιγφξηζκνο αλαδεηά ζε φιν ην εχξνο ιχζεηο, πνπ θαίλεηαη, λα έρνπλ ηνπηθά αθξφηαηα θαη ζηε ζπλέρεηα αλαιακβάλεη ν Backpropagation λα θάλεη ηελ αλαδήηεζε ζε ηνπηθφ επίπεδν. Γηα παξάδεηγκα, ηα ζεκεία a θαη b είλαη ζεκεία, πνπ κπνξνχλ λα εληνπηζηνχλ απφ θάπνην γελεηηθφ αιγφξηζκν θαη ζηε ζπλέρεηα λα γίλεη πεξαηηέξσ αλαδήηεζε ηνπηθνχ βέιηηζηνπ απφ Backpropagation αιγφξηζκν. 36

39 σήμα 4.2:Τβξηδηθή εθπαίδεπζε. Ζ αξρηθή αλαδήηεζε απφ γελεηηθφ αιγφξηζκν εληνπίδεη «ππνζρφκελα ζεκεία» (a,b) θαη ζηε ζπλέρεηα γίλεηαη ε αλαδήηεζε ηνπηθνχ βέιηηζηνπ(1,2) απφ ηνλ Backpropagation.[6] Ο Lee et al [14], ρξεζηκνπνίεζαλ GAs γηα αλαδήηεζε θνληηλψλ βέιηηζησλ αξρηθψλ ζπλδεηηθψλ βαξψλ θαη ζηε ζπλέρεηα ρξεζηκνπνίεζαλ Backpropagation γηα αλαδήηεζε ηνπηθνχ βέιηηζηνπ. Σα απνηειέζκαηα έδεημαλ φηη ε πβξηδηθή πξνζέγγηζε GA/BP είλαη πνιχ απνηειεζκαηηθφηεξε απφ ηελ πξνζέγγηζε κε ρξήζε κφλν GA ή BP. Παξφκνηα δνπιεηά έγηλε ζε αληαγσληζηηθά Νεπξσληθά Γίθηπα θαη ζε δίθηπα Kohonen κε κεγάιε επηηπρία[15] ΔΞΔΛΗΞΖ ΣΖ ΑΡΥΗΣΔΚΣΟΝΗΚΖ Γηα ηελ εμέιημε ησλ ζπλδεηηθψλ βαξψλ δερηήθακε ηελ αξρηηεθηνληθή ηνπ Νεπξσληθψλ Γηθηχσλ σο ζηαζεξά. Όηαλ ιέκε αξρηηεθηνληθή, ελλννχκε ηελ ηνπνινγηθή δνκή ηνπ δηθηχνπ, θαζψο επίζεο θαη ηελ ζπλάξηεζε ελεξγνπνίεζεο αλάκεζα ζε θάζε θφκβν. Με ηε ρξήζε Δμειηθηηθψλ Νεπξσληθψλ Γηθηχσλ παξέρεηαη ε δπλαηφηεηα ηεο εμέιημεο ηεο αξρηηεθηνληθήο ηνπ Νεπξσληθνχ Γηθηχνπ.[12] σήμα 4.3: Κχθινο εμέιημεο αξρηηεθηνληθήο ελφο back propagation Νεπξσληθνχ Γηθηχνπ.[6] 37