Εξελικτικά Τεχνητά Νευρωνικά ίκτυα

Transcript

1 Εξελικτικά Τεχνητά Νευρωνικά ίκτυα ιπλωµατική Εργασία Σταµάτιος- Αγγελος Ν. Αλεξανδρόπουλος Πανεπιστήµιο Πατρών Σχολή Θετικών Επιστηµών Τµήµα Μαθηµατικών Πάτρα Επιβλέπων : Καθηγητής Μιχαήλ Ν. Βραχάτης (Φεβρουάριος 2016)

2 i Αυτή η ιπλωµατική Εργασία στοιχειοθετήθηκε µε το πρόγραµµα LaT E X (διανοµές MiKTeX και tetex). Η συγγραφή έγινε µε τη βοήθεια των προγραµµάτων WinEdt (στο λειτουργικό σύστηµα Microsoft Windows 10) και vi (στο λειτουργικό σύστηµα Linux Mint). Η τελική ηλεκτρονική µορφή (Portable Document Format PDF) δηµιουργήθηκε µε το πρόγραµµα PDFLaT E X και η επεξεργασία των σχηµάτων έγινε µε τα προγράµµατα Adobe Photoshop, Gimp και xv. Στο εξώφυλλο απεικονίζονται ένα Τεχνητό Νευρωνικό ίκτυο τοπολογίας 3-4-2, το οποίο αποτελείται από τρεις κόµβους στο επίπεδο εισόδου, τέσσερις στο κρυφό επίπεδο και δύο κόµβους στο επίπεδο εξόδου.

3 ii

4 iii Στον δάσκαλό µου για την επιµονή και τις κατευθύνσεις του, την Παναγιώτα για τη στήριξη και την αγάπη της και την Γιώτα που κάθε µέρα µου λείπει και περισσότερο

5 iv

6 Περίληψη Ενα ξέρω, ότι δεν ξέρω τίποτα. Σωκράτης (470 π.χ 399 π.χ) Στην παρούσα διπλωµατική εργασία µελετάµε µια ειδική κατηγορία Τεχνητών Νευρωνικών ικτύων (ΤΝ ) που τα τελευταία χρόνια έχουν απασχολήσει έντονα την επιστηµονική κοινότητα, τα λεγόµενα Εξελικτικά Τεχνητά Νευρωνικά ίκτυα (ΕΤΝ ). Πιο συγκεκριµένα, στο Κεφάλαιο 1 παραθέτουµε εισαγωγικές έννοιες και όρους αναφο- ϱικά µε τα ΤΝ, έννοιες που ϑα χρειαστούν στα επόµενα κεφάλαια της εργασίας. Εξηγούµε τον τρόπο λειτουργίας των ΤΝ, περιγράφοντας τα ϐασικά κοµµάτια ενός ΤΝ, τα ϐασικά µοντέλα και τις αρχιτεκτονικές που χρησιµοποιούνται ευρέως στον χώρο. Εστιάζουµε στο µοντέλο των Πολυεπίπεδων ΤΝ εµπρόσθιας τροφοδότησης και στην εκπαίδευση αυτού του µοντέλου µε τον πιο γνωστό αλγόριθµο µάθησης, τον Αλγόριθµο Οπίσθιας ιάδοσης. Το Κεφάλαιο 2 αφιερώνεται στα διάφορα µοντέλα Εξελικτικού Υπολογισµού (ΕΥ) και τους Εξελικτικούς Αλγορίθµους (ΕΑ). Παραθέτουµε τη συσχέτιση αυτών των Τεχνητών Εξελικτικών ιαδικασιών µε τις αντίστοιχες ϐιολογικές διαδικασίες της ϕυσικής εξέλιξης και εστιάζουµε στα πιο γνωστά µοντέλα ΕΑ και ιδιαίτερα τους Γενετικούς Αλγορίθµους (ΓΑ). Ακόµα, συζητάµε τους ϐασικούς άξονες των γενετικών τελεστών όπως και τον τρόπο λειτουργίας αυτών, καθώς και τη σύγκλιση αλλά και την πολυπλοκότητα των ΕΑ. Στο Κεφάλαιο 3 συναντάµε το «πάντρεµα» των ΤΝ µε τις Εξελικτικές ιαδικασίες του δευτέρου κεφαλαίου. Ετσι, παρουσιάζουµε τα ΕΤΝ και τον τρόπο δηµιουργίας αυτών. Καταγράφουµε τις προσπάθειες που έχουν γίνει από την επιστηµονική κοινότητα, ώστε να χρησιµοποιηθούν σε πληθώρα παραδειγµάτων, έναντι των κλασικών ΤΝ, όπως τα σχετικά αποτελέσµατα και παρατηρήσεις. Συγκεκριµένα, εστιάζουµε στον τρόπο εξέλιξης των συναπτικών ϐαρών, της αρχιτεκτονικής και των κανόνων µάθησης, παρουσιάζοντας τα σηµεία που υπερτερούν σε σχέση µε τις παραδοσιακές µεθόδους. Το κεφάλαιο αυτό κλείνει µε µια ευρύτερη συζήτηση για τις υβριδικές τεχνικές ϐελτιστοποίησης, αντίστοιχα σχόλια και προβληµατισµούς. Η παρουσίαση της διπλωµατικής εργασίας ολοκληρώνεται µε το Κεφάλαιο 4 στο οποίο καταγράφονται συνοπτικά παρατηρήσεις αλλά και µελλοντικές ϕιλοδοξίες αναφορικά µε τα ΕΤΝ.

7 vi

8 Ευχαριστίες Ενας από τους σηµαντικότερους λόγους που έγινα Μαθηµατικός, οφείλεται στην αγαπηµένη καθηγήτρια και ϕίλη Α. Τέγα. Κοντά της αγάπησα τα Μαθηµατικά και πήρα την απόφαση να ακολουθήσω αυτό το όµορφο ταξίδι. Για αυτούς και άλλους πολλούς λόγους ϑα ήθελα να την ευχαριστήσω από τα ϐάθη της καρδιάς µου. Αυτό το ταξίδι ϑα ήταν ϕτωχό εάν στο δεύτερο έτος της προπτυχιακής µου ϕοίτησης, δεν συναντούσα τον καλό µου δάσκαλο κ. Μ. Ν. Βραχάτη, που µέσα από την συνεργασία µας, µε κράτησε κοντά στους στόχους µου, µου έδωσε το έναυσµα να συνεχίσω µετά από κάθε δυσκολία και µε παρότρινε να ακολουθήσω µεταπτυχιακές σπουδές στο ίδιο τµήµα. Οι ευχαριστίες που του οφείλω είναι τεράστιες, όχι µόνο για τα παραπάνω, αλλά και για όλες αυτές τις στιγµές και εµπειρίες που έχω αποκοµίσει δίπλα του. Θα ήθελα επίσης, να ευχαριστήσω και τα άλλα δύο µέλη της Τριµελούς Συµβουλευτικής Επιτροπής µου, τους κ.κ. Π. Αλεβίζο και Σ. Κωτσιαντή, των οποίων η ϐοήθεια ήταν σηµαντική για την ολοκλήρωση αυτής της εργασίας. Οποτε χρειάστηκε ηταν διαθέσιµοι, για να συζητήσουµε διαφόρων ειδών προβλήµατα και ανησυχίες. Η συνεισφορά του µεταδιδακτορικού ϕοιτητή και ϕίλου Μάξιµου Καλλιακάτσου-Παπακώ στα ήταν καταλυτική. Θα ήταν παράλειψη η µη αναφορά στον υποψήφιο διδάκτορα Γ. Αντζουλάτο που όποτε χρειάστηκε ήταν εκεί, στην υποψήφια διδάκτορα Ν. Ζώττου που µε έµαθε να πεισµώνω, τον υποψήφιο διδάκτορα Ε. Οικονοµάκη που έκανε υποµονή και µε κράτησε στα χρονικά πλαίσια που έθετα και τους Α. Βενέτη, Α. Αραβαντινού και Χ. Αριδά που µέσα από τη συνεργασία µας κέρδισα πολύ όµορφες στιγµές. Θα ήθελα ακόµα να ευχαριστήσω ϑερµά τον µεταδιδακτορικό ϕοιτητή του Πανεπιστηµίου Stirling Μ. Επιτροπάκη που µε έµαθε να «ψαρεύω», ώστε να µη µείνω ποτέ νηστικός. ίχως τις καθοριστικές συµβουλές του δε ϑα είχα καταφέρει να ϕτάσω ως εδώ. Μέ όλη τη δύναµη της ψυχής µου, ϑα ήθελα να ευχαριστήσω τη µητέρα µου Παναγιώτα, τον πατέρα µου Νίκο, τον αδερφό µου Σωτήρη και την αγαπηµένη µου Λίνα, που µε στήριξαν, µε αγάπησαν και δεν έπαψαν στιγµή να πιστεύουν σε αυτό που κάνω. ίχως αυτούς δε ϑα είχα πραγµατοποιήσει το µεγαλύτερο όνειρό µου, να γίνω ένας απλός Μαθηµατικός. Ιδιαίτερες ευχαριστίες στον καθηγητή και ϕίλο Α. Μίγκο καθώς και στους καλούς ϕίλους και συνοδοιπόρους Γ. Ζαφειράκη, Α. Σπυρόπουλο, Μ. Καβουκλή, Η. Τσαγρή, Ε. Καλογεροπούλου, Κ. Κωνσταντοπούλου, Σ. Ζαχαράκη και Κ. Κόκοτο. Σταµάτιος-Άγγελος Ν. Αλεξανδρόπουλος Πάτρα, 2016.

9 viii

10 Περιεχόµενα Περίληψη Ευχαριστίες v vii I Εισαγωγή και Βασικές Εννοιες 1 1 Τεχνητά Νευρωνικά ίκτυα Τρόπος λειτουργίας του νευρώνα Συναρτήσεις Ενεργοποίησης Αρχιτεκτονικές ΤΝ ΤΝ Εµπρόσθιας Τροφοδότησης ενός επιπέδου Single-layer feedforward neural networks Πολυεπίπεδα ΤΝ Εµπρόσθιας Τροφοδότησης Multi-layer feedforward neural networks Recurrent Neural Networks (RNN) ιαδικασίες Μάθησης Μάθηση µε διόρθωση σφάλµατος Μάθηση µε επίβλεψη Μάθηση χωρίς επίβλεψη Πολυεπίπεδα Τεχνητά Νευρωνικά ίκτυα εµπρόσθιας τροφοδότησης Αλγόριθµος Οπίσθιας ιάδοσης Γιατί χρησιµοποιούµε ΤΝ Πλεονεκτήµατα και Μειονεκτήµατα Εξελικτικοί Αλγόριθµοι Βιολογικό υπόβαθρο των Εξελικτικών Αλγορίθµων Μια σύντοµη περιγραφή Βασικά Μοντέλα Γενετικοί Αλγόριθµοι Εξελικτικές Στρατηγικές Εξελικτικός Προγραµµατισµός ιαφοροεξελικτικοί Αλγόριθµοι Λίγα λόγια για τους Γενετικούς Τελεστές Σύγκλιση και Πολυπλοκότητα II Χρήση Εξελικτικων διαδικασιών στα ΤΝ 33 3 Εξελικτικά Τεχνητά Νευρωνικά ίκτυα Εξέλιξη των συναπτικών ϐαρών του ΕΤΝ Αναπαράσταση των συναπτικών ϐαρών ως δυαδικές συµβολοσειρές Αναπαράσταση των συναπτικών ϐαρών ως πραγµατικοί αριθµοί Σύγκριση µεταξύ Εξελικτικής Εκπαίδευσης και εκπαίδευσης µε χρήση του BP

11 x Υβριδική προσέγγιση Εξελικτικής Εκπαίδευσης Εξέλιξη της αρχιτεκτονικής του ΕΤΝ Σχήµα άµεσης κωδικοποίησης για την συνδεσιµότητα ενός ΕΤΝ Σχήµα έµµεσης κωδικοποίησης για τη συνδεσιµότητα ενός ΕΤΝ Εξέλιξη του κόµβου συνάρτησης µεταφοράς Σύνοψη και συµπεράσµατα Εξέλιξη των κανόνων µάθησης στο ΕΤΝ III Συµπεράσµατα Παρατηρήσεις Βιβλιογραφία 49 4 Επίλογος Σύνοψη Μελλοντική εργασία Βιβλιογραφία 53

12 Κατάλογος Σχηµάτων 1.1 Νευρικό κύτταρο του ανθρώπινου εγκεφάλου Βιολογικό Νευρωνικό ίκτυο Μη γραµµικό µοντέλο νευρώνα Η µεροληψία στον τεχνητό νευρώνα Συνάρτηση κατώφλι Η σιγµοειδής συνάρτηση Η συνάρτηση piecewise-linear ΤΝ εµπρόσθιας τροφοδότησης µε τοπολογία Αναδραστικό ΤΝ ιάγραµµα µάθησης µε επίβλεψη MLP τοπολογίας Αλγόριθµος Οπίσδιας διάδοσης (back-propagation) Ενας τυπικός ΕΑ Ενας τυπικός Εξελικτικός Κύκλος ράση του τελεστή διασταύρωσης Ενας τυπικός ΓΑ Ενας τυπικός αλγόριθµος ΕΠ Ανασυνδυασµός ενός σηµείου Ανασυνδυασµός πολλών σηµείων

13 xii

14 Κατάλογος Πινάκων 3.1 Τυπικός κύκλος εξέλιξης συναπτικών ϐαρών Βασικά χαρακτηριστικά Μια σύντοµη περιγραφή της εξελικτικής αναπαράστασης της αρχιτεκτονικής Ενας τυπικός κύκλος εξέλιξης των κανόνων µάθησης

15 Μέρος I Εισαγωγή και Βασικές Εννοιες

16

17 Κ Ε Φ Α Λ Α Ι Ο 1 Τεχνητά Νευρωνικά ίκτυα Η στερνή, η πιο ιερή µορφή της ϑεωρίας είναι η πράξη. Νίκος Καζαντζάκης ( ) Ηιδέα της δηµιουργίας των Τεχνητών Νευρωνικών ικτύων (ΤΝ ) (ή απλά Νευρωνικά ίκτυα) προήλθε από τα ϐιολογικά νευρωνικά δίκτυα του ανθρώπινου εγκε- ϕάλου [1]. Ο ανθρώπινος εγκέφαλος είναι ένας πολύπλοκος, µη γραµµικός και παράλληλος Η/Υ [2], που έχει την ικανότητα να οργανώνει τους νευρώνες µε τέτοιο τρόπο ώστε να κάνει συγκεκριµένους υπολογισµούς. Ενα πολύ σηµαντικό χαρακτηριστικό του ανθρώπινου εγκεφάλου είναι η πλαστικότητα, δηλαδή η ικανότητα του νευρικού συστήµατος να προσαρµόζεται στο περιβάλλον και εκφράζεται µε δύο τρόπους : (α) τη δηµιουργία νέων συνάψεων µεταξύ των νευρώνων και (ϐ) την τροποποίηση των ήδη υπαρχόντων νευρώνων. Στο σχήµα 1.1 και 1.2 παρουσιάζεται ένα ϐιολογικό νευρικό κύτταρο και ένα ϐιολογικό νευ- ϱωνικό δίκτυο αντίστοιχα, στα οποία είναι εµφανή τα ϐασικά στοιχεία ενός νευρώνα, όπως οι δενδρίτες, οι συνάψεις, οι είσοδοι και οι έξοδοι, καθώς και οι συνδέσεις µε άλλους νευρώνες. Σχήµα 1.1: Νευρικό κύτταρο του ανθρώπινου εγκεφάλου Οπως στον ανθρώπινο εγκέφαλο, έτσι και στα ΤΝ η πλαστικότητα είναι απαραίτητη, καθώς µέσω αυτής οι νευρώνες του δικτύου, λειτουργούν ως αυτόνοµες µονάδες επεξεργασίας. Στη συνέχεια παραθέτουµε δύο ϐασικούς ορισµούς [3, 4] για τα ΤΝ. Ο πρώτος και απλούστερος από τους δύο είναι ο εξης : Ορισµός 1.1 Ενα Τεχνητό Νευρωνικό ίκτυο (ΤΝ ) είναι µια µηχανή που έχει σχεδιαστεί για να µοντελοποιεί τον τρόπο µε τον οποίο ο ανθρώπινος εγκέφαλος, εκτελεί µια συγκεκριµένη εργασία. Ο δεύτερος και πιο λεπτοµερής ορισµός που περιγράφει πιο αυστηρά τις λειτουργίες του ΤΝ είναι ο παρακάτω :

18 4 Τεχνητά Νευρωνικά ίκτυα Σχήµα 1.2: Βιολογικό Νευρωνικό ίκτυο Ορισµός 1.2 Ενα Τεχνητό Νευρωνικό ίκτυο (ΤΝ ) είναι ένας παράλληλος κατανεµηµένος επεξεργαστής που έχει κατασκευαστεί από απλές µονάδες επεξεργασίας, τους νευρώνες ( neurons), έχει µια ϕυσική κλίση στο να αποθηκεύει εµπειρική γνώση και έχει την ικανότητα να την χρησιµοποιεί. Μοιάζει µε τον ανθρώπινο εγκέφαλο σε δύο σηµέια : 1. Η γνώση λαµβάνεται από το δίκτυο µέσω εκπαίδευσης 2. Η αποθήκευση της γνώσης γίνεται µέσω των ϐαρών ( weights) που υπάρχουν στις διασυνδέσεις µεταξύ των νευρώνων Η εκπαίδευση του δικτύου γίνεται µέσω ενός αλγορίθµου εκπαίδευσης και ο σκοπός αυτής της διαδικασίας είναι να µεταβάλει τα ϐάρη των διασυνδέσεων, ώστε το ΤΝ να παράγει την επιθυµητή έξοδο. Επίσης, τα ΤΝ έχουν τη δυνατότητα να µεταβάλλουν την τοπολογία τους, όπως ακριβώς και ο ανθρώπινος εγκέφαλος [5]. Τέλος, τα ΤΝ είναι πολύ ισχυρές υπολογιστικές µηχανές, µε τη ϐοήθεια των οποίων έχου- µε τη δυνατότητα να αντιµετωπίσουµε πολύπλοκα προβλήµατα, τα οποία έχουν εφαρµογή σε πολλούς και ποικίλους τοµείς της επιστήµης και της τεχνολογίας. Τα τελευταία χρόνια, χρησιµοποιούνται ολοένα και περισσότερο και έχουν αποτελέσει τεράστια πηγή έρευνας. Στη συνέχεια, ϑα ασχοληθούµε µε τα ϐασικά και πιο συχνά χρησιµοποιούµενα µοντέλα ΤΝ, αναλύοντας τον τρόπο λειτουργίας τους. 1.1 Τρόπος λειτουργίας του νευρώνα Το ϐασικότερο µέρος ενός ΤΝ είναι ο νευρώνας, δηλαδή µια µονάδα επεξεργασίας πλη- ϱοφοριών, που δέχεται διάφορες τιµές ως εισόδους, παρέχοντας το αποτέλεσµα των υπολογισµών σε µία και µοναδική έξοδο. Σε ένα µοντέλο νευρώνων µπορούµε να διακρίνουµε τα παρακάτω ϐασικά στοιχεία : 1. Ενα σύνολο διασυνδέσεων, τις συνάψεις, η κάθε µία από τις οποίες χαρακτηρίζεται από ένα ϐάρος. Πιο συγκεκριµένα, ένα σήµα x j στην είσοδο της σύναψης j που είναι συνδεδεµένη µε τον νευρώνα k, πολλαπλασιάζεται µε το ϐάρος w kj. Το ϐάρος w kj είναι ϑετικό όταν η σχετική σύναψη διεγείρει τον νευρώνα και αρνητικό όταν η σύναψη είναι ανασταλτική. 2. Εναν αθροιστή, που αθροίζει τα εισερχόµενα σήµατα στον νευρώνα, τα οποία έχουν πολλαπλασιαστεί µε το ϐάρος της αντίστοιχης σύναψης από όπου εισήλθαν. 3. Μια συνάρτηση ενεργοποίησης, για τον περιορισµό του µεγέθους της εξόδου ενός νευ- ϱώνα. Συνήθως το κανονικοποιηµένο εύρος της εξόδου (µε άλλα λόγια η τιµή της εξόδου) ανήκει στο διάστηµα [0, 1] ή [ 1, 1].

19 1.1 Τρόπος λειτουργίας του νευρώνα 5 Σχήµα 1.3: Μη γραµµικό µοντέλο νευρώνα Το παραπάνω µη-γραµµικό µοντέλο περιλαµβάνει ένα επιπλέον ϐάρος, εµπνευσµένο από τα ϐιολογικά νευρικά κύτταρα, που καλείται µεροληψία (bias). Σκοπός αυτού του ϐάρους b k είναι η αύξηση ή η µείωση της τιµής που δίνει σαν έξοδο ο νευρώνας στη συνάρτηση ενεργοποίησης. Αν ϑεωρήσουµε ότι x 1, x 2,..., x m είναι τα εισερχόµενα σήµατα που δέχεται ο νευρώνας k, w k1, w k2,..., w km τα συναπτικά ϐάρη του k νευρώνα, u k η έξοδος του αθροιστή, φ( ) η συνάρτηση ενεργοποίησης και y k το σήµα που δίνει σαν έξοδο ο k νευρώνας, τότε : και u k = m w kj x j j=1 y k = φ k (u k ) Η εφαρµοφή της µεροληψίας προκαλεί στην έξοδο του δικτύου τον εξής µετασχηµατισµό : m y k = φ k (u k + b k ) y k = φ k ( w kj x j ) για x 0 = 1 και w k0 = b k. ιακρίνουµε τις παρακάτω περιπτώσεις, ανάλογα µε την τιµή της µεροληψίας b k : j=0 Σχήµα 1.4: Η µεροληψία στον τεχνητό νευρώνα Η µεροληψία b k µπορεί να προστεθεί στις παραπάνω σχέσεις ή οι παραπάνω σχέσεις µπορούν να γραφτούν στην εξής µορφή :

20 6 Τεχνητά Νευρωνικά ίκτυα u k = και m w kj x j y k = φ(u k ) µε τη µεροληψία να συµπεριλαµβάνεται, καθώς για µια νέα σύναψη x 0 = 1, έχουµε : j=0 w k0 = b k Με αυτό τον τρόπο έχουµε την πρόσθεση ενός νέου σήµατος x 0, καθώς και ένα επιπλέον ϐάρος w k0 που ισούται µε τη µεροληψία Συναρτήσεις Ενεργοποίησης Η συνάρτηση ενεργοποίησης συµβολίζεται µε φ( ) και ορίζει την έξοδο του νευρώνα. Ακολούθως παραθέτουµε τους πιο γνωστούς και ευρέως χρησιµοποιούµενους τύπους συναρτήσεων ενεργοποίησης [6]: 1. Η συνάρτηση κατώφλι (threshold function), για την οποία ισχύει : φ(u) = { 1, u 0 0, u 0 και y k = { 1, u k 0 0, u k 0 όπου u k = m w kj x j b k. j=1 Οπως ϕαίνεται και από τη γραφική παράσταση (σχήµα 1.5), η έξοδος του νευρώνα ισούται µε 1, στην περίπτωση που η δυνατότητα ενεργοποίησης είναι µη αρνητική, διαφορετικά ισούται µε Η σιγµοειδής συνάρτηση (sigmoid function) ή λογιστική συνάρτηση είναι η πιο γνωστή και ευρέως χρησιµοποιούµενη συνάρτηση ενεργοποίησης. Είναι µια γνησίως αύξουσα συνάρτηση, οµαλή και ασυµπτωτική, της µορφής : φ(u) = exp( αu) όπου α είναι η παράµετρος που καθορίζει την κλίση της σιγµοειδούς συνάρτησης. Οσο µεγαλώνει η τιµή της παραµέτρου α, τόσο η σιγµοειδής προσεγίζει τη συνάρτηση κατωφλίου. Σε αντίθεση µε τη συνάρτηση κατωφλίου, η σιγµοειδής συνάρτηση µπορεί να πάρει όλες τις τιµές στο [0, 1].

21 1.1 Τρόπος λειτουργίας του νευρώνα 7 Σχήµα 1.5: Συνάρτηση κατώφλι Σχήµα 1.6: Η σιγµοειδής συνάρτηση 3. Η τµηµατικά-γραµµική συνάρτηση Piecewise-Linear function έχει την µορφή : 1, u 1 2 φ( ) = 1 u, 2 > u > 1 2 0, u 1 2 όπου µπορεί να µετατραπεί σε συνάρτηση κατώφλι, εάν ο παράγοντας ενίσχυσης (amplification factor) γίνει απείρως µεγάλος. Οπως αναφέρθηκε παραπάνω, η συνάρτηση ενεργοποίησης µπορεί να λάβει τιµές στο διάστηµα [ 1, 1]. Η συνάρτηση κατώφλι για παράδειγµα µπορεί να γραφεί στη µορφή : 1, u > 0 φ( ) = 0, u = 0 1, u < 0 Καθώς και η σιγµοειδής συνάρτηση στη µορφή :

22 8 Τεχνητά Νευρωνικά ίκτυα Σχήµα 1.7: Η συνάρτηση piecewise-linear φ(u) = tanh(u). Φυσικά, οι παραπάνω συναρτήσεις ενεργοποίησης δεν είναι µοναδικές, αλλά αυτές που χρησιµοποιούνται συχνότερα. Επίσης, γνωστές συναρτήσεις ενεργοποίησης [36] είναι οι Gaussian, Rectified Linear Unit (ReLU), Exponential Linear Unit (ELU), SoftPlus, Sinc κ.ά. 1.2 Αρχιτεκτονικές ΤΝ Το σηµείο της αρχιτεκτονικής ενός ΤΝ είναι καθοριστικό και χαρακτηριστικό για ένα δίκτυο και καθορίζεται από τον αλγόριθµο που χρησιµοποιήθηκε για την εκπαίδευση του ΤΝ. ιακρίνουµε τρεις ϐασικές κλάσεις αρχιτεκτονικής που καθορίζουν τις αντίστοιχες κατηγο- ϱίες νευρωνικών δικτύων : (α) ΤΝ Εµπρόσθιας Τροφοδότησης ενός επιπέδου Single-layer feedforward neural networks, (ϐ) Πολυεπίπεδα ΤΝ Εµπρόσθιας Τροφοδότησης Multi-layer feedforward neural networks και (γ) Αναδροµικά ΤΝ (Recurrent Neural Networks (RNN)) ΤΝ Εµπρόσθιας Τροφοδότησης ενός επιπέδου Single-layer feedforward neural networks Είναι η πιο απλή µορφή ενός ΤΝ, καθώς παρουσιάζει ένα επίπεδο µε κόµβους εισόδου που προβάλλονται σε ένα επίπεδο εξόδου µε νευρώνες, µε το αντίθετο να µην ισχύει. Οταν αναφερόµαστε στο single-layer, εννοούµε το επίπεδο εξόδου που περιέχει και τους νευρώνες που γίνονται οι υπολογισµοί, µε το επίπεδο εισόδου των κόµβων να µην υπολογίζεται, καθώς δεν πραγµατοποιούνται υπολογισµοί Πολυεπίπεδα ΤΝ Εµπρόσθιας Τροφοδότησης Multi-layer feedforward neural networks Σε αυτή την κλάση συναντάµε περισσότερα του ενός επίπεδα, τα λεγόµενα κρυφά. Οι νευ- ϱώνες των κρυφών επιπέδων καλούνται κρυφοί νευρώνες. Οι κρυφοί νευρώνες εµφανίζονται µεταξύ των κόµβων εισόδου και των νευρώνων εξόδου. Με την προσθήκη κρυφών επιπέδων το ΤΝ έχει τη δυνατότητα να προσεγγίζει συναρτήσεις µεγαλύτερης πολυπλοκότητας [7]. Οπως και στην κλάση των ΤΝ ενός επιπέδου, οι κόµβοι εισόδου παρέχουν τα στοιχεία των προτύπων εισόδου σαν διανύσµατα, που γίνονται είσοδοι στους νευρώνες του δεύτερου επιπέδου, δηλαδή του κρυφού. Τα σήµατα εξόδου αυτού του επιπέδου γίνονται σήµατα εισόδου στο επόµενο κρυφό επίπεδο κ.ο.κ.. Τα σήµατα εξόδου του τελευταίου επιπέδου

23 1.3 ιαδικασίες Μάθησης 9 αποτελούν και την απάντηση του δικτύου για τα δεδοµένα που εισείχθησαν στους κόµβους εισόδου. Στο σµήµα 1.8 ϐλέπουµε ένα πολυεπίπεδο ΤΝ εµπρόσθιας διατροφοδότησης, πλήρως διασυνδεδεµένο (δηλαδή κάθε κόµβος σε κάθε επίπεδο είναι συνδεµένος µε κάθε κόµβο του επόµενου), µε τρεις κόµβους στο επίπεδο εισόδου, τρεις κόµβους στο κρυφό επίπεδο και δύο κόµβους στο επίπεδο εξόδου. Σχήµα 1.8: ΤΝ εµπρόσθιας τροφοδότησης µε τοπολογία Recurrent Neural Networks (RNN) Το χαρακτηριστικό των Αναδροµικών Τεχνητών Νευρωνικών ικτύων (ΑΤΝ ) είναι ο ϐρόγχος ανατροφοδότητησης (feedback loop). Αυτό σηµαίνει ότι σε έναν τουλάχιστον νευρώνα, το σήµα εξόδου του επηρεάζει το σήµα που έρχεται στην είσοδο του νευρώνα. Ετσι, µπορούµε να έχουµε ένα ΑΤΝ που κάθε νευρώνας επιστρέφει το σήµα εξόδου του σαν είσοδο σε όλους τους υπόλοιπους νευρώνες, όπως ϕαίνεται στο σχήµα 1.9. Σχήµα 1.9: Αναδραστικό ΤΝ Αν ένα ΑΤΝ περιέχει κρυφούς νευρώνες, οι αναδροµικές συνδέσεις µπορούν να ξεκινούν από νευρώνες τόσο του κρυφού επιπέδου όσο και από νευρώνες εξόδου. Οι αναδροµικοί ϐρόγχοι περιέχουν στοιχεία καθεστέρησης (στο παραπάνω σχήµα η καθυστέρηση συµβολί- Ϲεται µε z 1 ), προσδίδοντας µια δυναµική µη γραµµική συµπεριφορά στο δίκτυο. 1.3 ιαδικασίες Μάθησης Οπως αναφέρθηκε και στην αρχή του κεφαλαίου, η ιδιότητα µάθησης είναι η πιο ση- µαντική για ένα ΤΝ. Χρησιµοποιώντας κάποιο µέτρο τα ΤΝ στοχεύουν στη ϐελτίωση της απόδοσής τους, µε τη διαδικασία µάθησης να γίνεται επαναληπτικά, ϐελτιώνοντας τα ϐάρη

24 10 Τεχνητά Νευρωνικά ίκτυα στις συνάψεις και τα κατώφλια. Στόχος είναι όσο η διαδικασία προχωρά στο χρόνο το ΤΝ να αποκτά περισσότερη γνώση. Στη συνέχεια παραθέτουµε τον ορισµό της µάθησης όπως έχει δοθεί στο [8] και είναι ο εξής : Ορισµός 1.3 Μάθηση ονοµάζεται η διαδικασία µε την οποία οι ελεύθερες παράµετροι ενός ΤΝ προσαρµόζονται µέσω µιας συνεχούς διαδικασίας λήψης ερεθισµάτων από το περιβάλλον. Ο τύπος της µάθησης καθορίζεται από τον τρόπο µε τον οποίο γίνονται οι αλλαγές στις παραµέτρους. Σύµφωνα µε τα παραπάνω συµπεραίνουµε ότι : (α) Ενα ΤΝ διεγείρεται από το περι- ϐάλλον, µε την έννοια ότι λαµβάνει ερεθίσµατα, τα οποία επεξεργάζεται και εξάγει χρήσιµες πληροφορίες, (ϐ) Ανάλογα µε τα ερεθίσµατα που λαµβάνει το δίκτυο από το περιβάλλον, µεταβάλλει τις τιµές των ελεύθερων παραµέτρων του και (γ) Ανάλογα µε τις αλλαγές που συµβαίνουν εσωτερικά, το ΤΝ έχει διαφορετική συµπεριφορά. Για την εκπαίδευση των ΤΝ χρησιποποιούνται αλγόριθµοι εκπαίδευσης µέσω των οποίων µεταβάλλονται οι ελεύθερες παράµετροί του, προκειµένου να έχουµε επιτυχή έξοδο. Ετσι δίνουµε τον παρακάτω ορισµό : Ορισµός 1.4 Καλούµε αλγόριθµο εκπαίδευσης ένα σύνολο από κανόνες που χρησιµοποιούνται για την επίλυση ενός προβλήµατος εκµάθησης Οπως είναι λογικό, δεν υπάρχει κάποιος αλγόριθµος που είναι ενδεδειγµένος για όλες τις περιπτώσεις. Μπορούµε να ϐρούµε όµως ένα σύνολο αλγορίθµων που χρησιµοποιούνται κατά περίπτωση, ανάλογα µε τα πλεονεκτήµατα και τα µειονεκτήµατα που παρουσιάζουν, καθώς και το είδος του προβλήµατος. Επί της ουσίας, η διαφορά στους αλγορίθµους εκπαίδευσης έγκειται στον τρόπο µε τον οποίο προσαρµόζουν τα συναπτικά ϐάρη στο ΤΝ Μάθηση µε διόρθωση σφάλµατος Η Μάθηση µε ιόρθωση Σφάλµατος (Error-Correction Learning) είναι από τους πιο γνωστούς και ευρέως διαδεδοµένους τρόπους µάθησης. Πιο συγκεκριµένα, έστω k ένας νευ- ϱώνας, ο οποίος ϐρίσκεται στο επίπεδο εξόδου ενός ΤΝ. Θεωρούµε πως ϐρισκόµαστε στη χρονική στιγµή n και έστω d k (n) η επιθυµητή απάντηση (target response) για τον νευρώνα k τη χρονική στιγµή n. Εστω y k (n) η πραγµατική απάντηση του νευρώνα k, η οποία προκαλείται από το πρότυπο x(n) που εισάγεται στο ΤΝ. Τις περισσότερες ϕορές είναι αδύνατο η επιθυµητή απάντηση να ταυτίζεται µε την πραγµατική και εποµένως ορίζουµε τη µεταξύ τους διαφορά ως σφάλµα. Συµβολικά, αν e το σφάλµα, έχουµε : e k (n) = d k (n) y k (n) Η εκπαίδευση µέσω διόρθωσης σφάλµατος στοχεύει στην ελαχιστοποίηση µιας συνάρτησης κόστους που ϐασίζεται στο παραπάνω σφάλµα e k (n), µε σκοπό η παραπάνω διαφορά να είναι όσο το δυνατόν µικρότερη. Με άλλα λόγια, επιδιώκουµε η πραγµατική τιµή να είναι κοντά στην επιθυµητή. Το πιο συχνό κριτήριο είναι το κριτήριο του µέσου τετραγωνικού σφάλµατος, το οποίο ορίζεται ως εξής : J = E[ 1 2 e 2 k (n)] και είναι το άθροισµα των σφαλµάτων των νευρώνων εξόδου του δικτύου. Οµως, η ελαχιστοποίηση της παραπάνω ποσότητας οδηγεί στη γνωστή µέθοδο [9] gradient descent που στην πράξη µας οδηγεί στη εύρεση µιας προσεγγιστικής λύσης, καθώς είναι αδύνατο να ϐρεθεί η ακριβής λύση του προβλήµατος ελαχιστοποίησης µέσω gradient descent. Για το λόγο αυτό, χρησιµοποιούµε το παρακάτω κριτήριο : k

25 1.3 ιαδικασίες Μάθησης 11 E(n) = 1 2 e 2 k (n) µε τη στιγµιαία τιµή του αθροίσµατος των τετραγωνικών σφαλµάτων. Ετσι, το δίκτυο ϐελτιστοποιείται, ελαχιστοποιώντας την E(n) ως προς τα ϐάρη των συνάψεων του ΤΝ. Σύµφωνα µε τον κανόνα εκπαίδευσης µε διόρθωσης σφάλµατος, η προσαρµογή των ϐαρών γίνεται σύµφωνα µε την παρακάτω σχέση : wij (n) = ηe k (n)x j (n) όπου wij είναι η προσαρµογή που γίνεται στο ϐάρος w ij, n η χρονική στιγµή και η µια ϑετική σταθερά που καθορίζει τον ϱυθµό εκπαίδευσης και πρέπει να επιλέγεται µε τρόπο που ϑα εξασφαλίζει τη διαδικασία από άποψη σταθερότητας. Κάτι που δηλώνει πως η προσαρµογή των ϐαρών εξαρτάται από το σφάλµα και το σήµα εισόδου. Μεγάλη σηµασία στη διαδικασία εκπαίδευσης µε διόρθωση σφάλµατος παίζει ο ϱυθµός εκπαίδευσης, καθώς επηρεάζει τον ϱυθµό σύγκλισης της εκπαίδευσης, αλλά και τη σύγκλιση αυτή καθέ αυτή. Για µικρή τιµή του η η εκπαίδευση ϑεωρείται οµαλή αλλά απαιτεί αρκετό χρόνο, κάτι που συνεπάγεται αργή σύγκλιση. Αν η τιµή του η είναι µεγάλη, το σύστηµα µπορεί να γίνει ασταθές, µε την εκπαίδευση ϐέβαια να είναι γρηγορότερη. Για τον λόγο αυτό, ϑα πρέπει η επιλογή της τιµής του ϱυθµού εκπαίδευσης η να είναι κατάλληλη [10, 11, 35] Μάθηση µε επίβλεψη Χαρακτηριστικό της Μάθησης µε Επίβλεψη (Supervised Learning) [12] είναι η παρουσία ενός έµπειρου παράγοντα τον οποίο καλούµε «δάσκαλο». Σε αντίθεση µε το δίκτυο, ϑεωρούµε πως ο δάσκαλος διαθέτει την απαραίτητη γνώση για το περιβάλλον, δηλαδή ένα σύνολο παραδειγµάτων καθώς και την αντίστοιχη έξοδο. Αυτό σηµαίνει πως αν δώσουµε ένα πρότυπο από το περιβάλλον τόσο στον δάσκαλο όσο και στο ΤΝ, τότε ο δάσκαλος ϑα έχει τη δυνατότητα λόγω της γνώσης του να παρέχει την επιθυµητή έξοδο στο δίκτυο. Στόχος στην µάθηση µε επίβλεψη είναι το ΤΝ να προσοµοιώσει τον δάσκαλο. Σε αυτή την περίπτωση, επιτρέπουµε στο ΤΝ να αλληλεπιδράσει µε το περιβάλλον καθώς πλέον ϑεωρούµε πως έχει αποκτήσει τη γνώση που χρειάζεται. Ανάλογα µε το πρότυπο που χρησιµοποιείται και το σφάλµα του δικτύου, οι παράµετροι του δικτύου προσαρµόζονται κατάλληλα, επαναληπτικά προς την επίτευξη αυτού του στόχου. Η Μάθηση µε ιόρθωση Σφάλµατος µπορεί να ϑεωρηθεί ως Μάθηση µε Επίβλεψη. k Σχήµα 1.10: ιάγραµµα µάθησης µε επίβλεψη Σε όλη τη διαδικάσια µάθησης δεν περιλαµβάνεται το περιβάλλον στο οποίο λειτουργεί το ΤΝ. Η απόδοση του συστήµατος εκτιµάται µέσω µιας συνάρτησης η οποία εξαρτάται από τις ελέυθερες παραµέτρους του συστήµατος και καλείται επιφάνεια σφάλµατος. Για να είναι καλή η απόδοση του συστήµατος ϑα πρέπει το σηµείο-λειτουργίας που προβάλλεται πάνω σε

26 12 Τεχνητά Νευρωνικά ίκτυα αυτή την επιφάνεια σφάλµατος να οδεύει να οδηγεί προς κάποιο ελάχιστο της συνάρτησης. Ενα ΤΝ που µαθαίνει µε τη ϐοήθεια ενός δασκάλου µπορεί στο πέρασµα του χρόνου να µετακινεί τα σηµεία-λειτουργίας προς το ελάχιστο της συνάρτησης, γνωρίζοντας κάποιες πληροφορίες για την κλίση (gradient) της επιφάνειας σφάλµατος Μάθηση χωρίς επίβλεψη Σε αντίθεση µε την εποπτευόµενη µάθηση, στη Μάθηση χωρίς Επίβλεψη (Unsupervised Learning) ή Αυτο-οργανούµενη Μάθηση (Self-organization Learning) [13] δεν υπάρχει κάποιος εµπειρογνώµον που επιβλέπει το δίκτυο. Πρακτικά, αυτό σηµαίνει ότι το δίκτυο δε µαθαίνει µέσα από παραδείγµατα. Ανεξάρτητα µε το σκοπό που εκτελεί ένα ΤΝ, υπάρχει µια ποσότητα που µετρά την ποιότητα της αναπαράστασης του δικτύου. Με ϐάση αυτό το µέτρο, επιτυγχάνεται η ϐελτιστοποίηση των ελεύθερων παραµέτρων του δικτύου. Επιπλέον, έχει την ικανότητα να δηµιουργεί αυτόµατα εσωτερικές αναπαραστάσεις για την κωδικοποίηση των χαρακτηριστικών των προτύπων που λαµβάνει στην είσοδο. 1.4 Πολυεπίπεδα Τεχνητά Νευρωνικά ίκτυα εµπρόσθιας τρο- ϕοδότησης Στην παράγραφο αυτή ϑα ασχοληθούµε λίγο πιο αναλυτικά µε τα Πολυεπίπεδα Εµπρόσθιας Τροφοδότησης (Multilayer Perceptrons (MLPs)). Ενα MLP απαρτίζεται από τρία µέρη : 1. Το Επίπεδο εισόδου : το οποίο περιέχει τους κόµβους εισόδου 2. Τα Κρυφά επίπεδα : τα οποία περιέχουν ένα ή περισσότερα επίπεδα νευρώνων που εκτελούν υπολογισµούς 3. Το Επίπεδο εξόδου : το οποίο περιέχει τους νευρώνες εξόδου, που επίσης εκτελούν υπολογισµούς Οπως ϕανερώνει και το όνοµά τους, το σήµα εισόδου κινείται προς τα εµπρός, περνώντας από το ένα επίπεδο στο άλλο. Ενα (MLP) εκπαιδεύεται συνήθως µε επίβλεψη, µε τον πιο γνωστό αλγόριθµο τον Αλγόριθµο Οπίσθιας ιάδοσης (Back Propagation Algorithm), τον οποίο ϑα αναλύσουµε σε επόµενη ενότητα, και στηρίζεται στη διόρθωση σφάλµατος. Στα MLPs µπορούµε να εντοπίσουµε τα εξής σηµαντικά χαρακτηριστικά : 1. Μια µη-γραµµική συνάρτηση ενεργοποίησης στην έξοδο του δικτύου, η οποία είναι παντού παραγωγίσιµη, δηλαδή οµαλή. Η πιο γνωστή και ευρέως χρησιµοποιούµενη είναι η σιγµοειδής συνάτηση y i = exp( u i ) όπου y i είναι η έξοδος του νευρώνα και u i η δραστηριότητα ενεργοποίησης του i νευρώνα. Η σχέση που δηµιουργείται στο συγκεκριµένο δίκτυο οµοιάζει αρκετά µε τη ϐιολογική µεταξύ των πραγµατικών νευρώνων. 2. Το MLP διαθέτει κρυφούς νευρώνες σε περισσότερα του ενός κρυφά επίπεδα, που δε «συµµετέχουν»στην είσοδο-έξοδο του συστήµατος. Στόχος του δικτύου είναι η σωστή απόκριση, κάτι που συντελείται σηµαντικά µέσω των κρυφών νευρώνων, καθώς δίνουν στο δίκτυο τη δυνατότητα «µάθησης» αλλά και εκτέλεσης πολύπλοκων ενεργειών, εξάγοντας ϐήµα-ϐήµα τα κατάλληλα χαρκατηριστικά.

27 1.5 Αλγόριθµος Οπίσθιας ιάδοσης Το δίκτυο συνήθως παρουσιάζει υψηλή συνδεσηµότητα, που καθορίζεται από τις συνάψεις µεταξύ των νευρώνων του δικτύου. Οποιαδήποτε αλλαγή, ακόµα και µικρή, µπορεί να επιφέρει αλλαγές τόσο στον πληθυσµό των συνδέσεων όσο και στα ϐάρη τους. Παρακάτω παραθέτουµε ένα MLP µε τοπολογία , δηλαδή µε τρεις κόµβους στο επίπεδο εισόδου, τρεις κόµβους στα δύο κρυφά επίπεδα και δύο κόµβους στο επίπεδο εξόδου. Σχήµα 1.11: MLP τοπολογίας Στο MLP συναντάµε ένα σήµα στην είσοδο του δικτύου, το οποίο µεταδίδεται από τους αρχικούς κόµβους στο επίπεδο εισόδου, προς τους κόµβους στο επίπεδο εξόδου, περνώντας κανονικά από τα ενδιάµεσα κρυφά επίπεδα και τους κρυφούς νευρώνες. Σε κάθε νευρώνα από όπου διέρχεται, υπολογίζεται κανονικά σύµφωνα µε τη διαδικασία που περιγράψαµε στην παράγραφο 1.1. Το δεύτερο είδος ερεθίσµατος που συναντάµε, είναι ένα σήµα σφάλµατος το οποίο µεταδίδεται µε αντίστροφη κατεύθυνση από αυτή των σηµάτων εισόδου, δηλαδή από το επίπεδο εξόδου και πίσω. Τέλος, αυτό που αξίζει να σηµειώσουµε είναι πως οι νευρώνες των κρυφών επιπέδων, όπως και οι νευρώνες στο επίπεδο εξόδου του δικτύου εκτελούν δύο υπολογισµούς : α) Υπολογίζουν το σήµα που εµφανίζεται στις εξόδους και εκφράζεται συναρτήσει των σηµάτων που εισέρχονται σε κάθε νευρώνα, σε αντιστοιχία µε το ϐάρος των συνάψεων και ϐ) Υπολογίζουν µια στιγµιαία προσέγγιση της κλίσης τους σφάλµατος κατά την προς τα πίσω µετάδοση, από τους κόµβους εξόδου προς τους κόµβους εισόδου. 1.5 Αλγόριθµος Οπίσθιας ιάδοσης Στη συγκεκριµένη ενότητα παρουσιάζουµε ίσως τον πιο γνωστό και ευρέως χρησιµοποιούµενο αλγόριθµο εκπαίδευσης, τον Αλγόριθµο Οπίσθιας ιάδοσης (Back Propagation (BP) Algorithm) [6]. Στο σχήµα 1.12 παρουσιάζουµε την εκπαίδευση ενός MLP µε τη ϐοήθεια του BP, όπου w (l) είναι το ϐάρος της σύναψης ενός νευρώνα στο l επίπεδο, b (l) το κατώφλι ενός νευρώνα στο l επίπεδο, u (l) ένα διάνυσµα εσωτερικής δραστηριότητας για τους νευρώνες του l επιπέδου και y (l) το διάνυσµα σηµάτν των συναρτήσεων των νευρώνων στο επίπεδο l. Ο εκθέτης l συµβολίζει όπως ϕαίνεται και από την παραπάνω αναπαράσταση τα επίπεδα του δικτύου, µε l = 0 να χαρακτηρίζει το επίπεδο εισόδου και l = L το επίπεδο εξόδου. Στο σχήµα 1.12 τα επίπεδα του δικτύου είναι τρία, µε το L = 3 να αποτελεί και το ϐάθος του δικτύου. Στο πάνω µέρος του σχήµατος 1.12 ϕαίνεται η προς τα εµπρός ϕάση της διαδικασίας, ενώ στο κάτω µέρος η προς τα πίσω ή όπως είναι γνωστή η ϕάση της «ευαισθησίας». Στη ϕάση αυτή του αλγορίθµου υπολογίζονται οι τοπικές κλίσεις και συµβολικά έχουµε : d (l) το διάνυσµα τοπικών κλίσεων των νευώνων του l επιπέδου και e = (e 1, e 2,..., e q ) το διάνυσµα σφάλµατος. Για τον αλγόριθµο BP ϑα µπορούσαµε να διακρίνουµε τα ακόλουθα ϐήµατα :

28 14 Τεχνητά Νευρωνικά ίκτυα Σχήµα 1.12: Αλγόριθµος Οπίσδιας διάδοσης (back-propagation) 1. Αρχικοποιούµε όλα τα συναπτικά ϐάρη w των νευρώνων καθώς και τα κατώφλια b του δικτύου µε µικρούς τυχαίους αριθµούς, µε τη ϐοήθεια µιας κατανοµής (για παράδειγ- µα της οµοιόµορφης). 2. Εισαγάγουµε τα πρότυπα εκπαίδευσης. ίνουµε για µία επανάληψη στο δίκτυο τα πρότυπα για την εκπαίδευση, όπου για κάθε ένα εκτελούµε προς τα εµπρός και προς τα πίσω τις ενέργειες των ϐηµάτων 3 και 4 που ϕαίνονται παρακάτω. 3. Εκτελούµε τους προς τα εµπρός υπολογισµούς. Αν συµβολίσουµε µε x(n) το διάνυσµα προτύπου που εισαγάγουµε στο επίπεδο εισόδου και µε d(n) την απάντηση «στόχο»ή επιθυµητή απάντηση στο επίπεδο εξόδου, τότε µε [x(n), d(n)] συµβολίζουµε ένα πρότυπο εκπαίδευσης. Στη συνέχεια, προχωρώντας από επίπεδο σε επίπεδο, υπολογίζουµε τις δυνατότητες ενεργοποίησης και τα σήµατα συναρτήσεων των νευρώνων καθώς κινούµαστε προς τα εµπρός. Ετσι, έχουµε : u (l) j = m i=0 w(l) j (n)y(l 1) i (n) την εσωτερική δραστηριότητα του j νευρώνα στο επίπεδο l στην n οστή επανάληψη, µε y (l 1)(n) i να συµβολίζει το σήµα συνάρτησης του νευρώνα i, στο επίπεδο l 1 και w (l)(n) j το συναπτικό ϐάρος που ενώνει τον j νευρώνα στο επίπεδο l µε τον i νευρώνα στο επίπεδο l 1. Για i = 0 το σήµα συνάρτησης ισούται µε 1 και το ϐάρος είναι ίσο µε τη µεροληψία του νευρώνα j στο επίπεδο l, δηλαδή : y (l 1) 0 (n) = 1 και w (l) 0 (n) = b(l) (n) j Σύµφωνα µε τα παραπάνω και χρησιµοποιώντας τη σιγµοειδή συνάρτηση, το σήµα συνάρτησης ϑα δίνεται από τη σχέση :

29 1.5 Αλγόριθµος Οπίσθιας ιάδοσης 15 y (l) j (n) = exp( u (l) (n)) όπου αν ο νευρώνας j ϐρίσκεται στο επίπεδο εξόδου του δικτύου, δηλαδή αν l = L τότε : y (l) j (n) = o j(n) µε o j (n) να είναι η έξοδος του j νευρώνα. Ετσι, ορίζουµε το σφάλµα : j e j (n) = d j (n) o j (n) όπου d j (n) το j οστό στοιχείο του διανύσµατος της απάντησης-στόχος. 4. Εκτελούµε τους προς τα πίσω υπολογισµούς. Προχωρώντας προς τα πίσω από επίπεδο σε επίπεδο, υπολογίζουµε τις τοπικές κλίσεις d για τις οποίες ισχύει : d L j (n) = el j (n)o j(n)[1 o j (n)] και d l j (n) = yl j (n)[1 y(l) j (n)] k dl+1 k (n)w l+1 kj για τον νευρώνα j στο επίπεδο L και l αντίστοιχα. Αυτό συµβαίνει γιατί αν χρησι- 1 µοποιήσουµε για συνάρτηση ενεγοποίησης την o(x) =, αυτή έχει µερική 1 + exp x παράγωγο που γράφεται στην παρακάτω µορφή : o(x) x = ( 1 (1 + exp x ) 2 )( exp x ) = το οποίο µπορεί να γραφτεί ως εξής : exp x 1 + exp x 1 + exp x (n) 1 exp x 1 + exp x 1 + exp x = 1 + exp x (1 1 + exp x 1 + exp x 1 ) = o(x)(1 o(x)). 1 + exp x Σύµφωνα µε τα παραπάνω, τα ϐάρη προσαρµόζονται σύµφωνα µε την ακόλουθη σχέση : wji l (n + 1) = wl ji (n) + α(wl ji (n) wl ji (n 1)) + ηdl j (n)yl 1 j (n) 5. Επαναλαµβάνουµε την παραπάνω διαδικασία, δίνοντας στο δίκτυο νέα πρότυπα εκπαίδευσης, µέχρι να σταθεροποιηθούν οι ελεύθερες παράµετροι του δικτύου και η συνάρτηση σφάλµατος προσεγγίσει τη µικρότερη δυνατή τιµή.

30 16 Τεχνητά Νευρωνικά ίκτυα 1.6 Γιατί χρησιµοποιούµε ΤΝ Οπως είπαµε και στην εισαγωγή του κεφαλαίου, τα ΤΝ είναι υπολογιστικές µηχανές που ϑεωρητικά, ακριβώς όπως ο ανθρώπινος εγκέφαλος, µπορούν να εκτελέσουν κάθε λογής διεργασία. Αυτό γίνεται ϕανερό και από την πληθώρα των εφαρµογών στις οποίες έχουν χρησιµοποιηθεί ΤΝ τα τελυταία εικοσιπέντε και πλέον χρόνια [74 78]. Ετσι, ϐρίσκουµε εφαρµογές στα ακόλουθα αντικείµενα και εργασίες : 1. Αεροδιαστηµική : δηµιουργία αεροσκαφών αυτόµατης πλοήγησης, ανίχνευση σφαλ- µάτων στα συστήµατα αεροσκαφών. 2. Αυτοκινητοβιοµηχανία : δηµιουργία συστηµάτων αυτόµατης καθοδήγησης. 3. Στρατιωτικές Επιχειρήσεις : αναγνώριση σήµατος/εικόνας, αναγνώριση προσώπου, κα- ϑοδήγηση οπλικών συστηµάτων, ιχνηλασία στόχου, διάκριση αντικειµένων. 4. Ηλεκτρονικά συστήµατα : τεχνητή όραση, σύνθεση οµιλίας, ανάλυση αστοχίας στα ηλεκτρονικά κυκλώµατα. 5. Οικονοµία : πρόβλεψη αξίας νοµίσµατος, αξιολόγηση αιτήσεων για χορήγηση πίστωσης/δανείου, ϐαθµολόγηση εταιρικών οµολόγων. 6. Βιοµηχανία : σχεδιασµός και ανάλυση προϊόντων, συστήµατα ελέγχου ποιότητας προϊόντος, συστήµατα ελέγχου γνησιότητας/πιστοποιητικού, δυναµική µοντελοποίηση µηχανικών εξαρτηµάτων, σχεδιασµός και διαχείρηση προϊόντων. 7. Ιατρική : ανάλυση καρκινικών κυττάρων, ϐελτιστοποίηση χρόνου µεταµόσχευσης, χει- ϱουργική καθοδήγηση. 8. Οµιλία : αναγνώριση οµιλίας, ταξινόµηση οµιλίας, µετατροπή οµιλίας σε κείµενο. 9. Μεταφορές και Τηλεπικοινωνίες : συστήµατα δροµολόγησης, διάγνωση ϐλάβης στα ϕρένα ϕορτηγών, προγραµµατισµός των οχηµάτων, ανάλυση και συµπίεση δεδοµένων, υπηρεσίες αυτοµατοποιηµένης πληροφόρησης, µετάφραση οµιλίας σε πραγµατικό χρόνο. 10. Λογισµικό : αναγνώριση προτύπων, οπτική αναγνώριση χαρακτήρων 11. Πρόβλεψη Χρονοσειρών : πρόβλεψη αποθεµάτων, πρόβλεψη ϕυσικών καταστροφών 12. Εξόρυξη εδοµένων : αναγνώριση µοτίβων σε σύνολα δεδοµένων, οµαδοποίηση δεδο- µένων 13. Κρυπτογραφία : κωδικοποίηση, ανάλυση και αποκωδικοποίηση κρυπτοσυστηµάτων Πλεονεκτήµατα και Μειονεκτήµατα Φυσικά, όπως κάθε εργαλείο ή µηχανή, έτσι και τα ΤΝ έχουν τόσο πλεονεκτήµατα όσο και µειονεκτήµατα [79]. Ακολούθως, σηµειώνουµε ενδεικτικά ορισµένα από αυτά. Πλεονεκτήµατα 1. Ενα ΤΝ µπορεί να αναπτυχθεί εύκολα και σε σύντοµο χρόνο, δίχως κάποιος να είναι ειδικός. Ακόµα, κάποιος που ϑελει να ασχοληθεί µε ΤΝ έχει στη διάθεσή του ένα µεγάλο εύρος από εργαλεία λογισµικού για υλοποίηση.

31 1.6 Γιατί χρησιµοποιούµε ΤΝ Μπορούν να εντοπίσουν εµµέσως πολύπλοκες µη γραµµικές σχέσεις µεταξύ ανεξάρτητων και εξαρτηµένων µεταβλητών και έχουν τη δυνατότητα αυτόµατα, να προσαρµόσουν τα συναπτικά ϐάρη ώστε να προσπεράσουν τέτοιου είδους πολυπλοκότητα. 3. Εχουν την δυνατότητα να ανιχνεύουν όλες τις πιθανές αλληλεπιδράσεις µεταξύ των µεταβλητών πρόβλεψης. 4. Για την ανάπτυξή τους χρησιµοπούνται πολλοί διαφορετικοί αλγόριθµοι εκπαίδευσης, κάτι που παρέχει αρκετές διεξόδους ανάλογα µε τη ϕύση της διεργασίας που καλού- µαστε να διεκπεραιώσουµε µεσω ΤΝ. Μειονεκτήµατα 1. Μέχρι και σήµερα η ανάπτυξη ενός ΤΝ πολλές ϕορές είναι εµπειρική και µένει να µελετηθούν αρκετές αρχές και κανόνες αναφορικά µε αυτό το Ϲήτηµα. 2. Συχνά, όταν ϑέλουµε να επεξεργαστούµε µεγάλο όγκο δεδοµένων, απαιτείται και µεγάλη υπολογιστική ισχύς και έτσι ο χρόνος υπολογισµού µπορεί να γίνει πολύ υψηλός. 3. Μπορεί ανάλογα µε το σύνολο των δεδοµένων εκπαίδευσης να δηµιουργήσουµε ένα ΤΝ µε κακή ικανότητα γενίκευσης, κάτι που ϑα καθιστούσε το δίκτυο δύσχρηστο και αναποτελεσµατικό. 4. εν υπάρχει ΤΝ για το οποίο µπορούµε να πούµε πως είναι γενικά καλύτερο από κάποιο άλλο ή καλύτερο από όλα.

32 18 Τεχνητά Νευρωνικά ίκτυα

33 Κ Ε Φ Α Λ Α Ι Ο 2 Εξελικτικοί Αλγόριθµοι Ολα εξελίσσονται και τίποτα δεν µένει αµετάβλητο. Ηράκλειτος (544π.Χ. 484π.Χ.) είδαµε και στο προηγούµενο κεφάλαιο, η µοντελοποίηση του ανθρώπινου εγκεφάλου οδήγησε στη δηµιουργία των Τεχνητών Νευρωνικών ικτύων. Σε αντιστοίχιση µε τη µοντελοποίηση αυτή, ϐρίσκεται και εκείνη της ϕυσικής εξέλιξης Οπως στην ανάπτυξη και την εξέλιξη της Ϲωής, που τελικώς «γέννησε» τον Εξελικτικό Υπολογισµό (ΕΥ) και τους Εξελικτικούς Αλγορίθµους (ΕΑ) (Evolutionary Algorithms (EA)). Οι ΕΑ είναι αλγόριθµοι αναζήτησης και χρησιµοποιούνται για τον σχεδιασµό και την υλοποίηση υπολογιστικών συστηµάτων που επιλύουν πληθώρα προβληµάτων. Χρησιµοποιούν εξελικτικές διαδικασίες που ϐασίζονται στη ϕυσική επιλογή και τη γενετική. Η λογική των ΕΑ στηρίζεται στην επικράτηση του ικανότερου ή καταλληλότερου, ανάµεσα σε µια κοινωνία ατόµων και στοχεύει στη δηµιουργία ενός αλγορίθµου που προσεγγίζει την ανθρώπινη ανα- Ϲήτηση. Μιµούµενοι λοιπόν ϐασικές ϐιολογικές αρχές, παρέχουν αποτελεσµατικές λύσεις σε αρκετές εφαρµογές και προβλήµατα, κυρίως στον χώρο της ϐελτιστοποίησης. Ολα τα εξελικτικά µοντέλα ή τουλάχιστον τα περισσότερα από αυτά, στηρίζονται στην εξέλιξη των ατόµων µιας κοινωνίας ή πληθυσµού, µε τη ϐοήθεια διαδικασιών όπως η επιλογή (κατάλληλη) και η αναπαραγωγή. Οι ΕΑ ϐασίστηκαν και προσπάθησαν να οµοιάσουν στα ϐιολογικά συστήµατα της ϕύσης, υιοθετώντας κάποια πολύ σηµαντικά χαρακτηριστικά, όπως η προσαρµογή, η αυτοδιόρθωση και η αυτονοµία. Οπως είναι γνωστό, χάρη σε αυτά τα χαρακτηριστικά η ϕύση επιλύει άκρως αποτελεσµατικά τα διάφορα προβλήµατα που παρουσιάζονται σε ϐάθος εκατοµµυρίων χρόνων και διατηρεί τις απαιτούµενες ισορροπίες, όποιες και αν είναι οι συνθήκες. Στόχος λοιπόν των ΕΑ είναι η δηµιουργία αντίστοιχα εύ- ϱωστων (robust) τεχνητών υπολογισικών συστηµάτων, που ϑα αντέχουν στο χρόνο, ϑα είναι αποτελεσµατικά αλλά και αποδοτικά. Πιο συγκεκριµένα, οι ΕΑ ξεκινούν µε µια κοινωνία ατόµων (individuals) την οποία σύµ- ϕωνα µε κάποιους κανόνες επιλογής (selection rules) και κάποιους τελεστές (operators) εξελίσσουν. Κάθε άτοµο αυτού του πληθυσµού συµβολίζει ένα σηµείο από το χώρο των πι- ϑανών λύσεων για ένα συγκεκριµένο πρόβληµα το οποίο καλούµαστε να προσεγγίσουµε. Ακόµα, σε ορισµένες περιπτώσεις διαθέτει στοιχειώδη γνώση για τους κανόνες οι οποίοι χα- ϱακτηρίζουν το πρόβληµα. Κάθε άτοµο της κοινωνίας χαρακτηρίζεται από ένα µέτρο, το οποίο καλείται καταλληλότητα (fitness) του ατόµου, όπου προσδιορίζει, όπως ϕανερώνει και το όνοµά του, τη γνώση για το πόσο κατάλληλο είναι το άτοµο για το περιβάλλον του εκάστοτε προβλήµατος. Το µέτρο αυτό κωδικοποιείται µέσω µιας συνάρτησης, η οποία είναι γνωστή ως συνάρτηση καταλληλότητας (fitness function). Οπως αναφέραµε, οι ΕΑ στηρίζονται στην επιλογή ατόµων, η οποία ϑα πρέπει να είναι προσεχτική, ώστε να επιλεγούν άτοµα υψηλής καταλληλότητας, δηλαδή άτοµα που διαθέτουν καλή γνώση για το πρόβληµα. Κατόπιν, συναντάµε την εφαρµογή κατάλληλων γενετικών τελεστών, όπως ο τελεστής ανασυνδυασµού (recombination) και µετάλλαξης (mutation), οι οποίοι διαταράζουν τη δοµή του πληθυσµού,

34 20 Εξελικτικοί Αλγόριθµοι διευρύνοντας τον χώρο των λύσεων. Ανάλογα µε το πρόβληµα που έχουµε να λύσουµε, ο αρχικός πληθυσµός ατόµων του ΕΑ, αρχικοποιείται τυχαία και εξελίσσεται (ή τουλάχιστον ϕιλοδοξούµε) προς καλύτερες πε- ϱιοχές του χώρου αναζήτησης, µέσω σωστής επιλογής, ανασυνδυασµού και µετάλλαξης. Η καταλληλότητα των ατόµων παρέχεται από το περιβάλλον και η διαδικασία επιλογής στηρίζει εκείνα τα άτοµα που είναι πιο κατάλληλα από άλλα, δίνοντάς τους τη δυνατότητα να αναπα- ϱαχθούν περισσότερο σε σχέση µε άτοµα που υστερούν. Ο ανασυνδυασµός τώρα, επιτρέπει τον συνδυασµό πληροφοριών που ϕέρουν τα άτοµα-γονείς του πληθυσµού και κληρονοµούν στους απογόνους τους, ενώ η µετάλλαξη ϕέρνει νέα στοιχεία στην κοινωνία των ατόµων. Το τεχνητό υπολογιστικό µοντέλο αντιπροσωπεύεται από τέσσερα ϐασικά µοντέλα [23]: τους Γενετικούς Αλγορίθµους (ΓΑ) (Genetic Algorithms) [14], τις Εξελικτικές Στρατηγικές (ΕΣ) (Evolutionary Strategies) [15], τον Εξελικτικό Προγραµµατισµό (ΕΠ) (Evolutionary Programming) [16] και τους ιαφοροεξελικτικούς Αλγορίθµους ( Α) (Differential Evolution Algorithm) [80] τα οποία ϑα αναλύσουµε στη συνέχεια. 2.1 Βιολογικό υπόβαθρο των Εξελικτικών Αλγορίθµων Οπως αναφέραµε και στην εισαγωγή, οι ΕΑ στηρίζονται στη ϐιολογική εξέλιξη [34]. Η ϐιολογική εξέλιξη, η εξέλιξη της ϕύσης, στηρίζονται στη ϕυσική επιλογή, η οποία ευνοεί την επιβίωση και κατα επέκταση εξέλιξη εκείνων που µπορούν να προσαρµοστούν και να αντέξουν στις αλλαγές του περιβάλλοντος. Σηµαντικό ϱόλο στην εξέλιξη, πέραν της επιλογής, διαδραµατίζουν τα λεγόµενα ϕαινότυπα (phenotypes) των οργανισµών, που είναι υπεύθυνα για τυχόν αποκλίσεις, όπως για παράδειγµα το µέγεθος του εγκεφάλου, το χρώµα των µατιών και άλλα παρόµοια χαρακτηριστικά. Αυτό είναι πολύ σηµαντικό γιατί όπως είναι γνωστό ο γονιός κληρονοµεί στο παιδί πληθώρα τέτοιων χαρακτηριστικών και γνωρισµάτων, άρα προσδιορίζουν σηµαντικά τον τρόπο ανταπόκρισης των ατόµων στο εκάστοτε περιβάλλον που ανήκουν. Οι λεγόµενες µεταλλάξεις υπερισχύουν µέσα από την επιλογή εάν είναι αναγκαίες (δηλαδή αν προσφέρουν), διαφορετικά εξαφανίζονται. Η δύναµη της επιλογής µε τη σειρά της, καθορίζεται από την αναπαραγωγή των ατόµων. Ετσι, οι πληθυσµοί που Ϲουν στο περιβάλλον εξελίσσονται, αξιοποιώντας όσο καλύτερα µπορούν τις παραπάνω δυνατότητες. Σε αυτό το σηµείο ας δούµε κάποιες πολύ σηµαντικές λεπτοµέρειες για τη δοµή των οργανισµών που ϑα µας ϐοηθήσουν στην περαιτέρω κατανόηση των παραπάνω διαδικασιών. Κάθε οργανισµός στη ϕύση αποτελείται από κύτταρα και κάθε κύτταρο αποτελείται από χρω- µοσώµατα (chromosomes) (ένα ή περισσότερα). Κάθε χρωµόσωµα είναι µια ακολουθία DNA, που λειτουργεί ως προσχέδιο ανάπτυξης για τον οργανισµό. Κάθε χρωµόσωµα διαιρείται σε γονίδια (genes) και κάθε γονίδιο κωδικοποιεί µια συγκεκριµένη πρωτεΐνη. Τα γονίδια είναι υπεύθυνα για τα χαρακτηριστικά που αποκτάµε από τους προγόνους µας αλλά και αυτά που καθορίζουν τα χαρακτηριστικά που ϑα έχουν οι απόγονοί µας, µε ϐάση ϕυσικά τα γονίδια που κληρονοµούνται ή ϑα κληρονοµηθούν. Πιο συγκεκριµένα, οι διαφορετικές τιµές που µπορεί να πάρει το γονίδιο, οι λεγόµενες τιµές των χαρακτηριστικών (alleles), είναι υπεύ- ϑυνες για το είδος και την ποιότητα των χαρακτηριστικών που ϑα κληρονοµηθούν. Ακόµα, κάθε γονίδιο εχει συγκεκριµένη ϑέση (locus) και οι αλλαγές που παρουσιάζονται οφείλονται στις µεταλλάξεις. Υπάρχουν οργανισµοί που έχουν παραπάνω από ένα χρωµόσωµα σε κάθε κύτταρο, µε το σύνολο των χρωµοσωµάτων, δηλαδή του γενετικού υλικού, να συνθέτουν το γονιδίωµα (genome). ύο οργανισµοί που έχουν το ίδιο ακριβώς γενετικό υλικό, λέµε ότι έχουν τον ίδιο γονότυπο (genotype). Ο γονότυπος είναι υπεύθυνος για τον ϕαινότυπο που συναντάται σε κάθε οργανισµό. Τα περισσότερα είδη στη ϕύση, ανάµεσά τους και ο άνθρωπος, είναι διπλοειδή (diploid), δηλαδή τα χρωµοσώµατά τους είναι σε Ϲευγάρια. Σε διαφορετική περίπτωση, ο οργανισµός καλείται απλοειδής (haploid). Τι συµβαίνει όµως κατά τη διάρκεια της αναπαραγωγής; Τι

35 2.2 Μια σύντοµη περιγραφή 21 εννοούµε όταν λέµε πως ένα άτοµο ή ένας οργανισµός είναι κατάλληλος; Αυτές τις ερωτήσεις που ϑα µας απασχολήσουν αρκετά και στο κυρίως κοµµάτι της ανάπτυξης των ΕΑ, ϑα προσπαθήσουµε να απαντήσουµε στην επόµενη παράγραφο. Κατά τη διάρκεια της αναπαραγωγής πραγµατοποιείται η λεγόµενη διασταύρωση (cross over) ή ανασυνδυασµός (recombination) των γονιδίων. Συγκεκριµένα, ανταλλάσσονται γονίδια µεταξύ κάθε Ϲευγαριού χρωµοσωµάτων των γονέων, συνθέτοντας έτσι τον λεγόµενο γαµέτη (gamete), δηλαδή ένα ειδικό χρωµόσωµα. Στους ΕΑ χρησιµοποιούνται τις περισσότερες ϕορές απλοειδή χρωµοσώµατα, δηλαδή κατά την αναπαραγωγή τα γονίδια ανταλλάσσονται µεταξύ των χρωµοσωµάτων των γονέων. Η δυνατότητα επιβίωσης ενός ατόµου καθορίζει την καταλληλότητά (fitness) του, όπως και τη δυνατότητα να αναπαραχθεί και να δηµιουργήσει απογόνους. Μάλιστα, άτοµα που µπορούν να αναπαραχθούν περισσότερες ϕορές σε σχέση µε άλλα, ϑεωρούνται επίσης καταλληλότερα των υπολοίπων. Ετσι, η καταλληλότητα εκτι- µάται µέσω του παραπάνω κριτηρίου. Η επιλογή, µε τη σειρά της, αφορά επί της ουσίας τα άτοµα εκείνα που κατάφεραν να ανταποκριθούν στις απαιτήσεις του περιβάλλοντος, δηλαδή να επιβιώσουν και να αφήσουν αρκετούς απογόνους. Τέλος, υπάρχει άλλη µια έννοια στην οποία στεκόµαστε, αυτή της προσαρµογής (adaptation). Οταν αναφερόµαστε στην προσαρµογή ενός ατόµου εννούµε την «ανωτερότητά» του σε σχέση µε τα υπόλοιπα άτοµα της κοινωνίας, δηλαδή ότι το άτοµο είναι πιο αποδοτικό, πιο αποτελεσµατικό και ταυτόχρονα διατηρεί αυτά τα προτερήµατα στο χρόνο και τις αλλαγές του περιβάλοντος. 2.2 Μια σύντοµη περιγραφή Ενας τυπικός ΕΑ ξεκινά µε την αρχικοποίηση του πληθυσµού του, συνήθως τυχαία αρχικοποίηση και ακολούθως την εξέλιξη του πληθυσµού αυτού µε την εφαρµογή κατάλληλων γενετικών τελεστών επιλογής (selection), ανασυνδυασµού (recombination) και µετάλλαξης (mutation). Η οποιαδήποτε διάθεση εκ των προτέρων γνώσης για το πρόβληµα που καλούµαστε να προσεγγίσουµε, µπορεί να επηρεάσει την αρχικοποίηση του πληθυσµού του αλγορίθµου και να την καταστήσει µη τυχαία. Ετσι, ένας τυπικός ΕΑ (σχήµα 2.1) µετά την αρχικοποίηση του πληθυσµού, αξιολογεί (evaluate) τον πληθυσµό, µέσω µιας συνάρτησης, της λεγόµενης συνάρτησης προσαρµογής (fitness function). Ο τελεστής επιλογής, επιλέγει τα άτοµα που επιβιώνουν και ϑα γίνουν γονείς και κατά τη διάρκεια της επιλογής καθορίζεται και ο αριθµός των απογόνων που ϑα αφήσουν πίσω. Σχήµα 2.1: Ενας τυπικός ΕΑ

36 22 Εξελικτικοί Αλγόριθµοι Στη συνέχεια επιδρά ο τελεστής ανασυνδυασµού πάνω στα άτοµα-γονείς του πληθυσµού (ανταλλάσσοντας γενετικές πληροφορίες), ώστε να γενηθούν οι απόγονοι της αρχικής κοινωνίας και ακολούθως ο τελεστής µετάλλαξης για να διαταράξει τους απογόνους. Στη συνέχεια εκτιµούνται τα παιδιά που είναι κατάλληλα και έτσι παράγεται η νέα γενιά του πληθυσµού. Ο παραπάνω εξελικτικός κύκλος (evolutionary cycle) παρουσιάζεται στο ακόλουθο σχήµα. Σχήµα 2.2: Ενας τυπικός Εξελικτικός Κύκλος Στην επόµενη ενότητα ακολουθούν τα τέσσερα, πιο χαρακτηριστικά µοντέλα ΕΥ που χρησιµοποιούνται µέχρι και σήµερα. 2.3 Βασικά Μοντέλα Οπως αναφέρθηκε και στην αρχή του κεφαλαίου, τα ϐασικά µοντέλα είναι τέσσερα : 1) Γενετικοί Αλγόριθµοι (Genetic Algorithms) [14], 2) Εξελικτικές Στρατηγικές (Evolutio nary Strategies) [15], 3) Εξελικτικός Προγραµµατισµός (Evolutionary Programming) [16] και 4) ιαφοροεξελικτικοί Αλγόριθµοι (Differential Evolution Algorithms) [80], µε επικρατέστερο των τεσσάρων όπως δείχνουν οι έρευνες, το πρώτο µοντέλο. Αν και τα µοντέλα οµοιάζουν αρκετά από άποψη αρχών, υλοποιούνται διαφορετικά σε αρκετά σηµεία, µε πιο ουσιαστικά τα σηµεία της αναπαράστασης των ατόµων, τον τρόπο επιλογής και τους γενετικούς τελεστές. Αξίζει να σηµειωθεί πως τα µοντέλα αυτά ήταν υπεύθυνα για τη δηµιουρία και άλλων µοντέλων [17, 18], µε τα οποία όµως δε ϑα ασχοληθούµε σε αυτή την εργασία Γενετικοί Αλγόριθµοι Οι Γενετικοί Αλγόριθµοι (ΓΑ), το πιο σηµαντικό και πιο συχνά χρησιµοποιούµενο µοντέλο ΕΥ, δηµιουργήθηκε από την ανάγκη προσοµοίωσης των προσαρµοστικών και αναπαραγωγικών διαδικασιών των ϐιολογικών συστηµάτων [24] και την ανάγκη δηµιουργίας τεχνητών υπολογιστικών συστηµάτων που διατηρούν αυτούς τους µηχανισµούς της ϕύσης. Στους ΓΑ ο πληθυσµός συνήθως αρχικοποιείται από ένα σύνολο δυαδικών συµβολοσειρών (χρωµοσώµατα). Αφού γίνει η αρικοποίηση του πληθυσµού, στη συνέχεια µέσω µιας συνάρτησης πιθανότητας (έστω για παράδειγµα ο «µεροληπτικός» τροχός ϱουλέτας) επιλέγονται τα άτοµα που ϑα γίνουν γονείς, σύµφωνα πάντα µε την καταλληλότητα που παρουσιάζει κάθε άτοµο. Οπως είδαµε και στην εισαγωγή, όσο υψηλότερη είναι η καταλληλότητα ενός ατό- µου, τόσο µεγαλύτερη είναι η πιθανότητα να επιλεγεί ως γονέας και άρα τόσο µεγαλύτερη η πιθανότητα να αναπαραχθεί και να αφήσει απογόνους. Ετσι, µέσω του τελεστή διασταύ- ϱωσης (crossover), γίνεται ο απαιτούµενος ανασυνδυασµός και οι γονείς που επιλέχθηκαν δηµιουργούν απογόνους. Στη συνέχεια, λαµβάνει χώρα ο τελεστής µετάλλαξης (mutation)

37 2.3 Βασικά Μοντέλα 23 σύµφωνα µε κάποιον συντελεστή πιθανότητας και τα παιδιά τα οποία επιβιώνουν συνιστούν τη νέα γενιά, ώστε να ξεκινήσει ένας καινούργιος κύκλος εξέλιξης. Ας δούµε σε αυτό το σηµείο λίγο πιο συγκεκριµένα τη δράση των δύο παραπάνω τελεστών. Ο τελεστής διασταύρωσης δρα τυχαία σε µια ϑέση του χρωµοσώµατος και ανταλλάσσει τα τµήµατα πριν τη ϑέση αυτή µεταξύ των χρωµοσωµάτων, όπως ϕαίνεται στο παρακάτω σχήµα. Σχήµα 2.3: ράση του τελεστή διασταύρωσης Υποθέτοντας ότι τα δύο παραπάνω χρωµοσώµατα είναι οι γονείς, µέσω της διασταύρωσης επιτυγχάνεται κάτι ανάλογο µε τον ϐιολογικό ανασυνδυασµό µεταξύ δύο οργανισµών και µάλιστα απλοειδών. Ετσι, παίρνουµε τα εποµενα δύο χρωµοσώµατα που είναι οι απόγονοί τους. Τώρα, αυτή τη ϕορά µε µικρή πιθανότητα επιδρά ο τελεστής µετάλλαξης, αλλάζοντας τυχαία κάποια ψηφία της δυαδικής συµβολοσειράς (ανάλογα τον τρόπο αναπαράστασης) ε- νός χρωµοσώµατος. Τονίζεται [19] όπως αναφέραµε παραπάνω, ότι ο «σηµαντικός» τελεστής στην περίπτωση των ΓΑ είναι αυτός της διασταύρωσης και λιγότερο της µετάλλαξης. ιαισθητικά ϑα µπορούσαµε να πούµε ότι η µετάλλαξη εξυπηρετεί την εισαγωγή νέων λύσεων, διαφορετικών των όσων υπάρχουν στον πληθυσµό (αλλάζει το παραγόµενο χρωµόσωµα). Συνοψίζοντας τα παραπάνω στοιχεία, ϑα λέγαµε πως τα ϐασικά σηµεία ενός ΓΑ είναι τα εξής : 1. Η αναπαράσταση των πιθανών λύσεων του προβλήµατος που καλούµαστε να προσεγγίσουµε 2. Η δηµιουργία ενός πληθυσµού (αρχικού) από ενδεχόµενες λύσεις του προβλήµατος 3. Μια συνάρτηση αξιολόγησης των µελών του πληθυσµού (κάτι σαν το ϕυσικό περιβάλλον) 4. Γενετικούς τελεστές που ϑα δηµιουργούν νέα µέλη στον πληθυσµό (δηλαδή νέες λύσεις στο πρόβληµα) 5. Αποτίµηση των παραµέτρων του ΓΑ Οσα περιγράψαµε µπορούν να περιγραφούν αλγοριθµικά στο παρακάτω σχήµα : Πλεονεκτήµατα Το ερώτηµα όµως είναι γιατί να προτιµήσουµε ΓΑ σε σχέση µε τα υπόλοιπα µοντέλα. Αν ϑέλουµε να συγκεντρώσουµε κάποια ϐασικά πλεονεκτήµατα, που κάνουν τους ΓΑ να ξεχωρίζουν, αυτά ϑα ήταν τα εξής : 1. Είναι αποδοτικοί, γρήγοροι και αξιόπιστοι. Μπορούν να λύσουν δύσκολα προβλήµατα και αντιµετωπίζουν περίπλοκες συναρτήσεις χωρίς κόπο, σε αντίθεση µε κλασικές µε- ϑόδους αναζήτησης που κάτι τέτοιο είναι αδύνατο (διαχειρίζονται συναρτήσεις που δεν είναι περίπλοκες).

38 24 Εξελικτικοί Αλγόριθµοι Σχήµα 2.4: Ενας τυπικός ΓΑ 2. Είναι ευέλικτοι και αξιοποιούν τα υπάρχοντα υπολογιστικά µοντέλα χωρίς πολλές ή µεγάλες αλλαγές. Οι πληροφορίες που χρειάζονται είναι λίγες και µπορούν να συνδυαστούν µε άλλα υπάρχοντα µοντέλα. 3. Μπορούν εύκολα να συνδυαστούν µε άλλες πιο αποδοτικές µεθόδους ή πιο εξειδικευ- µένες και να δηµιουργήσουν υβριδικές µεθόδους µε µεγάλη ισχύ. 4. Μπορούν να επεκταθούν και να τροποποιηθούν αρκετά σε σχέση µε την αρχική ϐασική δοµή που µοιάζει στα ϕυσικά συστήµατα, µε ευεληξίες που τους καθιστούν εξελίξιµους. 5. Εχουν τεράστιο εύρος εφαρµογής, αισθητά µεγαλύτερο σε σχέση µε ανάλογες µεθόδους. 6. έχονται συναρτήσεις χωρίς περιορισµούς. Σε αντίθεση µε άλλες µεθόδους, οι ΓΑ δεν εξετάζουν τη συνέχεια, την παραγωγισιµότητα, την πολυπλοκότητα της συνάρτησης που επεξεργάζονται. 7. Μπορούν να ανιχνεύσουν αποδοτικά µεγάλους χώρους λύσεων σε σχετικά µικρό χρόνο, καθώς σε κάθε ϐήµα επεξεργάζονται µεγάλο πλήθος πληροφοριών χάρη στο στοιχείο παραλληλισµού που διαθέτουν Εξελικτικές Στρατηγικές Οι Εξελικτικές Στρατηγικές (ΕΣ) χρησιµοποιήθηκαν για πρώτη ϕορά [20,25,26] ως πειρα- µατικές µέθοδοι ϐελτιστοποίησης. Στις πρώτες πτυχές χρησιµοποιήθηκε η λεγόµενη διµελής στρατηγική, δηλαδή µε τη συµµετοχή µόνο δύο ατόµων, έναν από τους δύο γονείς και ένα παιδί. Με την εφαρµογή διωνυµικών κατανοµών στον γονέα, παράγεται το παιδί, το οποίο αν είναι δυνατό, επιβιώνει και παίρνει τη ϑέση του γονέα στη νέα γενιά, διαφορετικά στην επόµενη γενιά περνά και πάλι ο γονέας, ως το πιο δυνατό χρωµόσωµα. Στη συνέχεια παρουσιάζουµε τις πιο γνωστές και ευρέως χρησιµοποιούµενες ΕΣ. Εξελικτική στρατηγική δύο µελών Σε αυτό το σχήµα ΕΣ, το πρωταρχικό, ένα άτοµο δηµιουργείται από έναν γονέα µέσω της πρόσθεσης τυχαίων διανυσµάτων (κανονικά κατανεµηµένων), τυπικής απόκλισης σ και αναµενόµενης τιµής µηδέν. Το άτοµο µε την υψηλότερη καταλληλότητα επιβιώνει και γίνεται γονέας στην επόµενη γενιά. Η στρατηγική αυτή ϕέρει το όνοµα (1+1)-Εξελικτική Στρατηγική

39 2.3 Βασικά Μοντέλα 25 ή ΕΣ δύο µελών, για να υποδηλώσει το γεγονός ότι επιλέγεται το καλύτερο άτοµο προς επιβίωση, ανάµεσα σε έναν γονέα και έναν απόγονο. Πιο συγκεκριµένα, αν υποθέσουµε πως ένα άτοµο αναπαρίσταται από ένα διάνυσµα x, το εξελικτικό σχήµα περιγράφεται ως εξής : x new i = x old i + σn i (0, 1) όπου x i οι αντικειµενικές µεταβλητές, µε x i R, N i (0, 1) µια τυχαία τιµή η οποία υπάγεται σε µια κανονική κατανοµή, για την οποία η µέση τιµή είναι µηδέν, η διακύµανση ένα και η τυπική απόκλιση έχει και αυτή την τιµή ένα. Για τον λόγο αυτό, για όλες τις συνιστώσες του παραπάνω σχήµατος, η παράµετρος σ ϑεωρείται σταθερή για όλες τις συνιστώσες και γενιές. Βάσει αυτού του σχήµατος η αναζήτηση στο χώρο των λύσεων πραγµατοποιείται µε σταθερό ϱυθµό και σταθερό µήκος ϐήµατος. Η στρατηγική αυτή παράµετρος, όπως ονοµάζεται, καθορίζει τον τρόπο µε τον οποίο πραγµατοποιείται η εξέλιξη. Ο Rechenberg [26] επικεντρώθηκε στους ϱυθµούς σύγκλισης για δύο συναρτήσεις : 1. τη σφαίρα f(x) = n i=1 x2 i και 2. το µοντέλο corridor f(x) = c 0 + n i=1 c ix i, i {1,..., n}, όπου b/2 x i b/2 Οπως παρατηρήθηκε [22] η τιµή της στρατηγικής παραµέτρου σ µπορούσε να προσαρ- µοστεί ώστε να ϐελτιωθεί η σύγκλιση της µεθόδου. Η έρευνά του, οδήγησε στον λεγόµενο κανόνα επιτυχίας του 1/5 (1/5 success rule) σύµφωνα µε τον οποίο τροποποιείται η τυπική απόκλιση. Σύµφωνα µε τον κανόνα [28]: Ορισµός 2.1 Σε διαστήµατα κατά την αναζήτηση ϐέλτιστων, πρέπει να µετριέται η συχνότητα των επιτυχιών, για παράδειγµα ο λόγος του αριθµού των επιτυχιών προς τον ολικό αριθµό προσπαθειών (µεταλλάξεις). Ετσι, εάν ο λόγος είναι µεγαλύτερος του 1/5, η διασπορά πρέπει να αυξηθεί, ενώ αν είναι µικρότερη του 1/5 η διασπορά πρέπει να µειωθεί. Μια πιο ακριβής απόδοση του παραπάνω κανόνα δόθηκε λίγο αργότερα [25] και πιο συγκεκριµένα, λέει : Ορισµός 2.2 Μετά από N µεταλλάξεις, πρέπει να ελέγχεται ο αριθµός των επιτυχιών που έχουν επιτευχθεί στις προηγούµενες 10N µεταλλάξεις. Εάν ο αριθµός αυτός είναι µικρότερος του 2N, τότε το µήκος του ϐήµατος (σ) πρέπει να πολλαπλασιαστεί µε τον παράγοντα 0.85, ενώ σε περίπτωση που ο αριθµός των επιτυχιών είναι µεγαλύτερος από 2N, το µήκος του ϐήµατος, πρέπει να διαιρεθεί µε Για το µοντέλο σφαίρας η µέθοδος συγκλίνει γραµµικά και για τον κανόνα επιτυχίας 1/5 αυξάνεται η αποδοτικότητα σε ϐάρος όµως της ευρωστίας. Στην παραπάνω περιγραφή, η τυπική απόκλιση που εφαρµόζεται σε κάθε συνιστώσα του διανύσµατος είναι σταθερή. Για τον λόγο αυτό, η διατύπωση αυτή ξεπεράστηκε γρήγορα και οδήγησε σε διαφορετικές στρατηγικές παραµέτρους ή και στρατηγικές, µια εκ των οποίων ϑα δούµε στη συνέχεια. Πολυµελής Εξελικτική Στρατηγική Το παραπάνω µοντέλο ξεπεράστηκε σύντοµα [26], µε την έννοια του πληθυσµού να εισάγεται για πρώτη ϕορά στις εξελικτικές στρατηγικές. Ετσι, στη νέα παραλλαγή συναντάµε περισσότερους γονείς και περισσότερους του ενός απογόνους. Η νέα στρατηγική καλείται πολυµελής εξελικτική στρατηγική, (µ+1)-εσ (σε αντιστοιχία της (1+1)-ΕΣ), όπου µ το πλήθος των γονέων. Μια από τις διαφορές µε την (1+1)-ΕΣ είναι η διαδικαδία αναπαραγωγής µέσω της οποίας πραγµατοποιείται ο ανασυνδυασµός. Πιο συγκεκριµένα, επιλέγονται τυχαία από

40 26 Εξελικτικοί Αλγόριθµοι τον πληθυσµό δύο γονείς και µέσω της αναπαραγωγής δίνουν έναν απόγονο. Αφού ακολουθήσουν η µετάλλαξη και η αξιολόγηση της καταλληλότητας, ο απόγονος αντικαθιστά τον γονέα µε την χειρότερη καταλληλότητα (εφόσον η καταλληλότητα του παιδιού είναι υψηλότερη από αυτή των γονέων). Αυτό το είδος επιλογής που αντικαθιστά το πολύ ένα άτοµο, ονοµάζεται επιλογή σταθερής κατάστασης. Εξελικτικές στρατηγικές (µ + λ) και (µ, λ) Μπορεί το µοντέλο (µ+1)-εσ να µην χρησιµοποιήθηκε αρκετά αλλά αποτέλεσε την αρχή για τις πιο γνωστές ΕΣ, οι οποίες είναι γνωστές ως (µ + λ)-εσ και (µ, λ)-εσ. Σε αυτές τις στρατηγικές µ γονείς παράγουν λ παιδιά, µε λ µ, µέσω των γνωστών διαδικασιών αναπα- ϱαγωγής, ανασυνδυασµού και µετάλλαξης. Τα σηµεία στα οποία διαφοροποιούνται είναι τα εξής : 1. Η (µ, λ) ΕΣ αποµακρύνει τους γονείς και τους αντικαθιστά µε τους µ καλύτερους απογόνους, από το σύνολο των λ. 2. Η (µ + λ) ΕΣ επιλέγει τα καλύτερα µ άτοµα από γονείς και παιδιά (ένα σύνολο) και έτσι οι γονείς αντικαθίστανται µόνο όταν προκύψουν καλύτερα παιδιά. Φυσικά και οι δύο στρατηγικές έχουν πλεονεκτήµατα και µειονεκτήµατα [27, 28], µε τα οποία όµως δε ϑα ασχοληθούµε διεξοδικά. Αυτό που αξίζει να αναφέρουµε είναι η διαφο- ϱοποίηση αναφορικά µε την στρατηγική παράµετρο. Η τελευταία ιδέα που προτάθηκε [25] ήταν οι στρατηγικές παράµετροι να αποτελούν µέρος του γενετικού υλικού του ατόµου και να υφίστανται µετάλλαξη και διασταύρωση. Ως αποτέλεσµα, τα άτοµα µε καλύτερες παρα- µέτρους σ i να έχουν καλύτερες επιδόσεις [25]. Οπότε, η προσαρµογή που προτάθηκε ήταν η εξής : σ new i = σi old Z i όπου, 1 i n και Z i ένας τυχαίος αριθµός. Τέλος, αναφέρουµε δυο λόγια για τους τελεστές µετάλλαξης και ανασυνδυασµού. Εστω ένα άτοµο a, το οποίο εκφράζεται ως διάνυσµα : a = (x 1..., x n, σ 1,...σ n ) R n και αποτελείται από n συνιστώσες και n τιµές απόκλισης για την µετάλλαξη κάθε µεταβλητής. Κάθε x i µεταλλάσσεται µε την πρόσθεση ενός τυχαίου αριθµού, που προέρχεται από µια κανονική κατανοµή N(0, σ i ). Ετσι, σε ένα ϐήµα µετάλλαξης, έστω m, οι τιµές σ i περνούν και αυτές µέσα από µετάλλαξη και ανασυνδυασµό, που περιγράφεται από τους ακόλουθους τύπους [15, 29]: x i = x i + σ i N i(0, 1) σ i = σ i exp(τ N(0, 1) + τn i (0, 1)) µε την παράµετρο τ να επεικονίζει τη διαφοροποίηση σε κάθε συνιστώσα του διανύσµατος και τ την διαφοροποίηση των γενεών. Εκτός από το παραπάνω σχήµα, έχουν προταθεί και άλλα [15, 30] µε τα οποία όµως δεν ϑα ασχοληθούµε αναλυτικά σε αυτή την εργασία. Οσον αφορά τώρα τον τελεστή διασταύρωσης, αυτός λαµβάνει χώρα πριν τη µετάλλαξη και έχει ως αποτέλεσµα τον πληθυσµό λ ατόµων. Τα επικρατέστερα σχήµατα διασταύρωσης είναι δύο : α) η διακριτή (discrete) και ϐ) η ενδιάµεση ή µέσης τιµής (intermediary). Στην µεν πρώτη, γίνεται τυχαία επιλογή για κάθε απόγονο µεταξύ των γονέων, ενώ στη δεύτερη κάθε παράµετρος απογόνου είναι ο αριθµητικός µέσος των πραµέτρων των γονέων. Ερευνες έδειξαν ότι η χρήση της πρώτης παρέχει καλύτερη απόδοση για τις µεταβλητές, ενώ η δεύτερη για τις παραµέτρους.

41 2.3 Βασικά Μοντέλα Εξελικτικός Προγραµµατισµός Σε αυτή την ενότητα ϑα εξετάσουµε ένα µοντέλο ΕΥ που ϑεωρείται ως λιγότερο χρησι- µοποιούµενο σε σχέση µε τα υπόλοιπα µοντέλα, αυτό του Εξελικτικού Προγραµµατισµού (ΕΠ). Το πιο χαρακτηριστικό γνώρισµα του ΕΠ είναι ότι λειτουργεί µε αναπαραστάσεις που είναι προσαρµοσµένες ανάλογα µε το είδος του προβλήµατος, το οποίο Ϲητάµε να επιλύσουµε. ηλαδή, όταν καλούµαστε να προσεγγίσουµε ένα πρόβληµα ϐελτιστοποίησης πραγµατικών αριθµών, τα άτοµα του πληθυσµού ϑα είναι διανύσµατα πραγµατικών αριθµών. Από το ξεκίνηµα της δηµιουργίας τους [16], όπως και τα προηγούµενα µοντέλα ΕΥ προσπάθησαν να προσοµοιώσουν τη διαδικασία ϕυσικής εξέλιξης. Αν και τα πρώτα προβλήµατα που ε- ϕαρµόστηκε ο ΕΠ αφορούσαν τη ϐελτιστοποίηση συνεχών µεταβλητών, αρχικά στόχευε στην εφαρµογή συστηµάτων µε πεπερασµένες καταστάσεις, µε αναπαραστάσεις που ϑα ήταν διακριτές. Το µοντέλο του ΕΠ που προτάθηκε αρχικά [16] επεξεργαζόταν έναν πληθυσµό ατόµων, έστω µ, τα οποία δηµιουργούσαν µ παιδιά, µε τη ϐοήθεια του τελεστή µετάλλαξης. Οι µεταλλάξεις που λαµβάνουν χώρα στον πληθυσµό γίνονται µε τη ϐοήθεια οµοιόµορφης κατανοµής και οι µαταλλάξεις για έναν απόγονο είναι ή σταθερές ή ακολουθούν µια πιθανοτική κατανο- µή. Οπως και στα προηγούµενα µοντέλα, µετά την αξιολόγηση των απογόνων, τα µ καλύτερα άτοµα µεταξύ παιδιών και γονέων επιλέγονται. Στον ΕΠ δεν χρησιµοποιείται ο τελεστής διασταύρωσης, κάτι που σηµειώνεται [16] ως αρνητικό του µοντέλου αυτού, σε σηµείο ώστε η µέθοδος να µην ϑεωρείται τόσο ισχυρή όσο αυτή των ΓΑ και ΕΣ. Βέβαια, αυτό που παρατηρείται τελευταία είναι πως ο ΕΠ χρησιµοποιείται σε ολοένα και περισσότερα προβλήµατα µε συνεχείς παραµέτρους, γεγονός που ϕέρνει το µοντέλο αρκετά κοντά σε αυτό των ΕΣ. Ενα συνηθισµένο σχήµα ΕΠ είναι το παρακάτω. Σχήµα 2.5: Ενας τυπικός αλγόριθµος ΕΠ ιαφοροεξελικτικοί Αλγόριθµοι Οι ιαφοροεξελικτικοί Αλγόριθµοι ( Α) [80] οµοιάζουν αρκετά µε τους ΕΑ και τα τελευταία χρόνια χρησιµοποιούνται ολοένα και περισσότερο σε αρκετές εφαρµογές. Και εδώ συναντάµε έναν πληθυσµό που εξελίσσεται και από γενιά σε γενιά πλησιάζει τα ολικά ϐέλτιστα. Εάν ϑεωρήσουµε ότι έχουµε έναν πληθυσµό P g, ο οποίος απαρτίζεται από n διανύσµατα διάστασης N, τότε για κάθε γενιά g έχουµε διανύσµατα x k,g, k = 0, 1,..., n

42 28 Εξελικτικοί Αλγόριθµοι Το σύνολο των διανυσµάτων παραµένει σταθερό κατά τη ϐελτιστοποίηση και το σύνολο των σηµείων που επιλέγονται για τον αρχικό πληθυσµό του αλγορίθµου είναι τυχαίο (χρησιµοποιούµε µια κατανοµή πχ. οµοιόµορφη). Σκοπός είναι να καλύψουµε όσο το δυνατόν µεγαλύτερο εύρος αναζήτησης. Ετσι, λοιπόν, µέσα από τον Α παράγονται νέα διανύσµατα µέσα από τη διαδικασία µετάλλαξης. Ο αλγόριθµος για την παραγωγή ενός νέου διανύσµατος προσθέτει στην σταθµητή διαφορά δύο διανυσµάτων ένα άλλο. Στη συνέχεια, το µεταλλαγµένο διάνυσµα συνδυάζεται µε ένα διάνυσµα στόχο, ώστε µέσω της διασταύρωσης να πάρουµε ένα διάνυσµα δοκιµής (trial). Αν το διάνυσµα αυτό λάβει µεγαλύτερη τιµή αξιολόγησης, αντικαθιστά το διάνυσµα στόχο στην επόµενη γενιά, µέσω της επιλογής. Αξίζει να σηµειωθεί ότι κάθε άτοµο του πληθυσµού αποτελεί διάνυσµα στόχο τουλάχιστον µία ϕορά. Οπως είναι ϕυσικό ο Α καθορίζεται ανάλογα µε τους τελεστές που χρησιµοποιούνται. Πιο συγκεκριµένα, για κάθε διάνυσµα x k,g παίρνουµε ένα διάνυσµα µετάλλαξης της παρακάτω µορφής : mk,g+1 = x l1,g + G( x l2,g x l3,g) µε τα διανύσµατα να επιλέονται τυχαία και επίσης l 1 l 2 l 3 και l 1, l 2, l 3 1, 2,..., n. Η παράµετρος G καθορίζει κατά πόσο η διαφορά των τυχαίων διανυσµάτων ϑα επηρεάσει την παραγωγή του διανύσµατος m και ισχύει : 0 G 2 Καθώς περνάµε από γενιά σε γενιά χρησιµοποιείται ο τελεστής διασταύρωσης, ώστε να µη χάνουµε καλές υποψήφιες λύσεις και η αναζήτηση καθώς εξελίσσεται ο πληθυσµός να γίνεται πιο αποδοτική. Οπως περιγράψαµε και παραπάνω, ϑα έχουµε το διάνυσµα δοκιµής t k,g = (t 1k,g, t 2k,g,..., t Nk,g ) για το οποίο ισχύει : t ik,g = { m ik,g, x ik,g, αν randb(i) C ή i = rnbr(k) αν randb(i) > C ή i rnbr(k) µε i = 1, 2,..., N, randb(i) να είναι η i οστή τιµή µιας οµοιόµορφης γεννήτριας τυχαίων αριθµών και C µια σταθερά η οποία καθορίζεται από τον χρήστη και καλείται σταθερά διασταύρωσης, rnbr(k) 1, 2,..., N και εξασφαλίζει ότι το διάνυσµα δοκιµής ϑα περιέχει τουλάχιστον µια συνιστώσα από το µεταλλαγµένο διάνυσµα. Τέλος, µένει η επιλογή των κατάλληλων ατόµων για τη στελέχωση της επόµενης γενιάς. Το διάνυσµα δοκιµής t συγκρίνεται µε το διάνυσµα στόχο x και αν το πρώτο έχει καλύτερη απόδοση, τότε περνά στην επόµενη γενιά ως διάνυσµα στόχος, δηλαδή x k,g+1 = t k,g+1 διαφορετικά παραµένει ως διάνυσµα στόχος το x k,g της προηγούµενης γενιάς. Στη συνέχεια, παραθέτουµε τα ϐήµατα ενός κλασικού Α. 1. Θέσε g = 0 και αρχικοποίησε τις παραµέτρους G, C. 2. Αρχικοποίηση του αρχικού πληθυσµού P g = { x k,g k = 1, 2,..., N}. 3. Αξιολόγησε κάθε άτοµο του P g, σύµφωνα µε µια συνάρτηση αξιολόγησης. 4. Για κάθε άτοµο του P g επέλεξε l 1, l 2, l 3, µε l 1 l 2 l 3, rnbr(k), randb(i).

43 2.4 Λίγα λόγια για τους Γενετικούς Τελεστές Επέλεξε τον νέο πληθυσµό P g Θέσε g = g Επανέλαβε τη διαδικασία από το ϐήµα 4, µέχρι να ικανοποιηθεί το κριτήριο τερµατισµού. 2.4 Λίγα λόγια για τους Γενετικούς Τελεστές Σε αυτή την ενότητα ϑα δούµε συγκεντρωτικά τα ϐασικά στοιχεία για τους γενετικούς τελεστές που συζητήθηκαν στις προηγούµενες παραγράφους. Μια έννοια η οποία έχει εξέχουσα σηµασία στη διαδικασία των ΕΑ, είναι αυτή της αξιολόγησης των ατόµων του πληθυσµού, µέσω της οποίας αποδίδεται σε κάθε άτοµο µια τιµή, που απεικονίζει την καταλληλότητα του ατόµου. Το επιθυµητό για τον πληθυσµό του ΕΑ είναι οι αποδόσεις υψηλών τιµών καταλληλότητας σε όσο το δυνατόν περισσότερα άτοµα, κάτι το οποίο πραγµατοποιείται µε τη διδικασία της επιλογής. Οπως είδαµε και στην εισαγωγή του κεφαλαίου, οι ΕΑ δεν αναζητούν µία λύση για το δοθέν πρόβληµα, αλλά αναζητούν έναν ολόκληρο χώρο πιθανών λύσεων. Μια ϐασική διαφορά που παρατηρείται στα διαφορα µοντέλα ΕΑ, είναι ο τρόπος µε τον οποίο πραγµατοποιείται αυτή η επιλογή ή µε άλλα λόγια πώς πραγµατοποιείται αυτή η αναζήτηση στον χώρο των λύσεων, ώστε να επιλεγούν τα κατάλληλα άτοµα. Για παράδειγµα, στις ΕΣ συναντήσαµε επιλογή γονέων µέσω οµοιόµορφης κατανοµής, χωρίς να λάβουµε υπόψιν τις καταλληλότητες των ατόµων. Κατά την επιβίωση επιλέγονται N άτοµα σύµφωνα µε την κατάταξη των τιµών καταλληλότητας. Κάτι ανάλογο συµβαίνει και στο µοντέλο του ΕΠ. Ολα τα άτοµα πιστώνονται ως γονείς και ακολούθως έρχεται η µετάλλαξη των γονέων, που έχει ως συνέπεια τη δηµιουργία N παιδιών. Τα N καλύτερα άτοµα επιλέγονται και αυτά σύµφωνα µε έναν πιθανοτικό µηχανισµό που και αυτός έχει ως ϐάση την κατάταξη των καταλληλοτήτων. Στην περίπτωση των ΓΑ γίνεται κάτι ανάλογο, µε την επιλογή των γονέων να γίνεται µε ϐάση την καταλληλότητα που παρουσιάζει το άτοµο σε σχέση µε τον µέσο όρο των καταλληλοτήτων. Άτοµο το οποίο παρουσιάζει µεγαλύτερη καταλληλότητα σε σχέση µε τον µέσο όρο της τιµής των καταλληλοτήτων του πληθυσµού, έχει και ανάλογα µεγαλύτερη πιθανότητα να αφήσει πίσω του περισσότερα παιδιά. Η επι- ϐίωση εδώ δε ϐασίζεται στην καταλληλότητα, αφού τα παιδιά παίρνουν τη ϑέση των γονέων στη νέα γενιά. Οι διαφορές των καταλληλοτήτων σε ϐάθος χρόνου είναι πολύ µικρές, κάτι που δηµιουργεί δύο προβλήµατα : α) δυσκολία στην επιλογή ατόµων και ϐ) καθυστέρηση στη διαδικασία αναζήτησης. Σύµφωνα µε τα όσα αναφέραµε, στόχος είναι να κινηθούµε σε περιοχές του χώρου λύσεων, όπου τα άτοµα του πληθυσµού έχουν πιο υψηλή καταλληλότητα, µε τον τελεστή επιλογής ωστόσο, να µην µονοπωλεί το ενδιαφέρον µας. Το πλήθος των τελεστών που ϑα µπορούσαν να χρησιµοποιηθούν είναι µεγάλο, αλλά σκοπός µας είναι να χρησιµοποιήσουµε τους κατάλληλους τελεστές, δηλαδή τελεστές που ϑα διευρήνουν τις επιλογές µας, ώστε να επιλεγούν άτοµα που µας ϕέρνουν πιο κοντά στη ϐέλτιστη λύση. Οι πιο ϐασικοί και πιο συχνά χρησιµοποιούµενοι είναι ο τελεστής µετάλλαξης και ο τελεστής ανασυνδυασµού. Ο πρώτος χρησιµοποιείται σε αρκετές περιπτώσεις ως δευτερεύον τελεστής ή σε ορισµένες περιπτώσεις δεν χρησιµοποιείται καθόλου. Στην περίπτωση των ΓΑ η µετάλλαξη χρησιµοποιείται ως τελεστής που ϑα εξασφαλίσει ότι σε ϐάθος χρόνου δεν ϑα χαθεί κάποια τιµή (κάτι που µπορεί αν ισοδυναµεί µε απώλεια καλής λύσης). Στα άλλα δύο µοντέλα που αναλύθηκαν, αυτά των ΕΣ και ΕΠ, κάθε άτοµο έχει διαφορετικη πιθανότητα µετάλλαξης. Από την άλλη πλευρά ο τελεστής ανασυνδυασµού έχει κυρίαρχο ϱόλο. Οπως είδαµε (και ϕανερώνει το ίδιο το όνοµα του τελεστή) ο τελεστής συνδυάζει πληροφορίες µεταξύ των δύο γονέων, ώστε να παραχθεί ένας απόγονος. Οι µορφές του τελεστή ανασυνδυασµού που παρουσιάζονται στους ΕΑ είναι πολλές, µε τις επικρατέστερες να είναι ο ανασυνδυασµός ενός σηµείου (one-point recombination) και ο ανασυνδυασµός πολλών σηµείων (multi-point recombination). Στην µεν

44 30 Εξελικτικοί Αλγόριθµοι πρώτη (σχήµα 2.6), ανταλλάσσονται τα τµήµατα από ένα σηµείο και κάτω, ενώ στη δεύτερη, ανταλλάσσονται τα τµήµατα µεταξύ περισσότερων σηµείων (σχήµα 2.7). Σχήµα 2.6: Ανασυνδυασµός ενός σηµείου Σχήµα 2.7: Ανασυνδυασµός πολλών σηµείων Μπορεί ο ανασυνδυασµός να είναι επικρατέστερος αλλά τόσο ο ανασυδυασµός όσο και η µετάλλαξη (κυρίως λόγω των ΓΑ) παρέχουν διευρύνσεις που εξασφαλίζουν καλά αποτελέσµατα όσο δύσκολο κι αν είναι το πρόβληµα, όσο µεγάλος κι αν είναι ο χώρος αναζήτησης των λύσεων. Φυσικά, δεν είµαστε σε ϑέση να πούµε ότι κάποιος τελεστής είναι καλύτερος σε σχέση µε κάποιον άλλον ή ότι ϑα πρέπει να χρησιµοποιηθεί κατά ανάγκη. Οι τελεστές χρησηµοποιούνται κατά συνθήκη και µάλιστα η εύρεση του κατάλληλου συνόλου τελεστών είναι το µυστικό για τη δηµιουργία αποτελεσµατικων ΕΑ. Κλείνοντας, επίσης, σηµαντικό είναι και το Ϲήτηµα της αναπαράστηασης µε τις πιο επικρατέστερες να είναι αυτή των δυαδικών συµβολοσειρών, όπως στην περίπτωση των ΓΑ και των διανυσµάτων πραγµατικών αριθµών, που χρησιµοποιούνται στις ΕΣ και τον ΕΠ. Εφόσον ορίσουµε µια αναπαράσταση, ακολούθως ορίζουµε κατάλληλα τους γενετικούς τελεστές. Οπως διαπιστώθηκε, ο πρώτος τρόπος αναπαράστασης είναι πιο κοντά στο επίπεδο του γονότυπου, ενώ η δεύτερη σε αυτό του ϕαινότυπου. Βέβαια όπως και στις περιπτώσεις που περιγράφηκαν παραπάνω, η µελέτη του προβλήµατος είναι αυτή που υποδεικνύει τον καταλληλο τρόπο κωδικοποίησης, ορισµού τελεστών αλλά και επιλογής µοντέλων. Για το λόγο αυτό δε µπορούµε εκ των προτέρων να καθορίσουµε το πλήθος ή το είδος των τελεστών που ϑα λάβουν χώρα. 2.5 Σύγκλιση και Πολυπλοκότητα Οι ΕΑ µπορούν να ϐρουν το ολικό ϐέλτιστο, πραγµατοποιώντας αναζήτηση σε ένα τεράστιο χώρο λύσεων, χωρίς να υπάγονται σε περιορισµούς. Σύµφωνα µε τις έρευνες [33], ΕΑ που ακολουθούν ελιτιστικούς κανόνες επιλογής (elitist selection rules) συγκλίνουν στο ολικό ϐέλτιστο. Αυτός ο τρόπος, µε λίγα λόγια, στηρίζεται στην επιλογή ατόµων για το χτίσιµο της επόµενης γενιάς. Η σύγκλιση των ΕΑ για δυαδικούς και Ευκλείδειους χώρους αναζήτησης στηρίχθηκε στα µοντέλα Markov [32]. Οι ΓΑ ανήκουν σε αυτή την κατηγορία ΕΑ, ενώ µη ελιτιστικά µοντέλα, µε τα οποία δε ϑα ασχοληθούµε περαιτέρω, συγκλίνουν δυσκολότερα και υπό συγκεκριµένες προϋποθέσεις.