ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ Μια αποτελεσματικότερη αρχικοποίηση του πληθυσμού των Γενετικών Αλγορίθμων για βελτιστοποίηση συναρτήσεων ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Αθανασία Ν. Παπανικολάου Επιβλέπουσα: Θεοδούλα Γράψα Αναπληρώτρια Καθηγήτρια Πανεπιστημίου Πατρών Πάτρα, Σεπτέμβριος 2015

2

3 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΜΑΘΗΜΑΤΙΚΩΝ ΤΜΗΜΑ ΜΗΧΑΝΙΚΩΝ Η/Υ & ΠΛΗΡΟΦΟΡΙΚΗΣ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ ΜΑΘΗΜΑΤΙΚΑ ΤΩΝ ΥΠΟΛΟΓΙΣΤΩΝ ΚΑΙ ΤΩΝ ΑΠΟΦΑΣΕΩΝ Μια αποτελεσματικότερη αρχικοποίηση του πληθυσμού των Γενετικών Αλγορίθμων για βελτιστοποίηση συναρτήσεων ΜΕΤΑΠΤΥΧΙΑΚΗ ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ Αθανασία Ν. Παπανικολάου Επιβλέπουσα: Θεοδούλα Γράψα Αναπληρώτρια Καθηγήτρια Πανεπιστημίου Πατρών Εγκρίθηκε από την τριμελή εξεταστική επιτροπή την 30η Σεπτεμβρίου 2015 Θ. Γράψα Γ. Ανδρουλάκης Σ. Κωτσιαντής Αν. Καθηγήτρια Αν. Καθηγητής Λέκτορας Πανεπιστημίου Πατρών Πανεπιστημίου Πατρών Πανεπιστημίου Πατρών Πάτρα, Σεπτέμβριος 2015 ii

4 Πανεπιστήμιο Πατρών, Τμήμα Μαθηματικών Αθανασία Ν. Παπανικολάου Με την επιφύλαξη παντός δικαιώματος. iii

5 iv

6 ΠΕΡΙΛΗΨΗ Η διαδικασία της βελτιστοποίησης αποτελεί ζήτημα ζωτικής σημασίας σε όλους τους κλάδους των επιστημών και της τεχνολογίας. Κάποιες από τις εφαρμογές της είναι η μεγιστοποίηση του κέρδους αλλά και η ελαχιστοποίηση του κόστους παραγωγής κάποιας επιχείρησης, η εύρεση βέλτιστης τροχιάς κάποιου οχήματος ή αντικειμένου κ.α.. Στα προβλήματα βελτιστοποίησης, κατασκευάζεται μία συνάρτηση-εκπρόσωπος του προβλήματος, η οποία ονομάζεται αντικειμενική συνάρτηση και χρησιμοποιείται ως μέτρο σύγκρισης των πιθανών λύσεων. Σκοπός μας είναι να εντοπίσουμε τις τιμές των μεταβλητών στις οποίες η αντικειμενική συνάρτησή λαμβάνει την μέγιστη ή ελάχιστη τιμή, σε ένα πεδίο ορισμού. Οι μέθοδοι γραμμικής αναζήτησης και οι μέθοδοι περιοχών εμπιστοσύνης αποτελούν τους κυριότερους εκπροσώπους των ντετερμινιστικών μεθόδων βελτιστοποίησης. Η βασική φιλοσοφία των μεθόδων γραμμικής αναζήτησης είναι η επιλογή κατάλληλης κατεύθυνσης κίνησης και στη συνέχεια μήκους βήματος έτσι ώστε η επόμενη τιμή της αντικειμενικής συνάρτησης να είναι μικρότερη (αν αντιμετωπίζουμε πρόβλημα ελαχιστοποίησης) από την προηγούμενη. Στις μεθόδους περιοχής εμπιστοσύνης αναζητούμε ένα τετραγωνικό μοντέλο το οποίο εμπιστευόμαστε ότι αντιπροσωπεύει επαρκώς την αντικειμενική συνάρτηση σε μία γειτονιά. Οπότε, σκοπός μας είναι η βελτιστοποίηση του μοντέλου-αντιπροσώπου. Στην κατηγορία των στοχαστικών μεθόδων βελτιστοποίησης ανήκουν οι Γενετικοί Αλγόριθμοι (ΓΑ) και αποτελούν παρακλάδι των Εξελικτικών Αλγορίθμων. Η βασική ιδέα των ΓΑ είναι η μίμηση των διαδικασιών της εξέλιξης που συναντάμε στην φύση. Σύμφωνα με την Θεωρία Εξέλιξης των Ειδών του Δαρβίνου στη φύση επιβιώνει ο πιο δυνατός οργανισμός, οπότε, καθώς το φυσικό περιβάλλον μεταβάλλεται, οι οργανισμοί θα πρέπει να εξελίσσονται συνεχώς προκειμένου να επιβιώσουν. Βασισμένοι, λοιπόν σε αυτή την ιδέα, οι ΓΑ, διατηρούν ένα πληθυσμό πιθανών λύσεων ο οποίος σε κάθε επανάληψη του αλγορίθμου βελτιώνεται, με την έννοια ότι τα άτομα που τον αποτελούν πλησιάζουν όλο και περισσότερο στη λύση του προβλήματος. Στην παρούσα διπλωματική εργασία θα ξεκινήσουμε κάνοντας μία σύντομη ανάλυση των μεθόδων γραμμικής αναζήτησης καθώς και των μεθόδων περιοχών εμπιστοσύνης (Κεφάλαιο 1). Στη συνέχεια, θα μελετήσουμε τους Γενετικούς Αλγόριθμους (Κεφάλαιο 2) και θα προτείνουμε μία παραλλαγή αυτών για την βελτιστοποίηση συναρτήσεων (Κεφάλαιο 3). Η διαφορά αυτής της νέας μεθόδου, έναντι των κλασσικών ΓΑ, έγκειται στην αρχικοποίηση του πληθυσμού για την εφαρμογή του αλγορίθμου. Τα σημεία που δίνουμε ως είσοδο στον ΓΑ (pivot σημεία) επιλέγονται με μία συγκεκριμένη και ιδιαιτέρως σημαντική ιδιότητα, την quasi solution property, πράγμα το οποίο φαίνεται να βελτιώνει v

7 την απόδοση του κλασσικού ΓΑ. Η μέθοδος δοκιμάστηκε σε κάποια χαρακτηριστικά παραδείγματα και τα προκαταρκτικά αποτελέσματα που προέκυψαν είναι ενθαρρυντικά. Περαιτέρω έρευνα αξίζει να γίνει σε μία μελλοντική εργασία. ΛΕΞΕΙΣ ΚΛΕΙΔΙΑ Βελτιστοποίηση, Γενετικοί Αλγόριθμοι, pivot σημεία vi

8 ABSTRACT The process of optimization is vital in all fields of science and technology. Some of its applications are to maximize profit and minimize the production cost of some businesses, to find the optimal trajectory of a vehicle or object, etc. In optimization problems, a function-representative of the problem is created, which is called objective function and is used in evaluating possible solutions. Our aim is to identify the values of the variables in which the objective function reaches its maximum or minimum value in a domain. The main representatives of deterministic optimization methods are linear search methods and trust region methods. The basic philosophy of a linear search method is the choice of an appropriate search direction followed by the choice of a step length so that the next value of the objective function is smaller (if facing a minimization problem) than its predecessor. In a trust region method we seek for a square model that we trust to adequately represent the objective function in a neighborhood. So, our goal is to optimize the model-representative. Genetic Algorithms (GA) are stochastic optimization methods and an offshoot of Evolutionary Algorithms. The main idea of a GA is the imitation of the development processes we encounter in nature. According to the Darwinian Evolution of Species, in nature, the fittest organism survives. Consequently, as the environment changes, organisms must continually evolve in order to survive. Based on this idea, a GA preserves a population of potential solutions which, in each iteration of the algorithm, is improved, meaning that the individuals that make up the population are approaching the problems solution. In the present master thesis we will begin by briefly analyzing linear search methods and trust region methods. Following, we will study Genetic Algorithms and also recommend one alteration of these for function optimization. The difference of this new method, that will be called pivot GA, compared to the classic GA, lies in the initialization of the population in order to implement the algorithm. Pivot GA is initialized by individuals (pivot points) that hold a particular and extremely important property, the quasi - solution property, which seems to improve the performance of the classic GA. The method was tested on some characteristic examples and preliminary results are promising. Further research should be done in future work. KEY WORDS Optimization, Genetic Algorithms, pivot points vii

9 viii

10 Ευχαριστίες Με την περάτωση της παρούσας διπλωματικής εργασίας, θα ήταν μεγάλη μου παράλειψη να μην εκφράσω τις βαθιές μου ευχαριστίες στους ανθρώπους των οποίων η συμβολή ήταν καταλυτική. Πρωτίστως, θα ήθελα να πω ένα τεράστιο ευχαριστώ στην επιβλέπουσα καθηγήτριά μου, κα Θεοδούλα Γράψα. Δυστυχώς, τα λόγια δεν θα είναι ποτέ αρκετά για να εκφράσουν την ευγνωμοσύνη που νιώθω για την εμπιστοσύνη που μου έδειξε, αλλά και για την απεριόριστη υποστήριξη που μου προσέφερε. Η συνεργασία μας ξεκίνησε στο δεύτερο έτος των μεταπτυχιακών σπουδών μου κατά το οποίο ανέλαβα το επικουρικό έργο σε κάποια από τα μαθήματα που δίδασκε. Η καθοδήγηση και οι συμβουλές που μου παρείχε, σε όλα τα επίπεδα της συνεργασίας μας, είχαν και έχουν ανεκτίμητη αξία, τόσο για την ολοκλήρωση αυτής της εργασίας, αλλά και για την περαιτέρω εξέλιξη της ζωής μου. Ιδιαίτερες ευχαριστίες θα ήθελα να απευθύνω στον κ. Σωτήρη Κωτσιαντή καθώς ήταν πάντα διαθέσιμος για ό,τι χρειάστηκα. Οι παρατηρήσεις και οι υποδείξεις που μου προσέφερε ήταν καθοριστικές στην εξέλιξη της εργασίας. Επίσης, ευχαριστώ θερμά τον κ. Γεώργιο Ανδρουλάκη για την υποστήριξή του και για την γενικότερη συμβολή του στην διεκπεραίωση της εργασίας. Αθανασία Παπανικολάου Πάτρα, 2015 ix

11 x

12 Περιεχόμενα Περίληψη..v Abstract..vii Ευχαριστίες...ix 1 Βελτιστοποίηση Βασικές έννοιες και μαθηματικό υπόβαθρο Μέθοδοι γραμμικής αναζήτησης Μέθοδοι περιοχής εμπιστοσύνης Γενετικοί Αλγόριθμοι Βιολογικό υπόβαθρο Βασική δομή ενός απλού Γενετικού Αλγορίθμου Χώρος αναζήτησης Αρχικοποίηση Κωδικοποίηση - Αναπαράσταση Επιλογή Διασταύρωση Μετάλλαξη Τερματισμός του ΓΑ Βελτιστοποίηση μιας απλής συνάρτησης με χρήση Γενετικού Αλγορίθμου Θεωρητική θεμελίωση των Γενετικών Αλγορίθμων Η προτεινόμενη αρχικοποίηση των Γενετικών Αλγορίθμων Συστήματα μη γραμμικών εξισώσεων και βελτιστοποίηση Pivot σημεία Κατασκευή pivot σημείων Αξιοποίηση των pivot σημείων για την δημιουργία του αρχικού πληθυσμού του pivot ΓΑ Πειραματικά Αποτελέσματα Συμπεράσματα Βιβλιογραφία 86 Παράρτημα...90 xi

13 xii

14 1 Βελτιστοποίηση Η βελτιστοποίηση αποτελεί ένα πολύ σημαντικό ζήτημα για όλες τις θετικές επιστήμες, καθώς και ένα πολύ κεντρικό κομμάτι της θεωρίας αποφάσεων. Η βασική ιδέα, σε ένα πρόβλημα βελτιστοποίησης, είναι ότι αναζητούμε εκείνη την επιλογή, η οποία μας δίνει το καλύτερο (βέλτιστο) αποτέλεσμα ή μας οδηγεί στο να πάρουμε την σωστότερη απόφαση. Το πόσο καλή είναι μία απόφαση μετράται από την τιμή μίας συνάρτησης, η οποία ονομάζεται αντικειμενική συνάρτηση. Φυσικά, η αντικειμενική συνάρτηση δεν είναι η ίδια σε όλα τα προβλήματα βελτιστοποίησης, αλλά διαμορφώνεται κάθε φορά ανάλογα με τη φύση του προβλήματος. Εμείς, λοιπόν, καλούμαστε να βρούμε τις τιμές των μεταβλητών της αντικειμενικής συνάρτησης, έτσι ώστε η τιμή της να βελτιστοποιηθεί, δηλαδή να ελαχιστοποιηθεί ή να μεγιστοποιηθεί. Έχουν αναπτυχθεί πάρα πολλές μέθοδοι βελτιστοποίησης που δουλεύουν πολύ καλά σε διαφορετικές κατηγορίες προβλημάτων η κάθε μία, όμως δεν υπάρχει κάποια που να είναι το ίδιο αποδοτική σε όλα, δηλαδή δεν υπάρχει βέλτιστη μέθοδος βελτιστοποίησης. Αυτή η μη ύπαρξη βέλτιστου αλγορίθμου βελτιστοποίησης έχει αποδειχθεί από τα no free lunch theorems for optimization, σύμφωνα με τα οποία, για κάθε αλγόριθμο ο οποίος υπερέχει, σε σχέση με τους υπόλοιπους, για μία κλάση συναρτήσεων συγκεκριμένου πλήθους, υπάρχει μία άλλη κλάση συναρτήσεων, ίδιου πλήθους, για την οποία ο ίδιος αλγόριθμος θα υστερεί των υπολοίπων. Η βελτιστοποίηση έχει τις ρίζες της στην εποχή των Newton, Lagrange και Cauchy. Όμως, παρόλο που η ιδέα αυτή ξεκίνησε τα πολύ παλιά χρόνια, είχε την μεγαλύτερη εξέλιξη τον 20ο αιώνα, καθώς τότε υπήρξε η εισαγωγή των υπολογιστών. Με την άφιξη και στη συνέχεια, με την αύξηση της υπολογιστικής δύναμης, έγινε εφικτή η εφαρμογή αλγορίθμων βελτιστοποίησης, οπότε όλο και περισσότεροι επιστήμονες άρχισαν να ερευνούν τον κλάδο αυτό. Οι εφαρμογές των μεθόδων βελτιστοποίησης είναι πάρα πολλές και αφορούν κυρίως τους κλάδους της μηχανικής και τεχνολογίας, της οικονομίας, της φαρμακευτικής κ.α.. Πιο συγκεκριμένα, κάποιες εφαρμογές της βελτιστοποίησης είναι οι ακόλουθες: εύρεση της βέλτιστης τροχιάς για τις αποστολές στο διάστημα εύρεση του βέλτιστου σχεδιασμού ενός ηλεκτρικού δικτύου

15 εύρεση του κοντινότερου μονοπατιού για την εκτέλεση κάποιας αποστολής ελαχιστοποίηση του κόστους παραγωγής μεγιστοποίηση του κέρδους κάποιας επιχείρησης 1.1 Βασικές έννοιες και μαθηματικό υπόβαθρο Μία συνάρτηση είναι πιθανό να έχει περισσότερα από ένα ελάχιστα, οπότε, ανάλογα με το πρόβλημα που αντιμετωπίζουμε μπορεί να αναζητούμε ένα τοπικό ή ένα ολικό ελάχιστο. Ένα τοπικό ελάχιστο, είναι εκείνο το σημείο στο οποίο η συνάρτησή μας λαμβάνει την μικρότερη τιμή, συγκριτικά με την τιμή της σε γειτονικά σημεία. Το ολικό ελάχιστο, είναι εκείνο το σημείο στο οποίο η συνάρτησή μας λαμβάνει την μικρότερη τιμή, αυτήν τη φορά όμως, συγκριτικά με όλα τα υπόλοιπα σημεία εντός του πεδίου ορισμού της. Ορισμός 1.1: Ένα σημείο * x, καλείται τοπικό ελάχιστο (ή τοπικός ελαχιστοποιητής) της αντικειμενικής συνάρτησης f, εάν ισχύει * f( x ) f( x), x, όπου το μία γειτονιά του * x, ενώ καλείται αυστηρά τοπικό ελάχιστο αν ισχύει * f( x ) f( x), x. Ορισμός 1.2: Ένα σημείο * x, καλείται ολικό ελάχιστο της αντικειμενικής συνάρτησης f, εάν ισχύει * n f( x ) f( x), x. Από τους δύο παραπάνω ορισμούς, θα μπορούσε κάποιος να βγάλει το λανθασμένο συμπέρασμα ότι μοναδικός τρόπος επαλήθευσης για να είναι ένα σημείο * x τοπικό ελάχιστο της f, είναι η εύρεση της συναρτησιακής τιμής * f ( x ) και η σύγκριση αυτής με την τιμή της f σε όλα τα γειτονικά σημεία του x *. Κάτι τέτοιο βέβαια δεν ισχύει, όπως θα δούμε στη συνέχεια. 1

16 Φυσικά, μία συνάρτηση μπορεί να έχει περισσότερα από ένα τοπικά ελάχιστα, όμως μόνο ένα ολικό. Αυτό φαίνεται ξεκάθαρα στο παρακάτω σχήμα. Σχήμα 1.1: Ολικό και τοπικά ελάχιστα Τα προβλήματα βελτιστοποίησης χωρίζονται σε δύο βασικές κατηγορίες, τα προβλήματα χωρίς περιορισμούς και τα προβλήματα υπό περιορισμούς. Οι περιορισμοί, όταν υπάρχουν, αφορούν τις μεταβλητές του προβλήματος, ελάχιστο μίας συνάρτησης f είναι το μέγιστο της x i. Να σημειώσουμε σε αυτό το σημείο, ότι το f, οπότε, από εδώ και πέρα θα μιλάμε για την εύρεση ελαχίστου, αφού είναι ξεκάθαρο ότι το πρόβλημα μεγιστοποίησης μίας συνάρτησης ανάγεται εν τέλει σε πρόβλημα ελαχιστοποίησης της αντίθετης συνάρτησης. Πιο συγκεκριμένα, αν: o x είναι το διάνυσμα των μεταβλητών, δηλαδή x [ x1 x2... x ] T n, o f ( x ) είναι η αντικειμενική συνάρτηση, δηλαδή μία συνάρτηση του x την οποία θέλουμε να ελαχιστοποιήσουμε ή να μεγιστοποιήσουμε και 2

17 o ci ( x ) είναι οι περιορισμοί, δηλαδή ισότητες ή/και ανισότητες οι οποίες πρέπει να ικανοποιούνται από τις μεταβλητές του διανύσματος x, τότε, ένα πρόβλημα βελτιστοποίησης υπό περιορισμούς μπορεί να διατυπωθεί ως εξής: Αναζητούμε * x, έτσι ώστε το * n f( x ) min f( x), x και * x υπόκειται στους περιορισμούς c x c x. * * i( ) 0, i( ) 0 Ακριβώς αντίστοιχα ορίζεται το πρόβλημα βελτιστοποίησης χωρίς περιορισμούς: Αναζητούμε * x, έτσι ώστε * n f( x ) min f( x), x. Παράδειγμα 1.1: Ένα πρόβλημα βελτιστοποίησης χωρίς περιορισμούς είναι η εύρεση του ελαχίστου της συνάρτησης f ( x) 49x157 x2 28x3 44x4. Σε αυτή την περίπτωση, οποιαδήποτε λύση βρούμε είναι αποδεκτή. Εάν τώρα, επιπλέον, απαιτήσουμε το διάνυσμα x [ x1 x2 x3 x4] T να ικανοποιεί τους περιορισμούς: o x1x2 x3x o x1x2 800 o x1 100 o x1 x2 x3 x o x 0, i 1, 2,3, 4, i το πρόβλημά μας μετατρέπεται σε πρόβλημα βελτιστοποίησης υπό περιορισμούς. Σε αυτή την περίπτωση, θα απορρίψουμε τυχόν λύσεις του προβλήματος οι οποίες δεν ικανοποιούν τις παραπάνω συνθήκες. 3

18 Παράδειγμα 1.2: Έστω, τώρα, ότι αναζητούμε το ολικό ελάχιστο της συνάρτησης που απεικονίζεται στο παρακάτω σχήμα. Σχήμα 1.2: Γραφική παράσταση τυχαίας συνάρτησης f o Εάν το πρόβλημά μας δεν έχει περιορισμούς, το σημείο που θα βρούμε θα είναι το Γ. o Εάν εισάγουμε τον περιορισμό, το σημείο που θα βρούμε θα είναι το Α. o Εάν εισάγουμε, επιπλέον, τους περιορισμούς και, θα βρούμε το σημείο Β. Ένας αλγόριθμος βελτιστοποίησης μπορεί να ανήκει σε μία από τις δύο βασικές κατηγορίες, στους ντετερμινιστικούς αλγορίθμους είτε στους στοχαστικούς. Οι ντετερμινιστικοί αλγόριθμοι, ξεκινώντας από μία αρχική μαντεψιά, προσεγγίζουν με επαναληπτικό τρόπο την λύση, κινούμενοι σε κάθε βήμα προς μία συγκεκριμένη κατεύθυνση, η οποία διαφέρει ανάλογα με τον αλγόριθμο που χρησιμοποιείται. Ακολουθούν ένα απλό σετ κανόνων και εγγυώνται, θεωρητικά, την εύρεση του ολικού ελαχίστου. Το πρόβλημα με τους αλγόριθμους αυτούς είναι ότι πολλές φορές παγιδεύονται σε κάποιο τοπικό ελάχιστο και αποτυγχάνουν στην εύρεση του ολικού ελαχίστου. Η επιτυχία ή αποτυχία ενός τέτοιου 4

19 αλγορίθμου εξαρτάται σε πολύ μεγάλο βαθμό από την αρχική μαντεψιά. Πιο συγκεκριμένα, εαν η πρώτη μας προσέγγιση βρίσκεται σχετικά κοντά στη λύση, θα έχουμε γρήγορα επιτυχία, εαν όμως ξεκινήσουμε τις επαναλήψεις από κάποιο σημείο που βρίσκεται σχετικά μακριά από την λύση, μάλλον θα αποτύχουμε. Οι ντετερμινιστικοί αλγόριθμοι υποθέτουν ότι η τέλεια πληροφορία είναι γνωστή, δηλαδή ότι γνωρίζουμε πλήρως το μοντέλο, τις ιδιότητες και την συμπεριφορά της αντικειμενικής συνάρτησης και, συνεπώς, όλες αυτές οι πληροφορίες χρησιμοποιούνται για την εύρεση της ιδανικής κατεύθυνσης προς την οποία θα κινηθούμε σε κάθε βήμα. Φυσικά, σε προβλήματα του πραγματικού κόσμου, τις περισσότερες φορές, δεν γνωρίζουμε πλήρως το μοντέλο. Εδώ, λοιπόν, εντοπίζεται η χρησιμότητα των στοχαστικών αλγορίθμων βελτιστοποίησης, οι οποίοι βασίζονται στην τυχαιότητα. Οι αλγόριθμοι αυτής της κατηγορίας, ψάχνουν σε όλο το χώρο αναζήτησης, αξιολογούν τα αποτελέσματα και ξαναπροσπαθούν κινούμενοι προς τυχαίες κατευθύνσεις. Συγκριτικά με τους ντετερμινιστικούς αλγόριθμους, οι στοχαστικοί αλγόριθμοι βελτιστοποίησης, έχουν καλύτερη συμπεριφορά σε μοντέλα που δεν είναι πλήρως γνωστά, είναι ανεκτικοί σε ανακρίβειες και δεν παγιδεύονται τόσο εύκολα σε τοπικά ελάχιστα. Η μέθοδος Συζυγών Κλίσεων καθώς και η μέθοδος της πιο Απότομης Κατάβασης (Cauchy) είναι παραδείγματα ντετερμινιστικών αλγορίθμων βελτιστοποίησης, ενώ στους στοχαστικούς ανήκουν οι Monte Carlo και Γενετικοί αλγόριθμοι. Στην παρούσα εργασία θα ασχοληθούμε με προβλήματα ολικής βελτιστοποίησης χωρίς περιορισμούς. Θα ξεκινήσουμε αναφέροντας κάποιες ντετερμινιστικές μεθόδους επίλυσής τους και στη συνέχεια θα αναλύσουμε τους Γενετικούς αλγόριθμους, από την κατηγορία των στοχαστικών μεθόδων. 5

20 Σε αυτό το σημείο είναι απαραίτητο να παρουσιάσουμε κάποιες θεμελιώδεις έννοιες και μαθηματικά εργαλεία που χρησιμοποιούνται ευρέως στην βελτιστοποίηση. Αρχικά, θα δώσουμε κάποιους ορισμούς και στη συνέχεια θα παραθέσουμε το θεώρημα του Taylor, το οποίο είναι εξαιρετικά χρήσιμο στην μελέτη ελάχιστων σημείων μίας συνάρτησης. n Ορισμός 1.3: Η κλίση (gradient) μίας συνεχώς παραγωγίσιμης συνάρτησης f :, σε ένα σημείο n x, συμβολίζεται με f ( x) και ορίζεται ως: f ( x) x 1 f ( x) x. f ( x) x n f( x) 2 Ορισμός 1.4: Το Εσσιανό μητρώο (Hessian matrix) μίας δύο φορές παραγωγίσιμης n συνάρτησης, f :, σε ένα σημείο n x, συμβολίζεται με 2 f ( x) και ορίζεται ως: f ( x) f ( x) f ( x) 2 x1 x1x2 x1xn f ( x) f ( x) f ( x) 2 2 f( x) x2x1 x2 x2xn f ( x) f ( x) f ( x) 2 xnx1 xnx2 xn Ορισμός 1.5: Ένα συμμετρικό μητρώο Α λέμε ότι είναι θετικά ορισμένο, αν για κάθε διάνυσμα T s, με s 0, ισχύει s As 0. Το Α λέγεται θετικά ημιορισμένο, αν για κάθε διάνυσμα s, με T s 0, ισχύει s As 0. 6

21 n Θεώρημα (Taylor): Έστω μία συνάρτηση f : και ένα σημείο n p. Εάν η f είναι συνεχώς διαφορίσιμη, τότε θα ισχύει: f ( x p) f ( x) f ( xtp) T p, για κάποιο t (0,1). Επιπλέον, αν η f είναι δύο φορές συνεχώς διαφορίσιμη, τότε θα ισχύουν: 1 ( ) ( ) 2 ( ) 0 f x p f x f xtp pdt, και T 1 T 2 f ( x p) f( x) f( x) p p f( xtp) p, για κάποιο t (0,1). 2 Όπως αναφέραμε νωρίτερα, η σύγκριση των συναρτησιακών τιμών της αντικειμενικής συνάρτησης σε διάφορα σημεία του πεδίου ορισμού της, δεν είναι ο εύλογος τρόπος αναγνώρισης ενός τοπικού ελαχίστου. Όταν η συνάρτησή μας είναι ομαλή (έχει συνεχείς μερικές παραγώγους πρώτης και δεύτερης τάξης), υπάρχουν πολύ πιο αποδοτικοί τρόποι εντοπισμού του ελαχίστου. Παραθέτουμε παρακάτω τις αναγκαίες συνθήκες έτσι ώστε ένα σημείο να είναι τοπικό ελάχιστο, καθώς και την ικανή συνθήκη έτσι ώστε το σημείο αυτό να είναι και αυστηρά τοπικό ελάχιστο. Αναγκαίες συνθήκες πρώτης τάξης: Αν το * x είναι τοπικός ελαχιστοποιητής και η f είναι συνεχώς διαφορίσιμη σε μία ανοιχτή γειτονιά αυτού, τότε θα ισχύει * f( x ) 0. Αναγκαίες συνθήκες δεύτερης τάξης: Αν το * x είναι τοπικός ελαχιστοποιητής της f και το υπάρχει και είναι συνεχής σε μία ανοιχτή γειτονιά αυτού, τότε θα ισχύουν: 2 f o * f( x ) 0και o το μητρώο f ( x ) είναι θετικά ημιορισμένο. 2 * 7

22 Ικανές συνθήκες δεύτερης τάξης: Αν ισχύουν: o το 2 f είναι συνεχής σε μία ανοιχτή γειτονία του * x o f x * ( ) 0 o το μητρώο 2 * f ( x ) είναι θετικά ορισμένο, τότε το * x είναι αυστηρά τοπικό ελάχιστο της f. Παράδειγμα 1.3: Έστω f : 2, με f( x, x ) x x x 2. Θα χρησιμοποιήσουμε τις παραπάνω συνθήκες για να βρούμε τον ελαχιστοποιητή (αν υπάρχει) της f. Αρχικά, θα υπολογίσουμε την κλίση της συνάρτησης και στη συνέχεια θα απαιτήσουμε να ισούται με 0. Έτσι θα βρούμε τα σημεία που είναι υποψήφια για να είναι ελαχιστοποιητές. 2xx 1 2 2xx 1 20 x1 0 f( x1, x2) x1 2x2 x1 2x2 0 x 2 0 Αφού βρήκαμε το πιθανό σημείο ελαχίστου, θα πρέπει να ελέγξουμε εάν το εσσιανό μητρώο είναι θετικά ορισμένο στην θέση αυτή. Θα πρέπει : 2x 2 2 2x f( x1, x2) f(0,0) 2x s s s s 0 0 2s 2s 0, s s2 s2 Συνεπώς, το (0,0) είναι ελαχιστοποιητής της f και το f (0,0) 2 είναι το ελάχιστο της συνάρτησης. 8

23 1.2 Οικογένειες μεθόδων βελτιστοποίησης Στην βελτιστοποίηση χωρίς περιορισμούς, κυριαρχούν δύο βασικές φιλοσοφίες μεθόδων: Μέθοδοι γραμμικής αναζήτησης (Line Search methods) Μέθοδοι περιοχών εμπιστοσύνης (Trust Region methods) Η αναζήτηση του ελαχίστου, και για τις δύο παραπάνω οικογένειες μεθόδων, είναι μία επαναληπτική διαδικασία η οποία ξεκινά από μία τυχαία αρχική προσέγγιση αυτού, έστω x 0. Στη συνέχεια, επιλέγεται μία κατεύθυνση κίνησης και ένα βήμα μεταπήδησης πάνω σε αυτήν τη κατεύθυνση, όχι απαραίτητα με αυτήν τη σειρά. Με αυτόν τον τρόπο βρίσκουμε την επόμενη προσέγγιση του ελαχίστου, έστω x 1. Έχοντας, τώρα, ως αφετηρία το x 1, επαναλαμβάνουμε την διαδικασία μέχρις ότου βρούμε ακριβώς το ελάχιστο ή πλησιάσουμε ικανοποιητικά κοντά σε αυτό, όπου και η μέθοδος τερματίζει Μέθοδοι γραμμικής αναζήτησης Ο επαναληπτικός τύπος των μεθόδων γραμμικής αναζήτησης είναι ο ακόλουθος: x 1 x a d, a 0, k k k k k όπου η σταθερά a k είναι το μήκος βήματος και το d k είναι η κατεύθυνση αναζήτησης στην k 1 επανάληψη. Σε αυτή την οικογένεια μεθόδων, αποφασίζουμε πρώτα προς ποια κατεύθυνση θα κινηθούμε και στη συνέχεια το μήκος του βήματος. Η αποδοτικότητα και αποτελεσματικότητα της μεθόδου εξαρτάται σε πολύ μεγάλο βαθμό τόσο από την κατεύθυνση αναζήτησης, όσο και από το μήκος του βήματος. Ανάλογα με την κατεύθυνση και το βήμα που θα επιλέξουμε διαμορφώνεται και μία νέα μέθοδος. Στη συνέχεια, θα δούμε κάποιες τεχνικές επιλογής αυτών των δύο παραμέτρων. 9

24 Επιλογή κατεύθυνσης αναζήτησης Η πλειοψηφία των αλγορίθμων βελτιστοποίησης επιλέγουν το d k να είναι κατεύθυνση μείωσης (κατάβασης). Με την επιλογή τέτοιας κατεύθυνσης, εξασφαλίζεται ότι η τιμή της αντικειμενικής συνάρτησης μικραίνει σε κάθε επανάληψη του αλγορίθμου, δηλαδή f ( x a d ) f ( x ). Παρακάτω δίνουμε τον ορισμό της κατεύθυνσης μείωσης. [9] k k k k Ορισμός 1.6: Μία κατεύθυνση d k είναι κατεύθυνση μείωσης, αν και μόνο αν, ικανοποιεί την σχέση: T f( x ), d 0 ή αλλιώς d f( x ) 0. k k k k Αυτό συμβαίνει διότι, το εσωτερικό γινόμενο δύο διανυσμάτων είναι αρνητικό μόνο όταν το συνημίτονο της μεταξύ τους γωνίας είναι αρνητικό, αφού f( x ), d f( x ) d cos k k k k Τότε, όμως, αξιοποιώντας το θεώρημα Taylor, σύμφωνα με το οποίο T f ( x ad ) f ( x ) ad f ( x ), θα έχουμε ότι f ( xk ak dk) f ( xk), δηλαδή η d k θα k k k k k είναι κατεύθυνση μείωσης. Άμεση συνέπεια του παραπάνω ορισμού είναι ότι, για να είναι η d k κατεύθυνση μείωσης, θα πρέπει η γωνία που σχηματίζει με την κλίση της συνάρτησης, στο δεδομένο σημείο, να είναι αμβλεία. Στην περίπτωση που η γωνία είναι οξεία, το συνημίτονο θα είναι θετικό και συνεπώς, το εσωτερικό γινόμενο θα είναι θετικό, οπότε, από το θεώρημα Taylor θα έχουμε f ( x a d ) f ( x ), δηλαδή κατεύθυνση αύξησης. Πολλοί αλγόριθμοι χρησιμοποιούν την k k k k πιο προφανή επιλογή, δηλαδή, την κατεύθυνση προς την οποία η f έχει την πιο απότομη μείωση, δηλαδή την f ( x). Στο παρακάτω σχήμα βλέπουμε την γεωμετρική ερμηνεία της κατεύθυνσης μείωσης. [8] 10

25 Σχήμα 1.3: Κατεύθυνση μείωσης Επιλογή μήκους βήματος Η επιλογή του μήκους βήματος είναι, επίσης, θεμελιώδους σημασίας για την επιτυχία της μεθόδου. Σκοπός μας είναι να βρούμε την καταλληλότερη τιμή για το a k, έτσι ώστε να φτάσουμε γρήγορα και με μικρό υπολογιστικό κόστος στο ελάχιστο. Οπότε, πριν αποφασίσουμε, θα πρέπει να λάβουμε υπόψιν, πρώτον, το κατά πόσο μειώνεται η τιμή της αντικειμενικής συνάρτησης για το εκάστοτε βήμα και δεύτερον, το πόσο μας κοστίζει ο υπολογισμός αυτού. Το ιδανικό βήμα, θα ήταν το ολικό ελάχιστο της συνάρτησης ( a) f ( x a d ), όμως ο υπολογισμός του κοστίζει πολύ, αφού σε κάθε επανάληψη απαιτούνται πολλοί συναρτησιακοί υπολογισμοί. Μεγάλο ρίσκο έχει και η θεώρηση ενός σταθερού βήματος. Εάν η τιμή του είναι πολύ μικρή, θα έχουμε μία μη αποδοτική μέθοδο (πολλούς συναρτησιακούς υπολογισμούς), ενώ αν είναι πολύ μεγάλη, η μέθοδός μας ίσως είναι μη αποτελεσματική (αποτυχία εύρεσης του ολικού ελαχίστου), όπως απεικονίζεται στα παρακάτω σχήματα. [6] k k 11

26 Σχήμα 1.4: Μεγάλο μήκος βήματος Σχήμα 1.5: Μικρό μήκος βήματος 12

27 Υπάρχουν δύο κατηγορίες μεθόδων για τον υπολογισμό του βήματος, οι ακριβείς και οι μη ακριβείς. Οι μη ακριβείς μέθοδοι υπολογίζουν το βήμα με το ελάχιστο δυνατό κόστος και σχετικά καλή ακρίβεια, ενώ οι ακριβείς προσεγγίζουν το βήμα καλύτερα, αλλά απαιτούν περισσότερους υπολογισμούς. Μη ακριβείς μέθοδοι υπολογισμού βήματος Συνθήκες του Wolfe Στην κατηγορία των μη ακριβών μεθόδων υπολογισμού του βήματος ανήκουν οι συνθήκες του Wolfe. Είναι από τις πιο διαδεδομένες και ευρέως χρησιμοποιούμενες τεχνικές, λόγω του ότι βρίσκουν το βήμα με αρκετά καλή ακρίβεια και η εφαρμογή τους έχει μικρό υπολογιστικό κόστος. Αποτελούνται από τις εξής δύο συνθήκες: Συνθήκη επαρκούς ελάττωσης (ή συνθήκη Armijo) Συνθήκη καμπυλότητας Όπως είδαμε νωρίτερα, η επιλογή κατεύθυνσης μείωσης μας εξασφαλίζει ότι η τιμή της αντικειμενικής συνάρτησης μικραίνει σε κάθε επανάληψη. Όμως, αυτό δεν είναι αρκετό διότι αυτή η μείωση μπορεί να είναι πολύ μικρή, γεγονός που θα μας οδηγήσει σε πολλούς, περιττούς, συναρτησιακούς υπολογισμούς. Εδώ, έγκειται η χρησιμότητα της πρώτης συνθήκης του Wolfe, η οποία αποδέχεται μόνο εκείνο το βήμα για το οποίο η τιμή της f μειώνεται ικανοποιητικά. Η συνθήκη επαρκούς ελάττωσης δίνεται με την ανισότητα: f ( x a d ) f ( x ) c af d T k k k k 1 k k όπου, c1 (0,1), μία σταθερά. Πιο συγκεκριμένα, με την εφαρμογή της παραπάνω ανισότητας, απαιτούμε η μείωση στην τιμή της f να είναι ανάλογη, όχι μόνο του μήκους βήματος, αλλά και του f d. Αν θέλουμε να απεικονίσουμε γραφικά την συνθήκη επαρκούς ελάττωσης, αρκεί T k k να παρατηρήσουμε ότι το πρώτο μέλος της ανισότητας δεν είναι άλλο παρά η συνάρτηση φ(α), ενώ το δεύτερο μέλος αντιπροσωπεύει ένα ευθύγραμμο τμήμα, l(α), με αρνητική κλίση. 13

28 Συνεπώς, αποδεκτές τιμές για το μήκος βήματος είναι όλα εκείνα τα α για τα οποία η φ(α) βρίσκεται κάτω από το l(α). [1] Σχήμα 1.6: Συνθήκη επαρκούς ελάττωσης Η παραπάνω συνθήκη, από μόνη της, δεν είναι αρκετή για να εξασφαλίσει επαρκή μείωση στην τιμή της f, αφού ικανοποιείται πάντα για αρκετά μικρές τιμές του α. Οπότε, εφαρμόζουμε ταυτόχρονα και την δεύτερη συνθήκη, την συνθήκη καμπυλότητας, σύμφωνα με την οποία το βήμα θα πρέπει να ικανοποιεί την ανισότητα: f ( x a d ) T d c f T d k k k k 2 k k για κάποια σταθερά c2 ( c1,1). Με άλλα λόγια, απαιτούμε η κλίση της φ στο σημείο a k, να είναι μεγαλύτερη από c 2 φορές την αρχική κλίση, '(0). [1] 14

29 Σχήμα 1.7: Συνθήκη καμπυλότητας Είναι προφανές, από τα παραπάνω σχήματα, ότι κάποια τιμή για το βήμα μπορεί να ικανοποιεί τις συνθήκες του Wolfe, χωρίς να βρίσκεται κοντά σε κάποιον ελαχιστοποιητή της φ(α). Για να αποκλείσουμε αυτά τα σημεία, μπορούμε να εφαρμόσουμε τις Ισχυρές συνθήκες του Wolfe, οι οποίες δίνονται ως εξής: f ( x a d ) f ( x ) c a f d T k k k k 1 k k k f ( x a d ) d c f d T T k k k k 2 k k όπου 0c1 c2 1, σταθερές. 15

30 Συνθήκες του Goldstein Αντί των συνθηκών του Wolfe, κάποιος μπορεί να επιλέξει να χρησιμοποιήσει τις συνθήκες του Goldstein, οι οποίες εκφράζονται από την διπλή ανισότητα: T T f ( x ) (1 c) a f d f ( x a d ) f ( x ) ca f d k k k k k k k k k k k 1 όπου 0 c, σταθερά. Όπως βλέπουμε, οι συνθήκες του Goldstein, μοιάζουν πολύ με τις 2 συνθήκες του Wolfe και μάλιστα η δεύτερη ανισότητα είναι η συνθήκη επαρκούς ελάττωσης. Η διαφορά εντοπίζεται στην πρώτη ανισότητα, η οποία χρησιμοποιείται για να φράξει το βήμα και από κάτω. Το πρώτο μέλος, δεν είναι άλλο παρά ένα ευθύγραμμο τμήμα, έστω κ(α), με πιο απότομη κλίση από το l(α). Οπότε, αποδεκτές τιμές για το βήμα είναι όλες εκείνες οι οποίες βρίσκονται ανάμεσα στα ευθύγραμμα τμήματα κ(α) και λ(α). [1] Σχήμα 1.8: Συνθήκες του Goldstein 16

31 Ακριβείς μέθοδοι υπολογισμού βήματος Μέθοδος της χρυσής τομής Στις ακριβείς μεθόδους υπολογισμού βήματος ανήκει η μέθοδος της χρυσής τομής. Σκοπός μας, εδώ, είναι να βρούμε ένα ικανοποιητικά μικρό διάστημα στο οποίο θα περιέχεται το ελάχιστο της συνάρτησης φ(α). Η μέθοδος της χρυσής τομής είναι μία επαναληπτική μέθοδος, η οποία σε κάθε επανάληψη επιστρέφει ολοένα και μικρότερο διάστημα στο οποίο περιέχεται το ελάχιστο. Βασικές προϋποθέσεις της μεθόδου είναι η συνάρτησή μας να παρουσιάζει ένα μόνο ελάχιστο, καθώς και να είναι γνωστό ένα αρχικό διάστημα στο οποίο περιέχεται το ελάχιστο. Κατά την εφαρμογή της μεθόδου, το εύρος του διαστήματος αναζήτησης μειώνεται με συμμετρικό τρόπο από τα άκρα. Το υπολογιστικό κόστος της μεθόδου είναι αρκετά μεγάλο, αφού απαιτείται ο υπολογισμός της φ σε μία πληθώρα σημείων, ενώ ο αριθμός των επαναλήψεων εξαρτάται από την ακρίβεια που θέλουμε να υπολογίσουμε το ελάχιστο. Έστω, λοιπόν, ότι γνωρίζουμε ότι το ελάχιστο της φ περιέχεται στο διάστημα I (, ). Τα βήματα που ακολουθούμε για τον εντοπισμό του ελαχίστου είναι τα ακόλουθα: 0 0 o Βρίσκουμε δύο καινούργια σημεία a 1 και 1, τέτοια ώστε να ισχύει ( ), με , δηλαδή να απέχουν το ίδιο από τα άκρα του 2 αρχικού διαστήματος. o Υπολογίζουμε την τιμή της φ στα καινούργια σημεία. o Αν ( 1) ( 1), τότε το ελάχιστο θα περιέχεται στο διάστημα [ 0, 1], οπότε συνεχίζουμε, με τον ίδιο τρόπο, την αναζήτησή μας σε αυτό. Ενώ, αν ( 1) ( 1), συνεχίζουμε την αναζήτηση στο διάστημα [ 1, 0]. o Σταματάμε τις επαναλήψεις όταν το διάστημα στο οποίο έχει εγκλωβιστεί το ελάχιστο είναι ικανοποιητικά μικρό. 17

32 Στο σχήμα 1.9 βλέπουμε μία επανάληψη της μεθόδου, για την περίπτωση όπου ( 1) ( 1). [2] Σχήμα 1.9: Μέθοδος της χρυσής τομής Μέθοδος Fibonacci Μία άλλη μέθοδος που ανήκει στην κατηγορία των ακριβών μεθόδων υπολογισμού βήματος είναι η μέθοδος Fibonacci. Η διαδικασία είναι η ίδια με τη μέθοδο της χρυσής τομής, με την διαφορά ότι ο ρυθμός μείωσης ρ, τον οποίο χρησιμοποιούμε για να βρούμε κάθε φορά τα καινούργια σημεία, δεν παραμένει σταθερός, αλλά μεταβάλλεται σε κάθε επανάληψη. Επίσης, καθώς εγκλωβίζουμε το ελάχιστο σε ένα διάστημα, το μήκος αυτού θα πρέπει να είναι ένας αριθμός Fibonacci, δηλαδή να ανήκει στην ακολουθία Fn Fn 1 Fn 2, με F0 0 και F Κατά την εφαρμογή της μεθόδου, θεωρούμε ένα αρχικό 0 [0, ] και σε κάθε επανάληψη το 2 k μεταβάλλουμε σύμφωνα με τον τύπο k 1 1. Ο αλγόριθμος του Fibonacci έχει τους 1 ίδιους περιορισμούς με την μέθοδο της χρυσής τομής (η συνάρτηση να έχει μόνο ένα ελάχιστο και να γνωρίζουμε ένα διάστημα στο οποίο περιέχεται αυτό) και επιπλέον, θα πρέπει να γνωρίζουμε από πριν τον αριθμό των επαναλήψεων, για δεδομένη ακρίβεια. k 18

33 1.2.2 Μέθοδοι περιοχής εμπιστοσύνης Η βασική ιδέα των μεθόδων περιοχής εμπιστοσύνης είναι η εύρεση του ελαχίστου της αντικειμενικής συνάρτησης, επιλύοντας ένα υποπρόβλημα βελτιστοποίησης ενός τετραγωνικού μοντέλου που πιστεύουμε ότι αντιπροσωπεύει επαρκώς την f, σε κάποια γειτονιά του σημείου στο οποίο βρισκόμαστε. Αυτή η γειτονιά ονομάζεται περιοχή εμπιστοσύνης. Το ελάχιστο του αντιπροσώπου - μοντέλου χρησιμοποιείται για την εύρεση του βήματος που μας οδηγεί στην επόμενη προσέγγιση. Το βήμα, όμως, δεν είναι πάντα αποδεκτό. Σε αυτή την περίπτωση το μέγεθος της γειτονιάς μειώνεται και ξαναπροσπαθούμε. Συνεπώς, σε αντίθεση με τις μεθόδους γραμμικής αναζήτησης, η επιλογή της κατεύθυνσης κίνησης και του βήματος γίνεται ταυτόχρονα, αφού το βήμα αλλάζει κάθε φορά που το μέγεθος της γειτονιάς μεταβάλλεται. Στο σχήμα 1.10 βλέπουμε μία επανάληψη των μεθόδων γραμμικής αναζήτησης συγκριτικά με την αντίστοιχη επανάληψη των μεθόδων περιοχής εμπιστοσύνης. Χρησιμοποιώντας το βήμα και την κατεύθυνση κίνησης των μεθόδων περιοχής εμπιστοσύνης οδηγούμαστε στην ισοϋψή c tr, ενώ η αντίστοιχη επανάληψη μίας μεθόδου γραμμικής αναζήτησης μας οδηγεί στην ισοϋψή c ls. Είναι φανερό ότι επιτυγχάνεται μεγαλύτερη μείωση στην τιμή της f με την επανάληψη των μεθόδων περιοχής εμπιστοσύνης, αφού η ισοϋψής ctr είναι εσωτερικά της c ls. Σχήμα 1.10: Σύγκριση βήματος μεθόδων γραμμικής αναζήτησης και μεθόδων περιοχής εμπιστοσύνης [1] 19

34 Το μέγεθος της περιοχής εμπιστοσύνης είναι ζωτικής σημασίας για την αποδοτικότητα της μεθόδου. Αν είναι πολύ μικρό, τότε θα χρειαστούν πολλές επαναλήψεις που θα μπορούσαμε να έχουμε αποφύγει, ενώ αν είναι πολύ μεγάλο, το ελάχιστο της f μπορεί να βρίσκεται πολύ μακριά από το ελάχιστο του μοντέλου, οπότε θα πρέπει να μειώσουμε το μέγεθος της περιοχής και να ξαναπροσπαθήσουμε. Η περιοχή εμπιστοσύνης, στην k επανάληψη, ορίζεται ως: n A x, xx, k k k όπου k η ακτίνα της περιοχής εμπιστοσύνης. Το τετραγωνικό μοντέλο, το οποίο χρησιμοποιούμε για την προσέγγιση της αντικειμενικής συνάρτησης, δίνεται ως: T 1 T mk( xk d) fkfk d d Bk d, 2 όπου B k είναι κάποιος συμμετρικός πίνακας (είτε ο εσσιανός, είτε μία προσέγγισή του). Συνεπώς, το υποπρόβλημα που πρέπει να επιλύσουμε είναι η εύρεση του ελαχίστου του παραπάνω μοντέλου, υπό τον περιορισμό ότι το βήμα θα πρέπει να μας οδηγεί εντός της περιοχής εμπιστοσύνης A k. Δηλαδή, αναζητούμε το: min mk( xk d) όπου d k Το ερώτημα που προκύπτει, σε αυτό το σημείο, είναι πως θα επιλέξουμε την ακτίνα της περιοχής εμπιστοσύνης. Για την εύρεση του μήκους της ακτίνας, σε κάθε επανάληψη, θα βασιστούμε στη σχέση που έχει το μοντέλο λοιπόν, να υπολογίσουμε το πηλίκο: k m k και η αντικειμενική συνάρτηση f ( xk) f ( xk dk), m (0) m ( d ) k k k f k. Αρκεί, όπου x k είναι η τρέχουσα επανάληψη, xk dk είναι η λύση του υποπροβλήματος και d k είναι ένα δοθέν βήμα. Ο αριθμητής του κλάσματος δηλώνει την πραγματική μείωση της 20

35 αντικειμενικής συνάρτησης, έστω το μοντέλο, έστω Pd k. Το από την ελαχιστοποίηση του αν η τιμή του Rd k, ενώ ο παρονομαστής την μείωση που προβλέφθηκε από Pd k είναι πάντα μη αρνητικός αριθμός, αφού το βήμα υπολογίζεται m σε μία περιοχή που περιλαμβάνει και την τιμή d 0. Οπότε, k k είναι κοντά στο 1, συμπεραίνουμε ότι το μοντέλο αποτελεί μία αρκετά καλή προσέγγιση της f και αυξάνουμε το μέγεθος της περιοχής εμπιστοσύνης, επιτρέποντας στον αλγόριθμο να κάνει μεγαλύτερα βήματα. Στην περίπτωση όπου η τιμή του k είναι αρνητική ή πολύ κοντά στο 0, καταλαβαίνουμε ότι η νέα τιμή της f είναι μεγαλύτερη από την προηγούμενη και το βήμα αυτό θα πρέπει να απορριφθεί. Το μέγεθος της περιοχής εμπιστοσύνης μειώνεται και υπολογίζεται ένα νέο βήμα για την καινούργια περιοχή, επιλύοντας ξανά το υποπρόβλημα. Σε κάθε άλλη περίπτωση, το μέγεθος της περιοχής εμπιστοσύνης δεν μεταβάλλεται. [1]: Η διαδικασία των μεθόδων περιοχής εμπιστοσύνης συνοψίζεται στα παρακάτω βήματα Δοθέντος ενός ' 0, 0 (0, ') και 1 [0, ): 4 Βήμα 1: Για k 0,1,2,..., λύσε το υποπρόβλημα min mk( xk d) όπου d k Βήμα 2: Υπολόγισε το πηλίκο o Αν 1 1 k, θέσε k k k f ( xk) f ( xk dk) m (0) m ( d ) k k k 3 o Αν k και dk k, θέσε k 1 min{2 k, '}, αλλιώς θέσε k 1 4 o Αν k, θέσε x k 1 x k d, αλλιώς θέσε k x k1 xk Βήμα 3: Αύξησε το k κατά 1 και επέστρεψε στο πρώτο βήμα k 21

36 Για να είναι λειτουργικός, ο παραπάνω αλγόριθμος, θα πρέπει να επικεντρωθούμε στη λύση του υποπροβλήματος T 1 T min ( d) f d d B d, 2 n d, υπο τον περιορισμό d k γνωστό και ως ΥΠΕ (Υποπρόβλημα Περιοχής Εμπιστοσύνης). Το παρακάτω θεώρημα αποτελεί τη βάση για την εύρεση μίας λύσης του ΥΠΕ. [7] Θεώρημα: Το διάνυσμα, αποτελεί λύση του υποπροβλήματος περιοχής εμπιστοσύνης T 1 T min ( d) f d d B d, 2 n d, υπο τον περιορισμό d k, αν και μόνο αν υπάρχει πραγματικός αριθμός 0, τέτοιος ώστε να ικανοποιούνται οι ακόλουθες συνθήκες: i. ii. * ( ) d g * ( d ) 0 iii. ( ) θετικά ημιορισμένος Επιπλέον, αν ο ( ( )) είναι θετικά ορισμένος, η λύση * d είναι μοναδική. Η δεύτερη συνθήκη του παραπάνω θεωρήματος ουσιαστικά δηλώνει ότι μία από τις ποσότητες λ και * ( d ), θα πρέπει να είναι ίση με το 0. Συνεπώς, όταν η λύση εντοπίζεται αυστηρά μέσα στην περιοχή εμπιστοσύνης, θα πρέπει να έχουμε 0. Οι άλλες δύο συνθήκες, τότε, μας δίνουν * d g και Β θετικά ημιορισμένος. Σε κάθε άλλη περίπτωση θα έχουμε * d και το λ επιτρέπεται να πάρει κάποια θετική τιμή. Για περισσότερες πληροφορίες, σχετικά με την επίλυση του ΥΠΕ, μπορείτε να ανατρέξετε στα [1], [21] και [7]. 22

37 2 Γενετικοί Αλγόριθμοι Από τα πολύ παλιά χρόνια (γύρω στη δεκαετία του 1940), πριν ακόμα οι ηλεκτρονικοί υπολογιστές κάνουν την εμφάνισή τους, ο άνθρωπος είχε οραματιστεί την κατασκευή μίας νοήμων μηχανής. Μίας μηχανής, δηλαδή, η οποία θα έχει την δυνατότητα να κάνει λογικές σκέψεις, να προσαρμόζεται και να μαθαίνει το περιβάλλον, να μιμείται τον άνθρωπο. Οι πρώτοι επιστήμονες της επιστήμης των υπολογιστών, έψαξαν στην φύση αναζητώντας τρόπους για να επιτύχουν το όραμα αυτό. Κάπως έτσι ξεκίνησε η ανάπτυξη των υπολογιστικών μεθόδων που είναι εμπνευσμένοι από την βιολογία, όπως είναι ο εξελικτικός προγραμματισμός, οι εξελικτικοί αλγόριθμοι, ο γενετικός προγραμματισμός, οι γενετικοί αλγόριθμοι κ.α.. Η βασική ιδέα πίσω από τις εξελικτικές μεθόδους είναι, η τεχνητή αναπαράσταση των διαδικασιών που γίνονται στην φύση, στην επίλυση προβλημάτων. Στη φυσική εξέλιξη, σε ένα δεδομένο περιβάλλον, οι οργανισμοί που ζουν εκεί ανταγωνίζονται για τους πόρους του οικοσυστήματος. Οι πιο ικανοί από αυτούς κερδίζουν τη μάχη της επιβίωσης και αναπαράγονται, ενώ οι λιγότερο ικανοί παράγουν λιγότερους απογόνους και με το πέρασμα του χρόνου, εξαλείφονται. Αν φανταστούμε, τώρα, το φυσικό περιβάλλον ως ένα πρόβλημα που έχουμε να λύσουμε και τους οργανισμούς ως ένα πληθυσμό υποψήφιων λύσεων, έχοντας ως κριτήριο ικανότητας την αντικειμενική συνάρτηση, μπορούμε να αναπαραστήσουμε την διαδικασία της φυσικής εξέλιξης σε έναν υπολογιστή, με την εφαρμογή κάποιου αλγορίθμου, για την εύρεση της βέλτιστης λύσης. Οι διάφορες εξελικτικές μέθοδοι διαφέρουν μεταξύ τους κυρίως ως προς τον τρόπο αναπαράστασης του πληθυσμού και τις μεθόδους που εφαρμόζονται για την αναπαραγωγή. Οι εξελικτικές μέθοδοι εφαρμόζονται κατά κόρον σε προβλήματα βελτιστοποίησης. Τα πλεονεκτήματα χρήσης αυτών είναι πολλά. Καταρχήν, πολλά υπολογιστικά προβλήματα απαιτούν την αναζήτηση της λύσης μέσα σε ένα τεράστιο χώρο υποψήφιων λύσεων, οπότε θα ήταν πολύ χρήσιμο εάν υπήρχε κάποιος αποδοτικός τρόπος αξιολόγησης των πιθανών λύσεων ταυτόχρονα, καθώς και μία έξυπνη στρατηγική για την επιλογή του επόμενου σετ πιθανών λύσεων, κάτι το οποίο μας το παρέχουν οι εξελικτικές μέθοδοι. Επίσης, σε αντίθεση με κάποιες άλλες κλασσικές μεθόδους βελτιστοποίησης, είναι σχεδόν απίθανο να εγκλωβιστούν σε κάποιο τοπικό ελάχιστο, ενώ αναζητούμε το ολικό, λόγω του ότι ψάχνουμε ταυτόχρονα σε όλο τον χώρο λύσεων και δεν περιοριζόμαστε σε μία μικρή περιοχή αναζήτησης. Ο υπολογισμός της 23

38 αντικειμενικής συνάρτησης γίνεται ταυτόχρονα και ανεξάρτητα σε μία πληθώρα σημείων που ανήκουν στο πεδίο αναζήτησης, συνεπώς, έχουμε έμφυτη παραλληλία. Επιπλέον, σε πολλά υπολογιστικά προβλήματα πρέπει να υπάρχει η δυνατότητα της προσαρμογής σε νέα περιβάλλοντα καθώς και η ικανότητα δημιουργίας καινούργιων, πρωτότυπων λύσεων, κάτι το οποίο μας το προσφέρουν οι εξελικτικές μέθοδοι με την προσομοίωση της διαδικασίας της μετάλλαξης που γίνεται στην φύση. Επιπροσθέτως, απαιτούν πολύ λίγη γνώση για το πρόβλημα προς λύση, χρειάζονται μόνο τους υπολογισμούς της αντικειμενικής συνάρτησης σε διάφορα σημεία και καμία επιπλέον πληροφορία, όπως για παράδειγμα πληροφορίες για τις παραγώγους. Τέλος, κάποια άλλα πλεονεκτήματα των εξελικτικών μεθόδων είναι ότι είναι πολύ εύκολες στην εφαρμογή τους και συνδυάζονται εξαιρετικά με άλλες μεθόδους.. Οι εξελικτικές μέθοδοι έχουν εφαρμογές σε πολλά πεδία των επιστημών και της τεχνολογίας [14], [18], [22]. Κάποιες από αυτές είναι οι ακόλουθες: Σχεδίαση και δρομολόγηση δικτύων Χρονοπρογραμματισμός Τεχνολογία και Μηχανολογικός σχεδιασμός Οικονομία Έλεγχος και Ρομποτική Ιατρική Επεξεργασία εικόνας 2.1 Βιολογικό υπόβαθρο Σύμφωνα με την θεωρία της Εξέλιξης των Ειδών του Δαρβίνου, οργανισμοί με καλά χαρακτηριστικά, δηλαδή χαρακτηριστικά που αυξάνουν την πιθανότητα επιβίωσής τους, θα έχουν μεγαλύτερη πιθανότητα αναπαραγωγής. Οι απόγονοί τους, επίσης θα επωφεληθούν από αυτά τα καλά χαρακτηριστικά και με τη σειρά τους θα έχουν πολλές ευκαιρίες αναπαραγωγής. Ετσι, με την πάροδο του χρόνου τα καλά χαρακτηριστικά θα εξαπλωθούν σε ολόκληρο τον πληθυσμό και οι επόμενες γενεές θα είναι πιο δυνατές, δηλαδή πιο ικανές για επιβίωση. Από την άλλη πλευρά, οι πολύ αδύναμοι οργανισμοί, αυτοί που δεν διαθέτουν αυτά τα καλά χαρακτηριστικά, δεν θα έχουν πολλές ευκαιρίες αναπαραγωγής, οι περισσότεροι από αυτούς δεν 24

39 θα μπορέσουν να επιβιώσουν στο περιβάλλον τους και σιγά σιγά θα χαθούν. Το φαινόμενο αυτό είναι γνωστό και ως η Επιβίωση του Ικανότερου. Οι οργανισμοί, προκειμένου να επιβιώσουν, θα πρέπει να είναι σε θέση να προσαρμόζονται στις αλλαγές που συμβαίνουν στο περιβάλλον τους, δηλαδή να αλλάζουν τα χαρακτηριστικά τους. Η αλλαγή αυτή συμβαίνει στα χρωμοσώματά τους. Το χρωμόσωμα είναι μία οργανωμένη δομή DNA η οποία βρίσκεται στα κύτταρα των οργανισμών και αποτελείται από γονίδια. Τα γονίδια περιέχουν αποθηκευμένη μία συγκεκριμένη γενετική πληροφορία, δηλαδή μία τιμή για κάποιο χαρακτηριστικό. Τα γονίδια τα οποία επηρεάζουν συγκεκριμένα χαρακτηριστικά βρίσκονται σε συγκεκριμένες θέσεις του χρωμοσώματος που ονομάζονται τόποι. Γονίδια τα οποία αναφέρονται στο ίδιο χαρακτηριστικό λέγονται αλληλόμορφα, ενώ το σύνολο όλων των γονιδίων ενός οργανισμού καλείται γονότυπος. Ο γονότυπος ενός ατόμου καθορίζει τα φυσικά χαρακτηριστικά του, όπως το ύψος, το χρώμα ματιών κ.α., τα οποία καλούνται φαινότυπος. Βασικές λειτουργίες της εξέλιξης των ειδών είναι η αναπαραγωγή και η μετάλλαξη. Στην αναπαραγωγή κάθε απόγονος λαμβάνει ένα γονίδιο από τον κάθε γονέα για κάθε χαρακτηριστικό. Σε περίπτωση που τα γονίδια διαφωνούν στην τιμή τους, στον απόγονο θα επικρατήσει η τιμή του ισχυρότερου γονιδίου το οποίο λέγεται κυρίαρχο ή επικρατές, ενώ η τιμή του πιο αδύναμου γονιδίου (υπολειπόμενο γονίδιο) θα αγνοηθεί. Η μετάλλαξη συμβαίνει σπάνια και με τυχαίο τρόπο, είτε από κάποιο λάθος στην αντιγραφή του γονιδίου, είτε λόγω κάποιου εξωγενή παράγοντα και κάποιες φορές οδηγεί σε θάνατο, ενώ κάποιες άλλες σε σημαντική βελτίωση του χαρακτηριστικού. 2.2 Βασική δομή ενός απλού Γενετικού Αλγορίθμου Ο κύριος εκπρόσωπος των εξελικτικών μεθόδων είναι οι Γενετικοί Αλγόριθμοι (ΓΑ), οι οποίοι εφευρέθηκαν από τον John Holland στην δεκαετία του Στη συνέχεια, τους ανέπτυξε μαζί με την ομάδα του στο Πανεπιστήμιο του Μίσιγκαν και αυτό οδήγησε στην συγγραφή του βιβλίου του Adaptation in Natural and Artificial systems που δημοσιεύτηκε το Οι ΓΑ διαφέρουν από τις κλασσικές μεθόδους βελτιστοποίησης σε τέσσερα βασικά σημεία: Δεν δουλεύουν με τις ίδιες τις μεταβλητές του προβλήματος, αλλά με μία κωδικοποίηση αυτών. 25

40 Η αναζήτηση του βέλτιστου σημείου (ελαχίστου ή μεγίστου) δεν ξεκινά από ένα μόνο αρχικό σημείο, αλλά από έναν ολόκληρο πληθυσμό σημείων. Στην εφαρμογή τους χρησιμοποιούν μόνο την αντικειμενική συνάρτηση, όχι τις παραγώγους αυτής ή άλλες επιπρόσθετες πληροφορίες. Χρησιμοποιούν πιθανοθεωρητικούς κανόνες αναζήτησης, όχι ντετερμινιστικούς. Οι ΓΑ χρησιμοποιούν ορολογία δανεισμένη από την βιολογία. Ο αρχικός πληθυσμός, ο οποίος ουσιαστικά συνιστά και τον χώρο αναζήτησης του ΓΑ, αποτελείται από πιθανές λύσεις του προβλήματος που αναπαριστώνται από χρωμοσώματα. Το πρώτο βήμα, πριν την εφαρμογή ενός ΓΑ, είναι η εύρεση μίας κατάλληλης κωδικοποίησης των μεταβλητών του προβλήματος. Στη συνέχεια, θα πρέπει να επιλέξουμε τους γενετικούς τελεστές που θα χρησιμοποιήσουμε στην διαδικασία της αναπαραγωγής. Ένας ΓΑ, στην πιο απλή του μορφή, χρησιμοποιεί τρεις τύπους γενετικών τελεστών: την επιλογή, τη διασταύρωση και την μετάλλαξη. Ο τελεστής της επιλογής επιλέγει τα άτομα στον πληθυσμό τα οποία θα αναπαραχθούν. Όσο πιο κατάλληλο (ικανό) είναι ένα άτομο, τόσες περισσότερες φορές θα επιλεγεί για αναπαραγωγή. Η καταλληλότητα ενός ατόμου κρίνεται από την αντικειμενική συνάρτηση, ή αλλιώς συνάρτηση ικανότητας ή καταλληλότητας. Ο τελεστής της διασταύρωσης εφαρμόζεται στα χρωμοσώματα - γονείς και συνδυάζει τα γονίδια των γονέων δημιουργώντας έτσι τους απογόνους. Ο τελεστής της μετάλλαξης συμβαίνει με μία πολύ μικρή πιθανότητα και τυχαία αλλάζει την τιμή ενός γονιδίου. Αφού έχουν δημιουργηθεί οι απόγονοι επιλέγονται τα άτομα τα οποία θα αποτελούν τον νέο πληθυσμό και η διαδικασία της αναπαραγωγής επαναλαμβάνεται. Ο αλγόριθμος τερματίζει όταν ικανοποιηθεί κάποιο κριτήριο τερματισμού, δηλαδή όταν βρούμε μία ικανοποιητικά καλή λύση. Η δομή ενός κλασσικού γενετικού αλγορίθμου έχει ως εξής: 1. Ξεκίνα με έναν τυχαίο πληθυσμό χρωμοσωμάτων (πιθανές λύσεις). 2. Βρες την ικανότητα του κάθε ατόμου, υπολογίζοντας την τιμή της συνάρτησης καταλληλότητας για κάθε χρωμόσωμα (αξιολόγηση πληθυσμού). 3. Δημιούργησε την νέα γενιά: a. Επέλεξε τα άτομα τα οποία θα αναπαραχθούν (όσο πιο ικανό το άτομο, τόσο μεγαλύτερη η πιθανότητα να επιλεχθεί). 26

41 b. Τα άτομα που έχουν επιλεχθεί διασταυρώνονται και παράγουν απογόνους (νέες πιθανές λύσεις δημιουργούνται). c. Με κάποια πιθανότητα εφάρμοσε την διαδικασία της μετάλλαξης, δηλαδή επέλεξε τυχαία κάποια γονίδια από το σύνολο των χρωμοσωμάτων και άλλαξε την τιμή τους. d. Αντικατέστησε τον αρχικό πληθυσμό με τον καινούργιο. 4. Έλεγξε αν ικανοποιείται κάποιο κριτήριο τερματισμού του αλγορίθμου και αν ναι, τερμάτισε, αλλιώς επέστρεψε στο βήμα 2. Σχήμα 2.1: Διάγραμμα ενός απλού ΓΑ [19] 27

42 Όπως αναφέραμε και νωρίτερα, η αρχική ιδέα των Γενετικών Αλγορίθμων ανήκει στον John Holland, ο οποίος περιέγραψε τους ΓΑ ως μία ευρετική μέθοδο βασισμένη στην επιβίωση του ικανότερου. Στη συνέχεια, θα αναλύσουμε τα κύρια χαρακτηριστικά και τα βασικά στοιχεία ενός κλασσικού ΓΑ Χώρος αναζήτησης Οι ΓΑ ψάχνουν τη λύση του εκάστοτε προβλήματος σε ένα χώρο αναζήτησης. Ο χώρος αυτός δεν αποτελείται από το σύνολο τιμών των μεταβλητών του προβλήματος, αλλά από μία κωδικοποίηση αυτών. Κάθε σημείο του χώρου αντιπροσωπέυει μία πιθανή λύση. Η αναζήτηση στον χώρο γίνεται προς όλες τις κατευθύνσεις και παράλληλα. Με αυτόν τον τρόπο αποφεύγεται ο εγκλωβισμός σε κάποιο τοπικό ελάχιστο. Οι ΓΑ ανήκουν στην κατηγορία των στοχαστικών αλγορίθμων βελτιστοποίησης, με την έννοια ότι χρησιμοποιούν πιθανοθεωρητικούς κανόνες αναζήτησης και όχι ντετερμινιστικούς. Με την εφαρμογή των γενετικών τελεστών, εισάγεται και το στοιχείο της τύχης κάτι το οποίο παρέχει ποικιλομορφία στα αποτελέσματα και οδηγεί την αναζήτηση σε περιοχές που αναμένεται να έχουν καλή απόδοση Αρχικοποίηση Το πρώτο βήμα, πριν την εφαρμογή ενός ΓΑ, είναι η αρχικοποίηση του πληθυσμού. Θα πρέπει, λοιπόν, να επιλέξουμε το πλήθος των ατόμων που θα τον αποτελούν, καθώς και τις αρχικές τιμές αυτών. Όσον αφορά το μέγεθος του αρχικού πληθυσμού, το ιδανικό θα ήταν να είναι όσο το δυνατόν μεγαλύτερο διότι έτσι θα είχαμε καλύτερη και πιο πλήρης εξερεύνηση ολόκληρου του χώρου αναζήτησης. Βέβαια, τα αρνητικά μίας τέτοιας επιλογής είναι ότι απαιτεί πολλούς συναρτησιακούς υπολογισμούς κατά τη διάρκεια του αλγορίθμου, όπως επίσης και αυξημένη ανάγκη για υπολογιστική δύναμη και χώρο αποθήκευσης. Ιδανικό μέγεθος πληθυσμού δεν υπάρχει και εξαρτάται αυστηρά από την πολυπλοκότητα του προβλήματος προς επίλυση. 28

43 Το δεύτερο, επίσης πολύ σημαντικό, ζήτημα στην αρχικοποίηση ενός ΓΑ είναι η επιλογή των ατόμων του αρχικού πληθυσμού. Συνήθως, τα άτομα αυτά επιλέγονται με τυχαίο τρόπο, αν και σε ορισμένες περιπτώσεις μπορεί να χρησιμοποιηθεί εκ των προτέρων γνώση για την επιλογή τους. Σε κάθε περίπτωση, η επιλογή θα πρέπει να γίνεται με τέτοιο τρόπο ώστε να εξασφαλίζεται η ποικιλομορφία στον πληθυσμό, αλλιώς υπάρχει ο κίνδυνος αποτυχίας εύρεσης της βέλτιστης λύσης, αφού ο χώρος αναζήτησης δεν θα εξερευνηθεί επαρκώς Κωδικοποίηση - Αναπαράσταση Ένα από τα κύρια χαρακτηριστικά των ΓΑ, όπως έχουμε ήδη επισημάνει, είναι ότι δεν δουλεύουν με τις πραγματικές μεταβλητές του προβλήματος, αλλά με μία κωδικοποίηση - αναπαράσταση αυτών. Μετά την αρχικοποίηση του πληθυσμού, σειρά έχει η επιλογή μεθόδου κωδικοποίησης των ατόμων που τον αποτελούν. Η διαδικασία της κωδικοποίησης είναι ζωτικής σημασίας για την επιτυχία του αλγορίθμου και είναι στην κρίση του εκάστοτε χρήστη να επιλέξει την πιο κατάλληλη μέθοδο για το δεδομένο πρόβλημα. Υπάρχουν διάφοροι τρόποι κωδικοποίησης των παραμέτρων και στη συνέχεια θα αναφέρουμε τους κυριότερους από αυτούς Δυαδική κωδικοποίηση (Binary encoding) Ο πιο διαδεδομένος τρόπος αναπαράστασης των παραμέτρων ενός ατόμου - χρωμοσώματος είναι η δυαδική κωδικοποίηση. Σε αυτή τη μέθοδο κάθε χρωμόσωμα του πληθυσμού αναπαρίσταται με μία δυαδική συμβολοσειρά, δηλαδή μία ακολουθία απο 0 και 1. Η θέση και η τιμή κάθε ψηφίου (bit) της ακολουθίας αναπαριστά κάποια πληροφορία για ένα χαρακτηριστικό του ατόμου που αντιπροσωπεύει. Τα χρωμοσώματα αποτελούνται από γονίδια. Κάθε γονίδιο στο χρωμόσωμα αντιπροσωπεύει μία μεταβλητή του προβλήματος. Το μήκος των γονιδίων εξαρτάται από την επιθυμητή ακρίβεια για την συγκεκριμένη μεταβλητή, δηλαδή αν μία μεταβλητή απαιτεί μεγάλη ακρίβεια θα χρησιμοποιήσουμε γονίδια με μεγαλύτερο μήκος. Ειδικότερα, εάν μία μεταβλητή 29

44 x i, για την οποία χρειαζόμαστε ακρίβεια q δεκαδικών ψηφίων, έχει επιτρεπτό διάστημα τιμών το [ ai, b i], τότε αυτό θα πρέπει να χωριστεί σε ( b a ) 10 q ίσα υποδιαστήματα. Έστω l i ο q l μικρότερος ακέραιος που ικανοποιεί την σχέση ( b a ) 10 2 i 1, τότε η αναπαράσταση της x i μεταβλητής σε δυαδική συμβολοσειρά μήκους l i, ικανοποιεί την απαίτηση για ακρίβεια q δεκαδικών ψηφίων. Μία τυπική μορφή ενός χρωμοσώματος, είναι η ακόλουθη: i i i i Για καλύτερη κατανόηση θα δούμε, στην συνέχεια, ένα παράδειγμα. Έστω, λοιπόν, ότι n θέλουμε να βελτιστοποιήσουμε μία συνάρτηση f( x), x. Συνεπώς, θα πρέπει να κωδικοποιήσουμε κάθε ένα από τα διανύσματα x j ( x j 1, x j 2,..., x j ), j 1,2,..., k, του αρχικού πληθυσμού μεγέθους k, σε μία δυαδική συμβολοσειρά. Έστω, επίσης, ότι ζητάμε η μεταβλητή x 2 να έχει μεγαλύτερη ακρίβεια από την x 1, η x 3 μεγαλύτερη από την x 2 κ.ο.κ., οπότε, θα πρέπει l l, 1,2,..., 1 i n. Τότε, η κάθε μεταβλητή του αρχικού πληθυσμού κωδικοποιείται ως εξής: i i n Μεταβλητές x 1 x... 2 x n Γονίδιο(1) Γονίδιο(2) Γονίδιο(n)

45 Ενώ τα άτομα του αρχικού πληθυσμού θα είναι: Χρωμόσωμα(1) Χρωμόσωμα(2) Χρωμόσωμα(k) Η δυαδική κωδικοποίηση μπορεί να χρησιμοποιηθεί, είτε οι μεταβλητές μας παίρνουν ακέραιες τιμές, είτε πραγματικές. Στην πρώτη περίπτωση, η αποκωδικοποίηση γίνεται με απλή μετατροπή από το δυαδικό σύστημα αρίθμησης στο δεκαδικό. Στην δεύτερη περίπτωση η αποκωδικοποίηση επιτυγχάνεται με την εφαρμογή του τύπου: bi ai xi ai decimal( binstr) li 2 1, όπου μία συνάρτηση η οποία επιστρέφει την αντίστοιχη δεκαδική τιμή του δυαδικού αριθμού. Το πρόβλημα του Σακιδίου (Knapsack problem) είναι ένα κλασσικό πρόβλημα στο οποίο χρησιμοποιείται η δυαδική κωδικοποίηση: Έχουμε ένα σακίδιο συγκεκριμένης χωρητικότητας και κάποια αντικείμενα δεδομένης αξίας και μεγέθους. Σκοπός μας είναι να μεγιστοποιήσουμε την αξία των αντικειμένων μέσα στο σακίδιο, χωρίς να υπερβούμε την χωρητικότητά του. Εδώ, το κάθε ψηφίο του χρωμοσώματος δηλώνει αν το αντίστοιχο αντικείμενο βρίσκεται μέσα στο σακίδιο ή όχι. 31

46 Κωδικοποίηση μετάλλαξης (Permutation encoding) Αυτού του είδους η κωδικοποίηση [10] χρησιμοποιείται κυρίως σε προβλήματα διάταξης καθώς και σχεδιασμού ή/και προγραμματισμού εργασιών (ordering & job scheduling), δηλαδή σε προβλήματα που καλούμαστε να αποφασίσουμε την σειρά με την οποία πρέπει να συμβούν κάποια γεγονότα. Τα χρωμοσώματα είναι μία ακολουθία ακέραιων αριθμών όπου ο κάθε ένας αντιπροσωπεύει το γεγονός το οποίο συμβαίνει σε αυτήν την θέση της ακολουθίας. Στην κωδικοποίηση μετάλλαξης δεν επιτρέπεται να εμφανιστεί κάποιος ακέραιος πάνω από μία φορές στην ακολουθία και, κατά συνέπεια ο σχεδιαστής του ΓΑ θα πρέπει να χρησιμοποιήσει επιπροσθέτως κάποια διαδικασία για να εξασφαλίσει αυτήν την ιδιότητα. Ένα πρόβλημα στο οποίο θα ήταν χρήσιμη η κωδικοποίηση μετάλλαξης, για παράδειγμα, είναι το πρόβλημα του Πλανόδιου Πωλητή (Travelling Salesman Problem): Δοθέντος μίας λίστας πόλεων και των αποστάσεων μεταξύ τους, ο πλανόδιος πωλητής θα πρέπει να τις επισκεφθεί όλες και να επιστρέψει στην αφετηρία του. Σκοπός μας είναι να βρούμε την βέλτιστη (την πιο σύντομη και με το μικρότερο κόστος) διαδρομή που θα πρέπει να ακολουθηθεί. Εδώ, το χρωμόσωμα αντιπροσωπεύει την σειρά με την οποία πρέπει ο πλανόδιος πωλητής να επισκεφθεί τις πόλεις. Δηλαδή, στην περίπτωση των τεσσάρων πόλεων Α,Β,Γ,Δ, η κωδικοποίηση [3,1,2,4] σημαίνει ότι η διαδρομή θα πρέπει να είναι [Γ,Α,Β,Δ] Κωδικοποίηση σε διανύσματα πραγματικών αριθμών (Real - value encoding) Σε πολλά προβλήματα βελτιστοποίησης οι μεταβλητές παίρνουν συνεχείς τιμές και όχι διακριτές, οπότε είναι λογικό να τις κωδικοποιήσουμε σε χρωμοσώματα τα οποία είναι ακολουθίες πραγματικών αριθμών [10]. Ένα κλασσικό παράδειγμα προβλήματος που θα μπορούσαμε να χρησιμοποιήσουμε αυτήν την κωδικοποίηση είναι η εύρεση των βαρών σε ένα νευρωνικό δίκτυο, προκειμένου να πετύχουμε το βέλτιστο αποτέλεσμα. Προφανώς, οι 32

47 πραγματικοί αριθμοί στο χρωμόσωμα αναπαριστούν τα βάρη που δίνονται ως είσοδος στους νευρώνες του δικτύου Κωδικοποίηση τιμής (Value encoding) Η κωδικοποίηση τιμής χρησιμοποιείται σε κάποια ιδιαίτερα και περίπλοκα προβλήματα στα οποία η δυαδική κωδικοποίηση θα ήταν πολύ δύσκολο να εφαρμοστεί [13]. Το κάθε χρωμόσωμα, εδώ, μπορεί να είναι μία ακολουθία πραγματικών αριθμών, χαρακτήρων ή ακόμα και αντικειμένων. Όταν χρησιμοποιείται αυτού του είδους η κωδικοποίηση, ο σχεδιαστής του αλγορίθμου, θα πρέπει να δημιουργήσει νέες μορφές διασταύρωσης και μετάλλαξης ειδικές για το συγκεκριμένο πρόβλημα. Ένα παράδειγμα χρωμοσωμάτων με τέτοιου είδους κωδικοποίηση δίνεται παρακάτω. Χρωμόσωμα(1) Χρωμόσωμα(2) Χρωμόσωμα(3) HFKDJSOWEPATHJURP (back), (left), (left), (right) Επιλογή Η διαδικασία της επιλογής εφαρμόζεται μετά την κωδικοποίηση των παραμέτρων του προβλήματος και αφορά την επιλογή ατόμων του πληθυσμού τα οποία κρίνονται καταλληλότερα για να παράγουν απογόνους. Η επιλογή βασίζεται κυρίως στη συνάρτηση καταλληλότας, αφού αυτό είναι το μέτρο που χρησιμοποιούμε για να κρίνουμε την ικανότητα ενός ατόμου για επιβίωση. Σκοπός αυτού του βήματος είναι να ξεχωρίσει τα ικανότερα χρωμοσώματα για αναπαραγωγή, με την ελπίδα ότι θα φέρουν καλύτερα γονίδια τα οποία θα περάσουν στην επόμενη γενιά. Θα πρέπει να είμαστε ιδιαίτερα προσεκτικοί στο πόσο αυστηρά κριτήρια θα εφαρμόσουμε για την επιλογή χρωμοσωμάτων - γονέων. Εάν ασκήσουμε πολύ πίεση, με την έννοια ότι ευνοούμε σε πολύ μεγάλο βαθμό τα ικανότερα άτομα, χάνεται γρήγορα η 33

48 ποικιλομορφία στον πληθυσμό και ρισκάρουμε πρόωρη σύγκλιση του αλγορίθμου σε μία μη βέλτιστη λύση. Από την άλλη πλευρά, αν η πίεση είναι πολύ μικρή, ο ρυθμός σύγκλισης του αλγορίθμου θα είναι πολύ αργός. Σε γενικές γραμμές, υπάρχουν δύο βασικές κατηγορίες μεθόδων επιλογής, η αναλογική επιλογή (proportionate selection) και η επιλογή βάσει διάταξης (ordinal-based selection). Στην πρώτη κατηγορία, ουσιαστικά τα άτομα επιλέγονται βάσει της τιμής καταλληλότητάς τους, δηλαδή, όσο μεγαλύτερη τιμή δίνει ένα άτομο στην αντικειμενική συνάρτηση, τόσο μεγαλύτερη είναι και η πιθανότητα να επιλεχθεί για αναπαραγωγή. Στην δεύτερη κατηγορία, δεν παίζει ρόλο μόνο η τιμή καταλληλότητας του ατόμου αλλά και η θέση που λαμβάνει στην διάταξη του πληθυσμού βάσει αυτής. Για παράδειγμα, εάν ένα άτομο έχει μικρή τιμή καταλληλότητας, αλλά είναι η δεύτερη καλύτερη μέσα στον πληθυσμό, στην πρώτη κατηγορία θα έχει μικρότερη πιθανότητα επιλογής σε σχέση με την δεύτερη. Στη συνέχεια θα αναφέρουμε μερικές από τις κυριότερες μεθόδους επιλογής που εφαρμόζονται στους ΓΑ Επιλογή ρουλέτας (Roulette wheel selection) Αυτή η μέθοδος ανήκει στην κατηγορία των αναλογικών μεθόδων και είναι μία από τις πλέον κλασσικές μεθόδους επιλογής. Για την υλοποίησή της ακολουθούμε τα παρακάτω βήματα: [18] o Υπολογίζουμε την πιθανότητα επιλογής του κάθε ατόμου σύμφωνα με τον τύπο: p i k f i1 i f i, όπου k το μέγεθος του πληθυσμού. o Βρίσκουμε τις αθροιστικές πιθανότητες των ατόμων: q i i p. j1 j o Παράγουμε k τυχαίους αριθμούς στο διάστημα [0,1) διαδοχικά. Κάθε φορά επιλέγουμε το άτομο με την αμέσως μεγαλύτερη αθροιστική πιθανότητα του τυχαίου αριθμού που παράχθηκε. 34

49 Την παραπάνω διαδικασία μπορούμε να την φανταστούμε ως το στρίψιμο μίας εξαναγκασμένης ρουλέτας. Θεωρούμε ότι έχουμε μία ρουλέτα η οποία έχει χωριστεί σε κομμάτια, κάθε ένα από τα οποία αντιπροσωπεύει ένα άτομο του πληθυσμού και το μέγεθός του είναι ανάλογο με την πιθανότητα επιλογής που έχει το συγκεκριμένο άτομο. Τώρα πετάμε μία μπίλια στην ρουλέτα και όπου πέσει αυτή, το αντίστοιχο άτομο επιλέγεται (σχήμα 2.1). Σχήμα 2.1: Επιλογή ρουλέτας Είναι ξεκάθαρο ότι, με την χρήση αυτής της μεθόδου, ένα άτομο μπορεί να επιλεχθεί πάνω από μία φορές, ενώ κάποια μπορεί να μην επιλεχθούν καθόλου. Στα άτομα με μεγαλύτερη πιθανότητα επιλογής αντιστοιχεί μεγαλύτερο τμήμα της ρουλέτας, οπότε, ενώ υπάρχει το στοιχείο της τύχης, ουσιαστικά είμαστε προκατειλημμένοι υπέ ρ των ικανότερων ατόμων. Ωστόσο, η χρήση εξαναγκασμένης ρουλέτας έχει κάποια προβλήματα. Ένα από αυτά είναι ότι, εάν υπάρχει κάποιο άτομο στον πληθυσμό με πιθανότητα επιλογής πολύ μεγαλύτερη από τα υπόλοιπα, το κομμάτι της ρουλέτας που του αντιστοιχεί θα είναι πολύ μεγαλύτερο αναλογικά και, συνεπώς θα επιλεχθεί πολλές φορές. Αυτό, ουσιαστικά σημαίνει ότι είναι πολύ πιθανό να οδηγηθούμε σε πρόωρη σύγκλιση του αλγορίθμου, χωρίς να έχει επιτευχθεί το βέλτιστο αποτέλεσμα. Ένα άλλο πρόβλημα της μεθόδου, είναι ότι αν έχουμε άτομα με τιμές καταλληλότητας σχετικά κοντά, τα κομμάτια στην ρουλέτα θα είναι σχεδόν ίδιου μεγέθους, οπότε η επιλογή θα είναι κάπως ομοιόμορφη και κατά συνέπεια όχι ιδιαίτερα χρήσιμη. Ο αλγόριθμος, σε αυτή την περίπτωση, θα έχει πολύ αργή σύγκλιση αφού από γενιά σε γενιά δεν θα υπάρχει σημαντική βελτίωση στην ατομική και συνολική καταλληλότητα. 35

50 Επιλογή ταξινόμησης (Rank selection) Η επιλογή που βασίζεται στην ταξινόμηση εμπνεύστηκε λόγω των προβλημάτων που αντιμετωπίζουμε στην μέθοδο ρουλέτας. Σύμφωνα με αυτήν τη μέθοδο, τα άτομα ταξινομούνται ανάλογα με την καταλληλότητα που έχουν και στη συνέχεια επιλέγονται με οδηγό την θέση που λαμβάνουν στην τελική διάταξη του πληθυσμού, σε αντίθεση με την ρουλέτα όπου η επιλογή γινόταν αυστηρά με βάση την τιμή καταλληλότητας του κάθε ατόμου. Το χειρότερο άτομο του πληθυσμού έχει τάξη 1, ενώ το καλύτερο k (το μέγεθος του πληθυσμού).[10] Πιο συγκεκριμένα, η πιθανότητα επιλογής ενός ατόμου υπολογίζεται από τον τύπο: 2 s 2 i( s1) pi ( 1), όπου s (1,2] παράμετρος και μ η τάξη του i ατόμου. Με αυτόν τον τρόπο, αντιμετωπίζεται το πρόβλημα της πρόωρης σύγκλισης στην περίπτωση όπου έχουμε κάποιο άτομο που καταλαμβάνει πολύ μεγάλο τμήμα της ρουλέτας, όμως είναι πολύ πιθανό να έχουμε αργή σύγκλιση του αλγορίθμου, αφού τα ικανότερα άτομα δεν διαφέρουν και πολύ από τα υπόλοιπα. Σχήμα 2.2: Η επιλογή ταξινόμησης συγκριτικά με ην μέθοδο της ρουλέτας 36

51 Ομοιόμορφη στοχαστική δειγματοληψία (Stochastic Universal Sampling) Σε αυτή τη μέθοδο επιλογής τα χρωμοσώματα τοποθετούνται το ένα δίπλα στο άλλο πάνω σε μία γραμμή. Το μέγεθος του τμήματος της γραμμής που ανήκει στο κάθε ένα είναι ανάλογο με την καταλληλότητά του, όπως και στην μέθοδο της ρουλέτας. Στη συνέχεια, τοποθετούνται πάνω στη γραμμή k ισαπέχοντες δείκτες, δηλαδή τόσοι όσο είναι το πλήθος των χρωμοσωμάτων - γονέων που θέλουμε να επιλέξουμε. Οι δείκτες απέχουν ο ένας από τον άλλο 1/k και η θέση του πρώτου δείκτη δίνεται από έναν τυχαίο αριθμό που παράγεται στο διάστημα [0,1/k]. Η διαφορά με την μέθοδο της ρουλέτας είναι ότι αντί να την στρίψουμε k φορές, ουσιαστικά την στρίβουμε μία φορά και επιλέγονται εκείνα τα χρωμοσώματα στα οποία δείχνουν οι δείκτες. Η στοχαστική ομοιόμορφη δειγματοληψία, σε γενικές γραμμές, επιλέγει ικανότερα άτομα συγκριτικά με την μέθοδο της ρουλέτας. Για παράδειγμα, έστω ότι έχουμε έναν πληθυσμό που αποτελείται από 6 χρωμοσώματα, Α, Β, Γ, Δ, Ε, Ζ, και θέλουμε να επιλέξουμε 4 από αυτά για αναπαραγωγή. Τα τοποθετούμε το 1 ένα δίπλα στο άλλο και επιλέγουμε τυχαία έναν αριθμό r [0, ]. Ο πρώτος δείκτης θα δείχνει 4 στον r, ο δεύτερος στον 2r κ.ο.κ.. Τα χρωμοσώματα στα οποία δείχνουν οι δείκτες είναι εκείνα τα οποία επιλέγονται. Σχήμα 2.3: Ομοιόμορφη στοχαστική δειγματοληψία [13] 37

52 Επιλογή τουρνουά (Tournament selection) Η επιλογή τουρνουά είναι μέθοδος που βασίζεται στην σχετική διάταξη των ατόμων του πληθυσμού [10]. Η βασική ιδέα είναι να μπορούμε να συγκρίνουμε οποιαδήποτε δύο άτομα του πληθυσμου, χρησιμοποιώντας κάποια σχέση διάταξης. Όποιο άτομο από αυτά κριθεί ικανότερο επιλέγεται για αναπαραγωγή. Το βασικό πλεονέκτημα αυτής της μεθόδου είναι ότι δεν απαιτεί πλήρης γνώση του πληθυσμού, αφού δεν υπολογίζεται ακριβώς η καταλληλότητα των ατόμων, απλά συγκρίνονται ανά δύο. Αυτό είναι ένα χαρακτηριστικό το οποίο κάνει τον αλγόριθμο γρήγορο και αρκετά απλό στην εφαρμογή του. Σημαντικό ρόλο στην επιλογή ενός ατόμου από την πληθυσμό, έχουν οι ακόλουθοι παράγοντες: Η θέση που λαμβάνει το άτομο στην διάταξη του πληθυσμού Το μέγεθος του τουρνουά (πόσα άτομα θα επιλεχθούν) Η πιθανότητα επιλογής που έχει το πιο ικανό άτομο που συμμετέχει στο τουρνουά Το αν δίνεται δικαίωμα συμμετοχής σε επόμενο τουρνουά σ άτομα που έχουν ήδη επιλεχθεί Ελιτισμός (Elitism) Στις προηγούμενες μεθόδους είδαμε ότι υπάρχει το ρίσκο, κατά την διάρκεια της επιλογής, να χαθούν τα ικανότερα χρωμοσώματα. Στον ελιτισμό προκειμένου να αποτρέψουμε κάτι τέτοιο, επιλέγεται το ικανότερο ή τα ικανότερα χρωμοσώματα και αντιγράφονται κατευθείαν στην νέα γενιά. Τα υπόλοιπα επιλέγονται με κάποια κλασσική μέθοδο, όπως αυτές που αναφέραμε νωρίτερα. 38

53 2.2.5 Διασταύρωση Μετά το πέρας της διαδικασίας της επιλογής, έχει δημιουργηθεί η πισίνα ζευγαρώματος και είμαστε πλέον έτοιμοι να εφαρμόσουμε τον τελεστή διασταύρωσης προκειμένου να δημιουργηθούν οι απόγονοι. Η διασταύρωση είναι η διαδικασία κατά την οποία δύο (συνήθως) χρωμοσώματα - γονείς συνδυάζονται και παράγουν έναν ή δύο απογόνους. Σκοπός αυτού του βήματος είναι να παραχθούν παιδιά τα οποία συνδυάζουν μόνο τα καλά χαρακτηριστικά των δύο γονέων. Σε αυτό το σημείο, πρέπει να τονίσουμε ότι δεν γίνονται όλα τα χρωμοσώματα που έχουν επιλεχθεί, γονείς. Κάποια από αυτά αναπαράγονται, ενώ τα υπόλοιπα αντιγράφονται απευθείας στην επόμενη γενιά. Θα πρέπει, λοιπόν, να επιλέξουμε την πιθανότητα διασταύρωσης ( δηλαδή το ποσοστό των χρωμοσωμάτων που θα διασταυρωθεί. Πρέπει να προσέξουμε η μην είναι πολύ μικρή διότι έτσι η επόμενη γενιά θα είναι ουσιαστικά αντίγραφο της προηγούμενης, αλλά ούτε να είναι πολύ μεγάλη γιατί ρισκάρουμε να χάσουμε κάποια χρωμοσώματα που ίσως ήταν πολύ ικανά. Συνήθως, η πιθανότητα διασταύρωσης επιλέγεται να είναι από 0.5 μέχρι 0.8. Πρακτικά, για να αποφασίσουμε εάν ένα χρωμόσωμα θα αναπαραχθεί ακολουθούμε τα παρακάτω βήματα: [18] o Επιλέγουμε την πιθανότητα διασταύρωσης, p c. p c ), o Παράγουμε k τυχαίους αριθμούς, ri (0,1), κάθε ένας από τους οποίους αντιστοιχεί και σε ένα χρωμόσωμα. o Εάν r i p c, το αντίστοιχο χρωμόσωμα επιλέγεται για διασταύρωση, αλλιώς περνά όπως είναι στην επόμενη γενιά. Όπως είναι λογικό, ο τρόπος με τον οποίο θα εφαρμοστεί η διασταύρωση εξαρτάται από την κωδικοποίηση που έχει εφαρμοστεί σε προηγούμενο βήμα του ΓΑ. Εμείς θα αναφερθούμε, στη συνέχεια, στις πιο βασικές μεθόδους διασταύρωσης που εφαρμόζονται όταν οι μεταβλητές έχουν υποστεί δυαδική κωδικοποίηση, αν και κάποιες από αυτές μπορούν να εφαρμοστούν και σε άλλων ειδών κωδικοποιήσεις. να 39

54 Διασταύρωση ενός σημείου (One point crossover) Η διασταύρωση ενός σημείου είναι η πλέον παραδοσιακή μέθοδος διασταύρωσης καθώς είναι η μέθοδος που είχε προταθεί αρχικά και μέχρι ένα σημείο, όλοι οι ΓΑ χρησιμοποιούσαν αυτού του είδους τον τελεστή. Σύμφωνα με αυτήν, επιλέγεται τυχαία ένα σημείο κοπής στα χρωμοσώματα - γονείς και ανταλλάσσονται τα τμήματα πριν και μετά το σημείο αυτό για να δημιουργηθούν δύο απόγονοι. [10] Σχήμα 2.4: Διασταύρωση ενός σημείου Αν παρατηρήσουμε, θα προσέξουμε ότι αυτός ο τρόπος διασταύρωσης έχει ένα μειονέκτημα. Στην περίπτωση όπου τα καλά γονίδια βρίσκονται στην αρχή και στο τέλος ενός χρωμοσώματος, δεν είναι δυνατό να δημιουργηθεί απόγονος που να έχει όλα τα καλά γονίδια. Θα κληρονομήσει είτε την αρχή του γονέα, είτε το τέλος. Την λύση σε αυτό το πρόβλημα έρχεται να δώσει η διασταύρωση σε n σημεία Διασταύρωση n-σημείων (n-points crossover) Αυτός ο τρόπος διασταύρωσης αποτελεί γενίκευση της διασταύρωσης ενός σημείου. Εδώ, επιλέγονται n σημεία κοπής και οι απόγονοι δημιουργούνται παίρνοντας εναλλάξ γονίδια από τους γονείς. Παρακάτω βλέπουμε σχηματικά αυτόν τον τελεστή για n=2. 40

55 Σχήμα 2.5: Διασταύρωση n - σημείων Ομοιόμορφη διασταύρωση (Uniform crossover) Στις προηγούμενες δύο περιπτώσεις, είδαμε ότι παίζει πολύ σημαντικό ρόλο η θέση των γονιδίων και μπορούμε να πούμε ότι υπάρχει μία τάση να κληρονομούνται διπλανά γονίδια μαζί. Για να αποφύγουμε κάτι τέτοιο μπορούμε να εφαρμόσουμε την ομοιόμορφη διασταύρωση. Εδώ, χρησιμοποιούμε ένα τυχαίο χρωμόσωμα - μάσκα και το έχουμε ως οδηγό για να αποφασίσουμε απο ποιόν γονέα θα κληρονομηθεί το εκάστοτε γονίδιο. Αν μιλάμε για τον απόγονο(1), όταν υπάρχει 1 στην μάσκα, κληρονομεί το αντίστοιχο γονίδιο από τον γονέα(1), ενώ όταν υπάρχει 0, από τον γονέα(2). Αντιστρόφως, όταν μιλάμε για τον απόγονο(2), κληρονομεί το γονίδιο από τον γονέα(2), όταν υπάρχει 1 στην αντίστοιχη θέση της μάσκας και από τον γονέα(1), όταν υπάρχει 0. Σχήμα 2.6: Ομοιόμορφη διασταύρωση 41

56 Ενώ η ομοιόμορφη διασταύρωση, λύνει τα προβλήματα των προηγούμενων δύο, δημιουργεί ένα νέο. Λόγω του ότι εξετάζεται το κάθε γονίδιο χωριστά και υπάρχει μία πιθανότητα 50% να κληρονομηθεί από τον ένα γονέα ή από τον άλλο, ουσιαστικά τα γονίδια στον απόγονο είναι μοιρασμένα, τα μισά από τον γονέα(1) και τα άλλα μισά από τον γονέα(2). Αυτό σημαίνει ότι, στην περίπτωση όπου κάποιος από τους δύο γονείς έχει πολύ καλό γενετικό υλικό, είναι πολύ δύσκολο να το μεταφέρει εξ ολοκλήρου στον απόγονο, με αποτέλεσμα να χαθεί Ενδιάμεση διασταύρωση (Intermediate crossover) Στην ενδιάμεση διασταύρωση, οι απόγονοι δημιουργούνται σύμφωνα με την ακόλουθη φόρμουλα: ό (1) έ (1) (1 ) έ (2) ό (2) (1 ) έ (1) έ (2) (12 ) r όπου, r [0,1] τυχαίος αριθμός και α ένας συντελεστής που καθορίζεται από τον χρήση, με a 0. Με την εφαρμογή των παραπάνω τύπων, στην ουσία δημιουργείται ένας κύβος, όπου οι δύο γονείς είναι τοποθετημένοι σε διαγώνια απέναντι κορυφές. Τα παιδιά που προκύπτουν θα βρίσκονται εντός του κύβου αν α=0 και αν α>0, κάποια από αυτά θα βρίσκονται έξω από τον κύβο [20]. 42

57 Η περίπτωση όπου α=0 Η περίπτωση όπου α>0 Σχήμα 2.7: Ενδιάμεση διασταύρωση Ευρετική διασταυρωση (Heuristic crossover) Ο τελεστής αυτός έχει ένα ιδιαίτερο χαρακτηριστικό, το οποίο δεν το έχουμε συναντήσει στους υπόλοιπους. Για την δημιουργία των απογόνων ελέγχεται η τιμή της αντικειμενικής συνάρτησης για τους δύο γονείς. Με την εφαρμογή της ευρετικής διασταύρωσης, σχηματίζεται μία γραμμή η οποία περιέχει και τους δύο γονείς. Ο απόγονος θα βρίσκεται επίσης πάνω στην γραμμή, αλλά, θα είναι πιο κοντά στον ικανότερο γονέα, δηλαδή αυτόν που δίνει την μεγαλύτερη τιμή στην αντικειμενική συνάρτηση. Στην περίπτωση όπου ο γονέας(1) κριθεί πιο κατάλληλος, ο απόγονος προκύπτει με την εφαρμογή του τύπου: ό έ (2) r ( έ (1) έ (2)) όπου, r είναι μία σταθερά καθορισμένη από τον χρήστη και αντιπροσωπεύει πόσο μακριά θα βρίσκεται ο απόγονος από τον ικανότερο γονέα. 43

58 2.2.6 Μετάλλαξη Ο τελευταίος τελεστής που εφαρμόζεται στον πληθυσμό ενός κλασσικού ΓΑ, είναι ο τελεστής της μετάλλαξης. Ο ρόλος αυτού του τελεστή είναι απλός, αλλά εξαιρετικά σημαντικός. Η μετάλλαξη συμβαίνει με μία πολύ μικρή πιθανότητα ( p m ), συνήθως λιγότερο από 10%, και αλλάζει με τυχαίο τρόπο κάποια γονίδια του πληθυσμού. Αυτό οδηγεί σε καλύτερη εξερεύνηση του χώρου αναζήτησης, αφού δημιουργούνται εντελώς καινούργια άτομα. Επιπλέον, η μετάλλαξη εμποδίζει τον ΓΑ να παγιδευτεί σε κάποιο τοπικό ελάχιστο και διατηρεί την ποικιλομορφία του πληθυσμού. Για να επιλέξουμε τα χρωμοσώματα στα οποία θα εφαρμοστεί ο τελεστής της μετάλλαξης, ακολουθούμε την παρακάτω διαδικασία: [18] o Τοποθετούμε όλα τα χρωμοσώματα το ένα δίπλα στο άλλο, δηλαδή δημιουργούμε μία ακολουθία όλων των γονιδίων του πληθυσμού o Για κάθε ένα γονίδιο παράγουμε έναν τυχαίο αριθμό, έστω r (0,1) o Εάν r p m, το αντίστοιχο γονίδιο μεταλλάσσεται, αλλιώς παραμένει όπως έχει και συνεχίζουμε με τον ίδιο τρόπο για το επόμενο Στην δυαδική κωδικοποίηση, ο πιο απλός και ευρέως χρησιμοποιούμενος τελεστής μετάλλαξης είναι το flip κάποιων γονιδίων. Δηλαδή, το γονίδιο που θα επιλεχθεί για μετάλλαξη, μετατρέπεται σε 0, αν προηγουμένως ήταν 1 ή μετατρέπεται σε 1, αν προηγουμένως ήταν 0. Σχήμα 2.8: Μετάλλαξη σε δυαδικά κωδικοποιημένο χρωμόσωμα Στην κωδικοποίηση σε διανύσματα πραγματικών αριθμών, αντίστοιχα, εφαρμόζεται η ομοιόμορφη μετάλλαξη [10]. Τα επιλεγμένα γονίδια αντικαθίστανται με αριθμούς που έχουν επιλεχθεί ομοιόμορφα από ένα διάστημα τιμών, το οποίο έχουμε προηγουμένως ορίσει. Το διάστημα επιλέγεται για την κάθε μεταβλητή χωριστά, έστω να έχει κάτω άκρο l i και άνω άκρο u i. Τότε προκύπτει ο ακόλουθος μετασχηματισμός [10]: 44

59 [ x, x,..., x ] [ x ', x ',..., x '], x, x ' [ l, u ] 1 2 n 1 2 n i i i i Ένα άλλο είδος μετάλλαξης, που εφαρμόζεται σε κωδικοποιήσεις σε διανύσματα ακεραίων και πραγματικών αριθμών, είναι η μετάλλαξη με Gaussian κατανομή. Σε αυτού του είδους την μετάλλαξη, ο τελεστής προσθέτει στο επιλεγμένο γονίδιο, έναν τυχαίο αριθμό από την Gaussian κατανομή, με μέσο όρο μηδέν. Στην περίπτωση όπου, με την προσθήκη του τυχαίου αριθμού, η εκάστοτε μεταβλητή ξεπεράσει τα προκαθορισμένα όρια, εφαρμόζεται ψαλίδισμα προκειμένου να βρεθεί εντός των ορίων. Η τυπική απόκλιση αυτής της κατανομής καθορίζεται από δύο μεταβλητές, την παράμετρο κλιμάκωσης (Scale) και την παράμετρο συρρίκνωσης (Shrink): Η παράμετρος κλιμάκωσης ελέγχει την τυπική απόκλιση της κατανομής για την πρώτη γενιά. Εάν το επιτρεπτό διάστημα των μεταβλητών είναι I = [a, b], τότε η τυπική απόκλιση θα ισούται με την παράμετρο κλιμάκωσης επί το εύρος των μεταβλητών, δηλαδή scale( b a). Η παράμετρος συρρίκνωσης ελέγχει το ποσοστό μείωσης της τυπικής απόκλισης από γενιά σε γενιά. Πιο συγκεκριμένα, στην k - γενιά, η τυπική απόκλιση θα ισούται με (1 k ) k k 1 shrink, όπου S ο αριθμός των γενεών. S Τερματισμός του ΓΑ Η διαδικασία της αναπαραγωγής (επιλογή - διασταύρωση - μετάλλαξη) που περιγράψαμε επαναλαμβάνεται μέχρι να ικανοποιηθεί κάποιο κριτήριο τερματισμού του αλγορίθμου, όπου και η αναζήτηση σταματά. Το κριτήριο που θα εφαρμόσουμε εξαρτάται από το εκάστοτε πρόβλημα που αντιμετωπίζουμε καθώς και από το τι θεωρούμε αποδεκτό ως λύση. Τα κυριότερα κριτήρια τερματισμού είναι τα ακόλουθα: Μέγιστος αριθμός γενεών: Ο ΓΑ σταματά όταν επιτευχθεί ένας προκαθορισμένος αριθμός επαναλήψεων (γενεών). Μέγιστος χρόνος: Ο ΓΑ σταματά όταν ξεπεραστεί ένα χρονικό όριο που έχουμε θέσει. 45

60 Βέλτιστη τιμή στην αντικειμενική συνάρτηση: Αν επιτευχθεί η επιθυμητή τιμή στην αντικειμενική συνάρτηση, με κάποια ακρίβεια, ο ΓΑ τερματίζει. Καλύτερο άτομο: Ο ΓΑ τερματίζει αν κάποιο άτομο του πληθυσμού έχει καταλληλότητα ίση ή πολύ κοντά με κάποιο όριο που έχουμε θέσει. Μέση αλλαγή στην καταλληλότητα: Ο ΓΑ σταματά αν η μέση αλλαγή στην καταλληλότητα του ικανότερου ατόμου του πληθυσμού είναι μικρότερη ή ίση ενός ορίου που έχουμε θέσει, για ένα συγκεκριμένο πλήθος επαναλήψεων. Αδρανείς γενεές: Ο ΓΑ τερματίζει αν για έναν αριθμό επαναλήψεων, δεν υπάρχει βελτίωση στην τιμή της αντικειμενικής συνάρτησης. Χρόνος αδράνειας: Εάν περάσει ένα δοθέν χρονικό διάστημα χωρίς να υπάρχει βελτίωση στην αντικειμενική συνάρτηση, ο ΓΑ σταματά. Μέση καταλληλότητα: Εάν η μέση τιμή της καταλληλότητας του πληθυσμού ξεπεράσει ένα όριο που έχουμε θέσει, ο ΓΑ τερματίζει. 2.3 Βελτιστοποίηση μιας απλής συνάρτησης με χρήση Γενετικού Αλγορίθμου Έστω ότι ψάχνουμε το μέγιστο της f ( x) x. 2 x καθώς και τον μεγιστοποιητή της, αν [21,70] Έστω, επίσης, ότι η πιθανότητα διασταύρωσης είναι pc 0.4, η πιθανότητα μετάλλαξης είναι p 0.05 και το μέγεθος του πληθυσμού pop_size = 10. m 1ο βήμα: (Κωδικοποίηση) Θα χρησιμοποιήσουμε δυαδική κωδικοποίηση για την μεταβλητή x. Το εύρος του διαστήματος τιμών του x είναι = 49, άρα θα χρειαστούμε συμβολοσειρά μήκους 6 δυαδικών ψηφίων, αφού

61 2ο βήμα: (Αρχικοποίηση) Δημιουργούμε με τυχαίο τρόπο τον αρχικό πληθυσμό, έστω Α(1) = Α(6) = Α(2) = Α(7) = Α(3) = Α(8) = Α(4) = Α(9) = Α(5) = Α(10) = ο βήμα: (Αποκωδικοποίηση και υπολογισμός καταλληλότητας) Μετατρέπουμε τα κωδικοποιημένα χρωμοσώματα στο δεκαδικό σύστημα και στη συνέχεια, με απλή αντικατάσταση στην αντικειμενική συνάρτηση υπολογίζουμε την καταλληλότητα του καθενός. Α(1) = = 27 f(α(1)) = 729 Α(2) = = 21 f(α(2)) = 441 Α(3) = = 34 f(α(3)) = 1156 Α(4) = = 49 f(α(4)) = 2401 Α(5) = = 42 f(α(5)) = 1764 Α(6) = = 31 f(α(6)) = 961 Α(7) = = 62 f(α(7)) = 3844 Α(8) = = 37 f(α(8)) = 1369 Α(9) = = 57 f(α(9)) = 3249 Α(10) = = 51 f(α(10)) = 2601 Συνολική απόδοση: F 10 i1 f( A( i)) Καταλληλότερο άτομο της γενιάς: Το Α(7) με απόδοση

62 4ο βήμα: (Επιλογή) Θα χρησιμοποιήσουμε την μέθοδο της ρουλέτας για την επιλογή των ατόμων που θα αναπαραχθούν. f ( Ai ( )) Βρίσκουμε την πιθανότητα επιλογής κάθε ατόμου σύμφωνα με τον τύπο pi, καθώς F και τις αθροιστικές πιθανότητες: p 1 = q1 p 2 = q2 p 3 = q3 p 4 = q4 p 5 = q5 p 6 = q6 p 7 = q7 p 8 = q8 p 9 = q9 = = = = = = = = = p 10 = q10 = 1 Παράγουμε 10 τυχαίους αριθμούς και επιλέγουμε το αντίστοιχο άτομο αν ri 0.4 : Τυχαίοι αριθμοί Άτομο που επιλέγεται Α(3) Α(2) Α(7) Α(9) Α(10) Α(4) 48

63 Α(7) Α(7) Α(1) Α(5) Συνεπώς, ο νέος πληθυσμός είναι: Α (1) = Α(3) = Α (6) = Α(4) = Α (2) = Α(2) = Α (7) = Α(7) = Α (3) = Α(7) = Α (8) = Α(7) = Α (4) = Α(9) = Α (9) = Α(1) = Α (5) = Α(10) = Α (10) = Α(5) = ο βήμα: (Διασταύρωση) Παράγουμε έναν τυχαίο αριθμό για κάθε άτομο και αν ri 0.4 το άτομο Α(i) επιλέγεται για διασταύρωση. Άτομο Τυχαίοι αριθμοί Επιλογή Α (1) ΝΑΙ Α (2) ΟΧΙ Α (3) ΝΑΙ Α (4) ΟΧΙ Α (5) ΝΑΙ Α (6) ΟΧΙ Α (7) ΝΑΙ Α (8) ΟΧΙ 49

64 Α (9) ΟΧΙ Α (10) ΟΧΙ Θα εφαρμόσουμε διασταύρωση ενός σημείου, έστω στη θέση 4 των χρωμοσωμάτων. Έχουν επιλεχθεί 4 γονείς, οπότε τους ζευγαρώνουμε τυχαία ανά δύο και παράγονται 4 απόγονοι: Συνεπώς, ο νέος πληθυσμός είναι: Α (1) = Α (6) = Α (2) = Α (7) = Α (3) = Α (8) = Α (4) = Α (9) = Α (5) = Α (10) = ο βήμα: (Μετάλλαξη) Θα εφαρμόσουμε το απλό φλιπ των ψηφίων, με πιθανότητα Συνολικά έχουμε δυαδικά ψηφία, οπότε θα παράγουμε 60 τυχαίους αριθμούς (οι αριθμοί είναι τοποθετημένοι κατά στήλες): 50

65 Το σύνολο των γονιδίων του πληθυσμού είναι: Τα ψηφία που θα αλλάξουν είναι αυτά που βρίσκονται στις θέσεις 4, 14, 16 και 22: Ο πληθυσμός μετά το τέλος της πρώτης επανάληψης είναι: Α (1) = = 38 f(α (1)) = 1444 Α (2) = = 21 f(α (2)) = 441 Α (3) = = 42 f(α (3)) = 1764 Α (4) = = 61 f(α (4)) = 3721 Α (5) = = 50 f(α (5)) = 2500 Α (6) = = 49 f(α (6)) = 2401 Α (7) = = 63 f(α (7)) = 3969 Α (8) = = 62 f(α (8)) = 3844 Α (9) = = 27 f(α (9)) = 729 Α (10) = = 42 f(α (10)) =

66 Συνολική απόδοση: Καταλληλότερο άτομο της γενιάς: Το Α (7) με απόδοση Παρατηρούμε ότι, μετά από μία μόνο επανάληψη, η συνολική απόδοση του πληθυσμού έχει βελτιωθεί αρκετά (22577 έναντι 18515), καθώς και ότι το ικανότερο άτομο της πρώτης γενιάς είναι καλύτερο από αυτό του αρχικού πληθυσμού, με απόδοση 3969 έναντι Παρ όλα αυτά, δεν έχουμε φτάσει σε κάποιο αρκετά ικανοποιητικό αποτέλεσμα, οπότε οι επαναλήψεις θα πρέπει να συνεχισθούν, με τον ίδιο τρόπο, μέχρις ότου να ικανοποιηθεί κάποιο κριτήριο τερματισμού. 2.4 Θεωρητική θεμελίωση των Γενετικών Αλγορίθμων Μέχρι στιγμής έχουμε αναλύσει το πως δουλεύει ένας ΓΑ, οπότε τώρα θα πρέπει να αναρωτηθούμε και το γιατί. Το θεωρητικό υπόβαθρο των ΓΑ στηρίζεται στην έννοια των σχημάτων. Ένα σχήμα (shema), είναι μία συμβολοσειρά από 0 και 1 η οποία περιέχει και ένα αδιάφορο (don t care) σύμβολο (*) στο αλφάβητο των γονιδίων. Το (*) αναπαριστά είτε το 0, είτε το 1. Ουσιαστικά, ένα σχήμα μήκους L, είναι ένα πρότυπο το οποίο αναπαριστά όλες τις συμβολοσειρές ίδιου μήκους, που ταυτίζονται με αυτό στις σταθερές θέσεις, δηλαδή σε αυτές που έχουν 0 ή 1. Για παράδειγμα, ένα σχήμα μήκους 4 είναι το (* 0 1 *), το οποίο έχει 2 σταθερές θέσεις και 2 θέσεις που καλύπτονται από το αδιάφορο σύμβολο. Τα χρωμοσώματα που ταιριάζουν σε αυτό είναι τα ( ), ( ), ( ), ( ). Είναι ξεκάθαρο πως, αν ένα σχήμα έχει r το πλήθος (*), αναπαριστά συμβολοσειρές. Αντίστοιχα, μία συμβολοσειρά μήκους L, μπορεί να αναπαρασταθεί από σχήματα. Για παράδειγμα, η συμβολοσειρά (0 0 1 ), αναπαρίσταται από τα σχήματα (0 0 1), (* 0 1), (0 * 1), (0 0 *), (* * 1), (* 0 *), (0 * *), (* * *). 52

67 Τα σχήματα έχουν δύο βασικά χαρακτηριστικά, την τάξη και το οριστικό μήκος: Τάξη σχήματος είναι ο αριθμός των σταθερών του θέσεων και συμβολίζεται με o(s). Οριστικό μήκος σχήματος είναι η απόσταση μεταξύ της πρώτης και της τελευταίας σταθερής θέσης στο σχήμα και συμβολίζεται με δ(s). Για παράδειγμα, το σχήμα s = (* 0 * * 1 0 * *) έχει τάξη o(s) = 3 και οριστικό μήκος δ(s) = 6-2 = 4. Αυτά τα δύο χαρακτηριστικά των σχημάτων παίζουν πολύ σημαντικό ρόλο στην επιβίωσή τους κατά την εφαρμογή των τελεστών επιλογής, διασταύρωσης και μετάλλαξης. Γεωμετρικά, τα σχήματα, μπορούμε να τα φανταστούμε ως υπερεπίπεδα στον χώρο αναζήτησης. Αν θεωρήσουμε έναν χώρο που κωδικοποιείται με συμβολοσειρές μήκους 3, κάθε σχήμα τάξης 2 αντιπροσωπεύει μία ευθεία, κάθε σχήμα τάξης 1 αντιπροσωπεύει ένα επίπεδο και σχήματα με τάξη 3 είναι απλά σημεία του χώρου, όπως φαίνεται στην παρακάτω εικόνα. [14] Σχήμα 2.9: Γεωμετρική αναπαράσταση σχημάτων 53