ΔΙΕΡΕΥΝΗΣΗ ΜΕΘΟΔΩΝ ΑΝΑΖΗΤΗΣΗΣ ΟΛΙΚΟΥ ΒΕΛΤΙΣΤΟΥ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ

Transcript

1 ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ ΔΙΕΠΙΣΤΗΜΟΝΙΚΟ ΔΙΑΤΜΗΜΑΤΙΚΟ ΠΡΟΓΡΑΜΜΑ ΜΕΤΑΠΤΥΧΙΑΚΩΝ ΣΠΟΥΔΩΝ «ΕΠΙΣΤΗΜΗ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ» ΔΙΕΡΕΥΝΗΣΗ ΜΕΘΟΔΩΝ ΑΝΑΖΗΤΗΣΗΣ ΟΛΙΚΟΥ ΒΕΛΤΙΣΤΟΥ ΣΕ ΠΡΟΒΛΗΜΑΤΑ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ Ανδρέας Ευστρατιάδης «ΕΠΙΣΤΗΜΗ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑ ΥΔΑΤΙΚΩΝ ΠΟΡΩΝ» Αθήνα, Μάιος 2001 Επιβλέπων: Δ. Κουτσογιάννης, Επίκουρος Καθηγητής

2

3 Ευχαριστίες Μετά την ολοκλήρωση αυτής της επίπονης αλλά τόσο εποικοδομητικής προσπαθειας, θα ήθελα να ευχαριστήσω όσους με βοήθησαν κατά τη διάρκεια εκπόνησης της εργασίας. Οφείλω αρχικά να ευχαριστήσω τον δάσκαλό μου και πάνω απ' όλα φίλο μου Επίκουρο Καθηγητή Δημήτρη Κουτσογιάννη, ο οποίος ανέλαβε την επίβλεψη αυτής της εργασίας, καθοδηγώντας με αρμονικά από το πρώτο μέχρι το τελικό της στάδιο. Σημαντική ήταν η βοήθεια που μου προσέφερε η Λέκτορας Λυδία Βαμβακερίδου Λυρούδια, περέχοντάς μου πλούσιο βιβλιογραφικό υλικό και δίνοντάς μου χρήσιμες πληροφορίες, κυρίως πάνω σε θέματα γενετικών αλγορίθμων. Θα ήθελα να ευχαριστήσω ιδιαίτερα τον Dr. Christian Onof του Imperial College, ο οποίος με βοήθησε στη χάραξη των βασικών κατευθυντήριων γραμμών της εργασίας και μου έδωσε πολλές χρήσιμες συμβουλές. Ο Dr. Sivakumar Bellie από το University of California Davis ήταν επίσης κοντά σε αυτή τη δύσκολη προσπάθεια, διατηρώντας αμείωτο το ενδιαφέρον του καθ' όλη την πορεία της εργασίας. Καθοριστική ήταν η συνδρομή του υποψήφιου διδάκτορα Βαγγέλη Ρόζου, ο οποίος μου προμήθευσε ένα εξαιρετικά απαιτητικό πρόβλημα βελτιστοποίησης που αποτέλεσε το καλύτερο crash-test για τον αλγόριθμο που ανέπτυξα. Θα ήθελα ακόμη να αναφερθώ και στα υπόλοιπα μέλη της ερευνητικής ομάδας ΙΤΙΑ που συνέβαλαν στη δημιουργία ενός ιδανικού κλίματος δημιουργικότητας και συνεργατικότητας. Ο Γιώργος Καραβοκυρός χρειάστηκε να μου διαθέσει πολλές φορές τον υπολογιστή του, ώστε να μπορέσω να εκτελέσω απρόσκοπτα όλα τα "πειράματα" που είχα προγραμματίσει. Ο Δρ. Νίκος Μαμάσης δεν παρέλειπε να μου υπενθυμίζει ευγενικά ότι τα χρονικά περιθώρια μιας μεταπτυχιακής εργασίας είναι πεπερασμένα. Ο Αντώνης Κουκουβίνος ήταν ο πρώτος που διάβασε το κείμενο της εργασίας, προτείνοντας μάλιστα μια επαναστατική εφαρμογή της μεθόδου απλόκου στο ποδόσφαιρο. Ο Δρ. Γιάννης Ναλμπάντης που ακόμη μελετά την προηγούμενη διπλωματική, υποσχέθηκε να την τελειώσει γρήγορα ώστε να εντρυφήσει στη νέα εργασία. Ο Αντώνης Χριστοφίδης, πέρα από κάποια βοήθεια σε θέματα προγραμματισμού, ήταν αυτός που μου έμαθε να φτιάχνω τον ολικά βέλτιστο καφέ. Πιστεύω ότι θα ήταν μεγάλη παράλειψή μου αν ξεχνούσα δύο ακόμη πρόσωπα, τα οποία αν και δεν είχαν ανάμιξη στην εργασία αυτή, έχουν συμβάλει σημαντικά στην έως τώρα πορεία μου. Ο πρώτος είναι ο Καθηγητής Γεώργιος Παντελίδης, στον οποίο χρωστάω μεγάλο μέρος της αγάπης μου για τα μαθηματικά αλλά και το πρώτο μου άριστα στο Πολυτεχνείο. Ο δεύτερος είναι ο Επίκουρος Καθηγητής Μάρκος Μποναζούντας, που στα πλαίσια του μαθήματος Ανάλυση Συστημάτων Υδατικών Πόρων και Περιβάλλοντος όχι μόνο με μύησε στον μαγικό κόσμο της βελτιστοποίησης, αλλά μου παρείχε την ευκαιρία για μια πρώτη συστηματική έρευνα πάνω σε αυτό το εξαιρετικά ενδιαφέρον επιστημονικό αντικείμενο. Ολοκληρώνοντας θα ήθελα να απευθύνω ένα μεγάλο ευχαριστώ στους γονείς μου, την αδελφή μου και πάνω απ' όλα στην Εύη μου, η ηθική υποστήριξη των οποίων ήταν πραγματικά ανεκτίμητη. Ανδρέας Ευστρατιάδης Μάιος, 2001 i

4 Περιεχόμενα Ευχαριστίες i Περιεχόμενα ii Περίληψη v Extended abstract Introduction... vi Posing the global optimization problem... vi The nonlinear unconstrained optimization problem... vi Local search techniques...vi Overview of global optimization techniques...vii Deterministic methods...viii Stochastic methods...viii Evolutionary and genetic algorithms...viii Simulated annealing... ix The shuffled complex evolution method... x Tabu search... x The evolutionary annealing-simplex scheme... xi Literature review... xi Description of the algorithm... xi Evaluation and comparison of optimization algorithms...xii Mathematical applications...xii Real-world applications...xiii Summary and conclusions... xvi vi 1 Εισαγωγή Αντικείμενο της εργασίας Πρωτότυπα σημεία Διάρθρωση της εργασίας Μέθοδοι αναζήτησης τοπικών ακροτάτων Κλασική θεωρία βελτιστοποίησης Ορισμοί Βελτιστοποίηση χωρίς περιορισμούς Δεσμευμένα ακρότατα - Μέθοδος πολλαπλασιαστών Lagrange... 6 ii

5 2.1.4 Συνθήκες Kuhn-Tucker για βελτιστοποίηση με περιορισμούς Εναλλακτικές τεχνικές χειρισμού των περιορισμών Τεχνικές έμμεσης αναζήτησης (μέθοδοι κλίσης) Ελαχιστοποίηση συναρτήσεων μιας μεταβλητής Η μέθοδος πλέον απότομης κατάβασης Η μέθοδος συζυγών κλίσεων Μέθοδοι Newton και quasi-newton Τεχνικές άμεσης αναζήτησης Μέθοδοι αναζήτησης σε πρότυπο Μέθοδοι κατερχόμενου απλόκου Μέθοδοι μεταβλητών διευθύνσεων αναζήτησης Τυπικά μειονεκτήματα μεθόδων τοπικής αναζήτησης Βιβλιογραφική επισκόπηση τεχνικών αναζήτησης ολικού βελτίστου Προσδιοριστικές μέθοδοι συστηματικής αναζήτησης Στοχαστικές μέθοδοι βελτιστοποίησης Τεχνικές τυχαίας αναζήτησης Τεχνικές προσαρμοστικής αναζήτησης Μέθοδοι δύο φάσεων Εξελικτικοί αλγόριθμοι Γενικές αρχές εξελικτικών αλγορίθμων Τυπικοί γενετικοί αλγόριθμοι Θεωρητική ανάλυση Βελτιωμένοι γενετικοί αλγόριθμοι Η μέθοδος προσομοιωμένης ανόπτησης Η έννοια της ανόπτησης στη θερμοδυναμική Ο αλγόριθμος Metropolis Προσαρμογή σε προβλήματα συνεχών μεταβλητών Ρύθμιση χρονοδιαγράμματος ανόπτησης Ευρετικές μέθοδοι Η μέθοδος ανασχηματιζόμενης σύνθετης εξέλιξης Η μέθοδος αποτρεπτικής αναζήτησης Διερεύνηση και ανάπτυξη ευρετικών σχημάτων ανόπτησης-απλόκου Σύζευξη μεθόδων ανόπτησης με τεχνικές τοπικής αναζήτησης Βιβλιογραφική επισκόπηση Το σχήμα των Press et al. (1992) Το σχήμα των Kvaniscka and Pospichal (1997) Το σχήμα των Pan and Wu (1998) Ανάπτυξη εξελικτικού σχήματος ανόπτησης-απλόκου Γενικά χαρακτηριστικά Περιγραφή του αλγορίθμου Ανάλυση του αλγορίθμου iii

6 4.3.4 Γραφικό παράδειγμα Αξιολόγηση μεθόδων βελτιστοποίησης σε προβλήματα μαθηματικών συναρτήσεων Μεθοδολογία αξιολόγησης αλγορίθμων βελτιστοποίησης Κατηγορίες θεωρητικών προβλημάτων βελτιστοποίησης Επιλογή συναρτήσεων ελέγχου Δείκτες επίδοσης αλγορίθμων βελτιστοποίησης Αξιολόγηση αλγορίθμων Επιλογή και υλοποίηση αλγορίθμων Αποτελέσματα Συμπεράσματα Εφαρμογές σε προβλήματα υδατικών πόρων Βαθμονόμηση παραμέτρων υδρολογικού μοντέλου Ορισμοί Βελτιστοποίηση μοντέλων υδατικού ισοζυγίου Περιγραφή απλού μοντέλου υδατικού ισοζυγίου Εφαρμογή του μοντέλου στη λεκάνη Κρεμαστών Αξιολόγηση αλγορίθμων βελτιστοποίησης Μεγιστοποίηση οφέλους παραγωγής υδροηλεκτρικής ενέργειας Επισκόπηση προβλήματος βελτίστου ελέγχου υδροσυστημάτων Περιγραφή του υποθετικού υδροσυστήματος Αποτελέσματα βελτιστοποίησης Εκτίμηση παραμέτρων πολυμεταβλητών στοχαστικών μοντέλων Αποσύνθεση μητρώων συνδιασπορών Διατύπωση προβλήματος βελτιστοποίησης Εφαρμογή: Γέννηση συνθετικών εισροών με το μοντέλο PAR(1) Αποτελέσματα βελτιστοποίησης Συμπεράσματα Προτάσεις 102 Βιβλιογραφία 104 Παράρτημα Α: Ευρετήριο 110 Παράρτημα Β: Υλοποίηση εξελικτικού αλγορίθμου ανόπτησης-απλόκου σε γλώσσα Object Pascal 115 iv

7 Περίληψη Αντικείμενο της παρούσας μεταπτυχιακής εργασίας είναι η βιβλιογραφική επισκόπηση των μεθόδων ολικής βελτιστοποίησης και η διερεύνηση της επίδοσης των κυριότερων εξ αυτών, τόσο πάνω σε θεωρητικά προβλήματα όσο και σε εφαρμογές από το χώρο της τεχνολογίας και διαχείρισης υδατικών πόρων. Στα πλαίσια της εργασίας αυτής αναπτύχθηκε ακόμη ένα νέο σχήμα βελτιστοποίησης, το οποίο έχει ως βάση τη σύζευξη διαφορετικών μεθοδολογικών προσεγγίσεων. Αρχικά, ορίζεται το πρόβλημα εύρεσης του ολικού βελτίστου μη γραμμικών συναρτήσεων χωρίς περιορισμούς, το οποίο αντιμετωπίστηκε σε πρώτη φάση με κλασικά αναλυτικά μαθηματικά και σε δεύτερη φάση με προσδιοριστικές τεχνικές βελτιστοποίησης. Οι τελευταίες διακρίνονται σε δύο μεγάλες κατηγορίες, ανάλογα με τα αν χρησιμοποιούν ή όχι τις παραγώγους της συνάρτησης για τον προσδιορισμό της κατεύθυνσης αναζήτησης. Στη συνέχεια πραγματοποιείται μια λεπτομερής επισκόπηση των μεθόδων ολικής βελτιστοποίησης, οι οποίες ουσιαστικά αναπτύχθηκαν τις τελευταίες δύο δεκαετίες. Οι μέθοδοι αυτές βασίζονται σε ένα συνδυασμό προσδιοριστικών και στοχαστικών κανόνων αναζήτησης, χωρίς να εισάγουν προϋποθέσεις ως προς τη μορφή της αντικειμενικής συνάρτησης. Οι τεχνικές ολικής βελτιστοποίησης χαρακτηρίζονται από ασυμπτωτική συμπεριφορά, δηλαδή εγγυώνται την εύρεση του ολικού ακροτάτου μετά από θεωρητικά άπειρο πλήθος δοκιμών. Ακολούθως παρουσιάζεται ένα πρωτότυπο σχήμα βελτιστοποίησης, ο εξελικτικός αλγόριθμος ανόπτησης-απλόκου. Ο αλγόριθμος αυτός ενσωματώνει με αποτελεσματικό τρόπο τις αρχές της προσομοιωμένης ανόπτησης στη γνωστή μέθοδο κατερχόμενου απλόκου, εφαρμόζοντας ορισμένες ευρετικές στρατηγικές με στόχο την αποφυγή εγκλωβισμού του σε τοπικά ακρότατα. Τα επόμενα δύο κεφάλαια αναφέρονται στην αξιολόγηση των κυριότερων μεθοδολογιών ολικής βελτιστοποίησης, βάσει θεωρητικών και πραγματικών προβλημάτων. Τα θεωρητικά προβλήματα ελήφθησαν από τη βιβλιογραφία και καλύπτουν ένα σχετικά μεγάλο φάσμα συναρτήσεων, με διαφορετικά χαρακτηριστικά. Τα παραγματικά προβλήματα αναφέρονται σε εφαρμογές από το πεδίο των υδατικών πόρων, και συγκεκριμένα: στη βαθμονόμηση ενός απλού μοντέλου υδατικού ισοζυγίου στη μεγιστοποίηση του ενεργειακού οφέλους ενός υποθετικού συστήματος υδροηλεκτικών ταμιευτήρων στη βέλτιστη εκτίμηση των παραμέτρων πολυμεταβλητών στοχαστικών μοντέλων. Από την ανάλυση που πραγματοποιήθηκε προέκυψε ότι την καλύτερη επίδοση, τόσο από πλευράς ακρίβειας εντοπισμού του ολικού βελτίστου όσο και από πλευράς ταχύτητας, παρουσίασαν η ανασχηματιζόμενη σύνθετη εξέλιξη, η οποία είναι μια σχετικά πρόσφατη και ήδη καταξιωμένη μέθοδος, καθώς και ο εξελικτικός αλγόριθμος ανόπτησης-απλόκου που αναπτύχθηκε στα πλαίσια της παρούσας εργασίας. Η εργασία αυτή ολοκληρώνεται με μια σύνοψη των κυριοτέρων συμπερασμάτων και τη διατύπωση ορισμένων προτάσεων στην κατεύθυνση της βελτίωσης του εξελικτικού αλγορίθμου ανόπτησηςαπλόκου. v

8 Extended abstract Introduction Optimization has become a valuable tool in most of hydroinformatics applications. Given that these problems are intrinsically nonlinear and multimodal, they do not exist deterministic optimization methods that can locate the globally optimal solution. During the last two decades, probabilistic schemes have been developed for solving global optimization problems. These methods use a combination of random and deterministic steps, without generally requiring restrictive conditions on the nature of the objective function. The scope of this postgraduate thesis is a detailed investigation of global optimization techniques, focusing on methods used in water resources engineering and management. Within the framework of this study, a new optimization scheme has been also developed which has been proved suitable for most of the theoretical as well as real-world applications that have been examined. Posing the global optimization problem The nonlinear unconstrained optimization problem The nonlinear unconstrained optimization problem with continuous variables is defined as the seeking for a vector x * = (x 1 *,, x n * ) such that: f(x * ) = min f(x) (1) The main assumptions for this problem are that control variables x are continuous and bounded and that all external constraints are handled either using penalty functions or via simulation. The trivial case is when f is convex and therefore a single optimum exists. However, generally the function is not convex and thus the global optimum point has to be located among many local optima. In order to cover all possible cases (usually the real-world applications), we have also to assume that the partial derivatives of f are not calculable and a numerical approximation of them is impractical. Moreover, the analytical expression of the objective function itself may not be available and thus, there is no information about its structure and properties. Finally, in many of the problems that are met in practice, a highly accurate solution is neither possible nor feasible; it may be impossible because of uncertainties and errors in the underlying model or data, or it may be unfeasible because of the unacceptably high cost required to attain it. Thus, the crucial issue is to find a "good" answer for the optimization problem without extremely high computational effort. Local search techniques Local search techniques are deterministic methods, suitable for the optimization of unimodal (singleextremum) functions. These techniques can be classified into two major categories, gradient-based and direct search methods (e.g., Pierre, 1986 Schwefel, 1994). vi

9 Gradient methods are applicable only if the analytical expression of the objective function is available and its partial derivatives are easy to compute. These are numerical algorithms that start from an initial feasible point and converge to the nearest local optimum, employing subsequent line optimizations, where they use the gradient information. The typical gradient-based methods are (Press et al., 1992): steepest descend methods; conjugate gradient methods; Newton methods; quasi-newton or variable metric methods. We note that Newton methods are of second order (they use first as well as second derivatives), whereas quasi-newton methods employ numerical approximations of second derivatives. Direct search methods are characterized by the fact that they do not compute neither approximate derivatives; the only information that they need are the values of the objective function. Instead of using derivatives, they typically consider a natural alternative, by exploring each direction of the Euclidean space in a linearly independent set of n search directions. The direct search algorithms are distinguished both by the way in which the set of the directions is chosen and by the way exploratory steps are taken (Torczon, 1991). One of the most popular direct search methods is the downhill simplex algorithm of Nelder and Mead (1965). The simplex is the geometrical figure, consisting of n + 1 points (vertices) that span the n- dimensional space. After the definition of the initial simplex, the algorithm takes a series of iterative steps, most steps just reflecting from the worst vertex. When it can do so, the simplex is expanded to take larger steps. When it reaches a valley floor, it is contracted in the transverse direction and tries to ooze down the valley. If the simplex tries to pass through the eye of the needle, it shrinks in all directions, pulling itself around the best vertex (Figure 1). An appropriate sequence of such steps will always converge to a local minimum of the function. Figure 1: Possible outcomes for a step in the downhill simplex method. The simplex at the beginning of the step, here a tetrahedron, is shown left. At the end of the step, the simplex can be any one of (a) a reflection away from the worst point, (b) a reflection and expansion away from the worst point, (c) a contraction along one dimension from the worst point, or (d) a multiple contraction (shrinkage) along all dimensions towards the best point. As mentioned before, local search methods are not appropriate for the optimization of non-convex, multimodal functions. However, because of their efficiency in simple search spaces, their principles are commonly applied in several global optimization algorithms. Overview of global optimization techniques Global optimization techniques aim at identifying the global optimum solution of a function that need not be convex or differentiable. These methods involve the evaluation of the function usually at a random sample of points in the feasible parameter space, followed by subsequent manipulations of the vii

10 sample using a combination of deterministic and probabilistic rules. An important issue is that they guarantee only asymptotic convergence to the global optimum. Deterministic methods The uniform grid sampling method is a primitive deterministic approach to the global optimization problem and consists of an examination of specific uniformly spaced values of control variables (Loucks et al., 1981). The grid search method is computationally very expensive, as the number of function evaluations increases exponentially with the dimension n. An improvement of the above technique is the application of the search procedure in the form of successive steps, with grids that are nested to each other and become progressively finer (Nalbantis and Koutsoyiannis, 1997). Stochastic methods The simplest probabilistic scheme is random sampling. In this method, a prespecified number of points are sampled at random from the feasible parameter space, using any probability distribution function (commonly a uniform distribution). The objective function value is computed at each point, and the point with the best function value is taken as an estimate of the optimum (Rubinstein, 1986). Pure random search schemes do not use any of the information gained during sampling to direct the search in a logical manner. A better approach is to make the generation of evaluation points in a more systematic way; then the previously chosen points and function values are taken into account when the next point is chosen. These techniques are called adaptive because they guide the random search adaptively toward the region of the global optimum. The general strategy of adaptive methods consists of the generation of a random perturbation at the vicinity of the current solution, which is accepted only if it improves the value of the objective function; otherwise another trial point is generated. Different adaptive search schemes depend on the choice of the generator of perturbations. The socalled adaptive random search methods aim to gradually reduce the "variance" of the examined solutions to implement a more detailed investigation when the global optimum solution is approached. Another category is the controlled random search techniques, where each perturbation is generated on the basis of previously generated points. Price (1965, 1983) proposed several versions of the controlled random search algorithm that have become the basis of many modern global optimization methods. Here, the concept of a population of feasible solutions is introduced. At each step a simplex is formed from a sample of the population and a new trial point (i.e., the perturbation) is generated as a reflection about the centroid of the remaining points; the new trial point replaces the worst point in the original set. Krivy and Tvrdik (1995) and Brachetti at al. (1997) developed improved versions of the above algorithm. Another stochastic approach to deal with multiple optima is to run several trials of a local search optimization algorithm from different starting points. This simple search strategy is called a multistart procedure. Assuming that the failure probability of a unique local search is p, then for r independent runs of the algorithm this rate reduces to p r (Rubinstein, 1986). In an ideal case, the multistart methods aim at starting the local search procedure once in every region of attraction of local optima. The strategy of identifying appropriate initial solutions that belong to different regions of attraction is called cluster or pattern recognition analysis (Solomatine, 1995, 1999). Evolutionary and genetic algorithms The family of evolutionary algorithms is inspired from the mechanics of natural evolution of biological organisms, although these models are crude simplifications of biological reality. viii

11 Evolutionary algorithms introduce some important modifications to random search and they use the terminology from biology and genetics. Through a typical iterative step, some points of the current population P(t) are recombined according to a recombination operator, thus creating new points (individuals) that are called offsprings. The coordinates of some points of P(t) are randomly modified according to a mutation operator. Then, a selection operator is applied to choose points for the next population P(t + 1). Historically, evolutionary algorithms have been developed is three variations: evolution strategies; evolutionary programming; genetic algorithms. Schwefel (1994) and Banzhaf et al. (1998) give an overview of these approaches that differ mainly in the types of recombination, mutation and selection operators. Among them, the last have received the most attention in continuous global optimization. In genetic algorithms (Holland, 1975 Goldberg, 1989 Michalewich, 1992) the control variables are represented on a chromosome-like (usually binary string) structure. A fitness value is assigned to each individual, expressing the quality measure of the corresponding solution. The selection operator is applied by choosing the fittest individual strings to be recombined in order to produce better offsprings. A probabilistic mechanism (i.e., a roulette wheel) is used, allocating greater survival to best individuals. The crossover (recombination) operation implements the exchange of genes of randomly selected pairs of individuals with a certain probability. Finally, according to the mutation procedure, some of the genes in the chromosomes are randomly changed with a certain (small) probability, thus keeping the population diverse and preventing form premature convergence onto a local optimum. Simulated annealing The method of simulated annealing is based on an analogy with a thermodynamical process called annealing. For slowly cooled thermodynamical systems (metals or liquids), nature is able to find the minimum energy state, while the system may end in an amorphous state having a higher energy if it is cooled quickly. The principle can be expressed by the Boltzmann probability distribution function: p(e) ~ exp E (2) κt where κ is a constant. For a system in thermal equilibrium at a given temperature T, its energy is probabilistically distributed among all different energy states E. Therefore the system may switch to a new energy state, irrespective of whether it is higher or lower. In other words, nature s minimization strategy is to allow the system sometimes to go uphill as well as downhill, so that it has a chance to escape from a local energy minimum in favor of finding a better, more global one. Note that the lower the temperature, the less likely is any significant uphill step. Metropolis et al. (1953) transferred the principles of the annealing process into statistical mechanics. Their concept was to use a probabilistic criterion, analogue to the Boltzmann function, in order to allow some uphill steps, whereas all downhill steps should be acceptable. To apply the above concept into other than thermodynamical systems, one should provide the following elements (Press et al., 1992): A description of possible system configurations. A generator of random changes in the configuration of the system. An objective function (analogue of energy) to be minimized. ix

12 A control parameter T (analogue of temperature) and an annealing cooling schedule, which describes the gradual reduction of T. Simulated annealing has been first applied with quite a lot of success in combinatorial optimization (Kirkpatrick et al., 1983). Yet, there are still many difficulties in the application of simulated annealing to problems with continuous parameter space. The most problematical element is the random generator of possible moves, which is extremely inefficient narrow valleys, leading almost always in uphill moves. To cope with this handicap, several heuristic schemes have been proposed (e.g., Corana et al., 1987 Goffe at al., 1994 Cardoso et al., 1996). The shuffled complex evolution method The shuffled complex evolution method (Duan et al., 1992) is a new, heuristic global optimization scheme that combines the strength of the downhill simplex procedure of Nelder and Mead (1965) with the concepts of controlled random search (Price, 1965), competitive evolution (Holland, 1975) and complex shuffling. This method has become the most popular among hydrologists and many references about it can be found in the water resources literature (Duan et al. 1994a, Gan and Biftu, 1996 Cooper et al., 1997 Kuczera, 1997 Yapo et al., 1998 Freedman et al., 1998 Thyer et al., 1999). The algorithm begins by randomly selecting a population of feasible points that are sorted and partitioned into a number of communities (complexes), each one containing at least n + 1 points. Each of the complexes is allowed to evolve in the direction of global improvement, using competitive evolution techniques that are based on the downhill simplex method. At periodic stages in the evolution, the entire set of points is shuffled and reassigned to new complexes to enable information sharing. This process is repeated until some stopping criteria are satisfied. Duan et al. (1992) compared the global search without sharing information to giving a number of competent persons a difficult problem to solve without conferring with each other. It is obvious that it is much better for the people to first work independently (individually or in small groups) and then get together periodically to share information about their progress. The combination of competitive evolution and complex shuffling ensures that the information gained by each of the individual complexes is shared throughout the entire population. This results in a robust optimization algorithm that conducts an efficient search of the parameter space. Tabu search The natural system on which tabu search is based is the human memory process. The modern form of tabu search derives from Glover (1986). The basic principle is to maintain a so-called tabu list of recent moves (transitions from point to point) in order to prevent the search from moving back to where it was previously. The basic steps of the algorithm consist of starting from a feasible point and then moving to the best neighbor. This is similar to a hill-climbing search, except for the fact that it may move to a worse solution from the current one. Although tabu search has been successfully applied to a variety of combinatorial problems, very few works deal with its application to continuous optimization. Among them, we can distinguish the works of Al-Sultan and Al-Fawzan (1997), Siarry and Berthiau (1997) and Chelouah and Siarry (2000). x

13 The evolutionary annealing-simplex scheme Literature review An interesting category of global optimization techniques is this that aims to combine the robustness of simulated annealing in rugged problems with the efficiency of hill-climbing methods in simple search spaces. The strengths and weaknesses of the two approaches are complementary. Simulated annealing avoids local optima by jumping away from them, but it sacrifices efficiency (i.e., computational effort) by doing so; on the other hand, hill-climbing methods converge quickly to the nearest local optimum, but they have no way of getting out of it. One typical local optimizer is the downhill simplex algorithm of Nelder and Mead (1965). However, there are only few references in literature on how to incorporate the simulated annealing strategy to this method. Press et al. (1992) introduced a logarithmically distributed random variable proportional to the temperature into the objective function associated with every vertex of the simplex. In this way, the simplex behaves between a random walk and an ordered downhill motion, depending on the ratio Δf / T, where Δf is the difference in values of the function at two vertices and T is the temperature. On the basis of the above scheme, Pan and Wu (1998) introduced some improvements; the most important is the use of some follow-up strategies to escape from local optima. Kvaniscka and Pospichal (1997) proposed a different scheme, based on the controlled random search method of Price (1965), where the construction of reflection points is randomized and their returning to the population is implemented according to a probabilistic criterion. A parallel version of the above algorithm uses a decomposition of the whole population into disjoint subpopulations, for witch independent simulated annealings are done. During the evolution, the subpopulations randomly interact so that between two subpopulations their best points found so far are exchanged, whereas the worst ones are eliminated. Description of the algorithm The evolutionary annealing-simplex algorithm, which was developed within the framework of this postgraduate thesis, uses ideas from several methodological approaches, enhancing them with some original elements. The main concept is based on a controlled random search optimization scheme, where a generalized downhill simplex methodology is coupled with a simulated annealing procedure. A brief description of the algorithm is the following: An initial population P is randomly generated into the feasible space. At each step a simplex is formulated, by randomly choosing a set of n + 1 points from P. The simplex is reflected from a randomized "worst" vertex x w (this can be any vertex except of the current best). If either the reflection point x r is not accepted according to a probabilistic criterion or f(x r ) < f(x w ), the simplex is moved downhill following a generalized Nelder-Mead strategy, where the lengths of all types of movements (expansions and contractions) are randomized. If x r is accepted albeit being worse than x w, trial expansion steps are taken along the uphill direction in order to jump from the local optimum, pass the ridge and explore the neighboring area. If any trial step successes, a random point is generated on the boundaries of the population and replaces x r according to a mutation probability p m. The procedure is repeated until one of the termination criteria is satisfied. The above algorithm contains several original issues referring to: the generation of the initial population; the automatized regulation of the annealing schedule; the generalization of the Nelder-Mead procedure, in order to be more competitive and stochastic; the implementation of a simple line minimization procedure to accelerate the downhill search; the use of a heuristic follow-up strategy to escape from local optima; the definition of the mutation function; xi

14 the introduction of a reannealing capability, in case of early convergence. Evaluation and comparison of optimization algorithms Two factors, the effectiveness and the efficiency characterize the performance of any optimization algorithm (Schwefel, 1994). The first one indicates the probability of locating the global optimum starting from any random initial solution (or population of solutions) whereas the second one indicates the speed of the algorithm. A measure of the effectiveness of an algorithm in a specified problem is the number of successes out of a predefined number of independent runs and a measure of its efficiency is the average number of function evaluations that are needed to converge to the optimum. Mathematical applications Four representative methodologies have been tested on a set of several optimization problems, including traditional benchmark functions used in optimization literature. These methodologies were: a multistart downhill simplex procedure of Nelder and Mead (1965); a simple, binary-coded genetic algorithm, based on the source code of Goldberg (1989); the shuffled complex evolution method of Duan et al. (1992); the original evolutionary annealing-simplex scheme. For each of the above algorithms, a detailed analysis has been implemented, in order to investigate their performance in relation with some critical input arguments, like the population size. In Table 1, the results obtained for the best only set of these arguments are presented. Table 1: Effectiveness and efficiency (in parenthesis) indices for the global optimization algorithms. Test function n Number of optima Multistart simplex 1 Genetic algorithm SCE-UA Annealingsimplex Sphere (4266) 100 (45463) 100 (5159) 100 (4831) Hozaki (137687) 81 (26731) 100 (296) 100 (303) Goldestein-Price (91557) 96 (26731) 99 (449) 100 (419) Rozenbrock (183588) 65 (27374) 100 (1191) 100 (583) Rozenbrock (7532) 0 (45463) 99 (11105) 33 (12635) Griewank 10 > (10524) 89 (52853) 100 (5574) 99 (7567) Michalewicz 2 > (210534) 31 (27048) 44 (438) 58 (1373) Step (528120) 4 (45463) 1 (2350) 78 (6691) Mean effectiveness (1) Results obtained after 20 independent runs of the downhill simplex algorithm. The main conclusions of the analysis were the following: The effectiveness of the multistart technique that implements the downhill simplex scheme is proportional to the number of independent runs of the local search algorithm; the consequence is a low efficiency of the method, especially for difficult optimization problems. The performance of the simple, binary-coded genetic algorithm was not satisfactory, not only due to the low value of the effectiveness index but mainly because of the extremely large number of function evaluations needed for convergence. Both the shuffled complex evolution method and the evolutionary annealing-simplex scheme faced with success almost all optimization problems; the latter was proved slightly more effective but slightly more time-consuming. xii

15 All methods were sensitive to the corresponding algorithmic input arguments. Real-world applications In real-world optimization problems, the properties of the response surface of the objective function as well as the location of the global optimum are not known a priori. Moreover, due to the effort needed for the computation of function values, it is likely to terminate the optimization before convergence criteria are satisfied, in order not to exceed a maximum number of function evaluations. Three global optimization problems were examined, taken from the domain of water resources engineering and management. The algorithms that were used to solve the problems were those who demonstrated the best performance through the test functions-based analysis, namely the shuffled complex evolution method and the evolutionary annealing-simplex method. The first problem was the calibration of a mathematical model, more precisely a simple water balance model. In such an application, the objective is to identify the values of the model parameters by minimizing the departure between the computed output variables and the outputs measured in the physical system. The water balance model was developed by Mantoudi (2000) and applied to the river basin of Kremasta. The number of parameters was 4; specifically the imperviousness of the basin, the storage capacity of the soil moisture reservoir and the recession coefficient of the soil moisture and groundwater. In addition, two other control variables were assumed; namely the initial values of soil and ground storage. Input data was the precipitation and the potential evapotranspiration for a simulation period of 93 months. Two case studies were examined; the first one was based on real output data (i.e., historical runoff series) whereas the second one was based on synthetic output data, where the runoff was calculated assuming arbitrary parameter values. The reason of using synthetic data was the elimination of errors due to the data as well as the model structure. The results are shown in Figures 2 and 3, respectively. For both problems, the annealing-simplex method managed to achieve the same effectiveness rate (16%), which was better than the rate achieved via the shuffled complex evolution algorithm (20% and 28%, respectively). Number of failures out of Annealing-simplex 1 complex Shuffled complex evolution Average number of function evaluations Figure 2: Comparison of the performance of the optimization algorithms used for the calibration of the simple water balance model with real runoff data. xiii

16 Number of failures out of Annealing-simplex Shuffled complex evolution 1 complex Average number of function evaluations Figure 3: Comparison of the performance of the optimization algorithms used for the calibration of the simple water balance model with synthetic runoff data. The second application was the maximization of the mean annual energy profit of a hypothetical hydrosystem, consisting of two reservoirs in parallel. A high-dimensional methodology was implemented, assuming as control variables the step-by-step reservoir target releases. Thus, for a simulation period of 16 years, the total number of control variables was 384. The results were 44.7 monetary unions for the shuffled complex evolution method and 46.5 unions for the evolutionary annealing-simplex algorithm. Note that Economou (2000), who examined the same problem assuming a low-dimensional methodology where parametric operation rules (Nalbantis and Koutsoyiannis, 1997) were used, achieved a performance index of 49.9 unions. The main characteristic of this problem was the flat-type response surface of the objective function, which is due to the use of desirable and not real magnitudes as control variables. This feature makes extremely difficult the location of the gradient of the function, especially when the number of parameters is large Mean annual energy profit Parametric approach Non-parametric (shuffled complex evolution) Non-parametric (simplex-annealing) Figure 4: Results for the energy profit maximization problem. The third application was an algebraic problem, typical in stochastic hydrology applications. The objective is the calculation of a matrix b such that: xiv

17 c = b b T (3) The above problem, also known as square matrix decomposition, is met in all linear multivariate stochastic models of the form: Y = a Z + b V (4) where Y is a vector of variables to be generated, Z is a vector of known variables, V is a vector of noise variables (innovations) and a, b are matrices containing model parameters. In that case, c is the covariance matrix of the model with known elements. The problem has infinite number of solutions if c is positive definite, otherwise there are no feasible solutions. Moreover, the skewness coefficients of noise variables V depend on b; i.e., μ 3 [V] = ξ(b). If some element of the vector ξ is too high, μ 3 [V] cannot be preserved. Therefore, even if a feasible matrix b can be found, this may not be appropriate for the preservation of all model statistics. Koutsoyiannis (1999) proved that this can be formulated as a nonlinear unconstrained optimization problem, where the objective is to minimize the departures d = c b b T, by keeping simultaneously the skewness of V as small as possible. He also proved that exists an analytical expression of the partial derivatives of the objective function and therefore any gradient-based method can be used to solve the problem. The proposed methodology was implemented for the multivariate generation of monthly rainfall and runoff series at the four basins (Mornos, Evinos, Yliki, Marathon) of the hydrosystem of Athens, using a periodic AR(1) model. Twelve independent optimization problems were examined, each one referring to the decomposition of the corresponding monthly covariance matrix. The number of control variables, namely the elements of matrices b, were 8 8 = 64. In addition to the shuffled complex evolution method and the evolutionary annealing-simplex algorithm, a multistart conjugate gradient scheme was applied, in order to compare their performance on a basis of a fast and accurate derivative-based method. The results are presented in Figure 5. Minimum function value SCE-UA Annealing-simplex Multistart conjugate gradient Oct Nov Dec Jan Feb Mar Apr May Jun Jul Aug Sep Figure 5: Comparison of the performance of the optimization algorithms used for the decomposition of covariance matrices of the PAR(1) model. As expected, the multistart conjugate gradient method managed to find the best function values with a very little computational effort (about 2 minutes of CPU time), whereas the other two methods needed much more time (about 30 minutes of CPU time) to converge. In that case too, the evolutionary annealing-simplex algorithm had an obviously better performance. An important characteristic of this xv

18 problem was the sensitivity of the objective function with small changes of parameters' values and the existence of many local optima. The historical sample statistics were almost perfectly preserved by using the conjugate gradient method and they were also well approximated, by using the evolutionary annealing-simplex algorithm. On the other hand, the shuffled complex evolution method was proved unable to preserve those statistics. Summary and conclusions Through this postgraduate thesis, an integrated literature review of global optimization techniques was implemented and an original optimization scheme, the evolutionary annealing-simplex algorithm, was developed. Moreover, the performance of several methodologies was evaluated on the basis of mathematical and real-world optimization problems. The most important conclusions from the research were the following: The current trend in global optimization research is the combination of strategies obtained from diverse methodological approaches (including classical mathematics), in order to develop more robust search schemes. The simple, binary-coded genetic algorithm, which was used only in mathematical test functions, achieved a relatively low effectiveness rate and, the most important, needed an extremely large number of computations in order to locate the optimal solution. On the other hand, both the shuffled complex evolution method and the evolutionary annealingsimplex scheme were proved robust and efficient, and managed to solve almost all optimization problems that were examined. However, we have to note that the annealing-simplex scheme was proved more effective in real-world applications, especially in the matrix decomposition problem. Through the analysis, two types of objective functions were proved the most difficult to optimize; either rough, flat-surface functions or multimodal functions, sensitive to small changes of the control variables values. For both cases, the evolutionary annealing-simplex scheme was proved more effective than the shuffled complex evolution method. The performance of all optimization methods depended, less or more, on some critical algorithmic input parameters, usually calibrated experimentally. A final conclusion is that in spite of the development of robust and fast optimization schemes, parsimony of parameters still remains a significant requirement of mathematical modeling. Focusing on the evolutionary annealing-simplex scheme, we can propose some ideas for further development. The first one is a parallelized version of the algorithm, which can reduce significantly the time of computations. The second one is the implementation of a shuffling procedure (analogue to the procedure used in the shuffled complex evolution method), which will enable the sharing of the information gained during the optimization process. Another aspect is the incorporation of an automatic procedure for the setting of input arguments, like the population size and the annealing schedule coefficients, in order to ameliorate the performance of the algorithm and reduce user's interventions. A last point is a generalization of the evolution rules, in order to incorporate either line optimization or gradient-based methodologies, when function derivatives are available. xvi

19 1 Εισαγωγή 1.1 Αντικείμενο της εργασίας Αντικείμενο της παρούσας εργασίας είναι η διερεύνηση των μεθόδων αναζήτησης του ολικού ακροτάτου μη γραμμικών συναρτήσεων συνεχών μεταβλητών, εστιάζοντας στις μεθόδους εκείνες οι οποίες είναι οι πιο κατάλληλες για προβλήματα βελτιστοποίησης από τον χώρο της τεχνολογίας και διαχείρισης υδατικών πόρων. Η εργασία μπορεί να χωριστεί σε τρία σκέλη. Το πρώτο σκέλος περιλαμβάνει μια ολοκληρωμένη θεωρητική επισκόπηση των μεθόδων ολικής βελτιστοποίησης, η ανάπτυξη των οποίων είναι ραγδαία τα τελευταία χρόνια και συμβαδίζει με την εντυπωσιακή βελτίωση των δυνατοτήτων των ηλεκτρονικών υπολογιστών. Η επισκόπηση των μεθοδολογιών βασίστηκε σε εκτεταμένη βιβλιογραφική έρευνα, η οποία είχε ως σκοπό την προσέγγιση της αιχμής ενός ερευνητικού αντικειμένου το οποίο διαρκώς εξελίσσεται. Λόγω της μεγάλης πρακτικής χρησιμότητας της βελτιστοποίησης σε ένα ευρύτατο φάσμα τεχνολογικών εφαρμογών, η έρευνα που πραγματοποιήθηκε επεκτάθηκε σε βιβλιογραφικές πηγές που αναφέρονται σε ποικίλα γνωστικά αντικειμένα, όπως η αριθμητική ανάλυση, η πληροφορική και η επιχειρησιακή έρευνα. Το δεύτερο σκέλος αναφέρεται στην υλοποίηση μιας νέας τεχνικής ολικής βελτιστοποίησης που έχει ως βάση υφιστάμενες μεθοδολογίες, τις οποίες συνδυάζει με αποτελεσματικό τρόπο σε ένα πρωτότυπο αλγοριθμικό σχήμα. Το τρίτο και τελευταίο σκέλος της εργασίας έχει στόχο τη συστηματική αξιολόγηση των κυριότερων μεθόδων που διερευνήθηκαν, βάσει τόσο θεωρητικών (μαθηματικών) όσο και πραγματικών προβλημάτων βελτιστοποίησης. Η έρευνα που έγινε κατάδειξε ότι ο αλγόριθμος που αναπτύχθηκε μπορεί να θεωρηθεί ισάξιος των καθιερωμένων μεθόδων βελτιστοποίησης, καθώς αντιμετώπισε με απόλυτη επιτυχία το σύνολο των προβλημάτων που εξετάστηκαν. 1.2 Πρωτότυπα σημεία Η συστηματική βιβλιογραφική επισκόπηση ενός γνωστικού πεδίου με μικρό χρόνο ζωής, τεράστιο εύρος εφαρμογής και ταχέως εξελισσόμενου αποτελεί μια πρώτη συμβολή της παρούσας εργασίας. Συνεπώς αυτή μπορεί να χαρακτηριστεί και πρωτότυπη αλλά και πολύ χρήσιμη, καθώς: μετά από επίπονη προσπάθεια, καλύφθηκε όλο το φάσμα της σχετικής με το αντικείμενο της ολικής βελτιστοποίησης βιβλιογραφίας και μάλιστα της πλέον πρόσφατης, καθώς η αντίστοιχη επιστημονική έρευνα παρουσιάζει διεθνώς τεράστια ανάπτυξη συστηματοποιήθηκαν οι πολυάριθμες τεχνικές βελτιστοποίησης και ταξινομήθηκαν σε επιμέρους κατηγορίες αναλύθηκαν τα χαρακτηριστικά των βασικότερων μεθοδολογικών σχημάτων τόσο σε θεωρητικό όσο και σε πρακτικό επίπεδο, βάσει μαθηματικών αλλά και πραγματικών εφαρμογών. Η υλοποίηση ενός πρωτότυπου σχήματος βελτιστοποίησης, στα περιορισμένα μάλιστα χρονικά πλαίσια μιας μεταπτυχιακής εργασίας, συνιστά μια βασική συμβολή της εργασίας. Είναι αλήθεια ότι η ανάπτυξη του εξελικτικού αλγορίθμου ανόπτησης-απλόκου ήρθε μάλλον τυχαία, κατά τη διάρκεια 1

20 μιας περιόδου πειραματισμών με διάφορα σχήματα προσομοιωμένης ανόπτησης, μια στρατηγική βελτιστοποίησης η γνωριμία με την οποία μόλις είχε πραγματοποιηθεί και φαινόταν ιδιαίτερα γοητευτική. Βεβαίως, για να φτάσει ο αλγόριθμος σε ένα επιθυμητό επίπεδο ποιότητας (συγκρίσιμο μάλιστα του επιπέδου διεθνώς καταξιωμένων μεθόδων), χρειάστηκε να αφιερωθεί απεριόριστος χρόνος πάνω στην οθόνη του υπολογιστή, ωστόσο τα ιδιαίτερα ενθαρρυντικά συμπεράσματα καταδεικνύουν ότι το "πείραμα" πέτυχε. Μια χρήσιμη και πολύ πρακτική συνιστώσα της εργασίας ήταν η ανάπτυξη μιας αρκετά πλούσιας βιβλιοθήκης αλγορίθμων βελτιστοποίησης, γραμμένων σε γλώσσα Object Pascal, έτσι ώστε να μπορούν εύκολα να χρησιμοποιούνται στις εφαρμογές. Ορισμένοι αλγόριθμοι υλοποιήθηκαν εκ του μηδενός, ενώ άλλοι μεταφράστηκαν από άλλες γλώσσες προγραμματισμού. Ως προς την αξιολόγηση των μεθοδολογιών, αναζητήθηκαν εφαρμογές οι οποίες να καλύπτουν αντιπροσωπευτικά προβλήματα μη γραμμικής βελτιστοποίησης από τον χώρο των υδατικών πόρων, με εντελώς διαφορετικά χαρακτηριστικά. Τα προβλήματα που εξετάστηκαν αφορούσαν τη βέλτιστη ρύθμιση ενός μοντέλου υδατικού ισοζυγίου (μια τυπική εφαρμογή βελτιστοποίησης στον χώρο της υδρολογίας), τη βελτιστοποίηση της διαχείρισης ενός υποθετικού υδροσυστήματος και τη βέλτιστη εκτίμηση των παραμέτρων ενός πολυμεταβλητού στοχαστικού μοντέλου. Τα παραπάνω προβλήματα είναι ως ένα βαθμό πρωτότυπα και έχουν διατυπωθεί στα πλαίσια δύο μεταπτυχιακών εργασιών (Μαντούδη, 2000 Οικονόμου, 2000) και μίας διεθνούς δημοσίευσης (Koutsoyiannis, 1999). Τέλος, στα πλαίσια της εργασίας καταβλήθηκε προσπάθεια απόδοσης πολλών ξένων όρων, δεδομένου μάλιστα ότι η ελληνική βιβλιογραφία πάνω στο αντικείμενο της ολικής βελτιστοποίησης είναι πολύ περιορισμένη. Οι όροι αυτοί απαντώνται στο κείμενο με πλάγια γράμματα και, για διευκόλυνση του αναγνώστη, έχουν καταχωρηθεί και σε ευρετήριο (Παράρτημα Α). 1.3 Διάρθρωση της εργασίας Η εργασία περιλαμβάνει, εκτός από την παρούσα εισαγωγή (Κεφάλαιο 1), έξι Κεφάλαια και δύο Παραρτήματα. Στο Κεφάλαιο 2 εισάγεται το πρόβλημα βελτιστοποίησης μη γραμμικών συναρτήσεων με συνεχείς μεταβλητές και δίνονται ορισμένοι βασικοί μαθηματικοί ορισμοί. Επιπλέον, επισκοπούνται συνοπτικά οι τεχνικές αναζήτησης τοπικών ακροτάτων, με και χωρίς τη χρήση παραγώγων. Στο Κεφάλαιο 3 πραγματοποιείται εκτεταμένη βιβλιογραφική επισκόπηση των μεθόδων αναζήτησης του ολικού ακροτάτου μιας συνάρτησης, η οποία αποτελεί το κεντρικό θέμα της εργασίας. Στο Κεφάλαιο 4 διερευνάται μια ειδική τεχνική, η οποία έχει ως βάση τη σύζευξη δύο διαφορετικών μεθοδολογικών προσεγγίσεων, και παρουσιάζεται το νέο σχήμα βελτιστοποίησης (ο εξελικτικός αλγόριθμος ανόπτησης-απλόκου), το οποίο αναπτύχθηκε στα πλαίσια της παρούσας εργασίας. Στο Κεφάλαιο 5 επιχειρείται συγκριτική αξιολόγηση τεσσάρων αντιπροσωπευτικών μεθόδων ολικής βελτιστοποίησης βάσει τυπικών μαθηματικών συναρτήσεων ελέγχου, οι οποίες ελήφθησαν από τη βιβλιογραφία. Στο Κεφάλαιο 6 εξετάζονται οι τρεις εφαρμογές από τον χώρο της τεχνολογίας και διαχείρισης των υδατικών πόρων, με στόχο την αξιολόγηση των μεθόδων βελτιστοποίησης στα σαφώς πιο πολύπλοκα και απαιτητικά προβλήματα των υδατικών πόρων. Στο Κεφάλαιο 7 συνοψίζονται τα κύρια συμπεράσματα της εργασίας και διατυπώνονται ορισμένες προτάσεις για μελλοντική έρευνα. 2

21 Το Παράρτημα Α είναι ένα συνοπτικό ευρετήριο, στο οποίο περιέχονται οι κυριότεροι όροι που απαντώνται στο κείμενο της εργασίας. Τέλος, στο Παράρτημα Β παρατίθεται ο κώδικας του εξελικτικού αλγορίθμου ανόπτησης-απλόκου, σε γλώσσα Object Pascal. 3

22 2 Μέθοδοι αναζήτησης τοπικών ακροτάτων Στο κεφάλαιο αυτό εισάγεται το πρόβλημα εύρεσης των ακροτάτων μιας πραγματικής συνάρτησης, το οποίο, κατά τα πρώτα του στάδια, αντιμετωπίστηκε με μεθόδους κλασικής μαθηματικής ανάλυσης. Μετά τη διάδοση των υπολογιστών, αναπτύχθηκε ένα ευρύ φάσμα αριθμητικών μεθόδων, οι οποίες εντάσσονται κατά κανόνα σε δύο κατηγορίες (π.χ., Pierre, 1986 Schwefel, 1994). Η πρώτη κατηγορία αναφέρεται σε τεχνικές που βασίζονται στα κλασικά μαθηματικά και απαιτούν την αναλυτική ή προσεγγιστική γνώση των παραγώγων της συνάρτησης. Η δεύτερη κατηγορία περιλαμβάνει τις λεγόμενες τεχνικές άμεσης αναζήτησης, οι οποίες προϋποθέτουν τη δυνατότητα υπολογισμού της τιμής της συνάρτησης σε κάθε σημείο του πεδίου ορισμού της αλλά όχι γνώση των παραγώγων της. Τόσο οι έμμεσες όσο και οι άμεσες τεχνικές δεν μπορούν να εγγυηθούν την εύρεση του ολικού ακροτάτου της συνάρτησης και είναι γνωστές ως μέθοδοι τοπικής αναζήτησης (local search). 2.1 Κλασική θεωρία βελτιστοποίησης Ορισμοί Έστω το μέτρο επίδοσης (performance measure) ενός φυσικού ή μαθηματικού συστήματος: P = f(x 1, x 2,, x n ) (2.5) όπου f(x 1, x 2,, x n ) μια πραγματική συνάρτηση ορισμένη στο D R n και x = [x 1, x 2,..., x n ] Τ διάνυσμα παραμέτρων. Η f καλείται αντικειμενική συνάρτηση (objective function), ενώ οι παράμετροι x i ονομάζονται μεταβλητές ελέγχου (control variables) ή μεταβλητές απόφασης (decision variables) ή απλά παράμετροι του συστήματος. Η γεωμετρική απεικόνιση της αντικειμενικής συνάρτησης f ονομάζεται επιφάνεια απόκρισης (response surface), ενώ το πεδίο ορισμού της D καλείται εφικτή περιοχή (feasible region) ή εφικτός χώρος (feasible space) ή χώρος πολιτικής (policy domain). Στην γενική περίπτωση ο χώρος D ορίζεται από ένα σύνολο m μαθηματικών σχέσεων της μορφής: Ειδικότερα, αν η αντικειμενική συνάρτηση f είναι της μορφής: και όλοι οι περιορισμοί g i (i = 1, 2,, m) είναι της μορφής: g i (x 1, x 2,, x n ), =, 0 (2.6) f(x 1, x 2,, x n ) = c 1 x 1 + c 2 x c n x n (2.7) (a i1 x 1 + a i2 x a in x n ), =, 0 (2.8) τότε ορίζεται ένα πρόβλημα γραμμικού προγραμματισμού (linear programming). Έστω x ο εσωτερικό σημείο του D και ε > 0. Το σύνολο D είναι συνεχές (continuous) αν κάθε σημείο x το οποίο ικανοποιεί τη συνθήκη x x ο < ε, δηλαδή κείται στην ε-περιοχή του x ο, ανήκει στο D. Ένα μη συνεχές σύνολο, πεπερασμένο ή άπειρο αλλά αριθμήσιμο, ονομάζεται διακριτό (discrete). Ειδική κατηγορία διακριτών συνόλων είναι τα ακέραια (integer) σύνολα, στα οποία οι μεταβλητές λαμβάνουν μόνο ακέραιες τιμές. Μια πολύ σημαντική ιδιότητα των συνόλων είναι η κυρτότητα (convexity). Ένα σύνολο D είναι κυρτό όταν όλα τα σημεία που βρίσκονται πάνω στο ευθύγραμμο τμήμα που ενώνει δύο σημεία του x, y ανήκουν επίσης στο D, δηλαδή για κάθε λ [0, 1] ισχύει (βλ. Σχήμα 2.1): λ f(x) + (1 λ) f(y) f [λ x + (1 λ) y] (2.9) 4

23 Κυρτό, γραμμικό Κυρτό, μη γραμμικό Μη κυρτό, γραμμικό Μη κυρτό, μη γραμμικό Σχήμα 2.1: Παραδείγματα κυρτών και μη κυρτών συνόλων. Μια συνάρτηση f παρουσιάζει τοπικό ελάχιστο (local minimum) στο σημείο x * D όταν υπάρχει περιοχή U D του x * τέτοια ώστε για κάθε x U να ισχύει: f(x * ) f(x) (2.10) Αντίστοιχος είναι οι ορισμός για το τοπικό μέγιστο (local maximum). Τα σημεία τοπικού ελαχίστου και τοπικού μεγίστου καλούνται τοπικά ακρότατα (local extremum). Αν U D, το ακρότατο ονομάζεται ολικό (global). Η διαδικασία αναζήτησης του ολικού ακροτάτου (μεγίστου ή ελαχίστου) μιας συνάρτησης f ορισμένης στο D είναι γνωστή ως ολική βελτιστοποίηση (global optimization). Αν D R n, το πρόβλημα βελτιστοποίησης είναι χωρίς περιορισμούς (unconstrained optimization), ενώ αν D R n, πρόκειται για πρόβλημα βελτιστοποίησης με περιορισμούς (constrained optimization). Στην παρούσα εργασία, και εκτός αν αναφέρεται διαφορετικά, θεωρείται συμβατικά ότι η βελτιστοποίηση μιας συνάρτησης έγκειται στην εύρεση του ολικού ελαχίστου αυτής. Σημειώνεται ότι οποιοδήποτε πρόβλημα μεγιστοποίησης μετατρέπεται πολύ εύκολα σε πρόβλημα ελαχιστοποίησης είτε με τον μετασχηματισμό: είτε με τον ισοδύναμό του: Βελτιστοποίηση χωρίς περιορισμούς maximize f(x) = minimize [ f(x)] (2.11) maximize f(x) = minimize [1 / f(x)] (2.12) Έστω συνάρτηση f ορισμένη στο R n η οποία ικανοποιεί το κριτήριο Lipschitz, δηλαδή είναι ομοιόμορφα συνεχής σε όλο το πεδίο ορισμού της, και έχει συνεχείς μερικές παραγώγους δευτέρας τάξεως. Αν το x * είναι σημείο τοπικού ακροτάτου της f τότε ισχύει: f(x * ) = grad f(x * ) = 0 (2.13) Τα σημεία μηδενισμού του διανύσματος κλίσης f(x) καλούνται στάσιμα (stationary). Αν το x * είναι σημείο τοπικού ελαχίστου της f, τότε το εσσιανό (Hessian) μητρώο: Η(f) = 2 f x f x 2 x 1 2 f x 1 x f x f x 1 x n 2 f x 2 x n f x n x 1 2 f x n x f x n 2 (2.14) 5

24 είναι θετικά ορισμένο (positive definite), δηλαδή για κάθε τυχαίο διάνυσμα x ισχύει x T Η x > 0 (θεώρημα Sylvester). Αντίστροφα, αν το x * είναι σημείο τοπικού μεγίστου, τότε το εσσιανό μητρώο είναι αρνητικά ορισμένο. Το x * μπορεί να είναι στάσιμο σημείο χωρίς να είναι και τοπικό ακρότατο ταυτόχρονα. Στην περίπτωση αυτή το x * ονομάζεται σημείο σέλλας (saddle point) και το μητρώο Η(f) είναι μη ορισμένο, δηλαδή η παράσταση x T Η x δεν έχει μοναδικό πρόσημο στην περιοχή του x *. Αν η συνάρτηση f είναι κυρτή και το πεδίο ορισμού της D είναι επίσης κυρτό, τότε για κάθε ζεύγος σημείων {x, y} D ισχύει: f(y) f(x) + f(x) (y x) (2.15) Στην περίπτωση αυτή το μητρώο Η(f) είναι θετικά ορισμένο για κάθε x R n και η συνάρτηση έχει μοναδικό στάσιμο σημείο, το οποίο αντιστοιχεί στο ολικό ελάχιστο. Κατά συνέπεια, αν μια συνάρτηση ικανοποιεί την αναγκαία συνθήκη f(x * ) = 0 και την ικανή συνθήκη κυρτότητας, τότε παρουσιάζει ολικό ελάχιστο στο x *, αφού για κάθε y D ισχύει f(y) f(x * ). Διαφορετικά, αν η f δεν είναι κυρτή, έχει περισσότερα του ενός στάσιμα σημεία, καθένα από τα οποία μπορεί να είναι, ανάλογα με τις ιδιότητες του εσσιανού μητρώου, τοπικό ελάχιστο ή τοπικό μέγιστο ή σημείο σέλας. Μια συνάρτηση η οποία έχει περισσότερα από ένα ακρότατα, όπως αυτή του Σχήματος 2.2, ονομάζεται πολυκόρυφη (multimodal). Η εύρεση του ολικού ακροτάτου μιας τέτοιας συνάρτησης προϋποθέτει τον υπολογισμό και σύγκριση όλων των στάσιμων σημείων της. Τοπικό ελάχιστο Σημείο σέλας Ολικό ελάχιστο Σχήμα 2.2: Γραφική απεικόνιση της συνάρτησης f(x 1, x 2 ) = 0.5(1.1x 1 x 2 ) (x 1 0.5)(x 2 0.5). Η συνάρτηση έχει τρία στάσιμα σημεία, εκ των οποίων δύο είναι τοπικά ελάχιστα και ένα σημείο σέλας Δεσμευμένα ακρότατα - Μέθοδος πολλαπλασιαστών Lagrange Στην παράγραφο αυτή εξετάζεται η ελαχιστοποίηση πραγματικής συνάρτησης f(x), ορισμένης στο R n, η οποία υπόκειται σε m (m < n) περιορισμούς της μορφής: Η συνάρτηση f παρουσιάζει δεσμευμένο ελάχιστο στο σημείο x * όταν: το x * ανήκει στο σύνολο D = {h i (x) = 0 i = 1, 2,, m} υπάρχει περιοχή U D του x * τέτοια ώστε για κάθε x U να ισχύει: h i (x) = 0 (2.16) f(x * ) f(x) (2.17) 6

25 Αντίστοιχος είναι οι ορισμός για το δεσμευμένο μέγιστο. Το σύνολο των εξισώσεων (2.16) μπορεί να παρασταθεί και ως διανυσματική συνάρτηση h(x) = [h 1 (x), h 2 (x),, h m (x)] T. Εφόσον το σύστημα h(x) = 0 μπορεί να λυθεί ως προς m μεταβλητές, το πρόβλημα ανάγεται στην αναζήτηση των ακροτάτων μιας πραγματικής συνάρτησης των υπόλοιπων n m μεταβλητών, χωρίς δέσμευση (Παντελίδης, 1994). Γενικά, δεν είναι δυνατή η αναλυτική επίλυση των εξισωτικών περιορισμών. Στην περίπτωση αυτή ορίζεται το μετασχηματισμένο πρόβλημα: minimize φ(x, λ) = f(x) + λ T h(x) (2.18) όπου λ = [λ 1, λ 2,, λ m ] Τ διάνυσμα παραμέτρων που είναι γνωστές ως πολλαπλασιαστές Lagrange (Lagrange multipliers). Αποδεικνύεται ότι τα ακρότατα της συνάρτησης f(x) βρίσκονται μεταξύ των στάσιμων σημείων της βοηθητικής συνάρτησης φ(x). Με τον τρόπο αυτό το αρχικό πρόβλημα βελτιστοποίησης με εξισωτικούς περιορισμούς μετατρέπεται σε πρόβλημα βελτιστοποίησης χωρίς περιορισμούς, αλλά με m επιπρόσθετες μεταβλητές ελέγχου Συνθήκες Kuhn-Tucker για βελτιστοποίηση με περιορισμούς Η μέθοδος των πολλαπλασιαστών Lagrange γενικεύεται για τη βελτιστοποίηση συναρτήσεων με μικτούς (m εξισωτικούς και q ανισωτικούς) περιορισμούς της μορφής: h(x) = 0 g(x) 0 Το πρόβλημα ανάγεται στη βελτιστοποίηση της βοηθητικής συνάρτησης: (2.19) minimize φ(x, λ, μ) = f(x) + λ T h(x) + μ T g(x) (2.20) όπου λ = [λ 1, λ 2,, λ m ] Τ και μ = [μ 1, μ 2,, μ q ] Τ οι γενικευμένοι πολλαπλασιαστές Lagrange. Ένα σημείο x * αποτελεί λύση του προβλήματος εφόσον ικανοποιεί τους περιορισμούς και επιπλέον υπάρχουν μοναδικά λ *, μ * τέτοια ώστε: μ * 0 (μ * ) Τ g(x * ) = 0 df(x * ) dx + (λ* ) Τ dh(x * ) + (μ dx * ) Τ dg(x * ) dx = 0Τ (2.21) Οι παραπάνω εκφράσεις, οι οποίες είναι οι αναγκαίες προϋποθέσεις ύπαρξης ακροτάτου ενός προβλήματος βελτιστοποίησης με περιορισμούς, είναι γνωστές ως συνθήκες Kuhn-Tucker (Marlow, 1993). Η ονομασία τους προέρχεται από τους δυο διάσημους μαθηματικούς, οι οποίοι θεμελίωσαν τη σύγχρονη θεωρία μη γραμμικού προγραμματισμού στη δεκαετία του Η δεύτερη συνθήκη, η οποία γράφεται: μ 1 g 1 (x * ) + μ 2 g 2 (x * ) + + μ p g q (x * ) = 0 (2.22) ονομάζεται συνθήκη συμπληρωματικής χαλαρότητας (complementary slackness condition) και προϋποθέτει ότι για κάθε i = 1, 2,, q ισχύει: Αν g i (x * ) < 0 τότε μ i = 0 Αν μ i > 0 τότε g i (x * ) = 0 (2.23) Η συνθήκη ορίζει ότι το ακρότατο x * κείται πάνω στον γεωμετρικό τόπο που ορίζουν οι εξισώσεις g i (x * ) = 0, για τις οποίες ισχύει μ i > 0. Οι περιορισμοί αυτοί καλούνται δεσμευτικοί (binding), σε αντίθεση με τους υπόλοιπους περιορισμούς που θεωρούνται χαλαροί (slack) και για τους οποίους 7

26 μηδενίζονται οι αντίστοιχοι πολλαπλασιαστές Lagrange. Εξ ορισμού, όλοι οι εξισωτικοί περιορισμοί h i (x) είναι δεσμευτικοί (Marlow, 1993). Οι συνθήκες Kuhn-Tucker είναι ικανές και αναγκαίες για την ύπαρξη ολικού ελαχίστου της f, εφόσον τόσο η αντικειμενική συνάρτηση όσο και οι περιορισμοί είναι κυρτές συναρτήσεις Εναλλακτικές τεχνικές χειρισμού των περιορισμών Η ύπαρξη περιοριστικών εξισώσεων δυσχεραίνει σε μεγάλο βαθμό την αναζήτηση του ολικού βελτίστου μιας συνάρτησης. Για το λόγο αυτό, οι περιορισμοί εισάγονται μέσα στην αντικειμενική συνάρτηση, διαμορφώνοντας ένα νέο πρόβλημα βελτιστοποίησης χωρίς περιορισμούς. Ωστόσο, ο χειρισμός του μετασχηματισμένου προβλήματος μέσω των συνθηκών Kuhn-Tucker, δηλαδή ο αναλυτικός υπολογισμός των στάσιμων σημείων της βοηθητικής συνάρτησης φ(x, λ, μ), δεν είναι εφικτός παρά μόνο σε περιορισμένο αριθμό εφαρμογών. Ο τυπικός τρόπος αντιμετώπισης αυτής της δυσκολίας είναι η θεώρηση σταθερών συντελεστών στη θέση των πολλαπλασιαστών Lagrange. Με τον τρόπο αυτό η βοηθητική συνάρτηση διατυπώνεται μόνο ως προς τις αρχικές μεταβλητές x, ενώ οι περιορισμοί ενσωματώνονται με τη μορφή συναρτήσεων ποινής (penalty functions). Η συνάρτηση ποινής p(x) ορίζεται ως μία ποσότητα που προστίθεται στο μέτρο επίδοσης f(x) ενός συστήματος και η οποία μειώνει τεχνητά την επίδοση του συστήματος, εφόσον παραβιάζεται ο αντίστοιχος περιορισμός (Pierre, 1986). Η βοηθητική συνάρτηση ενός προβλήματος διαμορφώνεται ως: φ(x) = f(x) + w T p(x) (2.24) όπου p(x) = [p 1 (x), p 2 (x),, p m (x)] T διάνυσμα που περιέχει τις συναρτήσεις ποινής και w = [w 1, w 2,, w m ] Τ διάνυσμα παραμέτρων (συντελεστών βάρους), αντίστοιχων των πολλαπλασιαστών Lagrange. Οι συντελεστές βάρους εκφράζουν τη σχετική προτεραιότητα του κάθε περιορισμού σε σχέση με τους υπόλοιπους και είναι θετικοί εφόσον πρόκειται για πρόβλημα ελαχιστοποίησης και αρνητικοί αν πρόκειται για πρόβλημα μεγιστοποίησης. Το μειονέκτημα είναι ότι ο ορισμός τους είναι αυθαίρετος, αντίθετα με τους πολλαπλασιαστές Lagrange, οι οποίοι προκύπτουν μέσω βελτιστοποίησης. Κατά συνέπεια, είναι απαραίτητο να διερευνάται η ευαισθησία της αντικειμενικής συνάρτησης ως προς τους συντελεστές βάρους και, κατά περίπτωση, να επιλύεται το πρόβλημα με διαφορετικά w. Η συνήθης διατύπωση των συναρτήσεων ποινής ως προς τους περιορισμούς ισότητας h(x) είναι: p(x) = [h(x)] 2ξ (2.25) όπου ξ ακέραιος. Εφόσον ξ = 1, η συνάρτηση ποινής εκφράζει το τετραγωνικό σφάλμα ως προς τον περιορισμό h(x) = 0. Για το χειρισμό των ανισωτικών περιορισμών g(x), μπορούν να χρησιμοποιηθούν ποικίλες μορφές συναρτήσεων ποινής. Η απλούστερη από αυτές είναι (Pierre, 1986): όπου U(τ) η συνάρτηση μοναδιαίου βήματος ή συνάρτηση Heaviside: p(x) = U(0) [g(x)] 2 (2.26) U(τ) = 0 αν x τ 1 αν x > τ (2.27) Στο Σχήμα 2.3 απεικονίζεται η μεταβολή της επιφάνειας απόκρισης μιας συνάρτησης με προσθήκη της ποινής p(x). Το πλεονέκτημα της παραπάνω διατύπωσης είναι ότι το σχήμα του εφικτού χώρου διατηρείται αναλλοίωτο. Ωστόσο, στο σύνορό του δημιουργείται άλμα, με αποτέλεσμα η αντικειμενική συνάρτηση να μην είναι παντού διαφορίσιμη. 8

27 p(x) = 0 Ακρότατο της φ(x) p(x) = 0 Δεσμευμένο ακρότατο Εφικτός χώρος Ακρότατο χωρίς περιορισμό Ισοσταθμικές της συνάρτησης f(x) Ισοσταθμικές της συνάρτησης ποινής p(x) Ισοσταθμικές της συνάρτησης φ(x) = f(x) + p(x) Σχήμα 2.3: Γραφική απεικόνιση της αντικειμενικής συνάρτησης f, της συνάρτησης ποινής p και της βοηθητικής συνάρτησης φ = f + p (Πηγή: Pierre, 1986). Για να εξασφαλίζεται η διαφορισιμότητα της συνάρτησης σε όλο το πεδίο ορισμού της (κάτι που αποτελεί προϋπόθεση όλων των μεθόδων βελτιστοποίησης που απαιτούν υπολογισμό παραγώγων), είναι αναγκαία η χρήση συνεχών και διαφορίσιμων συναρτήσεων ποινής, όπως οι εκθετικές, οι υπερβολικές, οι λογαριθμικές κλπ. Μια τυπική συνάρτηση ποινής είναι η (Γεωργακάκος κ.ά., 1995): p(x) = exp x max x + exp x x min T T (2.28) Η παράμετρος Τ (συντελεστής κλίμακας) χρησιμοποιείται για να ρυθμίσει την καμπυλότητα της συνάρτησης. Όσο μικρότερη είναι η τιμή της, τόσο μικρότερη είναι η καμπυλότητα και άρα τόσο πιο αυστηρά είναι τα περιθώρια παραβίασης των ορίων x min x x max (Σχήμα 2.4). Συνάρτηση ποινής T = 2 T = Μεταβλητή ελέγχου Σχήμα 2.4: Γραφική απεικόνιση σε ημιλογαριθμικό διάγραμμα της σχέσης (2.28) για όρια x min = 60, x max = 90. Όταν η τιμή της παραμέτρου x κείται εντός του πεδίου ορισμού της, τότε η ποινή είναι μικρότερη της μονάδας, ενώ όταν παραβιάζεται ο περιορισμός, η ποινή αυξάνει εκθετικά. 9

28 Γενικά, οι παράμετροι των συναρτήσεων ποινής επιλέγονται έτσι ώστε να μηδενίζεται πρακτικά η ποινή όταν η λύση κείται εντός των ορίων του εφικτού χώρου και να αυξάνει απότομα, όσο απομακρύνεται η λύση από τα όρια αυτά. Θεωρητικά, το πεδίο ορισμού από πεπερασμένο γίνεται άπειρο, οπότε υπάρχει πάντοτε μια μη μηδενική πιθανότητα να προκύψει βέλτιστη λύση η οποία παραβιάζει τους περιορισμούς. Ωστόσο, η πιθανότητα αυτή είναι μικρή και πρακτικά μηδενίζεται όταν η λύση απομακρύνεται πολύ από τα όρια που θέτουν οι περιορισμοί. Στην παραπάνω λογική βασίζεται η έννοια των ασαφών συνόλων (fuzzy sets). Είναι γνωστό ότι κατά τη λήψη μιας απόφασης, η οποία προσομοιώνεται από το διάνυσμα μεταβλητών ελέγχου x, γίνεται συχνά αποδεκτή μια μικρή απόκλιση από τα "επιθυμητά" όρια, τα οποία εκφράζουν οι μαθηματικοί περιορισμοί. Τα όρια αυτά ορίζονται κατά κάποιον τρόπο αυθαίρετα ή τουλάχιστον προκύπτουν μέσα από ένα πλήθος παραδοχών και προσεγγίσεων (συνηθισμένων σε όλα τα προβλήματα μηχανικού). Αυτό συνεπάγεται ότι το σύνολο των δυνατών αποφάσεων δεν είναι αυστηρά καθορισμένο, αλλά διαθέτει μια μεταβατική (ασαφή) περιοχή, στην οποία δεν μπορεί να ληφθεί απόφαση με απόλυτη βεβαιότητα. Ο χειρισμός προβλημάτων βελτιστοποίησης με περιορισμούς μέσω της θεωρίας των ασαφών συνόλων είναι μια σύγχρονη προσέγγιση, η οποία προέρχεται από τον χώρο της τεχνητής νοημοσύνης. Η ανάπτυξη του αντικειμένου αυτού ξεφεύγει από τους σκοπούς της παρούσας εργασίας, ωστόσο υπάρχει πλούσια βιβλιογραφία τόσο πάνω στη σχετική θεωρία των όσο και στην εφαρμογή της σε συστήματα υδατικών πόρων (π.χ., Savic and Simonovic, 1991 Esogbue et al., 1992 Vamvakeridou-Lyroudia, 1995). 2.2 Τεχνικές έμμεσης αναζήτησης (μέθοδοι κλίσης) Στην κατηγορία αυτή εντάσσεται ένα πλήθος αλγορίθμων, οι οποίοι βασίζονται στις ιδιότητες του διαφορικού λογισμού. Η χρήση των παραγώγων της αντικειμενικής συνάρτησης αυξάνει τόσο την ταχύτητα όσο και την ακρίβεια της διαδικασίας βελτιστοποίησης. Απαραίτητη προϋπόθεση για την εφαρμογή τέτοιων μεθόδων είναι η ύπαρξη αναλυτικής σχέσης τόσο για την αντικειμενική συνάρτηση όσο και για τις μερικές παραγώγους της. Εναλλακτικά, οι παράγωγοι της συνάρτησης μπορούν να εκτιμηθούν αριθμητικά, με χρήση σχημάτων πεπερασμένων διαφορών Ελαχιστοποίηση συναρτήσεων μιας μεταβλητής Οι αλγόριθμοι ελαχιστοποίησης συναρτήσεων μιας μεταβλητής χρησιμοποιούνται ως ενδιάμεσα στάδια κατά τη βελτιστοποίηση συναρτήσεων πολλών μεταβλητών. Οι αλγόριθμοι αυτοί ακολουθούν τη λογική της γνωστής από την αριθμητική ανάλυση μεθόδου διχοτόμησης για την εύρεση της ρίζας πραγματικών συναρτήσεων. Η γενική τους μορφή έχει ως εξής: Έστω συνεχής συνάρτηση f(x) και μια τριάδα σημείων αυτής a < b < c. Η f(x) έχει ελάχιστο στο διάστημα (a, c) αν και μόνο αν ισχύει f(b) < f(a) και f(b) < f(c). Έστω ότι επιλέγεται ένα σημείο u στο διάστημα (b, c). Αν f(b) < f(u) τότε η θέση του ελαχίστου βρίσκεται στο διάστημα (a, b, u), διαφορετικά βρίσκεται στο διάστημα (b, u, c). Σε οποιαδήποτε περίπτωση, το ενδιάμεσο από τα σημεία είναι αυτό έχει την ελάχιστη τεταγμένη. Η παραπάνω διαδικασία επαναλαμβάνεται μέχρι να επέλθει σύγκλιση, δηλαδή να προκύψει ένα διάστημα τέτοιο που να είναι ικανοποιητικά μικρό. Οι αλγόριθμοι που έχουν προταθεί διαφοροποιούνται ως προς τον τρόπο επιλογής του νέου σημείου u σε κάθε βήμα. Βάσει της μεθόδου χρυσής τομής (golden section), επιλέγεται το σημείο που βρίσκεται στα (3 5 ) / 2 = της απόστασης του μεγαλύτερου από τα δύο διαστήματα (a, b) και (b, c), μετρώντας από το ενδιάμεσο σημείο b. Κατά συνέπεια, σε κάθε επανάληψη το διάστημα αναζήτησης μειώνεται κατά την ποσότητα , η οποία είναι η μικρότερη ρίζα της εξίσωσης: ω 2 3ω + 1 = 0 (2.29) 10

29 Η μέθοδος χρυσής τομής συγκλίνει πάντοτε, μειονεκτεί ωστόσο ως προς την ταχύτητα σύγκλισης. Λαμβάνοντας υπόψη το γεγονός ότι, από τον τύπο του Taylor, πολλές συναρτήσεις στην περιοχή του ακροτάτου έχουν σχεδόν τετραγωνική μορφή, η διαδικασία σύγκλισης μπορεί να επιταχυνθεί σημαντικά αν θεωρηθεί ότι από την τριάδα των σημείων (a, b, c) διέρχεται μια παραβολή, τέτοια ώστε το νέο σημείο u να αντιστοιχεί στην κορυφή της, δηλαδή στο υποτιθέμενο ελάχιστο. Η θέση του σημείου δίνεται από την εξίσωση: u = b 1 2 (b a) 2 [f(b) f(c)] (b c) 2 [f(b) f(a)] (b a) [f(b) f(c)] (b c) [f(b) f(a)] (2.30) Η παραπάνω τεχνική, η οποία καλείται αντίστροφη παραβολική παρεμβολή (inverse parabolic interpolation), παρουσιάζει προβλήματα όταν η μορφή της συνάρτησης δεν είναι τετραγωνική. Για το λόγο αυτό έχει προταθεί από τον Brent παραλλαγή της μεθόδου, βάσει της οποίας ελέγχεται η παραβολική συμπεριφορά της συνάρτησης και αν δεν γίνει αποδεκτή, εφαρμόζεται η τεχνική χρυσής τομής (Press et al., 1992) Η μέθοδος πλέον απότομης κατάβασης Η μέθοδος πλέον απότομης κατάβασης (steepest descend) βασίζεται στο γνωστό θεώρημα του διαφορικού λογισμού, βάσει του οποίου το διάνυσμα κλίσης f(x) μιας συνάρτησης f(x) σε ένα σημείο x 0 δίνει την κατεύθυνση κατά την οποία η f έχει το μεγαλύτερο βαθμό μείωσης κοντά στο x 0 (Σχήμα 2.5). x 2 grad f(x) x x 1 Σχήμα 2.5: Γραφική ερμηνεία του θεωρήματος του διαφορικού λογισμού, πάνω στο οποίο βασίζεται η μέθοδος πλέον απότομης κατάβασης. Έστω ότι στην k επανάληψη ο αλγόριθμος βρίσκεται στο σημείο x [k]. Κατά μήκος της ευθείας που ορίζει το διάνυσμα f(x [k] ) αλλά σε αντίθετη κατεύθυνση, εντοπίζεται το επόμενο σημείο x [k + 1] το οποίο ελαχιστοποιεί την τιμή της f(x) πάνω σε αυτή. Η ευθεία έχει εξίσωση: x = x [k] β [k] f(x [k] ) (2.31) όπου β [k] βαθμωτή παράμετρος τέτοια ώστε να ελαχιστοποιείται η συνάρτηση: g(β [k] ) = f(x [k] β [k] f(x [k] )) (2.32) 11

30 Κατά συνέπεια, το πρόβλημα ελαχιστοποίησης συνάρτησης πολλών μεταβλητών ανάγεται σε πρόβλημα ελαχιστοποίησης συνάρτησης μίας μεταβλητής, το οποίο αντιμετωπίζεται με τεχνικές που αναφέρονται στην Σε κάθε βήμα της μεθόδου η διεύθυνση μετακίνησης είναι σχεδόν κάθετη στην προηγούμενη, ενώ είναι ακριβώς κάθετη μόνο εφόσον το ελάχιστο της συνάρτησης x [k] β [k] f(x [k] ) μπορεί να εντοπιστεί με ακρίβεια. Η πορεία σύγκλισης της μεθόδου πλέον απότομης κατάβασης είναι αργή, και επιβραδύνεται περισσότερο όσο περισσότερο επιμήκεις είναι οι ισοσταθμικές της αντικειμενικής συνάρτησης (Σχήμα 2.6). Το σχήμα των ισοσταθμικών περιγράφεται μαθηματικά από τον βαθμό συντήρησης 1 (condition number) του εσσιανού μητρώου Η της συνάρτησης f. Στην οριακή περίπτωση, ο βαθμός συντήρησης του εσσιανού μητρώου είναι ίσος με τη μονάδα, οι ισοσταθμικές είναι ομόκεντροι κύκλοι και η μέθοδος συγκλίνει σε ένα μόνο βήμα, διαφορετικά συγκλίνει με ταχύτητα που εξαρτάται από τον βαθμό συντήρησης του Η (Belegundu and Chandrupatla, 1999). x 2 x * x 1 - g 1 - g 0 x 0 Σχήμα 2.6: Παράδειγμα εφαρμογής της μεθόδου πλέον απότομης κατάβασης σε τετραγωνική συνάρτηση δύο διαστάσεων. x Η μέθοδος συζυγών κλίσεων Η μέθοδος συζυγών κλίσεων (conjugate gradient), η οποία προτάθηκε αρχικά από τους Fletcher and Reeves (1964), είναι μια εξαιρετικά βελτιωμένη παραλλαγή της μεθόδου πλέον απότομης κατάβασης. Η μέθοδος αυτή εντοπίζει το ελάχιστο τετραγωνικής συνάρτησης n μεταβλητών σε n ακριβώς επαναλήψεις. Μια συνάρτηση καλείται τετραγωνική (quadratic) όταν μπορεί να γραφεί στη μορφή: f(x) = 1 2 xt A x + b T x + c (2.33) όπου το Α μητρώο συμμετρικό και θετικά ορισμένο. Αποδεικνύεται ότι στην περίπτωση που η f είναι τετραγωνική, η ταχύτερη κατεύθυνση σύγκλισης δεν είναι η κλίση f(x) αλλά η συζυγής της προηγούμενης διεύθυνσης ως προς το εσσιανό μητρώο Α. Δύο μη παράλληλες διευθύνσεις d i, d j είναι συζυγείς ως το μητρώο Α εφόσον ικανοποιούν τη συνθήκη: d i T A d j = 0, i j, 0 i και j n (2.34) 1 Βαθμός συντήρησης ενός μητρώου καλείται ο λόγος του μέγιστου προς το ελάχιστο ιδιοδιάνυσμα αυτού. 12

31 Ο αλγόριθμος εφαρμόζεται θεωρώντας ένα αρχικό σημείο x [0] και ένα σύνολο συζυγών διευθύνσεων d [0], d [1],, d [n 1], όπου η αρχική διεύθυνση d [0] ταυτίζεται με τη διεύθυνση της μεθόδου της πιο απότομης κατάβασης f(x [0] ). Κάθε νέο σημείο x [k + 1] προκύπτει ελαχιστοποιώντας την f(x) κατά μήκος της d [k], επιλύοντας δηλαδή το μονοδιάστατο πρόβλημα: Παραγωγίζοντας την f ως προς α [k] προκύπτει: minimize g(α [k] ) = f(x [k] α [k] d [k] ) (2.35) α [k] = όπου g [k] = f(x) = A x + b. Η νέα διεύθυνση d [k + 1] ορίζεται ως: d [k] g [k] d T[k] [k] (2.36) A d d [k + 1] = g [k + 1] + β [k] d [k] (2.37) δηλαδή παρεκκλίνει από την αντίστοιχη της μεθόδου της πιο απότομης κατάβασης κατά την ποσότητα β [k] d [k]. Λαμβάνοντας υπόψη ότι οι διευθύνσεις d [k + 1] και d [k] είναι συζυγείς ως προς το μητρώο Α, μετά από πράξεις προκύπτει: β [k] = g k + 1 T (g k + 1 g k ) g k T g k (2.38) Όταν k = n, και εφόσον η συνάρτηση f(x) έχει τετραγωνική μορφή, το σημείο x [n] αντιστοιχεί το ελάχιστο αυτής (Σχήμα 2.7). Για μη τετραγωνικές συναρτήσεις, ο αλγόριθμος διαφοροποιείται μόνο ως προς το γεγονός ότι η βαθμωτή παράμετρος α [k] υπολογίζεται αριθμητικά και όχι αναλυτικά, με μεθόδους ελαχιστοποίησης συναρτήσεων μιας μεταβλητής. Προφανώς στην περίπτωση αυτή απαιτούνται περισσότερες από n επαναλήψεις για τον εντοπισμό του βελτίστου. x 2 x 2 d 1 x 1 - g 1 d 0 = - g 0 x 0 Σχήμα 2.7: Παράδειγμα εφαρμογής της μεθόδου συζυγών κλίσεων σε τετραγωνική συνάρτηση δύο διαστάσεων. x Μέθοδοι Newton και quasi-newton Οι μέθοδοι αυτοί είναι δευτέρας τάξης και υπό ορισμένες προϋποθέσεις συγκλίνουν γρηγορότερα από τη μέθοδο συζυγών κλίσεων. Αναπτύσσοντας τη συνάρτηση f κατά Taylor προκύπτει: f(x) f(x 0 ) + f(x 0 ) T (x x 0 ) (x x 0) T 2 f(x 0 ) (x x 0 ) (2.39) 13

32 κάτι που σημαίνει ότι η συνάρτηση προσεγγίζεται από την τετραγωνική μορφή (2.33), με c = f(x 0 ), b = f(x 0 ) και Α = 2 f(x 0 ), άρα η ελαχιστοποίησή της ανάγεται στην επίλυση του γραμμικού συστήματος: Α x + b = 0 (2.40) Βάσει της μεθόδου Newton, η επίλυση του συστήματος προϋποθέτει τη γνώση του εσσιανού μητρώου Α, δηλαδή τον υπολογισμό των μερικών παραγώγων δευτέρας τάξης της f. Σημειώνεται ότι η μέθοδος Newton συγκλίνει σε στάσιμα σημεία, που μπορεί να είναι όχι μόνο σημεία ελαχίστου αλλά και σημεία μεγίστου ή σημεία σέλλας. Η τροποποιημένη μέθοδος Newton (quasi-newton) ακολουθεί διαφορετική λογική, προσπαθώντας να κατασκευάσει μια ικανοποιητική προσέγγιση του αντίστροφου του εσσιανού μητρώου Α, χρησιμοποιώντας τις παραγώγους πρώτης τάξης και μόνο. Οι γνωστότεροι αλγόριθμοι έχουν αναπτυχθεί από τους Davidon-Fletcher-Powell και Broyden-Fletcher-Goldfarb-Shanno (Press et al., 1992). Η τεχνική quasi-newton βρίσκει εφαρμογή και στις επαναληπτικές μεθόδους τετραγωνικού προγραμματισμού (quadratic programming), για την επίλυση προβλημάτων βελτιστοποίησης με εξισωτικούς και ανισωτικούς περιορισμούς (Boggs and Tolle, 2000). 2.3 Τεχνικές άμεσης αναζήτησης Ο όρος άμεση αναζήτηση (direct search) προέρχεται από τους Hooke and Jeeves (1961), οι οποίοι εισήγαγαν μια νέα κατηγορία τεχνικών βελτιστοποίησης που δεν βασίζονται στα κλασικά μαθηματικά 1. Οι τεχνικές άμεσης αναζήτησης είναι επαναληπτικές μέθοδοι μηδενικής τάξης, διότι προϋποθέτουν τη γνώση και μόνο της τιμής της συνάρτησης και όχι την αναλυτική ή αριθμητική εκτίμηση των παραγώγων της. Αντί να χρησιμοποιούν παραγώγους εφαρμόζουν ένα γεωμετρικό ανάλογο, εξερευνώντας τον ευκλείδειο χώρο σε n γραμμικά ανεξάρτητες διευθύνσεις. Στην πραγματικότητα, οι κανόνες διερεύνησης δεν βασίζονται στις τιμές της συνάρτησης καθαυτές αλλά στη σχετική τους διάταξη. Η διάκριση των διαφόρων μεθόδων έγκειται στον τρόπο επιλογής των διευθύνσεων αναζήτησης και στον καθορισμό του μήκους των αντίστοιχων βημάτων (Torczon, 1991). Οι τεχνικές άμεσης αναζήτησης μπορούν να διαχωριστούν σε τρεις κατηγορίες: μέθοδοι αναζήτησης σε πρότυπο (pattern search) μέθοδοι κατερχόμενου απλόκου (downhill simplex) μέθοδοι μεταβλητών διευθύνσεων αναζήτησης. Οι τεχνικές άμεσης αναζήτησης αναπτύχθηκαν τη δεκαετία του 1960, ωστόσο σύντομα χάθηκαν από το προσκήνιο. Η χρήση τους επανήλθε μόλις τα τελευταία χρόνια, είτε με τη μορφή αυτόνομων αλγορίθμων είτε με την ενσωμάτωσή τους σε συνδυαστικά σχήματα βελτιστοποίησης. Μια ευρεία ανασκόπηση και αξιολόγηση των μεθόδων άμεσης αναζήτησης γίνεται από τους Wright (1996) και Lewis et al. (2000). 1 Στην εισαγωγή του κειμένου τους, οι Hooke and Jeeves αναφέρουν τα εξής: "Χρησιμοποιούμε την έκφραση άμεση αναζήτηση για να περιγράψουμε μια επαναληπτική διαδικασία διερεύνησης δοκιμαστικών λύσεων, η οποία περιλαμβάνει τη σύγκριση κάθε δοκιμαστικής λύσης με την καλυτερη που έχει βρεθεί μέχρι εκείνο το στάδιο καθώς και μια στρατηγική προσδιορισμού της επόμενης δοκιμαστικής λύσης. Η έκφραση αυτή καταδεικνύει την προτίμηση, βάσει της εμπειρίας μας, σε απλές στρατηγικές αναζήτησης οι οποίες δεν χρησιμοποιούν τεχνικές κλασικής ανάλυσης εκτός και αν υπάρχει εμφανές πλεονέκτημα στο να γίνει κάτι τέτοιο" (Lewis et al., 2000) 14

33 2.3.1 Μέθοδοι αναζήτησης σε πρότυπο Οι μέθοδοι αυτές εφαρμόζουν μια σειρά από επαναληπτικά βήματα, υπολογίζοντας την τιμή της συνάρτησης σε διακεκριμένα σημεία του εφικτού χώρου, τα οποία ορίζονται ως κόμβοι πλέγματος. Συνήθως το πλέγμα είναι ένας υπερκύβος, ο οποίος διαμορφώνεται από τη συνήθη βάση (e 1, e 2,, e n ) του R n. Η ανάλυση του πλέγματος, η οποία καθορίζει το μήκος των βημάτων, μεταβάλλεται κατά την πορεία της αναζήτησης. Πιο συγκεκριμένα, αν για κάποια διεύθυνση i ισχύει: f(x [k] + Δ [k] e i ) < f(x [k] ) (2.41) όπου Δ [k] βαθμωτό μέγεθος (θετικό ή αρνητικό) που εκφράζει το μήκος της μετατόπισης κατά τη διεύθυνση του i άξονα, τότε η τρέχουσα λύση x [k] αντικαθίσταται από την x [k] + Δ [k] e i. Αν για καμία από τις 2n το πλήθος δυνατές διευθύνσεις ± e i δεν ισχύει η συνθήκη (2.41), τότε το μήκος του βήματος Δ [k] υποδιπλασιάζεται. Κατά συνέπεια, αν το x [k] δεν είναι στάσιμο σημείο της f, υπάρχει τουλάχιστον μία διεύθυνση κατά μήκος της οποίας βελτιώνεται (μειώνεται) η τιμή της συνάρτησης. Εφόσον η τιμή του μήκους Δ [k] γίνει πολύ μικρή (θεωρητικά μηδενική) και εξακολουθεί να μην ισχύει η συνθήκη (2.41), το σημείο x [k] θα είναι στάσιμο. Αποδεικνύεται ότι αν η συνάρτηση f είναι συνεχής και διαφορίσιμη, τότε για οποιοδήποτε σημείο εκκίνησης x [0] ισχύει (Lewis et al., 2000): lim f(x [k] ) = 0 k (2.42) Αυτό σημαίνει ότι η μέθοδος συγκλίνει πάντοτε σε τοπικό ακρότατο, ωστόσο η ταχύτητα σύγκλισης είναι αργή Μέθοδοι κατερχόμενου απλόκου Η ονομασία άπλοκο (simplex) προέρχεται από το ομώνυμο γεωμετρικό σχήμα, το οποίο είναι ένα πολύεδρο n + 1 κορυφών στον n-διάστατο χώρο 1. Για παράδειγμα, στον χώρο των δύο διαστάσεων το άπλοκο είναι ένα τρίγωνο, στον χώρο των τριών διαστάσεων ένα τετράεδρο, κ.ο.κ. Η αρχική μέθοδος κατερχόμενου απλόκου (downhill simplex) προτάθηκε από τους Spendley et al. (1962), οι οποίοι παρατήρησαν ότι απαιτούνται ακριβώς n + 1 δοκιμές για τον προσδιορισμό της διεύθυνσης βελτιστοποίησης μιας συνάρτησης. Πράγματι, n + 1 είναι τα σημεία που απαιτούνται για την εκτίμηση των παραγώγων της συνάρτησης μέσω πεπερασμένων διαφορών. Παρόλα αυτά, μέχρι την εποχή εκείνη, όλοι οι αλγόριθμοι άμεσης αναζήτησης εφάρμοζαν από 2n μέχρι 2 n δοκιμές για τον καθορισμό κάθε βήματος μετακίνησης (βλ ). Οι Spendley et al. ανέπτυξαν μια πιο φειδωλή μέθοδο, η οποία απαιτούσε τη γνώση των τιμών της συνάρτησης σε n + 1 σημεία, τα οποία μπορούν να θεωρηθούν ως οι κορυφές ενός απλόκου. Μια χαρακτηριστική ιδιότητα του απλόκου είναι ότι αν αντικατασταθεί μία κορυφή του από το αντιδιαμετρικό ως προς το κέντρο βάρους του σημείο, προκύπτει ένα νέο άπλοκο, το οποίο διατηρεί τον όγκο του προηγούμενου. Η κίνηση αυτή ονομάζεται ανάκλαση (reflection). Η εφαρμογή διαδοχικών βημάτων ανάκλασης ως προς την χειρότερη κάθε φορά κορυφή αποτέλεσε τη βάση της αυθεντικής μεθόδου των Spendley et al. (Lewis et al., 2000). Σε αντίθεση με τις υπόλοιπες μεθόδους αναζήτησης, για την εκκίνηση του αλγορίθμου δεν απαιτείται μόνο ένα εφικτό σημείο του n-διάστατου χώρου αλλά ένα σύνολο n + 1 εφικτών σημείων, τα οποία αντιστοιχούν στις κορυφές του αρχικού απλόκου. Αν x 0 είναι η μία από τις κορυφές, τότε οι υπόλοιπες μπορούν εύκολα να οριστούν με εφαρμογή της σχέσης: 1 Στο σημείο αυτό δεν πρέπει να γίνεται παρανόηση με τη γνωστή από τον γραμμικό προγραμματισμό μέθοδο simplex, η οποία επίσης χρησιμοποιεί την έννοια του απλόκου. 15

34 x i = x 0 + λe i (2.43) όπου e i το μοναδιαίο διάνυσμα στην i διεύθυνση και λ βαθμωτό μέγεθος (σταθερό ή μεταβλητό σε κάθε διεύθυνση), το οποίο αντιστοιχεί στην χαρακτηριστική κλίμακα μεγέθους του προβλήματος. Εξ ορισμού, το άπλοκο περικλείει πάντοτε έναν n-διάστατο όγκο, διαφορετικά υπάρχει τουλάχιστον μία τριάδα κορυφών του οι οποίες κείνται στην ίδια ευθεία. Στην περίπτωση αυτή το άπλοκο θεωρείται εκφυλισμένο (degenerated). Αν μία από τις κορυφές ενός μη εκφυλισμένου απλόκου ταυτίζεται με την αρχή των αξόνων, τότε οι υπόλοιπες n κορυφές του αποτελούν τις διευθύνσεις n γραμμικά ανεξάρτητων διανυσμάτων που ορίζουν έναν υπόχωρο του R n. Οι Nelder and Mead (1965) ανέπτυξαν μια εξαιρετικά βελτιωμένη παραλλαγή της αρχικής μεθόδου κατερχόμενου απλόκου, η οποία αποτελεί σήμερα μια από τις πλέον διαδεδομένες τεχνικές αναζήτησης τοπικών ακροτάτων. Εκτός από την ανάκλαση, οι Nelder and Mead όρισαν τρεις ακόμη κινήσεις, την επέκταση (expansion), τη συμπίεση (contraction) και τη συρρίκνωση (shrinkage). Με τον τρόπο αυτό ο αλγόριθμος έγινε πιο ευέλικτος, ώστε να προσαρμόζεται στο σχήμα της επιφάνειας απόκρισης της αντικειμενικής συνάρτησης. Έστω ότι στην k επανάληψη είναι γνωστές οι n + 1 κορυφές του απλόκου, οι οποίες ορίζονται ως ένα σύνολο γραμμικά ανεξάρτητων διανυσμάτων x 1 [k], x 2 [k],, x n + 1 [k] τέτοιων ώστε: f 1 [k] f 2 [k] f n + 1 [k] (2.44) [k] Εφόσον αναφερόμαστε σε πρόβλημα ελαχιστοποίησης, η κορυφή x 1 αντιστοιχεί στο καλύτερο [k] σημείο, ενώ η κορυφή x n + 1 αντιστοιχεί στο χειρότερο σημείο. Σε κάθε επαναληπτικό βήμα, ο αλγόριθμος Nelder-Mead έχει ως αποτέλεσμα δύο δυνατές καταστάσεις, είτε την αντικατάσταση μόνο της χειρότερης κορυφής από μια βελτιωμένη λύση είτε την αντικατάσταση όλων κορυφών του απλόκου πλην της καλύτερης. Η πορεία του αλγορίθμου σε κάθε κύκλο έχει ως εξής: Βήμα 1ο: Οι κορυφές x 1, x 2,, x n + 1 διατάσσονται κατά αύξουσα σειρά ως προς την τιμή της αντικειμενικής συνάρτησης. Βήμα 2ο: Υπολογίζεται το κεντροειδές των n καλύτερων κορυφών, δηλαδή: n x = 1 n x j (2.45) Βήμα 3ο: Υπολογίζεται το σημείο που προκύπτει με ανάκλαση της χειρότερης κορυφής x n + 1 περί το κεντροειδές x μέσω της σχέσης: j = 1 x r = 2x x n + 1 (2.46) Εφόσον f 1 f r < f n, το σημείο ανάκλασης x r γίνεται αποδεκτό και ο αλγόριθμος μεταβαίνει στον επόμενο επαναληπτικό κύκλο. Βήμα 4ο: Εφόσον f r < f 1, δηλαδή η τιμή της συνάρτησης στη νέα κορυφή είναι καλύτερη από την τρέχουσα βέλτιστη, το άπλοκο εκτείνεται προς την κατεύθυνσή της ανάκλασης έτσι ώστε να επιταχυνθεί η διαδικασία κατάβασης, με εφαρμογή της σχέσης: x e = 2x r x (2.47) Αν f e < f r, γίνεται αποδεκτό το σημείο επέκτασης x e, διαφορετικά γίνεται αποδεκτό το σημείο ανάκλασης x r. Σε κάθε περίπτωση, ο αλγόριθμος μεταβαίνει στον επόμενο επαναληπτικό κύκλο. Βήμα 5ο: Αν f r f n, πραγματοποιείται συμπίεση του απλόκου μεταξύ του κεντροειδούς x και της καλύτερης εκ των κορυφών x n + 1 και x r. Συγκεκριμένα: 16

35 α) Αν f n f r < f n + 1, δηλαδή το σημείο ανάκλασης x r είναι καλύτερο από το χειρότερο σημείο x n + 1, τότε πραγματοποιείται εξωτερική συμπίεση του απλόκου, με εφαρμογή της σχέσης: x c = x + 0.5(x r x ) (2.48) Εφόσον f c f r, τότε το σημείο x c γίνεται αποδεκτό και ο αλγόριθμος μεταβαίνει στον επόμενο επαναληπτικό κύκλο, διαφορετικά πραγματοποιείται συρρίκνωση του απλόκου (βήμα 6). β) Αν f r f n + 1, δηλαδή το σημείο ανάκλασης x r είναι χειρότερο από το σημείο x n + 1, τότε πραγματοποιείται εσωτερική συμπίεση του απλόκου, με εφαρμογή της σχέσης: x' c = x 0.5(x r x ) (2.49) Εφόσον f' c < f n + 1, τότε το σημείο x' c γίνεται αποδεκτό και ο αλγόριθμος μεταβαίνει στον επόμενο κύκλο δοκιμών, διαφορετικά πραγματοποιείται συρρίκνωση του απλόκου (βήμα 6). Βήμα 6ο: Το άπλοκο συμπιέζεται κατά μήκος όλων των διαστάσεών του και προς την κατεύθυνση της καλύτερης κορυφής x 1. Με τον τρόπο αυτό ορίζονται n νέες κορυφές, με εφαρμογή της σχέσης: u j = 0.5 (x j + x 1 ) (2.50) Τα σημεία x 1, u 2,, u n + 1 αποτελούν τις κορυφές του απλόκου στον επόμενο επαναληπτικό κύκλο. Στο Σχήμα 2.8 απεικονίζονται οι δυνατές κινήσεις ενός απλόκου στον χώρο των τριών διαστάσεων. (a) (b) max min (c) (d) (e) Σχήμα 2.8: Δυνατές κινήσεις του απλόκου για ένα πρόβλημα ελαχιστοποίησης στον χώρο των τριών διαστάσεων: (α) αρχικό σχήμα, (β) ανάκλαση της χειρότερης κορυφής x n + 1 περί το κεντροειδές των υπόλοιπων κορυφών του απλόκου (γ) επέκταση κατά μήκος της διεύθυνσης ανάκλασης, (δ) εσωτερική συμπίεση, και (ε) συρρίκνωση γύρω από την καλύτερη κορυφή x 1. Ως κριτήρια τερματισμού του αλγορίθμου μπορούν να τεθούν η ελάχιστη σχετική μεταβολή της συνάρτησης σε κάθε επαναληπτικό κύκλο, ο ελάχιστος όγκος του απλόκου, η ελάχιστη μετατόπιση του σχήματος ή ο μέγιστος αριθμός επαναλήψεων (Press et al., 1992). 17

36 Ορισμένα χαρακτηριστικά της μεθόδου Nelder-Mead είναι (βλέπε και Wright, 1996): Το άπλοκο προσαρμόζει το σχήμα του στο ανάγλυφο της επιφάνειας απόκρισης της συνάρτησης. Σε περίπτωση έντονης μεταβολής του αναγλύφου, συγκλίνει γρήγορα προς το κοντινότερο σημείο ελαχίστου, ενώ αντίθετα κινείται πολύ αργά αν το ανάγλυφο είναι σχεδόν επίπεδο. Σε κάθε επαναληπτικό κύκλο, εκτός και αν πραγματοποιηθεί πολλαπλή συμπίεση του απλόκου, η κορυφή στην οποία αντιστοιχεί η χειρότερη τιμή της συνάρτησης αντικαθίσταται από μία καλύτερη, κάτι που εγγυάται τη σταδιακή του μετάβαση προς κάποιο τοπικό ακρότατο. Στη μέθοδο Nelder-Mead, το πλήθος των δοκιμών, δηλαδή των υπολογισμών της τιμής της αντικειμενικής συνάρτησης, είναι το μικρότερο σε σχέση με τις περισσότερες τεχνικές βελτιστοποίησης. Συγκεκριμένα, σε κάθε επανάληψη γεννώνται είτε ένα είτε δύο είτε n + 2 σημεία, ανάλογα με τα αν ο αλγόριθμος σταματά στο βήμα ανάκλασης, στο βήμα επέκτασης (ή συμπίεσης) ή στο βήμα συρρίκνωσης, αντίστοιχα. Το σχήμα κάθε νέου απλόκου εξαρτάται από τις συντεταγμένες των κορυφών του προηγούμενου σχήματος και τη σχετική διάταξη των τιμών της συνάρτησης και όχι τις ίδιες τις τιμές. Βάσει των βιβλιογραφικών αναφορών, για ένα ευρύ φάσμα προβλημάτων η μέθοδος Nelder-Mead έχει αποδειχθεί πολύ ταχύτερη από οποιαδήποτε άλλη τεχνική άμεσης αναζήτησης (Torczon, 1991 Wright, 1996 Lewis et al., 2000). Οι Press et al. (1992) τη θεωρούν ως την προσφορότερη τεχνική επίλυσης προβλημάτων με σχετικά μικρό πλήθος παραμέτρων. Έχει ωστόσο αναφερθεί ένας όχι αμελητέος αριθμός εφαρμογών στις οποίες η μέθοδος έχει αποδειχθεί εξαιρετικά αναποτελεσματική. Στην πραγματικότητα, δεν υπάρχει δυνατότητα θεωρητικής τεκμηρίωσης της σύγκλισης του αλγορίθμου. Ο λόγος είναι ότι σε κάθε επανάληψη η αναζήτηση πραγματοποιείται σε μία αντί για n γραμμικά ανεξάρτητες διευθύνσεις. Η Torczon (1991) προτείνει μια παραλλαγή του αλγορίθμου Nelder-Mead, η οποία βασίζεται στην έννοια του απλόκου και αποδεικνύεται ότι συγκλίνει σε όλες τις περιπτώσεις. Η μέθοδος καλείται πολυδιάστατη αναζήτηση (multidirectional search). Σε κάθε επανάληψη εκτελούνται τριών ειδών κινήσεις, η περιστροφή, η επέκταση και η συμπίεση, διατηρώντας τις γωνίες του απλόκου αναλλοίωτες (Σχήμα 2.9). Με τον τρόπο αυτό παράγεται ένα πλέγμα, η αναζήτηση στο οποίο συγκλίνει εξ ορισμού σε κάποιο τοπικό ακρότατο της αντικειμενικής συνάρτησης (βλ ). 18

37 x 3 x 3 x 3 e 3 r 2 e 2 x 2 x 2 x 2 x 1 x 1 x 1 e 2 r 3 Σχήμα 2.9: Γραφική απεικόνιση των τριών δυνατών κινήσεων του απλόκου (περιστροφή, επέκταση και συμπίεση) στον χώρο των δύο διαστάσεων, με βάση τη μέθοδο της πολυδιάστατης αναζήτησης. Το αρχικό άπλοκο, το οποίο απεικονίζεται με διακεκομμένη γραμμή, ορίζεται από την τριάδα σημείων (x 1, x 2, x 3 ), όπου η κορυφή x 1 αντιστοιχεί στην καλύτερη τιμή της αντικειμενικής συνάρτησης. e Μέθοδοι μεταβλητών διευθύνσεων αναζήτησης Στην κατηγορία αυτή εντάσσονται μέθοδοι που επιταχύνουν τη διαδικασία βελτιστοποίησης, αναπροσαρμόζοντας τις διευθύνσεις αναζήτησης με βάση τις γεωμετρικές ιδιότητες της επιφάνειας απόκρισης. Η πλέον γνωστή από αυτές είναι η μέθοδος περιστρεφόμενων διευθύνσεων (rotating directions), η οποία προτάθηκε από τον Rosenbrock (1960). Η μέθοδος βασίζεται στη στρατηγική των μεθόδων πιο απότομης κατάβασης και συζυγών κλίσεων, χωρίς ωστόσο να απαιτεί υπολογισμό των παραγώγων της συνάρτησης. Θεωρώντας γνωστό το σημείο εκκίνησης Ρ [k] σε κάθε βήμα k, ο αλγόριθμος αναζητά τη βέλτιστη τιμή της συνάρτησης σε κάθε μία από n ορθογώνιες διευθύνσεις ξ 1 [k], ξ 2 [k],..., ξ n [k]. Η διαδικασία αυτή συνίσταται στην εύρεση των μεγεθών d i [k] που ελαχιστοποιούν τη συνάρτηση f(p [k] + d i [k] ξ i [k] ) σε κάθε διεύθυνση ξ i [k]. Η θέση του επόμενου σημείου Ρ [k + 1] προκύπτει ως το διανυσματικό άθροισμα: n Ρ [k + 1] = Ρ [k] [k] + d i ξi [k] (2.51) Στην επόμενη επανάληψη, αντί να συνεχιστεί η αναζήτηση με το ίδιο σύνολο διευθύνσεων ξ i, κατασκευάζεται ένα νέο σύνολο ορθογώνιων διευθύνσεων, οι οποίες ορίζονται ως: [k + ξ 1] i = Β i Β i = Β i T (2.52) Β i Β i όπου Β i ορθογώνια διανύσματα που υπολογίζονται με εφαρμογή της αναδρομικής σχέσης (ορθογωνοποίηση Gram-Schmidt): i = 1 όπου: i 1 Β i = Α i (A T [k + i ξ 1] [k + 1] j ) ξ j j = 1 n [k] [k] A i = d j ξ j j = i (2.53) (2.54) 19

38 Με βάση την παραπάνω τεχνική, το διάνυσμα ξ 1 κείται κατά μήκος της διεύθυνσης της πιο γρήγορης προόδου, το ξ 2 κείται κατά μήκος της καλύτερης διεύθυνσης που μπορεί να βρεθεί κάθετα στην ξ 1 [0] κλπ. Οι αρχικές διευθύνσεις ξ i είναι παράλληλες στους άξονες συντεταγμένων. Ο αλγόριθμος διακόπτεται όταν το μήκος d του διανύσματος Α 1 γίνει μικρότερο από κάποια αποδεκτή τιμή T σύγκλισης (d = Α 1 Α 1 ). 2.4 Τυπικά μειονεκτήματα μεθόδων τοπικής αναζήτησης Οι αλγόριθμοι τοπικής αναζήτησης, είτε έμμεσης είτε άμεσης, συγκλίνουν σε ένα μοναδικό ολικό βέλτιστο εφόσον ικανοποιείται, έστω και προσεγγιστικά, το κριτήριο κυρτότητας, δηλαδή η αντικειμενική συνάρτηση και οι παράγωγοί της είναι συνεχείς και η επιφάνεια απόκρισης είναι σχεδόν τετραγωνικής μορφής, τουλάχιστον στην περιοχή του ακροτάτου. Στην περίπτωση αυτή, η επιφάνεια απόκρισης έχει ομαλό ανάγλυφο και σχήμα "σεντονιού". Αντίθετα, οι μη κυρτές συναρτήσεις παρουσιάζουν επιφάνειες απόκρισης με τα ακόλουθα χαρακτηριστικά (Johnston and Pilgrim, 1976 Hendrickson et al., 1988 Duan at al., 1992): ύπαρξη πολλών περιοχών έλξης στις οποίες μπορεί να συγκλίνει ένας αλγόριθμος τοπικής αναζήτησης (ακρότατα μεγάλης κλίμακας) συγκέντρωση μεγάλου πλήθους τοπικών ακροτάτων (στάσιμων σημείων) στην ίδια περιοχή, τόσο σε κοντινή όσο και σε μακρινή απόσταση από το ολικό βέλτιστο (ακρότατα μικρής κλίμακας) τραχύ ανάγλυφο και ασυνέχεια ως προς τις παραγώγους μακρόστενες κοιλάδες ή αυχένες (σημεία σέλας), που οφείλονται στην αλληλεπίδραση των παραμέτρων. Με εξαίρεση έναν περιορισμένο αριθμό εξειδικευμένων εφαρμογών, δεν μπορεί να ελεγχθεί το κριτήριο κυρτότητας, αφού αυτό προϋποθέτει την επίλυση των πολύπλοκων εξισώσεων Kuhn-Tucker. Κατά συνέπεια, δεν μπορεί να είναι εκ των προτέρων γνωστό αν ένα πρόβλημα βελτιστοποίησης έχει ένα ή περισσότερα ακρότατα και πόσα είναι αυτά, και καμία μέθοδος τοπικής αναζήτησης δεν μπορεί να εγγυηθεί στατιστική τουλάχιστον σύγκλιση στο ολικό βέλτιστο. Επιπλέον, σε αρκετές περιπτώσεις, εξαιτίας της μορφής της αντικειμενικής συνάρτησης ή του μεγάλου πλήθους μεταβλητών ελέγχου, ο αναλυτικός υπολογισμός των παραγώγων δεν είναι εφικτός. Η απουσία αναλυτικής έκφρασης αποκλείει τη χρήση των μεθόδων κλίσης, εκτός και αν χρησιμοποιείται αριθμητική εκτίμηση. Ο αριθμητικός υπολογισμός των μερικών παραγώγων, με εφαρμογή σχημάτων πεπερασμένων διαφορών, συνεπάγεται υψηλό υπολογιστικό φόρτο, εξαιτίας της ακρίβειας που απαιτείται για τη διακριτοποίηση, κυρίως στη γειτονιά του ακροτάτου (η οποία προφανώς δεν μπορεί να προσδιοριστεί εκ των προτέρων). Από την άλλη πλευρά, μπορεί να προκύψουν σφάλματα εξαιτίας της ύπαρξης ασυνεχειών στην επιφάνεια απόκρισης της συνάρτησης, συνηθέστερη αιτία των οποίων είναι η ύπαρξη περιορισμών τύπου κατωφλίου (threshold). Επιπλέον, η ενσωμάτωση όρων ποινής στην αντικειμενική συνάρτηση έχει ως αποτέλεσμα την έντονη παραμόρφωση της επιφάνειας απόκρισης, διαμορφώνοντας ανάγλυφο που χαρακτηρίζεται από ελάχιστα ομαλή γεωμετρία (βλ. Σχήμα 2.3). Στην περίπτωση αυτή, ακόμα και στη γειτονιά του ακροτάτου, η συνάρτηση δεν παρουσιάζει τετραγωνική (όπως υποθέτουν οι μέθοδοι κλίσης) αλλά σχεδόν τυχαία συμπεριφορά. Στα πιο σύνθετα προβλήματα δεν διατίθεται αναλυτική έκφραση για την αντικειμενική συνάρτηση, καθώς η τιμή της μπορεί να υπολογίζεται μέσω προσομοίωσης. Κατά κανόνα, η διαδικασία της προσομοίωσης είναι εξαιρετικά πιο χρονοβόρα σε σχέση με την αναλυτική εκτίμηση, καθιστώντας μη πρακτική της εφαρμογή μεθόδων οι οποίες απαιτούν υπερβολικά μεγάλο αριθμό δοκιμών. 20

39 Το κοινό χαρακτηριστικό των μεθοδολογιών που εξετάστηκαν είναι η χρήση προσδιοριστικών κανόνων μετάβασης από μια υφιστάμενη λύση στην επόμενή της. Εφόσον ο αλγόριθμος ξεκινήσει από δεδομένο σημείο, τότε θα καταλήξει πάντοτε σε συγκεκριμένο τελικό σημείο, ακολουθώντας την ίδια πορεία και επιτυγχάνοντας σταδιακή βελτίωση της υφιστάμενης λύσης σε κάθε βήμα. Αυτό έχει ως αποτέλεσμα την εγγυημένη σύγκλιση προς το κοντινότερο ως προς τη θέση εκκίνησης ακρότατο, αλλά δεν προσφέρει καμία δυνατότητα διαφυγής από αυτό. Κατά συνέπεια, αν και οι περισσότερες τεχνικές τοπικής αναζήτησης χαρακτηρίζονται από ταχύτητα και ακρίβεια, δεν είναι καθόλου ευέλικτες, γεγονός που τις καθιστά ακατάλληλες για τον χειρισμό συναρτήσεων με πολλά τοπικά ακρότατα. Με βάση τα παραπάνω, κάθε αποτελεσματικός αλγόριθμος ολικής βελτιστοποίησης πρέπει να διαθέτει τα ακόλουθα χαρακτηριστικά: να μην προϋποθέτει την ισχύ των κριτηρίων συνέχειας και διαφορισιμότητας να μην απαιτεί την ύπαρξη αναλυτικής έκφρασης τόσο ως προς την αντικειμενική συνάρτηση όσο και ως προς τις παραγώγους της να διερευνά το σύνολο και όχι μεμονωμένες περιοχές του εφικτού χώρο, χωρίς ωστόσο να απαιτεί υπερβολικά μεγάλο αριθμό δοκιμών να μπορεί να πραγματοποιεί βήματα τα οποία δεν είναι βέλτιστα, έτσι ώστε να μην εγκλωβίζεται σε περιοχές τοπικών ακροτάτων να εγγυάται τη στατιστική σύγκλιση προς το σημείο ολικού βελτίστου, χρησιμοποιώντας πιθανοτικά και όχι αυστηρά προσδιοριστικά κριτήρια να μπορεί να χειρίζεται αποτελεσματικά προβλήματα με πολλές μεταβλητές ελέγχου. 21

40 3 Βιβλιογραφική επισκόπηση τεχνικών αναζήτησης ολικού βελτίστου 3.1 Προσδιοριστικές μέθοδοι συστηματικής αναζήτησης Η πλέον καθαρά προσδιοριστική προσέγγιση του προβλήματος αναζήτησης του ολικού βελτίστου μη γραμμικής συνάρτησης είναι η απαρίθμηση προεπιλεγμένων λύσεων και η επιλογή της καλύτερης εξ αυτών ως εκτιμήτριας του βελτίστου. Η γνωστότερη προσδιοριστική τεχνική είναι η συστηματική αναζήτηση πάνω σε πλέγμα (exhaustive gridding), βάσει της οποίας το πεδίο τιμών των παραμέτρων διακριτοποιείται διαμορφώνοντας έναν κάνναβο, σε κάθε κόμβο του οποίου υπολογίζεται η τιμή της αντικειμενικής συνάρτησης (Loucks et al., 1981). Ο αριθμός των κόμβων του πλέγματος αυξάνει εκθετικά με τον αριθμό των μεταβλητών ελέγχου, σύμφωνα με την εξίσωση: n Ν = (δ i + 1) (3.1) i = 1 όπου δ i το πλήθος των ίσων διαστημάτων σε κάθε διεύθυνση i. Εφόσον η διακριτοποίηση είναι ομοιόμορφη, η σχέση (3.2) γράφεται: N = (δ + 1) n (3.2) Για τη μείωση του υπολογιστικού φόρτου και βελτίωση της ακρίβειας της μεθόδου, μπορεί να εφαρμοστεί η τεχνική των επάλληλων πλεγμάτων (Nalbantis and Koutsoyianis, 1997), η οποία συνίσταται στην αδρή διακριτοποίηση του αρχικού πλέγματος και στη διαδοχική πύκνωσή του γύρω από την περιοχή του εκάστοτε βελτίστου (Σχήμα 3.1). x r Αρχική προσέγγιση βέλτιστης λύσης x 1 Σχήμα 3.1: Απεικόνιση της μεθόδου αναζήτησης σε διδιάστατο ομοιόμορφο πλέγμα, με πύκνωση γύρω από την αρχική βέλτιστη λύση. 22

41 3.2 Στοχαστικές μέθοδοι βελτιστοποίησης Οι στοχαστικές μέθοδοι, γνωστές και ως τεχνικές Monte Carlo 1, παρέχουν προσεγγιστικές λύσεις σε πολλές κατηγορίες δύσκολων μαθηματικών προβλημάτων για τα οποία δεν υπάρχει αναλυτική λύση, μέσω στατιστικής δειγματοληψίας που πραγματοποιεί ο ηλεκτρονικός υπολογιστής (Ripley, 1987). Οι τεχνικές Monte Carlo εφαρμόζονται και σε μη γραμμικά προβλήματα βελτιστοποίησης, τόσο προσδιοριστικής όσο και στοχαστικής δομής, εγγυώμενες στατιστική σύγκλιση στο ολικό ακρότατο. Είναι γνωστό ότι στις μεθόδους απαρίθμησης (π.χ. προσδιοριστικές τεχνικές αναζήτησης σε πλέγμα) το πλήθος των σημείων δειγματοληψίας Ν αυξάνει εκθετικά με τη διάσταση του προβλήματος. Από την άλλη πλευρά, και υπό την προϋπόθεση κυρτής αντικειμενικής συνάρτησης, η μέθοδος συζυγών κλίσεων εντοπίζει το ολικό ακρότατο σε n ακριβώς δοκιμές. Οι στοχαστικές μέθοδοι βελτιστοποίησης ανήκουν στην ενδιάμεση κατηγορία και χαρακτηρίζονται από ταχύτητες σύγκλισης που κυμαίνονται μεταξύ της γραμμικής και της εκθετικής (Pardalos et al., 2000). Στη βιβλιογραφία αναφέρεται ένα ευρύ φάσμα αλγορίθμων στοχαστικής βελτιστοποίησης, η ομαδοποίηση των οποίων δεν είναι ενιαία. Στην παρούσα εργασία οι μέθοδοι αυτές κατατάσσονται συμβατικά σε τρεις μεγάλες κατηγορίες: τεχνικές τυχαίας αναζήτησης (random search) τεχνικές προσαρμοστικής αναζήτησης (adaptive search) μέθοδοι δύο φάσεων (two-phase) Τεχνικές τυχαίας αναζήτησης Η μέθοδος τυχαίας δειγματοληψίας (random sampling) είναι στοιχειώδης πιθανοτική προσέγγιση του προβλήματος αναζήτησης του ολικού ακροτάτου συνάρτησης. Ένας προκαθορισμένος αριθμός Ν σημείων x 1, x 2,, x Ν από τον χώρο των εφικτών λύσεων γεννάται με βάση μια κατανομή πιθανοτήτων, και το σημείο με την καλύτερη τιμή της συνάρτησης λαμβάνεται ως η εκτιμήτρια του ολικού βελτίστου. Αποδεικνύεται ότι η γεννήτρια τυχαίων σημείων μπορεί να προέρχεται από οποιαδήποτε κατανομή πιθανοτήτων (Rubinstein, 1986), παρόλο που η κατανομή που σχεδόν αποκλειστικά χρησιμοποιείται είναι η ομοιόμορφη 2. Παρά την απλότητά της, η τυχαία δειγματοληψία εγγυάται στατιστική σύγκλιση στο ολικό ακρότατο. Έστω D * ένα υποσύνολο του εφικτού χώρου D, εντός του οποίου βρίσκεται το ολικό ακρότατο. Η αξιοπιστία της μεθόδου, δηλαδή η πιθανότητα ένα τουλάχιστον σημείο του δείγματος {x 1, x 2,, x Ν } να ανήκει στο D *, δίνεται από τη σχέση (Rubinstein, 1986 Niederreiter, 1992): P(D *, m) = 1 1 m(d* ) (3.3) m(d) όπου m(α) το μέτρο Lebesgue ενός συνόλου Α, το οποίο είναι κατά κάποιο τρόπο αντίστοιχο του όγκου του Α. Με άλλα λόγια ο λόγος: α = m(d* ) m(d) Ν (3.4) 1 Στις μεθόδους αυτές δόθηκε η ονομασία της διάσημης για το καζίνο της πρωτεύουσας του Μονακό λόγω της ρουλέτας, που είναι μια στοιχειώδης γεννήτρια τυχαίων αριθμών. Οι μέθοδοι Monte Carlo χρησιμοποιήθηκαν αρχικά από τους von Neumann και Ulam με στόχο τη στοχαστική προσομοίωση των διεργασιών διάσπασης των νετρονίων, στα πλαίσια του περίφημου σχεδίου Manhattan. Περισσότερες και ενδιαφέρουσες πληροφορίες δίνονται στην ηλεκτρονική διεύθυνση 2 Ο προφανής λόγος είναι ότι ρουτίνες γέννησης ομοιόμορφων τυχαίων αριθμών υπάρχουν ενσωματωμένες σε όλες τις γλώσσες προγραμματισμού. 23

42 εκφράζει το ποσοστό του χώρου που καταλαμβάνει το πεδίο D * μέσα στον εφικτό χώρο D, οπότε η ποσότητα α = (1 α) εκφράζει την ακρίβεια εντοπισμού του ολικού ακροτάτου. Κατά συνέπεια, εφόσον α 0, το ολικό ακρότατο εντοπίζεται με 100% ακρίβεια. Για δεδομένες τιμές αξιοπιστίας και ακρίβειας, το πλήθος των απαιτούμενων σημείων δειγματοληψίας δίνεται από τη σχέση: Ν = ln (1 P) ln (1 α) Για παράδειγμα, για Ρ = 99% και α = 1%, το πλήθος Ν είναι ίσο με 458, ενώ για Ρ = 99.9% και α = 0.1%, το Ν είναι ίσο με Η τυχαία δειγματοληψία παρουσιάζει το πλεονέκτημα ότι είναι εντελώς αμερόληπτη ως προς τον τρόπο επιλογής των σημείων ελέγχου, οπότε έχει τη δυνατότητα να εντοπίζει ολικά βέλτιστες λύσεις σε περιοχές που μπορεί να απορρίπτονται με καθαρά προσδιοριστικά κριτήρια (Pierre, 1986). Ένα σημαντικό πλεονέκτημά της σε σχέση με την αναζήτηση σε ομοιόμορφο πλέγμα είναι ότι το πλήθος των σημείων δειγματοληψίας που απαιτείται για την επίτευξη μιας συγκεκριμένης ακρίβειας είναι ανεξάρτητο της διάστασης του προβλήματος. Αποδεικνύεται μάλιστα ότι αν η τιμή της διάστασης είναι μεγαλύτερη από n = 6, τότε η τυχαία δειγματοληψία είναι οικονομικότερη σε σχέση με την αναζήτηση σε πλέγμα (Rinnoy Kan and Timmer, 1987). Πράγματι, στη μέθοδο ομοιόμορφου πλέγματος ένα μέτρο της ακρίβειας α είναι η ποσότητα: (3.5) α = 1 1 / δ (3.6) όπου δ η πυκνότητα ανάλυσης του πλέγματος (δηλαδή το πλήθος των ισομηκών διαστημάτων σε κάθε διάσταση). Κατά συνέπεια, η σχέση (3.2) μπορεί να γραφεί στην ισοδύναμη μορφή: N = (1 / α + 1) n (3.7) Δηλαδή, για δεδομένο επίπεδο ακρίβειας α, στη μεν μέθοδο ομοιόμορφου πλέγματος το πλήθος Ν αυξάνει εκθετικά με τη διάσταση του προβλήματος, στη δε μέθοδο τυχαίας δειγματοληψίας το Ν αυξάνει λογαριθμικά με την πιθανότητα εντοπισμού του ολικού ακροτάτου. Είναι προφανές ότι στη μέθοδο πλέγματος δεν υπάρχει η έννοια της πιθανότητας, καθώς η αναζήτηση είναι πλήρως προσδιοριστική (οι θέσεις των κόμβων, άρα και των σημείων δειγματοληψίας, είναι δεδομένες). Γενικά, οι μέθοδοι τυχαίας όπως και συστηματικής δειγματοληψίας είναι ιδιαίτερα χρονοβόρες και δεν αξιοποιούν καθόλου τις πληροφορίες που λαμβάνουν σε σχέση με τις ιδιότητες της αντικειμενικής συνάρτησης. Ωστόσο, μπορούν να χαρακτηριστούν σχετικά αποτελεσματικές κάτω από τις ακόλουθες προϋποθέσεις: το πεδίο ορισμού των μεταβλητών ελέγχου είναι άνω και κάτω φραγμένο (ή φράσσεται βάσει εμπειρικών κριτηρίων), οπότε έχει νόημα ο ορισμός πεπερασμένου πλέγματος η αντικειμενική συνάρτηση παρουσιάζει μικρή ευαισθησία σε σχετικά μεγάλες μεταβολές των μεταβλητών της, οπότε δεν απαιτείται μεγάλη πύκνωση του πλέγματος ο χρόνος υπολογισμού της τιμής της συνάρτησης είναι σχετικά μικρός, οπότε το πλήθος των σημείων δειγματοληψίας δεν αποτελεί περιοριστικό παράγοντα Τεχνικές προσαρμοστικής αναζήτησης Στην κατηγορία αυτή ανήκει ένα πλήθος αλγορίθμων οι οποίοι δεν βασίζονται μόνο σε τυχαίους κανόνες αλλά χρησιμοποιούν και πληροφορίες που αποκτούν κατά τη διερεύνηση του εφικτού χώρου, οπότε τα βήματα δεν είναι εντελώς τυχαία αλλά "προσαρμόζονται" στις εκάστοτε συνθήκες. Για το λόγο αυτό οι τεχνικές αυτές, για τις οποίες ο Rubinstein (1986) κάνει εκτεταμένη βιβλιογραφική ανασκόπηση, καλούνται προσαρμοστικές (adaptive). Σε αντίθεση με τις μεθόδους συστηματικής 24

43 δειγματοληψίας, ο θεωρητικός χρόνος σύγκλισης των προσαρμοστικών μεθόδων είναι γραμμική και όχι εκθετική συνάρτηση της διάστασης του προβλήματος (Pardalos et al., 2000). Η γενική στρατηγική οποιασδήποτε προσαρμοστικής μεθόδου βασίζεται στην παραγωγή τυχαίας διαταραχής y [k] σε κάθε επανάληψη k, η οποία γίνεται αποδεκτή εφόσον βελτιώνει την τιμή της αντικειμενικής συνάρτησης, δηλαδή: x [k + 1] = x [k] + y [k] αν f(x [k] + y [k] ) < f(x [k] ) (3.8) x [k] διαφορετικά Αν δεν βρεθεί καλύτερη λύση, τότε ο αλγόριθμος επαναλαμβάνεται με διαφορετικό y. Ο αλγόριθμος συγκλίνει στο ολικό ακρότατο του χώρου πολιτικής διότι, ακόμη και αν βρει ένα χειρότερο τοπικό ακρότατο, υπάρχει πάντοτε μη μηδενική πιθανότητα να διαφύγει και να βρεθεί στην περιοχή του ολικού ακροτάτου (Baba et al., 1977). Στο Σχήμα 3.2 απεικονίζεται μια τυχαία συνάρτηση f(x), η οποία έχει δύο σημεία ελαχίστου x 1, x 2 τέτοια ώστε f(x 2 ) < f(x 1 ). Έστω ότι στο τρέχον βήμα έχει εντοπιστεί το τοπικό ελάχιστο x 1, γύρω από το οποίο παράγεται η διαταραχή y από μια γεννήτρια τυχαίων αριθμών g Y (y). Η πιθανότητα διαφυγής από το τοπικό ελάχιστο και η μετάβαση στην περιοχή του ολικού ελαχίστου ισούται με το εμβαδόν του γραμμοσκιασμένου τμήματος [a, b], δηλαδή: P[f(x + y) < f(x)] = G Υ (b x 1 ) G Υ (a x 1 ) (3.9) όπου G Υ (y) η συνάρτηση κατανομής της g Y (y). Είναι φανερό ότι όσο πιο απομακρυσμένο είναι το ολικό ακρότατο από τα υπόλοιπα τοπικά ακρότατα και ταυτόχρονα όσο μικρότερη είναι η διασπορά της διαταραχής, τόσο λιγότερο αποτελεσματικός είναι ο αλγόριθμος. f(x) g Y (y) x 1 a x 2 b Σχήμα 3.2: Παράδειγμα εφαρμογής μιας στοιχειώδους μεθόδου προσαρμοστικής αναζήτησης σε μια συνάρτηση μιας μεταβλητής f(x). Το εμβαδόν του τμήματος [a, b] αποτελεί μέτρο της πιθανότητας διαφυγής από το τοπικό ελάχιστο x 1 και μετάβασης στην περιοχή του ολικού ελαχίστου x 2. Η κατανομή πιθανοτήτων από την οποία παράγονται οι διαταραχές y [k] καθώς και οι παράμετροι της κατανομής επιλέγονται με βάση τις στατιστικές ιδιότητες του χώρου λύσεων, έπειτα από ανάλυση του δείγματος των f(x). Συνήθως χρησιμοποιείται η κανονική κατανομή, με μέση τιμή μηδέν και διασπορά η οποία προκύπτει μετά από δοκιμές. Όταν το τρέχον σημείο βρίσκεται μακριά από το ολικό ακρότατο, τότε απαιτείται μεγάλη τιμή διασποράς για την επαρκή διερεύνηση του εφικτού χώρου. Αντίθετα, αν τα δυο σημεία είναι κοντά, είναι προτιμότερες μικρές τιμές διασποράς, έτσι ώστε να εξασφαλίζεται λεπτομερέστερη διερεύνηση γύρω από την περιοχή του ακροτάτου (Solomatine, 1995). 25

44 Οι τεχνικές προσαρμοστικής δειγματοληψίας μπορούν να διαχωριστούν σε δύο κατηγορίες: μέθοδοι προσαρμοστικής τυχαίας αναζήτησης (adaptive random search) μέθοδοι ελεγχόμενης τυχαίας αναζήτησης (controlled random search). Οι τεχνικές αυτές αναλύονται στη συνέχεια του εδαφίου. Μέθοδοι προσαρμοστικής τυχαίας αναζήτησης Οι μέθοδοι προσαρμοστικής τυχαίας αναζήτησης αποσκοπούν στην τεχνητή μείωση της διασποράς του δείγματος των τυχαίων λύσεων που παράγονται. Κατά κανόνα, οι μέθοδοι αυτές προϋποθέτουν πεπερασμένο εύρος του χώρου μέσα στον οποίον πραγματοποιείται η αναζήτηση. Μια γνωστή στρατηγική, την οποία ανέπτυξαν οι Pronzato et al. (1984), περιλαμβάνει τα ακόλουθα βήματα: Βήμα 1ο: Επιλέγεται ένα εστιακό σημείο, το οποίο μπορεί να είναι είτε το βέλτιστο που έχει εντοπιστεί μετά από μια προκαταρκτική διερεύνηση ή κάποιο αυθαίρετο σημείο, όπως το κεντροειδές του εφικτού χώρου. Βήμα 2ο: Ένα σύνολο m τυχαία κατανεμημένων σημείων παράγονται μέσα στον εφικτό χώρο και εντοπίζεται αυτό με την καλύτερη τιμή της αντικειμενικής συνάρτησης. Βήμα 3ο: Επαναλαμβάνεται το βήμα 2 και σε κάθε επανάληψη k το εύρος του χώρου αναζήτησης γύρω από το εστιακό σημείο μειώνεται κατά 10 k. Βήμα 4ο: Συγκρίνονται οι βέλτιστες λύσεις που έχουν εντοπιστεί ως τότε και η καλύτερη εξ αυτών επιλέγεται ως το νέο εστιακό σημείο. Βήμα 5ο: Επαναλαμβάνονται τα βήματα 2-4 ώσπου το βέλτιστο κάθε φορά σημείο να βρεθεί τουλάχιστον λ φορές μέσα στο ελάχιστο εύρος αναζήτησης. Σύμφωνα με τις βιβλιογραφικές αναφορές, η στρατηγική αυτή στην πράξη λειτουργεί αρκετά καλά, μειονεκτεί ωστόσο ως προς την ταχύτητα σύγκλισης (Duan et al., 1992). Έχει αποδειχθεί ότι η χρήση μικρών τιμών της παραμέτρου m βελτιώνει την ακρίβεια της σύγκλισης. Μέθοδοι ελεγχόμενης τυχαίας αναζήτησης Άλλος τρόπος κατασκευής των διαταραχών y [k] είναι μέσω συνδυασμού υφιστάμενων λύσεων, τυχαία επιλεγμένων από το δείγμα των x [k]. Ο πρώτος (και ευρύτατα διαδεδομένος) αλγόριθμος ελεγχόμενης τυχαίας αναζήτησης προτάθηκε από τον Price (1965, 1987) σε διάφορες παραλλαγές και περιλαμβάνει τα παρακάτω βήματα: Βήμα 1ο: Τίθεται k = 1 και γεννάται ένας αρχικός πληθυσμός m σημείων (m > n), ομοιόμορφα κατανεμημένων μέσα στον εφικτό χώρο D. Βήμα 2ο: Σε κάθε επανάληψη k εντοπίζονται το καλύτερο x [k] min και το χειρότερο x [k] max σημείο του τρέχοντος πληθυσμού Α [k] [k]. Εφόσον η διαφορά f min f [k] max είναι μικρότερη από κάποια επιτρεπόμενη ανοχή ε > 0 θεωρείται ότι επέρχεται σύγκλιση και ο αλγόριθμος διακόπτεται. Βήμα 3ο: Διαμορφώνεται ένα άπλοκο από n + 1 τυχαία επιλεγμένα σημεία x 0 [k], x 1 [k],, x n [k] του Α [k] και υπολογίζεται το κεντροειδές g [k] των x 1 [k],, x n [k], δηλαδή: g [k] = 1 n n [k] x j j = 1 Βήμα 4ο: Γεννάται ένα νέο σημείο, με εφαρμογή της εξίσωσης: (3.10) r [k] = x 0 [k] + β (g [k] x 0 [k] ) (3.11) 26

45 όπου β σταθερά. Στον αλγόριθμο του Price η τιμή του β τίθεται ίση με 2 και κατά συνέπεια η σχέση (3.11) ταυτίζεται με την εξίσωση ανάκλασης της μεθόδου Nelder-Mead. Εφόσον το r [k] βρίσκεται εκτός των ορίων του εφικτού χώρου D επαναλαμβάνεται το βήμα 3, διαφορετικά υπολογίζεται η τιμή της αντικειμενικής συνάρτησης f r [k] στο r [k]. Βήμα 5ο: Αν f r [k] < f max [k] τότε το νεό σημείο r [k] αντικαθιστά το x 0 [k] στο Α [k], τίθεται k k + 1 και ο αλγόριθμος μεταβαίνει στο βήμα 2. Διαφορετικά ο πληθυσμός μένει αμετάβλητος και επαναλαμβάνεται το βήμα 3, θέτοντας k k + 1. Η στρατηγική ελεγχόμενης τυχαίας αναζήτησης έχει ως αποτέλεσμα της σταδιακή συρρίκνωση του χώρου αναζήτησης, αφού η διασπορά του πληθυσμού μειώνεται σε κάθε επανάληψη. Ο αλγόριθμος του Price θεωρήθηκε ορόσημο για τη θεμελίωση και εξέλιξη όλων των σύγχρονων μεθόδων στοχαστικής βελτιστοποίησης. Οι Krivy and Tvrdik (1995) εισήγαγαν την έννοια της στοχαστικότητας στο βήμα ανάκλασης της μεθόδου του Price. Συγκεκριμένα, διατύπωσαν την εξίσωση (3.11) στη γενικευμένη μορφή: r [k] = x 0 [k] + r(α, σ) (g [k] x 0 [k] ) (3.12) όπου r(α, σ) τυχαίος αριθμός, με μέση τιμή α και τυπική απόκλιση σ (Σχήμα 3.3). Η χρήση τυχαίου (στοχαστικού) και όχι σταθερού μήκους βήματος ανάκλασης βελτιώνει την ευελιξία του αλγορίθμου, αυξάνοντας της πιθανότητα διαφυγής από τοπικά ακρότατα. X 1 X 0 X r X 2 Σχήμα 3.3: Γέννηση σημείου ανάκλασης βάσει μιας κατανομής πιθανοτήτων, με μέση τιμή α και τυπική απόκλιση σ. Οι Brachetti et al. (1997) πρότειναν ορισμένες βελτιώσεις στον αυθεντικό αλγόριθμο του Price, έτσι ώστε να γίνεται καλύτερη εκμετάλλευση των πληροφοριών που αποκτώνται κατά τη διερεύνηση του εφικτού χώρου. Οι τροποποιήσεις τους αναφέρονται α) στη χρήση σταθμισμένου κεντροειδούς, β) στην εφαρμογή σταθμισμένου βήματος ανάκλασης, και γ) στην προσαρμογή ενός μοντέλου τετραγωνικής προσέγγισης της συνάρτησης. Πιο συγκεκριμένα: Σε κάθε επανάληψη, το κεντροειδές g [k] ορίζεται μέσω της σταθμισμένης συνάρτησης: n g [k] [k] [k] = w j x j j = 1 (3.13) όπου w j [k] συντελεστής βάρους, ο οποίος είναι αντιστρόφως ανάλογος της διαφοράς της τιμής της συνάρτησης f j [k] στο σημείο x j [k] από την τρέχουσα βέλτιστη λύση f min [k]. Το νέο σημείο υπολογίζεται βάσει της εξίσωσης: r [k] = x 0 [k] + β [k] (g [k] x 0 [k] ) (3.14) 27

46 όπου β [k] βαθμωτό μέγεθος (θετικό ή αρνητικό), το οποίο υπολογίζεται από μια σύνθετη συνάρτηση των f g [k], f n + 1 [k], f min [k] και f max [k]. Εφόσον β [k] > 0, το άπλοκο επεκτείνεται προς τη διεύθυνση που ορίζει το διάνυσμα g [k] x 0 [k], ενώ αν β [k] < 0, το άπλοκο συμπιέζεται προς στην αντίθετη κατεύθυνση. Η εξίσωση (3.14) είναι στην ουσία αντίστοιχη της σχέσης (2.31) της μεθόδου πιο απότομης κατάβασης. Για τον περιορισμό του υπολογιστικού φόρτου, η τιμή της συνάρτησης στο κεντροειδές υπολογίζεται έμμεσα, σύμφωνα με τη σχέση: n f [k] [k] [k] g = w j f j j = 1 (3.15) Εφόσον για το σημείο r [k] ισχύει f r [k] < f min [k], μετά το πέρας του βήματος 5 εφαρμόζεται μια τεχνική τετραγωνικής παρεμβολής στα 2n + 1 καλύτερα σημεία του συνόλου Α [k]. Με τον τρόπο αυτό γίνεται πύκνωση (ολοκλήρωση) της σημειακής πληροφορίας που σχετίζεται με τις γεωμετρικές ιδιότητες του εφικτού χώρου. Η εξίσωση παρεμβολής είναι της μορφής: q(x) = 1 2 xt Q x + b T x + c (3.16) όπου Q ένα n n μητρώο παραμέτρων, b ένα n-διάστατο διάνυσμα παραμέτρων και c σταθερά. Αν το Q είναι θετικά ορισμένο, τότε το ελάχιστο της συνάρτησης παρεμβολής είναι το: x q = Q 1 c (3.17) Αν το x q είναι καλύτερο από το τρέχον χειρότερο x max [k], τότε το αντικαθιστά στον πληθυσμό Α [k] Μέθοδοι δύο φάσεων Οι μέθοδοι δύο φάσεων συνίστανται από την ολική φάση (global phase), κατά την οποία υπολογίζεται η τιμή της αντικειμενικής συνάρτησης σε τυχαία επιλεγμένα σημεία του εφικτού χώρου, και την τοπική φάση (local phase), όπου μέσω μιας συστηματικής επεξεργασίας των σημείων αυτών εντοπίζεται το ολικό βέλτιστο (Pardalos et al., 2000). Οι περισσότερες μέθοδοι δύο φάσεων μπορούν να θεωρηθούν ως παραλλαγές της τεχνικής πολλαπλών εκκινήσεων (multistart). Η τεχνική αυτή συνίσταται στην εφαρμογή αλγορίθμων τοπικής βελτιστοποίησης (μέθοδοι κλίσης, Newton, άμεσης αναζήτησης) από πολλαπλές θέσεις εκκίνησης. Σε κάθε δοκιμή εντοπίζεται το αντίστοιχο τοπικό ακρότατο, ενώ μετά το πέρας της διαδικασίας συγκρίνονται οι επιμέρους λύσεις και επιλέγεται η καλύτερη. Έστω D j ένα υποσύνολο του χώρου αναζήτησης D τέτοιο ώστε για οποιοδήποτε σημείο εκκίνησης x j D j ο αλγόριθμος βελτιστοποίησης να συγκλίνει πάντοτε στο ακρότατο του D j. Το υποσύνολο D j καλείται περιοχή έλξης (region of attraction) του j τοπικού ακροτάτου. Υποθέτοντας ότι ο αριθμός των ακροτάτων είναι πεπερασμένος και ότι οι δοκιμές είναι στοχαστικά ανεξάρτητες, η πιθανότητα ένα τουλάχιστον σημείο εκκίνησης να βρίσκεται στην περιοχή έλξης D * του ολικού βελτίστου ισούται με (Rubinstein, 1986): P r = 1 1 m(d* ) m(d) r (3.18) όπου m(d) το μέτρο του χώρου D και r το πλήθος των εκκινήσεων. Ο λόγος P 1 = m(d * )/m(d) εκφράζει την πιθανότητα εύρεσης του ολικού ακροτάτου με μία μόνο δοκιμή. Είναι προφανές ότι όσο μεγαλύτερη είναι η πιθανότητα P 1 τόσο λιγότερες δοκιμές (εκκινήσεις) επαρκούν για τη σύγκλιση. Ωστόσο, παρόλο που απαιτούνται λίγες σχετικά δοκιμές για την επίτευξη ενός ικανοποιητικού επιπέδου αξιοπιστίας P r, η προσέγγιση της λύσης με πολύ μεγάλη ακρίβεια (P r 1) προϋποθέτει υπερβολικά μεγάλο αριθμό εκκινήσεων (Σχήμα 3.4). 28

47 Πιθανότητα εντοπισμού ολικού βελτίστου Ρ(1) = 0.05 Ρ(1) = 0.01 Ρ(1) = Αριθμός εκκινήσεων Σχήμα 3.4: Θεωρητικές καμπύλες σύγκλισης των μεθόδων πολλαπλών εκκινήσεων. Στην ιδανική περίπτωση, σε κάθε εφαρμογή της μεθόδου τοπικής αναζήτησης διερευνάται μία ακριβώς περιοχή έλξης. Με τον τρόπο αυτό εντοπίζονται όλα τα τοπικά ακρότατα της συνάρτησης, και το καλύτερο από αυτά συνιστά την αντικειμενικά ολικά βέλτιστη λύση. Στη γενική της μορφή, η τεχνική πολλαπλών εκκινήσεων περιλαμβάνει τα ακόλουθα βήματα: Βήμα 1ο: Γεννάται ένα σύνολο Α q από q σημεία του εφικτού χώρου, στα οποία υπολογίζεται η τιμή της αντικειμενικής συνάρτησης. Η γέννηση των αρχικών λύσεων γίνεται είτε προσδιοριστικά (π.χ. πάνω στους κόμβους ενός προκαθορισμένου πλέγματος) είτε στοχαστικά (κατά κανόνα βάσει μιας ομοιόμορφης κατανομής πιθανοτήτων). Βήμα 2ο: Γεννάται ένα υποσύνολο Α c του Α q, το οποίο περιέχει τα c πλέον "υποσχόμενα" σημεία εκκίνησης (c q). Βήμα 3ο: Από κάθε σημείο (ή ομάδα σημείων) του Α c ξεκινά η αναζήτηση του ακροτάτου, με κάποια μέθοδο τοπικής βελτιστοποίησης. Βήμα 4ο: Αν δεν πληρείται το κριτήριο τερματισμού, τότε ο αλγόριθμος επιστρέφει στο πρώτο βήμα, διαφορετικά το τοπικό ακρότατο με την καλύτερη ως τώρα τιμή της συνάρτησης επιλέγεται ως η εκτιμήτρια του ολικού βελτίστου. Η επιλογή των πλέον υποσχόμενων σημείων εκκίνησης, η οποία αυξάνει την αποτελεσματικότητα και ταχύτητα της μεθόδου, γίνεται με ποικίλα κριτήρια. Το απλούστερο από αυτά συνίσταται στη διάταξη των λύσεων κατά φθίνουσα σειρά και απομάκρυνση συγκεκριμένου ποσοστού των χειρότερων εξ' αυτών. Μια άλλη τεχνική είναι η ομαδοποίηση (clustering) γειτονικών σημείων τα οποία αναφέρονται στην ίδια περιοχή έλξης, έτσι ώστε να σε κάθε δοκιμή να εντοπίζεται ένα και μόνο ακρότατο. Η εκκίνηση του αλγορίθμου τοπικής αναζήτησης γίνεται συνήθως από το κεντροειδές των σημείων αυτών. Ωστόσο, αν η ομαδοποίηση δεν είναι επιτυχής, τότε είτε δεν εντοπίζονται όλα τα τοπικά ακρότατα είτε εντοπίζονται περισσότερες από μία φορές. Η πρώτη περίπτωση, η οποία καλείται υπερομαδοποίηση (overclustering), οφείλεται στο γεγονός ότι κάθε ομάδα σημείων αναφέρεται σε περισσότερες από μία περιοχές έλξης, ενώ η δεύτερη περίπτωση, η οποία καλείται υπο-ομαδοποίηση (underclustering), οφείλεται στο γεγονός ότι μια περιοχή έλξης αναφέρεται σε περισσότερες από μία ομάδες σημείων εκκίνησης (Solomatine, 1995). 29

48 Ο Solomatine (1999) προτείνει μια ενδιαφέρουσα στρατηγική προσαρμοστικής ομαδοποίησης, τα βήματα της οποίας έχουν ως εξής: Βήμα 1ο: Γεννάται ένας αρχικός πληθυσμός Ν σημείων μέσα στον εφικτό χώρο D. Βήμα 2ο: Επιλέγονται τα p καλύτερα μέλη του πληθυσμού. Βήμα 3ο: Σχηματίζονται q ομάδες γειτονικών σημείων (clusters), έτσι ώστε οι ομάδες να είναι σχετικά απομακρυσμένες μεταξύ τους. Για κάθε ομάδα k προσδιορίζεται η μικρότερη περιοχή του χώρου D η οποία περικλείει όλα τα σημεία της. Βήμα 4ο: Σε κάθε περιοχή k γεννώνται r k τυχαία σημεία και επιλέγονται τα s k καλύτερα εξ αυτών, τα οποία αποτελούν το σύνολο R k. Βήμα 5ο: Μετατοπίζεται η περιοχή k, έτσι ώστε το κέντρο βάρους της να ταυτίζεται με το κέντρο έλξης (center of attraction) του συνόλου R k. Ως κέντρο έλξης μπορεί να θεωρηθεί είτε το κεντροειδές του συνόλου R k είτε το καλύτερο από τα σημεία του. Βήμα 6ο: Το μέγεθος της μετατοπισμένης περιοχής k μειώνεται κατά ποσοστό ν k %. Βήμα 7ο: Ελέγχονται τα κριτήρια τερματισμού και εφόσον δεν ικανοποιούνται, επαναλαμβάνεται η διαδικασία μετατόπισης και συρρίκνωσης κάθε περιοχής. Στο Σχήμα 3.5 απεικονίζεται γραφικά η παραπάνω διαδικασία στον χώρο των δύο διαστάσεων. x 2 Αρχική περιοχή Μετατοπισμένη και συρρικνωμένη περιοχή Σχήμα 3.5: Γραφική παράσταση της στρατηγικής προσαρμοστικής ομαδοποίησης στον χώρο των δύο διαστάσεων. Με κύκλο απεικονίζονται τα σημεία που παράγονται αρχικά, τα καλύτερα των οποίων σχηματίζουν ομάδες. Μέσα στην περιοχή που περικλείει τα σημεία κάθε ομάδας, γεννώνται νέα σημεία, τα οποία απεικονίζονται με τετράγωνα. Η περιοχή μετατοπίζεται έτσι ώστε το κέντρο βάρους της να ταυτίζεται με το κέντρο έλξης των καλύτερων σημείων της και μετά συρρικνώνεται. Μια άλλη κατηγορία μεθόδων δύο φάσεων είναι οι αλγόριθμοι τυχαίας διασύνδεσης (random linkage). Σε κάθε επανάληψη k γεννάται ένα τυχαίο σημείο μέσα στον χώρο των εφικτών λύσεων, από το οποίο ξεκινά ο αλγόριθμος τοπικής αναζήτησης μόνο εφόσον ικανοποιείται κάποιο πιθανοτικό κριτήριο. Συγκεκριμένα, τα βήματα του αλγορίθμου έχουν ως εξής (Pardalos et al., 2000): Βήμα 1ο: Γεννάται το διάνυσμα x [k] μέσω μιας ομοιόμορφης κατανομής πιθανοτήτων. Βήμα 2ο: Το διάνυσμα x [k] επιλέγεται ως σημείο εκκίνησης ενός αλγορίθμου τοπικής αναζήτησης με πιθανότητα P k [δ k (x [k] )], όπου: δ k (x [k] ) = max { x [k] x [j] : j < k και f j < f k } (3.19) x 1 30

49 Η ποσότητα δ k εκφράζει τη μέγιστη ευκλείδεια απόσταση (νόρμα) του υποψήφιου σημείου εκκίνησης σε σχέση με τα προηγούμενα σημεία, για τα οποία η τιμή της αντικειμενικής συνάρτησης είναι μικρότερη από αυτό. Για τη συνάρτηση πιθανότητας αποδοχής ισχύει η συνθήκη P[0] = 0 και P[δ] 1 για κάθε δ >0. Βήμα 3ο: Εφόσον δεν ικανοποιείται κάποιο κριτήριο τερματισμού, τίθεται k = k + 1 και ο αλγόριθμος επιστρέφει στο πρώτο βήμα. Παραλλαγή των παραπάνω είναι οι αλγόριθμοι απλής διασύνδεσης (simple linkage), οι οποίοι έχουν προταθεί από τους Locatelli and Schoen (Shoen, 1999). Η διαφοροποίησή τους έγκειται στο γεγονός ότι το κριτήριο αποδοχής ενός σημείου εκκίνησης δεν είναι πιθανοτικό αλλά προσδιοριστικό. Συγκεκριμένα, ένα σημείο x [k] δεν γίνεται αποδεκτό αν εντός της υπερσφαίρας με κέντρο το x [k] και ακτίνα r k υπάρχουν προηγούμενα σημεία εκκίνησης στα οποία η διαφορά ως προς την τιμή της αντικειμενικής συνάρτησης είναι μικρότερη από μια θετική ποσότητα ε, δηλαδή: j < k: { x [k] x [j] r k : f j < f k + ε} (3.20) Η ακτίνα r k υπολογίζεται βάσει ειδικής συνάρτησης, η οποία είναι μονότονα φθίνουσα ως προς k. Αποδεικνύεται ότι η καλύτερη λύση που εντοπίζεται με τον τρόπο αυτό συγκλίνει με πιθανότητα 100% στο ολικό ακρότατο της συνάρτησης και μάλιστα μετά από πεπερασμένο αριθμό επαναλήψεων. Σε αντίθεση με τις μεθόδους πολλαπλών εκκινήσεων, οι αλγόριθμοι τυχαίας διασύνδεσης δεν εξασφαλίζουν στατιστική σύγκλιση στο σύνολο των τοπικών ακροτάτων μιας συνάρτησης. Στην πραγματικότητα αυτό είναι και το πλεονέκτημά τους, διότι κατά κανόνα αυτό που ενδιαφέρει είναι ο εντοπισμός μόνο του ολικού ακροτάτου. 3.3 Εξελικτικοί αλγόριθμοι Γενικές αρχές εξελικτικών αλγορίθμων Ο εξελικτικοί αλγόριθμοι αναφέρονται σε υπολογιστικές τεχνικές που χρησιμοποιούν το πρότυπο των φυσικών εξελικτικών διαδικασιών για την επίλυση σύνθετων προβλημάτων βελτιστοποίησης. Οι τεχνικές αυτές έχουν ως κοινή εννοιολογική βάση την προσομοίωση της εξέλιξης ατόμων-λύσεων μέσω διαδικασιών που είναι εμπνευσμένες από τη φυσική διαλογή και την αναπαραγωγή. Η εξέλιξη των ζωντανών οργανισμών είναι μια φυσική διαδικασία που έχει οδηγεί στη βελτιστοποίηση του είδους, βασιζόμενη στην καταλληλότητα των ατόμων για επιβίωση στο περιβάλλον του προβλήματος. Τα τυπικά βήματα ενός εξελικτικού αλγορίθμου είναι: Βήμα 1ο: Γεννάται ένας αρχικός πληθυσμός P(0), αποτελούμενος από s σημεία του εφικτού χώρου, στα οποία υπολογίζεται η τιμή της αντικειμενικής συνάρτησης. Βήμα 2ο: Εφαρμόζοντας έναν τελεστή ανασυνδυασμού (recombination) ή διασταύρωσης (crossover) πάνω σε μέλη του τρέχοντος πληθυσμού P(t), γεννώνται νέα μέλη, τα οποία καλούνται απόγονοι (offsprings). Βήμα 3ο: Εφαρμόζοντας έναν τελεστή μετάλλαξης (mutation), μεταβάλλονται τα χαρακτηριστικά ορισμένων μελών του πληθυσμού. Βήμα 4ο: Βάσει ενός τελεστή επιλογής (selection), διαμορφώνεται η επόμενη γενιά P(t + 1), η οποία περιέχει τα καλύτερα μέλη της προηγούμενης γενιάς. Βήμα 5ο: Εφόσον δεν ικανοποιούνται τα κριτήρια τερματισμού του αλγορίθμου, επαναλαμβάνεται η διαδικασία εξέλιξης από το βήμα 2. 31

50 Αν θεωρηθεί ότι σε μια συγκεκριμένη γενιά το πλήθος των γονέων είναι μ και το πλήθος των απογόνων λ, διακρίνονται δύο περιπτώσεις ως προς τη διαδικασία επιλογής. Η πρώτη, η οποία ονομάζεται (μ + λ) εξελικτική στρατηγική, συνίσταται στην επιλογή των καλύτερων ατόμων από το σύνολο των γονέων και των απογόνων τους, με αποτέλεσμα ένα άτομο με ισχυρά χαρακτηριστικά να μπορεί να επιβιώσει για άπειρο αριθμό γενιών. Η δεύτερη περίπτωση καλείται (μ, λ) εξελικτική στρατηγική και απαγορεύει την επιβίωση των γονέων στην επόμενη γενιά (Schwefel, 1994). Γενικά, οι εξελικτικοί αλγόριθμοι έχουν αναπτυχθεί σε τρεις βασικές παραλλαγές: εξελικτική στρατηγική (evolution strategy) εξελικτικός προγραμματισμός (evolutionary programming) γενετικοί αλγόριθμοι (genetic algorithms) Αν και οι παραπάνω τεχνικές διαφοροποιούνται ως προς τις διαδικασίες διασταύρωσης, μετάλλαξης και επιλογής, στην ουσία ακολουθούν την ίδια λογική. Οι Banzhaf et al. (1998) κάνουν συγκριτική επισκόπηση των τριών μεθόδων. Στην εξελικτική στρατηγική καθοριστικό ρόλο ασκεί ο τελεστής μετάλλαξης, ενώ στους γενετικούς αλγορίθμους ο τελεστής διασταύρωσης. Στην παρούσα εργασία, η μελέτη επικεντρώνεται στους γενετικούς αλγορίθμους, οι οποίοι αποτελούν την πλέον διαδεδομένη μορφή εξελικτικών μεθόδων Τυπικοί γενετικοί αλγόριθμοι Οι γενετικοί αλγόριθμοι αναπτύχθηκαν από τον Holland (1975), στα πλαίσια μιας εκτεταμένης έρευνας με θέμα την προσαρμογή των μηχανισμών των φυσικών συστημάτων σε εφαρμογές τεχνητής νοημοσύνης. Μέχρι στιγμής έχουν τύχει ευρείας εφαρμογής σε προβλήματα υδατικών πόρων, τόσο συνεχών (π.χ., Wang, 1991 Ritzel et al, 1994 McKinney and Lin, 1995) όσο και διακριτών μεταβλητών ελέγχου (π.χ., Cieniawski et al., 1995 Dandy et al., 1996 Montesinos et al., 1999). Οι κύριες διαφορές των γενετικών αλγορίθμων σε σχέση με τα συνήθη σχήματα βελτιστοποίησης είναι οι εξής (Goldberg, 1989): Οι μεταβλητές ελέγχου αναπαρίστανται με κωδικοποιημένο τρόπο και όχι ως πραγματικοί αριθμοί. Για το λόγο αυτό οι γενετικοί αλγόριθμοι θεωρούνται ως το καταλληλότερο εργαλείο βελτιστοποίησης συναρτήσεων με διακριτές μεταβλητές ή μεταβλητές που δεν περιγράφονται αριθμητικά, όπως λογικές εκφράσεις. Η αναζήτηση του βελτίστου πραγματοποιείται ανάμεσα σε ένα πλήθος σημείων και όχι από σημείο σε σημείο. Με τον τρόπο αυτό επιτυγχάνεται ταυτόχρονη διερεύνηση πολλών περιοχών έλξης ακροτάτων οπότε αυξάνεται η πιθανότητα εντοπισμού της ολικά βέλτιστης λύσης. Η μέθοδος απαιτεί γνώση μόνο της τιμής της αντικειμενικής συνάρτησης και όχι των παραγώγων της ή άλλων δευτερογενών πληροφοριών. Σε κάθε επανάληψη χρησιμοποιούνται πιθανοτικοί και όχι προσδιοριστικοί κανόνες λήψης αποφάσεων. Με τον τρόπο αυτό, ακόμη και κακοί συνδυασμοί παραμέτρων έχουν την πιθανότητα, έστω και μικρή, να γίνουν αποδεκτοί. Οι γενετικοί αλγόριθμοι δανείζονται όχι μόνο τις διεργασίες αλλά και την ορολογία τους από την επιστήμη της γενετικής. Κάθε σημείο του εφικτού χώρου, δηλαδή κάθε δυνατή λύση του προβλήματος βελτιστοποίησης, συνιστά ένα άτομο (individual). Τα "γενετικά" χαρακτηριστικά του ατόμου, τα οποία καλούνται χρωμοσώματα (chromosomes), είναι οι συντεταγμένες του σημείου, δηλαδή οι τιμές των μεταβλητών ελέγχου του προβλήματος. Τα χρωμοσώματα αποτελούνται από γονίδια (genes) τα οποία, αν τοποθετηθούν στη σειρά, σχηματίζουν το γονότυπο (genotype) του ατόμου. Τέλος, η τιμή της αντικειμενικής συνάρτησης αποτελεί το εξωτερικό χαρακτηριστικό του ατόμου και καλείται φαινότυπος (phenotype). 32

51 Οι γενετικοί αλγόριθμοι εκτελούνται σε στάδια, τα οποία, σε αντιστοιχία με τη φύση, καλούνται γενιές (generations). Σε κάθε στάδιο πραγματοποιούνται τριών ειδών διαδικασίες, η επιλογή (selection), η διασταύρωση (crossover) και η μετάλλαξη (mutation). Η επιλογή αποσκοπεί στη βελτίωση της μέσης ποιότητας του πληθυσμού, δίνοντας σε άτομα υψηλότερης ποιότητας μεγαλύτερη πιθανότητα επιβίωσης στην επόμενη γενιά. Μέσω της διασταύρωσης, δύο γονείς συνδυάζουν τα χαρακτηριστικά τους με ανταλλαγή μέρους της γενετικής τους πληροφορίας, με σκοπό την παραγωγή ισχυρότερων απογόνων. Στόχος της μετάλλαξης είναι η είσοδος νέων χαρακτηριστικών και πληροφοριών στον πληθυσμό τα οποία πιθανόν δεν υπάρχουν στην προηγούμενη γενιά, αυξάνοντας έτσι την ποικιλία του. Επιπλέον, μέσω των τελεστών διασταύρωσης και μετάλλαξης επιτυγχάνεται ανανέωση του πληθυσμού, και κατά συνέπεια η διερεύνηση νέων περιοχών του εφικτού χώρου. Κωδικοποίηση Η τυπική αναπαράσταση των γονοτύπων είναι η δυαδική (binary). Οι γονότυποι, ή αλλιώς οι κωδικοποιημένες συντεταγμένες κάθε σημείου, απεικονίζονται ως δυαδικές συμβολοσειρές (strings), δηλαδή ως ακολουθίες ψηφίων τα οποία λαμβάνουν τις τιμές 0 ή 1. Έστω η μεταβλητή ελέγχου x j, ορισμένη στο διάστημα D = [x j min, x j max ] R, και έστω Μ το πλήθος των δεκαδικών ψηφίων με τα οποία αυτή απεικονίζεται. Ο πραγματικός αριθμός x j μετατρέπεται σε ακέραιο μέσω του μετασχηματισμού: u j = (2 m 1) όπου m ο μικρότερος ακέραιος αριθμός για τον οποίο ισχύει: x j x j min x j max x j min (3.21) (x j max x j min ) 10 Μ 2 m 1 (3.22) Με τον τρόπο αυτό το πεδίο ορισμού D χωρίζεται σε (x j max x j min ) 10 Μ ίσα διαστήματα. Εφόσον η μεταβλητή x j λαμβάνει μόνο ακέραιες τιμές ισχύει Μ = 0. Η δυαδική έκφραση της ποσότητας u j είναι ο m-ψήφιος αριθμός: όπου b k {0, 1} έτσι ώστε: v j = b 0 b 1 b m 1 (3.23) u j = b k 2 k (3.24) Κάθε διάνυσμα μεταβλητών x = (x 1, x 2,, x n ) απεικονίζεται ως η συμβολοσειρά: m 1 k = 0 v = v 1 v 2 v n (3.25) η οποία αποτελείται από n m δυαδικά ψηφία (γονίδια). Η δυαδική κωδικοποίηση εξασφαλίζει ότι οποιαδήποτε τροποποίηση των χρωμοσωμάτων μέσω των γενετικών τελεστών δίνει μια λύση η οποία βρίσκεται πάντοτε μέσα στα όρια του εφικτού χώρου. Η αποκωδικοποιημένη πληροφορία eval(v) = f(x 1, x 2,..., x n ), δηλαδή ο φαινότυπος του ατόμου, λαμβάνεται αφού πρώτα μετατραπεί η τιμή κάθε χρωμοσώματος v j στο δεκαδικό σύστημα μέσω της σχέσης (3.24) και στη συνέχεια επιλυθεί η εξίσωση (3.21) ως προς κάθε μεταβλητή ελέγχου x j. Η αναπαράσταση των χρωμοσωμάτων με χρήση δυαδικών αριθμών είναι η πλέον διαδεδομένη αλλά όχι και η μοναδική μέθοδος κωδικοποίησης. Για πολύπλοκες εφαρμογές έχουν προταθεί εναλλακτικοί τρόποι κωδικοποίησης, για τους οποίους γίνεται αναφορά στο εδάφιο

52 Γέννηση αρχικού πληθυσμού Ο αρχικός πληθυσμός των χρωμοσωμάτων αποτελείται από ένα πλήθος s τυχαίων συμβολοσειρών v i, στις οποίες, κατά κανόνα, η σειρά των δυαδικών ψηφίων παράγεται με τυχαία επιλεγμένα 0 και 1. Έχουν προταθεί ακόμη τεχνικές, σύμφωνα με τις οποίες ο αρχικός πληθυσμός ή τμήμα του μπορεί να δημιουργηθεί με ευρετικές μεθόδους ή μετά από στατιστική ανάλυση του εφικτού χώρου. Το μέγεθος του πληθυσμού s εξαρτάται από τον αριθμό των μεταβλητών ελέγχου του προβλήματος. Είναι προφανές ότι όσο αυξάνει το s τόσο αυξάνει η πιθανότητα εντοπισμού του ολικού βελτίστου, αλλά ταυτόχρονα αυξάνει ο υπολογιστικός φόρτος. Τα τυπικά όρια διακύμανσης του μεγέθους του πληθυσμού είναι 30 < s < 100 (Goldberg, 1989). Τελεστής επιλογής Ο μηχανισμός επιλογής καθορίζει τις ευκαιρίες αναπαραγωγής κάθε ατόμου. Στη γενική περίπτωση, δημιουργείται ένας βοηθητικός πληθυσμός που περιέχει αντίγραφα ατόμων από τον πρωτότυπο, έτσι ώστε τα ικανότερα άτομα να αντιγράφονται (δηλαδή να επιβιώνουν) περισσότερες από μία φορά και τα λιγότερο ικανά άτομα να αντιγράφονται λιγότερες ή καμία φορά. Τα άτομα της επόμενης γενιάς παράγονται με εφαρμογή των τελεστών διασταύρωσης και μετάλλαξης πάνω στα άτομα του βοηθητικού πληθυσμού. Μέτρο της ικανότητας επιβίωσης ενός γονοτύπου v i είναι ο βαθμός καταλληλότητας (fitness rate) φ i, ο οποίος ταυτίζεται με την τιμή της αντικειμενικής συνάρτησης eval(v i ), εφόσον ζητείται η μεγιστοποίηση αυτής, διαφορετικά ορίζεται ως: φ i = max {eval(v i ), i = 1,, s} - eval(v i ) + φ min (3.26) όπου φ min ένας μικρός θετικός αριθμός ο οποίος εκφράζει την καταλληλότητα της χειρότερης λύσης. Η διαδικασία της επιλογής καθορίζει σε μεγάλο βαθμό τη λειτουργία και την απόδοση του γενετικού αλγορίθμου, επηρεάζοντας δύο αντικρουόμενους παράγοντες, την ποικιλία του πληθυσμού (population diversity) και την επιλεκτική πίεση (selective pressure) των ισχυρότερων ατόμων. Μια ισχυρή επιλεκτική πίεση έχει ως αποτέλεσμα τη δημιουργία μεγάλου αριθμού αντιγράφων από τα καλύτερα άτομα του πληθυσμού, και άρα μείωση της ποικιλίας των λύσεων, γεγονός που μπορεί να οδηγήσει τον αλγόριθμο σε γρήγορη σύγκλιση σε κάποιο τοπικό ακρότατο. Από την άλλη πλευρά, η ασθενής επιλεκτική πίεση επιτρέπει μεγάλη διασπορά λύσεων, εξασφαλίζοντας έτσι καλύτερη διερεύνηση του χώρου εφικτών λύσεων, με επιβράδυνση ωστόσο της διαδικασίας σύγκλισης. Στη βιβλιογραφία προτείνονται διάφοροι μηχανισμοί επιλογής (De Jong, 1975 Goldberg, 1989 Goldberg and Deb, 1991), οι κυριότεροι από τους οποίους είναι ο τροχός της ρουλέτας (roulette wheel), το ελιτίστικο μοντέλο (elitist model), το μοντέλο αναμενόμενης τιμής (expected value model, και η επιλογή μέσω διαγωνισμού (tournament selection). Το ομοίωμα του τροχού της ρουλέτας είναι ο απλούστερος και συνηθέστερος μηχανισμός επιλογής ατόμων για αναπαραγωγή. Το πλήθος των εγκοπών του τροχού είναι όσο και το μέγεθος του πληθυσμού, ενώ το πλάτος κάθε εγκοπής είναι ανάλογο της πιθανότητας επιλογής κάθε ατόμου, η οποίο ορίζεται ως ο λόγος: p i = φ i s (3.27) φ i i = 1 Για κάθε άτομο υπολογίζεται η αθροιστική πιθανότητα: i q i = p l (3.28) l = 1 34

53 Το γύρισμα του τροχού της ρουλέτας επαναλαμβάνεται s φορές. Σε κάθε επανάληψη παράγεται ένας τυχαίος αριθμός r στο διάστημα [0, 1]. Αν r < q 1 τότε επιλέγεται ο γονότυπος v 1, διαφορετικά επιλέγεται ο γονότυπος v i για τον οποίο ισχύει q i 1 < r q i. Με τον τρόπο αυτό τα πιο ισχυρά άτομα του πληθυσμού (δηλαδή οι καλύτερες των λύσεων) επιλέγονται περισσότερες από μία φορές, ενώ υπάρχει μικρή (αλλά όχι μηδενική) πιθανότητα να επιλεγούν για επιβίωση οι λιγότερο ισχυρά άτομα. Για να αποφευχθεί πρόωρη σύγκλιση του αλγορίθμου σε περίπτωση ισχυρής επιλεκτικής πίεσης (η οποία οφείλεται στην ύπαρξη ορισμένων υπερβολικά καλών λύσεων κατά τα αρχικά στάδια εξέλιξης του πληθυσμού), η πιθανότητα επιλογής μπορεί να οριστεί συναρτήσει της σειράς κατάταξης και όχι της τιμής του βαθμού καταλληλότητας του ατόμου. Ο Wang (1991) προτείνει τον ορισμό της πιθανότητας επιλογής κάθε ατόμου με γραμμική παρεμβολή μεταξύ των προκαθορισμένων πιθανοτήτων επιλογής της καλύτερης και χειρότερης λύσης, δηλαδή: p i = p 1 + p s p 1 s 1 (i 1) (3.29) Το ελιτίστικο μοντέλο προτάθηκε από τον De Jong (1975) με σκοπό να μη χάνεται κατά την πορεία εξέλιξης του πληθυσμού κάποια λύση η οποία βρίσκεται κοντά στην ολικά βέλτιστη του προβλήματος, εξαιτίας της τυχαιότητας των μηχανισμών επιβίωσης. Σύμφωνα με το μοντέλο αυτό, αν η τρέχουσα βέλτιστη λύση αποκλειστεί από την επόμενη γενιά, τότε υποχρεωτικά συμπεριλαμβάνεται σε αυτή ως πρόσθετο μέλος του πληθυσμού. Το μοντέλο αναμενόμενης τιμής προτάθηκε επίσης από τον De Jong (1975), με σκοπό τον περιορισμό των στοχαστικών σφαλμάτων κατά τη διαδικασία της ρουλέτας. Βάσει του μοντέλου αυτού, για κάθε άτομο ορίζεται ένα μετρητής με αρχική τιμή p i, η οποία μειώνεται εφόσον το άτομο αυτό δεν επιλέγεται για αναπαραγωγή και εφόσον η τιμή του μετρητή μηδενιστεί, το συγκεκριμένο άτομο αποκλείεται από τη συνέχεια της διαδικασίας. Η επιλογή μέσω διαγωνισμού συνίσταται στην τυχαία διαλογή δύο ή περισσότερων ατόμων από τον πληθυσμό και την επιβίωση του ισχυρότερου από αυτά. Η διαδικασία επαναλαμβάνεται μέχρι να συμπληρωθεί ο κατάλληλος αριθμός ατόμων για αναπαραγωγή. Σύμφωνα με τους Goldberg and Deb (1991), η μέθοδος αυτή είναι πιο αποτελεσματική σε σχέση με τους υπόλοιπους μηχανισμούς επιλογής και έχει μικρότερη πιθανότητα πρόωρης σύγκλισης σε τοπικό ακρότατο. Οι Blickle and Thiele (1995) κάνουν μια εκτεταμένη μαθηματική ανάλυση του μοντέλου επιλογής με διαγωνισμό, βάσει της θεωρίας σχημάτων (βλ ). Τελεστής διασταύρωσης Μέσω του τελεστή διασταύρωσης η γενετική πληροφορία που περιέχεται στο γονότυπο ανταλλάσσεται μεταξύ δύο τυχαία επιλεγμένων ατόμων του πληθυσμού. Η διασταύρωση μπορεί να είναι απλή, οπότε πραγματοποιείται σε μία μόνο θέση της δυαδικής συμβολοσειράς ή πολλαπλή. Και στις δύο περιπτώσεις η θέση ή οι θέσεις της διασταύρωσης επιλέγονται τυχαία. Ένα άλλο είδος διασταύρωσης είναι η ομοιόμορφη, κατά την οποία κάθε γονίδιο του απογόνου έχει ίσες πιθανότητες να παρθεί από κάθε γονέα του. Επίσης έχουν προταθεί σχήματα με τα οποία πραγματοποιείται ανταλλαγή χρωμοσωμάτων, οπότε τα γονότυποι διασπώνται σε συγκεκριμένες θέσεις και όχι τυχαία. Η περίπτωση αυτή προσομοιώνει καλύτερα τις φυσικές διεργασίες, καθώς τα χρωμοσώματα, τα οποία αντιστοιχούν στις συντεταγμένες του σημείου, δεν είναι δυνατόν να διασπαστούν (Solomatine, 1995). Η συχνότητα εφαρμογής του τελεστή διασταύρωσης στα άτομα που επιλέγονται για αναπαραγωγή είναι p c, οπότε στη διαδικασία συμμετέχουν, κατά μέσο όρο, s p c άτομα. Η συχνότητα διασταύρωσης είναι αντιστρόφως ανάλογη του μεγέθους του πληθυσμού, με τυπικές τιμές p c = 0.60 για s > 100 και p c = 0.90 για s < 30 (Man et al., 1999). Έχουν προταθεί ακόμη τεχνικές σύμφωνα με τις οποίες η τιμή της πιθανότητας p c προσαρμόζεται κατά τη διάρκεια της αναζήτησης. Συγκεκριμένα, 35

54 κατά τα αρχικά στάδια εξέλιξης του πληθυσμού ορίζεται μικρότερη πιθανότητα διασταύρωσης για τα ικανότερα άτομα, έτσι ώστε να αποφευχθεί η αναπαραγωγή των ίδιων λύσεων, οδηγώντας τον αλγόριθμο σε πρόωρη σύγκλιση (Andre et al., 2001). Η διαδικασία της απλής διασταύρωσης εκτελείται ως εξής: Για κάθε άτομο παράγεται ένας τυχαίος αριθμός r στο διάστημα [0, 1]. Αν r < p c τότε το άτομο αυτό επιλέγεται για συμμετοχή στη διασταύρωση. Το σύνολο των επιλεγμένων ατόμων χωρίζεται σε ζεύγη και για κάθε ζεύγος παράγεται ένας τυχαίος ακέραιος αριθμός pos στο διάστημα [0, m 1], όπου m το μήκος της συμβολοσειράς, δηλαδή το πλήθος των γονιδίων. Ο αριθμός pos αντιστοιχεί στη θέση της διασταύρωσης. Το αρχικό ζεύγος γονοτύπων: αντικαθίσταται από το: Τελεστής μετάλλαξης (κ 0 κ 1... κ pos κ pos κ m 1 ) και (λ 0 λ 1... λ pos λ pos λ m 1 ) (κ 0 κ 1... κ pos λ pos κ m 1 ) και (λ 0 λ 1... λ pos κ pos λ m 1 ) Μέσω του τελεστή μετάλλαξης ορισμένα γονίδια από το σύνολο του πληθυσμού αλλάζουν τιμή από 0 σε 1 και αντίστροφα. Η συχνότητα μετάλλαξης είναι ένας μικρός αριθμός p m, ο οποίος λαμβάνει τιμές στο διάστημα [0.001, 0.01], έτσι ώστε κατά μέσο όρο m p m γονίδια να υφίστανται μετάλλαξη. Όπως συμβαίνει και με τη συχνότητα διασταύρωσης, η τιμή της συχνότητας μετάλλαξης είναι αντιστρόφως ανάλογη του μεγέθους του πληθυσμού. Όσο αυξάνει η τιμή πιθανότητας μετάλλαξης τόσο αυξάνει και η τυχαιότητα του γενετικού αλγορίθμου. Ο μηχανισμός μετάλλαξης βοηθά τα γενετικό αλγόριθμο να διαφεύγει από τοπικά ακρότατα, παρέχοντας μια επιπλέον συνιστώσα τυχαιότητας στη διαδικασία εξέλιξης. Μια άλλη λειτουργία της μετάλλαξης, η οποία έχει σημασία μόνο στην περίπτωση που έχει προσεγγιστεί αρκετά η βέλτιστη λύση, είναι η δημιουργία μικρών διαταραχών κοντά στην περιοχή του ακροτάτου για την επιτάχυνση της διαδικασίας σύγκλισης. Γενικά πάντως η επίδραση της μετάλλαξης στην αξιοπιστία και ταχύτητα των γενετικών αλγορίθμων είναι περιορισμένη σε σχέση με τους υπόλοιπους γενετικούς μηχανισμούς, δηλαδή την επιλογή και τη διασταύρωση (Andre et al., 2001) Θεωρητική ανάλυση Η θεωρητική ανάλυση των γενετικών αλγορίθμων βασίζεται στην έννοια του σχήματος (schema). Ως σχήμα Η ορίζεται μια συμβολοσειρά, ορισμένα από τα ψηφία της οποίας λαμβάνουν σταθερές τιμές, ενώ τα υπόλοιπα, τα οποία παρίστανται με το σύμβολο (*), μπορούν να λάβουν οποιαδήποτε τιμή από το διακριτό σύνολο {0, 1}. Ο αριθμός των σταθερών ψηφίων καλείται τάξη (order) του σχήματος Η και συμβολίζεται με o(η). Δηλαδή η τάξη ενός σχήματος ισούται με το μήκος μιας συμβολοσειράς μείον του βαθμούς ελευθερίας αυτής. Ως μήκος ορισμού (defining length) ενός σχήματος θεωρείται η απόσταση δ(η) μεταξύ του πρώτου και του τελευταίου σταθερού ψηφίου αυτού. Το μήκος δ αποτελεί ένδειξη του πόσο "συμπαγής" είναι η πληροφορία που περιέχεται σε ένα σχήμα. Ένα σχήμα τάξης o(η) από συμβολοσειρά μήκους m (o m) μπορεί να παρασταθεί γεωμετρικά ως ένα υπερεπίπεδο στον m-διάστατο χώρο. Για παράδειγμα, αν m = 3, ένα σχήμα 3ης τάξης παριστάνει σημείο, ένα σχήμα 2ης τάξης παριστάνει ευθεία, ένα σχήμα 1ης τάξης παριστάνει επίπεδο και ένα σχήμα μηδενικής τάξης παριστάνει όλο τον τρισδιάστατο χώρο (Goldberg, 1989). Έστω ξ(η, t) το πλήθος των γονοτύπων που περιέχουν το σχήμα Η κατά την t γενιά. Η καταλληλότητα ενός σχήματος είναι η μέση τιμή της καταλληλότητας όλων των γονοτύπων v i που περιέχουν το σχήμα αυτό, δηλαδή: 36

55 φ(η, t) = 1 ξ(η, t) ξ(η, t) φ i (3.30) Όπως αναφέρθηκε στο εδάφιο 3.3.2, κατά το στάδιο της επιλογής κάθε γονότυπος αντιγράφεται μηδέν, μία ή περισσότερες φορές και ο αριθμός των αντιγράφων εξαρτάται από τη σχετική καταλληλότητα των ατόμων. Μετά από την εφαρμογή του τελεστή επιλογής, έστω ότι ο αριθμός των γονοτύπων που περιέχουν το σχήμα Η είναι ξ(η, t + 1), η μέση τιμή του οποίου δίνεται από την εξίσωση αναπαραγωγής: όπου Φ(t) η μέση καταλληλότητα του πληθυσμού, δηλαδή: i = 1 ξ(η, t + 1) = ξ(η, t) φ(η, t) / Φ(t) (3.31) Φ(t) = 1 s s φ i (3.32) Η παραπάνω σχέση υποδηλώνει ότι ο ρυθμός μεταβολής του πληθυσμού ενός σχήματος είναι ανάλογος του λόγου της καταλληλότητας του σχήματος προς τη μέση καταλληλότητα του πληθυσμού. Γενικεύοντας, αν ένα σχήμα διατηρεί μια σταθερή καταλληλότητα η οποία είναι κατά ε% μεγαλύτερη ή μικρότερη από τη μέση καταλληλότητα του πληθυσμού, τότε ο αναμενόμενος αριθμός των εκπροσώπων του σχήματος ξ(η, t) κατά την γενιά t είναι ίσος με: i = 1 ξ(η, t) = ξ(η, 0) (1 + ε) t (3.33) Συνέπεια της παραπάνω σχέσης είναι ότι τα πιο ισχυρά χαρακτηριστικά των χρωμοσωμάτων πολλαπλασιάζονται ενώ τα πιο αδύναμα καταστρέφονται με εκθετικό ρυθμό. Κατά τη διαδικασία διασταύρωσης η πιθανότητα καταστροφής ενός σχήματος εξαρτάται από το χαρακτηριστικό του μήκος δ(s) καθώς και από τη συχνότητα διασταύρωσης p c. Δεδομένου ότι γενικά η θέση διασταύρωσης επιλέγεται τυχαία μεταξύ των m 1 δυνατών θέσεων της συμβολοσειράς, τότε η πιθανότητα επιβίωσης του σχήματος είναι: p s (S) 1 p c δ(s) m 1 (3.34) Ομοίως, η πιθανότητα επιβίωσης ενός σχήματος κατά τη διαδικασία μετάλλαξης, η συχνότητα της όποιας είναι p m, δίνεται από τη σχέση: Δεδομένου ότι p m << 1, η παραπάνω σχέση προσεγγίζεται από την: p s (S) = (1 p m ) o(s) (3.35) p s (S) 1 p m o(s) (3.36) Η συνδυασμένη εξίσωση αναπαραγωγής ενός σχήματος, μετά την εφαρμογή των διαδικασιών επιλογής, διασταύρωσης και μετάλλαξης, λαμβάνει τη μορφή: ξ(η, t + 1) ξ(η, t) φ(η, t) / Φ(t) δ(s) 1 p c m 1 p m o(s) (3.37) Ως συνέπεια της παραπάνω σχέσης, ο πληθυσμός των μικρού μήκους, μικρής τάξης και υψηλής καταλληλότητας σχημάτων αυξάνεται εκθετικά από γενιά σε γενιά. Η πρόταση αυτή αποτελεί το λεγόμενο θεώρημα σχήματος, το οποίο αποτελεί τη θεμελιώδη αρχή των γενετικών αλγορίθμων. Τα σχήματα που διαθέτουν τα παραπάνω χαρακτηριστικά ονομάζονται δομικά σύμπλοκα, από όπου λαμβάνει την ονομασία της η αντίστοιχη υπόθεση (building block hypothesis). Βάσει της υπόθεσης αυτής, ο γενετικός αλγόριθμος κατασκευάζει όλο και καλύτερες λύσεις χρησιμοποιώντας τα 37

56 ισχυρότερα χαρακτηριστικά των προηγούμενων γενιών, τα οποία περιέχονται στα δομικά σύμπλοκα (Goldberg, 1989 Michalewich, 1996) Βελτιωμένοι γενετικοί αλγόριθμοι Είναι γενικά αποδεκτό ότι οι τυπικοί γενετικοί αλγόριθμοι μειονεκτούν σημαντικά ως προς την ταχύτητα σύγκλισης σε προβλήματα συνεχών μεταβλητών, ειδικά σε περιπτώσεις μεγάλου αριθμού παραμέτρων ή μεγάλου εύρους του πεδίου αναζήτησης. Μια βασική αιτία της αργής σύγκλισης είναι η δυαδική κωδικοποίηση, αφού για την αναπαράσταση των λύσεων δημιουργούνται συμβολοσειρές με υπερβολικά μεγάλο πλήθος ψηφίων. Από την άλλη πλευρά, η δυαδική απεικόνιση διευκολύνει την υλοποίηση των γενετικών μηχανισμών και εγγυάται την ορθή λειτουργία των γενετικών αλγορίθμων, η οποία αποδεικνύεται μέσω της θεωρίας σχημάτων. Για την επιτάχυνση της διαδικασίας σύγκλισης των γενετικών αλγορίθμων έχουν αναπτυχθεί εναλλακτικές μέθοδοι κωδικοποίησης των παραμέτρων, οι κυριότερες των οποίων είναι η κωδικοποίηση Gray (Gray coding) και η πραγματική κωδικοποίηση (real coding). Κωδικοποίηση Gray 1 Βασικό μειονέκτημα της δυαδικής αναπαράστασης είναι ότι οι συμβολοσειρές που αντιστοιχούν σε δύο συνεχόμενες τιμές μπορεί να διαφέρουν τόσο πολύ, ώστε να είναι αδύνατη η μετάβαση από τη μια τιμή στην άλλη μέσω της διαδικασίας μετάλλαξης. Για παράδειγμα, οι διαδοχικοί ακέραιοι αριθμοί 1023 και 1024 στο δυαδικό σύστημα απεικονίζονται ως και Η κωδικοποίηση Gray συνίσταται στη μετατροπή των ακέραιων αριθμών σε δυαδικές συμβολοσειρές, έτσι ώστε κάθε ζεύγος διαδοχικών αριθμών G(i), G(i + 1) να διαφοροποιείται ως προς ένα ψηφίο μόνο (Press et al., 1992). Υπάρχουν διάφοροι τελεστές μετατροπής των δυαδικών αριθμών σε αριθμούς Gray, όπως η δυαδική ανάκλαση (binary reflection). Εφαρμόζοντας τον τελεστή δυαδικής ανάκλασης στους ακέραιους αριθμούς από το 0 ως το 7, η δυαδική ακολουθία {000, 001, 010, 011, 100, 101, 110, 111} μετασχηματίζεται στην Gray ακολουθία {000, 001, 011, 010, 110, 111, 101, 100}. Όπως είναι προφανές, η κωδικοποίηση Gray εξομαλύνει τη δράση του μηχανισμού μετάλλαξης, καθώς στις περισσότερες περιπτώσεις μεταβάλλει ελάχιστα την τιμή της παραμέτρου. Υπάρχει ωστόσο ένας μικρός αριθμός περιπτώσεων κατά τις οποίες η μετάλλαξη μεταβάλλει δραστικά την τιμή της παραμέτρου. Στο παραπάνω παράδειγμα, με αλλαγή του πρώτου ψηφίου του αριθμού 000 από 0 σε 1 λαμβάνεται ο αριθμός 100, ο οποίος ενώ στην κωδικοποίηση Gray αντιστοιχεί στον αριθμό 7, στη δυαδική κωδικοποίηση αντιστοιχεί στον αριθμό 4. Κατά συνέπεια, ο μετασχηματισμός Gray από τη μια περιορίζει την επίδραση της μετάλλαξης αλλά από την άλλη αφήνει περιθώρια μετάβασης σε εντελώς διαφορετικές λύσεις, με αλλαγή ενός ψηφίου και μόνο. Πραγματική κωδικοποίηση Η πραγματική κωδικοποίηση βελτιώνει την επίδοση των γενετικών αλγορίθμων σε εφαρμογές συνεχών μεταβλητών, στις οποίες ζητείται ο εντοπισμός της λύσης με μεγάλη ακρίβεια. Με τον τρόπο αυτό αποφεύγεται η χρήση υπερβολικά μεγάλων συμβολοσειρών και εξοικονομείται ο χρόνος που δαπανάται κατά τη διαδικασία κωδικοποίησης/αποκωδικοποίησης. Επιπλέον, δεν απαιτείται η εφαρμογή του μετασχηματισμού Gray για την επιτάχυνση της διαδικασίας σύγκλισης. Στην περίπτωση χρήσης πραγματικής κωδικοποίησης οι γενετικοί μηχανισμοί προσαρμόζονται ανάλογα. Έτσι, μέσω του τελεστή διασταύρωσης γίνεται ανταλλαγή χρωμοσωμάτων (δηλαδή 1 Η ονομασία αυτή δεν έχει καμία σχέση με το γκρίζο χρώμα, όπως λανθασμένα απαντάται σε πολλές σχετικές αναφορές, αλλά προέρχεται από τον εμπνευστή της μεθόδου, τον Frank Gray. Η μέθοδος δημοσιεύτηκε το 1953 με την ονομασία reflected code, η οποία ωστόσο γρήγορα αντικαταστάθηκε από τη σημερινή της. 38

57 συντεταγμένων) και όχι τυχαίων τμημάτων του γονοτύπων, ενώ μέσω του τελεστή μετάλλαξης μια τυχαία επιλεγμένη συντεταγμένη αντικαθίσταται από μια τυχαία τιμή, ομοιόμορφα κατανεμημένη μέσα από το πεδίο των εφικτών λύσεων. 3.4 Η μέθοδος προσομοιωμένης ανόπτησης Η προσομοιωμένη ανόπτηση (simulated annealing) είναι μια νέα τεχνική βελτιστοποίησης, η οποία βασίζεται στις αρχές της στατιστικής μηχανικής. Η πρωτοτυπία της μεθόδου έγκειται στην αποφυγή των τοπικών ακρότατων, μέσω πραγματοποίησης περιορισμένου αριθμού μη βέλτιστων βημάτων με βάση πιθανοτικά κριτήρια. Μετά την εισαγωγή της από τους Kirkpatrick et al. (1983), η προσομοιωμένη ανόπτηση βρήκε εφαρμογή κυρίως σε μεγάλης κλίμακας προβλήματα συνδυαστικής βελτιστοποίησης (combinatorial optimization). Στην κατηγορία αυτή περιλαμβάνονται προβλήματα στα οποία ο χώρος πολιτικής είναι διακριτός, περιέχει δηλαδή πεπερασμένο αριθμό εφικτών λύσεων, ο οποίος αυξάνει εκθετικά με τον αριθμό των μεταβλητών ελέγχου. Αντίθετα, σχετικά περιορισμένο είναι ως τώρα το πεδίο εφαρμογής της μεθόδου σε προβλήματα συνεχών μεταβλητών, στα οποία επικεντρώνεται το ενδιαφέρον της παρούσας εργασίας. Ως προς την εφαρμογή της προσομοιωμένης ανόπτησης σε προβλήματα υδατικών πόρων, ξεχωρίζουν οι εργασίες των Dougherty and Marryott (1991), Sumner et al. (1997), Pardo-Iguzquiza (1998), Pan and Wu (1998) και Thyer et al. (1999) Η έννοια της ανόπτησης στη θερμοδυναμική Ανόπτηση καλείται η διαδικασία ανακατανομής των ατόμων κατά την σταδιακή ψύξη ενός μετάλλου (ή υγρού). Σε υψηλές θερμοκρασίες τα μόρια του μετάλλου κινούνται ελεύθερα προς όλες τις κατευθύνσεις. Καθώς το μέταλλο ψύχεται, η θερμική κινητικότητα των μορίων του περιορίζεται. Όταν η θερμοκρασία μειωθεί αρκετά, τα άτομα μπορούν να στοιχιστούν μεταξύ τους και να δημιουργήσουν καθαρούς κρυστάλλους. Η κρυσταλλική μορφή αποτελεί την κατάσταση ελάχιστης ενέργειας του συστήματος. Απαραίτητη προϋπόθεση για τη δημιουργία κρυστάλλων είναι ο αργός ρυθμός ψύξης. Αν η ψύξη πραγματοποιηθεί γρήγορα, το σύστημα δεν φτάνει στην κατάσταση ελάχιστης ενέργειας αλλά καταλήγει σε μια πολυκρυσταλλική ή άμορφη δομή, η οποία έχει μεγαλύτερη ενέργεια. Υπάρχουν αρκετές ομοιότητες μεταξύ της διαδικασίας ανόπτησης ενός μετάλλου και της βελτιστοποίησης μιας συνάρτησης. Ταχείς αλγόριθμοι, όπως μέθοδοι κλίσης και άμεσης αναζήτησης, εντοπίζουν εύκολα ένα τοπικό ακρότατο, από το οποίο ωστόσο είναι σχεδόν αδύνατο να ξεφύγουν. Από την άλλη πλευρά, οι στοχαστικές τεχνικές ολικής βελτιστοποίησης είναι σαφώς πιο αργές στη σύγκλιση, αλλά έχουν μεγαλύτερη πιθανότητα να καταλήξουν στο αντίστοιχο της κατάστασης ελάχιστης ενέργειας του συστήματος (Press et al., 1992). Επειδή το πλήθος των ατόμων ενός συστήματος είναι υπερβολικά μεγάλο, οι ιδιότητες του μετάλλου κατά την ανόπτηση περιγράφονται με νόμους της στατιστικής μηχανικής. Η ενέργεια Ε ενός συστήματος που βρίσκεται σε θερμική ισορροπία και έχει θερμοκρασία Τ είναι τυχαία μεταβλητή, η οποία ακολουθεί κατανομή πιθανότητας Boltzman, δηλαδή: όπου κ η σταθερά του Boltzman. p(e) ~ exp E κt (3.38) Βάσει της παραπάνω σχέσης, ακόμη και σε χαμηλή θερμοκρασία, υπάρχει έστω και μικρή πιθανότητα κατά την ψύξη του μετάλλου να επιτευχθεί κατάσταση υψηλότερης ενέργειας. Έτσι δίνεται στο 39

58 σύστημα η ευκαιρία να εξέλθει από ένα τοπικό ενεργειακό ελάχιστο και να βρεθεί σε μια ισορροπία χαμηλότερης ενέργειας. Κατά την πορεία ψύξης η ενέργεια μπορεί είτε να μειωθεί είτε να αυξηθεί, αλλά καθώς μειώνεται η θερμοκρασία περιορίζεται η πιθανότητα να επιτευχθεί αύξηση της ενέργειας Ο αλγόριθμος Metropolis Οι παραπάνω αρχές μεταφέρθηκαν στην αριθμητική ανάλυση από τους Metropolis 1 et al. (1953). 'Έστω ένα προσομοιωμένο θερμοδυναμικό σύστημα σε θερμοκρασία Τ, το οποίο μεταβάλλει την ενεργειακή του κατάσταση από Ε 1 σε Ε 2 με πιθανότητα: p = exp Ε 2 Ε 1 κt (3.39) Εφόσον Ε 2 < Ε 1, η πιθανότητα p γίνεται μεγαλύτερη της μονάδας και τίθεται p = 1. Κατά συνέπεια, η μετάβαση του συστήματος σε μια κατάσταση μικρότερης ενέργειας (δηλαδή η βελτίωση της τιμής της συνάρτησης) γίνεται πάντοτε αποδεκτή, ενώ ορισμένες φορές γίνεται αποδεκτή και η μετάβαση σε μια κατάσταση μεγαλύτερης ενέργειας. Για τη γενίκευση του αλγορίθμου Metropolis πέραν των θερμοδυναμικών συστημάτων απαιτούνται οι εξής υποθέσεις (Press et al., 1992 Γκόγκος και Κινγκ, 1998): μια περιγραφή των δυνατών διαμορφώσεων του συστήματος (διάνυσμα κατάστασης x) μια γεννήτρια διαταραχών της κατάστασης του συστήματος, Δx = g(x) μια αντικειμενική συνάρτηση f(x) (αντίστοιχη της ενέργειας Ε), της οποίας ζητείται η ελαχιστοποίηση μια παράμετρο ελέγχου Τ (αντίστοιχη της θερμοκρασίας) και ένα χρονοδιάγραμμα ανόπτησης, το οποία περιγράφει τη στρατηγική μείωσης της θερμοκρασίας Προσαρμογή σε προβλήματα συνεχών μεταβλητών Η γενική στρατηγική που ακολουθείται σε προβλήματα ελαχιστοποίησης συνεχών μεταβλητών περιγράφεται από τα ακόλουθα βήματα: Βήμα 1ο: Επιλέγεται ένα τυχαίο διάνυσμα x [0] μέσα από τον χώρο εφικτών λύσεων και ορίζεται μεγάλη αρχική τιμή της παραμέτρου ελέγχου (θερμοκρασίας) Τ [0]. Βήμα 2ο: Με εφαρμογή μιας προσδιοριστικής ή τυχαίας μεθόδου, παράγεται μια διαταραχή Δx στη "γειτονιά" της τρέχουσας λύσης x και υπολογίζεται η μεταβολή Δf της αντικειμενικής συνάρτησης f. Βήμα 3ο: Εάν η μεταβολή είναι αρνητική τότε η νέα λύση γίνεται αποδεκτή, ενώ αν Δf > 0 η λύση γίνεται αποδεκτή με βάση το πιθανοτικό κριτήριο Metropolis: Ρ [k] = exp Δf [k] (3.40) Τ Με τον τρόπο αυτό γίνονται αποδεκτά όλα τα βήματα "κατάβασης" (μείωσης δηλαδή της τιμής της συνάρτησης) καθώς και ορισμένα βήματα "ανάβασης". Βήμα 4ο: Τα βήματα 2 και 3 εκτελούνται για ορισμένο πλήθος δοκιμών L με σταθερή τιμή θερμοκρασίας Τ, εξασφαλίζοντας ότι το σύστημα βρίσκεται σε κατάσταση θερμικής ισορροπίας (thermal equilibrium). 1 Ο ελληνικής καταγωγής μαθηματικός Nicholas Metropolis ( ) ήταν από τους επικεφαλής της επιστημονικής ομάδας του σχεδίου Manhattan και θεωρείται από τους πρωτοπόρους της επιστήμης της πληροφορικής και της εφαρμογής των μεθόδων Monte Carlo στα μαθηματικά. 40

59 Βήμα 5ο: Μετά το πέρας κάθε κύκλου θερμικής ισορροπίας k, η τιμή της τρέχουσας θερμοκρασίας μειώνεται με βάση κάποιο νόμο μεταβολής. Βήμα 6ο: Εφόσον πληρούνται τα κριτήρια τερματισμού, ο αλγόριθμος διακόπτεται. Η εφαρμογή της προσομοιωμένης ανόπτησης σε προβλήματα βελτιστοποίησης συνεχών μεταβλητών προϋποθέτει την ύπαρξη μιας γεννήτριας διανυσμάτων, η οποία παράγει νέα σημεία x + Δx στην γειτονιά της εκάστοτε λύσης x. Ως γεννήτρια μπορεί να χρησιμοποιηθεί είτε ένας προσδιοριστικός αλγόριθμος τοπικής αναζήτησης είτε ένας αλγόριθμος παραγωγής τυχαίων διανυσμάτων. Στην πρώτη περίπτωση η κατεύθυνση της αναζήτησης είναι μονοσήμαντη, αφού επιλέγονται πάντοτε ολοένα και καλύτερες λύσεις, καταλήγοντας τελικά στην περιοχή κάποιου τοπικού ακροτάτου. Αυτό δεν είναι επιθυμητό, αφού η στρατηγική ανόπτησης προϋποθέτει τη δυνατότητα εκτέλεσης μη βέλτιστων βημάτων. Από την άλλη πλευρά, η εφαρμογή τυχαίων βημάτων επιτρέπει τη διαφυγή από τοπικά ακρότατα αλλά συνεπάγεται μεγάλο υπολογιστικό φόρτο, αφού κατά κανόνα απαιτείται μεγάλος αριθμός δοκιμών μέχρι να επιτευχθεί σύγκλιση. Στην παραπάνω κατηγορία περιλαμβάνεται ο αλγόριθμος που έχει προταθεί από τους Corana et al. (1987), σύμφωνα με τον οποίο σε κάθε δοκιμή η τυχαία αναζήτηση πραγματοποιείται κατά μήκος ενός άξονα συντεταγμένων, δηλαδή μόνο μία παράμετρος μεταβάλλεται κάθε φορά. Για κάθε μεταβλητή ελέγχου ορίζεται ένα εύρος διακύμανσης, τα όρια του οποίου αναθεωρούνται μετά από ένα συγκεκριμένο κύκλο δοκιμών, έτσι ώστε να εξασφαλίζεται στατιστικά ότι τουλάχιστον το 50% των λύσεων βρίσκονται μέσα στα όρια του εφικτού χώρου (Goffe et al., 1994). Συνοπτική επισκόπηση των μεθόδων προσομοιωμένης ανόπτησης σε προβλήματα συνεχών μεταβλητών κάνουν οι Cardoso et al. (1996). Από τα σχήματα που αναφέρονται στη βιβλιογραφία, ιδιαίτερο ενδιαφέρον παρουσιάζει η σύζευξη της προσομοιωμένης ανόπτησης με μεθόδους απλόκου (annealing-simplex). Η ειδική αυτή κατηγορία αλγορίθμων εξετάζεται στο Κεφάλαιο Ρύθμιση χρονοδιαγράμματος ανόπτησης Μεγάλη σημασία για την επιτυχή λειτουργία του αλγορίθμου έχει το χρονοδιάγραμμα ανόπτησης (annealing schedule) του προσομοιωμένου θερμοδυναμικού συστήματος. Το χρονοδιάγραμμα ανόπτησης συνίσταται από τους ακόλουθους παράγοντες: την αρχική θερμοκρασία τη συνάρτηση μείωσης της θερμοκρασίας το μήκος των κύκλων θερμικής ισορροπίας τη συνθήκη τερματισμού του αλγορίθμου. Αρχική θερμοκρασία Η αρχική θερμοκρασία του συστήματος είναι πολύ σημαντική παράμετρος, στην οποία πρέπει να ορίζεται μια αρκετά υψηλή τιμή, έτσι ώστε να υπάρχει μεγάλη πιθανότητα αποδοχής μη βέλτιστων βημάτων κατά τα αρχικά στάδια εφαρμογής του αλγορίθμου. Ωστόσο, αν η τιμή αυτή γίνει υπερβολικά μεγάλη, η μέθοδος προσομοιωμένης ανόπτησης καθίσταται αναποτελεσματική, όχι μόνο εξαιτίας της πολύ αργής σύγκλισης αλλά και επειδή η διαδικασία βελτιστοποίησης εκπίπτει στην ουσία σε έναν τυχαίο περίπατο (random walk). Αντίθετα, αν η αρχική θερμοκρασία είναι χαμηλή, υπάρχει αυξημένη πιθανότητα εγκλωβισμού στο πρώτο ή σε ένα από τα πρώτα τοπικά ακρότατα που εντοπίζονται. Το φυσικό ανάλογο κατά τη διαδικασία ανόπτησης των μετάλλων είναι ότι με πολύ υψηλή αρχική θερμοκρασία το μέταλλο λιώνει, ενώ με σχετικά χαμηλή θερμοκρασία ψύχεται γρήγορα, προτού να προλάβει να αποκτήσει την επιθυμητή κρυσταλλική δομή. Οι Kirkpatrick et al. (1983) προτείνουν έναν απλό τρόπο ορισμού της Τ [0], βάσει της επιθυμητής πιθανότητας επιλογής μη βέλτιστων λύσεων Ρ [0]. Αρχικά τίθεται μια πολύ υψηλή τιμή θερμοκρασίας 41

60 και έπειτα από την εκτέλεση ορισμένων προκαταρκτικών βημάτων εκτιμάται η μέση αύξηση της αντικειμενικής συνάρτησης Δf. Αντικαθιστώντας στη σχέση (3.40) και μετά από πράξεις προκύπτει: Τ [0] Δf = [0] lnρ (3.41) Η επιθυμητή πιθανότητα επιλογής λαμβάνει υψηλές τιμές, της τάξης του 80-95%. Συνάρτηση μείωσης της θερμοκρασίας Η συνηθέστερη έκφραση της συνάρτησης μείωσης της θερμοκρασίας είναι: Τ [k + 1] = λ Τ [k] (3.42) όπου λ συντελεστής που λαμβάνει τιμές στο διάστημα (0, 1). Όσο πλησιέστερα στη μονάδα βρίσκεται ο ρυθμός μείωσης λ, τόσο μεγαλύτερη είναι η διερεύνηση του χώρου πολιτικής και κατά συνέπεια τόσο μεγαλύτερη η πιθανότητα εύρεσης του ολικού ελαχίστου αλλά και τόσο πιο αργή η σύγκλιση της μεθόδου (Σχήμα 3.6). Κατά κανόνα οι τιμές του λ κυμαίνονται στο διάστημα [0.80, 0.99]. Πιθανότητα αποδοχής μη βέλτιστου βήματος Αριθμός επαναλήψεων, k λ = 0.95 λ = 0.80 λ = 0.50 Σχήμα 3.6: Γραφική απεικόνιση χρονοδιαγραμμάτων ανόπτησης, για διαφορετικές τιμές του συντελεστή λ. Ο ρυθμός μείωσης της θερμοκρασίας μπορεί όχι μόνο να είναι σταθερός αλλά και εξαρτώμενος από τον χρόνο, δηλαδή τον τρέχοντα αριθμό δοκιμών. Οι Press et al. (1992) προτείνουν μεταξύ άλλων την αναδρομική σχέση: Τ [k + 1] = Τ [0] (1 k / Κ) α (3.43) όπου Κ ο μέγιστος επιτρεπόμενος αριθμός επαναλήψεων και α σταθερά, με τυπικές τιμές 1, 2 ή 4 (μεγάλες τιμές του α απαιτούν περισσότερες επαναλήψεις σε χαμηλές θερμοκρασίες). Οι Huang et al. (1986) θεωρούν μεταβαλλόμενο ρυθμό μείωσης της θερμοκρασίας, ο οποίος εξαρτάται από τα στατιστικά χαρακτηριστικά του εφικτού χώρου. Η στρατηγική που προτείνουν, όπως έχει χρησιμοποιηθεί από τους Dougherty and Marryot (1991), είναι: λ [k + 1] = max {exp( β Τ [k] / σ [k] ), 0.5} (3.44) 42

61 όπου σ [k] η τυπική απόκλιση του δείγματος λύσεων που έχουν εξεταστεί στον τρέχοντα κύκλο k με θερμοκρασία Τ [k] και β παράμετρος κλίμακας, εξαρτώμενη από το πεδίο τιμών της αντικειμενικής συνάρτησης. Η ελάχιστη τιμή λ min = 0.5 εξασφαλίζει έναν επαρκώς βραδύ ρυθμό μείωσης της θερμοκρασίας κατά τα αρχικά βήματα. Οι Aarts and van Laarhoven (1985) προτείνουν την εξίσωση: Τ [k + 1] = Τ [k] 1 + Τ[k] ln(1 + δ) 3σ [k] (3.45) όπου δ παράμετρος απόστασης από την κατάσταση θερμικής ισορροπίας. Με κατάλληλη ρύθμιση της παραμέτρου δ, μπορεί να επιβραδυνθεί ο ρυθμός μείωσης της θερμοκρασίας κατά τα μεταγενέστερα στάδια του αλγορίθμου. Τέλος, οι Bohachevsky et al. (1986) προτείνουν ένα διαφορετικό χρονοδιάγραμμα ανόπτησης, το οποίο βασίζεται στη σχέση: Τ [k + 1] = a [f [k] f *[k] ] g (3.46) όπου f *[k] η εκτιμήτρια του ολικού βελτίστου κατά τον τρέχοντα κύκλο και a, g θετικές παράμετροι. Σημειώνεται ότι όσο προσεγγίζεται το ολικό ακρότατο, τόσο μικρότερη είναι η θερμοκρασία και άρα τόσο μικρότερη η πιθανότητα αποδοχής μη βέλτιστων βημάτων. Μήκος κύκλων θερμικής ισορροπίας Η τιμή του μήκους L είναι κατά κανόνα πολλαπλάσιο της διάστασης n του προβλήματος, ενώ μπορεί να προσαρμόζεται και ανάλογα με την εξέλιξη της βελτιστοποίησης. Για παράδειγμα, οι Ali and Storey (1997) επιτρέπουν μεγάλα μήκη κύκλων όταν εξερευνάται μεγάλη έκταση του εφικτού χώρου. Συνθήκη τερματισμού Ο αλγόριθμος ανόπτησης τερματίζεται όταν είτε το πλήθος των κύκλων θερμικής ισορροπίας είτε ο συνολικός αριθμός δοκιμών είτε η θερμοκρασία φτάσουν κάποιο προκαθορισμένο όριο (μέγιστο ή ελάχιστο). Σε ορισμένες περιπτώσεις, προτείνεται η επανεκκίνηση του αλγορίθμου (reannealing) ώσπου να εντοπιστεί το ίδιο ολικό ακρότατο περισσότερες από μία φορές (π.χ., Pan and Wu, 1998). Αποδεικνύεται ότι κάτω από ορισμένες προϋποθέσεις, η μέθοδος προσομοιωμένης ανόπτησης συγκλίνει πάντοτε στο ολικό ακρότατο όταν η θερμοκρασία τείνει στο μηδέν, τόσο σε προβλήματα συνδυαστικής βελτιστοποίησης (Aarts and van Laarhoven, 1985) όσο και σε προβλήματα συνεχών μεταβλητών (Locatelli, 2000). Στην πράξη, ο ακριβής εντοπισμός του ολικού βελτίστου απαιτεί υπερβολικά μεγάλο (θεωρητικά άπειρο) κύκλο επαναλήψεων, ωστόσο με κατάλληλη προσαρμογή του χρονοδιαγράμματος ανόπτησης μπορεί να επιτευχθεί ικανοποιητική προσέγγιση αυτού με λιγότερες δοκιμές. Οι Park and Kim (1998) προτείνουν ένα μοντέλο βέλτιστης ρύθμισης των παραμέτρων του χρονοδιαγράμματος, με χρήση του αλγορίθμου Nelder-Mead (βλ ). 3.5 Ευρετικές μέθοδοι Οι ευρετικές μέθοδοι (heuristics) δεν μπορούν να ενταχθούν σε καμία από τις συνήθεις κατηγορίες αλλά κατά κανόνα δανείζονται τεχνικές και στρατηγικές από διαφορετικές περιοχές, με στόχο την ανάπτυξη ευέλικτων και εύρωστων σχημάτων βελτιστοποίησης. Στην παρούσα εργασία εξετάζονται δύο τέτοια σχήματα, η ανασχηματιζόμενη σύνθετη εξέλιξη και η αποτρεπτική αναζήτηση. 43

62 3.5.1 Η μέθοδος ανασχηματιζόμενης σύνθετης εξέλιξης Η μέθοδος ανασχηματιζόμενης σύνθετης εξέλιξης (Shuffled Complex Evolution, SCE) αναπτύχθηκε πριν από λίγα χρόνια από μια ερευνητική ομάδα στο Πανεπιστήμιο της Αριζόνα (Duan et al. 1992) και μέσα σε πολύ σύντομο χρονικό διάστημα καθιερώθηκε ως μία από τις πλέον αποτελεσματικές τεχνικές βελτιστοποίησης προβλημάτων στον χώρο της υδρολογίας. Το κύριο πεδίο εφαρμογής της μεθόδου είναι η βαθμονόμηση υδρολογικών μοντέλων (Duan et al. 1994a, Gan and Biftu, 1996 Cooper et al., 1997 Kuczera, 1997 Freedman et al., 1998 Thyer et al., 1999), ενώ έχουν αναπτυχθεί παραλλαγές του αρχικού αλγορίθμου για την επίλυση προβλημάτων πολυστοχικού προγραμματισμού (Yapo et al., 1998). Όπως αναφέρθηκε στο εδάφιο 3.2.3, η τεχνική πολλαπλών εκκινήσεων αλγορίθμων τοπικής βελτιστοποίησης μπορεί να οδηγήσει στην ολικά βέλτιστη λύση με αυξημένη αξιοπιστία. Ωστόσο, επειδή κάθε δοκιμή είναι εντελώς ανεξάρτητη από τις άλλες, δεν γίνεται ανταλλαγή των επιμέρους πληροφοριών που συλλέγονται κατά τη διερεύνηση του χώρου των εφικτών λύσεων. Αυτό είναι ανάλογο με την προσπάθεια επίλυσης ενός δύσκολου προβλήματος από μια ομάδα επιστημόνων, οι οποίοι εργάζονται παράλληλα, χωρίς όμως να συνεργάζονται ποτέ. Μια αναμφισβήτητα πιο αποτελεσματική στρατηγική θα ήταν η διενέργεια τακτικών συναντήσεων της ομάδας, έτσι ώστε να ανταλλάσσουν ιδέες και να ενημερώνονται για την πορεία προόδου του προβλήματος. Στην ανασχηματιζόμενη σύνθετη εξέλιξη εφαρμόζεται η παραπάνω στρατηγική, με συνδυασμό των αρχών του εξελικτικού προγραμματισμού, της ελεγχόμενης τυχαίας αναζήτησης και της μεθόδου Nelder-Mead. Η γενική ιδέα έχει ως εξής: Αρχικά παράγεται ένα πλήθος σημείων μέσα από τον εφικτό χώρο, το οποίο χωρίζεται ανά ομάδες (complexes), οι οποίες αναπτύσσονται ανεξάρτητα. Από κάθε ομάδα παράγεται ένας βελτιωμένος πληθυσμός, χρησιμοποιώντας ένα σχήμα απλόκου και ορισμένα στατιστικά κριτήρια εξέλιξης. Η διαδικασία αυτή καλείται ανταγωνιστική σύνθετη εξέλιξη (Competitive Complex Evolution, CCE). Ανά τακτά διαστήματα ο συνολικός πληθυσμός χωρίζεται σε νέες ομάδες, εξασφαλίζοντας τη διάδοση των πληροφοριών που έχουν συλλεγεί. Σταδιακά, όλα τα σημεία τείνουν προς το ολικό βέλτιστο του προβλήματος, υπό την προϋπόθεση ότι το μέγεθος του αρχικού πληθυσμού είναι αρκετά μεγάλο. Ο αλγόριθμος περιλαμβάνει μια κύρια και μια βοηθητική ρουτίνα, στην οποία υλοποιείται ο αλγόριθμος ανταγωνιστικής σύνθετης εξέλιξης. Τα βήματα της κύριας ρουτίνας, το διάγραμμα ροής της οποίας απεικονίζεται στο Σχήμα 3.7, είναι: Βήμα 1ο: Δίνονται τα στοιχεία εισόδου, δηλαδή η διάσταση του προβλήματος n, ο αριθμός των ομάδων p 1 και το πλήθος των σημείων κάθε ομάδας m n + 1, το οποίο κατά κανόνα τίθεται ίσο με 2n + 1. Υπολογίζεται το μέγεθος του δείγματος s = p m. Βήμα 2ο: Παράγεται ο αρχικός πληθυσμός, με γέννηση s τυχαίων σημείων x 1, x 2,, x s μέσα στον εφικτό χώρο Ω R n. Σε κάθε σημείο x i υπολογίζεται η τιμή της αντικειμενικής συνάρτησης f i = f(x i ). Εξαιτίας της απουσίας πληροφοριών σχετικά με τις ιδιότητες του χώρου Ω, τα σημεία παράγονται από μια γεννήτρια ομοιόμορφων διανυσμάτων. Βήμα 3ο: Τα σημεία ταξινομούνται κατά αύξουσα τιμή της αντικειμενικής συνάρτησης και αποθηκεύονται σε ένα διάνυσμα D = {x i, f i }, τέτοιο ώστε το πρώτο στοιχείο του να αντιστοιχεί στο σημείο με την ελάχιστη τιμή της συνάρτησης. Βήμα 4ο: Τα στοιχεία του D χωρίζονται σε p ομάδες A [1], A [2],, A [p], κάθε μία από τις οποίες περιέχει m σημεία, έτσι ώστε x i [k] = x k + p(i 1), με k = 1, 2,, p και i = 1, 2,, m. Βήμα 5ο: Κάθε ομάδα A [k] εξελίσσεται με βάση τον αλγόριθμο CCE. 44

63 Βήμα 6ο: Τα εξελιγμένα δείγματα A [1], A [2],, A [p] επανατοποθετούνται στο διάνυσμα D και στη συνέχεια ταξινομείται το σύνολο των σημείων κατά αύξουσα τιμή της αντικειμενικής συνάρτησης. Βήμα 7ο: Ελέγχεται αν ο τρέχων πληθυσμός ικανοποιεί ένα τουλάχιστον από τα κριτήρια τερματισμού, όπως η σύγκλιση του αλγορίθμου, η οποία ελέγχεται μέσω της τυπικής απόκλισης του δείγματος τιμών της αντικειμενικής συνάρτησης, το συνολικό πλήθος δοκιμών κλπ. Αν κανένα από τα κριτήρια δεν ικανοποιείται, τότε ο αλγόριθμος επαναλαμβάνεται από το βήμα 4. Στοιχεία εισόδου: n = διάσταση προβλήματος, p = πλήθος ομάδων, m = πληθυσμός ομάδας Υπολογισμοί: s = p m, m = 2n + 1 Αρχικό δείγμα: s τυχαία σημεία x i, ομοιόμορφα κατανεμημένα στον χώρο εφικτών λύσεων Ω Υπολογισμοί: η τιμή της f σε κάθε σημείο Ταξινόμηση: τα σημεία x i κατατάσσονται κατά φθίνουσα σειρά με βάση την τιμή της f Αποθήκευση: το δείγμα αποθηκεύεται στο D Διαχωρισμός: το σύνολο D διαιρείται σε p υποσύνολα (ομάδες) των m σημείων, δηλαδή D = {A [k], k = 1, 2,..., p} Εξέλιξη: παραγωγή νέου πληθυσμού σημείων από κάθε ομάδα A [k], με εφαρμογή του εξελικτικού αλγορίθμου CCE Αλγόριθμος CCE Μίξη: αντικατάσταση όλων των ομάδων A [k] (k = 1, 2,..., p) μέσα στο σύνολο D Όχι Ικανοποιούνται τα κριτήρια σύγκλισης ; Ναι ΤΕΛΟΣ Σχήμα 3.7: Διάγραμμα ροής του αλγορίθμου ανασχηματιζόμενης σύνθετης εξέλιξης. Στο Σχήμα 3.8 απεικονίζεται με μορφή λογικού διαγράμματος η διαδικασία ανταγωνιστικής σύνθετης εξέλίξης κάθε ομάδας A [k]. Κάθε μέλος της ομάδας είναι ένας υποψήφιος γονέας. Δύο ή περισσότεροι γονείς μορφώνουν μια "υποομάδα" (sub-complex) και διασταυρώνονται για να παράγουν ένα νέο σημείο, το οποίο αντικαθιστά το χειρότερο της υποομάδας. Για να εξασφαλιστεί η ανταγωνιστικότητα της εξελικτικής διαδικασίας, ορίζεται μεγαλύτερη πιθανότητα επιλογής των καλών λύσεων (γονέων) σε σχέση με τις κακές. Η παραγωγή των περισσότερων απογόνων πραγματοποιείται με βάση τη 45

64 μέθοδο κατερχόμενου απλόκου των Nelder and Mead (βλ ), ενώ ένα μικρό ποσοστό απογόνων παράγεται τυχαία (χωρίς συμμετοχή των γονέων). Η περίπτωση αυτή, η οποία είναι αντίστοιχη της μετάλλαξης των γενετικών αλγορίθμων, εμφανίζεται όταν η λύση που προκύπτει μέσω της διαδικασίας Nelder-Mead είναι μη εφικτή και εξασφαλίζει καλύτερη διερεύνηση του χώρου λύσεων. Αναλυτικά, τα βήματα του αλγορίθμου έχουν ως εξής: Βήμα 1ο: Ορίζονται οι τιμές των παραμέτρων q, α, β όπου 2 q m, α 1 και β 1. Κατά κανόνα τίθενται οι τιμές q = n + 1, α = 1 και β = 2n + 1. Βήμα 2ο: Για κάθε σημείο x i [k] της ομάδας A [k] ορίζεται η τριγωνική πιθανότητα: p i = 2(m + 1 i) m(m + 1) για κάθε i = 1, 2,, m (3.47) Κατά συνέπεια, στο σημείο x 1 [k] αντιστοιχεί η μεγαλύτερη πιθανότητα p 1 = 2/(m + 1), ενώ στο σημείο x m [k] αντιστοιχεί η μικρότερη πιθανότητα p m = 2/m(m + 1). Βήμα 3ο: Επιλέγονται οι γονείς, ορίζοντας q τυχαία σημεία από την ομάδα A [k] σύμφωνα με την τριγωνική κατανομή πιθανοτήτων. Τα q αυτά σημεία, τα οποία ορίζουν μία υποομάδα, αποθηκεύονται στο διάνυσμα Β = {u i, f(u i )}, ενώ οι αντίστοιχες θέσεις τους στο A [k] αποθηκεύονται στο διάνυσμα L. Βήμα 4ο: Η επόμενη γενιά παράγεται με βάση την ακόλουθη διαδικασία, η οποία αποτελεί παραλλαγή της μεθόδου Nelder-Mead: (4α) Το διάνυσμα Β ταξινομείται κατά αύξουσα τιμή της αντικειμενικής συνάρτησης f(u i ), ενώ σύμφωνα με αυτό ταξινομείται και το διάνυσμα L. Κατασκευάζεται το κεντροειδές g, βάσει της σχέσης: q 1 1 g = q 1 u i (3.48) i = 1 (4β) Υπολογίζεται το νέο σημείο r = 2g u q (βήμα ανάκλασης). (4γ) Ελέγχεται αν το σημείο r βρίσκεται μέσα στα όρια του εφικτού χώρου Ω. Αν το r είναι μη εφικτό, τότε αντικαθίσταται από ένα τυχαίο σημείο, το οποίο γεννάται τυχαία μέσα από τον μικρότερο κύβο Η R n που περικλείει το σύνολο A [k] (βήμα μετάλλαξης). (4δ) Αν f(r) < f(u q ) τότε το u q, που είναι το χειρότερο σημείο της υποομάδας, αντικαθίσταται από το r και ο αλγόριθμος μεταβαίνει στο βήμα (4στ), διαφορετικά υπολογίζεται ένα νέο σημείο c = (g + u q )/2 (βήμα συρρίκνωσης). (4ε) Αν f(c) < f(u q ) τότε τίθεται u q = c και ο αλγόριθμος μεταβαίνει στο βήμα (4στ), διαφορετικά το u q αντικαθίσταται από ένα τυχαίο σημείο το οποίο γεννάται μέσα από τον εφικτό χώρο Η (βήμα μετάλλαξης). (4στ) Τα βήματα (4α)-(4ε) επαναλαμβάνονται α φορές. Βήμα 5ο: Οι γονείς αντικαθίστανται από τους απογόνους τους, δηλαδή ο εξελιγμένος πληθυσμός της υποομάδας Β αντικαθιστά τον αρχικό, ο οποίος βρίσκεται αποθηκευμένος στο A [k], διατηρώντας τις θέσεις που ορίζονται στο διάνυσμα L. Στη συνέχεια, το σύνολο A [k] ταξινομείται εκ νέου, με κριτήριο την τιμή της αντικειμενικής συνάρτησης. Βήμα 6ο: Τα βήματα 2-5 επαναλαμβάνονται β φορές, όπου β το μήκος της διαδικασίας εξέλιξης (δηλαδή ο αριθμός των απογόνων). 46

65 Έστω n η διάσταση του προβλήματος και Α ένα σύνολο σημείων, πλήθους m. Επιλέγονται οι παράμετροι q, α, β ώστε 2 q m, α 1, β 1. Τίθεται i = 1. Ορίζεται μία τριγωνική κατανομή πιθανοτήτων στο Α, τέτοια ώστε p i = 2(m i) / (m 2 + m) για κάθε i = 1, 2,..., m Επιλέγονται q σημεία u i από το Α, με βάση την τριγωνική κατανομή. Τα σημεία αποθηκεύονται στο Β, ενώ οι σχετικές θέσεις τους στο L. Τίθεται j = 1. Τα Β και L ταξινομούνται κατά αύξουσα τιμή της f, ώστε το u q να είναι το χειρότερο από όλα. Υπολογίζεται το κεντροειδές g των u 1,..., u q - 1 Υπολογίζεται το σημείο r = 2g - u q (βήμα ανάκλασης) Όχι r Ω; Ναι Υπολογίζεται η τιμή f(r) Γεννάται ένα νέο σημείο r Η, όπου Η ο μικρότερος κύβος στο R n που περιέχει το Α Τίθεται u q = r Ναι f(r) < f(u q ); Όχι Υπολογίζεται το σημείο c = (g + u q )/2 f(c) < f(u q ); Ναι Τίθεται u q = c Όχι Γεννάται ένα νέο σημείο r Η i = i + 1 j = j + 1 j α; Όχι Ναι Τοποθετούνται τα στοιχεία του Β μέσα στο Α, σύμφωνα με τη διάταξη L, και ταξινομούνται τα στοιχεία του Α κατά αύξουσα σειρά Όχι i β; Ναι Έξοδος Σχήμα 3.8: Διάγραμμα ροής του αλγορίθμου ανταγωνιστικής σύνθετης εξέλιξης. 47

66 3.5.2 Η μέθοδος αποτρεπτικής αναζήτησης Η μέθοδος αποτρεπτικής αναζήτησης (tabu search), η οποία προτάθηκε από τον Glover (1986), προσομοιώνει τις διεργασίες της ανθρώπινης μνήμης. Η βασική αρχή της μεθόδου συνίσταται στη διατήρηση μιας απαγορευμένης λίστας (tabu list), στην οποία αποθηκεύονται όλες οι πρόσφατες μετακινήσεις που πραγματοποιούνται κατά τη διαδικασία βελτιστοποίησης. Όπως προδικάζει η ονομασία της, η λίστα αυτή χρησιμοποιείται για να εμποδίζει την αναζήτηση σε περιοχές που έχουν ήδη εξερευνηθεί. Προτού επιλεγεί μια υποψήφια λύση, ελέγχεται αν αυτή είναι καταχωρημένη ή όχι στη λίστα και στην περίπτωση που είναι, δεν γίνεται αποδεκτή. Με τον τρόπο αυτό επιτυγχάνεται η διαφυγή από τοπικά ακρότατα, αφού θεωρητικά διερευνάται όσο το δυνατό μεγαλύτερο εύρος του εφικτού χώρου. Όπως και στην περίπτωση της προσομοιωμένης ανόπτησης, η τεχνική της αποτρεπτικής αναζήτησης αναπτύχθηκε αρχικά για την επίλυση προβλημάτων συνδυαστικής βελτιστοποίησης, ενώ μόλις τα τελευταία χρόνια γενικεύτηκε για προβλήματα συνεχών μεταβλητών (Al-Sultan and Al-Fawzan, 1997 Siarry and Berthiau, 1997 Chelouah and Siarry, 2000). Η μέθοδος έχει χρησιμοποιηθεί σε περιορισμένο μόνο αριθμό εφαρμογών από το χώρο των υδατικών πόρων, από τους Zheng and Wang (1996, 1999). Οι Al-Sultan and Al-Fawzan (1997) ανέπτυξαν ένα συνδυαστικό σχήμα, βάσει του οποίου σε κάθε κύκλο παράγονται τυχαίες διευθύνσεις αναζήτησης και η βελτιστοποίηση πραγματοποιείται κατά μήκος της εκάστοτε διεύθυνσης. Η διαδικασία επαναλαμβάνεται και ρυθμίζεται με τη στρατηγική της αποτρεπτικής αναζήτησης. Ο αλγόριθμος συνεχούς αποτρεπτικής αναζήτησης (Continuous Tabu Search, CTS) που ανέπτυξαν οι Siarry and Berthiau (1997) ξεκινά από μια τυχαία αρχική λύση s, γύρω από την οποία παράγεται ένα σύνολο γειτονικών λύσεων S, οι οποίες αποθηκεύονται στην απαγορευμένη λίστα. Για το σύνολο των γειτονικών λύσεων υπολογίζεται η τιμή της αντικειμενικής συνάρτησης και η βέλτιστη εξ αυτών αντικαθιστά την s, ανεξάρτητα αν καλύτερη από αυτή ή όχι. Μετά την αντικατάστασή της, η s τοποθετείται στην απαγορευμένη λίστα. Μόλις εξαντλείται η χωρητικότητά της, η λίστα ανανεώνεται, αφαιρώντας τη λύση η οποία είχε αποθηκευτεί πρώτη, οπότε πραγματοποιείται ένας νέος κύκλος δοκιμών ξεκινώντας από το τρέχον σημείο. Η διαδικασία επαναλαμβάνεται μέχρι να ικανοποιηθούν ορισμένα κριτήρια σύγκλισης. Στην περίπτωση των προβλημάτων συνεχών μεταβλητών, ο καθορισμός των γειτονικών λύσεων απαιτεί μια διαδικασία διακριτοποίησης του εφικτού χώρου (η έννοια της διακριτοποίησης υπάρχει εξ ορισμού στα προβλήματα ακέραιων μεταβλητών). Για την επίτευξη μιας ομοιογενούς διερεύνησης του χώρου, θεωρείται ένα σύνολο m υπερσφαιρών με κέντρο την τρέχουσα λύση s και ακτίνες h 0, h 1,, h m. Ο χώρος διαμερίζεται σε ομόκεντρους δακτυλίους C i (s, h i 1, h i ) τέτοιους ώστε: C i (s, h i 1, h i ) = {s': h i 1 s' s h i } (3.49) Κάθε μία από τις m γειτονικές λύσεις της s γεννάται τυχαία μέσα στον αντίστοιχο δακτύλιο C i. Οι Chelouah and Siarry (2000) προτείνουν βελτιωμένη εκδοχή του αλγορίθμου CTS, τη μέθοδο εμπλουτισμένης συνεχούς αποτρεπτικής αναζήτησης (Enhanced Continuous Tabu Search, ECTS). Το σχήμα που ανέπτυξαν δίνει έμφαση σε δύο βασικές έννοιες, οι οποίες εμπεριέχονται στην αυθεντική μέθοδο του Glover, τη διαποίκιλση (diversification) και την εντατικοποίηση (intensification). Όμοια με την CTS, η βελτιωμένη μέθοδος ECTS (στην οποία οι δακτύλιοι, για λόγους μαθηματικής ευκολίας, αντικαθίστανται από υπερεπίπεδα) αποδέχεται μια νέα λύση ακόμη και αν είναι χειρότερη από την τρέχουσα, μόνο εφόσον δεν ανήκει στην απαγορευμένη λίστα. Στο Σχήμα 3.9 απεικονίζεται η διαδικασία διαποίκιλσης στον χώρο των δύο διαστάσεων. Ξεκινώντας από την αρχική λύση s 0 *, παράγονται m = 3 γειτονικές λύσεις S 0 = {s 01, s 02, s 03 } και η καλύτερη εξ αυτών αποτελεί τη νέα λύση 48

67 s 1 *, γύρω από την οποία γεννώνται οι επόμενες γειτονικές λύσεις. Το πλήθος των γειτονικών λύσεων m είναι μία από τις εννέα συνολικά παραμέτρους εισόδου του αλγορίθμου ECTS. Η διαδικασία αυτή επαναλαμβάνεται μέχρι να ικανοποιηθούν ορισμένα κριτήρια τερματισμού. Με τον τρόπο αυτό επιτυγχάνεται η διερεύνηση μιας όσο το δυνατόν μεγαλύτερης έκτασης του χώρου εφικτών λύσεων και βάσει κάποιου κριτηρίου εντοπίζονται οι υποσχόμενες περιοχές (promising areas), οι περιοχές δηλαδή όπου υπάρχει αυξημένη πιθανότητα να κείται η βέλτιστη λύση. Μετά το πέρας της διαδικασίας διαποίκιλσης επιλέγεται η πλέον υποσχόμενη περιοχή, η οποία θεωρείται ως ο νέος χώρος εφικτών λύσεων και διερευνάται διεξοδικά. Η διαδικασία αυτή, η οποία καλείται εντατικοποίηση, απαιτεί αρχικά την εκκένωση της απαγορευμένης λίστας και στη συνέχεια τη γέννηση γειτονικών λύσεων, με σταδιακή μείωση του μεγέθους των δακτυλίων ώσπου να επιτευχθεί σύγκλιση στη βέλτιστη λύση. Δηλαδή ο αλγόριθμος πραγματοποιεί αρχικά μια αδρή και στη συνέχεια μια πιο λεπτομερή διερεύνηση του εφικτού χώρου, εφαρμόζοντας και στις δύο περιπτώσεις τη στρατηγική της αποτρεπτικής αναζήτησης. Χώρος εφικτών λύσεων s 0 * s 1 * s 2 * s 3 * s 12 s 1 * s 11 s 13 Σχήμα 3.9: Γραφική απεικόνιση της διαδικασίας διαποίκιλσης στη μέθοδο ECTS. Παρά το ότι η μέθοδος αποτρεπτικής αναζήτησης παρουσιάζει μεγάλο ενδιαφέρον, δεν έχει ακόμη καταξιωθεί στο χώρο της συνεχούς βελτιστοποίησης. Αντίθετα, είναι πιο διαδεδομένη σε εφαρμογές ακέραιων μεταβλητών, όπου η έννοια των γειτονικών λύσεων είναι γεωμετρικά πιο ξεκάθαρη. Δύο σοβαρά μειονεκτήματά της είναι ο φόρτος που απαιτείται σε προβλήματα πολλών μεταβλητών ελέγχου καθώς και το σχετικά μεγάλο πλήθος των αλγοριθμικών παραμέτρων εισόδου, ο ορισμός των οποίων γίνεται αυθαίρετα. Για παράδειγμα ο αλγόριθμος ECTS των Chelouah and Siarry (2000) που περιγράφηκε παραπάνω περιέχει 9 τέτοιες παραμέτρους. Ένα σημαντικό χαρακτηριστικό της μεθόδου είναι ότι η επιλογή των λύσεων γίνεται βάσει προσδιοριστικών και μόνο κριτηρίων, σε αντίθεση με την πλειοψηφία των τεχνικών ολικής βελτιστοποίησης, όπου στους μηχανισμούς επιλογής λύσεων υπεισέρχεται και η τυχαιότητα. 49

68 4 Διερεύνηση και ανάπτυξη ευρετικών σχημάτων ανόπτησης-απλόκου 4.1 Σύζευξη μεθόδων ανόπτησης με τεχνικές τοπικής αναζήτησης Με βάση τα όσα αναφέρθηκαν στα προηγούμενα δύο κεφάλαια, τα κύρια χαρακτηριστικά των σχημάτων προσομοιωμένης ανόπτησης και των μεθόδων τοπικής βελτιστοποίησης είναι: Οι μέθοδοι προσομοιωμένης ανόπτησης εγγυώνται στατιστική σύγκλιση στο ολικό βέλτιστο μιας συνάρτησης, αποφεύγοντας τον εγκλωβισμό σε τοπικά ακρότατα. Ωστόσο, η ταχύτητα σύγκλισης των αλγορίθμων ανόπτησης είναι εξαιρετικά μικρή, και θεωρητικά απαιτείται άπειρος αριθμός δοκιμών μέχρι της εύρεση της ολικά βέλτιστης λύσης. Οι τεχνικές τοπικής αναζήτησης εντοπίζουν με ακρίβεια και ταχύτητα το τοπικό ακρότατο, στην περιοχή έλξης του οποίου βρίσκεται το σημείο εκκίνησής τους, αδυνατώντας ωστόσο να ξεφύγουν από αυτό. Με κατάλληλη προσαρμογή, είναι δυνατή η σύζευξη των δύο μεθόδων έτσι ώστε να συνδυάζονται τα πλεονεκτήματά τους και ταυτόχρονα να αίρονται τα μειονεκτήματά τους. 'Έτσι, η μεν στρατηγική ανόπτησης χρησιμοποιείται για την αδρομερή διερεύνηση του χώρου εφικτών λύσεων αναζητώντας περιοχές έλξης τοπικών ακροτάτων, ο δε αλγόριθμος τοπικής αναζήτησης καλείται να εντοπίσει το τοπικό ακρότατο, το οποίο γίνεται αποδεκτό με βάση το πιθανοτικό κριτήριο Metropolis. Στην πραγματικότητα, η μέθοδος τοπικής βελτιστοποίησης μετασχηματίζει την αντικειμενική συνάρτηση f σε μια κλιμακωτή συνάρτηση f ', το πεδίο τιμών της οποίας είναι όλα τα τοπικά ακρότατα της αρχικής συνάρτησης, στα οποία προφανώς συμπεριλαμβάνεται και το ολικό βέλτιστο (Σχήμα 4.1). Με τον τρόπο αυτό, η ανόπτηση δεν πραγματοποιείται πάνω στην αρχική συνάρτηση f αλλά στη μετασχηματισμένη f ' (Desai and Patil, 1996). Σχήμα 4.1: Επίδραση μιας τεχνικής τοπικής βελτιστοποίησης σε συνάρτηση μιας μεταβλητής. 50

69 4.2 Βιβλιογραφική επισκόπηση Η προσφορότερη τεχνική τοπικής βελτιστοποίησης για προσαρμογή σε συνδυαστικά σχήματα ανόπτησης είναι η μέθοδος Nelder-Mead (βλ ). Υπενθυμίζεται ότι πρόκειται για ιδιαίτερα ευέλικτη μέθοδο άμεσης αναζήτησης, η οποία χρησιμοποιεί το άπλοκο για τη διερεύνηση του χώρου λύσεων, προσαρμοζόμενη στα γεωμετρικά χαρακτηριστικά της επιφάνειας απόκρισης της αντικειμενικής συνάρτησης. Η σύζευξη της στρατηγικής ανόπτησης με τη μέθοδο απλόκου (annealing-simplex) είναι πολύ πρόσφατη. Προτάθηκε από τους Press et al. (1992), ενώ στη συνέχεια αναπτύχθηκαν ορισμένες βελτιωμένες παραλλαγές της. Μέχρι στιγμής, η μέθοδος αυτή έχει εφαρμοστεί σε ένα περιορισμένο εύρος προβλημάτων βελτιστοποίησης από τον χώρο των υδατικών πόρων, με αρκετά θετικά συμπεράσματα (Sumner et al., 1997 Pan and Wu, 1998 Thyer et al., 1999). Στη συνέχεια του κεφαλαίου επισκοπούνται το σχήμα ανόπτησης-απλόκου των Press et al. καθώς και δύο ενδιαφέρουσες παραλλαγές του Το σχήμα των Press et al. (1992) Οι Press et al. (1992) τροποποίησαν την κλασική μέθοδο Nelder-Mead προσαρμόζοντας την στρατηγική ανόπτησης, έτσι ώστε η διαταραχή γύρω από την τρέχουσα λύση να ισοδυναμεί με τις γνωστές κινήσεις του απλόκου (ανάκλαση, επέκταση, συμπίεση, συρρίκνωση). Η εφαρμογή του κριτηρίου Metropolis γίνεται προσθέτοντας μια θετική, λογαριθμικά κατανεμημένη τυχαία μεταβλητή (ανάλογη της θερμοκρασίας Τ) στην τιμή της συνάρτησης που αντιστοιχεί σε κάθε κορυφή του απλόκου, αφαιρώντας ταυτόχρονα μια παρόμοια τυχαία μεταβλητή από την τιμή της συνάρτησης σε κάθε νέο σημείο που παράγεται. Με τον τρόπο αυτό γίνονται αποδεκτά όλα τα βήματα κατάβασης, καθώς και ορισμένα βήματα ανάβασης. Όταν η θερμοκρασία Τ τείνει προς το μηδέν, ο αλγόριθμος εκπίπτει ακριβώς στη μέθοδο Nelder- Mead, συγκλίνοντας σε τοπικό ελάχιστο της συνάρτησης. Όταν η τιμή της θερμοκρασίας είναι πεπερασμένη, το άπλοκο εκτελεί βήματα τα οποία είναι τόσο πιο τυχαία όσο μικρότερος είναι ο λόγος Δf / Τ. Σημειώνεται ότι, κατά κανόνα, σε ένα μικρού μεγέθους άπλοκο οι διαφορές των τιμών της αντικειμενικής συνάρτησης στις κορυφές του είναι μικρές. Αυτό έχει ως αποτέλεσμα ότι ακόμη και αν η θερμοκρασία του συστήματος γίνει πολύ μικρή, τα μη βέλτιστα βήματα να γίνονται αποδεκτά με σχετικά αυξημένη πιθανότητα, κάτι το οποίο προφανώς δεν είναι επιθυμητό. Τα βήματα του αλγορίθμου σε κάθε κατάσταση θερμικής ισορροπίας έχουν ως εξής: Βήμα 1ο: Εντοπίζονται η καλύτερη (x 1 ), η χειρότερη (x n + 1 ) και η δεύτερη χειρότερη (x n ) κορυφή του απλόκου με βάση το τροποποιημένο κριτήριο Metropolis: f(x i ) + T log(r) (4.1) όπου r τυχαίος αριθμός που παράγεται από μια ομοιόμορφη κατανομή πιθανοτήτων. Βήμα 2ο: Ελέγχεται αν ικανοποιείται το κριτήριο σύγκλισης: f(x n + 1 ) f(x 1 ) f(x n + 1 ) + f(x 1 ) < ε / 2 (4.2) όπου ε μικρός θετικός αριθμός, ο οποίος εκφράζει τη μέγιστη επιτρεπόμενη ανοχή ως προς τη σχετική απόσταση μεταξύ των τιμών της συνάρτησης της καλύτερης και χειρότερης τρέχουσας λύσης. Εφόσον το κριτήριο ικανοποιείται, ο αλγόριθμος επαναλαμβάνεται με μικρότερη θερμοκρασία, η τιμή της οποίας καθορίζεται από το χρονοδιάγραμμα ανόπτησης που έχει επιλεγεί. 51

70 Βήμα 3ο: Εκτελείται ένας τυπικός κύκλος της διαδικασίας Nelder-Mead για τον εντοπισμό του τοπικού ελαχίστου (βλ ), με τη μόνη διαφορά ότι κάθε φορά που παράγεται ένα νέο σημείο x' επιστρέφεται η διαταραγμένη τιμή της αντικειμενικής συνάρτησης: f(x') T log(r) (4.3) Με τον τρόπο αυτό κάθε νέα λύση "πριμοδοτείται", αυξάνοντας έτσι την πιθανότητα αποδοχής της Το σχήμα των Kvaniscka and Pospichal (1997) Οι Kvaniscka and Pospichal (1997) προσάρμοσαν τη στρατηγική προσομοιωμένης ανόπτησης στη μέθοδο ελεγχόμενης τυχαίας αναζήτησης του Price (βλ ), εφαρμόζοντας τη γενικευμένη εξίσωση ανάκλασης των Krivy and Tvrdik (1995). Τα βήματα του αλγορίθμου που προτείνουν έχουν ως εξής: Βήμα 1ο: Γεννάται ένας αρχικός πληθυσμός P [0] από m σημεία, ομοιόμορφα κατανεμημένα μέσα στον χώρο εφικτών λύσεων D, και ορίζεται η αρχική θερμοκρασία του συστήματος, Τ [0]. Βήμα 2ο: Τίθεται k = 1, σηματοδοτώντας την έναρξη νέου κύκλου θερμικής ισορροπίας. Βήμα 3ο: Σε κάθε επανάληψη k διαμορφώνεται ένα άπλοκο S [k], με κορυφές n + 1 τυχαία επιλεγμένα σημεία του Α [k]. Βήμα 4ο: Με εφαρμογή της σχέσης (3.12), παράγεται μια νέα κορυφή του απλόκου, η οποία αντικαθιστά το τρέχον χειρότερο σημείο του πληθυσμού P [k] εφόσον ικανοποιείται το πιθανοτικό κριτήριο Metropolis (εξ. 3.40). Βήμα 5ο: Εφόσον k < k max, τίθεται k k + 1 και ο αλγόριθμος επιστρέφει στο βήμα 3. Το μέγιστο πλήθος επαναλήψεων σε κάθε κύκλο θερμικής ισορροπίας k max λαμβάνει μια μεγάλη τιμή, της τάξης του 1000 ως Βήμα 6ο: Εφόσον η τρέχουσα θερμοκρασία Τ είναι μεγαλύτερη από κάποιο ελάχιστο όριο Τ min, μειώνεται με βάση την εξίσωση (3.42) και ο αλγόριθμος επιστρέφει στο βήμα 2. Οι Kvaniscka and Pospichal γενίκευσαν τον παραπάνω αλγόριθμο, έτσι ώστε να επιδέχεται παραλληλοποίηση (parallelization). Η παραλληλοποίηση είναι αλγοριθμική τεχνική διάσπασης σύνθετων προβλημάτων σε επιμέρους υποπροβλήματα, τα οποία επιλύουν ηλεκτρονικοί υπολογιστές με πολλαπλούς επεξεργαστές. Με τον τρόπο αυτό, ο συνολικός χρόνος επεξεργασίας μειώνεται σχεδόν αναλογικά με τον αριθμό των επεξεργαστών. Σε μεθόδους βελτιστοποίησης με απαρίθμηση, η παράλληλη επεξεργασία είναι άμεσα εφαρμόσιμη, καθώς κάθε δοκιμή είναι εντελώς ανεξάρτητη από τις υπόλοιπες. Αντίθετα, η προσαρμογή της σε αλγορίθμους σειριακής μορφής (π.χ., μεθόδους κλίσης, όπου κάθε νέο σημείο είναι συνάρτηση του αμέσως προηγούμενου) είναι αδύνατη. Μια περίπτωση παραλληλοποίησης που ήδη αναφέρθηκε είναι η μέθοδος ανασχηματιζόμενης σύνθετης εξέλιξης (βλ ), βάσει της οποίας ο συνολικός πληθυσμός λύσεων επιμερίζεται σε ομάδες, σε κάθε μία από τις οποίες εξελίσσεται ανεξάρτητα, ενώ κατά διαστήματα πραγματοποιείται ανταλλαγή πληροφοριών. Μια εκτεταμένη διερεύνηση παράλληλων αλγορίθμων προσομοιωμένης ανόπτησης κάνουν οι Onbasoglu and Ozdamar (2001). Η γενικευμένη διατύπωση του αλγορίθμου των Kvaniscka and Pospichal έχει ως εξής: Βήμα 1ο: Γεννάται ένας αρχικός πληθυσμός P από m σημεία, ομοιόμορφα κατανεμημένα μέσα στον χώρο εφικτών λύσεων D, και ορίζεται η αρχική θερμοκρασία του συστήματος. Βήμα 2ο: Ο αρχικός πληθυσμός P επιμερίζεται σε r ομάδες των p σημείων {P 1, P 2,..., P r }. Βήμα 3ο: Κάθε ομάδα P i εξελίσσεται ανεξάρτητα από τις υπόλοιπες, με βάση το σχήμα ανόπτησηςαπλόκου που περιγράφηκε προηγουμένως, και υπό καθεστώς θερμικής ισορροπίας. 52

71 Βήμα 4ο: Με βάση μια προκαθορισμένη πιθανότητα p exch, επιλέγονται τυχαία δύο ομάδες, στις οποίες γίνεται αμοιβαία ανταλλαγή της καλύτερης και χειρότερης λύσης τους. Βήμα 5ο: Εφόσον η τρέχουσα θερμοκρασία είναι μεγαλύτερη από κάποιο ελάχιστο όριο, μειώνεται με βάση το χρονοδιάγραμμα ανόπτησης και ο αλγόριθμος επιστρέφει στο βήμα Το σχήμα των Pan and Wu (1998) Οι Pan and Wu (1998) εφάρμοσαν ορισμένες τροποποιήσεις στο σχήμα των Press et al. (1992), με κύριο στόχο τον περιορισμό της πιθανότητας εγκλωβισμού του απλόκου σε τοπικά ακρότατα. Εάν η επιφάνεια απόκρισης της αντικειμενικής συνάρτησης θεωρηθεί ως ένα ορεινό ανάγλυφο, τότε κάθε τοπικό ελάχιστο αντιστοιχεί σε μια κοιλάδα, η οποία περιτριγυρίζεται από λόφους. Οι λόφοι εμποδίζουν τα άπλοκο να μετακινηθεί, εκτός και αν κατά την ανάκλαση βρεθεί μια κοιλάδα χαμηλότερου υψομέτρου. Αυτό δεν μπορεί να γίνει όταν είτε η χαμηλότερη κοιλάδα βρίσκεται σε αντίθετη διεύθυνση από την ανάκλαση είτε η διάσταση του απλόκου (άρα και το μήκος του βήματος ανάκλασης) δεν επαρκεί για την υπερπήδηση του λόφου, ακόμη και αν η αναζήτηση γίνεται προς τη σωστή κατεύθυνση. Για το λόγο αυτό, όποτε γίνεται αποδεκτή μη βέλτιστη μετακίνηση με βάση το κριτήριο Metropolis, προτείνεται η εκτέλεση ορισμένων δοκιμαστικών βημάτων επέκτασης του απλόκου, έτσι ώστε να διερευνηθεί αν υπάρχει περιοχή στην οποία μειώνεται η τιμή της συνάρτησης. Ένα τέτοιο παράδειγμα απεικονίζεται στο Σχήμα 4.2. Με βάση το κριτήριο Metropolis, αποφασίζεται η αντικατάσταση της καλύτερης κορυφής του απλόκου (δηλαδή της x 3 ), ωστόσο η εφαρμογή του βήματος ανάκλασης δεν επαρκεί για την υπερπήδηση της κοιλάδας όπου βρίσκεται το ακρότατο. Έτσι, με εκτέλεση δύο βημάτων επέκτασης προς την κατεύθυνση της ανάκλασης (η οποία ορίζεται από τη φορά του βέλους), είναι δυνατή η μετακίνηση του απλόκου στην περιοχή έλξης ενός γειτονικού τοπικού ακροτάτου. X 1 X r X 3 X 2 Σχήμα 4.2: Παράδειγμα απεγκλωβισμού απλόκου από ακρότατο, βάσει του κανόνα των Pan and Wu. Ο αλγόριθμος των Pan and Wu έχει ως εξής: Βήμα 1ο: Γεννώνται οι κορυφές του αρχικού απλόκου, οι οποίες είναι ομοιόμορφα κατανεμημένες μέσα στον εφικτό χώρο. Βήμα 2ο: Ορίζεται η χειρότερη κορυφή του απλόκου x n + 1 με βάση το κριτήριο: {f(x i ) + r T} = max (4.4) 53

72 όπου r τυχαίος ομοιόμoρφος αριθμός στο διάστημα [0, 1]. Η συνάρτηση επιλογής διαφοροποιείται σε σχέση με αυτή των Press et al. μόνο ως προς το ότι ο τυχαίος όρος δεν είναι λογαριθμικός. Βήμα 3ο: Το άπλοκο ανακλάται ως προς την χειρότερη κορυφή του και υπολογίζεται η τιμή της αντικειμενικής συνάρτησης στο σημείο ανάκλασης r. Βήμα 4ο: Το σημείο x r γίνεται αποδεκτό και αντικαθιστά την κορυφή x n + 1 στο άπλοκο αν ισχύει: f(r) r T < f(x n + 1 ) + r T (4.5) Αν είτε δεν γίνει αποδεκτό το σημείο ανάκλασης είτε ισχύει η συνθήκη f(r) < f(x n + 1 ), εφαρμόζονται τα τυπικά βήματα της μεθόδου Nelder-Mead. Κατά συνέπεια, στην πρώτη περίπτωση γίνεται είτε συμπίεση είτε συρρίκνωση του απλόκου, ενώ στη δεύτερη δοκιμάζεται ένα βήμα επέκτασης προς την κατεύθυνση της ανάκλασης. Οποιαδήποτε μείωση των διαστάσεων του απλόκου (συμπίεση ή συρρίκνωση) αποτελεί ένδειξη εντοπισμού περιοχής έλξης τοπικού ακροτάτου. Αυτό έχει ως συνέπεια τη μείωση της θερμοκρασίας του συστήματος βάσει της εξίσωσης: Τ [k + 1] = (0.99) k λ Τ [k] (4.6) Κατά συνέπεια, μετά το πέρας κάθε κύκλου θερμικής ισορροπίας μειώνεται όχι μόνο η θερμοκρασία αλλά και ο ρυθμός μεταβολής της. Ο μειωτικός συντελεστής λ λαμβάνει διαφορετική τιμή, ανάλογα με τον αν πραγματοποιείται συμπίεση ή συρρίκνωση. Οι Pan and Wu προτείνουν τις τιμές 1 και 0.5 αντίστοιχα, ενώ ως αρχική τιμή θερμοκρασίας Τ [0] ορίζουν τη μέση τιμή της αντικειμενικής συνάρτησης στις κορυφές του αρχικού απλόκου. Εφόσον το σημείο ανάκλασης γίνει αποδεκτό χωρίς να ισχύει η συνθήκη f(r) < f(x n + 1 ), δοκιμάζονται τρία διαδοχικά βήματα προς την κατεύθυνση της ανάκλασης, με εφαρμογή της σχέσης: x j = r + j (r x n + 1 ) (4.7) όπου j = 1, 2, 3. Εφόσον η τιμή της συνάρτησης σε ένα τουλάχιστον εκ των x j είναι μικρότερη από το x r, τότε το αντικαθιστά στο άπλοκο. Βήμα 5ο: Εφόσον η διάσταση του απλόκου είναι μεγαλύτερη από κάποια επιτρεπόμενη ανοχή, ο αλγόριθμος επιστρέφει στο βήμα 2, διαφορετικά εντοπίζεται η καλύτερη κορυφή x * και ο αλγόριθμος προχωρά στο επόμενο βήμα. Βήμα 6ο: Εφόσον δύο διαδοχικές εφαρμογές της διαδικασίας ανόπτησης επιστρέψουν την ίδια λύση (ή λύσεις που απέχουν λιγότερο από κάποια επιτρεπόμενη ανοχή), αυτή γίνεται αποδεκτή ως η ολικά βέλτιστη του προβλήματος, διαφορετικά ο αλγόριθμος επιστρέφει στο βήμα 1. Η διαδικασία αυτή, η οποία ονομάζεται επανανόπτηση (reannealing), εξασφαλίζει σύγκλιση στο πραγματικό ολικό ακρότατο, αφού η πιθανότητα εντοπισμού του ίδιου τοπικού ακροτάτου με δύο διαδοχικές, στοχαστικά ανεξάρτητες δοκιμές είναι εξαιρετικά περιορισμένη. 4.3 Ανάπτυξη εξελικτικού σχήματος ανόπτησης-απλόκου Γενικά χαρακτηριστικά Το μεθοδολογικό σχήμα που παρουσιάζεται στη συνέχεια αναπτύχθηκε στα πλαίσια της παρούσας εργασίας και συνδυάζει ιδέες από μια ευρεία κλίμακα των τεχνικών ολικής βελτιστοποίησης, εμπλουτίζοντάς τις με αρκετά πρωτότυπα στοιχεία. Τα κύρια χαρακτηριστικά της προτεινόμενης μεθόδου είναι: 54

73 Εισάγεται μια γενική στρατηγική ελεγχόμενης τυχαίας αναζήτησης, σύμφωνα με την οποία ένας αρχικός πληθυσμός εφικτών λύσεων εξελίσσεται σταδιακά ώσπου να συγκλίνει σε μια τελική λύση, η οποία αποτελεί εκτιμήτρια του ολικού βελτίστου της αντικειμενικής συνάρτησης. Η εξέλιξη του πληθυσμού πραγματοποιείται μέσω μιας σύνθετης διαδικασίας, η οποία έχει ως βάση το άπλοκο. Σε κάθε επανάληψη επιλέγονται n + 1 τυχαία σημεία από τον πληθυσμό, τα οποία ορίζουν τις κορυφές του τρέχοντος απλόκου. Μετά το πέρας της διαδικασίας, επιστρέφεται ένα τροποποιημένο άπλοκο, το οποίο αντικαθιστά το προηγούμενο στον πληθυσμό. Ο τρόπος εξέλιξης του απλόκου καθορίζεται από ένα συνδυασμό προσδιοριστικών και στοχαστικών κανόνων, η ρύθμιση των οποίων πραγματοποιείται βάσει ενός προσαρμοστικού χρονοδιαγράμματος ανόπτησης. Η προσαρμογή της στρατηγικής ανόπτησης, έχει ως αποτέλεσμα την επιλογή ορισμένων λύσεων οι οποίες χειροτερεύουν αντί να βελτιώνουν την τιμή της αντικειμενικής συνάρτησης. Με όρους εξελικτικών αλγορίθμων, η μέση καταλληλότητα του πληθυσμού δεν είναι αυξάνει μονότονα, αλλά παρουσιάζει διακυμάνσεις, οι οποίες εξομαλύνονται όσο μειώνεται η θερμοκρασία του συστήματος. Οι κινήσεις που εκτελεί το άπλοκο είναι οι γνωστές της μεθόδου Nelder-Mead, δηλαδή η ανάκλαση, η επέκταση, η συμπίεση (εξωτερική και εσωτερική) και η συρρίκνωση. Ως γνωστό, κάθε τέτοια κίνηση έχει ως αποτέλεσμα την αντικατάσταση μιας εκ των κορυφών του σχήματος από ένα νέο σημείο, με εξαίρεση την τελευταία περίπτωση, κατά την οποία αντικαθίστανται όλες οι κορυφές πλην της καλύτερης. Η απαγόρευση αντικατάστασης της καλύτερης κορυφής του απλόκου γενικεύεται για όλους τους τύπους κινήσεων. Με τον τρόπο αυτό, ενώ το άπλοκο μπορεί να επεκταθεί σε οποιαδήποτε περιοχή του εφικτού χώρου, μία από τις κορυφές του είναι πάντοτε δεσμευμένη στην τρέχουσα βέλτιστη λύση. Κατά συνέπεια, ακόμη και αν εντοπιστεί το πραγματικό ολικό ακρότατο στα αρχικά στάδια της αναζήτησης, δεν υπάρχει κίνδυνος να χαθεί εξαιτίας των πρακτικά τυχαίων βημάτων που πραγματοποιούνται λόγω της υψηλής τιμής της θερμοκρασίας. Η γεννήτρια συνάρτηση κάθε νέου σημείου, υποψήφιου για να αντικαταστήσει οποιαδήποτε από τις τρέχουσες κορυφές του απλόκου (πλην της καλύτερης) βάσει του πιθανοτικού κριτηρίου Metropolis, περιλαμβάνει οπωσδήποτε μια στοχαστική συνιστώσα. Κατά συνέπεια, για δεδομένες αρχικές συνθήκες, η θέση του νέου σημείου δεν είναι εκ των προτέρων γνωστή, είναι ωστόσο γνωστή η "περιοχή" στην οποία θα γεννηθεί το σημείο. Μια απλή διαδικασία μονοδιάστατης βελτιστοποίησης ενσωματώνεται στα βήματα επέκτασης, με σκοπό είτε την επιτάχυνση της εύρεσης του τοπικού ελαχίστου και είτε τον εντοπισμό υποψήφιων λύσεων που βρίσκονται σε διαφορετική περιοχή έλξης από το τρέχον ακρότατο. Βάσει μιας μικρής πιθανότητας μετάλλαξης, ο πληθυσμός εμπλουτίζεται με λύσεις οι οποίες βρίσκονται στα όρια της υπερσφαίρας που περικλείει τον τρέχοντα πληθυσμό. Εφόσον επέλθει ταχεία σύγκλιση, δηλαδή το πλήθος των δοκιμών είναι μικρό ποσοστό της μέγιστης επιτρεπόμενης τιμής τους, δίνεται στον αλγόριθμο η δυνατότητα επανανόπτησης, με διαφορετικό αρχικό πληθυσμό λύσεων. Στόχος του αλγορίθμου που αναπτύχθηκε είναι η βελτίωση τόσο της αποτελεσματικότητας όσο και ως της ταχύτητας των υφιστάμενων τεχνικών βελτιστοποίησης. Σύμφωνα με τα όσα αναφέρθηκαν παραπάνω, ο αλγόριθμος ενσωματώνει ιδέες από ένα ευρύ φάσμα μεθοδολογιών. Η γενική του στρατηγική βασίζεται στη μέθοδο ελεγχόμενης τυχαίας αναζήτησης, η οποία προτάθηκε σε διάφορες παραλλαγές από τον Price (βλ ) και στη συνέχεια βρήκε εφαρμογή σε ποικίλες τεχνικές βελτιστοποίησης, όπως στη μέθοδο ανασχηματιζόμενης σύνθετης εξέλιξης των Duan et al. (βλ ) και στο σχήμα ανόπτησης-απλόκου των Kvaniscka and Pospichal (βλ ). Οι βασικές αρχές της ιδιαίτερα αποτελεσματικής (και για το λόγο αυτό εξαιρετικά δημοφιλούς) στρατηγικής Nelder-Mead (βλ ) εφαρμόζονται για την εξέλιξη του πληθυσμού. Η έννοια της στοχαστικότητας στις κινήσεις 55

74 του απλόκου (μόνο ωστόσο στη διαδικασία ανάκλασης) εισήχθηκε από τους Krivy and Tvrdik (βλ ). Στους κανόνες εξέλιξης του απλόκου προσαρμόζεται μια στρατηγική προσομοιωμένης ανόπτησης, όπως προτάθηκε από τους Press et al. (βλ ). Για τη διαφυγή από τοπικά ακρότατα χρησιμοποιείται μια ελαφρά τροποποιημένη εκδοχή της τεχνικής των Pan and Wu (βλ ). Τέλος, η γνωστή από τους γενετικούς αλγορίθμους διαδικασία της μετάλλαξης, εφαρμόζεται με στόχο την ανανέωση του πληθυσμού με τυχαία παραγόμενα σημεία Περιγραφή του αλγορίθμου Προτού γίνει αναφορά στα πρωτότυπα σημεία της προτεινόμενης μεθόδου, παρουσιάζονται τα αναλυτικά βήματα του αλγορίθμου, τα οποία έχουν ως εξής: Βήμα 1ο: Παράγεται ένας αρχικός πληθυσμός P [0] από m n + 1 σημεία, ομοιόμορφα κατανεμημένα μέσα στον εσωτερικό ήμισυ του χώρου εφικτών λύσεων. Η γεννήτρια συνάρτηση δίνεται από τη σχέση: x ij = x min j r /n (x max j x min j ) (4.8) όπου x ij η j συντεταγμένη του i σημείου και r τυχαίος ομοιόμoρφος αριθμός στο διάστημα [0, 1]. Βήμα 2ο: Εντοπίζονται τα σημεία με την καλύτερη και χειρότερη τιμή της αντικειμενικής συνάρτησης και ορίζεται η αρχική θερμοκρασία: Τ [0] = f max [0] f min [0] Βήμα 3ο: Σε κάθε επανάληψη k κατασκευάζεται το κεντροειδές c του πληθυσμού και προσδιορίζονται το καλύτερο και χειρότερο σημείο του, f min [k] και f max [k] αντίστοιχα. Βήμα 4ο: Προσδιορίζεται η μέγιστη ευκλείδεια απόσταση (νόρμα) d max [k] μεταξύ του κεντροειδούς και των επιμέρους σημείων του πληθυσμού P [k]. Η νόρμα κάθε σημείου υπολογίζεται από τη σχέση: d i = (4.9) (c j x ij ) 2 (4.10) Βήμα 5ο: Ελέγχεται αν η τρέχουσα θερμοκρασία του συστήματος ικανοποιεί τη συνθήκη: n j = 1 όπου ξ 1 παράμετρος του χρονοδιαγράμματος ανόπτησης. Τ [k] ξ [f max [k] f min [k] ] (4.11) Βήμα 6ο: Επιλέγονται τυχαία n + 1 σημεία από τον τρέχοντα πληθυσμό P [k], με τα διαμορφώνεται το άπλοκο S [k] = {x 1, x 2,, x n + 1 }, όπου το x 1 αντιστοιχεί στην καλύτερη και το x n + 1 στη χειρότερη κορυφή του απλόκου. Βήμα 7ο: Από το σύνολο {x 2, x 3,, x n + 1 } επιλέγεται μια κορυφή w βάσει του τροποποιημένου κριτηρίου Metropolis (4.4), η οποία θεωρείται ως συμβατικά χειρότερη. Βήμα 8ο: Το άπλοκο ανακλάται ως προς την κορυφή w βάσει της σχέσης: r = g + (0.5 + r) (g w) (4.12) όπου g το κεντροειδές όλων των κορυφών του απλόκου πλην του σημείου w (το κεντροειδές του απλόκου g είναι προφανώς διαφορετικό από το κεντροειδές του πληθυσμού c). Βήμα 9ο: Αν ισχύει f(r) < f(w), το νέο σημείο r αντικαθιστά την κορυφή w. Στην περίπτωση που επιπλέον ισχύει η συνθήκη f(r) < f(x 1 ), δηλαδή με την ανάκλαση προκύπτει λύση καλύτερη από την τρέχουσα βέλτιστη στο άπλοκο, δοκιμάζονται διαδοχικά βήματα επέκτασης, βάσει της σχέσης: 56

75 x [s] = g + φ [s] (r g) (4.13) όπου φ [s] συντελεστής κλίμακας, ο οποίος δίνεται από την αναδρομική σχέση: φ [s] = φ [s 1] + 2r (4.14) με φ [0] = 1. Η επέκταση συνεχίζεται όσο επιτυγχάνεται βελτίωση της τιμής της συνάρτησης, ενώ διακόπτεται αν το σημείο βρεθεί εκτός των ορίων του εφικτού χώρου, οπότε τοποθετείται πάνω ακριβώς στο όριο. Αν f(r) > f(x 1 ), τότε το άπλοκο συμπιέζεται εξωτερικά, σύμφωνα με τη σχέση: x = g + ( r) (r g) (4.15) Αν είτε με την επέκταση είτε με την εξωτερική συμπίεση του απλόκου προκύψει λύση καλύτερη από την αντίστοιχη της ανάκλασης, τότε το σημείο r αντικαθίσταται από το x. Βήμα 10ο: Εφόσον ισχύει f(r) r T > f(w) + r T, η τρέχουσα θερμοκρασία μειώνεται κατά έναν παράγοντα λ και το άπλοκο συμπιέζεται εσωτερικά, σύμφωνα με τη σχέση: x = g ( r) (g w) (4.16) Εφόσον ισχύει f(x) > f(w), δηλαδή η λύση που προκύπτει με την εσωτερική συμπίεση είναι χειρότερη από τη συμβατικά χειρότερη w, το άπλοκο συρρικνώνεται γύρω από την καλύτερη κορυφή του x 1. Βήμα 11ο: Αν με βάση το κριτήριο Metropolis το σημείο ανάκλασης r γίνει αποδεκτό όντας ωστόσο χειρότερο από το w, εκτελούνται δύο ειδών διαδικασίες, η αναρρίχηση και η μετάλλαξη. Η αναρρίχηση συνίσταται στη γέννηση κ σημείων επέκτασης προς την κατεύθυνση της ανάκλασης, βάσει της σχέσης (4.13). Εφόσον είτε κάποιο από αυτά είναι καλύτερο από το r είτε βρεθεί ένα τουλάχιστον ζεύγος διαδοχικών σημείων για τα οποία ισχύει f(x [s + 1] ) < f(x [s] ), το r αντικαθίσταται στον πληθυσμό. Η μετάλλαξη εκτελείται μόνο εφόσον δεν αντικατασταθεί το σημείο r και συνίσταται στη γέννηση μιας τυχαίας λύσης x στο όριο της υπερσφαίρας που ορίζει το κεντροειδές του πληθυσμού c και η ακτίνα d max. Αρχικά παράγεται ένα τυχαίο διάνυσμα y, εντός των ορίων του εφικτού χώρου, το οποίο ορίζει μια τυχαία διεύθυνση στο R n. Η γεννήτρια συνάρτηση του σημείου x δίνεται από τη σχέση: x = c + d max y y (4.17) Αν ισχύει f(x) < f(r) το x αντικαθιστά το r, ενώ αν ισχύει f(x) > f(r) το x αντικαθιστά το r με συχνότητα μετάλλαξης p m. Εφόσον ούτε η αναρρίχηση ούτε η μετάλλαξη επιτύχουν, τότε το r διατηρείται στον πληθυσμό στη θέση του w. Βήμα 12ο: Ελέγχεται αν ικανοποιείται το κριτήριο σύγκλισης: f max [k] f min [k] f max [k] + f min [k] < ε / 2 (4.18) όπου ε ένας μικρός θετικός αριθμός, ο οποίος εκφράζει τη μέγιστη επιτρεπόμενη ανοχή ως προς τη σχετική απόσταση μεταξύ των τιμών της συνάρτησης της καλύτερης και χειρότερης λύσης στον τρέχοντα πληθυσμό P [k]. Εφόσον δεν ικανοποιείται η συνθήκη, τίθεται k k + 1 και ο αλγόριθμος επιστρέφει στο βήμα 3. Βήμα 13ο: Ελέγχεται αν ικανοποιείται το κριτήριο επανανόπτησης, δηλαδή αν το πλήθος των δοκιμών είναι μικρότερο από ένα προκαθορισμένο ποσοστό του μέγιστου επιτρεπόμενου. Στην περίπτωση αυτή ο αλγόριθμος επιστρέφει στο βήμα 1, διαφορετικά τερματίζεται. Στο Σχήμα 4.3 απεικονίζεται το διάγραμμα ροής του εξελικτικού αλγορίθμου ανόπτησης-απλόκου. 57

76 Παράγεται ένας αρχικός πληθυσμός από m n + 1 σημεία ομοιόμορφα κατανεμημένα μέσα στο εσωτερικό ήμισυ του χώρου εφικτών λύσεων D και ορίζεται η αρχική θερμοκρασία του συστήματος Τ [0] k = 1 k = k + 1 Υπολογίζονται τα χαρακτηριστικά του πληθυσμού P [k], δηλαδή η τρέχουσα καλύτερη και χειρότερη [k] λύση, το κεντροειδές c και η μέγιστη νόρμα d max Επιλέγονται n + 1 τυχαία σημεία από τον πληθυσμό P [k] και ελέγχεται αν T [k] < ξ [f(x n + 1 ) - f(x 1 )] Εντοπίζεται η κορυφή w x 1 που μεγιστοποιεί την ποσότητα f(x i ) + r T, τηςοποίαςυπολογίζεταιτοσημείοανάκλασηςr w = r Δοκιμάζεται ένα βήμα εσωτερικής συμπίεσης T [k] = λ Τ [k] Ναι f(x) < f(r) Όχι f(r) < f(w) Ναι Όχι f(r) < f(x 1 ) Δοκιμάζεται ένα βήμα εξωτερικής συμπίεσης Όχι Ναι Όχι Δοκιμάζονται διαδοχικά f(r) - r T < f(w) + r T βήματα επέκτασης τυχαίου Ναι μήκους προς τη διεύθυνση της ανάκλασης Δοκιμάζονται s = 1,, κ βήματα αναρρίχησης του άπλοκου προς τη Ναι Όχι f(x) < f(r) διεύθυνση της ανάκλασης Γεννάται μια τυχαία λύση έξω Όχι f(x [s] ) < f(r) ή f(x [s] ) < f(x [s - 1] από τα όρια της υπερσφαίρας ) που περικλείει τον πληθυσμό (βήμα μετάλλαξης) Ναι Εκτελείται συρρίκνωση του άπλοκου γύρω από την καλύτερη κορυφή r = x Επανατοποθέτηση των κορυφών του εξελιγμένου άπλοκου στον πληθυσμό Ναι f(x) < f(r) ή r < p m Όχι Όχι Κριτήριο σύγκλισης Ναι Έξοδος και έλεγχος επανανόπτησης Σχήμα 4.3: Διάγραμμα ροής του εξελικτικού αλγορίθμου ανόπτησης-απλόκου. 58

77 4.3.3 Ανάλυση του αλγορίθμου Ο αλγόριθμος που προτείνεται, πέρα από μία ιδιαίτερα αποτελεσματική σύζευξη διαφορετικών σχημάτων βελτιστοποίησης, περιέχει και αρκετά πρωτότυπα σημεία, μέσω των οποίων επιχειρείται η αντιμετώπιση ορισμένων αδυναμιών των υφιστάμενων τεχνικών. Οι καινοτομίες-βελτιώσεις της μεθόδου αναφέρονται: στη γεννήτρια συνάρτηση των αρχικών εφικτών λύσεων στον αυτοματοποιημένο τρόπο ρύθμισης της θερμοκρασίας στην γενίκευση της στρατηγικής Nelder-Mead, έτσι ώστε περιέχει στοχαστικά βήματα στην επιτάχυνση της διαδικασίας τοπικής αναζήτησης στην ανάπτυξη ευρετικών κανόνων απεγκλωβισμού του απλόκου από τοπικά ακρότατα στη συνάρτηση μετάλλαξης. στο κριτήριο τερματισμού του αλγορίθμου. Τα σημεία αυτά αναλύονται στη συνέχεια του εδαφίου. Γέννηση αρχικού πληθυσμού Ο εφικτός χώρος D θεωρείται άνω και κάτω φραγμένος στο διάστημα [x j min, x j max ] για κάθε j = 1, 2,, n. Μια τυπική γεννήτρια τυχαίων διανυσμάτων x i, ομοιόμορφα κατανεμημένων στο D, είναι: x ij = x j min + r (x j max x j min ) (4.19) Η χρήση τυχαίων αριθμών r οι οποίοι παράγονται από μια ομοιόμορφη κατανομή πιθανοτήτων έχει ως αποτέλεσμα τη μεγιστοποίηση της διασποράς των αρχικών λύσεων. Υπενθυμίζεται ότι γεννήτριες τυχαίων ομοιόμορφων αριθμών υπάρχουν ενσωματωμένες σε όλες τις γλώσσες προγραμματισμού. Χρησιμοποιώντας την παραπάνω σχέση για την παραγωγή του αρχικού πληθυσμού παρουσιάστηκε σχετικά μεγάλη συχνότητα εγκλωβισμού του απλόκου σε τοπικά ακρότατα, παράλληλα με γρήγορη, κατά κανόνα, σύγκλιση του αλγορίθμου. Μια προφανής αιτία είναι ότι, εξαιτίας της θέσης αλλά και του μεγάλου αρχικού μεγέθους του απλόκου, υπάρχει αυξημένη πιθανότητα το σημείο που γεννάται μέσω της εξίσωσης ανάκλασης (4.12) να βρεθεί εκτός των ορίων του εφικτού χώρου. Η μη εφικτότητα των βημάτων ανάκλασης αυξάνει με τη σειρά της την πιθανότητα συμπίεσης του απλόκου γύρω από την καλύτερη λύση που έχει εντοπιστεί κατά τα αρχικά βήματα. Ωστόσο, κατά τα αρχικά στάδια επαναλήψεων (οπότε και η θερμοκρασία του συστήματος είναι υψηλή) η συμπίεση δεν είναι επιθυμητή, καθώς συγκεντρώνει όλες τις κορυφές του απλόκου σε μια συγκεκριμένη περιοχή έλξης, μειώνοντας δραστικά τη διασπορά του πληθυσμού. Ένα εύκολα υλοποιήσιμο τέχνασμα για την αποφυγή των παραπάνω προβλημάτων ήταν θεώρηση μόνο του εσωτερικού ημίσεως του πεδίου D ως χώρου παραγωγής των αρχικών λύσεων. Με εφαρμογή του γραμμικού μετασχηματισμού: z j = x j x j min x j max x j min (4.20) κάθε μεταβλητή του προβλήματος κανονικοποιείται, οπότε το μετασχηματισμένο πεδίο ορισμού της συνάρτησης είναι ο n-διάστατος μοναδιαίος υπερκύβος Η. Ζητούμενο είναι η εύρεση της χαρακτηριστικής διάστασης (ακμής) και των συντεταγμένων των κορυφών του υπερκύβου Η 1, ο οποίος περιέχεται στον Η και έχει όγκο ίσο με V(H 1 ) = 1/2. Αν δ η ακμή του υπερκύβου, τότε όγκος του ισούται με: οπότε το μήκος της ακμής είναι: V(H 1 ) = δ n (4.21) 59

78 Αν h min, h max τα όρια του υπερκύβου, τότε λόγω συμμετρίας ισχύει: δ = 2 1/n (4.22) h min + δ/2 = h max δ/2 = 1/2 (4.23) Η γεννήτρια συνάρτηση των κανονικοποιημένων συντεταγμένων z j είναι: z j = h min + r δ (4.24) Μετά από πράξεις και με εφαρμογή του αντίστροφου γραμμικού μετασχηματισμού προκύπτει η τελική μορφή της γεννήτριας συνάρτησης (4.8). Ρύθμιση θερμοκρασίας ανόπτησης Αρχικά, η θερμοκρασία του συστήματος τίθεται ίση με τη διαφορά μεταξύ της μέγιστης και ελάχιστης τιμής της αντικειμενικής συνάρτησης στον πληθυσμό. Κατά συνέπεια, υπάρχει μη μηδενική πιθανότητα επιλογής οποιουδήποτε σημείου του πληθυσμού για αντικατάσταση, με εξαίρεση βέβαια το αρχικό βέλτιστο. Με τον τρόπο αυτό η αρχική θερμοκρασία προσαρμόζεται στα χαρακτηριστικά του εκάστοτε προβλήματος και δεν απαιτείται ο ορισμός της από τον χρήστη. Κατά τη διάρκεια εξέλιξης του πληθυσμού, η κατά κανόνα πολύ μεγάλη απόκλιση μεταξύ των ακραίων λύσεων αμβλύνεται, με αποτέλεσμα να είναι ανώφελη η διατήρηση μιας υπερβολικά υψηλής θερμοκρασίας, η οποία έχει ως συνέπεια την εκτέλεση αποκλειστικά και μόνο στοχαστικών βημάτων και άρα τη δραματική μείωση της ταχύτητας του αλγορίθμου. Για το λόγο αυτό, σε κάθε κύκλο ελέγχεται αν η θερμοκρασία ξεπερνά την απόκλιση μεταξύ μέγιστης και ελάχιστης τιμής κατά έναν παράγοντα ξ, ο οποίος ρυθμίζει τη διαδικασία ανόπτησης κατά τα αρχικά κυρίως στάδια του αλγορίθμου, οπότε ο ρυθμός εξέλιξης του πληθυσμού είναι ταχύτερος (αυτό συμβαίνει επειδή οι πολύ κακές λύσεις εύκολα εντοπίζονται και αντικαθίστανται). Μια τυπική τιμή της παραμέτρου, η οποία προτείνεται μετά από διερεύνηση, είναι ξ = 5. Κατά τα τελικά στάδια του αλγορίθμου είναι συχνότερα τα βήματα εσωτερικής συμπίεσης και συρρίκνωσης και η θερμοκρασία του συστήματος ρυθμίζεται περισσότερο μέσω του παράγοντα λ. Αυτό συμβαίνει επειδή η διασπορά του πληθυσμού είναι πλέον μικρή και η εύρεση μιας διεύθυνσης σημαντικής βελτίωσης της τιμής της συνάρτησης είναι πολύ πιο δύσκολη από ότι προηγουμένως. Στο Σχήμα 4.4 απεικονίζεται η εξέλιξη της καλύτερης, χειρότερης και μέσης λύσης του πληθυσμού κατά τη διαδικασία βελτιστοποίησης της διαδιάστατης συνάρτησης Goldestein-Price. Η μαθηματική έκφραση και τα υπόλοιπα χαρακτηριστικά της συνάρτησης αναλύονται στο εδάφιο Κατά τη διαδικασία βελτιστοποίησης χρησιμοποιείται πληθυσμός m = 5 σημείων. Οι παράμετροι εισόδου του χρονοδιαγράμματος ανόπτησης είναι ξ = 5 και λ = Όπως φαίνεται στο διάγραμμα, μέσα σε λίγες μόλις επαναλήψεις επιτυγχάνεται θεαματική βελτίωση των χαρακτηριστικών του πληθυσμού, κατά 2 ως 3 τάξεις μεγέθους. Ακόμη παρατηρείται ότι η μέση λύση συγκλίνει εκθετικά αλλά όχι μονότονα, καθώς επηρεάζεται από μικρές ή μεγαλύτερες διαταραχές, οι οποίες οφείλονται στην ανόπτηση. Ωστόσο, η αποδοχή φαινομενικά κακών λύσεων βοηθά στη διαφυγή από τοπικά ακρότατα και στη γρηγορότερη τελικά σύγκλιση του αλγορίθμου στην ολικά βέλτιστη λύση του προβλήματος. 60

79 Τιμή αντικειμενικής συνάρτησης Μέγιστη τιμή Ελάχιστη τιμή Μέση τιμή Αύξων αριθμός επανάληψης Σχήμα 4.4: Εξέλιξη της μέγιστης, ελάχιστης και μέσης λύσης του πληθυσμού κατά τη διαδικασία βελτιστοποίησης της συνάρτησης Goldestein-Price. Εισαγωγή τυχαιότητας στα βήματα του απλόκου Ο αλγόριθμος χρησιμοποιεί ως βάση το άπλοκο για την εξέλιξη του πληθυσμού. Σε κάθε επανάληψη το άπλοκο ανακλάται ως προς τη συμβατικά χειρότερη κορυφή του w, η επιλογή της οποίας είναι τόσο πιο τυχαία όσο μεγαλύτερη είναι η θερμοκρασία του συστήματος. Εφόσον ικανοποιείται το κριτήριο Metropolis, το βήμα ανάκλασης μπορεί να γίνει αποδεκτό ακόμη και η λύση που προκύπτει είναι χειρότερη από τη w. Αν ωστόσο, όπως προϋποθέτει η μέθοδος Nelder-Mead, το μήκος του βήματος ανάκλασης είναι σταθερό (εξ. 2.46), είναι δυνατό να ανακυκλωθεί η ίδια λύση μία ή περισσότερες φορές. Μία τέτοια περίπτωση ανακύκλωσης φαίνεται στο Σχήμα 4.5. f 2 = 5 f 2 = 5 f 3 = 8 f 3 = 10 f 1 = 1 f 1 = 1 Σχήμα 4.5: Παράδειγμα ανακύκλωσης απλόκου στο διδιάστατο χώρο. Η κορυφή 3, με τιμή f 3 = 8, είναι η χειρότερη, οπότε αντικαθίσταται από την αντιδιαμετρική της, με τιμή f 3 ' = 10. Βάσει του κριτηρίου Metropolis, το βήμα ανάκλασης, αν και μη βέλτιστο, γίνεται αποδεκτό. Στον επόμενο επαναληπτικό κύκλο, είναι δυνατόν να επιλεγεί η κορυφή αυτή ως συμβατικά χειρότερη, οπότε το άπλοκο θα επανέλθει στην αρχική του θέση. 61

80 Με την εισαγωγή της τυχαιότητας στο βήμα ανάκλασης (εξ. 4.12), η πιθανότητα ανακύκλωσης (δηλαδή η γέννηση του ίδιου σημείου περισσότερες από μία φορές) είναι μηδενική. Για να γεννηθεί το ίδιο σημείο πρέπει να παραχθεί ο ίδιος τυχαίος ομοιόμορφος αριθμός r. Στην πραγματικότητα όμως οι τυχαίοι ομοιόμορφοι αριθμοί είναι όροι ακολουθιών πολύ μεγάλης περιοδικότητας, οπότε είναι αδύνατη η επανάληψη του ίδιου όρου σε διαδοχικές επαναλήψεις. Πέρα από την ανάκλαση, η τυχαιότητα εισάγεται και στις υπόλοιπες κινήσεις του απλόκου, δηλαδή στην επέκταση και τη συμπίεση (εξωτερική και εσωτερική). Με τον τρόπο αυτό η διαδικασία εξέλιξης γίνεται πιο στοχαστική, διατηρώντας ωστόσο και το ντετερμινιστικό της χαρακτήρα. Σημειώνεται ότι για τιμή του τυχαίου όρου ίση με τη μέση τιμή της ομοιόμορφης κατανομής (r = 0.5), οι εξισώσεις ανάκλασης, επέκτασης και συμπίεσης ταυτίζονται με αυτές της μεθόδου Nelder-Mead. Επιτάχυνση διαδικασίας τοπικής βελτιστοποίησης Σε προβλήματα πολλών διαστάσεων, η εύρεση της διεύθυνσης βελτίωσης της τρέχουσας καλύτερης τιμής της συνάρτησης είναι εξαιρετικά δύσκολη. Αφού για τον ακριβή υπολογισμό της απαιτείται η γνώση των μερικών παραγώγων της συνάρτησης, θεωρώντας απλό σχήμα πεπερασμένων διαφορών χρειάζονται τουλάχιστον n το πλήθος υπολογισμοί της αντικειμενικής συνάρτησης σε κάθε κύκλο. Αντίθετα, οι τεχνικές που χρησιμοποιούν το άπλοκο εφαρμόζουν ένα και μόνο βήμα ανάκλασης για την εκτίμηση της κλίσης της συνάρτησης σε κάθε κύκλο, υποθέτοντας ότι η συχνότητα εντοπισμού της διεύθυνσης ελαχιστοποίησης είναι μεγαλύτερη από 1/n. Αν η υπόθεση δεν ισχύει, τότε η μέθοδος κατερχόμενου απλόκου είναι χειρότερη από οποιαδήποτε μέθοδο κλίσης που εφαρμόζει σχήματα πεπερασμένων διαφορών για την εκτίμηση των παραγώγων. Για το λόγο αυτό, εφόσον εντοπιστεί μια διεύθυνση βελτίωσης της τρέχουσας καλύτερης λύσης, δηλαδή μόλις προκύψει από την ανάκλαση του απλόκου ένα σημείο r τέτοιο ώστε f(r) < f(x 1 ), εφαρμόζεται μια στοιχειώδης μέθοδος μονοδιάστατης βελτιστοποίησης. Η προς ελαχιστοποίηση συνάρτηση περιγράφεται μαθηματικά από τη σχέση: g(φ) = f [r + φ (r g)] (4.25) όπου g το κεντροειδές του απλόκου. Εφόσον επιτυγχάνεται βελτίωση της τιμής της συνάρτησης στην κατεύθυνση που ορίζει το διάνυσμα Δx = r g, η τιμή του συντελεστή φ, ο οποίος καθορίζει το μήκος του βήματος επέκτασης του απλόκου, αυξάνει. Με τον τρόπο αυτό επιταχύνεται η διαδικασία εντοπισμού τοπικών ακροτάτων, διατηρώντας πρακτικά αναλλοίωτη τη διασπορά του πληθυσμού, αφού μία μόνο κορυφή μετατοπίζεται κάθε φορά. Διαφυγή από τοπικά ακρότατα Για τη διαφυγή (απεγκλωβισμό) ενός απλόκου από τοπικά ακρότατα εφαρμόζεται μια ελαφρά τροποποιημένη παραλλαγή της στρατηγικής των Pan and Wu (βλ ). Σύμφωνα με την αρχική εκδοχή της μεθόδου, όποτε πραγματοποιείται ένα μη βέλτιστο σημείο ανάκλασης r, εκτελούνται διαδοχικά βήματα επέκτασης προς την κατεύθυνση αυτή και εφόσον το σημείο που προκύπτει είναι καλύτερο από το r, το αντικαθιστά στο άπλοκο. Δηλαδή το νέο σημείο x αντικαθιστά το r αν και μόνο αν βρεθεί συντελεστής φ > 0 τέτοιος ώστε g(φ) < g(0), όπου η συνάρτηση επέκτασης g δίνεται από την (4.25). Όπως είναι προφανές, αυτό προϋποθέτει όχι μόνο την "υπερπήδηση" της περιοχής έλξης του τοπικού ακρότατου στο οποίο έχει συγκλίνει το άπλοκο αλλά και τον εντοπισμό σημείου καλύτερου από το μη βέλτιστο σημείο ανάκλασης r. Στην τροποποιημένη μέθοδο των Pan and Wu, στόχος δεν είναι η βελτίωση της τρέχουσας λύσης αλλά η εντοπισμός κάποιας νέας περιοχής έλξης. Σε διδιάστατο πρόβλημα βελτιστοποίησης, οι περιοχές έλξης μπορούν να θεωρηθούν ως "λεκάνες" και τα όριά τους ως "υδροκρίτες". Μια ικανή συνθήκη υπερπήδησης του υδροκρίτη είναι ο εντοπισμός ενός συντελεστή επέκτασης φ' > 0 τέτοιου 62

81 x [1] x [2] ώστε g(φ') < g(φ), για κάθε φ > 0. Εφόσον g(φ') < g(0), η μέθοδος ταυτίζεται με αυτή των Pan and Wu, οπότε το σημείο που επιλέγεται είναι καλύτερο από το σημείο ανάκλασης r. Σε διαφορετική περίπτωση, το r αντικαθίσταται από ένα σημείο το οποίο αν και χειρότερο, ανήκει οπωσδήποτε σε άλλη περιοχή έλξης (Σχήμα 4.6). g(φ) r x [3] Σχήμα 4.6: Σχηματική παράσταση της μεθόδου διαφυγής από τοπικά ακρότατα. Η διακεκομμένη σηματοδοτεί το όριο μεταξύ δύο γειτονικών περιοχών έλξης. Τα σημεία x [1], x [2] και x [3] έχουν προκύψει με εφαρμογή της συνάρτησης επέκτασης (4.25), για διάφορες τιμές του συντελεστή φ. Επειδή ισχύει f(x [2] ) < f(x [1] ), το x [2] ανήκει σε διαφορετική περιοχή έλξης από το άπλοκο και συνεπώς μπορεί να γίνει αποδεκτό, έστω και αν είναι χειρότερο από το σημείο ανάκλασης r. Αντίθετα, στη μέθοδο των Pan and Wu, μόνο το σημείο x [3] θεωρείται αποδεκτό και μπορεί να αντικαταστήσει το r. Συνάρτηση μετάλλαξης Για την επιλογή της κατάλληλης συνάρτησης μετάλλαξης πραγματοποιήθηκε εκτεταμένη έρευνα. Η χρήση της σχέσης 4.17 παρουσιάζει το χαρακτηριστικό ότι το σημείο που κείται πάντοτε πάνω στο νοητό σύνορο του τρέχοντος πληθυσμού, το οποίο ορίζεται ως η ελάχιστη υπερσφαίρα που περικλείει όλα τα σημεία του πληθυσμού. Με τον τρόπο αυτό, στα αρχικά στάδια του αλγορίθμου, οπότε η διασπορά του πληθυσμού είναι πολύ μεγάλη, το σημείο μετάλλαξης γεννάται πρακτικά κοντά στα όρια του εφικτού χώρου. Αντίθετα κατά τα τελικά στάδια του αλγορίθμου, η μετάλλαξη δημιουργεί μικρές διαταραχές γύρω από την περιοχή της βέλτιστης λύσης όπου βρίσκονται συγκεντρωμένα όλα τα σημεία του πληθυσμού, συμβάλλοντας στην επιτάχυνση της διαδικασίας σύγκλισης. Ας σημειωθεί ότι η διαδικασία αυτή παρουσιάζει μεγάλη ομοιότητα με τον αντίστοιχο μηχανισμό μετάλλαξης των γενετικών αλγορίθμων (βλ ). Τερματισμός του αλγορίθμου Όπως ισχύει στα περισσότερα σχήματα βελτιστοποίησης, ο αλγόριθμος τερματίζεται είτε εφόσον επέλθει σύγκλιση είτε μόλις το πλήθος των δοκιμών ξεπεράσει μια προκαθορισμένη τιμή. Το δεύτερο κριτήριο τερματισμού τίθεται για καθαρά πρακτικούς λόγους, εισάγοντας ένα μέγιστο όριο υπολογιστικού χρόνου που μπορεί να δεσμευτεί για την επίλυση ενός προβλήματος. Στην περίπτωση που η επίλυση ολοκληρωθεί πολύ ταχύτερα (χωρίς ωστόσο να είναι και εγγυημένα ορθή), διατίθεται ένα μεγάλο χρονικό διάστημα, το οποίο είναι θεωρητικά ελεύθερο αλλά παραμένει αναξιοποίητο. Για το λόγο αυτό, αν μετά τη σύγκλιση στη βέλτιστη λύση ο αριθμός των υπολειπόμενων δοκιμών είναι μεγάλος σε σχέση με τον τρέχοντα, επαναλαμβάνεται η διαδικασία βελτιστοποίησης, ξεκινώντας προφανώς από διαφορετικό αρχικό πληθυσμό εφικτών λύσεων. Έτσι περιορίζεται ακόμη περισσότερο φ 63

82 η πιθανότητα σύγκλισης σε κάποιο τοπικό ακρότατο p, καθώς εξαιτίας της ανεξαρτησίας των αρχικών συνθηκών, για Ν επαναλήψεις μειώνεται σε p Ν. Η κατάσταση αυτή είναι παρόμοια με την επίλυση μιας δύσκολης άσκησης από κάποιον μαθητή, ο οποίος έχει αρκετό χρόνο στη διάθεσή του ώστε να την ελέγξει μία ή και περισσότερες φορές Γραφικό παράδειγμα Για την καλύτερη κατανόηση του εξελικτικού αλγορίθμου ανόπτησης-απλόκου, παρουσιάζεται ένα γραφικό παράδειγμα εφαρμογής του σε ένα απλό υποθετικό πρόβλημα ελαχιστοποίησης στον χώρο των δύο διαστάσεων. Η αντικειμενική συνάρτηση έχει δύο ακρότατα, ένα ολικό ελάχιστο με τιμή f = 35 και ένα τοπικό ελάχιστο με τιμή f * = 45. Εξετάζονται οι πρώτοι έξι επαναληπτικοί κύκλοι του αλγορίθμου, όπου καλύπτονται όλες οι δυνατές καταστάσεις εξέλιξης του πληθυσμού (ανάκλαση, εππεκταση, εσωτερική και εξωτερική συμπίεση, συρρίκνωση, αναρρίχηση και μετάλλαξη). Αρχικά παράγεται ένας πληθυσμός m = 5 σημείων, ομοιόμορφα κατανεμημένων μέσα στο εσωτερικό ήμισυ του εφικτού χώρου, τα όρια του οποίου παρίστανται με διακεκομμένη γραμμή (Σχήμα 4.7). Για κάθε σημείο του πληθυσμού υπολογίζεται η τιμή της αντικειμενικής συνάρτησης, οπότε προκύπτει το σύνολο διατεταγμένων λύσεων {64, 68, 75, 84, 91}. Οι διαδικασίες του πρώτου επαναληπτικού κύκλου απεικονίζονται στο Σχήμα 4.8. Στις τρεις κορυφές του απλόκου {x 1, x 2, x 3 }, οι οποίες επιλέγονται τυχαία, αντιστοιχούν οι τιμές {64, 84, 91}. Η κορυφή x 1, η οποία αντιστοιχεί στην τρέχουσα ελάχιστη τιμή f = 64, δεν επιτρέπεται να αντικατασταθεί, οπότε η συμβατικά χειρότερη κορυφή επιλέγεται μεταξύ των υπόλοιπων δύο σημείων με τιμές {84, 91}. Με βάση το τροποποιημένο κριτήριο Metropolis επιλέγεται για αντικατάσταση η κορυφή w x 2, η οποία ανακλάται περί το κεντροειδές των υπολοίπων κορυφών του απλόκου. Το σημείο ανακλασης με τιμή f(r) = 95 απορρίπτεται, οπότε εκτελείται ένα βήμα εσωτερικής συμπίεσης. Το νέο σημείο που προκύπτει αντιστοιχεί στην τιμή f = 70 και γίνεται αποδεκτό, αφού είναι καλύτερο από το w. Κατά συνέπεια, η συμβατικά χειρότερη κορυφή του απλόκου με τιμή f = 84 αντικαθίσταται από το σημείο εσωτερικής συμπίεσης με τιμή f = 70. Στο δεύτερο επαναληπτικό κύκλο (Σχήμα 4.9) το άπλοκο διαμορφώνεται από τα σημεία {x 1, x 2, x 3 }, με τιμές {64, 68, 91}, και η συμβατικά χειρότερη κορυφή w ταυτίζεται με την αντικειμενικά χειρότερη x 3. Μετά την ανάκλαση του απλόκου προκύπτει η λύση f(r) = 85, η οποία είναι καλύτερη από την f(w), όχι όμως καλύτερη και από την τρέχουσα βέλτιστη στο άπλοκο. Στη συνέχεια δοκιμάζεται ένα βήμα εξωτερικής συμπίεσης χωρίς να γίνει αποδεκτό, δεδομένου ότι η τιμή της συνάρτησης στο σημείο που προκύπτει είναι μεγαλύτερη από προηγουμένως (f = 88). Κατά συνέπεια, η συμβατικά χειρότερη κορυφή του απλόκου με τιμή f = 91 αντικαθίσταται από το σημείο ανάκλασης με τιμή f = 85. Στον τρίτο επαναληπτικό κύκλο (Σχήμα 4.10) το άπλοκο αποτελείται από τα σημεία {x 1, x 2, x 3 }, με τιμές {70, 75, 85}, ενώ ως συμβατικά χειρότερη επιλέγεται η κορυφή w x 3. Σε αυτή την περίπτωση η ανάκλαση του απλόκου δεν είναι επιτυχής, δεδομένου ότι η τιμή f(r) = 97 που προκύπτει είναι χειρότερη από την f(w). Έτσι δοκιμάζεται ένα βήμα εσωτερικής συμπίεσης, το οποίο επίσης δε γίνεται αποδεκτό, καθώς η τιμή της συνάρτησης (f = 90) εξακολουθεί να είναι χειρότερη από την τιμή στο w. Κατά συνέπεια το άπλοκο συρρικνώνεται γύρω από την καλύτερη κορυφή x 1, ενώ όλες οι υπόλοιπες κορυφές του αντικαθίστανται. Κατά συνέπεια, οι δύο χειρότερες κορυφές του απλόκου με τιμές f = 75 και f = 85 αντικαθίσταται από δύο νέα σημεία, με τιμές f = 78 και f = 95. Στον τέταρτο επαναληπτικό κύκλο (Σχήμα 4.11) το άπλοκο αποτελείται από τα σημεία {x 1, x 2, x 3 }, με τιμές {64, 68, 78}, ενώ ως συμβατικά χειρότερη επιλέγεται η κορυφή w x 3. Η ανάκλαση του απλόκου είναι επιτυχής, καθώς η τιμή f(r) = 60 που προκύπτει είναι καλύτερη όχι μόνο από την f(w) αλλά και από την τρέχουσα καλύτερη στο άπλοκο. Έτσι εφαρμόζεται μια διαδικασία επέκτασης του 64

83 απλόκου προς την κατεύθυνση που ορίζει το διάνυσμα (r - w). Η πρώτη επέκταση εξακολουθεί να βελτιώνει την τιμή της συνάρτησης (f = 50), ενώ η δεύτερη, η οποία φτάνει μέχρι τα όρια του εφικτού χώρου, δεν μπορεί να τη βελτιώσει περαιτέρω (f = 65). Κατά συνέπεια, η συμβατικά χειρότερη κορυφή με τιμή f = 78 αντικαθίσταται από το σημείο επέκτασης με τιμή f = 50. Στον πέμπτο επαναληπτικό κύκλο (Σχήμα 4.12) το άπλοκο αποτελείται από τα σημεία {x 1, x 2, x 3 }, με τιμές {64, 70, 95}, ενώ ως συμβατικά χειρότερη επιλέγεται η κορυφή w x 2. Αν και στο σημείο ανάκλασης αντιστοιχεί χειρότερη τιμή συνάρτησης (f = 88), αυτό γίνεται αποδεκτό με βάση το πιθανοτικό κριτήριο Metropolis. Στη συνέχεια εκτελούνται δύο βήματα αναρρίχησης του απλόκου προς την κατεύθυνση που ορίζει το διάνυσμα (r - w). Το πρώτο σημείο προκύπτει χειρότερο από το σημείο ανάκλασης r (f = 92), αλλά το δεύτερο είναι καλύτερο από το προηγούμενο (f = 80). Το γεγονός αυτό σηματοδοτεί την υπερπήδηση της "κορυφογραμμής" και άρα τον απεγκλωβισμό του απλόκου από το τοπικό ακρότατο. Έτσι τελικά, η συμβατικά χειρότερη κορυφή με τιμή f = 70 αντικαθίσταται από το σημείο αναρρίχησης με τιμή f = 80. Στον έκτο επαναληπτικό κύκλο (Σχήμα 4.13) το άπλοκο αποτελείται από τα σημεία {x 1, x 2, x 3 }, με τιμές {68, 80, 95}, ενώ ως συμβατικά χειρότερη επιλέγεται η κορυφή w x 2. Αν και στο σημείο ανάκλασης αντιστοιχεί χειρότερη τιμή συνάρτησης από την w (f = 85), αυτό γίνεται αποδεκτό με βάση το κριτήριο Metropolis. Στη συνέχεια εκτελούνται δύο βήματα αναρρίχησης του απλόκου προς την κατεύθυνση που ορίζει το διάνυσμα (r - w), χωρίς να προκύψει σχετική βελτίωση της συνάρτησης (f 1 = 94, f 2 = 102). 'Ετσι παράγεται ένα τυχαίο σημείο μέσω μετάλλαξης, το οποίο γίνεται απόδεκτό, αφού η τιμή της συνάρτησης (f = 70) είναι καλύτερη από την f(r). Έτσι τελικά, η συμβατικά χειρότερη κορυφή του απλόκου με τιμή f = 80 αντικαθίσταται από το σημείο μετάλλαξης με τιμή f = f = f = 64 f = 91 Ολικό ελάχιστο, f * = Τοπικό ελάχιστο, f = 45 Όρια χώρου γέννησης αρχικού πληθυσμού f = f = Σχήμα 4.7: Γραφική απεικόνιση ισοσταθμικών της υποθετικής αντικειμενικής συνάρτησης και γέννηση αρχικού πληθυσμού. 65

84 100 f = Σημείο ανάκλασης f = f = 64 f = f = 70 Σημείο εσωτερικής συμπίεσης f = f = 84 Συμβατικά χειρότερη κορυφή απλόκου Σχήμα 4.8: Γραφική απεικόνιση διαδικασιών πρώτου επαναληπτικού κύκλου f = 85 Σημείο εξωτερικής συμπίεσης f = Σημείο ανάκλασης f = f = 64 f = 91 Συμβατικά χειρότερη f = 70 κορυφή απλόκου f = Σχήμα 4.9: Γραφική απεικόνιση διαδικασιών δεύτερου επαναληπτικού κύκλου. 66

85 f = Συμβατικά χειρότερη κορυφή απλόκου Σημείο συρρίκνωσης f = f = 78 f = 64 f = 90 Σημείο εσωτερικής συμπίεσης f = 70 f = 95 Σημείο συρρίκνωσης f = Σημείο ανάκλασης 110 f = Σχήμα 4.10: Γραφική απεικόνιση διαδικασιών τρίτου επαναληπτικού κύκλου. 100 Συμβατικά χειρότερη κορυφή απλόκου f = 68 f = f = 50 f = f = 78 f = 64 Σημείο ανάκλασης Σημείο πρώτης επέκτασης Σημείο δεύτερης επέκτασης f = 70 f = Σχήμα 4.11: Γραφική απεικόνιση διαδικασιών τέταρτου επαναληπτικού κύκλου. 67

86 Σημείο δεύτερης αναρρίχησης f = 68 f = f = f = 92 f = 64 f = 88 f = 70 Συμβατικά χειρότερη κορυφή απλόκου f = 95 Σημείο πρώτης αναρρίχησης Σημείο ανάκλασης Σχήμα 4.12: Γραφική απεικόνιση διαδικασιών πέμπτου επαναληπτικού κύκλου f = f = 50 f = f = 64 Συμβατικά χειρότερη Σημείο κορυφή απλόκου ανάκλασης f = 85 Σημείο f = 95 μετάλλαξης f = 94 Σημείο δεύτερης αναρρίχησης f = 102 f = 70 Σημείο πρώτης αναρρίχησης Σχήμα 4.13: Γραφική απεικόνιση διαδικασιών έκτου επαναληπτικού κύκλου. 68

87 5 Αξιολόγηση μεθόδων βελτιστοποίησης σε προβλήματα μαθηματικών συναρτήσεων Στο κεφάλαιο αυτό επιχειρείται συγκριτική αξιολόγηση τεσσάρων αντιπροσωπευτικών τεχνικών ολικής βελτιστοποίησης σε προβλήματα αναλυτικών αντικειμενικών συναρτήσεων. Οι μέθοδοι που εξετάζονται είναι: η τεχνική πολλαπλών εκκινήσεων οι γενετικοί αλγόριθμοι η μέθοδος ανασχηματιζόμενης σύνθετης εξέλιξης το εξελικτικό σχήμα ανόπτησης-απλόκου. Οι παραπάνω τεχνικές βελτιστοποίησης αξιολογούνται ως προς δύο βασικά τους χαρακτηριστικά, την αποτελεσματικότητα (effectiveness), η οποία σχετίζεται με την ακρίβεια εντοπισμού του ολικού βελτίστου, και την αποδοτικότητα (efficiency), η οποία σχετίζεται με τον υπολογιστικό φόρτο (Schwefel, 1994). Μέτρο της αποτελεσματικότητας μπορεί να θεωρηθεί η συχνότητα εντοπισμού του ολικού ακροτάτου σε μεγάλο αριθμό στοχαστικά ανεξάρτητων επιλύσεων του προβλήματος βελτιστοποίησης, ενώ μέτρο της αποδοτικότητας είναι το πλήθος των λύσεων που διερευνώνται μέχρι να επιτευχθεί σύγκλιση. 5.1 Μεθοδολογία αξιολόγησης αλγορίθμων βελτιστοποίησης Κατηγορίες θεωρητικών προβλημάτων βελτιστοποίησης Η χρήση αναλυτικών συναρτήσεων ελέγχου (test functions) με στόχο την αξιολόγηση αλγορίθμων βελτιστοποίησης είναι συνήθης πρακτική (π.χ., Solomatine, 1995 Torn et al., 1999 Ozdamar and Demirhan, 2000). Στη βιβλιογραφία διατίθεται μεγάλο πλήθος θεωρητικών προβλημάτων βελτιστοποίησης, με διαφορετικά χαρακτηριστικά (π.χ., Schwefel, 1994). Τα προβλήματα αυτά κατατάσσονται σε κατηγορίες ανάλογα με: το πλήθος των μεταβλητών ελέγχου το πλήθος των ακροτάτων τη γνώση της θέσης του ολικού ακροτάτου τη γεωμετρία της επιφάνειας απόκρισης την ύπαρξη θορύβου ή ασυνεχειών στην αντικειμενική συνάρτηση. Είναι γνωστό ότι κατά τη βελτιστοποίηση μη κυρτών συναρτήσεων το πλήθος των δοκιμών, και κατά συνέπεια ο χρόνος επίλυσης, αυξάνει σχεδόν εκθετικά με το πλήθος των μεταβλητών ελέγχου (βλ ), ενώ αν η συνάρτηση είναι κυρτή, η σχέση δοκιμών-μεταβλητών ελέγχου είναι σχεδόν γραμμική. Στην ιδεατή περίπτωση βελτιστοποίησης μιας τετραγωνικής συνάρτησης με τη μέθοδο συζυγών κλίσεων, απαιτούνται ακριβώς n δοκιμές για τον εντοπισμό του βελτίστου, ανεξάρτητα από το σημείο εκκίνησης (βλ ). Από την άλλη πλευρά, σε συναρτήσεις με περισσότερα από ένα ακρότατα (πολυκόρυφες) υπάρχει πάντοτε μη μηδενική πιθανότητα εγκλωβισμού του αλγορίθμου σε ένα από τα τοπικά βέλτιστα. Κατά κανόνα, οι πολυδιάστατες συναρτήσεις χρησιμοποιούνται για την αξιολόγηση της αποδοτικότητας (ταχύτητας) των αλγορίθμων βελτιστοποίησης, ενώ οι πολυκόρυφες για την αξιολόγηση της αποτελεσματικότητάς τους. 69

88 Σε ορισμένα μαθηματικά προβλήματα, δεν είναι γνωστά ούτε η θέση του ολικού ακροτάτου (άρα και η βέλτιστη τιμή της συνάρτησης) ούτε το πλήθος των τοπικών ακροτάτων. Τα προβλήματα αυτά προσεγγίζουν καλύτερα την πραγματικότητα, όπου ζητούμενο είναι όχι ο ακριβής εντοπισμός μιας συγκεκριμένης λύσης αλλά η εύρεση μιας όσο το δυνατόν πιο ικανοποιητικής λύσης, σε λογικά χρονικά πλαίσια. Στην περίπτωση αυτή, μέτρο της αποτελεσματικότητας είναι η διασπορά των λύσεων που εντοπίζονται σε ένα μεγάλο πλήθος στοχαστικά ανεξάρτητων εφαρμογών του προς αξιολόγηση αλγορίθμου. Τα γεωμετρικά χαρακτηριστικά της επιφάνειας απόκρισης επηρεάζουν τόσο την αποτελεσματικότητα όσο και την αποδοτικότητα των αλγορίθμων βελτιστοποίησης. Γενικά, στις έντονα μακρόστενες κοιλάδες, τις κορυφογραμμές και τους αυχένες η διαδικασία βελτιστοποίησης επιβραδύνεται σημαντικά, διότι είναι δύσκολος ο εντοπισμός της κλίσης της συνάρτησης. Ο θόρυβος, δηλαδή οι τυχαίες διαταραχές σε μια συνάρτηση, έχει ως αποτέλεσμα σε κάθε σημείο να μην αντιστοιχεί μονοσήμαντα η ίδια τιμή. Θόρυβος μπορεί να υπάρχει τόσο στα δεδομένα εισόδου της συνάρτησης, τα οποία κατά κανόνα προέρχονται από μετρήσεις ή εκτιμήσεις, όσο και στις ίδιες τις φυσικές διεργασίες, εξαιτίας της στοχαστικής τους δομής. Ο χειρισμός τέτοιων εφαρμογών είναι ιδιαίτερα δυσχερής και κατά κανόνα, αλγόριθμοι που δεν αποδίδουν σε θεωρητικές συναρτήσεις με στοχαστική συνιστώσα δεν αποδίδουν ούτε και σε αντίστοιχα πραγματικά προβλήματα Επιλογή συναρτήσεων ελέγχου Για την αξιολόγηση των μεθόδων βελτιστοποίησης χρησιμοποιήθηκαν 7 μαθηματικές συναρτήσεις ελέγχου, τα χαρακτηριστικά μεγέθη των οποίων συνοψίζονται στον Πίνακα 5.1. Πίνακας 5.1: Χαρακτηριστικά συναρτήσεων ελέγχου που χρησιμοποιήθηκαν για την αξιολόγηση των αλγορίθμων βελτιστοποίησης. Ονομασία Μεταβλητές Πεδίο ορισμού Ακρότατα Ολικό ελάχιστο Ελάχιστη τιμή Σφαιροειδής 2 5 x j 5 1 (0, 0,, 0) 0.00 Hozaki 2 0 x j 5 2 (4, 2) 2.34 Goldestein-Price 2 2 x j 2 4 (0, 1) 3.00 Rozenbrock 2 ή x j (0, 0,, 0) 0.00 Griewank x j 600 > 1000 (0, 0,, 0) 0.00 Michalewicz x > 100 (11.876, 5.775) x Βηματική x j (0, 0,, 0) 0.00 (1) Λύση που προέκυψε μετά από δοκιμές. Σφαιροειδής συνάρτηση Η σφαιροειδής 1 (Σχήμα 5.1) θεωρείται ιδανική αντικειμενική συνάρτηση, καθώς είναι τετραγωνική και άρα κυρτή σε όλο το πεδίο ορισμού της, παρουσιάζει απόλυτη ομαλότητα και συμμετρία και έχει ένα μόνο ακρότατο, στο σημείο (0, 0,, 0). Η γενική της έκφραση είναι: f(x 1, x 2,, x n ) = n 2 x j j = 1 (5.1) 1 Η ονομασία σφαιροειδής προέρχεται από μετάφραση του αγγλικού όρου sphere. Στην πραγματικότητα, η γραφική παράσταση της συνάρτησης δεν είναι σφαίρα αλλά παραβολοειδές. 70

89 Μέσω της σφαιροειδούς συνάρτησης ελέγχεται η επίδοση ενός αλγορίθμου σε προβλήματα τα οποία επιλύονται πολύ εύκολα και γρήγορα με οποιαδήποτε μέθοδο κλίσης. Συνάρτηση Hozaki Σχήμα 5.1: Γραφική παράσταση διδιάστατης σφαιροειδούς συνάρτησης. Η Hozaki (Σχήμα 5.2) είναι απλή, διδιάστατη συνάρτηση η οποία έχει δύο ακρότατα, ένα ολικό ελάχιστο στο σημείο (4, 2) και ένα τοπικό ελάχιστο στο (1, 2). Η αναλυτική της έκφραση είναι: f(x 1, x 2 ) = 1 8x 1 + 7x x x 1 4 x 2 2 exp( x 2 ) (5.2) Συνάρτηση Goldestein-Price Σχήμα 5.2: Γραφική παράσταση συνάρτησης Hozaki. Η Goldestein-Price είναι έντονα μη γραμμική συνάρτηση, με ολικό ελάχιστο στο σημείο (0, 1) και τρία ακόμη τοπικά ελάχιστα. Το χαρακτηριστικό της είναι ότι στη γειτονιά του ολικού ακροτάτου η τιμή της συνάρτησης αυξάνει κατά 5 τάξεις μεγέθους (Σχήμα 5.3). Η αναλυτική της έκφραση είναι: f(x 1, x 2 ) = [1 + (x 1 + x 2 + 1) 2 (19 14x 1 + 3x x 2 + 6x 1 x 2 + 3x 2 2 )] [30 + (2x 1 3x 2 ) 2 (18 32x x x 2 36x 1 x x 2 2 )] (5.3) 71

90 Συνάρτηση Rozenbrock Σχήμα 5.3: Γραφική παράσταση συνάρτησης Goldestein-Price. Η συνάρτηση Rozenbrock θεωρείται ένα από τα δυσκολότερα προβλήματα βελτιστοποίησης. Η συνάρτηση έχει ένα μόνο ακρότατο στο σημείο (0, 0,, 0), το οποίο βρίσκεται πάνω σε μια πολύ στενή χαράδρα, παραβολοειδούς μορφής (Σχήμα 5.4). Η γενική της έκφραση είναι: n 1 f(x 1, x 2,, x n ) = [100 (x j + 1 x j ) 2 + (x j 1) 2 ] (5.4) j = 1 Σχήμα 5.4: Γραφική παράσταση της διδιάστατης συνάρτησης Rozenbrock. 72

91 Σημειώνεται ότι η συνάρτηση Rozenbrock βελτιστοποιήθηκε για δύο τιμές του πλήθους μεταβλητών ελέγχου, n = 2 και n = 10. Συνάρτηση Griewank Η Griewank είναι πολυδιάστατη συνάρτηση, με ολικό ελάχιστο στο σημείο (0, 0,, 0) και εκατοντάδες τοπικά ελάχιστα. Η γενική της έκφραση είναι: n f(x 1, x 2,, x n ) = x 2 j cos x j j + 1 (5.5) j = 1 n j = 1 Συνάρτηση Michalewicz Σχήμα 5.5: Γραφική παράσταση διδιάστατης συνάρτησης Griewank. Η συνάρτηση αυτή περιέχει απροσδιόριστο αριθμό τοπικών ακροτάτων, χωρίς να είναι γνωστή η ακριβής θέση του ολικού ακροτάτου. Η συνάρτηση αυτή είναι αντιπροσωπευτική των έντονα μη γραμμικών συναρτήσεων που απαντώνται σε πραγματικές εφαρμογές και οι οποίες χαρακτηρίζονται από μεγάλη ευαισθησία ως προς τις τιμές των παραμέτρων τους. Η βέλτιστη λύση που βρέθηκε μετά από δοκιμές είναι το σημείο (11.876, 5.775), το οποίο βρίσκεται κοντά αλλά όχι ακριβώς πάνω στα όρια του εφικτού χώρου. Η επιφάνεια απόκρισης της συνάρτησης χαρακτηρίζεται από πολύ έντονο ανάγλυφο, τέτοιο ώστε να καθίσταται ιδιαίτερα δύσκολη η διαφυγή από τοπικά ακρότατα (Σχήμα 5.6). Η αναλυτική της έκφραση, η οποία ελήφθη από τον Michalewicz (1992), είναι: f(x 1, x 2 ) = x 1 sin(4π x 1 ) + x 2 sin(20π x 2 ) (5.6) 73

92 Βηματική συνάρτηση Σχήμα 5.6: Γραφική παράσταση συνάρτησης Michalewicz. Η συνάρτηση αυτή είναι ασυνεχής, με επίπεδες επιφάνειες και ελάχιστο στο κάτω όριο του πεδίου ορισμού των μεταβλητών. Οι επίπεδες επιφάνειες αποτελούν εμπόδιο για τους περισσότερους αλγορίθμους βελτιστοποίησης, διότι είναι αδύνατος ο προσδιορισμός μιας διεύθυνσης μεταβολής της τιμής της συνάρτησης. Η γενική έκφραση της βηματικής συνάρτησης είναι: f(x 1, x 2,, x n ) = 6n + int(x j ) (5.7) όπου ο τελεστής int(x) υποδηλώνει το ακέραιο μέρος του αριθμού x. Στην πραγματικότητα, η βελτιστοποίηση της βηματικής συνάρτησης δεν είναι παρά ένα στοιχειώδες πρόβλημα ακέραιου προγραμματισμού. n j = 1 Σχήμα 5.7: Γραφική παράσταση διδιάστατης βηματικής συνάρτησης. 74