ΑΛΓΟΡΙΘΜΟΙ ΑΝΟΠΤΗΣΗΣ: Ο ΑΛΓΟΡΙΘΜΟΣ ΤΗΣ ΑΠΟ ΟΧΗΣ ΚΑΤΩΦΛΙΟΥ (THRESHOLD ACCEPTING) ΧΡΗΣΤΟΣ. ΤΑΡΑΝΤΙΛΗΣ
ΚΛΑΣΙΚΟΙ ΕΥΡΕΤΙΚΟΙ ΑΛΓΟΡΙΘΜΟΙ Κλασικοί Ευρετικοί Classical Heuristics Κατασκευαστικοί Ευρετικοί Αλγόριθµοι Επαναληπτικής Βελτίωσης 2`
Αλγόριθµος Επαναληπτικής Βελτίωσης Αλγόριθµος Μέγιστης Κατάβασης Steepest Descent Algorithm Αλγόριθµος Κατάβασης Descent Algorithm Αποδοχή συνολικά Καλύτερου Γείτονα Αποδοχή του 1 ου (που θα προκύψει) καλύτερου Γείτονα Οι ΑΕΒ αποτελούν την απλούστερη µορφή αλγορίθµου Τοπικής Έρευνας 3`
ΚΙΝΗΣΗ MOVE Έστω S το σύνολο των λύσεων ενός προβλήµατος συνδυαστικής βελτιστοποίησης. Μια Κίνηση d είναι µια συνάρτηση από το υποσύνολο S(d) (πεδίο ορισµού της Κίνησης) του S, προς το σύνολο S, δηλαδή, d: S(d) S Έστω ότι το σύνολο όλων των Κινήσεων του προβλήµατος είναι το D. Τότε η ένωση των πεδίων ορισµού όλων των Κινήσεων στο D είναι το σύνολο των λύσεων, US(d) = S d D έτσι ώστε να µην υπάρχει καµία λύση στην οποία κάποια από τις Κινήσεις να µην µπορεί να εφαρµοσθεί. 4`
ΚΙΝΗΣΗ ΤΟΠΙΚΗ ΕΡΕΥΝΑ Έστω ότι η εφαρµογή µίας Κίνησης d σε µία λύση s συµβολίζεται ως d(s), όπου s S(d). Αν η αντίστροφη της Κίνησης d υφίσταται, τότε συµβολίζεται ως d -1 και ικανοποιεί τη σχέση s=d -1 (d(s)) για κάθε s D. Μια λύση s είναι µια Γειτονική Λύση της s όταν s =d(s), για κάποια d D. H Γειτονιά µιας λύσης s είναι η ένωση όλων των Γειτονικών λύσεων της s. 5`
ΑΛΓΟΡΙΘΜΟΣ ΕΠΑΝΑΛΗΠΤΙΚΗΣ ΒΕΛΤΙΩΣΗΣ Λογική Έρευνας Τρέχουσα Λύση s Νέα Τρέχουσα Λύση s =s Επιλογή Καλύτερης Γειτονικής Λύσης s 6`
ΣΤΡΑΤΗΓΙΚΕΣ ΑΠΕΓΚΛΩΒΙΣΜΟΥ ΑΠΟ ΤΟΠΙΚΑ ΒΕΛΤΙΣΤΑ Στρατηγική 1. Αποδοχή Κινήσεων που οδηγούν σε χειρότερης ποιότητας γειτονική λύση σε σχέση µε την τρέχουσα λύση Στρατηγική 2. Αλλαγή της οµής της Γειτονιάς κατά τη διάρκεια της Έρευνας ( ιαφορετικές Γειτονιές γεννούν διαφορετικές τοπολογίες στο χώρο έρευνας). Στρατηγική 3. Τροποποίηση της αντικειµενικής συνάρτησης. 7`
ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING H Προσοµοιωµένη Ανόπτηση χαρακτηρίστηκε ως ο 1 ος µεταευρετικός αλγόριθµος που σχεδιάστηκε για την επίλυση µια σειράς σύνθετων και µεγάλης κλίµακας προβληµάτων συνδυαστικής βελτιστοποίησης. Εκτός από την ικανότητα να επιλύει πραγµατικά προβλήµατα, η επιστηµονική καινοτοµία και σηµασία αναγνωρίσθηκε άµεσα, καθώς δηµοσιεύτηκε σε ένα από τα σηµαντικότερα επιστηµονικά περιοδικά όλων των εποχών και των επιστηµών!!!! Το περιοδικό Science. S. Kirkpatrick, C. D. Gelatt, Jr., M. P. Vecchi Optimization by Simulated Annealing, Science, Vol. 220, Nb. 4598, 13, pp. 671-680, May 1983. 8`
ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING H Προσοµοιωµένη Aνόπτηση κατάφερε να ξεπεράσει τον Ευρετικό Επαναληπτικής Βελτίωσης στην παραγωγή υψηλής ποιότητας λύσεων, καθώς υιοθέτησε αλγοριθµικές τεχνικές απεγκλωβισµού της έρευνας από τα χαµηλής ποιότητας τοπικά βέλτιστα (local optima). Λογική: Αποδοχή ακόµα και χαµηλότερης ποιότητας Γειτονικών Λύσεων σε σχέση µε την τρέχουσα λύση, στις περιπτώσεις που έχει εγκλωβιστεί η έρευνα σε κάποιο τοπικό βέλτιστο. 9`
ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING Αρχική λύση x 1, αρχική θερµοκρασία θ 1. Εξωτερικός βρόγχος: όσο το κριτήριο εξωτερικού βρόγχου ΕΝ ικανοποιείται πράξε Εσωτερικός βρόγχος: όσο το κριτήριο εσωτερικού βρόγχου ΕΝ ικανοποιείται πράξε i) Παρήγαγε µία λύση ii) Θέσε = c( x ) - c(x). iii) Εάν 0, θέσε x = ' ' x N(x) όπου (x) ' x. Έλεγξε αν c(x)< c( iv) Εάν > 0, θέσε x = Επανέλαβε τον εσωτερικό βρόγχο. Μείωσε τη θερµοκρασίαθ. Επανέλαβε τον εξωτερικό βρόγχο. Ανέφερε την καλύτερη λύση που έχει βρεθεί; ' N είναι η γειτονία της τωρινής λύσης x. x ), τότε τερη καλύτερη θ ). x µε πιθανότητα exp(- / t x = x. καλύ 10`
Αρχική Λύση x Ε..Ε. ΙΙ Αρχική Θερµοκρασία Τ Μηχανισµός Τροποποίησης της Λύσης Κίνηση (Move) C = c(x ) c(x) Κριτήριο Αποδοχής Λύσης Εάν C<=0 αποδοχή λύσης x Εάν C>0 αποδοχή λύσης x µε πιθανότητα exp (- C/ T) ΟΧΙ Αποδοχή Λύσης; Προσοµοιωµένη Ανόπτηση Ενεργοποίηση Κριτηρίου Τερµατισµού ;;;;; ΤΕΛΟΣ ΝΑΙ ΝΑΙ ΟΧΙ Μείωση της Τ 11`
12` ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING Η αποδοχή µε πιθανότητα p t ακόµα και µίας λύσης x που είναι χαµηλότερης ποιότητας από την τρέχουσα λύση x στην επανάληψη t, λαµβάνει χώρα µε σκοπό η έρευνα να µπορέσει να «σκαρφαλώσει» από το «χαντάκι» ενός πρόωρου τοπικού ελάχιστου Όσον αφορά την παράµετρο θ t (την καθορίζει ο σχεδιαστής του αλγορίθµου),αποτελεί µία φθίνουσα συνάρτηση της επανάληψης t, δηλαδή Αρχικώς τίθεται ίση µε µία δεδοµένη τιµή, η οποία συνηθίζεται να είναι αρκετά υψηλή ώστε να γίνονται αποδεκτές (βλέπε τον ορισµό της πιθανότητας p t στην προηγούµενη διαφάνεια) και γειτονικές λύσεις µε «χειρότερο» κόστος σε σχέση µε την εκάστοτε τρέχουσα λύση Ακολούθως, η θ t πολλαπλασιάζεται µε ένα συντελεστή (0 < z <1) (µειώνεται δηλαδή µε ένα ρυθµό που καθορίζει ο σχεδιαστής του αλγορίθµου) µετά από κάθε µ επαναλήψεις του εσωτερικού βρόχου (βλέπε επόµενη διαφάνεια) της SA, µε σκοπό η πιθανότητα αποδοχής µίας χαµηλότερης ποιότητας γειτονικής λύσης να µειώνεται µε το χρόνο.
ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING Ο σχεδιαστής ενός αλγορίθµου Simulated Annealing (εσείς στην προκειµένη περίπτωση) πρέπει να καθορίζει τις τιµές των παραµέτρων που σχετίζονται µε τον αλγόριθµο: Kαθορισµός της αρχικής θερµοκρασίας θ 1 Καθορισµός της συνάρτησης µείωσης της θερµοκρασίας θ t (δηλαδή πως θα µειώνεται η θερµοκρασία µετά τις µ επαναλήψεις του εσωτερικού βρόχου) Καθορισµός του αριθµού των λύσεων που θα γίνονται αποδεκτές σε κάθε θερµοκρασία (δηλαδή εντός του εσωτερικού βρόχου) Καθορισµός των κριτηρίων τερµατισµού του εσωτερικού και εξωτερικού βρόχου 13`
ΠΡΟΣΟΜΟΙΩΜΕΝΗ ΑΝΟΠΤΗΣΗ SIMULATED ANNEALING Πρέπει να επιδιώκεται µια σχετικώς αργή πτώση της θερµοκρασίας θ t, καθώς σε αντίθετη περίπτωση η πιθανότητα εύρεσης της βέλτιστης λύσης σχεδόν µηδενίζεται. Σε κάθε θερµοκρασία θ t, ο αριθµός των επαναλήψεων εντός του εσωτερικού βρόχου επιδιώκεται να είναι αρκετά µεγάλος, χωρίς βέβαια αυτό να σηµαίνει ότι και ο αριθµός των προτεινόµενων εφικτών λύσεων πρέπει να είναι πολύ µεγάλος για κάθε θερµοκρασία θ t, καθώς τότε ο χρόνος τερµατισµού του αλγορίθµου αυξάνει απότοµα. 14`
ΠΡΟΤΑΣΕΙΣ ΒΕΛΤΙΩΣΗΣ ΤΗΣ ΠΡΟΣΟΜΟΙΩΜΕΝHΣ ΑΝΟΠΤΗΣΗΣ Ντετερµινιστικό κριτήριο αποδοχής Γειτονικών Λύσεων στον Εσωτερικό Βρόχο, µε σκοπό τον έλεγχο της ποιότητας των «µηβελτιωµένων» λύσεων που αποδεχόµαστε. Μείωση του αριθµού παραµέτρων που χρησιµοποιεί ο αλγόριθµος Simulated Annealing. Οι παράµετροι αυτές καθορίζουν τον τρόπο και τη λογική αναζήτησης λύσεων του αλγορίθµου. Παραδείγµατα παραµέτρων: αρχική θερµοκρασία, ρυθµός µείωσης της θερµοκρασίας, αριθµός αποδεκτών λύσεων στον Εσωτερικό βρόχο κτλ. To ντετερµινιστικό κριτήριο υιοθετήθηκε από τον αλγόριθµο της Αποδοχής Κατωφλίου (1990). 15`
ΑΠΟ ΟΧΗ ΚΑΤΩΦΛΙΟΥ ΤHRESHOLD ACCEPTING Η Αποδοχή Κατωφλίου (Τhreshold Accepting) αποτελεί µία παραλλαγή του αλγορίθµου της Προσοµοιωµένης Ανόπτησης, και παίρνει το όνοµα της από τον αιτιοκρατικό κανόνα που χρησιµοποιείται για την αποδοχή µίας λύσης. Η Αποδοχή Κατωφλίου (ΑΚ) αποτελεί έναν αλγόριθµο βελτιστοποίησης, του οποίου ο µηχανισµός παρουσιάζει πολλές οµοιότητες στον τρόπο λειτουργίας του µε τον αντίστοιχο της Προσοµοιωµένης Ανόπτησης (ΠΑ). Ανήκει και αυτός στην κατηγορία των µεταευρετικών τοπικής έρευνας και χαρακτηρίζεται από το γεγονός ότι δεν αναζητεί την καλύτερη λύση στη γειτονιά της τρέχουσας λύσης. Όπως όλοι οι µεταευρετικοί τοπικής έρευνας, η ΑΚ ξεκινά από µία αρχική λύση x 1 και σε κάθε επανάληψη t επιλέγει µε στοχαστικό τρόπο µία γειτονική λύση x t, εκτελώντας µία κίνηση, µέχρι να ικανοποιηθεί ένα κριτήριο τερµατισµού. 16`
ΑΠΟ ΟΧΗ ΚΑΤΩΦΛΙΟΥ ΤHRESHOLD ACCEPTING Η λύση x που έχει επιλεγεί γίνεται αποδεκτή µόνο εάν c(x )-c(x)<=t (1) όπου το T ονοµάζεται κατώφλιο. Κατά την διάρκεια της διαδικασίας βελτιστοποίησης, το κατώφλι βαθµιαία µειώνεται όπως η θερµοκρασία στην ΠΑ. Η βασική διαφορά του αλγορίθµου της ΑΚ σε σχέση µε αυτόν της ΠΑ είναι ότι το κριτήριο αποδοχής µίας προτεινόµενης λύσης, όπως ορίζεται από την σχέση (1), εγγυάται ως ένα βαθµό τη µη-αποδοχή χαµηλής ποιότητας λύσεων. Αυτό δεν συµβαίνει στην περίπτωση του αλγορίθµου της ΠΑ όπου ακόµα και µια πολύ χαµηλής ποιότητας λύση είναι δυνατό να γίνει αποδεκτή µε πιθανότητα p t. Η επιστηµονική αναφορά του αλγορίθµου της ΑΚ : G. Dueck and T. Scheurer (1990) Threshold accepting: A general purpose optimization algorithm appearing superior to simulated annealing. Journal of Computational Physics, 90:161 175. 17`
ΑΠΟ ΟΧΗ ΚΑΤΩΦΛΙΟΥ ΤHRESHOLD ACCEPTING Η τιµή του κατωφλίου επιλέγεται αρχικώς να είναι αρκετά µεγάλη ώστε ο αλγόριθµος να έχει τη δυνατότητα να αποδέχεται και λύσεις που οδηγούν σε αύξηση την τιµή της αντικειµενικής συνάρτησης. Η αποδοχή χαµηλότερης ποιότητας λύσεων σε σχέση µε την εκάστοτε τρέχουσα λύση, βοηθά τη έρευνα να ξεφύγει από την πρόωρη παγίδευση σε ένα τοπικό ελάχιστο. Ωστόσο, κάθε φορά που γίνεται αποδεκτή µία λύση µέσα στον εσωτερικό βρόχο ενός τυπικού αλγορίθµου ΑΚ, η τιµή του κατωφλίου µειώνεται µονοτονικά, µε αποτέλεσµα να µειώνεται ταυτόχρονα συνεχώς και η πιθανότητα αποδοχής λύσεων που οδηγούν σε αύξηση την τιµή της αντικειµενικής συνάρτησης. 18`
ΑΠΟ ΟΧΗ ΚΑΤΩΦΛΙΟΥ ΤHRESHOLD ACCEPTING Είναι σαφές λοιπόν ότι η τιµή του κατωφλίου τίθεται αρχικά αρκετά ψηλά ώστε η τοπική έρευνα που διεξάγεται να είναι µην ιδιαιτέρως καθοδηγούµενη. Μ αυτό τον τρόπο επιτυγχάνονται υψηλά επίπεδα διαφοροποίησης της έρευνας και ταυτόχρονα ιδιαιτέρως χαµηλή εντατικοποίηση αυτής. Όσο η διαδικασία (το σύστηµα) προχωρεί, η τιµή του κατωφλίου µειώνεται βαθµιαίως αλλάζοντας ριζικά την υπάρχουσα ισορροπία ανάµεσα στη διαφοροποίηση και στην εντατικοποίηση της έρευνας, µέχρι η ΑΚ να λειτουργεί ως αλγόριθµος κατάβασης. 19`
ΑΠΟ ΟΧΗ ΚΑΤΩΦΛΙΟΥ ΤHRESHOLD ACCEPTING Παρήγαγε µία λύση x, αρχική τιµή του κατωφλιού T νέο = Τ παλιό Εξωτερικός Βρόχος: όσο το κριτήριο του εξωτερικού βρόγχου δεν ικανοποιείται πράξε: Εσωτερικός Βρόχος: όσο το κριτήριο του εσωτερικού βρόχου δεν ικανοποιείται, πράξε: Παρήγαγε µία γειτονική λύση x της x Εάν c(x ) <= c(x) +T τότε // Αποδοχήπροτεινόµενηςλύσηςx { θέσε x = x ; έλεγξε εάν c(x) ) < c(x καλύτερη ) τότε x καλύτερη = x ; } Eπανέλαβε Εσωτερικό Βρόχο; Εάν (x έχει αλλάξει, µείωσε την τιµή του κατωφλίου) { T παλιό = Τ νέο ; Τ νέο = α 1 * Τ παλιό } // ΜείωσηΚατωφλίου Επανέλαβε Εξωτερικό Βρόχο; Ανέφερε την καλύτερη λύση που έχει βρεθεί; 20`
ΕΥΧΑΡΙΣΤΩ ΠΟΛΥ ΚΑΙ ΟΠΟΙΑ ΗΠΟΤΕ ΕΡΩΤΗΣΗ/ΣΕΙΣ ΕΧΕΤΕ ΠΑΡΑΚΑΛΩ ΕΙΤΕ ΝΑ ΙΑΤΥΠΩΘΟΥΝ ΜΕΣΑ ΣΤΗΝ ΑΙΘΟΥΣΑ Ι ΑΣΚΑΛΙΑΣ ΕΙΤΕ ΣΤΙΣ ΩΡΕΣ ΓΡΑΦΕΙΟΥ (ΠΑΡΑΣΚΕΥΗ 15.00 17.00) ΜΗ ΙΣΤΑΖΕΤΕ ΝΑ ΙΑΤΥΠΩΝΕΤΕ ΕΡΩΤΗΣΕΙΣ!!!!!!!!! Η ΙΑΤΥΠΩΣΗ ΜΙΑΣ ΕΡΩΤΗΣΗΣ ΕΙΝΑΙ ΤΟ ΠΙΟ ΣΗΜΑΝΤΙΚΟ ΣΤΟΙΧΕΙΟ ΤΗΣ ΙΑ ΙΚΑΣΙΑΣ ΑΠΟΚΤΗΣΗΣ ΓΝΩΣΗΣ!!!! 21`