ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ

Transcript

1 ΠΡΟΧΩΡΗΜΕΝΕΣ ΜΕΘΟ ΟΙ ΤΕΧΝΟΟΙΚΟΝΟΜΙΚΟΥ ΣΧΕ ΙΑΣΜΟΥ Ν.Α.Μανδέλλος ρ Χηµικός Μηχανικός ΕΜΠ Χ.Θ.Κυρανούδης Καθηγητής ΕΜΠ ΕΘΝΙΚΟ ΜΕΤΣΟΒΙΟ ΠΟΛΥΤΕΧΝΕΙΟ 2013

2 ΕΙΣΑΓΩΓΗ Μιλώντας για αριστοποίηση, εννοούµε την µαθηµατική µεθοδολογία ή διαδικασία µε την οποία προσδιορίζεται η µέγιστη ή η ελάχιστη τιµή µιας συνάρτησης πολλών µεταβλητών. Η ανάγκη εύρεσης τρόπων (αναλυτικών και αριθµητικών) αριστοποίησης, είναι εµφανής σε διάφορους τοµείς της ανθρώπινης δραστηριότητας. Σχεδόν κάθε πρόβληµα σχεδιασµού, λειτουργίας και ανάλυσης των φυσικών, τεχνολογικών και επιχειρησιακών συστηµάτων, καθώς και του αυτοµατισµού τους, οδηγεί στην αριστοποίηση κατάλληλων συναρτήσεων ή συναρτησιακών που περιγράφουν την κατάσταση και την ποιότητα του προϊόντος το οποίο παράγει το σύστηµα. Γι αυτό σήµερα η αριστοποίηση αναπτύσσεται, αφενός µεν ως καθαρά µαθηµατική τεχνική, αφετέρου δε σε συνδυασµό µε την κατηγορία των συστηµάτων και των εφαρµογών στις οποίες χρησιµοποιείται. Μερικά τυπικά παραδείγµατα εφαρµογών της αριστοποίησης είναι τα ακόλουθα: Ο σχεδιασµός µιας µονάδας ή ενός συστήµατος για την παραγωγή δεδοµένης ποσότητας υλικού επιθυµητής ποιότητας µε το µικρότερο κόστος ή το µεγαλύτερο κέρδος. Ο προσδιορισµός του είδους της συντήρησης ή αντικατάστασης διατάξεων και οργάνων για τη µεγιστοποίηση της αξιοπιστίας και την ελαχιστοποίησητου χρόνου βλάβης ενός συστήµατος. Η διάθεση αγαθών και υπηρεσιών µεταξύ διαφόρων µονάδων λειτουργίας για τη µεγιστοποίηση της συνολικής αποδοτικότητας και παραγωγικότητας. Η ρύθµιση του χρόνου αναµονής ή του νεκρού χρόνου σε γραµµές παραγωγής προς ελαχιστοποίηση του κόστους κ. ά. Ο προσδιορισµός της µικρότερης διαδροµής ενός πωλητή που επισκέπτεται διάφορες περιοχές. Ένας σηµαντικός κλάδος της Μαθηµατικής Αριστοποίησης είναι ο Μαθηµατικός Προγραµµατισµός. Ο Μαθηµατικός Προγραµµατισµός ασχολείται µε την επίλυση πολυµεταβλητών προβληµάτων µεγιστοποίησης ή ελαχιστοποίησης. Οι θεωρούµενες µεταβλητές εκφράζονται µε κάποια συναρτησιακή σχέση που πρέπει να µεγιστοποιηθεί ή ελαχιστοποιηθεί. Η σχέση αυτή ονοµάζεται συνήθως αντικειµενική συνάρτηση ή συνάρτηση κόστους (κέρδους) ή δείκτης συµπεριφοράς. Οι µεταβλητές αυτές πρέπει συνήθως να ικανοποιούν ορισµένες εξισώσεις ή ανισώσεις που ονοµάζονται περιορισµοί.

3 Τόσο η αντικειµενική συνάρτηση όσο και οι περιορισµοί µπορούν να είναι γραµµικές ή µη γραµµικές συναρτήσεις µερικών ή όλων των µεταβλητών. Αν δεν υπάρχουν περιορισµοί, το πρόβληµα είναι γνωστό ως πρόβληµα ελαχιστοποίησης (µεγιστοποίησης) χωρίς περιορισµούς. Κάθε σύνολο τιµών των µεταβλητών του προβλήµατος που ικανοποιεί όλους τους περιορισµούς ονοµάζεται εφικτή λύση. Μια εφικτή λύση που µεγιστοποιεί (ή ελαχιστοποιεί, ανάλογα µε την περίπτωση) την αντικειµενική συνάρτηση αποτελεί µια βέλτιστη λύση του προβλήµατος του µαθηµατικού προγραµµατισµού. Ο µη γραµµικός προγραµµατισµός βρίσκει εφαρµογές σε διάφορες επιστήµες (µηχανική, οικονοµία, διοίκηση επιχειρήσεων, φυσικές επιστήµες, µαθηµατικά) και σε αντικείµενα όπως η πρόβλεψη, ο σχεδιασµός παραγωγής, ο έλεγχος αποθεµάτων, ο ποιοτικός έλεγχος, συντήρηση και επισκευή, σχεδιασµός διαδικασιών, οικονοµικά προβλήµατα και σχεδιασµός χαρτοφυλακίων. Γενικότερα τα προβλήµατα Μη Γραµµικού Προγραµµατισµού εµφανίζονται οπουδήποτε πρέπει να ληφθούν αποφάσεις (µε την ευρεία έννοια) σε κάποια σύνθετη κατάσταση που µπορεί να παρασταθεί µε ένα αντίστοιχο µαθηµατικό µοντέλο. Τα περισσότερα πραγµατικά προβλήµατα έχουν αρκετές λύσεις, κάποια δε από αυτά άπειρο πλήθος λύσεων. Ο στόχος του προγραµµατισµού είναι να βρει την καλύτερη δυνατή λύση µεταξύ όλων των πιθανών λύσεων για κάθε ξεχωριστό πρόβληµα, ως προς κάποια προκαθορισµένα κριτήρια. Έτσι ένα πρόβληµα που έχει µοναδική λύση δεν έχει νόηµα να βελτιστοποιηθεί. Τα προβλήµατα του Μη Γραµµικού Προγραµµατισµού ταξινοµούνται σε προβλήµατα χωρίς περιορισµούς και σε προβλήµατα µε περιορισµούς και θα τα µελετήσουµε παρακάτω. Σκοπός του παρόντος συγγράµατος είναι η αποτύπωση των βασικών αρχών του Μαθηµατικου Προγραµµατισµού και η υλοποίηση τους µέσα από διδακτικές µεθοδολογίες υπολογιστικών παραδειγµάτων. Ν.Α.Μανδέλλος, Χ.Θ.Κυρανούδης, Εθνικό Μετσόβιο Πολυτεχνείο Αθήνα 2013

4 1 ΣΥΣΤΗΜΑΤΑ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ ΑΝΑΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ Μη Γραµµικά Συστήµατα Εξισώσεων Αλγόριθµος ιχοτόµησης Μέθοδος Σταθερού Σηµείου Μέθοδος Newton-Raphson Ανασκόπηση της περιοχής της αριθµητικής επίλυσης συστηµάτων µη γραµµικών εξισώσεων µε επιµέρους χαρακτηριστικά παραδείγµατα προβληµάτων. ιατύπωση των σηµαντικότερων αλγορίθµων και της αποτελεσµατικότητας επίλυσης αντίστοιχων προβληµάτων.

5 ΜΗ ΓΡΑΜΜΙΚΑ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ Στο κεφάλαιο αυτό θα εξετάσουµε το πρόβληµα της εύρεσης και υπολογισµού των ριζών εξισώσεων και συστηµάτων εξισώσεων. Η βασική µορφή του προβλήµατος στην απλούστερη του περίπτωση είναι η εξής: εδοµένης µιας συνάρτησης f (x), αναζητούµε την τιµή µιας µεταβλητής x r για την οποία ισχύει f (x r ) = 0. Λύση x r ονοµάζεται η ρίζα της εξίσωσης, δηλαδή η τιµή που µηδενίζει την συνάρτηση f. Στη συνέχεια, θα διερευνήσουµε την επίλυση του παραπάνω προβλήµατος ακολουθώντας τις παρακάτω δύο χαρακτηριστικές κατηγορίες: Απλή µη γραµµική εξίσωση µε έναν άγνωστο x, f: R R, όπου για το βαθµωτό µέγεθος x r υπάρχει τιµή τέτοια ώστε f (x r ) = 0. Σύστηµα n µη γραµµικών εξισώσεων µε n αγνώστους x, f: R n R n, όπου για το διανυσµατικό µέγεθος x υπάρχει τιµή x r τέτοια ώστε το διάνυσµα f(x r ) να παίρνει την τιµή µηδέν (0) σε όλα τα στοιχεία του ταυτόχρονα. ΠΑΡΑ ΕΙΓΜΑΤΑ Απλή µη γραµµική εξίσωση: x 2-4sin(x) = 0, για την οποία η τιµή x = 1.9 αποτελεί µια προσεγγιστική λύση. Σύστηµα γραµµικών εξισώσεων σε δύο διαστάσεις: = = 0, για το οποίο η λύση είναι = [ ]. ΥΠΑΡΞΗ ΚΑΙ ΜΟΝΑ ΙΚΟΤΗΤΑ ΛΥΣΕΩΝ Γενικά είναι δύσκολο να καθοριστεί η ύπαρξη ή το πλήθος των δυνατών λύσεων για µια µη γραµµική εξίσωση. Στην περίπτωση ενός συστήµατος γραµµικών εξισώσεων τα πιθανά ενδεχόµενα είναι: Επιλύσιµο Σύστηµα: το πλήθος των αγνώστων είναι ίδιο µε το πλήθος των εξισώσεων Αδύνατο Σύστηµα: το πλήθος των αγνώστων είναι µεγαλύτερο από το πλήθος των εξισώσεων Αόριστο Σύστηµα: το πλήθος των αγνώστων είναι µικρότερο από το πλήθος των εξισώσεων Στην περίπτωση ενός συστήµατος µη γραµµικών εξισώσεων το πλήθος των λύσεων µπορεί να είναι οποιοδήποτε. Γενικά, ο καθορισµός της ύπαρξης και µοναδικότητας των

6 λύσεων είναι πιο περίπλοκος για τις µη γραµµικές εξισώσεις, και ακόµη πιο πολύπλοκος για τα συστήµατα των µη γραµµικών εξισώσεων. Μέχρι σήµερα δεν υπάρχει γενική αναλυτική µεθοδολογία επίλυσης µη γραµµικών εξισώσεων, ωστόσο υπάρχουν µερικά χρήσιµα τοπικά κριτήρια τα οποία εγγυώνται την ύπαρξη µιας επίλυσης. Η απλούστερη µεθοδολογία από αυτές είναι για προβλήµατα µιας διάστασης, για τα οποία το θεώρηµα ενδιάµεσης τιµής παρέχει την απαραίτητη συνθήκη για την εύρεση λύσης. Το Θεώρηµα Ενδιάµεσης τιµής ορίζει ότι εάν η συνάρτηση f είναι συνεχής σε ένα διάστηµα [a, b], τότε για κάποιο σηµείο c ανάµεσα από τις τιµές f(a) και f(b): f(a) < c < f(b), υπάρχει µια τιµή x* στο [a, b], όπου f(x*) = c. Έτσι, εάν οι τιµές των f(a) και f(b) διαφέρουν στο πρόσηµο, δηλαδή f(a)f(b) < 0, τότε αν θέσουµε c=0 συµπεραίνουµε ότι υπάρχει τουλάχιστον µια ρίζα στο διάστηµα [a, b]. Συµπέρασµα από το Θεώρηµα ενδιάµεσης τιµής: f(a)f(b) < 0 => υπάρχει x* [a, b] όπου f(x*) = 0 Η λογική του θεωρήµατος ενδιάµεσης τιµής δεν µπορεί να γενικευθεί για συστήµατα µη γραµµικών εξισώσεων. Οι µη γραµµικές εξισώσεις µπορούν να έχουν οποιοδήποτε αριθµό λύσεων. Μπορούν να έχουν µια συγκεκριµένη ρίζα ή πολλαπλές ρίζες. ΠΟΛΛΑΠΛΕΣ ΡΙΖΕΣ Μια µη γραµµική εξίσωση µπορεί να έχει πολλαπλές ρίζες, οι οποίες να µηδενίζουν τόσο τη συνάρτηση όσο και την παράγωγο της, δηλ. f(x) = 0 και f (x) = 0. Γεωµετρικά η ιδιότητα αυτή απεικονίζεται από µια οριζόντια εφαπτοµένη στον άξονα x της καµπύλης της συνάρτησης f. Γενικότερα για µια οµαλή συνάρτηση f αν ισχύει: f(x*)=f (x*)=f (x*)=...=f (m-1) (x*)=0 τότε η x* είναι µια πολλαπλή ρίζα της f(x) = 0 µε βαθµό πολλαπλότητας m. Εάν m=1 τότε η x* είναι µια απλή ρίζα της εξίσωσης f(x)=0. ΒΑΘΜΟΣ ΣΥΓΚΛΙΣΗΣ ΚΑΙ ΚΡΙΤΗΡΙΟ ΤΕΡΜΑΤΙΣΜΟΥ Σε αντίθεση µε τις γραµµικές εξισώσεις, οι περισσότερες µη γραµµικές εξισώσεις δεν µπορούν να επιλυθούν µε πεπερασµένο αριθµό βηµάτων και µε αναλυτικό τρόπο. Έτσι γενικότερα χρησιµοποιούνται επαναληπτικές µέθοδοι για την επίλυση µη γραµµικών εξισώσεων. Το συνολικό υπολογιστικό κόστος για την επίλυση ενός τέτοιου προβλήµατος εξαρτάται τόσο από το κόστος ανά επανάληψη όσο και από το πλήθος των επαναλήψεων που απαιτείται. Υπάρχει συχνά ένας συµβιβασµός µεταξύ των δύο αυτών παραµέτρων. Για να αξιολογηθεί η αποτελεσµατικότητα των επαναληπτικών µεθόδων, θα πρέπει να αξιολογηθεί ο ρυθµός σύγκλισης. Μια επαναληπτική µέθοδος ορίζεται ότι είναι τάξης r ή έχει ρυθµό σύγκλισης r, εάν r είναι o µεγαλύτερος θετικός πραγµατικός αριθµός για τον οποίο υπάρχει µια πεπερασµένη σταθερά C 0 τέτοια ώστε:

7 ε k+1 C ε k r, όπου ε k = x k x* είναι το σφάλµα στην k-οστή επανάληψη. Η σταθερά C ονοµάζεται ασυµπτωτική σταθερά σφάλµατος και εξαρτάται συνήθως επί των παραγώγων της f(x) στο σηµείο x=x*, όπου x* είναι η πραγµατική λύση. Για τις µεθόδους εκείνες που κινούνται σε προκαθορισµένα διαστήµατα που αναµένεται ότι εµπεριέχουν την λύση (π.χ. µέθοδος διχοτόµησης ή µέθοδος σταθερού σηµείου) θεωρείται ότι το σφάλµα σε κάθε βήµα είναι το προκαθορισµένο διάστηµα που εµπεριέχει τη λύση. ΓΕΝΙΚΕΥΣΗ ΣΕ ΣΥΣΤΗΜΑΤΑ ΜΗ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ Τα συστήµατα µη γραµµικών εξισώσεων είναι γενικότερα πολύ πιο δύσκολα από την επίλυση µιας µη γραµµικής εξίσωσης. Αυτό συµβαίνει για αρκετούς λόγους: Το πεδίο τιµών της συνάρτησης είναι αρκετά πιο ευρύ και το ίδιο συµβαίνει και στη συµπεριφορά της συνάρτησης στο χώρο. Έτσι η θεωρητική ανάλυση για την ύπαρξη λύσεων και τον προσδιορισµό του πλήθους τους είναι αρκετά πιο πολύπλοκη. εν υπάρχει γενική µεθοδολογία που να εγγυάται την σύγκλιση. Η υπολογιστική πολυπλοκότητα αυξάνει εκθετικά µε την αύξηση των διαστάσεων του προβλήµατος. ΑΛΓΟΡΙΘΜΟΣ ΙΧΟΤΟΜΗΣΗΣ Στις περισσότερες περιπτώσεις κατά την επίλυση της εξίσωσης f(x) = 0 δεν είναι δυνατόν να βρεθεί αριθµός x* µε πεπερασµένο αριθµό σηµαντικών ψηφίων που να επιλύει την παραπάνω εξίσωση, και η f(x*) να γίνεται ακριβώς µηδέν. Η µέθοδος της διχοτόµησης αντίθετα επιδιώκει την εύρεση διαστήµατος [a, b] όπου η τιµή της f αλλάζει πρόσηµο στα άκρα του. Έτσι το διάστηµα αυτό, το οποίο µπορεί να διαιρεθεί άπειρες φορές ορίζει τον άρρητο αριθµό που αντιστοιχεί στη λύση της f(x)=0. Η µέθοδος διχοτόµησης κάνει χρήση του θεωρήµατος Ενδιάµεσης τιµής. Ξεκινά µε ένα αρχικό διάστηµα και διαδοχικά µειώνει το µήκος του έως ότου το µήκος του διαστήµατος γίνει µικρότερο από την επιθυµητή ακρίβεια της λύσης. Σε κάθε επανάληψη η συνάρτηση αξιολογείται στο µέσον του τρέχοντος διαστήµατος, και επιλέγεται το αριστερό ή το δεξιό ήµισυ του διαστήµατος ανάλογα µε το αν τηρεί την συνθήκη του θεωρήµατος µέσης τιµής: f(a)f(b) < 0. ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ INPUT: η ακρίβεια TOL, διάστηµα [a, b] τιµή a και τιµή b. OUTPUT: προσεγγιστική λύση p. Step 0. p = a + (b a) / 2 Step 1. If (b-a < tol) then OUTPUT Step 2. p = a + (b-a)/2 Step 3. If ( sign(f(a)) = sign(f(p)) ) then a=p else b=p Step 4. Goto Step 1

8 Ας σηµειωθούν µερικά σηµεία στο παραπάνω αλγόριθµο που έχουν σχεδιαστεί για να αποφευχθούν οι παγίδες όταν επιλύονται προβλήµατα φτιάχνοντας αλγορίθµους σε κάποια γλώσσα προγραµµατισµού (δεδοµένου ότι οι πραγµατικοί αριθµοί ακολουθούν το πρότυπο αριθµών κινητής υποδιαστολής και πεπερασµένου πλήθους σηµαντικών ψηφίων): 1. Ο πιο προφανής τρόπος για τον υπολογισµό του µέσου του διαστήµατος [a, b] είναι m=(a+b)/2. Ωστόσο, µε τον τρόπο αυτόν το σφάλµα σε προβλήµατα που η ακρίβεια πλησιάζει το µέγιστο αριθµό σηµαντικών ψηφίων του υπολογιστή δεν είναι εγγυηµένο. Επίσης σε ειδικές περιπτώσεις η µέση τιµή υπολογισµένη από τον παραπάνω τύπο µπορεί να υπερχειλίσει (overflow). Μια καλύτερη εναλλακτική λύση είναι ο τύπος m = α + (β-α) / 2, που δεν µπορεί να υπερχειλίσει και η µέση τιµή εµπίπτει εγγυηµένα εντός του διαστήµατος [α, β] δεδοµένου βέβαια ότι a και b έχουν ίδιο πρόσηµο (όπως κανονικά συµβαίνει, εκτός εάν η ρίζα τυγχάνει να είναι κοντά στο µηδέν). 2. Για να ελέγξουµε πότε δύο τιµές της συνάρτησης f(x 1 ) και f(x 2 ) έχουν αντίθετο πρόσηµο, ελέγχουµε το γινόµενο f(x 1 )f(x 2 ) αν είναι µικρότερο ή µεγαλύτερο του µηδενός. Ωστόσο, σε υπολογισµούς µε αριθµούς κινητής υποδιαστολής - όπως δηλαδή το χειρίζεται ο υπολογιστής - η πρακτική αυτή είναι επικίνδυνη επειδή το αποτέλεσµα του γινοµένου µπορεί να γίνει µηδέν ως αποτέλεσµα στρογγυλοποίησης. Έτσι θα χάσουµε την πληροφορία του πρόσηµου. Μια ασφαλέστερη εναλλακτική λύση είναι να χρησιµοποιηθεί η συνάρτηση sign(x): ΣΥΓΚΛΙΣΗ ΤΗΣ ΜΕΘΟ ΟΥ 1, 0 = 1, < 0 Η µέθοδος της διχοτόµησης δεν επηρεάζεται από τα µεγέθη των τιµών της εξίσωσης, αλλά από τα πρόσηµα αυτών. Έτσι η µεθοδολογία είναι βέβαιο ότι θα συγκλίνει, αλλά θα γίνει µε πιο αργό τρόπο σε σύγκριση µε άλλες µεθοδολογίες. Συγκεκριµένα, σε κάθε διαδοχική επανάληψη το µήκος του διαστήµατος που περιέχει τη λύση και κατά συνέπεια το εύρος του σφάλµατος µειώνεται κατά το ήµισυ. Αυτό σηµαίνει ότι η µέθοδος είναι γραµµικά συγκλίνουσα, µε r = 1 και C = 0.5. Εάν το σφάλµα είναι ε τότε ο κατά προσέγγιση αριθµός των επαναλήψεων που απαιτείται προσδιορίζεται από τη σχέση: 2 ή 2 ΥΠΟΛΟΓΙΣΤΙΚΟ ΚΟΣΤΟΣ ΤΗΣ ΜΕΘΟ ΟΥ Απαιτείται ένας υπολογισµός της συνάρτησης ανά επανάληψη.

9 ΜΕΘΟ ΟΣ ΣΤΑΘΕΡΟΥ ΣΗΜΕΙΟΥ Η επαναληπτική µέθοδος του σταθερού σηµείου επιλύει τα µονοδιάστατα προβλήµατα της µορφής x = f(x). Η µέθοδος αυτή στηρίζεται στη µετατροπή της εξίσωσης f(x)=0 σε µια εξίσωση της µορφής g(x)=x, η οποία ικανοποιεί τη σχέση f(x)=0 για ένα συγκεκριµένο x* µόνον όταν g(x*) = x*. Έτσι η µέθοδος σταθερού σηµείου ορίζεται από την επαναληπτική σχέση: = Η συνάρτησης g(x) µπορεί να οριστεί µε πολλούς και διαφορετικούς τρόπους, η πιο απλή περίπτωση ωστόσο είναι εκείνη όπου g(x)=x-f(x). Γραφικά απεικονίζεται η µεθοδολογία στην παρακάτω γραφική παράσταση: Σχήµα 1: Γραφική απεικόνιση του αλγόριθµου σταθερού σηµείου. Για αρχικό σηµείο p 0 µπορούµε να υπολογίσουµε τα σηµεία p 1, p 2,.. έως τη σύγκλιση της µεθόδου στη ρίζα p n. Η µέθοδος σταθερού σηµείου συγκλίνει στη λύση εάν g (x) λ < 1, όπου λ ένας πραγµατικός αριθµός. Το σφάλµα ε n = p x n, όπου p η ακριβής λύση. Το σφάλµα είναι περίπου ίσο µε g (p)ε n-1. Έτσι σε κάθε επανάληψη το σφάλµα µειώνεται κατά ένα συντελεστή g (p). Αν ο συντελεστής αυτός είναι κοντά στη µονάδα η σύγκλιση της επαναληπτικής µεθόδου είναι αργή.

10 ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ Εύρεση λύσης της p=g(p) όταν δίδεται αρχική προσέγγιση p 0. INPUT: OUTPUT: η αρχική προσέγγιση p 0, η ακρίβεια TOL και ο µέγιστος αριθµός επαναλήψεων N 0. προσεγγιστική λύση p ή µήνυµα αποτυχίας. Step 1. Set i=1 Step 2. While i<n 0 do Steps 3-6. Step 3. Set p = g(p 0 ) //υπολογισµός του p i Step 4. If p - p 0 < Tol then OUTPUT (p) //επιτυχής εύρεση λύσης STOP. Step 5. Set i=i+1 Step 6. Set p 0 =p(ενηµέρωση του p 0 ) Step 7. OUTPUT ("Αποτυχία µεθόδου") STOP. ΠΑΡΑ ΕΙΓΜΑ Επίλυση της εξίσωσης = 0, η οποία έχει λύση στο διάστηµα [0, 1]. Ξαναγράφουµε την εξίσωση στη µορφή του σταθερού σηµείου: = + 2 ώστε να ορίζεται η επαναληπτική διαδικασία = + 2. Παρατηρούµε ότι αν ξεκινήσουµε από την τιµή x 0 =10, η µέθοδος αποκλίνει. Αντίθετα να η µέθοδος ξεκινήσει από την τιµή 1 τότε συγκλίνει στη ρίζα p = 0, Τα αποτελέσµατα της εφαρµογής της µεθόδου φαίνονται αναλυτικά στον παρακάτω πίνακα: n x n Απόλυτο Σφάλµα x n Απόλυτο Σφάλµα E E E E E E E E E E E E-16 Απόκλιση Απόκλιση Απόκλιση Έτσι αντιλαµβανόµαστε ότι η αρχική τιµή µπορεί να οδηγήσει σε σύγκλιση ή απόκλιση. Το κριτήριο σύγκλισης ορίζει g (x) λ < 1, δηλαδή < 1, οπότε για οποιαδήποτε τιµή του x στο [0, 1] οι τιµές της παραπάνω σχέσης είναι πάντοτε µικρότερες του 1, δηλαδή αναµένουµε να υπάρχει σύγκλιση.

11 ΕΠΕΚΤΑΣΗ ΣΕ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ εδοµένης µιας συνάρτησης g: R n R n, το πρόβληµα επίλυσης συστήµατος εξισώσεων της µορφής f(x)=0 µε τη µέθοδο σταθερού σηµείου είναι η εύρεση διανύσµατος x για το οποίο ισχύει x=g(x), όπου το x καλείται σταθερό σηµείο της συνάρτησης g. Σε µια µη γραµµική εξίσωση f(x)=0 αναζητούµε το σηµείο x στο οποίο η καµπύλη της f τέµνει τον άξονα των x, και λύνοντας µε τη µέθοδο σταθερού σηµείου x=g(x) αναζητούµε σηµείο όπου η καµπύλη της g τέµνει την γραµµή y=x. Όµοια σε σύστηµα εξισώσεων f(x)=0 ο στόχος είναι να βρούµε διάνυσµα x για το οποίο x=g(x). Πολλές επαναληπτικές µέθοδοι για την επίλυση µη γραµµικών εξισώσεων χρησιµοποιούν αναγωγικό τύπο της µορφής x k+1 =g(x k ), όπου το g είναι η συνάρτηση εκείνη για την οποία τα σταθερά σηµεία της να είναι λύσεις για την εξίσωση f(x) = 0. Σε σύστηµα της µορφής f(x)=0, ο στόχος είναι να βρεθεί το διάνυσµα x µέσα από µια επαναληπτική διαδικασία της µορφής x k+1 =g(x k ) δεδοµένης αρχικής τιµής x 0. Για µια δεδοµένη εξίσωση f(x)=0, δύναται να υπάρχουν πολλά ισοδύναµα προβλήµατα σταθερού σηµείου x=g(x) µε διαφορετικές επιλογές της συνάρτησης g. Ωστόσο, δεν δύναται να εξαχθούν αποδοτικά επαναληπτικά σχήµατα από όλους τους ισοδύναµους σχηµατισµούς του προβλήµατος σταθερού σηµείου για την επίλυση µιας δεδοµένης µη γραµµικής εξίσωσης. Οι διαφορές µεταξύ τους συνοψίζονται όχι µόνον στην ταχύτητα σύγκλισης, αλλά και στην ικανότητα τους να συγκλίνουν και να φέρουν τελικά αποτέλεσµα. ΣΥΓΚΛΙΣΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ Η συµπεριφορά ενός επαναληπτικού αλγόριθµου σταθερού σηµείου δύναται να ποικίλει ευρέως, από την µη σύγκλιση εως την αργή ή την ταχεία σύγκλιση. Αυτό που χαρακτηρίζει την σύγκλιση τελικά του αλγορίθµου είναι το µέτρο της πρώτης παράγωγου του µετασχηµατισµού g: Αν x*=g(x*) και g'(x*) <1, τότε η επαναληπτική διαδικασία συγκλίνει τοπικά, δηλαδή υπάρχει διάστηµα που περιέχει το x* τέτοιο ώστε η διαδικασία συγκλίνει µε την προϋπόθεση ότι ξεκινάει από σηµείο εντός αυτού του διαστήµατος. Αν g(x*) >1 τότε η διαδικασία αποκλίνει για κάθε σηµείο εκκίνησης διαφορετικό από το x*. Μια επαναληπτική µέθοδος θεωρείται τάξης r ή ότι έχει ρυθµό σύγκλισης r, αν r είναι ο µεγαλύτερος θετικός πραγµατικός αριθµός για τον οποίο η σταθερά C 0 ικανοποιεί τη σχέση: ε k+1 C ε k r, όπου ε k = x k -x* είναι το σφάλµα στην k-οστή επανάληψη. Η σταθερά C ονοµάζεται ασυµπτωτική σταθερά σφάλµατος η οποία συνήθως εξαρτάται από τις παραγώγους της f(x) στο σηµείο x*, όπου x* είναι η πραγµατική λύση.

12 ΜΕΘΟ ΟΣ NEWTON-RAPHSON Η µέθοδος διχοτόµησης στηρίζεται στις αλλαγές πρόσηµου των τιµών της συνάρτησης στο πεδίο ορισµού, παρά στις ίδιες τις τιµές της συνάρτησης στο πεδίο ορισµού. Τα αποτελέσµατα της µεθοδολογίας αυτής είναι αργά, αλλά οδηγούν σίγουρα στη σύγκλιση. Οι επαναληπτικές µέθοδοι εκµεταλλεύονται τις τιµές της συνάρτησης στο πεδίο ορισµού µε σκοπό να συγκλίνουν ταχύτερα στην λύση. ΕΠΑΝΑΛΗΠΤΙΚΕΣ ΙΑ ΙΚΑΣΙΕΣ ΓΡΑΜΜΙΚΩΝ ΕΞΙΣΩΣΕΩΝ Έστω f(x) = 0 είναι µία µη γραµµική εξίσωση, Αν προσεγγίσουµε την f(x) µε µια εξίσωση πρώτη βαθµού στη γειτονία της ρίζας, τότε, η εξίσωση µετασχηµατίζεται ως: f(x) = a 0 x + a 1 = 0. Η επίλυση της παραπάνω εξίσωσης µας δίνει λύση την x1=-a 1 /a 0, όπου a 0 0 και α 1 είναι οι παράµετροι που πρέπει να προσδιοριστούν από την f(x) και την παράγωγο της. Μπορούµε να υπολογίσουµε τις παραµέτρους a 0 και α 1 της παραπάνω προσεγγιστικής εξίσωσης χρησιµοποιώντας την παρακάτω συνθήκη: = + = + = = Έτσι, από την αναγωγή της σχέσης = ί = = και προκύπτει ο βασικός αναγωγικός τύπος της µεθόδου Newton-Raphson: ΓΕΩΜΕΤΡΙΚΗ ΕΡΜΗΝΕΙΑ = Η µέθοδος Newton-Raphson προσεγγίζει τη ρίζα x k µιας µη γραµµικής συνάρτησης f χρησιµοποιώντας την εφαπτοµένη. Στο παρακάτω σχήµα αποτυπώνεται η γεωγραφική ερµηνεία της µεθοδολογίας: Επιλέγουµε ένα τυχαίο σηµείο x 0 στη γειτονία της ρίζας το οποίο θεωρούµε ως την πρώτη προσέγγιση στη ρίζα. Παίρνουµε την εφαπτοµένη της καµπύλης στο σηµείο [x 0, f(x 0 )], η οποία προσδιορίζει ένα νέο σηµείο x 1 για το οποίο ισχύει ότι a 0 x 1 +a 1 =0 από την τοµή της εφαπτοµένης µε τον άξονα των x. Επαναλαµβάνουµε την διαδικασία για το νέο σηµείο x 1 ώστε να υπολογίσουµε το νέο σηµείο x 2, και συνεχίζουµε έως ότου η προσέγγιση να είναι µικρότερη από το επιθυµητό λάθος ε.

13 Σχήµα 2: Γραφική απεικόνιση του αλγόριθµου Newton-Raphson. Για αρχικό σηµείο p 0 µπορούµε να υπολογίσουµε τα σηµεία p 1, p 2,.. έως τη σύγκλιση της µεθόδου στη ρίζα p n. ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ INPUT: OUTPUT: η αρχική προσέγγιση p 0, η ακρίβεια TOL και ο µέγιστος αριθµός επαναλήψεων N 0. προσεγγιστική λύση p ή µήνυµα αποτυχίας. Step 1. Set i=1 Step 2. While i<n 0 do Steps 3-6. Step 3. Set p = p 0 f(p 0 ) / dfdx(p 0 ) //υπολογισµός του p i, dfdx = πρώτη //παράγωγος της f(x) Step 4. If p - p 0 < Tol then OUTPUT (p) //επιτυχής εύρεση λύσης

14 Step 5. Set i=i+1 Step 6. Set p 0 =p(ενηµέρωση του p 0 ) Step 7. OUTPUT ("Αποτυχία µεθόδου") STOP. STOP. ΑΝΑΛΥΣΗ ΤΗΣ ΣΥΓΚΛΙΣΗΣ Έστω ότι x* είναι η ακριβής λύση της εξίσωσης της µορφής f(x)=0. Αν το σφάλµα της επανάληψη k-οστής επανάληψης µε τη µέθοδο Newton-Raphson είναι ε k =x k -x * τότε από την αναγωγική σχέση αν αντικαταστήσουµε τις τιµές των x k =x*+ε k και x k+1 =x*+ε k+1 : + = Αν εφαρµόσουµε το ανάπτυγµα Taylor γύρω από το σηµείο x* θα είναι: = Θεωρώντας αµελητέο τον όρο ε 3 k, τότε: =, όπου = Έτσι ο ρυθµός σύγκλησης r είναι r=2. Οπότε η µέθοδος Newton είναι δεύτερης τάξης. ΣΗΜΕΙΑ ΥΠΟΛΟΓΙΣΤΙΚΟΥ ΕΝ ΙΑΦΕΡΟΝΤΟΣ Σε περίπτωση πολλαπλών ριζών η µέθοδος Newton-Raphson συγκλίνει γραµµικά µε ασυµπτωτική σταθερά C=(1-1/m), όπου m είναι η πολλαπλότητα της ρίζας. Για παράδειγµα: k f(x)=x 2-1 f(x) = x 2-2x Προσοχή: Η σύγκλιση στο παραπάνω παράδειγµα είναι τοπική και ως εκ τούτου εάν το αρχικό σηµείο της επαναληπτικής διαδικασίας είναι µακριά από την πραγµατική λύση, τότε υπάρχει η πιθανότητα να µην υπάρχει σύγκλιση. Για παράδειγµα µπορούµε να αναφερθούµε στο σχήµα για τη γεωµετρική επίλυση της

15 µεθόδου, όπου αν η εφαπτόµενη είναι σχεδόν παράλληλη µε τον άξονα των x, τότε για µικρή απόκλιση του x προς την πλευρά που η παράγωγος οδηγεί στην αποµάκρυνση από τη λύση µπορούµε να έχουµε απόκλιση. Βασικό µειονέκτηµα της µεθόδου είναι ότι πρέπει να επιλύουµε σε κάθε επανάληψη την τιµή της συνάρτησης, αλλά και της πρώτης παραγώγου. Ο υπολογισµός της πρώτης παραγώγου της συνάρτησης f(x) δεν είναι πάντοτε εφικτός. Για το λόγο αυτό µπορούµε να χρησιµοποιήσουµε την προσέγγιση: + h = lim + h h h Η προσέγγιση της πρώτης παραγώγου της συνάρτησης f(x) έχει καλύτερα αποτελέσµατα χρησιµοποιώντας κεντρικές διαφορές, δηλαδή: ΓΕΝΙΚΕΥΣΗ ΣΕ ΣΥΣΤΗΜΑΤΑ ΕΞΙΣΩΣΕΩΝ + h h 2h Πολλές µέθοδοι για την επίλυση µη γραµµικών εξισώσεων σε µία διάσταση δεν µπορούν να γενικευθούν απευθείας σε n διαστάσεις. Η µέθοδος Newton µπορεί να γενικευθεί σε µέθοδο επίλυσης συστήµατος µη γραµµικών εξισώσεων. Για την συνεχή και παραγωγίσιµη συνάρτηση : R R το ανάπτυγµα Taylor πρώτης τάξης θα είναι: όπου J f (x) είναι η Ιακωβιανή µήτρα: + +, = Εάν για το διάνυσµα s ικανοποιείται το γραµµικό σύστηµα =, τότε το x+s είναι µια προσέγγιση της f στο µηδενικό διάνυσµα. Έτσι µε τον παραπάνω µετασχηµατισµό η µέθοδος Newton αντικαθιστά το σύστηµα µη γραµµικών εξισώσεων µε ένα σύστηµα γραµµικών, αλλά δεδοµένου ότι η λύση των δύο συστηµάτων δεν θα είναι ταυτόσηµη, η διαδικασία αυτή θα συνεχιστεί επαναληπτικά έως ότου η λύση του γραµµικού συστήµατος προσεγγίσει ικανοποιητικά τη λύση του µη γραµµικού συστήµατος. Πιο αναλυτικά, το µη γραµµικό σύστηµα f(x)=0 αναλυτικά εκφράζεται ως:,,.., = 0,,..., = 0,,..., = 0

16 Έτσι αν αναπτύξουµε κάθε συνάρτηση σε σειρά Taylor µε προσέγγιση µέχρι πρώτης τάξης παραγώγους για n µεταβλητές γύρω από το x (0) = (,,.., ) θα έχουµε: 1, 2,.., = 1 0,.., ,.., ,.., ,.., 0 2, 2,.., = 2 0,.., ,.., 0, 2,.., = ,.., ,.., 0 0,.., ,.., ,.., ,.., 0 εδοµένου ότι f(x)=0, αντικαθιστώντας στην παραπάνω σχέση: 1 0 0,.., ,.., ,.., 0 = 1 0,.., ,.., ,.., ,.., 0 = 2 0,.., 0

17 1 0 0,.., ,.., ,.., 0 = 0,.., 0 Ορίζουµε το διάνυσµα διόρθωσης µε τον παρακάτω τύπο: = s = x-x 0 = = = και το γραµµικό σύστηµα που προκύπτει από τη σχέση: θα γίνει: = 0,.., = 2 0 1, 2,.., , 2,.., Έτσι το ζητούµενο είναι η επίλυση του παραπάνω συστήµατος ως προς s, οπότε: s = J -1 f το οποίο είναι ένα γραµµικό σύστηµα n αγνώστων µε n εξισώσεις. Γενικά υπάρχουν πολλές µεθοδολογίες στην αριθµητική ανάλυση για την επίλυση του γραµµικού συστήµατος =. Ακριβής λύση του συστήµατος µπορεί να βρεθεί µε την ευρέως γνωστή µεθοδολογία απαλοιφής του Gauss. Η µέθοδος αυτή µπορεί να οδηγήσει σχεδόν πάντα σε λύση όταν αυτή υπάρχει εκτός από περιπτώσεις που οι συντελεστές διαφέρουν τάξεις µεγέθους µεταξύ τους, διότι αυτό οδηγεί σε δραµατική αύξηση του σφάλµατος στρογγυλοποίησης. Η αύξηση του σφάλµατος στρογγυλοποίησης το οποίο µπορεί να οδηγήσει σε σηµαντική απόκλιση από την πραγµατική λύση ή να καταστήσει το σύστηµα αδύνατο. Από τις επαναληπτικές µεθόδους οι πλέον γνωστή είναι η µέθοδος Jacobi και η εξέλιξη της Gauss-Seidel.

18 ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ INPUT: OUTPUT: η αρχική προσέγγιση του array x 0, η ακρίβεια TOL και ο µέγιστος αριθµός επαναλήψεων N max. προσεγγιστική λύση x k ή µήνυµα αποτυχίας. Step 1. Set i=1 Step 2. While i<n max do Steps 3-6. Step 3. Επίλυση του J f (x k )s k =-f(x k ) ως προς s k //Επίλυση του συστήµατος Step 4. If s k < Tol then OUTPUT (p=x k +s) //επιτυχής εύρεση λύσης STOP. Step 5. Set i=i+1 Step 6. Set x k =x k+1 Step 7. OUTPUT ("Αποτυχία µεθόδου") STOP. ΥΠΟΛΟΓΙΣΤΙΚΟ ΚΟΣΤΟΣ ΤΗΣ ΜΕΘΟ ΟΥ Το κόστος ανά επανάληψη της µεθόδου Newton για n-διάστατο πρόβληµα είναι σηµαντικό: Ο υπολογισµός της Ιακωβιανής Μήτρας αντιστοιχεί σε κόστος n 2 υπολογισµούς µονοδιάστατου προβλήµατος. Η επίλυση του γραµµικού συστήµατος είναι πολυπλοκότητας O(n 3 ). ΕΥΡΕΣΗ ΙΑΚΩΒΙΑΝΗΣ ΜΗΤΡΑΣ Ένα από τα ελαττώµατα της µεθόδου Newton είναι ο υπολογισµός της Ιακωβιανής µήτρας για την επίλυση του γραµµικού συστήµατος =, ο οποίος απαιτεί n 2 υπολογισµούς των µερικών παραγώγων σε κάθε επανάληψη:, όπου =,,, + h,, για σύστηµα nxn. ΕΠΑΝΑΛΗΠΤΙΚΗ ΜΕΘΟ ΟΣ BROYDEN Με την επαναληπτική µέθοδο Broyden µπορούµε να υπολογίσουµε την Ιακωβιανή Μήτρα χρησιµοποιώντας την επαναληπτική σχέση: = +, όπου: = και = Η παραπάνω σχέση στηρίζεται σε αρχική εκτίµηση της Ιακωβιανής µήτρας J k και για να το εφαρµόσουµε στην µέθοδο Newton χρειάζεται να υπολογίζουµε την αντίστροφη Ιακωβιανή J k -1 σε κάθε επανάληψη ώστε να εκτιµήσουµε την νέα τιµή του x k+1 :

19 = O Broyden προτείνει επίσης τη χρήση της σχέσης Sherman-Morrison για να γίνεται ανανέωση απευθείας στον αντίστροφο πίνακα της Ιακωβιανής, όπως περιγράφεται από: = +, όπου: = και = Η µεθοδολογία αυτή είναι ευρέως γνωστή και ως «καλή πρακτική του Broyden». Μια παρόµοια τεχνική µπορεί να προκύψει χρησιµοποιώντας µια µικρή µετατροπή της Ιακωβιανής η οποία ελαχιστοποιεί το µέτρο της διαφοράς δυο διαδοχικών Ιακωβιανών: Έτσι προκύπτει η λεγόµενη «κακή πρακτική του Broyden»: = +

20 2 ΑΡΙΣΤΟΠΟΙΗΣΗ ΧΩΡΙΣ ΠΕΡΙΟΡΙΣΜΟΥΣ ΑΝΑΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ Εισαγωγή Αριστοποίηση Συναρτήσεων µιας Μεταβλητής Μέθοδοι Κλίσης Μέθοδοι Άµεσης Ανίχνευσης Μέθοδοι Μεταβλητής Μετρικής Ανασκόπηση της περιοχής της µη γραµµικής αριστοποίησης χωρίς περιορισµούς µε επιµέρους χαρακτηριστικά παραδείγµατα προβληµάτων. ιατύπωση των σηµαντικότερων αλγορίθµων και της αποτελεσµατικότητας επίλυσης αντίστοιχων προβληµάτων.

21 ΕΙΣΑΓΩΓΗ Η αριστοποίηση είναι µια µεθοδολογία κατά την οποία αναζητείται η βέλτιστη λύση σε µια διαδικασία ή σε ένα σύστηµα. Σε ένα πρόβληµα αριστοποίησης το δοµικό στοιχείο είναι η Αντικειµενική Συνάρτηση ή αλλιώς η Συνάρτηση Κόστους, η οποία είναι ο δείκτης ποιότητας της επίλυσης. Έτσι σε προβλήµατα ελαχιστοποίησης στόχος είναι να ελαχιστοποιήσουµε την αντικειµενική συνάρτηση, και το αντίθετο, δηλαδή να µεγιστοποιήσουµε την συνάρτηση κόστους, σε προβλήµατα εύρεσης µεγίστου. Η εύρεση της βέλτιστης λύσης επιτυγχάνεται µε την κατάλληλη επιλογή της τιµής των µεταβλητών που επηρεάζουν το σύστηµα ή τη διαδικασία. Τα προβλήµατα αριστοποίησης διαχωρίζονται σε δυο βασικές κατηγορίες σε γραµµικά και µη γραµµικά προβλήµατα. Στα γραµµικά προβλήµατα αριστοποίησης είναι δυνατόν να ευρεθεί η λύση που ανήκει στο καθολικό βέλτιστο, αντίθετα στα µη γραµµικά προβλήµατα, η εύρεση της καθολικής λύσης δεν είναι κατά κανόνα εφικτή (εκτός από ειδικές περιπτώσεις που ο χώρος εύρεσης είναι συµµετρικός ή εξασφαλίζεται για την αντικειµενική συνάρτηση είναι µονότονη). υο είναι οι βασικοί ευρέως χρησιµοποιούµενοι ευρετικοί αλγόριθµοι: Εύρεση του τοπικού ακρότατου ξεκινώντας από διάφορα σηµεία εκκίνησης ιατάραξη της θέσης της έρευνας του ακρότατου ώστε να προχωρήσει σε νέα τοπικά ακρότατα τα οποία θα µπορούσαν να είναι καλύτερες λύσεις από τις ήδη υπάρχουσες. Παρακάτω αναφέρονται γνωστές µεθοδολογίες εύρεσης τοπικού ακρότατου: Μεγίστης καθόδου: κατάλληλη για ταχύτατο εντοπισµό της περιοχής όπου ευρίσκεται το ελάχιστο θα περιγραφεί αναλυτικά στη συνέχεια. Μέθοδοι ανίχνευσης: µέθοδοι που στηρίζονται στη µεθοδική διερεύνηση του χώρου µε απευθείας υπολογισµού της αντικειµενικής συνάρτησης σε διάφορα σηµεία. Μέθοδος Newton: χρησιµοποιεί όρους δεύτερης τάξης που λαµβάνουν υπ' όψιν την καµπυλότητα της συνάρτησης για καλύτερη επιλογή κατευθύνσεων µεταβολής. ΑΡΙΣΤΟΠΟΙΗΣΗ ΣΥΝΑΡΤΗΣΕΩΝ ΜΙΑΣ ΜΕΤΑΒΛΗΤΗΣ. Η πιο απλή µορφή ενός µη γραµµικού προβλήµατος αριστοποίησης είναι ένα πρόβληµα που αναζητούµε το βέλτιστο επηρεάζοντας µόνον µια µεταβλητή, δηλαδή η αντικειµενική συνάρτηση του προβλήµατος f(x) είναι συνάρτηση µιας µεταβλητής. Απαραίτητη προϋπόθεση για την εύρεση ακρότατου µιας συνάρτησης είναι o µηδενισµός της πρώτης παραγώγου, δηλαδή: f (x) = 0 Για την διερεύνηση του τύπου του ακρότατου της f(x) (ελάχιστο ή µέγιστο στο σηµείο x opt ), θα πρέπει να διερευνήσουµε ανώτερες παράγωγους. Έτσι αν θέσουµε: g(x) = f (x)

22 ανάγουµε το πρόβληµα εύρεσης ακρότατου της f(x) σε πρόβληµα υπολογισµού των ριζών της παραπάνω εξίσωσης, η οποία µπορεί να λυθεί εύκολα µε κάποια γενική µέθοδο αριθµητικής ανάλυσης για τον υπολογισµό ριζών (π.χ. µέθοδος διχοτόµησης ή η µέθοδος Newton Raphson που έχει αναφερθεί στο προηγούµενο κεφάλαιο). ΕΡΕΥΝΑ ΓΡΑΜΜΗΣ Οι µεθοδολογίες έρευνας γραµµής περιλαµβάνουν µια κατηγορία µεθόδων κλίσης οι οποίες έχουν µια κοινή θεµελιώδη δοµή: Ξεκινώντας από κάποιο αρχικό σηµείο ορίζεται µια διεύθυνση κίνησης προς το βέλτιστο, πάνω στη διεύθυνση κίνησης εντοπίζεται το σηµείο για το οποίο βελτιστοποιείται η αντικειµενική συνάρτηση. Από αυτό το σηµείο ορίζεται νέα διεύθυνση κίνησης και η διαδικασία επαναλαµβάνεται ώστε τελικά προκύπτει µια ακολουθία σηµείων που προσεγγίζουν τη βέλτιστη λύση. Η γενική µορφή του αναδροµικού τύπου που παράγει την ακολουθία προσεγγίσεων είναι: = + όπου k = 0, 1,, και x 0 είναι µια αρχική εκτίµηση του τοπικού βέλτιστου, t k το µήκος βήµατος και d k είναι το διάνυσµα διεύθυνσης. Σχήµα 3: Γραφικός υπολογισµός του αναδροµικού τύπου. Το µήκος βήµατος t k που αναφέρεται στην παραπάνω σχέση ορίζει την απόσταση που πρέπει να διανυθεί πάνω στην διεύθυνση d k ώστε να αριστοποιηθεί η f(x) στον φορέα της διεύθυνσης d k. Το µήκος βήµατος t k για την αριστοποίηση της f(x) µε g(x)=f (x) επιλέγεται έτσι ώστε: <, 0 αν πρόκειται για πρόβληµα εύρεσης του ελάχιστου ή, 0

23 αν πρόκειται για πρόβληµα εύρεσης µέγιστου. Έτσι σε κάθε επανάληψη της µεθόδου υπολογίζεται το διάνυσµα διεύθυνσης d k και στη συνέχεια προσδιορίζεται το βήµα. Στη συνέχεια υπολογίζεται η νέα τιµή του x, κ.ο.κ. Η επιτυχία της µεθόδου αυτής εξαρτάται από τους δυο βασικούς υπολογισµούς: από τον υπολογισµό του διανύσµατος διεύθυνσης και τον υπολογισµό του µήκους βήµατος. Ο κανόνας για τους βασικούς υπολογισµούς δίνουν την ταυτότητα του αλγόριθµου έρευνας γραµµής. Στην γενική περίπτωση µπορούµε να θεωρήσουµε ότι ένα πρόβληµα ή µια διαδικασία που εξαρτάται από περισσότερες από µια µεταβλητές µπορεί να αναλυθεί ως µια σειρά προβληµάτων που εξαρτώνται από µια µεταβλητή. Έτσι ένα τέτοιο πρόβληµα µπορεί να αναχθεί σε διαδοχικά προβλήµατα µιας µεταβλητής που συνολικά προσεγγίζουν την βέλτιστη λύση. ΑΝΑΛΥΣΗ ΜΕΘΟ ΟΛΟΓΙΑΣ Η επαναληπτική σχέση στη µέθοδο αναζήτησης γραµµής είναι = +, όπου η κλίση του διανύσµατος διεύθυνσης d k υπολογίζεται από την πρώτη παράγωγο της f (x k ). Έτσι σε κάθε επανάληψη ζητούµε να προσδιορίσουµε την τιµή του t k για την οποία η σχέση = + γίνεται ελάχιστη. Άρα ζητούµε να επιλύσουµε την εξίσωση: = 0 Η τελευταία σχέση έχει ως µόνη παράµετρο το t k που είναι βαθµωτό µέγεθος, οπότε µπορούµε να λύσουµε την παραπάνω εξίσωση αριθµητικά µε εφαρµογή της γνωστής µεθόδου επίλυσης εξισώσεων Newton Raphson για την επαναληπτική σχέση: Ορίζουµε, οπότε η επαναληπτική σχέση θα δίνεται από: = και µπορούµε να προσεγγίσουµε την παράγωγο του g από την κεντρική διαφορά: + 2 οπότε για να λύσουµε το παραπάνω πρόβληµα µπορούµε να κατασκευάσουµε έναν επαναληπτικό αλγόριθµο όπως περιγράφεται παρακάτω.

24 ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ INPUT: OUTPUT: η αρχική προσέγγιση x 0, η ακρίβεια της Newton Raphson TOL NR, ο µέγιστος αριθµός επαναλήψεων της Newton Raphson N NR, η συνολική ακρίβεια TOL για την εύρεση του µέγιστου και το σύνολο των επαναλήψεων εντός των οποίων η λύση είναι αποδεκτή N tot. ελάχιστο x* ή µήνυµα αποτυχίας. Step 1. Set i=1, x=(x1 0, x2 0 ) Step 2. While i<n tot do Steps 3-7. Step 3. Calculate Grad(f(x)) //υπολογισµός της κλίσης της f(x) Step 4. t = Call NewtonRaphson(TOL NR, N NR, Grad(f(x), x) Step 5. x new = x + t Grad(f(x)) Step 6. Αν x new -x <TOL τότε διέκοψε την επανάληψη και πήγαινε στο Step 9 Step 7. Set i=i+1 Step 8. OUTPUT ("Αποτυχία µεθόδου") STOP. Step 9. OUTPUT ("Επιτυχία"), x* = x new STOP. Εφαρµογή της µεθόδου Newton Raphson: NewtonRaphson(TOL NR, N NR, Grad(f(x), x) ARGUMENTS: η ακρίβεια της Newton Raphson TOL NR, ο µέγιστος αριθµός επαναλήψεων της Newton Raphson N NR, το Grad της f(x) και η τελευταία τιµή του x ώστε να υπολογίσουµε την συνάρτηση g και g. OUTPUT: ρίζα της εξίσωσης α ή µήνυµα αποτυχίας. Step 1. Set i=1, αρχική τιµή α κάποια τιµή που να εξαρτάται από την τρέχουσα τιµή του x) Step 2. While i<n tot do Steps 3-7. Step 3. Υπολογισµός της συνάρτησης g(α) Step 4. Υπολογισµός της συνάρτησης g (α) & της g (α) από κεντρικές διαφορές Step 5. α new = α - g (α) / g (α) Step 6. Αν α new α < TOL NR τότε διέκοψε την επανάληψη και πήγαινε στο Step 9 Step 7. Set i=i+1 Step 8. OUTPUT ("Αποτυχία µεθόδου") STOP. Step 9. OUTPUT ("Επιτυχία"), ριζα της εξίσωσης = α new STOP.

25 ΠΑΡΑΤΗΡΗΣΕΙΣ Θα πρέπει να είµαστε σε θέση να υπολογίσουµε µια αρχική τιµή του α ώστε να ορίζεται τουλάχιστον η δεύτερη παράγωγος. Μπορούµε να κρατούµε την τελευταία τιµή του α ώστε να την τροφοδοτούµε για την επόµενη Αν η µέθοδος Newton Raphson δεν µας δώσει κάποια λύση (λόγω απόκλισης) θα πρέπει να ξεκινήσουµε µε διαφορετική τιµή α, και να επαναλάβουµε τη διαδικασία τόσες φορές έως να καταλήξουµε σε κάποια λύση Σε ακραίες περιπτώσεις που η τιµή του βήµατος α είναι αρκετά υψηλή µπορούµε να θεωρήσουµε κάποιο ανώτατο όριο (ώστε να µην δηµιουργήσουµε σφάλµα υπερχείλισης) Η αρχική τιµή x µπορεί να δοθεί εκτιµώντας κάποιο σηµείο από την γραφική παράσταση της συνάρτησης Για να υπολογίσουµε το καθολικό ελάχιστο πρέπει να χρησιµοποιήσουµε τον παραπάνω αλγόριθµο αρκετές φορές ψάχνοντας για µικρότερες τιµές από αυτές που έχουµε ήδη υπολογίσει, και είτε επιλέγοντας διάφορες αρχικές τιµές του x, είτε διαταράσσοντας την τιµή του x κατά την διάρκεια της αναζήτησης. Γενικά οι αλγόριθµοι αναζήτησης γραµµής προσδιορίζουν το d k ως διάνυσµα κατεύθυνσης της µορφής του οποίου η κλίση επιδιώκεται να είναι αύξουσα ή φθίνουσα γιατί η ιδιότητα αυτή εγγυάται ότι η συνάρτηση f µπορεί να µειώνεται ή να αυξάνεται προς την κατεύθυνση αυτή και η µορφή του διανύσµατος κατεύθυνσης έχει τη µορφή: = όπου B k είναι ένας συµµετρικός και αντιστρέψιµος πίνακας. Στην µέθοδο µέγιστης µείωσης το B k είναι απλά η µοναδιαία µήτρα Ι, ενώ στη µέθοδο Newton το B k είναι η ακριβής Εσσιανή. Σε οιονεί-newton µεθόδους το B k είναι µια προσέγγιση της Εσσιανής, η οποία ενηµερώνεται σε κάθε επανάληψη. ΜΕΘΟ ΟΙ ΚΛΙΣΗΣ ΜΕΓΙΣΤΗ ΚΑΘΟ ΟΣ Η µέθοδος µέγιστης καθόδου είναι µια από τις παλαιότερες και περισσότερο διαδεδοµένες µεθόδους βελτιστοποίησης και οφείλεται στον Γάλλο µαθηµατικό Cauchy (1847). Ο αλγόριθµος βασίζεται αισθητικά στη λογική ότι για µεταβολή δx της µεταβλητής x η κλίση της αντικειµενικής συνάρτησης f(x) θα είναι µέγιστη όταν το διάνυσµα δx κείται στην ίδια διεύθυνση µε το διάνυσµα της µερικής παραγώγου της =. ηλαδή πιο απλά το διάνυσµα κλίσης της f (x) σε κάθε σηµείο x είναι ένα διάνυσµα στη διεύθυνση της µεγαλύτερης τοπικής αύξησης της f(x). Ο αναδροµικός τύπος της µεθόδου ακολουθεί τη γενική µορφή των µεθόδων κλίσης: = +

26 Στην παραπάνω σχέση το βήµα t k προσδιορίζει το εύρος της µεταβολής δx και δυστυχώς δεν υπάρχει κάποιος κανόνας προσδιορισµού του και η τιµή του t k = ε = const επιλέγεται εµπειρικά. Έτσι ο αναδροµικός τύπος της µεθόδου µέγιστης καθόδου γίνεται: = +, όπου ισχύει για τη σταθερά R, ε > 0 όταν διερευνούµε το µέγιστο και ε < 0 όταν διερευνούµε το ελάχιστο. Η µέθοδος µέγιστης καθόδου κατά κανόνα συγκλίνει πολύ αργά, ιδίως όταν η µορφή του πεδίου τιµών ορίζει χώρο ή υπερχώρο σχεδόν επίπεδο, ή στην περίπτωση που η διεύθυνση που ορίζεται να είναι σχεδόν ορθογώνια προς τη βέλτιστη διεύθυνση. Για να παρακαµφθούν οι δυσκολίες χρησιµοποιούµε τις δεύτερες παραγώγους, έτσι ώστε οι παραγόµενες µέθοδοι ελαχιστοποίησης να ξεκινούν από την τετραγωνική προσέγγιση της f(x), δηλαδή: = όπου g k η κλίση της f και F k η Εσσιανή της f στο x k. Τότε: gx = g + F x x και µία προσέγγιση της ρίζας της εξίσωσης g(x) = 0 µπορεί να ληφθεί αν ο πίνακας F k δεν είναι ιδιάζων (δηλαδή ), από τη σχέση: = +, η οποία σχέση αποτελεί τη µέθοδο Newton-Raphson. Στο παραπάνω σχήµα βλέπουµε την κίνηση της µεθόδου µέγιστης καθόδου στο χώρο καθώς ξεκινάει από ένα αρχικό σηµείο x 0. Σύµφωνα µε τη µεθοδολογία αυτή η έρευνα γίνεται σε διευθύνσεις που επιτυγχάνεται η µέγιστη µείωση. Αυτό έχει σαν αποτέλεσµα όταν η αρχική τιµή βρίσκεται µακρυά από το τοπικό ελάχιστο οι κλίσεις να είναι µεγάλες και να οδηγούν σε γρήγορη σύγκληση προς το τοπικό ακρότατο. Καθώς όµως προσεγγίζεται το τοπικό ακρότατο x* τότε οι κινήσεις γίνονται ολοένα µικρότερες, απαιτούνται περισσότερες επαναλήψεις και η µέθοδος γενικά καθυστερεί. Παρακάτω αναγράφεται ο αλγόριθµος της µεθόδου Μέγιστης Καθόδου σε ψευδοκώδικα. ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ INPUT: αρχική τιµή x o, τιµή βήµατος ε, Μέγιστο πλήθος επαναλήψεων m, ανοχή tol TYPES: x,x 0,x* = arrays OUTPUT: τοπικό ελάχιστο x*.

27 Step 0. Θέσε k=0 και x = x 0 Step 1. Υπολογισµός του διανύσµατος κλίσης Gradfx = call Gradf(x) Step 2. x = x + ε * Gradfx Step 3. Θέσε k = k + 1 Step 4. Αν k > m τότε x* = x OUTPUT αλλιώς Step 1 Step 5. Αν εgradfx < tol τότε x* = x OUTPUT αλλιώς Step 1 Σχήµα 4: Γραφική απεικόνιση της έρευνας µε τον αλγόριθµο µέγιστης µείωσης, για αρχικό σηµείο x 0. ΜΕΘΟ ΟΣ NEWTON Όπως έχει αναφερθεί η µέθοδος Newton δίδεται από τον αναδροµικό τύπο: =, όπου το µήκος βήµατος t k επιλέγεται κατάλληλα έτσι ώστε να µειώνεται η τιµή της αντικειµενικής συνάρτησης. Για να εξασφαλίζεται η ύπαρξη τοπικού ακρότατου σε µια περιοχή γύρω από το x* θα πρέπει η Εσσιανή F(x*) σε µια περιοχή γύρω από το ελάχιστο x* να είναι θετικά ή αρνητικά ορισµένη (θετικά για την ύπαρξη ελάχιστου και αρνητικά για την ύπαρξη µέγιστου). Η µέθοδος Newton είναι µια µέθοδος για ταχύτατη εύρεση λύσης αρκεί να ξεκινήσει από κάποιο αρχικό σηµείο κοντά στη λύση. Η αποτελεσµατικότητα της µεθόδου ως προς τη σύγκλιση εξασφαλίζεται από το µήκος βήµατος t k, το οποίο επιλέγεται έτσι ώστε να µειώνεται η τιµή της αντικειµενικής

28 συνάρτησης και κατά συνέπεια να οδηγεί στη σύγκλιση ακόµη και αν έχει επιλεγεί αρχική τιµή µακριά από το σηµείο x*. Η µέθοδος Μέγιστης Καθόδου και η µέθοδος Newton ανήκουν στην ίδια κατηγορία µεθόδων και η διαφορά τους προκύπτει στον τρόπο υπολογισµού του διανύσµατος διεύθυνσης d k, το οποίο στην περίπτωση της Μέγιστης Καθόδου είναι το =, ενώ στην περίπτωση της Newton είναι το = Η εισαγωγή του όρου της Εσσιανής στον αναδροµικό τύπο της Newton εξασφαλίζει την ταχεία επίλυση της µεθόδου, µάλιστα όταν η αντικειµενική συνάρτηση είναι τετραγωνική τότε η λύση µπορεί να υπολογιστεί σε µόλις ένα βήµα. Γενικότερα η Newton εµφανίζει προβλήµατα όπως ότι υπάρχει περίπτωση να µην κινείται προς µια κατεύθυνση στην περίπτωση που η δεν είναι θετικά ή αρνητικά ορισµένη ή απλά δεν υπάρχει η αντίστροφη της Εσσιανής. Για να αποφευχθούν τέτοιες ανεπιθύµητες καταστάσεις η µέθοδος Newton χρειάζεται τροποποιήσεις όπως θα αναφερθούν παρακάτω. Η µέθοδος Newton ενέχει µεγάλο υπολογιστικό κόστος, αφού απαιτεί αντιστροφή πίνακα καθώς και αναλυτική έκφραση των δεύτερων µερικών παραγώγων της αντικειµενικής συνάρτησης f. Για να αποφευχθούν οι δυσκολίες της µεθόδου Newton έχουν προταθεί οι παρακάτω τροποποιήσεις. ΜΕΘΟ ΟΣ LEVENBERG Για να αποφύγουµε τον ιδιάζωντα πίνακα F k αντικαθιστούµε τον όρο F k -1 µε τον Α = F + ε Ι, όπου το ε >0 είναι µια µη αρνητική τιµή και εξασφαλίζει ότι ο όρος Α είναι πάντοτε θετικά ορισµένος. Για τον υπολογισµό του ε k πραγµατοποιούµε τα εξής: θεωρούµε µια σταθερά δ>0 υπολογίζουµε τις ιδιοτιµές του F k ορίζουµε ως ε k τη µικρότερη µη αρνητική σταθερά για την οποία ο πίνακας + έχει ιδιοτιµές µεγαλύτερες ή ίσες του δ. Έτσι το διάνυσµα διεύθυνσης είναι = F + ε Ι και έτσι προκύπτει ο αναδροµικός τύπος: x k+1 = x k + t k d k, όπου το 0 ελαχιστοποιεί την f(x k + t k d k ). Η µεθοδολογία αυτή στηρίζεται στην επιλογή της κατάλληλης τιµής για τη σταθερά δ. Καθώς το δ γίνεται µικρότερο δυσχεραίνει ο υπολογισµός των αντίστροφων των πινάκων, και όταν το δ αυξάνει τότε µειώνεται η ταχύτητα σύγκλισης. ΜΕΘΟ ΟΣ GREENSTADT Για να αναγκάσουµε την F k να είναι θετικά ορισµένη υπολογίζουµε τις ιδιοτιµές και τα αντίστοιχα κανονικοποιηµένα διανύσµατα της F και θέτουµε =, αντί για =.

29 ΜΕΘΟ ΟΙ ΑΜΕΣΗΣ ΑΝΙΧΝΕΥΣΗΣ Οι µέθοδοι άµεσης ανίχνευσης δεν απαιτούν τον απευθείας υπολογισµό των παραγώγων της αντικειµενικής συνάρτησης, αλλά στηρίζονται σε πληροφορία των προηγούµενων βηµάτων και υπολογισµούς της αντικειµενικής συνάρτησης f(x). Τέτοιες µέθοδοι είναι η µέθοδος αναζήτησης Fibonacci, ο αλγόριθµος Χρυσής Τοµής, η µέθοδος της διχοτόµησης και άλλες. ΜΕΘΟ ΟΣ FIBONACCI Η µέθοδος Fibonacci είναι µια ευρέως διαδεδοµένη µέθοδο επίλυσης προβληµάτων τύπου αναζήτησης γραµµής. Σκοπός είναι ο διαδοχικός υπολογισµός υποπεριοχής [a 1, b 1 ] εντός του [a, b] που να βελτιστοποιεί την αντικειµενική συνάρτηση f. Η διαδικασία διαίρεσης του διαστήµατος [a, b] συνεχίζεται έως να είναι µικρότερη από κάποια ανοχή ε. Αν το εύρος του αρχικού διαστήµατος [a, b] είναι το d 1, έχουµε ορίσει ανοχή ε και F είναι όροι της ακολουθίας Fibonacci (η ακολουθία Fibonacci είναι µια αναγωγική ακολουθία όπου ο n-οστός όρος F n =F n-1 +F n-2 και F 0 =0, F 1 =1), τότε αποδεικνύεται ότι ισχύει: ΥΠΟΛΟΓΙΣΤΙΚΟΣ ΑΛΓΟΡΙΘΜΟΣ = INPUT: αρχικές τιµές a 0 και b 0, ιδαστηµα ανοχής d tol, δείκτης i=0 OUTPUT: τελικό διάστηµα λύσης [a i, b i ], βέλτιστο x* = µέσος διαστήµατος [a i, b i ]. Step 0. Υπολογισµός του µικρότερου δυνατού όρου F n της ακολουθίας Fibonacci για τον οποίο ισχύει F n > (b i a i ) / d tol Step 1. Θέτουµε i = i + 1 Step 2. Ορίζουµε τα σηµεία x1 και x2 ως: = + = + Step 3. Υπολογισµός της f, f(x1) & f(x2) στα σηµεία (x1 & x2) Σύγκριση των f(x1) & f(x2) και: Αν f(x1) < f(x2) τότε το νέο διάστηµα [a i, b i ] = [x1, b i-1 ], x1 = x2 και n = n 1 Υπολογισµός του x2 από το Step 2 Αν f(x1) f(x2) τότε

30 το νέο διάστηµα [a i, b i ] = [a i-1, x2], x2 = x1 και n = n 1 Υπολογισµός του x1 από το βήµα Step 2 Step 4. Αν b i a i < d tol τότε Step 5, αλλιώς επιστροφή στο Step 3. Step 5. Υπολογισµός του βέλτιστου x* ως το µέσον του διαστήµατος [a i, b i ] ΜΕΘΟ ΟΣ ΧΡΥΣΗΣ ΤΟΜΗΣ Η αναζήτηση χρυσής τοµής αποτελεί µία υποπερίπτωση της µεθόδου Fibonacci, µε τον αριθµό n να τείνει στο άπειρο. Η επίλυση της εξίσωσης διαφορών Fibonacci = + είναι της µορφής = +, όπου: = , = και οι παραπάνω είναι οι λύσης της χαρακτηριστικής εξίσωσης τ 2 = τ + 1 Όταν το n είναι µεγάλο το = = 0.618, δηλαδή συγκλίνει στο και ο ρυθµός σύγκλισης είναι γραµµικός. Έτσι ο υπολογισµός των διαστηµάτων d i που γίνεται µε τη µέθοδο Fibonacci καθώς το n τείνει στο άπειρο ορίζουν ότι d n =0.618 n d 1 Το όνοµα της µεθόδου οφείλεται στο γεγονός ότι ο αριθµός τ 1,618 είναι γνωστός ως «χρυσή τοµή» και θεωρούνταν από τους αρχαίους Έλληνες ως η ιδανικότερη αναλογία των δύο διαδοχικών πλευρών ενός ορθογωνίου, ώστε αυτό να δίνει το καλύτερο αισθητικό αποτέλεσµα ΜΕΘΟ ΟΙ ΜΕΤΑΒΛΗΤΗΣ ΜΕΤΡΙΚΗΣ Ο υπολογισµός του πίνακα της Εσσιανής είναι το αργό στάδιο στις µεθοδολογίες κλίσης, όπως είναι η µέθοδος Μέγιστης Καθόδου και η µέθοδος Newton. Έτσι οι µέθοδοι Μεταβλητής Μετρικής έρχονται να συµπληρώσουν το κενό αυτό διότι έχουν ως βασικό στόχο την προσέγγιση του αντίστροφου της Εσσιανής και επιτάχυνση της διαδικασίας. Ο τρόπος προσέγγισης της αντίστροφης Εσσιανής ουσιαστικά δίνει το χαρακτήρα της µεθόδου. Οι κανόνες προσέγγισης ποικίλουν από απλές µέχρι σύνθετες επαναληπτικές προσεγγίσεις. Σε γενικές γραµµές οι µέθοδοι Μεταβλητής Μετρικής προσεγγίζουν την Εσσιανή µε πληροφορίες πρώτης τάξης. Οι µέθοδοι οιονεί Newton ανήκουν στην γενικότεροι κατηγορία των µεθόδων µεταβλητής µετρικής και στηρίζονται στην µέθοδο Newton για τον εντοπισµό ενός σταθερού σηµείου της αντικειµενικής συνάρτησης για το οποίο η κλήση είναι µηδέν. Σύµφωνα µε αυτή τη µεθοδολογία η αντικειµενική συνάρτηση f(x) µπορεί να προσεγγιστεί τοπικά ως τετραγωνικά ορισµένη συνάρτηση γύρω από το βέλτιστο, και µε τη βοήθεια της κλίσης και της Εσσιανής να υπολογιστεί το βέλτιστο.

31 Σε προβλήµατα που η αντικειµενική συνάρτηση είναι τετραγωνικής µορφής ισχύει ότι η προσέγγιση της αντίστροφης Εσσιανής στο σηµείο x k+1 ικανοποιεί τη σχέση: = ό: = = = Έτσι όταν η αντικειµενική συνάρτηση δεν είναι τετραγωνικής µορφής, τότε µπορούµε να προσεγγίσουµε την αντίστροφη Εσσιανή µε επαναληπτικό τρόπο: = + Η επιλογή της καθορίζει ουσιαστικά το χαρακτήρα της µεθόδου. ΜΕΘΟ ΟΣ BROYDEN Η µέθοδος Broyden προκύπτει από την γενίκευση των µεθόδων καθόδου, κατά την οποία η παράγωγος προσεγγίζεται από πεπερασµένες διαφορές, δηλαδή: Η µέθοδος Broyden είναι πρώτης τάξης και εκφράζεται από τον επαναληπτικό τύπο: = +, µε αρχική τιµή =, όπου ο είναι συµµετρικός και θετικά ορισµένος πίνακας. Μετά από n επαναλήψεις, σε τετραγωνικές συναρτήσεις, δηλαδή της µορφής: και κάτω από ορισµένες συνθήκες ισχύει ότι: = = Κατά τη διάρκεια των επαναλήψεων µπορεί να σταµατήσει να είναι θετικά ορισµένη. Αν το = σταµατήσει να βρίσκεται στην διεύθυνση της προηγούµενης επανάληψης ο πίνακας γίνεται ιδιάζων ή απροσδιόριστος. ΜΕΘΟ ΟΣ DFP

32 H Davidon-Fletcher-Powell ή DFP µέθοδος υπολογίζει το βέλτιστο χρησιµοποιώντας την µέθοδο secant κατά την οποία η παράγωγος προσεγγίζεται από πεπερασµένες διαφορές. Πρόκειται για µέθοδο δεύτερης τάξης που ακολουθεί την επαναληπτική σχέση: = +, ή ή =, όπου ο είναι συµµετρικός και θετικά ορισµένος πίνακας. Η µέθοδος DFP όταν εφαρµόζεται σε τετραγωνικά ορισµένη συνάρτηση της µορφής = + + παράγει συζυγείς διευθύνσεις και εποµένως µετά από k επαναλήψεις = και συγκλίνει στο βέλτιστο.

33 3 ΑΡΙΣΤΟΠΟΙΗΣΗ ΜΕ ΠΕΡΙΟΡΙΣΜΟΥΣ ΑΝΑΣΚΟΠΗΣΗ ΚΕΦΑΛΑΙΟΥ Εισαγωγή Μέθοδοι Συνάρτησης Ποινής Μέθοδοι Συνάρτησης Φράγµατος Ανασκόπηση της περιοχής της µη γραµµικής αριστοποίησης µε περιορισµούς µε επιµέρους χαρακτηριστικά παραδείγµατα προβληµάτων. ιατύπωση των σηµαντικότερων αλγορίθµων και της αποτελεσµατικότητας επίλυσης αντίστοιχων προβληµάτων.

34 ΕΙΣΑΓΩΓΗ Σε γενικές γραµµές τα µη γραµµικά προβλήµατα αριστοποίησης µε περιορισµούς είναι πιο δύσκολο να επιλυθούν από τα αντίστοιχα προβλήµατα χωρίς περιορισµούς. Η δυσκολία αυτή προκύπτει από την ανάγκη για την εύρεση του ακρότατου και ταυτόχρονα ικανοποίησης των περιορισµών που τίθενται. Έχουν αναπτυχθεί αρκετές µεθοδολογίες για την επίλυση τέτοιου είδους προβληµάτων, εδώ θα εξετάσουµε την κατηγορία προβληµάτων µε χρήση συναρτήσεων ποινών ή φράγµατος. Ο στόχος των προβληµάτων µε τη µέθοδο συναρτήσεων ποινής ή φράγµατος είναι να µετασχηµατίσουν ένα µη γραµµικό πρόβληµα µε περιορισµούς στο αντίστοιχο χωρίς περιορισµούς πρόβληµα ή εναλλακτικά σε µια ακολουθία προβληµάτων χωρίς περιορισµούς. Έτσι σε ένα τέτοιου είδους πρόβληµα ο αλγόριθµος επικεντρώνεται σε δυο στόχους, στην ικανοποίηση των περιορισµών και την αριστοποίηση (ελαχιστοποίηση ή µεγιστοποίηση) της αντικειµενικής συνάρτησης f(x). Οι στόχοι πρέπει να επιτυγχάνονται ταυτόχρονα και για το λόγο αυτό η επίτευξη του κάθε στόχου υπολογίζεται µε τον αντίστοιχο συντελεστή βαρύτητας που καθορίζει και την ποιότητα της λύσης σε καθέναν από τους δυο στόχους. Οι µέθοδοι αυτοί µπορούν να χωριστούν στις εξής κατηγορίες: Μέθοδοι εσωτερικού σηµείου ή µέθοδοι φράγµατος, δηλαδή στις µεθόδους που ο στόχος είναι να περιορίσουµε το x της f(x) στο εσωτερικό χώρου που είναι αποδεκτή η λύση, Μεθόδους εξωτερικού σηµείου ή µέθοδοι ποινής, δηλαδή στις µεθόδους εκείνες που στόχος είναι να αποµακρυνθεί το x της f(x) από συγκεκριµένο χώρο που δεν είναι αποδεκτή η λύση, και όταν η έρευνα διεξάγεται στους χώρους αυτούς ενεργοποιείται ένα σύστηµα αρνητικής βαθµολόγησης. Μικτές Μεθόδους, δηλαδή σε µεθόδους που χρησιµοποιούν ταυτόχρονα τις δυο παραπάνω µεθοδολογίες. Στις µεθόδους συναρτήσεων ποινής το γενικό πρόβληµα ελαχιστοποίησης µετασχηµατίζεται στο πρόβληµα: min f(x), = + + όπου: lim, = 0, η συνάρτηση, καλείται η µετασχηµατισµένη συνάρτηση ποινής και τα 0 είναι οι συντελεστές βαρύτητας. Έτσι ισχύει ότι σε µεθόδους εσωτερικού σηµείου (µέθοδοι φράγµατος): όταν το x βρίσκεται εντός του αποδεκτού χώρου του περιορισµού τότε 0 όταν 0 τότε ο όρος

35 Αντίστοιχα σε µεθόδους εξωτερικού σηµείου (µέθοδοι ποινής): όταν το x βρίσκεται εκτός του αποδεκτού χώρου του περιορισµού τότε 0 όταν 0 τότε ο όρος 0 Από την παραπάνω σχέση αντιλαµβανόµαστε ότι ανάλογα µε τον περιορισµό που έχουµε θέσει η τιµή της συνάρτησης ποινής P αποκλίνει από το µηδέν όταν δεν τηρούνται οι περιορισµοί, ενώ αντίθετα συγκλίνει στο µηδέν όταν οι περιορισµοί βρίσκονται εν ισχύ. Οι δε συντελεστές βαρύτητας στην ουσία ελέγχουν την αυστηρότητα (ανοχή) της τήρησης των περιορισµών. ΜΕΘΟ ΟΙ ΣΥΝΑΡΤΗΣΗΣ ΠΟΙΝΗΣ Η µέθοδος αυτή µετασχηµατίζει το πρόβληµα µε περιορισµούς µε µια σειρά από προβλήµατα χωρίς περιορισµούς των οποίων οι λύσεις συγκλίνουν στο αρχικό πρόβληµα µε περιορισµούς. Αυτό επιτυγχάνεται µε την εισαγωγή ενός όρου ποινής στην αντικειµενική συνάρτηση. Ο όρος αυτός είναι µη µηδενικός όταν παραβιάζονται οι όροι της συνάρτησης και µηδέν όταν επαληθεύονται. Σχήµα 5: Η συνάρτηση ποινής. Όταν η συνάρτηση ποινής βρίσκεται στο χώρο λύσης (feasible region) τότε η τιµή της γίνεται µηδέν, αλλιώς αυξάνεται ανάλογα µε τον συντελεστή βαρύτητας και αποκλίνει από το ελάχιστο. (Στο σχήµα r=συντελεστής βαρύτητας, P(x)=όρος ποινής, Feasible region = εφικτός χώρος, χώρος επίλυσης). Η συνάρτηση ποινής γίνεται:, = + και ο µετασχηµατισµός του προβλήµατος είναι η ελαχιστοποίηση (ή η µεγιστοποίηση) της συνάρτησης,. Για παράδειγµα αν θέλουµε να ελαχιστοποιήσουµε την συνάρτηση f(x) µε τον περιορισµό x = 0, τότε στη γενική σχέση της µεθοδολογίας θα πρέπει να θέσουµε τον όρο =, οπότε όταν 0 ό p 0, αντίθετα για τιµές που αποµακρύνονται από το µηδέν το µεγαλώνει και η επίδραση του όρου ποινής γίνεται σηµαντική.