Βελτιστοποίηση Μη Γραµµικών Συναρτήσεων.

Transcript

1 Πανεπιστήµιο Πατρών Τµήµατα: Μαθηµατικών Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής ιατµηµατικό Πρόγραµµα Μεταπτυχιακών Σπουδών: «Μαθηµατικά των Υπολογιστών και των Αποφάσεων» ιπλωµατική Εργασία της Μυλωνά Ειρήνης (Α.Μ. 77) Επιβλέπων Καθηγητής: Ν. Τσάντας Θέµα: Επισκόπηση Σύγχρονων Μεθόδων για τη Βελτιστοποίηση Μη Γραµµικών Συναρτήσεων. 8

2 ΠΕΡΙΕΧΟΜΕΝΑ ΚΕΦΑΛΑΙΟ : ΕΙΣΑΓΩΓΗ...4. Βασικές Έννοιες...4. Βασικοί Ορισµοί Ικανές και Αναγκαίες Συνθήκες για Ακρότατα Σύγκλιση Ρυθµός Σύγκλισης... 8 ΚΕΦΑΛΑΙΟ : ΜΟΝΟ ΙΑΣΤΑΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΜΕΘΟ ΟΙ ΚΛΙΣΗΣ (LINE SEARCH).... Μέθοδος Μέγιστης Μείωσης (Stst Dscnt).... Μέθοδος Nwton Μέθοδος ιχοτόµησης (Intrval Halvn) Μέθοδος Fbonacc και Αναζήτηση Χρυσής Τοµής (Goldn Scton Sarch)... ΚΕΦΑΛΑΙΟ 3: ΜΕΘΟ ΟΙ ΣΥΖΥΓΩΝ ΚΑΤΕΥΘΥΝΣΕΩΝ (CONJUGAE DIRECION) Βασικές Έννοιες Μέθοδος Συζυγούς Κλίσης...8 ΚΕΦΑΛΑΙΟ 4: ΜΕΘΟ ΟΙ ΜΕΤΑΒΛΗΤΗΣ ΜΕΤΡΙΚΗΣ (QUASI NEWON) Τροποποιηµένη Μέθοδος Nwton Κατασκευή του Αντιστρόφου Συνδυασµός των Μεθόδων Stst Dscnt και Nwton Μέθοδος Scant... 44

3 ΚΕΦΑΛΑΙΟ 5: ΜΗ ΤΕΤΡΑΓΩΝΙΚΑ ΠΡΟΤΥΠΑ Η Μέθοδος Συζυγούς Κλισης σε Μη Τετραγωνικά Πρότυπα Καµπυλόγραµµες Τροχιές Μέθοδος Jacobson-Osman Κωνικές Μέθοδοι... 5 ΠΑΡΑΡΤΗΜΑ... 6 ΒΙΒΛΙΟΓΡΑΦΙΑ

4 ΚΕΦΑΛΑΙΟ ΕΙΣΑΓΩΓΗ. ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ Η έννοια της βελτιστοποίησης χρησιµοποιείται συχνά στις µέρες µας προκειµένου να επιλυθούν σύνθετα προβλήµατα. Η προσέγγιση αυτή βασίζεται στην επιλογή τιµών για διάφορες µεταβλητές, τέτοιων ώστε να µεγιστοποιείται (ή να ελαχιστοποιείται, ανάλογα µε το ζητούµενο του εκάστοτε προβλήµατος) µια επιθυµητή ποσότητα, λαµβάνοντας υπόψη τυχόν περιορισµούς στην επιλογή τιµών των µεταβλητών. Μερικές από τις εφαρµογές της βελτιστοποίησης είναι η µεγιστοποίηση του κέρδους (ή η ελαχιστοποίηση του κόστους) µιας επιχείρησης, η αναζήτηση ακροτάτου ως προς την ταχύτητα ή την απόσταση σε ένα πρόβληµα φυσικής, ή η επίτευξη του µεγίστου δυνατού εισοδήµατος από µια επένδυση. εδοµένης της αναγκαιότητας επιτυχούς µεταφοράς του φυσικού προβλήµατος στη «γλώσσα» των µαθηµατικών, ώστε να διαµορφωθεί µια αντιπροσωπευτική συνάρτηση µοντέλο, το γενικό πρόβληµα της βελτιστοποίησης ταυτίζεται µε την µεγιστοποίηση (ή ελαχιστοποίηση) µιας συνάρτησης f ορισµένης στο ν-διάστατο χώρο n R. Αξίζει να σηµειωθεί ότι η ελαχιστοποίηση της f ταυτίζεται µε τη µεγιστοποίηση της f και αντίστροφα.. ΒΑΣΙΚΟΙ ΟΡΙΣΜΟΙ Στο σηµείο αυτό υπενθυµίζονται κάποιοι σχετικοί ορισµοί. Έστω µία πραγµατική συνάρτηση f µε πεδίο ορισµού n D R. Η f παρουσιάζει τοπικό ελάχιστο σε ένα σηµείο * D αν υπάρχει ένας πραγµατικός αριθµός δ > τέτοιος ώστε f() f(*) για κάθε D µε * < δ. 4

5 Ενώ η f παρουσιάζει τοπικό µέγιστο σε ένα σηµείο * D αν υπάρχει ένας πραγµατικός αριθµός δ > τέτοιος ώστε f() f(*) για κάθε D µε * < δ. Εάν οι παραπάνω ανισότητες αντικατασταθούν από τις αντίστοιχες αυστηρές ανισότητες f() > f(*) και f() < f(*) αντιστοίχως, τότε προκύπτουν οι ορισµοί των γνησίων τοπικών ακροτάτων (ελαχίστου και µεγίστου αντιστοίχως). Η συνάρτηση f παρουσιάζει (γνήσιο) ολικό ελάχιστο ή µέγιστο * D αν οι παραπάνω ανισότητες ισχύουν για κάθε D. εν έχουν όλες οι συναρτήσεις ακρότατα στον n R. Ένα τέτοιο παράδειγµα είναι µία µή σταθερή γραµµική συνάρτηση. Κάθε ολικό ακρότατο της f στο D είναι επίσης τοπικό ακρότατο. Το αντίστροφο βεβαίως δεν ισχύει. Υπάρχουν όµως συναρτήσεις, όπως οι κυρτές, στις οποίες κάθε τοπικό ελάχιστο είναι και ολικό. Έστω n D R ένα σηµείο στο οποίο η πραγµατική συνάρτηση f είναι παραγωγίσιµη. Υπενθυµίζεται ότι αν µία πραγµατική συνάρτηση f είναι παραγωγίσιµη (διαφορίσιµη) σε ένα εσωτερικό σηµείο D, τότε οι πρώτες µερικές παράγωγοί της υπάρχουν στο. Αν επιπλέον οι µερικές παράγωγοι είναι συνεχείς στο, τότε η f λέγεται συνεχώς διαφορίσιµη στο. Οµοίως, αν η f είναι δύο φορές παραγωγίσιµη στο D, τότε οι δεύτερες µερικές παράγωγοί της υπάρχουν στο σηµείο αυτό. Επιπλέον, αν είναι συνεχείς στο, τότε η f λέγεται συνεχώς δίς διαφορίσιµη στο. Ως κλίση της f στο ορίζεται το διάνυσµα: ( ) f( ) f( ) f f( ),, L, n Αν η f είναι δύο φορές παραγωγίσιµη στο ορίζεται ο Εσσιανός Πίνακας ή η Εσσιανή της f στο ως ο n n συµµετρικός πίνακας: F ( ) f( ) ( ) f j,, j,, K,n 5

6 .3 ΙΚΑΝΕΣ ΚΑΙ ΑΝΑΓΚΑΙΕΣ ΣΥΝΘΗΚΕΣ ΓΙΑ ΑΚΡΟΤΑΤΑ Ένα σηµείο * καλείται κρίσιµο σηµείο της f αν η κλίση ( ) f ( ) της f υπάρχει στο * και είναι ( *). Αυτή είναι και µια αναγκαία συνθήκη ώστε το * να είναι ακρότατο της f. Αναγκαία Συνθήκη ης Τάξης Έστω * ένα εσωτερικό σηµείο του D στο οποίο η f παρουσιάζει τοπικό ακρότατο. Αν η f είναι παραγωγίσιµη στο * τότε ( *). Η συνθήκη αυτή στην περίπτωση ύπαρξης περιορισµών εµπεριέχει την έννοια της κατεύθυνσης κατά την οποία µπορεί να κινηθεί η προς βελτιστοποίηση συνάρτηση, η οποία θεωρείται συνάρτηση µιας µεταβλητής και η παράµετρος ορίζει το διάνυσµα της κίνησης. Στην περίπτωση λοιπόν αυτή, η παραπάνω συνθήκη διατυπώνεται ως εξής: Έστω * ένα εσωτερικό σηµείο του D στο οποίο η f παρουσιάζει τοπικό ακρότατο. Αν η f είναι παραγωγίσιµη στο *, τότε για κάθε δυνατή κατεύθυνση d R στο * ισχύει ( *) d. Παράδειγµα χωρίς ύπαρξη περιορισµών Ζητείται η ελαχιστοποίηση της συνάρτησης f(, ) 3 του R. Θέτοντας τις δύο µερικές παραγώγους ίσες µε µηδέν και λύνοντας το σύστηµα που προκύπτει: 3 διαπιστώνεται η ύπαρξη της µοναδικής λύσης, όπου προσδιορίζει το ολικό ελάχιστο της f. 6

7 Παράδειγµα µε ύπαρξη περιορισµών Ζητείται η ελαχιστοποίηση της f (, ) υπό τους περιορισµούς,. Η συνάρτηση αυτή παρουσιάζει ολικό ελάχιστο για και, τιµές οι οποίες δε µηδενίζουν τις µερικές παραγώγους: f f 3 Όµως επειδή κάθε δυνατό διάνυσµα κατεύθυνσης πρέπει να πληρεί τους περιορισµούς, ισχύει ( *) d για κάθε d R, όπου d µία δυνατή κατεύθυνση στο σηµείο,. Αναγκαία Συνθήκη ης Τάξης Έστω * ένα εσωτερικό σηµείο του D στο οποίο η f είναι δύο φορές συνεχώς παραγωγίσιµη. Αν ( *) και d F( *) d > (όπου F( *) f( *) η Εσσιανή) για όλα τα µή µηδενικά διανύσµατα d, τότε η f παρουσιάζει τοπικό ελάχιστο στο *. Αν η ανισότητα αντιστραφεί, προκύπτει η συνθήκη τοπικού µεγίστου. Ικανή Συνθήκη ης Τάξης Για να είναι το * τοπικό ελάχιστο µιας συνάρτησης f, η οποία είναι δύο φορές παραγωγίσιµη στο D, στο οποίο σύνολο εµπεριέχεται το *, αρκεί να ισχύει: ( *) και επιπλέον για κάθε σε κάποια περιοχή του * και για κάθε n d R να ισχύει F( ) d d. 7

8 .4 ΣΥΓΚΛΙΣΗ Οι περισσότερες από τις υπάρχουσες µεθόδους βελτιστοποίησης, παρά τις σηµαντικές διαφορές µεταξύ τους, παρουσιάζουν ένα βασικό κοινό σηµείο. Χαρακτηρίζονται όλες ως επαναληπτικές µέθοδοι κλίσης, µιας και ακολουθούν την ίδια βασική διαδικασία. Παράγουν µία ακολουθία σηµείων { } όπου κάθε νέο σηµείο προσδιορίζεται βάσει προγενέστερων σηµείων επαναληπτικά και επιτυγχάνει µείωση της συναρτησιακής τιµής σε κάθε επανάληψη. Σκοπός αυτής της διαδικασίας είναι να συγκλίνει η ακολουθία αυτών των σηµείων που παράγονται από τον αλγόριθµο, στη λύση του αρχικού προβλήµατος, µετά από έναν πεπερασµένο ή µή αριθµό βηµάτων..5 ΡΥΘΜΟΣ ΣΥΓΚΛΙΣΗΣ Η µελέτη της ταχύτητας της σύγκλισης συχνά είναι µία σύνθετη διαδικασία. Η ύπαρξη όµως βασικών θεωριών για το ρυθµό σύγκλισης επιτρέπει την ασφαλή πρόβλεψη της αποτελεσµατικότητας πολλών αλγορίθµων. Ακολουθεί η ανάπτυξη µερικών από τις θεωρίες αυτές. Τάξη της σύγκλισης Έστω ότι µια ακολουθία { } συγκλίνει στο *. Η τάξη της σύγκλισης της { } ορίζεται ως το surmum των µη αρνητικών αριθµών που ικανοποιούν τη σχέση: < lm * P * < Σε γενική περίπτωση θεωρείται ότι το όριο αυτό ορίζεται, µιας και εκτός κάποιων εκφυλισµένων περιπτώσεων, δεν παρατηρούνται απροσδιοριστίες ή προβλήµατα υπολογισµού. Αξίζει να σχολιαστεί ο συµβολισµός που προϋποθέτει την ύπαρξη σηµαντικά µεγάλου αριθµού όρων στην ακολουθία που εξετάζεται. Θα µπορούσε κανείς να περιγράψει την τάξη σύγκλισης ως ένα µέτρο 8

9 προσδιορισµού του πόσο καλό είναι το χειρότερο µέρος της ουράς της ακολουθίας. Όσο µεγαλύτερες είναι οι τιµές της τάξης, τόσο ταχύτερη σύγκλιση υποδεικνύεται, µιας και η απόσταση από το όριο * ελαττώνεται κατά δύναµη του σε κάθε βήµα. Το γεγονός αυτό γίνεται ευκολότερα φανερό αν τεθεί β το παραπάνω όριο και επιλυθεί ως εξής: * β lm P * * β * P Γραµµική σύγκλιση Αν η ακολουθία { } * συγκλίνει στο * έτσι ώστε lm β <, τότε η * σύγκλιση της ακολουθίας καλείται γραµµική, µε ρυθµό σύγκλισης β. Οι περισσότεροι αλγόριθµοι που θα αναπτυχθούν στη συνέχεια ακολουθούν γραµµική σύγκλιση µε ρυθµό ίσο µε τη µονάδα. Εποµένως, αυτό µπορεί να θεωρηθεί ως το σηµαντικότερο είδος σύγκλισης. Τέτοιες ακολουθίες συγκλίνουν µε ταχύτητα τουλάχιστον ίση µε τη γεωµετρική σύγκλιση κάποια σταθερά c. cβ, για Συγκρίνοντας δύο αλγορίθµους γραµµικής σύγκλισης, αποτελεσµατικότερος ως προς την ταχύτητα είναι εκείνος µε τον µικρότερο ρυθµό β. Στην ιδανική περίπτωση όπου β η σύγκλιση καλείται υπεργραµµική (surlnar). 9

10 ΚΕΦΑΛΑΙΟ ΜΟΝΟ ΙΑΣΤΑΤΗ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗ ΜΕΘΟ ΟΙ ΚΛΙΣΗΣ (LINE SEARCH) Οι βασικές τεχνικές που ακολουθούν έχουν µεγάλη πρακτική σηµασία µιας και συνήθως προσφέρουν λύσεις µε τον απλούστερο και αµεσότερο τρόπο, ακόµα και σε σύνθετης φύσεως προβλήµατα. Συνεπώς συχνά αποτελούν µέτρο σύγκρισης, ως προς την ευρύτητα εφαρµογής και την ταχύτητα σύγκλισης, άλλων πιο σύνθετων µεθόδων. Υπάρχει µία θεµελιώδης δοµή κοινή για την πλειοψηφία των µεθόδων κλίσης. Ξεκινώντας από ένα αρχικό σηµείο, ορίζεται βάσει κάποιου σταθερού κανόνα µια κατεύθυνση κίνησης, επάνω στην οποία εντοπίζεται ένα νέο σηµείο το οποίο επιτυγχάνει µείωση της αντικειµενικής συνάρτησης. Στη συνέχεια, η διαδικασία συνεχίζεται εντοπίζοντας νέα κατεύθυνση κίνησης από το νέο σηµείο, ώστε τελικά προκύπτει µια ακολουθία σηµείων που ολοένα προσεγγίζει τη βέλτιστη λύση. Η βασικότερη διαφοροποίηση µεταξύ των αλγορίθµων κλίσης έγκειται στον κανόνα βάσει του οποίου επιλέγεται η εκάστοτε κατεύθυνση κίνησης. Μόλις, όµως γίνει η επιλογή αυτή, όλοι οι αλγόριθµοι εντοπίζουν το ελάχιστο (σε περίπτωση ελαχιστοποίησης) σηµείο, επάνω στο αντίστοιχο διάνυσµα κίνησης και έτσι προκύπτει και η ονοµασία των µεθόδων (ln sarch). Τέτοιου είδους τεχνικές εφαρµόζονται εν γένει στην επίλυση µονοδιάστατων προβληµάτων βελτιστοποίησης. Εν τούτοις, µπορούν να χρησιµοποιηθούν και για µεγαλύτερης τάξης προβλήµατα µη γραµµικού προγραµµατισµού, εκτελώντας διαδοχικές αναζητήσεις κλίσεων, δηλαδή ουσιαστικά διασπώντας το πολυδιάστατο πρόβληµα σε ένα σύνολο µονοδιάστατων.

11 Η γενική µορφή του αναδροµικού τύπου παράγει την ακολουθία προσεγγίσεων είναι: t d, όπου κ,,, και µήκος βήµατος είναι η αρχική εκτίµηση του *. Το t επιλέγεται έτσι ώστε: f ( ) < f( ), αν ( ) >. Η ύπαρξη ενός τέτοιου θετικού µήκους βήµατος t εξασφαλίζεται αν η είναι µια πτωτική κατεύθυνση, δηλαδή αν πληρείται η συνθήκη ( ) d < Στην περίπτωση αυτή, αναπτύσσοντας την f() κατά alor: f d. ( ) f( ) ( )( ) ( ) F( ξ ( ξ) )( ) όπου < ξ < Αφού td προκύπτει: f ( ) f( ) t ( ) d td F( t d ( ξ) ) d Επιλέγεται ένα τέτοιο θετικό t ώστε να γίνει ο πρώτος όρος στο ανάπτυγµα alor κυρίαρχος και αφού επιπλέον ( ) d < ( ) f( ) f <., συνεπάγεται ότι. ΜΕΘΟ ΟΣ ΜΕΓΙΣΤΗΣ ΜΕΙΩΣΗΣ (SEEPES DESCEN) Πρόκειται για µία από τις παλαιότερες και περισσότερο διαδεδοµένες µεθόδους βελτιστοποίησης συναρτήσεων πολλών µεταβλητών. Αποτέλεσε τη βάση για άλλες τεχνικές, οι οποίες τροποποιώντας την, επιχείρησαν επίτευξη ταχύτερης σύγκλισης. Ο αναδροµικός τύπος της µεθόδου ακολουθεί τη γενική µορφή των µεθόδων κλίσης, όπου d, δηλαδή t,,, Η βασική ιδέα οφείλεται στον Cauch (847) και στηρίζεται στο γεγονός ότι το διάνυσµα της κλίσης της f() σε κάθε σηµείο, είναι ένα διάνυσµα στη διεύθυνση της µεγαλύτερης τοπικής αύξησης της f(). Η µέθοδος µέγιστης µείωσης κατά κανόνα συγκλίνει πολύ αργά, ιδίως όταν ο υπερχώρος είναι σχεδόν επίπεδος. Υπάρχει περίπτωση η διεύθυνση

12 µέγιστης µείωσης να είναι σχεδόν ορθογώνια προς τη βέλτιστη διεύθυνση εύρεσης του ελαχίστου (ή µεγίστου). Ένας τρόπος για να ξεπεραστεί η δυσκολία αυτή είναι η χρήση πληροφορίας δεύτερης τάξης (δεύτερων µερικών παραγώγων). Οι παραγόµενες µέθοδοι ελαχιστοποίησης ξεκινούν από την τετραγωνική προσέγγιση της f(), δηλαδή: f ( ) f( ) ( ) ( ) F ( ) Τότε ( ) F ( ) και µία προσέγγιση της ρίζας της εξίσωσης ( ) µπορεί να ληφθεί, αν ο F δεν είναι ιδιάζων, από τον τύπο οποίος αποτελεί την µέθοδο Nwton Rahson. F, ο Επιστρέφοντας, όµως, στην stst dscnt θα εξεταστεί στη συνέχεια η συµπεριφορά της µεθόδου όταν αυτή εφαρµόζεται σε τετραγωνικά προβλήµατα. Έστω f( ) Q b, όπου Q είναι ένας συµµετρικός, θετικά ορισµένος πίνακας n n. Ως θετικά ορισµένος ο πίνακας Q θα έχει θετικές ιδιοτιµές, οι οποίες έστω ότι διατάσσονται κατά αύξουσα σειρά ως εξής < α λ λ λ3 L λn A Υπενθυµίζεται στο σηµείο αυτό ένα γνωστό θεώρηµα που θα φανεί χρήσιµο στη συνέχεια. Έστω συνάρτηση f δύο φορές συνεχώς παραγωγίσιµη. Τότε η f είναι κυρτή αν και µόνο αν η Εσσιανή της F είναι θετικά ηµιορισµένη. Στην προκειµένη περίπτωση F() Q, ο οποίος δίνεται θετικά ορισµένος. Συνεπώς η f είναι αυστηρώς κυρτή. Το µοναδικό ελάχιστο της f µπορεί να εντοπιστεί άµεσα µε το να τεθεί η πρώτη µερική παράγωγος ίση µε το µηδέν. Προκύπτει µε τον τρόπο αυτό πως το διάνυσµα * θα ικανοποιεί τη σχέση Q* b. Στη συνέχεια εισάγοντας τη συνάρτηση: E( ) ( *) Q( *) παρατηρείται ότι E( ) f( ) * Q *

13 δηλαδή η συνάρτηση Ε διαφέρει από την f µόνο κατά µία σταθερά. Εποµένως, δύναται ισοδύναµα να ελαχιστοποιηθεί η Ε αντί της f. Η κλίση και των δύο συναρτήσεων είναι () Q b. Εφαρµόζοντας την µέθοδο µέγιστης µείωσης, ελαχιστοποιεί την ( t ) f. t, όπου Q b Η ( ) ( t ) Q( t ) ( t ) b f t αν παραγωγιστεί ως προς t, προκύπτει ότι ελαχιστοποιείται για t Q Συνεπώς ο τύπος της stst dscnt παίρνει τη µορφή: και το t Q όπου Q b. Στην παραπάνω εικόνα παρατηρείται η διαδικασία της stst dscnt, επάνω στις ισοϋψείς καµπύλες της f. Οι ισοϋψείς της f είναι n- διάστατα ελλειψοειδή µε άξονες στην κατεύθυνση των n από κοινού ορθογωνίων ιδιοδιανυσµάτων του Q. Ο άξονας που αντιστοιχεί στο -οστο ιδιοδιάνυσµα έχει µήκος ανάλογο του λ. 3

14 Αναλύοντας τον τρόπο λειτουργίας του αλγορίθµου αποδεικνύεται ότι ο ρυθµός σύγκλισης εξαρτάται από το λόγο των µηκών των αξόνων των ισοϋψών καµπυλών της f, δηλαδή από την εκκεντρότητα των ελλειψοειδών. Λήµµα. Από την αναδροµική σχέση: ( ) ( ) ( Q )( Q ) E Q προκύπτει ότι E ( ) Ανισότητα Kantorovch Έστω συµµετρικός και θετικά ορισµένος πίνακας Q, διάστασης n n. Για κάθε ( ) 4αA διάνυσµα ισχύει: ( )( ) Q Q ( α A) Όπου α και Α είναι αντιστοίχως η µικρότερη και η µεγαλύτερη ιδιοτιµή του Q. Θεώρηµα. Για κάθε αρχική τιµή η µέθοδος µέγιστης µείωσης η Q συγκλίνει στο µοναδικό ελάχιστο * της f. Επιπροσθέτως, ισχύει σε κάθε βήµα A α A α η ανισότητα E( ) E( ) όπου E( ) ( *) Q( *) Σύµφωνα µε το θεώρηµα αυτό, ο ρυθµός σύγκλισης της stst dscnt επιβραδύνεται όσο πλησιάζουν οι τιµές α, Α. Αν οι ισοϋψείς ήταν κυκλικές, δηλαδή α Α, η µέθοδος θα συνέκλινε σε µία επανάληψη. Σε περίπτωση που n- από τις n ιδιοτιµές ήταν ίσες αλλά η τελευταία απείχε κατά πολύ από αυτές, η σύγκλιση θα ήταν ιδιαίτερα αργή. 4

15 Σε γενική περίπτωση, η µέθοδος συγκλίνει γραµµικά µε λόγο όχι µεγαλύτερο του A A α. Στην πραγµατικότητα ο ρυθµός σύγκλισης α A εξαρτάται από τη θέση του αρχικού σηµείου. Ορίζοντας ως r το λόγο α της µεγαλύτερης προς τη µικρότερη ιδιοτιµή, ο ρυθµός σύγκλισης της stst dscnt είναι r r και επιβεβαιώνεται ότι η σύγκλιση επιβραδύνεται όσο η τιµή του r µεγαλώνει. Η εφαρµογή της µεθόδου σε µη τετραγωνικές συναρτήσεις γίνεται αντιστοίχως, θέτοντας στην θέση του πίνακα Q την Εσσιανή F της αντικειµενικής συνάρτησης. Όσον αφορά στη σύγκλιση, το ακόλουθο θεώρηµα διευκρινίζει τις αντιστοιχίες µεταξύ τετραγωνικών ή µη συναρτήσεων. Θεώρηµα. Έστω συνάρτηση f µε συνεχείς δεύτερες µερικές παραγώγους και * τοπικό ελάχιστο αυτής. Έστω, επίσης, ότι η Εσσιανή F(*) της f έχει µικρότερη ιδιοτιµή α > και µεγαλύτερη Α >. Αν { } είναι µια ακολουθία που παράγεται µέσω της stst dscnt και συγκλίνει στο *, τότε η ακολουθία των τιµών της αντικειµενικής συνάρτησης { ( )} f συγκλίνει στο f(*) γραµµικά, µε ρυθµό όχι µεγαλύτερο του A A α. α 5

16 . ΜΕΘΟ ΟΣ NEWON Βασική ιδέα της µεθόδου είναι η προσέγγιση της προς ελαχιστοποίηση συνάρτησης f από µία τετραγωνική συνάρτηση και στη συνέχεια η ελαχιστοποίηση της τετραγωνικής συνάρτησης. Προκειµένου να επιτευχθεί η προσέγγιση αναπτύσσεται η f κατά truncatd alor στην περιοχή του. f ( ) f( ) f( )( ) ( ) F( )( ) Το δεξί µέλος ελαχιστοποιείται για F και αυτός είναι ο αναδροµικός τύπος της µεθόδου Nwton. Αναφορικά µε τις ικανές συνθήκες ης τάξης για την ύπαρξη ελαχίστου, θα θεωρηθεί ότι στο τοπικό ελάχιστο * η Εσσιανή F(*) είναι θετικά ορισµένη. Στη συνέχεια θα εξεταστεί αν η f έχει συνεχείς δεύτερες µερικές παραγώγους και αν η F() είναι θετικά ορισµένη στην περιοχή του *, ώστε η µέθοδος να είναι καλά ορισµένη γύρω από τη λύση. Η µέθοδος Nwton συγκεντρώνει πολλές επιθυµητές ιδιότητες αν ξεκινήσει από αρχικό σηµείο κοντά στη λύση. Η τάξη της σύγκλισής της είναι. Θεώρηµα.3 Έστω συνάρτηση f τρεις φορές συνεχώς παραγωγίσιµη και έστω τοπικό ελάχιστο * στο οποίο η Εσσιανή F(*) είναι θετικά ορισµένη. Τότε, αν το αρχικό σηµείο βρίσκεται κοντά στο * η µέθοδος συγκλίνει στο * και αποδεικνύεται ότι η σύγκλιση είναι τουλάχιστον τάξης. Προκειµένου να εξασφαλιστεί η αποτελεσµατικότητα της µεθόδου ως προς τη σύγκλιση όταν το αρχικό σηµείο βρίσκεται µακριά από τη λύση, χρειάζεται να γίνουν κάποιες τροποποιήσεις. Εισάγεται, εποµένως, το t «µήκος βήµατος», δηλαδή µία παράµετρος που επιλέγεται έτσι ώστε να ελαχιστοποιείται η f. Ο αναδροµικός τύπος παίρνει τη µορφή: t F 6

17 Σύµφωνα µε όσα έχουν προαναφερθεί, κοντά στην περιοχή της λύσης αναµένεται να είναι t. Η εισαγωγή, όµως, της παραµέτρου t αφήνει ανοικτό το ενδεχόµενο µη επιθυµητής αύξησης, αντί για µείωση, της αντικειµενικής συνάρτησης, λόγω της πιθανότητας να µην ακολουθεί αυτή το τετραγωνικό πρότυπο. Κρίνεται συνεπώς, επιτακτική η ανάπτυξη και δεύτερης τροποποίησης, εξαιτίας της οποίας θα µελετηθεί η γενική κλάση αλγορίθµων της µορφής t M, όπου M είναι ένας n n πίνακας. Σηµειώνεται στο σηµείο αυτό ότι τόσο η stst dscnt όσο και η Nwton ανήκουν σε αυτή τη γενικότερη κατηγορία µεθόδων, η πρώτη µε M Ι και η δεύτερη µε M F. Το διάνυσµα κατεύθυνσης που προκύπτει: d M είναι καθοδικό εάν για κάποιο µικρό t η τιµή της f µειώνεται, ενώ το t αυξάνεται από το µηδέν. Για αρκετά µικρό t µπορεί να θεωρηθεί: f ( ) f( ) f( )( ) O( _ ) και αντικαθιστώντας τον παραπάνω αναδροµικό τύπο προκύπτει: ( ) f( ) t M O( t ) f Ενώ το t τείνει στο µηδέν, ο δεύτερος όρος κυριαρχεί του τρίτου. Συνεπώς, για να είναι βέβαιη η µείωση της f για µικρές τιµές του t πρέπει να ισχύει M > και ο καλύτερος τρόπος για να εξασφαλιστεί αυτό είναι να είναι ο πίνακας Μ θετικά ορισµένος. Θέτοντας M Ι (stst dscnt) είναι ένας από τους ευκολότερους τρόπους για να εξασφαλιστεί η µείωση, όµως η σύγκλιση είναι απλώς γραµµική. Θέτοντας M F επιτυγχάνεται ταχεία µείωση στην περιοχή της λύσης και µάλιστα αν η συνάρτηση είναι τετραγωνική, η λύση εντοπίζεται σε µία επανάληψη, αλλά γενικότερα υπάρχει περίπτωση να µην είναι καθοδική η κατεύθυνση, µιας και η F µπορεί να µην είναι θετικά ορισµένη ή καν να µην υπάρχει. Πρακτικά, λοιπόν, η µέθοδος Nwton χρειάζεται τροποποιήσεις για 7

18 να αποφευχθούν τέτοιου είδους µη επιθυµητές καταστάσεις. Μια γενικότερη παρατήρηση είναι πως η µέθοδος Nwton έχει αρκετά µεγάλο υπολογιστικό κόστος, αφού απαιτεί αντιστροφή πίνακα καθώς και αναλυτική έκφραση των δεύτερων µερικών παραγώγων της αντικειµενικής συνάρτησης f. Μία συνήθης προσέγγιση είναι να τεθεί M [ ε I F ] όπου ε µία µη αρνητική τιµή. Έτσι, παρέχεται ουσιαστικά µια µέθοδος ενδιάµεση της stst dscnt (για µεγάλες τιµές του ε ) και της Nwton (για ε ). Υπάρχει πάντοτε κάποια τιµή του ε για την οποία ο πίνακας ορισµένος. M είναι θετικά Έστω µία σταθερά δ >. εδοµένου ενός, υπολογίζονται οι ιδιοτιµές του F και ορίζεται ως ε η µικρότερη µη αρνητική σταθερά για την οποία ο πίνακας ε I F έχει ιδιοτιµές µεγαλύτερες ή ίσες του δ. Στη συνέχεια d ε I F και προκύπτει ο αναδροµικός τύπος td τίθεται ( ) όπου το t ελαχιστοποιεί την ( t d ) f., Ο αλγόριθµος αυτός (Lvnbr 944) συγκεντρώνει τις επιθυµητές ιδιότητες. Αρχικά εξασφαλίζεται καθοδική κατεύθυνση d, αφού ο πίνακας ε I F είναι θετικά ορισµένος. Συνεπώς, υπό την προϋπόθεση ότι η παραγόµενη ακολουθία είναι φραγµένη, είναι βέβαιη η ολική σύγκλιση. Επιπροσθέτως, εάν το δ > έχει τιµή µικρότερη από τη µικρότερη ιδιοτιµή του F(*), τότε για επαρκώς κοντά στο * θα προκύπτει ε και ο αλγόριθµος θα ταυτίζεται µε του Nwton. Εποµένως, η µέθοδος αυτή είναι επίσης τάξης. Η επιλογή κατάλληλης τιµής για το δ είναι µία ιδιαιτέρως δύσκολη υπόθεση. Μικρό δ µπορεί να προκαλέσει πρόβληµα στην αντιστροφή πινάκων, ενώ µεγάλο δ θέτει σε κίνδυνο την ταχύτητα σύγκλισης. Η εύρεση του ιδανικού δ έγκειται στην εµπειρία και τους πειραµατισµούς του ερευνητή. Συνοψίζοντας, γίνεται φανερό ότι η απλότητα που αρχικά φαίνονται να παρέχει η µέθοδος Nwton δεν επιβεβαιώνεται στην πράξη. 8

19 .3 ΜΕΘΟ ΟΣ ΙΧΟΤΟΜΗΣΗΣ INERVAL HALVING Όπως στις µεθόδους, που προαναφέραµε, έτσι και στη διχοτόµηση εκτελείται επαναληπτικά µια διαδικασία εύρεσης του βέλτιστου σηµείου κατά την οποία χρησιµοποιείται το σηµείο που εντοπίστηκε κατά την εκάστοτε προηγούµενη επανάληψη. Η γενική ιδέα είναι να µειώνεται σχεδόν στο µισό το διάστηµα αναζήτησης L, σε κάθε επανάληψη. Αρχικά, υπολογίζεται η τιµή της αντικειµενικής συνάρτησης σε δύο σηµεία κοντά στο µέσο του διαστήµατος. Έστω L δ και L δ, όπου το δ > είναι αρκετά µικρός αριθµός, αλλά ικανός ώστε οι τιµές f ( ), ( ) σηµαντικά. f να διαφέρουν Υποθέτοντας ότι f ( ) f < f( ) f, το νέο διάστηµα αναζήτησης όπου θα εφαρµοστεί η επόµενη επανάληψη είναι το διάστηµα αριστερά του, ενώ το υπολειπόµενο διάστηµα απορρίπτεται. Εάν ήταν f > f το νέο αποδεκτό διάστηµα θα ήταν το διάστηµα δεξιά του (σε πρόβληµα ελαχιστοποίησης). Σε κάθε περίπτωση, το νέο διάστηµα αναζήτησης L θα έχει µήκος L δ. Η διαδικασία επαναλαµβάνεται εντοπίζοντας το µέσο του νέου αυτού διαστήµατος και δύο σηµείων 3, 4 κοντά σε αυτό. Οµοίως, προκύπτει ένα νέο διάστηµα L µήκους L δ L δ δ. Συνεχίζοντας µε τον ίδιο 9

20 τρόπο, το διάστηµα αναζήτησης µειώνεται σχεδόν στο µισό του σε κάθε επανάληψη. Μετά από n επαναλήψεις, το µήκος του διαστήµατος L n θα είναι L n δ n. Ο αριθµός των επαναλήψεων n καθορίζεται από την επιθυµητή ακρίβεια προσέγγισης του βέλτιστου σηµείου. Μόλις αυτή επιτευχθεί, δηλαδή οι δύο τιµές της f κατά την τελευταία επανάληψη είναι πολύ κοντινές, τότε ορίζεται ως το ζητούµενο βέλτιστο σηµείο το µέσο του τελικού αυτού διαστήµατος. Παρόµοιας λογικής είναι και η µέθοδος Intrval Halvn. Εδώ όµως, το διάστηµα αναζήτησης µειώνεται σε κάθε επανάληψη ακριβώς στο µισό του. Η διαδικασία της µεθόδου περιγράφεται από τα ακόλουθα βήµατα.. Χωρισµός του αρχικού διαστήµατος αναζήτησης L [ α,b] σε 4 ίσα µέρη, όπου το µέσο καλείται και, τα µέσα των διαστηµάτων που βρίσκονται αριστερά και δεξιά του αντιστοίχως.. Εύρεση των τιµών της αντικειµενικής συνάρτησης f() στα σηµεία αυτά. f f( ), f f( ) και f( ) 3. α) Αν f f > f f. >, απορρίπτεται το διάστηµα (,b), τα σηµεία και µετονοµάζονται σε και b αντιστοίχως και εφαρµόζεται το βήµα (4) β) Αν f f < f <, απορρίπτεται το διάστηµα ( ) α,, τα σηµεία και µετονοµάζονται σε α και αντιστοίχως και εφαρµόζεται το βήµα (4). γ) Αν f > f και f f > απορρίπτονται τα διαστήµατα ( α ) και (,b) σηµεία και µετονονοµάζονται σε α και b αντιστοίχως και εφαρµόζεται το βήµα (4) 4. Ελέγχεται εάν το διάστηµα αναζήτησης L b α πληρεί το κριτήριο σύγκλισης L ε, όπου ε > επιθυµητά µικρή ποσότητα. Εάν το κριτήριο πληρείται, τότε η διαδικασία σταµατά και το ζητούµενο βέλτιστο σηµείο είναι το µέσο του διαστήµατος L. ιαφορετικά τίθεται L L και ο αλγόριθµος επαναλαµβάνεται.,, τα

21 Μετά από n επαναλήψεις, το διάστηµα αναζήτησης L n έχει µήκος ( n ) L.

22 .4 ΜΕΘΟ ΟΣ FIBONACCI ΚΑΙ ΑΝΑΖΗΤΗΣΗ ΧΡΥΣΗΣ ΤΟΜΗΣ (GOLDEN SECION SEARCH) Πρόκειται για µία ευρέως διαδεδοµένη µέθοδο επίλυσης προβληµάτων ln sarch. Προϋποθέτει την ύπαρξη συγκεκριµένου κλειστού διαστήµατος αναζήτησης [ c, ] c, καθώς και τη µοναδικότητα ύπαρξης τοπικού ελαχίστου της f σε αυτό. Υπολογίζεται διαδοχικά η τιµή της αντικειµενικής συνάρτησης σε Ν το πλήθος σηµεία του διαστήµατος και στη συνέχεια προσδιορίζεται το µικρότερο δυνατό διάστηµα εντός του οποίου βρίσκεται η ζητούµενη βέλτιστη τιµή. Έστω ότι είναι γνωστές οι τιµές f ( ), f ( ),, f ( N ), όπου c K (για ευκολία τίθεται c και c N ). < < < N < N c Τότε το νέο διάστηµα αναζήτησης είναι το [, ], όπου είναι το σηµείο εκείνο από τα Ν όπου η f παρουσιάζει µικρότερη τιµή. Η διαδικασία επαναλαµβάνεται στο νέο αυτό διάστηµα µέχρι να επιτευχθεί η επιθυµητή ακρίβεια. Η επιλογή των σηµείων όπου θα γίνουν οι µετρήσεις είναι καθοριστική. Αποδεικνύεται ότι είναι αποτελεσµατικότερη αν τηρηθεί η εξής λογική. Εάν d c c το εύρος του αρχικού διαστήµατος, τότε µετά από µετρήσεις το εύρος του διαστήµατος είναι d F F N N d όπου F ακέραιοι αριθµοί που ανήκουν στην ακολουθία Fbonacc, όπου δίνεται από την ακόλουθη αναδροµική σχέση: F N F F, µε F N N F Οι πρώτοι όροι της ακολουθίας είναι,,, 3, 5, 8, 3, Προκειµένου να µειωθεί το διάστηµα αναζήτησης σε d N εύρος, οι F N πρώτες δύο µετρήσεις γίνονται συµµετρικά, σε απόσταση d F από τα N άκρα του αρχικού διαστήµατος. Ανάλογα µε το ποια µέτρηση θα δώσει

23 FN µικρότερη τιµή της f, καθορίζεται το νέο διάστηµα εύρους d d F. Το N σηµείο όπου θα πραγµατοποιηθεί η τρίτη µέτρηση βρίσκεται σε θέση συµµετρική ως προς το σηµείο µέτρησης όπου ήδη βρίσκεται στο διάστηµα αυτό. Οµοίως προκύπτει το τρίτο διάστηµα αναζήτησης, εύρους d F. Ακολουθεί παράδειγµα, όπου σε κάθε επανάληψη κάθε νέα N 3 d FN µέτρηση δίνει ολοένα και µικρότερη τιµή της f. Πρέπει εδώ να σηµειωθεί ότι οι εκάστοτε τελευταίες δύο µετρήσεις γίνονται πάντοτε κοντά στο µέσο του τρέχοντος διαστήµατος και σε µεταξύ τους απόσταση τόσο µικρή ώστε η σύγκριση των αντίστοιχων τιµών τους να µειώσει το διάστηµα περίπου στο µισό. 3

24 Η αναζήτηση χρυσής τοµής αποτελεί µία υποπερίπτωση της µεθόδου Fbonacc, µε Ν να τείνει στο άπειρο. Τα διαστήµατα που προκύπτουν τότε έχουν θεωρητικά εύρος που τείνει στο µηδέν πολύ ταχύτερα από ότι συνηθίζεται µε άλλες µεθόδους. Η λύση της εξίσωσης Fbonacc FN FN FN είναι της µορφής F N Aτ Bτ, όπου τ και τ είναι λύσεις της χαρακτηριστικής εξίσωσης N N τ τ. Αναλυτικότερα, 5 τ και τ 5. Το όνοµα της µεθόδου οφείλεται στο γεγονός ότι ο αριθµός τ,68 είναι γνωστός ως «χρυσή τοµή» και θεωρούνταν από τους αρχαίους Έλληνες ως η ιδανικότερη αναλογία των δύο διαδοχικών πλευρών ενός ορθογωνίου, ώστε αυτό να δίνει το καλύτερο αισθητικό αποτέλεσµα. Για µεγάλες τιµές του Ν είναι Aτ τ και εποµένως η N >> B N N προαναφερθείσα σχέση µπορεί να θεωρηθεί: FN Aτ. Συνεπώς, FN lm N F N τ,68 FN Όµως ήταν d d F. Εποµένως, το εύρος αυτό γίνεται d d. N τ d Τελικά,, 68 d τ δηλαδή όσον αφορά στο εύρος των διαστηµάτων, η µέθοδος αναζήτησης χρυσής τοµής συγκλίνει γραµµικά στο ολικό ελάχιστο της αντικειµενικής συνάρτησης f µε λόγο σύγκλισης, 68. τ 4

25 ΚΕΦΑΛΑΙΟ 3 ΜΕΘΟ ΟΙ ΣΥΖΥΓΩΝ ΚΑΤΕΥΘΥΝΣΕΩΝ (CONJUGAE DIRECION) Οι µέθοδοι συζυγών κατευθύνσεων αποτελούν ένα ενδιάµεσο στάδιο µεταξύ των µεθόδων stst dscnt και Nwton. Σκοπός τους είναι να επιταχύνουν τον κατά κανόνα αργό ρυθµό σύγκλισης της stst dscnt, ενώ παράλληλα να επιτευχθεί µείωση της πολυπλοκότητας της Nwton, µε το να µην απαιτείται αντιστροφή της Εσσιανής. Οι µέθοδοι αυτοί απευθύνονται κυρίως σε καθαρά τετραγωνικά προβλήµατα της γενικής µορφής mn Q b όπου Q ένας n n συµµετρικός και θετικά ορισµένος πίνακας. Στη συνέχεια, όµως, γενικεύτηκε η χρήση τους και σε προβλήµατα ευρύτερης φύσεως. Μάλιστα, υποστηρίζεται ότι κοντά στην περιοχή της λύσης κάθε πρόβληµα δύναται να προσεγγιστεί ως τετραγωνικό και εποµένως έχει ανάλογη συµπεριφορά ως προς την σύγκλιση. Προέκυψαν, έτσι, κάποιες ιδιαίτερα πρακτικές µέθοδοι µε αξιοσηµείωτη απόδοση. 3. ΒΑΣΙΚΕΣ ΕΝΝΟΙΕΣ Ορίζεται η έννοια της Q-ορθογωνιότητας, µιας και θα γίνει αναφορά σε αυτήν στη συνέχεια του κεφαλαίου. Έστω συµµετρικός πίνακας Q. ύο διανύσµατα d και d καλούνται Q-ορθογώνια, ή συζυγή αναφορικά στον Q, εάν d Q d. 5

26 Στην εκφυλισµένη περίπτωση όπου Q, οποιοδήποτε ζεύγος διανυσµάτων είναι συζυγή. Ενώ, εάν Q Ι η έννοια της συζυγίας ταυτίζεται µε την έννοια της ορθογωνιότητας. Γενικεύοντας, ένα πεπερασµένο σύνολο διανυσµάτων d,d, K, d καλείται Q- o ορθογώνιο σύνολο εάν d Q dj για κάθε j. Πρόταση Εάν ο πίνακας Q είναι θετικά ορισµένος και το σύνολο των µη µηδενικών διανυσµάτων d,d, K, d είναι Q-ορθογώνιο, τότε τα διανύσµατα αυτά είναι o γραµµικώς ανεξάρτητα. Απόδειξη Έστω σταθερές d,,,,, τέτοιες ώστε α d K α d. o o Πολλαπλασιάζοντας µε Q και παραγωγίζοντας ως προς d προκύπτει α d Qd. Όµως, d Qd >, αφού ο Q είναι θετικά ορισµένος. Συνεπώς α. Προκειµένου να γίνει κατανοητή η χρησιµότητα της Q-ορθογωνιότητας στις µεθόδους συζυγούς κατεύθυνσης, υπενθυµίζεται πως η µοναδική λύση του τετραγωνικού προβλήµατος mn Q b (όπου Q θετικά ορισµένος) αποτελεί επίσης λύση της γραµµικής εξίσωσης Q b και εποµένως τα δύο προβλήµατα µπορούν να θεωρηθούν ισοδύναµα. Σε αντιστοιχία µε τον n n θετικά ορισµένο πίνακα Q θεωρούνται n µη µηδενικά Q-ορθογώνια διανύσµατα do,d, K, dn, τα οποία κατά την προαναφερθείσα πρόταση, είναι γραµµικώς ανεξάρτητα. Κατά συνέπεια, η λύση * καθενός από τα ισοδύναµα προβλήµατα µπορεί να εκφραστεί ως * αodo K αn dn, για κάποια σύνολα παραγωγίζοντας ως προς d, προκύπτει ότι α. Πολλαπλασιάζοντας µε Q και 6

27 α d Q * d Qd d b d Qd Συνεπώς, τα α και εποµένως και η λύση * δύνανται να υπολογιστούν µέσω παραγωγίσεων. Τελικά, η λύση είναι * n d d b Qd d Αξίζει να σηµειωθεί ότι θα µπορούσε να επιλεγεί σύνολο διανυσµάτων d τα οποία να είναι ορθογώνια µε την κλασική έννοια, αντί για Q-ορθογώνια και µε κατάλληλη παραγώγιση της σχέσης * α d K α d όλοι οι όροι o o n n του δεύτερου µέλους εκτός από τον -οστό να εξαλείφονταν. Εάν παρ όλα αυτά χρησιµοποιηθεί Q-ορθογωνιότητα, τα α υπολογίζονται βάσει του γνωστού διανύσµατος b, αντί του αγνώστου διανύσµατος *. Ο υπολογισµός του * εκλαµβάνεται ως µία επαναληπτική διαδικασία n-βηµάτων, όπου στο -οστό βήµα προστίθεται ο όρος α d. Θεώρηµα Συζυγούς Κατεύθυνσης Έστω { d } n κάθε αρχικό σηµείο ένα σύνολο µη µηδενικών, Q-ορθογώνιων διανυσµάτων. Για, η ακολουθία { } αd, που παράγεται µέσω της σχέσης µε d α και Q b d Qd συγκλίνει στη µοναδική λύση * του προβλήµατος Q b µετά από n- επαναλήψεις. ηλαδή n *. Απόδειξη Αφού τα διανύσµατα d είναι γραµµικώς ανεξάρτητα, υπάρχει σύνολο α τέτοιο ώστε * αd αd K αn dn Πολλαπλασιάζοντας µε Q και παραγωγίζοντας ως προς d προκύπτει: 7

28 α ( ) d Q * d Qd Εφαρµόζοντας την επαναληπτική διαδικασία -φορές προκύπτει: α d α d K α d και επειδή τα διανύσµατα d είναι Q-ορθογώνια συνεπάγεται ότι ( ) d Q. Αντικαθιστώντας την τελευταία σχέση στην ζητούµενο: α ( ) d Q * d Qd d d Qd d ( ) Q * α προκύπτει το d Qd Συνοψίζοντας, µέχρι στιγµής η µέθοδος συζυγών κατευθύνσεων έχει εξεταστεί βάσει της παρατήρησης ότι τα δύο προβλήµατα: mn Q b και Q b είναι ισοδύναµα. Συνεπώς, η µέθοδος παρουσιάζεται ως µία άµεση, ορθογώνια επέκταση της λύσης του προβλήµατος Q b. Η οπτική αυτή γωνία είναι µέν ιδιαιτέρως πρακτική λόγω της απλότητας που παρέχει όµως παραβλέπει κάποια βασικά στοιχεία του αλγορίθµου τα οποία γίνονται ιδιαιτέρως αισθητά όταν η µέθοδος επεκτείνεται σε µη τετραγωνικά προβλήµατα. 3. ΜΕΘΟ ΟΣ ΣΥΖΥΓΟΥΣ ΚΛΙΣΗΣ Πρόκειται για µία µέθοδο συζυγών κατευθύνσεων κατά την οποία επιλέγονται ως διανύσµατα κατεύθυνσης τα διαδοχικά διανύσµατα κλίσης. Εποµένως, οι κατευθύνσεις δεν είναι προκαθορισµένες, αλλά καθορίζονται σταδιακά σε κάθε επανάληψη. Στη γενική περίπτωση της -επανάληψης, υπολογίζεται το τρέχον διάνυσµα κλίσης και προστίθεται στο γραµµικό συνδυασµό των προηγούµενων διανυσµάτων κατεύθυνσης, ώστε να προκύψει το νέο διάνυσµα συζυγούς κατεύθυνσης κατά το οποίο θα κινηθεί η µέθοδος. 8

29 Υπάρχουν τρία βασικά πλεονεκτήµατα σε αυτή τη µέθοδο επιλογής κατεύθυνσης. Πρώτον, η κλίση είναι πάντα µη µηδενική και γραµµικώς ανεξάρτητη από όλα τα προηγούµενα διανύσµατα κατεύθυνσης, εκτός κι αν η λύση εντοπιστεί σε λιγότερες από n-επαναλήψεις. Στην περίπτωση αυτή, η διαδικασία τερµατίζεται και δε χρειάζεται πλέον η εύρεση νέων κατευθύνσεων. εύτερον και σηµαντικότερον, η σχέση µέσω της οποίας καθορίζεται το εκάστοτε νέο διάνυσµα κατεύθυνσης είναι ιδιαίτερα απλή, επιτυγχάνοντας έτσι σχεδόν τον ίδιο βαθµό πολυπλοκότητας µε τη µέθοδο stst dscnt. Τρίτον, επειδή οι κατευθύνσεις βασίζονται στις κλίσεις η µέθοδος προοδεύει οµοιόµορφα προς τη λύση σε κάθε επανάληψη, σε αντίθεση µε άλλους τρόπους επιλογής των συζυγών κατευθύνσεων όπου η πρόοδος µπορεί να είναι µηδαµινή, εκτός των τελευταίων επαναλήψεων. Η οµοιόµορφη πρόοδος έχει ιδιαίτερη αξία σε γενικευµένα µη τετραγωνικά προβλήµατα. Αλγόριθµος Συζυγούς Κλίσης Έστω τυχαίο αρχικό σηµείο. Ορίζεται d b Q και αd α d d Qd d β d Qd β, όπου Q b d Qd Το πρώτο βήµα του αλγορίθµου ταυτίζεται µε ένα βήµα stst dscnt, ενώ κάθε ακόλουθο βήµα κινείται σε µια κατεύθυνση που είναι γραµµικός συνδυασµός της τρέχουσας κλίσης και του προηγούµενου διανύσµατος κατεύθυνσης. Είναι ιδιαιτέρως θετικό το γεγονός ότι η ενηµέρωση του διανύσµατος κατεύθυνσης γίνεται µέσω µιας απλής σχέσης d β d, 9

30 όπου β d Qd Qd Η µέθοδος είναι ελαφρώς πολυπλοκότερη της stst dscnt, αλλά συγκλίνει µετά από πεπερασµένο πλήθος επαναλήψεων. 3

31 ΚΕΦΑΛΑΙΟ 4 ΜΕΘΟ ΟΙ ΜΕΤΑΒΛΗΤΗΣ ΜΕΤΡΙΚΗΣ (QUASI NEWON) Οι µέθοδοι µεταβλητής µετρικής είναι ακόµα µία προσέγγιση ενδιάµεσα των µεθόδων stst dscnt και Nwton. Βάσει της λογικής ότι ο υπολογισµός και η χρήση του πίνακα της Εσσιανής δεν είναι πρακτικός από άποψη κόστους, η βασική ιδέα των µεθόδων µεταβλητής µετρικής είναι η προσέγγιση του αντιστρόφου της Εσσιανής. Ο τρόπος προσέγγισης ποικίλει µεταξύ των διαφορετικών µεθόδων. ιαβαθµίζεται από τη χρήση σταθερής προσέγγισης, έως πολύ σύνθετες προσεγγίσεις που χρησιµοποιούν δεδοµένα που προκύπτουν µέσω σύνθετης διαδικασίας. Στην κατηγορία αυτή ανήκουν ιδιαίτερα σύνθετες µέθοδοι, των οποίων η σύγκλιση είναι δύσκολο να καθοριστεί µε ακρίβεια. Παρ όλα αυτά, θα εξεταστούν και δύο µέθοδοι µε ιδιότητες σύγκλισης αντίστοιχες µε αυτές της stst dscnt. Πρόκειται για την τροποποιηµένη µέθοδο Nwton, όπου τροποποιεί την stst dscnt θεωρώντας ως διάνυσµα κατεύθυνσης έναν θετικά ορισµένο µετασχηµατισµό της αρνητικής κλίσης, καθώς και για µια µέθοδο που συνδυάζει την stst dscnt µε την Nwton. 4. ΤΡΟΠΟΠΟΙΗΜΕΝΗ ΜΕΘΟ ΟΣ NEWON Μία βασική επαναληπτική διαδικασία για τη λύση του προβλήµατος mn f( ), η οποία αποτελεί γενίκευση των διαδικασιών που αναφέρθηκαν προηγούµενα είναι η εξής: α S f ( ) 3

32 όπου S είναι ένας συµµετρικός πίνακας n n και τα f. επιλεγεί έτσι ώστε να ελαχιστοποιούν την ( ) α έχουν και πάλι Αν S είναι ο αντίστροφος της Εσσιανής της f, τότε προκύπτει η µέθοδος Nwton, ενώ στην υποπερίπτωση όπου S Ι προκύπτει η µέθοδος stst dscnt. Γενικότερα, ο πίνακας S επιλέγεται ως µια προσέγγιση της Εσσιανής. Απαιτείται ο πίνακας αυτός να είναι θετικά ορισµένος, ώστε να εξασφαλίζεται η µείωση της αντικειµενικής συνάρτησης για µικρές τιµές του α. Η οµοιότητα του αλγορίθµου αυτού µε εκείνη της stst dscnt έχει ως φυσικό επακόλουθο να παρουσιάζονται οµοιότητες και ως προς την σύγκλιση. Προκειµένου να υπολογιστεί ο ρυθµός σύγκλισης θεωρείται και πάλι το τυπικό τετραγωνικό πρόβληµα µε f ( ) Q b όπου ο πίνακας Q είναι συµµετρικός και θετικά ορισµένος. Για την περίπτωση αυτή, δύναται να υπολογιστεί το διαδικασίας. Ο αλγόριθµος γίνεται α της προαναφερθείσας επαναληπτικής α S, όπου Q b α Sd S QS Ο ρυθµός σύγκλισης µπορεί να προκύψει επεκτείνοντας ελαφρώς την ανάλυση για τη µέθοδο stst dscnt. Θεώρηµα Τροποποιηµένης Μεθόδου Nwton (τετραγωνική περίπτωση) Έστω * το µοναδικό ελάχιστο της f και έστω ( ) ( *) Q( *) E τότε για τον αλγόριθµο α S όπου Q b α Sd S QS 3

33 για κάθε βήµα ισχύει: E ( ) E( ) όπου πίνακα B B b και S Q. b b B είναι αντιστοίχως η µικρότερη και η µεγαλύτερη ιδιοτιµή του (Αποδεικνύεται µέσω της ανισότητας Kantorovch) Το θεώρηµα αυτό αποδεικνύει ότι για το τετραγωνικό πρόβληµα, όσο περισσότερο προσεγγίζεται ο βρίσκονται τα b και Q από τον S, τόσο πιο κοντά στη µονάδα θα B και συνεπώς, τόσο ταχύτερη θα είναι η σύγκλιση. Για µη τετραγωνική αντικειµενική συνάρτηση f, ο πίνακας Q αναλογεί στην Εσσιανή F() και αντιστοίχως, ο S θα πρέπει να προσεγγίζει τον ( ) F. Παρατηρείται στο σηµείο αυτό ότι η συγκεκριµένη µέθοδος δεν αποτελεί νέα ιδέα, αλλά ουσιαστικά είναι επέκταση της stst dscnt. Όσον αφορά στη σύγκλιση, το παραπάνω θεώρηµα µπορεί να εκληφθεί ως γενικό εργαλείο ανάλυσης της σύγκλισης των µεθόδων µεταβλητής µετρικής, µιας και παρατηρείται πως όταν ένα απλό αποτέλεσµα εφαρµοστεί κατάλληλα, δύναται να καθορίσει άµεσα τις ιδιότητες σύγκλισης σύνθετων αλγορίθµων. Κλείνοντας αυτήν την παράγραφο, δίνεται µια κλασική µέθοδος τροποποίησης της Nwton, που δεν απαιτεί τον υπολογισµό της F( ) για κάθε. Ο επαναληπτικός αυτός τύπος είναι ο εξής: α [ F( )] f( ) Παρατηρείται ότι καθ όλη τη διάρκεια της διαδικασίας χρησιµοποιείται η Εσσιανή του αρχικού σηµείου. Η αποτελεσµατικότητα αυτής της µεθόδου εξαρτάται άµεσα από το πόσο γρήγορα µεταβάλλεται η Εσσιανή. 33

34 4. ΚΑΤΑΣΚΕΥΗ ΤΟΥ ΑΝΤΙΣΤΡΟΦΟΥ Η κυρίαρχη ιδέα όλων των µεθόδων µεταβλητής µετρικής είναι η προσπάθεια κατασκευής του αντιστρόφου της Εσσιανής, ή µιας αξιόπιστης προσέγγισης αυτού. Στη συνέχεια η τρέχουσα προσέγγιση H χρησιµοποιείται σε κάθε βήµα προκειµένου να καθοριστεί η επόµενη καθοδική κατεύθυνση, θέτοντας S H στην τροποποιηµένη µέθοδο Nwton. Στην ιδανική περίπτωση οι προσεγγίσεις συγκλίνουν στον αντίστροφο της Εσσιανής στο σηµείο της λύσης και η µέθοδος συµπεριφέρεται συνολικά παρόµοια µε την Nwton. Ακολουθεί η περιγραφή εύρεσης του αντιστρόφου της Εσσιανής βάσει πληροφοριών κλίσης από διάφορα σηµεία. Έστω f συνάρτηση του n R µε συνεχείς δεύτερες µερικές παραγώγους. Εάν για δύο σηµεία, οριστούν f( ), f( ) και, τότε F ( ) Αν η Εσσιανή F είναι συνεχής, τότε q F και παρατηρείται πως ο υπολογισµός της κλίσης σε δύο σηµεία δίνει πληροφορία για την F. Εάν η γραµµικώς ανεξάρτητα διανύσµατα κατεύθυνσης o,,,, K n και τα αντίστοιχα q είναι γνωστά, τότε η F είναι µοναδικά καθορισµένη. Πράγµατι, ορίζοντας δύο n n πίνακες Ρ και Q µε στήλες τα και q αντιστοίχως, ισχύει: F QP. Επιχειρείται ο υπολογισµός διαδοχικών προσεγγίσεων H της F βάσει των δεδοµένων που προκύπτουν από τα πρώτα βήµατα µιας επαναληπτικής διαδικασίας κλίσεως, έτσι ώστε εάν η F ήταν σταθερή ο πίνακας H να ικανοποιούσε τη σχέση H q,. Μετά από n γραµµικώς ανεξάρτητες επαναλήψεις θα προέκυπτε. H n F 34

35 Για κάθε < n το πρόβληµα κατασκευής ενός κατάλληλου H, ο οποίος γενικά λειτουργεί ως προσέγγιση του αντιστρόφου της Εσσιανής αλλά συγκεκριµένα για σταθερή F πληρεί τη σχέση H q,, έχει άπειρες λύσεις. Συνεπώς, υπάρχουν περισσότεροι βαθµοί ελευθερίας, παρά περιορισµοί. Εποµένως, είναι ανάγκη να ληφθούν υπόψη πρόσθετες πληροφορίες. Μια πρόταση επίλυσης αυτού του θέµατος είναι η «ιόρθωση Πρώτης Τάξης» (Ran On Corrcton). Ran On Corrcton Μιας και οι F και F είναι συµµετρικοί πίνακες, είναι λογικό να αποκτηθεί να είναι συµµετρικός και ο H, ως προσέγγιση του F. Αναζητείται λοιπόν αναδροµικός τύπος που να διαφυλάσσει τη συµµετρία, όπως είναι ο εξής: H α H zz. Το διάνυσµα z και η σταθερά α ορίζουν έναν πίνακα το πολύ πρώτης τάξης, µέσω του οποίου θα ενηµερώνεται η προσέγγιση του αντιστρόφου σε κάθε επανάληψη. Επιλέγονται µε τέτοιο τρόπο ώστε να ικανοποιείται η σχέση H q. Θέτοντας και αντικαθιστώντας προκύπτει H q H q α z z q (4..) Εσωτερικό γινόµενο µε q : q ( z q ) q H q α (4..) Λύνοντας τη σχέση (4..) ως προς α z z και αντικαθιστώντας στον αρχικό αναδροµικό τύπο προκύπτει: H H ( H q )( H q ) α ( z q ) και τελικά µε χρήση της σχέσης (4..) H H ( H q )( H q ) q ( H q ) 35

36 Η διόρθωση πρώτης τάξης χρησιµοποιείται εάν ικανοποιεί τη σχέση H q για. Εάν επιπλέον αποδειχθεί ότι όταν η F είναι σταθερή η σχέση ικανοποιείται για <, θα γίνει φανερό ότι η διόρθωση πρώτης τάξης συγκλίνει στην F µετά από το πολύ n-οστό πλήθος επαναλήψεων. Θεώρηµα Έστω F ένας σταθερός συµµετρικός πίνακας και έστω K δεδοµένα,,, διανύσµατα. Ορίζονται τα διανύσµατα q F,,,,. Θεωρώντας τυχαίο αρχικό πίνακα H, έστω η επαναληπτική σχέση: H H ( H q )( H q ) q ( H q ) τότε H q για Απόδειξη Επαγωγικά, έστω ότι αληθεύει για ότι η σχέση αληθεύει για H και. Για < H ( q q H q ) q H q (4..3) όπου q ( H q ) ( H q ) Λόγω της απόθεσης η σχέση (4..3) γίνεται H q ( q q ) H και. είχθηκε προηγουµένως και από τον υπολογισµό q F q, ο δεύτερος όρος απαλείφεται. Προκειµένου να ενσωµατωθεί η προσέγγιση του αντιστρόφου της Εσσιανής σε µια διαδικασία κλίσης µε τον πλέον αποδοτικό τρόπο, το διάνυσµα κατεύθυνσης συνέχεια ελαχιστοποιείται η f( α ) α d d υπολογίζεται από τη σχέση d H και στη d ως προς α. Έτσι, καθορίζονται τα α d και 36

37 οπότε η H είναι υπολογίσιµη µέσω της προαναφερθείσας σχέσης H H ( H q )( H q ) q ( H q ) Τα µειονεκτήµατα της µεθόδου πρώτης τάξης είναι ότι η τελευταία σχέση διατηρεί την απαίτηση για θετικά ορισµένο πίνακα µόνον αν q ( H q ) >, το οποίο δεν ισχύει πάντα. Επιπλέον, ακόµα και αν η ανισότητα ισχύει, µπορεί να έχει τιµή κοντά στο µηδέν και έτσι να προκύπτουν υπολογιστικές δυσκολίες. Συνεπώς, αν και αποτελεί αξιόλογο παράδειγµα συλλογής πληροφορίας για εύρεση ικανοποιητικής προσέγγισης του αντιστρόφου της Εσσιανής, η µέθοδος πρώτης τάξης εµπεριέχει περιορισµούς. 4.3 ΣΥΝ ΥΑΣΜΟΣ ΤΩΝ ΜΕΘΟ ΩΝ SEEPES DESCEN ΚΑΙ NEWON Η ακόλουθη µέθοδος αποτελεί βασικό στοιχείο της σύγχρονης θεωρίας αλγορίθµων και συµπεριλαµβάνει τις stst dscnt και Nwton ως ειδικές περιπτώσεις. Υποθέτει την ύπαρξη υποχώρου Ν του n R όπου ο αντίστροφος της Εσσιανής της αντικειµενικής συνάρτησης f, είναι γνωστός. Τότε, στην τετραγωνική περίπτωση, το ελάχιστο της f επάνω σε ένα οποιοδήποτε γραµµικά παράλληλο επίπεδο του Ν, µπορεί να βρεθεί σε ένα βήµα. Προκειµένου λοιπόν, να ελαχιστοποιηθεί η f σε ολόκληρο το χώρο, ξεκινώντας από οποιοδήποτε σηµείο, δύναται να ελαχιστοποιηθεί σε ένα τέτοιο επίπεδο που να περιέχει το και έτσι να προκύψουν τα z και στη συνέχεια να εφαρµοστεί µια επανάληψη της stst dscnt. Η διαδικασία αυτή περιγράφεται στην ακόλουθη εικόνα. 37

38 Εφόσον z είναι το ελάχιστο της f στο παράλληλο επίπεδο του Ν, η κλίση στο z θα είναι κάθετη στο Ν. Εάν η f δεν είναι τετραγωνική συνάρτηση, είναι δυνατόν γνωρίζοντας την Εσσιανή της στο Ν να προσεγγιστεί το ελάχιστο της f σε κάποιο παράλληλο του Ν επίπεδο, µε µια επανάληψη της µεθόδου Nwton. Προκειµένου να εφαρµοστούν στην πράξη όσα περιγράφηκαν προηγουµένως γεωµετρικά, απαιτείται ο καθορισµός µεθόδου για τον προσδιορισµό του υποχώρου Ν, καθώς και ο καθορισµός των πληροφοριών που απαιτούνται για τον αντίστροφο της Εσσιανής ώστε να εφαρµοστεί µια επανάληψη Nwton στο Ν. Συχνά, ο πιο εύχρηστος τρόπος καθορισµού ενός υποχώρου είναι βάσει ενός συνόλου διανυσµάτων τα οποία τον παράγουν. Έτσι, εάν Β είναι ένας n m πίνακας αποτελούµενος από m διανύσµατα στήλη που παράγουν τον Ν, τότε ο Ν δύναται να γραφεί ως το σύνολο όλων των διανυσµάτων της µορφής B, u όπου n u R. Για λόγους απλούστευσης, θα θεωρείται πάντα ότι οι στήλες του Β είναι γραµµικώς ανεξάρτητες. Όσον αφορά στον καθορισµό της πληροφορίας που απαιτείται για τον αντίστροφο της Εσσιανής θα υποτεθεί ότι από σηµείο αναζητείται προσέγγιση του ελαχίστου z της f ως προς το Ν. Συνεπώς, ζητούνται u τέτοια ώστε τα z Bu να ελαχιστοποιούν προσεγγιστικά την f (δηλαδή z να είναι η προσέγγιση Nwton του ελαχίστου ως προς τον υποχώρο). Λύνεται ως προς u η σχέση 38

39 f ( z ) f( ) f( ) Bu ub F( ) Bu ώστε να βρεθεί η προσέγγιση Nwton. u ( B F( ) B) B f( ) Οπότε z B B F( ) ( B) B f( ) Συγκρίνοντας µε τον τύπο της µεθόδου Nwton, η έκφραση B B F( ) αναλογεί στον αντίστροφο της Εσσιανής, στον υποχώρο Ν. ( B) B Παράδειγµα Έστω I B όπου Ι ένας m m µοναδιαίος πίνακας. Πρόκειται λοιπόν για O την περίπτωση όπου Ν είναι ο υποχώρος που παράγεται από τα m πρώτα µοναδιαία διανύσµατα του F ( ) f ως εξής: n R. ιαχωρίζεται ο πίνακας της Εσσιανής F F F F F όπου F είναι τάξης m m Τότε ( B FB) F και B ( B FB) B F και γίνεται εµφανές ότι απαιτείται ο αντίστροφος της F στον Ν. Μιας και καθορίστηκε η προσέγγιση της Nwton στον Ν, θα αναλυθούν οι λεπτοµέρειες του αλγορίθµου που απεικονίστηκε γεωµετρικά. εδοµένου σηµείου, το σηµείο προσδιορίζεται ως εξής: α) Έστω d B B F( ) ( B) B f( ) β) z βd, όπου το γ) Ορίζεται f( ) z δ) z α, όπου το β ελαχιστοποιεί την f( β ) d α ελαχιστοποιεί την f( α ) z 39

40 Η βαθµωτή παράµετρος αναζήτησης β εισάγεται στο µέρος της Nwton στον αλγόριθµο µε σκοπό να εξασφαλισθούν οι συνθήκες για ολική σύγκλιση. Αναµένεται να παίρνει τιµές κοντινές στη µονάδα. Ανάλυση της τετραγωνικής περίπτωσης Ως παραλλαγή της µεθόδου Nwton, αρχικά θα υποτεθεί ότι συγκλίνει απλώς γραµµικά. Τα κυρίαρχα στοιχεία της σύγκλισης θα φανερωθούν κατά την ανάλυση συγκεκριµένης εφαρµογής της µεθόδου σε τετραγωνική συνάρτηση. Επιπλέον, αναµένεται ο ρυθµός σύγκλισης να καθορίζεται από την stst dscnt που εµπεριέχεται στον αλγόριθµο. Θεώρηµα (συνδυασµένη µέθοδος) Έστω Q ένας n n συµµετρικός και θετικά ορισµένος πίνακας και έστω n * R. Ορίζεται η συνάρτηση και έστω b Q * ( ) ( *) Q( *) E Έστω Β ένας n m πίνακας τάξης m. Θεωρώντας αρχικό σηµείο, ορίζεται η επαναληπτική διαδικασία όπου Q b α) u ( B QB) B β) z Bu γ) z α όπου α Q Η διαδικασία συγκλίνει στο * και ικανοποιεί την ανισότητα E ( ) ( δ) E( ) ( ) όπου το δ ( δ ) είναι το ελάχιστο ( Q)( Q ) διανύσµατα στο χώρο του B. από όλα τα 4

41 Απόδειξη B BQ ( * z) BQ ( * ) BQBu B BQB( BQB) B που σηµαίνει πως η κλίση στο z είναι ορθογώνια του Ν. Υπολογίζεται: { ( )} ( ) E E z Q ( ) ( z ) Qz ( ) ( ) * * * * ( ) ( ) ubq * ubqbu ub ubqbbqb B ( ) ub BBQB B Επιπλέον υπολογίζεται: { ( ) ( )} ( ) E z E z Q( z ) ( ) Q( ) * * * * ( ) α Q z * α Q α α Q α ( ) Q Χρησιµοποιώντας την πρώτη σχέση και κάνοντας την αντικατάσταση QBu προκύπτει ( ) ( ) ( ) ( ) ( ) E * Q * Q u B Q Q QBu ( ) Q ubqbu Q BBQB B Ακολουθεί ο υπολογισµός ( ) { E ( ( )} { ( ) ) E z E z E( ) } E( ) E ( ) E E ( ) Χρησιµοποιώντας τις προαναφερθείσες σχέσεις, προκύπτει: ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) E ( ) / / E B B QB B Q q Q E ( ) Q BBQB B q Q / όπου q. Η τελευταία αυτή σχέση είναι της µορφής ( α ) / ( ) q q b µε α Q και 4

42 b Q. Όµως, για κάθε ισχύει α b. Συνεπώς: q α α q b b και εποµένως E ( ) E ( ) ( ) ( )( ) E ( ) Q Q που συνεπάγεται ( ) ( ) ( Q )( Q ) E E( ) E αφού B, όπως δείχθηκε αρχικά. ( δ ) ( ) Η τιµή του δ στο θεώρηµα αυτό συνδέεται µε τη δοµή των ιδιοτιµών του Q. Εάν τα διανύσµατα δεν υπόκειντο σε περιορισµούς, τότε από την ανισότητα Kantorovch: ( ) 4αA ( )( ) Q Q ( α A) όπου α, και Α είναι αντιστοίχως η µικρότερη και η µεγαλύτερη ιδιοτιµή του Q, προκύπτει ότι δ 4αA ( α A) Όταν το περιορίζεται στο χώρο του B, η αντίστοιχη τιµή του δ είναι µεγαλύτερη. Σε κάποιες περιπτώσεις είναι δυνατή η εκτίµηση του δ. Έστω για παράδειγµα, ότι Ν είναι ο υποχώρος που παράγεται από τα m ιδιοδιανύσµατα του Q. Τότε, ο υποχώρος όπου θα κινηθεί το είναι ορθογώνιος του Ν και συνεπώς, στην προκειµένη περίπτωση, ο χώρος που παράγεται από τα υπόλοιπα n m ιδιοδιανύσµατα του Q. Τα διανύσµατα Q και Q επίσης ανήκουν στον ορθογώνιο χώρο του Ν, και το δ ικανοποιεί τη σχέση: ( ) 4αA ( )( ) Q Q ( α A) δ 4

43 όπου τώρα τα α και Α είναι αντιστοίχως η µικρότερη και η µεγαλύτερη από τις n m ιδιοτιµές του Q. Συνεπώς, ο ρυθµός σύγκλισης είναι της γνωστής µορφής: E ( ) E( ) A α A α όπου α και Α οι προαναφερθείσες ιδιοτιµές. Έτσι, αν το Β (ή ισοδύναµα το Ν) επιλεγεί ώστε να περιλαµβάνει τα ιδιοδιανύσµατα που αντιστοιχούν στις λιγότερο επιθυµητές ιδιοτιµές του Q, ο ρυθµός σύγκλισης της συνδυαστικής µεθόδου αναµένεται να είναι πολύ καλός. Εφαρµογές Ο συνδυασµός των µεθόδων stst dscnt και Nwton µπορεί να εφαρµοστεί ικανοποιητικά σε πληθώρα περιπτώσεων. Υποθέτοντας, για παράδειγµα το πρόβληµα mn f(, ), όπου n R, m R και οι δεύτερες µερικές παράγωγοι ως προς είναι εύκολα υπολογίσιµες, ενώ ως προς όχι, δύναται να εφαρµοστεί η Nwton ως προς και η stst dscnt ως προς. Μία ακόµα περίπτωση όπου η λογική αυτή είναι ιδιαιτέρως αποτελεσµατική είναι όταν σε ένα πρόβληµα υπάρχουν µερικές σηµαντικές µεταβλητές, που τείνουν να κυριαρχούν στην τιµή της αντικειµενικής συνάρτησης. Με άλλα λόγια, οι δεύτερες µερικές παράγωγοι ως προς τις µεταβλητές αυτές είναι µεγάλες. Το πρόβληµα µπορεί να αντιµετωπιστεί εφαρµόζοντας την µέθοδο Nwton ως προς τις µεταβλητές αυτές και την stst dscnt ως προς τις άλλες µεταβλητές. 43

44 4.4 ΜΕΘΟ ΟΣ SECAN Η µέθοδος χρησιµοποιεί εξίσωση της µορφής: f ( ) f ( ) s( ) όπου s είναι η κλίση της γραµµής που ενώνει τα δύο σηµεία (,f ( A) ) ( B,f ( B) ) εκφράζεται ως f s A και, όπου Α και Β είναι δύο διαφορετικές προσεγγίσεις της λύσης *. Η s ( B) f ( A) B A Η αρχική εξίσωση προσεγγίζει τη συνάρτηση f ( ) µεταξύ των Α και Β ως µία γραµµική εξίσωση (scant) και εποµένως η λύση της δίνει τη νέα προσέγγιση της ρίζας της f ( ) ως: f ( ) f ( A)( B A) A s f ( B) f ( A) Ο αναδροµικός αυτός τύπος αποτελεί τη µέθοδο scant, η οποία συµπεριλαµβάνεται στην κατηγορία µεθόδων µεταβλητής µετρικής, µιας και επιχειρεί προσέγγιση της Εσσιανής της f στο Α, όταν το Β τείνει στο Α. Επίσης, µπορεί να θεωρηθεί και ως µέθοδος αποκλεισµού, µιας και µέρος του διαστήµατος ( ) κάθε επανάληψη. A,, όπως φαίνεται στην ακόλουθη εικόνα, αποκλείεται σε 44

45 Η επαναληπτική διαδικασία έχει ως εξής:. Έστω A. Υπολογίζεται η τιµή ( A) Έστω αρχικό µήκος βήµατος t. Τίθεται.. Υπολογισµός της f ( t ) 3. Αν ( t ) f <, τίθεται A t στο βήµα (), f ( A) ( ) 4. Αν f ( t ), τίθεται Β t, f ( B) ( t ) f. f, η οποία θα είναι αρνητική. f t, νέο 5. Εύρεση της νέας προσέγγισης της λύσης του προβλήµατος ( A)( B A) ( B) f ( A) f A f 6. Έλεγχος σύγκλισης ( ) ε t t και επιστροφή f, όπου ε είναι επαρκώς µικρή ποσότητα. Αν η ανισότητα πληρείται, * και η διαδικασία σταµατά., τίθεται νέο B 7. Αν ( ) f στο βήµα (5), τίθεται νέο A 8. Αν ( ) f < στο βήµα (5), ( B) f ( ), και επιστροφή f, ( A) f ( ), και επιστροφή f Παρατηρήσεις. Η µέθοδος αυτή ταυτίζεται µε το να υποτεθεί γραµµική εξίσωση για την f ( ). Αυτό σηµαίνει ότι η αρχική συνάρτηση f() είναι προσεγγιστικά τετραγωνική.. Σε κάποιες περιπτώσεις είναι δυνατόν η συνάρτηση f ( ) να µεταλλάσσεται ελαφρώς για διαφορετικές τιµές του, όπως φαίνεται στην παρακάτω εικόνα. Παρατηρείται, όµως, ότι το σηµείο Β παραµένει σταθερό. Συνεπώς, σε τέτοιες περιπτώσεις η σύγκλιση της µεθόδου 45

46 µπορεί να βελτιωθεί θεωρώντας ως επόµενη τιµή την υπολογιστεί από τη σχέση ( A)( B A) ( B) f ( A) f A f. A B, αντί να 46

47 ΚΕΦΑΛΑΙΟ 5 ΜΗ ΤΕΤΡΑΓΩΝΙΚΑ ΠΡΟΤΥΠΑ Όλες οι µέθοδοι που παρουσιάστηκαν έως τώρα στηρίζονται σε τετραγωνικές πρότυπες συναρτήσεις. Παρ όλα αυτά, έχουν προταθεί και αλγόριθµοι που στηρίζονται σε µη τετραγωνικά πρότυπα. Στη συνέχεια θα παρουσιαστούν κάποιοι απ αυτούς, καθώς και τροποποιήσεις γνωστών τετραγωνικών µεθόδων. 5. Η ΜΕΘΟ ΟΣ ΣΥΖΥΓΟΥΣ ΚΛΙΣΗΣ ΣΕ ΜΗ ΤΕΤΡΑΓΩΝΙΚΑ ΠΡΟΤΥΠΑ Μέσω κατάλληλων προσεγγίσεων, η µέθοδος συζυγούς κλίσης δύναται να εφαρµοστεί και σε προβλήµατα της µορφής mnmz f(), όπου η συνάρτηση f() δεν είναι τετραγωνική. Η φύση των προσεγγίσεων εξαρτάται από τις ιδιότητες της συγκεκριµένης αντικειµενικής συνάρτησης, καθώς και από το ποια µεγέθη της είναι ευκολότερο να υπολογιστούν. Τετραγωνική προσέγγιση Μία τέτοιου είδους µέθοδος είναι η µέθοδος τετραγωνικής προσέγγισης, κατά την οποία γίνονται οι ακόλουθες αντιστοιχίες: ( ) και Q F( ) f Υπολογίζοντας τις ποσότητες αυτές γίνονται γνωστά όλα τα απαραίτητα µεγέθη για την εφαρµογή του βασικού αλγορίθµου συζυγούς κλίσης. Εάν η f είναι τετραγωνική, προκύπτει η γνωστή µέθοδος συζυγούς κλίσης που έχει προαναφερθεί. Εποµένως, οι παραπάνω µετασχηµατισµοί οδηγούν σε µια γενίκευση της γνωστής µεθόδου. Η φιλοσοφία αυτή είναι κοινή µε τη 47