Μέθοδοι πολυδιάστατης ελαχιστοποίησης με παραγώγους Μέθοδοι πολυδιάστατης ελαχιστοποίησης Δ. Γ. Παπαγεωργίου Τμήμα Μηχανικών Επιστήμης Υλικών Πανεπιστήμιο Ιωαννίνων dpapageo@cc.uoi.gr http://pc64.materials.uoi.gr/dpapageo Οι μέθοδοι πολυδιάστατης ελαχιστοποίησης είναι επαναληπτικές. Ξεκινούν από ένα αρχικό σημείο και κατασκευάζουν μια σειρά σημείων,,, τέτοια ώστε: Η σειρά των σημείων συγκλίνει στο ελάχιστο Βασικός επαναληπτικός αλγόριθμος. Δίνεται το αρχικό σημείο 2. Επανάληψη για 0,,2, a. Ελέγχουμε τα κριτήρια τερματισμού b. Προσδιορίζουμε ένα βήμα τέτοιο ώστε: c. Θέτουμε Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 2 Πως προσδιορίζουμε το βήμα Κριτήρια τερματισμού Μέθοδοι γραμμικής αναζήτησης Εύρεση ενός σημείου με επαρκή μείωση της τιμής της συνάρτησης πάνω σε μια ευθεία που προσδιορίζεται από ένα διάνυσμα. Μέθοδοι διαστημάτων εμπιστοσύνης Εύρεση του ελαχίστου του τετραγωνικού μοντέλου μέσα σε μια υπερσφαίρα ακτίνας, μέσα στην οποία το τετραγωνικό μοντέλο προσεγγίζει ικανοποιητικά τη συνάρτηση. Ο αλγόριθμος τερματίζεται όταν ικανοποιείται ένα από τα παρακάτω κριτήρια: relgrad ρυθμός αλλαγής της ρυθμός αλλαγής του Η παράγωγος είναι πολύ μικρή Οι μεταβλητές συγκλίνουν αργά Η τιμή της συνάρτησης μειώνεται αργά Πλήθος υπολογισμών της συνάρτησης Περιορισμός στο χρόνο που θα δαπανηθεί Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 3 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 4
Φθίνουσες διευθύνσεις Οι μέθοδοι ελαχιστοποίησης που χρησιμοποιούν γραμμική αναζήτηση παράγουν φθίνουσες διευθύνσεις, δηλαδή διευθύνσεις για τις οποίες ισχύει: 0 Με άλλα λόγια η τιμή της συνάρτησης μειώνεται κατά μήκος μιας φθίνουσας διεύθυνσης Πως βρίσκουμε αν μια διεύθυνση είναι φθίνουσα; Χρησιμοποιούμε το ανάπτυγμα Taylor: 2 Επειδή θα πρέπει 0 Άρα 0 και επειδή 0 0 Φθίνουσες διευθύνσεις Παράδειγμα Δίνεται η συνάρτηση, και το σημείο,. Βρείτε αν η διεύθυνση,2 είναι φθίνουσα. Οι πρώτες παράγωγοι είναι: 2 2 Στο σημείο, το διάνυσμα των πρώτων παραγώγων είναι: 2 2 2 2 2 20 Φθίνουσα διεύθυνση Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 5 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 6 Η διεύθυνση της πιο απότομης καθόδου Από όλες τις διευθύνσεις s που είναι φθίνουσες και ικανοποιούν το κριτήριο 0 ποια είναι αυτή που δίνει τη μεγαλύτερη μείωση στην τιμή της συνάρτησης ; Η μείωση στην τιμή της συνάρτησης είναι: Χρησιμοποιούμε ανάπτυγμα Taylor cos είναι η γωνία μεταξύ και Η μείωση γίνεται μέγιστη όταν cos δηλαδή όταν Αυτό σημαίνει ότι τα και είναι συγγραμμικά και αντίθετης φοράς, δηλαδή Διεύθυνση της πιο απότομης καθόδου Η διεύθυνση αυτή είναι φθίνουσα αφού: 0 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 7 Μέθοδοι με γραμμική αναζήτηση Μέθοδοι με γραμμική αναζήτηση. Δίνεται αρχικό σημείο 2. Επανάληψη για 0,,2, b. Προσδιορίζεται μια φθίνουσα διεύθυνση c. Γραμμική αναζήτηση στη διεύθυνση, δηλαδή ελαχιστοποίηση ως προς της συνάρτησης d. Θέτουμε Παρατηρήσεις: Στο βήμα 2c πρέπει να βρούμε το ελάχιστο μιας μονοδιάστατης συνάρτησης Διαφορετικοί τρόποι επιλογής της διεύθυνσης δίνουν διαφορετικούς αλγορίθμους ελαχιστοποίησης Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 8
Γραμμική αναζήτηση Παράδειγμα # Γραμμική αναζήτηση Παράδειγμα # Θεωρείστε τη συνάρτηση, και το αρχικό σημείο,. Βρείτε ένα νέο σημείο με χαμηλότερη τιμή συνάρτησης πραγματοποιώντας γραμμική αναζήτηση στη διεύθυνση,0. Θα εξετάσουμε πρώτα αν η διεύθυνση,0 είναι φθίνουσα. Οι πρώτες παράγωγοι είναι: 2 2 Στο σημείο, το διάνυσμα των πρώτων παραγώγων είναι: 2 2 Εξετάζουμε τη συνθήκη: 2 2 0 20 Άρα η είναι φθίνουσα διεύθυνση. Κατασκευάζουμε τη συνάρτηση 0 Βρίσκουμε που έχει ελάχιστο ως προς 2 α 0 2 α 0 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 9 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 0 Γραμμική αναζήτηση Παράδειγμα # Το αρχικό σημείο είναι Η τιμή της συνάρτησης στο αρχικό σημείο είναι:, 2 Το νέο σημείο είναι: 0 0 Η νέα τιμή της συνάρτησης είναι: 0, 0 Γραμμική αναζήτηση Παράδειγμα #2 Δίνεται η συνάρτηση, 2 και το αρχικό σημείο 3,2. Βρείτε ένα νέο σημείο με χαμηλότερη τιμή συνάρτησης πραγματοποιώντας γραμμική αναζήτηση στη διεύθυνση 2,. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 2
Γραμμική αναζήτηση Παράδειγμα #2 Γραμμική αναζήτηση Παράδειγμα #2 Θα εξετάσουμε πρώτα αν η διεύθυνση 2, είναι φθίνουσα, δηλαδή θα εξετάσουμε τη συνθήκη 0, 2 Οι πρώτες παράγωγοι είναι: 2 4 Στο σημείο 3,2 το διάνυσμα των πρώτων παραγώγων είναι: 7 0 Εξετάζουμε τη συνθήκη: 7 0 2 240 Άρα η είναι φθίνουσα διεύθυνση. Κατασκευάζουμε τη συνάρτηση 3 2 2 2 3 2 2 3 2 2 2 3 2 2 3 2 8 24 9 Βρίσκουμε που έχει ελάχιστο ως προς 624 0 6 24 0 3 2, 2 Το αρχικό σημείο είναι 3 2 Η τιμή της συνάρτησης στο αρχικό σημείο είναι: 3, 2 3 2 2 3 2 32 9 Το νέο σημείο είναι: 3 2 3 0 2 2 2 Η νέα τιμή της συνάρτησης είναι: 0, 2 0 2 2 0 2 0 2 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 3 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 4 Το ελάχιστο μιας τετραγωνικής συνάρτησης στη διεύθυνση s Δίνεται η τετραγωνική συνάρτηση και μια φθίνουσα διεύθυνση. Ποιό είναι το ελάχιστο της κατά μήκος της διεύθυνσης ; Ορίζουμε τη συνάρτηση: 2 2 2 2 2 2 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 5 Το ελάχιστο μιας τετραγωνικής συνάρτησης στη διεύθυνση s Βρήκαμε ότι: 2 2 Υπολογίζουμε την παράγωγο της 2 2 2 Βρίσκουμε που μηδενίζεται η παράγωγος: 0 0 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 6
Το ελάχιστο μιας τετραγωνικής συνάρτησης στη διεύθυνση s Η δεύτερη παράγωγος της είναι: 0 αφού ο πίνακας είναι θετικά όρισμένος. Άρα η τιμή του που βρήκαμε αντιστοιχεί σε ελάχιστο. Το ελάχιστο μιας τετραγωνικής συνάρτησης στη διεύθυνση s Παράδειγμα Θεωρείστε τη συνάρτηση, και το αρχικό σημείο,. Βρείτε ένα νέο σημείο με χαμηλότερη τιμή συνάρτησης πραγματοποιώντας γραμμική αναζήτηση στη διεύθυνση,0. Η συνάρτηση μπορεί να γραφεί στη μορφή 2 με 2 0 0 0 0 2 0 2 2 0 0 2 2 2 2 2 2 2 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 7 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 8 Το ελάχιστο μιας τετραγωνικής συνάρτησης στη διεύθυνση s Παράδειγμα Το διάνυσμα των πρώτων παραγώγων είναι: 2 2 2 2 Το ελάχιστο κατά μήκος της διεύθυνσης είναι: 0 2 2 0 2 0 0 2 2 0 0 2 0 2 2 Το νέο σημείο είναι: 0 0 Η μέθοδος της πιο απότομης καθόδου Η βασική ιδέα: Χρησιμοποιούμε τη διεύθυνση της πιο απότομης καθόδου: ως διεύθυνση γραμμικής αναζήτησης. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 9 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 20
Η μέθοδος της πιο απότομης καθόδου Η μέθοδος της πιο απότομης καθόδου. Δίνεται αρχικό σημείο 2. Επανάληψη για 0,,2, b. Υπολογίζουμε την παράγωγο και θέτουμε c. Γραμμική αναζήτηση στη διεύθυνση, δηλαδή ελαχιστοποίηση ως προς της συνάρτησης: d. Θέτουμε Πλεονεκτήματα: Απλή υλοποίηση Απαιτείται μνήμη μόνο Μειονεκτήματα: Εξαιρετικά αργή σύγκλιση. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 2 Η μέθοδος Newton (πολυδιάστατη) Μονοδιάστατη μέθοδος Newton (υπενθύμιση) Προσεγγίζουμε τη συνάρτηση με το τετραγωνικό της μοντέλο γύρω από ένα σημείο 2 Η παράγωγος του είναι: Βρίσκουμε που μηδενίζεται η παράγωγος: 0 0 Βήμα Newton Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 22 Η μέθοδος Newton (πολυδιάστατη) Προσεγγίζουμε τη συνάρτηση με το τετραγωνικό της μοντέλο γύρω από ένα σημείο 2 Γνωρίζουμε ότι το ελάχιστο του είναι: Βήμα Newton για ελαχιστοποίηση Η μέθοδος Newton (πολυδιάστατη) Μέθοδος Newton. Δίνεται αρχικό σημείο 2. Επανάληψη για 0,,2, b. Υπολογίζουμε τις παραγώγους και c. Υπολογίζουμε το βήμα Newton λύνοντας: d. Θέτουμε Πλεονεκτήματα: Εξαιρετικά γρήγορη σύγκλιση αν το αρχικό σημείο είναι κοντά στο ελάχιστο. Μειονεκτήματα: Απαιτείται υπολογισμός του πίνακα των δευτέρων παραγώγων και επίλυση γραμμικού συστήματος. Απαιτείται μνήμη Ο πίνακας μπορεί να μην είναι θετικά ορισμένος. Μπορεί να μην συγκλίνει για αρχικά σημεία μακριά από το ελάχιστο. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 23 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 24
Η μέθοδος Newton (πολυδιάστατη) Αν ο πίνακας δεν είναι θετικά ορισμένος, τότε η διεύθυνση που προκύπτει στη μέθοδο Newton δεν είναι φθίνουσα διεύθυνση. Υπενθύμιση: Θετικά ορισμένος πίνακας σημαίνει: 0 0 Φθίνουσα διεύθυνση σημαίνει: 0 Η διεύθυνση προκύπτει από την επίλυση της Πολλαπλασιάζουμε κάθε μέλος από αριστερά με Αν ο πίνακας G είναι θετικά ορισμένος τότε το αριστερό μέλος είναι θετικό και άρα 0 Η μέθοδος Newton (πολυδιάστατη) Τροποποιημένη μέθοδος Newton. Δίνεται αρχικό σημείο 2. Επανάληψη για 0,,2, b. Υπολογίζουμε τις παραγώγους και c. Τροποποιούμε τον ώστε να είναι θετικά ορισμένος d. Υπολογίζουμε το βήμα Newton λύνοντας: e. Γραμμική αναζήτηση στη διεύθυνση, δηλαδή ελαχιστοποίηση ως προς της συνάρτησης f. Θέτουμε Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 25 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 26 Μέθοδος Gauss Newton για αθροίσματα τετραγώνων Παράδειγμα συνάρτησης αθροίσματος τετραγώνων Κάποιες συναρτήσεις έχουν την ειδική μορφή ενός αθροίσματος τετραγώνων 2 Τέτοιες συναρτήσεις προκύπτουν από προσαρμογή δεδομένων σε αναλυτικά μοντέλα. Δίνεται ένα σύνολο σημείων,, Ποια είναι η ευθεία που περνάει με βέλτιστο τρόπο από τα σημεία; Η εξίσωση της ευθείας είναι: Προσδιορίζουμε τα και ως εξής:. Υπολογίζουμε την απόσταση κάθε σημείου από την ευθεία: 2. Κατασκευάζουμε τη συνάρτηση σφάλματος αθροίζοντας τα τετράγωνα όλων των αποστάσεων:, 3. Βρίσκουμε τις τιμές και που δίνουν την ελάχιστη τιμή της, y x Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 27 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 28
Μέθοδος Gauss Newton για αθροίσματα τετραγώνων Για το προγούμενο παράδειγμα:, η συνάρτηση, μπορεί να γραφεί στη μορφή: 2 με 2 Τα ονομάζονται υπόλοιπα και αποτελούν διάνυσμα με M στοιχεία, οπότε οι συναρτήσεις που είναι αθροίσματα τετραγώνων γράφονται: 2 Άθροισμα τετραγώνων Στις συναρτήσεις που είναι αθροίσματα τετραγώνων οι πρώτες και δεύτερες παράγωγοι έχουν ειδική μορφή. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 29 Μέθοδος Gauss Newton για αθροίσματα τετραγώνων 2 2 Η παράγωγος ως προς μια από τις μεταβλητές είναι: 2 2 2 2 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 30 Μέθοδος Gauss Newton για αθροίσματα τετραγώνων Το συνολικό διάνυσμα των πρώτων παραγώγων είναι: Ο πίνακας ονομάζεται Ιακωβιανός πίνακας και έχει στοιχεία: Μπορούμε να υπολογίσουμε το διάνυσμα των πρώτων παραγώγων υπολογίζοντας τις παραγώγους των επιμέρους υπολοίπων Μέθοδος Gauss Newton για αθροίσματα τετραγώνων Παρόμοια υπολογίζεται ο πίνακας των δεύτερων παραγώγων ως: Τα προβλήματα ελαχιστοποίησης αθροισμάτων τετραγώνων κατηγοριοποιούνται ως: Προβλήματα μικρών υπολοίπων 0 Τότε η δεύτερες παράγωγοι της συνάρτησης μπορούν να προσεγγιστούν ως: δηλαδή οι δεύτερες παράγωγοι της συνάρτησης μπορούν να υπολογιστούν αν γνωρίζουμε τις πρώτες παραγώγους των υπολοίπων. Προβλήματα μεγάλων υπολοίπων 0 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 3 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 32
Μέθοδος Gauss Newton για αθροίσματα τετραγώνων Μέθοδος Gauss Newton για μικρά υπόλοιπα. Δίνεται αρχικό σημείο 2. Επανάληψη για 0,,2, b. Υπολογίζουμε τον Ιακωβιανό πίνακα c. Υπολογίζουμε τις παραγώγους και d. Τροποποιούμε τον ώστε να είναι θετικά ορισμένος e. Υπολογίζουμε το βήμα Newton λύνοντας: f. Γραμμική αναζήτηση στη διεύθυνση, δηλαδή ελαχιστοποίηση ως προς της συνάρτησης g. Θέτουμε Μέθοδοι quasi Newton Κάποια από τα μειονεκτήματα της μεθόδου Newton είναι ότι: Απαιτείται υπολογισμός του πίνακα των δευτέρων παραγώγων. Ο πίνακας μπορεί να μην είναι θετικά ορισμένος. Βασική ιδέα των μεθόδων quasi Newton: Δεν χρησιμοποιείται ο πίνακας των δευτέρων παραγώγων αλλά χρησιμοποιείται μία προσέγγισή του Θα θέλαμε να μην υπολογίζουμε εκ νέου σε κάθε επανάληψη τον πίνακα, αλλά να τον βρίσκουμε από τον πίνακα της προηγούμενης επανάληψης. Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 33 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 34 Υπενθύμιση: Τετραγωνικό μοντέλο πολυδιάστατης συνάρτησης Ανάπτυγμα Taylor πολυδιάστατης συνάρτησης γύρω από το σημείο όπου κρατάμε μέχρι τους όρους δεύτερης τάξης. 2 ή 2 Μέθοδοι quasi Newton Φτιάχνουμε ένα τετραγωνικό μοντέλο στο σημείο χρησιμοποιώντας ένα συμμετρικό και θετικά ορισμένο πίνακα. 2 Ο πίνακας αποτελεί μια προσέγγιση (όχι απαραίτητα καλή) του πίνακα των δευτέρων παραγώγων. Η παράγωγος του είναι: Το ελάχιστο του είναι: Αν, τότε το είναι το βήμα Newton. Κάνουμε γραμμική αναζήτηση κατά μήκος της διεύθυνσης, δηλαδή βρίσκουμε το ελάχιστο ως προς της συνάρτησης: Το νέο σημείο είναι: Το τετραγωνικό μοντέλο στο νέο σημείο είναι: 2 Πως θα βρούμε τον (στο νέο σημείο ) ; Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 35 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 36
Μέθοδοι quasi Newton Τετραγωνικό μοντέλο στο παλαιό σημείο: 2 Στο νέο σημείο : Οι παράγωγοι του νέου μοντέλου να είναι ίσες με τις παραγώγους τις συνάρτησης, δηλαδή Απαιτούμε ότι: Τετραγωνικό μοντέλο στο νέο σημείο: 2 Στο παλαιό σημείο : Οι παράγωγοι του νέου μοντέλου να είναι ίσες με τις παραγώγους της συνάρτησης, δηλαδή Μέθοδοι quasi Newton Συνεπώς: Ονομάζουμε: Πολλαπλασιάζοντας την εξίσωση τέμνουσας με από αριστερά Όμως 0 αφού ο είναι θετικά ορισμένος. Άρα 0 0 Αυτό ισχύει εκ κατασκευής του μοντέλου, διότι Όμως η παράγωγος του είναι Εξίσωση τέμνουσας Συνθήκη κυρτότητας 0 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 37 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 38 Μέθοδοι quasi Newton Για να βρούμε τον απαιτούμε να είναι κοντά στον, δηλαδή min υπό τις συνθήκες και Μέθοδοι quasi Newton Γενικός αλγόριθμος μεθόδων quasi Newton. Δίνεται ένα αρχικό σημείο και η αρχική προσέγγιση 2. Επανάληψη για 0,,2, b. Υπολογίζεται το διάνυσμα των πρώτων παραγώγων Μέθοδος Davidon Fletcher Powell c. Υπολογίζεται η διεύθυνση d. Γραμμική αναζήτηση στη διεύθυνση, δηλαδή ελαχιστοποίηση ως προς της συνάρτησης Μέθοδος Broyden Fletcher Goldfarb Shanno e. Θέτουμε f. Ενημερώνουμε τον και παίρνουμε τον Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 39 Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 40
Μέθοδοι quasi Newton Πως βρίσκουμε τον αρχικό πίνακα ; Χρησιμοποιούμε την προσέγγιση Υπολογίζουμε αριθμητικά τον πίνακα των δευτέρων παραγώγων και θέτουμε (υπό την προϋπόθεση ότι ο είναι θετικά ορισμένος). Υπολογιστικές Μέθοδοι Πολύπλοκων Συστημάτων Μέθοδοι πολυδιάστατης ελαχιστοποίησης 4