ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΔΙΑΦΟΡΙΚΕΣ ΜΕΘΟΔΟΙ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ

Transcript

1 ΔΙΠΛΩΜΑΤΙΚΗ ΕΡΓΑΣΙΑ ΘΕΜΑ : ΔΙΑΦΟΡΙΚΕΣ ΜΕΘΟΔΟΙ ΒΕΛΤΙΣΤΟΠΟΙΗΣΗΣ Πανεπιστήμιο Πατρών Σχολή : Θετικών Επιστημών Τμήμα : Μαθηματικών Μ.Δ.Ε. : Μαθηματικά των Φυσικών και Βιομηχανικών Εφαρμογών Ακαδημαϊκό Έτος : Επώνυμο : Καλλιάνος Όνομα : Ιωάννης Α.Μ. : 179 Επιβλέπων Καθηγητής : Κ ος Μπότσαρης Χαράλαμπος

2 ΕΥΧΑΡΙΣΤΙΕΣ Επιθυμώ να εκφράσω τις ευχαριστίες μου στον επιβλέποντα καθηγητή κύριο Μπότσαρη Χαράλαμπο για την αμέριστη συμπαράσταση και υποστήριξη που μου επέδειξε καθ όλη τη διάρκεια της συγκεκριμένης ερευνητικής προσπάθειας.

3 A class of Differential Descent Methods for Constrained Optimization A class of Differential Descent Methods for Constrained Optimization «Μια κατηγορία Διαφορικών Μεθόδων Κατάβασης για Βελτιστοποίηση υπό περιορισμούς» Σε αυτή την εργασία, παρουσιάζεται μια κατηγορία αλγορίθμων για την ελαχιστοποίηση μιας μη γραμμικής συνάρτησης υπό τους όρους μη γραμμικών περιορισμών ισότητας κατά μήκος καμπυλόγραμμων μεθόδων αναζήτησης που προέκυψαν λύνοντας μια γραμμική προσέγγιση ενός συστήματος διαφορικών εξισώσεων με αρχικές τιμές. Το σύστημα των διαφορικών εξισώσεων προκύπτει από την εισαγωγή μια συνεχούς, διαφοροποιήσιμης μήτρας, οι στήλες της οποίας συνδέουν το εφαπτόμενο στην εφικτή περιφέρεια υπότμημα διαστήματος. Η νέα προσέγγιση παρέχει ένα άνετο τρόπο να εργάζεται κανείς με τους περιορισμούς παρά με το υπότμημα του διαστήματος που είναι κάθετο σε αυτούς. Οι αλγόριθμοι που προκύπτουν από αυτή την εργασία μπορούν να θεωρηθούν ως καμπυλόγραμμες προεκτάσεις δύο γνωστών και επιτυχημένων μεθόδων ελαχιστοποίησης. Κάτω από ορισμένες συνθήκες, οι αλγόριθμοι συγκλίνουν στο σημείο που ικανοποιούν τον πρώτο κανόνα για συνθήκες βελτιστοποίησης Kuhn Tucer, σε ρυθμό που είναι τουλάχιστον δευτέρου βαθμού. Ι. Εισαγωγή Σε αυτήν την εργασία θεωρούμε το μη γραμμικό πρόβλημα προγραμματισμού περιορισμένο από συνάρτηση: ελαχιστοποίηση f(x), f: R n R, (1.1) υπό τους όρους h(x)=0, h: R n R m, m<n, (1.) όπου f και h συνεχώς διαφορίσιμες συναρτήσεις των μεταβλητών αποφάσεων x1,, xi,, xn. Η μέθοδοι που παρουσιάζονται εδώ για τη λύση του παραπάνω προβλήματος παράγουν μια μονότονη σειρά {x }, =0,1,,, εφικτών σημείων, μαζί με καμπυλόγραμμα μονοπάτια αναζήτησης που υπακούν σε ένα σύστημα διαφορικών εξισώσεων με αρχικές τιμές. Η προέλευση των διαφορικών εξισώσεων βασίζεται στις παρατηρήσεις ότι αν το x είναι ένα εφικτό σημείο για τις (1.1) (1.), και αν x(t), x(0)= x, x: R + R n, συνεχής διαφοροποιήσιμη καμπύλη στο x διάστημα, τότε η x(t) βρίσκεται στην εφικτή περιοχή 1

4 A class of Differential Descent Methods for Constrained Optimization I = {x R n / h(x)=0, h: R n R m, m<n} (1.3) αν και μόνο αν h(x) x& (t) =0, t [0, ), (1.4) όπου h(x) η m X n η Ιακωβιανή της h(x). Παρατηρείστε ότι h(x) x&(t) είναι ο βαθμός αλλαγής της h κατά μήκος της x(t). Πραγματικά, ας υποθέσουμε ότι η (1.4) ικανοποιείται για όλα τα t [0, ). Τότε dh(x(t))/dt= h(x) x& (t) =0, t [0, ), και επομένως, h(x(t))=h(x )=0, t [0, ), (1.5) αφού x I, δηλ. h(x )=0. Από την άλλη μεριά, αν h(x(t))=0 για όλα τα t [0, ], τότε προφανώς dh(x(t))/dt= h(x) x&(t) =0. Όπως μπορεί τώρα να παρατηρηθεί, οι m περιορισμοί της συνάρτησης, αν παρατηρηθούν ως ένα σύστημα m εξισώσεων με n αγνώστους, μειώνουν τους βαθμούς ελευθερίας του προβλήματός μας από n σε (n m). Για αυτό, κάποιος θα μπορούσε να προσπαθήσει να μετατρέψει το περιορισμένο πρόβλημα (1.1) (1.) σε μη περιορισμένο πρόβλημα στο R n m. Ένας άλλος τρόπος προσέγγισης του προβλήματος είναι να δημιουργήσουμε ένα τόξο που να προέρχεται από το x, κατά μήκος του οποίου ικανοποιούνται οι περιορισμοί, και να αποκτήσουμε μια επαρκής κατάβαση στη τιμή της αντικειμενικής συνάρτησης κατά μήκος αυτού του τόξου. Αυτό μπορεί να γίνει εισάγοντας μια συνεχή, διαφοροποιήσιμη μήτρα P(x), P: R n R nx(n m), οι στήλες της οποίας είναι γραμμικά ανεξάρτητες, ώστε: h(x) P(x)=0 (1.6) Τότε η προς λύση καμπύλη, x(t), στο σύστημα των διαφορικών εξισώσεων x& (t) = P(x) z& (t), x(0)= x, z R n m, (1.7) Ικανοποιεί την (1.4) κάθε συνεχώς διαφορίσιμη καμπύλη z(t) στο R n m. Εξού, από τον προηγούμενο ισχυρισμό, η x(t) μένει στην επιφάνεια περιορισμού h(x)=0 για όλα τα t [0, ). Επιπλέον, το σύστημα (1.7) προσδιορίζει μια συνάρτηση ψ: R n m R n ώστε

5 A class of Differential Descent Methods for Constrained Optimization x=ψ(z), ψ: R n m R n (1.8) Ο παραπάνω ισχυρισμός καθιστά δυνατή τη μετατροπή ενός αρχικά περιορισμένου προβλήματος (1.1) (1.) σε μη περιορισμένο στο R n m, αφού η f μπορεί να θεωρηθεί συνάρτηση μόνο των μεταβλητών z. Δηλαδή: f(x)=f(ψ(z))=φ(z), φ: R n m R (1.9) Με δοσμένη τη μήτρα P(x), το καμπυλόγραμμο μονοπάτι z(t) προσδιορίζεται ώστε να πετύχουμε μια μέγιστη μείωση στη τιμή της συνάρτησης όταν κινείται στην προκύπτουσα τροχιά x(t). Προσέξτε ότι η P(x) είναι μια μήτρα, οι στήλες της οποίας σχηματίζουν τόξο στο κάθετο υπότμημα διαστήματος της I στο x. Όπως θα δούμε στη συνέχεια, το σύστημα των διαφορικών εξισώσεων (1.7) παρέχει έναν άνετο τρόπο να δουλεύει κανείς με το ίδιο σετ περιορισμών I παρά με το υπότμημα διαστήματος που είναι κάθετο στην I. ΙΙ. Σ η μ ε ί ω σ η Με δοσμένη μια συνάρτηση f: R n R, η κλίση της g στο x είναι το n 1 T διάνυσμα στήλης f (x) με στοιχεία f(x)/ xi, i=1,,n. Η μήτρα της δεύτερης μερική παραγώγου της f στο xi, η Εσσιανή μήτρα δηλαδή, φαίνεται από την F(x)=[ f(x)/ xi xi], i, j=1,,n. Για τη σχεδίαση h: R n R m με στοιχεία hi, i=1,,n, η h(x) αντιπροσωπεύει την m n Ιακωβιανή ορίζουσα στο x με στοιχεία hi(x)/ xj, i=1, m, j=1,,n. Η δεύτερη παράγωγος της h στο x φαίνεται από την H(x) και εκτιμάται καλύτερα ως η m φορές H=[H1,,Hi,,Hm], όπου Hi η Εσσιανή της hi. Με δοσμένο ένα διάνυσμα u R m μπορούμε να προσδιορίσουμε τη λειτουργία Hu, εισάγοντας ένα στοιχείο u του R m και μιας m φορών Η του R n n m σε ένα στοιχείο του R n n ως εξής: Hu=u1H1+ +uihi+ +umhm (.1) x η τιμή του x στην αρχή της επανάληψης t το μήκος βήματος κατά τη διάρκεια της οστής επανάληψης s(x,t) το καμπυλόγραμμο μονοπάτι αναζήτησης που δημιουργείται στο x x&(t) η παράγωγος του διανύσματος x που αντιστοιχεί στην παράμετρο t bi το i οστό στοιχείο του διανύσματος b l(x,u) η Λαγκρασιανή συνάρτηση l(x,u)=f(x) u T h(x) 3

6 P P (x) A class of Differential Descent Methods for Constrained Optimization u(x) εκτίμηση του πολλαπλασιαστή Kuhn Tucer στο x x η Ευκλείδια νόρμα του διανύσματος x I η εφικτή περιοχή In η μοναδιαία μήτρα n οστής τάξης l(x,u) η παράγωγος της Λαγκρασιανής που αντιστοιχεί στο x L(x,u) η Εσσιανή της Λαγκρασιανής που αντιστοιχεί στο x P(x) η παράγωγος της μήτρας P(x). ΙΙΙ. Π α ρ α γ ώ γ ι σ η τ ο υ κ α μ π υ λ ό γ ρ α μ μ ο υ μ ο ν ο π α τ ιού α ν α ζ ή τ η σ η ς Ας θεωρήσουμε το μέγεθος αλλαγής df(x))/dt της αντικειμενικής συνάρτησης της καμπύλης λύσης του συστήματος διαφορικών εξισώσεων (1.7). Έχουμε: df(x))/dt = f(x) x&(t) T = g(x) P(x) z& (t), x(0)= x (3.1) Όπως αποδεικνύεται στο [], κάτω από τη συνηθισμένη Ευκλείδια νόρμα, το ελάχιστο της (3.1) στα (n m) διάστατα μη μηδενικά διανύσματα z(t) προκύπτει όταν: z& (t) = PPT (x)g(x) (3.) Παρατηρείστε ότι PPT (x)g(x) είναι το βαθμωτό άνυσμα της φ, ή ισοδύναμα, η κλίση της f που αντιστοιχεί στις z μεταβλητές. Η Εσσιανή Φ της φ δίνεται από: Από την (1.7) προκύπτει Οπότε, Φ(x) = [P T (x)g(x)](dx/dz) (3.3) dx/dz = P(x) (3.4) Φ(x) = [P T (x) f(x) + PPT (x) g(x)] P(x) (3.5) Αναγνωρίζοντας τώρα ότι η P(x) ικανοποιεί PPT (x) Τ h(x) = 0 (3.6) και παραγωγίζοντας την παραπάνω έκφραση, βρίσκουμε P T (x) Τ h(x) + P T H(x) = 0 (3.7) 4

7 A class of Differential Descent Methods for Constrained Optimization Σε αυτό το σημείο θα ανακαλέσουμε [6, κεφ.] ότι απαραίτητη συνθήκη για το x να είναι τοπικός ελαχιστοποιητής του προβλήματος (1.1) (1.) είναι να υπάρχει ένας πολλαπλασιαστής u R m ώστε ( x, u ) στάσιμο σημείο της Λαγκρασιανής l(x,u), όπως l( x, u ) = g( x ) h( x )u = 0 (3.8) με την προϋπόθεση ότι οι κλίσεις περιορισμού είναι γραμμικά ανεξάρτητες. Αντικαθιστώντας τη g(x)= Τ h(x) u(x) στην (3.5), όπου u(x) εκτιμήτρια του πολλαπλασιαστή Kuhn Tucer στο x, παίρνουμε: Φ(x) = [P T (x)f(x) + PPT (x) Τ h(x) u(x)] P(x) (3.9) Οι εξισώσεις (3.7) και (3.9) δίνουν τελικά: Φ(x) = PPT (x)[ F(x) H(x) u(x)] P(x) = PPT (x)l(x, u(x)) P(x) (3.10) όπου L(x,u) η Εσσιανή της Λαγκρασιανής που αντιστοιχεί στο x. Είναι προφανές ότι η Φ(x) αντιπροσωπεύει περιορισμό της L(x,u) στο κάθετο υπότμημα διαστήματος της I στο x. Ας εισάγουμε τώρα μια (n m) n συνεχής παραγωγίσιμη μήτρα A(x), A R (n m) n, ώστε η διαχωρίζουσα μήτρα h(x) } m M(x) = (3.11) A(x) } n m να είναι αντιστρέψιμη, και ας προσδιορίσουμε την P(x) ως m n m M 1 (x) = [ W(x) P(x)] (3.1) Προφανώς, h(x) P(x)=0 αφού M(x) M 1 (x) = Ιn = h(x) W(x) A(x) W(x) h(x) P(x) A(x) P(x) Im O m (n m) = (3.13) O(n m) m In m Αυτή είναι η βάση των μεθόδων που προτείνονται από τον Bucley [4] για τη λύση γραμμικών περιορισμένων προβλημάτων ελαχιστοποίησης. 5

8 A class of Differential Descent Methods for Constrained Optimization Μια εκτίμηση, u(x), του πολλαπλασιαστή Kuhn Tucer στο x, μπορεί να παραχθεί αν πολλαπλασιάσουμε g(x) = Τ h(x) u(x) με W T (x). Αυτό δίνει W T (x) h(x) u(x) = W T (x) g(x) (3.14) από το οποίο βρίσκουμε, αφού σύμφωνα με την (3.13) W T (x) h(x)= Im, u(x) = W T (x) g(x) (3.15) Εισάγοντας την παραπάνω εκτίμηση για το u στο l(x,u) παίρνουμε: l(x, u(x)) = g(x) Τ h(x) W T (x) g(x) = [Ιn Τ h(x) W T (x)] g(x) (3.16) Από την άλλη μεριά, οι (3.11) και (3.1) δίνουν M 1 (x) M(x) = W(x) h(x) + P(x) A(x) = Ιn (3.17) Επομένως, και Ιn Τ h(x) W T (x) = A T (x) PPT (x) (3.18) l(x,u(x)) = A T (x) PPT (x)g(x) (3.19) Προσέξτε τώρα ότι για να είναι η M(x) μήτρα με διακρίνουσα διάφορη του μηδενός, η A(x) πρέπει να είναι της τάξης (n m). Εξού και l(x,u(x)) =0 είναι ισοδύναμο με: PPT (x) g(x) = 0 (3.0) Οπότε, αν το x είναι τοπικός ελαχιστοποιητής του προβλήματος (1.1) (1.), τότε το l(x,u(x)) και το βαθμωτό άνυσμα PPT (x) g(x) της f που αντιστοιχεί στις μεταβλητές z πρέπει να είναι μηδέν στο x, όπου το u(x) δίνεται από την (3.15). Σε αυτό το σημείο ας δούμε το σύστημα διαφορικών εξισώσεων: x& (t) = P(x) z& (t), x(0)= x, x I, (3.1) z& (t) = PPT (x) g(x), z(0)= z (3.) Όπως έχει αποδειχθεί, η πραγματική καμπύλη λύσης, x(t) στο παραπάνω σύστημα διαφορικών εξισώσεων είναι η πιο απότομη κατερχόμενη καμπύλη για την αντικειμενική συνάρτηση στην επιφάνεια h(x)=0. 6

9 A class of Differential Descent Methods for Constrained Optimization Η λύση του συστήματος (3.1) (3.) δεν είναι εύκολη εξαιτίας της μη γραμμικότητας των συναρτήσεων f και h του προβλήματος. Μια προσεγγίσιμη λύση καμπύλης μπορεί να αποκτηθεί επεκτείνοντας στις (3.1) (3.) το δεξί σκέλος κατά μια σειρά Taylor x. Κάνοντας γραμμικό το σύστημα (3.1) παίρνουμε: x& (t) = P(x ) z& (t) + P(x )[ z(t) z ] z&(t) (3.3) Όπου P(x) η παράγωγος της P(x) που αντιστοιχεί στο z, μπορεί να προκύψει παραγωγίζοντας την (1.6). Έχουμε H... PPT (x)= H ( x) P(x) + h(x) P(x)=0 (3.4) i... H 1 ( m x) ( x) από την οποία Επομένως, H P(x) = W(x) PPT (x)... Hi ( x)... P(x) (3.5) H 1 ( m x) ( x) και x& (t) = P(x ) z& (t) W(x )[, z(t) z ] T PPT (x )H i(x ) P(x ) z& (t), ] T (3.6) x(t)= x + P(x )[ z(t) z ] W(x )r(x,t), (3.7) όπου r(x,t) το μ διάστατο διάνυσμα r(x,t) = 1 [, z(t) z ] T PPT (x ) H i(x ) P(x )[ z(t) z ], ] T (3.8) Κάνοντας τώρα γραμμικό το σύστημα (3.) παίρνουμε: που δίνει [1] z& (t) = PPT (x ) g(x ) Φ(x )[ z(t) z ] (3.9) z(t) z = [e t Φ(x) In m] Φ 1 (x ) PPT (x ) g(x ) n = m tλi( x ) e 1 ui(x T ) u (x i ) PP T (x ) g(x ) i= 1 λi( x ) 7

10 A class of Differential Descent Methods for Constrained Optimization = c(x,t) (3.30) όπου [λi(x ), ui(x )], i=1,, n m, το χαρακτηριστικό σύστημα της Φ(x ). Εξού και μια κατά προσέγγιση λύση του (3.1) (3.) δίνεται από x(t)= x + P(x ) c(x,t) W(x ) r(x,t) (3.31) Παρακάτω, για τη λύση του προβλήματος (1.1) (1.), παρουσιάζεται ένας αλγόριθμος κατασκευάζοντας επαναληπτικά μια ακολουθία {x } εφικτών σημείων, χρησιμοποιώντας το καμπυλόγραμμο μονοπάτι αναζήτησης: s(x,t) = P(x) c(x,t) W(x)r(x,t) (3.3) IV. Κ ύ ρ ι α σ η μ ε ί α τ η ς μ ε θ ό δ ο υ Έστω x εφικτό σημείο και y το σημείο που προκύπτει από s(x,t) = P(x ) c(x,t) W(x )r(x,t) (4.1) με την έννοια μιας κατάλληλης αδιάστατης έρευνας. Προσέξτε ότι εφόσον x(t) = x + s(x, t) (4.) είναι μια εκτιμώμενη λύση στη διαφορική εξίσωση της πιο απότομης κατερχόμενης καμπύλης στην εφικτή περιοχή I, η y δε θα είναι γενικά ένα εφικτό σημείο. Για να αποκτήσουμε ένα εφικτό σημείο, x +1, πρέπει να λυθεί το παρακάτω σύστημα μη γραμμικών εξισώσεων: h(y) = 0, h: R n R m (4.3) H συνέχεια της προσέγγισης με παραγώγιση για τη λύση του παραπάνω συστήματος [9] κάτω από την ομοτυπία Ħ(y,t) = h(y) e t h(y ) = 0, t [0, ) (4.4) δίνει h(y) y& (t) + h(y) = 0, y(0) = y (4.5) από την οποία παίρνουμε, αφού h(y)w(y) = Im, 8

11 A class of Differential Descent Methods for Constrained Optimization y& (t) = W(y)h(y), y(0)= y (4.6) Τότε, υποθέτωντας ότι το y είναι επαρκώς κοντά στη ρίζα της (4.3), η επαναληπτική διαδικασία y j+1 = y j W(y j )h(y j ), y 0 = y, j=0,1,,, (4.7) συγκλίνει σε ένα σημείο x +1 ικανοποιώντας τους m περιορισμούς ισότητας. Στην πραγματικότητα, υπάρχει μια τιμή τ της παραμέτρου μήκους βήματος t ώστε η (4.7) να συγκλίνει για όλα τα σημεία που προκύπτουν από την (4.1) t [0, τ ). Οπότε, η αδιάστατη έρευνα (4.1) πρέπει να περιοριστεί στο διάστημα [0, τ ). Πρακτικά, οι κανόνες είναι απαραίτητοι για να αποφασισθεί η παύση της επανάληψης στο (4.7), είτε γιατί έχει επιτευχθεί επαρκής σύγκλιση είναι γιατί αποκλίνουν οι επαναλήψεις. Είναι τώρα σημαντικό να επιλέξουμε το μήκος βήματος t σύμφωνα με έναν κανόνα, εξασφαλίζοντας ότι η προκύπτουσα σειρά είναι συγκλίνουσα. Κάθε επανάληψη πρέπει να προκύπτει σε μια κατάβαση στην τιμή μιας αντικειμενικής συνάρτησης και η σύγκλιση μπορεί να εδραιωθεί αν η βελτίωση αυτή είναι αρκετά ικανοποιητική. Επαρκής ελαχιστοποίηση στην αντικειμενική μπορεί να επιτευχθεί με το να μειώσουμε σε κλίμακα το μήκος βήματος κατά έναν παράγοντα β ώστε ( x ) g( x f(x +1 ) f(x ) σθ κ Φ( x ) P T (4.8) όπου το σ θετικός αριθμός, σ (0, ½), β (0,1) και θ κ = 1 e t (4.9) Παρατηρείστε ότι μπορεί να είναι απαραίτητο να μειώσουμε το μήκος βήματος t με το να σμικρύνουμε υπό κλίμακα το θ κ κατά έναν παράγοντα ρ (0,1), πιθανόν πολλές φορές μέχρι να επιτευχθεί η φάση αποκατάστασης. Ο παρακάτω αλγόριθμος μπορεί να παρουσιαστεί για τη λύση του προβλήματος (1.1) (1.). Χρησιμοποιείται μια ψευδογλώσσα αλγορίθμου. Βήμα 0: Διαλέξτε ένα εφικτό σημείο x0 R n ώστε το επίπεδο L0 = {x I / f(x) f(x0)} είναι συμπαγές. 9

12 A class of Differential Descent Methods for Constrained Optimization Βήμα 1: Θέστε =0, θέστε σ, γ (0,1] και οι παράμετροι ελαχιστοποίησης β, ρ (0,1). Θέστε την αντοχή ε και τον μέγιστο αριθμό επαναλήψεων, Μ, κατά τη διάρκεια της φάσης αποκατάστασης. Βήμα : Υπολογίστε P(x ), W(x ), την κλίση PPT (x ) g(x ) στο μειωμένο διάστημα και τον πολλαπλασιαστή Kuhn Tucer u(x) = W T (x ) g(x ). Αν P T P (x ) g(x ) = 0, σταματήστε. Βήμα 3: Διαδικασία «προσδιορισμού καμπυλόγραμμου μονοπατιού αναζήτησης». Υπολογίστε Φ(x ) = PPT (x )L(x, u(x ) P(x )). Βρείτε το χαρακτηριστικό σύστημα [λi(x ), ui(x )], i=1,,n m, της Φ(x ). Θέστε το καμπυλόγραμμο μονοπάτι αναζήτησης s(x, t) χρησιμοποιώντας τις (3.8), (3.30) και (3.3). Θέστε θ κ = y. Βήμα 4: Διαδικασία «μετακίνησης κατά μήκος του τόξου». Θέστε t = ln(1 θ κ ), θέστε y = x + s(x, t ). Βήμα 5: Διαδικασία «αποκατάστασης περιορισμών». Θέτω j=0, y 0 =y. Ενώ h( y j ) ε και j<m κάντε το εξής: θέστε y j+1 = y j W(y j )h(y j ) και j = j+1. f Βήμα 6: Αν h( y ) ε, θέστε τότε θ κ = ρθ κ και πηγαίνετε στο βήμα 4. Διαφορετικά θέστε x +1 = yf. Βήμα 7: Διαδικασία «απόκτησης ενός ικανοποιητικού ελάχιστου στην T P ( x ) g( x αντικειμενική». Αν f(x +1 ) f(x ) > σθ κ, θέστε τότε θ Φ( x ) κ =β θ κ και πηγαίνετε στο βήμα 4. Διαφορετικά, πηγαίνετε στο βήμα 8. Βήμα 8: θέστε =+1 και πηγαίνετε στο Βήμα. V. Σ ύ γ κ λ ι σ η τ ο υ α λ γ ο ρ ί θ μ ο υ Ας θεωρήσουμε σημείο x επιθυμητό αν και μόνο αν ικανοποιεί την πρώτη τάξη συνθηκών βελτιστοποίησης Kuhn Tucer για το πρόβλημα (1.1) (1.), δηλαδή g( x ) Τ h( x )u( x ) = 0 (5.1) ή ισοδύναμα, PPT ( x )g( x ) = 0 (5.) Όπου το u( x ) δίνεται από 10

13 A class of Differential Descent Methods for Constrained Optimization u( x ) = W T ( x )g( x ) (5.3) Σε αυτό το σημείο θα κάνουμε τα παρακάτω: Υπόθεση Α1 (προϋπόθεση περιορισμού): Το σετ { hi(x), i=1,,m} των κλίσεων περιορισμού είναι γραμμικά ανεξάρτητο. Υπόθεση Α: Οι χαρακτηριστικές τιμές της περιορισμένης Εσσιανής Φ(x) περικλείονται άνω και κάτω από τα Λ και λ, αντίστοιχα, για όλα τα x L0, όπου Λ λ>0. Τώρα μπορεί να εκφραστεί το ακόλουθο θεώρημα. ΘΕΩΡΗΜΑ 5.1. Αν f και h είναι δύο συνεχώς παραγωγίσιμες συναρτήσεις και ισχύουν οι συνθήκες Α1 και Α, τότε είναι επιθυμητό κάθε σημείο συγκέντρωσης της συνέχειας που προκύπτει από τον αλγόριθμο. Απόδειξη. Ας προσδιορίσουμε τη σχεδίαση Δ: R n Χ R n Χ R + R ως Δ(x, s(x,t)) = f(x+s) f(x) (5.4) Όπου s(x,t) η καμπύλη αναζήτησης που δίνεται από την (3.3). Χρησιμοποιώντας τη φόρμουλα Taylor για επέκταση δεύτερης τάξης παίρνουμε Δ(x, s(x,t)) = g Τ (x) s(x,t) + (1/)s T (x,t) F(x) s(x,t) + O( (, t) 3 s x ) g Τ (x) P(x) c(x,t) g Τ (x) W(x) r(x,t) + (1/) c T PPT (x) F(x) P(x) c(x,t ) r T (x,t) W T (x) F(x) P(x) c(x,t) + (1/) r T (x,t) W T (x) F(x) W(x) r(x,t) + O( 3 s ( x, t) ) (5.5) Αναγνωρίζοντας ότι H (5.5) δίνει g Τ (x) W(x) r(x,t) = u Τ (x) r(x,t) = (1/) c T PPT (x) Η(x) u(x)p(x)c(x,t) (5.6) Δ(x, s(x,t)) = g Τ (x) P(x) c(x,t) = (1/) c T PPT (x) [F(x) H(x) u(x)] P(x) c(x,t) + O( = g Τ (x) P(x) c(x,t) + (1/) c T (x,t) Φ(x) c(x,t) + O( 3 s ( x, t) ) 3 s ( x, t) ) (5.7) 11

14 A class of Differential Descent Methods for Constrained Optimization Τώρα σύμφωνα με την υπόθεση Α έχουμε: Δ(x, s(x,t)) e t Λ 1 + Λ Φ(x) tλ e 1 λ P T ( x) g( x) +Ο P T ( x) g( x) 3 e 1 + Λ tλ Φ(x) tλ e 1 λ P T ( x) g( x) +Ο P T ( x) g( x) (5.8) 3 Η παράμετρος t που ελαχιστοποιεί το δεξί σκέλος της παραπάνω έκφρασης δίνεται από τη λύση της από την οποία παίρνουμε Οπότε, τ = 1 dδ(x, s(x,t))/dt = 0 (5.9) λ Λ Φ( x), τ = e τλ (5.10) f(x + s(x,t)) f(x) (1/) (λ/λ) P T ( x) g( x) / Φ (x) (5.11) Συμπεραίνουμε ότι υπάρχει ένα σ (0, ½) και ένα θ(x) (0,1] τέτοιο ώστε f(x + s(x,t)) f(x) σθ(x) P T ( x) g( x) / Φ (x) (5.1) Έπειτα από έναν συγκεκριμένο αριθμό μετατροπών από τον παράγοντα β (0,1) από τον αρχικό προσδιορισμό θ(x)=γ, ικανοποιείται η υπόθεση (4.8). Ο παραπάνω ισχυρισμός αποδεικνύει ότι αν PPT (x)g(x), τότε υπάρχει ένα θ(x), κάτω περικλοιόμενο, για το οποίο ισχύει η εξίσωση (4.8). Σε αυτό το σημείο ας θεωρήσουμε τη σειρά {x } που δημιουργήθηκε από τον λογάριθμο, και ας υποθέσουμε ότι για μια υποσειρά της {x }, που συγκλίνει σε κάποιο σημείο συγκέντρωσης x, τότε έχουμε PPT ( x )g( x ) 0. Προσέξτε ότι αφού σύμφωνα με την (4.8). Η {f(x )} είναι μονότονα φθίνουσα και το επίπεδο L 0 συμπαγές, ισχύουν τα σημεία συγκέντρωσης. Έστω τώρα ότι δηλώνουμε ως {x i }, i S {0,1,,..} την υποσειρά της {x } που συγκλίνει στο x. Η συνέχεια των g(x), h(x) και Α(x) και η 1

15 A class of Differential Descent Methods for Constrained Optimization κανονικότητα της υπόθεσης Α1, υποθέτουν τη συνέχεια της PPT ( x )g( x ). Επομένων υπάρχει ένα g(x)>0 και ένα j S τέτοιο ώστε f(x i+1 ) f(x i ) σθ i T ( i i P x ) g( x ) / Φ ( x i ) και i σθ P T ( x) g( x) / Φ (x) i σθ P T ( x) g( x) (5.13) Λ x i x ε( x ) (5.14) για όλα τα i j, i S. Αναγνωρίζοντας ότι θi θ και ότι PPT ( x )g( x ) 0, εφόσον x μη επιθυμητό, από την (5.13) παίρνουμε: όπου f(x i+1 ) f(x i ) δ( x ) < 0 (5.15) δ( x ) = P T ( x) g( x) Λ (5.16) Εξού και ότι για κάθε δύο συνεχή σημεία x i, x i+q της υποσειράς, με i S, πρέπει να έχουμε j, i+q f(x i+q ) f(x i ) = [f(x i+q ) f(x i+q 1 )] + [f(x i+q 1 ) f(x i+q )] + + [f(x i+1 ) f(x i )] f(x i+1 ) f(x i ) δ( x ) < 0 (5.17) Αφού η {f(x i )}, i S, είναι μονότονα φθίνουσα σειρά. Τώρα η {f(x i )}, i S, πρέπει να συγκλίνει αφού η f(x) είναι συνεχής συνάρτηση. Αλλά αυτό έρχεται σε αντίθεση με την (5.17) η οποία δείχνει ότι η σειρά {f(x i )}, i S, δεν είναι σειρά Cauchy. Για αυτό το λόγο, κάθε σημείο συγκέντρωσης x της σειράς { x } πρέπει να ικανοποιεί PPT ( x )g( x ) = 0 (5.18) και το θεώρημα αποδείχθηκε. Ας θεωρήσουμε τώρα την αλλαγή στη μεταβλητή t = ln(1 θ) (5.19) 13

16 A class of Differential Descent Methods for Constrained Optimization όπου το θ βρίσκεται μειώνοντας σε κλίμακα το γ (0,1] κατά έναν παράγοντα β (0,1), πολλές φορές πιθανόν, μέχρι να ικανοποιηθεί η (4.8). Εφόσον, σύμφωνα με την Α, η Φ(x) είναι θετικά ορισμένη πάνω από το επίπεδο L0, μπορούμε να επιτρέψουμε στην (3.30) t +, οπότε παίρνουμε το σημείο όπου x +1 = x P(x )d(x ) W(x )b(x ) (5.0) d(x ) = Φ 1 (x ) PPT (x ) g(x ) (5.1) και b(x ) m διάστατο διάνυσμα με στοιχεία bi(x ) = ½ d T (x ) PPT (x ) H i(x ) P(x ) d(x ), i=1,,m (5.) Προφανώς, αυτό ανταποκρίνεται στην επιλογή θ = 1. Παρακάτω αποδεικνύουμε ότι έπειτα από έναν περιορισμένο αριθμό επαναλήψεων, το σημείο (5.0) είναι ένα εφικτό σημείο που ικανοποιεί την (4.8) και για αυτό δεν απαιτείται καμία μείωση στο μήκος βήματος. Θεώρημα 5. Υπάρχει ακέραιος Ν τέτοιος ώστε για >N, δε χρειάζεται καμία μείωση του μήκους βήματος θ = 1. Απόδειξη Μια επέκταση της f(x +1 ) κατά x δίνει f(x +1 ) = f(x ) g T (x ) [P(x )d(x ) + W(x )b(x )] + ½ [P(x )d(x ) + W(x )b(x )] T F(x ) [P(x )d(x ) + W(x )b(x )] + O ( 3 d ( x ) (5.3) Χρησιμοποιώντας τις (5.6) και (5.1) παίρνουμε: f(x +1 ) f(x ) = g T (x ) P(x )d(x ) + (½) d T (x )Φ(x )d(x ) + O( = (½) g T (x )P(x )Φ 1 (x )P T (x )g(x ) + O( 3 3 d ( x ) ) T P ( x ) g( x ) ) (5.4) Από τις εξισώσεις περιορισμού στο x +1 έχουμε h(x +1 ) = h(x ) + h(x )(x +1 x ) +( ½)(x +1 x ) T H(x )(x +1 x ) + O( x x ) (5.5) 14

17 A class of Differential Descent Methods for Constrained Optimization Εφόσον x εφικτό σημείο, h(x )=0. Εισάγοντας την (5.0) στην (5.5) και χρησιμοποιώντας την (3.13) παίρνουμε h(x +1 ) = O( 3 d ( x ) ) = O( 3 T P ( x ) g( x ) ) (5.6) T Τώρα για Ν αρκετά μεγάλο και > N, το P ( x ) g( x ) είναι, από το προηγούμενο θεώρημα, πολύ μικρό. Εξού και το x +1 εφικτό σημείο. Από την άλλη μεριά, εφόσον η Φ(x) θετικά ορισμένη, η (5.4) δίνει f(x +1 ) f(x ) (½) P T ( x) g( x) / Φ (x), κ>ν (5.7) Συμπεραίνουμε ότι υπάρχει ένα σ (0, ½) τέτοιο ώστε f(x +1 ) f(x ) σ P T ( x) g( x) / Φ (x), κ>ν (5.8) και επομένως η δοκιμή (4.8) ικανοποιείται για θ = 1. Το επόμενο θεώρημα αποδεικνύει ότι ο βαθμός σύγκλισης του αλγόριθμου είναι δεύτερης τάξης τουλάχιστον. Θεώρημα 5.3. Αν f και h είναι τρεις συνεχείς φορές παραγωγίσιμες συναρτήσεις, τότε ο ασυμπτωτικός ρυθμός σύγκλισης του αλγορίθμου είναι είναι δεύτερης τάξης τουλάχιστον. Απόδειξη. Εισάγοντας το διάνυσμα λάθους e +1 = x +1 x (5.9) και επεκτείνοντας την h(x +1 ) κατά x παίρνουμε h(x +1 ) h( x ) = 0 = h(x )(x +1 x ) + Ο( +1 3 e ) (5.30) από την οποία, εφόσον h( x )P( x )=0, e +1 = Ο( z +1 z (5.31) Από το προηγούμενο θεώρημα, για >N και Ν επαρκώς μεγάλο, έχουμε: z +1 = z Φ 1 (x )P T (x )g(x ) (5.3) 15

18 A class of Differential Descent Methods for Constrained Optimization Όπως μπορεί να αποδειχθεί [8], ο ρυθμός σύγκλισης της άνω επαναληπτικής διαδικασίας είναι δεύτερης τάξης Για αυτό το λόγο z +1 z =Ο( e +1 = Ο( z z ) (5.33) e ) (5.34) και το θεώρημα αποδείχθηκε. VI. Μ ι α κ α τ η γ ο ρ ί α α λ γ ο ρ ί θ μ ω ν Είναι τώρα προφανές ότι διαφορετικές επιλογές της μήτρας Α(x) θα οδηγήσουν σε διαφορετικούς αλγορίθμους. Πραγματικά, υποθέτωντας ότι οι n μεταβλητές απόφασης μοιράζονται σε m βασικές μεταβλητές και (nm) ανεξάρτητες μεταβλητές, που φαίνονται από τα xb B και xr διανύσματα αντίστοιχα, και h(x) = [ Β h(x) R h(x)] (6.1) (Οι δείκτες Β και R δείχνουν παραγωγισιμότητα στις βασικές και ανεξάρτητες μεταβλητές αντίστοιχα.) Τελικά Τότε είναι εύκολο να διαπιστώσουμε ότι Α(x) = [ 0 In m ] (6.) Μ 1 (x) = 1 Β h(x) 1 Β h(x) R h(x) (6.3) 0 In m με την προϋπόθεση ότι οι κλίσεις περιορισμού είναι γραμμικά ανεξάρτητες. Για αυτό τον λόγο P(x)= 1 Β h(x) R h(x), W(x)= 1 Β h(x) In m 0 (6.4) 16

19 A class of Differential Descent Methods for Constrained Optimization Όπως μπορεί να δει κανείς, κάτω από την παραπάνω επιλογή για την A(x), παίρνουμε τον αλγόριθμο που παρουσιάζεται στη [3]. Ας υπολογίσουμε τώρα με μετατροπές Householder [5], μια n n ορθογώνια μήτρα Q(x) τέτοια ώστε h(x)q(x) = [U(x) 0] (6.5) όπου η U(x) είναι μία m m τριγωνική μήτρα. Αν η h(x) συνεχής παραγωγίσιμη που κυμαίνεται από το R n στο R m και αν οι κλίσεις περιορισμού είναι γραμμικώς ανεξάρτητες, τότε τα στοιχεία των Φ(x) και U(x) είναι συνεχείς συναρτήσεις του x. Ας μοιράσουμε επίσης το Q(x) ως m n m και θέσουμε Α(x) = [ S(x) P(x) ] (6.6) A(x) = PPT (x) (6.7) Τότε, όπως μπορεί να αποδειχθεί και Μ 1 (x) = [S(x)U 1 (x) P(x)] (6.8) W(x) = S(x) U 1 (x) (6.9) Σε αυτή την περίπτωση, παίρνουμε μια καμπυλόγραμμη επέκταση της μεθόδου που προτάθηκε στην [7] από τους Gill & Murray για τη λύση γραμμικών προβλημάτων με περιορισμούς. VII. Σ υ μ π ε ρ ά σ μ α τ α Έχουμε παρουσιάσει μια ομογενοποιημένη προσέγγιση για ελαχιστοποίηση μη γραμμικής συνάρτησης που υπόκειται σε μη γραμμικούς περιορισμούς ισότητας και η οποία έχει τις παρακάτω ιδιότητες: 1.Η έρευνα για το ελάχιστο γίνεται με καμπυλόγραμμα μονοπάτια αναζήτησης που προκύπτουν λύνοντας μια γραμμική προσέγγιση ενός συστήματος διαφορικών εξισώσεων με αρχικές τιμές. Το σύστημα διαφορικών εξισώσεων παρέχει έναν άνετο τρόπο για να δουλέψει κανείς με τον ίδιο περιορισμό, παρά με το κάθετο σε αυτό υποδιάστημα. Η πραγματική λύση καμπής είναι η πιο 17

20 A class of Differential Descent Methods for Constrained Optimization απότομη καμπύλη κατάβασης για την αντικειμενική συνάρτηση στην επιφάνεια περιορισμού. 3. Το σύστημα των διαφορικών εξισώσεων προκύπτει εισάγοντας μια συνεχώς παραγωγίσιμη μήτρα, οι στήλες της οποίας εκτείνονται στο κάθετο υποδιάστημα της απτής περιοχής. Οι αλγόριθμοι που προκύπτουν για δυο διαφορετικές επιλογές της παραπάνω μήτρας μπορούν να αντιμετωπιστούν ως καμπυλόγραμμες προεκτάσεις στη μη γραμμική περίπτωση δυο γνωστών και επιτυχημένων μεθόδων ελαχιστοποίησης 4. Το χαρακτηριστικό σύστημα της περιορισμένης Εσσιανής της Λαγκρασιανής εμφανίζεται απευθείας στην έκφραση για το καμπυλόγραμμο μονοπάτι αναζήτησης, αντικατοπτρίζοντας τη δομή του προβλήματος στον χώρο. Επιπλέον, η καμπύλη αναζήτησης είναι πάντα προσδιορισμένη και κατερχόμενη ακόμα και όταν η περιορισμένη Εσσιανή είναι μονοσήμαντη ή προσδιορισμένη μη θετικά. 5. Οι αλγόριθμοι δεν απαιτούν μια μονοδιάστατη ελαχιστοποίηση. 6. Οι αλγόριθμοι συγκλίνουν στο σημείο που ικανοποιεί την πρώτη τάξη συνθήκων βελτιστοποίησης Kuhn Tucer σε ένα βαθμό που είναι ασυμπτωτικά τουλάχιστον τετραγωνικός. 7. Τα αριθμητικά αποτελέσματα που προέκυψαν μέχρι τώρα υποδεικνύουν μια ανωτερότητα της νέας προσέγγισης. 18

21 Differential Gradient Methods «Differential Gradient Methods» «Διαφορικές Μέθοδοι Κλίσης» Παρουσιάζεται και συζητιέται μια τάξη πρόσφατα αναπτυγμένων διαφορικών μεθόδων για ελαχιστοποίηση συνάρτησης και προκύπτει ένας αριθμός αλγορίθμων που ελαχιστοποιεί μια δευτεροβάθμια συνάρτηση με ένα συγκεκριμένο αριθμό βημάτων και ελαχιστοποιεί γρήγορα γενικές συναρτήσεις. Τα κύρια χαρακτηριστικά του αλγορίθμου είναι ότι χρησιμοποιείται ένα περισσότερο γενικό καμπυλόγραμμο μονοπάτι αναζήτησης παρά μιας ημιευθείας και ότι το χαρακτηριστικό σύστημα της Εσσιανής μήτρας συνδέεται με το πρόβλημα ελαχιστοποίησης συνάρτησης. Τα καμπυλόγραμμα μονοπάτια αναζήτησης προκύπτουν από τη λύση συγκεκριμένου συστήματος διαφορικών εξισώσεων με αρχικές τιμές που επίσης προτείνουν την ανάπτυξη μετατροπών, γνωστών στη χρήση, αριθμητικών τεχνικών ακεραιοποίησης για ελαχιστοποίηση συνάρτησης. Επίσης δίνονται τα αποτελέσματα που προέκυψαν δοκιμάζοντας τους αλγορίθμους σε έναν αριθμό δοκιμαστικών συναρτήσεων καθώς επίσης υποδεικνύονται πιθανοί χώροι για μελλοντική έρευνα. I. Ε ι σ α γ ω γ ή Το πρόβλημα με το οποίο ασχολούμαστε μπορεί να διατυπωθεί ως: ελαχιστοποίηση f(x), f: R n R 1, f C (1.1) Όπως μπορεί να αποδειχθεί, το x* είναι τοπικός ελαχιστοποιητής της f(x) αν g(x*) = 0, H(x*) 0 (1.) όπου g(x) το διάνυσμα κλίσης, g T (x) = [, θf(x)/θf(xi), ] και H(x) η Εσσιανή μήτρα, H(x) = [θ f(x)/θxi], της f(x). Όλες οι υπάρχουσες μέθοδοι ελαχιστοποίησης δίνουν μια σειρά {x } κατά προσέγγιση ελαχιστοποιητών μέσω της μεθόδου επανάληψης (βλ. [1]) x +1 = x + t d (1.3) όπου d μια καταλλήλως προσδιορισμένη κατεύθυνση μείωσης και t το μέγεθος του βήματος επιλεγμένο ώστε (1.4) f(x +1 ) f(x ) < 0 19

22 Differential Gradient Methods Μια διαδεδομένη, και πιθανόν η πιο σημαντική τάξη μεθόδων για μη περιορισμένη ελαχιστοποίηση, είναι αυτή που περιέχει τις αποκαλούμενες μεθόδους κλίσεις οι οποίες θέτουν d = Q 1 (x )g(x ) (1.5) όπου Q(x) μια θετικά ορισμένη συμμετρική μήτρα. Όπως μπορεί να αποδειχθεί, [], η εξίσωση (1.5) ορίζει την πιο απότομη κατεύθυνση μείωσης για την f(x) στο x=x, κάτω από τη γενική ελλειπτική νόρμα d = +(d T Qd) 1/ Αντικαθιστώντας τη μοναδιαία μήτρα Ι για Q(x) στην (1.5) και χρησιμοποιώντας την (1.3), παίρνουμε τον τύπο επαναλήψεων x +1 = x t g(x ) (1.6) ο οποίος τύπος μπορεί να αναγνωριστεί ως η παλαιότερη μέθοδος ελαχιστοποίησης, ονομαζόμενη ως αυτή της πιο απότομης μείωσης. Η μέθοδος Newton προκύπτει επιτρέπωντας Q(x)=H(x), στην οποία περίπτωση η (1.3) γίνεται x +1 = x t Η 1 (χ κ )g(x ) (1.7) όπου οι μεταβλητές μετρικών μεθόδων, [3], [4], θέτουν x +1 = x t η 1 (x )g(x ) (1.8) όπου η 1 (x ) προσέγγιση της H 1 (x ) και γίνεται σύμφωνα με η 1 (x +1 ) = η 1 (x ) + Δx ( Δx ) T ( Δx ) Δg T 1 T 1 η ( x ) Δg ( Δg ) n ( x ) T 1 ( Δg ) n ( x ) Δg (1.9) (Davidon Fletcher Powell, [5]) ή η 1 (x +1 ) = ( Ι Δx ( Δg ) ( Δx ) T T Δg ) η 1 (x ) (I Δg ( Δx ) ( Δx ) T T Δg ) + Δx ( Δx ) T ( Δx ) Δg T (1.10) (Fletcher, [6]) όπου Δx = x +1 x, Δg = g(x +1 ) g(x ), η 1 (x 0 )=I Παρ όλα αυτά, πολλοί συγγραφείς στο παρελθόν [7],[8], πρότειναν ότι οι ημιευθείες προκύπτουν όταν ελαχιστοποιείται μια συνάρτηση με τρόπο επαναληπτικής μεθόδου, πρέπει να αντικαθίσταται από περισσότερο 0

23 Differential Gradient Methods γενικά καμπυλόγραμμα μονοπάτια. Οι αλγόριθμοί μας είναι αυτού του τύπου στο ότι αντικαθιστούν την μέθοδο με τις επαναλήψεις x +1 = x + t d με x +1 = x + p(x, t ) (1.11) όπου το x δεν είναι ημιευθεία αλλά καμπύλη στον x χώρο. Αυτά τα καμπυλόγραμμα μονοπάτια αναζήτησης προκύπτουν λύνοντας συγκεκριμένα συστήματα διαφορικών εξισώσεων και έναs ομογενοποιημένος τρόπος να τις αποκτήσουμε, παρουσιάζεται στην επόμενη ενότητα.. Π ρ ο έ λ ε υ σ η τ ω ν β α σ ι κ ώ ν σ υ σ τ η μ ά τ ω ν δ ι α φ ο ρ ι κ ώ ν ε ξ ι σ ώ σ ε ω ν Είναι γνωστό ότι για κάθε συνάρτηση f: R n R 1 και για κάθε δοσμένο σημείο x R n, η πιο απότομη φθίνουσα κατεύθυνση d ορίζεται ως η κατεύθυνση του μέγιστου τοπικού ελαχίστου της f(x). Επιπλέον, αν η f(x) παραγωγίσιμη στο x, τότε αυτή η κατεύθυνση είναι εκείνη για την οποία η g T (x )d d παίρνει τη μέγιστη τιμή ως συνάρτηση για d 0. Εφόσον g T (x )d συνεχής συνάρτηση του d και το σετ {d, d =1} είναι συμπαγές, εννοείται ότι πάντα υπάρχει τέτοια κατεύθυνση παρόλο που δεν είναι μοναδικό, καθώς εξαρτάται από τη συγκεκριμένη νόρμα. Όπως αναφέρθηκε στην προηγούμενη ενότητα, κάτω από τη γενική ελλειπτική νόρμα d = +(d T Qd) 1/, η πιο απότομη κατεύθυνση μείωσης d στο x=x δίνεται από d = Q 1 (x )g(x ) (.1) Γενικεύουμε τώρα το σκεπτικό μιας τέτοιας κατεύθυνσης και προσδιορίζουμε μια καμπύλη απότομης μείωσης στο x R n ως μια καμπύλη μέγιστων τοπικών ελαχίστων της f(x). Βασιζόμενοι στο σκεπτικό της καμπύλης απότομου ελαχίστου προκύπτουν τα συστήματα πρώτης τάξης διαφορικών εξισώσεων..1 Λήμμα. Έστω f: R n R 1 συνεχώς παραγωγίσιμη συνάρτηση και έστω Χ = {x x: R 1 R n, x(0) = x } το σετ όλων των παραγωγίσιμων καμπυλών που περνάνε από ένα δοσμένο σημείο x R n. Τότε, η πιο απότομη καμπή ελαχίστου στο x υπακούει το παρακάτω σύστημα αρχικών τιμών διαφορικών εξισώσεων: x& (t) = Q 1 (x)g(x) x(0) =x, x& (0) 0 (.) 1

24 Differential Gradient Methods κάτω από τη γενική ελλειπτική νόρμα d = +(d T Qd) 1/, Q>0. Απόδειξη. Από υπολογισμούς είναι γνωστό ότι η αλλαγή της f(x) στο x=x κατά μήκος του διαστήματος καμπύλης x(t), x(0)=x, δίνεται από df/ds s=0, όπου s πραγματική παράμετρος ορισμένη ως η απόσταση που κινείται η x(t) και δίνεται από t s(t) = 0 x& ( t) dt (.3) Για αυτό τον λόγο και η μέγιστη τοπική μείωση της f(x) στο x έχει αποτέλεσμα όταν το df/ds s=0 υποθέτει την ελάχιστη τιμή ως συνάρτηση του s. Σε αυτό το σημείο ανακαλούμε ότι και Οπότε df ( x) df ( x) = ds dt df ( x) ds s=0 = df ( x) dt 1 = ( ds( t) / dt) df ( x) dt 1 x& ( t) (.4) = g T (x) x&(t) (.5) g T ( ) x& ( t) &x x( t) t=0 = g T ( x ) x& (0) x& (0) (.6) Χρησιμοποιώντας την ανισότητα Cauchy Schwartz [g T (x ) x& (0) ] = [g T (x ) Q 1 (x ) Q 1/ (x ) x& (0) ] [g T (x ) Q 1 (x ) Q 1/ (x )] [Q 1/ (x ) Q 1 (x ) g(x ) [ x& T (0) Q1/ (x )] [Q 1/ (x ) x&(0) ] = 1 Q ( x ) g( x ) x& (0) (.7) Είναι προφανές ότι η ελάχιστη τιμή της df/ds s=0 ως συνάρτηση της x(0) 0, έχει αποτέλεσμα όταν ισχύει η ισότητα στη (.7). Δηλαδή όταν x& (0) = Q 1 (x )g(x ) (.8) Για αυτό τον λόγο η το x(t) υπακούει το ακόλουθο σύστημα διαφορικών εξισώσεων x& (t) = Q 1 (x)g(x) x(0) =x, x& (0) 0 (.9) και αποδείχθηκε το λήμμα.

25 Differential Gradient Methods Είναι τώρα προφανές ότι διαφορετικές επιλογές της μήτρας Q(x) θα οδηγήσουν σε διαφορετικές καμπές απότομου ελαχίστου. Οπότε παίρνουμε: Q(x) = I x&(t) = g(x) (.10) Q(x) = H(x) x& (t) = H 1 (x)g(x), x(0) = x (.11) Q(x) = H 1 (x) x&(t) = H(x)g(x) (.1) Η σημασία των παραπάνω συστημάτων διαφορικών εξισώσεων κείτεται στο γεγονός ότι αν οι πραγματικές καμπύλες λύσεις ήταν διαθέσιμες, το ελάχιστο θα ήταν προσιτό σε ένα βήμα για κάθε συνάρτηση. Ο λόγος είναι ότι οι καμπύλες λύσεις, για τα παραπάνω συστήματα, τείνουν ασυμπτωτικά σε ένα τοπικό ελαχιστοποιητή, x*, της f(x). Πραγματικά, αναφερόμενοι στο σύστημα (.10), η καμπύλη λύση σε αυτό είναι κανονικής κατανομής στις ισοϋψείς της f(x), έχοντας καμμία άλλη επιλογή από το να τείνει στο x*. O ίδιος ισχυρισμός ισχύει για το σύστημα (.1) αν αντί για f(x) θεωρήσουμε την πραγματική φ(x)=1/g T (x)g(x). Προφανώς η φ(x) 0 έχει ελάχιστη τιμή το μηδέν στο x*, καθώς σε αυτό το σημείο g(x*)=0. Προσέξτε ότι θφ(x)/θ(x)=h(x)g(x) και επομένως η καμπύλη λύση του συστήματος (.1) αφού είναι κανονικής κατανομής και κάθετα στις ισοϋψείς της φ(x), τείνει ασυμπτωτικά στο x*. Παρ όλα αυτά για το σύστημα (.11) αυτό δεν είναι άμεσα προφανές για αυτό και εφαρμόζεται ένας διαφορετικός ισχυρισμός. Όπως αναφέραμε στην προηγούμενη ενότητα, αν x* τοπικό ελάχιστο της f(x), τότε g(x)=0. Επομένως, το να ελαχιστοποιήσουμε την f(x) στο R n είναι ισοδύναμο με το να λύσουμε ένα συγκεκριμένο τμήμα μη γραμμικών εξισώσεων: g(x) = 0 (.13) Ένα τέτοιο σύστημα μπορεί να λυθεί με τη μέθοδο της παραγώγισης ως προς μια παράμετρο η οποία καλύπτει την πραγματική παράμετρο t στην αυθεντική εξίσωση. Αυτό γίνεται θεωρώντας αντί για τη μονομερή συνάρτηση g: R n R n μια ολόκληρη οικογένεια F: R n [0, ) που ορίζεται ως: F(x,t) = g(x) e t g(x ) (.14) Όπως μπορεί να αποδειχθεί [], αν η Η 1 (x) είναι πεπερασμένη, δηλαδή H 1 ( x) b, 0 b +, τότε για κάθε σταθερό x R n υπάρχει μοναδική συνάρτηση x: [0, + ) R n, x(0)=x τέτοιο ώστε F(x(t), t) 0, t [0, + ) (.15) 3

26 Differential Gradient Methods Επιπλέον x& (t) = Η 1 (x)g(x) (.16) Προσέξτε ότι εξαιτίας της (.15) g(x) = e t g(x ) (.17) κατά μήκος της x(t). Έστω τώρα x*= limt + x(t). Από τη (.14) παίρνουμε, εξαιτίας της (.15) και της συνέχειας της g(x), limt + F(x,t) = limt + g(x(t)) = g(x*) = 0 Για αυτόν τον λόγο η x(t) τείνει ασυμπτωτικά σε μια ρίζα της g(x)=0, δηλαδή σε τοπικό ελαχιστοποιητή x* της f(x), με την προϋπόθεση ότι H(x*) θετικά ημιορισμένη. Από την προηγούμενη ανάλυση προκύπτει ότι αν ξεκινήσουμε στο x και κινηθούμε στην κατεύθυνση των κατερχόμενων τιμών της f(x), κατά μήκος της καμπύλης λύσης σε όποιο από τα συστήματα διαφορικών εξισώσεων, θα μας φέρει κατευθείαν στο ελάχιστο. Δηλαδή το ελάχιστο προσεγγίζεται σε ένα βήμα, για κάθε συνάρτηση. Συστήματα διαφορικών εξισώσεων μεγαλύτερης τάξης μπορούν να προκύψουν βασιζόμενοι στο ακόλουθο λήμμα.. Λήμμα. Έστω f: R n R 1 συνεχής παραγωγίσιμη συνάρτηση και x: R 1 R n, x(0)=x, παραγωγίσιμος χώρος καμπύλης. Έστω η πρώτη μη μηδενική παράγωγος της f(x) κατά μήκος της x(t) στο t=0, μη αρνητική. Υπάρχει τέτοιο δ>0 και επαρκώς μικρό, τέτοιο ώστε f(x) f(x ) < 0, t (0,δ) και συνεπώς x(t) φθίνουσα καμπύλη. Απόδειξη. Έστω q d ( f ( x(0)) dt q r d ( f ( x(0)) < 0, 0 < q < +, = 0, r = 1,,, q 1 (.18) r dt και ας επεκτείνουμε την f(x(t)): R 1 R 1 κατά t=0 σε σειρά Taylor. Έχουμε 4

27 Differential Gradient Methods r 1 f(x(t)) = f(x(0)) + j j= 1! j d ( f ( x(0)) dt 1 d + ( q + 1)! j t j + ( q+ 1) 1 q! q d ( f ( x(0)) t q q dt ( f ( x( ξ )) t (q+1) (.19) ( q+ 1) dt όπου ξ (0,t). Χρησιμοποιώντας την (.18) παίρνουμε από τη (.19) f(x ) f(x ) = 1 q! q d ( f ( x(0)) dt q 1 t q + ( q + 1)! d ( q+ 1) ( f ( x( ξ )) t (q+1) (.0) ( q+ 1) dt Είναι τώρα πιθανό να βρούμε ένα δ>0 τέτοιο ώστε κάθε t (0,δ) είναι επαρκώς μικρό ώστε να κάνει επικρατών τον πρώτο όρο στην επέκταση (.0). Για αυτό τον λόγο και εφόσον και αποδείξαμε το λήμμα. q d ( f ( x(0)) dt q <0, παίρνουμε f(x) f(x ) < 0, t (0,δ) (.1) Ας θεωρήσουμε τώρα το σύστημα διαφορικών εξισώσεων με αρχικές τιμές x [q] (t) = Q 1 (x)g(x) (.) Όπως μπορεί να αποδειχθεί, η καμπύλη λύση x(t) στο παραπάνω σύστημα ικανοποιεί τις συνθήκες του προηγούμενου λήμματος και επομένως η x(t) φθίνουσα καμπύλη στον x χώρο. Προσέξτε ότι γενικά το x(t) δεν είναι καμπή του πιο απότομου φθίνοντος, καθώς αυτό εξαρτάται από τις μεγαλύτερες, μέχρι σειρά q, των μερικών παραγώγων της f(x). 3. Λ ύ σ η δ ι α φ ο ρ ι κ ώ ν ε ξ ι σ ώ σ ε ω ν Γενικά, δεν είναι εύκολο να λυθούν τα συστήματα με διαφορικές εξισώσεις, χάρη στη μη γραμμικότητα της g(x). Παρ όλα αυτά μπορεί να προκύψει μια κατά προσέγγιση καμπύλη λύση επεκτείνοντας την Q 1 (x)g(x) σε μια σειρά Taylor κατά x. Έχουμε (i) Μηδενική προσέγγιση: Q 1 (x)g(x) Q 1(x )g(x ) (3.1) 5

28 Differential Gradient Methods (ii) Γραμμική προσέγγιση όπου J(x) η Ιακωβιανή της Q 1 (x)g(x). Q 1 (x)g(x) Q 1(x )g(x ) + J(x )(x x ) (3.) Σε αυτό το σημείο ανακαλούμε ότι η Q(x) είναι είτε η μοναδιαία μήτρα I ή H(x) ή H 1 (x) και ότι J(x) = θ θ θ g( x) [Q 1 (x)g(x)] = [Q 1 (x)] g(x) + Q 1 (x) θx θx θx θ = [Q 1 (x)] g(x) + Q 1 (x)h(x) (3.3) θx T Έστω τώρα y (x) = 1,,,n, yi : R n R n οι σειρές της Q(x). Τότε θq 1 (x)/θx είναι η n οστή i θ θ y x [Q 1 (x)] = [, i ( ), ] (3.4) θx θx Για αυτό τον λόγο θ y x J(x) = [, i ( ), ] g(x) + Q 1 (x)h(x) (3.5) θx Έχουμε τρεις πιθανότητες όπως ακολουθούν (α) Q(x) = I Σύστημα x [q] (t) = g(x), x [r] (0) = 0), r =1,, q 1, x(0) = x (3.6) θ y x Τότε y T i (x) = [0,, 1,, 0]. Οπότε i ( ) =0 και η (3.5) μειώνεται σε θx J(x) = H(x) (3.7) (b) Q(x) = H(x) Σύστημα x [q] (t) = H 1 (x)g(x), x [r] (0) = 0), Έχουμε r =1,,, q 1, x(0) = x (3.8) n J(x) = I + i= 1 θ f ( x) θxi θ y i ( x) θx (3.9) 6

29 Differential Gradient Methods Προσέξτε ότι γενικά η J(x) δεν είναι συμμετρική και ότι η τετραγωνική συνάρτηση J(x) = I (3.10) Όπως σε αυτή την περίπτωση η H(x) και Η 1 (x) είναι σταθερές συναρτήσεις, ανεξάρτητες του x. (c) Q(x) = H 1(x) Σύστημα x [q] (t) = H (x)g(x), x [r] (0) = 0), r =1,,, q 1, x(0) = x (3.11) Σε αυτή την περίπτωση Q 1 (x) = H(x) και επομένως και επομένως yi(x) = θ/θx[θf(x)/θxi]. Για αυτό τον λόγο J(x) = [H(x)] + n i= 1 θ f ( x) θxi θ θx θ f ( x) θxi (3.1) Προσέξτε ότι η J(x) είναι πάντα συμμετρική όπως η Εσσιανή μήτρα της Q(x) = ½ gt(x)g(x), και ότι η τετραγωνική συνάρτηση J(x) = [H(x)] (3.13) Κάτω από τη μηδενική προσέγγιση (i) παίρνουμε τώρα για τα συστήματα (3.6), (3.8) και (3.11): t q x(t) = x g(x ) (3.14) q! και x(t) = x t q H 1 (x )g(x ) (3.15) q! x(t) = x t q H(x )g(x ) (3.16) q! αντίστοιχα. Εύκολα μπορούμε να αναγνωρίσουμε τις (3.14) και (3.15) ως τη μέθοδο απότομου ελαχίστου και Newton αντίστοιχα, με την αλλαγή της μεταβλητής t q τ = (3.17) q! Ας θεωρήσουμε τώρα το γενικό σύστημα 7

30 Differential Gradient Methods x [q] (t) = Q 1 (x)g(x) x [r] (0) =0, r =1,,, q 1, x(0) = x (3.18) κάτω από τη γραμμική προσέγγιση (iι). Όπως μπορεί να αποδειχθεί και x(t) = x + [exp[ t [J(x ) 1/q ] I] J 1 (x ) Q 1 (x ) g(x ), q=περιττός (3.19) x(t) = x + [cos[ t [J(x ) 1/q ] I] J 1 (x ) Q 1 (x ) g(x ), q=άρτιος (3.0) όπου exp(a) και cos(a) είναι η εκθετική και συνημίτονη συνάρτηση της μήτρας Α αντίστοιχα. Στην επόμενη ενότητα εδραιώνονται και συζήτιουνται οι ιδιότητες της προκύπτουσας λύσης. IV. Ι δ ι ό τ η τ ε ς τ ω ν κ α μ π υ λ ό γ ρ α μ μ ω ν μ ο ν ο π α τ ι ώ ν α ν α ζ ή τ η σ η ς Έστω P(x,t) = [exp[ t [J(x ) 1/q ] I] J 1 (x ) Q 1 (x ) g(x ), q=περιττός (4.1) [cos[ t [J(x ) 1/q ] I] J 1(x ) Q 1(x ) g(x ), q=άρτιος (4.) Παρατηρούμε πρώτα ότι (e t 1) J 1 (x ) Q 1 (x )g(x ) (4.3) P(x, t) καθώς q + (cost 1) J 1 (x ) Q 1 (x )g(x ) (4.4) Προσέξτε ότι στην περίπτωση του συστήματος (3.6) ή όταν η αντικειμενική συνάρτηση είναι τετραγωνική, παίρνουμε 1 e t x(τ) = x τh 1 (x ) g(x ) τ = (4.5) 1 cost που είναι η μέθοδος Newton με αλλαγή μιας μεταβλητής. Παρακάτω, συζητούνται εκτενέστερα τα καμπυλόγραμμα μονοπάτια αναζήτησης που συνδέονται με τα πρώτης τάξης συστήματα (q=1). Σύστημα x&(t) = g(x), x(0) = x (4.6) 8

31 Differential Gradient Methods Λύση x(t) = x + [exp( th(x )) I] H 1 (x )g(x ) (4.7) Αυτό το καμπυλόγραμμο μονοπάτι αναζήτησης έχει εξετασθεί εκτενώς στο [9], από όπου ανακαλούμε τα παρακάτω: (i) Επεκτείνοντας τη συνάρτηση της εκθετικής μήτρας στο χαρακτηριστικό διάστημα της Εσσιανής μήτρας, παίρνουμε x(t) = x + n i= 1 exp( tλi( x )) 1 ui ( x ) u i λi( x ) T ( x ) g(x ) (4.8) όπου λi(x ) οι χαρακτηριστικές τιμές και ui(x ) τα σχετιζόμενα κάθετα χαρακτηριστικά διανύσματα της H(x ), i=1,,,n και όπως βλέπετε δεν απαιτείται καμμιά αντιστροφή μήτρας. και (ii) Η εξίσωση (4.8) προσδιορίζει πάντα μια καμπύλη απότομου ελαχίστου στον x χώρο για t 0 ανεξάρτητα αν η H(x ) θετικά ορισμένη καθώς exp( tλi( x )) 1 < 0, για λi(x ) 0 (4.9) λi( x ) exp( tλi( x )) 1 t καθώς λi(x ) 0 (4.10) λi( x ) Παρατηρήστε ότι όταν H(x ) μονοσήμαντη (λi(x )=0) για ένα ή περισσότερα i, 1 i n), η μέθοδος Newton βάλλεται καθώς σε αυτή την περίπτωση δεν ισχύει H 1 (x ). Επίσης, αν η H(x ) δεν είναι θετικά ορισμένη, τότε η μέθοδος Newton ή η μέθοδος των μετρικών μεταβλητών, μπορεί να αποτύχουν καθώς η H 1 (x )g(x ) ή n 1 (x )g(x ) μπορεί να μην είναι φθίνουσα κατεύθυνση. (iii) Ανάλογα το μήκος βήματος t, η (4.7) συμπεριφέρεται ως μέθοδος απότομου ελαχίστου ή μέθοδος Newton. Πραγματικά, για μικρά t έχουμε exp( th(x )) I th(x ). Εξ ού και x(t)=x tg(x ) που είναι η μέθοδος για το απότομο ελάχιστο. Τώρα, για t + και με την προϋπόθεση ότι Η(x ) θετικά ορισμένη, έχουμε exp( th(x ) 0 και επομένως x(t) x H 1(x )g(x ) που είναι το σημείο που παίρνουμε όταν η μέθοδος Newton χρησιμοποιείται με μήκος βήματος μιας μονάδας. 9

32 Differential Gradient Methods Σε αυτό το σημείο ανακαλούμε ότι έχει προταθεί ότι, ένας συνδυασμός της μεθόδου Newton και απότομου ελαχίστου, πρέπει λογικά να αποφέρει μια απόδοση ανώτερη από αυτής της κάθε μίας ξεχωριστά. Όντως, σε μια λογική απόσταση από το ελάχιστο, η μέθοδος απότομου ελαχίστου μπορεί να είναι ανώτερη από αυτή του Newton, η οποία έχει χαρακτηριστικό πλεονέκτημα τη δευτεροβάθμια σύγκλιση μόνο στην περιοχή του ελαχίστου, όπου η αντικειμενική συνάρτηση μπορεί άνετα να προσεγγιστεί από μια τετραγωνική συνάρτηση. Παρ όλα αυτά, στη δική μας περίπτωση τέτοιος συνδυασμός δεν είναι απαραίτητος καθώς η (4.7) δείχνει την ίδια συμπεριφορά, εξαρτώμενη από το μέγεθος βήματος, όπως μία από τις άλλες μεθόδους, και θα προσαρμοστεί αυτόματα. (iv) Το διάστημα της καμπύλης που ορίζεται από την εξίσωση (4.7) είναι η πραγματική λύση καμπύλη του συστήματος (4.6) δευτεροβάθμια αντικειμενική συνάρτηση και επομένως για μια τέτοια συνάρτηση το ελάχιστο προσεγγίζεται με ένα βήμα. Σύστημα Λύση x& (t) = Η 1 (x)g(x), x(0)=x (4.11) x(t) = x + [exp( t J(x )) J 1 (x ) H 1 (x ) g(x ) (4.1) Ανακαλούμε ότι η J(x) είναι η Ιακωβιανή της H 1 (x)g(x) που δίνεται από n f ( x) yi ( x) J(x) = I + i= 1 xi x (4.13) T όπου y (x), i=1,,,n, οι σειρές συνάρτηση i της H 1 (x) και για μια δευτεροβάθμια J(x)= I (4.14) Ακολουθώντας τον ίδιο ισχυρισμό όπως πριν, μπορούμε να επεκτείνουμε τη συνάρτηση εκθετικής μήτρας στο χαρακτηριστικό διάστημα της J(x ). Εφόσον η J(x) δεν είναι γενικά συμμετρική έχουμε x(t) = x + V(x )[exp( tm(x )) I] M 1 (x ) V 1 (x ) H 1 (x ) g(x ) (4.15) όπου V(x) η στατιστικού τύπου μήτρα της J(x) και M(x) ο απλοποιημένος πίνακας Jordan. Παρατηρείστε ότι για μικρό t, exp( t J(x )) I t J(x ) και επομένως η (4.1) μειώνεται σε x(t) x t H 1 (x ) g(x ) (4.16) 30

33 Differential Gradient Methods η οποία είναι ξανά η μέθοδος Newton. Τώρα, για δευτεροβάθμια συνάρτηση έχουμε, εξαιτίας της (4.14) και επιτρέπωντας t + παίρνουμε x(t) = x + (e t 1) H 1 (x ) g(x ) (4.17) x(t) x H 1 (x ) g(x ) = x*, (4.18) δηλαδή το ελάχιστο προσεγγίζεται με ένα βήμα. Προσέξτε επίσης ότι df(x(0))/dt= g T (x ) H 1 (x ) g(x ) και γι αυτό τον λόγο η (4.1) είναι φθίνουσα καμπύλη, σύμφωνα με το λήμμα., αν η H(x ) θετικά ορισμένη. Σύστημα Λύση x& (t) = Η(x) g(x), x(0) = x (4.19) x(t) = x + [exp( t J(x )) J 1 (x ) H 1 (x ) g(x ) (4.0) Σε αυτό το σημείο ανακαλούμε ότι το x(t), όπως ορίζεται από την (4.19), είναι καμπύλη του πιο απότομου ελαχίστου για τη συναρτησιακή φ(x) = ½ g T (x) g(x) = ½ g (x) (4.1) κάτω από τη συνηθισμένη Ευκλείδια νόρμα και ότι η J(x) είναι η Εσσιανή μήτρα της φ(x) που δίνεται από n f ( x) J(x) = [H(x)] + i= 1 xi x f ( x) x i (4.) Παρατηρείστε ότι για να είναι η x(t) φθίνουσα καμπύλη, πρέπει να έχουμε g T (x ) H(x ) g(x )>0. Ξανά, χρησιμοποιώντας την επέκταση της εκθετικής μήτρας στο χαρακτηριστικό διάνυσμα της J(x), και λαμβάνοντας υπόψιν ότι J(x) συμμετρική, παίρνουμε: x(t) = x + V(x )[exp( tm(x )) I] M 1 (x ) V Τ (x ) H(x ) g(x ) (4.3) Τώρα, για συνάρτηση δευτέρου βαθμού, ή κοντά στο ελάχιστο της γενικής συνάρτησης, έχουμε J(x) = [H(x)], x B(x*, ε), ε>0 (4.4) 31

34 Differential Gradient Methods Για αυτό τον λόγο V(x) = U(x), M(x) = [Λ(x)], x B(x*, ε), ε>0 (4.5) και από την (4.3) παίρνουμε, εφόσον H(x) = U(x) Λ(x) U T (x), x(t) = x + n i= 1 exp( tλi ( x λi( x ) )) 1 u ( x ) u i T i ( x ) g(x ), x B(x*, ε), ε>0 (4.6) Όπως μπορεί εύκολα να αποδειχθεί ενώ limλi(x ) 0 limλi(x ) 0 exp( tλi ( x λi( x ) exp( tλi( x λi( x ) ) 1 = 0 (4.7) ) 1 = t (4.8) Προσέξτε επίσης ότι J(x) [H(x)], x B(x*, ε), ε>0 είναι πάντα θετικά ημιορισμένη. Για αυτό και μπορούμε πάντα στην (4.5) να θεωρήσουμε t +, κάτι που είναι επιτρεπτό στην (4.8) μόνο όταν η H(x) θετικά ορισμένη. Επομένως, το σύστημα (4.19) είναι ανώτερο του συστήματος (4.6), καθώς λιγότερες συνθήκες πρέπει να ισχύουν στην Εσσιανή μήτρα. Σε αυτό το σημείο ανακαλούμε ότι έχει προταθεί [10] ότι μια μείωση στη g (x), παρά στην f(x), πρέπει να γίνει σε κάθε βήμα, καθώς αυτό μπορεί να είναι χρήσιμο στην εύρεση σημείων κοιλότητας, και να βελτιώσει την απόδοση ενός συγκεκριμένου αλγορίθμου ελαχιστοποίησης σε επίπεδα συνάρτησης. Επομένως, ένας συνδυασμός της (4.7) και (4.0) μπορεί να είναι πλεονέκτημα για συναρτήσεις με σημεία κοιλότητας ή επίπεδα ελάχιστα. Όντως, προέκυψαν πολύ ικανοποιητικά αριθμητικά αποτελέσματα με έναν αλγόριθμο που χρησιμοποιεί την (4.7) που μετατρέπεται στην (4.0) και απαιτεί μια μείωση στη g (x), παρά στην f(x) όπου η αντικειμενική συνάρτηση δεν υπόκειται σε ανάλυση ευαισθησίας στις μεταβλητές κοντά στο ελάχιστο. Για μια συνεχή συνάρτηση των ιδιοτήτων των παραπάνω καμπυλόγραμμων μονοπατιών αναζήτησης, καθώς επίσης και για αυτά που συνδέονται με συστήματα υψηλότερης τάξης, βλέπε [1]. Στην παρακάτω ενότητα, αποδεικνύεται και τεκμηριώνεται ότι ο γενικός αλγόριθμος είναι συγκλίνων. V. Ο γενικός αλγόριθμός & οι ιδιότητες σύγκλισής του 3

35 Differential Gradient Methods Έστω p(x,t) το καμπυλόγραμμο μονοπάτι αναζήτησης που προκύπτει μετατρέποντας οποιοδήποτε από τα συστήματά μας σε διαφορικές εξισώσεις. Όπως μπορεί να παρατηρηθεί, p: R n R 1 R n είναι της μορφής p(x,t) = Q(x,t) g(x) (5.1) όπου Q(x,t) αρνητικά ορισμένη μήτρα, συνεχής στο t και ικανοποιεί τις ακόλουθες συνθήκες: (i) g T (x) p [q] (x,0) < 0 και p [r] (x,0) = 0, r=1,,,q 1, x {x g(x) 0} (ii) p(x,t) = 0, x { x g(x) = 0} και (iii) p(x,0) = 0 Αν θεωρήσουμε τώρα x(t) = x + p(x,t) (5.) ο ακόλουθος γενικός αλγόριθμος μπορεί να τεκμηριωθεί για την ελαχιστοποίηση της f(x), f: R n R 1, πάνω από το R n. Ο γενικός αλγόριθμος Έστω p: R n R 1 R n συνεχής παραγωγίσιμη συνάρτηση στο t που ικανοποιεί τις συνθήκες (i) (ii) Βήμα 0: Επιλέξτε ένα x 0 Rn τέτοιο ώστε το επίπεδο L0 = {x f(x) Rn} να είναι συμπαγές. Βημα 1: Θέστε =0. f(x 0 ), x Βήμα : Υπολογίστε g(x ). Αν g(x )=0, σταματήστε. Διαφορετικά, υπολογίστε p(x,t) ως συνάρτηση του t και πηγαίνετε στο Βήμα 3. Βήμα 3: Βρείτε το μικρότερο μη αρνητικό αριθμό t(x ), ελαχιστοποιώντας την f(x(t)) κατά μήκος της p(x,t). Βήμα 4: Θέστε x +1 = x + p(x, t(x )), θέστε =+1 και πηγαίνετε στο Βήμα. Για να εδραιώσουμε τις ιδιότητες σύγκλισης του παραπάνω αλγορίθμου, πρέπει να θεωρήσουμε δύο περιπτώσεις ξεχωριστά A. Η p(x,t) είναι συνεχής και στους δύο όρους της και B. Η p(x,t) είναι συνεχής μόνο στο t. 33

36 Differential Gradient Methods Η δεύτερη περίπτωση εμφανίζεται όταν η δεύτερης ή μεγαλύτερης τάξης παράγωγος της f(x) προσεγγίζεται αριθμητικά παρά όταν υπολογίζονται αναλυτικά. Μια απόδειξη σύγκλισης που καλύπτει την πρώτη περίπτωση, όταν p(x,t) = [exp( t H(x)) I] H 1 (x) g(x), μπορεί να βρεθεί στο [9]. Σε αυτή την εργασία λαμβάνουμε υπόψιν την δεύτερη περίπτωση. Το ακόλουθο αριθμητικό μοντέλο και θεώρημα είναι απαραίτητο. 5.1 Μοντέλο αλγορίθμου (Pola, [1]) Έστω Α συνάρτηση αναζήτησης με καθορισμένες τιμές που απεικονίζει ένα κλειστό υποσύνολο Τ του συνόλου Banach, στο σύνολο όλων των κενών υποσυνόλων του Τ. (Το οποίο γράφεται Α: Τ Τ ) και έστω c ο κανόνας παύσης, c: R T Βήμα 0: Υπολογίστε ένα x 0 T Βήμα 1: Θέστε =0 Βήμα : Υπολογίστε ένα σημείο φ Α(x ) Βήμα 3: Θέστε x +1 =y Βήμα 4: Αν c(x +1 ) πηγαίνετε στο Βήμα. c(x ) σταματήστε. Διαφορετικά, θέστε =+1 και 5. ΘΕΩΡΗΜΑ (Pola,[1]) 1. Είτε c(x) συνεχής σε όλα τα μη επιθυμητά σημεία (ένα σημείο x λέγεται επιθυμητό όταν g(x)=0) x T, ή c(x) κάτω περικλειόμενη για x T, και. x T που δεν είναι επιθυμητό, υπάρχει ένα ε(x)>0 και δ(x)<0 τέτοιο ώστε c(x ) c(x ) δ(x) < 0, x T, τέτοιο ώστε x" x ε(x) και x A(x ) Τότε, είτε η σειρά {x } που προκύπτει από τον παραπάνω αλγόριθμο είναι ξεπερασμένη, και το τελευταίο της στοιχείο είναι επιθυμητό, ή διαφορετικά, η σειρά είναι άπειρη και επιθυμητό κάθε σημείο της {x }. Οι ιδιότητες σύγκλισης του γενικού μας αλγορίθμου, όταν η p(x,t) δεν είναι συνεχής στο x, μπορούν τώρα να καθοριστούν. Υποθέτουμε ότι η p(x,t) ικανοποιεί τις συνθήκες (i) (ii) και είναι της μορφής 34

37 Differential Gradient Methods όπου S(x) και T(x) συμμετρικές μήτρες. p(x,t) = [exp( t S(x)) I] S 1 (x) T(x) g(x) (5.3) ΚΕΝΤΡΙΚΟ ΘΕΩΡΗΜΑ. Έστω f(x) συνεχής παραγωγίσιμη συνάρτηση f: R n R 1. Υποθέστε ότι: A. Υπάρχουν δύο σταθερές μ και m, 0 μ m,<+, τέτοιες ώστε 0 μ y y T H(x)y m y, y R n και x L0 B. S(x) θετικά ορισμένη με χαρακτηριστικές τιμές που περικλείονται άνω και κάτω από τις L και l αντίστοιχα C. Τ(x) θετική ημιορισμένη x L0 και T b, 0 b + D. g T (x) T(x) g(x) ε g, ε > 0, x L0 και E. οι Τ(x) και g(x) έχουν κοινό ένα ολοκληρωμένο set χαρακτηριστικών διανυσμάτων. Τότε, η σειρά {x } που προκύπτει από τον παραπάνω γενικό λογάριθμο με p(x,t) να δίνονται από την (5.3), είναι είτε πεπερασμένη, τερματίζοντας στο επιθυμητό σημείο, ή άπειρη και κάθε σημείο συγκέντρωσης της {x } είναι επιθυμητό. Απόδειξη. Αν θέσουμε c(x)=f(x) και προσδιορίσουμε μια συνάρτηση αναζήτησης ορισμένη με τιμές Α(x) = x + p(x,t) (5.4) όπου το t ελαχιστοποιεί την f(x,t) κατά μήκος της p(x,t), τότε βλέπουμε ότι ο γενικός αλγόριθμός μας είναι του ίδιου τύπου με το μοντέλο αλγορίθμου 5.1 του Pola. Γι αυτό τον λόγο και το θεώρημα 5. μπορεί να εφαρμοσθεί κατευθείαν. Ικανοποιείται η συνθήκη (1) του θεωρήματος Pola αφού η f(x) συνεχής. Έστω τώρα x επιθυμητό σημείο, δηλαδή g(x )=0. Τότε, από συνθήκη (ii), p(x,t)=0, t [0,+ ]. Επομένως f(x +1 )=f(x ) και ο αλγόριθμος σταματά. Έστω τώρα x R n μη επιθυμητό σημείο, δηλαδή g(x) θεωρήσουμε τη συνάρτηση Δ: R n R 1+ R 1 που δίνεται από 0 και ας Δ(x, p(x,t)) = f(x + p(x,t)) f(x) (5.5) Από τη μέθοδο Taylor για επέκταση ης τάξης έχουμε 35