Ιαν. 009 Συστήµατα Μη-Γραµµικών Εξισώσεων Μέθοδος Newton-Raphson Έστω y, y,, yn παρατηρήσεις µιας m -διάστατης τυχαίας µεταβλητής µε συνάρτηση πυκνότητας πιθανότητας p( y; θ) η οποία περιγράφεται από ένα n -διάστατο διάνυσµα παραµέτρων θ. Αν οι παρατηρήσεις είναι ανεξάρτητες, τότε η αντίστοιχη συνάρτηση πιθανοφάνειας θα είναι ( θ) ( y, y,, y ; θ) ( y ; θ) LN p N = p Η εκτιµήτρια µέγιστης πιθανοφάνειας (maimum likelihood (ML)) του θ µεγιστοποιεί αυτή τη συνάρτηση, δηλαδή θml arg ma L N ( θ) ή ισοδύναµα τη λογαριθµική πιθανοφάνεια, Είναι εποµένως λύση της εξίσωσης ( θ) l N ( θ) = 0. θ θ ( θ) N i= i i= είναι η τιµή του που θml arg ma ln LN θ = arg ma ln p yi; θ θ θ Η τελευταία εξίσωση είναι στην πραγµατικότητα σύστηµα n µη-γραµµικών (γενικά) εξισώσεων. Η εκτίµηση µέγιστης πιθανοφάνειας αποτελεί ένα µόνο παράδειγµα προβλήµατος που απαιτεί την επίλυση ενός τέτοιου συστήµατος. Τα όσα έχουµε πει για τη µέθοδο σταθερού σηµείου και ειδικότερα για τη µέθοδο Newton-Raphson εξακολουθούν να ισχύουν και για συστήµατα εξισώσεων όπως θα δούµε παρακάτω. Ας θεωρήσουµε το σύστηµα εξισώσεων ( ) = 0 () όπου η είναι διανυσµατική συνάρτηση του διανύσµατος = [ n ] ( ) ln N : n ( ) Ορίζουµε την παράγωγο της διανυσµατικής συνάρτησης ως προς το ως εξής: /6
Ιαν. 009 όπου είναι η παράγωγος ως προς το n ( ) ( ) = n = ( n ) n n n n i i i i = i n της βαθµωτής συνάρτησης ως Jacobian πίνακας της και συµβολίζεται µε Μέθοδος σταθερού σηµείου J. () i. Ο πίνακας () είναι γνωστός Γράφουµε το σύστηµα () στην ισοδύναµη µορφή = g (3) για κατάλληλη συνάρτηση g. Αποδεικνύεται ότι, κατ αναλογία µε ό,τι γνωρίζουµε από τη µέθοδο σταθερού σηµείου για βαθµωτές µη-γραµµικές εξισώσεις, η επαναληπτική µέθοδος ( k+ ) ( k) = g, k = 0,,, (4) θα συγκλίνει στη λύση ξ της (3) για κάθε αν ( α) η ακολουθία { k )} g < β) ρ ανήκει στο πεδίο τιµών της g και. g ξ < Παρατήρηση: Αρκεί να ισχύει ρ κοντά στο ξ. Μέθοδος Newton Raphson αλλά τότε το θα πρέπει να είναι αρκετά Για ταχύτερη σύγκλιση µε αρκετά κοντά στο ξ, θα πρέπει να εξασφαλίσουµε ότι Carl Gustav Jacob Jacobi (804 85). Αξίζει στο σηµείο αυτό να θυµηθούµε το παράδειγµα της γενικής επαναληπτικής µεθόδου για συστήµατα ( k+ ) ( k) γραµµικών εξισώσεων, = B + c, όπου g( ) = B+ c και g = B, και ζητούµε ρ ( B ) <. /6
Ιαν. 009 g = J ξ 0. Με τρόπο ανάλογο µε αυτόν για τις βαθµωτές εξισώσεις, προκύπτει τότε η µέθοδος Newton Raphson (NR) για συστήµατα µη-γραµµικών εξισώσεων: ( k+ ) ( k) ( k) ( k) = J, k = 0,,, Συγκλίνει αν το είναι αρκετά κοντά στο ξ. ( Απόδειξη (σύντοµη): Αναζητούµε το διάνυσµα k ) ( δ που θα δώσει το k + ) ( k) = + δ k. Ας θεωρήσουµε το ανάπτυγµα aylor της γύρω απ το k : ( k + δ = + J δ ) + κι ας παραλείψουµε τους όρους υψηλότερης τάξης (για αρκετά µικρό δ k ): ( k + δ + J ) δ k k + δ k ) Προκύπτει έτσι ότι, αν θέλουµε ( 0, πρέπει να βρούµε το δ k επιλύοντας το σύστηµα γραµµικών εξισώσεων: J ( δ ( = ( (6) Παρατήρηση: Όπως φαίνεται και από την (5), η µέθοδος NR ουσιαστικά επιλύει το σύστηµα µη-γραµµικών εξισώσεων () µέσω µιας σειράς συστηµάτων γραµµικών εξισώσεων (6). Άσκηση. Να εφαρµοστεί η µέθοδος NR στην προσέγγιση (της) ρίζας του συστήµατος, = 3 = 0 ξεκινώντας από = [ 34] ( k+ ) ( k) 4 < 0., = 3 =0 3. Να σταµατήσετε τις επαναλήψεις όταν Απάντηση: Βρίσκουµε πρώτα τον Jacobian πίνακα της : 6 J ( ) = 3 3 6 Υλοποιούµε την επαναληπτική διαδικασία (5) όπου 6 J ( ) = +. + 6 5 3 3 6 Τα αποτελέσµατα συνοψίζονται στον ακόλουθο πίνακα: (5) 3/6
Ιαν. 009 k 0 3 4 ( k) ( k) ( k) ( k ) 7 8 0.5 0.86607 0.0089857 3 0.86605 0.000046036 Άσκηση. Να λυθεί µε τη µέθοδο NR το σύστηµα εξισώσεων = 0. = Ξεκινήστε µε = [ ] 0. Απάντηση: Αρκεί να βρούµε τον Jacobian πίνακα: J ( ) = και τον αντίστροφό του: J = 4 = + + Τα αποτελέσµατα φαίνονται παρακάτω: ( ) ( ) ( k) ( k) k 0 0 και είναι αναµενόµενα. Πράγµατι, αφού 3 4 3 4 3 0.708333 0.708333 4 0.70708 0.70708 5 0.70707 0.70707. =, έχουµε =. Έτσι, αν, 0, η = θα γίνει =, που δίνει = = 0.70707. Εποµένως = 0.70707. Με αρχικοποίηση [ ] = 0, καταλήγουµε στην άλλη ρίζα: 0.70707 Άσκηση 3. Να εφαρµοστεί η µέθοδος NR στο σύστηµα εξισώσεων 3 3 + =0 µε αρχική προσέγγιση = [ ] ( k+ ) ( k) 3 < 0. 3 = 0 3 = = =.. Οι επαναλήψεις να σταµατήσουν όταν 4/6
Ιαν. 009 Απάντηση: Βρίσκουµε τον Jacobian πίνακα: και τον αντίστροφό του: ( ) J ( 3 3) + ( 6) 3 3 6 = 6 3 3 3 3 6 4 4 6 3 3 3 + 6 + 3 J = = Οι επαναλήψεις φαίνονται στον ακόλουθο πίνακα: k 0 ( k) ( k) ( k) ( k ) 3 5 6 3 0.50869 0.84 0.57975 3 0.49933 0.86669 0.05693 4 0.5 0.86605 0.00066996 Άσκηση 4. Να διατυπωθεί η µέθοδος NR για το σύστηµα + 4= 0 = 0. Απάντηση: Ο Jacobian πίνακας είναι J ( ) = και αντιστρέφεται στον J ( ) = = 8 4. Έτσι, η (5) παίρνει τη µορφή: ( k) ( k) ( k+ ) ( k) ( k) ( k) ( ) ( ) 4 + ( k+ ) = ( k) ( k) ( k) ( k) ( k), 4 ( k) ( k) ( ) ( ) που απλοποιείται στην ( k + ) 5 = + 4. (7) ( k + ) 3 = + 4 5/6
Ιαν. 009 Αν θυµηθούµε ότι η µέθοδος NR για την εύρεση της τετραγωνικής ρίζας ενός θετικού αριθµού A γράφεται ως ( k + ) A = +, έχει ενδιαφέρον να παρατηρήσουµε ότι οι εξισώσεις (7) είναι επαναλήψεις NR για προσέγγιση της 5 και της 3, αντίστοιχα. Πράγµατι, επαληθεύεται εύκολα ότι οι ρίζες του δοσµένου συστήµατος είναι οι ± 5 ± 3. 6/6