ΜΕΜ251 Αριθμητική Ανάλυση

ΜΕΜ251 Αριθμητική Ανάλυση Διάλεξη 03, 12 Φεβρουαρίου 2018 Μιχάλης Πλεξουσάκης Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών

Περιεχόμενα 1. Επαναληπτικές μέθοδοι - Γενική θεωρία 2. Η μέθοδος του Newton 1

Επαναληπτικές μέθοδοι - Γενική θεωρία

Επαναληπτικές μέθοδοι θεώρημα (σταθερού σημείου του Brouwer). Έστω g : [a, b] [a, b] συνεχής. Τότε υπάρχει ξ [a, b] τέτοιο ώστε ξ = g(ξ). Το σημείο ξ ονομάζεται σταθερό σημείο της συνάρτησης g. Απόδειξη. Αν g(a) = a ή g(b) = b, τότε η g έχει ένα σταθερό σημείο. Διαφορετικά, g(a) > a και g(b) < b. Η συνάρτηση f(x) = g(x) x είναι συνεχής στο [a, b] και ικανοποιεί f(a)f(b) < 0. Από το θεώρημα της ενδιάμεσης τιμής υπάρχει ξ (a, b) τέτοιο ώστε g(ξ) = ξ. Παρατήρηση. Η συνθήκη g([a, b]) [a, b] είναι ικανή αλλά όχι και αναγκαία. Η g(x) = 2x 2 για x [ 1, 1] είναι συνεχής, τα σημεία 0 και 1/2 είναι σταθερά σημεία της αλλά g([ 1, 1]) = [0, 2] [ 1, 1]. 2

Επαναληπτικές μέθοδοι Παράδειγμα. Έστω f(x) = e x 2x 1 για x [1, 2]. Γράφουμε την εξίσωση f(x) = 0 στη μορφή x = g(x) με g(x) = ln(2x + 1). Η g είναι συνεχής στο διάστημα [1, 2] και g(1) [1, 2], g(2) [1, 2]. Η g είναι γνήσια αύξουσα, άρα g(x) [1, 2] για κάθε x [1, 2]. Από το θεώρημα σταθερού σημείου υπάρχει ξ [1, 2] έτσι ώστε ξ = g(ξ) ή, ισοδύναμα, f(ξ) = 0. Επειδή η g είναι αύξουσα, το σταθερό σημείο είναι μοναδικό. Ερώτηση. Θα μπορούσαμε να ορίσουμε g(x) = (e x 1)/2 ή g(x) = e x x 1; Απάντηση. Όχι. Επειδή g([1, 2]) [1, 2], δεν μπορούμε να εφαρμόσουμε το θεώρημα του σταθερού σημείου του Brouwer. 3

Επαναληπτικές μέθοδοι Ιδέα. Έστω g συνεχής συνάρτηση στο [a, b] και g([a, b]) [a, b]. Για x 0 [a, b] ορίζουμε x k = g(x k 1 ), k 1. ΑΝ η ακολουθία (x k ) συγκλίνει σε ένα σημείο x τότε το x είναι σταθερό σημείο της g. Πράγματι, x = lim k x k+1 = lim k g(x k ) = g( lim k x k ) = g(x ). Μια ικανή συνθήκη για τη σύγκλιση της ακολουθίας (x k ) παρέχεται από το Θεώρημα της Συστολής ή Θεώρημα σταθερού σημείου του Banach. 4

Επαναληπτικές μέθοδοι Ορισμός. Εστω g C[a, b]. Λέμε ότι η g ικανοποιεί στο διάστημα [a, b] τη συνθήκη του Lipschitz, αν υπάρχει σταθερά L 0 τέτοια ώστε g(x) g(y) L x y x, y [a, b]. Αν 0 < L < 1, τότε η g λέγεται συστολή στο [a, b]. Παρατήρηση. Μια συνάρτηση g C 1 [a, b] ικανοποιεί στο [a, b] τη συνθήκη του Lipschitz με σταθερά L = max a x b g (x). Αντίθετα, μια συνάρτηση g C 1 (a, b) δεν ικανοποιεί κατ ανάγκη τη συνθήκη του Lipschitz στο (a, b). Πάρτε, π.χ., την g(x) = x. 5

Επαναληπτικές μέθοδοι Θεώρημα (συστολής). Έστω g : [a, b] [a, b] συστολή με σταθερά L. Τότε η g έχει στο [a, b] ένα μοναδικό σταθερό σημείο x. Επιπλέον, για τυχαίο x 0 [a, b] η ακολουθία (x n ) με x n = g(x n 1 ), n 1, είναι καλώς ορισμένη και συγκλίνει στο x. Απόδειξη. Αν υπάρχουν δύο σταθερά σημεία x y τότε x y = g(x ) g(y ) L x y < x y, άτοπο. Η ύπαρξη σταθερού σημείου έπεται από το θεώρημα σταθερού σημείου του Brouwer. An x 0 [a, b], τότε x 1 = g(x 0 ) [a, b] επειδή g : [a, b] [a, b]. Επαγωγικά συμπεραίνουμε ότι x n [a, b] n 1. Δείχνουμε τώρα ότι η ακολουθία (x n ) συγκλίνει στο μοναδικό σταθερό σημείο x. 6

Επαναληπτικές μέθοδοι Έχουμε, x n x = g(x n 1 ) g(x ) L x n 1 x, n 1, από την οποία συμπεραίνουμε ότι x n x L n x 0 x, n 1. Επειδή L < 1, έχουμε lim n L n = 0, άρα lim n x n x = 0. 7

Επαναληπτικές μέθοδοι Παράδειγμα. Έστω f(x) = e x 2x 1 για x [1, 2]. Γράφουμε την εξίσωση f(x) = 0 στη μορφή x = g(x) με g(x) = ln(2x + 1). Έχουμε g (x) = 2/(2x + 1) και g (x) = 4/(2x + 1) 2, άρα η g είναι γνήσια φθίνουσα στο [1, 2]. Επειδή g (1) = 2/3 και g (2) = 2/5 έχουμε ότι g (x) [2/5, 2/3] για κάθε x [1, 2]. Άρα η g είναι συστολή στο διάστημα [1, 2]. Από το θεώρημα της συστολής, η ακολουθία x n = g(x n 1 ) = ln(2x n 1 + 1), n 1, συγκλίνει στο μοναδικό σταθερό σημείο της g στο διάστημα [1, 2], για οποιαδήποτε αρχική τιμή x 0 [1, 2]. 8

Επαναληπτικές μέθοδοι n x n 0 1.000000 1 1.098612 2 1.162283 3 1.201339 4 1.224563 5 1.238121 6 1.245952 7 1.250447 8 1.253018 9 1.254486 10 1.255323 11 1.255800 9

Επαναληπτικές μέθοδοι. Κριτήρια τερματισμού Ερώτηση. Πότε σταματάμε τις επαναλήψεις; Έχουμε, και x n x L n x 0 x, n 1, x 0 x x 0 x 1 + x 1 x x 0 x 1 + L x 0 x, επομένως x n x Ln 1 L x 1 x 0. (1) Για να έχουμε x n x < ϵ αρκεί L n 1 L x 1 x 0 ϵ, δηλαδή, n ln x 1 x 0 ln(ϵ(1 L)). ln(1/l) 10

Επαναληπτικές μέθοδοι. Κριτήρια τερματισμού Παρατήρηση. Από τη σχέση x n+1 x n L x n x n 1 έχουμε ότι η ακολουθία δ n = x n+1 x n φθίνει μονότονα. Αν η ποσότητα δ n γίνει μικρότερη κάποιου ϵ > 0 πρώτη φορά για n = N, τότε δ n < ϵ για κάθε n N. Θέτουμε y 0 = x n 1, y 1 = g(y 0 ) = g(x n 1 ) = x n. Χρησιμοποιώντας την (1) έχουμε δηλαδή, y 1 x L 1 L y 1 y 0, x n x L 1 L x n x n 1. Επομένως, ένα κριτήριο τερματισμού των επαναλήψεων της μορφής x n+1 x n ϵ είναι ασφαλές. 11

Επαναληπτικές μέθοδοι. Ταχύτητα σύγκλισης Ορισμός. Η ακολουθία (x n ) συγκλίνει (τουλάχιστον) γραμμικά αν υπάρχει σταθερά C < 1 και N 1 τέτοια ώστε x n+1 x C x n x για n N. Λέμε ότι η σύγκλιση είναι (τουλάχιστον) τάξης p, p > 1, αν υπάρχει σταθερά C > 0 τέτοια ώστε x n+1 x C x n x p για n 1. Έστω ότι g C 1 [a, b] ικανοποιεί τις υποθέσεις του θεωρήματος της συστολής. Από το θεώρημα της μέσης τιμής έχουμε x n+1 x = g(x n ) g(x ) = g (ξ n )(x n x ), για κάποιο ξ n μεταξύ των x n και x. 12

Επαναληπτικές μέθοδοι. Ταχύτητα σύγκλισης Επειδή x n x έχουμε και ξ n x. Λόγω συνέχειας της g, ισχύει ότι x n+1 x lim n x n x = g (x ). Αν τώρα g (x ) 0 τότε η τάξη σύγκλισης της επαναληπτικής μεθόδου x n+1 = g(x n ) είναι ακριβώς ένα (γιατί;). Αν θέλουμε επαναληπτικές μεθόδους της μορφής x n+1 = g(x n ) με τάξη ακρίβειας μεγαλύτερη του ένα, θα πρέπει g (x ) 0. 13

Η μέθοδος του Newton

Η μέθοδος του Newton Ορισμός. Η μέθοδος του Newton για τη λύση της εξίσωσης f(x) = 0 είναι x n+1 = x n f(x n) f, n = 1, 2,..., (x n ) όπου x 0 είναι μια αρχική προσέγγιση της ρίζας x. Γεωμετρική ερμηνεία: η εφαπτόμενη ευθεία στην καμπύλη y = f(x) στο σημείο (x n, f(x n )) είναι η y f(x n ) = f (x n )(x x n ). Αυτή τέμνει τον x-άξονα στο σημείο (x n+1, 0). H μέθοδος του Newton είναι μια επαναληπτική μέθοδος με συνάρτηση επανάληψης την g(x) = x f(x)/f (x). 14

Η μέθοδος του Newton Αν f (x ) 0 και η f είναι δύο φορές παραγωγίσιμη σε μια γειτονιά του x, έχουμε g (x) = f(x)f (x) [f (x)] 2 άρα g (x ) = 0. Αυτό σημαίνει ότι η τάξη σύγκλισης της μεθόδου του Newton είναι μεγαλύτερη του ένα. 15

Η μέθοδος του Newton Παράδειγμα. Έστω f(x) = e x 2x 1 για x [1, 2]. Χρησιμοποιούμε τη συνάρτηση επανάληψης g(x) = ln(2x + 1) και τη μέθοδο του Newton. Και για τις δύο μεθόδους, x 0 = 1. Επανάληψη Newton 1.098612 1.392211 1.162283 1.273957 1.201339 1.256778 1.224563 1.256431 1.238121 1.256431 1.245952 1.256431 1.250447 1.256431 1.253018 1.256431 1.254486 1.256431 16

Η μέθοδος του Newton Θεώρημα. Έστω x απλή ρίζα της f και έστω ότι η f είναι δύο φορές συνεχώς παραγωγίσιμη σε μια περιοχή του x. Τότε υπάρχει διάστημα I με μέσον το x, τέτοιο ώστε για κάθε x 0 I η ακολουθία (x n ) που παράγει η μέθοδος του Newton συγκλίνει στο x. Επιπλέον x n+1 x lim n (x n x ) 2 = f (x ) 2f (x ), (2) δηλαδή η σύγκλιση είναι τουλάχιστον τετραγωνική. Αν f (x ) 0, η τάξη σύγκλισης είναι ακριβώς δύο. Απόδειξη. Η συνάρτηση επανάληψης της μεθόδου του Newton, g(x) = x f(x)/f (x), είναι συνεχώς παραγωγίσιμη σε μια περιοχή του x και g (x ) = 0. Άρα υπάρχει διάστημα I με μέσον το x τέτοιο ώστε max x I g (x) = L < 1. 17

Η μέθοδος του Newton Για x I έχουμε g(x) x = g(x) g(x ) L x x x x, άρα g(x) I. Δηλαδή η g απεικονίζει το I στον ευατό του και είναι συστολή στο I. Η σύγκλιση της ακολουθίας (x n ) στο x έπεται από θεώρημα της συστολής. Από το θεώρημα του Taylor f(x n ) = f(x ) + (x n x )f (x ) + (x n x ) 2 f (ξ n,1 ) 2 με ξ n,1, ξ n,2 μεταξύ x και x n. f (x n ) = f (x ) + (x n x )f (ξ n,2 ) 18

Η μέθοδος του Newton Αντικαθιστώντας στη σχέση x n+1 = x n f(x n )/f (x n ) έχουμε x n+1 x = (x n x ) 2 f (ξ n,2 ) 1 2 f (ξ n,1 ) f (x ) + (x n x )f (ξ n,2 ), από την οποία προκύπτει η (2). Παρατηρήσεις Η σύγκλιση είναι ταχύτατη εφόσον κάποιο x n βρεθεί στο διάστημα I Το διάστημα I δεν είναι γνωστό και μπορεί να είναι πολύ μικρό Είναι απαραίτητος ο προσδιορισμός καλών αρχικών τιμών 19

Η μέθοδος του Newton. Ολική σύγκλιση Υπό προϋποθέσεις, η μέθοδος του Newton συγκλίνει ακόμα και όταν η αρχική προσέγγιση x 0 δεν είναι κοντά στη ρίζα. Ένα παράδειγμα τέτοιας περίπτωσης φαίνεται παρακάτω: Πρόταση. Έστω f C 2 [a, ) και f (x) > 0, f (x) > 0 για x a. Έστω ακόμα f(a) < 0. Τότε η f έχει μια μόνο πραγματική ρίζα ρ στο διάστημα [a, ). Για οποιοδήποτε x 0 a η ακολουθία (x n ), που παράγει η μέθοδος του Newton, συγκλίνει στην ρ. Παράδειγμα. Η εξίσωση f(x) = x 3 + x 1 = 0 έχει ακριβώς μια πραγματική ρίζα ρ και μάλιστα ρ (0, 1). Έχουμε f (x) = 3x 2 + 1, f (x) = 6x και f(0) = 1, άρα η ακολουθία (x n ) της μεθόδου του Newton συγκλίνει στην ρ για οποιαδήποτε αρχική τιμή x 0 0. Επίσης, αν x 0 < 0 τότε x 1 > 0 άρα η μέθοδος του Newton συγκλίνει για οποιοδήποτε x 0 R. 20

Η μέθοδος του Newton. Ολική σύγκλιση Παράδειγμα. Έστω f(x) = 2x 3 4x + 1. Εύκολα βλέπουμε ότι η f έχει τρεις ρίζες ρ 1 < ρ 2 < ρ 3 με ρ 1 ( 2, 1), ρ 2 (0, 1) και ρ 3 (1, 2). Έχουμε f (x) = 6x 2 4 και f (x) = 12x. Για x > 2/3 έχουμε f (x) > 0, f (x) > 0. Ακόμα, f( 2/3) < 0 άρα, από την προηγούμενη πρόταση, η μέθοδος του Newton συγκλίνει στη ρίζα ρ 3 για οποιαδήποτε αρχική τιμή x > 2/3. Για x < 2/3 έχουμε f (x) > 0, f (x) < 0. Αν ρ 1 < x 0 < 2/3 τότε, x 1 x 0 = f(x 0 )/f (x 0 ) < 0. Επιπλέον, f(x 1 ) = f(x 0 ) + (x 1 x 0 )f (x 0 ) + f (ξ) 2 (x 1 x 0 ) 2 = f (ξ) 2 (x 1 x 0 ) 2 < 0, όπου ξ (x 1, x 0 ). Επομένως x 1 < ρ 1. Υποθέτουμε λοιπόν ότι x 0 < ρ 1. 21

Η μέθοδος του Newton. Ολική σύγκλιση Από τη σχέση x n+1 = x n f(x n )/f (x n ) βλέπουμε ότι αν x n < ρ 1 τότε x n+1 > x n. Ακόμα, από το θεώρημα του Taylor έχουμε 0 = f(ρ 1 ) = f(x n ) + (ρ 1 x n )f (x n ) + (ρ 1 x n ) 2 f (ξ n ), 2 για κάποιο ξ n μεταξύ ρ 1 και x n. Επομένως, x n < ρ 1. Η ακολουθία (x n ) είναι αύξουσα και φραγμένη από επάνω, άρα συγκλίνει. Το γεγονός ότι συγκλινει στο ρ 1 φαίνεται παίρνοντας όρια στη σχέση x n+1 = x n f(x n )/f (x n ). H περίπτωση x < 2/3 αφήνεται ως άσκηση 22

Ερωτήσεις; 22