Τ Ε Τ Υ Π Κ Εισαγωγή στην Αριθμητική Ανάλυση Σημειώσεις Διαλέξεων και Εργαστηρίων Ηράκλειο Ιούνιος 015
Copyright c 005 014 Στη συγγραϕή συνεισέϕεραν οι Μ Γραμματικάκης, Θ Καλαμπούκης, Γ Κοπιδάκης, Ν Παπαδάκης, Σ Σταματιάδης (stamatis@materialsuocgr) Η στοιχειοθεσία έγινε από τον Σ Σταματιάδη με τη χρήση του LaTEXε Τελευταία τροποποίηση του κειμένου έγινε στις 6 Ιουνίου 015 Η πιο πρόσϕατη έκδοση βρίσκεται στο http://wwwmaterialsuocgr/el/undergrad/courses/ety13
Περιεχόμενα Περιεχόμενα i 1 Σϕάλματα 1 11 Εισαγωγή 1 1 Ασκήσεις 3 Επίλυση μη Γραμμικών Εξισώσεων 5 1 Εισαγωγή 5 11 Χρήσιμα ϑεωρήματα 6 1 Ταχύτητα σύγκλισης 6 13 Ευστάθεια 6 14 Εύρεση περισσότερων της μίας ριζών 6 Μέθοδος Διχοτόμησης 7 1 Ακρίβεια αλγορίθμου διχοτόμησης 8 Σύγκλιση αλγορίθμου διχοτόμησης 9 3 Αριθμός επαναλήψεων αλγορίθμου διχοτόμησης 10 3 Μέθοδος ψευδούς σημείου 10 4 Μέθοδος Σταθερού Σημείου x = g(x) 10 41 Ορισμός Σχετικά Θεωρήματα 11 4 Σύγκλιση της μεθόδου σταθερού σημείου 1 5 Μέθοδοι Householder 13 51 Μέθοδος Newton Raphson 13 5 Μέθοδος Halley 16 6 Μέθοδος τέμνουσας 16 61 Σύγκλιση της μεθόδου τέμνουσας 17 7 Μέθοδος Müller 17 8 Μέθοδος Dekker 18 9 Ασκήσεις 18 3 Επίλυση Γραμμικών Συστημάτων 1 31 Εισαγωγή 1 311 Ευστάθεια γραμμικών συστημάτων 1 31 Ορισμοί Βασικές γνώσεις 3 Απευθείας μέθοδοι 4 31 Μέθοδος Cramer 4 3 Απαλοιϕή Gauss 4 33 Μέθοδος Gauss Jordan 30 i
ii Περιεχόμενα 34 Ανάλυση LU 30 33 Επαναληπτικές Μέθοδοι 33 331 Στατικές μέθοδοι 33 34 Εϕαρμογές 35 341 Υπολογισμός του αντίστροϕου πίνακα 35 34 Υπολογισμός ορίζουσας 37 343 Εύρεση ιδιοτιμών και ιδιοδιανυσμάτων 38 35 Ασκήσεις 39 4 Προσέγγιση Συναρτήσεων 41 41 Προσέγγιση με πολυώνυμο 41 411 Σϕάλμα προσέγγισης με πολυώνυμο 43 4 Προσέγγιση με λόγο πολυωνύμων 44 43 Προσέγγιση κατά τμήματα με πολυώνυμα ελάχιστου βαθμού 45 44 Προσέγγιση με spline 45 45 Προσέγγιση παραγώγων 46 46 Προσέγγιση με τη μέθοδο ελάχιστων τετραγώνων 48 461 Ευθεία ελάχιστων τετραγώνων 48 46 Πολυώνυμο ελάχιστων τετραγώνων 49 463 Καμπύλη ελάχιστων τετραγώνων της μορϕής f (y) = αg(x) + β 50 47 Ασκήσεις 51 5 Αριθμητική Ολοκλήρωση 53 51 Εισαγωγή 53 511 Ολοκληρώματα με μη πεπερασμένα όρια ολοκλήρωσης 53 5 Κανόνας Τραπεζίου 54 51 Σϕάλμα ολοκλήρωσης κανόνα τραπεζίου 55 5 Εκτεταμένος τύπος τραπεζίου 55 53 Σϕάλμα ολοκλήρωσης εκτεταμένου τύπου τραπεζίου 56 53 Κανόνας Simpson 57 531 Σϕάλμα ολοκλήρωσης κανόνα Simpson 57 53 Εκτεταμένος τύπος Simpson 58 533 Σϕάλμα ολοκλήρωσης εκτεταμένου τύπου Simpson 58 54 Κανόνας Simpson των 3 /8 59 541 Εκτεταμένος τύπος Simpson των 3 /8 59 55 Εναλλακτικός τρόπος υπολογισμού των τύπων Newton Cotes 59 56 Μέθοδοι Gauss 60 561 Μέθοδος Gauss Legendre 60 56 Μέθοδος Gauss Hermite 6 563 Μέθοδος Gauss Laguerre 6 564 Μέθοδος Gauss Chebyshev 63 57 Μέθοδος Clenshaw Curtis 63 58 Ειδικές Περιπτώσεις 64 581 Ολοκλήρωση σε άνισα τμήματα 64 59 Ασκήσεις 64
Περιεχόμενα iii 6 Μετασχηματισμός Fourier 69 61 Εισαγωγή 69 6 Σειρά Fourier 69 61 Εκθετική μορϕή της σειράς Fourier 71 63 Διακριτός μετασχηματισμός Fourier (DFT) 7 631 Γρήγορος υπολογισμός του DFT Αλγόριθμος FFT 73 64 Ασκήσεις 74 7 Διαϕορικές Εξισώσεις 75 71 Γενικά 75 7 Εισαγωγή 75 71 Διωνυμικό Ανάπτυγμα 76 73 Κατηγορίες και Λύσεις Διαϕορικών Εξισώσεων 77 731 Πρωτοβάθμιες ΔΕ 77 73 Δευτεροβάθμιες ΔΕ 77 733 Σύστημα πρωτοβάθμιων ΔΕ με σταθερούς συντελεστές 78 74 Μέθοδος Σειράς Taylor 79 741 Μέθοδος Euler 81 74 Σϕάλμα Μεθόδου Taylor 8 75 Μέθοδος Runge Kutta 83 751 Μέθοδος Runge Kutta ου βαθμού 84 75 Μέθοδος Runge Kutta 4 ου βαθμού 85 753 Σχόλια 86 76 Τελεστές Διαϕορών 86 761 Ιδιότητες 87 76 Άλλοι τελεστές 88 763 Γενικευμένοι τύποι του Newton 90 764 Εϕαρμογή των τελεστών στον υπολογισμό ολοκληρωμάτων 90 77 Πολυβηματικές Μέθοδοι 9 771 Μέθοδος Adams Bashforth 9 77 Μέθοδος Adams Moulton 93 773 Μέθοδοι Πρόβλεψης Διόρθωσης (Predictor Corrector) 94 78 Συστήματα Διαϕορικών Εξισώσεων 96 79 Εξισώσεις Διαϕορών 98 791 Εξίσωση διαϕορών πρώτου βαθμού 99 79 Εξίσωση διαϕορών δεύτερου βαθμού 99 793 Μη ομογενείς εξισώσεις διαϕορών 101 794 Σχόλια 101 710 Αριθμητική Ευστάθεια 10 711 Απόλυτη Ευστάθεια 106 71 Ασκήσεις 106 αʹ Ολοκληρώματα 113 Κατάλογος Πινάκων 115 Ευρετήριο 116
iv Περιεχόμενα
Κεϕάλαιο 1 Σϕάλματα 11 Εισαγωγή Η αναπαράσταση πραγματικών ή ακεραίων αριθμών δεν είναι πάντα δυνατή με ακρίβεια λόγω της πεπερασμένης μνήμης του Η/Υ Για παράδειγμα, ο αριθμός y R αναπαρίσταται ως (βάση δεκαδικών αριθμών) ỹ = ±0d 1 d d K 10 ±s, όπου 1 d 1 9, 0 d i 9, i {, 3,, K} και 0 s M, με K,M σταθερές εξαρτώμενες από τον εκάστοτε Η/Υ Ετσι έχουμε, αν K = 6, M = 10 π = 0314159 10 1, ενώ αν K = 5, M = 10 π = 031416 10 1, Το σϕάλμα στρογγύλευσης (round-off error) ορίζεται ως y ỹ Ο αριθμός K αποτελεί το πλήθος των σημαντικών ψηϕίων (significant digits) Παρατηρήσεις: 1 Αν ο αριθμός y (ή και αποτέλεσμα ενδιάμεσης πράξης) υπερβαίνει κατ απόλυτη τιμή το μέγιστο αναπαραστάσιμο στον Η/Υ αριθμό, έχουμε υπερχείλιση (overflow) Αντίστοιχα, αν είναι κατ απόλυτη τιμή μικρότερος από το μικρότερο αναπαραστάσιμο στον Η/Υ αριθμό, τότε έχουμε υπεκχείλιση (underflow) Η τιμή που ϑα αποκτήσει αυτός και στις δύο περιπτώσεις είναι απροσδιόριστη, ο υπολογισμός όμως μπορεί να συνεχίσει με, σχεδόν σίγουρα, λάθος αποτέλεσμα Σε υπολογιστές που υλοποιούν το πρότυπο αναπαράστασης αριθμών IEEE οι τιμές είναι αντίστοιχα ±infinity (το πλησιέστερο άπειρο ) και ±0 1 1 στο πρότυπο υπάρχει διάκριση μεταξύ των +0 (από τη κατεύθυνση των ϑετικών αριθμών) και 0 (από τους αρνητικούς) 1
Κεϕάλαιο 1 Σϕάλματα Ο τρόπος αναπαράστασης που περιγράϕηκε μπορεί να αποθηκεύσει ακριβώς ένα πεπερασμένο πλήθος πραγματικών αριθμών Οι υπόλοιποι προσεγγίζονται με έναν από αυτούς, είτε με αποκοπή είτε με στρογγύλευση, ανάλογα με τον υπολογιστή Παράδειγμα: Εστω ότι ϑέλουμε να υπολογίσουμε το άθροισμα των αριθμών x = 58916 και y = 0773414 σε υπολογιστή με K = 5 στο μοντέλο αναπαράστασής του Εστω ακόμα ότι αυτή γίνεται με στρογγύλευση Οι αριθμοί x, y επομένως αποθηκεύονται ως x = 058913 10 4, ỹ = 077341 10 1 Πριν την εκτέλεση της πράξης οι αριθμοί τροποποιούνται ώστε να έχουν τον ίδιο εκθέτη στην αναπαράσταση: x = 058913 10 4, ỹ = 000001 10 4 Επομένως, το άθροισμα στον υπολογιστή των αριθμών x, y είναι 058914 10 4 = 58914 ενώ η αλγεβρική πρόσθεσή τους δίνει ως αποτέλεσμα το 58913373414, το οποίο στρογγυλευόμενο σε K ψηϕία είναι 58913 3 Συνέπεια της πεπερασμένης αναπαράστασης είναι ακόμα το ότι το αποτέλεσμα σύν- ϑετων εκϕράσεων δεν ακολουθεί απαραίτητα τους κανόνες της άλγεβρας Πχ αν x = 58916, y = 0773414, z = 007 και K = 5 έχουμε x = +058913 10 4, ỹ = +077341 10 1, z = 070000 10 1 Η πράξη x + y + z στον υπολογιστή έχει διαϕορετικό αποτέλεσμα αν εκτελεστεί ως (x + y) + z από αυτό που προκύπτει αν εκτελεστεί ως x + (y + z) (υπολογίστε τα!) 4 Προσέξτε ότι στο μοντέλο που περιγράψαμε ισχύει 1 + x = 1 για κάθε x με x < 5 10 K Αυτό σημαίνει ότι υπάρχει ένα όριο κάτω από το οποίο οι αριθμοί συμπεριϕέρονται σαν το μηδέν σε προσθέσεις ή αϕαιρέσεις με αριθμούς της τάξης του 1 Το όριο αυτό ονομάζεται έψιλον της μηχανής παρατηρήστε ότι είναι πολύ μεγαλύτερο από τον μικρότερο αριθμό που μπορεί να αναπαρασταθεί Παράδειγμα: Εστω Η/Υ με αναπαράσταση πραγματικών αριθμών με βάση το, 4 bit mantissa, 4 bit εκθέτη και με bits προσήμου Τότε έχουμε: Μέγιστος ϑετικός αριθμός (+111) (+111) = +7 7 Μέγιστος αρνητικός αριθμός ( 111) (+111) = 7 7 Ελάχιστος ϑετικός αριθμός (+001) ( 111) = +1 7 Ελάχιστος αρνητικός αριθμός ( 001) ( 111) = 1 7 Η απόπειρα αναπαράστασης ενός αριθμού x έξω από τα παραπάνω όρια δίνει υπερχείλιση αν x > 7 7 ή x < 7 7, υπεκχείλιση αν 7 < x < 7 και x 0
1 Ασκήσεις 3 Παρατηρήσεις: 1 Για τον εκθέτη μπορεί να μη χρησιμοποιηθεί bit προσήμου αλλά bias Ετσι ( N e 1 ) x ( N e 1 1) όπου N e ο αριθμός ψηϕίων του εκθέτη Για την mantissa με N m bits έχουμε N m bits ακρίβειας Συνήθως ο αριθμός είναι κανονικοποιημένος ως 1 f 1 f f 3 ή, σπανιότερα, 0 f 1 f f 3 όπου f 1, f, f 3, τα ψηϕία του δυαδικού αριθμού 1 Ασκήσεις 1 Υπολογίστε το έψιλον της μηχανής για πραγματικούς αριθμούς απλής και διπλής α- κρίβειας με τους εξής τρόπους: (αʹ) Εϕαρμόστε τον αλγόριθμο: Θέτουμε ε 1 Για όσο ισχύει 1 + ε 1 ϑέτουμε ε ε/ και επαναλαμβάνουμε (βʹ) Καλέστε τις ρουτίνες SLAMCH() και DLAMCH() της συλλογής ρουτινών LAPACK (γʹ) Καλέστε την εσωτερική συνάρτηση EPSILON() της fortran 90 Οι ρίζες του τριωνύμου ax + bx + c δίνονται ως όταν a 0 Εστω a = 1, b = 3000001, c = 3 x 1, = b ± b 4ac a, (αʹ) Υπολογίστε τα x 1, με απλή και διπλή ακρίβεια Συγκρίνετέ τα με τις ακριβείς ρίζες (x1 = 0001, x = 30000) (βʹ) Επαναλάβετε τους υπολογισμούς του προηγούμενου σκέλους εϕαρμόζοντας τον αλγεβρικά ισοδύναμο τύπο x 1, = c b b 4ac Τι παρατηρείτε ως προς την ακρίβεια των υπολογισμών σας; 3 Γράψτε κώδικα ώστε να υπολογίσετε την τιμή του e 1 εϕαρμόζοντας τη σχέση e x = lim (1 + x ) n n n Βρείτε και τυπώστε, δηλαδή, την τιμή του (1 + 1/n) n για n = 1,, 3, Τι παρατηρείτε ως προς την ταχύτητα σύγκλισης στην πραγματική τιμή του (7188188459045 ); 4 Γράψτε κώδικα που να υπολογίζει το e x εϕαρμόζοντας τη σχέση e x x n = n! n=0 Για τη διευκόλυνσή σας παρατηρήστε ότι ο nοστός όρος στο άθροισμα προκύπτει από τον αμέσως προηγούμενο αν αυτός πολλαπλασιαστεί με το x/n Δοκιμάστε τον κώδικά σας για ϑετικά και αρνητικά x Τι παρατηρείτε;
4 Κεϕάλαιο 1 Σϕάλματα 5 Γράψτε κώδικα που να υπολογίζει το sin x εϕαρμόζοντας τη σχέση sin x = ( 1) k x k+1 (k + 1)! k=0 Για τη διευκόλυνσή σας παρατηρήστε ότι ο k όρος στο άθροισμα προκύπτει από τον αμέσως προηγούμενο αν αυτός πολλαπλασιαστεί με το x k(k+1) Δοκιμάστε τον κώδικά σας για ϑετικά και αρνητικά x Τι παρατηρείτε; 6 Γράψτε κώδικα που να υπολογίζει το cos x εϕαρμόζοντας τη σχέση cos x = k=0 ( 1) k x k (k)! Δοκιμάστε τον κώδικά σας για ϑετικά και αρνητικά x Τι παρατηρείτε; 7 Να γράψετε κώδικα που μετατρέπει ένα μη αρνητικό ακέραιο αριθμό από το δεκαδικό στο δυαδικό σύστημα
Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 1 Εισαγωγή Στο κεϕάλαιο αυτό ϑα παρουσιάσουμε κάποιους αλγόριθμους (μεθόδους) εύρεσης των λύσεων μιας εξίσωσης με ένα άγνωστο Η εξίσωση έχει γενικά τη μορϕή f (x) = 0, x R (1) Οι λύσεις της, τα συγκεκριμένα σημεία x που την ικανοποιούν, λέγονται και ρίζες της συνάρτησης f (x) Στην περίπτωση που η συνάρτηση f (x) είναι γραμμική (δηλαδή, της μορϕής f (x) = ax + b) η εύρεση της ρίζας είναι τετριμμένη Οι δυσκολίες εμϕανίζονται στην αντίθετη περίπτωση και γι αυτό ϑα επικεντρωθούμε στην επίλυση μη γραμμικών εξισώσεων Οταν η f (x) είναι γενικό πολυώνυμο μέχρι και 4 ου βαθμού, υπάρχουν αναλυτικοί τύποι που δίνουν τις ρίζες της Ηδη, όμως, από τον 3 ο βαθμό είναι αρκετά δύσχρηστοι Στη γενική περίπτωση που δεν είναι πολυώνυμο, η εύρεση των ριζών (ή και η απόδειξη της ύπαρξής τους) γενικά δεν είναι δυνατή με αναλυτικούς τύπους Η επίλυση με αριθμητικές μεθόδους της εξίσωσης (1) βασίζεται στην εύρεση μιας ακολουθίας τιμών x 0, x 1,, x n, που συγκλίνουν για n σε μία ρίζα της εξίσωσης, x Κάθε μία από τις μεθόδους που ϑα δούμε, παράγει τέτοια ακολουθία με συγκεκριμένη διαδικασία και υπό ορισμένες προϋποθέσεις Επιπλέον, σε κάθε επανάληψη, μας δίνει μία εκτίμηση του εύρους της περιοχής στην οποία βρίσκεται η ρίζα γύρω από το x n : η μέθοδος παράγει μία ακολουθία ε 0, ε 1,, ε n ώστε να ισχύει x n ε n x x n + ε n, με ε n < ε n 1 Στην πράξη, η διαδικασία που παράγει τις διαδοχικές προσεγγίσεις της ρίζας δεν επαναλαμβάνεται επ άπειρον αλλά διακόπτεται όταν ϕτάσουμε στην κατάλληλη προσέγγιση της ρίζας Κατάλληλη ϑεωρείται η προσέγγιση x k όταν ικανοποιούνται μία ή περισσότερες από τις ακόλουθες γενικές συνθήκες (με ε συμβολίζουμε την επιθυμητή ακρίβεια): Η απόλυτη βελτίωση να είναι μικρή : x k x k 1 < ε x Η σχετική βελτίωση να είναι μικρή : k x k 1 x k < ε αν x k 0 Η τιμή της συνάρτησης να είναι μικρή : f (x k ) < ε, ή ειδικές συνθήκες για κάθε μέθοδο 5
6 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 11 Χρήσιμα ϑεωρήματα Θεώρημα Ενδιάμεσης Τιμής Εστω f (x) συνεχής συνάρτηση στο κλειστό διάστημα [a, b] Αν λ είναι ένας οποιοσδήποτε πραγματικός αριθμός μεταξύ των f (a), f (b) (συμπεριλαμβανομένων και αυτών), τότε υπάρχει ένα τουλάχιστον c [a, b] ώστε f (c) = λ Θεώρημα Μέσης Τιμής Εστω f (x) συνεχής συνάρτηση για x [a, b], διαϕορίσιμη στο (a, b), με παράγωγο f (x) Τότε υπάρχει ένα τουλάχιστον c [a, b] ώστε f (b) f (a) = f (c)(b a) Αν επιπλέον ισχύει f (a) = f (b) τότε σε κάποιο c [a, b] έχουμε f (c) = 0 (Θεώρημα Rolle) Θεώρημα Taylor Εστω ότι η συνάρτηση f (x), x [a, b], έχει παράγωγο τάξης n + 1 και η f n+1 (x) είναι συνεχής στο [a, b] Αν x, x 0 [a, b], x x 0, τότε υπάρχει ξ μεταξύ των x 0, x ώστε f (x) = f (x 0 )+ f (x 0 )(x x 0 )+ f (x 0 )! 1 Ταχύτητα σύγκλισης (x x 0 ) + + f n (x 0 ) (x x 0 ) n + f n+1 (ξ) n! (n + 1)! (x x 0) n+1 () Μια μέθοδος επίλυσης της εξίσωσης f (x) = 0 παράγει την ακολουθία προσεγγιστικών λύσεων x 0, x 1,, x k, η οποία συγκλίνει στη ρίζα x με μέγιστη ακρίβεια ε k x k x Η μέθοδος χαρακτηρίζεται ως α τάξης όσον αϕορά στη σύγκλιση, αν υπάρχουν α, λ > 0 ώστε Ο αριθμός λ αποτελεί την ταχύτητα (ή ρυθμό) σύγκλισης x n+1 x lim n x n x α lim ε n+1 n ε α = λ (3) n 13 Ευστάθεια Οπως ϑα δούμε, οι περισσότερες μέθοδοι εύρεσης ρίζας χρειάζονται μια αρχική προσέγγιση της λύσης (ή και περισσότερες), την οποία βελτιώνουν σε κάθε στάδιο της επίλυσης Η αριθμητική τους ευστάθεια προσδιορίζεται από τη συμπεριϕορά τους σε μεταβολές αυτής της αρχικής τιμής Μια μέθοδος είναι ευσταθής αν οποιαδήποτε κατάλληλα μικρή μεταβολή της αρχικής τιμής δεν επηρεάζει την εύρεση της ρίζας, ενώ είναι ασταθής αν μια μικρή μεταβολή της αρχικής προσέγγισης οδηγεί μακριά από τη ρίζα Γενικά, όσο υψηλότερη είναι η τάξη σύγκλισης μίας μεθόδου, τόσο λιγότερο ευσταθής είναι αυτή 14 Εύρεση περισσότερων της μίας ριζών Αν επιθυμούμε να εντοπίσουμε πολλές ρίζες μίας συνάρτησης f (x) μπορούμε να εϕαρμόσουμε τη μέθοδο της επιλογής μας με διαϕορετικές αρχικές προσεγγίσεις, ελπίζοντας ότι ϑα καταλήξουμε σε διαϕορετικές ρίζες Μια συστηματική αντιμετώπιση του προβλήματος βασίζεται στην ακόλουθη παρατήρηση: αν η συνάρτηση f (x) έχει ρίζα το x με πολλαπλότητα m (δηλαδή, ισχύει ότι f ( x) = f ( x) = = f (m 1) ( x) = 0), τότε η συνάρτηση g(x) = f (x)/(x x) m έχει ως ρίζες της όλες τις ρίζες της f (x) εκτός από το x Επομένως, εϕαρμόζουμε μία μέθοδο εύρεσης ρίζας της επιλογής μας για να υπολογίσουμε μία ρίζα, x 1 Κατόπιν, αναζητούμε τη
Μέθοδος Διχοτόμησης 7 ρίζα της g 1 (x) = f (x)/(x x 1 ) ώστε να βρούμε άλλη ρίζα x Στο επόμενο στάδιο σχηματίζουμε την g (x) = g 1 (x)/(x x ) και προσπαθούμε να την μηδενίσουμε Η διαδικασία αυτή επαναλαμβάνεται έως ότου βρούμε όσες ρίζες αναζητούμε Μέθοδος Διχοτόμησης f (x) x 1 x 0 a b x x Σχήμα 1: Σχηματική αναπαράσταση της Μεθόδου Διχοτόμησης για την εύρεση ρίζας Η μέθοδος βασίζεται στο Θεώρημα Ενδιάμεσης Τιμής (ΘΕΤ) Αν η f (x) είναι συνεχής στο [a, b] και έχουμε f (a) f (b) < 0, τότε, από το ϑεώρημα, υπάρχει c = x (a, b) ώστε f ( x) = 0 Άρα υπάρχει τουλάχιστον μία ρίζα της f (x) στο (a, b) Το συμπέρασμα αυτό αποτελεί το ϑεώρημα Weierstrass Η διαδικασία που ακολουθεί η μέθοδος διχοτομεί το διάστημα [a, b], εντοπίζει τη ρίζα σε ένα από τα δύο υποδιαστήματα και επαναλαμβάνεται στο επιλεγμένο υποδιάστημα Παράγεται έτσι μια ακολουθία διαστημάτων [a 1, b 1 ], [a, b ],,[a N, b N ] και μια ακολουθία προσεγγίσεων της ρίζας x 1 = (a 1 + b 1 )/, x = (a + b )/,,x N = (a N + b N )/ Αν ε είναι σταθερά που δηλώνει την αποδεκτή ακρίβεια, μπορούμε να ϑέσουμε ως κριτήριο τερματισμού ένα ή περισσότερα από τα γενικά κριτήρια ή το ειδικό κριτήριο για τη συγκεκριμένη μέθοδο b N a N < ε Αλγόριθμος: Επίλυση της f (x) = 0 με τη μέθοδο διχοτόμησης: 1 Επιλέγουμε δύο τιμές a, b έτσι ώστε η f (x) να είναι συνεχής στο [a, b] και να ισχύει f (a) f (b) < 0 Θέτουμε x a + b 3 Αν το x είναι ικανοποιητική προσέγγιση της ρίζας πηγαίνουμε στο βήμα 6 4 Αν ισχύει ότι f (a) f (x) < 0 τότε ϑέτουμε b x Αλλιώς, ϑέτουμε a x 5 Επαναλαμβάνουμε τη διαδικασία από το βήμα 6 Τέλος Παράδειγμα: Εστω η συνάρτηση f (x) = x 3 + 4x 10, η οποία είναι συνεχής σε όλο το διάστημα ορισμού της, (, ) Παρατηρούμε ότι f (1) = 5 και f () = 14, δηλαδή f (1) f () < 0 Επομένως, υπάρχει μία τουλάχιστον ρίζα της στο [1, ] Παρατηρούμε ακόμα ότι f (x) = 3x + 8x > 0 για κάθε x στο συγκεκριμένο διάστημα Επομένως, η f (x) είναι αύξουσα σε αυτό
8 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων n a n b n x n (a n b n )/ f (x n ) 1 100000000 00000000 150000000 3750 100000000 150000000 15000000 17969 3 15000000 150000000 137500000 01611 4 15000000 137500000 13150000 084839 5 13150000 137500000 134375000 035098 6 134375000 137500000 135937500 096409 10 1 7 135937500 137500000 136718750 03356 10 1 8 135937500 136718750 1363815 03150 10 1 9 1363815 136718750 13653438 0705 10 4 10 1363815 13653438 13645781 016047 10 1 11 13645781 13653438 136474609 079893 10 1 136474609 13653438 13649903 039591 10 13 13649903 13653438 13651130 019437 10 14 13651130 13653438 136517334 093585 10 3 15 136517334 13653438 13650386 04319 10 3 16 13650386 13653438 1365191 017995 10 3 17 1365191 13653438 1365675 053963 10 4 18 1365675 13653438 13653056 090310 10 5 19 1365675 13653056 1365865 0466 10 4 0 1365865 13653056 1365961 067174 10 5 Πίνακας 1: Ακολουθίες των διαστημάτων, της προσεγγιστικής ρίζας και της αντίστοιχης τιμής της f (x) = x 3 + 4x 10 κατά την εϕαρμογή της μεθόδου διχοτόμησης και άρα έχει μοναδική ρίζα στο [1, ] Εϕαρμόζουμε τη μέθοδο διχοτόμησης για την εύρεσή της και προκύπτουν οι ακολουθίες του Πίνακα 1 Μετά από 0 επαναλήψεις η ακρίβεια είναι x 0 x 05 b 0 a 0 095 10 6, άρα έχουμε προσδιορίσει σωστά μέχρι και το 5 δεκαδικό ψηϕίο της ρίζας Η προσεγγιστική τιμή είναι 13653 ενώ η ακριβής είναι 13653001361638 Παρατήρηση: Η μέθοδος διχοτόμησης αποτυγχάνει όταν δεν πληρούνται οι προϋποθέσεις του Θεωρήματος Ενδιάμεσης Τιμής Πχ όταν η συνάρτηση δεν είναι συνεχής, Σχήμα α, η μέθοδος εντοπίζει για ρίζα το σημείο ασυνέχειας Αντίστροϕα, αν δεν μπορούμε να εντοπίσουμε δύο σημεία στα οποία η συνάρτηση έχει ετερόσημες τιμές, δε σημαίνει ότι δεν έχει ρίζα (Σχήμα β) 1 Ακρίβεια αλγορίθμου διχοτόμησης Η μέθοδος διχοτόμησης για την εύρεση της ρίζας, x, της f (x), παράγει μια ακολουθία x 1, x, με την ιδιότητα x n x 1 n (b a), n 1
Μέθοδος Διχοτόμησης 9 f (x) f (x) 0 x 0 a b x (α) (β) Σχήμα : Σχηματικές αναπαραστάσεις συναρτήσεων για τις οποίες η μέθοδος διχοτόμησης (α) εντοπίζει μη υπαρκτή ρίζα, (β) αποτυγχάνει να εντοπίσει ρίζα στο προσδιοριζόμενο διάστημα Απόδειξη: ΘΕΤ b 1 a 1 = b a, x (a 1, b 1 ) b a = 1 (b 1 a 1 ) = 1 (b a), x (a, b ) b 3 a 3 = 1 (b a ) = 1 (b a), x (a 3, b 3 ) 1 b n a n = (b a), x (a n, b n 1 n ) Καθώς x n = 1 (a n + b n ) και είτε x n x b n είτε a n x x n, έχουμε: x x n = x 1 (a n + b n ) 1 (b n a n ) = 1 (b a) n Επομένως, lim x n = x καθώς lim (b a) = 0 Συμπεραίνουμε ότι με τον συγκεκριμένο n n αλγόριθμο, οι τιμές x n είναι διαδοχικές προσεγγίσεις της ρίζας, x Σε άπειρες επαναλήψεις καταλήγουν σε αυτή n 1 Σύγκλιση αλγορίθμου διχοτόμησης Για την ακρίβεια ε n x n x της μεθόδου έχουμε ε n+1 = b a n+1 = 1 ε n Επομένως στον τύπο (3) έχουμε α = 1 και λ = 05, δηλαδή η σύγκλιση είναι πρώτης τάξης και αρκετά αργή
10 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 3 Αριθμός επαναλήψεων αλγορίθμου διχοτόμησης Ο αριθμός απαιτούμενων επαναλήψεων της μεθόδου διχοτόμησης για να επιτύχουμε μια συγκεκριμένη ακρίβεια ε (ή λιγότερο) προκύπτει ως εξής ε n ε b a n ε n b a ( ) b a n log ε ε Παράδειγμα: Εστω η συνάρτηση f (x) = x 3 + 4x 10, συνεχής με μία ρίζα στο [1, ] Ο αριθμός απαιτούμενων επαναλήψεων της μεθόδου διχοτόμησης ώστε x n x ε = 10 5 είναι ( ) 1 n log = log 10 5 10 5 = 5 log 10 1661 Επομένως, αρκούν 17 επαναλήψεις για να έχουμε x n x 10 5 3 Μέθοδος ψευδούς σημείου Παρά το γεγονός ότι η μέθοδος διχοτόμησης είναι μια απολύτως αποδεκτή μέθοδος για τον προσδιορισμό των ριζών συναρτήσεων μιας μεταβλητής, η μέθοδος είναι σχετικά αναποτελεσματική Ενα μειονέκτημα της μεθόδου διχοτόμησης είναι ότι με τον χωρισμό του διαστήματος από x 1 σε x σε ίσα μισά, δε λαμβάνεται υπόψη η πληροϕορία για το μέγεθος των f (x 1 ) και f (x ) Η μέθοδος ψευδούς σημείου είναι μια τροποποίηση της μεθόδου διχοτόμησης ώστε η νέα προσέγγιση της ρίζας να εξαρτάται από τις τιμές των f (a) και f (b) Στη νέα μέθοδο υπολογίζουμε την ευθεία που περνά από τα σημεία (a, f (a)) και (b, f (b)) σε κάθε επανάληψη, και ως νέα προσέγγιση ορίζουμε την τομή αυτής με τον άξονα των x (αντί για το μέσο του [a, b] της μεθόδου διχοτόμησης) Εύκολα μπορεί να δειχθεί ότι η ευθεία είναι η Επομένως, x = a y = f (a) + f (a) f (b) (x a) a b f (a) b f (a) a f (b) (a b) = f (a) f (b) f (a) f (b) Οπως και στη μέθοδο διχοτόμησης, μετακινούμε σε κάθε επανάληψη το ένα από τα δύο άκρα στο x ώστε η ρίζα να περικλείεται πάντα Προσέξτε όμως ότι σε αυτή τη μέθοδο, το μήκος των διαδοχικών διαστημάτων [a, b] δεν είναι απαραίτητο να τείνει στο 0 Η μέθοδος ψευδούς σημείου είναι γενικά πιο γρήγορη από τη μέθοδο διχοτόμησης έχει τάξη σύγκλισης α > 1 Υπάρχουν, όμως, περιπτώσεις συναρτήσεων που η σύγκλιση σε ρίζα τους με αυτή τη μέθοδο είναι γραμμική ή και πιο αργή από τη μέθοδο διχοτόμησης 4 Μέθοδος Σταθερού Σημείου x = g(x) Το πρόβλημα εύρεσης (πραγματικής) λύσης της f (x) = 0 είναι ισοδύναμο με την επίλυση της εξίσωσης x = g(x) όπου g(x) κατάλληλη συνάρτηση Ειδικές μορϕές της g(x) δίνουν ευσταθείς και γρήγορους επαναληπτικούς αλγορίθμους για την εύρεση της λύσης
4 Μέθοδος Σταθερού Σημείου x = g(x) 11 Αλγόριθμος: Εστω η αρχική λύση (προσέγγιση) x 0 Κατασκευάζουμε την ακολουθία x 0, x 1, x,, x n ως εξής: x 1 = g(x 0 ), x = g(x 1 ), x 3 = g(x ),, x n = g(x n 1 ) Αν η ακολουθία συγκλίνει σε ένα σημείο x και καθώς η g(x) είναι συνεχής 1 έχουμε Άρα 1 Θέτουμε στο x την αρχική προσέγγιση x lim n x n = lim n g(x n 1 ) = g( lim n x n 1 ) g( x) Ελέγχουμε αν ικανοποιείται το κριτήριο τερματισμού (όποιο έχουμε επιλέξει) Αν ναι, πηγαίνουμε στο βήμα 4 3 Θέτουμε x g(x) και επαναλαμβάνουμε από το βήμα 4 Τέλος 41 Ορισμός Σχετικά Θεωρήματα Ορισμός Η συνάρτηση g(x) έχει σταθερό σημείο στο [a, b] αν υπάρχει ϱ [a, b] ώστε g(ϱ) = ϱ Κριτήριο ύπαρξης σταθερού σημείου Εστω g(x) συνεχής συνάρτηση στο [a, b], με a g(x) b, x [a, b] Τότε η g(x) έχει τουλάχιστον ένα σταθερό σημείο στο [a, b] Απόδειξη: Ισχύει g(a) a, g(b) b Ορίζουμε τη συνεχή συνάρτηση h(x) = g(x) x Τότε h(a) 0, h(b) 0 Το ΘΕΤ εξασϕαλίζει ότι υπάρχει x ώστε h( x) = 0 Παράδειγμα: Εστω g(x) = 3 x, x [0, 1] Εχουμε g(0) = 1, g(1) = 1 /3 και g (x) = 3 x ln 3 < 0 x [0, 1] Η g(x) είναι ϕθίνουσα και 0 < 1 /3 g(x) 1 x [0, 1] Από το κριτήριο ύπαρξης προκύπτει ότι η g(x) έχει τουλάχιστον ένα σταθερό σημείο (μοναδικό καθώς είναι ϕθίνουσα) Μοναδικότητα σταθερού σημείου Εστω g(x) συνεχής και διαϕορίσιμη συνάρτηση στο [a, b], με a g(x) b και g (x) < 1 x [a, b] Τότε η g(x) έχει μοναδικό σταθερό σημείο στο [a, b] Απόδειξη: Εστω p, r δύο σταθερά σημεία στο [a, b] με p r ϑα έχουμε τότε p r = g(p) g(r) Από το Θεώρημα Μέσης Τιμής προβλέπεται ότι υπάρχει ξ [a, b] ώστε g(p) g(r) = g (ξ)(p r) Επομένως, στο συγκεκριμένο ξ έχουμε g (ξ) = 1, αντίθετα με την αρχική υπόθεση Παράδειγμα: Η g(x) = x 1 έχει μοναδικό σταθερό σημείο στο [ 1, 1] καθώς, όταν x 1, 3 ισχύει α) 1 /3 g(x) 0 και κατ επέκταση, 1 < g(x) < 1, και β) g (x) = x/3 < 1 1 ορισμός συνέχειας της g(x): lim n g(x n ) = g(lim n x n )
1 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 4 Σύγκλιση της μεθόδου σταθερού σημείου Εστω g(x) συνεχής και διαϕορίσιμη συνάρτηση στο [a, b], με a g(x) b και g (x) k < 1 x [a, b] Τότε, αν x 0 [a, b], η ακολουθία x n+1 = g(x n ), n = 0, 1, συγκλίνει στο μοναδικό σταθερό σημείο, x, της g(x) στο [a, b] Η ακρίβεια είναι x n x k n max(x 0 a, b x 0 ), n 1 Η γενική επαναληπτική μέθοδος x n+1 = g(x n ), n = 0, 1, είναι πρώτης τάξης αν g (x) 0, δεύτερης τάξης αν g (x) = 0 και η g (x) είναι συνεχής σε διάστημα που περικλείει τη ρίζα, κλπ Παραδείγματα: 1 Εστω η συνάρτηση f (x) = x 6x+5 με ρίζες 10, 50 Ας δοκιμάσουμε να τις εντοπίσουμε με την επαναληπτική σχέση g(x) = x + 5 = x 6 Για x 0 = 5 έχουμε x 1 = g(x 0 ) = 18750 x = g(x 1 ) 14193 x 3 = g(x ) 11691 x 4 = g(x 3 ) 10611 x 5 = g(x 4 ) 1010 x 6 = g(x 5 ) 10078 x 7 = g(x 6 ) 1004 x 8 = g(x 7 ) 10008 x 9 = g(x 8 ) 10003 x 10 = g(x 9 ) 10001 x 11 = g(x 10 ) 10000 Αν δοκιμάσουμε άλλο αρχικό σημείο ϑα έχουμε πάλι σύγκλιση στο 1 ή απόκλιση στο + Μπορεί να αποδειχθεί ότι κανένα σημείο εκτός από το x 0 = 50 δε δίνει ακολουθία με όριο την άλλη ρίζα Ας υπολογίσουμε τις ρίζες της f (x) = ln x x +, x > 0 Γράϕουμε g(x) = ln x + = x Καθώς η g(x) είναι αύξουσα και g(1) =, υπάρχει ρίζα στο [0, 1] Από το γράϕημα (Σχήμα 3) παρατηρούμε ότι η άλλη ρίζα είναι x 31 Αν δοκιμάσουμε με αρχική προσέγγιση x 0 {05, 10, 15, 0, 40, }, έχουμε σύγκλιση στη ρίζα x = 3146193 Αντίθετα, δεν μπορούμε να βρούμε αρχικό σημείο για να εντοπίσουμε την άλλη ρίζα Παρατηρήστε ότι για x 0 e ή x 0 e e,, x 0 0158594339563 δεν ορίζεται ακολουθία (Η τιμή 0158594339563 είναι η άλλη ρίζα μπορείτε να την εντοπίσετε έχοντας ως g(x) = e x ) Εξετάστε τη σύγκλιση με διάϕορα αρχικά x για την g(x) = x Παρατηρήστε ότι διαx 1 ϕορετική επιλογή της g(x) και της αρχικής προσέγγισης μας δίνει διαϕορετική ταχύτητα σύγκλισης (διαϕορετικό αριθμό επαναλήψεων) ln x+1
5 Μέθοδοι Householder 13 y 5 4 y = g(x) 3 y = x 1 0-1 0 1 3 4 5 x Σχήμα 3: Εκτίμηση των σταθερών σημείων της g(x) = ln x + 3 Η f (x) = x 3 + 4x 10 = 0 έχει μία ρίζα στο [1, 15] Η μέθοδος x = g(x) έχει διαϕορετική ταχύτητα σύγκλισης ανάλογα με την επιλογή της g(x), πχ g(x) = x x 3 4x + 10, 10 g(x) = x 4x, g(x) = 10 4+x, g(x) = 1 10 x 3, κλπ 5 Μέθοδοι Householder Η οικογένεια μεθόδων Householder αποτελείται από επαναληπτικές μεθόδους για την εύρεση ρίζας μιας συνάρτησης με συνεχείς παραγώγους τουλάχιστον μέχρι την τάξη d + 1 Η γενική σχέση που παράγει την ακολουθία x 0, x 1, x, είναι x n+1 = x n + d (1/ f )(d 1) (x n ) (1/ f ) (d) (x n ), (4) και για να ξεκινήσει χρειάζεται μία αρχική προσέγγιση x 0 Η τάξη της σύγκλισης είναι d + 1 Παρακάτω ϑα δούμε αναλυτικά την μέθοδο για d = 1, που έχει την ειδική ονομασία Newton-Raphson και ϑα αναϕέρουμε την μέθοδο για d = με την ειδική ονομασία Halley 51 Μέθοδος Newton Raphson Η μέθοδος Newton Raphson είναι επαναληπτική μέθοδος της μορϕής x = g(x) Η επιλογή της g(x) γίνεται ως εξής: Εστω ότι αναζητούμε τη ρίζα της συνεχούς και διαϕορίσιμης, σε διάστημα [a, b], συνάρτησης f (x) Αν γνωρίζουμε την τιμή αυτής και των παραγώγων της σε κάποιο σημείο x 0 [a, b], το Θεώρημα Taylor, (), μας εξασϕαλίζει ότι στη ρίζα, x [a, b], ισχύει f ( x) = f (x 0 ) + f (x 0 )( x x 0 ) + f (ξ) ( x x 0 ), (5)! όπου ξ ( x, x 0 ) Αγνοώντας τον όρο του υπολοίπου και καθώς ισχύει ότι f ( x) = 0, έχουμε 0 f (x 0 ) + f (x 0 )( x x 0 ) x x 0 f (x 0) f (x 0 )
14 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων y tan ω i = f (x i) x i 1 x i ω 1 x 1 x x 0 x Σχήμα 4: Σχηματική εύρεση ρίζας με τη μέθοδο Newton Raphson Επομένως, η συνάρτηση g(x) = x f (x) f (x) μπορεί να παράξει με τη μέθοδο σταθερού σημείου την ακολουθία διαδοχικών προσεγγίσεων στη ρίζα αρκεί να έχουμε f (x n ) 0: x n+1 = x n f (x n) f (x n ) (6) Παρατηρήστε ότι σε κάθε επανάληψη πρέπει να υπολογίσουμε τις τιμές δύο συναρτήσεων ( f (x), f (x)) Εύκολα δείχνεται ότι ο τύπος της μεθόδου αυτής μπορεί να προκύψει από τον γενικό τύπο των μεθόδων Householder, (4), για d = 1 Θεώρημα (χωρίς απόδειξη): Εστω ότι η f (x) είναι συνεχής και τουλάχιστον δύο ϕορές παραγωγίσιμη στο [a, b], με συνεχή τη δεύτερη παράγωγό της Αν x ρίζα της f (x) στο [a, b] (δηλαδή f ( x) = 0) και f (x) 0 τότε υπάρχει δ > 0 ώστε η ακολουθία {x n } που ορίζεται με τη μέθοδο Newton Raphson συγκλίνει στο x, x 0 [ x δ, x + δ] Παράδειγμα: Εστω f (x) = x 6x + 5 Εχουμε x n+1 = x n x n 6x n + 5 x n 6, n = 0, 1,, Οι διαδοχικές προσεγγίσεις των ριζών 10, 50 με αρχικά σημεία 0, 60 είναι οι εξής n x n (1) x n () 0 0 60 1 05 516666666666667 095 5006410564106 3 09993904390439 50000104006 4 0999999907077705 5000000000061 5 0999999999999998 50 6 10
5 Μέθοδοι Householder 15 Σύγκλιση αλγορίθμου Newton Raphson Ας υπολογίσουμε την ακρίβεια ε n x n x της μεθόδου Από τον τύπο (6) έχουμε x n+1 x = x n f (x n) f (x n ) x = f (x n )(x n x) f (x n ) f (x n ) = 1 ( f (xn f ) + f (x n )( x x n ) ) (x n ) Λαμβάνοντας υπόψη τη σχέση (5) έχουμε x n+1 x = 1 ( f f ( x) f ) (ξ) ( x x n ) = f (ξ) (x n ) f (x n ) ( x x n) Επομένως ε n+1 = f (ξ) f (x n ) ε n, με ξ μεταξύ των x n και x Συμπεραίνουμε ότι η μέθοδος είναι δεύτερης τάξης, παρουσιάζει δηλαδή τετραγωνική σύγκλιση Αρκούν λίγα βήματα για να έχουμε πολύ ικανοποιητική προσέγγιση της ρίζας, με την προϋπόθεση ότι ϑα ξεκινήσουμε από σημείο όχι μακριά από αυτή Από την άλλη, αν f ( x) 0 έχουμε πολύ αργή σύγκλιση Η μέθοδος αυτή μπορεί να χρησιμοποιηθεί για την εύρεση μιγαδικής ρίζας πραγματικής ή μιγαδικής συνάρτησης Σε αυτήν την περίπτωση παίζει πολύ σημαντικό ρόλο η κατάλληλη επιλογή της αρχικής (μιγαδικής) τιμής ώστε να έχουμε σύγκλιση Μέθοδοι Newton Raphson για πολλαπλές ρίζες Αν η ρίζα x είναι πολλαπλή με πολλαπλότητα m, δηλαδή ισχύει f ( x) = f ( x) = = f (m 1) ( x) = 0, με f (m) ( x) 0, μπορεί να δειχθεί ότι ο τύπος Newton Raphson συγκλίνει γραμμικά Χρειάζεται τροποποίηση αν ϑέλουμε να διατηρήσει την τετραγωνική σύγκλιση Παρατηρήστε ότι η συνάρτηση f (x) με ρίζα το x, πολλαπλότητας m, μπορεί να γραϕεί στη μορϕή f (x) = (x x) m g(x), όπου g(x) συνάρτηση για την οποία το x δεν είναι ρίζα Συνεπώς, η συνάρτηση h 1 (x) = m f (x) έχει απλή ρίζα το x Ο τύπος Newton Raphson, (6), για αυτή τη συνάρτηση αναμένουμε να έχει τετραγωνική σύγκλιση Η εϕαρμογή του δίνει x n+1 = x n h 1(x n ) h 1 (x n) = x n x n+1 = x n m f (x n) f (x n ) m f (x) m f (x) m f (x) f (x) Εύκολα δείχνεται ότι και η συνάρτηση h (x) = f (x)/ f (x) έχει απλή ρίζα το x Η εϕαρμογή του τύπου Newton Raphson σε αυτή δίνει άλλον ένα τύπο με τετραγωνική σύγκλιση: x n+1 = x n h (x n ) h (x n) x n+1 = x n f (x n ) f (x n ) [ f (x n )] f (x n ) f (x n )
16 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 5 Μέθοδος Halley Εστω ότι η συνάρτηση f (x) έχει απλές ρίζες σε κάποιο διάστημα, δεν μηδενίζονται δηλαδή ταυτόχρονα οι f (x), f (x) Τότε οι συναρτήσεις f (x) και g(x) = f (x)/ f (x) έχουν τις ίδιες ρίζες Η εϕαρμογή της μεθόδου Newton Raphson για την εύρεση ρίζας της g(x) δίνει x n+1 = x n g(x n) g (x n ) = x f (x n ) f (x n ) n [ f (x n )] f (x n ) f (x n ) Ο τύπος της μεθόδου αυτής μπορεί να προκύψει από τον γενικό τύπο των μεθόδων Householder, (4), για d =, και μπορεί να χρησιμοποιηθεί για την εύρεση και μιγαδικών ριζών Μπορεί να δειχθεί ότι η μέθοδος είναι τρίτης τάξης με ταχύτητα σύγκλισης 6 Μέθοδος τέμνουσας λ = 3[ f ( x)] f ( x) f ( x) 1[ f ( x)] Σύμϕωνα με αυτήν τη μέθοδο, προσεγγίζουμε τη συνάρτηση f (x) με ευθεία που περνά από δύο σημεία (x n 1, f (x n 1 )) και (x n, f (x n )) Τα x n 1, x n είναι διαδοχικές προσεγγίσεις της ρίζας Η νέα προσέγγιση, x n+1, είναι η τομή με τον άξονα x (η ρίζα) της προσεγγιστικής ευθείας Η ευθεία y = y(x) είναι y = f (x n ) + f (x n) f (x n 1 ) x n x n 1 (x x n ) Επομένως, x n+1 = x n f (x n ) f (x n ) f (x n 1 ) (x n x n 1 ) = x n 1 f (x n ) x n f (x n 1 ) f (x n ) f (x n 1 ) Οπως καταλαβαίνετε, πρέπει να επιλέξουμε δύο αρχικά σημεία, x 0 και x 1, με f (x 0 ) f (x 1 ), ώστε να παράγουμε την ακολουθία Από την άλλη, η κάθε επανάληψη χρειάζεται ένα μόνο νέο υπολογισμό τιμής της συνάρτησης, πράγμα σημαντικό όταν ο υπολογισμός είναι σχετικά αργός Παρατηρήστε ότι η μέθοδος τέμνουσας μοιάζει πολύ με τη μέθοδο ψευδούς σημείου, 3, αλλά σε αυτή, η ρίζα δεν είναι απαραίτητα περιορισμένη μεταξύ δύο σημείων Αλγόριθμος: Επίλυση της f (x) = 0 με τη μέθοδο της τέμνουσας: 1 Επιλέγουμε δύο τιμές a, b Βρίσκουμε την τομή με τον άξονα των x της ευθείας που περνά από τα σημεία (a, f (a)), (b, f (b)) Την ονομάζουμε c 3 Αν το c είναι ικανοποιητική προσέγγιση της ρίζας πηγαίνουμε στο βήμα 6 4 Θέτουμε a b, b c 5 Επαναλαμβάνουμε τη διαδικασία από το βήμα 6 Τέλος
7 Μέθοδος Müller 17 61 Σύγκλιση της μεθόδου τέμνουσας Μπορεί να δειχθεί ότι η τάξη της σύγκλισης της μεθόδου τέμνουσας σε απλή ρίζα είναι α = (1+ 5)/ 1618 Επομένως, η μέθοδος είναι πιο γρήγορη από άλλες πρώτης τάξης αλλά πιο αργή από μεθόδους δεύτερης τάξης 7 Μέθοδος Müller Η μέθοδος αυτή είναι παρόμοια με τη μέθοδο τέμνουσας αλλά προσεγγίζει τη συνάρτηση με παραβολή (εξίσωση της μορϕής y = ax + bx + c) και, επομένως, χρειάζεται τρία σημεία για τον προσδιορισμό της Η νέα προσέγγιση της ρίζας είναι η τομή της παραβολής με τον άξονα x Είναι γενικά πιο γρήγορη από τη μέθοδο τέμνουσας, με τάξη σύγκλισης, σε απλή ρίζα, α 184 Αλγόριθμος: Επίλυση της f (x) = 0 με τη μέθοδο Müller: 1 επιλέγουμε τρεις διαϕορετικές τιμές x 0, x 1, x στην περιοχή της αναζητούμενης ρίζας Ορίζουμε τις ποσότητες q = x x 1 x 1 x 0, A = q ( f (x ) f (x 1 )) q ( f (x 1 ) f (x 0 )), B = (q + 1) ( f (x ) f (x 1 )) + A, C = (q + 1) f (x ) 3 Η επόμενη προσέγγιση της ρίζας δίνεται από τη σχέση x 3 = x C(x x 1 ) D, όπου D ο, εν γένει μιγαδικός, αριθμός που έχει το μεγαλύτερο μέτρο μεταξύ των B + B 4AC, B B 4AC 4 Αν η νέα προσέγγιση είναι ικανοποιητική πηγαίνουμε στο βήμα 6 5 Θέτουμε x 0 x 1, x 1 x, x x 3 Επαναλαμβάνουμε τη διαδικασία από το βήμα 6 Τέλος Προσέξτε ότι οι διαδοχικές προσεγγίσεις της ρίζας μπορεί να είναι μιγαδικές λόγω της τετραγωνικής ρίζας, οπότε οι ποσότητες x n, q, A, B, C, D είναι γενικά μιγαδικές Ο συγκεκριμένος αλγόριθμος μπορεί να υπολογίσει μιγαδικές ρίζες μιας συνάρτησης
18 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων 8 Μέθοδος Dekker Η μέθοδος αυτή συνδυάζει την μέθοδο διχοτόμησης με τη μέθοδο τέμνουσας Για την εύρεση της ρίζας της συνεχούς συνάρτησης f (x) επιλέγουμε δύο αρχικά σημεία, a 0 και b 0, τέτοια ώστε f (a 0 ) f (b 0 ) < 0 και f (b 0 ) f (a 0 ) Το b 0 αποτελεί την πρώτη προσέγγιση στη ρίζα Ορίζουμε επίσης το b 1 = a 0 Για την επανάληψη k = 0, 1, : Ορίζουμε το μέσο του διαστήματος ως c: c = a k + b k, και το σημείο s ως εξής Αν f (b k ) f (b k 1 ) χρησιμοποιούμε ως s τη ρίζα της γραμμικής προσέγγισης της f (x): s = b k 1 f (b k ) b k f (b k 1 ) f (b k ) f (b k 1 ), όπως στη μέθοδο τέμνουσας Αν f (b k 1 ) = f (b k ) τότε s = c όπως στη μέθοδο διχοτόμησης Αν το s είναι μεταξύ των b k και c τότε αποτελεί τη νέα προσέγγιση στη ρίζα, b k+1 = s, αλλιώς η νέα προσέγγιση είναι το c, b k+1 = c Επιλέγουμε τη νέα τιμή a k+1 ως εξής: Αν f (a k ) f (b k+1 ) < 0, τότε a k+1 = a k, αλλιώς, a k+1 = b k Αν τύχει f (a k+1 ) f (b k+1 ) τότε εναλλάσσουμε τα a k+1 και b k+1 Η ρίζα περικλείεται πάντα μεταξύ των a k+1, b k+1 Κατόπιν, ελέγχουμε αν η νέα προσέγγιση b k+1 είναι αποδεκτή Αλλιώς, επαναλαμβάνουμε για το επόμενο k Η μέθοδος Dekker είναι, γενικά, αρκετά γρήγορη Υπάρχουν όμως περιπτώσεις συναρτήσεων που η επίδοσή της είναι χειρότερη από τη μέθοδο διχοτόμησης Οι τροποποιήσεις που πρότεινε ο Brent, στη μέθοδο Brent Dekker, βελτιώνουν την τάξη σύγκλισης για όλες τις συναρτήσεις 9 Ασκήσεις 1 Υλοποιήστε τον αλγόριθμο διχοτόμησης σε κώδικα Χρησιμοποιήστε τον για να εντοπίσετε τη ρίζα της f (x) = x 3 + 4x 10 στο διάστημα [1, ], f (x) = x cos x στο διάστημα [0, 1] Δείξτε ότι η g(x) = ln x + έχει ένα και μοναδικό σταθερό σημείο στο [, 4] Υπολογίστε το μέγιστο αριθμό επαναλήψεων ώστε x n x 10 3 3 (αʹ) Γράψτε ένα πρόγραμμα το οποίο να υλοποιεί τη μέθοδο ψευδούς ϑέσης
9 Ασκήσεις 19 (βʹ) Εϕαρμόστε την για να βρείτε τη ρίζα της στο διάστημα [04, 06] f (x) = 0 + 6x 40x + 07x 3 (γʹ) Εϕαρμόστε τη μέθοδο ψευδούς ϑέσης και τη μέθοδο διχοτόμησης για να βρείτε τις ρίζες της f (x) = x 10 095 στο διάστημα [0, 14] < 10 6 ; Ποια μέθοδος συγκλίνει πιο γρήγορα με σχετικό σϕάλμα 4 Γράψτε κώδικα που να υλοποιεί τη γενική επαναληπτική μέθοδο x = g(x) Χρησιμοποι- ήστε τον για να υπολογίσετε μια ρίζα της f (x) = x 6x + 5, τη ρίζα της f (x) = x cos 3 x κοντά στο 06 5 Υπολογίστε το y = ex 1 x με ένα ευσταθή αλγόριθμο για μικρό, κατ απόλυτη τιμή, x Για μικρό x χρησιμοποιούμε το ανάπτυγμα Taylor του e x ώστε να αποϕύγουμε την αλληλοαναίρεση όρων ίδιας τάξης 6 Υπολογίστε με ευσταθή αλγόριθμο τις λύσεις των εξισώσεων (αʹ) 15x + 13 10 6 x + 0037 = 0 Οι ακριβείς είναι x 1 846 10 9, x 86667 10 6 (βʹ) 15x 37 10 6 x + 0057 = 0 Οι ακριβείς είναι x 1 15405 10 9, x 4667 10 7 7 Εϕαρμόστε τη μέθοδο Newton Raphson για να υπολογίσετε τις ρίζες της (αʹ) f (x) = sin x x, (βʹ) f (x) = 3xe x 1 8 Υπολογίστε τις ρίζες της f (x) = 4 cos x e x με ακρίβεια 10 8 με τη μέθοδο διχοτόμησης, τη μέθοδο σταθερού σημείου, τη μέθοδο Newton Raphson και τη μέθοδο τέμνουσας 9 Βρείτε με 1 ψηϕία σωστά το σημείο τομής των καμπυλών e x, tan(x) στο διάστημα [ 1, 1] Συμβουλή: σχεδιάστε τις καμπύλες 10 Υλοποιήστε σε κώδικα τον αλγόριθμο Müller Εϕαρμόστε τον για να βρείτε τη μη μηδενική ρίζα της f (x) = sin x x 11 Υλοποιήστε σε κώδικα τη μέθοδο Newton Raphson, κατάλληλα τροποποιημένη ώστε να υπολογίζει τις ρίζες πολυωνύμου βαθμού n, p n (x) = α 0 + α 1 x + α x + + α n x n, όταν έχουμε ως δεδομένους τους συντελεστές του α 0, α 1,, α n Το πολυώνυμο και η παράγωγός του να υπολογίζονται με τον αλγόριθμο Horner 1 Υλοποιήστε σε κώδικα τη μέθοδο τέμνουσας, κατάλληλα τροποποιημένη ώστε να υπολογίζει τις ρίζες πολυωνύμου βαθμού n, p n (x) = α 0 + α 1 x + α x + + α n x n, όταν έχουμε ως δεδομένους τους συντελεστές του α 0, α 1,, α n Το πολυώνυμο και η παράγωγός του να υπολογίζονται με τον αλγόριθμο Horner
0 Κεϕάλαιο Επίλυση μη Γραμμικών Εξισώσεων
Κεϕάλαιο 3 Επίλυση Γραμμικών Συστημάτων 31 Εισαγωγή Στο κεϕάλαιο αυτό ϑα παρουσιάσουμε μεθόδους για την εύρεση της λύσης γενικών γραμμικών συστημάτων n n: a 11 x 1 + a 1 x + + a 1n x n = b 1 (31αʹ) a 1 x 1 + a x + + a n x n = b (31βʹ) a n1 x 1 + a n x + + a nn x n = b n (31γʹ) Οι συντελεστές a i j και οι σταθεροί όροι b i είναι γνωστοί, ενώ τα n x i είναι άγνωστα και προς εύρεση Το σύστημα μπορεί να εκϕραστεί με την βοήθεια των πινάκων και διανυσμάτων A n n = [a i j ], x n 1 = [x i ], και b n 1 = [b i ] ως εξής a 11 a 1 a 1n a 1 a a n a n1 a n a nn 311 Ευστάθεια γραμμικών συστημάτων x 1 x x n = b 1 b b n (3) Το σύστημα Ax = b χαρακτηρίζεται ως ασταθές αν έχουμε μεγάλη απόκλιση στη λύση για μικρές αλλαγές στα A, b Παράδειγμα: [ 1 3 ] [ x1 1 301 x ] = [ ] 4 401 έχει λύση x 1 = x = 1 Το ελαϕρά διαϕορετικό σύστημα [ 1 3 ] [ x1 1 99 x 1 ] = [ ] 4 40
Κεϕάλαιο 3 Επίλυση Γραμμικών Συστημάτων έχει λύση x 1 = 10, x =, τελείως διαϕορετική Ο δείκτης κατάστασης, κ, του πίνακα A ως προς τη νόρμα ορίζεται ως κ = A A 1 Πχ μία νόρμα είναι η νόρμα αθροίσματος γραμμών n A = max a i j 1 i n Αν κ 1 το σύστημα είναι ασταθές 31 Ορισμοί Βασικές γνώσεις Επίλυση γραμμικής εξίσωσης μίας μεταβλητής Προτού δούμε τις μεθόδους λύσης γραμμικών συστημάτων, ας ϑυμηθούμε πώς επιλύεται μία γραμμική εξίσωση μίας μεταβλητής, ax = b: Αν a 0 η εξίσωση έχει μία λύση, την x = b/a Αν a = 0 εξετάζουμε το b: Αν b 0 η εξίσωση δεν έχει λύση Αν b = 0 η εξίσωση έχει άπειρες λύσεις (κάθε x ικανοποιεί την 0x = 0) Στη διαδικασία επίλυσης ενός γραμμικού συστήματος με τη μέθοδο Gauss, 3, ϑα χρειαστεί να λύσουμε πρωτοβάθμιες εξισώσεις Αυτές ϑα καθορίσουν τη λύση του συστήματος ανάλογα με τις τιμές των συντελεστών τους j=1 Ιδιοτιμές Ιδιοδιανύσματα Ας ϑυμίσουμε τον ορισμό των εννοιών της ιδιοτιμής και του ιδιοδιανύσματος ενός πίνακα A Αν υπάρχει ένας αριθμός λ, εν γένει μιγαδικός, και ένα διάνυσμα (πίνακας στήλη) x, διάϕορο του (0, 0,, 0) T για τα οποία ισχύει Ax = λx, (33) τότε το x λέγεται ιδιοδιάνυσμα του A ενώ το λ είναι η αντίστοιχη ιδιοτιμή Παρατηρήστε ότι το x δεν είναι μοναδικό καθώς οποιοδήποτε πολλαπλάσιό του αποτελεί επίσης λύση του συστήματος (33) για την ίδια ιδιοτιμή Ορίζουσα Η ορίζουσα είναι ένας αριθμός που σχετίζεται με ένα τετραγωνικό πίνακα Μπορεί να οριστεί με πολλούς ισοδύναμους τρόπους Ενας ορισμός είναι το ανάπτυγμα Laplace: η ορίζουσα δίνεται ως ανάπτυγμα κατά τη στήλη j από την αναδρομική σχέση n det A = ( 1) i+ j a i j det A i j, (34) i=1 όπου A i j είναι ο πίνακας διαστάσεων (n 1) (n 1) που προκύπτει από τον A διαγράϕοντας τη γραμμή i και τη στήλη j Η ορίζουσα ενός πίνακα 1 1 είναι το μοναδικό στοιχείο του
31 Εισαγωγή 3 Συμμετρικός ϑετικά ορισμένος πίνακας Ενας πραγματικός τετραγωνικός πίνακας A είναι συμμετρικός αν είναι ίσος με τον α- νάστροϕό του, A = A T Ο ανάστροϕος πίνακας, A T, έχει στοιχεία ā i j = a ji Ενας πραγματικός συμμετρικός πίνακας A χαρακτηρίζεται ως ϑετικά ορισμένος αν ισχύουν (μεταξύ άλλων) τα ισοδύναμα κριτήρια: Ισχύει x T Ax > 0 για κάθε μη μηδενικό διάνυσμα x Ολες οι ιδιοτιμές του είναι πραγματικές και ϑετικές Στην ανάλυση LU του A ( 34), ο πίνακας U έχει ϑετικά διαγώνια στοιχεία (ϑεωρούμε ότι κάθε στοιχείο της διαγωνίου του L έχει τιμή 1) Υπάρχει πραγματικός αντιστρέψιμος πίνακας B για τον οποίο ισχύει A = B T B Υπάρχει ένας και μοναδικός πραγματικός κάτω τριγωνικός πίνακας L (ή άνω τριγωνικός πίνακας U) με ϑετικά διαγώνια στοιχεία για τον οποίο ισχύει A = L L T (ή A = U T U) (ανάλυση Cholesky) Είναι ϑετικές οι ορίζουσες ( 31) όλων των τετραγωνικών υπο-πινάκων του A με πάνω αριστερό στοιχείο το a 11 και κάτω δεξιό το a ii, i = 1,,, n (κριτήριο του Sylvester 1 ) Μπορεί να δειχθεί ότι για ένα πραγματικό, συμμετρικό, ϑετικά ορισμένο πίνακα A ισχύουν τα εξής τα διαγώνια στοιχεία a ii είναι ϑετικά η ορίζουσα είναι ϑετική και μικρότερη ή ίση από το γινόμενο των διαγώνιων στοιχείων του Σε κάθε γραμμή, το διαγώνιο στοιχείο είναι μεγαλύτερο ή ίσο από τις απόλυτες τιμές των υπόλοιπων στοιχείων της γραμμής Γενικά Τα παρακάτω είναι ισοδύναμα: Για κάθε δεύτερο μέλος b, το σύστημα Ax = b έχει μοναδική λύση Ο πίνακας A έχει αντίστροϕο, A 1 Η ορίζουσα του A, det A, είναι μη μηδενική Το ομογενές σύστημα Ax = 0 έχει μοναδική λύση τη x = 0 Οι στήλες ή οι γραμμές του A είναι γραμμικά ανεξάρτητες Τις βασικές μεθόδους επίλυσης γραμμικών συστημάτων τις διακρίνουμε σε απευθείας (direct) και επαναληπτικές (iterative) 1 Η εϕαρμογή του κριτηρίου του Sylvester είναι ένας εύκολος τρόπος για να ελέγξουμε αν ένας συμμετρικός πίνακας είναι ϑετικά ορισμένος Συγκεκριμένα, τον τριγωνοποιούμε ( 34) κάνοντας άρτιο πλήθος εναλλαγών γραμμών (ή 0) ώστε να διατηρηθεί το πρόσημο των οριζουσών των υπο-πινάκων Αν και μόνο αν τα διαγώνια στοιχεία του τριγωνικού πίνακα είναι ϑετικά, ο πίνακας είναι ϑετικά ορισμένος
4 Κεϕάλαιο 3 Επίλυση Γραμμικών Συστημάτων 3 Απευθείας μέθοδοι Οι απευθείας μέθοδοι επίλυσης γραμμικών συστημάτων δίνουν την ακριβή λύση (με κάποιο σϕάλμα στρογγύλευσης) σε συγκεκριμένο και εκ των προτέρων υπολογίσιμο αριθμό βημάτων/ πράξεων 31 Μέθοδος Cramer Η μέθοδος Cramer προσδιορίζει τη λύση του γραμμικού συστήματος Ax = b ως εξής x j = det B j det A, j = 1,,, n, όπου ο πίνακας B j προκύπτει από τον A αν αντικαταστήσουμε την στήλη j του A με το διάνυσμα b Η λύση με αυτή τη μέθοδο απαιτεί (n+1)! πολλαπλασιασμούς και γι αυτό δεν εϕαρμόζεται στην πράξη για n 4 Παρατήρηση: Ο υπολογισμός της ορίζουσας μπορεί να γίνει με τον ορισμό της, (34), ή με τις μεθόδους που παρουσιάζονται στην 34 3 Απαλοιϕή Gauss Η μέθοδος της απαλοιϕής Gauss αποτελείται από δύο στάδια: 1 Μετατρέπουμε, με κατάλληλους μετασχηματισμούς, το γενικό γραμμικό σύστημα (31) σε άνω τριγωνικό: a 11 x 1 + a 1 x + a 13 x 3 + + a 1n x n = b 1 (35αʹ) a x + a 3 x 3 + + a n x n = b (35βʹ) a 33 x 3 + + a 3n x n = b 3 (35γʹ) Οι μετασχηματισμοί είναι τέτοιοι ώστε να διατηρούν τη λύση a n 1,n 1 x n 1 + a n 1,n x n = b n 1 (35δʹ) a nn x n = b n (35εʹ) Επιλύουμε το άνω τριγωνικό σύστημα Η λύση τριγωνικών συστημάτων εκϕράζεται με κλειστούς τύπους Τριγωνοποίηση Σε ένα γραμμικό σύστημα μπορούμε να εκτελέσουμε τους παρακάτω στοιχειώδεις μετασχηματισμούς χωρίς να επηρεαστεί η λύση του: Εναλλαγή της σειράς δύο εξισώσεων, Πρόσθεση σε μία εξίσωση μιας άλλης,
3 Απευθείας μέθοδοι 5 Πολλαπλασιασμός μιας εξίσωσης με ένα μη μηδενικό αριθμό Οι δύο τελευταίοι μετασχηματισμοί έχουν ως συνέπεια ότι μπορούμε να προσθέσουμε σε μία εξίσωση p το πολλαπλάσιο της εξίσωσης q χωρίς να αλλάξει η λύση Ας συμβολίσουμε αυτόν τον μετασχηματισμό με [p] [p] + λ[q] Πρώτη στήλη Ας δούμε με ποιούς μετασχηματισμούς μπορούμε να μηδενίσουμε τους όρους κάτω από τη διαγώνιο στην πρώτη στήλη: για να είμαστε συστηματικοί, επιλέγουμε την πρώτη εξίσωση και την προσθέτουμε σε κάθε επόμενη, πολλαπλασιασμένη με κατάλληλους αριθμούς Ετσι έχουμε [] [] + λ [1], [3] [3] + λ 3 [1], [n] [n] + λ n [1] Ο μετασχηματισμός σε κάθε εξίσωση i =, 3,, n δίνει a i j a i j + λ i a 1 j, j = 1,,, n b i b i + λ i b 1 Καθώς ϑέλουμε να έχουμε μετά το μετασχηματισμό a i1 = 0, πρέπει να ισχύει λ i = a i1 /a 11 Θεωρούμε ότι a 11 0 Θα εξετάσουμε παρακάτω τι πρέπει να κάνουμε αν δεν ισχύει αυτό Συνοψίζοντας, μηδενίζουμε τους συντελεστές της πρώτης στήλης κάτω από τη διαγώνιο με τις εξής πράξεις: για i =, 3,, n Το σύστημα (31) ϑα γίνει λ i = a i1 /a 11 (36αʹ) a i j a i j + λ i a 1 j, j = 1,,, n (36βʹ) b i b i + λ i b 1, (36γʹ) a 11 x 1 + a 1 x + + a 1n x n = b 1 a x + + a n x n = b a n x + + a nn x n = b n Δεύτερη στήλη Ας δούμε πώς μηδενίζουμε τα στοιχεία της δεύτερης στήλης, κάτω από τη διαγώνιο Επιλέγουμε τη δεύτερη γραμμή και την προσθέτουμε σε κάθε επόμενη, πολλαπλασιασμένη με κατάλληλους αριθμούς Επομένως [3] [3] + λ 3 [], [4] [4] + λ 4 [], [n] [n] + λ n []
6 Κεϕάλαιο 3 Επίλυση Γραμμικών Συστημάτων Ο μετασχηματισμός σε κάθε εξίσωση i = 3, 4,, n δίνει a i j a i j + λ i a j, j =, 3,, n b i b i + λ i b Προσέξτε ότι ο δείκτης j ξεκινά από το (είναι περιττό να ξεκινήσουμε από το 1 καθώς οι συντελεστές a i1 κάθε γραμμής i με i = 3, 4,, n είναι 0) Καθώς ϑέλουμε να έχουμε μετά το μετασχηματισμό a i = 0, προκύπτει ότι πρέπει να ισχύει λ i = a i /a με i = 3, 4,, n Συνοψίζοντας, μηδενίζουμε τους συντελεστές της δεύτερης στήλης κάτω από τη διαγώνιο με τις εξής πράξεις: για i = 3, 4,, n λ i = a i /a (37αʹ) a i j a i j + λ i a j, j =, 3,, n (37βʹ) b i b i + λ i b, (37γʹ) Γενικοί Τύποι Από τους τύπους που βγάλαμε για την πρώτη και δεύτερη στήλη, μπορούμε να εξάγουμε τους γενικούς τύπους για κάθε στήλη, δηλαδή τον αλγόριθμο που μετατρέπει ένα γενικό γραμμικό σύστημα σε άνω τριγωνικό Ετσι, αν ο δείκτης που είναι 1 στις εξισώσεις (36) γίνεται στις (37), συμπεραίνουμε ότι ϑα γίνεται k για την στήλη k: λ i = a ik /a kk (38αʹ) a i j a i j + λ i a k j, j = k, k + 1,, n (38βʹ) b i b i + λ i b k, (38γʹ) με i = k + 1, n (ο δείκτης i χρησιμοποιείται για να διατρέξουμε τις επόμενες εξισώσεις από την k) Τις εξισώσεις (38) ϑα τις εκτελέσουμε διαδοχικά για k = 1,,, n 1 (η στήλη k = n δεν έχει στοιχεία κάτω από τη διαγώνιο) Στο τέλος της διαδικασίας, το γενικό γραμμικό σύστημα ϑα έχει μετατραπεί σε άνω τριγωνικό Παρατήρηση: Στην περίπτωση που κάποιος συντελεστής a KK είναι ή γίνει κατά την εϕαρμογή του αλγορίθμου ίσος με 0, δεν μπορούμε να εϕαρμόσουμε τις εξισώσεις (38) για την εξίσωση K ως έχει Πρέπει να εναλλάξουμε την επίμαχη εξίσωση K με κάποια από τις επόμενές της ώστε να έρθει στη διαγώνιο ένας μη μηδενικός συντελεστής Κατόπιν, μπορούμε να συνεχίσουμε τη διαδικασία Αν δεν μπορούμε να βρούμε μη μηδενικό συντελεστή στη στήλη K, στις επόμενες του K γραμμές, προχωρούμε τη διαδικασία κανονικά στο επόμενο k Το τριγωνικό σύστημα που ϑα προκύψει, όπως ϑα δούμε παρακάτω, δεν ϑα έχει μοναδική λύση Επίλυση άνω τριγωνικού συστήματος Η εύρεση της λύσης ενός άνω τριγωνικού συστήματος, (35), γίνεται με τη μέθοδο οπισθοδρόμησης, από την τελευταία προς την πρώτη εξίσωση Εχουμε διαδοχικά για την τελευταία,
3 Απευθείας μέθοδοι 7 προτελευταία, κλπ πρώτη εξίσωση x n = x n 1 = x 1 = 1 b n, a nn 1 (b n 1 a n 1,n x n ), a n 1,n 1 1 (b 1 a 1 x a 13 x 3 a 1n x n ) a 11 Ο γενικός τύπος είναι x i = 1 a ii b i n a i j x j j=i+1, i = n, n 1,, 1 (39) Στον υπολογισμό του αθροίσματος χρησιμοποιούμε την ακόλουθη σύμβαση: όταν το κάτω όριο του δείκτη άθροισης είναι μεγαλύτερο από το άνω (επομένως, στην περίπτωσή μας, όταν i = n), το άθροισμα είναι 0 Παρατήρηση: Αν κάποιος συντελεστής a II είναι 0, εξετάζουμε τον αριθμητή στη σχέση (39): αν n b I a I j x j = 0 j=i+1 το σύστημα έχει άπειρες λύσεις Τα x i με i < I ϑα εκϕράζονται ως συναρτήσεις του x I, δεν ϑα μπορούν να πάρουν συγκεκριμένη αριθμητική τιμή Το x I ϑα είναι ελεύθερη ποσότητα που ϑα μπορεί να πάρει οποιαδήποτε τιμή ϑέλουμε αν n b I a I j x j 0 j=i+1 το σύστημα δεν έχει λύση Παράδειγμα: Το σύστημα 0 1 5 3 1 1 x 1 x x 3 = 3 4 6 επιλύεται ως εξής: 1 Καθώς a 11 = 0 και a 1 0 εναλλάσσουμε τις δύο πρώτες εξισώσεις 5 3 1 0 1 1 x 1 x x 3 = 4 3 6
8 Κεϕάλαιο 3 Επίλυση Γραμμικών Συστημάτων Η δεύτερη εξίσωση έχει ήδη a 1 = 0, όπως επιδιώκουμε Πολλαπλασιάζουμε την πρώτη εξίσωση με /5 και την προσθέτουμε στην τρίτη, ώστε να μηδενιστεί και το νέο a 31 : 5 3 1 0 1 0 3 06 x 1 x x 3 = 3 Συνεχίζουμε με τη δεύτερη στήλη: Πολλαπλασιάζουμε τη δεύτερη γραμμή με 3 και την προσθέτουμε στην τρίτη ώστε να μηδενιστεί και το νέο a 3 : 5 3 1 x 1 4 0 1 x = 3 0 0 7 x 3 14 4 3 44 4 Ο πίνακας έχει έρθει σε άνω τριγωνική μορϕή Με οπισθοδρόμηση έχουμε x 3 =, x = 1, x 1 = 1 Παρατηρήσεις Απαιτήσεις μνήμης και χρόνου (πράξεων) Ο γενικός πίνακας A χρειάζεται n ϑέσεις μνήμης για πραγματικούς ή μιγαδικούς (όποιου τύπου είναι τα στοιχεία του) Επιπλέον n ϑέσεις απαιτεί ο b Παρατηρήστε ότι ο b μπορεί να χρησιμοποιηθεί για την αποθήκευση του διανύσματος x Οπως παρατηρούμε από τους γενικούς τύπους της, (38), η τριγωνοποίηση ενός γενικού πίνακα απαιτεί n 1 n 1 k=1 i=k+1 n k=1 i=k+1 j=k+1 n 1 n n 1 = n+1 1 = n+1 k=1 i=k+1 j=k+1 1 = n(n 1) n(n 1)(n + 1) 3 n(n 1)(n + 1) 3 διαιρέσεις, πολλαπλασιασμούς, αϕαιρέσεις Στην εξίσωση (38βʹ) δεν έχουμε συνυπολογίσει στις πράξεις την εϕαρμογή της για j = k, καθώς αυτή εκ κατασκευής μας μηδενίζει τους συντελεστές της στήλης k κάτω από τη διαγώνιο Μπορούμε να τους ϑέσουμε απευθείας 0 Από τους γενικούς τύπους, (39), της επίλυσης ενός άνω τριγωνικού πίνακα, προκύπτει ότι χρειαζόμαστε n 1 i=1 n 1 i=1 n 1 = n διαιρέσεις, i=1 n 1 = j=i+1 n 1 = j=i+1 n(n 1) πολλαπλασιασμούς, n(n 1) αϕαιρέσεις
3 Απευθείας μέθοδοι 9 Επομένως, η μέθοδος Gauss χρειάζεται, στη γενική περίπτωση, n(n + 1)/ διαιρέσεις, n(n 1)(n + 5)/6 πολλαπλασιασμούς και n(n 1)(n + 5)/6 αϕαιρέσεις Συνολικά, περίπου n 3 /3 πράξεις, πολύ λιγότερες από τις (n + 1)! που απαιτεί η μέθοδος Cramer Πολλαπλά δεξιά μέλη, b = b n m Οταν ϑέλουμε να επιλύσουμε πολλές ϕορές το σύστημα με ίδιο πίνακα A αλλά m διαϕορετικά δεξιά μέλη b, είναι προτιμότερο να εκτελέσουμε συγχρόνως τη διαδικασία για όλα τα b, δηλαδή, να σχηματίσουμε ένα πίνακα b με m στήλες και να επεκτείνουμε τις πράξεις που υπαγορεύει ο αλγόριθμος για το b σε όλες τις στήλες του Μερική οδήγηση κατά γραμμές Για να ελαχιστοποιήσουμε τα αριθμητικά σϕάλματα κατά την τριγωνοποίηση, είναι σημαντικό να επιλέγουμε κάθε ϕορά το διαγώνιο συντελεστή a kk (που διαιρεί την k εξίσωση) ώστε να είναι αρκετά μεγάλος κατ απόλυτη τιμή Μπορούμε να κάνουμε κατάλληλη εναλλαγή γραμμών (της k με κάποια από τις επόμενες, με i > k) ώστε να μεταϕερθεί στη διαγώνιο το μεγαλύτερο κατ απόλυτη τιμή στοιχείο από τα a ik, i k Βέβαια, οποιοδήποτε στοιχείο από αυτά μπορεί να γίνει όσο μεγάλο ϑέλουμε αν πολλαπλασιάσουμε την εξίσωση στην οποία ανήκει με κατάλληλο αριθμό Γι αυτό, καλό είναι να λαμβάνουμε υπόψη τις σχετικές τιμές των συντελεστών ως προς το μεγαλύτερο συντελεστή της εξίσωσης στην οποία ανήκουν Επομένως, υπολογίζουμε κάθε ϕορά το μέγιστο στοιχείο των γραμμών με i k, M i = max ai j j με j = 1,, n Κατόπιν, κάνουμε σύγκριση κατ απόλυτη τιμή του a kk /M k με τα a ik /M i, i > k Παράδειγμα: Το σύστημα [ ] [ 00003 1566 x1 03454 436 x ] = [ ] 1569 1018 έχει λύση x 1 = 10, x = 1 Ομως, αν υποθέσουμε Η/Υ με αναπαράσταση αριθμών ±0 f 1 f f n 10 ± s, s 10, n = 5, η απλή απαλοιϕή Gauss δίνει προσεγγιστικά, μετά την τριγωνοποίηση, [ 03 10 3 01566 10 1 0 01804 10 1 ] [ x1 x ] [ = 01569 10 1 01805 10 0 και τότε, x 1 = 6868, x = 10006 Η οδήγηση με εναλλαγή γραμμών είναι απαραίτητη για να βρούμε τα ακριβή x 1, x Ετσι, αν εναλλάξουμε την πρώτη με τη δεύτερη εξίσωση, αν, δηλαδή, ξεκινήσουμε με το σύστημα [ ] [ 03454 436 x1 00003 1566 x ] = [ ] 1018 1569 ] η τριγωνοποίηση δίνει [ 03454 10 0 0436 10 1 0 01568 10 1 ] [ x1 x ] [ 01018 10 1 = 01568 10 1 ] Συνεπώς, x 1 = 10 και x = 1