ΜΕΜ251 Αριθμητική Ανάλυση

Transcript

1 ΜΕΜ251 Αριθμητική Ανάλυση Διάλεξη 06, 26 Φεβρουαρίου 2018 Μιχάλης Πλεξουσάκης Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών

2 Περιεχόμενα 1. Η ανάλυση LU 2. Η ανάλυση LDM T και η ανάλυση LDL T 3. Συμμετρικοί και θετικά ορισμένοι πίνακες. Η ανάλυση Cholesky 1

3 Η ανάλυση LU

4 Η ανάλυση LU Ορισμός. Για A R m n και ακέραιους 1 r s m, 1 p q n, θα συμβολίζουμε με A(r : s, p : q) τον πίνακα ο οποίος αποτελείται από τα στοιχεία a ij για i = r,..., s και j = p,..., q. Οι πίνακες A(1 : k, 1 : k), k = 1,..., n 1, ονομάζονται κύριοι υποπίνακες του A. Θεώρημα. Ο πίνακας A R n n έχει ανάλυση LU αν det A(1 : k, 1 : k) 0, k = 1,..., n 1. Αν η ανάλυση LU υπάρχει και ο A είναι αντιστρέψιμος, τότε οι πίνακες L, U είναι μοναδικοί και det(a) = u 11 u nn. 2

5 Η ανάλυση LU Απόδειξη. Έστω ότι έχουν εκτελεστεί επιτυχώς k 1 βήματα της διαδικασίας. Τότε το στοιχείο του πίνακα A (k 1) = M k 1 M 2 M 1 A στη γραμμή k, στήλη k είναι ο k-στος οδηγός και, βεβαίως, det(a(1 : k, 1 : k)) = a (k 1) 11 a (k 1) kk Άρα, αν ο A(1 : k, 1 : k) είναι αντιστρέψιμος, τότε ο k-στος οδηγός είναι διαφορετικός από το μηδέν. Για τη μοναδικότητα της ανάλυσης LU, αν υποθέσουμε ότι A = L 1 U 1 = L 2 U 2 τότε L 1 2 L 1 = U 2 U 1 1. Επειδή οι πίνακες L 1, L 2 είναι κάτω τριγωνικοί με μονάδες στη διαγώνιο και οι πίνακες U 1, U 2 είναι άνω τριγωνικοί, θα πρέπει L 1 2 L 1 = I = U 2 U 1 1 και επομένως L 1 = L 2 και U 1 = U 2. Τέλος, det(a) = det(lu) = det(l) det(u) = 1 det(u) = u 11 u nn. 3

6 Η ανάλυση LU - Απαιτούμενες πράξεις Στο πρώτο βήμα απαιτούνται n 1 πράξεις για τον υπολογισμό των στοιχείων του διανύσματος τ στον πίνακα M 1. Για τον υπολογισμό των στοιχείων του πίνακα A (1) = M 1 A απαιτούνται (n 1) 2 πράξεις. Επομένως στα n 1 βήματα της ανάλυσης LU απαιτούνται συνολικά πράξεις n 1 [ (n i) 2 + (n i) ] = n3 n 3 i=1 Επιπλέον, για το δεξί μέλος χρειάζονται πράξεις. (n 1) + (n 2) = n(n 1) 2 4

7 Η ανάλυση LU - Απαιτούμενες πράξεις Παράδειγμα. Σύμμφωνα με τα παραπάνω, η λύση ενός μικρού γραμμικού συστήματος με 20 εξισώσεις και 20 αγνώστους σε ένα μοντέρνο υπολογιστή ο οποίος εκτελεί περίπου 10 8 πράξεις το δευτερόλεπτο θα απαιτούσε περίπου sec, δηλαδή εκατοστά του δευτερολέπτου! Αν κάποιος χρησιμοποιούσε τον κανόνα του Cramer, θα έπρεπε να εκτελέσει περισσότερους από 20! πολλαπλασιαμούς, οι οποίοι θα απαιτούσαν δευτερόλεπτα, δηλαδή 3073 αιώνες!!! 5

8 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Παράδειγμα. Το σύστημα έχει τη μοναδική λύση 10 4 x 1 + x 2 = 1 x 1 + x 2 = 2 x 1 = = , x 2 = = Αν επιχειρήσουμε να λύσουμε το σύστημα αυτό κάνοντας αριθμητική με 3 δεκαδικά ψηφία θα πάρουμε τη λύση x 2 = 1, x 1 = 0, που είναι βέβαια κακή προσέγγιση της πραγματικής λύσης. Ας καταλάβουμε γιατί 6

9 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Στο πρώτο βήμα υπολογίζουμε ( ) 1 0 M 1 = 10 4 και A (1) = M 1 A = 1 ( ) Το δεξί μέλος γίνεται ( ) ( ) 1 1 M 1 = Το πρόβλημα δημιουργήθηκε από το μεγάλο σχετικό μέγεθος του πολλαπλασιαστή m 21 (ή το μικρό σχετικό μέγεθος του οδηγού a 11 ). Μπορούμε να διορθώσουμε το πρόβλημα εναλλάσοντας τη σειρά των εξισώσεων πριν τη διαδικασία της απαλοιφής! 7

10 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Αν τώρα, αντί για το αρχικό σύστημα, λύσουμε το σύστημα ( ) 0 1 PAx = Pb, P = 1 0 κάνοντας αριθμητική με 3 δεκαδικά ψηφία θα πάρουμε ως λύση την x 2 = x 1 = 1, η οποία είναι πολύ καλή προσέγγιση της πραγματικής λύσης, δεδομένης της μικρής ακρίβειας των υπολογισμών. Ο πίνακας P είναι πίνακας μετάθεσης. Πολλαπλασιάζοντας τον πίνακα A από αριστερά με τον P έχει ως αποτέλεσμα την εναλλαγή των γραμμών του A. 8

11 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Έστω A = Για να φέρουμε στη θέση του οδηγού το μεγαλύτερο κατ απόλυτη τιμή στοιχείο πολλαπλασιάζουμε με τον πίνακα μετάθεσης P 1 : P 1 = P 1 A =

12 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Τότε, M 1 = 1/3 1 0 και M 1 P 1 A = / Για να φέρουμε τώρα στη θέση του οδηγού το μεγαλύτερο κατ απόλυτη τιμή στοιχείο πολλαπλασιάζουμε με τον πίνακα μετάθεσης P 2 και ορίζουμε τους πολλαπλασιαστές M 2 έτσι ώστε P 2 = M 2 = M 2 P 2 M 1 P 1 A = /

13 Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Αυτή η στρατηγική εναλλαγής γραμμών πριν τον υπολογισμό των πολλαπλασιαστών ονομάζεται μερική οδήγηση (partial pivoting). Μετά από n 1 βήματα καταλήγουμε στον έναν άνω τριγωνικό πίνακα. M n 1 P n 1 M 1 P 1 A = U, Για να λύσουμε το σύστημα Ax = b: Υπολογίζουμε y = M n 1 P n 1 M 1 P 1 b Λύνουμε το άνω τριγωνικό σύστημα Ux = y. 11

14 Η ανάλυση LDM T και η ανάλυση LDL T

15 Η ανάλυση LDM T Θεώρημα. Έστω ότι όλοι οι κύριοι υποπίνακες A(1 : k, 1 : k), k = 1,..., n 1, ενός πίνακα A R n n είναι αντιστρέψιμοι. Τότε υπάρχουν μοναδικοί κάτω τριγωνικοί πίνακες L, M με μονάδες στη διαγώνιο και μοναδικός διαγώνιος πίνακας D = diag(d 1,..., d n ) τέτοιοι ώστε A = LDM T. Απόδειξη. Ξέρουμε ότι ο πίνακας A έχει ανάλυση A = LU. Θέτουμε D = diag(d 1,..., d n ) με d i = u ii για i = 1,..., n. Ο πίνακας D είναι αντιστρέψιμος και ο πίνακας M T = D 1 U είναι κάτω τριγωνικός με μονάδες στη διαγώνιο. Ακόμα, A = LU = LD(D 1 U) = LDM T. Η μοναδικότητα έπεται από τη μοναδικότητα των L και U της ανάλυσης LU. 12

16 Η ανάλυση LDL T Στην περίπτωση που ο πίνακας A είναι συμμετρικός, έχουμε M = LT. Πράγματι, Θεώρημα. Έστω ότι ο συμμετρικός πίνακας A R n n έχει ανάλυση LDM T. Τότε, M = L. Απόδειξη. Ο πίνακας M 1 AM T = M 1 LD είναι συμμετρικός και κάτω τριγωνικός, είναι επομένος διαγώνιος. Επειδή ο D είναι αντριστρέψιμος, ο M 1 L είναι επίσης διαγώνιος. Αλλά ο M 1 L έχει μονάδες στη διαγώνιο, άρα M 1 L = I, δηλαδή M = L. Στις επόμενες διαφάνειες δείχνουμε ότι αν, επιπλέον, ο πίνακας A είναι θετικά ορισμένος, η ανάλυση LDL T δεν απαιτεί εναλλαγές γραμμών. 13

17 Συμμετρικοί και θετικά ορισμένοι πίνακες. Η ανάλυση Cholesky

18 Θετικά ορισμένοι πίνακες Ορισμός. Ένας συμμετρικός πίνακας A R n n λέγεται θετικά ορισμένος αν x T Ax > 0 για κάθε μη μηδενικό διάνυσμα x R n. Παράδειγμα. O πίνακας A = είναι θετικά ορισμένος γιατί για 0 x R 3 έχουμε x T Ax = 3x (x 1 + x 2 ) 2 + 2x (x 2 + x 3 ) 2 + 3x 2 3 0, και η ισότητα να ισχύει μόνο αν x 1 = x 2 = x 3 = 0. 14

19 Θετικά ορισμένοι πίνακες Ένας θετικά ορισμένος πίνακας είναι αντιστρέψιμος. Πράγματι, αν υπάρχει x 0 τέτοιο ώστε Ax = 0, τότε x T Ax = 0, άτοπο. Για x = e k, έχουμε 0 < x T Ax = a kk, δηλαδή τα διαγώνια στοιχεία είναι θετικά. Οι κύριοι υποπίνακες ενός θετικά ορισμένου πίνακα είναι θετικά ορισμένοι πίνακες, επομένως αντιστρέψιμοι. Πράγματι, αν γράψουμε ( ) α v T A = v για κάποιο α R και πίνακα A, έχουμε για x = (1, 0,..., 0) T και 0 < x T Ax = A ( ) ( α v T 1 0 v A ) ( ) 1 0 = α, 15

20 Θετικά ορισμένοι πίνακες αν για y 0 θέσουμε x T = (0, y T ), τότε ) 0 < x T Ax = (0 ( ) ( ) y T α v T 0 = y T A y, v y άρα α > 0 και ο πίνακας A είναι θετικά ορισμένος. Αν για κάποιο αντιστρέψιμο πίνακα A υπάρχει κάτω τριγωνικός πίνακα G τέτοιος ώστε A = GG T τότε ο A είναι θετικά ορισμένος. Πράγματι, έστω x 0. Επειδή ο πίνακας G είναι αντιστρέψιμος, έχουμε ότι y = G T x 0. Τότε, x T Ax = x T GG T x = (G T x) T (G T x) = y T y = y 2 i > 0. Θα δείξουμε ότι ισχύει και το αντίστροφο, δηλαδή αν ο A είναι συμμετρικός και θετικά ορισμένος τότε υπάρχει κάτω τριγωνικός πίνακας G τέτοιος ώστε A = GG T. Αυτή είναι η ανάλυση Cholesky του πίνακα A. A 16

21 Η ανάλυση Cholesky Θεώρημα. Έστω A συμμετρικός και θετικά ορισμένος πίνακας. Τότε, υπάρχει μοναδικός κάτω τριγωνικός πίνακας G με θετικά διαγώνια στοιχεία τέτοιος ώστε A = GG T. Απόδειξη. Για έναν 1 1 θετικά ορισμένο πίνακα (a 11 > 0) το θεώρημα ισχύει με g 11 = a 11. Υποθέτουμε ότι το θεώρημα ισχύει για (n 1) (n 1) πίνακες. Χωρίζουμε τον n n πίνακα A ως ( ) d u T A =, u H όπου d = a 11 > 0, u R n 1 και H R (n 1) (n 1). 17

22 Η ανάλυση Cholesky Μπορούμε να γράψουμε ( ) ( d 0 A = u d I n H ) ( d u T d 0 I n 1 με H = H 1 d uut. Αυτός ο πίνακας είναι συμμετρικός και θετικά ορισμένος γιατί αν 0 x R n 1 έχουμε με ( ) 1 y = d xt u R n, x ) ότι ( x T Hx = x T H 1 ) ( d uut x = y T d u u T H ) y = y T Ay > 0. 18

23 Η ανάλυση Cholesky Από την επαγωγική υπόθεση, ο H γράφεται στη μορφή H = G H G T H για κάποιον κάτω τριγωνικό πίνακα G H με θετικά διαγώνια στοιχεία. Μπορούμε τότε να γράψουμε ( ) ( d A = u d I n 1 0 G H ( ) ( ) d 0 d u T = u d G H ) ( G T H d 0 G T H ) ( d u T d 0 I n 1 ) οπότε με G = ( ) d 0 u d G H έχουμε A = GG T, και αυτό ολοκληρώνει την επαγωγική απόδειξη. 19

24 Η ανάλυση Cholesky Για τη μοναδικότητα του G, υποθέτουμε ότι υπάρχει κάτω τριγωνικός πίνακας H με θετικά διαγώνια στοιχεία τέτοιος ώστε A = GG T = HH T. Τότε G 1 H = G T (H T ) 1. Το αριστερό μέλος είναι κάτω τριγωνικός πίνακας ενώ το δεξί άνω τριγωνικός πίνακας. Πρέπει λοιπόν G 1 H = G T (H T ) 1 = D, όπου D διαγώνιος πίνακας. Έχουμε τότε H = GD, δηλαδή, d ii = h ii /g ii και G T = DH T, δηλαδή, d ii = g ii /h ii. Άρα, g 2 ii = h2 ii και, συνεπώς, g ii = h ii. Αλλά τότε D = I n, και επομένως G 1 H = I n, δηλαή H = G. 20

25 Η ανάλυση Cholesky Αλγόριθμος της ανάλυσης Cholesky: for i = 1 to n for j = 1 to i 1 ( g ij = a ij ) j 1 k=1 g ikg jk /g jj g ii = ( a ii ) 1/2 i 1 k=1 g2 ik Εύκολα βλέπουμε ότι απαιτούνται n i 1 j + (i 1) = n3 + 3n 2 4n 6 i=1 j=1 πράξεις και n εξαγωγές τετραγωνικών ριζών. 21

26 Ερωτήσεις; 21