ΜΕΜ251 Αριθμητική Ανάλυση Διάλεξη 06, 26 Φεβρουαρίου 2018 Μιχάλης Πλεξουσάκης Τμήμα Μαθηματικών και Εφαρμοσμένων Μαθηματικών
Περιεχόμενα 1. Η ανάλυση LU 2. Η ανάλυση LDM T και η ανάλυση LDL T 3. Συμμετρικοί και θετικά ορισμένοι πίνακες. Η ανάλυση Cholesky 1
Η ανάλυση LU
Η ανάλυση LU Ορισμός. Για A R m n και ακέραιους 1 r s m, 1 p q n, θα συμβολίζουμε με A(r : s, p : q) τον πίνακα ο οποίος αποτελείται από τα στοιχεία a ij για i = r,..., s και j = p,..., q. Οι πίνακες A(1 : k, 1 : k), k = 1,..., n 1, ονομάζονται κύριοι υποπίνακες του A. Θεώρημα. Ο πίνακας A R n n έχει ανάλυση LU αν det A(1 : k, 1 : k) 0, k = 1,..., n 1. Αν η ανάλυση LU υπάρχει και ο A είναι αντιστρέψιμος, τότε οι πίνακες L, U είναι μοναδικοί και det(a) = u 11 u nn. 2
Η ανάλυση LU Απόδειξη. Έστω ότι έχουν εκτελεστεί επιτυχώς k 1 βήματα της διαδικασίας. Τότε το στοιχείο του πίνακα A (k 1) = M k 1 M 2 M 1 A στη γραμμή k, στήλη k είναι ο k-στος οδηγός και, βεβαίως, det(a(1 : k, 1 : k)) = a (k 1) 11 a (k 1) kk Άρα, αν ο A(1 : k, 1 : k) είναι αντιστρέψιμος, τότε ο k-στος οδηγός είναι διαφορετικός από το μηδέν. Για τη μοναδικότητα της ανάλυσης LU, αν υποθέσουμε ότι A = L 1 U 1 = L 2 U 2 τότε L 1 2 L 1 = U 2 U 1 1. Επειδή οι πίνακες L 1, L 2 είναι κάτω τριγωνικοί με μονάδες στη διαγώνιο και οι πίνακες U 1, U 2 είναι άνω τριγωνικοί, θα πρέπει L 1 2 L 1 = I = U 2 U 1 1 και επομένως L 1 = L 2 και U 1 = U 2. Τέλος, det(a) = det(lu) = det(l) det(u) = 1 det(u) = u 11 u nn. 3
Η ανάλυση LU - Απαιτούμενες πράξεις Στο πρώτο βήμα απαιτούνται n 1 πράξεις για τον υπολογισμό των στοιχείων του διανύσματος τ στον πίνακα M 1. Για τον υπολογισμό των στοιχείων του πίνακα A (1) = M 1 A απαιτούνται (n 1) 2 πράξεις. Επομένως στα n 1 βήματα της ανάλυσης LU απαιτούνται συνολικά πράξεις n 1 [ (n i) 2 + (n i) ] = n3 n 3 i=1 Επιπλέον, για το δεξί μέλος χρειάζονται πράξεις. (n 1) + (n 2) + + 1 = n(n 1) 2 4
Η ανάλυση LU - Απαιτούμενες πράξεις Παράδειγμα. Σύμμφωνα με τα παραπάνω, η λύση ενός μικρού γραμμικού συστήματος με 20 εξισώσεις και 20 αγνώστους σε ένα μοντέρνο υπολογιστή ο οποίος εκτελεί περίπου 10 8 πράξεις το δευτερόλεπτο θα απαιτούσε περίπου 20 3 10 8 sec, δηλαδή 0.008 εκατοστά του δευτερολέπτου! Αν κάποιος χρησιμοποιούσε τον κανόνα του Cramer, θα έπρεπε να εκτελέσει περισσότερους από 20! πολλαπλασιαμούς, οι οποίοι θα απαιτούσαν 9 10 18 δευτερόλεπτα, δηλαδή 3073 αιώνες!!! 5
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Παράδειγμα. Το σύστημα έχει τη μοναδική λύση 10 4 x 1 + x 2 = 1 x 1 + x 2 = 2 x 1 = 10000 999 = 1.0001..., x 2 = 9998 9999 = 0.9998... Αν επιχειρήσουμε να λύσουμε το σύστημα αυτό κάνοντας αριθμητική με 3 δεκαδικά ψηφία θα πάρουμε τη λύση x 2 = 1, x 1 = 0, που είναι βέβαια κακή προσέγγιση της πραγματικής λύσης. Ας καταλάβουμε γιατί 6
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Στο πρώτο βήμα υπολογίζουμε ( ) 1 0 M 1 = 10 4 και A (1) = M 1 A = 1 ( ) 10 4 1 0 10 4 Το δεξί μέλος γίνεται ( ) ( ) 1 1 M 1 = 2 10 4 Το πρόβλημα δημιουργήθηκε από το μεγάλο σχετικό μέγεθος του πολλαπλασιαστή m 21 (ή το μικρό σχετικό μέγεθος του οδηγού a 11 ). Μπορούμε να διορθώσουμε το πρόβλημα εναλλάσοντας τη σειρά των εξισώσεων πριν τη διαδικασία της απαλοιφής! 7
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Αν τώρα, αντί για το αρχικό σύστημα, λύσουμε το σύστημα ( ) 0 1 PAx = Pb, P = 1 0 κάνοντας αριθμητική με 3 δεκαδικά ψηφία θα πάρουμε ως λύση την x 2 = x 1 = 1, η οποία είναι πολύ καλή προσέγγιση της πραγματικής λύσης, δεδομένης της μικρής ακρίβειας των υπολογισμών. Ο πίνακας P είναι πίνακας μετάθεσης. Πολλαπλασιάζοντας τον πίνακα A από αριστερά με τον P έχει ως αποτέλεσμα την εναλλαγή των γραμμών του A. 8
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Έστω 3 17 10 A = 2 4 2 6 18 12 Για να φέρουμε στη θέση του οδηγού το μεγαλύτερο κατ απόλυτη τιμή στοιχείο πολλαπλασιάζουμε με τον πίνακα μετάθεσης P 1 : 0 0 1 6 18 12 P 1 = 0 1 0 P 1 A = 2 4 2 1 0 0 3 17 10 9
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Τότε, 1 0 0 6 18 12 M 1 = 1/3 1 0 και M 1 P 1 A = 0 2 0 1/2 0 1 0 8 16 Για να φέρουμε τώρα στη θέση του οδηγού το μεγαλύτερο κατ απόλυτη τιμή στοιχείο πολλαπλασιάζουμε με τον πίνακα μετάθεσης P 2 και ορίζουμε τους πολλαπλασιαστές M 2 έτσι ώστε 1 0 0 1 0 0 6 18 12 P 2 = 0 0 1 M 2 = 0 1 0 M 2 P 2 M 1 P 1 A = 0 8 16 0 1 0 0 1/4 1 0 0 6 10
Η ανάλυση LU - Η ανάγκη για οδήγηση (pivoting) Αυτή η στρατηγική εναλλαγής γραμμών πριν τον υπολογισμό των πολλαπλασιαστών ονομάζεται μερική οδήγηση (partial pivoting). Μετά από n 1 βήματα καταλήγουμε στον έναν άνω τριγωνικό πίνακα. M n 1 P n 1 M 1 P 1 A = U, Για να λύσουμε το σύστημα Ax = b: Υπολογίζουμε y = M n 1 P n 1 M 1 P 1 b Λύνουμε το άνω τριγωνικό σύστημα Ux = y. 11
Η ανάλυση LDM T και η ανάλυση LDL T
Η ανάλυση LDM T Θεώρημα. Έστω ότι όλοι οι κύριοι υποπίνακες A(1 : k, 1 : k), k = 1,..., n 1, ενός πίνακα A R n n είναι αντιστρέψιμοι. Τότε υπάρχουν μοναδικοί κάτω τριγωνικοί πίνακες L, M με μονάδες στη διαγώνιο και μοναδικός διαγώνιος πίνακας D = diag(d 1,..., d n ) τέτοιοι ώστε A = LDM T. Απόδειξη. Ξέρουμε ότι ο πίνακας A έχει ανάλυση A = LU. Θέτουμε D = diag(d 1,..., d n ) με d i = u ii για i = 1,..., n. Ο πίνακας D είναι αντιστρέψιμος και ο πίνακας M T = D 1 U είναι κάτω τριγωνικός με μονάδες στη διαγώνιο. Ακόμα, A = LU = LD(D 1 U) = LDM T. Η μοναδικότητα έπεται από τη μοναδικότητα των L και U της ανάλυσης LU. 12
Η ανάλυση LDL T Στην περίπτωση που ο πίνακας A είναι συμμετρικός, έχουμε M = LT. Πράγματι, Θεώρημα. Έστω ότι ο συμμετρικός πίνακας A R n n έχει ανάλυση LDM T. Τότε, M = L. Απόδειξη. Ο πίνακας M 1 AM T = M 1 LD είναι συμμετρικός και κάτω τριγωνικός, είναι επομένος διαγώνιος. Επειδή ο D είναι αντριστρέψιμος, ο M 1 L είναι επίσης διαγώνιος. Αλλά ο M 1 L έχει μονάδες στη διαγώνιο, άρα M 1 L = I, δηλαδή M = L. Στις επόμενες διαφάνειες δείχνουμε ότι αν, επιπλέον, ο πίνακας A είναι θετικά ορισμένος, η ανάλυση LDL T δεν απαιτεί εναλλαγές γραμμών. 13
Συμμετρικοί και θετικά ορισμένοι πίνακες. Η ανάλυση Cholesky
Θετικά ορισμένοι πίνακες Ορισμός. Ένας συμμετρικός πίνακας A R n n λέγεται θετικά ορισμένος αν x T Ax > 0 για κάθε μη μηδενικό διάνυσμα x R n. Παράδειγμα. O πίνακας 4 1 0 A = 1 4 1 0 1 4 είναι θετικά ορισμένος γιατί για 0 x R 3 έχουμε x T Ax = 3x 2 1 + (x 1 + x 2 ) 2 + 2x 2 2 + (x 2 + x 3 ) 2 + 3x 2 3 0, και η ισότητα να ισχύει μόνο αν x 1 = x 2 = x 3 = 0. 14
Θετικά ορισμένοι πίνακες Ένας θετικά ορισμένος πίνακας είναι αντιστρέψιμος. Πράγματι, αν υπάρχει x 0 τέτοιο ώστε Ax = 0, τότε x T Ax = 0, άτοπο. Για x = e k, έχουμε 0 < x T Ax = a kk, δηλαδή τα διαγώνια στοιχεία είναι θετικά. Οι κύριοι υποπίνακες ενός θετικά ορισμένου πίνακα είναι θετικά ορισμένοι πίνακες, επομένως αντιστρέψιμοι. Πράγματι, αν γράψουμε ( ) α v T A = v για κάποιο α R και πίνακα A, έχουμε για x = (1, 0,..., 0) T και 0 < x T Ax = A ( ) ( α v T 1 0 v A ) ( ) 1 0 = α, 15
Θετικά ορισμένοι πίνακες αν για y 0 θέσουμε x T = (0, y T ), τότε ) 0 < x T Ax = (0 ( ) ( ) y T α v T 0 = y T A y, v y άρα α > 0 και ο πίνακας A είναι θετικά ορισμένος. Αν για κάποιο αντιστρέψιμο πίνακα A υπάρχει κάτω τριγωνικός πίνακα G τέτοιος ώστε A = GG T τότε ο A είναι θετικά ορισμένος. Πράγματι, έστω x 0. Επειδή ο πίνακας G είναι αντιστρέψιμος, έχουμε ότι y = G T x 0. Τότε, x T Ax = x T GG T x = (G T x) T (G T x) = y T y = y 2 i > 0. Θα δείξουμε ότι ισχύει και το αντίστροφο, δηλαδή αν ο A είναι συμμετρικός και θετικά ορισμένος τότε υπάρχει κάτω τριγωνικός πίνακας G τέτοιος ώστε A = GG T. Αυτή είναι η ανάλυση Cholesky του πίνακα A. A 16
Η ανάλυση Cholesky Θεώρημα. Έστω A συμμετρικός και θετικά ορισμένος πίνακας. Τότε, υπάρχει μοναδικός κάτω τριγωνικός πίνακας G με θετικά διαγώνια στοιχεία τέτοιος ώστε A = GG T. Απόδειξη. Για έναν 1 1 θετικά ορισμένο πίνακα (a 11 > 0) το θεώρημα ισχύει με g 11 = a 11. Υποθέτουμε ότι το θεώρημα ισχύει για (n 1) (n 1) πίνακες. Χωρίζουμε τον n n πίνακα A ως ( ) d u T A =, u H όπου d = a 11 > 0, u R n 1 και H R (n 1) (n 1). 17
Η ανάλυση Cholesky Μπορούμε να γράψουμε ( ) ( d 0 A = u d I n 1 1 0 0 H ) ( d u T d 0 I n 1 με H = H 1 d uut. Αυτός ο πίνακας είναι συμμετρικός και θετικά ορισμένος γιατί αν 0 x R n 1 έχουμε με ( ) 1 y = d xt u R n, x ) ότι ( x T Hx = x T H 1 ) ( d uut x = y T d u u T H ) y = y T Ay > 0. 18
Η ανάλυση Cholesky Από την επαγωγική υπόθεση, ο H γράφεται στη μορφή H = G H G T H για κάποιον κάτω τριγωνικό πίνακα G H με θετικά διαγώνια στοιχεία. Μπορούμε τότε να γράψουμε ( ) ( d 0 1 0 A = u d I n 1 0 G H ( ) ( ) d 0 d u T = u d G H ) ( 1 0 0 G T H d 0 G T H ) ( d u T d 0 I n 1 ) οπότε με G = ( ) d 0 u d G H έχουμε A = GG T, και αυτό ολοκληρώνει την επαγωγική απόδειξη. 19
Η ανάλυση Cholesky Για τη μοναδικότητα του G, υποθέτουμε ότι υπάρχει κάτω τριγωνικός πίνακας H με θετικά διαγώνια στοιχεία τέτοιος ώστε A = GG T = HH T. Τότε G 1 H = G T (H T ) 1. Το αριστερό μέλος είναι κάτω τριγωνικός πίνακας ενώ το δεξί άνω τριγωνικός πίνακας. Πρέπει λοιπόν G 1 H = G T (H T ) 1 = D, όπου D διαγώνιος πίνακας. Έχουμε τότε H = GD, δηλαδή, d ii = h ii /g ii και G T = DH T, δηλαδή, d ii = g ii /h ii. Άρα, g 2 ii = h2 ii και, συνεπώς, g ii = h ii. Αλλά τότε D = I n, και επομένως G 1 H = I n, δηλαή H = G. 20
Η ανάλυση Cholesky Αλγόριθμος της ανάλυσης Cholesky: for i = 1 to n for j = 1 to i 1 ( g ij = a ij ) j 1 k=1 g ikg jk /g jj g ii = ( a ii ) 1/2 i 1 k=1 g2 ik Εύκολα βλέπουμε ότι απαιτούνται n i 1 j + (i 1) = n3 + 3n 2 4n 6 i=1 j=1 πράξεις και n εξαγωγές τετραγωνικών ριζών. 21
Ερωτήσεις; 21