Επιστηµονικός Υπολογισµός ΙΙ Ε. Γαλλόπουλος 1 1 Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Πολυτεχνική Σχολή, Πανεπιστήµιο Πατρών 27/2/13
Επαναληπτικές µέθοδοι και «τεχνολογία αραιών µητρώων» Κίνητρο: Πολύ µεγάλα γραµµικά συστήµατα: Αµεσες µέθοδοι πλέγµα 1000 1000 1000 5 άγνωστοι ανά σηµείο (π.χ. ταχύτητα, ϑερµοκρασία, πίεση). 5 10 9 άγνωστοι 6.75 10 11 µη µηδενικά στοιχεία 16.4 10 24 πράξεις για την παραγοντοποίηση 36.9 10 15 µη µηδενικά στοιχεία στους παράγοντες L,U. 520, 040 χρόνια για παραγοντοποίηση σε ΗΥ 1 TFLOPS!. Επαναληπτική µέθοδος Μέθοδος CG µε προεργασία. Περί τα 140 ϐήµατα 575 10 12 πράξεις. Λύση σε 575sec µε ΗΥ 1 TFLOPS!.
Αραιά µητρώα (δείτε συλλογή Davis-Florida)
Κόστη άµεση µέθοδος εργασία αποθήκευση LU O(N 3 ) O(N 2 ) LU για µητρώα Ϲώνης O(b 2 N) O(bN) 2 διαστ. b = O(N 1/2 ) O(N 2 ) O(N 3/2 ) 3 διαστ. b = O(N 2/3 ) O(N 7/3 ) O(N 5/3 ) αραιό A b 2nnz nnz
Παρατηρήσεις Το κόστος κάθε ϐήµατος των περισσότερων επαναληπτικών µέθοδων είναι της τάξης του κόστους της πράξης MV µε παράγοντες ολόκληρο ή τµήµα του A επί διάνυσµα. Εποµένως το κόστος m επαναλήψεων είναι ανάλογο του mnnz εποµένως, αφού nnz αn, το κόστος ϑα είναι ανάλογο του mnα,... το οποίο ϑα πρέπει να συγκρίνουµε µε το αντίστοιχο κόστος µιας άµεσης µεθόδου. Αν εφαρµόζεται υπερταχύς επιλυτής (π.χ. FACR), η επαναληπτική µέθοδος δεν είναι ανταγωνιστική. Η επίλυση πολύ µεγάλων γραµµικών συστηµάτων µε άµεσες µεθόδους καθίσταται ανέφικτη όταν το µέγεθος του προβλήµατος γίνει «πολύ µεγάλο».
Χαρακτηριστικά επαναληπτικών µεθόδων Για το Ax = b όταν A είναι αραιό και έχει nnz µη µηδενικά στοιχεία: Οι επαναληπτικές µέθοδοι, ελπίζουµε ότι, αν συγκλίνουν, συγκλίνουν σε m N ϐήµατα ανεξάρτητα Το m εξαρτάται από το πρόβληµα και λιγότερο από το N συνήθως αυξάνει σιγά µε το N για ορισµένα προβλήµατα, ο αριθµός των επαναλήψεων είναι γνωστός «σταθερός» Προγραµµατίζονται ευκολότερα Πολύ πιο ϕθηνοί σε µνήµη και πράξεις ανά ϐήµα There is no free lunch! Η τεχνολογία επίλυσης δεν είναι πλήρως αναπτυγµένη και δεν υπάρχουν µέθοδοι που να δουλεύουν σε όλες τις περιπτώσεις.
Παρατηρήσεις Η συµπεριφορά των επαναληπτικών µεθόδων εξαρτάται ουσιαστικά από τις δοµικές και µαθηµατικές ιδιότητες του µητρώου, π.χ. αν είναι ΣΘΟ κλπ. Υποθέτουµε ότι το µητρώο είναι µεγάλο και αραιό. Τα µεγάλα αραιά εµφανίζονται πολύ πιο συχνά από τα πυκνά. Λόγω της εύθραυστης τεχνολογίας των άµεσων µεθόδων, σε ευαίσθητες εφαρµογές, οι επαναληπτικές µέθοδοι χρησιµοποιούνται µόνον όταν δεν υπάρχει εναλλακτική λύση. Αν το αρχικό πρόβληµα είναι µη γραµµικό, οι επαναληπτικές µέθοδοι (π.χ. Newton) είναι η µόνη διέξοδος.
Η ϐασική ιδέα στους επιλυτές γραµµικών συστηµάτων είναι να συνδυάζονται τα εξής: επαναληπτικές µέθοδοι προετοιµασία µε προσταθεροποιητές/προρρυθµιστές (preconditioners) που µπορεί να χρησιµοποιούν τεχνολογία άµεσων αραιών ή και πυκνών µητρώων, χρησιµοποιώντας στοιχεία από το πρόβληµα (application dependent preconditioners). αξιοποίηση µηδενικής και άλλης δοµής (sparse, data sparse)
Γενικά στοιχεία επαναληπτικών µεθόδων Κλασική ϑεωρία Επίλυση του Ax = b όπου A C n n,b C n. Γενικά ϑα υποθέτουµε ότι A αντιστρέψιµο - αν και επαναληπτικές µέθοδοι µπορούν να χρησιµοποιηθούν και σε περιπτώσεις που το µητρώο δεν είναι αντιστρέψιµο, οπότε ϐρίσκουν «ειδική λύση». Μια επαναληπτική µέθοδος χαρακτηρίζεται µε µια συνάρτηση Φ : C n C n C n ώστε x (k+1) = Φ(x (k),b),k 0 Στη συνέχεια ϑα ϑεωρούµε ότι η επαναληπτική µέθοδος ορίζεται για την επίλυση του Ax = b.
Η Φ µπορεί να είναι γραµµική ή µη γραµµική: Σε πολλές περιπτώσεις, η Φ είναι µια υπορουτίνα στην οποία δίνουµε στην είσοδο το x (k) και λαµβάνουµε στην έξοδο το x (k+1). Αρχικοποίηση: Για να υπολογιστούν τα x (k), πρέπει να αρχικοποιήσουµε x (0), π.χ. x (0) = x 0. Εποµένως, τα συγκεκριµένα x (k) εξαρτώνται από το x (0) και από το b: x (k) = x (k) (x 0,b), x (k+1) = Φ(x (k) (x 0,b),b)
Παρατηρήσεις Ο τρόπος της επανάληψης µπορεί να αλλάζει σε κάθε ϐήµα, π.χ. Φ = {φ k } k=1 Θα µπορούσαµε να γράψουµε και x (k+1) = Φ(x (k),b,k) µε Φ : C n C n N C n Η Φ ϑα µπορούσε να εξαρτάται και από προηγούµενες επαναλήψεις, π.χ. Φ(x (k),x (k 1),b).
Σταθερό σηµείο επανάληψης Ορισµός Ενα σηµείο x s (x 0,b) του C n αποκαλείται σταθερό σηµείο (της επανάληψης Φ) αν x s = Φ(x s,b). Επειδή το σηµείο αφορά την επανάληψη Φ για το δεδοµένο b, λέµε ότι το σταθερό σηµείο x s (x 0,b) ως προς b. Προσοχή: Για να έχει νόηµα η επαναληπτική µέθοδος, ϑα πρέπει το σταθερό σηµείο της να είναι και λύση του αρχικού προβλήµατος, ειδάλλως η µέθοδος ϑα οδηγεί σε εγκλωβισµό στο σταθερό σηµείο. Ειδική περίπτωση: Να υπάρχουν περισσότερα από ένα σταθερά σηµεία, κάποιο από τα οποία να είναι η λύση.
Συνέπεια Ορισµός Μια επαναληπτική µέθοδος Φ είναι συνεπής µε το σύστηµα Ax = b αν για κάθε δεξιό µέλος b C n, η λύση του συστήµατος είναι σταθερό σηµείο του Φ ως προς b, δηλ. x s = Φ(x s,b). Επειδή το σηµείο αφορά την επανάληψη Φ για συγκεκριµένο b, λέµε ότι το σταθερό σηµείο x s (x 0,b) ανήκει στο b. Προσοχή: Αν µια µέθοδος είναι συνεπής, τότε εξασφαλίζουµε ότι αν στη διάρκεια των επαναλήψεων ϐρεθεί η λύση, τότε δεν ϑα ξεφύγουµε από αυτήν (σε αριθµητική άπειρης ακρίβειας).
Σύγκλιση Λέµε ότι µια επαναληπτική µέθοδος συγκλίνει αν ισχύει ότι υπάρχει lim k x (k) (x 0,b) x 0,b C n Προσέξτε ότι η τιµή εκκίνησης x 0 δεν αποτελεί χαρακτηριστικό της επαναληπτικής µεθόδου. Θέλουµε, το όριο να είναι ανεξάρτητο του διανύσµατος εκκίνησης και εξειδικέυουµε την έννοια της σύγκλισης: Ορισµός Μια επαναληπτική µέθοδος Φ συγκλίνει αν για κάθε δεξιό µέλος b C n, η ακολουθία x k (x 0,b) συγκλίνει στο ίδιο x s, ανεξάρτητα του x 0. Παρατήρηση εν εφαρµόζεται σε µη γραµµικά πρβλ. - η σύγκλιση εξαρτάται ισχυρά από το διάνυσµα εκκίνησης.
Σύγκλιση και συνέπεια Θεώρηµα Αν η Φ(, ) είναι συνεχής ως προς το πρώτο όρισµα, τότε είναι συνεπής και συγκλίνουσα αν και µόνο αν το A είναι αντιστρέψιµο και ισχύουν ότι 1 υπάρχει lim k x (k) (x 0,b) x 0,b C n 2 Για κάθε σταθερό σηµείο x της Φ, ισχύει ότι Ax = b,b C n
Κανονικοποιηµένες µορφές της επανάληψης Μια επαναληπτική µέθοδος Φ αποκαλείται γραµµική, αν είναι γραµµική ως προς τα όρισµατά της. Αν µια επαναληπτική µέθοδος είναι γραµµική, τότε µπορούµε να γράψουµε ότι x (k+1) Tx (k) + Gb, T,G C n n όπου το T ονοµάζεται µητρώο επανάληψης. 1η κανονική µορφή x (k+1) = Tx (k) + Gb, T,G C n n 2η κανονική µορφή x (k+1) = x (k) + G(b Ax (k) ), 3η κανονική µορφή Για αντιστρέψιµο M C n n M(x (k+1) x (k) ) = b Ax (k)
Σχέσεις Μια γραµµική επαναληπτική µέθοδος Φ είναι συνεπής αν και µόνον αν για το µητρώο επανάληψης T και το G ισχύει ότι T = I GA. Αν το A είναι αντιστρέψιµο, τότε ισχύει επίσης ότι G = (I T)A 1 Αν το M είναι αντιστρέψιµο, τότε G = M 1.
ιατύπωση επαναλήψεων Θεώρηµα Η γραµµική επαναληπτική µέθοδος (σε 1η κανονική µορφή) παράγει τους όρους x (k) (x 0,b) = T k x 0 }{{} µεταβατικός όρος; k 1 + j=0 T j G b }{{} p k 1 (T) Σφάλµα, κατάλοιπο, ελάττωµα Για κάθε επανάληψη, ορίζουµε (διανύσµατα): Σφάλµα e (k) = x x (k) ή e (k) = x (k) x Υπόλοιπο ή/κ κατάλοιπο r (k) = b Ax (k), ή και d (k) = Ax (k) b
Βασικές σχέσεις Αν η επανάληπτική µέθοδος είναι συνεπής, καθώς επίσης Εποµένως: e (k) = x x (k) = x Tx (k 1) Gb = Tx + Gb Tx (k 1) Gb = Te (k 1) Ae (k) = Ax Ax (k) = b Ax (k) = r (k) e (k) = Te (k 1) = = T k e (0) Ae (k) = r (k) r (k) = ATe (k 1) = ATA 1 r (k 1) = = (ATA 1 ) k r (0)
Συγκλίνον µητρώο Οριο ακολουθίας διανυσµάτων ως προς τη νόρµα lim k x (k) x lim k x (k) x = 0 Σε πεπερασµένη διάσταση, το lim k x (k) = x είναι ανεξάρτητο της νόρµας - λόγω ισοδυναµίας των νορµών. Οριο συνάρτησης µητρώου lim k f k (A) = B αντίστοιχα, αν lim k A (k) B = 0. Ορισµός Ενα µητρώο A αποκαλείται συγκλίνον ή ότι συγκλίνει αν lim k A k = 0.
Θεώρηµα Ενα µητρώο A C n n είναι συγκλίνον αν και µόνον αν ρ(a) < 1.
Απόδειξη Αν το µητρώο είναι ερµιτιανό, τότε υπάρχει Q τέτοιο ώστε Q AQ = Λ το διαγώνιο µητρώο των ιδιοτιµών και Q Q = I. Τότε lim k A k = lim k QΛ k Q = Q(lim k Λ k )Q όπου Λ k = diag[λ k 1,...,λk n] και κάθε στοιχείο τείνει στο 0 καθώς k. Αν το µητρώο δεν είναι ερµιτιανό, τότε χρησιµοποιούµε την κανονική µορφή Jordan του µητρώου 1 όπου S 1 AS = J = diag[j 1,...,J s ] λ t 1 0. J t = 0 λ t 1... λ.. t λ t 1 είτε το συγγραµµα του µαθήµατος (Laub), σελ. 135
Προσέξτε ότι J t = λ t I + E t όπου το E t είναι µηδενοδύναµο, δηλ. αν είναι s s τότε οπωσδήποτε E s t = 0. όπου άρα A k = SJ k S 1 = diag[j k 1,...,J k s ] J k s 1 = i=0 J k s 1 i=0 k! i!(k i)! λk i t E i t k! i!(k i)! λ t k i E i t lim k Jk = 0 Ακολουθεί ότι ικανή και αναγκαία συνθήκη για σύγκλιση είναι ρ(λ) < 1.
Θεώρηµα (ϐασικό σύγκλισης) Αν το µητρώο T είναι συγκλίνον τότε lim k k j=0 T j = (I T) 1 Θεώρηµα Μια γραµµική ΕΜ στην 1η µορφή µε µητρώο επανάληψης T είναι συνεπής και συγκλίνει αν και µόνον αν ρ(t) < 1.
Πόσο γρήγορα συγκλίνει µια µέθοδος; Το ρ(t) ή το ln(ρ(t)) ορίζει τον ασυµπτωτικό ϱυθµό σύγκλισης της µεθόδου. Πόρισµα Αν η µέθοδος συγκλίνει, τότε η ακολουθία συγκλίνει στο (I T) 1 Gb. Αν η µέθοδος είναι συνεπής, τότε τα T,G είναι αντιστρέψιµα και οι όροι συγκλίνουν στη µοναδική λύση της Ax = b.
Πότε συγκλίνει µια µέθοδος Θεώρηµα Αν για κάποια νόρµα µητρώου ισχύει ότι T < 1 τότε κάθε γραµµική ΕΜ στην 1η µορφή µε µητρώο επανάληψης T συγκλίνει. Αν η µέθοδος είναι συνεπής, τότε e (k+1) T e (k) T k e (0) Αν T < 1, τότε σε κάθε ϐήµα e (k+1) < e (k), εποµένως... έχουµε µονοτονική µείωση του σφάλµατος ως προς τη συγκεκριµένη νόρµα Προσοχή: κατά πόσο µια µέθοδος είναι συγκλίνουσα εξαρτάται µόνον από το ρ(t) και όχι από τη νόρµα T!
Φασµατική ακτίνα και νόρµα Γνωρίζουµε ότι Tx = λ x T x και άρα ρ(t) T. ηλαδή, µπορεί να έχουµε την «περίεργη» κατάσταση για κάποια νόρµα: ρ(t) < 1 < T οπότε το µητρώο να είναι συγκλίνον, και η επαναληπτική µέθοδος που χρησιµοποιεί το T να συγκλίνει αλλά T k Αυτό συµβαίνει γιατί οι σχέσεις e (k+1) T e (k), e (k) T k e (0) προσφέρουν µόνον άνω ϕράγµατα για την εξέλιξη και την τιµή του σφάλµατος.
Παράδειγµα [Var62] Εστω ( α 4 A = 0 α ) ( α 0, B = 0 β ), 0 < α < β < 1. Τότε ( α A m = m 4mα m 1 0 α m ) ( α, B m m 0 = 0 β m ), 0 < α < β < 1. και A m = ]) 1/2 (α 2m + 8m 2 α [1 2m 2 + (1 + α2 4m 2 )1/2, B m = β m.
Οταν α 1, το A m αρχικά µεγαλώνει για m = 1,...,M για κάποιο M, και µόνο µετά µειώνεται. Επίσης αρχικά, A m > B m. Ενέλει, καθώς m, A m < B m. Στο παράδειγµα, υπολογίζουµε το A m 2 ως τετρ. ϱίζα της µέγιστης ιδιοτιµής του (A m ) A m ή µε το Symbolic Toolbox της MATLAB syms a b m positive A=[aˆm,4*m*aˆ(m -1);0,aˆm]; svd(a) ans = (aˆ2*aˆ(2*m) - 4*m*(aˆ(4*m)*(aˆ2 + 4*mˆ2))ˆ(1/2) +... 8*aˆ(2*m)*mˆ2) ˆ(1/2)/a (4*m*(aˆ(4*m)*(aˆ2 + 4*mˆ2))ˆ(1/2) + aˆ2*aˆ(2*m) +... 8*aˆ(2*m)*mˆ2) ˆ(1/2)/a
Αν εξετάσετε την έκφραση, ϑα δείτε ότι A m 2 αυξάνει ως ότου m δ 1 οπότε 8 A m 2 δ 2 e 2 άρα υπάρχει M τέτοιο ώστε ( A m 2 ) 1/m 1, m M. Για παράδειγµα, αν α = 0.99 τότε M = 805.
Γνωρίζουµε ότι οι νόρµες είναι ισοδύναµες, και ότι αν έχουµε σύγκλιση, αυτό ϑα συµβαίνει ως προς οποιαδήποτε νόρµα. Το παρακάτω ϑεώρηµα µας λέει ότι όποια και να είναι η τιµή του ρ(t), υπάρχει νόρµα (όχι κατ ανάγκη οι κλασικές νόρµες που ξέρουµε να υπολογίσουµε) τέτοια ώστε το T είναι όσο κοντά ϑέλουµε στο ρ(t). Θεώρηµα (προσέγγιση ϕασµατικής ακτίνας από ειδική νόρµα) Εστω T C n n και κάποιο ε > 0. Τότε υπάρχει νόρµα µητρώου που παράγεται από νόρµα διανύσµατος τέτοια ώστε ρ(t) T ρ(t) + ε
Εποµένως, αν ρ(t) < 1, υπάρχει κάποια νόρµα για την οποία T < 1. Σύµφωνα µε προηγούµενο αποτέλεσµα, εποµένως, η ακολουθία e (k) ως προς τη συγκεκριµένη νόρµα ϑα είναι µονοτονική. Οταν το µητρώο είναι κανονικό, τότε ρ(t) = T 2 οπότε το σφάλµα συµπεριφέρεται µονοτονικά ως προς την ευκλείδια νόρµα.
Τα περισσότερα προβλήµατα στις επαναληπτικές µεθόδους προέρχονται από µητρώα επανάληψης που δεν είναι κανονικά, δηλ. για τα οποία T T TT. Από τη σχέση e (k) T k e (0) έχουµε ότι το σχετικό σφάλµα σε k ϐήµατα ϕράσσεται από e (k) e (0) T k
εποµένως, ασυµπτωτικά, ( ) e (k) 1/k lim k e (0) lim k ( T k ) 1/k και από ϐασικό ϑεώρηµα της συναρτησιακής ανάλυσης που λέει ότι για όλες τις νόρµες lim k ( T k ) 1/k = ρ(t) ισχύει ότι ( ) e (k) 1/k lim k e (0) ρ(t). Ασυµπτωτικά, η µέθοδος συγκλίνει µε ταχύτητα ρ(t) ανεξάρτητα της νόρµας!
Πόσες επαναλήψεις; Ρυθµός σύγκλισης Πόσες επαναλήψεις; εν είναι εύκολο να απαντήσουµε αυτό το ερώτηµα. Για να µειωθεί το αρχικό σφάλµα από e (0) σε α e (0) όπου α < 1 έχουµε e (m) = T m e (0) T m e (0) < α e (0) Για να µειωθεί το σχετικό σφάλµα κατά α αρκεί εποµένως T m T m = α m ln T = lnα άρα ο αριθµός των επαναλήψεων µπορεί να είναι m = lnα ln T Η δυσκολία είναι ότι δεν γνωρίζουµε πάντα τη νόρµα ως προς την οποία T < 1
Μέσος και ασυµπτωτικός ϱυθµός σύγκλισης Αν T m < 1, τότε ο παράγοντας R(T m ) := ln T m m,m 1 αποκαλείται «µέσος ϱυθµός σύγκλισης» για m επαναλήψεις (ως προς τη συγκεκριµένη νόρµα). Επίσης, ο παράγοντας R (T) := lnρ(t) είναι ο «ασυµπτωτικός ϱυθµός σύγκλισης». Για κάθε συγκλίνον µητρώο T, R(T m ) R (T)
Προσέξτε ότι: Το R (T) δηλώνει, 1 αν µετρήσουµε το σφάλµα µε τη νόρµα εκείνη για την οποία ρ(t) T < 1, ή 2 όταν ϐρεθούµε στην περιοχή όπου η σύγκλιση καθορίζεται από τον ασυµπτωτικό ϱυθµό σύγκλισης, µετά από 1/R (T) επαναλήψεις το σφάλµα ϑα µειωθεί κατά e 1.
Ελεγχος τερµατισµού Ισχύει ότι: Θεώρηµα Εστω συγκλίνουσα επαναληπτική µέθοδος µε µητρώο επανάληψης T, οπότε T < 1. Τοτε x x (k) T 1 T x(k) x (k 1)
Για να σταµατήσουµε τις επαναλήψεις µπορούµε να χρησιµοποιήσουµε: έλεγχο του υπολοίπου r (k) ε, οπότε e (k) = A 1 r (k) A 1 ε έλεγχο µεγέθους διόρθωσης της προσέγγισης σε ένα ϐήµα x (k) x (k 1) ε οπότε e (k) T 1 T ε ή τα παραπάνω, µετρώντας όµως τις «σχετικές» ποσότητες, ή έλεγχοι που αφορούν στο σφάλµα µετρηµένο στοιχείο προς στοιχείο.
Τα παραπάνω δείχνουν ότι αν στόχος είναι να έχουµε σφάλµα µικρότερο από ˆε ϑα πρέπει να κάνουµε αρκετές επαναλήψεις µέχρι να ισχύει ότι ˆε γ(a)ε όπου γ είναι σταθερά που εξαρτάται από το είδος του ελέγχου, π.χ. A 1 ή T 1 T.
Σύγκλιση και ανάλυση σφάλµατος σε ιδιοδιανύσµατα Μπορούµε να αναλύσουµε το σφάλµα και να έχουµε πληροφορίες για τη σύγκλιση από τις «προβολές» του αρχικού σφάλµατος στα ιδιοδιανύσµατα του T - δηλαδή, πώς συντίθεται το αρχικό σφάλµα από τα ιδιοδιανύσµατα του T. Αν T R n n έχει n γραµµικά ανεξάρτητα ιδιοδιανύσµατα u i, τότε αυτά είναι πλήρης ϐάση για το χώρο R n οπότε γράφουµε: e (0) = εποµένως n j=1 c j u j = Uc,όπου U = [u 1,...,u n ],Au j = λ j u j, e (k) = T k e (0) = T k n j=1 c j u j = n j=1 c j T k u j = n j=1 c j λ k j u j και για να ισχύει ότι e (k) 0 ϑα πρέπει λ j < 1,j = 1 : n.
Εποµένως, σε αριθµητική άπειρης ακρίβειας, αν το αρχικό σφάλµα δεν έχει συνιστώσες σε κάποια ιδιοδιανύσµατα του T, τότε το ίδιο ϑα ισχύει και για κάθε διάνυσµα e (k).
Παραδείγµατα 10 1 3.5 10 0 Values of T k x 0 2 for symmetric and converging T for various starting vectors x 0 3 x 0 =ones(10,1) Values of T k x 0 2 for nonnormal but converging T for various starting vectors x 0 T = trid 10 [ 0.25, 0.5, 0.75] 10 1 x 0 =e 5 x 0 =e 7 2.5 x 0 =e 10 T 2 = 1.1336, ρ(t) = 0.9698 10 2 x 0 =e 1 2 T k x 0 2 10 3 10 4 x 0 =ones(10,1) T k x 0 2 1.5 1 10 5 10 6 T = trid 10 [ 0.25, 0.5, 0.25] T 2 = ρ(t) = 0.9797 0.5 x 0 =e 5 10 7 0 50 100 150 iteration 0 x 0 =e 1 0 20 40 60 80 100 120 140 160 180 200 iteration
R. S. Varga. Matrix Iterative Analysis. Prentice Hall Inc., New Jersey, 1962.