Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα) Επαναληπτικές µέθοδοι και Ηµι-Επαναληπτικές Μέθοδοι Πανεπιστήµιο Αθηνών 31 Μαρτίου 2017 Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 1 Μέθοδο / 17
Στατικές και µη-στατικές επαναληπτικές µέθοδοι για την επίλυση Γραµµικών Συστηµάτων ίνεται το γραµµικό σύστηµα Ax = b όπου A R n n, είναι µη ιδιάζων πίνακας, x, b R n. Οι επαναληπτικές µέθοδοι χρησιµοποιούνται όταν ο πίνακας A είναι : Μεγάλης τάξης ( 10 3 10 6 ) Αραιός Συγκεκριµένης δοµής Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 2 Μέθοδο / 17
Επαναληπτικές Μέθοδοι Ax = b x = Gx + k r (m) = b Ax (m) υπόλοιπο x (m+1) = x (m) + τ R 1 r (m) x (m+1) = (I τ R 1 A)x }{{} (m) + } τ R {{ 1 b } G τ (R) k τ (R) x = G τ (R) x + k }{{} τ (R) επαναλ. πίνακας Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 3 Μέθοδο / 17
Επιταχυντικές Επαναληπτικές µέθοδοι 1ου ϐαθµού Στατική επαναληπτική µέθοδος Richardson x (m+1) = x (m) + τ R 1 r (m), m = 0, 1, 2, Μη-Στατική επαναληπτική µέθοδος Richardson x (m+1) = x (m) + τ m R 1 r (m), m = 0, 1, 2, Ο επαναληπτικός πίνακας στην m επανάληψη είναι: G(τ m ) = I τ m R 1 A Παρατηρήσεις Αν τ m = τ στατική ε.µ. Αν R = I µη-προβλέψιµη(non-predictioned) ε.µ. Αν τ = 1, R = D ε.µ Jacobi Αν τ = 1, R = D C L ε.µ Gauss-Seidel Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 4 Μέθοδο / 17
Αλγόριθµος ε.µ. Richardson Συµβ.: r (m) = b Ax (m) υπόλοιπο z (m) = R 1 r (m) υπόλοιπο µε προσυνθήκη ( preconditioned residual ) Για την υλοποίηση της µεθόδου Richardson εφαρµόζεται ο ακόλουθος αλγόριθµος : Για m = 0, 1, 2, 1. Επίλυση του γρ. συστήµατος R z (m) = r (m) 2. Υπολογισµός της παραµέτρου επιτάχυνσης τ m 3. Ενηµέρωση της λύσης x (m+1) = x (m) + τ m z (m) 4. Ενηµέρωση του υπολοίπου r (m+1) = r (m) τ m Az (m) Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 5 Μέθοδο / 17
Πίνακες µε προρύθµιση (Preconditioned matrices) Πίνακες Προρύθµισης Ax = b R 1 Ax = R 1 b 1. Αλγεβρικοί 2. Συναρτησιακοί ιαγώνιος R = D = diag(a 11, a 22, a nn ) Αν A συµµετρικός και ϑετικα ορισµένος τότε ο R = D είναι αποτελεσµατικός. n Αν A µη συµµετρικός και ϑετικα ορισµένος τότε ϑέτουµε r 2 ii = a 2 ij. Μη πλήρης (Incomplete) LU παραγοντοποίηση (ILU) και µη πλήρης (Incomplete) Cholesky παραγοντοποίηση (IC) (Υπολογισµός της παραγοντοποίησης µόνο για τα µή µηδενικά στοιχεία του A ). Πολυωνυµικός R 1 = p n (A), n µικρό Με ελάχιστα τετράγωνα R 1 = p s (A), προσέγγιση του A 1 µε ένα πολυώνυµο ελαχίστων τετραγώνων p s (A) j=1 Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 6 Μέθοδο / 17
Μελέτη σύγλισης της ε.µ. Richardson Θεώρηµα 1 : Αν R είναι n n µη ιδιάζων πίνακας τότε η στατική ε.µ Richardson συγκλίνει 2Re(λi) τ λ i 2 > 1, i = 1, 2,, n όπου λ i R είναι οι ιδιοτιµές του R 1 A. Θεώρηµα 2 : Αν R είναι n n µη ιδιάζων πίνακας και ο R 1 A έχει θετικές πραγµατικές ιδιοτιµές λ 1 λ 2 λ n τότε η στατική ε.µ Richardson συγκλίνει 0 < τ < 2/λ 1. Επίσης η ϕασµατική ακτίνα ρ(g τ ) ελαχιστοποιείται για και η αντίστοιχη τιµή της δίνεται από τον τύπο 2 τ o = λ 1 + λ n ρ(g τo ) = λ1 λn λ 1 + λ n Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 7 Μέθοδο / 17
Ηµι-Επαναληπτικές Μέθοδοι Γραµµική στατική Επαναληπτική µέθοδος 1ου ϐαθµού Au = b u (n+1) = Gu (n) + k, n = 0, 1, 2, u (0) αυθαίρετο Σχηµατισµός της νέας ακολουθίας: n v (n) = a k (n)u (k), n = 0, 1, 2, (2) k=0 Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 8 Μέθοδο / 17
Σύγκλιση της Ηµι-Επαναληπτικής Μεθόδου Ακολουθίες διαδοχικών σφαλµάτων ɛ (k) = u (k) u η (k) = v (k) u η (n) = Ορίζουµε το πολυώνυµο ɛ (k) = G k ɛ (0) ( n ) a k (n)g k k=0 ɛ (0) n P n (x) = a k (n)x k, n = 0, 1, 2, k=0 οπότε έχουµε Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι και 31 Μαρτίου Ηµι-Επαναληπτικές 2017 9 Μέθοδο / 17
Πρόβληµα Ελαχιστοποίησης Με την υπόθεση ότι ο πίνακας G έχει πραγµατικές ιδιοτιµές λ i τέτοιες ώστε α λ i β < 1 ισχύει P n (G) 2 = ρ(p n (G)) = max P n (λ i ) max P n(λ) λ i α λ β Ετσι καταλήγουµε στο ακόλουθο πρόβληµα ελαχιστοποίησης min { max P n (λ) } P n(1)=1 α λ i β<1 Η λύση του ανωτέρω προβλήµατος γίνεται µε τη χρήση των πολυωνύµων Chebychev ως εξής: Μετασχηµατισµός γ : [α, β] [0, 1] γ = 2λ (β + α) β α λ = (β α)γ + β + α 2 Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 10 Μέθοδο / 17
Χρήση των πολυωνύµων Chebychev Ορίζουµε το πολυώνυµο οπότε έχουµε Q n (γ) = P n (λ) max P n(λ) = max Q n (γ) α λ β 1 γ 1 Το πρόβληµα είναι η εύρεση ενός πολυωνύµου Q n (γ) ϐαθµού n : Q n (z) = 1 (όπου z = γ(1)) και η ποσότητα να γίνεται ελάχιστη. max Q n (γ) 1 γ 1 Η λύση στο παραπάνω πρόβληµα δίνεται από το ακόλουθο ϑεώρηµα : Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 11 Μέθοδο / 17
Θεώρηµα Εστω n ένας σταθερός µη αρνητικός ακέραιος και z οποιοσδήποτε σταθερός πραγµατικός αριθµός µε z > 1. Αν ϑέσουµε P n(x) = Tn(x) T n(z), όπου T n(x) είναι το πολυώνυµο Chebychev n-ϐαθµού που δίνεται από τον τύπο T n(x) = cos(ncos 1 x) = 1 [ ( x + n ( x 2 1) + x + ) ] n x 2 1 2 τότε και = cosh(ncosh 1 x) P n(z) = 1 max P n(x) = 1 1 x 1 T n(z) Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 12 Μέθοδο / 17
Επιπλέον, αν Q n (x) είναι οποιοδήποτε πολυώνυµο ϐαθµού n τέτοιο ώστε Q(z) = 1 και max Q(x) max P n (x) 1 x 1 1 x 1 τότε Q(x) = P n (x) Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 13 Μέθοδο / 17
Χρήσιµη αναδροµική σχέση των πολυωνύµων Chebychev T n+1 (x) = 2xT n (x) T n 1 (x), n = 1, 2, Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 14 Μέθοδο / 17
Αλγόριθµος της Ηµι-Επαναληπτικής µεθόδου Chebychev Β1. ιάβασε ɛ, max_iter Β2. σ = β α 2 β α, ρ = 2 2 β α Β3. v (0) = κάποια αρχική προσέγγιση Β4. v (1) = ρ(gv (0) + k) + (1 ρ)v (0) Β5. ρ 2 = (1 12 ) 1 σ2 Β6. n = 1 Β7. v (2) = ρ 2 ( ρ(gv (1) + k) + (1 ρ)v (1)) + (1 ρ 2 )v (0) Β8. Επανάλαβε n = n + 1 Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 15 Μέθοδο / 17
...Αλγόριθµος της Ηµι-Επαναληπτικής µεθόδου Chebychev Β8. Επανάλαβε n = n + 1 ρ n+1 = (1 14 ) 1 σ2 ρ n v (n+1) = ρ n+1 ( ρ(gv (n) + k) + (1 ρ)v (n)) + (1 ρ n+1 )v (n 1) όσο ισχύει ( n < max_iter και v (n+1) v (n) ɛ) Β9. Αν n < max_iter τύπωσε τη λύση v (n+1) διαφορετικά τύπωσε( Οχι σύγκλιση µετά από max_iter επαναλήψεις ) Β10.Τέλος Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 16 Μέθοδο / 17
Η µέθοδος γενικών διευθύνσεων (Gradient) ( ή απότοµης καθόδου(stepest Descent) ) Αν A n n συµµετρικός και θετικα ορισµένος (SPD) πίνακας τότε το συναρτησοειδές Q : R n R, x R, που ορίζεται από τον τύπο Q(x) = 1 2 xt Ax x T b, λέγεται ενέργεια του γραµµικού συστήµατος Ax = b. Λήµµα : Αν R είναι n n µη ιδιάζων πίνακας και b R n Q(x) ισχύει x = min Q(x) Ax = b. x R n τότε για τη συνάρτηση Επιστηµονικοί Υπολογισµοί (Αρ. Γρ. Αλγεβρα)Επαναληπτικές µέθοδοι31 και Μαρτίου Ηµι-Επαναληπτικές 2017 17 Μέθοδο / 17