Επιστηµονικός Υπολογισµός ΙΙ

Επιστηµονικός Υπολογισµός ΙΙ Ε. Γαλλόπουλος 1 1 Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Πολυτεχνική Σχολή, Πανεπιστήµιο Πατρών 6/3/13

Σταθµισµένη νόρµα (Νόρµα ενέργειας) Οταν ένα µητρώο W R n n είναι ΣΘΟ ορίζεται η σταθµισµένη νόρµα x,y W := Wx,y Ενδιαφέρον Μπορεί A A, εποµένως x Ay x A y αλλά να υπάρχει ΣΘΟ W τέτοιο ώστε Ax,y W = x,ay W ηλαδή µπορεί το A να µην είναι ΣΘΟ ως προς το σύνηθες εσωτερικό γινόµενο, αλλά να είναι ΣΘΟ ως προς κάποιο σταθµισµένο. Παράδειγµα: A = B 1 C και A = CB όπου C = C και B ΣΘΟ.

Αν γνωρίζουµε την παραγοντοποίηση Schur αυτόµατα γνωρίζουµε και τις ιδιοτιµές Εποµένως δεν µπορούµε να λάβουµε την παραγοντοποίηση σε πεπερασµένο αριθµό πράξεων (και η δαπάνη είναι τουλάχιστον αντίστοιχη) Η παραγοντοποίηση δεν είναι µοναδική Συζήτηση - Παραγοντοποίηση Schur Χρήσιµη για να δείξουµε την ύπαρξη νόρµας κοντά στη ϕασµατική ακτίνα Θεώρηµα Εστω µητρώο A R n n µε ιδιοτιµές {λ j } n j=1. Τότε υπάρχει ορθογώνιο µητρώο Q τέτοιο ώστε A = QRQ ώστε το είναι R άνω τριγωνικό (αν όλες οι ιδιοτιµές του A είναι πραγµατικές) ή οιωνεί άνω τριγωνικό (quasi-upper triangular) µε πλοκάδες 2 2 στη διαγώνιο, µία για κάθε Ϲεύγος συζυγών ιδιοτιµών του A. Εντέλει, όλες οι πραγµατικές ιδιοτιµές του A ϐρίσκονται στη διαγώνιο του S ως ϐαθµωτοί και όλες οι µιγαδικές περιέχονται ως ιδιοτιµές των πλοκάδων.

Απόδειξη. Παραγοντοποίησης (µορφής) Schur: Με επαγωγή στη διάσταση n. Ισχύει για n = 1. Εστω ότι ισχύει για n 1 και έστω ιδιοζεύγος (λ,u) ώστε u 2 = 1. Εστω το µοναδιαίο µητρώο U = [u,ũ], τότε U AU = λ {}}{ u Au U Au }{{} 0 u AŨ U AU και το εντός πλαισίου µητρώο έχει διάσταση n 1 άρα µπορεί να αναχθεί σε µορφή Schur εξ επαγωγής. Εποµένως υπάρχει µοναδιαίο P C (n 1) (n 1) ώστε P (U AU)P = ˆR. Αρα µπορούµε να ϕτιάξουµε τον επίσης µοναδιαίο Q = Udiag[1, P] που επιφέρει τριγωνοποίηση.

Απόδειξη Θεωρήµατος (προσέγγισης ϕασµ. ακτίνας από νόρµα) Εστω ότι T = QRQ είναι η παραγοντοποίηση Schur του T. Τότε αν D t := diag[t,t 2,,t n ] έχουµε λ 1 t 1 r 12 t n+1 r 1n D t RD 1 t = λ 2... t n+2 r 2n...... λn Μπορούµε να επιλέξουµε το t αρκετά µεγάλο ώστε το άθροισµα των απολύτων τιµών των στοιχείων σε κάθε στήλη να γίνει µικρότερη από ε, δηλ. D t RD 1 t 1 ρ(t) + ε

Επιλέγουµε τη νόρµα ως εξής T D t Q AQD 1 t 1 οπότε ισχύει και η Ϲητούµενη ανισότητα. Αποµένει να δείξουµε ότι η παραπάνω σχέση ορίζει έγκυρη νόρµα. Θεώρηµα Ισχύει ότι αν είναι κάποια νόρµα µητρώου στο C n n και το µητρώο G C n n είναι αντιστρέψιµο, τότε η σχέση T G G GTG 1 ορίζει την συνάρτηση G G που έχει όλες τις ιδιότητες της νόρµας. Επίσης αν η νόρµα παράγεται από νόρµα διανύσµατος, το ίδιο και η G G παράγεται από τη νόρµα διανύσµατος G G.

Φασµατική ακτίνα και σύγκλιση Η παραγοντοποίηση Schur µπορεί να χρησιµοποιηθεί για να αποδείξουµε το ότι ρ(a) < 1 είναι ικανή και αναγκαία συνθήκη για σύγκλιση. Απόδειξη. Αν lim k A k = 0 τότε για κάθε ιδιοζεύγος (λ,u) ισχύει A k u = λ k u 0 εποµένως λ < 1. Αν ρ(a) < 1 από προηγούµενο ϑεώρηµα υπάρχει νόρµα για την οποία A < 1. Εποµένως A k A k 0. Οµως όλες οι νόρµες είναι ισοδύναµες εποµένως µπορούµε να δείξουµε χρησιµοποιώντας τη νόρµα Frobenius ότι όλοι οι όροι του A k τείνουν στο µηδέν.

ιασπάσεις και επαναλήψεις Γράφουµε Mx + (A M) x = b για αντιστρέψιµο M, άρα }{{} N A = M N ονοµάζεται διάσπαση του A από το οποίο προκύπτει η επαναληπτική µέθοδος Mx (k+1) + (A M)x (k) = b. Τότε x (k+1) = (I M 1 A)x (k) + M 1 b, και µπορούµε να γράψουµε γενικά όπου x (k+1) = Tx (k) + c. T := M 1 N = I M 1 A, c := M 1 b. είναι οι παράγοντες της επανάληψης. Η λύση είναι το σταθερό σηµείο της επανάληψης. Πώς επιλέγουµε τα M,N;

Επιλογή διάσπασης Παρατηρήσεις 1 Ετσι ώστε το σύστηµα Mx = y να λύνεται γρήγορα. 2 Ετσι ώστε η σύγκλιση µε το µητρώο επανάληψης T = M 1 N να είναι γρήγορη.... όµως είναι δύσκολο να ικανοποιηθούν και οι δυο περιορισµοί! Παράδειγµα Αν M = I η αντιστροφή είναι τετριµµένη ενώ η σύγκλιση αρκετά αργή (µέθοδος Richardson) και όχι εξασφαλισµένη. Αν M = A έχουµε σύγκλιση σε ένα ϐήµα αλλά το κόστος είναι ίδιο µε το αρχικό πρόβληµα.

Σε πολλές εφαρµογές, συµφέρει να χρησιµοποιήσουµε διάσπαση στην οποία M 1 0 και N 0 Αυτή λέγεται κανονική διάσπαση ή ϕυσική διάσπαση. Τότε T = M 1 N ϑα έχει µη αρνητικές τιµές. Αυτό είναι χρήσιµο γιατί υπάρχουν πολλά αποτελέσµατα στη ϑεωρία σχετικά µε τη συµπεριφορά, το ϕάσµα κλ.π. µη αρνητικών µητρώων (non-negative matrices). Παρατηρήσεις Τα µη αρνητικά µητρώα εµφανίζονται σε πάρα πολλές εφαρµογές... έχουν ορισµένες ξεχωριστές ιδιότητες όπως το ϑεώρηµα Perron-Frobenius

Επαναληπτικές µέθοδοι ϐασισµένες σε διάσπαση Εστω η διάσπαση A := M N όπου M αντιστρέψιµο. Μια επαναληπτική µέθοδος µπορεί να ορισθεί ως εξής: Σ.1 Mx (k+1) = Nx (k) + b, Σ.2 Αν κάποιο µέτρο του σφάλµατος (π.χ. κάποια νόρµα του υπολοίπου) είναι ικανοποιητικά µικρή Stop αλλοιώς Σ.1. Απαιτούµενοι υπολογισµοί ανά ϐήµα: 1 MV 2 SAXPY 3 Λύση συστήµατος µε µητρώο M. 4 υπολογισµός νόρµας

Παρατηρήσεις Τα M,N είναι αραιά πολλές ϕορές κωδικοποιούµε τη µέθοδο έτσι ώστε το υπόλοιπο να παράγεται επίσης σε κάθε ϐήµα. Εστω A = D L U όπου D το διαγώνιο τµήµα του A, και L, U τα κάτω και άνω τριγωνικά τµήµατα του A: Σε MATLAB D = diag(a), L = tril(a), U = triu(a).

Μέθοδος Richardson Οφείλεται στο Lewis Fry Richardson (1881-1953), πρωτοπόρου του Επιστηµονικού Υπολογισµού, «πατέρα» της υπολογιστικής µετεωρολογίας και εφευρέτη πολλών αριθµητικών µεθόδων. x (k+1) = (I A)x (k) + b Σύγκλιση ρ(i A) < 1. Επειδή λ(i A) = 1 λ(a), για να έχουµε σύγκλιση ϑα πρέπει όλες οι ιδιοτιµές {λ j } j=1:n να ικανοποιούν: 1 λ j (A) < 1

Αν A ερµιτιανό, τότε οι ιδιοτιµές είναι πραγµατικές και για να έχουµε σύγκλιση αρκεί 1 λ(a) < 1 0 < λ(a) < 2 Αν οι ιδιοτιµές ικανοποιούν το παραπάνω κριτήριο εξασφαλίζεται η ασυµπτωτική σύγκλιση, αλλά δεν ϕανερώνεται τίποτα για 1 τη µεταβολή του σφάλµατος στις επαναλήψεις 2 το ϱυθµό της σύγκλισης

Παραµετροποιηµένη µέθοδος Richardson Τότε οπότε x (k+1) = (I αa)x (k) + αb = x (k) + αr (k) x (k+1) = (I αa) x (k) + αb }{{} T r (m) = p m (A)r (0) ; e (m) = p m (A)e (0),όπου p m (A) = (I αa) m Θεώρηµα Η µέθοδος Richardson µε πραγµατική παράµετρο α συγκλίνει αν και µόνον αν α < 2Rλ j λ j 2,j = 1,...,n

Επιλογή παραµέτρου Ευχέρεια να επιλέξουµε την παράµετρο α για γρήγορη σύγκλιση. Θυµηθείτε ότι λ(i αa) = 1 αλ(a) Ανάλυση για ΣΘΟ µητρώα ϑέλουµε να επιλέξουµε τιµή ˆα ώστε: ˆα = arg min 1 αλ(a) α και 1 ˆαλ(A) < 1. Προφανώς πρέπει ˆα > 0 ειδάλλως δεν έχουµε σύγκλιση. Επιλέγουµε ˆα > 0 ώστε ˆα = arg min α max 1 αλ(a) λ Λ(A)

Σύγκλιση Richardson - για ΣΘΟ µητρώα Εξαρτάται από ρ(i αa) = max{ 1 αλ min, 1 αλ max }. Αν λ j (A) R και λ min λ j λ max τότε 1 αλ max λ(i αa) 1 αλ min Αν λ min < 0 < λ max τότε ρ(t) > 1 (απόκλιση) Αν α R και 0 < α < 2/λ max τότε σύγκλιση Βέλτιστο α όταν 1 αλ min = αλ max 1, εποµένως α = 2 λ max +λ min ρ opt = λ max λ min λ max + λ min = κ(a) 1 κ(a) + 1 Συνήθως δεν γνωρίζουµε τις ακραίες ιδιοτιµές, και χρησιµοποιούµε εκτιµήσεις τους προσαρµοζόµενες µέθοδοι που σταδιακά επιχειρούν καλύτερη προσέγγιση του ϐέλτιστου α.

Παράδειγµα 10 2 10 1 10 0 A = poisson2d(10,10), b = rand(100,1), x0=0 Richardson, optimal theta 10 3 10 2 Richardson with single parameter A = poisson2d(15,20), b=rand(300,1) A 1 16 estimated eigenvalues with eigs case OPT: estimate θ= 2/(λ max +λmin) 10 1 case MX : estimate θ=1/λ max 10 1 abs. true error 10 0 10 2 10 3 10 4 abs. residual 1/log(ρ(T)) 25: asymptotic rate R (T) err(26)/err(1) 0.36 e 1 norm(a 1 ) 6.17, err(200)/res(200) 6.3 10 1 10 2 10 3 OPT residual OPT error MX residual MX error OPT: R (T) 66, err(15)/err(71) 2.4 MX : R (T) 131, err(15)/err(146) 2.7 10 5 0 50 100 150 200 250 300 10 4 iterations 0 100 200 300 400 500 600 700 800 900

10 2 10 1 Richardson with single parameter A = poisson3d(10,10,3), b=rand(300,1) estimated eigenvalues with eigs case OPT: estimate θ= 2/(λ max +λmin) case MX : estimate θ=1/λ max 10 0 10 1 10 2 OPT residual OPT error MX residual MX error 10 3 10 4 OPT: R (T) 8, err(15)/err(23) 2.9 MX : R (T) 14, err(15)/err(29) 2.6 10 5 0 20 40 60 80 100 120 140 160 180

Γενικεύσεις Μητρώα µε µιγαδικό ϕάσµα Αν γνωρίζουµε ότι το ϕάσµα του A, σ(a) {z : z z 0 r < z 0 }, και ϑέσουµε α = 1/z 0 τότε ρ(t) r/ z 0 < 1. Πολυπαραµετρική Richardson Επιλογή παραµέτρων α j,j = 1,... ώστε οπότε όπου x (k+1) = (I α k A)x (k) + α k b = x (k) + α k r (k) r (m) = p m (A)r (0) e (m) = p m (A)e (0), p m (A) = m j=1 (I α j A)

Πολυπαραµετρική Richardson: Συζήτηση Υπάρχουν m παραµέτροι προς επιλογή, άρα µεγαλύτερη ευελιξία: Θα ϑέλαµε να ελαχιστοποιείται η ϕασµατική ακτίνα ( m ) ρ(p m (A)) = max λ (I α j A) j=1 ) m = max ( (1 α j λ(a)) λ Λ(A) j=1 Πιο πρακτικά, ϑα µπορούσαµε να κατασκευάσουµε πολυώνυµο p m (.) µε ελάχιστη p m (A). ποιά νόρµα; ελαχιστοποίηση σε ποιό χωρίο; πως επιλέγουµε το p m ; πως υλοποιείται η µέθοδος;

Παρατηρήσεις Η Richardson ϐασίζεται στη διάσπαση A = M N = I (I A). ηλαδή M = I αλλά αύτό σπάνια αποτελεί καλή προσέγγιση του A. Αν είχαµε µία καλή προσέγγιση, έστω K για την οποία η αντιστροφή ήταν εύκολη τότε ϑα τροποποιούσαµε τη Richardson ως εξής: Kx (k+1) = (K A)x (k) + b x (k+1) = x (k) K 1 Ax (k) + K 1 b = x (k) + K 1 (b Ax (k) ) = x (k) + K 1 r (k) Η επανάληψη είναι ίδια µε την κανονική Richardson για το προετοιµασµένο σύστηµα K 1 A x = K 1 b Θεωρήστε το K 1 σαν ένα τελεστή που ϕέρνει το A πιο κοντά στο I. Η χρήση του K 1 είναι ενός είδους προρρύθµιση της επαναληπτικής µεθόδου

Επαναληπτική µέθοδος Jacobi Dx (k+1) = (L + U)x (k) + b T := D 1 (L + U) x (k+1) i = 1 (b i a ii a ij x (k) j ) j i Παρατηρήσεις Αραιό A αραιά L,U: nnz(l),nnz(u) < nnz(a) Ανεξάρτητη ανανέωση κάθε στοιχείου του (x (k) ) i προσφέρεται για παραλληλοποίηση Μικρό κόστος αποθήκευσης (για τα A, και τα b, x (k), x (k+1) ).

Επαναληπτική µέθοδος Gauss-Seidel (D L)x (k+1) = Ux (k) + b T := (D L) 1 U Παρατηρήσεις x (k+1) i = 1 a ii (b i j<i a ij x (k+1) j a ij x (k) j ) j>i Απαιτείται επίλυση µε το τριγωνικό µητρώο M = D L. Στην ανανέωση, χρησιµοποιούνται νέες τιµές για όσα στοιχεία έχουν ανανεωθεί, δηλ. x (k+1) i (j < i) και x (k) i (j i). Φαινοµενικά µικρότερη ανεξαρτησία µεταξύ υπολογισµών Πρέπει να προσδιορίσουµε τον τρόπο σάρωσης (σειρά ανανέωσης) των στοιχείων

Σχετικά µε τη σύγκλιση Θεώρηµα Αν το µητρώο A είναι αυστηρά διαγώνιο κυρίαρχο, δηλ. a ii > i j a ij για i = 1,...,n, τότε η Jacobi και η Gauss-Seidel συγκλίνουν σε µία µοναδική λύση, για οποιαδήποτε αρχικοποίηση της επανάληψης. Η Jacobi συγκλίνει αν και µόνον αν είναι ΣΘΟ αµφότερα τα A και 2D A. Επίσης, ισχύει ότι ρ(t) = T A = T D < 1.

Αυστηρή διαγώνια κυριαρχία σύγκλιση Απόδειξη Για την Jacobi, T = D 1 (L + U) οπότε σε κάθε γραµµή της T, n a j=1 τ ij = ij j i a ii οπότε για κάποιο i, a ij T = a j i ii < 1 από την αυστηρή διαγώνια κυριαρχία του A. Αλλά όποια νόρµα του T είναι µικρότερη του 1, αρκεί για σύγκλιση. Για Gauss-Seidel ϐλ. σηµειώσεις.

Jacobi για ΣΘΟ µητρώα T = I D 1 A D 1/2 TD 1/2 = I D 1/2 AD 1/2, A 1/2 TA 1/2 = I A 1/2 D 1 A 1/2 άρα T A = T D = ρ(t). Επίσης, λ(t) = λ(d 1/2 TD 1/2 ) = λ(i D 1/2 AD 1/2 ) = 1 λ(d 1/2 AD 1/2 )

Επειδή όµως 2D A είναι ΣΘΟ τότε το ίδιο είναι και το D 1/2 (2D A)D 1/2 = 2I D 1/2 AD 1/2 εποµένως κάθε ιδιοτιµή Εποµένως λ(d 1/2 AD 1/2 ) < 2 1 > 1 λ(d 1/2 AD 1/2 ) > 1 }{{} λ(t) και η µέθοδος συγκλίνει. Επίσης συγκλίνει µονοτονικά ως προς τις παραπάνω νόρµες.

Αναγωγήσιµα µητρώα Ορισµός Ενα µητρώο A καλείται αναγωγήσιµο αν υπάρχει µεταθετικό µητρώο P ώστε το P AP να είναι κατά πλοκάδες άνω τριγωνικό, διαφορετικά καλείται µη αναγωγήσιµο. Ενα µητρώο A καλείται µη αναγωγήσιµο διαγώνια κυρίαρχο αν είναι µη αναγωγήσιµο και είναι διαγώνια κυρίαρχο µε αυστηρή διαγώνια κυριαρχία για τουλάχιστον µία γραµµή. Θεώρηµα Varga Ενα µητρώο είναι µη αναγωγήσιµο ανν το αντίστοιχο γράφηµα γειτνίασης είναι ισχυρά συνεκτικό.

Η αναγωγησιµότητα ελέγχεται και από το γράφηµα γειτνίασης του µητρώου. Αν ένα µητρώο είναι µη αναγωγήσιµο, κάθε γραµµή και κάθε στήλη ϑα έχει τουλάχιστον ένα µη µηδενικό στοιχείο πέραν της διαγωίου. Ο ϐασικός αλγόριθµος για αναγωγή µητρώων σε κατά πλοκάδες άνω τριγωνική µορφή ϐασίζεται σε εργασίες του Tarjan για την εύρεση συνεκτικών συνιστωσών γραφηµάτων µε DFS κόστος O(n + nnz). κώδικας για αναγωγή µητρώων από Duff, Reid 78 (δείτε [DR78]).

Παρατηρήσεις Η αναγωγησιµότητα ενός µητρώου ϕανερώνει τη δυνατότητα decoupling και απλοποίησης του προβλήµατος σε απλούστερα: ( ) A11 A 12 A 22 οπότε, π.χ. η πράξη Ax µπορεί να γραφτεί ως ( )( ) ( ) A11 A 12 x1 A11 x = 1 + A 12 x 2 x 2 A 22 x 2 A 22

Προσέξτε ότι ένα µητρώο µπορεί να είναι µη αναγωγήσιµο και διαγώνια κυρίαρχο χωρίς να είναι µη αναγωγήσιµο διαγώνια κυρίαρχο. (Χρειάζεται αυστηρή δ.κ. για µια γραµµή). Η µη αναγωγησιµότητα είναι χρήσιµη για να επεκτείνουµε τα ϑεωρήµατα σύγκλισης. Μη αναγωγήσιµα µητρώα και σύγκλιση Αν το µητρώο A είναι: Κ ή µη αναγωγήσιµο διαγώνια κυρίαρχο (ΜΑ Κ) A: Συγκλίνουν αµφότερες οι Jacobi και Gauss-Seidel. συµµετρικό ϑετικά ορισµένο A: Συγκλίνει η Gauss-Seidel. Η Jacobi αν και µόνο αν είναι ΣΘΟ και το 2D A = D + L + U.