Επιστηµονικός Υπολογισµός ΙΙ

Transcript

1 Επιστηµονικός Υπολογισµός ΙΙ Ε. Γαλλόπουλος 1 1 Τµήµα Μηχανικών Ηλεκτρονικών Υπολογιστών και Πληροφορικής Πολυτεχνική Σχολή, Πανεπιστήµιο Πατρών 5/5/13

2 Συµµετρικός αλγόριθµος Lanczos Αν ο A = A, τότε το άνω Hessenberg µητρώο H m που υπολογιζεται από τον Arnoldi είναι συµµετρικό και εποµένως τριδιαγωνιο. Εποµένως µπορούµε να γράψουµε τον H m ως α 1 β 2 0. β 2 α 2 β.. 3 T m = β m 1 α m 1 β m... 0 βm α m Προσέξτε ότι από τη σχέση για την τελευταία στήλη του AV m = AV m e m έχουµε Av m = V m T m e m + h m 1,m v m+1 e m e m = β m v m 1 + α m v m + h m 1,m v m+1 = β m v m 1 + α m v m + β m v m+1

3 Arnoldi όταν A = A συµµετρικός Lanczos Ο (τροποποιηµένος) αλγόριθµος Arnoldi για την περίπτωση αυτή ονοµάζεται αλγόριθµος Lanczos και έχει ως εξής: v 1 := v/ v 2, β 1 = 0, v 0 = 0 for j = 1,...,m w j := Av j β j v j 1 α j = (w j,v j ), w j := w j α j v j β j+1 = w j if β j+1 = 0 Stop v j+1 = w j /β j+1 end Το κόστος πολύ µικρότερο από Arnoldi Τα διανύσµατα ϐάσης είναι ορθογώνια... αν και, η α.κ.υ. οδηγεί σε γρήγορη απώλεια της ορθογωνιότητας των v j, οπότε χρησιµοποιείται: επαναρθογωνιοποίηση: πλήρης, µερική ή επιλεκτική

4 Συµµετρικός FOM Συµµετρικός αλγόριθµος Lanczos Εφαρµόζουµε την παραπάνω ιδέα στον FOM και παίρνουµε τον αλγόριθµο επίλυσης «συµµετρικός Lanczos». r (0) = b Ax (0), β := r (0) 2, v 1 := r (0) /β. for j = 1,...,m w j := Av j β j v j 1 α j = (w j,v j ), w j := w j α j v j β j+1 = w j if β j+1 = 0 then m := j; break; end v j+1 = w j /β j+1 end T m = trid(β i,α i,β i+1 ), V m = [v 1,...,v m ]. y m := Tm 1 (βe 1 ) και x (m) = x (0) + V m Οπως και στον FOM, το νέο κατάλοιπο έχει την κατεύθυνση του v m+1 : εποµένως r (m) = β m+1 e T m y mv m+1 r (m) r (m j),j = 1,...,m

5 Αµεσος αλγόριθµος Lanczos: D-Lanczos Αντιστοιχεί στον Lanczos όπως και η DIOM στην IOM. T m = L m U m όπου L m, U m κάτω και άνω διδιαγώνια: L m = trid[λ j,1,0],u m = trid[0,η j,β j+1 ] x (m) = x (0) + V m H 1 m (βe 1 ) = x (0) + V m U 1 1 m Lm (βe }{{} 1 ) }{{} z m P m = x (0) + P m z m Ο υπολογισµός µπορεί να γίνει σταδιακά χωρίς να χρησιµοποιήσουµε όλα τα διανύσµατα του V m : Από τη σχέση V m = P m U m v m = η m p (m) + β }{{} m p (m 1) από Lanczos

6 Ιδέα Αλγόριθµος στον οποίο x (m+1) = x (m) + α m p (m), τα υπόλοιπα είναι ορθογώνια και τα διανύσµατα p είναι A-συζυγή: Εποµένως: και r (m+1) = r (m) α m Ap (m) 0 = (r (m+1),r (m) ) = (r (m),r (m) ) α m (Ap (m),r (m) ) α m = (r(m),r (m) ) (Ap (m),r (m) ) εφόσον (Ap (m),r (m) ) 0.

7 Επίσης Ap (m) = 1 α m (r (m+1) r (m) ) Τα p (m+1) r (m+1),p (m) είναι A-ορθογώνια, εποµένως αν γράψουµε p (m+1) = r (m+1) + β m p (m) ισχύει (Ap (m),r (m) ) = (Ap (m),p (m) β m 1 p (m 1) ) = (Ap (m),p (m) ) 0

8 Εποµένως, αν A ΣΘΟ, ο α m µπορεί να υπολογιστεί: α m = (r (m),r (m) ) (Ap (m),p (m) ) 0 = (p (m+1),ap (m) ) = (r (m+1) + β m p (m),ap (m) ) = (r (m+1),ap (m) ) + β m (p (m),ap (m) ) β m = (r(m+1),ap (m) ) (p (m),ap (m) ) = 1 α m (r (m+1),r (m+1) r (m) ) (p (m),ap (m) ) = (Ap(m),p (m) ) (r (m+1),r (m+1) ) (r (m),r (m) ) (p (m),ap (m) ) = (r(m+1),r (m+1) ) (r (m),r (m) ) και ο β m µπορεί επίσης να υπολογιστεί. Επιλέγοντας τις παραµέτρους α m,β m και τα διανύσµατα x (m),p (m),r (m) µε τον παραπάνω τρόπο, οδηγούµαστε στον αλγόριθµο ϐλυεconjugate Gradient.

9 Μέθοδος Conjugate Gradient Ο πιο σηµαντικός και αποτελεσµατικός επαναληπτικός αλγόριθµος για τη λύση ΣΘΟ συστηµάτων. Η ϐασική ιδέα και περιγραφή οφείλεται στους Hestenes και Stiefel (εργασία του 1952!) αλλά για δεκαετίες ϑεωρείτο µη πρακτική σε σύγκριση µε την απαλοιφή Gauss και επαναληπτικές µεθόδους. r (0) = b Ax (0), p (0) = r (0) for j = 1,...,m Compute Ap (j 1), α j 1 = (r(j 1),r (j 1) ) (p (j 1),Ap (j 1) ) x (j) = x (j 1) + α j 1 p (j 1), r (j) = r (j 1) α j 1 Ap (j 1), β j 1 = (r(j),r (j) ) (r (j 1),r (j 1) ) p (j) = r (j) + β j 1 p (j 1) end

10 Χρήσιµες ιδιότητες Θεώρηµα Εστω ότι εφαρµόζουµε τη CG σε ΣΘΟ µητρώο A. Μέχρι τη σύγκλιση (οπότε και r (j) 0) ισχύουν τα παρακάτω: K m (A,r (0) ) = x (1),x (2),,x (m) = p (0),p (1),,p (m 1) = r (0),r (1),,r (m 1) Τα υπόλοιπα είναι ορθογώνια: (r (j),r (k) ) = 0, Οι κατευθύνσεις είναι A ορθογώνιες (συζυγείς): (p (j),p (k) ) A = 0, j k j k

11 Σύγκλιση CG Γνωρίζουµε ότι 1) Η CG είναι µέθοδος ΟΠ µε K = K m (A;r (0) ). Εποµένως η προσέγγιση x (m), m = 1,2,... ελαχιστοποιεί την A-νόρµα του σφάλµατος επί του x (0) + K m, δηλ. x (m) := arg min (A(x sol x),x sol x) 1/2 x x (0) +K m 2) Αν x (m) := x (0) + δ τότε δ είναι η A-ΟΠ του e (0) επί του K. 3) e (m) = p(a)e (0) για p Π m και p(0) = 1 εποµένως x sol x (m) A = min p Π m p(0) = 1 p(a)(x sol x (0) ) A

12 Η µελέτη της σύγκλισης της CG χρησιµοποιεί την έννοια των ενεργών ιδιοτιµών και ιδιοδιανυσµάτων: Αν A = QΛQ T τότε είναι τα (q j,λ j ),j = 1 : m που συµµετέχουν στο e (0) = n j=1 γ j q j, Ισχύει ότι για το πολυώνυµο υπολοίπου p(a) έχουµε p(0) = 1 και p(a)e (0) 2 A = n j=1 λ j (p(λ j )) 2 γ 2 j max(p(λ j )) 2 e (0) 2 A j max(p(λ j )) 2 e (0) 2 A j max λ [λ min,λ max ] (p(λ))2 e (0) 2 A

13 Εστω ότι A ΣΘΟ. Τότε σε αριθµητική άπειρης ακρίβειας ο αλγόριθµος παράγει τη λύση σε n κατά µέγιστο ϐήµατα. Ισχύουν οι συνθήκες: (e (k+1),ap (j) ) = (p (k+1),ap (j) ) = (r (k+1),r (j) ) = 0, j k και από όλα τα διανύσµατα στο χώρο e (0) + span{ae (0),,A k+1 e (0) } το e (k+1) έχει την ελάχιστη A-νόρµα. Επίσης e (k) A κ(a) 1 e (0) 2( ) k A κ(a) + 1

14 Παρατηρήσεις υλοποίησης σε α.κ.υ. Αν γίνουν «αρκετά» ϐήµατα η CG ϑα υπολογίσει εντέλει αποδεκτή προσέγγιση στην ακριβή λύση αλλά: «Αρκετά» µπορεί να είναι πάνω από n Ο αριθµός ϐηµάτων δεν προβλέπεται µε ακρίβεια από το παραπάνω ϕράγµα για το e(k) A e (0) A. είτε σχετικές εργασίες της Anne Greenbaum. Η «ακριβής λύση» της CG προσεγγίζεται χρησιµοποιώντας συµµετρικό αλγόριθµο Lanczos και περαιτέρω ορθογωνιοποίηση.

15 Πείραµα Μητρώο , διαγώνια όλα ίσα µε 1, εκτός διαγωνίου οµοιόµορφα κατανεµηµένα στο [ 1,1], µηδέν όποτε α i,j > τ.

16 Η υπεργραµµική σύγκλιση της CG Αν παρατηρήσει κανείς τις καµπύλες σύγκλισης της CG για διάφορα µητρώα, παρουσιάζεται η εξής γενική συµπεριφορά, που µπορούµε να συνοψίσουµε σε 3 ϕάσεις: κατˆαρχήν γρήγορη πτώση του σφάλµατος ως ένα σηµείο καµπής σχετική καθυστέρηση - στασιµότητα, αργή σύκγλιση πολύ γρήγορη πτώση του σφάλµατος σε αποδεκτά όρια Η συµπεριφορά αυτή αναλύθηκε πειστικά από τους van der Sluis και van der Vorst.

17 Πότε µπορούµε να κατασκευάσουµε οικονοµικές και ϐέλτιστες µεθόδους Krylov; Βέλτιστες: Σε κάθε ϐήµα m, µεταξύ όλων των δυνατών επιλογών από τον υπόχωρο K m (A,b), η προσεγγιστική λύση οδηγεί στο ελάχιστο κάποιου µέτρου σφάλµατος ή υπολοίπου. Οικονοµικές Οτι σε κάθε ϐήµα m, η νέα προσέγγιση της λύσης υπολογίζεται από µια «κοντή αναδροµή» µεγέθους το πολύ s n (π.χ. το µητρώο Hessenberg έχει το πολύ s µη µηδενικά σε κάθε στήλη.) Ως «οικονοµικές» εννοούµε µεθόδους που ϐασίζονται σε κοντές αναδροµές για την κατασκευή κάθε νέας εκτίµησης, π.χ. νέα εκτίµηση λύσης (ϐήµα j + 1) = F ( (τρέχουσα εκτίµηση), (υπολογίσιµη διόρθωση)

18 Το ϑέµα της ύπαρξης επαναληπτικών µεθόδων Krylov µε ϐέλτιστο σφάλµα και κοντή αναδροµή για γενικά (µη κανονικά) µητρώα απαντήθηκε - αρνητικά - από τους Faber και Manteuffel στα µέσα του Γενικά, η κατασκευή είναι δυνατή για κανονικά µητρώα ή γενικεύσεις τους. Εχει αποδειχθεί ότι υπάρχει µέθοδος ϐραχείας αναδροµής µήκους 1 (όπως η CG) αν και µόνον αν συµβαίνει ένα από τα παρακάτω: 1 το ελάχιστο πολυώνυµο του A είναι 0 ή 1 ή 2 το A είναι ερµιτιανό, ή 3 A = e ιθ (ρi + B) όπου θ,ρ R και B = B (αντιερµιτιανό).

19 Μέθοδος CGN (CG Normal) Υπάρχουν οικονοµικές µέθοδοι για µη συµµετρικά/ερµιτιανά προβλήµατα; Ιδέα: Ax = b }{{} A A x = A b συµµετρικό εποµένως αν x (0) = 0 χρησιµοποιούµε µέθοδο ΟΠ για το χώρο K := K m (A A,A b) οπότε αν A αντιστρέψιµο, σε κάθε ϐήµα m = 1,... ελαχιστοποιείται επί του K m (A A,A b) e (m) e (m) A A = (e (m) ) A Ae (m) 2 = (r (m) ) r (m) 2

20 Παρατηρήσεις Σε κάθε ϐήµα ελαχιστοποιείται η 2-νόρµα του υπολοίπου επί του K m (A A,A b) ενώ στη GMRES η ελαχιστοποίηση είναι επί του K m (A,b). Η ανάλυση σύγκλισης γίνεται όπως και στη CG αλλά r (m) 2 r (0) 2 2( κ(a) 1 κ(a) + 1 )m εποµένως η σύγκλιση µπορεί να είναι πολύ πιο αργή γιατί εξαρτάται από το κ(a) και όχι από το κ(a) Η σύγκλιση εξαρτάται από την κατανοµή των ιδιαζουσών τιµών παρά από την κατανοµή των ιδιοτιµών

21 Μέθοδοι διορθογωνιοποίησης (biorthogonalization) Η Arnoldi ανάγει µη συµµετρικά µητρώα σε άνω Hessenberg AV m = V m H m + h m+1,m v m+1 e m H m = V m AV m Μία σηµαντική κατηγορία µεθόδων ϐασίζεται στη (µερική) αναγωγή (µη συµµετρικών) µητρώων σε τριδιαγώνια µορφή. Ιδέα Οποιοδήποτε αντιστρέψιµο µητρώο είναι όµοιο µε τριδιαγώνιο! det(a) 0 υπάρχει αντιστρέψιµο Q τ.ώ. Q 1 AQ = T = trid[β j 1,α j,β j ] Αν ϑέσουµε Q 1 = P οπότε QAP = T και P Q = I

22 Επαναληπτική εκδοχή Αν εφαρµόσουµε Arnoldi για να υπολογίσουµε ϐάσεις: span{v 1,...,v m } = K m (A,v), span{w 1,...,w m } = K m (A,w) AV m = V m H m + h m+1,m v m+1 e m, A W m = W m Hm + hm+1,m w m+1 e m Αναστρέφοντας την 2η σχέση W m A = H m W m + hm+1,m e m w m+1 Επιλέγουµε τις στήλες των V m,w m να είναι διορθογώνιες, δηλ. W m V m = I (τα W m,v m λέγονται συζυζή). οπότε πολλαπλασιάζοντας την πρώτη σχέση από τις παραπάνω µε W m και την προηγούµενη σχέση µε το V m απο τα δεξιά, Τότε εποµένως W m AV m = (W m V m)h m + h m+1,m W m v m+1e m W m AV m = H m (W m V m) + hm+1,m e m w m+1 V m W m AV m = H m = H m άρα H m = H m είναι τουλάχιστον τριδιαγώνιο.

23 Αλγόριθµος ισυζυγών Κλίσεων BiConjugate Gradients (BCG) r (0) = b Ax (0), αρχικοποίηση s (0) τ.ώ. (s (0) )r (0) 0 p (0) = r (0),q (0) = s (0) for m = 0,... και όσο δεν ικανοποιείται το κριτήριο σύγκλισης do α m = (s (m) r (m) )/(q (m) Ap (m) ) x (m+1) = x (m) + α m p (m) r (m+1) = r (m) α m Ap (m) s (m+1) = s (m) α m A q (m) β m = (s (m+1) r (m+1) )/(s (m) r (m) ) p (m+1) = r (m+1) + β m p (m) q (m+1) = s (m+1) + β m q (m) end for Κόστη/επανάληψη 2 MV, 2 DOT, 5 SAXPY

24 Πείραµα (Trefethen)

25 Παρατηρήσεις Η BiCG µπορεί να ϑεωρηθεί ως ϕυσική επέκταση της συµµετρικής Lanczos για ταυτόχρονη επίλυση των συστηµάτων ( ) ( Ax = b και A ˆx 0 A )(ˆx bˆb) = ˆb A = 0 x το τελευταίο σύστηµα είναι 2n 2n, συµµετρικό αλλά µη ορισµένο άρα δεν µπορούµε να εφαρµόσουµε CG v 1 = b K = K m (A,b), x (m) K m (A,b), r (m) L = K m (A,w 1 ) για να πετύχουµε w 1 v 1 = 1, µπορούµε να ϑέσουµε w 1 = v 1 / v 1. Σε κάθε ϐήµα χρειάζεται πολλαπλασιασµός µε το ανάστροφο A. Πώς αποφεύγεται; Transpose-free methods

26 Βασική ιδέα για transpose-free και r (m) = φ m (A)r (0), p (m) = π m (A)r (0) s (m) = φ m (A )s (0), q (m) = π m (A )s (0) α m = (s (m) r (m) )/(q (m) Ap (m) ) = s(0) (φ m (A )) φ m (A)r (0) s (0) (π m (A )) Aπ m (A)r (0) = s(m) φ 2 m(a)r (0) s (0) Aπ 2 m(a)r (0) και αντίστοιχα για το β m. Κλειδί: εν υπάρχουν πια MV µε A. Υλοποίηση: Αλγόριθµος που στηρίζεται στις σχέσεις r (m) = φ 2 m(a)r (0), p (m) = π 2 m(a)r (0) q (m) = φ m+1 (A)π m (A)r (0)

27 εποµένως φ m+1 (z) = φ m (z) α m zπ m (z) π m+1 (z) = φ m+1 (z) + β m π m (z) φ 2 m+1 = φ 2 m 2α m zπ m φ m + α 2 m zπ2 m π m+1 = φ 2 m+1 + 2β m φ m+1 π m + β 2 mπ 2 m και µπορούµε να κατασκευάσουµε την αναδροµή φ 2 m+1 = φ 2 m α m z(2φ 2 m + 2β m 1 φ m π m 1 α m zπ 2 m) φ m+1 π m = φ 2 m + β m 1 φ m π m 1 α m zπ 2 m π 2 m+1 = φ 2 m+1 + 2β m φ m+1 π m + β 2 mπ 2 m φ m π m = φ 2 m + β m 1 φ m π m 1

28 Αλγόριθµος: Τετραγωνισµένος συζυγών κλίσεων Conjugate Gradient Squared (CGS) r (0) = b Ax (0), αυθαίρετο s (0) p (0) = r (0),u (0) = r (0) for m = 0,1,... και όσο δεν ικανοποιείται το κριτήριο σύγκλισης do α m = (s (0) r (m) )/(s (0) Ap (m) ) q (m) = u (m) α m Ap (m) x (m+1) = x (m) + α m (u (m) + q (m) ) r (m+1) = r (m) α m A(u (m) + q (m) ) β m = (s (0) r (m+1) )/(s (0) r (m) ) u (m+1) = r (m+1) + β m q (m) p (m+1) = u (m+1) + β m (q (m) + β m p (m) ) end for Κόστη/επανάληψη 2 MV, 2 DOT, 7 SAXPY

29 BiCGStab Βασική ιδέα Εξοµάλυνση καταλοίπων. r (m) CGS = ιδέαcgs {}}{ φ 2 m(a) r (0), r (m) BiCGStab = ψ m (A)φ m (A)r (0), επιλέγοντας κατάλληλο ψ

30 Αλγόριθµος BiCGStab r (0) = b Ax (0), αυθαίρετο s (0) p (0) = r (0) for m = 0,1,... και όσο δεν ικανοποιείται το κριτήριο σύγκλισης do α m = (s (0) r (m) )/(s (0) Ap (m) ) q (m) = r (m) α m Ap (m) ω m = (q(m) ) Aq (m) (Aq (m) ) Aq (m) x (m+1) = x (m) + α m p (m) + ω m q (m) ) r (m+1) = q (m) ω m Aq (m) β m = (s (0) r (m+1) )/(s (0) r (m) ) α m ω m p (m+1) = r (m+1) + β m (p (m) ω m Ap (m) ) end for Κόστη/επανάληψη 2 MV, 4 DOT, 6 SAXPY

31 BiCGStab

32 BiCGStab

33 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Μη αρνητικά µητρώα Θεωρία Perron-Frobenius για το ϕάσµα Θέµα: Στις εφαρµογές τα µητρώα συχνά είναι µη αρνητικά ή αυστηρά ϑετικά. Τότε διαθέτουν πολλές απροσδόκητες και χρήσιµες ιδιότητες.

34 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Μη αρνητικά µητρώα Θεωρία Perron-Frobenius για το ϕάσµα Θέµα: Στις εφαρµογές τα µητρώα συχνά είναι µη αρνητικά ή αυστηρά ϑετικά. Τότε διαθέτουν πολλές απροσδόκητες και χρήσιµες ιδιότητες. Κάθε A > 0 R n n έχει τουλάχιστον µία µηδενική ιδιοτιµή. Απόδειξη Εστω A > 0. Τότε Αν όλες οι ιδιοτιµές ήταν 0... η κανονική µορφή Jordan του X 1 AX = J ϑα είχε µηδενική διαγώνιο,... οπότε οπωσδήποτε A n = 0, που είναι αδύνατο καθώς A > 0. O. Perron, In Zur Theorie der Matrizen, Math. Ann. 64 (1907),

35 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Πείραµα Μητρώα µε τυχαία στοιχεία από U(0, 1) (MATLAB rand(n)) n = 3

36 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Πείραµα Μητρώα µε τυχαία στοιχεία από U(0, 1) (MATLAB rand(n)) n = 3,5

37 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Πείραµα Μητρώα µε τυχαία στοιχεία από U(0, 1) (MATLAB rand(n)) n = 3,5,7

38 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Πείραµα Μητρώα µε τυχαία στοιχεία από U(0, 1) (MATLAB rand(n)) n = 3,5,7,40

39 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Πείραµα Μητρώα µε τυχαία στοιχεία από U(0, 1) (MATLAB rand(n)) n = 3,5,7,40,100

40 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Θεώρηµα Perron για ϑετικά µητρώα [Perron 1905] Μερικά αποτελέσµατα Αν A > 0 και r = ρ(a) (ϕασµατική ακτίνα) τότε: 1 r > 0 2 r λ(a) 3 Η αλγεβρική πολλαπλότητα του ρ(a) είναι 1. 4 Υπάρχει ιδιοδιάνυσµα x > 0 τ.ώ. Ax = rx. 5 Το διάνυσµα Perron p είναι το µοναδικό διάνυσµα για το οποίο ισχύει ότι Ap = rp,p > 0, και p 1 = 1. 6 r είναι η µοναδική ιδιοτιµή του A µε µέτρο r = 1.

41 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Μη αρνητικά µητρώα Πρόκληση: Να επεκταθούν οι παραπάνω ιδιότητες σε µη αρνητικά µητρώα;

42 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Μη αρνητικά µητρώα Πρόκληση: Να επεκταθούν οι παραπάνω ιδιότητες σε µη αρνητικά µητρώα; Μη προφανές! Αν ( 0 1 A = 0 0 ) τότε Αν r = 0 (παραβαίνει την 1η ιδιότητα Perron) η αλγεβρική πολλαπλότητα είναι 2 (παραβαίνει την 3η ιδιότητα Perron) x = [1,0] είναι το µοναδικό ιδιοδιάνυσµα για το οποίο e x = 1, αλλά το x δεν είναι ϑετικό (παραβαίνει την 4η ιδιότητα Perron) ( 0 1 A = 1 0 ) τότε λ(a) = ±i άρα υπάρχουν 2 ιδιοτιµές ίσες µε 1 σε απόλυτη τιµή (παραβαίνει την 6η ιδιότητα Perron).

43 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Η µάχη δεν χάθηκε Χωρίς περαιτέρω υποθέσεις µπορούµε να δείξουµε ότι Αν A 0 R n n και r = ρ(a) τότε r λ(a) και υπάρχει αντίστοιχο ιδιοδιάνυσµα x 0 τέτοιο ώστε Ax = rx. Ο Frobenius συνειδητοποίησε ότι τα προβλήµατα οφείλονταν όχι µόνον στην ύπαρξη µηδενικών, αλλά στη ϑέση αυτών µέσα στο µητρώο (G. Frobenius, em Ueber Matrizen aus nicht negativen Elementen, S.-B. Preuss Acad. Wiss. Berlin (1912), )

44 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Αναγωγήσιµα µητρώα Ορισµός Ενα µητρώο A καλείται αναγωγήσιµο αν υπάρχει µεταθετικό µητρώο P ώστε το P AP να είναι κατά πλοκάδες άνω τριγωνικό, διαφορετικά καλείται µη αναγωγήσιµο. δηλ. ανν P AP = ( ) A11 A 12 0 A 22 Αν ένα µητρώο είναι µη αναγωγήσιµο, κάθε γραµµή και κάθε στήλη ϑα έχει τουλάχιστον ένα µη µηδενικό στοιχείο πέραν της διαγωίου. A R n n 0 είναι µη αναγωγήσιµο ανν (I + A) n 1 > 0. Υπάρχουν αλγόριθµοι κόστους αναγωγής µητρώου σε σε κατά πλοκάδες άνω τριγωνική µορφή (Tarjan, ϐασισµένες σε γραφοθωρία µε DFS κόστους O(n + nnz) Αναγωγησιµότητα αναγωγή ορισµένων προβληµάτων σε µικρότερα αλλά περισσότερα.

45 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Επέκταση ϕασµατικών ιδιοτήτων [Frobenius 12] Θεώρηµα Perron-Frobenius Αν A 0 και µη αναγωγήσιµο ισχύουν τα παρακάτω: 1 r = ρ(a) λ(a) και r > 0. 2 Η αλγεβρική πολλαπλότητα του ρ(a) είναι 1. 3 Υπάρχει ιδιοδιάνυσµα x > 0 τέτοιο ώστε Ax = rx. 4 Το διάνυσµα Perron είναι το µοναδικό διάνυσµα p που ικανοποιεί Ap = rp,p > 0, και p 1 = 1. εν υπάρχουν άλλα µη αρνητικά ιδιοδιανύσµατα του A εκτός από ϑετικά πολλαπλάσια του p. 5 Το ρ(a) αυξάνει αν αυξήσουµε οποιοδήποτε στοιχείο του A.

46 Θεωρία Perron-Frobenius για µη αρνητικά µητρώα Στοχαστικά µητρώα Κίνητρο: Πολλές εφαρµογές οδηγούν σε µητρώα µε στοιχεία που είναι πιθανότητες. Αυτά είναι ϑετικά και στοχαστικά (κατά στήλες ή κατά γραµµές). Ορολογία: Ενα διάνυσµα ή µητρώο, A 0, καλείται στοχαστικό κατά γραµµές όταν το άθροισµα των στοιχείων κάθε γραµµής ισούται µε 1. Παραδείγµατα: Στοχαστικές διαδικασίες, ουρές Markov Υπενθύµιση: Perron-Frobenius Αν A R n n είναι στοχαστικό τότε ρ(a) = 1 = λ max όπου το λ max αποκαλείται ϱίζα Perron και ικανοποιεί Ap = λ max (A)p όπου p > 0 είναι στοχαστικό. Εργοδικό ϑεώρηµα Αν ένα µητρώο είναι µη αναγωγήσιµο, στοχαστικό κατά στήλες (δηλ e A = e ) και η µοναδική ιδιοτιµή λ max = 1 είναι µεγαλύτερη όλων των άλλων σε µέτρο, τότε lim k Ak = pe