Ιδιότητες Ποιό είναι το αντίστροφο τουαβ ΑΒ; Αντίστοιχα µε τους βαθµωτούς: (αβ) -1 = β -1 α -1 αρκεί αβ 0 ισχύει (ΑΒ) -1 = B -1 A -1 αρκεί να υπάρχουν τα A -1, B -1 Προσοχή υπάρχει µια διαφορά ποιά; Σχετικά µετο (Α+Β) -1 Εφόσονα+β 0, (α+β) - 1 α - 1 +β -1 Εφόσον A+B αντιστρέψιµο, γενικά ισχύουν όµως (A+B) -1 A -1 +B -1 (A+B) -1 = (A(I+A -1 B)) -1 = (I+A -1 B) -1 A -1 = A -1 (I+BA -1 ) -1 = (B -1 A+I) -1 B -1 = B -1 (AB -1 +I) -1 1
Σχετικά µετην επίλυση Ax=b Επικεντρωνόµαστε κατ αρχήν σε τετραγωνικά µητρώα Με απλή επισκόπηση των A, b δεν µπορούµε να συµπεράνουµε τίποτα γιατη λύση Εκτός αντο µητρώο είναι πολύ ειδικό, π.χ. διαγώνιο Τριγωνικό Στη γενική περίπτωση πρέπει να υλοποιηθούν όλατα βήµατα της απαλοιφής Gauss Απαλοιφή Gauss: Μέρος Ι P: 2u + v + w = 5 Q: 2u 6v = -2 R: -2u + 7v +2w= 9 2u + v + w = 5-7v - w = -77 :Q-1*P: = Q Q 8v+3w = 14: R-(-1)*P = R R 2u + v + w = 5-7v -w w = -7 13/7w w = 22 :R -(8/(: (8/(-7))*Q 2
Απαλοιφή Gauss Ηδιαδικασία του µεταχηµατισµού του αρχικού προβλήµατος Ax=b σε µορφή Ux=c όπου το U είναι άνω τριγωνικό και αυτό καιτο διάνυσµα c έχουν προέλθει από κατάλληλους συνδυασµούς των γραµµών των A και b ονοµάζεται «απαλοιφή Gauss». Σε πολύ σπάνιες περιπτώσεις µόνον ηεπίλυση συστήµατος µπορεί να γίνει εύκολα Αντο µητρώο είναι διαγώνιο Αντο µητρώο είναι τριγωνικό... αναγνωρίζουµε εύκολα πότε ένα µητρώο αυτής της µορφής δεν είναι αντιστρέψιµο (αν περιέχει έστω και ένα 0 στη διαγώνιο). ιαδικασία Σε κάθε «βήµα» της απαλοιφής επιλέγουµε µια εξίσωση/γραµµή γραµµή. Οπρώτος µη µηδενικός συντελεστής της εξίσωσης λέγεται «οδηγός». Για κάθε µία από τις επόµενες εξισώσεις, αφαιρούµε ένα πολλαπλάσιο της γραµµής που είναι ο οδηγός ώστε να µηδενίσουµε το συντελεστή στην ίδια στήλη µετον οδηγό. Το πολλαπλάσιο είναι το στοιχείο προς απαλοιφή διαρεµένο µετον οδηγό 3
Στη συνέχεια θα δούµε πώς µπορούν να «κωδικοποιηθούν» ως πράξεις πολλαπλασιασµού του A µε µητρώα (από τα αριστερά) ταδυο απαραίτητα συστατικά της διαδικασίας αυτής: Ι) κάθε βήµα απαλοιφής στοιχείων µιας στήλης κάτω απότη διαγώνιο, II) τις ενδεχόµενες εναλλαγές γραµµών γιανα αποφευχθεί η εµφάνιση µηδενικού οδηγού. Στόχος Απότο Ax=b να προκύψει ισοδύναµο Ux=c. Προς το παρόν, θεωρούµε ότιτο το A είναι τετραγωνικό µεγέθους n. Θεωρούµε ότι για κάθε µητρώο B, µπορούµε να κατασκευάσουµε «στοιχειώδες µητρώο» L k τέτοιο ώστε το L k Βέχει µηδενικά στις θέσεις (k+1, k),,, (n,k( n,k) (δηλ. στη στήλη k, κάτω απότη διαγώνιο). Θυµηθείτε ότι η εναλλαγή γραµµών µπορεί να επιτευχθεί µε πολλαπλασιασµό απότα αριστερά µε ειδικά µητρώα («εναλλαγής»). 4
Περιγραφή απαλοιφής µε µητρώα Καλούµε στοιχειώδη µητρώα όσα µπορούν να γραφτούν ως E(u,v;τ)=I τuv, u,v R n Με αυτόν τον τρόπο µπορούν να περιγραφούν σηµαντικές κατηγορίες µητρώων που επιδρούν µε ειδικό τρόπο στα δεδοµένα... Συνήθως µηδενίζοντας συγκεκριµένα στοιχεία δεδοµένων διανυσµάτων Μερικές ιδιότητες Το µητρώο έχει τη µορφή E(u,v;τ) = = 1 0 0 0 1 0. 0.... 0 1 τ η 1 η 2. η n ( ) ψ1 ψ 2 ψ n 1 η 1 ψ 1 η 1 ψ 2 η 1 ψ n η 2 ψ 1 1 η 2 ψ 2 η 2 ψ n........ η n ψ 1 1 η n ψ n 5
Χρήσιµη ιδιότητα E(u,v;τ) E(u,v;σ) ) = E(u,v;τ+σ-τσ τσ v u) Ποιό είναι το «αντίστροφο στοιχειώδες µητρώο»; Προσέξτε ότι E(u,v;0)=I εποµένως αρκεί τ+σ = τ σ v u σ=τ/( /(τ v u-1) Προσέξτε πως καιτο αντίστροφο είναι στοιχειώδες! Εποµένως Αν v u =0 E(u,v;τ) E(u,v;-τ) ) =I Χρήση e 1 x = ξ 1 E(u,v;τ) ) x = (I-τ uv ) x = x-τ x (u v ) x = x-τx u (v x) = x-τ x (v x) u Επιλέγοντας τ=1, v=e 1, u=[0,ξ 2, ξ 3, ξ n ] /ξ 1 E(u,e 1 ;1) = x-ξx 1 u Άρα επιλέγουµε ηλ. η 2 = ξ 2 /ξ 1 η k = ξ k /ξ 1 η n = ξ n /ξ 1 ξ ξ2 η2 ( e T 1 x) Μ Μ ξn η n 1 0 ξ1 ξ1 0 0 ξ2 ξ2 / ξ1 = ξ1 Μ Μ Μ 0 ξn ξn / ξ1 ξ 2 -ξ 1 η 2 =0 η 2 = ξ 2 /ξ 1 6
Έστω L 1 L 1 = 1 0 0 α 21 /α 11 1 0 = α 31 /α 11 0 1 που είναι το στοιχειώδες µητρώο: 1 0 0 0 1 0 1 0 0 1 α 11 α 21 α 31 0 (1, 0, 0) L 1 = E(ũ 1,e 1 ;α 1 11 ), ũ 1=(0,α 21,α 31 ) = E(u 1,e 1,1) u 1 =(0, α 21 α 11, α 31 α 11 ) Έστω το µητρώο A µε στοιχεία Και ότι πολλαπλασιάζουµε απότα αριστερά µετο Τότε λόγω της ειδικής µορφής του L 1 ο πολλαπλασιασµός µηδενίζει τα στοιχεία στις θέσεις (2,1) ως (3,1) L 1 A= Παράδειγµα A= L 1 = α 11 α 12 α 13 α 21 α 22 α 23 α 31 α 32 α 33 1 0 0 α 21 /α 11 1 0 α 31 /α 11 0 1 α 11 α 12 α 13 0 α 22 α 21 α 12 /α 11 α 23 α 21 α 13 /α 11 0 α 32 α 31 α 12 /α 11 α 33 α 31 α 13 /α 11 7
Απαλοιφή µε στοιχειώδη µητρώα Μπορούµε να προχωρήσουµε µετον ίδιο τρόπο και στα L επόµενα βήµατα της 1 A= απαλοιφής: L 2 = A (2) :=L 2 L 1 A= 1 0 0 0 1 0 0 α (1) 32 /α(1) 22 1 α 11 α 12 α 13 0 α 22 α 21 α 12 /α 11 α 23 α 21 α 13 /α 11 0 α 32 α 31 α 12 /α 11 α 33 α 31 α 13 /α 11 α 11 α 12 α 13 A (1) :=L 1 A= 0 α (1) 22 α (1) 23 0 α (1) 32 α (1) 33 α 11 α 12 α 13 0 α (1) 22 α (1) 23 0 0 α (1) 33 α(1) 32 α(1) 23 /α(1) 22 Γενικά: Απαλοιφή Gauss Εφόσον δεν παρουσιαστεί µηδέν στην «οδηγική θέση», ένα µητρώο n n ανάγεται Σεάνω τριγωνική µορφή µε n-1διαδοχικούς στοιχειώδεις µετασχηµατισµούς L j, και στη συνέχεια Σε γινόµενο κάτω και άνω τριγωνικών µητρώων L και U όπου το L έχει µόνο µονάδες στη διαγώνιο Αποκαλείται παραγοντοποίηση LUτου A Μια από πολλές σηµαντικές παραγοντοποιήσεις που µπορούν να επιτευχθούν για ένα µητρώο 8
Παρατηρήσεις Η «παραγοντοποίηση µητρώων» είναι από τις σηµαντικότερες διεργασίες γιατί αποτελεί εργαλείο κλειδί γιατα περισσότερα προβλήµατα της Γραµµικής Άλγεβρας Στις εφαρµογές Στη θεωρία Ηβασική ιδέα είναι ότι γράφουµε ένα µητρώο ως γινόµενο µητρώων που έχουν «πιο απλή» µορφή -για το σκοπό πουτα θέλουµε. Συνήθως ορίζουµε το είδος της παραγοντοποίησης που ζητάµε καιοι προκλήσεις είναι α) να δούµε αν υπάρχει, β) νατην κατασκευάσουµε Παρατηρήσεις Ηπαραγοντοποίηση LU είναι µοναδική... Οι παράγοντες L, U (τριγωνικοί και έτσι ώστε ο L να έχει 1 στη διαγώνιο) είναι µοναδικοί για τον A.... όταν η παραγοντοποίηση υπάρχει! Πότε; Όταν δεν παρουσιάζεται 0 σε «οδηγική θέση» 9
Ύπαρξη παραγοντοποίησης LU Θεώρηµα: Έστω n 2 και A R n n τ.ώ. κάθε κυρίαρχο υποµητρώο Α(1: (1:k,1:k) k,1:k), k = 1,,, n-1 n να είναι αντιστρέψιµο. Τότε υπάρχουν παράγοντες L, U όπου το L είναι κάτω τριγωνικό µε 1 στη διαγώνιο, το U είναι άνω τριγωνικό και A=LU. Παρατηρήσεις Η παραγοντοποίηση είναι «ασύµµετρη»: Οένας παράγοντας (L) έχει 1 στη διαγώνιο Μπορούµε αν θέλουµε να βρούµε παραγοντοποίηση LDUµε συµµετρική µορφή. Πώς; Θέτουµε D το διαγώνιο µητρώο µε στόιχεία τα διαγώνια στοιχεία του U. Τότε D - 1 U είναι άνω τριγωνικό µε µονάδες στη διαγώνιο. LU = L (DD -1 ) U = LD(D -1 U) = LDŨ Όπου τα L καιũέχουν µονάδες στη διαγώνιο. 10
Παρατήρηση Η παραγοντοποίηση A=LDU υπάρχει όταν υπάρχειηlu. Τότε, οι παράγοντες L, D, U είναι µοναδικοί. Αν A συµµετρικό, τότε LDU=U D L και αποδεικνύεται ότι U=L, εποµένως Αν υπάρχειη LU του A και A=A, τότε υπάρχουν µοναδικοί παράγοντες L, D, U ώστε A=LDL Αντο D έχει µόνο θετικά στοιχεία, τότε µπορούµε να θέσουµε D=D 1/2 D 1/2 όπου D 1/2 είναι το διαγώνιο µητρώο diag([δ 11,, δ nn ]) οπότε ισχύει LD 1/2 )(LD 1/2 = L 1 L 1 Α=( =(LD 1/2 )(LD 1/2 ) = L Αποτυχίες της απαλοιφής P: 2u + v + w = 5 Q: 2u + v = -2 R: -2u + 7v +2w= 9 2u + v + w = 5 8v + 3 w = 14 : R - w = -7 : Q Q 2u + v + w = 5 - w = -77 :Q-1*P: = Q Q 8v+3w = 14: R-(-1)*P = R R εναλλαγή γραµµών Η αποτυχία είναι θεραπέυσιµη 11
Αποτυχίες της απαλοιφής P: v + w = 5 Q: 2u + v = -2 R: -2u + 7v +2w= 9 2u + v 2u + v = -2 v + w = 5 : Q 8v + 2 w = 7 : R =R -(-1)*P εναλλαγή γραµµών = -2 : P = Q = P = R v + w = 5 : Q = P -2u + 7v+2w = 9: R = R 2u+v = -2 1v + w = 5-6w = -33 :R = R -8Q Η αποτυχία είναι θεραπέυσιµη Αποτυχίες της απαλοιφής Όταν εµφανίζεται µηδενικό στην «οδηγική θέση» Είναι η αποτυχία θεραπεύσιµη; Αν αλλάζοντας τη σειρά των εξισώσεων κατά τη διάρκεια της απαλοιφής αποφευχθεί ο µηδενικός οδηγός. υστυχώς στη γενική περίπτωση δεν υπάρχει φθηνός τρόπος να αναγνωρίσουµε από πριν ότι θα εµφανιστεί µηδέν κατά την απαλοιφή. 12
Αποτυχίες της απαλοιφής P: 2u + v + w = 5 Q: -2u - v = 9 R: -10u - 5v -4w= -11 2u+v = -9 w = 14 2u + v + w = 5 w = 14 :Q-1*P = Q Q w = 14 :R-(1: (10/2 0/2)*P=R κάθεδιάνυσµα [u,-9-2u,14] είναιλύση Το σύστηµα είναι συµβιβαστό και έχει απειρία λύσεων! Αποτυχίες της απαλοιφής P: 2u + v + w = 5 Q: 2u + v = -2 R: -2u - v +2w= 9 2u + v + w = 5 - w = -77 :Q-1*P: = Q Q 3w = 14: R-(-1)*P = R R Το σύστηµα είναι αδύνατο! 13
Επίλυση τετραγωνικού συστήµατος: Τρεις περιπτώσεις Ax=b Οµαλό Α (µοναδική λύση) Ιδιάζον Α Αδύνατο σύστηµα (καµµία λύση) Συµβιβαστό σύστηµα (άπειρες λύσεις) Ακόµα και όταν έχουµε άπειρες ή καµµία λύση µπορεί να ενδιαφερόµαστε α) να επιλέξουµε την «καλύτερη» από τις άπειρες λύσεις β) να βρούµε «λύση» x τέτοια ώστε να ελαχιστοποιεί κάποιο µέτρο του «υπολοίπου» (b-ax), π.χ. τηνόρµατου. Απλή επιλογή οδηγού Πριν κάθε βήµα k=1,..., n-1 της απαλοιφής τις παρακάτω περιπτώσεις ανάλογα µετην τιµή του στοιχείου α (k-1) k,k 1. Mη µηδενικό Επιλέγεται ως οδηγός 2. Μηδενικό 1. Αν j>k είναι η πρώτη γραµµή κάτω από την k όπου α j,k (k-1) 0, ανταλλάζουµε τις γραµµές j, k 2. Αν α j,k (k-1) = 0 j k σταµατάµε (αποτυχία) Άλλες µέθοδοι: «Μερική οδήγηση»: Επιλογή του στοιχείου κάτω απότη διαγώνιο στη στήλη k µε µέγιστη απόλυτη τιµή. Αυτή είναι η πιο συνηθισµένη µέθοδος οδήγησης και χρησιµοποιείται ευρύτατα στις υλοποιήσεις και στις εφαρµογές. 14
Παρατήρηση Κάθε βήµα απαλοιφής αναπαραστάθηκε ως πολλαπλασιασµός µεένα στοιχειώδες µητρώο L j Υπάρχει τρόπος να αναπαραστήσουµε και τις εναλλαγές µε απλά µητρώα «εναλλαγής» γραµµών Μητρώα «εναλλαγής» Προσέξτε ότι Α e 1 = a 1, A e 2 = a 2, A e 3 = a 3 A [e 1, e 2, e 3 ] = A A [e 2, e 1, e 3 ] = [a 2, a 1, a 3 ] εναλλαγή στηλών 1,2 A [e 1, e 3, e 2 ] = [a 1, a 3, a 2 ] εναλλαγή στηλών 2,3 A [e 3, e 2, e 1 ] = [a 3, a 2, a 1 ] εναλλαγή στηλών 1,3 15
Μητρώα «εναλλαγής» Προσέξτε ότι e 1 Α = a (1), e 2 Α = a (2), e 3 Α = a (3) [e 2, e 1, e 3 ] A = [a (2) ; a (1) ; a (3) ] εναλλαγή γραµµών 1,2 [e 1, e 3, e 2 ] A = [a (1) ; a (3) ; a (2) ] εναλλαγή γραµµών 2,3 [e 3, e 2, e 1 ] A = [a (3) ; a (2) ; a (1) ] εναλλαγή γραµµών 1,3 (3), Μητρώα «εναλλαγής» Μπορούµε να ανταλλάξουµε τις γραµµές ή στήλες (i,j) (συµβ. Ως i j)ενός µητρώου µε πολλαπλασιασµό απότα αριστερά ή δεξιά µε µητρώο που προέρχεται από την εφαρµογή της αντίστοιχης αλλαγής στο ταυτοτικό µητρώο. Συµβολίζουµε το µητρώο εναλλαγής γραµµών (ι,j) µε P ij R n n 16
Ιδιότητες P ij P ij = Ιδηλαδή P ij = P ij Αφού αν ανταλλάξουµε τις γραµµές i,j δυο φορές επανερχόµαστε στο αρχικό µητρώο Το P ij είναι σεόλα σαντο ταυτοτικό εκτός από ji =1, ii = π jj =0 π ij =π ji π ii ij -1 Εποµένως συµµετρικό: P ij = P ij Προσοχή: Μητρώα τα οποία A -1 =Α είναι ευέλικτα και χρήσιµα και λέγονται ορθογώνια µητρώα. ij Μητρώα µετάθεσης Μέχρι τώρα µιλούσαµε για απλές εναλλαγές στηλών ήγραµµών. Τί γίνεται αν πολλαπλασιάσουµε µητρώα εναλλαγής µεταξύ τους; Π.χ. P 13 P 23 Το αποτέλεσµα θα φανεί από την «συνολική» αλλαγή πουθα επιφέρει το γινόµενο σεένα µητρώο: (A P 13 ) P 23 = ([a 3, a 2,a 1 ])P 23 = [a 3,a 1,a 2 ] Άρα P 13 P 23 = [e 3,e 1,e 2 ] Το µητρώο αυτό καλείται µητρώο µετάθεσης. Μπορούµε να ορίσουµε αντίστοιχα µητρώα για οποιαδήποτε µετάθεση των στηλών ήγραµµών. Είναι απλά το µητρώο που προκύπτει από µετάθεση των στηλών ή γραµµών του ταυτοτικού µητρώου. Oι δείκτες των γραµµών ή στηλών το περιγράφουν πλήρως. 17
ιάσπαση PLU µε οδήγηση: Συνοπτική περιγραφή A (0) A For k=1:n-1 Επιλογή οδηγού i {k,k+1,,n},n} A (k ) P k,i A (k-1) απαλοιφή: : (βήµα( k) (k ) L k A (k) Εντέλει A (k U = L n-1 P (n-1 ) L n-2 P (n-2) L n-3 P (n-3) Λ L 2 P (2) L 1 P (1) Και µπορεί να αποδειχτεί ότιαν αντοαείναι οµαλό τότε P (n-1 ) P (n-2) P (n-3) Λ P (2) P (1) A = L U PA = LU (1) A (Σηµ Σηµ. Οσυµβολισµός 1:k δηλώνει τους ακεραίους 1, 2,..., k. Ύπαρξη παραγοντοποίησης PLU Θεώρηµα: [Strang Strang, σ.. 44] Έστω n 2 και A R n n οµαλό. Τότε υπάρχουν παράγοντες L, U, U P όπου το L είναι κάτω τριγωνικό µε 1 στη διαγώνιο, το U είναι άνω τριγωνικό, το P µητρώο µετάθεσης και PA=LU. Το παραπάνω αποτέλεσµα είναι το πιο γενικό και αυτό που τις περισσότερες φορές χρησιµοποιείται στις εφαρµογές. Οι αλγόριθµοι που χρησιµοποιούνται στις εφαρµογές είναι υλοποιήσεις αυτής της παραγοντοποίησης. 18
Χρήση στην επίλυση συστηµάτων Ax=b 1. Παραγοντοποίηση PA = LU 2. Ax=b L(Ux) ) = Pb a. y = P b µετάθεση b. Lz = y εµπρός αντικατάσταση c. Ux = z πίσω αντικατάσταση υστυχώς: συνήθως το P δεν είναι γνωστό εκ των προτέρων αλλά προκύπτει κατά τη διάρκεια του αλγορίθµου διάσπασης. Χρήση στην αντιστροφή: Αλγόριθµος Gauss-Jordan A R n n A A -1 = I = [e 1,,, e n ] 1. Παραγοντοποίηση A = PLU 2. Για j=1: n, Λύσε P(L(Ux j ))) = e_j a. y = P Τ e_j Μετάθεση (και πιο απλή!) b. Lz = y εµπρός αντικατάσταση c. Ux j = z πίσω αντικατάσταση 3. Τότε A - 1 = [x 1, x 2,, x n ] 19
Παρατηρήσεις Καιοι οιδυο µορφές είναι χρήσιµες γιατη λύση γραµµικών συστηµάτων ιαδοχικά υπολογίζουµε και εφαρµόζουµε τα στοιχειώδη µητρώα στο «επαυξηµένο µητρώο» [A,b]: 1. L n-1... L 2 L 1 [A,b] = [U,c[ U,c] 2. Πίσω αντικατάσταση γιατη λύση του Ux =c Παρατηρήσεις Αν Ax LUx=b x=u -1 (L -1 b) 1. L n-1... L 2 L 1 A = U 2. L = L -1 1... L -1 n-1 3. Επίλυση του Ly = b (εµπρός( αντικατάσταση) 4. Επίλυση του Ux =y (πίσω αντικατάσταση) 20