Ιδιάζουσες τιμές πίνακα Επειδή οι πίνακες που παρουσιάζονται στις εφαρμογές είναι μη τετραγωνικοί, υπάρχει ανάγκη να βρεθεί μία μέθοδος που να «μελετά» τους μη τετραγωνικούς με «μεθόδους και ποσά» που είναι αντίστοιχα με αυτά που χρησιμοποιούνται στη μελέτη των τετραγωνικών πινάκων Στην παράγραφο αυτή αντιμετωπίζεται το ανάλογο πρόβλημα της παραγοντοποίησης ενός m n πίνακα και αποδεικνύεται ότι για έναν πίνακα A M m n( ), με,, υπάρχουν πάντοτε κατάλληλοι πίνακες U, V ώστε να επιτυγχάνεται μια παραγοντοποίηση του πίνακα στη μορφή A= UΣ V, όπου Σ είναι «αραιός πίνακας, σχεδόν διαγώνιος» Για έναν πίνακα ( ) παρατηρούμε ότι ( ), A M AA M n AA M m είναι Ερμιτιανοί/συμμετρικοί πίνακες, επειδή εφαρμόζοντας τις ιδιότητες ( AB) = B A και * * * A * * = ( A ), μπορούμε να γράψουμε ( AA) = A( A) = AA και AA = A A = AA () Επίσης οι Ερμιτιανοί/συμμετρικοί πίνακες AA, AA είναι θετικά ημιορισμένοι, επειδή για κάθε x 0, n x και y 0, x AAx = ( Ax) Ax = Ax 0, m y έχουμε αντίστοιχα τις σχέσεις : y AA y = A y A y = A y 0 () Στην περίπτωση δε ενός Ερμιτιανού/συμμετρικού πίνακα A, όπου ισχύει A x = λ x με x =, παρατηρούμε ότι A x = λ x = λ x = λ, από όπου συμπεραίνουμε ότι αν λ είναι ιδιοτιμή του Ερμιτιανού/συμμετρικού πίνακα A, τότε το αντίστοιχο μοναδιαίο ιδιοδιάνυσμα είναι αυτό που κάνει το διάνυσμα A x να έχει ακριβώς ίδιο μήκος με την τιμή λ Αυτές οι παρατηρήσεις συμβάλλουν στην παραγοντοποίηση ενός πίνακα A M m n, αρκεί να κάνουμε τη μελέτη του μέσω των αντίστοιχων συμμετρικών και θετικά ημιορισμένων πινάκων AA, AA, όπως αποδείχθηκαν στις ()-()
Βασικές Έννοιες Πινάκων Συνδυάζοντας τη () και την ιδιότητα συμπεραίνουμε ότι όλες οι ιδιοτιμές είναι μη αρνητικοί αριθμοί, άρα μπορούμε να θεωρήσουμε μια διάταξή τους λ λ λ n 0 Ορισμός A M και Έστω λ, =,,, n οι ιδιοτιμές του AA με λ λ λ n 0 Όλες οι τετραγωνικές ρίζες των ιδιοτιμών λ ονομάζονται ιδιάζουσες τιμές (sngular alues) του A, συμβολίζονται σ, δηλαδή σ = λ, =,,, n () Η επόμενη πρόταση δίνει έναν αλγόριθμο για την «παραγοντοποίηση» ενός m n πίνακα A με τη χρήση «ειδικών» ορθομοναδιαίων/ορθογωνίων πινάκων Θεώρημα (ιδιάζουσα παραγοντοποίηση πίνακα) A M m n με ran( A) = Τότε υπάρχει m n πίνακας Έστω με τον = dag ( σ, σ,, σ ) ( n) Σ= ( m ) ( m ) ( n), όπου σ σ σ > 0 οι ιδιάζουσες τιμές του πίνακα A και υπάρχουν οι m m και n n ορθομοναδιαίοι/ορθογώνιοι πίνακες U, V αντιστοίχως τέτοιοι ώστε (4) A= UΣ V, (5) όπου ο πίνακας V έχει στήλες τα ορθοκανονικοποιημένα ιδιοδιανύσματα του πίνακα AA και ο πίνακας U έχει ως στήλες ορθοκανονικά διανύσματα που προκύπτουν u = A, (6) σ Αν A είναι θετικά ορισμένος, όλες οι ιδιοτιμές του είναι πραγματικοί θετικοί αριθμοί, ενώ αν είναι θετικά ημιορισμένος (μη-αρνητικά ορισμένος), τουλάχιστον μία ιδιοτιμή του είναι ίση με μηδέν και οι υπόλοιπες είναι θετικοί πραγματικοί αριθμοί
Παραγοντοποίηση Πίνακα όπου είναι η -στήλη του ορθομοναδιαίου/ορθογώνιου πίνακα V στην (5) για κάθε =,,, Παρατήρηση ) Η παραγοντοποίηση του m n πίνακα A στη μορφή (5) ονομάζεται ιδιάζουσα ανάλυση (sngular alue decomposton, ή συντομογραφικά SVD) του A Ο πίνακας Σ είναι μοναδικά ορισμένος, επειδή τα διαγώνια στοιχεία του είναι οι θετικές τετραγωνικές ρίζες των ιδιοτιμών του πίνακα AA, ποσότητες μοναδικά ορισμένες Οι πίνακες UV, δεν είναι μοναδικά ορισμένοι, επειδή εξαρτώνται από τα ιδιοδιανύσματα του AA, οι στήλες του U ονομάζονται αριστερά ιδιάζοντα διανύσματα του πίνακα A, και οι στήλες του V ονομάζονται δεξιά ιδιάζοντα διανύσματα του A Αν η βάση των αριστερών ιδιαζόντων διανυσμάτων του πίνακα A περιέχει λιγότερα διανύσματα από m, αυτή συμπληρώνεται με όσα διανύσματα απαιτούνται (γίνεται επέκταση της βάσης των υπαρχόντων διανυσμάτων), ώστε όλες οι στήλες του U να αποτελούν μια ορθοκανονική βάση διάστασης m ) Αποδεικνύεται ότι η ιδιάζουσα ανάλυση (παραγοντοποίηση) του πίνακα A M m n στη μορφή (5) είναι ισοδύναμη με την A = σ u (7) = όπου = ran( A), και σ είναι οι ιδιάζουσες τιμές του A, u, είναι το αριστερό και δεξιό ιδιάζον διάνυσμα που αντιστοιχεί στη σ του A για κάθε =,,, Παράδειγμα Έστω A = Να υπολογισθούν ορθογώνιοι πίνακες UV,, ώστε ο πίνακας A να παραγοντοποιηθεί στη μορφή (5) Εντολή στη Matlab: [U, S, V] = sd(a) παρουσιάζει σε έναν πίνακα U τα αριστερά ιδιάζοντα διανύσματα του πίνακα Α, o S είναι ο πίνακας με τις ιδιάζουσες τιμές όπως στην (4) και V είναι ο πίνακας με στήλες τα δεξιά ιδιάζοντα διανύσματα του πίνακα Α
4 Βασικές Έννοιες Πινάκων 4 4 8 4 4 Αρχικά ο συμμετρικός πίνακας A A=, έχει χαρακτηριστικό 4 4 0 πολυώνυμο χ ( λ) λ ( λ λ 96) λ ( λ 6)( λ 6) A A = + = Oι ιδιοτιμές είναι λ = 6, λ = 6 και λ = 0 (διπλή ρίζα) Τα αντίστοιχα ιδιοδιανύσματα είναι = ( ), x = ( ), x ( 0 0) x = και x 4 = 0 0 Χρειάζεται να εφαρμόσουμε τη μέθοδο ορθοκανονικοποίησης Gram-Schmdt ανάμεσα στα δύο τελευταία ιδιοδιανύσματα x x x = x x = 0 5 5 4 4 4 x Διαιρώντας τα διανύσματα με τα μέτρα τους έχουμε τα ορθοκανονικά διανύσματα ( ) x ( ) = =, x 5 x ( 0 0) = =, x 5 x 4 4 = = = x 4 5 5 5 0 5 0 0 0 x = =, x 0 Οι μη μηδενικές ιδιάζουσες τιμές του A είναι σ = λ = 4, σ = λ = 6, ο βαθμός του A είναι ran( A ) = Επομένως A = A 4 = 0 Χρησιμοποιώντας την (6) ορίζουμε τα διανύσματα { u, u } σ, οπότε u = A = ( 4 ) = ( ), 4 0 0 u = A = ( 9 ) = ( ) 6 5 0 σ Συνεπώς, ο ορθογώνιος πίνακας U είναι U 0 0 u u, 0 0 = =
Παραγοντοποίηση Πίνακα 5 και ο ορθογώνιος πίνακας V είναι 0 5 5 0 0 5 5 0 V = ( 4) = 0 5 0 5 0 0 0 0 5 Σύμφωνα με το Θεώρημα, οι ορθογώνιοι πίνακες U,V, και ο 4 πίνακας 4 0 0 0 Σ= 0 6 0 0 επαληθεύουν την (5), συνεπώς, ο πίνακας A έχει την ιδιάζουσα ανάλυση A = UΣ V Ορισμός A M Ένας n m πίνακας, που στη συνέχεια σημειώνεται A +, Έστω ικανοποιεί τις τρεις ακόλουθες ιδιότητες + ) AA A = A ) A AA = A + + + ) οι πραγματικοί πίνακες AA + και AA + είναι Ερμιτιανοί/συμμετρικοί, ονομάζεται γενικευμένος αντίστροφος πίνακας του A ή ψευδοαντίστροφος πίνακας του A Πρόταση Για το γενικευμένο αντίστροφο του ) ο πίνακας A + είναι μοναδικός + ) ( A ) + = A + + ) A M λa = λ A, για κάθε λ {0} ισχύουν οι ακόλουθες ιδιότητες: ) Αν ο πίνακας A είναι αντιστρέψιμος, τότε A = A + Στη βιβλιογραφία είναι γνωστός ως generalzed nerse matrx ή Moore-Penrose pseudonerse matrx
6 Βασικές Έννοιες Πινάκων Παρατήρηση Χρησιμοποιώντας τον Ορισμό και τις ιδιότητες των πινάκων αποδεικνύεται ότι η μορφή του γενικευμένου αντίστροφου πίνακα του A εξαρτάται από το βαθμό του πίνακα Συγκεκριμένα αποδεικνύεται ότι : ) Αν ο πίνακας A M column ran), δηλαδή ran( A) δίνεται από τον τύπο: είναι πλήρους βαθμού ως προς τις στήλες (full = n, τότε ο γενικευμένος αντίστροφος του A + A = AA A (8) Πράγματι, επειδή ran( A) mn{ m, n} και ο πίνακας A είναι πλήρους βαθμού ως προς τις στήλες συμπεραίνουμε ότι ran( A) n( m) =, το οποίο σημαίνει ότι ο πίνακας Α έχει n γραμμικά ανεξάρτητες στήλες Επιπλέον, επειδή ran( A) = ran( A ) = n, είναι φανερό ότι AA είναι αντιστρέψιμος (γιατί;) Αντικαθιστώντας την (8) επαληθεύονται οι τρεις ιδιότητες του Ορισμού, συνεπώς, ο πίνακας στην (8) ορίζει το γενικευμένο αντίστροφο του A Επιπλέον, αντικαθιστώντας τον A + ισχύει n της (8) στον πίνακα AA + συμπεραίνουμε ότι + AA= I, άρα επαληθεύεται ο Ορισμός του αντιστρέψιμου πίνακα, γι αυτό λέμε ότι ο πίνακας A + αποτελεί έναν αριστερό αντίστροφο του A ) Αν ο πίνακας A M ran), δηλαδή ran( A) τον τύπο: είναι πλήρους βαθμού ως προς τις γραμμές (full row = m, τότε ο γενικευμένος αντίστροφος του A δίνεται από + A = A AA (9) Πράγματι, επειδή ο πίνακας A είναι πλήρους βαθμού ως προς τις γραμμές συμπεραίνουμε ότι ran( A) m( n) =, το οποίο σημαίνει ότι ο Α έχει m γραμμικά ανεξάρτητες γραμμές Επιπλέον, επειδή ran( A) = ran( A ) = m, είναι φανερό ότι AA είναι αντιστρέψιμος (γιατί;) Αντικαθιστώντας την (9) επαληθεύονται οι τρεις ιδιότητες του Ορισμού, συνεπώς, ο πίνακας στην (9) ορίζει το γενικευμένο αντίστροφο του A Επιπλέον, αντικαθιστώντας τον A + της (9) στον πίνακα AA + συμπεραίνουμε ότι ισχύει AA + = Im, γι αυτό λέμε ότι ο πίνακας A + αποτελεί ένα δεξιό αντίστροφο του A
Παραγοντοποίηση Πίνακα 7 ) Γενικότερα, αν ο πίνακας A M m n( ) έχει ran ( A) = mn{ m, n}, κάνοντας μια κατάλληλη διαμέριση των ορθομοναδιαίων/ορθογωνίων πινάκων UV, που εμφανίζονται στην (5), παίρνουμε =, όπου U = ( ) U U Um u u u (0) =, όπου V = ( ) V V Vn () και αντικαθιστώντας στην (5) τους παραπάνω πίνακες UV, από τις (0)-() έχουμε όπου = dag ( σ, σ,, σ ) V A= UΣV = ( U U ) = U V m Vn, (), σ οι μη μηδενικές ιδιάζουσες τιμές του A Με βάση την παραγοντοποίηση του πίνακα A στην () και επειδή ο είναι αντιστρέψιμος πίνακας (τα διαγώνια στοιχεία του είναι θετικοί αριθμοί), αποδεικνύεται ότι ο n m γενικευμένος αντίστροφος πίνακας του A δίνεται από τον τύπο, Παράδειγμα A = V U () + Να υπολογιστούν οι γενικευμένοι αντίστροφοι των πινάκων: ) 0 0 0 0 A = 0 0 0 ) B = Είναι φανερό ότι ran( A ) =, ran( B ) =, και ran( C ) = 0 ) C = 0 0 0 0 () Σύμφωνα με την Παρατήρηση (), ο πίνακας A είναι πλήρους βαθμού ως προς τις στήλες Επειδή χ λ = λ 6λ + 9λ 4 και ο σταθερός όρος του A A χαρακτηριστικού πολυωνύμου είναι διάφορος του μηδενός, συμπεραίνουμε ότι ο πίνακας AA είναι αντιστρέψιμος και ο αντίστροφος πίνακας AA υπολογίζεται από το θεώρημα Cayley-Hamlton και το παραπάνω χαρακτηριστικό πολυώνυμο και ισούται με : 5 6 0 0 6 0 AA = 6 0 0 = ( AA 6AA+ 9I) = 6 5 0 4 4 0 0 0 0 4 Επομένως, ο γενικευμένος αντίστροφος του Α υπολογίζεται από τον τύπο στην (8) και ισούται με
8 Βασικές Έννοιες Πινάκων 0 6 0 0 0 0 6 0 + A = AA A = 6 5 0 0 0 6 5 0 4 = 4 0 0 40 0 0 0 0 0 4 () Σύμφωνα με την Παρατήρηση (), ο πίνακας B είναι πλήρους βαθμού ως προς τις γραμμές Επειδή χ λ = λ λ + 96 και ο σταθερός όρος του BB χαρακτηριστικού πολυωνύμου είναι διάφορος του μηδενός, συμπεραίνουμε ότι ο πίνακας BB είναι αντιστρέψιμος και ο αντίστροφος πίνακας BB υπολογίζεται από το θεώρημα Cayley-Hamlton και το παραπάνω χαρακτηριστικό πολυώνυμο και ισούται με : 7 5 ( BB ) = = ( B I) = 5 96 96 7 Συνεπώς, από τον τύπο στην (9) ο γενικευμένος αντίστροφος του B ισούται με 4 + 5 4 8 B B BB = = = 96 7 96 4 4 4 () Σύμφωνα με την Παρατήρηση (), επειδή ο πίνακας C δεν είναι πλήρους βαθμού, ran( C) = = < απαιτείται ο υπολογισμός των ορθογωνίων πινάκων U,V, που χρησιμοποιούνται στην ιδιάζουσα ανάλυση του πίνακα C, όπως αυτή περιγράφεται στο Θεώρημα Ο συμμετρικός πίνακας C C 4 0 4 8 4 0 CC= 4 0 0 0 0 ( ) έχει χαρακτηριστικό πολυώνυμο χ λ = λ λ λ+ = λ λ λ Oι ιδιοτιμές είναι λ =, λ = και 4 0, λ = (διπλή ρίζα) Τα αντίστοιχα ιδιοδιανύσματα είναι x ( 0) =, x = ( 0 0) και x 4 ( 0 0) x 0 0 0 =, = Χρειάζεται να εφαρμόσουμε τη μέθοδο ορθοκανονικοποίησης Gram-Schmdt ανάμεσα στα δύο x4 x τελευταία ιδιοδιανύσματα x 4 = x4 x = 0 x 5 5 Διαιρώντας τα
Παραγοντοποίηση Πίνακα 9 διανύσματα με τα μέτρα τους έχουμε τα ορθοκανονικά διανύσματα x ( 0) = =, x 6 x ( 0 0 0 ) = =, x x ( 0 0) = =, x 5 x 4 4 = = = x 4 5 5 5 0 5 0 0 0 Οι ιδιάζουσες τιμές του C είναι σ = λ =, σ = λ =, σ4 = λ4 = 0,,, συνεπώς ο βαθμός του C είναι ran( C ) = Επομένως C = C4 = 0 Από την (6) υπολογίζονται τα διανύσματα {, } u u ως ακολούθως u = C = ( 0), σ u = C = σ ( 0 0 ) Επειδή ο ορθογώνιος πίνακας U πρέπει να είναι θεωρούμε το διάνυσμα u = 0 0 Επειδή τα u, u είναι ορθοκανονικά εφαρμόζουμε τη μέθοδο ορθοκανονικοποίησης Gram-Schmdt ανάμεσα στα διανύσματα u, u και το u, και u u u u έχουμε ˆ u = u u u = 0, u u με = + + = uˆ 0, επομένως u uˆ = = 0 uˆ Συνεπώς, ο ορθογώνιος πίνακας U είναι U ( u u u ) ο ορθογώνιος πίνακας V είναι 0 0, 0 0 = =
0 Βασικές Έννοιες Πινάκων 0 6 5 0 0 V ( 4) 6 5 0 = =, 0 0 5 6 0 0 0 0 και από την (4) ο 4 πίνακας Σ με τις ιδιάζουσες τιμές είναι Επειδή ran ( C) 0 0 0 Σ= 0 0 0 0 0 0 0 = =, θεωρούμε τις διαμερίσεις των παραπάνω ορθογωνίων πινάκων UV,, όπως υποδεικνύουν οι σχέσεις (0) και (), οπότε έχουμε U V 0 ( u u ) 0 =, 0 0 6 0 6 = ( ) = 0 6 0 Από την () ο διαγώνιος πίνακας είναι = 0 0 υπολογίζεται ο γενικευμένος αντίστροφος του C, ο οποίος είναι και από τη () 0 0 0 C + = V U = V U = 0 0 0 0
Παραγοντοποίηση Πίνακα Παράδειγμα Θεωρώντας b = και χρησιμοποιώντας το γενικευμένο αντίστροφο του πίνακα 0 0 0 0 0 A = του Παραδείγματος, να λυθεί η γραμμική εξίσωση: 0 0 0 A x = Επειδή ο πίνακας A είναι πλήρους βαθμού ως προς τις στήλες, όπως αναφέρθηκε στην Παρατήρηση () ο γενικευμένος αντίστροφος πίνακας A + είναι ένας αριστερός + αντίστροφος του A, δηλαδή, ισχύει AA= I Συνδυάζοντας την παραπάνω ιδιότητα b και πολλαπλασιάζοντας αριστερά τη δοθείσα εξίσωση επί A + της γραμμικής εξίσωσης, που είναι : καταλήγουμε στη λύση Ax = b AAx = Ab Ix = Ab x = Ab + + + + Αντικαθιστώντας στην παραπάνω ισότητα x = A + b τον πίνακα A +, που υπολογίστηκε στο Παράδειγμα (), το σύστημα A x = b έχει μοναδική λύση την 0 6 0 A + x = b = 6 5 0 4 = 0 0 0 0 4