Είναι επίσης βολικό σε κάποιες περιπτώσεις να θεωρήσουµε το σύνολο διανυσµάτων x(n), που περιέχουν τις τιµές x(n), x(n-1),,x(n-n+1) ενός σήµατος

Transcript

1 Ανασκόπηση Γραµµική Άλγεβρα Σε πολλά µαθηµατικά προβλήµατα που θα συναντήσουµε στην φασµατική εκτίµηση και γενικά στην εκτίµηση παραµέτρων θα είναι βολικό να χρησιµοποιούµε διανύσµατα και πίνακες για την αναπαράσταση των σηµάτων και για τις πράξεις που γίνονται σε αυτά. Αυτή η αναπαράσταση θα απλοποιήσει πολλές από τις µαθηµατικές εκφράσεις και χρησιµοποιώντας τεχνικές της γραµµικής άλγεβρας θα µας βοηθήσει να επιλύσουµε αυτές τις εκφράσεις. Παρότι δεν χρειάζεται να γνωρίζουµε σε πολύ µεγάλο βάθος την θεωρία της γραµµικής άλγεβρας είναι σηµαντικό να εξοικειωθούµε µε κάποιους βασικούς ορισµούς και εργαλεία της ανάλυσης διανυσµάτων και πινάκων. 2.1 ιανύσµατα ιάνυσµα είναι µια ακολουθία πραγµατικών ή µιγαδικών αριθµών ή συναρτήσεων. Τα διανύσµατα θα τα συµβολίζουµε µε µικρά έντονα γράµµατα όπως x, a και v. Αν δεν αναφέρεται τι είδους διάνυσµα είναι, τα διανύσµατα αυτά θα θεωρούνται διανύσµατα στήλης. Για παράδειγµα: είναι ένα διάνυσµα στήλης µε Ν βαθµωτούς. Αν τα στοιχεία του x είναι πραγµατικά τότε ονοµάζεται πραγµατικό διάνυσµα ενώ αν είναι µιγαδικά τότε λέγεται µιγαδικό διάνυσµα. Γενικά ένα διάνυσµα µε Ν στοιχεία θα ονοµάζεται Ν-διάστατο. Ο ανάστροφος ενός διανύσµατος x T είναι ένα διάνυσµα γραµµής της ακόλουθης µορφής: Ο ερµιτιανός ανάστροφος x H είναι ο µιγαδικός συζυγής του ανάστροφου του x: Τα διανύσµατα είναι χρήσιµα για την αναπαράσταση των τιµών ενός σήµατος διακριτούχρόνου µε έναν συνοπτικό τρόπο. Παραδείγµατος χάριν, µια πεπερασµένη ακολουθία x(n) που είναι ίση µε µηδέν έξω από το διάστηµα [ 0, Ν-1 ] µπορεί να αναπαρασταθεί µε διανυσµατική µορφή όπως Είναι επίσης βολικό σε κάποιες περιπτώσεις να θεωρήσουµε το σύνολο διανυσµάτων x(n), που περιέχουν τις τιµές x(n), x(n-1),,x(n-n+1) ενός σήµατος Έτσι το διάνυσµα x(n), είναι ένα διάνυσµα Ν στοιχείων παραµετροποιηµένων από τον χρονικό δείκτη n. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 1

2 Πολλές από τις πράξεις που θα χρειαστεί να γίνουν µε τα διανύσµατα αφορούν την εύρεση του µεγέθους (magnitude) ενός διανύσµατος. Για να υπολογίσουµε το µέγεθος ενός διανύσµατος όµως είναι απαραίτητο να ορίσουµε κάποια νόρµα, δηλαδή Many of µετρική απόστασης. Η ευκλίδεια νόρµα (L2) είναι µια τέτοια µετρική που για ένα διάνυσµα x διάστασης Ν ορίζεται ως εξής: Άλλες χρήσιµες νόρµες είναι η L1 νόρµα: και η νόρµα Συνήθως η νόρµα που χρησιµοποιείται (και θα χρησιµοποιήσουµε στα πλαίσια του µαθήµατος µας) είναι η L2 νόρµα και γι αυτό θα τη συµβολίζουµε απλώς ως x. Ένα διάνυσµα µπορεί να κανονικοποιηθεί µε τέτοιο τρόπο ώστε να έχει µοναδιαίο µέγεθος (unit magnitude). Για να γίνει αυτό διαιρούµε το διάνυσµα µε την νόρµα του. Για παράδειγµα αν υποθέσουµε ότι η νόρµα ενός διανύσµατος x είναι διαφορετική του µηδενός, τότε: είναι το διάνυσµα µοναδιαίας νόρµας το οποίο έχει την ίδια κατεύθυνση µε το αρχικό διάνυσµα x. Για ένα διάνυσµα του οποίου τα στοιχεία εκφράζουν τιµές σήµατος, x(n), το τετράγωνο της νόρµας αναπαριστά την ενέργεια του σήµατος. Για παράδειγµα: Εκτός από το να χρησιµοποιούµε τη νόρµα για τη µέτρηση του µεγέθους ενός διανύσµατος η νόρµα χρησιµοποιείται και για την µέτρηση απόστασης δύο διανυσµάτων: Αν έχουµε δύο µιγαδικά διανύσµατα και το εσωτερικό γινόµενο είναι ένα βαθµωτό ορισµένο ως εξής: Για πραγµατικά διανύσµατα το εσωτερικό γινόµενο είναι: Το εσωτερικό γινόµενο ορίζει µια γεωµετρική σχέση µεταξύ δύο διανυσµάτων. Η σχέση αυτή περιγράφεται από την παρακάτω εξίσωση: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 2

3 όπου θ είναι η γωνία µεταξύ των δύο διανυσµάτων. Έτσι δυο µη µηδενικά διανύσµατα a και b λέγονται ορθογώνια (orthogonal) αν το εσωτερικό τους γινόµενο είναι µηδέν: ύο διανύσµατα που είναι ορθογώνια και έχουν µοναδιαία νόρµα λέγονται ορθοκανονικά (orthonormal). Παράδειγµα: Εσωτερικό Γινόµενο Θεωρήστε τα δύο διανύσµατα µοναδιαίας νόρµας: Το εσωτερικό γινόµενο µεταξύ τους είναι: όπου θ = π/4. Συνεπώς όπως γνωρίζουµε από την ευκλίδεια γεωµετρία τα διανύσµατα σχηµατίζουν γωνία 45 µοιρών το ένα σε σχέση µε το άλλο. Αν τώρα είχαµε τα ακόλουθα διανύσµατα: τότε το εσωτερικό τους γινόµενο είναι µηδέν και τα διανύσµατα λέγονται ορθογώνια. Σηµειώστε ότι από την στιγµή που cos(θ) 1, το εσωτερικό γινόµενο µεταξύ δύο διανυσµάτων περιορίζεται από το γινόµενο των µετρικών τους (magnitudes): όπου η ισότητα στην παραπάνω σχέση ισχύει µόνο και µόνο τότε όταν τα a και b είναι συνγραµµικά (collinear), δηλαδή, a = ab για κάποια σταθερά a. Η παραπάνω σχέση είναι ευρύτερη γνωστή ως ανισότητα Cauchy-Schwarz. Άλλη χρήσιµη ανισότητα είναι η ακόλουθη: όπου η ισότητα ισχύει τότε και µόνο τότε όταν a = b. Η ανισότητα πηγάζει από την παρατήρηση ότι για οποιαδήποτε δύο διανύσµατα a και b ισχύει: Αναλύοντας την νόρµα έχουµε ότι: από όπου πηγάζει τελικά η ανισότητα. Μία από τις χρήσεις του εσωτερικού γινοµένου είναι να αναπαριστά µε περιεκτικό τρόπο την έξοδο ενός ΓΧΑ φίλτρου. Για παράδειγµα αν h(n) είναι η κρουστική απόκριση ενός FIR φίλτρου τάξης N-1 και x(n) είναι ένα σήµα εισόδου στο φίλτρο τότε η έξοδος του φίλτρου είναι η συνέλιξη των h(n) και x(n), Συνεπώς, αν εκφράσουµε το x(n) και h(n) σε διανυσµατική µορφή: τότε η απόκριση του φίλτρου y(n) µπορεί να γραφτεί ως το ακόλουθο εσωτερικό γινόµενο Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 3

4 2.2 Γραµµική ανεξαρτησία, ιανυσµατικοί χώροι και ιανύσµατα Βάσης Οι ιδιότητες της γραµµικής ανεξαρτησίας ή εξάρτησης είναι ιδιαίτερα σηµαντικές στην γραµµική άλγεβρα. Ένα σύνολο n διανυσµάτων λέγεται γραµµικά ανεξάρτητο αν η σχέση: ικανοποιείται µόνο όταν α i = 0 για όλα τα i. Αν υπάρχει κάποιο σύνολο µη µηδενικών α i που να ικανοποιούν την παραπάνω συνθήκη τότε τα διανύσµατα λέγονται γραµµικά εξαρτηµένα. Αν έχουµε γραµµικά εξαρτηµένα διανύσµατα τότε τουλάχιστον κάποιο από αυτά µπορεί να γραφτεί ως γραµµικός συνδυασµός των υπολοίπων διανυσµάτων. Για παράδειγµα θα ισχύει: για κάποιο σύνολο βαθµωτών β i. Σε διανύσµατα διάστασης N δεν µπορούµε να έχουµε περισσότερα από Ν γραµµικά ανεξάρτητα διανύσµατα. ηλαδή όταν υπάρχει ένα σύνολο µε περισσότερα από Ν διανύσµατα διάστασης Ν το καθένα τότε τα διανύσµατα του συνόλου αυτού είναι οπωσδήποτε γραµµικά εξαρτηµένα. Παράδειγµα: Γραµµική ανεξαρτησία ίνεται το ακόλουθο ζεύγος διανυσµάτων: Μπορούµε να δείξουµε ότι είναι γραµµικά ανεξάρτητα ως εξής. Αν βρούµε τιµές για τα βαθµωτά α 1 και α 2 τέτοια ώστε να ισχύει: τότε ισχύει: Η µόνη λύση στις παραπάνω εξισώσεις είναι η a 1 = a 2 = 0. Συνεπώς τα διανύσµατα είναι γραµµικά ανεξάρτητα. Αν στο παραπάνω σύνολο διανυσµάτων προσθέσουµε το: τότε το νέο σύνολο διανυσµάτων που προκύπτει είναι γραµµικά εξαρτηµένο γιατί: Έστω το ακόλουθο σύνολο διανυσµάτων Ας θεωρήσουµε το σύνολο των διανυσµάτων U που µπορούν να σχηµατιστούν ως γραµµικοί συνδυασµοί των παραπάνω διανυσµάτων: Τότε το σύνολο αυτό σχηµατίζει ένα διανυσµατικό χώρο (vector space), και τα διανύσµατα v i, λέµε ότι παράγουν (span) τον χώρο U. Αν επιπλέον τα διανύσµατα v i είναι γραµµικά ανεξάρτητα, τότε λέµε ότι αποτελούν την βάση (basis) του διανυσµατικού χώρου U, και ο αριθµός των διανυσµάτων βάσης Ν, αποκαλείται η διάσταση (dimension) του χώρου. Για παράδειγµα, το σύνολο όλων των πραγµατικών διανυσµάτων της µορφής x = [x 1, x 2,...,x N ] T σχηµατίζει ένα N-διάστατο διανυσµατικό χώρο που ονοµάζεται R N, και ο οποίος παράγεται από τα ακόλουθα διανύσµατα βάσης: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 4

5 Κάθε διάνυσµα v = [υ 1, υ 2,..., υ N ] Τ τρόπο ως ακολούθως: του διανυσµατικού χώρου R N µπορεί να παραχθεί µε µοναδικό Θα πρέπει όµως να σηµειωθεί ότι τα διανύσµατα βάσης ενός διανυσµατικού χώρου δεν είναι µοναδικά. Υπόχωρος ενός διανυσµατικού χώρου λέγεται ένα µη κενό υποσύνολο που ικανοποιεί τις ακόλουθες απαιτήσεις: 1) Αν προσθέσουµε δύο διανύσµατα του υπόχωρου το άθροισµα τους x+y περιέχεται στον υπόχωρο 2) Αν πολλαπλασιάσουµε ένα διάνυσµα x του υπόχωρου µε έναν αριθµό c το γινόµενο cx περιέχεται πάλι στον υπόχωρο. 2.3 Πίνακες Ένας n x m πίνακας είναι µια ακολουθία αριθµών (πραγµατικών ή µιγαδικών) ή συναρτήσεων µε n γραµµές και m στήλες. Για παράδειγµα: είναι ένας n x m πίνακας των αριθµών α ij ενώ ο παρακάτω πίνακας: είναι ένας n x m πίνακας των συναρτήσεων α ij (z). Αν n = m, τότε ο A είναι τετραγωνικός πίνακας n γραµµών και n στηλών. Σε µερικές περιπτώσεις θα χρειαστεί να θεωρήσουµε πίνακες µε άπειρο αριθµό γραµµών ή στηλών. Για παράδειγµα η έξοδος ενός FIR ΓΧΑ φίλτρου µε κρουστική απόκριση h(n) µπορεί να γραφεί: Αν x(n) = 0 για n < 0, τότε µπορούµε να εκφράσουµε το y (n) για n > 0 ως: Όπου Χ 0 είναι ο πίνακας συνέλιξης ορισµένος ως εξής: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 5

6 και y = [y(0), y(l), y(2),...] Τ. Σηµειώστε ότι ο πίνακας έχει την ίδια τιµή σε όλες τις διαγώνιους, έχει Ν-1 στήλες και άπειρο αριθµό γραµµών. Οι πίνακες θα ορίζονται µε µεγάλα έντονα γράµµατα όπως: A, B, και H(z). Σε ορισµένες περιπτώσεις θα είναι βολικό να αναπαριστούµε n x m πίνακες σαν ένα σύνολο m διανυσµάτων στήλης: ή σαν σύνολο n διανυσµάτων γραµµής Ένας πίνακας µπορεί επίσης να κατατµηθεί σε υποπίνακες: Π.χ. o n x m πίνακας A: όπου A 11 είναι ένας p x q, A 12 είναι p x (m-q), A 21 είναι (n-p) x q, και A 22 είναι (n-p) x (m- q). Παράδειγµα: Κατάτµηση (partitioning) Πινάκων Θεωρήστε τον παρακάτω 3x3 πίνακα: Ο πίνακας µπορεί να κατατµηθεί ως: όπου 0 = [0, 0] Τ είναι το µηδενικό διάνυσµα µήκους 2 και είναι ένας 2 x 2 πίνακας. Αν A είναι ένας n x m πίνακας τότε ο ανάστροφος του A Τ, είναι ένας m x n πίνακας που προέρχεται από την εναλλαγή γραµµών και στηλών του Α. Έτσι το (i, j) στοιχείο γίνεται το (j, i) στοιχείο και αντίστροφα. Αν ο πίνακας είναι τετραγωνικός τότε ο ανάστροφος του σχηµατίζεται µε απλή ανάκλαση των στοιχείων του A ως προς την διαγώνιο. Για ένα τετραγωνικό πίνακα αν ισχύει: τότε ο A λέγεται συµµετρικός πίνακας. Για µιγαδικούς πίνακες, ο Ερµιτιανός ανάστροφος (Hermitian transpose) είναι ο µιγαδικός συζυγής του ανάστροφου και ορίζεται ως A H. Έτσι: Αν ο τετραγωνικός µιγαδικός πίνακας είναι ίσος µε τον Ερµιτιανό ανάστροφο: τότε ο πίνακας λέγεται Ερµιτιανός (Hermitian). Μερικές ιδιότητες του ερµιτιανού ανάστροφου: Ισοδύναµες ιδιότητες για το απλό ανάστροφο µπορούν να ορισθούν αντικαθιστώντας το Hermitian Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 6

7 ανάστροφο H µε το ανάστροφο T Τέσσερις θεµελιώδεις υπόχωροι Οι υπόχωροι γενικά περιγράφονται µε δύο τρόπους. Ο ένας βασίζεται σε ένα σύνολο διανυσµάτων που παράγουν τον υπόχωρο. Στον δεύτερο τρόπο δίνονται ορισµένοι περιορισµοί που πρέπει να ικανοποιεί ο υπόχωρος. Μας διευκρινίζει δηλαδή όχι ποια διανύσµατα περιέχονται στον υπόχωρο αλλά ποιές συνθήκες πρέπει να ικανοποιούν. Με βάση αυτούς τους δύο τρόπους περιγραφής υπόχωρων µπορούµε να ορίσουµε τους 4 πλέον θεµελιώδεις: 1) Ο χώρος των στηλών (range space) R(A). Αποτελείται από όλους τους γραµµικούς συνδυασµούς των στηλών ενός πίνακα Α m x n. Είναι υπόχωρος του R m. 2) O χώρος γραµµών (row space) είναι στην ουσία ο χώρος στηλών του A T. Συµβολίζεται µε R(A T ). 3) Ο µηδενοχώρος (null space) ή αλλιώς πυρήνας (kernel) N(A) αποτελείται από όλα τα διανύσµατα x για τα οποία Ax=0. Αυτός είναι υπόχωρος του R n. 4) O αριστερός µηδενόχωρος του Α που είναι ο µηδενόχωρος του A T. Περιέχει όλα τα διανύσµατα y για τα οποία A T y=0. Συµβολίζεται µε Ν(A T ). 2.4 Αντίστροφος Πίνακα Ας υποθέσουµε ότι ο A είναι ένας n x m πίνακας κατατµηµένος σε m διανύσµατα στήλης Η τάξη (rank) του A, ρ(α) ορίζεται ως ο αριθµός των γραµµικών ανεξάρτητων στηλών του Α. Μία από τις ιδιότητες της τάξης είναι ότι η τάξη του πίνακα είναι ίση µε την τάξη του ερµιτιανού ανάστροφου ρ(α)=ρ(α Η ). Συνεπώς αν ο Α κατατµηθεί σε n διανύσµατα γραµµής: τότε η τάξη του A είναι ισοδύναµα ίση µε τον αριθµό των γραµµικά ανεξάρτητων διανυσµάτων γραµµής. Π.χ. ο αριθµός των γραµµικά ανεξάρτητων διανυσµάτων στο σύνολο {r 1,r 2,..., r n }. Μια χρήσιµη ιδιότητα της τάξης ενός πίνακα είναι η ακόλουθη: Ιδιότητα:. Η τάξη του A είναι ίση µε την τάξη του AA H and A Η A, p(a) = p(aa Η ) = p(a Η A) Από τον παραπάνω ορισµό της τάξης του πίνακα προκύπτει ότι αν Α είναι ένας m x n πίνακας τότε: p(a) min(m, n) Αν A είναι m x n πίνακας και p(a) = min(m, n) τότε ο Α λέγεται πλήρους τάξης (full rank). Αν ρ(α)<min(m,n) τότε ο πίνακας λέγεται ανεπαρκούς τάξης (rank deficient). Αν ρ(α)=n m τότε λέγεται πλήρους τάξης στήλης (full column rank). Αν ρ(α)=m n τότε λέγεται πλήρους τάξης γραµµής (full row rank). Aν o A είναι τετραγωνικός πίνακας πλήρους τάξης τότε υπάρχει ένας µοναδικός πίνακας A -1, που ονοµάζεται αντίστροφος του A, τέτοιος ώστε: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 7

8 όπου είναι ο µοναδιαίος πίνακας. Σε αυτή την περίπτωση ο A λέγεται αντιστρέψιµος ή µη ιδιόµορφος (invertible or nonsingular). Αν ο A δεν είναι πλήρους τάξης, p(a) < n, τότε λέγεται µη αντιστρέψιµος ή ιδιόµορφος (noninvertible or singular) και δεν υπάρχει ο αντίστροφος του. Μερικές ιδιότητες του αντίστροφου πίνακα: 1) αν A και B είναι αντιστρέψιµοι τότε: 2) Ο ερµιτιανός ανάστροφος του αντίστροφου είναι ίσο µε τον αντίστροφο του ερµιτιανού ανάστροφου. 3) Ιδιότητα χρήσιµη για adaptive filtering όπου A είναι n x n, B είναι n x m, C είναι m x m, και D είναι m x n µε τους A και C nonsingular πίνακες. Παρατήρηση 1: Αν πολλαπλασιάσουµε από τα αριστερά ή από τα δεξιά έναν πίνακα Α µε έναν µη ιδιόµορφο η τάξη του πίνακα δεν αλλάζει. Αυτό γιατί οι πολλαπλασιασµοί αυτοί δεν αλλάζουν τον αριθµό των γραµµικώς ανεξάρτητων στηλών (ή γραµµών) του Α. mxn nxp Παρατήρηση 2: Αν A C και B C είναι δύο πίνακες µε τάξη ra και r B αντίστοιχα τότε ισχύει ρ(αβ) min(r A, r B ). Ισχύει γιατί αν πολλαπλασιάσουµε το Β µε το Α από αριστερά δεν αυξάνεται ο αριθµός των γραµµικά ανεξάρτητων στηλών του Β οπότε ρ(αβ) r B. Παρόµοια αν πολλαπλασιάσω από τα δεξιά το Α µε το Β δεν αλλάζει ο αριθµός των γραµµικώς ανεξάρτητων στηλών του Α Τ που σηµαίνει ότι ρ(αβ) r A 2.5 Η ορίζουσα και το ίχνος Αν A = α 11 είναι ένας 1x1 πίνακας, τότε η ορίζουσα του ορίζεται ως det(a) = α 11. Η ορίζουσα ενός n x n πίνακα ορίζεται αναδροµικά µε όρους των οριζουσών των (n-1) x (n-1) πινάκων όπως παρακάτω. Για κάθε j όπου A ij είναι ο (n-1) x (n-1) πίνακας που σχηµατίζεται αν σβήσουµε την ι γραµµή και την j στήλη του A. Παράδειγµα: Η ορίζουσα Για τον 2x2 πίνακα η ορίζουσα είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 8

9 και γθα τον 3x3 πίνακα η ορίζουσα είναι: Η ορίζουσα µπορεί να χρησιµοποιηθεί για να δούµε αν ένας πίνακας είναι αντιστρέψιµος ή όχι. Συγκεκριµένα: Ιδιότητα:. Ένας n x n πίνακας A είναι αντιστρέψιµος αν και µόνο αν η ορίζουσα του είναι µη µηδενική: det(a) 0 Από την παραπάνω ιδιότητα προέρχεται και ένας τρίτος ορισµός της τάξης του πίνακα. Τάξη ενός πίνακα Α είναι η µέγιστου µεγέθους µη µηδενική ορίζουσα που µπορεί να χτιστεί από τα στοιχεία του πίνακα A Άλλες ιδιότητες της ορίζουσας: Αν οι A και B είναι n x n πίνακες: 1. det(ab) = det(a) det(b). 2. det(a Τ ) = det(a) 3. det(αa) = α n det(a), όπου α σταθερά. 4. det(a -1 ) = 1/det(A), εφόσον ο Α είναι αντιστρέψιµος Μια άλλη χρήσιµη συνάρτηση ενός πίνακα είναι το ίχνος (trace). To ίχνος ενός πίνακα Α µεγέθους n x n ορίζεται ως το άθροισµα των όρων κατά µήκος της διαγωνίου του: 2.6 Γραµµικές Εξισώσεις Πολλά προβλήµατα στατιστικής µοντελοποίησης σήµατος όπως τα Wiener φίλτρα και η εκτίµηση φάσµατος απαιτούν την εύρεση λύσεων σε ένα σύνολο γραµµικών εξισώσεων. Υπάρχουν πολλές τεχνικές και µάλιστα ανάλογα µε την µορφή των εξισώσεων µπορεί να υπάρξουν και γρήγοροι αλγόριθµοι για την επίλυση του συστήµατος των εξισώσεων. Πέρα όµως από την επίλυση είναι συχνά σηµαντικό να χαρακτηρίζουµε την µορφή των λύσεων υπό την έννοια της ύπαρξης και της µοναδικότητας. Στην παράγραφο αυτή θα κάνουµε µια µικρή περίληψη των συνθηκών κάτω από τις οποίες υπάρχει µια µοναδική λύση και θα συζητήσουµε τον τρόπο µε τον οποίο µπορούµε να επιβάλουµε περιορισµούς στην περίπτωση που υπάρχουν πολλαπλές λύσεις ή τον τρόπο µε τον οποίο µπορούµε να βρούµε µια προσεγγιστική λύση αν δεν υπάρχει λύση στο σύστηµα των εξισώσεων. To ακόλουθο σύστηµα των n γραµµικών εξισώσεων έχει m άγνωστους x i, i = 1, 2,..., Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 9 Οι εξισώσεις αυτές µπορούν να γραφτούν συµπυκνωµένα ως εξής:

10 m, Όπου A είναι ένας n x m πίνακας µε τα α ij, x είναι ένα m-διάστατο διάνυσµα µε τους αγνώστους x i, και b ένα n-διάστατο διάνυσµα µε τα στοιχεία bi. Η παραπάνω εξίσωση µπορεί να γραφτεί σαν ανάπτυγµα του b και ως ακολούθως: όπου a i είναι διάνυσµα στήλης του πίνακα Α. Η επίλυση της εξίσωσης εξαρτάται από πολλούς παράγοντες όπως το σχετικό µέγεθος των m και n, την τάξη του πίνακα και τα στοιχεία στο διάνυσµα b. Ας θεωρήσουµε πρώτα την περίπτωση ενός τετραγωνικού πίνακα. Τετραγωνικός Πίνακας: m = n. Αν A είναι τετραγωνικός πίνακας n x n τότε η φύση της λύσης της γραµµικής εξίσωσης Ax = b εξαρτάται από το αν ο Α είναι singular. Αν A είναι nonsingular, τότε ο αντίστροφος πίνακας υπάρχει και η λύση είναι µοναδική και ορισµένη ως εξής: Αν όµως ο Α είναι singular, τότε µπορεί είτε να µην υπάρχει λύση είτε να υπάρχουν πολλές λύσεις. Παράδειγµα: Γραµµικές Εξισώσεις - Singular Case Ας θεωρήσουµε το ακόλουθο ζεύγος εξισώσεων µε δύο αγνώστους. Σε µορφή πίνακα οι εξισώσεις γράφονται: Ξεκάθαρα ο πίνακας A είναι singular, det(a) = 0, και δεν υπάρχει λύση. Παρόλα αυτά αν αλλάξουµε την δεύτερη εξίσωση έτσι ώστε: τότε υπάρχουν πολλές λύσεις. Συγκεκριµένα για κάθε σταθερά α το διάνυσµα: θα ικανοποιεί αυτές τις εξισώσεις --- Στην περίπτωση που ο Α είναι singular, οι στήλες του Α είναι γραµµικά εξαρτηµένες και υπάρχουν µη µηδενικές λύσεις στις οµογενείς εξισώσεις: Μάλιστα θα υπάρχουν k = n p(a) γραµµικά ανεξάρτητες λύσεις στις οµογενείς εξισώσεις. Συνεπώς αν υπάρχει τουλάχιστον ένα διάνυσµα x 0, που να αποτελεί λύση της µη οµογενούς εξίσωσης τότε κάθε διάνυσµα της ακόλουθης µορφής: θα αποτελεί επίσης λύση, όπου z i, i=1,2,.k είναι γραµµικά ανεξάρτητες λύσεις της οµογενούς εξίσωσης. Ορθογώνιος Πίνακας: n < m. Αν n < w, τότε θα υπάρχουν λιγότερες εξισώσεις από τους αγνώστους. Συνεπώς εφόσον οι εξισώσεις δεν είναι αντιφατικές θα υπάρχουν πολλά διανύσµατα που θα ικανοποιούν τις εξισώσεις οπότε η λύση είναι υπο- Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 10

11 καθορισµένη ή ατελώς ορισµένη (underdetermined or incompletely specified). Μια προσέγγιση που χρησιµοποιείται συχνά για να ορίσουµε µοναδική λύση είναι να βρούµε το διάνυσµα που ικανοποιεί τις εξισώσεις και έχει την ελάχιστη νόρµα: min x τέτοια ώστε Ax = b Αν η τάξη του A είναι n (οι γραµµές του A είναι γραµµικά ανεξάρτητες), τότε ο n x n πίνακας AA H είναι αντιστρέψιµος και η λύση ελάχιστης νόρµας είναι η ακόλουθη: Ο πίνακας (1) είναι γνωστός ως ο ψευδο-αντίστροφος του πίνακα Α για το ατελώς ορισµένο πρόβληµα. Τα ακόλουθα παραδείγµατα δείχνουν πως χρησιµοποιείται ο ψευδοαντίστροφος για τη λύση των γραµµικών εξισώσεων. Παράδειγµα Γραµµικές Εξισώσεις: Ατελώς ορισµένη περίπτωση Ας θεωρήσουµε την ακόλουθη εξίσωση µε τους τέσσερις αγνώστους: Η εξίσωση µπορεί να γραφτεί σε µορφή πίνακα: όπου b = 1 και x είναι το διάνυσµα που περιέχει τους άγνωστους. Η λύση είναι ατελώς ορισµένη αφού υπάρχουν πολλές λύσεις που ικανοποιούν την σχέση. Παρόλα αυτά η λύση ελάχιστης νόρµας είναι µοναδική και δίνεται από την εξίσωση (1). Συγκεκριµένα αφού και Τότε η λύση ελάχιστης νόρµας είναι: Αν στην πιο πάνω εξίσωση προσθέσουµε και την ακόλουθη: τότε το σύστηµα µας θα έχει δύο εξισώσεις και τέσσερις αγνώστους µε: και Και πάλι η λύση είναι ατελώς ορισµένη. Αφού τότε και η λύση ελάχιστης νόρµας είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 11

12 Ορθογώνιος Πίνακας: m < n. Αν m < n, τότε υπάρχουν περισσότερες εξισώσεις από τους αγνώστους και γενικά δεν θα υπάρχει λύση. Σε αυτή την περίπτωση οι εξισώσεις είναι αντιφατικές και η λύση λέγεται υπερ-καθορισµένη (overdetermined). Η γεωµετρία του προβλήµατος αυτού φαίνεται στην παρακάτω εικόνα για την περίπτωση 3 εξισώσεων µε δύο αγνώστους. Αφού ένα αυθαίρετο διάνυσµα b δεν µπορεί να αναπαρασταθεί µε όρους γραµµικού συνδυασµού των στηλών του Α, ο στόχος είναι να βρούµε τις συνιστώσες x i που παράγουν την καλύτερη προσέγγιση για το b: Η προσέγγιση που χρησιµοποιείται ευρύτερα σε αυτή την περίπτωση είναι η λύση ελαχίστων τετραγώνων δηλαδή του διανύσµατος x που ελαχιστοποιεί τη νόρµα του Όπως φαίνεται στην εικόνα η λύση ελαχίστων τετραγώνων έχει την ιδιότητα ότι το σφάλµατος: Είναι ορθογώνιο σε κάθε ένα από τα διανύσµατα που χρησιµοποιούνται για την προσέγγιση του b, δηλαδή τα διανύσµατα στήλης του Α. Αυτή η ορθογωνικότητα συνεπάγεται ότι: ή, που είναι γνωστές ώς κανονικές εξισώσεις. Αν οι στήλες του Α είναι γραµµικά ανεξάρτητες (ο Α είναι πλήρους τάξης) τότε ο πίνακας A H A είναι αντιστρέψιµος και η λύση ελαχίστων τετραγώνων γίνεται: ή, Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 12

13 όπου ο πίνακας είναι ο ψευδο-αντίστροφος του πίνακα A για το υπέρ-καθορισµένο πρόβληµα. Επιπλέον η καλύτερη προσέγγιση του διανύσµατος b δίνεται από την προβολή του διανύσµατος b στον υποχώρο που παράγεται από τα διανύσµατα a i. ή όπου ονοµάζεται πίνακας προβολής. Τέλος συνδυάζοντας τη συνθήκη ορθογωνικότητας και την σχέση που ορίζει το τετράγωνο του σφάλµατος βρίσκουµε ότι το ελάχιστο τετραγωνικό σφάλµα είναι: Το ακόλουθο παράδειγµα δείχνει την χρήση του ψευδο-αντίστροφου στην επίλυση υπερκαθορισµένων γραµµικών εξισώσεων. Παράδειγµα: Γραµµικές εξισώσεις Υπερ-καθορισµένη περίπτωση Ας θεωρήσουµε το ακόλουθο σετ εξισώσεων µε 2 αγνώστους. Αφού η τάξη του Α είναι 2 η λύση ελαχίστων τετραγώνων είναι µοναδική. Με και η λύση ελαχίστων τετραγώνων είναι Το σφάλµα, e, είναι και το ελάχιστο τετραγωνικό σφάλµα είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 13

14 Παραδείγµατα µε rank: R1: Πολλαπλασιασµός ενός πίνακα A µε έναν nonsingular πίνακα δεν αλλάζει το rank του Α Απόδειξη: Προέρχεται απευθείας από τον ορισµό του rank(a). Επειδή οι πολλαπλασιασµοί αυτοί δεν αλλάζουν τον αριθµό των γραµµικά ανεξάρτητων στηλών (ή γραµµών) του Α. R2: Αν και είναι δύο πίνακες µε rank ra και rβ αντίστοιχα, τότε ισχύει: Απόδειξη: Χρησιµοποιώντας τον ορισµό του rank και πάλι βρίσκουµε ότι αν πολλαπλασιάσουµε από τα αριστερά τον B µε τον Α δεν αυξάνεται ο αριθµός των γραµµικά ανεξάρτητα στηλών του Β και άρα: rank(ab) rb. Παρόµοια αν θεωρήσουµε πολλαπλασιασµό του Α από τα δεξιά µε τον Β τότε δεν αυξάνεται ο αριθµός των γραµµικώς ανεξάρτητων στηλών του Α Τ που σηµαίνει ότι rank(ab) rα. Συνδυάζοντας τα δύο αποτελέσµατα έχουµε την τελική σχέση. R3: Έστω δίνεται από την ακόλουθη σχέση: όπου. Τότε: Απόδειξη: Αφού A µπορεί να γραφτεί: συνεπώς το αποτέλεσµα πηγάζει από το R2. R4: Έστω µε n m,, και rank(a)=n. Τότε rank(ab) = rank(b) Απόδειξη: Αφού rank(a)=n άρα ο A περιέχει ένα nonsingular n x n υποπίνακα. Ο πολλαπλασιασµός του υποπίνακα αυτού από τα δεξιά µε τον Β παράγει ένα block πίνακα µε rank ίσο µε rank(b) (βλέπε R1). Επειδή κάθε υποπίνακας ενός πίνακα έχει µικρότερη ή ίση τάξη µε τον πίνακα συνεπάγεται ότι: rank(ab) rank(b) Όµως από το R2, rank(ab) rank(b) και συνεπώς για να ισχύουν και τα δύο θα πρέπει να ισχύει η ισότητα. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 14

15 2.7 Ειδικές µορφές πινάκων Περιγράφουµε ορισµένους ειδικούς τύπους πινάκων και συµµετρίες. Ο πρώτος είναι ο διαγώνιος πίνακας που έχει την ακόλουθη µορφή: και µπορεί να γραφτεί συνοπτικά ως εξής: Ένας διαγώνιος πίνακας µε άσσους στην διαγώνιο του ονοµάζεται µοναδιαίος πίνακας και αναπαρίσταται µε I, Αν κατά µήκος της διαγωνίου αντί για αριθµοί υπάρχουν άλλοι πίνακες, τότε ο Α λέγεται block diagonal πίνακας. Πίνακας Εναλλαγής (exchange matrix) ο οποίος είναι συµµετρικός και τα αντι-διαγώνια (cross-diagonal) είναι άσσοι ενώ όλα τα άλλα είναι µηδέν. Αφού J 2 = I τότε J είναι ο αντίστροφος του εαυτού του. Αν πολλαπλασιάσουµε ένα διάνυσµα µε τον πίνακα εναλλαγής αντιστρέφεται η σειρά των στοιχείων του διανύσµατος. Π.χ. : Παροµοίως αν ένας πίνακας πολλαπλασιαστεί µε τον πίνακα εναλλαγής για παράδειγµα: τότε Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 15

16 Αν πολλαπλασιαστεί στα δεξιά του πίνακα A τότε: Τέλος το αποτέλεσµα του γινοµένου J Τ AJ είναι η αντιστροφή των στοιχείων γραµµών και στηλών, δηλαδή ανάκλαση κάθε στοιχείου του Α γύρω από το κεντρικό στοιχείο. Ένας άνω τριγωνικός πίνακας είναι τετραγωνικός πίνακας στον οποίο όλοι οι όροι κάτω από την διαγώνιο είναι µηδέν. Αν A = {a ij } τότε a ij = 0 για όλα τα i > j. Παράδειγµα άνω τριγωνικού πίνακα µεγέθους 4 x 4: Ένας κάτω τριγωνικός είναι τετραγωνικός πίνακας που έχει µηδενικά στα σηµεία πάνω από τη διαγώνιο, δηλαδή a ij = 0 για όλα τα i < j. Ο ανάστροφος ενός κάτω τριγωνικού είναι άνω τριγωνικός και αντίστροφα. Ιδιότητες των άνω και κάτω τριγωνικών πινάκων: 1. Η ορίζουσα ενός κάτω ή άνω τριγωνικού πίνακα είναι ίση µε το γινόµενο των όρων κατά µήκος της διαγωνίου. 2. Ο αντίστροφος ενός άνω (κάτω) τριγωνικού πίνακα είναι άνω (κάτω) τριγωνικός. 3. Το γινόµενο δύο άνω (κάτω) τριγωνικών πινάκων είναι άνω (κάτω) τριγωνικός Ένας πίνακας µε ιδιαίτερη δοµή που θα παίξει σηµαντικό ρόλο στο µάθηµα είναι ο πίνακας Toeplitz. Ένας n x n πίνακας A λέγεται Toeplitz αν όλα τα στοιχεία κατά µήκος κάθε διαγωνίου έχουν την ίδια τιµή. ηλαδή: Παράδειγµα ενός 4 x 4 Toeplitz πίνακα: a ij = a i+1,j+1 ; για όλα τα i < n and j < n Παρατηρήστε ότι όλες οι τιµές του πίνακα έχουν καθοριστεί πλήρως από τη στιγµή που έχει οριστεί η πρώτη στήλη και η πρώτη γραµµή. Ένας πίνακας συνέλιξης είναι παράδειγµα Toeplitz πίνακα. Ένας άλλος πίνακας µε παρεµφερείς ιδιότητες είναι ο πίνακας Hankel, ο οποίος έχει ίδια στοιχεία κατά µήκος των διαγωνίων που είναι κάθετες στην κύρια διαγώνιο, δηλαδή, Παράδειγµα ενός 4 x 4 Hankel πίνακα: a ij = a i+1,j-1 ; για όλα τα i < n και j < n. Άλλο παράδειγµα πίνακα Hankel είναι ο πίνακας εναλλαγής J. Οι πίνακες Toeplitz αποτελούν ειδική περίπτωση µιας µεγαλύτερης οµάδας πινάκων γνωστών και ως persymmetric πίνακες. Ένας persymmetric πίνακας είναι συµµετρικός γύρω από τις συν-διαγώνιες, a ij Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 16

17 = a n-j+1,n-i+1. Παράδειγµα persymmetric αλλά όχι Toeplitz πίνακα: Αν ένας Toeplitz πίνακας είναι συµµετρικός ή Hermitian στην περίπτωση µιγαδικού πίνακα τότε όλα τα στοιχεία του πίνακα είναι πλήρως καθορισµένα είτε από την πρώτη γραµµή ή την πρώτη στήλη του πίνακα. Παράδειγµα συµµετρικού Toeplitz πίνακα: Επειδή συχνά θα αναφερόµαστε σε συµµετρικούς Toeplitz και Hermitian Toeplitz πίνακες είναι βολικό να γράφουµε: για έναν Hermitian Toeplitz πίνακα µε στοιχεία α(0), a (1),...,a(p) στην πρώτη στήλη. Για παράδειγµα: Οι συµµετρικοί Toeplitz αποτελούν ειδική περίπτωση µιας µεγαλύτερης οµάδας πινάκων γνωστών ως κεντρο-συµµετρικοί πίνακες (centrosymmetric). Αυτοί οι πίνακες είναι και συµµετρικοί και persymmetric. Παράδειγµα ενός κεντρο-συµµετρικού αλλά όχι Toeplitz πίνακα είναι: Υπάρχουν πολλές ιδιότητες των Toeplitz, persymmetric, και centrosymmetric πινάκων. Π.χ.,αν A είναι συµµετρικός Toeplitz τότε ενώ αν A είναι Hermitian Toeplitz τότε: Ιδιότητες σχετικές µε τον αντίστροφο: Ιδιότητα 1. Ο αντίστροφος ενός συµµετρικού πίνακα είναι συµµετρικός. Ιδιότητα 2. Ο αντίστροφος ενός persymmetric πίνακα είναι persymmetric. Ιδιότητα 3. Ο αντίστροφος ενός Toeplitz πίνακα δεν είναι γενικά Toeplitz. Παρόλα αυτά αφού ένας Toeplitz πίνακας είναι persymmetric, ο αντίστροφος θα είναι πάντα persymmetric. Επιπλέον ο αντίστροφος ενός συµµετρικού Toeplitz πίνακα θα είναι centrosymmetric. Όλες οι ιδιότητες που αναφέραµε περιγράφονται συνοπτικά στον παρακάτω πίνακα. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 17

18 Ένας πραγµατικός n x n πίνακας λέγεται ορθογώνιος αν οι στήλες (και γραµµές) είναι ορθοκανονικές. Έτσι αν: και τότε ο A είναι ορθογώνιος. Παρατηρήστε ότι αν ο Α είναι ορθογώνιος τότε: Συνεπώς ο αντίστροφος ενός ορθογώνιου πίνακα είναι ίσος µε τον ανάστροφο του: Ο πίνακας εναλλαγής είναι ένα παράδειγµα ορθογώνιου πίνακα αφού J Τ J = J 2 = I. Στην περίπτωση µιγαδικού n x n πίνακα, αν οι στήλες (γραµµές) είναι ορθογώνια διανύσµατα: τότε και ο A λέγεται unitary πίνακας. Ο αντίστροφος ενός unitary πίνακα είναι ίσος µε το Hermitian ανάστροφο του. 2.8 ευτεροβάθµιες (quadratic) και Hermitian µορφές πινάκων Η quadratic µορφή ενός πραγµατικού συµµετρικού n x n πίνακα A είναι το βαθµωτό που ορίζεται ώς: όπου είναι ένα διάνυσµα n πραγµατικών µεταβλητών. Παρατηρήστε ότι η δευτεροβάθµια µορφή είναι ένα πολυώνυµο δευτέρου βαθµού µε n µεταβλητές. Για παράδειγµα η δευτεροβάθµια µορφή του: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 18

19 είναι Με παρόµοιο τρόπο για ένα Hermitian πίνακα η Hermitian µορφή ορίζεται ως: Αν η quadratic µορφή ενός πίνακα A είναι θετική για όλα τα µη µηδενικά διανύσµατα x, τότε ο A λέγεται θετικά ορισµένος ( positive definite) και γράφουµε A > 0. Για παράδειγµα, ο πίνακας που έχει quadratic µορφή είναι positive definite αφού για κάθε Αν η quadratic µορφή είναι µη αρνητική για τα µη µηδενικά διανύσµατα x τότε ο A λέγεται positive semidefinite. Για παράδειγµα, ο οποίος είναι positive semidefinite αφού αλλά δεν είναι positive definite αφού 0 για κάθε διάνυσµα x της µορφής. Ένας τρόπος για να διαπιστώσουµε αν ένας πίνακας είναι θετικά ορισµένος είναι µέσω των ιδιοτιµών του όπως θα δούµε παρακάτω. Με παρόµοιο τρόπο ένας πίνακας θα λέγεται αρνητικά ορισµένος (negative definite) αν για όλα τα µη µηδενικά x, ενώ λέγονται negative semidefinite αν για όλα τα µη µηδενικά x. Ένας πίνακας που δεν ανήκει σε καµία από τις παραπάνω περιπτώσεις ονοµάζεται αόριστος (indefinite). Για κάθε n x n πίνακα A και για κάθε n x m πίνακα B full rank, οι A and B H AB πίνακες θα είναι ορισµένοι το ίδιο. Για παράδειγµα αν A > 0 και B είναι full rank, τότε B H AB > 0. Το τελευταίο προκύπτει από το ότι για κάθε διάνυσµα x, όπου v = Bx. Συνεπώς αν A > 0, τότε v Η Av > 0 και Β H AB είναι positive definite (Ο περιορισµός ότι ο B είναι full rank τίθεται για να επιβεβαιώσουµε πως v = Bx είναι διαφορετική του µηδενός για κάθε µη µηδενικό διάνυσµα x). 2.9 Ιδιοτιµές και Ιδιοδιανύσµατα Οι ιδιοτιµές και τα ιδιοδιανύσµατα προσφέρουν χρήσιµη και σηµαντική πληροφορία για έναν πίνακα. Για παράδειγµα ξέροντας τις ιδιοτιµές του πίνακα µπορούµε να καθορίσουµε αν είναι ή όχι θετικά ορισµένος. Παράλληλα οι ιδιοτιµές µπορούν να χρησιµοποιηθούν για να αποφασίσουµε αν ο πίνακας είναι αντιστρέψιµος ή όχι όπως και να βρούµε πόσο ευάλωτη είναι η εύρεση του αντιστρόφου σε αριθµητικά λάθη. Οι ιδιοτιµές και τα ιδιοδιανύσµατα προσφέρουν επίσης µια πολύ χρήσιµη αναπαράσταση των πινάκων που είναι ευρύτερα γνωστή σαν eigenvalue decomposition (αποσύνθεση ιδιοτιµής). Η αποσύνθεση αυτή είναι ιδιαίτερα χρήσιµη στην φασµατική εκτίµηση όπως θα δούµε παρακάτω. Η παράγραφος αυτή ξεκινάει µε τους ορισµούς της ιδιοτιµής και του ιδιοδιανύσµατος και συνεχίζει µε βασικές και χρήσιµες ιδιότητες που έχουν. Υποθέστε ότι A είναι ένας n x n πίνακας και ισχύει το ακόλουθο σετ γραµµικών όπου λ είναι µια σταθερά. Η παραπάνω εξίσωση µπορεί ισοδύναµα να εκφραστεί µε το ακόλουθο σετ οµογενών γραµµικών εξισώσεων: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 19 Για να υπάρχει µη µηδενικό διάνυσµα που να αποτελεί λύση της εξίσωσης θα πρέπει ο πίνακας Α-λΙ να είναι singular. Συνεπώς η ορίζουσα του πίνακα θα είναι µηδέν:

20 εξισώσεων: Το p(λ) είναι πολυώνυµο n τάξης ως προς λ. Το πολυώνυµο αυτό ονοµάζεται χαρακτηριστικό πολυώνυµο του πίνακα Α και οι n ρίζες του, λ i για i = 1, 2,...,n, είναι οι ιδιοτιµές του A. Για κάθε ιδιοτιµή λ i, ο πίνακας A-λ i Ι θα είναι singular και θα υπάρχει τουλάχιστον ένα µη µηδενικό διάνυσµα, v i, που θα αποτελεί λύση της εξίσωσης ιδιοτιµών δηλαδή: Τα διανύσµατα v i, λέγονται ιδιοδιανύσµατα του A. Για κάθε ιδιοδιάνυσµα είναι προφανές ότι και το διάνυσµα αv i θα αποτελεί ιδιοδιάνυσµα όπου a µια οποιαδήποτε σταθερά. Συνεπώς τα ιδιοδιανύσµατα συχνά κανονικοποιούνται ώστε να έχουν µοναδιαία νόρµα. v i = 1. Από τα παραπάνω προκύπτει η ακόλουθη ιδιότητα: Ιδιότητα 1. Τα µη µηδενικά ιδιοδιανύσµατα v 1, v 2,..., v n,που αντιστοιχούν σε ξεχωριστές ιδιοτιµές λ 1, λ 2,, λ n είναι γραµµικώς ανεξάρτητα. An o A είναι ένας n x n singular πίνακας, τότε υπάρχουν µη µηδενικές λύσεις στην οµογενή εξίσωση: και συνεπώς η τιµή λ = 0 είναι ιδιοτιµή του A. Αν επιπλέον το rank του A είναι ρ(a), τότε θα υπάρχουν και k = n-ρ(a) γραµµικώς ανεξάρτητες λύσης της παραπάνω εξίσωσης. Άρα ο Α θα έχει ρ(a) µη µηδενικές ιδιοτιµές και n-ρ(a) ιδιοτιµές που είναι ίσες µε το µηδέν. Παράδειγµα (1): Ιδιοτιµές ενός 2x2 Συµµετρικού πίνακα Θεωρήστε τον ακόλουθο 2x2 συµµετρικό πίνακα Το χαρακτηριστικό πολυώνυµο είναι: Συνεπώς οι ιδιοτιµές του Α είναι οι ρίζες της εξίσωσης: που είναι: Τα ιδιοδιανύσµατα βρίσκονται λύνοντας την εξίσωση ιδιοτιµών µε λ 1 =5 και λ 2 =3. ηλαδή για λ 1 =5: ή Παροµοίως, για βρίσκουµε ότι: Οπότε τα κανονικοποιηµένα ιδιοδιανύσµατα του Α είναι: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 20

21 Στην περίπτωση συµµετρικών και Hermitian πινάκων οι ιδιοτιµές και τα ιδιοδιανύσµατα έχουν µερικές χρήσιµες ιδιότητες: Ιδιότητα 2. Οι ιδιοτιµές ενός Hermitian πίνακα είναι πραγµατικές. Η ιδιότητα αποδεικνύεται εύκολα ως εξής: Αν A είναι Hermitian πίνακας τότε: Πολλαπλασιάζοντας από τα αριστερά: οπότε το Hermitian transpose µας δίνει: και επειδή ο Α είναι Hermitian ισχύει: Συγκρίνοντας τις δύο εξισώσεις πηγάζει ότι δηλαδή οι ιδιοτιµές είναι πραγµατικές Ιδιότητα 3. Ένας Hermitian πίνακας είναι positive definite, A > 0, αν και µόνο αν οι ιδιοτιµές του είναι θετικές Παρόµοιες ιδιότητες προκύπτουν για τους positive semidefinite, negative definite, και negative semidefinite πίνακες. Για παράδειγµα αν A είναι Hermitian και τότε Η ορίζουσα ενός πίνακα σχετίζεται µε τις ιδιοτιµές του ως εξής: Συνεπώς ένας πίνακας είναι αντιστρέψιµος (nonsingular) εάν και µόνο αν όλες οι ιδιοτιµές του είναι µη µηδενικές. Αντίστοιχα αν ένας πίνακας έχει µια ή περισσότερες µηδενικές ιδιοτιµές τότε θα είναι µη αντιστρέψιµος (singular). Σαν αποτέλεσµα των παραπάνω προκύπτει ότι κάθε positive definite πίνακας είναι nonsingular. Αποτέλεσµα R1: Ανf είναι οι ιδιοτιµές του τότε: Απόδειξη: Μπορούµε να γράψουµε: Το δεξί µέρος της εξίσωσης είναι ένα πολυώνυµο ως προς του οποίου η συνιστώσα είναι Από τον ορισµό της ορίζουσας βρίσκουµε ότι το αριστερό µέρος της εξίσωσης είναι Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 21

22 ένα πολυώνυµο του οποίου η συνιστώσα είναι: Οπότε αποδεικνύεται το ζητούµενο. Αποτέλεσµα R1.1: Αν και τότε ισχύουν οι ακόλουθες ιδιότητες: 1) 2) Ι ΑΒ = Ι-ΒΑ 3) Οι µη µηδενικές ιδιοτιµές του ΑΒ και του ΒΑ είναι ταυτόσηµες. Απόδειξη για (3): Αν λ 0 ιδιοτιµή του ΑΒ τότε: m m m n 0 = AB λi = λ AB / λ I = λ BA / λ I = λ ΒΑ λi όπου η τρίτη ισότητα πηγάζει από το R1.1 (2). Ιδιότητα 4. Τα ιδιοδιανύσµατα ενός Hermitian πίνακα που αντιστοιχούν σε ξεχωριστές ιδιοτιµές είναι ορθογώνια, δηλαδή αν τότε Αν και είναι δύο ξεχωριστές ιδιοτιµές ενός Hermitian πίνακα µε ιδιοδιανύσµατα και αντίστοιχα, τότε: Πολλαπλασιάζοντας την πρώτη εξίσωση στα αριστερά µε και την δεύτερη µε µας δίνει: Παίρνοντας το Hermitian transpose της δεύτερης εξίσωσης: Αν A είναι Hermitian, τότε και άρα από την ιδιότητα 2 θα είναι: Οπότε: (2.56) Αφαιρώντας την από την πρώτη εξίσωση: Αν τότε και άρα τα ιδιοδιανύσµατα και είναι ορθογώνια. Παρότι αναφερθήκαµε στην περίπτωση των ξεχωριστών ιδιοτιµών είναι επίσης αληθές ότι για κάθε n x n Hermitian πίνακα υπάρχει ένα σετ από n ορθοκανονικά ιδιοδιανύσµατα. Ο πίνακας του οποίου οι στήλες είναι τα ιδιοδιανύσµατα ενός Hermitian πίνακα είναι συνεπώς unitary. Για παράδειγµα ο µοναδιαίος 2x2: ο οποίος έχει δύο ιδιοτιµές ίσες µε την µονάδα. Αφού κάθε διάνυσµα είναι ιδιοδιάνυσµα του Ι τότε και είναι ένα πιθανό σετ από ορθοκανονικά ιδιοδιανύσµατα. Για κάθε n x n πίνακα A που έχει ένα σετ από n γραµµικά ανεξάρτητα ιδιοδιανύσµατα µπορούµε να κάνουµε αποσύνθεση ιδιοτιµής (eigenvalue decomposition) που εκφράζει τον Α στην µορφή: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 22

23 όπου V είναι ένας πίνακας που περιέχει τα ιδιοδιανύσµατα του A και Λ είναι ένας διαγώνιος πίνακας που περιέχει τις ιδιοτιµές. Η αποσύνθεση γίνεται ως ακολούθως: Αν A είναι ένας n x n πίνακας µε ιδιοτιµές και ιδιοδιανύσµατα Αυτές οι n εξισώσεις µπορούν να γραφτούν σε µορφή πίνακα: Συνεπώς, µε και η εξίσωση γράφεται: Αν τα ιδιοδιανύσµατα είναι ανεξάρτητα, τότε ο V είναι αντιστρέψιµος και η αποσύνθεση προκύπτει πολλαπλασιάζοντας και τις δύο πλευρές από τα δεξιά µε Αποτέλεσµα R2: Εάν τότε οι Α και Β έχουν τις ίδιες ιδιοτιµές. Ένα ιδιοδιάνυσµα x του Α αντιστοιχεί σ' ένα ιδιοδιάνυσµα του Β. Απόδειξη: Η απόδειξη είναι άµεση, διότι Η λ είναι και ιδιοτιµή του Β. Το ιδιοδιάνυσµα πολλαπλασιάστηκε µε τον Χρησιµοποιώντας τον κανόνα γινοµένου για ορίζουσες, µπορούµε επίσης να διαπιστώσουµε ότι οι ορίζουσες των και ταυτίζονται: Οι δύο ορίζουσες τα χαρακτηριστικά πολυώνυµα των Α και Β- είναι ίσες. Κατά συνέπεια οι ρίζες τους οι ιδιοτιµές των Α και Β είναι οι ίδιες. Στο επόµενο παράδειγµα βρίσκουµε ορισµένους πίνακες που είναι όµοιοι του Α. ΠΑΡΑ ΕΙΓΜΑ διαγώνιος µε ιδιοτιµές 1 και 0. Εάν τότε : τριγωνικός µε ιδιοτιµές 1 και 0 Εάν τότε προβολή µε ιδιοτιµές 1 και 0 Εάν τότε οποιοσδήποτε πίνακας µε ιδιοτιµές 1 και 0. Για ένα Hermitian πίνακα η αρµονική αποσύνθεση υποθέτει µια ειδική µορφή. Συγκεκριµένα αφού Α ένας Hermitian πίνακας, θα έχει πάντα ένα ορθοκανονικό σετ ιδιοδιανυσµάτων και άρα V είναι unitary οπότε η αποσύνθεση ιδιοτιµής γίνεται: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 23

24 ρ. Βασί λης ιακ ολου κάς (2.61) Το αποτέλεσµα αυτό είναι γνωστό ως το φασµατικό θεώρηµα (spectral theorem.) Spectral Theorem. Κάθε Hermitian πίνακας A µπορεί να αποσυντεθεί ως εξής: όπου λ i είναι οι ιδιοτιµές του A και v i είναι ένα σετ ορθοκανονικών ιδιοδιανυσµάτων. Σαν εφαρµογή του φασµατικού θεωρήµατος υποθέστε ότι ο A είναι nonsingular Hermitian πίνακας. Χρησιµοποιώντας το φασµατικό θεώρηµα µπορούµε να βρούµε τον αντίστροφο του Α ως εξής: Παρατηρήστε ότι η αντιστρεψιµότητα του A εγγυάται ότι και έτσι το άθροισµα είναι πάντοτε καλά ορισµένο. Σε πολλές εφαρµογές επεξεργασίας σήµατος µπορεί να βρούµε ότι κάποιος πίνακας B Σ τ α τ ι σ τ ι κ ή Ε π ε ξ ε ρ γ α σ ί α Σ ή µ α τ ο ς γ ι α Τ η λ ε π 24

25 είναι singular ή ill conditioned (µία ή περισσότερες ιδιοτιµές είναι κοντά στο µηδέν). Σε αυτές τις περιπτώσεις µπορούµε ορισµένες φορές να σταθεροποιήσουµε το πρόβληµα προσθέτοντας µια σταθερά σε κάθε όρο κατά µήκος της διαγωνίου, Το παραπάνω τρυκ έχει σαν αποτέλεσµα ότι παρότι αλλάζουν οι ιδιοτιµές του Β από σε, τα ιδιοδιανύσµατα του παραµένουν τα ίδια. Για να το επιβεβαιώσουµε αυτό παρατηρήστε ότι αν είναι ένα ιδιοδιάνυσµα του B µε ιδιοτιµή τότε: Συνεπώς το είναι επίσης ιδιοδιάνυσµα του A µε ιδιοτιµή Το αποτέλεσµα αυτό συνοψίζεται στην ακόλουθη ιδιότητα: Ιδιότητα 5. Αν B είναι ένας n x n πίνακας µε ιδιοτιµές σχετίζεται µε τον Β ως εξής: και A είναι ένας πίνακας που Τότε οι A και B έχουν τα ίδια ιδιοδιανύσµατα και οι ιδιοτιµές του Α είναι Το ακόλουθο παράδειγµα αφορά την εύρεση του αντίστροφου ενός πίνακα της µορφής όπου B είναι µη αντιστρέψιµος Hermitian πίνακας µε rank ένα. Παράδειγµα: Χρησιµοποιώντας το φασµατικό θεώρηµα για να αντιστρέψουµε ένα πίνακα Έστω A ένας n x n Hermitian πίνακας της µορφής: όπου a είναι µια µη µηδενική σταθερά, και όπου u 1 ένα διάνυσµα µοναδιαίας νόρµας, και Αφού B είναι n x n πίνακας µε rank ένα, έχει µόνο µία µη µηδενική ιδιοτιµή, ενώ οι υπόλοιπες είναι ίσες µε το µηδέν. Αφού: βλέπουµε ότι u 1 είναι ιδιοδιάνυσµα του B µε ιδιοτιµή A. Αυτό το διάνυσµα είναι επίσης ιδιοδιάνυσµα του A µε ιδιοτιµή Αφού ο Α είναι Hermitian πίνακας, θα υπάρχει ένα ορθοκανονικό σετ ιδιοδιανυσµάτων, ας το ονοµάσουµε Ένα από αυτά τα ιδιοδιανύσµατα είναι το, οπότε θέτουµε Οι ιδιοτιµές που αντιστοιχούν στα ιδιοδιανύσµατα για είναι ίσα µε Χρησιµοποιώντας το θεώρηµα φάσµατος βρίσκουµε για τον αντίστροφο του Α: Αφού τα n ορθοκανονικά ιδιοδιανύσµατα του A σχηµατίζουν επίσης ένα ορθοκανονικό σετ ιδιοδιανυσµάτων για τον µοναδιαίο πίνακα I, τότε το θεώρηµα φάσµατος εφαρµόζεται στον Ι και µας δίνει: Συνεπώς ο δεύτερος όρος στην πιο πάνω εξίσωση µπορεί να γραφτεί: και ο αντίστροφος του A γίνεται Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 25

26 που είναι η επιθυµητή λύση. Είναι πολλές φορές χρήσιµο (π.χ. στην ανάπτυξη αλγορίθµων για προσαρµοστικά φίλτρα) να µπορούµε να χαρακτηρίσουµε την γεωµετρία της επιφάνειας που περιγράφεται από την εξίσωση: όπου A είναι συµµετρικός και positive definite. Χρησιµοποιώντας το θεώρηµα φάσµατος γίνεται: και αλλάζοντας τις µεταβλητές ως εξής: η πιο πάνω εξίσωση γράφεται απλούστερα ως εξής: Η παραπάνω είναι µια εξίσωση που περιγράφει έλλειψη στις n διαστάσεις κεντραρισµένη στην αρχή των αξόνων. Η εξίσωση που περιγράφει την αλλαγή µεταβλητής κάνει µια περιστροφή του συστήµατος συντεταγµένων ώστε οι νέοι άξονες να ευθυγραµµιστούν µε τα ιδιοδιανύσµατα του Α. Υποθέτωντας ότι οι ιδιοτιµές έχουν ταξινοµηθεί µε τέτοιο τρόπο ώστε παρατηρούµε ότι το σηµείο είναι ένα σηµείο της έλλειψης το πιο µακρινό από την αρχή των αξόνων, στο τέλος του κυρίως άξονα της έλλειψης (βλέπε το παρακάτω σχήµα). Επιπλέον το σηµείο αυτό βρίσκεται κατά µήκος της διεύθυνσης του ιδιοδιανύσµατος, δηλαδή: Παροµοίως το σηµείο που είναι πιο κοντά στο κέντρο είναι το: που είναι στο τέλος του δευτερεύοντος άξονα της έλλειψης (αφού A είναι συµµετρικός, τότε τα ιδιοδιανύσµατα v i, σχηµατίζουν ορθοκανονικό σετ και αφού A > 0, τότε οι ιδιοτιµές λ i είναι Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 26

27 θετικές). Τα ενδιάµεσα ιδιοδιανύσµατα αντιστοιχούν στους ενδιάµεσους άξονες. Οπότε έχουµε την ακόλουθη ιδιότητα: Ιδιότητα 6. Για ένα συµµετρικό και positive definite πίνακα A, η εξίσωση ορίζει µια έλλειψη στις n διαστάσεις της οποίας οι άξονες είναι στην διεύθυνση του ιδιοδιανύσµατος του A και το µισό των µηκών των αξόνων αυτών να ισούνται Συχνά (προσαρµοστικά φίλτρα) είναι σκόπιµο να µπορούµε να βρούµε ανώτατα όρια για την µέγιστη ιδιοτιµή ενός πίνακα. Ένα τέτοιο ανώτατο όριο πηγάζει από την ακόλουθη ιδιότητα των ιδιοτιµών: τότε αν ο A είναι positive semi- Αν ορίσουµε ως την µέγιστη ιδιοτιµή ενός πίνακα A ως definite τότε θα ισχύει το ακόλουθο ανώτατο όριο: Ένα άλλο όριο (προκύπτει από το Gershgorin's Circle theorem [strang] ) είναι το ακόλουθο: Ιδιότητα 7. Η µεγαλύτερη ιδιοτιµή σε ένα n x n πίνακα έχει το ακόλουθο ανώτατο όριο τιµής: που σηµαίνει ότι η µέγιστη ιδιοτιµή είναι άνω φραγµένη από τον µέγιστο άθροισµα γραµµής του πίνακα A. Αφού οι ιδιοτιµές ενός πίνακα και του ανάστροφου του είναι οι ίδιες παρόµοια σχέση θα µπορούσε να αφορά για το µέγιστο άθροισµα στηλών. Μία χρήσιµη ιδιότητα που συνδέεται µε τους Hermitian πίνακες είναι η ακόλουθη: Αποτέλεσµα 4: Έστω και Επίσης έστω ότι οι ιδιοτιµές του Α έχουν ταξινοµηθεί µε τον ακόλουθο τρόπο: Τότε: Το πιο πάνω πηλίκο λέγεται το πηλίκο του Rayleigh (quotient). Αφού το πηλίκο παραµένει αµετάβλητο αν πολλαπλασιάσουµε το υ µε οποιονδήποτε µιγαδικό αριθµό, µπορούµε να ξαναγράψουµε την παραπάνω σχέση στην ακόλουθη µορφή: για κάθε όπου και η ισότητα θα ισχύει στην περίπτωση που το υ θα γίνει ίσο µε το ιδιοδιάνυσµα του Α που συνδέεται µε το λm και λ1 αντίστοιχα. Αποτέλεσµα 5: Έστω µε m>n, ένας semi-unitary πίνακας (δηλαδή: ) και έστω ο πίνακας προηγούµενο αποτέλεσµα (4). Τότε: έχει τις ιδιοτιµές του ταξινοµηµένες όπως στο Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 27

28 όπου οι ισότητες επιτυγχάνονται για παράδειγµα όταν οι στήλες του V είναι τα ιδιοδιανύσµατα του Α που αντιστοιχούν στο (λ m-n+1,,λ m ) και αντίστοιχα (λ 1,,λ n ). Το πηλίκο: ονοµάζεται extended Rayleigh quotient Singular Value Decomposition και τελεστές προβολής Για κάθε πίνακα υπάρχουν unitary πίνακες και και ένας διαγώνιος µε µη µηδενικά διαγώνια στοιχεία τέτοιος ώστε: Με κατάλληλη αντιµετάθεση, τα διαγώνια στοιχεία του Σ µπορούν τα ταξινοµηθούν σε µη-αύξουσα σειρά: σ 1 σ 2... σ min(m,n) Η πιο πάνω παραγοντοποίηση λέγεται singular value decomposition (SVD) του A και η ύπαρξη της είναι σηµαντικό αποτέλεσµα τόσο από θεωρητική όσο και πρακτική οπτική γωνία. Οι πίνακες U, Σ και V ικανοποιούν τις παρακάτω συνθήκες: Η ακόλουθη ορολογία συνδέεται συχνά µε την SVD: Τα left singular διανύσµατα του A είναι οι στήλες του U. Αυτά τα singular διανύσµατα είναι επίσης και ιδιοδιανύσµατα του πίνακα Τα right singular διανύσµατα του A είναι οι στήλες του V. Τα διανύσµατα αυτά είναι επίσης ιδιοδιανύσµατα του πίνακα Οι singular τιµές του A είναι τα διαγώνια στοιχεία του Σ. Παρατηρήστε ότι είναι οι τετραγωνικές ρίζες των µεγαλύτερων min(m, n) ιδιοτιµών του ή Το singular triple του A είναι η τριάδα (singular value, left singular vector, and right singular vector) όπου είναι η k-στη στήλη του Άν τότε µπορούµε να δείξουµε ότι: και άρα για ένα πίνακα τάξης r ο SVD µπορεί να γραφτεί ως: Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 28

29 όπου είναι nonsingular. Η παραγοντοποίηση του A στην προηγούµενη εξίσωση έχει ένα αριθµό από σηµαντικές ιδιότητες που απορρέουν από αυτή: Ιδιότητα 2: Θεωρήστε την SVD του,όπως στην παραπάνω εξίσωση, όπου r min(m,n). Τότε: (i) είναι µια ορθοκανονική βάση του (ii) είναι µια ορθοκανονική βάση του (iii) είναι µια ορθοκανονική βάση του (iv) είναι µια ορθοκανονική βάση του Απόδειξη: Οι περιπτώσεις (iii) και (iv) προέρχονται από τις (i) και (ii) µε εφαρµογή στο Για να αποδείξουµε τα (i) και (ii), χρειάζεται να δείξουµε ότι: και αντίστοιχα, Για να αποδείξουµε την πρώτη σχέση παρατηρούµε ότι: υπάρχει ένα τέτοιο ώστε και άρα Επίσης: υπάρχει τέτοιο ώστε Και επειδή (από την αρχική εξίσωση): θα ισχύει: που µας λέει ότι Συνδυάζοντας καταλήγουµε ότι R(A)=R(U1). Με παρόµοιο τρόπο αποδεικνύουµε και τα υπόλοιπα: Τώρα κάθε διάνυσµα α µπορεί να γραφτεί: αφού είναι nonsingular. Όµως: οπότε: και Έτσι Τέλος, Τότε: υπάρχει τέτοιο ώστε Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 29

30 που αποδεικνύει αυτό που θέλουµε. Στατιστική Επεξεργασία Σήµατος για Τηλεπικοινωνίες 30