Στοχαστικά Σήµατα & Εφαρµογές Ανασκόπηση Στοιχείων Γραµµικής Άλγεβρας ιδάσκων: Ν. Παπανδρέου (Π.. 407/80) Πανεπιστήµιο Πατρών ΤµήµαΜηχανικώνΗ/Υ και Πληροφορικής ιανύσµατα Ορίζουµετοδιάνυσµα µε Ν στοιχεία ως τον πίνακα στήλη Ν θέσεων και συµβολίζουµε: = Ο αριθµός Ν ονοµάζεται διάσταση και λέµε ότι το διάνυσµα είναι Ν-διαστάσεων. Ορίζουµετονανάστροφο (traspose) του διανύσµατος και συµβολίζουµε, ως τον πίνακα γραµµή Ν θέσεων µε στοιχεία: [ ] = Ορίζουµετονερµιτιανό ανάστροφο (hermta traspose) και συµβολίζουµε Η, ως τον συζυγή µιγαδικό ανάστροφο: * * * =
ιανύσµατα Για ένα διάνυσµα, Ν-διαστάσεων, ορίζουµεταµεγέθη: = και ονοµάζουµε νόρµα L = = = = ma και ονοµάζουµε νόρµα L ή Ευκλείδεια νόρµα και ονοµάζουµε νόρµα L Στη συνέχεια Στη συνέχεια θα θα συµβολίζουµε συµβολίζουµε ως ως τη νόρµα L. τη νόρµα L. Η απόσταση ανάµεσα σε δύο διανύσµατα και ορίζεται ως: d(, ) = = ιανύσµατα Το εσωτερικό γινόµενο δύο διανυσµάτων και ορίζεται ως:, = = Το εσωτερικό γινόµενο είναι βαθµωτό µέγεθος. * * *, = = Το εσωτερικό γινόµενο εκφράζει τη γεωµετρική σχέση των δύο διανυσµάτων.
ιανύσµατα Παράδειγµα σε διαστάσεις: Το µέτρο των διανυσµάτων και είναι: = = = + = + Οι συνιστώσες των διανυσµάτων γράφονται: = cos( θ) = cos( θ+φ) διάσταση = s( θ) = s( θ+φ) Αποδεικνύεται ότι το εσωτερικό γινόµενο είναι: = ( ), = = cos φ δ ϕ θ διάσταση,, =δ δ= δείναιη προβολή του στο Όταν τα διανύσµατα είναι κάθετα (φ = π/):, = 0 ιανύσµατα Όταν, = 0 τα δύο διανύσµατα ονοµάζονται ορθογώνια. Όταν επιπλέον ισχύει = = τα δύο διανύσµατα ονοµάζονται ορθοκανονικά. ( ) Από τη σχέση cos προκύπτει: ϕ, Η ισότητα ισχύει όταν τα διανύσµατα είναι συγγραµµικά, δηλαδή όταν = c, όπου c είναι σταθερά. ιδιότητα Cauch-Schwarz Επιπλέον ισχύει η ιδιότητα: +,
ιανύσµατα ΘεωρούµεέναFIR σύστηµα µε κρουστική απόκριση h() µήκους Ν. ( ) h ( ) ( ) Ορίζουµε τοδιάνυσµα µεστοιχείατους συντελεστές της κρουστικής απόκρισης. h(0) h() h = h ( ) Ορίζουµε τοδιάνυσµα µεστοιχείατα Ν πιο πρόσφατα δείγµατα της εισόδου. ( ) ( ) ( ) = ( + ) Η έξοδος του συστήµατος κάθε χρονική στιγµή (γραµµική συνέλιξη) γράφεται: ( ) = hk ( ) ( k) k= 0 = h(0) ( ) + h() ( ) + + h ( ) ( + ) ( ) = h( ) ιανύσµατα Θεωρούµεένασήµα (t) και έστω ότι έχουµε µετρήσεις (δείγµατα) του σήµατος. () t ADC ( ) Κατασκευάζουµε τοδιάνυσµα Ν-διαστάσεων µεταδείγµατα: 0 = Το τετράγωνο της Ευκλείδειας νόρµας του διανύσµατος εκφράζει την ενέργεια του σήµατος: = = 0 + + + =Ε = 0 Άρα, όταν =, σηµαίνει ότι το διάνυσµα έχει µοναδιαία ενέργεια.
ιανυσµατικοί Χώροι Θεωρούµε ένα σύνολο από Ν διανύσµατα ίδιας διάστασης,,..., Ν. Ορίζουµε ότι το σύνολο αυτό είναι γραµµικά ανεξάρτητο αν η παρακάτω ισότητα ισχύει µόνο για για κάθε, όπου σταθερός αριθµός: a = 0 =,, a a + a + + a = a = 0 a 0 = Αν υπάρχουν για τα οποία ισχύει η παραπάνω σχέση, τότε τα διανύσµατα ονοµάζονται γραµµικά εξαρτηµένα. ηλαδή, υπάρχει τουλάχιστον ένα διάνυσµα, π.χ. το, το οποίο µπορείναγραφείωςογραµµικός συνδυασµός των υπολοίπων διανυσµάτων του συνόλου: = b =, Ονοµάζουµε διανυσµατικό χώρο και συµβολίζουµε, το σύνολο όλων των διανυσµάτων, τα οποία προκύπτουν από το γραµµικό συνδυασµότων διανυσµάτων : = V v = c, v V ιανυσµατικοί Χώροι Αν τα διανύσµατα,,..., Ν είναι γραµµικά ανεξάρτητα, τότε ονοµάζονται βάση του διανυσµατικού χώρου. Παράδειγµα : Το σύνολο όλων των διανυσµάτων διαστάσεων µε πραγµατικές τιµές [ ] =,, v v ορίζουν το διανυσµατικό χώρο (επίπεδο) µε διανύσµατα βάσης v = [ ] v = [ 0 ] 0 δηλαδή µπορούµεναγράψουµε: = v =
Πίνακες Ορίζουµετονπίνακα Α µεστοιχείαα,, οοποίοςέχει γραµµές και m στήλες: A= { a, } a a a a a a a a a,,, m,,, m =,,, m Αν = m, ο πίνακας ονοµάζεται τετραγωνικός. Ορίζουµετονανάστροφο πίνακα και συµβολίζουµε Α Τ, ως τον πίνακα που έχει ως γραµµές τις στήλες και ως στήλες τις γραµµές του πίνακα Α. A = { a, } a a a a a a a a a,,,,,, =, m, m, m Πίνακες Αν ο πίνακας Α είναι τετραγωνικός και ισχύει Α = Α Τ τότε ονοµάζεται συµµετρικός: 3 3 A= 5 6 = A = 5 6 3 6 9 3 6 9 Ορίζουµετονερµιτιανό ανάστροφο πίνακα και συµβολίζουµε Α Η ως τον συζυγή ανάστροφο πίνακα του Α, δηλαδή A = A = A. ( ) ( ) Ισχύουν οι ιδιότητες: ( ), ( ) A+ B = A + B A = A, ( AB) = B A Αν ο πίνακας Α είναι τετραγωνικός και Α = Α Η τότε ονοµάζεται ερµιτιανός. Ονοµάζουµε ίχνος (trace) ενός τετραγωνικού πίνακα το άθροισµατωνστοιχείων τηςκύριαςδιαγωνίου: tr( A) = a, =
Αντίστροφος Πίνακα ΘεωρούµετονπίνακαΑ διαστάσεων ( m) τον οποίο γράφουµε µε τη βοήθεια διανυσµάτων στήλης, δηλαδή: a, a, a, m a, a, a, m A = = c c c a, a, a, m [ ] m όπου c a, a =, a, Ορίζουµε τάξη (rak) του πίνακα Α και συµβολίζουµερ(α), τον αριθµό των γραµµικά ανεξάρτητων στηλών του πίνακα, δηλαδή τον αριθµό τωνγραµµικά ανεξάρτητων διανυσµάτων c. Ισχύει η ιδιότητα: ρ ( A) =ρ( A ) Αντίστροφος Πίνακα Στη συνέχεια, γράφουµετονπίνακαα µε τη βοήθεια διανυσµάτων γραµµής: a, a, a, m r a, a, a, m r A = = όπου a, a, a, m r a a a a a a a a a,,,,,, A = = r r r, m, m, m [ ] r = a a a,,, m Από ορισµό, η τάξη του πίνακα Α Η ισούται µε τον αριθµό των γραµµικά ανεξάρτητων διανυσµάτων r. Από ιδιότητα, ρ(α) = ρ(α Η ). Άρα, ητάξητου πίνακα Α ισούται µε τον αριθµό των γραµµικά ανεξάρτητων στηλών (ορισµός) και µε τον αριθµότωνγραµµικά ανεξάρτητων γραµµών.
Αντίστροφος Πίνακα Ισχύει ότι: οθέντος ενός συνόλου διανυσµάτων Ν, ο µέγιστος αριθµός γραµµικά ανεξάρτητων διανυσµάτων εντός του συνόλου είναι Ν. ρ( A) m( m, ) Αν ισχύει ρ ( A) = m( m, ) ο πίνακα Α ονοµάζεται µέγιστης τάξης (full rak). Αν ο πίνακας Α είναι τετραγωνικός και µέγιστης τάξης, δηλαδή ρ ( A) =, τότε ορίζεται ο αντίστροφος: AA = A A= I Στην περίπτωση αυτή, ο πίνακας Α ονοµάζεται αντιστρέψιµος ή µη ιδιάζων(o-sgular) Ισχύουν οι ιδιότητες: ( ) A = ( A ) ( AB) = B A Αντίστροφος Πίνακα Αν ρ ( A) < ο πίνακας Α είναι µηαντιστρέψιµος (ιδιάζων). Ιδιότητα: Ένας τετραγωνικός πίνακας Α είναι αντιστρέψιµος αν και µόνον αν η ορίζουσα του πίνακα είναι µη µηδενική: det( A) 0 Η ορίζουσα ενός τετραγωνικού πίνακα Α ( ) υπολογίζεται ως: = + ( ) a, A, det( A) = det( )
Ειδικοί Πίνακες Ένας τετραγωνικός πίνακας Α ( ) ονοµάζεται πίνακας oepltz, αν όλα τα στοιχεία σε κάθε διαγώνιο είναι ίσα, δηλαδή = για κάθε, < : a a + +,, 3 5 7 3 5 A = 4 3 6 4 Ένας πίνακας oepltz ορίζεται πλήρως από τα στοιχεία της πρώτης γραµµής και της πρώτης στήλης. Αν o πίνακας Α ( ) είναι συµµετρικός Α = Α Τ (ήερµιτιανός) και oepltz, τότε όλα τα στοιχεία του πίνακα ορίζονται πλήρως από τα στοιχεία της πρώτης γραµµής ή στήλης. Στην περίπτωση αυτή, συµβολίζουµε : 3 5 7 A = oep ( a, a,, a ) 3 3 5 A = 5 3 3 7 5 3 Ειδικοί Πίνακες Ένας τετραγωνικός πίνακας Α ( ) µεπραγµατικά στοιχεία ονοµάζεται ορθογώνιος (orthogoal) πίνακας, αν τα διανύσµατα που ορίζονται από τις στήλες (και τις γραµµές) είναι ορθοκανονικά. a, a, a, a, a, a, A= = a a a a, a, a, [ ] Αν ο πίνακας έχει µιγαδικά στοιχεία, τότε ονοµάζεται ορθοµοναδιαίος (utar) και ισχύει: a a = a a = ak, ak, = k = 0 αν = αν a a = 0 αν = αν A A= I A = A A A= I A = A
Τετραγωνική Μορφή Πίνακα Θεωρούµετονπραγµατικό και συµµετρικό πίνακα Α ( ). Ορίζουµετην τετραγωνική µορφή (quadratc form) του πίνακα Α : QA( ) = A = a = =, όπου [ ] = είναι διάνυσµα µεπραγµατικές τιµές. Η παραπάνω εξίσωση είναι στην πραγµατικότητα µια δευτεροβάθµια εξίσωση ως προς τις µεταβλητές,,,. Το µέγεθος Q ( ) είναι βαθµωτό µέγεθος. A 3 = 3 A Q ( ) = [ ] = [ 3 + + ] A = 3 + + Τετραγωνική Μορφή Πίνακα Αν ο πίνακας Α ( ) είναι µιγαδικός και ερµιτιανός, ορίζουµετηνερµιτιανή µορφή του πίνακα Α : QA( ) = A = a = =, όπου είναι διάνυσµα µε µιγαδικές τιµές. Αν QA( ) > 0 για κάθε 0 τότε ο πίνακας Α ονοµάζεται θετικά ορισµένος (postve defte) και γράφουµε: A > 0
Ιδιοτιµές και ιδιοδιανύσµατα Θεωρούµε τον τετραγωνικό πίνακα Α ( ) και σχηµατίζουµε το παρακάτω σύστηµαγραµµικών εξισώσεων: a v + a v + + a v =λv,,, a v + a v + + a v =λv,,, a v + a v + + a v =λv ν,,, Av = λv όπου λ σταθερός αριθµός και (άγνωστος του συστήµατος). v [ ] = v v v το διάνυσµα -διαστάσεων Στη συνέχεια, γράφουµετοσύστηµαστηµορφή οµογενών γραµµικών εξισώσεων: Av =λv ( A λ I) v = 0 Ιδιοτιµές και ιδιοδιανύσµατα ( ) Για να υπάρχει µη µηδενική λύση, θα πρέπει ο πίνακας A λi να είναι ιδιάζων, δηλαδή να µην είναι αντιστρέψιµος, καισυνεπώςηορίζουσαναείναι µηδενική: det A λ I = 0 ( ) Η παραπάνω ορίζουσα είναι ένα πολυώνυµο βαθµού ως προς λ. 3 A = 4 3 λ λ = 4 λ A I ( A I) det λ = (3 λ)(4 λ) = λ λ+ 7 0 Το πολυώνυµο αυτόονοµάζεται χαρακτηριστικό πολυώνυµο του πίνακα Α και έχει ρίζες, τιςοποίεςσυµβολίζουµελ. Οι ρίζες αυτές ονοµάζονται ιδιοτιµές του πίνακα Α.
Ιδιοτιµές και ιδιοδιανύσµατα Για κάθε ιδιοτιµή λ το διάνυσµα v που είναι λύση της εξίσωσης ονοµάζεται ιδιοδιάνυσµα. ( A λ I) v = 0 Ιδιότητα: Τα ιδιοδιανύσµατα που αντιστοιχούν σε διαφορετικές ιδιοτιµές είναι µεταξύ τους γραµµικά ανεξάρτητα. Ιδιότητα: Η ορίζουσα ενός πίνακα ισούται µε τογινόµενο των ιδιοτιµών: det ( ) A = λ Άρα, ένας πίνακας είναι αντιστρέψιµος = αν έχει µη µηδενικές ιδιοτιµές. Ιδιοτιµές και ιδιοδιανύσµατα Ιδιότητα: Αν ο πίνακας Α ( ) έχει γραµµικάανεξάρτηταιδιοδιανύσµατα, τότε µπορούµεναγράψουµε: A = V Λ V όπου V είναι ο πίνακας µε στήλες τα ιδιοδιανύσµατα του πίνακα Α και Λ είναι ο διαγώνιος πίνακας µε στοιχεία της ιδιοτιµές του πίνακα Α. V = [ v v v ] Λ = = dag { λ, λ,, λ} λ 0 0 0 λ 0 0 0 λ Η παραπάνω ιδιότητα ονοµάζεται διαγωνοποίηση (egevalue decomposto).
Ιδιοτιµές και ιδιοδιανύσµατα Απόδειξη: Για κάθε ιδιοτιµή και ιδιοδιάνυσµαισχύει ( A λ I) v = 0 Av = λ v =,..., [ ] = [ λ λ λ ] A v v v v v v [ ] = [ ] A v v v v v v V λ 0 0 0 λ 0 0 0 λ A V = V Λ Λ { } = dag λ, λ,, λ Ιδιοτιµές και ιδιοδιανύσµατα Συνέχεια της απόδειξης: δείξαµε ότι ισχύει: A V = V Λ Επειδή τα ιδιοδιανύσµατα είναι γραµµικά ανεξάρτητα (ιδιότητα), ητάξητου πίνακα V είναι ρ(v) =, δηλαδή ο πίνακας V είναι full-rak και άρα είναι αντιστρέψιµος. Συνεπώς υπάρχει ο αντίστροφος V - και µπορούµενα γράψουµε: A = V Λ V
Ιδιοτιµές και ιδιοδιανύσµατα Ειδικά για συµµετρικούς πίνακες Α = Α Τ (ήερµιτιανούς) ισχύουν οι ιδιότητες. Ιδιότητα: Οι ιδιοτιµές είναι πραγµατικοί αριθµοί λ. Ιδιότητα: Ο πίνακας Α είναι θετικά ορισµένος, αν και µόνον αν, οι ιδιοτιµές είναι θετικοί αριθµοί λ > 0. Σε αυτήν την περίπτωση είναι det( A) 0 καιάραοπίνακαςα είναι αντιστρέψιµος. Ιδιότητα: Τα ιδιοδιανύσµατα που αντιστοιχούν σε διαφορετικές ιδιοτιµές, δηλαδή για λ λ είναι µεταξύ τους ορθογώνια, δηλαδή v v = 0. Ιδιότητα: Για κάθε ερµιτιανό πίνακα µπορούµε πάντα να βρούµε ένα σύνολο από ορθοκανονικά ιδιοδιανύσµατα, δηλαδή: αν v v = 0 αν = Ιδιοτιµές και ιδιοδιανύσµατα Αποτέλεσµα των προηγούµενων δύο ιδιοτήτων είναι ότι: Ιδιότητα: Ο Πίνακας V = v (που έχει οριστεί στη διαδικασία v v διαγωνοποίησης) είναι ορθογώνιος. Αν ο πίνακας Α έχει µιγαδικά στοιχεία τότε ο πίνακας V είναι ορθοµοναδιαίος. [ ] V = V Ιδιότητα: Από την ιδιότητα της διαγωνοποίησης προκύπτει ότι αν ο πίνακας Α είναι ερµιτιανός, τότε µπορούµε να γράψουµε: = = = λ = A V Λ V V Λ V vv Η παραπάνω ιδιότητα ονοµάζεται SPECRAL EOREM.
Ιδιοτιµές και ιδιοδιανύσµατα Ιδιότητα: ίνεται ο πίνακας B ( ) µε ιδιοτιµές λ και ιδιοδιανύσµατα v. Θεωρούµετονπίνακα Α = Β + αι, όπου α είναι µία σταθερά. ΟπίνακαςΑ έχει τα ίδια ιδιοδιανύσµατα µετονπίνακαβ, δηλαδή v, και ιδιοτιµές λ + α. Πολλές φορές, σε διάφορες εφαρµογές επεξεργασίας σηµάτων χρειάζεται να υπολογίσουµε τον αντίστροφο ενός πίνακα, π.χ. για να βρούµετηλύσηενός συστήµατος της µορφής Α = Β. Συχνά συµβαίνει ο πίνακας Α να είναι ιδιάζων, δηλαδή det(a) = 0, ήναείναι ll-codtoed, δηλαδή κάποιες από τις ιδιοτιµές του είναι πολύ κοντά στο µηδέν. Αυτή η κατάσταση µπορεί να οδηγήσει σε αστάθεια της λύσης. Για να βελτιώσουµε την κατάσταση εφαρµόζουµε την παραπάνω ιδιότητα, δηλαδή προσθέτουµεέναµικρό όρο στα στοιχεία της διαγωνίου του πίνακα Α, µε αποτέλεσµαναµεταβάλλουµε κατάλληλα τις ιδιοτιµές, αφήνοντας συγχρόνως τα ιδιοδιανύσµατα αµετάβλητα.