µετασχηµατισµό τέτοιο ώστε επιδρώντας στο λάθος πρόβλεψης e, ( e = e) να οδηγεί σε ελαχιστοποίηση του E = e e όταν ελαχιστοποιείται το Ε, να µετασχηµατίζει τον πίνακα G στον πίνακα G που να έχει άνω τριγωνική µορφή, θα έχοµε που αναλυτικά γράφεται ως = = ( ) = = e e d Gm d Gm d G m (6.11) e G G G G. G e e e.. 0 0 0 0 0 0 m....... e 0 0 0 0 0 0 d.. d 1 11 12 13 14 1 1 2 0 G22 G23 G24. G2 d 2 m1 3 0 0 G33 G34. G 3 d3 2....... m. = m 3 + 0 0 0 0 0 G d (6.12) Στην περίπτωση αυτή βλέποµε ότι οποιαδήποτε επιλογή των est m δεν επηρεάζει τις τελευταίες Ν-Μ εξισώσεις. Εποµένως µπορούµε να ζητήσοµε να µηδενίζονται οι πρώτες Μ τιµές του e, οπότε ικανοποιούνται ακριβώς οι πρώτες Μ εξισώσεις του συστήµατος που παίρνουν τη µορφή d = G m. Επί πλέον λόγω της µορφής του πίνακα G µπορούµε να λύσουµε το σύστηµα µε αντίστροφη διαδικασία o συνολικό λάθος λοιπόν είναι : 2 2 = + 1 = + 1. (6.13) E = e = d Με το µετασχηµατισµό, διαχωρίσαµε το αντίστροφο πρόβληµα σε ένα µέρος το οποίο αφορά µετρήσεις που ικανοποιούνται επακριβώς σε ένα άλλο µέρος που αφορά µετρήσεις που δεν µπορούν να ικανοποιηθούν. Η λύση επιλέγεται έτσι ώστε να ελαχιστοποιείται το λάθος πρόβλεψης συνεπώς είναι λύση ελαχίστων τετραγώνων. 6.2.3 Το μεικτά ορισμένο πρόβλημα. Σε ένα µεικτά ορισµένο πρόβληµα της µορφής Gm=d κάποιοι γραµµικοί συνδυασµοί παραµέτρων είναι υπερ-ορισµένοι κάποιοι υπο-ορισµένοι. Εάν ένα πρόβληµα είναι σε κάποιο βαθµό υποορισµένο, η εξίσωση Gm=d περιέχει πληροφορία για µερικές µόνο από τις παραµέτρους. Οι παράµετροι αυτές θεωρούµε ότι περιλαµβάνονται σε ένα υπόχωρο S ( m ) του χώρου των παραµέτρων. Για το 60
συµπλήρωµα του υπόχωρου αυτού ως προς το χώρο των παραµέτρων, ο πίνακας G δεν παρέχει καµµία πληροφορία. Ο υπόχωρος αυτός χαρακτηρίζεται ως S ( m ). 0 Αντίστοιχα σε ένα υπερορισµένο πρόβληµα το γινόµενο Gm µπορεί να µην µπορεί να παράγει το χώρο S( d ) ανεξά (6.15ρτητα από την επιλογή των παραµέτρων. Το πολύ να µπορεί να ικανοποιηθεί ένα µέρος των µετρήσεων που χαρακτηρίζεται ως S ( d ) σε αντίθεση µε τον υπόχωρο S ( ) 0 d που περιλαµβάνει τις µετρήσεις που δεν µπορούν να ικανοποιηθούν. Θεωρώντας τώρα παραµέτρους µετρήσεις που ανήκουν στους αντίστοιχους υπόχωρους µε τους ανωτέρω συµβολισµούς, µπορούµε να γράψουµε στη γενική περίπτωση : Το µήκος της λύσης είναι G m + m = d + d (6.14) 0 0 Το λάθος πρόβλεψης είναι 0 0 0 0 L= m m= m + m m + m = m m + m m (6.15) 0 0 0 0 E= [ d + d Gm ] [ d + d Gm ] = d Gm d Gm + d d (6.16) Όπου στους υπολογισµούς έχει ληφθεί υπ όψιν ότι γινόµενα διανυσµάτων που ανήκουν σε διαφορετικούς υπόχωρους είναι µηδενικά. Σε ένα µεικτά ορισµένο πρόβληµα, εκ προοιµίου πληροφορία εισάγεται για να ορίσει παραµέτρους που περιέχονται στο χώρο S ( ) 0 m το λάθος πρόβλεψης περιορίζεται στο χώρο S ( ) 0 d ικανοποιώντας τη σχέση e = d Gm = 0 επακριβώς. est Όταν το πρόβληµα είναι καθαρά υπο-ορισµένο, επιλέγοντας m 0 = 0 (που την ονοµάζουµε φυσική λύση natural soluton) οδηγούµαστε σε λύση ελαχίστου µήκους ενώ σε ένα καθαρά υπερορισµένο πρόβληµα οδηγούµαστε σε λύση ελαχίστων τετραγώνων. 61
6.3 Ανάλυση Ιδιαζουσών Τιμών (Sngular Value Decomoston) Στο κεφάλαιο αυτό θα αναφερθούµε σε µία διαδικασία που βοηθά στον καθορισµό του µηδενόχωρου συνεπώς της λύσης ενός γραµµικού αντίστροφου προβλήµατος όπως αυτή εκφράζεται από τη σχέση 6.3, µέσω κατάλληλης παραγοντοποίησης του πίνακα G. 6.3.1 Η ανάλυση Θεωρούµε τον τετραγωνικό συµµετρικό πίνακα S διαστάσεων (Ν+Μ)X(Ν+Μ) που προκύπτει από τον πίνακα G του γραµµικού αντιστρόφου προβλήµατος ως εξής : 0 G S= G 0 (6.17) Από τη Γραµµική Άλγεβρα γνωρίζοµε ότι ο πίνακας αυτός έχει Ν+Μ πραγµατικές ιδιοτιµές λ µία πλήρη οµάδα ιδιοδιανυσµάτων w που επιλύουν το πρόβληµα Sw = λw. (6.18) ιαχωρίζοντας το διάνυσµα wσε ένα µέρος διάστασης Ν ένα άλλο διάστασης Μ, γράφοµε την 6.18 αναλυτικά ως 0 G u u Sw= = λ 0 G v v (6.19) Από την παραπάνω σχέση διαπιστώνουµε ότι ισχύουν ταυτόχρονα : Gv =λu G u =λ v. (6.20) Εάν υποθέσοµε ότι έχοµε µία θετική ιδιοτιµή λ τότε η -λ είναι επίσης ιδιοτιµή µε αντίστοιχα ιδιοδιανύσµατα [ u, v ] [ u, v ]. Εάν έχοµε θετικές ιδιοτιµές, θα πρέπει να έχοµε συνολικά Ν+Μ-2 µηδενικές ιδιοτιµές. Φυσικά θα πρέπει να ισχύει ότι mn(, ) αφού δεν µπορούµε να έχοµε περισσότερες ιδιοτιµές σε σχέση µε τη διάσταση του πίνακα. Από τις 6.20 προκύπτουν εύκολα οι σχέσεις 2 G Gv =λ ι v 2 GG u =λ ι u (6.21) Εξετάζοντας τους πίνακες G G διαθέτουν αντίστοιχα Μ Ν ιδιοτιµές (µε αντίστοιχα ιδιοδιανύσµατα GG βλέποµε ότι είναι συµµετρικοί ορίζουν τα σύνολα V που έχουν τη µορφή πινάκων. Ο πίνακας είναι : 62 v u που [ u,u,...u ] (6.22) = 1 2
ο πίνακας V είναι V [ v, v,...v ] (6.23) = 1 2 Σε κάθε σύνολο τα ιδιοδιανύσµατα είναι ορθογώνια συνεπώς παράγουν τους χώρους S( m) S(d) αντίστοιχα. Επίσης µπορούν να κανονικοποιηθούν ώστε να ισχύει : = = VV = V V= (6.24) Με τους πίνακες αντίστοιχα. να είναι οι µοναδιαίοι πίνακες διαστάσεων Ν Μ Ορίζοντας τώρα ως Λ, τον διαγώνιο πίνακα διαστάσεων ΝΧΜ µε διαγώνια στοιχεία τις µη αρνητικές ιδιοτιµές (τις χαρακτηρίζοµε ιδιάζουσες τιµές) παρατηρώντας ότι V είναι ορθογώνιοι, παίρνοµε από την πρώτη από τις σχέσεις 6.20 : πολλαπλασιάζοντας από δεξιά µε GV=Λ (6.25) V παίρνοµε : G= ΛV (6.26) που χαρακτηρίζετα ως παραγοντοποίηση ή ανάλυση ιδιαζουσών τιµών (Sngular Value Decomoston- SVD). 6.3.2 Ανάλυση ιδιαζουσών τιμών γενικευμένος αντίστροφος. Όπως είπαµε πιο πάνω, οι ιδιάζουσες τιµές του πίνακα G δεν µπορεί να είναι περισσότερες από το mn(, ) συνεπώς στον πίνακα Λ µπορεί να έχοµε γραµµές ή στήλες µηδενικές. Εάν Ν>Μ θα έχοµε µία γραµµή τουλάχιστον µε µηδενικά στοιχεία εάν Ν<Μ θα έχοµε τουλάχιστον µία στήλη µε µηδενικά στοιχεία. Συνεπώς στη γενική περίπτωση θα µπορούσαµε να γράψοµε τον πίνακα Λ στη µορφή Λ 0 Λ = (6.27) 0 0 Με τον πίνακα Λ να είναι ένας X διαγώνιος πίνακας µε µη µηδενικά στοιχεία στη διαγώνιο. Θα πρέπει να σηµειώσουµε ότι η διάταξη των ιδιοτιµών στον πίνακα Λ γίνεται κατά φθίνουσα σειρά. Λαµβάνοντας υπ όψιν τη µορφή του Λ, η ανάλυση ιδιαζουσών τιµών (6.26) παίρνει τη µορφή : G= Λ V (6.28) 63
µε τους πίνακες V Να αποτελούνται από τις πρώτες στήλες των V αντίστοιχα 2. Ο πίνακας G δεν περιλαµβάνει συνεπώς πληροφορία για τους υπόχωρους που παράγονται από τις υπόλοιπες στήλες των V οι οποίες παράγουν τους πίνακες 0 V 0 αντίστοιχα. Με άλλα λόγια καταφέραµε να παράγουµε το µηδενόχωρο S ( ) 0 m τα διανύσµατα του οποίου είδαµε να συµµετέχουν στη γενική λύση του αντιστρόφου προβλήµατος µε την έννοια της (6.3) αλλά παράλληλα τους υπόχωρους S ( m) S ( d) που παράγονται από τα διανύσµατα V αντίστοιχα. Η φυσική λύση στο αντίστροφο πρόβληµα µπορεί τώρα να κατασκευαστεί µέσω της ανάλυσης ιδιαζουσών τιµών. Η λύση θα πρέπει να αποτελείται από ένα διάνυσµα est m που δεν έχει στοιχεία στον S ( ) 0 στοιχεία στο S ( d ). Θεωρώντας τη λύση : m ένα λάθος πρόβλεψης που δεν έχει est 1 m = VΛ d (6.29) µπορούµε να αποδείξοµε ότι ικανοποιεί τις παραπάνω απαιτήσεις συνεπώς υιοθετείται ως η «φυσική λύση» του γραµµικού αντιστρόφου προβλήµατος. Ο πίνακας G g = VΛ που προκύπτει από τη σχέση 1 est g m = G dχαρακτηρίζεται ως «ο φυσικός γενικευµένος αντίστροφος». Ο πίνακας ανάλυσης παραµέτρων για τον εν λόγω γενικευµένο αντίστροφο υπολογίζεται από τη σχέση της µορφής R= G G= VΛ Λ V = V V (6.30) g 1 { }{ } ο πίνακας ανάλυσης δεδοµένων από τη σχέση : = GG = Λ V VΛ = (6.31) g 1 { }{ } Ο πίνακας συνδιακύµανσης για ασυσχέτιστα δεδοµένα µε ίδια διασπορά 2 σ d είναι : 2 1 1 2 1 2 [ ] σ σ est g g covm = G cov d G = d{ VΛ }{ Λ } = dv{ Λ } V (6.32) Είναι προφανές ότι τα δεδοµένα (µετρήσεις) παράγονται πλήρως εάν ο υπόχωρος παράγει το χώρο των µετρήσεων δηλαδή όταν =. 2 Θυμηθείτε ότι υπάρχει διάταξη στις ιδιοτιμές συνεπώς πρέπει να υπάρξει η αντιστοίχηση των ιδιοδιανυσμάτων. 64
Εάν υπάρχει εκ προοιµίου πληροφορία για τις παραµέτρους µε µέση τιµή m πίνακα συνδιακύµανσης [ covm ] µπορεί να χρησιµοποιηθεί η σχέση Ο πίνακας συνδιακύµανσης παίρνει τη µορφή [ ] est g m = G d+ R m (6.33) [ ] [ ][ ][ ] est g g covm = G covd G + R covm R (6.34) Επισηµαίνεται ότι η εφαρµογή της ανάλυσης ιδιαζουσών τιµών βασίζεται στη δυνατότητα ακριβούς υπολογισµού των τιµών αυτών. Σε πολλές περιπτώσεις όταν υπάρχουν µεγάλες διαφορές µεγέθους, που σηµαίνει πρακτικά πίνακας G κακής κατάστασης, η ανάλυση δεν είναι ακριβής µε τους υπάρχοντες αλγορίθµους. Σε άλλες περιπτώσεις ιδιάζουσες τιµές κοντά στο µηδέν θεωρούνται µηδενικές, οπότε στην πραγµατικότητα επιλύεται ένα διαφορετικό πρόβληµα που προσεγγίζει το κανονικό. Άλλες λύσεις όπως για παράδειγµα η απόσβεση των µικρών ιδιοτιµών είναι επίσης εφαρµόσιµες. Η γενική λύση που είδαµε µε τη σχέση 6.3 µπορεί να θεωρηθεί ότι αποτελείται από το άθροισµα της φυσικής λύσης (µέσω της SVD) της ειδικής που παράγεται από τα διανύσµατα του µηδενόχωρου S ( m ). 0 65