3.9 Πίνακας συνδιακύμανσης των παραμέτρων

Transcript

1 Στην περίπτωσή µας έχοµε p= 1περιορισµό της µορφής : που γράφεται ως : ' = m + m z ' (3.47) 1 m Fm 1 = [1 z '] = [ '] = h m. (3.48) Η εξίσωση 3.46 στην περίπτωση αυτή χρησιµοποιώντας τους πίνακες που είδαµε στην παράγραφο γράφεται ως : N Σzi 1 m 1 Σi zi zi z ' m zi Σ Σ = Σ i 1 z ' 0 λ ' (3.49) και ο υπολογισµός των παραµέτρων και του µοναδικού συντελεστού Lagrange δίδεται από τη σχέση : est m 1 N Σzi 1 Σi est m zi zi z ' zi = Σ Σ Σ i λ 1 z ' 0 ' (3.50) 3.9 Πίνακας συνδιακύμανσης των παραμέτρων Όταν είναι γνωστά τα στατιστικά χαρακτηριστικά των µετρήσων, µπορούµε να εκτιµήσουµε ανάλογα χαρακτηριστικά των παραµέτρων παρατηρώντας ότι οι σχέσεις που συνδέουν παραµέτρους και µετρήσεις είναι γραµµικές, της µορφής est m = M+ v, (3.51) µε Μ κάποιο πίνακα και v ένα διάνυσµα. Εάν υποθέσοµε λοιπόν ότι τα δεδοµένα έχουν µία κατανοµή που χαρακτηρίζεται από ένα πίνακα συνδιακύµανσης [cov ] οι εκτιµήσεις των παραµέτρων θα έχουν ένα πίνακα συνδιακύµανσης [cov m] = M[cov ] M (3.5) και συνεπώς ανάλογα µε την περίπτωση να υπολογίσουµε την συνδιακύµανση των παραµέτρων µε άµεσο τρόπο. Η απλούστερη περίπτωση είναι εκείνη για την οποία τα δεδοµένα είναι ασυσχέτιστα και έχουν όλα την ίδια διακύµανση [cov ] = 37 σ. Τότε σ Ι και ανάλογα µε την περίπτωση υπολογίζοµε τους πίνακες

2 συνδιακύµανσης. Θα αναφερθούµε στη συνέχεια ως παραδείγµατα σε δύο περιπτώσεις : Λύση ελαχίστων τετραγώνων : Ισχύει : est m = G G G συνεπώς M= G G G και από την 3.5 παίρνοµε : [cov m] = [[ G G] G ] σ I[[ G G] G ] = σ [ G G ] (3.53) Λύση ελαχίστου µήκους : Ισχύει : est m G GG συνεπώς = = M G GG και από την 3.5 παίρνοµε : [cov m] = [ G [ GG ] ] σ I[ G [ GG ] ] = σ G [ GG ] G (3.54)

3 4. ΓΕΝΙΚΕΥΜΕΝΟΙ ΑΝΤΙΣΤΡΟΦΟΙ ΠΙΝΑΚΕΣ Μέχρι τώρα, ασχοληθήκαµε µε λύσεις γραµµικών αντιστρόφων προβληµάτων που est εκφράζονται µε σχέσεις της µορφής : m = M+ v. Ο πίνακας Μ και το διάνυσµα v δεν εξαρτώνται από τα δεδοµένα. Ειδικά για τον πίνακα Μ µπορούµε να πούµε ότι λειτουργεί ως πίνακας-τελεστής που πολλαπλασιάζει τα δεδοµένα για να προκύψουν οι προς ανάκτηση παράµετροι. Με αυτή την έννοια µπορεί να ονοµαστεί γενικευµένος αντίστροφος (gemeralize inverse) καθώς λειτουργεί µε ανάλογο τρόπο που σε ένα καλώς τεθειµένο γραµµικό πρόβληµα της µορφής Ax = πολλαπλασιάζει ο διάνυσµα των δεδοµένων για να προκύψει το x : x= A το A. Ο συµβολισµός του είναι g M = G αφού αναφέρεται στο γενικό αντίστροφο πρόβληµα Gm =. Η µορφή του γενικευµένου αντιστρόφου όµως εξαρτάται από την λύση που έχοµε επιλέξει. Ως εφαρµογές αναφερόµαστε στις περιπτώσεις ελαχίστων τετραγώνων και ελαχίστου µήκους που είδαµε στο ακριβώς προηγούµενο Κεφάλαιο, απλά για να εισαγάγουµε τον συµβολισµό του γενικευµένου αντιστρόφου στον πίνακα Μ. Λύση ελαχίστων τετραγώνων : Ισχύει : est m = G G G συνεπώς g G = G G G = M Λύση ελαχίστου µήκους : Ισχύει est m G GG συνεπώς = g G = G GG = M Αξίζει να παρατηρήσουµε ότι ο γενικευµένος αντίστροφος δεν είναι τετραγωνικός πίνακας (µε την εξαίρεση ενός καλώς τεθειµένου προβλήµατος) και φυσικά δεν διαθέτει τις ιδιότητες ενός αντίστροφου πίνακα. 4.1 Πίνακας ανάλυσης δεδομένων Ας υποθέσοµε ότι σε κάποιο γραµµικό αντίστροφο πρόβληµα της µορφής Gm = έχοµε ορίσει ένα γενικευµένο αντίστροφο πίνακα g G οπότε οι προς est g ανάκτηση παράµετροι υπολογίζονται από τη σχέση : m = G. Εάν χρησιµοποιήσοµε το διάνυσµα αυτό στην εξίσωση ορισµού του αντιστρόφου προβλήµατος θα πάροµε ένα διάνυσµα το οποίο όπως έχοµε δει το συµβολίζοµε µε pre και είναι διαφορετικό από το διάνυσµα των µετρήσεων για το οποίο obs χρησιµοποιούµε το συµβολισµό. Τα στοιχεία του θα τα χαρακτηρίσοµε «προβλέψεις» (preictions) των µετρήσεων. Το διάνυσµα των προβλέψεων λοιπόν µε βάση τα παραπάνω θα δίδεται από τη σχέση : 39

4 pre est g obs g obs obs = Gm = G[G ] = [ GG ] = N (4.1) g Ο πίνακας N = GG είναι τετραγωνικός πίνακας N x N και ονοµάζεται «πίνακας ανάλυσης δεδοµένων» (ata resoltion matrix). Ο πίνακας αυτός περιγράφει το πόσο καλά οι παράµετροι που ανακτήθηκαν δίδουν προβλέψεις µετρήσεων που προσεγγίζουν τις πραγµατικές µετρήσεις. Προφανώς όταν N = Iτότε και και το λάθος πρόβλεψης είναι µηδενικό. pre obs =, Τα στοιχεία του πίνακα ανάλυσης δεδοµένων µας δίδουν σηµαντική πληροφορία σχετικά µε τη σηµασία «γειτονικών» µετρήσεων σε σχέση µε την ανάκτησή τους µέσω του διανύσµατος των εκτιµηθέντων παραµέτρων. Εάν για παράδειγµα για κάποια µέτρηση µε δείκτη i έχοµε το στοιχείο του πίνακα N ii = 1, τότε η µέτρηση ανακτάται ακριβώς από τις εκτιµηθείσες παραµέτρους. Σε διαφορετική περίπτωση θα ισχύσει µία σχέση της µορφής : = (4.) N pre obs i Nij j j= 1 και η εκτίµηση της µέτρησης i θα προκύψει ως ζυγισµένη µέση τιµή όλων των µετρήσεων. Ιδανικά ο πίνακας Ν στην περίπτωση που οι µετρήσεις αφορούν διαδοχικές φυσικές µεταβλητές (όπως π.χ. στην περίπτωση του υπολογισµού της εξίσωσης ευθείας όταν οι µετρήσεις γίνονται σε διαδοχικές τετµηµένες,) είναι λωριδωτός µε κυριαρχική διαγώνιο και µειούµενες τιµές εκτός διαγωνίου (δείτε σχήµα 4.1) οι µετρήσεις ανακτώνται ικανοποιητικά και η ανάλυση θεωρείται καλή. Εάν όµως υπάρχει µεγάλη διασπορά γύρω από την διαγώνιο, η ανάκτηση των µετρήσεων δεν θεωρείται ικανοποιητική. Μερικές φορές το διάνυσµα της διαγωνίου του πίνακα Ν, = iag( N ) χαρακτηρίζεται ως σηµαντικότητα (importance) των δεδοµένων. Αξίζει να παρατηρήσοµε ότι ο πίνακας ανάλυσης δεδοµένων δεν σχετίζεται µε τις πραγµατικές τιµές των µετρήσεων, αλλά µόνο µε το µοντέλο του προβλήµατος, δηλαδή µε τον πίνακα G καθώς και µε κάθε περιορισµό η εκ προοιµίου πληροφορία διαθέτουµε για τη λύση του αντιστρόφου προβλήµατος. Υπολογίζεται συνεπώς πριν γίνουν οι µετρήσεις και µπορεί να αποδειχθεί ιδιαίτερα χρήσιµος στο σχεδιασµό ενός πειράµατος, όπως θα δούµε µε ένα παράδειγµα στη συνέχεια. 40

5 Σχήµα 4.1 Σχηµατική διάταξη των στοιχείων του πίνακα ανάλυσης δεδοµένων. Η διακεκοµµένη γραµµή αντιστοιχεί στη διαγώνιο του πίνακα. (Σχήµα από παραδόσεις του Menke). 4. Πίνακας ανάλυσης παραμέτρων Εντελώς ανάλογα µπορούµε να δούµε την ποιότητα των εκτιµηθέντων παραµέτρων ως προς τις «πραγµατικές» παραµέτρους ενός προβλήµατος. Οι πραγµατικές παράµετροι σε ένα ντετερµινιστικό φυσικό πρόβληµα ασφαλώς υπάρχουν αλλά δεν µπορούµε να είµαστε σίγουροι ότι ανακτώνται επακριβώς µέσω της επίλυσης ενός αντιστρόφου προβλήµατος για το οποίο έχοµε πει ότι γενικά δεν είναι καλώς τεθειµένο. Έχει λοιπόν σηµασία να δούµε εκ προοιµίου εάν η ανάκτηση που επιχειρούµε µπορεί να µας δώσει πληροφορία για την ποιότητά της. Με άλλα λόγια να δούµε εάν οι διακριτές παράµετροι ενός αντίστροφου προβλήµατος µπορούν να ανακτηθούν επακριβώς. Η λογική είναι αντίστοιχη µε εκείνη που είδαµε στο προηγούµενο κεφάλαιο. Θα ξεκινήσουµε θεωρώντας ότι υπάρχει ένα διάνυσµα που πρέπει να λύνουν το πρόβληµα tre m πραγµατικών παραµέτρων tre obs Gm =. εδοµένου ότι η λύση του est αντίστροφου προβλήµατος δίδει εκτιµήσεις των παραµέτρων m µε κάποιο τρόπο που έχοµε επιλέξει, έχει ενδιαφέρον να δούµε την εκτιµώµενη διαφορά ανάµεσα στις πραγµατικές και τις εκτιµώµενες παραµέτρους. Ακολουθώντας τη λογική που µας οδήγησε στην 4.1 έχοµε : est g obs g tre g tre tre m = G = G [Gm ] = [ G G] m = Rm (4.3) 41

6 Τώρα έχοµε ορίσει ένα πίνακα διαστάσεων Μ x Μ που χαρακτηρίζεται ως «πίνακας ανάλυσης παραµέτρων» (moel resoltion matrix). Εάν R=Ι κάθε παράµετρος υπολογίζεται µονοσήµαντα. Εάν ο R είναι ένας πυκνός πίνακας, τότε οι µεµονωµένες παράµετροι δεν µπορούν να υπολογιστούν µονοσήµαντα. Τέλος, εάν οι παράµετροι έχουν κατά σειρά κάποια φυσική σηµασία (π.χ. εάν πρόκειται για διακριτές τιµές µιας φυσικής παραµέτρου που εκφράζεται ως συνεχής συνάρτηση), διαγράµµατα που παριστούν τις µεταβολές τιµών των σειρών του πίνακα R, υποδηλώνουν τη δυνατότητα αξιόπιστης ανάκτησης της τιµής κάποιας παραµέτρου αλλά και τη σχέση της µε τις γειτονικές τιµές. Έτσι µπορούµε να φανταστούµε κάποιο σχήµα ανάλογο του 4.1 µε τα διανύσµατα να αντιστοιχούν στις παραµέτρους. Επισηµαίνοµε ότι και στην παρούσα περίπτωση, ο πίνακας ανάλυσης παραµέτρων δεν εξαρτάται από τις µετρήσεις. 4.3 Ο Μοναδιαίος πίνακας συνδιακύμανσης Εάν εισάγουµε πιθανοθεωρητικούς όρους στο πρόβληµά µας, έχει νόηµα να συσχετίσουµε στατιστικά χαρακτηριστικά των µετρήσεων (παρατηρήσεων) µε εκείνα των προς ανάκτηση παραµέτρων. Με τον τρόπο αυτό µπορούµε να εκτιµήσουµε το πώς µεταφέρονται λάθη ή αβεβαιότητες στις τιµές των µετρήσεων στις τιµές των προς ανάκτηση παραµέτρων. Θυµίζουµε τα αναφερθέντα στο κεφάλαιο.3 σε ό,τι αφορά τον υπολογισµό του πίνακα συνδιακύµανσης : Όταν παράµετροι και δεδοµένα σχετίζονται µε γραµµικές σχέσεις της µορφής m = M + v, ο πίνακας συνδιακύµανσης των παραµέτρων παίρνει τη µορφή : [cov m] = M[cov ] M. Επιλύοντας ένα γραµµικό αντίστροφο πρόβληµα και χρησιµοποιώντας την έννοια του ψευδοαντίστροφου πίνακα, έχοµε µια σχέση της µορφής est g m = G και συνεπώς µπορούµε να εκφράσοµε τον πίνακα g g συνδιακύµανσης των παραµέτρων από τη σχέση [cov m] = G [cov ] G. Στην πραγµατικότητα «κανονικοποιούµε» τον πίνακα αυτό και ορίζοµε τον «µοναδιαίο πίνακα συνδιακύµανσης» διαιρώντας µε την διασπορά των µετρήσεων την οποία θεωρούµε ίση για όλες τις µετρήσεις µε σ και τις µετρήσεις ασυσχέτιστες µεταξύ τους. Έτσι προκύπτει η σχέση : [cov ] g [cov ] g g g = σ = m G G G G (4.4) που ορίζει τον µοναδιαίο πίνακα συνδιακύµανσης. Εάν οι µετρήσεις µας παρουσιάζουν συσχέτιση, µπορεί να οριστεί αντίστοιχα ένας µοναδιαίος πίνακας συνδιακύµανσης µετρήσεων (nit ata covariance matrix) [cov ] και να ορίσουµε τον µοναδιαίο πίνακα συνδιακύµανσης παραµέτρων από τη σχέση : 4

7 g g [cov m] = G [cov ] G (4.5) Ο µοναδιαίος πίνακας συνδιακύµανσης παραµέτρων, δεν εξαρτάται φυσικά από τις µετρήσεις αυτές καθ εαυτές αλλά µόνο από τον γενικευµένο αντίστροφο πίνακα και από τα στατιστικά χαρακτηριστικά των µετρήσεων. 4.4 Ανάλυση και συνδιακύμανση για ορισμένες περιπτώσεις γενικευμένων αντιστρόφων Θα δώσουµε τώρα τη µορφή των πινάκων ανάλυσης και συνδιακύµανσης για τις δύο βασικές λύσης του γραµµικού αντίστροφου προβλήµατος που είναι η των ελαχίστων τετραγώνων για προβλήµατα καθαρά υπερ-ορισµένα και ελαχίστου µήκους για προβλήµατα καθαρά υπο-ορισµένα. Θα υποθέσοµε για λόγους απλότητας ότι [cov ] = I Λύση ελαχίστων τετραγώνων : g G = G G G g N = GG = G G G G g R = G G = G G G G = I g g [cov m] = G G = G G G G G G = G G Λύση ελαχίστου µήκους g G = G GG g N = GG = GG GG = I g R = G G= G GG G ( ) g g [cov m] = G G = G GG GG G = G G G G Παρατηρούµε τη συµµετρία ανάµεσα στις δύο περιπτώσεις µε τη λύση ελαχίστων τετραγώνων να µας δίνει µοναδιαίο πίνακα ανάλυσης παραµέτρων ( η εκτίµηση των παραµέτρων γίνεται µε τέλεια ανάλυση αυτό δεν σηµαίνει πάντως ότι ανακτήθηκαν 43

8 µε ακρίβεια οι παράµετροι), ενώ η λύση ελαχίστου µήκους δίνει µοναδιαίο πίνακα ανάλυσης δεδοµένων. Ενδιάµεσες περιπτώσεις ασφαλώς θα δίδουν και ενδιάµεσους πίνακες ανάλυσης δεδοµένων και παραµέτρων. 4.5 Μετρήσεις ποιότητας της ανάλυσης και της συνδιακύμανσης. Έχοντας δώσει τους ορισµούς των πινάκων ανάλυσης και συνδιακύµανσης, έχει νόηµα να δούµε εάν µπορούµε να τους χαρακτηρίσουµε ως προς την ποιότητά τους σε σχέση µε αυτό που εκφράζουν. Ασφαλώς η ποιότητα θεωρείται άριστη όταν οι πίνακες είναι µοναδιαίοι. Κάθε απόκλιση από τους µοναδιαίους θεωρείται ότι εκφράζει µείωση της ποιότητας επίλυσης του αντιστρόφου προβλήµατος. Η ποιότητα λοιπόν εκφράζεται µέσω της διαφοράς των στοιχείων από τα αντίστοιχα στοιχεία του µοναδιαίου πίνακα και µας οδηγεί στον ορισµό του «εύρους» του πίνακα ανάλυσης δεδοµένων και µετρήσεων που εκφράζεται από την ευκλείδεια νόρµα : N N Nij Iij i= 1 j= 1 sprea( N) = N - I = [ ] (4.6) N N Rij Iij i= 1 j= 1 sprea( R) = R - I = [ ] (4.7) Επίσης ορίζεται το µέγεθος του µοναδιαίου πίνακα συνδιακύµανσης από τη σχέση M 1/ = = ii i= 1 [ ] size( cov m ) [var m] [cov m ] (4.8) η οποία δεν λαµβάνει υπ όψιν της τα στοιχεία εκτός διαγωνίου. 4.6 Μία εφαρμογή: Ανάκτηση της εξίσωσης ευθείας Ως εφαρµογή των ανωτέρω, ας δούµε ένα απλό παράδειγµα υπολογισµού της ποιότητας της ανάκτησης δεδοµένων και παραµέτρων όταν έχοµε ένα καθαρά υπερορισµένο πρόβληµα, όπως αυτό της ανάκτησης της εξίσωσης ευθείας από µετρήσεις. Θα υποθέσοµε ότι οι µετρήσεις έχουν ίση διασπορά και ότι είναι ασυσχέτιστες µεταξύ τους. Έστω ότι οι µετρήσεις γίνονται σε µια πρώτη περίπτωση στις τετµηµένες 1,,3 (Ν=3) και σε µία δεύτερη περίπτωση στις τετµηµένες 1,, 4 (Ν=3). Πρόκειται ουσιαστικά για δύο διαφορετικά πειράµατα για την εκτίµηση των δύο παραµέτρων που περιγράφουν την ευθεία και θα προσπαθήσοµε να δούµε ποιοτικές διαφορές µεταξύ τους, χωρίς να αναφερθούµε καθόλου σε µεγέθη µετρήσεων. 44

9 Το πρόβληµα είναι καθαρά υπερορισµένο και γνωρίζοµε ήδη ότι η λύση ελαχίστων τετραγώνων στη γενική περίπτωση είναι est N Σzi m = G G G = Σzi Σz i z1 z... z (4.9) N.. N Ο γενικευµένος αντίστροφος είναι g G = G G G (4.10) Εξειδικεύοντας τα παραπάνω στην περίπτωση των τριών µετρήσεων, έχοµε : και m G G G (4.11) est Σzi = = zi z i z1 z z Σ Σ g 1 Σzi Σz i G = G G G = 3 Σzi ( Σzi ) zi 3 z1 z z (4.1) Σ 3 Θα αναλύσουµε την πρώτη περίπτωση : Έχοµε : Σ zi =6, Σ =14, ( ) z i Σ =36, εποµένως z i G g = 6 = (4.13) Ο πίνακας ανάλυσης δεδοµένων είναι : g 1 N = GG = 1 6 = (4.14) και ο πίνακας ανάλυσης µετρήσεων : 45

10 g R = G G= 1 6 = = = I (4.15) 1 3 Από τον πίνακα ανάλυσης δεδοµένων, βλέποµε ότι η πρώτη και η τρίτη µέτρηση είναι πιο σηµαντικές αφού αυτές ουσιαστικά καθορίζουν το αποτέλεσµα. Από τον πίνακα ανάλυσης παραµέτρων βλέποµε ότι οι δύο άγνωστες παράµετροι ανακτώνται ανεξάρτητα η µία της άλλης. Υπολογίζοντας τον µοναδιαίο πίνακα συνδιακύµανσης έχοµε ότι / 6 1 [cov m ] = G G = = / (4.16) M 17 size( [ cov m] ) = [cov m ] = (4.17) 6 ii i= 1 Αναλύοντας την δεύτερη περίπτωση έχοµε αντίστοιχα : και Σ z i =7, Σ =1, ( ) z i Σ =49, εποµένως z i G g = 14 = (4.13) Ο πίνακας ανάλυσης δεδοµένων είναι : g 1 N = GG = = (4.14) και ο πίνακας ανάλυσης µετρήσεων : g R = G G= 1 14 = = = I (4.15) 1 4 Από τον πίνακα ανάλυσης δεδοµένων, βλέποµε ότι η πρώτη και η τρίτη µέτρηση είναι επίσης οι πιο σηµαντικές και ουσιαστικά καθορίζουν το αποτέλεσµα. Ωστόσο, σε σχέση µε την προηγούµενη περίπτωση, η τρίτη µέτρηση που είναι πιο αποµακρυσµένη από τις άλλες είναι πιο σηµαντική, αφού τώρα N 3,3 = 13 / 14> 5 / 6 46

11 ενώ τα άλλα δύο στοιχεία της 3 ης γραµµής του πίνακα είναι µικρότερα έναντι της προηγούµενης περίπτωσης. Από τον πίνακα ανάλυσης παραµέτρων βλέποµε ότι οι δύο άγνωστες παράµετροι ανακτώνται ανεξάρτητα η µία της άλλης όπως άλλωστε αναµενόταν. Υπολογίζοντας τον µοναδιαίο πίνακα συνδιακύµανσης έχοµε ότι και / 14 (7 /14) [cov m ] = G G = 14 = 7 3 (7 /14) 3 /14 (4.16) M 4 17 size( [ cov m] ) = [cov m ] = < (4.17) 14 6 ii i= 1 που σηµαίνει ουσιαστικά µικρότερο εύρος διακύµανσης των προς εκτίµηση παραµέτρων σε περίπτωση που υπάρχει κάποιο λάθος στις µετρήσεις. ηλαδή το λάθος στις µετρήσεις όταν οι µετρήσεις είναι σχετικά αποµακρυσµένες µεταξύ τους, δίνει µικρότερη πιθανή διακύµανση παραµέτρων υπολογισµού της ευθείας. Τα παραπάνω αποτυπώνονται σχηµατικά στο Σχήµα 4. όπου φαίνονται οι ακραίες ευθείες που µπορεί να σχεδιαστούν µε λύση ελαχίστων τετραγώνων, όταν οι µετρήσεις έχουν γίνει µε ίδια διασπορά αλλά σε τετµηµένες που στην µία περίπτωση είναι κοντά µεταξύ τους ενώ στην δεύτερη απέχουν περισσότερο. Η διασπορά των επαγόµενων παραµέτρων στην δεύτερη περίπτωση είναι αισθητά µικρότερη. Σχήµα 4.. Σχεδιασµός ευθείας µε βάση τρείς µετρήσεις που έχουν γίνει σε διαφορετικά σηµεία. Στην περίπτωση (α) οι µετρήσεις έγιναν σε κοντινά σηµεία και η διασπορά των παραµέτρων που ορίζουν τις ευθείες είναι µεγάλη, ενώ στην περίπτωση (b) η αντίστοιχη διασπορά είναι µικρή. 47