Γραμμικό μοντέλο ελαχίστων τετραγώνων Linear least squares multiple regression

Transcript

1 Στα ενδότερα της μεθόδου των ελαχίστων τετραγώνων Αναλυτικές Μέθοδοι στη Γεωπληροφορική Μεταπτυχιακό Πρόγραμμα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ Ακαδ. Έτος 178 Μέθοδος Ελαχίστων ετραγώνων Σύνδεση με τα προηγούμενα: Στα ενδότερα της μεθόδου Μέθοδος Ελαχίστων ετραγώνων Προηγούμενα αναφερθήκαμε στις περιστάσεις που οδήγησαν στην τυπική άφιξη της μεθόδου: ο 189, ο Gauss δημοσιεύει την εργασία Η θεωρία της κίνησης των ουρανίων σωμάτων όπου έδωσε μια πιθανολογική αιτιολόγηση της μεθόδου, η οποία βασίζεται στην υπόθεση της κανονικής κατανομής των σφαλμάτων. Ακολούθησε, το 18, περαιτέρω τεκμηρίωση της μεθόδου στην εργασία Θεωρία του συνδυασμού παρατηρήσεων λιγότερο επηρεασμένων από σφάλματα, όπου αντικατέστησε τη ρίζα του μέσου τετραγωνικού σφάλματος με το μέσο απόλυτο σφάλμα του Lapace Μεταξύ 18 και 18 ο Lapace διατυπώνει τη μέθοδο των ελαχίστων τετραγώνων από την αρχή ότι η καλύτερη εκτίμηση θα πρέπει να έχει το μικρότερο μέσο σφάλμα -το μέσο όρο της απόλυτης τιμής του σφάλματος. Μέθοδος Ελαχίστων ετραγώνων Ένα θεμελιώδες ζητούμενο σε πολλά προβλήματα υπολογισμών επιστημονικού ενδιαφέροντος είναι να εκτιμήσουμε τις παραμέτρους ενός μαθηματικού μοντέλου από παρατηρήσεις που υπόκεινται σε σφάλματα. Προς τούτο, μια κοινή πρακτική είναι να μειωθεί η επιρροή των σφαλμάτων χρησιμοποιώντας πλεονάζουσες παρατηρήσεις αντί του να αυξήσουμε τον αριθμό των παραμέτρων του εκάστοτε μοντέλου Πρακτικά, απαιτείται ο καθορισμός της "καλύτερης" λύσης σε ένα σύστημα γραμμικών της μορφής A = b. b Μέθοδος Ελαχίστων ετραγώνων Ανάμεσα στους πολλούς πιθανούς τρόπους καθορισμού μιας βέλτιστης τέτοιας λύσης είναι να αναζητηθεί το μικρότερο σε μέγεθος υπολειπόμενο διάνυσμα = b-a μια επιλογή που από στατιστικούς λόγους, οδηγεί, μέσω μιας σειράς από n μετρήσεις, σε ένα απλό υπολογιστικό πρόβλημα εκτιμητριών των παραμέτρων που ελαχιστοποιούν το άθροισμα των τετραγώνων των συνιστωσών i, i=1,,,n του διανύσματος των υπολοίπων των μετρήσεων S = i (b A min Μέθοδος Ελαχίστων ετραγώνων Καθολικό κριτήριο ελαχιστοποίησης: Oι παράγωγοι του συναρτησιακού μοντέλου ελαχιστοποίησης ως προς τις άγνωστες μεταβλητές, τίθενται ίσες με το μηδέν Αυτό το κριτήριο καταλήγει σε ελάχιστα του συναρτησιακού μοντέλου S ; Σημαντικές περιπτώσεις: inea east squaes Weighted Least Squaes Non-inea Least Squaes Γραμμικό μοντέλο ελαχίστων τετραγώνων Linea east squaes mutipe egession α κύρια προβλήματα είναι: Πως επιλέγονται οι ανεξάρτητες μεταβλητές που θα χρησιμοποιηθούν για κάποιο μοντέλο αυτές συνήθως σχετίζονται μεταξύ τους Συνήθεις μεθοδολογίες επιλογής των καταλληλότερων ανεξάρτητων μεταβλητών όλες οι μεταβλητές ταυτόχρονα (μαθηματική εισαγωγή και εξαγωγή μεταβλητών σε βήματα (stepise appoach Χρήζει ιδιαίτερης προσοχής, γιατί οδηγεί σε διαφορετικά μοντέλα περιορίζει τις επιλογές Προς τα εμπρός(πίσω εισαγωγή (εξαγωγή (foad/backad Γραμμικό μοντέλο ελαχίστων τετραγώνων Linea east squaes mutipe egession α κύρια προβλήματα είναι: Πως τεκμηριώνεται η ακρίβεια του μοντέλου Προσαρμόζεται καλά στα δεδομένα ή επηρεάζεται σε κάποιες (λίγες περιπτώσεις Κατάλληλα διαγνωστικά προσαρμογής του μοντέλου Παράτυπα σημεία (outies εδομένα που διαφέρουν σημαντικά από όλα τα άλλα Μπορούν να επηρεάσουν σημαντικά τις υπολογισμένες τιμές των παραμέτρων του μοντέλου Μπορούν να ανιχνευτούν και να απομονωθούν από τα ιδιαίτερα μεγάλα υπόλοιπα ή κατάλοιπα (esiduas που δίνουν (δηλ. από τις διαφορές των παρατηρήσεων από τις εκτιμήσεις τους Γενικευμένο γραμμικό μοντέλο ελαχίστων τετραγώνων Ιδιαίτερο ενδιαφέρον παρουσιάζει η περίπτωση που έχουμε ένα υπέρ- A = b ή A = καθορισμένο b γραμμικό σύστημα (ovedetemined inea system Ο πίνακας σχεδιασμού A έχει n γραμμές και u στήλες, όπου n>u : δηλ., έχουμε περισσότερες εξισώσεις παρατήρησης από τον αριθμό των αγνώστων παραμέτρων

2 Γενικευμένο γραμμικό μοντέλο ελαχίστων τετραγώνων ερμηνεία: να βρεθεί το διάνυσμα των παραμέτρων που ικανοποιεί, με την έννοια της βέλτιστης προσέγγισης, τη σχέση A=b π.χ., ελαχιστοποιεί τη διαφορά b A π.χ., ελαχιστοποιεί τη διαφορά b A ισοδύναμα, ελαχιστοποιεί το b A ή (b A. (b A min ( b A ( b A = A ( b A = ( b A ( b A A A = A b Σήμερα θα δούμε λεπτομερέστερα... ις σχέσεις μεταξύ παραμέτρων, παρατηρήσεων και μοντέλων α χαρακτηριστικά μοντέλα της Μ.Ε.. Έμμεσες παρατηρήσεις Epicit mode Άμεσες παρατηρήσεις Impicit mode Λεπτομέρειες από τη θεωρία Μ.Ε.. Η μέθοδος των ελαχίστων τετραγώνων, προϋποθέτει την ελαχιστοποίηση του αθροίσματος των τετραγώνων των αποκλίσεων των παρατηρήσεων από τις εκτιμήσεις των αναμενόμενων τιμών τους E{}, οι οποίες είναι συναρτήσεις των αγνώστων παραμέτρων. Άγνωστοι παράμετροι παρατήρηση 1 σφάλμα 1 παρατήρηση σφάλμα παρατήρηση 3 σφάλμα 3... παρατήρηση σφάλμα n n Κριτήριο ελαχίστων τετραγώνων (- (- min Βέλτιστη εκτίμηση του Λεπτομέρειες από τη θεωρία Μ.Ε.. Η μέθοδος μπορεί να γενικευθεί, εάν θεωρήσουμε τον θετικά ορισμένο πίνακα μεταβλητοτήτων-συμμεταβλητοτήτων των παρατηρήσεων 1 = σ ο Ρ οπότε η ποσότητα προς ελαχιστοποίηση είναι η τετραγωνική μορφή (east squaes nom ( - ˆ P ( - ˆ min Λεπτομέρειες από τη θεωρία Μ.Ε.. Η μέθοδος μπορεί να γενικευθεί, 1 = σ ο Ρ ( - ˆ P ( - ˆ min ο συνηθέστερο στατιστικό μοντέλο που χρησιμοποιείται σε πολλά προβλήματα συνόρθωσης γεωδαιτικών παρατηρήσεων, είναι η λεγόμενη μέθοδος των εμμέσων παρατηρήσεων, η οποία μπορεί εύκολα να μετασχηματιστεί ή να της επιβληθούν δεσμεύσεις, ανάλογα με την περίσταση και το πρόβλημα ενδιαφέροντος. Μέθοδος των εμμέσων παρατηρήσεων Οι αναμενόμενες τιμές των παρατηρήσεων, μπορούν να αναπαρασταθούν από γραμμικές σχέσεις που συνδέουν τους συντελεστές (δηλ. τα στοιχεία του πίνακα σχεδιασμού Α και τις άγνωστες παραμέτρους. π.χ. όπως συμβαίνει στις δορυφορικές παρατηρήσεις, ρ ij =[(X j - i +(Y j -y i + (Z j -z i ] 1/ οι σχέσεις αυτές συνήθως δεν εξάγονται άμεσα αλλά μετά από κατάλληλη γραμμικοποίηση (συνήθως κατά ayo μη-γραμμικών σχέσεων σ o A = E{ }, με = Ρ Μέθοδος των εμμέσων παρατηρήσεων σ o A = E{ }, με = Ρ A: (n u πίνακας (γνωστών συντελεστών, anka = u (αφού n u Α είναι πλήρους βαθμού : το (u 1 διάνυσμα των αγνώστων παραμέτρων το (n 1τυχαίο διάνυσμα των παρατηρήσεων : ο (n n πίνακας μεταβλητότηταςσυμμεταβλητότητας των συνιστωσών του, με τον πίνακα βαρών P γνωστό (θετικά ορισμένο και το σ ο (a pioi τυπική απόκλιση της μονάδας βάρους αυθαίρετα ορισμένο. Μέθοδος των εμμέσων παρατηρήσεων (Gauss - Makoff Γενικά, για n u, το σύστημα A = των παρατήρησης είναι αδύνατον να επιλυθεί Προσθέτοντας το (n 1 διάνυσμα των πιθανών σφαλμάτων του, το παραπάνω μοντέλο γίνεται: σ o A = +, με Ε{ } = = Ρ Μέθοδος των εμμέσων παρατηρήσεων (Gauss - Makoff Αυτό είναι το μοντέλο που ο Gauss, μέσω της μεθόδου της μέγιστης πιθανοφάνειας, κατέληξε στην μέθοδο των ελαχίστων τετραγώνων Ο Andei Makoff (ή Makov, προσδιόρισε τις παραμέτρους του ίδιου μοντέλου, μέσω της μεθόδου της βέλτιστης ανεπηρέαστης εκτίμησης Makoff mode σ o A = +, με Ε{ } = = Ρ

3 Εκτίμηση των αγνώστων παραμέτρων E{ } = A και ( - ˆ P ( - ˆ min Κανονικές εξισώσεις (A PA - A P = Εάν P = I ισοβαρείς παρατηρήσεις ˆ = (A PA A P E{ } = ˆ = A ˆ και ˆ = ( ˆ - Εκτίμηση αγνώστων παραμέτρων Καλύτερες τιμές για το διάνυσμα των παρατηρήσεων (& των υπολοίπων τους Στο ίδιο αποτέλεσμα καταλήγει και η μέθοδος της Βέλτιστης Γραμμικής Ανεπηρέαστης Εκτίμησης, όπως επίσης και εκείνη της Μέγιστης Πιθανοφάνειας με την προϋπόθεση ότι οι παρατηρήσεις ακολουθούν την κανονική κατανομή (κατανομή Gauss ο πρόβλημα της εκτίμησης παραμέτρων και της συνόρθωσης παρατηρήσεων αφορά τον ποσοτικό προσδιορισμό επιλεγμένων μεγεθών που περιγράφουν ένα φυσικό σύστημα ενδιαφέροντος, με γνωστές από προηγούμενες αναλύσεις σχέσεις μεταξύ τους (ποιοτικά χαρακτηριστικά που έχουν εκφραστεί με μαθηματικές εξισώσεις. Στην πράξη, ο αριθμός των παραμέτρων ενός φυσικού συστήματος, επιδιώκεται να είναι όσον το δυνατόν μικρότερος Η ανεύρεση της λειτουργικής σχέσης μεταξύ των άγνωστων παραμέτρων και των παρατηρούμενων ποσοτήτων διαδραματίζει βασικό ρόλο στη μεθοδολογία ανάλυσης ενός φαινομένου, ενός πειράματος ή μιας μετρητικής διαδικασίας ο μοντέλο είναι το κεντρικό στοιχείο τόσο στο σχεδιασμό της συλλογής παρατηρήσεων, όσο και στην επεξεργασία των δεδομένων που παρατηρούνται. Σε συμβολική μορφή μπορεί να γραφτεί ως f(q=, όπου f : συναρτήσεις f j, j=1,,,m που συνδέουν n ποσότητες q i, i=1,,, n που εκφράζονται συμβολικά από το διάνυσμα q f(q= Λόγω των νόμων της φύσης ή της γεωμετρίας, σε κάποιες περιπτώσεις, μερικές από τις συνιστώσες του διανύσματος q μπορεί να είναι πλήρως γνωστές, ήστη στατιστική ορολογία χωρίς σφάλματα / eoess συνήθωςαυτέςαναφέρονταιωςσταθερέςκαι εκφράζονται ως οι συνιστώσες ενός διανύσματος c γενικά οι τιμές τους θεωρούνται δεδομένες και δεν επιχειρείται βελτιστοποίηση των τιμών τους π.χ., η σταθερά της παγκόσμιας έλξης της βαρύτητας, η ταχύτητα του φωτός στο κενό, f(q= Σε αντίθεση με τις σταθερές, υπάρχουν ποσότητες για τις οποίες δεν έχουμε καμία ή κάποια πληροφορία Αυτές είναι άγνωστες παράμετροι p, p=1,,,u,u που συνήθως εκφράζονται από ένα διάνυσμα π.χ., τα υψόμετρα ή άλλες συντεταγμένες σημείων, Παραμετρικός βαθμός ενός φυσικού συστήματος: είναι o ελάχιστος αριθμός των παραμέτρων που απαιτούνται για τον πλήρη καθορισμό του συστήματος από κάποιο μαθηματικό μοντέλο π.χ. οπ.β. ενός επίπεδου τριγώνου είναι 3, αφού τρία μεγέθη (3 γωνίες ή πλευρές και 1 γωνία, ή 1 πλευρά και γωνίες, αρκούν για τον προσδιορισμό του f(q= Μεταξύ σταθερών και παραμέτρων, είναι οι ποσότητες των παρατηρήσεων (obsevabes k, k=1,,,n οποιαδήποτε φυσική ή γεωμετρική ποσότητα που μπορεί να παρατηρηθεί ή να μετρηθεί Εκφράζονται από τις αριθμητικές τιμές των μετρήσεων με κάποια ακρίβεια Ο αριθμός τους δεν πρέπει να είναι μικρότερος του π.β. του συστήματος ενδιαφέροντος, γιατί αλλιώς δεν έχουμε επαρκείς πληροφορίες για τον προσδιορισμό του, π.χ. για ένα επίπεδο τρίγωνο δύο γωνίες δεν αρκούν, γιατί δίνουν μόνο το σχήμα αλλά όχι και το μέγεθος του τριγώνου f(q = f(c,, c,, = ή συνήθως f(,, = Άμεση αναφορά στις σταθερές c παραλείπεται (αυτές θεωρούνται μέρος του συναρτησιακού μοντέλου Οι άγνωστοι παράμετροι, γενικά, δεν μετρώνται απευθείας, και θεωρούνται ανεξάρτητοι μεταξύ τους, αλλά προσδιορίζονται, έμμεσα, μέσω του συναρτησιακού μοντέλου από τις παρατηρήσεις γι αυτό, και συνήθως το διάνυσμα αποκαλείται και λύση του εκάστοτε προβλήματος ενδιαφέροντος Οποιεσδήποτε παρατηρήσεις που δεν συνδέονται συναρτησιακά με κάποιες από τις παραμέτρους του εκάστοτε προβλήματος είναι εν πολλοίς άχρηστες f(q = f(c,, c,, = ή συνήθως f(,, = Σε κάθε μια από τις συνιστώσες του μαθηματικού μοντέλου, αντιστοιχούν τρεις μαθηματικοί χώροι ορισμού του μοντέλου: του χώρου Χ των παραμέτρων ήτουχώρουτων λύσεων (paamete ή soution space με διάσταση u ή συμβολικά dimχ = u του χώρου L των παρατηρήσεων (obsevation space με διάσταση n ή συμβολικά diml = n του χώρου F των συναρτησιακών σχέσεων f (mode space με διάσταση m ή συμβολικά dimf = m Paamete space X - Χώρος των παραμέτρων X (dimx=u f A m u = ( o ( o Mode space F - Χώρος των μοντέλων f F (dimf=m G u n H n u Obsevation space L - Χώρος των παρατηρήσεων L (diml=n f m n = ( o ( o σχέσεις μεταξύ παραμέτρων, παρατηρήσεων και μοντέλων

4 Οι φυσικές ή γεωμετρικές σχέσεις που συνδέουν τις μετρήσεις με τις παραμέτρους ενδιαφέροντος σε ένα πείραμα ή μετρητική διαδικασία, αποτελούν το βασικότερο στοιχείο της ανάλυσης των διαθέσιμων δεδομένων ύποι μοντέλων α μοντέλα που τις εκφράζουν μπορεί να είναι άμεσα (diect, έμμεσα (indiect, μικτά (impicit. Γραμμικά ή μη-γραμμικά, και να συναντώνται αυτούσια ή σε συνδυασμούς ύποι μοντέλων και εκτιμήσεις τους Στην πραγματικότητα, οι παρατηρήσεις διαφέρουν από τις πραγματικές τιμές των παρατηρούμενων μεγεθών ενδιαφέροντος, εξ αιτίας αναπόφευκτων σφαλμάτων στις μετρήσεις πρόβλημα επιλογής κατάλληλων τιμών των παραμέτρων με τη βοήθεια των παρατηρήσεων από τις διαθέσιμες (συνήθως πλεονάζουσες μετρήσεις η ΜΕ οδηγεί σε βέλτιστες εκτιμήσεις των παραμέτρων σύμφωνα με το κριτήριο ελαχιστοποίησης, και από αυτές στον υπολογισμό των κατ εκτίμηση βέλτιστων τιμών των παρατηρούμενων μεγεθών (συνόρθωση των παρατηρήσεων ιάφορες δυνατές τιμές του διανύσματος των παραμέτρων Αντίστοιχες τιμές f(, του διανύσματος των παρατηρούμενων μεγεθών Αντίστοιχες τιμές των σφαλμάτων (υπόλοιπο των μετρήσεων φ συνάρτηση φ( ελαχίστων τετραγώνων (ή/και επεκτάσεις της, π.χ. ελάχιστα τετράγωνα φ(=min με βάρη Μαθηματικό μοντέλο f(= Κριτήριο ελαχιστοποίησης φ(= min Σφάλματα = - f(, ύποι μοντέλων Epicit in : οι παράμετροι εκφράζονται απευθείας από τις μετρήσεις (φορμαλισμός στο χώρο X =g( ή στη γραμμική μορφή = G+ G, γνωστά, dim G = u n, dim = u = m Απλούστερη περίπτωση, = (δηλ. G = Ι = και u = n = m Σε κάποιες περιπτώσεις: g(=, μοντέλα συνθηκών (condition modes, που εκφράζουν τις φυσικές ή γεωμετρικές σχέσεις που συνδέουν τις μετρήσεις μεταξύ τους α β G + = dim G = m n, dim = m γ G = [ ], = [ αβγ], = [ -π ] ύποι μοντέλων Epicit in : οι μετρήσεις εκφράζονται απευθείας ως συνάρτηση των παραμέτρων (φορμαλισμός στο χώρο L =h( ή στη γραμμική μορφή = H+ H, γνωστά, dim H = n u, dim = n = m H εκφράζει το μετασχηματισμό από το χώρο F στον χώρο L Εάν m > u το σύστημα των είναι υπέρκαθορισμένο (ovedetemined Εάν m < u το σύστημα των είναι υπόκαθορισμένο (undedetemined Εάν m = u το σύστημα των είναι μοναδικά καθορισμένο (uniquey detemined ύποι μοντέλων Impicit: υπάρχει μια μικτή σχέση μεταξύ μετρήσεων και παραμέτρων (φορμαλισμός στο χώρο F f(, = ή στη γραμμική μορφή A+ + = A,, γνωστά, dim f = m, dim = m, dim A= m u, dim = m n Οι διαστάσεις των Α και Β και ο βαθμός τους (ank καθορίζουνεάντοσύστηματωνείναιυπέρκαθορισμένο (ovedetemined, υπό-καθορισμένο (undedetemined ή μοναδικά καθορισμένο (uniquey detemined Σαφώς, το συγκεκριμένο μοντέλο είναι το πιο γενικό και τα προηγούμενα άμεσα και έμμεσα μοντέλα αποτελούν ειδικές περιπτώσεις του Epicit in? =g( ή =G +? Μοναδική λύση u=n ΟΧΙ Ηλύσηενός μαθηματικού μοντέλου είναι ισοδύναμη με τον μετασχηματισμό (, (, Γραμμικό σύστημα? ΝΑΙ Epicit in? =H( ή = H+? ΝΑΙ u = n? u< n Υποκαθορισμένη λύση ΟΧΙ ΟΧΙ u> n Μη γραμμική λύση ΟΧΙ Εφικτή η γραμμικοποίηση? ΝΑΙ γραμμικοποίηση Μετατροπή από impicit σε epicit μορφή Υπερκαθορισμένη λύση Χ L ( δ O A ( o ( o F = f ( ( o, o Miscosue vecto O ( ( o ( o f(,,...,, ˆ 1 = f(, ˆ u = f(, + ˆ = Μη γραμμικές σχέσεις μεταξύ παραμέτρων και παρατηρήσεων Μη γραμμικές σχέσεις μεταξύ παραμέτρων και παρατηρήσεων f(, = f( f( (o (o A mu, mn, m1 - γνωστά δ u1, n1 - άγνωστα + δ,, (o A δ + Β + = (o ιανύσματα διάστασης m m εξισώσεις ( διάσταση του χώρου F f(,,...,, ˆ 1 u = f(, ˆ = f(, + ˆ = f + f + + = = = = (o (o (o (o ( ( ( o ( o

5 Μη γραμμικές σχέσεις μεταξύ παραμέτρων και παρατηρήσεων Με άλλα λόγια, επειδή τα περισσότερα μοντέλα που χρησιμοποιούμε στις εφαρμογές της ΜΕ είναι μηγραμμικά, συνήθως μετά από τη γραμμικοποίησή τους εκφράζονται από το γραμμικό μέρος μιας σειράς ayo, όπου για τη γραμμικοποίηση χρησιμοποιούνται οι μετρήσεις και προσεγγιστικές τιμές ( για τις παραμέτρους ενδιαφέροντος f (, = f ( ( + δ, ( + ( ( (, ( f = f + ( ( f ( ( ( = + = ( ( = = ( Για να υπολογιστεί το διάνυσμα δ, πρέπει να ελαχιστοποιηθεί είτε το διάνυσμα στον χώρο L min ( είτε το διάνυσμα = τηςπροβολήςτου στον χώρο F min ( γραμμικό μοντέλο = Aδ +, όπου, από το νόμο μετάδοσης των σφαλμάτων, = = M Εκτίμηση των αγνώστων παραμέτρων (φορμαλισμός στο χώρο F f ( min ( f = [( A δ + ( A δ + ] δ Σύστημα κανονικών ˆ = ( A A + ( A = Πίνακας κανονικών διάνυσμα διορθώσεις του διανύσματος (o = (o (o +δ Εκτίμηση των αγνώστων παραμέτρων = (φορμαλισμός στο χώρο L + k ( A δ + + ] = φ = vaiation function min ( Μαθηματικό τέχνασμα που προτάθηκε από τον Lagange (το = δεν μπορεί πάντα να μετασχηματιστεί στο, γιατί γενικά ο πίνακας Β δεν είναι κανονικός (τετραγωνικός k F (Lagange coeates, άγνωστο διάνυσμα διάστασης m, παίζει τον ίδιο ρόλο όπως και τα διανύσματα δ και. Εκτίμηση των αγνώστων παραμέτρων (φορμαλισμός στο χώρο L = ˆ + = = Α = δ = Α + ˆ + = k Η απευθείας αντιστροφή του πίνακα των κ.ε.. (λόγω( και των μηδενικών υποπινάκων του δεν αποτελεί πάντα μια αποδοτική διαδικασία min ( ˆ + = Α = Α + ˆ + = Σύστημα κανονικών ˆ + = A A Εκτίμηση των αγνώστων παραμέτρων (φορμαλισμός στο χώρο L αντιστροφή του πίνακα των κανονικών με διαμερισμό A A ˆ A + = X U + = D Y V [ D A ] Y + [ V A U ] =, A : αντιστρέψιμος A [ ] + A δ ˆ - M A [ ] = A ( A M A δ + A M = + = δ ˆ Σύστημα κανονικών ˆ Εκτίμηση των αγνώστων παραμέτρων, Ελαχιστοποίηση της νόρμας των ελαχίστων τετραγώνων στο χώρο L ( A A + ( A = Ελαχιστοποίηση της νόρμας των ελαχίστων τετραγώνων στο χώρο F ( A M A δ ˆ + A M = min ( min ( ο ίδιο αποτέλεσμα, αφού = M = ˆ N = ( A M A δ = A ( A =, κανονικές εξισώσεις ( u u U = A M, M : πίνακας βαρών των παρατηρήσεων στο χώρο F δ ˆ -N U, = M ( A +, ˆ = k, ˆ ˆ = + ˆ = Επέκταση, στην γενικότερη περίπτωση a- pioi γνώσης των παραμέτρων Οι άγνωστοι παράμετροι αντιμετωπίζονται ως μερικώς γνωστοί (quasi-obsevabes obsevabes, δηλ. με a-pioi θεωρούμενο γνωστό πίνακα βαρών P X ή πίνακα συμμεταβλητότητας X Ελαχιστοποίηση της νόρμας των ελαχίστων τετραγώνων minimum : + + k = φ = vaiation function ( A δ + + ] ιαμόρφωση του συστήματος των κανονικών = ˆ + = = + Α = δ = Α + ˆ + = k Επιπλέον όροι + + k ( A δ + + ] min ˆ + = + Α = Α + ˆ + = Σύστημα κανονικών ˆ + = A A

6 Εκτίμηση των αγνώστων παραμέτρων, ο σύστημα των κανονικών, στη γενικότερη μορφή του ( A M A + + A M = ή ( A M A + Ρ + A M = = -N N = ( A M A + P U = A M = A ( U, = M ( A + = ( ˆ = k, ˆ ˆ = + ˆ ( A +, Γίνεται με την εφαρμογή του νόμου μετάδοσης των σφαλμάτων Γενικά εάν μεταξύ δύο τυχαίων διανυσμάτων X, Y υφίσταται μια γραμμική σχέση της μορφής Υ=f(X, και ο πίνακας συμμεταβλητότητας για τις συνιστώσες του Χ είναι X ο αντίστοιχος πίνακας συμμεταβλητότητας για τις συνιστώσες του Υ δίνεται από τη σχέση: f ( X f ( X Y = X X X 1 f ( X f X f X f X 1 Y ( ( ( = X QY = QX X σ ο σ ο X X X Ρ =(/σ ο =Q : πίνακες συντελεστών βαρών Για το διάνυσμα των κλεισιμάτων των μετρήσεων (miscosue vecto = f (= (, = = M = f/ είναι ο δεύτερος πίνακας σχεδιασμού, και = Ας σημειωθεί ότι ο πίνακας μπορεί να υπολογιστεί πριν από τη συνόρθωση των παρατηρήσεων, και γι αυτό μπορεί να χρησιμοποιηθεί για τη στατιστική αξιολόγηση τους Για το διάνυσμα των αγνώστων παραμέτρων ˆ = ˆ ( o + = = [ ( A M A = N ( o ( A = ( A M A A M ] M = M A A [ ( A M A M N: πίνακας κανονικών A M ] Ο πίνακας συμμεταβλητότητας ˆ είναι ίδιος με τον δ ˆ γιατί το διάνυσμα των αρχικών προσεγγιστικών τιμών (o περιέχει σταθερές τιμές Για το διάνυσμα των υπολοίπων των μετρήσεων ˆ = = M (A + = (M A N A M - M = L, Εφαρμόζοντας το νόμο μετάδοσης των σφαλμάτων στην προηγούμενη σχέση ˆ = = L L ( L = M[ I - ( A MA µη αντιστρέψιµος πίνακας, χρήσιμος για την αξιολόγηση των παρατηρήσεων = L και αντικαθιστώντας για τον πίνακα = =M A M ] Για το διάνυσμα των συνορθωμένων παρατηρήσεων ˆ ˆ ( o = + ˆ = M ( Aδ + = L f (, ˆ = L ( = = Όπως είναι εμφανές (και αναμενόμενο ο πίνακας συμμεταβλητότητας των συνορθωμένων παρατηρήσεων θα περιέχει στοιχεία με μικρότερες τιμές διασποράς από τις αντίστοιχες τιμές των πρωτογενών παρατηρήσεων (πριν από τη συνόρθωση ˆ ˆ Μια ακόμα λεπτομέρεια Στις συνορθώσεις παρατηρήσεων με τη ΜΕ χρησιμοποιούνται οι πίνακες (συμμεταβλητότητας, P (βαρών ή (συμμεταβλητότητας των υπολοίπων των παρατηρήσεων P = σ ο = σ ο Ποιες είναι οι επιπτώσεις εάν δεν γνωρίζουμε εκ των προτέρων (a-pioi το συντελεστή σ της διασποράς των παρατηρήσεων (vaiance of unit eight και συνεπώς ο χρησιμοποιούμενος στη συνόρθωση πίνακας συμμεταβλητότητας δεν θα έχει τη σωστή κλίμακα ; η αναμενόμενη τιμή της νόρμας ˆ ˆ θα επηρεαστεί ; Μια ακόμα λεπτομέρεια Χρησιμοποιώντας τις προηγούμενες σχέσεις των κανονικών, και τις σχέσεις υπολογισμού των συντελεστών Lagange και της εκτιμήτριας ˆ των υπολοίπων των παρατηρήσεων μπορεί να δειχθεί ότι η το άθροισμα των τετραγώνων των σφαλμάτων των παρατηρήσεων που ελαχιστοποιείται για την εφαρμογή της ΜΕ δίνεται από τη σχέση ( ˆ ˆ = ( Α ΜΑ ( M = N + M όπου M = tace( M. Η αναμενόμενη τιμή της συγκεκριμένης νόρμας μπορεί εύκολα να υπολογιστεί ως: {( ˆ ˆ } { ˆ ˆ E = E δ N δ} + E{ M} {( ˆ ˆ } { ˆ ˆ E = E δ N δ} + E{ M} E{ ˆ ˆ = E ace ˆ ˆ { ( } = tace[ ˆ ˆ δ N δ} t δ δ N δ δ N ] = tace + tace E ˆ ˆ ( N N [ ( δ δ N ] = u + d όπου d είναι πραγματικός αριθμός, και μπορεί να δειχθεί ότι c=d... E { M } = E{ tace( M } = tace[ M και επειδή εξ ορισμού ισχύει E{ [ ] [ ] } = = = M E { } = M + E { M } = tace( M M + tace[ M ] = m + c όπου c είναι πραγματικός αριθμός = m - u ]

7 και χρησιμοποιώντας τον πίνακα βαρών Ρ αντί του πίνακα συμμεταβλητότητας 1 E{( ˆ ˆ 1 } = E{ ˆ P ˆ } = m u σ ο εκ των υστέρων (a a posteioi συντελεστής διασποράς και τελικά, όλοι οι πίνακες συμμεταβλητότητας υπολογίζονται στη σωστή τους κλίμακα βαθμοί ελευθερίας ˆ ˆ = ˆ σ ο L = ˆ ο = ˆ σ N ˆ P ˆ E{ σ ο } = ˆ σ ο = m u ˆ = ˆ σ ο ( A M A = ˆ σ ο P = LP Παράδειγμα #1 Έστω ότι ζητείται να επιλυθεί το σύστημα των με χρήση της μεθόδου των εμμέσων παρατηρήσεων ο σύστημα σε πινακοποιημένη μορφή δίνεται από τη σχέση Παράδειγμα #1 ο διάνυσμα των καλύτερων εκτιμήσεων των παρατηρήσεων (συνορθωμένες παρατηρήσεις α υπόλοιπα των μετρήσεων (σφάλματα Ο πίνακας σχεδιασμού ο διάνυσμα των καλύτερων εκτιμήσεων των παραμέτρων Παράδειγμα #1 Παράδειγμα #1 Παράδειγμα # Έστω ότι ζητείται να εξεταστεί αν τα δεδομένα (,y: (,, (1,-3, (,, (,-5 απεικονίζουν μια ευθεία γραμμή y = + D ή σε πινακοποιημένη μορφή Παράδειγμα # Έστω ότι έχετε τα ακόλουθα χωροσταθμικά δεδομένα, (σκέλος όδευσης, μήκος όδευσης (km, υψομετρική διαφορά, m: (1, 4, 5.1, (, 3,.34, (3,,.5, (4, 3, -6.13, (5,, -.68, (6,, 3. και (7,, 1.7. Επιπλέον είναι γνωστά τα υψόμετρα Η Y1 = 1. m, και H Y = 17.5 m. Ζητείται η επίλυση του χωροσταθμικού δικτύου, με τρόπο που τα δύο σημεία (Υ1 και Υ γνωστού υψομέτρου να διατηρήσουν το υψόμετρό τους και μετά την συνόρθωση των παρατηρήσεων, οι οποίες θεωρούνται ισοβαρείς.

8 Υπάρχουν περισσότερες από μία μεθοδολογίες για την επιβολή δεσμεύσεων στο δίκτυο Να θεωρηθούν τα ύψη των σημείων Y1 και Y, σταθερά και να μην εισαχθούν σαν άγνωστες παράμετροι στο σύστημα των Ή αλλιώς Να επιλυθεί το δίκτυο σε δύο φάσεις: δηλ., να συνορθωθεί πρώτα το δίκτυο με εισαγωγή των υψομέτρων όλων των σημείων ως αγνώστων παραμέτρων του δικτύου, και στη συνέχεια να επιβληθούν οι δεσμεύσεις για τα υψόμετρα των σημείων Y1 και Y Η δεύτερη μέθοδος επιτρέπει μια εκτίμηση της παραμόρφωσης που μπορεί να προκαλέσει στο δίκτυο η επιβολή περισσοτέρων δεσμεύσεων από τις απαραίτητες Σαν άσκηση Γεωμετρική ερμηνεία της Μ.Ε.. Θεμελιώδεις υποχώροι Σύνολο διανυσμάτων που απαρτίζουν τον υποχώρο Περιορισμοί που πρέπει να ικανοποιεί ο υποχώρος Ο χώρος των στηλών (ange space R(A αποτελείται από όλους τους γραμμικούς συνδυασμούς των στηλών ενός πίνακα Α u. Είναι υποχώρος του R Ο χώρος γραμμών (coumn space ενός πίνακα Α u ουσιαστικά είναι ο χώρος στηλών του ανάστροφου πίνακα Α u και συμβολίζεται με R(A Ο μηδενοχώρος (nu space ή αλλιώς πυρήνας Ν(Α αποτελείται από τα διανύσματα γιαταοποίαισχύει Α = Ο αριστερός μηδενοχώρος του Α που είναι μηδενοχώρος του Α. Περιέχει όλα τα διανύσματα για το οποία ισχύει A y = και συμβολίζεται με Ν(Α Γεωμετρική ερμηνεία της Μ.Ε.. ο κλασσικό γραμμικό ή γραμμικοποιημένο μοντέλο είναι της μορφής Ε{Δ} = A Δ u u uo uo o o u από το οποίο προκύπτουν οι κανονικές εξισώσεις και οι εκτιμήσεις o uo Γεωμετρική ερμηνεία της Μ.Ε.. R(A={ z z=a }: χώρος των στηλών του A επειδή anka = u, ορίζει έναν χώρο R u, A R u ο διάνυσμα των παρατηρήσεων ανήκει σε έναν άλλο χώρο R Η βέλτιστη εκτίμηση του διανύσματος, ορίζεται έτσι ώστε το διάνυσμα Α είναι η ορθογώνια προβολή του διανύσματος των παρατηρήσεων στο χώρο R(A (των στηλών του Α R(A A υ A π.χ. εάν ο χώρος Ε είναι δισδιάστατος υ Στην πράξη, η βέλτιστηλύση υπολογίζεται με τη Μ.Ε.. ελαχιστοποιώντας τη νόρμα (-A = υ υ min ηλ., το διάνυσμα υ των σφαλμάτων (υπόλοιπα των μετρήσεων σε κάθε στήλη του Α Α (-A= Α A = Α = (Α A Α υ = - A= - A(ΑA Α = Μ, όπου Μ = Ι - A(Α A Α Α υ= = = A = A(Α A Α = H, H: : hat mati, H =H, H =H, H+M=I και ΗΜ= = Η + M = + υ Στην πράξη, η βέλτιστηλύση υπολογίζεται με τη Μ.Ε.. ελαχιστοποιώντας τη νόρμα (-A = υ υ min ηλ., το διάνυσμα υ των σφαλμάτων (υπόλοιπα των μετρήσεων σε κάθε στήλη του Α Α (-A= Α A = Α = (Α A Α υ = - A= - A(ΑA Α = Μ, όπου Μ = Ι - A(Α A Α Α υ= = = A = A(Α A Α = H, H: hat mati, τελεστής της ορθογώνιας προβολής του στον συμπληρωματικό του χώρου των στηλών του Α H =H, H =H, H+M=I και ΗΜ= = Η +M = + υ ην επόμενη φορά... μια σημαντική επέκταση της ΜΕ Πως αντιμετωπίζουμε το πρόβλημα εφαρμογής της Μ.Ε.. όταν οι άγνωστοι παράμετροι ενδιαφέροντος... αλλάζουν με το χρόνο, όπως και όταν οι παρατηρήσεις συλλέγονται σε χρονικά διαφορετικές εποχές ;