Μέθοδος Ελαχίστων Τετραγώνων. της. των ελαχίστων τετραγώνων. Σύνδεση µε τα προηγούµενα: Μεταπτυχιακό Πρόγραµµα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ Ακαδ.

Transcript

1 Μέθοδος Ελαχίστων ετραγώνων Στα ενδότερα της µεθόδου των ελαχίστων τετραγώνων Σύνδεση µε τα προηγούµενα: Αναλυτικές Μέθοδοι στη Γεωπληροφορική Μεταπτυχιακό Πρόγραµµα ΓΕΩΠΛΗΡΟΦΟΡΙΚΗ Ακαδ. Έτος 167 Στα ενδότερα της µεθόδου Μέθοδος Ελαχίστων ετραγώνων Προηγούµενα αναφερθήκαµε στις περιστάσεις που οδήγησαν στην τυπική άφιξη της µεθόδου: ο 189, ο Gaussδηµοσιεύειτηνεργασία Ηθεωρία της κίνησης των ουρανίων σωµάτων όπου έδωσε µια πιθανολογική αιτιολόγηση της µεθόδου, η οποία βασίζεται στην υπόθεση της κανονικήςκατανοµήςτωνσφαλµάτων. Ακολούθησε, το 18, περαιτέρω τεκµηρίωση της µεθόδου στην εργασία Θεωρία του συνδυασµού παρατηρήσεων λιγότερο επηρεασµένων από σφάλµατα, όπου αντικατέστησε τη ρίζα του µέσου τετραγωνικού σφάλµατος µε το µέσο απόλυτο σφάλµα του Lapace Μεταξύ 18 και 18 ο Lapace διατυπώνει τη µέθοδο των ελαχίστων τετραγώνων από την αρχή ότι η καλύτερη εκτίµηση θα πρέπει να έχει το µικρότερο µέσο σφάλµα -το µέσο όρο της απόλυτης τιµής του σφάλµατος. Μέθοδος Ελαχίστων ετραγώνων Ένα θεµελιώδες ζητούµενο σε πολλά προβλήµατα υπολογισµών επιστηµονικού ενδιαφέροντος είναι να εκτιµήσουµε τις παραµέτρους ενός µαθηµατικού µοντέλου από παρατηρήσεις που υπόκεινται σε σφάλµατα. Προςτούτο, µιακοινήπρακτικήείναιναµειωθείη επιρροή των σφαλµάτων χρησιµοποιώντας πλεονάζουσες παρατηρήσεις αντί του να αυξήσουµε τον αριθµό των παραµέτρων του εκάστοτε µοντέλου Πρακτικά, απαιτείται ο καθορισµός της "καλύτερης" λύσης σε ένα σύστηµα γραµµικών εξισώσεωντηςµορφής A = b. b Μέθοδος Ελαχίστων ετραγώνων Ανάµεσα στους πολλούς πιθανούς τρόπους καθορισµού µιας βέλτιστης τέτοιας λύσης είναι να αναζητηθεί το µικρότερο σε µέγεθος υπολειπόµενο διάνυσµα = b-a µια επιλογή που από στατιστικούς λόγους, οδηγεί, µέσω µιας σειράς από n µετρήσεις, σε ένα απλό υπολογιστικό πρόβληµα εκτιµητριών των παραµέτρων που ελαχιστοποιούν το άθροισµα των τετραγώνων των συνιστωσών i, i=1,,,nτουδιανύσµατος τωνυπολοίπων των µετρήσεων S = i (b A min Μέθοδος Ελαχίστων ετραγώνων Καθολικό κριτήριο ελαχιστοποίησης: Oι παράγωγοι του συναρτησιακού µοντέλου ελαχιστοποίησης ως προς τις άγνωστες µεταβλητές, τίθενται ίσες µε το µηδέν Αυτό το κριτήριο καταλήγει σε ελάχιστα του συναρτησιακού µοντέλου S ; Σηµαντικές περιπτώσεις: inea east squaes Weighted Least Squaes Non-inea Least Squaes

2 Γραµµικό µοντέλο ελαχίστων τετραγώνων Linea east squaes mutipe egession α κύρια προβλήµατα είναι: Πως επιλέγονται οι ανεξάρτητες µεταβλητές που θα χρησιµοποιηθούν για κάποιο µοντέλο αυτές συνήθως σχετίζονται µεταξύ τους Συνήθεις µεθοδολογίες επιλογής των καταλληλότερων ανεξάρτητων µεταβλητών όλες οι µεταβλητές ταυτόχρονα (µαθηµατική εισαγωγή και εξαγωγή µεταβλητών σε βήµατα (stepise appoach Χρήζει ιδιαίτερης προσοχής, γιατί οδηγεί σε διαφορετικά µοντέλα περιορίζει τις επιλογές Προς τα εµπρός(πίσω εισαγωγή (εξαγωγή (foad/backad Γραµµικό µοντέλο ελαχίστων τετραγώνων Linea east squaes mutipe egession α κύρια προβλήµατα είναι: Πως τεκµηριώνεται η ακρίβεια του µοντέλου Προσαρµόζεται καλά στα δεδοµένα ή επηρεάζεται σε κάποιες (λίγες περιπτώσεις Κατάλληλα διαγνωστικά προσαρµογής του µοντέλου Παράτυπα σηµεία (outies εδοµένα που διαφέρουν σηµαντικά από όλα τα άλλα Μπορούν να επηρεάσουν σηµαντικά τις υπολογισµένες τιµές των παραµέτρων του µοντέλου Μπορούν να ανιχνευτούν και να αποµονωθούν από τα ιδιαίτερα µεγάλα υπόλοιπα ή κατάλοιπα (esiduas που δίνουν (δηλ. από τις διαφορές των παρατηρήσεων από τις εκτιµήσεις τους Γενικευµένο γραµµικό µοντέλο ελαχίστων τετραγώνων Ιδιαίτερο ενδιαφέρον παρουσιάζει η περίπτωση που έχουµε έναυπέρ- A = b ή A = καθορισµένο b γραµµικό σύστηµα (ovedetemined inea system Ο πίνακας σχεδιασµού A έχει n γραµµές και u στήλες, όπου n>u : δηλ., έχουµε περισσότερες εξισώσεις παρατήρησης από τον αριθµό των αγνώστων παραµέτρων Γενικευµένο γραµµικό µοντέλο ελαχίστων τετραγώνων ερµηνεία: να βρεθεί το διάνυσµα των παραµέτρων που ικανοποιεί, µε την έννοια της βέλτιστης προσέγγισης, τη σχέση A=b π.χ., ελαχιστοποιεί τη διαφορά b A π.χ., ελαχιστοποιεί τη διαφορά b A ισοδύναµα, ελαχιστοποιεί το b A ή (b A. (b A min ( b A ( b A = A ( b A = ( b A ( b A A A = A b Σήµερα θα δούµε λεπτοµερέστερα... ις σχέσεις µεταξύ παραµέτρων, παρατηρήσεων και µοντέλων α χαρακτηριστικά µοντέλα της Μ.Ε.. Έµµεσες παρατηρήσεις Epicit mode Άµεσες παρατηρήσεις Impicit mode Λεπτοµέρειες απότη θεωρία Μ.Ε.. Η µέθοδος των ελαχίστων τετραγώνων, προϋποθέτει την ελαχιστοποίηση του αθροίσµατος των τετραγώνων των αποκλίσεων των παρατηρήσεων από τις εκτιµήσεις των αναµενόµενων τιµών τους E{}, οι οποίες είναι συναρτήσεις των αγνώστων παραµέτρων. Άγνωστοι παράµετροι παρατήρηση 1 σφάλµα 1 παρατήρηση σφάλµα παρατήρηση 3... σφάλµα 3 παρατήρηση σφάλµα n n Κριτήριο ελαχίστων τετραγώνων (- (- min Βέλτιστη εκτίµηση του

3 Λεπτοµέρειες απότη θεωρία Μ.Ε.. Η µέθοδος µπορεί να γενικευθεί, εάν θεωρήσουµε τον θετικά ορισµένο πίνακα µεταβλητοτήτων-συµµεταβλητοτήτων των παρατηρήσεων 1 = σ ο Ρ οπότε η ποσότητα προς ελαχιστοποίηση είναι η τετραγωνική µορφή (east squaes nom ( - ˆ P ( - ˆ min Λεπτοµέρειες απότη θεωρία Μ.Ε.. Η µέθοδος µπορεί να γενικευθεί, 1 = σ ο Ρ ( - ˆ P ( - ˆ min ο συνηθέστερο στατιστικό µοντέλο που χρησιµοποιείται σε πολλά προβλήµατα συνόρθωσης γεωδαιτικών παρατηρήσεων, είναι η λεγόµενη µέθοδος των εµµέσων παρατηρήσεων, η οποία µπορεί εύκολα να µετασχηµατιστεί ή να της επιβληθούν δεσµεύσεις, ανάλογα µε την περίσταση και το πρόβληµα ενδιαφέροντος. Μέθοδος των εµµέσων παρατηρήσεων Οι αναµενόµενες τιµές των παρατηρήσεων, µπορούν να αναπαρασταθούν από γραµµικές σχέσεις που συνδέουν τους συντελεστές (δηλ. τα στοιχεία του πίνακα σχεδιασµού Α και τις άγνωστες παραµέτρους. π.χ. όπωςσυµβαίνειστιςδορυφορικέςπαρατηρήσεις, ρ ij =[(X j - i +(Y j -y i + (Z j -z i ] 1/ οι σχέσεις αυτές συνήθως δεν εξάγονται άµεσα αλλά µετά από κατάλληλη γραµµικοποίηση (συνήθως κατά ayo µη-γραµµικών σχέσεων σ o A = E{ }, µε = Ρ Μέθοδος των εµµέσων παρατηρήσεων σ o A = E{ }, µε = Ρ A: (n uπίνακας (γνωστών συντελεστών, anka = u (αφού n u Αείναιπλήρουςβαθµού :το (u 1 διάνυσµατωναγνώστωνπαραµέτρων το (n 1τυχαίοδιάνυσµατωνπαρατηρήσεων : ο (n nπίνακαςµεταβλητότηταςσυµµεταβλητότηταςτωνσυνιστωσώντου, µετονπίνακαβαρών Pγνωστό (θετικάορισµένο και τοσ ο (a pioi τυπικήαπόκλισητηςµονάδαςβάρους αυθαίρετα ορισµένο. Μέθοδος των εµµέσων παρατηρήσεων (Gauss - Makoff Γενικά, για n u, το σύστηµα A = των εξισώσεων παρατήρησης είναι αδύνατον να επιλυθεί Προσθέτοντας το (n 1 διάνυσµα των πιθανών σφαλµάτων του, το παραπάνω µοντέλο γίνεται: Μέθοδος των εµµέσων παρατηρήσεων (Gauss - Makoff Αυτό είναι το µοντέλο που ο Gauss, µέσω της µεθόδου της µέγιστης πιθανοφάνειας, κατέληξε στην µέθοδο των ελαχίστων τετραγώνων Ο Andei Makoff (ή Makov, προσδιόρισε τις παραµέτρους του ίδιου µοντέλου, µέσω της µεθόδου της βέλτιστης ανεπηρέαστης εκτίµησης Makoff mode σ o A = +, µε Ε{ } = = Ρ σ o A = +, µε Ε{ } = = Ρ

4 Εκτίµηση των αγνώστων παραµέτρων E{ } = A και ( - ˆ P ( - ˆ min Κανονικές εξισώσεις (A PA - A P = Εάν P = I ισοβαρείς παρατηρήσεις ˆ = (A PA A P E{ } = ˆ = A ˆ και ˆ = ( ˆ - Εκτίµηση αγνώστων παραµέτρων Καλύτερες τιµές για το διάνυσµα των παρατηρήσεων (& των υπολοίπων τους Στο ίδιο αποτέλεσµα καταλήγει και η µέθοδος της Βέλτιστης Γραµµικής Ανεπηρέαστης Εκτίµησης, όπως επίσης και εκείνη της Μέγιστης Πιθανοφάνειας µε την προϋπόθεση ότι οι παρατηρήσεις ακολουθούν την κανονική κατανοµή (κατανοµή Gauss ιαµόρφωση του κατάλληλου µοντέλου ο πρόβληµα της εκτίµησης παραµέτρων και της συνόρθωσης παρατηρήσεων αφορά τον ποσοτικό προσδιορισµό επιλεγµένων µεγεθών που περιγράφουν ένα φυσικό σύστηµα ενδιαφέροντος, µε γνωστές από προηγούµενες αναλύσεις σχέσεις µεταξύ τους (ποιοτικά χαρακτηριστικά που έχουν εκφραστεί µε µαθηµατικές εξισώσεις. Στην πράξη, ο αριθµός των παραµέτρων ενός φυσικού συστήµατος, επιδιώκεται να είναι όσον το δυνατόν µικρότερος ιαµόρφωση του κατάλληλου µοντέλου Η ανεύρεση της λειτουργικής σχέσης µεταξύ των άγνωστων παραµέτρων και των παρατηρούµενων ποσοτήτων διαδραµατίζει βασικό ρόλο στη µεθοδολογία ανάλυσης ενός φαινοµένου, ενός πειράµατος ή µιας µετρητικής διαδικασίας οµοντέλοείναιτοκεντρικόστοιχείοτόσοστο σχεδιασµό της συλλογής παρατηρήσεων, όσο και στην επεξεργασία των δεδοµένων που παρατηρούνται. Σε συµβολική µορφή µπορεί να γραφτεί ως f(q=, όπου f :συναρτήσεις f j, j=1,,,mπουσυνδέουν n ποσότητες q i, i=1,,, nπουεκφράζονται συµβολικά από το διάνυσµα q ιαµόρφωση του κατάλληλου µοντέλου f(q= Λόγωτωννόµωντηςφύσηςήτηςγεωµετρίας, σε κάποιες περιπτώσεις, µερικές από τις συνιστώσες του διανύσµατος q µπορεί να είναι πλήρως γνωστές, ή στη στατιστική ορολογία χωρίς σφάλµατα / eoess συνήθως αυτές αναφέρονται ως σταθερές και εκφράζονται ως οι συνιστώσες ενός διανύσµατος c γενικά οι τιµές τους θεωρούνται δεδοµένες και δεν επιχειρείται βελτιστοποίηση των τιµών τους π.χ.,ησταθεράτηςπαγκόσµιαςέλξηςτης βαρύτητας, ηταχύτητατουφωτόςστοκενό, ιαµόρφωση του κατάλληλου µοντέλου f(q= Σε αντίθεση µε τις σταθερές, υπάρχουν ποσότητες για τις οποίες δεν έχουµε καµία ή κάποια πληροφορία Αυτές είναι άγνωστες παράµετροι p, p=1,,,u,u που συνήθως εκφράζονται από ένα διάνυσµα π.χ., τα υψόµετρα ή άλλες συντεταγµένες σηµείων, Παραµετρικός βαθµός ενός φυσικού συστήµατος: είναι o ελάχιστος αριθµός των παραµέτρων που απαιτούνται για τον πλήρη καθορισµό του συστήµατος από κάποιο µαθηµατικό µοντέλο π.χ. ο π.β. ενός επίπεδου τριγώνου είναι 3, αφού τρία µεγέθη (3 γωνίες ή πλευρές και 1 γωνία, ή 1 πλευρά και γωνίες, αρκούν για τον προσδιορισµό του ιαµόρφωση του κατάλληλου µοντέλου f(q= Μεταξύ σταθερών και παραµέτρων, είναι οι ποσότητες τωνπαρατηρήσεων (obsevabes k, k=1,,,n οποιαδήποτε φυσική ή γεωµετρική ποσότητα που µπορεί να παρατηρηθεί ή να µετρηθεί Εκφράζονται από τις αριθµητικές τιµές των µετρήσεων µε κάποια ακρίβεια Ο αριθµός τους δεν πρέπει να είναι µικρότερος του π.β. του συστήµατος ενδιαφέροντος, γιατί αλλιώς δεν έχουµε επαρκείς πληροφορίες για τον προσδιορισµό του, π.χ. για ένα επίπεδο τρίγωνο δύο γωνίες δεν αρκούν, γιατί δίνουν µόνο το σχήµα αλλά όχι και το µέγεθος του τριγώνου

5 ιαµόρφωση του κατάλληλου µοντέλου f(q = f(c,, c,, = ή συνήθως f(,, = Άµεση αναφορά στις σταθερές c παραλείπεται (αυτές θεωρούνταιµέροςτουσυναρτησιακούµοντέλου Οι άγνωστοι παράµετροι, γενικά, δεν µετρώνται απευθείας, καιθεωρούνταιανεξάρτητοιµεταξύτους, αλλά προσδιορίζονται, έµµεσα, µέσω του συναρτησιακού µοντέλου από τις παρατηρήσεις γι αυτό, και συνήθως το διάνυσµα αποκαλείται και λύση του εκάστοτε προβλήµατος ενδιαφέροντος Οποιεσδήποτε παρατηρήσεις που δεν συνδέονται συναρτησιακά µε κάποιες από τις παραµέτρους του εκάστοτε προβλήµατος είναι εν πολλοίς άχρηστες ιαµόρφωση του κατάλληλου µοντέλου f(q = f(c,, c,, = ή συνήθως f(,, = Σεκάθεµιααπότιςσυνιστώσεςτουµαθηµατικού µοντέλου, αντιστοιχούν τρεις µαθηµατικοί χώροι ορισµούτουµοντέλου: τουχώρουχτωνπαραµέτρων ήτουχώρουτων λύσεων (paamete ή soution space µε διάσταση u ή συµβολικά dimχ = u τουχώρου Lτωνπαρατηρήσεων (obsevation space µεδιάσταση nήσυµβολικά diml = n τουχώρου Fτωνσυναρτησιακώνσχέσεων f (mode space µεδιάσταση mήσυµβολικά dimf = m Paamete space X - Χώρος των παραµέτρων X (dimx=u A m u f = ( o ( o Mode space F - Χώρος των µοντέλων f F (dimf=m G u n H n u Obsevation space L - Χώρος των παρατηρήσεων L (diml=n m n f = ( o ( o σχέσεις µεταξύ παραµέτρων, παρατηρήσεων και µοντέλων Οι φυσικές ή γεωµετρικές σχέσεις που συνδέουν τις µετρήσεις µε τις παραµέτρους ενδιαφέροντος σε ένα πείραµα ή µετρητική διαδικασία, αποτελούν το βασικότερο στοιχείο της ανάλυσης των διαθέσιµων δεδοµένων ύποι µοντέλων α µοντέλα που τις εκφράζουν µπορεί να είναι άµεσα (diect, έµµεσα (indiect, µικτά (impicit. Γραµµικά ή µη-γραµµικά, και να συναντώνται αυτούσια ή σε συνδυασµούς ύποι µοντέλων και εκτιµήσεις τους Στην πραγµατικότητα, οι παρατηρήσεις διαφέρουν από τις πραγµατικές τιµές των παρατηρούµενων µεγεθών ενδιαφέροντος, εξ αιτίας αναπόφευκτων σφαλµάτων στις µετρήσεις πρόβληµα επιλογής κατάλληλων τιµών των παραµέτρων µε τη βοήθεια των παρατηρήσεων απότιςδιαθέσιµες (συνήθωςπλεονάζουσες µετρήσεις η ΜΕ οδηγεί σε βέλτιστες εκτιµήσεις των παραµέτρων σύµφωνα µε το κριτήριο ελαχιστοποίησης, και από αυτές στον υπολογισµό των κατ εκτίµηση βέλτιστων τιµών των παρατηρούµενων µεγεθών (συνόρθωση των παρατηρήσεων ιάφορες δυνατές τιµές του διανύσµατος των παραµέτρων Αντίστοιχες τιµές f(, του διανύσµατος των παρατηρούµενων µεγεθών Αντίστοιχες τιµές των σφαλµάτων (υπόλοιπο των µετρήσεων φ συνάρτηση φ( ελαχίστων τετραγώνων (ή/και επεκτάσεις της, π.χ. ελάχιστα τετράγωνα φ(=min µε βάρη Μαθηµατικό µοντέλο f(= Κριτήριο ελαχιστοποίησηςφ(= min Σφάλµατα = - f(,

6 ύποι µοντέλων Epicit in : οι παράµετροι εκφράζονται απευθείας από τις µετρήσεις (φορµαλισµός στο χώρο X =g( ή στη γραµµική µορφή = G + G, γνωστά, dim G = u n, dim = u = m Απλούστερη περίπτωση, = (δηλ. G =Ι = και u = n = m Σε κάποιες περιπτώσεις: g(=, µοντέλα συνθηκών (condition modes, που εκφράζουν τις φυσικές ή γεωµετρικές σχέσεις που συνδέουν τις µετρήσεις µεταξύ τους α β G + = dim G = m n, dim = m γ G = [ ], = [αβγ], = [ -π ] ύποι µοντέλων Epicit in : οι µετρήσεις εκφράζονται απευθείας ως συνάρτηση των παραµέτρων (φορµαλισµός στο χώρο L =h( ή στη γραµµική µορφή = H + H, γνωστά, dim H = n u, dim = n = m H εκφράζει το µετασχηµατισµό από το χώρο F στον χώρο L Εάν m > u το σύστηµα των εξισώσεων είναι υπέρκαθορισµένο (ovedetemined Εάν m < u το σύστηµα των εξισώσεων είναι υπόκαθορισµένο (undedetemined Εάν m = u το σύστηµα των εξισώσεων είναι µοναδικά καθορισµένο (uniquey detemined ύποι µοντέλων Impicit: υπάρχει µια µικτή σχέση µεταξύ µετρήσεων και παραµέτρων (φορµαλισµός στο χώρο F f(, = ή στη γραµµική µορφή A + + = A,, γνωστά, dim f = m, dim = m, dim A= m u, dim = m n Οι διαστάσεις των Α και Β και ο βαθµός τους (ank καθορίζουν εάν το σύστηµα των εξισώσεων είναι υπέρκαθορισµένο (ovedetemined, υπό-καθορισµένο (undedetemined ή µοναδικά καθορισµένο (uniquey detemined Σαφώς, το συγκεκριµένο µοντέλο είναι το πιο γενικό και τα προηγούµενα άµεσα και έµµεσα µοντέλα αποτελούν ειδικές περιπτώσεις του Epicit in? =g( ή =G +? Μοναδική λύση u = n ΟΧΙ Η λύση ενός µαθηµατικού µοντέλου είναι ισοδύναµη µε τον µετασχηµατισµό (, (, Γραµµικό σύστηµα εξισώσεων? ΝΑΙ Epicit in? =H( ή = H +? ΝΑΙ u < n u = n? Υποκαθορισµένη λύση ΟΧΙ ΟΧΙ u > n Μη γραµµική λύση ΟΧΙ Εφικτή η γραµµικοποίηση? ΝΑΙ γραµµικοποίηση Μετατροπή από impicit σε epicit µορφή Υπερκαθορισµένη λύση Χ L δ ( O A ( o ( o F = f ( ( o, o Miscosue vecto O ( ( o ( o f(,,...,, ˆ 1 = f(, ˆ u = f(, + ˆ = Μη γραµµικές σχέσεις µεταξύ παραµέτρων και παρατηρήσεων Μη γραµµικές σχέσεις µεταξύ παραµέτρων και παρατηρήσεων f(, = f( f( (o (o A mu, mn, m1 - γνωστά δ u1, n1 - άγνωστα + δ,, (o A δ + Β + = (o ιανύσµατα διάστασης m m εξισώσεις (διάστασητουχώρου F f(,,...,, ˆ 1 u = f(, ˆ = f(, + ˆ = f + f + + = = = = (o (o (o (o ( ( ( o ( o

7 Μη γραµµικές σχέσεις µεταξύ παραµέτρων και παρατηρήσεων Με άλλα λόγια, επειδή τα περισσότερα µοντέλα που χρησιµοποιούµε στις εφαρµογές της ΜΕ είναι µηγραµµικά, συνήθως µετά από τη γραµµικοποίησή τους εκφράζονται από το γραµµικό µέρος µιας σειράς ayo, όπου για τη γραµµικοποίηση χρησιµοποιούνται οιµετρήσεις καιπροσεγγιστικέςτιµές ( γιατις παραµέτρους ενδιαφέροντος ( ( ( f (, = f ( + δ, + ( ( f = f (, + ( f ( ( ( = + ( = ( ( = = ( Για να υπολογιστεί το διάνυσµα δ, πρέπει να ελαχιστοποιηθεί είτε το διάνυσµα στον χώρο L min ( είτε το διάνυσµα = της προβολής του στον χώρο F min ( γραµµικό µοντέλο = Aδ +, όπου, από το νόµο µετάδοσης των σφαλµάτων, = = M Εκτίµηση των αγνώστων παραµέτρων (φορµαλισµός στο χώρο F f ( min ( f = [( Aδ + ( Aδ + ] δ Σύστηµα κανονικών εξισώσεων ˆ = ( A A + ( A = Πίνακας κανονικών διάνυσµα εξισώσεων διορθώσεις του διανύσµατος (o = (o (o +δ Εκτίµηση των αγνώστων παραµέτρων = (φορµαλισµός στο χώρο L = φ = vaiation + k ( Aδ + + ] function min ( Μαθηµατικό τέχνασµα που προτάθηκε από τον Lagange (το = δεν µπορεί πάντα να µετασχηµατιστεί στο, γιατί γενικά ο πίνακαςβδεν είναι κανονικός (τετραγωνικός k F (Lagange coeates, άγνωστο διάνυσµα διάστασης m, παίζει τον ίδιο ρόλο όπως και τα διανύσµαταδκαι. Εκτίµηση των αγνώστων παραµέτρων (φορµαλισµός στοχώρο L 1 φ = ˆ + kˆ = 1 φ = kˆ Α = δ 1 φ = Α + ˆ + = k Ηαπευθείας αντιστροφή του πίνακα τωνκ.ε.. (λόγω( και των µηδενικών υποπινάκων του δεν αποτελεί πάντα µια αποδοτική διαδικασία min ( ˆ Α kˆ = Α + ˆ + = A + kˆ = Σύστηµα κανονικών εξισώσεων A ˆ = kˆ + Εκτίµηση των αγνώστων παραµέτρων (φορµαλισµός στοχώρο L αντιστροφή του πίνακα των κανονικών εξισώσεων µε διαµερισµό A A A ˆ = kˆ + X U + = D Y V [ D A ] Y + [ V A U ] =, A : αντιστρέψιµος A kˆ [ ] + A δ ˆ - M A [ ] = A kˆ ( A M A δ + A M = + = δ ˆ Σύστηµα κανονικών εξισώσεων ˆ

8 Εκτίµηση των αγνώστων παραµέτρων, Ελαχιστοποίηση της νόρµας των ελαχίστων τετραγώνων στο χώρο L ( A ( A A + ( A = Ελαχιστοποίηση της νόρµας των ελαχίστων τετραγώνων στο χώρο F M A δ ˆ + A M = min ( min ( ο ίδιο αποτέλεσµα, αφού = M = ˆ N = ( A M A δ = A ( A =, κανονικές εξισώσεις ( u u U = A M, M : πίνακας βαρών των παρατηρήσεων στο χώρο F δ ˆ -N U, kˆ = M ( A +, ˆ = k, ˆ ˆ = + ˆ = Επέκταση, στην γενικότερη περίπτωση a- pioi γνώσης των παραµέτρων Οι άγνωστοι παράµετροι αντιµετωπίζονται ως µερικώς γνωστοί (quasi-obsevabes obsevabes, δηλ. µε a-pioi θεωρούµενο γνωστό πίνακα βαρών P X ή πίνακα συµµεταβλητότητας X Ελαχιστοποίηση της νόρµας των ελαχίστων τετραγώνων minimum : + = φ = vaiation + k function ( Aδ + + ] ιαµόρφωση του συστήµατος των κανονικών εξισώσεων 1 φ = ˆ + kˆ = 1 φ = + kˆ Α = δ 1 φ = Α + ˆ + = k Επιπλέον όροι + + k ( Aδ + + ] min ˆ + kˆ = + Α kˆ = Α + ˆ + = A Σύστηµα κανονικών εξισώσεων A ˆ = kˆ + Εκτίµηση των αγνώστων παραµέτρων, ο σύστηµα των κανονικών εξισώσεων, στη γενικότερη µορφή του ( A M A + + A M = ή ( A M A + Ρ + A M = = -N N = ( A M A + P U = A M = A ( U, kˆ = M( A + = ( ˆ = k, ˆ ˆ = + ˆ ( A +, Εκτίµηση των πινάκων συµµεταβλητότητας Γίνεται µε την εφαρµογή του νόµου µετάδοσης των σφαλµάτων Γενικά εάν µεταξύ δύο τυχαίων διανυσµάτων X, Y υφίσταται µια γραµµική σχέση της µορφής Υ=f(X, και ο πίνακας συµµεταβλητότητας για τις συνιστώσες του Χ είναι X ο αντίστοιχος πίνακας συµµεταβλητότητας για τις συνιστώσες του Υ δίνεται από τη σχέση: f ( X f ( X Y = X X X 1 f ( X Y = X σ ο σ ο 1 f X f X f X ( ( ( X QY = QX X X X Εκτίµηση των πινάκων συµµεταβλητότητας Για το διάνυσµα των κλεισιµάτων των µετρήσεων (miscosue vecto = f (= (, = = M = f/ είναι ο δεύτερος πίνακας σχεδιασµού, και = Ας σηµειωθεί ότι ο πίνακας µπορεί να υπολογιστεί πριν από τη συνόρθωση των παρατηρήσεων, και γι αυτό µπορεί να χρησιµοποιηθεί για τη στατιστική αξιολόγηση τους Ρ - 1 =(/σ ο =Q : πίνακες συντελεστών βαρών

9 Εκτίµηση των πινάκων συµµεταβλητότητας Για το διάνυσµα των αγνώστων παραµέτρων ˆ = ˆ ( o + = = [ ( A M A = N ( o ( A = ( A M A A M ] M = M A Ο πίνακας συµµεταβλητότητας ˆ είναι ίδιος µετον δ ˆ A [ ( A M A M N: πίνακας κανονικών εξισώσεων A M ] γιατί το διάνυσµα των αρχικών προσεγγιστικών τιµών (o περιέχει σταθερές τιµές Εκτίµηση των πινάκων συµµεταβλητότητας Για το διάνυσµα των υπολοίπων των µετρήσεων ˆ = kˆ = M (A + = (M A N A M - M = L, Εφαρµόζοντας το νόµο µετάδοσης των σφαλµάτων στην προηγούµενη σχέση ˆ = = L L ( = L µη αντιστρέψιµος πίνακας, χρήσιµος για την αξιολόγηση των παρατηρήσεων M[ I - ( A MA kˆ = L και αντικαθιστώντας για τον πίνακα = =M A M] Εκτίµηση των πινάκων συµµεταβλητότητας Για το διάνυσµα των συνορθωµένων παρατηρήσεων ˆ ˆ ( o = + ˆ = M ( Aδ + = L f (, ˆ = L ( = = Όπως είναι εµφανές (και αναµενόµενο ο πίνακας συµµεταβλητότητας των συνορθωµένων παρατηρήσεων θα περιέχει στοιχεία µε µικρότερες τιµές διασποράς από τις αντίστοιχες τιµές των πρωτογενών παρατηρήσεων (πριν από τη συνόρθωση ˆ ˆ Μια ακόµα λεπτοµέρεια Στις συνορθώσεις παρατηρήσεων µε τη ΜΕ χρησιµοποιούνται οι πίνακες (συµµεταβλητότητας, P (βαρών ή (συµµεταβλητότητας των υπολοίπων των παρατηρήσεων P = σ ο = σ ο Ποιες είναι οι επιπτώσεις εάν δεν γνωρίζουµε εκ των προτέρων (a-pioi το συντελεστή σ της διασποράς των παρατηρήσεων (vaiance of unit eight και συνεπώς ο χρησιµοποιούµενος στη συνόρθωση πίνακας συµµεταβλητότητας δεν θα έχει τη σωστή κλίµακα ; η αναµενόµενη τιµή της νόρµας ˆ ˆ θα επηρεαστεί ; Χρησιµοποιώντας τις προηγούµενες σχέσεις των κανονικών εξισώσεων, και τις σχέσεις υπολογισµού των συντελεστών Lagange kˆ και της εκτιµήτριας ˆ των υπολοίπων των παρατηρήσεων µπορεί να δειχθεί ότι η το άθροισµα των τετραγώνων των σφαλµάτων των παρατηρήσεων που ελαχιστοποιείται για την εφαρµογή της ΜΕ δίνεται από τη σχέση ( ˆ ˆ Μια ακόµα λεπτοµέρεια = ( Α ΜΑ ( M = N + M όπου M = tace( M. Η αναµενόµενη τιµή της συγκεκριµένης νόρµας µπορεί εύκολα να υπολογιστεί ως: {( ˆ ˆ } { ˆ E E δ Nδ} ˆ = + E{ M} {( ˆ ˆ } { ˆ E E δ Nδ} ˆ = + E{ E{ ˆ ˆ = E ace ˆ ˆ { ( } = tace[ ˆ ˆ δ N δ} t δδ N δδ N ] = tace( N M} N + tace[ δ ˆ N ] = u + d όπου d είναι πραγµατικός αριθµός, και µπορεί να δειχθεί ότι c=d... E { M } = E{ tace( M } = tace[ M και επειδή εξ ορισµού ισχύει E{ [ ] [ ] } = = = M E { } = M + E { M } = tace( M M + tace[ M ] = m + c όπου c είναι πραγµατικός αριθµός = m - u ]

10 και χρησιµοποιώντας τον πίνακα βαρώνρ αντί του πίνακα συµµεταβλητότητας E{( ˆ εκ των υστέρων (a a posteioi συντελεστής διασποράς και τελικά, όλοι οι πίνακες συµµεταβλητότητας υπολογίζονται στη σωστή τους κλίµακα ˆ 1 } = E{ ˆ P ˆ σ ο 1 E{ σ ο } = ˆ σ ο βαθµοί ελευθερίας ˆ ˆ = ˆ σ ο L = ˆ = ˆ σ ο N ˆ } = m u ˆ P ˆ = m u = ˆ σο ( A M A = ˆ σ ο P = LP Παράδειγµα #1 Έστωότιζητείταιναεπιλυθείτο σύστηµα των εξισώσεων µε χρήση της µεθόδου των εµµέσων παρατηρήσεων ο σύστηµα σε πινακοποιηµένη µορφή δίνεται από τη σχέση Παράδειγµα #1 ο διάνυσµα των καλύτερων εκτιµήσεων των παρατηρήσεων (συνορθωµένες παρατηρήσεις α υπόλοιπα των µετρήσεων (σφάλµατα Ο πίνακας σχεδιασµού ο διάνυσµα των καλύτερων εκτιµήσεων των παραµέτρων Παράδειγµα #1 Παράδειγµα #1 Παράδειγµα # Έστωότιζητείταιναεξεταστείανταδεδοµένα (,y: (,, (1,-3, (,, (,-5 απεικονίζουνµιαευθεία γραµµή y = + D ή σε πινακοποιηµένη µορφή

11 Παράδειγµα # Παράδειγµα #3 Έστωότιέχετεταακόλουθαχωροσταθµικάδεδοµένα, (σκέλος όδευσης, µήκος όδευσης (km, υψοµετρική διαφορά, m: (1, 4, 5.1, (, 3,.34, (3,,.5, (4, 3, -6.13, (5,, -.68, (6,, 3. και (7,, 1.7. Επιπλέονείναι γνωστάταυψόµετραη Y1 = 1. m, και H Y = 17.5 m. Παράδειγµα #3 Ζητείται η επίλυση του χωροσταθµικού δικτύου, µε τρόπο που τα δύο σηµεία (Υ1 και Υ γνωστού υψοµέτρου να διατηρήσουν το υψόµετρό τους και µετά την συνόρθωση των παρατηρήσεων, οι οποίες θεωρούνται ισοβαρείς. Υπάρχουν περισσότερες από µία µεθοδολογίες για την επιβολή δεσµεύσεων στο δίκτυο Ναθεωρηθούνταύψητωνσηµείων Y1 και Y, σταθερά και να µην εισαχθούν σαν άγνωστες παράµετροι στο σύστηµα των εξισώσεων Παράδειγµα #3 Παράδειγµα #3 Ήαλλιώς Να επιλυθεί το δίκτυο σεδύο φάσεις: δηλ., να συνορθωθεί πρώτα το δίκτυο µε εισαγωγή των υψοµέτρων όλων των σηµείων ως αγνώστων παραµέτρων του δικτύου, και στη συνέχεια να επιβληθούν οι δεσµεύσεις για τα υψόµετρα των σηµείων Y1 και Y Παράδειγµα #3 Η δεύτερη µέθοδος επιτρέπει µια εκτίµηση της παραµόρφωσης που µπορεί να προκαλέσει στο δίκτυο η επιβολή περισσοτέρων δεσµεύσεων από τις απαραίτητες Σαν άσκηση

12 Γεωµετρική ερµηνεία της Μ.Ε.. Θεµελιώδεις υποχώροι Σύνολο διανυσµάτων που απαρτίζουν τον υποχώρο Περιορισµοί που πρέπει να ικανοποιεί ο υποχώρος Ο χώρος των στηλών (ange space R(A αποτελείται από όλους τους γραµµικούς συνδυασµούς των στηλών ενός πίνακαα u. Είναι υποχώρος του R Ο χώρος γραµµών (coumn space ενός πίνακαα u ουσιαστικά είναι ο χώρος στηλών του ανάστροφου πίνακαα u και συµβολίζεται µε R(A Ο µηδενοχώρος (nu space ή αλλιώς πυρήναςν(α αποτελείται από τα διανύσµατα για τα οποία ισχύει Α = Ο αριστερός µηδενοχώρος τουαπου είναι µηδενοχώρος τουα. Περιέχει όλα τα διανύσµατα για το οποία ισχύει A y = και συµβολίζεται µεν(α Γεωµετρική ερµηνεία της Μ.Ε.. ο κλασσικό γραµµικό ή γραµµικοποιηµένο µοντέλο είναι της µορφήςε{ } = A u u uo uo o o από το οποίο προκύπτουν οι κανονικές εξισώσεις και οι εκτιµήσεις u o uo Γεωµετρική ερµηνεία της Μ.Ε.. R(A={ z z=a }: χώρος των στηλών του A επειδή anka = u, ορίζει έναν χώρο R u, A R u ο διάνυσµα των παρατηρήσεων ανήκει σε έναν άλλο χώρο R π.χ. εάν ο Η βέλτιστη εκτίµηση του διανύσµατος, ορίζεται έτσι ώστε το διάνυσµαα είναι η ορθογώνια προβολή του διανύσµατος των παρατηρήσεων στο χώρο R(A (των στηλών τουα R(A A υ A χώροςε είναι δισδιάστατος υ Στην πράξη, η βέλτιστη λύση υπολογίζεται µε τη Μ.Ε.. ελαχιστοποιώντας τη νόρµα (-A = υ υ min ηλ., το διάνυσµαυτων σφαλµάτων (υπόλοιπα των µετρήσεων σε κάθε στήλη τουα Α (-A = Α A = Α = (Α A Α υ = - A = - A(ΑA Α = Μ, όπουμ = Ι - A(Α A Α Α υ= = = A = A(Α A Α = H, H: : hat mati, H =H, H =H, H+M=I καιημ= =Η + M = + υ Στην πράξη, η βέλτιστη λύση υπολογίζεται µε τη Μ.Ε.. ελαχιστοποιώντας τη νόρµα (-A = υ υ min ηλ., το διάνυσµαυτων σφαλµάτων (υπόλοιπα των µετρήσεων σε κάθε στήλη τουα Α (-A = Α A = Α = (Α A Α υ = - A = - A(ΑA Α = Μ, όπουμ = Ι - A(Α A Α Α υ= = = A = A(Α A Α = H, H: hat mati, τελεστής της ορθογώνιας προβολής του στον συµπληρωµατικό του χώρου των στηλών τουα H =H, H =H, H+M=IκαιΗΜ= =Η+M = + υ ην επόµενη φορά... µια σηµαντική επέκταση της ΜΕ Πως αντιµετωπίζουµε τοπρόβληµαεφαρµογήςτηςμ.ε.. ότανοιάγνωστοιπαράµετροιενδιαφέροντος... αλλάζουνµετοχρόνο, όπως και όταν οι παρατηρήσεις συλλέγονται σε χρονικά διαφορετικές εποχές ;