Μέθοδος αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα

Ειδικά Θέματα Συνορθώσεων & Εφαρμογές 8 ο εξάμηνο, Ακαδημαϊκό έτος 216-217 Μέθοδος αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα (Ridge regression) Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων Τοπογράφων Μηχανικών Πολυτεχνική Σχολή, ΑΠΘ

Στην παρούσα ενότητα θα μελετήσουμε και θα προσπαθήσουμε να απαντήσουμε στην εξής ερώτηση: Μπορώ να συνορθώσω τα ίδια δεδομένα για το ίδιο μαθηματικό μοντέλο αλλά με διαφορετικό τρόπο, αντί με την κλασσική μέθοδο ελαχίστων τετραγώνων, ώστε να πάρω καλύτερα αποτελέσματα ;

Εισαγωγή Η μέθοδος ελαχίστων τετραγώνων (ΜΕΤ) αποτελεί το βασικότερο εργαλείο συνόρθωσης παρατηρήσεων και εκτίμησης παραμέτρων σε γραμμικά μοντέλα. Η ΜΕΤ δίνει αποτελέσματα που έχουν, από θεωρητική σκοπιά, σημαντικές βέλτιστες ιδιότητες. Αυτό δεν σημαίνει όμως ότι θα είναι κατ ανάγκη πάντα καλά αποτελέσματα! Σε ορισμένες περιπτώσεις η εφαρμογή της ΜΕΤ δίνει αποτελέσματα πολύ χαμηλής ακρίβειας τα οποία είναι (από πρακτική σκοπιά) σχεδόν άχρηστα!

Πότε η ΜΕΤ θα δώσει κακά αποτελέσματα ; Όταν υπάρχουν προβληματικές παρατηρήσεις π.χ.

Να θυμάστε ότι o Η ΜΕΤ είναι ιδιαίτερα ευάλωτη σε περιπτώσεις που υπάρχουν προβληματικές παρατηρήσεις Έστω και μία προβληματική παρατήρηση μπορεί να καταστρέψει εντελώς τη λύση συνόρθωσης. o Τι κάνω σε τέτοιες περιπτώσεις: Εφαρμογή στατιστικών ελέγχων για την απομάκρυνση προβληματικών παρατηρήσεων και μετά χρήση ΜΕΤ. Χρήση όλων των διαθέσιμων παρατηρήσεων με εναλλακτικές τεχνικές εκτίμησης παραμέτρων (robust techniques).

Πότε η ΜΕΤ θα δώσει κακά αποτελέσματα ; Όταν κάποιες στήλες του πίνακα σχεδιασμού είναι σχεδόν συγγραμικές (multi-collinearity) b1 a1,1 a1,2 a1, m x1 v1 b2 a2,1 a2,2 a2, m x2 v2 b n an,1 an,2 a n, m x m v n

Πότε η ΜΕΤ θα δώσει κακά αποτελέσματα ; Όταν κάποιες στήλες του πίνακα σχεδιασμού είναι σχεδόν συγγραμικές (multi-collinearity) b1 a1,1 a1,2 a1, m x1 v1 b2 a2,1 a2,2 a2, m x2 v2 b n an,1 an,2 a n, m x m v n π.χ. Α [1] Α [2] k Α [1]

Πότε η ΜΕΤ θα δώσει κακά αποτελέσματα ; Όταν κάποιες στήλες του πίνακα σχεδιασμού είναι σχεδόν συγγραμικές (multi-collinearity) b1 a1,1 a1,2 a1, m x1 v1 b2 a2,1 a2,2 a2, m x2 v2 b n an,1 an,2 a n, m x m v n π.χ. Α [1] Α [2] Α [m] k Α [1] + λ Α [2]

Γιατί η συγγραμικότητα στηλών αποτελεί πρόβλημα ; Ξεκινώντας από το αρχικό γραμμικό μοντέλο b Ax v b x1 A[1] x2 A[2] x3 A[3]... xma[ m] v σε περίπτωση συγγραμικότητας, π.χ. Α [2] k Α [1], θα έχουμε: b A A A v ( x kx ) x... xm m 1 2 [1] 3 [3] [ ] Οι παράμετροι x 1 και x 2 δεν μπορούν να διαχωρισθούν μέσω της συνόρθωσης! (δηλαδή να εκτιμηθούν ανεξάρτητα και με ακρίβεια από τα διαθέσιμα δεδομένα)

Να θυμάστε ότι o Σε περιπτώσεις συγγραμικότητας η ΜΕΤ δίνει εκτιμήσεις παραμέτρων με μεγάλες συσχετίσεις και πολύ χαμηλή στατιστική ακρίβεια. o Τι κάνω σε τέτοιες περιπτώσεις: Απλοποιώ το αρχικό παραμετρικό μοντέλο. Δεν τροποποιώ το αρχικό μοντέλο, αλλά χρησιμοποιώ πρόσθετες & κατάλληλα σχεδιασμένες παρατηρήσεις. Διατηρώ το αρχικό μοντέλο & τις διαθέσιμες παρατηρήσεις και εφαρμόζω άλλες τεχνικές συνόρθωσης.

Εισαγωγή (συνεχ.) Εναλλακτικές τεχνικές συνόρθωσης μπορούν να χρησιμοποιηθούν σε περιπτώσεις που η ΜΕΤ δίνει προβληματικά αποτελέσματα. Σε τέτοιες περιπτώσεις θυσιάζουμε κάποιες από τις βέλτιστες ιδιότητες της ΜΕΤ, με αντάλλαγμα τον υπολογισμό καλύτερων, από πρακτική σκοπιά, αποτελεσμάτων για την εκτίμηση παραμέτρων. Η μέθοδος αιχμηρών εκτιμήσεων (ridge regression) είναι ένα πολύ σημαντικό εργαλείο που μπορεί να χρησιμοποιηθεί σε περιπτώσεις όπου η λύση συνόρθωσης μέσω ΜΕΤ είναι προβληματική.

Μέθοδος αιχμηρών εκτιμήσεων Βασική τεχνική συνόρθωσης και εκτίμησης παραμέτρων σε ασταθή (ill-conditioned) γραμμικά μοντέλα λόγω προβλημάτων συγγραμικότητας στον πίνακα σχεδιασμoύ. Είναι ιδιαίτερα αποτελεσματική και σχετικά απλή στην αλγοριθμική υλοποίησή της. Στηρίζεται σε πολλαπλές θεωρητικές ερμηνείες, γεγονός που οδηγεί συχνά σε κακή χρήση της ή/και παρερμηνείες των αποτελεσμάτων της.

Μια σύντομη ανασκόπηση της ΜΕΤ με έμφαση σε μερικά μειονεκτήματά της

Θεωρητικό υπόβαθρο Εξισώσεις παρατηρήσεων: b Ax v Κριτήριο ΜΕΤ v T Pv = min T ( A PA)ˆ x ΝΕQs: ˆ Nx T A Pb u Εκτίμηση BLUE T v ~ (, σ 2 P -1 ) ( A PA)ˆ x ΝΕQs: T ˆ Nx A Pb u Ιδιότητες λύσης: o Ανεπηρέαστες εκτιμήσεις παραμέτρων o Εκτιμήσεις παραμέτρων με ελάχιστη μεταβλητότητα o Βέλτιστη προσαρμογή στα διαθέσιμα δεδομένα

Μέθοδος ΜΕΤ/BLUE 1 Κλασσική λύση: xˆ N u, C xˆ 2 1 N Πλεονεκτήματα (θεωρητικές ιδιότητες) Μειονεκτήματα (σε ορισμένες περιπτώσεις) E{} xˆ x ανεπηρέαστες εκτιμήσεις Υπερ-εκτιμημένες τιμές παραμέτρων ή εκτιμήσεις με λάθος πρόσημα trace C x ˆ min ανάμεσα από οποιαδήποτε άλλη γραμμική ανεπηρέαστη εκτίμηση Μη-ικανοποιητική ακρίβεια (το ίχνος του πίνακα συμ-μεταβλ. μπορεί να μην είναι αρκετά μικρό σύμφωνα με τις απαιτήσεις ακρίβειας)

Ιδιο-ανάλυση του πίνακα Ν N UΛU T Ορθογώνιος πίνακας ιδιο-διανυσμάτων: U u u 1 m T T UU U U I Διαγώνιος πίνακας ιδιοτιμών: Λ diag ( 1,..., m ) Φασματική ανάλυση του πίνακα Ν: m m T i i i i i i1 i1 N u u U U i : ορθογώνιοι πίνακες

Μέθοδος ΜΕΤ/BLUE 1 Κλασσική λύση: xˆ N u, C xˆ 2 1 N Πλεονεκτήματα (θεωρητικές ιδιότητες) trace E{} xˆ C x ˆ x ανεπηρέαστες εκτιμήσεις min ανάμεσα από οποιαδήποτε άλλη γραμμική ανεπηρέαστη εκτίμηση Μειονεκτήματα (σε ορισμένες περιπτώσεις) T E{ xˆ xˆ} T 2 1 x x επηρεασμένο μήκος εκτιμήσεων όταν κάποιες ιδιοτιμές είναι πολύ μικρές trace C x ˆ 2 1 κακή ακρίβεια όταν κάποιες ιδιοτιμές είναι πολύ μικρές i i

Συμπερασματικά trace C xˆ 2 min T E{ xˆ xˆ} T x x 2 min Αν λ min τότε η λύση συνόρθωσης ΜΕΤ είναι ιδιαίτερα ασταθής και δίνει: πολύ μεγάλες μεταβλητότητες για τις εκτιμήσεις των παραμέτρων πολύ μεγάλες τιμές εκτιμήσεων σε σχέση με τις αληθινές τιμές των παραμέτρων

Ασταθή προβλήματα συνόρθωσης

Τι σημαίνει ασταθές πρόβλημα συνόρθωσης ; Ο πίνακας σχεδιασμού Α περιέχει στήλες που είναι σχεδόν συγγραμικές ή σχεδόν γραμμικά εξαρτημένες b Ax v b x1 A[1] x2 A[2]... xma[ m] v Σε τέτοιες περιπτώσεις η απευθείας αντιστροφή των κανονικών εξισώσεων είναι προβληματική! T ( A PA) xˆ N T A Pb u

Τι συμβαίνει σε ένα ασταθές πρόβλημα συνόρθωσης ; Μία ή περισσότερες ιδιοτιμές του πίνακα των κανονικών εξισώσεων θα είναι κοντά στο μηδέν. Ο πίνακας των κανονικών εξισώσεων είναι θεωρητικά αντιστρέψιμος, αλλά η αριθμητική αντιστροφή του θα είναι ιδιαίτερα δυσχερής. Η λύση ΜΕΤ έχει πολύ κακή ακρίβεια και υψηλές συσχετίσεις για τις εκτιμήσεις των παραμέτρων.

Τι συμβαίνει σε ένα ασταθές πρόβλημα συνόρθωσης ; Μικρές αλλαγές στις τιμές των παρατηρήσεων μπορεί να προκαλέσουν πολύ μεγάλη μεταβολή στις εκτιμήσεις των παραμέτρων του μοντέλου! Τα συνορθωμένα σφάλματα έχουν συνήθως λογικές τιμές και δίνουν καλή προσαρμογή του μοντέλου στις διαθέσιμες παρατηρήσεις! Η χρήση των εκτιμήσεων των παραμέτρων για πρόγνωση θα δώσει αναξιόπιστα αποτελέσματα.

Τι συμβαίνει σε ένα ασταθές πρόβλημα συνόρθωσης ; Nxˆ u 1 xˆ N u Warning: Matrix is close to singular or badly scaled. Results may be inaccurate. RCOND = 2.123924e-16. Θα πάρω λάθος αποτελέσματα για τη λύση ενός συστήματος εξισώσεων όταν λαμβάνω τέτοιου είδους μήνυμα από το Matlab ;

Παράδειγμα Σύστημα κανονικών εξισώσεων 1.5.33 xˆ 1 1.83.5.33.25 xˆ 2 1.8.33.25.2 xˆ 3.78 Λύση συστήματος κανονικών εξισώσεων 1 xˆ 1 1.5.33 1.83 1. xˆ 2.5.33.25 1.8 1. xˆ 3.33.25.2.78 1.

Παράδειγμα Λύση συστήματος κανονικών εξισώσεων ˆ 1 x1 1.5.33 1.83 1. xˆ 2.5.33.25 1.8 1. xˆ 3.33.25.2.78 1. Λύση συστήματος κανονικών εξισώσεων (μετά από μικρή διαταραχή των δεδομένων) ˆ 1 x1 1.5.33 1.835 1.278 xˆ 2.5.33.25 1.8.389 xˆ 3.33.25.2.78 2.278

Παράδειγμα Λύση συστήματος κανονικών εξισώσεων ˆ 1 x1 1.5.33 1.83 1. xˆ 2.5.33.25 1.8 1. xˆ 3.33.25.2.78 1. Λύση συστήματος κανονικών εξισώσεων.5% 28%, 61%, (μετά από μικρή διαταραχή των δεδομένων) 128% ˆ 1 x1 1.5.33 1.835 1.278 xˆ 2.5.33.25 1.8.389 xˆ 3.33.25.2.78 2.278

Παράδειγμα Λύση συστήματος κανονικών εξισώσεων 1 xˆ 1 1.5.33 1.83 1. xˆ 2.5.33.25 1.8 1. xˆ 3.33.25.2.78 1. Ακρίβεια και συντελεστές συσχέτισης παραμέτρων 7.454 xˆ 1 xˆ 2 38.27 xˆ 3 35.635 -.98 xˆ, xˆ 1 2 xˆ 1, xˆ 3.96 xˆ2, xˆ3 -.99

Που οφείλεται η αστάθεια σε ένα πρόβλημα συνόρθωσης ; Σε κακή επιλογή του παραμετρικού μοντέλου (π.χ. οver-parameterization). Σε ελλιπή ή κακά σχεδιασμένη συλλογή παρατηρήσεων. Σε κανέναν από τους παραπάνω λόγους, αλλά στην ίδια τη φύση του προβλήματος που προσπαθούμε να επιλύσουμε (π.χ. gravity field downward continuation).

Να θυμάστε ότι Σε ασταθή προβλήματα συνόρθωσης δεν είναι βέβαιο ότι οι εκτιμήσεις των παραμέτρων μέσω της ΜΕΤ θα είναι αναγκαστικά κακές. Υπάρχει όμως πολύ μεγάλη πιθανότητα ότι θα είναι κακές! Ο θόρυβος των παρατηρήσεων και άλλα αριθμητικά σφάλματα κατά την υπολογιστική διαδικασία μπορεί να έχουν τρομερά μεγάλη επίδραση στην ποιότητα των τελικών αποτελεσμάτων! Η αντιμετώπιση τέτοιων προβλημάτων απαιτεί μεγάλη προσοχή από τη μεριά του χρήστη.

Τα δύο επόμενα παραδείγματα έχουν διδακτικό χαρακτήρα και σκοπό να αναδείξουν τον κίνδυνο αστάθειας που μπορεί να υπάρξει σε απλά προβλήματα συνόρθωσης λόγω κακής γεωμετρίας των δεδομένων.

y ΤΑΤΜ ΑΠΘ Παράδειγμα 1 Βέλτιστη προσαρμογή ευθείας 6 5 4 3 πραγματική ευθεία y =.5x + 3.2 2 1 2 4 6 8 1 12 x Πόσο καλή εκτίμηση της πραγματικής ευθείας μπορώ να πάρω από διαφορετικά (simulated) σετ δεδομένων;

y ΤΑΤΜ ΑΠΘ y Παράδειγμα 1 Βέλτιστη προσαρμογή ευθείας: y i = a x i + c + v i 6 σετ δεδομένων (α) 6 σετ δεδομένων (β) 5 5 4 4 3 3 2 2 1 1 2 4 6 8 1 12 x 2 4 6 8 1 12 x Ασυσχέτιστες παρατηρήσεις (y i ) ίδιας ακρίβειας σε διαφορετικό χωρικό εύρος (x i )

y ΤΑΤΜ ΑΠΘ y Παράδειγμα 1 Βέλτιστη προσαρμογή ευθείας: y i = a x i + c + v i 6 σετ δεδομένων (α) 6 σετ δεδομένων (β) 5 5 4 4 3 3 2 2 1 1 2 4 6 8 1 12 x Ελάχιστη ιδιοτιμή πίνακα Ν λ min = 2.1 2 4 6 8 1 12 x Ελάχιστη ιδιοτιμή πίνακα Ν λ min = 2.

y ΤΑΤΜ ΑΠΘ y Παράδειγμα 1 Βέλτιστη προσαρμογή ευθείας: y i = a x i + c + v i 6 estimated line 6 estimated line 5 5 4 4 3 true line 3 true line 2 2 1 1 2 4 6 8 1 12 x 2 4 6 8 1 12 x εκτίμηση ευθείας 1.61 x +.34 εκτίμηση ευθείας y =.54 x + 1.78

y ΤΑΤΜ ΑΠΘ Παράδειγμα 1 Η κακή γεωμετρία δεν οδηγεί πάντα σε κακή λύση... 6 5 true line 4 3 2 estimated line 1 2 4 6 8 1 12 x εκτίμηση ευθείας y =.43 x + 5.68

y ΤΑΤΜ ΑΠΘ Παράδειγμα 1 αλλά έχει μεγάλη πιθανότητα να δώσει πολύ κακή λύση με υπερ-εκτιμημένες τιμές παραμέτρων και λάθος πρόσημα! 6 5 4 3 2 true line 1 estimated line 2 4 6 8 1 12 x εκτίμηση ευθείας y = -.73 x + 14.37

Παράδειγμα 1 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5

Παράδειγμα 1 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5 4 4 4 4 4 2 2 2 2 2 5 5 5 5 5

Παράδειγμα 2 Μετασχηματισμός 2Δ συντεταγμένων y' y x' (x i, y i ) (x' i, y' i ) x Πόσο καλά μπορούν να εκτιμηθούν οι παράμετροι μετασχ/μού ομοιότητας από ένα δίκτυο σημείων με γνωστές συντεταγμένες σε δύο διαφορετικά ΣΑ;

Δεδομένα: Παράδειγμα 2 Σύστημα Αναφοράς 1 Σύστημα Αναφοράς 2 Χ Υ Χ' Υ' 1 4746.74 454195.79 4746.97 454195.96 2 4663.84 45437.55 4663.11 45437.73 3 418.26 454352.55 418.56 454352.68 4 466.4 454677.26 466.3 454677.39 5 4293.64 454564.22 4293.91 454564.37 Χ, Υ: θεωρούνται γνωστές χωρίς σφάλμα Χ', Υ': θεωρούνται παρατηρήσεις, ασυσχέτιστες μεταξύ τους με κοινή ακρίβεια ±2 cm

2Δ μετασχηματισμός ομοιότητας (γραμμικοποιημένο μοντέλο) T x x E θ x1 x1 1 y x y1 y1 1 x y xn x N 1 yn x y y 1 x y N N x x 1 1 t x 1 1 t y N s T E N N θ ΤΑΤΜ ΑΠΘ

Παράδειγμα 2 Εκτιμήσεις παραμέτρων μετασχ/μού ομοιότητας Λύση ΜΕΤ t x (m) -1213.32 ± 122.67 t y (m) 1821.57 ± 122.67 ε (arcsec) 61.935 ± 46.277 δs (ppm) -374.66 ± 224.36 Πολύ κακή (εντελώς αναξιόπιστη) λύση για τις τιμές των παραμέτρων, ειδικά για τις μεταθέσεις!

Παράδειγμα 2 Πίνακας συντελεστών συσχέτισης μεταξύ των εκτιμήσεων των παραμέτρων μετασχ/μού t x 1 t x t y ε δs t y. 1 ε -.9961.878 1 δs -.878 -.9961. 1

Παράδειγμα 2 Στατιστικά στοιχεία συνορθωμένων σφαλμάτων T vˆ x x E θˆ Λύση ΜΕΤ max.32 min -.6 mean. σ.25 rms.25 (*) τιμές σε m

Παράδειγμα 2 Εκτιμήσεις παραμέτρων μετασχ/μού ομοιότητας Λύση ΜΕΤ Λύση ΜΕΤ (μετά από διαταραχή λίγων cm στις παρατηρήσεις Χ' και Υ') t x (m) -1213.32-1289.42 t y (m) 1821.57 1993.45 ε (arcsec) 61.935 66.48 δs (ppm) -374.66-41.76 Πολύ μεγάλη μεταβολή στις εκτιμήσεις των παραμέτρων (unstable adjustment problem!)

Παράδειγμα 2 Στατιστικά στοιχεία συνορθωμένων σφαλμάτων T vˆ x x E θˆ Λύση ΜΕΤ Λύση ΜΕΤ (μετά από διαταραχή λίγων cm στις παρατηρήσεις Χ' και Υ') max.32.32 min -.6 -.63 mean.. σ.25.27 rms.25.27 (*) τιμές σε m

Παράδειγμα 2 Μετασχηματισμός 2Δ συντεταγμένων y' y y' y x' x' x x επικίνδυνη περίπτωση ασφαλής περίπτωση ΤΑΤΜ ΑΠΘ

Πως αντιμετωπίζονται τα ασταθή προβλήματα συνόρθωσης ; Ένας εύκολος τρόπος είναι η απλοποίηση του αρχικού μαθηματικού μοντέλου. π.χ. μέσω αφαίρεσης παραμέτρων (ποιων όμως;) Αν αυτό δεν είναι εφικτό ή επιθυμητό, τότε θα πρέπει: είτε να χρησιμοποιηθεί πρόσθετη πληροφορία για τον υπολογισμό πιο αξιόπιστης λύσης είτε να εφαρμοσθεί άλλο κριτήριο βελτιστοποίησης για την εκτίμηση των αγνώστων παραμέτρων

Να θυμάστε ότι Η εξωτερική πληροφορία που χρησιμοποιείται συνήθως για τη βελτίωση ασταθών λύσεων συνόρθωσης οδηγεί σε επηρεασμένες εκτιμήσεις. Αυτό δεν είναι κατ ανάγκη κακό! Επηρεασμένες εκτιμήσεις δεν είναι αναγκαστικά λανθασμένες εκτιμήσεις! Αντίθετα, οι επηρεασμένες εκτιμήσεις μπορούν να έχουν βέλτιστες ιδιότητες που είναι πολύ σημαντικές στη θεωρία εκτίμησης (π.χ. ελάχιστο μέσο τετραγωνικό σφάλμα εκτίμησης).

Να θυμάστε ότι Η κλασσική λύση ΜΕΤ δεν χρησιμοποιεί μια πολύ σημαντική πηγή εξωτερικής πληροφορίας: οι άγνωστες παράμετροι σε κάθε πρόβλημα συνόρθωσης έχουν πάντα πεπερασμένες τιμές! Παρόλο που μπορεί να φαίνεται περίεργο, η χρήση τέτοιας πληροφορίας στη διαδικασία συνόρθωσης θα οδηγήσει συνήθως σε επηρεασμένες εκτιμήσεις.

Βασικοί δείκτες αξιολόγησης της στατιστικής ακρίβειας εκτιμήσεων παραμέτρων

Πως αξιολογούμε τη στατιστική ακρίβεια εκτιμήσεων; αληθινές τιμές παραμέτρων: x εκτιμήσεις των παραμέτρων: ˆx Παρέκκλιση εκτίμησης (bias): σφάλματα εκτίμησης: e xˆ x ξ E{ e} E{ xˆ } x Μέσο τετραγωνικό σφάλμα εκτίμησης: T MSEM E{ ee } C ξξ T mse E{ e e} trace C ξ ξ xˆ xˆ T T πίνακας βαθμωτό μέγεθος

Η έννοια του μέσου τετραγωνικού σφάλματος στη θεωρία εκτίμησης 1.9.8.7.6.5.4.3.2 x ˆx.1-4 -3-2 -1 1 2 3 4 αληθινή τιμή ˆx Ex {} ˆ ˆx εκτίμηση 2 2 xˆ 2 mse E{( xˆ x) } Το μέσο τετραγωνικό σφάλμα αξιολογεί τη συνολική ποιότητα της εκτίμησης, λαμβάνοντας υπόψη: - αβεβαιότητα λόγω επίδρασης τυχαίων σφαλμάτων - συστηματική παρέκκλιση από την άγνωστη αληθινή τιμή

Η κλασσική περίπτωση (π.χ. ΜΕΤ, ΒLUE) Για ανεπηρέαστες εκτιμήσεις: Παρέκκλιση εκτίμησης (bias): ξ E{ e} E{ xˆ } x Μέσο τετραγωνικό σφάλμα εκτίμησης: MSEM E{ ee } Cxˆ T mse E{ e e} trace Cxˆ T πίνακας βαθμωτό μέγεθος

Η κλασσική περίπτωση (π.χ. ΜΕΤ, ΒLUE) 1.9.8.7.6.5.4.3.2 ˆx.1-4 -3-2 -1 1 2 3 4 ˆx E{} xˆ x αληθινή τιμή ˆx εκτίμηση x 2ˆ 2 mse E{( xˆ x) } Στις ανεπηρέαστες εκτιμήσεις έχουμε: μηδενική παρέκκλιση εκτίμησης η μεταβλητότητα της εκτίμησης μπορεί όμως να είναι πολύ μεγάλη (σε ασταθή προβλήματα συνόρθωσης)

Ανεπηρέαστες ή επηρεασμένες εκτιμήσεις ; Είναι δυνατό να έχουμε μια επηρεασμένη εκτίμηση με μικρότερο μέσο τετραγωνικό σφάλμα από την ανεπηρέαστη εκτίμηση ελαχίστων τετραγώνων! ΜΕΤ/BLUE Επηρεασμένη εκτίμηση ˆx ξ xˆ ξ MSEM mse C trace x ˆ > MSEM mse C xˆ C xˆ xˆ ξξ T T trace C ξ ξ

Ανεπηρέαστες ή επηρεασμένες εκτιμήσεις ; 1 1.9.9.8.8.7.6 ˆx ˆx.7.6.5.5.4.3.2.1-4 -3-2 -1 1 2 3 4 E{} xˆ x αληθινή τιμή ˆx.4.3.2 ˆx ˆx x Ex { ˆ } 1.1-4 -3-2 -1 2 3 4 ˆx Πλεονέκτημα επηρεασμένων εκτιμήσεων σε ασταθή προβλήματα συνόρθωσης: Η εισαγωγή μιας πολύ μικρής παρέκκλισης ξ μπορεί να συνοδεύεται από σημαντική μείωση της μεταβλητότητας της εκτίμησης!

Μέθοδος αιχμηρών εκτιμήσεων

Εκτιμήσεις αιχμηρού τύπου (ridge regression) Λύση συνόρθωσης μέσω ΜΕΤ/BLUE: 1 xˆ N u Λύση αιχμηρής συνόρθωσης: ( k) 1 xˆ ( N k I) u όπου k είναι μικρός θετικός συντελεστής (επιλογή χρήστη) (*) Υπάρχει πάντα ένα εύρος τιμών του συντελεστή k για το οποίο η λύση αιχμηρής συνόρθωσης έχει μικρότερο μέσο τετραγωνικό σφάλμα από την κλασσική λύση συνόρθωσης ελαχίστων τετραγώνων!

Μέσο τετραγωνικό σφάλμα εκτίμησης ως συνάρτηση του k Λύση αιχμηρής εκτίμησης mse ( xˆ ) Λύση ΜΕΤ ˆ ( k) mse ( x ) k opt 2 T 2 x x k

Αν γνωρίζουμε ότι: τότε επιλέγοντας: T Μέσο x x τετραγωνικό B σφάλμα 2 2 εκτίμησης k κρίση του χρήστη! εξασφαλίζουμε τη συνθήκη: B Η επιλεγμένη τιμή του Β εξαρτάται από τη φύση των παραμέτρων x και εμπεριέχει την υποκειμενική k 2 T 2 x x mse ( xˆ ) Λύση ΜΕΤ ˆ ( k) mse ( x ) k opt 2 T 2 x x Άγνωστο στην πράξη k

Στατιστικά χαρακτηριστικά αιχμηρών εκτιμήσεων Πίνακας συμ-μεταβλητοτήτων ( k) 2 1 1 Cˆ ( N ki) N( N ki) x ( k) Διάνυσμα παρέκκλισης 1 xˆ ( N k I) u 1 ξ k( N ki) x Πίνακας μέσων τετραγωνικών σφαλμάτων 1 2 2 T 1 MSEM ( N k I) ( N k xx )( N k I)

Στατιστικά χαρακτηριστικά αιχμηρών εκτιμήσεων ( k) 1 xˆ ( N k I) u mse(k) bias(k) var(k) k

Στατιστικά χαρακτηριστικά αιχμηρών εκτιμήσεων ( k) 1 xˆ ( N k I) u mse(k) bias(k) mse ΜΕΤ var(k) k

Να θυμάστε ότι Στα συνήθη προβλήματα συνόρθωσης η λύση αιχμηρών εκτιμήσεων για βέλτιστες τιμές του συντελεστή k (δηλαδή για τιμές που ανήκουν μέσα στο διάστημα στο οποίο μειώνεται το μέσο τετραγωνικό σφάλμα) δίνει πρακτικά τα ίδια αποτελέσματα με την κλασσική λύση ΜΕΤ. Σε ασταθή προβλήματα συνόρθωσης η λύση αιχμηρών εκτιμήσεων μπορεί να διαφέρει κατά πολύ σε σχέση με την κλασσική λύση ΜΕΤ, ακόμα και για πάρα πολύ μικρές τιμές του συντελεστή k.

Παράδειγμα 2 (συνεχ.) Εκτιμήσεις παραμέτρων μετασχ/μού ομοιότητας Λύση ΜΕΤ (k = ) Λύση αιχμηρής συνόρθωσης (k =.1) Λύση αιχμηρής συνόρθωσης (k =.1) t x (m) -1213.32 ± 122.67-1.16 ±.98 -.12 ±.1 t y (m) 1821.57 ± 122.67 1.74 ±.98.17 ±.1 ε (arcsec) 61.93 ± 46.28.6 ±.4.1 ±.1 δs (ppm) -374.66 ± 224.36 -.32 ±.22. ±.3 Οι αιχμηρές λύσεις δίνουν καλύτερες (και πιο αξιόπιστες) εκτιμήσεις για τις παραμέτρους του μοντέλου

Παράδειγμα 2 (συνεχ.) Στατιστικά στοιχεία συνορθωμένων σφαλμάτων T vˆ x x E θˆ Λύση ΜΕΤ (k = ) Λύση αιχμηρής συνόρθωσης (k =.1) Λύση αιχμηρής συνόρθωσης (k =.1) max.32.23.23 min -.6 -.79 -.79 mean... σ.25.28.28 rms.25.28.28 (*) όλες οι τιμές σε m

Επιλογή του συντελεστή k ( k) 1 xˆ ( N k I) u Υπάρχουν διάφορες τεχνικές για την επιλογή του συντελεστή k κατά τον υπολογισμό λύσεων αιχμηρής εκτίμησης σε ασταθή γραμμικά μοντέλα. Ενδεικτικά αναφέρουμε παρακάτω μία απλή εμπειρική τεχνική για την επιλογή του συντελεστή k, γνωστή ως ridge-trace, που χρησιμοποιείται συχνά σε αρκετές πρακτικές εφαρμογές.

tx (m) ε (arcsec) ty (m) δs (ppm) ΤΑΤΜ ΑΠΘ Μεταβολή αιχμηρών εκτιμήσεων ως συνάρτηση του k -1-2 1-4 1-3 2 1 1-4 1-3 1.5 1-4 1-3 -2-4 1-4 1-3 k

LS criterion Μεταβολή αιχμηρών εκτιμήσεων ως συνάρτηση του k 2 15 tx ty ε δs 19.68 19.67 1 5-5 -1-15 1-4 1-3 k 19.66 19.65 19.64 19.63 19.62 19.61 19.6 19.59 v T Pv 2 4 6 8 1 k x 1-4 (*) Ridge-trace: η τιμή του k επιλέγεται εμπειρικά έτσι ώστε: o o οι εκτιμήσεις των παραμέτρων να έχουν σταθεροποιηθεί σε ρεαλιστικές τιμές τα αντίστοιχα συνορθωμένα σφάλματα να παραμένουν σχετικά μικρά

LS criterion ΤΑΤΜ ΑΠΘ Μεταβολή της ποσότητας vˆ Pv ˆ ως συνάρτηση του k T 19.68 19.67 19.66 19.65 19.64 19.63 19.62 19.61 19.6 19.59 2 4 6 8 1 k x 1-4

Εναλλακτικές θεωρητικές ερμηνείες των αιχμηρών λύσεων συνόρθωσης

Να θυμάστε ότι b Ax v ( k) 1 xˆ ( N k I) u Μπορούμε να καταλήξουμε στην παραπάνω σχέση εκτίμησης μέσα από διάφορες προσεγγίσεις. Η λύση αιχμηρής συνόρθωσης μπορεί να θεωρηθεί ότι έχει διάφορες βέλτιστες ιδιότητες ανάλογα με το θεωρητικό πλαίσιο στο οποίο μπορεί να θεμελιωθεί η παραπάνω σχέση εκτίμησης βλέπε παρακάτω.

Εναλλακτικές θεωρήσεις αιχμηρών εκτιμήσεων Επηρεασμένη γραμμική εκτίμηση με ελάχιστο μέσο τετραγωνικό σφάλμα. Εκτίμηση ΕΤ με ανισοτική δέσμευση για τις άγνωστες παραμέτρους. Εκτίμηση ΕΤ με ταυτόχρονη oμαλοποίηση των εκτιμήσεων των παραμέτρων. Εκτίμηση BLUE με a-priori στοχαστική πληροφορία για τις παραμέτρους.

Λύση συνόρθωσης ΜΕΤ με ανισοτική δέσμευση 1) Εξισώσεις παρατηρήσεων: b Ax v 2) Κριτήριο βέλτιστης εκτίμησης: v 2 T v Pv min 3) Δέσμευση μεγέθους παραμέτρων: x 2 T x x B Γενική μορφή λύσης: 1 xˆ ( N k I) u όπου ο συντελεστής k προσδιορίζεται από τη σχέση: T xˆ xˆ B (βλέπε linear programming theory in linear models)

Λύση συνόρθωσης ΜΕΤ με ταυτόχρονη ομαλοποίηση 1) Εξισώσεις παρατηρήσεων: b Ax v 2) Υβριδικό κριτήριο βελτιστοποίησης: 2 2 v k x v Pv kx x T T min Γενική μορφή λύσης: 1 xˆ ( N k I) u όπου ο συντελεστής ομαλοποίησης k επιλέγεται από το χρήστη σύμφωνα με διάφορα κριτήρια oμαλοποίησης (βλέπε regularization theory in linear models)

BLUE με στοχαστική προσέγγιση για τις άγνωστες παραμέτρους 1 ) Εξισώσεις παρατηρήσεων: b A x I vv x 2) Κριτήριο βέλτιστης εκτίμησης: v Pv v P v min T T x x x Γενική μορφή λύσης: xˆ ( N P ) 1 u x Px k I όπου ο συντελεστής 1/k αντιστοιχεί στην αρχική αβεβαιότητα (μεταβλητότητα) των τιμών των αγνώστων παραμέτρων (βλέπε Bayesian theory in linear models)

Για περισσότερες λεπτομέρειες, βλέπε επίσης Sen A., Srivastava M. (199) Regression analysis: theory, methods and applications. Springer, Berlin. Draper N.R., Smith H. (1998) Applied regression analysis. John Wiley & Sons, Inc. Rao C.R., Toutenburg H. (1999) Linear models: least-squares and alternatives. Springer, Berlin. Δερμάνης Α. (1987) Συνορθώσεις παρατηρήσεων & Θεωρία Εκτίμησης (τόμος ΙΙ). Εκδόσεις Ζήτη. βλέπε κεφάλαιο 8.6, σελ. 53-59 ΤΑΤΜ ΑΠΘ Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217