Ειδικά Θέματα Συνορθώσεων & Εφαρμογές 8 ο εξάμηνο, Ακαδημαϊκό έτος 216-217 Οδηγός λύσης θέματος 2 Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων Τοπογράφων Μηχανικών Πολυτεχνική Σχολή, ΑΠΘ
Τι προσπαθούμε να κάνουμε ; Να επιλύσουμε ένα αντίστροφο πρόβλημα: y( t) K( t, t ) x( t ) dt xt ( )? μέσω διακριτοποίησης της παραπάνω εξίσωσης και συνόρθωσης ενός σετ σημειακών μετρήσεων του σήματος y(t). (*) τέτοια προβλήματα εμφανίζονται συχνά σε πρακτικές εφαρμογές και οδηγούν πάντα σε ιδιαίτερα ασταθή προβλήματα συνόρθωσης γραμμικών μοντέλων! Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Τι προσπαθούμε να κάνουμε ; Θεωρητικό μοντέλο αντίστροφου προβλήματος K (t, t ) x(t ) dt y (t ) Διακριτοποίηση + παρατηρήσεις + σφάλματα y Ax + v 5 2 5 3 1 2 15 1 15-5 = -1 1 2-3 35-2 1 2 3 4 5 6 7 8 9 1 4 y -1-2 3 1 2 3 4 5 6 7 8 9 1-5 -1 25-15 5 + -15 1 2 3 4 5 x 6 7 8 9 1-2 1 2 3 A 4 5 6 7 8 9 1 v Σχ. Σχηματική μορφή των εξισώσεων παρατήρησης για τον βέλτιστο προσδιορισμό άγνωστου σήματος από φιλτραρισμένες μετρήσεις. Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8ο εξάμηνο) Χ. Κωτσάκης, 217
Τι προσπαθούμε να κάνουμε ; Θεωρητικό μοντέλο αντίστροφου προβλήματος Διακριτοποίηση + παρατηρήσεις + σφάλματα y( t) K( t, t ) x( t ) dt y Ax + v Ζητούμενο: η εκτίμηση του άγνωστου σήματος και η ανάλυση της ακρίβειας εκτίμησης από διαφορετικές μεθοδολογίες συνόρθωσης Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Αρχείο δεδομένων (DataSet2.xls) πίνακας σχεδιασμού Α (4 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Αρχείο δεδομένων (DataSet2.xls) διάνυσμα παρατηρήσεων y (4 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Αρχείο δεδομένων (DataSet2.xls) διάνυσμα αληθινών τιμών των παραμέτρων x (1 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Διαγνωστική ανάλυση των δεδομένων Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217
Η μορφή του πίνακα σχεδιασμού Α 5 1 15 2 25 3 35 4 1 2 3 4 5 6 7 8 9 1-16 -14-12 -1-8 -6-4 -2
Η μορφή του πίνακα Ν 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 5 1 15 x 1-3
Η μορφή του πίνακα Ν (1 πρώτες γραμμές) 1 2 3 4 5 6 7 8 9 1 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3
Η μορφή του πίνακα Ν (2 πρώτες γραμμές) 2 4 6 8 1 12 14 16 18 2 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3
Η μορφή του πίνακα Ν (3 πρώτες γραμμές) 5 1 15 2 25 3 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3
Ιδιοτιμές του πίνακα Ν+k I 1 1-1 1-2 λ i 1-3 1-4 k = 1-4 1-5 k = 1-6 1-7 Standard NEQ Matrix Regularized NEQ Matrix 2 4 6 8 1 Eigenvalue index
Ιδιοτιμές του πίνακα Ν+k I 1 1-1 1-2 λ i 1-3 1-4 k = 1-4 1-5 k = 1-6 1-7 Standard NEQ Matrix Regularized NEQ Matrix 2 4 6 8 1 Eigenvalue index
Ιδιοτιμές του πίνακα Ν+k I 1 1-1 1-2 λ i 1-3 1-4 1-5 k = 1-3 k = 1-4 k = 1-5 1-6 k = 1-7 2 4 6 8 1 Eigenvalue index
Signal-to-noise ratio (SNR) 15 παρατηρήσεις SNR i y i y i 1 5 5 1 15 2 25 3 35 4 Observation index
Ενδεικτικά αποτελέσματα συνόρθωσης
Εκτίμηση σήματος 1 8 Least-squares estimate Ridge estimate 6 4 xˆi 2-2 -4-6 -8-1 1 2 3 4 5 6 7 8 9 1 Parameter index Max = 999.639, Min = -975.246, Mean = 3.29, RMS = 46.28 Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915
Εκτίμηση σήματος 1 8 6 Least-squares estimate Ridge estimate True signal 4 xˆi 2 Max = 999.639, Min = -975.246, Mean = 3.29, RMS = 46.28 Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915 Max = 148.21, Min = -174.649, Mean = 3.798, RMS = 77.718-2 -4-6 -8-1 1 2 3 4 5 6 7 8 9 1 Parameter index
Ακρίβεια εκτίμησης σήματος 6 5 STDs of least-squares solution STDs of ridge regression solution 4 x ˆi 3 2 1 1 2 3 4 5 6 7 8 9 1 Parameter index Οι τυπικές αποκλίσεις των εκτιμήσεων μέσω ΜΕΤ είναι 4-17 φορές μεγαλύτερες από τις αντίστοιχες τυπικές αποκλίσεις των αιχμηρών εκτιμήσεων!
Signal-to-noise ratio (SNR) 6 5 SNR of least-squares estimate SNR of ridge regression estimate Εκτιμήσεις παραμέτρων SNR i xˆ i xˆ i 4 3 2 1 1 2 3 4 5 6 7 8 9 1 Parameter index Οι αιχμηρές εκτιμήσεις του σήματος έχουν σημαντικά μεγαλύτερο SNR από τις αντίστοιχες εκτιμήσεις μέσω ΜΕΤ!
Ακρίβεια εκτίμησης σήματος 6 5 STDs of least-squares solution STDs of ridge regression solution Bias of ridge regression solution 4 x ˆi 2 3 1 bias (ξ i ) -1 1 2 3 4 5 6 7 8 9 1 Parameter index Η παρέκκλιση (bias) των αιχμηρών εκτιμήσεων είναι αρκετά μικρότερη από τις τυπικές τους αποκλίσεις
Ακρίβεια εκτίμησης σήματος (μέσα τετραγωνικά σφάλματα) 1 7 1 6 Mean Square Errors of least-squares solution Mean Square Errors of ridge regression solution 1 5 2 τάξεις μεγέθους 1 4 1 3 MSEM C xˆ ξξ T 1 2 1 2 3 4 5 6 7 8 9 1 Parameter index mse = 1.52 1 7 mse = 1.268 1 5
Συνορθωμένα σφάλματα (residuals)
Συνορθωμένα σφάλματα 2 Residuals of least-squares solution Residuals of ridge regression solution 15 1 vˆi 5-5 -1-15 5 1 15 2 25 3 35 4 Observation index Max = 172.9, Min = -135., Mean = -.576, RMS = 499.328 Max = 1667.7, Min = -1363.1, Mean = -1.419, RMS = 53.4
Συνορθωμένα σφάλματα 2 Residuals of least-squares solution Residuals of ridge regression solution 15 1 vˆi 5-5 -1-15 5 1 15 2 25 3 35 4 Observation index v T Pv = 277.314 v T Pv = 312.1157
Συνορθωμένα σφάλματα 5 HISTOGRAM of the residuals of least-squares solution 4 3 2 1-2 -15-1 -5 5 1 15 2 5 HISTOGRAM of the residuals of ridge regression solution 4 3 2 1-2 -15-1 -5 5 1 15 2
Παρέκκλιση (bias) αιχμηρών εκτιμήσεων σήματος
Παρέκκλιση αιχμηρών εκτιμήσεων 2 Ridge regression estimate Bias of ridge regression estimate 15 1 xˆi 5-5 -1 i -15-2 1 2 3 4 5 6 7 8 9 1 Parameter index Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915 Max = 36.28, Min = -39.98, Mean = -.148, RMS = 16.97
Παρέκκλιση αιχμηρών εκτιμήσεων 25 2 Ridge regression estimate Bias of ridge regression estimate 15 1 5-5 -1-15 -2 1 2 3 4 5 6 7 8 9 1 11 Parameter index Σε ορισμένα σημεία η παρέκκλιση έχει παρόμοια (ή και λίγο μεγαλύτερη) τιμή με την αντίστοιχη εκτίμηση του σήματος. Συνολικά όμως, η λύση αιχμηρής εκτίμησης παραμένει στατιστικά καλύτερη από την κλασσική λύση ελαχίστων τετραγώνων.
Παρέκκλιση αιχμηρών εκτιμήσεων 2 HISTOGRAM of ridge-regression parameter estimates 15 1 5-2 -15-1 -5 5 1 15 2 2 HISTOGRAM of ridge-regression parameter biases 15 1 5-2 -15-1 -5 5 1 15 2
Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) Διάνυσμα παρέκκλισης (αυστηρή σχέση) 1 ξ k( N ki) x αληθινές τιμές παραμέτρων Διάνυσμα παρέκκλισης (προσεγγιστική εκτίμηση) ˆ 1 ξ k( N ki) xˆ τιμές παραμέτρων με βάση τις αιχμηρές τους εκτιμήσεις
Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) 5 4 3 2 1-1 -2-3 -4 Bias of RR solution (rigorous) -5 1 2 3 4 5 6 7 8 9 1 Parameter index Bias of RR solution (approximate) Max = 53.155, Min = -38.792, Mean =.18, RMS = 18.538 Max = 36.28, Min = -39.98, Mean = -.148, RMS = 16.97
Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) 8 6 4 2-2 -4-6 -8 Bias of RR solution (approximate) Bias of RR solution (rigorous) 2 4 6 8 1 Parameter index
Τεχνική έκθεση o Περιγραφή της διαδικασίας επίλυσης του θέματος και όλων των σχετικών αλγορίθμων που χρησιμοποιήθηκαν. o Παράθεση των αποτελεσμάτων σε κατάλληλους πίνακες με τη βοήθεια συνοδευτικών γραφημάτων (όπου κρίνετε ότι είναι απαραίτητο). o Παράθεση του σχετικού κώδικα ή των υπολογιστικών φύλλων που χρησιμοποιήσατε. o Αναλυτικός σχολιασμός των αποτελεσμάτων. Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 217