Οδηγός λύσης για το θέμα 2

Ειδικά Θέματα Συνορθώσεων & Εφαρμογές 8 ο εξάμηνο, Ακαδημαϊκό έτος 218-219 Οδηγός λύσης για το θέμα 2 Χριστόφορος Κωτσάκης Τμήμα Αγρονόμων και Τοπογράφων Μηχανικών Πολυτεχνική Σχολή, ΑΠΘ

Τι προσπαθούμε να κάνουμε ; Να επιλύσουμε ένα αντίστροφο πρόβλημα: y( t) K( t, t ) x( t ) dt xt ( )? μέσω διακριτοποίησης της παραπάνω εξίσωσης και συνόρθωσης ενός σετ σημειακών μετρήσεων του σήματος y(t). (*) τέτοια προβλήματα εμφανίζονται συχνά σε πρακτικές εφαρμογές και οδηγούν πάντα σε ιδιαίτερα ασταθή προβλήματα συνόρθωσης γραμμικών μοντέλων! Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Τι προσπαθούμε να κάνουμε ; Θεωρητικό μοντέλο αντίστροφου προβλήματος K (t, t ) x(t ) dt y (t ) Διακριτοποίηση + παρατηρήσεις με σφάλματα y Ax + v 5 2 5 3 1 2 15 1 15-5 = -1 1 2 25 3-15 35 1 2 3 4 5 6 7 8 9 1 4 y 1 2 3 4 5 6 7 8 9 1-1 -5-2 -1-3 -2 5 + -15 1 2 3 4 5 x 6 7 8 9 1-2 1 2 3 A 4 5 6 7 8 9 1 v Σχηματική μορφή των εξισώσεων παρατήρησης για τον προσδιορισμό άγνωστου σήματος από φιλτραρισμένες μετρήσεις. Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8ο εξάμηνο) Χ. Κωτσάκης, 218

Τι προσπαθούμε να κάνουμε ; Θεωρητικό μοντέλο αντίστροφου προβλήματος Διακριτοποίηση + παρατηρήσεις με σφάλματα y( t) K( t, t ) x( t ) dt y Ax + v Ζητούμενο: η εκτίμηση του άγνωστου σήματος και η ανάλυση της ακρίβειας εκτίμησης από διαφορετικές μεθοδολογίες συνόρθωσης Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Αρχείο δεδομένων (DataSet_2.xls) πίνακας σχεδιασμού Α (4 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Αρχείο δεδομένων (DataSet_2.xls) διάνυσμα παρατηρήσεων y (4 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Αρχείο δεδομένων (DataSet_2.xls) διάνυσμα αληθινών τιμών των παραμέτρων x (1 1) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Διαγνωστική ανάλυση των δεδομένων Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Η μορφή του πίνακα σχεδιασμού Α 5 1 15 2 25 3 35 4 1 2 3 4 5 6 7 8 9 1-16 -14-12 -1-8 -6-4 -2 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Η μορφή του πίνακα Ν 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 5 1 15 x 1-3 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Η μορφή του πίνακα Ν (1 πρώτες γραμμές) 1 2 3 4 5 6 7 8 9 1 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Η μορφή του πίνακα Ν (2 πρώτες γραμμές) 2 4 6 8 1 12 14 16 18 2 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Η μορφή του πίνακα Ν (3 πρώτες γραμμές) 5 1 15 2 25 3 1 2 3 4 5 6 7 8 9 1 2 4 6 8 1 12 14 16 18 x 1-3 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ιδιοτιμές του πίνακα Ν+k I 1 1-1 1-2 λ i 1-3 1-4 k = 1-4 1-5 k = 1-6 1-7 Standard NEQ Matrix Regularized NEQ Matrix 2 4 6 8 1 Eigenvalue index Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ιδιοτιμές του πίνακα Ν+k I 1 1-1 1-2 λ i 1-3 1-4 1-5 k = 1-3 k = 1-4 k = 1-5 1-6 k = 1-7 2 4 6 8 1 Eigenvalue index Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Signal-to-noise ratio (SNR) 15 παρατηρήσεις SNR i y i y i 1 5 5 1 15 2 25 3 35 4 Observation index Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ενδεικτικά αποτελέσματα συνόρθωσης Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Εκτίμηση σήματος 1 8 Least-squares estimate Ridge estimate 6 4 xˆi 2-2 -4-6 -8-1 1 2 3 4 5 6 7 8 9 1 Parameter index Max = 999.639, Min = -975.246, Mean = 3.29, RMS = 46.28 Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Εκτίμηση σήματος 1 8 6 Least-squares estimate Ridge estimate True signal 4 xˆi 2 Max = 999.639, Min = -975.246, Mean = 3.29, RMS = 46.28 Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915 Max = 148.21, Min = -174.649, Mean = 3.798, RMS = 77.718-2 -4-6 -8-1 1 2 3 4 5 6 7 8 9 1 Parameter index Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ακρίβεια εκτίμησης σήματος 6 5 STDs of least-squares solution STDs of ridge regression solution 4 x ˆi 3 2 1 1 2 3 4 5 6 7 8 9 1 Parameter index Οι τυπικές αποκλίσεις των εκτιμήσεων μέσω ΜΕΤ είναι 4-17 φορές μεγαλύτερες από τις αντίστοιχες τυπικές αποκλίσεις των αιχμηρών εκτιμήσεων! Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Signal-to-noise ratio (SNR) 6 5 SNR of least-squares estimate SNR of ridge regression estimate Εκτιμήσεις παραμέτρων SNR i xˆ i xˆ i 4 3 2 1 1 2 3 4 5 6 7 8 9 1 Parameter index Οι αιχμηρές εκτιμήσεις του σήματος έχουν σημαντικά μεγαλύτερο SNR από τις αντίστοιχες εκτιμήσεις μέσω ΜΕΤ! Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ακρίβεια εκτίμησης σήματος 6 5 STDs of least-squares solution STDs of ridge regression solution Bias of ridge regression solution 4 x ˆi 2 3 1 bias (ξ i ) -1 1 2 3 4 5 6 7 8 9 1 Parameter index Η παρέκκλιση (bias) των αιχμηρών εκτιμήσεων είναι αρκετά μικρότερη από τις τυπικές τους αποκλίσεις Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Ακρίβεια εκτίμησης σήματος (μέσα τετραγωνικά σφάλματα) 1 7 1 6 Mean Square Errors of least-squares solution Mean Square Errors of ridge regression solution 1 5 2 τάξεις μεγέθους 1 4 1 3 MSEM C xˆ ξξ T 1 2 1 2 3 4 5 6 7 8 9 1 Parameter index mse = 1.52 1 7 mse = 1.268 1 5 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Συνορθωμένα σφάλματα (residuals) Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Συνορθωμένα σφάλματα 2 Residuals of least-squares solution Residuals of ridge regression solution 15 1 vˆi 5-5 -1-15 5 1 15 2 25 3 35 4 Observation index Max = 172.9, Min = -135., Mean = -.576, RMS = 499.328 Max = 1667.7, Min = -1363.1, Mean = -1.419, RMS = 53.4 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Συνορθωμένα σφάλματα 2 Residuals of least-squares solution Residuals of ridge regression solution 15 1 vˆi 5-5 -1-15 5 1 15 2 25 3 35 4 Observation index v T Pv = 277.314 v T Pv = 312.1157 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Συνορθωμένα σφάλματα 5 4 HISTOGRAM of the residuals of least-squares solution v T Pv = 277.314 3 2 1-2 -15-1 -5 5 1 15 2 5 4 HISTOGRAM of the residuals of ridge regression solution v T Pv = 312.1157 3 2 1-2 -15-1 -5 5 1 15 2 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Παρέκκλιση (bias) αιχμηρών εκτιμήσεων σήματος Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Παρέκκλιση αιχμηρών εκτιμήσεων 2 Ridge regression estimate Bias of ridge regression estimate 15 1 xˆi 5-5 -1 i -15-2 1 2 3 4 5 6 7 8 9 1 Parameter index Max = 189.3, Min = -174.631, Mean = 3.121, RMS = 77.915 Max = 36.28, Min = -39.98, Mean = -.148, RMS = 16.97 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Παρέκκλιση αιχμηρών εκτιμήσεων 25 2 Ridge regression estimate Bias of ridge regression estimate 15 1 5-5 -1-15 -2 1 2 3 4 5 6 7 8 9 1 11 Parameter index Σε ορισμένα σημεία η παρέκκλιση έχει παρόμοια (ή και λίγο μεγαλύτερη) τιμή με την αντίστοιχη εκτίμηση του σήματος. Συνολικά όμως, η λύση αιχμηρής εκτίμησης παραμένει στατιστικά καλύτερη από την κλασσική λύση ελαχίστων τετραγώνων. Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Παρέκκλιση αιχμηρών εκτιμήσεων 2 15 rms = 77.915 HISTOGRAM of ridge-regression parameter estimates 1 5-2 -15-1 -5 5 1 15 2 2 15 rms = 16.97 HISTOGRAM of ridge-regression parameter biases 1 5-2 -15-1 -5 5 1 15 2 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) Διάνυσμα παρέκκλισης (αυστηρή σχέση) 1 ξ k( N ki) x αληθινές τιμές παραμέτρων Διάνυσμα παρέκκλισης (προσεγγιστική εκτίμηση) ˆ 1 ξ k( N ki) xˆ τιμές παραμέτρων με βάση τις αιχμηρές τους εκτιμήσεις Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) 5 4 3 2 1-1 -2-3 -4 Bias of RR solution (rigorous) -5 1 2 3 4 5 6 7 8 9 1 Parameter index Bias of RR solution (approximate) Max = 53.155, Min = -38.792, Mean =.18, RMS = 18.538 Max = 36.28, Min = -39.98, Mean = -.148, RMS = 16.97 Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Προσεγγιστικός υπολογισμός της παρέκκλισης (bias) 8 6 4 2-2 -4-6 -8 Bias of RR solution (approximate) Bias of RR solution (rigorous) 2 4 6 8 1 Parameter index Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218

Τεχνική έκθεση o Περιγραφή της διαδικασίας επίλυσης του θέματος και όλων των σχετικών αλγορίθμων που χρησιμοποιήθηκαν. o Παράθεση των αποτελεσμάτων σε κατάλληλους πίνακες με τη βοήθεια συνοδευτικών γραφημάτων (όπου κρίνετε ότι είναι απαραίτητο). o Παράθεση του σχετικού κώδικα ή των υπολογιστικών φύλλων που χρησιμοποιήσατε. o Αναλυτικός σχολιασμός των αποτελεσμάτων. Σημειώσεις για το μάθημα Ειδικά Θέματα Συνορθώσεων και Εφαρμογές (8 ο εξάμηνο) Χ. Κωτσάκης, 218