Πανεπιστηµιο Πατρων Τµηµα Μηχανικων Ηλεκτρονικων Υπολογιστων & Πληροφορικης Εργαστηριο Επεξεργασιας Σηµατων και Τηλεπικοινωνιων

Πανεπιστηµιο Πατρων Τµηµα Μηχανικων Ηλεκτρονικων Υπολογιστων & Πληροφορικης Εργαστηριο Επεξεργασιας Σηµατων και Τηλεπικοινωνιων Ταυτοποίηση Μη Γραµµικών Συστηµάτων Υψηλής Τάξης : Μία προσέγγιση ϐασισµένη στις Σειρές Volterra ιπλωµατικη Εργασια Στα πλαισια του Μεταπτυχιακου Προγραµµατος «Συστηµατα Επεξεργασιας Σηµατων & Επικοινωνιων» ιονύσιος Καλογερίας Α.Μ.: 162 Επιβλέπων : κ. Επίκουρος Καθηγητής Εµµανουήλ Ψαράκης

Στη Γιάννα, για την αµέριστη στήριξη και την υποµονή της...

Περιεχόµενα Κατάλογος Σχηµάτων Κατάλογος Πινάκων v vii 1 Εισαγωγή 1 1.1 Μη Γραµµικά Συστήµατα............................ 1 1.1.1 Σηµαντικές Κλάσεις Μη Γραµµικών Συστηµάτων............ 2 1.2 Ταυτοποίηση Συστήµατος............................ 2 1.2.1 Κατηγοριοποίηση Μεθόδων Ταυτοποίησης Συστήµατος......... 3 1.2.2 Ταυτοποίηση Συστήµατος Μαύρου Κουτιού Εισόδου - Εξόδου..... 3 1.3 Γιατί Ταυτοποίηση Μη Γραµµικών Συστηµάτων ;................ 4 1.4 ιάρθρωση της Εργασίας............................. 4 2 Σειρές Volterra 7 2.1 Συστήµατα Συνεχούς Χρόνου.......................... 7 2.2 Συστήµατα ιακριτού Χρόνου.......................... 9 2.2.1 Οµογενή Συστήµατα Volterra....................... 11 2.3 Βασικές Ιδιότητες των Σειρών Volterra...................... 11 2.3.1 Γραµµικότητα ως προς τους Συντελεστές των Πυρήνων......... 11 2.3.2 Η Ιδιότητα της Πολυδιάστατης Συνέλιξης................. 12 2.3.2.1 Σχέση Πυρήνων Volterra και Πολυδιάστατων Γραµµικών Συστηµάτων............ 12 2.3.2.2 ιαχωρίσιµοι Πυρήνες Volterra................. 13 2.3.3 Ευστάθεια................................. 13 2.3.4 Κρουστικές Αποκρίσεις των Συστηµάτων Volterra............ 14 2.4 Υπαρξη και Σύγκλιση των Σειρών Volterra................... 14 2.5 Απόκριση συστηµάτων Volterra στο πεδίο της συχνότητας........... 15 2.5.1 Απόκριση σε Μιγαδικά Εκθετικά Σήµατα................ 16 i

2.5.2 Απόκριση σε πολλαπλά Μιγαδικά Εκθετικά Σήµατα........... 17 2.6 ιανυσµατική Αναπαράσταση Συστηµάτων Volterra διακριτού χρόνου..... 17 2.7 Ειδικές Μορφές Πολυωνυµικών Συστηµάτων.................. 19 2.7.1 Το Μοντέλο Hammerstein........................ 19 2.7.2 Το Μοντέλο Wiener............................ 2 2.7.3 Το Μοντέλο LNL.............................. 21 2.7.4 Παράλληλες οµές............................ 22 2.7.4.1 Παράλληλο Μοντέλο Hammerstein............... 23 2.7.4.2 Παράλληλο Μοντέλο Wiener.................. 24 2.7.4.3 Παράλληλο Μοντέλο LNL.................... 25 3 Ντετερµινιστική Ταυτοποίηση Συστηµάτων VH 27 3.1 Πολυώνυµα Chebyshev 1 ου τύπου........................ 27 3.2 Ισοδύναµο Πρόβληµα Ταυτοποίησης...................... 29 3.3 Αρµονικά Σήµατα Χρονικά Μεταβαλλόµενης Συχνότητας............ 3 3.3.1 Αρµονικά Σήµατα Εκθετικά Αυξανόµενης Συχνότητας.......... 31 3.3.2 Χρονικός Συγχρονισµός Εκθετικών Chirps................ 33 3.4 Απόκριση Συστηµάτων VH σε Chirps...................... 33 3.5 Sincoids..................................... 34 3.6 Το «Αντίστροφο Φίλτρο».............................. 35 3.6.1 Ορισµός του «Αντίστροφου Φίλτρου» για Εκθετικά Chirps........ 38 3.7 Ταυτοποίηση Συστηµάτων VH ιακριτού Χρόνου µε χρήση Εκθετικών Chirps 4 3.7.1 Αλγόριθµος Ταυτοποίησης Συστηµάτων ιακριτού Χρόνου........ 41 3.7.2 Επαναληπτική Ανακατασκευή των Πυρήνων............... 45 3.7.3 Σύγκλιση της Επαναληπτικής Μεθόδου Ανακατασκευής........ 49 3.7.4 Συµπεριφορά της Μεθόδου Ανακατασκευής υπό την Επίδραση Προσθετικών ιαταραχών............................. 55 4 Βέλτιστη Στοχαστική Ταυτοποίηση Συστηµάτων Volterra 59 4.1 Γενική ιατύπωση του Προβλήµατος Ταυτοποίησης............... 59 4.1.1 Το Βέλτιστο των Σειρών Volterra..................... 6 4.1.2 Απαιτήσεις ειγµατοληψίας Σηµάτων Εισόδου - Εξόδου......... 6 4.2 Άµεση Βέλτιστη Εκτίµηση Παραµέτρων..................... 61 4.2.1 Το Κριτήριο του Ελάχιστου Μέσου Τετραγωνικού Σφάλµατος (MMSE). 62 4.2.1.1 Επέκταση σε µη-mmse Προβλήµατα Εκτίµησης........ 62 4.2.1.2 Βέλτιστη Λύση υπό την έννοια του MMSE........... 63 4.2.1.3 Ελάχιστο Μέσο Τετραγωνικό Σφάλµα.............. 63 4.2.1.4 Εκτίµηση των Απαιτούµενων Στατιστικών............ 63 4.2.1.5 Εκτίµηση υπό την έννοια του MMSE για Gaussian Σήµατα.. 64 4.2.2 Το Κριτήριο των Ελαχίστων Τετραγώνων (LS)............... 64 4.2.2.1 Παραλλαγές του Κριτηρίου Ελαχίστων Τετραγώνων...... 65 4.2.2.2 Σύγκλιση των Εκτιµητών Ελαχίστων Τετραγώνων........ 66 ii

4.2.3 Συνθήκη Αντιστρεψιµότητας του Μητρώου Αυτοσυσχέτισης....... 66 4.3 Βέλτιστη Ορθογώνια Ταυτοποίηση Συστηµάτων Volterra............ 67 4.3.1 Βασικοί Ορισµοί............................. 67 4.3.1.1 Αποδοτικότητα χρήσης Ορθογώνιων Σηµάτων σε Προβλήµατα Εκτίµησης Παραµέτρων.............. 67 4.3.2 Ορθοκανονικοποίηση Σηµάτων στο Χώρο των Τυχαίων Μεταβλητών.. 68 4.3.3 MMSE Βέλτιστη Ορθογώνια Ταυτοποίηση Συστήµατος......... 7 4.3.4 LS Βέλτιστη Ορθογώνια Ταυτοποίηση Συστήµατος από Πραγµατικές Μετρήσεις.......................... 71 5 Βέλτιστη Αναδροµική/Προσαρµοστική Ταυτοποίηση Συστηµάτων Volterra 75 5.1 Ταυτοποίηση Συστηµάτων µε χρήση Φίλτρων Kalman............. 75 5.1.1 Βέλτιστη Αναδροµική Ταυτοποίηση Γραµµικών Συστηµάτων Πεπερασµένης Κρουστικής Απόκρισης.................. 76 5.1.2 Βέλτιστη Αναδροµική Ταυτοποίηση Συστηµάτων Volterra Πεπερασµένης Υποστήριξης....................... 77 5.2 Προσαρµοστική Ταυτοποίηση Συστηµάτων Volterra.............. 78 5.2.1 Σχέση µεταξύ του Φίλτρου Kalman και του Αλγορίθµου Αναδροµικών Ελαχίστων Τετραγώνων............ 78 5.2.2 Προσαρµοστική Ταυτοποίηση Συστηµάτων Volterra µε χρήση Εκθετικά Σταθµισµένων Φίλτρων Kalman........... 81 6 Εξοµοιώσεις και Σύγκριση Μεθόδων Ταυτοποίησης 83 6.1 Ταυτοποίηση Χρονικά Σταθερών Συστηµάτων VH................ 83 6.1.1 «Μη Γραµµική Συνέλιξη»......................... 84 6.1.2 Βέλτιστη Ορθογώνια Ταυτοποίηση υπό την έννοια του MMSE...... 93 6.1.3 Βέλτιστη Αναδροµική Ταυτοποίηση µε χρήση του Φίλτρου Kalman.. 95 6.1.4 Σύγκριση Μεθόδων Ταυτοποίησης.................... 97 6.2 Ταυτοποίηση Χρονικά Μεταβλητών Συστηµάτων Volterra............ 11 6.2.1 Βέλτιστη Αναδροµική/Προσαρµοστική Ταυτοποίηση µε χρήση του Εκθετικά Σταθµισµένου Φίλτρου Kalman................ 11 6.2.2 Σύγκριση του Εκθετικά Σταθµισµένου Φίλτρου Kalman µε τον Αλγόριθµο RLS.......................... 13 Βιβλιογραφία 17 iii

Κατάλογος Σχηµάτων 2.1 Συµπαγής διανυσµατική αναπαράσταση ενός συστήµατος Volterra διακριτού χρόνου και πεπερασµένης υποστήριξης...................... 18 2.2 Το σχηµατικό διάγραµµα του µοντέλου Hammerstein.............. 19 2.3 Το σχηµατικό διάγραµµα του µοντέλου Wiener................. 2 2.4 Το σχηµατικό διάγραµµα του µοντέλου LNL................... 21 2.5 Το σχηµατικό διάγραµµα του παράλληλου µοντέλου Hammerstein....... 23 2.6 Το σχηµατικό διάγραµµα του παράλληλου µοντέλου Volterra - Hammerstein. 24 2.7 Το σχηµατικό διάγραµµα του παράλληλου µοντέλου Wiener.......... 25 2.8 Το σχηµατικό διάγραµµα του παράλληλου µοντέλου LNL............ 26 3.1 Κυµατοµορφή ενός εκθετικού chirp....................... 32 3.2 Αποκρίσεις χρόνου και συχνότητας ενός λογαριθµικού sincoid......... 35 3.3 Απόκριση συχνότητας σήµατος C (t; b), b = 1, 5................ 38 3.4 Θορυβώδεις εκτιµήσεις πυρήνων......................... 46 3.5 Επαναληπτική ανακατασκευή αλλοιωµένων πυρήνων λόγω αναδίπλωσης.... 47 3.6 Τρισδιάστατη απεικόνιση του τελεστή TX (M = 24 και N = 821)...... 52 3.7 Η ενέργεια του «αντίστροφου ϕίλτρου» συναρτήσει του K (L = 1, f 1 = 2Hz, f 2 = 225Hz)..................................... 57 6.1 «Μη γραµµική συνέλιξη»: Επαλήθευση τελικού µοντέλου για το σύστηµα Α.. 85 6.2 Εξέλιξη του µέσου τετραγωνικού σφάλµατος κατά την επαναληπτική ανακατασκευή των πυρήνων του συστήµατος Α...................... 85 6.3 «Μη γραµµική συνέλιξη»: Επαλήθευση τελικού µοντέλου για το σύστηµα Β.. 87 6.4 Εξέλιξη του µέσου τετραγωνικού σφάλµατος κατά την επαναληπτική ανακατασκευή των πυρήνων του συστήµατος Β...................... 87 6.5 Χαρακτηριστική εισόδου - εξόδου του µη συµµετρικού περιοριστή του συστή- µατος C...................................... 88 v

6.6 Φασµατόγραµµα εξόδου του συστήµατος C όταν στην είσοδο εφαρµόζεται εκ- ϑετικό chirp.................................... 88 6.7 «Μη γραµµική συνέλιξη»: Επαλήθευση τελικού µοντέλου για το σύστηµα C (11 κλάδοι)....................................... 89 6.8 Εξέλιξη του µέσου τετραγωνικού σφάλµατος κατά την επαναληπτική ανακατασκευή των πυρήνων του συστήµατος C (11 κλάδοι)................ 9 6.9 «Μη γραµµική συνέλιξη»: Επαλήθευση τελικού µοντέλου για το σύστηµα C (11 κλάδοι), χρησιµοποιώντας αρµονικό σήµα διέγερσης.............. 9 6.1Φασµατογράµµατα εξόδων πραγµατικού και ταυτοποιηµένου συστήµατος C (11 κλάδοι) όταν ως είσοδο εφαρµόζεται εκθετικό chirp............... 91 6.11«Μη γραµµική συνέλιξη»: Επαλήθευση τελικού µοντέλου για το σύστηµα C (32 κλάδοι)....................................... 91 6.12 Εξέλιξη του µέσου τετραγωνικού σφάλµατος κατά την επαναληπτική ανακατασκευή των πυρήνων του συστήµατος C (32 κλάδοι)................ 92 6.13Φασµατογράµµατα εξόδων πραγµατικού και ταυτοποιηµένου συστήµατος C (32 κλάδοι) όταν ως είσοδο εφαρµόζεται εκθετικό chirp............... 92 6.14 Βέλτιστη ορθογώνια ταυτοποίηση υπό την έννοια του MMSE: Επαλήθευση τελικού µοντέλου για το σύστηµα Α......................... 93 6.15 Βέλτιστη εκτίµηση των πυρήνων του συστήµατος Α υπό την έννοια του MMSE. 94 6.16 Βέλτιστη ορθογώνια ταυτοποίηση υπό την έννοια του MMSE: Επαλήθευση τελικού µοντέλου για το σύστηµα Β......................... 94 6.17 Βέλτιστη εκτίµηση των πυρήνων του συστήµατος Β υπό την έννοια του MMSE. 95 6.18 Βέλτιστη αναδροµική ταυτοποίηση - Φίλτρο Kalman: Επαλήθευση τελικού µοντέλου για το σύστηµα Α............................ 96 6.19 Βέλτιστη αναδροµική εκτίµηση των πυρήνων του συστήµατος Α......... 96 6.2 Βέλτιστη αναδροµική ταυτοποίηση - Φίλτρο Kalman: Επαλήθευση τελικού µοντέλου για το σύστηµα Β............................ 97 6.21 Βέλτιστη αναδροµική εκτίµηση των πυρήνων του συστήµατος Β......... 97 6.22 Σύγκριση µεθόδων ταυτοποίησης χρονικά σταθερών συστηµάτων VH...... 98 6.23 Σύγκριση παραλλαγών της µεθόδου της «µη γραµµικής συνέλιξης» για την ταυτοποίηση χρονικά σταθερών συστηµάτων VH................. 1 6.24 Χρονική εξέλιξη της ϐέλτιστης προσαρµοστικής ταυτοποίησης του συστήµατος D.......................................... 13 6.25Σύγκριση ϕίλτρου Kalman - RLS, SNR = 1dB................. 14 6.26Σύγκριση ϕίλτρου Kalman - RLS, SNR = 5dB................. 14 6.27Σύγκριση ϕίλτρου Kalman - RLS, SNR = db................. 15 6.28Σύγκριση ϕίλτρου Kalman - RLS, SNR = 3dB................. 15 vi

Κατάλογος Πινάκων 6.1 Χαρακτηριστικά κλάδων του συστήµατος Α.................... 84 6.2 Χαρακτηριστικά κλάδων του συστήµατος Β.................... 86 6.3 Επιδόσεις των παραλλαγών της µεθόδου της «µη γραµµικής συνέλιξης» για αθόρυβα σήµατα εξόδου.............................. 11 6.4 Χαρακτηριστικά κλάδων του συστήµατος D.................... 12 vii

1 Εισαγωγή 1.1 Μη Γραµµικά Συστήµατα Είναι δύσκολο, αν όχι αδύνατο, να δοθεί ένας κλειστός ορισµός των µη γραµµικών συστη- µάτων. Το διάσηµο παράδειγµα το µαθηµατικού Stan Ulam αποσαφηνίζει µε διαισθητικό τρόπο αυτή την εγγενή δυσκολία [1]: Χρησιµοποιώντας τον όρο «µη γραµµική επιστήµη», είναι σαν να αναφέρεσαι στο µεγαλύτερο µέρος της Ϲωολογίας ως τη µελέτη των «µη ελεφάντων» Ϲώων. Πάραυτα, ο κόσµος γύρω µας είναι γεµάτος µε µη γραµµικά ϕαινόµενα, και µάλιστα εί- µαστε πολύ εξοικειωµένοι µε αρκετά από αυτά. Κατ ουσίαν, ένα σύστηµα είναι µη γραµµικό όταν ο κανόνας των τριών δεν µπορεί να εφαρµοστεί για να περιγράψει τη συµπεριφορά του. Για παράδειγµα, το ϕορολογικό σύστηµα της Ελλάδας συµπεριφέρεται µη γραµµικά : Οσο µεγαλώνει ο µεικτός µηνιαίος µισθός ενός εργαζόµενου, τόσο µεγαλώνει και το µέσο ποσοστό ϕόρων που ϑα πρέπει να πληρώνει. Ενα πιο προσιτό παράδειγµα αποτελούν οι ενισχυτές ήχου. Οταν η έντασή τους αυξάνεται πολύ, τα σήµατα τα οποία παράγονται «ψαλιδίζονται», µε αποτέλεσµα η µουσική που ακούµε να παραµορφώνεται, αντί να ακούγεται πιο δυνατά. Επίσης, ο καιρός συµπεριφέρεται µη γραµµικά : Μικρές διαταραχές στο εσωτερικό αυτού του συστήµατος µπορούν να οδηγήσουν σε πολύ µεγάλες αλλαγές µετά από µία µακρά χρονική περίοδο. Αυτό αποτελεί το λεγόµενο «ϕαινόµενο της πεταλούδας». Για το λόγο αυτό είναι πολύ δύσκολη η ακριβής πρόβλεψη του καιρού σε ένα χρονικό ορίζοντα µεγαλύτερο από κάποιες µέρες. Σε κάποιες άλλες περιπτώσεις, η µη γραµµική συµπεριφορά ενός συστήµατος είναι ε- πιθυµητή. Για παράδειγµα, επιτεύγµατα του εικοστού αιώνα, όπως η µετάδοση ήχου και εικόνας, η κινητή τηλεφωνία και η τεχνολογία ολοκληρωµένων κυκλωµάτων CMOS ϑα ήταν αδύνατα χωρίς µη γραµµικές συσκευές, όπως τα transistors και οι µίκτες σηµάτων. Με λίγα λόγια, τα µη γραµµικά συστήµατα υπάρχουν παντού. Γι αυτό, είναι πολύ σηµαντική η προσπάθεια για την κατανόηση και τη µοντελοποίηση της συµπεριφοράς τους. Προφανώς, ένα σύστηµα, το οποίο δεν είναι γραµµικό, είναι µη γραµµικό (!). Πιο αυστη- ϱά, γνωρίζουµε ότι ένα σύστηµα, το οποίο αρχικά ϐρίσκεται σε ηρεµία και που συµπαγώς αναπαριστούµε χρησιµοποιώντας ένα γενικό τελεστή S [ ], είναι γραµµικό αν και µόνο αν 1

1.2. Ταυτοποίηση Συστήµατος υπακούει στη ϑεµελιώδη αρχή της υπέρθεσης, η οποία εκφράζεται ως S [a 1 x 1 (t) + a 1 x 2 (t)] = a 1 S [x 1 (t)] + a 2 S [x 2 (t)], (1.1) όπου x 1 (t), x 2 (t) αποτελούν δύο εισόδους του συστήµατος και a 1, a 2 αποτελούν σταθερές ποσότητες. Εποµένως, εάν ένα σύστηµα δεν υπακούει στην αρχή της υπέρθεσης, τότε ϑα λέµε ότι είναι µη γραµµικό. Το πιο σηµαντικό συµπέρασµα που προκύπτει από αυτόν τον εξαιρετικά γενικό ορισµό, αποτελεί το γεγονός ότι δεν υπάρχει κάποιο γενικό ϑεωρητικό πλαίσιο, όσον αφορά την ανάλυση και το χαρακτηρισµό των µη γραµµικών συστηµάτων. Για το λόγο αυτό, η µελέτη των µη γραµµικών συστηµάτων είναι εν γένει µία δύσκολη υπόθεση. 1.1.1 Σηµαντικές Κλάσεις Μη Γραµµικών Συστηµάτων Γενικά, είναι αδύνατη η ανάπτυξη ενός ϑεωρητικού πλαισίου, το οποίο να είναι εφαρµόσιµο για ολόκληρο το σύνολο των µη γραµµικών συστηµάτων. Ως εκ τούτου, η παραδοσιακή προσέγγιση στη µελέτη των µη γραµµικών συστηµάτων συνίσταται στην επιλογή µίας η περισσότερων κλάσεων τέτοιων συστηµάτων και στην ανάπτυξη ειδικών ϑεωριών για την ανάλυση, το σχεδιασµό, την υλοποίηση, καθώς και τις εφαρµογές των κλάσεων αυτών ξεχωριστά. Μερικές από τις πιο δηµοφιλείς κλάσεις µη γραµµικών συστηµάτων, οι οποίες έχουν ϐρει εφαρµογή σε πολλά πραγµατικά προβλήµατα, είναι οι εξής [11]: Οµοµορφικά Συστήµατα (Homomorphic Systems). Φίλτρα Order Statistic. Μορφολογικά Φίλτρα (Morphological Filters). Νευρωνικά ίκτυα (Neural Networks). Μηχανές ιανυσµατικής Υποστήριξης (Support Vector Machines). Πολυωνυµικά Συστήµατα (Polynomial Systems). Στην εργασία αυτή ϑα ασχοληθούµε αποκλειστικά µε πολυωνυµικά συστήµατα, τα οποία περιγράφονται µέσω υπερθέσεων γραµµικών πολυδιάστατων συνελικτικών συναρτησιοειδών µη γραµµικών πολυωνυµικών επεκτάσεων του σήµατος εισόδου, τις επονοµαζόµενες Σειρές Volterra. Ο περίεργος αυτός ορισµός ϑα γίνει απόλυτα κατανοητός στο επόµενο κεφάλαιο. 1.2 Ταυτοποίηση Συστήµατος Ο όρος ταυτοποίηση συστήµατος περιλαµβάνει όλες εκείνες τις µεθόδους, οι οποίες στοχεύουν στη δόµηση µοντέλων για την περιγραφή δυναµικών συστηµάτων, χρησιµοποιώντας δεδοµένα που έχουν προκύψει από µετρήσεις, καθώς και το ϐέλτιστο σχεδιασµό πειραµάτων για την αποδοτική παραγωγή των δεδοµένων αυτών. Εµφανώς, η ταυτοποίηση συστήµατος αποτελεί µέρος της ϐασικής επιστηµονικής µεθοδολογίας και εξ αιτίας της προφανούς 2

Κεφάλαιο 1. Εισαγωγή αφθονίας των δυναµικών συστηµάτων στο άµεσο και έµµεσο περιβάλλον του ανθρώπου, οι αντίστοιχες µέθοδοι ϐρίσκουν εφαρµογή σε µία τεράστια γκάµα προβληµάτων. Η διαδικασία δόµησης µοντέλων από δεδοµένα περιλαµβάνει τρεις ϐασικές οντότητες [2]: ένα σύνολο δεδοµένων - µετρήσεων. ένα σύνολο υποψήφιων µοντέλων, καθένα από τα οποία περιλαµβάνει ένα σύνολο παραµέτρων. ένα σύνολο µεθόδων για την εκτίµηση των παραµέτρων αυτών, χρησιµοποιώντας τα διαθέσιµα δεδοµένα. 1.2.1 Κατηγοριοποίηση Μεθόδων Ταυτοποίησης Συστήµατος Ανάλογα µε τη διαθεσιµότητα των δεδοµένων - µετρήσεων, οι µέθοδοι ταυτοποίησης συστή- µατος κατηγοριοποιούνται σε : εισόδου - εξόδου (input - output), όπου τα διαθέσιµα δεδοµένα αποτελούνται από Ϲεύγη διεγέρσεων και αποκρίσεων του δυναµικού υπό µελέτη συστήµατος, µόνο - εξόδου (output only / blind), όπου τα διαθέσιµα δεδοµένα αποτελούνται µόνο από αποκρίσεις του συστήµατος και κατά το ήµισυ - εξόδου (semiblind), όπου τα διαθέσιµα δεδοµένα αποτελούνται από αποκρίσεις του συστήµατος, συν κάποια αξιοποιήσιµα χαρακτηριστικά του άγνωστου σήµατος εισόδου, τα οποία είναι γνωστά εκ των προτέρων. Ανάλογα µε το είδος των υποψήφιων µοντέλων, οι µέθοδοι ταυτοποίησης συστήµατος κατηγοριοποιούνται σε : λευκού κουτιού (white box), όπου τα υποψήφια µοντέλα επιλέγονται γνωρίζοντας τις ϐασικές αρχές του υπό µελέτη συστήµατος, όπως, για παράδειγµα, τις διαφορικές εξισώσεις µίας ϕυσικής διεργασίας, µαύρου κουτιού (black box), όπου τα υποψήφια µοντέλα επιλέγονται µη γνωρίζοντας τις ϐασικές αρχές του συστήµατος και περιλαµβάνουν έναν αριθµό ελεύθερων παρα- µέτρων προς εκτίµηση και γκρι κουτιού (grey box), όπου τα υποψήφια µοντέλα επιλέγονται γνωρίζοντας εν µέ- ϱει τις ϐασικές αρχές του υπό µελέτη συστήµατος και περιλαµβάνουν δύο µέρη, ένα «λευκό» και ένα «µαύρο». 1.2.2 Ταυτοποίηση Συστήµατος Μαύρου Κουτιού Εισόδου - Εξόδου Στα πλαίσια της εργασίας αυτής, ϑα ασχοληθούµε αποκλειστικά µε µεθόδους ταυτοποίησης µη γραµµικών συστηµάτων, ϑεωρώντας ότι οι είσοδοι και έξοδοι του υπό µελέτη συστήµατος 3

1.3. Γιατί Ταυτοποίηση Μη Γραµµικών Συστηµάτων ; είναι πάντοτε γνωστές, αλλά µη γνωρίζοντας τις ϐασικές αρχές εξέλιξής του και ϑεωρώντας ότι µπορεί ισοδύναµα να περιγραφεί χρησιµοποιώντας πολυωνυµικά µοντέλα (Σειρές Volterra). Ακόµα, µε τον όρο ντετερµινιστική ταυτοποίηση συστήµατος ϑα αναφερόµαστε σε µεθόδους όπου τα σήµατα εισόδου και εξίσου αποτελούν ντετερµινιστικές ποσότητες, ενώ µε τον όρο στοχαστική ταυτοποίηση συστήµατος ϑα αναφερόµαστε σε µεθόδους όπου τα αντίστοιχα σήµατα είναι τυχαία, µε πιθανώς γνωστές στατιστικές. 1.3 Γιατί Ταυτοποίηση Μη Γραµµικών Συστηµάτων ; Από τα παραδείγµατα που αναφέρθηκαν στην αρχή του κεφαλαίου, είναι εµφανές ότι πολλά ϕυσικά ϕαινόµενα είναι µη γραµµικά. Συχνά ϐέβαια, αρκεί η χρήση γραµµικών µοντέλων για την προσέγγιση της συµπεριφοράς τους. Αυτή είναι µία ελκυστική ιδέα, κυρίως επειδή το ϑεωρητικό υπόβαθρο για την ανάλυση και ταυτοποίηση γραµµικών συστηµάτων έχει µελετηθεί εκτενέστατα και είναι κάλως ορισµένο. Επιπλέον, τα γραµµικά µοντέλα είναι σχετικά ϐατά στην ερµηνεία και εύκολα στην κατανόηση. Γενικότερα, η προσέγγιση συστηµάτων χρησιµοποιώντας γραµµικά µοντέλα απαιτεί σηµαντικά µικρότερο κόπο σε σχέση µε την προσέγγιση χρησιµοποιώντας µη γραµµικά µοντέλα. υστυχώς όµως, οι γραµµικές προσεγγίσεις δεν είναι πάντα έγκυρες, και µάλιστα υπάρχουν προβλήµατα, για τα οποία η χρήση γραµµικών µοντέλων δεν προσφέρει ούτε κατά διάνοια επιθυµητά αποτελέσµατα. Για τους λόγους αυτούς, τις τελευταίες δεκαετίες, έχει δηµιουργηθεί µία σηµαντική τάση προς τη µοντελοποίηση συστηµάτων χρησιµοποιώντας µη γραµµικά µοντέλα σε ποικίλα πεδία εφαρµογών. Επιπρόσθετα, εξ αιτίας των τεράστιων τεχνολογικών εξελίξεων των τελευταίων χρόνων, έχει καταστεί δυνατή η υλοποίηση µη γραµµικών µοντέλων, ακόµα και για εφαρ- µογές πραγµατικού χρόνου. Ακόµα, στην εργασία αυτή, ϑα εστιάσουµε στην ταυτοποίηση µη γραµµικών συστηµάτων για την παραγωγή µοντέλων εξοµοίωσης. Αυτό σηµαίνει ότι, δεδοµένου ενός συνόλου µετρήσεων εισόδου - εξόδου, κατασκευάζουµε ένα µοντέλο, το οποίο, δεδοµένου ενός νέου σήµατος εισόδου, εξοµοιώνει την έξοδο του υπό µελέτη συστήµατος. Τέτοια µοντέλα, για παράδειγµα, µπορούν να χρησιµοποιηθούν για την αντικατάσταση ακριβών πειραµάτων ή/και συσκευών από ϕθηνά προγράµµατα υπολογιστών. 1.4 ιάρθρωση της Εργασίας Παρακάτω ακολουθεί εν τάχει η εσωτερική διάρθρωση της εργασίας. Στο Κεφάλαιο 2 παρουσιάζουµε τα κυριότερα σηµεία της ϑεωρίας των Σειρών Volterra, οι οποίες ϑα αποτελέσουν το ϐασικό ϑεωρητικό εργαλείο τόσο για την αναπαράσταση, όσο και για την ανάπτυξη µεθόδων ταυτοποίησης πολυωνυµικών µη γραµµικών συστηµάτων στη συνέχεια. Στο Κεφάλαιο 3 ϑα ασχοληθούµε µε την ντετερµινιστική ταυτοποίηση µίας ειδικής µορ- ϕής διακριτού χρόνου πολυωνυµικών µη γραµµικών συστηµάτων, τα οποία περιγράφονται 4

Κεφάλαιο 1. Εισαγωγή µέσω του λεγόµενου µοντέλου Volterra - Hammerstein (ϐλ. Κεφάλαιο 2). Πιο συγκεκριµένα, ϑα παρουσιάσουµε και ϑα αναλύσουµε µία σχετικά νέα µέθοδο ταυτοποίησης, η οποία ϐασίζεται στη διέγερση του υπό µελέτη συστήµατος χρησιµοποιώντας χρονικά µεταβαλλόµενα αρµονικά σήµατα πεπερασµένης διάρκειας, τα επονοµαζόµενα chirps, τα οποία διαθέτουν ορισµένες ενδιαφέρουσες χρονοσυχνοτικές ιδιότητες. Στο Κεφάλαιο 4 εισάγουµε και αναλύουµε διεξοδικά το ϑεµελιώδες πρόβληµα της ϐέλτιστης στοχαστικής ταυτοποίησης συστηµάτων Volterra διακριτού χρόνου υπό την έννοια του ελάχιστου µέσου τετραγωνικού σφάλµατος, καθώς και το αντίστοιχο ντετερµινιστικό πρόβλη- µα της ϐέλτιστης ταυτοποίησης συστηµάτων Volterra διακριτού χρόνου υπό την έννοια των ελαχίστων τετραγώνων. Επιπλέον, ϑα επικεντρωθούµε στη διατύπωση των προαναφερθέντων προβληµάτων ϐελτιστοποίησης πάνω σε ισοδύναµους ορθοκανονικούς χώρους σηµάτων εισόδου, τόσο στοχαστικών, όσο και ντετερµινιστικών. Στο Κεφάλαιο 5 ϑα ασχοληθούµε µε το πρόβληµα της ϐέλτιστης αναδροµικής και προσαρµοστικής ταυτοποίησης χρονικά µεταβλητών συστηµάτων Volterra διακριτού χρόνου υπό την έννοια του ελάχιστου µέσου τετραγωνικού σφάλµατος, µέσω του δηµοφιλούς ϕίλτρου Kalman. Χρησιµοποιώντας τη σχέση µίας ειδικής µορφής του ϕίλτρου Kalman µε τον εξίσου δηµοφιλή αλγόριθµο των εκθετικά επιβαρυµένων αναδροµικών ελαχίστων τετραγώνων, αναπτύσσουµε προσαρµοστικά ϕίλτρα µε ϐελτιωµένες ικανότητες εντοπισµού. Τέλος, στο Κεφάλαιο 6, δοκιµάζουµε και συγκρίνουµε τις µεθόδους που παρουσιάστηκαν στα προηγούµενα κεφάλαια µε ήδη υπάρχουσες µεθόδους ταυτοποίησης µέσω πειραµάτων και χρησιµοποιώντας δεδοµένα, τα οποία από περιβάλλοντα εξοµοίωσης. Επίσης, εξετάζου- µε και συγκρίνουµε τη συµπεριφορά των µεθόδων υπό την επίδραση εξωτερικών διαταραχών µέτρησης στα αντίστοιχα σήµατα εξόδου. Επιπλέον, παρουσιάζουµε καινούργια και ενδια- ϕέροντα αποτελέσµατα. 5

2 Σειρές Volterra Οι Σειρές Volterra αποτελούν τη ϐάση της ϑεωρίας των πολυωνυµικών µη γραµµικών συστη- µάτων. Σε αυτό το κεφάλαιο, ϑα γίνει µία σχετικά συνοπτική εισαγωγή στις Σειρές Volterra, στις ιδιότητές τους, καθώς και στη γενική µεθοδολογία µε την οποία ϑα µας δοθεί η δυνατότητα να περιγράψουµε µία µεγάλη κλάση µη γραµµικών συστηµάτων, τόσο στο συνεχή, όσο και στο διακριτό χρόνο. Επίσης, έµφαση ϑα δοθεί σε αρκετές απλοποιηµένες δοµές µη γραµµικών συστηµάτων, οι οποίες, αν και αποτελούν υποπεριπτώσεις της γενικής µορφής των Σειρών Volterra, µας δίνουν τη δυνατότητα να περιγράψουµε µε πολύ κοµψό τρόπο πολλά µη γραµµικά συστήµατα που προκύπτουν σε πρακτικές εφαρµογές. 2.1 Συστήµατα Συνεχούς Χρόνου Εστω ένα µη γραµµικό, δυναµικό και χρονικά αµετάβλητο σύστηµα συνεχούς χρόνου µε είσοδο x (t) και έξοδο y (t), το οποίο συµπαγώς ϑα αναπαριστούµε χρησιµοποιώντας το συµβολισµό y (t) = S [x (t)]. (2.1) Υπό κάποιες αρκετά γενικές προϋποθέσεις, στις οποίες ϐεβαίως ϑα αναφερθούµε στη συνέχεια, το σύστηµα που περιγράφεται από τη Σχέση (2.1) µπορεί να αναπτυχθεί σε Σειρά Volterra ως εξής [3, 4]: y (t) = h + + ˆ ˆ h 1 (τ 1 ) x (t τ 1 ) dτ 1 + ˆ ˆ ˆ h 2 (τ 1, τ 2 ) x (t τ 1 ) x (t τ 2 ) dτ 1 dτ 2 + h p (τ 1,, τ p ) x (t τ 1 ) x (t τ p ) dτ 1 dτ p +, (2.2) ή χρησιµοποιώντας την πιο συµπαγή µορφή ˆ p y (t) = h + x (t τ k ) dτ k, (2.3) p=1 S p h p (τ 1,, τ p ) k=1 7

2.1. Συστήµατα Συνεχούς Χρόνου όπου ο τελεστής S p υποδηλώνει p ϕορές πολλαπλή ολοκλήρωση σε όλο το πεδίο των πραγ- µατικών αριθµών R. Ενα µη γραµµικό σύστηµα το οποίο αναπαρίσταται χρησιµοποιώντας ανάπτυγµα σε Σειρά Volterra χαρακτηρίζεται πλήρως από τις πολυδιάστατες συναρτήσεις h p (t 1,, t p ), οι οποίες αποτελούν τους λεγόµενους πυρήνες Volterra (Volterra Kernels). Ο πυρήνας µηδενικής τάξης h είναι µία σταθερά, ενώ οι υψηλότερης τάξης πυρήνες µπο- ϱούν να ϑεωρηθούν, χωρίς ϐλάβη της γενικότητας, ως συµµετρικές συναρτήσεις των ορισµάτων τους, µε αποτέλεσµα οποιεσδήποτε από τις p! µεταθέσεις των t 1,, t p να µην επηρεάζουν την τιµή του αντίστοιχου πυρήνα h p (t 1,, t p ). Η συµµετρία αυτή προκύπτει ως άµεσο αποτέλεσµα της αµεταβλητότητας των γινοµένων των καθυστερηµένων εισόδων {x (t τ i ), i = 1,, p}, ως προς τις αντίστοιχες µεταθέσεις τους. Η αιτιατότητα ενός συστήµατος Volterra εξασϕαλίζεται αν και µόνο αν h p (t 1,, t p ) =, t i <, i = 1,, p. (2.4) Ως εκ τούτου, για αιτιατά συστήµατα Volterra, τα κάτω όρια των ολοκληρωµάτων της Σχέσης (2.2) ϑέτονται ίσα µε µηδέν. Οπως είναι ϕυσικό, τα άνω όρια των ολοκληρωµάτων της Σχέσης (2.2) δηλώνουν ότι το σύστηµα µπορεί να διαθέτει άπειρη µνήµη. Αν ϐέβαια όλα τα άνω όρια τροποποιηθούν ώστε να έχουν πεπερασµένες τιµές, τότε το σύστηµα διαθέτει πεπερασµένη µνήµη. Επίσης, αξίζει να σηµειωθεί ότι κάθε ολοκλήρωµα της Σχέσης (2.2) έχει τη µορφή πολυδιάστατης συνέλιξης, µια ιδιότητα πολύ σηµαντική, αφού µεταξύ άλλων παίζει καθοριστικό ϱόλο στον υπολογισµό της κρουστικής απόκρισης και του µετασχηµατισµού Fourier των Σειρών Volterra. Ορίζοντας τώρα τον p-οστής τάξης τελεστή Volterra h p [x (t)] ως h p [x (t)] = ˆ ˆ } {{ } p ϕορές µπορούµε να ξαναγράψουµε τη Σχέση (2.2) στη µορφή h p (τ 1,, τ p ) x (t τ 1 ) x (t τ p ) dτ 1 dτ p, (2.5) y (t) = h + h p [x (t)]. (2.6) p=1 Οπως είναι λογικό, ένα σύστηµα Volterra πεπερασµένης τάξης προκύπτει ϑέτοντας το πάνω όριο του αθροίσµατος της Σχέσης (2.6) ίσο µε ένα πεπερασµένο ϑετικό αριθµό P. Η παρά- µετρος P αποτελεί την τάξη (order) του µη γραµµικού συστήµατος. Επίσης, είναι γνωστό [5], ότι οποιοδήποτε χρονικά αµετάβλητο, πεπερασµένης µνήµης σύστηµα, το οποίο αποτελεί συνεχές συναρτησιοειδές της εισόδου του, µπορεί να προσεγγιστεί οµοιόµορφα πάνω σε ένα οµοιόµορφα πεπερασµένο και συνεχές σύνολο σηµάτων εισόδου από µία Σειρά Volterra κατάλληλα επιλεγµένης και πεπερασµένης τάξης P. Επιπροσθέτως, η Σχέση (2.6) αποκαλύπτει µία οµοιότητα των Σειρών Volterra µε τις Σειρές Taylor. Οταν το σήµα εισόδου 8

Κεφάλαιο 2. Σειρές Volterra πολλαπλασιάζεται µε µία σταθερά c, η έξοδος παίρνει τη µορφή y (t) = h + h p [cx (t)] = h + c p h p [x (t)], (2.7) p=1 p=1 η οποία αποτελεί δυναµοσειρά ως προς την c. 2.2 Συστήµατα ιακριτού Χρόνου Με παρόµοιο τρόπο µε αυτόν των συνεχούς χρόνου συστηµάτων, µπορούµε να περιγράψου- µε διακριτού χρόνου, δυναµικά και χρονικά αµετάβλητα µη γραµµικά συστήµατα, χρησι- µοποιώντας τη διακριτού χρόνου Σειρά Volterra y (n) = h + h p [x (n)], (2.8) όπου x (n) και y (n) αποτελούν τα σήµατα εισόδου και εξόδου, αντίστοιχα, και ισχύει ότι h p [x (n)] = m 1 = m p= } {{ } p ϕορές p=1 h p (m 1,, m p ) x (n m 1 ) x (n m p ), (2.9) όπου η ακολουθία h p (m 1,, m p ) αποτελεί τον p-οστής τάξης διακριτό και συµµετρικό πυρήνα Volterra του συστήµατος. Οπως και στη συνεχούς χρόνου περίπτωση, αν h p (n 1,, n p ) =, n i <, i = 1,, p, (2.1) τότε το µη γραµµικό σύστηµα είναι αιτιατό, και η Σχέση (2.9) µπορεί να ξαναγραφτεί ως εξής : h p [x (n)] = m 1 = h p (m 1,, m p ) x (n m 1 ) x (n m p ). (2.11) m p= } {{ } p ϕορές Μπορούµε λοιπόν να ερµηνεύσουµε τους διακριτού χρόνου πυρήνες Volterra µε έναν τρόπο απολύτως ανάλογο σε σχέση µε την περίπτωση του συνεχούς χρόνου. Πιο συγκεκριµένα, η σταθερά h αποτελεί έναν απλό όρο στάθµισης, ο πυρήνας πρώτης τάξης h 1 (n) αποτελεί την ακολουθία της κρουστικής απόκρισης ενός διακριτού χρόνου, γραµµικού και χρονικά αµετάβλητου συστήµατος και ο πυρήνας p-οστής τάξης h p (n 1,, n p ) µπορεί να ϑεωρηθεί ως µία γενικευµένη κρουστική απόκριση, η οποία στην ουσία αποτελεί µία ακολου- ϑία αριθµητικών ϐαρών, συσχετίζοντας κατάλληλα όλα τα γινόµενα εν γένει p διαφορετικών χρονικών καθυστερήσεων του σήµατος εισόδου. Είναι επίσης εµφανές ότι τα άνω όρια των αθροισµάτων της Σχέσης (2.11) υποδεικνύουν ότι το σύστηµα µπορεί να διαθέτει άπειρη 9

2.2. Συστήµατα ιακριτού Χρόνου µνήµη και, αν τα όρια αυτά τροποποιηθούν ώστε να έχουν πεπερασµένες τιµές, τότε το µη γραµµικό σύστηµα διαθέτει πεπερασµένη µνήµη. Εάν επιπλέον επιβάλουµε και τον περιορισµό της πεπερασµένης τάξης, τότε προκύπτει η διακριτού χρόνου, πεπερασµένης µνήµης και πεπερασµένης τάξης Σειρά Volterra, και η έξοδος του αντίστοιχου µη γραµµικού συστήµατος, στην πιο γενική µορφή του, µπορεί να εκφραστεί ως όπου h p [x (n)] = N 1 1 m 1 = N p 1 m p= } {{ } p ϕορές y (n) = h + P h p [x (n)], (2.12) p=1 h p (m 1,, m p ) x (n m 1 ) x (n m p ). (2.13) Αξίζει να αναφερθεί ότι οι προφανείς δυσκολίες που εµφανίζονται σε συστήµατα Volterra µε άπειρη µνήµη, τόσο σχετικά µε την υλοποίηση όσο και µε την εκτίµηση των παραµέτρων τους, µπορούν να αποφευχθούν χρησιµοποιώντας αναδροµικά πολυωνυµικά µοντέλα µη γραµµικών συστηµάτων. Η προσέγγιση αυτή είναι παρόµοια µε αυτήν της χρήσης γραµ- µικών ϕίλτρων άπειρης κρουστικής απόκρισης (IIR), όσον αφορά στα µοντέλα γραµµικών συστηµάτων. Στα αναδροµικά πολυωνυµικά µοντέλα µη γραµµικών συστηµάτων, η σχέση µεταξύ των σηµάτων εισόδου και εξόδου περιγράφεται από µία µη γραµµική εξίσωση διαφορών πεπερασµένης τάξης, η οποία περιλαµβάνει καθυστερηµένες τιµές του σήµατος εξόδου, καθώς και την τρέχουσα και καθυστερηµένες τιµές του σήµατος εισόδου και µπορεί συµπαγώς να εκφραστεί ως y (n) = f i [x (n), x (n 1),, x (n N), y (n 1),, y (n M)], (2.14) όπου f i [ ] αποτελεί ένα πολυώνυµο i-οστού ϐαθµού ως προς τις µεταβλητές που ϐρίσκονται µέσα στις αγκύλες. Η Σχέση (2.14) είναι γνωστή στη ϐιβλιογραφία ως το λεγόµενο πολυωνυµικό µοντέλο Kolmogorov - Gabor [6]. Βέβαια, πολύ συχνά, η δυναµική υποστήριξη που είναι απαραίτητη για την επιθυµητή ποιότητα προσέγγισης ενός µη γραµµικού συστήµατος είναι πεπερασµένη. Σε µία τέτοια περίπτωση, η προσέγγιση του συστήµατος χρησιµοποιώντας µία Σειρά Volterra πεπερασµένης µνήµης είναι αρκετή για να µοντελοποιήσει τη συµπεριφορά του. Λόγω της σχετικής απλότητας των σχέσεων εισόδου - εξόδου, τα µη αναδροµικά µοντέλα που περιγράφονται χρησιµοποιώντας συστήµατα Volterra πεπερασµένης µνήµης και πεπε- ϱασµένης τάξης έχουν µελετηθεί εκτενέστατα και αποτελούν δηµοφιλείς επιλογές για την περιγραφή µη γραµµικών συστηµάτων. Το πιο απλό πολυωνυµικό ϕίλτρο είναι το τετραγωνικό (quadratic). Πολλές ϕορές µάλιστα, η χρήση του τετραγωνικού όρου, είτε µόνου του είτε σε επαλληλία µε ένα γραµµικό ϕίλτρο, προσφέρει λύση σε αρκετά ενδιαφέροντα προβλήµατα. 1