HMY 799 1: Αναγνώριση Συστημάτων Διδάσκων: Γεώργιος Μήτσης, Λέκτορας, Τμήμα ΗΜΜΥ Γραφείο: GP401 Ώρες γραφείου: Οποτεδήποτε (κατόπιν επικοινωνίας) Τηλ: 22892239 Ηλ. Ταχ.: gmitsis@ucy.ac.cy
Βιβλιογραφία Σήματα και Συστήματα Alan V. Oppenheim and Alan S. Willsky, Signals and Systems, Prentice Hall Series in Signal Processing Αναγώριση Γραμμικών Συστημάτων Lennart Ljung, System identification: Theory for the user, Prentice Hall Julius S. Bendat and Alan G. Piersol, Random Data: Analysis and Measurement Procedures, Wiley Series in Probability and Statistics Peter J. Brockwell and Richard A. Davis Time Series: Theory and Methods, Springer Series in Statistics Αναγνώριση Μη Γραμμικών Συστημάτων Vasilis Marmarelis, Nonlinear Dynamic Modeling of Physiological Systems, Wiley IEEE Oliver Nelles, Nonlinear system identification: From classical approaches to neural networks and fuzzy models, Springer. David Westwick androbert Kearney, Identification of NonlinearPhysiological Systems, IEEE Series in Biomedical Engineering Αξιολόγηση και Βαθμολόγηση Ενδιάμεση Εξέταση 25% Τελική Εξέταση 35% Κατ' οίκον εργασίες 25% Εργαστηριακή Άσκηση 15%
Επισκόπηση ιδιοτήτων γραμμικών συστημάτων Τυχαίες μεταβλητές και στοχαστικές διαδικασίες Μοντέλα γραμμικών και μη γραμμικών συστημάτων Γραμμική παλινδρόμηση Ιδιότητες μεθόδων ελαχίστων τετραγώνων Εκτίμηση παραμέτρων Μη παραμετρικές μέθοδοι αναγνώρισης συστημάτων στα πεδία του χρόνου και συχνότητας. Πειραματικός σχεδιασμός: Συστήματα ανοικτού και κλειστού βρόχου Προεπεξεργασία δεδομένων Επιλογή δομής μοντέλου και επικύρωση
Συστήματα γενικά Σύστημα: Κάθε οντότητα που δρα σε ένα σήμα (είσοδος) και το μετατρέπει σε ένα άλλο σήμα (έξοδος) Μαθηματικά: Ο μετασχηματισμός S που μετατρέπει το σήμα εισόδου x(t) στο σήμα εξόδου y(t) () y(t)=s[x(t)] Ο μετασχηματισμός μ S μπορεί να λάβει διάφορες μορφές όπως Διαφορικές εξισώσεις Κρουστική απόκριση Μη γραμμικοί τελεστές Όταν τα S, x είναι γνωστά: προσομοίωση / ανάλυση συστήματων (systems analysis/simulation) Όταν ο S είναι άγνωστος και τα x,y γνωστά: αναγνώριση συστημάτων (systems identification)
Παραδείγματα συστημάτων Ηλεκτρικά κυκλώματα (κύκλωμα RLC) Αλγόριθμοι μετασχηματισμού εικόνων (edge detection) Τηλεπικοινωνιακά Τηλεπικοινωνιακά συστήματα
Παραδείγματα συστημάτων Φυσιολογικά/ / Βιολογικά συστήματα, Σύστημα ρύθμισης πίεσης στον ανθρώπινο οργανισμό Συστήματα ελέγχου Ρύθμιση των τιμών ενός σήματος σε επιθυμητά επίπεδα (βιομηχανικές, ιατρικές εφαρμογές)
Η αναγνώριση ενός συστήματος περιλαμβάνει τα εξής βήματα Επιλογή του τύπου των υποψήφιων μοντέλων Εάν έχουμε έλεγχο του πειράματος, επιλογή του κατάλληλου πειραματικού πρωτοκόλλου Επιλογή ενός μέλους αυτού του τύπου χρησιμοποιώντας τα δεδομένα εισόδου/εξόδου Εκτίμηση της ποιότητας του επιλεγμένου μοντέλου
Σε κάθε περίπτωση, το μοντέλο είναι μια προσέγγιση του αληθινού συστήματος! Τα δεδομένα εισόδου / εξόδου περιέχουν πάντοτε θόρυβο y=z+ε Η έξοδος του συστήματος μπορεί να εξαρτάται από μεταβλητές τις οποίες δεν μπορούμε να ελέγξουμε ή/και να μετρήσουμε υ: Διαταραχή (Disturbance) υ ε x S z + y
Βασικές κατηγορίες συστημάτων Στατικά / Δυναμικά Αιτιατά / Μη Αιτιατά Ευσταθή ΦΕΦΕ / Ασταθή Χρονικά αμετάβλητα / Χρονικά μεταβαλλόμενα Γραμμικά / Μη γραμμικά Γραμμικά Χρονικά Αμετάβλητα Συστήματα xt () yt () xt ( t) yt ( t) 0 0 x () t y (), t x () t y () t 1 1 2 2 a x () t + a x () t a y () t + a y () t 1 1 2 2 1 1 2 2
Γενικοί τύποι μοντέλων «Μαύρο κουτί» / Μη παραμετρικά / Data driven Δε γνωρίζουμε τίποτε για την εσωτερική δομή του συστήματος π.χ. Γραμμικά συστήματα: Κρουστική απόκριση, συνάρτηση μεταφοράς Μη γραμμικά: Σειρές Volterra Wiener «Γκρι κουτί» / Παραμετρικά Υποθέτουμε a priori κάποια δομή (πιθανόν από εμπειρική γνώση) π.χ. Διαγράμματα μπλοκ (block diagrams), Διαφορικές εξισώσεις
M yn ( ) = hmxn ( ) ( m) m = 0 n Black box models Q M 1 M 1 yn ( ) =... kn( m1,..., mn) xn ( m1)... xn ( mn) n= 0 m1 = 0 mn = 0 M: Μνήμη συστήματος Q: Τάξη συστήματος system memory k 2 1 (m) 1,m 2 ) m 1 * system memory m 2 * m m 1 * m 2 * 11 11
Κρουστική απόκριση και ιδιότητες συστημάτων Αιτιατά συστήματα: hn ( ) = 0, n< 0 Ευσταθή συστήματα: Ευσταθή & Αιτιατά n= 0 n= hn ( ) < hn ( ) <
Grey box / Parametric models 2 d y() t dy() t du() t 2 + 2 1 + = 1 + 0 a a y() t b b u() t dt dt dt ayn ( 2) + ayn ( 1) + yn ( ) = bun ( 1) + bun ( ) 2 1 1 0 u S y dz() t du() t a1 + z() t = b1 dt dt 2 yt () = czt () + cz() t 1 2 u z y
Προσαρμογή καμπύλης (Curve fitting) Αρκετές από τις βασικές αρχές που θα συναντήσουμε μπορούν να κατανοηθούν ποιοτικά με το απλό πρόβλημα της προσαρμογής καμπύλης g(x) - Δεδομένης μιας ακολουθίας ανεξάρτητων μεταβλητών (regressors) x k {x 1,x 2,,x N } και των αντίστοιχων παρατηρούμενων τιμών της εξόδου {y 1,y 2,,y N }, όπου y k =g(x k )+ε k, ψάχνουμε μια εκτίμηση (estimate) της «αληθινής» συνάρτησης, την οποία συμβολίζουμε gˆ ( x) N
Προσαρμογή επιφάνειας (Surface fitting)
Προσαρμογή καμπύλης -Θέλουμε την gˆ N ( x) βάσει των δεδομένων {x 1, y 1,x 2, y 2,,x N,y N } - Βήμα 1: Δεδομένα - Βήμα 2: Σύνολο υποψήφιων μοντέλων Σε αυτή την περίπτωση επιλέγουμε Σημ: Στη γενική περίπτωση (παραμετροποίηση parametrization), όπου: f k : Συναρτήσεις βάσης Άρα έχουμε τις εξής επιλογές: - Είδος των συναρτήσεων βάσης - Αριθμός των συναρτήσεων βάσης n - Τιμές των συντελεστών α k -Βήμα 3: Επιλογή κριτηρίου προσαρμογής. Θα χρησιμοποιήσουμε μ κάποια μορφή του σφάλματος gˆ ( x ) g ( x ) N
Προσαρμογή καμπύλης - Κριτήριο ελάχιστων τετραγώνων (least squares) ˆ θn = arg min θ VN( θ) N 1 2 VN( θ ) = yk g( xk, θ ) Ν k = 1 ή διάφορες παραλλαγές (π.χ. σταθμισμένα ελάχιστα τετράγωνα weighted least squares) - Ισοδύναμο με το κριτήριο μέγιστης πιθανοφάνειας (maximum likelihood) όταν ο θόρυβος είναι Γκαουσιανός (Gaussian) και i.i.d. (ανεξάρτητα πανομοιότυπα κατανεμημένος), δηλ. - Οι τιμές των παραμέτρων μπορούν να υπολογιστούν αναλυτικά:
Προσαρμογή καμπύλης - Πως επιλέγουμε τον αριθμό των παραμέτρων (πολυπλοκότητα μοντέλου)? -«Αληθινή» καμπύλη: Πολυώνυμο 4 ου βαθμού
Προσαρμογή καμπύλης - Πως επιλέγουμε τον αριθμό των παραμέτρων (πολυπλοκότητα μοντέλου)? -«Αληθινή» καμπύλη: Πολυώνυμο 4 ου βαθμού (Κόκκινο) 2 ου βαθμού, 3 ου βαθμού, 10 ου βαθμού
Προσαρμογή καμπύλης - Πως επιλέγουμε τον αριθμό των παραμέτρων (πολυπλοκότητα μοντέλου)? - Κόκκινο: Διαφορά μεταξύ αληθινής καμπύλης και εκτίμησης - Τιμή κριτηρίου ελαχίστων τετραγώνων
Προσαρμογή καμπύλης - Πως επιλέγουμε τον αριθμό των παραμέτρων (πολυπλοκότητα μοντέλου)? - Κόκκινο: Διαφορά μεταξύ αληθινής καμπύλης και εκτίμησης - Τιμή κριτηρίου ελαχίστων τετραγώνων - Τιμή κριτηρίου σε ένα νέο σύνολο δεδομένων - Άρα η γενική φιλοσοφία επιλογής μοντέλου είναι: m = arg min ( Fit + Complexity. Penalty) m Μ
Nonlinear model of action potential encoding x(n) u 1 μ p 1 _ ŷ u 2 1 μ 2 μ 3 f(u,u 1 2,u 3 ) u 3 + ŷ(n) v(n) 0 v φ(u1,u2,u3,p) Pi Principal i ldynamic Mode model Wiener/Bose model, minimum set of linear filters (dynamic modes) Eigenvalue analysis of Volterra kernel matrix (modes=eigenvectors) Three significant ifi eigenvalues 1 T k 0 k1 R = 2 1 k k 1 2 2 Static nonlinearity f(u 1,u 2,u 3 ): Firing probability Threshold function φ(u 1,u 2,u 3,p) 22
Mechanoreceptor dynamic modes and firing probability bili functions Encoding of various displacement parameters μ 1 : HP velocity μ 2 : BP/HP position (displacement magnitude), selective velocity μ 3 : LP cumulative position Directional selectivity in encoding 1 1 1 0.8 0.8 0.8 Type A neuron Type B neuron Probability of firing 0.6 0.4 0.6 0.4 0.6 0.4 0.2 0.2 0.2 0 0 0-1 -0.5 0 0.5 1-0.4-0.2 0 0.2 0.4 0.6-0.5 0 0.5 u u u 1 2 3 23
Mechanoreceptor model predictions ROC curves Type Α Τype Β Neuron 1 Neuron 2 Neuron 1 Neuron 2 Linear 0.989 0.953 0.919 0.956 μ 1, μ 2 0.988 0.936 0.938 0.958 μ 1, μ 2, μ 3 0.989 0.969 0.960 0.965 24
Cerebral blood flow regulation Autoregulation: homeostatic regulation of own blood flow Brain: extremely effective autoregulation 2% of body mass 15% of total cardiac output, 20% O 2 consumption 25
Nonlinear, two-input model of cerebral hemodynamics Nonlinear model of cerebral hemodynamics Inputs: ABP, P ETCO2 variations Output: CBFV variations Simultaneous assessment of dynamic pressure autoregulation, CO 2 reactivity Includes MABP-CO 2 interactions ΑBP CO 2 (1) b (1) (2) (2) (2) (1) 0 b j Dynamic pressure autoregulation f 1 26 b L1 + b 0 CBFV b j b LI Dynamic CO 2 reactivity f K
Cerebral hemodynamics under resting conditions Experimental data 14 subjects Resting conditions, 45 mins Training data: 6 min (360 points) Validation data: 1 min NMSE [%] System order MABP CO 2 ΜΑBP & CO 2 Linear (Q=1) 32.8±13.2 71.6±12.1 24.8±11.1 Nonlinear (Q=3) 20.0±9.2 51.5±10.4 14.5±6.9 27
Cerebral hemodynamics under resting conditions Linear components MABP: HP characteristic Slow MABP changes regulated more effectively P ETCO2 : LP characteristic Slow CO 2 changes have more effect on CBF 28
Cerebral hemodynamics under resting conditions Nonlinear components Second-order order kernels Most power in VLF, LF Relative contribution of NL terms more significant for P ETCO2 MABP P ETCO2 Nonlinear to linear terms power ratio 0.31±0.13 1.18±0.45 29