HMY 799 1: Αναγνώριση. συστημάτων. Διαλέξεις 6 7. Συνάφεια (συνέχεια) Μη παραμετρική αναγνώριση γραμμικών

Transcript

1 HMY 799 1: Αναγνώριση Συστημάτων Διαλέξεις 6 7 Συνάφεια (συνέχεια Συστήματα πολλαπλών εισόδων Μη παραμετρική αναγνώριση γραμμικών συστημάτων

2 Εκτίμηση άσματος Ισχύος Περιοδόγραμμα, Bartlett/Welch, Παραμετρική (AR models Συνάφεια (Coherence Για γραμμικό σύστημα χωρίς θόρυβο Αν τα x,y είναι ασυσχέτιστα: Η συνάφεια είναι ένα μέτρο του πόσο γραμμικά συσχετισμένα είναι δύο σήματα x(t και Εάν ησυνάρτηση ησυνάφειας είναι μεταξύ 0 και 1 τότε: Υπάρχει θόρυβος στις μετρήσεις Η σχέση μεταξύ x,y είναι μη γραμμική Η τιμή της εξόδου y καθορίζεται και από άλλες εισόδους Η συνάφεια διατηρείται κάτω από γραμμικούς ςμετασχηματισμούς μ

3 Μηδενικός θόρυβος στην είσοδο, ασυσχέτιστος θόρυβος στην έξοδο: e(t u(t H(f z(t m(t x(t

4 Συστήματα με θόρυβο Ασυσχέτιστος θόρυβος και στην είσοδο και στην έξοδο: e(t u(t H(f z(t m(t x(t Άρα για να υπολογίσουμε την Η(f χρειάζονται και μετρήσεις ή γνώση του m(t

5 Συστήματα με θόρυβο Ασυσχέτιστος θόρυβος και στην είσοδο και στην έξοδο: e(t ( yx f zu ( f γ yx ( f = = ( f ( f ( ( f ( f ( ( f ( f xx yy uu mm zz ee 1 = 1 c ( f c ( f c ( f c ( f 1 1 m(t u(t x(t H(f z(t c1( f, c( f : Noise to signal ratios mm( f c1 ( f = uu ( f γ yx ( f < 1 ee ( f c ( f = ( f zz Χωρίς γνώση των m(t, n(t δεν είναι δυνατόν να διαχωρίσουμε τα φάσματα xx(f, yy(f σε συνιστώσες σήματος/ θορύβου

6 Συστήματα με θόρυβο Έστω ότι για το γραμμικό σύστημα του σχήματος όπου ο θόρυβος e(t δεν είναι αναγκαία ασυσχέτιστος με την έξοδο x(t z(t. Ψάχνουμε την απόκριση συχνοτήτων Η(f που ελαχιστοποιεί το θόρυβο στην έξοδο,, δηλ. τη ηβέλτιστη ημορφή της υπό την έννοια ελαχίστων τετραγώνων. Η περιγραφή αυτή αντιστοιχεί στη «βέλτιστη» (κατά ελάχιστα τετράγωνα γραμμική σχέση μεταξύ x και y. Y( f = H( f X( f E( f H(f z(t e(t E ( f = E ( f E *( f = = Y( f H( f Y*( f X( f H*( f X *( f Y( f H( f H*( f X( f ( f = ( f H( f ( f H*( f ( f H( f H*( f ( f ee yy xy yx xx Ψάχνουμε την Η(f που ελαχιστοποιεί το φάσμα G ee (f. Θέτουμε H = H jh H* = H jh R I R I = j = j yx R I xy R I

7 Συστήματα με θόρυβο Ελαχιστοποιούμε το πραγματικό και φανταστικό μέρος της εξίσωσης: = ee yy ( HR jhi xy ( HR jhi yx ( HR HI xx x(t H(f z(t e(t H H H H ee R ee I R, opt I, opt = xy yx H R xx = 0 = j xy j yx H = I xx 0 xy yx R = = Hopt = HR jhi = j ( I = = xx xx xx xx yx xy yx xx Αντικαθιστώντας στην έκφραση του ee ee ( f = [1 γ yx ( f ] yy ( f yx ( f Και ( f = γ ( f ( f zz yx yy zx ( f = H( f xx ( f ( f = ( f H( f ( f = 0 ex yx xx ( yx f γ = ( f ( f ez ( f = H*( f ex ( f = 0 Άρα τα e(t, z(t είναι ασυσχέτιστα για τη βέλτιστη τιμή του H(f xx yy

8 Συστήματα με πολλαπλές εισόδους Οι είσοδοι μπορεί να συσχετίζονται μεταξύ τους Θόρυβος e(t: Μη παρατηρήσιμες είσοδοι, μη γραμμικότητες, Θόρυβος μετρήσεων Αν ησυνάφεια μεταξύ δύο εισόδων είναι 1: πλεονάζουσα είσοδος μπορεί να παραλειφθεί Αν η συνάφεια μεταξύ μιας εισόδου και της εξόδου είναι 1: Μοντέλο μιας εισόδου/μιας εξόδου Πεδίο χρόνου q yt ( = y( t et ( i= 1 i Πεδίο συχνότητας q Y ( f = Yi ( f E ( f i= 1 Yi( f = Hi( f Xi( f q Y ( f = H ( f X ( f E ( f i= 1 i i άσματα εισόδων, εξόδου, διαφάσματα ii ( f =x ( ix f i ij ( f =x ( ix f j ( f = ( f yi yy ( f yx i x 1 (t x (t x q (t H 1 (f H (f H q (f y 1 (t y (t y q (t e(t (

9 q Y ( f = H ( f X ( f E ( f j= 1 q j ( f = H ( f ( f ( f yi j ji ei j= 1 j Συστήματα με πολλαπλές εισόδους Αν ο θόρυβος είναι ασυσχέτιστος με τις εισόδους: q ( f = H ( f ( f, i = 1,,..., q yi j ji j= 1 q εξισώσεις με q αγνώστους άσμα εξόδου (για ασυσχέτιστο θόρυβο q q * ( f = H ( f H ( f ( f ( f yy i j ij ee i= 1 j= 1 Αν οι είσοδοι είναι ασυσχέτιστες μεταξύ τους: ( f = H ( f ( f, i = 1,,..., q yi i ii q yy i ii ee i= 1 ( f = H ( f ( f ( f Άρα σε αυτή την περίπτωση δεν απαιτείται η λύση συστήματος εξισώσεων, αλλά έχουμε απλά μια συλλογή μοντέλων 1 εισόδου/ 1 εξόδου: yi ( f Hi ( f = ( f ii i ( ii( = γ yi ( yy( H f f f f Η κάθε είσοδος περνάει μόνο από την αντίστοιχη απόκριση συχνότητας (ασυσχέτιστες είσοδοι. Στη γενική περίπτωση, η κάθε είσοδος «περνάει» από όλες τις H i (f και είναι δύσκολη η αποδόμηση της yy (f σε συνιστώσες που αντιστοιχούν σε κάθε είσοδο x 1 (t x (t x q (t H 1 (f H (f H q (f y 1 (t y (t y q (t e(t (

10 Στη γενική περίπτωση: Y( f = H ( f X ( f H ( f X ( f E( f 1 1 Συστήματα δύο εισόδων 1 T 1 * * * * * = lim T E{( H1X1 HX E ( H1X1 HX E} T * * ( f = H H H H H H x 1 (t H 1 (f y 1 (t e(t * yy ( f = lim T E { Y Y } = yy H H H H * * 1 e1 1 1e e e Τα διαφάσματα μεταξύ των εισόδων και της εξόδου (με παρόμοιο τρόπο: 1 * y1 ( f = lim T E{ X1Y} = T 1 * = lim T E{ X1( H1X1 HX E} T = H H e1 1 * y( f = lim T E{ XY} = T = H H 1 1 e ee x (t y H (f (t

11 Συστήματα δύο εισόδων Στην περίπτωση που ο θόρυβος είναι ασυσχέτιστος: ( f = H ( f ( f H ( f ( f y ( f = H ( f ( f H ( f ( f y 1 1 Το σύστημα αυτό μπορεί να λυθεί (για μη μοναδιαία συνάφεια μεταξύ x 1 και x H H ( f = y1 1( f y( f ( f 1 ( f y1( f ( f[1 γ ( f] ( f = y 1( f y 1( f ( f 1 ( f y1( f ( f[1 γ ( f] 1 όπου η συνάφεια μεταξύ των εισόδων είναι: γ ( f 1 = 1( f 11 f ( ( f x 1 (t x (t H 1 (f H (f y 1 (t e(t y (t

12 Συστήματα δύο εισόδων Όταν οι δύο είσοδοι είναι ασυσχέτιστες: f = Δύο συστήματα μιας εισόδου H H 1 ( f = ( f = y1 11 y ( f ( f ( f ( f 1 ( 0 x 1 (t x (t H 1 (f H (f y 1 (t e(t y (t Όταν η συνάφεια μεταξύ των δύο εισόδων είναι 1 Γραμμική εξάρτηση μεταξύ των δύο εισόδων, άρα υπάρχει Η 3 (f μεταξύ τους και x 1 (t H ( f = H ( f H ( f H ( f 1 3 H 3 (f H 1 (f y 1 (t e(t x (t H (f y (t

13 Για ασυσχέτιστο θόρυβο: * ( f = H ( f ( f H ( f H ( f ( f yy * 1 1 Συστήματα δύο εισόδων H ( f H ( f ( f H ( f ( f ( f = ( f ( f yx : ye : Μπορούμε να υπολογίσουμε το φάσμα του θορύβου αν γνωρίζουμε τα φάσματα/διαφάσματα εισόδου, το φάσμα εξόδου καθώς και τις αποκρίσεις συχνότητας Επιπλέον, για ασυσχέτιστες εισόδους: 1 11 ( f = H ( f ( f H ( f ( f ( f yy vv ( f = γ y1( f γ y( f yy ( f ee ( f = 1 γ y1( f γ y( f yy ( f y1 ( f y ( f γ ( f =, γ y ( f = ( f ( f ( f ( f y1 11 yy yy ee ee x 1 (t x (t H 1 (f H (f y 1 (t e(t y (t

14 Συστήματα δύο εισόδων Όπως και προηγουμένως (σύστημα 1 εισόδου έστω ότι οι είσοδοι περνάνε από τα γραμμικά συστήματα Η 1 και Η και ψάχνουμε τη μορφή των συστημάτων που ελαχιστοποιούν το φάσμα του θορύβου e(t (εκτίμηση ελάχιστων τετραγώνων E( f = Y ( f H ( f X ( f H ( f X ( f 1 1 Μηδενίζοντας τις μερικές παραγώγους καταλήγουμε στις σχέσεις ( f = H ( f ( f H ( f ( f y ( f = H ( f ( f H ( f ( f y 1 1 H ee, H ee 1 x 1 (t x (t H 1 (f H (f y 1 (t e(t y (t άρα για τις αποκρίσεις συχνότητας ελαχίστων τετραγώνων, ο θόρυβος είναι ασυσχέτιστος με τις δύο εισόδους. Αν το αληθινό σύστημα είναι μη γραμμικό, τότε η εκτίμηση αυτή είναι η βέλτιστη γραμμική προσέγγιση Άρα καταλήγουμε στο ίδιο αποτέλεσμα για τις Η1 και Η: Υποθέτοντας ότι ο θόρυβος είναι ασυσχέτιστος με τις εισόδους Απαιτώντας οι αποκρίσεις συχνότητας να ελαχιστοποιούν το φάσμα του θορύβου

15 Συστήματα δύο εισόδων Για ασυσχέτιστο θόρυβο, η συνάφεια μεταξύ των δύο εισόδων και της εξόδου είναι: 1( 1( 11( ( 1( y f H f f H f f γ y1 ( f = = ( f ( f ( f ( f γ y 11 yy 11 yy y( f H1( f 1( f H( f ( f ( f = = ( f ( f ( f ( f yy yy x 1 (t x (t H 1 (f H (f y 1 (t e(t y (t Επειδή οι είσοδοι είναι συσχετισμένες, και οι δύο «περνούν» στην έξοδο y μέσω των H1 και Η. Για σχετικά χαμηλό θόρυβο, το άθροισμα των γ μπορεί να είναι μεγαλύτερο y1( f, γ y( f του 1. Μπορούμε να ορίσουμε τη συνάρτηση πολλαπλής συνάφειας (multiple coherence function ως: vv ( f nn ( f γ yx : ( f = = 1 ( f ( f yy * ( f = H ( f ( f H ( f H ( f ( f vv yy * 1 1 H ( f H ( f ( f H ( f ( f Ισχύει πάντα: 0 γ yx : ( f 1 Για ασυσχέτιστες εισόδους: γ ( f = γ ( f γ ( f yx : y1 y

16 Μη παραμετρική αναγνώριση γραμμικών συστημάτων Έστω ότι το αληθινό σύστημα είναι γραμμικό χρονικά αμετάβλητο, άρα περιγράφεται πλήρως από την κρουστική απόκριση ή την απόκριση συχνοτήτων του: y ( t = g ( τ ut ( τ υ ( t = G ( q ut ( υ ( t 0 0 τ = 0 G ( q = g ( τ q τ 0 0 τ = 0 Υπάρχουν δύο βασικές προσεγγίσεις αναγνώρισης του συστήματος g 0 Παραμετρική αναγνώριση Παραμετροποιούμε το μοντέλο, δηλ. Gqθ ˆ (, και κάνουμε εκτίμηση των παραμέτρων θ Συνήθως χρειάζεται κάποια εκ των προτέρων γνώση για τα χαρακτηριστικά του συστήματος Απλοποιεί το πρόβλημα εκτίμησης (λιγότερες παράμετροι Παράδειγμα: Υποθέτουμε ότι το σύστημά μας μπορεί να περιγραφεί από μοντέλο της μορφής: yt ( = ut ( but ( 1 but ( θ 1 Gq (, θ = 1 bq bq, = [ b b] T u(t g 0 (τ υ(t

17 Μη παραμετρική αναγνώριση γραμμικών συστημάτων Μη παραμετρική αναγνώριση Δεν παραμετροποιούμε το σύστημα, με άλλα λόγια δεν υποθέτουμε a priori κάποια συγκεκριμένη μορφή για το σύστημα Ισοδύναμα, δεν έχουμε πολλά υποψήφια μοντέλα από τα οποία θα πρέπει να επιλέξουμε ένα Υπολογισμός απευθείας από τα δεδομένα εισόδου/εξόδου Για γραμμικά συστήματα, οι μέθοδοι μη παραμετρικής αναγνώρισης αποσκοπούν στον υπολογισμό της κρουστικής απόκρισης (πεδίο χρόνου ή της απόκρισης συχνότητας (πεδίο συχνότητας Συνδυασμός με παραμετρικές μεθόδους υ(t ( u(t g 0 (τ

18 Μη παραμετρική αναγνώριση γραμμικών συστημάτων Πεδίο χρόνου (εκτίμηση Ανάλυση κρουστικής απόκρισης (Impulse response analysis Ανάλυση βηματικής απόκρισης (Step response analysis Ανάλυση συσχέτισης (Correlation analysis Πεδίο συχνότητας Ημιτονοειδής ανάλυση (Sine wave testing Ανάλυση απόκρισης συχνότητας (Frequency response analysis Ανάλυση συνάφειας (Coherence analysis υ(t u(t g 0 (τ

19 Έστω ότι η είσοδος του συστήματος κρουστικός παλμός α, t = 0 ut ( = 0, t 0 Έξοδος yt ( = α g( t υ( t gt ˆ( ( = 0 yt ( α Σφάλμα Ανάλυση κρουστικής απόκρισης yt ( = g( τ ut ( τ υ( t = G( qut ( υ( t τ = είναι ένας Άρα για μικρό σφάλμα πρέπει το α να είναι μεγάλο σε σχέση με το θόρυβο Πρακτικά: Δύσκολο να εφαρμόσουμε τέτοιες εισόδους

20 Έστω ότι η είσοδος του συστήματος σήμα α, t 0 ut ( = 0, t < 0 Έξοδος yt ( = α g( τ υ( t gt ˆ( = τ = 1 Σφάλμα 0 yt ( yt ( 1 α Ανάλυση βηματικής απόκρισης yt ( = g( τ ut ( τ υ( t = G( qut ( υ( t τ = είναι το βηματικό Πρακτικά: Μεγάλο σφάλμα Χρήσιμη προσέγγιση για την εκτίμηση βασικών χαρακτηριστικών του συστήματος (π.χ. για αυτόματο έλεγχο όπως χρονική καθυστέρηση, στατικό κέρδος, καθώς και χρονικές σταθερές (time constants

21 τ = 0 Ανάλυση συσχέτισης (Correlation analysis yt ( = g( τ ut ( τ υ( t = G( qut ( υ( t 0 0 Έστω ότι η είσοδος είναι στάσιμη με αυτοσυσχέτιση uu Έστω ότι ο θόρυβος είναι ασυσχέτιστος με την είσοδο Πολλαπλασιασμός με u(t τ, αναμενόμενη τιμή στην (1 E{ ytut ( ( k} = E{ g( τ ut ( τ ut ( k υ( tut ( k} τ = 0 0 τ = 0 ϕ ( k = g ( τ ϕ ( τ k yu uu 0 (1 ϕ ( τ = Eutut { ( ( τ} Eut {(( υ t τ } = 0 Αν η είσοδος είναι (ή προσεγγίζει λευκός θόρυβος: ϕ ( uu τ = σ δ ( τ Άρα: g ϕ ( τ yu 0( τ = σ

22 Ανάλυση συσχέτισης (Correlation analysis Στην πράξη, μπορούμε να εκτιμήσουμε τις συναρτήσεις αυτοσυσχέτισης, αλληλοσυσχέτισης όπως είδαμε στα προηγούμενα (Ν το μήκος των δεδομένων εισόδου/εξόδου Σημ: Η εκτίμηση μιας στατιστικής ποσότητας δεν είναι μοναδική! Χρησιμοποιώντας τις ακόλουθες εκτιμήσεις: N ˆ ϕ ( τ yu N ˆ ϕ ( τ uu ˆ (0 N σ ϕ (0 uu παίρνουμε τελικά την εκτίμηση της κρουστικής απόκρισης:

23 Ανάλυση συσχέτισης (Correlation analysis Έστω τώρα ότι η είσοδος δεν είναι λευκός θόρυβος: ϕ ( k = g ( τ ϕ ( τ k yu τ = 0 0 uu ϕyu ( τ = g0 ( τ * ϕuu ( τ Στην πράξη: Αποκόπτουμε τις τιμές της κρουστικής απόκρισης στο Μ (όπου Μ η μνήμη του συστήματος και χρησιμοποιούμε εκτιμήσεις για τις συναρτήσεις αυτό/αλληλοσυσχέτισης: Ν Ν ˆ ϕ ( τ = gˆ ( τ * ˆ ϕ ( τ yu uu Αυτή η σχέση μπορεί να γραφεί σε μορφή πίνακα ως: Ν ˆ ϕ (0 Ν Ν Ν ˆ ϕ (0 ˆ ϕ ( 1... ˆ ϕ ( ( Μ 1 yu uu uu uu gˆ(0 Ν Ν Ν Ν ˆ ϕ (1 ˆ ϕ (1 ˆ ϕ (0... ˆ ϕ ( ( gˆ (1 yu Μ uu uu uu = Ν Ν Ν Ν ˆ ϕ ( Μ 1 ˆ Μ 1 ˆ Μ ˆ (0 gˆ( Μ 1 ϕ ( ϕ ( ϕ yu uu uu uu Η λύση της παραπάνω εξίσωσης μπορεί να βρεθεί αντιστρέφοντας τον πίνακα Ν ( 1 Ν gˆ = uu yu ˆ N uu

24 Ανάλυση συσχέτισης (Correlation analysis Επιστρέφουμε στην εκτίμηση: Μπορεί να αποδειχθεί ότι: lim { ˆ N E g( τ } = g( τ και ότι ο πίνακας συνδιασποράς (covariance matrix του E {( g ˆ g ( g ˆ g T } gˆ( τ g( τ δηλ. εξαρτάται από το 1/Ν, άρα: καλύτερη εκτίμηση για περισσότερα δεδομένα

25 Η συνέλιξη ως γραμμική παλινδρόμηση Σημείωση: Αποκόπτοντας όπως και πριν τις πρώτες Μ τιμές της κρουστικής απόκρισης, η διακριτή συνέλιξη μπορεί να γραφεί ως: ˆ y=ug y(1 u( gˆ (0 y( u( u( gˆ (1 = yn ( un ( un ( 1... un ( M 1 gˆ ( Μ 1 Η εξίσωση αυτή έχει λύση (ελάχιστα τετράγωνα T 1 T g=uu ˆ ( Uy Όχι ιδιαίτερα αποδοτική μέθοδος (πολλοί άγνωστοι Περισσότερα στις επόμενες διαλέξεις (γραμμική παλινδρόμηση

26 Ανάλυση ημιτονοειδούς απόκρισης Είδαμε στα προηγούμενα ότι η ημιτονοειδής απόκριση ενός γραμμικού συστήματος είναι επίσης ημιτονοειδής: ut ( = α cos( ω0t υ(t y( t = α G0( ω0 cos( ω0t G0( ω0 υ( t transient u(t ϕ = G ( ω g 0 (τ 0 0 Άρα μπορούμε να μεταβάλλουμε τη συχνότητα της ημιτονοειδούς εισόδου και να μετρήσουμε το πλάτος και τη φάση της απόκρισης σταθερής κατάστασης και να εκτιμήσουμε την απόκριση συχνοτήτων (π.χ. γραφικά Το πειραματικό πρωτόκολλο μπορεί να μην είναι πάντα εφικτό

27 Ανάλυση ημιτονοειδούς απόκρισης Για την εκτίμηση του μέτρου και της φάσης υπό την παρουσία θορύβου (η γραφική μέθοδος μπορεί να μην είναι εύκολο να εφαρμοστεί. Ορίζοντας: u(t g 0 (τ υ(t Αντικαθιστούμε y( t = α G0( ω0cos( ω0t ϕ υ( t transient και αγνοώντας τη μεταβατική απόκριση (transient μπορεί να δειχθεί (τριγωνομετρικές ταυτότητες ότι: lim I ( N α N C 0( 0 cos G = ω ϕ α lim N IS( N = G0( ω0 sinϕ Μια εκτίμηση του μέτρου και της φάσης είναι τότε: ˆ I N I N ( C S ω0 = α / G ( ( I ( N S ˆ ϕ = arctan( I ( N C

28 Η εμπειρική εκτίμηση συνάρτησης μεταφοράς Empirical transfer function estimate Ξεκινώντας από το προηγούμενο αποτέλεσμα και γενικεύοντας σε οποιοδήποτε σήμα, μια εκτίμηση της απόκρισης συχνότητας μπορεί να δοθεί από: Y ( ˆ( N ω G ω = U ( ω N u(t g 0 (τ υ(t όπου ΥΝ(ω και UN(ω οι διακριτοί μετασχηματισμοί Fourier των δειγμάτων {x(1,,x(n} και {y(1,,y(n} Παίρνοντας αντίστροφο MF μπορεί να βρεθεί και η εκτίμηση της κρουστικής απόκρισης Απλή μέθοδος, αλλά όχι επιθυμητά χαρακτηριστικά Μπορεί να δειχθεί ότι για Ν > : η ανωτέρω εκτίμηση είναι αμερόληπτη η εκτίμηση δεν είναι συνεπής, αλλά εξαρτάται από το λόγο θορύβου προς σήματος σε κάθε συγκεκριμένη συχνότητα οι εκτιμήσεις σε διαφορετικές συχνότητες είναι ασυμπτωτικά ασυσχέτιστες Λύση: ομαλοποίηση (smoothing

29 Εκτίμηση στο πεδίο της συχνότητας Σύμφωνα με τα προηγούμενα, ακόμη δύο εκτιμήσεις στο πεδίο της συχνότητας είναι: u(t g 0 (τ ˆ ( yu ω G ( ω = uu ( ω αλλά και η συνάφεια: υ(t ( yu f γ yu ( f = ( f ( f uu yy οι ιδιότητές τους εξαρτώνται από τη μέθοδο εκτίμησης που χρησιμοποιείται για την εκτίμηση των φασμάτων/διαφασμάτων.