4. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ

Transcript

1 4. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ Συσχέτιση Εντροπία Αμοιβαία Πληροφορία

2 ΣΤΑΤΙΣΤΙΚΉ ΟΡΟΣ Μέση τιμή (epectato) th Ροπή (momet), μ: μέση τιμή η ροπή ( d momet): διασπορά (varace) Στατιστική ανεξαρτησία (statstcal depedece) E ΟΡΙΣΜΟΣ [( )] p [ ] ( μ E ) E σ N [ ] ( μ) N N ( μ ) ( ) p( ) p( ) p...,...,

3 ΣΥΣΧΈΤΙΣΗ (ORRELATION) Δείχνει τη δύναμη και κατεύθυνση της γραμμικής σχέσης μεταξύ δύο τυχαίων μεταβλητών ( Χ, Υ) c y ov( Χ, Υ) σ σ ( Χ Υ μ )( y σ σ y Ε μ ) y [( Χ μ )( Υ μ )] σ Χ Χ σ Υ Υ Συμμετρική, [-,] Συσχέτιση0 αν και μόνο αν Χ και Υ στατιστικά ανεξάρτητες. ΠΡΟΣΟΧΗ! Το αντίθετο δεν ισχύει! (,) 3

4 Γεωμετρικά:ισχύει μόνο για κεντραρισμένες μεταβλητές θ Π.χ. Y cosθ Y Y ( y ) y Χ(0.5,0.,.8,3.) Υ(.,.,6,0.) y? 4

5 ΠΑΡΆΔΕΙΓΜΑ 5

6 ΠΊΝΑΚΑΣ ΣΥΣΧΈΤΙΣΗΣ ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ) ( ),,,,,,,,, L M O M M K K 6 Για τυχαίες μεταβλητές, Χ,...,Χ : ( ) ( ),, π.χ. [ ] ()[ ] και

7 ΑΥΤΟΣΥΣΧΈΤΙΣΗ (AUTOORRELATION) Συσχέτιση μίας μεταβλητής με τον εαυτό της μεταφερόμενο στο χρόνο ( ( t) ( +τ )) A, t Δηλ. η σχέση ενός σήματος με τον εαυτό του σε συγκεκριμένη υστέρηση (lag) 7

8 ΠΑΡΑΔΕΊΓΜΑΤΑ 8

9 ΕΝΤΡΟΠΊΑ (ENTROPY) Μέτρο μέσης αβεβαιότητας μιας τυχαίας μεταβλητής Χ, ή η μέση πληροφορία ανά σύμβολο πληροφορίας, ή ο μέσος αριθμός bts που απαιτούνται για να περιγράψουν την τυχαία μεταβλητή H ( ) M p ( ) log p ( ) όπου Χ: τυχαία μεταβλητή με τιμές {,, M }, και p( ): συνάρτηση κατανομής πιθανότητας (probablty desty fucto) 9

10 ΑΜΟΙΒΑΊΑ ΠΛΗΡΟΦΟΡΊΑ (MUTUAL INFORMATION) Μείωση της αβεβαιότητας μιας τυχαίας μεταβλητής Χ λόγω ύπαρξης μιας άλλης τυχαίας μεταβλητής Χ. Μέτρο γραμμικής και μη-γραμμικής συσχέτισης μεταξύ τυχαίων μεταβλητών Χ και Χ. H N MI( ) H( ) H(,..., ) N ( ) p(,..., ) log p(,..., ),..., όπου Χ:{Χ,..., Χ }, H(Χ,..., Χ): κοινή εντροπία (jot etropy) 0

11 Kullback-Lebler Dvergece KL ( p( ) p( )... p( )) K-L>0, K-L0 αν και μόνο αν οι μεταβλητές είναι στατιστικά ανεξάρτητες Ιδιότητες ΜΙ: Αμεταβλητότητα: p(,..., N )) N p(,..., N )log MI( ) p( )... p( ) και f είναι μετατροπή -προς- MI,..., ) MI( U,..., U ) όταν U f ) ( N N ΜΙ(Χ,Υ) 0, και ΜΙ(Χ,Υ)0 αν και μόνο αν Χ και Υ στατιστικά ανεξάρτητες N (

12 ΥΠΟΛΟΓΙΣΜΌΣ ΤΗΣ ΣΥΝΆΡΤΗΣΗΣ ΚΑΤΑΝΟΜΉΣ ΠΙΘΑΝΌΤΗΤΑΣ (ΣΚΠ) Για τον υπολογισμό της ΑΠ πρέπει να γνωρίζουμε τη ΣΚΠ: Ιστόγραμμα (hstogram) χωρίζουμε τα δεδομένα σε Ν ισομερείς κατανομές (bs) πλάτους d. Τότε, ΣΚΠ: p ˆ( ) N j όπου j : αριθμός των δεδομένων που αντιστοιχούν στην κατανομή j πλάτους d. Όσο πιο μικρό το d, τόσο πιο λεπτομερές είναι το ιστόγραμμα. Προσοχή πολύ μικρό πολλές αιχμές, πολύ μεγάλο πολύ λείο, χάνει το σχήμα του j j d

13 ΠΑΡΆΔΕΙΓΜΑ ΙΣΤΟΓΡΆΜΜΑΤΟΣ Τυχαίες γκαουσιανές τιμές: e π e π ( ) / ( y 0) / 8, Y 3

14 ΥΠΟΛΟΓΙΣΜΌΣ ΣΚΠ Μέσω πυρήνα (kerel desty estmate): όπου Ν: αριθμός πυρήνων (kerel fuctos), h: μέγεθος κουτιού με κέντρο ( badwdth ). Συνήθεις πυρήνες: 4 N h K Nh p ) ˆ( ( ) h S h d d e S h h K / / ) det( π

15 ΥΠΟΛΟΓΙΣΜΌΣ ΜΙ ΧΩΡΊΣ ΣΚΠ Μέθοδος k-πλησιέστερης γειτνίασης (k-earest eghbor): MI (,..., m ) ψ ( k) + ( m ) ψ ( N) ψ ( ) + ψ ( )... ( + + ψ m ) όπου k: αριθμός κοντινότερου γείτονα, ψ(.): συνάρτηση dgamma,,, m : αριθμός κοντινότερων γειτόνων στις m διαστάσεις, και Ν: μέγεθος τυχαίας μεταβλητής. Απόσταση: z z' ma { ', y y' } 5

16 ΠΑΡΆΔΕΙΓΜΑ ΠΛΗΣΙΈΣΤΕΡΩΝ ΓΕΙΤΌΝΩΝ Σε αυτό το παράδειγμα: ()5 και y ()8 6

17 ΑΜΟΙΒΑΊΑ ΑΥΤΟΠΛΗΡΟΦΟΡΊΑ (AUTO-MUTUAL INFORMATION - AMI) Lagged auto-mutual formato: παρόμοια με αυτοσυσχέτιση για τ χρονικές στιγμές, δηλ. χαρακτηρίζει το πώς μια μεταβλητή εξελίσσεται στο χρόνο. Διαφορά με αυτοσυσχέτιση: ΑΜΙ δίνει γραμμικές και μη γραμμικές πληροφορίες! AMI ( ) MI( ( T), ( T τ)) τ + 7

18 ΕΦΑΡΜΟΓΈΣ ΣΕ ΔΕΥ () Αναγνώριση μεταξύ ΗΕΓ και θορύβου 8

19 Auto-mutual formato για ΗΕΓ και θόρυβο 9

20 () Συσχέτιση μεταξύ υπολογισμένων depedet/prcpal compoets και σήματα θορύβου για αναγνώριση θορύβου (3) Επιλογή κατάλληλων συνδιασμών χαρακτηριστικών για ΔΕΥ (4) Ομαδοποίηση depedet/prcpal compoets (5) Βασικά κομμάτια άλλων μεθόδων επεξεργασίας που χρησιμοποιούνται σε ΔΕΥ 0

21 ΕΠΟΜΈΝΟ ΜΆΘΗΜΑ: Μέθοδοι επεξεργασίας σημάτων: Παλινδρόμηση Αυτοπαλινδρομικά Μοντέλα