7. ΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ 1 Principal & Independent Component Analysis (PCA, ICA)
PRINCIPAL COMPONENT ANALYSIS (PCA) Principal Component Analysis (PCA): ορθογώνιος μετασχηματισμός κατά τον οποίο αφαιρείται η συσχέτιση μεταξύ των μεταβλητών και η μείωση των διαστάσεών τους. Αυτό επιτυγχάνεται μέσω έυρεσης των αξόνων στους οποίους η συσχέτιση είναι μέγιστη και προβολή των μεταβλητών σε αυτούς τους άξονες. 2
ΥΠΟΛΟΓΙΣΜΌΣ PCA Βασίζεται σε στατιστικές 2 ης τάξεως, δηλ. συσχέτιση: eigen-decomposition του πίνακα συσχέτισης των μεταβλητών Χ{ 1,, N } Ν ιδιοτιμές (eigenvalues), D{d 1,,d N }, όπου d 1 >d 2 > >d N Τα M αυτοδιανύσματα (eigenvectors) Ε{e 1,,e M } που αντιστοιχούν στις Μ μεγαλύτερες ιδιοτιμές χρησιμοποιούνται για υπολογισμό των principal components: y k e T k Κατάλληλος για γκαουσιανές μεταβλητές, οι οποίες εξηγούνται πλήρως από στατιστικές 2 ης τάξεως (μέση τιμή και διασπορά) 3
ΕΦΑΡΜΟΓΈΣ (1) Αφαίρεση σημάτων κίνησης ματιών από ΗΕΓ για ΔΕΥ (2) Προ-επεξεργασία σημάτων για ICA 4
INDEPENDENT COMPONENT ANALYSIS (ICA) Πρόβλημα Κόκτειλ πάρτυ n ομιλητές σε ένα δωμάτιο, n μικρόφωνα, i(t) u i (t) Ηχογραφημένα σήματα είναι σταθμισμένο άθροισμα των σημάτων ομιλίας ( t) w u ( t) +... + w u ( t) 1 2... n ( t) ( t) w w 11 21 n1 1 1 1 1n u ( t) +... + w u ( t) +... + w 2n nn n u u n n ( t) ( t) (t) u i Ούτε οι συντελεστές στάθμισης, ούτε τα πραγματικά σήματα της ομιλίας είναι γνωστά Στόχος: ανακατασκευή των σημάτων,, από τα ηχογραφημένα σήματα, i (t) Ελάχιστη προϋπόθεση: στατιστική ανεξαρτησία των σημάτων 5
ΟΡΙΣΜΌΣ ICA: γραμμικός μετασχηματισμός μέσω του οποίου οι μεταβλητές γίνονται όσο πιο ανεξάρτητες μπορούν Υποθέστε ότι παρατηρούμε n τυχαίες μεταβλητές (τ.μ.), X{ 1,, n } που είναι γραμμικά μίγματα n απαρατήρητων τ.μ., S{s 1,,s n } : ή αλλιώς: i n a s +... + a s, όπου i i1 1 in As 1,..., n generative model περιγράφει πώς οι παρατηρηθέντες μεταβλητές,, έχουν παραχθεί Οι s i είναι λανθάνουσες δεν παρατηρούνται απευθείας 6
Η μέθοδος ICA αναπαράγει τις πραγματικές απαρατήρητες τ.μ. (πηγές), s, μέσω του υπολογισμού ενός γραμμικού μετασχηματισμού, W, των παρατηρηθέντων τ.μ. (μίγματα),, έτσι ώστε οι αναπαραχθέντες τ.μ., ŝ (independent components, ICs), να είναι στατιστικά ανεξάρτητες: sˆ W Μπορούμε να θεωρήσουμε και το αντίθετο: W 1 sˆ As W: πίνακας διαχωρισμού, ΑW -1 : πίνακας μίξης συναρτήσεις βάσης στήλες του W -1 φίλτρα γραμμές του W -1 7
ΣΧΗΜΑΤΙΚΆ Η ΜΈΘΟΔΟΣ ICA Blackbo s(t) A (t) s ) (t) ˆ 1 A 8
ΥΠΟΘΈΣΕΙΣ Οι s i είναι στατιστικά ανεξάρτητες p ( s,..., s ) p ( s n 1 1 )... p ( s 1 n n ) Οι ICs είναι μη-γκαουσιανοί οι γκαουσιανές ΣΚΠ έχουν μηδενικές τιμές υψηλότερα αθροιστικά (higher-order cumulants) Ο πίνακας μίξης είναι τετράγωνος (αριθμός πηγών αριθμός μιγμάτων) Οι μεταβλητές είναι κεντραρισμένες: ' E[ ] 9
ΠΡΟΒΛΉΜΑΤΑ Η διασπορά των ICs δεν μπορεί να προσδιοριστεί υποθέτουμε διασπορά 1 E[ s 2 ] i 1 Η σειρά των ICs δεν μπορεί να προσδιοριστεί 10
ΠΡΟΕΠΕΞΕΡΓΑΣΊΑ ΣΗΜΆΤΩΝ ' E[ ] Κεντράρισμα: sphere ή whiten, δηλ. αφαίρεση τυχόν συσχέτισης και κανονικοποίηση του πίνακα συσχέτισης: (1) zero-phase whitening περιορίζει W να είναι συμμετρικό: 2 T 1/ 2 ( ) (2) PCA περιορισμός W να είναι ορθογώνιο: T E [ ] EDE T white vector: zv, όπου V ED 1 / 2 T E 11
whitening (sphering) δε λύνει το πρόβλημα ICA υπολογίζει τους ICs μέχρι ορθογώνιο μετασχηματισμό whitening είναι χρήσιμο ο ζητούμενος πίνακας μίξης είναι ορθογώνιος Άρα περιορίζει την έρευνα στο πεδίο ορθογώνιων πινάκων πιο λίγες παράμετροι να υπολογιστούν Οι ICs πρέπει να είναι μη-γκαουσιανοί γκαουσιανή κοινή ΣΠΚ είναι αμετάβλητη από ορθογώνιους μετασχηματισμούς, δηλ. δεν περιέχει πληροφορίες για υπολογισμό του πίνακα μίξης 12
ΑΡΧΈΣ ΥΠΟΛΟΓΙΣΜΟΎ ICA ICA cost function + optimisation (ICA συνάρτηση κόστους + βελτιστοποίηση) Μη-γκαουσιανός σημαίνει ανεξάρτητος : y As s w T A y 1 w T As q T s Από το κεντρικό οριακό θεώρημα: το άθροισμα τ.μ. είναι πιο γκαουσιανό από τις ίδιες τις τ.μ.. Δηλ. η q T s είναι λιγότερο γκαουσιανή όταν ισούται με έναν από τους ICs. Άρα, μπορούμε να υπολογίσουμε έναν από τους ICs μέσω μεγιστοποίησης της μη-γκαουσιανότητας του w T 13
ΕΠΌΜΕΝΟ ΜΆΘΗΜΑ: 14 ICA: συναρτήσεις κόστους & εφαρμογές