ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ Δ.Π.Μ.Σ. ΗΛΕΚΤΡΟΝΙΚΗ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΙΔΙΚΗ ΕΠΙΣΤΗΜΟΝΙΚΗ ΕΡΓΑΣΙΑ ΘΕΜΑ: ΧΡΗΣΗ ΜΕΘΟΔΩΝ ΑΝΑΛΥΣΗΣ

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΦΥΣΙΚΗΣ Δ.Π.Μ.Σ. ΗΛΕΚΤΡΟΝΙΚΗ ΚΑΙ ΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ ΕΙΔΙΚΗ ΕΠΙΣΤΗΜΟΝΙΚΗ ΕΡΓΑΣΙΑ ΘΕΜΑ: ΧΡΗΣΗ ΜΕΘΟΔΩΝ ΑΝΑΛΥΣΗΣ ΑΝΕΞΑΡΤΗΤΩΝ ΚΥΡΙΑΡΧΩΝ ΣΥΝΙΣΤΩΣΩΝ (INDEPENDENT COMPONENT ANALYSIS) ΜΕ ΕΦΑΡΜΟΓΗ ΣΕ ΓΕΩΗΛΕΚΤΡΙΚΑ ΚΑΙ ΗΧΗΤΙΚΑ ΣΗΜΑΤΑ ΚΩΝΣΤΑΝΤΟΠΟΥΛΟΥ ΑΛΕΞΑΝΔΡΑ ΕΠΙΒΛΕΠΟΝΤΕΣ ΚΑΘΗΓΗΤΕΣ: ΟΙΚΟΝΟΜΟΥ ΓΕΩΡΓΙΟΣ ΥΦΑΝΤΗΣ ΑΠΟΣΤΟΛΟΣ ΦΩΤΟΠΟΥΛΟΣ ΣΠΥΡΟΣ ΠΑΤΡΑ 2008

2 ΠΡΟΛΟΓΟΣ Η παρούσα Ειδική Επιστημονική Εργασία εκπονήθηκε στο εργαστήριο Συστημάτων Αυτομάτου Ελέγχου και Σημάτων, του τμήματος Ηλεκτρολογίας, του Α.Τ.Ε.Ι. Πατρών, υπό την επίβλεψη του κ. Γιώργου Οικονόμου (επιβλέπων), του κ. Απόστολου Υφαντή και του κ. Σπύρου Φωτόπουλου (μέλη της εξεταστικής επιτροπής). Θα ήθελα να εκφράσω τις ειλικρινείς μου ευχαριστίες: Στους επιβλέποντες της εργασίας μου κ. Γιώργο Οικονόμου, κ. Απόστολο Υφαντή και κ. Σπύρο Φωτόπουλο για τις γνώσεις, τις συμβουλές και τις υποδείξεις που μου παρείχαν, καθώς και την αρμονική συνεργασία που αναπτύχθηκε καθ όλη τη διάρκεια της εκπόνησης της παρούσας εργασίας. Επίσης, θα ήθελα να ευχαριστήσω τον κ. Χρήστο Θεοχαράτο και κ. Βασίλη Τσαγκάρη για τη συνεχή βοήθεια, τη συνεργασία και τις πολύτιμες συμβουλές τους. 2

3 ΠΕΡΙΕΧΟΜΕΝΑ ΠΡΟΛΟΓΟΣ 2 ΠΕΡΙΕΧΟΜΕΝΑ 3 ΕΙΣΑΓΩΓΗ 6 ΚΕΦΑΛΑΙΟ 1 ΑΝΑΛΥΣΗ ΑΝΕΞΑΡΤΗΤΩΝ ΚΥΡΙΑΡΧΩΝ ΣΥΝΙΣΤΩΣΩΝ (INDEPENDENT COMPONENT ANALYSIS): ΑΛΓΟΡΙΘΜΟΙ ΚΑΙ ΕΦΑΡΜΟΓΕΣ ΕΙΣΑΓΩΓΗ ΣΥΝΟΠΤΙΚΗ ΑΝΑΦΟΡΑ ΣΤΗ ΜΕΘΟΔΟ ICA ΑΝΑΛΥΣΗ ΑΝΕΞΑΡΤΗΤΩΝ ΚΥΡΙΑΡΧΩΝ ΣΥΝΙΣΤΩΣΩΝ ΟΡΙΣΜΟΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΑΣΑΦΕΙΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΑΠΕΙΚΟΝΙΣΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΠΕΡΙΓΡΑΦΗ ΕΝΝΟΙΑΣ ΤΗΣ ΑΝΕΞΑΡΤΗΣΙΑΣ ΤΙΜΩΝ ΤΥΧΑΙΩΝ METABΛΗΤΩΝ ΟΡΙΣΜΟΣ ΚΑΙ ΘΕΜΕΛΙΩΔΕΙΣ ΙΔΙΟΤΗΤΕΣ Η ΑΝΕΞΑΡΤΗΣΙΑ ΤΩΝ ΑΣΥΝΔΕΤΩΝ ΜΕΤΑΒΛΗΤΩΝ ΟΙ GAUSSIAN ΜΕΤΑΒΛΗΤΕΣ ΚΑΘΙΣΤΟΥΝ ΑΝΕΦΙΚΤΗ ΤΗ ΜΕΘΟΔΟ ICA ΚΑΝΟΝΕΣ ΥΠΟΛΟΓΙΣΜΟΥ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΟΙ NON-GAUSSIAN ΜΕΤΑΒΛΗΤΕΣ ΕΙΝΑΙ ΑΝΕΞΑΡΤΗΤΕΣ ΤΑ NON-GAUSSIANITY ΜΕΤΡΑ KURTOSIS NEGENTROPY ΠΡΟΣΕΓΓΙΣΕΙΣ ΤΗΣ NEGENTROPY ΕΛΑΧΙΣΤΟΠΟΙΗΣΗ ΤΗΣ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ ΟΡΙΣΜΟΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΑΠΟ ΤΗΝ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ ΕΚΤΙΜΗΣΗ ΤΗΣ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ Η ΠΙΘΑΝΟΤΗΤΑ Η ΑΡΧΗ ΤΗΣ ΜΕΓΙΣΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ (INFOMAX) ΣΥΝΔΕΣΗ ΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΜΕ ΤΗΝ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ ΑΠΕΙΚΟΝΙΣΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΑΡΧΙΚΑ ΣΤΑΔΙΑ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA CENTERING WHITENING ΕΠΟΜΕΝΑ ΣΤΑΔΙΑ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑΣ ΤΗ ΜΕΘΟΔΟΥ ICA Ο ΑΛΓΟΡΙΘΜΟΣ FAST-ICA ΠΕΡΙΓΡΑΦΗ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ FAST-ICA ΣΕ ΜΙΑ ΜΟΝΑΔΑ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΠΕΡΙΓΡΑΦΗ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ FAST-ICA ΣΕ ΠΟΛΛΕΣ ΜΟΝΑΔΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ ΣΧΕΣΗ FAST-ICA ΚΑΙ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΙΔΙΟΤΗΤΕΣ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA 36 3

4 1.8 ΕΠΙΠΛΕΟΝ ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΔΙΑΧΩΡΙΣΜΟΣ ΤΩΝ ΑΝΕΞΑΡΤΗΤΩΝ ΣΥΝΙΣΤΩΣΩΝ ΣΕ ΑΥΤΟΔΗΜΙΟΥΡΓΟΥΜΕΝΑ ΔΕΔΟΜΕΝΑ ΗΛΕΚΤΡΟΜΑΓΝΗΤΙΚΟΥ ΕΓΚΕΦΑΛΟΓΡΑΦΗΜΑΤΟΣ (MEG) ΜΕΙΩΣΗ ΤΟΥ ΘΟΡΥΒΟΥ ΣΤΙΣ ΦΥΣΙΚΕΣ ΕΙΚΟΝΕΣ ΣΥΜΠΕΡΑΣΜΑ ΧΡΗΣΗΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA 43 ΚΕΦΑΛΑΙΟ 2 ΣΤΡΑΤΗΓΙΚΕΣ ΓΙΑ ΤΟΝ ΔΙΑΧΩΡΙΣΜΟ ΠΗΓΩΝ ΕΙΣΑΓΩΓΗ ΜΙΞΗ ΛΕΚΤΙΚΩΝ ΣΗΜΑΤΩΝ ΜΗ ΑΝΑΜΙΓΜΕΝΑ ΣΗΜΑΤΑ ΠΛΗΘΟΣ ΠΗΓΩΝ ΚΑΙ ΜΙΓΜΑΤΩΝ ΣΥΓΚΡΙΣΗ ΤΩΝ ΣΤΡΑΤΗΓΙΚΩΝ ΣΥΜΠΕΡΑΣΜΑΤΑ ΓΙΑ ΤΙΣ ΣΤΡΑΤΗΓΙΚΕΣ ΔΙΑΧΩΡΙΣΜΟΥ ΤΩΝ ΠΗΓΩΝ 51 ΚΕΦΑΛΑΙΟ 3 ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΕΙΣΑΓΩΓΗ Η ΜΕΘΟΔΟΣ ICA ΣΕ ΜΙΓΜΑΤΑ ΦΩΝΗΣ Η ΧΡΟΝΙΚΗ ΜΕΘΟΔΟΣ ICA ΣΕ ΗΛΕΚΤΡΟΕΓΚΕΦΑΛΟΓΡΑΦΗΜΑΤΑ ΑΝΑΖΗΤΗΣΗ ΠΟΛΥΠΛΟΚΟΤΗΤΑΣ ΓΙΑ ΤΟΝ ΕΜΒΡΥΪΚΟ ΕΛΕΓΧΟ ΚΑΡΔΙΩΝ 56 ΚΕΦΑΛΑΙΟ 4 ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΗ ΜΕΘΟΔΟ ICA ΕΙΣΑΓΩΓΗ ΑΝΑΠΑΡΑΣΤΑΣΗ ΚΑΙ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΔΙΕΡΕΥΝΗΣΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA ΟΙ ΙΔΙΟΤΙΜΕΣ ΚΑΙ ΤΑ ΙΔΙΟΔΙΑΝΥΣΜΑΤΑ ΤΟΥ ΠΙΝΑΚΑ ΣΥΣΧΕΤΙΣΗΣ ΦΥΣΙΚΩΝ ΕΙΚΟΝΩΝ Η ΜΕΘΟΔΟΣ ICA ΩΣ ΔΙΑΔΙΚΑΣΊΑ 2-D ΔΕΙΓΜΑΤΟΛΗΨΊΑΣ-ΦΙΛΤΡΑΡΙΣΜΑΤΟΣ ΕΠΕΚΤΑΣΗ ΣΕ ΑΡΚΕΤΕΣ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΕΙΡΑΜΑΤΑ ΣΥΜΠΕΡΑΣΜΑΤΑ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΓΙΑ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ 67 ΚΕΦΑΛΑΙΟ 5 ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΣΕ ΣΗΜΑΤΑ ΚΑΙ ΕΙΚΟΝΕΣ ΜΕΣΩ MATLAB ΕΙΣΑΓΩΓΗ ΕΦΑΡΜΟΓΕΣ ΠΡΟΤΥΠΑ ΣΗΜΑΤΑ ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΗΜΙΤΟΝΟΥ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ FAST-ICA LAB ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ EXP-RANDN-RAND-COS-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ FAST-ICA LAB ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ RANDN-COS-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ RANDN-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA ΣΥΓΚΡΙΣΗ ΤΟΥ FAST-ICA LAB ME ΤΟΝ ΑΛΓΟΡΙΘΜΟ FAST-ICA 4

5 ΣΕ ΣΗΜΑΤΑ RAND-SIN-COS ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΣΕ ΕΙΚΟΝΕΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ ICA LAB ΕΦΑΡΜΟΓΕΣ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ ΕΞΑΡΤΗΜΕΝΑ ΑΠΟ ΤΙΣ ΑΠΟΣΤΑΣΕΙΣ ΤΩΝ ΟΜΙΛΗΤΩΝ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ ME ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA ΕΦΑΡΜΟΓΕΣ ΣΕ ΓΕΩΗΛΕΚΤΡΙΚΑ ΣΗΜΑΤΑ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA ΓΙΑ ΤΟ ΔΙΑΧΩΡΙΣΜΟ ΓΕΩΗΛΕΚΤΡΙΚΩΝ ΣΗΜΑΤΩΝ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA ΓΙΑ ΤΟ ΔΙΑΧΩΡΙΣΜΟ ΓΕΩΗΛΕΚΤΡΙΚΩΝ ΣΗΜΑΤΩΝ ME ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ ΣΥΜΠΕΡΑΣΜΑΤΑ 117 ΠΑΡΑΡΤΗΜΑ 119 ΒΙΒΛΙΟΓΡΑΦΙΑ 125 5

6 ΕΙΣΑΓΩΓΗ Αντικείμενο της παρούσας εργασίας είναι η επεξεργασία μεθόδων Ανάλυσης Ανεξάρτητων Κυρίαρχων Συνιστωσών (Independent Component Analysis) με εφαρμογή σε γεωηλεκτρικά και ηχητικά σήματα. Σκοπός αυτής της μεθόδου είναι η ανάκτηση των ανεξάρτητων κυρίαρχων συνιστωσών (δηλαδή τα σήματα των πηγών) από τα σήματα μίξης. Πραγματοποιήθηκαν εφαρμογές με τη μέθοδο ICA σε τρεις μορφές (πρότυπα, φωνής και γεωηλεκτρικά) σημάτων, καθώς και σε εικόνες, μέσω MATLAB. Η μέθοδος αυτή εκτελέστηκε με τη χρήση του αλγόριθμου FAST-ICA, ο οποίος δίνει τη δυνατότητα διαχωρισμού των πηγών από τα σήματα μίξης. Υπάρχουν δύο τρόποι εφαρμογής του αλγόριθμου FAST-ICA για τα σήματα, ο ένας είναι μέσω GUI και ονομάζεται FAST- ICA LAB και ο άλλος χρησιμοποιώντας τον κώδικα των αλγόριθμων FAST-ICA1 και ICA. Ακόμα πραγματοποιήθηκαν εφαρμογές σε εικόνες χρησιμοποιώντας επίσης τον αλγόριθμο FAST-ICA και η επεξεργασία εκτελέστηκε μέσω GUI που ονομάζεται ICA LAB. Γενικά, αυτή η μέθοδος μπορεί να χρησιμοποιηθεί σε διάφορα πεδία όπως: οπτική απεικόνιση νευρώνων, αναγνώριση προσώπου, πρόβλεψη των τιμών του χρηματιστηρίου, κινητές τηλεφωνικές επικοινωνίες, αναγνώριση χρώματος αντικειμένου, ηλεκτροεγκεφαλογράφημα, επεξεργασία φωνής, κ.τ.λ. Η εργασία αυτή έχει οργανωθεί στα ακόλουθα κεφάλαια ως εξής: Στο 1 ο κεφάλαιο, περιγράφεται η έννοια και ο ορισμός της μεθόδου ICA από μαθηματική άποψη καθώς και με απλές εφαρμογές. Επίσης, ο βασικός αλγόριθμος που χρησιμοποιείται για την επίλυση αυτών των προβλημάτων, ο οποίος ονομάζεται FAST- ICA. Στο 2 ο κεφάλαιο, προτείνονται κάποιες στρατηγικές για το διαχωρισμό των πηγών. Εξετάζονται γενικά αποτελέσματα ανάμιξης σημάτων και πως αυτά μπορούν να χρησιμοποιηθούν σε σήματα, χωρίς μαθηματικούς περιορισμούς. Στο 3 ο κεφάλαιο, δίνονται απλά παραδείγματα της μεθόδου ICA σε μίξη φωνής, καθώς και σε ηλεκτροεγκεφαλογράφημα. Στο 4 ο κεφάλαιο, αναλύουμε τα αποτελέσματα που επιτυγχάνονται με την εκτέλεση ανάλυσης ανεξάρτητων συνιστωσών (ICA) σε φυσικές εικόνες. Ιδιαίτερα, έχουμε εστιαστεί στις λύσεις που δίνονται από τον αλγόριθμο FAST-ICA, ο οποίος είναι βασισμένος στη μεγιστοποίηση της kurtosis. Στο 5 ο κεφάλαιο, πραγματοποιούνται εφαρμογές με τη μέθοδο ICA σε τρεις μορφές (πρότυπα, φωνής και γεωηλεκτρικά) σημάτων, καθώς και σε εικόνες, μέσω MATLAB. Στο παράρτημα δίνονται οι εντολές που χρησιμοποιούνται σε εφαρμογές του κεφαλαίου 5 για το GUI του FAST-ICA LAB και του ICA LAB. Επίσης υπάρχει ο κώδικας του αλγορίθμου FAST-ICA, όπου και αυτός χρησιμοποιείται σε εφαρμογές του κεφαλαίου 5 με αναλυτική περιγραφή και αναπαράσταση του τρόπου λειτουργίας του με block διάγραμμα. Τέλος, ακολουθεί η βιβλιογραφία που χρησιμοποιήθηκε για αυτή την εργασία. 6

7 ΚΕΦΑΛΑΙΟ 1 ΑΝΑΛΥΣΗ ΑΝΕΞΑΡΤΗΤΩΝ ΚΥΡΙΑΡΧΩΝ ΣΥΝΙΣΤΩΣΩΝ (INDEPENDENT COMPONENT ANALYSIS): ΑΛΓΟΡΙΘΜΟΙ ΚΑΙ ΕΦΑΡΜΟΓΕΣ [1] 1.1 ΕΙΣΑΓΩΓΗ Ένα θεμελιώδες πρόβλημα στην έρευνα νευρωνικών δικτύων, καθώς επίσης και σε πολλούς άλλους επιστημονικούς κλάδους, βρίσκει μια κατάλληλη απεικόνιση με τη χρήση πολλών μεταβλητών δεδομένων, δηλαδή τυχαίων διανυσμάτων. Για λόγους υπολογιστικής και εννοιολογικής απλότητας, η απεικόνιση αναζητείται συχνά ως γραμμικός μετασχηματισμός από τα αρχικά δεδομένα. Με άλλα λόγια, κάθε συνιστώσα απεικόνισης είναι ένας γραμμικός συνδυασμός των αρχικών μεταβλητών, γνωστές ως γραμμικοί μέθοδοι μετασχηματισμού. Είναι αυτές που περιλαμβάνουν την ανάλυση κυρίαρχων συνιστωσών, την ανάλυση παράγοντα και την αναζήτηση προβολής. Η μέθοδος ICA είναι πρόσφατα αναπτυγμένη με στόχο την εύρεση μιας γραμμικής απεικόνισης των non-gaussian δεδομένων, έτσι ώστε οι συνιστώσες να είναι στατιστικά ανεξάρτητες ή όσο το δυνατόν πιο ανεξάρτητες. Μια τέτοια απεικόνιση φαίνεται να καταλαμβάνει ουσιαστική δομή των δεδομένων σε πολλές εφαρμογές, συμπεριλαμβανομένης της εξαγωγής χαρακτηριστικών γνωρισμάτων και του διαχωρισμού των σημάτων. 1.2 ΣΥΝΟΠΤΙΚΗ ΑΝΑΦΟΡΑ ΣΤΗ ΜΕΘΟΔΟ ICA Ας θεωρήσουμε ένα παράδειγμα: φανταζόμαστε ότι είμαστε σε ένα δωμάτιο όπου δύο άνθρωποι μιλούν ταυτόχρονα. Έχουμε δύο μικρόφωνα, τα οποία κρατάμε σε διαφορετικές θέσεις. Τα μικρόφωνα δίνουν δύο καταγραφές σημάτων στο χρόνο, τα οποία μπορούν να περιγραφούν από τα x 1 (t) και x 2 (t), όπου x 1 και x 2 τα πλάτη και t ο χρόνος. Κάθε ένα από αυτά τα καταγεγραμμένα σήματα είναι ένα σταθμισμένο άθροισμα των λεκτικών σημάτων που εκπέμπονται από τους δύο ομιλητές, τα οποία περιγράφονται από τα s 1 (t) και s 2 (t). Αυτό μπορεί να εκφραστεί με την εξής γραμμική εξίσωση: 7

8 όπου α 11, α 12, α 21 και α 22 είναι μερικές παράμετροι που εξαρτώνται από τις αποστάσεις των μικροφώνων των ομιλητών. Θα ήταν πολύ χρήσιμο αν μπορούσαμε να υπολογίσουμε τα δύο αρχικά λεκτικά σήματα s 1 (t) και s 2 (t), χρησιμοποιώντας μόνο τα καταγεγραμμένα σήματα x 1 (t) και x 2 (t). Αυτό ονομάζεται cocktail-party problem. Προς το παρόν, παραλείπουμε οποιεσδήποτε καθυστερήσεις ή άλλους πρόσθετους παράγοντες από το απλουστευμένο πρότυπο μίξης. Σαν απεικόνιση, εξετάζουμε τις κυματομορφές στα σχήματα 1 και 2. Αυτά δεν είναι, φυσικά, πραγματικά λεκτικά σήματα, αλλά αρκούν για αυτήν την απεικόνιση. Τα αρχικά λεκτικά σήματα θα έμοιαζαν περίπου σαν εκείνα του σχήματος 1 και η μίξη των σημάτων αυτών θα μπορούσε να μοιάζει με εκείνα του σχήματος 2. Το πρόβλημα είναι η ανάκτηση των δεδομένων του σχήματος 1, χρησιμοποιώντας μόνο τα δεδομένα του σχήματος 2. Πράγματι, αν γνωρίζαμε τις παραμέτρους a ij, θα μπορούσαμε να λύσουμε τη γραμμική εξίσωση 1 με κλασσικές μεθόδους. Το ζητούμενο είναι ότι εάν δεν είναι γνωστά τα a ij, το πρόβλημα γίνεται αρκετά δυσκολότερο. Μια προσέγγιση στην επίλυση αυτού του προβλήματος θα ήταν να χρησιμοποιηθούν κάποιες πληροφορίες των στατιστικών ιδιοτήτων των σημάτων S i (t) για τον υπολογισμό των a ij. Η πρόσφατα αναπτυγμένη τεχνική ανάλυσης ανεξάρτητων κυρίαρχων συνιστωσών (Independent Component Analysis), μπορεί να χρησιμοποιηθεί για τον υπολογισμό των a ij που βασίζεται στις πληροφορίες της ανεξαρτησίας τους, επιτρέποντας το διαχωρισμό των δύο αρχικών πηγών των σημάτων s 1 (t) και s 2 (t), από τις αναμείξεις των x 1 (t) και x 2 (t). Στο σχήμα 3 φαίνονται τα δύο σήματα που υπολογίζονται με τη μέθοδο ICA. Όπως μπορεί να φανεί, αυτά είναι πολύ όμοια με τα αρχικά σήματα της πηγής (τα σήματα τους αντιστρέφονται, αλλά αυτό δεν έχει καμία σημασία). Η μέθοδος ICA αναπτύχθηκε αρχικά για να εξεταστούν τα προβλήματα που σχετίζονται αρκετά με το cocktail-party problem. Πρόσφατα, το ενδιαφέρον έχει αυξηθεί για τη μέθοδο ICA, καθώς επίσης, έχει γίνει σαφές ότι αυτή η αρχή έχει και άλλες πολλές ενδιαφέρουσες εφαρμογές. Εξετάζουμε, για παράδειγμα, τις ηλεκτρικές καταγραφές της εγκεφαλικής δραστηριότητας όπως δίνεται από ένα ηλεκτροεγκεφαλογράφημα (EEG). Τα δεδομένα του ηλεκτροεγκεφαλογραφήματος (EEG) αποτελούνται από τις καταγραφές των ηλεκτρικών δυναμικών σε πολλές διαφορετικές θέσεις μέσα στο κρανίο. Αυτά τα ηλεκτρικά δυναμικά πιθανώς παράγονται με το συνδυασμό μερικών κυρίαρχων συνιστωσών από τη δραστηριότητα του εγκεφάλου. Αυτή η κατάσταση είναι αρκετά παρόμοια με το cocktail-party problem: θα επιθυμούσαμε να βρούμε τις αρχικές συνιστώσες της δραστηριότητας του εγκεφάλου, αλλά μπορούμε να παρατηρήσουμε μόνο το συνδυασμό των συνιστωσών. Η μέθοδος ICA μπορεί να αποκαλύψει ενδιαφέρουσες πληροφορίες για τη δραστηριότητα του εγκεφάλου, παρέχοντας πρόσβαση στις ανεξάρτητες συνιστώσες. Μία άλλη, πολύ διαφορετική εφαρμογή της μεθόδου ICA είναι η εξαγωγή χαρακτηριστικών. Ένα θεμελιώδες πρόβλημα στην επεξεργασία ψηφιακού σήματος είναι ο προσδιορισμός των κατάλληλων αντιπροσωπεύσεων για την εικόνα, τον ήχο ή άλλο είδος δεδομένων για επεξεργασία, όπως η συμπίεση και η απομάκρυνση θορύβου (denoising). Οι αναπαραστάσεις δεδομένων είναι συχνά βασισμένες σε (διακριτούς) γραμμικούς μετασχηματισμούς. Συνήθως, οι γραμμικοί μετασχηματισμοί που χρησιμοποιούνται ευρέως στην επεξεργασία εικόνας είναι: Fourier, Haar, cosine κ.λ.π. 8

9 Σχήμα 1: Τα αρχικά σήματα. Σχήμα 2: Τα παρατηρηθέντα μίγματα των σημάτων της πηγής του σχήματος 1. Σχήμα 3: Οι υπολογισμοί των αρχικών σημάτων της πηγής, χρησιμοποιώντας μόνο τα παρατηρηθέντα σήματα του σχήματος 2. Τα αρχικά σήματα υπολογίστηκαν με μεγάλη ακρίβεια, πάνω στα πολλαπλάσια σήματα. 9

10 1.3 ΑΝΑΛΥΣΗ ΑΝΕΞΑΡΤΗΤΩΝ ΚΥΡΙΑΡΧΩΝ ΣΥΝΙΣΤΩΣΩΝ ΟΡΙΣΜΟΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA Για να καθορίσουμε αυστηρά τη μέθοδο ICA, μπορούμε να χρησιμοποιήσουμε ένα στατιστικό πρότυπο απροσδιόριστων μεταβλητών (latent variables). Υποθέτουμε ότι παρατηρούνται n γραμμικά μίγματα x 1,,x n n ανεξάρτητων συνιστωσών: Μειώνοντας το χρόνο t στο ICA πρότυπο, υποθέτουμε ότι κάθε μίγμα x j καθώς επίσης και κάθε ανεξάρτητη συνιστώσα s k είναι μια τυχαία μεταβλητή, αντί ενός κατάλληλου χρονικού σήματος. Οι παρατηρηθείς τιμές x j (t), π.χ. τα σήματα του μικροφώνου στο cocktail party problem, είναι τότε ένα δείγμα από αυτή την τυχαία μεταβλητή. Χωρίς απώλεια πληροφορίας, υποθέτουμε ότι οι μεταβλητές μιγμάτων και οι ανεξάρτητες συνιστώσες έχουν μέση τιμή μηδέν. Αν αυτό δεν ισχύει, οι ευδιάκριτες μεταβλητές x i μπορούν πάντα να κεντροθετηθούν αφαιρώντας την μέση τιμή του δείγματος, το οποίο κάνει το πρότυπο μηδενικής μέσης τιμής. Θα ήταν καλύτερο να χρησιμοποιηθεί η παράσταση του διανυσματικού πίνακα αντί του αθροίσματος, όπως στην προηγούμενη εξίσωση. Το τυχαίο διάνυσμα x έχει ως στοιχεία τα μίγματα x 1,,x n, το τυχαίο διάνυσμα s έχει ως στοιχεία τα s 1,,s n και ο πίνακας Α έχει ως στοιχεία τα a ij. Όλα τα διανύσματα γίνονται κατανοητά ως διανύσματα στηλών, κατά συνέπεια x T ή μετακίνηση του x, είναι ένα διάνυσμα γραμμής. Χρησιμοποιώντας αυτή τη παράσταση του πίνακα διανύσματος, το πρότυπο μίξης γράφεται ως εξής: Μερικές φορές χρειαζόμαστε τις στήλες του πίνακα Α, που συμβολίζονται a i και έτσι το ICA πρότυπο μπορεί επίσης να γραφτεί ως: Το στατιστικό πρότυπο της εξίσωσης 4 καλείται ανάλυση ανεξάρτητων συνιστωσών ή ICA πρότυπο. Το πρότυπο ICA είναι ένα παραγωγικό πρότυπο, που σημαίνει ότι περιγράφει πως τα παρατηρηθέντα δεδομένα παράγονται με μια διαδικασία των συνιστωσών S i. Οι ανεξάρτητες συνιστώσες είναι απροσδιόριστες μεταβλητές, δηλαδή δεν μπορούν να παρατηρηθούν άμεσα. Επίσης ο πίνακας μίξης υποτίθεται ότι ήταν άγνωστος. Ακόμα παρατηρούμε ότι το x είναι τυχαίο διάνυσμα και πρέπει να υπολογίσουμε τα Α και s που το χρησιμοποιούν. Αυτό πρέπει να γίνει πιθανόν υπό γενικές προϋποθέσεις. Η αφετηρία για την μέθοδο ICA είναι πολύ απλή υπόθεση, έτσι οι συνιστώσες S i να είναι στατιστικά ανεξάρτητες. Όμως, στο βασικό πρότυπο δεν υποθέτουμε αυτές τις κατανομές καθορισμένες (αν είναι γνωστές, το πρόβλημα είναι αρκετά απλοποιημένο). 10

11 Για απλότητα, υποθέτουμε επίσης ότι αυτός ο άγνωστος πίνακας μίξης είναι τετραγωνικός. Μετά μπορούμε να υπολογίσουμε τον πίνακα Α και τον αντίστροφο (για παράδειγμα το W) και να πάρουμε την ανεξάρτητη συνιστώσα από τη σχέση: Η μέθοδος ICA συσχετίζεται με τη μέθοδο Βlind Source Separation (τυφλός διαχωρισμός πηγής) ή Blind Signal Separation (τυφλός διαχωρισμός σημάτων). Μία πηγή εννοείται ένα αρχικό σήμα, δηλαδή ανεξάρτητη συνιστώσα, όπως ο ομιλητής σε ένα cocktail party problem. Blind σημαίνει ότι ξέρουμε πολύ λίγα για τον πίνακα μίξης και κάνουμε υποθέσεις για την πηγή των σημάτων. Η ICA είναι μια μέθοδος, ίσως ευρύτατα χρησιμοποιημένη, για την εκτέλεση του τυφλού διαχωρισμού πηγής ΑΣΑΦΕΙΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA Στο πρότυπο ICA της σχέσης 4, είναι εύκολο να δούμε ότι μετά από τις ακόλουθες ασάφειες θα διατηρήσει: 1. Δεν μπορούμε να καθορίσουμε τις διαφορές (ενέργειες) των ανεξάρτητων συνιστωσών. Ο λόγος είναι ότι τα s και Α όντας άγνωστα, οποιοιδήποτε κλιμακωτοί πολλαπλασιασμοί σε ένα από τα S i των πηγών θα μπορούσε πάντα να ακυρώνεται με διαίρεση της αντίστοιχης στήλης a i της ίδιας ποσότητας του Α (σχέση 5). Κατά συνέπεια, μπορούμε πράγματι να καθορίσουμε τα πλάτη των ανεξάρτητων συνιστωσών δεδομένου ότι είναι τυχαίες μεταβλητές, ο πιο φυσικός τρόπος να γίνει αυτό είναι να υποτεθεί ότι κάθε μία έχει μεταβολή ίση με τη μονάδα: E{s 2 i}=1. Έπειτα ο πίνακας Α θα προσαρμοστεί στις μεθόδους λύσης ICA για να λάβει υπόψη αυτόν τον περιορισμό. Σημειώνουμε ότι αυτό αφήνει ακόμα την ασάφεια στο σήμα (θα μπορούσαμε να πολλαπλασιάσουμε την ανεξάρτητη συνιστώσα με -1 χωρίς επιρροή του προτύπου), ασήμαντη στις περισσότερες εφαρμογές. 2. Δεν μπορούμε να καθορίσουμε την τάξη των ανεξάρτητων συνιστωσών. Λόγω του ότι τα s και Α είναι άγνωστα, μπορούμε ελεύθερα να αλλάξουμε την τάξη των όρων στο άθροισμα της σχέσης 5 και να αποκαλέσουμε οποιαδήποτε από τις ανεξάρτητες συνιστώσες πρώτη. Τυπικά, ένας συνδυαστικός πίνακας P και ο αντίστροφός του μπορούν να αντικαθίσταται στο πρότυπο για να δώσει: x=ap -1 Ps. Τα στοιχεία του Ps είναι οι αρχικές ανεξάρτητες μεταβλητές s j, αλλά σε μια άλλη τάξη. Έτσι ο πίνακας AP -1 είναι ο νέος άγνωστος πίνακας μίξης και μπορεί να επιλυθεί από τους ICA αλγορίθμους. 11

12 1.3.3 ΑΠΕΙΚΟΝΙΣΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA Για να διευκρινίσουμε το πρότυπο ICA με στατιστικούς όρους, θεωρούμε δύο ανεξάρτητες συνιστώσες που έχουν τις ακόλουθες ομοιόμορφες κατανομές: Οι τιμές για αυτήν την ομοιόμορφη κατανομή, επιλέχθηκε, έτσι ώστε η μέση τιμή να είναι μηδέν και διάφορη της μονάδας. Η κοινή πυκνότητα των s 1 και s 2 είναι ομοιόμορφη σε ένα τετράγωνο. Αυτό προκύπτει από το βασικό ορισμό, όπου η κοινή πυκνότητα δύο ανεξάρτητων μεταβλητών είναι το γινόμενο των οριακών τους πυκνοτήτων (σχέση 10) και πρέπει να υπολογίσουμε απλά το γινόμενο. Η κοινή πυκνότητα φαίνεται στο σχήμα 4, παρουσιάζοντας τα σημεία των δεδομένων που προέρχονται τυχαία από αυτήν την κατανομή. Θεωρούμε ως μίγμα αυτές τις δύο ανεξάρτητες συνιστώσες και παίρνουμε τον ακόλουθο πίνακα μίξης: Αυτός ο πίνακας δίνει τις δύο μικτές μεταβλητές των x 1 και x 2. Είναι εύκολο να υπολογιστούν τα μικτά δεδομένα που έχουν μια ομοιόμορφη κατανομή ενός παραλληλόγραμμου, όπως φαίνεται στο σχήμα 5. Σημειώνουμε ότι οι τυχαίες μεταβλητές x 1 και x 2 δεν είναι ανεξάρτητες, άλλα ένας εύκολος τρόπος για να φανεί αυτό είναι να εξεταστεί, αν είναι δυνατό να προβλεφθεί η τιμή μιας από αυτές, για παράδειγμα η x 2, από την τιμή της άλλης. Σαφώς, αν η x 1 επιτυγχάνει μία μέγιστη ή ελάχιστη τιμή, αυτό καθορίζει σαφώς την τιμή της x 2. Δεν είναι επομένως ανεξάρτητες (για τις μεταβλητές s 1 και s 2 η κατάσταση είναι διαφορετική: από το σχήμα 4 μπορεί να φανεί ότι η γνώση της τιμής s 1 δεν βοηθά στον υπολογισμό της τιμής s 2 ). 12

13 Σχήμα 4: Η κοινή κατανομή των ανεξάρτητων συνιστωσών s 1 και s 2 με ομοιόμορφες κατανομές. Οριζόντιος άξονας: s 1, κάθετος άξονας: s 2. Σχήμα 5: Η κοινή κατανομή των παρατηρηθέντων μιγμάτων x 1 και x 2. Οριζόντιος άξονας: x 1, κάθετος άξονας: x 2. 13

14 Το πρόβλημα του προτύπου δεδομένων ICA είναι να υπολογιστεί ο πίνακας μίξης A 0, που χρησιμοποιεί μόνο τις πληροφορίες που περιλαμβάνονται στα μίγματα x 1 και x 2. Πράγματι, μπορούμε να δούμε στο σχήμα 5 έναν τρόπο για τον υπολογισμό του Α, δηλαδή οι ακμές του παραλληλόγραμμου είναι στις κατευθύνσεις των στηλών του Α. Αυτό σημαίνει ότι θα μπορούσαμε, σε γενικές γραμμές, να υπολογίσουμε το ICA πρότυπο, αφού υπολογιστεί πρώτα η κοινή πυκνότητα των x 1 και x 2 και κατόπιν εντοπιστούν οι άκρες. Έτσι, το πρόβλημα φαίνεται να έχει μια λύση. 1.4 ΠΕΡΙΓΡΑΦΗ ΕΝΝΟΙΑΣ ΤΗΣ ΑΝΕΞΑΡΤΗΣΙΑΣ ΤΙΜΩΝ ΤΥΧΑΙΩΝ ΜΕΤΑΒΛΗΤΩΝ ΟΡΙΣΜΟΣ ΚΑΙ ΘΕΜΕΛΙΩΔΕΙΣ ΙΔΙΟΤΗΤΕΣ Για να οριστεί η έννοια της ανεξαρτησίας, θεωρούμε δύο τιμές τυχαίων μεταβλητών, τις y 1 και y 2. Βασικά, οι μεταβλητές y 1 και y 2 θεωρούνται ανεξάρτητες αν η πληροφορία της τιμής y 1 δεν δίνει οποιεσδήποτε πληροφορίες για την τιμή της y 2 και αντίστροφα. Επιπλέον, σημειώσαμε ότι αυτό συμβαίνει και με τις μεταβλητές s 1 και s 2 αλλά όχι με τις μεταβλητές μιγμάτων x 1 και x 2. Τυπικά, η ανεξαρτησία μπορεί να καθοριστεί από τις πυκνότητες πιθανότητας. Από το p(y 1,y 2 ) φαίνεται η ένωση της συνάρτησης πυκνότητας πιθανότητας (probability density function-pdf) y 1 και y 2, καθώς επίσης από το p 1 (y 1 ) η οριακή pdf y 1, δηλαδή η pdf του y 1 όταν θεωρείται μόνο του: και ομοίως για το y 2. Κατόπιν ορίζουμε ότι οι y 1 και y 2 είναι ανεξάρτητες αν και μόνο αν η κοινή pdf είναι συντελεστής κανονικοποίησης με τον ακόλουθο τρόπο: Αυτός ο ορισμός επεκτείνεται φυσικά για οποιοδήποτε αριθμό n τυχαίων μεταβλητών, οπότε σ αυτή την περίπτωση η κοινή πυκνότητα πρέπει να είναι ένα γινόμενο n όρων. Ο ορισμός μπορεί να χρησιμοποιηθεί για να παραγάγει μία σημαντικότερη ιδιότητα των ανεξάρτητων τυχαίων μεταβλητών. Λαμβάνοντας υπόψη δύο συναρτήσεις, τις h 1 και h 2, έχουμε: Αυτό μπορεί να αποδειχθεί ως εξής: 14

15 1.4.2 Η ΑΝΕΞΑΡΤΗΣΙΑ ΤΩΝ ΑΣΥΝΔΕΤΩΝ ΜΕΤΑΒΛΗΤΩΝ Μια πιο αδύνατη μορφή ανεξαρτησίας είναι ο μη συσχετισμός. Δύο τυχαίες μεταβλητές y 1 και y 2 θεωρούνται ασυσχέτιστες, αν η συνδιακύμανσή τους είναι μηδέν: Αν οι μεταβλητές είναι ανεξάρτητες, είναι ασυσχέτιστες και προκύπτουν άμεσα από τη σχέση 11, παίρνοντας h 1 (y 1 )=y 1 και h 2 (y 2 )=y 2. Αφ ετέρου, ο όρος μη συσχετισμός δεν υπονοεί ανεξαρτησία. Για παράδειγμα, υποθέτουμε ότι οι (y 1, y 2 ) είναι διακριτά υπολογισμένες και ακολουθούμε μια τέτοια κατανομή με την οποία το ζευγάρι έχει πιθανότητα 1/4 που είναι ίση με οποιεσδήποτε από τις ακόλουθες τιμές: (0,1), (0,-1), (1,0), (-1,0). Κατόπιν οι y 1 και y 2 είναι ασυσχέτιστες, όπως μπορεί να υπολογιστεί απλά. Δηλαδή: έτσι ο όρος της σχέσης 11 παραβιάζεται και οι μεταβλητές δεν μπορούν να είναι ανεξάρτητες. Δεδομένου ότι η ανεξαρτησία υπονοεί μη συσχετισμό, αρκετές ICA μέθοδοι περιορίζουν τη διαδικασία εκτίμησης έτσι ώστε να δίνει πάντα ασυσχέτιστους υπολογισμούς των ανεξάρτητων συνιστωσών. Αυτό μειώνει τον αριθμό των ελεύθερων παραμέτρων και απλοποιεί το πρόβλημα. 15

16 1.4.3 ΟΙ GAUSSIAN ΜΕΤΑΒΛΗΤΕΣ ΚΑΘΙΣΤΟΥΝ ΑΝΕΦΙΚΤΗ ΤΗ ΜΕΘΟΔΟ ICA Ο θεμελιώδης περιορισμός της μεθόδου ICA, είναι ότι οι ανεξάρτητες συνιστώσες πρέπει να είναι non-gaussian, ώστε να είναι εφικτή η ICA. Για να κατανοήσουμε το λόγο όπου οι Gaussian μεταβλητές καθιστούν την ICA ανέφικτη, υποθέτουμε ότι ο πίνακας μίξης είναι ορθογώνιος και το s i είναι Gaussian. Κατόπιν τα x 1 και x 2 είναι Gaussian, ασυσχέτιστα και διάφορα της μονάδας. Η κοινή πυκνότητά τους δίνεται από: Αυτή η κατανομή παρουσιάζεται στο σχήμα 6, στο οποίο η πυκνότητα είναι απολύτως συμμετρική. Επομένως, δεν περιέχουν οποιεσδήποτε πληροφορίες για τις κατευθύνσεις των στηλών του πίνακα μίξης Α, γι αυτό ο πίνακας Α δεν μπορεί να υπολογιστεί. Πιο αυστηρά, κάποιος μπορεί να αποδείξει ότι η κατανομή οποιουδήποτε ορθογώνιου Gaussian μετασχηματισμού (x 1, x 2 ) έχει ακριβώς ίδια κατανομή όπως (x 1, x 2 ) και τα x 1 και x 2 είναι ανεξάρτητα. Κατά συνέπεια, στην περίπτωση των Gaussian μεταβλητών, μπορούμε να υπολογίσουμε μόνο το ICA πρότυπο μέχρι έναν ορθογώνιο μετασχηματισμό. Με άλλα λόγια, ο πίνακας Α δεν είναι ευπροσδιόριστος για Gaussian ανεξάρτητες συνιστώσες (στην πράξη, αν ακριβώς μία από τις ανεξάρτητες συνιστώσες είναι Gaussian, το ICA πρότυπο μπορεί να υπολογιστεί). Σχήμα 6: Η κατανομή πολλών μεταβλητών δύο ανεξάρτητων Gaussian μεταβλητών. 16

17 1.5 ΚΑΝΟΝΕΣ ΥΠΟΛΟΓΙΣΜΟΥ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΟΙ NON-GAUSSIAN ΜΕΤΑΒΛΗΤΕΣ ΕΙΝΑΙ ΑΝΕΞΑΡΤΗΤΕΣ Το Κεντρικό Θεώρημα Ορίου (Central Limit Theorem), είναι ένα κλασσικό αποτέλεσμα στην θεωρία της πιθανότητας και υποστηρίζει ότι η κατανομή ενός αθροίσματος από ανεξάρτητες τυχαίες μεταβλητές τείνουν προς μια Gaussian κατανομή, υπό ορισμένους όρους. Κατά συνέπεια, ένα άθροισμα δύο ανεξάρτητων τυχαίων μεταβλητών έχει συνήθως μια κατανομή που είναι πιο στενή από οποιαδήποτε Gaussian, από τις δύο αρχικές τυχαίες μεταβλητές. Υποθέτουμε ότι τα δεδομένα του διανύσματος x κατανέμονται σύμφωνα με τα δεδομένα του προτύπου ICA (σχέση 4), δηλαδή είναι ένα μίγμα ανεξάρτητων συνιστωσών. Για απλότητα, υποθέτουμε ότι σε αυτό το τμήμα όλες οι ανεξάρτητες συνιστώσες έχουν τις ίδιες κατανομές. Για να υπολογίσουμε μία από τις ανεξάρτητες συνιστώσες, εξετάζουμε ένα γραμμικό συνδυασμό των x i (σχέση 6) και αυτό φαίνεται T από: y = w x= wx, όπου w είναι ένα καθορισμένο διάνυσμα. Αν το w ήταν μία από i i i τις γραμμές του αντιστρόφου πίνακα Α, αυτός ο γραμμικός συνδυασμός θα ήταν ίσος με μία από τις ανεξάρτητες συνιστώσες. Η ερώτηση είναι τώρα: Πώς μπορέσαμε να χρησιμοποιήσουμε το Θεώρημα Κεντρικού Ορίου (Central Limit Theorem) για να καθορίσουμε το w, έτσι ώστε να ήταν ίσο με μία από τις σειρές του αντιστρόφου του πίνακα Α; Στην πράξη, δεν μπορούμε να καθορίσουμε ένα τέτοιο w ακριβώς, επειδή δεν γνωρίζουμε τον πίνακα Α, αλλά μπορούμε να βρούμε έναν υπολογισμό που δίνει μια καλή προσέγγιση. Για να δούμε πως αυτό οδηγεί στο βασικό κανόνα του υπολογισμού ICA, κάνουμε μια αλλαγή των μεταβλητών, καθορίζοντας το z=α T w. Έπειτα έχουμε το y=w T x=w T As=z T s, όπου y είναι ένας γραμμικός συνδυασμός των s i, με βάρη που δίνονται από τα z i. Από ένα άθροισμα και των δύο ανεξάρτητων τυχαίων μεταβλητών είναι περισσότερο Gaussian από τις αρχικές μεταβλητές, το z T s είναι περισσότερο Gaussian από οποιαδήποτε s i και το πιο ελάχιστα Gaussian όταν αυτό στην πραγματικότητα είναι ίσο με ένα από τα s i. Σε αυτήν την περίπτωση, προφανώς μόνο ένα από τα στοιχεία z i του z είναι διάφορο του μηδενός (σημειώνουμε ότι τα s i που ήταν εδώ υποτίθεται ότι είχαν τις ίδιες κατανομές). Επομένως, θα μπορούσαμε να πάρουμε ως w ένα διάνυσμα που μεγιστοποιεί τη non-gaussianity του w T x. Ένα τέτοιο διάνυσμα αντιστοιχεί (στο μετασχηματισμένο ισοδύναμο σύστημα) σε ένα z, το όποιο έχει μόνο μία μη μηδενική συνιστώσα. Αυτό σημαίνει ότι το w T x= z T s είναι ίσο με μία από τις ανεξάρτητες συνιστώσες. Η non-gaussianity μεγιστοποίηση του w T x, δίνει μία από τις ανεξάρτητες συνιστώσες. Στην πραγματικότητα, η βελτιστοποίηση του σχήματος για non-gaussianity στο n-διάστατο διάστημα από τα διανύσματα w έχει 2n τοπικά μέγιστα, δύο για κάθε ανεξάρτητη συνιστώσα, που αντιστοιχούν στα s i και s i. Για να βρούμε τις διάφορες ανεξάρτητες συνιστώσες, πρέπει να βρεθούν όλα τα τοπικά μέγιστα. Αυτό δεν είναι δύσκολο, επειδή οι διαφορετικές ανεξάρτητες συνιστώσες είναι ασυσχέτιστες. Έτσι, μπορούμε να περιορίσουμε την αναζήτηση στο διάστημα που δίνει ασυσχέτιστους υπολογισμούς με τις προηγούμενες. Αυτό αντιστοιχεί σε ορθογωνικοποιημένο κατάλληλα μετασχηματισμένο διάστημα. 17

18 1.5.2 ΤΑ NON-GAUSSIANITY ΜΕΤΡΑ Για να χρησιμοποιήσουμε τον ICA non-gaussianity υπολογισμό, πρέπει να έχουμε ένα ποσοτικό μέτρο μιας τυχαίας non-gaussianity μεταβλητής, για παράδειγμα την y. Για απλοποίηση, υποθέτουμε ότι η y είναι κεντρική (μέση τιμή μηδέν) και είναι διάφορη της μονάδας KURTOSIS Το κλασσικό μέτρο της non-gaussianity είναι η kurtosis τέταρτης δύναμης. Η kurtosis του y ορίζεται ως: Στην πράξη, δεδομένου ότι υποθέσαμε ότι το y είναι διάφορο της μονάδας, η δεξιά πλευρά απλοποιεί το Ε{y 4 }-3. Αυτό δείχνει ότι η kurtosis είναι απλά μια κανονικοποιημένη εκδοχή της τέταρτης δύναμης του Ε{y 4 }. Για ένα Gaussian y, η τέταρτη δύναμη είναι ίση με 3(Ε{y 2 }) 2. Κατά συνέπεια, η kurtosis είναι μηδέν για μια Gaussian τυχαία μεταβλητή. Για τις πιο πολλές (αλλά όχι όλες) non-gaussian τυχαίες μεταβλητές, η kurtosis είναι διάφορη του μηδενός. Η kurtosis μπορεί να είναι είτε θετική είτε αρνητική. Τυχαίες μεταβλητές που έχουν αρνητική kurtosis ονομάζονται sub-gaussian και εκείνες με θετική super- Gaussian. Οι τυχαίες μεταβλητές super-gaussian έχουν τυπικά μία αιχμηρή pdf με μονότονες άκρες, δηλαδή η pdf είναι σχετικά μεγάλη στο μηδέν και στις μεγάλες τιμές της μεταβλητής, ενώ στις ενδιάμεσες τιμές είναι μικρή. Ένα χαρακτηριστικό παράδειγμα είναι η κατανομή Laplace, της οποίας η pdf δίνεται από: Αυτή η pdf παρουσιάζεται στο σχήμα 7. Οι sub-gaussian τυχαίες μεταβλητές έχουν τυπικά μία επίπεδη pdf, η όποια είναι σταθερή κοντά στο μηδέν και πολύ μικρή για μεγαλύτερες τιμές της μεταβλητής. Ένα χαρακτηριστικό παράδειγμα είναι η ομοιόμορφη κατανομή της σχέσης

19 Σχήμα 7: Η συνάρτηση πυκνότητας της κατανομής Laplace, η οποία είναι μια τυπική κατανομή super- Gaussian. Για σύγκριση, η Gaussian πυκνότητα δίνεται από μια έντονη γραμμή (και οι δύο πυκνότητες είναι κανονικοποιημένες). Η non-gaussianity μετριέται από την απόλυτη τιμή της kurtosis. Επίσης μπορεί να χρησιμοποιηθεί το τετράγωνο της kurtosis. Αυτές είναι μηδέν για μια Gaussian μεταβλητή και μεγαλύτερη από μηδέν για τις περισσότερες non-gaussian τυχαίες μεταβλητές. Υπάρχουν non-gaussian τυχαίες μεταβλητές που έχουν kurtosis μηδέν, αλλά μπορούν να θεωρηθούν πολύ σπάνιες. Η kurtosis, ή μάλλον η απόλυτη τιμή της, χρησιμοποιείται ευρέως ως non- Gaussianity μέτρο στην ICA και σε σχετικούς τομείς. Ο κύριος λόγος είναι η απλότητά της, υπολογιστικά και θεωρητικά. Υπολογιστικά, η kurtosis μπορεί να υπολογιστεί απλά με τη χρησιμοποίηση της τέταρτης δύναμης των δειγμάτων δεδομένων. Η θεωρητική ανάλυση απλοποιείται λόγω της ακόλουθης γραμμικής ιδιότητας: Αν x 1 και x 2 είναι δύο ανεξάρτητες τυχαίες μεταβλητές, αυτό θεωρείται ως: και όπου α είναι μία ποσότητα. Αυτές οι ιδιότητες μπορούν να αποδειχθούν εύκολα χρησιμοποιώντας τον ορισμό. Θα εξηγήσουμε με ένα απλό παράδειγμα βελτιστοποίησης του σχήματος που μοιάζει με kurtosis, δηλαδή πως οι ανεξάρτητες συνιστώσες θα μπορούσαν να βρεθούν από την kurtosis με ελαχιστοποίηση ή μεγιστοποίηση, εξετάζοντας ένα 2-διάστατο πρότυπο x=as. Υποθέτουμε ότι οι ανεξάρτητες συνιστώσες s 1, s 2 έχουν τιμές kurtosis τις 19

20 kurt(s1), kurt(s2), αντίστοιχα, και οι δύο είναι διάφορες του μηδενός. Δεν ξεχνάμε την υπόθεση ότι είναι διάφορες της μονάδας. Επιδιώκουμε για μία από τις ανεξάρτητες συνιστώσες να είναι ίση με y=w T x. Πάλι κάνουμε το μετασχηματισμό z=a T w και έτσι θα έχουμε y=w T x=w T As=z T s=z 1 s 1 =z 2 s 2. Τώρα, βασιζόμενοι στην πρόσθετη ιδιότητα της kurtosis, 4 4 έχουμε kurt(y)=kurt(z1s 1)+kurt(z2s 2)=z1kurt(s 1)+z2kurt(s 2). Εφαρμόσαμε τον περιορισμό που το y είναι ίσο με 1, βασιζόμενοι στην ίδια υπόθεση σχετικά με τα s 1 και s 2. Αυτό υπονοεί έναν περιορισμό στο z, δηλαδή: E{y }=z1 + z2 = 1. Γεωμετρικά, αυτό σημαίνει ότι το διάνυσμα z περιορίζεται στη μονάδα του κύκλου στο 2-διάστατο επίπεδο. Η βελτιστοποίηση του προβλήματος είναι: πόσα είναι τα μέγιστα της συνάρτησης 4 4 kurt(y) = z kurt(s )+z kurt(s ) στο μοναδιαίο κύκλο. Για απλότητα, μπορεί να θεωρηθεί ότι η kurtosis είναι το ίδιο σήμα, οπότε σ αυτή την περίπτωση οι τελεστές της απόλυτης τιμής μπορούν να παραλειφθούν. Η γραφική παράσταση αυτής της συνάρτησης είναι η βελτιστοποίηση αυτού του σημείου για το πρόβλημα. Δεν είναι δύσκολο να παρουσιαστεί ότι τα μέγιστα είναι στα σημεία, που όταν ακριβώς ένα από τα στοιχεία του διανύσματος z είναι μηδέν και το άλλο είναι διάφορο του μηδενός, επειδή από τον περιορισμό του μοναδιαίου κύκλου, το στοιχείο που είναι διάφορο του μηδενός πρέπει να είναι ίσο με 1 ή -1. Αλλά αυτά τα σημεία είναι μοναδιαία, όταν το y είναι ίσο με μία από τις ανεξάρτητες συνιστώσες και το πρόβλημα έχει λυθεί. Στην πράξη θα αρχίζαμε από κάποιο διανυσματικό βάρος w, υπολογίζοντας την κατεύθυνση στην οποία η kurtosis του y=w T x είναι αυξημένη περισσότερο (αν η kurtosis είναι θετική) ή μειωμένη λιγότερο (αν η kurtosis είναι αρνητική), βασισμένη στο διαθέσιμο δείγμα x(1),, x(t) του διανύσματος x μιγμάτων και χρησιμοποιώντας μία μέθοδο gradient (βάθμωσης) ή μια από τις επεκτάσεις της για την εύρεση ενός νέου διανύσματος w. Το παράδειγμα μπορεί να γενικευτεί με αυθαίρετες διαστάσεις, δείχνοντας ότι η kurtosis μπορεί θεωρητικά να χρησιμοποιηθεί ως κριτήριο βελτιστοποίησης για το πρόβλημα ICA. Όμως, η kurtosis έχει επίσης μερικά μειονεκτήματα στην πράξη, όταν η τιμή της πρέπει να υπολογιστεί από ένα υπολογισμένο δείγμα. Το κύριο πρόβλημα είναι ότι η kurtosis μπορεί να είναι πολύ ευαίσθητη σε γενικές γραμμές. Η τιμή της μπορεί να εξαρτηθεί από μόνο μερικές παρατηρήσεις στις προεκτάσεις της κατανομής, η οποία μπορεί να είναι λανθασμένη. Με άλλα λόγια, η kurtosis δεν είναι ένα δυνατό μέτρο non- Gaussianity. Κατά συνέπεια, άλλα μέτρα non-gaussianity να είναι καλύτερα από την kurtosis σε μερικές καταστάσεις NEGENTROPY Ένα δεύτερο πολύ σημαντικό μέτρο της non-gaussianity είναι να ληφθεί υπόψην η negentropy. Η negentropy βασίζεται στις πληροφορίες θεωρητικής ποσότητας της (διαφορικής) εντροπίας. 20

21 Η εντροπία είναι η βασική έννοια της θεωρίας των πληροφοριών. Η εντροπία μιας τυχαίας μεταβλητής μπορεί να ερμηνευθεί ως ο βαθμός των πληροφοριών που δίνει η παρατήρηση της μεταβλητής. Η μεταβλητή είναι πιο τυχαία, δηλαδή απρόβλεπτη και μη δομημένη, όσο μεγαλύτερη είναι η εντροπία της. Πιο αυστηρά, η εντροπία συσχετίζεται πολύ με το μήκος κωδικοποίησης της τυχαίας μεταβλητής, στην πραγματικότητα, σε μερικές περιπτώσεις απλοποιώντας, η εντροπία είναι το μήκος κωδικοποίησης της τυχαίας μεταβλητής. Η εντροπία H ορίζεται για μία διακριτή τυχαία μεταβλητή y ως: όπου α είναι οι πιθανές τιμές του y. Αυτός ο πολύ γνωστός ορισμός μπορεί να γενικευτεί για συνεχής υπολογισμένες τυχαίες μεταβλητές και διανύσματα, οπότε σ αυτή την περίπτωση ονομάζεται διαφορική εντροπία. Η διαφορική εντροπία Η ενός τυχαίου διανύσματος y με πυκνότητα f(y) ορίζεται ως: Ένα θεμελιώδες αποτέλεσμα της θεωρίας πληροφοριών είναι ότι η Gaussian μεταβλητή έχει τη μεγαλύτερη εντροπία μεταξύ όλων των τυχαίων μεταβλητών ίσης διαφοράς. Αυτό σημαίνει ότι η εντροπία θα μπορούσε να χρησιμοποιηθεί ως non- Gaussianity μέτρο. Στην πραγματικότητα, αυτό δείχνει ότι η Gaussian κατανομή είναι η πιο τυχαία ή η πιο ελάχιστα δομημένη όλων των κατανομών. Η εντροπία είναι μικρή για κατανομές που συγκεντρώνονται ορισμένες τιμές σίγουρα, δηλαδή όταν η μεταβλητή είναι σαφώς συγκεντρωμένη ή έχει μία pdf που είναι πολύ αιχμηρή. Για να χρησιμοποιηθεί ένα μέτρο non-gaussianity που είναι μηδέν για μία Gaussian μεταβλητή και πάντα μη αρνητική, συχνά χρησιμοποιείται μια ελαφρώς τροποποιημένη εκδοχή του ορισμού της διαφορικής εντροπίας, αποκαλούμενη ως negentropy. Η negentropy J ορίζεται ως: όπου y gauss είναι μια τυχαία Gaussian μεταβλητή της ίδιας συνδιακύμανσης του πίνακα y. Λόγω των προαναφερθεισών ιδιοτήτων, η negentropy είναι πάντα μη αρνητική και μηδέν αν και μόνο αν το y έχει μια Gaussian κατανομή. Η negentropy έχει μία πρόσθετη ενδιαφέρουσα ιδιότητα που είναι αμετάβλητη για ανάστροφους γραμμικούς μετασχηματισμούς. Το πλεονέκτημα της negentropy, ή ισοδύναμα, η διαφορική εντροπία, ως μέτρο της non-gaussianity είναι ότι δικαιολογείται ικανοποιητικά από τη στατιστική θεωρία. Στην πραγματικότητα, η negentropy είναι υπό κάποια έννοια ο βέλτιστος εκτιμητής non- Gaussianity, όσον αφορά τις στατιστικές ιδιότητες. Το πρόβλημα χρησιμοποιώντας τη negentropy είναι η μεγάλη δυσκολία του υπολογισμού. Ο υπολογισμός της negentropy 21

22 χρησιμοποιώντας τον ορισμό θα απαιτούσε μια εκτίμηση (ενδεχομένως non-parametric) της pdf. Επομένως, απλούστερες προσεγγίσεις της negentropy είναι πολύ χρήσιμες ΠΡΟΣΕΓΓΙΣΕΙΣ ΤΗΣ NEGENTROPY Ο υπολογισμός της negentropy είναι δύσκολος, όπως αναφέρεται παραπάνω και επομένως αυτή η συνάρτηση αντίθεσης παραμένει κυρίως θεωρητικά μία. Στην πράξη, πρέπει να χρησιμοποιηθούν μερικές προσεγγίσεις. Η κλασσική μέθοδος της προσέγγισης της negentropy είναι η χρήση υψηλών δυνάμεων, για παράδειγμα ως: Η τυχαία μεταβλητή y υποτίθεται ότι ήταν μηδενική, που σημαίνει και διάφορη της μονάδας. Όμως, η ισχύς τέτοιων προσεγγίσεων μπορεί μάλλον να περιοριστεί. Ειδικότερα, αυτές οι προσεγγίσεις πάσχουν από τη non-robustness (μη-ευρωστία) που αντιμετωπίζεται με την kurtosis. Γενικά λαμβάνουμε την ακόλουθη προσέγγιση: όπου k i είναι κάποιες θετικές σταθερές και ν είναι μία Gaussian μεταβλητή μηδενικής μέσης τιμής και διάφορη της μονάδας. Η μεταβλητή y υποτίθεται ότι ήταν μηδενικής μέσης τιμής, διάφορη της μονάδας και οι συναρτήσεις G i είναι μερικές μη-τετραγωνικές (non-quadratic) συναρτήσεις. Σημειώνουμε ότι ακόμη και σε περιπτώσεις όπου αυτή η προσέγγιση δεν είναι πολύ ακριβής (σχέση 24), μπορεί να χρησιμοποιηθεί για την κατασκευή ενός μέτρου non-gaussianity που είναι αμετάβλητο, ώστε να αντιληφθούμε ότι είναι πάντα μη αρνητικό και ίσο με μηδέν αν το y έχει μια Gaussian κατανομή. Στην περίπτωση όπου χρησιμοποιούμε μόνο μια μη-τετραγωνική (non-quadratic) συνάρτηση G, η προσέγγιση γίνεται ως εξής: στην ουσία για οποιαδήποτε μη-τετραγωνική συνάρτηση G. Αυτό είναι σαφώς μια γενίκευση της δύναμης βασισμένης στην προσέγγιση της σχέσης 23, αν το y είναι συμμετρικό. Πράγματι, παίρνοντας G(y)=y 4, τότε μία λαμβάνει ακριβώς τη σχέση 23, δηλαδή μια kurtosis βασισμένη στην προσέγγιση. Αλλά σε αυτό το αν σημείο η επιλογή του G είναι σωστή, η μία λαμβάνει τις προσεγγίσεις της negentropy, που είναι πολύ καλύτερο και δίνεται από τη σχέση 23. Ειδικότερα, επιλέγοντας τη συνάρτηση G αυτή δεν αυξάνεται πάρα πολύ γρήγορα, έτσι 22

23 η μία λαμβάνει τους πιο σωστούς υπολογισμούς. Οι ακόλουθες επιλογές της συνάρτησης G έχουν αποδειχθεί πολύ χρήσιμες: όπου 1 α1 2 είναι κάποια κατάλληλη σταθερά. Κατά συνέπεια λαμβάνουμε τις προσεγγίσεις της negentropy που δίνουν ένα πολύ καλό συμβιβασμό μεταξύ των ιδιοτήτων των δύο κλασσικών non-gaussianity μέτρων που δίνονται από την kurtosis και τη negentropy. Είναι εννοιολογικά απλό, γρήγορο στον υπολογισμό, έχει ελκυστικές στατιστικές ιδιότητες και ειδική ευρωστία. Επομένως, θα χρησιμοποιήσουμε αυτές τις συναρτήσεις αντίθεσης με μεθόδους ICA ΕΛΑΧΙΣΤΟΠΟΙΗΣΗ ΤΗΣ ΑΜΟΙΒΑΙΑΣ ΠΛΗΡΟΦΟΡΙΑΣ Μια άλλη προσέγγιση για τον υπολογισμό ICA, που εμπνέεται από τη θεωρία πληροφοριών, είναι η ελαχιστοποίηση της αμοιβαίας πληροφορίας. Θα εξηγήσουμε αυτήν την προσέγγιση και θα δείξουμε ότι οδηγεί στην ίδια αρχή των περισσότερων non- Gaussian κατευθύνσεων όπως έχει περιγραφεί παραπάνω. Ειδικότερα, αυτή η προσέγγιση δίνει μία αυστηρή, επιπλέον, αιτιολόγηση για τις ευρετικές αρχές που χρησιμοποιούνται ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Χρησιμοποιώντας την έννοια της διαφορικής εντροπίας, ορίζουμε την αμοιβαία πληροφορία Ι μεταξύ m (ποσοτικών) τυχαίων μεταβλητών, y i, i=1 m ως εξής: Η αμοιβαία πληροφορία είναι ένα φυσικό μέτρο εξάρτησης μεταξύ των τυχαίων μεταβλητών. Στην πραγματικότητα, είναι ισοδύναμη με τη γνωστή απόκλιση Kullback- Leibler μεταξύ της κοινής πυκνότητας f(y) και το γινόμενο των οριακών πυκνοτήτων του. Είναι πάντα μη αρνητική και μηδέν αν και μόνο αν οι μεταβλητές είναι στατιστικά ανεξάρτητες. Κατά συνέπεια, η αμοιβαία πληροφορία υπολογίζεται από ολόκληρη τη δομή των εξαρτημένων μεταβλητών και όχι μόνο από τη συνδιακύμανση, όπως η PCA και άλλες σχετικές μέθοδοι. 23

24 Η αμοιβαία πληροφορία μπορεί να ερμηνευθεί χρησιμοποιώντας την ερμηνεία της εντροπίας ως μήκος του κώδικα. Οι όροι Η(y i ) δίνουν τα μήκη των κωδίκων για τα y i όταν κωδικοποιούνται χωριστά και το Η(y) δίνει το μήκος του κώδικα όταν το y κωδικοποιείται ως τυχαίο διάνυσμα, δηλαδή όλες οι συνιστώσες κωδικοποιούνται στον ίδιο κώδικα. Η αμοιβαία πληροφορία παρουσιάζει έτσι τη μείωση του μήκους κώδικα, που λαμβάνεται με την κωδικοποίηση ολόκληρου του διανύσματος, αντί των ανεξάρτητων συνιστωσών. Γενικά, οι καλύτεροι κώδικες μπορούν να ληφθούν κωδικοποιώντας ολόκληρο το διάνυσμα. Όμως, αν οι y i είναι ανεξάρτητες, δεν δίνουν καμία πληροφορία η μία για την άλλη και κάποια θα μπορούσε επίσης να κωδικοποιήσει τις μεταβλητές χωριστά, χωρίς αύξηση του μήκους του κώδικα. Μια σημαντική ιδιότητα της αμοιβαίας πληροφορίας είναι ότι λαμβάνουμε έναν αντίστροφο γραμμικό μετασχηματισμό y=wx. Τώρα, θα εξετάσουμε τι συμβαίνει αν περιορίσουμε τις y i, ώστε να είναι ασυσχέτιστες και διάφορες της μονάδας. Αυτό σημαίνει ότι: και αυτό συνεπάγεται ότι το W πρέπει να είναι σταθερό. Επιπλέον, οι y i είναι διάφορες της μονάδας, η εντροπία και η negentropy διαφέρουν μόνο σε μια σταθερά και στο σήμα. Κατά συνέπεια ισχύει: όπου C είναι μια σταθερά που δεν εξαρτάται από το W. Αυτό παρουσιάζει τη θεμελιώδη σχέση μεταξύ της negentropy και της αμοιβαίας πληροφορίας ΟΡΙΣΜΟΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΑΠΟ ΤΗΝ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Δεδομένου ότι η αμοιβαία πληροφορία είναι το φυσικό μέτρο της θεωρίας της πληροφορίας των ανεξάρτητων τυχαίων μεταβλητών, θα μπορούσαμε να το χρησιμοποιήσουμε ως κριτήριο για την εύρεση της μετατροπής ICA. Σε αυτήν την προσέγγιση που είναι μια εναλλακτική λύση στο πρότυπο προσέγγισης υπολογισμού, ορίζουμε τη μέθοδο ICA ενός τυχαίου διανύσματος x ως τον αντίστροφο 24

25 μετασχηματισμό όπως στην σχέση 6, όπου ο πίνακας W καθορίζεται έτσι ώστε η αμοιβαία πληροφορία των μετασχηματισμένων συνιστωσών s i να ελαχιστοποιείται. Είναι προφανές από τη σχέση 30, ότι βρίσκεται ο αντίστροφος μετασχηματισμός του W ελαχιστοποιώντας την αμοιβαία πληροφορία, που είναι κατά προσέγγιση ισοδύναμος με την εύρεση των κατευθύνσεων στις οποίες η negentropy μεγιστοποιείται. Ακριβέστερα, είναι κατά προσέγγιση ισοδύναμος με την εύρεση 1-D υποδιαστημάτων, έτσι ώστε οι προβολές στα υποδιαστήματα να έχουν τη μέγιστη negentropy. Αυστηρή αναπαράσταση είναι η σχέση 30, που δείχνει ότι ο υπολογισμός ICA από την ελαχιστοποίηση της αμοιβαίας πληροφορίας είναι ισοδύναμη με τη μεγιστοποίηση του αθροίσματος των non-gaussianities υπολογισμών, όταν οι υπολογισμοί περιορίζονται να είναι ασυσχέτιστοι. Ο περιορισμός του μη συσχετισμού δεν είναι στην πραγματικότητα απαραίτητος, αλλά απλοποιεί αρκετά τους υπολογισμούς και μπορεί να χρησιμοποιηθεί με την απλούστερη μορφή της σχέσης 30 αντί της 28 που είναι πιο περίπλοκη. Κατά συνέπεια, βλέπουμε ότι η διατύπωση ICA ως ελαχιστοποίηση της αμοιβαίας πληροφορίας παρουσιάζει μια άλλη αυστηρή αιτιολόγηση περισσότερο ευρετική, ως εισαχθείσα ιδέα βρίσκοντας τα μέγιστα των non-gaussian κατευθύνσεων ΕΚΤΙΜΗΣΗ ΤΗΣ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ Η ΠΙΘΑΝΟΤΗΤΑ Μια πολύ δημοφιλής προσέγγιση για τον υπολογισμό του προτύπου ICA είναι η εκτίμηση μέγιστης πιθανότητας, η οποία συνδέεται με τον κανόνα μέγιστης πληροφορίας (infomax). Εδώ περιγράφουμε αυτήν την προσέγγιση και δείχνουμε ότι είναι ουσιαστικά ισοδύναμη με την ελαχιστοποίηση της αμοιβαίας πληροφορίας. Είναι δυνατό να διατυπωθεί άμεσα η πιθανότητα του προτύπου ICA χωρίς θόρυβο, το οποίο δημιουργήθηκε από τους Pham, Garrat και Jutten, καθώς και ο υπολογισμός του πρότυπου από μία μέγιστη μέθοδο πιθανότητας. Από W=(w 1,, w n ) Τ ο πίνακας Α -1 και η πιθανότητα log λαμβάνουν τη μορφή: όπου f i είναι οι συναρτήσεις πυκνότητας των s i και x(t), t=1,,t είναι οι πραγματοποιήσεις του x. Ο όρος log detw στην πιθανότητα, προέρχεται από τον κλασικό κανόνα (γραμμικών) τυχαίων μεταβλητών και τις πυκνότητές τους. Γενικά, για οποιοδήποτε τυχαίο διάνυσμα x με πυκνότητα p x και οποιοδήποτε πίνακα W, η 1 1 πυκνότητα του y=wx δίνεται από: ( p ) det x W y W. 25

26 Η ΑΡΧΗ ΤΗΣ ΜΕΓΙΣΤΗΣ ΠΛΗΡΟΦΟΡΙΑΣ (INFOMAX) Μια άλλη σχετική συνάρτηση αντίθεσης προήλθε από μία άποψη νευρωνικών δικτύων από τους Bell, Sejnowski, Nadal και Parga. Αυτή βασίστηκε στη μεγιστοποίηση της εντροπίας εξόδου (ή ροή πληροφοριών) ενός νευρωνικού δικτύου με μη γραμμικές (non-linear) εξόδους. Υποθέτουμε ότι το x είναι η είσοδος του νευρωνικού δικτύου, του T οποίου οι έξοδοι είναι της μορφής φ i( wx i ), όπου φ i είναι μερικές μη γραμμικές κλιμακωτές συναρτήσεις και w i είναι τα διανύσματα βάρους των νευρώνων. Έπειτα, ένα βάρος επιθυμεί να μεγιστοποιήσει την εντροπία των εξόδων: Αν τα φ i επιλέγονται σωστά, αυτό το πλαίσιο επιτρέπει επίσης τον υπολογισμό του προτύπου ICA. Πράγματι, διάφοροι δημιουργοί, π.χ. Cardoso, Pearlmutter και Parra, απέδειξαν το εκπληκτικό αποτέλεσμα του κανόνα μεγιστοποίησης της εντροπίας δικτύων, που είναι ισοδύναμος με τη μέγιστη εκτίμηση πιθανότητας. Αυτή η ισοδυναμία, απαιτεί τις μη γραμμικότητες που χρησιμοποιούσαν τα φ i στο νευρωνικό δίκτυο να επιλέγονται όπως οι συναρτήσεις της συσσωρευτικής κατανομής που αντιστοιχούν στις '.. πυκνότητες f i, δηλαδή φ i () = fi() ΣΥΝΔΕΣΗ ΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ ΜΕ ΤΗΝ ΑΜΟΙΒΑΙΑ ΠΛΗΡΟΦΟΡΙΑ Για να δούμε τη σύνδεση μεταξύ της πιθανότητας και της αμοιβαίας πληροφορίας, εξετάζουμε την προοπτική της πιθανότητας log: T Στην πράξη, αν τα f i ήταν ίσα με τις πραγματικές κατανομές wx i ο πρώτος όρος θα T ήταν ίσος με ih( wi x). Έτσι η πιθανότητα θα ήταν ίση, μέχρι μια πρόσθετη σταθερά, με αρνητική αμοιβαία πληροφορία όπως φαίνεται στη σχέση 28. Πρακτικά, η σύνδεση είναι ακόμα ισχυρότερη. Αυτό συμβαίνει επειδή στην πράξη δεν ξέρουμε τις κατανομές των ανεξάρτητων συνιστωσών. Μια λογική προσέγγιση, θα είναι να υπολογίσουμε την πυκνότητα wx, ως τμήμα του υπολογισμού της ML μεθόδου και να χρησιμοποιηθεί αυτή ως προσέγγιση της πυκνότητας από το s i. Σε αυτήν την περίπτωση, η πιθανότητα και οι αμοιβαία πληροφορία είναι για όλους τους πρακτικούς σκοπούς, ισοδύναμες. Παρ όλα αυτά, υπάρχει μια μικρή διαφορά που μπορεί να είναι πολύ σημαντική στην πράξη. Το πρόβλημα με την εκτίμηση της μέγιστης πιθανότητας είναι ότι οι T i 26

27 πυκνότητες f i πρέπει να υπολογιστούν σωστά. Δεν χρειάζονται να υπολογιστούν με καθόλου μεγάλη ακρίβεια: στην πραγματικότητα είναι αρκετό να υπολογιστεί αν είναι sub-gaussian ή super-gaussian. Σε πολλές περιπτώσεις, έχουμε αρκετή γνώση προγενέστερα σχετικά με τις ανεξάρτητες συνιστώσες και δεν πρέπει να υπολογίσουμε τη μορφή των στοιχείων τους. Εν πάση περιπτώσει, αν οι πληροφορίες για τη μορφή των ανεξάρτητων συνιστωσών δεν είναι σωστή, ο υπολογισμός ML θα δώσει απολύτως λανθασμένα αποτελέσματα. Επομένως χρειάζεται να ληφθεί προσοχή στην εκτίμηση του ML. Αντίθετα, χρησιμοποιώντας λογικά non-gaussianity μέτρα, αυτό το πρόβλημα δεν προκύπτει συνήθως ΑΠΕΙΚΟΝΙΣΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA Είναι ενδιαφέρον να σημειωθεί πως η προσέγγιση ICA κάνει σαφή τη σύνδεση μεταξύ της μεθόδου ICA και της αναζήτησης προβολής. Αναζήτηση προβολής είναι μια τεχνική ανεπτυγμένη στατιστικά για την εύρεση των ενδιαφερουσών προβολών από τα πολυδιάστατα δεδομένα. Τέτοιες προβολές μπορούν να χρησιμοποιηθούν για τη βέλτιστη απεικόνιση των δεδομένων και για αυτούς τους λόγους σαν υπολογισμός και οπισθοδρόμηση της πυκνότητας. Στη βασική (1-D) αναζήτηση προβολής, προσπαθούμε να βρούμε τις κατευθύνσεις, έτσι ώστε οι προβολές των δεδομένων σε εκείνες τις κατευθύνσεις να έχουν ενδιαφέρουσες κατανομές, δηλαδή επίδειξη κάποιας δομής. Έχει υποστηριχτεί από τους Huber, Jones και Sibson ότι η Gaussian κατανομή είναι η πιο ελάχιστα ενδιαφέρουσα και ότι οι περισσότερες ενδιαφέρουσες κατευθύνσεις είναι εκείνες που παρουσιάζουν λιγότερο Gaussian κατανομή. Αυτό είναι ακριβώς που κάνουμε στον υπολογισμό του ICA προτύπου. Η χρησιμότητα εύρεσης τέτοιων προβολών μπορεί να φανεί στο σχήμα 8, όπου η προβολή στην κατεύθυνση αναζήτησης προβολής (οριζόντιος άξονας) παρουσιάζει σαφώς συγκεντρωμένη τη δομή των δεδομένων. Η προβολή στην πρώτη κύρια συνιστώσα (κάθετος άξονας), αφ ετέρου, αποτυγχάνει να παρουσιάσει αυτήν την δομή. 27

28 Σχήμα 8: Μια απεικόνιση της αναζήτησης προβολής και των μη ενδιαφερουσών non-gaussian προβολών. Η συνάντηση σε αυτό το σχήμα διαιρείται σαφώς σε δύο ομάδες. Όμως, η κύρια συνιστώσα, δηλαδή η κατεύθυνση της μέγιστης διαφοράς, θα ήταν κάθετη, μη παρέχοντας κανένα διαχωρισμό μεταξύ των ομάδων. Αντίθετα, η έντονη non-gaussian κατεύθυνση αναζήτησης προβολής είναι οριζόντια, παρέχοντας το βέλτιστο διαχωρισμό των ομάδων. Κατά συνέπεια, στη γενική διατύπωση, η ICA μπορεί να θεωρηθεί ως μία παραλλαγή της αναζήτησης προβολής. Όλα τα non-gaussianity μέτρα και οι αντίστοιχοι ICA αλγόριθμοι που παρουσιάζονται σε αυτό το κεφάλαιο θα μπορούσαν, επίσης, να κληθούν ως αναζήτηση δεικτών και αλγόριθμοι προβολής. Ειδικότερα, η αναζήτηση προβολής επιτρέπει να αντιμετωπίσουμε την κατάσταση όπου υπάρχουν λιγότερο ανεξάρτητες συνιστώσες s i από τις αρχικές μεταβλητές x i. Υποθέτοντας ότι εκείνες οι διαστάσεις του διαστήματος που δεν εκτείνονται από τις ανεξάρτητες συνιστώσες γεμίζονται από Gaussian θόρυβο, βλέπουμε ότι αυτός υπολογίζει τις non-gaussian κατευθύνσεις αναζήτησης προβολής, υπολογίζουμε αποτελεσματικά τις ανεξάρτητες συνιστώσες. Όταν όλες οι non-gaussian κατευθύνσεις βρεθούν, όλες οι ανεξάρτητες συνιστώσες έχουν υπολογιστεί. Μία τέτοια διαδικασία μπορεί να ερμηνευθεί ως στοιχείο προέλευσης της προβολής αναζήτησης και μεθόδου ICA. Όμως, πρέπει να σημειωθεί ότι η διατύπωση αναζήτησης προβολής, γίνεται όχι για το πρότυπο δεδομένων ή τις ανεξάρτητες συνιστώσες. Αν το πρότυπο διατηρεί ICA, βελτιστοποιώντας τα μέτρα ICA non-gaussianity παράγει ανεξάρτητες συνιστώσες, αν το πρότυπο δεν υποστηρίζει, παίρνουμε τις κατευθύνσεις αναζήτησης προβολής. 28

29 1.6 ΑΡΧΙΚΑ ΣΤΑΔΙΑ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA Στο προηγούμενο τμήμα, περιγράψαμε τις στατιστικές αρχές που βρίσκονται από τις μεθόδους ICA. Στο επόμενο τμήμα θα περιγραφούν πρακτικοί αλγόριθμοι με βάση αυτές τις αρχές. Εντούτοις, πριν εφαρμοστεί ένας ICA αλγόριθμος στα δεδομένα, είναι συνήθως πολύ χρήσιμο να γίνει κάποια προεπεξεργασία. Σε αυτό το τμήμα, περιγράφουμε μερικές τεχνικές προεπεξεργασίας, που κάνουν το πρόβλημα της ICA εκτίμησης απλούστερο και να ρυθμίζεται καλύτερα CENTERING Η πιο βασική και απαραίτητη προεπεξεργασία είναι η κεντροθέτηση (centering) του x, δηλαδή η αφαίρεση του μέσου διανύσματος m=e{x}, ώστε το x να γίνει μία μεταβλητή μηδενικής μέσης τιμής. Αυτό υπονοεί ότι το s είναι επίσης μηδενικής μέσης τιμής, όπως μπορεί να φανεί λαμβάνοντας στατιστικό υπολογισμό και στις δύο πλευρές της σχέσης 4. Αυτή η προεπεξεργασία γίνεται για να απλοποιήσουμε τους αλγόριθμους ICA: Δεν σημαίνει ότι ο μέσος όρος δεν θα μπορούσε να υπολογιστεί. Μετά από τον υπολογισμό του πίνακα μίξης Α με κεντροθετημένα στοιχεία, μπορούμε να ολοκληρώσουμε την εκτίμηση με την προσθήκη του μέσου διανύσματος s υπό τις κεντροθετημένες εκτιμήσεις του s. Το μέσο διάνυσμα δίνεται από Α -1 m, όπου m είναι ο μέσος όρος που αφαιρέθηκε στην προεπεξεργασία WHITENING Μια άλλη χρήσιμη στρατηγική προεπεξεργασίας ICA είναι πρώτα η whiten των παρατηρηθέντων μεταβλητών. Αυτό σημαίνει ότι πριν από την εφαρμογή του αλγορίθμου ICA (και μετά από το centering), μετασχηματίζουμε το παρατηρηθέν διάνυσμα x γραμμικά, έτσι ώστε να λάβουμε το νέο διάνυσμα x% που είναι white, δηλαδή οι συνιστώσες του είναι ασυσχέτιστες και διάφορες της μονάδας. Με άλλα λόγια, ο πίνακας συνδιακύμανσης του x% είναι ίσος με τον ταυτοτηκό πίνακα: Ο μετασχηματισμός whitening είναι πάντα πιθανός. Μία δημοφιλής μέθοδος για whitening είναι να χρησιμοποιηθεί η ανάλυση ιδιοτιμών (EVD) του πίνακα συνδιακύμανσης Exx { T } = EDE T, όπου Ε είναι ο ορθογώνιος πίνακας των ιδιοτιμών (eigenvalues) των Exx { T } και D είναι ο διαγώνιος πίνακας των ιδιοτιμών (eigenvalues) 29

30 του, D= diag( d1,..., d n ). Σημειώνουμε ότι το Exx { T } μπορεί να υπολογιστεί από ένα τυποποιημένο τρόπο από το διαθέσιμο δείγμα x(1),..., xt ( ). Η whitening μπορεί τώρα να γίνει: 1/2 όπου ο πίνακας D υπολογίζεται από μία απλή γνωστή συνιστώσα συνάρτησης ως 1/2 1/2 1/2 D = diag( d,..., d n ). Είναι εύκολο να ελεγχθεί τώρα ότι Exx {%% T } = I. 1 Η whitening μετασχηματίζει τον πίνακα μίξης σε ένα νέο, τον A %. Από τις σχέσεις 4 και 35, έχουμε: Η χρησιμότητα της whitening βρίσκεται στο γεγονός ότι ο νέος πίνακας μίξης A % είναι ορθογώνιος. Αυτό μπορεί να φανεί από: Εδώ βλέπουμε ότι η whitening μειώνει τον αριθμό των παραμέτρων για να υπολογιστεί. 2 Αντί να υπολογιστούν οι παράμετροι n, που είναι τα στοιχεία του αρχικού πίνακα Α, πρέπει να υπολογίσουμε μόνο το νέο ορθογώνιο πίνακα μίξης A %. Ένας ορθογώνιος πίνακας περιέχει βαθμό ελευθερίας n(n-1)/2. Παραδείγματος χάριν, σε δύο διαστάσεις, ένας ορθογώνιος μετασχηματισμός καθορίζεται από μια ενιαία παράμετρο γωνίας. Οι μεγαλύτερες διαστάσεις, ενός ορθογώνιου πίνακα περιέχουν περίπου μόνο το μισό από τον αριθμό των παραμέτρων ενός αυθαίρετου πίνακα. Κατά συνέπεια κάποιος μπορεί να πει ότι η whitening λύνει το μισό από το πρόβλημα της μεθόδου ICA. Επειδή η whitening είναι μία πολύ απλή και τυποποιημένη διαδικασία, απλούστερη από οποιουσδήποτε ICA αλγορίθμους, αυτό είναι μία καλή ιδέα ώστε να μειωθεί η πολυπλοκότητα του προβλήματος με αυτόν τον τρόπο. Μπορεί επίσης να είναι αρκετά χρήσιμο να μειωθεί η διάσταση των δεδομένων την ίδια στιγμή που κάνουμε whitening. Κατόπιν κοιτάζουμε τα ιδιοδιανύσματα d του { } T Exx και απορρίπτουμε εκείνα που είναι επίσης μικρά, όπως γίνεται συχνά στη στατιστική τεχνική ή στην μέθοδο ICA. Αυτό έχει συχνά την επίδραση της μείωσης του θορύβου. Μια γραφική απεικόνιση της επίδρασης της whitening μπορεί να φανεί στο σχήμα 9, στο οποίο τα δεδομένα του σχήματος 5 έχουν υποστεί whitening. Το τετράγωνο που καθορίζει την κατανομή είναι τώρα σαφώς μια εκδοχή του αρχικού τετραγώνου του σχήματος 4. Όλα αυτά είναι ο υπολογισμός μιας ενιαίας γωνίας, αυτής που δίνει την περιστροφή. j 30

31 Σχήμα 9: Η κοινή κατανομή των whitened μιγμάτων ΕΠΟΜΕΝΑ ΣΤΑΔΙΑ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑΣ ΤΗ ΜΕΘΟΔΟΥ ICA Η επιτυχία της μεθόδου ICA για ένα δεδομένο σύνολο στοιχείων μπορεί να εξαρτηθεί αποφασιστικά στην εκτέλεση μερικών εξαρτημένων εφαρμογών των βημάτων προεπεξεργασίας. Παραδείγματος χάριν, εάν τα δεδομένα αποτελούνται από σήματα χρόνου, κάποιο ζωνοδιαβατό (band-pass) φιλτράρισμα μπορεί να είναι πολύ χρήσιμο. Σημειώνουμε ότι εάν φιλτράρουμε γραμμικά τα παρατηρηθέντα σήματα xi () t για να λάβουμε τα νέα σήματα, για παράδειγμα x * i () t, το ICA πρότυπο ισχύει ακόμα για το x * i () t με τον ίδιο πίνακα μίξης. Αυτό μπορεί να φανεί ως εξής: Δείχνουμε από τον πίνακα x, ο οποίος περιέχει τα x(1),,x(t) ως στήλες του και ομοίως για το S. Κατόπιν το ICA πρότυπο μπορεί να εκφραστεί ως: Τώρα, το χρονικό φιλτράρισμα του Χ αντιστοιχεί στον πολλαπλασιασμό Χ από τα δεξιά του πίνακα που ονομάζεται Μ. Αυτό δίνει: 31

32 ο όποιος δείχνει ότι τα ICA πρότυπα παραμένουν ακόμα έγκυρα. 1.7 Ο ΑΛΓΟΡΙΘΜΟΣ FAST-ICA Στις προηγούμενες παραγράφους, εισήγαμε διαφορετικά non-gaussianity μέτρα, δηλαδή αντικειμενικές συναρτήσεις για τον υπολογισμό ICA. Στην πράξη, χρειάζεται επίσης ένας αλγόριθμος για τη μεγιστοποίηση της συνάρτησης αντίθεσης, όπως για παράδειγμα στη σχέση 25. Σε αυτό το τμήμα, εισάγουμε μία πολύ αποδοτική μέθοδο μεγιστοποίησης που ταιριάζει με αυτόν τον στόχο. Υποθέτουμε ότι εδώ είναι το στοιχείο που προεπεξεργάζεται με centering και whitening όπως περιγράφεται στο προηγούμενο τμήμα ΠΕΡΙΓΡΑΦΗ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ FAST-ICA ΣΕ ΜΙΑ ΜΟΝΑΔΑ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Αρχικά, θα παρουσιάσουμε την εκδοχή μιας μονάδας FAST-ICA. Από μια μονάδα (αναφερόμαστε σε μια υπολογιστική μονάδα), ένας τεχνητός νευρώνας, που έχει ένα διανυσματικό βάρος w, είναι σε θέση να ενημερωθεί από έναν κανόνα εκμάθησης. Ο κανόνας εκμάθησης FAST-ICA βρίσκει μια κατεύθυνση, δηλαδή μια διανυσματική μονάδα w, έτσι ώστε η non-gaussianity προβολή w T x να μεγιστοποιείται. Η non-gaussianity μετριέται κατά προσέγγιση της negentropy J(w T x) που δίνεται από τη σχέση 25. Η διαφορά w T x, πρέπει να περιοριστεί στη μονάδα για τα whitened δεδομένα, αυτό είναι ισοδύναμο με τον περιορισμό του κανόνα του w να είναι μονάδα. Η μέθοδος FAST-ICA είναι βασισμένη σε ένα σχέδιο επανάληψης σταθερών σημείων (fixed-point), για την εύρεση ενός μέγιστου της non-gaussianity w T x, όπως υπολογίζεται στη σχέση 25. Μπορεί να παραχθεί επίσης ως προσεγγιστική επανάληψη Newton. Από το g φαίνεται η παράγωγος της μη τετραγωνικής (non-quadratic) συνάρτησης G που χρησιμοποιείται στη σχέση 25, παραδείγματος χάριν οι παράγωγοι των συναρτήσεων της σχέσης 26 είναι: όπου 1 α1 2 είναι κάποια κατάλληλη σταθερά, που λαμβάνεται συχνά όπως α 1 = 1. Η βασική μορφή του αλγορίθμου FastICA είναι: 1. Επιλέγουμε ένα αρχικό (π.χ. τυχαίο) διανυσματικό βάρος w. T T 2. Έστω w + = Exgwx { ( )} Eg { '( wx)} w. 32

33 Έστω w= w / w. 4. Αν δεν συγκλίνει, επιστρέφουμε στο 2. Σημειώνουμε ότι η σύγκλιση σημαίνει ότι οι παλιές και νέες τιμές του σημείου w είναι στην ίδια κατεύθυνση, δηλαδή το σημείο των γινομένων τους είναι (σχεδόν) ίσο με 1. Δεν είναι απαραίτητο, ότι το διάνυσμα συγκλίνει σε ένα ενιαίο σημείο, δεδομένου ότι το w και το -w καθορίζουν ίδια κατεύθυνση. Αυτό γίνεται πάλι, επειδή οι ανεξάρτητες συνιστώσες μπορούν να καθοριστούν μόνο μέχρι ένα πολλαπλασμένο σήμα. Σημειώνουμε επίσης ότι εδώ υποτίθεται ότι τα δεδομένα είναι prewhitened. Η παραγωγή του FAST-ICA είναι η ακόλουθη: Τα μέγιστα της προσέγγισης της negentropy του w T T x είναι αποκτημένα σε ορισμένα βέλτιστα από EG { (w x)}. Σύμφωνα T με τους όρους Kuhn Tucker, τα βέλτιστα από το EG { (w x)}, υπό τον περιορισμό E T 2 2 {(w x) } w 1 = = έχουν αποκτηθεί στα σημεία όπου: Ας προσπαθήσουμε να λύσουμε αυτήν την εξίσωση με τη μέθοδο Newton. Δείχνουμε τη συνάρτηση στην αριστερή πλευρά της σχέσης 41 από το F και λαμβάνουμε τον Jacobian πίνακα του JF (w) ως: Για να απλοποιήσουμε τον αντίστροφο αυτού του πίνακα, προσεγγίζουμε τον πρώτο όρο της σχέσης 42. Δεδομένου ότι τα δεδομένα είναι σφαιρικά, μια λογική προσέγγιση φαίνεται να είναι: Κατά συνέπεια ο πίνακας Jacobian γίνεται διαγώνιος και μπορεί εύκολα να είναι αντιστρέψιμος. Έτσι λαμβάνουμε την ακόλουθη προσεγγιστική επανάληψη Newton: Αυτός ο αλγόριθμος μπορεί να απλοποιηθεί περαιτέρω με τον πολλαπλασιασμό και των T δύο πλευρών της σχέσης 43 από: β Ε { g '(w x)}. Αυτό δίνει, κατόπιν αλγεβρικής απλοποίησης, η επανάληψη FAST-ICA. Στην πράξη, οι στατιστικοί υπολογισμοί με FAST-ICA πρέπει να αντικατασταθούν από τους υπολογισμούς τους. Οι φυσικοί υπολογισμοί είναι φυσικά τα αντίστοιχα μέσα των δειγμάτων. Ιδανικά, όλα τα διαθέσιμα δεδομένα πρέπει να χρησιμοποιηθούν, αλλά αυτό δεν είναι συχνά μια καλή ιδέα επειδή οι υπολογισμοί μπορούν να γίνουν επίσης απαιτητικοί. Κατόπιν οι μέσοι όροι μπορούν να υπολογιστούν 33

34 χρησιμοποιώντας ένα μικρότερο δείγμα, του οποίου το μέγεθος μπορεί να έχει μια ιδιαίτερη επίδραση στην ακρίβεια των τελικών εκτιμήσεων. Τα σημεία των δειγμάτων πρέπει να επιλεχτούν χωριστά σε κάθε επανάληψη. Αν η σύγκλιση δεν είναι ικανοποιητική, μπορεί έπειτα να αυξηθεί το μέγεθος των δειγμάτων ΠΕΡΙΓΡΑΦΗ ΛΕΙΤΟΥΡΓΙΑΣ ΤΟΥ FAST-ICA ΣΕ ΠΟΛΛΕΣ ΜΟΝΑΔΕΣ ΝΕΥΡΩΝΙΚΩΝ ΔΙΚΤΥΩΝ Στην προηγούμενη παράγραφο, ο αλγόριθμος μιας μονάδας υπολογίζει ακριβώς μια από τις ανεξάρτητες συνιστώσες ή μια κατεύθυνση αναζήτησης προβολής. Για να υπολογιστούν οι διάφορες ανεξάρτητες συνιστώσες, χρειάζεται να τρέξουμε τον αλγόριθμο μιας μονάδας FAST-ICA που χρησιμοποιεί αρκετές μονάδες (π.χ. νευρώνες) με διανύσματα βάρους w,..., 1 w n. Για να αποτρέψουμε τα διαφορετικά διανύσματα από τη σύγκλιση στα ίδια T T μέγιστα, πρέπει οι έξοδοι να είναι ασυσχέτιστες wx,..., wx, 1 n μετά από κάθε επανάληψη. Εδώ παρουσιάζουμε τρεις μεθόδους για αυτό. Σημειώνουμε ότι το whitened x, είναι ασυσχέτιστο και ορθογωνικοποιημένο ισοδύναμα. Ένας απλός τρόπος πραγματοποίησης του μη συσχετισμού είναι ένα σχεδιάγραμμα βασισμένο σε ένα ασυσχέτιστο Gram-Schmidt. Αυτό σημαίνει ότι υπολογίζουμε τις ανεξάρτητες συνιστώσες μία προς μία. Όταν υπολογίσουμε τις ανεξάρτητες συνιστώσες ή τα διανύσματα p, τρέχουμε το σταθερό σημείο μιας μονάδας του αλγόριθμου για w p + 1 και μετά από κάθε βήμα επανάληψης αφαιρούμε από το w p + 1 T τις προβολές wp+ 1 wjwj, j = 1,..., p από τους προηγούμενους υπολογισμούς των διανυσμάτων p και στη συνέχεια απορρίπτουμε το w p + 1 : Σε ορισμένες εφαρμογές, όμως, μπορεί να επιδιωχτεί η χρησιμοποίηση ενός συμμετρικού μη συσχετισμού, στον οποίο κανένα διάνυσμα δεν είναι προνομιούχο. Αυτό μπορεί να ολοκληρωθεί, π.χ. από την κλασσική μέθοδο που περιλαμβάνει τις τετραγωνικές ρίζες πινάκων, 34

35 όπου W είναι ο πίνακας ( w1,..., w ) T n των διανυσμάτων και η αντίστροφη τετραγωνική T 1/2 ρίζα ( WW ) T T, που λαμβάνεται από τις ιδιοτιμές ανάλυσης του WW = FΛ F ως T 1/2 1/2 T ( WW ) = FΛ F. Μια απλούστερη εναλλακτική λύση είναι ο ακόλουθος επαναληπτικός αλγόριθμος: Επαναλαμβάνουμε το βήμα 2 μέχρι τη σύγκλιση. Ο κανόνας στο βήμα 1 μπορεί να είναι σχεδόν οποιοσδήποτε συνηθισμένος κανόνας πινάκων, π.χ. ο κανόνας 2 ή η μεγαλύτερη απόλυτη τιμή σειρών ή στηλών (αλλά όχι ο κανόνας Frobenius) ΣΧΕΣΗ FAST-ICA ΚΑΙ ΜΕΓΙΣΤΗΣ ΠΙΘΑΝΟΤΗΤΑΣ Τέλος, δίνουμε μια εκδοχή της μεθόδου FAST-ICA που παρουσιάζει σαφώς τη σύνδεση της μέγιστης πληροφορίας (infomax) ή τη μέγιστη πιθανότητα του αλγόριθμου που εισάγεται από τους Amari, Cichocki, Yang, Bell, Sejnowski, Cardoso, Laheld, Cichocki και Unbehauen. Αν εκφράσουμε το FAST-ICA χρησιμοποιώντας τη σχέση 43 και τον εκφράσουμε με μορφή πινάκων, βλέπουμε ότι λαμβάνει την ακόλουθη μορφή: όπου y = Wx, β i = E{ yig( yi)} και ai = 1/( βi + E{ g'( yi)}). Ο πίνακας W πρέπει να είναι ορθογώνιος μετά από κάθε βήμα. Σε αυτήν την εκδοχή πινάκων, είναι φυσικά ορθογώνια συμμετρικός. Η παραπάνω εκδοχή του FAST-ICA θα μπορούσε να συγκριθεί με τη στοχαστική μέθοδο κλίσης (stochastic gradient method) για τη μέγιστη πιθανότητα ως: όπου μ είναι το ποσοστό εκμάθησης, όχι απαραίτητα η σταθερά χρόνου. Το g είναι μια ' συνάρτηση της pdf των ανεξάρτητων συνιστωσών: g = fi / fi, όπου f i είναι η pdf μιας ανεξάρτητης συνιστώσας. Συγκρίνοντας τις σχέσεις 47 και 48, βλέπουμε ότι ο FAST-ICA μπορεί να θεωρηθεί ως αλγόριθμος σταθερών σημείων για τη μέγιστη πιθανότητα εκτίμησης του προτύπου δεδομένων ICA. Στο FAST-ICA, η ταχύτητα σύγκλισης βελτιστοποιείται από 35

36 την επιλογή των πινάκων diag(α i ) και diag(β i ). Ένα άλλο πλεονέκτημα του FAST-ICA είναι ότι μπορεί να υπολογίσει τις ανεξάρτητες συνιστώσες subgaussian και supergaussian, κάτι που έρχεται σε αντίθεση με τους συνηθισμένους αλγορίθμους ML, οι οποίοι λειτουργούν μόνο για μια δεδομένη κατηγορία κατανομών ΙΔΙΟΤΗΤΕΣ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA Ο αλγόριθμος FAST-ICA έχει κάποιες επιθυμητές ιδιότητες όταν συγκρίνεται με τις υπάρχουσες μεθόδους ICA, όπου αυτές είναι: 1. Η σύγκλιση είναι κυβική (ή τουλάχιστον τετραγωνική), υπό την προϋπόθεση του προτύπου δεδομένων ICA. Αυτό έρχεται σε αντίθεση με τους συνηθισμένους αλγόριθμους ICA βασισμένους στις (στοχαστικές) μεθόδους καθόδου κλίσης (gradient descent methods), όπου η σύγκλιση είναι μόνο γραμμική. Αυτό σημαίνει μία πολύ γρήγορη σύγκλιση, όπως έχει επιβεβαιωθεί από τις προσομοιώσεις και τα πειράματα σε πραγματικά δεδομένα. 2. Αντιθέτως στους βασισμένους σε κλίση αλγόριθμους, δεν υπάρχει κανένα βήμα μεγέθους παραμέτρων που να επιλέγεται. Αυτό σημαίνει ότι ο αλγόριθμος είναι εύχρηστος. 3. Ο αλγόριθμος βρίσκει τις άμεσες ανεξάρτητες συνιστώσες (πρακτικά) οποιασδήποτε non-gaussian κατανομής που χρησιμοποιεί σε οποιοδήποτε μη γραμμικό (non-linearity) g. Αυτό έρχεται σε αντίθεση με πολλούς αλγορίθμους, όπου κάποιος υπολογισμός της συνάρτησης κατανομής πιθανότητας πρέπει να είναι πρώτα διαθέσιμα και η μη γραμμικότητα πρέπει να επιλέγεται αναλόγως. 4. Η απόδοση της μεθόδου μπορεί να βελτιστοποιηθεί επιλέγοντας μια κατάλληλη μη γραμμικότητα g. Ειδικότερα, μπορεί να ληφθούν οι αλγόριθμοι που είναι εύρωστοι ή ελάχιστης διαφοράς. Στην πραγματικότητα, οι δύο μη γραμμικότητες της σχέσης 40 έχουν μερικές βέλτιστες ιδιότητες. 5. Οι ανεξάρτητες συνιστώσες μπορούν να υπολογιστούν μία προς μία, οι οποίες είναι κατά προσέγγιση ισοδύναμες με τη διεξαγωγή αναζήτησης προβολής. Αυτό είναι χρήσιμο στη διερευνητική ανάλυση δεδομένων και μειώνεται ο υπολογιστικός φόρτος της μεθόδου σε περιπτώσεις όπου μόνο μερικές από τις ανεξάρτητες συνιστώσες πρέπει να υπολογιστούν. 6. Ο FAST-ICA έχει τα περισσότερα πλεονεκτήματα των νευρωνικών αλγόριθμων, δηλαδή: είναι παράλληλος, διανεμημένος, υπολογιστικά απλός και απαιτεί μικτό διάστημα μνήμης. Οι στοχαστικές μέθοδοι κλίσης φαίνεται να είναι προτιμότερες μόνο αν απαιτείται η γρήγορη προσαρμοστικότητα σε ένα μεταβαλλόμενο περιβάλλον. 36

37 1.8 ΕΠΙΠΛΕΟΝ ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA Σε αυτό το τμήμα εξετάζουμε μερικές εφαρμογές της μεθόδου ICA. Η περισσότερο κλασσική εφαρμογή ICA, είναι το cocktail-party problem, που έχει ήδη εξηγηθεί ΔΙΑΧΩΡΙΣΜΟΣ ΤΩΝ ΑΝΕΞΑΡΤΗΤΩΝ ΣΥΝΙΣΤΩΣΩΝ ΣΕ ΑΥΤΟΔΗΜΙΟΥΡΓΟΥΜΕΝΑ ΔΕΔΟΜΕΝΑ ΗΛΕΚΤΡΟΜΑΓΝΗΤΙΚΟΥ ΕΓΚΕΦΑΛΟΓΡΑΦΗΜΑΤΟΣ (MEG) Το MEG είναι μια τεχνική, από το οποίο η δραστηριότητα ή οι φλοιώδεις νευρώνες μπορεί να είναι υπολογισμένοι με πολύ καλό χρονικό μετασχηματισμό και μέσο χωρικό μετασχηματισμό. Κατά τη χρησιμοποίηση ενός αρχείου MEG, ως έρευνα ή ως κλινικό εργαλείο, ο ερευνητής μπορεί να αντιμετωπίσει ένα πρόβλημα για την εξαγωγή των ουσιαστικών χαρακτηριστικών γνωρισμάτων των νευρωνικομαγνητικών (neuromagnetic) σημάτων παρουσία των αυτοδημιουργούμενων δεδομένων. Το εύρος των διαταραχών μπορεί να είναι υψηλότερο από αυτό των σημάτων του εγκεφάλου και τα αυτοδημιουργούμενα δεδομένα μπορούν να μοιάσουν με παθολογικά σήματα. Οι Vigario, Jousmaki, Hamalainen, Hari και Oja, εισήγαγαν μια νέα μέθοδο για το χωρισμό της εγκεφαλικής δραστηριότητας από τα αυτοδημιουργούμενα δεδομένα που χρησιμοποιούν τη μέθοδο ICA. Η προσέγγιση είναι βασισμένη στην υπόθεση, όπου η δραστηριότητα του εγκεφάλου και τα αυτοδημιουργούμενα δεδομένα, π.χ. οι μετακινήσεις των ματιών ή οι δυσλειτουργίες αισθητήρων, είναι ανατομικά και φυσιολογικά διαφορετικές διαδικασίες και αυτός ο διαχωρισμός απεικονίζεται στη στατιστική ανεξαρτησία μεταξύ των μαγνητικών σημάτων που παράγονται με αυτές τις διαδικασίες. Τα MEG σήματα καταγράφηκαν σε ένα μαγνητικά προστατευμένο δωμάτιο, με ένα νευρομαγνητόμετρο 122-καναλιών σε ολόκληρο το κρανίο. Αυτή η συσκευή συλλέγει δεδομένα σε 61 θέσεις εκτός κρανίου, χρησιμοποιώντας ένα ορθογώνιο διπλό βρόχο σπειρών επανάληψης που συνδέονται με μια τοπική πηγή που είναι ακριβώς από κάτω. Το άτομο που δοκιμάστηκε κλήθηκε να ανοιγοκλείσει και να κοιτάξει οριζόντια, προκειμένου να παραχθούν τα χαρακτηριστικά οφθαλμικά αυτοδημιουργούμενα δεδομένα (ματιών). Επιπλέον, για να παραχθούν τα μυογραφικά αυτοδημιουργούμενα δεδομένα (μυών), έπρεπε να σφίξει τα δόντια του για 20 δευτερόλεπτα. Ακόμα δημιουργήθηκαν αυτοδημιουργούμενα δεδομένα, με την τοποθέτηση ενός ψηφιακού ρολογιού, σε απόσταση ενός μέτρου μακριά από το κράνος στο προστατευμένο δωμάτιο. Το σχήμα 10 παρουσιάζει ένα υποσύνολο 12 αυθόρμητων σημάτων MEG xi ( t ) από τις μετωπικές, τις χρονικές και τις ινιακές περιοχές. Το σχήμα παρουσιάζει επίσης τις θέσεις των αντίστοιχων αισθητήρων στο κρανίο. Η διάσταση των δεδομένων (καταγράφηκαν 122 μαγνητικά σήματα), δεν είναι πρακτική για το σχεδιασμό όλων των MEG σημάτων () i x t, i=1,,122. Επίσης παρουσιάζονται δύο κανάλια ηλεκτροφθαλμογραφημάτων και το ηλεκτροκαρδιογράφημα, χωρίς τη χρήση του ICA υπολογισμού. 37

38 Το διάνυσμα του σήματος x στο πρότυπο ICA αποτελείται από τα πλάτη xi () t των 122 σημάτων σε ένα ορισμένο χρονικό σημείο, έτσι η διαστατικότητα είναι n=122. Στο θεωρητικό πρότυπο, το x θεωρείται ως τυχαίο διάνυσμα και οι μετρήσεις x(t) δίνουν ένα σύνολο πραγματοποιήσεων του x, καθώς ο χρόνος προχωρά. Σημειώνουμε ότι στο βασικό πρότυπο ICA, δεν χρησιμοποιούνται καθόλου οι χρονικοί συσχετισμοί στα σήματα. Τα διανύσματα x(t) είναι whitened χρησιμοποιώντας PCA και η διαστατικότητα είναι μειωμένη, συγχρόνως. Κατόπιν, χρησιμοποιήθηκε ο αλγόριθμος FAST-ICA και υπολογίστηκε ένα υποσύνολο των σειρών του διαχωρισμού του πίνακα W της σχέσης 6. Μόλις ένα διάνυσμα W είναι σε ισχύ, ένα ICA σήμα s () t μπορεί να υπολογιστεί από i T si() t = Wi x() t με x() t, που σημαίνει whitening και χαμηλότερη διάσταση του διανύσματος του σήματος. i Σχήμα 10: Τα δείγματα των σημάτων MEG, παρουσιάζουν τα αυτοδημιουργούμενα δεδομένα που παράγονται από το άνοιγμα-κλείσιμο των ματιών, οριζόντιες ματιές, δάγκωμα και καρδιακό κύκλο. Παρουσιάζεται κάθε μία από τις έξι θέσεις και σχεδιάζονται οι δύο ορθογώνιες κατευθύνσεις των αισθητήρων. 38

39 Το σχήμα 11 παρουσιάζει 9 τμήματα των ανεξάρτητων συνιστωσών (IC's) ( ) i s t, i=1,,9 που βρίσκονται από τα καταγραμμένα δεδομένα μαζί με τα αντίστοιχα τμήματα προτύπων. Τα πρώτα δύο IC's οφείλονται στη μυϊκή δραστηριότητα που προέρχεται από το δάγκωμα. Ο διαχωρισμός τους σε δύο συνιστώσες φαίνεται να συμφωνούν, βάσει των τμημάτων προτύπων, σε δύο διαφορετικά σύνολα μυών που ήταν ενεργοποιημένα κατά τη διάρκεια της διαδικασίας. Τα IC3 και IC5 παρουσιάζουν τις οριζόντιες μετακινήσεις των ματιών και το ανοιγοκλείσιμο των ματιών, αντίστοιχα. Το IC4 αντιπροσωπεύει τα καρδιακά αυτοδημιουργούμενα δεδομένα που εξάγονται πολύ καθαρά. Τα υπόλοιπα αυτοδημιουργούμενα δεδομένα, ήταν υψιπερατά (high-pass) φιλτραρισμένα, με συχνότητα αποκοπής 1 Hz. Έπειτα βρέθηκε η ανεξάρτητη συνιστώσα IC8. Αυτό παρουσιάζει τα αυτοδημιουργούμενα δεδομένα του ψηφιακού ρολογιού, που βρίσκεται στη σωστή πλευρά του μαγνητόμετρου. Η τελευταία ανεξάρτητη συνιστώσα IC9 σχετίζεται με έναν αισθητήρα που παρουσιάζει το υψηλότερο RMS (Root Mean Squared) θορύβου από τους άλλους. Τα αποτελέσματα του σχήματος 11 δείχνουν ότι χρησιμοποιώντας την τεχνική ICA και τον αλγόριθμο FAST-ICA, είναι δυνατόν να απομονώσουν τη μετακίνηση των ματιών και τα αυτοδημιουργούμενα δεδομένα των ματιών, καθώς επίσης και καρδιακά, μυογραφικά και άλλα αυτοδημιουργούμενα δεδομένα από τα σήματα MEG. Ο αλγόριθμος FAST-ICA είναι ένα ιδιαίτερα κατάλληλο εργαλείο, επειδή η αφαίρεση αυτοδημιούργητου αντικειμένου είναι μια διαλογική τεχνική και ο ερευνητής μπορεί ελεύθερα να επιλέξει πόσα από τα IC's θέλει. 39

40 Σχήμα 11: Εννέα ανεξάρτητες συνιστώσες που βρίσκονται από τα δεδομένα MEG. Για κάθε συνιστώσα οι αριστερές, πίσω και δεξιές όψεις των πεδίων προτύπων παράγονται από αυτές τις συνιστώσες που παρουσιάζονται με πλήρη γραμμή για τη μαγνητική ροή που προέρχεται από το κεφάλι και με διακεκομμένη γραμμή τη ροή προς το εσωτερικό ΜΕΙΩΣΗ ΤΟΥ ΘΟΡΥΒΟΥ ΣΤΙΣ ΦΥΣΙΚΕΣ ΕΙΚΟΝΕΣ Σε αυτό το παράδειγμα εξετάζουμε την εύρεση ICA φίλτρων για φυσικές εικόνες, βασισμένες στην ICA αποσύνθεση, αφαιρώντας το θόρυβο από της εικόνες που αλλοιώνονται με πρόσθετο Gaussian θόρυβο. Η 2-D δομή των παραθύρων δεν έχει καμία σημασία εδώ (χρησιμοποιήθηκε σειρά-σειρά ανίχνευση για να επιστραφεί ένα τετραγωνικό παράθυρο εικόνας σε ένα διάνυσμα των τιμών του pixel). Οι ανεξάρτητες συνιστώσες από τέτοιες εικόνες παράθυρων αντιπροσωπεύονται από το σχήμα 12. Κάθε παράθυρο σε αυτό το σχήμα 40

41 αντιστοιχεί σε μια από της στήλες a i του πίνακα μίξης Α. Κατά συνέπεια ένα παρατηρηθέν παράθυρο εικόνας είναι μία τοποθέτηση αυτών των παραθύρων της στη σχέση 5 με ανεξάρτητους συντελεστές. Σχήμα 12: Οι βασικές συναρτήσεις ICA των φυσικών εικόνων. Το μέγεθος των παραθύρων εισαγωγής είναι 16x16 pixels. Αυτές οι βασικές συναρτήσεις μπορούν να θεωρηθούν ως ανεξάρτητα χαρακτηριστικά γνωρίσματα των εικόνων. Υποθέτουμε ένα πρότυπο εικόνας με θόρυβο, που περιγράφεται από: όπου n ασυσχέτιστος θόρυβος, με στοιχεία που συντάσσονται στο παράθυρο εικόνας με τον ίδιο τρόπο όπως τα x και z είναι υπολογισμένα στο παράθυρο εικόνας που αλλοιώνεται με το θόρυβο. Περαιτέρω υποθέτουμε ότι το n είναι Gaussian και το x είναι 41

42 non-gaussian. Υπάρχουν πολλοί τρόποι να καθαριστεί ο θόρυβος, ένα παράδειγμα είναι να γίνει ένας μετασχηματισμός στο χωρικό διάστημα συχνότητας με IDFT, κάνοντας φιλτράρισμα χαμηλής διέλευσης και επιστρέφουμε στο διάστημα εικόνας με IDFT. Όμως αυτό δεν είναι πολύ αποδοτικό. Έχει εισαχθεί πρόσφατα μια καλύτερη μέθοδος η οποία είναι η διακένωση κυματιδίων όπου η μετατροπή βασίζεται στα κυματίδια, ή οι μέθοδοι βασίζονται σε median φιλτράρισμα. Καμία από αυτές της μεθόδους δεν επωφελείται από στατιστικές εικόνας. Πρόσφατα έχουμε εισαγάγει μία άλλη στατιστική μέθοδο αποκαλούμενη ως αραιή διακένωση κώδικα (Sparse Code Shrinkage). Συσχετίζεται πολύ με την ανάλυση ανεξάρτητων συνιστωσών. Εν συντομία, αν διαμορφώσουμε την πυκνότητα του x από τη μέθοδο ICA και υποθέσουμε το n Gaussian, τότε έχουμε τη μέγιστη πιθανότητα (Maximum Likelihood) ως λύση για το x δεδομένου του υπολογισμού z που μπορεί να αναπτυχθεί στο πρότυπο σήμα. Η λύση ML μπορεί να υπολογιστεί απλά, χρησιμοποιώντας την αποσύνθεση που είναι έκδοση ICA. Η μετατροπή δίνεται από: όπου W είναι ένας ορθογώνιος πίνακας (είναι καλύτερη η ορθογώνια προσέγγιση του αντιστρόφου πίνακα ανάμιξης ICA). Ο όρος θορύβου Wn είναι ακόμα Gaussian και white. Με μια κατάλληλα επιλεγμένη ορθογώνια μετατροπή του W, η πυκνότητα Wx = s γίνεται ιδιαίτερα non-gaussian, π.χ. super-gaussian με υψηλή θετική kurtosis. Αυτό εξαρτάται φυσικά από τα αρχικά σήματα x, γεγονός ότι υπάρχει ένα πρότυπο x = W T s για το σήμα, τα σήματα πηγής ή οι συνιστώσες του s έχουν μία θετική kurtotic πυκνότητα, οπότε σε αυτή την περίπτωση η μετατροπή ICA δίνει ιδιαίτερες supergaussian συνιστώσες. Αυτό φαίνεται να διατηρεί λιγότερο τα παράθυρα εικόνας των φυσικών σκηνών. Υποθέτουμε ότι η πυκνότητα Laplacian για τα s i και η επίλυση ML για τα s i δίνεται από τη shrinkage function si = g([ Wz] i) ή με διανυσματική μορφή si = gwz ( ). Η συνάρτηση g(.) έχει μια χαρακτηριστική μορφή, δηλαδή: είναι μηδέν κοντά στην αρχή και έπειτα γραμμική μετά από μια αιχμηρή τιμή ανάλογα με της παραμέτρους της πυκνότητας Laplacian και τη πυκνότητα θορύβου Gaussian. Υποθέτουμε ότι μπορούν να παραχθούν άλλες μορφές για πυκνότητες και βέλτιστες shrinkage functions. Στην μέθοδο Sparse Code Shrinkage, η λειτουργία Shrinkage εκτελείται στο περιστρεφόμενο διάστημα και μετά ο υπολογισμός για το σήμα στο αρχικό διάστημα δίνεται από την αντίστροφη περιστροφή: Κατά συνέπεια παίρνουμε την εκτίμηση μέγιστης πιθανότητας για το παράθυρο εικόνας στο οποίο ένα μεγάλο μέρος του θορύβου έχει αφαιρεθεί. Ο χειριστής περιστροφής W είναι όμοιος με το sparsity των συνιστωσών s=wx, όπου μεγιστοποιούνται. Ένα αποτέλεσμα απαλοιφής του θορύβου παρουσιάζεται στο σχήμα 13. Μια εικόνα χωρίς θόρυβο και μια με θόρυβο, της οποίες το επίπεδο του θορύβου είναι 50% 42

43 από το επίπεδο του σήματος. Δίνεται τα αποτελέσματα της μεθόδου Sparse Code Shrinkage και το κλασικό φιλτράρισμα wiener, δείχνοντας ότι η Sparse Code Shrinkage μπορεί να είναι μια ελπιδοφόρος προσέγγιση. Ο θόρυβος μειώνεται χωρίς θόλωμα των ακρών ή άλλα αιχμηρά χαρακτηριστικά γνωρίσματα της και στο φιλτράρισμα wiener. Αυτό οφείλεται στην έντονη μη γραμμική φύση του χειριστή shrinkage που προσαρμόζεται βέλτιστα στα υπάρχουσες στατιστικές των φυσικών εικόνων. Σχήμα 13: Πάνω αριστερά: Αρχική εικόνα. Πάνω δεξιά: Αλλοίωση της αρχικής εικόνας με θόρυβο, το επίπεδο θορύβου είναι 50%.Κάτω αριστερά: Η ανακτημένη εικόνα μετά από την εφαρμογή του Sparse Code Shrinkage. Κάτω δεξιά: Μια εικόνα με φιλτράρισμα wiener για σύγκριση. 1.9 ΣΥΜΠΕΡΑΣΜΑ ΧΡΗΣΗΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA Η μέθοδος ICA είναι μια πολύ γενικής χρήσης στατιστική τεχνική, στην όποια παρατηρήθηκε ότι τυχαία δεδομένα μετασχηματίζονται σε γραμμικές συνιστώσες που είναι ανεξάρτητες μεταξύ τους, αλλά ταυτόχρονα έχουν και ενδιαφέρουσες κατανομές. Η μέθοδος ICA μπορεί να διατυπωθεί ως ο υπολογισμός ενός λανθάνοντος μεταβλητού προτύπου. Η διαισθητική έννοια της μέγιστης non-gaussianity μπορεί να χρησιμοποιηθεί για να παραγάγει διαφορετικές αντικειμενικές συναρτήσεις, των οποίων η 43

44 βελτιστοποίηση επιτρέπει την εκτίμηση του προτύπου ICA. Εναλλακτικά, μπορεί να χρησιμοποιηθούν περισσότερες κλασσικές έννοιες, όπως η εκτίμηση μέγιστης πιθανότητας ή η ελαχιστοποίηση της αμοιβαίας πληροφορίας για τον υπολογισμό της μεθόδου ICA, αυτές οι προσεγγίσεις είναι (περίπου) ισοδύναμες. Μία υπολογιστικά πολύ αποδοτική μέθοδος που εκτελεί πραγματικό υπολογισμό δίνεται από τον αλγόριθμο FAST-ICA. Οι εφαρμογές της μεθόδου ICA μπορούν να βρεθούν σε πολλούς διαφορετικούς τομείς, όπως η ακουστική επεξεργασία, η επεξεργασία βιοϊατρικού σήματος, η επεξεργασία εικόνας, οι τηλεπικοινωνίες και η οικονομετρία. 44

45 ΚΕΦΑΛΑΙΟ 2 ΣΤΡΑΤΗΓΙΚΕΣ ΓΙΑ ΤΟ ΔΙΑΧΩΡΙΣΜΟ ΠΗΓΩΝ [2] 2.1 ΕΙΣΑΓΩΓΗ Είναι προφανές ότι ο κόσμος είναι πλήρης από μίγματα σημάτων και τα περισσότερα προβλήματα μπορούν να μειωθούν βρίσκοντας τα σήματα των πηγών τους. Το πρόβλημα των σημάτων είναι γνωστό ως τυφλός διαχωρισμός πηγής (Blind Source Separation) και η ανάλυση ανεξάρτητων συνιστωσών (ICA) είναι μια ειδική μέθοδος για την πραγματοποίηση του BSS. Σε αυτό το κεφάλαιο, ερευνώνται οι βασικές έννοιες που απαιτούνται για την κατανόηση του BSS και οι βασικές στρατηγικές που ασφαλίζουν τις μεθόδους BSS, όπως η ICA. Αρχικά εξετάζουμε γενικά αποτελέσματα ανάμιξης σημάτων και έπειτα πως αυτά τα αποτελέσματα μπορούν να χρησιμοποιηθούν σε σήματα. Θα εξετάζουμε μόνο δύο σήματα και θα περιοριστούμε σε παραδείγματα λεκτικών σημάτων. Επίσης, σε αυτό το κεφάλαιο δεν θα ασχοληθούμε ιδιαίτερα με μαθηματική ανάλυση για τον απολογισμό μίξης. Αυτό δίνει ελευθερία στη διερεύνηση των θεμελιωδών χαρακτηριστικών της μίξης, χωρίς να συμβάλλουν συνεχώς προειδοποιήσεις που συνήθως συνδέονται με μαθηματικές επεξεργασίες. Εν ολίγης, ο ακόλουθος υπολογισμός είναι ουσιαστικά πραγματικός και με παράλειψη των αν και αλλά περιμένοντας τον πιο επίσημο υπολογισμό που δίνεται αργότερα. Υπενθυμίζουμε ότι χρησιμοποιούμε τον όρο σήμα πηγής (source signal) για να αναφερθούμε σε ένα αμιγές σήμα (π.χ. μια ενιαία φωνή) και σήμα μίξης (signal mixture) ή απλά μίξη, για να αναφερθούμε σε ένα μίγμα σημάτων πηγής. 2.2 ΜΙΞΗ ΛΕΚΤΙΚΩΝ ΣΗΜΑΤΩΝ Όταν δύο σήματα λεκτικής πηγής αναμιγνύονται για να κάνουν δύο μίγματα σημάτων, όπως φαίνεται στο σχήμα 1, ακολουθούν τρία αποτελέσματα. Κάθε ένα από αυτά τα αποτελέσματα μπορεί να χρησιμοποιηθεί ως βάση για (unmixing) μη ανάμιξη (αλλά μόνο δύο από αυτά χρησιμοποιούνται από τη μέθοδο ICA). Τα αποτελέσματα αυτά είναι τα εξής: Ανεξαρτησία (Independence): Εκτιμώντας ότι τα σήματα λεκτικής πηγής είναι στατιστικά ανεξάρτητα, το σήμα των μιγμάτων τους δεν είναι. Αυτό γίνεται επειδή κάθε σήμα πηγής μοιράζεται μεταξύ των δύο μιγμάτων, έτσι ώστε η συνισταμένη των μιγμάτων των σημάτων να εξασφαλίζει ότι δεν μπορούν να είναι ανεξάρτητα. 45

46 Ομαλότητα (Normality): Αν οι τιμές μιας λεκτικής πηγής σήματος αναπαρίσταται ως ιστόγραμμα προκύπτει ένα αιχμηρό σχήμα, ενώ ένα ανάλογο ιστόγραμμα ενός πριονωτού σήματος παράγει ένα επίπεδο ιστόγραμμα. Ένα ιστόγραμμα ενός μίγματος σημάτων που είναι το άθροισμα αυτών των δύο σημάτων παράγει ένα σχήμα με μορφή καμπάνας, όπως φαίνεται στο σχήμα 3. Αυτά τα σχήματα ιστογραμμάτων καμπάνας αναφέρονται ως Normal ή Gaussian. Πολυπλοκότητα (Complexit): Η χρονική πολυπλοκότητα οποιουδήποτε μίγματος είναι μεγαλύτερη (ή ίση) από την απλούστερη (δηλαδή λιγότερο σύνθετη) συνιστώσα του σήματος της πηγής του. Αυτό εξασφαλίζει την εξαγωγή του λιγότερο σύνθετου σήματος, από ένα σύνολο μιγμάτων σημάτων που παράγει ένα σήμα πηγής. Ενώ αυτή η υπόθεση εμφανίζεται να είναι πραγματική γενικά, μπορεί να παρατηρηθεί άμεσα αν τα σήματα πηγής είναι καθαροί τόνοι (κύματα ημιτόνου), όπως φαίνεται στο σχήμα 4. Σχήμα 1: Δύο σήματα πηγής φωνής (αριστερά) που δειγματοληπτούνται κάθε 5 ms και δύο διαφορετικά μίγματα αυτών των σημάτων φωνής (δεξιά). Κάθε μίγμα θα μπορούσε να είναι η παραγωγή ενός μικροφώνου που τοποθετήθηκε σε διαφορετικές θέσεις ενός δωματίου με δύο ανθρώπους που μιλούν συγχρόνως. Οι διαφορετικές θέσεις των μικροφώνων εξασφαλίζουν ότι τα δύο μίγματα περιέχουν διαφορετικές αναλογίες για κάθε σήμα φωνής. 46

47 2.3 ΜΗ ΑΝΑΜΙΓΜΕΝΑ ΣΗΜΑΤΑ Οι παραπάνω άτυπες περιγραφές τριών αποτελεσμάτων μίξης των σημάτων πηγής είναι ικανοποιητικές για την απόδειξη των βασικών αρχών, για αυτά τα σήματα πηγής από διάφορα σύνολα μιγμάτων σημάτων. Σε κάθε περίπτωση, ο τρόπος συλλογισμού είναι ο ίδιος και κατά προσέγγιση γίνεται ως εξής: Αν τα σήματα που εξάγονται από ένα σύνολο μιγμάτων είναι ανεξάρτητα όπως η πηγή των σημάτων ή έχουν non-gaussian ιστόγραμμα όπως η πηγή των σημάτων ή έχουν χαμηλή πολυπλοκότητα όπως η πηγή των σημάτων, τότε πρέπει να είναι σήματα πηγής. Αυτός ο τύπος στρατηγικής μπορεί να συνοψιστεί ως εξής: Αν τα σήματα πηγής έχουν κάποιες ιδιότητες X και τα μίγματα των σημάτων δεν δίνονται από ένα σύνολο μιγμάτων σημάτων πρέπει να προσπαθήσουμε να εξάγουμε τα σήματα ώστε το X να είναι πιθανό, υπό τον όρο ότι αυτά τα εξαγόμενα σήματα θα είναι απαιτούμενα σήματα πηγής. Τώρα, μπορούμε να αντικαταστήσουμε την ανεξαρτησία, την κανονικότητα και την πολυπλοκότητα για το X στην παραγωγή των τριών στοιχείων για μη μίξη, ως εξής: Ανεξαρτησία (Independence): Αν τα σήματα πηγής είναι ανεξάρτητα και τα μίγματα σημάτων δεν είναι, τότε πρέπει να ανακτήσουμε τα απαραίτητα σήματα πηγής που εξάγονται τα ανεξάρτητα σήματα με ένα σύνολο μιγμάτων σημάτων. Σχήμα 2: Ανεξαρτησία. Οι τιμές πλάτους δύο διαφορετικών μιγμάτων σημάτων συσχετίζονται ιδιαίτερα με τις τιμές πλάτους των σημάτων πηγής που συμβάλλουν σε κάθε μίγμα, επειδή κάθε μίγμα περιέχει μια αναλογία κάθε σήματος πηγής. Μια γραφική αναπαράσταση (αριστερά) των τιμών ενός σήματος πηγής φωνής σε σχέση με τις αντίστοιχες τιμές από την άλλη φωνή του σήματος πηγής του σχήματος 1, επομένως έχει πολύ μικρή δομή, προτείνοντας ότι τα δύο σήματα φωνής είναι ανεξάρτητα. Αντίθετα, η γραφική αναπαράσταση (δεξιά) των τιμών ενός σήματος φωνής μίξης σε σχέση με τις αντίστοιχες τιμές του άλλου μίγματος σημάτων φωνής του σχήματος 1, δείχνει μία αύξηση του πλάτους μιγμάτων, τα άλλα μίγματα πλάτους αυξάνουν επίσης. Κατά συνέπεια τα πλάτη των δύο μιγμάτων, αλλά όχι τα σήματα φωνής της πηγής, συσχετίζονται. 47

48 Ομαλότητα (Normality): Αν τα σήματα πηγής έχουν non-gaussian ιστόγραμμα και τα μίγματα σημάτων έπειτα δεν εξάγουν σήματα με non-gaussian ιστόγραμμα από ένα σύνολο σημάτων μιγμάτων, τότε πρέπει να ανακτηθούν τα απαραίτητα σήματα. Σχήμα 3: Ομαλότητα. Τα μίγματα σημάτων έχουν gaussian ή normal ιστογράμματα. Αριστερά: Ένα σήμα λεκτικής πηγής (πάνω) και ένα ιστόγραμμα των τιμών του πλάτους του σήματος (κάτω). Ένα ιστόγραμμα είναι μια γραφική αναπαράσταση κάθε πλάτους σημάτων που εμφανίζεται συναρτήσει του χρόνου. Τα σήματα ομιλίας τείνουν να έχουν πλάτη κοντά στο μηδέν, έτσι ώστε η τιμή πλάτους του υπολογισμού του ιστογράμματος να είναι μηδέν. Μέση: Ένα σήμα πριονωτής πηγής (πάνω) και το ιστόγραμμά του (κάτω). Δεξιά: Ένα μίγμα σημάτων (πάνω) που είναι το άθροισμα των σημάτων πηγής του αριστερού και του μέσου, καθώς και το ιστογράμμα (κάτω). Οποιοδήποτε μίγμα σημάτων πηγής έχει ένα ιστόγραμμα που τείνει να είναι σχήματος καμπάνας (normal ή gaussian), από οποιεσδήποτε συνιστώσες των σημάτων της πηγής του, ακόμα κι αν τα σήματα πηγής έχουν πολύ διαφορετικά ιστογράμματα. Τα πάνω σχήματα απεικονίζουν μόνο ένα μικρό χρονικό διάστημα των σημάτων που χρησιμοποιούνται για την κατασκευή των ιστογραμμάτων στα κάτω σχήματα. Πολυπλοκότητα (Complexit): Αν τα σήματα πηγής έχουν μικρή δομή πολυπλοκότητας (δηλαδή απλή) και τα μίγματα σημάτων δεν εξάγουν τα σήματα με χαμηλή πολυπλοκότητα από ένα σύνολο μιγμάτων σήματος, πρέπει να ανακτηθούν τα απαραίτητα σήματα. 48

49 Σχήμα 4: Πολυπλοκότητα. Η πολυπλοκότητα ενός μίγματος σημάτων (κάτω) είναι μεγαλύτερη από (ή ίση) αυτή του απλούστερου (δηλαδή ελάχιστα πιο σύνθετη) από τις συνιστώσες των σημάτων πηγής του (πάνω). Αυτή η υπόθεση πολυπλοκότητας μπορεί να χρησιμοποιηθεί ως μία βάση για τον τυφλό χωρισμό πηγής. Η μίξη των κάτω σημάτων είναι το άθροισμα των δύο πάνω σημάτων πηγής. Οι καθαροί τόνοι (κύματα ημιτόνου) έχουν χρησιμοποιηθεί σε αυτό το παράδειγμα για να τονίσουν τα αποτελέσματα της μίξης στα κυματοειδή σήματα. Αν και αυτός ο γενικός τύπος στρατηγικής δεν είναι ασφαλής, αλλά είναι πολύ αποτελεσματικός στην πράξη. Το μόνο που χρειαζόμαστε είναι μια μέθοδος για εξαγωγή των σημάτων με όσο το δυνατόν περισσότερα X (π.χ. ανεξάρτητες συνιστώσες), από ένα σύνολο μιγμάτων σημάτων. Στην προσπάθεια να εξετάσουμε τέτοιες μεθόδους, πρέπει αρχικά να καθορίσουμε μια παράσταση για τη μίξη και τη μη μίξη των σημάτων και μετά να χρησιμοποιήσουμε αυτήν την παράσταση για να κατασκευάσουμε τους επίσημους ορισμούς της κανονικότητας, της ανεξαρτησίας και της πολυπλοκότητας. 2.4 ΠΛΗΘΟΣ ΠΗΓΩΝ ΚΑΙ ΜΙΓΜΑΤΩΝ Ένα σημαντικό γεγονός για τις τυποποιημένες μεθόδους BSS, όπως η ICA, δεν εκτιμάται με κάποια εμπειρία που έχει αποκτηθεί από αυτές. Βασικά, πρέπει να υπάρξουν πολλά διαφορετικά μίγματα ενός συνόλου σημάτων πηγής, ως υπάρχοντα σήματα πηγής. Για το παράδειγμα των λεκτικών σημάτων, υπονοείται ότι πρέπει να υπάρξουν τουλάχιστον τόσα μικρόφωνα (διαφορετικά μίγματα φωνής) όσα και οι φωνές που υπάρχουν (σήματα πηγής). Αν υπάρχουν περισσότερα σήματα πηγής από τα μίγματα σημάτων, οι μέθοδοι BSS δεν μπορούν να εξάγουν εύκολα τα σήματα πηγής, αν και υπάρχουν εξαιρέσεις. 49

50 Στην πράξη, ο αριθμός των μιγμάτων σημάτων είναι συχνά μεγαλύτερος από τον αριθμό των σημάτων της πηγής. Παραδείγματος χάριν, στο ηλεκτροεγκεφαλογράφημα (EEG) ο αριθμός των διαφορετικών σημάτων μιγμάτων είναι ίσος με τον αριθμό των ηλεκτροδίων στο κεφάλι (συνήθως μεγαλύτερος από 10) και ο αριθμός των πηγών είναι λιγότερος από 10. Αν ο αριθμός των σημάτων των πηγών είναι γνωστός, για να είναι λιγότερος από τον αριθμό μιγμάτων των σημάτων, τότε ο αριθμός των σημάτων που εξάγονται από τη μέθοδο ICA μπορεί να μειωθεί με προεπεξεργασία, χρησιμοποιώντας τα μίγματα σημάτων με τη μέθοδο Principal Component Analysis ή προσδιορίζοντας τον ακριβή αριθμό των σημάτων πηγής που εξάγονται. Ο λόγος για τον παραπάνω περιορισμό των αριθμών σημάτων πηγής και των μιγμάτων τους είναι ανάλογος με το πρόβλημα της πλήρους μορφής ενός σύνθετου αντικειμένου από ένα σύνολο στιγμιότυπων. Αν μια σειρά στιγμιότυπων λαμβάνεται από διαφορετικές απόψεις, τότε κάθε στιγμιότυπο παρέχει νέες πληροφορίες σχετικά με την τρισδιάστατη δομή του σύνθετου αντικείμενου. Ομοίως, για ένα δεδομένο σύνολο σημάτων πηγής, κάθε μίγμα σημάτων παρέχει ένα διαφορετικό στιγμιότυπο κάθε σήματος πηγής και απαιτούνται πολλά στιγμιότυπα προκειμένου να υπολογιστεί κάθε μεμονωμένο σήμα πηγής. 2.5 ΣΥΓΚΡΙΣΗ ΤΩΝ ΣΤΡΑΤΗΓΙΚΩΝ Είναι εντυπωσιακό ότι υπάρχουν διάφορες στρατηγικές για τα σήματα πηγής από τα μίγματα σήματος, όπου κάθε στρατηγική έχει δημιουργήσει διάφορες ευδιάκριτες μεθόδους. Σίγουρα, αν μία από αυτές τις μεθόδους είναι καλύτερη από τις άλλες, τότε γιατί να ασχολούμαστε με τις υπόλοιπες; Κατ αρχάς, επειδή μερικές μέθοδοι έχουν πρακτικά πλεονεκτήματα για μεγάλα σύνολα δεδομένων. Δεύτερον και πιο σημαντικότερο, επειδή οποιαδήποτε μέθοδος παραμένει σύμφωνα με τις υπονοούμενες υποθέσεις σε εκείνη την μέθοδο. Οι υποθέσεις που συνδέονται με κάθε μέθοδο υπονοούν ένα συγκεκριμένο πρότυπο της διαδικασίας μίξης και των σημάτων των πηγών που εξάγονται. Η ακριβής φύση αυτού του προτύπου μπορεί να μην είναι πάντα προφανής, αλλά να είναι πάντα παρόν. Παραδείγματος χάριν, οι υποθέσεις μιας μεθόδου μπορούν να υπονοήσουν ένα πρότυπο σημάτων πηγών στο οποίο αυτά τα σήματα να είναι ανεξάρτητα ή non-gaussian ή να έχουν χαμηλή πολυπλοκότητα. Οι περισσότερες μέθοδοι δίνουν τα ίδια και τέλεια αποτελέσματα για τα τέλεια (π.χ. χωρίς θόρυβο) δεδομένα. Όμως, αν ο θόρυβος είναι παρών (και είναι πάντα στις πρακτικές εφαρμογές) ή αν τα σήματα πηγής παραβιάζουν σημαντικά τις υποθέσεις στις οποίες μια μέθοδος είναι βασισμένη, τότε αυτή η μέθοδος αποτυγχάνει. Επομένως είναι σημαντικό να υπάρξει μια σειρά διαθέσιμων μεθόδων, έτσι ώστε η μέθοδος που επιλέγεται να είναι κατάλληλη για το συγκεκριμένο πρόβλημα που εξετάζεται. 50

51 2.6 ΣΥΜΠΕΡΑΣΜΑΤΑ ΓΙΑ ΤΙΣ ΣΤΡΑΤΗΓΙΚΕΣ ΔΙΑΧΩΡΙΣΜΟΥ ΤΩΝ ΠΗΓΩΝ Αν ένα σύνολο σημάτων πηγών αναμιγνύεται για να δημιουργήσει ένα αντίστοιχο σύνολο μιγμάτων σημάτων, τότε προκύπτουν τρία αποτελέσματα που είναι τα εξής: Τα σήματα πηγής είναι ανεξάρτητα, ενώ τα μίγματα σημάτων δεν είναι. Το ιστόγραμμα κάθε σήματος πηγής είναι non-gaussian από το ιστόγραμμα οποιουδήποτε μίγματος σημάτων, το οποίο τείνει να έχει ένα gaussian ιστόγραμμα. Η πολυπλοκότητα του απλούστερου (δηλαδή του λιγότερο σύνθετου) σήματος πηγής είναι μικρότερη από (ή ίσο) οποιοδήποτε μίγμα σημάτων που περιέχει το σήμα πηγής. Μια γενική στρατηγική που έχει περιγραφεί, είναι πως κάθε ένα από αυτά τα αποτελέσματα μπορεί να αποτελέσει τη βάση μιας μεθόδου για την εξαγωγή των σημάτων πηγής από ένα δεδομένο σύνολο μιγμάτων σημάτων. 51

52 ΚΕΦΑΛΑΙΟ 3 ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA [2] 3.1 ΕΙΣΑΓΩΓΗ Η μέθοδος ICA έχει εφαρμοστεί σε διάφορα προβλήματα, με πιο εντυπωσιακό τομέα το neuroimaging. Μια συνοπτική αναφορά των αποτελεσμάτων της μεθόδου ICA, παρέχεται προκειμένου να υποδείξει τη σειρά της δυνατότητας της εφαρμογής ICA που εφαρμόζεται, είτε στο χώρο (sica), είτε στο χρόνο (tica). Μερικές από τις εφαρμογές που συμπεριλαμβάνει η μέθοδος ICA είναι: Η οπτική απεικόνιση των νευρώνων. Η νευρωνική ταξινόμηση αιχμής (spike). Η αναγνώριση προσώπου. Η διαμόρφωση τομέων των αρχικών οπτικών νευρώνων. Η πρόβλεψη των τιμών του χρηματιστηρίου. Οι κινητές τηλεφωνικές επικοινωνίες. Η αναγνώριση χρώματος αντικείμενων. 3.2 Η ΜΕΘΟΔΟΣ ICA ΣΕ ΜΙΓΜΑΤΑ ΦΩΝΗΣ Ένα παράδειγμα εφαρμογής της μεθόδου ICA είναι σε λεκτικά δεδομένα. Μία απλή αλλά αποτελεσματική απόδειξη αυτής της εφαρμογής ορίζεται από τους Bell και Sejnowski, σχήμα 1. Αυτό το παράδειγμα περιγράφει πέντε ανθρώπους που μιλούν ταυτόχρονα σε ένα δωμάτιο σε πέντε μικρόφωνα που τοποθετούνται σε διαφορετικές θέσεις, έτσι ώστε κάθε μικρόφωνο να καταγράφει ένα διαφορετικό μίγμα του συνόλου των πέντε φωνών. Σε αυτό το παράδειγμα τα πέντε σήματα πηγής φωνής s = ( s1, s2, s3, s4, s5) T είναι γνωστά, επιτρέποντας στα σήματα που εξάγονται από τη μέθοδο ICA να συγκριθούν με τα αρχικά σήματα πηγής. Ένα σύνολο πέντε μιγμάτων x = ( x1, x2, x3, x4, x5) T, αποκτήθηκε χρησιμοποιώντας τυχαίες παραγωγές του 5 5 πίνακα ανάμιξης A, όπου x=as. Κάθε 52

53 μίγμα ήχου καταγράφεται, αντιγράφοντας με ένα από τα πέντε μικρόφωνα. Δεδομένου ότι τα λεκτικά σήματα έχουν υψηλή kurtosis, η μέθοδος ICA εφαρμόστηκε σε αυτά τα μίγματα χρησιμοποιώντας ένα αθροιστικό πρότυπο συνάρτησης (cdf) υψηλής kurtosis για τα σήματα πηγής. Ο πίνακας μη μίξης W που υπολογίστηκε από τη μέθοδο ICA, χρησιμοποιήθηκε για την εξαγωγή πέντε σημάτων y=wx, που αντιστοιχούν στα πέντε αρχικά σήματα πηγής. Αυτό το παράδειγμα αποδεικνύει τη γενική χρησιμότητα της μεθόδου ICA και αποκλείει πολλά από τα προβλήματα που συνδέονται με την εξαγωγή των λεκτικών σημάτων από τα μίγματα που καταγράφονται σε ένα δωμάτιο. Για παράδειγμα, η διαφορετική απόσταση κάθε ομιλητή από κάθε μικρόφωνο εισάγει μία μικρή καθυστέρηση μεταξύ κάθε φωνής των διαφορετικών μικρόφωνων. Επιπλέον, οι τοίχοι εισάγουν ηχώ σε κάθε μίγμα. Αυτά τα αποτελέσματα μπορούν να διαμορφωθούν και να εξαλειφθούν, αλλά απαιτούν σημαντικές επεκτάσεις της μεθόδου ICA. Για δεδομένα όπου η μετάδοση χρόνου είναι ουσιαστικά μηδέν (π.χ. ηλεκτρικά σήματα, όπως στο ηλεκτροεγκεφαλογράφημα (EEG)) δεν προκύπτουν τέτοια τα προβλήματα. Σχήμα 1: Λεκτικός διαχωρισμός. Παράδειγμα της μεθόδου ICA που εφαρμόζεται σε λεκτικά δεδομένα. Αυτό το σύνθετο παράδειγμα αντιγράφει την ομιλία πέντε ανθρώπων, ταυτόχρονα, σε ένα δωμάτιο όπου τοποθετούνται πέντε μικρόφωνα σε διαφορετικές θέσεις, έτσι ώστε κάθε ένα μικρόφωνο να καταγράφει ένα διαφορετικό μίγμα του συνόλου των πέντε φωνών. Τα πέντε γνωστά σήματα πηγής s = ( s1, s2, s3, s4, s5) T παρουσιάζονται αριστερά. Τα μίγματα x = ( x1, x2, x3, x4, x5) T αποκτήθηκαν χρησιμοποιώντας έναν 5 5 πίνακα μίξης A, όπου x=as. 53

54 3.3 Η ΧΡΟΝΙΚΗ ΜΕΘΟΔΟΣ ICA ΣΕ ΗΛΕΚΤΡΟΕΓΚΕΦΑΛΟΓΡΑΦΗΜΑΤΑ Κάθε νευρώνας στον ανθρώπινο εγκέφαλο ενεργεί όπως μια μικρή ηλεκτρική γεννήτρια, όταν είναι ενεργός. Αν μεγάλοι αριθμοί νευρώνων γίνονται ταυτόχρονα ενεργοί, τότε είναι δυνατό να μετρηθούν τα επακόλουθα ηλεκτρικά αποτελέσματα στο κρανίο χρησιμοποιώντας μια σειρά ηλεκτροδίων. Το σύνολο που προκύπτει από τη χρονική σειρά σημάτων ονομάζεται ηλεκτροεγκεφαλογράφημα ή EEG. Αν μετρηθούν τα σήματα που προκύπτουν από ένα συγκεκριμένο γεγονός ερεθισμάτων, όπως η λάμψη φωτός, τότε το αποτέλεσμα είναι γνωστό ως γεγονός συσχέτισης δυναμικού (event related potential ή ERP). Το σήμα που μετριέται σε κάθε ένα ηλεκτρόδιο (μέχρι 128 ηλεκτρόδια) είναι γνωστό, ώστε να είναι ένα των σημάτων των πηγών. Ένα σημαντικό πρόβλημα που έρχεται αντιμέτωπο με τους ερευνητές EEG, είναι η εξαγωγή αυτής της πηγής σημάτων και ο υπολογισμός όπου προκύπτει κάθε σήμα πηγής στον εγκέφαλο. Τα δεδομένα EEG ταιριάζουν ιδανικά από πολλές απόψεις για τη μέθοδο ICA, επειδή υπάρχει ένα αμελητέο ποσό καθυστέρησης μετάδοσης μεταξύ της πηγής και κάθε ηλεκτροδίου και επειδή η υπόθεση ότι κάθε μετρούμενο σήμα είναι ένα γραμμικό μίγμα σημάτων πηγής είναι αρκετά πιστικό για ηλεκτρικά σήματα που διαπερνούν τον ανθρώπινο ιστό. Επιπλέον, ο αντίστροφος πίνακας μη μίξης παρέχει έναν χωρικό χάρτη της σχετικής θέσης του κρανίου κάθε σήματος πηγής που εξάγεται από τη μέθοδο ICA. Μια κλασική εφαρμογή ICA σε ERP δεδομένα παρουσιάζεται στα σχήματα 2 και 3. Σε αυτό το παράδειγμα, απαιτήθηκε να πιεστεί ένα κουμπί από κάθε ασθενή, ώστε να ανιχνευθεί ένας αργός θόρυβος. Αυτές οι εκρήξεις θορύβου ονομάστηκαν στόχοι, που διακρίνονται από τους καθαρούς τόνους που δεν είναι στόχοι. Η μελέτη σύγκρινε τα ERPs που ανιχνεύθηκαν και τους στόχους που δεν ανιχνεύθηκαν. Μια διάσπαση της tica παραγωγής των 14 ηλεκτροδίων ERPs από τους ανιχνευμένους και μη ανιχνευμένους στόχους, παράγει δύο σύνολα αρκετά ευδιάκριτα κατ' εκτίμηση των χρονικών σημάτων πηγής. Επιπλέον, η χωρική εικόνα (χάρτης) που συνδέεται με κάθε σήμα πηγής είχε μια αιχμή που διέφερε στη θέση και το σήμα των ανιχνευόμενων και μη ανιχνευόμενων στόχων. 54

55 Σχήμα 2: Σχηματική απεικόνιση της χρονικής μεθόδου ICA (tica) για ERP δεδομένα. Πάνω: Η tica μετασχηματίζει τα αποτελέσματα των ηλεκτροδίων σε μια μέγιστη (ομοιόμορφη) κατανομή εντροπίας (κοινή pdf). Παρουσιάζονται τρία από τα 14 ηλεκτρόδια. Τα αποτελέσματά τους διαμορφώνουν τα μίγματα x = ( x1, x2, x3) T. Η tica βρίσκει τον πίνακα μη μίξης W που μετασχηματίζει τα μίγματα x σε ανεξάρτητα σήματα y=wx, όπου y = ( y1, y2, y3) T. Ο πίνακας μη μίξης W ρυθμίζεται έτσι ώστε μια συνάρτηση Y=g(y) των εξαγόμενων σημάτων y να έχουν μία μέγιστη (ομοιόμορφη) κοινή εντροπία pdf. Η κοινή pdf των σημάτων Y αντιπροσωπεύεται από τα σημεία στον κύβο, όπου κάθε σημείο αντιπροσωπεύει την τιμή των Y = ( Y t 1, Y t 2, Y t 3 ) T. Κάτω: Λαμβάνοντας τον πίνακα μη μίξης W με tica, μπορούν να υπολογιστούν τα κατ' εκτίμηση σήματα των πηγών y=wx. Η χωρική κατανομή ή ο χάρτης κάθε σήματος των πηγών, καθορίζει το σχετικό πλάτος από εκείνο το σήμα πηγής σε κάθε σημείο του κρανίου. Ο χωρικός χάρτης συνδέεται με το i th χρονικό σήμα πηγής, που λαμβάνεται ως i-th στήλη του αντιστρόφου W -1 του πίνακα μη μίξης W. 55

56 Σχήμα 3: Η χρονική μέθοδος ICA (tica) των ERP δεδομένων για τους ανιχνευμένους και μη ανιχνευμένους ήχους (στόχοι). Μια ανάλυση tica από την παραγωγή των 14 ηλεκτροδίων για ERPs των ανιχνευμένων και μη ανιχνευμένων στόχων, που παράγονται δύο σύνολα από τα αρκετά ευδιάκριτα κατ' εκτίμηση χρονικά σήματα πηγής. Η χωρική εικόνα (χάρτης) που συνδέεται με κάθε σήμα πηγής είχε μια αιχμή που διέφερε στη θέση και το σήμα, για τους ανιχνευμένους και μη ανιχνευμένους στόχους. Τα σύμβολα στα αριστερά κάθε ίχνους δείχνουν τη χωρική θέση στο κρανίο του ηλεκτροδίου που χρησιμοποιήθηκε για την καταγραφή αυτού του ίχνους. Τα σύμβολα P2, P3 και Ν2 αναφέρονται σε θετικά (P) ή αρνητικά (N) ERP αποτελέσματα, τα οποία εμφανίζονται σε 200ms (π.χ. P2) ή 300ms (π.χ. P3). 3.4 ΑΝΑΖΗΤΗΣΗ ΠΟΛΥΠΛΟΚΟΤΗΤΑΣ ΓΙΑ ΤΟΝ ΕΜΒΡΥΪΚΟ ΕΛΕΓΧΟ ΚΑΡΔΙΩΝ Οι μέθοδοι για τον εμβρυϊκό ρυθμό καρδιών, παράγουν τα σήματα που είναι ένα μίγμα των μητρικών και των εμβρυϊκών σημάτων των καρδιών. Το εμβρυϊκό μαγνητοκαρδιογράφημα (FMCG) στηρίζεται στο μαγνητικό πεδίο που παράγεται από την ηλεκτρική δραστηριότητα στην καρδιά, για τη μέτρηση του καρδιακού σήματος (σχήμα 4). Έχει αποδειχθεί ότι μια απλή μορφή πολυπλοκότητας αναζήτησης θα μπορούσε να χρησιμοποιηθεί για το διαχωρισμό των μητρικών και των εμβρυϊκών σημάτων από τα 37 ταυτόχρονα μίγματα σημάτων που μετρούνται, χρησιμοποιώντας το FMCG. Τα δέκα από αυτά τα σήματα παρουσιάζονται στο σχήμα 4 και τα αποτελέσματα της εφαρμογής της μεθόδου στο πλήρες σύνολο 37 μιγμάτων παρουσιάζονται στο κάτω μέρος, όπου τα μητρικά και εμβρυϊκά σήματα των καρδιών καθορίζονται σαφώς. 56

57 Σχήμα 4: Εμβρυϊκός έλεγχος καρδιών. Πάνω: Το μαγνητικό πεδίο που παράγεται από την ηλεκτρική δραστηριότητα στην καρδιά, μετριέται από 37 διαφορετικές θέσεις που χρησιμοποιούν το εμβρυϊκό μαγνητοκαρδιογράφημα (FMCG). Κάθε μετρούμενο σήμα είναι ένα διαφορετικό μίγμα των εμβρυϊκών και των μητρικών καρδιακών σημάτων. Χρησιμοποιώντας μια πολύπλοκη μορφή σήματος, 37 μιγμάτα των σημάτων διαχωρίστηκε για να παραγάγει δύο κατ' εκτίμηση σήματα πηγής αντιστοιχώντας τα στα μητρικά και εμβρυϊκά καρδιακά σήματα. Κάτω: Οι λεπτομέρειες των 10/37 μετρούμενων σημάτων (αριστερά) και τα διαχωρισμένα εμβρυϊκά και μητρικά καρδιακά σήματα (δεξιά). 57

58 ΚΕΦΑΛΑΙΟ 4 ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΗ ΜΕΘΟΔΟ ICA [3] 4.1 ΕΙΣΑΓΩΓΗ Σε αυτό το κεφάλαιο περιγράφουμε την ανάλυση ανεξάρτητων συνιστωσών (ICA) με εφαρμογές σε φυσικές εικόνες. Θα παρουσιάσουμε ότι η μέθοδος ICA σε μια φυσική εικόνα είναι ισοδύναμη με το φιλτράρισμα της χρησιμοποιώντας ένα υψιπερατό φίλτρο και ακολουθώντας μια δειγματοληψία. Αυτό το αποτέλεσμα καθορίζει την κατανομή των ανεξάρτητων συνιστωσών και οι βάσεις των εικόνων μοιάζουν με "τις ακμές" της αρχικής εικόνας. Η ανάλυση ανεξάρτητων συνιστωσών (ICA) είναι μια τεχνική για τη μελέτη πολλών μεταβλητών δεδομένων και έχει μεγάλο ενδιαφέρον τα τελευταία έτη. Είναι περιληπτικά είναι η εξής: θέτουμε τα παρατηρηθέντα πολυδιάστατα δεδομένα που αντιπροσωπεύονται ως πίνακας X με N σειρές και T στήλες, οπού N είναι ο αριθμός των μεταβλητών και T είναι ο αριθμός των παρατηρήσεων που καταγράφονται σε κάθε μεταβλητή. Ο στόχος της ICA είναι να υπολογιστεί ο τετραγωνικός πίνακας B που μετασχηματίζει γραμμικά το X σε ένα πίνακα: περιέχοντας τις νέες μεταβλητές (ανεξάρτητες συνιστώσες), είναι όσο το δυνατόν πιό ανεξάρτητες, από άποψη μεγιστοποίησης ή ελαχιστοποίησης κάποιου μέτρου της ανεξαρτησίας. Το ενδιαφέρον της εφαρμογής ICA στις φυσικές εικόνες ξεκίνησε από τα αποτελέσματα που παρουσιάζονται από τους Bell και Sejnowski και μοιάζει πολύ με τη συμπεριφορά μερικών νευρώνων. Οι στήλες του πίνακα Α=Β -1, σε αυτό το πλαίσιο που είναι γνωστό ως βάσεις ICA, αντιπροσωπεύουν προσανατολισμένες και εντοπισμένες δομές, πολύ παρόμοιες με εκείνες των ευαίσθητων τομέων από απλά κύτταρα. Εκτός αυτού, οι αποκτηθείς ανεξάρτητες συνιστώσες είναι κατανεμημένες αραιά, όπως οι παρατηρηθείς αποκρίσεις αυτών των απλών κυττάρων. Πολλοί μελετητές έχουν προτείνει άλλες προσεγγίσεις ή εξηγήσεις σε αυτήν την σύνδεση μεταξύ της μεθόδου ICA και του ανθρώπου οπτικού συστήματος, αλλά κανένας δεν έχει παράσχει μια μαθηματική ανάλυση για να εξηγήσει τα αποτελέσματα των Bell και Sejnowski. Αυτή η συμβολή προορίζεται για να καλύψει αυτό το κενό από μια επίσημη (μη φυσιολογική) προσέγγιση. Υπάρχουν δύο κύρια αποτελέσματα που παρουσιάζονται σε αυτό το κεφάλαιο. Κατ' αρχάς, δείχνουμε ότι τα φίλτρα ICA (δηλαδή οι σειρές του πίνακα Β) μπορεί να εκφραστούν ως σταθμισμένο άθροισμα των ιδιοδιανυσμάτων από τον πίνακα 58

59 συσχετισμού δεδομένων, με τους συντελεστές στάθμισης εξαρτώμενους από τα αντίστοιχα ιδιοδιανύσματα. Στην περίπτωση των φυσικών εικόνων, αυτά τα φίλτρα ICA είναι κυρίως υψιπερατά. Αφετέρου, δείχνουμε ότι κάθε ανεξάρτητη συνιστώσα μπορεί να αποκτηθεί με το φιλτράρισμα ολόκληρης της εικόνας που χρησιμοποιεί μια έκδοση του αντίστοιχου φίλτρου ICA, που ακολουθείται από μια δειγματοληψία του αποτελέσματος. Εξετάζοντας την υψιπερατή φύση των χρησιμοποιούμενων φίλτρων, αυτή η νέα προσέγγιση ICA εξηγεί τα αποτελέσματα που επιτυγχάνονται από άλλους μελετητές. 4.2 ΑΝΑΠΑΡΑΣΤΑΣΗ ΚΑΙ ΠΡΟΕΠΕΞΕΡΓΑΣΙΑ ΤΗΣ ΜΕΘΟΔΟΥ ICA Σε αυτό το κεφάλαιο, τα x ij αντιπροσωπεύουν την (i, j)th είσοδο του πίνακα X. Χρησιμοποιώντας μία αρίθμηση του Matlab, η k-th σειρά του X γράφεται: Χ k: = [ xk1,..., xkt] και η στήλη l-th του θα είναι Χ : l = [ x1 l,..., xnl] (όπου σημαίνει μετάθεση). Ο ίδιος τύπος διατηρείται για όλους τους άλλους πίνακες. Για απλότητα έχει υποτεθεί ότι η μέση τιμή έχει αφαιρεθεί από κάθε μια σειρά έτσι ώστε:. όπου Ν =, γίνεται λ1... και είναι οι ιδιοτιμές των δειγμάτων του D diag( λ,..., λ ) 1 T λ Ν πίνακα δεδομένων συσχέτισης, R = XX ; V = ( v... v ) είναι ο πίνακας περιεχομένων των στηλών, η αντιστοιχία των ιδιοδιανυσμάτων είναι ( Rv x j = λ jvj). Ο τύπος της μεθόδου ICA (1) μπορεί να διατυπωθεί ως: x 1 N 1 όπου B = BW. Ο πίνακας B είναι ορθογώνιος, δηλαδή BB = I (όπου Ι είναι ταυτόσημος πίνακας). 4.3 ΔΙΕΡΕΥΝΗΣΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA Σε αυτό το κεφάλαιο θα εστιασθούμε μόνο στις ανεξάρτητες συνιστώσες που έχουν αποκτηθεί από το γνωστό αλγόριθμο FAST-ICA, με βάση τη μεγιστοποίηση της kurtosis. Σε αυτή την περίπτωση έχουμε δύο επιχειρήματα: 1. Η kurtosis είναι εύχρηστη από μαθηματική άποψη και 2. Έχει αποδειχθεί ότι οι περισσότερες μέθοδοι ICA είναι 59

60 ουσιαστικά ισοδύναμες στην απουσία θορύβου. Συνεπώς η ανάλυση FAST-ICA ισχύει για την ανάλυση οποιασδήποτε άλλης μεθόδου. Αναλύουμε αρχικά το πρόβλημα στο οποίο υπολογίζεται μόνο η πρώτη ανεξάρτητη συνιστώσα. Έστω y1: = [ y11,..., y1 T ] είναι η πρώτη ανεξάρτητη συνιστώσα και ορίζεται ως y1: = [ y 11,..., y 1T ].Με αυτήν την σημείωση, η βασική FAST-ICA επανάληψη μπορεί να εκφραστεί ως εξής: Αυτά τα τρία βήματα επαναλαμβάνονται μέχρι τη σύγκλιση ( εννοείται αναπροσαρμογή). Η αναπροσαρμογή σταματά λογικά όταν: όπου " " σημαίνει "ανάλογο προς". Με επαναπολλαπλασιασμό και των δύο πλευρών με whitening του πίνακα W και χρησιμοποιώντας b 1: = b 1 W στη συνέχεια παίρνουμε: Χρησιμοποιώντας τον ορισμό του W (σχέση 2) στη σχέση 5 παίρνουμε: από τον οποίο παίρνουμε τη σχέση 7 μετά από αλγεβρικές πράξεις: Όπου Vn είναι το n-th ιδιοδιάνυσμα δεδομένων του πίνακα συσχέτισης R x και Το b 1n είναι η (1, n) καταχώριση του B και προκύπτει από τη σχέση 4. 60

61 Παρατήρηση: Η σχέση 7 δείχνει ότι το πρώτο ICA φίλτρο, μπορεί να γράφεται ως γραμμικός συνδυασμός των ιδιοδιανυσμάτων του πίνακα συσχετισμού δεδομένων. Αυτό δεν είναι εκπληκτικό, εφόσον τα ιδιοδιανύσματα αποτελούν πάντα μια ορθογώνια βάση του διαστήματος. Παρατηρούμε ότι ο μικρότερος συντελεστής γ n είναι ο δυνατότερος που αντιστοιχίζεται το ιδιοδιάνυσμα και απαιτείται να είναι παρόν. Στις επόμενες παραγράφους θα ερευνήσουμε αυτό το θέμα, όταν τα παρατηρηθέντα δεδομένα λαμβάνονται από μια φυσική εικόνα. 4.4 ΟΙ ΙΔΙΟΤΙΜΕΣ ΚΑΙ ΤΑ ΙΔΙΟΔΙΑΝΥΣΜΑΤΑ ΤΟΥ ΠΙΝΑΚΑ ΣΥΣΧΕΤΙΣΗΣ ΦΥΣΙΚΩΝ ΕΙΚΟΝΩΝ Από τώρα και στο εξής, θεωρούμε ότι ο πίνακας δεδομένων X έχει αποκτηθεί από μια φυσική εικόνα ως εξής: διαιρούμε την εικόνα με N N στα τμήματα και συσσωρεύουμε τα εικονοστοιχεία (pixels) τους με N 1 διανύσματα που θα είναι οι στήλες X (δηλαδή η k-th στήλη X αντιστοιχεί στο k-th τμήμα της εικόνας). Αυτή η περίπτωση, είναι γνωστή λόγω του μεγάλου συσχετισμού μεταξύ των γειτονικών εικονοστοιχείων και τα περισσότερα από τα ιδιοδιανύσματα του πίνακα συσχετισμού δεδομένων R x, είναι αμελητέα. Αυτή η διαδικασία είναι η βάση της συμπίεσης εικόνας. Για να επεξηγήσουμε αυτή τη διαδικασία, εξετάζουμε το Karhunen-Loeve Transform (KLT), ο οποίος παρέχει μια απεικόνιση κάθε τμήματος εικόνας (κάθε στήλη του X) στους όρους των ιδιοδιανυσμάτων του πίνακα συσχετισμού δεδομένων: οπού V είναι ο πίνακας ιδιοδιανυσμάτων του R x και το διάνυσμα sk = [ s1 k,..., snk] περιέχει τους συντελεστές του μετασχηματισμού. Ο KLT χαρακτηρίζεται επειδή η προσέγγιση από το x :k δίνεται από το N 1 διάνυσμα s% = [ s,..., s,0,...,0], (r>n) k 1k rk έχει το ελάχιστο μέσο τετραγωνικό σφάλμα και δίνεται από E r N n= r = λ. Σαν περιεχόμενο συχνότητας μιας φυσικής εικόνας όπου είναι κυρίως χαμηλής διέλευσης, τα ιδιοδιανύσματα συνδέονται με τις μέγιστες ιδιοτιμές που αντιστοιχούν κυρίως στο περιεχόμενο χαμηλότερης συχνότητας. Τα περισσότερα ιδιοδιανύσματα εξετάζονται από τη σχέση 10 και συμπεριλαμβάνεται το πιο υψιπερατό περιεχόμενο. Δεδομένου ότι τα μικρότερα ιδιοδιανύσματα είναι αμελητέα σε σχέση με τα μέγιστα, θεωρούμε ότι b 1: = 1 (βλέπε το βήμα 3) της βασικής επανάληψης του FAST- ICA που δίνεται στο κεφάλαιο 6.3, το συμπέρασμα προκύπτει για το γ n (σχέση 8): μόνο εκείνη η γ n αντιστοιχία των μικρότερων ιδιοτιμών θα πάρει τις σημαντικές τιμές, έτσι καθοδηγούμενοι από την προσέγγιση προκύπτει: n 61

62 Αυτό σημαίνει ότι το πρώτο ICA φίλτρο b 1 : μπορεί να είναι κατά προσέγγιση στο σταθμισμένο άθροισμα των ιδιοδιανυσμάτων που συνδέονται με τις ιδιοτιμές του πίνακα συσχετισμού δεδομένων. Από τα υψηλής συχνότητας περιεχόμενα του φίλτρου της εικόνας, το φίλτρο ICA θα έχει τα υψιπερατά χαρακτηριστικά. Για να δούμε τις επιπτώσεις αυτού του θεμελιώδους αποτελέσματος, πρέπει να εισαγάγουμε την ακόλουθη καινοτόμο προσέγγιση της μεθόδου ICA. 4.5 Η ΜΕΘΟΔΟΣ ICA ΩΣ ΔΙΑΔΙΚΑΣΙΑ 2-D ΔΕΙΓΜΑΤΟΛΗΨΊΑΣ- ΦΙΛΤΡΑΡΙΣΜΑΤΟΣ Γνωρίζοντας τον πίνακα Β, μπορούμε να λάβουμε τις ανεξάρτητες συνιστώσες όπως δηλώνεται στη σχέση 1. Σε αυτή την παράγραφο προτείνουμε μία τεχνική για να ληφθούν αυτές οι ανεξάρτητες συνιστώσες από την αρχική εικόνα (όχι από τον πίνακα X), που αποτελείται από έναν 2-D φιλτράρισμα και ακολουθείται μια δειγματοληψία. Αυτή η νέα ερμηνεία της ανάλυσης ανεξάρτητων τμημάτων μιας φυσικής εικόνας φαίνεται να παρουσιάζει μια περιττή περιπλοκή, αλλά έχει σχέση με την ανάλυσή μας. Για ευκολία, αναπαριστούμε το k-th τμήμα της εικόνας από τη 2-D ακολουθία xk ( n1, n 2), με n1, n2 = 0,..., N 1 (δηλαδή η απεικόνιση του N 1 διανύσματος x :k σε μια εικόνα). Ομοίως, το b 1 ( n 1, n 2 ) αντιπροσωπεύει το πρώτο ICA φίλτρο, έτσι ώστε: Το πιο δεξί μέρος αυτής της ταυτότητας υπενθυμίζει μία συνέλιξη. Για να το δηλώσουμε R πιο σωστά, ορίζουμε τη 2-D ακολουθία: b1 ( n1, n 2) ως b1( n1, n 2) με περιστροφή 180 ο αντίθετα προς τη φορά των δεικτών του ρολογιού: Μετά από αλγεβρικές πράξεις βρίσκουμε: R οπού zn ( 1, n 2) είναι η 2-D συνέλιξη μεταξύ των τμημάτων xk ( n1, n 2) και b 1 ( n 1, n 2 ). 62

63 Με άλλα λόγια, κάθε στοιχείο y 1 : είναι το φιλτράρισμα ενός τμήματος εικόνας με το αντίστοιχο ICA φίλτρο που περιστράφηκε 180 ο αντίθετα προς τη φορά των δεικτών του ρολογιού, ακολουθούμενο από δειγματοληψία της παραγωγής φίλτρων n1 N 1 =, n2 = N 1. Είναι απλό να παρουσιάσουμε ότι θα επιτευχθεί ένα ισοδύναμο αποτέλεσμα με το φιλτράρισμα ολόκληρης της εικόνας (παρά το φιλτράρισμα των απομονωμένων τμημάτων). R Τέλος, παρατηρούμε ότι οι αποκρίσεις μεγέθους των φίλτρων b1 ( n1, n 2) και b1( n1, n 2) είναι οι ίδιες, επειδή η περιστροφή έχει μόνο επιπτώσεις στην απόκριση της R φάσης τους. Ειδικότερα, αν το b 1 ( n 1, n 2 ) είναι ένα υψιπερατό φίλτρο, τότε το b 1 ( n 1, n 2 ) θα είναι επίσης υψιπερατό. Έτσι συμπεραίνουμε ότι η μέθοδος ICA ισοδυναμεί με ένα υψιπερατό φιλτράρισμα της εικόνας. 4.6 ΕΠΕΚΤΑΣΗ ΣΕ ΑΡΚΕΤΕΣ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ Στην πράξη, ο αλγόριθμος FAST-ICA εκτελείται σε τόσες χρονικές στιγμές, όσες ο αριθμός των επιθυμητών ανεξάρτητων συνιστωσών. Η j-th επανάληψη επιβάλλεται όταν η αντιστοιχία του b j: πρέπει να είναι ορθογώνια, δηλαδή b, 1,..., 1 k: k = j. Η j-th ανεξάρτητη συνιστώσα λαμβάνεται έπειτα ως yi: = bj: X = bj: X. Αυτή η διαδικασία εισάγει έναν νέο περιορισμό (δηλαδή ορθογωνικότητα), αλλά οι σχέσεις 7 και 8 ικανοποιούνται έτσι ώστε τα γενικά συμπεράσματα στις προηγούμενες παραγράφους να ισχύουν ακόμα. 4.7 ΠΕΙΡΑΜΑΤΑ Θα εξετάσουμε τη φυσική, grey-scale εικόνα που παρουσιάζεται στο σχήμα 1. Διαιρούμε την εικόνα σε τμήματα για να συνθέσουμε τον πίνακα δεδομένων X ( ). 63

64 Σχήμα 1: Μία εικόνα διαστάσεων Αρχικά, αναλύουμε το περιεχόμενο συχνότητας των ICA φίλτρων, που αποκτήθηκαν με την απεικόνιση των σειρών του B σε τμήματα. Στο σχήμα 2 παρουσιάζουμε τα μεγέθη των 2-D μετασχηματισμών Fourier σε αντιστοιχία με μερικά από τα ICA φίλτρα. Όλα είναι υψιπερατά, όπως προβλέπεται. Στο σχήμα 3 παρουσιάζουμε φιλτραρισμένες εικόνες που λαμβάνονται με το πρώτο και το τελευταίο ICA φίλτρο. Στο σχήμα 4 φαίνεται η αναπαράσταση των ανεξάρτητων συνιστωσών (δηλαδή οι σειρές του πίνακα Y ), που αντιστοιχούν στα ICA φίλτρα του σχήματος 2. Σχήμα 2: Ορισμένα από τα φίλτρα ICA (1, 15, 30, 50, 65, 80, 100, 120 και 144) που λαμβάνονται από την εικόνα του σχήματος 1. 64

65 Σχήμα 3: Η εικόνα του σχήματος 1, φιλτραρισμένη από το πρώτο και το τελευταίο ICA φίλτρο. Αυτό μπορεί να εξηγηθεί τώρα ως εξής: η προηγούμενη παραγωγή μας δείχνει ότι μέθοδος ICA εκτελεί κυρίως ένα υψιπερατό φιλτράρισμα στα δεδομένα της εικόνας. Πραγματοποιώντας ένα υψιπερατό φιλτράρισμα μιας φυσικής εικόνας, ενισχύονται μόνο οι άκρες ενώ το μεγαλύτερο μέρος της εικόνας μειώνεται. Έτσι, όταν επιλέγουμε τη παραγωγή φίλτρων, είναι αναμενόμενο ότι τα περισσότερα δείγματα της φιλτραρισμένης εικόνας είναι μικρά. Μόνο εκείνα τα δείγματα στις άκρες θα πάρουν καθορισμένες τιμές και οι παραγόμενες ανεξάρτητες συνιστώσες θα είναι, συνεπώς, αραιές. Επιπλέον, παρατηρούμε ότι κάθε ανεξάρτητη συνιστώσα έχει το πολύ ένα μεγάλο στοιχείο. Αυτό είναι αναμενόμενο επειδή μια τέτοια λύση μεγιστοποιεί την kurtosis και δεν μπορούμε να ξεχάσουμε ότι αυτός είναι ο στόχος του αλγόριθμου FAST-ICA. Σύμφωνα με τα παραπάνω οι μεγάλες τιμές των ανεξάρτητων συνιστωσών δεν τοποθετούνται τυχαία, αλλά αντιστοιχούν στις ακμές της εικόνας. Από τη σχέση 1 παίρνουμε κάθε τμήμα της εικόνας x :k και μπορεί να συμπιεστεί από την άποψη ενός συνόλου βασικών δομικών μονάδων ή βάσεις της μεθόδου ICA : 65

66 οπού a :j είναι η j-th στήλη του πίνακα A=B -1. Όπως είπαμε, σε κάθε ανεξάρτητη συνιστώσα y, 1,..., i: j = N, υπάρχει μια κυρίαρχη τιμή, για παράδειγμα η y jd. Ο δείκτης d j j είναι διαφορετικός από μία ανεξάρτητη συνιστώσα σε άλλη, λόγω της ορθογώνιας σχέσης μεταξύ των ICA φίλτρων, που σημαίνει ότι: Δηλαδή κάθε ICA βάση, a :j είναι περίπου ανάλογη προς ένα τετράγωνο της εικόνας x : d j που αντιστοιχεί σε μια ακμή. Στο σχήμα 5 παρουσιάζουμε τις ICA βάσεις σε αντιστοιχία με την εικόνα τους σχήματος 1. Τα περισσότερα από αυτά τα τμήματα της εικόνας αντιστοιχούν στις ακμές, λόγω του κυρίαρχου στοιχείου που υπάρχει σε κάθε ανεξάρτητη συνιστώσα. Σχήμα 4: Μερικές από τις ανεξάρτητες συνιστώσες που αντιστοιχούν στην εικόνα 1. 66

67 Σχήμα 5: Ο ICA βάσεις (12Χ12) που αντιστοιχούν στην εικόνα του σχήματος ΣΥΜΠΕΡΑΣΜΑΤΑ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΓΙΑ ΕΠΕΞΕΡΓΑΣΙΑ ΕΙΚΟΝΑΣ Σε αυτό το κεφάλαιο αναλύσαμε τα αποτελέσματα που επιτυγχάνονται με τη μέθοδο ανάλυσης ανεξάρτητων συνιστωσών (ICA) σε φυσικές εικόνες. Ιδιαίτερα, έχουμε εστιαστεί στις λύσεις που δίνονται από τον αλγόριθμο FAST-ICA, ο οποίος είναι βασισμένος στη μεγιστοποίηση της kurtosis. Αποδεικνύεται ότι τα ICA φίλτρα παράγουν τις ανεξάρτητες συνιστώσες, οι οποίες έχουν κυρίως υψιπερατά χαρακτηριστικά. Έχει αποδειχθεί ότι αυτή η ιδιότητα εξηγεί το γεγονός ότι μόνο ένα μικρό τμήμα των στοιχείων παίρνει τις σημαντικές τιμές, που αντιστοιχούν στις ακμές της εικόνας για κάθε μία ανεξάρτητη συνιστώσα. Έχει αποδειχθεί επίσης ότι η παρουσία μια κυρίαρχης τιμής, διαφορετικής για κάθε ανεξάρτητη συνιστώσα, είναι αρμόδια του γεγονότος, ότι η ICA βάση είναι παρόμοια με τις άκρες της αρχικής εικόνας. 67

68 ΚΕΦΑΛΑΙΟ 5 ΕΦΑΡΜΟΓΕΣ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΣΕ ΣΗΜΑΤΑ ΚΑΙ ΕΙΚΟΝΕΣ ΜΕΣΩ MATLAB 5.1 ΕΙΣΑΓΩΓΗ Σε αυτό το κεφάλαιο θα πραγματοποιηθούν εφαρμογές με τη μέθοδο ICA σε τρεις μορφές (πρότυπα, φωνής και γεωηλεκτρικά) σημάτων, καθώς και σε εικόνες, μέσω MATLAB. Η μέθοδος αυτή εκτελείται με τη χρήση του αλγόριθμου FAST-ICA, ο οποίος δίνει τη δυνατότητα διαχωρισμού των πηγών από τα σήματα μίξης. Υπάρχουν δύο τρόποι εφαρμογής του αλγόριθμου FAST-ICA για τα σήματα (σε κάποιες εφαρμογές θα χρησιμοποιηθεί μόνο η μία από τις δύο και σε κάποιες άλλες και οι δύο για σύγκριση των αποτελεσμάτων), ο ένας είναι μέσω GUI και ονομάζεται FAST-ICA LAB και ο άλλος χρησιμοποιώντας τον κώδικα των αλγόριθμων FAST-ICA1 και ICA ως m-file στο MATLAB. Για τις εφαρμογές της εικόνας θα χρησιμοποιηθεί επίσης ο αλγόριθμος FAST-ICA και η επεξεργασία θα πραγματοποιηθεί μέσω GUI και ονομάζεται ICA LAB. Αρχικά θα πραγματοποιηθούν εφαρμογές σε πρότυπα σήματα (cos, sin, exp, rand, randn), έπειτα σε εικόνες, στη συνέχεια θα πραγματοποιηθούν εφαρμογές σε σήματα φωνής (σε μορφή wave) και τέλος σε γεωηλεκτρικά σήματα. 5.2 ΕΦΑΡΜΟΓΕΣ ΣΕ ΠΡΟΤΥΠΑ ΣΗΜΑΤΑ Σε αυτή την παράγραφο θα πραγματοποιηθούν εφαρμογές με τη χρήση του FAST- ICA LAB καθώς και του αλγόριθμου FAST-ICA σε πρότυπα σήματα (cos, sin, exp, rand, randn), με σκοπό το διαχωρισμό των πηγών από τα σήματα μίξης ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΗΜΙΤΟΝΟΥ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ FAST-ICA LAB Σε αυτή την εφαρμογή χρησιμοποιούμε πέντε σήματα ημιτόνου μέσω του FAST-ICA LAB. Το m-file που απαιτείται για τη δημιουργία των σημάτων των πέντε ημιτόνων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %sin-5 fasticag %ΜΕ ΑΥΤΗ ΤΗΝ ΕΝΤΟΛΗ ΕΜΦΑΝΙΖΕΤΑΙ ΤΟ GUI ΤΟΥ FAST-ICA LAB 68

69 t=0.1:0.1:10; x1=sin(2*pi*t/10); %1 o HMITONO hold on,plot(x1,'b') x2=sin(2*pi*t/5); %2 o HMITONO hold on,plot(x2,'r') x3=sin(2*pi*t/2); %3 o HMITONO hold on,plot(x3,'g') x4=sin(2*pi*t); %4 o HMITONO hold on,plot(x4,'k') x5=sin(2*pi*t/3); %5 o HMITONO hold on,plot(x5,'m') %ΤΑ ΗΜΙΤΟΝΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 x=[x1;x2;x3;x4;x5]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 5Χ100 figure,plot(x') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΟ ΣΗΜΑ ΜΙΞΗΣ %ΚΑΝΟΥΜΕ load ΤΟ x Η μορφή των σημάτων αυτών είναι η εξής: Σχήμα 1: Η μορφή των πέντε ημιτόνων. 69

70 Στο επόμενο σχήμα παρουσιάζεται η μορφή του σήματος μίξης. Σχήμα 2: Το σήμα μίξης. Στη συνέχεια εισάγουμε τα δεδομένα με την κατάλληλη εντολή 1 και κάνουμε τις ρυθμίσεις που φαίνονται στο παρακάτω σχήμα: Σχήμα 3: Ρυθμίσεις στο GUI. Παρατηρούμε ότι με βάση τα δεδομένα που έχουμε εισάγει στο τμήμα Mixed signals του GUI, ο αριθμός των σημάτων είναι πράγματι 5 και τα δείγματα 100. Έπειτα 70

71 απεικονίζουμε τα δεδομένα με την κατάλληλη εντολή 2 και έτσι παρουσιάζονται τα mixed signals. Σχήμα 4: Mixed signals. Στο τμήμα Fixed point ICA του GUI, γίνονται οι επιλογές για τον τρόπο υπολογισμού του αλγορίθμου ICA. Δηλαδή αν θέλουμε ο υπολογισμός των ανεξάρτητων συνιστωσών να γίνεται μία προς μία επιλέγουμε deflation (αν επιλέξουμε symmetric γίνεται παράλληλα). Παρατηρούμε ότι ο αριθμός των ανεξάρτητων συνιστωσών (IC s) είναι 5 όσες και τα σήματα ή ο αριθμός των γραμμών του σήματος μίξης. Η Nonlinearity (g) συνάρτηση που χρησιμοποιούμε για να γίνει αποσυσχέτιση (decorrelation) κατά τη διάρκεια του υπολογισμού είναι η pow3 (χρησιμοποιούμε αυτή γιατί δίνει καλύτερα αποτελέσματα σε σχέση με τις άλλες), δηλαδή g(u)=u^3. Σε περίπτωση που τα αποτελέσματα που επιστρέφει ο αλγόριθμος δεν είναι τα επιθυμητά, μπορούμε να θέσουμε την επιλογή Stabilization σε on και από το Adv. Options να ρυθμίσουμε τις παραμέτρους του αλγορίθμου εκ νέου (αλλά σε αυτή την εφαρμογή δεν απαιτείται λόγω των ικανοποιητικών αποτελεσμάτων). Στο Command Window του Matlab περιγράφεται ο τρόπος υπολογισμού (nonlinearity, steps, κ.τ.λ.) των ανεξάρτητων συνιστωσών. Σε αυτή την εφαρμογή ο υπολογισμός που γίνεται φαίνεται από τα παρακάτω: Used approach [defl]. Used nonlinearity [pow3]. Using stabilized algorithm. Starting ICA calculation... IC 1...computed (7 steps ) IC 2...computed (14 steps) IC 3...computed (6 steps) IC 4...computed (6 steps) 71

72 IC 5..computed (2 steps) Done. Βάσει των παραπάνω ρυθμίσεων, τα αποτελέσματα από την ICA επεξεργασία 3 έχουν τη μορφή του παρακάτω σχήματος: Σχήμα 5: Αποτελέσματα της ICA επεξεργασίας. Παρατηρούμε ότι τα αποτελέσματα της ICA επεξεργασίας με το FAST-ICA LAB για τα παραπάνω σήματα μοιάζουν αρκετά με τα σήματα των πηγών, ενώ κάποια έχουν αλλάξει σειρά και άλλα έχουν αντιστραφεί. Άρα με τη μέθοδο ICA μπορούμε να διαχωρίσουμε αυτού του είδους σήματα πηγών από ένα σήμα μίξης. Το FAST-ICA LAB δίνει τη δυνατότητα αναπαράστασης των ιδιοτιμών των σημάτων, οι οποίες φαίνονται στο παρακάτω σχήμα: 72

73 Σχήμα 6: Οι ιδιοτιμές των σημάτων. Αν θέσουμε τη συνιστώσα με τη μεγαλύτερη ιδιοτιμή εκτός, δηλαδή μειώσουμε τις διαστάσεις από 2 έως 5 και κάνουμε ICA, τότε τα αποτελέσματα από την επεξεργασία αυτή έχουν τη μορφή του παρακάτω σχήματος: Σχήμα 7: Αποτελέσματα της ICA επεξεργασίας μετά τη μείωση των διαστάσεων. 73

74 Τα αποτελέσματα δεν είναι τα επιθυμητά λόγω έλλειψης μιας συνιστώσας, αλλά είναι όσο το δυνατόν καλύτερα. Αν θέταμε εκτός μια συνιστώσα με μικρότερη ιδιοτιμή, τότε τα αποτελέσματα δε θα ήταν τόσο καλά όπως σε αυτήν την περίπτωση. Δηλαδή αν επιθυμούμε τη μείωση των συνιστωσών, τότε επιλέγουμε τη μεγαλύτερη ή τις μεγαλύτερες για καλύτερα αποτελέσματα ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ EXP-RANDN-RAND-COS-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ FAST-ICA LAB Σε αυτή την εφαρμογή χρησιμοποιούμε πέντε σήματα, δηλαδή: exp, randn, rand, cos και sin, μέσω του FAST-ICA LAB. Το m-file που απαιτείται για τη δημιουργία των πέντε αυτών σημάτων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %exp-randn-rand-cos-sin fasticag %ΜΕ ΑΥΤΗ ΤΗΝ ΕΝΤΟΛΗ ΕΜΦΑΝΙΖΕΤΑΙ ΤΟ GUI ΤΟΥ FAST-ICA LAB t=0.01:0.01:1; x1=exp(0.01:0.01:1); hold on,plot(x1,'c') %1 o ΣΗΜΑ x2=5+randn(size(x1)); %2 o ΣΗΜΑ hold on,plot(x2,'g') x3=cos(2*pi*t); hold on,plot(x3,'r') x4=sin(2*pi*t); hold on,plot(x4,'m') x5=5+rand(size(x1)); hold on,plot(x5,'b') %3 o ΣΗΜΑ %4 o ΣΗΜΑ %5 o ΣΗΜΑ %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 x=[x1;x2;x3;x4;x5]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 5Χ100 figure,plot(x') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΟ ΣΗΜΑ ΜΙΞΗΣ Η μορφή των σημάτων αυτών είναι η εξής: 74

75 Σχήμα 8: Η μορφή των πέντε σημάτων. Στο επόμενο σχήμα παρουσιάζεται η μορφή του σχήματος μίξης. Σχήμα 9: Το σήμα μίξης. Στη συνέχεια εισάγουμε τα δεδομένα με την κατάλληλη εντολή 1 και κάνουμε τις ρυθμίσεις που φαίνονται στο παρακάτω σχήμα: 75

76 Σχήμα 10: Ρυθμίσεις στο GUI. Παρατηρούμε ότι με βάση τα δεδομένα που έχουμε εισάγει στο τμήμα Mixed signals του GUI, ο αριθμός των σημάτων είναι πράγματι 5 και τα δείγματα 100. Έπειτα απεικονίζουμε τα δεδομένα με την κατάλληλη εντολή 2 και έτσι παρουσιάζονται τα mixed signals. Σχήμα 11: Mixed signals. Στο τμήμα Fixed point ICA του GUI, οι επιλογές που γίνονται για τον τρόπο υπολογισμού του αλγορίθμου ICA είναι ίδιες με αυτές τις προηγούμενης εφαρμογής. Ο 76

77 τρόπος υπολογισμού των ανεξάρτητων συνιστωσών που γίνεται στο Command Window του Matlab για αυτήν την εφαρμογή φαίνεται παρακάτω: Calculating covariance... Dimension not reduced. Selected [ 5 ] dimensions. Smallest remaining (non-zero) eigenvalue [ ] Largest remaining (non-zero) eigenvalue [ ] Sum of removed eigenvalues [ 0 ] [ 100 ] % of (non-zero) eigenvalues retained. Whitening... Check: covariance differs from identity by [ e-015 ]. Used approach [ defl ]. Used nonlinearity [ pow3 ]. Starting ICA calculation... IC 1...computed ( 100 steps ) IC 2...computed ( 65 steps ) IC 3...computed ( 11 steps ) IC 4...computed ( 5 steps ) IC 5..computed ( 2 steps ) Done. Βάσει των παραπάνω ρυθμίσεων, τα αποτελέσματα από την ICA επεξεργασία 3 έχουν τη μορφή του παρακάτω σχήματος: Σχήμα 12: Αποτελέσματα της ICA επεξεργασίας. Παρατηρούμε ότι τα αποτελέσματα της ICA επεξεργασίας με το FAST-ICA LAB για τα παραπάνω σήματα μοιάζουν με τα σήματα των πηγών, ενώ κάποια έχουν αλλάξει 77

78 σειρά και άλλα έχουν αντιστραφεί. Όμως επειδή χρησιμοποιήσαμε τα σήματα rand και randn επηρέασαν κατά πολύ τα άλλα είδη σημάτων και τα αποτελέσματα δεν είναι τόσο ικανοποιητικά όπως στην προηγούμενη εφαρμογή. Άρα με τη μέθοδο ICA μπορούμε να διαχωρίσουμε αυτού του είδους σήματα πηγών από ένα σήμα μίξης, αλλά όχι με βέλτιστο τρόπο. Οι ιδιοτιμές των σημάτων αυτών, είναι οι εξής: Σχήμα 13: Οι ιδιοτιμές των σημάτων. Αν θέσουμε τις συνιστώσες με τις μεγαλύτερες ιδιοτιμές εκτός, δηλαδή μειώσουμε τις διαστάσεις από 3 έως 5 και κάνουμε ICA, τότε τα αποτελέσματα από την επεξεργασία αυτή έχουν τη μορφή του παρακάτω σχήματος: 78

79 Σχήμα 14: Αποτελέσματα της ICA επεξεργασίας μετά τη μείωση των διαστάσεων. Τα αποτελέσματα είναι σχετικά καλά παρόλο της έλλειψης των δύο συνιστωσών, γιατί ακόμα και στον προηγούμενο υπολογισμό που υπήρχαν και οι πέντε δεν έχουμε κάποια σημαντική αλλαγή, σε αντίθεση με την προηγούμενη εφαρμογή ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ COS-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA Σε αυτή την εφαρμογή χρησιμοποιούμε πέντε σήματα πηγών, δηλαδή: cos, sin και το συνδυασμό τους, μέσω του αλγόριθμου FAST-ICA. Το m-file που απαιτείται για τη δημιουργία των πέντε αυτών σημάτων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %COS-SIN t=0.01:0.01:1; x1=sin(2*pi*t); hold on,plot(x1,'m') x2=0.1*sin(2*pi*t); hold on,plot(x2,'g') x3=cos(2*pi*t); hold on,plot(x3,'b') %1 ο ΣΗΜΑ ΠΗΓΗΣ %2 ο ΣΗΜΑ ΠΗΓΗΣ %3 ο ΣΗΜΑ ΠΗΓΗΣ 79

80 x4=0.2*cos(2*pi*t); hold on,plot(x4,'r') x5=sin(2*pi*t)+cos(2*pi*t); hold on,plot(x5,'k') %4 ο ΣΗΜΑ ΠΗΓΗΣ %5 ο ΣΗΜΑ ΠΗΓΗΣ %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 z=[x1;x2;x3;x4;x5]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 5Χ100 X=z'; %ΓΙΑ ΝΑ ΛΕΙΤΟΥΡΓΗΣΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ ΑΠΑΙΤΕΙΤΑΙ Η ΑΝΤΙΣΤΡΟΦΗ ΤΟΥ ΣΗΜΑΤΟΣ ΜΙΞΗΣ, ΔΗΛΑΔΗ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΓΙΝΕΤΑΙ 100Χ5 [Y,W,P] = ica(x) %ΚΑΛΟΥΜΕ ΤΗ ΣΥΝΑΡΤΗΣΗ ICA %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΠΗΓΗΣ figure,subplot(5,1,1),plot(x1),title('sin') subplot(5,1,2),plot(x2),title('0.1*sin') subplot(5,1,3),plot(x3),title('cos') subplot(5,1,4),plot(x4),title('0.2*cos') subplot(5,1,5),plot(x5),title('sin+cos') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΜΕΤΑ ΤΗΝ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST- ICA figure,subplot(5,1,1),plot(real(y(:,1)),'r'),title('sin') subplot(5,1,2),plot(real(y(:,2)),'r'),title('0.1*sin') subplot(5,1,3),plot(real(y(:,3)),'r'),title('cos') subplot(5,1,4),plot(real(y(:,4)),'r'),title('0.2*cos') subplot(5,1,5),plot(real(y(:,5)),'r'),title('sin+cos') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή χρησιμοποιούμε δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST- ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράφουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Δηλαδή στο σχήμα 15 παρουσιάζεται το σήμα μίξης, το οποίο είναι πέντε διαστάσεων. 80

81 Σχήμα 15: Το 5-D σήμα μίξης. Στο σχήμα 16 βλέπουμε τα πέντε σήματα πηγών χωριστά, για καλύτερη οπτική απεικόνιση. Σχήμα 16: Τα σήματα των πηγών. Στο σχήμα 17 παρουσιάζονται τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. 81

82 Σχήμα 17: Τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 100Χ5 (περιλαμβάνει και μιγαδικούς αριθμούς). Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε (επειδή υπάρχουν και οι μιγαδικοί αριθμοί παίρνουμε μόνο το πραγματικό μέρος) τις στήλες των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση είναι 5Χ5. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και έχει μέγεθος 1Χ32. Παρατηρούμε ότι τα αποτελέσματα της ICA επεξεργασίας με τον αλγόριθμο FAST- ICA για τα παραπάνω σήματα μοιάζουν αρκετά με τα σήματα των πηγών (δύο είναι ανεστραμμένα αλλά αυτό δεν έχει σημασία). Άρα με τη μέθοδο ICA μπορούμε να διαχωρίσουμε αυτού του είδους σήματα πηγών από ένα σήμα μίξης ΕΦΑΡΜΟΓΗ ΜΕ ΣΗΜΑΤΑ RANDN-SIN ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA Σε αυτή την εφαρμογή χρησιμοποιούμε τέσσερα σήματα πηγών, δηλαδή: randn, sin και το συνδυασμό τους, μέσω του αλγόριθμου FAST-ICA. Το m-file που απαιτείται για τη δημιουργία των τεσσάρων αυτών σημάτων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. 82

83 %RANDN-SIN t=0.01:0.01:1; x1=sin(2*pi*t); hold on,plot(x1,'m') x2=randn(size(x1))+0.1*sin(2*pi*t); hold on,plot(x2,'g') x3=randn(size(x1))+0.4*sin(2*pi*t); hold on,plot(x3,'b') x4=randn(size(x1)); hold on,plot(x4,'k') %1 ο ΣΗΜΑ ΠΗΓΗΣ %2 ο ΣΗΜΑ ΠΗΓΗΣ %3 ο ΣΗΜΑ ΠΗΓΗΣ %4 ο ΣΗΜΑ ΠΗΓΗΣ %TA ΣΗΜΑΤΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 z=[x1;x2;x3;x4]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 4Χ100 X=z'; %ΓΙΑ ΝΑ ΛΕΙΤΟΥΡΓΗΣΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ ΑΠΑΙΤΕΙΤΑΙ Η ΑΝΤΙΣΤΡΟΦΗ ΤΟΥ ΣΗΜΑΤΟΣ ΜΙΞΗΣ, ΔΗΛΑΔΗ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΓΙΝΕΤΑΙ 100Χ5 [Y,W,P] = ica(x) %ΚΑΛΟΥΜΕ ΤΗ ΣΥΝΑΡΤΗΣΗ ICA %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ figure,subplot(4,1,1),plot(x1),title('sin') subplot(4,1,2),plot(x2),title('randn+0.1*sin') subplot(4,1,3),plot(x3),title('randn+0.4*sin') subplot(4,1,4),plot(x4),title('randn') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΜΕΤΑ ΤΗΝ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST- ICA figure,subplot(4,1,1),plot(y(:,1),'r'),title('sin') subplot(4,1,2),plot(y(:,2),'r'),title('randn+0.1*sin') subplot(4,1,3),plot(y(:,3),'r'),title('randn+0.4*sin') subplot(4,1,4),plot(y(:,4),'r'),title('randn') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή χρησιμοποιούμε δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST- ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράφουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Δηλαδή στο σχήμα 18 παρουσιάζεται το σήμα μίξης, το οποίο είναι τεσσάρων διαστάσεων. 83

84 Σχήμα 18: Το 4-D σήμα μίξης. Στο σχήμα 19 βλέπουμε τα τέσσερα σήματα πηγών χωριστά, για καλύτερη οπτική απεικόνιση. Σχήμα 19: Τα σήματα των πηγών. Στο σχήμα 20 παρουσιάζονται τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. 84

85 Σχήμα 20: Τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 100Χ4. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις στήλες των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση είναι 4Χ4. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και έχει μέγεθος 1Χ258. Παρατηρούμε ότι τα αποτελέσματα της ICA επεξεργασίας με τον αλγόριθμο FAST- ICA για τα παραπάνω σήματα μοιάζουν αρκετά με τα σήματα των πηγών (δύο είναι ανεστραμμένα αλλά αυτό δεν έχει σημασία). Όμως επειδή χρησιμοποιήσαμε τα σήματα randn επηρέασαν λίγο τα αποτελέσματα και δεν είναι τόσο ικανοποιητικά όπως στην προηγούμενη εφαρμογή. Άρα με τη μέθοδο ICA μπορούμε να διαχωρίσουμε αυτού του είδους σήματα πηγών από ένα σήμα μίξης, αλλά όχι με βέλτιστο τρόπο ΣΥΓΚΡΙΣΗ ΤΟΥ FAST-ICA LAB ME ΤΟΝ ΑΛΓΟΡΙΘΜΟ FAST-ICA ΣΕ ΣΗΜΑΤΑ RAND-SIN-COS Σε αυτή την παράγραφο παρουσιάζουμε μία εφαρμογή χρησιμοποιώντας τρία σήματα, δηλαδή: rand, cos, sin και τον συνδυασμό τους, μέσω του FAST-ICA LAB και του αλγορίθμου FAST-ICA, ώστε να συγκρίνουμε τα αποτελέσματα που δίνουν και οι δύο τρόποι. Το m-file μέσω του FAST-ICA LAB που απαιτείται για τη δημιουργία των 85

86 τριών αυτών σημάτων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %RANDN-SIN-COS-ΣΥΓΚΡΙΣΗ fasticag %ΜΕ ΑΥΤΗ ΤΗΝ ΕΝΤΟΛΗ ΕΜΦΑΝΙΖΕΤΑΙ ΤΟ GUI ΤΟΥ FAST-ICA LAB t=0.01:0.01:1; x1=sin(2*pi*t); hold on,plot(x1,'m') x2=randn(size(x1))+0.1*cos(2*pi*t); hold on,plot(x2,'g') x3=cos(2*pi*t); hold on,plot(x3,'k') %1 ο ΣΗΜΑ ΠΗΓΗΣ %2 ο ΣΗΜΑ ΠΗΓΗΣ %3 ο ΣΗΜΑ ΠΗΓΗΣ %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 X=[x1;x2;x3]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 3Χ100 figure,plot(x') Η μορφή των σημάτων αυτών είναι η εξής: Η μορφή του σήματος μίξης είναι η εξής: Σχήμα 21: Η μορφή των τριών σημάτων. 86

87 Σχήμα 22: Το 3-D σήμα μίξης. Στη συνέχεια εισάγουμε τα δεδομένα με την κατάλληλη εντολή 1 και κάνουμε τις ρυθμίσεις που φαίνονται στο παρακάτω σχήμα: Σχήμα 23: Ρυθμίσεις στο GUI. Έπειτα απεικονίζουμε τα δεδομένα με την κατάλληλη εντολή 2 παρουσιάζονται τα mixed signals. και έτσι 87

88 Σχήμα 24: Mixed signals. Η Nonlinearity (g) συνάρτηση που χρησιμοποιούμε για να γίνει αποσυσχέτιση (decorrelation) κατά τη διάρκεια του υπολογισμού είναι η gauss (χρησιμοποιούμε αυτή γιατί θα γίνει σύγκριση με τον αλγόριθμο FAST-ICA, όπου και εκεί χρησιμοποιούμε την ίδια συνάρτηση), δηλαδή g(u)=u*exp(-u^2/2). Έτσι, στο Command Window του Matlab περιγράφεται ο τρόπος υπολογισμού των ανεξάρτητων συνιστωσών σε αυτή την εφαρμογή είναι ο εξής: Used approach [ defl ]. Used nonlinearity [ gaus ]. Starting ICA calculation... IC 1...computed ( 33 steps ) IC 2...computed ( 8 steps ) IC 3..computed ( 2 steps ) Done. Βάσει των παραπάνω ρυθμίσεων, τα αποτελέσματα από την ICA επεξεργασία 3 έχουν τη μορφή του παρακάτω σχήματος: 88

89 Σχήμα 25: Αποτελέσματα της ICA επεξεργασίας. Στη συνέχεια παρουσιάζουμε την εφαρμογή του αλγόριθμου FAST-ICA στα ίδια ακριβώς σήματα, που χρησιμοποιήσαμε και με το FAST-ICA LAB. Το m-file που απαιτείται για τη δημιουργία των τριών αυτών σημάτων, καθώς η μίξη τους, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %RANDN-SIN-COS-ΣΥΓΚΡΙΣΗ t=0.01:0.01:1; x1=sin(2*pi*t); hold on,plot(x1,'m') x2=randn(size(x1))+0.1*cos(2*pi*t); hold on,plot(x2,'g') x3=cos(2*pi*t); hold on,plot(x3,'k') %1 ο ΣΗΜΑ ΠΗΓΗΣ %2 ο ΣΗΜΑ ΠΗΓΗΣ %3 ο ΣΗΜΑ ΠΗΓΗΣ %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΔΗΜΙΟΥΡΓΗΣΑΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΗΚΟΥΣ 100 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ, ΔΗΛΑΔΗ ΕΧΟΥΝ ΜΕΓΕΘΟΣ 1Χ100 z=[x1;x2;x3]; %ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΑ ΠΑΡΑΠΑΝΩ ΣΗΜΑΤΑ ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 3Χ100 X=z'; %ΓΙΑ ΝΑ ΛΕΙΤΟΥΡΓΗΣΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ ΑΠΑΙΤΕΙΤΑΙ Η ΑΝΤΙΣΤΡΟΦΗ ΤΟΥ ΣΗΜΑΤΟΣ ΜΙΞΗΣ, ΔΗΛΑΔΗ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΓΙΝΕΤΑΙ 100Χ3 [Y,W,P] = ica(x) %ΚΑΛΟΥΜΕ ΤΗ ΣΥΝΑΡΤΗΣΗ ICA %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΠΗΓΗΣ 89

90 figure,subplot(3,1,1),plot(x1),title('sin') subplot(3,1,2),plot(x2),title('randn+0.1*cos') subplot(3,1,3),plot(x3),title('cos') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΣΗΜΑΤΑ ΜΕΤΑ ΤΗΝ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST- ICA figure,subplot(3,1,1),plot(y(:,1),'r'),title('sin') subplot(3,1,2),plot(y(:,2),'r'),title('cos') subplot(3,1,3),plot(y(:,3),'r'),title('randn+0.1*cos') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή χρησιμοποιούμε δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST- ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράψουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Δηλαδή στο σχήμα 26 παρουσιάζονται τα τρία σήματα πηγών που χρησιμοποιούμε σε αυτή την εφαρμογή. Σχήμα 26: Τα τρία σήματα των πηγών. Στο σχήμα 27 παρουσιάζεται το σήμα μίξης, το οποίο είναι τριών διαστάσεων. 90

91 Σχήμα 27: Το 3-D σήμα μίξης. Στο σχήμα 28 βλέπουμε τα τρία σήματα πηγών χωριστά, για καλύτερη οπτική απεικόνιση. Σχήμα 28: Τα σήματα των πηγών. Στο σχήμα 29 παρουσιάζονται τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. 91

92 Σχήμα 29: Τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 100Χ3. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις στήλες των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση είναι 3Χ3. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και έχει μέγεθος 1Χ107. Στο σχήμα 30 παρουσιάζεται η γραφική αναπαράσταση για την σύγκριση του FAST-ICA LAB και του αλγορίθμου FAST-ICA στα ίδια ακριβώς σήματα. (α) (β) (γ) Σχήμα 30: (α) Τα αρχικά σήματα των πηγών. (β) Τα αποτελέσματα της ICA επεξεργασίας από το FAST-ICA LAB. (γ) Τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου FAST-ICA. 92

93 Παρατηρούμε ότι και με τους δύο τρόπους υπάρχει διαχωρισμός των πηγών από το σήμα μίξης, με ελάχιστες διαφορές. Η σειρά των πηγών αλλάζει, καθώς επίσης και τα σήματα αντιστρέφονται (αυτό συμβαίνει και στις δύο περιπτώσεις), όμως αυτό δεν επηρεάζει τα αποτελέσματα. 5.3 ΕΦΑΡΜΟΓΗ ΤΗΣ ΜΕΘΟΔΟΥ ICA ΣΕ ΕΙΚΟΝΕΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟ ICA LAB Σε αυτή την παράγραφο θα πραγματοποιηθούν εφαρμογές με τη χρήση του αλγόριθμου FAST-ICA σε εικόνες. Αρχικά δημιουργούμε τις εικόνες μίξης από το σύνολο των εικόνων που χρησιμοποιούμε και στη συνέχεια με τη βοήθεια του ICA LAB προσπαθούμε να ανακτήσουμε τις αρχικές εικόνες, οι οποίες είναι οι πηγές (ανεξάρτητες συνιστώσες). Όπως φαίνεται παρακάτω η μέθοδος ICA μας δίνει τη δυνατότητα επίλυσης αυτού του προβλήματος. Βασικό στοιχείο που πρέπει να γνωρίζουμε είναι ο τρόπος λειτουργίας του ICA LAB, ο οποίος μπορεί να φανεί συνοπτικά στο παρακάτω σχήμα. Σχήμα 31: Τρόπος λειτουργίας του ICA LAB. Με το ICA LAB δεν απαιτείται η συγγραφή κώδικα, αλλά κάποιες ρυθμίσεις (ανάλογα με τις ανάγκες της εφαρμογής) στο GUI οι οποίες φαίνονται παρακάτω. Αρχικά εμφανίζουμε το παράθυρο του GUI, γράφοντας icalab στο COMMAND WINDOW του MATLAB που έχει τη μορφή του παρακάτω σχήματος. 93

94 Σχήμα 32: Το GUI του ICA LAB. Φορτώνουμε τις τρεις εικόνες που θα εφαρμόσουμε τον αλγόριθμο, οι οποίες είναι JPEG, μεγέθους 128Χ128. Σε αυτό το σημείο ο τρόπος σάρωσης των εικόνων επιλέγουμε να είναι horizontally, δηλαδή οι εικόνες μετασχηματίζονται σε μονοδιάστατα σήματα σαρώνοντας τα pixels οριζόντια σειρά-σειρά πριν από την περαιτέρω επεξεργασία. Επίσης, ο τρόπος δειγματοληψίας που επιλέγουμε είναι αυτός που χρησιμοποιεί ολόκληρη (regular sampling) την εικόνα και όχι κάποιο τμήμα της και αυτό γίνεται σειρά-σειρά. Στο σχήμα 33 παρουσιάζεται ο τρόπος σάρωσης των pixels για τη δημιουργία ενός μονοδιάστατου σήματος. Σχήμα 33: Ο τρόπος οριζόντιας σάρωσης των pixels. Στο σχήμα 34 φαίνονται οι εικόνες που θα επεξεργαστούμε, καθώς και οι ρυθμίσεις για τον τρόπο σάρωσης. 94

95 Σχήμα 34: Οι επιλεγμένες εικόνες για επεξεργασία. Κάθε ανεξάρτητη συνιστώσα μπορεί να υπολογιστεί από τη σχέση Y=WX, όπου W (W=Η -1 ) είναι ο πίνακας μίξης και Χ είναι η μίξη των εικόνων (ή των σημάτων). Θα πρέπει να δώσουμε κάποιες τιμές στον πίνακα Η και αυτό μπορεί να γίνει από το Matrix Type, όπου επιλέγουμε random (δημιουργούμε έναν πίνακα μεγέθους 3Χ3 με τυχαίες τιμές). Αφού κάνουμε αυτές τις ρυθμίσεις τώρα μπορούμε να επιλέξουμε τον αλγόριθμο που θα κάνει την επεξεργασία και αυτός που θα επιλέξουμε είναι ο Fixed Point ICA (FPICA) ή Fast ICA. Από την επιλογή ADV. OPTIONS μπορούμε να επιλέξουμε τη nonlinearity συνάρτηση, η οποία είναι η Gauss (y*exp(-y*2/2)). Πριν τρέξουμε τον αλγόριθμο πρέπει να κάνουμε προεπεξεργασία των δεδομένων. Η προεπεξεργασία που θα επιλέξουμε να γίνει για να πάρουμε όσο το δυνατόν καλύτερα αποτελέσματα είναι Lowpass φιλτράρισμα (Butterworth), με συχνότητα αποκοπής στα 0,5 (το ICA LAB δίνει αυτή την τιμή γιατί τη θεωρεί πιο ιδανική για αυτή την περίπτωση). Στο σχήμα 35 βλέπουμε τις προεπεξεργασμένες εικόνες. 95

96 Σχήμα 35: Οι προεπεξεργασμένες εικόνες. Έτσι οι ρυθμίσεις που πρέπει να γίνουν στο GUI είναι αυτές που φαίνονται στο παρακάτω σχήμα. 96

97 Σχήμα 36: Οι απαραίτητες ρυθμίσεις στο παράθυρο του GUI. Εφόσον έγιναν όλες οι απαραίτητες ρυθμίσεις τρέχουμε 4 τον αλγόριθμο και απεικονίζουμε 5 τα δεδομένα. Έτσι παρουσιάζονται οι αρχικές εικόνες, η μίξη τους και τα αποτελέσματα που επιστρέφει ο αλγόριθμος, δηλαδή τις αρχικές εικόνες εφόσον τις έχει διαχωρίσει από τις εικόνες μίξης. 97

98 (α) (β) 98

99 Σχήμα 37: (α) Οι αρχικές εικόνες. (β) Η μίξη των εικόνων. (γ) Τα αποτελέσματα μετά την εφαρμογή του αλγορίθμου ICA. (γ) Όταν ολοκληρωθούν οι υπολογισμοί του αλγορίθμου, έχουμε τρία σύνολα παραμέτρων: 1. Το διαχωρισμό του πίνακα W. 2. Τον πίνακα των ανεξάρτητων συνιστωσών (ή των διαχωρισμένων σημάτων): y(k)=wx(k), με k = 1, 2,..., N, όπου: Ν ο αριθμός των δειγμάτων (pixels) που χρησιμοποιούνται. x(k) είναι το διάνυσμα που παρατηρείται για το k-th pixel. Τα δεδομένα αποθηκεύονται στους πίνακες Y=WX και X=HS, όπου Η είναι ένας επιλεγμένος πίνακας μίξης, X=[x(1), x(2),..., x(n)] είναι ένας πίνακας mχν των μιγμάτων, S=[s(1), s(2),..., s(n)] είναι ο πίνακας των αρχικών σημάτων (πηγών) και Y=[y(1), y(2),..., y(n)] είναι ο πίνακας των σημάτων που έχουν υπολογιστεί. 3. Ο πλήρης πίνακας μίξης G=WH αντιπροσωπεύει την απόδοση διαχωρισμού των σύνθετων πηγών μίξης. Αν επιθυμούμε να δούμε τις συγκεκριμένες τιμές για αυτούς τους υπολογισμούς, αρκεί στο Command Window του Matlab να δώσουμε το όνομα της μεταβλητής και αμέσως θα επιστρέψει τα αποτελέσματα. Παρατηρούμε ότι τα αποτελέσματα της ICA επεξεργασίας με τον αλγόριθμο ICA για τις παραπάνω εικόνες μοιάζουν αρκετά με τις αρχικές, μετά τον διαχωρισμό τους από τις εικόνες μίξης. Άρα με τη μέθοδο ICA μπορούμε να διαχωρίσουμε από εικόνες μίξης τις εικόνες των πηγών. 99

100 5.4 ΕΦΑΡΜΟΓΕΣ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ Σε αυτή την παράγραφο θα πραγματοποιηθούν εφαρμογές με τη χρήση του αλγόριθμου FAST-ICA σε σήματα φωνής (wave), με σκοπό το διαχωρισμό των πηγών από τα σήματα μίξης. Σε κάθε εφαρμογή υπάρχει ένας αριθμός ομηλιτών οι οποίοι μιλούν ταυτόχρονα, έτσι προκύπτουν τα σήματα μίξης και ο σκοπός του προβλήματος είναι ο διαχωρισμός της φωνής καθενός. Η μέθοδος ICA μας δίνει τη δυνατότητα επίλυσης αυτού του προβλήματος και όπως φαίνεται παρακάτω, το αποδεικνύουμε ηχητικά καθώς και γραφικά ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ ΕΞΑΡΤΗΜΕΝΑ ΑΠΟ ΤΙΣ ΑΠΟΣΤΑΣΕΙΣ ΤΩΝ OΜIΛHΤΩΝ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA Σε αυτή την εφαρμογή χρησιμοποιούμε τις φωνές τεσσάρων ομιλητών, με τα ανάλογα βάρη a ij (αποστάσεις των ομιλητών από τα μικρόφωνα) και αφού δημιουργήσουμε τα σήματα μίξης με τη βοήθεια του αλγόριθμου FAST-ICA κάνουμε διαχωρισμό των σημάτων των πηγών (ανεξάρτητες συνιστώσες). Το m-file που απαιτείται για αυτή την εφαρμογή, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %ΤΑ ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ Si s1=wavread('katerina.wav'); %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ S1=s1(10001:27000); %TO ΣΗΜΑ ΠΗΓΗΣ S1 sound(s1,22050) %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ s2=wavread('tasos.wav'); S2=s2(10001:27000); sound(s2,22050) s3=wavread('vassilis.wav'); S3=s3(10001:27000); sound(s3,22050) s4=wavread('ageliki.wav'); S4=s4(10001:27000); sound(s4,22050) %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ %TO ΣΗΜΑ ΠΗΓΗΣ S2 %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΒΑΣΙΛΗ %TO ΣΗΜΑ ΠΗΓΗΣ S3 %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΒΑΣΙΛΗ %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ %TO ΣΗΜΑ ΠΗΓΗΣ S4 %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ %ΤΑ ΣΗΜΑΤΑ ΦΩΝΗΣ (ΠΗΓΕΣ) ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΟΥΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΣΤΗΛΗΣ ΜΕΓΕΘΟΥΣ 17000Χ1 ΤΟ ΚΑΘΕΝΑ %Ο ΤΥΠΟΣ ΤΩΝ ΣΗΜΑΤΩΝ ΜΙΞΗΣ ΕΙΝΑΙ Ο ΕΞΗΣ: Xj=aj1*S1+aj2*S2+...+ajn*Sn, ΟΠΟΥ n ΟΙ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ, S ΤΑ ΣΗΜΑΤΑ ΠΗΓΗΣ ΚΑΙ aij OΙ ΑΠΟΣΤΑΣΕΙΣ ΤΩΝ ΜΙΚΡΟΦΩΝΩΝ ΑΠΟ ΤΟΥΣ ΟΜΙΛΗΤΕΣ 100

101 X1=S1+S2+S3+S4; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΤΟ 1ο ΣΗΜΑ ΜΙΞΗΣ ΜΕ ΣΥΝΤΕΛΕΣΤΕΣ ΤΗ ΜΟΝΑΔΑ,ΜΕΓΕΘΟΥΣ 17000Χ1 sound(x1,22050) %ΑΚΟΥΜΕ ΤΟ 1ο ΣΗΜΑ ΜΙΞΗΣ X2=0.2*S1+0.9*S2+0.08*S3+0.6*S4; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΤΟ 2ο ΣΗΜΑ ΜΙΞΗΣ ΜΕ ΤΟΥΣ ΣΥΝΤΕΛΕΣΤΕΣ ΤΟΥ,ΜΕΓΕΘΟΥΣ 17000Χ1 sound(x2,22050) %ΑΚΟΥΜΕ ΤΟ 2ο ΣΗΜΑ ΜΙΞΗΣ X3=0.5*S1+0.1*S2+0.3*S3+0.8*S4; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΤΟ 3ο ΣΗΜΑ ΜΙΞΗΣ ΜΕ ΤΟΥΣ ΣΥΝΤΕΛΕΣΤΕΣ ΤΟΥ,ΜΕΓΕΘΟΥΣ 17000Χ1 sound(x3,22050) %ΑΚΟΥΜΕ ΤΟ 3ο ΣΗΜΑ ΜΙΞΗΣ X4=0.1*S1+0.2*S2+0.3*S3+0.4*S4; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΤΟ 4ο ΣΗΜΑ ΜΙΞΗΣ ΜΕ ΤΟΥΣ ΣΥΝΤΕΛΕΣΤΕΣ ΤΟΥ,ΜΕΓΕΘΟΥΣ 17000Χ1 sound(x4,22050) %ΑΚΟΥΜΕ ΤΟ 4ο ΣΗΜΑ ΜΙΞΗΣ X=[X1 X2 X3 X4]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 4-D ΣΗΜΑ ΑΠΟ ΤΑ ΣΗΜΑΤΑ ΜΙΞΗΣ,ΜΕΓΕΘΟΥΣ 17000Χ4 figure,plot(x),xlabel('t (msec)'), ylabel('intensity VOICE') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΟ 4-D ΣΗΜΑ ΑΠΟ ΤΑ ΣΗΜΑΤΑ ΜΙΞΗΣ [Y,W,P] = ica(x) %ΕΦΑΡΜΟΖΟΥΜΕ ΤΟΝ ΑΛΓΟΡΙΘΜΟ FAST-ICA sound(s1,22050) %ΑΚΟΥΜΕ TO ΣΗΜΑ ΠΗΓΗΣ S1 - ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ sound(y(:,1),22050) %ΑΚΟΥΜΕ TΗΝ 1η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ - ΦΩΝΗ ΤΟΥ ΒΑΣΙΛΗ sound(s2,22050) %ΑΚΟΥΜΕ TO ΣΗΜΑ ΠΗΓΗΣ S2 - ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ sound(y(:,2),22050) %ΑΚΟΥΜΕ TΗΝ 2η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ - ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ sound(s3,22050) %ΑΚΟΥΜΕ TO ΣΗΜΑ ΠΗΓΗΣ S3 - ΦΩΝΗ ΤOY ΒΑΣΙΛΗ sound(y(:,3),22050) %ΑΚΟΥΜΕ TΗΝ 3η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ - ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ sound(s4,22050) %ΑΚΟΥΜΕ TO ΣΗΜΑ ΠΗΓΗΣ S4 - ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ sound(y(:,4),22050) %ΑΚΟΥΜΕ TΗΝ 4η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ - ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ %ΠΑΡΟΥΣΙΑΖΟΥΜΕ TA ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ figure, subplot(4,1,1),plot(s1),grid on,title('katerina') subplot(4,1,2),plot(s2),grid on,title('tasos') subplot(4,1,3),plot(s3),grid on,title('basilis') subplot(4,1,4),plot(s4),grid on,title('agelikh'),xlabel('t (msec)'), ylabel('intensity VOICE') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΙΣ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ FAST-ICA figure, subplot(4,1,1),plot(y(:,1),'r'),grid on,title('basilis') subplot(4,1,2),plot(y(:,2),'r'),grid on,title('tasos') 101

102 subplot(4,1,3),plot(y(:,3),'r'),grid on,title('agelikh') subplot(4,1,4),plot(y(:,4),'r'),grid on,title('katerina'),xlabel('t (msec)'), ylabel('intensity VOICE') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST-ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράψουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Στο σχήμα 38 παρουσιάζεται το 4-D σήμα μίξης που χρησιμοποιούμε σε αυτή την εφαρμογή. Σχήμα 38: Το 4-D σήμα μίξης. Στο παρακάτω σχήμα φαίνονται τα αρχικά σήματα, καθώς και τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. 102

103 (α) (β) Σχήμα 39: (α) Τα αρχικά σήματα. (β) Τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 17000Χ4. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις στήλες των αποτελεσμάτων για να 103

104 απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση είναι 4Χ4. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και έχει μέγεθος 1Χ33. Παρατηρούμε ότι για κάθε ομιλητή, μετά την εφαρμογή του αλγορίθμου στα σήματα μίξης τα αποτελέσματα είναι ίδια με τα αρχικά (αλλάζει η σειρά των πηγών αλλά αυτό δεν επηρεάζει τα αποτελέσματα). Άρα η μέθοδος ICA σε αυτή την εφαρμογή των ηχητικών σημάτων δίνει σωστά αποτελέσματα, με τη βοήθεια του αλγόριθμου FAST- ICA ΕΦΑΡΜΟΓΗ ΣΕ ΣΗΜΑΤΑ ΦΩΝΗΣ ME ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ ΧΡΗΣΙΜΟΠΟΙΩΝΤΑΣ ΤΟN ΑΛΓΟΡΙΘΜΟ FAST-ICA Σε αυτή την παράγραφο θα εφαρμόσουμε μια τεχνική για την εφαρμογή του τυφλού διαχωρισμού των πηγών (Blind Source Separation-BSS). Η μέθοδος ICA εκτελεί BSS των στατιστικά ανεξάρτητων πηγών, κάνοντάς τους γραμμική μίξη χρησιμοποιώντας τεχνικές που περιλαμβάνουν στατιστικές υψηλών δυνάμεων. Αρχικά τα σήματα φωνής υποβάλλονται σε προεπεξεργασία μέσω της μεθόδου καθυστερήσεων και στη συνέχεια εφαρμόζεται ο αλγόριθμος FAST-ICA. Η μέθοδος καθυστερήσεων μπορεί να περιγραφεί από τη σχέση: για ένα διάνυσμα καθυστέρησης μήκους Μ. Έπειτα εφαρμόζεται ο αλγόριθμος FAST- ICA και όπως είναι γνωστό στη μέθοδο ICA τα σήματα (γραμμικά) μίξης περιγράφονται από τον τύπο: x(t)=as(t), όπου Α είναι ένας τετραγωνικός πίνακας μίξης, που είναι άγνωστος αλλά αντιστρέψιμος. Οι ανεξάρτητες συνιστώσες υπολογίζονται από: s(t)=wx(t), όπου W=A -1. Σύμφωνα με τα παραπάνω μπορεί να πραγματοποιηθεί κάποια εφαρμογή χρησιμοποιώντας τη μέθοδο καθυστέρησης. Σε αυτή την εφαρμογή χρησιμοποιούμε τις φωνές τεσσάρων ομιλητών, έπειτα εφαρμόζουμε τη μέθοδο καθυστέρησης και με τη βοήθεια του αλγόριθμου FAST-ICA κάνουμε διαχωρισμό των σημάτων των πηγών (ανεξάρτητες συνιστώσες). Το m-file που απαιτείται για αυτή την εφαρμογή, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %ΤΑ ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ Si s1=wavread('katerina.wav'); %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ S1=s1(10001:27000); %TO ΣΗΜΑ ΠΗΓΗΣ S1 sound(s1,22050) %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΚΑΤΕΡΙΝΑΣ s2=wavread('tasos.wav'); S2=s2(10001:27000); %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ %TO ΣΗΜΑ ΠΗΓΗΣ S2 104

105 sound(s2,22050) %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΤΑΣΟΥ s3=wavread('vassilis.wav'); %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΒΑΣΙΛΗ S3=s3(10001:27000); %TO ΣΗΜΑ ΠΗΓΗΣ S3 sound(s3,22050) %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΟΥ ΒΑΣΙΛΗ s4=wavread('ageliki.wav'); %ΦΟΡΤΩΝΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ S4=s4(10001:27000); %TO ΣΗΜΑ ΠΗΓΗΣ S4 sound(s4,22050) %ΑΚΟΥΜΕ ΤΗ ΦΩΝΗ ΤΗΣ ΑΓΓΕΛΙΚΗΣ %ΤΑ ΣΗΜΑΤΑ ΦΩΝΗΣ (ΠΗΓΕΣ) ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΟΥΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΣΤΗΛΗΣ ΜΕΓΕΘΟΥΣ 17000Χ1 ΤΟ ΚΑΘΕΝΑ X=[S1 S2 S3 S4]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 4-D ΣΗΜΑ ΜΙΞΗΣ ΜΕΓΕΘΟΥΣ 17000Χ4 %ΧΡΗΣΙΜΟΠΟΙΟΥΜΕ ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ ΓΙΑ ΤΟ 4-D ΣΗΜΑ ΚΑΙ Ο ΤΥΠΟΣ ΓΙΑ ΤΗ ΔΗΜΙΟΥΡΓΙΑ ΤΟΥ ΕΙΝΑΙ Ο ΕΞΗΣ: X(t)={x(t),x(t-1),...,x(t-M+1)}, ΓΙΑ ΕΝΑ ΔΙΑΝΥΣΜΑ ΚΑΘΥΣΤΕΡΗΣΗΣ ΜΗΚΟΥΣ Μ X1=X(1:16000); %Ο ΑΡΙΘΜΟΣ ΤΩΝ ΔΕΙΓΜΑΤΩΝ ΕΙΝΑΙ ΚΑΙ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΣΗΜΑΤΟΣ Χ1 ΕΙΝΑΙ 1Χ16000 X2=X(101:16100); %Ο ΑΡΙΘΜΟΣ ΤΩΝ ΔΕΙΓΜΑΤΩΝ ΕΙΝΑΙ ΚΑΙ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΣΗΜΑΤΟΣ Χ2 ΕΙΝΑΙ 1Χ16000 X3=X(201:16200); %Ο ΑΡΙΘΜΟΣ ΤΩΝ ΔΕΙΓΜΑΤΩΝ ΕΙΝΑΙ ΚΑΙ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΣΗΜΑΤΟΣ Χ3 ΕΙΝΑΙ 1Χ16000 X4=X(301:16300); %Ο ΑΡΙΘΜΟΣ ΤΩΝ ΔΕΙΓΜΑΤΩΝ ΕΙΝΑΙ ΚΑΙ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΣΗΜΑΤΟΣ Χ4 ΕΙΝΑΙ 1Χ16000 X5=X(401:16400); %Ο ΑΡΙΘΜΟΣ ΤΩΝ ΔΕΙΓΜΑΤΩΝ ΕΙΝΑΙ ΚΑΙ ΤΟ ΜΕΓΕΘΟΣ ΤΟΥ ΣΗΜΑΤΟΣ Χ5 ΕΙΝΑΙ 1Χ16000 Q=[X1 X2 X3 X4 X5]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 1-D ΣΗΜΑ ΜΙΞΗΣ ΤΩΝ ΚΑΘΥΣΤΕΡΗΜΕΝΩΝ ΣΗΜΑΤΩΝ ΜΕΓΕΘΟΥΣ 1Χ80000 X=Q'; %KANOYME TO 1-D ΣΗΜΑ ΜΙΞΗΣ ΣΗΜΑ ΣΤΗΛΗΣ ΜΕΓΕΘΟΥΣ 80000Χ1 plot(x) %ΑΝΑΠΑΡΙΣΤΟΥΜΕ TO 1-D ΣΗΜΑ ΜΙΞΗΣ [Y,W,P] = ica(x) %ΕΦΑΡΜΟΖΟΥΜΕ ΤΟΝ ΑΛΓΟΡΙΘΜΟ FAST-ICA sound(x1,22050) %ΑΚΟΥΜΕ TO 1ο ΣΗΜΑ ΠΗΓΗΣ sound(y(1:16000),22050) %ΑΚΟΥΜΕ TΗΝ 1η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ sound(x2,22050) %ΑΚΟΥΜΕ TO 2ο ΣΗΜΑ ΠΗΓΗΣ sound(y(101:16100),22050) %ΑΚΟΥΜΕ TΗΝ 2η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ sound(x3,22050) %ΑΚΟΥΜΕ TO 3ο ΣΗΜΑ ΠΗΓΗΣ sound(y(201:16200),22050) %ΑΚΟΥΜΕ TΗΝ 3η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ sound(x4,22050) %ΑΚΟΥΜΕ TO 4ο ΣΗΜΑ ΠΗΓΗΣ 105

106 sound(y(301:16300),22050) %ΑΚΟΥΜΕ TΗΝ 4η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ sound(x5,22050) %ΑΚΟΥΜΕ TO 5ο ΣΗΜΑ ΠΗΓΗΣ sound(y(401:16400),22050) %ΑΚΟΥΜΕ TΗΝ 5η ΑΝΕΞΑΡΤΗΤΗ ΣΥΝΙΣΤΩΣΑ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ %ΠΑΡΟΥΣΙΑΖΟΥΜΕ TA ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ figure, subplot(5,1,1),plot(x1),grid on,title('1:16000') subplot(5,1,2),plot(x2),grid on,title('101:16100') subplot(5,1,3),plot(x3),grid on,title('201:16200') subplot(5,1,4),plot(x4),grid on,title('301:16300') subplot(5,1,5),plot(x5),grid on,title('401:16400') %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΙΣ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ FAST-ICA figure, subplot(5,1,1),plot(y(1:16000),'r'),grid on,title('1:16000') subplot(5,1,2),plot(y(16001:32000),'r'),grid on,title('101:16100') subplot(5,1,3),plot(y(32001:48000),'r'),grid on,title('201:16200') subplot(5,1,4),plot(y(48001:64000),'r'),grid on,title('301:16300') subplot(5,1,5),plot(y(64001:80000),'r'),grid on,title('401:16400') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST-ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράψουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Στο σχήμα 40 παρουσιάζεται το 1-D σήμα μίξης που δημιουργούμε. 106

107 Σχήμα 40: Το 1-D σήμα μίξης. Στο σχήμα 41 φαίνονται τα αρχικά σήματα, καθώς και τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. (α) 107

108 (β) Σχήμα 41: (α) Τα αρχικά σήματα. (β) Τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 80000Χ1. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις αντίστοιχες γραμμές των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W, όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση έχει μόνο μία πραγματική τιμή. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και αυτή έχει μόνο μία τιμή. Παρατηρούμε ότι οι ανεξάρτητες συνιστώσες που επιστρέφονται μετά τον υπολογισμό του αλγορίθμου είναι ίδιες με τα σήματα των πηγών. Άρα εφαρμόζοντας τη μέθοδο ICA με την τεχνική καθυστέρησης σε ηχητικά σήματα τα αποτελέσματα είναι επιθυμητά. 5.5 ΕΦΑΡΜΟΓΕΣ ΣΕ ΓΕΩΗΛΕΚΤΡΙΚΑ ΣΗΜΑΤΑ Σε αυτή την παράγραφο θα πραγματοποιηθούν εφαρμογές με τη χρήση του αλγόριθμου FAST-ICA σε γεωηλεκτρικά σήματα. Συγκεκριμένα χρησιμοποιούμε ένα γεωηλεκτρικό σήμα διάρκειας πέντε ετών. Στην χρονική αυτή περίοδο παρατηρήθηκαν σεισμοί διαφόρων μεγεθών. Για τις ανάγκες της επεξεργασίας κόβουμε από αυτό το σήμα πέντε μικρότερα διάρκειας μιας εβδομάδας το καθένα. Φροντίζουμε αυτά τα μικρά 108

109 διάρκειας μιας εβδομάδας σήματα να προηγούνται πριν από σημαντικούς σεισμούς που έγιναν στην ευρύτερη περιοχή. Εν συνεχεία δημιουργούμε τη μίξη τους και εφαρμόζουμε τον αλγόριθμο FAST-ICA ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA ΓΙΑ ΤΟ ΔΙΑΧΩΡΙΣΜΟ ΓΕΩΗΛΕΚΤΡΙΚΩΝ ΣΗΜΑΤΩΝ Σε αυτή την εφαρμογή χρησιμοποιούμε πέντε γεωηλεκτρικά σήματα διάρκειας μιας εβδομάδας, δημιουργούμε τα σήματα μίξης και με τη βοήθεια του αλγόριθμου FAST- ICA κάνουμε διαχωρισμό των σημάτων (ανεξάρτητες συνιστώσες). Το m-file που απαιτείται για αυτή την εφαρμογή, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %ΦΟΡΤΩΝΟΥΜΕ ΤΟ ΓΕΩΗΛΕΚΤΡΙΚΟ ΣΗΜΑ ΔΙΑΡΚΕΙΑΣ 5 ΕΤΩΝ ΤΟΥ ΚΑΝΑΛΙΟΥ 0 ΚΑΙ ΤΟ ΕΜΦΑΝΙΖΟΥΜΕ load ch0 plot (ch0, 'DisplayName', 'ch0', 'YDataSource', 'ch0'); title(geoelectric POTENTIAL');ylabel('mV');xlabel('h');figure(gcf) %ΚΟΒΟΥΜΕ 5 ΤΜΗΜΑΤΑ ΔΙΑΡΚΕΙΑΣ 7 ΗΜΕΡΩΝ, ΔΗΛΑΔΗ 167 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ S1=ch0(24001:24168); % S1 figure,subplot(5,1,1),plot(s1),grid on,title('24001:24168') S2=ch0(2701:2868); % S2 subplot(5,1,2),plot(s2),grid on,title('2701:2868') S3=ch0(27301:27468); % S3 subplot(5,1,3),plot(s3),grid on,title('27301:27468') S4=ch0(29521:29688); % S4 subplot(5,1,4),plot(s4),grid on,title('29521:29688') S5=ch0(38501:38668); % S5 subplot(5,1,5),plot(s5),grid on,title('38501:38668'),ylabel('mv'),xlabel('h') %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΟΥΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΕΓΕΘΟΥΣ 1Χ168 ΤΟ ΚΑΘΕΝΑ %Ο ΤΥΠΟΣ ΤΩΝ ΣΗΜΑΤΩΝ ΜΙΞΗΣ ΕΙΝΑΙ Ο ΕΞΗΣ: Xj=aj1*S1+aj2*S2+...+ajn*Sn, ΟΠΟΥ n ΟΙ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ, S ΤΑ ΣΗΜΑΤΑ ΠΗΓΗΣ ΚΑΙ aij ΣΤΑΘΕΡΕΣ X1=0.7*S1+0.2*S2+0.3*S3+0.5*S4+0.1*S5; X2=0.1*S1+0.5*S2+0.3*S3+0.4*S4+0.2*S5; X3=0.2*S1+0.3*S2+0.2*S3+0.1*S4+0.3*S5; X4=0.2*S1+0.4*S2+0.5*S3+0.3*S4+0.2*S5; X5=0.3*S1+0.3*S2+0.2*S3+0.1*S4+0.1*S5; 109

110 Z=[X1;X2;X3;X4;X5]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 5-D ΣΗΜΑ ΑΠΟ ΤΑ ΣΗΜΑΤΑ ΜΙΞΗΣ, ΜΕΓΕΘΟΥΣ 5Χ168 X=Z'; %ΑΝΤΙΣΤΡΕΦΟΥΜΕ ΤΟ ΣΗΜΑ ΩΣΤΕ ΝΑ ΓΙΝΕΙ 168Χ5 %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΟ 5-D ΣΗΜΑ ΜΙΞΗΣ figure,plot(x),ylabel('mv'),xlabel('h') %ΔΙΑΧΩΡΙΖΟΥΜΕ 5-D ΣΗΜΑ ΜΕ ΤΟΝ ΑΛΓΟΡΙΘΜΟ ΚΑΙ ΠΡΟΚYΠΤΟΥΝ ΠΕΝΤΕ 1-D ΣΗΜΑΤΑ [Y,W,P] = ica(x) %ΠΑΡΟΥΣΙΑΖΟΥΜΕ ΤΑ ΑΠΟΤΕΛΕΣΜΑΤΑ ΜΕΤΑ ΤΗΝ ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ figure, subplot(5,1,1),plot(y(:,1),'r'),grid on,title('24001:24168') subplot(5,1,2),plot(y(:,2),'r'),grid on,title('38501:38668') subplot(5,1,3),plot(y(:,3),'r'),grid on,title('27301:27468') subplot(5,1,4),plot(y(:,4),'r'),grid on,title('2701:2868') subplot(5,1,5),plot(y(:,5),'r'),grid on,title('29521:29688'),ylabel('mv'),xlabel('h') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST-ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στη συνέχεια θα περιγράψουμε αναλυτικά τα αποτελέσματα που προκύπτουν μετά την εφαρμογή του αλγορίθμου FAST-ICA. Στο σχήμα 42 βλέπουμε το συνολικό σήμα διάρκειας πέντε ετών του καναλιού μηδέν (ch0). Σχήμα 42: Το σήμα διάρκειας πέντε ετών του ch0. 110

111 Στο επόμενο σχήμα παρουσιάζεται το 5-D σήμα μίξης που χρησιμοποιούμε σε αυτή την εφαρμογή. Σχήμα 43: Το 5-D σήμα μίξης. Στο παρακάτω σχήμα φαίνονται τα αρχικά σήματα, καθώς και τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. 111

112 (α) (β) Σχήμα 44: (α) Τα αρχικά σήματα. (β) Τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο 112

113 πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 168Χ5. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις στήλες των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση είναι 5Χ5. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και έχει μέγεθος 1Χ232. Παρατηρούμε ότι για κάθε σήμα, μετά την εφαρμογή του αλγορίθμου στα σήματα μίξης τα αποτελέσματα είναι περίπου ίδια με τα αρχικά (αλλάζει η σειρά των πηγών και κάποια σήματα αντιστρέφονται, αλλά αυτό δεν επηρεάζει τα αποτελέσματα). Άρα η μέθοδος ICA ακόμα και στην εφαρμογή των γεωηλεκτρικών σημάτων δίνει σωστά αποτελέσματα, με τη βοήθεια του αλγόριθμου FAST-ICA ΕΦΑΡΜΟΓΗ ΤΟΥ ΑΛΓΟΡΙΘΜΟΥ FAST-ICA ΓΙΑ ΤΟ ΔΙΑΧΩΡΙΣΜΟ ΓΕΩΗΛΕΚΤΡΙΚΩΝ ΣΗΜΑΤΩΝ ME ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ Σε αυτή την εφαρμογή χρησιμοποιούμε πέντε γεωηλεκτρικά σήματα διάρκειας μιας εβδομάδας, έπειτα εφαρμόζουμε τη μέθοδο καθυστέρησης και με τη βοήθεια του αλγόριθμου FAST-ICA κάνουμε διαχωρισμό των σημάτων (ανεξάρτητες συνιστώσες). Το m-file που απαιτείται για αυτή την εφαρμογή, παρουσιάζεται αναλυτικά σύμφωνα με τον παρακάτω κώδικα. %ΦΟΡΤΩΝΟΥΜΕ ΤΟ ΓΕΩΗΛΕΚΤΡΙΚΟ ΣΗΜΑ ΔΙΑΡΚΕΙΑΣ 5 ΕΤΩΝ ΤΟΥ ΚΑΝΑΛΙΟΥ 0 ΚΑΙ ΤΟ ΕΜΦΑΝΙΖΟΥΜΕ load ch0 plot (ch0, 'DisplayName', 'ch0', 'YDataSource', 'ch0'); title('gewhlektriko DYNAMIKO');ylabel('mV');xlabel('h');figure(gcf) %ΚΟΒΟΥΜΕ 5 ΤΜΗΜΑΤΑ ΔΙΑΡΚΕΙΑΣ 7 ΗΜΕΡΩΝ, ΔΗΛΑΔΗ 167 ΣΗΜΕΙΩΝ ΤΟ ΚΑΘΕΝΑ S1=ch0(24001:24168); % S1 figure,subplot(5,1,1),plot(s1),grid on,title('24001:24168') S2=ch0(2701:2868); % S2 subplot(5,1,2),plot(s2),grid on,title('2701:2868') S3=ch0(27301:27468); % S3 subplot(5,1,3),plot(s3),grid on,title('27301:27468') S4=ch0(29521:29688); % S4 subplot(5,1,4),plot(s4),grid on,title('29521:29688') S5=ch0(38501:38668); % S5 subplot(5,1,5),plot(s5),grid on,title('38501:38668') 113

114 %ΤΑ ΣΗΜΑΤΑ ΠΟΥ ΧΡΗΣΙΜΟΠΟΙΟΥΜΕ ΕΙΝΑΙ ΔΙΑΝΥΣΜΑΤΑ ΓΡΑΜΜΗΣ ΜΕΓΕΘΟΥΣ 1Χ168 ΤΟ ΚΑΘΕΝΑ Z=[S1;S2;S3;S4;S5]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 5-D ΣΗΜΑ ΜΙΞΗΣ ΤΩΝ ΚΑΘΥΣΤΕΡΗΜΕΝΩΝ ΣΗΜΑΤΩΝ ΜΕΓΕΘΟΥΣ 5Χ168 X=Z'; %ΑΝΤΙΣΤΕΡΕΦΟΥΜΕ ΤΟ ΣΗΜΑ %XΡΗΣΙΜΟΠΟΙΟΥΜΕ ΤΗ ΜΕΘΟΔΟ ΚΑΘΥΣΤΕΡΗΣΗΣ ΓΙΑ ΤΟ ΣΗΜΑ ΚΑΙ Ο ΤΥΠΟΣ ΓΙΑ ΤΗ ΔΗΜΙΟΥΡΓΙΑ ΤΟΥ ΕΙΝΑΙ Ο ΕΞΗΣ: X(t)={x(t),x(t-1),...,x(t-M+1)} X1=X(1:120); X2=X(11:130); X3=X(21:140); X4=X(31:150); X5=X(41:160); Q=[X1 X2 X3 X4 X5]; %ΔΗΜΙΟΥΡΓΟΥΜΕ ΕΝΑ 1-D ΣΗΜΑ ΜΙΞΗΣ ΤΩΝ ΚΑΘΗΣΤΕΡΗΜΕΝΩΝ ΣΗΜΑΤΩΝ ΜΕΓΕΘΟΥΣ 1Χ600 X=Q'; %ΚΑΝΟΥΜΕ ΤΟ 1-D ΣΗΜΑ ΜΙΞΗΣ ΣΗΜΑ ΣΤΗΛΗΣ ΜΕΓΕΘΟΥΣ 600Χ1 plot(x) %ΑΝΑΠΑΡΙΣΤΟΥΜΕ ΤΟ 1-D ΣΗΜΑ ΜΙΞΗΣ %ΕΦΑΡΜΟΖΟΥΜΕ ΜΕ ΤΟΝ ΑΛΓΟΡΙΘΜΟ FAST-ICA [Y,W,P] = ica(x) %ΠΑΡΟΥΣΙΑΖΟΥΜΕ TA ΣΗΜΑΤΑ ΤΩΝ ΠΗΓΩΝ figure, subplot(5,1,1),plot(x1),grid on,title('1:120') subplot(5,1,2),plot(x2),grid on,title('11:130') subplot(5,1,3),plot(x3),grid on,title('21:140') subplot(5,1,4),plot(x4),grid on,title('31:150') subplot(5,1,5),plot(x5),grid on,title('41:160') %ΠΑΡΟΥΣΙΑΖΟΥΜΕΤΑ ΤΙΣ ΑΝΕΞΑΡΤΗΤΕΣ ΣΥΝΙΣΤΩΣΕΣ ΠΟΥ ΕΠΙΣΤΡΕΦΕΙ Ο ΑΛΓΟΡΙΘΜΟΣ figure, subplot(5,1,1),plot(y(1:120),'r'),grid on,title('1:120') subplot(5,1,2),plot(y(11:130),'r'),grid on,title('11:130') subplot(5,1,3),plot(y(21:140),'r'),grid on,title('21:140') subplot(5,1,4),plot(y(31:150),'r'),grid on,title('31:150') subplot(5,1,5),plot(y(41:160),'r'),grid on,title('41:160') Για να λειτουργήσει ο αλγόριθμος FAST-ICA απαιτείται η συνάρτηση ICA, δηλαδή δύο m-files όπου το πρώτο περιλαμβάνει τον κώδικα FAST-ICA1 και το δεύτερο τον κώδικα ICA. Τα δύο αυτά m-files βρίσκονται στο παράρτημα της εργασίας, όπου εξηγείται ο τρόπος λειτουργίας τους. Στο σχήμα 45 βλέπουμε το συνολικό σήμα διάρκειας πέντε ετών του καναλιού μηδέν (ch0). 114

115 Σχήμα 45: Το σήμα διάρκειας πέντε ετών του ch0. Στο επόμενο σχήμα παρουσιάζεται το 1-D σήμα μίξης που χρησιμοποιούμε σε αυτή την εφαρμογή. Σχήμα 46: Το 1-D σήμα μίξης. Η μορφή των πέντε σημάτων διάρκειας μιας εβδομάδας παρουσιάζεται στο παρακάτω σχήμα. 115

116 Σχήμα 47: Τα πέντε σήματα διάρκειας μιας εβδομάδας. Ενώ στο σχήμα 48 φαίνονται τα αρχικά σήματα (που έχει εφαρμοστεί καθυστέρηση), καθώς και τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. (α) 116

117 (β) Σχήμα 48: (α) Τα αρχικά σήματα. (β) Τα αποτελέσματα που επιστρέφει ο αλγόριθμος FAST-ICA. Μετά την εκτέλεση του αλγορίθμου στο Command Window του Matlab επιστρέφονται οι υπολογισμοί που έγιναν. Συγκεκριμένα, οι τιμές που επέστρεψε είναι ο πίνακας στηλών Υ των ανεξάρτητων συνιστωσών μεγέθους 600Χ1. Χρησιμοποιώντας τις τιμές του πίνακα Υ αναπαριστούμε τις αντίστοιχες γραμμές των αποτελεσμάτων για να απεικονίσουμε τις ανεξάρτητες συνιστώσες (σήματα των πηγών). Στα αποτελέσματα των υπολογισμών υπάρχει και ο πίνακας μετασχηματισμού W (τετραγωνικός), όπου Y=(W*X ) και στη συγκεκριμένη περίπτωση έχει μόνο μία πραγματική τιμή. Άλλο ένα στοιχείο του υπολογισμού είναι η σύγκλιση P, όπου είναι το άθροισμα του abs(w*x ) και αυτή έχει μόνο μία τιμή. Παρατηρούμε ότι για κάθε σήμα, μετά την εφαρμογή του αλγορίθμου στα σήματα μίξης τα αποτελέσματα είναι τα ίδια με τα αρχικά. Άρα η μέθοδος ICA με την τεχνική καθυστέρησης ακόμα και στην εφαρμογή των γεωηλεκτρικών σημάτων δίνει σωστά αποτελέσματα, με τη βοήθεια του αλγόριθμου FAST-ICA. 5.6 ΣΥΜΠΕΡΑΣΜΑΤΑ Στο κεφάλαιο 5 αναλύσαμε τα αποτελέσματα που επιτυγχάνονται με τη διαδικασία ανάλυσης ανεξάρτητων συνιστωσών (ICA) σε σήματα (πρότυπα, ηχητικά και γεωηλεκτρικά), καθώς και σε έγχρωμες εικόνες. Συγκεκριμένα εστιαστήκαμε στις λύσεις που δίνονται από τον αλγόριθμο FAST-ICA, ο οποίος χρησιμοποιήθηκε σε σήματα και εικόνες μίξης. Τέλος, διαπιστώσαμε ότι με τη μέθοδο ICA και χρησιμοποιώντας τον 117