Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών

Transcript

1 ΠΑΝΕΠΙΣΤΗΜΙΟ ΠΑΤΡΩΝ ΤΜΗΜΑ ΗΛΕΚΤΡΟΛΟΓΩΝ ΜΗΧΑΝΙΚΩΝ ΚΑΙ ΤΕΧΝΟΛΟΓΙΑΣ ΥΠΟΛΟΓΙΣΤΩΝ ΤΟΜΕΑΣ: Τηλεπικοινωνιών & Τεχνολογίας Πληροφορίας ΕΡΓΑΣΤΗΡΙΟ Ενσύρματης Τηλεπικοινωνίας Διπλωματική Εργασία του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών της Πολυτεχνικής Σχολής του Πανεπιστημίου Πατρών Ελένη Βερτεούρη του Σπυρίδωνος Αριθμός Μητρώου: 6481 Θέμα «Κατασκευή συστήματος Αναγνώρισης Προτύπων Ηχητικών Σημάτων Ανθρώπου που Κοιμάται» Επιβλέπων Δερματάς Ευάγγελος Αριθμός Διπλωματικής Εργασίας: Πάτρα, Οκτώβριος 2011

2 ΠΙΣΤΟΠΟΙΗΣΗ Πιστοποιείται ότι η Διπλωματική Εργασία με θέμα «Κατασκευή συστήματος Αναγνώρισης Προτύπων Ηχητικών Σημάτων Ανθρώπου που Κοιμάται» Του φοιτητή του Τμήματος Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών Ελένη Βερτεούρη του Σπυρίδωνος Αριθμός Μητρώου: 6481 Παρουσιάστηκε δημόσια και εξετάστηκε στο Τμήμα Ηλεκτρολόγων Μηχανικών και Τεχνολογίας Υπολογιστών στις.../../ Ο Επιβλέπων Δερματάς Ευάγγελος Αναπληρωτής Καθηγητής Ο Διευθυντής του Τομέα Αντωνακόπουλος Θεόδωρος Καθηγητής

3 Αριθμός Διπλωματικής Εργασίας: Θέμα: «Κατασκευή συστήματος Αναγνώρισης Προτύπων Ηχητικών Σημάτων Ανθρώπου που Κοιμάται» Φοιτητής: Ελένη Βερτεούρη Επιβλέπων: Δερματάς Ευάγγελος Περίληψη Το θέμα της κατασκευής ενός συστήματος αναγνώρισης προτύπων για τα ηχητικά σήματα ενός ανθρώπου που κοιμάται είναι ένα από τα ανοιχτά ζητήματα της Βιοιατρικής. Στην παρούσα διπλωματική εξετάζουμε την εξαγωγή ερμηνεύσιμων σημάτων που αντιστοιχούν στον καρδιακό ρυθμό, την αναπνοή και το ροχαλητό. Χρησιμοποιούμε μεθόδους Ανάλυσης σε Ανεξάρτητες Συνιστώσες και μεθόδους Τυφλού Διαχωρισμού που εκμεταλεύονται Στατιστικές Δεύτερης Τάξης. Συμπεραίνουμε ότι οι δεύτερες είναι οι πλέον κατάλληλες όταν συνοδεύονται από ένα στάδιο προεπεξεργασίας που αφορά ανάλυση σε ζώνες συχνοτήτων.

4

5 Περίληψη Το ϑέµα της κατασκευής ενός συστήµατος αναγνώρισης προτύπων για τα ηχητικά σήµατα ε- νός ανθρώπου που κοιµάται είναι ένα από τα ανοιχτά Ϲητήµατα της Βιοιατρικής. Στην παρούσα διπλωµατική εξετάζουµε την εξαγωγή ερµηνεύσιµων σηµάτων που αντιστοιχούν στον καρδιακό ϱυθµό, την αναπνοή και το ϱοχαλητό. Χρησιµοποιούµε µεθόδους Ανάλυσης σε Ανεξάρτητες Συνιστώσες και µεθόδους Τυφλού ιαχωρισµού που εκµεταλεύονται Στατιστικές εύτερης Τάξης. Συµπεραίνουµε ότι οι δεύτερες είναι οι πλέον κατάλληλες όταν συνοδεύονται από ένα στάδιο προεπεξεργασίας που αφορά ανάλυση σε Ϲώνες συχνοτήτων. ΘΕΜΑΤΙΚΗ ΠΕΡΙΟΧΗ: ιαχωρισµός σε Πηγές, Βιοιατρική ΛΕΞΕΙΣ ΚΛΕΙ ΙΑ : Ανάλυση σε Ανεξάρτητες Συνιστώσες, FASTICA, SOBI-RO

6

7 Abstract The design of a non-intrusive Pattern Recognition System to estimate the sleep sounds is an open problem of Bioengineering. We use recordings from body-sensors to estimate the heart beat, the breathing and the snoring. In this thesis we examine the effectiveness of Independent Component Analysis for this Blind Source Separation Problem and we compare it with methods that perform Source Separation using Second Order Statistics. We take into account the temporal structure of the sources as well as the presence of noise. Our system is greatly improved by a pre-processing stage of targeted subband decomposition which uses a priori knowledge about the sources. We propose an efficient solution to this problem which is confirmed by medical data. SUBJECT AREA: Source Separation, Bioengineering, Human Sounds KEYWORDS: Independent Component Analysis, FASTICA, SOBI-RO

8

9 Στους δασκάλους µου

10

11 Ευχαριστίες Θα ήθελα να ευχαριστήσω ϑερµά τον κ. ερµατά για την αµέριστη ϐοήθεια του, για την επίλυση παντός είδους αποριών, για την ουσιαστική του συµβολή στην ολοκλήρωση της διπλωµατικής και κυρίως για την πρόταση ενός τόσο ενδιαφέροντος ϑέµατος. Θα ήθελα επίσης να ευχαριστήσω τους γονείς µου για την συµπαράσταση και στήριξη που µου παρείχαν όπως και σε όλη τη διάρκεια της Ϲωής µου. Τέλος ϑα ήθελα να ευχαριστήσω ϕίλους και καθοδηγητές που µε ενέπνευσαν και συνέβαλαν µε τις συµβουλές τους να ασχοληθώ µε το παρόν ϑέµα διπλωµατικής µε επιτυχία.

12

13 Περιεχόµενα Πρόλογος 17 1 Εισαγωγή Ορισµός του προβλήµατος Εντροπία Ανάλυση σε κύριες συνιστώσες ΑΚΣ µε µεγιστοποίηση της διασποράς Υποθέσεις Αδυναµίες Κανονικοποίηση ως προς τον µέσο όρο των µεταβλητών Λεύκανση Ο αλγόριθµος Γιατί η ΑΑΣ είναι πιο ισχυρή από τη λεύκανση Λεύκανση ως ϐήµα προεπεξεργασίας Ανάλυση σε ανεξάρτητες συνιστώσες ΑΑΣ µε µεγιστοποίηση της µη κανονικότητας Γενική περίπτωση κύρτωσης Άλλες προσεγγίσεις της αρνητικής εντροπίας ( Negentropy )

14 2.4 Ελαχιστοποίηση κοινής πληροφορίας Κοινή πληροφορία Ορισµός της ΑΑΣ µέσω της κοινής πληροφορίας Εκτίµηση µέγιστης πιθανοφάνειας Η αρχή Infomax Σύνδεση µε την κοινή πληροφορία ΑΑΣ και Projection Pursuit FastICA Ο αλγόριθµος Υπολογίζοντας µία ανεξάρτητη συνιστώσα Υπολογίζοντας πολλές διαφορετικές συνιστώσες Semi adaptive αλγόριθµος Στη γενική περίπτωση FastICA για µία συνιστώσα Στη γενική περίπτωση FastICA για πολλές συνιστώσες FastICA και µέγιστη πιθανοφάνεια Σύνοψη FastICA Contrast συναρτήσεις Ιδιότητες των Contrast Συναρτήσεων Συνοχή Ασυµπτωτική διασπορά Σθεναρότητα (Robustness) Επιλογή contrast συνάρτησης Απόδοση εκθετικών συναρτήσεων Πρακτικά κριτήρια contrast συναρτήσεων Ελένη Βερτεούρη 10

15 4.3.1 Υπολογιστική απλότητα Σειρά υπολογισµού συνιστωσών Στατιστικές εύτερης Τάξης Τυφλός ιαχωρισµός Πηγών µε χρήση στατιστικών εύτερης Τάξης Υποθέσεις Λεύκανση Ορίζοντας τον ορθογώνιο παράγοντα Αλγόριθµος SOBI Αλγόριθµος SOBI-RO Ο αλγόριθµος Φυσικά χαρακτηριστικά Φυσιολογία του προβλήµατος Συσχετίσεις ήχων του ανθρωπίνου σώµατος Πειραµατικά εδοµένα FastICA Εφαρµογή Ανάλυση σε Ϲώνες υψηλών και χαµηλών συχνοτήτων SOBI-RO Στοχευµένος διαχωρισµός σε Ϲώνες συχνοτήτων Εφαρµογή αλγορίθµου SOBI-RO Scatter ιαγράµµατα Σύγκριση ΑΑΣ και Στατιστικών εύτερης Τάξης Σύγκριση SOBI και SOBI-RO Ελένη Βερτεούρη 11

16 7.2.6 Χρονικές καθυστερήσεις είκτες απόδοσης SIR Monte Carlo analysis Performance Index PI Συµπεράσµατα Επίλογος 105 Βιβλιογραφία 107 Ελένη Βερτεούρη 12

17 Ελένη Βερτεούρη 13

18 Κατάλογος Σχηµάτων 2.1 Τα δεδοµένα χωρίζονται σε δύο οµάδες συγκεντρώσεων, clusters. [18] Ηχογράφηση της καρδιάς, των πνευµόνων και του ϱοχαλητού από έναν αισθητήρα στο ανθρώπινο σώµα, κοµµάτι στηθοσκοπίου [21] ιάστηµα 11 δευτερολέπτων ηχογράφησης χωρίς ϱοχαλητό( αισθητήρες 2 και 3) ιάστηµα 12 δευτερολέπτων ηχογράφησης µε ϱοχαλητό (αισθητήρες 2 και 3) Παραδείγµατα Α. ϱυθµικού Β. µη ϱυθµικού ϱοχαλητού [12]. Τα σήµατα αφορούν ένα χρονικό διάστηµα 3 λεπτών. Η περιοδικότητα του δείγµατος Α είναι κανονική, ενώ στο Β η περιοδικότητα διαφέρει στο χρόνο Ροχαλητό ασθενή που πάσχει από ϕράξη του ανώτερου αεραγωγού, όπου f R1 η κύρια συχνότητα του ϱοχαλητού s s και kf R1 οι ανώτερες αρµονικές Αµοιβαίες συσχετίσεις των διαφορετικών πηγών ηχητικών σηµάτων του ανθρωπίνου σώµατος µε ϕορά επιρροής [21] Ηχογραφήσεις ιαχωρισµός µε FastICA pow Scatter ιαγράµµατα για διαχωρισµό µε FastICA pow ιαχωρισµός µε FastICA tanh Scatter ιαγράµµατα για διαχωρισµό µε FastICA tanh ιαχωρισµός µε FastICA gauss Scatter ιαγράµµατα για διαχωρισµό µε FastICA gauss

19 7.8 ιαχωρισµός µε FastICA skew Scatter ιαγράµµατα για διαχωρισµό µε FastICA skew Μίξεις στις χαµηλές συχνότητες Μίξεις στις υψηλές συχνότητες ιαχωρισµός χαµηλών συχνοτήτων µε FastICA pow Scatter ιαγράµµατα για διαχωρισµό χαµηλών συχνοτήτων µε FastICA pow ιαχωρισµός υψηλών συχνοτήτων µε FastICA pow Scatter ιαγράµµατα για διαχωρισµό υψηλών συχνοτήτων µε FastICA pow Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων της αναπνοής [0, 15 0, 45]Hz Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων του καρδιακού ϱυθµού [0, 8 2]Hz Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων του ϱοχαλητού [40 50]Hz Επιλεγµένες µίξεις µετά την προεπεξεργασία στο πεδίο συχνότητας ιαχωρισµός ϕιλτραρισµένων µίξεων µε SOBI-RO Scatter ιαγράµµατα µεταξύ µίξεων και εκτιµώµενων συνιστωσών για διαχωρισµό ϕιλτραρισµένων µίξεων µε SOBI-RO Scatter ιαγράµµατα εκτιµώµενων συνιστωσών για διαχωρισµό ϕιλτραρισµένων µίξεων µε χρήση του αλγορίθµου SOBI-RO Scatter ιαγράµµατα ϕιλτραρισµένων σηµάτων Εκτιµώµενο ϱοχαλητό σε µεγάλη κλίµακα Σήµα καρδιακού ϱυθµού που εκτιµήθηκε από τα ϕιλτραρισµένα σήµατα µε τεχνική deflation από τον SOBI-RO ιαχωρισµός ϕιλτραρισµένων σηµάτων µε FastICA pow Σήµα αναπνοής που εκτιµήθηκε από τα ϕιλτραρισµένα σήµατα µε τον SOBI-RO ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI µε 4 µήτρες συσχέτισης χρονικής καθυστέρησης Ελένη Βερτεούρη 15

20 7.29 ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO µε 4 µήτρες συσχέτισης χρονικής καθυστέρησης ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 100 µήτρες συσχέτισης χρονικής καθυστέρησης ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 1000 µήτρες συσχέτισης χρονικής καθυστέρησης ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 2000 µήτρες συσχέτισης χρονικής καθυστέρησης είκτης απόδοσης SIR A για τον αλγόριθµο SOBI-RO µε 100 µήτρες συσχέτισης χρονικής καθυστέρησης σε ϕιλτραρισµένα σήµατα είκτης απόδοσης SIR S για τον αλγόριθµο SOBI-RO µε 100 µήτρες συσχέτισης χρονικής καθυστέρησης σε ϕιλτραρισµένα σήµατα Monte Carlo analysis για τον δείκτη SIR A Monte Carlo analysis για τον δείκτη SIR S D αναπαράσταση της µήτρας G Ελένη Βερτεούρη 16

21 Πρόλογος Το πρόβληµα που αντιµετωπίζει η παρούσα διπλωµατική είναι η προτυποποίηση συστήµατος Αναγνώρισης Προτύπων ηχητικών σηµάτων ανθρώπου που κοιµάται µε εφαρµογή σε ηχογρα- ϕήσεις αισθητήρων στο ανθρώπινο σώµα. Σκοπός είναι η εκτίµηση του καρδιακού ϱυθµού, της αναπνοής και του ϱοχαλητού. Χρησιµοποιείται το λογισµικό MATLAB. Η Ανάλυση σε Ανεξάρτητες Συνιστώσες είναι µία ευρέως αποδεκτή τεχνική Τυφλού ιαχω- ϱισµού σε Πηγές όταν έχουµε µικρή ή καθόλου γνώση για το ϕυσικό πρόβληµα. Βασικό της χαρακτηριστικό είναι η υπόθεση ανεξαρτησίας µεταξύ των πηγών και η κατάλληλη ποσοτικοποίηση της διαφορετικότητας των σηµάτων πηγών. Μελετούµε τη σχέση και τις οµοιότητές της µε άλλες τεχνικές της ίδιας οικογένειας καθώς και τη γενίκευσή της για πολλαπλές πηγές και διάφορα µέτρα διαφορετικότητας των σηµάτων. Εξετάζουµε στην παρούσα διπλωµατική την καταλληλότητά του αλγορίθµου ΑΑΣ FASTICA για το πρόβληµα. Λόγω της ενδιαφέρουσας χρονικής δοµής των σηµάτων µας προχωρούµε σε προεπεξεργασία των δεδοµένων στο πεδίο συχνότητας. Βρίσκεται ότι η αξιοποίηση της γνώσης που έχουµε εκ των προτέρων για τα σήµατα είναι ουσιώδης και απαραίτητη για την επίλυση του προβλήµατος. Η µέθοδος Τυφλού ιαχωρισµού σε πηγές µε χρήση Στατιστικών εύτερης Τάξης στόχο έχει να µειώσει τις συσχετίσεις ανάµεσα στα σήµατα έτσι ώστε να εξαχθούν τα σήµατα πηγών ενώ δεν δεσµεύεται από τις συναρτήσεις πυκνότητας πιθανότητας που αυτά έχουν. Παρουσιάζεται µέ- ϑοδος διαχωρισµού των σηµάτων σε γραµµικό µοντέλο µίξης µε ϑόρυβο µε ϐάση τον αλγόριθµο SOBI-RO. Εξετάζουµε τη σχέση ανάµεσα στο ποσό χρονικής πληροφορίας που δέχεται το σύστηµα και στην ϐελτίωση της εξόδου και αντιµετωπίζουµε το πρόβληµα σθεναρότητας απέναντι στο ϑόρυβο. Γίνεται σύγκριση των διαφορετικών µεθόδων και παρουσιάζεται ένα αποτελεσµατικό και υ- λοποιήσιµο σύστηµα διαχωρισµού των σηµάτων του προβλήµατος. Τα δεδοµένα της ανάλυσης µας επιβεβαιώνονται από ιατρικές µελέτες και ορίζεται η ϐασική κατεύθυνση αντιµετώπισης του τέτοιου είδους ϐιοιατρικών προβληµάτων. 17

22 Ελένη Βερτεούρη 18

23 Κεφάλαιο 1 Εισαγωγή Η ανάλυση σε ανεξάρτητες συνιστώσες (ΑΑΣ) ή αλλιώς Independent Component Analysis (ICA) είναι µία στατιστική και υπολογιστική µέθοδος η οποία αποκαλύπτει κρυµµένους παράγοντες σε ένα σύνολο τυχαίων µεταβλητών, µετρήσεων ή σηµάτων. Η ΑΑΣ ορίζει ένα µοντέλο για τα παρατηρούµενα πολυδιάστατα δεδοµένα, τα οποία συνήθως δίνονται σαν µια µεγάλη ϐάση δεδοµένων δειγµάτων. Στο µοντέλο τα δεδοµένα ϑεωρούνται γραµµικές ή µη µίξεις από κάποιες άγνωστες µεταβλητές, ενώ ο τρόπος µίξης είναι και αυτός άγνωστος. Οι µεταβλητές ϑεωρούνται γκαουσιανές και αµοιβαία ανεξάρτητες και ονοµάζονται οι ανεξάρτητες συνιστώσες των παρατηρούµενων δεδοµένων. Η ΑΑΣ µπορεί να ϑεωρηθεί σαν µία επέκταση της ανάλυσης σε κύριες συνιστώσες (Principal Component Analysis, PCA) όµως η ΑΑΣ είναι µία πολύ περισσότερο δυνατή τεχνική που είναι ικανή να ϐρίσκει τους υποκείµενους παράγοντες ακόµα και όταν η προηγούµενη µέθοδος αποτυγχάνει πλήρως. Τα δεδοµένα προς ανάλυση από την ΑΑΣ µπορεί να προέρχονται από πολλούς διαφορετικούς τοµείς όπως οι ψηφιακές εικόνες και ϐάσεις δεδοµένων αρχείων, ακόµα και οικονοµικοί δείκτες ή ψυχοµετρικές µετρήσεις. Σε πολλές περιπτώσεις οι µετρήσεις δίνονται σαν ένα σύνολο από παράλληλα σήµατα ή χρονοσειρές,όπου ο όρος τυφλός διαχωρισµός σε πηγές (Blind Source Separation, BSS) χρησιµοποιείται για να περιγράψει το πρόβληµα. Τυπικά παραδείγµατα είναι οι ταυτόχρονες µίξεις από σήµατα λόγου τα οποία έχουν ηχογραφηθεί από πολλούς αισθητή- ϱες, εγκεφαλικά κύµατα, σήµατα ϱαδιοφώνου που ϕτάνουν σε κινητό τηλέφωνο ή παράλληλες χρονοσειρές που έχουν αποκτηθεί από κάποια ϐιοµηχανική διεργασία. Αυτό που διακρίνει την ΑΑΣ από τις άλλες µεθόδους είναι ότι αναζητά πηγές που είναι αµοι- ϐαία στατιστικά ανεξάρτητες και µη γκαουσιανές. Ενα ϐασικό πρόβληµα στη στατιστική είναι η 19

24 περιγραφή πολυδιάστατων δεδοµένων. Η περιγραφή σηµαίνει ότι µε κάποιο τρόπο µετατρέπου- µε τα δεδοµένα σε κάποια µορφή στην οποία η ϐασική δοµή τους είναι πιο εµφανής ή προσιτή. Στα νευρωνικά δίκτυα αυτό το ϐασικό πρόβληµα ανήκει στην εκπαίδευση χωρίς επίβλεψη, αφού η περιγραφή των δεδοµένων πρέπει να διδαχθεί από τα δεδοµένα χωρίς εξωτερική είσοδο. Μία καλή παρουσίαση των δεδοµένων είναι ακόµη ο ϐασικός στόχος πολλών τεχνικών εξόρυξης γνώσης, στην επεξεργασία σήµατος το ίδιο πρόβληµα παρουσιάζεται στην εξαγωγή χαρακτηριστικών και επίσης στον διαχωρισµό των πηγών όπως αναφέρεται παρακάτω. 1.1 Ορισµός του προβλήµατος Ας υποθέσουµε ότι τα δεδοµένα αποτελούνται από ένα αριθµό µεταβλητών οι οποίες έχουν παρατηρηθεί µαζί. Ας ορίσουµε τον αριθµό των µεταβλητών ως m και τον αριθµό των παρατηρήσεων ως Τ. Τότε περιγράφουµε τα δεδοµένα µε x i (t) όπου οι δείκτες παίρνουν τις τιµές i = 1,..., m, t = 1,..., T. Οι διαστάσεις των m, T µπορεί να είναι πολύ µεγάλες. Μία γενίκευση του προβλήµατος µπορεί να οριστεί ακολούθως : Ποια ϑα µπορούσε να είναι µια συνάρτηση από έναν χώρο m διαστάσεων έτσι ώστε οι τροποποιηµένες µεταβλητές να πα- ϱέχουν πληροφορία για τα δεδοµένα η οποία ϑα ήταν κρυµµένη αλλιώς. Οι τροποποιηµένες αυτές µεταβλητές ϑα είναι οι υποκείµενοι παράγοντες ή συστατικά που περιγράφουν τη ϐασική δοµή των δεδοµένων. Απώτερος σκοπός είναι τα δοµικά αυτά στοιχεία να αντιστοιχούν σε κάποια ϕυσικά αίτια τα οποία ενεπλάκησαν στη διαδικασία που δηµιούργησε τα δεδοµένα αρχικά. Στις περισσότερες περιπτώσεις χρησιµοποιούµε µόνο γραµµικές συναρτήσεις γιατί η ερµηνεία της παρουσίασης γίνεται απλούστερη όπως και η υπολογιστική διαδικασία. Ετσι κάθε δοµικό στοιχείο y i εκφράζεται σαν ένας γραµµικός συνδυασµός των παρατηρούµενων µεταβλητών y i (t) = j w ij x j (t), για i = 1,..., n, j = 1,..., m (1.1) όπου τα w ij είναι κάποιοι πολλαπλασιαστές που ορίζουν την αναπαράσταση. Το πρόβληµα µπορεί να εκφραστεί και ως ο καθορισµός των w ij. Χρησιµοποιώντας γραµµική άλγεβρα αναπαριστούµε την παραπάνω σχέση σαν πολλαπλασιασµό πινάκων. Οι παράγοντες w ij γίνονται η µήτρα και η εξίσωση γίνεται Ελένη Βερτεούρη 20

25 y 1 (t) x 1 (t) y 2 (t). = x W 2 (t). y n (t) x m (t) (1.2) Μία τακτική για τον καθορισµό της µήτρας W είναι η ανεξαρτησία, τα συστατικά στοιχεία y i πρέπει να είναι στατιστικά ανεξάρτητα. Αυτό σηµαίνει ότι η τιµή ενός από τα στοιχεία δεν ϑα πρέπει να παρέχει πληροφορία για την τιµή των υπόλοιπων στοιχείων. Στην παραγοντική α- νάλυση (factor analysis) ϑεωρείται ότι οι παράγοντες είναι ανεξάρτητοι, όµως υποθέτει ότι τα δεδοµένα ακολουθούν γκαουσιανή κατανοµή. Αν τα δεδοµένα είναι γκαουσιανά είναι ευκολότερο να ϐρεθούν οι συνιστώσες καθώς τα ασυσχέτιστα δεδοµένα είναι πάντα και ανεξάρτητα. ύο διανύσµατα τυχαίων µεταβλητών x, y είναι ασυσχέτιστα αν έχουν µήτρα συσχέτισης C xy ίση µε το µηδέν. Η µήτρα συσχέτισης ορίζεται ως εξής : C xy = E{[x m x )(y m y ) T } = 0 που για σήµατα µε µηδενικό µέσο όρο όπως συνήθως ϑεωρούµε στην ΑΑΣ ισοδυναµεί µε την έκφραση R xy = E{xy T } = E{x}E{y T } = m x m T y Στην πραγµατικότητα όµως τα δεδοµένα δεν ακολουθούν τέτοια κατανοµή για αυτό και η ΑΑΣ είναι προτιµότερη. Από την οπτική γωνία της επεξεργασίας σήµατος ϑεωρούµε την παρακάτω περίπτωση, έστω ότι υπάρχει ένας αριθµός από σήµατα που εκπέµπονται από κάποια ϕυσικά αντικείµενα ή πηγές. Αυτές οι ϕυσικές πηγές ϑα µπορούσαν να είναι π.χ. διαφορετικές περιοχές του εγκεφάλου που εκπέµπουν ηλεκτρικά σήµατα ή κινητά τηλέφωνα που εκπέµπουν ϱαδιοκύµατα. Υποθέτουµε στη συνέχεια ότι υπάρχουν διαφορετικοί αισθητήρες ή δέκτες, οι οποίοι ϐρίσκονται σε σχετικά διαφορετικές ϑέσεις έτσι ώστε ο καθένας να καταγράφει µία µίξη των αρχικών σηµάτων µε ελαφρά διαφορετικά ϐάρη. Στην περίπτωση αυτή ϑα ϑεωρήσουµε τρία υποκείµενα σήµατα πηγών και επίσης τρία πα- Ελένη Βερτεούρη 21

26 ϱατηρούµενα σήµατα. Ορίζουµε ως x 1 (t), x 2 (t) και x 3 (t) τα παρατηρούµενα σήµατα σε κάποια χρονική στιγµή t και µε s 1 (t), s 2 (t) και s 3 (t) τα αρχικά σήµατα. Τα x i (t) είναι τότε τα Ϲυγισµένα αθροίσµατα των s i (t), όπου οι συντελεστές εξαρτώνται από τις αποστάσεις ανάµεσα στις πηγές και στους αισθητήρες : x 1 (t) = a 11 s 1 (t) + a 12 s 2 (t) + a 13 s 3 (t) x 2 (t) = a 21 s 1 (t) + a 22 s 2 (t) + a 23 s 3 (t) (1.3) x 3 (t) = a 31 s 1 (t) + a 32 s 2 (t) + a 33 s 3 (t) Τα a ij είναι οι σταθερές που λειτουργούν ως οι συντελεστές µίξης. Υποτίθεται ότι είναι άγνωστες, καθώς δεν µπορούµε να τα γνωρίζουµε χωρίς να γνωρίζουµε όλες τις ιδιότητες του ϕυσικού συστήµατος µίξης, το οποίο είναι πολύ δύσκολο γενικά. Τα σήµατα πηγών s ij είναι επίσης άγνωστα, αφού το ίδιο το πρόβληµα είναι ότι δεν µπορούµε να τα καταγράψουµε απευθείας. Στόχος µας είναι να υπολογίσουµε τα αρχικά σήµατα από τις µίξεις x 1 (t), x 2 (t) και x 3 (t). Αυτό είναι ένα πρόβληµα τυφλού διαχωρισµού σε πηγές καθώς γνωρίζουµε ελάχιστα ή τίποτα για τις αρχικές πηγές. Μπορούµε να υποθέσουµε µε ασφάλεια ότι οι σταθερές µίξης είναι αρκετά διαφορετικές έτσι ώστε η µήτρα που σχηµατίζουν να είναι αντιστρέψιµη. Εποµένως υπάρχει µήτρα W µε σταθερές w ij έτσι ώστε να µπορούµε να ξεχωρίσουµε τα s ij ως εξής : s 1 (t) = w 11 x 1 (t) + w 12 x 2 (t) + w 13 x 3 (t) s 2 (t) = w 21 x 1 (t) + w 22 x 2 (t) + w 23 x 3 (t) (1.4) s 3 (t) = w 31 x 1 (t) + w 32 x 2 (t) + w 33 x 3 (t) Μία τέτοια µήτρα W ϑα µπορούσε να ϐρεθεί ως η αντίστροφη της µήτρας που αποτελείται από τις σταθερές µίξης a ij της εξίσωσης (1.3), εάν τις γνωρίζαµε. Σε πραγµατικές εφαρµογές οι συνιστώσες γενικά δεν είναι ανεξάρτητες, αλλά µπορούµε να υπολογίσουµε συνιστώσες οι οποίες είναι όσο το δυνατό πιο ανεξάρτητες. Εποµένως ορίζουµε την ΑΑΣ σαν ένα γραµµικό µετασχηµατισµό που δίνεται από τη µήτρα W, έτσι ώστε οι τυχαίες µεταβλητές y i, i = 1,..., n είναι όσο γίνεται πιο ανεξάρτητες. Η ανεξαρτησία των δεδοµένων είναι πολύ πιο ισχυρή ιδιότητα από την ασυσχέτιση. Αυτός είναι ο ϐασικός λόγος που η ΑΑΣ επιτυγχάνει σε περιπτώσεις που η ΑΚΣ (PCA) δεν είναι αρκετή. Ελένη Βερτεούρη 22

27 Με χρήση τεχνικών ασυσχέτισης µπορεί κανείς να µετατρέψει µια γραµµική µίξη από ανεξάρτητες συνιστώσες σε ασυσχέτιστες συνιστώσες. Μία ϐασική αρχή της ΑΑΣ εποµένως είναι ότι ο υπολογισµός της µήτρας W γίνεται έτσι ώστε για κάθε i j, οι συνιστώσες y i και y j είναι ασυσχέτιστες αλλά και οι µετασχηµατισµένες συνιστώσες g(y i ), h(y j ) είναι επίσης ασυσχέτιστες, όπου g, h κάποιες κατάλληλες µη γραµµικές συναρτήσεις. Μία άλλη ϐασική ιδιότητα της ΑΑΣ είναι η εύρεση όσο το δυνατό πιο µη γκαουσιανών συνιστωσών. Ο λόγος για την ιδιότητα αυτή είναι ότι αν µία συνιστώσα ήταν µίξη δύο άλλων στοιχείων τότε ϑα ήταν περισσότερο γκαουσιανή από την ανεξάρτητη συνιστώσα λόγω του ϑεωρήµατος κεντρικού ορίου (central limit theorem). Θεώρηµα. Θεωρούµε το µερικό άθροισµα της σειράς των τυχαίων µεταβλητών z i οι οποίες είναι ανεξάρτητες και ακολουθούν την ίδια κατανοµή. x k = n i=1 z i Θεωρούµε τις κανονικοποιηµένες µεταβλητές y k = x k m xk σ xk όπου τα m xk και σ xk είναι ο µέσος όρος και η διασπορά της x k. Μπορεί να δειχθεί ότι η κατανοµή της y k συγκλίνει σε µια γκαουσιανή κατανοµή µε µηδενικό µέσο όρο και µοναδιαία διασπορά όταν n. Εποµένως η αρχή αυτή διατυπώνεται ως εξής : Εύρεση του τοπικού µεγίστου της µη γκαουσιανής ιδιότητας του γραµµικού συνδυασµού y = i b ix i υπό τον περιορισµό ότι η διακύµανση της y είναι σταθερή. Κάθε τοπικό µέγιστο δίνει µία ανεξάρτητη συνιστώσα. Για να µετρήσουµε τη µη κανονικότητα (γκαουσιανή ιδιότητα) στην πράξη ϑα µπορούσαµε να χρησιµοποιήσουµε την κύρτωση. 1.2 Εντροπία Η διαφορική εντροπία H µπορεί να ερµηνευθεί σαν ένα µέτρο τυχαιότητας όπως η εντροπία για τις διακριτές µεταβλητές. Αν η τυχαία µεταβλητή είναι συγκεντρωµένη σε συγκεκριµένα µικρά διαστήµατα, η διαφορική εντροπία είναι µικρή. Προκύπτει ότι η γκαουσιανή µεταβλητή έχει τη Ελένη Βερτεούρη 23

28 µεγαλύτερη εντροπία ανάµεσα σε όλες τις µεταβλητές µε µοναδιαία διασπορά, αυτό σηµαίνει ότι η εντροπία µπορεί να ϑεωρηθεί ένα µέτρο της µη κανονικότητας της τυχαίας µεταβλητής. H είναι η διαφορική εντροπία µιας τυχαίας µεταβλητής x µε πυκνότητα p x ( ) ορίζεται ως : H(x) = p x log p x (ξ)dξ = f(p x (ξ))dξ Η J είναι ένα µέτρο που είναι µηδέν για τη γκαουσιανή µεταβλητή και πάντα µη αρνητικό µπορεί να εξαχθεί από τη διαφορική εντροπία και λέγεται αρνητική εντροπία (negentropy ). Ορίζεται ως εξής : J(x) = H(x gauss ) H(x) όπου η x gauss είναι µία γκαουσιανή τυχαία µεταβλητή από την ίδια µήτρα συνδιασποράς Σ µε τη x. Λόγω της προηγούµενης µέγιστης ιδιότητας της γκαουσιανής κατανοµής η αρνητική εντροπία είναι πάντα µη αρνητική. Επίσης είναι µηδέν αν και µόνο αν η x έχει µία γκαουσιανή κατανοµή, αφού η κατανοµή µέγιστης εντροπίας είναι µοναδική. Η αρνητική εντροπία έχει ακόµα την ιδιότητα να είναι αµετάβλητη για αντιστρέψιµους γραµ- µικούς συνδυασµούς [16]. Αυτό ισχύει επειδή για y = Mx έχουµε E{yy T } = MΣM T και χρησιµοποιώντας την αρνητική εντροπία προκύπτει ότι : J(Mx) = J(x) 1.3 Ανάλυση σε κύριες συνιστώσες Η ανάλυση σε κύριες συνιστώσες, ΑΚΣ, (Principal Component Analysis) [16] στοχεύει στο να ϐρει από ένα σύνολο πολυδιάστατων δεδοµένων ένα µικρότερο σύνολο µε λιγότερη περιττή πληροφο- ϱία, που ϑα έδινε µια όσο το δυνατό καλύτερη αναπαράσταση. Στην ΑΚΣ η περιττή πληροφορία µετράται από τις συσχετίσεις ανάµεσα στα δεδοµένα και έχει το πλεονέκτηµα να χρησιµοποιεί στατιστικά µεγέθη µόνο δεύτερης τάξης. Στον µετασχηµατισµό αυτό το διάνυσµα x κανονικοποιείται αφαιρώντας το µέσο όρο x x E{x} Ο µέσος όρος υπολογίζεται από το διαθέσιµο δείγµα x(1),..., x(t ). Ας υποθέσουµε ότι ο Ελένη Βερτεούρη 24

29 παραπάνω µετασχηµατισµός γίνεται και ότι E{x} = 0. Τότε το διάνυσµα x µετατρέπεται στο y που έχει m, m < n, έτσι ώστε η περιττή πληροφορία των συσχετίσεων έχει αποµακρυνθεί. Αυτό γίνεται ϐρίσκοντας ένα ορθογώνιο σύστηµα συντεταγµένων που έχει περιστραφεί έτσι ώστε τα στοιχεία του x στις νέες συντεταγµένες να είναι ασυσχέτιστα. Ταυτόχρονα οι διασπορές των προβολών του x στο νέο σύστηµα είναι µεγιστοποιηµένες έτσι ώστε ο πρώτος άξονας να αντιστοιχεί στη µέγιστη διασπορά, ενώ ο δεύτερος να αντιστοιχεί στη µέγιστη διασπορά σε κατεύθυνση ορθογώνια προς τον πρώτο άξονα, και ούτω καθεξής. Η ΑΚΣ είναι µία γραµµική τεχνική, οπότε ο υπολογισµός του y από το x δεν έχει µεγάλη υπολογιστική πολυπλοκότητα, πράγµα το οποίο επιτρέπει επεξεργασία πραγµατικού χρόνου ΑΚΣ µε µεγιστοποίηση της διασποράς Θεωρούµε το γραµµικό συνδυασµό y 1 = n w k1 x k = w1 T x k=1 όπου τα στοιχεία x 1,..., x n τα στοιχεία του διανύσµατος x. Τα w 11,..., w n1 είναι ϐάρη, στοιχεία ενός διανύσµατος n διαστάσεων w 1. Ο παράγοντας y 1 είναι η πρώτη κύρια συνιστώσα του x, αν η διασπορά του x είναι µέγιστη. Επειδή η διασπορά εξαρτάται από το µέτρο και την κατεύθυνση των διανυσµάτων στάθµισης w 1 και αυξάνει χωρίς όριο όσο το µέτρο αυξάνει, ϑεωρούµε τον περιορισµό ότι το µέτρο της w 1 είναι σταθερό και στην πράξη ίσο µε 1. Εποµένως αναζητούµε ένα διάνυσµα στάθµισης w 1 που µεγιστοποιεί το κριτήριο της ΑΚΣ J P CA 1 (w 1 ) = E{y 1 } = E{(w T 1 x) 2 } = w T 1 E{xx T }w 1 = w T 1 C x w 1 (1.5) έτσι ώστε w 1 = 1 Εδώ το E{ } είναι η εκτιµώµενη τιµή της (άγνωστης) πυκνότητας το διανύσµατος εισόδου x και το µέτρο w 1 είναι συνήθως το ευκλείδειο µέτρο που ορίζεται ως : n w 1 = (w1 T w 1 ) 1/2 = ( wk1) 2 2 (1.6) k=1 Ελένη Βερτεούρη 25

30 Η µήτρα C x στην 1.6 είναι η µήτρα n n συνδιασποράς της x δεδοµένου ενός διανύσµατος x µηδενικού µέσου όρου δίνεται από τη µήτρα συσχέτισης : C x = E{xx T } Από την γραµµική άλγεβρα έχουµε ότι η λύση στο πρόβληµα της ΑΚΣ δίνεται από τα ιδιοδιανύσµατα µοναδιαίου µήκους e 1,..., e n της µήτρας C x. Η σειρά των ιδιοδιανυσµάτων είναι τέτοια ώστε η αντίστοιχες ιδιοτιµές d 1,.., d n να ικανοποιούν d 1 d 2... d n. Η λύση της µεγιστοποίησης δίνεται από : w 1 = e 1 Εποµένως η πρώτη κύρια συνιστώσα του x είναι y 1 = e T 1 x. Το κριτήριο J P CA 1 στην εξίσωση 1.5 µπορεί να επεκταθεί και σε m κύριες συνιστώσες, όπου m ανάµεσα από 1 και n. Ορίζοντας τη m(1 m n) κύρια συνιστώσα από y m = w T mx,µε w m το αντίστοιχο µοναδιαίο µέτρο διανύσµατος ϐάρους, η διασπορά της y m είναι τώρα µέγιστη κάτω από τον περιορισµό ότι η y m είναι ασυσχέτιστη µε όλες τις προηγούµενες κύριες συνιστώσες : E{y m y k } = 0, k < m (1.7) Παρατηρούµε ότι όλες οι κύριες συνιστώσες έχουν µηδενικό µέσο όρο επειδή E{y m } = w T me{x} = 0 Από την 1.7 προκύπτει : E{y m y k } = E{(w T mx)(w T k x)} = w T mc x w k = 0 Για τη δεύτερη κύρια συνιστώσα έχουµε : w T 2 Cw 1 = d 1 w T 2 e 1 = 0 γιατί ήδη γνωρίζουµε ότι w 1 = e 1. Εποµένως Ϲητούµε την µέγιστη διασπορά E{y 2 2} = E{(w T 2 x) 2 } στο υποσύνολο που είναι ορθογώνιο στο πρώτο ιδιοδιάνυσµα της C x. Η λύση δίνεται από : w 2 = e 2 Ελένη Βερτεούρη 26

31 Εποµένως αναδροµικά προκύπτει ότι : w k = e k Εποµένως η k κύρια συνιστώσα είναι y k = e T k x. 1.4 Υποθέσεις Οι ανεξάρτητοι παράγοντες είναι στατιστικά ανεξάρτητοι. Θεωρούµε p(y 1, y 2,.., y n ) τη συνάρτηση πυκνότητας πιθανότητας από κοινού των y i και µε p i (y i ) την ατοµική συνάρτηση πυκνότητας πιθανότητας του y i. Τότε λέµε ότι τα y i είναι ανεξάρτητα αν η από κοινού συνάρτηση πυκνότητας πιθανότητας µπορεί να γραφεί στην ακόλουθη µορφή : p(y 1, y 2,.., y n ) = p 1 (y 1 )p 2 (y 2 )...p n (y n ) Οι ανεξάρτητες συνιστώσες ακολουθούν µη γκαουσιανές κατανοµές. Οι ϱοπές υψηλότερης τάξης είναι µηδέν για γκαουσιανές συνιστώσες, εποµένως ακατάλληλες για ΑΑΣ. Για απλότητα υποθέτουµε ότι η άγνωστη µήτρα µίξης είναι τετράγωνη. Με άλλα λόγια υποθέτουµε ότι ο αριθµός των ανεξάρτητων συνιστωσών είναι ίσος µε τον αριθµό των πα- ϱατηρούµενων µίξεων. Ετσι όταν υπολογίσουµε τη µήτρα µίξης χρειάζεται µόνο να την αντιστρέψουµε. Θεωρούµε τη µήτρα µίξης αντιστρέψιµη αλλιώς ϑα πρέπει να παραλείψουµε τα περιττά στοιχεία µίξης και ενδεχοµένως να καταλήξουµε σε µη τετράγωνη µήτρα. 1.5 Αδυναµίες εν µπορούµε να καθορίσουµε τις διασπορές (ενέργειες) των ανεξάρτητων συνιστωσών. Ο λόγος είναι ότι, αφού τα s και η A είναι άγνωστα, κάθε γραµµικός πολλαπλασιαστής ενός από τις πηγές s i µπορεί πάντα να ακυρωθεί διαιρώντας την αντίστοιχη στήλη a i της A µε τον ίδιο πολλαπλασιαστή, έστω α i : x = i ( 1 α i a i )(s i a i ) Ελένη Βερτεούρη 27

32 Σαν συνέπεια µπορούµε να προσαρµόσουµε τα πλάτη των ανεξάρτητων συνιστωσών. Ε- ϕόσον είναι τυχαίες µεταβλητές, ο πιο ϕυσικός τρόπος για το κάνουµε αυτό είναι να ϑεωρήσουµε ότι έχουν µοναδιαία διασπορά E{s 2 i } = 1. Παρατηρούµε όµως ότι παραµένει η ασάφεια του προσήµου, καθώς ϑα µπορούσε κανείς να πολλαπλασιάσει µια ανεξάρτητη συνιστώσα µε 1 χωρίς να επηρεάσει το µοντέλο. Αυτό όµως είναι µικρής σηµασίας στις περισσότερες εφαρµογές. εν µπορούµε να καθορίσουµε τη σειρά των ανεξάρτητων συνιστωσών. Ο λόγος είναι ότι αφού τα s και τα A είναι άγνωστα, µπορούµε να αλλάξουµε ελεύθερα τη σειρά στους όρους του αθροίσµατος και να ϑεωρήσουµε οποιαδήποτε συνιστώσα πρώτη. Μπορούµε να ϑεωρήσουµε µια µήτρα τροποποίησης P και την αντίστροφή της έτσι ώστε να ισχύει x = AP 1 P s. Τα στοιχεία της P s είναι οι αρχικές ανεξάρτητες µεταβλητές s j αλλά µε άλλη σειρά. Η µήτρα AP 1 είναι απλά µια νέα άγνωστη µήτρα µίξης προς λύση από τους αλγορίθµους της ΑΑΣ. 1.6 Κανονικοποίηση ως προς τον µέσο όρο των µεταβλητών Χωρίς ϐλάβη της γενικότητας υποθέτουµε ότι οι µεταβλητές µίξης και οι ανεξάρτητες συνιστώσες έχουν µέσο όρο µηδενικό. Αυτή η υπόθεση απλοποιεί τη ϑεωρία και τους αλγορίθµους. Αν η υπόθεση αυτή δεν ισχύει τότε εφαρµόζουµε κάποια προεπεξεργασία στα δεδοµένα έτσι ώστε να ισχύει. Αυτό γίνεται µε την κανονικοποίηση των µεταβλητών, δηλαδή αφαιρώντας το µέσο όρο τους. Αυτό σηµαίνει ότι οι αρχικές µίξεις x i προεπεξεργάζονται ως εξής [16]: x = x E{x } (1.8) πριν εφαρµόσουµε την ΑΑΣ. Εποµένως οι ανεξάρτητες συνιστώσες έχουν επίσης µέσο όρο µηδενικό αφού : E{s} = A 1 E{x} (1.9) Η µήτρα µίξης παραµένει ίδια µετά από αυτή την προεπεξεργασία αφού η παραπάνω διαδικασία µπορεί να γίνεται πάντα χωρίς να επηρεάζει την εκτίµησή της. Μετά τον υπολογισµό της µήτρας µίξης και των ανεξάρτητων συνιστωσών για τα δεδοµένα µε µηδενικό µέσο όρο, ο αφαιρούµενος µέσος όρος µπορεί να επανεισαχθεί προσθέτοντας A 1 E{x} στις συνιστώσες. Ελένη Βερτεούρη 28

33 1.7 Λεύκανση Ο αλγόριθµος Το πρόβληµα της ΑΑΣ απλοποιείται αν το παρατηρούµενο µείγµα διανυσµάτων έχει υποστεί λεύκανση, whitening. Ενα διάνυσµα µε µηδενικό µέσο όρο ϑεωρείται λευκό αν τα στοιχεία του z i είναι ασυσχέτιστα και έχουν µοναδιαίες διασπορές. E{z i z j } = δ ij Ετσι η µήτρα συνδιασποράς E{zz T } = I, µε I τη µοναδιαία µήτρα. Το πιο γνωστό παράδειγµα είναι ο λευκός ϑόρυβος, τότε τα στοιχεία z i ϑα ήταν οι εντάσεις του ϑορύβου τις συνεχόµενες χρονικές στιγµές i = 1, 2,.. και δεν υπάρχουν προσωρινές συσχετίσεις στη διαδικασία ϑορύβου. Εστω ένα τυχαίο διάνυσµα x µε n στοιχεία, στόχος είναι να ϐρεθεί ένας γραµµικός µετασχη- µατισµός V σε ένα άλλο διάνυσµα z έτσι ώστε z = V x έτσι ώστε το z να είναι λευκό. Με χρήση της ανάλυσης σε κύριες συνιστώσες έχουµε E = (e 1...e n ) να είναι η µήτρα της οποίας οι στήλες να είναι τα ιδιοδιανύσµατα της µήτρας συνδιασποράς C x = E{xx T }. Αυτά µπορούν να υπολογιστούν από ένα δείγµα των διανυσµάτων x είτε απευθείας είτε από κάποιο αλγόριθµο µάθησης της ΑΚΣ. Ορίζεται ως D = diag(d 1..d n ) να είναι η διαγώνια µήτρα των ιδιοτιµών της C. Τότε ένας γραµµικός µετασχηµατισµός λεύκανσης δίνεται από V = D 1/2 E T Η µήτρα υπάρχει πάντα όταν οι ιδιοτιµές d i είναι ϑετικές, στην πράξη όµως αυτό δεν είναι περιορισµός. έτσι ώστε C x Η C x µπορεί να γραφεί µε όρους µητρών ιδιοδιανυσµάτων και ιδιοτιµών E,D, = EDE T, όπου E είναι µια ορθογώνια µήτρα που ικανοποιεί τον περιορισµό E T E = EE T = I, και ισχύει : E{zz T } = V E{xx T }V T = D 1/2 E T EDE T ED 1/2 = I Η συνδιασπορά της z είναι η µοναδιαία µήτρα, οπότε η z είναι λευκή. Ο γραµµικός τελεστής V δεν είναι η µοναδική µήτρα λεύκανσης. είχνεται [16] ότι οποια- Ελένη Βερτεούρη 29

34 δήποτε µήτρα U V, όπου U είναι µια ορθογώνια µήτρα, είναι επίσης µήτρα λεύκανσης. Αυτό ισχύει επειδή : E{zz T } = UV E{xx T }V T U T = UIU T = I Γιατί η ΑΑΣ είναι πιο ισχυρή από τη λεύκανση Ενας µετασχηµατισµός λεύκανσης είναι πάντα δυνατός. είναι η εξής : Μία δηµοφιλής µέθοδος λεύκανσης E{xx T } = EDE T (1.10) όπου E είναι η ορθογώνια µήτρα των ιδιοδιανυσµάτων της E{xx T } και D η διαγώνια µήτρα των ιδιοτιµών, D = diag(d 1,.., d n ). Η λεύκανση µπορεί τώρα να γίνει από τη µήτρα : V = ED 1/2 E T όπου η µήτρα D 1/2 υπολογίζεται από µια απλή διαδικασία στα στοιχεία της D 1/2 = diag(d 1/2 1,..., d 1/2 n ). Η µήτρα λεύκανσης που υπολογίζεται µε αυτόν τον τρόπο λέγεται E{xx T } 1/2 ή C 1/2. Εναλλακτικά µπορεί να υπολογιστεί µε χρήση της ΑΚΣ. Θεωρώντας ότι τα δεδοµένα έχουν υποστεί λεύκανση από τη µήτρα της εξίσωσης 1.10 τότε η νέα µήτρα µίξης είναι η A : z = V As = A s Η ασυσχέτιση είναι µια συνθήκη πιο αδύναµη από την ανεξαρτησία και µη αρκετή για τον υπολογισµό του µοντέλου της ΑΑΣ. Θεωρούµε τον ορθογώνιο µετασχηµατισµό U της z: y = Uz Λόγω της ορθογωνιότητας της U έχουµε : E{yy T } = E{Uyy T U T } = UIU T = I Εποµένως το y είναι επίσης λευκό και δεν µπορούµε να ανακαλύψουµε τις ανεξάρτητες συνιστώσες από τα z ή y χρησιµοποιώντας µόνο την ιδιότητα λεύκανσης. Το y ϑα µπορούσε να είναι Ελένη Βερτεούρη 30

35 οποιοσδήποτε ορθογώνιος µετασχηµατισµός του z Λεύκανση ως ϐήµα προεπεξεργασίας Η λεύκανση όµως είναι χρήσιµη σαν ένα ϐήµα προεπεξαργασίας της ΑΑΣ, αφού η ιδιότητά της είναι ότι η νέα µήτρα A = V A είναι ορθογώνια [16]. E{zz T } = A E{ss T }A T = I Ετσι µπορούµε να περιορίσουµε την αναζήτησή µας για τη µήτρα µίξης στο χώρο των ορθογώνιων µητρών. Αντί να χρειάζεται να υπολογίσουµε τις n 2 παραµέτρους που είναι τα στοιχεία της αρχικής µήτρας A, χρειαζόµαστε µόνο να εκτιµήσουµε την ορθογώνια µήτρα A. Μία ορθογώνια µήτρα έχει n(n 1)/2 ϐαθµούς ελευθερίας. Σε περίπτωση γκαουσιανών δεδοµένων αποδεικνύεται ότι η ορθογώνια µήτρα µίξης δεν αλλάζει την συνάρτηση πυκνότητας πιθανότητας, αφού δεν εµφανίζεται σε αυτή. Εποµένως δεν µπορούµε να εξάγουµε τη µήτρα µίξης από τα δεδοµένα. Τι συµβαίνει όµως όταν κάποιες από τις συνιστώσες είναι γκαουσιανές και κάποιες όχι Σε αυτή την περίπτωση µπορούµε να εκτιµήσουµε όλες τις µη γκαουσιανές συνιστώσες, αλλά οι γκαουσιανές δεν µπορούν να διαχωριστούν µεταξύ τους. Κάποιες από τις εκτιµώµενες συνιστώσες ϑα είναι τυχαίοι γραµµικοί συνδυασµοί των γκαουσιανών συνιστωσών. Αν η γκαουσιανή συνιστώσα είναι µία τότε µπορούµε να εκτιµήσουµε το µοντέλο αφού δεν ϑα µπορεί να αναµιχθεί µε κάποια άλλη. Ελένη Βερτεούρη 31

36 Ελένη Βερτεούρη 32

37 Κεφάλαιο 2 Ανάλυση σε ανεξάρτητες συνιστώσες 2.1 ΑΑΣ µε µεγιστοποίηση της µη κανονικότητας Θεωρούµε το διάνυσµα δεδοµένων x είναι κατανεµηµένο σύµφωνα µε το µοντέλο ΑΑΣ : x = As Για να εκτιµήσουµε τις ανεξάρτητες συνιστώσες έχουµε ότι : s = A 1 x Θεωρούµε ένα γραµµικό συνδυασµό των x i για να εκτιµήσουµε µία ανεξάρτητη συνιστώσα y = b T x = i b ix i, όπου b είναι το διάνυσµα προς εκτίµηση. Επίσης έχουµε ότι y = b T As. Ορίζουµε το διάνυσµα q έτσι ώστε : y = b T x = q T s = i q i s i Αν το b ήταν µία από τις γραµµές του αντίστροφου του A, τότε ο γραµµικός συνδυασµός b T x ϑα ήταν ίσος µε ένα από τα ανεξάρτητα στοιχεία. Σε αυτή την περίπτωση το αντίστοιχο q ϑα ήταν τέτοιο ώστε κάθε ένα από τα στοιχεία του να ήταν ίσο µε 1 και τα υπόλοιπα µηδέν. Η ερώτηση είναι τώρα πως ϑα µπορούσαµε να χρησιµοποιήσουµε το κεντρικό οριακό ϑεώ- ϱηµα έτσι να ορίσουµε το b κατά τον παραπάνω τρόπο Στην πράξη δεν µπορούµε να ορίσουµε το b ακριβώς, καθώς δεν έχουµε γνώση της µήτρας A, αλλά µπορούµε να ϐρούµε έναν εκτιµητή που να δίνει καλή εκτίµηση. 33

38 Τροποποιώντας τις παραµέτρους στο q, ϐλέπουµε πως η κατανοµή του y = q T s αλλάζει. Η ϐασική ιδέα είναι ότι το άθροισµα δύο τυχαίων µεταβλητών είναι πιο γκαουσιανό από τις αρχικές µεταβλητές, το y = q T s είναι συνήθως πιο γκαουσιανό από κάθε ένα από τα s i και γίνεται λιγότερο γκαουσιανό όταν στην πραγµατικότητα ισούται µε ένα από αυτά. Παρατηρούµε ότι η παραπάνω πρόταση είναι αυστηρά αληθινή όταν s i έχουν ίδιες κατανοµές. Σε αυτήν την περίπτωση µόνο ένα από τα στοιχεία του q είναι µη µηδενικό. Στην πράξη δεν γνωρίζουµε τις τιµές του q όµως δεν τις χρειαζόµαστε αφού έχουµε ορίσει b T x = q T s. Οπότε µεταβάλλουµε το b και κοιτάµε την αλλαγή στην κατανοµή του b T x. Επο- µένως ορίζουµε το b σαν το διάνυσµα που µεγιστοποιεί την µη κανονικότητα του b T x. Ο χώρος ϐελτιστοποίησης είναι ένας χώρος n διαστάσεων των b µε 2n µέγιστα, δύο για κάθε ανεξάρτητη συνιστώσα, που αντιστοιχούν στα s i και s i. Για να µετρήσουµε την µη κανονικότητα στον υπολογισµό της ΑΑΣ χρησιµοποιούµε την κύρτωση, µία ϱοπή τέταρτης τάξης. Για την τυχαία µεταβλητή y [18]: kurt(y) = E{y 4 } 3(E{y 2 }) 2 για µεταβλητές µε µηδενικό µέσο όρο. Για απλότητα µπορούµε να ϑεωρήσουµε ότι η y έχει κανονικοποιηθεί έτσι ώστε να έχει διασπορά ίση µε ένα : E{y 2 } = 1. Για γκαουσιανές µεταβλητές η κύρτωση είναι ίση µε το µηδέν. Μετράµε την µη κανονικότητα µε την απόλυτη τιµή της κύρτωσης. Για την κύρτωση ισχύει η γραµµικότητα : kurt(x 1 + x 2 ) = kurt(x 1 ) + kurt(x 2 ) και kurt(αx 1 ) = α 4 kurt(x 1 ) µε α σταθερά. Εποµένως για q = A T b έχουµε y = b T x = b T As = q T s = q 1 s 1 + q 2 s 2 και άρα : kurt(y) = kurt(q 1 s 1 ) + kurt(q 2 s 2 ) = q 4 1kurt(s 1 ) + q 4 2kurt(s 2 ) Εχουµε υποθέσει ότι το y έχει µοναδιαία διασπορά, δηλαδή E{y 2 } = q q 2 2 = 1. Για ευκολία ϑεωρούµε ότι οι κυρτώσεις είναι ίσες µε τη µονάδα, οπότε επιθυµούµε να µεγιστοποιήσουµε την Ελένη Βερτεούρη 34

39 συνάρτηση : F (q) = q q 4 2 Προκύπτει ότι η παραπάνω εξίσωση µε το δοθέντα περιορισµό µεγιστοποιείται όταν ακριβώς ένα από τα στοιχεία του q είναι µη µηδενικό και τα υπόλοιπα µηδέν. Το µη µηδενικό στοιχείο ϑα πρέπει να είναι µε 1 ή 1. Τα σηµεία αυτά είναι ακριβώς εκείνα που το y ισούται µε µία από τις ανεξάρτητες συνιστώσες ±s i. Τα παραπάνω ισχύουν και όταν οι κυρτώσεις είναι ίσες µε 1, ενώ αν έχουν τυχαίες τιµές οι αλγεβρικοί υπολογισµοί γίνονται πιο περίπλοκοι αλλά καταλήγουν στο ίδιο συµπέρασµα. Τώρα γίνεται εµφανής η χρησιµότητα της λεύκανσης σαν προεπεξεργασία. Στη δισδιάστατη αυτή περίπτωση παραµετροποιούµε τα σηµεία της µοναδιαίας σφαίρας που ικανοποιεί τον περιορισµό του µέτρου µε τη γωνία που σχηµατίζει το αντίστοιχο διάνυσµα w µε τον οριζόντιο άξονα. Για δεδοµένα x που έχουν υποστεί λεύκανση αναζητούµε ένα γραµµικό συνδυασµό w T z που µεγιστοποιεί την µη κανονικότητα. Εχουµε ότι q = (V A) T w και εποµένως : q 2 = (w T V A)(A T V T w) = w 2 Μεγιστοποιούµε την κύρτωση του w T z µε τον περιορισµό w = 1. Για να το πραγµατοποιήσουµε αυτό ϑα χρησιµοποιήσουµε την κλίση της συνάρτησης kurt(w T x) w = 4sign(kurt(w T z))[e{x(w T z) 3 } 3w w 2 ] (2.1) αφού για δεδοµένα που έχουν υποστεί λεύκανση έχουµε E{(w T z) 2 } = w 2. Για να ϐελτιστοποιήσουµε τη συνάρτηση αυτή στο χώρο µοναδιαίας σφαίρας w = 1 η µέθοδος κλίσης πρέπει να προβάλλεται στη µοναδιαία σφαίρα σε κάθε ϐήµα, αυτό γίνεται διαιρώντας το w µε το µέτρο του. Για περαιτέρω απλοποίηση της µεθόδου παρατηρούµε ότι ο δεύτερος όρος στην σχέση 2.1 συµβάλλει µόνο στην αλλαγή του µέτρου και άρα µπορεί να παραληφθεί. Αυτό γιατί µας ενδιαφέρει λόγω παραµετροποίησης µόνο η κατεύθυνση και επειδή το µέτρο κανονικοποιείται στη µονάδα. Οπότε έχουµε τον παρακάτω αλγόριθµο : w sign(kurt(w T z))e{z(w T z) 3 } w w/ w Ελένη Βερτεούρη 35

40 Για µία online έκδοση του αλγορίθµου παραλείπουµε την εκτιµώµενη τιµή και έχουµε : w sign(kurt(w T z))z(w T z) 3 w w/ w Ετσι κάθε παρατήρηση z(t) χρησιµοποιείται στον αλγόριθµο µία ϕορά. Οµως η εκτιµώµενη τιµή στον υπολογισµό της κύρτωσης δεν µπορεί να παραληθφεί, έτσι η κύρτωση ϑα πρέπει να υπολογιστεί από ένα χρονικό µέσο όρο. Αν συµβολίσουµε µε γ την εκτίµηση της κύρτωσης έχουµε : γ ((w T z) 4 3) γ Αν γνωρίζουµε στην πράξη τη ϕύση των κατανοµών των ανεξάρτητων µεταβλητών, δηλαδή αν είναι υπο-γκαουσιανές ή υπερ-γκαουσιανές, τότε µπορούµε να αντικαταστήσουµε το πρόσηµο της κύρτωσης στον αλγόριθµο. 2.2 Γενική περίπτωση κύρτωσης Στη γενική περίπτωση [17] αναζητούµε ένα γραµµικό συνδυασµό των παρατηρήσεων που έχουν υποστεί λεύκανση x i, όπως w T x, έτσι ώστε να έχουµε µέγιστη ή ελάχιστη κύρτωση. Είναι προφανές ότι η διαδικασία αυτή έχει νόηµα µόνο όταν το µέτρο του w είναι µε κάποιο τρόπο ϕραγµένο, εποµένως ϑεωρούµε w = 1. Χρησιµοποιώντας την ορθογώνια µήτρα B, ορίζουµε z = B T w. Επίσης τότε z = 1. Τότε σύµφωνα µε τις ιδιότητες τις κύρτωσης έχουµε : kurt(w T x) = kurt(w T Bs) = kurt(z T s) = n zi 4 kurt(s i ) i=1 Με την υπόθεση ότι w = z = 1, η παραπάνω συνάρτηση έχει έναν αριθµό από τοπικά ελάχιστα και µέγιστα. Χάριν απλότητας ας υποθέσουµε προς το παρόν ότι η µίξη περιέχει τουλάχιστον µία ανεξάρτητη συνιστώσα όπου η κύρτωση είναι αρνητική και τουλάχιστον µία όπου η κύρτωση είναι ϑετική. Τότε όπως δείχνεται (αναφορά ;) τα ακραία σηµεία είναι η κανονική ϐάση διανυσµάτων z = ±e j, δηλαδή τα διανύσµατα στα οποία όλα τα στοιχεία τους είναι µηδέν εκτός από ένα στοιχείο που ισούται µε ±1. Τα αντίστοιχα διανύσµατα ϐάρους είναι w = Bz = Be j = b j, δηλαδή οι στήλες της ορθογώνιας µήτρας µίξης B. Εποµένως ελαχιστοποιώντας ή µεγιστοποιώντας την κύρτωση µε µία δεδοµένη συνθήκη, οι στήλες της Ελένη Βερτεούρη 36

41 µήτρας µίξης αποκτώνται ως οι λύσεις για το w και ο γραµµικός συνδυασµός ϑα αποτελεί µία από τις ανεξάρτητες συνιστώσες : w T x = (b i ) T x = s i. Ακόµη γίνεται ϕανερό ότι γκαουσιανές συνιστώσες δεν µπορούν να υπολογιστούν µε αυτόν τον τρόπο αφού για αυτές η κύρτωση ϑα είναι ίση µε το µηδέν. Για να πραγµατοποιήσουµε την ελαχιστοποίηση ή µεγιστοποίηση της κύρτωσης kurt(w T x), ένας νευρωνικός αλγόριθµος ϐασισµένος στη µέθοδο ϑετικής ή αρνητικής παραγώγου µπορεί να χρησιµοποιηθεί. Τότε το w µπορεί να ερµηνευθεί σαν το συντελεστή ϐάρους ενός νευρώνα µε είσοδο το διάνυσµα x. Η συνάρτηση µπορεί να απλοποιηθεί διότι οι είσοδοι έχουν υποστεί λεύκανση, ισχύει ότι : kurt(w T x = E{(w T x) 4 )} 3[E{(w T x) 2 }] 2 = E{(w T x) 4 )} 3 w 4 Επίσης ο περιορισµός w = 1 πρέπει να ληφθεί υπόψη, για παράδειγµα µε ένα όρο κόστους. Τελικός η Ϲητούµενη συνάρτηση γίνεται J(w) = E{(w T x) 4 } 3 w 4 + F ( w 2 ) όπου F είναι ο όρος κόστους λόγω του περιορισµού. Αρκετές µορφές για τον όρο κόστους έχουν προταθεί, όµως η ακριβής µορφή της F δεν είναι σηµαντική. Ορίζοντας µε x(t) την ακολουθία των παρατηρήσεων, µε µ(t) το ϱυθµό εκπαίδευσης της ακολουθίας και µε f την παράγωγο της F/2 ο ακόλουθος online αλγόριθµος παίρνει τη µορφή w(t + 1) = w(t) ± µ(t)[w(t) T x(t)) 3 3 w(t) 2 w(t) + f( w(t) 2 )w(t)] Οι δύο πρώτοι όροι στην αγκύλη αποκτώνται από το ανάδελτα του kurt(w T x) όταν στιγµιαίες τιµές χρησιµοποιούνται αντί για τη µέση τιµή. Ο τρίτος όρος στην αγκύλη αποκτάται από το ανάδελτα του F ( w 2 ), παρατηρώντας ότι όσο η F είναι συνάρτηση µόνο του w 2 το ανάδελτα της είναι της µορφής σταθερά w. Το ϑετικό πρόσηµο πριν την αγκύλη σηµαίνει ότι ϐρίσκουµε το τοπικό µέγιστο, ενώ το αρνητικό πρόσηµο σηµαίνει ότι αναζητούµε το τοπικό ελάχιστο. Ελένη Βερτεούρη 37

42 2.3 Αλλες προσεγγίσεις της αρνητικής εντροπίας ( Negentropy ) Είναι υπολογιστικά δύσκολο να προσεγγίσουµε την αρνητική εντροπία και εποµένως το µέτρο αυτό της διαφορετικότητας (rate of divergence ) των µεταβλητών. Μία κλασσική µέθοδος είναι η χρήση ϱοπών ανώτερης τάξης [19] J(y) 1 12 E{y3 } kurt(y)2 (2.2) Η τυχαία µεταβλητή y ϑεωρείται να έχει µηδενικό µέσο όρο και µοναδιαία διασπορά. Τέτοιες όµως προσεγγίσεις πάσχουν στη σθεναρότητα (robustness ) η οποία σχετίζεται µε την κύρτωση. Νέες προσεγγίσεις αναπτύχθηκαν στο [18] µε ϐάση την αρχή της µέγιστης εντροπίας. Γενικά έχουµε J(y) p k i [E{G i (y)} E{G i (v)}] 2 i=1 όπου k i είναι κάποιες ϑετικές σταθερές και v είναι µια γκαουσιανή µεταβλητή µε µηδενικό µέσο όρο και µοναδιαία διασπορά. Οι G i είναι κάποιες µη τετραγωνικές συναρτήσεις ενώ η παραπάνω εξίσωση µπορεί να χρησιµοποιηθεί για την κατασκευή ένα µέτρο µη κανονικότητας που έχει συνοχή καθώς είναι πάντα µη αρνητικό και ίσο µε το µηδέν µόνο για γκαουσιανές µεταβλητές. γίνεται Σε περίπτωση που χρησιµοποιήσουµε µία µόνο µη τετραγωνική συνάρτηση G η προσέγγιση J(y) [E{G(y)} E{G(v)}] 2 πρακτικά για κάθε µη τετραγωνική συνάρτηση G. Αυτό αποτελεί µία γενικότερη προσέγγιση από την προσέγγιση ϱοπών στο 2.2 αν η y είναι συµµετρική. Αν ϑεωρήσουµε ότι G(y) = y 4 τότε έχουµε µία προσέγγιση µε ϐάση την κύρτωση. Στόχος όµως είναι καλύτερες προσεγγίσεις και συγκεκριµένα διαλέγοντας µία G που να µη µεγαλώνει πολύ γρήγορα έχουµε πιο σθεναρούς Ελένη Βερτεούρη 38

43 εκτιµητές όπως G 1 (u) = 1 a 1 log cosh a 1 u G 2 (u) = exp( u 2 /2) όπου 1 a Ελαχιστοποίηση κοινής πληροφορίας Μία άλλη προσέγγιση για την ΑΑΣ που σχετίζεται µε τη ϑεωρία πληροφορίας είναι η ελαχιστοποίηση της κοινής πληροφορίας [18]. Θα δείξουµε ότι οδηγεί στην ίδια αρχή της ανεύρεσης των λιγότερων κανονικών κατευθύνσεων όπως περιγράφηκε παραπάνω Κοινή πληροφορία Χρησιµοποιώντας της έννοια της διαφορικής εντροπίας ορίζουµε την κοινή πληροφορία I ανά- µεσα σε m τυχαίες µεταβλητές y i I(y 1, y 2,..., y m ) = m H(y i ) H(y) (2.3) i=1 Η κοινή πληροφορία είναι ένα ϕυσικό µέτρο της ανεξαρτησίας ανάµεσα σε τυχαίες µεταβλητές. Είναι ισοδύναµο µε την Kullback-Leibler απόκλιση (divergence) ανάµεσα στη συνάρτηση πυκνότητας πιθανότητας από κοινού f(y) και στο γινόµενο οριακών ή αλλιώς ατοµικών πυκνοτήτων πιθανότητας. Είναι πάντα µη αρνητική και µηδέν αν και µόνο αν οι µεταβλητές είναι στατιστικά ανεξάρτητες. Εποµένως λαµβάνει υπόψη της όλη τη δοµή εξάρτησης των µεταβλητών και όχι µόνο τη συνδιασπορά, όπως κάνει η ΑΚΣ και παρόµοιες µέθοδοι. Η κοινή πληροφορία µπορεί να ερµηνευθεί χρησιµοποιώντας την εντροπία σαν µέγεθος του µήκους κωδικοποίησης. Οι όροι H(y i ) δίνουν τα µήκη της κωδικοποίησης για τα y i όταν αυτά κωδικοποιούνται ξεχωριστά και το H(y) δίνει την κωδικοποίηση όταν το y κωδικοποιείται ως ένα τυχαίο διάνυσµα, δηλαδή όλες οι συνιστώσες στην ίδια κωδικοποίηση. Η κοινή πληροφορία δείχνει ότι η µείωση του µήκους κωδικοποίησης επιτυγχάνεται όταν κωδικοποιούµε όλο το διάνυσµα παρά τις συνιστώσες χωριστά. Αν τα y i είναι ανεξάρτητα τότε δεν παρέχουν πληροφορία το ένα για το άλλο και έτσι κωδικοποιούνται χωριστά χωρίς να αυξάνουν το µήκος κωδικοποίησης. Ελένη Βερτεούρη 39

44 Μια σηµαντική ιδιότητα της κοινής πληροφορίας [23] είναι ότι για έναν αντιστρέψιµο γραµ- µικό µετασχηµατισµό y = W x I(y 1, y 2,..., y n ) = i H(y i ) H(x) log det W Θεωρούµε την περίπτωση που περιορίζουµε τα y i να είναι ασυσχέτιστα και µοναδιαίας διασποράς. Αυτό σηµαίνει E{yy T } = W E{xx T }W T = I και εποµένως det I = 1 = (det W E{xx T }W T ) = (det W )(det E{xx T })(det W T ) που απαιτεί ότι η det W είναι σταθερή. Επιπλέον για y i µοναδιαίας διασποράς, η εντροπία και η αρνητική εντροπία διαφέρουν µόνο κατά µία σταθερά και το πρόσηµο. I(y 1, y 2,..., y n ) = C i J(y i ) (2.4) όπου C η σταθερά και η οποία δεν εξαρτάται από το W. Εποµένως δείξαµε τη ϐασική σχέση µεταξύ της εντροπίας και της κοινής πληροφορίας Ορισµός της ΑΑΣ µέσω της κοινής πληροφορίας Από την 2.4 γίνεται ϕανερό ότι ϐρίσκοντας τον αντιστρέψιµο µετασχηµατισµό W που ελαχιστοποιεί την κοινή πληροφορία είναι χοντρικά ισοδύναµο µε την ανεύρεση των κατευθύνσεων στις οποίες η αρνητική εντροπία µεγιστοποιείται. Ζητούµε δηλαδή να ϐρούµε τους µονοδιάστατους υποχώρους έτσι ώστε οι προβολές σε αυτούς να έχουν µέγιστη αρνητική εντροπία. Από την 2.4 δείχνεται ότι η εκτίµηση ΑΑΣ µε την ελαχιστοποίηση της κοινής πληροφορίας είναι ισοδύναµη µε τη µεγιστοποίηση του αθροίσµατος της µη κανονικότητας των εκτιµήσεων όταν αυτές πε- ϱιορίζονται να είναι ασυσχέτιστες. Η συνθήκη αυτή δεν είναι απαραίτητη όµως απλοποιεί τους υπολογισµούς σηµαντικά, καθώς µπορεί να χρησιµοποιηθεί η σχέση 2.4 άµεσα. 2.5 Εκτίµηση µέγιστης πιθανοφάνειας Μία δηµοφιλής τακτική για την εκτίµηση του µοντέλου της ΑΑΣ είναι η εκτίµηση µέγιστης πιθανοφάνειας η οποία είναι ισοδύναµη µε την ελαχιστοποίηση της κοινής πληροφορίας [18]. Ελένη Βερτεούρη 40

45 Για ένα µοντέλο ΑΑΣ χωρίς ϑόρυβο και ορίζοντας W = (w 1,..., w n ) T τη µήτρα A 1 [24] L = T n log f i (wi T x(t)) + T log det W (2.5) t=1 i=1 όπου τα f i είναι οι πυκνότητες πιθανότητας των s i (εδώ ϑεωρούνται γνωστές). Ο όρος det W στην πιθανοφάνεια προέρχεται από το γραµµικό µετασχηµατισµό τυχαίων µεταβλητών. [23] Γενικά για κάθε τυχαίο διάνυσµα x µε πυκνότητα p x και για κάθε µήτρα W η πυκνότητα της y = W x δίνεται από p x (W x) det W. 2.6 Η αρχή Infomax Μία άλλη contrast συνάρτηση µε ϐάση τα νευρωνικά δίκτυα [3] περιγράφεται ως η µεγιστοποίηση της εντροπίας εξόδου ή της εξόδου πληροφορίας ενός νευρωνικού δικτύου µε µη γραµµικές εισόδους. Θεωρούµε x ως την είσοδο στο νευρωνικό δίκτυο του οποίου οι έξοδοι έχουν τη µορ- ϕή φ i (wi T x), όπου φ i είναι κάποιες µη γραµµικές ϐαθµωτές συναρτήσεις και w i είναι τα ϐάρη διανυσµάτων των νευρώνων. Στόχος είναι η µεγιστοποίηση εντροπίας των εξόδων : L 2 = H(φ 1 (w T 1 x),..., φ n (w T n x)) Αν τα φ i είναι καλά επιλεγµένα αυτή η προσέγγιση επιτυγχάνει στην ΑΑΣ. Εχει αποδειχθεί [6] ότι η αρχική της εντροπίας του νευρωνικού δικτύου infomax είναι ισοδύναµη µε την εκτίµηση µέγιστης πιθανοφάνειας. Η ισοδυναµία αυτή όµως απαιτεί ότι οι µη γραµµικότητες φ i που χρησιµοποιούνται στο νευρωνικό δίκτυο είναι επιλεγµένες ως οι αθροιστικές συναρτήσεις κατανοµής αναφορικά µε τις πυκνότητες f i, δηλαδή φ i(.) = f i (.) Σύνδεση µε την κοινή πληροφορία Προκειµένου να παρατηρήσουµε τη σύνδεση µεταξύ κοινής πληροφορίας και µέγιστης πιθανο- ϕάνειας ϑεωρούµε τη µέση τιµή της πιθανοφάνειας σε λογάριθµο [18]: 1 T E{L} = n E{log f i (wi T x)} + log det W i=1 Αν τα f i είναι ίσα µε τις πραγµατικές κατανοµές των w T i x, ο πρώτος όρος είναι ίσος µε i H(wT i x). Εποµένως η πιθανοφάνεια ϑα είναι ίση, πέρα από την προσθήκη µιας προσθετικής σταθεράς, Ελένη Βερτεούρη 41

46 στην κοινή πληροφορία µε µείον πρόσηµο. Στην πράξη η σύνδεση αυτή είναι πιο ισχυρή καθώς δεν γνωρίζουµε τις κατανοµές των ανεξάρτητων συνιστωσών. Μια λογική προσέγγιση ϑα ήταν να εκτιµήσουµε την πυκνότητα των wi T x σαν τµήµα της µέγιστης πιθανοφάνειας και να χρησιµοποιήσουµε την προσέγγιση αυτή για την πυκνότητα των s i. Το πρόβληµα µε τη µέγιστη πιθανοφάνεια είναι ότι οι πυκνότητες f i πρέπει να εκτιµηθούν σωστά. εν χρειάζεται µεγάλη ακρίβεια, κυρίως µας ενδιαφέρει αν είναι υπο- ή υπερ-γκαουσιανές. Σε πολλές περιπτώσεις έχουµε πράγµατι αρκετές πληροφορίες για τις ανεξάρτητες συνιστώσες που δεν χρειάζεται να εκτιµήσουµε τη ϕύση τους από τα δεδοµένα. Γενικά όµως αν η πληροφο- ϱία σχετικά µε τη ϕύση των συνιστωσών είναι λανθασµένη, η εκτίµηση ML ϑα δώσει λανθασµένα αποτελέσµατα. Σε αντίθεση, αν χρησιµοποιηθούν κατάλληλα µέτρα µη κανονικότητας, δεν α- παιτείται εκ προτέρων γνώση για τη ϕύση των µεταβλητών και το πρόβληµα αυτό συνήθως δεν ανακύπτει. 2.7 ΑΑΣ και Projection Pursuit Η Projection Pursuit είναι µία στατιστική τεχνική ανεπτυγµένη για την ανεύρεση ενδιαφέρων προβολών σε πολυδιάστατα δεδοµένα [19], οι οποίες µπορούν να χρησιµοποιηθούν για την οπτικοποίηση των δεδοµένων καθώς και για εκτίµηση πυκνότητας ή regression. Στην κλασσική µονοδιάστατη projection pursuit αναζητούµε κατευθύνσεις έτσι ώστε οι προβολές σε αυτές τις κατευθύνσεις έχουν ενδιαφέρουσες κατανοµές, δηλαδή παρουσιάζουν κάποια δοµή. Θα λέγαµε ότι η γκαουσιανή κατανοµή είναι η λιγότερο ενδιαφέρουσα [19] και ότι οι πιο ενδιαφέρουσες είναι οι λιγότερο γκαουσιανές, όπως ϑεωρούµε και στο µοντέλο ΑΑΣ. Η χρησιµότητα τέτοιων προβολών δείχνετε στο παρακάτω σχήµα όπου η αναζήτηση προβολών στην οριζόντια διεύθυνση παρουσιάζει τη συγκεντρωµένη δοµή των δεδοµένων. Η προβολή της κύριας συνιστώσας (κάθετη) αποτυγχάνει να αποκαλύψει τη συγκέντρωση αυτή. Ελένη Βερτεούρη 42

47 Σχήµα 2.1: Τα δεδοµένα χωρίζονται σε δύο οµάδες συγκεντρώσεων, clusters. [18] Γενικότερα η ΑΑΣ ϑα µπορούσε να ϑεωρηθεί ως µία παραλλαγή της αναζήτησης προβολών καθώς όλα τα µέτρα µη κανονικότητας και οι αντίστοιχοι αλγόριθµοι της ΑΑΣ ϑα µπορούσαν να ϑεωρηθούν δείκτες και αλγόριθµοι της τεχνικής αυτής. Στην αναζήτηση προβολών µπορούµε να αντιµετωπίσουµε µε επιτυχία το πρόβληµα όπου οι ανεξάρτητες συνιστώσες είναι λιγότερες από τις µεταβλητές µετρήσεων. Αν ϑεωρήσουµε ότι οι διαστάσεις αυτές που δεν αντιστοιχούν σε ανεξάρτητες συνιστώσες αποτελούνται από γκαουσιανό ϑόρυβο τότε ϐλέπουµε ότι υπολογίζοντας τις µη γκαουσιανές προβολές, υπολογίζουµε αποτελεσµατικά τις Ϲητούµενες συνιστώσες. Οταν όλες αυτές οι προβολές έχουν ϐρεθεί τότε ο αλγόριθµος ολοκληρώνεται ενώ ϑα µπορούσαµε να ϑεωρήσουµε τη διαδικασία αυτή ως µία παραλλαγή ανάµεσα στην αναζήτηση προβολών και την ΑΑΣ. Οταν οι υποθέσεις της ΑΑΣ ισχύουν τότε αποκτούµε όντως τις ανεξάρτητες συνιστώσες, σε άλλη περίπτωση τις κατευθύνσεις της αναζήτησης προβολών. Ελένη Βερτεούρη 43

48 Ελένη Βερτεούρη 44

49 Κεφάλαιο 3 FastICA Στην προηγούµενη ενότητα αναπτύξαµε µία µέθοδο µεγιστοποίησης της µη κανονικότητας µε χρήση ανάδελτα και µε µέτρο την απόλυτη τιµή της κύρτωσης. Το πλεονέκτηµα τέτοιων µεθόδων παραγώγων, στενά συνδεδεµένων µε την εκπαίδευση στα νευρωνικά δίκτυα, είναι ότι οι είσοδοι z(t) µπορούν να χρησιµοποιηθούν απευθείας και έτσι επιτρέπουν τη γρήγορη προσαρµογή µη στατικό περιβάλλον. Οµως η σύγκλιση είναι αργή και εξαρτάται από την επιλογή του ϱυθµού µάθησης, ενώ µία κακή επιλογή του µπορεί να καταστρέψει πρακτικά τη σύγκλιση. Εποµένως ϐρισκόµαστε σε αναζήτηση τρόπων για πιο γρήγορη και αξιόπιστη σύγκλιση, όπως οι αλγόριθµοι επαναλήψεων fixed point. Τα fixed points του αλγορίθµου του κανόνα µάθησης δίνονται παίρνοντας τις µέσες τιµές και εξισώνοντας την αλλαγή στο ϐάρος µε το µηδέν E{x(w T x) 3 } 3 w 2 w + f( w 2 )w = 0 Ο δείκτης χρόνου t δεν υπάρχει πια. Μία ντετερµινιστική επανάληψη µπορεί να οριστεί µε διάφορους τρόπους όπως µε αριθµητικές µεθόδους για την επίλυση τέτοιων εξισώσεων. Μία γρήγορη επαναληπτική µέθοδος µπορεί να δειχθεί αν γράψουµε την παραπάνω σχέση ως εξής : w = scalar (E{x(w T x) 3 } 3 w 2 w) Παρατηρούµε ότι επειδή το µέτρο του w δεν µας απασχολεί παρά µόνο η κατεύθυνση του δεξιού µέλους. Εποµένως το µονόµετρο µέγεθος (scalar ) δεν είναι σηµαντικό και η επίδραση του µπορεί να αντικατασταθεί από µία κανονικοποίηση ως προς το µέτρο ή την προβολή του w σε µοναδιαία σφαίρα. 45

50 Ενας άλλος τρόπος για να καταλήξουµε στο ίδιο συµπέρασµα είναι ότι στο σταθερό σηµείο του αλγόριθµου ανάδελτα, το ανάδελτα πρέπει να δείχνει στην κατεύθυνση του w και αυτό σηµαίνει ότι το ανάδελτα πρέπει να είναι ίσο µε το w πολλαπλασιασµένο µε µία γραµµική σταθερά. Ετσι προσθέτοντας το ανάδελτα στο w δεν αλλάζουµε την κατεύθυνσή του και επιτυγχάνουµε σύγκλιση. Μετά την κανονικοποίηση στην κανονική µορφή η τιµή του w δεν αλλάζει µόνο ενδεχοµένως το πρόσηµό του. Από την 2.1 έχουµε w [E{z(w T z) 3 } 3 w 2 w] Εποµένως ο αλγόριθµος σταθερής υποδιαστολής γίνεται : w E{z(w T z) 3 } 3w Μετά από κάθε επανάληψη το w διαιρείται µε το µέτρο του για να ικανοποιεί τον περιορισµό w = 1. Το τελικό διάνυσµα w δίνει µία από τις ανεξάρτητες συνιστώσες ως το γραµµικό συνδυασµό w T z. 3.1 Ο αλγόριθµος Υπολογίζοντας µία ανεξάρτητη συνιστώσα Υποθέτουµε ότι έχουµε ένα δείγµα από τα δεδοµένα που έχουν υποστεί λεύκανση του τυχαίου διανύσµατος x, το οποίο στην περίπτωση της τυφλού διαχωρισµού που είναι µία συλλογή από τις γραµµικές µίξεις των ανεξάρτητων συνιστωσών. Με ϐάση την προηγούµενη ενότητα έχουµε : 1. Πάρε έναν τυχαίο διάνυσµα w(0) µε µέτρο 1. Εστω k = Θεωρούµε w(k) = E{x(w(k 1) T x) 3 } 3w(k 1). Η µέση τιµή µπορεί να υπολογιστεί χρησιµοποιώντας ένα µεγάλο δείγµα από τα διανύσµατα x. (πχ σηµεία) 3. ιαίρεσε το w(k) µε το µέτρο του x. 4. Αν το w(k) T w(k 1) δεν είναι αρκετά κοντά στο 1, ϑεωρούµε k = k+1 και επιστρέφουµε στο ϐήµα 2. Αλλιώς, τερµατίζει ο αλγόριθµος µε έξοδο το διάνυσµα w(k). Ελένη Βερτεούρη 46

51 Το τελικό διάνυσµα w(k) που δίνεται από τον αλγόριθµο που ισούται µε µία στήλη από την ορθογώνια µήτρα µίξης B. Στην περίπτωση του τυφλού διαχωρισµού αυτό σηµαίνει ότι το w(k) ξεχωρίζει µία από τις µη γκαουσιανές πηγές εισόδου αφού w(k) T x(t), t = 1, 2,... ισοδυναµεί µε ένα από τα σήµατα πηγών. Μια σηµαντική ιδιότητα του αλγορίθµου είναι ότι ένας µικρός αριθµός επαναλήψεων, συνή- ϑως 5 10, είναι αρκετός για την επίτευξη µέγιστης ακρίβειας στα δεδοµένα µετρήσεων. Αυτό συµβαίνει γιατί επιτυγχάνεται κυβική σύγκλιση [15] Υπολογίζοντας πολλές διαφορετικές συνιστώσες Για να υπολογίσουµε τις n ανεξάρτητες συνιστώσες, τρέχουµε τον αλγόριθµο n ϕορές. να ϐεβαιωθούµε ότι υπολογίζουµε κάθε ϕορά µία διαφορετική συνιστώσα, τότε χρειάζεται να προσθέσουµε µία προβολή για ορθογωνοποίηση µέσα στην επανάληψη. Οι στήλες της µήτρας B είναι ορθογώνιες εξαιτίας της λεύκανσης. Εποµένως µπορούµε να υπολογίσουµε τις ανεξάρτητες συνιστώσες µία προς µία από την εκάστοτε λύση w(k) στο χώρο που είναι ορθογώνιος στις στήλες της µήτρας µίξης που ϐρέθηκε προηγουµένως. Ορίζουµε τη µήτρα B ως τη µήτρα της οποίας οι στήλες είναι οι στήλες της προηγούµενης µήτρας B. Τότε προσθέτουµε τη διαδικασία προβολής στην αρχή του ϐήµατος 3: Θεωρούµε w(k) = w(k) B B T w(k). ιαιρούµε το w(k) µε το µέτρο µου. Επίσης το τυχαία αρχικό διάνυσµα ϑα πρέπει να προβληθεί κατά τον παραπάνω τρόπο πριν αρχίζοντας τις επαναλήψεις. Για να αποφύγουµε τα λάθη εκτίµησης στο B να χειροτερέψουν την εκτίµηση στο w(k), το ϐήµα προβολής µπορεί να παραληφθεί µετά από µερικές πρώτες επαναλήψεις διότι αφού η λύση w(k) έχει εισέλθει στο χώρο ενός από τα fixed points, ϑα παραµείνει εκεί και ϑα συγκλίνει στο αντίστοιχο σηµείο. Εκτός από την ιεραρχική ή αλλιώς σειριακή ορθογωνοποίηση που περιγράφηκε παραπάνω, κάθε άλλη µέθοδος ορθογωνοποίησης µπορεί να χρησιµοποιηθεί. Σε µερικές εφαρµογές µία συµµετρική ορθογωνοποίηση µπορεί να είναι χρήσιµη. Αυτό σηµαίνει ότι κάθε επανάληψη του παραπάνω αλγορίθµου πραγµατοποιείται για όλα τα n διανύσµατα ϐάρους και τότε η µήτρα W (k) = (w 1 (k),..., W n (k)) ορθογωνοποιείται χρησιµοποιώντας την παρακάτω εξίσωση Για W (k) = W (k)(w (k) T W (k)) 1/2 όπου το (W (k) T W (k)) 1/2 αποκτάται από την τµηµατοποίηση µε χρήση ιδιοτιµών W (k) T W (k) = EDE T και εποµένως (W (k) T W (k)) 1/2 = ED 1/2 E T. Ελένη Βερτεούρη 47

52 3.1.3 Semi adaptive αλγόριθµος Ενα µειονέκτηµα των batch αλγορίθµων είναι ότι απαιτούν µεγάλα ποσά δεδοµένων να είναι ταυτόχρονα στη µνήµη. Ο αλγόριθµος fixed point µπορεί να χρησιµοποιηθεί µε έναν semi adaptive τρόπο για να αποφύγει το παραπάνω πρόβληµα. Αυτό µπορεί να επιτευχθεί υπολογί- Ϲοντας τη µέση τιµή E{x(w(k 1) T x) 3 } µε έναν online αλγόριθµο για N συνεχόµενα δείγµατα, κρατώντας το w(k 1) σταθερό και ανανεώνοντας το διάνυσµα w(k) αφού ο µέσος όρος όλων των N δειγµάτων έχει υπολογιστεί. Αυτή η semi-adaptive έκδοση κάνει την προσαρµογή σε µη στάσιµα δεδοµένα δυνατή συνδυάζοντας πλεονεκτήµατα online και batch αλγορίθµων. 3.2 Στη γενική περίπτωση FastICA για µία συνιστώσα Ο αλγόριθµος FastICA ϐασίζεται σε µία fixed point επαναληπτική διαδικασία για την εύρεση του µεγίστου της µη κανονικότητας των w T x. Στη γενικότερη περίπτωση που χρησιµοποιούµε κάποια contrast συνάρτηση διαφορετική από την κύρτωση, η µορφή του αλγορίθµου είναι ως εξής (µε την υπόθεση ότι τα δεδοµένα έχουν υποστεί λεύκανση): 1. ιάλεξε ένα αρχικό τυχαίο ϐάρος σύναψης (διάνυσµα) w 2. Εχουµε ότι w = E{xg(w T x)} E{g (w T x)}w 3. w = w / w 4. Οσο δεν έχει επιτευχθεί σύγκλιση, γύρισε στο ϐήµα 2. Η σύγκλιση υποθέτει ότι η νέα και η παλιά τιµή του w είναι στην ίδια κατεύθυνση, δηλαδή ότι το εσωτερικό τους γινόµενο είναι σχεδόν ίσο µε τη µονάδα. εν είναι απαραίτητο το διάνυσµα να συγκλίνει σε µία συγκεκριµένη τιµή, καθώς w και w ορίζουν την ίδια κατεύθυνση. Αυτό εξηγείται από το γεγονός ότι δεν µπορούµε να υπολογίσουµε πρόσηµο για τις ανεξάρτητες συνιστώσες. Για να εξάγουµε τον παραπάνω αλγόριθµο έχουµε ορίσει ότι αναζητούµε τα µέγιστα της προσέγγισης της αρνητικής εντροπίας για τα w T x τα οποία υπολογίζονται από τα ϐέλτιστα της E{G(w T x)}. Σύµφωνα µε [22] τα ϐέλτιστα αυτά υπό τον περιορισµό ότι E{(w T x) 2 } = w 2 = 1 αποκτώνται στα σηµεία όπου ισχύει : E{xg(w T x)} βw = 0 Ελένη Βερτεούρη 48

53 όπου β κάποια σταθερά που αποτιµάται σε β = E{w T 0 xg(w T 0 x)},όπου w 0 η τιµή του w στο ϐέλτιστο. Για να λύσουµε την παραπάνω εξίσωση µε τη µέθοδο Newton ορίζουµε το αριστερό µέλος της παραπάνω εξίσωσης ως F και σχηµατίζουµε την Ιακωβιανή µήτρα JF (w) JF (w) = E{xx T g (w T x)} βi Για να απλοποιήσουµε την παραπάνω αναστροφή µήτρας και αφού τα δεδοµένα έχουν υποστεί λεύκανση ϑεωρούµε E{xx T g (w T x)} E{xx T }E{g (w T x)} = E{g (w T x)}i. Τώρα η Ιακωβιανή µήτρα είναι διαγώνια και ευκολότερο να αντιστραφεί και ακόµη προσεγγίζουµε το β χρησιµοποιώντας την τρέχουσα τιµή του w και ότι το w 0. Εποµένως έχουµε την ακόλουθη προσεγγιστική επαναληπτική διαδικασία Newton: w = w [E{xg(w T x)} βw]/[e{g (w T x)} β] (3.1) ẇ = w = / w όπου µε ẇ ϑεωρούµε την νέα τιµή του w, β = E{w T xg(w T x)} και το ϐήµα κανονικοποίησης έχει προστεθεί για σταθερότητα. Ο αλγόριθµος µπορεί να απλοποιηθεί περαιτέρω αν πολλαπλασιάσουµε και τα δύο µέλη µε β E{g (w T x)}. Αυτό µετά από κάποιες αλγεβρικές απλοποιήσεις δίνει τον ακόλουθο αλγόριθµο FastICA. w = E{xg(w T x)} E{g (w T x)}w ẇ = w / w Στην πράξη οι µέσες τιµές πρέπει να αντικατασταθούν από προσεγγίσεις τους, ιδανικά όλα τα διαθέσιµα δεδοµένα πρέπει να χρησιµοποιηθούν αλλά αυτό συχνά οδηγεί σε πολύ απαιτητικά υπολογιστικά υλοποιήσεις. Εποµένως οι µέσοι όροι υπολογίζονται από ένα µικρότερο δείγµα των δεδοµένων, του οποίο το µέγεθος παίζει καθοριστικό ϱόλο στην ακρίβεια των τελικών εκτιµήσεων. Τα σηµεία του δείγµατος πρέπει να επιλέγονται χωριστά σε κάθε επανάληψη, ενώ αν η σύγκλιση δεν είναι ικανοποιητική, τότε το µέγεθος του δείγµατος αυτού µπορεί να αυξηθεί. Είναι γνωστό ότι η σύγκλιση της µεθόδου Newton µπορεί να είναι αβέβαιη, για να σταθε- ϱοποιήσουµε τον αλγόριθµο προσθέτουµε µία σταθερά ϐήµατος και αποκτούµε τον stabilized Ελένη Βερτεούρη 49

54 fixed-point algorithm w = w µ[e{xg(w T x)} βw]/[e{g (w T x)} β] ẇ = w / w όπου β = E{w T xg(w T x)} όπως παραπάνω και το µ είναι η παράµετρος ϐήµατος, η οποία µπορεί να αλλάζει µε τον αριθµό επαναλήψεων. Αν ϑεωρήσουµε µ πολύ µικρότερο από τη µονάδα,όπως 0.1 ή 0.01, ο αλγόριθµος συγκλίνει µε πολύ µεγαλύτερη σιγουριά. Είναι καλή τακτική να αρχί- Ϲουµε µε µ = 1, στην οποία περίπτωση ο αλγόριθµος είναι αυτός που περιγράφηκε αρχικά και αν η σύγκλιση αποδεικνύεται προβληµατική, τότε το µ µπορεί να µειώνεται σταδιακά µέχρι να η σύγκλιση να γίνει ικανοποιητική. Παρατηρούµε ότι έτσι έχουµε µία παραλλαγή ανάµεσα στη µέθοδο ϐελτιστοποίησης Newton ( µ =1) και στη µέθοδο αρνητικής παραγώγου, που αντιστοιχεί σε ένα πολύ µικρό µ. Οι fixed point αλγόριθµοι µπορούν να χρησιµοποιηθούν και για τα αρχικά δεδοµένα που δεν έχουν υποστεί λεύκανση. Αν µετατρέψουµε τα δεδοµένα στις αρχικές µεταβλητές παρατηρούµε ότι έχουµε την εξής παραλλαγή του αλγορίθµου : w = C 1 E{xg(w T x)} E{g (w T x)} β] ẇ = w / (w ) T Cw όπου C = E{xx T } είναι η µήτρα συνδιασποράς των δεδοµένων. Για τη σταθεροποιηµένη έκδοση έχουµε : w = w µ[c 1 E{xg(w T x)} βw]/e{g (w T x)} β] ẇ = w / (w ) T Cw Χρησιµοποιώντας τους δύο αυτούς αλγορίθµους αποκτά κανείς απευθείας µία ανεξάρτητη συνιστώσα ως το γραµµικό συνδυασµό των w T x, όπου το x δεν χρειάζεται να έχει υποστεί λεύκανση. Οι τροποποιήσεις αυτές προϋποθέτουν ότι η µήτρα συνδιασποράς είναι αντιστρέψιµη, σε αντί- ϑετη περίπτωση η διάσταση των δεδοµένων πρέπει να µειωθεί πχ. µε ΑΚΣ. Ελένη Βερτεούρη 50

55 3.3 Στη γενική περίπτωση FastICA για πολλές συνιστώσες Για να υπολογίσουµε περισσότερες από µία συνιστώσες πρέπει να τρέξουµε τον αλγόριθµο µίας συνιστώσας που περιγράφηκε παραπάνω για πολλές (όπως πχ. νευρώνες) µε διανύσµατα ϐάρους w 1,..., w n. Για να αποτρέψουµε τα διαφορετικά ϐάρη από το να συγκλίνουν στο ίδιο µέγιστο πρέπει να αποσυσχετίσουµε τις εξόδους w1 T x,..., wn T x µετά από κάθε επανάληψη. Ενας τρόπος για να πετύχουµε ασυσχέτιση είναι το σχήµα συστολής ϐασισµένο στην αποσυσχέτιση Gram Schmidt όπου εκτιµάµε τις συνιστώσες µία προς µία. Οταν έχουµε υπολογίσει p συνιστώσες ή p διανύσµατα w 1,.., w p τρέχουµε τον αλγόριθµο για το w p+1 και έπειτα από κάθε επανάληψη αφαιρούµε από το w p+1 τις προβολές των wp+1w T j w j, j = 1,..., p των προηγούµενα υπολογισµένων p διανυσµάτων και τότε κανονικοποιούµε ξανά το w p+1 : 1. w p+1 = w p+1 p j=1 wt p+1w j w j 2. w p+1 = w p+1 / wp+1w T p+1 Αν ϑα ϑέλαµε να χρησιµοποιήσουµε µία συµµετρική αποσυσχέτιση, στην οποία κάποια διανύσµατα δεν προτιµώνται από άλλα [20] τότε χρησιµοποιούµε τετραγωνικές ϱίζες µητρών W = (W W T ) 1/2 W όπου η µήτρα W είναι η µήτρα (w 1,..., w n ) T και η αντίστροφη τετραγωνική ϱίζα (W W T ) 1/2 αποκτάται από την τµηµατοποίηση µε ιδιοτιµές της W W T = F DF T ως (W W T ) 1/2 = F D 1/2 F T. Με χρήση του επαναληπτικού αλγόριθµου [15] 1. W = W/ W W T 2. Επανέλαβε µέχρι να επιτευχθεί σύγκλιση 3. W = 3 2 W 1 2 W W T W Το µέτρο στο ϐήµα 1 µπορεί να οποιοδήποτε συνηθισµένο µέτρο πίνακα εκτός από το µέτρο Frobenius. Ελένη Βερτεούρη 51

56 3.4 FastICA και µέγιστη πιθανοφάνεια Αν γράψουµε τη σχέση 3.1 σε µορφή µήτρας για τον αλγόριθµο FastICA [13] προκύπτει : W = W + diag(a i )[diag(β i ) + E{g(y)y T }]W όπου y = W x, β i = E{y i g(y i )} και a i = 1/(β i E{g (y i )}). Η µήτρα W πρέπει να ορθογωνοποιείται µετά από κάθε ϐήµα, ενώ σε αυτή τη µορφή πινάκων είναι ϕυσικό να η ορθογωνοποίηση αυτή να γίνεται συµµετρικά. Η παραπάνω παραλλαγή του FastICA µπορεί να συγκριθεί µε τη µέθοδο stochastic gradient για µεγιστοποίηση της πιθανοφάνειας [1], [2] W = W + µ[i + g(y)y T ]W όπου µ είναι ο ϱυθµός εκπαίδευσης ο οποίος δεν είναι απαραίτητα σταθερός στο χρόνο. Εδώ το g είναι συνάρτηση της πυκνότητας πιθανότητας µιας ανεξάρτητης συνιστώσας : g = f i/f i όπου η f i είναι η συνάρτηση πυκνότητας πιθανότητας της συνιστώσας. Συγκρίνοντας τις δύο παραπάνω σχέσεις παρατηρούµε ότι ο FastICA µπορεί να ϑεωρηθεί ένα αλγόριθµος fixed point για εκτίµηση µέγιστης πιθανοφάνειας του µοντέλου της ΑΑΣ [13]. Στο FastICA η σύγκλιση επιταχύνεται από τη ϐέλτιστη επιλογή των µητρών diag(a i ) και diag(β i ). Άλλο ένα πλεονέκτηµα του αλγορίθµου αυτού είναι ότι µπορεί να προσεγγίσει τόσο υπογκαουσιανές όσο και υπεργκαουσιανές συνιστώσες, σε αντίθεση µε τους κλασσικούς αλγόριθµους ML που στοχεύουν µόνο µια συγκεκριµένη οµάδα κατανοµών. 3.5 Σύνοψη FastICA Συνοψίζοντας τις ϐασικές ιδιότητες του FastICA σε σύγκριση µε τις υπόλοιπες µεθόδους για την ΑΑΣ 1. Η σύγκλιση είναι κυβική αν οι πυκνότητες των s i είναι συµµετρικές ή τουλάχιστον τετραγωνική, ως συνήθως µε τις µεθόδους Newton, µε ϐάση τις ϐασικές υποθέσεις της ΑΑΣ. Σε αντίθεση οι περισσότεροι αλγόριθµοι που ϐασίζονται στο ανάδελτα έχουν γραµµική όπως επιβεβαιώνεται και από προσοµοιώσεις [11]. 2. Σε αντίθεση µε τις µεθόδους ανάδελτα δεν χρειάζεται επιλογή παραµέτρων για το µέγεθος κάθε ϐήµατος Ελένη Βερτεούρη 52

57 3. Ο αλγόριθµος ϐρίσκει άµεσα τις ανεξάρτητες συνιστώσες από κάθε µη γκαουσιανή κατανοµή χρησιµοποιώντας τη µη γραµµικότητα g σε αντίθεση µε πολλούς αλγορίθµους όπου κάποια πληροφορία για τη συνάρτηση κατανοµής πρέπει να είναι διαθέσιµη εκ των προτέρων για την ορθή επιλογή της µη γραµµµικότητας. 4. Η απόδοση της µεθόδου µπορεί να ϐελτιστοποιηθεί επιλέγοντας µια κατάλληλη µη γραµ- µικότητα, στοχεύοντας σε σθεναρούς ή/και ελάχιστης διασποράς αλγορίθµους. 5. Οι ανεξάρτητες συνιστώσες µπορούν να υπολογιστούν µία προς µία, πράγµα το οποίο είναι ανάλογο µε την αναζήτηση προβολών. Ετσι είναι δυνατό να µειώσουµε τον υπολογιστικό ϕόρτο όταν αναζητούµε κάποιες µόνο από τις συνιστώσες αυτές. 6. Ο αλγόριθµος συνδυάζει πλεονεκτήµατα νευρωνικών αλγορίθµων, είναι παράλληλος, κατανεµηµένος, υπολογιστικά απλός και έχει µικρές απαιτήσεις σε µνήµη. Stochastic gradient µέθοδοι είναι προτιµότερες όταν απαιτείται γρήγορη προσαρµογή σε περιβάλλον που αλλάζει. Ελένη Βερτεούρη 53

58 Ελένη Βερτεούρη 54

59 Κεφάλαιο 4 Contrast συναρτήσεις Το πρόβληµα που καλούµαστε να επιλύσουµε είναι η µεγιστοποίηση του αθροίσµατος της αρνητικής εντροπίας των συνιστωσών υπό τον περιορισµό της ασυσχέτισης. Το πρόβληµα αυτό προσεγγίζεται µε τη µεγιστοποίηση του αθροίσµατος n contrast functions, µία για κάθε συνιστώσα, µε τον ίδιο περιορισµό και µεταφράζεται στο εξής πρόβληµα ϐελτιστοποίησης : µεγιστοποίησε n i=1 J G(w i ) ως προς το w i, i = 1,..., n υπό τον περιορισµό E{(w T k x)(wt j x)} = δ jk όπου στο µέγιστο, κάθε διάνυσµα w i, i = 1,..., n δίναι µία από τις γραµµές της µήτρας W και ο µετασχηµατισµός της ΑΑΣ δίνεται από s = W x. Εποµένως το πρόβληµα εκτίµησης της ΑΑΣ έχει µετατραπεί σε ένα πρόβληµα ϐελτιστοποίησης. Θα αναλύσουµε τις ιδιότητες της εκτίµησης µε ϐάση την επιλογή της G και πως εφαρµόζεται η τεχνική αυτή στην πράξη. 4.1 Ιδιότητες των Contrast Συναρτήσεων Θεωρούµε ότι η µήτρα µίξης είναι τετραγωνική και για απλότητα ϑα µελετήσουµε την περίπτωση της εκτίµησης µίας συνιστώσας αγνοώντας την επίδραση της αποσυσχέτισης. Εστω w το διάνυσµα που αποκτάται από τη µεγιστοποίηση της J G, έτσι ώστε το w να είναι ένα εκτιµητής µιας γραµµής της µήτρας A Συνοχή Θα δείξουµε ότι το w είναι ένας εκτιµητής που έχει τοπικά συνοχή για µία συνιστώσα του µοντέλου της ΑΑΣ. [15] 55

60 Θεώρηµα. Θεωρούµε ότι τα δεδοµένα εισόδου ικανοποιούν το µοντέλο ΑΑΣ και ότι η G είναι µια επαρκώς οµαλή άρτια συνάρτηση. Τότε το σύνολο των τοπικών µεγίστων της J G (w) υπό τον περιορισµό E{(w T x) 2 } = 1 περιλαµβάνει την i γραµµή της αντίστροφης της µήτρας µίξης A. Η αντίστοιχη ανεξάρτητη συνιστώσα ικανοποιεί : E{s i g(s i ) g (s i )}[E{G(s i )} E{G(v)}] > 0 όπου η g(.) είναι η παράγωγος της G(.) και η v είναι η κανονικοποιηµένη γκαουσιανή µεταβλητή Η υπόθεση για την G είναι ορθή για τις περισσότερες λογικές επιλογές για αυτή και για τις κατανοµές των s i. Για την ακρίβεια αν G(u) = u 4 τότε η συνθήκη ικανοποιείται για κάθε κατανοµή µε µη µηδενική κύρτωση, επίσης αποδεικνύεται [14] ότι δεν υπάρχουν ψευδή ϐέλτιστα Ασυµπτωτική διασπορά Η ασυµπτωτική διασπορά είναι ένα κριτήριο για την επιλογή της G καθώς σύγκριση µεταξύ των ιχνών των µητρών ασυµπτωτικής συνδιασποράς δύο εκτιµητών επιτρέπει απευθείας σύγκριση του µέσου σφάλµατός τους. Στο [14] γίνεται αξιολόγηση των ασυµπτωτικών διασπορών µε χρήση οικογένειας συναρτήσεων contrast και ισχύει : Θεώρηµα. Το ίχνος της ασυµπτωτικής (συν)διασποράς του w ελαχιστοποιείται όταν η G είναι της µορφής G opt (u) = k 1 log f i (u) + k 2 u 2 + k 3 όπου f i (.) είναι η συνάρτηση πυκνότητας του s i και k 1, k 2, k 3 τυχαία επιλεγµένες σταθερές. Για απλότητα µπορεί να επιλεχθεί G opt (u) = log f i (u). Τότε η συνάρτηση contrast που αποκτάται είναι η ίδια που αποκτάται από τη µέγιστη πιθανοφάνεια ή τον infomax. Ενώ το παραπάνω ϑεώρηµα αφορά την περίπτωση εκτίµησης µίας µόνο συνιστώσας και όχι πολλών, γενικά έχει αποδειχθεί ότι το ϑεώρηµα ισχύει στη δεύτερη περίπτωση Σθεναρότητα (Robustness) Μία άλλη ελκυστική ιδιότητα του εκτιµητή είναι η σθεναρότητα απέναντι σε ακραίες παρατη- ϱήσεις (outliers ), δηλαδή το πως επηρεάζουν ακραίες και µοναδικές ενδεχόµενα λανθασµένες παρατηρήσεις τον εκτιµητή. Για να έχουµε µια απλή µορφή σθεναρότητας, τη B-robustness, Ελένη Βερτεούρη 56

61 ϑα ϑέλαµε ο εκτιµητής µας να έχει περιορισµένη ευαισθησία σε ακραίες παρατηρήσεις. Επειδή είναι σχεδόν αδύνατο να έχουµε µία απολύτως ϕραγµένη συνάρτηση επιρροής, στοχεύουµε στην ακόλουθη ιδιότητα σθεναρότητας Θεώρηµα. Θεωρούµε ότι τα δεδοµένα x έχουν υποστεί λεύκανση µε ένα σθεναρό τρόπο, τότε η συνάρτηση επιρροής του εκτιµητή w δεν είναι ποτέ ϕραγµένη για όλα τα x. Αν όµως η h(u) = ug(u) είναι ϕραγµένη τότε η συνάρτηση επιρροής είναι ϕραγµένη για σύνολα της µορφής {x w T x/ x > ε} για κάθε ε > 0, όπου η g είναι η παράγωγος της G. Στην πραγµατικότητα αν κάποιος επιλέξει µία συνάρτηση G(u) που είναι ϕραγµένη, η h είναι επίσης ϕραγµένη και το w είναι αρκετά σθεναρό απέναντι σε ακραίες παρατηρήσεις. Αν αυτό δεν είναι δυνατό τότε τουλάχιστον ϑα πρέπει η G(u) να µη µεγαλώνει πολύ γρήγορα όταν το u µεγαλώνει. 4.2 Επιλογή contrast συνάρτησης Απόδοση εκθετικών συναρτήσεων Θεωρούµε την εξής οικογένεια εκθετικών συναρτήσεων f a (s) = k 1 exp(k 2 s a ) όπου a είναι µια ϑετική παράµετρος και k 1, k 2 είναι σταθερές κανονικοποίησης έτσι ώστε η f a να είναι συνάρτηση πιθανότητας µε µοναδιαία διασπορά. Για διαφορετικές του a οι πυκνότητες της οικογένειας αυτής παρουσιάζουν διαφορετικές µορφές. Για 0 < a < 2 παίρνουµε µία αραιή υπεργκαουσιανή πυκνότητα (ϑετική κύρτωση). Για a = 2 έχουµε την γκαουσιανή κατανοµή και για a > 2 υπογκαουσιανή πυκνότητα (αρνητική κύρτωση). Εποµένως οι πυκνότητες αυτής της οικογένειας µπορούν να χρησιµοποιηθούν ως παραδείγµατα διαφόρων µη γκαουσιανών κατανοµών. Χρησιµοποιώντας το ϑεώρηµα σχετικά µε την ασυµπτωτική διασπορά, µία ϐέλτιστη contrast συνάρτηση της οποίας η πυκνότητα ισούται µε f a έχει τη µορφή G opt (u) = u a όπου οι τυχαία επιλεγµένες σταθερές έχουν παραληφθεί. Σε γενικές γραµµές για υπεργκαουσιανές (αντίστοιχα για υπογκαουσιανές) η ϐέλτιστη contrast συνάρτηση µεγαλώνει µε ϱυθµό Ελένη Βερτεούρη 57

62 µικρότερο από τετραγωνικό (αντίστοιχα µεγαλύτερο). Οµως όπως αναφέραµε παραπάνω αν η G(u) µεγαλώνει γρήγορα σε σχέση µε το u τότε ο εκτιµητής γίνεται µη σθεναρός ως προς α- κραίες παρατηρήσεις. Ακόµη αν λάβουµε υπόψη µας ότι στην πράξη οι περισσότερες συνιστώσες είναι υπεργκαουσιανές, ϐλέπουµε ότι ϑα ήταν σκόπιµο να επιλέξουµε µια contrast συνάρτηση γενικού σκοπού που να µοιάζει µε G opt (u) = u a, a < 2 Το πρόβληµα µε τέτοιες συναρτήσεις είναι ότι δεν είναι διαφορίσιµες στο 0 για a 1, εποµένως ϑα ήταν προτιµότερο να χρησιµοποιηθούν ποιοτικές προσεγγίσεις των συναρτήσεων αυτών που να µην έχουν το ίδιο µειονέκτηµα. Αν ϑεωρήσουµε a = 1, στην οποία περίπτωση έχουµε διπλή εκθετική κατανοµή, µπορούµε να χρησιµοποιήσουµε την G 1 (u) = log cosh a 1, a 1 όπου a 1 σταθερά. Η παράγωγος της G 1 είναι παρόµοια µε την οικογένεια υπερβολικών εφαπτοµένων (tanh) για a 1 = 1. Στην περίπτωση a < 1, δηλαδή για πολύ υπερ-γκαουσιανές ανεξάρτητες συνιστώσες, η συµπεριφορά της G opt για µεγάλα u προσεγγίζεται από µία γκαουσιανή συνάρτηση (µε πρόσηµο µείον):g 2 (u) = exp( a 2 u 2 /2),όπου a 2 σταθερά. Η παράγωγος της συνάρτησης αυτής είναι παρόµοια µε σιγµοειδή για µικρές τιµές και τίνει στο 0 για µεγάλες. Η συνάρτηση αυτή ικανοποιεί το ϑεώρηµα σθεναρότητας και εποµένως παρέχει έναν σθεναρό εκτιµητή, πειραµατικά έχει ϐρεθεί [14] ότι 1 a 1 2 και a 2 = 1 να δίνουν καλές προσεγγίσεις. 4.3 Πρακτικά κριτήρια contrast συναρτήσεων Υπολογιστική απλότητα Η contrast συνάρτηση ϑα πρέπει να υπολογίζεται γρήγορα, ϑα πρέπει να λάβουµε υπόψη µας ότι οι πολυωνυµικές συναρτήσεις υπολογίζονται πιο γρήγορα από πχ. την υπερβολική εφαπτοµένη. Μπορούµε να αντικαταστήσουµε τις µη πολυωνυµικές συναρτήσεις µε τις γραµµικές προσεγγίσεις τους χωρίς να χάσουµε τα πλεονεκτήµατά τους Σειρά υπολογισµού συνιστωσών Αν υπολογίζουµε τις συνιστώσες µία προς µία, µπορούµε να επηρεάσουµε τη σειρά επειδή κάθε περιοχή µεγίστου της συνάρτησης contrast παρουσιάζει έλξη διαφορετικού µεγέθους. Κάθε τυπική µέθοδος ϐελτιστοποίησης τείνει να ϐρίσκει πρώτα περιοχές µεγίστων µε τη µεγαλύτερη έλξη. Είναι αδύνατο να υπολογίσουµε µε ακρίβεια την ιεραρχία αυτή, αλλά µία κατάλληλη Ελένη Βερτεούρη 58

63 επιλογή contrast συνάρτησης είναι σε ϑέση να ευνοεί την εύρεση συνιστωσών µε συγκεκριµένες κατανοµές πριν από άλλες. Η επιλογή αυτή εξαρτάται από τη συγκεκριµένη εφαρµογή που επιθυµούµε να επιλύσουµε. Συµπερασµατικά σε αυτή την ενότητα έχουµε τις εξής συναρτήσεις και τις παραγώγους τους : G 1 (u) = 1 a 1 log cosh(a 1 u), g 1 (u) = tanh(a 1 u) G 2 (u) = 1 a 2 exp( a 2 u 2 /2), g 2 (u) = u exp( a 2 u 2 /2) G 3 (u) = 1 4 u4, g 3 (u) = u 3 όπου 1 a 1 2, a 2 1 είναι σταθερές. Η G 1 είναι γενικού σκοπού, η G 2 ταιριάζει σε πολύ υπερ-γκαουσιανές συνιστώσες και έχει έµφαση στη σθεναρότητα. Η G 3 όπως και η κύρτωση είναι κατάλληλες για υπολογισµό υπογκαουσιανών κατανοµών όταν δεν υπάρχουν ακραίες τιµές. Η επιλογή της συνάρτησης contrast είναι σηµαντική για την ϐελτιστοποίηση της απόδοσης του αλγορίθµου. Ελένη Βερτεούρη 59

64 Ελένη Βερτεούρη 60

65 Κεφάλαιο 5 Στατιστικές εύτερης Τάξης Συχνά στη ϐιβλιογραφία οι όροι Τυφλός ιαχωρισµός σε Πηγές (Τ Π) και Ανάλυση σε Ανεξάρτητες Συνιστώσες (ΑΑΣ) εναλλάσσονται µεταξύ τους αφού αναφέρονται σε παρόµοια µοντέλα και σε παρόµοιους αλγορίθµους επίλυσης τους υπό την υπόθεση της αµοιβαίας ανεξαρτησίας. Στη γενική περίπτωση προβληµάτων του πραγµατικού κόσµου ο στόχος της ΑΑΣ και του Τ Π είναι διαφορετικός, καθώς ο στόχος του Τ Π είναι να διαχωρίσουµε τα σήµατα πηγών ακόµα και όταν δεν είναι πλήρως αµοιβαία ανεξάρτητα, ενώ της ΑΑΣ να εντοπίσει το µετασχηµατισµό που παράγει τις όσο δυνατόν ανεξάρτητες συνιστώσες. Πρέπει ακόµα να ληφθεί υπόψη ότι η ΑΑΣ χρησιµοποιεί κυρίως στατιστικές ανώτερης τάξης (HOS ) ενώ οι µέθοδοι Τ Π χρησιµοποιούν κυρίως στατιστικές δευτέρας τάξης (SOS ). Μια άλλη διαφορά τους είναι ότι οι µέθοδοι HOS α- παιτούν οι πηγές να µην έχουν γκαουσιανές κατανοµές, ενώ οι µέθοδοι δεύτερης τάξης δεν έχουν τέτοιους περιορισµούς. Στην πραγµατικότητα οι µέθοδοι Τ Π δεν αντικαθιστούν τις µεθόδους ΑΑΣ και αντίστροφα αφού έχουν διαφορετικές υποθέσεις και συχνά διαφορετικούς στόχους. Οπως είδαµε για την ΑΑΣ στη συνηθέστερη περίπτωση εκµεταλλευόµαστε σαν συνάρτηση κόστους (contrast function ) κάποιο µέτρο ανεξαρτησίας των σηµάτων ή µέτρο µη κανονικότητας ή αραιότητας (sparseness). Οταν οι αρχικές πηγές ϑεωρούνται ανεξάρτητες στατιστικά χωρίς χρονική δοµή, τότε οι στατιστικές ανώτερης τάξης (HOS ) είναι απαραίτητες για να λύσουµε το πρόβληµα τυφλού διαχωρισµού. Σε αυτήν την περίπτωση δεν µπορούµε να έχουµε πάνω από µία γκαουσιανή συνιστώσα. Αν οι πηγές έχουν χρονικές δοµές, τότε κάθε πηγή έχει χρονική συσχέτιση η οποία δεν ε- ξαφανίζεται και τότε λιγότερο περιοριστικές συνθήκες από τη στατιστική ανεξαρτησία µπορούν να χρησιµοποιηθούν. Στατιστικές δευτέρας τάξης είναι συχνά αρκετές για να εκτιµηθεί η µήτρα µίξης και οι άγνωστες πηγές όπως ο αλγόριθµος AMUSE [25] ή SOBI[5]. Πρέπει να λάβουµε 61

66 υπόψη ότι οι µέθοδοι αυτές δεν επιτρέπουν το διαχωρισµό πηγών µε ταυτόσηµες κατανοµές ενέργειας ανά συχνότητα (power spectra) ή µε πηγές i.i.d., ανεξάρτητες και ταυτόσηµα κατανε- µηµένες µεταβλητές. Μια άλλη τρίτη προσέγγιση εκµεταλλεύεται τη µη στασιµότητα (NS) και τις στατιστικές δεύτερης τάξης µε την έννοια ότι οι διασπορές των πηγών µεταβάλλονται στο χρόνο. Σε αντίθεση µε άλλες τεχνικές η προσέγγιση αυτή επιτρέπει το διαχωρισµό colored γκαουσιανών πηγών µε ταυτόσηµες κατανοµές ενέργειας ανά συχνότητα. εν επιτρέπει όµως το διαχωρισµό πηγών µε ταυτόσηµα χαρακτηριστικά µη στασιµότητας. Μία τελευταία µέθοδος είναι η εκµετάλλευση διαφόρων µεγεθών διαφορετικότητας των σηµάτων στο πεδίο του χρόνου, του πεδίου συχνότητας, στο επίπεδο χρόνου-συχνότητας ή στο επίπεδο χώρου-χρόνου-συχνότητας (STF). Οι διαφορετικότητες στο πεδίο χώρου-χρόνου-συχνότητας χρησιµοποιούνται ευρέως στα α- σύρµατα συστήµατα επικοινωνιών. Τα σήµατα µπορούν να διαχωριστούν εύκολα αν δεν επικαλύπτονται σε κάποιο από τα παραπάνω πεδία. Τα σήµατα µπορούν να διαχωριστούν εύκολα στο πεδίο χρόνου όταν ένας δέκτης είναι προσβάσιµος µόνο όταν το σήµα που µας ενδιαφέρει αποστέλλεται. Αυτό λέγεται ιαχωρισµός στο πεδίο του χρόνου (Time Division Multiple Access, TDMA ). Αν δύο οι περισσότερα σήµατα δεν επικαλύπτονται στο πεδίο της συχνότητας, µπορούν να διαχωριστούν µε Ϲωνοδιαβατά ϕίλτρα (Frequency Division Multiple Access ). Αν οι κατανοµές στα παραπάνω πεδία επικαλύπτονται στα παραπάνω πεδία τότε πρέπει να εξερευνηθούν άλλα είδη διαφορετικότητας. Σε κάποιες περιπτώσεις έχουµε κάποια a priori γνώση για τα σήµατα πηγών και την οποία ενσωµατώνουµε στη διαδικασία ηµι-τυφλού διαχωρισµού. Οι µέθοδοι αυτές δεν χρειάζεται να εξάγουν τις συναρτήσεις πυκνότητας πιθανότητας των σηµάτων. 5.1 Τυφλός ιαχωρισµός Πηγών µε χρήση στατιστικών εύτερης Τάξης Ο διαχωρισµός σε πηγές αποτελείται από την ανάκτηση ενός συνόλου σηµάτων από στιγµιαίες γραµµικές µίξεις τους. Σε πολλές περιπτώσεις δεν έχουµε a priori πληροφορία για τη µήτρα µίξης είτε λόγω έλλειψης γνώσης για τη µήτρα µίξης είτε διότι η µήτρα είναι αρκετά αλλοιωµένη. Η µέθοδος που ϑα παρουσιαστεί εκµεταλλεύεται τη χρονική συνοχή των σηµάτων-πηγών. Σε αντίθεση µε τεχνικές ΑΑΣ που έχουµε αναφέρει η παρούσα µέθοδος ϐασίζεται µόνο σε στάσιµα στατιστικά µεγέθη δεύτερης τάξης που ϐασίζονται στην αµοιβαία διαγωνοποίηση ενός συνόλου από µήτρες ετεροσυσχέτισης. Ελένη Βερτεούρη 62

67 Σε πολλές εφαρµογές χρειάζεται να επεξεργαστούν πολυδιάστατα δεδοµένα παρατηρήσεων της µορφής x(t) = y(t) + n(t) = As(t) + n(t) δηλαδή x(t) είναι µία στιγµιαία γραµµική µίξη των πηγών µε ϑόρυβο. Θεωρούµε ότι οι πηγές s(t) = [s 1 (t),..., s n (t)] T περιορίζονται σε n Ϲώνες συχνοτήτων, ενώ το διάνυσµα y(t) = [y 1 (t),..., y n (t)] T περιέχει τα δείγµατα στο χρόνο t και η µήτρα A είναι η µήτρα µεταφοράς µεταξύ πηγών και αισθητήρων. Θα µελετήσουµε την περίπτωση όπου οι στάσιµες πηγές έχουν διαφορετικά χαρακτηριστικά στο πεδίο συχνότητας. Εχει δειχθεί στον αλγόριθµο AMUSE [25] ότι η διαδικασία τυφλού διαχωρισµού είναι δυνατή µε ϐάση µήτρες χωρικής συνδιασποράς. Οι µήτρες αυτές έχουν µία απλή µορφή που επιτρέπει ανάλυση σε ιδιοτιµές. Η µέθοδος που ακολουθεί [5] είναι µέθοδος Τ Π ϐασίζεται στην από κοινού διαγωνοποίηση αρκετών µητρών συνδιασποράς. Η σθεναρότητα αυξάνεται σηµαντικά µε µικρό κόστος όταν η επεξεργασία γίνεται στις µήτρες σαν σύνολο και όχι κάθε µία χωριστά. 5.2 Υποθέσεις Θεωρείται ότι τα σήµατα πηγών s(t) είναι εργοδικά Υ1 είτε είναι στάσιµες πολυµεταβλητές διαδικασίες Υ2 [5].Για τις Υ1 Για τις Υ2 lim T 1 s(t + τ)s(t) = E[s(t + τ)s(t) ] = diag[ρ 1 (τ,.., ρ n (τ)] T t=1,t E[s(t + τ)s(t) ] = diag[ρ 1 (τ),.., ρ n (τ)] όπου το δηλώνει το συζευγµένο ανάστροφο (conjugate transpose) ενός διανύσµατος, και το diag[ ] τη διαγώνια µήτρα των στοιχείων διανύσµατος. Χρησιµοποιούµε το συµβολισµό E για να δηλώσουµε τόσο για τον ντετερµινιστικό µέσο όρο υπό την υπόθεση Υ1 όσο και για το µέσο όρο στα δείγµατα που χρησιµοποιούµε για να περιγράψουµε το σήµα (ensemble averaging) υπό την υπόθεση Υ2. Θεωρούµε ότι τα s i (t), 1 i n είναι αµοιβαία ασυσχέτιστα και ρ i (τ) = E[s i (t + τ)s i (t)] υποδηλώνει την αυτοσυσχέτιση του s i (t). Ελένη Βερτεούρη 63

68 Ο προσθετικός ϑόρυβος n(t) µοντελοποιείται σαν µία στάσιµη, χρονικά λευκή, µηδενικού µέσου όρου τυχαία διαδικασία ανεξάρτητη των σηµάτων πηγών. Για απλότητα απαιτούµε επίσης το n(t) να είναι χωρικά λευκό, δηλαδή : E[n(t + τ)n (t)] = σ 2 δ(τ)i όπου το δ(τ) είναι η σταθερά του Kronecker και το I δηλώνει τη µοναδιαία µήτρα. Η υπόθεση του χωρικά λευκού ϑορύβου δεν είναι ϐασική, καθώς η µέθοδος µπορεί να επεκταθεί για ϑόρυβο άγνωστης µήτρας συνδιασποράς. Η µήτρα m n A ϑεωρείται ότι είναι τάξης όσες και οι στήλες της αλλά κατά τα άλλα άγνωστη. εν υποθέτουµε καµία συγκεκριµένη δοµή για τη µήτρα A ή για τους αισθητήρες. Με ϐάση τις παραπάνω υποθέσεις οι µήτρες συνδιασπορών έχουν την ακόλουθη δοµή : R(0) = E[x(t)x (t)] = AR s (0)A H + σ 2 I (5.1) R(τ) = E[x(t + τ)x (t)] = AR s (τ)a H, τ 0 (5.2) όπου ο δείκτης H δηλώνει το συζευγµένο ανάστροφο της µήτρας. Οταν επιχειρούµε υπολογισµό του µοντέλου Τ Π χωρίς εκ των προτέρων γνώση της µήτρας µίξης όπως εδώ απαλλασσό- µαστε από λάθη στην αναδροµική εκτίµηση του πίνακα αυτού. Οπως και στην ΑΑΣ µπορούµε να υπολογίσουµε τη µήτρα µίξης µε ένα λάθος στον παράγοντα του πλάτους των σηµάτων και στο πρόσηµό τους, διότι µια τέτοια αλλαγή δεν µπορεί να ανιχνευθεί από το µοντέλο : x(t) = As(t) + n(t) = n p=1 a p α p α p s p (t) + n(t) όπου α p είναι µια τυχαία σταθερά και το a p αναφέρεται στην p στήλη του πίνακα A. Χωρίς ϐλάβη της γενικότητας ϑεωρούµε ότι τα σήµατα πηγές έχουν µοναδιαία διασπορά έτσι ώστε να περιγράφονται από τα µεγέθη των στηλών του πίνακα A. Αυτή η σύµβαση είναι χρήσιµη υπολογιστικά, όµως δεν επηρεάζει την απόδοση του αλγορίθµου. Αφού οι πηγές ϑεωρούνται ασυσχέτιστες ισχύει : R s (0) = I έτσι ώστε R y (0) = E[y(t)y (t)] = AA H (5.3) Αυτή η κανονικοποίηση δεν διασαφηνίζει την κατάταξη των στηλών του πίνακα A. Ορίζουµε Ελένη Βερτεούρη 64

69 ότι δύο µήτρες M και N λέγονται στοιχειωδώς ισοδύναµες αν υπάρχει µήτρα P έτσι ώστε M = NP, όπου P έχει ακριβώς ένα µη µηδενικό στοιχείο σε κάθε στήλη και γραµµή και τα στοιχεία αυτά έχουν µοναδιαίο µέτρο. Στη µέθοδο αυτή αναζητούµε τη µήτρα που είναι στοιχειωδώς ισοδύναµη µε την A αποδεχό- µενοι τις αποκλίσεις στο πλάτος και το πρόσηµο των πηγών. 5.3 Λεύκανση Το πρώτο ϐήµα της διαδικασίας αποτελεί η λεύκανση του σήµατος y(t) των παρατηρήσεων. Αυτό επιτυγχάνεται µε την εφαρµογή της µήτρας λεύκανσης W για την οποία ισχύει [5]: E[W y(t)y(t) W H ] = W R y (0)W H = W AA H W H = I (5.4) Η παραπάνω εξίσωση µας δείχνει ότι αν η W είναι µήτρα λεύκανσης τότε η W A είναι µία n n ορθογώνια µήτρα. Εποµένως για κάθε µήτρα λεύκανσης W υπάρχει µία n n ορθογώνια µήτρα U έτσι ώστε W A = U. Συνεπώς η µήτρα A παραγοντοποιείται ως εξής A = W # U (5.5) Ο δείκτης # αναφέρεται στον Moore-Penrose ψευδοαντίστροφο. Παρατηρούµε ότι η διαδικασία λεύκανσης µειώνει το µέγεθος της µήτρας A από m n σε µία µήτρα n n, την U. Η διαδικασία που έχει υποστεί λεύκανση z(t) = W x(t) ακολουθεί το γραµµικό µοντέλο z(t) = W x(t) = W [As(t) + n(t)] = Us(t) + W n(t) Παρατηρούµε ότι η διασπορά του s(t) δεν αλλάζει στη διαδικασία λεύκανσης. Από τις 5.1 και 5.3, AA H = R(0) σ 2 I, 5.4 έχουµε ότι η µήτρα λεύκανσης W µπορεί να καθοριστεί από τη µήτρα συνδιασποράς R(0), αν η µήτρα συνδιασποράς του ϑορύβου είναι γνωστή ή µπορεί να καθοριστεί. Η µήτρα λεύκανσης µπορεί να καθοριστεί από ένα γραµµικό συνδυασµό µητρών συνδιασπορών σε µη µηδενικές χρονικές καθυστερήσεις όπως στον αλγόριθµο AMUSE[25]. Από την 5.5 παρατηρούµε ότι η εύρεση της µήτρας λεύκανσης δεν είναι αρκετή για τον προσδιορισµό του ορθογώνιου παράγοντα στην A. Αυτός µπορεί να προσδιοριστεί είτε από στατιστικές ανώτερης τάξης (πχ. Μέγιστη Πιθανοφάνεια) είτε µε χρήση της χρονικά εξαρτώµενης δοµής των σηµάτων (υποθέσεις Υ1 ή Υ2). Ελένη Βερτεούρη 65

70 5.4 Ορίζοντας τον ορθογώνιο παράγοντα Ορίζουµε τις µήτρες συνδιασποράς κατόπιν της λεύκανσης R (τ) και οποίες αποτελούν τις µήτρες συνδιασποράς της διαδικασίας z(t) [5] R (τ) = W R(τ)W H, τ 0 Από τις 5.2,5.5 προκύπτει R (τ) = UR s (τ)u H, τ 0 (5.6) Εποµένως κάθε µήτρα λεύκανσης διαγωνοποιείται από τον ορθογώνιο µετασχηµατισµό U. Θεώρηµα. Εστω τ µία µη µηδενική χρονική καθυστέρηση και V ορθογώνια µήτρα έτσι ώστε V H R (τ)v = diag[d 1,..., d n ], 1 i j n ρ i (τ) ρ j (τ) Εποµένως το V είναι στοιχειωδώς ισοδύναµο µε το U και µία διαφοροποίηση κατά σ υπάρχει έτσι ώστε ρ 1 (τ),..., ρ n (τ)] = [d σ(1),..., d σ(n) ]. Η ύπαρξη της µήτρας V εξασφαλίζεται από τη σχέση 5.6, ενώ η ύπαρξη χρονικής καθυστέρησης τ δεν µπορεί να εξασφαλισθεί εκ των προτέρων, ενώ η διαγωνοποίηση της R (τ), όπως σε κάθε περίπτωση Τ Π, εξαρτάται από την ύπαρξη απλών ιδιοτιµών. Αν τα σήµατα πηγών έχουν διαφορετικά ϕάσµατα στο πεδίο συχνότητας τότε η παραπάνω συνθήκη ικανοποιείται συνήθως. Γενικά όµως η σθεναρότητα του αλγορίθµου ϐελτιώνεται όταν οι ιδιοτιµές απέχουν αρκετά από το να καταστήσουν τη µήτρα µη διαγωνοποιήσιµη. Πρέπει να επιδιώκεται ταυτόχρονη διαγωνοποίηση του συνόλου των µητρών R (τ) των K µητρών συνδιασποράς κατόπιν λεύκανσης. Το παραπάνω ϑεώρηµα γενικεύεται για K µη µηδενικές καθυστερήσεις, µε την προοπτική ότι η αµοιβαία διαγωνοποίηση αρκετών µητρών συσχέτισης µειώνει στατιστικά τον κίνδυνο κακής επιλογής χρονικών καθυστερήσεων. Θεώρηµα. Εστω M = {M 1,..., M K } ένα σύνολο K µητρών, όπου για 1 k K η µήτρα M k είναι της µορφής M k = UD k U H µε U ορθογώνια µήτρα και D k = diag[d 1 (k),.., d n (k)]. Κάθε από κοινού διαγωνοποίηση της M είναι στοιχειωδώς ισοδύναµη στην U αν και µόνο αν : 1 i j n k, 1 k K, d i (k) d j (k) Ελένη Βερτεούρη 66

71 Η παραπάνω συνθήκη είναι ασθενέστερη από τη συνθήκη ότι κάθε µήτρα M είναι διαγωνοποιήσιµη µε ορθογώνιο και µοναδικό τρόπο [5]. 5.5 Αλγόριθµος SOBI Ο αλγόριθµος [5] που υλοποιεί την παραπάνω µέθοδο είναι γενίκευση του Ιακωβιανού αλγόριθ- µου (Jacobian algorithm) για την ακριβή διαγωνοποίηση µιας συµµετρικής µήτρας. Η τεχνική χρησιµοποιεί την περιστροφή κατά Givens. 1. Εκτίµησε τη συνδιασπορά του δείγµατος ˆR(0) από T δεδοµένα µετρήσεων. Ορισε ως λ 1,.., λ n τις n µεγαλύτερες ιδιοτιµές και µε h 1,.., h n τα αντίστοιχα ιδιοδιανύσµατα του ˆR(0). 2. Υπό την υπόθεση του λευκού ϑορύβου, µία εκτίµηση του ˆσ 2 της διασποράς του ϑορύβου είναι ο µέσος όρος των m n µικρότερων ιδιοτιµών του ˆR(0). Τα σήµατα που έχουν υποστεί λεύκανση είναι z(t) = [z 1 (t),..., z n (t)] T, τα οποία υπολογίζονται από z i (t) = (λ i ˆσ 2 ) 1/2 h i x(t) για 1 i n. Αυτό ισοδυναµεί µε τον εξής ορισµό της µήτρας λεύκανσης : Ŵ = [(λ 1 ˆσ 2 ) 1/2 h 1,..., (λ n ˆσ 2 ) 1/2 h n ] H 3. Σχηµάτισε εκτιµήσεις της ˆR(τ) από το δείγµα µε υπολογισµό των µητρών συνδιασπορών του z(t) για ένα καθορισµένο σύνολο χρονικών καθυστερήσεων τ {τ j j = 1,..., K} 4. Η ορθογώνια µήτρα Û αποκτάται από την από κοινού διαγωνοποίηση του συνόλου { ˆR(τ j ) j = 1,..., K}. 5. Τα σήµατα πηγών εκτιµώνται ως ŝ(t) = Û H Ŵ x(t) και η µήτρα µίξης A ως Â = Ŵ # Û. 5.6 Αλγόριθµος SOBI-RO Εάν επιθυµούµε να καταστήσουµε τον αλγόριθµο SOBI περισσότερο σθεναρό απέναντι στο ϑό- ϱυβο τότε είναι ϑεµιτό να χρησιµοποιήσουµε µία τροποποίηση του, τον SOBI-RO [4] που πραγ- µατοποιεί σθεναρή διαγωνοποίηση απέναντι σε διάφορα είδη ϑορύβου. Στο [5] δεν αναφέρεται πως η µήτρα ετεροσυσχέτισης επιλέγεται, όµως η καθυστέρηση επιλέγεται συνήθως κοντά στο µηδέν για να εξασφαλισθεί ότι η positive definiteness της µήτρας, επίσης σε αυτή την περίπτωση Ελένη Βερτεούρη 67

72 η επίδραση του ϑορύβου µπορεί µόνο να αγνοηθεί αν είναι πλήρως λευκός. Στο [4] δείχνεται ότι η µήτρα λεύκανσης µπορεί να υπολογιστεί από µία διάσπαση σε ιδιοτιµές µίας positive definite µήτρας που είναι ο γραµµικός συνδυασµός µητρών συσχέτισης σε µη µηδενικές καθυστερήσεις. Το µοντέλο παραµένει ως εξής : x(t) = As(t) + n(t) όπου A R n n είναι η άγνωστη µήτρα µίξης (αντιστρέψιµη), το x(t) είναι το διάνυσµα παρατηρήσεων n διαστάσεων και s(t) είναι το διάνυσµα των σηµάτων πηγών n διαστάσεων που είναι µεταξύ τους ασυσχέτιστα αλλά χρονικά συσχετισµένα. Το διάνυσµα n(t) είναι προσθετικός ϑό- ϱυβος που ϑεωρείται ότι έχει µέσο όρο µηδέν, χρονικά λευκός και ανεξάρτητος από τα σήµατα πηγών. Σε αντίθεση µε την κλασσική υπόθεση δεν ϑεωρούµε κάποια συγκεκριµένη κατανοµή ϑορύβου ή χωρικές συσχετίσεις. Ετσι η µήτρα συνδιασποράς του E[n(t)n(t) T ] = R n µπορεί να είναι µία πλήρης µήτρα που είναι γενικά άγνωστη. Με τις παραπάνω υποθέσεις οι µήτρες συσχετίσεις των παρατηρήσεων έχουν τη µορφή : R x (0) = E[x(t)x(t) T ] = AR s (0)A T + R n R x (i) = E[x(t)x(t i) T = AR s (i)a T για i = 1,..., Ο αλγόριθµος Ο Τυφλός ιαχωρισµός εύτερης Τάξης (SOBI) που χρησιµοποιεί ένα γραµµικό συνδυασµό µητρών συσχέτισης για την εκτίµησης της µήτρας λεύκανσης : 1. Εκτίµησε τη µήτρες συσχέτισεις και υπολόγισε µία ανάλυση σε ιδιοτιµές από το n K σύνολο µητρών R = [ ˆR x (1) ˆR x (K)], R = U R ΣV T όπου U R R n n και V R nk nk είναι ορθογώνιες µήτρες και η Σ έχει µη µηδενικά στοιχεία στις (i, i) ϑέσεις για 1 i n και µηδέν αλλού. 2. Για i = 1,, R υπολόγισε F i = U T R ˆR x (i)u R Ελένη Βερτεούρη 68

73 3. Επέλεξε οποιοδήποτε αρχικό α R n. 4. Υπολόγισε F = K α i F i i=1 Ελεγχος Υπολόγισε µία Schur ανάλυση της F R n n. Αν η F είναι positive definitive πήγαινε στο 5, αλλιώς πήγαινε στην Ανανέωση. Ανανέωση Επέλεξε ένα ιδιοδιάνυσµα u που αντιστοιχεί στη µικρότερη ιδιοτιµή της F και ανανέωσε το α µε α + d, όπου d = [ut F 1 u u T F K u] T [u T F 1 u u T F K u] T και επέστρεψε στο ϐήµα 4. Αποδεικνύεται ότι η επανάληψη αυτή ολοκληρώνεται σε ορισµένο αριθµό ϐηµάτων. 5. Υπολόγισε C = K α i ˆRx (i) i=1 και πραγµατοποίησε µία ανάλυση σε ιδιοτιµές του C : C = U c diag[λ 2 1 λ 2 n]u T c είναι οι singular τιµές της C. Μία µήτρα λεύκανσης δίνεται από W = diag[λ 1 λ n ] 1 U T c 6. Οι µήτρες λεύκανσης : ˆR x (i) = W ˆR x (i)w T για i = 1,, K 7. Η ορθογώνια µήτρα U αποκτάται ως ο από κοινού διαγωνοποιητής του συνόλου ˆR x (i) i = 1,, K. Ελένη Βερτεούρη 69

74 8. Τα σήµατα πηγών εκτιµώνται ως ŝ(t) = U T W x(t) και η µήτρα µίξης εκτιµάται ως Â = W 1 U Ελένη Βερτεούρη 70

75 Κεφάλαιο 6 Φυσικά χαρακτηριστικά Προκειµένου να αξιολογήσουµε τα αποτελέσµατα του συστήµατος αναγνώρισης προτύπων που αναπτύσσει η παρούσα διπλωµατική είναι απαραίτητο να γνωρίζουµε τα ϐασικά ιατρικά δεδοµένα που απαρτίζουν το πρόβληµά µας. Επίσης είναι ϑεµιτό να γνωρίζουµε τη ϐασική ϕυσιολογία του ανθρωπίνου σώµατος ώστε να µπορέσουµε να αξιοποιήσουµε σε εφαρµογές του πραγµατικού κόσµου την ανάλυση µας στα δεδοµένα. Τα ϐιοιατρικά συστήµατα που κάνουν παρατηρήσιµα στον άνθρωπο τους ήχους της καρδιάς και των πνευµόνων δεν έχουν αλλάξει ϱιζικά από την ε- ϕεύρεση του στηθοσκοπίου. Οι ήχοι αυτοί µπορούν να ερµηνευθούν από τους γιατρούς ώστε να εξάγουν χρήσιµα συµπεράσµατα για την ιατρική κατάσταση του ασθενή. Πρόσφατα οι µελέτες στράφηκαν στην αναγνώριση του ϱοχαλητού καθώς µεταφέρει πληροφορίες για αναπνευστικές διαταραχές. 71

76 Σχήµα 6.1: Ηχογράφηση της καρδιάς, των πνευµόνων και του ϱοχαλητού από έναν αισθητήρα στο ανθρώπινο σώµα, κοµµάτι στηθοσκοπίου [21] 6.1 Φυσιολογία του προβλήµατος Ενας κανονικός καρδιακός ϱυθµός µπορεί να ηχογραφηθεί από έναν αισθητήρα σώµατος µε παράλληλο κράτηµα της αναπνοής. Ο καρδιακός ϱυθµός είναι κοντά στα 0.9Hz ενώ ο ϱυθµός της αναπνοής είναι κοντά στα 0.2Hz. Είναι ϕανερό ότι οι συνιστώσες στο πεδίο της συχνότητας της καρδιάς και της αναπνοής επικαλύπτονται ενδέχεται όµως να επικαλύπτονται και χρονικά τα πλάτη τους στο πεδίο χρόνου κάνοντας ακόµα πιο δύσκολο το διαχωρισµό τους. Σχήµα 6.2: ιάστηµα 11 δευτερολέπτων ηχογράφησης χωρίς ϱοχαλητό( αισθητήρες 2 και 3) Σε διάστηµα 3 περιόδων αναπνοής ϐλέπουµε ότι έχουµε 12 περιόδους καρδιακού ϱυθµού, που είναι ένας λόγος 4 : 1. Μετρώντας τις κορυφές της αναπνοής ϐλέπουµε ότι έχουµε 32 κορυφές σε διάστηµα 2 λεπτών, δηλαδή συχνότητα αναπνοής περίπου 0, 27 και κάθε περίοδος αντιστοιχεί κατά µέσο όρο σε 7500 περίπου δείγµατα. Παρατηρούµε ότι το σήµα της καρδιάς είναι χαµηλότερης έντασης από της αναπνοής και έτσι επικαλύπτεται από αυτό. Ελένη Βερτεούρη 72

77 Σχήµα 6.3: ιάστηµα 12 δευτερολέπτων ηχογράφησης µε ϱοχαλητό (αισθητήρες 2 και 3) Παρατηρούµε ότι το ϱοχαλητό προηγείται της εισπνοής και επίσης επιβραδύνει τη συχνότητα της αναπνοής. Η περίοδος της αναπνοής αποτελεί το ελάχιστο παράθυρο στασιµότητας για τα δεδοµένα µας αφού το ϱοχαλητό αν και δεν εµφανίζεται σε κάθε εισπνοή, εµφανίζεται κάθε ϕορά σε συγκεκριµένο σηµείο του κύκλου αναπνοής. Παρόλο που οι σχέσεις µεταξύ ϱοχαλητού και αναπνευστικών διαταραχών είναι γνωστές στην ιατρική κοινότητα, η αναγνώριση του ϱοχαλητού είναι ένα πρόβληµα το οποίο δεν έχει λυθεί πλή- ϱως. Είναι συνεπώς µεγάλη η ανάγκη για ανάπτυξη συστήµατος µη επεµβατικού και αξιόπιστου για την αναγνώριση του. Σχήµα 6.4: Παραδείγµατα Α. ϱυθµικού Β. µη ϱυθµικού ϱοχαλητού [12]. Τα σήµατα αφορούν ένα χρονικό διάστηµα 3 λεπτών. Η περιοδικότητα του δείγµατος Α είναι κανονική, ενώ στο Β η περιοδικότητα διαφέρει στο χρόνο. Στην περίπτωση µας πρόκειται για µη ϱυθµικό ϱοχαλητό όπως ϕαίνεται από τα διαγράµµατα του κεφαλαίου 7. Ελένη Βερτεούρη 73

78 Η ϕράξη του ανώτερου αεραγωγού οδηγεί σε επανειληµµένες διακοπές της αναπνοής κατά τη διάρκεια του ύπνου και συµβάλει σε µειωµένα επίπεδα οξυγόνου στο αίµα. Η διαταραχή αυτή µπορεί να υπάρχει µακροχρόνια χωρίς να αναγνωρίζετε µειώνει όµως την ποιότητα Ϲωής του ασθενή αφού συµβάλει σε αυξηµένη κούραση κατά τη διάρκεια της ηµέρας [21]. Παρατηρείται συχνότερα σε υπέρβαρους ανθρώπους ενώ οι διακοπές διαρκούν συνήθως 20 40s. Ενας ασθενής ο οποίος πάσχει από ϕράξη του ανώτερου αεραγωγού κατά τη διάρκεια του ύπνου του παρουσιάζει την ακόλουθη µορφή ϱοχαλητού [21]: Σχήµα 6.5: Ροχαλητό ασθενή που πάσχει από ϕράξη του ανώτερου αεραγωγού, όπου f R1 η κύρια συχνότητα του ϱοχαλητού s s και kf R1 οι ανώτερες αρµονικές Ελένη Βερτεούρη 74

79 6.2 Συσχετίσεις ήχων του ανθρωπίνου σώµατος Οπως είναι αναµενόµενο από τη ϕυσιολογία του προβλήµατος αλλά και από τα δεδοµένα µας οι ήχοι της καρδιάς, της αναπνοής και του ϱοχαλητού δεν είναι ανεξάρτητοι µεταξύ τους. Αυτό συνεπάγεται ότι οι ανεξάρτητες συνιστώσες που επιθυµούµε να εκτιµήσουµε δεν είναι ανεξάρτητες. Σχήµα 6.6: Αµοιβαίες συσχετίσεις των διαφορετικών πηγών ηχητικών σηµάτων του ανθρωπίνου σώµατος µε ϕορά επιρροής [21] Η ϐασικότερη σχέση µεταξύ καρδιακού ήχου και ήχου αναπνοής είναι η πίεση που ασκούν οι πνεύµονες λόγω αλλαγής του όγκου τους κατά την εισπνοή-εκπνοή στην καρδιά και στα γύρω όργανα. Επίσης ϑα πρέπει να ληφθεί υπόψη ότι η ϑέση της καρδιάς είναι στην αριστερή πλευρά του ανθρωπίνου σώµατος. Λόγω της εσωτερικής διάταξης των οργάνων στο ανθρώπινο σώµα και τον τρόπο που οι ήχοι µεταδίδονται µέσα από αυτό τα µέγιστα ισχύος παρατηρούνται σε διαφορετικά σηµεία του ανθρωπίνου σώµατος. Λόγω της µη συµµετρικής κατασκευής του ανθρωπίνου σώµατος αλλά και τη διάδοση των σηµάτων άλλοτε µέσω αεραγωγών άλλοτε µέσω οργάνων η διάδοση είναι µη οµοιογενής και εξαρτάται από τη συχνότητα του κάθε σήµατος [21]. Η κατανόηση της ϕύσης του κάθε ϐιοσήµατος είναι ϐασική για τη ερµηνεία του και για τη ϐελτιστοποίηση των τρόπων ηχογράφησής του. Ελένη Βερτεούρη 75

80 Ελένη Βερτεούρη 76

81 Κεφάλαιο 7 Πειραµατικά εδοµένα Το πρόβληµα που καλείται να αντιµετωπίσει αυτή η διπλωµατική είναι η εξαγωγή του ηχητικού σήµατος της καρδιάς, της αναπνοής και του ϱοχαλητού ενός ανθρώπου που κοιµάται από ηχογραφήσεις πάνω στο σώµα του ασθενή. Προκειµένου να ελέγξουµε κατά πόσο είναι αυτό δυνατό και να αξιολογηθούν οι διάφορες µέθοδοι επιλέξαµε ένα τµήµα δύο λεπτών από την ηχογράφηση επτάµισι ωρών. Σκοπός είναι να αναπτυχθεί ένα αξιόπιστο και µη επεµβατικό σύστηµα αναγνώρισης των ηχητικών σηµάτων του ανθρωπίνου σώµατος. Η ϐασικότερη εφαρµογή για ένα τέτοιο σύστηµα ϑα είναι η αναγνώριση της άπνοιας σε ιατρικούς ασθενείς και γενικότερα ιατρική µελέτη της ιατρικής κατάστασης του ασθενή µε έναν απλό και αποτελεσµατικό τρόπο. Οι αισθητήρες είναι τέσσερις και οι ϐασικότεροι είναι ο αισθητήρας δύο και τρία καθώς λόγω ϑέσης είναι σε ϑέση να ηχογραφούν καλύτερα τα αντίστοιχα ηχητικά σήµατα. Το κοµµάτι των δεδοµένων επιλέχτηκε µε ϐάση τα κριτήρια της αντιπροσωπευτικότητάς του για το δείγµα ενώ αποφύγαµε τα σηµεία της ηχογράφησης που ο άνθρωπος άλλαζε πλευρό. Θα πρέπει να σηµειώσουµε ότι οι ηχογραφήσεις σε όλους τους αισθητήρες είναι πλήρως συγχρονισµένες µεταξύ τους, ϐασική προϋπόθεση για την ανάλυση που ϑα ακολουθήσει. Εδώ ϕαίνονται τα κοµµάτια που επιλέξαµε προς ανάλυση : 77

82 Σχήµα 7.1: Ηχογραφήσεις Οπως ϐλέπουµε το κοµµάτι ηχογράφησης προς ανάλυση αποτελείται από δείγµατα που αντιστοιχούν σε δύο λεπτά ηχογράφησης µε συχνότητα δειγµατοληψίας 2kHz. Ο τρόπος σκέψης που ακολουθήθηκε για να αντιµετωπιστεί το πρόβληµα είναι ο εξής : Επειδή είναι αδύνατο ή τουλάχιστον µη επιθυµητό υπολογιστικά να ξεκινήσουµε από τα αίτια, στην περίπτωση µας οι πηγές, και να καταλήξουµε στην ακριβή µορφή των αποτελεσµάτωνηχογραφήσεων µε ϐάση ϕυσικούς νόµους αναγκαζόµαστε να κάνουµε υποθέσεις εργασίας. Οσο πιο ισχυρές οι υποθέσεις που κάνουµε τόσο ευκολότερη γίνεται η υπολογιστική διαδικασία, όµως τόσο περισσότερο πιθανό είναι οι πηγές που ϑα λάβουµε ως αποτέλεσµα να µην ανταποκρίνονται στην πραγµατικότητα. Τότε ϑα πρέπει να επιστρέψουµε στο αρχικό σηµείο ορισµού υποθέσεων και συνεπώς αλγορίθµου και να τα τροποποιήσουµε. Θεωρούµε αρχικά ότι η µίξη των σηµάτων γίνεται στιγµιαία καθώς η ταχύτητα του ήχου στα στερεά είναι µεγαλύτερη από 1km/s ενώ η ηχογράφησή µας πραγµατοποιείται µε αισθητήρες που ϐρίσκονται σε απόσταση µερικών cm από τις πηγές. Ετσι δεν ϑα ϑεωρήσουµε κάποιον αλγόριθµο που να λαµβάνει υπόψη του τη συνέλιξη των σηµάτων. Η συχνότητα δειγµατοληψίας των 2kHz είναι αρκετή διότι οι ϐασικότερες αρµονικές όλων των σηµάτων ϐρίσκονται κάτω από τα Ελένη Βερτεούρη 78

83 100Hz. Ακόµη ϑεωρούµε γενικότερα ότι τα σήµατα µας είναι στάσιµα, τουλάχιστον στο χρονικό παράθυρο δεδοµένων που µελετάµε. 7.1 FastICA Εφαρµογή Η πρώτη προσέγγιση που ακολουθήσαµε είναι η γενική προσέγγιση της ανάλυσης σε ανεξάρτητες συνιστώσες προκειµένου να ελέγξουµε την εφαρµοσιµότητά της στο πρόβληµα µας. Επιλέξαµε ένα σθεναρό και αναγνωρισµένο αλγόριθµο υλοποίησης τον FastICA [10] που πραγµατοποιεί συµµετρική ανάλυση σε πηγές και επιλέξαµε τα κανάλια 2 και 3 µε µη γραµµικότητα pow3. Σχήµα 7.2: ιαχωρισµός µε FastICA pow3 Από την πρώτη ανεξάρτητη συνιστώσα που υπολογίζεται παρατηρούµε ότι µπορούµε να διακρίνουµε την αναπνοή εφόσον παρουσιάζει κορυφές κατά κάτω µεγαλύτερες του 2 συνήθως. Τα σήµατα που υπολογίζονται δεν αποτελούν ικανοποιητικές προσεγγίσεις των σηµάτων πηγών, το οποίο και επιβεβαιώνουµε ακουστικά. Θεωρώντας το γραφήµατα διασποράς (scatter ) των διανυσµάτων παρατηρούµε ότι η µορφή τους δεν αλλάζει παρά µόνο στρέφονται κατά την πιο ενδιαφέρουσα κατεύθυνση σύµφωνα µε Ελένη Βερτεούρη 79

84 τον αλγόριθµό µας. Σχήµα 7.3: Scatter ιαγράµµατα για διαχωρισµό µε FastICA pow3 Παρατηρούµε ότι η διαδικασία της λεύκανσης δεν πραγµατοποιεί κανένα ουσιαστικό α- ποτέλεσµα στη µορφή των παραπάνω γραφηµάτων και αυτό συµβαίνει διότι η λεύκανση που πραγµατοποιείται δεν είναι σθεναρή και κατάλληλη ως προς το ϑόρυβο. Επίσης η από κοινού διασπορά των σηµάτων τόσο πριν την επεξεργασία όσο και µετά παρουσιάζει συµµετρική µορφή και άρα ακατάλληλη για ΑΑΣ, µε εξαίρεση µία γωνία που παρουσιάζει ισχυρή εξάρτηση µεταξύ των σηµάτων, επίσης µη ϑεµιτή αφού παραµένει µετά την επεξεργασία. Αλλάζοντας τις διαθέσι- µες µη γραµµικότητες, όπως περιγράφηκαν στο κεφάλαιο 4, tanh, gauss, skew παρατηρούµε ότι αλλάζει η γωνία περιστροφής του παραπάνω διαγράµµατος όµως η ποιότητα των αποτελεσµάτων του αλγορίθµου δεν ϐελτιώνεται. Είναι σηµαντικό να λάβουµε υπόψη µας ότι ο αλγόριθµος δεν δίνει τα ίδια ακριβώς αποτελέσµατα κάθε ϕορά που εκτελείτε λόγω έµφυτης αδυναµίας εύ- ϱεσης της µήτρας A ως προς πρόσηµο και πολλαπλασιαστική σταθερά και συνεπώς η γωνία στρέψης των από κοινού διαγραµµάτων. Παρατηρήθηκε ότι η µη γραµµικότητα skew συγκλίνει ταχύτερα από τις υπόλοιπες. Ακολουθούν τα αποτελέσµατα εφαρµογής για διαφορετικές µη γραµµικότητες. Ελένη Βερτεούρη 80

85 Σχήµα 7.4: ιαχωρισµός µε FastICA tanh Σχήµα 7.5: Scatter ιαγράµµατα για διαχωρισµό µε FastICA tanh Ελένη Βερτεούρη 81

86 Σχήµα 7.6: ιαχωρισµός µε FastICA gauss Σχήµα 7.7: Scatter ιαγράµµατα για διαχωρισµό µε FastICA gauss Ελένη Βερτεούρη 82

87 Σχήµα 7.8: ιαχωρισµός µε FastICA skew Σχήµα 7.9: Scatter ιαγράµµατα για διαχωρισµό µε FastICA skew Ελένη Βερτεούρη 83

88 7.1.2 Ανάλυση σε Ϲώνες υψηλών και χαµηλών συχνοτήτων Προκειµένου να αντιµετωπίσουµε την αδυναµία του αλγορίθµου απέναντι στα σηµαντικά δια- ϕορετικά πλάτη αλλά και Ϲώνες συχνοτήτων των συνιστωσών µας πραγµατοποιούµε µία ανάλυση των σηµάτων σε Ϲώνες υψηλών και χαµηλών συχνοτήτων. Χρησιµοποιώντας το εργαλείο σχεδίασης ϕίλτρων του MATLAB fdatool σχεδιάζουµε 2 ϕίλτρα IIR butterworth µε πλάτος απόσβεσης 3dB. Το ϕίλτρο που στοχεύει στις χαµηλές συχνότητες έχει cutoff συχνότητα στα 10Hz και τάξη 20, περιλαµβάνει τον καρδιακό ϱυθµό και την αναπνοή καθώς αυτά εκτιµώνται στα 1Hz και 0.2Hz αντίστοιχα. Το ϕίλτρο που στοχεύει στις υψηλές συχνότητες έχει cutoff συχνότητα στα 10Hz και τάξη 20, περιλαµβάνει το ϱοχαλητό που εκτιµάται στα 50Hz. Για τις χαµηλές συχνότητες Σχήµα 7.10: Μίξεις στις χαµηλές συχνότητες Ελένη Βερτεούρη 84

89 Για τις υψηλές συχνότητες Σχήµα 7.11: Μίξεις στις υψηλές συχνότητες Παρατηρούµε ότι σε µεγάλο ϐαθµό έχουµε διαχωρίσει µε επιτυχία στις χαµηλές συχνότητες καρδιά και αναπνοή και στις υψηλές το ϱοχαλητό µαζί µε κάποιο ϑόρυβο. Για την εφαρµογή FastICA pow3 στις χαµηλές συχνότητες έχουµε Ελένη Βερτεούρη 85

90 Σχήµα 7.12: ιαχωρισµός χαµηλών συχνοτήτων µε FastICA pow3 Σχήµα 7.13: Scatter ιαγράµµατα για διαχωρισµό χαµηλών συχνοτήτων µε FastICA pow3 Ελένη Βερτεούρη 86

91 Βλέπουµε ότι το από κοινού διάγραµµα έχει πλέον λιγότερο σφαιρική µορφή από ότι προηγουµένως, όµως ο αλγόριθµος όµως δεν µας οδηγεί σε περισσότερο ικανοποιητική λύση. Για τις υψηλές συχνότητες µε FastICA pow3 έχουµε Σχήµα 7.14: ιαχωρισµός υψηλών συχνοτήτων µε FastICA pow3 Ελένη Βερτεούρη 87

92 Σχήµα 7.15: Scatter ιαγράµµατα για διαχωρισµό υψηλών συχνοτήτων µε FastICA pow3 Είναι ϕανερή η καθαρά σφαιρική µορφή στα διαγράµµατα scatter που ως συµµετρική είναι ακατάλληλη για ΑΑΣ και συνήθως υποδηλώνει παρουσία ισχυρής ϑετικής ανάδρασης feedback καθώς τότε τα σήµατα των αισθητήρων ϑα είναι πολύ όµοια µεταξύ τους. Αυτό επιβεβαιώνεται και από την ορίζουσα του πίνακα A η οποία είναι πολύ κοντά στο µηδέν, µόλις , ενώ ο αλγόριθµος δεν συγκλίνει γρήγορα. Το γεγονός αυτό ϑα πρέπει να ερµηνευθεί σωστά, η τάξη δηλαδή του πίνακα Α για τις υψηλές συνιστώσες είναι 1, δηλαδή η µοναδική ανεξάρτητη συνιστώσα είναι το ϱοχαλητό. Σε σύγκριση µε τα παραπάνω η ορίζουσα του πίνακα A που εκτιµάται είναι για τα αρχικά δεδοµένα ενώ είναι για τις υψηλές συχνότητες. Ετσι ϐλέπουµε ότι η διαφορετικότητα των δεδοµένων και η διαχωρισιµότητά τους από τον αλγόριθµο δεν αυξάνεται από την ανάλυση σε υψηλές και χαµηλές συχνότητες. Η µήτρα G = AW έχει σε όλες τις περιπτώσεις ένα µόνο κυρίαρχο στοιχείο σε κάθε γραµµή όπως απαιτείται και η ορίζουσά της είναι 1. Προκειµένου να ελέγξουµε αν τα δεδοµένα αναπαριστώνται επαρκώς από µία Ϲώνη µόνο δεδοµένων επιλέγουµε τη µήτρα A από µία Ϲώνη συχνοτήτων και τη µήτρα W από µία άλλη και ελέγχουµε τη µορφή της µήτρας G που προκύπτει. Στην περίπτωση µας επιλέγουµε τη µήτρα Ελένη Βερτεούρη 88

93 A από τις υψηλές και τη µήτρα W από τις χαµηλές και για τη µήτρα G έχουµε G = (7.1) Παρατηρούµε ότι η µορφή της µήτρας G δεν είναι η επιθυµητή και αυτό επιβεβαιώνεται από το γεγονός ότι οι ανεξάρτητες συνιστώσες που ϐρίσκονται σε κάθε Ϲώνη συχνοτήτων είναι διαφορετικές. Η σκέψη αυτή µας οδηγεί στο συµπέρασµα να χρησιµοποιηθεί κάποιος αλγόριθµος που να λαµβάνει υπόψη τη χρονική δοµή των πηγών όπως ϑα παρουσιαστεί στην επόµενη ενότητα. 7.2 SOBI-RO Στοχευµένος διαχωρισµός σε Ϲώνες συχνοτήτων Αρχικά προκειµένου να διαχωρίσουµε τα σήµατα εισάγουµε ένα ϐήµα προεπεξεργασίας στο οποίο χωρίζουµε τα σήµατα πλέον µε Ϲωνοδιαβατά IIR butterworth ϕίλτρα. Σχήµα 7.16: Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων της αναπνοής [0, 15 0, 45]Hz Ελένη Βερτεούρη 89

94 Σχήµα 7.17: Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων του καρδιακού ϱυθµού [0, 8 2]Hz Σχήµα 7.18: Φιλτραρισµένες µίξεις στην περιοχή συχνοτήτων του ϱοχαλητού [40 50]Hz Ελένη Βερτεούρη 90

95 Για την αναπνοή επιλέγουµε το κανάλι 2 καθώς είναι αυτό που παρουσιάζει τη µικρότερη συσχέτιση µε το ϱοχαλητό ενώ το πλάτος του δεν είναι αµελητέο όπως στο κανάλι 1. Για τον καρδιακό ϱυθµό επιλέγουµε το κανάλι 1 γιατί είναι αυτό που ϕανερά παρουσιάζει τη µικρότερη συσχέτιση µε το ϱοχαλητό. Για το ϱοχαλητό επιλέγουµε το κανάλι 4 εφόσον έχουµε ήδη επιλέξει τα κανάλια 1 και 2 και ϑέλουµε να εξασφαλίσουµε ότι τα σήµατά µας δεν προέρχονται από τον ίδιο αισθητήρα. Σε δοκιµές που πραγµατοποιήθηκαν όµως έγινε ϕανερό πειραµατικά όταν δεν δεσµευόµαστε να επιλέξουµε Ϲώνη συχνοτήτων κάθε ϕορά από διαφορετικό αισθητήρα. Σχήµα 7.19: Επιλεγµένες µίξεις µετά την προεπεξεργασία στο πεδίο συχνότητας Ελένη Βερτεούρη 91

96 7.2.2 Εφαρµογή αλγορίθµου SOBI-RO Εποµένως εφαρµόζοντας τον αλγόριθµο SOBI-RO [9], [8] µε 100 µήτρες συσχέτισης χρονικής καθυστέρησης έχουµε Σχήµα 7.20: ιαχωρισµός ϕιλτραρισµένων µίξεων µε SOBI-RO Ελένη Βερτεούρη 92

97 7.2.3 Scatter ιαγράµµατα Σχήµα 7.21: Scatter ιαγράµµατα µεταξύ µίξεων και εκτιµώµενων συνιστωσών για διαχωρισµό ϕιλτραρισµένων µίξεων µε SOBI-RO Ελένη Βερτεούρη 93

98 Σχήµα 7.22: Scatter ιαγράµµατα εκτιµώµενων συνιστωσών για διαχωρισµό ϕιλτραρισµένων µίξεων µε χρήση του αλγορίθµου SOBI-RO Σχήµα 7.23: Scatter ιαγράµµατα ϕιλτραρισµένων σηµάτων Ελένη Βερτεούρη 94

99 Η ανάλυση µας στο ϱοχαλητό επιβεβαιώνεται από το σχήµα 6.1 ενώ ϐλέπουµε ότι έχουµε εξαγάγει µε επιτυχία και τις ανώτερες αρµονικές Σχήµα 7.24: Εκτιµώµενο ϱοχαλητό σε µεγάλη κλίµακα Αν πραγµατοποιήσουµε deflation, δηλαδή αφού τρέξουµε µία ϕορά τον αλγόριθµο αφαιρέσουµε τον εκτιµώµενο καρδιακό ϱυθµό και εκτελέσουµε τον αλγόριθµο ξανά παρατηρούµε ότι τα αποτελέσµατα δεν ϐελτιώνονται αξιόλογα Σχήµα 7.25: Σήµα καρδιακού ϱυθµού που εκτιµήθηκε από τα ϕιλτραρισµένα σήµατα µε τεχνική deflation από τον SOBI-RO Ελένη Βερτεούρη 95

100 7.2.4 Σύγκριση ΑΑΣ και Στατιστικών εύτερης Τάξης Πρέπει να τονίσουµε ότι ο αλγόριθµος SOBI-RO είναι ο πλέον κατάλληλος για το πρόβληµα µας αφού δεν απαιτεί ανεξαρτησία των πηγών και επίσης πραγµατοποιεί σθεναρή ορθογωνοποίηση ως προς το ϑόρυβο. Αν δοκιµάζαµε κάποιο αλγόριθµο ΑΑΣ τα αποτελέσµατα που ϑα παίρναµε ϑα ήταν χειρότερα από τις πηγές µας καθώς η απαίτηση για ανεξαρτησία ϑα ακύρωνε τις ϕυσικές συσχετίσεις των δεδοµένων µας. Για παράδειγµα δοκιµάζοντας τον FastICA στα ίδια δεδοµένα έχουµε Σχήµα 7.26: ιαχωρισµός ϕιλτραρισµένων σηµάτων µε FastICA pow3 Οπου ϐλέπουµε ότι ο αλγόριθµος αυξάνει τη συσχέτιση µεταξύ αναπνοής και ϱοχαλητού και παράλληλα χειροτερεύει την αναπαράσταση του ϱοχαλητού. Για σύγκριση παραθέτουµε µεγαλύτερο διάγραµµα της αναπνοής που αποκτήθηκε από τον αλγόριθµο SOBI-RO Ελένη Βερτεούρη 96

101 Σχήµα 7.27: Σήµα αναπνοής που εκτιµήθηκε από τα ϕιλτραρισµένα σήµατα µε τον SOBI-RO Σύγκριση SOBI και SOBI-RO Εφαρµόζοντας τον αλγόριθµο SOBI [9], [8] µε 4 µήτρες συσχέτισης χρονικής καθυστέρησης ϐλέπουµε ότι υστερεί σηµαντικά σε σχέση µε τον SOBI-RO για ίδιο αριθµό µητρών : Σχήµα 7.28: χρονικής καθυστέρησης ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI µε 4 µήτρες συσχέτισης Ελένη Βερτεούρη 97

102 Σχήµα 7.29: ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO µε 4 µήτρες συσχέτισης χρονικής καθυστέρησης Χρονικές καθυστερήσεις Για να συγκρίνουµε την επίδραση του αριθµού των µητρών χρονικής καθυστέρησης στον αλγό- ϱιθµο SOBI-RO τρέχουµε τον αλγόριθµο µε 100, 1000, 2000 αντίστοιχο αριθµό µητρών µελετώντας τον καρδιακό ϱυθµό. Σηµειώνεται ότι ο υπολογιστικός ϕόρτος αυξάνεται σηµαντικά µε την αύξηση του αριθµού µητρών. Ελένη Βερτεούρη 98

103 Σχήµα 7.30: ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 100 µήτρες συσχέτισης χρονικής καθυστέρησης Σχήµα 7.31: ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 1000 µήτρες συσχέτισης χρονικής καθυστέρησης Σχήµα 7.32: ιαχωρισµός ϕιλτραρισµένων σηµάτων από τον SOBI-RO για 2000 µήτρες συσχέτισης χρονικής καθυστέρησης εν παρατηρούµε σηµαντική ϐελτίωση µε την αύξηση του αριθµού µητρών συσχέτισης χρονικών καθυστερήσεων. Ελένη Βερτεούρη 99

104 7.3 είκτες απόδοσης SIR Ο λόγος σήµατος προς παρεµβολή (Signal to Interference Ratio SIR) για µία µήτρα µίξης A και για ένα στοιχείο ορίζεται ως εξής [9], [8] : y i = w T i X = (w T i A)S = g i S = g ij s j (7.2) όπου τα y i και s j είναι η εκτιµώµενη συνιστώσα για την j πηγή, wi T είναι µία γραµµή της µήτρας διαχωρισµού W, g i είναι το κανονικοποιηµένο διάνυσµα [0 g ij 0]. Επειδή το y i είναι η εκτίµηση του s j το ιδανικό κανονικοποιηµένο διάνυσµα g i είναι το µοναδιαίο διάνυσµα u = [00 1 0]. Συνεπώς η ανάλυση είναι επιτυχής όταν το g i είναι παρόµοιο µε το u j. Το διάνυσµα g i είναι µία γραµµή της µήτρας G και η ποιότητα µίας εκτιµώµενης συνιστώσας περιγράφεται από την αντίστοιχη γραµµή της. Η επιτυχία του διαχωρισµού κάθε συνιστώσας περιγράφετε από SIR g = 10 log 10( g i u j 2 ) (7.3) w T i Για την εκτίµηση περισσότερων από µία συνιστώσες έχουµε ότι για κάθε γραµµή διάνυσµα της µήτρας W ϐρίσκουµε την αντίστοιχη τιµή του SIR και την ιεραρχία των καλύτερα εκτιµώµενων συνιστωσών µε ϐάση τα δεδοµένα G norm = norm(w A) (7.4) ιατάσσοντας κατά σειρά µέγιστου SIR αποκτούµε το διάνυσµα SIR A. Για το SIR για το σήµα S για κάθε Ϲευγάρι (y i, s j ) έχουµε SIR ij = 10log10 y i s j 2 s j 2 (7.5) Εποµένως για εφαρµογή του αλγορίθµου SOBI-RO µε 100 µήτρες χρονικών καθυστερήσεων έχουµε Ελένη Βερτεούρη 100

105 Σχήµα 7.33: είκτης απόδοσης SIR A για τον αλγόριθµο SOBI-RO µε 100 µήτρες συσχέτισης χρονικής καθυστέρησης σε ϕιλτραρισµένα σήµατα Σχήµα 7.34: είκτης απόδοσης SIR S για τον αλγόριθµο SOBI-RO µε 100 µήτρες συσχέτισης χρονικής καθυστέρησης σε ϕιλτραρισµένα σήµατα Ελένη Βερτεούρη 101

106 7.3.1 Monte Carlo analysis Εκτελώντας Monte Carlo analysis [9], [8] µε 100 δοκιµές ελέγχουµε την απόδοση, σθεναρότητα και συνοχή του αλγορίθµου SOBI-RO για τα δεδοµένα µας. Ενας τυφλός διαχωρισµός ϑεωρείται επιτυχής όταν ανακτούµε τις µήτρες A και S µε SIR > 16dB και ο αλγόριθµος ϑεωρείται ότι έχει αξιόλογη συνοχή όταν η τυπική απόκλιση του SIR είναι µικρότερη του ±10%. Σχήµα 7.35: Monte Carlo analysis για τον δείκτη SIR A Σχήµα 7.36: Monte Carlo analysis για τον δείκτη SIR S Ελένη Βερτεούρη 102

107 7.3.2 Performance Index PI Ο δείκτης απόδοσης ανεξάρτητος από διαφορές πολλαπλασιαστικής αλλαγής (permutation ) για τη µήτρα A [7] ορίζεται ως P I = 1 n(n 1) { n n ( ) gik max j g ij 1 + i=1 k=1 Στο πρόβληµά µας µετρήσαµε P I = 0, για τον αλγόριθµο SOBI-RO. n k=1 ( ) } gki 1 (7.6) max j g ji Σχήµα 7.37: 3-D αναπαράσταση της µήτρας G Ελένη Βερτεούρη 103